Google Scholar Citations y la emergencia de nuevos actores en la evaluación de la investigación

10 Replies to “Google Scholar Citations y la emergencia de nuevos actores en la evaluación de la investigación”

1. REDES SOCIALES CIENTÍFICAS EN LÍNEA

   Muy interesante artículo sobre estos dos nuevos productos de Google y Microsoft. Sólo un par de apuntes y opiniones personales sobre estos nuevos servicios.

   La filosofía de ambos servicios creo que es muy acertada y que tendrán una gran proyección en el futuro. Primero Microsoft, y luego Google en respuesta, han puesto en el centro de sus bases de datos científicas al investigador, frente al modelo clásico de Scopus y WoS, donde el artículo y la revista es el elemento clave de sus bases de datos. Es cierto que sus indicadores bibliométricos están muy por detrás de Scopus y Wos (Google ni tan siquiera nos dice cuántos artículos tiene un autor!), pero su implementación es bastante sencilla y creo que con el tiempo se irán incorporando indicadores más potentes.

   Mi opinión personal, y esto es más un ejercicio de imaginación, es que ambos servicios buscan la creación de redes sociales científicas en línea, como un Facebook científico, ya que una vez que cada investigador tenga su perfil se le puede añadir herramientas sociales como mensajería, foros, chat, etc., como hace ResearchGate y otros. En definitiva, creo que son movimientos de dos grandes por posicionarse en el naciente mercado de la Ciencia 2.0 o las redes sociales científicas, que obligará, espero, a Scopus y WoS a mover ficha en esta dirección.

   Otra cuestión relevante es la cobertura. No sé cuántos perfiles posee Microsoft. Google Citations, según mis cálculos, puede rondar los 30 mil usuarios a día de hoy, pero estimo que tendrá un crecimiento exponencial en los próximos años. En vuestra opinión, una de las limitaciones, sobre todo con Citations, es que los perfiles son voluntarios y puede causar que algunos investigadores no participen del servicio, con lo cual el mapa que se pueda extraer no sea enteramente representativo de la ciencia hoy en día. Estoy pensando en investigadores con escasa relación o destreza con la Web, investigadores seniors o consagrados que no estén muy preocupados en su visibilidad web, etc. Pero creo que el enfoque debe ser que estos servicios no son un reflejo de la ciencia en sí, sino un reflejo de la actitud de los científicos por su presencia web.

   Si en estos servicios hay una sobrerrepresentación de informáticos frente a humanistas, por ejemplo, no debe ser entendido como una desventaja sino como una constatación diferenciada de actitudes a la hora de participar en estos servicios y a la existencia de procesos de comunicación científica diferentes, como sucede con áreas donde la comunicación científica se expresa de forma diferente (libros para humanistas o congresos para físicos o informáticos).

   En resumen, creo que debemos dar la bienvenida a estos servicios ya que para bibliómetras/evaluadores de la actividad científica, estos servicios aportan nuevas posibilidades en el entendimiento de actuales y nuevas formas de comunicación científica.

2. PRODUCTOS CENTRADOS EN EL INVESTIGADOR, Y NO EN LA REVISTA

   Pensamos como tú en que una de las fortalezas de estos proyectos es poner al investigador en el centro y no a la revista. WoS y Scopus lo están intentando muy tímidamente ahora, pero es curioso que dispongamos de decenas de listados de impacto de revistas y pocos de investigadores.

   Sobre la integración con redes sociales, es una de las perspectivas desde la que se puede abordar el tema, aunque hemos preferido centrarnos en la evaluación. Las redes sociales científicas que han aparecido no parece que estén teniendo mucho éxito (estamos en varias como ReseachGate o Mendeley y hay poco movimiento), y de momento las funciones sociales de estos productos son poco útiles (digo las funciones sociales, porque Mendeley es un excelente gestor bibliográfico y organizador de la biblioteca de pdfs).

   Google tampoco parece tener mucho éxito con Google Plus, por lo que la integración de Scholar con GPlus parece algo secundario ahora mismo, si bien desde luego a medio plazo parece un paso evidente.

   Sobre los investigadores que no prestan atención a la Web, desde luego no es un problema de Google sino de los investigadores; aunque de cara al evaluador, no tener un retrato completo de las disciplinas es un hándicap en dicha labor. Y quien no quiere aparecer en listados por el miedo a la comparación se está retratando a sí mismo. A nosotros nos parece mucho más interesante bucear en los investigadores “que no investigan”, que en los que tienen miles de citas, y creemos que a las universidades también les debería interesar. Pero esto es entrar en otra cuestión.

   Muchas gracias, José-Luis por tu aportación.

3. PROBLEMAS EN EL USO BIBLIOMÉTRICO DE ESTOS PRODUCTOS

   Creo que hay consenso y aceptamos que los productos reseñados y los indicadores que generan son importantes. Sin embargo, desde el punto de vista de la Bibliometría, presentan todavía problemas:

   1) No se pueden hacer descargas masivas con muchos campos y bien estandarizados y por tanto es difícil cruzar datos con otros productos (IF revistas, categorizaciones, etc…).

   2) Esto también nos lleva a que no se pueden recuperar documentos por afiliación, por tanto los estudios a nivel universidad son difíciles de llevar a cabo. Por ahora, hay que limitarse sólo a investigadores y papers.

   3) El entorno es poco controlado; en WoS o Scopus sabemos cuáles son las revistas y “lo que valen”.

   4) Viendo qué coge Google Citations está claro que tira mucho de repositorios (en mi caso todo lo que tengo en E-LIS y Digibug) y claro, me salen casi 100 ítems pero, ¿son todo papers e investigación? No. Hay mucho ppt y presentaciones, no todo es ciencia y lo tienen difícil para discriminar. Yo creo que ésta es la razón por la que no ponen el indicador de trabajos.

   5) ¿quiero decir que no son útiles? No, en la UN en el ICS (Centro de Humanidades y Sociales), como es una población pequeña y controlada, estamos empezando a sacar estos nuevos indicadores ya que los tradicionales no funcionan. Por ejemplo, todo los sites de los proyectos los tenemos controlados con Analytics, procuramos que se carguen (es difícil) los materiales en el repositorio para sacar estadísticas y en las “evaluaciones” tiramos de Google Scholar. Pero claro, una cosa es evaluar un proyecto, un grupo, y otra una universidad completa.

   6) Para terminar, siempre he pensado que si pudiéramos “obligar” a nuestros investigadores a tener un perfil en Research ID y ahora otro en Google Citations nos ahorraríamos muchísimo tiempo.

4. CONTENIDOS EN REPOSITORIOS

   “…pero son todo papers e investigación? No. Hay mucho ppt y presentaciones, no todo es ciencia…”.

   Lo que sí resulta claro es que un repositorio, si se pretende usar como fuente para este tipo de cosas, debería discriminar en su política cuáles son los tipos de documentos que se pueden depositar o autoarchivar. Luego te encuentras unas cosas…

5. LA AMPLIACIÓN DE LA TIPOLOGÍA DE ACTIVIDADES CIENTÍFICAS EVALUABLES

   Creo que antes de considerar las limitaciones técnicas derivadas de nuestra experiencia con otros productos, no sé si habría que considerar cambiar algunas reglas de juego. Me refiero a la frase:

   “…pero son todo papers e investigación? No. Hay mucho ppt y presentaciones, no todo es ciencia…”.

   Entiendo que ciencia es todo lo que hacen los científicos y no sólo los papers, máxime cuando ésta no es la vía principal de comunicación en muchas disciplinas. Por ejemplo, yo siempre he preferido estudiar primero los ppt de Daniel en Slideshare y entiendo que son de mucha calidad.

   Pero quizá hay un aspecto práctico mucho más importante. Si nos ceñimos a los estudios tradicionales, los números obtenidos son bajísimos, con producciones medias de 2 ó 3 papers por año o índices h que raramente alcanzan los dos dígitos. Si queremos hacer evaluaciones de calidad tendremos que ser más fidedignos en la representación de la actividad investigadora de los individuos, y eso pasa por ser más inclusivos en la tipología de las actividades evaluables. Por ejemplo, los informáticos están encantados con los indicadores que les ofrece Google Citations.

   Por último, animaría a todo el mundo a difundir la creación de perfiles. Es el primer paso de esta pequeña revolución.

6. MARKETING PARA CIENTÍFICOS

   Muy interesante el debate, gracias por tantas ideas…

   Por mi sesgo (no soy especialista en Bibliometría, como la mayoría de vosotros, y trabajo para una empresa privada), ¿os dáis cuenta de lo cerca que estáis del marketing?

   Yo lo llamo, probablemente mal, “marketing científico”, o “marketing para científicos”, que no “marketing con metodología científica” (aunque algo de eso hay, pero como tengo unos contratos de confidencialidad que no veas, pues no puedo publicar nada como os veo a algunos…).

   Con todo esto de los embedded librarians y los clientes que tengo, que me demandan análisis globales de marketing (y no sólo e-marketing) en los que está inserto un análisis bibliométrico, se abre toda una vía de especialización para los compañeros de profesión muy interesante, y que como en otros ámbitos, nos lleva a conocer otras disciplinas.

   Un ejemplo, véanse estas conferencias en las que no hubiera estado mal ver a alguno de los expertos presentes en esta lista. Sobre todo la charla de Elisa Montserrat, y que supongo que a Daniel Torres-Salinas le interesará porque habla de lo que están haciendo en la Universidad de Navarra.

   Obviamente está abierta la discusión sobre si es ético hacer esfuerzos para tener mayor visibilidad o deberíamos dejar que “la visibilidad fluya por la calidad científica del autor/es”, pero entiendo que en ese caso necesitaríamos un único y gran repositorio donde ninguna revista tenga de antemano ventajas históricas, y todos tengan las mismas posibilidades, etc. La cosa está como está y con esas armas jugamos todos.

   En fin, utopías aparte (a ver si Google compra o hunde a Reuters, espérate…, lo dicho, lástima que en muchas ocasiones los esfuerzos para generar marca de una universidad no contemplen integrar / cuidar la calidad y visibilidad de su producción científica, etc.

   En cualquier caso, muy interesante todo, gracias, participad en congresos de comunicación y marketing de universidades (o creadlos), os necesitan y no lo saben.

7. EVALUACIÓN Y PLANIFICACIÓN DE LA ACTIVIDAD CIENTÍFICA

   Debe haber un nombre para ello, pero cuando el evaluado (investigador o institución) conoce la mecánica exacta de la evaluación, la adecuación de ésta a lo que pretende medir empieza a erosionarse.

   En un mundo ideal, los académicos serían evaluados por una instancia divina, de forma que actuarían movidos por el puro deseo de conocer y convencer, y la evaluación sería el justo reflejo de la calidad continuada de su trabajo.

   Quizá la evaluación de la ciencia debería tener algo de misterio sagrado, y los científicos-vicerrectores-mortales sólo vislumbrar el incierto reflejo de la luz divina, y los mensajes de sus sacerdotes. Conocer una serie de principios generales y actuar movidos por ellos, confiando en alcanzar el reino de los cielos o el impacto.

   Seguro que la mitad de nosotros pensamos que planificar la investigación y la actividad institucional pensando en el ranking es un error, porque produce principalmente una simulación del verdadero conocimiento, como las procesiones lo son de otros sentimientos, o como los regalos caros del amor.

   Propongo que Aneca, Cenai, y Rankings-Corporation, hagan como Google y modifiquen ligeramente cada cierto tiempo sus criterios de elaboración de indicadores, los guarden en secreto, y simplemente nos hagan dudar de que conocemos todos sus secretos.

   En todo caso, bienvenido sea cualquier esfuerzo de encontrar formas más sutiles de medir las aportaciones de forma plural (“ser mas fidedignos en la representación de la actividad investigadora de los individuos, y eso pasa por ser más inclusivos en la tipología de las actividades evaluables”, Isidro) y el posicionamiento natural (“que la visibilidad fluya por la calidad científica del autor/es”, Jorge).

8. TODO ES ACTIVIDAD CIENTÍFICA, PERO HAY NIVELES

   Isidro, estoy a favor de que cuando evaluamos intentemos abarcar todas las tipologías documentales. Pero las hay menores y mayores, y las hay que tienen buenos filtros y las hay que no lo tienen, no es lo mismo preparar un artículo que resume los resultados de investigación de un proyecto del Plan Nacional que un ppt que resume cómo divulgar tus papers a través de Twitter, reflejan diferentes esfuerzos y diferentes conocimientos, aunque los dos bien es cierto pueden ser originales y muy útiles.

   Equiparar ppts a revistas científicas, aunque sean chulos, es algo arriesgado y puede quebrarnos las cuentas, creo que la tipología a seleccionar dependerá del objetivo de la evaluación.

   Si queremos por ejemplo evaluar la transferencia de conocimiento, por ejemplo al sector profesional, los contadores de Slideshare de cursos a bibliotecarios, como por ejemplo en mi caso (gracias por el piropo), pueden ser un indicador estupendo. Pero si hay que evaluar la generación de conocimiento científico, nada como un puñado de papers o de libros publicados en ***** University Press. Todo es actividad científica, de acuerdo, pero hay niveles.

   Efectivamente, las nuevas herramientas incrementan los “números bibliométricos” en volumen, y esto es estupendo, sobre todo en sociales y humanidades, donde andamos sobre arenas movedizas y a veces contamos con una simple letrica, como hacemos en Circ, para calificar la producción. Tenemos poca de donde tirar y, a veces, lo reconozco, puede llegar a ser un poco simplista. Como comenté en ese proyecto experimental de evaluación del centro ICS, estamos preparando indicadores de otro tipo. Con los clásicos es verdad no nos llega y con Analytics, los downloads y los hits en Scholar, al menos nos permiten tener otros elementos de juicio.

   Pero evidentemente si queremos tener otros elementos de juicio en éstas áreas es necesario tener en cuenta otras tipologías para tener digamos más “trabajos evaluables” en juego y aprovechar esas alt-metrics. Si no es imposible, lo que nos está costando en este Centro es que los investigadores pongan en juego sus materiales en la Web. Ojo, muchos son reticentes, ya que si no tienes visitas en la Web de tu proyecto, no se han descargado los materiales del repositorio, no se han citado en Scholar (como nos ocurre con algunos), dejan una evidencia más que palpable de que lo que estás investigando no tiene ni interés científico ni social; de ahí las reticencias y el poder de la Web como herramienta de evaluación.

   Otra cuestión interesante de las nuevas herramientas es el valor final que le pueden dar los “gestores” a los nuevos indicadores o productos. Os puedo asegurar que tienen muchas reticencias a ellos ya que los ven como un divertimento o una mera curiosidad. Todavía no ven el valor del que hablaba en el párrafo anterior. A fin de cuentas, los proyectos del Plan Nacional, los “Severo Ochoa” y las pegatas del CEI, que es lo trae la pasta a nuestras universidades, se consiguen a través de papers y citas, es lo que piden en las convocatorias.

   Imagino que poco a poco todo puede cambiar en sus cabezas, pero no debemos imponer indicadores, todos sabemos que éstos cuajan poco a poco. Los que vivimos el día a día de estas convocatorias no podemos perder esta perspectiva, no podemos decir al gestor que le diga a sus investigadores que publiquen todo en el repositorio y sean descargados y punto; la perspectiva ahora es que publiquen todo en el JCR 1º cuartil y sean citados; ésta es la moneda de cambio en la ciencia: “papers & citas” por dinero. Esto no lo imponemos los que nos dedicamos a la Bibliometría, sino los de arriba, los del Ministerio. A mí personalmente me gustaría evaluar de otra manera y evaluar otras cosas.

   En cuanto a lo que dice Jorge Serrano-Cobos, efectivamente emergen nuevos roles en torno a la producción científica/evaluación, es el momento de aprovecharlos. Las universidades necesitan herramientas de gestión y creo que nosotros podemos darles un poco de luz que les pueda ayudar a tomar decisiones. Pero ojo, no nos dedicamos al marketing, son más bien nuestros jefes los que utilizan nuestros indicadores para hacer marketing; proveemos los datos y ellos ven que salen bien en algo y nos piden una noticia de prensa. Yo hago este rol y creo que podemos perder perspectiva de análisis ya que al final sólo miramos lo bueno, lo vendible de las universidades, y suelen ignorar las debilidades. En ese sentido eso es marketing, intentar vender un producto que a lo mejor no es tan bueno.

9. MODIFICACIONES EN LOS CRITERIOS DE EVALUACIÓN

   Hola Tomás:
   Te puedo asegurar que algunos nos preocupamos de que la evaluación se vaya variando en función de las derivas curriculares que se van observando en evaluaciones anteriores. Las modificaciones en los criterios de evaluación hay que efectuarlas con tiento y mesura pero son útiles en este sentido, evitan una excesiva distorsión en la trayectoria curricular del científico. Y, en general, la experiencia nos dice que con unos pocos indicadores se asegura uno un ranking que poco cambiaría por muy fino que tratara uno de hilar.
   Lamentablemente, también nos dice la experiencia que la fe ciega en los números provoca injusticias; pocas, pero haberlas, haylas.

10. GAMING THE SYSTEM

    Siguiendo el hilo, en el blog colectivo de economía “Nada es gratis” tropecé con una entrada que analiza algún caso concreto de estrategia de publicación dudosa y efectos en la reputación investigadora y de la universidad.
    http://www.fedeablogs.net/economia/?p=17048

    Os paso un párrafo donde nombra como “gaming the system” a la idea que quería expresar torpemente el otro día, que cuestiona el repurposing en la publicación de artículos, algo que supongo casi imposible de determinar por métodos de análisis estadísticos.

    “Otro aspecto importante es el lado oscuro de un cambio reciente y muy deseable, a saber, que los gestores de nuestro sistema universitario hayan decidido tener en cuenta las publicaciones (e incluso el factor de impacto) de los investigadores para las promociones, los aumentos de remuneración y los premios de investigación. Pero esto no basta, porque los esquemas habituales animan a los investigadores a intentar manipular el sistema (gaming the system). Una forma de manipulación es publicar muchos artículos muy parecidos. Si se suman todos, parece que la contribución es grande, pero yendo al fondo se concluye que no es así”.

    El autor concluye que el mejor medio es el preventivo, a través de comités de evaluación con mejores medios y muy bien organizados, para garantizar su objetividad a lo largo del tiempo.
    La entrada continúa con un buen manojo de comentarios.

Comments are closed.