El (impactante) caso del factor de impacto

La revista Norte de Salud Mental, publicación de la Osasun Mentalaren Elkartea (OME), la Asociación Castellano Leonesa de Salud Mental (ACLSM), la Asociación Canaria de Neuropsiquiatría y, por lo tanto, de la Asociación Española de Neuropsiquiatría (AEN), se está convirtiendo número a número en una de las más interesantes en nuestro campo en este país. Recientemente, publicó en dos partes un artículo acerca de los memes y la psiquiatría, escrito por psiquiatras de la nunca bastante alabada Txori Herri Medical Association: Memes y Psiquiatría (1): Memes, Enfermedades y Psiquiatras, y Memes y Psiquiatría (y 2): Los memes, la Industria y la Literatura científicas. Biología de los memes y defensas frente a su actuación.

En el primero de dichos artículos, los autores definen: "El concepto de meme fue puesto en circulación por Richard Dawkins en su libro "El Gen Egoísta" para referirse a los elementos culturales que se transmiten por medios no genéticos, fundamentalmente por imitación. [...] Los memes son, por tanto, instrucciones para llevar a cabo una determinada conducta que se almacenan en nuestros cerebros y otros lugares (libros, discos duros, etc.) y que se transmiten por imitación. Sería un replicador equivalente al gen pero en el plano cultural, no en el biológico."

Definido el concepto, vayamos al párrafo que queremos señalar, ya en el segundo artículo: "[...] el mundo científico se ha impuesto un meme [...] que dice que publicar es bueno (se tenga algo que decir o no). Nadie critica esto, hasta el punto de que se ha incorporado con éxito y peso a los criterios de valoración de la carrera profesional. Si existen autores que piensan que no es bueno publicar tanto, lo más seguro es que, siendo consecuentes con su idea, no la publiquen y, por lo tanto, el meme de no publicar no se extiende. Hasta tal punto ha triunfado este meme que se mide a científicos, profesionales y departamentos universitarios de acuerdo a su producción literaria de la que dependen sus becas, ayudas o presupuestos."

Y tras esta introducción (que queríamos aprovechar para recomendar la lectura de ambos artículos, más que interesantes), entramos de lleno en la cuestión de la publicación científica. En nuestro entorno profesional, como en otros campos, existe un auténtico furor publicandis. Hay que escribir notas clínicas, artículos de revisión, originales, mandar comunicaciones a congresos, posters... lo que sea, pero cuanto más, mejor. Se publican muchas veces temas sin el menor interés, porque hay que publicar. O el mismo tema se lleva su poster, luego su nota clínica y luego tres o cuatro artículos haciendo bailar un poco los datos y el orden de los autores (que a veces el artículo tiene más autores que páginas, en prodigiosa labor de trabajo en equipo...). Y hay que hacer que los residentes publiquen. Y hay que publicar para aumentar curriculum para cuando toque OPE. Y hay que publicar para entrar en el mundo universitario. Y hay que publicar porque hay que publicar... Pero lo grave es que lo prioritario con diferencia es que hay que publicar, independientemente de que uno tenga algo que decir o no, o de que lo que uno diga tenga interés, relevancia o importancia alguna o no.

Y ya que hay que publicar, debe hacerse, por supuesto, en revistas con el mayor factor de impacto posible. Porque en muchos baremos profesionales y académicos las publicaciones varían enormemente en valor según el dichoso factor de impacto. Hay revistas (como, por ejemplo, Norte o la Revista de la AEN, que creemos muy interesantes) con factor de impacto cero. Mientras que otras llegan a niveles altísimos que ocasionan que en algunos baremos (como el del extinto Consorcio Sanitario de Tenerife, baremo que Dios tenga en su Gloria), ser sexto autor en un artículo de algunas revistas internacionales valga cinco veces más que una tesis doctoral.

Y entonces nos surgió la duda: ¿cómo se calculará este factor de impacto?. Imaginábamos alguna regla matemática objetiva e independiente, algo así como el cálculo de la fuerza de la gravedad, pero descubrimos (diríamos que con sorpresa, pero cada vez nos sorprendemos menos) que no era así.

Encontramos un genial artículo que arroja luz sobre sobre la historia, cálculo y naturaleza del factor de impacto (FI). Se trata del trabajo La ciencia posmoderna y el factor de impacto, de Armando Aranda, un fragmento del cual resumimos a continuación:

En 1961, Eugene Garfield creó el Science Citation Index como una publicación trimestral que incluía 600 revistas académicas, con el propósito de determinar la existencia de vínculos de comunicación entre investigadores: quién citaba a quién. Como parte de este proyecto Garfield estableció una fórmula arbitraria para determinar el “factor de impacto” de las revistas científicas como una guía para ayudar a los investigadores a seleccionar en cuáles revistas publicar. El FI fue definido como el número promedio de veces que los artículos de la revista x publicados en los dos años previos han sido citados en el presente año. La empresa de “ciencia-metría” fundada por Garfield prosperó y en la actualidad es parte del consorcio Thomson-Reuters. Así, para calcular el FI de la revista x correspondiente a 2007, Thomson-Scientific examina las aproximadamente 6.500 revistas incluidas en su SCI o las aproximadamente 2.000 revistas del Social Science Citation Index, para encontrar el número de citas en 2007 a los artículos publicados en 2006 y 2005 en la revista x. Ese número constituye el numerador de la fórmula y el denominador está dado por el número de “artículos originales de investigación y artículos de revisión” publicados en la revista x en 2006 y 2005. Existe una asimetría arbitraria entre los componentes de esta fórmula ya que el numerador incluye cualquier cita al contenido de la revista en cuestión sin importar el tipo de artículo, mientras que el denominador sólo incluye a los artículos considerados como citables por Thomson. Determinar si un artículo debe ser incluido en el denominador es establecido por los empleados de Thomson en forma discrecional. Según Garfield, nunca pensó que la noción de “impacto” aplicada a las revistas científicas sería tan controvertida como la energía nuclear, ya que puede ser usada en forma constructiva pero también puede ser fatal. El comentario anterior resulta del hecho de que el FI es utilizado en la actualidad para evaluar entre otras cosas a los investigadores, determinar apoyos a la investigación, determinar promociones académicas, evaluar la investigación por instituciones, por áreas, países, regiones, etc. Todos éstos son usos para los cuales no fue concebido el FI. Las inconsistencias y arbitrariedades del FI han sido ampliamente identificadas y comentadas por expertos en los últimos años (por ejemplo, PLoS Medicine Editors, 2006).

Hallamos también un valiente editorial común de The Rockefeller University Press, The Journal of Experimental Medicine y The Journal of Cell Biology, del que condensamos unos párrafos a continuación:

Thomson Scientific [recordemos: la empresa privada que elabora el FI] pone sus datos disponibles para la venta a revistas individuales. Con el propósito de analizar los datos para determinar cuales temas son más citados y cuales no, decidimos comprar la información de nuestras revistas y la de algunas revistas de nuestra competencia. Nuestra intención no era cuestionar la integridad de sus datos. Cuando examinamos la base de datos de Thomson Scientific, dos aspectos resultaron rápidamente evidentes: El primero, es que existían bastantes errores en la clasificación del tipo de artículo. Muchos artículos que consideramos sumarios o crónicas preliminares estaban incluidos en el denominador . Esto ocurrió en todas las revistas que examinamos. El segundo, los resultados no coincidían con los nuestros. El número total de citas de cada revista fue sustancialmente menor al número publicado en la página de Internet de Thomson Scientific, Journal Citation Report (JCR) (http://portal.isikknowledge.com/, subscripción requerida). La diferencia en el número de citas alcanzó hasta un 19% para una revista dada y la jerarquía de algunas revistas, basada en el índice de impacto, se alteró cuando realizamos los cálculos con los datos que compramos (no mostramos está información debido a los derechos reservados que tiene Thomson Scientific).

Y concluyen los autores del editorial: Esperamos que este informe convenza a algunos científicos y a algunas organizaciones que subvencionan proyectos, de revocar la aceptación del índice de impacto como una representación de calidad - o de impacto - de un artículo publicado en una revista dada. Así como los científicos no aceptarían las conclusiones en un artículo científico sin ver los datos originales, tampoco deberían fiarse del factor de impacto de Thomson Scientific, el cual está basado en datos ocultos. En la medida que más publicaciones y bases de referencia de datos sean accesibles al público por medio de los servicios de PubMed, PubMed Central, y Google Scholar, esperamos que las personas comiencen a desarrollar sus propias medidas de evaluación de la calidad científica en lugar de depender de números que no están claramente definidos y que son poco científicos.

Y así se calcula (que rima con así se manipula) el factor de impacto que tan preocupados y ocupados nos tiene (bueno, a nosotros no mucho). Cuanto esfuerzo y empeño, porque hay que publicar, digno de mejor causa.

Terminamos aquí, porque ya ha sido demasiado trabajo teniendo en cuenta que el factor de impacto de este blog es cero. Algo nos dice (¿algún meme travieso, tal vez?) que deberíamos intentar publicar en revistas super-impactantes y dejar ya la blogosfera y las revistas de impacto nulo (como nuestra querida Revista de la AEN, que nos ha acogido varias veces), pero creo que no vamos a hacer caso.