viernes, 15 de octubre de 2010

El (impactante) caso del factor de impacto

La revista Norte de Salud Mental, publicación de la Osasun Mentalaren Elkartea (OME), la Asociación Castellano Leonesa de Salud Mental (ACLSM), la Asociación Canaria de Neuropsiquiatría y, por lo tanto, de la Asociación Española de Neuropsiquiatría (AEN), se está convirtiendo número a número en una de las más interesantes en nuestro campo en este país. Recientemente, publicó en dos partes un artículo acerca de los memes y la psiquiatría, escrito por psiquiatras de la nunca bastante alabada Txori Herri Medical Association: Memes y Psiquiatría (1): Memes, Enfermedades y Psiquiatras, y Memes y Psiquiatría (y 2): Los memes, la Industria y la Literatura científicas. Biología de los memes y defensas frente a su actuación.

En el primero de dichos artículos, los autores definen: "El concepto de meme fue puesto en circulación por Richard Dawkins en su libro "El Gen Egoísta" para referirse a los elementos culturales que se transmiten por medios no genéticos, fundamentalmente por imitación. [...] Los memes son, por tanto, instrucciones para llevar a cabo una determinada conducta que se almacenan en nuestros cerebros y otros lugares (libros, discos duros, etc.) y que se transmiten por imitación. Sería un replicador equivalente al gen pero en el plano cultural, no en el biológico."

Definido el concepto, vayamos al párrafo que queremos señalar, ya en el segundo artículo: "[...] el mundo científico se ha impuesto un meme [...] que dice que publicar es bueno (se tenga algo que decir o no). Nadie critica esto, hasta el punto de que se ha incorporado con éxito y peso a los criterios de valoración de la carrera profesional. Si existen autores que piensan que no es bueno publicar tanto, lo más seguro es que, siendo consecuentes con su idea, no la publiquen y, por lo tanto, el meme de no publicar no se extiende. Hasta tal punto ha triunfado este meme que se mide a científicos, profesionales y departamentos universitarios de acuerdo a su producción literaria de la que dependen sus becas, ayudas o presupuestos."

Y tras esta introducción (que queríamos aprovechar para recomendar la lectura de ambos artículos, más que interesantes), entramos de lleno en la cuestión de la publicación científica. En nuestro entorno profesional, como en otros campos, existe un auténtico furor publicandis. Hay que escribir notas clínicas, artículos de revisión, originales, mandar comunicaciones a congresos, posters... lo que sea, pero cuanto más, mejor. Se publican muchas veces temas sin el menor interés, porque hay que publicar. O el mismo tema se lleva su poster, luego su nota clínica y luego tres o cuatro artículos haciendo bailar un poco los datos y el orden de los autores (que a veces el artículo tiene más autores que páginas, en prodigiosa labor de trabajo en equipo...). Y hay que hacer que los residentes publiquen. Y hay que publicar para aumentar curriculum para cuando toque OPE. Y hay que publicar para entrar en el mundo universitario. Y hay que publicar porque hay que publicar... Pero lo grave es que lo prioritario con diferencia es que hay que publicar, independientemente de que uno tenga algo que decir o no, o de que lo que uno diga tenga interés, relevancia o importancia alguna o no.

Y ya que hay que publicar, debe hacerse, por supuesto, en revistas con el mayor factor de impacto posible. Porque en muchos baremos profesionales y académicos las publicaciones varían enormemente en valor según el dichoso factor de impacto. Hay revistas (como, por ejemplo, Norte o la Revista de la AEN, que creemos muy interesantes) con factor de impacto cero. Mientras que otras llegan a niveles altísimos que ocasionan que en algunos baremos (como el del extinto Consorcio Sanitario de Tenerife, baremo que Dios tenga en su Gloria), ser sexto autor en un artículo de algunas revistas internacionales valga cinco veces más que una tesis doctoral.

Y entonces nos surgió la duda: ¿cómo se calculará este factor de impacto?. Imaginábamos alguna regla matemática objetiva e independiente, algo así como el cálculo de la fuerza de la gravedad, pero descubrimos (diríamos que con sorpresa, pero cada vez nos sorprendemos menos) que no era así.

Encontramos un genial artículo que arroja luz sobre sobre la historia, cálculo y naturaleza del factor de impacto (FI). Se trata del trabajo La ciencia posmoderna y el factor de impacto, de Armando Aranda, un fragmento del cual resumimos a continuación:

En 1961, Eugene Garfield creó el Science Citation Index como una publicación trimestral que incluía 600 revistas académicas, con el propósito de determinar la existencia de vínculos de comunicación entre investigadores: quién citaba a quién. Como parte de este proyecto Garfield estableció una fórmula arbitraria para determinar el “factor de impacto” de las revistas científicas como una guía para ayudar a los investigadores a seleccionar en cuáles revistas publicar. El FI fue definido como el número promedio de veces que los artículos de la revista x publicados en los dos años previos han sido citados en el presente año. La empresa de “ciencia-metría” fundada por Garfield prosperó y en la actualidad es parte del consorcio Thomson-Reuters. Así, para calcular el FI de la revista x correspondiente a 2007, Thomson-Scientific examina las aproximadamente 6.500 revistas incluidas en su SCI o las aproximadamente 2.000 revistas del Social Science Citation Index, para encontrar el número de citas en 2007 a los artículos publicados en 2006 y 2005 en la revista x. Ese número constituye el numerador de la fórmula y el denominador está dado por el número de “artículos originales de investigación y artículos de revisión” publicados en la revista x en 2006 y 2005. Existe una asimetría arbitraria entre los componentes de esta fórmula ya que el numerador incluye cualquier cita al contenido de la revista en cuestión sin importar el tipo de artículo, mientras que el denominador sólo incluye a los artículos considerados como citables por Thomson. Determinar si un artículo debe ser incluido en el denominador es establecido por los empleados de Thomson en forma discrecional. Según Garfield, nunca pensó que la noción de “impacto” aplicada a las revistas científicas sería tan controvertida como la energía nuclear, ya que puede ser usada en forma constructiva pero también puede ser fatal. El comentario anterior resulta del hecho de que el FI es utilizado en la actualidad para evaluar entre otras cosas a los investigadores, determinar apoyos a la investigación, determinar promociones académicas, evaluar la investigación por instituciones, por áreas, países, regiones, etc. Todos éstos son usos para los cuales no fue concebido el FI. Las inconsistencias y arbitrariedades del FI han sido ampliamente identificadas y comentadas por expertos en los últimos años (por ejemplo, PLoS Medicine Editors, 2006).

Hallamos también un valiente editorial común de The Rockefeller University Press, The Journal of Experimental Medicine y The Journal of Cell Biology, del que condensamos unos párrafos a continuación:

Thomson Scientific [recordemos: la empresa privada que elabora el FI] pone sus datos disponibles para la venta a revistas individuales. Con el propósito de analizar los datos para determinar cuales temas son más citados y cuales no, decidimos comprar la información de nuestras revistas y la de algunas revistas de nuestra competencia. Nuestra intención no era cuestionar la integridad de sus datos. Cuando examinamos la base de datos de Thomson Scientific, dos aspectos resultaron rápidamente evidentes: El primero, es que existían bastantes errores en la clasificación del tipo de artículo. Muchos artículos que consideramos sumarios o crónicas preliminares estaban incluidos en el denominador . Esto ocurrió en todas las revistas que examinamos. El segundo, los resultados no coincidían con los nuestros. El número total de citas de cada revista fue sustancialmente menor al número publicado en la página de Internet de Thomson Scientific, Journal Citation Report (JCR) (http://portal.isikknowledge.com/, subscripción requerida). La diferencia en el número de citas alcanzó hasta un 19% para una revista dada y la jerarquía de algunas revistas, basada en el índice de impacto, se alteró cuando realizamos los cálculos con los datos que compramos (no mostramos está información debido a los derechos reservados que tiene Thomson Scientific).

Y concluyen los autores del editorial: Esperamos que este informe convenza a algunos científicos y a algunas organizaciones que subvencionan proyectos, de revocar la aceptación del índice de impacto como una representación de calidad - o de impacto - de un artículo publicado en una revista dada. Así como los científicos no aceptarían las conclusiones en un artículo científico sin ver los datos originales, tampoco deberían fiarse del factor de impacto de Thomson Scientific, el cual está basado en datos ocultos. En la medida que más publicaciones y bases de referencia de datos sean accesibles al público por medio de los servicios de PubMed, PubMed Central, y Google Scholar, esperamos que las personas comiencen a desarrollar sus propias medidas de evaluación de la calidad científica en lugar de depender de números que no están claramente definidos y que son poco científicos.

Y así se calcula (que rima con así se manipula) el factor de impacto que tan preocupados y ocupados nos tiene (bueno, a nosotros no mucho). Cuanto esfuerzo y empeño, porque hay que publicar, digno de mejor causa.

Terminamos aquí, porque ya ha sido demasiado trabajo teniendo en cuenta que el factor de impacto de este blog es cero. Algo nos dice (¿algún meme travieso, tal vez?) que deberíamos intentar publicar en revistas super-impactantes y dejar ya la blogosfera y las revistas de impacto nulo (como nuestra querida Revista de la AEN, que nos ha acogido varias veces), pero creo que no vamos a hacer caso.

16 comentarios:

  1. Este comentario ha sido eliminado por el autor.

    ResponderEliminar
  2. Mucho de esto no sé, amigo Jose, excepto lo que dice el catecismo acerca de 'Publish or perish'. En el recordado blog Nietos de Kraepelin se hablaba además del 'Eigenfactor': http://nietosdekraepelin.blogspot.com/2009/04/abstracts-y-blogs-que-he-leido.html
    Y me imagino que debe ser algo muy importante y sopesado.

    Ciertamente no se lee sólo por los dichosos numeritos pero, no se dónde leía, es un paradigma de la modernidad asumir que se conoce mejor algo por el mero hecho de haberlo medido, ¿no?

    Un cordial saludo y gracias por entradas tan estimulantes como la presente.

    ResponderEliminar
  3. Suscribo totalmente lo dicho, realmente se ha vuelto obsesivo el asunto y con un acriticismo sorprendente y temible. Me gustaría abundar sobre el hecho que lo que valora el IF es el numero de citas por parte de las revistas que forman parte de su base de datos. Esa base de datos evidentemente está escrita en lengua inglesa en su mayoría lo que contribuye a extender otro meme, la ciencia seria (con impacto) se hace en inglés. No hablaremos del sesgo neurogenetista que existe actualmente a a la hora de aceptar publicaciones en las revistas de impacto, tampoco debemos olvidar que la mayoría de los artículos que entrega la industria farmacéutica, cuya calidad se ha comentado en bien a fondo en este mismo blog, se publican en revistas de alto factor de impacto. Finalmente no podemos pasar por alto para publicar en una revista de alto impacto muchas veces es imprescindible tener una firma que cuente ella misma con impacto, sobre todo si vive usted en la periferia de la periferia.
    Quiero aprovechar para saludar y agradecer la llegada de este blog que estimula la busqueda de una práctica clinica (¡e investigadora!) reflexiva y crítica.

    ResponderEliminar
  4. Este tema da para mucho, y en la facultad el profesor Pelechano nos lo comentaba mientras se reia de los estupido del sistema.
    Esto es lo que pasa cuando la idea es publicar por publicar, para poder seguir en el puesto, porque hay que justificarlo. El 95% de lo que se publica desde mi facultad, es lo que considero como investigar sobre el sexo de los ángeles. Sin interés, sin criterio, sin utilidad y sin aplicación. No creo que en todos estos años existiera un mínimo avance y/o aplicación de lo que ha salido de la facultad. Habiento temas tan interesantes y con tantísima repercusión e importancia como la que generó la charla que mantuvimos el otro día en mi blog. En el mundo de lo políticamente correcto, lo insulso, sin "chicha", es lo que triunfa. Y esto no es diferente. En la blogosfera no se puede tener impacto desde luego, pero ¿cuantas revistas tiene uno que comprar para llegar a leer cosas tan interesantes como esta misma entrada?. Esperemos que no cambien ustedes de idea y sigan por aquí mucho tiempo.
    Saludos.

    ResponderEliminar
  5. hay dos conceptos interesantes que me comentaron cuando hacia el doctorado sobre "uso y distrute" de esa perversidad de sistema. El primero -ideado por los alumnos- es el M.U.P. (Mínima Unidad Publicable)y el T.C. (título camaleón). El M.U.P. hace que tomando cuatro datos de una población se pueden hacer hasta seis publicaciones para congresos menores(combinando de dos en dos los datos)y cinco para congresos mayores (combinando de tres en tres o los cuatro datos a la vez). Es decir, tomo test 1, test 2, test 3 y día de la semana y combino test 1 con 2 -articulo- test 1 con día de la semana -otro artículo-etc...
    Después con los presentados a congresos mayores vas cambiando el título,por ejemplo del llamativo "¿que pasa en urgencias?" (formato póster) al serio y científico "días de la semana y perfil del paciente que acude a urgencia" (formato ponencia), así con un sólo trabajo de cuatro datos llegas a publicar más de doce.
    Otra herramienta más complicada que me dio un profesor en un curso de doctorado fue el "juego de la bolsa de revistas científicas". Puesto que el FI se mide a los dos años ver la tendencia en el FI y publicar en revistas alzistas. Es más fácil que admitan tu trabajo pero luego cuente como más impactante.
    Pero lo "heavy" es lo que trae esto para los pacientes. Ya que en el sistema público de salud le dan las plazas y las interinidades no a los que más días ven pacientes o mejor se forman, sino a los que más publican (en revistas pagadas por la industria) y a más congresos (pagados por a industria) van... es decir una vez más lo cualitativo es devorado por lo cuantitativo
    un ejemplo real: Fulanito se pega sus cuatro años de residencia haciendo la tesis, viajando a congresos vacuos financiados por la industria, publicando chorradas (todas sacadas de una única tesis descriptiva)sin un mínimo de reflexión ni esfuerzo personal y tiene más puntos para optar a cualquier plaza.
    Si además pone en susartículos al cátedro de turno que agradece que lo ponga (como primer autor aunque no se lo haya leído) este va pasando al, ya doctor, Fulanito, charlitas a las que no quiere ir,luego charlas a las que no puede ir y luego conferencias remuneradas. Si se mueve bien en ese mundillo -duro mundillo- y no insulta a nadie puede ir ascendiendo a ser uno de estos expertos nacionales/mundiales que no ha visto ni verá un paciente en su vida, y que cuando se encuentre con uno cara a cara le hará varios test para publicar ese "caso único"
    (basado en la vida de Barkley)

    Obviamente como sabéis de mi paranoia con los largos tentáculos del sistema firmo omo anonimo.

    ResponderEliminar
  6. Para impactante de verdad esta nueva entrada, impactante y estimulante. Un abrazo a los dos.

    César M.

    ResponderEliminar
  7. Lizardo: gracias por tu comentario. Es cierto que la modernidad opina que algo se conoce mejor por el hecho de medirlo, pero supongo que depende también de la validez y fiabilidad de la medición. Además, hay quien dice que estamos ya en la posmodernidad (¿de ahí la postpsiquiatría?) o incluso en la tardoposmodernidad.
    Un saludo.

    ResponderEliminar
  8. Miguel y Jesús: Muchísimas gracias por los comentarios y vuestros halagos. Creo que en este tema estamos totalmente de acuerdo (un poco como las voces que claman en el desierto, pero es agradable comprobar que bien acompañados). Seguimos en la brecha.
    Un abrazo a cada uno.

    ResponderEliminar
  9. Anónimo: tu comentario me ha parecido sencillamente genial. Retrata, por supuesto, la vida misma tal como es, y además bien contado. Me ha encantado el concepto de Mínima Unidad Publicable. Así va el sistema como va...
    Un saludo.

    ResponderEliminar
  10. Gracias por tu comentario, César.
    Un saludo.

    ResponderEliminar
  11. Impactante es hacer pensar al que te lee y eso lo estáis consiguiendo. Y cada vez seremos más, ya lo veréis.
    Esther.

    ResponderEliminar
  12. Como siempre, agradecemos mucho tu comentario, Esther. Un abrazo.

    ResponderEliminar
  13. Hola José, para animarte sobre el impacto te comento que hace pocos días envié a unas cuantas personas un artículo tuyo publicado en la AEN, ese de la pequeña aldea gala, de paso hice también publicidad del blog. En Galicia te apoyamos, besos.

    ResponderEliminar
  14. Muchas gracias, etiquetada. Sólo aclarar que ni el blog ni el artículo son de autoría exclusiva mía sino también de Amaia. Y de nuevo gracias por la difusión (que creo que es mejor que el impacto por el impacto).
    Un saludo.

    ResponderEliminar
  15. Fantástico! Coincido completamente con esto y me agrada tener al fin un nombre, "Mínima Unidad Publicable", para lo que hasta ahora había llamado "el McDonalds de la ciencia". Un abrazo

    ResponderEliminar
  16. E.L.: gracias por tu comentario. Efectivamente, el concepto de Mínima Unidad Publicable es fabuloso, aunque de autor anónimo.
    Un saludo.

    ResponderEliminar