¿Qué consecuencias tiene el factor de impacto? En algunos países, relativamente pocas. Como revisor he visto artículos enviados por popes del área en primer lugar a revistas del tercer cuartil que, tras ser rechazados, pasaban a enviarlos (y publicarlos) en revistas del primer cuartil. La revista del primer cuartil era el plan B porque, para el tema en concreto del artículo, la revista de referencia tiene un factor de impacto mucho menor. En algunos lugares uno intenta publicar en las revistas que leen aquellos con los que uno aspira a comunicarse.
En España sí que es relevante el factor de impacto. Hasta hace relativamente poco, lo importante como investigador era publicar en cualquier revista incluida por que la empresa que mide el factor de impacto. Lo importante (al menos según las reglas del juego de tribunales y agencias de evaluación) era maximizar el número de artículos. ¿Que publicar en Science te suponía tres veces más esfuerzo que publicar en Revista de Ciencias del Barrio? Pues a por Revista de Ciencias.
Progresivamente las reglas del juego van cambiando. Ahora los artículos en la Revista de Ciencias o cuentan poco o casi llegan a penalizar. Ser científico es entrar en una conversación mundial y uno ha de intentar hablar donde están los interlocutores naturales, aquellos a los que sigues y aquellos que querrías que te siguieran a ti. Obtener plazas, acreditaciones, sexenios... cada vez está más vinculado al factor de impacto de las revistas donde publica uno (confundiendo un indicador de revistas con un indicador de artículos; sería como creer que cualquier sueco es más alto que cualquier español porque los suecos en promedio de hace diez años eran más altos que los españoles de hace diez años).
El factor de impacto es una medida que carece de fiabilidad y validez. Esto daría (y espero que dé en el futuro) para más entradas del blog. Es un indicador métricamente muy cuestionable. Y lo es sin necesidad de que nadie lo piratee. Pero más cuando hay gente que, intencionalmente, pone de su parte para introducir ruido, para que revistas irrelevantes vean su factor de impacto disparado. De este modo, investigadores que publican en revistas mediocres pueden aparentar tener mejores currícula de lo que les correspondería. E investigadores que merecerían un puesto de trabajo pueden perderlo, por la distorsión introducida por algunos grupos de investigación que piratean desde la inmoralidad y la irresponsabilidad un indicador social y profesionalmente relevante.
Muchas, muchas revistas intentan forzar al alza su factor de impacto. La revista española Psicothema, durante años, se ha negado a publicar artículos que no citaran a otros artículos de Psicothema. Hace poco recibía una revisión de Psicológica donde se nos indicaba claramente cuál era el artículo que habíamos de citar. El problema no se limita a revistas españolas.
Pero hay un investigador que se lleva la palma en la manipulación del factor de impacto: Gualberto Buela-Casal. Veamos su historial como manipulador. (Repito: Detrás de la distorsión del factor de impacto hay daño producido a investigadores. El factor de impacto no es un juego, sino una medida que se emplea para tomar decisiones relevantes en la vida de un investigador).
Manipulando el factor de impacto de Psicothema, Revista Latinoamericana de Psicología, Revista Mexicana de Psicología y Revista Interamericana de Psicología
Un único artículo era el responsable de esta anomalía. En el 2002 Buela-Casal y colaboradores publican el artículo Estudio Comparativo de las Revistas de Psicología en Castellano con Factor de Impacto. Es un artículo con 364 citas. Un disparate. Lo que hacen es citar todos los artículos publicados en los últimos años en las revistas objeto de estudio. De este modo, cualquier artículo de esas revistas del 2000 ó 2001 ha recibido, al menos, una cita. Son artículos citados sólo por existir. Por ello, el factor de impacto que realmente correspondería a Psicothema habría de ser un punto menor.
Manipulando el factor de impacto del International Journal of Clinical and Health Psychology
De este tema me he ocupado previamente en el blog. ¿La técnica? Cada cierto tiempo se publican en esta revista artículos de obligada citación. La ventana temporal que cubre el cálculo del factor de impacto es de dos años. Por ello, estos artículos de obligada citación han de irse renovando. Artículos de cómo escribir un artículo, artículos de cómo categorizar el método de investigación de un artículo, artículos de cómo hacer una revisión... No hay que ser especialmente creativos para renovar la base de artículos de obligada citación: comparen este artículo del 2005 con este artículo del 2007. Se admite el auto-plagio. En la página de presentación de la revista aparece el listado de artículos que conviene incluir. O que pueden llegar a ser incluidos directamente por el equipo editorial. En el caso de no acomodarse, las revisiones marcan claramente que se espera la cita pertinente.
Actualmente, este revista está en el segundo cuartil de su categoría. Ha llegado a estar en el primer cuartil. Poca gente de prestigio internacional publica ahí para lo que se esperaría dado su factor de impacto.
Buela-Casal es uno de los directores asociados de la revista. (Creo que fue su primer director, pero esto no lo puedo asegurar. Y que fue director cuando se empezaron a publicar los artículos de obligada citación.) El actual director es Juan Carlos Sierra, persona de estrecha confianza.
Manipulando el factor de impacto de Estudios de Psicología, Anales de Psicología...
Hay multitud de revistas de psicología en España. Durante años ha sido habitual que cada facultad tuviera la suya. Yo, como investigador productivo español, desconozco el nombre de gran parte de ellas. Por ejemplo, hasta hace poco no sabía que en la UAM se editaba Estudios de Psicología o en Murcia Anales de Psicología. Lo descubrí cuando aparecieron en el segundo cuartil de la categoría Psicología-Multidisciplinar con un factor de impacto superior al de revistas con mucha mayor tradición.
Aquí, de nuevo, casi todo el factor de impacto puede atribuirse a un único artículo, de Quevedo-Blasco y López-López, con título Análisis Bibliométrico de las Revistas Multidisciplinares de Psicología Recientemente Incorporadas en la Web of Science (2008-2009). En este artículo se citan 471 artículos de las revistas españolas y latinoamericanas incluidas para evaluar su factor de impacto. De nuevo, se citan a artículos por el hecho de existir. De este modo, la revista Anales pasa de un factor de impacto en el 2009 de 0.244 a un factor de impacto de 1.338 en el 2010. Un solo artículo de una sola revista cita a los 80 artículos de Anales en el lapso de tiempo que cuenta para el cómputo del último factor de impacto, y no porque aporten algo especial sino porque sí. Descontando este artículo, el factor de impacto de Anales (o de Estudios de Psicología, o de Universitas Psychologica, o de Revista Latinoamericana de Psicopatología Fundamental...) baja un punto entero, dejándolas en la cuasi-irrelevancia esperable por su capacidad para atraer artículos de investigadores de alto nivel.
Este artículo recuerda mucho al escrito por Buela-Casal sobre los artículos de Psicothema que comentaba anteriormente. En este caso no es Buela-Casal el autor. Él, discretamente, sale del foco. Lo firman colaboradores estrechos suyos como demuestra la gran cantidad de publicaciones conjuntas o la labor como asistentes editoriales en el International Journal of Clinical and Health Psychology. Es muy poco creíble que Quevedo-Blasco y López-López escribieran este artículo sin conocimiento y supervisión de Buela-Casal.
Por tanto, son múltiples las ocasiones en las que Buela-Casal y su equipo han trabajado para distorsionar el factor de impacto. Los problemas de la manipulación del factor de impacto no se limitan a las posibles decisiones tomadas sobre currícula de investigadores. Tiene más efectos nocivos:
- Los investigadores empiezan a enviar sus artículos a las revistas equivocadas. Si únicamente nos fijamos en el factor de impacto, a mí me sale más a cuenta publicar en una revista española (donde no me lee nadie con el que me quiera realmente comunicar) que en la revista de referencia de mi área de conocimiento (donde publican la gente cuyo trabajo admiro y que, algunos, valoran mi trabajo).
- Los investigadores empiezan a valorar mal su propia trayectoria. Yo he escuchado a Titulares vanagloriarse por haber publicado en una revista del segundo cuartil... que nadie lee y cuyo factor de impacto tendría que estar más cerca de 0 que de cualquier otro entero.
- Las revistas empiezan a tomar decisiones equivocadas. Una revista de pobre calidad empieza a subir los estándares de exigencia. Recibe muchos manuscritos. Al cabo de nada de tiempo, salvo otra manipulación, vuelve a situación casi de partida. Habrá que ver cómo se reajusta el sistema, pero liarse a pedradas en un charco no es algo trivial.
Lo que ya remata el absurdo de la situación es que Buela-Casal pasa por ser uno de los investigadores de referencia españoles en la evaluación de la calidad investigadora. Otros investigadores españoles han intentado pararle los pies a Buela-Casal en otros ámbitos (intentaba aparecer como el investigador más productivo español en el área de Personalidad, Evaluación y Tratamiento, de nuevo con colaboradores firmando como únicos autores los artículos que él no puede firmar, por un punto de dignidad). Espero que este post ayude a situar a Buela-Casal en su sitio y a cada revista en su lugar. Bastante malo es el factor de impacto como indicador, bastante mal uso se le da, como para corromperlo todavía más.
Entradas
Es la picaresca española. Nos dan un criterio y lo seguimos en la forma pero no en el fondo. Así nos luce el pelo. Lo peor, como dices, es que se pervierte el proceso de evaluación de la investigación.
ResponderEliminarGracias por atreverte, aunque sea desde el economato :)
ResponderEliminarMe parece muy acertado (y valiente por tu parte) el post. Quería añadir unos comenatrios, que espero complementen lo ya dicho.
ResponderEliminarEn primer lugar, remarcar que el factor de impacto (bibliográfico) es un indicador de las citas recibidas por la revista, no por un artículo, por sus (supuestos) autores o por el grupo o centro donde trabajan. En epidemiología a esto lo llamamos la "falacia ecológica": atribuir a un individuo erróneamente una característica grupal (el ejemplo de la altura de suecos y españoles es magnífico).
En segundo lugar, y mezclando mi experiencia como autor con la de editor (durante 6 años, de la revista "Gaceta Sanitaria"), debo reconocer que la presión de los "actores" de la revista con el dichoso factor de impacto es asfixiante. Todo el mundo --los editores, los autores, las sociedades científicas o las editoriales dueñas de las revistas, las agencias de financiación, y hasta los propios lectores (mejor leer una revista de Q1 que de Q2, ¿no?)-- quieren un factor de impacto más alto. Y la solución no pasa por favorecer el número de autocitas publicando artículos más o menos triviales. Tampoco pasa por inflar las autocitas con artículos como los comentados en el post, o del tipo "qué hemos publicado en el último año" como han practicado algunas revistas. El factor de impacto se aumenta con una buena política editorial (buenos revisores, tiempos de gestión rápidos, visibilidad y accesibilidad de la revista, honestidad editorial...) que atraiga buenos artículos de buenos autores que, sin artimañas, serán citados por otros investigadores (y por ellos mismos).
Y para acabar, recordar que Thomson-Reuters, actual "dueña" del factor de impacto bibliométrico está atenta a su evolución. En la última edición del JCR (de 2010, publicada hace escasamente un año), excluyeron del "cómputo del factor de impacto a 34 revistas, dos de ellas españolas debido a un índice de autocitación enormememente alto (Scripta Nova y Archivos de Bronconeumología, con un 95% y 74% de autocitación en el año anterior) [http://bit.ly/JfA5uD].
Realmente interesante. Cuantificar es relevante, pero manipular los números trae consecuencias perversas. Algunos de los datos que comenta este post son conocidos por los académicos españoles, pero casi nadie se digna (o se atreve) a comentarlos en público. A medio plazo pasará factura. La estrategia de individuos como Buela-Casal y sus colaboradores hace daño a la imagen de la ciencia. Denunciarlo es importante. Adoptar medidas también.
ResponderEliminarJod...Roberto y por qué no se valoran los libros que cuestan mas esfuerzo que los articulos
EliminarPorque los libros se publican (o no) por razones comerciales. Y porque nuestra misión es crear conocimiento nuevo, no compendio de conocimento de otros. Así lo veo yo.
EliminarLa revista International Journal of Clinical and Health Psychology (IJCHP) se caracterizó por una falta de ética desde sus comienzos. Inicialmente copió el subtítulo de otra revista española y lo colocó como título. El director (JCS) y subdirector (GBC) de la IJCHP conocían este hecho porque fueron jefe de redacción y codirector de la revista a la que plagiaron. Parece que la IJCHP fue denunciada y tuvieron que eliminar el título en español, dejando sólo el título en inglés (por lo visto para el registro de la propiedad no es equivalente el mismo contenido en dos idiomas diferentes si las palabras no se parecen).
ResponderEliminarComo comenta Roberto, lo que todo el mundo comenta en privado y pocos se atreven a comentar en público. Excelente análisis crítico.
ResponderEliminarUn saludo
Me ha encantado el post. Refleja perfectamente lo que percibí al acudir al V Congreso Internacional y X Nacional de Psicología Clínica celebrado en Santander por el equipo de Buela-Casal. Se aceptaron mulitud de trabajos sin tener en cuenta n absoluto su calidad o relevancia científica. Los posters se exponían durante media hora mientra se celebraban 6actividades a la vez. Algunas de las mesas no tenían ni moderador ni alguien que te cargara las presentaciones en el ordenador. El único afán era recaudatorio y de inflar los curriculums de tdo aquel que estaba dispuesto a pagar para oonseguir que un certificado. En la lineade lo que se comenta en el post. También fue evidente en el desarrllo de las jornadas que este ipo de personajes cuentan con apoyos importantes a los que se la trae al pairo la ética profesional y meestoy refiriendo al presidente del COP, Francisco Santolaya.
ResponderEliminarEsclarecedor. Bastante cuesta mantener un cierto nivel de dignidad en las publicaciones de los académcios españoles para que venga el susodicho a manipular los datos para quedar el primero, él o su revista (o la otra revista de pago española). De vergüenza. Lo malo que esto da argumentos a los contrarios de que los investigadores publiquemos en revistas JCR, y el esfuerzo y mérito que ello supone, que son muchos... y cobardes.
ResponderEliminarEstoy completamente de acuerdo, no te imaginas hasta que punto llega la falta de escrúpulos de este señor, he podido comprobarlo personalmente
ResponderEliminarHay tres formas para demostrar estar en la cima de lo que uno hace: siendo los primeros; los más inteligentes; o con engaños. La persona que emplea todos sus recursos demuestra a los demás como hacer fácil y bien el trabajo de gente superior (liderazgo). J. D. Rockefeller.
ResponderEliminarAnimo a toda persona que lo critica, que ponga su currículum aquí para comprobar de una forma parametrizable lo que tan solo unos pocos mortales se pueden permitir el privilegio de hacer.
Que cada uno compare su propia trayectoria con la suya (G.B.C), y demostramos de forma patente quién está por encima de los demás…
Guillermo Moreno
Guillermo Moreno, tienes los datos ahí. La información es fácilmente rastreable. Si estás en situación de negar que Buela-Casal ha manipulado repetidas veces índices de impacto, será un placer escuchar tus argumentos. Por el momento, no has aportado ninguno. El argumento de autoridad no cuenta. Que Buela-Casal tenga o no buen CV no cambia la indecencia de sus prácticas en lo relativa el factor de impacto.
ResponderEliminarAdemás, lo de buen CV es bastante cuestionable. Según Scopus, las primeras cinco revistas donde más ha publicado son:
- Psicothema: Ya paga a Muñiz bien, a golpe de cursos y seminarios, la aceptación de los artículos. Revista española de poco prestigio.
- Salud Mental: Revista de poco prestigio.
- El IJCHP, la revista del propio GBC. Así es fácil hacer CV.
- Revista Mexicana de Psicología: Revista de poco prestigio.
- Revista de Psicodidáctica: Revista de poco prestigio. También con manipulación del factor de impacto.
Vivimos en un proceso continuo sujeto por un cifrado complejo, y que es comprendido de forma parametrizable por el sistema decimal (posiblemente, porque el 10 sea un número satisfactorio y, tenemos numerosos ejemplos de ello), y por los cuales, te voy a dar unas cuantas razones de justificación:
EliminarEn primer lugar, supongamos que de los 121 artículos de su CV un 20% sea debido a la manipulación del FI, (que creo que estoy siendo benevolente con el %) serían 24 artículos manipulados, según tu criterio. Bien, 121 - 24 = 97 artículos (JCR).
EliminarAhora va a resultar que la mayoría de investigadores españoles (Psicología) rondan la centena de artículos… (Aunque la Psicología es muy amplia, G.B.C en su campo, es uno de los más productivos).
En segundo lugar, que conozca a las personas que dirigen “ciertas revistas” es una posición de poder y prestigio ganada a lo largo del tiempo. Tal vez pueda ser por el impacto de su CV, o tal vez no (no voy a entrar en eso), pero está claro que la relación con personas productivas es beneficiosa en, por y para la investigación. (No creo que haya investigadores que sólo quieran relacionarse con personas mediocres en investigación, pues, toda persona moderadamente inteligente, supongo que querría relacionarse con investigadores importantes; en los casos en los que pudiera hacerse).
En tercer lugar, el simple hecho de darse cuenta de un error, fallo o grieta en el sistema de indexación dentro del JCR creo que demuestra sobradamente un nivel de inteligencia superior, pues, si no, no hablarías de eso (manipulación), porque supongo que lo harías tú.
En cuarto lugar, por mucho que cueste reconocerlo, esos artículos -de manipulación- de los que se habla, para bien o para mal cuentan dentro del CV, siendo una de las finalidades últimas del investigador: por cantidad, por calidad, o ambas a la vez.
En quinto lugar, al igual que ocurre en el Derecho, si hay una laguna o vacío legal dentro de la investigación, hasta que no se recojan dichas acciones como no permitidas o ilegales, desplegar recursos matemáticos -además de sobradamente útiles- muestra como ciertas personas siguen estando un peldaño por encima del resto. Un ejemplo de tantos: G.B.C. (Hay muchos otros fueras de serie). Lo que aquí no se recoge es, que en el futuro, gracias a las aportaciones de la susodicha manipulación del FI, con el tiempo, se subsanará, perfeccionará y modificará todo el proceso relacionado con el ejercicio perteneciente a la citación. (Y creo que en eso -entre muchas otras cosas- se fundamenta parte de la ciencia: corregir y mejorar).
En sexto lugar, si ves qué lo que hace otro es productivo, hazlo tú también. (En España se practica la envidia como deporte nacional, ese es el verdadero cáncer del país).
En séptimo lugar, la ciencia -en general- se construye paso a paso con el bagaje de las aportaciones de todos los investigadores que vienen detrás. Saber utilizar los recursos de los que uno dispone nunca he visto que sea un lastre, sino todo lo contrario; aunque aquí parece difícil de reconocer.
En octavo lugar, si los que dirigen el JCR hubiesen considerado tales artículos como manipulados por el FI, ya se hubieran encargado ellos -como organismo institucional competente dentro del sistema de investigación- de invalidarlos, desacreditarlos o rescindirlos. (Todos los que habláis con críticas -que no son constructivas- lo único que hacéis es meter ruido; al igual que lo que dice un niño pequeño que no sabe hablar).
En noveno lugar, por qué se preocupa la gente de lo que hacen los demás; cómo si no fuese suficiente lo que tiene ya cada uno (Lo que hacen los demás, es problema de los demás). Sé positivo; no te quejes y abandones, hoy tienes buena suerte y mañana mala suerte. No hullas cuando pierdas; no protestes si te duele; es como en el colegio, nos vamos a poner ahora a llorar (Bua, bua, bua, que G.B.C ha manipulado el FI…).
En décimo y último lugar, lo que distingue a un investigador del resto de personas es ir con la verdad por delante, así pues, para poder dirigirme la próxima vez a ti, firma lo que escribas con tu nombre.
Guillermo Moreno
Guillermo, una pregunta directa: ¿Buela-Casal, sea como autor, como líder de un equipo de investigación o como responsable de revistas, está involucrado en procesos intencionados de manipulación del factor de impacto? Porque te recuerdo que de eso estamos hablando.
ResponderEliminar