15 agosto 2012

Publicaciones y cuchufletas

Las publicaciones científicas hace tiempo que se convirtieron en negocio. El otro día esperando a un amigo en la Escuela de Ingeniería Eléctrica y Electrónica de la universidad me puse a leer un ejemplar de los EIEE Transactions y me llamó la atención que junto con artículos muy profundos habían otros que los podría haber escrito un alumno de pregrado, o yo mismo llegado el caso.

Le pregunté a un profesor amigo y me dijo que en realidad había bastante tráfico de influencias y amistades a la hora de publicar y al final la revisión por pares se hacía cada vez más relajada a medida que alguien acumulaba publicaciones en una determinada revista. Se pensaba que la revisión por pares era un sistema perfecto para asegurar la calidad de las publicaciones pero terminó siendo un sistema basado en el prestigio y las amistades. Alguien con reputación establecida puede ser publicado con facilidad sin pasar por ningún filtro.

Dicen que la revisión por pares (árbitros anónimos) solo funciona con los que recién empiezan a publicar y no tienen reputación ni contactos. Además las personas que tienen poder de contratar o asignar becas por ejemplo, tienen la puerta abierta para publicar lo que quieran en las revistas donde trabajan subordinados suyos, y así se da el caso de decanos o rectores que acumulan publicaciones en las revistas de sus propias instituciones u otras donde tienen influencia. Muchas de esas publicaciones, especialmente en ciencias sociales o economía, son simplemente artículos de opinión que no tienen el más mínimo valor como investigación o aporte al conocimiento.

La crítica más fuerte al sistema de revisión por pares es que favorece enormemente las ideas del mainstream y tiende a filtrar muchas ideas nuevas: los revisores buscan referencias y concordancias en el conocimiento pasado y ampliamente aceptado, lo que filtra muchas ideas nuevas y al final puede retrasar el conocimiento en lugar de estimularlo.

Últimamente ha aparecido el sistema "pay per publish" donde multitud de revistas ofrecen publicar artículos a cambio de un pago que va generalmente entre los mil y dos mil dólares. Después que apareció mi publicación en la revista Ingeniare empezaron a llegarme mail de una editorial inglesa ofreciendo ese servicio. Algunas de estas publicaciones pagadas pasan por revisiones menos estrictas o no pasan por ninguna revisión, como el famoso caso de la Editorial Académica Española.

Otro problema común es el impacto, o sea la cantidad de citas que obtiene un artículo indexado. Mi articulo sobre tarifas del agua potable no tiene ni una sola cita, o sea el impacto del artículo es cero, eso es malo para mí y para la revista, que si no sube en su índice de impacto no podrá pasar a un índice de más prestigio como el ISI de Thompson Reuters. Entonces empiezan las pillerías y se comienzan a hacer referencias cruzadas entre amigos, conocidos o parientes. Con todo, yo tengo una referencia en un artículo Scielo por un asunto de criptografía que coloqué en la web hace años.

Otra fuente de engaño son los co-autores. Muchas veces el artículo lo escribe una sola persona o dos, pero colocan como co-autores a amigos o colegas a quienes se quiere ayudar para que aparezcan con publicaciones. No es raro que muchos que aparecen publicando no tienen la menor idea sobre el asunto y simplemente los incluyeron por amistad u otro motivo.

En fin, el sistema de publicaciones científicas que en teoría se ve casi perfecto está lleno de problemas y en gran medida ha perdido el sentido. Dicen que una publicación en una revista de primer nivel como Nature o Science puede costar alrededor de diez mil dólares.

El sistema funciona pero está lleno de distorsiones porque sigue el paradigma antiguo de la revista impresa en papel, cara y limitada. Curiosamente la web fue inventada para arreglar algunos de los problemas de ese modelo.

Yo creo que es un modelo que le queda poca vida, está obsoleto como instrumento de difusión de las investigaciones y debería ser reemplazado completamente por repositorios en la web donde se elimine el actual filtro de la reputación y la revisión por pares. El conocimiento se debe distribuír de una manera mucho más anárquica de acuerdo a las posibilidades que hoy ofrece Internet.

¿Y como distinguir entre la ciencia buena y los charlatanes? Ya vimos que el actual sistema no elimina a los charlatanes sino que simplemente se basa en reputaciones y reconocimiento, lo que está muy bien como principio pero debería ser mejor implementado.

El sistema de Request For Discussion RFD que se ha usado para establecer los estandares de Internet parece funcionar bastante bien y elimina muchos de los vicios del actual sistema de revistas indexadas. Algunos opinan que no se debería permitir que todos publiquen sin filtro, porque los repositorios se van a llenar de basura, bueno, lo mismo decían de Wikipedia al compararla con la Enciclopedia Británica y miren lo que pasó al final.

Es absurdo que en el siglo XXI hayan algunos que no puedan publicar, la publicación debe estar abierta a todos por el bien del conocimiento. Con la web es más fácil que nunca establecer discusiones en torno a una publicación y votaciones para rankearla, incluso pueden existir evaluadores de prestigio que revisen y califiquen una publicación igual que ahora, conocidos o anónimos, da lo mismo.

Lo importante es que los filtros actuales no funcionan como funcionaban en el siglo pasado, con muchas menos universidades y mucha menos investigación. Sobre todo antes no existía la carrera económica por el prestigio que es lo que ha desvirtuado buena parte del sistema.

16 comentarios:

  1. hace 10 años empezo la caida... editores que te recomendaban citar de la misma revista... hoy es grosero, tu articulo no pasa sin unas 5 10 citas de la revista donde va y de los ultimos año... solucion mia

    hago el trabajo con las citas reales y hago una pinza
    ref 1 ... ref10

    donde la uno y la 10 son las importantes y entremedio el relleno de la misma revista y autores que son editores.

    maña que esta reventando como fraude. Y que motivo recomendaciones del ieee a los editores de revista

    ResponderBorrar
  2. Justamente lo que mi me llamó la atención y me motivó a escribir esto fue que los Transactions del IEEE fueron siempre para mi el modelo de perfeccción, integridad, etc. de las peer review. Y me encuentro al lado de artículos muy sofisticados de ciencia de materiales y cuestiones por el estilo con otros que estaban como para la revista "Muy Interesante".

    Me llamaron la atención varios pero especialmente uno que era un programa (no más de 30 líneas en seudocódigo) para apuntar antenas a los satélites usando algunos conceptos estadísticos muy básicos ¿como consiguen publicar esas cosas en una revista de prestigio? Algo anda mal con el concepto de prestigio entonces.

    El sistema está lleno de cuchufletas principalmente -creo yo- por los incentivos económicos que aparecen alrededor de las publicaciones. La guerra por el prestigio.

    ResponderBorrar
  3. despues que me rechazaron un articulo por bocon (le replique con buenas palabras a un revisor que no tenia idea) agache el moño, hago el paper como siempre y dejo la pinza para 10 citas weonas.

    pero se va a volver a las viejas practicas, porque esta reventando el cocido y esta causando mucha molestia, sobre todo a los gringos (los que empezaron esta wea fueron los editores italianos)

    ResponderBorrar
  4. YO creo que las investigaciones/artículos deberían ser enviados a repositorios y discutidos en comunidad, lo de los árbitros es muy arbitrario y sujeto a fraude cuando hay lucas de por medio

    ResponderBorrar
  5. De que hay problemas, los hay. Pero también dependen mucho del campo de trabajo. En general el sistema de referee es para asegurar un mínimo de calidad de acuerdo a los estándares de la revista y relevancia científica. Del resto se encarga la comunidad por vía de citaciones . En la práctica se da muchos de los problemas que describes. El asunto se complica por la evaluación esquizofrénica de la productividad científica. Publicaciones. Dejando de lado otras actividades igualmente importantes.

    No hay solución fácil y difícilmente un sistema como el que describes funcionaría, por muchos motivos.

    En mi campo al menos el sistema funciona ok, y tenemos ese gran repositorio que Arxiv.

    MV



    Ahora en el plazo m

    ResponderBorrar
  6. Es cierto que en algunos campos el sistema funciona bien,por ejemplo en física, química, matemáticas,las ciencias básicas que son más sencillas de evaluar porque se prestan menos a las "sutilezas" de la interpretación arbitraria.

    Pero hay otras donde es muy difícil separar la investigación de la opinión, en particular las ciencias sociales, economía, incluso en ingeniería y medicina.

    No está mal que se publiquen opiniones o seudo-investigaciones de poco valor, pero lo malo es -creo yo- el negocio que se está armando alrededor de eso donde las universidades y algunos apitutados usan las revistas para promoverse a si mismos en lugar de el fin original que es estimular la creación de conocimiento.

    También es cierto que la importancia que se da a las publicaciones es desproporcionada en perjuicio de otras formas de investigación

    ResponderBorrar
  7. Gloria Cifuentes15 agosto, 2012 12:47

    Aunque sería lamentable que desaparecieran las revistas o publicaciones en papel, la llegada de Internet es el mejor medio de dar a conocer cultura y conocimientos al alcance de todos. En cuanto a que se necesite un filtro para no llenarnos de basura en la red, no es tan cierto ya que los propios lectores tienen la capacidad suficiente para discernir lo bueno de las publicaciones de baja calidad, rechazando así los panfletos. Hay que confiar más en el afán de búsqueda y en el interés de los lectores ávidos de conocimiento. Muy buen artículo, Tomas.

    ResponderBorrar
  8. Claro Gloria, el formato de revista impresa impone muchas restricciones y en el negociado que se ha armado en torno a las publicaciones todos quieren participar: universidades, académicos y revistas, al final todo se desprestigia porque se convierte en un club de amigos coludidos para sacar beneficios personales e institucionales.

    Yo creo que se viene un sistema mucho más potente de tipo open source, creo que incluso en las ciencias exactas ya están funcionando repositorios de ese modelo y aunque todavía no se abren paso definitivamente el sistema actual es algo que tendrá que corregirse.

    Bienvenida al Club del Ocio! ;D

    ResponderBorrar
  9. Renato Aguirre Bianchi15 agosto, 2012 17:46

    ¡Tremendo tema que abordaste, Tomas!. Tras harto más de un centenar de publicaciones "científicas" (algunas de ellas galardoneadas como algo así como el "mejor aporte académico del año" por una prestigiada Sociedad Científica chilensis), hace 15 años o más (aunque no renuncié a mis ivestigaciones prospectivas basadas en mi casuística) tiré la esponja y nunca más ofrecí ni acepté solicitudes de contribuciones, por razones que en cierto modo identificas y a largo plazo consecuencia de la más inesperada y bochornosa masificación de la Colecistectomía Laparoscópica (CL) sin más razón de ser que los cochinos pesos.

    Ese procedimiento, afirman car'e palo, es hoy el "golden standard" y ya me referiré a eso. Entre tanto argumento absurdo, Fonasa e Isapres te pagan más por optar a ese procedimiento que por los más benignos, económicos y menos peligrosos...

    Lo que quiero expresar es que el procedimento es tal vez el primero que, motivado por una pervertida información al público, la angurria de los colegas por obedecer a ese procedimento a sabiendas que tenía un costo mucho mayor y complicaciones gravísimas mucho más frecuentes que el procedimiento convencional y presionados de muy diversas maneras por los fabricantes de instrumentos de unos US$ 40.000 inicialmente (Storz y luego otros), lo adoptaron a sabiendas que no había manera de justificarlo como "golden standard" en términos científicos. Nunca ví algo tan bochornoso en mis más de 4 décadas de cirujano.

    Eso ocurrió al inicio de la década de los '90. En estricta esencia, a la colecistectomía a tajo grande sólo se le podía criticar el ser más dolorosa y dejar una fea cicatriz y la nueva alternativa era obviamente criticable por sus mucho más graves consecuencias cuando no resultaba bien y eso ocurría 2 a 5 veces más frecuentemente que con la convencional (eso ha mejorado con el tiempo, pero sigue siendo la alternativa más peligrosa) pero todo eso se pervirtió vía publicaciones inmensamente sesgadas y por las ganas de ganarse a los casi delictuosamente mal informados pacientes. Fue un boom impresionante que exploré con prudencia (malgastando millones) y muy prontamente rechazé por lo que sigue...

    ResponderBorrar
  10. Renato Aguirre Bianchi15 agosto, 2012 17:47

    Ya en 1983 se había definido una alternativa al tajo grande que ahorraba mucho en materia de costos y no renunciaba a nada en términos de morbilidad: la "colecistectomía mínimamente invasiva" (MC) la cual, al no requirir millones de inversión, no sufrió la terjivisación motivada por la cochina plata ni se adoptó globalmente porque sólo se le hizo "propaganda" vía publicaciones académicas: no trascendió al público...

    Pues en cuanto percibí que la CL era más un fenómeno gana-plata que un avance tecnológico generador de mejores resultados (muy por el contrario), guardé en la bodega a sus millonarios implementos, me contacté con el iniciador de la MC y eventualmente contribuí con otros de muy diversos países a depurar su técnica.

    Tuve que generarle vegüenza a los responsables del ámbito académico quirúrgico de Chile para que me cedieran una sesión plenaria para exponer mi casuística y argumentos, los que ulteriormente fueron publicados y/o referenciados ya no sé cuántas veces en Chile, diversos países de América del Sur, los EEUU en varias ocasiones y más, inclusive en Asia. Estuve como 10 años viajando por esos lugares, invitado a operar en sus hospitales para demostrar la técnica, hasta que me hastié y me cansé y renuncié a todo eso.

    Para acortar el cuento, mi predicamiento inicial en lo que se refiere a la LC es que no había ninguna ventaja científicamente aceptable que autorizara su implementación y que la MC tenía todas sus ventajas y ninguna de las potencialmente dañinas desventajas.

    Entre todos esos dimes y diretes apareció una muy necesaria instancia, el Cochrane Institute que nadie duda que es LA palabra sagrada en cuanto a la Medicina Basada en la Evidencia Científica se refiere. Evalúan vía sofisticadas técnicas de meta-análisis a publicaciones objetivamente impecables de tal manera que nadie se atreve a criticar sus conclusiones. Esa gestión requiere mucho tiempo, a la espera de suficientes datos para hacer un (para nadie) indiscutible análisis de lo que la evidencia demuestra. Y bueno, como resultado de todas sus investigaciones, se comenta hoy algo así como que "nunca hubo ninguna evidencia científicamente valedera que autorizara a valorar a la LC como el golden standard, siendo la colecistectomía convencional mejor para proteger al paciente y la MC mejor aún". Pero pasaron casi 20 años para demostrarlo y antes, sólo meses para que la CL fuera un injustificable boom.

    Volviendo a tu tema, el supuestamente prestigioso Annals of Surgery publicó al inicio de los '90 una horrenda revisión bibliográfica al inicio del boom de la LC: el autor, un manso personaje mundial de la cirugía, omitió a todas las publicaciones que no cuadraban con su afán de idoliatrar a la LC (entre otras cosas, excluyendo a las no escritas en inglés, vaya maligno etnocentrista gringo). Como mis publicaciones ya estaban disponibles en inglés y castellano, le reclamé al Editor pero nunca me respondió. Un par de años después empezaron a verse obligados a publicar contribuciones similares a las mías, pero un "mea culpa" editorial nunca se leyó ni ha sido leído hasta la fecha.

    Largo trámite para concordar contigo: la perversión ya no respeta ni al bien definido "método científico". Y so pena de ser ingenuo, ¡qué los dioses conserven inmpoluto al Cochrane Institute (si es que aún merece ese adjetivo)!...

    ResponderBorrar
  11. ¡Nunca me hubiese imaginado que la laparoscopia pudiese ser riesgosa! como dijo el huaso "lo que es la falta de ignorancia!" yo estaba convencido y hubiese preferido a ojos cerrados un tubito delgado antes de un tajo, intuitivamente incluso hubiese pensado que casi no tenía riesgos. En fin, todos los días se aprende algo nuevo.

    Eso que "pongan de moda" procedimientos médicos solo por ganar más plata es horroroso y que científicos y revistas se presten para eso es doble escándalo. Claro que pensándolo bien con las farmaceuticas deben pasar varias cosas por el estilo.

    Es increíble como el "mainstream" y el prestigio se pueden mal usar incluso poniendo en peligro a las personas ¡eso si es ser desgraciado!

    ResponderBorrar
  12. Renato Aguirre Bianchi15 agosto, 2012 19:08

    Corrección: ya no se trata de "tajo" sino que de "mini-incisión", no mayor que la suma de las 4 inciciones de la LC...

    ResponderBorrar
  13. Increíble, esa es una buena muestra de como el progreso y las mejores técnicas se retrasan por culpa de un sistema chueco, más basado en los intereses personales que en el avance del conocimiento

    ResponderBorrar
  14. Yo investigue hace 12 años un tipo de topologia, que era el hazmerreir de colegas.

    Me las tuve que tragar todas... revisores que tenian la desfachatez de mandarle a ese pobre estudiante de un paicito de mierda comentarios como "los fuente de corriente no tienen ventajas sobre...."

    desde hace 4 años... todos ellos la investigan por ventajas en enviar potencia a lugares lejanos.

    En fin.

    La corriente principal NO SIEMPRE es la mejor, pero cuesta meter artículos que no vayan en esa linea.




    ResponderBorrar
  15. Esa es una de las mayores críticas y problemas de las publicaciones cuando son ideas nuevas. En ciencias puras no es tanto porque casi todos los problemas son bien conocidos y es relativamente sencillo mostrar la utilidad de una teoría nueva con experimentos. Pero de la ingeniería para abajo la cosa se complica bastante.

    ResponderBorrar
  16. Quien dijo no creer que los intereses de grandes compañias retrasaran el avance científico-tecnológico...? y en el fondo detuvieran/desvirtuaran/ignoraran la mejor solución a la masa?

    Bueno, ahora podemos ver claramente en esto los intereses personales, o mejor dicho algunos "pecados capitales": la avaricia, la envidia, la soberbia.
    ivanr

    ResponderBorrar

"Send me a postcard, drop me a line
Stating point of view
Indicate precisely what you mean to say
Yours sincerely, wasting away
Give me your answer, fill in a form
Mine for evermore
Will you still need me, will you still feed me
When I'm sixty-four"