domingo, 22 de marzo de 2009

The File Drawer Effect o los sesgos en las publicaciones científicas


Seguro que quienes os dedicáis a la investigación habéis sentido en más de una ocasión una gran decepción cuándo después de diseñar cuidadosamente una investigación y haber recogido esforzadamente una gran cantidad de datos, los análisis de estos no apoyan la hipótesis que pretendíais comprobar. ¡Tanto esfuerzo para nada!

Tampoco hay que dramatizar tanto, pensará el lector atento, ya que el estudio realizado ha aportado una información interesante: los resultados permiten descartar la hipótesis planteada, siempre que no existan defectos metodológicos importantes en su diseño. Por ejemplo, si la muestra es reducida es posible que la baja potencia estadística haga muy probable el error beta o tipo II, es decir, que afirmemos que no existen relaciones significativas entre dos variables, cuando en realidad existen.

No obstante, la frustración del investigador está más que justificada, ya que al no haber encontrado resultados positivos, tendrá más dificultades para conseguir que alguna revista los publique. Es lo que se ha venido denominando the file drawer effect, y es que algunos estudios ponen de manifiesto que hay un claro sesgo que hace más probable la publicación de los manuscritos con resultados positivos.

Recientemente, unos investigadores del Cochrane Center de Oxford (Reino Unido), a partir de una revisión sistemática de 196 ensayos clínicos, han concluido que los estudios con resultados estadísticamente significativos a favor de la hipótesis experimental se publican con más frecuencia y en un periodo de tiempo más breve.

Las razones de este sesgo tienen que ver tanto con las revistas como con los propios autores. Con las revistas porque los editores prefieren publicar artículos que encuentran apoyo a las hipótesis planteadas. En otros casos son los mismos autores los que deciden guardar en un cajón los resultados del estudio tras no encontrar lo que venían buscando. Esto será más probable cuando se trata de la evaluación de un tratamiento, un programa de intervención o un fármaco. Aunque en estas situaciones lo más honesto sería publicar que el tratamiento no tiene efectos positivos, los autores del estudio, que pueden ser los mismos que han diseñado el tratamiento, pueden preferir ocultar que su programa o tratamiento no es eficaz. Incluso puede darse el caso de que tenga consecuencias negativas para quienes lo siguen. En una entrada anterior nos hemos referido al interés de las compañías tabaqueras norteamericanas por ocultar los resultados negativos de algunos programas preventivos dirigidos a adolescentes que habían financiado (ver aquí).

Este sesgo en la publicación tiene también sus efectos distorsionadores sobre los meta-análisis que se llevan a cabo con la intención de resumir, aumentando la potencia estadística, los estudios llevados a cabo acerca de un determinado asunto. Como estos meta-análisis suelen llevarse a cabo con los estudios publicados, sus resultados estarán también sesgados a favor de aquellos que encuentran apoyo a la relación analizada (por ejemplo, entre un tratamiento y su eficacia).

Como señalan los autores del estudio publicado en The Cochrane Library, es preciso que las revistas hagan un mayor esfuerzo por publicar los estudios que no obtienen resultados positivos, de lo contrario será imposible realizar una evaluación equilibrada sobre la eficacia y seguridad de un tratamiento o programa. Por otra parte, debe evitarse que la evaluación de estas intervenciones sea llevada a cabo por los mismos equipos que las diseñaron o implementaron. De esta manera podremos tener una visión más objetiva de los fenómenos estudiados.

8 comentarios:

  1. Saludos,

    Este File Drawer Effect es, ciertamente un problema más bien práctico, creo yo, que impide conocer las líneas de investigación fallidas. En ciencias naturales no creo que genere sesgos, en ciencias sociales y de medicina y psicología, posiblemente.

    Siendo realista, pedir por favor cosas a las revistas me parece inútil. No van a dejar de tener los incentivos que tienen. Más efectivo podría ser originar una base de datos con los resultados negativos que todo el mundo pudiera consultar.

    Es más, esto permitiría hacer lo siguiente. Cualquiera que quiera publicar resultados experimentales u otras observaciones debe anunciar qué experimentos va a hacer y debe notificar todos. Los resultados positivos irán a las revistas de toda la vida y los negativos irán a la base de datos. Así evitaremos la sospecha de quien anuncia un experimento válido para un p=0.05, pero no dice que es uno entre otros 20 que han salido mal y, por tanto, que el caso positivo ha ocurrido por azar.

    Enhorabuena por los 30.000.

    ResponderEliminar
  2. He llegado aquí a partir de la referencia que leí ayer en El País a tu blog. Me ha resultado muy interesante la lectura de varias entradas.

    Animo y Enhorabuena.

    ResponderEliminar
  3. José Luis, interesante propuesta, aunque no sé cómo se puede obligar que los investigadores envíen sus resultados negativos para crear esa base de datos. No lo veo fácil.
    Debería haber algún incentivo, similar al de publicar en una revista.

    Un saludo

    ResponderEliminar
  4. Bastaría lo siguiente. Sólo se publican experimentos que se han registrado antes de hacerlos. Así, cuando se publica uno se puede ver cuántos se habían registrado. Las revistas, y cualquiera, podrán pedir cuentas del resultado de los demás para tomar la decisión de su publicación.

    ResponderEliminar
  5. José Luis, supongo que la propuesta sería extensible a todo tipo de estudios, y no sólo a los experimentales, poco frecuentes en el área de las ciencias sociales.

    Puede ser una solución, aunque en los estudios correlacionales obligaría a detallar previamente qué relación entre variables se pretende comprobar,lo que no siempre está claro en el momento del diseño. Por ejemplo, puedes estar interesado en analizar la relación entre sexo y autoestima, pero cuando estás analizando los datos observas una relación interesante que no habías previsto, y como no la habías registrado ¿no lo podrás publicar?

    Un saludo

    ResponderEliminar
  6. Tienes razón, habrá problemas sin duda, pero se podría intentar. A bote pronto, si a uno se le ocurren nuevos experimentos, pude haber un registro rápido, imagino, o testigos de por qué se altera algo planificado. En fin, la idea general es avisar a alguien de lo que se va a hacer, y sólo publicar lo que se ha avisado. Si te sale bien algo que no te dio tiempo a avisar, pues nada, avisa y repite el experimento.

    No sé muy bien a qué te refieres con otro tipo de estudios. ¿Qué tienes en mente?

    ResponderEliminar
  7. José Luis,
    como apunto en mi comentario,me refiero a estudios correlacionales en los que no siempre están claras las hipótesis de partida. Estudios en los que se incluyen muchas variables, y en los que algunas relaciones interesantes encontradas entre variables pudieran no haber sigo previstas por los investigadores, y por ello no haber sido registradas.

    Saludos

    ResponderEliminar
  8. De acuerdo entonces. Lo dicho valdría para experimentos y cualquier otro tipo de observaciones, que también podrían mostrar los mismos sesgos.

    ResponderEliminar