Mala ciencia (10 page)

Así pues, ahora pueden ver (espero) que, cuando los médicos dicen que una investigación determinada es «poco fiable», no están lanzando acusaciones gratuitas necesariamente. Cuando los académicos excluyen de una revisión sistemática de la bibliografía sobre un tema un determinado estudio (o cualquier otro tipo de trabajo o artículo) mal realizado que deja bien a la homeopatía, no lo hacen atendiendo a un sesgo personal o moral, sino por el sencillo motivo de que, si un estudio no es bueno (si no es un ensayo «imparcial»), es posible que arroje resultados poco fiables, por lo que ha de ser considerado con grandes cautelas.

También hay involucrada aquí una cuestión moral y económica: aleatorizar adecuadamente a los pacientes para un estudio no cuesta dinero. Invisibilizar para esos pacientes el hecho de que hayan sido asignados al grupo del tratamiento activo o al del placebo tampoco cuesta dinero. En general, investigar con métodos sólidos e imparciales no obliga necesariamente a un incremento presupuestario. Simplemente exige que pensemos antes de comenzar. Las únicas personas a las que cabe culpar de los defectos de los mencionados estudios son aquellas que los llevaron a cabo. En algunos casos, son personas que dieron la espalda al método científico por considerarlo un «paradigma defectuoso». Curiosamente, su gran y novedoso paradigma debe de ser el de los experimentos «parciales» o «incontrolados».

Estas pautas quedan reflejadas a lo largo y ancho de la bibliografía especializada en terapias alternativas. En general, los estudios defectuosos tienden a ser aquellos que arrojan resultados favorables a la homeopatía o a otros tipos de terapia alternativa, mientras que los bien realizados —aquellos en los que se ha excluido toda fuente controlable de sesgo y error— tienden a mostrar que tales tratamientos no son mejores que los placebos.

Éste es un fenómeno que ha sido ampliamente estudiado y en el que se ha apreciado la existencia de una relación casi lineal entre la calidad metodológica de un test sobre un tratamiento homeopático y el resultado que éste arroja. Cuanto peor es el estudio (es decir, cuanto menos «imparcial» es como experimento), más probable resulta que revele una superioridad de la homeopatía sobre el placebo. Los académicos tienen herramientas estandarizadas de medición de la calidad de un estudio, como la Escala Jadad, una lista de valoración (de 0 a 5) del cumplimiento o incumplimiento de siete puntos, que incluye aspectos de los que hemos venido hablando, como: «¿Describen los autores su método de aleatorización?», o: «¿Se proporciona suficiente información numérica?».

El gráfico siguiente, tomado del artículo de Ernst,
^[10]
muestra lo que sucede cuando cruzamos las puntuaciones obtenidas en la Escala Jadad con los resultados de los ensayos de tratamientos homeopáticos. Hacia la parte superior izquierda, pueden ver que los ensayos desastrosos, aquejados de enormes fallos de diseño, son también los que proclaman triunfalmente que la homeopatía es muchísimo mejor que el placebo. Hacia la parte inferior derecha, pueden comprobar que, cuanto más tienden los estudios hacia la puntuación máxima de 5 en la Escala Jadad, cuanto más «imparciales» son los ensayos, más tiende también la línea a mostrar que la homeopatía no funciona mejor que el placebo.

Hay, sin embargo, un misterio en este gráfico: una rareza que podría ser buen material para una novela policíaca. Ese puntito que podemos apreciar en el extremo derecho de la figura, representativo de los diez ensayos de mejor calidad, los que obtuvieron las puntuaciones Jadad más elevadas, discrepa de forma destacada de la tendencia marcada por todos los demás. Se trata de un hallazgo anómalo: de pronto, y solamente en ese extremo del gráfico, nos encontramos con unos cuantos ensayos de calidad que contradicen la tendencia y muestran que la homeopatía es mejor que el placebo.

¿Qué ocurre ahí? Puedo decirles lo que creo que es: algunos de los artículos y trabajos que componen ese punto hacen trampa. Desconozco cuáles son (y cómo sucedió o quién lo hizo y en cuáles de los diez trabajos), pero eso es lo que pienso. Los académicos suelen estar obligados a envolver las críticas más contundentes en el ropaje de la diplomacia. He aquí, por ejemplo, al profesor Ernst, autor de este gráfico, comentando el asombroso
outlier
(o valor extremo) en cuestión. Pueden descodificar su lenguaje diplomático (muy del estilo de la conocida serie televisiva
Sí, ministro
) y llegarán a la conclusión de que él también cree que ahí ha habido trampa.

En cualquier caso, esto es una curiosidad y un pequeño aparte en el camino. En el panorama general, carece de importancia, porque, en conjunto, y aun incluyendo estos estudios sospechosos, los «metaanálisis» siguen mostrando (en líneas generales, repito) que la homeopatía no es mejor que el placebo.

¿Metaanálisis?

Metaanálisis

Ésta será la última gran idea que introduciremos en un buen rato, y se trata de un concepto que ha salvado la vida a más personas de las que usted jamás llegará a conocer personalmente. Un metaanálisis es un procedimiento muy sencillo en ciertos aspectos: simplemente hay que recopilar los resultados de todos los ensayos llevados a cabo sobre un tema determinado, introducirlos en una hoja de cálculo de grandes dimensiones y realizar los cálculos que sean precisos con todos ellos, en vez de confiar la valoración de los resultados de todos y cada uno de nuestros pequeños ensayos a nuestra intuición «gestáltica». Resulta especialmente útil cuando ha habido muchos ensayos sobre un mismo tema y cada uno de ellos es demasiado reducido para darnos una respuesta concluyente.

Así pues, si ha habido diez ensayos aleatorizados y controlados con placebo, por ejemplo, sobre si los síntomas del asma mejoran o no con la homeopatía, y cada uno de ellos ha contado con unos cuarenta pacientes participantes, es posible juntarlos todos en un único metaanálisis y disponer (en algunos aspectos) de un ensayo de cuatrocientas personas con el que trabajar.

En algunos casos muy famosos —famosos, al menos, en el mundo de la medicina académica—, los metaanálisis han mostrado que tratamientos que hasta entonces se consideraban ineficaces son, en realidad, bastante buenos, y que, como los ensayos que se habían llevado a cabo para probarlos habían sido demasiado pequeños por separado como para detectar su beneficio real, nadie había sido capaz de advertirlo.

Como decía, la información puede ser por sí sola un salvavidas. Una de las mayores innovaciones institucionales de los últimos treinta años ha sido, sin duda, la Cochrane Collaboration, una organización internacional de académicos sin ánimo de lucro que elabora y publica revisiones sistemáticas de la bibliografía especializada en investigación médica y sanitaria, incluidos metaanálisis.

El logotipo de la Cochrane Collaboration representa un «diagrama de bosque» simplificado, es decir, un gráfico de la dispersión de resultados tomado de un metaanálisis que hizo época en su momento y que examinó un determinado tipo de actuación con las madres embarazadas. Como es de suponer, los bebés de partos prematuros tienen más probabilidades de sufrir complicaciones y morir. A unos médicos neozelandeses se les ocurrió que la administración de un breve y barato tratamiento con un esteroide en concreto podría ayudar a mejorar los resultados, y entre 1972 y 1981 se realizaron siete ensayos para poner a prueba esa idea. Dos de ellos mostraron cierto efecto beneficioso de los esteroides, pero los otros cinco no detectaron beneficio alguno, y debido a esto último, la idea no prosperó.

Ocho años después, en 1989, se llevó a cabo un metaanálisis incorporando todos los resultados de estos ensayos a una única base de datos. Si se fijan bien en el diagrama de bosque del logotipo, podrán ver lo que sucedió. Cada línea horizontal representa un estudio: si la línea está desplazada hacia la izquierda, significa que los esteroides fueron mejores que el placebo, y si lo está hacia la derecha, significa que los esteroides funcionaron peor. Si la línea horizontal correspondiente a un estudio se toca con la gran línea vertical central representativa del «efecto nulo», entonces el ensayo en cuestión no mostró diferencias claras en un sentido ni en otro. Y, por último, cuanto más larga es la línea horizontal en cuestión, más incierto fue el resultado del estudio.

De la observación del diagrama de bosque podemos deducir que hubo muchos estudios de un nivel de certeza no muy concluyente, con largas líneas horizontales, la mayoría de las cuales se tocaban con la línea vertical central de «efecto nulo». Pero todas ellas están más o menos desplazadas hacia la izquierda, por lo que parece sugerir que los esteroides
podrían
ser beneficiosos, aun cuando cada estudio por separado no sea estadísticamente significativo.

La posición del rombo de la parte inferior del diagrama muestra cuál fue la respuesta extraída del conjunto de todos los datos: existen, en realidad, pruebas muy sólidas de que los esteroides reducen el riesgo (entre un 30 y un 50 %) de que los bebés prematuros mueran a causa de complicaciones debidas a su alumbramiento precoz. No debemos perder nunca de vista el coste humano de estas cifras tan abstractas: muchos bebés murieron innecesariamente durante una década porque se les privó de este tratamiento salvavidas. Y murieron,
a pesar de que existía ya suficiente información para saber qué los podía salvar
. Lo que pasaba era que nadie había sintetizado conjuntamente ni analizado sistemáticamente toda esa información en un metaanálisis.

Volvamos a la homeopatía (ahora ya entenderán por qué la encuentro tan trivial).
The Lancet
publicó recientemente un metaanálisis trascendental.
^[11]
Lo acompañó de un editorial titulado «¿El final de la homeopatía?». Shang y otros llevaron a cabo un metaanálisis muy exhaustivo de un amplio número de ensayos sobre homeopatía y, sumándolos todos, descubrieron que, en conjunto, la homeopatía no ofrece mejores resultados que los placebos.

Los homeópatas se levantaron en armas. Si les mencionan este metaanálisis, ellos tratarán de decirles a ustedes que sus autores hicieron trampa, que, básicamente, Shang y otros, como todos los metaanálisis previos de la homeopatía con resultado negativo, excluyeron de sus análisis los ensayos menos fiables.

Los homeópatas gustan de escoger los ensayos que les dan la respuesta que ellos quieren oír e ignoran el resto, una práctica conocida en inglés como «
cherry-picking
» (o «selección ventajosa»). Pero también es posible seleccionar o tergiversar a nuestro antojo nuestros metaanálisis favoritos. El de Shang y otros, en cualquier caso, no era más que el último de una larga serie de metaanálisis que han venido mostrando que la homeopatía no funciona mejor que el placebo. Lo que de verdad me asombra es que, pese a los resultados negativos de estos metaanálisis, los homeópatas —desde el último hasta el primero de su profesión— han continuado afirmando que estos mismos metaanálisis desfavorables
respaldan
el uso de la homeopatía. Para ello citan exclusivamente el resultado correspondiente al conjunto de
todos
los ensayos incluidos en cada metaanálisis, es decir, la cifra que incluye también todos los ensayos menos fiables. Pero, como ustedes bien sabrán ahora, la cifra más fiable es la que corresponde al conjunto restringido de los ensayos más «imparciales». Y cuando nos fijamos en esta última, vemos que la homeopatía no funciona mejor que el placebo. Si esto les causa asombro (lo que me sorprendería mucho), sepan que estoy ahora mismo elaborando junto con unos colegas de profesión un resumen, que en breve podrán encontrar en mi página web:
Bad Science
, donde se explican —con todo lujo de detalles— los resultados de los diversos metaanálisis dedicados a la homeopatía.