Mala ciencia (24 page)
Los periódicos les harán creer otra cosa. La primera vez que tuve noticia de los llamados ensayos de Durham fue cuando vi publicado que estaba previsto realizar un estudio de la eficacia de unas cápsulas de aceite de pescado con 5.000 niños y niñas. El hecho de que, como me atrevo fundadamente a sugerir, esa investigación continúe siendo tal vez el ensayo clínico del que más ha informado la prensa en los últimos años da extraordinaria fe de la clase de valores informativos que guían actualmente a los medios británicos. Apareció en Channel 4, la ITV y en todos los diarios nacionales, y, en ocasiones, de forma reiterada. Las previsiones allí recogidas confiaban en la obtención de impresionantes resultados.
Aquello hizo sonar mis alarmas por dos motivos. En primer lugar, yo ya conocía los resultados de los anteriores ensayos con cápsulas de aceite de pescado en niños (que referiré a su debido momento) y no eran muy emocionantes. Pero, por encima de todo, estaba la siguiente norma básica: si alguien les dice que su ensayo va a ser positivo antes de haber comenzado siquiera, pueden estar seguros de que se encuentran ante algo sospechoso.
Esto era lo que pensaban hacer en su «ensayo»: reclutar a 5.000 estudiantes de secundaria (que estuvieran cursando las asignaturas previas a los exámenes de la enseñanza secundaria obligatoria, la GCSE, por sus siglas en inglés), administrar a todos ellos seis cápsulas diarias de aceite de pescado, y comparar los resultados que obtuvieran en los exámenes con los que el consejo del condado calculaba que obtendrían sin las cápsulas. No estaba previsto ningún grupo «de control» con el que comparar esos resultados (nada parecido a lo del baño en Aqua Detox sin introducir los pies en él, o a lo de la vela ótica colocada sobre una mesa, y, por lo tanto, nada de grupo separado de niños a los que se les administraran cápsulas placebo sin aceite de pescado). Nada.
A estas alturas, seguramente ya no necesitan que les diga que ésa es una forma absurda y, sobre todo, derrochadora (disponiendo de un millón de libras en cápsulas generosamente donadas y de 5.000 niños) de afrontar un estudio sobre las propiedades de una píldora que supuestamente mejora el rendimiento escolar. Pero síganme la corriente y permítanme que dé forma definida a sus intuiciones, pues si abordamos apropiadamente las cuestiones teóricas, los «investigadores» de Durham acabarán por resultarnos aún más divertidamente absurdos.
Por qué tenemos un grupo de placebo
Si dividimos un grupo de chicos y chicas en dos mitades, y damos una cápsula de placebo a los componentes de uno de los subgrupos resultantes y una cápsula real a los del otro, podremos comparar qué tal responde cada mitad y veremos si fueron los ingredientes de la píldora los que incidieron en su rendimiento o si lo que incidió en realidad fue simplemente el hecho de tomar una píldora (fuera cual fuese) y participar en un estudio. ¿Por qué importa esto? Porque —recordémoslo— cuando se trata de ensayar la eficacia de una píldora ideada para mejorar el rendimiento académico, hagamos lo que hagamos a los niños y las niñas participantes en el ensayo, su rendimiento mejorará.
Para empezar, son niños, y las habilidades de los niños mejoran con el tiempo: crecen, se hacen mayores y dominan aspectos cada vez más diversos. Tal vez ustedes se crean muy inteligentes porque son capaces de leer este libro ahí sentados sin llevar pañales, pero las cosas no siempre fueron así y su madre bien podría recordárselo.
En segundo lugar, los niños (y sus padres y madres) saben que se les está dando unos comprimidos para que mejoren su rendimiento, así que estarán sujetos de entrada a un más que posible efecto placebo. Ya he hablado largo y tendido sobre dicho efecto, porque creo que la historia verdaderamente científica y noticiosa es la referida a las conexiones entre el cuerpo y la mente, que considero infinitamente más interesante que ninguno de los inventos de la comunidad de las curas milagro; pero aquí me conformaré con recordarles que el efecto placebo es muy poderoso: de manera consciente o no, los niños esperarán mejorar, como también lo esperarán sus padres y profesores. Los niños son sumamente sensibles a las expectativas que nos hacemos sobre ellos, y si alguien duda de un hecho tan patente, merece que le retiren el carné de padre/madre.
En tercer lugar, los niños rendirán mejor simplemente por hallarse en un grupo especial que es objeto de estudio, observación y cuidada atención, pues, al parecer, el solo hecho de
estar en un ensayo
sirve para mejorar el rendimiento (o la recuperación, en el caso de una enfermedad). Este fenómeno es el llamado «efecto Hawthorne», no en honor de una persona, sino en recuerdo de la factoría donde se observó por primera vez. En 1923, Thomas Edison (sí, el de la bombilla) presidía el Comité sobre la Relación entre la Calidad y la Cantidad de Iluminación y la Eficiencia en las Industrias. Varios informes elaborados por diversas compañías habían sugerido que una mejor iluminación posiblemente incrementaba la productividad, por lo que un investigador llamado Deming fue con su equipo a contrastar esa teoría a la planta Hawthorne de Western Electric en Cicero (Illinois).
Les daré aquí la versión «mítica» simplificada de los resultados, tratando de lograr un raro equilibrio entre erudición y simplicidad. El hecho es que, cuando los investigadores aumentaron los niveles de luz, descubrieron que el rendimiento mejoraba. Pero cuando redujeron dichos niveles, también mejoró el rendimiento. En el fondo, lo que descubrieron fue que, hicieran lo que hiciesen, la productividad se incrementaba. Aquel hallazgo resultó ser de gran importancia: cuando alguien les dice a los trabajadores que están participando en un estudio especial para mejorar su productividad y, entonces, ese alguien hace algo, los trabajadores mejoran su productividad. Se trata de una especie de efecto placebo, ya que el placebo en sí no reside en la mecánica de una pastilla de azúcar, sino en el significado cultural de una intervención, que incluye (entre otras cosas) las expectativas de la(s) persona(s) observada(s) y las de las que se están ocupando (y tomando mediciones) de éstas.
Pero, además de todos estos aspectos técnicos, hemos de computar también las puntuaciones que los estudiantes de secundaria británicos obtienen en los exámenes del GCSE (es decir, los resultados que se estaban midiendo en aquel «ensayo») dentro de su contexto apropiado. El condado de Durham tiene un muy mal historial en esos exámenes, por lo que es lógico que su consejo de gobierno muestre ya cierta tendencia de antemano a dedicar toda clase de esfuerzos a mejorar el rendimiento escolar mediante todo tipo de iniciativas y medidas especiales, a las que dedicará financiación adicional. Y todo ello se producirá de forma simultánea y paralela a los «ensayos» sobre los efectos del aceite de pescado.
Deberíamos recordar, asimismo, ese extraño ritual inglés por el cual los resultados de los exámenes del GCSE mejoran curso tras curso. Cualquier insinuación de que tal vez sean las pruebas las que se van volviendo más fáciles con cada año que pasa es inmediatamente criticada por considerarse que pone en cuestión el aprovechamiento educativo de los estudiantes aprobados. No obstante, en realidad, cuando se adopta una perspectiva a largo plazo, resulta obvio el grado creciente de facilidad: hay exámenes del llamado «nivel O» (el nivel básico o normal del antiguo Certificado General de Educación —o GCE— británico) de hace cuarenta años que evidencian un grado de dificultad mayor que el actual plan de estudios del «nivel A» (el nivel máximo de calificación del GCSE); igualmente, hoy en día, hay exámenes finales en los primeros cursos de las carreras universitarias que resultan claramente más fáciles que los antiguos exámenes del «nivel A» del GCE (que, recordemos, era el examen para acceder a la universidad).
Resumiendo: los resultados del GCSE mejorarán de todos modos, Durham tratará desesperadamente también de elevar los resultados de su alumnado a través de otros métodos, y cualquier niño o niña que tome píldoras incrementará el nivel de sus resultados en los exámenes del GCSE debido a los efectos placebo y Hawthorne.
La incidencia de todos estos factores en los resultados observados podría evitarse dividiendo el grupo en dos y administrando un placebo a los miembros de una de las mitades resultantes, aislando de ese modo el que sería un efecto específico de las píldoras con aceite de pescado y separándolo del efecto general combinado de todas las otras variables comentadas. Eso nos proporcionaría información muy útil.
¿Resulta aceptable en algún caso realizar el tipo de ensayo que estaba llevándose a cabo en Durham? Sí. Se puede efectuar lo que se conoce como «ensayo abierto», sin un grupo de placebo, y ésa es una variante aceptada de investigación. Es posible, incluso, extraer aquí una importante lección en cuanto a la ciencia: se pueden hacer experimentos menos rigurosos por razones prácticas, siempre y cuando, en el momento de presentar finalmente el estudio, quede claro lo que se ha estado haciendo, para que otras personas puedan decidir el mejor modo de interpretar los resultados así obtenidos.
Pero hay que tener en cuenta una importante advertencia al respecto. Si ustedes realizan esta especie de estudio «de compromiso», sin un grupo de placebo y «de etiqueta abierta», pero con la esperanza de obtener la imagen más exacta posible de los beneficios del tratamiento, entonces procuren hacerlo con el máximo esmero posible, teniendo plena conciencia de que sus resultados tal vez hayan sido distorsionados por las expectativas, por el efecto placebo, por el efecto Hawthorne, etc. Podrían, por ejemplo, reclutar a los niños que necesiten para el experimento haciéndolo de forma calmada y cauta, diciéndoles en un tono despreocupado, como quien no quiere la cosa, que van a participar en un pequeño estudio informal de unas pastillas, sin decirles qué es lo que esperan descubrir, entregándoselas con la menor fanfarria posible y midiendo tranquilamente los resultados al final.
Lo que hicieron en Durham se sitúa en el polo diametralmente opuesto. Allí había equipos de filmación, cámaras, técnicos de sonido e iluminadores alumbrando las aulas. Las radios, las televisiones y los periódicos entrevistaron a los niños, a sus padres, a sus maestros, a Madeleine Portwood (la psicóloga educativa encargada del ensayo) y a Dave Ford (responsable del área de educación del condado), y estos últimos se mostraron (sorprendentemente) seguros de cosechar resultados positivos. Hicieron todo aquello que, a mi juicio, les garantizaría obtener un falso resultado positivo y les arruinaría toda posibilidad de que su estudio aportara nueva información significativa y útil. ¿Sucede algo así a menudo? En el mundo del nutricionismo, por desgracia, parece ser el protocolo estándar de investigación.
Deberíamos recordar también que estos «ensayos» sobre el aceite de pescado pretendían medir unos factores sumamente volátiles. El rendimiento escolar en un examen o la «conducta» (una palabra que ha dejado una huella semántica como pocas) son factores tan increíblemente amplios como variables y amorfos. Cambian según el momento, las circunstancias, los estados de ánimo y las expectativas, y lo hacen más que la mayoría de los otros resultados. La conducta no es como un nivel de hemoglobina en sangre, ni siquiera como la estatura, y tampoco lo es la inteligencia.
El consejo del condado de Durham y la empresa Equazen tuvieron tal éxito en la campaña publicitaria de su «ensayo», ya fuera por el entusiasmo incontenible que sentían ante la posibilidad de obtener un resultado positivo o por simple estupidez (sinceramente, desconozco por cuál de los dos motivos decantarme), que lograron sabotearlo. Antes siquiera de que uno de aquellos niños llegara a tragarse la primera cápsula de aceite de pescado, el suplemento testado y el ensayo que lo probaba (llamados ambos Eye Q) habían sido objeto de profusa y elogiosa publicidad en los periódicos locales, en el
The Guardian
, en el
The Observer
, en el
Daily Mail
, en el
The Times
, en Channel 4, en la BBC, en la ITV, en el
Daily Express
, en el
Daily Mirror
, en el
The Sun
, en GMTV, en la
Woman’s Own
y en otros muchos medios. Nadie podía negar que los niños y las niñas no fueran ya bien preparados.
[*]
Ustedes no son psicólogos educativos. Ustedes no son responsables del área de educación del consejo de un condado. Ustedes no son directores gerentes desde hace tiempo de un negocio multimillonario (en libras) dedicado a la fabricación y venta de pastillas que gestiona un enorme número de «ensayos». Pero estoy convencido de que entienden sobradamente todas las críticas y preocupaciones aquí expresadas. Y es que no hay que ser un Einstein para comprenderlo.
El condado de Durham se defiende
Como soy una persona bastante inocentona y de actitud abierta, acudí a hablar con los impulsores del ensayo y les expliqué que habían hecho justamente aquello que les garantizaba que la prueba produciría resultados inútiles. Eso es lo que cualquiera haría en un contexto académico y, a fin de cuentas, aquello era un ensayo. Su respuesta fue muy simple: «Lo hemos dejado muy claro» —dijo Dave Ford, el inspector escolar en jefe del condado de Durham y el cerebro que había detrás de la idea de repartir aquellas cápsulas y medir los resultados—, esto no es un ensayo».
Aquello sonó poco convincente. Yo llamo para sugerir que están haciendo una investigación mal diseñada y, de repente, ¿todo está bien porque, en realidad, no es un «ensayo»? Había, además, otras razones para pensar que aquélla era una defensa bastante inverosímil. La agencia de noticias Press Association lo llamó «ensayo». El
Daily Mail
lo llamó «ensayo». Channel 4 y la ITV, y todos los medios que cubrieron la noticia, lo presentaron (muy claramente) como un ensayo (pueden ver los vídeos en
[*]
Estaban dando algo a unos escolares y midiendo los resultados. Su propio término para referirse a aquella actividad era «ensayo». ¿Y ahora me decían que no era un ensayo?
Pasé entonces a Equazen, el fabricante que todavía recibe loas y parabienes de la prensa por su participación en los «ensayos» que tenían casi asegurada —por culpa de los fallos metodológicos que ya hemos comentado— la producción de resultados positivos espurios. Adam Kelliher, director ejecutivo de la empresa, hizo unas aclaraciones adicionales: aquello era una «iniciativa». No fue un «ensayo» ni un «estudio», por lo que yo no podía criticarlo como tal. Aun así, costaba ignorar el hecho de que la propia nota de prensa de Equazen hablaba de repartir y administrar una cápsula para medir los resultados, y que la palabra que la compañía había empleado para describir aquella actividad había sido «ensayo».
