27 mayo 2015

Evaluaciones de impacto


Mi opinión o conjetura
Siempre he pensado que la  educación pre escolar es inútil. Esto lo creo en base a razonamiento lógico así como  mi experiencia inmediata de cosas que conozco personalmente. Por ejemplo lógicamente no veo la relación causa-efecto entre la estimulación temprana que dan en los parvularios y el rendimiento escolar o cuaquier otra clase de "inteligencia" en el futuro. Tampoco me parece que las personas que conoco y que han ido al parvulario tengan mejor rendimiento o más "inteligencia" que los que no fuimos, esto basado en mi experiencia directa.

Pero eso es solo mi opinión y podría no ser muy convincente. Cualquiera podría decir -con razón- que mi lógica puede ser equivocada y mi experiencia insuficiente. Bueno, este tipo de problemas es lo que estamos viendo en el curso del Edx-MIT sobre evaluación de impacto. ¿Como saber si alguna acción tiene o no impacto en un resultado deseado, más allá de la opinión subjetiva?. Hay varias maneras, un método llamado "experimental" se basa en tratar de comparar la mejora que ha existido con un grupo de control que no tuvo la intervención, con un método estadístico muy parecido al que se usa para probar los medicamentos.

El grupo de control
El problema es que el grupo de control -en condiciones ideales- debe ser "estadísticamente idéntico" al grupo que fue sometido a tratamiento. En nuestro ejemplo del impacto de la educación pre escolar deberíamos comparar -por ejemplo- la mejora en rendimiento académico de personas que tuvieron pre escolar con el de un grupo testigo de personas que no la tuvieron, pero estos dos grupos deben ser estadísticamente idénticos, porque de otra manera podría ocurrir que entre el grupo testigo y el de tratamiento existan otros factores que distorsionen la comparación. Por ejemplo podría ocurrir que los del grupo testigo, en promedio, estén más motivados a estudiar, por factores de familia u otros por el estilo.

La clave es la aleatoriedad
Esto es lo curioso del asunto: para lograr un resultado exacto se necesita una selección aleatoria (al azar). Mientras más azar, más confiable sería el resultado de la evaluación. Esto porque los experimentos estadísticos se basan en la "ley de grandes números" o "Sabiduría de las multitudes" de Francis Galton, el inventor de la regresión estadística. He escrito varias veces sobre él acá mismo y si alguien no conoce el concepto le recomiendo que lea la entrada del link porque es muy interesante.

Y también la ignorancia
La idea detrás de la Ley de los Grandes Números es que en una cantidad grande de intentos al azar, los errores en exceso se anulan con los errores en defecto, lo que permite obtener una exactitud elevada aunque las estimaciones sean hechas por gente completamente ignorante. Para que esto funcione la gente que hace estimaciones (en el ejemplo del peso del buey del experimento de Galton) debe ser mucha y no conocer las estimaciones de los demás porque si se influencian entre si el experimento falla. O sea el requisito para que una multitud sea sabia es que los individuos sean lo más ignorantes posibles. Otra paradoja.

Conseguir el azar es imposible
Esto es por definición de azar, no puede existir ningún procedimiento que pueda asegurarnos una secuencia aleatoria, por ejemplo no existe ningún algoritmo que genere con seguridad una lista de números que nunca siga algún patrón o secuencia predecible, todos los algoritmos generan secuencias pseudo-aleatorias porque no hay forma de saber si -en algún momento- mostrarán una secuencia predecible. El azar perfecto es imposible porque no podemos estar seguros si algo es o no impredecible.

Pi es magnífico
Un caso notable es el número pi (3.14159...), una de las constantes matemáticas más interesantes que existen, al que todavía se le siguen calculando decimales, la última cuenta según leí, iba en 1.241.100.000.000 decimales (más de un billón) y todavía no se encuentra un patrón o secuencia que se repita regularmente. Es decir que con esa cantidad de dígitos se sabe que cualquiera de los números decimales que existen (0,1,2,3,4,5,6,7,8,9) tiene la misma probabilidad de aparecer. Esta característica es muy útil para estadística o criptografía porque cualquier tajada de dígitos de Pi, nos da una secuencia que podemos suponer aleatoria,.. hasta donde sabemos.

Otro motivo de desconfianza
La cosa está llena de paradojas. Si yo quisiera armar un experimento estadístico confiable para evaluar el impacto de la educación pre escolar, debería tener un número muy grande de personas, la Ley de los Grandes Números lo dice en su nombre ¿cuan grande? mientras más se aproxime al total de la población más confiable el resultado, porque las muestras están siempre expuestas al bias. Luego la selección entre los grupos que reciben el tratamiento y el grupo testigo requieren que el total sea muy heterogeneo y el sorteo sea logrando el "mayor azar" posible, para que pueda operar la sabiduría de las multitudes y los errores se anulen entre si. Finalmente no debieran existir factores no observables que distorsionen la heterogenidad del grupo.

Todo muy bien para problemas triviales
Igual que los modelos matemáticos, los experimentos estadísticos funcionan muy bien cuando los problemas son triviales o muy simples y regulares, como pasa con las ciencias básicas: física o química, pero apenas pasamos a problemas más complicados, como los que involucran el comportamiento humano, los modelos y la estadística sirven más para mentir elegantemente que para descubrir si hay relaciones causales.

Para eso está la intuición
Los problemas más complejos se resuelven mucho mejor con una combinación de razonamiento lógico más intuición. Es cierto que muchas cosas son contra intuitivas y la intuición se equivoca mucho, pero tiene las ventajas de la amplitud y la flexibilidad: no "empaqueta" el problema en una serie de restricciones reduccionistas y hasta admite cierto grado de contradicciones. Casi todos los problemas complicados tienen facetas contradictorias, cosa que ningún mecanismo "científico" puede manejar comodamente.

¡Al diablo con los parvularios!
Entonces me quedo con mi experiencia limitada y mi lógica -que podría ser pìfiada. Sigo pensando que la educación pre escolar no sirve para otra cosa que botar plata, porque eso es lo que me tinca y difícilmente voy a tomar en serio un paper con un cuestionable experimento estadístico que "demuestre" o "sugiera" (como dicen ahora) un resultado, sobre un problema donde se juegan muchos millones de dólares, como pasa con la mayoría de las políticas públicas. Creo que se necesita más que eso para convencerme.

8 comentarios:

  1. Renato Aguirre Bianchi27 mayo, 2015 15:03

    ¡Excelente explicación!, pero lamentablemente pocos que no hayan lidiado intensamente con la estadística la apreciarán en lo que vale. En esencia vale oro porque destruye la "importancia" del "impactante hallazgo de científicos de la universidad xxxx" que hacen nata en la Red. Eso de no cuidar el azar, eliminar ("suavizarlas" cuesta más)las covariables y factores de confusión, tener una gran cantidad de obsrvaciones para disminuir el error beta, evaluar, predecir o en definitiva considerar la distribuición del o los parámetros en juego y etc., se lee como chino para la inmensa mayoría, incluyendo la INMENSA mayoría de los médicos y qué decir de los "pseudomédicos", yerbateros, quiroprácticos, naturistas, acropuncturistas, anti-vacunación, anti alimentos transgénicos, etc. Carrileándome, diría que el 99% de las noticias "científicas" que llegan a Internet no respetan lo que has expresado (y sí, tengo claro que sólo rasguñaste la superficie de la complejidad de las asociaciones estadísticas y su relación con el concepto causa-efecto).

    Esas carencias son un drama en medicina y uno de los más notorios ejemplos se refiere a la VERDADERA utilidad (¿o perjuicio?) de las mamografías de rutina. La única y aun algo pobre manera de averiguar la ¿verdad? de los beneficios de la gestión médica convencional (difícil, es más fácil demostrar la falacia de la medicina alternativa porque sus bases son escandalosas) es a través de complejos metaanálisis de estudios cuidadosamente seleccionados (y ese es el punto flaco) y es lo que hace el Cochrane Institute (CI), sin temor a contradecirse si es lo que procede en base a nuevas evidencias. Igual es pobre.

    Lo del CI es una opción, "Medicina Basada en la Evidencia" y requiere muuuuuchos estudios. Hay otra opción para temas más simples y obvios que, si la irracional humanidad la valorara, evitaría gastar fortunas en estudios para evaluar la "evidencia".

    Esta más simple opción, que podría llamarse "Medicina Basada en la Ciencia" nos dice, por ejemplo, que es inútil seguir la línea del CI en el caso de la gran mayoría de la basura homeopática, simplemente porque, para poner al Sílice C200 como ejemplo, la posibilidad de que uno de los granitos de azúcar contenga siquiera a una molécula de sícice es infinitesimal de acuerdo al indiscutible Número de Avogadro. Y bueno, si quieren más ejemplos de la farsa homeopática, sus "remedios" líquidos tienen la misma probabilidad de no tener ni una molécula del "fármaco", pero ellos se defienden argumentando que el agua "tiene memoria" y que recuerda que antes de ser tan dramáticamente diluída la solución, todo el volumen que se consiga sirve como medicamento gracias a su "memoria". Bueno, hacer estudios estadísticos de eso es "absurdamente" absurdo pero los gringos de EEUU gastan millooooooones tratando de demostrárselo a su científicamente iletrado público y aun así como la mitad de éste le cree a la homeopatía y la defiende con anécdotas (casos puntuales) que están a años luz de acercarse un poquito siquiera a lo que tú describiste como pobre y engañoso.

    Es que el mundo está lleno de idiotas empoderados. Creo firmemente que no sólo en lo científico sino que aun más escandalosamente en lo religioso que involucra al cristianismo, la humanidad está contagiada por una pandemia del efecto Dunning-Kruger.

    ¡Salud!, con un traguito para digerir a esta diatriba...

    ResponderBorrar
  2. Doctor, gusto en leerlo por acá.

    Justo ayer conversaba con un conocido respecto de la debilidad de la ciencia médica por los estudios estadísticos. En ciertos casos (incidencia de cáncer de pulmón en fumadores, por ejemplo) la estadística tiende a demostrar algo que a todas luces parece cierto (fumar hace mal), pero en otros, no sabemos qué pasa (por qué los chinos no toman leche y no les pasa nada).

    En el caso de la homeopatía, como con los horóscopos, la explicación es simple: estamos rodeados.

    ResponderBorrar
  3. Estimado doctor, me sumo a las expresiones de contento de Leus por tenerlo por estos ociosos pagos.

    El asunto de los experimentos estadísticos en la investigación de medicina y medicinas es un temazo, yo no lo tomé muy a fondo porque entiendo poco o nada pero para eso lo tenemos como experto acá. Es muy valioso encontrar médicos que se den cuenta de como muchas veces se engaña o se desinforma usando estadísticas, muchos médicos jóvenes solo repiten lo que van leyendo sin cuestionarlo, pero el asunto estadístico, que funciona bien en física y química, al pasar a la biología empieza a mostrar los problemas que trté solo superficialmente en esta entrada.

    LAs estadísticas pueden complicarse muchísimo en su operatoria matemática y eso lleva a que muchas veces se olviden las bases, los supuestos sobre los que está asentada y muchas herramientas "sofisticadas" a veces solo sirven como "cocina de datos" para justificar con un barniz científico lo que a cada cual le convenga. La biología es maravillosa porque está a medio camino entre las ciencias básicas y las sociales, por lomismo hay que tratar con mucho cuidado las conclusiones.

    ¿Cuantos malos tratamientos, operaciones que hacen más mal que bien, errores de diagnóstico o medicación inadecuada se producen por alguna compañía interesada en vender un fármaco o médicos que les interesa vender ciertas operaciones? deben ser muchísimas. Y todas camufladas con argumentos "científicos" que aseguran que está "estadísticamente comprobado que...". Yo creo que la estadística en si no tiene nada de malo, pero usada de manera ignorante o derechamente para mentir puede ser un desastre.

    En estos casos yo creo que vale mucho la experiencia personal, la tincada, el "ojo clínico", o el olfato del médico, que si bien puede ser limitado y puede equivocarse es más amplio y menos reduccionista que basarse en el puro cálculo de probabilidades, que con todas las limitaciones prácticas y metodológicas al final es mucho más limitado y entrega una falsa seguridad "científica" que a veces es puro cuento.

    En fin, menosmal que todavía queda un poco de Wild Turkey así es que puedo acompañarlo con un brindis a la distancia. No todo está perdido :D

    ResponderBorrar
  4. No se si los pekes en parvularios terminan mas inteligentes o mas tontos, solo me tinca que es una forma relativamente barata de encerrarlos por varias horas y eso permite a sus cuidadores, madres generalmente, pecar en alguna peguita o irse a la playa, como se alego hace un tiempo en el norte.
    Ahora falsar esa hipotesis, elegir al azar niños que iran al parvulario y "condenar" a otros a no ir (ni hablar de doble ciego) y seguirlos por varios años, no habra nunca plata, ni menos disposicion, para eso.
    Permiso p'poner un ejemplo, obviamente, de Taleb: sea un test de una enfermedad que afecta a uno de cada mil personas y que tiene un falso positivo de 5 por ciento ( no tiene falsos negativos p' no enredar), ¿cual seria la probabilidad que un test positivo lo sea efectivamente? Obvio,un 95 por ciento, pense yo, me temo que junto con toneladas de especialistas.
    Las pinzas es uno en 51, un 2 por ciento.
    La estadistica es una disciplina que exige mucho mas cuidado del aparente, y eso sin ni entrar en lo que planteas de las series seudoaleatorias. Sin embargo estamos sumergidos en seudo conocimiento basado en estadisticas aparentes.

    ResponderBorrar
  5. Cuando la nanny que teniamos nos dejo para terminar sus estudios (saco un PhD), metimos al cabro a un parvulario. Raciocinio: nos permitia trabajar a los dos, y ademas le enseñaban algunas cosas utiles como limparse el poto y comer a sus horas. La entrada era a la 8.30, pero a veces me daba la flojera y lo dejaba a las 10. La parvularia me "reto" porque el niño estaba perdiendo clases con "materia" muy importante. Tres años.
    Muchas parvularias (no todas, que las hay lindas), la mayoria de las "nutricionistas" y casi todas las asistentes sociales son igual de detestables

    ResponderBorrar
  6. Wilson, yo lo entendí igual, oi sea 95% jaja. Y eso es solo cálculo de probabilidades, lo más sencillo y mecánico que puede haber, ni hablar de significancias. Las "estadísticas aparentes" deberían ser un ramo obligatorio an las ciencias sociales y biológicas. Serían grito y plata, el más útil de los ramos con tópicos como: confusión, mentira I, mentiras avanzadas, falsa respetabilidad científica, etc.

    Anónimo, cuando padre y madre trabajan desaparece la división del trabajo por sexo, que fue lo que creó las sociedades agrícolas y la civilización, ¡cuidado que los nerdentales (o como se escriba) se extinguieron por eso jaja!. Muy de acuerdo que las parvularias y asistentes sociales están chaladas pero yo tengo amigas que lo son y no quiero que me linchen, no es culpa de ellas es la ideología políticamente correcta de la "estimulación temprana", una completa basura, a mi modo de ver.

    ResponderBorrar
  7. que opinan de este señor Andrei Tchernitchin ... medico y Dr. profesor de la uchile, toxicologo reputado, miembro de la directiva del colegio medico... y ahora... viejo gaga...

    no le financiaron una investigación sobre efectos de las lineas de transmision en el cancer, asi que selecciono solo los papers donde se apoya la teoria y se ilvido de los que la refutan e hizo un review... invito activistas holandeses y ahora anda por chile llamando a desobediencia civil si no se modifican las leyes para tener fajas de servidumbre de 200 metros o que le financien sus estudios.


    http://diarioeldia.cl/articulo/economia/andrei-tchernitchin-ninos-son-mas-afectados-tendidos-alta-tension%E2%80%9D


    Estudios yo haria y rápido... pero con equipos independientes, este señor es experto en toxicologia. No en los efectos de los campos electromagneticos. Para dar una alerta como la que dio

    1.- hay que revisar toda la bibliografia y no solo la que me conviene.
    2.- Mido efectivamente el nivel de los campos magneticos en las cercanias a las torres.
    3.- En poblaciones ya expuestas comparo con las que no han estado expuestas.
    4.- hago una comparación de las normas a nivel mundial, en paises desarrollados.}

    Despues de eso, grito. No antes.

    Ademas como es daño a largo plazo, si efectivamente se muestra una correlación fuerte, se expropia y se paga.

    Pero con la histeria que ha provocado quiere parar la conexión de líneas en todo chile.

    ResponderBorrar
  8. En los kibutz, las ya pasadas de moda aldeas de agricultura socialista de Israel, se agrupaba a los niños desde muy jóvenes mientras ambos padres iban a trabajar a los campos. Era algo inclusive ideológico: no tanta familia y mucho más comunidad.
    Años después se hicieron experimentos, no tanto separando grupos de control, sino siguiendo casos de jóvenes que volvieron a estar cerca, por ejemplo en una residencia universitaria.
    Se demostró, con un sesgo bastante fuerte, que los niños y las niñas que se habían conocido antes de los 6 años prácticamente no formaban nunca parejas y entre los que se habían conocido después la frecuencia de parejas era similar a cualquier otra.
    Hasta los 6 años, concluyeron los investigadores, se fija a los demás niños como "hermanos", aunque sea un grupo grande como una clase. Y subconcientemente se los rechaza como futuros compañeros sexuales.
    Así que uno, cuando va al parvulario de muy chico, básicamente conoce las minas que no le van a interesar nunca.

    ResponderBorrar

"Send me a postcard, drop me a line
Stating point of view
Indicate precisely what you mean to say
Yours sincerely, wasting away
Give me your answer, fill in a form
Mine for evermore
Will you still need me, will you still feed me
When I'm sixty-four"