11 mayo 2009

Cuidado con las estadísticas


Un amigo que es ingeniero civil me dijo hace años: cuando veo a alguien de ciencias sociales escribir una fórmula, me pongo a tiritar. Se refería es a la ligereza con que usan las matemáticas -en particular la estadística-  para obtener conclusiones.

Esto a propósito de una pequeña discusión que tuve con un amigo -economista- sobre el análisis estadístico de las encuestas que hicimos. Me decía que no es mi campo y es cierto, me mareo usando el programa SPSS y  gran parte de la operatoria se me ha olvidado o nunca la aprendí bien. Pero hay algunas cosas fundamentales que recuerdo clarito. Mi profesor de estadísticas fue don Erich Glass, un viejito austriaco de un caracter endemoniado, aunque con el tiempo nos hicimos bien amigos. Nos hizo un curso fácil que todos aprobamos, seguramente tuvimos una formación superficial en la operatoria pero muy completa en el fondo del asunto: que significaba la estadística como herramienta para asuntos científicos. 

Es uno de los pocos ramos de la universidad de los que recuerdo haber aprendido algo: hice cálculo 1, cálculo 2 y ecuaciones diferenciales (donde fuí ayudante), cálculo vectorial y al día de hoy lo único que recuerdo de todo eso es que la derivada de x cuadrado es 2x y que una integral definida es el área bajo la curva. No hay absolutamente nada más que recuerde de los cientos de horas y pruebas que tuve que pasar porque fueron todo operatoria, complicada y sin ningún sentido práctico. Sin embargo recuerdo bien algunas cosas importantes de estadística.

Por ejemplo como se abusa de la frase "está estadísticamente comprobado" algo que induce a error a los que no entienden bien la ciencia de las probabilidades. La estadística tiene dos grandes usos: predecir la probabilidad de un evento incierto y detectar anormalidades de la distribución normal, no entrega predicciones exactas ni encuentra relaciones causa-efecto como cree mucha gente de las ciencias sociales con una formación superficial, principalmente operatoria en el asunto.

La curva de Bell o distribución normal de probabilidades que se muestra en esta entrada es la expresión gráfica de algo que todos sabemos intuitivamente: las cosas probables ocurren con más frecuencia que las improbables. La ciencia moderna tiene una tendencia a abandonar la visión mecanicista de causa-efecto inevitable por la de un mundo más incierto, donde las leyes más seguras simplemente se consideran con una probabilidad muy alta.

Aunque hay cosas tan probables que jamás se han visto excepciones, como el principio de conservación de la energía o la Ley de Bradanovic: de los cuernos y de la muerte no se salva nadie pero en un enfoque moderno, consciente de las limitaciones de nuestra experiencia nada se da por seguro o definitivo. El problema ocurre a medida que nos alejamos de las ciencias duras, que estudian los fenómenos relativamente simples (física, química, etc.) y nos acercamos a las ciencias sociales que estudian cosas mucho más complejas como por ejemplo el comportamiento de seres vivos.

Y aquí viene algo de lo que se abusa descaradamente en ciencias sociales: sugerir o afirmar que las correlaciones demuestran una relación causa-efecto. La afirmación de que el aumento global de temperatura es causado por la disminución de los piratas en el mundo, cosa que está estadísticamente comprobada como muchos otros ejemplos de como se usa la estadística para dar prestigio a opiniones fundamentalmente ideológicas o intuitivas.

¿Y a que viene todo esto? bueno, la discusión inicial era que se podían buscar correlaciones por puro análisis estadístico de las respuestas, sin ninguna hipótesis de trabajo para el diseño de las preguntas, que bastaba buscar correlaciones que mostrarían (demostrarían estadísticamente) relaciones de causa-efecto entre las variables. Claro que no, eso es un mal uso de la herramienta estadística, tal como pretender que con estadísticas se demuestra la teoría de la herencia, la de piratas y calentamiento global o tantos otros. Ojo, cuidado con las estadísticas y las ciencias sociales.

17 comentarios:

  1. Hola Tomas,

    he visto algunas presentaciones del antro ese denominado: "Consejo Nacional de Innovación para la Competitividad" (medio nombre!) muchas de las cuales contienen el truco estadístico ese que tu mencionas.
    El que empezó firme con eso fue Eyzaguirre, sobre todo cuando llego al climax al decir que para desarrollar un país había que aumentar la carga impositiva y destinar las lukas a Innovación.
    Y la cara se le quedó ahí mismo!
    Lo mejor fue que sacó aplausos frente a decenas de académicos que ya se imaginaban en el aire cómo iban a gastar esa platita.

    Saludos.

    ResponderBorrar
  2. Claro, porque no es solo un asunto de interés intelectual sino que están en juego las lucas del estado que ni en los peores momentos son escasas.

    Muchos -me incluyo- vivimos de eso ;D

    Es el mismo problema del asistencialismo, que no solo existe para los pobres sino también para las clases media y alta: el estado dispensa favores espléndidos de manera más o menos aleatoria y todo el mundo lo apoya pensando que alguna vez le puede tocar un mordisco. Es la triste realidad.

    ResponderBorrar
  3. Al menos en las ciencias sociales (y al parecer también en algunos estudios de medicina), la estadística es la ciencia donde los números se torturan hasta que confiesan.

    ResponderBorrar
  4. Jajaja!, es una de las mejores descripciones que he escuchado. Claro, la medicina anda por las mismas

    ResponderBorrar
  5. Sobre la estadística, la lógica y el determinismo, siempre funciona este chiste:

    Un físico, un ingeniero y un matemático van en un tren por el sur de Chile, al observar por la ventana ven una oveja negra.
    - Ahh, dice el físico, "veo que las ovejas chilenas son negras".
    - Mmm..., dice el ingeniero, "querrás decir que algunas ovejas chilenas son negras".
    - No, dice el matemático, "todo lo que sabemos es que existe al menos una oveja en Chile, y que por lo menos uno de sus lados es negro".

    ResponderBorrar
  6. Cierto, nada es completamente determinable. Si hubiese viajado en ese tren algún historiador o economista habrían dicho "veo que en Chile deben haber ovejas azules, solo que hoy andan por otra parte".

    Otra, un ingeniero, un físico y un economista en una isla desierta se rompen la cabeza sobre como abrir una gran lata de alimentos herméticamente sellada. Después de muchas propuestas más o menos descabelladas de los dos primeros el economista dice "es fácil ++asumamos++ que tenemos un abrelatas"

    ResponderBorrar
  7. A este post: Amen.

    Es interesante pegarle una mirada a http://biblioweb.sindominio.net/escepticos/imposturas.html

    ResponderBorrar
  8. Le eché un vistazo, impresionante la seudociencia jaja, lo voy a leer con más calma, está bueno...

    ResponderBorrar
  9. Es la curva o campana de Gauss, calculo I

    ResponderBorrar
  10. Cierto, nada es completamente determinable. Si hubiese viajado en ese tren algún historiador o economista habrían dicho "veo que en Chile deben haber ovejas azules, solo que hoy andan por otra parte".

    Otra, un ingeniero, un físico y un economista en una isla desierta se rompen la cabeza sobre como abrir una gran lata de alimentos herméticamente sellada. Después de muchas propuestas más o menos descabelladas de los dos primeros el economista dice "es fácil ++asumamos++ que tenemos un abrelatas"

    jajajajaja, que buena.


    Yo recuerdo a mi loco profesor de estadística que planteaba la misma idea que tú enr relación a la estadística y los usos que se le pueden dar en ciencias sociales.

    El punto claramente está en que el tipo de fenómenos que estudian estas disciplinas conllevan tal grado de complejidad que métodos estadísticos propios de una visión mecanicista no pueden dar cuenta.

    Eso se refleja claramente en los pseudo estudios que buscan rescatar causas efectos donde a lo mucho podrían reconocerse factores o variables que generan determinado grado de influencia. De hecho, por lo que entiendo relaciones causa efecto es difícil encontrar en fenómenos que estudian las llamadas ciencias duras.

    Muy buen post, saludos desde Santiago.

    ResponderBorrar
  11. Alejandro, eso pasa -yo creo- por una combinación de dos factores:

    1. La formación estadística es mala, se enfatiza mucho en la operatoria y en los métodos pero no se enseña QUE SIGNIFICAN, he conocido a muchos tipos con fama de "secos" para la estadística que en realidad son solo buenos calculadores, por su formación incompleta ni sospechan las limitaciones de las herramientas que están usando.

    2. También hay un uso malintencionado y manipulación, la gente de Ciencias Sociales normalmente maneja el billetón y la olítica, dos cosas muy codiciadas y donde "mentir con elegancia" es un gran activo, especialmente si usas argumentos de autoridad y jerga científica: tablas de contingencia, chi cuadrado y todo eso que impresiona a los que no lo han escuchado antes o a los que conocen la cosa superficialmente.

    ResponderBorrar
  12. en lo de la mala formación creo que tiene mucha razón estimado.

    y en el segundo punto para que decir, en este mismo momento acá en la pega le hacemos contraparte técnica a una consultora que "nos vendió" un análisis causa efecto mediante regresiones probit, de todas formas se espera un buen producto.

    Sabe compañero, le recomiendo un libro que a mi al menos me ha ayudado mucho en estas materias y si ud. está trabajando con estadística creo que le ayudar.

    Análisis Estadístico Multivariable de Manuel Vivanco, Editorial Universitaria.´Es interesante dado que para cada uno de los análisis va presentando las bases conceptuales ´para luego dar paso a ejemplo concretos mediante spss.

    eso,
    saludos.

    ResponderBorrar
  13. Interesante, a ver si encuentro el libro en la biblioteca.

    En todo caso yo tomaría las anomalías estadísticas como lo que son nomás, jamás como "prueba" de algo, pueden sugerir caminos para averiguar pero no más que eso.

    ResponderBorrar
  14. nop...el calentamiento global no está correlacionado con la disminución de los piratas

    basta ver lo de moda que están los piratas de Somalía

    debe ser algo mas complejo aún...el complot es Infinito..

    saludos desde Conce

    f.

    ResponderBorrar
  15. Pero hombre, si esta ESTADISTICAMENTE COMPROBADO!

    ¿¿Dudais acaso???
    ¡¡Dudón!!

    ResponderBorrar
  16. las estadísticas no son lo que parecen, Tomás, las innovaciones están sucediéndose más y más.
    Saludos desde España

    ResponderBorrar
  17. Si Saverio, se abusa mucho de las estadísticas, especialmente en las ciencias sociales.

    ResponderBorrar

"Send me a postcard, drop me a line
Stating point of view
Indicate precisely what you mean to say
Yours sincerely, wasting away
Give me your answer, fill in a form
Mine for evermore
Will you still need me, will you still feed me
When I'm sixty-four"