02 marzo 2014

Inferencia estadística para dummies (1)

El curso de Data Analysis and Statistical Inference se está poniendo muy interesante. La introducción al
enfoque Bayesiano fue espectacular y me gustaría compartirla con los que se interesen por el asunto. Pero antes algunos conceptos básicos.

En la estadística se trata de estudiar las frecuencias y la posibilidad que ocurra un evento basado en las probabilidades. ¿Cual es la probabilidad que si tiro una piedra al aire esta describa una parábola y vuelva a caer al suelo? ¿cual es la probabilidad en cambio de que la piedra se eleve hasta la estratósfera describiendo una curva caprichosa? Las probabilidades son un continuo desde cosas muy probables hasta otras mucho menos probables, como que llueva sangre por ejemplo, con un gran espacio entremedio. La máxima probabilidad de que algo ocurra tiene valor uno y la mínima valor cero, en el primer caso se habla informalmente de certeza o seguridad, en el segundo de imposibilidad (la probabilidad que yo entre a trabajar por ejemplo).

Las cosas pasan y se registran sus frecuencias, hay dos formas de estudiar lo que pasa: haciendo observaciones o haciendo experimentos ¿cual es la diferencia? Aqui empiezan las complicaciones porque estamos observando asuntos inciertos y por lo general tratamos de saber si una cosa es causa de otra estudiando las frecuencias. En las ciencias reales, esto es sencillo porque la causalidad es más clara y un experimento exitoso se puede replicar y siempre dará el mismo resultado. En ciencias vodoo como las sociales o medicina, esto no es posible y se acude a la estadística para reemplazar la replicabilidad experimental, que le ha dado tanto prestigio a las ciencias serias.

Las frecuencias con que ocurre una cosa cuando también ocurre otra toman ciertas distribuciones típicas que son la cola larga (a la derecha o la izquierda) y la Campana de Gauss o distribución normal, también hay otras distribuciones como la constante, donde siempre ocurre B cuando ocurre A u otras multimodales que no tienen ninguna forma bien definida, los fenómenos que tienen estas curvas no son de mucho interés, el primero porque es trivial y el segundo porque es difícil de tratar estadísticamente.

Por ejemplo la distribución de la riqueza en todo el mundo es asimétrica hacia la izquierda, la estatura de las personas tiene una distribución simétrica o normal, las visitas a páginas porno en Internet son asimétricas a la derecha, etc.

La relación entre la estadística y el cálculo de probabilidades es estrecha, aunque bien complicada. El cálculo de probabilidades es matemático y en él se apoya la estadística para darse prestigio. Si tenemos dos dados sin cargar y los tiramos muchas veces, al graficar las frecuencias tomarán una distribución normal por el hecho simple que algunas sumas de numeros se generan de más maneras que otras: el siete que es el que tiene mayor probablidad se genera con 6+1, 5+2, 4+3... etc. mientras que hay una sola combinación que genera el dos 1+1, así, aunque no sepamos exactamente que números van a salir cada vez, si se tiran los dados muchas veces y no están cargados terminarán dando esta curva


La diferencia fundamental entre el cálculo de probabilidades -que es matemático porque conocemos exactamente las causas por que ciertas combinaciones ocurren con más frecuencia que otras- y ciertos métodos estadísticos es que en estos últimos no tenemos la menor idea de las causas y por el contrario, tratamos de descubrir relaciones causales estudiando solo las frecuencias. Así es según yo lo entiendo y corríjanme si me equivoco, porque no estoy seguro si en el cálculo de probabilidades es necesario conocer la relación causa-efecto, yo entiendo que es así.

Existen dos maneras de intentar esto, una es por observación y la otra es por experimento. Cuando observamos simplemente registramos las frecuencias y tratamos de encontrar alguna tendencia. Cuando experimentamos en cambio la cosa es un poco más complicada porque hacemos dos grupos, uno con el factor que suponemos causal y otro sin el, luego se calcula si los resultados del grupo con la supuesta causa son mayores de los que se obtendrían por puro azar, es decir los del grupo sin el factor.

Los dos métodos tienen problemas, la observación solo puede establecer correlaciones y no hay ninguna manera en que se pueda saber si además de correlación hay causa-efecto. Existen miles de ejemplos famosos donde se muestra que correlación no implica causalidad, como el aumento de los ataques piratas en la costa de Somalia con el calentamiento global y varios por el estilo. Por eso los estudios de observación no tienen mucho prestigio que digamos, muchas veces hay variables ocultas, desconocidas o relacionadas que no tienen nada que ver con lo que se supone que es la causa. Además conviene recordar que Sir Francis Galton (en la foto) que inventó la correlación, también era un convencido de la frenología, todo calza.

El método del experimento, me parece que es la base de la inferencia estadística, también tiene serios problemas. Es muy parecido a un juicio donde a alguien se le debe declarar culpable o inocente. Si es inocente, o sea el fenómeno ocurrió por el azar u otro factor desconocido, eso se llama hipótesis nula. Si es culpable sería la hipótesis que se prueba que tiene una probabilidad mayor que el azar. ¿Se han fijado que en los juicios se declara "no culpable" en lugar de "inocente"? en la prueba de hipótesis es lo mismo, nunca se puede saber si la hipótesis nula es efectiva, solo se hace una estimación en base a las probabilidades.

En realidad cuando se "prueba estadísticamente" una hipótesis solo se está determinando que hay una posibilidad de ocurrencia mayor que el azar en el grupo que tiene lo que se supone factor causal. Tal como en los juicios legales, que establecen la "verdad jurídica" y no son más creíbles que el sistema legal que los soporta, la prueba de hipótesis no puede ser mejor que sus supuestos y la mayoría de estos son increíblemente débiles.

Primero el de la muestra. A una muestra representativa la profesora la compara con tomar una cucharada de sopa para probar si está bien la sal y los aliños: no es necesario tomar toda la sopa para saber si está bien aliñada, basta con una cucharadita. Esa es una muy buena imagen de como debe ser la muestra, el problema es que en ciencias sociales, donde se trata con personas, las características de interés ni en sueños se disuelven de manera tan homogénea como la sal en el agua.

Ese es uno de los puntos más débiles de la prueba de hipótesis y donde más se manipula, porque es prácticamente imposible obtener muestras realmente "representativas"  en el sentido que tengan una distribución del azar tan perfecto como es necesario para que haya representatividad.

Una vez le discutía a una doctora en biología que un muestreo de conveniencia de un tamaño ridículamente pequeño no servía para nada, que no era serio, ella me contestó muy seria "en los estudios de biología con cuatro o cinco muestras bien escogidas nos basta". Bueno, era de una universidad española, no muy prestigiosa a todo esto, pero la mayoría de las manipulaciones se hacen al momento de escoger la muestra. Ningún muestreo no probabilista puede llevar a una conclusión seria, porque en el fondo ese es el sustento de la prueba de hipótesis. Incluso los muestreos probabilistas más cuidadosos están sujetos a bias y manipulación.

Pero bueno, ya me extendí mucho y ni he empezado con el ejemplo Bayesiano, creo que lo tendré que dejar para mañana, porque es muy bueno. Se merece una entrada aparte.

14 comentarios:

  1. Claro, lo de la cucharita, porque la sopa es o se supone homogénea. Lo opuesto es tener un cargamento de naranjas y decidir si enviarlo o no analizando cuántas naranjas.
    Habrá un pequeño número "n" de naranjas que nos dan seguridad de la calidad media - y aún de la calidad mínima - de los miles de naranjas a enviar. Esto es la estadística en su mejor momento.
    Por cierto vengo de visitar una balanza de granos de una cooperativa agrícola local.
    Tienen un gran brazo extractor de muestras, un cilindro que se hinca por la parte superior de la carga y saca una muestra de geometría cilíndrica.
    En base a eso establecen calidad y le pagan al productor.
    Por supuesto, cuando un productor tiene semillas viejas, del año anterior, para devolver, las mezcla con la carga nueva tratando de que escapen al brazo muestreador.
    Las hace colocar en el piso del camión, o en los extremos, antes de arrojar a granel la carga normal.
    Es un verdadero riesgo: Si de todas maneras tu pequeña pero concentrada cantidad de mercadería mala entra en la muestra, probablemente arroje un peor promedio que el real.
    Pero nadie se resiste a intentar vencer a la máquina.

    ResponderBorrar
  2. jaja eso me hace recordar las cuchufletas que hacen acá los mineros cuando llevan a vender sus piedras de cobre al poder comprador del estado, después de observar más o menos de donde acostumbran a sacar las muestras colocan allí el "filete" mientras que el hueso lo cargan en la parte más improbable del camión.

    Esa analogía de la sopa me gustó mucho porque ilustra bien los problemas de tener una muestra representativa y por que los muestreos no probabilistas son tan difíciles de tragar, pese a que son super usados.

    ResponderBorrar
  3. Bradanovic, suelo dejar de lado tus barrabasadas habituales y solo comentar en lo que vale la pena. Pero aqui te pasaste!

    Nunca, en ningun campo cientifico se considera que estudios basados en una unica hipotesis es suficiente para formar una teoria.

    Esto significa que no importando la candidad o cualidad de las estadisticas, no es suficiente para probar causalidad. Un ejemplo que te has escrito en otros posts:

    Fumar puede producir cancer

    Es suficiente evidencia que exista correlacion entre consumo de tabaco e incidencia de cancer?

    NO!

    Y no importa cuanto cuidado se haya tomado en las estadisticas, la evidencia es insuficiente.

    Existe otra evidencia? Claro que si:

    - Experimentos con animales modelos (ratones, monos, chanchos, etc) a los cuales se les dan distintas cantidades de tabaco y se intenta controlar otras variables. Pobres bichos

    - Cultivos celulares para entender la reaccion a la exposicion de distintos elementos presentes en el cigarro, asi como posibles defensa del cuerpo

    - Experimentos bioquimicos para identificar el mechanismo de accion exacto y cual componente es el mas activo.

    Etc, etc, etc

    En todos estos pasos se usan estadisticas para analizar la significancia de los resultados.

    Cada uno de los experimentos estan basados en hipotesis diferentes y observan fenomenos diferentes y por lo tanto aporta evidencia complementaria. A pesar de que cada uno de esos experimentos contiene tanto errores aleatorios y sistematicos.

    Solo despues de estos pasos se puede pensar en montar una teoria que informa acerca de causas y efectos. Es decir es capaz de hacer predicciones!

    MV

    PS: Por supuesto que se pueden hacer estudios con un solo punto e incluso con ninguno. Solo hay que saber lo que estas haciendo.

    ResponderBorrar
  4. Ah Miguel, no veo razón para tu reclamo, me parece que entendiste mal algo.

    Yo no he dicho ni insinuado, hasta donde sepa, que "estudios basados en una unica hipotesis es suficiente para formar una teoria" (científica se entiende).

    Más aún, tampoco he criticado el uso de estadísticas en ciencias básicas, que son mucho más sencillas que las ciencias sociales y es donde se pueden aplicar estas técnicas como parte de las investigaciones.

    Lo que si he criticado es el (mal) uso de estadísticas en ciencias sociales y en muchos estudios médicos, donde por razones políticas y económicas es sumamente tentador fabricar estudios supuestamente científicos basados en eso.

    Del resto que reclamas no hay nada en relación con lo que yo escribí, que es un resumen de como voy entendiendo el curso de inferencia estadística y no tiene nada muy controversial, aparte de algunas observaciones mías a las que no te refieres.

    Calma la vena y tómate un copete será mejor.

    ResponderBorrar
  5. A propósito, eso de que "se pueden hacer estudios con un solo punto e incluso con ninguno. Solo hay que saber lo que estas haciendo" es una perogrullada deliciosa, parecida a "si mi abuelo tuviera tetas..." etc.

    ResponderBorrar
  6. Bueno, las ciencias sociales tienen problemas fundamentales de base. Entre otros, teorias que son basadas en ideologias. Por otro lado el ser social es bastante maleable, por lo que algun asidero tiene esa aproximacion.

    Medicina es otra cosa, en la base es biologia, que aunque compleja tiene muchas y buenas aproximaciones. Si un estudio tiene problemas serios en el tratamiento de los datos, sera sin duda refutado, por otros usando estadisticas similares u otras aproximaciones.

    Que alguien trata de sacar provecho de estudios 'a la medida', es culpa del 'alguien' y de la ignorancia general acerca de lo que es evidencia cientifica. Un estudio no es evidencia cientifica suficiente, no importa cuan bueno o malo sea.

    Ahora, todos los estudios cientificos estan sesgasdos. Es fundamental que lo esten.

    MV

    PS: extreme statistics anyone?

    ResponderBorrar
  7. Yo dudo de muchos estudios estadísticos aplicados en medicina por razones similares a las de otros estudios de ciencias sociales.

    No quiero ir a lo obvio y decir que si están bien hechos valen y si están mal hechos no, a lo que me refiero es que todo lo que tiene relación con el comportamiento humano, la medicina entre ello, es demasiado complicado para aplicar teorías que funcionan bien donde las causas y efectos son más fáciles de determinar, al menos a nivel macro como en física y química por ejemplo.

    Aora, muchas teorías populares en medicina tienen una base ideológica, especialemnte en relación a las drogas recreacionales, nutrición y otras donde la política y el billete mandan

    Muchas teorías médicas tienen una fuertísima carga ideológica

    ResponderBorrar
  8. A propósito de la carga ideológica de muchas disciplinas, siempre me he preguntado cómo miden la temperatura de la tierra para cuantificar el calentamiento global. Donde ponen los termómetros?. Qué promedio usan?, aritmético?, geométrico?, porqué?.

    Peor aún, cómo comparan la temperatura actual con la de 50, 100 o 500 años atrás?. Sospecho que hay mucha carga ideológica en los estudios efectuados por los ecoterroristas del IPCC, organismo político dependiente de la ONU.

    ResponderBorrar
  9. Casi siempre hay un interes económico detrás de todos los estudios catastrofistas. Lo del calentamiento global es parte de una saga que incluye la lluvia ácida, el agotamiento del petróleo, el agujero en la capa de ozono, los supuestos peligros de la contaminación nuclear, los transgénicos para nombrar solo algunas.

    Todos responden a agendas económicas o políticas de los fabricantes de plantas de generación eólica o fotovoltaica, fabricantes de pesticidas, fertilizantes, cultivos rivales, etc. etc.

    Nunca los ambientalistas hablan de peligros reales porque no les preocupan, ellos van solo tras el billete. Y está lleno de intereses económicos que les elevan la cambucha.

    Otros casos notables son los estudios mulas sobre nutrición , sobre productos "dañinos para la salud" y sobre medicamentos milagrosos.

    Casi todas esas cuchufletas se arman en base al uso malicioso de las estadísticas que en muchos casos son imposibles de cuestionar porque estudian relaciones extremadamente complicadas

    ResponderBorrar
  10. Hay tantos intereses economicos detras de aquellos que ven el calentamiento global como una catastrofe como de aquellos que la niegan.

    Al Gore le hizo un pesimo favor a la ciencia al meter la cuchara en un debate que es eminentemente cientifico. El dan~o ha sido enorme y ha ido mas alla de la climatologia.

    No niego que mas de alguno pueda haber metido mano a los datos, pero en ciencia eso se pilla rapido y pierdes todo el prestigio que a la larga es lo unico que vale.

    @Claudio, hay muchas maneras de calcular las temperaturas globales y distintos metodos para estimar temperaturas pasadas. La historia termica de la Tierra ha sido reconstruida con mucha precision por varios cientos de miles de an~os y con menos precision por decenas de millones.

    Que hay incertezas de distintos tipos, las hay. Pero el panorama global es bastante claro: Hay un incremento de las temperaturas globales muy rapido en comparacion con cualquier otro periodo geologico. Ninguna causa natural es capaz de explicar este fenomeno. Toda la evidencia indica que los gases invernaderos serian los culpables.

    Los modelos climatologicos sin embargo difieren mucho en las posibles consecuencias. Pero ciertamente algunos van a ser beneficiados y muchos otros perjudicados.

    MV

    PS: A proposito del Ozono, te suena el protocolo de Montral?



    ResponderBorrar
  11. Todo es culpa de la dialectica eristica http://issuu.com/albahilares/docs/dialectica_eristica_o_el_arte_de_te

    Ah, Montreal, también me suena el de Kioto

    ResponderBorrar
  12. una vez lei que los resultados de gregorio mendel fueron estadisticamente "muy buenos" para justificar su teoria de la herencia genetica.

    ResponderBorrar
  13. A mi me da la impresión que lo de Mendel va más por la combinatoria y las probabilidades, aunque después le aplicaron estadísticas. Hay un buen artículo sobre eso en https://sites.google.com/a/ciencias.unam.mx/cibergenetica/Home/estadistica-y-genetica-mendeliana

    Tal vez no sea muy correcto el lenguaje, pero yo hago diferencia entre el cálculo de probabilidades y la inferencia estadística, tal vez esté equivocado en eso pero me parecen cosas bien distintas, aunque la inferencia USA el cálculo de probabiidades (y muchas veces abusa de él)

    ResponderBorrar
  14. El cálculo de probabilidades es matemático igual que la combinatoria, la inferencia estadística me parece más ben una aplicación e incluso sus bases pueden ser cuestionables. Hay discusión sobre la validez de la inferencia, pero no sobre el cálculo de probabilidades o la combinatoria. Por eso yo creo que son cosas distintas.

    ResponderBorrar

"Send me a postcard, drop me a line
Stating point of view
Indicate precisely what you mean to say
Yours sincerely, wasting away
Give me your answer, fill in a form
Mine for evermore
Will you still need me, will you still feed me
When I'm sixty-four"