Inferencia estadística para dummies (1)

El curso de Data Analysis and Statistical Inference se está poniendo muy interesante. La introducción al

enfoque Bayesiano fue espectacular y me gustaría compartirla con los que se interesen por el asunto. Pero antes algunos conceptos básicos.

En la estadística se trata de estudiar las frecuencias y la posibilidad que ocurra un evento basado en las probabilidades. ¿Cual es la probabilidad que si tiro una piedra al aire esta describa una parábola y vuelva a caer al suelo? ¿cual es la probabilidad en cambio de que la piedra se eleve hasta la estratósfera describiendo una curva caprichosa? Las probabilidades son un continuo desde cosas muy probables hasta otras mucho menos probables, como que llueva sangre por ejemplo, con un gran espacio entremedio. La máxima probabilidad de que algo ocurra tiene valor uno y la mínima valor cero, en el primer caso se habla informalmente de certeza o seguridad, en el segundo de imposibilidad (la probabilidad que yo entre a trabajar por ejemplo).

Las cosas pasan y se registran sus frecuencias, hay dos formas de estudiar lo que pasa: haciendo observaciones o haciendo experimentos ¿cual es la diferencia? Aqui empiezan las complicaciones porque estamos observando asuntos inciertos y por lo general tratamos de saber si una cosa es causa de otra estudiando las frecuencias. En las ciencias reales, esto es sencillo porque la causalidad es más clara y un experimento exitoso se puede replicar y siempre dará el mismo resultado. En ciencias vodoo como las sociales o medicina, esto no es posible y se acude a la estadística para reemplazar la replicabilidad experimental, que le ha dado tanto prestigio a las ciencias serias.

Las frecuencias con que ocurre una cosa cuando también ocurre otra toman ciertas distribuciones típicas que son la cola larga (a la derecha o la izquierda) y la Campana de Gauss o distribución normal, también hay otras distribuciones como la constante, donde siempre ocurre B cuando ocurre A u otras multimodales que no tienen ninguna forma bien definida, los fenómenos que tienen estas curvas no son de mucho interés, el primero porque es trivial y el segundo porque es difícil de tratar estadísticamente.

Por ejemplo la distribución de la riqueza en todo el mundo es asimétrica hacia la izquierda, la estatura de las personas tiene una distribución simétrica o normal, las visitas a páginas porno en Internet son asimétricas a la derecha, etc.

La relación entre la estadística y el cálculo de probabilidades es estrecha, aunque bien complicada. El cálculo de probabilidades es matemático y en él se apoya la estadística para darse prestigio. Si tenemos dos dados sin cargar y los tiramos muchas veces, al graficar las frecuencias tomarán una distribución normal por el hecho simple que algunas sumas de numeros se generan de más maneras que otras: el siete que es el que tiene mayor probablidad se genera con 6+1, 5+2, 4+3... etc. mientras que hay una sola combinación que genera el dos 1+1, así, aunque no sepamos exactamente que números van a salir cada vez, si se tiran los dados muchas veces y no están cargados terminarán dando esta curva

La diferencia fundamental entre el cálculo de probabilidades -que es matemático porque conocemos exactamente las causas por que ciertas combinaciones ocurren con más frecuencia que otras- y ciertos métodos estadísticos es que en estos últimos no tenemos la menor idea de las causas y por el contrario, tratamos de descubrir relaciones causales estudiando solo las frecuencias. Así es según yo lo entiendo y corríjanme si me equivoco, porque no estoy seguro si en el cálculo de probabilidades es necesario conocer la relación causa-efecto, yo entiendo que es así.

Existen dos maneras de intentar esto, una es por observación y la otra es por experimento. Cuando observamos simplemente registramos las frecuencias y tratamos de encontrar alguna tendencia. Cuando experimentamos en cambio la cosa es un poco más complicada porque hacemos dos grupos, uno con el factor que suponemos causal y otro sin el, luego se calcula si los resultados del grupo con la supuesta causa son mayores de los que se obtendrían por puro azar, es decir los del grupo sin el factor.

Los dos métodos tienen problemas, la observación solo puede establecer correlaciones y no hay ninguna manera en que se pueda saber si además de correlación hay causa-efecto. Existen miles de ejemplos famosos donde se muestra que correlación no implica causalidad, como el aumento de los ataques piratas en la costa de Somalia con el calentamiento global y varios por el estilo. Por eso los estudios de observación no tienen mucho prestigio que digamos, muchas veces hay variables ocultas, desconocidas o relacionadas que no tienen nada que ver con lo que se supone que es la causa. Además conviene recordar que Sir Francis Galton (en la foto) que inventó la correlación, también era un convencido de la frenología, todo calza.

El método del experimento, me parece que es la base de la inferencia estadística, también tiene serios problemas. Es muy parecido a un juicio donde a alguien se le debe declarar culpable o inocente. Si es inocente, o sea el fenómeno ocurrió por el azar u otro factor desconocido, eso se llama hipótesis nula. Si es culpable sería la hipótesis que se prueba que tiene una probabilidad mayor que el azar. ¿Se han fijado que en los juicios se declara "no culpable" en lugar de "inocente"? en la prueba de hipótesis es lo mismo, nunca se puede saber si la hipótesis nula es efectiva, solo se hace una estimación en base a las probabilidades.

En realidad cuando se "prueba estadísticamente" una hipótesis solo se está determinando que hay una posibilidad de ocurrencia mayor que el azar en el grupo que tiene lo que se supone factor causal. Tal como en los juicios legales, que establecen la "verdad jurídica" y no son más creíbles que el sistema legal que los soporta, la prueba de hipótesis no puede ser mejor que sus supuestos y la mayoría de estos son increíblemente débiles.

Primero el de la muestra. A una muestra representativa la profesora la compara con tomar una cucharada de sopa para probar si está bien la sal y los aliños: no es necesario tomar toda la sopa para saber si está bien aliñada, basta con una cucharadita. Esa es una muy buena imagen de como debe ser la muestra, el problema es que en ciencias sociales, donde se trata con personas, las características de interés ni en sueños se disuelven de manera tan homogénea como la sal en el agua.

Ese es uno de los puntos más débiles de la prueba de hipótesis y donde más se manipula, porque es prácticamente imposible obtener muestras realmente "representativas"  en el sentido que tengan una distribución del azar tan perfecto como es necesario para que haya representatividad.

Una vez le discutía a una doctora en biología que un muestreo de conveniencia de un tamaño ridículamente pequeño no servía para nada, que no era serio, ella me contestó muy seria "en los estudios de biología con cuatro o cinco muestras bien escogidas nos basta". Bueno, era de una universidad española, no muy prestigiosa a todo esto, pero la mayoría de las manipulaciones se hacen al momento de escoger la muestra. Ningún muestreo no probabilista puede llevar a una conclusión seria, porque en el fondo ese es el sustento de la prueba de hipótesis. Incluso los muestreos probabilistas más cuidadosos están sujetos a bias y manipulación.

Pero bueno, ya me extendí mucho y ni he empezado con el ejemplo Bayesiano, creo que lo tendré que dejar para mañana, porque es muy bueno. Se merece una entrada aparte.