Estadísticas y encuestas

Cuando discuto sobre la inutilidad de las estadísticas y de lo irrealista que resultan los modelos econométricos siempre pongo mi ejemplo favorito que son las encuestas electorales. El caso de las encuestas electorales debería ser suficiente para desacreditar los métodos estadístcos frecuentistas, porque en verdad suguieren que no sirven para nada.

Cuando hay elecciones se juega muchísimo, por ejemplo los grandes grupos económicos son los más interesados en poder predecir quien saldrá de presidente porque apostar por el candidato perdedor puede resultar funesto para muchos negocios, los propios grupos políticos necesitan saber sus reales posibilidades para saber cuanto presupuesto les conviene arriesgar en las campañas y así, está lleno de grupos con mucho interés por obtener una predicción seria y acertada.

Hasta los años setenta más o menos, las empresas dedicadas a hacer encuestas de opinión eran un brazo del departamento de marketing y las encuestas eran una forma más de propaganda pagada para tratar de convencer a los indecisos, pero desde los años 80 cuando empezó a mejorar el nivel de conocimiento y las técnicas económicas en Chile se pusieron al día con el mundo, todos empezaron a darse cuenta que (i) las encuestas truchas ya no convencían a nadie y (ii) sería muy conveniente aprovechar el estado del arte de la etadística para hacer predicciones serias y existosas, especialmente en el campo de las predicciones electorales.

Y empezó a aparecer toda una industria dedicada a hacer encuestas y estudios de opinión, utilizando las mejores técnicas disponibles y evitando al máximo los sesgos. Todo empezó con "El Mapa de la Extrema Pobreza" encargado por Mideplan que inició una revolución a nuestro sistema de estadísticas oficiales. También aparecieron empresas privadas que trataron de ganarse el prestigio en base al rigor metodológico y la imparcialidad, de estas la del Centro de Estudios Públicos ha sido la más respetada. Claro que todavía quedan empresas como Mori-CERC, pegadas en los años sesenta, haciendo "estudios" truchos, pero no tienen peso ni respeto ninguno., casi no existen

En otros países hay incluso una tradición más larga. Desde 1930 George Gallup, un matemático estadístico norteamericano empezó con sus prestigiadas encuestas cuyos métodos se han ido sofisticando con el tiempo, esta tendencia a hacer estudios serios de opinión pública se ha extendido por todas partes.

Sin embargo tienen un problema y es que no son predictivos. Es decir, son predictivos cuando el resultado es más o menos obvio o cuando hay un claro "ambiente" a favor de un candidato, las encuestas generalmente aciertan, incluso con los porcentajes. Pero cuando se trata de eleciones disputadas su poder de predicción es más o menos el mismo que lanzar una moneda al aire. Ha ocurrido en todas las eleciones inciertas, baste recordar las últimas elecciones en Inglaterra, donde se equivocaron completmente  prediciendo una tendencia clara a favor de los laboristas.

Si lo pensamos bien, en Chile también se equivocan a menudo en elecciones inciertas. Bachelet marcaba preferencias cercanas al 70% antes de la elección, sin embargo sacó alrededor del 25% de los votos del padrón. Si las encuestas fueran predictivas, en la elección anterior la segunda vuelta habría sido con Marco Enriquez, es asombrosa la cantidad de adhesión que saca siempre en las encuestas contrastada con la escasa cantidad de votos que obtiene en las elecciones.

Y estas encuestas son hechas con lo mejor del estado del arte de la estadística, en pleno siglo XXI donde se supone que los muestreos debería entregar altos niveles de predicción. Esto me hace dudar mucho de la utilidad real de los experimentos estadísticos, que rara vez ponen a prueba sus predicciones, simplemente aseguran conclusiones del tipo "los datos sugieren  que..." aseveraciones que rara vez son puestas a prueba.

Me parece que el talón de Aquiles de la estadística frecuentista está en el muestreo. En un curso de Análisis de Datos de la Universidad John Hopkings, la profesora explicaba la técnica del muestreo comparándola con la sal en la sopa. Decía que si la sal estaba los suficientemente disuelta, no hacía falta tomar toda la sopa para saber si está salada o le falta sal, bastaba con una pequeña cucharada. El punto débil aquí es que pocas veces -tal vez nunca en asuntos donde participan seres humanos, como estudios sociales o de medicina por ejemplo-  las características a medir están disueltas de manera homogenea tal como la sal en la sopa. Entonces se parte de un supuesto que es falso, equivocado, irrealista.

Por eso las encuestas presidenciales solo aciertan de manera consistente cuando el resultado es obvio, y en las elecciones disputadas su poder de predicción es similar a tirar una moneda al aire. Este es uno de los pocos casos en que se pone a prueba seriamente el poder predictivo de la estadística en ciencias sociales y el resultado es una completa falla. Por eso también cuando leo un paper de econometría, de cualquier asunto de ciencias sociales o relacionado con probabilidades de medicamentos o tratamientos médicos, pienso enseguida que las conclusiones, basadas en correlación o modelos de programación lineal, son  probablemente un engaño.

Por eso tampoco creo en los pronósticos de las encuestas de opinión en temas disputados, la encuesta CEP, que es la más respetada y técnicamente la más seria que se aplica en Chile usa un muestreo probabilístico, aleatorio, estratificado sin reemplazo de 1.442 personas, que supuestamente son una muestra representativa de unos diez millones de chilenos ¿representativa? mis polainas, solo sirve para refrendar temas y opiniones que son obvias, nada más.