Tomas Bradanovic

Fortuna Favet Fortibus. Filosofía barata, historias, historietas, mecánica, moralejas, chamullos, relatos absurdos, la vida de un vago, cosas de Arica, literatura, música, pornografía, política, física, cocina regional, minas, copete y cosas por el estilo. The awesome, absurd and often bored adventures of our Man of Mistery in Arica, from the trenches, in the Northern Front. Sacar a mil, sacar a mil. Streams of brilliance often springs from boredom. Atendido por su propio dueño, dentre nomás

Estadísticas y encuestas

viernes, 6 de noviembre de 2015


Cuando discuto sobre la inutilidad de las estadísticas y de lo irrealista que resultan los modelos econométricos siempre pongo mi ejemplo favorito que son las encuestas electorales. El caso de las encuestas electorales debería ser suficiente para desacreditar los métodos estadístcos frecuentistas, porque en verdad suguieren que no sirven para nada.

Cuando hay elecciones se juega muchísimo, por ejemplo los grandes grupos económicos son los más interesados en poder predecir quien saldrá de presidente porque apostar por el candidato perdedor puede resultar funesto para muchos negocios, los propios grupos políticos necesitan saber sus reales posibilidades para saber cuanto presupuesto les conviene arriesgar en las campañas y así, está lleno de grupos con mucho interés por obtener una predicción seria y acertada.

Hasta los años setenta más o menos, las empresas dedicadas a hacer encuestas de opinión eran un brazo del departamento de marketing y las encuestas eran una forma más de propaganda pagada para tratar de convencer a los indecisos, pero desde los años 80 cuando empezó a mejorar el nivel de conocimiento y las técnicas económicas en Chile se pusieron al día con el mundo, todos empezaron a darse cuenta que (i) las encuestas truchas ya no convencían a nadie y (ii) sería muy conveniente aprovechar el estado del arte de la etadística para hacer predicciones serias y existosas, especialmente en el campo de las predicciones electorales.

Y empezó a aparecer toda una industria dedicada a hacer encuestas y estudios de opinión, utilizando las mejores técnicas disponibles y evitando al máximo los sesgos. Todo empezó con "El Mapa de la Extrema Pobreza" encargado por Mideplan que inició una revolución a nuestro sistema de estadísticas oficiales. También aparecieron empresas privadas que trataron de ganarse el prestigio en base al rigor metodológico y la imparcialidad, de estas la del Centro de Estudios Públicos ha sido la más respetada. Claro que todavía quedan empresas como Mori-CERC, pegadas en los años sesenta, haciendo "estudios" truchos, pero no tienen peso ni respeto ninguno., casi no existen

En otros países hay incluso una tradición más larga. Desde 1930 George Gallup, un matemático estadístico norteamericano empezó con sus prestigiadas encuestas cuyos métodos se han ido sofisticando con el tiempo, esta tendencia a hacer estudios serios de opinión pública se ha extendido por todas partes.

Sin embargo tienen un problema y es que no son predictivos. Es decir, son predictivos cuando el resultado es más o menos obvio o cuando hay un claro "ambiente" a favor de un candidato, las encuestas generalmente aciertan, incluso con los porcentajes. Pero cuando se trata de eleciones disputadas su poder de predicción es más o menos el mismo que lanzar una moneda al aire. Ha ocurrido en todas las eleciones inciertas, baste recordar las últimas elecciones en Inglaterra, donde se equivocaron completmente  prediciendo una tendencia clara a favor de los laboristas.

Si lo pensamos bien, en Chile también se equivocan a menudo en elecciones inciertas. Bachelet marcaba preferencias cercanas al 70% antes de la elección, sin embargo sacó alrededor del 25% de los votos del padrón. Si las encuestas fueran predictivas, en la elección anterior la segunda vuelta habría sido con Marco Enriquez, es asombrosa la cantidad de adhesión que saca siempre en las encuestas contrastada con la escasa cantidad de votos que obtiene en las elecciones.

Y estas encuestas son hechas con lo mejor del estado del arte de la estadística, en pleno siglo XXI donde se supone que los muestreos debería entregar altos niveles de predicción. Esto me hace dudar mucho de la utilidad real de los experimentos estadísticos, que rara vez ponen a prueba sus predicciones, simplemente aseguran conclusiones del tipo "los datos sugieren  que..." aseveraciones que rara vez son puestas a prueba.

Me parece que el talón de Aquiles de la estadística frecuentista está en el muestreo. En un curso de Análisis de Datos de la Universidad John Hopkings, la profesora explicaba la técnica del muestreo comparándola con la sal en la sopa. Decía que si la sal estaba los suficientemente disuelta, no hacía falta tomar toda la sopa para saber si está salada o le falta sal, bastaba con una pequeña cucharada. El punto débil aquí es que pocas veces -tal vez nunca en asuntos donde participan seres humanos, como estudios sociales o de medicina por ejemplo-  las características a medir están disueltas de manera homogenea tal como la sal en la sopa. Entonces se parte de un supuesto que es falso, equivocado, irrealista.

Por eso las encuestas presidenciales solo aciertan de manera consistente cuando el resultado es obvio, y en las elecciones disputadas su poder de predicción es similar a tirar una moneda al aire. Este es uno de los pocos casos en que se pone a prueba seriamente el poder predictivo de la estadística en ciencias sociales y el resultado es una completa falla. Por eso también cuando leo un paper de econometría, de cualquier asunto de ciencias sociales o relacionado con probabilidades de medicamentos o tratamientos médicos, pienso enseguida que las conclusiones, basadas en correlación o modelos de programación lineal, son  probablemente un engaño.

Por eso tampoco creo en los pronósticos de las encuestas de opinión en temas disputados, la encuesta CEP, que es la más respetada y técnicamente la más seria que se aplica en Chile usa un muestreo probabilístico, aleatorio, estratificado sin reemplazo de 1.442 personas, que supuestamente son una muestra representativa de unos diez millones de chilenos ¿representativa? mis polainas, solo sirve para refrendar temas y opiniones que son obvias, nada más.

16 Comments:

Blogger Ulschmidt said...

..si, es así. Aquí fuímos a votar hace un par de semanas casi convencidos de un resultado y salió otro muy distinto. Y eso que las empresas encuestadoras antes habían vaticinado bien algunas cosas. Pero un grupo importante que no fue a votar antes ahora sí lo hizo y resulta que estaba totalmente "sesgado", es decir, los que ahora sí fueron a votar no distribuyeron sus preferencias como los anteriores votantes sino casi todos se fueron para un lado. Los que votaban en blanco y dejaron de hacerlo así, también.
E incluso se sugiere que en las encuestas telefónicas la gente miente, por comodidad o desconfianza. Que dice "en blanco" cundo en realidad es opositora, pero le resulta más cómodo mostrarse neutral.
Y eso sin entrar a hablar de los encuestadores pagados por alguna de las facciones.

6 de noviembre de 2015, 07:50

 
Blogger Tomas Bradanovic said...

Claro Ulschmidt, si los muestreos en problemas que involucran comportamiento humano fuesen eficaces deberían predecir por ejemplo efectos como la variación de la abstención o los votos en blanco, pero casi nunca lo hacen, ún suponiendo que la encuesta ha sido técnicamente impecable toda "muestra representativa" en seres humanos creo que tiene un sesgo inevitable y tan grande que los resultados de las estadísticas en estos casos valen poco o nada. Para que hablar de los métodos experimentales que tratan de probar hipótesis mediante significancia, esos agregan todavía más sesgo y creo que son mucho menos precisos. Sin embargo se usan mucho para "demostrar estadísticamente" casi cualquier cosa.

6 de noviembre de 2015, 10:09

 
Anonymous Wilson said...

Las encuestas se encuentran hoy con un tremendo rechazo a contestarlas: en edificios y condominios los concerjes no los dejan pasar, hay zonas de la ciudad extremadamente peligrosas para un afuerino, y finalmente la lata de contestar a alguien que toca a tu puerta interrumpiendo el watsapeo incesante.
Algunos, que tratan de ser mas serios, publican su base de datos y ahi deben poner cuanto reemplazo usaron, o cuanto rechazo tuvieron. Eso si alguien les cree ese dato, pues eso puede invalidar la inferencia e inutilizar su trabajo...
Ademas se que hay tecnicas establecidas para evitar o disminuir los sesgos,pero no la hay para evitar el sesgo de tendencias de moda, y la gente tiende a aparentar seguirlas ante un desconocido que los interroga. Si "todos" aman a la Bache, solo los muy opositores se manifiestan, si "todos" la consideran chanta,solo los muy militantes la apoyan, en ambos casos los resultados tendra un sesgo, ni tan amada ni tan chanta,pero ese error es de magnitud desconocida, luego las conclusiones valen poco, salvo que muestren una tendencia abrumadora, es decir que sean inutiles.

6 de noviembre de 2015, 10:19

 
Blogger EDO said...

Que horrenda la Marta Lagos....si esta vieja fuera C2-C3 la habrian hecho pebre con semejante ignorancia pero como es una vieja bien conectada ABC1 se puede dar el lujo de no saber que todos los porcentajes deben sumar 100% (algo de enseñanza basica).Al parecer la vieja tendra que contratar nuevos suches y gomas que le hagan la pega.

6 de noviembre de 2015, 10:55

 
Blogger Tomas Bradanovic said...

Wilson, si existen todas esas distorsiones en encuestas sencillas, de selección múltiple dond ela respuesta es "si" o "no" imagínate en las "pruebas de hipótesis" estadísticas, que en ciencias sociales le dan el staus de científico a muchos estudios.

Por eso no escribí más artículos donde se usara económetría o correlaciones, son fáciles de hacer y aceptados en las revistas, pero yo estoy convencido que son un engaño.

Edo, a mi Marta Lagos me hace recordar a varias colaboradoras de la actual presidenta

6 de noviembre de 2015, 11:56

 
Blogger Rolando el furioso said...

Jajajajajaja. Genial tu último comentario Tomás.

6 de noviembre de 2015, 15:06

 
Anonymous r said...

Tal vez voy a expresar una idiotez. La idea es que el comportamiento humano es casi imposible predecir, evaluar o definir con procedimientos matemáticos y eso es lo que hace de este tema una hermosamente desafiante incógnita.

Habiendo sido algo así como asesesor estadístico de una sociedad médica chilena, hoy leo con extrema cautela hasta las más básicas conclusiones de la más sofisticada fuente de información basada en estadísticas ("evidencia": Me refiero a la Cochrane Collaboration, mi muy básica "biblia de medicina basada en la evidencia" y pese a ser básica, es la mejor que existe en el mundo, ese mundo que ya está pensando en serio en la improbable fantasía [que no dudo que se hará realidad] de colonizar a la Luna y a Marte).

Pues, back to basics, soy un dedicado lector de "evidencias científicas" que con cierta frecuencia me estimulan a reevaluar mis gestiones profesionales pero, que con mayor frecuencia, dolorosamente compruebo que lo que mi experiencia, sensatez, lógica o lo que sea, es más eficiente o tiene menos complicaciones, costo o lo que sea. Y esas conclusiones provienen de qué: Pues de que, bueno o malo, lo estudiado, lo vivido, las miles de anécdotas, los éxitos y los fracasos tras 46 años de intenso enarbolar el bisturí y asumir las consecuencias, han hecho de mí y similares "expertos", buenos o malos. Las computadoras nunca han podido superar a los expertos en el sutil tema del diagnóstico. Los expertos suelen diferir, las estadísticas pueden definir la calidad de cada cual en términos de éxitos y fracasos, pero jamás definirlos ni superar a los que no son tontos ("experiencia puede no ser más que hacer las mismas estupidedeces a lo largo de varios decenios" y nadie es inmune a eso)

Concluyendo, sueles inquietarte por la deficiente capacidad que tiene la estadística (las matemáticas en esencia) en cuanto a aportar conocimientos acerca de la conducta humana. Pues yo sólo expuse lo que pienso de una una pequeña pero muy importante parcela de esa interacción).

¡¡Saludos!!

6 de noviembre de 2015, 15:21

 
Blogger Tomas Bradanovic said...

Rolando, el flashback a la ex señora de la Onemi fue inevitable: el tono cortante, la inacpacidad innata, la boca chueca, el chamullo a flor de labios ¡la chapa de doña Cármen Fernández!

Doctor, no es en absoluto una idiotez, además de ser opinión nuestra y de unos cuantos más está respaldada por muy buenos textos de Fiedrich Hyek, especialmente en "La contrarevolución de la ciencia" que debe ser uno de sus mejores libros". O sea estamos en buena compañía.

Es muy buen punto ese que hay que prestar mucha atención a estudios estadísticos que pueden ser puntos de partida para nuevas ideas, sin embargo considerarlos "evidencias científicas" cuando se trata de asuntos de los seres humanos y su comportamiento solo muestra la ignorancia de mucha gente -incluso con altos grados académicos- que reverencias las cosas solo por respeto a la autoridad cuando realmente no entienden ni una palabra de como funcionan las cosas, menos sus limitaciones.

La experiencia anecdótica junto con la intuición son valiosísimas, tampoco son infalibles (nada es infalible) pero yo pienso que no pueden ser desmentidas por métodos inferiores como las "pruebas de hipótesis" estadísticas, al menos no en medicina ni en ciencias sociales como economía y otras. Las computadoras de los autos (scanner) ni siquiera pueden acercarse a los diagnósticos de un mecánico experimentado y con buen ojo, ¿comoi será en la medicina que es miles de veces más complicado?. De economía y comportamiento humano mejor ni hablemos.

Es la "fatal arrogancia" de pensar que el mundo es como un reloj y que los modelos matemáticos pueden explicar cualquier cosa, eso está bien para los estudiantes que recién conocen el análisis de sistemas, pero los que se quedaron pegados en esa etapa son más tontos que una puerta.

6 de noviembre de 2015, 15:54

 
Blogger Frx said...

Sin duda las encuestas no sirven para predecir, más bien para saber las preferencias de la gente u otros datos, mas no están diseñadas para predecir el futuro.

6 de noviembre de 2015, 16:46

 
Blogger Maximo said...

Esa es una vieja sinvergüenza, y su marido igual. Recuerdo que en la primaria de la alianza le dio un 75% a Allamand y un 25 a Longueira. Cualquier ser humano normal sabia que no podía ser cierto.

6 de noviembre de 2015, 17:39

 
Anonymous Anónimo said...

La última encuesta que contesté fueron unas en que regalaban invitaciones al domino y también me regalaron un pack de vodka. Encuestas así a cambio de nada nunca más contesto.

6 de noviembre de 2015, 19:54

 
Blogger EDO said...

Y quien es el marido de la Marta Lagos?.....alguien que sepa...que diga

6 de noviembre de 2015, 21:24

 
Blogger Tomas Bradanovic said...

Edo ¿No es Roberto MEndez de Adimark? creo que no es relevante, por esas casualidades de la vida a Mendez lo conocí personalmente en Santiago.

Frx, las encuestas se hacen para predecir, ese es su objetivo final aunque todas las empresas que se dedican a eso se guardan las espaldas diciendo que no predicen, que es solo una foto, etc. Las encuestas electorales no tienen otro fin práctico que el de predecir los resultados de las elecciones. SI no predice no vale la plata gastada.

Máximo, no es primera vez que a Mori las sumas no le cuadran, es un error garrafal y recurrente, les ha pasado muchas veces y eso muestra a lo menos la desproligidad con que trabajan, además el CERC (con wuienes estaban asociados) es uno de los centros de estudios más rascas y sesgados que hay en Chile, anda por ahí con la Fundación Sol

Anónimo, por un pack de vodka yo pregunto ¿que quieren que responda?, así da gusto pues


6 de noviembre de 2015, 21:34

 
Blogger Frx said...

Todo caso lo decía pensando en el censo más que nada, creo que es el fin más práctico que tiene.

6 de noviembre de 2015, 22:52

 
Anonymous Wilson said...

El marido es Carlos Hunneus del Cerc. Para decirlo con delicadeza, la perspicacia no es su fuerte, y sus encuestas son aun mas olvidables que las de su esposa

7 de noviembre de 2015, 00:43

 
Blogger Tomas Bradanovic said...

Ah, estaba confundido, pensé que era MEndez. Bueno, el "Centro de Estudios de la Realidad Contemporánea" CERC es una basura y Hunneus idem profesionalmente

7 de noviembre de 2015, 00:50

 

Publicar un comentario

<< Home

Entradas antiguas Entradas nuevas