03 mayo 2021

¿Hasta cuando creeremos en las encuestas?


En las últimas elecciones presidenciales del Perú, sacó la primera mayoría un candidato que ni siquiera aparecía en las encuestas, eso debió haber desacreditado -al menos por un buen tiempo- a las empresas encuestadoras, pero nada de eso, hoy andan en Perú todos locos discutiendo los porcentajes de las nuevas encuestas, hechas por los mismos y con idéntica metodología ¿son tontos o se hacen?

En Gran Bretaña todas las encuestadoras daban por ganador al rechazo del Brexit, sin embargo ganó la opción apruebo, y las empresas que hacen "estudios de opinión pública" siguen allí, encuestando y publicando sus resultados como si nada, la prensa les sigue dando cobertura y el gilerío en todo el mundo sigue creyendo que esa es "la opinión de la gente".

Las encuestas tienen muchos talones de Aquiles que son más o menos evidentes. Veamos algunos solamente:

1. Para qué se hacen y quién las paga. Las encuestas no son gratis, al contrario son bastante costosas, especialmente las que trabajan con muestras grandes. Entonces el primer problema es con qué propósito se hacen y quien las paga. Obviamente nadie va a gastar una gran suma de dinero solo por curiosidad intelectual, entonces quien paga una encuesta está comprando un producto que, obviamente, debe servirle y no perjudicarlo. Toda encuesta tiene un propósito y este es casi siempre influir en la población objetivo que está siendo encuestada.

 Así como nadie va a comprar algo para que le cause daño, sería descabellado pensar que alguien pagaría varios millones por una encuesta que lo perjudique, este hecho tan simple y evidente no es tomado en cuenta por nadie al leer los resultados. Las encuestas tienen un propósito y cuestan mucha plata, imaginen entonces el resto, no es muy difícil.

Algunos son groseros y evidentes en esto, por ejemplo si una encuesta la hace la Fundación Sol o cualquier otra ONG con objetivos militantes habría que ser muy tonto para tomarlas en serio, sin embargo existe un segundo nivel de sofisticación, que son los medios de prensa o institutos académicos supuestamente imparciales. Pero resulta que los medios de prensa y las instituciones académicas también tienen intereses involucrados y por más que pretendan ser los reyes de la imparcialidad tampoco van a gastar plata en cosas que podrían perjudicarlos, eso también es bastante obvio.

Para que hablar de las empresas dedicadas a hacer estudios de opinión, que son empresas con fines de lucro que venden sus productos a los clientes que las contratan. Y como todos sabemos, la satisfacción del cliente es la base de todo negocio racional. Lo que venden empresas como Plaza-Cadem,  Anda, Adimark o la abominable Mori, son resultados directa o subrepticiamente útiles a los propósitos de quienes las contratan.

2. Defectos teóricos y metodológicos. Las encuestas de opinión pública no tienen un soporte teórico confiable, porque aplican conceptos estadísticos en asuntos y condiciones donde la estadística simplemente no funciona, o sea, aún las más rigurosas metodológicamente no entregan lo que dicen, es decir una "instantánea del momento" sobre las opiniones de una población basados en técnicas matemático-estadísticas. No existe tal cosa, la industria de las encuestas se basa en un uso engañoso de la teoría estadística. 

Sumado a esto están los graves defectos metodológicos: donde la aleatoriedad prácticamente no existe, se trabaja con muestras ridículamente pequeñas y ninguna empresa o institución que realiza o publica encuestas en Chile está sometida a auditorías independientes de la metodología y procesamiento de los resultados, ni una sola. En otras palabras pueden publicar lo que se les de la gana.

Esto lleva a situaciones vergonzosas como cuando Marta Lagos presentó los resultados de su encuesta Cerc-Mori y los porcentajes sumaban más del cien por ciento, episodios chuscos que deberían haberlos hundido en el desprestigio pero ahí siguen, pontificando como si nada, pretendiendo que son los oráculos de la opinión en Chile.

Todas estas distorsiones y otras que sería muy largo detallar, podrían ser fácilmente desvirtuadas por alguna empresa encuestadora mostrando que los resultados de sus encuestas son predictivos y de manera consistente anticipan los resultados electorales. Ni una sola empresa de estudios de opinión en el mundo puede mostrar eso, lo que refuerza mi idea que no solo se trata de defectos metodológicos, sino que los fundamentos teóricos en que se basan las encuestas son equivocados, o en el mejor de los casos, muy débiles.

 El boom de las encuestas en el mundo empezó en 1936, cuando la empresa Gallup mostró una encuesta cuyo resultados fueron corroborados por la victoria de Roosevelt sobre Landon, esto catapultó a la fama a Gallup, que fue durante muchas décadas el Vaticano de las encuestadoras y abrió sucursales en muchos países del mundo. , sin embargo rara vez en los años que siguieron logró repetir ese éxito.

Igual que los videntes y parapsicólogos que predicen catástrofes naturales o el asesinato de famosos, una que otra vez aciertan pero la mayor parte del tiempo fallan, la gente y los medios solo le prestan atención a los aciertos, normalmente fruto del azar y olvidan las predicciones falladas. 

Con las encuestas ocurre algo muy parecido, las encuestadoras, que son "exitosas" a veces prediciendo, especialmente cuando las tendencias son muy marcadas y resulta fácil darse cuenta del resultado.. Tal como los mentalistas que pronostican todos los años un gran terremoto en Arica, alguna vez uno tendrá que acertar "hasta un reloj malo da la hora correcta dos veces al día" 

El hecho que la gente todavía le dé crédito a las encuestas tiene una explicación práctica y otra psicológica.

La explicación práctica es que si bien el consumidor final de las encuestas políticas son los votantes, existe un usuario intermedio que son los medios de comunicación, a los directores y jefes de prensa de los medios les interesa el golpe noticioso, crear polémicas, despertar atención e interés y de paso -o tal vez principalmente- influir políticamente sobre la audiencia. Los partidos políticos, normalmente camuflados tras ONGs y organizaciones por el estilo, buscan promover sus propios intereses políticos en el electorado. Influir sobre la opinión pública para gatillar una tendencia. Ese es el principal propósito práctico de casi todas las encuestas.

La explicación psicológica también es fácil de entender: resulta que todos nosotros necesitamos afirmar nuestras creencias, opiniones y preferencias y sentimos también la necesidad de creer que lo que nosotros preferimos es lo que prefiere la mayoría de la gente. Por eso nos alegra tanto cuando en una encuesta nuestro candidato aparece en primer lugar, o cuando las opiniones expresadas por la encuesta coinciden con las nuestras ¿No ven? ¿Qué les decía yo?¡Esto es lo que realmente quiere la gente!

Es un mecanismo bien infantil y todos caemos en él, porque nos llena una necesidad psicológica. Yo mismo que entiendo de estadística y se que los resultados de las encuestas son un chiste, soy el primero en citarlas cuando me dan la razón. En cierto modo todos asumimos esa actitud típica de los hinchas del fútbol, donde lo que importa es "ganar" y "derrotar" a los malos, etc. Es una manera de pensar estúpida pero la tenemos todos.

Y eso explica en gran medida, por qué todavía le creemos a las empresas encuestadoras que, nos deberían dar risa, pero incluso cuando presentan resultados adversos a nuestras opiniones, sirven para asustarnos y entristecernos. La mente humana es una cosa endiabladamente rara.

¿Hasta cuando creeremos en las encuestas? Hasta que deje de salir el sol por las mañanas, porque las encuestas sirven para que los demás nos mientan y para mentirnos a nosotros mismos, por eso son un negocio tan floreciente a pesar de la ridiculez de sus presentaciones.

12 comentarios:

  1. Sobre la practica de las encuestas: las muestras para ser "representativas" deben implicar que cada elemento de la poblacion tiene la misma probabilidad de ser elegido y encuestado. Como es imposible en la practica se usan cuotas por domicilios o telefonos al azar, y agregan un parrafito: "si la muestra fuese aleatoria el error seria de x,x% " Reconociendo que no son aleatorias y que valen champiñon.
    La ultima del Cep, la mas seria segun los mentideros televisivos y politicos, fue contestada por 1.600 telefonos ,el 12 % de los encuestados, introduciendo un sesgo del tamaño del cerro San Cristobal, pero como dices, pasa piola. Las presenciales son peores, muchisimo mas caras y con un rechazo mayor, el encuestador no pasa del conserje en los edificios y en las casas, el dia del nispero encuentra al encuestado dispuesto a dejarse entrevistar, a lo mas la nana les contesta si esta aburrida y no hay nadie en la casa. Usan entonces los reemplazos, y olvidemos lo aleatorio entonces, total es "casi".
    EN fin los requisitos para aplicar a teoria estdistica no se dan, luego no se puede estimar su significacion; son asi un mero invento, no muy diferente a las seudo encuestas de noteros de la TV en la calle.

    ResponderBorrar
  2. Así es, la no representatividad de la muestra, la ausencia de aleatoriedad y los cientos de inconvenientes prácticos que hacen imposible realizar encuestas de opinión en muestras grandes sin sesgo es uno de los muchos problemas. También hay otros que a mi mdo de ver hacen las encuestas inútiles como predictores de nada. Pariendo por que la estadística descriptiva no es un procedimiento aplicable a la investigación de opiniones, la medición de frecuencias de las respuestas a un cuestionario (preferencias declaradas) entrega una representación muy pobre de las preferencias reveladas que aparecen al momento de votar, incluso si la metodología fuese impecable (que no lo es), la estadística no sirve para eso.

    Ahora ni hablar de los intereses políticos y económicos involucrados y del cero control y auditoría externa a las empresas

    ResponderBorrar
  3. Eso del modelo de encuestas me lo enseñaron cuando estudié programación, en un ramo de administración, que nos pedía realizar un programa que manejara datos estadísticos basados en una encuesta. Ahi me quedó claro de como trabaja dicho sistema (también participé en una encuesta de satisfaccion usuaria en el hospital durante unos meses que al final no llegó a nada, se archivaron los resultados y nunca más supimos cuales fueron los resultados), y que son encuestas que responden solo a los intereses de quien les paga.

    La última encuesta que dejó mal parada a la Jiles fue una en la que mostró el "mercado objetivo" de dicha candidata: pendejos descerebrados, progretontos y gente con bajo nivel académico.

    ResponderBorrar
  4. Cabe destacar cómo muchas veces grandes aciertos de encuestas en realidad eran tendencias muy evidentes que hasta un niño las habría detectado, como de hecho fue la reelección de Piñera. Fue un asunto con mucho determinismo de hecho.

    ResponderBorrar
  5. Estadística era flor de materia, muy linda. Y el cómo tomar la muestra "indisturbada" todo un tema. Pienso en esas encuestas telefónicas que hablaban, ayer nomás recibí una, en cuanto la máquina se identificó yo colgué que es lo que hago siempre cuando detecto una de esas búsquedas. Otras personas se sentirán halagadas, interesadas o curiosas en contestar.. entonces ya eso es un sesgo:
    a) Inclinaciones políticas de las personas que tienen predisposición a esquivar las encuestas y,
    b) Inclinaciones políticas de las personas que suelen estar predispuestas a contestar las encuestas,
    Si a=b OK, pero que tal si los tipos que suelen votar a la derecha son más reacios a contestar que los de izquierda? o viceversa. Uls

    ResponderBorrar
  6. Ulschmidt, yo creo que incluso con la metodología más perfecta y la muestra más aleatoria las encuestas carecen de valor predictivo, se llevan haciendo desde hace décadas, cientos de miles, tal vez millones, algunas deben tener metodologías muy buenas pero igual no son más predictivas que tirar una moneda al aire. La estadística no sirve para predecir decisiones humanas y los incentivos para mentir son enormes, esa combinación prácticamente garantiza que las encuestas no valen nada

    ResponderBorrar
  7. ..nada mas recuerdo lo de la muestra "indisturbada". Para sacar una muestra de suelo "indisturbada" tienes que hundir una especie de cilindro metálico en el suelo, luego cavar a su alrededor, luego despegarlo de un sólo movimiento, darlo vuelta, sellarlo. Si comprimes algo la muestra ya la porosidad del suelo y su contenido de agua cambian. Si quiebras la muestra, también.
    Para tomar una muestra de agua real, con toda la turbidez y limo que arrastra - para después llevarlo a laboratorio - no puedes simplemente hundir una botella, porque la botella se llenará simplemente expulsando aire y dejando entrar borbotones de agua, pero en ese movimiento extraño las partículas más pesadas como la arena seguirán inercialmente la corriente más que las moléculas de agua que entran al recipiente.
    Para tomar una correcta muestra de agua, hay que sumergir una especie de cilindro que se pone paralelo a la corriente, y con un sistema de trampa cerrar 2 puertas, a entrada y salida, para aproximarse a decir que capturaste una porción de agua turbia tal y cual era el resto que estaba en circulación.
    Y todo eso para muestrear sin deformaciones una triste porción de materia inerte. ¿? Cómo muestra fielmente las ideas de las personas !!! Uls

    ResponderBorrar
  8. Así es. Me recodé que a mi el curso de estadística me lo hizo don Erich Glass Jellinek, un viejito austriaco que llegó en los años cuarenta a trabajar como ingeniero a Bolivia y terminó aterrizando en Arica. Era ingeniero en acústica pero una enciclopedia andando ¡sabía de todo!

    Tenía un genio de los mil diablos pero con el tiempo nos hicimos buenos amigos. Recuerdo que más de la mitad del curso lo dedicó a mostrarnos los engaños y errores que se cometen usando la estadística, fue excelente

    ResponderBorrar
  9. Para muestra.. etc. etc.
    La paliza a la izquierda hoy en Madrid, no la detectó ninguna encuesta.
    Cómo sería de fuerte que el tal Iglesias anunció que deja la política. No le creo pero algo es algo.

    ResponderBorrar
  10. Marcelo, está repleto de ejemplos y la elección en Madrid muestra una vez más la inutilidad de las encuestas, pero a la gente se le va a olvidar y en unas semanas ya estarán todos comentando la encuesta que viene.

    Si Iglesias renunciara a la política sería excelente pero bastante difícil que pase, en el fondo se ha enriquecido enormemente con la política y tengo muy pocas dudas que la plata es su motor. Mientras haya plata creo que ahí estará.

    ResponderBorrar
  11. Frx, con Piñeraa las encuestas también se equivocaron. Su compadre Ikinson de Plaza-Cadem le vendió la pescada que iba a ganar en primera vuelta y que JAK sacaría de un "5 a 3%, no vio una

    ResponderBorrar
  12. En Perú la única encuestadora "independiente" y que acierta al menos es IPSOS, pero sus ejecutivos lo interpretan según el cliente (lo suaviza) las demás encuestadoras se lo compran los candidatos (la clásica) y cada partido tiene su encuestadora el APRA tiene una propia IDICE, Keiko Fujimori tiene a CPI y DATUM desde la época de la dupla Alberto Fujimori-Vladimiro Montesinos, y los fachos sus encuestadoras FAKE que coloca a sus candidatos coleros en 2do lugar, o 1er lugar según a quien se lo quiera tumbar (eso pasó hace poco entre candidatos de derecha) y los progres también tienen a IEP. Aunque en Perú es complicado acertar porque la gente decide su voto en el último mes o últimas 3 semanas, cuando el outsider está ganando puntos de a pocos, pero su tendencia tienen una inclinación de casi 70 grados (jajaja) y en la última semana de prohibición de publicación de encuestas en los medios de comunicación se dispara y supera a los primeros queda en 2do lugar suficiente pera ir a la 2da vuelta.

    ResponderBorrar

"Send me a postcard, drop me a line
Stating point of view
Indicate precisely what you mean to say
Yours sincerely, wasting away
Give me your answer, fill in a form
Mine for evermore
Will you still need me, will you still feed me
When I'm sixty-four"