Netflix, estadísticas y toma de decisiones

Anoche me desocupé relativamente temprano -antes de la 1 AM es temprano para mis estándares de búho- y como siempre todos en la casa ya estaban durmiendo. Entonces me instalé en el living para algo que no había hecho hace mucho tiempo: ver Netfix en la tele. Mi falta de interés por el cine es impresionante, estuve hasta pasadas las 2 AM buscando algo que me llamara la atención, resulta que no soporto ver algo que no me gusta o no me interesa y parece que más el 90% de Netfix cae en alguna de esas categorías.

Ni siquiera los documentales valen la pena, se hizo muy tarde en la madrugada, ya me estaba empezando a quedar dormido en el sillón, cuando encontré un documental que tal vez sería interesante de ver, se trataba de las estadísticas y las predicciones científicas.

Tal como supuse, el documental era malo, y como me pasa siempre después de ver una mala película, quedé enfurecido y me costaba dormir: reclamaba en mi imaginación sobre las estupideces que habían dicho y pasé despierto hasta altas horas de la madrugada discutiendo conmigo mismo los errores y falsas ideas con que se presentaba la estadística, "la bola de cristal del Siglo XXI", según decía una profesora de matemáticas de la universidad nosecuanto.

La cosa es que presentaba algunos experimentos sobre la "sabiduría de las multitudes" de Galton, sobre lo que he escrito varias veces acá mismo, y lo relacionaba con los modelos matemáticos para pronosticar el tiempo, los modelos bayesianos para buscar personas perdidas en el mar y cosas por el estilo.

Hasta allí todo iba normal, hasta que empezaron a hablar del poder predictivo de la estadística, del valor p menor que 0.05-0.01 y de los experimentos estadísticos con contrafactuales, entonces se pudrió el documental y terminó con la tipa hablando de "la bola de cristal del Siglo XXI" y estupideces por el estilo.

Si hay algo para lo que ha servido muy bien la estadística -y creo que ese es su principal uso- es para engañar a los que no entienden de que se trata, para vestir con ropaje matemático de seudociencia diferentes tipos de engaños descarados. Entrevistaron al dueño de una prestigiosa empresa que tomaba encuestas electorales y las analizaba "matemáticamente", la misma empresa que un día antes de la última presidencial en USA dijo en televisión que las probabilidades eran 70-30 a favor de Hillary Clinton y que sería "rarísimo" que Trump llegara a ganar la elección.

Bueno, lo entrevistaron después de la elección y lo enfrentaron con su mega error de pronóstico, el tipo muy suelto de cuerpo dijo que el pronóstico era correcto pero que la gente no lo había sabido interpretar, que 70-30 en realidad significaba un resultado muy ajustado y difícil de predecir. Aunque parezca mentira, cuando hay millones de dólares en juego la gente no se arruga para decir esta clase de cosas.

El engaño con estadísticas, en especial el fraude de los experimentos estadísticos y la significancia del valor p, parte de la limitada comprensión que tiene la mayoría de las personas acerca de las matemáticas en que se basa la estadística inferencial (la que dice que predice). Como no entienden los fundamentos matemáticos, se dejan enredar por construcciones de gran complejidad pero prácticamente sin base, como son muchos modelos logit, ecuaciones estructurales y otros métodos que a estas alturas ya deberían estar desacreditados, o por lo menos muy limitados en su campo de aplicación.

La matemática fundamental
No es nada complicada, es cuestión de sumas, restas y divisiones. La base de todo es el análisis combinatorio. La historia dice que un famoso jugador, el Chevalier de Meré, le planteó a su amigo el matemático Pascal un par de problemas sobre como resolver el pago de apuestas tirando los dados. Pascal lo pensó, le escribió a su amigo Fermat (otro gigante de las matemáticas) y de ese intercambio surgió la idea que solucionaría el problema.

La solución consistía en listar todas las combinaciones posibles con sus resultados, luego se suman las combinaciones que dan el mismo resultado y ese valor se divide por el total de resultados posibles: esa es la probabilidad. Hay un ejemplo sencillo con dos dados que puede aclarar esto que parece enredado en palabras yo lo coloqué en esta entrada y es lo primero que se enseña en cualquier introducción al cálculo de probabilidades, no cuesta nada entenderlo.

El segundo fundamento es la Ley de los Grandes Números, que dice que en fenómenos producido por el azar, donde tenemos probabilidades, cuando hacemos un gran número de pruebas, los resultados tienden a coincidir con las probabilidades. Ojo porque esta es una "ley empírica" que se ha observado en la práctica y no tiene por qué cumplirse, ya que no depende de ninguna relación de causa-efecto conocida.

Si tiramos un moneda al aire con azar perfecto mil veces, nada impide que salga las mil veces el mismo lado, o novecientas, o trescientas, lo que pasa es que "empíricamente" se ha observado -sin saberse por qué- que en gran número de pruebas los resultaos tienden a coincidir con las probabilidades, es decir quinientas "cara" y quinientos "sello". Me dirán que estoy loco pero es así, si hay azar perfecto, no existe ninguna razón para que en mil tiros de moneda los mil no salgan "cara" por ejemplo, sin importar las probabilidades. El ejemplo es exagerado pero matemáticamente es así, para que hablar cuando los resultados se aproximan a la probabilidad.

De aquí sale la conclusión más importante que todo matemático o persona que trabaja con estadísticas debería tener grabado a fuego: las probabilidades no son predicciones, no pueden serlo, las probabilidades solo muestran patrones de ocurrencia, nada más. Tal como "correlación no implica causalidad", "probabilidad no es predicción" ambas son reglas de oro las que ocultan los que mienten con estadísticas.

¿Es verdad que las probabilidades muchas veces funcionan, o sea predicen? Si, pero esto está sujeto a dos condiciones;

(i) Funcionan, más o menos, en el total, nunca para un caso individual, el ejemplo típico es una moneda que cae "cara" cien veces seguidas, no hay ninguna razón matemática para que el tiro ciento uno salga "sello", es cierto que en mil tiros no es descabellado pensar que podrían salir cerca de quinientos "cara" y quinientos "sello", aunque eso sea solo una expectativa empírica, sin base matemática, pero no hay manera de pronosticar ni un solo tiro en particular. Esa es una de las más grandes y burdas mentiras que se arman usando estadísticas.

(ii) Funcionan a veces para darse cuenta que no hay azar sino una causa-efecto subyacente. Por ejemplo si de mil tiros de un dado, novecientos sale el número seis, eso nos podría sugerir -no demostrar- que el dado está cargado. En esta idea se basan los experimentos estadísticos, la significancia y el "valor p". Sin embargo -y aquí viene la segunda gran mentira- ningún experimento estadístico puede demostrar algo, la existencia de relaciones causa-efecto no pueden ser demostradas estadísticamente, el "p menor que 0.05-0.01" solo sugiere que algo podría haber, pero no demuestra absolutamente nada.

Así y todo, a los seudo matemáticos que escriben prácticamente todos los artículos de econometría, biología, medicina y para que hablar de ciencias sociales como psicolocos y sociolocos les encanta usar la apestosa frase "está estadísticamente demostrado" como sinónimo de "p menor que 0.05-0.01". Esto se presta para innumerables y rentables fraudes académicos, que llevan a veces hasta obtener el Premio Nobel, mientras nadie se atreve a decir que el rey está desnudo.

Dicho todo esto, la estadística no es ninguna bola de cristal ni mucho menos, es incapaz de hacer predicciones confiables en nada donde solo actúe el azar y la pretensión que usando la estadística se puede manejar el riesgo es absurda. las compañías de seguro y los casinos saben muy bien esto y se aseguran de eliminar el azar de entrada poniendo condiciones leoninas y abusivas, como el cero y doble cero de la ruleta, o deducibles absurdos en los seguros.

Estadística y toma de decisiones
Y esta es la parte importante a la que quería llegar. La estadística no sirve para tomar decisiones en condiciones inciertas, es inútil, para lo que si sirve es para engañar, vistiendo de un falso ropaje matemático dando respetabilidad "científica" a ciertas alternativas si queremos imponerlas.

Es absurdo tomar decisiones sobre cosas importantes, que normalmente son las más inciertas, basados en cualquier cálculo estadístico o de probabilidades, porque además como ese cálculo lo puede hacer cualquiera, las decisiones más probables ya descuentan el valor, eso hace que las decisiones improbables sean las que verdaderamente generan el valor, las que están contra la estadística y que confían solo en un golpe de suerte. Eso es algo que entiende muy bien cualquier empresario y es lo que los diferencia del profesor que aplana sus nalgas enseñando economía en alguna famosa universidad.

¿Por qué existe, en general, esta tendencia de la Ley de los Grandes Números? Es algo que se conoce pero no se saben sus causas, yo supongo que tiene que ver con el principio ese de la termodinámica que predice que la entropía siempre tiende a aumentar, las distribuciones más probables, podrían ser una expresión del desorden al que tiende la naturaleza.

Me gustaría darle mil vueltas más a este asunto porque creo que es muy importante, nos mienten todos los días usando estadísticas, mentirosos se ganan el Premio Nobel de esto o lo otro y gente se muere por medicamentos inadecuados o vacunas perjudiciales cuando el finado no tuvo la delicadeza de someterse a la Ley de los Grandes Números. Es increíble lo importante que resulta entender estas cosa para tomar decisiones y la cantidad de gente que es engañada y manipulada en su ignorancia.