In vino veritas y Big Data

Vino veritas
Anoche nos juntamos en el Stadio Italiano con amigos que no veía desde hace más de 15 años. Estuvimos con Héctor Vera y Cecilia, su señora, también con Toribio Vergara, debe haber sido de los años 90 o 2000 que no nos veíamos. Héctor se acaba de jubilar de la Escuela de Periodismo de la Universidad de Santiago, donde era el decano permanente, mientras que Toribio, con quien me saqué la foto, es hombre de radio, de los mejores periodistas que tenemos en Arica. Grandes valores ambos.

Aproveché que no estaba manejando así es que me tomé cada vaso de cóctel de mango, vino y piscola que me pusieron por delante. Tomar y conversar en compañía de amigos es uno de los lujos más grandes que podemos darnos en la vida, en especial con Héctor que tiene el don de la palabra. Es uno de los mejores conversadores que conozco, lástima que me faltó sacarme una foto con mi buen amigo, ojala me manden alguna para colocarla acá.

Con mi cerebro medio borrado de innumerables piscolas -todos se portaron muy sobrios y caballeros, menos yo- escuché la linda historia de Ulises, que en su largo camino de vuelta a su casa naufraga y va a dar a la isla Ogigia, donde es muy bien recibido por la ninfa Calipso, que se enamora de él y hace todo lo posible para que se quede, dándole sexo y placeres de todo tipo sin interrupción, ella y las demás ninfas de la isla.

Ulises llega a olvidar el paso del tiempo y Calipso tiene cuatro hijos en siete años con él, imaginen como lo estaba pasando el pobre, pero en un momento se acordó de su familia, de su esposa Penélope y le vino la nostalgia, entonces recordó que el propósito de su viaje era volver a casa. Calipso no lo dejaba ir y Ulises lloraba todo los días mirando el mar y recordando  a los suyos, finalmente le pidió a Atenea, la diosa que lo protegía, que le ayudara, esta intercedió con Zeus, quien ordenó a Calipso que soltara inmediatamente a Ulises.

Calipso frustrada -no podía desobedecer a los diosos- hizo un último intento y le ofreció a Ulises que si se quedaba con ella, le daría la inmortalidad y la eterna juventud: a su lado nunca iba a envejecer. Ulises lo pensó y le dijo que no, prefería envejecer con los suyos y estirar la pata como cualquier mortal. No recuerdo a propósito de qué salió esa historia, pero Héctor la contó muy bien y yo -que nunca leí la Odisea- la encontré apasionante. La Odisea relata un viaje con final feliz, algún día me animaré a leerla, aunque sea en español.

Esta buena historia fue lo que se me quedó en la memoria entre las muchas tonteras que hablamos. Yo creo que habría escogido igual que Ulises, envejecer con amigos y familia, aunque unos pocos años con Calipso y las ninfas no me vendrían nada de mal, a ver si se me cruzan las ninfas un día de estos. Aunque medio difícil lo veo igual levanto mi vaso con néctar de ambrosía y brindo por eso.

Big data y elecciones
Leo en el blog Soy Data de Jorge Ubero, un interesante artículo sobre el fracaso -o tal vez mal uso- de la ciencia de datos para predecir elecciones. Con esto de la ciencia de datos está pasando algo muy parecido a lo que ocurrió con el mal uso de la estadística en ciencias sociales, economía, medicina, etc. durante el Siglo XX y hasta comienzos del Siglo XXI.

La estadística fue el gran fetiche del Siglo XX, se le atribuyeron propiedades casi mágicas y la capacidad para predecir el futuro muy exagerada. No hay que olvidarse que sir Francis Galton, que inventó la regesión lineal, también era un frenólogo y tuvo toda clase de ideas chifladas en base a sus estudios estadísticos. Desde entonces y hasta el día de hoy se viene abusando de las herramientas matemáticas para convencer al populacho y dar un barniz de "científico" a toda clase de engaños.

La mayoría de los "estudios" e "investigaciones" de econometría por ejemplo son bastante fraudulentos, para que hablar de los estudios médicos o nutricionales, está repleto de abuso de las estadísticas y de artículos que venden opiniones interesadas cubiertas con el engorroso ropaje matemático de las estadísticas para hacerlas ver "respetables y científicamente probadas" ante los ojos de la gente ignorante.

Hoy es el Big Data que ha tomado el lugar de fetiche que tuvieron las estadíticas en el siglo pasado. En palabras simples, el buzzword "Big Data" se refiere a estadísticas sobre grandes bases de datos. Una de las críticas más fuertes que se le ha hecho siempre a la estadística tradicional es que las muestras representativas muy rara vez existen, normalmente se trabaja con uestras y métosod llenos de sesgo.

El Big Data trata de responder a eso trabajando sobre una enorme cantidad de datos, para esto se aprovechan que gracias a Internet se han coleccionado muchos más datos que nunca antes en la historia y que se pueden aplicar las herramientas estadísticas ya no sobre muestras sino sobre censos, o sea sobre la totalidad de la población o algo que se le aproxime. Esta va a ser una tendencia creciente en futuros estudios porque los datos masivos se están haciendo cada vez más accesibles y disponibles.

Sin embargo
El problema de la muestra no representativa no es el único que tiene la estadística, existen otros mucho más fundamentales y es que aunque se usen las más super sofisticadas herramientas matemáticas y los mejores algoritmos, no existe manera de predecir iertas cosas a partir de las frecuencias. Para asuntos que involucran el comportamiento humano, incluso el cálculo de probabilidades, algo puramente aritmético y de mucho sentido común, es inútil, porque las frecuencias en estos fenómenos no nos dicen nada, no entregan real información.

Esto se ve muy claro en los pronósticos electorales y es lo que se comenta con bastante honestidad, a mi modo de ver, en el blog Soy Data. Los pronósticos electorales basados en estadísticas y Big Data pueden ser increíblemente exactos y exitosos, como mostró el pronóstico sobre el triunfo de Obama, pero solo sirven para pronosticar lo que es evidente, lo que no necesita de ningún tipo de estudio. Sn embargo cuando los resultados de una elección son estrechos, el estudio de las frecuencias es completamente inútil, incluso con los algoritmos de Big Data más sofisticados y con muestras que se aproximan a censos trabajando sobre preferencias reveladas.

Claro que totalmente inútiles no son, sirven para engañar a la gente y crear sensaciones falsas. Aunque estos efectos son de muy corto plazo, a veces funcionan y todavía hay gente que se toma en serio encuestas chantas como las de Mori o Plaza-Cadem, cuando incluso encuestas bien hechas como las del CEP o el Centro de Microdatos de la U de Chile, tampoco son capaces de predecir nada muy relevante.