La entropía y mi casa en Arica

Mi casa en Arica
Chile es uno de los lugares más sísmicos del planeta, en nuestro país ocurrió el terremoto más violento que se ha registrado en la historia. Arica, la ciudad donde yo vivo, ha sufrido violentos terremotos en 1604, 1681, 1810, 1815, 1833, 1868, 1877, 1987, 1999, por nombrar solo algunos.

Los que vivimos en esta tierra de leche y miel, al construir o ampliar nuestras casas, debemos tomar algunas decisiones arriesgadas. 

Si hiciéramos caso a las normativas deberíamos construir en concreto armado con grandes fundaciones. Pèro la triste realidad es que casi nadie tiene plata para eso, así es que la alternativa es entre construir ligero y peligroso o no construir.

Riesgo y beneficio
Lo mismo pasa con quienes han construido en el lecho de antiguos ríos que podrían recibir un torrente de barro y piedras. o en la orilla del mar, que puede ser arrasada en un tsunami. 

Claro que muchos viven por generaciones en esas casas de gran riesgo, otros mueren en ellas: al que le toca le toca.

La vida en lugares sujetos a eventos caóticos, que pueden desencadenarse por efectos mariposa, es un buen motivo para entender la entropía y la utilidad de entenderla. Veamos...

Si yo fuese ludópata
Supongamos que yo soy un ludópata obsesionado por apostar en las máquinas tragamonedas, y en el casino juego en una máquina programada de la manera siguiente: 

Un 50% de las veces pierdo lo que aposté, 40% de las veces recibo de vuelta lo apostado, y un 10% recibo 10 veces lo que aposté.

No se en que orden ocurrirá, pero se darán estas proporciones en los grandes números, digamosen 10.000 apuestas o más. En ese caso perdería unas 5.000 veces, recupero en 4.000 y en 1.000 veces gano 10 veces lo apostado. 

Obviamente no me alcanza la plata y no se me permite hacer 10.000 apuestas, digamos que solo puedo hacer 100 apuestas de 1 dólar cada una.

Saber estas proporciones no me permiten hacer ningún cálculo sobre mis probabilidades de ganar. Aquí podrían darse varias situaciones. PEro habrían dos posibilidades muy especiales:

Por ejemplo que gane en las 100 apuestas seguidas, o que pierda las 100 apuestas al hilo. El sentido común y la intuición nos dicen que nada de eso es muy probable, porque solo por combinatoria hay muchas probabilidades que eso no ocurra... a menos que la máquina tenga alguna falla o alteración.

Pero supongamos que eso ocurre: apuesto 100 veces un dólar y pierdo todas las veces ¿seguiré apostando en esa máquina? Claro que no. Y si gano 100 veces es obvio que seguiré apostando hasta que pierda aunque sea una vez. En ambos casos no tengo incertidumbre sino certeza.

Teoría de la Información
Este ejemplo tonto nos permite entender algunas cosas de la Teoría de la Información. Si observo que la maquina me da siempre por ganador o siempre pierdo, lo normal es que yo suponga que está alterada.

Pero si a veces gano y otras veces pierdo, estaré en la misma situación de incertidumbre del que construye su casa en una zona sísmica: no puedo calcular ni predecir nada.

Y no me sirve de nada saber en qué porcentajes paga la máquina. Es lo mismo que pasa con los que juegan a la ruleta; conocen perfectamente sus probabilidades por combinatoria de los números, pero eso no les ayuda en nada para ganar en las apuestas. 

¿Qué está estadísticamente demostrado?
La estadística solo puede dar un pronóstico macro (en unas 10.000 apuestas o más), pero eso no sirve para situaciones micro de 100 apuestas.

Eso es algo fundamental para entender la Teoría de la Información, el casino o las máquinas tragamonedas. Además evita que nos engañe cualquier charlatán que nos diga "está estadísticamente demostrado que...". Mentira. la estadística no puede demostrar nada en particular porque funciona solo a nivel macro.

El gran Claude Shannon inventó la Teoría de la información con propósitos prácticos: al principio quería distinguir entre señal y ruido en transmisiones de radio, pero después aparecieron infinitas aplicaciones como desencriptar mensajes en clave y comprimir información, entre muchas otras. Para eso inventó la Teoría.

Qué dijo Boltzman
Shannon trabajó en base a la definición estadística de la entropía de Boltzman, quien explicó así la segunda Ley de la Termodinámica "los sistemas cerrados siempre tienden a su estado de máxima entropía porque este es el que tiene más combinaciones, y por eso, más probabilidades de ocurrir", esa es la base de la Termodinámica Estadística. 

Hasta entonces la entropía era un concepto confuso y lleno de chamullos filosóficos, se la asimilaba al "desorden". Nadie le creyó a Boltzman en vida y se terminó suicidando deprimido por los ataques y burlas. Hoy es considerado uno de los gigantes de la ciencia.

Volvamos a la máquinita de apuestas
Supongamos un modelo general de nuestra máquina tragamonedas, con N estados y cada uno con su probabilidad, en este caso se define la "ganancia de información" o "nivel de ignorancia" como la suma de cada estado multiplicado por cada probabilidad.

Promedio de información
Volvamos a nuestra máquinita original con 3 estados (pierde, devuelve o gana 10) y probabilidades de 50%, 40% y 10% respectivamente, Entences la probabilidad promedio del sistema es   

Prom= 0.5x0+0.4x1+0.1x10=1.4. Si la neurona no me falla esto se podría interpretar como "si juego unas 10.000 veces o más, mi ganancia se aproximaría a los 1.4 dólares", que un estadístico me corrija si me equivoco.

Ganancia de información
Para esto Shannon definió un nuevo concepto llamado la "Ganancia de información", que es "menos el logaritmo natural de la probabilidad" I= -lnp

El logaritmo es para reflejar que la información crece o decae exponencialmente, siguiendo una curva logarítmica, y el signo menos es para que el valor salga positivo. 

¿Qué diablos significa eso? Veámoslo en los casos extremos: si la probabilidad es uno, o sea el evento ocurre siempre, la ganancia de información será cero, si la probabilidad es cero, o sea ocurre algo que tiene cero probabilidades de ocurrir, la ganancia de información será infinita.

En otras palabras la ganancia de información sería equivalente al grado de asombro o sorpresa que nos produce la ocurrencia de un suceso, 

Que ocurra algo con probabilidad uno, por ejemplo que salga el sol por las mañanas por el este, que se ponga y después llegue la noche, no nos asombra para nada. Cero ganancia de información.

Pero que ocurra algo con probabilidad cero, por ejemplo que al pararnos en un lugar salgamos disparados al espacio hasta la luna y después volvamos sanos y salvos, es aalgo que nos asombraría infinitamente. Ese evento tendría una enorme ganancia de información.

Y entre esos dos casos se encuentra toda la gama posible. La conclusión es que existe más ganancia de información para los eventos improbables y viceversa. La genialidad de Shannon es que eso está en una fórmula y se le puede evaluar con números. La información se puede medir cuantitativamente.

Entropía
Finalmente llegamos a la entropía con el símbolo S, que no es otra cosa que el promedio de la ganancia de información de un sistema, por ejemlo para nuestra maquinita tragamonedas podemos calcular la ganancia de información de cada uno de los resultados

Para piede todo I=-ln0.5 es decir 0.693
Para devuelve uno I=-ln0.4 es decir 0.92
Para gana 10 veces I=ln0.1 es decir 2.3 (noten como a menos probabilidad mayor es la información)

Y la entropía del sistema es el promedio de las ganancias de información, es decir cada ganancia multiplicada por su probabilidad, Para nuestra maquina la entropía sería

S=0.693x0.5+0.92x0.4+2.3x0.1=0.347+0.368+0-23=0.954, y la fórmula general sería:
S=-p1lnp1-p2lnp2+...-pnlnpn  Esta es la Fórmula de la Entropía de Shannon

¿Y para qué diablos puede servir todo esto?
Para muchas y asombrosas cosas, es impresionante lo útil que resultó esta genial idea. De partida ya no se entra en las explicaciones seudo filosóficas ni las discusiones estériles sobre cual era la diferencia entre entropía y desorden.

Le puso números
Shannon convirtió la información y la entropía en conceptos matemáticos que pueden ser evaluados con números y así pudo solucionar -por ejemplo- un problema fundamental en las comunicaciones que es la capacidad que debe tener un canal para transmitir datos en presencia de ruido sin perder la información.

La entropía máxima
También de las ideas de Shannon se deduce que la entropía es máxima de un sistema es cuando todos sus eventos tienen la misma probabilidad -por ejemplo tres eventos con probabilidad 1/3 cada uno o dos eventos con probabilidad 1/2 cada uno, etc.

Este es también el punto de partida para la compresión de datos, que nos permite ver Xvideos en línea al mismo tiempo que otros millones de entusiastas, almacenar muchos terabytes de información en un pendrive del tamaño de un dedo o -en los años de la 2da Guerra Mundial- desencriptar mensajes codificados.

En fin, es un tema amplio y fascinante. Aunque en muchos canales de divulgación cietífica se habla del Segundo Principio de la Termodinámica y de la entropía como asuntos oscuros y muy difíciles de comprender, la verdad es que es algo sencillo y tremendamente útil.. 

Dos grandes
Gracias a dos grandes como Boltzman y Shannon la entropía es pan comido y podemos entender que se puede calcular y obtener un valor numérico para ella, así como entender sus limitaciones nos puede ayudar muchísimo a tomar decisiones en situación de incertidumbre, es decir de alta entropía.

La vida es lo más improbable que existe
A estas alturas ya se habrán dado cuenta que la vida, en cualquiera de sus formas, viola el Segundo Principio de la Termodinámica y esa debe sera explicación de por qué no florecen formas de vida por todas partes.

Y esa es la razón porque nos enfermamos y nos morimos, la vida eterna violaría una de las leyes naturales más fundamentales que conocemos. Estar vivo es una perturbación, una anomalía y para qué hablar de tener buena salud, esto puede ocurrir solo de manera local a escala diminuta, porque la tierra no es un sistema cerrado.

Les paso el dato nomás para que tengan las maletas preparadas y no se hagan muchas ilusiones con eso de "pasó a mejor vida", que no parece estar muy de acuerdo con lo que conocemos hasta ahora.