16 abril 2011

Compresión para dummies

La compresión de datos es la tecnología clave para la televisión y el video digital, es muy interesante y casi nadie sabe que existe, así es que sin más preámbulos, aquí voy con mi compresión para dummies.

Fue Claude Shannon, el gran papi de la Teoría de la información, a él se le ocurrió la idea. En realidad fue el primero que se cuestionó en serio sobre que significa "información" y descubrió que información es aquello que no se puede predecir. Un ejemplo sencillo: supongamos que yo decido no usar nunca más la letra "a", entonces escribo "hol mis migos" y todos entienden igual lo que quise decir. Puedo escribir un libro completo sin usar la "a" y todos lo entenderían, solo por el contexto. Eliminamos datos pero la información sigue intacta.

Una de las principales consecuencias de este descubrimiento de Shannon fue que la información normalmente es redundante, contiene muchos datos innecesarios que se podrían eliminar sin que se pierda el contenido "informativo". Nuestro cerebro usa la compresión de manera abundante, si no descartáramos datos superfluos no podríamos pensar por la inmensa cantidad de datos que necesitaríamos procesar a cada instante. Bueno, Shannon -ejem. ingeniero electrónico, ejem- no se quedó solo en eso sino que matematizó su descubrimiento en su paper más famoso llamado Mathematical Theory of Communication.

Lo que hizo fue un método para medir cuanta información había contenida dentro de cualquier cosa, equiparando la información al espinudo concepto físico de la entropía (en estadística asociado al desorden o impredictibilidad), en fin esa es la base de todo: información es la parte de un mensaje que no se puede predecir.

La compresión se basa entonces en descartar todo lo predecible para hacer un comprimido, y después predecir lo que falta cuando restauramos. Parece complicado pero los principios son bien simples.

Hay dos clases de compresión: cuando se pierde calidad y cuando no se pierde. Por ejemplo si comprimimos una imagen o una película, compuesta de miles de millones de puntitos (pixeles) ni nos daremos cuenta al perder unos miles o cientos de miles, lo mismo ocurre con el sonido. Pero al comprimir un texto no podemos darnos el lujo de perder ni una coma ni un espacio, por eso se usan dos formas distintas según que estemos comprimiendo.

Para comprimir textos podemos, por ejemplo, hacer un diccionario con cada palabra que aparece en el texto, las veces que se repite y su ubicación relativa, la compresión de textos casi siempre se basa en buscar datos repetidos y hacer una especie de diccionario, colocándolos solo una vez, más la información que permita restaurar el texto. Dependiendo de cuanta repetición tenga un texto se puede comprimir a un décimo o menos de su tamaño original.

Una imagen que tenga muchos colores, graduaciones y forma irregular, casi no se puede comprimir manteniendo su calidad, lo que se hace entonces es bajar la calidad, la compresión más popular es con el método JPG que da una de las mejores relaciones de compresión/pérdida de calidad, por eso casi todas las imágenes en Internet están en ese formato.

El video es lo que da mejores resultados para comprimirse y la razón es que un video consiste en muchísimas imágenes (fotogramas) muy parecidas entre si. Imaginen que para dar la sensación de movimiento son unos 50 cuadros por segundo cada uno tiene diferencias mínimas, entonces la posibilidad de comprimir es enorme.

Una forma -por ejemplo- es tomar el primero y el último de una serie de fotogramas similares (por ejemplo una toma en una mismo lugar), se conserva el primero y el último fotograma más la información de los pixeles que cambian solamente. Los que no cambian, como por ejemplo el fondo, no se almacenan repetidos y así se reduce mucho el tamaño del archivo.

Otras formas para comprimir son bajar los matices y resolución de color, eliminar partes pequeñas, casi invisibles, etc. Si no fuera por la compresión el video digital no podría existir, por la cantidad enorme de información que genera se necesitarían discos gigantescos y sería sumamente lento. Las cámaras de video digital usan una compresión llamada DV y normalmente generan archivos en formato AVI de Microsoft, Quick Time de Apple, MPEG u otros por el estilo.

Mi querida suegra es el ejemplo más perfecto de la redundancia, cuando habla de algo que ha conversado repite todo, palabra por palabra y hasta el último detalle, sin llegar nunca al grano, se demora 20 minutos en contar algo que podría haber dicho en 30 segundos, que enfermante.

En fin, yo estoy más o menos igual, esta entrada podría haber sido mucho más corta y no se habrían perdido nada. Que diablos.

20 comentarios:

  1. Muy buen post, Tomás. Pero la redundancia, lo sabe Ud., tiene otra ventaja en la transmisión de información: si se pierden unos cuantos datos el mensaje igual se reconstruye. "hol mis migos" se puede rehacer pero si le sacamos el 1 a 12435 no tenemos idea de qué número se trataba.
    Por eso cuando su suegra o mi mamá no pueden contar que hoy el banco estaba cerrado sin detallar que iban caminando por la vereda, se cruzaron con Doña Tita, llevaban un bolso blanco, etc... debe ser que en la mentalidad femenina el contexto social y ambiental y cronológico en que ocurren las cosas es una necesaria redundancia para entender la cosa.
    Ud., claro, debe pensar como el árabe: "quien no entiende una mirada, no entenderá una larga explicación"
    Ulschmidt El Breve

    ResponderBorrar
  2. Tomás,

    Muy relacionado con lo posteado, de Shannon también tenemos formalmente la Teoría de la Información. La parte universalmente conocida dice que "la incertidumbre respecto del contenido de un mensaje es directamente proporcional a la cantidad de información que este posee". Así, la mayoria de lo que vemos por la televisión muy poca información...jajaja.

    Iván R.

    ResponderBorrar
  3. Ulschmidt, Ivan, hay algo que no mencioné y es que Shannon empezó su trabajo como una teoría de la comunicación (por eso el nombre de su famoso artículo) pero después derivó en una teoría de la información que era más completa.

    LA diferencia es que como teoría de la comunicación tenía un emisor, un receptor y un mensaje con significado que se debía transmitir por un cierto canal. El problema era enviar el mensaje sin que se pèrdiera el significado. Pero al parecer luego Shannon pensó en algo mucho más general y dijo que -desde el punto de vista de la ingeniería- el significado del mensaje no tenía importancia, con eso cambió la idea de información = algo con significado a información = algo con incertidumbre.

    Ese cambio de concepto tiene implicancias muy grandes, porque la información ya no depende del lenguaje, de la semiotica ni nada de eso, tampoco necesita emisor y receptor, la información pasa a ser una característica de la naturaleza como la masa o la energía.

    Ayer bajé una tesis doctoral de un español donde critica este concepto de información sin significado de Shannon (ahora nolo puedeo encontrar, no encuentro donde los bajé ¡la entropía!) Creo que el tipo no entendió que al disociar información de significado Shannon estudiaba un problema mucho más general como es organización versus entropía o algo así.

    Entonces claro, para la comunicación sujeta a pérdidas la redundancia puede ser muy buena (es la base de como funciona Internet por ejemplo) pero como información todo lo redundante es no-información.

    Una cosa que no he encontrado explicación es el papel del ruido, como el ruido es completamente impredecible debían considerarlo información pura! exijo una explicación entonces. Jaja.

    ResponderBorrar
  4. Y que mejor ejemplo de redundancia que mi comentario anterior !!!

    ResponderBorrar
  5. fernando sanchez16 abril, 2011 15:31

    el ruido es la parte de la información recibida que no fue intencionada como parte del mensaje, y por ende esta mas relacionada con el medio que con el mensaje en si

    ResponderBorrar
  6. Claro Fernando, eso lo entiendo en el marco de la teoría de la comunicación donde hay emisor, receptor, mensaje y canal.

    Pero mi duda es en la teoría de la información, donde solo se trata de determinar la cantidad de información que existe en un lugar ¿el ruido sería parte de la información? aparentemente si.

    Aunque de lo que dijiste supongo que el concepto de "ruido" no debería existir en la teoría de la información, tal como no existe el mensaje ni el significado, o al menos no tienen importancia para la teoría.

    ResponderBorrar
  7. fernando sanchez16 abril, 2011 16:00

    quizas entonces hablar de ruido solo tendria sentido dentro de un contexto, pues entonces la informacion pura como la aludes estaria dada por aspectos cuantitativos mas que cualitativos, es decir que solo podrias comprimir valores y no significados, por ello es que los logaritmos de compresion deben tener varios vectores en consideración --> para poder comprimir "cantidad" pero que perceptivamente se aprecie en terminos de "calidad"

    ResponderBorrar
  8. Exactamente creo que ese es el punto. Cuando Shannon hizo una teoría matemática la "comunicación" se le convirtió en "información" porque como la idea era medir la cantidad de información había que dejar de lado todo lo que fuera significado.

    O sea para la compresión -o la criptografía que es un problema muy parecido- lo que interesa más que nada es el mensaje y el significado, la cantidad de información es solo una de las variables. Los algoritmos de compresión o criptografía tienen que considerar el significado,semántica y todo eso además de la cantidad de información.

    ResponderBorrar
  9. La información no puede ser absoluta, dependerá de un receptor o, mas bien, interpretador, siempre. Siguiendo a Shannon pero lléndose bastate mas lejos Bruillion llegó a postular que la entropía física se convierte en información. No obstante, un tratado de físico-química lanzado a la chimenea vale por un puñado de celulosa ardiendo y todas las ecuaciones que contiene se pierden sin mayor utilidad. Un códgio de ADN de un virus en la Tierra puede ser una plaga terrible que cambie la Historia y puesto en Marte una molécula sin consecuencia.
    Ulschmidt

    ResponderBorrar
  10. Me parece Ulsschmidt -"a riesgo de equivocarme" jaja- que para la Toría de la información es irrelevante el significado, la información es absoluta, matemática y no depende de un receptor ni interpretador, o sea existe información incluso sin seres humanos.

    Esto porque la teoría es una generalización del caso particular de la comunicación de un mensaje, en ese caso si hay significado e intérpretes, pero la cantidad de información, hasta donde yo entiendo, es una medida matemática que no depende de nadie,tal como la masa no depende de que alguien la cargue o no.

    Hay tres principios básicos relaionados con la información: la incertidumbre (lo menosprobable tiene más información), el bit (lo inventó Shannon!) como unidd de información y la redundancia. Esatas están afectadas por el contenido del mensaje en el caso particular de la comunicación pero, según entiendo -y a riesgo de equivocarme- no dependen en absoluto ni del contenido ni de quien lo "interpreta". La información sería una magnitud física, no una unidad de conocimiento.

    ResponderBorrar
  11. en el punto limite ese concepto de información se confunde con la varianza estadística. Una bolsa con bolas azules, blancas y rojas tiene mas información que una bolsa con la misma cantidad de bolas blancas. Porque hace falta mas información - más bits - para describirla. Pero si la luz está apagada ¿cual contiene mas información? Siempre hay un punto de vista para ponerse a contar los bits que representan la información necesaria sobre una cosa.Ulschmidt

    ResponderBorrar
  12. Es un asunto muy entretenido y para nada sencillo: si la información es una propiedad física del universo o es solo un grado de conocimiento que alguien tiene sobre alguna cosa.

    Ahora mismo estoy leyendo un buen artículo que se llama está muy interesante aunque, como yo lo veo es una especie de especulación filosófica nada más.

    LA información, el mundo y la mente

    ResponderBorrar
  13. Tomás,

    Para dar ejemplo a lo que se comenta respecto de naturaleza y fin del ruido, recordar la modulación CDMA, la cual no representa mas que ruido para otras modulaciones de banda mas angosta. Además, el ruido blanco (o mas bien rosado)en el espectro audible puede ser relajante.

    Iván R.

    ResponderBorrar
  14. Claro, sin mencionar a que el ruido blanco por ejemplo es SEGURO que contiene cierta clase de información, que no nos interese es otra cosa.

    Esto me aclara un poco más el asunto del ruido, es un concepto semántico no de información, el ruido puede que no contenga información "útil" para cierto propósito pero eso no quiere decir que no tenga información. EL significado, como dice Ulschmidt es siempre en relación a alguien, la información no.

    ResponderBorrar
  15. ¿No fueron Penzias y Wilson los que descubrieron que venía ruído aunque apuntaran la antena al propio Cosmos? Y descubrieron la radiación de fondo, prueba del modelo del Bing-Bang. Ahí lo tienen: también el ruído traía información. Pero sólo para astrofísicos del siglo XX.

    ResponderBorrar
  16. Lo que demostraría Ulschmidt, que la información es independiente del conoccimiento, el significado o el contenido. Cualquier comportamiento o fenómeno con alto grado de incertidumbre sería -potencialmente- rico en información, otra cosa es si esa información le sirve a alguien o no.

    ResponderBorrar
  17. fernando sanchez16 abril, 2011 23:01

    dentro de esta discusión comienza a aparecer otra variable, la del medio, tanto de la forma en la cual se "trasporta" esta información como del como se percibe, la información mas que ser una propiedad física neta parece ser un síntoma del flujo de energia interna dentro de un sistema lo que no contradice su valor relativo a la incertidumbre sino que este se articulan tanto en la percepción de la información como en su interpretación, tanto los aspectos cuantitativos como los cualitativos no sirven de nada sin un respectivo criterio de cantidad como de calidad, por lo que mas allá de la teoría siempre se necesitara alguien que aplique ese criterio, aun en el caso de la información que no se adquiere sino que es "creada" -en el supuesto del arte- no se puede evitar siempre una referencialidad a un sistema conocido, mal que mal ese es el problema de la representación, se puede jugar con gráficos imaginando que son datos abstractos pero finalmente esos datos se adquirieron poniendo algún tipo de limitación al respecto de cuanta información era suficiente o necesaria, el problema del medio (del cual es inherente el problema del ruido) parece mas o menos un "coitus interruptus" para una teoría que pretenda manejar la información como un abstracto puro, a menos que lo obviemos elegantemente metiéndonos en la mente de dios

    ResponderBorrar
  18. El asunto del medio y del observador son interesantes. Bueno, sin observador no hay conocimiento y la existencia de una realidad independiente del observador solo puede especularse, no veo como alguien podría probar algo así.

    El medio es otro problema específico que diferencia a la información de otros fenómenos físicos. ALcomienzo del artículo ese que pude un link aparece esto:

    "Los portadores de información son siempre entidades (objetos, eventos, estados de cosas, etc.) capaces de tener también propiedades físicas que podemos llamar “de primer orden”. La información, en cambio, es una propiedad de “segundo orden”. El tener otras propiedades, o relaciones, de primer orden hace que se tenga cierta información. Se puede considerar a la propia información como una propiedad física, pero entonces deberá matizarse que la información es una propiedad física de segundo orden"

    Claro que como decía antes aquí la cosa se pone más que nada filosófica y especulativa, lo que no quita que sea re entretenida.

    ResponderBorrar
  19. fernando sanchez16 abril, 2011 23:44

    bueno, eso soluciona el problema, y sin tener que tener que pasar por la mente de dios.

    ..un jaqueca menos, sl2

    ResponderBorrar
  20. Digamos que esa es la solución típica del tipo metido en ingeniería o ciencia "hipotesis non figo" y chao. Así lo hizo Newton con la fuerza y se ahorró un montón de malos ratos ;)

    ResponderBorrar

"Send me a postcard, drop me a line
Stating point of view
Indicate precisely what you mean to say
Yours sincerely, wasting away
Give me your answer, fill in a form
Mine for evermore
Will you still need me, will you still feed me
When I'm sixty-four"