12 mayo 2022

Por qué falla tanto la econometría

Una de las cosas que podemos comprobar con mayor facilidad, solo mirando a nuestro alrededor, es que economía no es negocios y eso es lo que explica por qué los economistas no se enriquecen. estas son dos realidades empíricas, casi tan acertadas como la Ley del 80-20 de Pareto. No es raro que gente con gran éxito en los negocios, no tienen idea de economía ¡algunos ni siquiera tienen educación formal! Por otra parte, los premios Nobel y economistas más prestigiosos, casi sin excepción se ganan la vida haciendo clases en las universidades o trabajando para los gobiernos, que como todo el mundo sabe son organizaciones ruinosas en cuanto a sus resultados, con muy pocas excepciones.

La economía difícilmente puede catalogarse como ciencia, sin embargo desde siempre los economistas han aspirado a ese status.Resulta que en el imaginario popular, la ciencia ha estado siempre atada a los modelos matemáticos, que dan respetabilidad y prestigio en los claustros académicos. Recuerdo un amigo, doctor en economía de una de las universidades más prestigiosas del mundo, me dijo hace años que el consideraba a los economistas austriacos al nivel de los chamanes que invocaban ritos mágicos, él se negaba a leerlos por su "falta de rigor", solo se guiaba por la evidencia y las matemáticas eran el filtro que le permitía distinguir la verdad de la charlatanería. Ese es un pensamiento predominante en las facultades de economía de casi todas partes.

Me cuesta entender como los métodos econométricos se han mantenido vigentes por tanto tiempo sin desprestigiarse, pese a la evidencia de que su capacidad de predicción es muy pobre. No es que nunca acierten, el problema es que aciertan cuando existe una tendencia tan evidente, que resulta muy fácil de anticipar sin necesidad de ningún cálculo. Cuando la tendencia no es evidente la tasa de acierto de estos modelos suele ser bastante parecida a tirar una moneda al aire, lo que a mi modo de ver los hace bastante inútiles. Por eso ningún experto en modelos econométricos ha hecho una fortuna duradera en el mercado de valores por ejemplo.

La econometría -que además se usa para probar la validez de los estudios clínicos y epidemiología- en principio es bien sencilla: se trata de probar si una hipótesis (conclusión intuitiva establecida a priori) es verdadera o falsa mediante un experimento estadístico. El experimento es normalmente un análisis de regresión usando el método de los mínimos cuadrados y supone que pone a prueba la "hipótesis nula", es decir trata de probar que la conclusión es falsa y que los resultados obtenidos se pueden explicar por efecto del azar. La mayoría de estos estudios llegan a un coeficiente r cuadrado, que supuestamente mientras más alto mejor confirma nuestra hipótesis.

Lo que hacen los análisis econométricos entonces es básicamente resolver hipótesis del tipo causa-efecto, por ejemplo "fumar produce cáncer", "la inflación aumenta la tasa de empleo" y cosas por el estilo. El supuesto entonces es que si se hace un estudio de doble ciego, con un grupo expuesto a la variable explicativa y otro no, donde el investigador desconoce cual es cual, usando una muestra representativa, sometiendo los datos al análisis de regresión, podrá establecer de manera "objetiva" si existe o no causalidad.

Claro que todo esto es teoría, el problema es si esto sirve o no en la vida real. Los resultados estadísticos nunca son exactos y entregan probabilidades, además cuando hacemos una hipótesis, al someterla a un experimento estadístico, debemos asegurarnos que se cumplan varios requisitos como por ejemplo el ceteris paribus, o sea "que todo lo demás permanezca igual", es decir que la relación entre la variable explicada y la explicativa no dependan de otras variables que "ensucien" la relación, o que la muestra sea realmente representativa, entre muchos otros requisitos que rara vez se cumplen. 

Finalmente, aunque hagamos un experimento estadístico técnicamente perfecto, existe un problema mayor: resulta que correlación no implica causalidad y la estadística solo determina posibles correlaciones. Eso si que es problema y la mayoría de los científicos que trabajan con esto lo ignoran olimpicamente, asegurando relaciones de causa efecto cuando solo han determinado (presuntamente) simples correlaciones. 

Los matemáticos han buscado muchas formas de salvar estas dificultades, enredando enormemente los métodos de cálculo y aquí viene otro de los grandes problemas: mientras más se complican los cálculos, esto no los hace necesariamente mejores, en realidad ocurre lo contrario, pero los investigadores economistas, médicos o lo que sea, mientras más complicado es el cálculo más fe tienen en sus resultados, suponiendo erroneamente que son más precisos.

El mal uso de las estadística y el prestigio académico que consiguen investigaciones cuestionables, se presta para toda clase de engaños que usan industrias como la farmacéutica, alimentaria, servicios médicos, finanzas y sobre todo la política. Las investigaciones realizadas con estos métodos de dudoso valor, las han convertido en una herramienta más en el maletín de los políticos para engañar y sacar provecho. El establishment académico es culpable en gran medida de este problema, ya que práticamente no acepta nada que no haya sido "validado" usando estos métodos.

La amplia aceptación académica se explica -creo yo- más que nada por ignorancia. Los modelos matemáticos han tenido resultados espectaculares en disciplinas simples como la física, pero ese éxito no es directamente extrapolable a otros campos del conocimiento que son infinítamente más complicados, en especial a los relacionados con la economía y las ciencias sociales.

Todos somos ignorantes, yo desde luego, pero también un doctor de la Universidad de Oxford o Cambrigde, pueden saber mucho de algunas cosas pero son perfectamente ignorantes en otras. Resulta que los matemáticos tienen un conocimiento muy superficial de las ciencias sociales y viceversa. Keynes, que fue originalmente matemático y derivó a la economía, escribió esto:

Una parte excesiva de la Economía matemática reciente es simple mezcolanza, tan imprecisa como las hipótesis iniciales sobre las que descansa, que hacen perder al autor visión de las complejidades e interdependencia del mundo real, en un laberinto de símbolos pretenciosos e inútiles

Marshall y otros grandes economistas también desconfiaban mucho del valor de los modelos matemáticos en economía. Lamentablemente el establishment académico siempre pensó otra cosa y hasta el día de hoy endiosa la Teoría matemática del keynesianismo, o las ecuaciones de Leon Walras, pese a que han mostrado fuera de toda duda ser inútiles, por el excesivo nivel de sus simplificaciones y su falta de rigor.

Los que vienen de las ciencias sociales por su parte, conocen las matemáticas superficialemnte y las endiosan porque para ellos es una especie de magia negra, conjuros que apenas entienden pero pueden predecir algunos resultados de problemas simples en condiciones óptimas. Así es que lo aceptan a ojos cerrados extrapolando modelos simples a situaciones complejas. Los que vienen de las matemáticas son todavía peores, porque el nivel de dedicación que exige transformarse en un matemático competente deja muy poco espacio para entender cualquier otra cosa. Entonces tienen una visión del mundo simplificada en base a puros modelos ideales, creyendo que las complejidades sociales son solo un asunto de escala. 

Claro que no es así, ambos grupos de gente, por ignorantes y superficiales en lo que no entienden, le entregan una fe ciega a la estadística. Esto es muy conveniente para los políticos, porque palabras como "ciencia", "matemáticas"  y "científico" venden mucho entre los que son todavía más ignorantes y superficiales, así es como tienen a su corte de mercenarios "investigadores científicos" elaborando pruebas científicas acerca de las cosas que les conviene que el resto de la gente crea.

Los métodos econométricos fallan una y otra vez, pero mantienen su prestigio intacto, porque existen enormes intereses políticos y económicos detrás para validar todo eso, que es la verdadera charlatanería. Si les interesa el asunto pueden dar un vistazo al excelente panfleto Una discusión sobre el método matemático en economía, es un gran texto que no tiene desperdicio, lo recoiendo.

8 comentarios:

  1. Fernando Cabrales12 mayo, 2022 23:18

    Está políticamente correcto tu comentario, muchos políticos actuales estarían muy cómodos controlando precios, arreglando la vida por decreto sin más fundamento que su propio tincometro...pero hay dos problemas en tu columna. 1- La econometría no se usa solo para intentar predecir. En eso la estadística suele fallar...pero menos que la meteorología, la geología y muchas otras respetables ciencias. El método es sencillo y se trabajan ideas simples. Las ideas correctas no tendrían problemas para pasar ese tipo de pruebas...a menos que se trate superchería elegante o mera ideología.
    2- La econometría construye modelos en los que la causalidad es parte de la hipótesis...de hechos los modelos lineales como MCO, dicen que la causa está al lado derecho y el resultado es la variable dependiente...y no al revés. La crítica a los métodos matemáticos suelen caer en ese errorcillo...de texto.
    En fin, cuando vas a la escuela, tengo buen café..si sé que tomas té, pero podemos conseguir

    ResponderBorrar
  2. Fernando amigo, que gusto que hayas comentado, ¡como sabes, eres el único economista de los que conozco por el que siento aprecio jaja! Bueno, a lo nuestro

    Mi principal crítica se refiere a como se engaña al pueblo llano con el uso fraudulento de los estudios econométricos, usándolos como argumentos de autoridad "está estadísticamente demostrado que..." etc. cuando estos estudios están (a) usualmente plagados de pifias metodológicas, escondidas entre multitud de ecuaciones y (b) los resultados de un estudio de regresión (que es una prediccion) no pueden demostrar nada, solo suguieren una posible correlación entre dos variables, es imposible que demuestren relaciones de causa-efecto

    Esto me hace recordar un poco la manipulación de los proyectos de inversión donde, mediante ligeros "ajustes" de las variables puedes hacer rentable en papel casi cualquier cosa, los modelos econométricos son muy suceptibles de esas cuchufletas ya que tienen una gran complicación de detalle y esconden muchas cosas tras esa complicación, ya sea errores o cuchufletas.

    Las ciencias sociales, a diferencia de la física que en comparación es muchísimo más sencilla introduce toda clase de dificultades para establecer modelos simples del tipo una variable independiente a un lado y otra dependiente al otro. Claro que esos modelos se pueden hacer, pero obligan a complicar enormemente la matemática porque el fenómeno real está sujeto a muchos factores no deterministas, variables ocultas y cosas por el estilo.

    Por su complicación, la gente tiende a pensar que se trata de un modelo muy preciso, pero es todo lo contrario, en matemáticas son los modelos simples los que funcionan bien, mientras más complicados es más probable que fallen. Acuérdate de e=mC^2

    El problema es que cuando un método se complica es mucho más fácil usarlo para engañar o estafar a los demás, es lo que pasa por ejemplo con la tecnología asociada al bitcoin o las aplicaciones para encriptar ¡algunas nunca han sido auditadas! Pero igual se usan y se aceptan por pura fe.

    En fin, si alguien me dice que fumar es la causa del cáncer y me lo "demuestra" con un estudio clínico econométrico lo mando a la cresta, las demostraciones estadísticas no son otra cosa que predicciones que aciertan en los casos evidentes, pero en lo dudoso fallan tan a menudo como el tincómetro.

    Ah me encantaría pasar para la escuela para que arreglemos los problemas del planeta de una vez por todas, pero estoy amarrado a la casa por problemas de salud de mi querida suegra, ya habrá un tiempo.

    ResponderBorrar
  3. Entendí pocaso aparte de la idea general. Y es normal y me resigno. Hace años me di cuenta muy a mi pesar que no puedes dominar muchas cosas. El tiempo y la dedicación que impone dominar mas o menos una o dos, impide lo demás.
    Ganar lucas.
    Me he dado cuenta que para ganar dinero en Chile se necesita: Suerte, cierta intuición, valentía a toda prueba, una cierta dosis de irresponsabilidad y conocer a mucha gente. Cuando esos astros se alinean, puedes hacer algún billete interesante. Los puros números sirven igual que las estadísticas de las carreras de caballos. Están allí todos los aprontes y gana cualquiera.
    Tengo un amigo gran economista. Daba gratuitamente consejos que oíamos y a veces seguíamos con muy poco éxito. Pero hablaba bonito y enredado.
    Un día, mi señora dijo: “Si nn, supiera de lo que habla, sería rico y es pobre como una rata. Y tu, sdws (bueno no me dijo así, pero así lo entendí) y tu, haciéndole caso”.
    Tenía razón.

    ResponderBorrar
  4. Lo asocio con el post mas abajo, sobre obras publicas con rentabilidad social (o sea, sin retorno económico real). En mi carrera se estudiaba eso en Planeamiento, algo así. Y estaba totalmente matematizado: muchas ecuaciones que contabilizaban, primero, el consumo de los obreros gastando sus sueldos, la rentabilidad reinvertida de las empresas, luego, si la obra fuera un camino por ejemplo, lo que se ahorraría o ganarían los usurarios, que con esos ahorros harían nuevos gastos o consumo, y de todo ello pagarían impuestos etc,
    Al final creo que podrías demonstrar que la obra más faraónica era rentable para el país.
    La verdad creo que es mejor que un Presidente intuitivo ordene hacer un camino o una presa, o que el Faraón exija una tumba monumental que milenios luego será la industria turística del país. Lo otro es un engendro justificatorio en base a recargados cálculos. Uls

    ResponderBorrar
  5. Compro tu post de hoy. Lo complicado es complicado (complejo suena mejor en jerga). Podemos pensar la relacion entra una variable y sus resultados, y dibujamos lindos graficos, podemos agregar otra y nos atrevemos con graficos tridimencionales, otra mas y si somos capos podemos imaginar un espacio de 4 dimenciones, de ahi en adelante solo los muy genios....
    Pero, la relacion entre las variaciones de una variable y los resultados que causaria , no es facil de encontrar si son mas o menos sutiles. Es facil si es muy directo, (dedo en enchufe), pero como dices es irrelevante, el cuento es encontrar las leves las no obvias. Eso con una sola variable, es de imaginar lo complejo de atinar con muchas mas y ni hablar de la interaccion entre ellas.
    Entonces los modelos pueden servir para sugerir escenarios posibles, si se lanza el modelo bastantes veces puede mostrar hasta una tendencia a determinados escenarios,pero ni una pizca de prediccion, a lo mas puede permitir tomar precauciones para evitar las peores consecuencias. (praemeditatio malorum para los estoicos).
    Lo que me parece horrendo es que en los juicios se citan expertos judiales en areas sociales que son solo poquisimo mas que meras opiniones. Que el pulento nos libre de depender de sus fantasias de ciencia

    ResponderBorrar
  6. Marcelo, también hay mucho de eso en los estudios clínicos. Se presentan muchas veces como "verdades científicas" cuando muchos tienen poco valor o son dirigidos para beneficir ciertos intereses. Donde se ve más claro es en la nutriología conde las modas a favor o en contra de ciertos alimentos van cambiando de manera más que sospechosa. ¿Recuerdas cuando se le echaba la culpa al consumo de grasas de las enfermedades cardiacas? Hubo años durante los cuales la grasa y los huevos eran el diablo y había que alimentarse de puras lechugas y jugos de fruta. Hoy los jugos de fruta y los azúcares son el demonio. Todo por beneficiar a ciertas industrias y perjudicr a otras.

    Lo peor es que eso también afecta a la industria farmacéutica y a los tratamientos. Durante años se hicieron cirugías "preventivas" contra el cáncer de próstata que al final mataban más gente de la que salvaban, hasta que le tuvieron que poner "hiperplapsia benigna" a la cosa para que la gente no corriera a operarse a la primera metida del dedo. Es algo muy complicado porque la economía y la salud son dos grandes industrias con enormes intereses detrás, y usan "la ciencia" para beneficio propio muchas veces.

    Ulschmidt, en la evaluación de proyectos (sociales y privados) pasa algo muy parecido. Basta con modificar un poquito la tasa de descuento, otro poquito la vida útil del proyecto, otro pelín la inflación esperada e inflar un poquitin los ingresos y listo, puedes hacer que cualquier proyecto aparezca como rentable "matemáticamente comprobado". El problema que las matemáticas son malas para predecir pero muy buenas para mentir, son ideales para engañar.

    Wilson, dímelo a mi que fui perito judicial por varios años. La figura del perito es muy peligrosa, sus opiniones, que la mayoría de las veces tienen poco o ningún fundamento, pueden meter derecho a la cárcel a cualquiera y tienen muy poca responsabilidad por sus errores, pese a que en cada causa son juramentados eso no los hace más responsables, a menos que se acredite dolo. El problema es que hay pocos y los jueces les creen a ojos cerrados, usan el testimonio con valor de prueba.

    ResponderBorrar
  7. Una cosa que me llamo la atención de la Escuela Austríaca es que ellos definían la economía en términos de la acción humana, la cual no la puedes llevar a modelos matemáticos. Uno nunca sabe cómo va actuar cualquiera persona en determinadas circunstancias.

    A quién le gusta poner libros de estadísticas en sus videos antes del teatro covid, es el charlatán de Gates.

    ResponderBorrar
  8. Claro, la Escuela Austriaca es un gran ejemplo de la "economía literaria" en contraposición a los economistas matemáticos, creo que Hayek fue el que escribió eso de que los fenómenos económicos en particular y los sociales en general no eran matematizables. Y esta idea está ganando terreno en las universidades también por otro lado, la behavioral economics (o como se escriba), la economía del comportamiento, explicada principalmente por psicolocos. Algunos de los últimos premios Nobel han sido de estos, ya que la única utilidad práctica de los Nobel es mostrar que tendencias son las más populares en las universidades

    ResponderBorrar

"Send me a postcard, drop me a line
Stating point of view
Indicate precisely what you mean to say
Yours sincerely, wasting away
Give me your answer, fill in a form
Mine for evermore
Will you still need me, will you still feed me
When I'm sixty-four"