La decisión política 7: ejecución y evaluación de políticas públicas

Y terminé el curso Democracia y Decisiones Públicas, Introducción al Análisis de Políticas Públicas de la Universidad Autónoma de Barcelona y que resultó mucho mejor de lo que esperaba. Había tomado antes otros cursos de Coursera en español y no pasé de las primeras lecciones porque me parecieron mal hechos, pobres de contenidos, con relleno inútil, etc. este es el primer Coursera en español que conozco que está al nivel de los cursos en inglés, tanto por asuntos de forma como de contenidos. Con este curso sumo el sexto certificado de Coursera, he seguido muchos más cursos pero estos seis los he terminado cumpliendo todos los requisitos y pruebas.

Para los que trabajamos en proyectos de inversión pública es un curso muy valioso porque se concentra en algunos aspectos reales y de importancia clave para el éxito o fracaso de estos proyectos, especialmente estudia el conflicto entre los enfoques "político" y "técnico" que siempre aparecen en estos casos y es un tema que no aborda casi ninguno de los cursos "normales" de gestión pública,porque se trata un asunto que no tiene solución. En este curso no se dan soluciones pero al menos se desmenuzan las posibilidades para que cada uno arme su enfoque práctico ante este espinudo problema.

Comprendiendo que se trata de un problema muy profundo y complejo, uno evita caer en esa tentación tan frecuente de definirse como "tecnócrata" o "político" que hace tan mal en estos proyectos cuando se adoptan posiciones absolutas y excluyentes. Yo tengo mis propias ideas sobre el asunto después de haber trabajado varias décadas en esos proyectos, pero creo que el curso me dio una visión más amplia y ahora seré un poco más tolerante con los malditos politicuchos.

Los últimos módulos de este curso se refirieron a la ejecución y evaluación de las políticas públicas y solo daré un resumen muy superficial de las cosas que vimos.

Un primer tema es por que las políticas públicas y proyectos rara vez se evalúan ex-post. La primera razón es más o menos obvia, resulta políticamente inconveniente evaluar los resultados, lo otro es que resulta muy difícil hacer una evaluación útil. Los políticos, que son quienes pueden evaluar formalmente, prefieren hablar del gasto antes que del impacto, tema que les resulta muy incómodo y por lo general evitan.

Todo proyecto o política pública parte de necesidades (que como ya vimos no son sencillas de detectar ni ponderar) y de los recursos que se disponen para solventarlas. LA ejecución de las políticas tiene ciertas entradas, que en los proyectos se llaman "actividades" y deben lograr ciertos "productos" u objetivos.

Pero todo esto es parcial, el éxito o fracaso de una política se determina contrastando el impacto que ha tenido el logro de los objetivos sobre la población intervenida, esa es la evaluación que vale, no basta haber cumplido las metas sino que se debe haber impactado sobre el objetivo general.

Medir el impacto de un proyecto social es dificilísimo porque los objetivos de estos proyectos suelen ser tan amplios y confusos ("mejorar la calidad de vida" por ejemplo) que resulta imposible saber honestamente si hay o no impacto significativo. Para esto se ha intentado el método del "análisis contrafactual", es decir comparar la situación después del proyecto (sus indicadores) con la situación que se habría logrado en una población lo más similar posible sin el proyecto (ese es el contrafactual).

Es una extensión de la idea que usan los médicos al probar un tratamiento, colocando "grupos testigos" a los que no se trata y comparando resultados.Para esto se deben usar técnicas estadísticas y el método normalmente da resultados controversiales y para nada robustos. Eso ocurre en medicina y para que decir en la evaluación de proyectos públicos, donde los intereses por ocultar los errores son enormes y poderosos.

Tenemos por ejemplo las limitaciones conocidas de la estadística frecuentista (correlaciones no implican causalidad, imposibilidad de tener muestras representativas y eliminar sesgos de selección, etc.) y además la enorme facilidad de introducir bias para manipular los resultados. Este método para medir impacto se llama de los "experimentos sociales" y normalmente es una justificación para dar un barniz medio técnico ante la opinión ignorante. Los experimentos sociales son de muy difícil y discutible implementación.

Hay otros métodos que me parecen aún peores como los cuasi experimentales y los de "cocina estadística" como llaman a los ajustes al modelo para obtener resultados que afirmen la hipótesis. Creo que son medio vergonzosos y es mejor no evaluar en absoluto a usarlos.

En mi experiencia el contrafactual y los otros métodos no deberían aplicarse nunca porque llevan a engaño y lo pero es que cubren el engaño con una apariencia de imparcialidad científica, que es completamente falsa. ¿Como evaluar ex-post entonces? Bueno, el primer filtro debe ser la evaluación del factual, es decir el cumplimiento de cada una de las tareas, objetivos y metas planteados por el proyecto, cosa que igual rara vez se hace por motivos de inconveniencia política.

Pero el cumplimiento factual es solo una parte mínima, lo que interesa saber realmente es si hubo impacto positivo o no gracias al proyecto y para eso yo creo que existe una sola medición medianamente válida, que es la encuesta de satisfacción de los beneficiarios, algo completamente subjetivo pero -como sabemos- la calidad es un concepto subjetivo, no veo otra forma de medirlo y si la encuesta -técnicamente bien hecha- da resultados buenos entonces el contrafactual estaría superado, al menos en la opinión subjetiva de los beneficiados, que es lo que políticamente importa.