13 mayo 2015

El más dolce far niente


La vida de un desempleado
Me levanto y quedo desocupado. Todo este largo tiempo de dolce far nulla -cinco meses para ser exactos- lo he aprovechado para estudiar y leer mucho, no he pasado un solo día aburrido ni preocupado por mi negro futuro o porque desde enero no veo una sola luca. No tengo tiempo para esas minucias.

Paradojas de la guerra
He aprendido de todo, algunas cosas importante como otras perfectamente inútiles aunque muy entretenidas. Entre las cosas inútiles estoy siguiendo dos cursos, el primero se llama Paradoxes of War, del profesor Miguel Centeno de la Universidad de Princeton, se trata de un curso muy interesante porque estudia la guerra como una herramienta de análisis de la sociedad desde el punto de vista de la sociología. Voy por la mitad del curso y estamos viendo cosas sobre la guerra que yo ni me imaginaba, buen curso.

Impacto de programas sociales
El segundo se llama Evaluación de Impacto de Programas Sociales, de Ryan Cooper del M.I.T. y jPAL, el curso es en español y Cooper, a pesar de su nombre, es chileno así es que es lo mismo que ir a clases en Chile. Es un curso que el M.I.T. da de manera presencial desde el 2009 y ahora lo lanzó gratis por EdX. Acabo de terminar la primera semana, la hice en un día gracias a que dispongo de tiempo y ando bien con las notas.


No es mucha gracia tampoco
En realidad no tiene mucha gracia que me vaya bien con las notas porque los proyectos sociales son mi área. La evaluación de impacto es algo que se hace cuando un  proyecto o programa ha terminado y trata de determinar de manera objetiva -dentro de lo posible- si se cumplió o no el objetivo, es diferente al monitoreo o la evaluación de Matriz de Marco Lógico porque aquí no se trata de verificar si se cumplieron las metas fijadas, las tareas o todo eso sino algo más fundamental: si fue o no buena idea hacer el proyecto y -por lo tante- si vale o no la pena replicarlo.

No es tan sencillo como parece
Esto que parece sencillo es bastante complicado y la objetividad del resultado es muchas veces dudosa. Supongamos que deseamos reducir la pobreza de un grupo de jóvenes desempleados, con un programa de educación para el trabajo. Luego que termina el programa hacemos un seguimiento y medimos que los jóvenes efectivamente tienen empleo y ganan más dinero que antes ¿eso es todo? ¿basta con eso para asegurarnos que el programa vale la pena replicarlo?

Desgraciadamente no, porque -por ejemplo- se podría haber dado el caso que por casualidad llegó una empresa cuando terminó el programa contratando gente y el aumento de los ingresos no tenga nada que ver con el programa. También podría ser que para mostrar buenos resultados se hayan esogido beneficiarios con mayor probabilidad de ser contratados, chicas bonitas por ejemplo (no es broma, yo estuve en un proyecto que hizo esa cuchufleta).

Entonces la evaluación de impacto trata primero de medir si se cumplió el objetivo y luego de mostrar si existe una relación causal entre el cumplimiento del objetivo y el programa o politica aplicado.

El famoso contrafactual
Eso se hace usando el contrafactual, es decir un grupo testigo lo más parecido posible y que enfrente similares condiciones pero al que no se le aplica el proyecto, luego se hace un análisis estadístico para ver si los datos suguieren o que existió (o no) esa relación causa-efecto.

Lástima que no sirve para nada
En la teoría parece un asunto perfecto, pero se trata de una metodología costosa, que toma mucho tiempo y esfuerzo. Además presenta un problema político muy espinoso, porque podría mostrar que las políticas, el proyecto y los millones gastados no sirvieron de nada. Aunque eso no preocupe a los técnicos a los políticos no les hace maldita gracia tener una evaluación ex-post relativamente objetiva que de resultados negativos.

El saber no ocupa lugar
Así es que este gran curso de una matería que es de mi área de interés, probablemente será el más inútil de todos los que he tomado, porque yo nunca he visto que se haga evaluación de impacto seria en estos proyectos y tal vez nunca se haga. Pero el saber no ocupa lugar y mi alma inmortal se regocija solo por poder darme cuenta que muchas cosas que se presentan como éxito son pura mentira y propaganda.

Quizás en un futuro
Tal vez algún día, por algún tiempo, terminaré trabajando en evaluación de proyectos sociales. Es un área donde he aprendido mucho no solo de teoría sino también de práctica, así es que me resultaría muy fácil. Aunque con mi carácter seguramente no voy a durar mucho, no nací para moverme dentro de la administración pública y andaría como pez fuera del agua, pero alguna vez tal vez termine haciéndolo, y tal vez me sirva de algo este famoso curso.

7 comentarios:

  1. no se cómo,pero seguro que debe haber un método ingenioso de evaluación en base al análisis bayesianos. Cántas personas de cierta edad hay desempleadas, cuántas desempleadas hacen el curso, cuántos post-curso consiguen empleo, etc...

    ResponderBorrar
  2. Si Ulschmidt, es relativamente fácil medir esas cosas, Donde se complica es cuando tratas de demostrar una relación de causa-efecto entre lo que mediste como resultado del proyecto, esto es lo que se hace con estadística inferencial, donde se trata de demostrar que los resultados no fueron por aaazar o debido a otras variables.

    El problema es que los resultados pueden ser políticamente inconvenientes ycuesta tiempo y recursos hacer estos analisis. Buena idea probaar con estadísticas bayesianas

    ResponderBorrar
  3. En efecto, a los políticos no les gusta nada evaluar objetivamente sus iniciativas, y que salgan mal. Por lo tanto: 1) no se evalúan, o bien 2) se evalúan "convenientemente".

    Y me consta: por ejemplo, la DIPRES tiene un programa para evaluar programas presupuestarios (sí; un programa evalúa programas), donde se contratan auditores externos con cierto nivel de expertise, se forma un panel y se les encarga evaluar un programa en particular, con plena autonomía para requerir información de todo tipo. Con eso, hacen su revisión y finalmente emiten un informe con sus conclusiones, el que es enviado directamente al Congreso. El objetivo es evaluar si acaso se están cumpliendo los propósitos del programa y, en definitiva, si se están gastando bien los recursos asignados.

    Hasta ahí, todo bien, pero la realidad, como siempre, es diferente, y me consta personalmente, pues me tocó ser contraparte de uno de esos programas (es decir, siendo funcionario del programa evaluado, era el encargado de relacionarme con el panel de auditores y entregarles la información que pidieran). Fueron muy acuciosos y objetivos en su trabajo, pero el informe concluía que la subsecretaría de la cual dependía el programa había abusado de éste (desviando fondos a otros programas, por ejemplo), así que rápidamente sonó el teléfono rojo diciendo que ese informe no podía ser emitido así, por lo que tuve el poco honroso deber de convencer a los auditores de modificar esa parte, so pena de que el subsecretario me faenaría ipso facto si esas conclusiones llegaban al Congreso.

    Así funcionan las cosas... por otra parte, dudo que algún honorable lea esos informes.


    Saludos,
    El biministro.

    ResponderBorrar
  4. Excelente historia, muy aleccionaora, esa es la realidad de la evaluación en los servicios públicos y conste que Chile tiene uno de los mejores sistemas del mundo en inversión social, como sera en otras partes!

    La Dirección de Presupuestos (DIPRES) debe ser uno de los servicios con m´´as prestigio tecnico en el estado chilen, sin embargo lo que cuentas muestra como en todas partes se cuecen habas

    ResponderBorrar
  5. Suena interesante, pero quizás lo más impresionante es ver cómo criterios que a buenas y primeras parecen objetivos y perfectos, no son más que otra forma subjetiva de ver las cosas, pues podría perfectamente aplicarse otro criterio de evaluación, aunque lo impresionante más que el hecho en sí, es cómo uno no se da cuenta. Por otro lado la política está hasta en la sopa, he sabido de muchas anécdotas que al final del día se deciden porque había un político metido en el baile.

    ResponderBorrar
  6. En rigor, el problema no fue de la DIPRES, sino del subsecretario que metió la cola. La DIPRES nunca supo del asunto.

    Lo que sí puede decirse de ésta es que, si eso ocurrió, y dadas las características del sistema (para detectar fallas y eventualmente cerrar programas), entonces el diseño es deficiente pues debería contemplar ese tipo de acciones y evitarlas. Quizás lo hayan hecho posteriormente.


    Saludos,
    El biministro.

    ResponderBorrar
  7. Lo dudo, algo que tengo claro y en mi experiencia nunca he visto desmentido es que cuando hay un conflicto importante entre lo técnico y lo político, la balanza se inclina para los políticos

    ResponderBorrar

"Send me a postcard, drop me a line
Stating point of view
Indicate precisely what you mean to say
Yours sincerely, wasting away
Give me your answer, fill in a form
Mine for evermore
Will you still need me, will you still feed me
When I'm sixty-four"