Consejo Nacional de Evaluación de la Política de Desarrollo Social
Mexico

The Problem

En la década de los noventa, en México se comenzaron a realizar algunas evaluaciones a programas federales en el ámbito social. Sin embargo, estos esfuerzos estaban desarticulados conceptual, metodológica y operativamente. Los programas agregaban o eliminaban temas a la evaluación ya que no había un criterio estandarizado sobre las características que una evaluación debía tener.
Además, la información disponible por parte de los programas para realizar dichas evaluaciones se caracterizaba por una gran cantidad de indicadores centrados en la gestión del programa y ninguno en los resultados del mismo. Las evaluaciones que se realizaban eran muy costosas ya que en general el conocimiento del tema era poco y, por tanto, la oferta de profesionales capacitados para realizar evaluaciones era limitada.
Como consecuencia los programas federales tenían poca claridad en sus objetivos y acerca del logro de estos y no existía información que permitiera asignar los recursos a los programas más eficaces y eficientes en atender las necesidades básicas de la población más pobre de México.
Para el año 2000, se avanzó en el establecimiento de un marco normativo el cual contemplaba la presentación de informes a la Secretaria de Hacienda y Crédito Público (SHCP) y a la Cámara de Diputados. Sin embargo, en esta legislación no se identificó una estrategia clara a seguir ya que existía una desarticulación entre la evaluación y la mejora de la gestión. En la práctica muchos programas entregaban los informes solo por entregar, sin utilizar la información para mejor los resultados de sus programas. Solo unos pocos programas utilizaban los resultados de las evaluaciones para realizar informes oficiales, planeación y monitoreo, así como tomar decisiones para mejorar la política pública.
Sumado a lo anterior, la evaluación era percibida como una herramienta de fiscalización, y no como una herramienta útil para mejorar el diseño y la focalización de los programas, así como la transparencia y la rendición de cuentas.

Solution and Key Benefits

 What is the initiative about? (the solution)
Actualmente prácticamente todos los programas de la administración pública federal son evaluados a partir de las mismas bases conceptuales, metodológicas y operativas, según los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal (LGEPFAPF) emitidos el año 2007 de manera conjunta entre el CONEVAL, la SHCP, y la SFP. Este documento regula la evaluación de los programas federales, utilizando como instrumento básico la Matriz de Indicadores para Resultados - MIR (conocida también como Matriz de Marco Lógico), así como el seguimiento a los resultados de las evaluaciones de los programas sociales de las dependencias y entidades de la administración pública federal. Además, norma lo referente a los tipos de evaluación, la difusión de las evaluaciones y a la contratación de evaluadores externos.
Aplicando estos lineamientos, las dependencias y entidades de la administración pública han elaborado la MIR de cada uno de sus programas. Actualmente, más de 700 programas cuentan con su MIR, con lo cual se ha avanzado sustancialmente en el establecimiento de indicadores que dan cuenta de los resultados alcanzados por los programas públicos. También se avanzó significativamente en el esclarecimiento de los objetivos de los programas y en su vinculación con la planeación nacional y sectorial. La información que proveen los indicadores incluidos en las MIR es utilizada regularmente por los propios programas, el CONEVAL, la SHCP, el Congreso de la Unión y la propia Presidencia para dar seguimiento a los programas y evaluar su gestión y sus resultados.
Para ello se lleva a cabo un Programa Anual de Evaluación, en el cual se determinan los tipos de evaluación que se aplicarán, se establece el calendario de ejecución de las evaluaciones de programas en operación y de programas nuevos, y se vincula este calendario con el calendario de actividades de la programación y presupuestación del ejercicio fiscal. De 2007 a la fecha, se han realizado 615 evaluaciones. Es importante señalar que como parte de las actividades que realiza CONEVAL para coordinar la realización de evaluaciones, se da capacitación y asistencia técnica permanente a los evaluadores para la correcta aplicación de los Términos de Referencia que rigen la evaluación de los programas.
Asimismo, con la finalidad de articular la evaluación con la mejora de las políticas y programas, se estableció el Mecanismo para el seguimiento a los aspectos susceptibles de mejora. Mediante este mecanismo, las dependencias y entidades de la administración pública federal se comprometen a realizar acciones concretas para mejorar sus programas a partir de los resultados de las evaluaciones. Es importante destacar que el seguimiento a los resultados de las evaluaciones por medio de este mecanismo es voluntario para las dependencias y entidades. Aún así, en 2009, 91 programas participaron en éste, mientras que en 2010 lo hicieron 150 programas. El incremento en el número de programas que suscriben el mecanismo da cuenta del importante avance logrado en la creación de una cultura de la evaluación en México a nivel federal y, en forma incipiente, a nivel de los estados.

Actors and Stakeholders

 Who proposed the solution, who implemented it and who were the stakeholders?
El establecimiento del Sistema de Monitoreo y Evaluación (SM&E) en México se dio a partir de la creación del CONEVAL, el cual surge a raíz de la aprobación, por parte del Congreso de la Unión, de manera unánime, de la Ley General de Desarrollo Social, y de las facultades evaluativas otorgadas por el mismo poder legislativo, a la SCHP y a la SFP por medio de la Ley Federal de Presupuesto y Responsabilidad Hacendaria y el Decreto de Presupuesto de Egresos de la Federación del año 2007.
Como consecuencia de la entrada en vigor de la legislación antes señalada, existen tres instituciones encargadas de implementar el SM&E; el CONEVAL como el encargado de coordinar y normar la evaluación que se realiza a la política de desarrollo social, y la SHCP y la SFP que coordinan lo referente al resto de los sectores y como encargados del Sistema de Evaluación del Desempeño y el Programa de Mejora de la Gestión, respectivamente.
Si bien el papel del CONEVAL, la SHCP y la SFP es de vital importancia como instituciones encargadas de emitir lineamientos y criterios para la realización de evaluaciones, la opinión de los programas evaluados también se toma en cuenta durante el proceso ya que en los informes de evaluación se incorpora un apartado en donde los programas manifiestan su posición institucional acerca de los resultados de la evaluación. Esta posición institucional, así como toda la información referente a la evaluación se encuentra pública en la página de internet de los programas y del propio CONEVAL. Asimismo, durante la elaboración del Programa Anual de Evaluación se consideran las propuestas que los propios programas realizan conforme a su necesidad de información.
Para conocer el grado de satisfacción de las unidades de evaluación pertenecientes a las dependencias y entidades del gobierno federal respecto de las Evaluaciones Específicas de Desempeño (EED), el CONEVAL levantó una encuesta. Los resultados de esta muestran que, en la medición 2010-2011 el nivel de satisfacción con las EED es alto para los estándares de sector público y que este se ha ido incrementando con los años.

(a) Strategies

 Describe how and when the initiative was implemented by answering these questions
 a.      What were the strategies used to implement the initiative? In no more than 500 words, provide a summary of the main objectives and strategies of the initiative, how they were established and by whom.
A partir del año 2004, se da un impulso normativo a la evaluación, con énfasis en el sector social, mediante la promulgación de la Ley General de Desarrollo Social. Esta ley contempla la creación del Consejo Nacional de Evaluación de la Política de Desarrollo Social - CONEVAL, cuyas funciones principales son:
 Normar y coordinar la evaluación de la política y los programas de desarrollo social
 Aprobar los indicadores de resultados, gestión y servicios
 Establecer los criterios para la definición, identificación y medición de la pobreza
Con la creación del CONEVAL, por primera vez existe una institución especializada en materia de evaluación, monitoreo y medición de la pobreza que se encarga de establecer los requerimientos técnicos para la realización de evaluaciones y coordinar la realización de las mismas en el sector social. Además, es de destacar que el Consejo Directivo del CONEVAL está formado por 6 investigadores académicos electos democráticamente a través de una convocatoria pública
La estrategia que se utilizó fue paulatina, ya que durante el año de 2007 se emitieron los Lineamientos para la elaboración de la Matriz de Marco Lógico y, a partir de dicho año, se dio inicio a capacitaciones a funcionarios públicos en metodología de marco lógico y elaboración de la MIR. A la fecha se ha capacitado a cerca de 4,500 funcionarios públicos en cursos impulsados y coordinados por CONEVAL, creando así una cultura de evaluación de resultados en México.
En paralelo se realizaron actividades encaminadas al fortalecimiento de las capacidades de los evaluadores externos así como de las unidades de evaluación de los programas, y se elaboraron Términos de Referencia para la realización de evaluaciones. Se trabajó también en la difusión de los resultados de las evaluaciones y en desarrollar un mecanismo de seguimiento a dichos resultados. Asimismo, se ha creado y aplicado un mecanismo para realizar el análisis y dar una aprobación a indicadores de resultados de programas sociales, asegurando con ello la calidad técnica de estos.

(b) Implementation

 b.      What were the key development and implementation steps and the chronology? No more than 500 words
Con el propósito de consolidar la implementación de la MIR en los programas del ámbito federal, CONEVAL, en coordinación con la SHCP, realizaron las siguientes fases:
 Desarrollo y fortalecimiento de habilidades en metodología de marco lógico.- Se realizaron sesiones ejecutivas para los tomadores de decisiones de políticas públicas y cursos taller para ejecutores de programas.
 Revisión de la consistencia de las matrices.- Una vez que los programas tuvieron capacitación en MML y construyeron sus MIR, el CONEVAL realizó un análisis de consistencia de la lógica vertical y horizontal de las MIR. Asimismo, diseñó una ficha técnica que le permitió “semaforizar” el grado de cumplimiento y calidad de los elementos de las MIR con la finalidad de tener una medición homogénea acerca de las mismas. Una vez realizado el análisis se emitieron comentarios particulares acerca de los elementos que integran la MIR y se enviaron a los responsables de los programas para que éstos pudiesen mejorarlas.
 Diagnóstico de las MIR.- A fin de identificar fortalezas y mejorar áreas débiles, CONEVAL realizó un diagnostico de la situación en que se encontraban las MIR, tomando como insumo principal la revisión de consistencia planteada en el punto anterior.
 Capacitación en construcción de indicadores.- Como resultado del diagnóstico anterior, se identificó que uno de los grandes retos que presentaba la adopción de la Matriz de Indicadores de Resultados era la construcción y fortalecimiento de indicadores de desempeño, especialmente de aquellos que permiten saber si los programas están alcanzando sus objetivos de desarrollo (indicadores de resultados e impacto). Derivado de lo anterior, el CONEVAL diseñó un curso específico de indicadores, al cual han asistido ya más de mil funcionarios del sector púbico de México.
 Segunda revisión de la consistencia de las matrices y revisión especifica de indicadores.- El CONEVAL realizó una segunda revisión de la consistencia lógica de las MIR con la finalidad de evaluar las mejoras que se hubiesen registrado con motivo del proceso de capacitación y asistencia técnica. Simultaneamente, se diseñó una ficha técnica que permitió analizar de forma particular los indicadores de las MIR y replicar el ejercicio de semaforización. El CONEVAL emitió comentarios específicos de los indicadores y los envió a los programas para que fuesen tomados en cuenta en el proceso de mejora de las MIR.
 Aprobación de indicadores.- El CONEVAL diseñó un mecanismo a fin de aprobar los indicadores de los programas sociales. En este mecanismo intervienen expertos temáticos, expertos en medición, la SHCP, la Auditoría Superior de la Federación y el propio programa.

En materia de evaluación, en 2007 se realizaron 106 evaluaciones de Consistencia y Resultados, con la finalidad de establecer una línea base sobre la cual trabajar. Estas evaluaciones tienen como objeto evaluar hasta qué punto los programas sociales tienen una clara consistencia interna y una orientación hacia resultados, basados en la documentación y procesos de los propios programas. Posteriormente se realizaron evaluaciones específicas de desempeño a todos los programas, además de pilotos de procesos y evaluaciones de impacto.

(c) Overcoming Obstacles

 c.      What were the main obstacles encountered? How were they overcome? No more than 500 words
Uno de los principales obstáculos fue el desarrollo de capacidades internas, ya que la movilidad laboral del personal ocasiona que las capacidades desarrolladas en la materia se pierdan al trasladarse a nuevos centros de trabajo con actividades distintas. Por lo anterior, los cursos de capacitación se han mantenido constantes desde el año 2007, ya que esto no es sólo una capacitación técnica es, sobre todo, un cambio de cultura enfocado a medir resultados.
Asimismo es de vital importancia la formación de los evaluadores, por lo que al inicio de cada proceso de evaluación, el CONEVAL realiza reuniones con los equipos de evaluación y las Unidades de Evaluación de las dependencias y entidades, a fin de solventar dudas acerca de los Términos de Referencia que rigen la elaboración de las evaluaciones. Además se presentan los objetivos y alcances de cada tipo de evaluación, ya que existía la idea de que todas las evaluaciones debían medir el impacto y no se contemplaba la utilidad de otros tipos de evaluación que también aportan información importante acerca del desempeño de un programa.

(d) Use of Resources

 d.      What resources were used for the initiative and what were its key benefits? In no more than 500 words, specify what were the financial, technical and human resources’ costs associated with this initiative. Describe how resources were mobilized
Para implementar el SM&E se contó con los recursos humanos existentes en las dependencias y entidades de la administración pública federal, los cuales, desde su ámbito de acción, coordinan la realización de las evaluaciones realizadas por externos a la ejecución de los programas.
En cuanto al CONEVAL, este cuenta con recursos que hacen parte del presupuesto nacional para financiar su operación, así como los costos que se derivan de la coordinación de todas las evaluaciones de programas sociales que realizan.
Los recursos financieros para la realización de las evaluaciones por parte de los evaluadores externos se obtienen de dos fuentes:
 Principalmente se hacen con cargo a los presupuestos de las dependencias y entidades que ejecutan los programas, las cuales hacen las previsiones necesarias en los proyectos de presupuesto.
 Con cargo al CONEVAL, ya que el Consejo tiene una parte de su presupuesto destinado para financiar algunas evaluaciones.

Sustainability and Transferability

  Is the initiative sustainable and transferable?
Se considera que el SM&E en México es sustentable por los siguientes puntos:
 Existe un marco normativo el cual mandata su implementación y funcionamiento en los tres niveles de gobierno (federal, estatal y municipal).
 Existe un marco institucional conformado por dos de los tres Poderes de la Unión (el ejecutivo como encargado de ejecutar y evaluar los programas; el Legislativo como usuario de la información para la toma de decisiones).
 Los resultados surgidos de las acciones realizadas en materia de monitoreo y evaluación han sido importantes y numerosos, ya que cada vez se utiliza más dicha información para mejorar las políticas y programas sociales.
 Existe voluntad política, lo cual se ve reflejado en la cantidad de iniciativas presentadas en el Congreso para fortalecer las acciones encaminadas a la evaluación y monitoreo de las políticas públicas.
Si bien no existe una receta a seguir para implementar un SM&E, la experiencia de CONEVAL ha sido útil para distintos gobiernos locales en México, así como para gobiernos nacionales tales como Argentina, Costa Rica ,El Salvador, Perú, Ecuador, Honduras, Chile, Canadá, España, Brasil, República Dominicana, India, Sudáfrica, por mencionar algunos. Incluso hay países de estas lista que están interesados en replicar la medición de pobreza de México y su SM&E de programas públicos.

Lessons Learned

 What are the impact of your initiative and the lessons learned?
El CONEVAL, se ha establecido como su fin, el “contribuir a mejorar el desempeño y la rendición de cuentas de la Política de Desarrollo Social mediante el uso de la información de evaluación y medición de la pobreza”. En este sentido, los indicadores del Consejo no responden solo al número de productos generados, sino, también, al impacto que se tiene con ellos. Los ejemplos de las mejoras en las políticas y programas sociales como producto de las acciones del CONEVAL son numerosos. Por ejemplo:
 En base a las evaluaciones sobre la progresividad de los programas, El Procampo redefinió su normativa (ROP) para establecer techos (topes) en los subsidios proporcionados a los beneficiarios con más tierra.
 La Presidencia redefinió las políticas públicas destinadas a combatir a la mortalidad materna, en base al diagnóstico del marco lógico.
 El programa Primer Empleo fue cancelado.
 El diseño de Oportunidades urbano fue modificado.
 Por primera vez, un programa creado para reducir la pobreza, Oportunidades, se mantuvo después del cambio de gobierno.
 Debido a los resultados de estimación de la pobreza en el 2008, el Gobierno Federal incrementó el gasto en programas sociales para apoyar la estrategia de lucha contra la pobreza
 Ahora se asignan más recursos a la mejora de viviendas que a la adquisición de viviendas.
 El presupuesto para el programa Piso Firme fue incrementado.
 La SHCP tomó en cuenta las evaluaciones para la asignación de presupuesto en 2010, 2011 y 2012
 La Secretaría de Agricultura y los gobiernos estatales de Guerrero, Jalisco, Michoacán, Morelos, Oaxaca, Chihuahua, Puebla, y Guanajuato alinearon el marco lógico de sus programas
 Varios medios de comunicación generaron un debate público acerca de la pobreza basado en la información emitida por el CONEVAL
Los elementos clave que han permitido al implementación del SM&E en México son los siguientes:
 Se conjugaron elementos técnicos con voluntad política.
 Se fortaleció el conocimiento técnico de los evaluadores, miembros del Congreso y tomadores de decisiones.
 Se incluyó en el proceso a los operadores de los programas.
 Hubo coordinación entre las distintas instancias con atribuciones de monitoreo y evaluación.

Contact Information

Institution Name:   Consejo Nacional de Evaluación de la Política de Desarrollo Social
Institution Type:   Government Agency  
Contact Person:   Gonzalo Hernández Licona
Title:   Sr.  
Telephone/ Fax:   (0155) 5481 7200
Institution's / Project's Website:   http://web.coneval.gob.mx
E-mail:   unidadenlace@coneval.gob.mx  
Address:   Boulevard Adolfo López Mateos #160
Postal Code:   01060
City:   México
State/Province:   Distrito Federal
Country:   Mexico

          Go Back

Print friendly Page