Questions/Answers
Question 1
Please provide a brief summary of the initiative including the problems/challenges it addressed and the solutions that the initiative introduced (300 words maximum)
Buscando políticas sociales efectivas y abiertas, que sistemáticamente contribuyan a mejorar el bienestar de la población, persisten dos temas en la agenda internacional sobre política social: La medición de pobreza con enfoque multifactorial y, la búsqueda de herramientas para generar evidencia del efecto de intervenciones públicas.
En 2004, el Congreso de la Unión crea el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) para diseñar una metodología multidimensional de pobreza y formalizar la evaluación como componente del ciclo de las políticas públicas. No habiendo credibilidad en las instituciones, el desafío fue generar un organismo público creíble y objetivo que generara información.
Este desafío se enfrentó con un modelo institucional único en la Administración Pública Federal: CONEVAL se conformó por seis investigadores, vinculados a instituciones educativas, que, sin ser funcionarios públicos, son mayoría en el máximo órgano de decisión de la Institución. Esto aportó autonomía, objetividad y rigor técnico al Consejo puesto que ellos determinan el rumbo de la Institución.
Bajo esta estructura organizacional, México fue pionero en generar una metodología oficial de pobreza con una perspectiva multidimensional vinculada a dos dimensiones: bienestar económico y derechos sociales. Desde 2008 se tienen mediciones de pobreza bianuales (nacional y estatal) y quinquenales (municipios) comparables en el tiempo.
Además, México en alianza con el Ministerio de Hacienda construyó un sistema de monitoreo y evaluación de programas y acciones públicos considerado como uno de los de mayor desarrollo en la región (https://publications.iadb.org/bitstream/handle/11319/6960/Construyendo-gobiernos-efectivos.pdf?sequence=1&isAllowed=y). Este sistema produce información sobre resultados de la política social permitiendo tomar mejores decisiones y contribuir a la transparencia y rendición de cuentas.
CONEVAL tiene evidencia de las mejoras de la política social en México como resultado de la información que genera, e internacionalmente ha jugado un papel importante en la transferencia del conocimiento adquirido.
a. What are the overall objectives of the initiative?
Please describe the overall objectives of the initiative (200 words maximum)
CONEVAL plantea como su objetivo general para la siguiente etapa de su quehacer institucional (2018-2026) el propiciar que los tomadores de decisión y hacedores de la política social usen los datos, análisis y las recomendaciones que genera CONEVAL sobre el estado del desarrollo social. La teoría de cambio esperada detrás de este objetivo es que su cumplimiento contribuirá a mejorar el desempeño y la rendición de cuentas de la política de desarrollo social.
Para cumplir con el objetivo, se definieron las siguientes estrategias:
- Medir la pobreza y el estado del desarrollo.
- Monitorear, dar seguimiento y evaluar a las intervenciones públicas.
- Vincular al Consejo con actores nacionales e internacionales.
- Divulgar los productos del CONEVAL para fomentar el uso de la información
Puede consultarse en: http://www.coneval.org.mx/quienessomos/PlaneacionInstitucional/Documents/Planeacion-institucional-2018-2026.pdf
b. How does the initiative fit within the selected category?
Please describe how the initiative is linked to the criteria of the category (200 words maximum)
Hace 12 años, el CONEVAL se convirtió en pionero mundial con su metodología para la medición multidimensional de pobreza que incluía bienestar económico y enfoque de derechos sociales (acceso a la alimentación, educación, salud, seguridad social, vivienda y acceso a servicios). Esta práctica permitió determinar áreas prioritarias para la política social, proveyendo acceso a servicios de calidad para los más pobres y los vulnerables, contribuyendo al combate a la pobreza; meta de los ODS.
La conexión del Presupuesto a las evaluaciones realizadas a los programas, la publicación de informes, diagnósticos, mediciones periódicas y creación de sistemas como el SIPOL, que partir de variables cuantitativas o cualitativas, miden el logro de los objetivos de los programas y políticas de desarrollo social y el Inventario de Programas Sociales, se promueve la transparencia y rendición de cuentas en la presentación de servicios.
Por último, ha promovido alianzas efectivas con organizaciones y distintos países para poder implementar sistemas de monitoreo y evaluación, y para medir la pobreza, con lo que se promueve la participación de los más pobres y los más vulnerables. Entre las alianzas y asesorías se encuentra Proyecto Mesoamérica, El Salvador, Paraguay, Honduras, Irán, Uganda, Argelia, China, Brasil, Bután, Sudáfrica, Marruecos, entre otros.
Question 2
The initiative should improve people’s lives, notably by enhancing the contribution of public services to the implementation of the 2030 Agenda for Sustainable Development and the realization of the SDGs
a. Please explain how the initiative improves the delivery of public services (200 words maximum)
El CONEVAL ha sido fundamental en el fomento del uso de la información sobre pobreza y en la institucionalización de M&E en las entidades federativas. Su objetivo ha sido que los responsables de la política de desarrollo social y del diseño e implementación de las intervenciones públicas cuenten con información dotada de rigor técnico y herramientas para implementar sistemas de monitoreo y evaluación para la toma de mejores decisiones que ayuden a disminuir los índices de pobreza alimentaria, rezago educativo y grado de cohesión social; y aumenten los de servicios de salud, seguridad social, calidad y espacios de vivienda, acceso a servicios e ingreso per cápita; los cuales están directamente relacionados con los ODS 1,2,3,4,5,6 y 10.
Como consecuencia de la labor del CONEVAL, se han documentado más de 3000 casos de uso de la información del Consejo para mejorar la cobertura y focalización de programas, acciones y políticas de desarrollo social; la creación, priorización o cancelación de programas, estrategias y políticas, así como consecuencias en los procesos presupuestarios de desarrollo social; con lo cual se mejora la vida de la población vulnerable.
Question 3
The initiative must impact positively a group or groups of the population (i.e. children, women, elderly, people with disability, etc) and address a significant issue of public service delivery within the context of a given country or region.
a. Please explain how the initiative has addressed a significant issue related to the delivery of public services (200 words maximum)
Los gobiernos buscan mejorar la situación de la población en general, administrar los recursos que los ciudadanos otorgan vía impuestos es el trabajo de los tomadores de decisiones pero no todos deciden bajo la evidencia objetiva sobre cuáles son tales prioridades, lo cual afecta la presentación de servicios públicos. El CONEVAL ha abordado la problemática a partir de cuatro vertientes:
-Impartición de información pertinente basada en evidencia empírica para sustentar qué acciones de política pública son efectivas y cuáles no o si existe duplicidad entre ellas; logrando así una eficiencia del gasto
-Creación de una medición de pobreza desagregable demográficamente y por tipo de carencia en los tres órdenes de gobierno para evaluar la situación de pobreza en el país y determinar poblaciones y áreas vulnerables.
-Capacitaciones y asesoramientos a entidades federativas para promover la adopción de los gobiernos basados en resultados, sistemas de monitoreo y evaluación y el uso de la información del CONEVAL, con lo que se crea una cultura de planeación, eficiencia del gasto y evaluación
-Dotar al ciudadano de instrumentos para la rendición de cuentas y vigilancia del quehacer gubernamental gracias a la información objetiva y de calidad que el CONEVAL provee.
b. Please explain how the initiative has impacted positively a group or groups of the population within the context of your country or region (200 words maximum)
El impacto del CONEVAL va dirigido a mejorar la calidad de vida de la población pobre y vulnerable. Evidencia de las mejoras en política pública gracias al uso de su información han sido:
- Incrementos en presupuestos de programas de desarrollo social de los que se tiene evidencia de un efecto positivo sobre la población objetivo que atienden (Ver documento consideraciones presupuestarias)
- creación de grupos de trabajo que coordinen acciones estratégicas para atender carencias específicas;
-consideración de las prioridades y retos en desarrollo social dentro de procesos presupuestales;
-creación de sistemas de planeación a nivel federal para crear políticas con mayor impacto en el abatimiento de las carencias;
-creación de iniciativas a nivel estatal para combatir carencias específicas
Mientras que en el ámbito internacional ha hecho más de 220 acciones de asesoría técnica a gobiernos y organismos, donde el 55% han sido en temas de monitoreo y evaluación; 36% en pobreza y 9% de ambos.
Como se ve, las acciones del CONEVAL han sido decisivas para modificar, positivamente, políticas y programas en su cobertura y focalización, además de acciones y políticas de desarrollo social, y la creación de políticas públicas o programas presupuestarios de desarrollo social.
Question 4
The initiative must present an innovative idea, a distinctively new approach, or a unique policy or approach implemented in order to realize the SDGs in the context of a given country or region.
a. Please explain in which way the initiative is innovative in the context of your country or region (200 words maximum)
El CONEVAL se creó como un modelo único dentro de la Administración Pública Federal. Con este modelo, el Congreso de la Unión, además de formalizar la evaluación como uno de los componentes del ciclo de las políticas públicas, dotó de credibilidad a la acción de evaluar la política y los programas de desarrollo social; logrando que por primera vez en el país hubiera una instancia que evaluara el desempeño de los programas sociales y permitiera que la política social se focalizara y priorizara a la población más vulnerable y de manera eficiente.
Por otra parte, la construcción de la Metodología para la medición multidimensional de la pobreza en México, se volvió una idea innovadora no solo en la región, sino a nivel mundial, ya que permite identificar los cambios en los ingresos de las personas y monitorear el acceso a principios básicos del ejercicio de los derechos sociales que toda persona debe disfrutar. La metodología retomó el avance que se había logrado en la conceptuación y medición de la pobreza, así como las mejores prácticas tanto nacionales como internacionales en la materia; con lo que posicionó a México como un líder en la materia.
Question 4b
b. Please describe if the innovation is original or if it is an adaptation from other contexts (If it is known)? (200 words maximum)
CONEVAL es un modelo único dentro de la Administración Pública Federal en México e incluso, a nivel mundial, debido a las características en su diseño. El Congreso de la Unión mexicano diseñó una Institución que se caracteriza porque el Órgano de Gobierno, instancia directiva de la Institución, es conformado por ocho miembros: seis investigadores y dos funcionarios públicos.
Los investigadores, elegidos democráticamente y sin ser funcionarios públicos, son miembros distinguidos y vigentes del Sistema Nacional de Investigadores con una amplia experiencia en la problemática social y con formación plural; los cuales, al ser mayoría en el Órgano de Gobierno, dirigen y determinan, con enfoque técnico, los productos generados por CONEVAL a través de reuniones periódicas donde discuten los temas de interés.
Como resultado, se ha obtenido un órgano de gobierno con una rigurosidad técnica, transparencia y objetividad que ha logrado ganarse el respeto y confianza de los tomadores de decisiones.
Question 4c
c. What resources (i.e. financial, human , material or other resources, etc) were used to implement the initiative? (200 words maximum)
El CONEVAL, en 2006 empezó a operar con casi 10 personas, y un presupuesto de 3.184.461,93 USD. La demanda de trabajo llevó al CONEVAL a seguirse expandiendo, por lo que para 2018 se contó con un presupuesto de 19.772.045,40 USD y se ha aumentado los recursos humanos a más de 190 trabajadores.
El presupuesto del Consejo representa actualmente tan solo el .00003% del presupuesto designado a desarrollo social, mientras que en el análisis costo beneficio hecho en la evaluación del Tecnológico de Monterrey se determinó que el Consejo cuenta con una elevada relación beneficio-costo en su operación, ya que la evaluación mostró un beneficio positivo neto estimado de 42 por ciento con respecto a la inversión que se realiza en la institución (Véase: http://www.coneval.org.mx/quienessomos/Paginas/Evaluacion_al_CONEVAL_2013.aspx).
Question 5
The initiative should be adaptable to other contexts (e.g. other cities, countries or regions). There may already be evidence that it has inspired similar innovations in other public-sector institutions within a given country, region or at the global level.
a. Has the initiative been transferred to other contexts?
Yes
A nivel nacional, se logró que las 32 entidades federativas incluyan en sus legislaciones locales la creación de un área responsable de la evaluación; donde se ha tomado como modelo a CONEVAL para el diseño institucional y las tareas.
A nivel internacional, desde 2011 CONEVAL asesoró y apoyó a 25 países y ha beneficiado a 42 organizaciones a través de más de 220 acciones. Del total de asesorías técnicas, el 55% han sido para empezar procesos de implementación de sistemas de monitoreo y evaluación, como fue Irán y Vietnam; 36% para empezar a adoptar metodologías para evaluación de pobreza, como fue el caso de Bolivia y Bután; y 9% fueron enfocadas en ambos temas.
Otro ejemplo fue la asesoría al Proyecto Mesoamérica en la elaboración de la Metodología para el establecimiento del Sistema de Seguimiento y Evaluación, donde CONEVAL contribuyó con la construcción de las bases para el establecimiento de un Sistema de Seguimiento y Evaluación del Proyecto Mesoamérica, en el cual participaron 10 países que buscaban potencializar la cooperación entre sus miembros y solucionar retos compartidos. Con lo cual, queda claro que tanto el CONEVAL como sus proyectos son replicables a nivel nacional y mundial.
Consúltese: http://www.coneval.org.mx/Eventos/Paginas/HOME_EXPERIENCIAS-INTERNACIONALES.aspx
Question 6
The initiative should be able to be sustained over a significant period of time.
a. Please describe whether and how the initiative is sustainable (covering the social, economic and environmental aspects) (300 words maximum)
Si bien el CONEVAL es un Organismo Público Descentralizado que no genera ingresos para poder sostener sus proyectos con independencia de las partidas presupuestales, la evaluación externa por parte del Tecnológico de Monterrey al CONEVAL muestra que el Consejo cuenta con una elevada relación beneficio-costo en su operación, ya que la evaluación mostró un beneficio positivo neto estimado de 42 por ciento con respecto a la inversión que se realiza en la institución (http://www.coneval.org.mx/quienessomos/Paginas/Evaluacion_al_CONEVAL_2013.aspx).
El Consejo, a lo largo de 12 años, ha logrado crear una cultura de monitoreo y evaluación y de fomento del uso de la información sobre pobreza en México, lo cual ha hecho que el CONEVAL se vuelva una piedra angular en la gestión para resultados en México así como de la planeación de la política de desarrollo social, garantizando su sustentabilidad en la sociedad mexicana:
• Entre 2011 y 2013, 25 gobiernos locales experimentaron avances en sus instrumentos de monitoreo y evaluación;
• De 2007 a 2015, se detectaron 286 acciones de mejora en los estados haciendo uso de la información del CONEVAL; donde el 57% se enfocaron a mejoras en cobertura y focalización de programas, acciones y políticas de desarrollo social, así como en la creación de políticas públicas o programas presupuestarios de desarrollo social
• A nivel federal, se discutió el aumento al salario mínimo, se crearon Zonas Económicas Especiales y se identificaron Zonas de Atención Prioritaria.
Por último, CONEVAL se ha sumado a las Administraciones Públicas que buscan un compromiso con el ambiente, por lo que a finales de 2017 cambiaron su cede a un edificio verde que contara con la certificación Gold para edificios sustentables, con lo cual se busca mantener un compromiso con el desarrollo social sino también con el planeta.
b. Please describe whether and how the initiative is sustainable in terms of durability in time (300 words maximum)
CONEVAL ha probado ser sostenible en el tiempo a través de 12 años de trabajo constante que le ha permitido crecer y abarcar nuevas áreas de investigación y análisis que contribuya a mejorar la política de desarrollo social.
El Consejo es sostenible en el tiempo, en primer lugar, porque en 2004 la Ley General de Desarrollo Social creó el Sistema de Monitoreo y Evaluación, y al CONEVAL como instancia con autonomía técnica y de gestión con atribuciones de medir pobreza y evaluar la política de desarrollo social; por lo cual el mandato del CONEVAL está basado en un marco legal que garantiza partidas presupuestales anuales y una independencia de las administraciones federales y sus cambios de gobierno.
Y en segundo lugar, porque seis de los ocho miembros del Comité Directivo del CONEVAL son investigadores elegidos en convocatorias públicas cada cuatro años con posibilidad de prolongar el nombramiento, permite que el Consejo pueda mantener continuidad con los proyectos que llevan a cabo.
Por último, en febrero 2014, a nivel constitucional se decidió hacer del CONEVAL un Órgano Constitucional Autónomo con personalidad jurídica y patrimonio propios, lo cual le garantizará mayor autonomía y sustentabilidad en el tiempo.
Question 7
The initiative should have gone through a formal evaluation, showing some evidence of impact on improving people’s lives.
a. Has the initiative been formally evaluated?
Yes
If yes, please describe how the initiative was evaluated? (200 words maximum)
Banco Mundial (2008):
-Objetivo: Analizar la implementación inicial de los Lineamientos Generales para la evaluación de los Programas Federales de la Administración Pública que plantean el Sistema de monitoreo y evaluación de la política de desarrollo social para fortalecer procesos de implementación y facilitar procesos de revisión
-Metodología: Entrevistas a actores clave responsables del desarrollo e implementación de los Lineamientos y revisión de la normatividad vigente en materia de evaluación de programas y políticas públicas. (Durante 2008 y 2009, el CONEVAL atendió el total de las recomendaciones emitidas por el Banco Mundial)
Véase: http://www.coneval.org.mx/quienessomos/Paginas/Evaluacion%20al%20CONEVAL/comoseevaluaelconeval.aspx
Tecnológico de Monterrey (2012):
-Objetivo: Revisar si el CONEVAL es transparente con sus recursos públicos, si ha sido un instrumento de rendición de cuentas y si genera información útil.
-Metodología: Revisión de los mandatos institucionales del CONEVAL y verificar si se cumplieron.
Véase: http://www.coneval.org.mx/Informes/Coordinacion/Evaluaciones_auditorias_externas/Informe_EER.pdf
Mtro. Fernando Rojas Hurtado (2013):
-Objetivo: Analizar l estructura organizacional y logros alcanzados.
-Metodología: entrevistas semi-estructuradas con actores relevantes relacionados con los servicios del CONEVAL.
Véase: http://www.coneval.org.mx/Informes/Coordinacion/Evaluaciones_auditorias_externas/Informe_EDO.pdf
Además, como autoevaluación, el CONEVAL cuenta con una base de usos de la información del Consejo en la mejora de la Política de Desarrollo Social desde 2017 (Consúltese: http://www.coneval.org.mx/quienessomos/ComoNosMedimos/Paginas/Uso-de-la-informacion-del-CONEVAL.aspx)
b. Please describe the outcome of the evaluation of the impact of the initiative (200 words maximum)
Banco Mundial: La emisión normativa del sistema de monitoreo y evaluación, en coordinación el Ministerio de Hacienda y la Función Pública cerraron brechas normativas, proporcionando a la administración pública normas y herramientas metodológicas enfocadas en atender a la población con mayores necesidades, lo cual permitió a los programas evaluar y mejorar los resultados de sus programas. Se sugirió fortalecer funciones y responsabilidades de instituciones involucradas en la implementación de los Lineamientos; estrechar vínculos entre el PND y objetivos de Sectores y Programas, e incrementar el uso de los resultados de evaluaciones, así como el fortalecimiento de la estrategia de información para resultados.
Tecnológico de Monterrey y Mtro. Fernando Rojas: CONEVAL es un referente mundial sólido para países e instituciones activas influyentes en monitoreo y evaluación. Tiene una medición de pobreza sólida, posicionada y confiable; evaluaciones relevantes, confiables y de calidad y alta aprobación por actores relevantes y conocido por su transparencia. Se recomendó una mejor difusión de sus conocimientos y productos a nivel estatal; mayor coordinación con otras instancias evaluadoras nacionales y más metodologías para monitorear programas.
c. Please describe the indicators that were used (200 words maximum)
En la evaluación del Tecnológico de Monterrey y Mtro. Fernando Rojas se usaron los siguientes:
- Resultados alcanzados por el CONEVAL:
- Metas cumplidas por el COEVAL
- Satisfacción de actores clave con servicios del CONEVAL
- Opinión favorable sobre el CONEVAL
- Mandatos institucionales cumplidos
Puede consultarse en: http://www.coneval.org.mx/quienessomos/Paginas/Evaluacion_al_CONEVAL_2013.aspx
Además de estos indicadores usados en las evaluaciones, CONEVAL genera el reporte anual de los hallazgos de la matriz de indicadores de resultados, el cual presenta el logro de los resultados del Consejo de manera anual en el cumplimiento de sus objetivos y que puede ser consultado en la siguientes ligas: y http://www.coneval.org.mx/InformesPublicaciones/Documents/Como-se-mide-CONEVAL.pdf
Question 8
The initiative must demonstrate that it has engaged various actors such as from other institutions, civil society, or the private sector, when possible.
a. The 2030 Development Agenda puts emphasis on collaboration, engagement, coordination, partnerships, and inclusion. Please describe what stakeholders were engaged in designing, implementing and evaluating the initiative. Please also highlight their roles and contributions (300 words maximum)
La creación del CONEVAL implicó la colaboración de varias partes. En primer lugar, requirió de una gran voluntad política que llevó al gobierno federal tanto a realizar talleres con expertos internacionales para analizar metodologías para evaluar la pobreza, como para que finalmente, en 2004, se creara la Ley General de Desarrollo Social la cual es el marco legal que regularía y daría lugar al Consejo (para más información: http://www.coneval.org.mx/Medicion/MP/Documents/Como_logro_construir_la_medicion_de_Coneval%20(1).pdf)
Ahora bien, para que el CONEVAL llevara a cabo su medición multidimensional de la pobreza, fue necesaria la participación del Instituto Nacional de Estadística y Geografía, el cual, a través de la Encuesta Nacional de Ingresos y Gastos de los Hogares, proporcionaría la información necesaria para hacer el análisis; mientras que los programas sociales proporcionan su información para llevar a cabo evaluaciones y monitoreo.
CONEVAL no ha estado exento de evaluaciones a su trabajo, por lo que a nivel federal, la Auditoría Superior de la Federación, ha fiscalizado la gestión financiera de los recursos públicos federales aplicados en la evaluación de los programas sociales y en la medición de la pobreza, para verificar el cumplimiento de los objetivos del Consejo; mientras que a nivel internacional, para 2018, la GIZ hará una evaluación externa del desempeño del CONEVAL de 2012-2017 sobre la Matriz de Indicadores.
Question 9
a. Please describe the key lessons learned, and any view you have on how to further improve the initiative (200 words maximum)
Lecciones claves:
- Un marco legal y una organización interna sólida y apartidista han garantizado la sostentabilidad del Consejo.
- Un órgano de gobierno liderado por académicos que no son funcionarios públicos, permitió bridar autonomía práctica.
- La rigurosidad técnica, la objetividad y transparencia del Consejo han permitido posesionarse como una institución confiable y
líder en su ámbito de acción en la región de América Latina y el Caribe y en otros países en desarrollo.
- No basta con hacer metodologías y evaluaciones. Las asesorías y capacitaciones a los gobiernos subnacionales son esenciales para crear una cultura de evaluación, monitoreo y uso de información en diferentes órdenes de gobierno.
Para mejorar la iniciativa, CONEVAL fijó una agenda institucional que dé continuidad a los diversos resultados alcanzados y así generar información confiable que fortalezca el desarrollo de políticas públicas eficientes en materia de desarrollo social.
Del Sistema de Monitoreo y Evaluación: fortalecer la coordinación con otras entidades gubernamentales para lograr mayor complementariedad de acciones, y con otros órdenes de gobierno para hacer mejorar la eficiencia del Sistema de Evaluación y Monitoreo.
En pobreza: Impulsar las líneas de trabajo sobre las causas y consecuencias de la pobreza; transitar hacia la medición del acceso efectivo de los derechos sociales de la población y generar indicadores para medir el bienestar de la población.
Gobiernos locales: mantener la confianza alcanzada como referente nacional en materia de monitoreo y evaluación; propiciar el uso de la medición de la pobreza para orientar la política social local; medir el avance de M&E en las entidades y continuar desarrollando herramientas, incluso financieras, que permita a las entidades federativas y municipios continuar impulsando los esquemas de monitoreo y evaluación en sus gobiernos
Transversal: Reforzar mecanismos para propiciar puentes de comunicación entre productos generados por el CONEVAL y tomadores de decisiones.