DIVERSIFICACIÓN DE LOS MÉTODOS DE EVALUACIÓN DE IMPACTO DE POLÍTICAS PÚBLICAS USADOS EN AMÉRICA LATINA

Myriam Cardozo Brum

doi:10.36704/ppp.v17i34.8202

Autores/as

Myriam Cardozo Brum Consejo de Evaluación de la Ciudad de México

DOI:

https://doi.org/10.36704/ppp.v17i34.8202

Palabras clave:

Evaluación de políticas y programas públicos. América Latina. México. Enfoque basado en evidencias. Métodos alternativos.

Resumen

La evaluación cumple diversos objetivos; entre los de carácter instrumental nos referimos a mejorar la calidad de su diseño, aplicación y resultados de políticas y programas públicos con la finalidad de contribuir a mejorar el bienestar de la población, que se constata mediante una evaluación de impacto. Su realización ha implicado serios desafíos metodológicos, dificultades técnicas y altos costos.

América Latina muestra una tendencia dominante hacia el empleo del enfoque basado en evidencias y la utilización de métodos experimentales y cuasiexperimentales que, si bien resuelven algunos problemas, soslayan otros. Ante esta situación, el presente artículo busca hacer una breve exposición de los anteriores y propone ampliar la utilización de métodos alternativos como la teoría del cambio, el enfoque participativo, el estudio de la complejidad y el análisis contributivo. El trabajo se basa en la revisión bibliográfica del tema y se concentra en la elaboración a mayor profundidad del caso mexicano.

Citas

ALZÚA, María Laura, CRUCES, Guillermo, LÓPEZ, Carolina. Long-Run Effects of Youth Training Programs: Experimental Evidence from Argentina. Economic Inquiry v. 54, n. 4, p. 1839-1859, 2016. DOI: https://doi.org/10.1111/ecin.12348

APGAR, Marina y ALLEN, Will. Handbook of Participatory Research and Inquiry. Reino Unido: Sage editors, 2021.

ARELLANO, Alberto, FLORES, Santos, PIEDRA, Roberto. Evaluación cualitativa participativa en México: Un estudio de caso en materia de infraestructura social. Perspectivas de Políticas Públicas, Argentina, v.12, n. 23, p. 179-202, julio-diciembre 2022. DOI: https://doi.org/10.18294/rppp.2022.4294

ATTANASIO, Orazio, KUGLER, Adriana, MEGHIR, Costas. Subsidizing Vocational Training for Disadvantaged Youth in Colombia: Evidence from a Randomized Trial. American Economic Journal: Applied Economics v.3, n. 3, p. 188-220, July 2011. DOI: https://doi.org/10.1257/app.3.3.188

BAKER, J. Evaluación del impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales., Washington D.C.: Banco Mundial, 2000.

BAMBERGER, Michael. Introducción a los métodos mixtos de la evaluación de impacto. Guía No. 3. InterAction y Fundación Rockefeller, agosto 2012. Disponible en: https://www.interaction.org/wp-content/uploadels/2019/04/3-Mixed-Methods-in-Impact-Evaluation-SPANISH.pdf. Consultado el 25 de octubre de 2023.

BAMBERGER, Michael. Building complexity into development evaluation. International Initiative for Impact Evaluation. 2021. Disponible en: https://www.3ieimpact.org/blogs/building-complexity-development-evaluations. Consultado el 25 de octubre de 2023

BAMBERGER, Michael., VAESSEN, Jozef, RAIMONDO, Estelle (Eds.). Dealing with complexity in development evaluation: A practical approach. Sage Publications, 2015. DOI: https://doi.org/10.4135/9781483399935

BID. Consulta significativa con las partes interesadas. 2017. www.iadb.org/consultations. Consultado el 10 de octubre de 2023.

BIGGS, Janice, FARRELL, Louise, LAWRENCE, Glenda, JOHNSON, Julie A practical example of contribution analysis to a public health intervention. Evaluation, v. 20, n. 2, p. 214–229, April 2014. DOI: https://doi.org/10.1177/1356389014527527

BONO, Pierre-Henri. Modèle causal contrefactuel dans l’évaluation des politiques publiques. Science Po/CEVIPOF, METSEM, Francia, 2018.

BUCKLEY, Anthony P. Using Contribution Analysis to evaluate small & medium enterprise support policy. Evaluation, v. 22, n. 2, p. 129–148, 2016. DOI: https://doi.org/10.1177/1356389016638625

BUDHWANI, Suman, MCDAVID, James, Contribution analysis: Teoretical and practical challenges and prospects for evaluators. Canadian Journal of Program Evaluation, v. 32, n. 1, p. 1–24, July 2017. DOI: https://doi.org/10.3138/cjpe.31121

BUREGEYA, Jean Marie, BROUSSELLE, Astrid, Nour, Kareen, Loignon, Christine. Comment évaluer les effets des évaluations d’impact sur la santé : le potentiel de l’analyse de contribution. Canadian Journal of Program Evaluation, v. 32, n.1, p. 25–45, July 2017. DOI: https://doi.org/10.3138/cjpe.31151

CAMPBELL, D., STANLEY, J. Experimental and quasi-experimental designs for research. EU: Rand McNally, 1973.

CANTO, Manuel, VÁZQUEZ, Verónica. Ciudadanos y constitución en la Ciudad de México. Argumentos: Estudios críticos de la sociedad, Ciudad de México, v. 3, n. 94, p. 37–63, 2021.

CARDOZO, Myriam. La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México, México: Cámara de Diputados- M. A. Porrúa, 2006.

CARDOZO, Myriam. Gestión y evaluación participativas en políticas sociales. Política y Cultura, Ciudad de México, v. 30, p. 137–163, 2008.

CARDOZO, Myriam. Conceptos y uso de la evidencia en la evaluación de políticas y programas públicos. Iztapalapa Revista de Ciencias Sociales y Humanidades, Ciudad de México, v. 42, n. 90/1, p. 205-232, 2021. DOI: https://doi.org/10.28928/ri/902021/aot3/cardozobrumm

CARDOZO, Myriam. The Dominance of a Method of Impact Evaluation in Latin America, International Journal Latest Research in Humanities and Social Science, v. 6, n. 2, p. 96-101, 2023.

CASILLAS, Celia, MACÍA, Mónica, RICO, Javier. Guía de evaluación de diseño de políticas públicas. España: Instituto para la evaluación de políticas públicas, 2020.

CHAMBERS, Robert, KARLAN, Dean, RAVALLION, Martin, ROGERS, Patricia. Designing impact evaluations: Different perspectives, Working Paper 4. International Initiative for Impact Evaluation, July 2009. DOI: https://doi.org/10.22163/fteval.2009.126

CHILISA, B. Indigenous Research Methodologies. Sage Publications, 2012.

CONSEJO DE EVALUACIÓN DEL DESARROLLO SOCIAL DEL DISTRITO FEDERAL. Términos de referencia para la evaluación de operación, resultados e impactos de los servicios de salud materno-infantil del gobierno del Distrito Federal 2006–2010, 2011. Disponible en: https://evalua.cdmx.gob.mx/storage/app/media/uploaded-files/files/Atribuciones/programassociales/ter_sal_11.pdf, consultado el 10 de febrero de 2023.

CONSEJO NACIONAL DE EVALUACIÓN. Términos de referencia de la evaluación en materia de diseño con trabajo de campo, 2020. Disponible en:https://www.coneval.org.mx/Evaluacion/MDE/Paginas/Evaluaciones_Diseno.aspx. Consultado el 23 de marzo de 2022.

COUSINS, J. Bradley (Ed.). Collaborative approaches to evaluation: Principles in use. Sage Publications, 2020. DOI: https://doi.org/10.4135/9781544344669

COUSINS, J. Bradley, SHULHA, Lyn, WHITMORE, Elizabeth., AL HUDIB, Hind, GILBERT, Nathalie. How do evaluators differentiate successful from less-than-successful experiences with collaborative approaches to evaluation? Evaluation, v. 40, n. 1, p. 3-28, 2016. DOI: https://doi.org/10.1177/0193841X16637950

CHEN, Huey-Tsyh. Theory-driven evaluation: Needs, difficulties, and options. American Journal of Evaluation, v. 15, n. 1, p. 79–82, 1994. DOI: https://doi.org/10.1177/109821409401500109

CHEN, Huey-Tsyh. Normative evaluation of an anti-drug abuse program. Evaluation and Program Planning, v. 20, n. 2, p. 195–204, May 1997. DOI: https://doi.org/10.1016/S0149-7189(96)00050-X

DAC-OCDE (Development Assistance Committee-Organisation for Economic Co-operation and Development). Glossary of key terms in evaluation and in results base management. París, 2010.

DEHEJÍA, Rajeev, WAHBA, Sadek. Causal effects in nonexperimental studies: reevaluating the evaluation training programs. Journal of the American Statistical Association n. 94, p. 1053–1062, 1999. DOI: https://doi.org/10.1080/01621459.1999.10473858

DELAHAIS, Thomas, TOULEMONDE, Jacques. Making rigorous causal claims in a real-life context: Has research contributed to sustainable forest management? Evaluation, v. 23 n. 4, p. 370–388, 2017. DOI: https://doi.org/10.1177/1356389017733211

DOWNES, Amia, NOVICKI, Emily, HOWARD, John. Using the contribution analysis approach to evaluate science impact: A case study of the National Institute for Occupational Safety and Health. American Journal of Evaluation, v. 40, n. 2, p. 177–189, 2018. DOI: https://doi.org/10.1177/1098214018767046

EVALUACIÓN PARTICIPATIVA, 2023. Disponible en: https://evalparticipativa.net. Consultado el 26 de noviembre de 2023.

EVALÚA JALISCO Evaluación específica sobre la percepción de beneficiarios de programas públicos estatales. Gobierno de Jalisco, 2016. Disponible en: https://seplan.app.jalisco.gob.mx/evalua/node/57. Consultado el 23 de noviembre de 2023.

FORSS, K., MARRA, M., SCHWARTZ, R. (Eds.). Evaluating the complex: Attribution, contribution and beyond. EU: Transaction Publishers, 2011.

FREEMAN, Ted, MAYHEW, Susannah, MATSINHE, Cristiano, NAZZA, Alex. A. Evaluation of the Danish strategy for the promotion of sexual and reproductive health and rights 2006–2013 Pathways to change in SRHR: Synthesis report. Denmark: Ministry of Foreign Affairs of Denmark, 2014.

FUNNELL, Sue, ROGERS Patricia, Purposeful Program Theory: Effective Use of Logic Models and Theories of Change, EU: Jossey-Bass/Wiley, 2011.

GALLIGANI, Ivan. La ricostruzione partecipata della teoria del cambiamento come prima analisi di una strategia d’azione sulle comunità educanti: evidenze da un caso di studio. Welfare e ergonomia n.1, p. 235–238, June 2020. DOI: https://doi.org/10.3280/WE2020-001029

GARCÍA, Rolando. Sistemas complejos: Conceptos, métodos y fundamentación epistemológica de la investigación interdisciplinaria. España: Gedisa, 2006.

GARCÍA, Ester, CARDOZO, Myriam. Evaluación de impacto: más allá de la experimentación. Política y Cultura, Ciudad de México, v. 47, p. 65-91, 2017.

GARCÍA, Maximiliano. El enfoque de interconectividad de políticas. Tipologías y aplicabilidad metodológica. GIGAPP Estudios Working Papers v. 8, n. 222-228, p. 657-678, 2021.

GIVORD, Pauline. Méthodes économétriques pour l'évaluation des politiques publiques. Economie & Prévision, n. 204-205, p. 1-28, 2014. DOI: https://doi.org/10.3917/ecop.204.0002

GOBIERNO DE MÉXICO. Plan nacional de desarrollo 2013–2018. Diario Oficial de la Federación, 2013. Disponible en: https://conamer.gob.mx/documentos/marcojuridico/rev2016/PND%202013-.pdf. Consultado el 15 de julio de 2023.

GOBIERNO DE MÉXICO. Plan nacional de desarrollo 2019–2024. Diario Oficial de la Federación, 2019. Disponible en: https://www.dof.gob.mx/nota_detalle.php?codigo=5565599&fecha=12/07/2019#gsc.tab=0. Consultado el 15 de julio de 2023.

CONSEIL DU TRÉSOR. Approches d’évaluation axées sur la théorie : concepts et pratiques. Canadá: Gouvernement du Canada, 2012. Disponible en:https://publications.gc.ca/site/eng/9.640207/publication.html?wbdisable=true. Consultado el 15 de octubre de 2023.

GUIJT, Irene. Participatory approaches. Methodological Briefs Impact Evaluation, UNICEF, 2014.

JMDE, Decolonizing evaluation: towards a fifth paradigm. v. 19, n. 44, 2023.

KOLEROS, Andrew, MAYNE, John. Using actor-based theories of change to conduct robust contribution analysis in complex settings. Canadian Journal of Program Evaluation v. 33, n. 3, p. 292–315, 2019. DOI: https://doi.org/10.3138/cjpe.52946

KVAM, Reidar. Evaluación del impacto social: integrando los aspectos sociales en los proyectos de desarrollo. BID, 2018.

LECOCQ, Aurélie, AMMI, Méhdy, BELLARBRE, Elodie. Le score de propension : un guide méthodologique pour les recherches expérimentales et quasi expérimentales en éducation. Mesure et évaluation en éducation, v. 37, n.2, p. 1-132, 2014. DOI: https://doi.org/10.7202/1035914ar

LE MOIGNE, J. L. La modélisation des systèmes complexes. París: Dunod, 1999.

LEEUW, Frans. Linking theory-based evaluation and contribution analysis: Three problems and a few solutions. Evaluation v. 18, n. 3, p. 348–363, 2012. DOI: https://doi.org/10.1177/1356389012452051

LOVE, Patrick, STOCKDALE-OTÁLORA, Julia. Complejidad y formulación de políticas públicas. México: OCDE-UNAM, 2020. DOI: https://doi.org/10.1787/ffea4d28-es

MALDONADO, Claudia It’s (still) complicated: Towards a complexity-consistent evaluation theory and practice. Inédito, 2020.

MARTÍNEZ, Juan Carlos, PROTO, Fernando (Coords.). La evaluación de la gestión pública desde un enfoque decolonial: teorías, experiencias y aprendizajes. México: El Colegio de Tamaulipas, 2021.

MAYNE, John. Addressing attribution through contribution analysis: Using performance measures sensibly. Canadian Journal of Program Evaluation, v. 16, n. 1, p. 1–24, 2001. DOI: https://doi.org/10.3138/cjpe.016.001

MAYNE, John. Special Issue: Contribution Analysis, Evaluation v. 18, n. 39, 2012. DOI: https://doi.org/10.1177/1356389012451663

MAYNE, John. Theory of change analysis: Building robust theories of change. Canadian Journal of Program Evaluation v. 32, n. 2, p. 155–173, 2017. DOI: https://doi.org/10.3138/cjpe.31122

MAYNE, John. Revisiting Contribution Analysis. Canadian Journal of Program Evaluation v. 34, n. 2, p. 171-191, 2019. DOI: https://doi.org/10.3138/cjpe.68004

MERTENS, Donna, WILSON, Amy. T. Program evaluation theory and practice: A comprehensive guide.EU: Guilford, 2019.

MIER, Raymundo. Notas sobre la complejidad en las ciencias sociales: De la formalización a las metáforas. En LÓPEZ-AGUILAR, Fernando, BRAMBILIA, Fernando (Eds.). Antropología fractal. Ciudad de México: Centro de Investigación en Matemáticas-Sociedad Matemática Mexicana, 2007, p. 25–44.

MODERNISING GOVERNMENT SECRETARIAT. Modernising government. 1999. Disponible en: https://ntouk.files.wordpress.com/2015/06/modgov.pdf. Consultado el 25 de noviembre de 2023.

MONNIER, Eric. Evaluación de la acción de los poderes públicos. España: Instituto de Estudios Fiscales, 1995.

MORIN, Eegar. Introducción al pensamiento complejo. España: Gedisa, 2001.

NAV Evaluation Report. The Integrated Rural Development Program 1994 – 2004. Vietnam, 2004.

ROBIN, Sophie. Herramientas de medición del impacto social. Barcelona, Universitat Oberta de Catalunya, 2012.

ROSSI, C. Valutare con la teoria: un percorso di ricerca qualitativo per sviluppare la Teoria del Cambiamento emergente di un programma complesso. Master Dissertation METERS, Italia, Università di Roma La Sapienza, 2022.

SCOTTISH GOVERNMENT. Contribution analysis. Social Science Methods Series, Guide 6, Scotia, 2009.

SEGOVIA, Pablo. Una nueva perspectiva metodológica para evaluar el impacto de programas de transferencias condicionadas en países de América Latina. Tesis de la Universidad Complutense de Madrid, 2017.

SOTELO, Esthela, CARDOZO, Myriam. Bienestar económico-social y ambiental en la Cuarta Transformación. En CEJAS, Mónica, Liliana LÓPEZ LEVI y Angélica ROSAS (Coords.), Logros, retos y contradicciones de la 4T. Ciudad de México: UAM-X, 2020, p. 31-50.

STAME, Nicoletta. Valutazione Pluralista. Milano: Franco Angeli, 2016.

STERN, Elliot, STAME, Nicoletta, MAYNE, John. Broadening the range of designs and methods for impact evaluations. Working paper no. 38. London: Department for International Development, 2012. DOI: https://doi.org/10.22163/fteval.2012.100

TAPELA, Esteban, RODRÍGUEZ-VILELLA, Pablo, SANZ, Juan Carlos, CHAVEZ-TAFUR, Jorge y ESPINOSA, Julia. Siembra y cosecha. Manual de evaluación participativa. Alemania: Deval, 2021.

TOMEI, Gabriele. DOME: A mixed-method evaluation of the impacts of complex programmes against educational poverty. Evaluation, v. 29, n. 2, p. 190-207, 2023. DOI: https://doi.org/10.1177/13563890231166979

UNITED NATIONS POPULATION FUND–UNITED NATIONS CHILDREN’S FUND Joint Evaluation UNFPA/UNICEF, Joint Programme on Female Genital Mutilation/Cutting: Accelerating Change 2008–2012, 2013.

VARA-HORNA, Arístides. La evaluación de impacto de los programas sociales. Fundamentos teóricos y metodológicos y aplicación al caso peruano. Lima: Fondo Editorial de la Universidad de San Martín de Porres, 2007.

VEDUNG, Evert. Four waves of evaluation diffusion. Evaluation, v. 16, n. 3, p. 263–277, 2010. DOI: https://doi.org/10.1177/1356389010372452

WHITE, Howard, MASSET, Edoardo. Assessing interventions to improve child nutrition: A theory-based impact evaluation of the Bangladesh Integrated Nutrition Project. Journal of International Development, v. 19, n. 5, 627–652, 2007. DOI: https://doi.org/10.1002/jid.1344

WORLD BANK. Poverty in México: An assessment of conditions, trends and government strategy, 2004.

WEISS, Carol. Writing the report and disseminating results. En: WEISS, Carol. Evaluation (2°Ed.). Upper Saddle River, N.J.: Prentice-Hall, 1998, p. 294 – 319.

Wilson-Grau R Outcome Harvesting: Principles, Steps, and Evaluation Applications. Charlotte,NC: Information Age Publishing, 2018.

DIVERSIFICACIÓN DE LOS MÉTODOS DE EVALUACIÓN DE IMPACTO DE POLÍTICAS PÚBLICAS USADOS EN AMÉRICA LATINA

Autores/as

DOI:

Palabras clave:

Resumen

Citas

Descargas

Publicado

Cómo citar

Número

Sección

Licencia

Enviar un artículo

Idioma

Palabras clave

indexadores

Indexadores e buscadores