Evaluar para mejorar: la experiencia de Médicos del Mundo con evaluaciones rigurosas más allá de los diseños experimentales

EvaluAES sigue creciendo por donde menos lo esperas, y esta vez el tercer sector se plantó en el XV Taller EvaluAES para poner sobre la mesa una perspectiva que necesitamos escuchar más a menudo. La intervención de Rocío Poo, de Médicos del Mundo, fue un recordatorio útil de que las ONG trabajan en escenarios donde evaluar es casi un acto de equilibrismo, y aun así se atreven a poner sobre la mesa —sin maquillaje— los retos que arrastran. Y justo ahí es donde EvaluAES muestra su mejor versión: en ofrecer un espacio donde academia, administración y tercer sector pueden cruzar miradas, detectar sinergias posibles y recordar que un ecosistema evaluador más sólido solo se construye si hablamos también con quienes están en primera línea de batalla. La conversación con el tercer sector no es opcional, es necesaria. Esperamos que los relatos de Rocío aquí debajo les despierten el interés necesario para que esto suceda. Nos vemos en la mesa EvaluAES de las Jornadas AES el próximo jueves 18 de junio en Sevilla.

Por Rocío Poo:

En el debate actual sobre la evaluación de programas sociales, los diseños experimentales y cuasiexperimentales suelen considerarse el estándar de oro para generar evidencia sobre el impacto de las intervenciones. Sin embargo, muchas intervenciones en el ámbito social y de salud se desarrollan en contextos donde este tipo de enfoques no siempre es viable. En el Taller EvaluAES compartí la experiencia de Médicos del Mundo en el desarrollo de evaluaciones rigurosas basadas en metodologías mixtas.

En Médicos del Mundo entendemos la evaluación como una herramienta clave para rendir cuentas, aprender de la experiencia, generar evidencia para la toma de decisiones y reforzar la legitimidad institucional. Con este objetivo, la organización ha desarrollado un sistema de evaluación que combina evaluaciones externas e internas, con objetivos y enfoques complementarios.

Las evaluaciones externas, realizadas por equipos independientes, suelen ser requeridas por agencias gubernamentales y organismos multilaterales y se centran en proyectos de acción humanitaria y cooperación en el ámbito de la salud. En general evalúan los proyectos siguiendo los criterios establecidos por el Comité de Ayuda al Desarrollo (CAD) de la Organización para la Cooperación y el Desarrollo Económicos (OCDE). En los últimos años, hemos reforzado los procesos de selección de equipos evaluadores, priorizando tanto su experiencia como la solidez de la propuesta metodológica presentada. Además, contamos con un sistema propio de control de calidad que nos permite valorar la robustez de la metodología, la fiabilidad de los datos y la coherencia entre hallazgos, conclusiones y recomendaciones. Este proceso nos proporciona una valoración global de cada informe, que indica cuánta confianza podemos depositar en sus recomendaciones.

Por otro lado, las evaluaciones internas, realizadas por personal de Médicos del Mundo, se centran en programas estratégicos para la organización y responden a necesidades de información para la toma de decisiones. Entre ellas se incluyen evaluaciones de planes estratégicos; programas de educación para la transformación social; intervenciones de emergencia; programas orientados a la recuperación psicosocial de mujeres en situación de prostitución; la respuesta al COVID-19 implementada en cinco hospitales de la Comunidad de Madrid; y de la Red de Denuncia y Resistencia al Real Decreto Ley 16/2012. Las evaluaciones internas, en general, analizan tres dimensiones de las intervenciones:

• Diseño: valoramos la relevancia de la intervención frente a las necesidades detectadas, si los objetivos son claros, si existe una lógica coherente que conecte la acción con los resultados, la calidad de los indicadores y la evidencia científica que respalda la intervención propuesta.
• Implementación: evaluamos cómo se lleva a la práctica la intervención, es decir, la eficiencia, la coordinación, la comunicación y los mecanismos de seguimiento previstos.
• Eficacia: evaluamos en qué medida las intervenciones han logrado los resultados y objetivos previstos.

Para realizar estas evaluaciones utilizamos metodologías mixtas, que combinan enfoques cualitativos y cuantitativos. Entre las metodologías cualitativas destacan el análisis de contenido de entrevistas y documentos, el mapeo de la lógica de intervención, el análisis comparativo y el análisis de contribución. En el ámbito cuantitativo, utilizamos principalmente análisis estadísticos descriptivos y análisis de eficiencia. Hasta el momento no hemos utilizado metodologías experimentales o cuasiexperimentales. Las características de nuestras intervenciones, desarrolladas en contextos complejos con poblaciones vulnerables, hacen que este tipo de diseños presente limitaciones éticas, operativas y metodológicas. Además, estos enfoques requieren su planificación desde el inicio de la intervención, personal especializado y recursos significativos para la recogida y análisis de información, que en muchos casos resulta difícil de financiar en el marco de nuestros proyectos. A pesar de no ser experimentales, nuestras evaluaciones son rigurosas y sistemáticas ya que se basan en protocolos claros, triangulación de diferentes fuentes de información y en una revisión crítica de los hallazgos. De este modo, generan evidencia fiable sobre las intervenciones, identifican oportunidades de mejora y contribuyen a fortalecer la calidad de los programas y la toma de decisiones estratégicas.

Rocío Poo durante su exposición en el XV Taller EvaluAES

Durante el taller también compartí algunos de los retos a los que nos enfrentamos en el ámbito de la evaluación. Uno de los principales tiene que ver con la calidad y sistematización de la información disponible sobre las personas beneficiarias, lo que dificulta analizar con precisión los resultados alcanzados mediante las intervenciones. Para avanzar en este ámbito, estamos unificando los sistemas de seguimiento mediante herramientas comunes. Otro reto importante es que en muchos proyectos siguen predominando indicadores centrados en el número de actividades realizadas o de personas atendidas, en lugar de indicadores que permitan medir los cambios en la vida de las personas. Asimismo, aunque las personas encargadas de la implementación de los proyectos cuentan con competencias técnicas sólidas en sus ámbitos de intervención, se observan algunas limitaciones en seguimiento y evaluación, lo que pone de manifiesto la necesidad de reforzar estas capacidades.

Finalmente, estamos avanzando en la medición del impacto social a nivel estratégico. Más allá de evaluar proyectos concretos, nuestro reto actual es analizar en qué medida, como organización, estamos contribuyendo a generar cambios en los resultados estratégicos que nos hemos propuesto. Se trata de una mirada a nivel agregado, directamente vinculada con las prioridades del Plan Estratégico de Médicos del Mundo. Avanzar en esta dirección nos permite evidenciar los cambios que contribuimos a generar en términos de salud y derechos, apoyar la toma de decisiones estratégicas y fortalecer nuestra rendición de cuentas ante la sociedad.