¿Por qué evaluar políticas públicas? Respuestas esenciales a preguntas básicas

16 - 01 - 2023

Sara Ulla Díez, coordinadora de programas y apoyo técnico del Imserso

El aumento de la longevidad y el progresivo crecimiento de la proporción poblacional de mayor edad son hechos ya ampliamente descritos y a los que las políticas públicas se vienen adaptando. En todo el mundo hay cientos, probablemente miles de políticas, programas e iniciativas destinadas a mejorar la vida de las personas mayores, ya sea de alcance local, regional, nacional o internacional. Entre ellas, la Red de Ciudades y Comunidades Amigables con las Personas Mayores es una herramienta promovida por la Organización Mundial de la Salud (OMS) e impulsada por el Imserso en nuestro país.

La lógica básica subyacente a una intervención pública comienza con una identificación de un problema social (diagnóstico) que concierne a toda la sociedad o a una parte de ella. Se diseña una intervención que debe solventarlo (planificación), que posteriormente es llevada a cabo (ejecución) con inversión de tiempo, dinero y otros recursos. A medida que se va interviniendo se va recogiendo información de actividad y avance (seguimiento) y una vez que el programa se ha llevado a cabo, lo que debemos preguntarnos es si con ello se ha resuelto el problema, si se ha hecho de manera parcial y por qué (evaluación), y cuál es la forma más eficaz de continuar la intervención (toma de decisiones).

Sin embargo, de forma muy frecuente este ciclo de planificación-acción-evaluación-decisión y siguiente ciclo de planificación se restringe a una práctica iterativa de planificación y acción que, si bien suele incluir cierta información de seguimiento, muy frecuentemente elimina la fase de evaluación y posterior toma de decisiones.

Esta secuencia es análoga a las cuatro fases de planificación, ejecución, evaluación y mejora continua que la OMS establece en su propuesta metodológica para la Red de Ciudades y Comunidades Amigables y el desarrollo de procesos de amigabilidad.

La evaluación como instrumento para la rendición de cuentas y el aprendizaje

En muchos países de nuestro entorno ya hay instaurada una cultura de rendición de cuentas, en la que las personas con responsabilidades políticas deben dar cuenta de la gestión del dinero público, no sólo proporcionando información sobre a qué se dedica, sino cómo se ha gestionado y qué se ha conseguido con ello. Se habla de política basada en la evidencia. En otros países este proceso todavía está en ciernes. En España, el uso de los datos para la toma de decisiones a nivel político no está generalizado [1]. Para avanzar hacia la política basada en la evidencia, el pasado 20 de diciembre se aprobó la Ley 27/2022 de institucionalización de la evaluación de políticas públicas en la Administración General del Estado [2], que estaba incluida en el componente 11 de modernización de las Administraciones Públicas del Plan de Recuperación, Transformación y Resiliencia [3].

Pero la evaluación no sólo se vincula a la rendición de cuentas, sino que tiene una gran aplicación para el aprendizaje y la mejora. Un sistema de evaluación bien diseñado puede crear un cuerpo de conocimiento sobre el ámbito de intervención, que permita diferenciar con claridad qué intervenciones son eficaces y contribuyen al logro de resultados y cuáles no.

Es claro que evaluar una política social no es sencillo, pero poner a un hombre en la luna tampoco debe de serlo. Es cuestión de ponerse a ello, aportar un nivel adecuado de intención política e institucional y abordarlo con las capacidades técnicas adecuadas.

Hoy día hacer política o intervención social a ciegas y sin evidencia sobre los potenciales efectos es en el mejor de los casos un riesgo innecesario. Al igual que la investigación debe partir de un análisis de la bibliografía disponible, la intervención social y la planificación de políticas públicas debe también nutrirse del conocimiento disponible.

Sin embargo, a pesar de la conveniencia de información para tomar mejores decisiones, de la obligatoriedad de transparencia y rendición de cuentas y de la imperiosa necesidad de conseguir políticas sostenibles económica y socialmente, la práctica de la evaluación y el posterior uso de sus resultados para la toma de decisiones no está generalizada en nuestro país. Una revisión sistemática realizada en 2020 sobre la evidencia disponible sobre la eficacia de las intervenciones desde la perspectiva de las comunidades amigables con las personas mayores y la promoción del envejecimiento activo puso de manifiesto la necesidad de realizar más estudios longitudinales y evaluaciones para conocer los efectos de los programas [4].

Por eso, el objetivo de este documento es proporcionar algunas respuestas a las preguntas de porqué deberíamos evaluar políticas sociales, qué y cómo deberíamos hacerlo y cuáles son algunos de los retos a los que se enfrenta la evaluación de las políticas sociales y en particular en el ámbito local.

¿Por qué debemos evaluar?

Una primera razón para evaluar es para poder rendir cuentas del gasto de los fondos públicos; y ser transparentes con las medidas adoptadas y la calidad de la gestión. El volumen de fondos destinados a las personas mayores, a los cuidados, a las personas en situación de dependencia es amplio y creciente y es obligación dar cuentas sobre su uso.
En segundo lugar y directamente vinculado con el anterior, es preciso poder conocer los resultados obtenidos, no sólo para poder rendir cuentas, sino además para poder saber si la intervención está sirviendo para algo o si es preciso cambiar la aproximación. Todas las intervenciones tienen unos objetivos y conocer los resultados permite saber si hemos cumplido tales objetivos. Si se realizan cursos para disminuir la brecha digital en personas mayores, y después sólo podemos dar cuenta del número de cursos realizados, el número de personas participantes o su nivel de satisfacción, no sabremos si realmente hemos cumplido el objetivo, ya que este no era tener muchas personas en los cursos y muy satisfechas, sino reducir la brecha digital.
También debemos ser capaces de aprender de la experiencia. La mayoría de los programas forman parte de un plan, una estrategia o se repiten de forma periódica; es decir, generalmente no son intervenciones aisladas. Así, la información de seguimiento y de evaluación nos informaría de qué es más eficaz, qué acciones no están sirviendo para nuestros propósitos, qué modificaciones debemos hacer en la gestión y con ello mejorar las siguientes ediciones o acciones relacionadas.
Complementariamente, deberíamos ser capaces de aprender de las experiencias de otras entidades y otros actores. Compartir nuestra experiencia y los resultados de la evaluación hace que las entidades o municipios que comparten un mismo propósito (por ejemplo, aumentar la participación social de las personas mayores, reducir la soledad no deseada, etc.) lo hagan mucho más eficientemente. Contar con evidencia contrastada sobre la eficacia de las intervenciones permite no sólo el aprendizaje, sino también la transferencia y el escalado de las mismas.

¿Qué intervenciones debemos evaluar?

¿Deberíamos evaluar todos los programas y políticas encaminadas a la mejora de la calidad de vida de las personas mayores? ¿Deberíamos hacer una selección? Y, si realizamos tal selección, ¿Cuáles son los criterios de selección? Podemos afirmar que, con independencia de su amplitud, duración o envergadura, no es preciso evaluar todos los programas e intervenciones. Pero a la hora de concretar y decidir qué evaluar las respuestas genéricas no valen. Más bien, la respuesta en cada caso debe basarse en una serie de consideraciones vinculadas a cada institución o entidad, ya sea pública o privada.

El primer elemento que debemos valorar es para qué se va a utilizar la evaluación.

Las evaluaciones deben planificarse y diseñarse pensando en la utilización y aprovechamiento tanto de las conclusiones del informe como del propio proceso de evaluación. Incluso, aunque inicialmente no tengamos claridad sobre las personas usuarias, es sumamente importante centrarse en su utilización potencial. La evaluación no tiene como objetivo último el conocimiento, sino que es una herramienta de gestión, por lo que el criterio de utilización es clave para las decisiones en relación con la realización y diseño de evaluaciones.

Para ello, deberemos valorar qué decisiones hay que tomar en un futuro próximo para las que es preciso realizar la evaluación; cuándo se tiene que tomar esas decisiones; qué información se espera encontrar en el informe. Esto nos ayudará a identificar la información realmente necesaria para la toma de decisiones, nos guiará el diseño de la evaluación y ayudará a evitar una serie de preguntas genéricas que no siempre se ajustan a las necesidades o los recursos de cada institución.

La segunda consideración es qué otras fuentes de información tenemos sobre el programa realizado.

Además de la evaluación, existen otras formas de recopilar información, tales como el seguimiento, la auditoria, la investigación o los estudios sistemáticos de todo tipo. Disponer de un sistema de seguimiento adecuado nos permitirá seleccionar los programas o políticas sobre los que deseamos información más detallada por su mayor potencial estratégico, por que hayan recibido mayor inversión económica, por su carácter innovador, etc. Necesitamos siempre información sistemática sobre el gasto del dinero público y las políticas y programas públicos, pero no siempre es necesaria una evaluación, sino que hay otras maneras de conseguirlo.

El siguiente elemento para decidir qué evaluar es muy operativo y alude a cuántas evaluaciones podemos gestionar y utilizar activamente para la toma de decisiones.

Las evaluaciones necesitan recursos y personal capacitado. Puede realizarse por las personas expertas de la propia institución, contratar a una empresa de consultoría o ser una combinación o recursos internos y externos. En cualquiera de las opciones, necesitaremos tiempo, dinero y recursos humanos especializados. Ahora piense ¿Cuántas evaluaciones podría gestionar su unidad o institución? Una adecuada previsión de capacidades y recursos es clave para poder aprovechar el amplio potencial de las evaluaciones.

La siguiente consideración tiene carácter institucional y alude al respaldo político o directivo a la evaluación.

Dado que la evaluación es una herramienta para la toma de decisiones, la implicación de las personas que las toman es clave para el aprovechamiento de la evaluación. En ocasiones la organización o las partes interesadas no son capaces o no tienen la motivación para utilizar la evaluación como instrumento para rendir cuentas y tomar decisiones. Si este es el caso, antes de seguir adelante, deberíamos reflexionar sobre la idoneidad de realizar dicha evaluación y gastar fondos públicos en ella. Podemos comenzar trabajando para mejorar la cultura de la evaluación y que se conozca la pertinencia de disponer de evidencias sistemáticas para mejorar las intervenciones y tomar mejores decisiones.

Y la última consideración alude a la evaluabilidad. ¿Podemos evaluar lo que queremos evaluar?

Este término evaluabilidad es la susceptibilidad de un programa o política de ser evaluado. Todo es, por defecto, susceptible de ser evaluado, en principio. Sin embargo, no siempre podremos obtener resultados iguales en términos de calidad, profundidad, facilidad de uso o rigor. Así pues, se trata de un análisis sobre en qué medida una intervención puede evaluarse de forma fiable y creíble. La evaluabilidad depende de aspectos relacionados con el proyecto, tales como:

La calidad del diseño del proyecto en términos de claridad, pertinencia, verosimilitud, coherencia o calidad de la formulación de los objetivos.
La disponibilidad de información de seguimiento relativa a ejecución de acciones y cumplimiento de objetivos
El contexto institucional y la accesibilidad a la información y a las partes interesadas, así como la potencial utilización de los resultados de la evaluación

Este análisis es muy útil no solo antes de la evaluación, sino también en el momento de la planificación, para garantizar que el proyecto sea evaluable cuando sea necesario.

¿Cómo debemos evaluar?

Ya hemos hablado de porqué y qué evaluar y la tercera pregunta es cómo deberíamos hacerlo. Y esto nos lleva de forma directa a la metodología, la calidad y el rigor necesarios en las evaluaciones. Existe aquí un interesante debate relacionado con la investigación y la evaluación. Hay considerables diferencias relacionadas con la finalidad, los objetivos, el objeto de análisis o evaluación, los contextos, las personas beneficiarias [5], etc. Esto daría lugar a una argumentación que excede con mucho los propósitos de este documento, pero lo que sí podemos afirmar es que la evaluación es un tipo específico y fuertemente aplicado de investigación social. Igualmente podemos afirmar que si una evaluación no utiliza metodologías y técnicas de investigación social no va a tener el rigor mínimo necesario para ofrecer resultados y conclusiones sólidas. Y si no disponemos de un informe de calidad que proporcione información pertinente y rigurosa o no incluye información que no se conociera previamente, la evaluación se considerará un ejercicio innecesario.

Podría darse una segunda situación y es que se tomaran decisiones basadas en un informe poco riguroso con conclusiones frágiles o incluso mal direccionadas. Esto podría llevar a una toma de decisiones poco acertada. Por el contrario, si contamos con una evaluación de calidad y un informe final que ofrece conclusiones y recomendaciones basadas en una metodología sistemática, tendremos una herramienta muy potente y aplicable que nos orientará la elaboración de un plan para la mejora.

Desafíos para el desarrollo de evaluaciones

A pesar del potencial de la evaluación para mejorar las políticas y programas públicos, la realidad es que todavía su uso es considerablemente escaso. Desde un punto de vista técnico, algunos de los desafíos más importantes son:

La limitación en las capacidades técnicas de evaluación en unidades de servicios sociales, que hace muy difícil o imposible el diseño, la realización o seguimiento de evaluaciones.
Limitaciones en la planificación de las actuaciones. Hay programas que carecen de la estructura mínima requerida y de una definición adecuada de objetivos y acciones. En ocasiones, no hay conexiones claras y directas entre los objetivos y las acciones o los objetivos son excesivamente genéricos, casi aspiraciones o metas intangibles.
La falta de información derivada de la carencia o fragilidad de un sistema de seguimiento adecuado que proporcione información fiable. Incluso contando con una buena tabla de indicadores, en ocasiones no se recopila la información, porque el modo de hacerlo no está claramente descrito; no se ha asignado a alguna persona o unidad la responsabilidad de hacerlo; o incluso porque no es posible técnicamente obtener dicha información.

El envejecimiento poblacional supone un reto actual y de futuro de gran calado. La acción certera en ciudades y pueblos consigue no solamente que se haga un buen uso del dinero público, sino que tiene la oportunidad y la responsabilidad de cambiar la calidad de vida de las personas que allí residen.

El plan para el desarrollo de la Década del Envejecimiento Saludable (2021-2030)promovida por la OMS también incluye en su apartado 5 la necesidad de “Comprender y medir conjuntamente los resultados”, priorizando “el fortalecimiento de la capacidad, entre otras cosas en materia de seguimiento y evaluación”.

Por todos estos motivos, para la Coordinación de la Red de Ciudades y Comunidades en el Imserso será una prioridad en 2023 contribuir a mejorar la cultura y capacidades para la evaluación de políticas públicas. Resulta primordial poder discriminar entre las intervenciones eficaces de aquellas otras que no lo son. La evaluación es una de las valiosas herramientas para poder determinar en qué decisión vamos de manera más acertada a dar respuesta a todos los desafíos sociales que tenemos por delante.

[1] Informe de diagnóstico de la evaluación en la Administración General del Estado 2021 Instituto de Evaluación de Políticas Públicas

[2] BOE

[3] Plan de Modernización de las Administraciones Públicas

[4] Sánchez-González, D., Rojo-Pérez, F., Rodríguez-Rodríguez.V. y Fernández-Mayoralas, G. (2020). Environmental and psychosocial interventions in age-friendly communities and active ageing: A systematic review. J. Environ. Res. Public Health 2020, 17(22), 8305

[5] Weiss, C.H. (1987). Where Politics and Evaluation Research Meet. En The Politics of Program Evaluation, editado por D. J. Palumbo. Newbury Park: Sage.

WEISS, C.H. (1998). Evaluation. Methods for Studying Programs and Policies. Segunda Ed. Upper Saddle River (NJ): Prentice Hall.

Guba, E., y Lincoln, Y. (1989). Fourth Generation Evaluation. Newbury Park: Sage.