Algunos comentarios sobre el proyecto de ley de institucionalización de la evaluación de políticas públicas
ÁNGEL DE LA FUENTE
GRUPO DE TRABAJO MIXTO COVID-19
Apuntes Fedea 2022/17
Julio de 2022
fedea
Las opiniones recogidas en este documento son las de sus autores y no coinciden necesariamente con las de Fedea.
Angel de la Fuente* (FEDEA e IAE-CSIC) Julio de 2022
El pasado 24 de mayo el Consejo de Ministros aprobó el Proyecto de Ley de institucionalización de la evaluación de políticas públicas en la Administración General del Estado (“proyecto de ley de evaluación” en lo que sigue) y lo remitió al Congreso de los Diputados para su tramitación por el procedimiento de urgencia. El proyecto forma parte de las reformas comprometidas en el Componente 11 del Plan de Recuperación y tiene como objetivo estructurar y reforzar el sistema de evaluación de las políticas públicas de la Administración General del Estado (AGE).
El Recuadro 1 resume las principales disposiciones del proyecto de ley. En él se anuncia la creación de una serie de estructuras administrativas, algunas de dudosa utilidad, coordinadas desde la Secretaría de Estado de Función Pública. Entre ellas, destaca una nueva Agencia de Evaluación que será responsable de la coordinación y supervisión del sistema estatal de evaluación de políticas públicas, así como del desarrollo de su metodología y de la selección de sus indicadores de seguimiento y evaluación. La Agencia tendrá también un papel importante a la hora de determinar qué políticas serán objeto de evaluación. Estas se recogerán en dos Planes de Evaluación, uno global y otro específico de cada ministerio, añadiéndose que estos últimos serán responsables en cualquier caso de que se realicen evaluaciones ex ante y ex post de sus políticas más relevantes. El proyecto es menos preciso sobre quién realizará las evaluaciones, excepto por la reserva a la AIReF de los llamados spending reviews. Con carácter general, se exige que las evaluaciones las realicen equipos externos a los órganos gestores de las políticas evaluadas, pero no se indica de donde saldrán tales equipos o quien los designará. Finalmente, se exige que los informes de evaluación se hagan públicos y que los órganos gestores de las políticas evaluadas respondan a los mismos, indicando cómo se implementarán sus recomendaciones o justificando su falta de implementación.
Recuadro 1: Principales disposiciones del proyecto de ley de evaluación
• Organización institucional
- Se autoriza la creación de la Agencia Estatal de Evaluación de Políticas Públicas (Agencia de Evaluación, para abreviar) como organismo público con personalidad jurídica propia adscrito a la Secretaría de Estado de Función Pública (art. 29). Le corresponderá la supervisión y coordinación del sistema estatal de evaluación de políticas públicas, el apoyo a los departamentos ministeriales y la realización de las evaluaciones que se determine (¿por quién?). También será responsable, entre otras cosas, de la formulación de metodologías de evaluación y la selección de los correspondientes indicadores de seguimiento y evaluación, la elaboración de la propuesta del Plan de Evaluaciones Estratégicas del Gobierno y la aprobación de los Planes de Evaluación Departamentales, así como del desarrollo de un mecanismo de seguimiento de los resultados de las evaluaciones. Mientras se pone en marcha la Agencia, asumirá sus funciones esenciales el Instituto para la Evaluación de las Políticas Públicas, heredero de la antigua AEVAL (DT única).
* Agradezco los comentarios y sugerencias de Ginés de Rus, Benito Arruñada, Alfonso Novales, Miguel Ángel García y Jorge Onrubia.
- En cada ministerio se designará una unidad encargada de la coordinación y seguimiento de la actividad de evaluación de políticas (art. 27) - Se prevé la creación mediante decreto de la Comisión Superior de Evaluación como órgano de coordinación, cooperación y participación de los distintos ministerios en materia de evaluación de políticas en la AGE (art. 28) - Se prevé la creación del Consejo General de Evaluación como órgano consultivo, asesor y de participación de la sociedad civil en el ámbito de la evaluación de políticas públicas. (art. 31) • Políticas sujetas a evaluación Se detallarán en el Plan de Evaluaciones Estratégicas del Gobierno (art. 24), elaborado por la Agencia de Evaluación, que será aprobado cuatrienalmente por el Consejo de Ministros y en el Plan de Evaluación Departamental (art. 25), que será elaborado cada dos años por cada Ministerio y aprobado por la Agencia de Evaluación, tras oír a la Comisión Superior de Evaluación. Por otra parte, cada ministerio será responsable de que se realice una evaluación ex ante y otra ex post de aquellas políticas de su competencia que tengan especial relevancia. (art. 26). • ¿Quién hace las evaluaciones? - Las evaluaciones ex post de revisión del gasto público se encomiendan a la Autoridad Independiente de Responsabilidad Fiscal, AIReF (art. 3.2). - La evaluación se realizará por un equipo externo al órgano responsable de la política a evaluar, aunque podrán constituirse equipos mixtos en los que participen responsables de la planificación. (art.15.2) • ¿Qué se hace con las evaluaciones? - Los informes de evaluación serán publicados en el plazo máximo de un mes en el portal de transparencia de la AGE (¿por qué aquí en vez de en la Web de la agencia?) (Art. 22.4) - En un plazo máximo de dos meses tras la publicación del informe final de evaluación, el órgano responsable de la política evaluada deberá elaborar un “informe de resultados”, indicando cómo se va a responder a las recomendaciones del informe de evaluación y explicando, en su caso, las razones por las que se ha optado por no aplicarlas. (art. 23) • Análisis previo de evaluabilidad (art. 11) Se introduce la figura del informe de evaluabilidad de los documentos de planificación estratégica. No queda nada clara la naturaleza de tales informes y en particular en qué se diferenciarían de una evaluación ex ante de tales documentos, o si se trata o no de un informe adicional. La disposición es extremadamente confusa. • Indicadores de seguimiento y evaluación políticas públicas (arts. 12-14) Se pretende que las políticas públicas cuenten desde su diseño con indicadores de seguimiento y evaluación ex ante y ex post. Se pretende que estos indicadores se integren en un Sistema de Indicadores Comunes cuyo diseño y objetivos no se precisan. Todo muy vago. • Otras cuestiones - La ley excluye explícitamente de su ámbito de aplicación, entre otras cosas, cualquier actividad de evaluación que sea objeto de regulación específica (art. 3.3)
Un aspecto llamativo del texto es que excluye explícitamente de su ámbito de aplicación a cualquier actividad de evaluación que ya sea objeto de regulación específica en la normativa existente (art. 3.3). Se reduce así drásticamente el potencial de la norma para ordenar y mejorar el grueso de la considerable actividad evaluadora (o pseudo-evaluadora) que la AGE ya realiza, incluyendo, en particular, las llamadas memorias de impacto normativo, reguladas en el art. 26 de la Ley del Gobierno, que han de acompañar a todas las nuevas leyes, y las evaluaciones ex # 1: Art. 2.6. Dato: es la representación de una variable cualitativa o cuantitativa, que permite el conocimiento exacto de un hecho o sirve para deducir las consecuencias derivadas del mismo.
# 2: Artículo 15.1: A efectos de esta ley, tendrá la consideración de equipo evaluador el órgano o unidad administrativa, persona física o jurídica que recibe el encargo de evaluación.
# 3: Artículo 5. Elementos de la formulación de las políticas públicas con enfoque de evaluación. Las políticas públicas deberán estar sólidamente formuladas en sus aspectos técnicos, basadas en evidencias, deberán responder a las necesidades y desafíos de la sociedad, identificar su valor público a partir de criterios y definir una métrica que permita su evaluación.
# 4: Artículo 8. Concepto y características generales de la evaluación de políticas públicas.
1. La evaluación de una política pública, a efectos de esta ley, es el proceso sistemático y razonado de generación de conocimiento, a partir de la recopilación, análisis e interpretación de información, encaminado a la comprensión global de una política pública, para alcanzar un juicio valorativo, basado en evidencias, respecto de su diseño, puesta en práctica y efectos.
2. La evaluación será independiente, objetiva y participativa. Se fomentará la adopción de un enfoque integral en su realización ….
3. La evaluación tendrá una finalidad y alcance definidos y deberá asentarse en el rigor científico, la objetividad y la solidez metodológica ...
# 5: Artículo 21. Acceso e intercambio de información.
1. El equipo evaluador diseñará un plan de recopilación de datos coherente con la metodología definida en el diseño de la evaluación que contemplará, al menos, las fuentes de datos, el método y el instrumento de recopilación y la muestra. El plan de recopilación de datos podrá ampliarse a lo largo de la evaluación
# 6: Artículo 20. Diseño de la evaluación.
1. En la fase de diseño de la evaluación se delimitarán el alcance y la tipología de la evaluación, se determinarán los elementos de evaluación, y se explicitarán los recursos necesarios para su realización.
2. Deberá describirse la metodología empleada para la recopilación y análisis de la información. En la selección de herramientas, se dará preferencia a la utilización mixta de técnicas cuantitativas y cualitativas y a la triangulación de datos y resultados.
3. Constituyen los elementos de evaluación las preguntas y criterios de evaluación, los indicadores, las fuentes y la tipología de la información. Estos elementos se recogerán en una matriz de evaluación.
4. Como apoyo al diseño de la evaluación se llevará a cabo una reconstrucción de la lógica de la política pública, que consiste en la realización de un análisis del contexto con el apoyo de herramientas tecnológicas de Inteligencia Artificial y Big Data, del problema, de la teoría causal de la política pública y de sus objetivos, actividades, medidas y recursos.
# 7: “… el valor público es una de las palancas de cambio que ha de guiar el proceso de transformación de la administración y comprende una visión transversal con enfoque en los derechos y libertades de la ciudadanía, bajo una mirada global, sistémica y holística.” (preámbulo)
#8: “… se debe tener en cuenta la funcionalidad de la evaluación de las políticas públicas como mecanismo de lucha contra la inequidad, sin perjuicio de la modalidad de evaluación que se establezca, por lo que en esta ley se promueve un enfoque inclusivo, que corrija las inequidades sociales, abordando la heterogeneidad social, regional y comunitaria.” (preámbulo)
# 9: Art. 9: 3. Sin perjuicio de la modalidad de evaluación que se establezca, se favorecerán instrumentos que garanticen la participación de los agentes implicados y de los sectores de la ciudadanía afectados por la política pública. Preferentemente, se promoverá un enfoque inclusivo, que corrija las inequidades sociales, abordando la heterogeneidad social y comunitaria. Los resultados obtenidos en el proceso de participación serán públicos y deberán ser tenidos en cuenta en la evaluación. En todo caso, deberá motivarse la omisión de los argumentos deducidos del proceso participativo.
(*) Nota: cursivas añadidas.
post que pueden exigirse en tales memorias.1 El efecto previsible de la nueva ley, por tanto, será el de añadir una capa adicional de nuevos informes de evaluación a los ya existentes, sobre cuyo limitado valor añadido existe un amplio consenso.
Desafortunadamente, no hay casi nada en el proyecto que permita esperar que la nueva generación de informes de evaluación vaya a ser de mejor calidad que los ya existentes. Así, parece que se ha optado por recuperar la antigua AEVAL sin abordar los problemas que causaron el fracaso de su encarnación anterior, básicamente la dificultad de acceder a personal con los conocimientos técnicos necesarios y la ausencia de incentivos por parte de unos evaluadores excesivamente cercanos a los evaluados para someter las iniciativas políticas a un análisis riguroso. Se mantiene, en particular, la ubicación de la Agencia de Evaluación en la Secretaría de Estado de Función Pública y, a la espera de que se redacten sus estatutos, no se prevén grandes sorpresas en cuanto a la composición y designación de sus órganos de dirección, su nivel de independencia del Gobierno o su facilidad de acceso a personal externo con buena formación técnica en materia de evaluación, que se concentra fundamentalmente en las universidades y centros de investigación.
Tampoco hay rastro alguno en el proyecto de mejoras metodológicas, más bien al contrario. El texto incluye secciones sobre el marco conceptual y la práctica de la evaluación de las políticas públicas, los indicadores de seguimiento y evaluación de tales políticas, el equipo evaluador y el proceso de evaluación, pero todas ellas son perfectamente prescindibles por su pasmosa superficialidad y falta de concreción. Así, no tiene mucho sentido que una norma legal se dedique a definir formalmente, con discutible fortuna, conceptos de uso común (a título de ejemplo véanse las citas #1 y #2 en el Recuadro 2), a reiterar obviedades y piadosos deseos en disposiciones vacías de contenido (#3 a #6.1- 6.3) o caiga en el sinsentido o en el puro mantra (#6.4 y #7).
Peor aún, en el texto se atisban elementos de una concepción muy discutible de qué es y cómo debe hacerse la evaluación de políticas. En relación con las citas #8 y #9, resultan muy preocupantes la referencia a la evaluación como “mecanismo de lucha contra la inequidad” y el énfasis sobre la “participación de los agentes implicados y de los sectores de la ciudadanía afectados.” La lucha contra la inequidad es ciertamente uno de los posibles objetivos de las políticas públicas, pero no debe serlo de la evaluación per se. Ésta debería limitarse a cuantificar los costes y los beneficios de las políticas analizadas, incluyendo sus posibles efectos distributivos, y a comprobar si sus objetivos se están cumpliendo o no y si pudiera haber formas más eficientes de cumplirlos. En la misma línea, a la hora de cuantificar los costes y beneficios de una determinada política pública, puede ser útil consultar a los afectados, pero estos no deberían ser nunca participantes activos en la evaluación, al menos si aspiramos a que ésta mantenga una cierta objetividad.
1 Para más detalles sobre la normativa relevante, que en buena parte tiene su origen en el informe de la Comisión para la Reforma de las Administraciones Públicas (CORA), véase de la Fuente et al (2021). En el mismo trabajo se ofrece también un análisis de la experiencia previa de nuestro país en este campo y se avanzan algunas propuestas sobre el diseño del sistema de evaluación de políticas públicas que podrían ayudar a mejorar el proyecto de ley.
En conclusión, pese a sus indudables buenas intenciones, el proyecto de ley de evaluación que actualmente se está tramitando en el Congreso es un texto decepcionante, poco ambicioso y confuso, que corre el riesgo de resultar contraproducente. Convendría que Sus Señorías le dieran otra vuelta si realmente aspiran a mejorar las cosas en este ámbito. Convendría también que el Gobierno se tomara un poco más en serio la elaboración de sus proyectos normativos. La mala calidad técnica de algunos de ellos resulta francamente preocupante.
Referencias
Boletín Oficial de las Cortes Generales, Congreso de los Diputados (BOCG-C, 2022). Proyecto de Ley de institucionalización de la evaluación de políticas públicas en la Administración General del Estado. https://www.congreso.es/public_oficiales/L14/CONG/BOCG/A/BOCG-14-A-103- 1.PDF#page=1
de la Fuente, A. (coordinador), G. de Rus, M. Fernández, M. A. García, M. Jansen, S. Jiménez, A. Novales, J. Onrubia, J. Pérez Renovales, E. Sastre y J. Sicilia (2021). “La evaluación de políticas públicas en España: antecedentes, situación actual y propuestas para una reforma.” Informes y papeles del Grupo de Trabajo Mixto Covid-19. FEDEA Policy Paper no. 2021-09. Madrid. https://bit.ly/3mnb4Y5