TRIBUNAL DE CUENTAS EUROPEO

12, rue Alcide De Gasperi

1615 Luxembourg

LUXEMBOURG

Tel. +352 4398-1

E-mail: eca-info@eca.europa.eu

Internet: http://eca.europa.eu

Twitter: @EUAuditorsECA

YouTube: EUAuditorsECA

Más información sobre la Unión Europea, en el servidor Europa de internet (http://europa.eu).

Luxemburgo: Oficina de Publicaciones de la Unión Europea, 2015

Print | ISBN 978-92-872-3388-2 | ISSN 1831-0842 | doi:10.2865/544115 | QJ-AB-15-019-ES-C
PDF | ISBN 978-92-872-3421-6 | ISSN 1977-5687 | doi:10.2865/60028 | QJ-AB-15-019-ES-N
EPUB | ISBN 978-92-872-3392-9 | ISSN 1977-5687 | doi:10.2865/377340 | QJ-AB-15-019-ES-E

© Unión Europea, 2015

Reproducción autorizada, con indicación de la fuente bibliográfica.

Para utilizar o reproducir el anexo de la p. 41 es necesario solicitar directamente la autorización al titular de los derechos de autor.

CÓMO OBTENER LAS PUBLICACIONES
DE LA UNIÓN EUROPEA

Publicaciones gratuitas:

•Un único ejemplar:
A través de EU Bookshop (http://bookshop.europa.eu).

•Varios ejemplares/pósteres/mapas:
En las representaciones de la Unión Europea (http://ec.europa.eu/represent_es.htm),
en las delegaciones en terceros países (http://eeas.europa.eu/delegations/index_es.htm)
o contactando con Europe Direct a través de http://europa.eu/europedirect/index_es.htm
o del teléfono 00 800 6 7 8 9 10 11 (gratuito en toda la Unión Europea) (*).

(*)Tanto la información como la mayoría de las llamadas (excepto desde algunos operadores, cabinas u hoteles) son gratuitas.

Publicaciones de pago:

•A través de EU Bookshop (http://bookshop.europa.eu).

ES
2015

Nº 21

Informe Especial

Análisis de los riesgos
de un enfoque orientado
a los resultados en las
acciones de desarrollo
y cooperación de la UE

(presentado con arreglo al artículo 287, apartado 4, párrafo segundo, del TFUE)

Equipo auditor

En los informes especiales del TCE se exponen los resultados de sus auditorías de gestión y de cumplimiento de ámbitos presupuestarios o de temas de gestión específicos. El Tribunal selecciona y concibe estas tareas de auditoría con el fin de que tengan el máximo impacto teniendo en cuenta los riesgos relativos al rendimiento o a la conformidad, el nivel de ingresos y de gastos correspondiente, las futuras modificaciones, y el interés político y público.

La presente auditoría de gestión fue realizada por la Sala de Fiscalización III que está especializada en los ámbitos de gasto de acciones exteriores. La Sala está presidida por Karel Pinxten, Miembro del Tribunal y ponente del presente informe. La auditoría fue dirigida por Philippe Froidure, director de la Sala III, con la colaboración de su asistente Hubert Devillé.

De izquierda a derecha: P. Froidure, K. Pinxten, H. Devillé.

Índice

Resumen

1. Introducción

1.1. Por qué importan los resultados

1.2. ¿Qué es un resultado?

1.3. Marco general de resultados de la cooperación y el desarrollo de la UE

2. Política de resultados y marco regulador

2.1. Contexto político

2.1.1. Objetivos de desarrollo de alto nivel

2.1.2. Foros de alto nivel sobre la eficacia de la ayuda al desarrollo

2.1.3. Comunicaciones de la UE

2.2. Marco jurídico y regulador

3. Nuestro examen

4. Principales ámbitos de riesgo

4.1. Formulación de objetivos e indicadores

4.1.1. Terminología

4.1.2. Concordancia y coherencia entre documentos

4.1.3. Fijación de objetivos SMART y de indicadores claros

4.1.4. Definición del compromiso de reforma de un país socio como objetivo

4.2. Creación de la cadena de resultados

4.2.1. Engarzar acciones y resultados en una cadena lógica clara

4.2.2. Contribución frente a atribución

4.3. Aumento de la complejidad debido a la integración de aspectos transversales

4.4. Armonización entre los instrumentos y marcos de los distintos socios para el desarrollo

4.4.1. Adecuación a los marcos de resultados de los países socios

4.4.2. Armonización de los instrumentos utilizados por las partes interesadas en el desarrollo

4.4.3. Respuesta a la yuxtaposición de diferentes estructuras de rendición de cuentas

4.5. Insuficiencias en la evaluación y la elaboración de informes de resultados

4.6. Consolidación y comunicación de datos

4.7. Calidad de los datos

4.8. Resultado de la ejecución presupuestaria

4.9. Cambios en el contexto de las acciones de la UE

4.9.1. Gestión de riesgos y elección de las modalidades de ejecución

4.9.2. Factores exógenos

5. Conclusiones y recomendaciones

5.1. Conclusiones

5.2. Recomendaciones

Anexo
—
Marco de evaluación integral para las evaluaciones del apoyo presupuestario

Respuestas de la Comisión

Resumen

I

Cada año, la UE destina cuantiosos recursos a la ayuda al desarrollo de los países más pobres del mundo. A fin de garantizar la credibilidad de la ayuda al desarrollo, resulta fundamental que los resultados obtenidos con dichos recursos sean demostrables.

II

Recientemente, el Parlamento Europeo y el Consejo han manifestado un renovado interés por orientar las políticas de desarrollo y cooperación de la UE a los resultados en lugar de centrarlas en las actividades. Además, en diciembre de 2013 los servicios de la Comisión publicaron el documento de trabajo «Paving the way for an EU Development and Cooperation results framework» (Sentar las bases de un marco de la UE para los resultados del desarrollo y la cooperación) y en marzo de 2015 presentaron el citado marco mediante la publicación de otro documento de trabajo titulado «Launching the EU International Cooperation and Development Results Framework» (Lanzamiento del marco de resultados de la cooperación internacional y el desarrollo de la UE).

III

En nuestro análisis hemos identificado nueve ámbitos de riesgo principales relacionados con el enfoque orientado a los resultados en las acciones de desarrollo y cooperación de la UE.

IV

Dicho análisis ha revelado que la Comisión había identificado correctamente estos ámbitos de riesgo en una amplia variedad de documentos y ha puesto asimismo de manifiesto el interés que despiertan las acciones que está emprendiendo dicha institución para el lanzamiento de un marco de resultados de la cooperación internacional y el desarrollo de la UE.

V

No obstante, es preciso tomar medidas adicionales con objeto de aprovechar plenamente el potencial de las iniciativas de la Comisión para mejorar los resultados de la cooperación y el desarrollo de la UE. En este sentido, hemos formulado una serie de recomendaciones que la Comisión debería tener en cuenta.

1. Introducción

1.1. Por qué importan los resultados

01

Los recursos destinados a la ayuda para el desarrollo de los países más pobres del mundo son cuantiosos. En julio de 2014, la Comisión, tras subrayar que no existe una única fuente de datos sobre financiación del desarrollo, calculó que los recursos acumulados a disposición de los países en desarrollo, incluida la financiación pública y privada nacional e internacional, durante el decenio comprendido entre 2002 y 2012 se situaban en torno a los 2 171 millones de dólares estadounidenses.

02

En virtud del compromiso de alcanzar el objetivo de ayuda oficial al desarrollo (AOD) acordado internacionalmente de una proporción AOD/RNB del 0,7 % en 2013, el gasto colectivo neto de la UE (incluido el gasto de los Estados miembros) fue de 56 500 millones de euros, lo que equivale a una proporción AOD/RNB del 0,43 % de la RNB colectiva de la UE¹.

03

Los importes que se prevé destinar a acciones de desarrollo y cooperación en el período 2014-2020 ascienden a 19 661 millones de euros con cargo al presupuesto general de la UE² y 30 506 millones de euros para los países ACP con cargo al Fondo Europeo de Desarrollo³.

04

A fin de garantizar la credibilidad de la ayuda al desarrollo, sobre todo en lo que respecta a los instrumentos utilizados, los métodos de prestación de la ayuda y los fondos en juego, resulta fundamental que los resultados obtenidos con este apoyo sean demostrables.

05

La rendición de cuentas pública constituye también un aspecto importante. En un informe publicado en enero de 2014, el Parlamento Europeo señaló que «la presupuestación por actividades [seguía] siendo el principio fundamental a la hora de elaborar el presupuesto de la Unión» y lamentó que algunas de las propuestas para el período de programación 2014-2020 continuaran «basándose principalmente en los recursos o insumos (orientación hacia el gasto) y que, por tanto, [siguieran] centrándose en el cumplimento de las normas y no en el rendimiento». El Parlamento señaló asimismo que el marco de rendimiento empleado por la Comisión para el marco financiero plurianual 2014-2020 debía abarcar los tres elementos principales siguientes⁴:

a)el cumplimiento de los objetivos del programa (resultados);

b)una sólida gestión del programa por parte de la Comisión y los Estados miembros;

c)la contribución de los resultados del programa y una sólida gestión al logro de los principales objetivos de la Unión.

1.2. ¿Qué es un resultado?

06

Un resultado es una consecuencia medible que se deriva, directa o indirectamente, de una relación de causa y efecto. Un enfoque orientado a los resultados en materia de desarrollo y cooperación se basa en el principio de que las intervenciones de desarrollo y cooperación deben centrarse en la consecución de resultados en lugar de en la gestión de actividades o procesos. Los resultados suelen abarcar tres categorías⁵:

a)realización: lo que se produce o consigue con los recursos asignados a una intervención (por ejemplo, cursos de formación impartidos a desempleados o carreteras construidas);

b)efecto: cambio derivado de la ejecución de una intervención que suele estar relacionado con los objetivos de esta; los efectos pueden ser esperados o inesperados, positivos o negativos (por ejemplo, que las personas formadas encuentren trabajo o la mejora de la accesibilidad a una determinada zona gracias a la construcción de una carretera);

c)impacto: consecuencias socioeconómicas a largo plazo que pueden observarse durante un período determinado al término de una intervención y que pueden afectar a destinatarios directos o indirectos de la misma.

Gráfico 1

Concepto de resultados

1.3. Marco general de resultados de la cooperación y el desarrollo de la UE

07

Además de los mecanismos existentes para medir y comunicar los resultados, una iniciativa destacable adoptada por la Comisión en diciembre de 2013 fue la publicación de un documento de trabajo titulado «Paving the way for an EU Development and Cooperation Results Framework» (Establecimiento de las bases de un marco de resultados de la cooperación y el desarrollo de la UE) con el siguiente objetivo:

«presentar los procesos […] impulsados por la Comisión para cumplir el compromiso del “Programa para el Cambio” de reforzar su capacidad de seguimiento y comunicación de los resultados operativos obtenidos en la ejecución de los proyectos y programas de cooperación y desarrollo financiados por la UE»⁶.

08

Este documento de trabajo de los servicios se basó en las conclusiones de un estudio llevado a cabo por la Comisión en 2013, cuya finalidad era proporcionar un análisis de las enseñanzas extraídas de cinco agencias de desarrollo que ya estaban implantando su propio marco de resultados, y exponía un planteamiento preliminar para la confección de un marco general de resultados de la cooperación y el desarrollo de la UE que describía del siguiente modo:

«Un marco de resultados es un instrumento que utilizan los distintos socios del desarrollo para medir los resultados obtenidos con respecto a los objetivos estratégicos de desarrollo. El marco de resultados puede considerarse una articulación de los distintos niveles o cadenas de resultados que se espera lograr con la ejecución de una estrategia, programa o proyecto determinados».

09

El marco de resultados de la cooperación y el desarrollo de la UE tendrá dos funciones principales: instrumento de rendición de cuentas, para informar a las partes interesadas acerca de los resultados obtenidos, e instrumento de gestión, para suministrar datos de rendimiento que sirvan de base para la toma de decisiones de gestión.

10

En junio de 2014, los servicios de la Comisión publicaron otro documento de trabajo con objeto de describir el marco para el seguimiento, la evaluación y la elaboración de informes hasta el final del próximo marco financiero plurianual derivado de los instrumentos jurídicos en los que se sustenta la nueva generación de programas y del trabajo complementario de la Comisión para confeccionar dicho marco, denominado «marco MORE». Este documento de trabajo proporciona una visión de conjunto de los objetivos generales y específicos de los instrumentos en cada ámbito político, los principales indicadores asociados a cada objetivo, los mecanismos de seguimiento, y el calendario y contenido de las evaluaciones e informes necesarios⁷.

11

En abril de 2014, el Parlamento Europeo manifestó su apoyo a «los continuos esfuerzos de la Comisión por pasar de un planteamiento basado en los insumos a un planteamiento orientado hacia la obtención de resultados y efectos»⁸. En mayo de 2014, el Consejo acogió con satisfacción el documento de trabajo de los servicios de la Comisión de diciembre de 2013 «Paving the way for an EU Development and Cooperation results framework» y manifestó su interés por conocer «los resultados de la fase piloto con miras a la finalización oportuna del marco de la UE para los resultados del desarrollo y la cooperación, de modo que la declaración de los resultados obtenidos en 2014 se pueda presentar en el primer semestre de 2015»⁹.

12

En marzo de 2015, los servicios de la Comisión publicaron un nuevo documento de trabajo titulado «Launching the EU International Cooperation and Development Results Framework» (Lanzamiento del marco de la UE para los resultados de la cooperación internacional y el desarrollo de la UE). La finalidad de este documento era traducir los planteamientos expuestos en el documento de trabajo de los servicios de la Comisión de 2013 (véase el apartado 7) en planes operativos de la Dirección General de Cooperación Internacional y Desarrollo de elaboración de informes anuales a partir de 2015 con el fin de demostrar cómo contribuyen los fondos gastados a la consecución de los objetivos estratégicos¹⁰.

1SWD(2014) 235 final: «EU Accountability Report 2014 on Financing for Development - Review of progress by the EU and its Member States» (Informe de 2014 sobre la responsabilidad de la UE en la financiación del desarrollo: Análisis de los avances logrados por la UE y sus Estados miembros).

2http://ec.europa.eu/budget/mff/figures/index_en.cfm#documents, enero de 2015.

3Publicación de la Comisión titulada Multiannual Financial Framework 2014-2020 and EU Budget 2014: The figures (Marco financiero plurianual 2014-2020 y presupuesto 2014 de la UE: Resumen de datos).

4Informe sobre la evaluación de las finanzas de la Unión basada en los resultados obtenidos: un nuevo instrumento para el procedimiento mejorado de aprobación de la gestión de la Comisión Europea, ref. A7-0068/2014, 30 de enero de 2014.

5A efectos del presente informe, se utilizará la terminología empleada en los instrumentos de financiación de la acción exterior con respecto a estas tres categorías de resultados. Es posible que en otros documentos de la UE se utilicen términos similares con otros significados.

6SWD(2013) 530 final de 10 de diciembre de 2013.

7SWD(2014) 200 final de 26 de junio de 2014, «Overview of the Monitoring, Reporting and Evaluation Frameworks for the MFF 2014-2020 Programmes» (Descripción general de los marcos de seguimiento, evaluación y elaboración de informes para los programas del MFP 2014-2020) y que acompaña al documento: Informe de la Comisión al Parlamento Europeo y al Consejo sobre la evaluación de las finanzas de la Unión basada en los resultados obtenidos.

8Decisión del Parlamento Europeo, de 3 de abril de 2014, sobre la aprobación de la gestión en la ejecución del presupuesto general de la Unión Europea para el ejercicio 2012, sección III - Comisión y agencias ejecutivas, ref. P7_TA-PROV(2014)0287, sección «Relaciones exteriores», apartado 264.

9Conclusiones del Consejo sobre un marco de la UE para los resultados del desarrollo y la cooperación, sesión del Consejo de la Unión Europea (Asuntos Exteriores/Desarrollo) de 19 de mayo de 2014.

10SWD(2015) 80 final de 26 de marzo de 2015.

2. Política de resultados y marco regulador

2.1. Contexto político

13

El artículo 17 del Tratado de la Unión Europea define el papel que desempeña la Comisión en la escena internacional. La Comisión colabora, en particular, con las Naciones Unidas y la Organización de Cooperación y Desarrollo Económicos (OCDE) en asuntos de cooperación para el desarrollo y, en este contexto, se acuerdan objetivos de desarrollo de alto nivel, así como principios para prestar una ayuda más eficaz¹¹.

2.1.1. Objetivos de desarrollo de alto nivel

14

En septiembre de 2000, la Asamblea General de las Naciones Unidas aprobó la Declaración del Milenio de las Naciones Unidas, por la que sus miembros se comprometieron a forjar una nueva alianza mundial con el fin de reducir la pobreza extrema y fijar una serie de objetivos acotados en el tiempo —con 2015 como fecha límite—, que comúnmente se denominan objetivos de desarrollo del milenio (ODM).

15

En junio de 2012, la Conferencia de las Naciones Unidas sobre el Desarrollo Sostenible, también conocida como «Río+20», acordó iniciar un proceso para la formulación de una serie de objetivos de desarrollo sostenible (ODS), que se basarán en los ODM¹². En septiembre de 2013, los dirigentes mundiales renovaron su compromiso de cumplir los ODM y acordaron celebrar una cumbre de alto nivel en septiembre de 2015 para adoptar un nuevo conjunto de objetivos sobre la base de los logros de los ODM¹³. En la actualidad hay varios procesos en marcha para llevar a cabo un debate mundial sobre el programa más amplio posterior a 2015. En diciembre de 2014, el Secretario General de las Naciones Unidas publicó un Informe de síntesis sobre la agenda de desarrollo sostenible después de 201514,15.

2.1.2. Foros de alto nivel sobre la eficacia de la ayuda al desarrollo

16

La Comisión Europea y los Estados miembros de la UE han participado en diversos foros de alto nivel destinados a mejorar la eficacia de los programas de ayuda al desarrollo:

a)la Declaración de Roma sobre la Armonización (2003);

b)la Declaración de París sobre la Eficacia de la Ayuda al Desarrollo (2005);

c)el Programa de Acción de Accra (2008);

d)la Alianza de Busan para la Cooperación Eficaz al Desarrollo (2011);

e)la Primera Reunión de Alto Nivel de la Alianza Mundial de Cooperación Eficaz para el Desarrollo, celebrada en 2014 en México con el título «Orientarse hacia una agenda del desarrollo incluyente post-2015».

17

En estos foros, los donantes y los países socios llegaron a un consenso y acordaron, entre otros, los siguientes principios relativos a los resultados del desarrollo:

a)reforzar la capacidad de los Gobiernos de los países socios para desempeñar un papel más preponderante y asumir la responsabilidad de los resultados del desarrollo;

b)colaborar con los países socios para apoyarse, en la medida de lo posible, en los marcos de seguimiento y elaboración de informes orientados a los resultados;

c)armonizar los requisitos de seguimiento y elaboración de informes de los donantes;

d)mejorar la gestión orientada a los resultados por parte de los donantes y los países socios;

e)prestar más atención a los resultados del desarrollo.

2.1.3. Comunicaciones de la UE

18

El compromiso de la Unión Europea con la consecución de los objetivos de desarrollo acordados internacionalmente y con la mejora de la eficacia de la ayuda ha quedado patente en diversas comunicaciones y declaraciones públicas que manifiestan, de una forma u otra, la importancia de los resultados del desarrollo y la cooperación:

a)Declaración conjunta del Consejo y de los Representantes de los Gobiernos de los Estados miembros sobre el consenso europeo para el desarrollo [ref. 14820/05 de 24 de febrero de 2006].

b)«Ayudar a los países en desarrollo a afrontar la crisis» [COM(2009) 160 final de 8 de abril de 2009].

c)Plan de acción de la UE en doce puntos en apoyo de los Objetivos de Desarrollo del Milenio [COM(2010) 159 de 21 de abril de 2010].

d)Secretaría General del Consejo: Marco operativo sobre la eficacia de la ayuda [ref. 18239/10 de 11 de enero de 2011];

e)Incremento del impacto de la política de desarrollo de la UE: Programa para el Cambio [COM(2011) 637 final de 13 de octubre de 2011].

f)Una vida digna para todos: Acabar con la pobreza y dar al mundo un futuro sostenible [COM(2013) 92 final de 27 de febrero de 2013].

g)Después de 2015: Hacia un enfoque global e integrado para financiar la erradicación de la pobreza y la consecución del desarrollo sostenible [COM(2013) 531 de 16 de julio de 2013].

2.2. Marco jurídico y regulador

19

Las principales disposiciones en materia de rendición de cuentas de los resultados obtenidos y de fiscalización¹⁶ se encuentran en el Tratado de Funcionamiento de la Unión Europea (TFUE), en los reglamentos financieros aplicables al presupuesto general de la UE y a los Fondos Europeos de Desarrollo, y en el Reglamento por el que se establecen normas y procedimientos de ejecución comunes de los instrumentos de la Unión para la financiación de la acción exterior.

a)El Tratado de Funcionamiento de la Unión Europea dispone que:

i)la Comisión presentará al Parlamento Europeo y al Consejo un informe de evaluación de las finanzas de la Unión basado en los resultados obtenidos (artículo 318, apartado 2); y

ii)el Tribunal de Cuentas podrá presentar en cualquier momento sus observaciones, que podrán consistir en informes especiales (artículo 287, apartado 4)¹⁷.

b)El Reglamento sobre las normas financieras aplicables al presupuesto general de la Unión (en lo sucesivo, el «Reglamento Financiero») prevé18, 19:

i)Para todos los sectores de actividad cubiertos por el presupuesto se fijarán objetivos específicos, cuantificables, realizables, pertinentes y con fecha determinada. La consecución de dichos objetivos se controlará mediante indicadores de resultados establecidos por actividad (artículo 30, apartado 3).

ii)Con objeto de mejorar el proceso de adopción de decisiones, las instituciones realizarán evaluaciones previas y evaluaciones a posteriori de todos los programas y actividades que ocasionen gastos importantes (artículo 30, apartado 4).

iii)La Comisión adjuntará al proyecto de presupuesto una serie de documentos, tales como declaraciones de actividad que contengan información sobre la consecución de todos los objetivos específicos, cuantificables, realizables, pertinentes y con fecha determinada fijados con anterioridad para las diferentes actividades, así como sobre los nuevos objetivos medidos por medio de indicadores [artículo 38, apartado 3, letra e), inciso i)], una justificación completa, incluido un análisis de costes y beneficios, de las modificaciones propuestas del importe de los créditos [artículo 38, apartado 3, letra e), inciso ii)], y una evaluación resumida de los resultados pertinentes para las modificaciones del presupuesto [artículo 38, apartado 3, letra e), inciso v)].

iv)El ordenador delegado rendirá cuentas ante su institución del ejercicio de sus funciones en un informe anual de actividades que contendrá datos financieros y de gestión y en el que se recogerán los resultados de las operaciones en relación con los objetivos fijados, los riesgos asociados a tales operaciones, la forma en que se han utilizado los recursos facilitados y la efectividad y eficiencia de los sistemas de control interno (artículo 66, apartado 9).

v)Los informes especiales del Tribunal de Cuentas deberán ser comunicados sin demora al Parlamento Europeo y al Consejo (artículo 163).

c)El Reglamento por el que se establecen normas y procedimientos de ejecución comunes de los instrumentos de la Unión para la financiación de la acción exterior dispone lo siguiente²⁰:

i)Las decisiones de financiación deben incluir en un anexo una descripción de cada acción, especificando sus objetivos, las principales actividades, los resultados que se espera conseguir, métodos de ejecución, presupuesto y calendario indicativo y los mecanismos de control de resultados (considerando 5).

ii)La acción exterior de la Unión en el marco de los Instrumentos debe contribuir a resultados claros (respecto de rendimientos, consecuencias y efectos); los resultados de la acción exterior de la Unión y la eficacia de un instrumento concreto deben ser objeto de un seguimiento y una evaluación sobre la base de indicadores predefinidos, claros, transparentes y, en su caso, específicos para cada país y mensurables (considerando 12).

iii)En los programas de acción se especificarán, para cada una de las acciones, los objetivos que se persigue, los resultados que se espera conseguir y las principales actividades (artículo 2).

iv)A partir de 2015, la Comisión presentará al Parlamento Europeo y al Consejo un informe anual sobre la consecución de los objetivos de cada Reglamento mediante indicadores que midan los resultados logrados y la eficacia del Instrumento en cuestión: dicho informe evaluará los resultados de la ayuda financiera de la Unión sirviéndose, en la medida de lo posible, de indicadores específicos y mensurables relativos a su papel en la consecución de los objetivos de los instrumentos (artículo 13).

11http://ec.europa.eu/europeaid/policies/dialogo-sobre-desarrollo-internacional_es.

12Documento final de la Conferencia de las Naciones Unidas sobre el Desarrollo Sostenible (Río+20), «El futuro que queremos».

13Asamblea General de las Naciones Unidas: «Aplicación y seguimiento integrados y coordinados de los resultados de las grandes conferencias y cumbres de las Naciones Unidas en las esferas económica y social y esferas conexas. Seguimiento de los resultados de la Cumbre del Milenio», ref. A/68/L.4.

14Asamblea General de las Naciones Unidas: «El camino hacia la dignidad para 2030: acabar con la pobreza y transformar vidas protegiendo el planeta. Informe de síntesis del Secretario General sobre la agenda de desarrollo sostenible después de 2015», ref. A/69/700.

15Véase también el documento COM(2015) 44 final, de 5 de febrero de 2015, «Una asociación mundial para erradicar la pobreza e impulsar el desarrollo sostenible después de 2015».

16La obligación de rendir cuentas se refiere principalmente al control democrático de las políticas y actividades de los órganos públicos, mientras que la fiscalización tiene que ver con las auditorías financieras y de gestión de las políticas y de los correspondientes fondos públicos y con su vinculación con el proceso de rendición de cuentas. Véase el análisis panorámico del Tribunal de Cuentas Europeo «Los dispositivos de rendición de cuentas y fiscalización de la UE: Lagunas, redundancias y desafíos», 2014 (http://eca.europa.eu).

17Véase asimismo el artículo 163 del Reglamento Financiero.

18Reglamento (UE, Euratom) nº 966/2012 del Parlamento Europeo y del Consejo, de 25 de octubre de 2012, sobre las normas financieras aplicables al presupuesto general de la Unión y por el que se deroga el Reglamento (CE, Euratom) nº 1605/2002 del Consejo (DO L 298 de 26.10.2012, p. 1).

19Los reglamentos financieros de los Fondos Europeos de Desarrollo contienen disposiciones similares.

20Reglamento (UE) nº 236/2014 del Parlamento Europeo y del Consejo, de 11 de marzo de 2014, por el que se establecen normas y procedimientos de ejecución comunes de los instrumentos de la Unión para la financiación de la acción exterior (DO L 77 de 15.3.2014, p. 95).

3. Nuestro examen

20

Nuestro examen tiene por objeto presentar en un único documento una visión general de lo que el Tribunal considera los principales ámbitos de riesgo relacionados con un enfoque orientado a los resultados en las acciones de desarrollo y cooperación de la UE, e ilustra estos riesgos con la experiencia adquirida por el Tribunal en sus fiscalizaciones de la acción exterior. Este documento es especialmente pertinente en el contexto del actual debate sobre el marco de rendimiento de la Comisión (véase el apartado 5) y la aplicación de un marco de resultados para la acción de la UE en materia de desarrollo y cooperación internacional (véase el apartado 11).

21

Nuestro análisis se ha centrado en responder la siguiente pregunta: ¿ha abordado adecuadamente la Comisión los principales riesgos que conlleva un enfoque orientado a los resultados en las acciones de desarrollo y cooperación de la UE?

22

Nuestro examen, realizado entre octubre de 2014 y enero de 2015, consistió en un control documental de las instituciones de la UE y de otros importantes donantes bilaterales y multilaterales y en entrevistas con funcionarios de la Comisión, incluidos los miembros de la Delegación de la UE en Camboya, y con funcionarios de dos organizaciones internacionales y de diversos organismos ejecutivos. Asimismo, se llevó a cabo una revisión de los informes especiales publicados por el Tribunal de Cuentas Europeo en los últimos años con el fin de ilustrar con ejemplos específicos los principales ámbitos de riesgo identificados. Los plazos de las acciones de desarrollo son tales que en ocasiones los ejemplos se refieren a acciones emprendidas hace varios años.

4. Principales ámbitos de riesgo

23

A partir de su examen, el Tribunal identificó nueve ámbitos de riesgo principales, los cuales se detallan e ilustran a continuación. Los ámbitos se refieren a:

a)el uso coherente de la terminología relacionada con los resultados (sección 4.1);

b)la creación de una cadena de resultados clara (sección 4.2);

c)el aumento de la complejidad debido a la integración de aspectos transversales (sección 4.3);

d)la armonización de los instrumentos y marcos entre los distintos socios para el desarrollo (sección 4.4);

e)la evaluación y la elaboración de informes de resultados (sección 4.5);

f)la consolidación de los datos y el resumen de los resultados (sección 4.6);

g)la calidad de los datos (sección 4.7);

h)la atención prestada al resultado de la ejecución presupuestaria (sección 4.8); y

i)los cambios en el contexto de las acciones de la UE (sección 4.9).

4.1. Formulación de objetivos e indicadores

4.1.1. Terminología

24

Habida cuenta del número y diversidad de partes que intervienen de forma directa o indirecta en la ejecución del nuevo marco de la UE para los resultados del desarrollo y la cooperación, es indispensable que empleen una terminología común y coherente.

25

Sin embargo, el Tribunal constató que la terminología relacionada con los resultados no siempre se utiliza de forma coherente (véase el recuadro 1).

26

La falta de claridad y coherencia en la terminología empleada puede provocar malentendidos y confusión entre los participantes en las acciones de desarrollo y cooperación de la UE, sobre todo al evaluar las acciones.

Recuadro 1

Ejemplos de problemas terminológicos

Mientras que el Reglamento por el que se establecen normas y procedimientos de ejecución comunes de los instrumentos de la Unión para la financiación de la acción exterior²¹ dispone que los resultados abarcan realizaciones, efectos e impactos (véase el apartado 19), el plan de gestión de EuropeAid para 2014 utiliza una clasificación distinta en la que los las consecuencias incluyen los resultados y los impactos²².

Aunque los reglamentos prevén objetivos específicos, mensurables, realizables, pertinentes y con fecha determinada (SMART), el Manual del seguimiento orientado a los resultados de EuropeAid, documento de referencia para todas sus actividades de seguimiento orientado a los resultados, confunde objetivos e indicadores al aludir a los «IOV (indicadores objetivamente verificables) SMART»; asimismo, la circular presupuestaria de 2014 de la Comisión definía «SMART» como el conjunto de condiciones mínimas que han de cumplir los objetivos e indicadores²³.

Aunque los reglamentos prevén indicadores predefinidos, claros, transparentes y, en su caso, específicos para cada país y mensurables, en ocasiones se utilizan otros conjuntos de criterios de calidad, como señaló EuropeAid en sus directrices de 2012 sobre apoyo presupuestario²⁴, en las que afirmaba que existen diferentes conjuntos de criterios que permiten evaluar la calidad de los indicadores: los indicadores SMART son específicos, mensurables, realizables, realistas y con fecha determinada; los criterios CREAM se refieren a indicadores claros, pertinentes, económicos, adecuados y controlables; las orientaciones sobre los indicadores de Eurostat se centran en la lógica, la pertinencia, la posibilidad de fijar un objetivo, la frecuencia de la recopilación de datos, la idoneidad y la posibilidad de calcular la precisión, y los indicadores RACER, por último, aluden a indicadores pertinentes, reconocidos, creíbles, sencillos y rigurosos.

4.1.2. Concordancia y coherencia entre documentos

27

Los objetivos —y sus correspondientes indicadores— son más fáciles de comprender y es más probable que se cumplan cuando se formulan de forma clara y coherente en todos los documentos que están relacionados entre sí.

28

Los objetivos e indicadores de la UE en materia de desarrollo y cooperación se especifican en una amplia variedad de documentos, entre ellos:

a)el Tratado de Funcionamiento de la Unión Europea;

b)los objetivos de desarrollo de alto nivel (véase la sección 2.1.1);

c)los reglamentos sobre los instrumentos de financiación de la acción exterior²⁵;

d)las estrategias regionales y nacionales de la Comisión y los documentos relacionados con el programa indicativo plurianual;

e)los programas de acción anuales adjuntos a las decisiones de financiación de la Comisión;

f)los convenios de financiación con los países socios, los acuerdos de administración/contribución con organizaciones internacionales, los acuerdos de subvención y los contratos con organizaciones no gubernamentales y prestadores de servicios;

g)las declaraciones de actividad (o de programa) dentro del procedimiento presupuestario;

h)los planes de gestión e informes de actividad anuales de las direcciones generales competentes de la Comisión.

29

La administración de todos estos documentos, que proceden de diferentes entidades y están sujetos a distintos ciclos y procedimientos de adopción, exige la introducción de ajustes en los objetivos e indicadores y, en algunos casos, genera incoherencias. Así, un proyecto piloto sobre la elaboración de informes de resultados llevado a cabo por la Comisión en 2014 en la preparación del marco de resultados reveló que, cuando existían marcos lógicos en la toma de decisiones y en los contratos, el grado de coherencia entre ambos era, en el mejor de los casos, dispar²⁶.

30

En anteriores fiscalizaciones, el Tribunal detectó asimismo incoherencias entre los documentos que definían los objetivos y los indicadores (véase el recuadro 2).

Recuadro 2

Ejemplo de incoherencias entre documentos

«Los informes anuales de actividad contienen siete indicadores para Asia Central. Pese a su relevancia general para el éxito de la ayuda al desarrollo en Asia Central, estos indicadores son diferentes de los que figuran en el documento de estrategia regional y en los programas indicativos plurianuales, y tampoco están relacionados directamente con los resultados previstos de la nueva estrategia de asociación del Consejo para Asia Central»²⁷.

31

Las incoherencias en la formulación de los objetivos e indicadores pueden provocar confusión al determinar la base para evaluar los logros obtenidos.

4.1.3. Fijación de objetivos SMART y de indicadores claros

32

La fijación de objetivos específicos, mensurables, realizables, pertinentes y con fecha determinada (SMART) constituye una obligación jurídica aplicable a todas acciones de desarrollo y cooperación de la UE. Además, los resultados de la acción exterior de la UE y de desarrollo y cooperación de la UE, y la eficacia de cada instrumento deberían ser controlados y evaluados mediante indicadores predefinidos, claros, transparentes y, en su caso, específicos para cada país y mensurables (véase el apartado 19)²⁸.

Gráfico 2

Necesidad de objetivos SMART y de indicadores claros

33

En anteriores fiscalizaciones, el Tribunal constató a menudo que los objetivos fijados eran demasiado imprecisos o poco realistas (véase el recuadro 3), y también que faltaban indicadores o estos eran poco claros (véase el recuadro 4). Incluso cuando los indicadores están bien definidos, su interpretación puede ser relativa y su valor variar de forma considerable dependiendo del contexto en el que se utilicen (véase el recuadro 5).

34

En el proyecto piloto sobre la elaboración de informes de resultados llevado a cabo por la Comisión en 2014 al preparar el marco de resultados también se constató que, en muchas ocasiones, cuando existían marcos lógicos para la toma de decisiones y los contratos, su calidad no era buena, es decir, los objetivos no eran SMART y los indicadores no estaban bien definidos o se basaban en fuentes de datos poco claras.

35

Además de incumplir la normativa, el hecho de no fijar objetivos SMART e indicadores claros afecta negativamente al seguimiento del rendimiento y a la evaluación de los resultados, en perjuicio de la rendición de cuentas y la fiscalización. Por otro lado, los resultados de una intervención también pueden quedar limitados si no se definen bien sus objetivos desde el principio.

Recuadro 3

Ejemplo de objetivos demasiado imprecisos o poco realistas

«La falta de una definición clara de los objetivos de los proyectos se refiere principalmente a los equipos previstos, a su nivel de funcionamiento (cantidad y calidad) y a la población destinataria que según las previsiones se beneficiará de los resultados del proyecto. La falta de medidas claras y cuantificadas obstaculizó significativamente la capacidad de la Comisión para supervisar los avances en la aplicación y posteriormente medir y controlar si los resultados logrados perduraban o no […]»²⁹.

«Asimismo, los objetivos son a veces excesivamente ambiciosos, en particular en el caso de proyectos de las ONG sujetos a presupuestos reducidos y a un plazo de ejecución relativamente corto, especialmente los proyectos de las ONG financiados por el Mecanismo Alimentario, pues tenían un plazo de ejecución de aproximadamente veinte meses, que en la práctica se redujo a unos quince, ya que los primeros meses se dedicaron a la contratación externa y otras actividades preparatorias. En algunos casos, las intervenciones se basan en hipótesis poco razonables sobre las condiciones necesarias para el éxito de su ejecución, como por ejemplo las capacidades institucionales y de gestión de las autoridades nacionales o locales, la calidad de las infraestructuras rurales o la disponibilidad de personal adecuado (por ejemplo, nutricionistas y agentes de los servicios de formación agraria)»³⁰.

Recuadro 4

Ejemplos de indicadores que faltaban o que eran poco claros

«No se incluyeron indicadores de resultados en los convenios de financiación para la ayuda financiera directa Pegase, lo cual dificulta la evaluación por el SEAE, la Comisión y los Estados miembros de los resultados concretos del apoyo […]. La ausencia de indicadores de resultados no permite demostrar los resultados en la captación de nueva financiación y, además, constituye un incumplimiento del requisito explícito del Reglamento sobre el IEVA según el cual deben definirse indicadores de resultados para toda ayuda del IEVA»³¹.

«En Kirguistán el programa de información sobre seguridad alimentaria contenía indicadores imprecisos, como “se entiende que la información sobre seguridad alimentaria es precisa y oportuna”, “se está formando a un número apropiado de agentes” y, “utilidad de las previsiones de cosechas”»³².

Recuadro 5

Ejemplo de cambios en la pertinencia de los indicadores

La UE proporciona apoyo presupuestario a Camboya para el desarrollo de su sector educativo. En los últimos años, el fraude y la corrupción restaban credibilidad a los exámenes escolares de duodécimo grado en dicho país, cuyas tasas de aprobación se situaban en torno a un 80 %. En 2014, las autoridades camboyanas se comprometieron a evitar y, en última instancia, a poner fin a las irregularidades en estos exámenes mediante la introducción de medidas en los centros de examen para evitar las trampas. En un primer examen organizado en agosto de 2014 se obtuvo un índice de aprobados del 25 % y, tras el examen de recuperación organizado en octubre, el índice de aprobados de 2014 ascendió al 41 % de los candidatos, aproximadamente la mitad del índice de 2013. A primera vista, el cambio de este indicador se podría interpretar como un empeoramiento, pero también se puede considerar que refleja una mejora en la fiabilidad y credibilidad de los exámenes.

4.1.4. Definición del compromiso de reforma de un país socio como objetivo

36

Para que los objetivos de una acción resulten significativos desde el punto de vista del desarrollo, es preciso que se correspondan con el logro de un resultado, esto es, un cambio mensurable derivado de la acción.

37

En fiscalizaciones anteriores, el Tribunal constató que, en ocasiones, los objetivos de las acciones de la UE se formulan como compromisos que debe asumir un país socio en un momento determinado, pero, en algunos casos, aunque se cumpliera el objetivo declarado, es decir, que el país socio contrajera el compromiso previsto, posteriormente, la acción tenía poca o ninguna consecuencia significativa, es decir, no producía ningún resultado significativo para el desarrollo (véase el recuadro 6).

38

La eficacia de las acciones de desarrollo y cooperación de la UE puede verse mermada si se considera condición suficiente para el pago de la ayuda el aparente compromiso del país socio con el logro de resultados, sin otras pruebas que demuestren que realmente se están acometiendo reformas significativas.

Recuadro 6

Ejemplo de intervención en la que el compromiso de reforma del país socio no produjo resultados de desarrollo

«[…] la Comisión […] desembolsó su apoyo presupuestario en Kirguistán en tres tramos, cada uno de ellos precedido de una evaluación de los progresos realizados en la consecución de los objetivos de la GFP [gestión de las finanzas públicas]. La Comisión estimó que dichos progresos habían sido lentos, pero justificó el pago de los tres tramos principalmente porque consideraba que el gobierno kirguís mantenía su compromiso de acometer ulteriores reformas, pese a la ausencia de pruebas concluyentes para emitir esta opinión. La esencia del razonamiento de la Comisión para tomar sus decisiones de pago se basa en sus evaluaciones del compromiso de reforma de los países socios en lugar del progreso real logrado»³³.

«La Comisión no logró que las autoridades egipcias hicieran un seguimiento de las cuestiones que había planteado en el diálogo del Subcomité con actuaciones concretas. Aunque las cuestiones planteadas se incluyeran entre las actuaciones al final de la reunión, normalmente, no se llevaban a cabo. Por ejemplo, el Subcomité de 2009 adoptó como línea de actuación estudiar la posibilidad de utilizar la asistencia técnica de la UE para asesorar a Egipto sobre la legislación relativa a las ONG en los Estados miembros, pero no se hizo nada al respecto. […] La Comisión no establecía ningún vínculo entre las críticas a las violaciones de los derechos humanos que formulaba en los informes de seguimiento y la opción de reducir o suspender la asistencia de la UE […]»³⁴.

4.2. Creación de la cadena de resultados

4.2.1. Engarzar acciones y resultados en una cadena lógica clara

39

Para obtener los resultados previstos, es necesario identificar las acciones adecuadas y establecer así un claro vínculo lógico entre las actividades, las realizaciones, el efecto y el impacto35,36. La creación de esta cadena lógica resulta asimismo fundamental para demostrar cómo contribuyen las intervenciones de la UE en materia de desarrollo y cooperación al logro de resultados³⁷.

40

Anteriores informes especiales del Tribunal e informes de evaluación de la Comisión revelaron que el vínculo entre acción y resultados no siempre estaba claramente definido (véase el recuadro 7).

41

En algunas acciones, los convenios de financiación pueden incluir condiciones de pago basadas en resultados con objeto de establecer una relación directa entre los pagos y la obtención de resultados y crear así incentivos para mejorar el rendimiento mediante el pago de la totalidad o parte del importe en función de si se han obtenido todos o parte de los resultados38, 39. En anteriores fiscalizaciones, el Tribunal constató que en algunas ocasiones no se había creado o respetado dicho vínculo (véase el recuadro 8).

42

Si no existe un vínculo claro entre las acciones —o condiciones de pago— y los resultados pretendidos se pueden perder de vista los objetivos de las intervenciones, en perjuicio de la eficacia de la ayuda y de la capacidad de la UE para demostrar los resultados de sus acciones y rendir cuentas de ellos. Asimismo, es posible que políticas que parecen independientes se encuentren en realidad estrechamente relacionadas⁴⁰. A la hora de concebir una acción en el contexto de una determinada política, puede ocurrir que no se tengan suficientemente en cuenta sus posibles resultados con respecto a otras políticas; por ejemplo, un proyecto podría contribuir a la consecución de objetivos relacionados con la sanidad, como combatir la malaria, aunque sus objetivos declarados solo se refieran a la mejora del acceso a un agua potable segura.

Recuadro 7

Ejemplos de vínculo poco claro entre acción y resultados

En las veinticuatro intervenciones examinadas, la estrategia de la Política Europea de Vecindad (PEV) se identifica claramente como el marco que rige la cooperación. En los documentos de programación se hace referencia expresa a uno o varios objetivos de la PEV y las intervenciones se ajustan a lo dispuesto en los documentos de estrategia. Sin embargo, la documentación examinada no muestra ni explica de manera explícita cómo se pretende lograr los objetivos a través de las intervenciones específicas ni de qué forma ayudarán las intervenciones programadas a obtener los resultados previstos⁴¹.

«Los programas de apoyo presupuestario en Malaui y Ruanda hacen referencia a los objetivos de las estrategias nacionales de reducción de la pobreza y a políticas y programas sectoriales, pero no exponen la forma en que pretenden contribuir a los objetivos de los gobiernos»⁴².

Recuadro 8

Ejemplos de intervenciones financieras con condiciones de pago ineficaces

«Un objetivo de los dos programas de apoyo presupuestario específico era contribuir a la mejora de la gestión de la Hacienda pública, pero los programas no establecieron vínculos con el plan de reforma de la gestión de la Hacienda pública del Gobierno, ni determinaron las prioridades que querían apoyar. No está claro qué programas de este tipo pueden alcanzar ese objetivo, pues los fondos se desembolsaban en un solo tramo fijo, sin condiciones vinculadas a los resultados, ni obligaciones en materia de diálogo sobre políticas»⁴³.

«En los proyectos de inversión en infraestructuras viarias, la Comisión utiliza las condiciones de manera tal que los países socios encuentran poco incentivo para su cumplimiento. Las condiciones no son jurídicamente vinculantes, sino que figuran en los convenios de financiación como “medidas de acompañamiento” que deben ser adoptadas por el país socio. En la práctica, la Comisión normalmente aprueba los contratos de obras entre los países socios y los contratistas sin tener en cuenta si se han adoptado o no medidas de acompañamiento, por lo que está sujeta a la obligación contractual de desembolsar la financiación del FED y cuenta con poca autoridad para obligar al país socio a cumplir las condiciones»⁴⁴.

4.2.2. Contribución frente a atribución

43

Las intervenciones de desarrollo y cooperación de la UE se producen en un entorno complejo, en el que muchos otros donantes y numerosos factores exógenos, además de la propia intervención de la UE, influyen —positiva o negativamente— en la obtención de resultados. Por este motivo, además de establecer un vínculo causal entre la acción de la UE en materia de desarrollo y cooperación y sus resultados (véase la sección 4.2.1), podría ser conveniente evaluar la solidez de este vínculo, es decir, qué parte de los resultados puede atribuirse a la acción de la UE.

44

No obstante, como ya señaló la Comisión en su documento de trabajo «Paving the way for an EU development and Cooperation Results Framework» (véase el apartado 7), es difícil medir la contribución de un nivel de la jerarquía de resultados al siguiente, esto es, de realización a efecto, y de efecto a impacto. De hecho, aunque las realizaciones de una intervención pueden atribuirse habitualmente en gran medida a la intervención en sí, no es así en cuanto a su efecto, y menos aún a su impacto, como ya ha constatado el Tribunal en algunas de sus fiscalizaciones (véase el recuadro 9).

45

En el caso concreto de las intervenciones de apoyo presupuestario, no suele ser posible identificar las realizaciones debido a la fungibilidad del apoyo financiero de la UE en el presupuesto del país socio. De hecho, el presupuesto del país socio financia la totalidad de la estrategia de desarrollo del país, de modo que las realizaciones derivadas de las intervenciones de apoyo presupuestario de la UE guardan relación con los cambios introducidos en las políticas y servicios públicos, que no son solo consecuencia del programa de apoyo presupuestario, sino también de otras medidas y decisiones gubernamentales diversas, de otros programas de ayuda exterior y de factores externos no gubernamentales⁴⁵. Todo ello se ilustra claramente en el marco de evaluación integral para las evaluaciones del apoyo presupuestario (véase el anexo).

46

Por consiguiente, aunque pueda establecerse un vínculo lógico claro entre la acción y los resultados, puede resultar complicado, si no imposible, determinar qué parte de los resultados es atribuible a las intervenciones de la UE y cuál se debe a las intervenciones de otros donantes o a otros factores. Por este motivo, es más adecuado hablar de contribución que de atribución. Dejando a un lado sus aspectos técnicos, esta cuestión también tiene una vertiente más política, que es la apropiación de los resultados. De hecho, cuando intervienen muchas partes interesadas, entre ellas la UE, los países socios y otros donantes, puede ocurrir que varias se atribuyan los mismos resultados positivos o que ninguna reconozca su responsabilidad en los negativos.

Recuadro 9

Ejemplo de dificultades para atribuir resultados a la intervención de la UE

«El Tribunal no puede evaluar hasta qué punto los programas de apoyo presupuestario de la UE en Malaui y Ruanda han contribuido a los resultados de los programas gubernamentales, ya que intervienen factores múltiples y complejos […]»⁴⁶.

4.3. Aumento de la complejidad debido a la integración de aspectos transversales

47

En su Comunicación «Incremento del impacto de la política de desarrollo de la UE: Programa para el Cambio» (véase el apartado 18), la Comisión propuso que las actividades de la UE en cada país socio se concentraran en un máximo de tres sectores. La concentración de las intervenciones de la UE en un pequeño número de sectores puede aumentar su impacto y su efecto multiplicador, así como facilitar la gestión de la ayuda de la UE tanto en los países socios como en el ámbito de la Comisión y las delegaciones de la UE⁴⁷.

48

Entretanto, con arreglo a las instrucciones de la UE para la elaboración de los documentos de programación plurianual para el período de programación 2014-2020, los compromisos de política sectorial también deben tener en cuenta nueve aspectos transversales, que comprenden la promoción de los derechos humanos, la igualdad de género, la democracia, la buena gobernanza, los derechos del niño, de las personas con discapacidad y de los pueblos indígenas, la sostenibilidad medioambiental y la lucha contra el VIH/SIDA⁴⁸ (véase el recuadro 10).

Gráfico 3

Sectores prioritarios y aspectos transversales

49

Anteriores informes de evaluación elaborados por la Comisión señalaron las dificultades que plantea la integración de la perspectiva de los derechos humanos en las acciones de desarrollo de la UE (véase el recuadro 11).

50

La integración de aspectos transversales en las intervenciones de la UE puede complicar la jerarquización de los objetivos de tales intervenciones. Este aumento de la complejidad debido a la integración de aspectos transversales en los programas de la UE supone un riesgo añadido para la consecución y la elaboración de informes de resultados.

Recuadro 10

La integración de aspectos transversales en un programa: el ejemplo de Camboya

El Programa Indicativo Plurianual de la Comisión para Camboya 2014-2020 establece tres sectores prioritarios: Agricultura/Gestión de Recursos Naturales, Educación/Competencias y Buena Gobernanza. Asimismo, dispone la integración de varios aspectos transversales: la igualdad de género y la capacitación de las mujeres, la alimentación, el medio ambiente y las tecnologías de la información y la comunicación.

Recuadro 11

Ejemplos de dificultades planteadas al abordar aspectos transversales: el caso de los derechos humanos

La UE ha tratado de plasmar en mayor medida su compromiso e integrar la perspectiva de los derechos humanos en los documentos de programación y los documentos de estrategia regional, los planes de acción bilaterales y los programas temáticos. Los derechos humanos y la democracia constituyen principios básicos de los documentos estratégicos. Sin embargo, se puede observar un fenómeno de «atenuación» del componente de la democracia y los derechos humanos a medida que avanza el ciclo en sentido «descendente», es decir, de amplias promesas políticas a marcos estratégicos, y de ahí a la programación, la elección de instrumentos, la asignación de recursos financieros y la selección de proyectos. Esta «atenuación» se manifiesta de diversas formas, tales como: i) la falta de una estrategia coherente para abordar los problemas a través de intervenciones concretas; ii) la escasez de fondos destinados a los aspectos relacionados con la democracia y los derechos humanos en otros sectores temáticos importantes; y iii) la tendencia a limitar la labor de derechos humanos a los instrumentos temáticos⁴⁹.

«El análisis documental de seis ámbitos concretos en los que la Comisión Europea (en lo sucesivo, “CE”) había tratado de integrar la perspectiva de los derechos humanos revela el fenómeno de “atenuación” del componente de derechos humanos a medida que avanza el ciclo en sentido descendente […]. Todo ello se ve agravado por la falta de sistemas básicos para controlar y evaluar los progresos de dicha integración. Esta atenuación tiene que ver con la resistencia política de los países socios, pero también con la existencia de importantes deficiencias internas a escala de la UE, como la escasa influencia política y la toma de decisiones incoherentes con respecto al lugar y al peso que tienen los derechos humanos en la acción exterior de la UE. Los medios de comunicación y la sociedad civil han documentado y criticado ampliamente las dificultades de la UE para conciliar valores e intereses. La Primavera Árabe puso de manifiesto las limitaciones que presenta el planteamiento de “estabilidad frente a derechos humanos” y podría ofrecer nuevas perspectivas para la adopción de un planteamiento más serio con respecto a la integración de los derechos humanos»⁵⁰.

4.4. Armonización entre los instrumentos y marcos de los distintos socios para el desarrollo

4.4.1. Adecuación a los marcos de resultados de los países socios

51

En virtud de los principios acordados en los foros internacionales de alto nivel, los donantes, incluida la UE, deben apoyarse en la medida de lo posible en los marcos de seguimiento y elaboración de informes orientados a resultados de los países socios (véase la sección 2.1.2). En concreto, los donantes deben minimizar el uso de marcos adicionales y abstenerse de requerir la introducción de indicadores de resultados que no concuerden con las estrategias nacionales de desarrollo de los países interesados⁵¹.

52

Sin embargo, anteriores informes de evaluación de la Comisión detectaron problemas relacionados con la discrepancia entre los marcos de los donantes y los de los países socios (véase el recuadro 12).

53

Cuando los países socios se enfrentan a una gran diversidad de tipos y niveles de obligaciones de información y condiciones de pago de distintos donantes, esto puede suponer una carga insuperable perjudicial para la eficacia y la eficiencia de la ayuda.

Recuadro 12

Ejemplo de falta de adecuación al marco de resultados del país socio

Lejos de ser un marco verdaderamente armonizado dirigido por el Gobierno, el Marco de Evaluación del Desempeño (MED) se había convertido en la suma total de las preferencias y requisitos individuales de todos los socios para el desarrollo. El Gobierno había perdido el control efectivo y el proceso de evaluación del MED pasó a ser poco más que un proceso obligatorio que era necesario respetar para asegurar la continuidad de los pagos de apoyo presupuestario. Junto con esta pérdida de control y de compromiso, se ha producido un considerable incremento de los costes de transacción relacionados con el proceso de evaluación anual y el diálogo político conexo, percepción que comparten todas las partes interesadas pertinentes entrevistadas y que se hace más evidente en el aumento constante del número de indicadores incorporados al MED⁵².

4.4.2. Armonización de los instrumentos utilizados por las partes interesadas en el desarrollo

54

En anteriores informes especiales del Tribunal se observaron problemas relacionados con la falta de armonización de los instrumentos utilizados por los socios para el desarrollo (véase el recuadro 13).

55

Dicha falta de armonización de los instrumentos utilizados por los distintos socios para el desarrollo puede disminuir la eficacia y la eficiencia de la labor de seguimiento y elaboración de informes de resultados.

Recuadro 13

Ejemplos de problemas debidos a la falta de armonización de los instrumentos utilizados por los socios para el desarrollo

«Según el Programa de las Naciones Unidas para el Desarrollo (PNUD) se estima que existen más de 50 fondos públicos internacionales, 45 mercados del carbono y 6 000 fondos de inversión privados que financian la lucha contra el cambio climático, cada uno con su propia estructura de gobernanza. Como señala el Banco Mundial, esta fragmentación amenaza con reducir la eficacia global de la financiación de la lucha contra el cambio climático […]. La Comisión y los Estados miembros recurren tanto a canales bilaterales como multilaterales para el desembolso de la financiación de la lucha contra el cambio climático. En 2010 emplearon como mínimo 22 canales multilaterales.

[…] Tampoco se ha intentado reducir la proliferación de fondos para la lucha contra el cambio climático, lo cual implica graves riesgos de ineficacia, una rendición de cuentas inadecuada y la fragmentación de la ayuda […]»⁵³.

4.4.3. Respuesta a la yuxtaposición de diferentes estructuras de rendición de cuentas

56

En el marco de la acción de la UE en materia de desarrollo y cooperación, la Comisión Europea delega competencias de ejecución del presupuesto en régimen de gestión indirecta en organizaciones internacionales⁵⁴. La obligación de rendir cuentas con respecto a dichas competencias recae en las estructuras de rendición de cuentas de la organización internacional interesada, que abarcan la gobernanza, los marcos de resultados⁵⁵ y la auditoría externa, así como en las propias disposiciones de la UE en materia de fiscalización y rendición de cuentas.

57

En anteriores fiscalizaciones, el Tribunal constató que, en ocasiones, la yuxtaposición de diferentes estructuras de rendición de cuentas con respecto a las competencias ejercidas en régimen de gestión indirecta con organizaciones internacionales había provocado lagunas en la rendición de cuentas (véase el recuadro 14).

Recuadro 14

Ejemplo de una arquitectura de rendición de cuentas diferente: el caso de las Naciones Unidas

«Aunque la Comisión comprueba los sistemas de gestión financiera de sus socios de las Naciones Unidas (mediante un análisis de cuatro pilares), la Comisión depende de los informes elaborados por las Naciones Unidas para confirmar el funcionamiento práctico de los sistemas de control y la consecución de resultados. En el momento de la fiscalización, la Comisión aún no había podido obtener información suficiente de las Naciones Unidas a ese respecto […]»⁵⁶.

«[…] la Comisión no recibe suficiente información a su debido tiempo a través de los informes de las Naciones Unidas. Gran parte de los informes siguen sufriendo retrasos, no son lo suficientemente detallados o se centran en las actividades en lugar de en los resultados»⁵⁷.

4.5. Insuficiencias en la evaluación y la elaboración de informes de resultados

58

Las disposiciones jurídicas relativas al seguimiento, la evaluación y la fiscalización de resultados contemplan dos tipos diferentes de calendarios:

a)calendario periódico: por ejemplo, el artículo 318 del TFUE estipula que la Comisión presentará cada año […] un informe de evaluación de las finanzas de la Unión basado en los resultados obtenidos, en particular, en relación con las indicaciones dadas por el Parlamento Europeo y el Consejo en el contexto del procedimiento anual de aprobación de la gestión;

b)calendario basado en acciones: por ejemplo, el artículo 18, apartado 3, de las normas de desarrollo del Reglamento Financiero dispone que los resultados obtenidos en los programas plurianuales en los que los recursos movilizados sean superiores a 5 000 000 de euros serán objeto de una evaluación periódica de acuerdo con un calendario que permita tener en cuenta las conclusiones de dichas evaluaciones para cualquier decisión de renovación, modificación o suspensión de los programas.

59

En anteriores informes de fiscalización, el Tribunal constató que, en algunos casos, no se podía evaluar la consecución de objetivos de los proyectos o programas hasta que estos últimos habían finalizado, lo que socavaba la evaluación periódica de los resultados obtenidos (véase el recuadro 15).

60

El Tribunal detectó asimismo insuficiencias en la entrega puntual de las evaluaciones; en particular, las evaluaciones estratégicas se alargaron más de lo previsto y las evaluaciones de los programas se pospusieron o cancelaron en algunas ocasiones⁵⁸. Un estudio reciente solicitado por la Comisión también ha revelado importantes incoherencias entre las evaluaciones y la formulación, programación, seguimiento y gestión orientada a resultados de las políticas: en particular, ha constatado la pérdida de oportunidades —desde el punto de vista de la asimilación— en aquellos casos en que previamente se habían ignorado las enseñanzas extraídas debido a que las conclusiones de las evaluaciones no se habían sincronizado con el proceso de toma de decisiones de gestión, o porque el contexto había cambiado cuando se publicaron tales conclusiones⁵⁹.

61

Las insuficiencias registradas en el calendario de evaluación y elaboración de informes de resultados puede impedir que los procesos de toma de decisiones y elaboración de informes se apoyen en los conocimientos y enseñanzas extraídas en su. Las insuficiencias registradas en la información sobre resultados y en el calendario de las evaluaciones pueden impedir que los conocimientos adquiridos y las lecciones aprendidas se incorporen en los procesos de toma de decisiones y elaboración de informes.

Gráfico 4

Ciclo temporal de una acción

Recuadro 15

Ejemplo de resultados que solo podían evaluarse al término de la acción correspondiente

«El Tribunal evaluó la eficacia de una muestra de 19 proyectos mediante la comparación de los objetivos previstos en el acuerdo de contribución con los resultados efectivos. […] Por la insuficiencia de la información no fue posible evaluar los resultados en los casos siguientes: […] Uno de los principales proyectos era un fondo fiduciario cuyos objetivos, fijados en el acuerdo de contribución, se referían al fondo en su conjunto y revestían por tanto un carácter más general. Aunque se habían definido objetivos más específicos para los proyectos subyacentes, no puede existir un vínculo claro entre el logro de los objetivos de los proyectos y los objetivos generales previstos en el acuerdo de contribución. Por consiguiente, la eficacia solo podrá evaluarse al cierre del fondo, que todavía no se había llevado a cabo al efectuarse la fiscalización»⁶⁰.

4.6. Consolidación y comunicación de datos

62

A fin de demostrar los resultados obtenidos con las políticas de desarrollo de la UE, es preciso recopilar y consolidar mediante sistemas de información los datos relativos a los resultados logrados con las acciones de desarrollo y cooperación de la UE, así como presentar y divulgar dichos datos a través de los canales de comunicación adecuados.

63

No obstante, en anteriores informes de fiscalización, el Tribunal detectó problemas relacionados con la capacidad de los sistemas de información de EuropeAid para recopilar datos relativos a los resultados (véase el recuadro 16). En 2014, la Comisión señaló asimismo que, para que la UE pudiera elaborar informes de resultados, se tendrían que racionalizar y desarrollar en mayor medida los sistemas y herramientas de recopilación de datos⁶¹.

64

Los datos sobre las acciones de desarrollo y cooperación de la UE sirven de base para una amplia variedad de informes, entre los que destacan:

a)las cuentas anuales y el informe sobre la gestión presupuestaria y financiera de la Comisión⁶²;

b)el informe anual de actividades de EuropeAid y el informe de síntesis de la Comisión⁶³;

c)los informes anuales presentados al Comité de Ayuda al Desarrollo (en lo sucesivo, «CAD») de la OCDE, con arreglo a las directrices del CAD⁶⁴;

d)una aportación mensual de datos al registro de datos de la Iniciativa Internacional para la Transparencia de la Ayuda (IATI), con arreglo a las normas de la IATI⁶⁵;

e)el informe anual de evaluación de las finanzas de la Unión basado en los resultados obtenidos⁶⁶;

f)el informe anual sobre las políticas de la Unión Europea en materia de desarrollo y ayuda exterior y su aplicación;

g)las actualizaciones periódicas del sitio web «EU Aid Explorer» de la Comisión⁶⁷.

65

En la actualidad, la mayoría de estos informes se centran en las actividades realizadas y ninguno de ellos proporciona datos consolidados sobre los resultados obtenidos en general con dichas actividades⁶⁸. La falta de informes consolidados y de un resumen de los resultados obtenidos con la ayuda de la UE puede socavar la toma de decisiones y la rendición de cuentas.

Recuadro 16

Ejemplo de insuficiencias en el sistema de información de EuropeAid

«El principal sistema de información entre las delegaciones y EuropeAid utilizado por la Comisión es el Informe de gestión de la ayuda exterior (IGAE) […]. Sin embargo, en ellos [los informes] se describen con detalle las actividades llevadas a cabo y las dificultades surgidas. Además, la información que aportan se solapa en cierta medida con la que ofrece el CRIS. Aportan escasa información sobre los resultados reales de la ayuda, tanto en las evaluaciones efectuadas por la propia delegación como en su reflejo de los resultados de las evaluaciones efectuadas una vez clausuradas las intervenciones»⁶⁹.

«[…] el sistema CRIS no puede utilizarse fácilmente para computar el importe total gastado en una política determinada o financiado por un instrumento financiero concreto. En efecto, la lista de dominios empleada para asociar los registros de muchos módulos de CRIS a un determinado dominio mezcla las zonas geográficas (Asia, por ejemplo), los instrumentos financieros […] y las políticas temáticas (seguridad alimentaria, por ejemplo).

En consecuencia, la consolidación de los datos (sobre todo financieros) registrados en CRIS con fines de elaboración de informes resulta especialmente compleja, lo cual menoscaba la eficiencia y la eficacia del sistema CRIS como herramienta de información y gestión»⁷⁰.

4.7. Calidad de los datos

66

El seguimiento y la evaluación de los resultados exigen la recopilación de datos suficientes, pertinentes, fiables y actualizados. En virtud de los compromisos contraídos en los foros de alto nivel sobre la eficacia de la ayuda (véase la sección 2.1.2), la recopilación de datos debe apoyarse en la medida de lo posible en los propios marcos de seguimiento y elaboración de informes orientados a resultados de los países socios.

67

Sin embargo, anteriores fiscalizaciones del Tribunal y evaluaciones de la Comisión revelaron en ocasiones que las fuentes de datos no proporcionaban información suficiente, pertinente, fiable y oportuna en el tiempo sobre los resultados (véase el recuadro 17). La recopilación de datos puede resultar costosa —sobre todo en el caso de los censos—, por lo que los países socios no la realizan con frecuencia.

68

Una falta de datos suficientes, pertinentes, fiables y actualizados puede mermar considerablemente la calidad y fiabilidad de los resultados comunicados.

Recuadro 17

Ejemplos de calidad insuficiente de los datos

«En general, los indicadores empleados por la Comisión se centran debidamente en los ODM [objetivos de desarrollo del milenio], si bien la atención prestada a los indicadores relativos a la calidad de la educación es insuficiente. No obstante, los sistemas nacionales de información sobre la gestión de la educación en los que se apoya la Comisión no siempre aportan información suficiente, fiable ni oportuna en el tiempo»⁷¹.

4.8. Resultado de la ejecución presupuestaria

69

En años anteriores ha habido presiones para aumentar los importes destinados a la acción de la UE en materia de desarrollo y cooperación, sobre todo en el contexto del compromiso de alcanzar el objetivo de AOD acordado a escala internacional de una proporción AOD/RNB del 0,7 % de aquí a 2015⁷².

70

El artículo 317 del TFUE dispone que la Comisión deberá ejecutar el presupuesto de conformidad con las disposiciones de los reglamentos financieros y con arreglo al principio de buena gestión financiera. Por otro lado, el artículo 38, apartado 3, del Reglamento Financiero, establece que la Comisión deberá adjuntar al proyecto de presupuesto anual, entre otras cosas, información sobre los índices de ejecución de las actividades del ejercicio precedente y sobre los índices de ejecución del ejercicio en curso.

71

El resultado de la ejecución presupuestaria se puede percibir como un objetivo en sí mismo y a veces figura como tal en los planes de gestión de la Comisión (véase el recuadro 18).

72

Por este motivo, puede existir tensión entre la necesidad de ejecutar el presupuesto y la necesidad de ejecutarlo de conformidad con el principio de buena gestión financiera (eficacia, eficiencia y economía)⁷³. Concretamente, los logros y fracasos de la ejecución presupuestaria son visibles de forma más directa que los logros de rendimiento (resultados). Así pues, puede darse una tendencia natural a centrarse en la ejecución presupuestaria en detrimento de la atención prestada a los resultados, como observó el Tribunal en su Informe Anual sobre la ejecución presupuestaria relativo al ejercicio 2013: «En el gasto de fondos europeos en el período de programación 2007-2013, se prestó atención preferente a los aspectos de absorción (la necesidad de gastar el dinero) y de conformidad, en detrimento del rendimiento»⁷⁴.

73

La consideración del resultado de la ejecución presupuestaria como objetivo primordial puede afectar negativamente a la buena gestión financiera y al logro de resultados.

Recuadro 18

Ejemplo de objetivo de ejecución presupuestaria

El plan de gestión de EuropeAid para 2014 fija como objetivo con respecto al Fondo Europeo de Desarrollo (FED) en África⁷⁵ en los niveles de ejecución presupuestaria, mantener unos niveles elevados de ejecución presupuestaria, incluidos los pagos en concepto de apoyo presupuestario.

El plan de gestión de EuropeAid contiene asimismo, para instrumentos financieros externos distintos al FED, un anexo sobre la buena gestión financiera y uso eficaz de los recursos de la CE, que establece diversos indicadores y objetivos de ejecución presupuestaria:

| Indicador | Objetivo (2014)
1 | Ejecución de la previsión financiera anual inicial: pagos | Del 90 % al 110 %
2 | Ejecución de la previsión financiera anual relativa a contratos | Del 90 % al 110 %
3 | Ejecución de la previsión financiera anual relativa a decisiones | Del 90 % al 110 %

4.9. Cambios en el contexto de las acciones de la UE

4.9.1. Gestión de riesgos y elección de las modalidades de ejecución

74

Las acciones de la UE en materia de desarrollo y cooperación se llevan a cabo en un gran número de países con distintos niveles de desarrollo, muchos de los cuales se caracterizan por condiciones sociales, políticas o humanitarias críticas, o incluso situaciones de seguridad inestables. La elección de una modalidad de ejecución de la ayuda para lograr los objetivos de una acción debe basarse en la capacidad prevista de dicha modalidad para obtener resultados de forma eficaz y eficiente en el contexto de la acción correspondiente. En algunos casos, es posible que se tienda a elegir una modalidad de ejecución en apariencia más arriesgada que otras cuando se espera obtener resultados más rápidos o mejores.

75

El apoyo presupuestario es un buen ejemplo de esta situación. De hecho, si bien dicho apoyo se puede considerar un instrumento que permite suministrar grandes volúmenes de ayuda de una forma más predecible que con el planteamiento tradicional por proyectos, a menudo se presta a países con sistemas insuficientes de gestión de las finanzas públicas (GFP). Dado que los fondos transferidos en operaciones de apoyo presupuestario se fusionan con otros recursos presupuestarios en el presupuesto del país (lo que se conoce como «fungibilidad»), se encuentran también expuestos a las mismas insuficiencias de la GFP, incluidos los riesgos de fraude y de corrupción⁷⁶. Además, los resultados obtenidos mediante el apoyo presupuestario y la sostenibilidad de dichos resultados pueden verse comprometidos en caso de inestabilidad política en el país socio, por ejemplo debido a una falta de consideración de la buena gobernanza, de importantes aspectos económicos y sociales o de los derechos humanos. La decisión de prestar un apoyo presupuestario de la UE debe tomarse caso por caso y ser respaldada mediante una evaluación de los beneficios esperados y de los posibles riesgos⁷⁷.

76

En anteriores informes de fiscalización, el Tribunal constató en ocasiones que la elección de una modalidad de ejecución de la ayuda no había ido precedida de un análisis adecuado de los riesgos planteados con respecto a las ventajas previstas (véase el recuadro 19).

77

La falta de comparación de los beneficios esperados con los posibles inconvenientes de las modalidades de ejecución seleccionadas puede dar lugar a una mala elección de modalidad o exponer el presupuesto de la UE a unos riesgos extremadamente elevados.

Recuadro 19

Ejemplos de ausencia de un análisis de riesgos con respecto a la modalidad de ejecución elegida

«[…] la Comisión no demuestra de manera convincente que evalúa si las ventajas compensan los posibles inconvenientes antes de tomar la decisión de trabajar con una organización de las Naciones Unidas. La elección de una organización de las Naciones Unidas no está fundada en pruebas suficientes que demuestren que dicho enfoque es más eficiente y eficaz que otras maneras de ejecutar la ayuda»⁷⁸.

4.9.2. Factores exógenos

78

La mayoría de las acciones de la UE en materia de desarrollo y cooperación se programan con vistas a producir resultados a lo largo de un período de varios años. Durante este tiempo, las acciones pueden experimentar cambios significativos o inestabilidad en:

a)el contexto político o económico en los países socios —como ocurrió, por ejemplo, en Egipto⁷⁹, la República Democrática del Congo⁸⁰ y Palestina⁸¹— o en el proyecto (véase el recuadro 20);

b)el contexto de desarrollo en relación con las catástrofes naturales, como en el caso del terremoto de magnitud 7,0 en la escala de Richter que sacudió la capital de Haití y sus alrededores en enero de 2010⁸²; o

c)los sistemas de gestión y control de la ayuda de la UE (véase el recuadro 21).

79

Estos cambios en el contexto de las acciones de desarrollo y cooperación de la UE pueden impedir que el seguimiento y la elaboración de informes de resultados se lleven a cabo de forma coherente y significativa.

Recuadro 20

Ejemplo de inestabilidad en el contexto económico de un proyecto

La Comisión financió un proyecto en Camboya con objeto de promover las tecnologías de generación de energía a partir de residuos en el sector de la molienda del arroz. Sin embargo, en los últimos años, Camboya ha presenciado importantes inversiones en molinos de arroz más grandes y eficientes que cuadruplicaron la capacidad de producción entre 2009 y 2013⁸³. Ahora se espera que la mayoría de los arroceros exijan sistemas más potentes que los previstos en un principio para su financiación en el marco del proyecto, a precios muy superiores. Así pues, los objetivos iniciales del proyecto han perdido parte de su pertinencia y es probable que no se logren como se planeó originalmente.

Recuadro 21

Ejemplo de cambios en los sistemas de gestión y control

El 1 de enero de 2015, el «Grupo de Apoyo a Ucrania» y la Dirección «Vecindad» de la Comisión fueron transferidos de EuropeAid a la Dirección General de Política de Vecindad y Negociaciones de Ampliación, DG NEAR (antigua Dirección General de Ampliación, DG ELARG)⁸⁴. Este cambio afectará tanto a la cobertura geográfica del marco de resultados de EuropeAid como a la forma en que se efectúan el seguimiento y la elaboración de informes de resultados de la política de vecindad.

21Reglamento (UE) nº 236/2014.

22Véase, por ejemplo, la lógica de intervención del Instrumento de Cooperación al Desarrollo (ICD) que se expone en el apartado 4.1.4 del plan de gestión de EuropeAid para 2014.

23Comisión Europea: Budget circular for 2014 – Standing instructions (Circular presupuestaria de 2014: Instrucciones permanentes), 14 de diciembre de 2012.

24Comisión Europea: Budget Support Guidelines – Programming, Design and Management: A modern approach to Budget Support (Directrices sobre apoyo presupuestario – Programación, diseño y gestión: un planteamiento moderno del apoyo presupuestario), septiembre de 2012.

25DO L 77 de 15.3.2014.

26Un marco lógico es un documento que proporciona una descripción general de los objetivos, actividades y recursos de un proyecto. También suele esbozar las hipótesis básicas en que se apoya el proyecto y aportar información sobre el método de seguimiento de este último, que puede implicar el uso de indicadores.

27Informe Especial nº 13/2013, «Ayuda de la UE al desarrollo de Asia Central», apartado 79 (http://eca.europa.eu).

28En abril de 2014 el Parlamento Europeo pidió que se adoptaran «puntos de referencia específicos, mensurables, alcanzables, pertinentes y oportunos» para todos los programas de la rúbrica 4 —«Europa global»— del marco financiero plurianual 2014-2020. Véase la Decisión del Parlamento Europeo, de 3 de abril de 2014, sobre la aprobación de la gestión en la ejecución del presupuesto general de la Unión Europea para el ejercicio 2012, sección III - Comisión y agencias ejecutivas, ref. P7_TA-PROV(2014)0287.

29Informe Especial nº 13/2012, «Ayuda de la Unión Europea al desarrollo para el abastecimiento de agua potable y saneamiento básico en países del África subsahariana», apartado 50 (http://eca.europa.eu).

30Informe Especial nº 1/2012, «Eficacia de la ayuda al desarrollo de la Unión Europea para la seguridad alimentaria en el África subsahariana», apartado 52 (http://eca.europa.eu).

31Informe Especial nº 14/2013, «Ayuda financiera directa de la Unión Europea a la Autoridad Palestina», apartado 31 (http://eca.europa.eu).

32Informe Especial nº 13/2013, apartado 52.

33Informe Especial nº 13/2013, apartado 57.

34Informe Especial nº 4/2013, «Cooperación de la UE con Egipto en materia de gobernanza», apartados 39 y 41 (http://eca.europa.eu).

35Study on Legal Instruments and Lessons Learned from the Evaluations Managed by the Joint Evaluation Unit (Estudio de los instrumentos jurídicos y las enseñanzas extraídas de las evaluaciones gestionadas por la Unidad de Evaluación Conjunta), informe final, volumen 1: informe final de síntesis, julio de 2011, p. vi: «Es fundamental formular cadenas lógicas claras en los reglamentos. A tal fin, conviene evitar las listas poco estructuradas de actividades y los vínculos imprecisos entre actividades, realizaciones y efectos pretendidos. Las relaciones entre cada eslabón de la cadena deben ser claras y lógicas con objeto de evitar lagunas en el razonamiento y realizaciones o efectos “huérfanos”» (ref.: evaluación DEVCO 1292).

36En la página 14 del Manual de gestión basada en resultados publicado por el Grupo de las Naciones Unidas para el Desarrollo en octubre de 2011 se proporciona una explicación detallada de lo que se entiende por «cadena de resultados».

37Study on the uptake of learning from EuropeAid’s strategic evaluations into development policy and practice (Estudio sobre la asimilación de las enseñanzas extraídas de las evaluaciones estratégicas de EuropeAid en materia de política y prácticas de desarrollo), informe final, junio de 2014, p. vii.

38Comisión Europea: Budget Support Guidelines – Executive Guide: A modern approach to Budget Support (Directrices sobre apoyo presupuestario – Guía ejecutiva: un planteamiento moderno del apoyo presupuestario), septiembre de 2012.

39Véanse las Conclusiones del Consejo sobre la Posición Común de la UE para el cuarto Foro de Alto Nivel sobre la Eficacia de la Ayuda al Desarrollo (Busan, 29 de noviembre a 1 de diciembre de 2011), sesión nº 3124 del Consejo de Asuntos Exteriores (Desarrollo), Bruselas, 14 de noviembre de 2011: «La UE insta a los países socios y a las partes asociadas en favor del desarrollo a que hagan mayor hincapié en la condicionalidad armonizada y basada en los resultados».

40Thematic evaluation of the European Commission support to the health sector (Evaluación temática del apoyo de la Comisión Europea al sector sanitario), informe final, vol. 1, agosto de 2012, p. xiv.

41Evaluation of the European Union’s Support to two European Neighbourhood Policy Regions (East and South) (Evaluación del apoyo de la Unión Europea a las dos regiones (oriental y meridional) de la Política Europea de Vecindad), informe final, vol. 1, junio de 2013, p. 24.

42Informe Especial nº 1/2012, apartado 53.

43Informe Especial nº 9/2013, «Apoyo de la UE a la gobernanza en la República Democrática del Congo», apartado 65 (http://eca.europa.eu).

44Informe Especial nº 17/2012, «Contribución del Fondo Europeo de Desarrollo (FED) al logro de una red viaria sostenible en el África subsahariana», apartado 27 (http://eca.europa.eu).

45Red de Evaluación del Desarrollo del CAD de la OCDE: Evaluating Budget Support: Methodological Approach (Enfoque metodológico para la evaluación del apoyo presupuestario), p. 11. Véase también el texto del apartado sobre los efectos del apoyo presupuestario en la página 12: los efectos son el resultado de todo el conjunto de políticas, estrategias y gastos gubernamentales, de las reacciones/respuestas de las partes interesadas pertinentes a los cambios en la formulación de las políticas públicas y a las decisiones de asignación de recursos, y de la influencia de otros factores externos. Así pues, el apoyo presupuestario prestado influye solo parcialmente en estos efectos, por lo que la relación de causalidad entre ambos se verá (en gran medida) atenuada por otros factores influyentes.

46Informe Especial nº 1/2012, apartado 57.

47SEAE y Comisión Europea: Instructions for the programming of the 11th European Development Fund (EDF) and the Development Cooperation Instrument (DCI) – 2014-2020 (Instrucciones para la programación del 11º Fondo Europeo de Desarrollo (FED) y del Instrumento de Cooperación al Desarrollo (ICD) – 2014-2020).

48Véase también, por ejemplo, el Reglamento (UE) nº 233/2014 sobre el Instrumento de Financiación de la Cooperación al Desarrollo, que estipula que: «Se integrarán en todos los programas los aspectos transversales tal como se definen en el Consenso Europeo. Por otra parte, cuando corresponda, se integrarán la prevención de conflictos, el trabajo digno y el cambio climático» (artículo 3).

49Evaluation of the European Union’s Support to two European Neighbourhood Policy Regions (East and South) (Evaluación del apoyo de la Unión Europea a las dos regiones (oriental y meridional) de la Política Europea de Vecindad), informe final, vol. 1, junio de 2013, p. 62.

50Thematic evaluation of the European Commission support to respect of Human Rights and Fundamental Freedoms (including solidarity with victims of repression) (Evaluación temática del apoyo de la Comisión Europea con respecto a los derechos humanos y las libertades fundamentales, incluida la solidaridad con las víctimas de la represión), informe final, vol. 1, diciembre de 2011, p. 15.

51Alianza de Busan para la cooperación eficaz al desarrollo.

52Joint Evaluation of Budget Support to Tanzania: lessons learned and recommendations for the future (Evaluación conjunta del apoyo presupuestario destinado a Tanzania: enseñanzas extraídas y recomendaciones de cara al futuro), informe final, vol. 1, 2013, apartados 74-75.

53Informe Especial nº 17/2013, «La financiación europea de la lucha contra el cambio climático en el contexto de la ayuda exterior», apartados 57, 58 y 68 (http://eca.europa.eu).

54Reglamento Financiero, artículo 58: «Métodos de ejecución del presupuesto».

55Véase, por ejemplo, el Manual de gestión basada en resultados del Grupo de las Naciones Unidas para el Desarrollo, el marco integrado de resultados del Fondo de Población de las Naciones Unidas, o el Manual de planificación, seguimiento y evaluación de los resultados de desarrollo del Programa de las Naciones Unidas para el Desarrollo.

56Análisis panorámico de 2014 «Lagunas, redundancias y desafíos: análisis panorámico de los dispositivos de rendición de cuentas y fiscalización de la UE» Recuadro 1 (http://eca.europa.eu).

57Informe Especial nº 3/2011, «La eficiencia y la eficacia de las contribuciones de la UE canalizadas a través de las organizaciones de las Naciones Unidas en países afectados por conflictos», apartado IV (http://eca.europa.eu).

58Informe Especial nº 18/2014, «Sistemas de evaluación y de seguimiento orientado a los resultados de EuropeAid», apartados 27 a 29 (http://eca.europa.eu).

59Study on the uptake of learning from EuropeAid’s strategic evaluations into development policy and practice (Estudio sobre la asimilación de las enseñanzas extraídas de las evaluaciones estratégicas de EuropeAid en materia de política y prácticas de desarrollo), informe final, junio de 2014, p. vii.

60Informe Especial nº 3/2011, apartados 25 y 27, letra b).

61SWD(2013) 530 final, p. 12.

62Reglamento Financiero, en particular los artículos 141 y 142.

63Reglamento Financiero, en particular el artículo 66, apartado 9.

64Converged statistical reporting directives for the creditor reporting system (CRS) and the annual DAC questionnaire (Directrices convergentes para la elaboración de los informes estadísticos del sistema de notificación de los países acreedores y del cuestionario anual del CAD) y anexos, ref. DCD/DAC(2013)15/FINAL, 11 de junio de 2013.

65Sitio internet de la Iniciativa Internacional para la Transparencia de la Ayuda (www.iatiregistry.org).

66Tratado de Funcionamiento de la Unión Europea, artículo 318.

67http://tr-aid.jrc.ec.europa.eu

68En concreto, el informe anual de evaluación de las finanzas de la Unión basado en los resultados obtenidos no ofrece una visión clara de la medida en que se han logrado los principales objetivos de la Unión. Véase el Informe sobre la evaluación de las finanzas de la Unión basada en los resultados obtenidos: un nuevo instrumento para el procedimiento mejorado de aprobación de la gestión de la Comisión Europea, ref. A7-0068/2014, 30 de enero de 2014.

69Informe Especial nº 1/2011, «¿Supone una mejora en la prestación de la ayuda la desconcentración de las competencias de la Comisión en la gestión de la ayuda exterior para transferirlas de los servicios centrales a las delegaciones?», apartado 59 (http://eca.europa.eu).

70Informe Especial nº 5/2012, «El Sistema Común de Información RELEX (CRIS)», apartados 40 y 41 (http://eca.europa.eu).

71Informe Especial nº 12/2010, «La ayuda de la UE al desarrollo de la educación básica en el África subsahariana y Asia meridional», apartado V (http://eca.europa.eu).

72«[…] los Estados miembros se comprometen a alcanzar una proporción AOD/RNB del 0,7 % de aquí a 2015, mientras que los que ya han logrado este objetivo se comprometen a permanecer por encima de esta cifra; los Estados miembros que se han adherido a la UE después de 2002 se esforzarán por alcanzar, de aquí a 2015, una proporción AOD/RNB del 0,33 %» (véase el apartado 27 de las Conclusiones de la Presidencia del Consejo Europeo de Bruselas de los días 16 y 17 de junio de 2005, ref. 10255/1/05 REV 1).

73Véase, el documento del Comité de Ayuda al Desarrollo de la OCDE Managing aid: practices of DAC Member countries (Gestión de la ayuda: prácticas de los países miembros del CAD), ref. DCD/DAC(2004)40: una de las eternas preguntas es cómo conciliar la naturaleza a largo plazo de la cooperación para el desarrollo, que requiere horizontes de planificación plurianuales, con la práctica habitual de determinar las dotaciones anuales de la ayuda. Los procedimientos administrativos generales de muchos países miembros del CAD exigen que los fondos consignados en un determinado ejercicio fiscal se desembolsen en ese mismo ejercicio o, como mínimo, se asignen en el curso de dicho ejercicio y se gasten poco después. Por consiguiente, los gestores de la ayuda de algunos países se encuentran sometidos a grandes presiones que los obligan a asignar y desembolsar los fondos rápidamente, lo que fomenta que se haga demasiado hincapié en los recursos financieros de las actividades de desarrollo, en lugar de en los efectos deseados y los resultados reales.

74Informe Anual del Tribunal de Cuentas sobre la ejecución presupuestaria relativo al ejercicio 2013, apartado 10.56 (DO C 398 de 12.11.2014).

75Dirección General de Desarrollo y Cooperación EuropeAid: Management Plan 2014 (Plan de gestión 2014).

76Informe Anual del Tribunal de Cuentas sobre la ejecución presupuestaria relativo al ejercicio 2011, apartado 7.10 (DO C 344 de 12.11.2012).

77COM(2011) 638 final de 13 de octubre de 2011: «Perspectiva futura del apoyo presupuestario de la UE a terceros países».

78Informe Especial nº 15/2009, apartado III.

79Informe Especial nº 4/2013.

80Informe Especial nº 9/2013.

81Informe Especial nº 14/2013.

82Informe Especial nº 13/2014, «Ayuda de la UE a la rehabilitación tras el terremoto de Haití» (http://eca.europa.eu).

83Banco Mundial, Turning Cambodia into a leading rice exporter (La conversión de Camboya en uno de los principales exportadores de arroz), nota de política sobre desarrollo comercial, septiembre de 2013.

84Acta de la 2 104ª reunión de la Comisión celebrada el miércoles 5 de noviembre de 2014, ref. PV(2014) 2104.

5. Conclusiones y recomendaciones

5.1. Conclusiones

80

A partir de nuestro análisis hemos identificado nueve ámbitos de riesgo principales relacionados con el enfoque orientado a los resultados en las acciones de desarrollo y cooperación de la UE.

a)La utilización de una terminología incoherente relativa a los resultados o la ausencia de una cadena lógica clara entre acción, realizaciones, efecto e impacto pueden generar confusión y socavar la evaluación de los logros obtenidos (secciones 4.1 y 4.2).

b)El aumento de la complejidad debido a la integración de aspectos transversales en los programas de la UE supone un riesgo añadido para la consecución y la elaboración de informes de resultados (sección 4.3).

c)La falta de armonización entre los instrumentos de prestación de ayuda, los marcos de resultados y las estructuras de rendición de cuentas de los distintos socios para el desarrollo puede provocar ineficiencias y lagunas en la rendición de cuentas (sección 4.4).

d)Las insuficiencias en la evaluación y la elaboración de informes de resultados pueden impedir que los procesos de toma de decisiones y elaboración de informes se apoyen en los conocimientos y enseñanzas extraídas pertinentes (sección 4.5).

e)La falta de informes consolidados o de un resumen de los resultados obtenidos con la ayuda de la UE puede socavar la toma de decisiones y la rendición de cuentas (sección 4.6).

f)Una falta de datos suficientes, pertinentes, fiables y actualizados puede mermar considerablemente la calidad y fiabilidad de los resultados comunicados (sección 4.7).

g)La atención prioritaria al resultado de la ejecución presupuestaria como objetivo primordial puede afectar negativamente a la buena gestión financiera y al logro de resultados (sección 4.8).

h)Los cambios en el contexto de las acciones pueden socavar el logro o la sostenibilidad de los resultados y dificultar la evaluación de los resultados obtenidos (sección 4.9).

81

Nuestro análisis ha revelado que la Comisión había identificado correctamente estos ámbitos de riesgo en una amplia variedad de documentos, así como el interés que despiertan las acciones que está emprendiendo dicha institución con vistas al lanzamiento de un marco general de resultados de la cooperación y el desarrollo de la UE.

82

No obstante, es preciso tomar medidas adicionales con objeto de aprovechar plenamente el potencial de las iniciativas de la Comisión para mejorar los resultados de desarrollo y cooperación de la UE.

5.2. Recomendaciones

83

Con objeto de mitigar los riesgos identificados, se formulan las siguientes recomendaciones:

Recomendación 1 —
Mejorar las directrices sobre utilización de terminología y formulación de objetivos e indicadores

La Comisión debe mejorar sus directrices para garantizar la coherencia terminológica respecto de los resultados (realizaciones, efectos, impactos) y, cuando proceda, formular objetivos específicos, mensurables, realizables, pertinentes y con fecha determinada (SMART) e indicadores claros con respecto a sus intervenciones en todos los niveles.

Recomendación 2 —
Establecer un vínculo claro entre acciones y resultados previstos

La Comisión debe utilizar sus directrices internas, sus instrumentos prácticos y sus procedimientos de seguimiento y formulación de proyectos para garantizar que se establezca un vínculo claro entre las acciones y los resultados previstos, teniendo en cuenta los aspectos transversales.

Recomendación 3 —
Mejorar el sistema de información para la elaboración de informes de resultados y enseñanzas extraídas

La Comisión debe mejorar su sistema de información para poder consolidar y comunicar de forma eficaz los resultados de sus intervenciones. Esta mejora debería ir acompañada de medidas que permitan a la Comisión identificar en sus actividades de evaluación las enseñanzas que puedan servir de base para la confección de futuros actos legislativos, programas o acciones en los ámbitos pertinentes.

Recomendación 4 —
Garantizar la disponibilidad y la calidad de los datos

En todas sus intervenciones, la Comisión debe evaluar la disponibilidad y la calidad de los datos y esforzarse por que existan datos suficientes, pertinentes, fiables y actualizados sobre los resultados obtenidos, lo que debería reflejarse en sus sistemas y directrices.

Recomendación 5 —
Evaluar los riesgos inherentes a la modalidad de ejecución antes de asignar los recursos financieros

Antes de asignar sus recursos financieros y a la hora de estudiar los resultados previstos, la Comisión debe evaluar también los riesgos inherentes a la elección de una determinada modalidad de ejecución.

El presente informe ha sido aprobado por la Sala III, presidida por Karel PINXTEN, Miembro del Tribunal de Cuentas, en Luxemburgo en su reunión del día 17 de noviembre de 2015.

Por el Tribunal de Cuentas

Vítor Manuel da SILVA CALDEIRA
Presidente

Anexo

Anexo

Marco de evaluación integral para las evaluaciones del apoyo presupuestario

Fuente: Red de Evaluación del Desarrollo del CAD de la OCDE: Evaluating Budget Support: Methodological Approach (planteamiento metodológico para la evaluación del apoyo presupuestario).

Respuestas de la Comisión

Resumen

III

El análisis del Tribunal incluye, por su propia naturaleza, ejemplos que se refieren en algunos casos a acciones realizadas hace varios años. Así ocurre, en particular, con los ejemplos relativos al apoyo presupuestario, respecto de los cuales se han abordado una serie de riesgos mediante la adopción de unas nuevas directrices sobre apoyo presupuestario en 2012 (véanse más adelante las respuestas a varios de los recuadros), y con los ejemplos relativos a los documentos de programación plurianual (documentos de estrategia o programas indicativos), respecto de los cuales la Comisión desea señalar que ha incluido sistemáticamente indicadores en los documentos de programación del período 2014-2020.

1. Introducción

07

El Marco de resultados (MR) es una de las herramientas para informar sobre los resultados obtenidos a nivel de realizaciones y de efectos directos. Las evaluaciones proporcionan juicios sobre la cadena lógica causal entre los distintos niveles de resultados, hasta llegar al impacto y al cumplimiento de los «objetivos estratégicos de desarrollo» a escala nacional o global. Por otra parte, se han adoptado varias iniciativas para perfeccionar el sistema de seguimiento y evaluación en conjunto con el fin de mejorar el enfoque orientado a los resultados.

10

El documento de trabajo de los servicios de la Comisión sobre el «marco MORE» describe los diversos marcos existentes para supervisar, evaluar e informar sobre la ejecución del marco financiero plurianual (MFP). En términos de objetivos e indicadores, el documento describe el contenido de los actos jurídicos por los que se establecen los instrumentos de financiación de 2014-2020, complementados con las declaraciones del programa presupuestario de 2014 y 2015, así como las herramientas de seguimiento, evaluación e información incluidas en los planes anuales de gestión y en los informes anuales de actividad. Con respecto a los instrumentos de asistencia externa, se refiere también al nuevo Marco de resultados como una de las herramientas de seguimiento y de información sobre la ejecución del MFP.

3. Nuestro examen

22

El análisis del Tribunal incluye, por su propia naturaleza, ejemplos que se refieren en algunos casos a acciones realizadas hace varios años. Así ocurre, en particular, con los ejemplos relativos a los documentos de programación plurianual (documentos de estrategia o programas indicativos), respecto de los cuales la Comisión desea señalar que ha incluido sistemáticamente indicadores en los documentos de programación del período 2014-2020, y con los ejemplos relativos al apoyo presupuestario, respecto de los cuales se han abordado una serie de riesgos mediante la adopción de unas nuevas directrices sobre apoyo presupuestario en 2012.

La Comisión se refiere también a sus respuestas a los informes especiales del Tribunal y a las respuestas adicionales a las observaciones del Tribunal en el presente informe en relación con algunos de los ejemplos, para subrayar uno o más aspectos que considera más específicamente relevantes en el contexto de su respuesta a estas observaciones.

4. Principales ámbitos de riesgo

26

La Comisión conoce y comparte con el Tribunal la necesidad de velar por la coherencia de la terminología empleada. En el documento de trabajo de los servicios de la Comisión de 26 de marzo de 2015 «Launching the EU International Cooperation and Development Results Framework», se emplea la terminología actividades-realizaciones-efecto-impacto, conforme a la terminología sobre resultados OCDE-CAD internacionalmente aplicada y a la empleada en los instrumentos financieros de 2014-2020. Esta misma terminología se utiliza en el nuevo modelo de Documento de acción (aplicable desde el 1 de enero de 2015) y en el Manual de seguimiento orientado a los resultados (SOR) («Handbook on ROM reviews and support to end-of-project results reporting») (marzo de 2015).

Recuadro 1

La terminología empleada en el Plan anual de gestión de EuropeAid sigue la prevista en las instrucciones generales de la Secretaría General de la Comisión y la Dirección General de Presupuestos para la elaboración de los planes de gestión por las direcciones generales y los servicios de la Comisión.

Los riesgos señalados en el ejemplo del recuadro 1 hacen referencia a la terminología empleada en el Manual de seguimiento orientado a los resultados (SOR) aplicable al sistema de SOR anterior, que finalizó en la primavera de 2014. Ha sido sustituido por un nuevo sistema de SOR y un nuevo Manual de SOR desde la primavera de 2015, que no contiene ya esa referencia y se ajusta plenamente a la terminología utilizada internacionalmente aplicando la referencia SMART a los objetivos y no a los indicadores. De acuerdo con ello, la Comisión modificará la próxima circular presupuestaria.

Por otra parte, la Comisión trata de precisar el lenguaje y las instrucciones relativos a los objetivos e indicadores que se deberán usar en el contexto de la circular presupuestaria.

La Comisión está de acuerdo en que los objetivos y los resultados esperados deben ser en la medida de lo posible específicos, mensurables, realizables, pertinentes y con fecha determinada (SMART), pero considera también que esto resulta en muchos casos difícil de lograr. Así ocurre en especial cuando los resultados esperados solo pueden medirse razonablemente en términos cualitativos y no pueden cuantificarse, como sucede, entre otros casos, con los resultados de las políticas o instrumentos de financiación de amplio espectro.

Los marcos de resultados institucionales se centran, por definición, en los resultados cuantitativos, como se menciona en el documento de trabajo de los servicios de la Comisión «Launching the EU International Cooperation and Development Results Framework» (MR de la UE). Los indicadores del MR de la UE se han establecido en la medida de lo posible siguiendo los criterios RACER («pertinentes, reconocidos, creíbles, sencillos y rigurosos») establecidos en las orientaciones sobre los indicadores de Eurostat, a las que hace referencia el Tribunal.

29

La Comisión conviene en que la amplia variedad de documentos citados por el Tribunal aumenta el riesgo de incoherencia. El hecho de que los documentos se adopten en distintas fases del ciclo de formulación de las políticas y de gestión de proyectos y programas (incluida la fase de programación) impone la aplicación de ajustes y de tipos más específicos de enfoque en la ejecución.

La Comisión ha adoptado medidas para reducir los riesgos señalados por el Tribunal. Así, en el ejercicio de programación 2014-2020 se han revisado sistemáticamente los documentos de programación nacionales, regionales y temáticos para velar por que los resultados esperados y los indicadores sean de la debida calidad (es decir, mensurables) y de un volumen gestionable (véanse los documentos de programación en http://eeas.europa.eu/around/index_en.htm).

La revisión del modelo de documento de acción (en vigor desde el 1 de enero de 2015) y la revisión en curso de los correspondientes documentos internos del Grupo de Apoyo a la Calidad persiguen garantizar que los documentos de acción incluyan debidamente los resultados esperados y los indicadores.

Los servicios de la Comisión están trabajando también en la mejora del sistema de seguimiento y evaluación, incluida la posibilidad de realizar los ajustes precisos en la ejecución de las acciones y la flexibilidad necesaria para aplicar dichos ajustes con el fin de adaptar la actuación a los cambiantes contextos y políticas nacionales.

32

La Comisión ha adoptado y está adoptando medidas para reducir los riesgos señalados por el Tribunal. Véase la respuesta de la Comisión al apartado 29.

Recuadro 4

Conforme a lo establecido en la recomendación 2 sobre el desarrollo de indicadores de resultados formulada por el Tribunal en el Informe especial 14/2013, la Comisión desarrolló un marco orientado a los resultados que incluye indicadores de seguimiento de la ejecución de las reformas por la Autoridad Palestina.

Este marco, desarrollado en coordinación con el Banco Mundial y los Estados miembros de la UE en el marco de la Estrategia de desarrollo local de la UE, se acordó con la Autoridad Palestina mediante un memorando de entendimiento firmado el 25 de marzo de 2015. Los ámbitos cubiertos en la fase piloto son los relativos a los indicadores macroeconómicos y fiscales, la gestión de la hacienda pública, la reforma de la administración pública (incluidas medidas para la reincorporación de los empleados públicos de Gaza sin trabajo), la educación, la salud y la protección social. Se hará una evaluación de la fase piloto a finales de 2015-principios de 2016, y en la fase siguiente podrían añadirse nuevos sectores. El texto precedente muestra que se han establecido indicadores, conforme al reglamento del Instrumento Europeo de Vecindad y Asociación (IEVA).

Recuadro 5

La Comisión considera este caso un ejemplo en el que, en último término, tuvo que adaptar el sentido del indicador a las condiciones del contexto local específico y, por tanto, aceptar la adaptación del valor objetivo del propio indicador. Este ejemplo muestra la importancia de dedicar una atención permanente a estas situaciones, pero no remite a un riesgo que la Comisión pueda gestionar de otro modo.

38

Las reformas institucionales son un proceso largo y difícil en el que ayudar al gobierno de un país asociado a avanzar paso a paso puede resultar más sostenible que un triunfo rápido del proyecto. Véase la respuesta al recuadro 6.

Recuadro 6

La Comisión señala que los pagos indicados (referentes a junio de 2008, diciembre de 2010 y julio de 2011) preceden en gran medida a la nueva política de apoyo presupuestario, que ha introducido una evaluación mucho más rigurosa de los criterios de elegibilidad, especialmente del criterio de gestión de la hacienda pública. El riesgo que debería ilustrar este ejemplo se reduce con la aplicación de las directrices sobre apoyo presupuestario de 2012.

En su respuesta a las observaciones del Tribunal, la Comisión señaló también que «hay que distinguir entre, por una parte, los criterios de elegibilidad para el apoyo presupuestario, que requieren un enfoque integral basado en la credibilidad y la ejecución positiva y que son por naturaleza de carácter general, y por otra parte, las condiciones concretas correspondientes a los diversos tramos, que deben ciertamente ser claras y concretas… Los proveedores de fondos deben reconocer la complejidad de las reformas y definir objetivos que sean más razonables y estén mejor coordinados. Por ejemplo, los avances en la reforma de la gestión de la hacienda pública en los dos países, Kirguistán y Egipto, que reciben apoyo presupuestario han sido más lentos de lo esperado. De hecho, los planes de reforma de la gestión de la hacienda pública, inicialmente preparados en gran medida por proveedores de fondos externos, eran excesivamente ambiciosos y subestimaban las capacidades locales de ejecutarlos. Para remediar esta situación, se revisaron las reformas de la gestión de la hacienda pública y los planes de acción para ser más realistas y se prestó asistencia técnica adicional».

En consecuencia, este caso es más bien un ejemplo de objetivos excesivamente ambiciosos. Por otra parte, debe resaltarse que la reforma del sistema de gestión de la hacienda pública es un proceso a largo plazo. En el ámbito temporal de una operación de 3 años solo pueden detectarse resultados muy limitados.

El caso de Egipto corresponde más bien a un ejemplo en el que la cuestión no consiste en definir el compromiso de un país socio de aplicar reformas como un objetivo (véase el título del apartado 4.1.4), sino, de conformidad con las directrices sobre apoyo presupuestario de 2012, como una condición previa para el desembolso en relación con elementos esenciales como los derechos humanos.

Siguiendo las conclusiones del Consejo de agosto de 2013-febrero de 2014 y las recomendaciones del Tribunal, la Comisión ha orientado su asistencia hacia las intervenciones socioeconómicas y el apoyo a la sociedad civil.

No ha habido nuevas operaciones de apoyo presupuestario en Egipto desde 2011 y no se han realizado desembolsos en ninguna de las 5 operaciones de apoyo presupuestario en curso desde 2012.

Recuadro 7 — Segundo párrafo

Las operaciones de apoyo presupuestario en Malaui y Ruanda son anteriores a 2010 y preceden en gran medida a la nueva política de apoyo presupuestario, que ha introducido un enfoque mucho más riguroso para aclarar la vinculación entre la operación financiada por la UE y las políticas nacionales.

El riesgo que debería ilustrar este ejemplo se reduce con la aplicación de las directrices de 2012 y desde ese mismo momento.

Recuadro 8

Las operaciones consideradas eran medidas focalizadas de apoyo presupuestario de emergencia para hacer posible la estabilización macroeconómica del país con el objetivo global de mantener la República Democrática del Congo en la crisis económica y alimentaria, por lo que el análisis de los resultados debe contemplarse en este contexto.

El plan de reforma de la gestión de la hacienda pública al que hace referencia el Tribunal se mencionaba efectivamente en el convenio de financiación, y su adopción era uno de los hitos para evaluar los progresos.

Los tramos fijados estaban también sujetos a unas condiciones de admisibilidad, es decir, estaban relacionados con los resultados. Por tanto, las condiciones de pago estaban vinculadas a objetivos, incluida la mejora en la gestión de la hacienda pública.

46

Las contribuciones de la UE a los resultados del desarrollo de los países se comunicarán como resultados nacionales obtenidos con apoyo, optando así por el enfoque de la contribución (véase el documento de trabajo de los servicios de la Comisión de marzo de 2015 «Launching the EU International Cooperation and Development Results Framework»). Para cuantificar esta contribución pueden utilizarse dos métodos actualmente empleados por los donantes:

—el «método global», en el que se exponen los resultados totales (o globales) logrados por la UE junto con otros (como el Gobierno del país socio y otros donantes), en lugar de los resultados vinculados a la parte de la financiación proporcionada por la UE, y

—el «método proporcional», en el que los resultados se exponen en función de la proporción de la financiación total correspondiente a la UE. En este último enfoque, los resultados de los proyectos y programas se calculan a prorrata del nivel de las aportaciones financieras de la UE. La información se basa entonces implícitamente en un vínculo causal directo entre la financiación aportada y los resultados conseguidos.

A escala agregada, al igual que en el caso de la información basada en el nuevo marco de resultados, hay que elegir un solo método. Dado que no siempre es fácil disponer de información presupuestaria detallada sobre las aportaciones de otros, incluidos los gobiernos socios, para calcular unos resultados proporcionales, la Comisión ha optado por seguir el enfoque global, que en este momento es la única opción realista para informar de los resultados logrados de forma agregada. Como se establece también en el documento de trabajo de los servicios de la Comisión de marzo de 2015, el método global sería también el más adecuado desde el punto de vista de la efectividad de la ayuda, con su fuerte orientación a la titularidad nacional.

Recuadro 9

Mientras que es posible evaluar en general si una política nacional a la que se ha prestado apoyo mediante un programa de apoyo presupuestario ha contribuido a lograr resultados concretos bien definidos a escala nacional, no es posible atribuir una proporción concreta del resultado a la financiación de la UE.

Recuadro 11

El ejemplo señalado en el recuadro 11 se centra más en la insuficiencia de la integración de la perspectiva de los derechos humanos en los programas que en la mayor complejidad debido a la integración de cuestiones transversales o en los riesgos adicionales resultantes para la correcta definición de los objetivos y los indicadores y la correspondiente medición de los resultados.

Recuadro 14 — Segundo párrafo

La Comisión ha adoptado en 2015 disposiciones concretas sobre la información de los resultados por parte de los socios de ejecución de la UE en las condiciones generales del acuerdo de administración (que incluye al Banco Mundial como socio de ejecución) y del Acuerdo «PAGODA», que incluye a todas las organizaciones básicas evaluadas, incluidos los organismos de las ONU. Esta medida debe permitir una mayor disponibilidad de datos de resultados en los informes provisionales y finales de los socios de ejecución de la UE.

59

El hecho de que en ciertos casos, por la naturaleza del proyecto o programa, los resultados solo puedan identificarse y exponerse al final y, por tanto, no sea posible una evaluación periódica de su consecución no conduce inevitablemente a una mala información sobre los resultados. En esos casos, pueden identificarse hitos o referencias que ayuden a hacer un seguimiento del proyecto o programa está bien encaminado hacia la consecución efectiva de los resultados.

60

La Comisión ya ha dado pasos para mejorar las evaluaciones, mediante:

—la elaboración y emisión de una «Política de evaluación para la cooperación al desarrollo de la UE» (2014);

—la mejora de la calidad de la planificación, ejecución y seguimiento de las evaluaciones de los proyectos y programas (en curso);

—el aumento de la intervención de la Dirección en las evaluaciones estratégicas ya en la fase inicial (en curso), y

—la aplicación del «principio de la evaluación primero» conforme a la Comunicación COM(2013) 686 final.

Recuadro 15

La Comisión no considera el ejemplo como un caso de deficiencia de la información sobre los resultados o de la evaluación en lo que respecta a la acción en su conjunto, cuya eficacia solo puede evaluarse por definición hacia el final o tras la ejecución de todos sus componentes o subproyectos.

65

La Comisión emitirá en 2015 su primer informe de resultados consolidados en relación con la asistencia prestada en el contexto de las políticas de cooperación internacional y desarrollo de la UE. Lo hará en forma de un informe complementario al informe anual.

Recuadro 16 — Tercer párrafo

La mejora de los sistemas de seguimiento e información y la aplicación del sistema de gestión de información operativa (que sustituye también al CRIS) mejorarán notablemente el uso de los sistemas informáticos para la presentación de la información, en particular la relativa a los resultados, por parte de EuropeAid.

Recuadro 17

La deficiencia de los sistemas nacionales de recogida de datos y de gestión de la información en los países a los que la UE presta asistencia es un factor inherente a su estado de desarrollo y un problema constante para los donantes. Como tal, solo puede resolverse de modo sostenible mediante el establecimiento de sistemas estadísticos nacionales adecuados. El factor riesgo se mitiga en lo que respecta a la UE en el marco del apoyo sectorial y de otro tipo prestado por la UE. Sin embargo, solo puede resolverse de modo suficiente con el trabajo sostenido del país y de la comunidad de donantes.

72

El marco financiero plurianual (MFP) 2014-2020 introduce varios elementos nuevos para estimular el rendimiento de los programas de gasto. Sobre esa base, una iniciativa de la Comisión encabezada por la vicepresidenta de Presupuesto y Recursos Humanos, Kristalina Georgieva, trata de favorecer la transición a un presupuesto de la UE orientado a los resultados. El objetivo es crear las condiciones para reforzar la ejecución del presupuesto en términos tanto de resultados de los programas como de gestión financiera sólida de los fondos con un enfoque equilibrado global. Se pretende con ello reducir el riesgo de centrarse en la ejecución presupuestaria en detrimento de los resultados del programa, incluidas las áreas de gasto y métodos con los que el presupuesto de la UE puede maximizar los resultados y la aplicación rigurosa de controles de efectividad de costes para mejorar el cumplimiento.

73

La Comisión aborda este riesgo mediante la programación plurianual, con una planificación a 24 meses de las acciones concretas de ejecución y mediante el proceso interno del Grupo de Apoyo a la Calidad. Estas acciones se complementan con otras medidas, como el futuro marco de resultados de la UE. Véase también la respuesta al apartado 29.

75

Con respecto a los programas de apoyo presupuestario, la Comisión ha desarrollado un marco de gestión de riesgo (MGR) para identificar y mitigar los principales riesgos. El MGR se tiene en cuenta en el proceso de toma de decisiones, especialmente en la mejora de la gobernanza a través del Comité Rector del Apoyo Presupuestario interno. El MGR es tenido sistemáticamente en cuenta en el diálogo político con los países socios a nivel estratégico, así como en relación con la atención prestada a cuestiones claves. El MGR se utiliza para equilibrar los beneficios esperados, definidos en el documento de acción, con los riesgos identificados y proponer medidas de mitigación del riesgo.

El análisis interno (informe de apoyo presupuestario de 2013 y 2014) muestra que los países que reciben apoyo presupuestario de la UE registran claramente una gestión de la hacienda pública cada vez mejor, en comparación con los receptores de ayuda distinta al apoyo presupuestario.

El riesgo que debería ilustrar este ejemplo se reduce con la aplicación de las directrices sobre apoyo presupuestario de 2012.

Recuadro 19

En 2015, la Comisión ha decidido reforzar caso por caso la evaluación subyacente de si trabajar o no con una organización internacional como socio de ejecución.

Recuadro 20

La Comisión reconoce que los cambios en el contexto económico representan riesgos en lo que respecta a los resultados a conseguir. Los riesgos de este tipo son el motivo de que el análisis del contexto sea un elemento importante del proceso ordinario de identificación y formulación aplicado por los servicios de la Comisión y las delegaciones de la UE en la preparación de los proyectos y programas.

Para adaptarse a los cambios imprevistos en el contexto de la ayuda se requiere un cierto grado de flexibilidad en la fase de ejecución, que se ha logrado simplificando las normas y procedimientos correspondientes desde julio de 2014. Estas medidas de simplificación incluyen cambios en el uso de indicadores para poder tener en cuenta las modificaciones de las prioridades concretas o en la recogida y disponibilidad de datos.

No obstante, no puede excluirse que resulte imposible alcanzar los objetivos iniciales del proyecto, en cuyo caso estos tendrán que adaptarse a las nuevas circunstancias y contexto.

Recuadro 21

La reorganización de enero de 2015 no afectará en sí a la definición de los objetivos ni a la consecución de los resultados correspondientes en el marco de las acciones concretas.

La Comisión, con independencia de su propia organización administrativa y conforme a lo dispuesto en el Reglamento de ejecución común para los países de la Política Europea de Vecindad (PEV) (en particular, los artículos 12 y 13), respetará sus obligaciones de vigilancia de la ejecución de los proyectos y de información a los Estados miembros, al PE y a otras instituciones de la Unión.

La Comisión se basará en el Marco de resultados también en lo que respecta a los países de la política de vecindad, conforme a las conclusiones del Consejo nº 9145/15 de 26 de mayo de 2015. Se ha establecido una herramienta concreta para prestar apoyo a la «información sobre los resultados al final del proyecto» en el marco del nuevo sistema de seguimiento orientado a los resultados (SOR), con objeto de ayudar a consolidar los datos sobre los resultados del final del proyecto, en particular en lo que respecta a los indicadores basados en el marco de resultados convenido.

Con respecto a la evaluación, la Dirección General de Política de Vecindad y Negociaciones de Ampliación (DG NEAR) tiene su propia función de evaluación, que cubre desde 2015 las regiones vecinas y de ampliación.

5. Conclusiones y recomendaciones

80 a)

Los servicios de la Comisión han estado trabajando a varios niveles para velar por el uso de una terminología coherente: la orientación sobre los indicadores sectoriales de 2013, el modelo de documento de acción y la orientación correspondiente aplicable desde el 1 de enero de 2015, y el nuevo marco de resultados de la cooperación y el desarrollo internacional y las correspondientes instrucciones y orientaciones para la presentación de información con arreglo al marco de resultados.

Los servicios de la Comisión están reforzando también el apoyo a la garantía de calidad interna con respecto a estos aspectos de los documentos de acción, que considera importante tanto para el seguimiento y la información sobre la ejecución, la actuación y los resultados como para la evaluación de las acciones.

Los servicios de la Comisión se atienen asimismo a la terminología empleada en los reglamentos de base que constituyen el marco reglamentario de la asistencia exterior de la UE.

La Comisión conviene en que establecer «una cadena lógica clara» que vaya de las actividades al impacto es de enorme importancia en cada proyecto. Esta afirmación se ha reforzado con la introducción del modelo de documento de acción desde 1 de enero de 2015. No obstante, el establecimiento de una cadena lógica a nivel estratégico o político no reflejará nunca la complejidad del contexto del desarrollo. Por ello, en el mundo de la evaluación internacional se cuestiona cada vez más el uso del marco lógico lineal en este nivel estratégico y político.

80 b)

La integración de aspectos transversales plantea ciertamente varios retos para una formulación adecuada de los objetivos y resultados concretos de las acciones y para la recogida de datos que permitan un seguimiento de su ejecución.

80 c)

El riesgo de deficiencias y lagunas que señala el Tribunal parece darse más a escala nacional. Esto demuestra la importancia del alineamiento de los donantes con el marco de resultados/políticas/sistemas del país, como enfoque preferente frente a la mera armonización entre los proveedores de fondos, como ya señaló el Tribunal en el apartado 17, a) y b).

Con este enfoque, la Comisión ya ha hecho importantes esfuerzos en el contexto de la programación plurianual 2014-2020 para lograr el mayor alineamiento en las políticas y marcos nacionales con arreglo a los compromisos de Busan sobre la efectividad de la ayuda. Este ha sido también el enfoque de la Comisión en la adopción del nuevo marco de resultados institucional. A escala nacional, la Comisión, junto con otros donantes, es favorable a la definición de marcos de resultados de titularidad nacional y contempla la programación conjunta con los Estados miembros de la UE como uno de los medios para promoverlos.

80 h)

Los cambios en el contexto de las acciones pueden dar lugar a cambios en los indicadores empleados o los valores objetivo iniciales de los indicadores.

Recomendación 1

La Comisión acepta la recomendación y ya ha estado trabajando para usar una terminología coherente: la orientación sobre los indicadores sectoriales de 2013, el modelo de documento de acción y la orientación correspondiente aplicable desde el 1 de enero de 2015 y el nuevo marco de resultados de la cooperación y el desarrollo internacional y las correspondientes instrucciones y orientaciones para la presentación de información con arreglo al marco de resultados.

Todo ello conforme a la terminología empleada en los reglamentos de base.

Los servicios de la Comisión están reforzando también el apoyo en el marco de la garantía de calidad interna en relación con esos aspectos de los documentos de acción y continuará mejorando su orientación general sobre los módulos de gestión de programas y proyectos y formación del personal en esta área.

Recomendación 2

La Comisión acepta la recomendación.

En los últimos dos años ha preparado varias medidas para reforzar sus sistemas, orientaciones y procesos al respecto. Véase también la respuesta a la recomendación 1.

La Comisión conviene (véase la respuesta al apartado 80 a)) en que establecer «una cadena lógica clara» desde las actividades hasta el impacto es de enorme importancia en cada proyecto,

Recomendación 3

La Comisión acepta la recomendación.

Hay medidas en curso para mejorar el sistema de seguimiento y evaluación en su conjunto, mejorando además la capacidad de la Comisión para extraer enseñanzas (véanse también las respuestas de la Comisión al Informe Especial del Tribunal 18/2014).

Con respecto al sistema de información, en particular, las acciones adoptadas hasta el momento por la Comisión son el establecimiento de un sistema preliminar para garantizar una información consolidada sobre los resultados en su primer informe de resultados de 2015 antes del desarrollo de los primeros módulos de su nuevo sistema de información operativa, que se ha previsto que incluyan también información sobre los resultados.

Anticipando el nuevo sistema y en línea con una de las recomendaciones del Tribunal en su Informe Especial 18/2014 sobre evaluaciones y SOR, la Comisión se encuentra en la fase final de desarrollo de un módulo de información específica relativa a las evaluaciones, que se prevé aplicar en la primera mitad de 2016 y que mejorará progresivamente su capacidad de extraer enseñanzas a los efectos pertinentes.

Recomendación 4

La Comisión acepta la recomendación. Ya ha reforzado sus medidas al respecto, como se indica en su respuesta a la recomendación 1.

Recomendación 5

La Comisión acepta la recomendación.

La aplicación de la recomendación formará parte de la evaluación general de los riesgos inherentes a una acción (por ejemplo, elección de una determinada modalidad de ejecución, véase también el apartado 2 «Riesgos e hipótesis» del modelo del documento de acción aplicable desde el 1 de enero de 2015).

Con respecto a los programas de apoyo presupuestario, la Comisión ha desarrollado un marco de gestión de riesgo (MGR) para identificar y atenuar los principales riesgos. El MGR se tiene en cuenta en el proceso de toma de decisiones, especialmente en la mejora de la gobernanza a través del Comité Rector del Apoyo Presupuestario interno. El MGR es tenido sistemáticamente en cuenta en el diálogo político con los países socios a nivel estratégico. Se utiliza asimismo para evaluar el equilibrio que debe conseguirse entre los beneficios esperados de la acción prevista, identificar riesgos y proponer medidas de mitigación.

El análisis interno (informe de apoyo presupuestario de 2013 y 2014) muestra que los países que reciben apoyo presupuestario de la UE registran claramente una gestión de la hacienda pública cada vez mejor, comparados con los receptores de ayuda distinta al apoyo presupuestario.

En 2015, la Comisión ha decidido reforzar la evaluación subyacente acerca de si trabajar o no con una organización internacional como socio de ejecución caso por caso.

QJ-AB-15-019-ES-E    ISSN 1977-5687

En nuestro análisis hemos identificado nueve ámbitos de riesgo principales relacionados con el enfoque orientado a los resultados en las acciones de desarrollo y cooperación de la UE.
Dicho análisis ha revelado que la Comisión había identificado correctamente estos ámbitos de riesgo, así como el interés de las iniciativas de la Comisión para mejorar los resultados de la cooperación y el desarrollo de la UE.
No obstante, es preciso tomar medidas adicionales con objeto de aprovechar plenamente el potencial de estas iniciativas. En este sentido, hemos formulado una serie de recomendaciones.