COUR DES COMPTES EUROPÉENNE

12, rue Alcide De Gasperi

1615 Luxembourg

LUXEMBOURG

Tél. +352 4398-1

Courriel: eca-info@eca.europa.eu

Internet: http://eca.europa.eu

Twitter: @EUAuditorsECA

YouTube: EUAuditorsECA

De nombreuses autres informations sur l’Union européenne sont disponibles sur l’internet via le serveur Europa (http://europa.eu).

Luxembourg: Office des publications de l’Union européenne, 2015

Print | ISBN 978-92-872-3416-2 | ISSN 1831-0850 | doi:10.2865/133723 | QJ-AB-15-019-FR-C
PDF | ISBN 978-92-872-3386-8 | ISSN 1977-5695 | doi:10.2865/24231 | QJ-AB-15-019-FR-N
EPUB | ISBN 978-92-872-3390-5 | ISSN 1977-5695 | doi:10.2865/438249 | QJ-AB-15-019-FR-E

© Union européenne, 2015

Reproduction autorisée, moyennant mention de la source

Toute utilisation ou reproduction de l’annexe figurant à la page 41 nécessite l’autorisation expresse du titulaire du droit d’auteur.

COMMENT VOUS PROCURER LES PUBLICATIONS
DE L’UNION EUROPÉENNE?

Publications gratuites:

•un seul exemplaire:
sur le site EU Bookshop (http://bookshop.europa.eu);

•exemplaires multiples/posters/cartes:
auprès des représentations de l’Union européenne (http://ec.europa.eu/represent_fr.htm),
des délégations dans les pays hors UE (http://eeas.europa.eu/delegations/index_fr.htm),
en contactant le réseau Europe Direct (http://europa.eu/europedirect/index_fr.htm)
ou le numéro 00 800 6 7 8 9 10 11 (gratuit dans toute l’UE) (*).

(*)Les informations sont fournies à titre gracieux et les appels sont généralement gratuits (sauf certains opérateurs, hôtels ou cabines téléphoniques).

Publications payantes:

•sur le site EU Bookshop (http://bookshop.europa.eu).

FR
2015

n° 21

Rapport spécial

Analyse des risques
liés à une approche axée
sur les résultats pour les
actions de développement
et de coopération de l’UE

(présenté en vertu de l’article 287, paragraphe 4, deuxième alinéa, du TFUE)

Équipe d’audit

Les rapports spéciaux de la Cour présentent les résultats de ses audits de la performance et de conformité relatifs à des domaines budgétaires ou questions de gestion spécifiques. La Cour sélectionne et conçoit ces activités d’audit de manière à maximiser leur incidence en tenant compte des risques susceptibles d’affecter la performance ou la conformité, du niveau des recettes ou des dépenses concernées, des évolutions escomptées ainsi que de l’importance politique et de l’intérêt du public.

Le présent audit de la performance a été réalisé par la Chambre III, compétente pour les domaines de dépenses relatifs aux actions extérieures. Elle est présidée par M. Karel Pinxten, qui est le Membre de la Cour responsable du rapport. L’audit a été effectué sous la responsabilité de M. Philippe Froidure, directeur de la Chambre III, secondé par M. Hubert Devillé, assistant du directeur.

De gauche à droite: P. Froidure, K. Pinxten et H. Devillé.

Table des matières

Synthèse

1. Introduction

1.1. Pourquoi les résultats comptent

1.2. Qu’entend-on par résultat?

1.3. Le cadre global de résultats de l’UE pour le développement et la coopération

2. Contexte politique et réglementaire de l’approche axée sur les résultats

2.1. Contexte politique

2.1.1. Objectifs de haut niveau pour le développement

2.1.2. Forums de haut niveau sur l’efficacité de l’aide

2.1.3. Communications de l’UE

2.2. Contexte légal et réglementaire

3. Notre analyse

4. Risques majeurs

4.1. Formulation d’objectifs et d’indicateurs

4.1.1. Terminologie

4.1.2. Alignement et cohérence des documents

4.1.3. Fixation d’objectifs SMART et d’indicateurs clairs

4.1.4. Définition de l’engagement d’un pays partenaire à mettre en œuvre des réformes en tant qu’objectif

4.2. Mise en place de la chaîne de résultats

4.2.1. Établissement d’un lien entre les actions et les résultats au moyen d’une chaîne logique et claire

4.2.2. Contribution ou attribution

4.3. Complexité accrue due à l’intégration de questions transversales

4.4. Harmonisation des instruments et des cadres entre les partenaires au développement

4.4.1. Alignement sur les cadres de résultats des pays partenaires

4.4.2. Harmonisation des instruments utilisés par les parties prenantes au développement

4.4.3. Stratégie face à la juxtaposition de différentes structures en matière d’obligation de rendre compte

4.5. Faiblesses en matière d’évaluation et de communication des résultats

4.6. Consolidation et communication des données

4.7. Qualité des données

4.8. Résultat de l’exécution budgétaire

4.9. Changements dans le contexte des actions de l’UE

4.9.1. Gestion des risques et choix des modalités de mise en œuvre

4.9.2. Facteurs exogènes

5. Conclusions et recommandations

5.1. Conclusions

5.2. Recommandations

Annexe
—
Cadre global d’évaluation pour les évaluations de l’aide budgétaire

Réponses de la Commission

Synthèse

I

Chaque année, l’Union européenne (UE) affecte des ressources considérables à l’aide au développement des pays les plus pauvres du monde. Afin d’établir la crédibilité de l’aide au développement, il est impératif que les résultats obtenus grâce à ces ressources puissent être démontrés.

II

Récemment, le Parlement européen et le Conseil ont réaffirmé l’importance de recentrer sur les résultats les politiques de développement et de coopération de l’UE, actuellement axées sur les activités. En décembre 2013, la Commission a également publié un document de travail de ses services intitulé Paving the way for an EU Development and Cooperation Results Framework (Jeter les bases d’un cadre de résultats de l’UE pour le développement et la coopération). En mars 2015, elle a présenté ce cadre dans un autre document de travail, intitulé Launching the EU International Cooperation and Development Results framework (Lancer le cadre de résultats de l’UE pour le développement et la coopération internationale).

III

Notre analyse nous a permis de relever neuf risques majeurs liés à une approche axée sur les résultats pour les actions de développement et de coopération de l’UE.

IV

Cet examen a montré que la Commission avait correctement identifié ces risques dans toute une série de documents. Il a également mis en évidence l’intérêt des mesures prises par la Commission en vue de lancer un cadre de résultats de l’UE pour le développement et la coopération internationale.

V

Cependant, d’autres actions restent à accomplir afin d’exploiter pleinement le potentiel des initiatives de la Commission visant à améliorer les résultats de l’UE pour le développement et la coopération. Dans ce contexte, nous avons formulé un certain nombre de recommandations dont la Commission devrait tenir compte.

1. Introduction

1.1. Pourquoi les résultats comptent

01

Des ressources considérables sont consacrées à l’aide au développement des pays les plus pauvres du monde. Tout en soulignant qu’il n’existe pas de source de données unique sur le financement du développement, la Commission a estimé, en juillet 2014, que les ressources cumulées mises à la disposition des pays en développement au cours de la décennie 2002-2012 avaient représenté près de 2 171 milliards de dollars des États-Unis, financements publics et privés, nationaux et internationaux, compris.

02

En 2013, les dépenses nettes collectives de l’UE (y compris des États membres) en matière d’aide publique au développement (APD) se sont élevées à 56,5 milliards d’euros, ce qui équivaut à 0,43 % du RNB collectif de l’UE¹. Ce rapport APD/RNB est à considérer à l’aune de l’engagement, pris au niveau international, d’atteindre un rapport APD/RNB de 0,7 % en 2013.

03

Les montants qu’il est prévu de consacrer au développement et à la coopération au cours de la période 2014-2020 représentent 19 661 millions d’euros financés par le budget général de l’UE² et 30 506 millions d’euros en faveur des pays ACP financés par le Fonds européen de développement³.

04

Afin d’établir la crédibilité de l’aide au développement, notamment en ce qui concerne les instruments utilisés, les méthodes d’acheminement de l’aide et les fonds concernés, il est impératif que les résultats obtenus grâce à ce soutien puissent être démontrés.

05

L’obligation de rendre compte est également une question importante. Dans un rapport publié en janvier 2014, le Parlement européen faisait observer que «la budgétisation par activité [demeurait] le principe fondamental à suivre lors de l’élaboration du budget de l’Union» et déplorait que certaines propositions pour la période de programmation 2014-2020 restaient «essentiellement fondées sur les intrants (axées sur les dépenses) et [continuaient] donc de privilégier la conformité avec les règles plutôt que les résultats». Le Parlement soulignait également que le cadre de performance utilisé par la Commission pour le cadre financier pluriannuel 2014-2020 devrait prendre en considération les trois principaux éléments suivants⁴:

a)la réalisation des objectifs du programme (résultats);

b)la bonne gestion du programme par la Commission et les États membres;

c)la contribution des résultats du programme et de la bonne gestion aux principaux objectifs de l’Union.

1.2. Qu’entend-on par résultat?

06

Un résultat est une conséquence mesurable découlant – directement ou indirectement – d’un lien de cause à effet. Dans le domaine du développement et de la coopération, une approche axée sur les résultats reposera sur le principe selon lequel, dans les interventions, l’accent devrait être mis sur les résultats obtenus plutôt que sur la gestion des activités ou des processus. Les résultats couvrent généralement les trois catégories suivantes⁵:

a)les réalisations: ce qui est produit ou accompli avec les moyens affectés à une intervention (par exemple, des formations dispensées aux chômeurs ou des nouvelles routes);

b)les effets: changements qui résultent de la mise en œuvre d’une intervention et qui sont normalement liés aux objectifs de celle-ci. Les effets peuvent être attendus ou inattendus, positifs ou négatifs (par exemple, le fait pour des stagiaires d’avoir trouvé un emploi ou l’amélioration de l’accessibilité à une zone grâce à la construction d’une route);

c)les impacts: conséquences socio-économiques à long terme qui peuvent être observées un certain temps après l’achèvement d’une intervention et qui peuvent affecter les destinataires directs de l’intervention ou d’autres destinataires indirects.

Figure 1

Notion de résultats

1.3. Le cadre global de résultats de l’UE pour le développement et la coopération

07

En plus des mécanismes existants pour mesurer et communiquer les résultats, la Commission a pris l’initiative notable de publier, en décembre 2013, un document de travail intitulé Paving the way for an EU Development and Cooperation Results Framework (Jeter les bases d’un cadre de résultats de l’UE pour le développement et la coopération). Cette initiative visait:

à décrire les processus […] mis en place par la Commission pour concrétiser l’engagement pris dans le «programme pour le changement» de renforcer sa capacité à assurer le suivi et à rendre compte des résultats opérationnels obtenus grâce à la mise en œuvre des projets et des programmes de développement et de coopération financés par l’UE⁶.

08

Ce document prenait en compte les conclusions d’une étude menée par la Commission en 2013 fournissant une analyse des enseignements tirés de l’expérience de cinq agences de développement qui mettaient déjà en œuvre leur propre cadre de résultats. Il présentait une approche préliminaire pour l’élaboration d’un cadre global de résultats de l’UE pour le développement et la coopération. Ce cadre était décrit comme suit:

Un cadre de résultats est un outil utilisé par différents partenaires au développement pour mesurer les résultats obtenus par rapport aux objectifs de développement stratégiques. Il peut être considéré comme une articulation entre les différents niveaux, ou chaînes, des résultats attendus de la mise en œuvre d’une stratégie, d’un programme ou d’un projet spécifique.

09

Le cadre de résultats de l’UE pour le développement et la coopération aura deux finalités principales: en tant qu’outil permettant de satisfaire à l’obligation de rendre compte, informer les parties prenantes des résultats obtenus et, en tant qu’outil de gestion, fournir des données relatives à la performance qui permettent de prendre des décisions de gestion.

10

Un autre document de travail des services de la Commission a été publié en juin 2014, visant à décrire, d’une part, le cadre pour le suivi, l’évaluation et l’établissement de rapports jusqu’à la fin du prochain cadre financier pluriannuel prescrit par les instruments juridiques qui sous-tendent la nouvelle génération de programmes et, d’autre part, les travaux restant à mener par la Commission pour réaliser ledit cadre (également appelé cadre «MORE»). Ce document donne, pour chaque domaine politique, une vue d’ensemble des objectifs généraux et spécifiques des instruments, et présente les principaux indicateurs pour chaque objectif, les dispositifs de suivi, ainsi que le calendrier et le contenu des évaluations et des rapports⁷.

11

En avril 2014, le Parlement européen a déclaré soutenir «la poursuite de l’action de la Commission visant à passer d’une approche fondée sur les intrants à une approche axée sur les résultats»⁸. En mai 2014, le Conseil a salué le document de travail des services de la Commission de décembre 2013 intitulé Paving the way for an EU Development and Cooperation Results Framework et manifesté son intérêt pour les «résultats de la phase pilote en vue d’une finalisation rapide du cadre de résultats de l’UE pour le développement et la coopération, de sorte que la communication des résultats enregistrés en 2014 puisse avoir lieu au cours du premier semestre de 2015»⁹.

12

En mars 2015, la Commission a publié un nouveau document de travail intitulé Launching the EU International Cooperation and Development Results framework (Lancer le cadre de résultats de l’UE pour le développement et la coopération internationale). Ce document visait à traduire les approches définies dans le document de travail de 2013 (voir point 7) en plans opérationnels pour permettre à la DG Coopération internationale et développement d’établir à compter de 2015 des rapports annuels montrant comment les fonds dépensés contribuent à la réalisation des objectifs des politiques¹⁰.

1SWD(2014) 235 final – Document de travail des services de la Commission – EU Accountability Report 2014 on Financing for Development - Review of progress by the EU and its Member States (Rapport 2014 relatif à la reddition des comptes de l’UE en matière de financement du développement – Examen des progrès réalisés par l’UE et ses États membres).

2http://ec.europa.eu/budget/mff/figures/index_fr.cfm, janvier 2015.

3Publication de la Commission intitulée Cadre financier pluriannuel 2014-2020 et budget 2014 de l’UE – Synthèse chiffrée.

4Rapport sur l’évaluation des finances de l’Union fondé sur les résultats obtenus: un nouvel outil de la procédure de décharge améliorée de la Commission européenne – A7-0068/2014, 30 janvier 2014.

5Dans le cadre du présent rapport, pour ces trois catégories de résultats, nous utilisons la terminologie employée dans le cadre des instruments de financement de l’action extérieure. Des termes similaires peuvent être utilisés différemment dans d’autres documents de l’UE.

6SWD(2013) 530 final du 10 décembre 2013.

7SWD(2014) 200 final du 26 juin 2014 – Document de travail des services de la Commission intitulé Overview of the Monitoring, Reporting and Evaluation Frameworks for the MFF 2014-2020 Programmes (Vue d’ensemble des cadres de suivi, de notification et d’évaluation pour les programmes 2014-2020 relevant du CFP) joint au rapport de la Commission au Parlement européen et au Conseil sur l’évaluation des finances de l’Union fondé sur les résultats obtenus.

8Décision du Parlement européen du 3 avril 2014 concernant la décharge sur l’exécution du budget général de l’Union européenne pour l’exercice 2012, section III – Commission et agences exécutives – réf. P7_TA-PROV(2014)0287, section «relations extérieures», point 264.

9Conclusions du Conseil sur un cadre de résultats de l’UE pour le développement et la coopération – session du Conseil de l’Union européenne (Affaires étrangères/développement), 19 mai 2014.

10SWD(2015) 80 final du 26 mars 2015.

2. Contexte politique et réglementaire de l’approche axée sur les résultats

2.1. Contexte politique

13

Le rôle de la Commission sur la scène internationale est défini à l’article 17 du traité sur l’Union européenne. La Commission collabore en particulier avec les Nations unies et l’Organisation de coopération et de développement économiques (OCDE) sur des questions de coopération au développement. Dans ce contexte, des objectifs de haut niveau pour le développement sont adoptés, ainsi que des principes pour une meilleure efficacité de l’aide¹¹.

2.1.1. Objectifs de haut niveau pour le développement

14

En septembre 2000, l’Assemblée générale des Nations unies a adopté la déclaration du millénaire des Nations unies, par laquelle ses membres se sont engagés dans un nouveau partenariat mondial en vue de réduire l’extrême pauvreté, fixant une série d’objectifs assortis d’échéances à atteindre d’ici à 2015, communément appelés objectifs du millénaire pour le développement (OMD).

15

En juin 2012, il a été décidé, lors de la conférence Rio+20, de lancer un processus visant à définir un ensemble d’objectifs de développement durable (ODD) qui s’inscriront dans le prolongement des objectifs du millénaire pour le développement¹². En septembre 2013, des dirigeants du monde entier ont réaffirmé leur volonté d’atteindre les OMD et sont convenus d’organiser un sommet de haut niveau, en septembre 2015, en vue d’adopter un nouvel ensemble d’objectifs pour prolonger les réalisations des objectifs du millénaire pour le développement¹³. Un dialogue mondial sur le programme de développement pour l’après-2015 est actuellement en cours dans le cadre de divers processus. Un rapport de synthèse sur le programme de développement durable pour l’après-2015 a été publié par le secrétaire général de l’ONU en décembre 201414,15.

2.1.2. Forums de haut niveau sur l’efficacité de l’aide

16

La Commission européenne et les États membres de l’UE ont participé à plusieurs forums de haut niveau consacrés au renforcement de l’efficacité des programmes d’aide au développement, à savoir:

a)la déclaration de Rome sur l’harmonisation (2003);

b)la déclaration de Paris sur l’efficacité de l’aide au développement (2005);

c)le programme d’action d’Accra (2008);

d)le partenariat de Busan pour une coopération efficace au service du développement (2011);

e)la première réunion de haut niveau du partenariat mondial pour une coopération efficace au service du développement: «Œuvrer à l’élaboration d’un programme de développement inclusif pour l’après-2015» qui s’est déroulée à Mexico (2014).

17

Au cours de ces forums, un consensus s’est dégagé parmi les donateurs et les pays partenaires, et un certain nombre de principes relatifs aux résultats en matière de développement ont été adoptés, concernant notamment:

a)le renforcement de la capacité des gouvernements des pays partenaires à assumer un plus grand rôle de chef de file et à s’approprier les résultats en matière de développement;

b)la coopération avec les pays partenaires en vue de s’appuyer, autant que possible, sur les cadres des pays partenaires pour l’établissement de rapports et le suivi axés sur les résultats;

c)l’harmonisation des exigences des donateurs en matière de suivi et de notification;

d)l’amélioration de la gestion des résultats par les donateurs et les pays partenaires;

e)le renforcement de l’attention accordée aux résultats en matière de développement.

2.1.3. Communications de l’UE

18

L’engagement pris par l’Union européenne de contribuer à la réalisation d’objectifs de développement internationalement reconnus et d’améliorer l’efficacité de l’aide a été documenté dans plusieurs déclarations et communications publiques, affirmant toutes, d’une manière ou d’une autre, l’importance des résultats en matière de développement et de coopération:

a)la déclaration conjointe du Conseil et des représentants des gouvernements des États membres sur le consensus européen pour le développement (réf. 14 820/05 du 24 février 2006);

b)la communication intitulée «Aider les pays en développement à surmonter la crise» [COM(2009) 160 final du 8 avril 2009];

c)le plan d’action de l’UE en douze points à l’appui des objectifs du millénaire pour le développement [COM(2010) 159 du 21 avril 2010];

d)le cadre opérationnel de l’Union européenne sur l’efficacité de l’aide – Secrétariat général du Conseil (réf. 18 239/10 du 11 janvier 2011);

e)la communication intitulée «Accroître l’impact de la politique de développement de l’UE: un programme pour le changement» [COM(2011) 637 final du 13 octobre 2011];

f)la communication intitulée «Une vie décente pour tous: éradiquer la pauvreté et offrir au monde un avenir durable» [COM(2013) 92 final du 27 février 2013];

g)la communication intitulée «Après 2015: vers une approche globale et intégrée du financement de l’éradication de la pauvreté et du développement durable» [COM(2013) 531 du 16 juillet 2013].

2.2. Contexte légal et réglementaire

19

Les principales dispositions en matière d’audit public et d’obligation de rendre compte des résultats obtenus¹⁶ se trouvent dans le traité sur le fonctionnement de l’Union européenne (TFUE), dans les règlements financiers applicables au budget général de l’Union et aux Fonds européens de développement, ainsi que dans le règlement énonçant des règles et des modalités communes pour la mise en œuvre des instruments de l’Union pour le financement de l’action extérieure:

a)le traité sur le fonctionnement de l’Union européenne dispose que:

i)la Commission présente au Parlement européen et au Conseil un rapport d’évaluation des finances de l’Union fondé sur les résultats obtenus (article 318, paragraphe 2),

ii)la Cour des comptes peut présenter à tout moment ses observations, notamment sous forme de rapports spéciaux (article 287, paragraphe 4)¹⁷;

b)le règlement financier applicable au budget général de l’Union (ci-après le «règlement financier») prévoit que18,19:

i)des objectifs spécifiques, mesurables, réalisables, pertinents et datés doivent être fixés pour tous les secteurs d’activité couverts par le budget. La réalisation de ces objectifs est contrôlée par des indicateurs de performance établis par activité (article 30, paragraphe 3),

ii)en vue d’améliorer la prise de décision, les institutions doivent procéder à des évaluations ex ante et ex post [qui] s’appliquent à tous les programmes et activités qui occasionnent des dépenses importantes (article 30, paragraphe 4),

iii)la Commission doit joindre au projet de budget un certain nombre de documents, y compris des fiches d’activité contenant: des informations sur la réalisation de tous les objectifs spécifiques, mesurables, réalisables, pertinents et datés, fixés antérieurement pour les différentes activités ainsi que les nouveaux objectifs mesurés par des indicateurs [article 38, paragraphe 3, lettre e), i)], une justification complète, notamment une analyse coûts-avantages des modifications proposées concernant le niveau des crédits [article 38, paragraphe 3, lettre e), ii)] et un résumé des résultats d’évaluation lorsqu’il est pertinent pour les modifications budgétaires [article 38, paragraphe 3, lettre e), v)],

iv)l’ordonnateur délégué doit rendre compte à son institution de l’exercice de ses fonctions sous la forme d’un rapport annuel d’activités, contenant des informations financières et de gestion et indiquant les résultats des opérations par rapport aux objectifs qui ont été assignés, les risques associés à ces opérations, l’utilisation des ressources mises à disposition et le fonctionnement efficient et efficace des systèmes de contrôle interne (article 66, paragraphe 9),

v)les rapports spéciaux de la Cour des comptes doivent être communiqués sans délai au Parlement européen et au Conseil (article 163);

c)le règlement énonçant des règles et des modalités communes pour la mise en œuvre des instruments de l’Union pour le financement de l’action extérieure prévoit que²⁰:

i)les décisions de financement doivent mentionner dans une annexe une description de chaque action, précisant les objectifs poursuivis, les principales activités, les résultats escomptés, les méthodes de mise en œuvre, le budget et le calendrier indicatif, ainsi que le dispositif de suivi des résultats (5e considérant),

ii)l’action extérieure de l’Union dans le cadre des instruments doit contribuer à l’obtention de résultats clairs (réalisations, effets et impacts); les résultats de l’action extérieure de l’Union et l’efficacité d’un instrument particulier doivent faire l’objet d’un suivi et d’une évaluation sur la base d’indicateurs prédéfinis, clairs, transparents et, s’il y a lieu, spécifiques à un pays et mesurables (12e considérant),

iii)les programmes d’action doivent préciser, pour chaque action, les objectifs poursuivis, les résultats escomptés et les principales activités (article 2),

iv)chaque année à partir de 2015, la Commission doit soumettre au Parlement européen et au Conseil un rapport sur la réalisation des objectifs de chaque règlement, établi au moyen d’indicateurs mesurant les résultats obtenus et l’efficacité de l’instrument concerné; ce rapport doit évaluer les résultats de l’assistance financière de l’Union au moyen, dans la mesure du possible, d’indicateurs spécifiques et mesurables concernant la contribution de l’assistance à la réalisation des objectifs des instruments (article 13).

11http://ec.europa.eu/europeaid/policies/dialogue-international-sur-le-developpement_fr.

12Document final Rio+20 – «L’avenir que nous voulons».

13Nations unies – Assemblée générale – Application et suivi intégrés et coordonnés des textes issus des grandes conférences et réunions au sommet organisées sous l’égide de l’Organisation des Nations unies dans les domaines économique et social et dans les domaines connexes – Suite donnée aux textes issus du sommet du millénaire – réf. A/68/L.4.

14Nations unies – Assemblée générale – La dignité pour tous d’ici à 2030: éliminer la pauvreté, transformer nos vies et protéger la planète – Rapport de synthèse du secrétaire général sur le programme de développement durable pour l’après-2015 – réf. A/69/700.

15Voir également le document COM(2015) 44 final du 5 février 2015 intitulé «Un partenariat mondial pour l’éradication de la pauvreté et le développement durable après 2015».

16La notion d’obligation de rendre compte fait principalement référence au contrôle démocratique des politiques et des activités des organes publics, tandis que celle d’audit public a trait aux audits financiers et de la performance des politiques et des fonds publics y afférents, ainsi qu’à leur lien avec l’obligation de rendre compte. Voir le rapport de la Cour des comptes européenne intitulé «Analyse panoramique des dispositifs de l’UE en matière d’obligation de rendre compte et d’audit public: lacunes, doubles emplois et défis à relever», 2014 (http://eca.europa.eu).

17Voir également article 163 du règlement financier.

18Règlement (UE, Euratom) n° 966/2012 du Parlement européen et du Conseil du 25 octobre 2012 relatif aux règles financières applicables au budget général de l’Union et abrogeant le règlement (CE, Euratom) n° 1605/2002 du Conseil (JO L 298 du 26.10.2012, p. 1).

19Des dispositions similaires figurent dans les règlements financiers applicables aux Fonds européens de développement.

20Règlement (UE) n° 236/2014 du Parlement européen et du Conseil du 11 mars 2014 énonçant des règles et des modalités communes pour la mise en œuvre des instruments de l’Union pour le financement de l’action extérieure (JO L 77 du 15.3.2014, p. 95).

3. Notre analyse

20

Notre analyse visait à présenter, dans un document unique, une vue d’ensemble de ce que la Cour considère comme étant les risques majeurs associés à une approche axée sur les résultats pour les actions de développement et de coopération de l’UE. Elle illustre également ces risques sur la base de l’expérience acquise par la Cour dans le cadre de ses audits dans le domaine des actions extérieures de l’UE. Une telle analyse est particulièrement pertinente dans le contexte des discussions actuelles relatives au cadre de performance de la Commission (voir point 5) et de la mise en œuvre d’un cadre de résultats de l’UE pour le développement et la coopération internationale (voir point 11).

21

Notre analyse s’est articulée autour de la question suivante: la Commission a-t-elle correctement pris en considération les principaux risques associés à une approche axée sur les résultats pour les mesures de développement et de coopération de l’UE?

22

Nos travaux ont été effectués entre octobre 2014 et janvier 2015. Ils ont comporté un contrôle de la documentation des institutions de l’UE et d’autres importants donateurs bilatéraux et multilatéraux, ainsi que des entretiens avec des agents de la Commission, y compris de la délégation de l’UE au Cambodge, et avec des fonctionnaires de deux organisations internationales et de plusieurs organismes de mise en œuvre. Les rapports spéciaux de la Cour publiés ces dernières années ont également été passés en revue afin d’illustrer par des exemples spécifiques les principaux risques identifiés. Le calendrier des actions de développement est tel que ces exemples ont parfois trait à des actions entreprises il y a plusieurs années.

4. Risques majeurs

23

Sur la base de cet examen, la Cour a relevé neuf risques majeurs, qui sont présentés de façon détaillée et illustrés par des exemples ci-après, et qui touchent aux aspects suivants:

a)l’application cohérente d’une terminologie relative aux résultats (section 4.1);

b)la définition d’une chaîne des résultats claire (section 4.2);

c)la complexité accrue due à l’intégration de questions transversales (section 4.3);

d)l’harmonisation des instruments et des cadres entre les partenaires au développement (section 4.4);

e)la communication et l’évaluation des résultats (section 4.5);

f)la consolidation des données et la synthèse des résultats (section 4.6);

g)la qualité des données (section 4.7);

h)l’attention accordée au résultat de l’exécution budgétaire (section 4.8);

i)les changements dans le contexte des actions de l’UE (section 4.9).

4.1. Formulation d’objectifs et d’indicateurs

4.1.1. Terminologie

24

Compte tenu du nombre et de la diversité des acteurs participant ou étant associés à la mise en œuvre d’un nouveau cadre pour les actions de développement et de coopération de l’UE, il est fondamental qu’ils puissent utiliser une terminologie commune et cohérente.

25

Cependant, la Cour a observé que la terminologie relative aux résultats n’était pas toujours utilisée de manière homogène (voir encadré 1).

26

Un manque de clarté et de cohérence dans la terminologie employée peut être source d’incompréhension et de confusion pour les parties impliquées dans des initiatives de développement et de coopération de l’UE, notamment lorsqu’il s’agit d’évaluer des mesures.

Encadré 1

Exemples de problèmes terminologiques

Si le règlement énonçant des règles et des modalités communes pour la mise en œuvre des instruments de l’Union pour le financement de l’action extérieure²¹ prévoit que les résultats couvrent les réalisations, les effets et les impacts (voir point 19), le plan de gestion d’EuropeAid pour 2014 suit une catégorisation différente, dans laquelle les effets incluent les résultats et les impacts²².

Si les règlements prévoient des objectifs spécifiques, mesurables, réalisables, pertinents et datés (SMART, Specific, Measurable, Achievable, Realistic and Timed), le manuel du ROM d’EuropeAid (EuropeAid’s Results Oriented Monitoring Handbook), qui constitue le document de référence pour toutes les activités de suivi axé sur les résultats d’EuropeAid, se réfère à des IOV (indicateurs objectivement vérifiables) SMART et brouille ainsi la distinction entre objectifs et indicateurs; de manière similaire, la circulaire budgétaire de la Commission pour 2014 qualifie le terme SMART de conditions minimales applicables aux objectifs et aux indicateurs²³.

Si les règlements prévoient des indicateurs prédéfinis, clairs, transparents et, le cas échéant, spécifiques à chaque pays et mesurables, d’autres ensembles de critères de qualité sont parfois utilisés. Comme l’indique EuropeAid dans ses lignes directrices sur l’appui budgétaire publiées en 2012²⁴, il existe différents ensembles de critères pour évaluer la qualité des indicateurs: les indicateurs SMART sont spécifiques, mesurables, réalisables, pertinents et limités dans le temps. Les critères CREAM (Clear, Relevant, Economic, Adequate and Monitorable) se réfèrent à des critères clairs, pertinents, économiques, adéquats et contrôlables. Les orientations d’Eurostat sur les indicateurs sont axées sur la logique, la pertinence, la possibilité de fixer une valeur cible, la fréquence de la collecte des données, le caractère approprié et la possibilité d’estimer la précision. Les indicateurs RACER (Relevant, Accepted, Credible, Easy, and Robust) doivent être pertinents, acceptés, crédibles, simples et solides.

4.1.2. Alignement et cohérence des documents

27

Les objectifs – et leurs indicateurs – sont plus faciles à comprendre et pourront plus facilement être atteints s’ils sont formulés de manière claire et cohérente dans tous les documents interdépendants.

28

Les objectifs et les indicateurs en matière de développement et de coopération de l’UE sont spécifiés dans un grand nombre de documents. Il s’agit notamment:

a)du traité sur le fonctionnement de l’Union européenne;

b)des objectifs de haut niveau pour le développement (voir section 2.1.1);

c)des règlements relatifs aux instruments pour le financement de l’action extérieure²⁵;

d)des stratégies régionales et par pays ainsi que des documents indicatifs de programmation pluriannuelle de la Commission;

e)des programmes d’action annuels annexés aux décisions de financement de la Commission;

f)des conventions de financement avec les pays partenaires, des conventions d’administration/de contribution avec les organisations internationales, des conventions de subvention et des contrats avec des organisations non-gouvernementales et des fournisseurs de services;

g)des fiches d’activité (ou fiches de programme) présentées dans le cadre de la procédure budgétaire;

h)des plans de gestion annuels et des rapports annuels d’activité des directions générales de la Commission concernées.

29

La gestion de tous ces documents, qui proviennent d’autorités différentes et relèvent de cycles et de procédures d’adoption différents, donne nécessairement lieu à des adaptations des objectifs et des indicateurs et, dans certains cas, à des incohérences. À cet égard, un exercice pilote de communication des résultats réalisé par la Commission en 2014, lors de l’élaboration du cadre de résultats, a montré que, lorsque des cadres logiques existaient dans les décisions et les contrats, le degré de cohérence entre eux était, au mieux, contrasté²⁶.

30

Au cours de précédents audits, la Cour a également relevé des incohérences entre les documents définissant les objectifs et les indicateurs (voir encadré 2).

Encadré 2

Exemple d’incohérences entre les documents

«Les rapports annuels d’activité font état de sept indicateurs relatifs à l’Asie centrale. Bien qu’ils soient globalement pertinents pour apprécier le succès de l’aide au développement de l’UE en Asie centrale, ces indicateurs sont différents de ceux définis dans le document de stratégie régionale et dans les programmes indicatifs pluriannuels, et ils ne sont pas directement liés aux résultats escomptés dans le cadre de la stratégie du Conseil pour un nouveau partenariat avec l’Asie centrale.»²⁷

31

Des incohérences dans la formulation des objectifs et des indicateurs peuvent engendrer une confusion quant à ce qui devrait servir de base pour évaluer les résultats obtenus.

4.1.3. Fixation d’objectifs SMART et d’indicateurs clairs

32

L’établissement d’objectifs spécifiques, mesurables, réalisables, pertinents et datés (SMART) est une obligation juridique pour toutes les initiatives de développement et de coopération de l’UE. De plus, les résultats des actions extérieures de l’Union – y compris le développement et la coopération – et l’efficacité d’un instrument particulier devraient faire l’objet d’un suivi et d’une évaluation sur la base d’indicateurs prédéfinis, clairs, transparents et, s’il y a lieu, spécifiques à un pays et mesurables (voir point 19)²⁸.

Figure 2

Nécessité d’établir des objectifs SMART et des indicateurs clairs

33

Lors de précédents audits, la Cour a souvent constaté que les objectifs visés étaient trop vagues ou irréalistes (voir encadré 3). De manière similaire, elle a souvent observé que des indicateurs faisaient défaut ou qu’ils étaient peu clairs (voir encadré 4). Même lorsque les indicateurs sont correctement définis, leur interprétation peut être relative et leur valeur peut varier considérablement selon le contexte dans lequel ils sont utilisés (voir encadré 5).

34

L’exercice pilote de communication des résultats effectué par la Commission en 2014, lors de l’élaboration du cadre de résultats, a également montré que, dans de nombreux cas, lorsque des cadres logiques existaient dans les décisions et les contrats, ils n’étaient pas de bonne qualité, c’est-à-dire que les objectifs n’étaient pas SMART et les indicateurs n’étaient pas clairement définis ou étaient fondés sur des sources de données imprécises.

35

Le fait de ne pas établir d’objectifs SMART ou d’indicateurs clairs contrevient non seulement aux règlements, mais compromet également le suivi de la performance et l’évaluation des résultats, au détriment de l’obligation de rendre compte et de l’audit public. Les résultats d’une intervention risquent également d’être limités si ses objectifs ne sont pas clairement définis dès le départ.

Encadré 3

Exemple d’objectifs trop vagues ou irréalistes

«Les objectifs des projets n’ont pas été clairement définis, essentiellement en ce qui concerne le matériel prévu, son degré de fonctionnement (quantitatif et qualitatif) et la population cible censée bénéficier des résultats des projets. L’absence de mesures précises et quantifiées a considérablement nui à la capacité de la Commission à suivre les progrès réalisés pendant la mise en œuvre et, par la suite, à mesurer et à vérifier si les résultats obtenus se sont avérés durables […]»²⁹

«Il arrive également que les objectifs soient trop ambitieux, en particulier dans le cas de projets d’ONG dotés d’un budget modeste et dont la période de mise en œuvre est relativement courte. Cela vaut en particulier pour plusieurs projets d’ONG financés au titre de la Facilité alimentaire: la durée prévue pour la mise en œuvre était d’environ 20 mois mais, dans la pratique, elle était plutôt limitée à 15 mois, les premiers mois étant consacrés à la passation de marchés et autres activités préparatoires. Dans certains cas, les interventions sont fondées sur des hypothèses déraisonnables concernant les conditions nécessaires à une mise en œuvre réussie, comme les capacités institutionnelles et de gestion des autorités nationales ou locales, la qualité des infrastructures rurales ou la disponibilité de personnel qualifié (nutritionnistes, agents de vulgarisation, etc.).»³⁰

Encadré 4

Exemples d’objectifs manquants ou peu clairs

«Aucun indicateur de performance n’a été intégré dans les conventions de financement de l’aide financière directe (AFD) de PEGASE; de ce fait, il est plus difficile, pour le SEAE, la Commission et les États membres, d’apprécier les résultats concrets du soutien […]. Pour la même raison, il s’avère également plus difficile de démontrer les résultats obtenus dans le dessein d’attirer de nouveaux financements. En outre, cette absence d’indicateurs de performance constitue une violation de la disposition du règlement IEVP qui exige que des indicateurs de performance soient définis, à des fins de suivi, pour toutes les formes d’aide de l’IEVP.»³¹

«[…] Au Kirghizstan, le programme d’information sur la sécurité alimentaire comportait des indicateurs peu précis, tels que “l’information concernant la sécurité alimentaire est, d’une manière générale, considérée comme étant exacte et communiquée en temps utile”, “le nombre d’agents formés est suffisant” et “utilité des prévisions agricoles”.»³²

Encadré 5

Exemple de la pertinence variable des indicateurs

L’UE fournit un appui budgétaire au Cambodge en vue de contribuer au développement de son secteur de l’éducation. Ces dernières années, les examens scolaires de niveau 12 au Cambodge ont été minés par la tricherie et la corruption. Les taux de réussite ont avoisiné les 80 %. En 2014, les autorités cambodgiennes ont entrepris de prévenir et d’éliminer progressivement les irrégularités aux examens, notamment en introduisant des mesures visant à empêcher la tricherie dans les centres d’examen. Lors d’un premier examen organisé en août 2014, le taux de réussite a été de 25 %; lors d’un examen de rattrapage organisé au mois d’octobre, le taux de réussite total pour 2014 est passé à 41 % des candidats, soit environ la moitié du taux de réussite de 2013. À première vue, la variation de cet indicateur pourrait être interprétée comme une détérioration; cependant, elle peut également être considérée comme traduisant une amélioration de la fiabilité et de la crédibilité des examens.

4.1.4. Définition de l’engagement d’un pays partenaire à mettre en œuvre des réformes en tant qu’objectif

36

Pour que les objectifs d’une action soient significatifs en termes de développement, ils devraient correspondre à l’obtention d’un résultat, c’est-à-dire à un changement mesurable découlant de l’action en cause.

37

Au cours d’audits précédents, la Cour a constaté que les objectifs des actions de l’UE étaient parfois formulés sous la forme d’un engagement à prendre par le pays partenaire à un moment donné. Cependant, il est arrivé que, même si l’objectif énoncé avait été atteint, c’est-à-dire si le pays partenaire semblait avoir respecté l’engagement prévu, l’action n’ait eu que peu, voire pas, de véritable impact par la suite; autrement dit, elle n’a pas produit de résultats tangibles en termes de développement (voir encadré 6).

38

L’efficacité des actions de l’UE en matière d’aide au développement et de coordination peut être entravée lorsque l’engagement apparent du pays partenaire à atteindre des résultats, en l’absence d’éléments probants attestant que des réformes importantes sont réellement mises en œuvre, est considéré comme une condition suffisante de paiement.

Encadré 6

Exemple d’intervention où l’engagement du pays partenaire à mettre en œuvre des réformes ne s’est pas traduit par des résultats en matière de développement

«Au Kirghizstan, la Commission a décaissé l’aide budgétaire en trois tranches, chacune étant subordonnée à une évaluation préalable de la réalisation des objectifs relevant de la gestion des finances publiques (GFP). La Commission a jugé que les progrès étaient lents, mais a justifié le décaissement de chacune des trois tranches principalement par l’attitude du gouvernement kirghize qui, selon elle, continuait de soutenir de nouvelles réformes. Aucun élément probant ne permettait d’étayer cet avis. Le raisonnement tenu par la Commission pour motiver ses décisions de décaissement de fonds repose pour l’essentiel sur son évaluation de la volonté de réforme des pays partenaires plutôt que sur son appréciation des progrès effectivement réalisés.»³³

«La Commission n’est pas parvenue à s’assurer que les questions qu’elle soulevait lors des travaux du sous-comité donnaient lieu à des mesures concrètes de la part des autorités égyptiennes. Même lorsque, à l’issue de la réunion, des actions relatives aux points abordés étaient retenues, elles n’étaient généralement pas mises en œuvre. Ainsi, lors de sa réunion de 2009, le sous-comité a-t-il retenu une mesure consistant à examiner la possibilité d’utiliser l’assistance technique de l’UE pour dispenser à l’Égypte des conseils en matière de législation sur les ONG dans les États membres. Cela n’a pas eu de suite. La Commission n’a établi aucun lien entre les critiques à l’encontre des violations des droits de l’homme qu’elle a formulées dans les rapports de suivi et la possibilité de réduire ou de suspendre l’aide de l’UE.»³⁴

4.2. Mise en place de la chaîne de résultats

4.2.1. Établissement d’un lien entre les actions et les résultats au moyen d’une chaîne logique et claire

39

Pour obtenir les résultats escomptés, il importe de définir les mesures appropriées et, ce faisant, d’établir un lien logique et clair entre les activités, les réalisations, les effets et les impacts35,36. La mise en place d’une telle chaîne logique est également essentielle pour montrer comment les interventions de l’UE en matière de développement et de coopération contribuent aux résultats³⁷.

40

Il ressort de certains précédents rapports spéciaux de la Cour et rapports d’évaluation de la Commission que le lien entre action et résultats n’a pas toujours été clairement établi (voir encadré 7).

41

Pour certaines actions, des conditions de paiement fondées sur les résultats peuvent être définies dans des conventions de financement qui subordonnent directement les paiements à l’obtention de résultats, afin de créer des incitations à améliorer ces derniers moyennant un paiement total ou partiel en fonction du degré de réalisation des résultats38,39. Au cours de précédents audits, la Cour a parfois constaté qu’un tel lien n’était pas établi ou appliqué (voir encadré 8).

42

En l’absence d’un lien clair entre les actions – ou les conditions de paiement – et les résultats attendus, les objectifs des interventions peuvent être perdus de vue, ce qui nuit à l’efficacité de l’aide; la capacité de l’UE à démontrer les résultats de ses actions et à en rendre compte est également compromise. De manière similaire, des politiques en apparence distinctes peuvent en réalité être étroitement liées⁴⁰. Lors de la conception d’une action dans le cadre d’une politique donnée, les résultats éventuels de celle-ci par rapport à d’autres politiques peuvent être insuffisamment pris en compte; par exemple, un projet pourrait contribuer à des objectifs en matière de santé, comme la lutte contre la malaria, alors que ses objectifs énoncés ne concernent que l’amélioration de l’accès à l’eau potable.

Encadré 7

Exemples de lien ténu entre action et résultats

«Dans les 24 interventions examinées, la stratégie de la PEV est clairement présentée comme le cadre dans lequel s’inscrit la coopération. Il est clairement fait référence à un ou plusieurs objectifs de la PEV dans les documents de programmation et les interventions sont conformes aux documents de stratégie. Cependant, la documentation examinée ne montre ni n’explique clairement comment les objectifs seront atteints dans le cadre des interventions spécifiques, ni comment les interventions programmées contribueront à l’obtention des résultats»⁴¹.

«Au Malawi et au Rwanda, les programmes d’appui budgétaire font référence aux objectifs des stratégies nationales ainsi que des politiques et programmes sectoriels en matière de réduction de la pauvreté. Ils n’indiquent pas comment ils entendent contribuer à la réalisation des objectifs gouvernementaux.»⁴²

Encadré 8

Exemples d’interventions financières accompagnées de conditions de paiement inefficaces

«L’un des objectifs des deux programmes de soutien budgétaire ciblé était de contribuer à améliorer la gestion des finances publiques (GFP). Cependant, les programmes ne comportaient aucun lien avec le plan de réforme de la GFP du gouvernement ni ne fixaient les éléments à soutenir en priorité. Il est difficile de déterminer de quelle manière des programmes de ce type peuvent atteindre un tel objectif, étant donné que les fonds ont été versés en une seule tranche d’un montant forfaitaire, sans aucune condition en matière de performance ou de dialogue politique.»⁴³

«S’agissant des projets d’investissement dans des infrastructures routières, la manière dont la Commission fait usage des conditions n’incite guère les pays partenaires à les respecter. Les conditions fixées ne sont pas juridiquement contraignantes; elles sont présentées dans les conventions de financement comme des «mesures d’accompagnement» que le pays partenaire est appelé à adopter. En pratique, la Commission approuve généralement les marchés de travaux passés entre les pays partenaires et des contractants, que ces mesures d’accompagnement aient été prises ou non. Elle se trouve ensuite dans l’obligation de financer sur les ressources du FED les dépenses encourues dans le cadre de ces marchés et n’a guère de moyens de contraindre le pays partenaire à respecter les conditions.»⁴⁴

4.2.2. Contribution ou attribution

43

Les interventions de l’UE en matière de développement et de coopération sont menées dans un environnement complexe où un grand nombre d’autres donateurs et de nombreux facteurs exogènes contribuent également – positivement ou négativement – à l’obtention de résultats. C’est pourquoi, outre l’établissement d’un lien de causalité entre l’action de développement et de coopération de l’UE et ses résultats (voir section 4.2.1), il pourrait être souhaitable d’évaluer la force dudit lien, c’est-à-dire de déterminer quelle part des résultats est attribuable à l’action de l’UE.

44

Cependant, comme l’indique le document de travail des services de la Commission intitulé Paving the way for an EU development and Cooperation Results Framework (voir point 7), il est difficile de mesurer la contribution d’un niveau à l’autre de la hiérarchie des résultats, c’est-à-dire des réalisations aux effets, et des effets aux impacts. De fait, comme la Cour l’a constaté dans certains de ses audits (voir encadré 9), si les réalisations d’une intervention sont généralement largement attribuables à cette dernière, ce n’est souvent pas le cas pour ses effets, et encore moins pour son impact.

45

Dans le cas particulier des interventions relevant de l’appui budgétaire, il est en principe impossible de recenser les réalisations, compte tenu de la fongibilité de l’aide financière de l’UE dans le budget du pays partenaire. En effet, le budget du pays partenaire soutient toute la stratégie de développement du pays, et les produits des interventions relevant de l’appui budgétaire de l’UE sont donc liés à des changements dans les politiques gouvernementales et les services publics, qui ne sont pas le résultat du programme d’aide budgétaire seul mais également de diverses mesures et décisions du gouvernement, d’autres programmes d’aide extérieure ainsi que de facteurs extérieurs non gouvernementaux⁴⁵. Cela est bien illustré dans le cadre global d’évaluation pour les évaluations de l’aide budgétaire de l’OCDE (voir annexe).

46

Par conséquent, même lorsqu’un lien logique et clair peut être établi entre action et résultats, il peut s’avérer difficile – voire impossible – de déterminer quelle partie des résultats est attribuable aux interventions de l’UE et quelle partie est attribuable aux interventions d’autres donateurs ou à d’autres facteurs. C’est pourquoi il est plus approprié de parler de contribution plutôt que d’attribution. Outre ses aspects techniques, ce problème concerne également la question plus politique de l’appropriation des résultats. En effet, lorsque de nombreuses parties prenantes sont impliquées, y compris les pays partenaires de l’UE et d’autres donateurs, il se peut que plusieurs acteurs revendiquent les résultats positifs, ou qu’aucun n’assume la responsabilité des résultats négatifs.

Encadré 9

Exemple de difficultés concernant l’attribution des résultats à une intervention de l’UE

«La Cour ne peut déterminer la mesure dans laquelle les programmes d’appui budgétaire de l’UE au Malawi et au Rwanda ont contribué aux résultats des programmes gouvernementaux, compte tenu de la multiplicité et de la complexité des facteurs entrant en ligne de compte […].»⁴⁶

4.3. Complexité accrue due à l’intégration de questions transversales

47

Dans sa communication intitulée «Accroître l’impact de la politique de développement de l’UE: un programme pour le changement» (voir point 18), la Commission a proposé que les activités de l’UE dans chaque pays partenaire soient concentrées sur trois secteurs au maximum. Le fait de cibler les interventions de l’UE sur un nombre restreint de secteurs peut contribuer à accroître leur impact et leur effet de levier et à faire en sorte que l’aide de l’UE reste gérable non seulement pour les pays partenaires, mais également pour la Commission et les délégations de l’UE⁴⁷.

48

Dans l’intervalle, conformément aux instructions de l’UE concernant l’établissement de documents de programmation pluriannuelle pour la période de programmation 2014-2020, les engagements en matière de politique sectorielle doivent également prendre en considération neuf questions transversales, à savoir la promotion des droits de l’homme, l’égalité entre les hommes et les femmes, la démocratie, la bonne gouvernance, les droits de l’enfant, les personnes souffrant d’un handicap, les peuples indigènes, la durabilité environnementale et la lutte contre le VIH/sida⁴⁸ (voir encadré 10).

Figure 3

Secteurs de concentration et questions transversales

49

Dans de précédents rapports d’évaluation, la Commission a signalé l’existence de difficultés pour intégrer les droits de l’homme dans les actions de développement de l’UE (voir encadré 11).

50

L’intégration de questions transversales dans les interventions de l’UE est susceptible de rendre plus complexe la hiérarchisation des objectifs de ces dernières. La complexité accrue due à l’inclusion de ces questions dans les programmes de l’UE représente un risque supplémentaire en matière d’obtention et de communication des résultats.

Encadré 10

Intégration de questions transversales dans un programme – l’exemple du Cambodge

Le programme indicatif pluriannuel de la Commission pour le Cambodge pour la période 2014-2020 prévoit trois secteurs de concentration: agriculture/gestion des ressources naturelles, éducation/compétences et bonne gouvernance. Il prévoit également l’intégration de plusieurs questions transversales: l’égalité entre les hommes et les femmes et le renforcement de l’autonomie des femmes, la nutrition, l’environnement, ainsi que les technologies de l’information et de la communication.

Encadré 11

Exemples de difficultés concernant le traitement des questions transversales – le cas des droits de l’homme

L’UE s’est efforcée de traduire concrètement son engagement et d’intégrer les droits de l’homme au niveau de la programmation, notamment dans les documents de stratégie par région, les plans d’action bilatéraux et les programmes thématiques. Les droits de l’homme et la démocratie sont posés comme principes directeurs dans les documents stratégiques. Cependant, un phénomène de «dilution» de la composante «démocratie et droits de l’homme» peut être observé à mesure que le cycle se développe en aval, c’est-à-dire depuis les promesses politiques générales jusqu’à l’établissement de cadres stratégiques, en passant par la programmation, le choix des instruments, l’affectation des financements et la sélection des projets. Cette dilution se présente sous différentes formes, y compris: i) l’absence de stratégie cohérente pour faire face aux problèmes au moyen d’interventions concrètes, ii) le financement limité accordé aux aspects relatifs à la démocratie et aux droits de l’homme dans d’autres secteurs thématiques importants, et iii) la tendance à limiter les actions en faveur des droits de l’homme aux instruments thématiques.⁴⁹

L’analyse documentaire de six domaines concrets dans lesquels la Commission européenne s’est efforcée d’intégrer les droits de l’homme montre un phénomène de dilution de la composante «droits de l’homme» à mesure que le cycle se développe en aval […]. Cette situation est aggravée par l’absence de systèmes, même élémentaires, pour suivre et évaluer les progrès réalisés en la matière. Cette dilution est liée, d’une part, aux résistances politiques des pays partenaires et, d’autre part, à d’importantes faiblesses propres à l’UE, telles qu’une influence politique limitée et un manque d’uniformité dans la prise de décisions eu égard à la place et au poids des droits de l’homme dans le cadre de l’action extérieure de l’UE. Les difficultés de l’UE à concilier ses valeurs et ses intérêts ont été largement documentées et critiquées par les médias et la société civile. Le printemps arabe a servi de révélateur aux limites de l’«approche opposant stabilité et droits de l’homme» et pourrait ouvrir la voie à une approche plus sage en ce qui concerne l’intégration de la question des droits de l’homme.⁵⁰

4.4. Harmonisation des instruments et des cadres entre les partenaires au développement

4.4.1. Alignement sur les cadres de résultats des pays partenaires

51

Conformément aux principes adoptés lors de forums internationaux de haut niveau, les donateurs, y compris l’UE, devraient s’appuyer, autant que possible, sur les cadres des pays partenaires pour l’établissement de rapports et le suivi axés sur les résultats (voir section 2.1.2). En particulier, les donateurs devraient réduire au minimum leur utilisation de cadres supplémentaires, s’abstenant de demander l’adoption d’indicateurs de performance qui ne soient pas en accord avec les stratégies nationales de développement des pays⁵¹.

52

Cependant, de précédents rapports d’évaluation de la Commission ont fait état de problèmes liés au fait que les cadres des donateurs et des pays partenaires ne sont pas alignés (voir encadré 12).

53

Lorsque les pays partenaires doivent faire face à de nombreux types et niveaux d’obligations en ce qui concerne l’établissement de rapports et les conditions de paiement imposées par plusieurs donateurs, il peut s’ensuivre une charge de travail considérable, qui compromet l’efficience et l’efficacité de l’aide.

Encadré 12

Exemple d’alignement insuffisant avec le cadre de résultats du pays partenaire

[…] Loin d’être un cadre véritablement harmonisé, géré par les gouvernements, le cadre d’évaluation des performances (CEP) s’est transformé en la somme de toutes les «préférences et exigences individuelles» des partenaires au développement. […] L’appropriation réelle par le gouvernement a régressé et le processus d’évaluation au moyen du CEP a été pratiquement réduit à un simple processus obligatoire qu’il convient de suivre pour que les décaissements au titre de l’appui budgétaire continuent […]. Parallèlement à la régression de l’appropriation et de l’engagement, une augmentation importante des coûts de transaction liés au processus d’évaluation annuelle et au dialogue politique connexe a été observée. Cette impression a été confirmée par toutes les parties prenantes concernées interrogées. La croissance régulière du nombre d’indicateurs inclus dans le CEP en est la manifestation la plus évidente.⁵²

4.4.2. Harmonisation des instruments utilisés par les parties prenantes au développement

54

Dans de précédents rapports spéciaux, la Cour a constaté des problèmes liés à l’absence d’harmonisation des instruments utilisés par les partenaires au développement (voir encadré 13).

55

Ce défaut d’harmonisation est susceptible de compromettre l’efficacité et l’efficience du suivi et de la communication des résultats.

Encadré 13

Exemples de problèmes liés à l’absence d’harmonisation des instruments utilisés par les partenaires au développement

«Selon le programme des Nations unies pour le développement (PNUD), il existe plus de 50 fonds publics internationaux, 45 marchés du carbone et 6 000 organismes privés de placement collectif investis en actions fournissant des financements pour la lutte contre le changement climatique, chacune de ces sources étant dotée de sa propre structure de gouvernance. Comme l’indique la Banque mondiale, une telle fragmentation menace de réduire l’efficacité globale du financement de la lutte contre le changement climatique […]. La Commission et les États membres utilisent des canaux tant bilatéraux que multilatéraux pour débourser le financement de la lutte contre le changement climatique. En 2010, ils ont eu recours à pas moins de 22 canaux multilatéraux.

[…] Rien n’a été tenté pour réduire la prolifération des fonds destinés à la lutte contre le changement climatique, ce qui présente un risque sérieux d’inefficacité, de reddition de comptes inadéquate et de fragmentation de l’aide […].»⁵³

4.4.3. Stratégie face à la juxtaposition de différentes structures en matière d’obligation de rendre compte

56

Dans le cadre de l’action de l’UE dans le domaine du développement et de la coopération, la Commission européenne confie certaines tâches d’exécution budgétaire en gestion indirecte à des organisations internationales⁵⁴. Dans ces cas, l’obligation de rendre compte repose sur les structures mises en place à cet effet par l’organisation internationale concernée, y compris la gouvernance, les cadres de résultats⁵⁵ et l’audit externe, ainsi que sur les propres dispositifs de l’UE en matière d’audit et d’obligation de rendre compte.

57

Lors de précédents audits, la Cour a constaté que la juxtaposition de différentes structures pour rendre compte des tâches en gestion indirecte avec des organisations internationales ne permettait pas toujours de satisfaire pleinement à cette obligation de rendre compte (voir encadré 14).

Encadré 14

Exemple d’architecture distincte en matière d’obligation de rendre compte – Nations unies

«Bien que la Commission vérifie les systèmes de gestion financière de ses partenaires des Nations unies (l’analyse des quatre piliers), elle dépend des rapports des Nations unies pour confirmer le fonctionnement des systèmes de contrôle et la réalisation des objectifs. Au moment de l’audit, la Commission n’avait pas encore réussi à obtenir des informations adéquates à ce sujet de la part des Nations unies.»⁵⁶

«La Commission n’obtient pas, par le biais des rapports des Nations unies, des informations suffisantes en temps utile. Une grande partie des rapports souffre encore de retards, manque de précision ou privilégie les activités au détriment des résultats.»⁵⁷

4.5. Faiblesses en matière d’évaluation et de communication des résultats

58

Les dispositions légales relatives au suivi, à l’évaluation et à l’audit des résultats prévoient deux types de calendrier différents:

a)un calendrier périodique: par exemple, l’article 318 du TFUE prévoit que la Commission doit présenter chaque année […] un rapport d’évaluation des finances de l’Union fondé sur les résultats obtenus notamment par rapport aux indications données par le Parlement européen et le Conseil dans le cadre de la procédure de décharge annuelle;

b)un calendrier pragmatique: par exemple, l’article 18, paragraphe 3, des règles d’application du règlement financier dispose que les résultats des programmes pluriannuels, lorsque les ressources mobilisées sont supérieures à 5 000 000 euros, doivent faire l’objet d’une évaluation périodique selon un calendrier permettant de tenir compte des conclusions de ces évaluations pour toute décision concernant la reconduction, la modification ou l’interruption de ce programme.

59

La Cour a constaté dans de précédents rapports d’audit que, dans certains cas, la réalisation des projets ou des objectifs des programmes ne pouvait pas être évaluée avant l’achèvement de ces derniers, ce qui compromettait l’évaluation périodique des résultats obtenus (voir encadré 15).

60

Elle a également observé que des faiblesses affectaient la réalisation des évaluations en temps opportun, c’est-à-dire que les évaluations stratégiques ont souvent pris beaucoup plus de temps que prévu et que les évaluations des programmes ont parfois été reportées ou annulées⁵⁸. Une récente étude commandée par la Commission a également montré d’«importants décalages» entre les évaluations et l’élaboration des politiques, la programmation, le suivi ainsi que la gestion axée sur les résultats. En particulier, elle a mis en évidence des occasions manquées – en termes d’assimilation – dans le cadre desquelles des enseignements précédemment tirés étaient ignorés parce que les constatations de l’évaluation n’étaient pas synchrones avec le processus de prise de décision en matière de gestion ou parce que le contexte avait changé au moment où les constatations étaient mises à disposition⁵⁹.

61

Des faiblesses dans le calendrier de communication des résultats et de l’évaluation peuvent empêcher la prise en considération des connaissances pertinentes et des enseignements tirés dans les processus de communication et de prise de décision.

Figure 4

La durée de cycle d’une action

Encadré 15

Exemple de résultats qui n’ont pu être évalués qu’à la fin de l’action en cause

«La Cour a évalué l’efficacité d’un échantillon de 19 projets en comparant les objectifs escomptés dans l’accord de contribution aux résultats obtenus. […] En raison de l’insuffisance des informations, les résultats n’ont pu être évalués dans les cas suivants: […] l’un des principaux projets était un fonds fiduciaire dont les objectifs, fixés dans l’accord de contribution, concernaient le fonds dans son ensemble et revêtaient donc un caractère plus général. Bien que des objectifs plus spécifiques aient été définis pour les projets sous-jacents, il ne peut y avoir de lien clair entre la réalisation des objectifs du projet et les objectifs généraux de l’accord de contribution. Par conséquent, l’efficacité ne pourra être évaluée qu’à la clôture du fonds, qui n’était pas encore intervenue au moment de l’audit.»⁶⁰

4.6. Consolidation et communication des données

62

Afin de démontrer les résultats obtenus grâce aux politiques de développement de l’UE, les données relatives aux résultats obtenus dans le cadre des actions de développement et de coopération de l’UE doivent être collectées et consolidées par le biais de systèmes d’information, et présentées et diffusées par des canaux de communication appropriés.

63

Toutefois, dans de précédents rapports d’audit, la Cour a relevé des problèmes en ce qui concerne la capacité des systèmes d’information d’EuropeAid à collecter des données relatives aux résultats (voir encadré 16). En 2014, la Commission a également souligné que, pour que l’UE soit en mesure de communiquer des résultats, les systèmes et outils de collecte des données devraient être davantage rationalisés et développés⁶¹.

64

Les données relatives aux activités d’aide au développement et de coopération de l’UE servent de base à une grande variété de rapports, dont les principaux sont les suivants:

a)les comptes annuels et le rapport sur la gestion budgétaire et financière de la Commission⁶²;

b)le rapport annuel d’activité d’EuropeAid et le rapport de synthèse de la Commission⁶³;

c)le rapport annuel au Comité d’aide au développement (CAD) de l’Organisation de coopération et de développement économiques (OCDE), conformément aux lignes directrices du CAD⁶⁴;

d)une contribution mensuelle au registre de données de l’IITA, conformément aux normes de l’IITA⁶⁵;

e)le rapport annuel sur l’évaluation des finances de l’Union fondé sur les résultats obtenus⁶⁶;

f)le rapport annuel sur les politiques de l’Union européenne en matière de développement et d’aide extérieure et leur mise en œuvre;

g)les mises à jour régulières du site web «EU Aid Explorer» de la Commission⁶⁷.

65

Actuellement, la plupart de ces rapports sont centrés sur les activités, et aucun d’entre eux ne fournit de données consolidées sur les résultats obtenus globalement dans le cadre de ces activités⁶⁸. Un nombre insuffisant de rapports consolidés sur les résultats obtenus grâce à l’aide de l’UE ou l’absence de vue d’ensemble en la matière peut nuire à la prise de décision et à l’obligation de rendre compte.

Encadré 16

Exemple de faiblesses affectant le système d’information d’EuropeAid

«Le principal instrument utilisé par les délégations de la Commission pour informer EuropeAid est celui des rapports sur la gestion de l’assistance extérieure (RGAE) […]. Toutefois, ils donnent surtout une description des activités réalisées et des problèmes rencontrés au niveau de la mise en œuvre. De plus, les informations fournies font dans une certaine mesure double emploi avec celles figurant dans CRIS. Elles ne donnent guère d’indications quant aux résultats concrets de l’aide, que ce soit sous forme d’évaluations effectuées par la délégation elle-même ou de rapports sur les résultats des évaluations effectuées au terme des interventions. […]».⁶⁹

«[…] Le calcul, au moyen de CRIS, du montant total des dépenses consacrées à une politique donnée ou financées par un instrument financier donné n’est pas aisé. En effet, la liste des domaines, utilisée pour associer des enregistrements de plusieurs modules de CRIS à un domaine donné, comporte des éléments variés: des zones géographiques (par exemple l’Asie), des instruments financiers […] et des politiques thématiques (par exemple la sécurité alimentaire).

Cette caractéristique du système complique donc particulièrement la consolidation des données, notamment financières, contenues dans CRIS aux fins de la communication d’informations. Elle compromet l’efficience et l’efficacité de CRIS en tant qu’outil de communication d’informations et de gestion.»⁷⁰

4.7. Qualité des données

66

Le suivi et l’évaluation des résultats nécessitent la collecte de données suffisantes, pertinentes, fiables et actualisées. Conformément aux engagements pris lors de forums de haut niveau sur l’efficacité de l’aide (voir section 2.1.2), la collecte des données devrait s’appuyer, autant que possible, sur les cadres des pays partenaires pour l’établissement de rapports et le suivi axés sur les résultats.

67

Cependant, de précédents audits de la Cour ainsi que des évaluations de la Commission ont parfois montré que des sources de données ne fournissaient pas en temps utile des informations suffisantes, pertinentes et fiables sur les résultats obtenus (voir encadré 17). La collecte de données est parfois onéreuse – notamment pour les recensements – et n’est donc pas effectuée fréquemment par les pays partenaires.

68

L’absence de données suffisantes, pertinentes, fiables et actualisées peut sensiblement affaiblir la qualité et la fiabilité des résultats communiqués.

Encadré 17

Exemples de faiblesses affectant la qualité des données

«De manière générale, les indicateurs utilisés par la Commission mettent dûment l’accent sur les [objectifs du millénaire pour le développement], bien que l’intérêt porté aux indicateurs de qualité de l’éducation soit insuffisant. Cependant, les systèmes nationaux d’information de gestion en matière d’éducation sur lesquels s’appuie la Commission ne fournissent pas toujours en temps utile des informations suffisantes et fiables.»⁷¹

4.8. Résultat de l’exécution budgétaire

69

Ces dernières années, des pressions ont été exercées pour accroître les montants consacrés au développement et à la coopération de l’UE, en particulier dans le contexte de l’engagement qui a été pris d’atteindre l’objectif convenu au niveau international d’un rapport APD/RNB de 0,7 % d’ici à 2015⁷².

70

L’article 317 du TFUE stipule que la Commission doit exécuter le budget conformément aux dispositions des règlements financiers et au principe de la bonne gestion financière. L’article 38, paragraphe 3, du règlement financier dispose que la Commission doit joindre au projet de budget annuel, entre autres, des informations sur les taux d’exécution de l’activité de l’exercice précédent et les taux d’exécution pour l’exercice en cours.

71

Le résultat de l’exécution budgétaire peut être perçu comme un objectif en soi et est parfois désigné comme tel dans les plans de gestion de la Commission (voir encadré 18).

72

C’est pourquoi il peut y avoir des tensions entre la nécessité d’exécuter le budget et celle de l’exécuter conformément au principe de bonne gestion financière (efficacité, efficience et économie)⁷³. En particulier, les réussites et les échecs en termes d’exécution budgétaire sont plus directement visibles que les réussites en termes de performance (résultats). Il peut donc y avoir une tendance naturelle à se concentrer sur l’exécution budgétaire au détriment des résultats, comme le montre le rapport annuel de la Cour sur l’exécution du budget relatif à 2013: «Au cours de la période de programmation 2007-2013, l’accent a davantage été mis sur l’absorption des fonds de l’UE (la nécessité de les dépenser) et sur la conformité de leur utilisation que sur la performance»⁷⁴.

73

Le fait de se concentrer sur le résultat de l’exécution budgétaire en tant qu’objectif peut être préjudiciable à la bonne gestion financière et à l’obtention de résultats.

Encadré 18

Exemples d’objectif relatif à l’exécution budgétaire

Le plan de gestion d’EuropeAid pour 2014 fixe l’objectif suivant pour le Fonds européen de développement (FED) en Afrique⁷⁵: «Niveaux d’exécution budgétaire – Maintenir des niveaux élevés d’exécution budgétaire, notamment pour les paiements relatifs à l’appui budgétaire».

Le plan de gestion d’EuropeAid comporte également, pour les instruments de financement extérieur autres que le FED, une annexe intitulée Sound financial management and effective use of EC resources (Bonne gestion financière et utilisation efficace des ressources de la Commission européenne), qui définit plusieurs indicateurs et valeurs relatifs à l’exécution budgétaire, comme suit:

| Indicateur | Valeur cible (2014)
1 | Exécution des prévisions financières annuelles initiales: paiements | De 90 % à 110 %
2 | Exécution des prévisions financières annuelles pour les contrats | De 90 % à 110 %
3 | Exécution des prévisions financières annuelles pour les décisions | De 90 % à 110 %

4.9. Changements dans le contexte des actions de l’UE

4.9.1. Gestion des risques et choix des modalités de mise en œuvre

74

Les actions de développement et de coopération de l’UE sont mises en œuvre dans un grand nombre de pays se situant à des stades de développement différents, dont beaucoup se caractérisent par des conditions sociales, politiques ou humanitaires critiques ou même par des situations instables en matière de sécurité. Le choix d’une modalité de mise en œuvre de l’aide en vue d’atteindre les objectifs d’une action devrait se faire selon la capacité escomptée de celle-ci à fournir des résultats de manière efficace et efficiente, compte tenu du contexte de l’action. Dans certains cas, le choix d’une modalité de mise en œuvre qui peut sembler plus risquée que d’autres peut parfois être motivé par la perspective que celle-ci permettra d’obtenir des résultats meilleurs et plus rapides.

75

Un exemple caractéristique de cette situation est celui de l’appui budgétaire. En effet, s’il peut être conçu comme un moyen de fournir des volumes importants d’aide d’une manière plus prévisible que l’approche par projet traditionnelle, l’appui budgétaire est souvent accordé à des pays dotés de systèmes de gestion des finances publiques (GFP) médiocres. Les fonds versés dans le cadre des opérations d’appui budgétaire étant mêlés à d’autres ressources budgétaires dans le budget du pays (la «fongibilité»), ils sont également exposés aux mêmes insuffisances en matière de GFP, y compris aux risques de fraude et de corruption⁷⁶. De plus, les résultats obtenus grâce à un appui budgétaire et leur durabilité peuvent être mis en péril en cas d’instabilité politique dans le pays partenaire, par exemple parce que la bonne gouvernance, des aspects économiques et sociaux importants ou les droits de l’homme n’ont pas été dûment pris en considération. La décision de fournir un appui budgétaire de l’UE devrait donc être prise cas par cas, sur la base d’une évaluation des bénéfices escomptés et des risques éventuels⁷⁷.

76

Dans de précédents rapports d’audit, la Cour a parfois constaté que le choix d’une modalité de mise en œuvre de l’aide n’avait pas été précédé par une analyse appropriée des risques encourus par rapport aux avantages escomptés (voir encadré 19).

77

L’absence de comparaison entre les bénéfices attendus et les désavantages potentiels des modalités de mise en œuvre retenues est susceptible de conduire au choix d’une modalité inadéquate ou d’exposer le budget de l’UE à des risques anormalement élevés.

Encadré 19

Exemples d’absence d’une analyse des risques portant sur la modalité de mise en œuvre choisie

«[…] La Commission ne démontre pas de manière convaincante qu’elle a évalué le niveau des avantages par rapport aux inconvénients avant de décider de travailler avec une organisation des Nations unies. Le choix d’une organisation donnée des Nations unies n’est pas fondé sur des preuves suffisantes montrant que cette approche est plus efficace et plus rationnelle que les autres modes de fourniture de l’aide.»⁷⁸

4.9.2. Facteurs exogènes

78

La plupart des actions de développement et de coopération de l’UE sont planifiées en vue de produire des résultats sur une période de plusieurs années. Au cours de cette période, les actions peuvent être marquées par des changements importants ou des situations d’instabilité concernant:

a)le contexte politique ou économique au niveau du pays partenaire, comme cela a été le cas, par exemple, en Égypte⁷⁹, en République démocratique du Congo⁸⁰ et en Palestine⁸¹, ou au niveau du projet (voir encadré 20);

b)le contexte du développement eu égard aux catastrophes naturelles, par exemple en Haïti, en janvier 2010, lorsqu’un tremblement de terre d’une magnitude de 7,0 sur l’échelle de Richter a frappé la capitale et ses alentours⁸²;

c)les systèmes de gestion et de contrôle de l’aide de l’UE (voir encadré 21).

79

En raison de ces changements qui affectent le contexte dans lequel se déroulent les actions de développement et de coopération de l’UE, il peut être difficile de recenser et de communiquer les résultats de manière valable et cohérente.

Encadré 20

Exemple d’instabilité dans le contexte économique d’un projet

Au Cambodge, la Commission a financé un projet visant à promouvoir le traitement et la valorisation des déchets dans le secteur de l’usinage du riz. Cependant, ces dernières années, le Cambodge a été témoin d’investissements considérables dans des rizeries plus grandes et plus efficaces qui ont contribué à multiplier la capacité par quatre entre 2009 et 2013⁸³. Il est à prévoir désormais que la plupart des rizeries nécessiteront des systèmes plus puissants que ceux qui devaient initialement être promus par le projet, à des coûts beaucoup plus élevés. C’est pourquoi les objectifs initiaux du projet ont perdu de leur pertinence et sont susceptibles de ne pas être atteints comme envisagé initialement.

Encadré 21

Exemples de changements dans les systèmes de gestion et de contrôle

Le 1er janvier 2015, le groupe de soutien en faveur de l’Ukraine et la direction «Voisinage» de la Commission ont été transférés d’EuropeAid vers la direction générale du voisinage et des négociations d’élargissement (DG NEAR), ex-direction générale de l’élargissement (DG ELARG)⁸⁴. Cela aura une incidence aussi bien sur la couverture géographique du cadre de résultats d’EuropeAid que sur le suivi et la communication des résultats de la politique de voisinage.

21Règlement (UE) n° 236/2014.

22Voir, par exemple, la logique d’intervention sous-jacente à l’instrument de coopération au développement (ICD), à la section 4.1.4 du plan de gestion d’EuropeAid pour 2014.

23Commission européenne – Budget circular for 2014 – Standing instructions (Circulaire budgétaire pour 2014 - Instructions permanentes), 14 décembre 2012.

24Lignes directrices sur l’appui budgétaire – Programmation, conception et gestion de l’appui budgétaire – Une approche moderne de l’appui budgétaire, septembre 2012.

25JO L 77 du 15 mars 2014.

26Un cadre logique est un document qui donne un aperçu des objectifs, des activités et des ressources d’un projet. Généralement, il présente également des hypothèses de base sur lesquelles le projet repose et fournit des informations sur le suivi de ce dernier, y compris à l’aide d’indicateurs.

27Rapport spécial n° 13/2013 «Aide au développement de l’Union européenne en faveur de l’Asie centrale», point 79 (http://eca.europa.eu).

28En avril 2014, le Parlement européen a insisté pour que soient adoptés des critères de référence spécifiques, mesurables, réalisables, pertinents et datés pour l’ensemble des programmes relevant de la rubrique 4 – L’Europe dans le monde – du cadre financier pluriannuel pour la période 2014-2020. Voir la décision du Parlement européen du 3 avril 2014 concernant la décharge sur l’exécution du budget général de l’Union européenne pour l’exercice 2012, section III – Commission et agences exécutives – réf. P7_TA-PROV(2014)0287.

29Rapport spécial n° 13/2012 «Aide au développement de l’Union européenne en matière d’approvisionnement en eau potable et de services d’assainissement de base dans les pays subsahariens», point 50 (http://eca.europa.eu).

30Rapport spécial n° 1/2012 «L’efficacité de l’aide au développement octroyée par l’Union européenne en matière de sécurité alimentaire en Afrique subsaharienne», point 52 (http://eca.europa.eu).

31Rapport spécial n° 14/2013 «L’aide financière directe de l’Union européenne à l’Autorité palestinienne», point 31 (http://eca.europa.eu).

32Rapport spécial n° 13/2013, point 52.

33Rapport spécial n° 13/2013, point 57.

34Rapport spécial n° 4/2013 – «La coopération de l’UE avec l’Égypte dans le domaine de la gouvernance», points 39 et 41 (http://eca.europa.eu).

35Study on Legal Instruments and Lessons Learned from the Evaluations Managed by the Joint Evaluation Unit - Final Report Volume 1: Final Summary Report, July 2011, p. vi: (Étude sur les instruments juridiques et les enseignements tirés des évaluations gérées par l’unité commune d’évaluation – Rapport final volume 1: Rapport de synthèse final, juillet 2011, p. vi): La formulation de chaînes logiques et claires dans les règlements est primordiale. Cela peut être encouragé en évitant les listes d’activités non structurées et les liens ténus entre les activités, les réalisations et leurs impacts escomptés. Les liens entre les différentes étapes de la chaîne devraient être clairs et logiques de manière à éviter le risque de lacunes dans la logique et de réalisations ou d’impacts «orphelins». – réf. évaluation DEVCO 1292.

36Le manuel de gestion axée sur les résultats du groupe de développement des Nations unies donne une explication détaillée de ce qui constitue une chaîne de résultats, Results-based management handbook, octobre 2011, p. 14.

37Study on the uptake of learning from EuropeAid’s strategic evaluations into development policy and practice (Étude sur l’assimilation des enseignements tirés des évaluations stratégiques d’EuropeAid dans la politique et les pratiques en matière de développement) – Rapport final, juin 2014, p. vii.

38Commission Budget Support Guidelines – Executive Guide – A modern approach to Budget support (Lignes directrices de la Commission sur l’appui budgétaire – Guide d’exécution – Une approche moderne de l’appui budgétaire), septembre 2012.

39Voir les conclusions du Conseil sur la position commune de l’UE en vue du quatrième forum de haut niveau sur l’efficacité de l’aide (Busan, du 29 novembre au 1er décembre 2011), 3124e session du Conseil de l’Union européenne (Affaires étrangères) – Bruxelles, 14 novembre 2011: «L’UE invite les pays partenaires et les partenaires au développement à mettre davantage l’accent sur une conditionnalité harmonisée et axée sur les résultats.»

40Thematic evaluation of the European Commission support to the health sector (Évaluation thématique de 2012 du soutien accordé par la Commission européenne au secteur de la santé) – Rapport final – Volume 1, août 2012, p. xiv.

41Evaluation of the European Union’s Support to two European Neighbourhood Policy Regions (East and South) [Évaluation de l’aide de l’Union européenne en faveur de deux régions relevant de la politique européenne de voisinage (Est et Sud)] – Rapport final - Volume 1, juin 2013, p. 24.

42Rapport spécial n° 1/2012, point 53.

43Rapport spécial n° 9/2013 «L’aide de l’UE à la gouvernance en République démocratique du Congo», point 65 (http://eca.europa.eu).

44Rapport spécial n° 17/2012 «Pour un réseau routier durable en Afrique subsaharienne – contribution du Fonds européen de développement (FED)», point 27 (http://eca.europa.eu).

45Réseau du CAD de l’OCDE sur l’évaluation du développement – «Approche méthodologique pour les évaluations de l’aide budgétaire», p. 10. Voir également p. 14: «Ces résultats sont produits par l’ensemble des politiques, des stratégies et des dépenses du gouvernement […], des réactions et des réponses des parties prenantes concernées aux changements dans l’élaboration des politiques publiques et les décisions d’allocations des ressources, ainsi que de l’influence d’autres facteurs extérieurs. Ces résultats ne sont donc affectés que partiellement par l’AB fournie. La relation de causalité entre l’aide budgétaire fournie et les résultats sera donc (fortement) diluée avec d’autres facteurs d’influence.»

46Rapport spécial n° 1/2012, point 57.

47Instructions conjointes du SEAE et de la Commission pour la programmation du 11e Fonds européen de développement (FED) et de l’instrument de financement de la coopération au développement (IDC) pour la période 2014-2020.

48Voir également, par exemple, l’article 3 du règlement (UE) n° 233/2014 relatif à l’instrument de coopération au développement (ICD), qui dispose que «les questions transversales énoncées dans le consensus européen sont intégrées dans l’ensemble des programmes. La prévention des conflits, l’objectif d’un travail décent et les changements climatiques sont également intégrés, le cas échéant.»

49Evaluation of the European Union’s Support to two European Neighbourhood Policy Regions (East and South) [Évaluation de l’aide de l’Union européenne en faveur de deux régions relevant de la politique européenne de voisinage (Est et Sud)]– Rapport final – volume 1, juin 2013, p. 62.

50Thematic evaluation of the European Commission support to respect of Human Rights and Fundamental Freedoms (including solidarity with victims of repression) (Évaluation thématique de l’appui de la Commission européenne au respect des droits de l’homme et des libertés fondamentales, y compris la solidarité avec les victimes de répression) – Rapport final – volume 1, décembre 2011, p. 15.

51Partenariat de Busan pour une coopération efficace au service du développement.

52Joint Evaluation of Budget Support to Tanzania: lessons learned and recommendations for the future (Évaluation commune de l’appui budgétaire en Tanzanie: enseignements tirés et recommandations pour l’avenir): Rapport final volume 1, 2013, points 74-75.

53Rapport spécial n° 17/2013 «Le financement, par l’UE, de la lutte contre le changement climatique dans le cadre de l’aide extérieure», points 57 à 58 et 68 (http://eca.europa.eu).

54Règlement financier, article 58 – Modes d’exécution du budget.

55Voir, par exemple, le manuel de gestion axée sur les résultats du groupe de développement des Nations unies, le cadre des résultats intégrés du Fonds des Nations unies pour la population ou le guide de la planification, du suivi et de l’évaluation axés sur les résultats du développement du programme des Nations unies pour le développement.

56Rapport de la Cour de 2014 intitulé «Analyse panoramique des dispositifs de l’UE en matière d’obligation de rendre compte et d’audit public: lacunes, doubles emplois et défis à relever», encadré 1 (http://eca.europa.eu).

57Rapport spécial n° 3/2011 «L’efficience et l’efficacité des contributions de l’UE acheminées par des organisations des Nations unies dans des pays affectés par des conflits», point IV (http://eca.europa.eu).

58Rapport spécial n° 18/2014 «Les systèmes d’évaluation et de suivi axé sur les résultats d’EuropeAid», points 27 à 29 (http://eca.europa.eu).

59Study on the uptake of learning from EuropeAid’s strategic evaluations into development policy and practice (Étude sur l’assimilation des enseignements tirés des évaluations stratégiques d’EuropeAid dans la politique et les pratiques en matière de développement) – Rapport final, juin 2014, p. vii.

60Rapport spécial n° 3/2011, points 25 et 27, lettre b).

61SWD(2013) 530 final, p. 12.

62Règlement financier, et plus particulièrement ses articles 141 et 142.

63Règlement financier, et plus particulièrement son article 66, paragraphe 9.

64Directives convergées pour l’établissement des rapports statistiques du système de notification des pays créanciers (SNPC) et du questionnaire annuel du CAD et addenda – référence DCD/DAC(2013)15/FINAL, 11 juin 2013.

65Site internet de l’initiative internationale pour la transparence de l’aide (www.iatiregistry.org).

66Traité sur le fonctionnement de l’Union européenne, article 318.

67https://euaidexplorer.ec.europa.eu/

68En particulier, le rapport annuel sur l’évaluation des finances de l’Union fondé sur les résultats obtenus ne donne pas une idée claire de la mesure dans laquelle les principaux objectifs de l’Union ont été atteints. Voir le rapport sur l’évaluation des finances de l’Union fondé sur les résultats obtenus: un nouvel outil de la procédure de décharge améliorée de la Commission européenne - A7-0068/2014, 30 janvier 2014.

69Rapport spécial n° 1/2011 «La déconcentration de la gestion de l’aide extérieure par la Commission, de ses services centraux vers ses délégations, s’est-elle traduite par une amélioration des interventions?», point 59 (http://eca.europa.eu).

70Rapport spécial n° 5/2012 «Le système commun d’information RELEX (CRIS – Common RELEX Information System)», points 40 et 41 (http://eca.europa.eu).

71Rapport spécial n° 12/2010 «L’aide au développement fournie par l’Union européenne en matière d’éducation de base en Afrique subsaharienne et en Asie du Sud», point V (http://eca.europa.eu).

72«Les États membres s’engagent à atteindre un rapport APD/RNB de 0,7 % d’ici à 2015, tandis que ceux qui ont atteint cet objectif s’engagent à rester au-dessus de ce taux; les États membres qui ont adhéré à l’UE après 2002 s’efforceront d’atteindre, d’ici à 2015, un rapport APD/RNB de 0,33 %» – voir Conclusions de la présidence – Bruxelles, 16 et 17 juin 2005 – référence 10 255/1/05 REV 1, point 27.

73«L’une des questions qui reviennent sans cesse […] est la suivante: comment concilier la nécessité de situer la coopération pour le développement dans une optique à long terme, exigeant une planification à horizon pluriannuel, avec la pratique courante qui consiste à fixer chaque année les dotations affectées à l’aide? Dans beaucoup de pays membres du CAD, les procédures administratives habituelles obligent à dépenser, ou du moins à engager, en vue d’un décaissement rapide, les fonds affectés au titre d’un exercice budgétaire pendant cet exercice. Les gestionnaires de l’aide sont en conséquence soumis, dans certains pays, à de très fortes pressions qui les incitent à engager et décaisser rapidement les fonds, ce qui tend à attirer indûment leur attention sur les apports financiers plutôt que sur les résultats escomptés ou les retombées réelles des activités menées en faveur du développement.» Voir OCDE – Comité d’aide au développement – La gestion de l’aide: pratiques des pays membres du CAD – référence DCD/DAC(2004)40.

74Rapport annuel de la Cour des comptes européenne relatif à l’exercice 2013, point 10.56 (JO C 398 du 12.11.2014).

75Plan de gestion 2014 – Direction générale du développement et de la coopération – EuropeAid.

76Rapport annuel de la Cour des comptes européenne relatif à l’exercice 2011, point 7.10 (JO C 344 du 12.11.2012).

77COM(2011) 638 final du 13 octobre 2011 «La future approche de l’appui budgétaire de l’UE en faveur des pays tiers».

78Rapport spécial n° 15/2009, point III.

79Rapport spécial n° 4/2013.

80Rapport spécial n° 9/2013.

81Rapport spécial n° 14/2013.

82Rapport spécial n° 13/2014 «L’aide à la réhabilitation apportée par l’UE à la suite du tremblement de terre en Haïti» (http://eca.europa.eu).

83World Bank policy note on Trade Development – Turning Cambodia into a leading rice exporter (Note de politique de la Banque mondiale sur le développement commercial – Faire du Cambodge l’un des principaux exportateurs de riz), septembre 2013.

84Procès-verbal de la deux mille cent quatrième réunion de la Commission tenue le mercredi 5 novembre 2014 – PV(2014) 2104.

5. Conclusions et recommandations

5.1. Conclusions

80

Sur la base de notre analyse, nous avons recensé neuf risques majeurs liés à une approche axée sur les résultats pour les actions de développement et de coopération de l’UE.

a)L’utilisation d’une terminologie non uniforme concernant les résultats ou l’absence de chaîne logique et claire entre l’action, les réalisations, les effets et les impacts peuvent être sources de confusion et compromettre l’évaluation des résultats obtenus (sections 4.1 et 4.2).

b)La complexité accrue due à l’intégration de questions transversales dans les programmes de l’UE représente un risque supplémentaire en ce qui concerne l’obtention et la communication des résultats (section 4.3).

c)L’absence d’harmonisation entre les instruments de distribution de l’aide, les cadres de résultats et les structures en matière d’obligation de rendre compte des partenaires au développement peut générer des défaillances et des déficits en ce qui concerne la satisfaction à cette obligation (section 4.4).

d)Des faiblesses dans l’évaluation et la communication des résultats peuvent empêcher la prise en considération des connaissances pertinentes et des enseignements tirés dans les processus ultérieurs de communication et de prise de décision (section 4.5).

e)Un nombre insuffisant de rapports consolidés sur les résultats obtenus grâce à l’aide de l’UE ou l’absence de vue d’ensemble en la matière peuvent nuire à la prise de décision et à l’obligation de rendre compte (section 4.6).

f)L’absence de données suffisantes, pertinentes, fiables et actualisées peut sensiblement affaiblir la qualité et la fiabilité des résultats communiqués (section 4.7).

g)Le fait de se concentrer sur le résultat de l’exécution budgétaire en tant qu’objectif peut être préjudiciable à la bonne gestion financière et à l’obtention de résultats (section 4.8).

h)Des changements affectant le contexte dans lequel se déroulent les actions peuvent mettre en péril l’obtention des résultats et leur durabilité, et compliquer l’évaluation des résultats obtenus (section 4.9).

81

Notre analyse a montré que la Commission avait correctement identifié ces risques dans toute une série de documents. Elle a également mis en évidence l’intérêt des mesures prises par la Commission en vue de lancer un cadre de résultats de l’UE pour le développement et la coopération internationale.

82

Cependant, d’autres actions restent à accomplir afin d’exploiter pleinement le potentiel des initiatives de la Commission en faveur de l’amélioration des résultats de l’UE dans le domaine du développement et de la coopération.

5.2. Recommandations

83

Afin d’atténuer les risques mis en évidence, nous formulons les recommandations ci-après.

Recommandation n° 1 –
Améliorer les lignes directrices relatives à l’utilisation de la terminologie ainsi qu’à la formulation d’objectifs et d’indicateurs

La Commission devrait améliorer ses lignes directrices pour garantir une application cohérente de la terminologie relative aux résultats (réalisations, effets et impacts) et, le cas échéant, formuler des objectifs SMART et des indicateurs clairs pour ses interventions à tous les niveaux.

Recommandation n° 2 –
Établir un lien clair entre les actions et les résultats escomptés

Au moyen de ses lignes directrices internes, de ses outils pratiques et de ses processus de formulation et de suivi de projets, la Commission devrait s’assurer qu’un lien clair est établi entre les actions et les résultats escomptés, y compris pour les questions transversales.

Recommandation n° 3 –
Améliorer le système d’information pour la communication des résultats et des enseignements tirés

La Commission devrait améliorer son système d’information afin d’être en mesure de consolider et de communiquer efficacement les résultats de ses interventions. Cela doit s’accompagner de mesures lui permettant, dans le cadre de ses activités d’évaluation, de tirer des enseignements utiles en vue de concevoir ultérieurement des actes législatifs, des programmations et des actions dans les domaines concernés.

Recommandation n° 4 –
Garantir la disponibilité et la qualité des données

Pour toutes ses interventions, la Commission devrait évaluer la disponibilité et la qualité des données et s’efforcer de disposer de données suffisantes, pertinentes, fiables et actualisées sur les résultats obtenus. Cela devrait se refléter dans ses systèmes ainsi que dans ses lignes directrices.

Recommandation n° 5 –
Évaluer les risques inhérents aux modalités de mise en œuvre avant d’engager les ressources financières

Avant d’engager ses ressources financières, et lors de l’examen des résultats escomptés, la Commission devrait également évaluer les risques qui résulteraient du choix d’une modalité de mise en œuvre particulière.

Le présent rapport a été adopté par la Chambre III, présidée par M. Karel PINXTEN, Membre de la Cour des comptes, à Luxembourg, en sa réunion du 17 novembre 2015.

Par la Cour des comptes

Vítor Manuel da SILVA CALDEIRA
Président

Annexe

Annexe

Cadre global d’évaluation pour les évaluations de l’aide budgétaire

Source: Réseau du CAD de l’OCDE sur l’évaluation du développement – «Approche méthodologique pour les évaluations de l’aide budgétaire».

Réponses de la Commission

Synthèse

III

La nature de l’analyse de la Cour implique qu’elle inclue des exemples se rapportant parfois à des actions entreprises il y a plusieurs années. C’est le cas en particulier des exemples liés à l’appui budgétaire pour lequel un certain nombre de risques ont été pris en compte par l’adoption de lignes directrices sur l’appui budgétaire révisées en 2012 (voir ci-après les réponses fournies à plusieurs encadrés), ainsi que des cas relatifs aux documents de programmation pluriannuelle (documents de stratégie ou programmes indicatifs), pour lesquels la Commission tient à souligner qu’elle a systématiquement inclus des indicateurs dans les documents de programmation pour la période 2014-2020.

1. Introduction

07

Le cadre de résultats (CR) est l’un des outils utilisés pour la communication des résultats aux niveaux des réalisations et des effets directs. Les évaluations fournissent des appréciations sur le lien de causalité logique entre un niveau donné de résultats et l’impact et la réalisation des «objectifs de développement stratégiques», que ce soit au niveau national ou mondial. En outre, plusieurs initiatives ont été prises afin d’améliorer l’ensemble du système de suivi et d’évaluation et, par là-même, l’approche axée sur les résultats de la Commission.

10

Le document de travail sur le cadre «MORE» décrit les différents cadres existants pour le suivi, l’évaluation et l’établissement de rapports relatifs à la mise en œuvre du cadre financier pluriannuel (CFP). En termes d’objectifs et d’indicateurs, il décrit ce qui a été mis en place dans les actes juridiques qui établissent les instruments financiers de la période 2014-2020, puis complété par les fiches de programme budgétaire de 2014 et 2015 et par les outils de suivi, d’évaluation et de communication inclus dans les plans de gestion annuels (PGA) et les rapports annuels d’activité (RAA). En ce qui concerne les instruments d’aide extérieure, le document de travail se réfère également au nouveau cadre de résultats comme à un outil pour le suivi et la communication de l’exécution du CFP.

3. Notre analyse

22

La nature de l’analyse de la Cour implique qu’elle inclue des exemples se rapportant parfois à des actions entreprises il y a plusieurs années. C’est le cas en particulier des exemples ayant trait aux documents de programmation pluriannuelle (documents de stratégie ou programmes indicatifs), pour lesquels la Commission tient à souligner qu’elle a systématiquement inclus des indicateurs dans les documents de programmation pour la période 2014-2020. C’est aussi le cas des exemples liés à l’appui budgétaire pour lequel un certain nombre de risques ont été pris en compte par l’adoption de lignes directrices sur l’appui budgétaire révisées en 2012.

La Commission renvoie également à ses réponses aux rapports spéciaux de la Cour concernés et aux réponses supplémentaires aux observations de la Cour présentées dans le présent rapport en ce qui concerne certains exemples, de manière à souligner un ou plusieurs aspects qu’elle considère plus particulièrement pertinents dans le contexte de sa réponse à ces observations.

4. Principaux domaines à risques

26

La Commission est consciente de la nécessité, soulignée par la Cour, de garantir une application cohérente de la terminologie. Dans le document de travail du 26 mars 2015 intitulé «Launching the EU International Cooperation and Development Results Framework» (Lancer le cadre de résultats de l’UE pour le développement et la coopération internationale), les termes intrant-réalisation-effet-impact sont utilisés. Ils correspondent à la terminologie employée au niveau international pour les résultats de l’OCDE-CAD et à celle des instruments de financement 2014-2020. La même terminologie est utilisée dans le nouveau Action Document template (modèle de documents relatifs à l’action), applicable à partir du 1er janvier 2015, et dans le nouveau manuel du ROM (Results Oriented Monitoring), intitulé «Handbook on ROM reviews and support to end-of-project results reporting» (Manuel sur les évaluations de suivi axé sur les résultats et soutien à la communication des résultats en fin de projet, mars 2015).

Encadré 1

La terminologie employée dans le plan de gestion annuel d’EuropeAid suit la terminologie prévue par les instructions générales du secrétariat général de la Commission et de la DG Budget pour l’établissement des plans de gestion par les directions générales et les services de la Commission.

Le risque visé par l’exemple de l’encadré 1 se rapporte à la terminologie utilisée dans le manuel du ROM s’appliquant à l’ancien système de ROM qui a pris fin au printemps 2014. Celui-ci a été remplacé par un nouveau système de ROM, avec un nouveau manuel du ROM introduit au printemps 2015, qui ne contient plus la référence en question et s’aligne entièrement sur les termes d’emploi international, appliquant l’expression SMART non plus aux indicateurs mais bien aux objectifs. La Commission modifiera de la même manière sa prochaine circulaire budgétaire.

En outre, la Commission entend préciser le langage et les instructions relatifs aux objectifs et indicateurs à utiliser dans le cadre de la circulaire budgétaire.

La Commission s’accorde à dire que les objectifs et les résultats escomptés devraient être SMART, autant que faire se peut, mais considère également les difficultés qui apparaissent dans de nombreux cas pour la mise en œuvre de ces principes. C’est en particulier le cas lorsque les résultats escomptés ne peuvent raisonnablement être mesurés qu’en termes qualitatifs et ne peuvent pas être quantifiés, notamment en ce qui concerne les résultats de stratégies de large ampleur ou d’instruments financiers.

Les cadres de résultats institutionnels se concentrent, par nature, sur les résultats quantitatifs, comme indiqué dans le document de travail «Launching the EU International Cooperation and Development Results Framework» (Lancer le cadre de résultats de l’UE pour le développement et la coopération internationale) (CR UE). Les indicateurs du CR UE ont été fixés en s’inspirant au maximum des critères RACER (Relevant, Accepted, Credible, Easy, and Robust – pertinents, acceptés, crédibles, simples et solides) comme prévu dans les orientations d’Eurostat évoquées par la Cour.

29

La Commission reconnaît que la multiplicité des documents évoquée par la Cour implique un risque accru d’incohérences. En considérant que les documents sont adoptés à différents stades de l’élaboration des politiques et du cycle de gestion des projets et des programmes (y compris la phase de programmation), il en résulte par la force des choses une nécessité d’ajustement et une mise en œuvre axée plus spécifiquement sur différents aspects.

La Commission a pris des mesures pour réduire les risques mentionnés par la Cour. Ainsi, dans l’exercice de programmation 2014-2020, les documents de programmation nationaux, régionaux et thématiques ont systématiquement été révisés afin de veiller à ce que les résultats escomptés et les indicateurs soient d’une qualité adéquate (c’est-à-dire mesurables) et en un nombre raisonnable (voir les documents de programmation sur le site http://eeas.europa.eu/around/index_fr.htm).

La révision de l’Action Document template (modèle de documents relatifs à l’action, en vigueur à partir du 1er janvier 2015) et la révision en cours des documents de groupe de soutien qualité internes y afférents ont pour but de garantir l’intégration correcte des résultats escomptés et des indicateurs dans les documents relatifs à l’action.

Par ailleurs, les services de la Commission s’efforcent d’améliorer le système de suivi et d’évaluation, en laissant une marge pour des ajustements qui s’avéreraient nécessaires lors de la mise en œuvre des actions. Une certaine souplesse permettra de mettre en œuvre ces ajustements afin de s’adapter aux contextes et aux stratégies de pays en changement.

32

La Commission a pris, et continue de prendre des mesures pour réduire les risques mentionnés par la Cour. Voir la réponse de la Commission au paragraphe 29.

Encadré 4

Suivant la recommandation n° 2 de la Cour dans son rapport spécial 14/2013 concernant l’élaboration d’indicateurs de performances, la Commission a mis en place un cadre axé sur les résultats qui inclut des indicateurs visant à suivre les progrès de l’Autorité palestinienne dans ses réformes.

Ce cadre axé sur les résultats a été élaboré en coordination avec la Banque mondiale et avec des États membres de l’UE dans le cadre de la stratégie de développement local de l’Union. Il a été approuvé par l’Autorité palestinienne à travers un protocole d’entente signé le 25 mars 2015. Les domaines couverts dans la phase pilote comprennent des indicateurs macro-économiques et fiscaux, la GFP, la réforme de l’administration publique (y compris des mesures pour favoriser la reprise du travail des fonctionnaires de Gaza), l’éducation, la santé et la protection sociale. Une évaluation de la phase pilote sera menée entre la fin 2015 et le début 2016, et des domaines supplémentaires pourraient être ajoutés pour la phase suivante. Le texte ci-dessus montre que des indicateurs ont été mis en place, conformément au règlement IEVP.

Encadré 5

La Commission estime qu’il s’agit là d’un exemple pour lequel il lui a fallu en définitive adapter l’interprétation de l’indicateur aux conditions du contexte local spécifique et accepter dès lors la mise en adéquation de la valeur cible de l’indicateur. L’exemple démontre qu’il est important de rester toujours attentif à ce genre de situations, mais il ne saurait être assimilé à un risque que la Commission pourrait gérer d’une manière différente.

38

Les réformes institutionnelles sont un processus long et ardu dans lequel l’aide apportée au gouvernement d’un pays partenaire en vue d’une évolution progressive peut s’avérer plus durable que le succès rapide obtenu sur un projet. Voir la réponse à l’encadré 6.

Encadré 6

La Commission fait noter que les paiements évoqués (qui se rapportent à juin 2008, à décembre 2010 et à juillet 2011) ont précédé de loin la nouvelle stratégie d’appui budgétaire qui a introduit une évaluation beaucoup plus rigoureuse des critères d’éligibilité, et notamment du critère de GFP. Le risque qu’illustre cet exemple est réduit par l’application des lignes directrices d’appui budgétaire depuis 2012.

Dans sa réponse aux observations de la Cour, la Commission a également indiqué ce que suit: «Il convient d’opérer une distinction entre, d’une part, les critères à remplir en vue d’obtenir un appui budgétaire, qui nécessitent une approche globale basée sur la crédibilité et la mise en œuvre positive et qui sont par nature généraux, et, d’autre part, les conditions particulières, liées à des tranches variables, qui doivent être claires et spécifiques… Les donateurs doivent se rendre compte de la complexité des réformes et définir des objectifs qui sont plus raisonnables et mieux séquencés. Par exemple, les progrès de la réforme de la GFP dans les deux pays bénéficiaires d’un appui budgétaire [le Kirghizstan et l’Égypte] ont été plus lents que prévu. En effet, les plans de réforme de la GFP, au départ en grande partie préparés par des donateurs extérieurs, étaient bien trop ambitieux et sous-estimaient les capacités locales à les mettre en œuvre. Pour y remédier, les réformes et les plans d’action dans le domaine de la GFP ont été révisés afin d’être plus réalistes et une assistance technique supplémentaire a été fournie.»

Le cas d’espèce est donc plutôt un exemple d’objectifs déraisonnablement ambitieux. Il convient en outre de souligner que la réforme du système de gestion des finances publiques est un processus à long terme. Sur la durée d’une opération de 3 ans, seuls des résultats très limités peuvent être constatés.

En revanche, le cas de l’Égypte fournit un exemple où la question n’est pas de définir comme objectif l’engagement d’un pays partenaire à mettre en œuvre des réformes (voir titre de la section 4.1.4) mais plutôt, conformément aux lignes directrices sur l’appui budgétaire de 2012, d’imposer des conditions préalables au paiement liées à des éléments essentiels tels que les droits de l’homme.

Suivant les conclusions du Conseil d’août 2013/février 2014 et les recommandations de la Cour, la Commission a concentré son aide sur des interventions socio-économiques et sur un soutien à la société civile.

Il n’y a plus eu d’opération d’appui budgétaire en Égypte depuis 2011 et aucun décaissement d’aide budgétaire n’a été réalisé pour aucune des cinq opérations d’appui budgétaire en cours depuis 2012.

Encadré 7 – Deuxième alinéa

Les opérations d’appui budgétaire au Malawi et au Rwanda datent d’avant 2010 et sont largement antérieures à la nouvelle stratégie d’appui budgétaire qui a introduit une approche beaucoup plus rigoureuse concernant la mise en évidence du lien entre les opérations financées par l’UE et les politiques nationales.

Le risque qu’illustre cet exemple est réduit par l’application des lignes directrices depuis 2012.

Encadré 8

Les opérations visées étaient des mesures d’appui budgétaire d’urgence ciblées, destinées à permettre la stabilisation macro-économique du pays, avec l’objectif global de soutenir la République démocratique du Congo dans la crise économique et alimentaire; par conséquent, l’analyse des résultats doit être envisagée dans ce contexte.

Le plan de réforme de la GFP auquel la Cour se réfère a été mentionné dans la convention de financement et son élaboration a été un jalon dans la mesure du progrès.

Les tranches fixes sont également soumises aux critères d’éligibilité, donc liées à des performances. De ce fait, les conditions de paiement étaient liées à des objectifs qui incluaient des améliorations de la GFP.

46

Les contributions de l’UE aux résultats de développement de pays seront comptabilisées en tant que résultats de pays soutenus, ce qui correspond à adopter l’approche contributive (voir le document de travail de la Commission de mars 2015, «Launching the EU International Cooperation and Development Results Framework»). Pour quantifier ces contributions, il est possible d’appliquer deux méthodes, utilisées à l’heure actuelle par les donateurs:

—la «méthode globale», où sont inscrits les résultats totaux (ou globaux) obtenus par l’UE en coopération avec d’autres acteurs (tels que le gouvernement du pays partenaire et les autres donateurs), plutôt que les résultats associés à la part de financement fournie par l’UE;

—la «méthode proportionnelle», où les résultats sont inscrits en fonction de la proportion des financements de l’UE sur le total des financements. Selon cette approche, les résultats des projets et programmes sont calculés au prorata du niveau des apports financiers fournis par l’UE. Cette approche suppose que la comptabilisation repose implicitement sur un lien de causalité directe entre fonds fournis et résultats atteints.

À un niveau consolidé, comme dans le cas de la comptabilisation sur la base du nouveau cadre de résultats, il est nécessaire de choisir une seule méthode. Étant donné que les informations budgétaires détaillées sur les intrants de tiers, y compris des gouvernements partenaires, ne sont pas toujours disponibles pour le calcul des résultats proportionnels, la Commission a opté pour la comptabilisation par l’approche globale, puisque c’est à l’heure actuelle la seule option réalisable de comptabilisation des résultats au niveau consolidé. Comme le note également le document de travail de mars 2015, la méthode globale est aussi la méthode la plus adéquate si l’on considère l’efficacité de l’aide, puisqu’elle met l’accent plus fortement sur la participation du pays partenaire.

Encadré 9

S’il est possible d’évaluer en général si une stratégie nationale qui a été soutenue par un programme d’appui budgétaire a contribué à atteindre au niveau national certains résultats bien définis, il est cependant impossible d’attribuer une proportion spécifique du résultat aux fonds fournis par l’UE.

Encadré 11

L’exemple présenté dans l’encadré 11 porte davantage sur l’intégration insuffisante de la question des droits de l’homme dans les programmes que sur la complexité accrue du fait de l’intégration de questions transversales, ou sur les risques additionnels qui en résultent pour la définition adéquate des objectifs, des indicateurs et des mesures de résultats y afférentes.

Encadré 14 – Deuxième alinéa

En 2015, la Commission a introduit des dispositions spécifiques sur la communication des résultats par les partenaires d’exécution de l’UE au sein des conditions générales de la convention d’administration (qui compte la Banque mondiale en qualité de partenaire d’exécution) et de la convention «PAGODA» qui couvre toutes les organisations piliers évaluées – y compris les agences des Nations unies. Ceci devrait induire une meilleure disponibilité des données relatives aux résultats courants et des rapports finaux transmis par les partenaires d’exécution de l’UE.

59

Il est vrai que dans certains cas, du fait de la nature du projet ou du programme, les résultats ne peuvent pas être observés et communiqués avant l’achèvement du projet ou du programme, ce qui compromet l’évaluation périodique des résultats obtenus. Pour autant, ceci ne signifie pas inéluctablement que la communication des résultats sera faible. Dans ces cas-là, il est possible d’identifier des étapes et des critères de référence afin d’aider à suivre l’avancée du projet ou du programme en vue des résultats escomptés.

60

La Commission a d’ores et déjà entrepris des actions pour améliorer les évaluations, notamment:

—la rédaction et la publication du document «Evaluation Policy for the European Union development cooperation» (stratégie d’évaluation pour la coopération au développement de l’Union européenne) (2014);

—l’amélioration de la qualité de planification, de mise en œuvre et de suivi des évaluations de projets et programmes (en cours);

—le renforcement de l’implication de la direction dans les évaluations stratégiques dès la phase de lancement (en cours); et

—l’application du principe «évaluer avant d’agir» en cohérence avec la communication COM(2013) 686 final.

Encadré 15

La Commission n’estime pas que l’exemple donné illustre un cas de faiblesse de communication des résultats ou de l’évaluation par rapport à l’action dans son ensemble, dont l’efficacité ne peut être évaluée, par définition, qu’à l’approche de la fin du projet ou après la mise en œuvre de tous ses éléments ou sous-projets.

65

En 2015, la Commission émettra son premier rapport de résultats consolidés sur l’aide fournie dans le cadre des politiques de développement et de coopération internationale de l’UE. Il prendra la forme d’un rapport complémentaire au rapport annuel.

Encadré 16 – Troisième alinéa

Des systèmes de suivi et de communication améliorés, associés à la mise en œuvre d’un système de gestion des informations opérationnelles (qui remplace également le CRIS) amélioreront de manière significative l’utilisation qu’EuropeAid peut faire des systèmes d’information, pour la communication des résultats en particulier.

Encadré 17

La faiblesse des systèmes nationaux de collecte des données et de gestion des informations dans les pays aidés par l’UE est un facteur inhérent à l’état de développement de ces pays et un point auquel tous les donateurs portent une attention particulière. Ce problème ne peut être résolu d’une manière durable que par la construction de systèmes statistiques nationaux appropriés. Ce facteur de risque est atténué en ce qui concerne l’UE puisqu’il est compris dans les domaines de soutien fourni par l’UE. Cependant, la seule façon de s’attaquer à ce problème d’une manière suffisante est de réunir durablement les efforts du pays et de l’ensemble des donateurs.

72

Le CFP 2014-2020 introduit plusieurs nouveaux éléments visant en particulier à stimuler la performance des programmes de dépenses. S’appuyant là-dessus, une initiative de la Commission, menée par Kristalina Georgieva, vice-présidente de la Commission chargée du budget et des ressources humaines, porte sur la transition d’un budget fondé sur les dépenses vers un budget de l’Union axé sur les résultats. L’objectif est de créer les conditions propices à un renforcement plus poussé de la performance budgétaire à la fois en termes de résultats des programmes et de gestion financière solide des fonds, dans une approche équilibrée et complète. Le risque de se concentrer sur l’exécution budgétaire au détriment des résultats des programmes devrait ainsi être réduit, y compris pour les domaines et méthodes de dépenses pour lesquels le budget de l’UE peut maximiser les résultats et l’application rigoureuse de contrôles présentant un bon rapport coût-efficacité pour une meilleure conformité.

73

La Commission répond à ce risque à travers la programmation pluriannuelle, la planification sur 24 mois des différentes actions de mise en œuvre et par le processus interne du groupe d’appui à la qualité. Ces actions sont complétées par d’autres mesures, telles que le cadre de résultats de l’UE à venir. Voir aussi la réponse au paragraphe 29.

75

La Commission a mis en place pour les programmes d’appui budgétaire un cadre de gestion des risques (CGR) destinés à identifier les risques majeurs et à les atténuer. Le CGR est pris en compte dans le processus décisionnel, notamment dans la gouvernance renforcée par le comité interne de pilotage de l’appui budgétaire. Le CGR alimente systématiquement le dialogue politique avec les pays partenaires au niveau stratégique et en s’attachant à des questions clés. Le CGR est utilisé pour établir un équilibre entre les avantages attendus, définis dans le document relatif à l’action, et les risques identifiés. Il propose également des mesures d’atténuation.

L’analyse interne (rapports sur l’appui budgétaire de 2013 et 2014) montre que les pays qui bénéficient de l’appui budgétaire de l’UE affichent clairement, par rapports aux pays non aidés, des performances de GFP supérieures et en progression.

Le risque qu’illustre cet exemple est réduit par l’application des lignes directrices d’appui budgétaire depuis 2012.

Encadré 19

En 2015, la Commission a décidé de renforcer cas par cas l’analyse sous-jacente conduisant à la décision de collaborer ou non avec une organisation internationale en tant que partenaire d’exécution.

Encadré 20

La Commission reconnaît que les changements du contexte politique et économique peuvent remettre en question les objectifs à atteindre. Ce type de risques explique l’importance de l’analyse du contexte dans le processus standard d’identification et de formulation des objectifs appliqué par les services de la Commissions et les délégations de l’Union lors de la préparation des projets et programmes.

Un certain degré de flexibilité est nécessaire en phase de mise en œuvre afin de pouvoir s’adapter aux changements imprévus du contexte de l’aide. Cette marge de manœuvre est permise par la simplification des règles et procédures en vigueur depuis juillet 2014. Ces mesures de simplification ont notamment modifié l’utilisation des indicateurs, de sorte que des changements de priorités spécifiques ou liés à la collecte et à la disponibilité des données peuvent être pris en compte.

On ne peut exclure toutefois des cas où les objectifs initiaux du projet ne pourront pas être atteints, il conviendra alors de les adapter aux circonstances et au contexte modifiés.

Encadré 21

La réorganisation de janvier 2015 n’affectera en soi ni la définition des objectifs ni l’atteinte des résultats y afférents dans le cadre des actions spécifiques.

Indépendamment de son organisation administrative propre et conformément aux dispositions du règlement commun de mise en œuvre qui couvre les pays de l’IEV (en particulier les articles 12 et 13), la Commission s’acquittera de ses obligations qui consistent à surveiller la mise en œuvre des projets et de fournir des retours aux États membres, au Parlement et aux autres institutions de l’Union.

La Commission émettra également des rapports sur la base du cadre de résultats à l’attention des pays du voisinage, conformément aux conclusions n° 9145/15 du Conseil du 26 mai 2015. Dans le cadre du nouveau système de suivi axé sur les résultats (ROM), un outil spécifique a été mis en place pour aider à la communication des résultats de fin de projet et permettre la consolidation des données sur ces résultats, en particulier concernant les indicateurs fondés sur le cadre de résultats établi.

Pour ce qui est des évaluations, la DG NEAR possède sa propre fonction d’évaluation, qui s’intéresse depuis 2015 tant aux régions du voisinage qu’à celles concernées par les négociations d’élargissement.

5. Conclusions et recommandations

80 a)

Les services de la Commission ont travaillé à différents niveaux afin de garantir la cohérence terminologique: le Sector Indicator Guidance (lignes directrices pour les indicateurs de secteur) de 2013, l’Action Document template (modèle de documents relatifs à l’action) et les lignes directrices y afférentes, en vigueur depuis le 1er janvier 2015, ainsi que le nouveau cadre de résultats pour le développement et la coopération internationale et les instructions et lignes directrices correspondantes, applicables à la communication sur la base du cadre de résultats.

En outre, les services de la Commission s’emploient actuellement à renforcer leur appui à l’assurance qualité interne en ce qui concerne les aspects des différents documents d’action jugés importants par la Commission, tant pour le suivi et la communication sur la mise en œuvre, la performance et les résultats, que pour l’évaluation des actions.

Tous ces documents sont également alignés sur la terminologie des règlements de base, qui constituent le cadre réglementaire de l’aide extérieure de l’UE.

La Commission est également d’avis que l’établissement d’une «chaîne logique et claire» des intrants jusqu’aux impacts est de la plus haute importance au niveau des projets. Cette corrélation a été renforcée avec l’introduction du modèle de documents relatifs à l’action depuis le 1er janvier 2015. Cependant, la mise en place d’une chaîne logique et claire au niveau des stratégies ou des politiques ne reflétera jamais la complexité du contexte du développement. Dans le monde de l’évaluation internationale, l’emploi du cadre logique linéaire à ce niveau stratégique/politique est donc de plus en plus remis en cause.

80 b)

L’intégration de questions transversales implique en effet plusieurs problèmes épineux relatifs à la formulation adéquate des objectifs spécifiques et des résultats des actions ainsi qu’à la collecte des données correspondantes permettant le suivi de l’exécution.

80 c)

Le risque de défaillances et de déficits soulevé par la Cour semble plus présent au niveau des pays. Ceci montre qu’il est crucial que les donateurs s’alignent sur le système, la politique et le cadre de résultats du pays plutôt que d’en rester à une harmonisation entre donateurs, comme l’a souligné la Cour au paragraphe 17, alinéas a) et b).

Suivant cette approche, la Commission a déjà pris des mesures importantes dans le cadre de la programmation pluriannuelle 2014-2020 afin de s’aligner au maximum sur les politiques et cadres des pays, conformément aux engagements de Busan sur l’efficacité de l’aide. La Commission a adopté la même approche dans la mise en place du nouveau cadre de résultats institutionnel. Au niveau des pays, la Commission s’est prononcée, comme d’autres donateurs, en faveur d’une définition de cadres de résultats maîtrisés par les États et considère que l’une des solutions pour promouvoir ces cadres serait une programmation conjointe avec les États membres de l’UE.

80 h)

Les changements affectant le contexte dans lequel se déroulent les actions peuvent entraîner la modification des indicateurs utilisés ou des valeurs cibles initiales de ces indicateurs.

Recommandation n° 1

La Commission accepte la recommandation et s’est déjà mise au travail afin de garantir la cohérence terminologique: le Sector Indicator Guidance (lignes directrices pour les indicateurs de secteur) de 2013, le modèle de documents relatifs à l’action et les lignes directrices y afférentes, en vigueur depuis le 1er janvier 2015, ainsi que le nouveau cadre de résultats pour le développement et la coopération internationale et les instructions et lignes directrices correspondantes, applicables à la communication sur la base du cadre de résultats.

Tous ces documents sont alignés sur la terminologie employée dans les règlements de base.

En outre, les services de la Commission s’emploient actuellement à renforcer leur appui dans le cadre de l’assurance qualité interne en ce qui concerne ces aspects des différents documents d’action et continueront d’améliorer leurs orientations générales sur la gestion de projets et de programmes et les modules de formation du personnel dans ce domaine.

Recommandation n° 2

La Commission accepte la recommandation.

Pendant deux ans, elle s’est employée à préparer différentes mesures afin de renforcer ses systèmes, ses orientations et ses processus à cet égard. Voir aussi la réponse à la recommandation n° 1.

La Commission est également d’avis (voir réponse au paragraphe 80, alinéa a), que l’établissement d’une «chaîne logique et claire» des intrants jusqu’aux impacts est de la plus haute importance au niveau des projets.

Recommandation n° 3

La Commission accepte la recommandation.

Des actions sont en cours pour améliorer l’ensemble du système de suivi et d’évaluation, et renforcer par là même la capacité de la Commission à recenser les leçons à retenir (voir aussi les réponses de la Commission au rapport spécial n° 18/2014 de la Cour).

En ce qui concerne plus particulièrement le système d’information, à ce jour, la Commission a pris des mesures consistant à établir un système préliminaire afin de garantir la communication consolidée des résultats pour son premier rapport de résultats en 2015 avant la mise en place des premiers modules de son nouveau système opérationnel d’information. Il est prévu que ces modules incluront la communication des résultats.

Anticipant sur le nouveau système et en conformité avec une recommandation de la Cour dans son rapport spécial n° 18/2014 sur les évaluations et le ROM, la Commission en est au stade final de l’élaboration d’un module d’information spécifique, relatif aux évaluations, qui devrait être mis en production au premier semestre 2016 et améliorer graduellement la capacité de la Commission à recenser les leçons à retenir dans les différents domaines pertinents.

Recommandation n° 4

La Commission accepte la recommandation. Elle a déjà intensifié ses efforts en ce sens, comme indiqué dans la réponse à la recommandation n° 1.

Recommandation n° 5

La Commission accepte la recommandation.

La mise en œuvre de cette recommandation s’inscrira dans l’évaluation générale des risques inhérents à une action (par exemple, le choix d’une modalité particulière de mise en œuvre, voir également la section 2 «Risques et hypothèses» du modèle de document relatif à l’action applicable depuis le 1er janvier 2015).

La Commission a mis en place pour les programmes d’appui budgétaire un cadre de gestion des risques (CGR) destiné à recenser les risques majeurs et à les atténuer. Le CGR est pris en compte dans le processus décisionnel, notamment dans la gouvernance renforcée par le comité interne de pilotage de l’appui budgétaire. Le CGR alimente systématiquement le dialogue politique avec les pays partenaires au niveau stratégique. Le CGR est utilisé pour évaluer l’équilibre à garantir entre les avantages attendus de l’action envisagée, pour recenser les risques et pour proposer des mesures d’atténuation des risques.

L’analyse interne (rapports sur l’appui budgétaire de 2013 et 2014) montre que les pays qui bénéficient de l’appui budgétaire de l’UE affichent clairement, par rapport aux pays non aidés, des performances de GFP supérieures et en progression.

En 2015, la Commission a décidé de renforcer l’analyse sous-jacente conduisant à la décision de collaborer ou non avec une organisation internationale en tant que partenaire d’exécution, cas par cas.

QJ-AB-15-019-FR-E    ISSN 1977-5695

Notre analyse nous a permis de relever neuf risques majeurs liés à une approche axée sur les résultats pour les actions de développement et de coopération de l’UE.
Cet examen a montré que la Commission avait correctement identifié ces risques. Il a également mis en évidence l’intérêt des initiatives de la Commission visant à améliorer les résultats de l’UE dans le domaine du développement et de la coopération internationale.
Cependant, d’autres actions restent à accomplir afin de rendre ces initiatives pleinement efficaces. Nous formulons un certain nombre de recommandations à cet égard.