EUROOPAN TILINTARKASTUSTUOMIOISTUIN

12, rue Alcide De Gasperi

1615 Luxembourg

LUXEMBOURG

P. +352 4398-1

Sähköposti: eca-info@eca.europa.eu

Internet: http://eca.europa.eu

Twitter: @EUAuditorsECA

YouTube: EUAuditorsECA

Suuri määrä muuta tietoa Euroopan unionista on käytettävissä internetissä Europa-palvelimen kautta (http://europa.eu).

Luxemburg: Euroopan unionin julkaisutoimisto, 2015

Print | ISBN 978-92-872-3407-0 | ISSN 1831-0958 | doi:10.2865/312722 | QJ-AB-15-019-FI-C
PDF | ISBN 978-92-872-3423-0 | ISSN 1977-5792 | doi:10.2865/08258 | QJ-AB-15-019-FI-N
EPUB | ISBN 978-92-872-3419-3 | ISSN 1977-5792 | doi:10.2865/171149 | QJ-AB-15-019-FI-E

© Euroopan unioni, 2015

Tekstin jäljentäminen on sallittua, kunhan lähde mainitaan.

Sivulla 41 olevan liitteen käyttöön tai kopioimiseen on pyydettävä lupaa suoraan tekijänoikeuden haltijalta.

MISTÄ EU:N JULKAISUJA SAA?

Maksuttomat julkaisut:

•yksi kappale:
EU Bookshopista (http://bookshop.europa.eu)

•enemmän kuin yksi kappale tai julisteet/kartat:
Euroopan unionin edustustoista (http://ec.europa.eu/represent_fi.htm),
muissa kuin EU-maissa sijaitsevista lähetystöistä (http://eeas.europa.eu/delegations/index_fi.htm),
ottamalla yhteyttä Europe Direct -palveluun (http://europa.eu/europedirect/index_fi.htm)
tai soittamalla 00 800 6 7 8 9 10 11 (maksuton numero koko EU:n alueella) (*).

(*)Saat pyytämäsi tiedot maksutta. Myös useimmat puhelut ovat maksuttomia, joskin jotkin operaattorit, puhelinkioskit tai hotellit voivat periä puheluista maksun.

Maksulliset julkaisut:

•EU Bookshopista (http://bookshop.europa.eu)

FI
2015

nro 21

Erityiskertomus

EU:n kehitysyhteistyötoimia
koskevaan
tulosperusteiseen
lähestymistapaan liittyvien
riskien arviointi

(annettu Euroopan unionin toiminnasta tehdyn sopimuksen 287 artiklan 4 kohdan toisen alakohdan mukaisesti)

Tarkastustiimi

Tilintarkastustuomioistuimen erityiskertomuksissa käsitellään eri talousarvioaloilla tai hallinnollisilla aloilla toimitettujen tuloksellisuuden ja säännönmukaisuuden tarkastusten tuloksia. Tilintarkastustuomioistuin valitsee ja suunnittelee nämä tarkastustehtävät niin, että niillä saadaan aikaan mahdollisimman suuri vaikutus. Se ottaa valinta- ja suunnitteluvaiheessa huomioon tuloksellisuuteen tai säännönmukaisuuteen kohdistuvat riskit, asianomaisten tulojen tai menojen määrän, tulevat kehityssuunnat sekä poliittiset näkökohdat ja yleisen edun.

Tästä tuloksellisuuden tarkastuksesta vastasi III tarkastusjaosto, joka on erikoistunut ulkoisten toimien menoaloihin. Jaostoa johtaa Euroopan tilintarkastustuomioistuimen jäsen Karel Pinxten, joka vastaa myös tästä kertomuksesta. Tarkastusta johti III jaoston johtaja Philippe Froidure avustajansa Hubert Devillén tuella.

Vasemmalta oikealle: P. Froidure, K. Pinxten, H. Devillé.

Sisällys

Tiivistelmä

1. Johdanto

1.1. Miksi tuloksilla on merkitystä?

1.2. Mitä tuloksella tarkoitetaan?

1.3. EU:n kehitysyhteistyötulosten yleinen kehys

2. Tulospolitiikkaan ja sääntelyyn liittyvä tausta

2.1. Poliittinen tausta

2.1.1. Korkean tason kehitystavoitteet

2.1.2. Avun tuloksellisuutta käsittelevät korkean tason foorumit

2.1.3. EU:n tiedonannot

2.2. Oikeudellinen ja sääntelyyn liittyvä tausta

3. Tilintarkastustuomioistuimen suorittama arviointi

4. Keskeiset riskialat

4.1. Tavoitteiden ja indikaattoreiden muotoilu

4.1.1. Terminologia

4.1.2. Asiakirjojen yhdenmukaistaminen ja johdonmukaisuus

4.1.3. SMART-tavoitteiden ja selkeiden indikaattoreiden määritteleminen

4.1.4. Sen määritteleminen tavoitteeksi, että kumppanimaa sitoutuu toteuttamaan uudistuksia

4.2. Tulosketjun luominen

4.2.1. Toimien ja tulosten niveltäminen toisiinsa selkeällä loogisella ketjulla

4.2.2. Tuloksia toimien myötävaikutuksella vai toimien ansiosta

4.3. Laaja-alaisten aiheiden sisällyttämisestä johtuva monimutkaistuminen

4.4. Kehitysyhteistyökumppanien välineiden ja kehysten yhdenmukaistaminen

4.4.1. Kumppanimaiden tuloskehyksiin mukautuminen

4.4.2. Kehitysyhteistyön sidosryhmien välineiden yhdenmukaistaminen

4.4.3. Eri tilivelvollisuusrakenteiden rinnastaminen

4.5. Arvioinnin ja tulosten raportoinnin puutteet

4.6. Tietojen konsolidointi ja raportointi

4.7. Tietojen laatu

4.8. Talousarvion toteutuma

4.9. EU:n toimien toimintaympäristön muutokset

4.9.1. Riskinhallinta ja avun toimitustavan valinta

4.9.2. Ulkoiset tekijät

5. Johtopäätökset ja suositukset

5.1. Johtopäätökset

5.2. Suositukset

Liite
—
Kattava arviointikehys budjettituen arviointia varten

Komission vastaukset

Tiivistelmä

I

EU osoittaa vuosittain merkittävästi varoja maailman köyhimpien maiden kehityksen tukemiseen. Kehitysavun uskottavuuden kannalta on tärkeää, että varoilla saavutetut tulokset voidaan osoittaa.

II

Euroopan parlamentti ja neuvosto ovat viime aikoina jälleen olleet kiinnostuneita siirtämään EU:n kehitysyhteistyöpolitiikan painopistettä toiminnoista tuloksiin. Komissio julkaisi joulukuussa 2013 komission yksiköiden valmisteluasiakirjan ”Paving the way for an EU Development and Cooperation Results Framework”, jossa käsitellään EU:n kehitysyhteistyön tuloskehyksen edellytysten luomista, ja esitteli kehyksen maaliskuussa 2015 julkaisemalla valmisteluasiakirjan ”EU:n kansainvälisen kehitysyhteistyön tuloskehyksen käynnistäminen”.

III

Tilintarkastustuomioistuin tunnisti arvioinnissaan yhdeksän keskeistä riskialaa, jotka liittyvät EU:n kehitysyhteistyön tulospainotteiseen lähestymistapaan.

IV

Tilintarkastustuomioistuimen arviointi osoitti, että komissio oli tunnistanut nämä riskialat asianmukaisesti monissa erilaisissa asiakirjoissa. Arvioinnissa kävi myös ilmi, että komission toteuttamista EU:n kansainvälisen kehitysyhteistyön tuloskehyksen käynnistämiseen liittyvistä toimista ollaan kiinnostuneita.

V

Edellä esitetystä huolimatta on vielä tarpeen toteuttaa lisätoimia, jotta voidaan hyödyntää komission aloitteiden koko potentiaali EU:n kehitysyhteistyön tulosten parantamiseksi. Tilintarkastustuomioistuin on muotoillut tätä varten muutamia suosituksia, jotka komission olisi otettava huomioon.

1. Johdanto

1.1. Miksi tuloksilla on merkitystä?

01

Maailman köyhimpien maiden kehityksen tukemiseen käytetään merkittävästi varoja. Korostaen, ettei kaikkia kehitysrahoitusta koskevia tietoja ole saatavissa samasta tietolähteestä, komissio arvioi heinäkuussa 2014, että vuodesta 2002 alkaneen kymmenvuotiskauden aikana kehitysmailla oli käytettävissä varoja yhteensä noin 2 171 miljardia Yhdysvaltain dollaria, kun otetaan huomioon kotimainen ja kansainvälinen julkinen ja yksityinen rahoitus.

02

Osana sitoumusta saavuttaa kansainvälisesti sovittu julkista kehitysapua koskeva tavoite, jonka mukaan kehitysavun osuuden bruttokansantulosta olisi oltava 0,7 prosenttia, vuonna 2013 EU:n yhteenlasketut (jäsenvaltiot mukaan lukien) julkisen kehitysavun nettomenot olivat 56,5 miljardia euroa, eli kehitysavun osuus EU:n yhteenlasketusta bruttokansantulosta oli 0,43 prosenttia¹.

03

Vuosina 2014–2020 kehitysyhteistyötä varten on määrä asettaa käytettäväksi 19 661 miljoonaa euroa EU:n yleisestä talousarviosta² ja AKT-valtioita varten 30 506 miljoonaa euroa Euroopan kehitysrahastosta³.

04

Kehitysavun uskottavuuden kannalta on tärkeää, että avulla saavutetut tulokset voidaan osoittaa, erityisesti käytettävien välineiden, avuntoimitusmenetelmien ja varojen osalta.

05

Myös julkinen tilivelvollisuus on tärkeä kysymys. Tammikuussa 2014 julkaistussa mietinnössä Euroopan parlamentti painotti, että ”toimintoperusteinen budjetointi on edelleen perusperiaate unionin talousarviota laadittaessa” ja piti valitettavana, että jotkut ehdotukset ohjelmakaudelle 2014–2020 ”perustuvat olennaisesti panoksiin (ovat menosuuntautuneita), joten painopisteenä on tuloksellisuuden sijasta sääntöjenmukaisuus”. Lisäksi parlamentti tähdensi, että tuloksellisuusjärjestelmässä, jota komissio käyttää vuosia 2014–2020 koskevaa monivuotista rahoituskehystä varten, olisi oltava kolme pääelementtiä⁴:

a)ohjelman tavoitteiden saavuttaminen (tulokset)

b)komission ja jäsenvaltioiden toteuttaman ohjelman hallinnoinnin asianmukaisuus

c)unionin päätavoitteiden saavuttaminen ohjelmien tulosten ja asianmukaisen hallinnoinnin ansiosta.

1.2. Mitä tuloksella tarkoitetaan?

06

Tulos on mitattavissa oleva syyseuraus-suhteen välitön tai välillinen seuraus. Kehitysyhteistyötä koskeva tulosperusteinen lähestymistapa perustuu periaatteeseen, jonka mukaan kehitysyhteistyötoimissa on keskityttävä tulosten saavuttamiseen eikä toiminnan tai prosessin hallinnointiin. Tulokset kattavat tavallisesti seuraavat kolme ryhmää⁵:

a)Tuotos: Se, mitä tukitoimenpiteeseen suunnattujen resurssien avulla on tuotettu tai saavutettu (esim. työttömille järjestetty ammatillinen koulutus, rakennettu tie).

b)Tulos: Toimenpiteellä aikaansaatu muutos, joka liittyy tavallisesti toimenpiteen tavoitteisiin. Tulokset voivat olla ennakoitavissa tai odottamattomia, myönteisiä tai kielteisiä (esim. työllistyneet työharjoittelijat, parempi pääsy tietylle alueelle tien rakentamisen ansiosta).

c)Vaikutus: Pidemmän aikavälin sosiaalis-taloudelliset seuraukset, jotka ovat havaittavissa tietyn ajan kuluttua toimenpiteen loppuunsaattamisesta. Ne saattavat vaikuttaa tukitoimenpiteen välittömiin edunsaajiin tai muihin, välillisiin edunsaajiin.

Kaavio 1

Tuloksen käsite

1.3. EU:n kehitysyhteistyötulosten yleinen kehys

07

Tulosten mittaamiseen ja raportointiin nykyisin käytettävien järjestelmien lisäksi merkittävä komission tekemä aloite oli joulukuussa 2013 julkaistu komission yksiköiden valmisteluasiakirja ”Paving the way for an EU Development and Cooperation Results Framework”. Aloitteessa pyrittiin

määrittelemään prosessit, joita komissio on toteuttanut täyttääkseen muutossuunnitelmaan liittyvän sitoumuksensa vahvistaa kykyään seurata EU:n rahoittamien kehitysyhteistyöhankkeiden ja -ohjelmien täytäntöönpanolla saavutettuja tuloksia ja raportoida niistä⁶.

08

Valmisteluasiakirjassa otettiin huomioon komission vuonna 2013 tekemän tutkimuksen päätelmät. Tutkimuksessa pyrittiin analysoimaan viiden jo omaa tuloskehystään soveltavan kehitysviraston kokemuksia. Valmisteluasiakirjassa esitettiin alustava lähestymistapa EU:n kehitysyhteistyön yleisen tuloskehyksen laatimista varten. Kehystä kuvailtiin seuraavasti:

Tuloskehys on väline, jota eri kehitysyhteistyökumppanit käyttävät mitatakseen saavutettuja tuloksia asetettuihin strategisiin kehitystavoitteisiin nähden. Tuloskehyksen voidaan katsoa ilmaisevan tietyn strategian, ohjelman tai hankkeen täytäntöönpanolta odotettavat eri tasot tai tulosketjut.

09

EU:n kehitysyhteistyön tuloskehyksellä on kaksi päätarkoitusta: se on tilivelvollisuuden väline, jolla tiedotetaan saavutetuista tuloksista sidosryhmille, ja hallinnoinnin väline, jonka avulla saadaan tuloksellisuutta koskevia tietoja hallinnoinnin päätöksentekoa varten.

10

Kesäkuussa 2014 julkaistiin toinen komission yksiköiden valmisteluasiakirja, jossa pyrittiin kuvaamaan seuraavan monivuotisen rahoituskehyksen päättymiseen asti sovellettava seuranta-, arviointi- ja raportointikehys, joka perustuu seuraavaa ohjelmasukupolvea tukeviin oikeudellisiin välineisiin ja komission lisätyöhön kehyksen loppuunsaattamiseksi, eli MORE-kehys (monitoring, reporting and evaluation). Valmisteluasiakirjassa esitetään kunkin politiikan alan osalta yleiskatsaus välineiden yleisistä ja erityisistä tavoitteista, kuhunkin tavoitteeseen liittyvät tärkeimmät indikaattorit, seurantajärjestelmät sekä arviointien ja raportoinnin ajankohdat ja sisällöt⁷.

11

Huhtikuussa 2014 Euroopan parlamentti ilmaisi tukevansa ”komission jatkuvia pyrkimyksiä siirtyä panoksiin perustuvasta lähestymistavasta tuloksiin ja vaikutuksiin perustuvaan lähestymistapaan”⁸. Toukokuussa 2014 neuvosto suhtautui myönteisesti joulukuussa 2013 julkaistuun komission yksiköiden valmisteluasiakirjaan ”Paving the way for an EU Development and Cooperation results framework” ja ilmaisi kiinnostuksensa odottaen ”alustavan vaiheen tuloksia EU:n kehitysyhteistyön tuloskehyksen viimeistelemiseksi hyvissä ajoin siten, että vuoden 2014 tuloksista voidaan raportoida vuoden 2015 alkupuoliskolla”⁹.

12

Maaliskuussa 2015 komissio julkaisi uuden yksiköidensä valmisteluasiakirjan ”EU:n kansainvälisen kehitysyhteistyön tuloskehyksen käynnistäminen”. Asiakirjassa pyritään muuntamaan vuonna 2013 julkaistussa komission yksiköiden valmisteluasiakirjassa (ks. kohta 7) esitetyt lähestymistavat kansainvälisen yhteistyön ja kehitysasioiden pääosaston toiminnallisiksi suunnitelmiksi, joiden mukaisesti raportoidaan vuosittain vuodesta 2015 alkaen, jotta voidaan osoittaa, miten käytetyt varat edistävät toimintapoliittisten tavoitteiden saavuttamista¹⁰.

1SWD(2014) 235 final – ”EU Accountability Report 2014 on Financing for Development – Review of progress by the EU and its Member States”.

2http://ec.europa.eu/budget/mff/figures/index_en.cfm#documents,-tammikuu 2015.

3Komission julkaisu vuosia 2014–2020 koskevasta monivuotisesta rahoituskehyksestä ja EU:n vuoden 2014 talousarviosta, ”Multiannual financial framework 2014-2020 and EU budget 2014 – The figures”.

4Mietintö saavutettuihin tuloksiin perustuvasta unionin varoja koskevasta arvioinnista: uusi väline komission tehostettua vastuuvapausmenettelyä varten – A7-0068/2014, 30.1.2014.

5Tässä kertomuksessa käytetään näistä kolmesta tulosryhmästä ulkoisen toiminnan rahoitusvälineiden mukaista terminologiaa. Samankaltaisia termejä voidaan käyttää eri tavoin muissa EU:n asiakirjoissa.

6SWD(2013) 530 final, 10.12.2013.

7SWD(2014) 200 final, 26.6.2014, ”Overview of the Monitoring, Reporting and Evaluation Frameworks for the MFF 2014-2020 Programmes – Accompanying the document Report from the Commission to the European Parliament and the Council on the evaluation of the Union’s finances based on the results achieved”.

8Euroopan parlamentin päätös 3. huhtikuuta 2014 vastuuvapauden myöntämisestä Euroopan unionin yleisen talousarvion toteuttamisesta varainhoitovuonna 2012, pääluokka III – Komissio ja toimeenpanovirastot – viite P7_TA-PROV(2014)0287, jakso ”Ulkosuhteet”, 264 kohta.

9”Neuvoston päätelmät EU:n kehitysyhteistyön tuloskehyksestä” – Ulkoasiainneuvoston kokous (kehitysyhteistyö), 19.5.2014.

10SWD(2015) 80 final, 26.3.2015.

2. Tulospolitiikkaan ja sääntelyyn liittyvä tausta

2.1. Poliittinen tausta

13

Komission kansainvälinen rooli määritellään Euroopan unionista tehdyn sopimuksen 17 artiklassa. Komissio tekee kehitysyhteistyötä koskevissa asioissa yhteistyötä erityisesti Yhdistyneiden kansakuntien sekä Taloudellisen yhteistyön ja kehityksen järjestön (OECD) kanssa. Tässä yhteydessä sovitaan korkean tason kehitystavoitteista ja avun tuloksellisuuden parantamisen periaatteista¹¹.

2.1.1. Korkean tason kehitystavoitteet

14

Yhdistyneiden kansakuntien yleiskokous hyväksyi syyskuussa 2000 Yhdistyneiden kansakuntien vuosituhatjulistuksen, jossa velvoitettiin järjestön jäsenet äärimmäisen köyhyyden vähentämistä koskevaan uuteen maailmanlaajuiseen kumppanuuteen ja asetettiin aikasidonnaisia tavoitteita, jotka oli määrä saavuttaa vuoteen 2015 mennessä. Tavoitteita kutsutaan yleisesti vuosituhattavoitteiksi (MDG:t).

15

Kesäkuussa 2012 pidetyssä Rio+20-konferenssissa päätettiin käynnistää prosessi vuosituhattavoitteisiin perustuvien kestävän kehityksen tavoitteiden laatimiseksi¹². Syyskuussa 2013 maailman johtajat uusivat sitoumuksensa vuosituhattavoitteiden saavuttamiseen ja sopivat, että syyskuussa 2015 järjestetään korkean tason huippukokous, jossa hyväksytään uudet tavoitteet vuosituhattavoitteiden saavutusten kehittämiseksi edelleen¹³. Maailmanlaajuisia keskusteluja vuoden 2015 jälkeisestä laajemmasta kehityssuunnitelmasta käydään parhaillaan useissa erilaisissa prosesseissa. YK:n pääsihteeri julkaisi joulukuussa 2014 tiivistelmäraportin vuoden 2015 jälkeisestä kehityssuunnitelmasta14,15.

2.1.2. Avun tuloksellisuutta käsittelevät korkean tason foorumit

16

Euroopan komissio ja EU:n jäsenvaltiot ovat osallistuneet useaan korkean tason foorumiin, joilla pyritään parantamaan kehitysapuohjelmien tuloksellisuutta:

a)yhdenmukaistamista koskeva Rooman julistus (2003)

b)Pariisin julistus avun tuloksellisuudesta (2005)

c)Accran toimintasuunnitelma (2008)

d)tuloksellista kehitysyhteistyötä koskeva Busanin kumppanuus (2011)

e)Meksikossa järjestetty tuloksellista kehitysyhteistyötä koskevan maailmanlaajuisen kumppanuuden ensimmäinen korkean tason kokous: Building Towards an Inclusive Post-2015 Development Agenda (kohti osallistavaa vuoden 2015 jälkeistä kehityssuunnitelmaa, 2014).

17

Avunantajat ja kumppanimaat pääsivät näillä foorumeilla yhteisymmärrykseen ja sopivat muun muassa seuraavista kehitystuloksiin liittyvistä periaatteista:

a)vahvistetaan kumppanimaiden hallitusten valmiuksia ottaa entistä johtavampi rooli ja vastuuta kehitystuloksista

b)tehdään yhteistyötä kumppanimaiden kanssa, jotta voidaan käyttää mahdollisimman paljon niiden tulosperusteisen raportoinnin ja seurannan kehyksiä

c)yhdenmukaistetaan avunantajien seuranta- ja raportointivaatimuksia

d)parannetaan avunantajien ja kumppanimaiden tulosjohtamista

e)kiinnitetään entistä enemmän huomiota kehitystuloksiin.

2.1.3. EU:n tiedonannot

18

Euroopan unionin sitoutuminen kansainvälisesti sovittuihin kehitystavoitteisiin ja avun tuloksellisuuden parantamiseen on dokumentoitu useisiin julkisiin lausuntoihin ja tiedonantoihin, joissa kaikissa tuodaan tavalla tai toisella esiin kehitysyhteistyön tulosten merkitys:

a)Neuvoston ja neuvostossa kokoontuneiden jäsenvaltioiden hallitusten edustajien yhteinen julkilausuma kehityspolitiikkaa koskevasta eurooppalaisesta konsensuksesta (viite 14820/05, 24.2.2006)

b)Kriisitilanteen tuki kehitysmaille (KOM(2009) 160 lopullinen, 8.4.2009)

c)Kaksitoistakohtainen EU:n toimintasuunnitelma vuosituhannen kehitystavoitteiden tueksi (KOM(2010) 159 lopullinen, 21.4.2010)

d)Avun tuloksellisuutta koskeva toimintakehys – Neuvoston pääsihteeristö (viite 18239/10, 11.1.2011)

e)EU:n kehitysyhteistyöpolitiikan vaikutuksen lisääminen: muutossuunnitelma (KOM(2011) 637 lopullinen, 13.10.2011)

f)Ihmisarvoinen elämä kaikille: köyhyyden poistaminen ja kestävän tulevaisuuden turvaaminen maailmanlaajuisesti (COM(2013) 92 final, 27.2.2013)

g)Tilanne vuoden 2015 jälkeen: kokonaisvaltainen ja yhdennetty lähestymistapa köyhyyden poistamisen ja kestävän kehityksen rahoittamiseen (COM(2013) 531 final, 16.7.2013).

2.2. Oikeudellinen ja sääntelyyn liittyvä tausta

19

Tuloksiin kohdistuvaa tilivelvollisuutta ja julkista tarkastusta¹⁶ koskevat tärkeimmät määräykset ja säännökset ovat Euroopan unionin toiminnasta tehdyssä sopimuksessa (SEUT), EU:n yleiseen talousarvioon ja Euroopan kehitysrahastoihin sovellettavissa varainhoitoasetuksissa sekä unionin ulkoisen toiminnan rahoitusvälineiden täytäntöönpanoa koskevista yhteisistä säännöistä ja menettelyistä annetussa asetuksessa.

a)Euroopan unionin toiminnasta tehdyssä sopimuksessa määrätään seuraavaa:

(i)Komissio esittää Euroopan parlamentille ja neuvostolle unionin varoja koskevan arviointikertomuksen, joka perustuu saavutettuihin tuloksiin (318 artiklan 2 kohta).

(ii)Tilintarkastustuomioistuin voi milloin tahansa, varsinkin erityiskertomuksin, esittää huomautuksia (287 artiklan 4 kohta)¹⁷.

b)Unionin yleiseen talousarvioon sovellettavassa varainhoitoasetuksessa säädetään seuraavaa18,19:

(i)Kaikille talousarvion kattamille toiminnan aloille on vahvistettava erityiset mitattavissa ja toteutettavissa olevat, asiaan kuuluvat ja ajallisesti määrätyt tavoitteet. Näiden tavoitteiden toteuttamista valvotaan toiminnoittain vahvistettujen tulosindikaattoreiden avulla (30 artiklan 3 kohta).

(ii)Päätöksenteon tehostamiseksi toimielimien on arvioitava ohjelmia tai toimintoja etu- ja jälkikäteen. Arviointia sovelletaan kaikkiin ohjelmiin ja toimiin, joista aiheutuu huomattavia menoja. (30 artiklan 4 kohta.)

(iii)Komission on liitettävä talousarvioesitykseen tiettyjä asiakirjoja, muun muassa toimintoselvitykset, jotka sisältävät tiedot kaikkien aiemmin asetettujen erityisten, mitattavissa ja saavutettavissa olevien, asiaan kuuluvien ja ajallisesti määrättyjen tavoitteiden toteuttamisesta toimintokohtaisesti sekä indikaattoreilla mitatuista uusista tavoitteista (38 artiklan 3 kohdan e alakohdan i alakohta), määrärahojen määrään ehdotettujen muutosten täydelliset perustelut ja niiden kustannusten ja hyötyjen tarkastelu (38 artiklan 3 kohdan e alakohdan ii alakohta) sekä yhteenveto arviointituloksista silloin kun ne vaikuttavat talousarvion muutoksiin (38 artiklan 3 kohdan e alakohdan v alakohta).

(iv)Valtuutetun tulojen ja menojen hyväksyjän on laadittava toimielimelleen vuosittain tehtäviensä suorittamisesta toimintakertomus, joka sisältää taloutta ja hallinnointia koskevat tiedot. Kertomuksesta on käytävä ilmi, vastaavatko saavutetut tulokset asetettuja tavoitteita, millaisia riskejä tapahtumiin liittyy, miten käyttöön asetetut varat on käytetty ja miten tehokkaasti ja vaikuttavasti sisäinen valvontajärjestelmä toimii (66 artiklan 9 kohta).

(v)Tilintarkastustuomioistuimen erityiskertomukset on toimitettava viipymättä Euroopan parlamentille ja neuvostolle (163 artikla).

c)Unionin ulkoisen toiminnan rahoitusvälineiden täytäntöönpanoa koskevista yhteisistä säännöistä ja menettelyistä annetussa asetuksessa säädetään seuraavaa²⁰:

(i)Rahoituspäätöksien on sisällettävä liite, joka sisältää kunkin toimen kuvauksen, josta käyvät ilmi sen tavoitteet, tärkeimmät toiminnot, toivotut tulokset, täytäntöönpanomenetelmät, talousarvio ja alustava aikataulu sekä edistymisen seurantajärjestelyt (johdanto-osan 5 kappale).

(ii)Välineiden mukaisesti toteutetulla unionin ulkoisella toiminnalla on edistettävä selkeitä tuloksia (jotka kattavat tuotokset, tulokset ja vaikutukset). Unionin ulkoisen toiminnan tuloksia ja tietyn välineen tehokkuutta on seurattava ja arvioitava ennalta määritetyillä, selkeillä, avoimilla sekä tarvittaessa maakohtaisilla ja mitattavissa olevilla indikaattoreilla (johdanto-osan 12 kappale.)

(iii)Toimintaohjelmissa on yksilöitävä kunkin toimen osalta tavoitteet, toivotut tulokset ja tärkeimmät toiminnot (2 artikla).

(iv)Komission on toimitettava vuodesta 2015 alkaen Euroopan parlamentille ja neuvostolle vuosikertomus kunkin asetuksen tavoitteiden saavuttamisesta käyttäen indikaattoreita, joilla mitataan saavutettuja tuloksia ja asianomaisen välineen tehokkuutta. Kertomuksessa on arvioitava unionin rahoitusavun tuloksia käyttäen mahdollisuuksien mukaan erityisiä mitattavissa olevia indikaattoreita sen mittaamiseen, miten tuella on voitu vaikuttaa välineiden tavoitteiden saavuttamiseen (13 artikla.)

11http://ec.europa.eu/europeaid/policies/international-development-dialogue_en

12Rio+20-konferenssin päätösasiakirja ”Tulevaisuus, jota tavoittelemme”.

13Yhdistyneet kansakunnat – Yleiskokous – Integrated and coordinated implementation of and follow-up to the outcomes of the major United Nations conferences and summits in the economic, social and related fields – Follow-up to the outcome of the Millennium Summit – viite A/68/L.4.

14Yhdistyneet kansakunnat – Yleiskokous – The road to dignity by 2030: ending poverty, transforming all lives, and protecting the planet – Synthesis report of the Secretary General on the post-2015 sustainable development agenda – viite A/69/700.

15Ks. myös COM(2015) 44 final, 5.2.2015, ”Köyhyyden poistamista ja kestävää kehitystä koskeva maailmanlaajuinen kumppanuus vuoden 2015 jälkeen”.

16Tilivelvollisuudella tarkoitetaan lähinnä demokraattista valvontaa, joka kohdistuu toimintapolitiikkoihin ja julkisten elinten toimintaan. Julkisella tarkastuksella puolestaan tarkoitetaan toimintapolitiikkojen ja niihin käytettävien julkisten varojen tilintarkastusta ja tuloksellisuuden tarkastusta sekä näiden tarkastusten kytköstä tilivelvollisuusprosessiin. Ks. tilintarkastustuomioistuimen asiakirja ”Yleiskatsaus tilivelvollisuuteen ja julkiseen tarkastukseen EU:ssa: puutteita, päällekkäisyyksiä ja haasteita”, 2014 (http://eca.europa.eu).

17Ks. myös varainhoitoasetuksen 163 artikla.

18Euroopan parlamentin ja neuvoston asetus (EU, Euratom) N:o 966/2012, annettu 25 päivänä lokakuuta 2012, unionin yleiseen talousarvioon sovellettavista varainhoitosäännöistä ja neuvoston asetuksen (EY, Euratom) N:o 1605/2002 kumoamisesta (EUVL L 298, 26.10.2012, s. 1).

19Samanlaisia säännöksiä on Euroopan kehitysrahastoihin sovellettavissa varainhoitoasetuksissa.

20Euroopan parlamentin ja neuvoston asetus (EU) N:o 236/2014, annettu 11 päivänä maaliskuuta 2014, unionin ulkoisen toiminnan rahoitusvälineiden täytäntöönpanoa koskevista yhteisistä säännöistä ja menettelyistä (EUVL L 77, 15.3.2014, s. 95).

3. Tilintarkastustuomioistuimen suorittama arviointi

20

Tilintarkastustuomioistuimen suorittaman arvioinnin tavoitteena oli esittää yhdessä asiakirjassa yleiskatsaus siitä, mitä tilintarkastustuomioistuin pitää EU:n kehitysyhteistyötoimia koskevaan tulosperusteiseen lähestymistapaan liittyvinä keskeisinä riskialoina. Lisäksi arvioinnissa havainnollistetaan kyseisiä riskejä niiden kokemusten perusteella, joita tilintarkastustuomioistuin on saanut ulkoisten toimien alalla toimittamiensa tarkastusten yhteydessä. Arviointi on erityisen ajankohtainen, sillä parhaillaan käydään keskusteluja komission tuloksellisuusjärjestelmästä (ks. kohta 5) ja EU:n kansainvälisen kehitysyhteistyön tuloskehyksen täytäntöönpanosta (ks. kohta 11).

21

Ohjaavana periaatteena arvioinnissa oli seuraava kysymys: kiinnittikö komissio asianmukaisesti huomiota EU:n kehitysyhteistyötoimia koskevaan tulosperusteiseen lähestymistapaan liittyviin keskeisiin riskeihin?

22

Tilintarkastustuomioistuin teki arvioinnin lokakuun 2014 ja tammikuun 2015 välisenä aikana. Arvioinnin yhteydessä käytiin läpi EU:n toimielinten ja muiden merkittävien monen- tai kahdenvälisen avunantajien asiakirjoja ja haastateltiin EU:n komission henkilöstöä, myös EU:n Kambodžan edustuston henkilöstöä, sekä kahden kansainvälisen järjestön ja usean täytäntöönpanevan elimen toimihenkilöitä. Lisäksi tehtiin viime vuosina julkaistujen tilintarkastustuomioistuimen erityiskertomusten kartoitus, jotta keskeisiä riskialoja voitiin havainnollistaa esimerkein. Kehitystoimien aikataulu on sellainen, että nämä esimerkit liittyvät toisinaan useita vuosia sitten toteutettuihin toimiin.

4. Keskeiset riskialat

23

Arviointityönsä perusteella tilintarkastustuomioistuin tunnisti yhdeksän keskeistä riskialaa, joita kuvaillaan tarkemmin ja havainnollistetaan jäljempänä. Ne liittyvät seuraaviin asioihin:

a)tuloksiin liittyvän terminologian johdonmukainen käyttö (osa 4.1)

b)selkeän tulosketjun luominen (osa 4.2)

c)laaja-alaisten aiheiden sisällyttämisestä johtuva monimutkaistuminen (osa 4.3)

d)kehitysyhteistyökumppanien välineiden ja kehysten yhdenmukaistaminen (osa 4.4)

e)tulosten raportointi ja arviointi (osa 4.5)

f)tietojen konsolidointi ja yleiskatsaus tuloksista (osa 4.6)

g)tietojen laatu (osa 4.7)

h)talousarvion toteutuman painottaminen (osa 4.8)

i)EU:n toimien toimintaympäristön muutokset (osa 4.9).

4.1. Tavoitteiden ja indikaattoreiden muotoilu

4.1.1. Terminologia

24

Koska EU:n kehitysyhteistyön uuden kehyksen täytäntöönpanoon osallistuu tai liittyy monia erilaisia osapuolia, on ratkaisevan tärkeää, että he voivat käyttää yhteistä ja johdonmukaista terminologiaa.

25

Tilintarkastustuomioistuin havaitsi kuitenkin, ettei tuloksiin liittyvää terminologiaa käytetä aina johdonmukaisesti (ks. laatikko 1).

26

Käytettävän terminologian epätarkkuus ja epäjohdonmukaisuus voi aiheuttaa väärinkäsityksiä ja sekaannusta EU:n kehitysyhteistyötoimintaan osallistuvien keskuudessa, erityisesti toimien arvioinnin yhteydessä.

Laatikko 1

Esimerkkejä terminologiaan liittyvistä kysymyksistä

Vaikka unionin ulkoisen toiminnan rahoitusvälineiden täytäntöönpanoa koskevista yhteisistä säännöistä ja menettelyistä annetussa asetuksessa²¹ säädetään, että tulokset (results) kattavat tuotokset, tulokset ja vaikutukset (outputs, outcomes ja impact) (ks. kohta 19), vuotta 2014 koskevassa EuropeAidin hallintosuunnitelmassa käytetään eri luokittelua, jonka mukaan tulokset (outcomes) käsittävät tulokset ja vaikutukset (results ja impact)²².

Vaikka asetuksissa säädetään erityisistä mitattavissa ja toteutettavissa olevista, asiaan kuuluvista ja ajallisesti määrätyistä (SMART) tavoitteista, EuropeAidin tulosperusteisen seurantajärjestelmän käsikirjassa (Results Oriented Monitoring Handbook), joka toimii viiteasiakirjana kaikelle EuropeAidin tulosperusteiselle seurannalle, käytetään termiä ”SMART OVIs”, jossa ”OVIs” tarkoittaa objektiivisesti todennettavissa olevia indikaattoreita. Käsikirjassa siis sekoitetaan tavoitteet ja indikaattorit toisiinsa. Vastaavasti vuoden 2014 talousarviota koskevassa komission yleiskirjeessä SMARTilla tarkoitetaan vähimmäisehtoja, jotka tavoitteiden ja indikaattoreiden on täytettävä²³.

Vaikka asetuksissa säädetään ennalta määritetyistä, selkeistä, avoimista sekä tarvittaessa maakohtaisista ja mitattavissa olevista indikaattoreista, toisinaan käytetään muita laatukriteerisarjoja, kuten EuropeAid huomautti vuonna 2012 antamissaan budjettituen suuntaviivoissa²⁴ toteamalla, että indikaattoreiden laadun arviointia varten on erilaisia kriteerisarjoja. SMART-indikaattorit ovat täsmällisiä, mitattavia, saavutettavia, realistisia ja aikasidonnaisia (Specific, Measurable, Achievable, Realistic and Time-limited). CREAM-kriteerien mukaiset indikaattorit ovat selkeitä, asiaan kuuluvia, taloudellisia, riittäviä ja seurattavissa olevia (Clear, Relevant, Economic, Adequate and Monitorable). EUROSTATin indikaattoriohjeissa painotetaan loogisuutta, asiaankuuluvuutta, tavoitteiden asettamisen mahdollisuutta, tiedonkeruun taajuutta, tarkoituksenmukaisuutta ja mahdollisuutta arvioida tarkkuutta. RACER-indikaattorit ovat asiaan kuuluvia, hyväksyttäviä, uskottavia, helppoja seurata ja vakaita (Relevant, Accepted, Credible, Easy, and Robust).

4.1.2. Asiakirjojen yhdenmukaistaminen ja johdonmukaisuus

27

Tavoitteet ja niihin liittyvät indikaattorit on helpompi ymmärtää ja ne saavutetaan todennäköisemmin, jos ne muotoillaan selkeästi ja johdonmukaisesti kaikissa toisiinsa liittyvissä asiakirjoissa.

28

EU:n kehitysyhteistyön tavoitteita ja indikaattoreita määritellään monenlaisissa asiakirjoissa. Esimerkkeinä voidaan mainita seuraavat:

a)Euroopan unionin toiminnasta tehty sopimus

b)korkean tason kehitystavoitteet (ks. osa 2.1.1)

c)ulkoisen toiminnan rahoitusvälineitä koskevat asetukset²⁵

d)komission alueelliset ja maakohtaiset strategiat sekä suuntaa-antavat monivuotiset ohjelmasuunnitteluasiakirjat

e)komission rahoituspäätöksiin liitettävät vuotuiset toimintaohjelmat

f)kumppanimaiden kanssa tehtävät rahoitussopimukset, kansainvälisten järjestöjen kanssa tehtävät hallinto-/rahoitussopimukset, kansalaisjärjestöjen ja palveluntarjoajien kanssa tehtävät avustussopimukset

g)talousarviomenettelyyn liittyvät toimintoselvitykset (tai ohjelmaselvitykset)

h)komission asianomaisen pääosaston vuotuiset hallintosuunnitelmat ja vuotuiset toimintakertomukset.

29

Kaikkien näiden eri viranomaisilta peräisin olevien ja erilaisissa hyväksymiskierroissa ja -menettelyissä käsiteltävien asiakirjojen hallinnointi johtaa välttämättä tavoitteiden ja indikaattoreiden mukautuksiin ja joissakin tapauksissa epäjohdonmukaisuuksiin. Komission tuloskehyksen valmistelua varten vuonna 2014 toteuttamassa tulosten raportoinnin pilottihankkeessa havaittiin tältä osin, että jos sekä päätösten että sopimusten tasolla oli käytössä loogiset viitekehykset, niiden välinen johdonmukaisuus oli parhaimmillaankin vaihteleva²⁶.

30

Aiemmissa tarkastuksissaan tilintarkastustuomioistuin on havainnut epäjohdonmukaisuuksia myös tavoitteiden ja indikaattoreiden määrittelyyn käytettävien asiakirjojen välillä (ks. laatikko 2).

Laatikko 2

Esimerkki asiakirjojen välisistä epäjohdonmukaisuuksista

”Vuotuiset toimintakertomukset sisältävät seitsemän Keski-Aasiaa koskevaa indikaattoria. Vaikka nämä indikaattorit ovat yleisesti ottaen relevantteja EU:n Keski-Aasialle antaman kehitysavun onnistumisen kannalta, ne poikkeavat alueellisessa strategia-asiakirjassa ja maaohjelmissa määritetyistä indikaattoreista; ne eivät myöskään nivelly suoraan Keski-Aasiaa koskevalta neuvoston uudelta kumppanuusstrategialta odotettuihin tuloksiin.”²⁷

31

Tavoitteiden ja indikaattoreiden muotoiluun liittyvät epäjohdonmukaisuudet voivat aiheuttaa epäselvyyttä siitä, mitä olisi käytettävä lähtökohtana saavutuksia arvioitaessa.

4.1.3. SMART-tavoitteiden ja selkeiden indikaattoreiden määritteleminen

32

Lainsäädännössä edellytetään erityisten mitattavissa ja toteutettavissa olevien, asiaan kuuluvien ja ajallisesti määrättyjen (SMART) tavoitteiden asettamista kaikille EU:n kehitysyhteistyötoimille. Lisäksi EU:n ulkoisen toiminnan, myös EU:n kehitysyhteistyön, tuloksia ja tietyn välineen tehokkuutta olisi seurattava ja arvioitava ennalta määritetyillä, selkeillä, avoimilla sekä tarvittaessa maakohtaisilla ja mitattavissa olevilla indikaattoreilla (ks. kohta 19)²⁸.

Kaavio 2

SMART-tavoitteiden ja selkeiden indikaattoreiden tarve

33

Tilintarkastustuomioistuin on havainnut usein aiemmissa tarkastuksissaan, että asetetut tavoitteet olivat liian epämääräisiä tai epärealistisia (ks. laatikko 3). Samoin tilintarkastustuomioistuin on havainnut usein, että indikaattorit puuttuivat tai että ne olivat epäselviä (ks. laatikko 4). Silloinkin, kun indikaattorit on määritelty hyvin, niiden tulkinta voi olla suhteellista ja niiden arvo voi vaihdella huomattavasti käyttöympäristön mukaan (ks. laatikko 5).

34

Komission tuloskehyksen valmistelua varten vuonna 2014 toteuttamassa tulosten raportoinnin pilottihankkeessa havaittiin myös, että kun päätöksissä ja sopimuksissa oli loogiset viitekehykset, ne olivat monissa tapauksissa heikkolaatuisia, eli tavoitteet eivät olleet SMART-tavoitteita eikä indikaattoreita ollut määritelty hyvin tai indikaattorit perustuivat epäselviin tietolähteisiin.

35

SMART-tavoitteiden ja selkeiden indikaattoreiden määrittelemättä jättäminen paitsi rikkoo lainsäädäntöä myös vaarantaa tuloksellisuuden seurantaa ja tulosten arviointia, mikä on haitallista tilivelvollisuuden ja julkisen tarkastuksen kannalta. Lisäksi on vaarana, että toimen tulokset jäävät vähäisiksi, jos sen tavoitteita ei määritellä hyvin heti alussa.

Laatikko 3

Esimerkki liian epämääräisistä tai epärealistisista tavoitteista

”Hanketavoitteita ei ole määritelty selkeästi lähinnä suunnitellun välineistön, sen käyttötason (määrä ja laatu) ja hanketuloksista oletettavasti hyötyvän kohdeväestön kohdalla. Selkeiden ja määrällisesti ilmaistujen toimenpiteiden puuttuminen haittasi merkittävällä tavalla komission kykyä seurata edistymistä täytäntöönpanon aikana ja myöhemmin mitata ja tarkistaa, olivatko saavutetut tulokset ajan mittaan kestäviä(…).”²⁹

”Lisäksi tavoitteet ovat joskus liian kunnianhimoisia, etenkin valtioista riippumattomien järjestöjen hankkeissa, joiden talousarvio on vaatimaton ja toteutusaika suhteellisen lyhyt. Tämä koski varsinkin niitä valtioista riippumattomien järjestöjen hankkeita, jotka rahoitettiin elintarvikerahoitusvälineestä: hankkeiden toteutusjakso oli noin 20 kuukautta, mutta se lyheni käytännössä lähemmäs 15:ttä kuukautta, koska ensimmäisinä kuukausina oli huolehdittava hankinnoista ja muista valmisteluista. Joissakin tapauksissa tukitoimet perustuvat kohtuuttomiin odotuksiin, jotka liittyvät onnistuneen toteutuksen edellytyksiin, kuten keskushallinnon ja paikallisten viranomaisten institutionaalisiin ja hallinnollisiin valmiuksiin, maaseudun infrastruktuurien laatuun tai soveltuvan henkilöstön (esimerkiksi ravintoasiantuntijoiden ja maatalousneuvojien) saatavuuteen.”³⁰

Laatikko 4

Esimerkkejä indikaattoreiden puuttumisesta ja epäselvistä indikaattoreista

”Suoran PEGASE-rahoitustuen rahoitussopimuksiin ei sisältynyt tulosindikaattoreita, minkä vuoksi Euroopan ulkoasiainhallinnon, komission ja jäsenvaltioiden on vaikeampaa arvioida tuen konkreettisia tuloksia (…). Tämän vuoksi myös tuen tuloksellisuutta on vaikeampaa osoittaa uuden rahoituksen toivossa. Tämä ei myöskään vastaa ENPI-asetuksessa selkeästi esitettyä vaatimusta, jonka mukaan tulosindikaattorit on vahvistettava kaikenlaisen ENPI-tuen valvontaa varten.”³¹

”(…) Kirgisiassa elintarviketurvatiedotusta koskevan ohjelman indikaattorit oli muotoiltu löyhästi seuraavaan tapaan: ’elintarviketurvatiedotusta pidetään yleisesti ottaen oikeellisena ja oikea-aikaisena’, ’henkilöstöä koulutetaan riittävästi’, ja ’satoennusteiden hyödyllisyys’.”³²

Laatikko 5

Esimerkkejä indikaattoreiden muuttuvasta merkityksestä

EU antaa Kambodžalle budjettitukea koulutusalan kehittämistä varten. Aiempina vuosina kahdennentoista luokan loppukoetta vaivasivat Kambodžassa lunttaaminen ja lahjonta. Hyväksyttyjen osuus oli silloin noin 80 prosenttia. Vuonna 2014 Kambodžan viranomaiset ryhtyivät estämään kokeissa havaittuja sääntöjenvastaisuuksia tavoitteenaan poistaa ne lopulta kokonaan, erityisesti ottamalla testikeskuksissa käyttöön lunttaamista estäviä toimenpiteitä. Elokuussa 2014 järjestetyssä ensimmäisessä kokeessa hyväksyttyjen osuus oli 25 prosenttia. Lokakuussa järjestetyn uusintakokeen jälkeen laskettu koko vuonna 2014 hyväksyttyjen osuus oli 41 prosenttia kokelaista eli noin puolet vuoden 2013 arvosta. Indikaattorin arvossa tapahtunut muutos voitaisiin ensi näkemältä tulkita huonontumiseksi. Muutosta voidaan vaihtoehtoisesti pitää kuitenkin myös osoituksena kokeiden luotettavuuden ja uskottavuuden parantumisesta.

4.1.4. Sen määritteleminen tavoitteeksi, että kumppanimaa sitoutuu toteuttamaan uudistuksia

36

Jotta toimen tavoitteet olisivat kehityksen kannalta merkittäviä, niiden olisi vastattava tuloksen saavuttamista eli kyseisestä toimesta johtuvaa mitattavaa muutosta.

37

Tilintarkastustuomioistuin on aiemmissa tarkastuksissaan todennut, että EU:n toimien tavoitteeksi muotoillaan toisinaan kumppanimaan tiettynä ajankohtana osoittama sitoutuminen. Vaikka esitetty tavoite olisikin saavutettu eli vaikka kumppanimaa näyttäisikin sitoutuneen odotusten mukaisesti, toimella ei kuitenkaan joissakin tapauksissa ollut merkittävää vaikutusta ajan mittaan tai toimella oli vain vähän vaikutusta, eli toimi ei tuottanut kehityksen kannalta merkittäviä tuloksia (ks. laatikko 6).

38

EU:n kehitysapu- ja koordinointitoimien vaikuttavuus voi vaarantua, jos kumppanimaan näennäistä sitoutumista tulosten saavuttamiseen pidetään riittävänä maksun edellytyksenä vaatimatta näyttöä siitä, että merkittäviä uudistuksia todella toteutetaan.

Laatikko 6

Esimerkki toimesta, jossa kumppanimaan sitoutuminen uudistusten toteuttamiseen ei muuttunut kehitystuloksiksi

”Komissio maksoi Kirgisialle talousarviotukea kolmessa erässä, ja ennen jokaisen erän suorittamista arvioitiin edistymistä julkistalouden hallinnointia koskevien tavoitteiden saavuttamisessa. Komissio arvioi, että edistys oli ollut hidasta, mutta se hyväksyi kaikkien kolmen erän maksuunpanon lähinnä siksi, että se katsoi, että Kirgisian valtio oli yhä sitoutunut uusiin uudistuksiin. Tämän näkemyksen tueksi ei ollut asianmukaista näyttöä. Komissio perustelee maksatuspäätöksiään ensisijaisesti arvioimalla kumppanimaiden sitoutumista uudistukseen eikä niinkään arvioimalla ohjelmien tosiasiallista edistymistä.”³³

”Komissio ei onnistunut varmistamaan, että Egyptin viranomaiset kohdistivat konkreettisia toimia ongelmiin, joita komissio toi esiin alakomiteassa käydyssä vuoropuhelussa. Esiin tuodut ongelmat saatettiin nimetä kokouksen lopussa toimien kohteeksi, mutta toimia ei yleensä pantu täytäntöön. Esimerkiksi vuoden 2009 alakomitea nimesi toimen, jonka tarkoituksena oli ’tutkia mahdollisuutta käyttää EU:n teknistä apua Egyptin neuvontaan jäsenvaltioissa valtiosta riippumattomiin järjestöihin sovellettavan lainsäädännön osalta’. Toimen toteuttamista ei seurattu. (…) Komissio ei tuonut edistymiskertomuksissa ihmisoikeusrikkomuksia kohtaan esittämänsä kritiikin yhteydessä esille mahdollisuutta EU-tuen vähentämiseen tai poistamiseen.”³⁴

4.2. Tulosketjun luominen

4.2.1. Toimien ja tulosten niveltäminen toisiinsa selkeällä loogisella ketjulla

39

Jotta odotetut tulokset voidaan saavuttaa, on tarpeen määritellä asianmukaiset toimet ja luotava siten selkeä looginen yhteys toimintojen, tuotosten, tulosten ja vaikutusten välille35,36. Loogisen ketjun luominen on tärkeää myös siksi, että voidaan osoittaa, miten EU:n kehitysaputoimet edistävät tulosten saavuttamista³⁷.

40

Joissakin aiemmissa tilintarkastustuomioistuimen erityiskertomuksissa ja komission arviointikertomuksissa on todettu, ettei toimen ja tulosten välille luotu aina selkeää yhteyttä (ks. laatikko 7).

41

Joissakin toimissa tulosperusteiset maksuehdot voidaan määritellä rahoitussopimuksissa, joissa maksu liitetään suoraan tulosten saavuttamiseen ja luodaan siten kannustimia tuloksellisuuden parantamiseksi. Tulosten täysimääräisestä tai osittaisesta saavuttamisesta saa vastaavasti täysimääräisen tai osittaisen maksun38,39. Tilintarkastustuomioistuin on toisinaan havainnut aiemmissa tarkastuksissaan, että tällaista yhteyttä ei luotu tai ehdon täyttymistä ei edellytetty (ks. laatikko 8).

42

Jos toimien tai maksuehtojen ja toimien odotettujen tulosten välillä ei ole selkeää yhteyttä, toimien tavoitteet saattavat unohtua, mikä heikentää avun tuloksellisuutta sekä EU:n kykyä osoittaa toimiensa tulokset ja tehdä niistä tiliä. Vastaavasti erillisiltä näyttävät toimet voivat todellisuudessa liittyä läheisesti toisiinsa⁴⁰. Kun suunnitellaan jonkin tietyn politiikanalan toimea, toimella muilla politiikanaloilla mahdollisesti saavutettavia tuloksia ei ehkä aina oteta riittävästi huomioon. Hankkeella saatetaan esimerkiksi edistää terveyteen liittyviä tavoitteita, kuten torjua malariaa, vaikka hankkeelle esitetyt tavoitteet koskisivat vain puhtaan juomaveden saannin parantamista.

Laatikko 7

Esimerkkejä epäselvästä yhteydestä toimen ja tulosten välillä

Tarkastelluissa 24 tukitoimessa viitataan selvästi Euroopan naapuruuspolitiikkaa koskevaan strategiaan yleisenä kehyksenä, jonka mukaisesti yhteistyötä tehdään. Ohjelmasuunnitteluasiakirjoissa viitataan selvästi yhteen tai useampaan Euroopan naapuruuspolitiikan tavoitteeseen, ja toimet ovat strategia-asiakirjojen mukaisia. Tarkastetuissa asiakirjoissa ei kuitenkaan esitetä tai selitetä selvästi, miten tavoitteet saavutetaan eri toimilla ja miten suunnitelluilla toimilla edistetään tulosten saavuttamista.⁴¹

”Malawissa ja Ruandassa toteutettavissa, talousarviotukeen perustuvissa ohjelmissa viitataan kansallisten köyhyyden vähentämisstrategioiden sekä alakohtaisten politiikkojen ja ohjelmien tavoitteisiin. Talousarviotukeen perustuvissa ohjelmissa ei mainita, miten niillä aiotaan myötävaikuttaa viranomaisten tavoitteiden saavuttamiseen.”⁴²

Laatikko 8

Esimerkkejä rahoitustuesta, johon liittyy tehottomia maksuehtoja

”Tarkastettujen kahden kohdennetun talousarviotuen ohjelman avulla pyrittiin muun muassa edistämään julkistalouden hallinnoinnin parantamista. Ohjelmia ei kuitenkaan nivelletty viranomaisten julkistamaan julkistalouden hallinnoinnin uudistusohjelmaan eikä niiden yhteydessä myöskään määritetty tuen painopisteitä. Epäselvää on, kuinka tämäntyyppiset ohjelmat voivat saavuttaa tällaisen tavoitteen, kun otetaan huomioon, että maksut suoritettiin yhtenä kiinteänä eränä, eikä niille asetettu tuloksellisuuteen liittyviä ehtoja tai poliittista vuoropuhelua koskevia vaatimuksia.”⁴³

”Tieinfrastruktuureja koskevissa investointihankkeissa komissio soveltaa ehtoja siten, että yhteistyökumppanimaiden kannustin noudattaa ehtoja on vähäinen. Ehdot eivät ole oikeudellisesti sitovia vaan ne esitetään rahoitussopimuksissa ’liitännäistoimenpiteinä’, jotka yhteistyökumppanimaan on määrä toteuttaa. Käytännössä komissio yleensä hyväksyy yhteistyökumppanimaiden ja urakoitsijoiden väliset urakkasopimukset riippumatta siitä, onko liitännäistoimenpiteet toteutettu. Sen jälkeen komissiolla on velvollisuus maksaa EKR-rahoitus sopimusten mukaisesti eikä sillä juurikaan ole keinoja saada yhteistyökumppanimaata noudattamaan ehtoja.”⁴⁴

4.2.2. Tuloksia toimien myötävaikutuksella vai toimien ansiosta

43

EU:n kehitysyhteistyötoimia toteutetaan monimutkaisessa toimintaympäristössä, jossa EU:n toimen ohella monet muut avunantajat ja ulkoiset tekijät vaikuttavat tulosten saavuttamiseen – myönteisesti tai kielteisesti. Tästä syystä EU:n kehitysyhteistyötoimen ja sen tulosten välisen syy-yhteyden (ks. osa 4.2.1) selvittämisen lisäksi voisi olla suositeltavaa arvioida suhteen voimakkuutta eli sitä, mikä osa tuloksista voidaan lukea EU:n toiminnan ansioksi.

44

Kuten komissio huomautti yksiköidensä valmisteluasiakirjassa ”Paving the way for an EU Development and Cooperation Results Framework” (ks. kohta 7), on kuitenkin vaikea mitata, kuinka paljon kukin tuloshierarkian taso vaikuttaa seuraavaan tasoon eli tuotokset tuloksiin ja tulokset vaikutuksiin. Toimen tuotokset voidaan tavallisesti lukea pitkälti toimen ansioksi, mutta tulosten osalta näin ei useinkaan voida tehdä ja vielä vähemmän vaikutusten osalta, kuten tilintarkastustuomioistuin on todennut joissakin tarkastuksissaan (ks. laatikko 9).

45

Budjettituen toimenpiteissä ei ole tavallisesti mahdollista tunnistaa tuotoksia, koska EU:n rahoitustuki yhdistetään kumppanimaan talousarviovaroihin. Kumppanimaan talousarviolla tuetaan koko maan kehitysstrategiaa, ja EU:n budjettituen toimenpiteiden tuotokset liittyvät siten valtion toimien ja palvelujen muutoksiin, jotka eivät ole pelkästään budjettitukiohjelman seurausta, vaan johtuvat myös monista muista valtion toimista ja päätöksistä sekä muista ulkoisen avun ohjelmista ja valtiosta riippumattomista ulkoisista tekijöistä⁴⁵. Tätä kuvataan hyvin OECD:n budjettituen arviointia varten laatimassa kattavassa arviointikehyksessä (ks. liite).

46

Vaikka toimen ja tulosten välille olisikin mahdollista luoda selkeä looginen yhteys, voi silti siis olla vaikeaa tai jopa mahdotonta arvioida, mikä osa tuloksista on EU:n tukitoimien ansiota ja mikä osa tuloksista johtuu muiden avunantajien toimista tai muista tekijöistä. Tämän vuoksi on asianmukaisempaa tarkastella, miten toimella on myötävaikutettu tulosten saavuttamiseen, kuin lukea saavutetut tulokset toimen ansioksi. Teknisten näkökohtien lisäksi asiaan liittyy myös poliittisempi kysymys siitä, kenelle vastuu tuloksista kuuluu. Kun toiminnassa on mukana monia sidosryhmiä, kuten EU, kumppanimaat ja muut avunantajat, kunnian samoista myönteisistä tuloksista voi haluta moni taho tai vastuuta kielteisistä tuloksista ei halua ottaa mikään taho.

Laatikko 9

Esimerkki vaikeuksista lukea tulokset EU:n toimen ansioksi

”Tilintarkastustuomioistuimen ei ole mahdollista arvioida, missä määrin EU:n talousarviotukeen perustuvat ohjelmat Malawissa ja Ruandassa ovat osaltaan myötävaikuttaneet maiden viranomaisten toteuttamien ohjelmien tulosten saavuttamiseen. Asiaan vaikuttavat lukuisat monimutkaiset osatekijät, (…).”⁴⁶

4.3. Laaja-alaisten aiheiden sisällyttämisestä johtuva monimutkaistuminen

47

Komissio ehdotti tiedonannossaan ”EU:n kehitysyhteistyöpolitiikan vaikutuksen lisääminen: muutossuunnitelma” (ks. kohta 18), että EU:n toimet kussakin kumppanimaassa olisi keskitettävä enintään kolmelle alalle. EU:n toimien keskittäminen pieneen määrään aloja voi lisätä toimien vaikutusta ja niiden avulla saatavaa hyötyä ja helpottaa pitämään EU:n tuen paremmin niin kumppanimaiden kuin komission ja EU:n edustustojenkin hallittavissa⁴⁷.

48

Monivuotisten ohjelmasuunnitteluasiakirjojen laatimista varten ohjelmakaudeksi 2014–2020 annetuissa EU:n ohjeissa todetaan samaan aikaan, että eri politiikanalojen sitoumuksissa on otettava huomioon myös yhdeksän laaja-alaista aihetta eli ihmisoikeuksien, sukupuolten tasa-arvon, demokratian, hyvän hallintotavan, lasten oikeuksien, vammaisten oikeuksien ja alkuperäiskansojen oikeuksien edistäminen sekä ympäristön kestävyys ja HI-viruksen/aidsin torjunta⁴⁸ (ks. laatikko 10).

Kaavio 3

Painopistealat ja laaja-alaiset aiheet

49

Komission aiemmissa arviointikertomuksissa on tuotu esiin ihmisoikeuksien edistämisen valtavirtaistamisessa EU:n kehitystoimien yhteydessä ilmenneitä vaikeuksia (ks. laatikko 11).

50

Laaja-alaisten aiheiden valtavirtaistaminen EU:n toimissa voi monimutkaistaa toimien tavoitteiden priorisointia. Monimutkaistuminen, joka johtuu laaja-alaisten aiheiden sisällyttämisestä EU:n ohjelmiin, aiheuttaa tulosten saavuttamiseen ja raportointiin kohdistuvan lisäriskin.

Laatikko 10

Laaja-alaisten aiheiden sisällyttäminen ohjelmaan – esimerkki Kambodžasta

Komission kautta 2014–2020 varten laatimassa Kambodžan suuntaa-antavassa monivuotisessa ohjelmassa määritellään kolme painopistealaa: maatalous/luonnonvarojen hallinta, koulutus/osaaminen ja hyvä hallinto. Ohjelma käsittää myös useiden laaja-alaisten aiheiden valtavirtaistamisen: sukupuolten tasa-arvo ja naisten vaikutusvallan vahvistaminen, ravitsemus, ympäristö sekä tieto- ja viestintätekniikka.

Laatikko 11

Esimerkkejä laaja-alaisten aiheiden käsittelyssä esiintyneistä vaikeuksista – ihmisoikeudet

EU on pyrkinyt entistä enemmän osoittamaan sitoutuneensa ihmisoikeuksien edistämiseen ja valtavirtaistamaan ihmisoikeudet ohjelmasuunnittelussa, myös alueellisissa strategia-asiakirjoissa, kahdenvälisissä toimintasuunnitelmissa ja aihekohtaisissa ohjelmissa. Ihmisoikeudet ja demokratia on vakiinnutettu toimintapoliittisten asiakirjojen perusperiaatteiksi. Tästä huolimatta on havaittavissa, että demokratiaa ja ihmisoikeuksia koskevan osion osuus vähenee edettäessä konkreettisemmille tasoille eli laajoista poliittisista lupauksista poliittisiin kehyksiin ja edelleen ohjelmasuunnitteluun, välineiden valintaan, rahoituksen kohdentamiseen ja hankkeiden valintaan. Osuuden väheneminen ilmenee useilla eri tavoilla, esimerkiksi: i) ei ole johdonmukaista strategiaa, jonka avulla ongelmia voitaisiin käsitellä konkreettisin toimin, ii) muilla temaattisesti tärkeillä aloilla asiaan liittyviä demokratiaa ja ihmisoikeuksia koskevia näkökohtia varten on vain vähän rahoitusta, iii) ihmisoikeuksiin liittyvä työ rajoitetaan usein temaattisiin välineisiin.⁴⁹

Asiakirjatarkastus, joka koskee kuutta konkreettista aluetta, joilla Euroopan komissio pyrkii valtavirtaistamaan ihmisoikeuksien edistämisen, osoittaa, että ihmisoikeuksia koskevan osion osuus vähenee edettäessä konkreettisemmille tasoille. Tilannetta pahentaa se, ettei valtavirtaistamisen edistymisen seurantaa ja arviointia varten ole edes perusjärjestelmiä. Osuuden väheneminen liittyy kumppanimaiden poliittisen vastustuksen lisäksi merkittäviin EU:n sisäisiin heikkouksiin, kuten vähäiseen poliittiseen painoarvoon sekä ihmisoikeuksien asemaa ja merkitystä EU:n ulkoisten toimien yhteydessä koskevaan epäjohdonmukaiseen päätöksentekoon. Tiedotusvälineet ja kansalaisyhteiskunta ovat esittäneet huomattavasti näyttöä EU:n vaikeuksista sovittaa yhteen arvonsa ja etunsa ja arvostelleet EU:ta asiasta. Arabikevät havahdutti huomaamaan, että vakauden ihmisoikeuksien edelle asettavalla lähestymistavalla on rajansa, ja saattaa avata näkymiä sille, että ihmisoikeuksien valtavirtaistamiseen suhtaudutaan entistä vakavammin.⁵⁰

4.4. Kehitysyhteistyökumppanien välineiden ja kehysten yhdenmukaistaminen

4.4.1. Kumppanimaiden tuloskehyksiin mukautuminen

51

Kansainvälisillä korkean tason foorumeilla sovittujen periaatteiden mukaisesti avunantajien, myös EU:n, olisi käytettävä mahdollisimman paljon kumppanimaiden tulosperusteisen raportoinnin ja seurannan kehyksiä (ks. osa 2.1.2). Avunantajien olisi erityisesti käytettävä mahdollisimman vähän muita kehyksiä, eivätkä avunantajat saisi pyytää ottamaan käyttöön tulosindikaattoreita, jotka eivät ole maiden kansallisten kehitysstrategioiden mukaisia⁵¹.

52

Komission aiemmissa arviointikertomuksissa on kuitenkin todettu avunantajien ja kumppanimaiden kehysten väliseen yhdenmukaisuuteen liittyviä ongelmia (ks. laatikko 12).

53

Kun kumppanimailla on useiden eri avunantajien asettamia monia erityyppisiä ja -tasoisia raportointivelvoitteita ja maksuehtoja, nämä voivat muodostua maille hallitsemattomaksi taakaksi, joka on haitaksi sekä avun tehokkuudelle että tuloksellisuudelle.

Laatikko 12

Esimerkki puutteellisesta kumppanimaan tuloskehykseen mukautumisesta

Suoritusten arviointikehyksestä (Performance Assessment Framework, PAF), joka oli kaikkea muuta kuin valtion johtama, aidosti yhdenmukaistettu kehys, oli tullut kaikkien kehitysyhteistyökumppanien omien mieltymysten ja vaatimusten summa. Valtio menetti tosiasiallisen vastuunsa, ja suoritusten arviointikehyksen mukaisesta arviointiprosessista tuli lähestulkoon pelkkä pakollinen prosessi, jota oli noudatettava, jotta budjettituen maksut jatkuisivat. Samaan aikaan kuin sitoutuminen ja osallistuminen vähenivät, vuotuiseen arviointiprosessiin ja siihen liittyvään poliittiseen vuoropuheluun liittyvät transaktiokustannukset kasvoivat merkittävästi. Tämä oli kaikkien asianomaisten haastateltujen sidosryhmien edustajien esittämä yksimielinen käsitys. Selvimmin asia ilmeni arviointikehykseen sisältyvien indikaattoreiden määrän vakaana kasvuna.⁵²

4.4.2. Kehitysyhteistyön sidosryhmien välineiden yhdenmukaistaminen

54

Tilintarkastustuomioistuimen aiemmissa erityiskertomuksissa on tuotu esiin ongelmia, jotka liittyvät kehitysyhteistyökumppanien käyttämien välineiden puutteelliseen yhdenmukaistamiseen (ks. laatikko 13).

55

Se, ettei kehitysyhteistyökumppanien käyttämiä välineitä yhdenmukaisteta, voi heikentää tulosten seurannan ja raportoinnin vaikuttavuutta ja tehokkuutta.

Laatikko 13

Esimerkkejä kehitysyhteistyökumppanien käyttämien välineiden puutteelliseen yhdenmukaistamiseen liittyvistä ongelmista

”Yhdistyneiden kansakuntien kehitysohjelmassa (UNDP) on arvioitu, että ilmastonmuutosrahoitusta tarjoaa yli 50 kansainvälistä julkista rahastoa, 45 hiilimarkkinaa ja 6 000 yksityistä pääomasijoitusrahastoa, joilla kullakin on oma hallintorakenteensa. Kuten Maailmanpankki pani merkille, tämän tapainen hajaantuneisuus uhkaa vähentää ilmastorahoituksen kokonaisvaikuttavuutta. Komissio ja jäsenvaltiot käyttävät ilmastorahoituksen jakamiseen sekä kahdenvälisiä että monenvälisiä kanavia. Vuonna 2010 ne käyttivät ainakin 22:ta monenvälistä kanavaa.

(…) Ilmastorahastojen nopeaa lisääntymistä ei ole pyritty vähentämään, mikä tuo mukanaan seuraavat vakavat riskit: toiminta ei ole vaikuttavaa, tilivelvollisuus ei ole riittävää ja tuki on hajanaista (…).”⁵³

4.4.3. Eri tilivelvollisuusrakenteiden rinnastaminen

56

Osana EU:n kehitysyhteistyötoimia komissio siirtää talousarvion toteuttamistehtäviä välillisen hallinnoinnin mukaisesti kansainvälisille järjestöille⁵⁴. Näiden tehtävien osalta tilivelvollisuus riippuu asianomaisten kansainvälisten järjestöjen tilivelvollisuusrakenteista, kuten hallinnoinnista, tuloskehyksistä⁵⁵ ja ulkoisesta tarkastuksesta, sekä EU:n omista tarkastusta ja tilivelvollisuutta koskevista määräyksistä ja säännöksistä.

57

Tilintarkastustuomioistuin on aiemmissa tarkastuksissaan todennut, että välillisen hallinnoinnin mukaisesti kansainvälisten järjestöjen kanssa toteutettaviin tehtäviin liittyvien eri tilivelvollisuusrakenteiden rinnastaminen on aiheuttanut toisinaan tilivelvollisuuden puutteita (ks. laatikko 14).

Laatikko 14

Esimerkki erillisistä tilivelvollisuusrakenteista – Yhdistyneet kansakunnat

”Komissio varmistaa YK:ta edustavien kumppaneiden varainhoitojärjestelmät (nelikohtaisen analyysin avulla). Komissio luottaa kuitenkin siihen, että se saa YK:n kertomuksista vahvistuksen valvontajärjestelmien käytännön toiminnasta ja tulosten saavuttamisesta. Tarkastuksen ajankohtana komissio ei vielä ollut onnistunut saamaan YK:lta riittävästi tietoa tältä osin.”⁵⁶

”(…) komissio ei saa YK:n kertomuksista riittävästi oikea-aikaista tietoa. Huomattava osa kertomuksista saadaan yhä myöhässä, ne eivät ole riittävän yksityiskohtaisia ja niissä keskitytään toimintaan tulosten sijasta.”⁵⁷

4.5. Arvioinnin ja tulosten raportoinnin puutteet

58

Tulosten seurantaa, arviointia ja tarkastusta koskevissa määräyksissä ja säännöksissä käytetään arvioinnille ja raportoinnille kahdenlaista ajoitusta:

a)jaksottainen ajoitus: esimerkiksi Euroopan unionin toiminnasta tehdyn sopimuksen 318 artiklassa määrätään, että komissio esittää vuosittain Euroopan parlamentille ja neuvostolle unionin varoja koskevan arviointikertomuksen, joka perustuu erityisesti Euroopan parlamentin ja neuvoston vuotuisen vastuuvapausmenettelyn yhteydessä antamien huomautusten perusteella toteutetuista toimista saavutettuihin tuloksiin.

b)toimeen perustuva ajoitus: esimerkiksi varainhoitoasetuksen soveltamissäännöistä annetun asetuksen 18 artiklan 3 kohdassa säädetään, että kaikkien sellaisten monivuotisten ohjelmien tuloksia, joihin osoitetut varat ylittävät 5 000 000 euroa, on arvioitava säännöllisesti sellaisen aikataulun mukaan, että arviointitulokset voidaan ottaa huomioon, kun tehdään päätöstä ohjelman jatkamisesta, muuttamisesta tai keskeyttämisestä.

59

Tilintarkastustuomioistuin on todennut aiemmissa tarkastuskertomuksissaan, että joissakin tapauksissa hankkeiden tai ohjelman tuloksien saavuttamista ei voitu arvioida ennen hankkeiden tai ohjelman päättymistä, mikä heikensi tulosten saavuttamisen jaksottaista arviointia (ks. laatikko 15).

60

Lisäksi tilintarkastustuomioistuin on havainnut puutteita arviointien oikea-aikaisessa toteuttamisessa: strategisiin arviointeihin kului usein suunniteltua paljon enemmän aikaa ja toisinaan arviointeja lykättiin tai ne peruttiin⁵⁸. Myös komission hiljattain teettämässä tutkimuksessa todettiin merkittäviä katkoksia arviointien sekä politiikan määrittelyn, ohjelmasuunnittelun, seurannan ja tulosjohtamisen välisissä yhteyksissä. Erityisesti tutkimuksessa havaittiin, että hyödyntämismahdollisuuksia oli menetetty. Aiemmin saatuja kokemuksia ei otettu huomioon, koska arvioinnin tuloksia ei ollut synkronoitu hallinnointia koskevan päätöksentekoprosessin kanssa tai koska toimintaympäristö oli muuttunut siihen mennessä, kun tulokset olivat käytettävissä⁵⁹.

61

Tulosten raportoinnin ja arvioinnin ajoitukseen liittyvät puutteet voivat estää asiaan liittyvän tietämyksen ja saatujen kokemusten siirtymisen palautteena raportointi- ja päätöksentekoprosesseihin.

Kaavio 4

Toimen sykli

Laatikko 15

Esimerkki tuloksista, jotka voitiin arvioida vasta toimen päätyttyä

”Tilintarkastustuomioistuin poimi 19 hanketta sisältävän otoksen ja tutki sen osalta vaikuttavuutta vertaamalla avustussopimuksessa asetettuja tavoitteita tosiasiallisiin saavutuksiin. (…) Seuraavissa tapauksissa tuloksia ei voitu arvioida riittämättömien tietojen vuoksi: (…) Eräs tärkeä hanke koski rahastoa, jota varten tehdyssä avustussopimuksessa mainitut tavoitteet liittyivät koko rahastoon ja olivat siksi melko yleisluonteisia. Toteutettavien hankkeiden tavoitteet oli määritelty tarkemmin, mutta niiden ja avustussopimukseen sisältyvien yleisten tavoitteiden välillä ei voi olla selvää yhteyttä. Tästä syystä vaikuttavuus voidaan arvioida vasta, kun rahasto lopetetaan, mitä ei ollut tehty vielä tarkastuksen ajankohtana.”⁶⁰

4.6. Tietojen konsolidointi ja raportointi

62

Jotta EU:n kehitysyhteistyötoiminnalla saavutetut tulokset voidaan osoittaa, EU:n kehitystoimilla saavutetuista tuloksista on kerättävä tietoja ja tiedot on konsolidoitava tietojärjestelmien avulla ja esitettävä ja levitettävä asianmukaisten raportointikanavien avulla.

63

Tilintarkastustuomioistuin on kuitenkin aiemmissa tarkastuskertomuksissaan pannut merkille ongelmia, jotka liittyvät EuropeAidin tietojärjestelmien valmiuksiin kerätä tuloksiin liittyviä tietoja (ks. laatikko 16). Myös komissio huomautti vuonna 2014, että tiedonkeruujärjestelmiä ja -välineitä on järkeistettävä ja kehitettävä edelleen, jotta EU pystyy raportoimaan tuloksista⁶¹.

64

EU:n kehitysyhteistyötoimia koskevia tietoja käytetään perustana useille erilaisille kertomuksille ja raporteille, joista tärkeimpiä ovat seuraavat:

a)komission tilinpäätös sekä selvitys talousarvio- ja varainhallinnosta⁶²

b)EuropeAidin vuotuinen toimintakertomus ja komission yhteenvetokertomus⁶³

c)vuosittainen raportointi OECD:n kehitysapukomitealle (DAC) sen ohjeiden mukaisesti⁶⁴

d)kansainvälisen avun läpinäkyvyyttä koskevan aloitteen (IATI) tietorekisteritoimistoon kuukausittain aloitteen vaatimusten mukaisesti toimitettavat tiedot⁶⁵

e)komission vuotuinen kertomus saavutettuihin tuloksiin perustuvasta unionin varoja koskevasta arvioinnista⁶⁶

f)Euroopan unionin kehitysavun ja ulkoisen avun politiikkoja ja niiden toteuttamista koskeva vuotuinen kertomus

g)säännölliset päivitykset komission ”EU Aid Explorer” -verkkosivustoa varten⁶⁷.

65

Tällä hetkellä useimmissa näistä kertomuksista ja raporteista keskitytään toimiin, kun taas missään niistä ei esitetä konsolidoituja tietoja toimilla kaiken kaikkiaan saavutetuista tuloksista⁶⁸. EU:n kehitysavulla saavutettuja tuloksia koskevien konsolidoitujen selvitysten ja yleiskatsauksen puuttuminen voi heikentää päätöksentekoa ja tilivelvollisuutta.

Laatikko 16

Esimerkki EuropAidin tietojärjestelmän puutteista

”Pääasiallinen raportointiväline, jota komissio käyttää edustustojen ja EuropeAidin välillä tapahtuvaan raportointiin, on unionin ulkopuolelle suunnattavaa tukea koskeva seurantakertomus (…). Raporteissa kuitenkin käydään laaja-alaisesti läpi toteutetut toimet ja täytäntöönpanossa ilmenneet ongelmat. Annettavat tiedot ovat kuitenkin osittain päällekkäisiä CRIS-järjestelmästä saatavien tietojen kanssa. Raporteissa ei juurikaan eritellä tuen avulla saavutettuja varsinaisia tuloksia esimerkiksi edustuston suorittaman oman arvioinnin perusteella tai raportoimalla tukitoimenpiteiden päättymisen jälkeen suoritettujen arviointien tuloksista. (…)”⁶⁹

”(…) CRIS-järjestelmän avulla ei voida laskea helposti kokonaismäärää, joka on käytetty tietyn toimintapolitiikan alaan taikka rahoitettu tietyn rahoitusvälineen avulla. Itse asiassa aloja koskevassa luettelossa, jonka avulla useista eri CRIS-moduuleista peräisin olevat tietueet yhdistetään tiettyyn alaan, käytetään sekä maantieteellisiä alueita (esimerkiksi Aasia) että rahoitusvälineitä (…) ja aihekohtaisia politiikkoja (esimerkiksi elintarviketurva).

Mainitun tilanteen seurauksena CRIS-järjestelmään raportointitarkoituksessa kirjattujen tietojen – etenkin taloudellisten tietojen – konsolidointi vaikeutuu huomattavasti. Tilanne vaikuttaa kielteisesti CRIS-järjestelmän tehokkuuteen ja vaikuttavuuteen raportointi- ja hallinnointivälineenä.”⁷⁰

4.7. Tietojen laatu

66

Tulosten seuranta ja arviointi edellyttää riittävien, asiaan kuuluvien, luotettavien ja ajantasaisten tietojen keruuta. Avun tuloksellisuutta käsittelevillä korkean tason foorumeilla (ks. osa 2.1.2) annettujen sitoumusten mukaisesti tietojenkeruun olisi perustuttava mahdollisimman paljon kumppanimaiden omiin tulosperusteisen raportoinnin ja seurannan kehyksiin.

67

Tilintarkastustuomioistuimen aiemmissa tarkastuksissa ja komission arvioinneissa on kuitenkin toisinaan havaittu, että tietolähteet eivät tarjonneet riittäviä, luotettavia ja oikea-aikaisia tietoja tuloksista (ks. laatikko 17). Tietojenkeruu – varsinkin väestönlaskenta – on joskus kallista, minkä vuoksi kumppanimaat eivät tee sitä usein.

68

Riittävien, asiaan kuuluvien, luotettavien ja ajantasaisten tietojen puuttuminen voi heikentää raportoitujen tulosten laatua ja luotettavuutta merkittävästi.

Laatikko 17

Esimerkkejä puutteellisesta tietojen laadusta

”Komission käyttämissä indikaattoreissa keskitytään yleisesti vuosituhattavoitteisiin asianmukaisella tavalla, vaikka koulutuksen laatua mittaaviin indikaattoreihin ei olekaan kiinnitetty tarpeeksi huomiota. Komission käyttämät kansalliset koulutuksen hallinnoinnin tietojärjestelmät eivät kuitenkaan tarjoa aina riittäviä, luotettavia ja oikea-aikaisia tietoja.”⁷¹

4.8. Talousarvion toteutuma

69

Aiempina vuosina on ollut paineita lisätä EU:n kehitysyhteistyöhön osoitettuja varoja, erityisesti osana sitoumusta saavuttaa kansainvälisesti sovittu julkista kehitysapua koskeva tavoite, jonka mukaan kehitysavun osuuden bruttokansantulosta olisi oltava 0,7 prosenttia vuoteen 2015 mennessä⁷².

70

Euroopan unionin toiminnasta tehdyn sopimuksen 317 artiklassa määrätään, että komission on toteutettava talousarviota varainhoitoasetuksia noudattaen ja moitteettoman varainhoidon periaatteiden mukaisesti. Varainhoitoasetuksen 38 artiklan 3 kohdassa säädetään, että komission on liitettävä vuotuiseen talousarvioesitykseen muun muassa tiedot edellisen vuoden toimien toteuttamisasteesta ja kuluvan vuoden toteuttamisasteesta.

71

Talousarvion toteutumaa voidaan pitää tavoitteena sinänsä, ja toteutuma esitetään toisinaan tavoitteena komission hallintosuunnitelmissa (ks. laatikko 18).

72

Edellä esitetystä syystä voi syntyä jännitteitä sen välille, että talousarvio on toteutettava, ja sen välille, että talousarvio on toteutettava moitteettoman varainhoidon periaatteiden (vaikuttavuus, tehokkuus ja taloudellisuus) mukaisesti⁷³. Ovathan talousarvion toteuttamiseen liittyvät saavutukset ja epäonnistumiset välittömämmin havaittavissa kuin tuloksellisuuteen liittyvät saavutukset (tulokset). Tämän vuoksi voi olla luonnollista pyrkiä keskittymään talousarvion toteuttamiseen tuloksiin keskittymisen kustannuksella, kuten tilintarkastustuomioistuin totesi talousarvion toteuttamista koskevassa vuosikertomuksessaan varainhoitovuodelta 2013: ”Ohjelmakaudella 2007–2013 EU-varojen käytön painopisteenä oli hyvän tuloksellisuuden sijasta pikemminkin sääntöjen noudattaminen ja se, että varat saadaan käytettyä”⁷⁴.

73

Keskittyminen talousarvion toteutumaan tavoitteena voi olla haitallista moitteettoman varainhoidon ja tulosten saavuttamisen kannalta.

Laatikko 18

Esimerkki talousarvion toteuttamista koskevasta tavoitteesta

Vuotta 2014 koskevassa EuropeAidin hallintosuunnitelmassa asetetaan Euroopan kehitysrahastolle (EKR) seuraava Afrikkaa koskeva tavoite⁷⁵: talousarvion toteuttamisen asteet – pidetään talousarvion toteuttamisen asteet korkeina, mukaan lukien budjettitukimaksut.

Lisäksi EuropeAidin hallintosuunnitelma käsittää muita ulkoisen toiminnan rahoitusvälineitä kuin EKR:ää varten moitteetonta varainhoitoa ja komission varojen vaikuttavaa käyttöä koskevan liitteen, jossa määritellään talousarvion toteuttamiselle useita indikaattoreita ja tavoitteita:

| Indikaattori | Tavoite (2014)
1 | Alkuperäisen vuotuisen rahoitusennusteen toteuttaminen: maksut | 90–110 %
2 | Sopimuksia koskevan vuotuisen rahoitusennusteen toteuttaminen | 90–110 %
3 | Päätöksiä koskevan vuotuisen rahoitusennusteen toteuttaminen | 90–110 %

4.9. EU:n toimien toimintaympäristön muutokset

4.9.1. Riskinhallinta ja avun toimitustavan valinta

74

EU:n kehitysyhteistyötoimia toteutetaan lukuisissa maissa, joiden kehittyneisyyden taso on vaihteleva ja joista monille on tyypillistä vaikea sosiaalinen, poliittinen tai humanitaarinen tilanne taikka jopa epävakaa turvallisuustilanne. Toimen tavoitteiden saavuttamiseksi käytettävän avun toimitustavan valinnan olisi perustuttava järjestelyn odotettuun kykyyn tuottaa tuloksia vaikuttavasti ja tehokkaasti toimen toimintaympäristössä. Joissakin tapauksissa sellaisen toimitustavan valitsemista, johon saattaa näyttää liittyvän suurempia riskejä kuin muihin vaihtoehtoihin, saatetaan joskus perustella sillä odotuksella, että järjestelyllä saadaan parempia tuloksia tai tuloksia saadaan nopeammin.

75

Budjettituki kuvaa tätä tilannetta hyvin. Vaikka budjettitukea voidaan pitää keinona antaa suuri määrä apua ennakoitavammalla tavalla kuin tavanomaisissa hankkeissa, budjettitukea annetaan usein maille, joiden julkisen varainhoidon järjestelmä on heikko. Kun otetaan huomioon, että budjettitukitoimien avulla siirretyt varat yhdistetään muihin talousarviovaroihin kyseisen maan talousarviossa (tätä kutsutaan ”fungibiliteetiksi”), myös siirretyt varat ovat alttiina samoille julkisen varainhoidon puutteille, kuten petos- ja korruptioriskeille.⁷⁶ Lisäksi budjettituen avulla saavutetut tulokset ja niiden kestävyys voivat vaarantua, jos kumppanimaan poliittinen tilanne on epävakaa eikä esimerkiksi ole otettu huomioon hyvää hallintotapaa, merkittäviä taloudellisia ja sosiaalisia kysymyksiä tai ihmisoikeuksia. Päätös EU:n budjettituen myöntämisestä olisi siksi tehtävä tapauskohtaisesti, ja päätöksen tueksi olisi laadittava arvio odotetuista hyödyistä ja mahdollisista riskeistä⁷⁷.

76

Aiemmissa tarkastuskertomuksissaan tilintarkastustuomioistuin on toisinaan pannut merkille, ettei avun toimitustavan valintaa ole edeltänyt odotettuihin etuihin liittyvien riskien asianmukainen analyysi (ks. laatikko 19).

77

Jos valittujen toimitustapojen odotettuja etuja ja mahdollisia haittoja ei vertailla, voidaan valita väärä avun toimitustapa tai altistaa EU:n talousarvio kohtuuttoman suurille riskeille.

Laatikko 19

Esimerkki valittuun toimitustapaan kohdistuvan riskianalyysin puuttumisesta

”(…) se [komissio] ei osoita vakuuttavasti, että se on ennen päätöstään toimia yhteistyössä YK:n järjestön kanssa arvioinut, ovatko edut suuremmat kuin mahdolliset haitat. YK:n järjestön valitseminen ei perustu riittävään näyttöön siitä, että kyseinen lähestymistapa on tehokkaampi ja vaikuttavampi kuin muut tavat toimittaa apua.”⁷⁸

4.9.2. Ulkoiset tekijät

78

Useimmat EU:n kehitysyhteistyötoimet on suunniteltu tuottamaan tuloksia usean vuoden ajan. Tänä aikana voi tapahtua merkittäviä muutoksia tai esiintyä epävakautta

a)kumppanimaan poliittisessa tai taloudellisessa tilanteessa – näin tapahtui esimerkiksi Egyptissä⁷⁹, Kongon demokraattisessa tasavallassa⁸⁰ ja Palestiinassa⁸¹ – tai hankkeessa (ks. laatikko 20)

b)kehitysyhteistyön toimintaympäristössä luonnonkatastrofien vuoksi, kuten Haitissa tammikuussa 2010, kun pääkaupunkiin ja sen lähialueille iski maanjäristys, jonka voimakkuus oli 7,0 Richterin asteikolla⁸² tai

c)EU:n avun hallinnointi- ja valvontajärjestelmissä (ks. laatikko 21).

79

Tällaiset EU:n kehitysaputoimien toimintaympäristön muutokset voivat vaikeuttaa johdonmukaista ja mielekästä tulosten seurantaa ja raportointia.

Laatikko 20

Esimerkki hankkeen epävakaasta taloudellisesta toimintaympäristöstä

Komissio rahoitti Kambodžassa hanketta, jolla pyrittiin edistämään energiaa jätteistä tuottavaa teknologiaa riisin käsittelyn alalla. Viime vuosina Kambodžassa on kuitenkin tehty merkittäviä investointeja entistä suurempiin ja tehokkaampiin riisin käsittelylaitoksiin, minkä vuoksi kapasiteetti on nelinkertaistunut vuosien 2009 ja 2013 välisenä aikana⁸³. Nyt useimpien riisin käsittelijöiden odotetaan tarvitsevan voimakkaampia ja paljon kalliimpia järjestelmiä kuin hankkeella oli alun perin tarkoitus tukea. Tästä syystä hankkeen alkuperäiset tavoitteet ovat menettäneet merkitystään, eikä niitä todennäköisesti saavuteta alkuperäisten suunnitelmien mukaisesti.

Laatikko 21

Esimerkki hallinnointi- ja valvontajärjestelmien muutoksista

Komission Ukrainan tukiryhmä ja naapuruuspolitiikan osasto siirrettiin 1. tammikuuta 2015 EuropeAidistä naapuruuspolitiikan ja laajentumisneuvottelujen pääosastoon (entinen laajentumisasioiden pääosasto)⁸⁴. Tämä vaikuttaa sekä EuropeAidin tuloskehyksen maantieteelliseen soveltamisalaan että naapuruuspolitiikan tulosten seuranta- ja raportointitapaan.

21Asetus (EU) N:o 236/2014.

22Ks. esimerkiksi EuropeAidin vuoden 2014 hallintosuunnitelman osassa 4.1.4 kuvailtava kehitysyhteistyövälineen (DCI) toimintalogiikka.

23Euroopan komissio – Budget circular for 2014 – Standing instructions, 14.12.2012.

24Budget Support Guidelines – Programming, Design and Management – A modern approach to Budget Support, syyskuu 2012.

25EUVL L 77, 15.3.2014.

26Looginen viitekehys on asiakirja, jossa esitetään yleiskatsaus hankkeen tavoitteista, toiminnoista ja resursseista. Asiakirjassa esitetään tavallisesti myös pääpiirteittäin olennaiset olettamukset, joihin hanke perustuu, ja annetaan tietoja siitä, miten hanketta aiotaan seurata, esimerkiksi indikaattoreita käyttämällä.

27Erityiskertomus nro 13/2013 ”EU:n kehitysapu Keski-Aasialle”, kohta 79 (http://eca.europa.eu).

28Huhtikuussa 2014 Euroopan parlamentti kehotti hyväksymään erityiset, mitattavissa ja saavutettavissa olevat, asiaan kuuluvat ja ajallisesti määrätyt vertailuarvot kaikille kauden 2014–2020 monivuotisen rahoituskehyksen otsakkeen 4 (”Globaali Eurooppa”) ohjelmille. Ks. Euroopan parlamentin päätös 3. huhtikuuta 2014 vastuuvapauden myöntämisestä Euroopan unionin yleisen talousarvion toteuttamisesta varainhoitovuonna 2012, pääluokka III – Komissio ja toimeenpanovirastot – viite P7_TA-PROV(2014)0287.

29Erityiskertomus nro 13/2012 ”Saharan eteläpuolisten maiden juomavesihuoltoa ja perussanitaatiota koskeva Euroopan unionin kehitysapu”, kohta 50 (http://eca.europa.eu).

30Erityiskertomus nro 1/2012 ”Saharan eteläpuolisen Afrikan elintarviketurvaa koskevan Euroopan unionin kehitysavun vaikuttavuus”, kohta 52 (http://eca.europa.eu).

31Erityiskertomus nro 14/2013 ”Euroopan unionin suora rahoitustuki palestiinalaishallinnolle”, kohta 31 (http://eca.europa.eu).

32Erityiskertomus nro 13/2013, kohta 52.

33Erityiskertomus nro 13/2013, kohta 57.

34Erityiskertomus nro 4/2013 ”Hallintotapaan liittyvä yhteistyö EU:n ja Egyptin välillä”, kohdat 39 ja 41 (http://eca.europa.eu).

35Study on Legal Instruments and Lessons Learned from the Evaluations Managed by the Joint Evaluation Unit – Final Report – Volume 1: Final Summary Report, heinäkuu 2011, s. vi, jossa todetaan, että selkeiden loogisten ketjujen muotoileminen asetuksissa on keskeistä. Tätä voidaan edistää välttämällä jäsentelemättömiä toimintojen luetteloita sekä toimintojen, tuotosten ja niiden odotettujen vaikutusten välisiä epäselviä yhteyksiä. Ketjun kunkin vaiheen välillä olisi oltava selkeä ja looginen suhde, jotta voidaan välttää aukot logiikassa sekä ’orvot’ tuotokset tai vaikutukset. – viite kansainvälisen yhteistyön ja kehitysasioiden pääosaston arviointi 1292.

36Yksityiskohtainen kuvaus tulosketjusta esitetään Yhdistyneiden Kansakuntien kehitysryhmän julkaisemassa tulosjohtamisen käsikirjassa ”Results-based Management Handbook”, lokakuu 2011, s. 14.

37Study on the uptake of learning from EuropeAid’s strategic evaluations into development policy and practice – Final report, kesäkuu 2014, s. vii.

38Komission ”Budget Support Guidelines – Executive Guide – A modern approach to Budget Support”, syyskuu 2012.

39Ks. neuvoston päätelmät EU:n yhteisestä kannasta kehitysavun tuloksellisuutta käsittelevää neljättä korkean tason foorumia varten (HLF-4, Busan, 29. marraskuuta–1. joulukuuta 2011) – Ulkoasiainneuvoston (kehitysasiat) 3124. istunto, Bryssel, 14.11.2011: ”EU kehottaa kumppanimaita ja kehitysyhteistyökumppaneita painottamaan enemmän yhdenmukaisia ja tulosperusteisia ehtoja.”

40Thematic evaluation of the European Commission support to the health sector – Final report – Volume 1, elokuu 2012, s. xiv.

41Evaluation of the European Union’s Support to two European Neighbourhood Policy Regions (East and South) – Final report – Volume 1, kesäkuu 2013, s. 24.

42Erityiskertomus nro 1/2012, kohta 53.

43Erityiskertomus nro 9/2013 ”Kongon demokraattisen tasavallan hallintotavan parantamiseen tarkoitettu EU:n tuki”, kohta 65 (http://eca.europa.eu).

44Erityiskertomus nro 17/2012 ”Euroopan kehitysrahaston (EKR) tuki kestävän tieverkoston kehittämiseen Saharan eteläpuolisessa Afrikassa”, kohta 27 (http://eca.europa.eu).

45OECD – DAC Network on Development Evaluation – Evaluating Budget Support – Methodological Approach, s. 11. Ks. myös s. 12, jossa käsitellään budjettituen tuloksia ja todetaan, että tulokset ovat seurausta valtion kaikista toimista, strategioista ja menoista, asianomaisten sidosryhmien reaktioista tai vastauksista politiikan muutoksiin ja resurssien kohdentamista koskeviin päätöksiin sekä muiden ulkoisten tekijöiden vaikutuksesta. Annettu budjettituki vaikuttaa siten tuloksiin vain osittain. Annetun budjettituen ja tulosten välistä syysuhdetta laimentavat (voimakkaasti) siis muut vaikuttavat tekijät.

46Erityiskertomus nro 1/2012, kohta 57.

47Euroopan ulkosuhdehallinnon ja komission yhdessä antamat yhdennentoista Euroopan kehitysrahaston (EKR) ja kehitysyhteistyön rahoitusvälineen (DCI) ohjelmasuunnittelua koskevat ohjeet vuosiksi 2014–2020, ”Instructions for the programming of the 11th European Development Fund (EDF) and the Development Cooperation Instrument (DCI) – 2014-20”.

48Ks. myös esimerkiksi kehitysyhteistyön rahoitusvälineen perustamisesta annettu asetus (EU) N:o 233/2014, jossa säädetään seuraavaa: ”Eurooppalaisessa konsensuksessa määritellyt laaja-alaiset aiheet valtavirtaistetaan kaikissa ohjelmissa. Lisäksi konfliktinesto, ihmisarvoinen työ ja ilmastonmuutos valtavirtaistetaan tarpeen mukaan” (3 artikla.)

49Evaluation of the European Union’s Support to two European Neighbourhood Policy Regions (East and South) – Final report – Volume 1, kesäkuu 2013, s. 62.

50Thematic evaluation of the European Commission support to respect of Human Rights and Fundamental Freedoms (including solidarity with victims of repression) – Final Report – Volume 1, joulukuu 2011, s. 15.

51Tuloksellista kehitysyhteistyötä koskeva Busanin kumppanuus.

52Joint Evaluation of Budget Support to Tanzania: lessons learned and recommendations for the future – Final Report: Volume 1, 2013, kohdat 74-75.

53Erityiskertomus nro 17/2013 ”Unionin ulkopuolelle suunnatun tuen yhteydessä myönnetty EU:n ilmastorahoitus”, kohdat 57, 58 ja 68 (http://eca.europa.eu).

54Varainhoitoasetus, 58 artikla – Talousarvion toteuttamistavat.

55Ks. esimerkiksi Yhdistyneiden Kansakuntien kehitysryhmän tulosjohtamisen käsikirja ”Results-based Management Handbook”, YK:n väestörahaston yhdennetty tuloskehys ”Integrated results framework” tai Yhdistyneiden Kansakuntien kehitysohjelman käsikirja kehitystulosten suunnittelusta, seurannasta ja arvioinnista ”Handbook on Planning, Monitoring and Evaluating for Development Results”.

56Yleiskatsaus vuodelta 2014: ”Yleiskatsaus tilivelvollisuuteen ja julkiseen tarkastukseen EU:ssa: puutteita, päällekkäisyyksiä ja haasteita”, laatikko 1 (http://eca.europa.eu).

57Erityiskertomus nro 3/2011 ”Yhdistyneiden kansakuntien järjestöjen kautta konflikteista kärsiviin maihin ohjatun EU:n avun tehokkuus ja vaikuttavuus”, IV kohta (http://eca.europa.eu).

58Erityiskertomus nro 18/2014 ”EuropeAidin arviointijärjestelmä ja tulospainotteinen seurantajärjestelmä”, kohdat 27–29 (http://eca.europa.eu).

59Study on the uptake of learning from EuropeAid’s strategic evaluations into development policy and practice – Final report, kesäkuu 2014, s. vii.

60Erityiskertomus nro 3/2011, kohta 25 ja kohdan 27 alakohta b.

61SWD(2013) 530 final, s. 12.

62Varainhoitoasetus, erityisesti 141 ja 142 artikla

63Varainhoitoasetus, erityisesti 66 artiklan 9 kohta.

64”Converged statistical reporting directives for the creditor reporting system (CRS) and the annual DAC questionnaire” ja lisäykset – viite DCD/DAC(2013)15/FINAL, 11.6.2013.

65Kansainvälisen avun läpinäkyvyyttä koskevan aloitteen (International Aid Transparency Initiative) verkkosivusto (www.iatiregistry.org).

66Euroopan unionin toiminnasta tehdyn sopimuksen 318 artikla.

67http://tr-aid.jrc.ec.europa.eu

68Erityisesti todettakoon, että vuotuinen kertomus saavutettuihin tuloksiin perustuvasta unionin varoja koskevasta arvioinnista ei anna selkeää kuvaa siitä, kuinka hyvin unionin päätavoitteet on saavutettu. Ks. mietintö saavutettuihin tuloksiin perustuvasta unionin varoja koskevasta arvioinnista: uusi väline komission tehostettua vastuuvapausmenettelyä varten – A7-0068/2014, 30.1.2014.

69Erityiskertomus nro 1/2011 ”Onko unionin ulkopuolelle suunnattavan tuen hallinnoinnin hajauttaminen komissiolta edustustoille parantanut tuen toimittamista?”, kohta 59 (http://eca.europa.eu).

70Erityiskertomus nro 5/2012 ”Yhtenäinen hallintotietojärjestelmä (Common RELEX Information System, CRIS)”, kohdat 40 ja 41 (http://eca.europa.eu).

71Erityiskertomus nro 12/2010 ”EU:n kehitysapu perusopetukseen Saharan eteläpuolisessa Afrikassa ja Etelä-Aasiassa”, V kohta (http://eca.europa.eu).

72”Jäsenvaltiot sitoutuvat saavuttamaan vuoteen 2015 mennessä julkisen kehitysavun tavoitteen, joka on 0,7 prosenttia BKTL:sta, ja kyseisen tavoitteen saavuttaneet jäsenvaltiot sitoutuvat pysyttäytymään mainitun tavoitteen yläpuolella. Vuoden 2002 jälkeen EU:hun liittyneet jäsenvaltiot pyrkivät nostamaan julkisen kehitysavun määränsä vuoteen 2015 mennessä 0,33 prosenttiin BKTL:sta.” – ks. Brysselin Eurooppa-neuvosto, 16. ja 17. kesäkuuta 2005, puheenjohtajan päätelmät – viite 10255/1/05 REV 1, 27 kohta.

73DAC:n julkaisussa todetaan, että yksi ikuinen kysymys on, miten sovitetaan yhteen kehitysyhteistyön pitkäaikaisuus, joka edellyttää monivuotista suunnittelua, ja tavanomainen käytäntö myöntää kehitysavun määrärahoja vuodeksi kerrallaan. Monissa DAC:n jäsenmaissa julkisen talouden menettelyissä edellytetään, että tiettyä varainhoitovuotta varten myönnetyt varat on maksettava tai ainakin sidottava kyseisen vuoden aikana ja käytettävä pian sen jälkeen. Tämän vuoksi avusta vastaavilla on joissakin maissa huomattavia paineita sitoa ja maksaa varat nopeasti, mikä lisää kehitystoimien taloudellisten panosten liiallista painottamista toivottujen ja todellisten tulosten painottamisen sijaan. – Ks. OECD – kehitysapukomitea (DAC) – Managing aid: practices of DAC Member countries – viite DCD/DAC(2004)40.

74Euroopan tilintarkastustuomioistuimen vuosikertomus varainhoitovuodelta 2013, kohta 10.56 (EUVL C 398, 12.11.2014).

75Kehitys- ja yhteistyöpääosaston (EuropeAid) hallintosuunnitelma vuodeksi 2014.

76Euroopan tilintarkastustuomioistuimen vuosikertomus varainhoitovuodelta 2011, kohta 7.10 (EUVL C 344, 12.11.2012).

77KOM(2011) 638 lopullinen, 13.10.2011, ”Kolmansille maille annettavaa EU:n budjettitukea koskeva uusi lähestymistapa”.

78Erityiskertomus nro 15/2009, III kohta.

79Erityiskertomus nro 4/2013.

80Erityiskertomus nro 9/2013.

81Erityiskertomus nro 14/2013.

82Erityiskertomus nro 13/2014 ”EU:n antama kunnostusapu Haitin maanjäristyksen jälkeen” (http://eca.europa.eu).

83Maailmanpankin asiakirja Policy Note – Trade Development – Turning Cambodia into a leading rice exporter, syyskuu 2013.

84Komission keskiviikkona 5.11.2014 pitämän 2104. kokouksen pöytäkirja – PV(2014) 2104.

5. Johtopäätökset ja suositukset

5.1. Johtopäätökset

80

Tilintarkastustuomioistuin tunnisti arvioinnin perusteella yhdeksän keskeistä riskialaa, jotka liittyvät EU:n kehitysyhteistyön tulospainotteiseen lähestymistapaan.

a)Tuloksiin liittyvän terminologian epäjohdonmukainen käyttö tai se, ettei toimien, tuotosten, tulosten ja vaikutusten välille ole luotu selkeää loogista ketjua, voivat aiheuttaa sekaannusta ja vaikeuttaa saavutusten arviointia (osat 4.1 ja 4.2).

b)Monimutkaistuminen, joka johtuu laaja-alaisten aiheiden sisällyttämisestä EU:n ohjelmiin, aiheuttaa tulosten saavuttamiseen ja raportointiin kohdistuvan lisäriskin (osa 4.3).

c)Se, ettei kehitysyhteistyökumppaneiden avuntoimitusvälineitä, tuloskehyksiä ja tilivelvollisuusrakenteita ole yhdenmukaistettu, voi aiheuttaa tehottomuutta ja tilivelvollisuuden puutteita (osa 4.4).

d)Arviointiin ja tulosten raportointiin liittyvät puutteet voivat estää asiaan liittyvän tietämyksen ja saatujen kokemusten siirtymisen palautteena raportointi- ja päätöksentekoprosesseihin (osa 4.5).

e)EU:n kehitysavulla saavutettuja tuloksia koskevien konsolidoitujen selvitysten tai yleiskatsauksen puuttuminen voi heikentää päätöksentekoa ja tilivelvollisuutta (osa 4.6).

f)Riittävien, asiaan kuuluvien, luotettavien ja ajantasaisten tietojen puuttuminen voi heikentää raportoitujen tulosten laatua ja luotettavuutta merkittävästi (osa 4.7).

g)Keskittyminen talousarvion toteutumaan tavoitteena voi olla haitallista moitteettoman varainhoidon ja tulosten saavuttamisen kannalta (osa 4.8).

h)Toimien toimintaympäristössä tapahtuvat muutokset voivat heikentää tulosten saavuttamista tai kestävyyttä ja vaikeuttaa saavutettujen tulosten arviointia (osa 4.9).

81

Tilintarkastustuomioistuimen arviointi osoitti, että komissio oli tunnistanut nämä riskialat asianmukaisesti monissa erilaisissa asiakirjoissa. Arvioinnissa kävi myös ilmi, että komission toteuttamista EU:n kehitysyhteistyön tuloskehyksen käynnistämiseen liittyvistä toimista ollaan kiinnostuneita.

82

Edellä esitetystä huolimatta on vielä tarpeen toteuttaa lisätoimia, jotta voidaan hyödyntää komission aloitteiden koko potentiaali EU:n kehitysyhteistyön tulosten parantamiseksi.

5.2. Suositukset

83

Tilintarkastustuomioistuin esittää tunnistettujen riskien lieventämiseksi seuraavat suositukset:

Suositus 1 –
Terminologian käyttöä sekä tavoitteiden ja indikaattoreiden muotoilua koskevien ohjeiden parantaminen

Komission olisi parannettava ohjeitaan, jotta se voi varmistaa tuloksiin (tuotoksiin, tuloksiin ja vaikutuksiin) liittyvän terminologian johdonmukaisen käytön sekä tarvittaessa toimiensa SMART-tavoitteiden ja selkeiden indikaattoreiden muotoilun kaikilla tasoilla.

Suositus 2 –
Selkeän yhteyden luominen toimien ja odotettujen tulosten välille

Komission olisi varmistettava sisäisten ohjeidensa, käytännön välineidensä, hankkeiden määrittelyn ja seurantaprosessien avulla, että luodaan selkeä yhteys toimien ja odotettujen tulosten välille, laaja-alaiset aiheet mukaan luettuina.

Suositus 3 –
Tulosten ja saatujen kokemusten raportointiin käytettävän järjestelmän parantaminen

Komission olisi parannettava tietojärjestelmäänsä, jotta sen avulla voidaan konsolidoida toimien tuloksia ja raportoida niistä. Lisäksi olisi toteutettava toimenpiteitä, joiden avulla komission arviointitoiminta pystyisi tunnistamaan saadut hyödylliset kokemukset kyseisten alojen myöhempää lainsäädäntöä ja ohjelmien tai toimien suunnittelua varten.

Suositus 4 –
Tietojen saatavuuden ja laadun varmistaminen

Komission olisi kaikkien toimiensa yhteydessä arvioitava tietojen saatavuutta ja laatua ja pyrittävä saamaan saavutetuista tuloksista riittäviä, asiaan kuuluvia, luotettavia ja ajantasaisia tietoja. Tämä olisi otettava huomioon komission järjestelmissä ja ohjeissa.

Suositus 5 –
Avun toimitustapaan liittyvien riskien arvioiminen ennen varojen sitomista

Komission olisi arvioitava valitsemaansa tiettyyn avun toimitustapaan liittyvät riskit ennen kuin se sitoo varoja sekä harkitessaan odotettuja tuloksia.

Tilintarkastustuomioistuimen III jaosto on tilintarkastustuomioistuimen jäsenen Karel PINXTENIN johdolla hyväksynyt tämän kertomuksen Luxemburgissa 17. marraskuuta 2015 pitämässään kokouksessa.

Tilintarkastustuomioistuimen puolesta

Vítor Manuel da SILVA CALDEIRA
presidentti

Liite

Annex

Kattava arviointikehys budjettituen arviointia varten

Lähde: OECD – DAC Network on Development Evaluation – Evaluating Budget Support – Methodological Approach.

Komission vastaus

Tiivistelmä

III

Tilintarkastustuomioistuimen arviointi on luonteeltaan sellainen, että arviointi sisältää esimerkkejä, jotka liittyvät toisinaan useita vuosia sitten toteutettuihin toimiin. Tämä koskee erityisesti budjettitukeen sekä monivuotisiin ohjelmasuunnitteluasiakirjoihin (strategia-asiakirjoihin tai maaohjelmiin) liittyviä esimerkkejä. Monia budjettitukeen liittyviä riskejä on torjuttu hyväksymällä tarkistetut budjettitukea koskevat suuntaviivat vuonna 2012 (ks. eri laatikoita koskevat jäljempänä annetut vastaukset). Monivuotisista ohjelmasuunnitteluasiakirjoista komissio huomauttaa, että se on sisällyttänyt järjestelmällisesti indikaattoreita kauden 2014–2020 ohjelma-asiakirjoihin.

1. Johdanto

07

Tuloskehys on yksi niistä välineistä, joilla raportoidaan tuloksista tuotosten ja välittömien tulosten tasoilla. Arvioinneilla saadaan arvioita tulosten eri tasojen muodostamasta loogisesta ketjusta ja niiden välisistä syy-yhteyksistä aina vaikutuksiin ja strategisten kehitystavoitteiden saavuttamiseen asti, olipa sitten kyse maakohtaisista tai maailmanlaajuisista toimista. Lisäksi on toteutettu useita aloitteita, joilla pyritään parantamaan koko seuranta- ja arviointijärjestelmää komission tulosperusteisen lähestymistavan parantamiseksi.

10

MORE-kehystä koskevassa komission yksiköiden valmisteluasiakirjassa kuvataan erilaiset nykyisin käytettävät monivuotisen rahoituskehyksen täytäntöönpanon seuranta-, arviointi- ja raportointikehykset. Tavoitteiden ja indikaattoreiden osalta asiakirjassa kuvataan, mitä on toteutettu kauden 2014–2020 rahoitusvälineiden perustamista koskevilla säädöksillä ja täydennetty vuosien 2014 ja 2015 talousarvioita koskevilla lausunnoilla, sekä vuotuisiin hallintosuunnitelmiin ja vuotuisiin toimintakertomuksiin sisältyvät seuranta-, arviointi- ja raportointivälineet. Ulkoisen avun välineiden osalta asiakirjassa viitataan myös uuteen tuloskehykseen yhtenä monivuotisen rahoituskehyksen toteuttamisen seuranta- ja raportointivälineenä.

3. Tilintarkastustuomioistuimen suorittama arviointi

22

Tilintarkastustuomioistuimen arviointi on luonteeltaan sellainen, että arviointi sisältää esimerkkejä, jotka liittyvät toisinaan useita vuosia sitten toteutettuihin toimiin. Tämä koskee erityisesti monivuotisiin ohjelmasuunnitteluasiakirjoihin (strategia-asiakirjoihin tai maaohjelmiin) sekä budjettitukeen liittyviä esimerkkejä. Monivuotisista ohjelmasuunnitteluasiakirjoista komissio huomauttaa, että se on sisällyttänyt järjestelmällisesti indikaattoreita kauden 2014–2020 ohjelma-asiakirjoihin. Monia budjettitukeen liittyviä riskejä on torjuttu hyväksymällä tarkistetut budjettitukea koskevat suuntaviivat vuonna 2012.

Komissio viittaa lisäksi kyseisissä tilintarkastustuomioistuimen erityiskertomuksissa antamiinsa vastauksiin ja tilintarkastustuomioistuimen huomautuksiin tässä kertomuksessa antamiinsa joitakin esimerkkejä koskeviin lisävastauksiin, joilla komissio haluaa korostaa yhtä tai useampaa näkökohtaa, joita se pitää merkityksellisempänä näihin huomautuksiin vastaamisen yhteydessä.

4. Keskeiset riskialat

26

Komissio tietää ja on samaa mieltä tilintarkastustuomioistuimen kanssa siitä, että on tarpeen varmistaa käytetyn terminologian johdonmukaisuus. Komission yksiköiden valmisteluasiakirjassa ”EU:n kansainvälisen kehitysyhteistyön tuloskehyksen käynnistäminen”, joka julkaistiin 26. maaliskuuta 2015, käytetään termejä ”panos”, ”tuotos”, ”tulos” ja ”vaikutus” (englanniksi input, output, outcome ja impact), jotka vastaavat kansainvälisesti käytettyä OECD:n kehitysapukomitean (DAC) tulosterminologiaa ja ovat myös kauden 2014–2020 rahoitusvälineissä käytetyn terminologian mukaisia. Samaa terminologiaa käytetään uudessa toimenpideasiakirjamallissa (jota on sovellettu 1. tammikuuta 2015 lähtien) ja uudessa tulosperusteisen seurantajärjestelmän (Results Oriented Monitoring, ROM) käsikirjassa (”Handbook on ROM reviews and support to end-of-project results reporting”, maaliskuu 2015).

Laatikko 1

EuropeAidin vuotuisessa hallintosuunnitelmassa noudatetaan samaa terminologiaa kuin komission pääsihteeristön ja budjettipääosaston antamissa yleisohjeissa, jotka koskevat komission pääosastojen ja yksiköiden hallintosuunnitelmien laatimista.

Laatikossa 1 esitettävän esimerkin mukainen riski liittyy edellisessä tulosperusteisen seurantajärjestelmän käsikirjassa käytettyyn terminologiaan. Käsikirjaa sovellettiin edelliseen, keväällä 2014 päättyneeseen tulosperusteiseen seurantajärjestelmään. Se on korvattu uudella tulosperusteisella seurantajärjestelmällä ja uudella käsikirjalla, joka otettiin käyttöön keväällä 2015 ja joka ei enää sisällä tällaista viittaussuhdetta. Uusi käsikirja on täysin kansainvälisen käytännön mukainen niin, että SMARTilla tarkoitetaan tavoitteita eikä indikaattoreita. Komissio muuttaa talousarviota koskevaa seuraavaa komission yleiskirjettä vastaavasti.

Lisäksi komissio aikoo tarkentaa käytettävää tavoitteisiin ja indikaattoreihin liittyvää kielenkäyttöä ja ohjeistusta talousarviota koskevan yleiskirjeen yhteydessä.

Komissio on samaa mieltä siitä, että tavoitteiden ja odotettujen tulosten olisi oltava mahdollisimman paljon SMART-periatteen mukaisia, mutta katsoo myös, että monissa tapauksissa tätä ei ole helppo toteuttaa. Näin on erityisesti tilanteissa, joissa odotettuja tuloksia voidaan kohtuudella mitata vain laadullisesti eikä niitä voida ilmaista määrällisesti, kuten esimerkiksi silloin, kun on kyse laaja-alaisten toimien tai rahoitusvälineiden tuloksista.

Yhteisissä tuloskehyksissä keskitytään luonnostaan määrällisiin tavoitteisiin, kuten komission yksiköiden valmisteluasiakirjassa ”EU:n kansainvälisen kehitysyhteistyön tuloskehyksen käynnistäminen” todetaan. EU:n kansainvälisen kehitysyhteistyön tuloskehyksessä indikaattorit on määritelty mahdollisuuksien mukaan RACER-kriteerien mukaisesti (”Relevant, Accepted, Credible, Easy, and Robust”), kuten tilintarkastustuomioistuimen mainitsemissa EUROSTATin indikaattoriohjeissa esitetään.

29

Komissio on yhtä mieltä siitä, että erilaisten asiakirjojen laaja kirjo, johon tilintarkastustuomioistuin viittaa, lisää epäjohdonmukaisuuksien riskiä. Asiakirjat hyväksytään politiikan määrittelyn sekä hankkeiden ja ohjelmien hallinnoinnin eri vaiheissa (mukaan lukien ohjelmasuunnittelu), mikä johtaa välttämättä mukautuksiin ja erityyppisiin painopisteisiin täytäntöönpanossa.

Komissio on toteuttanut toimenpiteitä tilintarkastustuomioistuimen mainitsemien riskien pienentämiseksi. Vuosien 2014–2020 ohjelmasuunnittelun aikana tarkasteltiin järjestelmällisesti maa-, alue- ja aihekohtaisia ohjelma-asiakirjoja sen varmistamiseksi, että odotetut tulokset ja indikaattorit ovat laadultaan asianmukaisia (eli mitattavissa olevia) ja että niitä on hallittavissa oleva määrä (ks. ohjelma-asiakirjat, jotka ovat saatavilla seuraavassa osoitteessa: http://eeas.europa.eu/around/index_en.htm).

Toimenpideasiakirjamallin (voimassa 1. tammikuuta 2015 lähtien) tarkistamisella ja parhaillaan meneillään olevalla siihen liittyvien sisäisen laatutukiryhmän asiakirjojen tarkistamisella pyritään varmistamaan, että odotetut tulokset ja indikaattorit sisällytetään asianmukaisesti toimenpideasiakirjoihin.

Lisäksi komission yksiköt parantavat parhaillaan seuranta- ja arviointijärjestelmää, myös lisäämällä siihen mukauttamisvaraa, jota saatetaan tarvita toimien täytäntöönpanon aikana, ja joustavuutta, jota tarvitaan maiden muuttuviin tilanteisiin ja politiikkoihin sopeutumiseksi tarvittavien mukautusten toteuttamiseen.

32

Komissio on toteuttanut ja toteuttaa parhaillaan toimenpiteitä tilintarkastustuomioistuimen mainitsemien riskien pienentämiseksi. Katso komission vastaus kohtaan 29.

Laatikko 4

Tilintarkastustuomioistuimen erityiskertomuksessa nro 14/2013 esittämän tulosindikaattoreiden kehittämistä koskevan suosituksen 2 mukaisesti komission on kehittänyt tulosperusteisen kehyksen, joka sisältää indikaattoreita palestiinalaishallinnon toteuttamien uudistusten edistymisen seurantaa varten.

Tulosperusteisesta kehyksestä, joka on kehitetty yhteistyössä Maailmanpankin ja EU:n jäsenvaltioiden kanssa osana paikallista kehittämisstrategiaa koskevaa EU:n toimintaa, sovittiin palestiinalaishallinnon kanssa 25. maaliskuuta 2015 allekirjoitetulla yhteisymmärryspöytäkirjalla. Pilottivaiheessa kehys kattaa seuraavat alat: makrotaloudelliset/finanssipoliittiset indikaattorit, julkinen varainhoito, julkishallinnon uudistaminen (mukaan lukien sellaisten virkamiesten uudelleensijoittumista koskevat toimenpiteet, jotka eivät voi työskennellä Gazassa), koulutus, terveydenhoito ja sosiaaliturva. Pilottivaihe arvioidaan vuoden 2015 lopussa–vuoden 2016 alussa, ja seuraavassa vaiheessa mukaan voidaan ottaa lisää aloja. Edellä esitetty osoittaa, että indikaattoreita on vahvistettu, mikä on ENPI-asetuksen mukaista.

Laatikko 5

Komissio katsoo, että kyseessä on esimerkki tilanteesta, jossa komission oli lopulta mukautettava käsitystään indikaattorista paikallisten erityisolosuhteiden mukaiseksi ja siksi hyväksyttävä indikaattorin tavoitearvon mukauttaminen. Esimerkki osoittaa, että on tärkeää olla jatkuvasti valppaana, jotta tällaiset tilanteet havaitaan, mutta esimerkki ei liity riskiin, jonka komissio voisi hallita muulla tavoin.

38

Institutionaaliset uudistukset ovat pitkiä ja vaikeita prosesseja, joissa kumppanimaan hallituksen auttaminen asteittaiseen edistykseen voi olla kestävämpää kuin hankkeen saattaminen nopeasti päätökseen. Ks. vastaus laatikkoon 6.

Laatikko 6

Komissio huomauttaa, että mainitut erät (kesäkuussa 2008, joulukuussa 2010 ja heinäkuussa 2011) on pääasiassa maksettu ennen budjettitukea koskevia uusia periaatteita, joilla otettiin käyttöön entistä paljon tiukempi tukikelpoisuusperusteiden arviointi, varsinkin julkista varainhoitoa koskeva peruste. Riskiä, jota tällä esimerkillä pyritään havainnollistamaan, pienennetään soveltamalla vuonna 2012 annettuja budjettituen suuntaviivoja ja on siis pienennetty niiden soveltamisen aloittamisesta lähtien.

Tilintarkastustuomioistuimen havaintojen perusteella antamassaan vastauksessa komissio huomautti myös seuraavaa: ”Talousarviotuen tukikelpoisuusperusteet, jotka edellyttävät uskottavuuteen ja onnistuneeseen täytäntöönpanoon perustuvaa kokonaisvaltaista toimintatapaa ja jotka ovat luonteeltaan yleisiä, on erotettava vaihtelevansuuruisiin maksueriin liittyvistä erityisehdoista, joiden on tietenkin oltava selkeitä ja tarkkoja… Avunantajien on tunnustettava, että uudistusten toteuttaminen on haastavaa, ja määritettävä tavoitteita, jotka ovat kohtuullisempia ja paremmin jäsenneltyjä. Esimerkiksi edistyminen julkistalouden hallinnoinnin uudistamisessa on ollut molemmissa talousarviotukea saavissa maissa, Kirgisiassa ja Egyptissä, odotettua hitaampaa. Julkistalouden hallinnoinnin uudistamista koskevat suunnitelmat, joiden alustava laatiminen on pääosin ollut ulkopuolisten avunantajien vastuulla, ovat todella olleet liian kunnianhimoisia, eikä niissä ole arvioitu oikein paikallisia valmiuksia niiden toteuttamiseen. Tilanteen korjaamiseksi julkistalouden hallinnoinnin uudistuksia ja toimintasuunnitelmia tarkistettiin niin, että ne olivat realistisempia. Lisäksi annettiin täydentävää teknistä apua.”

Näin ollen esimerkissä on pikemminkin kyse liian kunnianhimoisista tavoitteista. Lisäksi on syytä korostaa, että julkisen varainhoidon järjestelmän uudistaminen on pitkäaikainen prosessi. Yhden toimen kolmivuotisen kauden aikana voidaan havaita vain hyvin vähäisiä tuloksia.

Egyptiä koskeva esimerkki liittyy pikemminkin tilanteeseen, jossa ei ole kyse sen määrittelemisestä tavoitteeksi, että kumppanimaa sitoutuu toteuttamaan uudistuksia (ks. osan 4.1.4 otsikko), vaan vuonna 2012 annettujen budjettituen suuntaviivojen mukaisesti ilmaistuna ihmisoikeuksien kaltaisiin keskeisiin tekijöihin liittyvästä maksuehdosta.

Elokuussa 2013 ja helmikuussa 2014 hyväksyttyjen neuvoston päätelmien sekä tilintarkastustuomioistuimen antamien suositusten jälkeen komissio on keskittänyt apunsa sosioekonomisiin toimenpiteisiin ja kansalaisyhteiskunnan tukemiseen.

Egyptissä ei ole toteutettu uusia budjettitukitoimia sitten vuoden 2011, eikä budjettituen maksuja ole suoritettu millekään viidestä käynnissä olevasta budjettitukitoimesta sitten vuoden 2012.

Laatikko 7 – Toinen kappale

Malawia ja Ruandaa koskevat budjettitukitoimet toteutettiin ennen vuotta 2010 ja pääasiassa ennen budjettitukea koskevia uusia periaatteita, joilla otettiin käyttöön entistä paljon tiukempi lähestymistapa, jossa edellytetään EU:n rahoittaman toimen ja kansallisten toimien välisen yhteyden selventämistä.

Riskiä, jota tällä esimerkillä pyritään havainnollistamaan, pienennetään soveltamalla vuonna 2012 annettuja budjettituen suuntaviivoja, ja riskiä on siis pienennetty niiden soveltamisen aloittamisesta lähtien.

Laatikko 8

Toimet olivat kiireellisiä budjettitukitoimenpiteitä, joilla pyrittiin edistämään maan makrotalouden vakauttamista. Kokonaistavoitteena oli ylläpitää Kongon demokraattista tasavaltaa talous- ja ruokakriisin aikana, joten tuloksia on tarkasteltava ottaen tämä huomioon.

Julkistalouden hallinnoinnin uudistusohjelma, johon tilintarkastustuomioistuin viittaa, mainitaan todellakin rahoitussopimuksessa, ja uudistusohjelman laatiminen oli yksi edistymisen mittaamiseen käytetyistä välitavoitteista.

Myös kiinteisiin eriin sovelletaan tukikelpoisuusperusteita eli tuloksellisuuteen liittyviä ehtoja. Näin ollen maksuehdot oli nivelletty tavoitteisiin, myös julkistalouden hallinnoinnin parannuksiin.

46

EU:n vaikutus maan kehitystuloksiin raportoidaan tuettuina maan tuloksina, joten on siis valittu myötävaikutusta edustava lähestymistapa (ks. maaliskuussa 2015 julkaistu komission yksiköiden valmisteluasiakirja ”EU:n kansainvälisen kehitysyhteistyön tuloskehyksen käynnistäminen”). EU:n myötävaikutuksen ilmaisemiseksi määrällisesti voidaan käyttää kahta avunantajien nykyisin käyttämää menetelmää:

–”kokonaismenetelmää”, jolloin raportoidaan kokonaistulokset, jotka EU on saavuttanut yhdessä muiden (kuten kumppanimaan hallituksen ja muiden avunantajien) kanssa, eikä tuloksia, jotka liittyvät EU:n antamaan rahoitusosuuteen

–”suhteellista menetelmää”, jolloin tulokset raportoidaan sen perusteella, mikä on EU:n osuus kokonaisrahoituksesta. Tätä menetelmää käytettäessä hankkeiden ja ohjelmien tulokset lasketaan määräsuhteisena osuutena, joka vastaa EU:n antamien taloudellisten panosten osuutta. Menetelmässä raportointi perustuu oletukseen, että annetun rahoituksen ja saavutettujen tulosten välillä on välitön syy-yhteys.

Yhdistetyllä tasolla, kuten raportoitaessa uuden tuloskehyksen perusteella, on valittava jompikumpi menetelmä. Koska talousarviota koskevia yksityiskohtaisia tietoja toisten panoksista, myöskään kumppanimaiden panoksista, ei ole aina helposti saatavilla suhteellisten tulosten laskemista varten, komissio on valinnut raportointitavaksi kokonaismenetelmän. Se on toistaiseksi ainoa realistinen vaihtoehto, jolla saavutetut tulokset voidaan raportoida yhdistetyllä tasolla. Kuten maaliskuussa 2015 julkaistussa komission yksiköiden valmisteluasiakirjassa todetaan, kokonaismenetelmä olisi myös asianmukaisempi avun tuloksellisuuden näkökulmasta, koska menetelmässä painotetaan voimakkaasti kumppanimaan vastuunottoa.

Laatikko 9

Vaikka on mahdollista arvioida yleisesti ottaen, onko budjettitukiohjelmasta tuettu kansallinen toimi vaikuttanut tiettyihin maassa saavutettuihin tarkasti määriteltyihin tuloksiin, ei ole mahdollista katsoa tiettyä osaa tuloksista EU:n rahoituksen ansioksi.

Laatikko 11

Laatikossa 11 esitetyssä esimerkissä keskitytään pikemminkin siihen, ettei ihmisoikeusnäkökohtia ole sisällytetty riittävästi ohjelmiin, kuin laaja-alaisten aiheiden sisällyttämisestä johtuvaan monimutkaistumiseen tai siitä aiheutuviin lisäriskeihin, jotka liittyvät asianmukaisten tavoitteiden ja indikaattoreiden määrittelemiseen sekä niihin liittyvien tulosten mittaamiseen.

Laatikko 14 – Toinen kappale

Komissio on vuonna 2015 sisällyttänyt EU:n täytäntöönpanokumppaneiden tulosten raportointia koskevia erityisiä säännöksiä hallinnollisen sopimuksen (joka kattaa Maailmanpankin täytäntöönpanokumppanina) ja PAGODA-sopimuksen yleisiin ehtoihin. PAGODA (Pillar Assessed Grant or Delegation Agreement, pilariarvioitu avustus- tai valtuutussopimus) kattaa kaikki pilariarvioidut järjestöt, myös YK:n järjestöt. Tämän pitäisi varmistaa EU:n täytäntöönpanokumppanien toimittamien edistystä koskevien tietojen ja loppukertomusten entistä parempi saatavuus.

59

Se, että joissakin tapauksissa hankkeen tai ohjelman luonteen vuoksi tulokset voidaan arvioida vasta hankkeen tai ohjelman päätyttyä ja ettei niiden saavuttamista voida siksi arvioida jaksoittain, ei väistämättä johda tulosten puutteelliseen raportointiin. Tällaisissa tapauksissa voidaan määritellä välitavoitteita tai vertailuarvoja, jotka helpottavat sen seuraamista, onko hanke tai ohjelma hyvässä vauhdissa niin, että tulokset voidaan saavuttaa tehokkaasti.

60

Komissio on jo toteuttanut toimia arviointien parantamiseksi

–laatimalla ja julkaisemalla Euroopan unionin kehitysyhteistyön arviointipolitiikkaa käsittelevän asiakirjan ”Evaluation Policy for the European Union development cooperation” (2014)

–parantamalla hankkeiden ja ohjelmien arviointien suunnittelun, täytäntöönpanon ja seurannan laatua (meneillään)

–lisäämällä johdon osallistumista strategisiin arviointeihin jo suunnitteluvaiheessa (meneillään)

–soveltamalla tiedonannon COM(2013) 686 final mukaista ”arviointi ensin” -periaatetta.

Laatikko 15

Komissio katsoo, että esimerkissä ei ole kyse tulosten raportoinnin tai arvioinnin puutteista koko toimen osalta, vaan toimen vaikuttavuus sinänsä voidaan arvioida vasta, kun kaikki toimen osat tai alihankkeet on saatu lähes tai aivan kokonaan toteutettua.

65

Komissio julkaisee vuonna 2015 ensimmäisen konsolidoidun selvityksen tuloksista, joita on saavutettu EU:n kansainvälisen kehitysyhteistyön yhteydessä annetulla tuella. Tulostiedot julkaistaan vuosikertomusta täydentävänä kertomuksena.

Laatikko 16 – Kolmas kappale

Parannetut seuranta- ja raportointijärjestelmät sekä (myös CRIS-järjestelmän korvaavan) operatiivisen tiedonhallintajärjestelmän käyttöönotto tehostavat vastaisuudessa merkittävästi EuropeAidin tietojärjestelmien käyttöä raportointiin ja erityisesti tulosten raportointiin.

Laatikko 17

Kansallisten tiedonkeruu- ja tiedonhallintajärjestelmien puutteet EU:n tukemissa maissa ovat kyseisten maiden kehitysvaiheeseen olennaisesti liittyvä tekijä ja pysyvä huolenaihe kaikille avunantajille. Tilannetta voidaan parantaa kestävästi vain luomalla asianmukaisia kansallisia tilastojärjestelmiä. EU vähentää asiaan liittyvää riskiä osana antamaansa alakohtaista ja muuta tukea. Riskiä voidaan kuitenkin torjua riittävästi vain avunsaajamaan ja avunantajayhteisön jatkuvilla yhteisillä toimilla.

72

Vuosia 2014–2020 koskevassa monivuotisessa rahoituskehyksessä otetaan käyttöön muutamia uusia piirteitä, joilla pyritään erityisesti edistämään rahoitusohjelmien tuloksellisuutta. Budjetista ja henkilöstöstä vastaavan varapuheenjohtajan Kristalina Georgievan johtamalla komission aloitteella pyritään tämän pohjalta siirtymään varojen käytöstä EU:n talousarvion tuloksellisuuteen. Tavoitteena on luoda edellytykset talousarvion tuloksellisuuden parantamiselle entisestään sekä ohjelmien tulosten että moitteettoman varainhoidon osalta tasapainoista ja kattavaa lähestymistapaa soveltamalla. Pyrkimyksenä on vähentää sitä riskiä, että keskitytään talousarvion toteuttamiseen ohjelman tulosten kustannuksella. Lähestymistapa käsittää myös menoalat ja menetelmät, joilla EU:n talousarvio voi maksimoida tulokset, sekä kustannustehokkaiden tarkastusten tiukan soveltamisen noudattamisen valvonnan tehostamiseksi.

73

Komissio torjuu riskiä monivuotisella ohjelmasuunnittelulla, yksittäisten toimien täytäntöönpanon 24-kuukautisella suunnittelulla ja sisäisen laatutukiryhmän prosessilla. Näitä toimia täydennetään lisätoimenpiteillä, kuten tulevalla EU:n tuloskehyksellä. Ks. myös vastaus kohtaan 29.

75

Komissio on kehittänyt budjettitukiohjelmia varten riskienhallintajärjestelmän, jolla tunnistetaan suuret riskit ja vähennetään niitä. Järjestelmä otetaan huomioon päätöksentekoprosessissa, erityisesti tehostetussa hallinnossa, sisäisen budjettituesta vastaavan ohjauskomitean välityksellä. Järjestelmästä saadaan järjestelmällisesti tietoja kumppanimaiden kanssa strategisella tasolla käytävää poliittista vuoropuhelua varten sekä keskeisiä kysymyksiä koskevia tietoja. Järjestelmää käytetään toimenpideasiakirjassa määriteltyjen odotettujen etujen ja tunnistettujen riskien tasapainottamiseen ja riskinvähentämistoimenpiteiden ehdottamiseen.

Sisäinen analyysi (vuosien 2013 ja 2014 budjettitukea koskeva kertomus) osoittaa, että EU:n budjettitukea saaneiden maiden julkinen varainhoito on selvästi parempaa ja paranee muuta kuin budjettitukea saaneisiin avunsaajiin verrattuna.

Riskiä, jota tällä esimerkillä pyritään havainnollistamaan, pienennetään soveltamalla vuonna 2012 annettuja budjettituen suuntaviivoja, ja riskiä on siis pienennetty niiden soveltamisen aloittamisesta lähtien.

Laatikko 19

Komissio on vuonna 2015 päättänyt tehostaa tapauskohtaisesti arviointia siitä, käytetäänkö kansainvälistä järjestöä täytäntöönpanokumppanina vai ei.

Laatikko 20

Komissio myöntää, että poliittisen ja taloudellisen tilanteen muutoksista aiheutuu riskejä tulosten saavuttamiselle. Tämäntyyppisten riskien vuoksi toimintaympäristön analysointi on tärkeä osa sitä tunnistamisen ja määrittelyn vakioprosessia, jota komission yksiköt ja EU:n edustustot soveltavat hankkeita ja ohjelmia valmistellessaan.

Jotta voidaan mukautua ennalta arvaamattomiin muutoksiin kehitysaputoimien toimintaympäristössä, täytäntöönpanovaiheessa tarvitaan jonkin verran liikkumavaraa. Tämä on varmistettu yksinkertaistamalla asiaan liittyviä sääntöjä ja menettelyjä heinäkuusta 2014 lähtien. Yksinkertaistamistoimenpiteet sisälsivät sellaisia indikaattoreiden käyttöön liittyviä muutoksia, joiden ansiosta erityisiin ensisijaisiin tavoitteisiin tai tietojen keräämiseen ja saatavuuteen liittyvät muutokset voidaan ottaa huomioon.

Sitä ei kuitenkaan voida sulkea pois, että hankkeen alkuperäisiä tavoitteita ei voida saavuttaa. Jos näin käy, tavoitteita on mukautettava muuttuviin olosuhteisiin ja tilanteisiin.

Laatikko 21

Tammikuussa 2015 toteutettu organisaatiomuutos sinänsä ei vaikuta tavoitteiden määrittelemiseen eikä niihin liittyvien tulosten saavuttamiseen eri toimien yhteydessä.

Omasta hallinnollisesta organisaatiostaan riippumatta ja ENI-maat kattavan yhteisen täytäntöönpanoasetuksen säännösten (erityisesti 12 ja 13 artiklan) mukaisesti komissio täyttää myös vastaisuudessa velvollisuutensa seurata hankkeiden täytäntöönpanoa ja raportoida siitä jäsenvaltioille, Euroopan parlamentille ja muille EU:n toimielimille.

Komissio raportoi vastaisuudessa tuloskehyksen perusteella myös naapuruuspolitiikan piiriin kuuluvista maista neuvoston 26. toukokuuta 2015 antamien päätelmien 9145/15 mukaisesti. Uuden tulosperusteisen seurantajärjestelmän yhteydessä on otettu käyttöön erityinen työkalu, jolla tuetaan hankkeiden lopussa tehtävää tulosraportointia. Järjestelmällä edistetään hankkeiden lopussa raportoituja tuloksia koskevien tietojen konsolidointia erityisesti sovittuun tuloskehykseen perustuvien indikaattoreiden osalta.

Arvioinnista todettakoon, että naapuruuspolitiikan ja laajentumisneuvottelujen pääosastolla on oma arviointitoimintonsa, joka käsittelee vuodesta 2015 alkaen sekä naapurustoja että laajentumisprosessissa mukana olevaa aluetta.

5. Johtopäätökset ja suositukset

80 a)

Komission yksiköt ovat jo useilla eri tasoilla pyrkineet varmistamaan terminologian johdonmukaisuuden esimerkiksi seuraavilla toimilla: vuonna 2013 annetut alojen indikaattoreita koskevat ohjeet, toimenpideasiakirjamalli ja siihen liittyvät ohjeet, joita on sovellettu 1. tammikuuta 2015 lähtien, sekä uusi kansainvälisen kehitysyhteistyön tuloskehys ja siihen liittyvät tuloskehykseen perustuvaa raportointia koskevat ohjeet.

Komission yksiköt myös vahvistavat parhaillaan sisäiselle laadunvarmistukselle annettavaa tukea yksittäisiä toimia koskevien asiakirjojen näiden näkökohtien osalta, joita komissio pitää sekä täytäntöönpanon, tuloksellisuuden ja tulosten seurannan ja raportoinnin että toimien arvioinnin kannalta tärkeinä.

Lisäksi edellä mainituissa asiakirjoissa käytetty terminologia on niissä perusasetuksissa käytetyn terminologian mukaista, joista EU:n ulkoisen avun sääntelykehys koostuu.

Komissio myöntää, että panoksista vaikutuksiin jatkuvan selkeän loogisen ketjun luominen on hankkeissa erittäin tärkeää. Ketjun luomista on vahvistettu ottamalla käyttöön toimenpideasiakirjamalli 1. tammikuuta 2015 lähtien. Selkeän loogisen ketjun luominen strategian tai toimintapolitiikan tasolla ei kuitenkaan koskaan vastaa kehitysyhteistyön toimintaympäristön monimutkaisuutta. Kansainvälisessä arviointimaailmassa tällaisen suoraviivaisen loogisen viitekehyksen käyttö strategian tai toimintapolitiikan tasolla on siksi asetettu yhä useammin kyseenalaiseksi.

80 b)

Laaja-alaisten aiheiden sisällyttämisestä aiheutuu todellakin useita haasteita, jotka liittyvät toimien erityistavoitteiden ja tulosten asianmukaiseen muotoiluun sekä vastaavien täytäntöönpanon seurantaan tarvittavien tietojen keräämiseen.

80 c)

Tehottomuuden ja puutteiden riski, johon tilintarkastustuomioistuin viittaa, vaikuttaisi esiintyvän useimmin kumppanimaan tasolla. Tämä osoittaa sen tärkeyden, että avunantajat mukautuvat kumppanimaan järjestelmiin, toimintapolitiikkoihin ja tuloskehyksiin, verrattuna siihen, että yhdenmukaistetaan toimintaa vain avunantajien kesken, kuten tilintarkastustuomioistuin huomauttaa kohdan 17 kohdissa a ja b.

Soveltamalla tätä lähestymistapaa komissio on jo toteuttanut tärkeitä toimia vuosia 2014–2020 koskevan monivuotisen ohjelmasuunnittelun yhteydessä, jotta voidaan mukautua mahdollisimman paljon kumppanimaiden toimintapolitiikkoihin ja kehyksiin avun tuloksellisuutta koskevien Busanin sitoumusten mukaisesti. Komissio on noudattanut lähestymistapaa myös uutta yhteistä tuloskehystä luodessaan. Kumppanimaiden tasolla komissio kannattaa muiden avunantajien kanssa maakohtaisten tuloskehysten määrittelemistä ja katsoo, että yhteinen ohjelmasuunnittelu EU:n jäsenvaltioiden kanssa on yksi tapa edistää tällaisten tuloskehysten käyttöä.

80 h)

Toimien toimintaympäristössä tapahtuvat muutokset saattavat johtaa käytettyjen indikaattoreiden tai niiden alkuperäisten tavoitearvojen muuttamiseen.

Suositus 1

Komissio hyväksyy suosituksen ja on jo pyrkinyt varmistamaan terminologian johdonmukaisuuden esimerkiksi seuraavilla toimilla: vuonna 2013 annetut alojen indikaattoreita koskevat ohjeet, toimenpideasiakirjamalli ja siihen liittyvät ohjeet, joita on sovellettu 1. tammikuuta 2015 lähtien, sekä uusi kansainvälisen kehitysyhteistyön tuloskehys ja siihen liittyvät tuloskehykseen perustuvaa raportointia koskevat ohjeet.

Edellä mainituissa asiakirjoissa käytetty terminologia on perusasetuksissa käytetyn terminologian mukaista.

Lisäksi komission yksiköt vahvistavat parhaillaan yksittäisiä toimia koskevien asiakirjojen näitä näkökohtia koskevaa tukea osana sisäistä laadunvarmistusta. Komissio jatkaa myös hankkeiden ja ohjelmien hallinnointia koskevien yleisten ohjeiden ja henkilöstön koulutusmoduulien parantamista tällä alalla.

Suositus 2

Komissio hyväksyy suosituksen.

Komissio on kahden viime vuoden aikana valmistellut useita toimenpiteitä, joilla pyritään vahvistamaan sen järjestelmiä, ohjeita ja prosesseja tässä suhteessa. Ks. myös vastaus suositukseen 1.

Komissio myöntää (ks. vastaus kohdan 80 alakohtaan a), että panoksista vaikutuksiin jatkuvan selkeän loogisen ketjun luominen on hankkeissa erittäin tärkeää.

Suositus 3

Komissio hyväksyy suosituksen.

Käynnissä on toimia, joilla parannetaan koko seuranta- ja arviointijärjestelmää ja joiden ansiosta myös komission kyky tunnistaa saadut hyödylliset kokemukset paranee (ks. myös komission vastaukset tilintarkastustuomioistuimen erityiskertomukseen nro 18/2014).

Tietojärjestelmästä todettakoon vielä tarkemmin, että komissio on tähän mennessä perustanut alustavan järjestelmän, jolla varmistetaan konsolidoitu tulosraportointi vuonna 2015 annettavan ensimmäisen tuloksia koskevan kertomuksen yhteydessä ennen uuden operatiivisen tiedonhallintajärjestelmän ensimmäisten moduulien kehittämistä. Niiden on määrä sisältää myös tulosten raportointi.

Uutta järjestelmää ennakoiden ja myös arviointijärjestelmää ja tulospainotteista seurantajärjestelmää koskevassa tilintarkastustuomioistuimen erityiskertomuksessa nro 18/2014 annettujen suositusten mukaisesti komissio on arviointeihin liittyvän erityisen tietomoduulin kehittämisen loppuvaiheessa. Se on tarkoitus ottaa käyttöön vuoden 2016 ensimmäisellä puoliskolla, mikä parantaa vastaisuudessa asteittain komission kykyä tunnistaa saadut hyödylliset kokemukset eri tarkoituksia varten.

Suositus 4

Komissio hyväksyy suosituksen. Komissio on jo tehostanut toimiaan tässä mielessä, kuten suositukseen 1 annetussa vastauksessa todetaan.

Suositus 5

Komissio hyväksyy suosituksen.

Suosituksen täytäntöönpano on osa toimeen liittyvien riskien yleistä arviointia (esimerkiksi tietyn avun toimitustavan valinnan osalta ks. myös 1. tammikuuta 2015 lähtien sovelletun toimenpideasiakirjamallin osa 2, joka koskee riskejä ja oletuksia).

Komissio on kehittänyt budjettitukiohjelmia varten riskienhallintajärjestelmän, jolla tunnistetaan suuret riskit ja vähennetään niitä. Järjestelmä otetaan huomioon päätöksentekoprosessissa, erityisesti tehostetussa hallinnossa, sisäisen budjettituesta vastaavan ohjauskomitean välityksellä. Järjestelmästä saadaan järjestelmällisesti tietoja kumppanimaiden kanssa strategisella tasolla käytävää poliittista vuoropuhelua varten. Järjestelmää käytetään suunniteltujen toimien odotettujen etujen välisen tasapainon arvioimiseen, riskien tunnistamiseen ja riskinvähentämistoimenpiteiden ehdottamiseen.

Sisäinen analyysi (vuosien 2013 ja 2014 budjettitukea koskeva kertomus) osoittaa, että EU:n budjettitukea saaneiden maiden julkinen varainhoito on selvästi parempaa ja paranee muuta kuin budjettitukea saaneisiin avunsaajiin verrattuna.

Komissio on vuonna 2015 päättänyt tehostaa tapauskohtaisesti arviointia siitä, käytetäänkö kansainvälistä järjestöä täytäntöönpanokumppanina vai ei.

QJ-AB-15-019-FI-E    ISSN 1977-5792

Tilintarkastustuomioistuin tunnisti arvioinnissaan yhdeksän keskeistä riskialaa, jotka liittyvät EU:n kehitysyhteistyön tulospainotteiseen lähestymistapaan.
Tilintarkastustuomioistuimen arviointi osoitti, että komissio oli tunnistanut nämä riskialat asianmukaisesti. Arviointi osoitti niin ikään, että komission aloitteiden yhteydessä pyritään parantamaan EU:n kehitysyhteistyön tuloksia.
Lisätoimet ovat kuitenkin tarpeen, jotta aloitteet olisivat täysin vaikuttavia. Tilintarkastustuomioistuin esittää joukon asiaa koskevia suosituksia.