# Dziennik Urzędowy C 26/2008

| | ISSN 1725-5228 |
| --- | --- |
| Dziennik Urzędowy
  Unii Europejskiej | C 26 |
| | |
| Wydanie polskie | Informacje i zawiadomienia | Tom 5130 stycznia 2008 |

ISSN 1725-5228

Dziennik Urzędowy

Unii Europejskiej

C 26

Wydanie polskie

Informacje i zawiadomienia

Tom 5130 stycznia 2008

---

| Powiadomienie nr | Spis treśći | Strona |
| --- | --- | --- |
| | IV   Zawiadomienia |
| | ZAWIADOMIENIA INSTYTUCJI I ORGANÓW UNII EUROPEJSKIEJ |
| | Trybunał Obrachunkowy |
| 2008/C 026/01 | Sprawozdanie specjalne nr 9/2007 dotyczące oceny realizowanych przez Unię Europejską programów ramowych badań i rozwoju technologicznego (BRT) oraz kwestii, czy można ulepszyć podejście przyjęte przez Komisję, wraz z odpowiedziami Komisji | 1 |

Powiadomienie nr

Spis treśći

Strona

IV   Zawiadomienia

ZAWIADOMIENIA INSTYTUCJI I ORGANÓW UNII EUROPEJSKIEJ

Trybunał Obrachunkowy

2008/C 026/01

Sprawozdanie specjalne nr 9/2007 dotyczące oceny realizowanych przez Unię Europejską programów ramowych badań i rozwoju technologicznego (BRT) oraz kwestii, czy można ulepszyć podejście przyjęte przez Komisję, wraz z odpowiedziami Komisji

1

| PL | |
| --- | --- |

PL

---

IV Zawiadomienia

ZAWIADOMIENIA INSTYTUCJI I ORGANÓW UNII EUROPEJSKIEJ

Trybunał Obrachunkowy

| 30.1.2008 | PL | Dziennik Urzędowy Unii Europejskiej | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

PL

Dziennik Urzędowy Unii Europejskiej

C 26/1

---

SPRAWOZDANIE SPECJALNE NR 9/2007

dotyczące oceny realizowanych przez Unię Europejską programów ramowych badań i rozwoju technologicznego (BRT) oraz kwestii, czy można ulepszyć podejście przyjęte przez Komisję, wraz z odpowiedziami Komisji

(przedstawione na mocy art. 248 ust. 4 akapit drugi Traktatu WE)

(2008/C 26/01)

SPIS TREŚCI

| I–V | STRESZCZENIE |
| --- | --- |

I–V

| 1–14 | WSTĘP |
| --- | --- |

1–14

| 1–7 | Rola Unii Europejskiej we wspieraniu działań BRT |
| --- | --- |

1–7

| 8–14 | Ocena i monitorowanie PR |
| --- | --- |

8–14

| 15–18 | ZAKRES KONTROLI I PODEJŚCIE KONTROLNE |
| --- | --- |

15–18

| 19–109 | UWAGI POKONTROLNE |
| --- | --- |

19–109

| 19–37 | Logika interwencji, wyznaczanie celów i wskaźniki wykonania |
| --- | --- |

19–37

| 38–49 | Strategia oceny |
| --- | --- |

38–49

| 50–68 | Organizacja oceny PR |
| --- | --- |

50–68

| 69–97 | Metodyka i techniki oceny |
| --- | --- |

69–97

| 98–109 | Upowszechnianie i wykorzystanie ustaleń poczynionych w ramach oceny |
| --- | --- |

98–109

| 110–118 | WNIOSEK OGÓLNY |
| --- | --- |

110–118

Załącznik I: Pomiar oddziaływania i rezultatów interwencji publicznych w BRT

Załącznik II: Przepisy dotyczące monitoringu i oceny w decyzjach legislacyjnych dotyczących 4PR–7PR

Załącznik III: Najważniejsze różnice w sposobach przeprowadzania oceny ex post programów badawczych w Unii Europejskiej (4PR–6PR), Stanach Zjednoczonych Ameryki i Kanadzie

Załącznik IV: Ewentualna struktura zespołu dla 7PR

Odpowiedzi Komisji

STRESZCZENIE

| I. | Wspólnotowe programy ramowe (PR) BRT stanowią największe publiczne źródło finansowania badań naukowych w Unii Europejskiej. Komisja odpowiada za zarządzanie PR i ocenę ich rezultatów. |
| --- | --- |

I.

Wspólnotowe programy ramowe (PR) BRT stanowią największe publiczne źródło finansowania badań naukowych w Unii Europejskiej. Komisja odpowiada za zarządzanie PR i ocenę ich rezultatów.

| II. | Przeprowadzona kontrola objęła rozwiązania w zakresie monitorowania i oceny stosowane od 1995 r. w trzech ostatnich okresach programowania (4PR, 5PR, 6PR); przeanalizowano też perspektywy w tym zakresie dla 7PR (2007–2013). Kontrolę przeprowadzono wraz z Komisją Obrachunkową EFTA oraz korzystając z pomocy ekspertów zewnętrznych. |
| --- | --- |

II.

Przeprowadzona kontrola objęła rozwiązania w zakresie monitorowania i oceny stosowane od 1995 r. w trzech ostatnich okresach programowania (4PR, 5PR, 6PR); przeanalizowano też perspektywy w tym zakresie dla 7PR (2007–2013). Kontrolę przeprowadzono wraz z Komisją Obrachunkową EFTA oraz korzystając z pomocy ekspertów zewnętrznych.

| III. | Celem kontroli było uzyskanie odpowiedzi na pytanie, czy Komisja przyjęła odpowiednie podejście do oceny rezultatów PR. W tym kontekście Trybunał zbadał, czy Komisja spełnia wymogi prawne odnoszące się do oceny, i upewnił się, czy stosowany przez nią system oceny i monitorowania spełnia oczekiwania zainteresowanych stron. W szczególności Trybunał sformułował następujące pytania:






  (i) | czy w PR i programach je tworzących istnieje logika interwencji, która może stanowić solidną podstawę do przeprowadzenia oceny i monitorowania; |
| --- | --- | --- |

III.

Celem kontroli było uzyskanie odpowiedzi na pytanie, czy Komisja przyjęła odpowiednie podejście do oceny rezultatów PR. W tym kontekście Trybunał zbadał, czy Komisja spełnia wymogi prawne odnoszące się do oceny, i upewnił się, czy stosowany przez nią system oceny i monitorowania spełnia oczekiwania zainteresowanych stron. W szczególności Trybunał sformułował następujące pytania:

(i)

czy w PR i programach je tworzących istnieje logika interwencji, która może stanowić solidną podstawę do przeprowadzenia oceny i monitorowania;

| (ii) | czy Komisja określiła strategię oceny PR; |
| --- | --- |

(ii)

czy Komisja określiła strategię oceny PR;

| (iii) | czy struktura organizacyjna istniejącego w Komisji systemu oceny PR gwarantuje, że ocena jest właściwie skoordynowana, przeznaczane są na nią odpowiednie zasoby i jest postrzegana przez zainteresowane strony jako wystarczająco niezależna; |
| --- | --- |

(iii)

czy struktura organizacyjna istniejącego w Komisji systemu oceny PR gwarantuje, że ocena jest właściwie skoordynowana, przeznaczane są na nią odpowiednie zasoby i jest postrzegana przez zainteresowane strony jako wystarczająco niezależna;

| (iv) | czy metodyka zastosowana w ramach oceny była zadowalająca; oraz |
| --- | --- |

(iv)

czy metodyka zastosowana w ramach oceny była zadowalająca; oraz

| (v) | czy dzięki działaniom podejmowanym w ramach oceny i monitorowania uzyskiwane są informacje i analizy, które mogą być wykorzystane do poprawy trwających programów i przygotowania przyszłych PR. |
| --- | --- |

(v)

czy dzięki działaniom podejmowanym w ramach oceny i monitorowania uzyskiwane są informacje i analizy, które mogą być wykorzystane do poprawy trwających programów i przygotowania przyszłych PR.

| IV. | Główne ustalenia i wnioski Trybunału są następujące:






  (i) | brak wyraźnej logiki interwencji, niedostatecznie określone cele programu i słaby pomiar wyników obniżyły skuteczność monitorowania i oceny; |
| --- | --- | --- |

IV.

Główne ustalenia i wnioski Trybunału są następujące:

(i)

brak wyraźnej logiki interwencji, niedostatecznie określone cele programu i słaby pomiar wyników obniżyły skuteczność monitorowania i oceny;

| (ii) | brak kompleksowej strategii oceny PR, uzgodnionej przez „dyrekcje badawcze” Komisji wdrażające PR, doprowadził do niespójności w podejściu przyjmowanym przez poszczególne służby Komisji. Przejawia się to zwłaszcza w brakach w ocenie znacznych części PR; |
| --- | --- |

(ii)

brak kompleksowej strategii oceny PR, uzgodnionej przez „dyrekcje badawcze” Komisji wdrażające PR, doprowadził do niespójności w podejściu przyjmowanym przez poszczególne służby Komisji. Przejawia się to zwłaszcza w brakach w ocenie znacznych części PR;

| (iii) | ocena PR była zdecentralizowana, istniejące mechanizmy koordynacji działań poszczególnych DG wdrażających PR nie były skuteczne, a centralne służby Komisji nie narzucały stosownych rozwiązań. Jednak, ogólnie rzecz biorąc, „dyrekcje badawcze” spełniały formalne wymagania Komisji w zakresie oceny. Zastosowanie zespołów składających się z niezależnych ekspertów wysokiego szczebla, wyznaczanych przez Komisję do uczestnictwa w głównych procesach oceny, dobrze odpowiadało specyfice wspólnotowej. Te tymczasowe zespoły nie były jednak powołane na wystarczająco wczesnym etapie procesu, aby mogły wpłynąć na gromadzenie dowodów, a możliwość długoterminowego monitorowania istotnych kwestii była ograniczona. Powołując tylko jeden ogólny zespół dla każdego PR (oprócz zespołów dla poszczególnych programów szczegółowych), poświęcono niewystarczającą uwagę kwestiom związanym z różnymi dziedzinami naukowymi w ramach PR; |
| --- | --- |

(iii)

ocena PR była zdecentralizowana, istniejące mechanizmy koordynacji działań poszczególnych DG wdrażających PR nie były skuteczne, a centralne służby Komisji nie narzucały stosownych rozwiązań. Jednak, ogólnie rzecz biorąc, „dyrekcje badawcze” spełniały formalne wymagania Komisji w zakresie oceny. Zastosowanie zespołów składających się z niezależnych ekspertów wysokiego szczebla, wyznaczanych przez Komisję do uczestnictwa w głównych procesach oceny, dobrze odpowiadało specyfice wspólnotowej. Te tymczasowe zespoły nie były jednak powołane na wystarczająco wczesnym etapie procesu, aby mogły wpłynąć na gromadzenie dowodów, a możliwość długoterminowego monitorowania istotnych kwestii była ograniczona. Powołując tylko jeden ogólny zespół dla każdego PR (oprócz zespołów dla poszczególnych programów szczegółowych), poświęcono niewystarczającą uwagę kwestiom związanym z różnymi dziedzinami naukowymi w ramach PR;

| (iv) | formułowano nieodpowiednie wytyczne metodologiczne, osoby oceniające miały trudności w gromadzeniu odpowiednich danych, a ponadto zabrakło opracowań oceniających, które dotyczyłyby długoterminowych wyników i oddziaływania PR, a nie tylko kwestii o krótkim zasięgu czasowym, związanych z wdrażaniem programów; |
| --- | --- |

(iv)

formułowano nieodpowiednie wytyczne metodologiczne, osoby oceniające miały trudności w gromadzeniu odpowiednich danych, a ponadto zabrakło opracowań oceniających, które dotyczyłyby długoterminowych wyników i oddziaływania PR, a nie tylko kwestii o krótkim zasięgu czasowym, związanych z wdrażaniem programów;

| (v) | w związku z powyższym, a także ponieważ termin przeprowadzenia ocen był często zbyt wczesny, by można było rozstrzygnąć najważniejsze kwestie, funkcjonujący w Komisji system oceny PR był w ograniczonym stopniu przydatny osobom odpowiedzialnym za kształtowanie polityki, zainteresowanym stronom lub nawet samej Komisji. Niewiele też wiadomo na temat osiągnięcia celów programów i rezultatów PR. |
| --- | --- |

(v)

w związku z powyższym, a także ponieważ termin przeprowadzenia ocen był często zbyt wczesny, by można było rozstrzygnąć najważniejsze kwestie, funkcjonujący w Komisji system oceny PR był w ograniczonym stopniu przydatny osobom odpowiedzialnym za kształtowanie polityki, zainteresowanym stronom lub nawet samej Komisji. Niewiele też wiadomo na temat osiągnięcia celów programów i rezultatów PR.

| V. | Trybunał formułuje następujące zalecenia:






  (i) | w przyszłych przepisach prawnych należy jaśniej określić logikę interwencji. Należy objaśnić podstawowe założenia, jasno określić związek między celami naukowymi a społeczno-gospodarczymi oraz opracować odpowiednie wskaźniki wykonania; |
| --- | --- | --- |

V.

Trybunał formułuje następujące zalecenia:

(i)

w przyszłych przepisach prawnych należy jaśniej określić logikę interwencji. Należy objaśnić podstawowe założenia, jasno określić związek między celami naukowymi a społeczno-gospodarczymi oraz opracować odpowiednie wskaźniki wykonania;

| (ii) | DG wdrażające PR powinny opracować (i uzgodnić między sobą) kompleksową strategię oceny. Powinna ona w szczególności obejmować spójne podejście co do minimalnego poziomu, od którego szczegółowa ocena staje się konieczna, tak aby można było uwzględnić specyfikę każdej dziedziny naukowej; |
| --- | --- |

(ii)

DG wdrażające PR powinny opracować (i uzgodnić między sobą) kompleksową strategię oceny. Powinna ona w szczególności obejmować spójne podejście co do minimalnego poziomu, od którego szczegółowa ocena staje się konieczna, tak aby można było uwzględnić specyfikę każdej dziedziny naukowej;

| (iii) | należy rozważyć stworzenie wspólnego biura oceny do celów koordynacji prowadzonych przez „dyrekcje badawcze” działań związanych z oceną PR jako całości oraz utworzenie systemu zespołów (oraz podzespołów) składających się z ekspertów zewnętrznych. Zespoły te należy utworzyć wystarczająco wcześnie, aby mogły udzielić skutecznego wsparcia Komisji, a także udzielać go później w trakcie całego okresu programowania i po jego zakończeniu; |
| --- | --- |

(iii)

należy rozważyć stworzenie wspólnego biura oceny do celów koordynacji prowadzonych przez „dyrekcje badawcze” działań związanych z oceną PR jako całości oraz utworzenie systemu zespołów (oraz podzespołów) składających się z ekspertów zewnętrznych. Zespoły te należy utworzyć wystarczająco wcześnie, aby mogły udzielić skutecznego wsparcia Komisji, a także udzielać go później w trakcie całego okresu programowania i po jego zakończeniu;

| (iv) | należy odpowiednio zanalizować potrzeby w zakresie danych do celów oceny i monitorowania oraz intensywniej wykorzystywać inne istniejące źródła danych. Komisja powinna także zracjonalizować wymogi dotyczące sprawozdawczości obowiązujące uczestników. W końcu, powinna ona opracować kompleksowy podręcznik przeprowadzania ocen w ramach PR, poszerzyć metodykę oraz techniki dokonywania ocen w tej dziedzinie; oraz |
| --- | --- |

(iv)

należy odpowiednio zanalizować potrzeby w zakresie danych do celów oceny i monitorowania oraz intensywniej wykorzystywać inne istniejące źródła danych. Komisja powinna także zracjonalizować wymogi dotyczące sprawozdawczości obowiązujące uczestników. W końcu, powinna ona opracować kompleksowy podręcznik przeprowadzania ocen w ramach PR, poszerzyć metodykę oraz techniki dokonywania ocen w tej dziedzinie; oraz

| (v) | Komisja powinna określić rodzaj i zakres oceny możliwej do przeprowadzenia w terminach określonych w przepisach dotyczących 7PR, a także objaśnić, jak można wykorzystać wyniki ocen do korekty programów (programy „uczące się”) i jaki wpływ mogą one mieć na podejmowanie decyzji dotyczących kształtu danej polityki. |
| --- | --- |

(v)

Komisja powinna określić rodzaj i zakres oceny możliwej do przeprowadzenia w terminach określonych w przepisach dotyczących 7PR, a także objaśnić, jak można wykorzystać wyniki ocen do korekty programów (programy „uczące się”) i jaki wpływ mogą one mieć na podejmowanie decyzji dotyczących kształtu danej polityki.

WSTĘP

Rola Unii Europejskiej we wspieraniu działań BRT

| 1. | Badania i rozwój technologiczny (BRT) (1) są główną siłą napędową postępu naukowego i technologicznego oraz innowacji, a w konsekwencji — ważnym czynnikiem poprawy standardu życia. Interwencja państwa w obszarze BRT jest przeważnie uzasadniana potrzebą korygowania tzw. „niedoskonałości rynku” — dzięki wsparciu publicznemu zmniejsza się element niepewności, dokonuje inwestycji w dziedzinach, w których badania stanowią dobro publiczne lub gdzie występują znaczne koszty zewnętrzne. |
| --- | --- |

1.

Badania i rozwój technologiczny (BRT) (1) są główną siłą napędową postępu naukowego i technologicznego oraz innowacji, a w konsekwencji — ważnym czynnikiem poprawy standardu życia. Interwencja państwa w obszarze BRT jest przeważnie uzasadniana potrzebą korygowania tzw. „niedoskonałości rynku” — dzięki wsparciu publicznemu zmniejsza się element niepewności, dokonuje inwestycji w dziedzinach, w których badania stanowią dobro publiczne lub gdzie występują znaczne koszty zewnętrzne.

| 2. | Artykuł 163 Traktatu WE następująco określa rolę Wspólnoty we wspieraniu BRT: „Wspólnota ma na celu wzmacnianie bazy naukowej i technologicznej przemysłu Wspólnoty i sprzyjanie zwiększaniu jego międzynarodowej konkurencyjności, przy jednoczesnym promowaniu działalności badawczej uznanej za niezbędną (...)”. Artykuły 164–173 wymieniają działania, które będą podejmowane w tym obszarze, oraz określają zakres i metody wdrażania wieloletnich programów ramowych BRT (PR). Komisja jest odpowiedzialna za przedstawianie propozycji PR, podczas gdy decyzje dotyczące PR oraz zasady uczestnictwa i upowszechniania wyników badań są przyjmowane w drodze współdecyzji przez Parlament Europejski i Radę. Rada samodzielnie podejmuje decyzje przyjmujące poszczególne programy. PR są wdrażane wspólnie przez sześć dyrekcji generalnych Komisji (DG), tzw. dyrekcje badawcze (2). |
| --- | --- |

2.

Artykuł 163 Traktatu WE następująco określa rolę Wspólnoty we wspieraniu BRT: „Wspólnota ma na celu wzmacnianie bazy naukowej i technologicznej przemysłu Wspólnoty i sprzyjanie zwiększaniu jego międzynarodowej konkurencyjności, przy jednoczesnym promowaniu działalności badawczej uznanej za niezbędną (...)”. Artykuły 164–173 wymieniają działania, które będą podejmowane w tym obszarze, oraz określają zakres i metody wdrażania wieloletnich programów ramowych BRT (PR). Komisja jest odpowiedzialna za przedstawianie propozycji PR, podczas gdy decyzje dotyczące PR oraz zasady uczestnictwa i upowszechniania wyników badań są przyjmowane w drodze współdecyzji przez Parlament Europejski i Radę. Rada samodzielnie podejmuje decyzje przyjmujące poszczególne programy. PR są wdrażane wspólnie przez sześć dyrekcji generalnych Komisji (DG), tzw. dyrekcje badawcze (2).

| 3. | W szerokim wachlarzu polityk realizowanych w Unii Europejskiej na rzecz wzmocnienia innowacyjności i konkurencyjności PR są najważniejszym finansowym instrumentem realizacji strategii lizbońskiej (3) i celu barcelońskiego (4) na szczeblu wspólnotowym. |
| --- | --- |

3.

W szerokim wachlarzu polityk realizowanych w Unii Europejskiej na rzecz wzmocnienia innowacyjności i konkurencyjności PR są najważniejszym finansowym instrumentem realizacji strategii lizbońskiej (3) i celu barcelońskiego (4) na szczeblu wspólnotowym.

Image

| 4. | Za pośrednictwem PR Wspólnota udziela finansowania badaczom w Unii Europejskiej, krajach stowarzyszonych i organizacjach międzynarodowych. Budżety PR wzrosły znacząco z biegiem lat: roczny budżet 7PR wynosi 7 217 mln euro, podczas gdy w 4PR wynosił 2 761 mln euro (zob. rysunek 1). Pod względem wielkości środków budżetowych PR stanowią największy obszar objęty bezpośrednim scentralizowanym zarządzaniem przez Komisję (5). |
| --- | --- |

4.

Za pośrednictwem PR Wspólnota udziela finansowania badaczom w Unii Europejskiej, krajach stowarzyszonych i organizacjach międzynarodowych. Budżety PR wzrosły znacząco z biegiem lat: roczny budżet 7PR wynosi 7 217 mln euro, podczas gdy w 4PR wynosił 2 761 mln euro (zob. rysunek 1). Pod względem wielkości środków budżetowych PR stanowią największy obszar objęty bezpośrednim scentralizowanym zarządzaniem przez Komisję (5).

| 5. | PR różnią się od wielu programów krajowych tym, że obejmują zarówno badania podstawowe, jak i stosowane, z udziałem branżowych i publicznych organizacji badawczych (6). Składają się na nie poszczególne programy (i podprogramy) obejmujące szeroko określone dziedziny naukowe. Programy te zwykle obejmują szereg bardziej zawężonych dziedzin naukowych. Działania w tych dziedzinach są następnie realizowane za pomocą projektów (tzw. działań pośrednich) wybieranych w drodze procedur konkursowych. W ten sposób w ramach poszczególnych dziedzin finansuje się setki indywidualnych projektów. |
| --- | --- |

5.

PR różnią się od wielu programów krajowych tym, że obejmują zarówno badania podstawowe, jak i stosowane, z udziałem branżowych i publicznych organizacji badawczych (6). Składają się na nie poszczególne programy (i podprogramy) obejmujące szeroko określone dziedziny naukowe. Programy te zwykle obejmują szereg bardziej zawężonych dziedzin naukowych. Działania w tych dziedzinach są następnie realizowane za pomocą projektów (tzw. działań pośrednich) wybieranych w drodze procedur konkursowych. W ten sposób w ramach poszczególnych dziedzin finansuje się setki indywidualnych projektów.

| 6. | Całkowity udział PR w łącznych nakładach publicznych na BRT w Unii Europejskiej i jej państwach członkowskich waha się między 4 a 5 %. Niemniej jednak ich wpływ na to, jakie rodzaje działalności badawczej są prowadzone w Europie, jest znacznie większy. Jest tak, ponieważ dotacje wspólnotowe zazwyczaj stanowią jedynie część dofinansowania udzielanego na rzecz projektu. Ponadto, zgłaszając wniosek o dofinansowanie, badacze muszą wykazać, że ich projekty wpisują się w realizację celów określonych w ogłoszeniach o konkursie. W ten sposób PR zachęcają do ukierunkowania działalności BRT na realizację poszczególnych celów UE. |
| --- | --- |

6.

Całkowity udział PR w łącznych nakładach publicznych na BRT w Unii Europejskiej i jej państwach członkowskich waha się między 4 a 5 %. Niemniej jednak ich wpływ na to, jakie rodzaje działalności badawczej są prowadzone w Europie, jest znacznie większy. Jest tak, ponieważ dotacje wspólnotowe zazwyczaj stanowią jedynie część dofinansowania udzielanego na rzecz projektu. Ponadto, zgłaszając wniosek o dofinansowanie, badacze muszą wykazać, że ich projekty wpisują się w realizację celów określonych w ogłoszeniach o konkursie. W ten sposób PR zachęcają do ukierunkowania działalności BRT na realizację poszczególnych celów UE.

| 7. | W ostatnich latach w PR wprowadzono znaczne zmiany, których przesłanki były następujące:






  — | nowe wyzwania polityczne (strategia lizbońska i cele barcelońskie, utworzenie Europejskiej Przestrzeni Badawczej (EPB) i coraz szersze wykorzystywanie otwartej metody koordynacji (7) w polityce badań naukowych i innowacji), |
| --- | --- | --- |

7.

W ostatnich latach w PR wprowadzono znaczne zmiany, których przesłanki były następujące:

—

nowe wyzwania polityczne (strategia lizbońska i cele barcelońskie, utworzenie Europejskiej Przestrzeni Badawczej (EPB) i coraz szersze wykorzystywanie otwartej metody koordynacji (7) w polityce badań naukowych i innowacji),

| — | zmiana orientacji PR, przejście od prostego rozwiązywania problemów technicznych w 4PR i problemów społecznych w 5PR, do promowania współpracy organizacji badawczych w ramach EPB i przyczyniania się do stworzenia społeczeństwa i gospodarki opartych na wiedzy — w ramach 6PR i 7PR, |
| --- | --- |

—

zmiana orientacji PR, przejście od prostego rozwiązywania problemów technicznych w 4PR i problemów społecznych w 5PR, do promowania współpracy organizacji badawczych w ramach EPB i przyczyniania się do stworzenia społeczeństwa i gospodarki opartych na wiedzy — w ramach 6PR i 7PR,

| — | dłuższe okresy programowania (poprzednio 4-letnie, obecnie 7 lat w przypadku 7PR, odpowiadające okresowi perspektywy finansowej 2007–2013), |
| --- | --- |

—

dłuższe okresy programowania (poprzednio 4-letnie, obecnie 7 lat w przypadku 7PR, odpowiadające okresowi perspektywy finansowej 2007–2013),

| — | więcej państw członkowskich i krajów uczestniczących, |
| --- | --- |

—

więcej państw członkowskich i krajów uczestniczących,

| — | większe finansowanie, zwłaszcza w ramach obecnej perspektywy finansowej, |
| --- | --- |

—

większe finansowanie, zwłaszcza w ramach obecnej perspektywy finansowej,

| — | utworzenie Europejskiej Rady ds. Badań Naukowych (ERC) oraz przekazywanie odpowiedzialności za zarządzanie programami agencjom wykonawczym rozpoczynającym działalność w ramach 7PR, |
| --- | --- |

—

utworzenie Europejskiej Rady ds. Badań Naukowych (ERC) oraz przekazywanie odpowiedzialności za zarządzanie programami agencjom wykonawczym rozpoczynającym działalność w ramach 7PR,

| — | coraz szersze wykorzystanie instrumentów finansowania na dużą skalę (np. sieci doskonałości, projekty zintegrowane, projekty z art. 169, wspólne inicjatywy technologiczne). |
| --- | --- |

—

coraz szersze wykorzystanie instrumentów finansowania na dużą skalę (np. sieci doskonałości, projekty zintegrowane, projekty z art. 169, wspólne inicjatywy technologiczne).

Ocena i monitorowanie PR

| 8. | Komisja jest odpowiedzialna za wdrażanie programów i ocenę ich rezultatów (8). W samej Komisji za przeprowadzenie oceny odpowiadają poszczególne dyrekcje generalne, a centrala zapewnia wsparcie i koordynację (w szczególności DG ds. Budżetu i Sekretariat Generalny). |
| --- | --- |

8.

Komisja jest odpowiedzialna za wdrażanie programów i ocenę ich rezultatów (8). W samej Komisji za przeprowadzenie oceny odpowiadają poszczególne dyrekcje generalne, a centrala zapewnia wsparcie i koordynację (w szczególności DG ds. Budżetu i Sekretariat Generalny).

| 9. | W niniejszym sprawozdaniu wykorzystujemy definicje własne Komisji: ocena — „ocena działań na podstawie ich rezultatów, oddziaływania i potrzeb, które mają za zadanie zaspokoić” (9); monitorowanie — dostarczanie informacji na temat wdrażania trwających programów i projektów na potrzeby zarządzania (10). W taki sposób te dwa rodzaje działań są także rozróżnione w przepisach regulujących obecny 7PR. |
| --- | --- |

9.

W niniejszym sprawozdaniu wykorzystujemy definicje własne Komisji: ocena — „ocena działań na podstawie ich rezultatów, oddziaływania i potrzeb, które mają za zadanie zaspokoić” (9); monitorowanie — dostarczanie informacji na temat wdrażania trwających programów i projektów na potrzeby zarządzania (10). W taki sposób te dwa rodzaje działań są także rozróżnione w przepisach regulujących obecny 7PR.

| 10. | Opisując rezultaty działań BRT, zastosowano tu następującą terminologię:






  — | „produkty” — to wiedza, towary i usługi powstałe bezpośrednio w wyniku przeprowadzenia danej interwencji publicznej (publikacje, materiały konferencyjne, patenty, licencje, prototypy, normy, przeszkolenie naukowców itp.), |
| --- | --- | --- |

10.

Opisując rezultaty działań BRT, zastosowano tu następującą terminologię:

—

„produkty” — to wiedza, towary i usługi powstałe bezpośrednio w wyniku przeprowadzenia danej interwencji publicznej (publikacje, materiały konferencyjne, patenty, licencje, prototypy, normy, przeszkolenie naukowców itp.),

| — | „wyniki” — to późniejsze rezultaty faktu wykorzystania produktów przez użytkowników, |
| --- | --- |

—

„wyniki” — to późniejsze rezultaty faktu wykorzystania produktów przez użytkowników,

| — | „oddziaływanie” — to długoterminowe zmiany społeczno-ekonomiczne i polityczne, które nastąpiły w wyniku przeprowadzenia danej interwencji publicznej. |
| --- | --- |

—

„oddziaływanie” — to długoterminowe zmiany społeczno-ekonomiczne i polityczne, które nastąpiły w wyniku przeprowadzenia danej interwencji publicznej.

Ramka 1Przykład systemu GSM (Global System for Mobile communications)W tym przykładzie „produkty” finansowania wspólnotowego stanowiły natychmiastowe rezultaty projektu, takie jak opracowanie standardu GSM. „Wynikiem” było jego przyjęcie za standard cyfrowej telefonii komórkowej w Europie i poza nią, co znacznie przyczyniło się do rozwoju branży telekomunikacyjnej. „Oddziaływaniem” były gospodarcze, społeczne i polityczne konsekwencje międzynarodowego wykorzystania tej technologii. Objęły one wpływ na utworzenie nowych miejsc pracy w branży telekomunikacyjnej i w branżach pokrewnych, a także wzrost znaczenia tego sektora przemysłu w gospodarce europejskiej. System GSM zaoferował także ludziom nowy sposób komunikacji.

| 11. | Ocena tych rezultatów nastręcza jednak szereg problemów metodologicznych (zob. załącznik I). Zmiany społeczno-gospodarcze są zjawiskiem złożonym, a w szczególności często trudno ustalić związek między działalnością badawczą a zaobserwowanymi wynikami i oddziaływaniem. Te metodologiczne trudności nie uniemożliwiają skutecznej oceny, chociaż dokonanie jej stanowi znaczne wyzwanie. |
| --- | --- |

11.

Ocena tych rezultatów nastręcza jednak szereg problemów metodologicznych (zob. załącznik I). Zmiany społeczno-gospodarcze są zjawiskiem złożonym, a w szczególności często trudno ustalić związek między działalnością badawczą a zaobserwowanymi wynikami i oddziaływaniem. Te metodologiczne trudności nie uniemożliwiają skutecznej oceny, chociaż dokonanie jej stanowi znaczne wyzwanie.

| 12. | Komisja posiada system monitorowania i oceny PR od lat 80. (11). Od czasu jego wprowadzenia w połowie lat 90. — w 4PR — system monitorowania i oceny składał się z szeregu częściowo powiązanych działań, takich jak:






  — | monitorowanie roczne (głównie odnoszące się do wdrożenia programu), |
| --- | --- | --- |

12.

Komisja posiada system monitorowania i oceny PR od lat 80. (11). Od czasu jego wprowadzenia w połowie lat 90. — w 4PR — system monitorowania i oceny składał się z szeregu częściowo powiązanych działań, takich jak:

—

monitorowanie roczne (głównie odnoszące się do wdrożenia programu),

| — | oceny pięcioletnie działań prowadzonych w ramach PR (oraz, od 6PR, dodatkowe oceny kwestii szczegółowych). |
| --- | --- |

—

oceny pięcioletnie działań prowadzonych w ramach PR (oraz, od 6PR, dodatkowe oceny kwestii szczegółowych).

Oba te działania musiały być realizowane z pomocą ekspertów zewnętrznych (zob. rysunek 2 i załącznik II).

Rysunek 2

4PR do 7PR — Główne wymogi w zakresie monitorowania i oceny

| 4PR (1995–1998) | 5PR (1999–2002) | 6PR (2003–2006) | 7PR (2007–2013) |
| --- | --- | --- | --- |
| Dwie oceny (śródokresowa i końcowa), każda obejmowała 20 podprogramów plus PR; ocena końcowa 4PR i ocena śródokresowa 5PR zachodzą na siebie | Dwie równoległe oceny (śródokresowe), każda obejmowała 7 programów szczegółowych plus PR | Jedna ocena obejmująca PR i jego trzy programy szczegółowe (śródokresowa), ale nie wszystkie 20 podprogramów, uzupełniona oceną szczegółową i regularnymi sprawozdaniami okresowymi (tj. monitorującymi) | Co najmniej pięć ocen (
  ex ante, śródokresowych i końcowych) w tym specjalne sprawozdanie(-a) okresowe przed oceną śródokresową |
| 1. | Ocena ex ante
  : nie |

4PR (1995–1998)

5PR (1999–2002)

6PR (2003–2006)

7PR (2007–2013)

Dwie oceny (śródokresowa i końcowa), każda obejmowała 20 podprogramów plus PR; ocena końcowa 4PR i ocena śródokresowa 5PR zachodzą na siebie

Dwie równoległe oceny (śródokresowe), każda obejmowała 7 programów szczegółowych plus PR

Jedna ocena obejmująca PR i jego trzy programy szczegółowe (śródokresowa), ale nie wszystkie 20 podprogramów, uzupełniona oceną szczegółową i regularnymi sprawozdaniami okresowymi (tj. monitorującymi)

Co najmniej pięć ocen (
  ex ante, śródokresowych i końcowych) w tym specjalne sprawozdanie(-a) okresowe przed oceną śródokresową

1.

Ocena ex ante
  : nie

| 1. | Ocena ex ante
  : nie |
| --- | --- |

1.

Ocena ex ante
  : nie

| 1. | Ocena ex ante
  : nie |
| --- | --- |

1.

Ocena ex ante
  : nie

| 1. | Ocena ex ante:

  włączona do dokumentu pt. „Ocena oddziaływania wniosku Komisji dotyczącego 7PR” (2005) |
| --- | --- |

1.

włączona do dokumentu pt. „Ocena oddziaływania wniosku Komisji dotyczącego 7PR” (2005)

| 2. | Ocena śródokresowa:






  — | ocena pięcioletnia: w połowie PR, przed kolejnym PR (1997) |
| --- | --- | --- |

2.

—

ocena pięcioletnia: w połowie PR, przed kolejnym PR (1997)

| 2. | Ocena śródokresowa:






  — | ocena pięcioletnia: przed przedstawieniem propozycji kolejnego PR (2000) |
| --- | --- | --- |

2.

—

ocena pięcioletnia: przed przedstawieniem propozycji kolejnego PR (2000)

| — | przegląd realizacji PR w połowie okresu (2001) |
| --- | --- |

—

przegląd realizacji PR w połowie okresu (2001)

| 2. | Ocena śródokresowa:






  — | ocena skuteczności instrumentów (2004) |
| --- | --- | --- |

2.

—

ocena skuteczności instrumentów (2004)

| — | ocena pięcioletnia, przed przedstawieniem propozycji kolejnego PR (2004) |
| --- | --- |

—

ocena pięcioletnia, przed przedstawieniem propozycji kolejnego PR (2004)

| — | regularne sprawozdania okresowe (tj. monitorujące) |
| --- | --- |

—

regularne sprawozdania okresowe (tj. monitorujące)

| 2. | Ocena śródokresowa:






  — | ex post, 2 lata po zakończeniu poprzedniego PR (2008) |
| --- | --- | --- |

2.

—

ex post, 2 lata po zakończeniu poprzedniego PR (2008)

| — | sprawozdanie okresowe przed oceną śródokresową (przed 2010) |
| --- | --- |

—

sprawozdanie okresowe przed oceną śródokresową (przed 2010)

| — | ocena śródokresowa (2010) |
| --- | --- |

—

ocena śródokresowa (2010)

| 3. | Ocena końcowa:






  — | po zakończeniu PR (1999) |
| --- | --- | --- |

3.

—

po zakończeniu PR (1999)

| 3. | Ocena końcowa:
  nie |
| --- | --- |

3.

nie

| 3. | Ocena końcowa:
  nie

  (zmieniona decyzją dotyczącą 7PR) |
| --- | --- |

3.

nie

(zmieniona decyzją dotyczącą 7PR)

| 3. | Ocena końcowa:
  dwa lata po zakończeniu PR (2015), oparta na sprawozdaniach oceniających, ocenie śródokresowej i innych działaniach oceniających prowadzonych w trakcie całego okresu realizacji PR |
| --- | --- |

3.

dwa lata po zakończeniu PR (2015), oparta na sprawozdaniach oceniających, ocenie śródokresowej i innych działaniach oceniających prowadzonych w trakcie całego okresu realizacji PR

Źródło: Zob. załącznik II.

| 13. | Do chwili obecnej przeprowadzono trzy oceny pięcioletnie (12), których owocem były sprawozdania Davignona, Majó i Ormali (opublikowane odpowiednio w latach 1997, 2000 i 2004). Ponadto DG ds. Społeczeństwa Informacyjnego i Mediów przeprowadziła oceny tematyczne prowadzonego przez siebie programu szczegółowego. Należy odnotować, że pięcioletnich ocen zaprzestano w 7PR, tym samym usuwając ograniczenie polegające na tym, że główne procesy oceny musiały się koncentrować na minionych pięciu latach i w rezultacie obejmować części dwóch następujących po sobie okresów programowania. W 2004 r. opublikowano także „sprawozdanie Marimóna” (13) — ocenę szczegółową skuteczności nowych instrumentów wprowadzonych w 6PR. |
| --- | --- |

13.

Do chwili obecnej przeprowadzono trzy oceny pięcioletnie (12), których owocem były sprawozdania Davignona, Majó i Ormali (opublikowane odpowiednio w latach 1997, 2000 i 2004). Ponadto DG ds. Społeczeństwa Informacyjnego i Mediów przeprowadziła oceny tematyczne prowadzonego przez siebie programu szczegółowego. Należy odnotować, że pięcioletnich ocen zaprzestano w 7PR, tym samym usuwając ograniczenie polegające na tym, że główne procesy oceny musiały się koncentrować na minionych pięciu latach i w rezultacie obejmować części dwóch następujących po sobie okresów programowania. W 2004 r. opublikowano także „sprawozdanie Marimóna” (13) — ocenę szczegółową skuteczności nowych instrumentów wprowadzonych w 6PR.

| 14. | W latach 2000 i 2002 dokonano przeglądu stosowanych przez Komisję ram oceny (14). Opublikowane w związku z tym przeglądem komunikaty zaktualizowano w 2007 r., aby uwzględnić skutki reformy administracyjnej Komisji oraz nowe rozporządzenie finansowe (15). W dokumentach tych przedstawiona jest rola i funkcja oceny w kontekście prowadzonego przez Komisję ogólnego cyklu planowania, programowania i sprawozdawczości; dokumenty te określają także 21 standardów przeprowadzania ocen i 18 modeli „dobrych praktyk”. Ponadto przedstawiono w nich wykorzystanie oceny w procesie przygotowywania i uproszczenia prawodawstwa UE. |
| --- | --- |

14.

W latach 2000 i 2002 dokonano przeglądu stosowanych przez Komisję ram oceny (14). Opublikowane w związku z tym przeglądem komunikaty zaktualizowano w 2007 r., aby uwzględnić skutki reformy administracyjnej Komisji oraz nowe rozporządzenie finansowe (15). W dokumentach tych przedstawiona jest rola i funkcja oceny w kontekście prowadzonego przez Komisję ogólnego cyklu planowania, programowania i sprawozdawczości; dokumenty te określają także 21 standardów przeprowadzania ocen i 18 modeli „dobrych praktyk”. Ponadto przedstawiono w nich wykorzystanie oceny w procesie przygotowywania i uproszczenia prawodawstwa UE.

ZAKRES KONTROLI I PODEJŚCIE KONTROLNE

15.

| 15. | Głównym celem kontroli było ustalenie, czy Komisja przyjęła odpowiednie podejście do oceny rezultatów programów ramowych BRT. |
| --- | --- |

Głównym celem kontroli było ustalenie, czy Komisja przyjęła odpowiednie podejście do oceny rezultatów programów ramowych BRT.

| 16. | W szczególności Trybunał zbadał, w jakim stopniu:






  — | istnieje jasna logika interwencji w PR i programach je tworzących, w odniesieniu do której można zmierzyć i ocenić ich produkty, wyniki i oddziaływanie i która może stanowić solidną podstawę oceny i monitorowania, |
| --- | --- | --- |

16.

W szczególności Trybunał zbadał, w jakim stopniu:

—

istnieje jasna logika interwencji w PR i programach je tworzących, w odniesieniu do której można zmierzyć i ocenić ich produkty, wyniki i oddziaływanie i która może stanowić solidną podstawę oceny i monitorowania,

| — | określono strategię oceny PR sprzyjającą skutecznej i spójnej ocenie, |
| --- | --- |

—

określono strategię oceny PR sprzyjającą skutecznej i spójnej ocenie,

| — | struktura organizacyjna systemu oceny gwarantuje, że ocena PR jest właściwie skoordynowana, przeznaczane są na nią odpowiednie zasoby i jest postrzegana przez zainteresowane strony jako wystarczająco niezależna, |
| --- | --- |

—

struktura organizacyjna systemu oceny gwarantuje, że ocena PR jest właściwie skoordynowana, przeznaczane są na nią odpowiednie zasoby i jest postrzegana przez zainteresowane strony jako wystarczająco niezależna,

| — | metodyka stosowana do celów oceny gwarantuje właściwe podejście do istotnych kwestii, dzięki czemu ocena jest postrzegana jako wiarygodna, oraz |
| --- | --- |

—

metodyka stosowana do celów oceny gwarantuje właściwe podejście do istotnych kwestii, dzięki czemu ocena jest postrzegana jako wiarygodna, oraz

| — | dzięki działaniom podejmowanym w ramach oceny i monitorowania uzyskiwane są informacje i analizy, które mogą być wykorzystane do poprawy trwających programów (programy „uczące się”) i przygotowania przyszłych PR. |
| --- | --- |

—

dzięki działaniom podejmowanym w ramach oceny i monitorowania uzyskiwane są informacje i analizy, które mogą być wykorzystane do poprawy trwających programów (programy „uczące się”) i przygotowania przyszłych PR.

| 17. | Niniejsze sprawozdanie dotyczy rozwiązań zastosowanych do 4PR (1995–1998), 5PR (1999–2002) oraz 6PR (2003–2006). Omówiono także wymogi prawne obecnie obowiązujące w ramach 7PR (2007–2013), ale nie przedstawiono oceny odnoszącej się do sporządzonej przez Komisję oceny wpływu i oceny ex ante 7PR (16). Sprawozdanie koncentruje się na monitorowaniu i ocenie ex post programów, a nie na ocenie ex ante wniosków projektowych czy ocenie ex post samych projektów. |
| --- | --- |

17.

Niniejsze sprawozdanie dotyczy rozwiązań zastosowanych do 4PR (1995–1998), 5PR (1999–2002) oraz 6PR (2003–2006). Omówiono także wymogi prawne obecnie obowiązujące w ramach 7PR (2007–2013), ale nie przedstawiono oceny odnoszącej się do sporządzonej przez Komisję oceny wpływu i oceny ex ante 7PR (16). Sprawozdanie koncentruje się na monitorowaniu i ocenie ex post programów, a nie na ocenie ex ante wniosków projektowych czy ocenie ex post samych projektów.

| 18. | Kontrolę przeprowadzono z udziałem Komisji Obrachunkowej EFTA oraz korzystając z pomocy ekspertów zewnętrznych. Dowody kontroli uzyskano w następujący sposób:






  — | prowadząc prace kontrolne w Komisji (przegląd dokumentacji oraz rozmowy w personelem), obejmujące identyfikację wymogów prawnych, przegląd celów i kryteriów wyników, analizę ponad 80 sprawozdań monitorujących i sprawozdań z oceny oraz analizę organizacji działań podejmowanych przez Komisję w ramach oceny, |
| --- | --- | --- |

18.

Kontrolę przeprowadzono z udziałem Komisji Obrachunkowej EFTA oraz korzystając z pomocy ekspertów zewnętrznych. Dowody kontroli uzyskano w następujący sposób:

—

prowadząc prace kontrolne w Komisji (przegląd dokumentacji oraz rozmowy w personelem), obejmujące identyfikację wymogów prawnych, przegląd celów i kryteriów wyników, analizę ponad 80 sprawozdań monitorujących i sprawozdań z oceny oraz analizę organizacji działań podejmowanych przez Komisję w ramach oceny,

| — | przeprowadzając rozmowy z ponad 90 ekspertami zidentyfikowanymi jako zainteresowane strony w państwach członkowskich i krajach stowarzyszonych (Republika Czeska, Niemcy, Estonia, Hiszpania, Francja, Włochy, Luksemburg, Niderlandy, Austria, Finlandia, Szwecja, Zjednoczone Królestwo i Norwegia), |
| --- | --- |

—

przeprowadzając rozmowy z ponad 90 ekspertami zidentyfikowanymi jako zainteresowane strony w państwach członkowskich i krajach stowarzyszonych (Republika Czeska, Niemcy, Estonia, Hiszpania, Francja, Włochy, Luksemburg, Niderlandy, Austria, Finlandia, Szwecja, Zjednoczone Królestwo i Norwegia),

| — | poprzez ankiety wśród zainteresowanych instytucji: w Komisji ITRE (17) Parlamentu Europejskiego oraz w Komitecie CREST (18) Rady, |
| --- | --- |

—

poprzez ankiety wśród zainteresowanych instytucji: w Komisji ITRE (17) Parlamentu Europejskiego oraz w Komitecie CREST (18) Rady,

| — | prowadząc konsultacje z ponad 65 ekspertami w dziedzinie oceny badań w USA i Kanadzie jako międzynarodową grupą porównawczą, |
| --- | --- |

—

prowadząc konsultacje z ponad 65 ekspertami w dziedzinie oceny badań w USA i Kanadzie jako międzynarodową grupą porównawczą,

| — | dokonując przeglądu literatury akademickiej na temat aktualnych trendów w ocenie badań, oraz |
| --- | --- |

—

dokonując przeglądu literatury akademickiej na temat aktualnych trendów w ocenie badań, oraz

| — | omawiając ustalenia, wnioski i zalecenia kontroli z ekspertami z Europy i Ameryki Północnej w dziedzinie oceny badań podczas zogniskowanych wywiadów grupowych z udziałem moderatora w lutym 2007 r. |
| --- | --- |

—

omawiając ustalenia, wnioski i zalecenia kontroli z ekspertami z Europy i Ameryki Północnej w dziedzinie oceny badań podczas zogniskowanych wywiadów grupowych z udziałem moderatora w lutym 2007 r.

UWAGI POKONTROLNE

Logika interwencji, wyznaczanie celów i wskaźniki wykonania

| 19. | Skuteczna ocena i monitoring wymagają określenia jasnych celów i odpowiednich wskaźników wykonania na poziomie polityki, programu i projektu, poprzez odniesienie do których można ocenić rezultaty interwencji publicznej. Dobre praktyki w innych dziedzinach budżetowych UE oraz w innych obszarach wskazują, że te cele i wskaźniki powinny być określone w ramach logiki interwencji. |
| --- | --- |

19.

Skuteczna ocena i monitoring wymagają określenia jasnych celów i odpowiednich wskaźników wykonania na poziomie polityki, programu i projektu, poprzez odniesienie do których można ocenić rezultaty interwencji publicznej. Dobre praktyki w innych dziedzinach budżetowych UE oraz w innych obszarach wskazują, że te cele i wskaźniki powinny być określone w ramach logiki interwencji.

| 20. | Logikę interwencji można zdefiniować jako zespół hipotetycznych powiązań przyczynowo-skutkowych, które opisują, w jaki sposób mają zostać osiągnięte ogólne cele interwencji (19). W wytycznych Komisji dotyczących oceny stwierdza się, że logika interwencji stanowi „ogniwo koncepcyjne łączące wkład interwencji z jej produktami, następnie jej oddziaływaniem społecznym poprzez jej rezultaty i wyniki” (20). W niniejszym sprawozdaniu korzystano z powyższej definicji. |
| --- | --- |

20.

Logikę interwencji można zdefiniować jako zespół hipotetycznych powiązań przyczynowo-skutkowych, które opisują, w jaki sposób mają zostać osiągnięte ogólne cele interwencji (19). W wytycznych Komisji dotyczących oceny stwierdza się, że logika interwencji stanowi „ogniwo koncepcyjne łączące wkład interwencji z jej produktami, następnie jej oddziaływaniem społecznym poprzez jej rezultaty i wyniki” (20). W niniejszym sprawozdaniu korzystano z powyższej definicji.

| 21. | Trybunał zbadał, w jakim stopniu w PR i programach je tworzących istniała logika interwencji, stanowiąca solidną podstawę do przeprowadzenia oceny i monitoringu. |
| --- | --- |

21.

Trybunał zbadał, w jakim stopniu w PR i programach je tworzących istniała logika interwencji, stanowiąca solidną podstawę do przeprowadzenia oceny i monitoringu.

Logika interwencji w PR nie była jasna

| 22. | Określenie logiki interwencji powinno być od samego początku kluczowym elementem koncepcji programu. Artykuł 163 Traktatu, w którym mowa jest o potrzebie wzmocnienia podstaw naukowych i technologicznych i zwiększenia konkurencyjności, powinien być punktem wyjścia do opracowania logiki interwencji dla PR (zob. pkt 2). Tę kwestię należy określić bardziej szczegółowo w odniesieniu do różnych dziedzin naukowych objętych PR i różnych wykorzystywanych instrumentów. |
| --- | --- |

22.

Określenie logiki interwencji powinno być od samego początku kluczowym elementem koncepcji programu. Artykuł 163 Traktatu, w którym mowa jest o potrzebie wzmocnienia podstaw naukowych i technologicznych i zwiększenia konkurencyjności, powinien być punktem wyjścia do opracowania logiki interwencji dla PR (zob. pkt 2). Tę kwestię należy określić bardziej szczegółowo w odniesieniu do różnych dziedzin naukowych objętych PR i różnych wykorzystywanych instrumentów.

| 23. | Niemniej jednak na wszystkich poziomach brakuje jasnego modelu logicznego przedstawiającego, w jaki sposób PR i tworzące jej programy przyczyniają się do postępu naukowo-technicznego i do zwiększania innowacyjności. |
| --- | --- |

23.

Niemniej jednak na wszystkich poziomach brakuje jasnego modelu logicznego przedstawiającego, w jaki sposób PR i tworzące jej programy przyczyniają się do postępu naukowo-technicznego i do zwiększania innowacyjności.

| 24. | Brak logiki interwencji w PR został także podkreślony przez zespół ds. oceny pięcioletniej przeprowadzanej w 2004 r., który stwierdził, co następuje: „(...) od zespołów takich jak nasz oczekuje się, że wypełnią lukę między, z jednej strony, dowodami zgromadzonymi głównie na poziomie projektów, a z drugiej strony, ogólnymi społeczno-gospodarczymi celami polityki badań naukowych. Jednak obecnie trudno jest o stworzenie takiego powiązania z uwagi na sposób planowania PR. Brakuje w nim jasnych powiązań logicznych między najbardziej ogólnymi celami a szczegółowymi celami w zakresie badań naukowych i zdobywania wiedzy” (21). |
| --- | --- |

24.

Brak logiki interwencji w PR został także podkreślony przez zespół ds. oceny pięcioletniej przeprowadzanej w 2004 r., który stwierdził, co następuje: „(...) od zespołów takich jak nasz oczekuje się, że wypełnią lukę między, z jednej strony, dowodami zgromadzonymi głównie na poziomie projektów, a z drugiej strony, ogólnymi społeczno-gospodarczymi celami polityki badań naukowych. Jednak obecnie trudno jest o stworzenie takiego powiązania z uwagi na sposób planowania PR. Brakuje w nim jasnych powiązań logicznych między najbardziej ogólnymi celami a szczegółowymi celami w zakresie badań naukowych i zdobywania wiedzy” (21).

| 25. | Inne podejście przyjęły niektóre państwa członkowskie (np. Niderlandy i Finlandia) oraz USA (zob. rysunek 3), gdzie określanie logiki interwencji jest o wiele bardziej rozpowszechnioną praktyką, a także Kanada, gdzie jest ono obowiązkowym elementem programów (zob. załącznik III). Uwzględnianie przez te państwa logiki interwencji w koncepcji programów poprawia ich ukierunkowanie i strukturę. Komisja wprowadza także logikę interwencji w innych obszarach polityki Wspólnoty (np. w zakresie pomocy zewnętrznej) (22).
  Rysunek 3
  Określenie hierarchii celów na podstawie modeli logicznych — na przykładzie prowadzonych w USA badań naukowych w dziedzinie rolnictwa








  Polityka | Programm | Projekt |
| --- | --- | --- | --- |
| Cel polityki
  : przyczynić się do poprawy poziomu życia rodzin rolniczych | | |
| Cel
  : zwiększyć produkcję rolną, produktywność i dochody gospodarstw rolnych | Cel programu
  : przyczynić się do zwiększenia produkcji rolnej, produktywności i dochodów gospodarstw rolnych | |
| Oczekiwany rezultat
  : zwiększenie wykorzystania nowoczesnych technik rolniczych wśród rolników objętych interwencją | Cel
  : zwiększenie wykorzystania nowoczesnych technik rolniczych wśród rolników (np. w sektorze ryżu) | Cel projektu
  : przyczynić się do zwiększenia stopnia wykorzystania zalecanych nowoczesnych technik |
| | Oczekiwany rezultat
  : przedstawienie rolnikom objętym interwencją zaleceń | Cel
  : przedstawienie zaleceń dotyczących nowoczesnych technik, które byłyby przydatne rolnikom objętym interwencją |
| | | Oczekiwany rezultat (np.):








  1. | określenie technik na podstawie priorytetów zgłoszonych przez rolników |

25.

Inne podejście przyjęły niektóre państwa członkowskie (np. Niderlandy i Finlandia) oraz USA (zob. rysunek 3), gdzie określanie logiki interwencji jest o wiele bardziej rozpowszechnioną praktyką, a także Kanada, gdzie jest ono obowiązkowym elementem programów (zob. załącznik III). Uwzględnianie przez te państwa logiki interwencji w koncepcji programów poprawia ich ukierunkowanie i strukturę. Komisja wprowadza także logikę interwencji w innych obszarach polityki Wspólnoty (np. w zakresie pomocy zewnętrznej) (22).

Rysunek 3

Określenie hierarchii celów na podstawie modeli logicznych — na przykładzie prowadzonych w USA badań naukowych w dziedzinie rolnictwa

Polityka

Programm

Projekt

Cel polityki
  : przyczynić się do poprawy poziomu życia rodzin rolniczych

Cel
  : zwiększyć produkcję rolną, produktywność i dochody gospodarstw rolnych

Cel programu
  : przyczynić się do zwiększenia produkcji rolnej, produktywności i dochodów gospodarstw rolnych

Oczekiwany rezultat
  : zwiększenie wykorzystania nowoczesnych technik rolniczych wśród rolników objętych interwencją

Cel
  : zwiększenie wykorzystania nowoczesnych technik rolniczych wśród rolników (np. w sektorze ryżu)

Cel projektu
  : przyczynić się do zwiększenia stopnia wykorzystania zalecanych nowoczesnych technik

Oczekiwany rezultat
  : przedstawienie rolnikom objętym interwencją zaleceń

Cel
  : przedstawienie zaleceń dotyczących nowoczesnych technik, które byłyby przydatne rolnikom objętym interwencją

Oczekiwany rezultat (np.):

1.

określenie technik na podstawie priorytetów zgłoszonych przez rolników

| 2. | opracowanie i dostosowanie technik |
| --- | --- |

2.

opracowanie i dostosowanie technik

| 3. | zweryfikowanie technik w praktyce na gruntach rolników |
| --- | --- |

3.

zweryfikowanie technik w praktyce na gruntach rolników

Quelle:
  Źródlo: Narodowa Rada Badań Rolniczych USA (US National Agricultural Research Council).

| 26. | Nieprzedstawienie przesłanek podjęcia interwencji publicznej oraz zakładanych powiązań przyczynowo-skutkowych (według których program jest następnie szczegółowo planowany, realizowany i oceniany) obniża skuteczność oceny i monitorowania PR. Problem ten wynika w głównej mierze ze sposobu określania celów programu oraz wskaźników wykonania. |
| --- | --- |

26.

Nieprzedstawienie przesłanek podjęcia interwencji publicznej oraz zakładanych powiązań przyczynowo-skutkowych (według których program jest następnie szczegółowo planowany, realizowany i oceniany) obniża skuteczność oceny i monitorowania PR. Problem ten wynika w głównej mierze ze sposobu określania celów programu oraz wskaźników wykonania.

Brak jasnego modelu logicznego utrudnia określenie spójnych celów programu

| 27. | Nieprzedstawienie w sposób jasny przesłanek podjęcia interwencji publicznej utrudnia spójne określenie i ustrukturyzowanie celów programu. Stwierdzenie to ilustrują następujące fakty:






  — | nie jest jasne, w jaki sposób cele programów w PR łączą się z celami polityki, takimi jak ogólny cel zapisany w art. 163 Traktatu, cele zawarte w strategii lizbońskiej oraz deklaracji barcelońskiej (zob. pkt 2 i 7), |
| --- | --- | --- |

27.

Nieprzedstawienie w sposób jasny przesłanek podjęcia interwencji publicznej utrudnia spójne określenie i ustrukturyzowanie celów programu. Stwierdzenie to ilustrują następujące fakty:

—

nie jest jasne, w jaki sposób cele programów w PR łączą się z celami polityki, takimi jak ogólny cel zapisany w art. 163 Traktatu, cele zawarte w strategii lizbońskiej oraz deklaracji barcelońskiej (zob. pkt 2 i 7),

| — | związek między celami poszczególnych programów, zarówno na różnych poziomach legislacyjnych (takich jak decyzje dotyczące PR oraz decyzje dotyczące programów szczegółowych i zasady uczestnictwa i upowszechniania wyników badań), jak i między podstawowymi aktami i programami prac Komisji, nie zawsze jest widoczny. |
| --- | --- |

—

związek między celami poszczególnych programów, zarówno na różnych poziomach legislacyjnych (takich jak decyzje dotyczące PR oraz decyzje dotyczące programów szczegółowych i zasady uczestnictwa i upowszechniania wyników badań), jak i między podstawowymi aktami i programami prac Komisji, nie zawsze jest widoczny.

| 28. | Komisja próbowała określić cele operacyjne w programach prac na podstawie celów programów, które zostały zdefiniowane w aktach prawnych dotyczących PR. Jednak prawie w żadnym przypadku inicjatywy te nie doprowadziły do objaśnienia logiki leżącej u podstaw programów, a cele określone w programach prac nie były zdefiniowane, mierzalne, osiągalne, odpowiednie i określone w czasie. Tymczasem w 2003 r. stało się to wymogiem prawnym na mocy rozporządzenia finansowego (23). |
| --- | --- |

28.

Komisja próbowała określić cele operacyjne w programach prac na podstawie celów programów, które zostały zdefiniowane w aktach prawnych dotyczących PR. Jednak prawie w żadnym przypadku inicjatywy te nie doprowadziły do objaśnienia logiki leżącej u podstaw programów, a cele określone w programach prac nie były zdefiniowane, mierzalne, osiągalne, odpowiednie i określone w czasie. Tymczasem w 2003 r. stało się to wymogiem prawnym na mocy rozporządzenia finansowego (23).

| 29. | Niejasne jest, w jakim stopniu można prześledzić cele polityki poprzez poziom programów szczegółowych, programów prac i procedur konkursowych, aż do poszczególnych projektów współfinansowanych przez Wspólnotę. Jeżeli te powiązania nie staną się jasne, nie będzie można ocenić wkładu PR i programów je tworzących w osiągnięcie tych celów polityki. W wyniku kontroli ustalono, że w swoich ocenach Komisja przedstawiła niewiele lub nie przedstawiła żadnych przekonywających dowodów na osiągnięcie długoterminowych celów, zarówno na poziomie projektów, jak i programów (zob. pkt 82). |
| --- | --- |

29.

Niejasne jest, w jakim stopniu można prześledzić cele polityki poprzez poziom programów szczegółowych, programów prac i procedur konkursowych, aż do poszczególnych projektów współfinansowanych przez Wspólnotę. Jeżeli te powiązania nie staną się jasne, nie będzie można ocenić wkładu PR i programów je tworzących w osiągnięcie tych celów polityki. W wyniku kontroli ustalono, że w swoich ocenach Komisja przedstawiła niewiele lub nie przedstawiła żadnych przekonywających dowodów na osiągnięcie długoterminowych celów, zarówno na poziomie projektów, jak i programów (zob. pkt 82).

Brak jasnej logiki interwencji i jasnych celów utrudnia opracowanie wskaźników wykonania

| 30. | Brak jasnego modelu logicznego oraz wyraźnie nakreślonych celów programów utrudnił także opracowanie wskaźników wykonania wykorzystywanych do monitorowania osiągnięcia celów programu w zakresie jego produktów, wyników i oddziaływania, i to do tego stopnia, że do chwili obecnej nie opracowano żadnych takich wskaźników „skuteczności” dla programów ramowych (zob. pkt 73). |
| --- | --- |

30.

Brak jasnego modelu logicznego oraz wyraźnie nakreślonych celów programów utrudnił także opracowanie wskaźników wykonania wykorzystywanych do monitorowania osiągnięcia celów programu w zakresie jego produktów, wyników i oddziaływania, i to do tego stopnia, że do chwili obecnej nie opracowano żadnych takich wskaźników „skuteczności” dla programów ramowych (zob. pkt 73).

| 31. | W tej sytuacji przegląd trwających projektów finansowanych w ramach tych programów oraz ocena ex post zakończonych projektów są także utrudnione, co zwiększa trudności w agregowaniu ocen z poziomu poszczególnych projektów na poziomie programu (zob. załącznik I oraz pkt 84). |
| --- | --- |

31.

W tej sytuacji przegląd trwających projektów finansowanych w ramach tych programów oraz ocena ex post zakończonych projektów są także utrudnione, co zwiększa trudności w agregowaniu ocen z poziomu poszczególnych projektów na poziomie programu (zob. załącznik I oraz pkt 84).

ABB/ABM w postaci obecnie wdrożonej stanowi nieodpowiedni instrument pomiaru wyników PR

| 32. | Niektóre wskaźniki, które monitorują wydajność wdrażania programu (np. czas oczekiwania na kontrakt, czas oczekiwania na płatność), znajdują się w rocznych sprawozdaniach monitorujących Komisji, a także w kontekście systemu zarządzania zadaniowego (ABM) Komisji. |
| --- | --- |

32.

Niektóre wskaźniki, które monitorują wydajność wdrażania programu (np. czas oczekiwania na kontrakt, czas oczekiwania na płatność), znajdują się w rocznych sprawozdaniach monitorujących Komisji, a także w kontekście systemu zarządzania zadaniowego (ABM) Komisji.

| 33. | Jednakże do tej pory „dyrekcje badawcze”, nawet wdrażając ten sam program szczegółowy (lub podprogram), nie stosują ustandaryzowanej lub porównywalnej nomenklatury budżetu zadaniowego (ABB) i związanych z nią wskaźników. Z tego względu wskaźników tych nie można wykorzystać do porównania wyników programów, a także wyników w ramach tego samego programu.

  Ramka 2ABB/ABM obecnie funkcjonujący w „dyrekcjach badawczych”W systemie ABB/ABM, programy ramowe są objęte dwoma różnymi obszarami polityki, w których działania podejmowane w ramach PR są przedstawiane z zastosowaniem różnej nomenklatury specyficznej dla danej DG (24). Dzieje się tak również w tych szczegółowych programach i podprogramach, które są wdrażane przez więcej niż jedną DG. Cele ABM zostały określone na podstawie różnych zasad (25) i, jak wskazała to Służba Audytu Wewnętrznego Komisji (26), były przeważnie sformułowane w sposób ogólny i opisywały aspiracje lub działania. Wskaźniki na ogół odnosiły się do wkładu (np. liczba spotkań itp.). Niektóre dotyczyły wydajności (np. czas oczekiwania na kontrakt, czas oczekiwania na płatność), ale nie były porównywalne między programami i poszczególnymi DG z uwagi na różnice w nomenklaturze ABB, w uregulowaniach specyficznych dla poszczególnych DG (takich jak rozpoczęcie i zakończenie określonych procedur administracyjnych) oraz w populacji (np. rodzaj umowy dotacji, rodzaj płatności), która została wykorzystana do ich obliczenia. |
| --- | --- |

33.

Jednakże do tej pory „dyrekcje badawcze”, nawet wdrażając ten sam program szczegółowy (lub podprogram), nie stosują ustandaryzowanej lub porównywalnej nomenklatury budżetu zadaniowego (ABB) i związanych z nią wskaźników. Z tego względu wskaźników tych nie można wykorzystać do porównania wyników programów, a także wyników w ramach tego samego programu.

Ramka 2ABB/ABM obecnie funkcjonujący w „dyrekcjach badawczych”W systemie ABB/ABM, programy ramowe są objęte dwoma różnymi obszarami polityki, w których działania podejmowane w ramach PR są przedstawiane z zastosowaniem różnej nomenklatury specyficznej dla danej DG (24). Dzieje się tak również w tych szczegółowych programach i podprogramach, które są wdrażane przez więcej niż jedną DG. Cele ABM zostały określone na podstawie różnych zasad (25) i, jak wskazała to Służba Audytu Wewnętrznego Komisji (26), były przeważnie sformułowane w sposób ogólny i opisywały aspiracje lub działania. Wskaźniki na ogół odnosiły się do wkładu (np. liczba spotkań itp.). Niektóre dotyczyły wydajności (np. czas oczekiwania na kontrakt, czas oczekiwania na płatność), ale nie były porównywalne między programami i poszczególnymi DG z uwagi na różnice w nomenklaturze ABB, w uregulowaniach specyficznych dla poszczególnych DG (takich jak rozpoczęcie i zakończenie określonych procedur administracyjnych) oraz w populacji (np. rodzaj umowy dotacji, rodzaj płatności), która została wykorzystana do ich obliczenia.

Zalecenia

34.

| 34. | W przyszłych wnioskach legislacyjnych kierowanych do Rady i Parlamentu Europejskiego Komisja powinna określać jasną logikę interwencji dla PR jako całości oraz dla jego części składowych. |
| --- | --- |

W przyszłych wnioskach legislacyjnych kierowanych do Rady i Parlamentu Europejskiego Komisja powinna określać jasną logikę interwencji dla PR jako całości oraz dla jego części składowych.

| 35. | Odnośnie do 7PR, Komisja powinna:






  — | jasno przedstawić cele PR i tworzących je programów szczegółowych (i podprogramów) oraz sposoby ich osiągnięcia, |
| --- | --- | --- |

35.

Odnośnie do 7PR, Komisja powinna:

—

jasno przedstawić cele PR i tworzących je programów szczegółowych (i podprogramów) oraz sposoby ich osiągnięcia,

| — | wyjaśnić powiązanie między naukowymi oraz społeczno-gospodarczymi celami każdego programu szczegółowego (i podprogramu), oraz |
| --- | --- |

—

wyjaśnić powiązanie między naukowymi oraz społeczno-gospodarczymi celami każdego programu szczegółowego (i podprogramu), oraz

| — | określić odpowiednie cele operacyjne. |
| --- | --- |

—

określić odpowiednie cele operacyjne.

| 36. | Do celów swojego systemu monitorowania 7PR Komisja powinna opracować ograniczony liczbowo, acz wyważony, zestaw wskaźników wykonania mierzących „wydajność” i „skuteczność” wdrożenia w odniesieniu do każdego programu szczegółowego (i podprogramu). |
| --- | --- |

36.

Do celów swojego systemu monitorowania 7PR Komisja powinna opracować ograniczony liczbowo, acz wyważony, zestaw wskaźników wykonania mierzących „wydajność” i „skuteczność” wdrożenia w odniesieniu do każdego programu szczegółowego (i podprogramu).

| 37. | „Dyrekcje badawcze” powinny zharmonizować swoją nomenklaturę ABM/ABB, aby umożliwić porównywalność wskaźników wykonania zarówno w czasie, jak i, w miarę możliwości, między programami szczegółowymi (i podprogramami). |
| --- | --- |

37.

„Dyrekcje badawcze” powinny zharmonizować swoją nomenklaturę ABM/ABB, aby umożliwić porównywalność wskaźników wykonania zarówno w czasie, jak i, w miarę możliwości, między programami szczegółowymi (i podprogramami).

Strategia oceny

| 38. | Strategia oceny stanowi ramy koncepcyjne służące do opracowania założeń, planowania, realizacji i wykorzystania działań związanych z oceną. Dobre praktyki w innych dziedzinach budżetowych UE oraz w innych obszarach wskazują, że taka strategia powinna uwzględniać najważniejsze prawne, organizacyjne i metodologiczne aspekty związane z oceną programu. Dotyczą one następujących kwestii: jakie oceny należy przeprowadzić, kto i kiedy je przeprowadzi, jak będą gromadzone dane, jakie zostanie przyjęte podejście metodologiczne oraz w jaki sposób będą przedstawione ustalenia i jak będzie wyglądać monitorowanie działań następczych. |
| --- | --- |

38.

Strategia oceny stanowi ramy koncepcyjne służące do opracowania założeń, planowania, realizacji i wykorzystania działań związanych z oceną. Dobre praktyki w innych dziedzinach budżetowych UE oraz w innych obszarach wskazują, że taka strategia powinna uwzględniać najważniejsze prawne, organizacyjne i metodologiczne aspekty związane z oceną programu. Dotyczą one następujących kwestii: jakie oceny należy przeprowadzić, kto i kiedy je przeprowadzi, jak będą gromadzone dane, jakie zostanie przyjęte podejście metodologiczne oraz w jaki sposób będą przedstawione ustalenia i jak będzie wyglądać monitorowanie działań następczych.

| 39. | Stworzenie takiej strategii i zagwarantowanie jej realizacji warunkuje włączenie oceny w kulturę organizacyjną i proces podejmowania decyzji w Komisji. Trybunał uznaje jednak, że z uwagi na różnorodność dziedzin naukowych objętych PR strategia taka powinna pozostawiać zaangażowanym DG odpowiedni margines swobody i nie powinna być nazbyt sztywno określona. |
| --- | --- |

39.

Stworzenie takiej strategii i zagwarantowanie jej realizacji warunkuje włączenie oceny w kulturę organizacyjną i proces podejmowania decyzji w Komisji. Trybunał uznaje jednak, że z uwagi na różnorodność dziedzin naukowych objętych PR strategia taka powinna pozostawiać zaangażowanym DG odpowiedni margines swobody i nie powinna być nazbyt sztywno określona.

| 40. | Trybunał zbadał, w jakim stopniu Komisja dysponowała taką strategią oceny PR. |
| --- | --- |

40.

Trybunał zbadał, w jakim stopniu Komisja dysponowała taką strategią oceny PR.

Brak kompleksowej strategii oceny PR

| 41. | Komisja ogłosiła po raz pierwszy swoje podejście do oceny PR w latach 80. (27). Zostało ono zaktualizowane w 1996 r., kiedy to Komisja poinformowała Parlament Europejski i Radę o odpowiednich w jej opinii zasadach monitorowania i oceny oraz określiła planowane podejście w tym zakresie, które zamierzała stosować w następstwie przyjęcia 4PR (28). Nie była to jednak kompleksowa strategia oceny, opisana powyżej (zob. pkt 38 i 39). Ponadto od 1996 r. do 2006 r. Komisja nie zrewidowała zasadniczo swojego podejścia do oceny 5PR i 6PR, pomimo że programy ramowe zmieniły się zarówno pod względem swojego zakresu, jak i orientacji (zob. pkt 7). W szczególności „dyrekcje badawcze” nie uzgodniły spójnego podejścia do oceny PR i tworzących je programów, wykraczającego poza wymogi prawne przyjęte w 1999 r. (dla 5PR), w 2002 r. (dla 6PR) i 2006 r. (dla 7PR) (29). |
| --- | --- |

41.

Komisja ogłosiła po raz pierwszy swoje podejście do oceny PR w latach 80. (27). Zostało ono zaktualizowane w 1996 r., kiedy to Komisja poinformowała Parlament Europejski i Radę o odpowiednich w jej opinii zasadach monitorowania i oceny oraz określiła planowane podejście w tym zakresie, które zamierzała stosować w następstwie przyjęcia 4PR (28). Nie była to jednak kompleksowa strategia oceny, opisana powyżej (zob. pkt 38 i 39). Ponadto od 1996 r. do 2006 r. Komisja nie zrewidowała zasadniczo swojego podejścia do oceny 5PR i 6PR, pomimo że programy ramowe zmieniły się zarówno pod względem swojego zakresu, jak i orientacji (zob. pkt 7). W szczególności „dyrekcje badawcze” nie uzgodniły spójnego podejścia do oceny PR i tworzących je programów, wykraczającego poza wymogi prawne przyjęte w 1999 r. (dla 5PR), w 2002 r. (dla 6PR) i 2006 r. (dla 7PR) (29).

| 42. | W obecnym okresie programowania brak takiego strategicznego podejścia do oceny w tym obszarze stanowi szczególny problem ze względu na wspólne wdrażanie 7PR przez kilka DG, Europejską Radę ds. Badań Naukowych i agencje wykonawcze oraz obowiązkową rotację pracowników na „wrażliwych” stanowiskach, wprowadzoną przez rozporządzenie finansowe. Stoi to także w sprzeczności z obecną praktyką w zakresie pomocy zewnętrznej (która stanowi drugi co do wielkości obszar objęty zarządzaniem bezpośrednim przez Komisję). W tym obszarze właściwe DG od 2002 r. uzgodniły wspólne wieloletnie strategie oceny odnoszące się do okresów programowania (zob. pkt 52). |
| --- | --- |

42.

W obecnym okresie programowania brak takiego strategicznego podejścia do oceny w tym obszarze stanowi szczególny problem ze względu na wspólne wdrażanie 7PR przez kilka DG, Europejską Radę ds. Badań Naukowych i agencje wykonawcze oraz obowiązkową rotację pracowników na „wrażliwych” stanowiskach, wprowadzoną przez rozporządzenie finansowe. Stoi to także w sprzeczności z obecną praktyką w zakresie pomocy zewnętrznej (która stanowi drugi co do wielkości obszar objęty zarządzaniem bezpośrednim przez Komisję). W tym obszarze właściwe DG od 2002 r. uzgodniły wspólne wieloletnie strategie oceny odnoszące się do okresów programowania (zob. pkt 52).

| 43. | Ten brak jasno sformułowanej strategii oceny kontrastuje także silnie z sytuacją w USA i Kanadzie, gdzie ramy regulacyjne wymagają opracowania strategii (zob. załącznik III). |
| --- | --- |

43.

Ten brak jasno sformułowanej strategii oceny kontrastuje także silnie z sytuacją w USA i Kanadzie, gdzie ramy regulacyjne wymagają opracowania strategii (zob. załącznik III).

| 44. | Jak przedstawiono poniżej, w zakresie i intensywności oceny poszczególnych PR występują znaczące różnice. Występowały też inne problemy, omawiane w dalszej części niniejszego sprawozdania, takie jak problemy w zakresie koordynacji, różnice w podejściach metodologicznych, problemy związane z terminarzem, niedociągnięcia w zakresie komunikacji i monitorowania działań podejmowanych w związku z ustaleniami poczynionymi w ramach oceny. Wynikają one z braku kompleksowej strategii oceny PR. |
| --- | --- |

44.

Jak przedstawiono poniżej, w zakresie i intensywności oceny poszczególnych PR występują znaczące różnice. Występowały też inne problemy, omawiane w dalszej części niniejszego sprawozdania, takie jak problemy w zakresie koordynacji, różnice w podejściach metodologicznych, problemy związane z terminarzem, niedociągnięcia w zakresie komunikacji i monitorowania działań podejmowanych w związku z ustaleniami poczynionymi w ramach oceny. Wynikają one z braku kompleksowej strategii oceny PR.

Różnice między PR w zakresie i intensywności oceny

| 45. | PR składają się z szeregu programów szczegółowych (i podprogramów), które mogą znacząco się różnić pod względem swojego celu, dynamiki i przyznanych środków budżetowych (informacje nt. 7PR, zob. załącznik IV). Z całości przepisów różnych decyzji dotyczących PR oraz rozporządzenia finansowego (30) (które wymaga oceny programów i działań wiążących się ze znacznymi wydatkami) wynika, że prawny wymóg oceny zarówno PR jako całości, jak i większości tworzących je programów szczegółowych, istnieje od 4PR. |
| --- | --- |

45.

PR składają się z szeregu programów szczegółowych (i podprogramów), które mogą znacząco się różnić pod względem swojego celu, dynamiki i przyznanych środków budżetowych (informacje nt. 7PR, zob. załącznik IV). Z całości przepisów różnych decyzji dotyczących PR oraz rozporządzenia finansowego (30) (które wymaga oceny programów i działań wiążących się ze znacznymi wydatkami) wynika, że prawny wymóg oceny zarówno PR jako całości, jak i większości tworzących je programów szczegółowych, istnieje od 4PR.

| 46. | Komisja nie wprowadziła zasady określającej, kiedy programy szczegółowe PR lub podprogramy mają być oceniane, ani nie wprowadziła wspólnego progu, powyżej którego taka ocena musi być przeprowadzana. Doprowadziło to do niespójnych interpretacji dotyczących tego, co podlega ocenie i na jakim poziomie szczegółowości:






  — | DG ds. Społeczeństwa Informacyjnego i Mediów zaliczyła program IST do grupy głównych programów wydatkowania i zorganizowała jego pełną pięcioletnią ocenę w 2004 r., równolegle do oceny prowadzonej dla PR jako całości, |
| --- | --- | --- |

46.

Komisja nie wprowadziła zasady określającej, kiedy programy szczegółowe PR lub podprogramy mają być oceniane, ani nie wprowadziła wspólnego progu, powyżej którego taka ocena musi być przeprowadzana. Doprowadziło to do niespójnych interpretacji dotyczących tego, co podlega ocenie i na jakim poziomie szczegółowości:

—

DG ds. Społeczeństwa Informacyjnego i Mediów zaliczyła program IST do grupy głównych programów wydatkowania i zorganizowała jego pełną pięcioletnią ocenę w 2004 r., równolegle do oceny prowadzonej dla PR jako całości,

| — | DG ds. Badań Naukowych nie organizowała systematycznie takiej oceny na poziomie programów szczegółowych, pomimo że budżety kilku programów, za które odpowiadała, były podobnej wielkości co program IST. |
| --- | --- |

—

DG ds. Badań Naukowych nie organizowała systematycznie takiej oceny na poziomie programów szczegółowych, pomimo że budżety kilku programów, za które odpowiadała, były podobnej wielkości co program IST.

| 47. | W rezultacie, jeżeli chodzi o ocenę pięcioletnią przeprowadzoną w roku 2004, znaczne części 4PR i 5PR (odpowiadające 30 % wszystkich środków budżetowych na 4PR i 50 % na 5PR) nie zostały w ogóle objęte oceną. Oznacza to, że Komisja nie wypełniła wymogów oceny określonych w art. 27 rozporządzenia finansowego. |
| --- | --- |

47.

W rezultacie, jeżeli chodzi o ocenę pięcioletnią przeprowadzoną w roku 2004, znaczne części 4PR i 5PR (odpowiadające 30 % wszystkich środków budżetowych na 4PR i 50 % na 5PR) nie zostały w ogóle objęte oceną. Oznacza to, że Komisja nie wypełniła wymogów oceny określonych w art. 27 rozporządzenia finansowego.

| 48. | Te rozbieżne interpretacje minimalnych wymogów prawnych odnoszących się do oceny, a także będąca ich wynikiem niepełna ocena PR w przeszłości, ilustrują brak koordynacji i konsekwencje braku podejścia strategicznego Komisji do oceny PR. |
| --- | --- |

48.

Te rozbieżne interpretacje minimalnych wymogów prawnych odnoszących się do oceny, a także będąca ich wynikiem niepełna ocena PR w przeszłości, ilustrują brak koordynacji i konsekwencje braku podejścia strategicznego Komisji do oceny PR.

Zalecenia

49.

| 49. | „Dyrekcje badawcze” powinny niezwłocznie opracować i uzgodnić wspólną strategię oceny PR. Unikając zbyt sztywnych uregulowań, strategia ta powinna pociągać za sobą spójne podejście do oceny PR i tworzących je programów. Powinna ona także wskazywać próg, od którego zachodzi konieczność szczegółowej oceny, z uwzględnieniem specyfiki poszczególnych dziedzin naukowych. |
| --- | --- |

„Dyrekcje badawcze” powinny niezwłocznie opracować i uzgodnić wspólną strategię oceny PR. Unikając zbyt sztywnych uregulowań, strategia ta powinna pociągać za sobą spójne podejście do oceny PR i tworzących je programów. Powinna ona także wskazywać próg, od którego zachodzi konieczność szczegółowej oceny, z uwzględnieniem specyfiki poszczególnych dziedzin naukowych.

Organizacja oceny PR

| 50. | Ocena PR powinna być przeprowadzana z wykorzystaniem odpowiednich rozwiązań organizacyjnych, które powinny wynikać ze strategicznego podejścia Komisji do oceny PR. Trybunał zbadał, w jakim stopniu struktura organizacyjna gwarantuje, że system oceny jest właściwie skoordynowany, przeznaczane są na niego odpowiednie zasoby i jest postrzegany przez zainteresowane strony jako wystarczająco niezależny. |
| --- | --- |

50.

Ocena PR powinna być przeprowadzana z wykorzystaniem odpowiednich rozwiązań organizacyjnych, które powinny wynikać ze strategicznego podejścia Komisji do oceny PR. Trybunał zbadał, w jakim stopniu struktura organizacyjna gwarantuje, że system oceny jest właściwie skoordynowany, przeznaczane są na niego odpowiednie zasoby i jest postrzegany przez zainteresowane strony jako wystarczająco niezależny.

Komisja

PR są wdrażane wspólnie przez kilka DG, a odpowiedzialność za przeprowadzenie oceny jest zdecentralizowana

| 51. | W ramach Komisji odpowiedzialność za dokonanie oceny programów wydatkowania spoczywa na poszczególnych DG (zob. pkt 8), a w każdej DG utworzono działy zajmujące się oceną. Działy te odpowiadają za planowanie, koordynację i przeprowadzanie ocen. |
| --- | --- |

51.

W ramach Komisji odpowiedzialność za dokonanie oceny programów wydatkowania spoczywa na poszczególnych DG (zob. pkt 8), a w każdej DG utworzono działy zajmujące się oceną. Działy te odpowiadają za planowanie, koordynację i przeprowadzanie ocen.

| 52. | Brak specjalnego organu koordynującego lub oddzielnej jednostki ds. oceny PR jako całości, jak np. wspólnego biura oceny dla „dyrekcji badawczych” pozostaje w sprzeczności z praktyką w innych obszarach polityki. W obszarze pomocy zewnętrznej utworzono wspólny dział ds. oceny dla trzech DG (DG ds. Rozwoju, DG ds. Stosunków Zewnętrznych i EuropeAid), odpowiadający za ocenę programów rozwojowych Komisji w państwach trzecich (zob. pkt 42). |
| --- | --- |

52.

Brak specjalnego organu koordynującego lub oddzielnej jednostki ds. oceny PR jako całości, jak np. wspólnego biura oceny dla „dyrekcji badawczych” pozostaje w sprzeczności z praktyką w innych obszarach polityki. W obszarze pomocy zewnętrznej utworzono wspólny dział ds. oceny dla trzech DG (DG ds. Rozwoju, DG ds. Stosunków Zewnętrznych i EuropeAid), odpowiadający za ocenę programów rozwojowych Komisji w państwach trzecich (zob. pkt 42).

| 53. | DG ds. Badań Naukowych, poprzez wewnętrzną „sieć oceny BRT” Komisji, zapewnia wymianę wiedzy między działami ds. oceny w różnych DG, ale nie ma kompetencji do ustanowienia minimalnych wymogów odnoszących się do oceny. Mechanizm ten okazał się niewystarczający do zapewnienia odpowiedniej koordynacji oceny PR dokonywanej przez Komisję. |
| --- | --- |

53.

DG ds. Badań Naukowych, poprzez wewnętrzną „sieć oceny BRT” Komisji, zapewnia wymianę wiedzy między działami ds. oceny w różnych DG, ale nie ma kompetencji do ustanowienia minimalnych wymogów odnoszących się do oceny. Mechanizm ten okazał się niewystarczający do zapewnienia odpowiedniej koordynacji oceny PR dokonywanej przez Komisję.

| 54. | Komisja zrewidowała swoje podejście ogólne do oceny w 2000 r. i 2002 r. oraz — po raz kolejny — w 2007 r. (zob. pkt 14). Chociaż nie zaobserwowano znaczącej poprawy sposobu, w jaki oceny PR i tworzących je programów są planowane, opracowywane i realizowane, „dyrekcje badawcze” ogólnie spełniają wymogi formalne ustalone dla całej Komisji. |
| --- | --- |

54.

Komisja zrewidowała swoje podejście ogólne do oceny w 2000 r. i 2002 r. oraz — po raz kolejny — w 2007 r. (zob. pkt 14). Chociaż nie zaobserwowano znaczącej poprawy sposobu, w jaki oceny PR i tworzących je programów są planowane, opracowywane i realizowane, „dyrekcje badawcze” ogólnie spełniają wymogi formalne ustalone dla całej Komisji.

Służby centralne Komisji: ustalanie standardów, ale bez narzucania stosownych rozwiązań

| 55. | Służby centralne Komisji (w szczególności DG ds. Budżetu oraz Sekretariat Generalny) zapewniają doradztwo metodologiczne, określają wspólne standardy w ramach Komisji jako całości i monitorują przestrzeganie tych standardów przez poszczególne DG i służby (patrz pkt 14 i 70). Nie mogą jednak narzucać sposobu przeprowadzania ocen w praktyce. |
| --- | --- |

55.

Służby centralne Komisji (w szczególności DG ds. Budżetu oraz Sekretariat Generalny) zapewniają doradztwo metodologiczne, określają wspólne standardy w ramach Komisji jako całości i monitorują przestrzeganie tych standardów przez poszczególne DG i służby (patrz pkt 14 i 70). Nie mogą jednak narzucać sposobu przeprowadzania ocen w praktyce.

| 56. | Doświadczenia USA i Kanady pokazują, że egzekwowanie standardów przez jednostki je ustanawiające jest kluczowe dla zapewnienia sprawnego funkcjonowania systemu oceny. W obu wymienionych krajach departamenty federalne opracowują i wdrażają strukturę, w ramach której dokonywana jest ostateczna ocena powodzenia danego programu (zob. załącznik III). Chociaż kontekst jest inny, ich systemy są oparte na tej samej zasadzie, głoszącej, że organ niezależny od organu wdrażającego program powinien ocenić strukturę systemu oceny na pewnym poziomie szczegółowości i zbadać jego skuteczność. To samo można zaobserwować w niektórych państwach członkowskich (np. we Francji (31), Hiszpanii (32) i Niemczech (33)), gdzie organy zewnętrzne nadzorują oceny przeprowadzane przez agencje finansujące lub nawet przeprowadzają te oceny samodzielnie. |
| --- | --- |

56.

Doświadczenia USA i Kanady pokazują, że egzekwowanie standardów przez jednostki je ustanawiające jest kluczowe dla zapewnienia sprawnego funkcjonowania systemu oceny. W obu wymienionych krajach departamenty federalne opracowują i wdrażają strukturę, w ramach której dokonywana jest ostateczna ocena powodzenia danego programu (zob. załącznik III). Chociaż kontekst jest inny, ich systemy są oparte na tej samej zasadzie, głoszącej, że organ niezależny od organu wdrażającego program powinien ocenić strukturę systemu oceny na pewnym poziomie szczegółowości i zbadać jego skuteczność. To samo można zaobserwować w niektórych państwach członkowskich (np. we Francji (31), Hiszpanii (32) i Niemczech (33)), gdzie organy zewnętrzne nadzorują oceny przeprowadzane przez agencje finansujące lub nawet przeprowadzają te oceny samodzielnie.

Zespoły

Zespoły ekspertów zewnętrznych: wymagane przepisami od czasu 4PR

| 57. | Od czasu 4PR wszystkie główne procesy oceny (i coroczne monitorowanie) PR muszą być przeprowadzane przez zespoły ekspertów zewnętrznych (lub z ich pomocą) (zob. załącznik II). Pomimo trudności ze znalezieniem odpowiednich ekspertów, takie zespoły mają potencjał pozwalający na zapewnienie przejrzystości, pewnego stopnia niezależności, ułatwienie zaangażowania zainteresowanych stron i wykorzystanie wiedzy o samych PR, ocenie i związanych z nimi zagadnieniach naukowych. |
| --- | --- |

57.

Od czasu 4PR wszystkie główne procesy oceny (i coroczne monitorowanie) PR muszą być przeprowadzane przez zespoły ekspertów zewnętrznych (lub z ich pomocą) (zob. załącznik II). Pomimo trudności ze znalezieniem odpowiednich ekspertów, takie zespoły mają potencjał pozwalający na zapewnienie przejrzystości, pewnego stopnia niezależności, ułatwienie zaangażowania zainteresowanych stron i wykorzystanie wiedzy o samych PR, ocenie i związanych z nimi zagadnieniach naukowych.

| 58. | Potwierdziły to ankiety Trybunału, których respondenci uznali, że działający w Komisji system oceny oparty na pracy zespołów stanowi gwarancję niezależności (zob. rysunek 4). |
| --- | --- |

58.

Potwierdziły to ankiety Trybunału, których respondenci uznali, że działający w Komisji system oceny oparty na pracy zespołów stanowi gwarancję niezależności (zob. rysunek 4).

Image

Słabe strony przyjętego przez Komisję podejścia zakładającego pracę zespołów

| 59. | Pomimo tego pozytywnego wizerunku, zgodnie z uwagami członków zespołów i zainteresowanych stron przekazanymi Trybunałowi podczas kontroli, w wykorzystaniu przez Komisję zespołów do oceny PR występowały następujące niedociągnięcia:






  — | zespoły ds. oceny są zwykle powoływane na krócej niż rok przed terminem wydania przez nie sprawozdania i odbywają niewiele posiedzeń. Utrudnia to członkom zespołów wpływ na określenie danych i analiz, które są im niezbędne do pracy. Ponadto, jako że zespoły te są powoływane ad hoc i mają charakter tymczasowy, zgromadzenie wiedzy na temat programów jest utrudnione, a monitorowanie istotnych kwestii w dłuższym okresie jest niemożliwe. Stanowi to szczególny problem, gdy (jak ma to miejsce w 7PR) w danym okresie programowania zaplanowany jest szereg procesów oceny (zob. załącznik II). Kontrastuje to także z praktyką Komisji w zakresie eksperckich grup doradczych przy PR, które mają charakter stały (34). Również w Kanadzie (35) istnieją stałe zespoły ds. oceny, co ma na celu zagwarantowanie spójności i konsekwencji przyjętego podejścia (zob. załącznik III), |
| --- | --- | --- |

59.

Pomimo tego pozytywnego wizerunku, zgodnie z uwagami członków zespołów i zainteresowanych stron przekazanymi Trybunałowi podczas kontroli, w wykorzystaniu przez Komisję zespołów do oceny PR występowały następujące niedociągnięcia:

—

zespoły ds. oceny są zwykle powoływane na krócej niż rok przed terminem wydania przez nie sprawozdania i odbywają niewiele posiedzeń. Utrudnia to członkom zespołów wpływ na określenie danych i analiz, które są im niezbędne do pracy. Ponadto, jako że zespoły te są powoływane ad hoc i mają charakter tymczasowy, zgromadzenie wiedzy na temat programów jest utrudnione, a monitorowanie istotnych kwestii w dłuższym okresie jest niemożliwe. Stanowi to szczególny problem, gdy (jak ma to miejsce w 7PR) w danym okresie programowania zaplanowany jest szereg procesów oceny (zob. załącznik II). Kontrastuje to także z praktyką Komisji w zakresie eksperckich grup doradczych przy PR, które mają charakter stały (34). Również w Kanadzie (35) istnieją stałe zespoły ds. oceny, co ma na celu zagwarantowanie spójności i konsekwencji przyjętego podejścia (zob. załącznik III),

| — | opracowując zakresy zadań i obowiązków dla zespołów oraz formułując pytania, na które ocena ma udzielić odpowiedzi, Komisja nie konsultuje się z zewnętrznymi zainteresowanymi stronami, takimi jak organizacje branżowe i najważniejsze organizacje badawcze uczestniczące w PR. Zespół monitorujący z 2004 r. także zwrócił uwagę na ten problem: „(...) potencjalni użytkownicy powinni być zaangażowani w proces na jego wczesnym etapie” (36), oraz |
| --- | --- |

—

opracowując zakresy zadań i obowiązków dla zespołów oraz formułując pytania, na które ocena ma udzielić odpowiedzi, Komisja nie konsultuje się z zewnętrznymi zainteresowanymi stronami, takimi jak organizacje branżowe i najważniejsze organizacje badawcze uczestniczące w PR. Zespół monitorujący z 2004 r. także zwrócił uwagę na ten problem: „(...) potencjalni użytkownicy powinni być zaangażowani w proces na jego wczesnym etapie” (36), oraz

| — | zespoły funkcjonują w sposób różniący się od „oceny partnerskiej”. Ich członkowie nie mają czasu na samodzielne przeprowadzanie ocen; zwykle formułują rady na podstawie danych i dowodów udostępnionych im z innych źródeł. W rezultacie ograniczeń czasowych zespoły miały jedynie niewielkie możliwości zlecania dodatkowych badań niezbędnych do rozważenia kwestii wymienionych w ich zakresie zadań i obowiązków. W praktyce, z nielicznymi wyjątkami, zespoły ds. oceny pięcioletniej miały do dyspozycji tyko informacje udostępnione przez Komisję. |
| --- | --- |

—

zespoły funkcjonują w sposób różniący się od „oceny partnerskiej”. Ich członkowie nie mają czasu na samodzielne przeprowadzanie ocen; zwykle formułują rady na podstawie danych i dowodów udostępnionych im z innych źródeł. W rezultacie ograniczeń czasowych zespoły miały jedynie niewielkie możliwości zlecania dodatkowych badań niezbędnych do rozważenia kwestii wymienionych w ich zakresie zadań i obowiązków. W praktyce, z nielicznymi wyjątkami, zespoły ds. oceny pięcioletniej miały do dyspozycji tyko informacje udostępnione przez Komisję.

Zasoby

Na ocenę PR nie przeznaczono oddzielnych zasobów

| 60. | Środki na ocenę są udostępniane co roku, a ich wysokość zależy od zapotrzebowania zgłoszonego przez DG wdrażające PR. Obecnie środki te pochodzą ze środków ogólnych Komisji udostępnionych przez DG ds. Budżetu oraz zasobów z administracyjnej części budżetu na poziomie poszczególnych dyrekcji. Ponadto określone działania finansowane są jako działania pośrednie z budżetu operacyjnego PR. Oznacza to, że nie ma kwoty oddzielnie przeznaczonej na ocenę. |
| --- | --- |

60.

Środki na ocenę są udostępniane co roku, a ich wysokość zależy od zapotrzebowania zgłoszonego przez DG wdrażające PR. Obecnie środki te pochodzą ze środków ogólnych Komisji udostępnionych przez DG ds. Budżetu oraz zasobów z administracyjnej części budżetu na poziomie poszczególnych dyrekcji. Ponadto określone działania finansowane są jako działania pośrednie z budżetu operacyjnego PR. Oznacza to, że nie ma kwoty oddzielnie przeznaczonej na ocenę.

| 61. | Według szacunków za 2006 r. pracownicy zajmujący się oceną i zarządzaniem zadaniowym stanowili średnio około 1 % personelu całej Komisji (37). Odsetek pracowników zajmujących się monitorowaniem i oceną programów ramowych BRT w DG ds. Badań Naukowych oraz DG ds. Społeczeństwa Informacyjnego i Mediów wyniósł odpowiednio 1,2 % i 1,3 %. W przypadku DG ds. Badań Naukowych ponad dwie trzecie tych osób było jednak przydzielonych do departamentów zajmujących się programami operacyjnymi, a nie do działu ds. oceny, a ocena stanowiła jedynie jedno z wielu przydzielonych im zadań. |
| --- | --- |

61.

Według szacunków za 2006 r. pracownicy zajmujący się oceną i zarządzaniem zadaniowym stanowili średnio około 1 % personelu całej Komisji (37). Odsetek pracowników zajmujących się monitorowaniem i oceną programów ramowych BRT w DG ds. Badań Naukowych oraz DG ds. Społeczeństwa Informacyjnego i Mediów wyniósł odpowiednio 1,2 % i 1,3 %. W przypadku DG ds. Badań Naukowych ponad dwie trzecie tych osób było jednak przydzielonych do departamentów zajmujących się programami operacyjnymi, a nie do działu ds. oceny, a ocena stanowiła jedynie jedno z wielu przydzielonych im zadań.

Finansowanie oceny PR niższe niż zalecane przez Komisję

| 62. | Zasoby przeznaczane na ocenę można także wyrazić jako część procentową całkowitych środków budżetowych przyznanych na dany program. Dane uzyskane podczas kontroli wskazują, że w zakresie programów badawczych w państwach członkowskich UE finansowanie to waha się między 0,1 % a 2 %. Zgodnie z wytycznymi Komisji na ocenę programu należy przeznaczyć 0,5 % jego budżetu (38). Jednak w przypadku większych programów, w związku z korzyściami skali, może wystarczyć mniejsza część ich budżetu. |
| --- | --- |

62.

Zasoby przeznaczane na ocenę można także wyrazić jako część procentową całkowitych środków budżetowych przyznanych na dany program. Dane uzyskane podczas kontroli wskazują, że w zakresie programów badawczych w państwach członkowskich UE finansowanie to waha się między 0,1 % a 2 %. Zgodnie z wytycznymi Komisji na ocenę programu należy przeznaczyć 0,5 % jego budżetu (38). Jednak w przypadku większych programów, w związku z korzyściami skali, może wystarczyć mniejsza część ich budżetu.

| 63. | Z porównania danych Komisji na temat wydatków na ocenę w latach 2003–2005 ze środkami budżetowymi dla każdej dyrekcji generalnej wynika, że ogólna średnia wartość procentowa wynosi około 0,15 %, znacznie poniżej poziomu sugerowanego przez Komisję. Bardziej gruntowna analiza odnosząca się do 2006 r. wykazała, że w proporcji do powierzonych im środków DG ds. Społeczeństwa Informacyjnego i Mediów wydała na ocenę w przybliżeniu czterokrotnie więcej niż DG ds. Badań Naukowych. Ponadto, w DG ds. Badań Naukowych jedynie 0,7 % czasu pracy jednego urzędnika zatrudnionego w pełnym wymiarze godzin jest poświęcane na ocenę na jeden milion euro w rocznym budżecie. Dla porównania, w DG ds. Społeczeństwa Informacyjnego i Mediów wartość ta jest dwukrotnie większa. |
| --- | --- |

63.

Z porównania danych Komisji na temat wydatków na ocenę w latach 2003–2005 ze środkami budżetowymi dla każdej dyrekcji generalnej wynika, że ogólna średnia wartość procentowa wynosi około 0,15 %, znacznie poniżej poziomu sugerowanego przez Komisję. Bardziej gruntowna analiza odnosząca się do 2006 r. wykazała, że w proporcji do powierzonych im środków DG ds. Społeczeństwa Informacyjnego i Mediów wydała na ocenę w przybliżeniu czterokrotnie więcej niż DG ds. Badań Naukowych. Ponadto, w DG ds. Badań Naukowych jedynie 0,7 % czasu pracy jednego urzędnika zatrudnionego w pełnym wymiarze godzin jest poświęcane na ocenę na jeden milion euro w rocznym budżecie. Dla porównania, w DG ds. Społeczeństwa Informacyjnego i Mediów wartość ta jest dwukrotnie większa.

| 64. | Jak wykazano w niniejszym sprawozdaniu, dodatkowy wysiłek podejmowany przez DG ds. Społeczeństwa Informacyjnego i Mediów zaowocował większym zakresem oceny (zob. pkt 13 i 46) oraz, co ilustruje próba opracowań oceniających zbadanych przez Trybunał, wykorzystaniem metodyki lepiej dostosowanej do potrzeb w zakresie oceny (zob. pkt 84). |
| --- | --- |

64.

Jak wykazano w niniejszym sprawozdaniu, dodatkowy wysiłek podejmowany przez DG ds. Społeczeństwa Informacyjnego i Mediów zaowocował większym zakresem oceny (zob. pkt 13 i 46) oraz, co ilustruje próba opracowań oceniających zbadanych przez Trybunał, wykorzystaniem metodyki lepiej dostosowanej do potrzeb w zakresie oceny (zob. pkt 84).

| 65. | Z szacunku kosztów wykonanego przez Trybunał na podstawie danych Komisji wynika, że koszt systemu oceny opartego na propozycjach przedstawionych w niniejszym sprawozdaniu wynosiłby średnio poniżej 0,4 % środków budżetowych 7PR. Kwota ta objęłaby koszty zespołów, podzlecania opracowań, personelu zarówno wspólnego biura oceny, jak i istniejących obecnie w poszczególnych DG działów ds. oceny, oraz różne inne koszty (39). |
| --- | --- |

65.

Z szacunku kosztów wykonanego przez Trybunał na podstawie danych Komisji wynika, że koszt systemu oceny opartego na propozycjach przedstawionych w niniejszym sprawozdaniu wynosiłby średnio poniżej 0,4 % środków budżetowych 7PR. Kwota ta objęłaby koszty zespołów, podzlecania opracowań, personelu zarówno wspólnego biura oceny, jak i istniejących obecnie w poszczególnych DG działów ds. oceny, oraz różne inne koszty (39).

Zalecenia

66.

| 66. | „Dyrekcje badawcze” powinny rozważyć utworzenie wspólnego biura oceny obok istniejących w każdej DG działów ds. oceny. Zgodnie z obecną praktyką w innych obszarach polityki takie biuro mogłoby koordynować działania Komisji w zakresie oceny PR jako całości. Tworzenie takich wspólnych działów było w przeszłości rekomendowane DG wdrażającym PR (40) i może być jeszcze istotniejsze w przyszłości w związku z utworzeniem Europejskiej Rady ds. Badań Naukowych i przekazaniem uprawnień do wdrażania programów agencjom wykonawczym. |
| --- | --- |

„Dyrekcje badawcze” powinny rozważyć utworzenie wspólnego biura oceny obok istniejących w każdej DG działów ds. oceny. Zgodnie z obecną praktyką w innych obszarach polityki takie biuro mogłoby koordynować działania Komisji w zakresie oceny PR jako całości. Tworzenie takich wspólnych działów było w przeszłości rekomendowane DG wdrażającym PR (40) i może być jeszcze istotniejsze w przyszłości w związku z utworzeniem Europejskiej Rady ds. Badań Naukowych i przekazaniem uprawnień do wdrażania programów agencjom wykonawczym.

| 67. | Zespoły ds. oceny powinny nadal być wykorzystywane przez Komisję, wspierając ją w działaniach prowadzonych w związku z oceną. Komisja powinna jednak rozważyć, w jaki sposób należy dostosować strukturę zespołów do ogólnej struktury programowej PR. Można by to osiągnąć poprzez powoływanie zespołów dla poszczególnych programów szczegółowych oraz, w odpowiednich przypadkach, podprogramów (zob. załącznik IV). Ponadto zespoły te należy utworzyć wystarczająco wcześnie, aby mogły udzielić skutecznego wsparcia Komisji, a także udzielać go później w trakcie całego okresu programowania i po jego zakończeniu. |
| --- | --- |

67.

Zespoły ds. oceny powinny nadal być wykorzystywane przez Komisję, wspierając ją w działaniach prowadzonych w związku z oceną. Komisja powinna jednak rozważyć, w jaki sposób należy dostosować strukturę zespołów do ogólnej struktury programowej PR. Można by to osiągnąć poprzez powoływanie zespołów dla poszczególnych programów szczegółowych oraz, w odpowiednich przypadkach, podprogramów (zob. załącznik IV). Ponadto zespoły te należy utworzyć wystarczająco wcześnie, aby mogły udzielić skutecznego wsparcia Komisji, a także udzielać go później w trakcie całego okresu programowania i po jego zakończeniu.

| 68. | Komisja powinna ponownie rozważyć, jakie zasoby należy przeznaczyć na ocenę PR i tworzących je programów. |
| --- | --- |

68.

Komisja powinna ponownie rozważyć, jakie zasoby należy przeznaczyć na ocenę PR i tworzących je programów.

Metodyka i techniki oceny

| 69. | Skuteczna ocena wymaga zastosowania odpowiedniej metodyki i odpowiednich technik. Trybunał zbadał, czy istniały wytyczne przeprowadzania oceny PR, czy potrzeby informacyjne zostały właściwie i odpowiednim terminie zanalizowane oraz czy osobom oceniającym udostępniono odpowiednie dane. Opierając się na opracowaniach oceniających przygotowanych przez Komisję (lub w imieniu Komisji), Trybunał sprawdził, czy techniki wykorzystywane w poszczególnych opracowaniach stanowiły wystarczającą podstawę do uzyskania odpowiedzi na pytania oceniające postawione na potrzeby ocen pięcioletnich. Rozważono także potencjalny wkład, który oceny dokonane na poziomie krajowym mogłyby wnieść w ocenę PR. |
| --- | --- |

69.

Skuteczna ocena wymaga zastosowania odpowiedniej metodyki i odpowiednich technik. Trybunał zbadał, czy istniały wytyczne przeprowadzania oceny PR, czy potrzeby informacyjne zostały właściwie i odpowiednim terminie zanalizowane oraz czy osobom oceniającym udostępniono odpowiednie dane. Opierając się na opracowaniach oceniających przygotowanych przez Komisję (lub w imieniu Komisji), Trybunał sprawdził, czy techniki wykorzystywane w poszczególnych opracowaniach stanowiły wystarczającą podstawę do uzyskania odpowiedzi na pytania oceniające postawione na potrzeby ocen pięcioletnich. Rozważono także potencjalny wkład, który oceny dokonane na poziomie krajowym mogłyby wnieść w ocenę PR.

Wprowadzenie standardów i wytycznych dla poszczególnych PR

| 70. | DG ds. Budżetu wydała szereg komunikatów określających jej politykę oceny i wymieniających zasady jej realizacji oraz ustanowiła zestaw standardów mających zastosowanie do całej Komisji (zob. pkt 14 i 55) (41). W innych obszarach polityki poszczególne DG opracowały też odpowiednie podręczniki oceny (42). |
| --- | --- |

70.

DG ds. Budżetu wydała szereg komunikatów określających jej politykę oceny i wymieniających zasady jej realizacji oraz ustanowiła zestaw standardów mających zastosowanie do całej Komisji (zob. pkt 14 i 55) (41). W innych obszarach polityki poszczególne DG opracowały też odpowiednie podręczniki oceny (42).

| 71. | Nie jest tak jednak w przypadku PR. Istnieje szereg przewodników metodycznych oraz zestawów narzędzi do przeprowadzania działań związanych z oceną w dziedzinie badań naukowych, które opublikowała (lub finansowała) Komisja (43). Jednak żadne z nich nie są źródłem szczegółowych wytycznych dotyczących przeprowadzania ocen PR ani nie określają sposobu stosowania przez Komisję lub ekspertów zewnętrznych kluczowych pojęć lub terminologii. Przyczyniło się to problemów omówionych poniżej. |
| --- | --- |

71.

Nie jest tak jednak w przypadku PR. Istnieje szereg przewodników metodycznych oraz zestawów narzędzi do przeprowadzania działań związanych z oceną w dziedzinie badań naukowych, które opublikowała (lub finansowała) Komisja (43). Jednak żadne z nich nie są źródłem szczegółowych wytycznych dotyczących przeprowadzania ocen PR ani nie określają sposobu stosowania przez Komisję lub ekspertów zewnętrznych kluczowych pojęć lub terminologii. Przyczyniło się to problemów omówionych poniżej.

Potrzeby w zakresie danych oraz gromadzenie danych

Niewystarczająca analiza potrzeb informacyjnych

| 72. | „Dyrekcje badawcze” przywiązywały niewystarczającą wagę do określenia, jakie dane są wymagane do celów oceny i monitorowania. Zamiast przeprowadzić systematyczną i kompleksową analizę potrzeb informacyjnych, Komisja określiła wymogi w zakresie danych na późnym etapie okresu programowania i bez należytego uwzględnienia ogólnych potrzeb w zakresie oceny. Kwestionariusz społeczno-gospodarczy 6PR stanowił jedyną podjętą wspólnie przez DG próbę uzgodnienia takich danych (zob. pkt 76). Został on jednak sfinalizowany w 2004 r. (trzy lata po rozpoczęciu się okresu programowania) i obejmuje głównie aspekty takie, jak równość szans kobiet i mężczyzn oraz oddziaływanie na środowisko, a nie produkty badań naukowych (takie jak kwestie praw własności intelektualnej, publikacje itp.), ich wyniki oraz oddziaływanie. |
| --- | --- |

72.

„Dyrekcje badawcze” przywiązywały niewystarczającą wagę do określenia, jakie dane są wymagane do celów oceny i monitorowania. Zamiast przeprowadzić systematyczną i kompleksową analizę potrzeb informacyjnych, Komisja określiła wymogi w zakresie danych na późnym etapie okresu programowania i bez należytego uwzględnienia ogólnych potrzeb w zakresie oceny. Kwestionariusz społeczno-gospodarczy 6PR stanowił jedyną podjętą wspólnie przez DG próbę uzgodnienia takich danych (zob. pkt 76). Został on jednak sfinalizowany w 2004 r. (trzy lata po rozpoczęciu się okresu programowania) i obejmuje głównie aspekty takie, jak równość szans kobiet i mężczyzn oraz oddziaływanie na środowisko, a nie produkty badań naukowych (takie jak kwestie praw własności intelektualnej, publikacje itp.), ich wyniki oraz oddziaływanie.

| 73. | Ocena programów jest w dużym stopniu uzależniona od dostępności trzech rodzajów danych:






  — | danych zgromadzonych z wykorzystaniem wskaźników skuteczności, których analiza daje wgląd w postępy w realizacji celów programu. Brak logiki interwencji, o którym mowa powyżej, oznacza, że określenie takich wskaźników było trudne (zob. pkt 30). W praktyce zgromadzone dane były w niewielkim stopniu przydatne do zmierzenia stopnia osiągnięcia celów programu, |
| --- | --- | --- |

73.

Ocena programów jest w dużym stopniu uzależniona od dostępności trzech rodzajów danych:

—

danych zgromadzonych z wykorzystaniem wskaźników skuteczności, których analiza daje wgląd w postępy w realizacji celów programu. Brak logiki interwencji, o którym mowa powyżej, oznacza, że określenie takich wskaźników było trudne (zob. pkt 30). W praktyce zgromadzone dane były w niewielkim stopniu przydatne do zmierzenia stopnia osiągnięcia celów programu,

| — | danych na temat zarządzania programem (zgromadzonych z wykorzystaniem wskaźników wydajności), oraz |
| --- | --- |

—

danych na temat zarządzania programem (zgromadzonych z wykorzystaniem wskaźników wydajności), oraz

| — | danych na temat uczestników (takich jak dane na temat uczestnictwa głównych organizacji badawczych). |
| --- | --- |

—

danych na temat uczestników (takich jak dane na temat uczestnictwa głównych organizacji badawczych).

| 74. | W Komisji powinny być dostępne szczególnie te dwa ostatnie rodzaje danych. Jednak z powodu problemów w zakresie wewnętrznych systemów informatycznych Komisji, które stanowią źródło większości danych dotyczących zarządzania programami oraz uczestników programów (44), w praktyce występują w tym obszarze znaczące utrudnienia (45). |
| --- | --- |

74.

W Komisji powinny być dostępne szczególnie te dwa ostatnie rodzaje danych. Jednak z powodu problemów w zakresie wewnętrznych systemów informatycznych Komisji, które stanowią źródło większości danych dotyczących zarządzania programami oraz uczestników programów (44), w praktyce występują w tym obszarze znaczące utrudnienia (45).

| 75. | Obrazują to znaczące opóźnienia w udostępnianiu sprawozdań przedstawianych na mocy art. 173 oraz rocznych sprawozdań monitorujących (do 16 miesięcy w przypadku sprawozdań przedstawianych na mocy art. 173 (46) i do 7 miesięcy w przypadku rocznych sprawozdań monitorujących w latach 2002–2005). Ponieważ informacje te były systematycznie przekazywane z opóźnieniem, ich użyteczność była ograniczona. |
| --- | --- |

75.

Obrazują to znaczące opóźnienia w udostępnianiu sprawozdań przedstawianych na mocy art. 173 oraz rocznych sprawozdań monitorujących (do 16 miesięcy w przypadku sprawozdań przedstawianych na mocy art. 173 (46) i do 7 miesięcy w przypadku rocznych sprawozdań monitorujących w latach 2002–2005). Ponieważ informacje te były systematycznie przekazywane z opóźnieniem, ich użyteczność była ograniczona.

Nieefektywne podejście do uzyskiwania danych do celów oceny od uczestników

| 76. | Od czasu 5PR Komisja konsekwentnie wymaga od uczestników, na mocy zawieranych umów, przekazywania następujących danych służących do pomiaru stopnia osiągnięcia celów programu — określanych na poziomie produktów, wyników i oddziaływania:






  — | w 5PR uczestnicy byli zobowiązani do przedstawienia „technologicznego planu wdrażania” wraz ze sprawozdaniem końcowym po zakończeniu projektu. Dokumenty te były zwykle niskiej jakości lub nie były w ogóle składane, |
| --- | --- | --- |

76.

Od czasu 5PR Komisja konsekwentnie wymaga od uczestników, na mocy zawieranych umów, przekazywania następujących danych służących do pomiaru stopnia osiągnięcia celów programu — określanych na poziomie produktów, wyników i oddziaływania:

—

w 5PR uczestnicy byli zobowiązani do przedstawienia „technologicznego planu wdrażania” wraz ze sprawozdaniem końcowym po zakończeniu projektu. Dokumenty te były zwykle niskiej jakości lub nie były w ogóle składane,

| — | w 6PR uczestnicy zobowiązani są do przedstawienia „planu użytkowania i upowszechniania wiedzy”, a przy składaniu rocznych raportów technicznych muszą wypełnić standardowy kwestionariusz dotyczący kwestii społeczno-gospodarczych. |
| --- | --- |

—

w 6PR uczestnicy zobowiązani są do przedstawienia „planu użytkowania i upowszechniania wiedzy”, a przy składaniu rocznych raportów technicznych muszą wypełnić standardowy kwestionariusz dotyczący kwestii społeczno-gospodarczych.

| 77. | Te wymogi umowne zobowiązujące do przekazywania danych stanowiły dla uczestników niepotrzebne obciążenie administracyjne. Na przykład w odniesieniu do rocznego kwestionariusza 6PR dane są zbierane o wiele częściej, niż jest to potrzebne, i z całej populacji projektów, podczas gdy wystarczyłaby ich reprezentatywna próba. Może to prowadzić do „zmęczenia oceną”. Ponadto informacje te były gromadzone w niewłaściwym czasie; wiele zagadnień, do których odnosiły się gromadzone dane, ma charakter średnio- lub długookresowy, więc gromadzenie danych w przewidzianym kontraktem okresie realizacji projektu jest z założenia przedwczesne (47). Z tego względu tylko w ograniczonym stopniu wykorzystano praktycznie informacje uzyskane dzięki tym narzędziom do celów ocen w 5PR i 6PR. |
| --- | --- |

77.

Te wymogi umowne zobowiązujące do przekazywania danych stanowiły dla uczestników niepotrzebne obciążenie administracyjne. Na przykład w odniesieniu do rocznego kwestionariusza 6PR dane są zbierane o wiele częściej, niż jest to potrzebne, i z całej populacji projektów, podczas gdy wystarczyłaby ich reprezentatywna próba. Może to prowadzić do „zmęczenia oceną”. Ponadto informacje te były gromadzone w niewłaściwym czasie; wiele zagadnień, do których odnosiły się gromadzone dane, ma charakter średnio- lub długookresowy, więc gromadzenie danych w przewidzianym kontraktem okresie realizacji projektu jest z założenia przedwczesne (47). Z tego względu tylko w ograniczonym stopniu wykorzystano praktycznie informacje uzyskane dzięki tym narzędziom do celów ocen w 5PR i 6PR.

| 78. | Jednak żaden z istniejących systemów nie przewiduje gromadzenia informacji na koniec (lub wkrótce po zakończeniu) realizacji projektu w sposób usystematyzowany. Zainteresowane strony, z którymi przeprowadzono rozmowy, sugerowały, że takie informacje mogłyby obejmować osiągnięcie celów projektu, zamierzone (i nieplanowane) rezultaty oraz opinię uczestników na temat wartości dodanej dla Wspólnoty. Takie informacje mogłyby także stanowić podstawę do przeprowadzenia zewnętrznych przeglądów zakończonych projektów (48). |
| --- | --- |

78.

Jednak żaden z istniejących systemów nie przewiduje gromadzenia informacji na koniec (lub wkrótce po zakończeniu) realizacji projektu w sposób usystematyzowany. Zainteresowane strony, z którymi przeprowadzono rozmowy, sugerowały, że takie informacje mogłyby obejmować osiągnięcie celów projektu, zamierzone (i nieplanowane) rezultaty oraz opinię uczestników na temat wartości dodanej dla Wspólnoty. Takie informacje mogłyby także stanowić podstawę do przeprowadzenia zewnętrznych przeglądów zakończonych projektów (48).

| 79. | Wraz z szerszym wykorzystaniem podejść naukometrycznych (takich jak analiza cytowań) do oceny rezultatów projektu (zob. pkt 83), mogłoby to stanowić dla Komisji podstawę do przejścia na system finansowania działań BRT wpółfinansowanych przez Wspólnotę w większym stopniu zorientowany na rezultaty (49). |
| --- | --- |

79.

Wraz z szerszym wykorzystaniem podejść naukometrycznych (takich jak analiza cytowań) do oceny rezultatów projektu (zob. pkt 83), mogłoby to stanowić dla Komisji podstawę do przejścia na system finansowania działań BRT wpółfinansowanych przez Wspólnotę w większym stopniu zorientowany na rezultaty (49).

Inne źródła danych wykorzystywano nieodpowiednio

| 80. | W niewystarczającym stopniu wykorzystywane są inne istniejące źródła danych w Komisji i państwach członkowskich (np. bazy danych krajowych programów BRT i agencji finansujących, a także serwis CORDIS („Community Research & Development Information Service”) prowadzony przez urząd publikacji Komisji) (50). |
| --- | --- |

80.

W niewystarczającym stopniu wykorzystywane są inne istniejące źródła danych w Komisji i państwach członkowskich (np. bazy danych krajowych programów BRT i agencji finansujących, a także serwis CORDIS („Community Research & Development Information Service”) prowadzony przez urząd publikacji Komisji) (50).

Opracowania oceniające przygotowane przez Komisję

Sprawozdania zbadane przez Trybunał

| 81. | Trybunał zbadał 86 opracowań oceniających przygotowanych przez Komisję (lub w imieniu Komisji) od 2000 r.: wszystkie 36 opracowań stanowiących podstawę oceny pięcioletniej, opublikowanej w 2004 r., oraz 50 opracowań ukończonych po tym czasie. Jedynie 23 opracowania można uznać za rzeczywiste oceny PR i tworzących je programów (zob. rysunek 5).
  Rysunek 5
  Przegląd opracowań oceniających przygotowanych przez Komisję (lub w imieniu Komisji) w latach 2000–2006








  Rodzaj opracowania | Liczba | Opis |
| --- | --- | --- | --- |
| Ocena działań podejmowanych w ramach PR | 23 | Opracowania oceniające






  — | oparte na uznanej metodyce (51), |

81.

Trybunał zbadał 86 opracowań oceniających przygotowanych przez Komisję (lub w imieniu Komisji) od 2000 r.: wszystkie 36 opracowań stanowiących podstawę oceny pięcioletniej, opublikowanej w 2004 r., oraz 50 opracowań ukończonych po tym czasie. Jedynie 23 opracowania można uznać za rzeczywiste oceny PR i tworzących je programów (zob. rysunek 5).

Rysunek 5

Przegląd opracowań oceniających przygotowanych przez Komisję (lub w imieniu Komisji) w latach 2000–2006

Rodzaj opracowania

Liczba

Opis

Ocena działań podejmowanych w ramach PR

23

Opracowania oceniające

—

oparte na uznanej metodyce (51),

| — | odnoszą się do celów programu i przedstawiają stopień, w jakim je osiągnięto. |
| --- | --- |

—

odnoszą się do celów programu i przedstawiają stopień, w jakim je osiągnięto.

Krajowe oceny oddziaływania opracowane na poziomie państw członkowskich

12

Opracowania przygotowane przez państwa członkowskie, które odnoszą się głównie do krajowych statystyk uczestnictwa, a nie formułują wniosków odnoszących się do celów programu.

Opracowania metodyczne

5

Opracowania, których przygotowanie zostało zorganizowane przez Komisję, mające na celu wsparcie rozwoju metodyki oceny.

Opracowania na temat sytuacji w zakresie BRT w Europie

2

Opracowania obejmujące kontekstowe analizy działalności badawczej w Europie, ale niedotyczące PR. Nie zawierają one w szczególności bezpośredniego odniesienia do wpływu PR na krajowe systemy badań i innowacji.

Dokumenty nieanalityczne, opisowe i statystyczne

33

Dokumenty zazwyczaj odnoszące się do działań podejmowanych w ramach PR w sposób bardzo pośredni, często opisujące te działania bez dokonywania ich analizy.

Inne dokumenty

11

Różne dokumenty, które dotyczą ogólnych kwestii politycznych, niezawierające analizy PR w tym kontekście.

Oceny koncentrowały się na kwestiach objętych monitorowaniem, a nie na wynikach i oddziaływaniu

| 82. | Z przeprowadzonej przez Trybunał metaanalizy tych sprawozdań oceniających płyną dwa wnioski:






  — | chociaż w wielu opracowaniach próbuje się formułować wnioski odnoszące się do realizacji celów programu, wnioski te są sformułowane w sposób ogólnikowy, pozostawiając czytelnika w niepewności, czy faktycznie dokonano takiej oceny. Wynika to często z braku jasnych celów programu, co w sposób krytyczny osłabia proces oceny (zob. pkt 28), |
| --- | --- | --- |

82.

Z przeprowadzonej przez Trybunał metaanalizy tych sprawozdań oceniających płyną dwa wnioski:

—

chociaż w wielu opracowaniach próbuje się formułować wnioski odnoszące się do realizacji celów programu, wnioski te są sformułowane w sposób ogólnikowy, pozostawiając czytelnika w niepewności, czy faktycznie dokonano takiej oceny. Wynika to często z braku jasnych celów programu, co w sposób krytyczny osłabia proces oceny (zob. pkt 28),

| — | zamiast oceniać wyniki i oddziaływanie PR lub tworzących je programów (i podprogramów), wiele dokumentów jest opisowych i w najlepszym przypadku koncentruje się na bezpośrednich produktach projektów oraz na kwestiach związanych z zarządzaniem projektami. Sprawozdania te nie dostarczają przekonywających dowodów odnoszących się do wyników lub oddziaływania. |
| --- | --- |

—

zamiast oceniać wyniki i oddziaływanie PR lub tworzących je programów (i podprogramów), wiele dokumentów jest opisowych i w najlepszym przypadku koncentruje się na bezpośrednich produktach projektów oraz na kwestiach związanych z zarządzaniem projektami. Sprawozdania te nie dostarczają przekonywających dowodów odnoszących się do wyników lub oddziaływania.

Niewystarczający nacisk na rozwój innowacyjnej metodyki

| 83. | W ocenach przeprowadzonych w latach 2000–2006 dominuje wykorzystanie tradycyjnych metod i technik oceny (zwłaszcza ankiet, przeglądu dokumentacji i wywiadów) (zob. rysunek 6). Ponadto nie stosowano szeregu innych zaawansowanych, ale szeroko uznanych, metod i technik oceny (lub stosowano je jedynie bardzo rzadko), w szczególności:






  — | podejścia naukometryczne (takie jak analiza cytowań) (52), |
| --- | --- | --- |

83.

W ocenach przeprowadzonych w latach 2000–2006 dominuje wykorzystanie tradycyjnych metod i technik oceny (zwłaszcza ankiet, przeglądu dokumentacji i wywiadów) (zob. rysunek 6). Ponadto nie stosowano szeregu innych zaawansowanych, ale szeroko uznanych, metod i technik oceny (lub stosowano je jedynie bardzo rzadko), w szczególności:

—

podejścia naukometryczne (takie jak analiza cytowań) (52),

| — | modele ilościowe (takie jak analiza efektywności kosztowej, opłacalności oraz kosztów i korzyści) (53), oraz |
| --- | --- |

—

modele ilościowe (takie jak analiza efektywności kosztowej, opłacalności oraz kosztów i korzyści) (53), oraz

| — | modele koncentrujące się na roli jednostki (lub behawioralne) — które są ukierunkowane na opinie osób zaangażowanych w daną interwencję, na temat np. charakterystyki sieci badawczych i następujących w nich wraz z upływem czasu zmian. |
| --- | --- |

—

modele koncentrujące się na roli jednostki (lub behawioralne) — które są ukierunkowane na opinie osób zaangażowanych w daną interwencję, na temat np. charakterystyki sieci badawczych i następujących w nich wraz z upływem czasu zmian.

Image

| 84. | Jedynie w nielicznych przypadkach opracowania oceniające poruszały kwestie trudności metodycznych napotkanych podczas oceny interwencji publicznych w dziedzinie badań naukowych (zob. załącznik I):






  — | ostatnio ukończono dwa opracowania na temat logiki interwencji (54), |
| --- | --- | --- |

84.

Jedynie w nielicznych przypadkach opracowania oceniające poruszały kwestie trudności metodycznych napotkanych podczas oceny interwencji publicznych w dziedzinie badań naukowych (zob. załącznik I):

—

ostatnio ukończono dwa opracowania na temat logiki interwencji (54),

| — | znaleziono tylko trzy opracowania, w których próbuje się ocenić wpływ finansowania wspólnotowego na tendencje do tworzenia przez organizacje badawcze sieci paneuropejskich (55) — i to pomimo faktu, że pozytywne efekty sieciowe są podstawowym założeniem EPB, |
| --- | --- |

—

znaleziono tylko trzy opracowania, w których próbuje się ocenić wpływ finansowania wspólnotowego na tendencje do tworzenia przez organizacje badawcze sieci paneuropejskich (55) — i to pomimo faktu, że pozytywne efekty sieciowe są podstawowym założeniem EPB,

| — | tylko w jednym przypadku próbowano wyciągnąć wnioski na temat oddziaływania osiągniętego na poziomie programu (lub podprogramu), łącząc agregację analiz oceniających na poziomie projektów z innymi technikami oceny (56), oraz |
| --- | --- |

—

tylko w jednym przypadku próbowano wyciągnąć wnioski na temat oddziaływania osiągniętego na poziomie programu (lub podprogramu), łącząc agregację analiz oceniających na poziomie projektów z innymi technikami oceny (56), oraz

| — | nie znaleziono dowodów na stosowanie innych metod, takich jak symulacje kontrfaktyczne (lub metody wykorzystujące grupy kontrolne). Jest to podejście, które byłoby bardzo przydatne do zilustrowania wartości dodanej programów na poziomie Wspólnoty, w zestawieniu z sytuacją, która miałaby miejsce przy braku interwencji (lub przy interwencji na poziomie krajowym lub regionalnym). |
| --- | --- |

—

nie znaleziono dowodów na stosowanie innych metod, takich jak symulacje kontrfaktyczne (lub metody wykorzystujące grupy kontrolne). Jest to podejście, które byłoby bardzo przydatne do zilustrowania wartości dodanej programów na poziomie Wspólnoty, w zestawieniu z sytuacją, która miałaby miejsce przy braku interwencji (lub przy interwencji na poziomie krajowym lub regionalnym).

| 85. | W rozmowach z przedstawicielami Trybunału zainteresowane strony wyrażały opinię, że użyteczność i adekwatność ocen przeprowadzanych przez Komisję mogłaby ulec poprawie. Wskazuje to na potrzebę dalszego rozwoju metodologicznego, tak aby system oceny mógł ewoluować w odpowiedzi na zmieniający się charakter PR (zob. pkt 7) (57). |
| --- | --- |

85.

W rozmowach z przedstawicielami Trybunału zainteresowane strony wyrażały opinię, że użyteczność i adekwatność ocen przeprowadzanych przez Komisję mogłaby ulec poprawie. Wskazuje to na potrzebę dalszego rozwoju metodologicznego, tak aby system oceny mógł ewoluować w odpowiedzi na zmieniający się charakter PR (zob. pkt 7) (57).

Na podstawie opracowań oceniających Komisji nie było możliwe rozstrzygnięcie problematycznych kwestii poruszonych w ocenach pięcioletnich

| 86. | Ilustrują to także znaczne problemy napotkane przez zespół ds. oceny pięcioletniej przeprowadzanej w 2004 r. (58) przy udzielaniu odpowiedzi na pytania oceniające sugerowane w zakresie zadań i obowiązków. Wiele z tych problematycznych kwestii nie mogło zostać objętych analizą z uwagi na brak odpowiednich opracowań, przygotowanych uprzednio przez Komisję (lub w jej imieniu), a także ze względu na to, że członkowie zespołu nie mogli zlecić przygotowania takich opracowań w odpowiednim terminie (zob. rysunek 7).
  Rysunek 7
  Odpowiedzi na pytania oceniające w ramach oceny pięcioletniej przeprowadzonej w 2004 r. | Pytanie oceniąjce | W sprawozdaniu zawarto odpowiedź? |
| --- | --- | --- | --- |
| REALIZACJA | Czy wykonanie działań było wydajne? | częściowo |
| Czy wykonanie działań było efektywne kosztowo? | częściowo |
| Czy wybrano działania najlepiej służące osiągnięciu wyznaczonych celów? | nie |
| Czy ogólne ramy prawne (w tym zasady uczestnictwa i zasady dotyczące kontraktów), instrumenty polityki oraz warunki wykonania były jasne, odpowiednie i skutecznie funkcjonowały? | nie |
| Czy poziom finansowania i innych dostępnych zasobów był wystarczający? | nie |
| Czy środowiska branżowe i badawcze objęte interwencją, w tym MSP, odpowiednio na nią odpowiedziały? | tak |
| OSIĄGNIĘCIA | Czy realizacja działań doprowadziła do osiągnięcia zamierzonych celów i do jakiego stopnia ich rezultaty były nieoczekiwane? | nie |
| Jakie są najważniejsze rezultaty — zwłaszcza w zakresie produktów naukowych, technologicznych i społeczno-gospodarczych, w zakresie współpracy międzynarodowej, transferu wiedzy i innowacyjności, działań prenormatywnych, dostępności, upowszechniania i wykorzystania wyników badań, rozwoju zasobów ludzkich, mobilności i szkoleń, a także w zakresie wspierania i zwiększania koordynacji działań badawczych? | nie |
| Czy rezultaty oraz wyniki i oddziaływanie były ogólnie zadowalające z punktu widzenia bezpośrednich i pośrednich beneficjentów i zainteresowanych stron? | nie |
| Czy podejście do objętych interwencją środowisk branżowych i badawczych, w tym MSP, było odpowiednie? | tak |
| Jak i w jakim stopniu realizowane działania przyczyniły się do poprawy konkurencyjności badawczej UE na arenie międzynarodowej? Czy w poszczególnych obszarach badań UE objęła czołową pozycję? | częściowo |
| Jak i w jakim stopniu działania przyczyniły się do realizacji ogólnych polityk UE oraz strategii zrównoważonego rozwoju UE? | nie |
| Czy są dowody na potwierdzenie zmian strukturalnych, a zwłaszcza w zakresie tworzenia sieci współpracy, integracji i koordynacji badań, na poziomie krajowym lub międzynarodowym, które dokonały się w wyniku wspólnotowych działań badawczych? | nie |
| Czy w ramach programów środki były wykorzystywane gospodarnie? Czy oddziaływanie realizowanych działań było trwałe? | nie |
| EWOLUCJA I PERPSEKTYWY NA PRZYSZŁOŚĆ | Jak programy ramowe ewoluowały pod względem swojej logiki, celów, priorytetów tematycznych, zachowania równowagi między priorytetami ogólnymi a szczegółowymi oraz badaniami podstawowymi a stosowanymi, pod względem instrumentów, wartości dodanej w wymiarze europejskim i innych rodzajów oddziaływania, w szczególności w świetle koncepcji Europejskiej Przestrzeni Badawczej, celów lizbońskich oraz głównych międzynarodowych rozwiązań gospodarczych i badawczych? | tak |
| W jaki sposób w programie ramowym uzyskano wartość dodaną w wymiarze europejskim? | tak |
| Czy wartość dodaną w wymiarze europejskim można uzyskać za pomocą innych mechanizmów międzynarodowych lub krajowych? | nie |
| Czy cele polityki, priorytety, instrumenty i cykl życia programów są odpowiednie na przyszłość? | tak |

86.

Ilustrują to także znaczne problemy napotkane przez zespół ds. oceny pięcioletniej przeprowadzanej w 2004 r. (58) przy udzielaniu odpowiedzi na pytania oceniające sugerowane w zakresie zadań i obowiązków. Wiele z tych problematycznych kwestii nie mogło zostać objętych analizą z uwagi na brak odpowiednich opracowań, przygotowanych uprzednio przez Komisję (lub w jej imieniu), a także ze względu na to, że członkowie zespołu nie mogli zlecić przygotowania takich opracowań w odpowiednim terminie (zob. rysunek 7).

Rysunek 7

Odpowiedzi na pytania oceniające w ramach oceny pięcioletniej przeprowadzonej w 2004 r.

Pytanie oceniąjce

W sprawozdaniu zawarto odpowiedź?

REALIZACJA

Czy wykonanie działań było wydajne?

częściowo

Czy wykonanie działań było efektywne kosztowo?

częściowo

Czy wybrano działania najlepiej służące osiągnięciu wyznaczonych celów?

nie

Czy ogólne ramy prawne (w tym zasady uczestnictwa i zasady dotyczące kontraktów), instrumenty polityki oraz warunki wykonania były jasne, odpowiednie i skutecznie funkcjonowały?

nie

Czy poziom finansowania i innych dostępnych zasobów był wystarczający?

nie

Czy środowiska branżowe i badawcze objęte interwencją, w tym MSP, odpowiednio na nią odpowiedziały?

tak

OSIĄGNIĘCIA

Czy realizacja działań doprowadziła do osiągnięcia zamierzonych celów i do jakiego stopnia ich rezultaty były nieoczekiwane?

nie

Jakie są najważniejsze rezultaty — zwłaszcza w zakresie produktów naukowych, technologicznych i społeczno-gospodarczych, w zakresie współpracy międzynarodowej, transferu wiedzy i innowacyjności, działań prenormatywnych, dostępności, upowszechniania i wykorzystania wyników badań, rozwoju zasobów ludzkich, mobilności i szkoleń, a także w zakresie wspierania i zwiększania koordynacji działań badawczych?

nie

Czy rezultaty oraz wyniki i oddziaływanie były ogólnie zadowalające z punktu widzenia bezpośrednich i pośrednich beneficjentów i zainteresowanych stron?

nie

Czy podejście do objętych interwencją środowisk branżowych i badawczych, w tym MSP, było odpowiednie?

tak

Jak i w jakim stopniu realizowane działania przyczyniły się do poprawy konkurencyjności badawczej UE na arenie międzynarodowej? Czy w poszczególnych obszarach badań UE objęła czołową pozycję?

częściowo

Jak i w jakim stopniu działania przyczyniły się do realizacji ogólnych polityk UE oraz strategii zrównoważonego rozwoju UE?

nie

Czy są dowody na potwierdzenie zmian strukturalnych, a zwłaszcza w zakresie tworzenia sieci współpracy, integracji i koordynacji badań, na poziomie krajowym lub międzynarodowym, które dokonały się w wyniku wspólnotowych działań badawczych?

nie

Czy w ramach programów środki były wykorzystywane gospodarnie? Czy oddziaływanie realizowanych działań było trwałe?

nie

EWOLUCJA I PERPSEKTYWY NA PRZYSZŁOŚĆ

Jak programy ramowe ewoluowały pod względem swojej logiki, celów, priorytetów tematycznych, zachowania równowagi między priorytetami ogólnymi a szczegółowymi oraz badaniami podstawowymi a stosowanymi, pod względem instrumentów, wartości dodanej w wymiarze europejskim i innych rodzajów oddziaływania, w szczególności w świetle koncepcji Europejskiej Przestrzeni Badawczej, celów lizbońskich oraz głównych międzynarodowych rozwiązań gospodarczych i badawczych?

tak

W jaki sposób w programie ramowym uzyskano wartość dodaną w wymiarze europejskim?

tak

Czy wartość dodaną w wymiarze europejskim można uzyskać za pomocą innych mechanizmów międzynarodowych lub krajowych?

nie

Czy cele polityki, priorytety, instrumenty i cykl życia programów są odpowiednie na przyszłość?

tak

| 87. | Ponadto zauważa się, że tylko w tych przypadkach, gdzie programy miały określone jasne i wymierne cele (takie jak poziom reprezentacji małych i średnich przedsiębiorstw wśród uczestników programu), członkowie zespołu mogli odpowiedzieć na pytania określone w zakresie zadań i obowiązków. |
| --- | --- |

87.

Ponadto zauważa się, że tylko w tych przypadkach, gdzie programy miały określone jasne i wymierne cele (takie jak poziom reprezentacji małych i średnich przedsiębiorstw wśród uczestników programu), członkowie zespołu mogli odpowiedzieć na pytania określone w zakresie zadań i obowiązków.

Oceny PR przeprowadzone na poziomie krajowym

| 88. | Niektóre państwa członkowskie i kraje stowarzyszone przeprowadzają krajowe oceny PR, odpowiadając na pytania z ich perspektywy adekwatne i interesujące (59). W ciągu ostatnich 8 lat ukazało się 14 takich opracowań w 9 państwach członkowskich i jednym kraju stowarzyszonym. |
| --- | --- |

88.

Niektóre państwa członkowskie i kraje stowarzyszone przeprowadzają krajowe oceny PR, odpowiadając na pytania z ich perspektywy adekwatne i interesujące (59). W ciągu ostatnich 8 lat ukazało się 14 takich opracowań w 9 państwach członkowskich i jednym kraju stowarzyszonym.

| 89. | Chociaż Komisja zachęcała w miarę możliwości do jednolitości stosowanych podejść, te krajowe oceny oddziaływania są bardzo zróżnicowane (60). W rezultacie, jako że ich metodyka nie jest zharmonizowana, możliwości agregowania, łączenia lub porównywania rezultatów są ograniczone. Ponadto, z uwagi na ich krajowy charakter, oceny te mogą jedynie częściowo ujmować europejski wymiar współpracy. |
| --- | --- |

89.

Chociaż Komisja zachęcała w miarę możliwości do jednolitości stosowanych podejść, te krajowe oceny oddziaływania są bardzo zróżnicowane (60). W rezultacie, jako że ich metodyka nie jest zharmonizowana, możliwości agregowania, łączenia lub porównywania rezultatów są ograniczone. Ponadto, z uwagi na ich krajowy charakter, oceny te mogą jedynie częściowo ujmować europejski wymiar współpracy.

| 90. | W opublikowanej w 2007 r. „Zielonej księdze” dotyczącej EPB Komisja stwierdziła, że istotne jest, aby na poziomie EPB dostępne były rzetelne analizy dotyczące oddziaływania i skuteczności działań i polityk badawczych, na poziomie państw członkowskich i UE. Komisja uznała też, że istniejące rozwiązania nie są odpowiednie, aby sprostać temu wyzwaniu, ponieważ na każdym poziomie interwencji oceny były wykonywane osobno (61). |
| --- | --- |

90.

W opublikowanej w 2007 r. „Zielonej księdze” dotyczącej EPB Komisja stwierdziła, że istotne jest, aby na poziomie EPB dostępne były rzetelne analizy dotyczące oddziaływania i skuteczności działań i polityk badawczych, na poziomie państw członkowskich i UE. Komisja uznała też, że istniejące rozwiązania nie są odpowiednie, aby sprostać temu wyzwaniu, ponieważ na każdym poziomie interwencji oceny były wykonywane osobno (61).

Zalecenia

91.

| 91. | Komisja powinna opracować podręcznik oceny działań finansowanych z PR, zawierający definicje kluczowych pojęć i terminologii, a także określający szereg odpowiednich metod przeprowadzania niektórych działań podejmowanych w ramach oceny. Podręcznik ten powinien opierać się na istniejących wytycznych i zestawach narzędzi oraz powinien być regularnie aktualizowany. |
| --- | --- |

Komisja powinna opracować podręcznik oceny działań finansowanych z PR, zawierający definicje kluczowych pojęć i terminologii, a także określający szereg odpowiednich metod przeprowadzania niektórych działań podejmowanych w ramach oceny. Podręcznik ten powinien opierać się na istniejących wytycznych i zestawach narzędzi oraz powinien być regularnie aktualizowany.

| 92. | Komisja powinna określić swoje potrzeby informacyjne, uwzględniając konieczność zmniejszenia obciążenia administracyjnego uczestników. |
| --- | --- |

92.

Komisja powinna określić swoje potrzeby informacyjne, uwzględniając konieczność zmniejszenia obciążenia administracyjnego uczestników.

| 93. | Komisja powinna we właściwym czasie przekazywać informacje uzyskane w wyniku monitorowania, dotyczące wdrażania PR. Zgodnie z wymogiem „Zasad uczestnictwa” odnoszących się do 7PR należy pilnie rozwiązać problemy występujące w stosowanych w Komisji informatycznych systemach zarządzania danymi na temat zarządzania programami oraz uczestników programów. |
| --- | --- |

93.

Komisja powinna we właściwym czasie przekazywać informacje uzyskane w wyniku monitorowania, dotyczące wdrażania PR. Zgodnie z wymogiem „Zasad uczestnictwa” odnoszących się do 7PR należy pilnie rozwiązać problemy występujące w stosowanych w Komisji informatycznych systemach zarządzania danymi na temat zarządzania programami oraz uczestników programów.

| 94. | Zobowiązania sprawozdawcze uczestników wobec Komisji należy znacznie ograniczyć, a ankiety należy stosować jedynie w odniesieniu do próby projektów. Kontraktowy wymóg przedstawiania dla każdego projektu opartych na wskaźnikach danych na temat jego oddziaływania należy zastąpić krótką samooceną dokonywaną po zakończeniu projektu. |
| --- | --- |

94.

Zobowiązania sprawozdawcze uczestników wobec Komisji należy znacznie ograniczyć, a ankiety należy stosować jedynie w odniesieniu do próby projektów. Kontraktowy wymóg przedstawiania dla każdego projektu opartych na wskaźnikach danych na temat jego oddziaływania należy zastąpić krótką samooceną dokonywaną po zakończeniu projektu.

| 95. | Komisja powinna szerzej wykorzystywać w swoich ocenach istniejące uzupełniające źródła stosownych danych (zarówno w samej Komisji, jak i w państwach członkowskich). |
| --- | --- |

95.

Komisja powinna szerzej wykorzystywać w swoich ocenach istniejące uzupełniające źródła stosownych danych (zarówno w samej Komisji, jak i w państwach członkowskich).

| 96. | Komisja powinna stosować pełen zakres dostępnych technik oceny. Ponadto powinna wspierać rozwój innowacyjnych podejść do rozwiązywania problemów metodologicznych napotykanych podczas oceny interwencji publicznych w dziedzinie badań naukowych (zob. załącznik I) i wykorzystywać te podejścia w swoich własnych ocenach. |
| --- | --- |

96.

Komisja powinna stosować pełen zakres dostępnych technik oceny. Ponadto powinna wspierać rozwój innowacyjnych podejść do rozwiązywania problemów metodologicznych napotykanych podczas oceny interwencji publicznych w dziedzinie badań naukowych (zob. załącznik I) i wykorzystywać te podejścia w swoich własnych ocenach.

| 97. | Komisja powinna prowadzić z państwami członkowskimi konsultacje dotyczące tego, w jaki sposób zmaksymalizować korzyści płynące z krajowych ocen PR. |
| --- | --- |

97.

Komisja powinna prowadzić z państwami członkowskimi konsultacje dotyczące tego, w jaki sposób zmaksymalizować korzyści płynące z krajowych ocen PR.

Upowszechnianie i wykorzystanie ustaleń poczynionych w ramach oceny

| 98. | Ocena powinna być źródłem przydatnych informacji i analiz, które można skutecznie wykorzystać do zarządzania programami i do kształtowania polityki. W szczególności wyniki oceny powinny służyć jako podstawa do rozważań nad mocnymi i słabymi stronami interwencji publicznej, niezbędnych do wyciągnięcia wniosków z uzyskanych doświadczeń. Trybunał zbadał, w jakim stopniu oceny były przeprowadzane we właściwym czasie, ustalenia upowszechniano i przekazywano do wiadomości zainteresowanych stron spoza Komisji, a zalecenia z nich wynikające były uwzględniane przez Komisję i wykorzystywane do rewizji trwających programów (programy „uczące się”). |
| --- | --- |

98.

Ocena powinna być źródłem przydatnych informacji i analiz, które można skutecznie wykorzystać do zarządzania programami i do kształtowania polityki. W szczególności wyniki oceny powinny służyć jako podstawa do rozważań nad mocnymi i słabymi stronami interwencji publicznej, niezbędnych do wyciągnięcia wniosków z uzyskanych doświadczeń. Trybunał zbadał, w jakim stopniu oceny były przeprowadzane we właściwym czasie, ustalenia upowszechniano i przekazywano do wiadomości zainteresowanych stron spoza Komisji, a zalecenia z nich wynikające były uwzględniane przez Komisję i wykorzystywane do rewizji trwających programów (programy „uczące się”).

Harmonogram przeprowadzania ocen nie uwzględniał racjonalnych możliwości uzyskania pewnych typów informacji

| 99. | Trybunał uznaje, że niektóre rodzaje analiz wymagają perspektywy długookresowej (np. ocena wyników i oddziaływania społeczno-gospodarczego) oraz że pewne, choć nie wszystkie, aspekty (zob. rysunek 8) są związane z konkretnym okresem programowania (np. cele programu, nawet w ramach danej dziedziny naukowej). Komisja nie przyjęła jednak przy dokonywaniu oceny podejścia, które uwzględniałoby te horyzonty czasowe. |
| --- | --- |

99.

Trybunał uznaje, że niektóre rodzaje analiz wymagają perspektywy długookresowej (np. ocena wyników i oddziaływania społeczno-gospodarczego) oraz że pewne, choć nie wszystkie, aspekty (zob. rysunek 8) są związane z konkretnym okresem programowania (np. cele programu, nawet w ramach danej dziedziny naukowej). Komisja nie przyjęła jednak przy dokonywaniu oceny podejścia, które uwzględniałoby te horyzonty czasowe.

| 100. | Przepisy wymagają, aby główne działania oceniające Komisji koncentrowały się wyłącznie na pięciu latach poprzedzających ocenę pięcioletnią, w konsekwencji obejmując części dwóch następujących po sobie okresów programowania. W rezultacie średnio- i długookresowe wyniki i oddziaływanie prawie w ogóle nie są analizowane. Z tego powodu oceny pięcioletnie głównie koncentrowały się na aspektach związanych z monitorowaniem, krótkoterminowych kwestiach związanych z założeniami programów i ogólnych uwagach dotyczących orientacji PR. Trybunał przyjmuje z zadowoleniem fakt, że przepisy odnoszące się do 7PR nie zawierają wymogu dokonywania ocen pięcioletnich ani nie wyznaczają z góry innego okresu, który miałby być objęty oceną.
  Rysunek 8
  Monitorowanie i ocena w różnych horyzontach czasowych







  Monitorowanie wdrożenia programów

  (prowadzone na bieżąco) | — | Aspekty zarządzania programami (np. czas oczekiwania na kontrakt, czas oczekiwania na płatność, współczynniki subskrypcji i powodzenia programów, wykonanie budżetu, poziomy finansowania itp.) |
| --- | --- | --- | --- |

100.

Przepisy wymagają, aby główne działania oceniające Komisji koncentrowały się wyłącznie na pięciu latach poprzedzających ocenę pięcioletnią, w konsekwencji obejmując części dwóch następujących po sobie okresów programowania. W rezultacie średnio- i długookresowe wyniki i oddziaływanie prawie w ogóle nie są analizowane. Z tego powodu oceny pięcioletnie głównie koncentrowały się na aspektach związanych z monitorowaniem, krótkoterminowych kwestiach związanych z założeniami programów i ogólnych uwagach dotyczących orientacji PR. Trybunał przyjmuje z zadowoleniem fakt, że przepisy odnoszące się do 7PR nie zawierają wymogu dokonywania ocen pięcioletnich ani nie wyznaczają z góry innego okresu, który miałby być objęty oceną.

Rysunek 8

Monitorowanie i ocena w różnych horyzontach czasowych

Monitorowanie wdrożenia programów

(prowadzone na bieżąco)

—

Aspekty zarządzania programami (np. czas oczekiwania na kontrakt, czas oczekiwania na płatność, współczynniki subskrypcji i powodzenia programów, wykonanie budżetu, poziomy finansowania itp.)

Ocena krótkookresowa

(zazwyczaj najwcześniej

po 1–2 latach)

| — | Aspekty zarządzania programami (np. wydajność procedur administracyjnych) |
| --- | --- |

—

Aspekty zarządzania programami (np. wydajność procedur administracyjnych)

| — | Aspekty koncepcji programów (np. dostępność i elastyczność instrumentów, kryteria uczestnictwa stanowiące barierę, konsekwencje fiaska procedur konkursowych itp.) |
| --- | --- |

—

Aspekty koncepcji programów (np. dostępność i elastyczność instrumentów, kryteria uczestnictwa stanowiące barierę, konsekwencje fiaska procedur konkursowych itp.)

| — | Analiza profilu uczestnictwa (na tym etapie głównie ilościowa) |
| --- | --- |

—

Analiza profilu uczestnictwa (na tym etapie głównie ilościowa)

Ocena średniookresowa

(zazwyczaj najwcześniej

po 7 latach)

| — | Aspekty koncepcji programów (np. skuteczność instrumentów) |
| --- | --- |

—

Aspekty koncepcji programów (np. skuteczność instrumentów)

| — | Analiza uczestnictwa (łącząca aspekty jakościowe i ilościowe, np. analiza sieci badawczych, oddziaływanie na zachowania badaczy itp.) |
| --- | --- |

—

Analiza uczestnictwa (łącząca aspekty jakościowe i ilościowe, np. analiza sieci badawczych, oddziaływanie na zachowania badaczy itp.)

| — | Analiza produktów projektów
   (62) (np. publikacji, opracowań, patentów, licencji, prototypów, przeszkolonych naukowców itp.) |
| --- | --- |

—

Analiza produktów projektów
   (62) (np. publikacji, opracowań, patentów, licencji, prototypów, przeszkolonych naukowców itp.)

Ocena długookresowa

(zazwyczaj najwcześniej

po > 10 latach)

| — | Ocena wyników i oddziaływania |
| --- | --- |

—

Ocena wyników i oddziaływania

Źródło: Europejski Trybunał Obrachunkowy.

| 101. | Także eksperci Komisji zwrócili uwagę, że oceny pięcioletnie niewystarczająco odnoszą się do wyników i oddziaływania PR:






  — | zespół ds. oceny pięcioletniej przeprowadzanej w 2004 r. zauważył: „(...) ocena powinna obejmować i z równą uwagą traktować zarówno kwestie długo-, jaki krótkoterminowe” oraz: „(...) można by uwolnić zasoby (...), aby umożliwić przeprowadzenie ambitniejszych długoterminowych ocen, które mogłyby objąć kwestie strukturalne i szersze zagadnienia społeczno-gospodarcze w sposób bardziej systematyczny” (63), |
| --- | --- | --- |

101.

Także eksperci Komisji zwrócili uwagę, że oceny pięcioletnie niewystarczająco odnoszą się do wyników i oddziaływania PR:

—

zespół ds. oceny pięcioletniej przeprowadzanej w 2004 r. zauważył: „(...) ocena powinna obejmować i z równą uwagą traktować zarówno kwestie długo-, jaki krótkoterminowe” oraz: „(...) można by uwolnić zasoby (...), aby umożliwić przeprowadzenie ambitniejszych długoterminowych ocen, które mogłyby objąć kwestie strukturalne i szersze zagadnienia społeczno-gospodarcze w sposób bardziej systematyczny” (63),

| — | w opracowaniu zleconym przez DG ds. Badań Naukowych stwierdzono, że „(...) obecne działania podejmowane w ramach oceny BRT w UE (w tym bieżące monitorowanie, oceny pięcioletnie i ocena śródokresowa) silnie koncentrują się na monitorowaniu, a nie na ocenie oddziaływania” oraz: „(...) aby ukierunkować zapotrzebowanie i oczekiwania na oddziaływanie społeczno-gospodarcze, konieczne byłoby wprowadzenie nowych ram oceny i monitorowania, wymagających skoncentrowania się w większym stopniu na ocenie oddziaływania niż monitorowaniu produktów” (64). |
| --- | --- |

—

w opracowaniu zleconym przez DG ds. Badań Naukowych stwierdzono, że „(...) obecne działania podejmowane w ramach oceny BRT w UE (w tym bieżące monitorowanie, oceny pięcioletnie i ocena śródokresowa) silnie koncentrują się na monitorowaniu, a nie na ocenie oddziaływania” oraz: „(...) aby ukierunkować zapotrzebowanie i oczekiwania na oddziaływanie społeczno-gospodarcze, konieczne byłoby wprowadzenie nowych ram oceny i monitorowania, wymagających skoncentrowania się w większym stopniu na ocenie oddziaływania niż monitorowaniu produktów” (64).

| 102. | Kwestia ram czasowych ma także wpływ na wymagane przepisami oceny szczegółowe. Na przykład sprawozdanie Marimóna z 2004 r., które analizowało nowe instrumenty wprowadzone w 6PR (2003–2006), zostało zlecone zbyt wcześnie, i w konsekwencji praktyczne doświadczenia i dowody empiryczne, na których można by oprzeć wnioski, były niewielkie lub nie było ich w ogóle (65). |
| --- | --- |

102.

Kwestia ram czasowych ma także wpływ na wymagane przepisami oceny szczegółowe. Na przykład sprawozdanie Marimóna z 2004 r., które analizowało nowe instrumenty wprowadzone w 6PR (2003–2006), zostało zlecone zbyt wcześnie, i w konsekwencji praktyczne doświadczenia i dowody empiryczne, na których można by oprzeć wnioski, były niewielkie lub nie było ich w ogóle (65).

Informowanie i upowszechnianie

| 103. | Komisja może we własnym zakresie opracowywać i dostosowywać operacyjne programy pracy w cyklach krótkoterminowych, pod warunkiem zatwierdzenia przez właściwy komitet programowy. Może to stanowić okazję do korekty sposobu zarządzania programem, a także do realokacji budżetów w ramach podprogramów. Nie znaleziono dowodów na wykorzystywanie tej możliwości przez Komisję (zob. pkt 107). |
| --- | --- |

103.

Komisja może we własnym zakresie opracowywać i dostosowywać operacyjne programy pracy w cyklach krótkoterminowych, pod warunkiem zatwierdzenia przez właściwy komitet programowy. Może to stanowić okazję do korekty sposobu zarządzania programem, a także do realokacji budżetów w ramach podprogramów. Nie znaleziono dowodów na wykorzystywanie tej możliwości przez Komisję (zob. pkt 107).

| 104. | Poza tym, z uwagi na sposób, w jaki PR są opracowywane i przyjmowane, jest prawie niemożliwe, by Komisja dokonała istotnych zmian, takich jak modyfikacje celów programów lub przesunięcie środków budżetowych między podprogramami. Jedynie prawodawca może wprowadzić tak daleko idące modyfikacje podczas dokonywania rewizji aktów prawnych dotyczących PR (jak np. rewizji 7PR w 2010 r.) lub przy przyjmowaniu kolejnych PR. Z tego powodu przepisy zazwyczaj stanowią, że przeprowadzenie głównych procesów oceny powinno być tak zaplanowane w czasie, by ich wyniki mogły być możliwie najpełniej wzięte pod uwagę przy kształtowaniu polityki. |
| --- | --- |

104.

Poza tym, z uwagi na sposób, w jaki PR są opracowywane i przyjmowane, jest prawie niemożliwe, by Komisja dokonała istotnych zmian, takich jak modyfikacje celów programów lub przesunięcie środków budżetowych między podprogramami. Jedynie prawodawca może wprowadzić tak daleko idące modyfikacje podczas dokonywania rewizji aktów prawnych dotyczących PR (jak np. rewizji 7PR w 2010 r.) lub przy przyjmowaniu kolejnych PR. Z tego powodu przepisy zazwyczaj stanowią, że przeprowadzenie głównych procesów oceny powinno być tak zaplanowane w czasie, by ich wyniki mogły być możliwie najpełniej wzięte pod uwagę przy kształtowaniu polityki.

| 105. | Dlatego też część głównych użytkowników ocen Komisji stanowią same „dyrekcje badawcze” (66). Przepisy odnoszące się do PR wyraźnie wymagają jednak przedstawiania wyników oceny Parlamentowi Europejskiemu i Radzie. |
| --- | --- |

105.

Dlatego też część głównych użytkowników ocen Komisji stanowią same „dyrekcje badawcze” (66). Przepisy odnoszące się do PR wyraźnie wymagają jednak przedstawiania wyników oceny Parlamentowi Europejskiemu i Radzie.

| 106. | W ramach przeprowadzonej przez Trybunał ankiety wśród członków parlamentarnej komisji ITRE i komitetu CREST Rady większość respondentów wskazała jednak, że nie czują się wystarczająco poinformowani o wdrażaniu i rezultatach PR (zob. rysunek 9) (67). |
| --- | --- |

106.

W ramach przeprowadzonej przez Trybunał ankiety wśród członków parlamentarnej komisji ITRE i komitetu CREST Rady większość respondentów wskazała jednak, że nie czują się wystarczająco poinformowani o wdrażaniu i rezultatach PR (zob. rysunek 9) (67).

Image

Działania podjęte w związku z ustaleniami poczynionymi w ramach oceny

| 107. | W swoich rocznych przeglądach ocen Komisja przedstawia podsumowanie ustaleń poczynionych i działań podjętych w wyniku przeprowadzonych ocen (68). W odniesieniu do działań podejmowanych w wyniku oceny Komisja przekazała także oficjalne odpowiedzi na ustalenia i zalecenia poczynione w ramach ocen pięcioletnich i ocen szczegółowych wymaganych przepisami, a także, w miarę możliwości, podjęła odpowiednie środki, aby zaradzić wskazanych uchybieniom. Nie miało to jednak miejsca w przypadku wielu innych zbadanych sprawozdań oceniających i nie znaleziono dowodów, że zawarte w nich ustalenia i zalecenia zostały uwzględnione przy dokonywaniu zmian w programach pracy. Podobnie, opracowane przez DG budżetowe opisy zadań oraz roczne sprawozdania z działalności nie wskazują, w jakim stopniu ustalenia poczynione w ramach oceny zostały uwzględnione. |
| --- | --- |

107.

W swoich rocznych przeglądach ocen Komisja przedstawia podsumowanie ustaleń poczynionych i działań podjętych w wyniku przeprowadzonych ocen (68). W odniesieniu do działań podejmowanych w wyniku oceny Komisja przekazała także oficjalne odpowiedzi na ustalenia i zalecenia poczynione w ramach ocen pięcioletnich i ocen szczegółowych wymaganych przepisami, a także, w miarę możliwości, podjęła odpowiednie środki, aby zaradzić wskazanych uchybieniom. Nie miało to jednak miejsca w przypadku wielu innych zbadanych sprawozdań oceniających i nie znaleziono dowodów, że zawarte w nich ustalenia i zalecenia zostały uwzględnione przy dokonywaniu zmian w programach pracy. Podobnie, opracowane przez DG budżetowe opisy zadań oraz roczne sprawozdania z działalności nie wskazują, w jakim stopniu ustalenia poczynione w ramach oceny zostały uwzględnione.

Zalecenia

108.

| 108. | Komisja powinna określić rodzaj i zakres oceny możliwej do przeprowadzenia w terminach określonych w przepisach (2008 r., 2010 r. i 2015 r.), a także objaśnić, jak można wykorzystać wyniki ocen do korekty programów (programy „uczące się”) i jaki wpływ mogą one mieć na podejmowanie decyzji dotyczących kształtu danej polityki. W szczególności Komisja powinna przedstawić swoje planowane podejście do oceny długoterminowych rezultatów zakończonych i trwających PR, jako że rezultaty takie mogą być widoczne po 7–10 latach (zob. rysunek 8). |
| --- | --- |

Komisja powinna określić rodzaj i zakres oceny możliwej do przeprowadzenia w terminach określonych w przepisach (2008 r., 2010 r. i 2015 r.), a także objaśnić, jak można wykorzystać wyniki ocen do korekty programów (programy „uczące się”) i jaki wpływ mogą one mieć na podejmowanie decyzji dotyczących kształtu danej polityki. W szczególności Komisja powinna przedstawić swoje planowane podejście do oceny długoterminowych rezultatów zakończonych i trwających PR, jako że rezultaty takie mogą być widoczne po 7–10 latach (zob. rysunek 8).

| 109. | Komisja powinna poddać przeglądowi swoje działania w zakresie komunikowania i upowszechniania wyników ocen, aby móc zagwarantować, że zainteresowane strony otrzymują niezbędne informacje. W szczególności, „dyrekcje badawcze” powinny sporządzać oficjalne odpowiedzi w odniesieniu do wszystkich ocen oraz w odpowiednim terminie upubliczniać te analizy wraz ze swoimi odpowiedziami. „Dyrekcje badawcze” powinny także umieścić w swoich budżetowych opisach zadań oraz rocznych sprawozdaniach z działalności informacje na temat działań podjętych w związku z wynikami oceny oraz wykorzystywać zalecenia przy aktualizowaniu swoich programów pracy i opracowywaniu przyszłych programów. |
| --- | --- |

109.

Komisja powinna poddać przeglądowi swoje działania w zakresie komunikowania i upowszechniania wyników ocen, aby móc zagwarantować, że zainteresowane strony otrzymują niezbędne informacje. W szczególności, „dyrekcje badawcze” powinny sporządzać oficjalne odpowiedzi w odniesieniu do wszystkich ocen oraz w odpowiednim terminie upubliczniać te analizy wraz ze swoimi odpowiedziami. „Dyrekcje badawcze” powinny także umieścić w swoich budżetowych opisach zadań oraz rocznych sprawozdaniach z działalności informacje na temat działań podjętych w związku z wynikami oceny oraz wykorzystywać zalecenia przy aktualizowaniu swoich programów pracy i opracowywaniu przyszłych programów.

WNIOSEK OGÓLNY

| 110. | Trybunał przyznaje, że ocena programów BRT, a w szczególności ich długoterminowych rezultatów, jest zadaniem z założenia trudnym i trudne jest określenie najlepszych praktyk w tym zakresie. |
| --- | --- |

110.

Trybunał przyznaje, że ocena programów BRT, a w szczególności ich długoterminowych rezultatów, jest zadaniem z założenia trudnym i trudne jest określenie najlepszych praktyk w tym zakresie.

| 111. | W opinii Trybunału ocena jest niezbędna do zarządzania programami, przyszłego planowania i kształtowania polityki. Ocena stanowi również podstawę rozliczalności. Jest ona źródłem cennych informacji na temat tego, jakie zamierzone (i niezamierzone) rezultaty osiągnięto, zakresu, w jakim cele programu zostały osiągnięte, stosowności i użyteczności programów oraz wydajności i skuteczności wdrażania programu. Jako że to Parlament Europejski i Rada decydują o ogólnych kierunkach, sprawach budżetowych i założeniach PR, potrzebny jest im przejrzysty, wiarygodny i solidny system oceny stanowiący źródło odpowiednich informacji. |
| --- | --- |

111.

W opinii Trybunału ocena jest niezbędna do zarządzania programami, przyszłego planowania i kształtowania polityki. Ocena stanowi również podstawę rozliczalności. Jest ona źródłem cennych informacji na temat tego, jakie zamierzone (i niezamierzone) rezultaty osiągnięto, zakresu, w jakim cele programu zostały osiągnięte, stosowności i użyteczności programów oraz wydajności i skuteczności wdrażania programu. Jako że to Parlament Europejski i Rada decydują o ogólnych kierunkach, sprawach budżetowych i założeniach PR, potrzebny jest im przejrzysty, wiarygodny i solidny system oceny stanowiący źródło odpowiednich informacji.

| 112. | Komisja ustanowiła ogólne ramy oceny w 2000 r. i 2002 r., a następnie dokonała ich rewizji w 2007 r. Choć w okresie badanym przez Trybunał nie zauważono znaczącej poprawy sposobu, w jaki oceny PR i tworzących je programów są planowane, opracowywane i realizowane, „dyrekcje badawcze” ogólnie spełniają wymogi formalne ustalone dla całej Komisji. |
| --- | --- |

112.

Komisja ustanowiła ogólne ramy oceny w 2000 r. i 2002 r., a następnie dokonała ich rewizji w 2007 r. Choć w okresie badanym przez Trybunał nie zauważono znaczącej poprawy sposobu, w jaki oceny PR i tworzących je programów są planowane, opracowywane i realizowane, „dyrekcje badawcze” ogólnie spełniają wymogi formalne ustalone dla całej Komisji.

| 113. | W odniesieniu do okresu objętego niniejszym sprawozdaniem, zgodnie z wymaganiami określonymi w aktach prawnych dotyczących PR, w „dyrekcjach badawczych” istniał system oceny i Komisja potrafi wskazać pokaźny zbiór opracowań oceniających. Jednak ostatecznie niewiele lub nic nie wiadomo na temat osiągnięcia celów programów i rezultatów PR. Jest tak dlatego, że oceny generalnie koncentrowały się na krótkoterminowych kwestiach związanych z wdrażaniem programu. W rezultacie oceny Komisji były w ograniczonym stopniu przydatne osobom odpowiedzialnym za kształtowanie polityki, zainteresowanym stronom, czy nawet samej Komisji. |
| --- | --- |

113.

W odniesieniu do okresu objętego niniejszym sprawozdaniem, zgodnie z wymaganiami określonymi w aktach prawnych dotyczących PR, w „dyrekcjach badawczych” istniał system oceny i Komisja potrafi wskazać pokaźny zbiór opracowań oceniających. Jednak ostatecznie niewiele lub nic nie wiadomo na temat osiągnięcia celów programów i rezultatów PR. Jest tak dlatego, że oceny generalnie koncentrowały się na krótkoterminowych kwestiach związanych z wdrażaniem programu. W rezultacie oceny Komisji były w ograniczonym stopniu przydatne osobom odpowiedzialnym za kształtowanie polityki, zainteresowanym stronom, czy nawet samej Komisji.

| 114. | Z uwagi na znaczenie oceny dla zarządzania programami i kształtowania polityki, podejście Komisji do oceny PR i tworzących je programów należy ponownie rozważyć w związku z nowymi wyzwaniami politycznymi, zwiększonymi środkami finansowymi, poszerzeniem orientacji wspólnotowej polityki w dziedzinie badań naukowych oraz niedawną reformą Komisji. Zalecenie to sformułował także EURAB w swoim sprawozdaniu z 2007 r. |
| --- | --- |

114.

Z uwagi na znaczenie oceny dla zarządzania programami i kształtowania polityki, podejście Komisji do oceny PR i tworzących je programów należy ponownie rozważyć w związku z nowymi wyzwaniami politycznymi, zwiększonymi środkami finansowymi, poszerzeniem orientacji wspólnotowej polityki w dziedzinie badań naukowych oraz niedawną reformą Komisji. Zalecenie to sformułował także EURAB w swoim sprawozdaniu z 2007 r.

| 115. | W opinii Trybunału zastosowanie jasnej logiki interwencji w koncepcji przyszłych programów PR poprawiłoby ukierunkowanie i strukturę tych programów. Przyczyniłoby się także do realizacji przez Komisję polityki „lepszego stanowienia prawa”, mającej na celu poprawę koncepcji, uproszczenie, zwiększenie skuteczności i lepsze zrozumienie otoczenia regulacyjnego (69). |
| --- | --- |

115.

W opinii Trybunału zastosowanie jasnej logiki interwencji w koncepcji przyszłych programów PR poprawiłoby ukierunkowanie i strukturę tych programów. Przyczyniłoby się także do realizacji przez Komisję polityki „lepszego stanowienia prawa”, mającej na celu poprawę koncepcji, uproszczenie, zwiększenie skuteczności i lepsze zrozumienie otoczenia regulacyjnego (69).

| 116. | Ocena PR i tworzących je programów byłaby bardziej skuteczna, gdyby cele programów i wskaźniki ich osiągnięcia były od początku jaśniejsze, gdyby „dyrekcje badawcze” wdrażające PR uzgodniły solidną, ale nie nazbyt sztywno określoną strategię oceny i gdyby zastosowano bardziej zaawansowane metody oceny, w tym podejścia ilościowe. |
| --- | --- |

116.

Ocena PR i tworzących je programów byłaby bardziej skuteczna, gdyby cele programów i wskaźniki ich osiągnięcia były od początku jaśniejsze, gdyby „dyrekcje badawcze” wdrażające PR uzgodniły solidną, ale nie nazbyt sztywno określoną strategię oceny i gdyby zastosowano bardziej zaawansowane metody oceny, w tym podejścia ilościowe.

| 117. | Trybunał zwrócił również uwagę na szereg punktów, w których Komisja mogłaby zrewidować stosowane obecnie rozwiązania organizacyjne w zakresie oceny PR. Korzyści może przynieść:






  — | angażowanie zespołów ds. oceny na wcześniejszym etapie procesu oceny, a dzięki temu wspieranie Komisji w całym cyklu programowania i po jego zakończeniu oraz podnoszenie stopnia wyspecjalizowania dzięki powoływaniu zespołów do poszczególnych programów szczegółowych oraz, w odpowiednich przypadkach, podprogramów, |
| --- | --- | --- |

117.

Trybunał zwrócił również uwagę na szereg punktów, w których Komisja mogłaby zrewidować stosowane obecnie rozwiązania organizacyjne w zakresie oceny PR. Korzyści może przynieść:

—

angażowanie zespołów ds. oceny na wcześniejszym etapie procesu oceny, a dzięki temu wspieranie Komisji w całym cyklu programowania i po jego zakończeniu oraz podnoszenie stopnia wyspecjalizowania dzięki powoływaniu zespołów do poszczególnych programów szczegółowych oraz, w odpowiednich przypadkach, podprogramów,

| — | wzmocnienie istniejących w poszczególnych DG działów ds. oceny dzięki utworzeniu wspólnego biura oceny odpowiedzialnego za koordynację ocen PR. |
| --- | --- |

—

wzmocnienie istniejących w poszczególnych DG działów ds. oceny dzięki utworzeniu wspólnego biura oceny odpowiedzialnego za koordynację ocen PR.

| 118. | Zalecenia zawarte w niniejszym sprawozdaniu są oparte na istniejących praktykach w Komisji lub na dobrych praktykach międzynarodowych. W odniesieniu do zasobów, jasne jest, że przyjęcie sugerowanego podejścia do oceny programów pociągnęłoby za sobą wzrost kosztów. Trybunał jest jednak zdania, że najprawdopodobniej wynikające z niego korzyści przynajmniej zbilansują poniesione koszty. |
| --- | --- |

118.

Zalecenia zawarte w niniejszym sprawozdaniu są oparte na istniejących praktykach w Komisji lub na dobrych praktykach międzynarodowych. W odniesieniu do zasobów, jasne jest, że przyjęcie sugerowanego podejścia do oceny programów pociągnęłoby za sobą wzrost kosztów. Trybunał jest jednak zdania, że najprawdopodobniej wynikające z niego korzyści przynajmniej zbilansują poniesione koszty.

Niniejsze sprawozdanie zostało przyjęte przez Trybunał Obrachunkowy w Luksemburgu na posiedzeniu w dniu 22 listopada 2007 r.

W imieniu Trybunału Obrachunkowego

Hubert WEBER

Prezes

---

(1)  Według OECD badania i rozwój można zdefiniować jako „(...) systematycznie prowadzone prace twórcze, podjęte dla zwiększenia zasobu wiedzy, w tym wiedzy o człowieku, kulturze i społeczeństwie, jak również dla znalezienia nowych zastosowań dla tej wiedzy” (zob. Podręcznik Frascati, OECD — Proponowane procedury standardowe do badań statystycznych w zakresie działalności badawczo-rozwojowej, Paryż 2002, s. 30). W kontekście wspólnotowym stosuje się akronim BRT, obejmujący zarówno technologię, jak i badania i rozwój.

1

(2)  DG ds. Badań Naukowych jest główną dyrekcją generalną zarządzającą i koordynującą PR. Pięć pozostałych dyrekcji również zarządza (w części) poszczególnymi programami: główną rolę pełni DG ds. Społeczeństwa Informacyjnego i Mediów (pozostałe dyrekcje to: DG ds. Transportu i Energii, DG ds. Przedsiębiorstw i Przemysłu, DG ds. Rybołówstwa i Gospodarki Morskiej oraz Wspólne Centrum Badawcze Komisji).

2

(3)  W 2000 r. na szczycie Rady Europejskiej w Lizbonie wytyczono cel polegający na uczynieniu UE do roku 2010 najbardziej dynamiczną, konkurencyjną i opartą na wiedzy gospodarką, charakteryzującą się zrównoważonym wzrostem gospodarczym, pełnym zatrudnieniem i wzmocnioną spójnością gospodarczą i społeczną.

3

(4)  W 2002 r. Rada Europejska uzgodniła, że całkowite wydatki na BRT i działalność innowacyjną w Unii Europejskiej należy zwiększyć tak, aby zbliżyły się do poziomu 3 % PKB do roku 2010. Ustalono też, że dwie trzecie tych nowych inwestycji powinno pochodzić z sektora prywatnego (zob. dokument Komisji Europejskiej pt. „Investing in research: an action plan for Europe”; komunikat Komisji do Rady, Parlamentu Europejskiego, Europejskiego Komitetu Ekonomiczno-Społecznego oraz Komitetu Regionów, COM(2003) 226 wersja ostateczna, s. 7).

4

(5)  W ramach zarządzania bezpośredniego Komisja realizuje operacje niezbędne do wykonywania budżetu bez żadnego udziału państw członkowskich ani państw trzecich, w których znajdują się odbiorcy funduszy.

5

(6)  Od roku 2006 w samym tylko 6PR wzięło udział ponad 22 000 publicznych i prywatnych osób prawnych, głównie w ramach konsorcjów skupiających wielu partnerów.

6

(7)  Jest to metoda współpracy oparta na zasadzie dobrowolnej współpracy międzyrządowej. Obejmuje w szczególności uczenie się od siebie nawzajem, analizę porównawczą i dzielenie się najlepszymi praktykami.

7

(8)  Rozporządzenie Rady (WE, Euratom) nr 1605/2002 z dnia 25 czerwca 2002 r. (Dz.U. L 248 z 16.9.2002, s. 1), art. 27, 48, 59 i 60.

8

(9)  Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Grybauskaitė w porozumieniu z Przewodniczącym, pt. „Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213, z dnia 21 lutego 2007 r.; Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Schreyer, pt. „Focus on results: Strengthening Evaluation of Commission Activities”, SEC(2000) 1051, z dnia 26 lipca 2000 r.

9

(10)  Decyzja nr 1982/2006/WE Parlamentu Europejskiego i Rady z dnia 18 grudnia 2006 r. dotycząca siódmego programu ramowego Wspólnoty Europejskiej w zakresie badań, rozwoju technologicznego i demonstracji (2007–2013) (Dz.U. L 412 z 30.12.2006, s. 1): art. 7 ust. 1; informacje uzyskane w wyniku monitorowania, które mają być przekazywane przez Komisję komitetom programowym, są określone w decyzjach dotyczących programów szczegółowych (zob. np. decyzja Rady 2006/971/WE z dnia 19 grudnia 2006 r. dotycząca programu szczegółowego Współpraca, wdrażającego siódmy program ramowy Wspólnoty Europejskiej w dziedzinie badań, rozwoju technologicznego i demonstracji (2007–2013) (Dz.U. L 400 z 30.12.2006, s. 86): art. 8 ust. 4 oraz załącznik V).

10

(11)  Komisja Europejska, Communication to the Council concerning a Community plan of action relating to the Evaluation of Community research and development activities for the years 1987 to 1991, COM(86) 660 wersja ostateczna, z dnia 20 listopada 1986 r., w odpowiedzi na rezolucję Rady z dnia 28 czerwca 1983 r.

11

(12)  Komisja Europejska, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1992–1996”; sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Viscounta Davignona (1997); Komisja Europejska, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1995–1999”; sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Joana Majó (lipiec 2000); Komisja Europejska, „Five-year Assessment of the European Union Research Framework Programmes, 1999–2003”; sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Erkkiego Ormali (15 grudnia 2004 r.).

12

(13)  Komisja Europejska, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, 21 czerwca 2004 r., sprawozdanie zespołu ekspertów wysokiego szczebla pod przewodnictwem profesora Ramona Marimóna.

13

(14)  Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Schreyer pt. „Focus on Results: Strengthening Evaluation of Commission Activities”, lipiec 2000, SEC(2000) 1051; Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od przewodniczącego i p. Schreyer pt. „Evaluation Standards and Good Practice”, C(2002) 5267, z dnia 23 grudnia 2002 r.

14

(15)  Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Grybauskaitė w porozumieniu z Przewodniczącym, pt. „Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213, z dnia 21 lutego 2007 r.

15

(16)  Komisja Europejska, wewnętrzny dokument roboczy „Impact assessment and ex-ante evaluation”, SEC(2005) 430.

16

ex-ante

(17)  Działająca w Parlamencie Europejskim Komisja ITRE (Komisja Przemysłu, Badań Naukowych i Energii) jest (w szczególności) odpowiedzialna za politykę przemysłową, politykę badań naukowych (w tym upowszechnianie i wykorzystanie wyników badań), politykę kosmiczną, działalność Wspólnego Centrum Badawczego, Traktat Euratom oraz społeczeństwo informacyjne i technologie informacyjne.

17

(18)  CREST („Comité de la Recherche Scientifique et Technique” — Komitet Badań Naukowo-Technicznych) utworzono na mocy rezolucji Rady z dnia 14 stycznia 1974 r. i składa się on z przedstawicieli władz krajowych, którzy są odpowiedzialni za polityki państwa członkowskich w zakresie badań i rozwoju technologicznego. CREST pełni rolę doradczą, informując Komisję i Radę w szczególności o kwestiach związanych z koordynacją krajowych polityk BRT oraz monitorowaniem i oceną PR.

18

(19)  Modele logiczne przedstawiające, jak w ramach różnych działań wkład prowadzi do oczekiwanych rezultatów, są najwłaściwszą metodą obrazowania logiki interwencji. Za pomocą tych modeli można przedstawić w jasny sposób założenia koncepcyjne programu oraz rozbicie głównych celów na cele operacyjne.

19

(20)  Komisja Europejska, DG ds. Budżetu, „Evaluating EU activities: a practical guide for the Commission services”, lipiec 2004, s. 87 i 106.

20

(21)  „Five-year Assessment of the European Union Research Framework Programmes, 1999–2003”; sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Erkkiego Ormali (15 grudnia 2004 r.): sekcja 6 „Evaluating the Framework Programme”, s. 19.

21

(22)  Kraje otrzymujące pomoc zewnętrzną są zobowiązane do przedstawiania modeli logicznych w odniesieniu do finansowania wspólnotowego (Komisja Europejska, Aid delivery methods, tom 1: Project cycle management guidelines, marzec 2004, sekcja 5: The logical framework approach).

22

(23)  Rozporządzenie (WE, Euratom) nr 1605/2002, art. 27 ust. 3.

23

(24)  W 2006 r. obszar polityki „Badania naukowe” (tytuł 08) został skonstruowany na podstawie programów szczegółowych (i podprogramów) okresu programowania dla realizowanego wówczas 6PR (i w konsekwencji został zastąpiony inną strukturą w 2007 r.), podczas gdy w obszarze polityki „Społeczeństwo informacyjne i media” (tytuł 09) obecny i poprzedni program szczegółowy zostały połączone w jedno zadanie ABB (Komisja Europejska, DG ds. Badań Naukowych, dyrekcja A: Koordynacja działalności wspólnotowej, Planowanie, programowanie, ocena, roczny plan zarządzania 2006, 20.12.2005; Komisja Europejska, DG ds. Społeczeństwa Informacyjnego i Mediów, roczny plan zarządzania 2006, 23.12.2005).

24

(25)  W przypadku DG ds. Badań Naukowych, cele ABM (oraz wskaźniki wykorzystywane do pomiaru stopnia ich osiągnięcia) zmieniały się z roku na rok. Z drugiej strony, DG ds. Społeczeństwa Informacyjnego i Mediów stosowała cele wieloletnie, które nie pokrywały się jednak z celami programów (lub celami określonymi na poziomie programu prac).

25

(26)  Komisja Europejska, Służba Audytu Wewnętrznego, Review of effectiveness and efficiency of the SPP/ABM cycle — Sekretariat Generalny i DG ds. Budżetu, 2005: pkt 4.1, s. 31.

26

(27)  Komisja Europejska, „Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes”, COM(83) 1 wersja ostateczna, z dnia 19 stycznia 1983 r.

27

(28)  Komunikat od Komisji do rady i Parlamentu Europejskiego, „Independent external monitoring and evaluation of Community activities in the area of research and technological development”, z dnia 22 maja 1996 r. (COM(1996) 220 wersja ostateczna).

28

(29)  Każda DG wdrażająca PR dokumentuje planowane przez siebie oceny w rocznym (i wieloletnim) planie oceny. Jednak nie można uznać, że dokumenty te stanowią strategię oceny.

29

(30)  Rozporządzenie (WE, Euratom) nr 1605/2002, art. 27 ust. 4.

30

(31)  „Loi de programme pour la recherche no 2006–450” z dnia 18 kwietnia 2006 r. oraz „Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)” z dnia 3 listopada 2006 r.

31

o

o

(32)  Agencia Nacional de Evaluación y Prospectiva w ramach Ministerio de Educación y Ciencia: Orden ECI/1252/2005 z dnia 4 maja 2005 r., ustanawiający „Comisión Asesora de Evaluación y Prospectiva” (Komisję Doradczą ds. Oceny i Perspektyw).

32

(33)  W 2004 r. „Deutsche Forschungsgemeinschaft” (DFG) utworzył specjalistyczny instytut „Institut für Forschungsinformation und Qualitätssicherung” (IFQ) i przekazał mu odpowiedzialność za opracowywanie i standaryzację metodyki oceny, zapewnienie jakości i dokonywanie ocen działalności BRT finansowanej przez DFG.

33

(34)  W 7PR Komisja utworzyła 15 takich grup, w 6PR — 12, a w 5PR — 17. Grupy te doradzają Komisji w kwestiach polityki i programowych związanych z PR. Należy jednak zauważyć, że grupy te nie obejmują całej struktury programowej PR. Innymi słowy, nie dla każdego programu szczegółowego (lub podprogramu) istnieje grupa doradcza.

34

(35)  W Kanadzie prawie wszystkie federalne departamenty rządowe powołały stałe komitety oceny, składające się z wysokich rangą urzędników departamentalnych i zazwyczaj także z zainteresowanych stron zewnętrznych, do nadzorowania systemu oceny („Social Sciences and Humanities Research Council of Canada”: Evaluation Standing Committee — Mandate and Membership).

35

(36)  Komisja Europejska, sprawozdanie monitorujące za 2004 r.: „Implementation of Activities under the EC and Euratom framework and corresponding specific programmes”, sierpień 2005, s. 5.

36

(37)  Komisja Europejska, „Planning and optimising Commission human resources to serve EU priorities”, SEC(2007) 530, z dnia 24 kwietnia 2007 r.

37

(38)  Komisja Europejska, komunikat do Komisji od Przewodniczącego i p. Schreyer, „Evaluation standards and good practice”, C(2002) 5267 z dnia 23 grudnia 2002 r.; Komisja Europejska, wewnętrzny dokument roboczy, „Impact assessment and ex-ante evaluation”, SEC(2005) 430 z dnia 6 kwietnia 2005 r., załącznik 1, przypis 209.

38

ex-ante

(39)  W 2007 r. Europejski Komitet Konsultacyjny ds. Badań (EURAB) zalecił także przydzielenie większych zasobów na ocenę PR (EURAB, „Recommendations on Ex-Post Impact Assessment”, lipiec 2007).

39

Ex-Post

(40)  Sprawozdanie specjalne nr 1/2004 na temat zarządzania pośrednimi działaniami w dziedzinie BRT w 5. Programie ramowym (5PR) badań i rozwoju technologicznego (1998–2002) (Dz.U. C 99 z 23.4.2004), pkt 116 i 122.

40

(41)  Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Grybauskaitė w porozumieniu z Przewodniczącym, pt. „Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213, z dnia 21 lutego 2007 r.; Komisja Europejska, komunikat do Komisji od Przewodniczącego i p. Schreyer, pt. „Evaluation standards and good practice”, C(2002) 5267 z dnia 23 grudnia 2002 r.

41

(42)  14 DG posiada takie podręczniki oceny dla obszarów polityki i programów, za które dyrekcje te odpowiadają (Komisja Europejska, DG ds. Budżetu, dział ds. oceny, „Overview of Evaluation Guides in the Commission”, październik 2004 r.).

42

(43)  Fahrenkrog, G. et al, RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies, IPTS-WCB, 2002; PREST et al.; „Assessing the Socio-economic Impacts of the Framework Programme”; Uniwersytet w Manchesterze; 2002 r.

43

(44)  Chociaż Komisja na ogół posiada takie informacje dotyczące uczestników, często nie można ich wykorzystać do przeprowadzenia szczegółowej analizy, ponieważ dane na temat danego uczestnika nie są gromadzone w jednym miejscu ani też nie są zawsze rejestrowane w kompatybilnych formatach. Utrudnia to prześledzenie zaangażowania danego uczestnika w dłuższym okresie — na przykład, aby ocenić powody nieuczestnictwa, a także relacji między uczestnikami — na przykład, aby zbadać efekty sieciowe (zob. pkt 84).

44

(45)  Sprawozdanie roczne dotyczące roku budżetowego 2006, tabela 2.3; sprawozdanie roczne dotyczące roku budżetowego 2005, pkt 7.13; sprawozdanie roczne dotyczące roku budżetowego 2004, pkt 6.8 i 6.10; sprawozdanie roczne dotyczące roku budżetowego 2003, pkt 6.9 i 6.70; sprawozdanie specjalne nr 1/2004, pkt 105–108; opinia nr 1/2006 w sprawie projektu rozporządzenia Parlamentu Europejskiego i Rady ustanawiającego zasady uczestnictwa przedsiębiorstw, ośrodków badawczych i uczelni wyższych w działaniach prowadzonych w ramach siódmego programu ramowego oraz zasady upowszechniania wyników badań (2007–2013) (Dz.U. C 203 z 25.8.2006), pkt 57.

45

(46)  Traktat ustanawiający Wspólnotę Europejską, art. 173: „Na początku każdego roku Komisja przedstawia sprawozdanie Parlamentowi Europejskiemu i Radzie. Sprawozdanie to zawiera zwłaszcza informację o działaniach w zakresie badań, rozwoju technologicznego oraz upowszechniania wyników w roku poprzednim oraz program pracy na rok bieżący”.

46

(47)  Nie było systematycznych prób gromadzenia danych od uczestników po zakończeniu projektów, z wyjątkiem ankiet w ramach prowadzonych ocen. Zastosowanie ankiet utrudnił fakt, że uczestnicy, inaczej niż w wielu krajowych programach BRT (np. w Niemczech), nie są prawnie zobowiązani do przekazywania takich danych analitycznych.

47

(48)  Sprawozdanie specjalne nr 1/2004, pkt 94; opinia nr 1/2006, pkt 56.

48

(49)  Sprawozdanie roczne dotyczące roku budżetowego 2006, pkt 7.33; sprawozdanie roczne dotyczące roku budżetowego 2005, pkt. 7.8 i 7.29; opinia nr 1/2006, pkt 58–61.

49

(50)  CORDIS jest jedyną bazą danych oferującą informacje na temat konkursów, projektów i rezultatów, która jest wspólna dla całego PR; obejmuje kilka okresów programowania i jest dostępna z zewnątrz Komisji. Jednakże zawarte w CORDIS dane dotyczące poszczególnych projektów często nie są aktualizowane po dokonaniu wyboru danego projektu. Do 6PR włącznie prywatni i publiczni uczestnicy PR nie byli zobowiązani do upubliczniania rezultatów (Europejski Komitet Konsultacyjny ds. Badań (EURAB), „Scientific publication: policy on open access”, grudzień 2006 r.).

50

(51)  Hanne Foss Hansen, „Choosing evaluation models: A discussion on evaluation design”, Evaluation, tom 11, nr 4, 2005, s. 447–462.

51

(52)  Do 6PR włącznie prywatni i publiczni uczestnicy PR nie byli zobowiązani do upubliczniania rezultatów swoich badań naukowych. W grudniu 2006 r. EURAB zalecił zagwarantowanie bezpłatnego publicznego dostępu do badań finansowanych przez Wspólnotę. Zalecono też, by Komisja utworzyła internetowy serwis zawierający opublikowane rezultaty projektów (patrz EURAB, „Scientific publication: policy on open access”, grudzień 2006 r.

52

(53)  Zauważono, że modele takie stosowano do sporządzania prognoz mikro- i makroekonomicznych wyników planowanego 7PR (zob. Komisja Europejska, sprawozdanie monitorujące za rok 2004: „Implementation of Activities under the EC and Euratom framework and corresponding specific programmes”, sierpień 2005 r., s. 23–25). Nie ma jednak dowodu na to, by ta ocena potencjalnego wpływu ekonomicznego PR była powiązana z jakimkolwiek planem oceny ex post.

53

ex post

(54)  DG ds. Społeczeństwa Informacyjnego i Mediów, „IST-RTD Monitoring and Evaluation: Results and impact indicators (2003–2004)”, 2005; „Networks of innovation in information society development and deployment in Europe”, 2006.

54

(55)  DG ds. Społeczeństwa Informacyjnego i Mediów: „ERAnets — Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area” (sprawozdanie końcowe), 2005; „Evaluation of progress towards a European Research Area for information society technologies”, 2005; „Networks of innovation in information society development and deployment in Europe”, 2006.

55

(56)  DG ds. Społeczeństwa Informacyjnego i Mediów: umowa ramowa o wykonanie ocen oddziaływania badań w obszarze technologii społeczeństwa informacyjnego.

56

(57)  EURAB, „Recommendations on Ex-Post Impact Assessment”, lipiec 2007.

57

Ex-Post

(58)  Komisja Europejska, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1999–2003”. Sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Erkkiego Ormali (15 grudnia 2004 r.), załącznik I.

58

(59)  Komisja Europejska, „The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report” (1995).

59

(60)  Komisja Europejska, „Design of an harmonized impact study methodology for the R&D EU Framework Programmes”, 1992.

60

(61)  Komisja Europejska, wewnętrzny dokument roboczy, „The European Research Area: new perspectives”, SEC(2007) 412/2 z dnia 4 kwietnia 2007 r., sekcja 3.3.3 „ERA and the implications for evidence-based monitoring and evaluation”, s. 93.

61

(62)  Należy zauważyć, że umowy dotacji przyznawanych projektom podpisywane są w trakcie całego okresu programowania; pierwsze umowy zazwyczaj wchodzą w życie pod koniec pierwszego roku realizacji programu. Okres obowiązywania tych umów wynosi przeważnie od trzech do pięciu lat, a w konsekwencji produktów końcowych można spodziewać się najwcześniej po czterech—sześciu latach.

62

Źródło: Europejski Trybunał Obrachunkowy.

Źródło:

(63)  Komisja Europejska, „Five-year Assessment of the European Union Research Framework Programmes, 1999–2003”; sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Erkkiego Ormali (15 grudnia 2004 r.): sekcja 6 „Evaluating the Framework Programme”, s. 19.

63

(64)  Komisja Europejska, „Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies”, tzw. „EPUB Toolbox” wydane przez Wspólne Centrum Badawcze — Instytut Perspektywicznych Studiów Technologicznych oraz Joanneum Research (sierpień 2002 r.), Executive Summary, s. 9 i 12.

64

(65)  Komisja Europejska, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, z dnia 21 czerwca 2004 r., sprawozdanie zespołu ekspertów wysokiego szczebla pod przewodnictwem profesora Ramona Marimóna, s. 20.

65

(66)  Europejskie Konsorcjum ds. Oceny Polityki Europejskiej (EPEC), Technopolis France, „Study on the use of evaluation results in the Commission: Final report”, dossier nr 1 sprawozdanie podsumowujące i załączniki, maj 2005 r.

66

(67)  Wyższy poziom zadowolenia zgłoszony przez respondentów z komitetu CREST, którzy często są jednocześnie członkami komitetów programowych, może wynikać z oficjalnej roli, jaką pełnią w monitorowaniu wdrażania programów.

67

(68)  Komisja Europejska, wewnętrzny dokument roboczy, Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities, SEC(2005) 587, z dnia 28 kwietnia 2005 r.

68

(69)  Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Grybauskaitė w porozumieniu z Przewodniczącym, pt. „Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213, z dnia 21 lutego 2007 r., s. 4.

69

---

ZAŁĄCZNIK I

POMIAR ODDZIAŁYWANIA I REZULTATÓW INTERWENCJI PUBLICZNYCH W BRT

Niektóre z najważniejszych problemów metodologicznych związanych z pomiarem oddziaływania i rezultatów interwencji publicznych w BRT są następujące:

| — | „Problemy atrybucji”: Problemy atrybucji uwidaczniają się w ocenach i pomiarze wyników. Są one ściśle związane z kwestią „dodatkowości”, która każe postawić pytanie, czy zmiany nie nastąpiłyby tak czy inaczej. Trudności w przypisaniu rezultatów do konkretnej interwencji publicznej są też spowodowane wieloma czynnikami zewnętrznymi (takimi jak efekty innych polityk lub programów, zmiany w ramach prawnych, zmiany społeczne etc.). Co więcej, w dziedzinie badań naukowych, nieosiągnięcie oczekiwanych rezultatów może także być sukcesem. Dalszą komplikację stanowi oczywista trudność jednoznacznego przypisania produktów badań naukowych, nie mówiąc już nawet o wynikach i oddziaływaniu, poszczególnym aspektom procesu BRT, czy nawet indywidualnym jednostkom biorącym udział w badaniach. |
| --- | --- |

—

„Problemy atrybucji”: Problemy atrybucji uwidaczniają się w ocenach i pomiarze wyników. Są one ściśle związane z kwestią „dodatkowości”, która każe postawić pytanie, czy zmiany nie nastąpiłyby tak czy inaczej. Trudności w przypisaniu rezultatów do konkretnej interwencji publicznej są też spowodowane wieloma czynnikami zewnętrznymi (takimi jak efekty innych polityk lub programów, zmiany w ramach prawnych, zmiany społeczne etc.). Co więcej, w dziedzinie badań naukowych, nieosiągnięcie oczekiwanych rezultatów może także być sukcesem. Dalszą komplikację stanowi oczywista trudność jednoznacznego przypisania produktów badań naukowych, nie mówiąc już nawet o wynikach i oddziaływaniu, poszczególnym aspektom procesu BRT, czy nawet indywidualnym jednostkom biorącym udział w badaniach.

| — | „Problemy pomiaru”:







  — | „dostępność danych”: Ogólnie rzecz biorąc, większość dostępnych danych, a w szczególności dane zebrane przez systemy monitoringu, to dane na temat wkładu i produktów działań BRT, a nie wyników i oddziaływania, |
| --- | --- | --- |

—

„Problemy pomiaru”:

—

„dostępność danych”: Ogólnie rzecz biorąc, większość dostępnych danych, a w szczególności dane zebrane przez systemy monitoringu, to dane na temat wkładu i produktów działań BRT, a nie wyników i oddziaływania,

| — | „zrozumienie dynamiki”: Biorąc pod uwagę oczywistą trudność w modelowaniu relacji przyczynowych między wkładem i produktami, wewnętrzna logika procesu badań jest niejasna, a wobec braku jasno sprecyzowanej logiki interwencji, sam proces uznawany jest zasadniczo za „czarną skrzynkę”, |
| --- | --- |

—

„zrozumienie dynamiki”: Biorąc pod uwagę oczywistą trudność w modelowaniu relacji przyczynowych między wkładem i produktami, wewnętrzna logika procesu badań jest niejasna, a wobec braku jasno sprecyzowanej logiki interwencji, sam proces uznawany jest zasadniczo za „czarną skrzynkę”,

| — | „porównywalność rezultatów”: Stopień porównywalności rezultatów między różnymi dziedzinami naukowymi jest ograniczony, tak więc na ogół powinno się je interpretować w kontekście szczegółowych programów i podprogramów. Ponadto ocena rezultatów jest trudniejsza w przypadku badań podstawowych niż w przypadku badań stosowanych lub rozwoju technologicznego. Głównym tego powodem jest fakt, iż badania podstawowe na ogół oparte są na jednorazowych i niepowtarzalnych procedurach. Nawet w dziedzinie badań stosowanych, rezultaty znacznie się różnią i dlatego też, nie mogą być łatwo porównywane, |
| --- | --- |

—

„porównywalność rezultatów”: Stopień porównywalności rezultatów między różnymi dziedzinami naukowymi jest ograniczony, tak więc na ogół powinno się je interpretować w kontekście szczegółowych programów i podprogramów. Ponadto ocena rezultatów jest trudniejsza w przypadku badań podstawowych niż w przypadku badań stosowanych lub rozwoju technologicznego. Głównym tego powodem jest fakt, iż badania podstawowe na ogół oparte są na jednorazowych i niepowtarzalnych procedurach. Nawet w dziedzinie badań stosowanych, rezultaty znacznie się różnią i dlatego też, nie mogą być łatwo porównywane,

| — | „agregacja”: Wyciąganie wniosków na podstawie efektów oceny, wyrażonych jako produkty, wyniki i oddziaływanie uzyskane na niższym poziomie, odnośnie do kolejnego wyższego poziomu stanowi problem (na przykład przy agregowaniu rezultatów projektu, najpierw dla klastrów projektów, następnie dla dziedzin wewnątrz programu, a wreszcie na poziomie samego programu), |
| --- | --- |

—

„agregacja”: Wyciąganie wniosków na podstawie efektów oceny, wyrażonych jako produkty, wyniki i oddziaływanie uzyskane na niższym poziomie, odnośnie do kolejnego wyższego poziomu stanowi problem (na przykład przy agregowaniu rezultatów projektu, najpierw dla klastrów projektów, następnie dla dziedzin wewnątrz programu, a wreszcie na poziomie samego programu),

| — | „adekwatność wskaźników”: Kolejna kwestia, to pytanie czy osoby oceniające poddają pomiarowi właściwe obszary. Metody pomiarowe muszą zapewniać łatwy sposób pomiaru, muszą być odporne na manipulacje oraz zachęcać do właściwych zachowań. Jednakże „mierzalny” wskaźnik produktów niekoniecznie umożliwiał będzie wyciągnięcie wniosków dotyczących wyników i oddziaływania. |
| --- | --- |

—

„adekwatność wskaźników”: Kolejna kwestia, to pytanie czy osoby oceniające poddają pomiarowi właściwe obszary. Metody pomiarowe muszą zapewniać łatwy sposób pomiaru, muszą być odporne na manipulacje oraz zachęcać do właściwych zachowań. Jednakże „mierzalny” wskaźnik produktów niekoniecznie umożliwiał będzie wyciągnięcie wniosków dotyczących wyników i oddziaływania.

| — | „Problemy z terminarzem”: Kolejną przeszkodą w ocenie oddziaływania jest znaczna rozbieżność czasowa między działalnością badawczą a pojawieniem się jej produktów i wyników. Dane winny być zbierane przez długi czas, aby możliwe było wyciągnięcie miarodajnych i ugruntowanych wniosków. Taka skala czasowa oceny jest często rozbieżna z oczekiwaniami i potrzebami osób odpowiedzialnych za kształtowanie polityki i konieczny jest kompromis między szybkością dostarczenia informacji dla celów kształtowania polityki, a czasem niezbędnym do pojawienia się wyników. |
| --- | --- |

—

„Problemy z terminarzem”: Kolejną przeszkodą w ocenie oddziaływania jest znaczna rozbieżność czasowa między działalnością badawczą a pojawieniem się jej produktów i wyników. Dane winny być zbierane przez długi czas, aby możliwe było wyciągnięcie miarodajnych i ugruntowanych wniosków. Taka skala czasowa oceny jest często rozbieżna z oczekiwaniami i potrzebami osób odpowiedzialnych za kształtowanie polityki i konieczny jest kompromis między szybkością dostarczenia informacji dla celów kształtowania polityki, a czasem niezbędnym do pojawienia się wyników.

| — | „Błędne rozumienie projektu”: w ocenie wyników i oddziaływania poszczególnych projektów w obrębie programu należy wziąć pod uwagę dylemat związany z faktem, że rezultaty technologiczne i naukowe na ogół uzyskano opierając się na wcześniej prowadzonych pracach. Ponadto przed opublikowaniem i wykorzystaniem rezultatów naukowych rezultaty projektu mogą zostać wykorzystane do celów innych prac prowadzonych przez uczestników. Dlatego też sam projekt niekoniecznie stanowi odpowiednie ramy oceny, zwłaszcza w odniesieniu do bardziej długoterminowych wyników i oddziaływania. |
| --- | --- |

—

„Błędne rozumienie projektu”: w ocenie wyników i oddziaływania poszczególnych projektów w obrębie programu należy wziąć pod uwagę dylemat związany z faktem, że rezultaty technologiczne i naukowe na ogół uzyskano opierając się na wcześniej prowadzonych pracach. Ponadto przed opublikowaniem i wykorzystaniem rezultatów naukowych rezultaty projektu mogą zostać wykorzystane do celów innych prac prowadzonych przez uczestników. Dlatego też sam projekt niekoniecznie stanowi odpowiednie ramy oceny, zwłaszcza w odniesieniu do bardziej długoterminowych wyników i oddziaływania.

| — | „Wiarygodność, uczciwość i niezależność”: Jakość oceny w dużym stopniu zależy od poziomu zaangażowania osób oceniających przedmiotem kontroli, co powoduje konieczność kompromisu między zrozumieniem i wiedzą z jednej strony, a niezależnością i obiektywizmem z drugiej. Uzależniona jest ona także od założeń i obszarów zainteresowania osób odpowiedzialnych za kształtowanie polityki oraz przesłanek i celów oceny. |
| --- | --- |

—

„Wiarygodność, uczciwość i niezależność”: Jakość oceny w dużym stopniu zależy od poziomu zaangażowania osób oceniających przedmiotem kontroli, co powoduje konieczność kompromisu między zrozumieniem i wiedzą z jednej strony, a niezależnością i obiektywizmem z drugiej. Uzależniona jest ona także od założeń i obszarów zainteresowania osób odpowiedzialnych za kształtowanie polityki oraz przesłanek i celów oceny.

---

ZAŁĄCZNIK II

PRZEPISY DOTYCZĄCE MONITORINGU I OCENY W DECYZJACH LEGISLACYJNYCH DOTYCZĄCYCH 4PR–7PR

| 4PR (1995–1998)
   (1) | 5PR (1999–2002)
   (2) | 6PR (2003–2006)
   (3) | 7PR (2007–2013)
   (4) |
| --- | --- | --- | --- |
| Decyzja dotyczące programu ramowego — Rada i PE |
| Decyzja nr 1110/1994/WE Parlamentu Europejskiego i Rady z dnia 26 kwietnia 1994 r. dotycząca czwartego programu ramowego Wspólnoty Europejskiej (1994–1998) w dziedzinie badań, rozwoju technologicznego i demonstracji: art. 4 | Decyzja nr 182/1999/WE Parlamentu Europejskiego i Rady z dnia 22 grudnia 1998 r. dotycząca piątego programu ramowego Wspólnoty Europejskiej w dziedzinie badań, rozwoju technologicznego i demonstracji (1998–2002): art. 5 i 6 | Decyzja nr 1513/2002/WE Parlamentu Europejskiego i Rady z dnia 27 czerwca 2002 r. dotycząca szóstego programu ramowego Wspólnoty Europejskiej w dziedzinie badań, rozwoju technologicznego i demonstracji, przyczyniającego się do utworzenia Europejskiej Przestrzeni Badawczej i innowacji (2002–2006): motyw 20, art. 4 i 6, załącznik III | Decyzja nr 1982/2006/WE Parlamentu Europejskiego i Rady z dnia 18 grudnia 2006 r. dotycząca siódmego programu ramowego Wspólnoty Europejskiej w zakresie badań, rozwoju technologicznego i demonstracji (2007–2013): art. 7 |
| Monitoring |
| — | Ciągły i systematyczny monitoring, z odpowiednią pomocą niezależnych zewnętrznych ekspertów, osiągniętego postępu w odniesieniu do przyjętych pierwotnie celów (art. 4 ust. 1) |

4PR (1995–1998)
   (1)

5PR (1999–2002)
   (2)

6PR (2003–2006)
   (3)

7PR (2007–2013)
   (4)

Decyzja dotyczące programu ramowego — Rada i PE

Decyzja nr 1110/1994/WE Parlamentu Europejskiego i Rady z dnia 26 kwietnia 1994 r. dotycząca czwartego programu ramowego Wspólnoty Europejskiej (1994–1998) w dziedzinie badań, rozwoju technologicznego i demonstracji: art. 4

Decyzja nr 182/1999/WE Parlamentu Europejskiego i Rady z dnia 22 grudnia 1998 r. dotycząca piątego programu ramowego Wspólnoty Europejskiej w dziedzinie badań, rozwoju technologicznego i demonstracji (1998–2002): art. 5 i 6

Decyzja nr 1513/2002/WE Parlamentu Europejskiego i Rady z dnia 27 czerwca 2002 r. dotycząca szóstego programu ramowego Wspólnoty Europejskiej w dziedzinie badań, rozwoju technologicznego i demonstracji, przyczyniającego się do utworzenia Europejskiej Przestrzeni Badawczej i innowacji (2002–2006): motyw 20, art. 4 i 6, załącznik III

Decyzja nr 1982/2006/WE Parlamentu Europejskiego i Rady z dnia 18 grudnia 2006 r. dotycząca siódmego programu ramowego Wspólnoty Europejskiej w zakresie badań, rozwoju technologicznego i demonstracji (2007–2013): art. 7

Monitoring

—

Ciągły i systematyczny monitoring, z odpowiednią pomocą niezależnych zewnętrznych ekspertów, osiągniętego postępu w odniesieniu do przyjętych pierwotnie celów (art. 4 ust. 1)

| — | Ciągły i systematyczny monitoring, każdego roku, z pomocą niezależnych i wykwalifikowanych ekspertów, wdrażania programu ramowego oraz jego programów szczegółowych w świetle kryteriów określonych w załączniku I oraz celów naukowych i technologicznych określonych w załączniku II (art. 5 ust. 1) |
| --- | --- |

—

Ciągły i systematyczny monitoring, każdego roku, z pomocą niezależnych i wykwalifikowanych ekspertów, wdrażania programu ramowego oraz jego programów szczegółowych w świetle kryteriów określonych w załączniku I oraz celów naukowych i technologicznych określonych w załączniku II (art. 5 ust. 1)

| — | Ciągły i systematyczny monitoring [każdego roku], z pomocą niezależnych i wykwalifikowanych biegłych, wdrażania programu ramowego oraz jego programów szczegółowych (art. 4 i 6 ust. 1) |
| --- | --- |

—

Ciągły i systematyczny monitoring [każdego roku], z pomocą niezależnych i wykwalifikowanych biegłych, wdrażania programu ramowego oraz jego programów szczegółowych (art. 4 i 6 ust. 1)

| — | Ciągły i systematyczny monitoring wdrażania programu ramowego i jego programów szczegółowych (art. 7 ust. 1) |
| --- | --- |

—

Ciągły i systematyczny monitoring wdrażania programu ramowego i jego programów szczegółowych (art. 7 ust. 1)

| — | przeprowadzanie oceny, czy cele, priorytety i środki finansowe są nadal odpowiednie, a jeśli nie, przedstawianie propozycji dostosowania lub uzupełnienia programu ramowego i/lub programów szczegółowych (art. 5 ust. 1) |
| --- | --- |

—

przeprowadzanie oceny, czy cele, priorytety i środki finansowe są nadal odpowiednie, a jeśli nie, przedstawianie propozycji dostosowania lub uzupełnienia programu ramowego i/lub programów szczegółowych (art. 5 ust. 1)

| — | regularny przegląd wszystkich działań badawczych obejmujący w szczególności, monitoring poziomu doskonałości badawczej (załącznik III, art. 1. Instrumenty) |
| --- | --- |

—

regularny przegląd wszystkich działań badawczych obejmujący w szczególności, monitoring poziomu doskonałości badawczej (załącznik III, art. 1. Instrumenty)

| — | regularne składanie sprawozdań na temat wyników monitorowania oraz upowszechnianie tych wyników (art. 7 ust 1) |
| --- | --- |

—

regularne składanie sprawozdań na temat wyników monitorowania oraz upowszechnianie tych wyników (art. 7 ust 1)

Artykuł 173 — Sprawozdanie roczne

| — | Składanie szczegółowego sprawozdania z postępu realizacji szóstego programu ramowego, w szczególności z postępu w osiąganiu jego celów oraz priorytetów określonych w każdej pozycji załącznika I; sprawozdanie to zawiera także informacje dotyczące aspektów finansowych oraz użytych instrumentów, w kontekście sprawozdania rocznego, które Komisja przedkłada na podstawie art. 173 Traktatu (art. 4) |
| --- | --- |

—

Składanie szczegółowego sprawozdania z postępu realizacji szóstego programu ramowego, w szczególności z postępu w osiąganiu jego celów oraz priorytetów określonych w każdej pozycji załącznika I; sprawozdanie to zawiera także informacje dotyczące aspektów finansowych oraz użytych instrumentów, w kontekście sprawozdania rocznego, które Komisja przedkłada na podstawie art. 173 Traktatu (art. 4)

Ocena śródokresowa

| — | Przeprowadzenie przeglądu osiągniętego postępu w realizacji programu w połowie okresu objętego programem ramowym (art. 6) |
| --- | --- |

—

Przeprowadzenie przeglądu osiągniętego postępu w realizacji programu w połowie okresu objętego programem ramowym (art. 6)

| — | przedłożenie PE i Radzie, na podstawie ocen różnych programów szczegółowych, komunikatu wraz z, w stosownych przypadkach, propozycją dostosowania Decyzji (art. 6) |
| --- | --- |

—

przedłożenie PE i Radzie, na podstawie ocen różnych programów szczegółowych, komunikatu wraz z, w stosownych przypadkach, propozycją dostosowania Decyzji (art. 6)

| — | Przeprowadzenie nie później niż w 2010 r., z pomocą zewnętrznych ekspertów, opartej na danych, śródokresowej oceny programu ramowego oraz jego programów szczegółowych, bazując na ocenie ex post poprzedniego programu ramowego; ocena ta dotyczy w szczególności jakości prowadzonej działalności badawczej, jakości wdrażania i zarządzania oraz postępów w realizacji wyznaczonych celów (art. 7 ust 2) |
| --- | --- |

—

Przeprowadzenie nie później niż w 2010 r., z pomocą zewnętrznych ekspertów, opartej na danych, śródokresowej oceny programu ramowego oraz jego programów szczegółowych, bazując na ocenie ex post poprzedniego programu ramowego; ocena ta dotyczy w szczególności jakości prowadzonej działalności badawczej, jakości wdrażania i zarządzania oraz postępów w realizacji wyznaczonych celów (art. 7 ust 2)

| — | przekazanie wniosków z tej oceny, wraz z uwagami i, w odpowiednich przypadkach, propozycjami dostosowania programu ramowego, Parlamentowi Europejskiemu, Radzie, Europejskiemu Komitetowi Ekonomiczno-Społecznemu i Komitetowi Regionów (art. 7 ust. 2) |
| --- | --- |

—

przekazanie wniosków z tej oceny, wraz z uwagami i, w odpowiednich przypadkach, propozycjami dostosowania programu ramowego, Parlamentowi Europejskiemu, Radzie, Europejskiemu Komitetowi Ekonomiczno-Społecznemu i Komitetowi Regionów (art. 7 ust. 2)

| — | regularne informowanie Parlamentu Europejskiego i Rady o ogólnych postępach w realizacji programu ramowego oraz programów szczegółowych (art. 5 ust. 4) |
| --- | --- |

—

regularne informowanie Parlamentu Europejskiego i Rady o ogólnych postępach w realizacji programu ramowego oraz programów szczegółowych (art. 5 ust. 4)

| — | regularne składanie Parlamentowi Europejskiemu oraz Radzie sprawozdań okresowych z wdrożenia programu ramowego oraz programów szczegółowych (motyw 20) |
| --- | --- |

—

regularne składanie Parlamentowi Europejskiemu oraz Radzie sprawozdań okresowych z wdrożenia programu ramowego oraz programów szczegółowych (motyw 20)

| — | przedstawienie sprawozdania okresowego (poprzedzającego ocenę śródokresową) niezwłocznie po udostępnieniu wystarczającej ilości danych i w którym zostaną przedstawione wstępne wnioski na temat skuteczności nowych działań rozpoczętych w siódmym programie ramowym i starań podjętych na rzecz uproszczenia (art. 7 ust. 2) |
| --- | --- |

—

przedstawienie sprawozdania okresowego (poprzedzającego ocenę śródokresową) niezwłocznie po udostępnieniu wystarczającej ilości danych i w którym zostaną przedstawione wstępne wnioski na temat skuteczności nowych działań rozpoczętych w siódmym programie ramowym i starań podjętych na rzecz uproszczenia (art. 7 ust. 2)

| — | przeprowadzenie w 2004 r. przez niezależnych biegłych oceny skuteczności każdego z instrumentów w realizacji niniejszego programu (załącznik III, art. 1. Instrumenty) |
| --- | --- |

—

przeprowadzenie w 2004 r. przez niezależnych biegłych oceny skuteczności każdego z instrumentów w realizacji niniejszego programu (załącznik III, art. 1. Instrumenty)

Ocena pięcioletnia

| — | Sporządzenie przez wysoko wykwalifikowanych niezależnych ekspertów oceny zarządzania działaniami wspólnotowymi oraz postępu w ich realizacji w ciągu pięciu lat poprzedzających ocenę (art. 4 ust. 2) |
| --- | --- |

—

Sporządzenie przez wysoko wykwalifikowanych niezależnych ekspertów oceny zarządzania działaniami wspólnotowymi oraz postępu w ich realizacji w ciągu pięciu lat poprzedzających ocenę (art. 4 ust. 2)

| — | Sporządzenie przez wysoko wykwalifikowanych niezależnych ekspertów oceny wprowadzania w życie i efektów działań wspólnotowych podejmowanych w ciągu pięciu lat poprzedzających ocenę w świetle kryteriów określonych w załączniku I oraz celów naukowych i technologicznych określonych w załączniku II (art. 5 ust. 2) |
| --- | --- |

—

Sporządzenie przez wysoko wykwalifikowanych niezależnych ekspertów oceny wprowadzania w życie i efektów działań wspólnotowych podejmowanych w ciągu pięciu lat poprzedzających ocenę w świetle kryteriów określonych w załączniku I oraz celów naukowych i technologicznych określonych w załączniku II (art. 5 ust. 2)

| — | Sporządzenie przez wysoko wykwalifikowanych niezależnych biegłych oceny wprowadzania w życie i efektów działań wspólnotowych podejmowanych w ciągu pięciu lat poprzedzających ocenę (art. 6 ust. 2) (odpowiednio do wdrożenia podejmowanych działań, mając na uwadze wkład szóstego programu ramowego w tworzenie Europejskiej Przestrzeni Badawczej (motyw 20)) |
| --- | --- |

—

Sporządzenie przez wysoko wykwalifikowanych niezależnych biegłych oceny wprowadzania w życie i efektów działań wspólnotowych podejmowanych w ciągu pięciu lat poprzedzających ocenę (art. 6 ust. 2) (odpowiednio do wdrożenia podejmowanych działań, mając na uwadze wkład szóstego programu ramowego w tworzenie Europejskiej Przestrzeni Badawczej (motyw 20))

| — | przekazanie oceny, wraz z uwagami Komisji, Parlamentowi Europejskiemu, Radzie, Europejskiemu Komitetowi Ekonomiczno-Społecznemu i Komitetowi Regionów przed przedłożeniem propozycji kolejnego programu ramowego (art. 4 ust. 2) |
| --- | --- |

—

przekazanie oceny, wraz z uwagami Komisji, Parlamentowi Europejskiemu, Radzie, Europejskiemu Komitetowi Ekonomiczno-Społecznemu i Komitetowi Regionów przed przedłożeniem propozycji kolejnego programu ramowego (art. 4 ust. 2)

| — | przekazanie oceny, wraz z uwagami Komisji, Parlamentowi Europejskiemu, Radzie, Europejskiemu Komitetowi Ekonomiczno-Społecznemu i Komitetowi Regionów przed przedłożeniem propozycji kolejnego programu ramowego (art. 5 ust. 2) |
| --- | --- |

—

przekazanie oceny, wraz z uwagami Komisji, Parlamentowi Europejskiemu, Radzie, Europejskiemu Komitetowi Ekonomiczno-Społecznemu i Komitetowi Regionów przed przedłożeniem propozycji kolejnego programu ramowego (art. 5 ust. 2)

| — | przekazanie wniosków z tej oceny, wraz z uwagami Komisji, Parlamentowi Europejskiemu, Radzie, Europejskiemu Komitetowi Ekonomiczno-Społecznemu i Komitetowi Regionów (art. 6 ust. 2) w odpowiednim czasie i przed przedłożeniem propozycji kolejnego programu ramowego (motyw 20) |
| --- | --- |

—

przekazanie wniosków z tej oceny, wraz z uwagami Komisji, Parlamentowi Europejskiemu, Radzie, Europejskiemu Komitetowi Ekonomiczno-Społecznemu i Komitetowi Regionów (art. 6 ust. 2) w odpowiednim czasie i przed przedłożeniem propozycji kolejnego programu ramowego (motyw 20)

Ostateczna ocena

[Zob. decyzja dotycząca programu szczegółowego]

| — | Przeprowadzenie przez niezależnych ekspertów po upływie dwóch lat od zakończenia siódmego programu ramowego (tj. 2015) zewnętrznej oceny dotyczącej jego zasadności, realizacji oraz osiągnięć (art. 7 ust. 3) |
| --- | --- |

—

Przeprowadzenie przez niezależnych ekspertów po upływie dwóch lat od zakończenia siódmego programu ramowego (tj. 2015) zewnętrznej oceny dotyczącej jego zasadności, realizacji oraz osiągnięć (art. 7 ust. 3)

| — | przekazanie wniosków z tej oceny, wraz z uwagami Komisji Parlamentowi Europejskiemu, Radzie, Europejskiemu Komitetowi Ekonomiczno-Społecznemu i Komitetowi Regionów (art. 7 ust. 3) |
| --- | --- |

—

przekazanie wniosków z tej oceny, wraz z uwagami Komisji Parlamentowi Europejskiemu, Radzie, Europejskiemu Komitetowi Ekonomiczno-Społecznemu i Komitetowi Regionów (art. 7 ust. 3)

Niezależni eksperci

| — | Zapewnienie, że w procedurze wyboru niezależnych ekspertów bierze się pod uwagę, w sposób wyważony, różnego rodzaju społeczności naukowe, przemysłowe i użytkowników oraz że po mianowaniu ekspertów publikuje się ich nazwiska i indywidualne kwalifikacje (art. 5 ust. 3)
  [dodatkowe postanowienia w sprawie niezależnych ekspertów zawarte są w decyzji Rady 1999/65/WE, art. 9] |
| --- | --- |

—

Zapewnienie, że w procedurze wyboru niezależnych ekspertów bierze się pod uwagę, w sposób wyważony, różnego rodzaju społeczności naukowe, przemysłowe i użytkowników oraz że po mianowaniu ekspertów publikuje się ich nazwiska i indywidualne kwalifikacje (art. 5 ust. 3)

[dodatkowe postanowienia w sprawie niezależnych ekspertów zawarte są w decyzji Rady 1999/65/WE, art. 9]

| — | Komisja do pomocy przy ocenie wymaganej w ramach szóstego programu ramowego i programów szczególnych, a także do pomocy określonej w art. 10 ust. 6 i art. 18 ust. 1 akapit drugi wyznacza niezależnych ekspertów |
| --- | --- |

—

Komisja do pomocy przy ocenie wymaganej w ramach szóstego programu ramowego i programów szczególnych, a także do pomocy określonej w art. 10 ust. 6 i art. 18 ust. 1 akapit drugi wyznacza niezależnych ekspertów

| — | Komisja może dodatkowo ustanowić grupy niezależnych ekspertów jako doradców do spraw realizacji wspólnotowej polityki badawczej |
| --- | --- |

—

Komisja może dodatkowo ustanowić grupy niezależnych ekspertów jako doradców do spraw realizacji wspólnotowej polityki badawczej

| — | [postanowienia w sprawie niezależnych ekspertów zawarte są w rozporządzeniu (WE) nr 2321/2002 art. 11] |
| --- | --- |

—

[postanowienia w sprawie niezależnych ekspertów zawarte są w rozporządzeniu (WE) nr 2321/2002 art. 11]

Przykład decyzji dotyczącej programu szczegółowego — Rada

Decyzja Rady nr 94/801/WE z dnia 23 listopada 1994 r.: art. 4

Decyzja Rady nr 1999/168/WE z dnia 25 stycznia 1999 r.: art. 4 i 6

Decyzje Rady nr 2002/834/WE oraz 2002/835/WE z dnia 30 września 2002 r.: art. 8

Decyzja Rady nr 2006/971/WE z dnia 19 grudnia 2006 r dotycząca programu szczegółowego „Współpraca”: art. 8

Monitoring

| — | Prowadzenie ciągłego i systematycznego monitoringu, z odpowiednią pomocą niezależnych zewnętrznych ekspertów, osiągniętego postępu w realizacji programu (art. 4 ust. 1) |
| --- | --- |

—

Prowadzenie ciągłego i systematycznego monitoringu, z odpowiednią pomocą niezależnych zewnętrznych ekspertów, osiągniętego postępu w realizacji programu (art. 4 ust. 1)

| — | Prowadzenie monitoringu, z odpowiednią pomocą niezależnych zewnętrznych ekspertów, realizacji programów szczegółowych, a w stosownych przypadkach, przedkładanie Radzie propozycji dostosowania programu, zgodnie z art. 5 ust. 1 decyzji w sprawie piątego programu ramowego (art. 4 lit. a)) |
| --- | --- |

—

Prowadzenie monitoringu, z odpowiednią pomocą niezależnych zewnętrznych ekspertów, realizacji programów szczegółowych, a w stosownych przypadkach, przedkładanie Radzie propozycji dostosowania programu, zgodnie z art. 5 ust. 1 decyzji w sprawie piątego programu ramowego (art. 4 lit. a))

| — | Zapewnienie prowadzenia niezależnego monitoringu i oceny zgodnie z art. 6 szóstego programu ramowego, odnośnie do działań objętych programem szczegółowym (art. 8 ust. 2) |
| --- | --- |

—

Zapewnienie prowadzenia niezależnego monitoringu i oceny zgodnie z art. 6 szóstego programu ramowego, odnośnie do działań objętych programem szczegółowym (art. 8 ust. 2)

| — | Zapewnienie prowadzenia niezależnego monitoringu i oceny zgodnie z art. 7 programu ramowego, odnośnie do działań prowadzonych w dziedzinach objętych programem szczegółowym (art. 9) |
| --- | --- |

—

Zapewnienie prowadzenia niezależnego monitoringu i oceny zgodnie z art. 7 programu ramowego, odnośnie do działań prowadzonych w dziedzinach objętych programem szczegółowym (art. 9)

| — | informacje w zakresie monitoringu, które mają zostać dostarczone przez Komisję komitetowi programowemu na mocy art. 8 ust. 4, określono w załączniku V |
| --- | --- |

—

informacje w zakresie monitoringu, które mają zostać dostarczone przez Komisję komitetowi programowemu na mocy art. 8 ust. 4, określono w załączniku V

Artykuł 173 — Sprawozdanie roczne

| — | Regularne sporządzanie sprawozdań z postępu realizacji szóstego programu ramowego, zawierających także informacje dotyczące aspektów finansowych oraz użytych instrumentów, zgodnie z art. 4 decyzji w sprawie szóstego programu ramowego (art. 8 ust. 1) |
| --- | --- |

—

Regularne sporządzanie sprawozdań z postępu realizacji szóstego programu ramowego, zawierających także informacje dotyczące aspektów finansowych oraz użytych instrumentów, zgodnie z art. 4 decyzji w sprawie szóstego programu ramowego (art. 8 ust. 1)

| — | Zamieszczanie najważniejszych ustaleń dotyczących [instrumentów dzielenia ryzyka] w sprawozdaniu rocznym z działań w dziedzinie BRT, które będzie przedkładane Parlamentowi Europejskiemu i Radzie na mocy art. 173 Traktatu (załącznik III) |
| --- | --- |

—

Zamieszczanie najważniejszych ustaleń dotyczących [instrumentów dzielenia ryzyka] w sprawozdaniu rocznym z działań w dziedzinie BRT, które będzie przedkładane Parlamentowi Europejskiemu i Radzie na mocy art. 173 Traktatu (załącznik III)

Ocena pięcioletnia

| — | Sporządzenie przez wysoko wykwalifikowanych niezależnych ekspertów oceny działań podjętych w dziedzinach objętych programem oraz zarządzania nimi w ciągu pięciu lat poprzedzających ocenę (art. 4 ust. 2) |
| --- | --- |

—

Sporządzenie przez wysoko wykwalifikowanych niezależnych ekspertów oceny działań podjętych w dziedzinach objętych programem oraz zarządzania nimi w ciągu pięciu lat poprzedzających ocenę (art. 4 ust. 2)

| — | Zapewnienie przeprowadzenia niezależnej oceny, zgodnie z art. 5 ust. 2 decyzji w sprawie piątego programu ramowego, działań podjętych w dziedzinach objętych programem szczegółowym (art. 4 lit. b)) |
| --- | --- |

—

Zapewnienie przeprowadzenia niezależnej oceny, zgodnie z art. 5 ust. 2 decyzji w sprawie piątego programu ramowego, działań podjętych w dziedzinach objętych programem szczegółowym (art. 4 lit. b))

Ostateczna ocena

| — | Sporządzanie, po zakończeniu każdego programu szczegółowego, ostatecznej oceny osiągniętych rezultatów w porównaniu z założonymi celami (art. 4 ust. 3) |
| --- | --- |

—

Sporządzanie, po zakończeniu każdego programu szczegółowego, ostatecznej oceny osiągniętych rezultatów w porównaniu z założonymi celami (art. 4 ust. 3)

| — | przekazanie tej oceny Parlamentowi Europejskiemu, Radzie i Komitetowi Ekonomiczno-Społecznemu (art. 4 ust. 3) |
| --- | --- |

—

przekazanie tej oceny Parlamentowi Europejskiemu, Radzie i Komitetowi Ekonomiczno-Społecznemu (art. 4 ust. 3)

Niezależni eksperci

| — | Sporządzenie zakresu wymagań i obowiązków dla zewnętrznej oceny przeprowadzanej na mocy art. 5 ust. 2 decyzji w sprawie piątego programu ramowego (art. 6 ust. 2) |
| --- | --- |

—

Sporządzenie zakresu wymagań i obowiązków dla zewnętrznej oceny przeprowadzanej na mocy art. 5 ust. 2 decyzji w sprawie piątego programu ramowego (art. 6 ust. 2)

Podstawowe informacje o strukturze programu ramowego

| — | 4PR (WE): 7 programów szczegółowych zawierających 17 podprogramów oraz dwa klastry działań |
| --- | --- |

—

4PR (WE): 7 programów szczegółowych zawierających 17 podprogramów oraz dwa klastry działań

| — | 5PR (WE): 7 programów szczegółowych, z których 4 to programy tematyczne, a 3 to programy horyzontalne |
| --- | --- |

—

5PR (WE): 7 programów szczegółowych, z których 4 to programy tematyczne, a 3 to programy horyzontalne

| — | 6PR (WE): 20 programów, z których 10 jest zgrupowanych w 7 priorytetach tematycznych, a 4 programy, które związane są z horyzontalnymi działaniami badawczymi, objęte są programem szczegółowym „Ukierunkowywanie i integrowanie wspólnotowych działań badawczych”. Program szczegółowy „Strukturyzacja Europejskiej Przestrzeni Badawczej” obejmuje 4 programy, a program szczegółowy „Wzmocnienie podstaw Europejskiej Przestrzeni Badawczej” -2 programy szczegółowe |
| --- | --- |

—

6PR (WE): 20 programów, z których 10 jest zgrupowanych w 7 priorytetach tematycznych, a 4 programy, które związane są z horyzontalnymi działaniami badawczymi, objęte są programem szczegółowym „Ukierunkowywanie i integrowanie wspólnotowych działań badawczych”. Program szczegółowy „Strukturyzacja Europejskiej Przestrzeni Badawczej” obejmuje 4 programy, a program szczegółowy „Wzmocnienie podstaw Europejskiej Przestrzeni Badawczej” -2 programy szczegółowe

| — | 7PR (WE): 24 podprogramy szczegółowe, z których 10 zgrupowanych jest w ramach szczegółowego programu „Współpraca”, jeden dotyczy programu szczegółowego „Pomysły”, 5 podprogramów związanych jest z programem szczegółowym „Ludzie”, a 8 ze szczegółowym programem „Możliwości” (z których jeden poświęcony jest działaniom WCB nienależącym do obszaru badań jądrowych) |
| --- | --- |

—

7PR (WE): 24 podprogramy szczegółowe, z których 10 zgrupowanych jest w ramach szczegółowego programu „Współpraca”, jeden dotyczy programu szczegółowego „Pomysły”, 5 podprogramów związanych jest z programem szczegółowym „Ludzie”, a 8 ze szczegółowym programem „Możliwości” (z których jeden poświęcony jest działaniom WCB nienależącym do obszaru badań jądrowych)

| — | Budżet całkowity (WE): 11 046 mln euro (tj. 2 761 mln euro rocznie) |
| --- | --- |

—

Budżet całkowity (WE): 11 046 mln euro (tj. 2 761 mln euro rocznie)

| — | Budżet całkowity (WE): 13 700 mln euro (tj. 3 425 mln euro rocznie; +24 %) |
| --- | --- |

—

Budżet całkowity (WE): 13 700 mln euro (tj. 3 425 mln euro rocznie; +24 %)

| — | Budżet całkowity (WE): 16 270 mln euro (tj. 4 061 mln euro rocznie; +19 %) po rozszerzeniu UE-25 nastąpił wzrost |
| --- | --- |

—

Budżet całkowity (WE): 16 270 mln euro (tj. 4 061 mln euro rocznie; +19 %) po rozszerzeniu UE-25 nastąpił wzrost

| — | Budżet całkowity (WE): 17 883 mln euro (tj. 4 447 mln euro rocznie; +10 %) |
| --- | --- |

—

Budżet całkowity (WE): 17 883 mln euro (tj. 4 447 mln euro rocznie; +10 %)

| — | Budżet całkowity (WE): 50 521 mln euro (tj. 7 217 mln euro rocznie; +62 %) |
| --- | --- |

—

Budżet całkowity (WE): 50 521 mln euro (tj. 7 217 mln euro rocznie; +62 %)

| — | 7 Dyrekcji Generalnych: ds. Badań Naukowych, ds. Społeczeństwa Informacyjnego, ds. Energii, ds. Transportu, ds. Rybołówstwa, ds. Rolnictwa, ds. Przedsiębiorstw |
| --- | --- |

—

7 Dyrekcji Generalnych: ds. Badań Naukowych, ds. Społeczeństwa Informacyjnego, ds. Energii, ds. Transportu, ds. Rybołówstwa, ds. Rolnictwa, ds. Przedsiębiorstw

| — | 5 Dyrekcji Generalnych: RTD, ds. Społeczeństwa Informacyjnego, ds. Energii i Transportu, ds. Rybołówstwa, ds. Przedsiębiorstw |
| --- | --- |

—

5 Dyrekcji Generalnych: RTD, ds. Społeczeństwa Informacyjnego, ds. Energii i Transportu, ds. Rybołówstwa, ds. Przedsiębiorstw

| — | 4 Dyrekcje Generalne: RTD, ds. Społeczeństwa Informacyjnego, ds. Energii i Transportu, ds. Przedsiębiorstw |
| --- | --- |

—

4 Dyrekcje Generalne: RTD, ds. Społeczeństwa Informacyjnego, ds. Energii i Transportu, ds. Przedsiębiorstw

| — | 5 Dyrekcji Generalnych: RTD, ds. Społeczeństwa Informacyjnego i Mediów, ds. Energii i Transportu, ds. Przedsiębiorstw i Przemysłu, Wspólne Centrum Badawcze (WCB), a ponadto „Europejska Rada ds. Badań Naukowych” oraz agencje wykonawcze |
| --- | --- |

—

5 Dyrekcji Generalnych: RTD, ds. Społeczeństwa Informacyjnego i Mediów, ds. Energii i Transportu, ds. Przedsiębiorstw i Przemysłu, Wspólne Centrum Badawcze (WCB), a ponadto „Europejska Rada ds. Badań Naukowych” oraz agencje wykonawcze

---

(1)  4PR: Technologie informacyjne i komunikacyjne (Zaawansowane technologie i usługi komunikacyjne (ACTS); Technologie informacyjne (ESPRIT); Zastosowania telematyki); Technologie przemysłowe (Technologie przemysłowe i materiałowe (BRITE/EURAM); Standardy, pomiary i testowanie (SMT)); Środowisko (środowisko i klimat, nauki i technologie morskie (MAST III)); Nauki przyrodnicze i technologie (biotechnologia BIOTECH 2), Biomedycyna i zdrowie (BIOMED 2), Rolnictwo i rybołówstwo (FAIR), Aspekty etyczne, prawne i społeczne (ELSA)); Energia (badania naukowe i rozwój (JOULE), Część demonstracyjna (THERMIE)); Transport (program badań nad transportem); Celowe badania społeczno-ekonomiczne (Celowe badania społeczno-ekonomiczne (TSER), Europejska sieć oceny technologii (ETAN)); Współpraca z krajami trzecimi i organizacjami międzynarodowymi (Współpraca międzynarodowa (INCO)); Upowszechnianie wyników i ich wykorzystywanie (program Innovation); Stymulowanie szkolenia i mobilności naukowców (Szkolenie i mobilność naukowców (TMR), Stowarzyszenie Stypendystów Marie Curie).

(2)  5PR: 4 programy tematyczne (Jakość życia i zarządzanie żywymi zasobami (QOL), Utworzenie przyjaznego społeczeństwa informatycznego (IST), Konkurencyjny i zrównoważony wzrost (GROWTH), Energia, środowisko i zrównoważony rozwój (EESD)); 3 programy horyzontalne (Wzmacnianie międzynarodowej roli badań wspólnotowych (INCO 2), Promowanie innowacji i zaangażowania MŚP (Innovation/SME), Rozwój potencjału ludzkiego oraz społeczno-ekonomicznej bazy naukowej (Improving)).

(3)  6PR:„Ukierunkowywanie i integrowanie wspólnotowych działań badawczych”

| — | 7 priorytetów tematycznych obejmujących 10 programów: Genomika i biotechnologie dla zdrowia człowieka (w tym Zaawansowana genomika i jej zastosowanie dla zdrowia człowieka, Zwalczanie ważniejszych chorób), Technologie społeczeństwa informacyjnego, Nanotechnologie i nanonauka, materiały wielofunkcyjne, nowe procesy i urządzenia produkcyjne, Aeronautyka i przestrzeń kosmiczna, Jakość i bezpieczeństwo żywności, Stały rozwój, zmiany globalne i ekosystemy (w tym Zrównoważone systemy energetyczne, Zrównoważony transport powierzchniowy, Zmiany globalne i ekosystemy), Obywatele i sprawowanie władzy w społeczeństwie opartym na wiedzy, |
| --- | --- |

—

7 priorytetów tematycznych obejmujących 10 programów: Genomika i biotechnologie dla zdrowia człowieka (w tym Zaawansowana genomika i jej zastosowanie dla zdrowia człowieka, Zwalczanie ważniejszych chorób), Technologie społeczeństwa informacyjnego, Nanotechnologie i nanonauka, materiały wielofunkcyjne, nowe procesy i urządzenia produkcyjne, Aeronautyka i przestrzeń kosmiczna, Jakość i bezpieczeństwo żywności, Stały rozwój, zmiany globalne i ekosystemy (w tym Zrównoważone systemy energetyczne, Zrównoważony transport powierzchniowy, Zmiany globalne i ekosystemy), Obywatele i sprawowanie władzy w społeczeństwie opartym na wiedzy,

| — | horyzontalne działania badawcze obejmujące szerszy zakres badań, na które składają się 4 programy: Wsparcie polityk i wyprzedzanie potrzeb naukowych i technologicznych, Horyzontalne badania naukowe z udziałem małych i średnich przedsiębiorstw (MŚP), Szczególne środki wspierania współpracy międzynarodowej; Działania Wspólnego Centrum Badawczego (JRC) nienależące do obszaru badań nuklearnych; „Strukturyzacja Europejskiej Przestrzeni Badawczej” obejmująca 4 programy: Badania i innowacje, Zasoby ludzkie, Infrastruktury badawcze, Nauka i społeczeństwo; „Wzmocnienie podstaw Europejskiej Przestrzeni Badawczej” obejmujące 2 programy: Wsparcie dla koordynacji działań, Wsparcie dla spójnego określenia polityk. |
| --- | --- |

—

horyzontalne działania badawcze obejmujące szerszy zakres badań, na które składają się 4 programy: Wsparcie polityk i wyprzedzanie potrzeb naukowych i technologicznych, Horyzontalne badania naukowe z udziałem małych i średnich przedsiębiorstw (MŚP), Szczególne środki wspierania współpracy międzynarodowej; Działania Wspólnego Centrum Badawczego (JRC) nienależące do obszaru badań nuklearnych; „Strukturyzacja Europejskiej Przestrzeni Badawczej” obejmująca 4 programy: Badania i innowacje, Zasoby ludzkie, Infrastruktury badawcze, Nauka i społeczeństwo; „Wzmocnienie podstaw Europejskiej Przestrzeni Badawczej” obejmujące 2 programy: Wsparcie dla koordynacji działań, Wsparcie dla spójnego określenia polityk.

(4)  7PR: program szczegółowy „Współpraca” obejmujący 10 podprogramów (Zdrowie; Żywność, rolnictwo i biotechnologia; Technologie informacyjne i komunikacyjne; Nanonauki, nanotechnologie, materiały i nowe technologie produkcyjne; Energia; Środowisko (w tym zmiany klimatu); Transport (w tym aeronautyka); Nauki społeczno-ekonomiczne i humanistyczne; Bezpieczeństwo; Przestrzeń kosmiczna), program szczegółowy „Pomysły”, obejmujący jeden podprogram (Europejska Rada ds. Badań Naukowych), program szczegółowy „Ludzie” obejmujący 5 podprogramów (Kształcenie początkowe naukowców; Kształcenie przez całe życie; Partnerstwa i ścieżki rozwoju między przemysłem a uczelniami wyższymi; Wymiar międzynarodowy; Działania szczegółowe), program szczegółowy „Możliwości”, obejmujący 8 podprogramów (Infrastruktury badawcze; Badania na rzecz MŚP; Regiony wiedzy; Potencjał badawczy; Nauka w społeczeństwie; Wspieranie spójnego kształtowania polityk badawczych; Współpraca międzynarodowa; „Działania WCB nienależące do obszaru badań jądrowych”).

---

ZAŁĄCZNIK III

NAJWAŻNIEJSZE RÓŻNICE W SPOSOBACH PRZEPROWADZANIA OCENY EX POST PROGRAMÓW BADAWCZYCH W UNII EUROPEJSKIEJ (4PR–6PR), STANACH ZJEDNOCZONYCH AMERYKI I KANADZIE

| | UE (4PR–6PR) | Stany Zjednoczone Ameryki | Kanada |
| --- | --- | --- | --- |
| Zagadnienia systemowe |
| Logika interwencji | niejasna | na ogół wdrożona, pośrednio wymagana przez PART (1) | wymagana przez RMAF (2) jako część propozycji programu |
| Strategia oceny | niekompleksowa | wymagana przez PART (1) | wymagana przez RMAF (2) jako część propozycji programu |
| Określenie oczekiwanych rezultatów | nie | wymagane przez PART (1) (wraz z kwantyfikowalnymi wskaźnikami) | wymagane przez RMAF (2) jako część propozycji programu |
| Pytania oceniające zadaje | Komisja jako menedżer programu | agencja jako menedżer programu (ocena w ramach OMB) | agencja jako menedżer programu
  (ocena w ramach TBS) |
| Kwestie organizacyjne |
| Faza koncepcyjna | podczas okresu programowania | podczas okresu programowania | ukończona przed rozpoczęciem programu |
| Wykorzystanie zespołów ekspertów | zespoły „ad hoc” na potrzeby przeprowadzania ocen szczegółowych | w zależności od agencji/programu | stałe zespoły ekspertów w charakterze stałych komitetów |
| Periodyczność | ustalony terminarz (związane z okresem programowania, obejmujące pięć poprzednich lat) | cykl 2–3 letni
  (związany z przyjęciem budżetu) | z chwilą wznowienia programu |

UE (4PR–6PR)

Stany Zjednoczone Ameryki

Kanada

Zagadnienia systemowe

Logika interwencji

niejasna

na ogół wdrożona, pośrednio wymagana przez PART (1)

wymagana przez RMAF (2) jako część propozycji programu

Strategia oceny

niekompleksowa

wymagana przez PART (1)

wymagana przez RMAF (2) jako część propozycji programu

Określenie oczekiwanych rezultatów

nie

wymagane przez PART (1) (wraz z kwantyfikowalnymi wskaźnikami)

wymagane przez RMAF (2) jako część propozycji programu

Pytania oceniające zadaje

Komisja jako menedżer programu

agencja jako menedżer programu (ocena w ramach OMB)

agencja jako menedżer programu

(ocena w ramach TBS)

Kwestie organizacyjne

Faza koncepcyjna

podczas okresu programowania

podczas okresu programowania

ukończona przed rozpoczęciem programu

Wykorzystanie zespołów ekspertów

zespoły „ad hoc” na potrzeby przeprowadzania ocen szczegółowych

w zależności od agencji/programu

stałe zespoły ekspertów w charakterze stałych komitetów

Periodyczność

ustalony terminarz (związane z okresem programowania, obejmujące pięć poprzednich lat)

cykl 2–3 letni

(związany z przyjęciem budżetu)

z chwilą wznowienia programu

---

(1)  Narzędzie służące do oceny i ratingu programów (ang. Programme Assessment Rating Tool, PART) od 2002 r.: zob. Office of Management and Budget (OMB), Executive Office of the President, USA.

(2)  Oparty na wynikach system zarządzania i rozliczalności (ang. Results-based Management and Accountability Framework (RMAF)): zob. Treasury Board of Canada Secretariat (TBS).

---

ZAŁĄCZNIK IV

EWENTUALNA STRUKTURA ZESPOŁU DLA 7PR

Image

---

ODPOWIEDZI KOMISJI

| I. | W ciągu ostatnich dziesięcioleci wspólnotowe programy ramowe (PR) badań i rozwoju technologicznego (BRT) rozwinęły się w rozległy, ale spójny system mechanizmów wsparcia badaczy w 27 państwach członkowskich UE, krajach stowarzyszonych i innych.
  Programy ramowe są dziś największym międzynarodowym publicznym systemem finansowania badań na świecie.
  PR stanowią obecnie około 5 % łącznych publicznych nakładów na badania w UE. Pod względem finansowego zaangażowania Wspólnoty w skali roku siódmy program ramowy (7PR) będzie o ok. 60 % większy niż szósty program ramowy (6PR).
  Ocena tak wyjątkowego programu stanowi szczególne wyzwanie dla wszystkich zaangażowanych podmiotów. Rozwiązania w zakresie oceny i monitorowania uległy w ostatnich latach znaczącym zmianom, ostatnio w związku z rozpoczęciem 7PR w 2007 r.
  System oceny i monitorowania stosowany przez Komisję opiera się na bezpośredniej odpowiedzialności wdrażających służb Komisji. Tam właśnie dostępna jest specjalistyczna wiedza techniczna na najwyższym poziomie.
  Oceny na poziomie programu ramowego prowadzone są w drodze skoordynowanych działań wszystkich dyrekcji generalnych (DG). |
| --- | --- |

I.

W ciągu ostatnich dziesięcioleci wspólnotowe programy ramowe (PR) badań i rozwoju technologicznego (BRT) rozwinęły się w rozległy, ale spójny system mechanizmów wsparcia badaczy w 27 państwach członkowskich UE, krajach stowarzyszonych i innych.

Programy ramowe są dziś największym międzynarodowym publicznym systemem finansowania badań na świecie.

PR stanowią obecnie około 5 % łącznych publicznych nakładów na badania w UE. Pod względem finansowego zaangażowania Wspólnoty w skali roku siódmy program ramowy (7PR) będzie o ok. 60 % większy niż szósty program ramowy (6PR).

Ocena tak wyjątkowego programu stanowi szczególne wyzwanie dla wszystkich zaangażowanych podmiotów. Rozwiązania w zakresie oceny i monitorowania uległy w ostatnich latach znaczącym zmianom, ostatnio w związku z rozpoczęciem 7PR w 2007 r.

System oceny i monitorowania stosowany przez Komisję opiera się na bezpośredniej odpowiedzialności wdrażających służb Komisji. Tam właśnie dostępna jest specjalistyczna wiedza techniczna na najwyższym poziomie.

Oceny na poziomie programu ramowego prowadzone są w drodze skoordynowanych działań wszystkich dyrekcji generalnych (DG).

| IV. | Komisja z zadowoleniem przyjmuje stwierdzenie Trybunału, że dyrekcje generalne wdrażające programy ramowe („badawcze DG”) stosowały się do wymogów Komisji, w tym wymogów określonych w komunikatach z 2000 i 2002 r. w sprawie oceny.
  Do oceny PR wprowadzono znaczące zmiany, w tym istotną restrukturyzację 7PR.
  Komisja stwierdza także, że:






  (i) | PR zawsze opierały się na jasnej logice interwencji. W 7PR podkreślono ten aspekt, co dodatkowo wzmocni stosowany przez Komisję system oceny i monitorowania; |
| --- | --- | --- |

IV.

Komisja z zadowoleniem przyjmuje stwierdzenie Trybunału, że dyrekcje generalne wdrażające programy ramowe („badawcze DG”) stosowały się do wymogów Komisji, w tym wymogów określonych w komunikatach z 2000 i 2002 r. w sprawie oceny.

Do oceny PR wprowadzono znaczące zmiany, w tym istotną restrukturyzację 7PR.

Komisja stwierdza także, że:

(i)

PR zawsze opierały się na jasnej logice interwencji. W 7PR podkreślono ten aspekt, co dodatkowo wzmocni stosowany przez Komisję system oceny i monitorowania;

| (ii) | główne elementy strategiczne podejścia Komisji do oceny i monitorowania definiowano w kolejnych aktach legislacyjnych dotyczących PR od połowy lat 90. XX w.
  Od przyjęcia przez Komisję w 1996 r. ostatniego komunikatu w sprawie oceny badań naukowych realizowano proces stałego doskonalenia podejścia Komisji do oceny PR oraz wprowadzono znaczące zmiany w działaniach związanych z oceną.
  W okresie objętym kontrolą Trybunału co cztery lata prowadzono poważne działania związane z oceną, czyli tzw. „oceny pięcioletnie”; |
| --- | --- |

(ii)

główne elementy strategiczne podejścia Komisji do oceny i monitorowania definiowano w kolejnych aktach legislacyjnych dotyczących PR od połowy lat 90. XX w.

Od przyjęcia przez Komisję w 1996 r. ostatniego komunikatu w sprawie oceny badań naukowych realizowano proces stałego doskonalenia podejścia Komisji do oceny PR oraz wprowadzono znaczące zmiany w działaniach związanych z oceną.

W okresie objętym kontrolą Trybunału co cztery lata prowadzono poważne działania związane z oceną, czyli tzw. „oceny pięcioletnie”;

| (iii) | PR są wdrażane wspólnie przez „badawcze DG”, działające niezależnie i współpracujące w razie potrzeby. Służby centralne Komisji, w szczególności DG ds. Budżetu, aktywnie uczestniczą w poszczególnych etapach związanych z procesem oceny.
  Ze względu na zdecentralizowaną organizację Komisji oraz specyfikę każdej z dziedzin nauki, przeprowadzaniem ocen muszą kierować odnośne służby operacyjne.
  Swojej użyteczności w zakresie koordynacji dowiodła wewnątrzkomisyjna „sieć oceny BRT”.
  Komisja zgadza się, że zespoły powinny odgrywać istotną rolę w ocenie i z zadowoleniem przyjmuje ustalenia poczynione w ramach kontroli, że organizowane przez nią zespoły ds. „ocen pięcioletnich” oraz innych poważnych ocen postrzegane były przez zainteresowane instytucje jako gwarancja niezależności podejścia Komisji w okresie objętym kontrolą; |
| --- | --- |

(iii)

PR są wdrażane wspólnie przez „badawcze DG”, działające niezależnie i współpracujące w razie potrzeby. Służby centralne Komisji, w szczególności DG ds. Budżetu, aktywnie uczestniczą w poszczególnych etapach związanych z procesem oceny.

Ze względu na zdecentralizowaną organizację Komisji oraz specyfikę każdej z dziedzin nauki, przeprowadzaniem ocen muszą kierować odnośne służby operacyjne.

Swojej użyteczności w zakresie koordynacji dowiodła wewnątrzkomisyjna „sieć oceny BRT”.

Komisja zgadza się, że zespoły powinny odgrywać istotną rolę w ocenie i z zadowoleniem przyjmuje ustalenia poczynione w ramach kontroli, że organizowane przez nią zespoły ds. „ocen pięcioletnich” oraz innych poważnych ocen postrzegane były przez zainteresowane instytucje jako gwarancja niezależności podejścia Komisji w okresie objętym kontrolą;

| (iv) | możliwość zapewnienia bezpośrednich wytycznych metodologicznych na potrzeby oceny ograniczona jest koniecznością zachowania niezależności oceniających. Komisja przyznaje, że w przeszłości występowały trudności z gromadzeniem danych oraz że niewiele wiadomo o bardziej długoterminowych skutkach i wpływie PR, podobnie jak w przypadku większości interwencji publicznych w dziedzinie badań i nie tylko; |
| --- | --- |

(iv)

możliwość zapewnienia bezpośrednich wytycznych metodologicznych na potrzeby oceny ograniczona jest koniecznością zachowania niezależności oceniających. Komisja przyznaje, że w przeszłości występowały trudności z gromadzeniem danych oraz że niewiele wiadomo o bardziej długoterminowych skutkach i wpływie PR, podobnie jak w przypadku większości interwencji publicznych w dziedzinie badań i nie tylko;

| (v) | terminarz większości ocen określony jest przepisami w sprawie PR, przyjętymi przez Parlament Europejski i Radę. Ogólnie rzecz biorąc, Komisja uważa swój system oceny i monitorowania PR za efektywny. Z poglądem tym zgodziły się Parlament Europejski i Rada, przyjmując niedawne wnioski legislacyjne Komisji dotyczące 7PR w 2006 r. |
| --- | --- |

(v)

terminarz większości ocen określony jest przepisami w sprawie PR, przyjętymi przez Parlament Europejski i Radę. Ogólnie rzecz biorąc, Komisja uważa swój system oceny i monitorowania PR za efektywny. Z poglądem tym zgodziły się Parlament Europejski i Rada, przyjmując niedawne wnioski legislacyjne Komisji dotyczące 7PR w 2006 r.

| V. | W związku z zaleceniami Trybunału Komisja:






  (i) | zwraca uwagę na wyraźniejszą logikę interwencji, widoczną w przepisach dotyczących 7PR (przyjętych przez Parlament Europejski i Radę w 2006 r.) oraz nasili zastosowanie wyraźniej logiki interwencji w przyszłych wnioskach legislacyjnych. Ponadto Komisja zamierza dodatkowo wyjaśnić swoje cele dotyczące 7PR na poziomie programów roboczych oraz dalej rozwijać swoje podejście do pomiaru wyników; |
| --- | --- | --- |

V.

W związku z zaleceniami Trybunału Komisja:

(i)

zwraca uwagę na wyraźniejszą logikę interwencji, widoczną w przepisach dotyczących 7PR (przyjętych przez Parlament Europejski i Radę w 2006 r.) oraz nasili zastosowanie wyraźniej logiki interwencji w przyszłych wnioskach legislacyjnych. Ponadto Komisja zamierza dodatkowo wyjaśnić swoje cele dotyczące 7PR na poziomie programów roboczych oraz dalej rozwijać swoje podejście do pomiaru wyników;

| (ii) | będzie nadal rozwijać swoją strategię oceny na potrzeby 7PR, w oparciu o wnioski zawarte w ocenie skutków 7PR. Podjęte zostaną starania mające na celu zapewnienie właściwego poziomu elastyczności, dzięki czemu każda służba operacyjna będzie mogła określać swoje szczególne potrzeby w zakresie oceny; |
| --- | --- |

(ii)

będzie nadal rozwijać swoją strategię oceny na potrzeby 7PR, w oparciu o wnioski zawarte w ocenie skutków 7PR. Podjęte zostaną starania mające na celu zapewnienie właściwego poziomu elastyczności, dzięki czemu każda służba operacyjna będzie mogła określać swoje szczególne potrzeby w zakresie oceny;

| (iii) | nie uważa wprawdzie za konieczne stworzenia wspólnego biura oceny, zgadza się jednak rozważyć inne możliwości poprawy koordynacji.
  W celu dokonania szczegółowej oceny zespoły należy tworzyć na najwcześniejszym możliwym etapie. Specjalne zespoły tworzone do konkretnych celów zapewnią jednak raczej korzyści pod względem jasności i skupienia na celu; |
| --- | --- |

(iii)

nie uważa wprawdzie za konieczne stworzenia wspólnego biura oceny, zgadza się jednak rozważyć inne możliwości poprawy koordynacji.

W celu dokonania szczegółowej oceny zespoły należy tworzyć na najwcześniejszym możliwym etapie. Specjalne zespoły tworzone do konkretnych celów zapewnią jednak raczej korzyści pod względem jasności i skupienia na celu;

| (iv) | podjęła już działania zmierzające do lepszego wykorzystania dotychczasowych i nowych źródeł danych na potrzeby ocen.
  Wymogi sprawozdawcze 7PR zrewidowano częściowo na podstawie potrzeb w zakresie oceny i monitorowania.
  Ponadto Komisja tworzy obecnie nowy system informatyczny na potrzeby 7PR, mający za zadanie zapewnienie solidniejszej podstawy pod względem danych o projektach.
  Komisja rozważy możliwość opracowania nowego podręcznika oceny PR, uwzględniającego niedawne przykłady; |
| --- | --- |

(iv)

podjęła już działania zmierzające do lepszego wykorzystania dotychczasowych i nowych źródeł danych na potrzeby ocen.

Wymogi sprawozdawcze 7PR zrewidowano częściowo na podstawie potrzeb w zakresie oceny i monitorowania.

Ponadto Komisja tworzy obecnie nowy system informatyczny na potrzeby 7PR, mający za zadanie zapewnienie solidniejszej podstawy pod względem danych o projektach.

Komisja rozważy możliwość opracowania nowego podręcznika oceny PR, uwzględniającego niedawne przykłady;

| (v) | Komisja zamierza rozwinąć i wzmocnić planowanie przyszłych ocen w ramach 7PR, biorąc pod uwagę ewentualne korzyści pod względem spójności i wykorzystania ustaleń. |
| --- | --- |

(v)

Komisja zamierza rozwinąć i wzmocnić planowanie przyszłych ocen w ramach 7PR, biorąc pod uwagę ewentualne korzyści pod względem spójności i wykorzystania ustaleń.

| 1–13. | W ciągu ostatnich dziesięcioleci wspólnotowe programy ramowe (PR) badań i rozwoju technologicznego rozwinęły się w rozległy, ale spójny system mechanizmów wsparcia badaczy w 27 państwach członkowskich UE, krajach stowarzyszonych i innych.
  PR są dziś największym międzynarodowym publicznym systemem finansowania badań na świecie (zob. pkt 6 dokumentu przedstawionego przez Trybunał). Pod względem finansowego zaangażowania Wspólnoty w skali roku 7PR będzie o ok. 60 % większy niż 6PR (zob. rys. 1 dokumentu przedstawionego przez Trybunał).
  Ocena takiego wyjątkowego programu stanowi szczególne wyzwanie dla wszystkich zaangażowanych podmiotów. Mechanizmy oceny przeszły w ostatnich latach znaczące zmiany (zob. rys. 2 dokumentu przedstawionego przez Trybunał), ostatnio w związku z rozpoczęciem 7PR w 2007 r. (zob. np. odpowiedzi na pkt 23, 30, 41, 46, 72, 76–78, 93). |
| --- | --- |

1–13.

W ciągu ostatnich dziesięcioleci wspólnotowe programy ramowe (PR) badań i rozwoju technologicznego rozwinęły się w rozległy, ale spójny system mechanizmów wsparcia badaczy w 27 państwach członkowskich UE, krajach stowarzyszonych i innych.

PR są dziś największym międzynarodowym publicznym systemem finansowania badań na świecie (zob. pkt 6 dokumentu przedstawionego przez Trybunał). Pod względem finansowego zaangażowania Wspólnoty w skali roku 7PR będzie o ok. 60 % większy niż 6PR (zob. rys. 1 dokumentu przedstawionego przez Trybunał).

Ocena takiego wyjątkowego programu stanowi szczególne wyzwanie dla wszystkich zaangażowanych podmiotów. Mechanizmy oceny przeszły w ostatnich latach znaczące zmiany (zob. rys. 2 dokumentu przedstawionego przez Trybunał), ostatnio w związku z rozpoczęciem 7PR w 2007 r. (zob. np. odpowiedzi na pkt 23, 30, 41, 46, 72, 76–78, 93).

| 14. | DG wdrażające PR w dziedzinie BRT („badawcze DG”) stosowały się do formalnych wymogów Komisji w zakresie oceny, w tym wymogów określonych w komunikatach z 2000 i 2002 r. w sprawie oceny (zob. pkt 54 dokumentu przedstawionego przez Trybunał). |
| --- | --- |

14.

DG wdrażające PR w dziedzinie BRT („badawcze DG”) stosowały się do formalnych wymogów Komisji w zakresie oceny, w tym wymogów określonych w komunikatach z 2000 i 2002 r. w sprawie oceny (zob. pkt 54 dokumentu przedstawionego przez Trybunał).

| 22. | Komisja zgadza się co do wagi jasnej logiki interwencji w odniesieniu do konstrukcji programu oraz podziela pogląd, że mandat określony w art. 163 Traktatu jest pod tym względem elementem kluczowym. Ponadto bardzo ważny jest wkład, jaki finansowane przez Komisję działania BRT wnoszą w realizację pozostałych polityk i celów wspólnotowych. Niedawno poglądy Komisji na rolę inwestycji UE w BRT przedstawiono szczegółowo zarówno w odnowionej strategii „lizbońskiej”, jak i w strategii „zrównoważonego rozwoju” (1). |
| --- | --- |

22.

Komisja zgadza się co do wagi jasnej logiki interwencji w odniesieniu do konstrukcji programu oraz podziela pogląd, że mandat określony w art. 163 Traktatu jest pod tym względem elementem kluczowym. Ponadto bardzo ważny jest wkład, jaki finansowane przez Komisję działania BRT wnoszą w realizację pozostałych polityk i celów wspólnotowych. Niedawno poglądy Komisji na rolę inwestycji UE w BRT przedstawiono szczegółowo zarówno w odnowionej strategii „lizbońskiej”, jak i w strategii „zrównoważonego rozwoju” (1).

| 23. | PR zawsze opierały się na jasnej logice interwencji. W 7PR podkreślono ten aspekt (2), co dodatkowo wzmocni stosowany przez Komisję system oceny i monitorowania. |
| --- | --- |

23.

PR zawsze opierały się na jasnej logice interwencji. W 7PR podkreślono ten aspekt (2), co dodatkowo wzmocni stosowany przez Komisję system oceny i monitorowania.

| 25. | Szereg krajów, w tym niektóre państwa członkowskie, nadal rozwija to podejście, nie jest to jednak bynajmniej podejście jednolite. Wnioski płynące z doświadczeń USA i Kanady mogą nie być tak łatwe do wykorzystania, jak wnioski płynące z doświadczeń państw członkowskich UE. |
| --- | --- |

25.

Szereg krajów, w tym niektóre państwa członkowskie, nadal rozwija to podejście, nie jest to jednak bynajmniej podejście jednolite. Wnioski płynące z doświadczeń USA i Kanady mogą nie być tak łatwe do wykorzystania, jak wnioski płynące z doświadczeń państw członkowskich UE.

| 26. | Komisja uważa, że w okresie objętym kontrolą Trybunału posiadała skuteczny system oceny i monitorowania (zob. także odpowiedź na pkt 23). |
| --- | --- |

26.

Komisja uważa, że w okresie objętym kontrolą Trybunału posiadała skuteczny system oceny i monitorowania (zob. także odpowiedź na pkt 23).

| 28. | Trudno jest, zwłaszcza ze względu na niepewność związaną z wynikami badań, zapewnić ścisłą zgodność wszystkich celów z precyzyjnymi definicjami kryteriów SMART. Wszystkie programy robocze w ramach 7PR obejmują ocenę oczekiwanych skutków, odpowiadającą celom, uzasadnieniom i działaniom określonym w programach szczegółowych. |
| --- | --- |

28.

Trudno jest, zwłaszcza ze względu na niepewność związaną z wynikami badań, zapewnić ścisłą zgodność wszystkich celów z precyzyjnymi definicjami kryteriów SMART. Wszystkie programy robocze w ramach 7PR obejmują ocenę oczekiwanych skutków, odpowiadającą celom, uzasadnieniom i działaniom określonym w programach szczegółowych.

| 29. | Więcej uwagi poświęcono wynikom krótkoterminowym w okresie objętym kontrolą Trybunału; potrzebne są analizy bardziej długoterminowe. |
| --- | --- |

29.

Więcej uwagi poświęcono wynikom krótkoterminowym w okresie objętym kontrolą Trybunału; potrzebne są analizy bardziej długoterminowe.

| 30. | Na poziomie PR Komisja rozwija właśnie system monitorowania na potrzeby 7PR, mający na celu bardziej spójne i systematyczne wykorzystanie wskaźników wykonania. Także poszczególne służby wdrażające 7PR realizują kilka odrębnych inicjatyw dotyczących rozwoju wskaźników wykonania. |
| --- | --- |

30.

Na poziomie PR Komisja rozwija właśnie system monitorowania na potrzeby 7PR, mający na celu bardziej spójne i systematyczne wykorzystanie wskaźników wykonania. Także poszczególne służby wdrażające 7PR realizują kilka odrębnych inicjatyw dotyczących rozwoju wskaźników wykonania.

| 34. | Komisja postawiła już sobie za cel zapewnienie większej jasności logiki interwencji, na której bazuje program, przy wykorzystaniu postępów widocznych w przepisach dotyczących 7PR i w ocenie skutków, a także rozważy zalecenia Trybunału dotyczące przyszłych wniosków legislacyjnych. |
| --- | --- |

34.

Komisja postawiła już sobie za cel zapewnienie większej jasności logiki interwencji, na której bazuje program, przy wykorzystaniu postępów widocznych w przepisach dotyczących 7PR i w ocenie skutków, a także rozważy zalecenia Trybunału dotyczące przyszłych wniosków legislacyjnych.

| 35. | Komisja z zadowoleniem przyjmuje zalecenie Trybunału dotyczące dalszego wyjaśnienia celów programowych 7PR oraz, w granicach odnośnych aktów podstawowych przyjętych przez Parlament Europejski i Radę, podejmie wysiłki w tym kierunku. |
| --- | --- |

35.

Komisja z zadowoleniem przyjmuje zalecenie Trybunału dotyczące dalszego wyjaśnienia celów programowych 7PR oraz, w granicach odnośnych aktów podstawowych przyjętych przez Parlament Europejski i Radę, podejmie wysiłki w tym kierunku.

| 36–37. | Komisja z zadowoleniem przyjmuje zalecenia Trybunału i podejmuje inicjatywy dalszego rozwoju pomiaru wyników oraz zmiany nomenklatury zarządzania kosztami działań/sporządzania budżetu zadaniowego (ABM/ABB). |
| --- | --- |

36–37.

Komisja z zadowoleniem przyjmuje zalecenia Trybunału i podejmuje inicjatywy dalszego rozwoju pomiaru wyników oraz zmiany nomenklatury zarządzania kosztami działań/sporządzania budżetu zadaniowego (ABM/ABB).

| 38–39. | Komisja jest zdania, że jej strategia oceny PR powinna określać wspólne zasady dotyczące organizacji i rozwoju metod oceny i monitorowania PR. Strategia taka powinna obejmować deklarację celu, określać kluczowe składniki systemu, w tym główne działania oraz przedstawiać wizję na przyszłość. Ze względu na zdecentralizowany system oceny PR stosowany przez Komisję, powinna ona pozostać skoncentrowana na poziomie strategicznym. |
| --- | --- |

38–39.

Komisja jest zdania, że jej strategia oceny PR powinna określać wspólne zasady dotyczące organizacji i rozwoju metod oceny i monitorowania PR. Strategia taka powinna obejmować deklarację celu, określać kluczowe składniki systemu, w tym główne działania oraz przedstawiać wizję na przyszłość. Ze względu na zdecentralizowany system oceny PR stosowany przez Komisję, powinna ona pozostać skoncentrowana na poziomie strategicznym.

| 41. | Główne elementy strategiczne podejścia Komisji do oceny i monitorowania definiowano w kolejnych aktach podstawowych dotyczących PR od połowy lat 90. XX w. (zob. załącznik II).
  Od przyjęcia przez Komisję w 1996 r. ostatniego komunikatu w sprawie oceny badań realizowano proces stałego doskonalenia jej podejścia do oceny PR oraz wprowadzono znaczące zmiany w działaniach w zakresie oceny (zob. rys. 2 dokumentu przedstawionego przez Trybunał).
  Zaplanowana przez Komisję strategia oceny na bieżący okres programowania jest dokładniej zdefiniowana w ocenie skutków 7PR ex ante (SEC(2005) 430). Określa ona projekt systemu oceny, sposób jego wdrożenia orz szczegółowy terminarz planowanych ocen na poziomie PR.
  Przełożenie tej strategii na szczegółowe plany wymagać będzie dodatkowego wysiłku, a Komisja wykorzysta do tego celu specjalne struktury koordynacyjne. |
| --- | --- |

41.

Główne elementy strategiczne podejścia Komisji do oceny i monitorowania definiowano w kolejnych aktach podstawowych dotyczących PR od połowy lat 90. XX w. (zob. załącznik II).

Od przyjęcia przez Komisję w 1996 r. ostatniego komunikatu w sprawie oceny badań realizowano proces stałego doskonalenia jej podejścia do oceny PR oraz wprowadzono znaczące zmiany w działaniach w zakresie oceny (zob. rys. 2 dokumentu przedstawionego przez Trybunał).

Zaplanowana przez Komisję strategia oceny na bieżący okres programowania jest dokładniej zdefiniowana w ocenie skutków 7PR ex ante (SEC(2005) 430). Określa ona projekt systemu oceny, sposób jego wdrożenia orz szczegółowy terminarz planowanych ocen na poziomie PR.

Przełożenie tej strategii na szczegółowe plany wymagać będzie dodatkowego wysiłku, a Komisja wykorzysta do tego celu specjalne struktury koordynacyjne.

| 43. | Komisja zgadza się wprawdzie ze spostrzeżeniem Trybunału, zaznacza jednak, że sytuacja w USA i Kanadzie charakteryzuje się tak dużą liczbą niuansów, że pojedyncza strategia oceny nie jest w stanie ich objąć. |
| --- | --- |

43.

Komisja zgadza się wprawdzie ze spostrzeżeniem Trybunału, zaznacza jednak, że sytuacja w USA i Kanadzie charakteryzuje się tak dużą liczbą niuansów, że pojedyncza strategia oceny nie jest w stanie ich objąć.

| 44. | Różnice w wykorzystaniu i podejściu do oceny w obrębie PR odzwierciedlają zdecentralizowaną strukturę Komisji, łączącą ocenę z procesem decyzyjnym. |
| --- | --- |

44.

Różnice w wykorzystaniu i podejściu do oceny w obrębie PR odzwierciedlają zdecentralizowaną strukturę Komisji, łączącą ocenę z procesem decyzyjnym.

| 46. | Ze względu na zdecentralizowaną organizację Komisji na pytanie dotyczące właściwego poziomu działań w zakresie oceny muszą odpowiedzieć odnośne służby operacyjne (zob. także odpowiedzi na pkt 41 i 49).






  — | (tiret drugie) Ocena pięcioletnia z 2004 r. (1999–2003), koordynowana przez DG ds. Badań Naukowych, zapewniła ocenę na ogólnym poziomie PR. Decyzja o tym, czy należy podjąć odrębne działania na poziomie programów, odzwierciedlała potrzeby zaangażowanych służb oraz różne konteksty i skale odnośnych działań. |
| --- | --- | --- |

46.

Ze względu na zdecentralizowaną organizację Komisji na pytanie dotyczące właściwego poziomu działań w zakresie oceny muszą odpowiedzieć odnośne służby operacyjne (zob. także odpowiedzi na pkt 41 i 49).

—

(tiret drugie) Ocena pięcioletnia z 2004 r. (1999–2003), koordynowana przez DG ds. Badań Naukowych, zapewniła ocenę na ogólnym poziomie PR. Decyzja o tym, czy należy podjąć odrębne działania na poziomie programów, odzwierciedlała potrzeby zaangażowanych służb oraz różne konteksty i skale odnośnych działań.

| 47. | Ocena pięcioletnia z 2004 r. zapewniła skoordynowaną, kompleksową, terminową ocenę na ogólnym poziomie PR, zgodną z rozporządzeniem finansowym. Przeprowadzili ją wybitni eksperci zewnętrzni, a jej wyniki szeroko rozpowszechniono. |
| --- | --- |

47.

Ocena pięcioletnia z 2004 r. zapewniła skoordynowaną, kompleksową, terminową ocenę na ogólnym poziomie PR, zgodną z rozporządzeniem finansowym. Przeprowadzili ją wybitni eksperci zewnętrzni, a jej wyniki szeroko rozpowszechniono.

| 48. | Zob. odpowiedzi na pkt 41 i 46. |
| --- | --- |

48.

Zob. odpowiedzi na pkt 41 i 46.

| 49. | Zaplanowana przez Komisję strategia oceny na bieżący okres programowania ujęta jest w ocenie skutków 7PR ex ante (SEC(2005) 430). Określa ona projekt systemu oceny, sposób jego wdrożenia oraz szczegółowy terminarz planowanych ocen na poziomie PR.
  Komisja przyznaje, że przełożenie tej strategii na szczegółowe plany wymagać będzie dodatkowego wysiłku i wykorzysta do tego celu specjalne struktury koordynacyjne.
  Komisja uważa jednak, że nie zawsze można ustalić minimalny poziom szczegółowej oceny ze względu na potrzebę utrzymania wystarczającej elastyczności zarządzania w odniesieniu do określania odnośnych potrzeb pod względem oceny. |
| --- | --- |

49.

Zaplanowana przez Komisję strategia oceny na bieżący okres programowania ujęta jest w ocenie skutków 7PR ex ante (SEC(2005) 430). Określa ona projekt systemu oceny, sposób jego wdrożenia oraz szczegółowy terminarz planowanych ocen na poziomie PR.

Komisja przyznaje, że przełożenie tej strategii na szczegółowe plany wymagać będzie dodatkowego wysiłku i wykorzysta do tego celu specjalne struktury koordynacyjne.

Komisja uważa jednak, że nie zawsze można ustalić minimalny poziom szczegółowej oceny ze względu na potrzebę utrzymania wystarczającej elastyczności zarządzania w odniesieniu do określania odnośnych potrzeb pod względem oceny.

| 51. | PR są wdrażane wspólnie przez „badawcze DG”, działające niezależnie i współpracujące w razie potrzeby. |
| --- | --- |

51.

PR są wdrażane wspólnie przez „badawcze DG”, działające niezależnie i współpracujące w razie potrzeby.

| 52. | EuropeAid we współpracy z delegacjami Komisji i organami wdrażającymi w krajach trzecich sprawuje obowiązki operacyjne i w zakresie zarządzania. W związku z tym trudno jest uznać tę część Komisji za wzorcową, gdyż nie można jej porównać ze zdecentralizowanym systemem obowiązków i ról w dziedzinie badań. |
| --- | --- |

52.

EuropeAid we współpracy z delegacjami Komisji i organami wdrażającymi w krajach trzecich sprawuje obowiązki operacyjne i w zakresie zarządzania. W związku z tym trudno jest uznać tę część Komisji za wzorcową, gdyż nie można jej porównać ze zdecentralizowanym systemem obowiązków i ról w dziedzinie badań.

| 53. | Wewnątrzkomisyjna „sieć oceny BRT” stanowi nieformalny środek rozwoju strategii oceny oraz koordynacji działań z zakresu oceny na poziomie PR. Ten elastyczny mechanizm dowiódł swojej dużej użyteczności. |
| --- | --- |

53.

Wewnątrzkomisyjna „sieć oceny BRT” stanowi nieformalny środek rozwoju strategii oceny oraz koordynacji działań z zakresu oceny na poziomie PR. Ten elastyczny mechanizm dowiódł swojej dużej użyteczności.

| 55. | Niedawna rewizja standardów kontroli wewnętrznej Komisji, przyjęta dnia 16 października 2007 r. (SEC(2007) 1341) obejmuje 21 standardów oceny, w związku z czym zgodność z tymi standardami zostanie włączona w zakres rocznych sprawozdań z działalności dyrekcji generalnych.
  Służby centralne Komisji, w szczególności DG ds. Budżetu, uczestniczą aktywnie w poszczególnych etapach związanych z procesem oceny.
  Działania tych służb w zakresie oceny podlegać mogą audytowi prowadzonemu przez jednostkę ds. audytu wewnętrznego oraz służbę audytu wewnętrznego.
  W przyszłości w ocenie minimalnych wymogów jakościowych wykorzystywane będą opracowane niedawno przez Komisję „Ramy oceny jakości” (3). Od 2007 r. w kontroli jakości ocen skutków ex ante pomaga działająca przy Komisji „Rada ds. Oceny Skutków”. |
| --- | --- |

55.

Niedawna rewizja standardów kontroli wewnętrznej Komisji, przyjęta dnia 16 października 2007 r. (SEC(2007) 1341) obejmuje 21 standardów oceny, w związku z czym zgodność z tymi standardami zostanie włączona w zakres rocznych sprawozdań z działalności dyrekcji generalnych.

Służby centralne Komisji, w szczególności DG ds. Budżetu, uczestniczą aktywnie w poszczególnych etapach związanych z procesem oceny.

Działania tych służb w zakresie oceny podlegać mogą audytowi prowadzonemu przez jednostkę ds. audytu wewnętrznego oraz służbę audytu wewnętrznego.

W przyszłości w ocenie minimalnych wymogów jakościowych wykorzystywane będą opracowane niedawno przez Komisję „Ramy oceny jakości” (3). Od 2007 r. w kontroli jakości ocen skutków ex ante pomaga działająca przy Komisji „Rada ds. Oceny Skutków”.

| 56. | Porównanie przedstawione w załączniku III obejmuje okres poddany kontroli Trybunału. Dlatego też nie uwzględnia ono znaczących usprawnień w ramach 7PR, zwłaszcza w odniesieniu do nowej strategii oceny, wyraźniejszej logiki interwencji oraz jasnego określenia oczekiwanych wyników programów roboczych.
  Trybunał zwraca uwagę na niektóre państwa członkowskie, w których obowiązki dotyczące oceny i finansowania są rozdzielone. Istnieją także inne przykłady (np. Zjednoczone Królestwo), gdzie ocena stanowi część zarządzania programem (tak jak w przypadku Komisji). Jeśli chodzi o kluczową kwestię niezależności, przeprowadzona przez Trybunał kontrola wykazała, że pod tym względem zewnętrzne podmioty zainteresowane są zadowolone z działalności Komisji (zob. pkt 58 i rys. 4 dokumentu przedstawionego przez Trybunał). |
| --- | --- |

56.

Porównanie przedstawione w załączniku III obejmuje okres poddany kontroli Trybunału. Dlatego też nie uwzględnia ono znaczących usprawnień w ramach 7PR, zwłaszcza w odniesieniu do nowej strategii oceny, wyraźniejszej logiki interwencji oraz jasnego określenia oczekiwanych wyników programów roboczych.

Trybunał zwraca uwagę na niektóre państwa członkowskie, w których obowiązki dotyczące oceny i finansowania są rozdzielone. Istnieją także inne przykłady (np. Zjednoczone Królestwo), gdzie ocena stanowi część zarządzania programem (tak jak w przypadku Komisji). Jeśli chodzi o kluczową kwestię niezależności, przeprowadzona przez Trybunał kontrola wykazała, że pod tym względem zewnętrzne podmioty zainteresowane są zadowolone z działalności Komisji (zob. pkt 58 i rys. 4 dokumentu przedstawionego przez Trybunał).

| 59. | — | (tiret pierwsze) Zapewnienie odpowiedniego udziału członków wysokiej rangi w zespołach tworzonych na długi okres jest trudne. |
| --- | --- | --- |

59.

—

(tiret pierwsze) Zapewnienie odpowiedniego udziału członków wysokiej rangi w zespołach tworzonych na długi okres jest trudne.

| — | (tiret drugie) Zakresy zadań i obowiązków dla zespołów poziomu PR określane są decyzją Komisji, po szerokich nieformalnych konsultacjach ze stronami zainteresowanymi, w tym po zasięgnięciu formalnej opinii komitetów programowych 7PR, złożonych z przedstawicieli państw członkowskich i krajów stowarzyszonych. Dotyczy to także zbliżającej się oceny ex post 6PR w 2008 r. |
| --- | --- |

—

(tiret drugie) Zakresy zadań i obowiązków dla zespołów poziomu PR określane są decyzją Komisji, po szerokich nieformalnych konsultacjach ze stronami zainteresowanymi, w tym po zasięgnięciu formalnej opinii komitetów programowych 7PR, złożonych z przedstawicieli państw członkowskich i krajów stowarzyszonych. Dotyczy to także zbliżającej się oceny ex post 6PR w 2008 r.

| 62. | Docelowy poziom wydatków na ocenę w wysokości 0,5 % budżetu jest zalecany przez Komisję jako wartość średnia. Faktycznie przydzielone środki zależą w dużej mierze od charakteru programu. |
| --- | --- |

62.

Docelowy poziom wydatków na ocenę w wysokości 0,5 % budżetu jest zalecany przez Komisję jako wartość średnia. Faktycznie przydzielone środki zależą w dużej mierze od charakteru programu.

| 66. | Komisja nie uważa wprawdzie za konieczne utworzenia wspólnego biura oceny, zgadza się jednak rozważyć inne możliwości poprawy koordynacji.
  Powiązanie oceny z procesem decyzyjnym w zakresie zarządzania można najskuteczniej osiągnąć poprzez usytuowanie w każdej DG funkcji dotyczących oceny oraz poprzez wzmocnienie istniejącej wewnątrzkomisyjnej „sieci oceny BRT” przy wsparciu służb centralnych. Jest to także zgodne z procedurami legislacyjnymi i budżetowymi, odpowiednio do wymogów rozporządzenia finansowego, komunikatu Komisji z 2007 r. w sprawie oceny oraz procedur w kontekście zarządzania kosztami działań. |
| --- | --- |

66.

Komisja nie uważa wprawdzie za konieczne utworzenia wspólnego biura oceny, zgadza się jednak rozważyć inne możliwości poprawy koordynacji.

Powiązanie oceny z procesem decyzyjnym w zakresie zarządzania można najskuteczniej osiągnąć poprzez usytuowanie w każdej DG funkcji dotyczących oceny oraz poprzez wzmocnienie istniejącej wewnątrzkomisyjnej „sieci oceny BRT” przy wsparciu służb centralnych. Jest to także zgodne z procedurami legislacyjnymi i budżetowymi, odpowiednio do wymogów rozporządzenia finansowego, komunikatu Komisji z 2007 r. w sprawie oceny oraz procedur w kontekście zarządzania kosztami działań.

| 67. | Komisja zgadza się, że zespoły mogą odgrywać ważną rolę w ocenie. Zgadza się również, że zespoły powinny być tworzone na najwcześniejszym możliwym etapie w celu dokonania szczegółowej oceny, nie uważa jednak za właściwe tworzenia stałych zespołów na cały okres programowania.
  Specjalny zespół utworzony do szczególnego celu, zapewni raczej korzyści pod względem jasności i skupienia na celu. |
| --- | --- |

67.

Komisja zgadza się, że zespoły mogą odgrywać ważną rolę w ocenie. Zgadza się również, że zespoły powinny być tworzone na najwcześniejszym możliwym etapie w celu dokonania szczegółowej oceny, nie uważa jednak za właściwe tworzenia stałych zespołów na cały okres programowania.

Specjalny zespół utworzony do szczególnego celu, zapewni raczej korzyści pod względem jasności i skupienia na celu.

| 68. | Komisja dokładnie rozważy zapotrzebowanie na zasoby niezbędne do przeprowadzania oceny PR w nadchodzących latach. |
| --- | --- |

68.

Komisja dokładnie rozważy zapotrzebowanie na zasoby niezbędne do przeprowadzania oceny PR w nadchodzących latach.

| 70–71. | Wytyczne metodologiczne dotyczące oceny, w tym dostępne narzędzia i słownik terminów, zapewniono w przewodniku DG ds. Budżetu (4), który obecnie jest aktualizowany przez odpowiednie służby, w tym „badawcze DG”.
  Ponadto w 2002 r. DG ds. Przedsiębiorczości opracowała szczegółowe wytyczne dotyczące oceny, obejmujące wszystkie dziedziny działalności, za które odpowiada ta DG, w tym PR.
  Rozważone zostaną kolejne inicjatywy wspierające w odniesieniu do ponownie uruchomionej „europejskiej sieci oceny BRT” (złożonej z ekspertów z państw członkowskich i krajów stowarzyszonych) oraz wewnątrzkomisyjnej „sieci oceny BRT”. Komisja będzie także nadal wspierać niezależne badania nad metodologią oceny oraz warsztaty w tym zakresie. |
| --- | --- |

70–71.

Wytyczne metodologiczne dotyczące oceny, w tym dostępne narzędzia i słownik terminów, zapewniono w przewodniku DG ds. Budżetu (4), który obecnie jest aktualizowany przez odpowiednie służby, w tym „badawcze DG”.

Ponadto w 2002 r. DG ds. Przedsiębiorczości opracowała szczegółowe wytyczne dotyczące oceny, obejmujące wszystkie dziedziny działalności, za które odpowiada ta DG, w tym PR.

Rozważone zostaną kolejne inicjatywy wspierające w odniesieniu do ponownie uruchomionej „europejskiej sieci oceny BRT” (złożonej z ekspertów z państw członkowskich i krajów stowarzyszonych) oraz wewnątrzkomisyjnej „sieci oceny BRT”. Komisja będzie także nadal wspierać niezależne badania nad metodologią oceny oraz warsztaty w tym zakresie.

| 72. | Komisja zgadza się, że proces rutynowego gromadzenia danych z projektów był skuteczny jedynie częściowo. Na potrzeby 6PR zrewidowano procedury sprawozdawczości projektowej, które zostaną dodatkowo usprawnione na potrzeby 7PR (np. uproszczona zostanie sprawozdawczość okresowa, zrezygnowano z kwestionariuszy tymczasowych, sprawozdania końcowe staną się bardziej przydatne, zwłaszcza w odniesieniu do gromadzenia danych o wdrożeniu projektu i wynikach). |
| --- | --- |

72.

Komisja zgadza się, że proces rutynowego gromadzenia danych z projektów był skuteczny jedynie częściowo. Na potrzeby 6PR zrewidowano procedury sprawozdawczości projektowej, które zostaną dodatkowo usprawnione na potrzeby 7PR (np. uproszczona zostanie sprawozdawczość okresowa, zrezygnowano z kwestionariuszy tymczasowych, sprawozdania końcowe staną się bardziej przydatne, zwłaszcza w odniesieniu do gromadzenia danych o wdrożeniu projektu i wynikach).

| 74. | „Badawcze DG” przy wsparciu DG ds. Informatyki tworzą nowy system informatyczny na potrzeby 7PR. Takie wzmocnione wsparcie informatyczne ma na celu zapewnienie solidniejszej podstawy do oceny i monitorowania. |
| --- | --- |

74.

„Badawcze DG” przy wsparciu DG ds. Informatyki tworzą nowy system informatyczny na potrzeby 7PR. Takie wzmocnione wsparcie informatyczne ma na celu zapewnienie solidniejszej podstawy do oceny i monitorowania.

| 76–78. | W okresie objętym kontrolą gromadzenie danych dotyczących oceny było efektywne tylko częściowo. W ramach 7PR Komisja wprowadza usprawnienia (zob. odpowiedź na pkt 72). |
| --- | --- |

76–78.

W okresie objętym kontrolą gromadzenie danych dotyczących oceny było efektywne tylko częściowo. W ramach 7PR Komisja wprowadza usprawnienia (zob. odpowiedź na pkt 72).

| 79. | Komisja zamierza wspierać typy badań ilościowych zaproponowane przez Trybunał. |
| --- | --- |

79.

Komisja zamierza wspierać typy badań ilościowych zaproponowane przez Trybunał.

| 81. | Zdaniem Komisji ostatnio przeprowadzono wiele ocen bardziej interesujących pod względem metodologicznym (zob. pkt 84) i należy wprowadzić rozróżnienie między ocenami prowadzonymi na dużą skalę a bardziej rutynowymi działaniami. |
| --- | --- |

81.

Zdaniem Komisji ostatnio przeprowadzono wiele ocen bardziej interesujących pod względem metodologicznym (zob. pkt 84) i należy wprowadzić rozróżnienie między ocenami prowadzonymi na dużą skalę a bardziej rutynowymi działaniami.

| 82. | Komisja przyznaje, że zasadniczo działania w zakresie oceny w większym stopniu skupiały się na wynikach krótkoterminowych i że potrzebna jest poszerzona analiza wyników i skutków. Podejście takie wymaga jednakże bardziej długoterminowej perspektywy i dlatego oceny Komisji są zwykle porównywalne do podobnych działań prowadzonych gdzie indziej. |
| --- | --- |

82.

Komisja przyznaje, że zasadniczo działania w zakresie oceny w większym stopniu skupiały się na wynikach krótkoterminowych i że potrzebna jest poszerzona analiza wyników i skutków. Podejście takie wymaga jednakże bardziej długoterminowej perspektywy i dlatego oceny Komisji są zwykle porównywalne do podobnych działań prowadzonych gdzie indziej.

| 83. | Komisja stara się szanować niezależność ekspertów dokonujących ocen, zwłaszcza w odniesieniu do wyboru właściwej metodologii.
  W związku ze zbliżającą się oceną ex post 6PR w 2008 r. proponuje się przeprowadzenie badań nad dodatkowością behawioralną, analizą sieci oraz wykorzystaniem podejść naukometrycznych. |
| --- | --- |

83.

Komisja stara się szanować niezależność ekspertów dokonujących ocen, zwłaszcza w odniesieniu do wyboru właściwej metodologii.

W związku ze zbliżającą się oceną ex post 6PR w 2008 r. proponuje się przeprowadzenie badań nad dodatkowością behawioralną, analizą sieci oraz wykorzystaniem podejść naukometrycznych.

| 84. | Niezależny ekspert dokonał metaanalizy badań prowadzonych w ramach poprzednich ocen w odniesieniu do oceny pięcioletniej z 2004 r. (1999–2003) (5).






  — | (tiret drugie) Oprócz badań, o których wspomina Trybunał, w 2007 r. podjęto inne poważne badania (6). |
| --- | --- | --- |

84.

Niezależny ekspert dokonał metaanalizy badań prowadzonych w ramach poprzednich ocen w odniesieniu do oceny pięcioletniej z 2004 r. (1999–2003) (5).

—

(tiret drugie) Oprócz badań, o których wspomina Trybunał, w 2007 r. podjęto inne poważne badania (6).

| 85. | Komisja zgadza się, że nadal występuje potrzeba rozwoju nowych podejść metodologicznych uwzględniających zmieniający się charakter PR. Taki rozwój metodologiczny jest i nadal będzie wspierany przez Komisję. |
| --- | --- |

85.

Komisja zgadza się, że nadal występuje potrzeba rozwoju nowych podejść metodologicznych uwzględniających zmieniający się charakter PR. Taki rozwój metodologiczny jest i nadal będzie wspierany przez Komisję.

| 86. | Ponieważ pytania podane w zakresie zadań i obowiązków dla oceny pięcioletniej z 2004 r. (1999–2003) miały jedynie charakter orientacyjny, zespół miał swobodę wyboru obszarów, na których chciał się skupić oraz określenia swojego trybu działania. Członkowie zespołu zwrócili uwagę na duże zalety takiego rozwiązania (7). |
| --- | --- |

86.

Ponieważ pytania podane w zakresie zadań i obowiązków dla oceny pięcioletniej z 2004 r. (1999–2003) miały jedynie charakter orientacyjny, zespół miał swobodę wyboru obszarów, na których chciał się skupić oraz określenia swojego trybu działania. Członkowie zespołu zwrócili uwagę na duże zalety takiego rozwiązania (7).

| 87. | Sam charakter programu badawczego, związany z niepewnością, oznacza, że zakres, w jakim możliwe jest określenie celów kwantyfikowalnych, jest ograniczony. |
| --- | --- |

87.

Sam charakter programu badawczego, związany z niepewnością, oznacza, że zakres, w jakim możliwe jest określenie celów kwantyfikowalnych, jest ograniczony.

| 90. | W 2007 r. Komisja ponownie uruchomiła „europejską sieć oceny BRT”, obejmującą urzędników państw członkowskich oraz ekspertów ds. oceny, i zamierza wykorzystać ją do zapewnienia większej spójności w działaniach UE w zakresie oceny badań, zwłaszcza w odniesieniu do oceny skutków na poziomie państw członkowskich. |
| --- | --- |

90.

W 2007 r. Komisja ponownie uruchomiła „europejską sieć oceny BRT”, obejmującą urzędników państw członkowskich oraz ekspertów ds. oceny, i zamierza wykorzystać ją do zapewnienia większej spójności w działaniach UE w zakresie oceny badań, zwłaszcza w odniesieniu do oceny skutków na poziomie państw członkowskich.

| 91. | Komisja rozważy możliwość opracowania nowego podręcznika oceny PR, uwzględniającego niedawne przykłady (8). |
| --- | --- |

91.

Komisja rozważy możliwość opracowania nowego podręcznika oceny PR, uwzględniającego niedawne przykłady (8).

| 92. | Na potrzeby 6PR zrewidowano procedury sprawozdawczości projektowej, które zostaną dodatkowo usprawnione na potrzeby 7PR (zob. odpowiedź na pkt 72). |
| --- | --- |

92.

Na potrzeby 6PR zrewidowano procedury sprawozdawczości projektowej, które zostaną dodatkowo usprawnione na potrzeby 7PR (zob. odpowiedź na pkt 72).

| 93. | Na poziomie PR Komisja rozwija właśnie system monitorowania na potrzeby 7PR, mający na celu bardziej spójne i systematyczne wykorzystanie wskaźników wykonania (zob. odpowiedź na pkt 30).
  „Badawcze DG”, przy wsparciu DG ds. Informatyki, tworzą nowy system informatyczny na potrzeby 7PR. Takie wzmocnione wsparcie informatyczne ma na celu zapewnienie solidniejszej podstawy dla oceny i monitorowania. |
| --- | --- |

93.

Na poziomie PR Komisja rozwija właśnie system monitorowania na potrzeby 7PR, mający na celu bardziej spójne i systematyczne wykorzystanie wskaźników wykonania (zob. odpowiedź na pkt 30).

„Badawcze DG”, przy wsparciu DG ds. Informatyki, tworzą nowy system informatyczny na potrzeby 7PR. Takie wzmocnione wsparcie informatyczne ma na celu zapewnienie solidniejszej podstawy dla oceny i monitorowania.

| 94. | Komisja podziela obawy Trybunału w odniesieniu do problemu obciążenia sprawozdawczego i poświęciła mu szczególną uwagę, określając wymogi sprawozdawcze dla 7PR (zob. odpowiedź na pkt 72). |
| --- | --- |

94.

Komisja podziela obawy Trybunału w odniesieniu do problemu obciążenia sprawozdawczego i poświęciła mu szczególną uwagę, określając wymogi sprawozdawcze dla 7PR (zob. odpowiedź na pkt 72).

| 95. | Komisja prowadzi obecnie działania mające na celu wykorzystanie dotychczasowych i nowych źródeł danych na potrzeby oceny i monitorowania (zob. odpowiedź na pkt 72). |
| --- | --- |

95.

Komisja prowadzi obecnie działania mające na celu wykorzystanie dotychczasowych i nowych źródeł danych na potrzeby oceny i monitorowania (zob. odpowiedź na pkt 72).

| 96. | 7PR przewiduje specjalny kierunek działania w ramach tematu 8 (nauki społeczne i humanistyczne), poświęcony innowacyjnym podejściom do oceny i monitorowania. |
| --- | --- |

96.

7PR przewiduje specjalny kierunek działania w ramach tematu 8 (nauki społeczne i humanistyczne), poświęcony innowacyjnym podejściom do oceny i monitorowania.

| 97. | W 2007 r. Komisja ponownie uruchomiła „europejską sieć oceny BRT” (zob. odpowiedź na pkt 70–71 oraz 90) i zamierza wykorzystać ją do zapewnienia większej spójności w działaniach UE w zakresie oceny badań, zwłaszcza w odniesieniu do oceny skutków na poziomie państw członkowskich.
  Komisja zamierza także utrzymać swoją czołową pozycję w dziedzinie wsparcia dla tworzenia międzynarodowych sieci kontaktów oraz wymiany praktyk w zakresie oceny badań poprzez organizację warsztatów i innych wydarzeń. |
| --- | --- |

97.

W 2007 r. Komisja ponownie uruchomiła „europejską sieć oceny BRT” (zob. odpowiedź na pkt 70–71 oraz 90) i zamierza wykorzystać ją do zapewnienia większej spójności w działaniach UE w zakresie oceny badań, zwłaszcza w odniesieniu do oceny skutków na poziomie państw członkowskich.

Komisja zamierza także utrzymać swoją czołową pozycję w dziedzinie wsparcia dla tworzenia międzynarodowych sieci kontaktów oraz wymiany praktyk w zakresie oceny badań poprzez organizację warsztatów i innych wydarzeń.

| 99. | Terminarz oceny określony jest wymogami zawartymi w aktach podstawowych, przyjętych przez Parlament Europejski i Radę. Komisja przyznaje, że wiedza o wpływie długoterminowym jest bardziej ograniczona i zgadza się, że potrzebne są dodatkowe prace w tym zakresie. |
| --- | --- |

99.

Terminarz oceny określony jest wymogami zawartymi w aktach podstawowych, przyjętych przez Parlament Europejski i Radę. Komisja przyznaje, że wiedza o wpływie długoterminowym jest bardziej ograniczona i zgadza się, że potrzebne są dodatkowe prace w tym zakresie.

| 100. | Komisja zgadza się, że oceny pięcioletnie zasadniczo skupiały się bardziej na ocenie krótkoterminowej niż długoterminowej. Przyczyną tego są m.in. takie czynniki, jak chęć szybkiego uzyskania informacji zwrotnych o wynikach PR przez zainteresowane podmioty zewnętrzne, np. Parlament Europejski i Radę, problemy z przypisaniem badaniom określonych skutków długoterminowych oraz obszary zainteresowania wybrane przez niezależne zespoły dokonujące oceny. Komisja przyznaje jednak, że więcej uwagi należy poświęcić ocenie bardziej długoterminowych skutków. |
| --- | --- |

100.

Komisja zgadza się, że oceny pięcioletnie zasadniczo skupiały się bardziej na ocenie krótkoterminowej niż długoterminowej. Przyczyną tego są m.in. takie czynniki, jak chęć szybkiego uzyskania informacji zwrotnych o wynikach PR przez zainteresowane podmioty zewnętrzne, np. Parlament Europejski i Radę, problemy z przypisaniem badaniom określonych skutków długoterminowych oraz obszary zainteresowania wybrane przez niezależne zespoły dokonujące oceny. Komisja przyznaje jednak, że więcej uwagi należy poświęcić ocenie bardziej długoterminowych skutków.

| 108. | Komisja planuje obecnie główne działania w zakresie oceny w ramach 7PR i starannie rozważy zalecenie Trybunału. Komisja przyznaje, że wiedza o skutkach długoterminowych jest bardziej ograniczona i zgadza się, że potrzebne są dodatkowe prace w tym zakresie. |
| --- | --- |

108.

Komisja planuje obecnie główne działania w zakresie oceny w ramach 7PR i starannie rozważy zalecenie Trybunału. Komisja przyznaje, że wiedza o skutkach długoterminowych jest bardziej ograniczona i zgadza się, że potrzebne są dodatkowe prace w tym zakresie.

| 109. | Jak zauważył Trybunał w pkt 107, Komisja przedstawia podsumowanie wszystkich ustaleń i działań podjętych w zakresie oceny badań w swoim rocznym przeglądzie ocen. Komisji bardzo zależy na pełnej przejrzystości w prowadzonych przez nią działaniach w zakresie ocen i zastosuje się do zalecenia Trybunału, dotyczącego rewizji środków komunikowania i rozpowszechniania ustaleń. |
| --- | --- |

109.

Jak zauważył Trybunał w pkt 107, Komisja przedstawia podsumowanie wszystkich ustaleń i działań podjętych w zakresie oceny badań w swoim rocznym przeglądzie ocen. Komisji bardzo zależy na pełnej przejrzystości w prowadzonych przez nią działaniach w zakresie ocen i zastosuje się do zalecenia Trybunału, dotyczącego rewizji środków komunikowania i rozpowszechniania ustaleń.

| 110–111. | Komisja zgadza się z Trybunałem, że ocena badań, zwłaszcza w przypadku tak kompleksowego programu jak PR, jest bardzo trudna.
  Zaznacza, że w ciągu ostatnich 25 lat w systemie wprowadzono bardzo istotne usprawnienia oraz że system był zasadniczo efektywny pod względem wykorzystania go przez decydentów, kierowników ds. badań oraz inne zainteresowane podmioty. |
| --- | --- |

110–111.

Komisja zgadza się z Trybunałem, że ocena badań, zwłaszcza w przypadku tak kompleksowego programu jak PR, jest bardzo trudna.

Zaznacza, że w ciągu ostatnich 25 lat w systemie wprowadzono bardzo istotne usprawnienia oraz że system był zasadniczo efektywny pod względem wykorzystania go przez decydentów, kierowników ds. badań oraz inne zainteresowane podmioty.

| 112. | Komisja z zadowoleniem przyjmuje stwierdzenie Trybunału, że DG wdrażające PR stosowały się do wymogów Komisji, w tym wymogów określonych w komunikatach z 2000 i 2002 r. w sprawie oceny.
  Do oceny PR wprowadzono znaczące zmiany, w tym istotną restrukturyzację 7PR, określoną w strategii zawartej w ocenie skutków (SEC(2005) 430). |
| --- | --- |

112.

Komisja z zadowoleniem przyjmuje stwierdzenie Trybunału, że DG wdrażające PR stosowały się do wymogów Komisji, w tym wymogów określonych w komunikatach z 2000 i 2002 r. w sprawie oceny.

Do oceny PR wprowadzono znaczące zmiany, w tym istotną restrukturyzację 7PR, określoną w strategii zawartej w ocenie skutków (SEC(2005) 430).

| 113. | Jeśli chodzi o istotność i przydatność ocen, Komisja może wskazać, że otrzymuje zasadniczo pozytywne informacje zwrotne, zwłaszcza w związku z ostatnimi kluczowymi działaniami w tym zakresie, takimi jak ocena pięcioletnia z 2004 r. (1999–2003). Ustalenia oceny pięcioletniej zostały szeroko rozpowszechnione, w tym w formie prezentacji dla najważniejszych organów, takich jak Parlament Europejski, Rada, CREST oraz komitet programowy PR. Biorąc pod uwagę wymóg przeprowadzenia tego działania zanim Komisja przedstawi wniosek nowego programu ramowego (w tym przypadku 7PR), jego ogólną akceptowalność wykazało ostateczne przyjęcie 7PR.
  Nie znaczy to, że nie są możliwe usprawnienia, a Komisja w pełni akceptuje potrzebę wprowadzenia starannie rozważonych zmian, bazujących na tych elementach obecnego podejścia, które już się sprawdziły. |
| --- | --- |

113.

Jeśli chodzi o istotność i przydatność ocen, Komisja może wskazać, że otrzymuje zasadniczo pozytywne informacje zwrotne, zwłaszcza w związku z ostatnimi kluczowymi działaniami w tym zakresie, takimi jak ocena pięcioletnia z 2004 r. (1999–2003). Ustalenia oceny pięcioletniej zostały szeroko rozpowszechnione, w tym w formie prezentacji dla najważniejszych organów, takich jak Parlament Europejski, Rada, CREST oraz komitet programowy PR. Biorąc pod uwagę wymóg przeprowadzenia tego działania zanim Komisja przedstawi wniosek nowego programu ramowego (w tym przypadku 7PR), jego ogólną akceptowalność wykazało ostateczne przyjęcie 7PR.

Nie znaczy to, że nie są możliwe usprawnienia, a Komisja w pełni akceptuje potrzebę wprowadzenia starannie rozważonych zmian, bazujących na tych elementach obecnego podejścia, które już się sprawdziły.

| 114. | Komisja z zadowoleniem przyjmuje uznanie przez Trybunał wagi oceny i monitorowania oraz, bazując na już wprowadzonych znaczących usprawnieniach, będzie nadal ulepszać swoje bieżące praktyki w świetle nowych realiów politycznych i praktycznych. |
| --- | --- |

114.

Komisja z zadowoleniem przyjmuje uznanie przez Trybunał wagi oceny i monitorowania oraz, bazując na już wprowadzonych znaczących usprawnieniach, będzie nadal ulepszać swoje bieżące praktyki w świetle nowych realiów politycznych i praktycznych.

| 115. | Komisja jest już zaangażowana w zapewnienie większej jasności logiki interwencji, na której bazuje program, przy wykorzystaniu postępów ujętych w przepisach dotyczących 7PR i w ocenach skutków, a także rozważy zalecenia Trybunału dotyczące przyszłych wniosków legislacyjnych. |
| --- | --- |

115.

Komisja jest już zaangażowana w zapewnienie większej jasności logiki interwencji, na której bazuje program, przy wykorzystaniu postępów ujętych w przepisach dotyczących 7PR i w ocenach skutków, a także rozważy zalecenia Trybunału dotyczące przyszłych wniosków legislacyjnych.

| 116. | Nie zapominając o znaczących udoskonaleniach wprowadzonych już w ocenie PR, Komisja zgadza się, że potrzebne są dalsze usprawnienia, w tym dotyczące ściślejszej koordynacji między odnośnymi służbami na poziomie operacyjnym. Komisja będzie kontynuować wysiłki wspierające rozwój metodologii oceny. |
| --- | --- |

116.

Nie zapominając o znaczących udoskonaleniach wprowadzonych już w ocenie PR, Komisja zgadza się, że potrzebne są dalsze usprawnienia, w tym dotyczące ściślejszej koordynacji między odnośnymi służbami na poziomie operacyjnym. Komisja będzie kontynuować wysiłki wspierające rozwój metodologii oceny.

| 117. | W odniesieniu do spraw organizacyjnych, Komisja stwierdza, że:






  — | (tiret pierwsze) w celu dokonania szczegółowej oceny zespoły należy tworzyć na najwcześniejszym możliwym etapie. Specjalne zespoły tworzone do konkretnych celów zapewnią jednak raczej korzyści pod względem jasności i skupienia na celu; |
| --- | --- | --- |

117.

W odniesieniu do spraw organizacyjnych, Komisja stwierdza, że:

—

(tiret pierwsze) w celu dokonania szczegółowej oceny zespoły należy tworzyć na najwcześniejszym możliwym etapie. Specjalne zespoły tworzone do konkretnych celów zapewnią jednak raczej korzyści pod względem jasności i skupienia na celu;

| — | (tiret drugie) należy zapewnić lepszą koordynację między DG wdrażającymi PR. Zostanie to osiągnięte dzięki nowej strategii oceny 7PR, ale także dzięki wykorzystaniu specjalnych struktur koordynacyjnych, uzupełniających wewnątrzkomisyjną „sieć oceny BRT”, a nie poprzez utworzenie wspólnego biura oceny. |
| --- | --- |

—

(tiret drugie) należy zapewnić lepszą koordynację między DG wdrażającymi PR. Zostanie to osiągnięte dzięki nowej strategii oceny 7PR, ale także dzięki wykorzystaniu specjalnych struktur koordynacyjnych, uzupełniających wewnątrzkomisyjną „sieć oceny BRT”, a nie poprzez utworzenie wspólnego biura oceny.

---

(1)  Komunikat Komisji na wiosenny szczyt Rady Europejskiej w sprawie realizacji odnowionej strategii lizbońskiej na rzecz wzrostu gospodarczego i zatrudnienia (COM(2006) 816).

(2)  Na przykład wniosek Komisji dotyczący 7PR opracowano na podstawie szczegółowej oceny skutków ex ante, obejmującej modelowanie ekonometryczne potencjalnego wpływu działalności badawczej na takie kwestie, jak wzrost gospodarczy i tworzenie miejsc pracy (zob. Komisja Europejska, dokument roboczy służb Komisji „Ocena skutków oraz ocena ex ante wniosków Komisji w sprawie decyzji Rady i Parlamentu Europejskiego dotyczącej siódmego programu ramowego (WE oraz Euratom)”, SEC(2005) 430). Decyzje w sprawie 7PR ustanawiają przejrzystą strukturę, łączącą cele, uzasadnienia i działania. Ponadto decyzje dotyczące programów szczegółowych w ramach 7PR określają cele, podejście i działania.

(3)  „Ramy oceny jakości” („Assessment evaluation framework”) dostępne są pod adresem http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4)  Komisja Europejska, DG ds. Budżetu, „Evaluating EU Activities — A Practical Guide for the Commission services” („Ocena działalności UE — przewodnik praktyczny dla służb Komisji”), lipiec 2004 r., dostępny pod adresem http://ec.europa.eu/budget/publications/other_en.htm.

(5)  E. Arnold, „What the Evaluation Record tells us about the Framework Programme Performance” („Co rejestry ocen mówią o wynikach programów ramowych?”), 2004 r.

(6)  DG ds. Badań Naukowych, „Structuring Effects of Community Research — The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation” („Strukturalne skutki badań wspólnotowych — wpływ programu ramowego badań i rozwoju technologicznego na tworzenie sieci”), 2007 r.; DG ds. Społeczeństwa Informacyjnego i Mediów, „Effectiveness of IST-RTD Impacts on the EU Innovation System” („Efektywność wpływu badań i rozwoju technologicznego w zakresie technologii społeczeństwa informacyjnego na system innowacji UE”), 2007 r.

(7)  Zob. C. Mandl, „Evaluating Evaluations or The Case for Action Research” („Ocena ocen czyli argument na rzecz badań w działaniu”), Biuletyn Platformy Austriackiej, nr 30, czerwiec 2007 r.

(8)  Zob. np. Komisja Europejska, Wspólne Centrum Badawcze, „Assessing the Socio-Economic Impact of RTD-Policies” („Ocena społeczno-gospodarczego wpływu polityki w zakresie BRT”) (EPUB), 2002 r., oraz University of Manchester, „Assessing the Socio-economic Impacts of the Framework Programme” („Ocena społeczno-gospodarczego wpływu programu ramowego”) (ASIF), 2002 r., oba teksty dostępne pod adresem http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Sprawozdania te zostały szeroko rozpowszechnione i udostępnione wykonawcom i ekspertom prowadzących badania w zakresie oceny w imieniu Komisji.

---