EL Επίσημη Εφημερίδα της Ευρωπαϊκής Ένωσης C 26/1

ΕΙΔΙΚΉ ΈΚΘΕΣΗ αριθ. 9/2007

για την αξιολόγηση των προγραμμάτων-πλαισίων Έρευνας και Τεχνολογικής Ανάπτυξης (Ε&ΤΑ) της ΕΕ — Μπορεί να βελτιωθεί η προσέγγιση της Επιτροπής; συνοδευόμενη από τις απαντήσεις της Επιτροπής

(δυνάμει του άρθρου 248 παράγραφος 4 δεύτερο εδάφιο της συνθήκης ΕΚ)

(2008/C 26/01)

ΠΙΝΑΚΑΣ ΠΕΡΙΕΧΟΜΕΝΩΝ

I-V ΣΥΝΟΨΗ

1-14 ΕΙΣΑΓΩΓΗ

1-7 Ο ρόλος της Ευρωπαϊκής Ένωσης στην υποστήριξη των δραστηριοτήτων Ε&ΤΑ

8-14 Αξιολόγηση και παρακολούθηση των ΠΠ

15-18 ΕΜΒΕΛΕΙΑ ΚΑΙ ΠΡΟΣΕΓΓΙΣΗ ΤΟΥ ΕΛΕΓΧΟΥ

19-109 ΠΑΡΑΤΗΡΗΣΕΙΣ ΕΛΕΓΧΟΥ

19-37 Παρεμβατική λογική, καθορισμός στόχων και δείκτες επιδόσεων

38-49 Στρατηγική αξιολόγησης

50-68 Οργάνωση της αξιολόγησης για τα ΠΠ

69-97 Μεθοδολογίες και τεχνικές αξιολόγησης

98-109 Διάδοση και χρησιμοποίηση των ευρημάτων αξιολόγησης ειδικά για τα ΠΠ

110-118 ΓΕΝΙΚΟ ΣΥΜΠΕΡΑΣΜΑ

Παράρτημα I: Εκτίμηση του αντίκτυπου και των αποτελεσμάτων της δημόσιας παρέμβασης στον τομέα της Ε&ΤΑ

Παράρτημα II: Διατάξεις σχετικά με την παρακολούθηση και την αξιολόγηση που εμφαίνονται στις νομοθετικές αποφάσεις για το 4ο ΠΠ έως το 7ο ΠΠ

Παράρτημα III: Κυριότερες διαφορές κατά την εκ των υστέρων αξιολόγηση ερευνητικών προγραμμάτων μεταξύ της ΕΕ (4ο ΠΠ — 6ο ΠΠ) των ΗΠΑ και του Καναδά

Παράρτημα IV: Πιθανή διάρθρωση ομάδας εμπειρογνωμόνων για το 7ο ΠΠ

Απαντήσεις της Επιτροπής

ΣΥΝΟΨΗ

I. Τα κοινοτικά προγράμματα-πλαίσια (ΠΠ) είναι η σημαντικότερη πηγή δημόσιας χρηματοδότησης στον τομέα της έρευνας στην Ευρωπαϊκή Ένωση. Η Επιτροπή είναι υπεύθυνη για τη διαχείριση των ΠΠ και την αξιολόγηση των αποτελεσμάτων τους.

II. Ο έλεγχος αφορούσε τις ρυθμίσεις παρακολούθησης και αξιολόγησης που ίσχυαν από το 1995 για τις τρεις τελευταίες περιόδους προγραμματισμού (4ο ΠΠ, 5ο ΠΠ, 6ο ΠΠ), καθώς επίσης πραγματεύεται τη μελλοντική εξέλιξη για το 7ο ΠΠ (2007-2013). Ο έλεγχος διενεργήθηκε με την επιτροπή ελέγχου της ΕΖΕΣ και με τη βοήθεια εξωτερικών εμπειρογνωμόνων.

III. Ο έλεγχος είχε ως στόχο να καθορίσει κατά πόσο η προσέγγιση της Επιτροπής για την εκτίμηση των αποτελεσμάτων των ΠΠ ήταν επαρκής. Στο πλαίσιο αυτό, το Συνέδριο έλεγξε αν η Επιτροπή τηρούσε τις νομικές υποχρεώσεις σχετικά με την αξιολόγηση και εξακρίβωσε κατά πόσο το σύστημα για την αξιολόγηση και την παρακολούθηση που εφάρμοζε η Επιτροπή ανταποκρινόταν στις προσδοκίες των ενδιαφερομένων φορέων. Ιδιαίτερα, το Συνέδριο εξέτασε κατά πόσο i) υπήρχε μια υποκείμενη παρεμβατική λογική στα ΠΠ και στα συστατικά προγράμματά τους που θα μπορούσε να παρέχει μια στέρεη βάση για την αξιολόγηση και την παρακολούθηση· ii) η Επιτροπή είχε καθορίσει μια στρατηγική αξιολόγησης για τα ΠΠ· iii) η οργανωτική δομή του συστήματος αξιολόγησης της Επιτροπής για τα ΠΠ εξασφάλισε ώστε η αξιολόγηση να είναι σωστά συντονισμένη, να διαθέτει επαρκείς πόρους και να θεωρείται από τους ενδιαφερόμενους φορείς ότι είναι αρκετά ανεξάρτητη· iv) οι μεθοδολογίες που χρησιμοποιήθηκαν για την αξιολόγηση ήταν ικανοποιητικές· v) οι δραστηριότητες αξιολόγησης και παρακολούθησης παρείχαν πληροφοριακά στοιχεία και μια ανάλυση που θα μπορούσαν να χρησιμοποιηθούν για τη βελτίωση των υπό εκτέλεση προγραμμάτων και την κατάρτιση μελλοντικών ΠΠ.

IV. Οι διαπιστώσεις και τα συμπεράσματα του Συνεδρίου έχουν ως εξής: i) η έλλειψη μιας σαφούς παρεμβατικής λογικής, η παρουσία ανεπαρκώς καθορισμένων στόχων προγραμμάτων και η ελλιπής εκτίμηση επιδόσεων επηρέασαν την αποτελεσματική παρακολούθηση και αξιολόγηση· ii) η απουσία μιας περιεκτικής στρατηγικής αξιολόγησης, συμφωνηθείσας μεταξύ των «ΓΔ έρευνας» που εφαρμόζουν τα ΠΠ οδήγησε σε ανακόλουθες προσεγγίσεις μεταξύ των διαφόρων υπηρεσιών της Επιτροπής. Ιδιαίτερα, η αδυναμία αυτή καταδεικνύεται από μια υποεκτίμηση των σημαντικών τμημάτων των ΠΠ· iii) η αξιολόγηση των ΠΠ ήταν αποκεντρωμένη, οι υπάρχοντες μηχανισμοί συντονισμού μεταξύ των ΓΔ που εφαρμόζουν τα ΠΠ δεν ήταν αποτελεσματικοί και οι κεντρικές υπηρεσίες της Επιτροπής δεν ασκούσαν ρόλο εφαρμογής των προτύπων. Γενικά, οι «ΓΔ έρευνας» συμφώνησαν ωστόσο με τις τυπικές απαιτήσεις της Επιτροπής σχετικά με την αξιολόγηση. Η χρησιμοποίηση ομάδων εξωτερικών εμπειρογνωμόνων υψηλού επιπέδου που όρισε η Επιτροπή για τις σημαντικότερες διαδικασίες αξιολόγησης ήταν καλά προσαρμοσμένη στο κοινοτικό πλαίσιο. Εντούτοις, αυτές οι έκτακτες ομάδες δεν συμμετείχαν αρκετά νωρίς στη διεργασία για να επηρεάσουν τη συλλογή αποδεικτικών στοιχείων και είχαν περιορισμένες μόνο δυνατότητες να παρακολουθούν σημαντικά θέματα με την πάροδο του χρόνου. Με τη χρησιμοποίηση μόνο μιας ομάδας εμπειρογνωμόνων για το ΠΠ στο σύνολό του (εκτός από μια ομάδα εμπειρογνωμόνων για ένα ειδικό πρόγραμμα) δεν δόθηκε αρκετή προσοχή σε ειδικά θέματα που αφορούσαν διάφορους επιστημονικούς τομείς οι οποίοι υπάγονταν στα ΠΠ· iv) παρασχέθηκαν ανεπαρκείς μεθοδολογικές οδηγίες, οι αξιολογητές αντιμετώπισαν δυσκολίες στη συγκέντρωση συναφών στοιχείων και δεν υπήρχαν μελέτες αξιολόγησης που αντιμετώπισαν τα μακροπρόθεσμα επακόλουθα, καθώς και τον αντίκτυπο των ΠΠ, σε αντίθεση με τα βραχυπρόθεσμα ζητήματα εφαρμογής των προγραμμάτων· και v) ως αποτέλεσμα των ανωτέρω, και διότι οι αξιολογήσεις πραγματοποιούνταν συχνά πολύ νωρίς για να αντιμετωπίσουν τα σημαντικότερα θέματα, το σύστημα αξιολόγησης της Επιτροπής για τα ΠΠ ήταν περιορισμένης χρησιμότητας για τους αρμόδιους διαμόρφωσης πολιτικής, τους ενδιαφερόμενους φορείς ή ακόμη και για την ίδια την Επιτροπή. Τέλος, δεν υπάρχουν πολλές πληροφορίες σχετικά με την επίτευξη των στόχων του προγράμματος και με τα αποτελέσματα των ΠΠ.

V. Tο Συνέδριο συνιστά: i) να καταστεί σαφής η παρεμβατική λογική στη μελλοντική κανονιστική ρύθμιση. Θα πρέπει να δίδονται εξηγήσεις για τις υποκείμενες υποθέσεις, η σύνδεση μεταξύ επιστημονικών και κοινωνικοοικονομικών στόχων πρέπει να αποσαφηνιστεί και να εκπονηθούν ενδεδειγμένοι δείκτες επιδόσεων· ii) να διαμορφωθεί μια περιεκτική στρατηγική αξιολόγησης από τις ΓΔ που είναι αρμόδιες για την εφαρμογή των ΠΠ (και να συμφωνηθεί μεταξύ αυτών). Ιδιαίτερα, η στρατηγική αυτή θα πρέπει να συνεπάγεται συνεπή προσέγγιση ως προς το ελάχιστο επίπεδο στο οποίο μια λεπτομερής αξιολόγηση πρέπει να αναλαμβάνεται, ώστε να ληφθούν υπόψη οι ιδιαιτερότητες του κάθε επιστημονικού πεδίου· iii) να προβλεφθεί η σύσταση ενός κοινού γραφείου αξιολόγησης για το συντονισμό των δραστηριοτήτων αξιολόγησης των «ΓΔ έρευνας» για τα ΠΠ στο σύνολό τους και η δημιουργία ενός συστήματος ομάδων (και υποομάδων) αποτελούμενων από εξωτερικούς εμπειρογνώμονες. Οι εν λόγω ομάδες θα πρέπει να συγκροτούνται αρκετά νωρίς για να βοηθούν αποτελεσματικά την Επιτροπή και να συνεχίσουν την προσπάθεια αυτή καθόλη τη διάρκεια της περιόδου προγραμματισμού και αργότερα· iv) οι απαιτήσεις όσον αφορά τα δεδομένα για την αξιολόγηση και την παρακολούθηση θα πρέπει να αναλύονται σωστά και να αξιοποιούνται περισσότερο άλλες υπάρχουσες πηγές στοιχείων. Η Επιτροπή θα πρέπει επίσης να ορθολογικοποιεί τις απαιτήσεις για τους συμμετέχοντες όσον αφορά την κατάρτιση εκθέσεων. Τέλος, θα πρέπει να εκπονήσει ένα λεπτομερές εγχειρίδιο αξιολόγησης για τα ΠΠ και να καταρτίσει μεθοδολογίες αξιολόγησης ευρύτερου φάσματος, καθώς και τεχνικές που θα πρέπει να χρησιμοποιούνται για αξιολογήσεις στον τομέα αυτό· και v) να καθορίσει η Επιτροπή τον τύπο και την εμβέλεια της αξιολόγησης που μπορούν να αναμένονται λογικά για τις ημερομηνίες οι οποίες προβλέπονται στην κανονιστική ρύθμιση για το 7ο ΠΠ και να αποσαφηνίσει τον τρόπο με τον οποίο οι αξιολογήσεις μπορούν να χρησιμοποιούνται για την προσαρμογή των προγραμμάτων («προγράμματα μάθησης») και τον τρόπο με τον οποίο μπορούν να συμβάλλουν στις πολιτικές αποφάσεις.

ΕΙΣΑΓΩΓΗ

Ο ρόλος της Ευρωπαϊκής Ένωσης στην υποστήριξη των δραστηριοτήτων Ε&ΤΑ

1. Η έρευνα και η τεχνολογική ανάπτυξη (Ε&ΤΑ) (1) αποτελούν τον κινητήριο μοχλό της επιστημονικής και τεχνολογικής προόδου και καινοτομίας και για το λόγο αυτό συμβάλλουν σε μεγάλο βαθμό στη βελτίωση του βιοτικού επιπέδου. Η δημόσια παρέμβαση στον τομέα της Ε&ΤΑ αιτιολογείται συνήθως ως διορθωτικό μέτρο για την αντιμετώπιση των ονομαζόμενων «αποτυχιών της αγοράς»· πράγματι οι κρατικές ενισχύσεις συμβάλλουν στη μείωση της αβεβαιότητας και παρέχουν τη δυνατότητα για επενδύσεις όταν η έρευνα αποτελεί δημόσιο αγαθό ή όταν υπάρχουν σημαντικά εξωτερικά επακόλουθα.

2. Το άρθρο 163 της συνθήκης ΕΚ καθορίζει το ρόλο των Κοινοτήτων σχετικά με την υποστήριξη της Ε&ΤΑ ορίζοντας ότι «στόχος της Κοινότητας είναι η ενίσχυση των επιστημονικών και τεχνολογικών βάσεων της βιομηχανίας της Κοινότητας και η διευκόλυνση της ανάπτυξης της διεθνούς ανταγωνιστικότητάς της, καθώς και η προώθηση των ερευνητικών δράσεων που κρίνονται αναγκαίες…». Στα άρθρα 164 έως 173 καθορίζονται οι δραστηριότητες που πρέπει να πραγματοποιηθούν από την άποψη αυτή, καθώς και η εμβέλεια και η εφαρμογή των πολυετών προγραμμάτων-πλαισίων (ΠΠ) Ε&ΤΑ. Η Επιτροπή είναι υπεύθυνη για την προώθηση προτάσεων σχετικά με τα ΠΠ, ενώ οι αποφάσεις για τα ΠΠ και οι κανόνες για τη συμμετοχή και τη διάδοση ερευνητικών αποτελεσμάτων εγκρίνονται με από κοινού απόφαση του Ευρωπαϊκού Κοινοβουλίου και του Συμβουλίου. Το τελευταίο εγκρίνει μόνο του τα ειδικά προγράμματα. Τα ΠΠ εφαρμόζονται από κοινού από έξι Γενικές Διευθύνσεις (ΓΔ), τις ονομαζόμενες «ΓΔ έρευνας» (2).

3. Μέσα στο ευρύ φάσμα των πολιτικών που εφαρμόζονται στην Ευρωπαϊκή Ένωση για την ενίσχυση της καινοτομίας και της ανταγωνιστικότητας, τα ΠΠ αποτελούν το σημαντικότερο χρηματοδοτικό μέσο που συμβάλλει στη στρατηγική της Λισαβόνας (3) και στο στόχο της Βαρκελώνης (4) σε κοινοτικό επίπεδο.

4. Μέσω των ΠΠ, η Κοινότητα χορηγεί κεφάλαια σε ερευνητές της Ευρωπαϊκής Ένωσης, των συνδεδεμένων χωρών και των διεθνών οργανισμών. Οι προϋπολογισμοί των προγραμμάτων αυτών αυξήθηκαν σημαντικά με την πάροδο των ετών φθάνοντας στα 7 217 εκατομμύρια ευρώ ετησίως στο πλαίσιο του 7ου ΠΠ έναντι 2 761 εκατομμυρίων ευρώ στο πλαίσιο του 4ου ΠΠ (βλέπε Παράσταση 1). Όσον αφορά τις πιστώσεις του προϋπολογισμού, τα προγράμματα-πλαίσια αντιπροσωπεύουν τον μεγαλύτερο τομέα κεντρικής άμεσης διαχείρισης εντός της Επιτροπής (5).

5. Τα ΠΠ διαφέρουν από πολλά εθνικά προγράμματα ως προς το ότι καλύπτουν τόσο τη βασική όσο και την εφαρμοσμένη έρευνα με τη συμμετοχή των επιχειρήσεων και των δημόσιων ερευνητικών οργανισμών (6). Αποτελούνται από ειδικά προγράμματα (και υποπρογράμματα) που αφορούν ευρύτερα επιστημονικά πεδία. Τα προγράμματα αυτά συνίστανται συνήθως σε ορισμένους τομείς που επικεντρώνονται σε ειδικότερες επιστημονικές περιοχές. Τα εν λόγω προγράμματα εφαρμόζονται στη συνέχεια στους τομείς αυτούς μέσω σχεδίων (που ονομάζονται «έμμεσες δράσεις») ύστερα από πρόσκληση για υποβολή προσφορών. Με τον τρόπο αυτό, χρηματοδοτούνται εκατοντάδες εξατομικευμένων σχεδίων σε κάθε τομέα.

6. To συνολικό ποσοστό των ΠΠ στο σύνολο της δημόσιας χρηματοδότησης σχετικά με την Ε&ΤΑ στην Ευρωπαϊκή Ένωση και στα κράτη μέλη της κυμαίνεται από 4 % έως 5 %. Εντούτοις, ο αντίκτυπός τους στο είδος των ερευνητικών δραστηριοτήτων που αναπτύσσονται στην Ευρώπη είναι σημαντικά μεγαλύτερος. Τούτο οφείλεται στο γεγονός ότι οι κοινοτικές επιχορηγήσεις συνήθως χρηματοδοτούν μόνο εν μέρει ένα σχέδιο. Επιπλέον, οι ερευνητές, όταν υποβάλλουν αίτηση για χρηματοδότηση, πρέπει να αποδεικνύουν ότι τα σχέδιά τους επιτυγχάνουν τους στόχους που καθορίζονται στην πρόσκληση για την υποβολή προσφορών. Με τον τρόπο αυτό, τα ΠΠ παροτρύνουν να προσανατολίσουν τις δραστηριότητες Ε&ΤΑ σε συγκεκριμένους κοινοτικούς στόχους.

7. Κατά τα τελευταία έτη επήλθαν σημαντικές αλλαγές στα ΠΠ οι οποίες οφείλονται: — σε νέες πολιτικές προκλήσεις (η στρατηγική της Λισαβόνας και οι στόχοι της Βαρκελώνης, η δημιουργία ενός «Ευρωπαϊκού Χώρου Έρευνας» (ΕΧΕ) και η αυξανόμενη χρησιμοποίηση της ανοιχτής μεθόδου συντονισμού (7) στην πολιτική έρευνας και καινοτομίας)· — στον εξελισσόμενο προσανατολισμό των ΠΠ, από την απλή επίλυση τεχνικών προβλημάτων στο πλαίσιο του 4ου ΠΠ και την αντιμετώπιση ειδικών κοινωνικών προβλημάτων στο πλαίσιο του 5ου ΠΠ στην ενθάρρυνση της συνεργασίας ερευνητικών οργανισμών εντός του ΕΧΕ και τη συμβολή στην καθιέρωση μιας γνωσιοκεντρικής οικονομίας και κοινωνίας στα πλαίσια του 6ου ΠΠ και του 7ου ΠΠ· — σε μεγαλύτερες περιόδους προγραμματισμού (προηγουμένως 4 έτη, τώρα 7 έτη για το 7ο ΠΠ ώστε να ανταποκριθεί στις δημοσιονομικές προοπτικές της περιόδου 2007-2013)· — σε περισσότερα κράτη μέλη και συμμετέχουσες χώρες· — σε αύξηση της χρηματοδότησης, ιδίως στο πλαίσιο των ισχυουσών δημοσιονομικών προοπτικών· — στην ίδρυση του Ευρωπαϊκού Συμβουλίου Έρευνας (ΕΣΕ) και στη μεταβίβαση των αρμοδιοτήτων για τις πράξεις διαχείρισης των προγραμμάτων σε εκτελεστικούς οργανισμούς μετά από το 7ο ΠΠ· και — στην αυξανόμενη χρήση χρηματοδοτικών μέσων μεγάλης κλίμακας (π.χ. δίκτυα αριστείας, ολοκληρωμένα σχέδια, σχέδια βάσει του άρθρου 169, κοινές τεχνολογικές πρωτοβουλίες).

Αξιολόγηση και παρακολούθηση των ΠΠ

8. Η Επιτροπή είναι υπεύθυνη για την εκτέλεση των προγραμμάτων και για την αξιολόγηση των αποτελεσμάτων τους (8). Εντός της Επιτροπής, η αξιολόγηση ανατίθεται στις ΓΔ, ενώ οι κεντρικές υπηρεσίες (ιδίως η ΓΔ Προϋπολογισμού και η Γενική Γραμματεία) εξασφαλίζουν τη στήριξη και το συντονισμό.

9. Στην παρούσα έκθεση χρησιμοποιούνται οι ορισμοί της Επιτροπής, ήτοι: με τον όρο «αξιολόγηση» νοείται η «εκτίμηση των παρεμβάσεων ανάλογα με τα αποτελέσματά τους, τον αντίκτυπό τους και τις ανάγκες που αποβλέπουν να ικανοποιήσουν» (9) · με τον όρο «παρακολούθηση», νοείται η παροχή πληροφοριών για την εφαρμογή των υπό εκτέλεση προγραμμάτων και σχεδίων με σκοπό την αντιμετώπιση των αναγκών διαχείρισης (10). Επίσης, με τον τρόπο αυτό καθορίζονται αυτές οι δύο δραστηριότητες στην κανονιστική ρύθμιση που διέπει επί του παρόντος το 7ο ΠΠ.

10. Η ορολογία που χρησιμοποιείται για να περιγράψει παρακάτω τα αποτελέσματα των δραστηριοτήτων της Ε&ΤΑ είναι η ακόλουθη: — «υλοποιήσεις» είναι οι γνώσεις, τα αγαθά και οι υπηρεσίες που παράγονται απευθείας ύστερα από τη δημόσια παρέμβαση (δημοσιεύσεις, έγγραφα διαλέξεων, διπλώματα ευρεσιτεχνίας, άδειες, πρωτότυπα, πρότυπα, εξειδικευμένοι επιστήμονες, κ.λπ.)· — «επακόλουθα» είναι τα ετεροχρονισμένα αποτελέσματα της επεξεργασίας των υλοποιήσεων από τους χρήστες· και — «αντίκτυπος» είναι οι μακροπρόθεσμες κοινωνικοοικονομικές και πολιτικές αλλαγές που επιφέρει η δημόσια παρέμβαση. Πλαίσιο 1Παράδειγμα από το «παγκόσμιο σύστημα κινητής τηλεφωνίας» (GSM):Στο εν λόγω παράδειγμα, οι «υλοποιήσεις» της κοινοτικής χρηματοδότησης ήταν τα άμεσα αποτελέσματα του σχεδίου, όπως η ανάπτυξη του προτύπου GSM. Το «επακόλουθο» ήταν η αποδοχή του ως το πρότυπο της ψηφιακής κυψελωτής τηλεφωνίας στην Ευρώπη και πέραν αυτής, γεγονός το οποίο συνέβαλε σε μεγάλο βαθμό στην ανάπτυξη του τομέα των τηλεπικοινωνιών. Τέλος, ο «αντίκτυπος» ήταν οι οικονομικές, κοινωνικές και πολιτικές συνέπειες της διεθνούς χρήσης της τεχνολογίας αυτής. Στις συνέπειες αυτές συμπεριλαμβάνεται η συμβολή στη δημιουργία θέσεων εργασίας στον τομέα των τηλεπικοινωνιών και στους συναφείς τομείς, και η αύξηση της σπουδαιότητας του τομέα αυτού για την ευρωπαϊκή οικονομία. Τέλος, με το σύστημα GSM παρασχέθηκε επίσης ένας νέος τρόπος επικοινωνίας μεταξύ των ατόμων.

11. Ωστόσο, η εκτίμηση των αποτελεσμάτων αυτών θέτει ορισμένα μεθοδολογικά προβλήματα (βλέπε παράρτημα I). Οι κοινωνικοοικονομικές αλλαγές είναι πολύπλοκες και ειδικότερα, είναι συχνά δύσκολο να συνδεθεί η ερευνητική δραστηριότητα με τα παρατηρούμενα επακόλουθα και τον αντίκτυπο. Ενώ οι μεθοδολογικές αυτές δυσκολίες αντιπροσωπεύουν μια σημαντική πρόκληση, δεν αποκλείουν κατ' ανάγκη μια αποτελεσματική αξιολόγηση.

12. Η Επιτροπή καθιέρωσε ένα σύστημα για την παρακολούθηση και την αξιολόγηση των ΠΠ από τη δεκαετία του 1980 (11). Από το τέταρτο ΠΠ, στη μέση της δεκαετίας του 1990, το σύστημα παρακολούθησης και αξιολόγησης συνίστατο σε ορισμένες εν μέρει διασυνδεόμενες δραστηριότητες, οι οποίες περιλάμβαναν: — ετήσια παρακολούθηση (κυρίως της εκτέλεσης των προγραμμάτων) και — πενταετείς αξιολογήσεις δραστηριοτήτων των ΠΠ (και, μετά από το 6ο ΠΠ συμπληρωματικές αξιολογήσεις ειδικών θεμάτων). Και οι δύο αυτές δραστηριότητες έπρεπε να εκτελεστούν με τη βοήθεια εξωτερικών εμπειρογνωμόνων (βλέπε Παράσταση 2 και παράρτημα II). Παράσταση 2 Βασικές διατάξεις για την παρακολούθηση και την αξιολόγηση του 4ου ΠΠ έως του 7ου ΠΠ 4o ΠΠ (1995-1998) 5ο ΠΠ (1999-2002) 6ο ΠΠ (2003-2006) 7ο ΠΠ (2007-2013) δύο διαδικασίες αξιολόγησης (μεσοπρόθεσμη και τελική), σε κάθε περίπτωση για τα 20 υποπρογράμματά του συν το ΠΠ· η τελική αξιολόγηση αλληλεπικαλύπτεται με την μεσοπρόθεσμη αξιολόγηση του 5ου ΠΠ Δύο ταυτόχρονες διαδικασίες αξιολόγησης (μεσοπρόθεσμη), στην κάθε περίπτωση για τα επτά ειδικά προγράμματά του συν το ΠΠ Μία διαδικασία αξιολόγησης για το ΠΠ και τα τρία ειδικά προγράμματά του (μεσοπρόθεσμη), όχι όμως ειδικά για όλα τα 20 υποπρογράμματα, η οποία συμπληρώνεται από ειδική αξιολόγηση και τακτικές εκθέσεις για την κατάσταση προόδου (π.χ. εκθέσεις παρακολούθησης) Τουλάχιστον πέντε διαδικασίες αξιολόγησης (εκ των προτέρων, μεσοπρόθεσμη και τελική) συμπεριλαμβανομένων των ειδικών εκθέσεων προόδου πριν από την ενδιάμεση αξιολόγηση 1. Εκ των προτέρων: όχι 1. Εκ των προτέρων: όχι 1. Εκ των προτέρων: όχι 1. Εκ των προτέρων: ενσωματωμένη στην «Αξιολόγηση του αντίκτυπου της πρότασης της Επιτροπής για το 7ο ΠΠ» (2005) 2. Μεσοπρόθεσμη: — «5ετής αξιολόγηση»: στα μέσα του ΠΠ, πριν από το επόμενο ΠΠ (1997) 2. Μεσοπρόθεσμη: — 5ετής αξιολόγηση: πριν από την υποβολή της πρότασης σχετικά με το επόμενο ΠΠ (2000) — εξέταση της κατάστασης προόδου στα μέσα του ΠΠ (2001) 2. Μεσοπρόθεσμη: — αξιολόγηση αποτελεσματικότητας των μέσων (2004) — 5ετής αξιολόγηση, πριν από την υποβολή πρότασης σχετικά με το επόμενο ΠΠ (2004) — τακτικές εκθέσεις για την κατάσταση προόδου (εκθέσεις παρακολούθησης) 2. Μεσοπρόθεσμη: — εκ των υστέρων, 2 έτη μετά το τέλος του προηγούμενου ΠΠ (2008) — έκθεση για την κατάσταση προόδου πριν από την ενδιάμεση αξιολόγηση (πριν από το 2010) — ενδιάμεση αξιολόγηση (2010) 3. Τελική: — κατά την ολοκλήρωση του ΠΠ (1999) 3. Τελική: όχι 3. Τελική: όχι [τροποποιηθείσα από την απόφαση για το 7ο ΠΠ] 3. Τελική: δύο έτη μετά την ολοκλήρωση του ΠΠ (2015), στηριζόμενη από ειδικές μελέτες, την ενδιάμεση αξιολόγηση και άλλες δραστηριότητες αξιολόγησης που πραγματοποιήθηκαν καθόλη τη διάρκεια της περιόδου του ΠΠ Πηγή: Βλέπε Παράρτημα II.

13. Μέχρι σήμερα, πραγματοποιήθηκαν (12) τρεις πενταετείς αξιολογήσεις οι οποίες οδήγησαν στις εκθέσεις «Davignon», «Majó» και «Ormala» (1997, 2000 και 2004 αντίστοιχα). Επιπλέον, η ΓΔ Κοινωνίας της Πληροφορίας πραγματοποίησε στοχευμένες αξιολογήσεις για τα ειδικά προγράμματά της. Θα πρέπει να σημειωθεί ότι οι πενταετείς αξιολογήσεις εγκαταλείφθηκαν με την κανονιστική ρύθμιση για το 7ο ΠΠ καταργώντας έτσι τον περιορισμό σύμφωνα με τον οποίο οι αξιολογήσεις έπρεπε να επικεντρώνονται στην προηγούμενη πενταετία και, ως εκ τούτου, έπρεπε να καλύπτουν τμήματα των δύο διαδοχικών περιόδων προγραμματισμού. Το 2004, δημοσιεύθηκε επίσης η έκθεση «Marimón» (13), μια ειδική αξιολόγηση που αφορούσε την αποτελεσματικότητα των νέων μέσων που καθιερώθηκαν στο πλαίσιο του 6ου ΠΠ.

14. Το πλαίσιο των δραστηριοτήτων αξιολόγησης της Επιτροπής εξετάστηκε το 2000 και το 2002 (14). Οι ανακοινώσεις αυτές επικαιροποιήθηκαν το 2007 λαμβανομένων υπόψη των συνεπειών της διοικητικής μεταρρύθμισης της Επιτροπής και του νέου δημοσιονομικού κανονισμού (15). Στα έγγραφα αυτά, ο ρόλος και το έργο της αξιολόγησης περιγράφεται στο πλαίσιο του κύκλου του γενικού σχεδιασμού, του προγραμματισμού και της υποβολής εκθέσεων της Επιτροπής, και καθορίζεται μια σειρά από 21 πρότυπα αξιολόγησης και 18 μοντέλα «ορθής πρακτικής». Επιπλέον, στα εν λόγω έγγραφα γίνεται αναφορά στη χρήση της αξιολόγησης για την κατάρτιση και την απλούστευση της νομοθεσίας της ΕΕ.

ΕΜΒΕΛΕΙΑ ΚΑΙ ΠΡΟΣΕΓΓΙΣΗ ΤΟΥ ΕΛΕΓΧΟΥ

15. Κύριος στόχος του ελέγχου ήταν να καθοριστεί κατά πόσο η Επιτροπή διέθετε κατάλληλη προσέγγιση για την εκτίμηση των αποτελεσμάτων των προγραμμάτων-πλαισίων Ε&ΤΑ.

16. Προς το σκοπό αυτό, το Συνέδριο αξιολόγησε σε ποιο βαθμό: — υπάρχει πίσω από τα ΠΠ και τα συστατικά προγράμματά τους ρητή παρεμβατική λογική, με την οποία μπορούν να μετρηθούν και να αξιολογηθούν οι υλοποιήσεις, τα επακόλουθα και ο αντίκτυπος, παρέχοντας έτσι σταθερή βάση για την αξιολόγηση και την παρακολούθηση· — καθορίστηκε μια στρατηγική αξιολόγησης για τα ΠΠ με σκοπό να προωθηθεί μια αποτελεσματική και συνεπής αξιολόγηση· — η οργανωτική διάρθρωση του συστήματος αξιολόγησης εξασφαλίζει ότι το σύστημα αυτό είναι καλά συντονισμένο στο σύνολο του ΠΠ, ότι διαθέτει επαρκείς πόρους και έναν βαθμό ανεξαρτησίας που κρίνεται ικανοποιητικός από τους ενδιαφερόμενους φορείς· — οι μεθοδολογίες που χρησιμοποιούνται για την αξιολόγηση διασφαλίζουν ότι τα σημαντικά θέματα αντιμετωπίζονται με ενδεδειγμένο τρόπο, έτσι ώστε η αξιολόγηση να θεωρείται αξιόπιστη· — αξιολογήσεις και δραστηριότητες παρακολούθησης παρέχουν πληροφοριακά στοιχεία και μια ανάλυση τα οποία να μπορούν να χρησιμοποιηθούν για τη βελτίωση των υπό εκτέλεση προγραμμάτων («προγράμματα μάθησης») και για την κατάρτιση των μελλοντικών ΠΠ.

17. Η παρούσα έκθεση αφορά τις διατάξεις που εφαρμόζονται σχετικά με το 4ο ΠΠ (1995-1998), το 5ο ΠΠ (1999-2002) και το 6ο ΠΠ (2003-2006). Εξετάζει επίσης τις νομικές υποχρεώσεις που ισχύουν επί του παρόντος για το 7ο ΠΠ (2007-2013), αλλά δεν παρέχει εκτίμηση για την «Εκτίμηση του αντίκτυπου και εκ των προτέρων αξιολόγηση του 7ου ΠΠ» της Επιτροπής (16). Επικεντρώνεται στην παρακολούθηση και στην εκ των υστέρων αξιολόγηση των προγραμμάτων και όχι στην εκ των προτέρων αξιολόγηση τον προτάσεων σχεδίων ή στην εκ των υστέρων αξιολόγηση των ίδιων των σχεδίων.

18. Ο έλεγχος διενεργήθηκε με τη συμμετοχή της επιτροπής ελέγχου ΕΖΕΣ και με τη βοήθεια εξωτερικών εμπειρογνωμόνων. Τα ελεγκτικά τεκμήρια συγκεντρώθηκαν μέσω: — ελεγκτικών εργασιών που πραγματοποιήθηκαν στην Επιτροπή (έλεγχος εγγράφων και συνεντεύξεις με το προσωπικό), που αφορούσαν την εξακρίβωση νομικών και κανονιστικών υποχρεώσεων, την εξέταση στόχων και κριτηρίων επίδοσης, την ανάλυση περισσοτέρων από 80 εκθέσεων παρακολούθησης και αξιολόγησης, καθώς και μια ανάλυση της οργάνωσης των δραστηριοτήτων αξιολόγησης εντός της Επιτροπής· — συνεντεύξεων με περισσότερους από 90 εμπειρογνώμονες που αναγνωρίστηκαν ως ενδιαφερόμενοι παράγοντες στα κράτη μέλη και σε συνδεδεμένες χώρες (Δημοκρατία της Τσεχίας, Γερμανία, Εσθονία, Ισπανία, Γαλλία, Ιταλία, Λουξεμβούργο, Κάτω Χώρες, Αυστρία, Φινλανδία, Σουηδία, Ηνωμένο Βασίλειο και Νορβηγία)· — μελετών με θεσμικούς ενδιαφερόμενους φορείς στην επιτροπή ITRE (17) του Ευρωπαϊκού Κοινοβουλίου και CREST (18) του Συμβουλίου· — διαβουλεύσεων με περισσότερους από 65 εμπειρογνώμονες στον τομέα της αξιολόγησης της έρευνας στις ΗΠΑ και στον Καναδά για τη σύσταση διεθνούς ομάδας σύγκρισης· — εξέτασης της ακαδημαϊκής βιβλιογραφίας σχετικά με τις σημερινές τάσεις στην αξιολόγηση της έρευνας· — της εξέτασης των ευρημάτων ελέγχου, των συμπερασμάτων και των συστάσεων σε συνεργασία με εμπειρογνώμονες στην αξιολόγηση της έρευνας από την Ευρώπη και τη Βόρειο Αμερική κατά τη διάρκεια μιας σειράς συνεδριάσεων ομάδων στόχου μέσω συντονιστή που πραγματοποιήθηκαν τον Φεβρουάριο του 2007.

ΠΑΡΑΤΗΡΗΣΕΙΣ ΕΛΕΓΧΟΥ

Παρεμβατική λογική, καθορισμός στόχων και δείκτες επιδόσεων

19. Για μια αποτελεσματική αξιολόγηση και παρακολούθηση απαιτούνται σαφείς στόχοι και, στο επίπεδο της πολιτικής, του προγράμματος και του σχεδίου, συναφείς δείκτες επιδόσεων ως προς τους οποίους μπορούν να αξιολογηθούν τα αποτελέσματα μιας δημόσιας παρέμβασης. Σύμφωνα με την ορθή πρακτική που εφαρμόζεται σε άλλους τομείς του προϋπολογισμού της ΕΕ, καθώς και εκτός ΕΕ, αυτοί οι στόχοι και οι δείκτες θα πρέπει να καθορίζονται μέσα στο πλαίσιο μιας παρεμβατικής λογικής.

20. Η παρεμβατική λογική μπορεί να οριστεί ως μια σειρά υποθετικών σχέσεων αιτίας και αποτελέσματος που περιγράφουν τον τρόπο με τον οποίο μια παρέμβαση αναμένεται να επιτύχει τους συνολικούς στόχους της (19). Οι οδηγίες της Επιτροπής σχετικά με την αξιολόγηση αναφέρουν ότι η παρεμβατική λογική καθορίζει την εννοιολογική σύνδεση μεταξύ των μέσων μιας παρέμβασης και της παραγωγής των υλοποιήσεών της και κατά συνέπεια, του αντίκτυπού της στην κοινωνία όσον αφορά τα αποτελέσματα και τα επακόλουθα (20). Ο ορισμός αυτός χρησιμοποιείται στο σύνολο της παρούσας έκθεσης.

21. Tο Συνέδριο αξιολόγησε το βαθμό στον οποίο εφαρμόστηκε η παρεμβατική λογική για τα ΠΠ και τα συστατικά προγράμματά τους, παρέχοντας έτσι μια ορθή βάση για την αξιολόγηση και την παρακολούθηση.

Η παρεμβατική λογική για τα ΠΠ δεν ήταν σαφής

22. Ο καθορισμός μιας παρεμβατικής λογικής θα πρέπει να αποτελεί βασικό στοιχείο του σχεδιασμού ενός προγράμματος από την αρχή. Το άρθρο 163 της συνθήκης, το οποίο αναφέρει την ανάγκη να ενισχυθούν οι επιστημονικές και τεχνολογικές βάσεις και να καταστούν ανταγωνιστικότερες, θα πρέπει να χρησιμεύει ως αφετηρία για μια τέτοια παρεμβατική λογική στο πλαίσιο των ΠΠ (βλέπε σημείο 2). Η λογική αυτή θα πρέπει να καταστεί ειδικότερη όσον αφορά τους διάφορους επιστημονικούς τομείς που καλύπτουν τα ΠΠ και τα διάφορα χρησιμοποιούμενα μέσα.

23. Εντούτοις, τα ΠΠ και τα συστατικά προγράμματά τους δεν διαθέτουν σε κανένα επίπεδο ένα σαφές λογικό μοντέλο που να εξηγεί με ποιο τρόπο συμβάλλουν στην επιστημονική και τεχνολογική πρόοδο και στην καινοτομία.

24. Η έλλειψη μιας παρεμβατικής λογικής σχετικά με τα ΠΠ επισημάνθηκε επίσης από την ομάδα εμπειρογνωμόνων που ήταν επιφορτισμένη με την πενταετή αξιολόγηση του 2004, και η οποία ανέφερε ότι … ομάδες σαν τη δική μας καλούνται για την πλήρωση του κενού μεταξύ αφενός των αποδεικτικών στοιχείων που συγκεντρώνονται κυρίως σε επίπεδο σχεδίου και αφετέρου των κοινωνικοοικονομικών στόχων υψηλού επιπέδου της πολιτικής έρευνας. Εντούτοις, επί του παρόντος είναι δύσκολο να γίνει η σύνδεση αυτή λόγω του τρόπου προγραμματισμού των ΠΠ. Καμία σαφής λογική δεν συνδέει τους υψηλότερους στόχους με τους ειδικούς στόχους έρευνας και γνώσης (21).

25. Σε ορισμένα κράτη μέλη (π.χ. Κάτω Χώρες, Φινλανδία) και στις ΗΠΑ (βλέπε Παράσταση 3), υιοθετείται διαφορετική προσέγγιση, όπου ο καθορισμός μιας παρεμβατικής λογικής αποτελεί συνήθη πρακτική και στον Καναδά όπου είναι υποχρεωτικός για όλα τα προγράμματα (βλέπε παράρτημα III). Πράγματι, η χρησιμοποίηση της παρεμβατικής λογικής στο σχεδιασμό των προγραμμάτων οδηγεί στις χώρες αυτές σε περισσότερο εστιασμένα και καλύτερα διαρθρωμένα προγράμματα. Η Επιτροπή καθιερώνει τη λογική αυτή επίσης και σε άλλους κοινοτικούς τομείς πολιτικής (π.χ. εξωτερική βοήθεια) (22). Παράσταση 3 Καθορισμός ιεράρχησης στόχων με βάση τα λογικά μοντέλα — Παράδειγμα της έρευνας στο γεωργικό τομέα στις ΗΠΑ Πολιτική Πρόγραμμα Σχέδιο Στόχος της πολιτικής: συμβολή στη βελτίωση του βιοπορισμού των γεωργικών οικογενειών Σκοπός: αύξηση της γεωργικής παραγωγής, της παραγωγικότητας, και του εισοδήματος μεταξύ των νοικοκυριών των γεωργών Στόχος του προγράμματος: συμβολή στην αύξηση της γεωργικής παραγωγής, της παραγωγικότητας και του εισοδήματος μεταξύ των γεωργικών νοικοκυριών Αναμενόμενο αποτέλεσμα: αυξημένη χρησιμοποίηση βελτιωμένων γεωργικών τεχνολογιών μεταξύ των ενδιαφερόμενων γεωργών Σκοπός: αυξημένη χρησιμοποίηση βελτιωμένων γεωργικών τεχνολογιών από τους γεωργούς (π.χ. ρύζι) Στόχος του σχεδίου: συμβολή στην αυξημένη χρησιμοποίηση συστημένων και βελτιωμένων τεχνολογιών Αναμενόμενο αποτέλεσμα: παροχή/διάδοση συστάσεων για τους ενδιαφερόμενους γεωργούς Σκοπός: παρεχόμενες συστάσεις για βελτιωμένες τεχνολογίες κατάλληλες για τους ενδιαφερόμενους γεωργούς Αναμενόμενα αποτελέσματα (π.χ.): 1. τεχνολογίες που επισημαίνονται βάσει των προτεραιοτήτων των γεωργών 2. δημιουργούμενες και προσαρμοσμένες τεχνολογίες 3. τεχνολογίες ελεγχόμενες στα αγροκτήματα Πηγή: Εθνικό Συμβούλιο Γεωργικής Έρευνας ΗΠΑ.

26. Η αποτελεσματική αξιολόγηση και η παρακολούθηση των ΠΠ επηρεάζονται από τη μη κωδικοποίηση του σκεπτικού στο οποίο βασίζονται η δημόσια παρέμβαση και οι εικαζόμενες σχέσεις αιτιότητας (σύμφωνα με τις οποίες το πρόγραμμα σχεδιάζεται στη συνέχεια λεπτομερώς, εκτελείται και αξιολογείται). Η αδυναμία αυτή οφείλεται ιδιαίτερα στον τρόπο καθορισμού των στόχων των προγραμμάτων και των δεικτών επίδοσης.

Χωρίς ένα σαφές λογικό μοντέλο είναι δυσκολότερο να καθοριστούν συνεκτικοί στόχοι προγραμμάτων

27. Αν δεν αποσαφηνιστεί το σκεπτικό στο οποίο βασίζεται η δημόσια παρέμβαση, είναι δυσκολότερο να καθοριστούν και να διαρθρωθούν συνεκτικά οι στόχοι των προγραμμάτων. Τούτο αποδεικνύεται από το γεγονός ότι: — δεν υπάρχει σαφής σχέση μεταξύ των στόχων των ΠΠ και των πολιτικών στόχων, όπως ο γενικός στόχος του άρθρου 163 της συνθήκης, και εκείνοι που αναφέρονται στη στρατηγική της Λισαβόνας και στη δήλωση της Βαρκελώνης (βλέπε σημεία 2 και 7)· — δεν είναι πάντοτε προφανής η σχέση μεταξύ των διαφόρων στόχων των προγραμμάτων, σε όλα τα επίπεδα της νομοθεσίας (όπως οι αποφάσεις για τα ΠΠ, οι αποφάσεις για τα ειδικά προγράμματα και οι κανόνες συμμετοχής και διάδοσης) και μεταξύ των βασικών πράξεων και των προγραμμάτων εργασίας της Επιτροπής.

28. Η Επιτροπή προσπάθησε να παρουσιάσει επιχειρησιακούς στόχους στα προγράμματα εργασίας, βάσει των στόχων προγραμμάτων που καθορίζονται στην κανονιστική ρύθμιση για τα ΠΠ. Εντούτοις, σχεδόν σε όλες τις περιπτώσεις, οι πρωτοβουλίες αυτές δεν έδωσαν τη δυνατότητα να αποσαφηνιστεί η υποκείμενη λογική των προγραμμάτων αυτών και οι στόχοι που αναφέρονταν στα προγράμματα εργασίας δεν ήταν συγκεκριμένοι, μετρήσιμοι, εφικτοί, συναφείς και χρονικά καθορισμένοι (SMART). To 2003 οι στόχοι αυτοί είχαν καταστεί νομική απαίτηση στο πλαίσιο του δημοσιονομικού κανονισμού (23).

29. Ο βαθμός στον οποίο μπορούν να ακολουθηθούν οι στόχοι πολιτικής μέσω των ειδικών προγραμμάτων, των προγραμμάτων εργασίας και των προσκλήσεων υποβολής προτάσεων στα μεμονωμένα σχέδια που συγχρηματοδοτούνται από την Κοινότητα είναι ασαφής. Αν δεν αποσαφηνιστεί η σύνδεση αυτή, η συμβολή των ΠΠ και των συστατικών προγραμμάτων τους για την επίτευξη αυτών των πολιτικών στόχων δεν μπορεί να αξιολογηθεί. Από τον έλεγχο διαπιστώθηκε ότι η Επιτροπή κατά τις αξιολογήσεις της δεν προσκόμισε παρά ελάχιστα ή και καθόλου πειστικά αποδεικτικά στοιχεία σχετικά με την επίτευξη πιο μακροπρόθεσμων στόχων, τόσο σε επίπεδο σχεδίων όσο και προγραμμάτων (βλέπε σημείο 82).

Η έλλειψη μιας ρητής παρεμβατικής λογικής και σαφών στόχων καθιστά δυσκολότερη τη διαμόρφωση των δεικτών επίδοσης

30. Η έλλειψη ενός σαφούς λογικού μοντέλου και καθαρά διαμορφωμένων στόχων προγραμμάτων παρεμπόδισε επίσης την εκπόνηση των δεικτών επίδοσης για την παρακολούθηση της επίτευξης των στόχων προγραμμάτων όσον αφορά τις υλοποιήσεις, τα επακόλουθα και τον αντίκτυπο στο βαθμό που, σήμερα, δεν έχουν καθοριστεί καθόλου τέτοιοι δείκτες «αποτελεσματικότητας» για τα ΠΠ (βλέπε σημείο 73).

31. Στο πλαίσιο αυτό, η εξέταση των υπό εκτέλεση σχεδίων που χρηματοδοτούνται από τα προγράμματα αυτά και η εκ των υστέρων αξιολόγηση εκείνων που έχουν περατωθεί έχουν καταστεί επίσης δυσκολότερες και περιπλέκουν τη συγκέντρωση αξιολογήσεων από το επίπεδο του σχεδίου σε εκείνο του προγράμματος (βλέπε παράρτημα I και σημείο 84).

Τα συστήματα ΠΒΔ/ΔΒΔ, όπως εφαρμόζονται επί του παρόντος, δεν είναι ενδεδειγμένα μέσα για τη μέτρηση επίδοσης των ΠΠ.

32. Ορισμένοι δείκτες που αφορούν την αποδοτικότητα της εφαρμογής των προγραμμάτων (π.χ. προθεσμίες υπογραφής των συμβάσεων και προθεσμίες πληρωμής) εμφανίζονται στις ετήσιες εκθέσεις παρακολούθησης της Επιτροπής και στο πλαίσιο του συστήματος διαχείρισης βάσει δραστηριοτήτων της Επιτροπής (ΔΒΔ).

33. Εντούτοις, μέχρι σήμερα, οι «ΓΔ έρευνας», ακόμη κι όταν εφαρμόζουν το ίδιο ειδικό πρόγραμμα (ή υποπρόγραμμα), δεν εφάρμοσαν μια τυποποιημένη ή συγκρίσιμη ονοματολογία για την κατάρτιση του προϋπολογισμού βάσει δραστηριοτήτων (ΠΒΔ) ούτε και κανένα σχετικό δείκτη. Για το λόγο αυτό, οι εν λόγω δείκτες δεν μπορούν να χρησιμοποιηθούν για τη σύγκριση των επιδόσεων μεταξύ και εντός των προγραμμάτων. Πλαίσιο 2Σύστημα ΠΒΔ/ΔΒΔ, όπως εφαρμόζεται επί του παρόντος από τις «ΓΔ έρευνας»:Στο σύστημα ΠΒΔ/ΔΒΔ τα ΠΠ υπάγονται σε δύο διαφορετικούς πολιτικούς τομείς εντός των οποίων οι δραστηριότητες ΠΠ παρουσιάζονται σύμφωνα με μια διαφορετική ονοματολογία ειδική για τις ΓΔ (24). Η παρουσίαση αυτή εφαρμόζεται ακόμη και σε εκείνα τα ειδικά προγράμματα και υποπρογράμματα που εκτελούνται από πολλές ΓΔ. Οι στόχοι της ΔΒΔ καθορίστηκαν σύμφωνα με διαφορετικές υποκείμενες αρχές (25) και, όπως αναφέρθηκε από την υπηρεσία εσωτερικού ελέγχου της Επιτροπής (26), οι στόχοι αυτοί διατυπώθηκαν κυρίως με γενικούς όρους περιγράφοντας προσδοκίες ή δραστηριότητες. Γενικά, οι δείκτες ήταν προσανατολισμένοι στα εφαρμοζόμενα μέσα (π.χ. αριθμός συνεδριάσεων κ.λπ.). Ορισμένοι δείκτες αφορούσαν την αποδοτικότητα της διεργασίας (π.χ. τις προθεσμίες υπογραφής των συμβάσεων και τις προθεσμίες πληρωμής) αλλά δεν ήταν συγκρίσιμοι μεταξύ των προγραμμάτων και από τη μία ΓΔ στην άλλη λόγω των διαφορών στην ονοματολογία του ΠΒΔ, στις συγκεκριμένες υποθέσεις των ΓΔ (όπως η έναρξη και το τέλος ειδικών διοικητικών διεργασιών) και στο σχετικό πληθυσμό (π.χ. τύπος της σύμβασης επιχορήγησης, τύπος πληρωμής) που ελήφθη υπόψη για τον υπολογισμό τους.

Συστάσεις

34. Η Επιτροπή, στις μελλοντικές νομοθετικές προτάσεις της προς το Συμβούλιο και το Ευρωπαϊκό Κοινοβούλιο, θα πρέπει να καθορίσει μια σαφή παρεμβατική λογική για το ΠΠ στο σύνολό του και για τις συνιστώσες του. 35. Για το έβδομο ΠΠ η Επιτροπή θα πρέπει: — να περιγράψει με σαφήνεια τους στόχους του ΠΠ και των συστατικών ειδικών προγραμμάτων του (και υποπρογραμμάτων), καθώς και τον τρόπο με τον οποίο πρέπει να επιτευχθούν· — να αποσαφηνίσει τη σύνδεση μεταξύ των επιστημονικών και κοινωνικοοικονομικών στόχων για κάθε ειδικό πρόγραμμα (και υποπρόγραμμα)· και — να καθορίσει συναφείς επιχειρησιακούς στόχους. 36. Σχετικά με το σύστημα παρακολούθησης για το 7ο ΠΠ, η Επιτροπή θα πρέπει να καθιερώσει περιορισμένη, αλλά ισόρροπη, σειρά δεικτών επίδοσης για να μετρήσει την αποδοτικότητα και την αποτελεσματικότητα της εφαρμογής του προγράμματος για κάθε ειδικό πρόγραμμα (και υποπρόγραμμα). 37. Οι «ΓΔ έρευνας» θα πρέπει να εναρμονίσουν την ονοματολογία τους για τα συστήματα ΔΒΔ/ΠΒΔ για να καταστούν οι δείκτες επιδόσεων συγκρίσιμοι τόσο χρονικά όσο και, αν είναι δυνατόν, μεταξύ των ειδικών προγραμμάτων (και υποπρογραμμάτων).

Στρατηγική αξιολόγησης

38. Μια στρατηγική αξιολόγησης παρέχει το εννοιολογικό πλαίσιο εντός του οποίου οι δραστηριότητες αξιολόγησης σχεδιάζονται, προγραμματίζονται, εκτελούνται και χρησιμοποιούνται. Η ορθή πρακτική σε άλλους τομείς του προϋπολογισμού της ΕΕ και σε άλλους τομείς φαίνεται να δηλώνει ότι μια τέτοια στρατηγική θα πρέπει να λαμβάνει υπόψη τα κυριότερα νομικά, οργανωτικά και μεθοδολογικά θέματα που αφορούν την αξιολόγηση των προγραμμάτων. Τα θέματα αυτά περιλαμβάνουν τη φύση της αξιολόγησης που πρέπει να πραγματοποιηθεί, τον υπεύθυνο, το χρονοδιάγραμμά της, τον τρόπο συλλογής των στοιχείων, τις μεθοδολογικές προσεγγίσεις που πρέπει να χρησιμοποιηθούν και τον τρόπο κοινοποίησης και παρακολούθησης των ευρημάτων.

39. Η διάθεση μιας τέτοιας στρατηγικής και η διαβεβαίωση της εφαρμογής της αποτελούν προϋπόθεση για την ένταξη της αξιολόγησης στο οργανωτικό πνεύμα της Επιτροπής και στη διεργασία λήψης αποφάσεων. Το Συνέδριο αναγνωρίζει ωστόσο ότι λόγω των διαφόρων επιστημονικών τομέων που καλύπτουν τα ΠΠ, μια τέτοια στρατηγική θα πρέπει να παρέχει επαρκή βαθμό ελαστικότητας σε κάθε αρμόδια ΓΔ και δεν θα πρέπει να είναι υπερβολικά δεσμευτική.

40. Tο Συνέδριο διενέργησε έλεγχο σχετικά με το βαθμό στον οποίο η Επιτροπή εφάρμοσε μια τέτοια στρατηγική αξιολόγησης για τα ΠΠ.

Έλλειψη περιεκτικής στρατηγικής αξιολόγησης των ΠΠ

41. Όσον αφορά τα ΠΠ, η Επιτροπή δημοσιοποίησε αρχικά την προσέγγισή της για την αξιολόγηση κατά τη δεκαετία του '1980 (27). Η προσέγγιση αυτή επικαιροποιήθηκε το 1996, όταν η Επιτροπή ενημέρωσε το Ευρωπαϊκό Κοινοβούλιο και το Συμβούλιο για όσα θεώρησε στη συνέχεια ως συναφείς υποκείμενες αρχές για την παρακολούθηση και την αξιολόγηση και καθόρισε την επιδιωκόμενη προσέγγισή της ύστερα από την έγκριση του τέταρτου ΠΠ (28). Τούτο δεν αποτέλεσε ωστόσο μια περιεκτική στρατηγική αξιολόγησης, όπως αναφέρθηκε παραπάνω (βλέπε σημεία 38 και 39). Επιπλέον από το 1996 έως το 2006, η Επιτροπή δεν επανεξέτασε κατά βάσιν την προσέγγισή της για την αξιολόγηση του 5ου και 6 ου ΠΠ, παρά το γεγονός ότι αυτά τροποποιήθηκαν τόσο σε εμβέλεια όσο και σε προσανατολισμό (βλέπε σημείο 7). Ιδιαίτερα, οι «ΓΔ έρευνας» δεν συμφώνησαν για μια συνεπή προσέγγιση σχετικά με την αξιολόγηση των ΠΠ και των συστατικών προγραμμάτων τους πέρα από τις νομοθετικές διατάξεις που εγκρίθηκαν το 1999 (για το πέμπτο ΠΠ), το 2002 (για το έκτο ΠΠ) και το 2006 (για το έβδομο ΠΠ) (29).

42. Για την τρέχουσα περίοδο προγραμματισμού, η έλλειψη μιας τέτοιας στρατηγικής προσέγγισης για την αξιολόγηση στον τομέα αυτό αποτελεί ιδιαίτερο πρόβλημα λαμβανομένης υπόψη της κοινής εφαρμογής του έβδομου ΠΠ από αρκετές ΓΔ, από το ΕΣΕ και τους εκτελεστικούς οργανισμούς, καθώς και της υποχρεωτικής εναλλαγής του προσωπικού σε ευαίσθητες θέσεις που επιβάλλει ο δημοσιονομικός κανονισμός. Βρίσκεται επίσης σε αντίθεση με τη σημερινή πρακτική στους τομείς: εξωτερικής βοήθειας, (που είναι ο δεύτερος μεγαλύτερος τομέας άμεσης διαχείρισης από την Επιτροπή). Στον τομέα αυτό οι αρμόδιες ΓΔ από το 2002 και μετά συμφώνησαν για κοινές πολυετείς στρατηγικές αξιολόγησης διαρθρωμένες ανάλογα με τις περιόδους προγραμματισμού (βλέπε σημείο 52).

43. Αυτή η έλλειψη σαφώς διαμορφωμένης στρατηγικής αξιολόγησης βρίσκεται επίσης σε αντίθεση σε μεγάλο βαθμό με την κατάσταση στις Ηνωμένες Πολιτείες και στον Καναδά, όπου η διαρμόρφωση μιας στρατηγικής απαιτείται από το κανονιστικό πλαίσιο (βλέπε παράρτημα III).

44. Όπως καταδεικνύεται παρακάτω, υπάρχουν σημαντικές διαφορές στην έκταση και την ένταση της αξιολόγησης στο σύνολο των ΠΠ. Υπήρχαν επίσης και άλλες αδυναμίες, όπως προβλήματα συντονισμού, διαφορές μεθοδολογικών προσεγγίσεων, προβλήματα χρονοδιαγράμματος και αδυναμίες σχετικά με την κοινοποίηση και την παρακολούθηση των διαπιστώσεων που προκύπτουν από την αξιολόγηση, αδυναμίες οι οποίες θα εξετασθούν παρακάτω σε άλλα τμήματα της παρούσας έκθεσης. Οι αδυναμίες αυτές αντικατοπτρίζουν την έλλειψη μιας περιεκτικής στρατηγικής αξιολόγησης για τα ΠΠ.

Διαφορές σχετικά με την έκταση και την ένταση των αξιολογήσεων στο σύνολο των ΠΠ

45. Τα ΠΠ αποτελούνται από ορισμένα ειδικά προγράμματα (και υποπρογράμματα) που μπορεί να διαφέρουν σημαντικά όσον αφορά το στόχο τους, την υποκείμενη δυναμική και τις πιστώσεις του προϋπολογισμού (για το έβδομο ΠΠ βλέπε παράρτημα IV). Η συνεκτίμηση των ειδικών διατάξεων των διαφόρων αποφάσεων για τα ΠΠ και του δημοσιονομικού κανονισμού (30) (ο οποίος απαιτεί την αξιολόγηση προγραμμάτων και δραστηριοτήτων που συνεπάγονται σημαντικές δαπάνες) σημαίνει ότι μετά από το τέταρτο ΠΠ ισχύει μια νομική υποχρέωση για την αξιολόγηση τόσο των ΠΠ στο σύνολό τους όσο και των περισσοτέρων συστατικών ειδικών προγραμμάτων τους.

46. Η Επιτροπή δεν καθόρισε έναν κανόνα σχετικά με τη στιγμή κατά την οποία τα ειδικά προγράμματα ή υποπρογράμματα του ΠΠ πρέπει να αξιολογούνται ούτε ένα κοινό κατώτατο όριο πάνω από το οποίο θα ήταν υποχρεωτική η αξιολόγηση αυτή. Οι ελλείψεις αυτές οδήγησαν σε ανακόλουθες ερμηνείες σχετικά με το αντικείμενο και το επίπεδο λεπτομερειών των αξιολογήσεων: — η ΓΔ Κοινωνίας της Πληροφορίας θεώρησε ότι το πρόγραμμα IST είναι ένα από τα σημαντικότερα προγράμματα δαπανών από μόνο του και διοργάνωσε μια πλήρη πενταετή αξιολόγηση το 2004 παράλληλα με εκείνη που πραγματοποιήθηκε για το ΠΠ στο σύνολό του· — η ΓΔ Έρευνας δεν διοργάνωσε συστηματικά μια τέτοια αξιολόγηση σε επίπεδο ειδικού προγράμματος, παρά τους προϋπολογισμούς αρκετών προγραμμάτων που υπάγονται στην αρμοδιότητά της και έχουν συγκρίσιμο μέγεθος.

47. Κατά συνέπεια, για την πενταετή αξιολόγηση του 2004 δεν αξιολογήθηκαν καθόλου σημαντικές πτυχές των προγραμμάτων του 4ου ΠΠ και του 5ου ΠΠ (που αντιστοιχούν στο 30 % των συνολικών πιστώσεων του προϋπολογισμού για το 4ο ΠΠ και στο 50 % για το 5ο ΠΠ). Τούτο σημαίνει ότι η Επιτροπή δεν τήρησε τις διατάξεις σχετικά με την αξιολόγηση που προβλέπονται στο άρθρο 27 του δημοσιονομικού κανονισμού.

48. Οι διαφορετικές αυτές ερμηνείες των ελάχιστων νομικών απαιτήσεων σχετικά με την αξιολόγηση, καθώς και η επιμέρους αξιολόγηση των ΠΠ που προέκυψε στο παρελθόν, καταδεικνύουν την έλλειψη συντονισμού και είναι το αποτέλεσμα μιας ελλιπούς στρατηγικής προσέγγισης από την Επιτροπή για την αξιολόγηση των ΠΠ.

Συστάσεις

49. Οι «ΓΔ έρευνας» θα πρέπει να διαμορφώσουν και να συμφωνήσουν επειγόντως για μια κοινή στρατηγική αξιολόγησης για τα ΠΠ. Χωρίς να είναι υπερβολικά δεσμευτική, η στρατηγική αυτή θα πρέπει να συνεπάγεται μια συνεπή προσέγγιση όσον αφορά την αξιολόγηση των ΠΠ και των συστατικών τους προγραμμάτων. Μια τέτοια στρατηγική θα πρέπει επίσης να παρέχει κατευθυντήριες γραμμές όσον αφορά το ελάχιστο επίπεδο στο οποίο η λεπτομερής αξιολόγηση καθίσταται υποχρεωτική, προκειμένου να λαμβάνονται υπόψη οι ιδιαιτερότητες του κάθε επιστημονικού τομέα.

Οργάνωση της αξιολόγησης για τα ΠΠ

50. Η αξιολόγηση των ΠΠ πρέπει να στηρίζεται σε ενδεδειγμένες οργανωτικές ρυθμίσεις, οι οποίες θα πρέπει να ακολουθούν το στρατηγικό προσανατολισμό της Επιτροπής για την αξιολόγηση των ΠΠ. Το Συνέδριο έλεγξε το μέγεθος στο οποίο η οργανωτική δομή εξασφάλιζε ότι το σύστημα αξιολόγησης ήταν σωστά συντονισμένο, διέθετε επαρκείς πόρους και επίσης θεωρείτο από τα ενδιαφερόμενα μέρη ότι ήταν αρκετά ανεξάρτητο.

Επιτροπή

Τα ΠΠ εφαρμόζονται από κοινού από αρκετές ΓΔ, ενώ η αξιολόγησή τους είναι αποκεντρωμένη

51. Εντός της Επιτροπής η αρμοδιότητα για την αξιολόγηση των προγραμμάτων δαπανών υπάγεται στις διάφορες ΓΔ (βλέπε σημείο 8) και σε κάθε ΓΔ έχουν συγκροτηθεί μονάδες αξιολόγησης, οι οποίες είναι επιφορτισμένες με το σχεδιασμό, τον συντονισμό και την εκτέλεση αξιολογήσεων.

52. Η απουσία ενός ειδικού συντονιστικού οργάνου ή μιας ενιαίας μονάδας για την αξιολόγηση των ΠΠ στο σύνολό τους, όπως ένα κοινό γραφείο αξιολόγησης για τις «ΓΔ έρευνας», έρχεται σε αντίθεση με άλλους πολιτικούς τομείς. Στον τομέα της εξωτερικής βοήθειας, συστάθηκε μια κοινή μονάδα αξιολόγησης για τρεις ΓΔ (Ανάπτυξης, Εξωτερικών σχέσεων και EuropeAid) προκειμένου να αναλάβουν την αξιολόγηση των αναπτυξιακών προγραμμάτων της Επιτροπής σε τρίτες χώρες (βλέπε σημείο 42).

53. Η ΓΔ Έρευνας, μέσω του εσωτερικού δικτύου αξιολόγησης Ε&ΤΑ της Επιτροπής, εξασφαλίζει μια ανταλλαγή γνώσεων μεταξύ των μονάδων αξιολόγησης των διαφόρων ΓΔ, αλλά δεν διαθέτει την εξουσία ώστε να καθορίσει τις ελάχιστες απαιτήσεις αξιολόγησης. Ο μηχανισμός αυτός αποδείχθηκε ωστόσο ανεπαρκής για να εξασφαλιστεί ένας κατάλληλος συντονισμός αξιολόγησης των ΠΠ της Επιτροπής.

54. Η Επιτροπή αναθεώρησε τη γενική προσέγγισή της στον τομέα της αξιολόγησης το 2000 και το 2002, καθώς και εκ νέου το 2007 (βλέπε σημείο 14). Μολονότι δεν παρατηρήθηκε καμία σημαντική βελτίωση στον τρόπο με τον οποίο προγραμματίστηκαν, σχεδιάστηκαν και εφαρμόστηκαν οι αξιολογήσεις των ΠΠ και των συστατικών προγραμμάτων τους, οι «ΓΔ έρευνας» γενικά συμφώνησαν με τις τυπικές απαιτήσεις στο σύνολο της Επιτροπής.

Κεντρικές υπηρεσίες της Επιτροπής: καθορισμός προτύπων χωρίς όμως να ασκούν ρόλο για τον έλεγχο εφαρμογής τους

55. Οι κεντρικές υπηρεσίες της Επιτροπής (ιδιαίτερα η ΓΔ Προϋπολογισμού και η Γενική Γραμματεία) παρέχουν μεθοδολογική καθοδήγηση, καθορίζουν κοινά πρότυπα για το σύνολο της Επιτροπής και παρακολουθούν τον τρόπο με τον οποίο οι ΓΔ και οι υπηρεσίες εφαρμόζουν τα πρότυπα (βλέπε σημεία 14 και 70). Δεν είναι σε θέση να επιβάλουν τον τρόπο με τον οποίο οι αξιολογήσεις πρέπει να πραγματοποιούνται στην πράξη.

56. Η εμπειρία στις ΗΠΑ και στον Καναδά δείχνει ότι ο έλεγχος της τήρησης των προτύπων από τους οργανισμούς που είναι επιφορτισμένοι με τον καθορισμό τους συμβάλλει ενεργά στις χώρες αυτές στην εξασφάλιση της αποτελεσματικής λειτουργίας του συστήματος αξιολόγησης. Και στις δύο χώρες, τα ομοσπονδιακά υπουργεία καθορίζουν και επιβάλλουν το πλαίσιο εντός του οποίου κρίνεται τελικά η επιτυχία ενός προγράμματος (βλέπε παράρτημα III). Ενώ το πλαίσιο είναι διαφορετικό, τα συστήματά τους βασίζονται ωστόσο στην ίδια σχετική αρχή δυνάμει της οποίας ένας φορέας διαφορετικός από εκείνον που εφαρμόζει το πρόγραμμα θα πρέπει να αξιολογεί ορισμένες πτυχές του σχεδιασμού του συστήματος αξιολόγησης και να αξιολογεί λεπτομερώς την αποτελεσματικότητά του. Μια ανάλογη κατάσταση μπορεί να παρατηρηθεί σε ορισμένα κράτη μέλη [π.χ. Γαλλία (31), Ισπανία (32), Γερμανία (33)], όπου εξωτερικά όργανα εποπτεύουν τις αξιολογήσεις που πραγματοποιούνται από χρηματοδοτικούς οργανισμούς ή πραγματοποιούν τα ίδια τις αξιολογήσεις αυτές.

Ομάδες εμπειρογνωμόνων

Ομάδες εξωτερικών εμπειρογνωμόνων: υποχρεωτικές μετά από το 4ο ΠΠ βάσει της κανονιστικής ρύθμισης σχετικά με τα ΠΠ

57. Μετά από το 4ο ΠΠ όλες οι σημαντικές διαδικασίες αξιολόγησης (και ετήσιας παρακολούθησης) των ΠΠ έπρεπε να πραγματοποιηθούν από ομάδες, ή με τη βοήθεια ομάδων εξωτερικών εμπειρογνωμόνων (βλέπε παράρτημα II). Παρά τις δυσκολίες εξεύρεσης ικανών εμπειρογνωμόνων, οι ομάδες αυτές έχουν τη δυνατότητα να παρέχουν διαφάνεια, να προσφέρουν ένα βαθμό ανεξαρτησίας, να διευκολύνουν τη συμμετοχή των ενδιαφερομένων φορέων και να αξιοποιούν τις γνώσεις που έχουν αντληθεί από τα προγράμματα-πλαίσια, την αξιολόγηση και τις σχετικές επιστημονικές εργασίες.

58. Η αντίληψη αυτή επιβεβαιώθηκε από τις έρευνες του Συνεδρίου οι οποίες ανέφεραν ότι οι ερωτώμενοι θεώρησαν ότι το σύστημα αξιολόγησης της Επιτροπής που βασιζόταν στις ομάδες εμπειρογνωμόνων παρείχε εγγύηση ανεξαρτησίας (βλέπε παράσταση 4).

Αδυναμίες της προσέγγισης που στηρίζεται στις ομάδες εμπειρογνωμόνων, όπως εφαρμόστηκε από την Επιτροπή

59. Παρά τη θετική αυτή αντίληψη, όπως δήλωσαν τα μέλη και τα ενδιαφερόμενα μέρη στο Συνέδριο κατά τη διάρκεια του ελέγχου, η χρησιμοποίηση εμπειρογνωμόνων από την Επιτροπή για την αξιολόγηση των ΠΠ χαρακτηρίστηκε από τις ακόλουθες αδυναμίες: — οι ομάδες αξιολόγησης συστήνονται συνήθως σε λιγότερο από ένα χρόνο από την προβλεπόμενη ημερομηνία για την υποβολή της έκθεσής τους και οι συνεδριάσεις τους είναι περιορισμένες. Κατά συνέπεια, είναι δύσκολο για τα μέλη της ομάδας να επηρεάζουν τον καθορισμό των δεδομένων και των αναλύσεων που απαιτούνται για τις εργασίες τους. Επιπλέον, επειδή οι ομάδες είναι «ad hoc» και προσωρινές, οι γνώσεις για τα προγράμματα δεν μπορούν εύκολα να συσσωρευτούν και δεν μπορεί να πραγματοποιηθεί χρονικά παρακολούθηση των σημαντικών θεμάτων. Η αδυναμία αυτή έχει ιδιαίτερη σημασία όταν σχεδιάζονται σημαντικές διαδικασίες αξιολόγησης καθόλη τη διάρκεια της περιόδου προγραμματισμού (όπως είναι η περίπτωση για το 7ο ΠΠ) (βλέπε παράρτημα II). Η κατάσταση αυτή βρίσκεται επίσης σε αντίθεση με την πρακτική της Επιτροπής σχετικά με τις συμβουλευτικές ομάδες εμπειρογνωμόνων για τα ΠΠ, οι οποίες είναι μόνιμοι οργανισμοί (34). Επίσης, στον Καναδά (35) οι ομάδες αξιολόγησης είναι μόνιμες για να εγγυώνται μια συνεπή και συνεκτική προσέγγιση (βλέπε παράρτημα III)· — κατά τον καθορισμό των όρων εντολής για τις ομάδες των εμπειρογνωμόνων και των θεμάτων αξιολόγησης, η Επιτροπή δεν διαβουλεύεται με τους εξωτερικούς ενδιαφερόμενους φορείς, όπως βιομηχάνους και σημαντικούς ερευνητικούς οργανισμούς που συμμετέχουν στα ΠΠ. Η ομάδα παρακολούθησης του 2004 παρατήρησε επίσης το πρόβλημα αυτό και σημείωσε ότι οι πιθανοί χρήστες θα πρέπει να συμμετέχουν στη διαδικασία κατά τα αρχικά στάδια (36) και — οι ομάδες εμπειρογνωμόνων λειτουργούν κατά τρόπο διαφορετικό από εκείνον που ακολουθείται κατά τις «εξετάσεις από ομότιμους». Τα μέλη τους δεν διαθέτουν το χρόνο να πραγματοποιήσουν από μόνα τους τις αξιολογήσεις· παρέχουν συνήθως συμβουλές βάσει δεδομένων και αποδεικτικών στοιχείων που τίθενται στη διάθεσή τους από άλλες πηγές. Ως αποτέλεσμα των χρονικών περιορισμών, οι ομάδες εμπειρογνωμόνων είχαν μόνο περιορισμένες ευκαιρίες να αναθέτουν συμπληρωματικές μελέτες που ήταν αναγκαίες για την αντιμετώπιση των θεμάτων τα οποία καθορίζονταν στους όρους εντολής τους. Στην πράξη, εκτός από ορισμένες εξαιρέσεις, οι ομάδες που ήταν επιφορτισμένες με την πενταετή αξιολόγηση διέθεταν πληροφορίες μόνο όσες παρέχονταν από την Επιτροπή.

Πόροι

Κανένας πόρος δεν διατίθεται ειδικά για την αξιολόγηση των ΠΠ

60. Η χρηματοδότηση για την αξιολόγηση παρέχεται σε ετήσια βάση σύμφωνα με τις ανάγκες που καθορίζονται από τις ΓΔ που εφαρμόζουν τα ΠΠ. Η χρηματοδότηση αυτή προέρχεται επί του παρόντος από συνδυασμό πόρων για το σύνολο της Επιτροπής από τη ΓΔ Προϋπολογισμού και πόρων από το τμήμα λειτουργίας του προϋπολογισμού των αντιστοίχων ΓΔ. Επιπλέον, ειδικά μέτρα χρηματοδοτούνται ως έμμεσες δράσεις από τον επιχειρησιακό προϋπολογισμό των ΠΠ. Τούτο σημαίνει ότι δεν υπάρχει κανένα ποσό το οποίο να διατίθεται ειδικά για την αξιολόγηση.

61. Το 2006 ο μέσος όρος υπαλλήλων στο σύνολο της Επιτροπής που εργαζόταν στον τομέα της αξιολόγησης και της διαχείρισης βάσει δραστηριοτήτων εκτιμήθηκε στο 1 % περίπου του συνολικού προσωπικού (37). Τα αντίστοιχα αριθμητικά στοιχεία για τις δραστηριότητες παρακολούθησης και αξιολόγησης των προγραμμάτων-πλαισίων Ε&ΤΑ στη ΓΔ Έρευνας και ΓΔ Κοινωνίας της Πληροφορίας ήταν 1,2 % και 1,3 % αντίστοιχα. Στην περίπτωση της ΓΔ Έρευνας περισσότερο από τα δύο τρίτα του ανθρώπινου αυτού δυναμικού διατέθηκαν στα τμήματα επιχειρησιακών προγραμμάτων παρά στη μονάδα αξιολόγησης, η δε αξιολόγηση αποτελούσε ένα από τα πολλά καθήκοντα που τους ανατέθηκαν.

Η χρηματοδότηση της αξιολόγησης των ΠΠ είναι χαμηλότερη από εκείνη που συνιστάται από την Επιτροπή.

62. Οι πόροι που διατίθενται για την αξιολόγηση μπορούν να εκφραστούν επίσης ως ποσοστό των συνολικών πιστώσεων του προϋπολογισμού που διατίθενται στο πρόγραμμα. Στα αριθμητικά στοιχεία που ελήφθησαν κατά τη διάρκεια του ελέγχου δηλώνεται ότι η πρακτική για τα ερευνητικά προγράμματα εντός των κρατών μελών της ΕΕ κυμαίνεται μεταξύ 0,1 % και 2 %. Οι κατευθυντήριες γραμμές της Επιτροπής προτείνουν να διατίθεται για την αξιολόγηση το 0,5 % του προϋπολογισμού ενός προγράμματος (38). Εντούτοις, για μεγαλύτερα προγράμματα ένα μικρότερο ποσό του προϋπολογισμού τους θα μπορούσε να είναι αρκετό χάρη στην οικονομία κλίμακος.

63. Μία σύγκριση μεταξύ των αριθμητικών στοιχείων της Επιτροπής για τις δαπάνες αξιολόγησης κατά την περίοδο 2003-2006 και των πιστώσεων προϋπολογισμού για την κάθε Γενική Διεύθυνση δείχνει ότι ο γενικός μέσος όρος ανέρχεται περίπου στο 0,15 %, πράγμα το οποίο είναι σημαντικά κατώτερο από το επίπεδο που προτείνει η Επιτροπή. Μια διεξοδικότερη ανάλυση για το οικονομικό έτος 2006 αποκαλύπτει ότι η ΓΔ Κοινωνίας της Πληροφορίας δαπάνησε κατά προσέγγιση τέσσερις φορές περισσότερο από τη ΓΔ Έρευνας για την αξιολόγηση σε σύγκριση με τις πιστώσεις που διαθέτουν στο πλαίσιο των αντίστοιχων αρμοδιοτήτων τους. Επιπλέον, στη ΓΔ Έρευνας, μόνο το 0,7 % ενός υπαλλήλου πλήρους απασχόλησης διατίθεται για αξιολόγηση ανά εκατομμύριο ευρώ του ετήσιου προϋπολογισμού. Συγκριτικά, η ΓΔ Κοινωνίας της Πληροφορίας διαθέτει το διπλάσιο του εν λόγω ποσού.

64. Όπως καταδεικνύεται στην παρούσα έκθεση, οι πρόσθετες προσπάθειες της ΓΔ Κοινωνίας της Πληροφορίας οδήγησαν σε μια πληρέστερη αξιολόγηση (βλέπε σημεία 13 και 46) και, όπως φαίνεται από το δείγμα των μελετών αξιολόγησης που εξέτασε το Συνέδριο, στη χρησιμοποίηση μεθοδολογιών καλύτερα προσαρμοσμένων στις ανάγκες αξιολόγησης (βλέπε σημείο 84).

65. Μια εκτίμηση του κόστους που πραγματοποίησε το Συνέδριο βάσει στοιχείων που παρασχέθηκαν από την Επιτροπή, φαίνεται ότι ένα σύστημα αξιολόγησης στηριζόμενο στις προτάσεις που διατυπώθηκαν στην παρούσα έκθεση αντιπροσωπεύει κατά μέσο όρο λιγότερο από το 0,4 % των πιστώσεων του προϋπολογισμού του 7ου ΠΠ. Η χρηματοδότηση αυτή θα κάλυπτε τα έξοδα των ομάδων εργασίας και των μελετών που ανατέθηκαν υπεργολαβικά, τις δαπάνες σχετικά με το προσωπικό του κοινού γραφείου αξιολόγησης και με τις σημερινές μονάδες ειδικής αξιολόγησης στη ΓΔ, καθώς και με διάφορα άλλα έξοδα (39).

Συστάσεις

66. Οι «ΓΔ έρευνας» θα πρέπει να προβλέψουν την ίδρυση ενός κοινού γραφείου αξιολόγησης εκτός από τις μονάδες αξιολόγησης που υπάρχουν σε κάθε ΓΔ. Σύμφωνα με τις πρακτικές που ισχύουν επί του παρόντος σε άλλους πολιτικούς τομείς, το γραφείο αυτό θα μπορούσε να συντονίζει τις δραστηριότητες αξιολόγησης της Επιτροπής για το σύνολο του ΠΠ. Γι' αυτά τα κοινά καθήκοντα στήριξης είχαν διατυπωθεί συστάσεις στο παρελθόν για τις ΓΔ που ήταν επιφορτισμένες με την εφαρμογή των ΠΠ (40). Τα καθήκοντα αυτά μπορούν να καταστούν ακόμη σημαντικότερα στο μέλλον με την ίδρυση του Ευρωπαϊκού Συμβουλίου Έρευνας και την ανάθεση της εφαρμογής των προγραμμάτων σε εκτελεστικούς οργανισμούς. 67. Οι ομάδες αξιολόγησης θα πρέπει να εξακολουθήσουν να χρησιμοποιούνται από την Επιτροπή με σκοπό να την επικουρούν στις δραστηριότητες αξιολόγησής της. Εντούτοις, η Επιτροπή θα πρέπει να εξετάσει τον τρόπο ευθυγράμμισης της διάρθρωσης της ομάδας με τη γενική διάρθρωση του προγράμματος ΠΠ. Τούτο θα μπορούσε να επιτευχθεί με τη σύσταση ομάδων για τα ειδικά προγράμματα και, ενδεχομένως, για τα υποπρογράμματα (βλέπε παράρτημα IV). Επιπλέον, οι εν λόγω ομάδες θα πρέπει να συγκροτούνται αρκετά νωρίς για να μπορούν να παράσχουν αποτελεσματική στήριξη στην Επιτροπή και να εξακολουθήσουν την προσπάθεια αυτή καθόλη τη διάρκεια του προγραμματισμού και πέρα αυτής. 68. Η Επιτροπή θα πρέπει να επανεξετάσει τους πόρους που πρέπει να χρησιμοποιούνται για την αξιολόγηση των ΠΠ και των συστατικών προγραμμάτων τους.

Μεθοδολογίες και τεχνικές αξιολόγησης

69. Για μια αποτελεσματική αξιολόγηση απαιτείται η χρησιμοποίηση ενδεδειγμένων μεθοδολογιών και τεχνικών. Το Συνέδριο έλεγξε κατά πόσο υπήρχαν ειδικές κατευθυντήριες γραμμές για την αξιολόγηση των ΠΠ, κατά πόσο είχαν αναλυθεί σωστά και έγκαιρα οι ανάγκες πληροφόρησης και κατά πόσο είχαν τεθεί στη διάθεση των αξιολογητών συναφή στοιχεία. Λαμβανομένων υπόψη των μελετών αξιολόγησης που πραγματοποιήθηκαν από την Επιτροπή ή για λογαριασμό της ίδιας, το Συνέδριο εξέτασε κατά πόσο οι τεχνικές που χρησιμοποιήθηκαν για τις διάφορες μελέτες παρείχαν επαρκή βάση για την αντιμετώπιση των θεμάτων αξιολόγησης που καθορίστηκαν για τις πενταετείς αξιολογήσεις. Το Συνέδριο έλαβε επίσης υπόψη την πιθανή συμβολή των εθνικών αξιολογήσεων στην αξιολόγηση των ΠΠ.

Θέσπιση προτύπων και κατευθυντηρίων γραμμών ειδικά για τα ΠΠ

70. Η ΓΔ Προϋπολογισμού δημοσίευσε αρκετές ανακοινώσεις προκειμένου να παρουσιάσει την πολιτική της για την αξιολόγηση και να ορίσει κανόνες για την εφαρμογή της, καθόρισε δε μια σειρά προτύπων για όλη την Επιτροπή (βλέπε σημεία 14 και 55) (41). Για άλλους πολιτικούς τομείς οι αρμόδιες ΓΔ έχουν επίσης εκπονήσει ειδικούς οδηγούς αξιολόγησης (42).

71. Οι διατάξεις αυτές δεν αφορούν ωστόσο τα ΠΠ. Η Επιτροπή δημοσίευσε (ή χρηματοδότησε) πολλούς οδηγούς και μεθοδολογικά εργαλεία για τις δραστηριότητες αξιολόγησης στον τομέα της έρευνας (43). Εντούτοις, τα έγγραφα αυτά δεν παρέχουν ειδικό προσανατολισμό για τον τρόπο αξιολόγησης των ΠΠ και δεν αναφέρουν πώς οι βασικές έννοιες ή η ορολογία πρέπει να χρησιμοποιούνται από τους υπαλλήλους της Επιτροπής ή από τους εξωτερικούς εμπειρογνώμονες. Οι αδυναμίες αυτές είχαν ως αποτέλεσμα τα προβλήματα που εξετάζονται παρακάτω.

Ανάγκες και συλλογή δεδομένων

Ελλιπής ανάλυση των αναγκών πληροφόρησης

72. Οι «ΓΔ έρευνας» δεν έδωσαν αρκετή προσοχή στον καθορισμό στοιχείων που ήταν αναγκαία για την αξιολόγηση και την παρακολούθηση. Αντί να πραγματοποιηθεί μια συστηματική και περιεκτική ανάλυση των αναγκών πληροφόρησης, η Επιτροπή καθόρισε καθυστερημένα τις απαιτήσεις δεδομένων κατά την περίοδο προγραμματισμού και χωρίς τη δέουσα προσοχή στις συνολικές ανάγκες αξιολόγησης. Το κοινωνικοοικονομικό ερωτηματολόγιο του 6ου ΠΠ ήταν η μόνη κοινή προσπάθεια μεταξύ των ΓΔ να συμφωνήσουν για τα εν λόγω στοιχεία (βλέπε σημείο 76). Το ερωτηματολόγιο όμως αυτό οριστικοποιήθηκε το 2004 (τρία χρόνια μετά την έναρξη της περιόδου προγραμματισμού) και κάλυπτε κυρίως πτυχές, όπως τη συμμετοχή των ερευνητών και των δύο φύλων και την επίπτωση στο περιβάλλον μάλλον παρά τις επιστημονικές υλοποιήσεις (όπως θέματα πνευματικής ιδιοκτησίας, δημοσιεύσεις, κ.λπ.), τα επακόλουθα ή τον αντίκτυπο.

73. Η αξιολόγηση των προγραμμάτων βασίζεται κυρίως στη διαθεσιμότητα τριών ειδών στοιχείων: — στοιχεία που έχουν συλλεγεί σύμφωνα με δείκτες αποτελεσματικότητας, των οποίων η ανάλυση παρέχει πληροφορίες για την κατάσταση προόδου προς την επίτευξη των στόχων του προγράμματος. Η προαναφερθείσα έλλειψη παρεμβατικής λογικής σημαίνει ότι ήταν δύσκολο να καθοριστούν τέτοιοι δείκτες (βλέπε σημείο 30). Στην πράξη, τα στοιχεία που είχαν συλλεγεί παρουσίαζαν περιορισμένο ενδιαφέρον για την εκτίμηση της επίτευξης των στόχων του προγράμματος· — στοιχεία για τη διαχείριση του προγράμματος (σύμφωνα με τους δείκτες αποδοτικότητας)· και — στοιχεία σχετικά με τους συμμετέχοντες (όπως τα ποσοστά συμμετοχής σημαντικών ερευνητικών οργανισμών).

74. Οι δύο τελευταίοι τύποι στοιχείων θα έπρεπε να είναι ιδιαίτερα διαθέσιμοι στην Επιτροπή. Εντούτοις, λόγω προβλημάτων σχετικά με τα εσωτερικά συστήματα πληροφορικής της Επιτροπής, τα οποία είναι η κυριότερη πηγή πληροφόρησης για τη διαχείριση των προγραμμάτων και για τους συμμετέχοντες (44), αντιμετωπίστηκαν στην πράξη σημαντικά προβλήματα από την πλευρά αυτή (45).

75. Οι δυσκολίες αυτές καταδεικνύονται από τις σημαντικές καθυστερήσεις στην υποβολή των εκθέσεων σύμφωνα με το άρθρο 173 και των ετήσιων εκθέσεων παρακολούθησης (μέχρι 16 μήνες καθυστέρησης για τις εκθέσεις κατά το άρθρο 173 (46) και μέχρι 7 μήνες καθυστέρησης για τις ετήσιες εκθέσεις παρακολούθησης κατά την περίοδο 2002 έως 2005). Δεδομένου ότι οι πληροφορίες αυτές είχαν συνήθως καθυστέρηση, η χρησιμότητά τους ήταν περιορισμένη.

Αναποτελεσματική προσέγγιση σχετικά με την εξαγωγή στοιχείων αξιολόγησης από τους συμμετέχοντες

76. Μετά από το 5ο ΠΠ η Επιτροπή απαιτούσε συστηματικά από τους συμμετέχοντες, μέσω σύμβασης, να παρέχουν στοιχεία τα οποία ήταν αναγκαία για τη μέτρηση της επίτευξης των στόχων προγράμματος ως προς τις υλοποιήσεις, τα επακόλουθα και τον αντίκτυπο, ως εξής: — στο πλαίσιο του 5ου ΠΠ, οι συμμετέχοντες ήταν υποχρεωμένοι να υποβάλουν ένα «Σχέδιο τεχνολογικής εφαρμογής» μαζί με μία οριστική έκθεση μετά την ολοκλήρωση του σχεδίου. Τα έγγραφα αυτά συχνά ήταν ανεπαρκούς ποιότητας ή δεν είχαν καθόλου υποβληθεί· — στο πλαίσιο του 6ου ΠΠ, οι συμμετέχοντες υποχρεούνται να υποβάλουν ένα «Σχέδιο για τη διάδοση και τη χρησιμοποίηση γνώσεων» και πρέπει να απαντήσουν, κατά την υποβολή των ετήσιων τεχνικών εκθέσεών τους, σε ένα τυποποιημένο ερωτηματολόγιο σχετικά με κοινωνικοοικονομικά θέματα.

77. Αυτές οι συμβατικές υποχρεώσεις κοινοποίησης στοιχείων επέβαλαν περιττό διοικητικό φόρτο στους συμμετέχοντες. Παραδείγματος χάρη, όσον αφορά το ετήσιο ερωτηματολόγιο του 6ου ΠΠ τα στοιχεία συλλέγονταν πολύ πιο συχνά απ' ό,τι χρειαζόταν και από το σύνολο των σχεδίων, ενώ ένα αντιπροσωπευτικό δείγμα θα ήταν αρκετό. Η κατάσταση αυτή πιθανόν να οδηγήσει σε μια ορισμένη «κόπωση λόγω της αξιολόγησης». Επιπλέον, τα στοιχεία αυτά συλλέχθηκαν σε λανθασμένη χρονική στιγμή· πολλά από τα υποκείμενα θέματα για τα οποία συλλέχθηκαν τα στοιχεία είχαν μεσοπρόθεσμο ή μακροπρόθεσμο χαρακτήρα, με αποτέλεσμα η συλλογή των στοιχείων κατά τη συμβατική διάρκεια του σχεδίου να είναι εξ ορισμού πρόωρη (47). Για το λόγο αυτό, στην πράξη, έγινε περιορισμένη μόνο χρήση των πληροφοριών που παρασχέθηκαν με τα εργαλεία αυτά για τις αξιολογήσεις του 5ου και 6ου ΠΠ.

78. Εντούτοις, κανένα από τα ισχύοντα συστήματα δεν προβλέπει να συλλέγονται πληροφορίες κατά τυποποιημένο τρόπο στο τέλος (ή αμέσως μετά) της διάρκειας ενός σχεδίου. Οι ερωτηθέντες ενδιαφερόμενοι φορείς πρότειναν ότι οι πληροφορίες αυτές θα μπορούσαν να περιλαμβάνουν την επίτευξη των στόχων σχεδίου, τα αναμενόμενα (και μη αναμενόμενα) αποτελέσματα και την αντίληψη που έχουν οι συμμετέχοντες για την κοινοτική προστιθέμενη αξία. Τέτοιες πληροφορίες θα μπορούσαν επίσης να αποτελούν τη βάση για την εξωτερική εξέταση των ολοκληρωθέντων σχεδίων (48).

79. Επιπλέον, οι πληροφορίες αυτές θα μπορούσαν να δώσουν τη δυνατότητα να εντατικοποιηθεί η χρήση επιστημομετρικών μεθόδων (όπως η ανάλυση παραπομπών) για την αξιολόγηση των αποτελεσμάτων των σχεδίων (βλέπε σημείο 83) και να παράσχουν μια βάση στην Επιτροπή για τη μετάβαση σε ένα σύστημα χρηματοδότησης βασισμένο περισσότερο στα αποτελέσματα για τις δραστηριότητες Ε&ΤΑ που συγχρηματοδοτούνται από την Κοινότητα (49).

Άλλες πηγές δεδομένων που δεν χρησιμοποιούνται επαρκώς

80. Στην Επιτροπή και στα κράτη μέλη υπάρχουν και άλλες πηγές δεδομένων οι οποίες δεν χρησιμοποιούνται επαρκώς (π.χ. οι βάσεις δεδομένων των εθνικών προγραμμάτων Ε&ΤΑ και των χρηματοδοτικών οργανισμών, καθώς και η «Υπηρεσία παροχής πληροφοριών στον τομέα της κοινοτικής έρευνας και ανάπτυξης» (CORDIS) που λειτουργεί από το Γραφείο Εκδόσεων της Επιτροπής (50)).

Μελέτες αξιολόγησης πραγματοποιηθείσες από την Επιτροπή

Εκθέσεις που εξέτασε το Συνέδριο

81. Από το 2000 και μετά το Συνέδριο εξέτασε 86 μελέτες αξιολόγησης που πραγματοποιήθηκαν από την Επιτροπή, ή για λογαριασμό της ίδιας. Οι μελέτες αυτές περιλάμβαναν το σύνολο των 36 μελετών που αποτελούσαν τη βάση της πενταετούς αξιολόγησης η οποία δημοσιεύθηκε το 2004 και των 50 άλλων μελετών που ολοκληρώθηκαν έκτοτε. Από τις μελέτες αυτές, μόνο 23 μπορούν να θεωρηθούν γνήσιες αξιολογήσεις των ΠΠ και των προγραμμάτων τους (βλέπε παράσταση 5). Παράσταση 5 Επισκόπηση των μελετών αξιολόγησης που πραγματοποιήθηκαν από την Επιτροπή, ή για λογαριασμό της ίδιας κατά την περίοδο 2000 έως 2006 Τύπος μελετών Αριθμός Περιγραφή Αξιολογήσεις των δραστηριοτήτων ΠΠ 23 Μελέτες αξιολόγησης — βασισμένες σε αναγνωρισμένες μεθοδολογίες (51)· — αναφέρονται ρητά στους στόχους των προγραμμάτων και στο βαθμό στον οποίο έχουν επιτευχθεί οι στόχοι των προγραμμάτων. Εθνικές αξιολογήσεις επιπτώσεων που αναλήφθηκαν σε επίπεδο κράτους μέλους 12 Μελέτες που πραγματοποίησαν τα κράτη μέλη και που αφορούν κυρίως τα εθνικά ποσοστά συμμετοχής χωρίς να διατυπώνονται συμπεράσματα σχετικά με τους στόχους του προγράμματος. Μεθοδολογικές μελέτες 5 Μελέτες που έχει οργανώσει η Επιτροπή για να στηρίξει την εκπόνηση μεθοδολογιών αξιολόγησης. Μελέτες του ευρωπαϊκού τοπίου Ε&ΤΑ 2 Μελέτες που αφορούν συγκειμενικές αναλύσεις σχετικά με τον τομέα της ευρωπαϊκής έρευνας, όχι όμως για τα ΠΠ. Ιδιαίτερα, δεν γίνεται καμία ρητή μνεία σχετικά με το αποτέλεσμα που έχουν τα ΠΠ στα εθνικά συστήματα έρευνας και καινοτομίας. Μη αναλυτικά περιγραφικά και στατιστικά έγγραφα 33 Έγγραφα τα οποία εξετάζουν κανονικά δραστηριότητες των ΠΠ με πολύ έμμεσο τρόπο περιγράφοντας συχνά δραστηριότητες μάλλον παρά αναλύοντάς τες. Λοιπά έγγραφα 11 Σειρά εγγράφων που θίγουν θέματα γενικού πολιτικού ενδιαφέροντος χωρίς να εξετάζονται τα ΠΠ στο πλαίσιο αυτό.

Αξιολογήσεις που επικεντρώνονται μάλλον σε θέματα παρακολούθησης, παρά σε επακόλουθα και σε αντίκτυπο

82. Από τη μετέπειτα ανάλυση των ειδικών αυτών μελετών αξιολόγησης που πραγματοποίησε το Συνέδριο προκύπτουν δύο κύριες παρατηρήσεις: — ενώ πολλές από τις έρευνες προσπαθούν να καταλήγουν σε συμπεράσματα σχετικά με τους στόχους του προγράμματος, τα συμπεράσματα αυτά παρουσιάζονται κατά τρόπο ασαφή αφήνοντας τον αναγνώστη σκεπτικό σχετικά με την πραγματική αντιμετώπιση του θέματος αυτού κατά την αξιολόγηση. Αυτό συμβαίνει συχνά επειδή η έλλειψη σαφών στόχων προγράμματος υπονομεύει σοβαρά τη διεργασία (βλέπε σημείο 28)· — πολλά από τα έγγραφα, αντί να αξιολογούν τα επακόλουθα και τον αντίκτυπο των ΠΠ στα ειδικά προγράμματά τους (και υποπρογράμματα), είναι περιγραφικά και, στην καλύτερη περίπτωση, επικεντρώνονται στις άμεσες υλοποιήσεις και στα θέματα διαχείρισης του σχεδίου. Από τις εκθέσεις αυτές δεν είναι δυνατό να παρασχεθούν αποδεικτικά στοιχεία όσον αφορά τα επακόλουθα ή τον αντίκτυπο.

Δεν δόθηκε επαρκής προσοχή στην εκπόνηση καινοτόμων μεθοδολογιών

83. Η χρησιμοποίηση παραδοσιακών μεθοδολογιών και τεχνικών (ιδιαίτερα ερευνών, εξέτασης εγγράφων και συνεντεύξεων) κατέχει δεσπόζουσα θέση για τις αξιολογήσεις που πραγματοποιήθηκαν κατά την περίοδο 2000 έως 2006 (βλέπε Παράσταση 6). Επιπλέον, ορισμένες άλλες μεθοδολογίες και τεχνικές αξιολόγησης, πολύπλοκες αλλά παρόλα αυτά που έχουν σωστά εκπονηθεί, δεν χρησιμοποιήθηκαν (ή μόνο πολύ σπάνια), ιδιαίτερα: — οι επιστημομετρικές προσεγγίσεις (όπως η ανάλυση παραπομπών) (52) — ποσοτικά μοντέλα (όπως οι σχέσεις κόστους-αποδοτικότητας, κόστους-αποτελεσματικότητας και κόστους-οφέλους) (53)· ή — μοντέλα παραγόντων (ή συμπεριφορικά) (τα οποία εστιάζονται στις απόψεις όσων εμπλέκονται σε μια παρέμβαση (όπως τα χαρακτηριστικά των ερευνητικών δικτύων και οι αλλαγές που τα επηρεάζουν με την πάροδο του χρόνου).

84. Οι μελέτες αξιολόγησης που προσπαθούν να αντιμετωπίσουν ορισμένες μεθοδολογικές δυσκολίες εκτίμησης της δημόσιας παρέμβασης στον τομέα της έρευνας (βλέπε παράρτημα I) χρησιμοποιήθηκαν μόνο σε περιορισμένο αριθμό περιπτώσεων: — ολοκληρώθηκαν πρόσφατα δύο μελέτες σχετικά με το θέμα της παρεμβατικής λογικής (54) — επισημάνθηκαν μόνο τρεις μελέτες οι οποίες προσπαθούν να αξιολογήσουν το αποτέλεσμα που είχε η κοινοτική χρηματοδότηση στη συμπεριφορά των ερευνητικών οργανισμών σε δίκτυα πανευρωπαϊκού επιπέδου (55), ενώ η παραδοχή των θετικών αποτελεσμάτων της ανάπτυξης δικτύων βρίσκεται στην καρδιά της έννοιας του ΕΧΕ· — σε μία μόνο περίπτωση καταβλήθηκε προσπάθεια να εξαχθούν συμπεράσματα σχετικά με τον αντίκτυπο που υπήρχε σε επίπεδο προγράμματος (ή υποπρογράμματος) συνδυάζοντας τη συγκέντρωση των αναλύσεων αξιολόγησης σε επίπεδο σχεδίου με άλλες τεχνικές αξιολόγησης (56) · και — δεν διαπιστώθηκε κανένα στοιχείο που να αποδεικνύει τη χρησιμοποίηση άλλων μεθοδολογιών, όπως είναι οι υποθετικές προσεγγίσεις («counterfactual» ή «control group»). Η προσέγγιση αυτή θα ήταν ιδιαίτερα χρήσιμη για την απόδειξη της προστιθέμενης αξίας των προγραμμάτων σε κοινοτικό επίπεδο σε σύγκριση με τη μη παρέμβαση (ή παρέμβαση σε εθνικό ή περιφερειακό επίπεδο).

85. Οι ερωτηθέντες από το Συνέδριο ενδιαφερόμενοι φορείς ήταν της γνώμης ότι η χρησιμότητα και η συνάφεια των αξιολογήσεων της Επιτροπής μπορούσαν να βελτιωθούν. Τούτο αποδεικνύει την ανάγκη για περαιτέρω εκπόνηση της μεθοδολογίας, έτσι ώστε το σύστημα αξιολόγησης να μπορεί να εξελιχθεί για να ληφθεί υπόψη ο μεταβαλλόμενος χαρακτήρας των ΠΠ (βλέπε σημείο 7) (57).

Προβληματικά θέματα που τέθηκαν στις πενταετείς αξιολογήσεις δεν μπόρεσαν να αντιμετωπιστούν βάσει των ειδικών μελετών αξιολόγησης της Επιτροπής

86. Η διαπίστωση αυτή καταδεικνύεται επίσης από τα σημαντικά προβλήματα που αντιμετώπισε η ομάδα εμπειρογνωμόνων (58), η οποία ήταν επιφορτισμένη με την πενταετή αξιολόγηση του 2004 για να απαντήσει στα ερωτήματα αξιολόγησης που προτείνονταν στους όρους εντολής. Πολλά από τα προβληματικά αυτά θέματα δεν μπόρεσαν να εξεταστούν καθόλου, επειδή δεν πραγματοποιήθηκαν προηγουμένως ενδεδειγμένες μελέτες από την Επιτροπή ή για λογαριασμό της και επειδή τα μέλη της ομάδας εμπειρογνωμόνων δεν είχαν τη δυνατότητα να αναθέσουν σε τρίτους τις μελέτες αυτές σε εύλογο χρόνο (βλέπε παράσταση 7). Παράσταση 7 Αντιμετώπιση θεμάτων αξιολόγησης στο πλαίσιο της πενταετούς αξιολόγησης του 2004 Ερώτημα αξιολόγησης Τέθηκε στην έκθεση; ΕΦΑΡΜΟΓΗ Εκτελέστηκαν αποτελεσματικά οι δραστηριότητες; εν μέρει Ήταν καλή η σχέση κόστους/αποτελεσματικότητας για τις δραστηριότητες; εν μέρει Αποτέλεσαν οι δραστηριότητες τον καλύτερο τρόπο επίτευξης των καθορισθέντων στόχων; όχι Ήταν σαφή, ενδεδειγμένα και αποτελεσματικά το συνολικό νομικό πλαίσιο (συμπεριλαμβανομένων των κανόνων για τη συμμετοχή και τις συμβάσεις), τα μέσα πολιτικής και οι λεπτομέρειες εφαρμογής; όχι Ήταν επαρκή το επίπεδο χρηματοδότησης και οι άλλοι διαθέσιμοι πόροι; όχι Ήταν σε θέση να απαντήσουν ορθά οι ενδιαφερόμενοι βιομηχανικοί και ερευνητικοί κύκλοι, συμπεριλαμβανομένων των ΜΜΕ; ναι ΥΛΟΠΟΙΗΣΕΙΣ Πέτυχαν οι δραστηριότητες τους αντίστοιχους στόχους τους και σε ποιο βαθμό υπήρχαν μη αναμενόμενα αποτελέσματα; όχι Ποια είναι τα κυριότερα αποτελέσματα, ιδιαίτερα ως προς τις επιστημονικές, τεχνολογικές, κοινωνικοοικονομικές και περιβαλλοντικές υλοποιήσεις, ως προς τη διεθνή συνεργασία, τη μεταφορά γνώσεων και καινοτομία, προκανονιστικές δραστηριότητες, προσβασιμότητα, διάδοση και αξιοποίηση των αποτελεσμάτων της έρευνας, ανάπτυξη ανθρωπίνων πόρων, κινητικότητα και επιμόρφωση, και ως προς τη στήριξη και ενίσχυση του συντονισμού των ερευνητικών δραστηριοτήτων; όχι Ήταν ικανοποιητικά στο σύνολό τους τα αποτελέσματα, οι επιπτώσεις και ο αντίκτυπος από την πλευρά των άμεσων και έμμεσων δικαιούχων και των ενδιαφερομένων φορέων; όχι Ήταν ικανοποιητική η αντιμετώπιση των ενδιαφερομένων βιομηχανικών και ερευνητικών κύκλων, συμπεριλαμβανομένων των ΜΜΕ; ναι Πώς και σε ποιο βαθμό συνέβαλαν οι δραστηριότητες στη βελτίωση της ανταγωνιστικότητας της έρευνας στην ΕΕ σε διεθνές επίπεδο; Κατείχε δεσπόζουσα θέση η έρευνα στην ΕΕ σε ειδικούς τομείς; εν μέρει Πώς και σε ποιο βαθμό συνέβαλαν οι δραστηριότητες στις κοινοτικές πολιτικές γενικά και στη στρατηγική της ΕΕ για τη βιώσιμη ανάπτυξη; όχι Υπάρχει απόδειξη διαρθρωτικής αλλαγής, συμπεριλαμβανομένης ιδιαίτερα της δικτύωσης, ενσωμάτωσης και συντονισμού της έρευνας, σε εθνικό ή σε διεθνές επίπεδο, ως αποτέλεσμα των κοινοτικών ερευνητικών δραστηριοτήτων; όχι Έδωσαν τη δυνατότητα τα προγράμματα για βέλτιστη χρησιμοποίηση των πόρων; Είχαν οι δραστηριότητες διαρκή αντίκτυπο; όχι ΕΞΕΛΙΞΗ ΚΑΙ ΜΕΛΛΟ-ΝΤΙΚΕΣ ΠΡΟΟΠΤΙΚΕΣ Πώς εξελίχθηκαν τα προγράμματα-πλαίσια ως προς τον ορθολογισμό, τους στόχους, τις θεματικές προτεραιότητες, την ισορροπία μεταξύ των προτεραιοτήτων εκ των κάτω προς τα άνω και εκ των άνω προς τα κάτω και μεταξύ βασικής και εφαρμοσμένης έρευνας, τα μέσα, την ευρωπαϊκή προστιθέμενη αξία και άλλο αντίκτυπο, ιδιαίτερα υπό το πρίσμα της εμφάνισης της έννοιας του Ευρωπαϊκού Χώρου Έρευνας (ΕΧΕ), των στόχων της Λισαβόνας και των σημαντικότερων διεθνών σημείων αναφοράς στον οικονομικό και ερευνητικό τομέα; ναι Πώς πέτυχε το πρόγραμμα-πλαίσιο μια ευρωπαϊκή προστιθέμενη αξία; ναι Μπορεί να επιτευχθεί η ευρωπαϊκή προστιθέμενη αξία μέσω άλλων διεθνών ή εθνικών μηχανισμών; όχι Είναι ενδεδειγμένοι για το μέλλον οι πολιτικοί στόχοι, οι προτεραιότητες, τα μέσα και η διάρκεια ζωής των προγραμμάτων; ναι

87. Επιπλέον, διαπιστώθηκε ότι τα μέλη της ομάδας εμπειρογνωμόνων ήταν σε θέση να απαντήσουν στα ερωτήματα που είχαν καθοριστεί στους όρους εντολής μόνο όταν αφορούσαν πτυχές για τις οποίες είχαν καθοριστεί στα προγράμματα σαφείς και ποσοτικά προσδιορισμένοι στόχοι (π.χ. τον αριθμό των συμμετεχουσών μικρομεσαίων επιχειρήσεων).

Αξιολογήσεις των ΠΠ που πραγματοποιήθηκαν σε εθνικό επίπεδο

88. Πολλά κράτη μέλη και συνδεδεμένες χώρες πραγματοποιούν τις δικές τους εθνικές αξιολογήσεις των ΠΠ θίγοντας από τη δική τους άποψη συναφή και ενδιαφέροντα θέματα (59). Κατά τα τελευταία 8 έτη, 14 τέτοιες μελέτες πραγματοποιήθηκαν για 9 κράτη μέλη και για μία συνδεδεμένη χώρα.

89. Ενώ η Επιτροπή ενθάρρυνε τυποποιημένες προσεγγίσεις κατά το μέτρο του δυνατού, οι εθνικές αυτές μελέτες αντίκτυπου είναι πολύ ανομοιογενείς (60). Ως αποτέλεσμα, επειδή οι εν λόγω μελέτες δεν ακολουθούν μια εναρμονισμένη μεθοδολογία, οι δυνατότητες να συγκεντρωθούν, να συνδυαστούν ή να συγκριθούν τα αποτελέσματα είναι περιορισμένες. Επιπλέον, λόγω του εθνικού τους χαρακτήρα οι μελέτες αυτές μόνο εν μέρει μπορούν να συλλάβουν το μέγεθος της ευρωπαϊκής συνεργασίας.

90. Στην «Πράσινη Βίβλο» του 2007 για τον Ευρωπαϊκό Χώρο Έρευνας, η Επιτροπή υποστήριξε ότι ήταν σημαντικό να διατίθενται ακριβείς αναλύσεις σε επίπεδο ΕΧΕ όσον αφορά τον αντίκτυπο και την αποτελεσματικότητα των ερευνητικών δραστηριοτήτων και πολιτικών, συμπεριλαμβανομένων και εκείνων των αναλύσεων των κρατών μελών και της ΕΕ. Η Επιτροπή αναγνώρισε επίσης ότι οι ισχύουσες διατάξεις δεν ήταν επαρκείς για την αντιμετώπιση της πρόκλησης αυτής, διότι για κάθε επίπεδο παρέμβασης πραγματοποιούνταν αξιολογήσεις χωριστά από τους άλλους (61).

Συστάσεις

91. Η Επιτροπή θα πρέπει να καταρτίσει ένα εγχειρίδιο για την αξιολόγηση των δραστηριοτήτων που χρηματοδοτούνται από τα ΠΠ προβλέποντας ορισμούς βασικών εννοιών και ορολογία και εξακριβώνοντας μια σειρά ενδεδειγμένων μεθοδολογιών για ορισμένες δραστηριότητες αξιολόγησης. Το εν λόγω εγχειρίδιο θα πρέπει να βασίζεται σε υπάρχοντες οδηγούς και βοηθήματα και να ενημερώνεται τακτικά. 92. Η Επιτροπή θα πρέπει να καθορίσει τις ανάγκες της σε πληροφορίες, λαμβανομένης υπόψη της ανάγκης να περιοριστεί ο διοικητικός φόρτος που βαρύνει τους συμμετέχοντες. 93. Η Επιτροπή θα πρέπει να παρέχει, σε εύλογο χρόνο, πληροφορίες σχετικά με την παρακολούθηση της εφαρμογής των ΠΠ. Όπως απαιτείται από τους «Κανόνες Συμμετοχής» του 7ου ΠΠ, θα πρέπει να επιλυθούν επειγόντως τα προβλήματα που αφορούν τα μηχανογραφικά συστήματα της Επιτροπής για τη διαχείριση δεδομένων σχετικά με τη διαχείριση των προγραμμάτων και με τους συμμετέχοντες. 94. Οι υποχρεώσεις υποβολής εκθέσεων των συμμετεχόντων προς την Επιτροπή θα πρέπει να μειωθούν σημαντικά και οι έρευνες να πραγματοποιούνται μόνο δειγματοληπτικά. Η συμβατική απαίτηση να υποβάλλονται για κάθε σχέδιο στοιχεία για τον αντίκτυπο βάσει δεικτών θα πρέπει να αντικατασταθεί από μια σύντομη αυτοαξιολόγηση κατά την ολοκλήρωση του σχεδίου. 95. Η Επιτροπή θα πρέπει να χρησιμοποιεί περισσότερο για τις αξιολογήσεις της τις υπάρχουσες συμπληρωματικές πηγές που περιέχουν συναφή στοιχεία (τόσο εντός της Επιτροπής όσο και στα κράτη μέλη). 96. Η Επιτροπή θα πρέπει να χρησιμοποιεί όλο το φάσμα των διαθέσιμων τεχνικών αξιολόγησης. Επιπλέον, θα πρέπει να υποστηρίζει τη διαμόρφωση καινοτόμων προσεγγίσεων για την αντιμετώπιση μεθοδολογικών δυσκολιών που ενυπάρχουν στην αξιολόγηση της δημόσιας παρέμβασης στον τομέα της έρευνας (βλέπε παράρτημα I) και να χρησιμοποιεί τις προσεγγίσεις αυτές στις δικές της αξιολογήσεις. 97. Η Επιτροπή θα πρέπει να διαβουλεύεται με τα κράτη μέλη σχετικά με τον τρόπο που θα μεγιστοποιηθούν τα οφέλη των αξιολογήσεων των ΠΠ σε εθνικό επίπεδο.

Διάδοση και χρησιμοποίηση των ευρημάτων αξιολόγησης

98. Η αξιολόγηση θα πρέπει να παρέχει συναφή πληροφοριακά στοιχεία και μια ανάλυση που θα μπορούν να χρησιμοποιούνται αποτελεσματικά για τη διαχείριση των προγραμμάτων και τη διαμόρφωση πολιτικών. Ιδιαίτερα, η αξιολόγηση θα πρέπει να παρέχει τη βάση για μια διεξοδική μελέτη σχετικά με τα δυνατά σημεία και τις αδυναμίες της δημόσιας παρέμβασης, η οποία είναι αναγκαία για την πραγματοποίηση της μάθησης. Το Συνέδριο έλεγξε το μέγεθος στο οποίο οι αξιολογήσεις πραγματοποιήθηκαν έγκαιρα, αν τα ευρήματα κοινοποιήθηκαν και διαδόθηκαν στους ενδιαφερόμενους φορείς εκτός της Επιτροπής και αν η Επιτροπή έλαβε υπόψη της τις συστάσεις για την αναθεώρηση των υπό υλοποίηση προγραμμάτων («προγράμματα μάθησης»).

Για το χρονοδιάγραμμα των αξιολογήσεων δεν ελήφθη υπόψη ο τύπος των πληροφοριών που θα μπορούσαν λογικά να αναμένονται.

99. Το Συνέδριο αναγνωρίζει ότι για ορισμένους τύπους ανάλυσης απαιτείται μακροπρόθεσμη προοπτική (π.χ. η αξιολόγηση των επακόλουθων και του κοινωνικοοικονομικού αντίκτυπου) και ότι ορισμένες πτυχές συνδέονται με μία συγκεκριμένη περίοδο προγραμματισμού (π.χ. στόχοι προγραμμάτων, ακόμη και μέσα σ' ένα δεδομένο επιστημονικό τομέα), ενώ άλλες πτυχές όχι (βλέπε Παράσταση 8). Εντούτοις, η Επιτροπή δεν ενέκρινε, για τις δραστηριότητες αξιολόγησής της, μια προσέγγιση που να λαμβάνει υπόψη αυτούς τους χρονικούς ορίζοντες.

100. Σύμφωνα με την κανονιστική ρύθμιση, οι βασικές δραστηριότητες αξιολόγησης της Επιτροπής θα πρέπει να επικεντρώνονται αποκλειστικά στα 5 έτη που προηγούνται της πενταετούς αξιολόγησης καλύπτοντας έτσι τμήματα των δύο διαδοχικών περιόδων προγραμματισμού. Ως αποτέλεσμα, είχαν μόλις αντιμετωπιστεί τα μεσοπρόθεσμα και μακροπρόθεσμα επακόλουθα, καθώς και ο αντίκτυπος. Κατά συνέπεια, οι πενταετείς αξιολογήσεις γενικά επικεντρώθηκαν κυρίως στις πτυχές παρακολούθησης, σε βραχυπρόθεσμα ζητήματα σχεδιασμού προγραμμάτων και σε γενικές παρατηρήσεις σχετικά με τον προσανατολισμό των ΠΠ. Το Συνέδριο εκφράζει την ικανοποίησή του για το γεγονός ότι η κανονιστική ρύθμιση για το 7ο ΠΠ δεν προβλέπει πλέον πενταετείς αξιολογήσεις, ούτε άλλη προκαθορισμένη περίοδο την οποία η αξιολόγηση θα πρέπει να αφορά. Παράσταση 8 Θέματα παρακολούθησης και αξιολόγησης που εξετάστηκαν ανάλογα με τους διάφορους χρονικούς ορίζοντες Παρακολούθηση της εφαρμογής του προγράμματος (υπό εκτέλεση) — Θέματα διαχείρισης του προγράμματος (π.χ. προθεσμία σύναψης συμβάσεων, προθεσμία πληρωμής, ποσοστά συμμετοχής και επιτυχίας, εκτέλεση του προϋπολογισμού, ποσοστά χρηματοδότησης κ.λπ.) Βραχυπρόθεσμη αξιολόγηση (π.χ. το νωρίτερο μετά από 1-2 έτη) — Θέματα διαχείρισης του προγράμματος (π.χ. αποδοτικότητα των διοικητικών διαδικασιών) — Θέματα σχεδιασμού του προγράμματος (π.χ. προσβασιμότητα και ευελιξία μέσων, δυσχέρειες στη συμμετοχή, συνέπειες από την ανεπιτυχή υποβολή προτάσεων, κ.λπ.) — Ανάλυση χαρακτηριστικών συμμετοχής (κυρίως ποσοτικών στο στάδιο αυτό) Μεσοπρόθεσμη αξιολόγηση (π.χ. μετά από 7 έτη) — Θέματα σχεδιασμού του προγράμματος (π.χ. αποτελεσματικότητα των μέσων) — Ανάλυση συμμετοχής, (που συνδυάζει τις ποιοτικές και ποσοτικές πτυχές, π.χ. ανάλυση των ερευνητικών δικτύων, αντίκτυπος στη συμπεριφορά των ερευνητών, κ.λπ.) — Ανάλυση των επακόλουθων των σχεδίων (62) (π.χ. δημοσιεύσεις, άρθρα, διπλώματα ευρεσιτεχνίας, άδειες, πρωτότυπα, πρότυπα, καταρτισμένοι επιστήμονες, κ.λπ.) Μακροπρόθεσμη αξιολόγηση (π.χ. μετά από > 10 έτη) — Αξιολόγηση των επακόλουθων και του αντίκτυπου Πηγή: Ευρωπαϊκό Ελεγκτικό Συνέδριο.

101. Κατά την εκτίμηση των επακόλουθων και του αντίκτυπου των ΠΠ, οι ελλείψεις των πενταετών αξιολογήσεων επισημάνθηκαν επίσης και από τους εμπειρογνώμονες της Επιτροπής: — η ομάδα της πενταετούς αξιολόγησης του 2004 παρατήρησε ότι … η αξιολόγηση θα πρέπει να καλύπτει και να δίνει επαρκή προσοχή τόσο στα μακροπρόθεσμα όσο και στα βραχυπρόθεσμα θέματα και …θα μπορούσαν να αποδεσμευτούν πόροι […] ώστε να δοθεί η δυνατότητα για πιο φιλόδοξες μακροπρόθεσμες μελέτες αξιολόγησης οι οποίες θα μπορούσαν να διερευνήσουν συστηματικότερα τα διαρθρωτικά και ευρύτερα κοινωνικοοικονομικά θέματα (63) · — σε μια μελέτη που ανατέθηκε από τη ΓΔ Έρευνας διαπιστώθηκε ότι «… οι ισχύουσες πρακτικές αξιολόγησης των ενεργειών Ε&ΤΑ της ΕΕ (που περιλαμβάνουν συνεχή παρακολούθηση, πενταετείς αξιολογήσεις και μεσοπρόθεσμη αξιολόγηση) χαρακτηρίζονται από σημαντική έμφαση που δίνουν στην παρακολούθηση σε σύγκριση με την αξιολόγηση του αντίκτυπου και … για τη μεταστροφή της ζήτησης και των προσδοκιών […] προς τον κοινωνικοοικονομικό αντίκτυπο, θα χρειαζόταν ένα νέο πλαίσιο αξιολόγησης και παρακολούθησης το οποίο θα απαιτούσε μεγαλύτερη προσπάθεια σε επίπεδο αντίκτυπου μάλλον παρά παρακολούθησης των υλοποιήσεων» (64).

102. Το πρόβλημα του χρονοδιαγράμματος επηρεάζει επίσης τις ειδικές αξιολογήσεις που απαιτούνται από την κανονιστική ρύθμιση. Για παράδειγμα, η έκθεση Marimón του 2004, στην οποία αναλύθηκαν τα νέα μέσα που εφαρμόστηκαν στο 6ο ΠΠ (2003-2006), απαιτήθηκε πολύ νωρίς με αποτέλεσμα να μην υπάρχει επαρκής ή και καθόλου πρακτική εμπειρία ή και εμπειρικές αποδείξεις για τη στήριξη των συμπερασμάτων της έκθεσης (65).

Κοινοποίηση και διάδοση

103. Η Επιτροπή από μόνη της μπορεί να εκπονεί και να προσαρμόζει επιχειρησιακά προγράμματα εργασίας ανάλογα με κύκλους μικρής διάρκειας, υπό την επιφύλαξη έγκρισης από την αντίστοιχη επιτροπή προγράμματος. Τούτο θα μπορούσε να αποτελέσει ευκαιρία για πραγματοποίηση προσαρμογών στη διαχείριση του προγράμματος, καθώς επίσης και για ανακατανομή των προϋπολογισμών εντός των υποπρογραμμάτων. Δεν διαπιστώθηκε κανένα στοιχείο σύμφωνα με το οποίο η Επιτροπή χρησιμοποίησε τη δυνατότητα αυτή (βλέπε σημείο 107).

104. Εκτός από αυτό και λαμβανομένου υπόψη του τρόπου με τον οποίο τα ΠΠ σχεδιάζονται και εγκρίνονται, είναι σχεδόν αδύνατο για την Επιτροπή να επιφέρει σημαντικές αλλαγές, όπως τροποποιήσεις των στόχων προγραμμάτων ή ανακατανομή των προϋπολογισμών μεταξύ των υποπρογραμμάτων. Μόνο ο νομοθέτης μπορεί να δημοσιεύσει τροποποιήσεις τέτοιου μεγέθους στα πλαίσια μιας αναθεώρησης της νομοθεσίας των ΠΠ (όπως το 2010 για το 7ο ΠΠ) ή της έγκρισης του επόμενου ΠΠ. Για το λόγο αυτό, η κανονιστική ρύθμιση συνήθως προβλέπει οι κυριότερες αξιολογήσεις να προγραμματίζονται έτσι ώστε τα προγράμματά τους να μπορούν να λαμβάνονται επωφελώς υπόψη για τη διαμόρφωση πολιτικών.

105. Συνεπώς, ορισμένοι από τους κυριότερους χρήστες των αξιολογήσεων της Επιτροπής είναι οι ίδιες οι «ΓΔ έρευνας» (66). Εντούτοις, η κανονιστική ρύθμιση του ΠΠ απαιτεί επίσης ρητά οι αξιολογήσεις να κοινοποιούνται στο Ευρωπαϊκό Κοινοβούλιο και στο Συμβούλιο.

106. Στην έρευνα που διεξήγαγε το Συνέδριο στην επιτροπή ITRE του Ευρωπαϊκού Κοινοβουλίου και στην επιτροπή CREST του Συμβουλίου, η πλειοψηφία των ερωτηθέντων ωστόσο δήλωσε ότι δεν ήταν επαρκώς ενημερωμένη σχετικά με την εφαρμογή και τα αποτελέσματα των ΠΠ (βλέπε παράσταση 9) (67).

Παρακολούθηση των ευρημάτων αξιολόγησης

107. Η Επιτροπή στις ετήσιες εξετάσεις αξιολόγησης συνοψίζει τις διαπιστώσεις και τα μέτρα που έλαβε τα οποία πηγάζουν από τις αξιολογήσεις της (68). Όσον αφορά την παρακολούθηση, η Επιτροπή έδωσε επίσης ρητές απαντήσεις σχετικά με τις διαπιστώσεις και τις συστάσεις που διατυπώθηκαν στις πενταετείς αξιολογήσεις και στις ειδικές αξιολογήσεις που επέβαλε η κανονιστική ρύθμιση και, κατά το μέτρο του δυνατού, έλαβε τα ενδεδειγμένα μέτρα για την αντιμετώπιση των αδυναμιών που επισημάνθηκαν στις αξιολογήσεις αυτές. Εντούτοις, δεν συνέβη το ίδιο για αρκετές άλλες εκθέσεις αξιολόγησης που εξετάστηκαν και δεν διαπιστώθηκε κανένα στοιχείο ότι τα ευρήματα και οι συστάσεις τους ελήφθησαν υπόψη για την τροποποίηση των προγραμμάτων εργασίας. Παρομοίως, οι δηλώσεις σχετικά με την κατάρτιση του ΠΒΔ των ΓΔ και τις ετήσιες εκθέσεις δραστηριότητάς τους δεν αναφέρουν το βαθμό στον οποίο δόθηκε πράγματι συνέχεια στις διαπιστώσεις της αξιολόγησης.

Συστάσεις

108. Η Επιτροπή θα πρέπει να καθορίσει τον τύπο και την εμβέλεια της αξιολόγησης που θα μπορούσαν να αναμένονται λογικά για τις ημερομηνίες που έχουν οριστεί στην κανονιστική ρύθμιση (2008, 2010 και 2015), να εξηγήσει τον τρόπο με τον οποίο οι αξιολογήσεις μπορούν να χρησιμοποιούνται για την προσαρμογή των προγραμμάτων («προγράμματα μάθησης») και να καθορίσει τη συμβολή που οι αξιολογήσεις μπορούν να επιτύχουν στις αποφάσεις πολιτικής. Ιδιαίτερα, η Επιτροπή θα πρέπει να αποσαφηνίσει την επιδιωκόμενη προσέγγισή της όσον αφορά την αξιολόγηση των μακροπρόθεσμων αποτελεσμάτων των σημερινών και παρελθόντων ΠΠ, δεδομένου ότι για τα αποτελέσματα αυτά μπορεί να χρειαστούν 7 έως 10 χρόνια για να καρποφορήσουν (βλέπε παράσταση 8). 109. Η Επιτροπή θα πρέπει να επανεξετάσει την πρακτική της σχετικά με την κοινοποίηση και τη διάδοση των ευρημάτων αξιολόγησής της, ώστε οι ενδιαφερόμενοι φορείς να λαμβάνουν τις αναγκαίες πληροφορίες. Ιδιαίτερα, οι «ΓΔ έρευνας» θα πρέπει να δώσουν μια επίσημη απάντηση σε όλες τις αξιολογήσεις και να δημοσιεύσουν τις μελέτες αυτές έγκαιρα και ταυτόχρονα με τις απαντήσεις τους. Οι «ΓΔ έρευνας» θα πρέπει επίσης να λογοδοτήσουν στις δηλώσεις τους για την κατάρτιση του προϋπολογισμού βάσει δραστηριοτήτων και στις ετήσιες εκθέσεις δραστηριοτήτων τους σχετικά με την παρακολούθηση των διαπιστώσεων και να αξιοποιήσουν τις συστάσεις κατά την επικαιροποίηση των προγραμμάτων εργασίας και το σχεδιασμό των μελλοντικών προγραμμάτων.

ΓΕΝΙΚΟ ΣΥΜΠΕΡΑΣΜΑ

110. Το Συνέδριο αναγνωρίζει ότι η αξιολόγηση των προγραμμάτων Ε&ΤΑ και ιδιαίτερα η εκτίμηση των μακροπρόθεσμων αποτελεσμάτων τους, είναι αυτή καθεαυτή δύσκολη και η ορθή πρακτική δεν είναι εύκολο να καθοριστεί.

111. Κατά την άποψη του Συνεδρίου, η αξιολόγηση είναι βασική για τη διαχείριση των προγραμμάτων, για το μελλοντικό προγραμματισμό και για τη διαμόρφωση των πολιτικών. Η αξιολόγηση παρέχει επίσης μια βάση για την υποχρέωση λογοδοσίας. Αποτελεί πηγή πολύτιμων πληροφοριών για το αν τα αναμενόμενα (ή μη αναμενόμενα) αποτελέσματα έχουν επιτευχθεί, για το μέγεθος στο οποίο έχουν επιτευχθεί οι στόχοι των προγραμμάτων, τη συνάφεια και τη χρησιμότητα των προγραμμάτων και την αποδοτικότητα και την αποτελεσματικότητα της εφαρμογής των προγραμμάτων. Καθώς το Ευρωπαϊκό Κοινοβούλιο και το Συμβούλιο είναι εκείνα που αποφασίζουν για το γενικό προσανατολισμό, τα θέματα προϋπολογισμού και το σχεδιασμό των προγραμμάτων για τα ΠΠ, είναι αναγκαίο ένα διαφανές, αξιόπιστο και στέρεο σύστημα αξιολόγησης για την παροχή συναφών πληροφοριών στα όργανα αυτά.

112. Η Επιτροπή θέσπισε ένα γενικό πλαίσιο αξιολόγησης το 2000 και το 2002 και στη συνέχεια το αναθεώρησε το 2007. Μολονότι κατά τη διάρκεια του ελέγχου του Συνεδρίου δεν παρατηρήθηκε καμία σημαντική βελτίωση στον τρόπο με τον οποίο προγραμματίστηκαν, σχεδιάστηκαν και εφαρμόστηκαν οι αξιολογήσεις των ΠΠ και των συστατικών προγραμμάτων τους, οι «ΓΔ έρευνας» γενικά συμφώνησαν με τις τυπικές απαιτήσεις στο σύνολο της Επιτροπής.

113. Για την περίοδο που καλύπτει η παρούσα έκθεση, όπως απαιτείται στη νομοθεσία των ΠΠ, οι«ΓΔ έρευνας» διέθεταν ένα σύστημα αξιολόγησης και η Επιτροπή είναι σε θέση να παρουσιάσει ένα αρκετά σημαντικό σύνολο μελετών αξιολόγησης. Ωστόσο, η πραγματικότητα είναι ότι ελάχιστα είναι τα στοιχεία ή και ανύπαρκτα που αφορούν την επίτευξη των στόχων προγραμμάτων και τα αποτελέσματα των ΠΠ. Τούτο οφείλεται στο γεγονός ότι οι αξιολογήσεις επικεντρώνονταν συνήθως σε βραχυπρόθεσμα ζητήματα εφαρμογής των προγραμμάτων. Ως αποτέλεσμα, οι αξιολογήσεις της Επιτροπής είχαν περιορισμένη χρησιμότητα στους αρμόδιους διαμόρφωσης πολιτικής, στους ενδιαφερόμενους φορείς και ακόμη και στην ίδια την Επιτροπή.

114. Δεδομένης της σημασίας της αξιολόγησης για τη διαχείριση των προγραμμάτων και τη διαμόρφωση πολιτικής, η προσέγγιση της Επιτροπής για την αξιολόγηση των ΠΠ και των συστατικών προγραμμάτων τους χρειάζεται να επανεξεταστεί έχοντας υπόψη τις νέες πολιτικές προκλήσεις, την αυξηθείσα χρηματοδότηση, τη διεύρυνση του προσανατολισμού της ερευνητικής πολιτικής της Κοινότητας και την πρόσφατη μεταρρύθμιση της Επιτροπής. Η EURAB διατύπωσε επίσης συστάσεις για τα ανωτέρω στην έκθεσή της για το 2007.

115. Κατά την άποψη του Συνεδρίου, η χρησιμοποίηση σαφούς παρεμβατικής λογικής στο μελλοντικό σχεδιασμό των προγραμμάτων που υπάγονται στα ΠΠ θα οδηγούσε σε περισσότερο επικεντρωμένα και καλύτερα διαρθρωμένα προγράμματα. Θα συνέβαλε επίσης στην πολιτική της Επιτροπής για τη «βελτίωση της νομοθεσίας», η οποία αποβλέπει σε ένα καλύτερα σχεδιασμένο, απλούστερο, αποτελεσματικότερο και καλύτερα κατανοητό ρυθμιστικό περιβάλλον (69).

116. Η αξιολόγηση των ΠΠ και των συστατικών προγραμμάτων τους θα ήταν αποτελεσματικότερη εάν οι στόχοι των προγραμμάτων και οι δείκτες ήταν σαφέστεροι από την αρχή, αν οι «ΓΔ έρευνας» που εφαρμόζουν τα ΠΠ συμφωνούσαν για μια στέρεη στρατηγική αξιολόγησης χωρίς όμως να είναι υπερβολικά δεσμευτική και αν χρησιμοποιούνταν πιο προχωρημένες μεθοδολογίες αξιολόγησης, μεταξύ των οποίων και ποσοτικές προσεγγίσεις.

117. Το Συνέδριο παρατήρησε επίσης ότι, σε ένα ορισμένο βαθμό, υπάρχει περιθώριο για την Επιτροπή να επανεξετάσει τις ισχύουσες οργανωτικές ρυθμίσεις για την αξιολόγηση των ΠΠ. Μπορεί να επιτευχθούν πολλά πλεονεκτήματα — αν συμμετέχουν ομάδες αξιολόγησης νωρίτερα στη διαδικασία αξιολόγησης, παρέχοντας έτσι βοήθεια στην Επιτροπή καθόλη τη διάρκεια της περιόδου προγραμματισμού και πέραν αυτής και αυξηθεί ο βαθμός ειδίκευσης καθιερώνοντας ομάδες εμπειρογνωμόνων για τα ειδικά προγράμματα και, αν ενδείκνυται, για τα υποπρογράμματα· — αν συμπληρωθούν οι υπάρχουσες μονάδες αξιολόγησης της κάθε ΓΔ με ένα κοινό γραφείο αξιολόγησης επιφορτισμένο με το συντονισμό των αξιολογήσεων των ΠΠ.

118. Οι συστάσεις που περιλαμβάνονται στην παρούσα έκθεση βασίζονται είτε στις υπάρχουσες εντός της Επιτροπής πρακτικές, είτε στις διεθνείς ορθές πρακτικές. Όσον αφορά τους πόρους, είναι σαφές ότι η καθιέρωση της προτεινόμενης προσέγγισης για την αξιολόγηση των προγραμμάτων θα συνεπαγόταν υψηλότερο κόστος. Εντούτοις, κατά την άποψη του Συνεδρίου, είναι πιθανότερο αυτό το επιπλέον κόστος να φέρει ένα θετικό οικονομικό αντιστάθμισμα τουλάχιστον ίδιας αξίας.

Η παρούσα έκθεση εγκρίθηκε από το Ελεγκτικό Συνέδριο στο Λουξεμβούργο, κατά τη συνεδρίασή του της 22ας Νοεμβρίου 2007. Για τo Ελεγκτικό Συvέδριo Hubert WEBER Πρόεδρoς

(1) Σύμφωνα με τον ΟΟΣΑ, η έρευνα και η ανάπτυξη μπορούν να οριστούν ως … δημιουργική εργασία η οποία αναλαμβάνεται συστηματικά για την αύξηση των αποθεμάτων γνώσης, συμπεριλαμβανομένης της ανθρώπινης, πνευματικής και κοινωνικής γνώσης, και της χρήσης του αποθέματος της γνώσης για το σχεδιασμό νέων εφαρμογών (βλέπε ΟΟΣΑ, εγχειρίδιο του Frascati — Πρόταση τυποποιημένης μεθόδου σχετικά με τις μελέτες για την έρευνα και την πειραματική ανάπτυξη, Παρίσι, 2002, σ. 30). Στο κοινοτικό πλαίσιο χρησιμοποιείται το ακρωνύμιο Ε&ΤΑ το οποίο καλύπτει την τεχνολογία, καθώς και την έρευνα και την ανάπτυξη.

(2) Η ΓΔ Έρευνας είναι η κυριότερη Γενική Διεύθυνση η οποία διαχειρίζεται και συντονίζει τα ΠΠ. Πέντε άλλες ΓΔ διαχειρίζονται επίσης (τμήματα) ειδικών προγραμμάτων, σημαντικότερη από τις οποίες είναι η ΓΔ Κοινωνίας της Πληροφορίας και Μέσων Επικοινωνίας (οι υπόλοιπες είναι η ΓΔ Ενέργειας και Μεταφορών, ΓΔ Επιχειρήσεων και Βιομηχανίας, ΓΔ Αλιείας και το Κοινό Κέντρο Ερευνών της Επιτροπής).

(3) Το 2000, το Ευρωπαϊκό Συμβούλιο της Λισαβόνας καθόρισε το στόχο να καταστεί η ΕΕ η πλέον δυναμική, ανταγωνιστική, αειφόρος γνωσιοκεντρική οικονομία μέχρι το 2010 χαρακτηριζόμενη από την πλήρη απασχόληση και την ενίσχυση της οικονομικής και κοινωνικής συνοχής.

(4) Το 2002, το Ευρωπαϊκό Συμβούλιο συμφώνησε ότι η συνολική δαπάνη για την Ε&ΤΑ και την καινοτομία στην Ευρωπαϊκή Ένωση θα πρέπει να αυξηθεί με σκοπό να προσεγγίσει το 3 % του ΑΕγχΠ μέχρι το 2010. Διευκρίνισε επίσης ότι τα δύο τρίτα της νέας αυτής επένδυσης θα πρέπει να προέρχονται από τον ιδιωτικό τομέα (βλέπε Ευρωπαϊκή Επιτροπή, «Επενδύοντας στην έρευνα: το πρόγραμμα δράσης για την Ευρώπη»· Ανακοίνωση της Επιτροπής προς το Συμβούλιο, το Ευρωπαϊκό Κοινοβούλιο, την Ευρωπαϊκή Οικονομική και Κοινωνική Επιτροπή και την Επιτροπή των Περιφερειών, COM(2003) 226 τελικό, σ. 7).

(5) Στην περίπτωση της άμεσης διαχείρισης, η Επιτροπή εκτελεί τις πράξεις που απαιτούνται για την πραγματοποίηση των δραστηριοτήτων της στο πλαίσιο της εκτέλεσης του προϋπολογισμού χωρίς καμία παρέμβαση των κρατών μελών ή των τρίτων χωρών στις οποίες διαμένουν οι αποδέκτες των δαπανών.

(6) Από το 2006 περισσότερες από 22 000 δημόσιες και ιδιωτικές νομικές οντότητες είχαν συμμετάσχει μόνο στο 6ο ΠΠ, συνήθως σε κοινοπραξίες πολλών εταίρων.

(7) Πρόκειται για μια μέθοδο συνεργασίας η οποία στηρίζεται στην αρχή της διακυβερνητικής συνεργασίας σε εθελούσια βάση. Βασίζεται κυρίως στην αμοιβαία μάθηση, στη συγκριτική αξιολόγηση και στην ανταλλαγή των βέλτιστων πρακτικών.

(8) Κανονισμός (ΕΚ, Ευρατόμ) αριθ. 1605/2002 της 25ης Ιουνίου 2002 του Συμβουλίου (ΕΕ L 248 της 16.9.2002, σ. 1), Άρθρα 27, 48, 59 και 60.

(9) Ευρωπαϊκή Επιτροπή, ΓΔ Προϋπολογισμού, Ανακοίνωση προς την Επιτροπή της κ. Grybauskaitė σε συμφωνία με τον Πρόεδρο, «Responding to strategic needs: reinforcing the use of evaluation» («Αντιμετώπιση των στρατηγικών αναγκών: ενίσχυση της προσφυγής στην αξιολόγηση»), SEC(2007) 213 της 21ης Φεβρουαρίου 2007· Ευρωπαϊκή Επιτροπή, ΓΔ Προϋπολογισμού, Ανακοίνωση προς την Επιτροπή της κ. Schreyer, «Εστιάζοντας την προσοχή στα αποτελέσματα: Ενίσχυση των δραστηριοτήτων αξιολόγησης της Επιτροπής», SEC(2000) 1051, 26 Ιουλίου 2000.

(10) Απόφαση αριθ. 1982/2006/ΕΚ του Ευρωπαϊκού Κοινοβουλίου και του Συμβουλίου της 18ης Δεκεμβρίου 2006 σχετικά με το έβδομο πρόγραμμα-πλαίσιο δραστηριοτήτων έρευνας, τεχνολογικής ανάπτυξης και επίδειξης της Ευρωπαϊκής Κοινότητας (2007 έως 2013) (ΕΕ L 412 της 30.12.2006, σ. 1): άρθρο 7, παράγραφος 1· οι πληροφορίες σχετικά με την παρακολούθηση που πρέπει να παρέχει η Επιτροπή στις επιτροπές προγραμμάτων καθορίζονται στις αποφάσεις ειδικών προγραμμάτων (βλέπε για παράδειγμα την απόφαση 2006/971/ΕΚ του Συμβουλίου της 19ης Δεκεμβρίου 2006 για το ειδικό πρόγραμμα συνεργασίας που εφαρμόζει το έβδομο πρόγραμμα-πλαίσιο της Ευρωπαϊκής Κοινότητας για δραστηριότητες έρευνας, τεχνολογικής ανάπτυξης και επίδειξης (2007 έως 2013) (ΕΕ L 400 της 30.12.2006, σ. 86): άρθρο 8 παράγραφος 4 και παράρτημα V).

(11) Ευρωπαϊκή Επιτροπή, ανακοίνωση στο Συμβούλιο σχετικά με κοινοτικό σχέδιο δράσης για την αξιολόγηση κοινοτικών ενεργειών στον τομέα της έρευνας και ανάπτυξης κατά την περίοδο 1987-1991, COM(86) 660 τελικό, 20 Νοεμβρίου 1986, σε απάντηση προς το ψήφισμα του Συμβουλίου της 28ης Ιουνίου 1983.

(12) Ευρωπαϊκή Επιτροπή, «Πενταετής αξιολόγηση των προγραμμάτων έρευνας και τεχνολογικής ανάπτυξης της Ευρωπαϊκής Ένωσης, 1992-1996». Έκθεση της Ομάδας Ανεξάρτητων Εμπειρογνωμόνων, υπό την προεδρία του κόμητα Davignon (1997)· Ευρωπαϊκή Επιτροπή, «Πενταετής αξιολόγηση των προγραμμάτων Έρευνας και Τεχνολογικής Ανάπτυξης της Ευρωπαϊκής Ένωσης, 1995-1999»· Έκθεση της Ομάδας Ανεξάρτητων Εμπειρογνωμόνων, υπό την αιγίδα του Joan Majó (Ιούλιος 2000)· Ευρωπαϊκή Επιτροπή, «Πενταετής αξιολόγηση των προγραμμάτων-πλαισίων Έρευνας, 1999-2003»· Έκθεση της Ομάδας Ανεξάρτητων Εμπειρογνωμόνων, υπό την προεδρία του Erkki Ormala (15 Δεκεμβρίου 2004).

(13) Ευρωπαϊκή Επιτροπή «Αξιολόγηση της αποτελεσματικότητας των νέων μέσων του VI προγράμματος-πλαισίου», 21 Ιουνίου 2004, έκθεση ομάδας εμπειρογνωμόνων υψηλού επιπέδου, υπό την προεδρία του καθηγητή Ramon Marimón.

(14) Ευρωπαϊκή Επιτροπή, ΓΔ Προϋπολογισμού, ανακοίνωση προς την Επιτροπή της κ. Schreyer, «Εστιάζοντας την προσοχή στα αποτελέσματα: Ενίσχυση των δραστηριοτήτων αξιολόγησης της Επιτροπής», Ιούλιος 2000, SEC(2000) 1051· Ευρωπαϊκή Επιτροπή, ΓΔ Προϋπολογισμού, Ανακοίνωση προς την Επιτροπή του Προέδρου και της κ. Schreyer, «Προδιαγραφές αξιολόγησης και χρηστή πρακτική», C (2002) 5267 της 23.12.2002.

(15) Ευρωπαϊκή Επιτροπή, ΓΔ Προϋπολογισμού, Ανακοίνωση προς την Επιτροπή της κ. Grybauskaitė σε συμφωνία με τον Πρόεδρο, «Responding to strategic needs: reinforcing the use of evaluation» («Αντιμετώπιση των στρατηγικών αναγκών: ενίσχυση της προσφυγής στην αξιολόγηση»), SEC(2007) 213, της 21ης Φεβρουαρίου 2007.

(16) Ευρωπαϊκή Επιτροπή, Υπηρεσιακό έγγραφο, «Εκτίμηση του αντίκτυπου και εκ των προτέρων αξιολόγηση», SEC(2005) 430.

(17) Η επιτροπή «Βιομηχανίας, Έρευνας και Ενέργειας» (ITRE) του Ευρωπαϊκού Κοινοβουλίου είναι (ιδιαίτερα) αρμόδια για τη βιομηχανική πολιτική, την ερευνητική πολιτική (συμπεριλαμβανομένης της διάδοσης και χρησιμοποίησης των ερευνητικών ευρημάτων), τη διαστημική πολιτική, τις δραστηριότητες του Κοινού Κέντρου Ερευνών, τη συνθήκη της Ευρατόμ, την Κοινωνία της Πληροφορίας και τις τεχνολογίες πληροφοριών.

(18) Η επιτροπή CREST («Επιτροπή της Επιστημονικής και Τεχνικής Έρευνας» — δημιουργήθηκε με ψήφισμα του Συμβουλίου της 14ης Ιανουαρίου 1974 και αποτελείται από εκπροσώπους εθνικών αρχών οι οποίοι είναι υπεύθυνοι για την επιστημονική και τεχνολογική πολιτική των κρατών μελών. Η CREST ασκεί συμβουλευτικό ρόλο και ενημερώνει την Επιτροπή και το Συμβούλιο, ιδιαίτερα σε θέματα που αφορούν το συντονισμό εθνικών πολιτικών έρευνας και ανάπτυξης και την παρακολούθηση και αξιολόγηση των ΠΠ.

(19) Τα λογικά μοντέλα τα οποία δείχνουν πώς τα μέσα που εφαρμόζονται για τις διάφορες δραστηριότητες οδηγούν στα αναμενόμενα αποτελέσματα είναι ο καλύτερος τρόπος να καταδειχθεί η παρεμβατική λογική. Με τα μοντέλα αυτά μπορούν να εξηγηθούν με σαφήνεια οι υποθέσεις στις οποίες βασίζεται ο τρόπος με τον οποίο σχεδιάζεται ένα πρόγραμμα και πώς οι γενικοί στόχοι αναλύονται σε επιχειρησιακούς στόχους.

(20) Ευρωπαϊκή Επιτροπή, ΓΔ Προϋπολογισμού, «Αξιολογώντας δραστηριότητες της ΕΕ: πρακτικός οδηγός για τις υπηρεσίες της Επιτροπής», Ιούλιος 2004, σσ. 87 και 106.

(21) «Πενταετής αξιολόγηση για τα προγράμματα-πλαίσια έρευνας της Ευρωπαϊκής Ένωσης, 1999-2003», Έκθεση της Ομάδας Ανεξάρτητων Εμπειρογνωμόνων υπό την προεδρία του Erkki Ormala (15 Δεκεμβρίου 2004): Τμήμα 6 «Αξιολόγηση του προγράμματος-πλαισίου», σ. 19.

(22) Οι δικαιούχοι χώρες εξωτερικής βοήθειας καλούνται να υποβάλλουν τα λογικά μοντέλα για την κοινοτική χρηματοδότησή τους (Ευρωπαϊκή Επιτροπή, μέθοδοι παράδοσης της ενίσχυσης, Τόμος 1, Οδηγίες διαχείρισης του κύκλου των σχεδίων, Μάρτιος 2004, Τμήμα 5: Προσέγγιση του λογικού πλαισίου).

(23) Κανονισμός (ΕΚ, Ευρατόμ) αριθ. 1605/2002 άρθρο 27 παράγραφος 3.

(24) Το 2006, ο πολιτικός τομέας «08 έρευνα» διαρθρώθηκε βάσει των ειδικών προγραμμάτων (και υποπρογραμμάτων) της τρέχουσας περιόδου προγραμματισμού του έκτου ΠΠ (και κατά συνέπεια αντικαταστάθηκε από μια διαφορετική δομή το 2007)· ενώ στον πολιτικό τομέα «09 Κοινωνία της Πληροφορίας» τα τρέχοντα και προηγούμενα ειδικά προγράμματα συγκεντρώθηκαν σε μία μόνο δραστηριότητα ΠΒΔ (Ευρωπαϊκή Επιτροπή, ΓΔ Έρευνας, Διεύθυνση Α: συντονισμός κοινοτικών δραστηριοτήτων, σχεδιασμός, προγραμματισμός, αξιολόγηση, ετήσιο σχέδιο διαχείρισης 2006, 20.12.2005· Ευρωπαϊκή Επιτροπή, ΓΔ Κοινωνίας της Πληροφορίας και Μέσων Ενημέρωσης, ετήσιο σχέδιο διαχείρισης του 2006 της 23.12.2005).

(25) Στην περίπτωση της ΓΔ Έρευνας οι στόχοι ΔΒΔ (και οι δείκτες που χρησιμοποιήθηκαν για τη μέτρηση της επίτευξής τους) άλλαζαν κάθε χρόνο. Αντιθέτως, η ΓΔ Κοινωνίας της Πληροφορίας χρησιμοποίησε πολυετείς στόχους, οι οποίοι ωστόσο δεν ήταν οι ίδιοι με τους στόχους του προγράμματος (ή με εκείνους που καθορίζονταν στο επίπεδο του προγράμματος εργασίας).

(26) Ευρωπαϊκή Επιτροπή, υπηρεσία εσωτερικού ελέγχου, Review of effectiveness and efficiency of the SPP/ABM cycle — SG & DG Budget, 2005: σημείο 4.1, σ. 31.

(27) Ευρωπαϊκή Επιτροπή, «Ανακοίνωση της Επιτροπής προς το Συμβούλιο για ένα κοινοτικό πλαίσιο δράσης σχετικά με την αξιολόγηση κοινοτικών προγραμμάτων έρευνας και ανάπτυξης», COM(83) 1 τελικό, 19 Ιανουαρίου 1983.

(28) Ανακοίνωση της Επιτροπής προς το Συμβούλιο και το Ευρωπαϊκό Κοινοβούλιο Ανεξάρτητη εξωτερική παρακολούθηση και αξιολόγηση των κοινοτικών δραστηριοτήτων στο πεδίο της έρευνας και της τεχνολογικής ανάπτυξης, 22.5.1996 [COM(1996) 220 τελικό].

(29) Κάθε ΓΔ που εφαρμόζει τα ΠΠ καταγράφει τις προγραμματισθείσες αξιολογήσεις σε ετήσια (και πολυετή) σχέδια αξιολόγησης. Εντούτοις, αυτά τα έγγραφα προγραμματισμού δεν μπορούν να θεωρηθούν ότι απεικονίζουν μια πραγματική στρατηγική αξιολόγησης.

(30) Κανονισμός (ΕΚ, Ευρατόμ) αριθ.1605/2002 άρθρο 27 παράγραφος 4.

(31) «Loi de programme pour la recherche no 2006-450» της 18.4.2006 και «Décret no 2006-1334 relatif à l’organisation et au fonctionnement de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES)» της 3.11.2006.

(32) Agencia Nacional de Evaluación y Prospectiva under the Ministerio de Educación y Ciencia: Orden ECI/1252/2005 της 4ης Μαΐου 2005 που δημιουργεί την «Comisión Asesora de Evaluación y Prospectiva» (Advisory Commission of Evaluation and Foresight).

(33) Το 2004 η «Deutsche Forschungsgemeinschaft» (DFG) δημιούργησε ένα ειδικό ινστιτούτο, το «Institut für Forschungsinformation und Qualitätssicherung» (IFQ), στο οποίο ανέθεσε την αρμοδιότητα ανάπτυξης και τυποποίησης μεθοδολογιών αξιολόγησης, εξασφάλισης ποιότητας και πραγματοποίησης αξιολογήσεων των δραστηριοτήτων Ε&ΤΑ που χρηματοδοτούνται από το DFG.

(34) Στο πλαίσιο του 7ου ΠΠ συστάθηκαν 15 συμβουλευτικές ομάδες εμπειρογνωμόνων από την Επιτροπή, σε σύγκριση με τις 12 ομάδες στο πλαίσιο του 6ου ΠΠ και 17 στο πλαίσιο του 5ου ΠΠ. Οι εν λόγω ομάδες παρέχουν συμβουλές στην Επιτροπή για θέματα πολιτικής και προγραμμάτων που αφορούν τα ΠΠ. Θα πρέπει ωστόσο να σημειωθεί ότι οι ομάδες αυτές δεν καλύπτουν πλήρως τη δομή των προγραμμάτων των ΠΠ, δηλαδή δεν υπάρχει μια συμβουλευτική ομάδα για κάθε ειδικό πρόγραμμα (ή υποπρόγραμμα).

(35) Στον Καναδά σχεδόν όλα τα ομοσπονδιακά υπουργεία σύστησαν μόνιμες επιτροπές αξιολόγησης, στις οποίες συμμετέχουν ανώτεροι υπάλληλοι των υπουργείων και συνήθως εξωτερικοί ενδιαφερόμενοι φορείς για την επίβλεψη του συστήματος αξιολόγησης («Social Sciences and Humanities Research Council of Canada»: Evaluation Standing Committee — Mandate and Membership).

(36) Ευρωπαϊκή Επιτροπή, «Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes», Aύγουστος 2005, σ.5.

(37) Ευρωπαϊκή Επιτροπή, «Planning and optimising Commission human resources to serve EU priorities», SEC(2007) 530, 24 Απριλίου 2007.

(38) Ευρωπαϊκή Επιτροπή, Ανακοίνωση στην Επιτροπή από τον Πρόεδρο και την κ. Schreyer, «Προδιαγραφές αξιολόγησης και χρηστή πρακτική», C (2002) 5267, 23.12.2002· υπηρεσιακό έγγραφο της Ευρωπαϊκής Επιτροπής, «Εκτίμηση του αντίκτυπου και εκ των προτέρων αξιολόγηση», SEC(2005) 430, της 6ης Απριλίου 2005, παράρτημα 1 υποσημ