# Diario Oficial C 26/2008

| | ISSN 1725-244X |
| --- | --- |
| Diario Oficial
  de la Unión Europea | C 26 |
| | |
| Edición en lengua española | Comunicaciones e informaciones | 51o año30 de enero de 2008 |

ISSN 1725-244X

Diario Oficial

de la Unión Europea

C 26

Edición en lengua española

Comunicaciones e informaciones

51o año30 de enero de 2008

---

| Número de información | Sumario | Página |
| --- | --- | --- |
| | IV   Informaciones |
| | INFORMACIONES PROCEDENTES DE INSTITUCIONES Y ÓRGANOS DE LA UNIÓN EUROPEA |
| | Tribunal de Cuentas |
| 2008/C 026/01 | Informe Especial no 9/2007 sobre La evaluación de los programas marco de investigación y de desarrollo tecnológico (IDT) de la UE — ¿Podría mejorarse el enfoque de la Comisión?, acompañado de las respuestas de la Comisión | 1 |

Número de información

Sumario

Página

IV   Informaciones

INFORMACIONES PROCEDENTES DE INSTITUCIONES Y ÓRGANOS DE LA UNIÓN EUROPEA

Tribunal de Cuentas

2008/C 026/01

Informe Especial no 9/2007 sobre La evaluación de los programas marco de investigación y de desarrollo tecnológico (IDT) de la UE — ¿Podría mejorarse el enfoque de la Comisión?, acompañado de las respuestas de la Comisión

o

1

| ES | |
| --- | --- |

ES

---

IV Informaciones

INFORMACIONES PROCEDENTES DE INSTITUCIONES Y ÓRGANOS DE LA UNIÓN EUROPEA

Tribunal de Cuentas

| 30.1.2008 | ES | Diario Oficial de la Unión Europea | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

ES

Diario Oficial de la Unión Europea

C 26/1

---

INFORME ESPECIAL N
  o 9/2007

sobre «La evaluación de los programas marco de investigación y de desarrollo tecnológico (IDT) de la UE — ¿Podría mejorarse el enfoque de la Comisión?, » acompañado de las respuestas de la Comisión

(presentado en virtud del artículo 248 CE, apartado 4, párrafo segundo)

(2008/C 26/01)

ÍNDICE

| I-V | RESUMEN |
| --- | --- |

I-V

| 1-14 | INTRODUCCIÓN |
| --- | --- |

1-14

| 1-7 | Papel de la Unión Europea en el fomento de las acciones de IDT |
| --- | --- |

1-7

| 8-14 | Evaluación y seguimiento de los programas marco |
| --- | --- |

8-14

| 15-18 | ALCANCE Y ENFOQUE DE LA FISCALIZACIÓN |
| --- | --- |

15-18

| 19-109 | OBSERVACIONES DE LA FISCALIZACIÓN |
| --- | --- |

19-109

| 19-37 | Lógica de intervención, definición de los objetivos e indicadores de rendimiento |
| --- | --- |

19-37

| 38-49 | Estrategia de evaluación |
| --- | --- |

38-49

| 50-68 | Organización de la evaluación de los programas marco |
| --- | --- |

50-68

| 69-97 | Metodologías y técnicas de evaluación |
| --- | --- |

69-97

| 98-109 | Difusión y utilización de las constataciones de evaluación |
| --- | --- |

98-109

| 110-118 | CONCLUSIÓN GENERAL |
| --- | --- |

110-118

Anexo I: Determinación del impacto y de los resultados de la intervención pública en IDT

Anexo II: Disposiciones en materia de seguimiento y de evaluación en las decisiones legislativas relativas a los programas marco IV a VII

Anexo III: Principales diferencias de la evaluación ex post de los programas de investigación entre la UE (IV a VII programas marco), Estados Unidos y Canadá

Anexo IV: Posible estructura del panel de expertos del VII PM

Respuestas de la Comisión

RESUMEN

| I. | Los programas marco comunitarios de IDT constituyen la más importante fuente de financiación pública en materia de investigación en la Unión Europea. La Comisión se encarga de la gestión de estos programas y de la evaluación de sus resultados. |
| --- | --- |

I.

Los programas marco comunitarios de IDT constituyen la más importante fuente de financiación pública en materia de investigación en la Unión Europea. La Comisión se encarga de la gestión de estos programas y de la evaluación de sus resultados.

| II. | La fiscalización tuvo como objeto los sistemas de seguimiento y evaluación en vigor desde 1995 para los tres últimos períodos de programación (IV PM, V PM y VI PM), y también presenta una visión general del VII PM (2007-2013). La fiscalización contó con la participación del Tribunal de Cuentas de la AELC y con el apoyo de expertos externos. |
| --- | --- |

II.

La fiscalización tuvo como objeto los sistemas de seguimiento y evaluación en vigor desde 1995 para los tres últimos períodos de programación (IV PM, V PM y VI PM), y también presenta una visión general del VII PM (2007-2013). La fiscalización contó con la participación del Tribunal de Cuentas de la AELC y con el apoyo de expertos externos.

| III. | El objetivo de la fiscalización ha sido determinar si el enfoque adoptado por la Comisión para evaluar los resultados de los programas marco es el adecuado. En este contexto, el Tribunal verificó si la Comisión respetaba las obligaciones jurídicas relativas a la evaluación y si su sistema de evaluación y seguimiento respondía adecuadamente a las expectativas de las partes interesadas. El Tribunal examinó en particular si:






  i) | en los programas marco, y en sus programas constitutivos, subyace una lógica de intervención que proporcione una base sólida para la evaluación y el seguimiento, |
| --- | --- | --- |

III.

El objetivo de la fiscalización ha sido determinar si el enfoque adoptado por la Comisión para evaluar los resultados de los programas marco es el adecuado. En este contexto, el Tribunal verificó si la Comisión respetaba las obligaciones jurídicas relativas a la evaluación y si su sistema de evaluación y seguimiento respondía adecuadamente a las expectativas de las partes interesadas. El Tribunal examinó en particular si:

i)

en los programas marco, y en sus programas constitutivos, subyace una lógica de intervención que proporcione una base sólida para la evaluación y el seguimiento,

| ii) | la Comisión ha definido una estrategia de evaluación para los programas marco, |
| --- | --- |

ii)

la Comisión ha definido una estrategia de evaluación para los programas marco,

| iii) | la estructura organizativa del sistema de evaluación de la Comisión para los programas marco garantizaba que la evaluación estuviese adecuadamente coordinada, que dispusiese de recursos suficientes y que las partes interesadas la consideraran suficientemente independiente, |
| --- | --- |

iii)

la estructura organizativa del sistema de evaluación de la Comisión para los programas marco garantizaba que la evaluación estuviese adecuadamente coordinada, que dispusiese de recursos suficientes y que las partes interesadas la consideraran suficientemente independiente,

| iv) | las metodologías empleadas para la evaluación eran satisfactorias, |
| --- | --- |

iv)

las metodologías empleadas para la evaluación eran satisfactorias,

| v) | las actividades de evaluación y seguimiento proporcionaban información y análisis que pudieran ser utilizados para mejorar los programas en curso y para preparar los programas marco subsiguientes. |
| --- | --- |

v)

las actividades de evaluación y seguimiento proporcionaban información y análisis que pudieran ser utilizados para mejorar los programas en curso y para preparar los programas marco subsiguientes.

| IV. | Las constataciones y conclusiones del Tribunal fueron las siguientes:






  i) | la falta de una lógica de intervención explícita por una parte, unos objetivos de programa mal definidos, por otra, y una medición insuficiente del rendimiento afectaron negativamente a la eficacia del seguimiento y de la evaluación, |
| --- | --- | --- |

IV.

Las constataciones y conclusiones del Tribunal fueron las siguientes:

i)

la falta de una lógica de intervención explícita por una parte, unos objetivos de programa mal definidos, por otra, y una medición insuficiente del rendimiento afectaron negativamente a la eficacia del seguimiento y de la evaluación,

| ii) | la ausencia de una estrategia global de evaluación, acordada entre las «direcciones generales de investigación» para los programas marco, dio lugar a una falta de coherencia en los enfoques de los distintos servicios de la Comisión. Esta deficiencia se refleja en particular en una evaluación insuficiente de partes importantes de los programas marco, |
| --- | --- |

ii)

la ausencia de una estrategia global de evaluación, acordada entre las «direcciones generales de investigación» para los programas marco, dio lugar a una falta de coherencia en los enfoques de los distintos servicios de la Comisión. Esta deficiencia se refleja en particular en una evaluación insuficiente de partes importantes de los programas marco,

| iii) | la evaluación de los programas marco estaba descentralizada, los mecanismos de coordinación actuales de las direcciones generales encargadas de la ejecución de los programas marco no han resultado eficaces y los servicios centrales de la Comisión no desempeñaban la función de hacer aplicar las disposiciones. No obstante, en general las «direcciones generales de investigación» han cumplido los requisitos formales de la Comisión en materia de evaluación. El recurso a paneles de expertos externos de alto nivel designados por la Comisión para los principales ejercicios de evaluación se adecuaba bien al contexto comunitario. Sin embargo, estos paneles de carácter temporal no comenzaron a participar en el proceso con la antelación necesaria para influir en la recopilación de elementos probatorios y solo tenían posibilidades limitadas de seguir en el tiempo las cuestiones importantes. Al utilizar un único panel de expertos para el programa marco general (además de un panel para un programa específico), no se prestó la suficiente atención a las cuestiones específicas vinculadas a los distintos ámbitos científicos de los programas marco, |
| --- | --- |

iii)

la evaluación de los programas marco estaba descentralizada, los mecanismos de coordinación actuales de las direcciones generales encargadas de la ejecución de los programas marco no han resultado eficaces y los servicios centrales de la Comisión no desempeñaban la función de hacer aplicar las disposiciones. No obstante, en general las «direcciones generales de investigación» han cumplido los requisitos formales de la Comisión en materia de evaluación. El recurso a paneles de expertos externos de alto nivel designados por la Comisión para los principales ejercicios de evaluación se adecuaba bien al contexto comunitario. Sin embargo, estos paneles de carácter temporal no comenzaron a participar en el proceso con la antelación necesaria para influir en la recopilación de elementos probatorios y solo tenían posibilidades limitadas de seguir en el tiempo las cuestiones importantes. Al utilizar un único panel de expertos para el programa marco general (además de un panel para un programa específico), no se prestó la suficiente atención a las cuestiones específicas vinculadas a los distintos ámbitos científicos de los programas marco,

| iv) | las orientaciones metodológicas proporcionadas fueron inadecuadas, los evaluadores se vieron confrontados a dificultades para recopilar datos pertinentes y no se realizaron estudios de evaluación que abordaran los efectos e impactos a más largo plazo de los programas marco, frente a las cuestiones más inmediatas de ejecución de los programas, |
| --- | --- |

iv)

las orientaciones metodológicas proporcionadas fueron inadecuadas, los evaluadores se vieron confrontados a dificultades para recopilar datos pertinentes y no se realizaron estudios de evaluación que abordaran los efectos e impactos a más largo plazo de los programas marco, frente a las cuestiones más inmediatas de ejecución de los programas,

| v) | por consiguiente, y dado que las evaluaciones a menudo se efectuaron demasiado pronto para abordar las cuestiones más importantes, el sistema utilizado por la Comisión para evaluar los programas marco ha sido poco útil para los responsables de tomar decisiones políticas, para las partes interesadas o incluso para la propia Comisión. En definitiva, se dispone de poca información sobre la consecución de los objetivos del programa y los resultados de los programas marco. |
| --- | --- |

v)

por consiguiente, y dado que las evaluaciones a menudo se efectuaron demasiado pronto para abordar las cuestiones más importantes, el sistema utilizado por la Comisión para evaluar los programas marco ha sido poco útil para los responsables de tomar decisiones políticas, para las partes interesadas o incluso para la propia Comisión. En definitiva, se dispone de poca información sobre la consecución de los objetivos del programa y los resultados de los programas marco.

| V. | El Tribunal recomienda lo siguiente:






  i) | debería definirse una lógica de intervención más explícita en la futura legislación. Sería conveniente explicar las hipótesis subyacentes, clarificar el vínculo entre los objetivos científicos y socioeconómicos, y elaborar unos indicadores de rendimiento apropiados, |
| --- | --- | --- |

V.

El Tribunal recomienda lo siguiente:

i)

debería definirse una lógica de intervención más explícita en la futura legislación. Sería conveniente explicar las hipótesis subyacentes, clarificar el vínculo entre los objetivos científicos y socioeconómicos, y elaborar unos indicadores de rendimiento apropiados,

| ii) | las direcciones generales que ejecutan los programas marco deberían desarrollar (y acordar) una estrategia global de evaluación. En particular, esta debería comportar un enfoque coherente sobre el nivel mínimo a partir del cual debe llevarse a cabo una evaluación detallada, con el fin de tener en cuenta las particularidades de cada ámbito científico, |
| --- | --- |

ii)

las direcciones generales que ejecutan los programas marco deberían desarrollar (y acordar) una estrategia global de evaluación. En particular, esta debería comportar un enfoque coherente sobre el nivel mínimo a partir del cual debe llevarse a cabo una evaluación detallada, con el fin de tener en cuenta las particularidades de cada ámbito científico,

| iii) | debería contemplarse la creación de una oficina de evaluación conjunta para coordinar las actividades de evaluación de las «direcciones generales de investigación» para el programa marco en su conjunto, así como el establecimiento de un sistema de paneles (y subpaneles) compuestos de expertos externos. Dichos paneles deberían constituirse con la antelación suficiente para proporcionar un apoyo eficaz a la Comisión, y continuar haciéndolo durante todo el período de programación y posteriormente, |
| --- | --- |

iii)

debería contemplarse la creación de una oficina de evaluación conjunta para coordinar las actividades de evaluación de las «direcciones generales de investigación» para el programa marco en su conjunto, así como el establecimiento de un sistema de paneles (y subpaneles) compuestos de expertos externos. Dichos paneles deberían constituirse con la antelación suficiente para proporcionar un apoyo eficaz a la Comisión, y continuar haciéndolo durante todo el período de programación y posteriormente,

| iv) | deberían analizarse adecuadamente las necesidades en materia de datos para la evaluación y el seguimiento, y habría que hacer un mayor uso de otras fuentes existentes de datos. La Comisión también tendría que racionalizar las exigencias impuestas a los participantes en lo que respecta a la presentación de informes. Por último, debería elaborar un manual de evaluación detallado para los programas marco y desarrollar una gama más amplia de metodologías y técnicas que puedan aplicarse a las evaluaciones en este ámbito, |
| --- | --- |

iv)

deberían analizarse adecuadamente las necesidades en materia de datos para la evaluación y el seguimiento, y habría que hacer un mayor uso de otras fuentes existentes de datos. La Comisión también tendría que racionalizar las exigencias impuestas a los participantes en lo que respecta a la presentación de informes. Por último, debería elaborar un manual de evaluación detallado para los programas marco y desarrollar una gama más amplia de metodologías y técnicas que puedan aplicarse a las evaluaciones en este ámbito,

| v) | deberían analizarse adecuadamente las necesidades en materia de datos para la evaluación y el seguimiento, y habría que hacer un mayor uso de otras fuentes existentes de datos. La Comisión también tendría que racionalizar las exigencias impuestas a los participantes en lo que respecta a la presentación de informes. Por último, debería elaborar un manual de evaluación detallado para los programas marco y desarrollar una gama más amplia de metodologías y técnicas que puedan aplicarse a las evaluaciones en este ámbito. |
| --- | --- |

v)

deberían analizarse adecuadamente las necesidades en materia de datos para la evaluación y el seguimiento, y habría que hacer un mayor uso de otras fuentes existentes de datos. La Comisión también tendría que racionalizar las exigencias impuestas a los participantes en lo que respecta a la presentación de informes. Por último, debería elaborar un manual de evaluación detallado para los programas marco y desarrollar una gama más amplia de metodologías y técnicas que puedan aplicarse a las evaluaciones en este ámbito.

INTRODUCCIÓN

Papel de la Unión Europea en el fomento de las acciones de IDT

| 1. | La investigación y el desarrollo tecnológico (IDT) (1) constituyen el principal motor del progreso científico y tecnológico, así como de la innovación, y como tales contribuyen particularmente a la mejora del nivel de vida. La intervención pública en el ámbito de la IDT se justifica generalmente como medida correctora para paliar las denominadas «deficiencias del mercado», es decir, que las ayudas públicas contribuyen a reducir las incertidumbres, y son una fuente de inversión cuando la investigación representa un bien público o cuando existen importantes externalidades. |
| --- | --- |

1.

La investigación y el desarrollo tecnológico (IDT) (1) constituyen el principal motor del progreso científico y tecnológico, así como de la innovación, y como tales contribuyen particularmente a la mejora del nivel de vida. La intervención pública en el ámbito de la IDT se justifica generalmente como medida correctora para paliar las denominadas «deficiencias del mercado», es decir, que las ayudas públicas contribuyen a reducir las incertidumbres, y son una fuente de inversión cuando la investigación representa un bien público o cuando existen importantes externalidades.

| 2. | El artículo 163 del Tratado constitutivo de la Comunidad Europea define el papel de la Comunidad en el fomento de la IDT, ya que prevé que «la Comunidad tiene como objetivo fortalecer las bases científicas y tecnológicas de su industria y favorecer el desarrollo de su competitividad internacional, así como fomentar todas las acciones de investigación que se consideren necesarias...». Los artículos 164 a 173 determinan las acciones que deberán llevarse a cabo en este ámbito, así como el campo de aplicación y la ejecución de los programas marco plurianuales de IDT. La Comisión se encarga de presentar propuestas de programas marco, mientras que las decisiones relativas a los mismos y las normas en materia de participación y de difusión son adoptadas según el procedimiento de codecisión por el Parlamento Europeo y por el Consejo. En cambio, los programas específicos son adoptados sólo por el Consejo. Los programas marco son ejecutados por seis direcciones generales conjuntamente, las denominadas «direcciones generales de investigación» (2). |
| --- | --- |

2.

El artículo 163 del Tratado constitutivo de la Comunidad Europea define el papel de la Comunidad en el fomento de la IDT, ya que prevé que «la Comunidad tiene como objetivo fortalecer las bases científicas y tecnológicas de su industria y favorecer el desarrollo de su competitividad internacional, así como fomentar todas las acciones de investigación que se consideren necesarias...». Los artículos 164 a 173 determinan las acciones que deberán llevarse a cabo en este ámbito, así como el campo de aplicación y la ejecución de los programas marco plurianuales de IDT. La Comisión se encarga de presentar propuestas de programas marco, mientras que las decisiones relativas a los mismos y las normas en materia de participación y de difusión son adoptadas según el procedimiento de codecisión por el Parlamento Europeo y por el Consejo. En cambio, los programas específicos son adoptados sólo por el Consejo. Los programas marco son ejecutados por seis direcciones generales conjuntamente, las denominadas «direcciones generales de investigación» (2).

| 3. | Entre la amplia gama de políticas desarrolladas en la Unión Europea con el objetivo de reforzar la innovación y la competitividad, los programas marco constituyen el instrumento financiero más importante en cuanto a su contribución a la estrategia de Lisboa (3) y al objetivo de Barcelona (4) a nivel comunitario. |
| --- | --- |

3.

Entre la amplia gama de políticas desarrolladas en la Unión Europea con el objetivo de reforzar la innovación y la competitividad, los programas marco constituyen el instrumento financiero más importante en cuanto a su contribución a la estrategia de Lisboa (3) y al objetivo de Barcelona (4) a nivel comunitario.

Image

| 4. | A través de los programas marco, la Comunidad otorga financiación a los investigadores de la Unión Europea, de los países asociados y de los organismos internacionales. Los presupuestos de estos programas han experimentado un incremento considerable a lo largo de los años, alcanzando 7 217 millones de euros anuales con el VII PM, frente a los 2 761 millones de euros en el marco del IV PM (véase el gráfico 1). En términos de créditos presupuestarios, representan el mayor ámbito de gestión directa y centralizada en la Comisión (5). |
| --- | --- |

4.

A través de los programas marco, la Comunidad otorga financiación a los investigadores de la Unión Europea, de los países asociados y de los organismos internacionales. Los presupuestos de estos programas han experimentado un incremento considerable a lo largo de los años, alcanzando 7 217 millones de euros anuales con el VII PM, frente a los 2 761 millones de euros en el marco del IV PM (véase el gráfico 1). En términos de créditos presupuestarios, representan el mayor ámbito de gestión directa y centralizada en la Comisión (5).

| 5. | Los programas marco, a diferencia de muchos programas nacionales, abarcan tanto la investigación fundamental como la investigación aplicada, y en ellos participan empresas y organismos públicos de investigación (6). Están compuestos de varios programas (y subprogramas) específicos que tienen como objeto amplios ámbitos científicos. A su vez, estos programas se subdividen generalmente en diversas áreas centradas en una rama científica más concreta. A continuación, tras un procedimiento de licitación, estas áreas se ejecutan a través de proyectos (denominados «acciones indirectas»), financiándose así cientos de proyectos específicos por área. |
| --- | --- |

5.

Los programas marco, a diferencia de muchos programas nacionales, abarcan tanto la investigación fundamental como la investigación aplicada, y en ellos participan empresas y organismos públicos de investigación (6). Están compuestos de varios programas (y subprogramas) específicos que tienen como objeto amplios ámbitos científicos. A su vez, estos programas se subdividen generalmente en diversas áreas centradas en una rama científica más concreta. A continuación, tras un procedimiento de licitación, estas áreas se ejecutan a través de proyectos (denominados «acciones indirectas»), financiándose así cientos de proyectos específicos por área.

| 6. | La contribución global de los programas marco en el conjunto de la financiación pública de IDT en la Unión Europea y en sus Estados miembros oscila entre un 4 % y un 5 %. Sin embargo, su impacto en el tipo de acciones de investigación llevadas a cabo en Europa resulta mucho más importante. En efecto, por lo general las subvenciones comunitarias solo financian los proyectos parcialmente. Además, cuando solicitan financiación, los investigadores deben demostrar que sus proyectos están orientados hacia los objetivos formulados en las licitaciones. Así pues, los programas marco constituyen un incentivo para que las acciones de IDT se orienten hacia objetivos comunitarios específicos. |
| --- | --- |

6.

La contribución global de los programas marco en el conjunto de la financiación pública de IDT en la Unión Europea y en sus Estados miembros oscila entre un 4 % y un 5 %. Sin embargo, su impacto en el tipo de acciones de investigación llevadas a cabo en Europa resulta mucho más importante. En efecto, por lo general las subvenciones comunitarias solo financian los proyectos parcialmente. Además, cuando solicitan financiación, los investigadores deben demostrar que sus proyectos están orientados hacia los objetivos formulados en las licitaciones. Así pues, los programas marco constituyen un incentivo para que las acciones de IDT se orienten hacia objetivos comunitarios específicos.

| 7. | En los últimos años se han producido grandes cambios en los programas marco, debidos a:






  — | la aparición de nuevos desafíos políticos (la estrategia de Lisboa y el objetivo de Barcelona, la creación de un «Espacio Europeo de Investigación» (EEI) y el recurso cada vez más frecuente al método abierto de coordinación (7) para las políticas en materia de investigación y de innovación), |
| --- | --- | --- |

7.

En los últimos años se han producido grandes cambios en los programas marco, debidos a:

—

la aparición de nuevos desafíos políticos (la estrategia de Lisboa y el objetivo de Barcelona, la creación de un «Espacio Europeo de Investigación» (EEI) y el recurso cada vez más frecuente al método abierto de coordinación (7) para las políticas en materia de investigación y de innovación),

| — | el cambio de orientación de los programas marco, desde la simple resolución de problemas técnicos en el IV PM, a la promoción de la cooperación entre organismos de investigación en el marco de ERA, así como a la contribución al desarrollo de una economía y de una sociedad basadas en el conocimiento en los VI y VII PM, pasando por el tratamiento de los problemas sociales específicos en el V PM, |
| --- | --- |

—

el cambio de orientación de los programas marco, desde la simple resolución de problemas técnicos en el IV PM, a la promoción de la cooperación entre organismos de investigación en el marco de ERA, así como a la contribución al desarrollo de una economía y de una sociedad basadas en el conocimiento en los VI y VII PM, pasando por el tratamiento de los problemas sociales específicos en el V PM,

| — | la prolongación de los períodos de programación (de los cuatro años en el pasado, a los siete años actualmente del VII PM, en consonancia con las perspectivas financieras 2007-2013), |
| --- | --- |

—

la prolongación de los períodos de programación (de los cuatro años en el pasado, a los siete años actualmente del VII PM, en consonancia con las perspectivas financieras 2007-2013),

| — | un mayor número de Estados miembros y de países participantes, |
| --- | --- |

—

un mayor número de Estados miembros y de países participantes,

| — | el aumento de la financiación, en particular en el marco de las perspectivas financieras actuales, |
| --- | --- |

—

el aumento de la financiación, en particular en el marco de las perspectivas financieras actuales,

| — | la creación del Consejo Europeo de Investigación (CEI) y la delegación de actividades de gestión de los programas a las agencias ejecutivas a partir del VII PM, |
| --- | --- |

—

la creación del Consejo Europeo de Investigación (CEI) y la delegación de actividades de gestión de los programas a las agencias ejecutivas a partir del VII PM,

| — | el mayor uso de instrumentos de financiación a gran escala (por ejemplo: las redes de excelencia, los proyectos integrados, los proyectos en virtud del artículo 169, las iniciativas tecnológicas conjuntas). |
| --- | --- |

—

el mayor uso de instrumentos de financiación a gran escala (por ejemplo: las redes de excelencia, los proyectos integrados, los proyectos en virtud del artículo 169, las iniciativas tecnológicas conjuntas).

Evaluación y seguimiento de los programas marco

| 8. | La Comisión se encarga de la ejecución de los programas y de la evaluación de sus resultados (8). Dentro de esta institución, las direcciones generales llevan a cabo la evaluación de forma descentralizada, mientras que los servicios centrales (en particular, la Dirección General de Presupuestos y la Secretaría General) se encargan del apoyo y de la coordinación. |
| --- | --- |

8.

La Comisión se encarga de la ejecución de los programas y de la evaluación de sus resultados (8). Dentro de esta institución, las direcciones generales llevan a cabo la evaluación de forma descentralizada, mientras que los servicios centrales (en particular, la Dirección General de Presupuestos y la Secretaría General) se encargan del apoyo y de la coordinación.

| 9. | Las definiciones utilizadas en el presente informe son las acuñadas por la Comisión: por «evaluación» se entiende «juicio sobre las actuaciones, teniendo en cuenta los resultados, los efectos y las necesidades que se pretendía satisfacer» (9), y se habla de «seguimiento» cuando se facilita información sobre la ejecución de los programas y proyectos en curso con el fin de proveer a las necesidades de gestión (10). Esta constituye también la definición y distinción de ambas actividades en la legislación vigente relativa al VII PM. |
| --- | --- |

9.

Las definiciones utilizadas en el presente informe son las acuñadas por la Comisión: por «evaluación» se entiende «juicio sobre las actuaciones, teniendo en cuenta los resultados, los efectos y las necesidades que se pretendía satisfacer» (9), y se habla de «seguimiento» cuando se facilita información sobre la ejecución de los programas y proyectos en curso con el fin de proveer a las necesidades de gestión (10). Esta constituye también la definición y distinción de ambas actividades en la legislación vigente relativa al VII PM.

| 10. | En lo sucesivo, se emplearán los términos siguientes para describir los resultados de las acciones de IDT:






  — | «las realizaciones» son los conocimientos, bienes y servicios directamente producidos como consecuencia de la intervención pública (publicaciones, ensayos de conferencias, patentes, licencias, prototipos, estándares, científicos cualificados, etc.), |
| --- | --- | --- |

10.

En lo sucesivo, se emplearán los términos siguientes para describir los resultados de las acciones de IDT:

—

«las realizaciones» son los conocimientos, bienes y servicios directamente producidos como consecuencia de la intervención pública (publicaciones, ensayos de conferencias, patentes, licencias, prototipos, estándares, científicos cualificados, etc.),

| — | «los logros» constituyen los resultados subsiguientes de la explotación de las realizaciones por los usuarios, |
| --- | --- |

—

«los logros» constituyen los resultados subsiguientes de la explotación de las realizaciones por los usuarios,

| — | «el impacto» corresponde a los cambios socioeconómicos y políticos a largo plazo ocasionados por la intervención pública. |
| --- | --- |

—

«el impacto» corresponde a los cambios socioeconómicos y políticos a largo plazo ocasionados por la intervención pública.

Recuadro 1Ejemplo del «Sistema global para comunicaciones móviles» (GSM)En este caso, las «realizaciones» de la financiación comunitaria correspondían a los resultados inmediatos del proyecto, como la elaboración del estándar GSM. Los «logros» constituían su aceptación como norma de telefonía celular digital en los países europeos y en otros países, lo que ha contribuido en gran medida al desarrollo del sector de las telecomunicaciones. Por último, el «impacto» lo constituyeron las consecuencias económicas, sociales y políticas de la aplicación de esta tecnología a nivel internacional. Entre ellas figuran la contribución a la creación de empleo en el sector de las telecomunicaciones y en sectores conexos, así como el auge de este sector para la economía europea. A la larga, el sistema GSM también ha proporcionado un nuevo medio de comunicación interpersonal.

| 11. | No obstante, la apreciación de estos resultados plantea diversas dificultades metodológicas (véase el anexo I). Los cambios socioeconómicos se caracterizan por su complejidad y, en concreto, a menudo resulta difícil establecer la relación entre una actividad de investigación y los efectos e impactos que se observan. Pese a constituir un desafío considerable, estas dificultades metodológicas no impiden necesariamente una evaluación eficaz. |
| --- | --- |

11.

No obstante, la apreciación de estos resultados plantea diversas dificultades metodológicas (véase el anexo I). Los cambios socioeconómicos se caracterizan por su complejidad y, en concreto, a menudo resulta difícil establecer la relación entre una actividad de investigación y los efectos e impactos que se observan. Pese a constituir un desafío considerable, estas dificultades metodológicas no impiden necesariamente una evaluación eficaz.

| 12. | Desde los años ochenta, la Comisión puso en funcionamiento un sistema de seguimiento y evaluación de los programas marco (11). A partir del IV PM, a mediados de los años noventa, el sistema de seguimiento y evaluación consistía en una serie de actividades parcialmente relacionadas, entre las que figuran:






  — | seguimiento anual (de la ejecución de los programas principalmente), |
| --- | --- | --- |

12.

Desde los años ochenta, la Comisión puso en funcionamiento un sistema de seguimiento y evaluación de los programas marco (11). A partir del IV PM, a mediados de los años noventa, el sistema de seguimiento y evaluación consistía en una serie de actividades parcialmente relacionadas, entre las que figuran:

—

seguimiento anual (de la ejecución de los programas principalmente),

| — | evaluaciones quinquenales de las actividades de los programas marco (y, a partir del VI PM, evaluaciones complementarias de cuestiones específicas). |
| --- | --- |

—

evaluaciones quinquenales de las actividades de los programas marco (y, a partir del VI PM, evaluaciones complementarias de cuestiones específicas).

Ambas actividades tuvieron que llevarse a cabo con la asistencia de expertos externos (véase el gráfico 2 y el anexo II).

Gráfico 2

Principales disposiciones relativas al seguimiento y a la evaluación de los programas marco IV-VII

| IV PM (1995-1998) | V PM (1999-2002) | VI PM (2003-2006) | VII PM (2007-2013) |
| --- | --- | --- | --- |
| Dos ejercicios de evaluación (a medio plazo y final), en cada caso para sus 20 subprogramas más el programa marco; la evaluación final coincide con la evaluación a medio plazo del V PM | Dos ejercicios de evaluación simultáneos (a medio plazo), en cada caso para sus siete programas específicos más el programa marco | Un ejercicio de evaluación para el programa marco y sus tres programas específicos (a medio plazo), pero no para cada uno de los 20 subprogramas, completado por una evaluación específica y por informes regulares sobre los avances realizados (informes de seguimiento) | Al menos cinco ejercicios de evaluación (ex ante, a medio plazo y final) que comprenden informes específicos sobre los avances realizados antes de la evaluación intermedia |
| 1. | Ex ante:
  no |

IV PM (1995-1998)

V PM (1999-2002)

VI PM (2003-2006)

VII PM (2007-2013)

Dos ejercicios de evaluación (a medio plazo y final), en cada caso para sus 20 subprogramas más el programa marco; la evaluación final coincide con la evaluación a medio plazo del V PM

Dos ejercicios de evaluación simultáneos (a medio plazo), en cada caso para sus siete programas específicos más el programa marco

Un ejercicio de evaluación para el programa marco y sus tres programas específicos (a medio plazo), pero no para cada uno de los 20 subprogramas, completado por una evaluación específica y por informes regulares sobre los avances realizados (informes de seguimiento)

Al menos cinco ejercicios de evaluación (ex ante, a medio plazo y final) que comprenden informes específicos sobre los avances realizados antes de la evaluación intermedia

1.

Ex ante:
  no

| 1. | Ex ante:
  no |
| --- | --- |

1.

Ex ante:
  no

| 1. | Ex ante:
  no |
| --- | --- |

1.

Ex ante:
  no

| 1. | Ex ante:

  integrada en la evaluación del impacto de la propuesta de la Comisión relativa al VII PM (2005) |
| --- | --- |

1.

integrada en la evaluación del impacto de la propuesta de la Comisión relativa al VII PM (2005)

| 2. | A medio plazo:






  — | «evaluación quinquenal»: a la mitad del PM, anterior al programa marco subsiguiente (1997) |
| --- | --- | --- |

2.

—

«evaluación quinquenal»: a la mitad del PM, anterior al programa marco subsiguiente (1997)

| 2. | A medio plazo:






  — | evaluación quinquenal: antes de la presentación de la propuesta para el programa marco subsiguiente (2000) |
| --- | --- | --- |

2.

—

evaluación quinquenal: antes de la presentación de la propuesta para el programa marco subsiguiente (2000)

| — | examen de los avances realizados a la mitad del programa marco (2001) |
| --- | --- |

—

examen de los avances realizados a la mitad del programa marco (2001)

| 2. | A medio plazo:






  — | evaluación de la eficacia de los instrumentos (2004) |
| --- | --- | --- |

2.

—

evaluación de la eficacia de los instrumentos (2004)

| — | evaluación quinquenal, antes de la presentación de la propuesta para el programa marco subsiguiente (2004) |
| --- | --- |

—

evaluación quinquenal, antes de la presentación de la propuesta para el programa marco subsiguiente (2004)

| — | informes regulares sobre los avances realizados (informes de seguimiento) |
| --- | --- |

—

informes regulares sobre los avances realizados (informes de seguimiento)

| 2. | A medio plazo:






  — | ex post, dos años después del término del anterior programa marco (2008) |
| --- | --- | --- |

2.

—

ex post, dos años después del término del anterior programa marco (2008)

| — | informe sobre los avances realizados antes de la evaluación intermedia (antes de 2010) |
| --- | --- |

—

informe sobre los avances realizados antes de la evaluación intermedia (antes de 2010)

| — | evaluación intermedia (2010) |
| --- | --- |

—

evaluación intermedia (2010)

| 3. | Final:






  — | al término del programa marco (1999) |
| --- | --- | --- |

3.

—

al término del programa marco (1999)

| 3. | Final:
  no |
| --- | --- |

3.

no

| 3. | Final:
  no

  [modificada por la decisión relativa al VII PM] |
| --- | --- |

3.

no

[modificada por la decisión relativa al VII PM]

| 3. | Final:
  dos años después del término del programa marco (2015), basado en estudios específicos, en la evaluación intermedia y en otras actividades de evaluación llevadas a cabo a lo largo del período del programa marco |
| --- | --- |

3.

dos años después del término del programa marco (2015), basado en estudios específicos, en la evaluación intermedia y en otras actividades de evaluación llevadas a cabo a lo largo del período del programa marco

Fuente: Véase el anexo II.

| 13. | Hasta la fecha, se han realizado tres evaluaciones quinquenales (12), que han dado lugar a los informes «Davignon», «Majó» y «Ormala» (en 1997, 2000 y 2004 respectivamente). Por otra parte, la Dirección General de Sociedad de la Información llevó a cabo evaluaciones con objetivos determinados de su programa específico. Cabe señalar que las evaluaciones quinquenales se han interrumpido tras la adopción de la legislación relativa al VII PM, eliminando así la limitación que suponía centrar los principales ejercicios de evaluación en los cinco años anteriores y, por tanto, abarcar parcialmente dos períodos de programación sucesivos. En 2004, también se publicó el informe «Marimón» (13), que evalúa específicamente la efectividad de los nuevos instrumentos introducidos en el marco del VI PM. |
| --- | --- |

13.

Hasta la fecha, se han realizado tres evaluaciones quinquenales (12), que han dado lugar a los informes «Davignon», «Majó» y «Ormala» (en 1997, 2000 y 2004 respectivamente). Por otra parte, la Dirección General de Sociedad de la Información llevó a cabo evaluaciones con objetivos determinados de su programa específico. Cabe señalar que las evaluaciones quinquenales se han interrumpido tras la adopción de la legislación relativa al VII PM, eliminando así la limitación que suponía centrar los principales ejercicios de evaluación en los cinco años anteriores y, por tanto, abarcar parcialmente dos períodos de programación sucesivos. En 2004, también se publicó el informe «Marimón» (13), que evalúa específicamente la efectividad de los nuevos instrumentos introducidos en el marco del VI PM.

| 14. | En 2000 y en 2002 (14) se revisó el marco de las actividades de evaluación de la Comisión. Estas comunicaciones se actualizaron en 2007 tomando en consideración las implicaciones de la reforma administrativa de la Comisión y del nuevo Reglamento financiero (15). En estos documentos se describe el papel y la función de la evaluación en el contexto del ciclo global de planificación, programación y elaboración de informes de la Comisión, y se hace mención de un conjunto de 21 normas de evaluación y 18 modelos de «buenas prácticas». Además, los mencionados documentos tratan el uso de la evaluación en el proceso de preparar y simplificar la legislación de la UE. |
| --- | --- |

14.

En 2000 y en 2002 (14) se revisó el marco de las actividades de evaluación de la Comisión. Estas comunicaciones se actualizaron en 2007 tomando en consideración las implicaciones de la reforma administrativa de la Comisión y del nuevo Reglamento financiero (15). En estos documentos se describe el papel y la función de la evaluación en el contexto del ciclo global de planificación, programación y elaboración de informes de la Comisión, y se hace mención de un conjunto de 21 normas de evaluación y 18 modelos de «buenas prácticas». Además, los mencionados documentos tratan el uso de la evaluación en el proceso de preparar y simplificar la legislación de la UE.

ALCANCE Y ENFOQUE DE LA FISCALIZACIÓN

15.

| 15. | El objetivo principal de la fiscalización ha consistido en determinar si la Comisión aplicaba un enfoque adecuado para apreciar los resultados de los programas marco de IDT. |
| --- | --- |

El objetivo principal de la fiscalización ha consistido en determinar si la Comisión aplicaba un enfoque adecuado para apreciar los resultados de los programas marco de IDT.

| 16. | Con este fin, el Tribunal comprobó en qué medida:






  — | subyace una lógica de intervención explícita en los programas marco, y en sus programas constitutivos, que permita medir y evaluar las realizaciones, los logros y los impactos, generando así una base sólida para la evaluación y el seguimiento, |
| --- | --- | --- |

16.

Con este fin, el Tribunal comprobó en qué medida:

—

subyace una lógica de intervención explícita en los programas marco, y en sus programas constitutivos, que permita medir y evaluar las realizaciones, los logros y los impactos, generando así una base sólida para la evaluación y el seguimiento,

| — | se ha definido una estrategia de evaluación para los programas marco con el fin de promover una evaluación eficaz y coherente, |
| --- | --- |

—

se ha definido una estrategia de evaluación para los programas marco con el fin de promover una evaluación eficaz y coherente,

| — | la estructura organizativa del sistema de evaluación garantiza que este esté coordinado de manera adecuada en el conjunto del programa marco, que disponga de recursos suficientes y de un grado de independencia considerado satisfactorio por las partes interesadas, |
| --- | --- |

—

la estructura organizativa del sistema de evaluación garantiza que este esté coordinado de manera adecuada en el conjunto del programa marco, que disponga de recursos suficientes y de un grado de independencia considerado satisfactorio por las partes interesadas,

| — | las metodologías empleadas para la evaluación permiten afirmar que las cuestiones importantes se abordan adecuadamente, de forma que la evaluación pueda considerarse verosímil, |
| --- | --- |

—

las metodologías empleadas para la evaluación permiten afirmar que las cuestiones importantes se abordan adecuadamente, de forma que la evaluación pueda considerarse verosímil,

| — | las actividades de evaluación y seguimiento proporcionan información y análisis que pueden ser utilizados para mejorar los programas en curso («programas de aprendizaje») y para preparar los programas marco subsiguientes. |
| --- | --- |

—

las actividades de evaluación y seguimiento proporcionan información y análisis que pueden ser utilizados para mejorar los programas en curso («programas de aprendizaje») y para preparar los programas marco subsiguientes.

| 17. | El presente informe analiza los sistemas de evaluación aplicables relativos a los IV PM (1995-1998), V PM (1999-2002) y VI PM (2003-2006). También aborda las obligaciones jurídicas actualmente en vigor en el VII PM (2007-2013), pero no proporciona una apreciación de la «Evaluación de impacto y evaluación ex ante del VII PM» de la Comisión (16). Además, se centra particularmente en el seguimiento y en la evaluación ex post de los programas, y no en la evaluación ex ante de las propuestas de proyectos ni en la evaluación ex post de los proyectos propiamente dichos. |
| --- | --- |

17.

El presente informe analiza los sistemas de evaluación aplicables relativos a los IV PM (1995-1998), V PM (1999-2002) y VI PM (2003-2006). También aborda las obligaciones jurídicas actualmente en vigor en el VII PM (2007-2013), pero no proporciona una apreciación de la «Evaluación de impacto y evaluación ex ante del VII PM» de la Comisión (16). Además, se centra particularmente en el seguimiento y en la evaluación ex post de los programas, y no en la evaluación ex ante de las propuestas de proyectos ni en la evaluación ex post de los proyectos propiamente dichos.

| 18. | La fiscalización contó con la participación del Tribunal de Cuentas de la AELC y con el apoyo de expertos externos. Las pruebas de auditoría se obtuvieron mediante:






  — | trabajos de auditoría realizados en la Comisión (comprobación documental y entrevistas a los agentes), que consistieron en la identificación de las obligaciones jurídicas y reglamentarias, un examen de los objetivos y de los criterios de rendimiento, y el análisis de más de 80 informes de seguimiento y de evaluación, así como de la organización de las actividades de evaluación en la Comisión, |
| --- | --- | --- |

18.

La fiscalización contó con la participación del Tribunal de Cuentas de la AELC y con el apoyo de expertos externos. Las pruebas de auditoría se obtuvieron mediante:

—

trabajos de auditoría realizados en la Comisión (comprobación documental y entrevistas a los agentes), que consistieron en la identificación de las obligaciones jurídicas y reglamentarias, un examen de los objetivos y de los criterios de rendimiento, y el análisis de más de 80 informes de seguimiento y de evaluación, así como de la organización de las actividades de evaluación en la Comisión,

| — | entrevistas a más de 90 expertos identificados como partes interesadas (stakeholders) en los Estados miembros y países asociados (República Checa, Alemania, Estonia, España, Francia, Italia, Luxemburgo, Países Bajos, Austria, Finlandia, Suecia, Reino Unido y Noruega), |
| --- | --- |

—

entrevistas a más de 90 expertos identificados como partes interesadas (stakeholders) en los Estados miembros y países asociados (República Checa, Alemania, Estonia, España, Francia, Italia, Luxemburgo, Países Bajos, Austria, Finlandia, Suecia, Reino Unido y Noruega),

| — | encuestas a las partes interesadas institucionales de la comisión ITRE (17) del Parlamento Europeo y del comité CREST (18) del Consejo, |
| --- | --- |

—

encuestas a las partes interesadas institucionales de la comisión ITRE (17) del Parlamento Europeo y del comité CREST (18) del Consejo,

| — | la consulta en los EE.UU. y en Canadá a más de 65 expertos en el ámbito de la evaluación de la investigación, como grupo de comparación internacional, |
| --- | --- |

—

la consulta en los EE.UU. y en Canadá a más de 65 expertos en el ámbito de la evaluación de la investigación, como grupo de comparación internacional,

| — | un examen de la literatura especializada sobre las tendencias actuales en materia de evaluación de la investigación, |
| --- | --- |

—

un examen de la literatura especializada sobre las tendencias actuales en materia de evaluación de la investigación,

| — | el debate de los resultados, conclusiones y recomendaciones de la fiscalización, en colaboración con expertos europeos y norteamericanos en evaluación de la investigación, a lo largo de varias reuniones del grupo de enfoque (focus group) facilitadas por expertos que tuvieron lugar en febrero de 2007. |
| --- | --- |

—

el debate de los resultados, conclusiones y recomendaciones de la fiscalización, en colaboración con expertos europeos y norteamericanos en evaluación de la investigación, a lo largo de varias reuniones del grupo de enfoque (focus group) facilitadas por expertos que tuvieron lugar en febrero de 2007.

OBSERVACIONES DE LA FISCALIZACIÓN

Lógica de intervención, definición de los objetivos e indicadores de rendimiento

| 19. | Para que la evaluación y el seguimiento sean eficaces, conviene determinar, a nivel de la política, del programa y del proyecto, unos objetivos claros y unos indicadores de rendimiento pertinentes que permitan evaluar los resultados de una intervención pública. Buenas prácticas en otros ámbitos presupuestarios de la UE y de otros países indican que estos objetivos e indicadores deberían fijarse en el marco de una lógica de intervención. |
| --- | --- |

19.

Para que la evaluación y el seguimiento sean eficaces, conviene determinar, a nivel de la política, del programa y del proyecto, unos objetivos claros y unos indicadores de rendimiento pertinentes que permitan evaluar los resultados de una intervención pública. Buenas prácticas en otros ámbitos presupuestarios de la UE y de otros países indican que estos objetivos e indicadores deberían fijarse en el marco de una lógica de intervención.

| 20. | La lógica de intervención puede definirse como un conjunto de vínculos hipotéticos de causa y efecto que describen de qué forma una intervención puede alcanzar sus objetivos globales (19). Las directrices de la Comisión en materia de evaluación indican que la lógica de intervención establece el vínculo conceptual desde los recursos de una intervención hasta la obtención de sus realizaciones y, posteriormente, hasta su impacto en la sociedad en términos de resultados y logros (20). Esta es la definición utilizada en el presente informe. |
| --- | --- |

20.

La lógica de intervención puede definirse como un conjunto de vínculos hipotéticos de causa y efecto que describen de qué forma una intervención puede alcanzar sus objetivos globales (19). Las directrices de la Comisión en materia de evaluación indican que la lógica de intervención establece el vínculo conceptual desde los recursos de una intervención hasta la obtención de sus realizaciones y, posteriormente, hasta su impacto en la sociedad en términos de resultados y logros (20). Esta es la definición utilizada en el presente informe.

| 21. | El Tribunal evaluó en qué medida se estableció una lógica de intervención en los programas marco y en sus programas constitutivos, obteniéndose así una base sólida para la evaluación y el seguimiento. |
| --- | --- |

21.

El Tribunal evaluó en qué medida se estableció una lógica de intervención en los programas marco y en sus programas constitutivos, obteniéndose así una base sólida para la evaluación y el seguimiento.

La lógica de intervención en el caso de los programas marco no ha sido explícita

| 22. | Desde el principio, la definición de una lógica de intervención debería constituir un elemento clave de la concepción de un programa. El artículo 163 del Tratado, que prevé la necesidad de fortalecer las bases científicas y tecnológicas y de favorecer el desarrollo de la competitividad, debería servir de punto de partida para esta lógica de intervención en los programas marco (véase el apartado 2). Dicha lógica debería alcanzar un mayor nivel de concretización en lo que respecta a los distintos ámbitos científicos objeto de los programas marco y a los diversos instrumentos empleados. |
| --- | --- |

22.

Desde el principio, la definición de una lógica de intervención debería constituir un elemento clave de la concepción de un programa. El artículo 163 del Tratado, que prevé la necesidad de fortalecer las bases científicas y tecnológicas y de favorecer el desarrollo de la competitividad, debería servir de punto de partida para esta lógica de intervención en los programas marco (véase el apartado 2). Dicha lógica debería alcanzar un mayor nivel de concretización en lo que respecta a los distintos ámbitos científicos objeto de los programas marco y a los diversos instrumentos empleados.

| 23. | Sin embargo, no existe a ningún nivel un modelo lógico explícito que permita esclarecer de qué modo los programas marco y sus programas constitutivos contribuyen al progreso e innovación científicos y tecnológicos. |
| --- | --- |

23.

Sin embargo, no existe a ningún nivel un modelo lógico explícito que permita esclarecer de qué modo los programas marco y sus programas constitutivos contribuyen al progreso e innovación científicos y tecnológicos.

| 24. | El panel de expertos encargado de la evaluación quinquenal de 2004 también hizo hincapié en la falta de una lógica de intervención en el caso de los programas marco y afirmó que «[...] de paneles como el nuestro se espera que salven la distancia entre, por un lado, los elementos probatorios recopilados principalmente a nivel del proyecto y, por otro, los objetivos socioeconómicos de alto nivel de la política de investigación. Sin embargo, en la actualidad resulta difícil establecer este vínculo debido a la forma en que se planifican los programas marco. Ninguna lógica explícita relaciona los objetivos más ambiciosos con los objetivos específicos en términos de investigación y de conocimientos» (21). |
| --- | --- |

24.

El panel de expertos encargado de la evaluación quinquenal de 2004 también hizo hincapié en la falta de una lógica de intervención en el caso de los programas marco y afirmó que «[...] de paneles como el nuestro se espera que salven la distancia entre, por un lado, los elementos probatorios recopilados principalmente a nivel del proyecto y, por otro, los objetivos socioeconómicos de alto nivel de la política de investigación. Sin embargo, en la actualidad resulta difícil establecer este vínculo debido a la forma en que se planifican los programas marco. Ninguna lógica explícita relaciona los objetivos más ambiciosos con los objetivos específicos en términos de investigación y de conocimientos» (21).

| 25. | Un enfoque distinto es adoptado en algunos Estados miembros (por ejemplo, los Países Bajos y Finlandia) y en los EE.UU. (véase el gráfico 3), donde la definición de una lógica de intervención resulta mucho más frecuente, así como en Canadá, donde es obligatoria para todos los programas (véase el anexo III). Efectivamente, en estos países el recurso a la lógica de intervención en la fase de concepción del programa ha permitido elaborar unos programas con objetivos más precisos y mejor estructurados. La Comisión integra también esta lógica en otros ámbitos de las políticas comunitarias (por ejemplo, las ayudas exteriores) (22).
  Gráfico 3
  Definición de una jerarquía de objetivos basada en modelos lógicos: ejemplo de investigación en el sector agrícola en Estados Unidos








  Política | Programa | Proyecto |
| --- | --- | --- | --- |
| Objetivo de la política:
  Contribuir a la mejora de los medios de subsistencia de las familias de agricultores | | |
| Propósito:
  Mejora de la producción, de la productividad y de los ingresos agrícolas en las explotaciones agrarias | Objetivo del programa:
  Contribuir a la mejora de la producción, de la productividad y de los ingresos agrícolas en las explotaciones agrarias | |
| Resultado previsto:
  Aumento de la utilización de técnicas agrícolas avanzadas entre los agricultores seleccionados | Propósito:
  Mayor uso de técnicas agrícolas avanzadas por los agricultores (por ejemplo en el cultivo del arroz) | Objetivo del proyecto:
  Contribuir a una mayor utilización de las técnicas avanzadas recomendadas |
| | Resultado previsto:
  Recomendaciones proporcionadas/difundidas a los agricultores seleccionados | Propósito:
  Formulación de recomendaciones relativas a técnicas avanzadas adaptadas a los agricultores seleccionados |
| | | Resultados previstos (por ejemplo):








  1. | Técnicas identificadas en función de las prioridades de los agricultores |

25.

Un enfoque distinto es adoptado en algunos Estados miembros (por ejemplo, los Países Bajos y Finlandia) y en los EE.UU. (véase el gráfico 3), donde la definición de una lógica de intervención resulta mucho más frecuente, así como en Canadá, donde es obligatoria para todos los programas (véase el anexo III). Efectivamente, en estos países el recurso a la lógica de intervención en la fase de concepción del programa ha permitido elaborar unos programas con objetivos más precisos y mejor estructurados. La Comisión integra también esta lógica en otros ámbitos de las políticas comunitarias (por ejemplo, las ayudas exteriores) (22).

Gráfico 3

Definición de una jerarquía de objetivos basada en modelos lógicos: ejemplo de investigación en el sector agrícola en Estados Unidos

Política

Programa

Proyecto

Objetivo de la política:
  Contribuir a la mejora de los medios de subsistencia de las familias de agricultores

Propósito:
  Mejora de la producción, de la productividad y de los ingresos agrícolas en las explotaciones agrarias

Objetivo del programa:
  Contribuir a la mejora de la producción, de la productividad y de los ingresos agrícolas en las explotaciones agrarias

Resultado previsto:
  Aumento de la utilización de técnicas agrícolas avanzadas entre los agricultores seleccionados

Propósito:
  Mayor uso de técnicas agrícolas avanzadas por los agricultores (por ejemplo en el cultivo del arroz)

Objetivo del proyecto:
  Contribuir a una mayor utilización de las técnicas avanzadas recomendadas

Resultado previsto:
  Recomendaciones proporcionadas/difundidas a los agricultores seleccionados

Propósito:
  Formulación de recomendaciones relativas a técnicas avanzadas adaptadas a los agricultores seleccionados

Resultados previstos (por ejemplo):

1.

Técnicas identificadas en función de las prioridades de los agricultores

| 2. | Técnicas creadas y adaptadas |
| --- | --- |

2.

Técnicas creadas y adaptadas

| 3. | Técnicas controladas sobre el terreno |
| --- | --- |

3.

Técnicas controladas sobre el terreno

Fuente: US National Agricultural Research Council (Consejo nacional de investigación agrícola de EE.UU.).

| 26. | La eficacia de la evaluación y del seguimiento de los programas marco se ve menoscabada por el hecho de que no se formule el razonamiento subyacente a la intervención pública y los supuestos vínculos de causalidad (que sirven de base para la planificación detallada, ejecución y evaluación del programa). Esta deficiencia se debe en particular a la manera de definir los objetivos de los programas y los indicadores de rendimiento. |
| --- | --- |

26.

La eficacia de la evaluación y del seguimiento de los programas marco se ve menoscabada por el hecho de que no se formule el razonamiento subyacente a la intervención pública y los supuestos vínculos de causalidad (que sirven de base para la planificación detallada, ejecución y evaluación del programa). Esta deficiencia se debe en particular a la manera de definir los objetivos de los programas y los indicadores de rendimiento.

Sin un modelo lógico explícito resulta más difícil establecer objetivos de programa coherentes

| 27. | Si el razonamiento subyacente a la intervención pública no se formula de manera explícita, resulta más difícil definir y estructurar los objetivos del programa de forma coherente. Varios elementos ilustran esta constatación:






  — | no existe un vínculo claro entre los objetivos de los programas marco y los objetivos políticos, como los objetivos generales fijados por el artículo 163 del Tratado y los objetivos de la estrategia de Lisboa y de la declaración de Barcelona (véanse los apartados 2 y 7), |
| --- | --- | --- |

27.

Si el razonamiento subyacente a la intervención pública no se formula de manera explícita, resulta más difícil definir y estructurar los objetivos del programa de forma coherente. Varios elementos ilustran esta constatación:

—

no existe un vínculo claro entre los objetivos de los programas marco y los objetivos políticos, como los objetivos generales fijados por el artículo 163 del Tratado y los objetivos de la estrategia de Lisboa y de la declaración de Barcelona (véanse los apartados 2 y 7),

| — | la relación entre los diferentes objetivos de los programas, tanto en los distintos niveles de la legislación (como las decisiones en materia de programas marco, las decisiones relativas a los programas específicos, y las normas de participación y de difusión), como entre los actos de base y los programas de trabajo de la Comisión, no siempre son evidentes. |
| --- | --- |

—

la relación entre los diferentes objetivos de los programas, tanto en los distintos niveles de la legislación (como las decisiones en materia de programas marco, las decisiones relativas a los programas específicos, y las normas de participación y de difusión), como entre los actos de base y los programas de trabajo de la Comisión, no siempre son evidentes.

| 28. | La Comisión ha intentado presentar los objetivos operativos en los programas de trabajo basándose en los objetivos de los programas definidos en la legislación relativa a los programas marco. Sin embargo, prácticamente en todos los casos, estas iniciativas no han permitido aclarar la lógica subyacente a estos programas y los objetivos indicados en el programa no eran específicos, mensurables, realizables, pertinentes y con fecha determinada. En 2003, esto pasó a ser un requisito legal en virtud del Reglamento Financiero (23). |
| --- | --- |

28.

La Comisión ha intentado presentar los objetivos operativos en los programas de trabajo basándose en los objetivos de los programas definidos en la legislación relativa a los programas marco. Sin embargo, prácticamente en todos los casos, estas iniciativas no han permitido aclarar la lógica subyacente a estos programas y los objetivos indicados en el programa no eran específicos, mensurables, realizables, pertinentes y con fecha determinada. En 2003, esto pasó a ser un requisito legal en virtud del Reglamento Financiero (23).

| 29. | No resulta fácil discernir en qué medida es posible identificar los objetivos políticos a través de los programas específicos, de los programas de trabajo y de las licitaciones para los distintos proyectos cofinanciados por la Comunidad. A menos que se clarifiquen dichos vínculos, no resultará posible evaluar la contribución de los programas marco y de sus programas constitutivos a la consecución de estos objetivos políticos. La fiscalización puso de relieve que, en sus evaluaciones, la Comisión había proporcionado elementos justificativos escasos, o no convincentes, sobre la consecución de los objetivos a más largo plazo, tanto a nivel de proyectos como de programas (véase el apartado 82). |
| --- | --- |

29.

No resulta fácil discernir en qué medida es posible identificar los objetivos políticos a través de los programas específicos, de los programas de trabajo y de las licitaciones para los distintos proyectos cofinanciados por la Comunidad. A menos que se clarifiquen dichos vínculos, no resultará posible evaluar la contribución de los programas marco y de sus programas constitutivos a la consecución de estos objetivos políticos. La fiscalización puso de relieve que, en sus evaluaciones, la Comisión había proporcionado elementos justificativos escasos, o no convincentes, sobre la consecución de los objetivos a más largo plazo, tanto a nivel de proyectos como de programas (véase el apartado 82).

La falta de una lógica de intervención explícita y de objetivos claros dificulta la fijación de indicadores de rendimiento

| 30. | La inexistencia de un modelo lógico explícito y de objetivos de programa claramente formulados también ha obstaculizado la elaboración de indicadores de rendimiento para supervisar la consecución de los objetivos del programa en términos de realizaciones, logros e impacto, en la medida en que, hasta la fecha, tales indicadores de «eficacia» no se han definido en absoluto para los programas marco (véase el apartado 73). |
| --- | --- |

30.

La inexistencia de un modelo lógico explícito y de objetivos de programa claramente formulados también ha obstaculizado la elaboración de indicadores de rendimiento para supervisar la consecución de los objetivos del programa en términos de realizaciones, logros e impacto, en la medida en que, hasta la fecha, tales indicadores de «eficacia» no se han definido en absoluto para los programas marco (véase el apartado 73).

| 31. | En esta situación, el examen de los proyectos en curso financiados por estos programas y la evaluación a posteriori de los proyectos que ya han llegado a su término son también más difíciles y complican la agrupación de las evaluaciones desde el nivel del proyecto hasta el del programa (véase el anexo I y el apartado 84). |
| --- | --- |

31.

En esta situación, el examen de los proyectos en curso financiados por estos programas y la evaluación a posteriori de los proyectos que ya han llegado a su término son también más difíciles y complican la agrupación de las evaluaciones desde el nivel del proyecto hasta el del programa (véase el anexo I y el apartado 84).

Tal y como son actualmente aplicados, los sistemas de presupuestación por actividades/gestión por actividades no constituyen herramientas adecuadas para apreciar el rendimiento de los programas marco

| 32. | Algunos indicadores de la eficiencia de la ejecución de los programas (por ejemplo, los plazos de firma de los contratos y los plazos de pago) figuran en los informes anuales de seguimiento de la Comisión y están presentes en el sistema de gestión por actividades de esta institución. |
| --- | --- |

32.

Algunos indicadores de la eficiencia de la ejecución de los programas (por ejemplo, los plazos de firma de los contratos y los plazos de pago) figuran en los informes anuales de seguimiento de la Comisión y están presentes en el sistema de gestión por actividades de esta institución.

| 33. | Sin embargo, hasta la fecha, las «direcciones generales de investigación» no han aplicado ninguna nomenclatura normalizada o comparable para la presupuestación por actividades, ni ningún indicador conexo, incluso cuando ejecutan el mismo programa (o subprograma) específico. Por consiguiente, estos indicadores no pueden emplearse para comparar el rendimiento entre los programas ni dentro de los mismos.

  Recuadro 2El Principio de presupuestación por actividades/gestión por actividades aplicado actualmente por las «direcciones generales de investigación»Según el principio de presupuestación por actividades/gestión por actividades, los programas marco corresponden a dos ámbitos políticos distintos en los cuales sus actividades se presentan en función de una nomenclatura diferente, específica a cada dirección general (24). Este es también el caso de los programas y subprogramas específicos ejecutados por varias direcciones generales. Los objetivos de la gestión por actividades se definieron a partir de distintos principios subyacentes (25) y, como indica el servicio de auditoría interna de la Comisión (26), se formularon principalmente en términos generales, mediante la descripción de aspiraciones o de actividades. Por lo general, los indicadores se centraban en los recursos disponibles (por ejemplo, número de reuniones, etc.) y algunos tenían en cuenta la eficiencia del proceso (por ejemplo, los plazos de firma de los contratos y los plazos de pago), pero no resultaba posible realizar una comparación entre los programas y entre las direcciones generales debido a las diferencias en la nomenclatura de la presupuestación por actividades, en las hipótesis propias a cada dirección general (como el inicio y el término de procesos administrativos específicos) y en la población subyacente tomada en consideración para su cálculo (por ejemplo, tipo de convenio de subvención y tipo de pago). |
| --- | --- |

33.

Sin embargo, hasta la fecha, las «direcciones generales de investigación» no han aplicado ninguna nomenclatura normalizada o comparable para la presupuestación por actividades, ni ningún indicador conexo, incluso cuando ejecutan el mismo programa (o subprograma) específico. Por consiguiente, estos indicadores no pueden emplearse para comparar el rendimiento entre los programas ni dentro de los mismos.

Recuadro 2El Principio de presupuestación por actividades/gestión por actividades aplicado actualmente por las «direcciones generales de investigación»Según el principio de presupuestación por actividades/gestión por actividades, los programas marco corresponden a dos ámbitos políticos distintos en los cuales sus actividades se presentan en función de una nomenclatura diferente, específica a cada dirección general (24). Este es también el caso de los programas y subprogramas específicos ejecutados por varias direcciones generales. Los objetivos de la gestión por actividades se definieron a partir de distintos principios subyacentes (25) y, como indica el servicio de auditoría interna de la Comisión (26), se formularon principalmente en términos generales, mediante la descripción de aspiraciones o de actividades. Por lo general, los indicadores se centraban en los recursos disponibles (por ejemplo, número de reuniones, etc.) y algunos tenían en cuenta la eficiencia del proceso (por ejemplo, los plazos de firma de los contratos y los plazos de pago), pero no resultaba posible realizar una comparación entre los programas y entre las direcciones generales debido a las diferencias en la nomenclatura de la presupuestación por actividades, en las hipótesis propias a cada dirección general (como el inicio y el término de procesos administrativos específicos) y en la población subyacente tomada en consideración para su cálculo (por ejemplo, tipo de convenio de subvención y tipo de pago).

Recomendaciones

34.

| 34. | En sus futuras propuestas legislativas al Consejo y al Parlamento Europeo, la Comisión debería definir una lógica de intervención explícita para el conjunto del programa marco, así como para sus partes constitutivas. |
| --- | --- |

En sus futuras propuestas legislativas al Consejo y al Parlamento Europeo, la Comisión debería definir una lógica de intervención explícita para el conjunto del programa marco, así como para sus partes constitutivas.

| 35. | Con respecto al VII PM, la Comisión debería:






  — | describir claramente los objetivos del programa marco y de sus programas (y subprogramas) específicos constitutivos, así como las modalidades de su realización, |
| --- | --- | --- |

35.

Con respecto al VII PM, la Comisión debería:

—

describir claramente los objetivos del programa marco y de sus programas (y subprogramas) específicos constitutivos, así como las modalidades de su realización,

| — | precisar el vínculo entre los objetivos científicos y socioeconómicos para cada programa (y subprograma) específico, |
| --- | --- |

—

precisar el vínculo entre los objetivos científicos y socioeconómicos para cada programa (y subprograma) específico,

| — | definir los objetivos operativos pertinentes. |
| --- | --- |

—

definir los objetivos operativos pertinentes.

| 36. | En su sistema de seguimiento del VII PM, la Comisión debería establecer, para cada programa (y subprograma) específico, una serie limitada, pero equilibrada, de indicadores de rendimiento que permita medir la «eficiencia» y la «eficacia» de la ejecución de los programas. |
| --- | --- |

36.

En su sistema de seguimiento del VII PM, la Comisión debería establecer, para cada programa (y subprograma) específico, una serie limitada, pero equilibrada, de indicadores de rendimiento que permita medir la «eficiencia» y la «eficacia» de la ejecución de los programas.

| 37. | Las «direcciones generales de investigación» deberían armonizar su nomenclatura de gestión por actividades/presupuestación por actividades para que los indicadores de rendimiento puedan ser objeto de comparaciones a nivel temporal y, cuando resulte posible, entre programas (y subprogramas) específicos. |
| --- | --- |

37.

Las «direcciones generales de investigación» deberían armonizar su nomenclatura de gestión por actividades/presupuestación por actividades para que los indicadores de rendimiento puedan ser objeto de comparaciones a nivel temporal y, cuando resulte posible, entre programas (y subprogramas) específicos.

Estrategia de evaluación

| 38. | Una estrategia de evaluación proporciona el marco conceptual en el que se conciben, planifican, ejecutan y utilizan las actividades de evaluación. Las buenas prácticas en otros ámbitos presupuestarios de la UE y en otros países parecen indicar que dicha estrategia debería tener en cuenta las principales cuestiones jurídicas, organizativas y metodológicas en torno a la evaluación de los programas, en concreto, las evaluaciones que deben realizarse, los responsables de las mismas, su calendario, las modalidades de obtención de datos, los enfoques metodológicos que deben aplicarse y las modalidades de comunicación y de seguimiento de los resultados. |
| --- | --- |

38.

Una estrategia de evaluación proporciona el marco conceptual en el que se conciben, planifican, ejecutan y utilizan las actividades de evaluación. Las buenas prácticas en otros ámbitos presupuestarios de la UE y en otros países parecen indicar que dicha estrategia debería tener en cuenta las principales cuestiones jurídicas, organizativas y metodológicas en torno a la evaluación de los programas, en concreto, las evaluaciones que deben realizarse, los responsables de las mismas, su calendario, las modalidades de obtención de datos, los enfoques metodológicos que deben aplicarse y las modalidades de comunicación y de seguimiento de los resultados.

| 39. | Disponer de una estrategia de estas características y asegurarse de su ejecución, constituyen condiciones previas a la integración de la evaluación en la cultura organizativa y en el proceso decisorio de la Comisión. No obstante, el Tribunal reconoce que, a raíz de la diversidad de los ámbitos científicos cubiertos por los programas marco, esta estrategia tendría que ofrecer un nivel de flexibilidad apropiado a cada una de las direcciones generales responsables y no debería ser demasiado preceptiva. |
| --- | --- |

39.

Disponer de una estrategia de estas características y asegurarse de su ejecución, constituyen condiciones previas a la integración de la evaluación en la cultura organizativa y en el proceso decisorio de la Comisión. No obstante, el Tribunal reconoce que, a raíz de la diversidad de los ámbitos científicos cubiertos por los programas marco, esta estrategia tendría que ofrecer un nivel de flexibilidad apropiado a cada una de las direcciones generales responsables y no debería ser demasiado preceptiva.

| 40. | El Tribunal comprobó en qué medida la Comisión ha establecido este tipo de estrategia de evaluación para los programas marco. |
| --- | --- |

40.

El Tribunal comprobó en qué medida la Comisión ha establecido este tipo de estrategia de evaluación para los programas marco.

Ausencia de una estrategia de evaluación global para los programas marco

| 41. | En el caso de los programas marco, la Comisión dio a conocer por primera vez su enfoque de la evaluación en los años ochenta (27). Este fue actualizado en 1996, cuando comunicó al Parlamento Europeo y al Consejo lo que consideró como principios pertinentes subyacentes al seguimiento y a la evaluación, y además expuso su enfoque previsto a raíz de la aprobación del IV PM (28). Sin embargo, esta no constituyó una estrategia de evaluación global como se ha expuesto (véanse los apartados 38 y 39). Además, desde 1996 hasta 2006, la Comisión no efectuó una revisión fundamental de su enfoque de evaluación para los V y VI PM pese a que dichos programas cambiaron tanto en su alcance como en su orientación (véase el apartado 7). En particular, las «direcciones generales de investigación» no han acordado un enfoque coherente para la evaluación de sus programas marco y sus programas constitutivos, que vaya más allá de las obligaciones jurídicas adoptadas en 1999 (para el V PM), en 2002 (en el caso del VI PM) y en 2006 (en el caso del VII PM) (29). |
| --- | --- |

41.

En el caso de los programas marco, la Comisión dio a conocer por primera vez su enfoque de la evaluación en los años ochenta (27). Este fue actualizado en 1996, cuando comunicó al Parlamento Europeo y al Consejo lo que consideró como principios pertinentes subyacentes al seguimiento y a la evaluación, y además expuso su enfoque previsto a raíz de la aprobación del IV PM (28). Sin embargo, esta no constituyó una estrategia de evaluación global como se ha expuesto (véanse los apartados 38 y 39). Además, desde 1996 hasta 2006, la Comisión no efectuó una revisión fundamental de su enfoque de evaluación para los V y VI PM pese a que dichos programas cambiaron tanto en su alcance como en su orientación (véase el apartado 7). En particular, las «direcciones generales de investigación» no han acordado un enfoque coherente para la evaluación de sus programas marco y sus programas constitutivos, que vaya más allá de las obligaciones jurídicas adoptadas en 1999 (para el V PM), en 2002 (en el caso del VI PM) y en 2006 (en el caso del VII PM) (29).

| 42. | En el actual período de programación, la ausencia de un enfoque estratégico de este tipo para la evaluación en este ámbito representa un problema particular dada la ejecución conjunta del VII PM por varias direcciones generales, el CEI y las agencias ejecutivas, y la rotación de personal obligatoria impuesta por el Reglamento Financiero en puestos sensibles. Asimismo, contrasta con las prácticas actuales en los ámbitos de la ayuda exterior, que es la segunda mayor área de gestión directa por la Comisión. En este ámbito, las direcciones generales competentes han acordado desde 2002 estrategias de evaluación plurianuales comunes vinculadas a períodos de programación (véase el apartado 52). |
| --- | --- |

42.

En el actual período de programación, la ausencia de un enfoque estratégico de este tipo para la evaluación en este ámbito representa un problema particular dada la ejecución conjunta del VII PM por varias direcciones generales, el CEI y las agencias ejecutivas, y la rotación de personal obligatoria impuesta por el Reglamento Financiero en puestos sensibles. Asimismo, contrasta con las prácticas actuales en los ámbitos de la ayuda exterior, que es la segunda mayor área de gestión directa por la Comisión. En este ámbito, las direcciones generales competentes han acordado desde 2002 estrategias de evaluación plurianuales comunes vinculadas a períodos de programación (véase el apartado 52).

| 43. | La ausencia de una estrategia de evaluación claramente formulada también difiere significativamente de la situación en los EE.UU. y en Canadá, donde el marco reglamentario impone el establecimiento de tal estrategia (véase el anexo III). |
| --- | --- |

43.

La ausencia de una estrategia de evaluación claramente formulada también difiere significativamente de la situación en los EE.UU. y en Canadá, donde el marco reglamentario impone el establecimiento de tal estrategia (véase el anexo III).

| 44. | Como se muestra a continuación, existen diferencias significativas en el alcance e intensidad de las evaluaciones de los programas marco. También había otras deficiencias, tratadas ulteriormente en el presente informe, como problemas de coordinación, diferencias en los enfoques metodológicos, problemas de calendario y deficiencias en la comunicación y el seguimiento de los resultados de evaluación. Todo ello refleja la ausencia de una estrategia de evaluación global para los programas marco. |
| --- | --- |

44.

Como se muestra a continuación, existen diferencias significativas en el alcance e intensidad de las evaluaciones de los programas marco. También había otras deficiencias, tratadas ulteriormente en el presente informe, como problemas de coordinación, diferencias en los enfoques metodológicos, problemas de calendario y deficiencias en la comunicación y el seguimiento de los resultados de evaluación. Todo ello refleja la ausencia de una estrategia de evaluación global para los programas marco.

Diferencias en el alcance e intensidad de las evaluaciones de los diversos programas marco

| 45. | Los programas marco se componen de varios programas (y subprogramas) específicos que pueden variar significativamente en cuanto a su finalidad, dinámica subyacente y créditos presupuestarios (en el caso del VII PM, véase el anexo IV). El conjunto de las disposiciones específicas a las distintas decisiones relativas a los programas marco, así como el Reglamento financiero (30) (que prevé la evaluación de los programas y actividades que conllevan gastos significativos), permiten afirmar que, desde el IV PM, existe una obligación legal de evaluación, tanto del programa marco en su conjunto, como de la mayor parte de sus programas constitutivos específicos. |
| --- | --- |

45.

Los programas marco se componen de varios programas (y subprogramas) específicos que pueden variar significativamente en cuanto a su finalidad, dinámica subyacente y créditos presupuestarios (en el caso del VII PM, véase el anexo IV). El conjunto de las disposiciones específicas a las distintas decisiones relativas a los programas marco, así como el Reglamento financiero (30) (que prevé la evaluación de los programas y actividades que conllevan gastos significativos), permiten afirmar que, desde el IV PM, existe una obligación legal de evaluación, tanto del programa marco en su conjunto, como de la mayor parte de sus programas constitutivos específicos.

| 46. | La Comisión no ha establecido una norma que prevea cuándo deben evaluarse los programas o subprogramas específicos del programa marco, ni ha definido un umbral común a partir del cual esta evaluación sea obligatoria. Ello ha generado divergencias de interpretación sobre el objeto y el nivel de detalle de las evaluaciones:






  — | la Dirección General de Sociedad de la Información consideró el programa IST como uno de los principales programas de gastos a título propio y organizó en 2004 una evaluación quinquenal completa, paralela a la llevada a cabo para la totalidad del programa marco, |
| --- | --- | --- |

46.

La Comisión no ha establecido una norma que prevea cuándo deben evaluarse los programas o subprogramas específicos del programa marco, ni ha definido un umbral común a partir del cual esta evaluación sea obligatoria. Ello ha generado divergencias de interpretación sobre el objeto y el nivel de detalle de las evaluaciones:

—

la Dirección General de Sociedad de la Información consideró el programa IST como uno de los principales programas de gastos a título propio y organizó en 2004 una evaluación quinquenal completa, paralela a la llevada a cabo para la totalidad del programa marco,

| — | la Dirección General de Investigación no organizó esta evaluación sistemáticamente para cada programa específico, pese a que los presupuestos de varios programas que se ejecutaban bajo su responsabilidad eran de un volumen comparable. |
| --- | --- |

—

la Dirección General de Investigación no organizó esta evaluación sistemáticamente para cada programa específico, pese a que los presupuestos de varios programas que se ejecutaban bajo su responsabilidad eran de un volumen comparable.

| 47. | Por consiguiente, en la evaluación quinquenal de 2004, secciones importantes de los programas del IV PM y del V PM no se evaluaron en absoluto (correspondientes al 30 % de la totalidad de los créditos presupuestarios en el caso del IV PM y al 50 % en el caso del V PM). Ello significa que la Comisión no cumplió las disposiciones en materia de evaluación previstas por el artículo 27 del Reglamento financiero. |
| --- | --- |

47.

Por consiguiente, en la evaluación quinquenal de 2004, secciones importantes de los programas del IV PM y del V PM no se evaluaron en absoluto (correspondientes al 30 % de la totalidad de los créditos presupuestarios en el caso del IV PM y al 50 % en el caso del V PM). Ello significa que la Comisión no cumplió las disposiciones en materia de evaluación previstas por el artículo 27 del Reglamento financiero.

| 48. | Estas divergencias de interpretación de las exigencias legales mínimas relativas a la evaluación, así como la consiguiente infraevaluación de los programas marco que se produjo en el pasado, reflejan la falta de coordinación y el efecto de la ausencia de un enfoque estratégico para la evaluación de los programas marco por parte de la Comisión. |
| --- | --- |

48.

Estas divergencias de interpretación de las exigencias legales mínimas relativas a la evaluación, así como la consiguiente infraevaluación de los programas marco que se produjo en el pasado, reflejan la falta de coordinación y el efecto de la ausencia de un enfoque estratégico para la evaluación de los programas marco por parte de la Comisión.

Recomendaciones

49.

| 49. | Las «direcciones generales de investigación» deberían elaborar y adoptar, con carácter urgente, una estrategia de evaluación común para los programas marco. Sin ser excesivamente preceptiva, esta estrategia debería comportar un enfoque coherente en cuanto a la evaluación de los programas marco y de sus programas constitutivos. También debería proporcionar orientaciones sobre el nivel mínimo a partir del cual debe llevarse a cabo una evaluación detallada, con el fin de tener en cuenta las particularidades de cada ámbito científico. |
| --- | --- |

Las «direcciones generales de investigación» deberían elaborar y adoptar, con carácter urgente, una estrategia de evaluación común para los programas marco. Sin ser excesivamente preceptiva, esta estrategia debería comportar un enfoque coherente en cuanto a la evaluación de los programas marco y de sus programas constitutivos. También debería proporcionar orientaciones sobre el nivel mínimo a partir del cual debe llevarse a cabo una evaluación detallada, con el fin de tener en cuenta las particularidades de cada ámbito científico.

Organización de la evaluación de los programas marco

| 50. | La evaluación de los programas marco debe fundamentarse en una estructura organizativa apropiada, que debería estar adaptada a la orientación estratégica de la Comisión en materia de esta evaluación. El Tribunal verificó en qué medida la estructura organizativa garantizaba que el sistema de evaluación estuviera correctamente coordinado, contara con recursos suficientes y que las partes interesadas lo considerasen suficientemente independiente. |
| --- | --- |

50.

La evaluación de los programas marco debe fundamentarse en una estructura organizativa apropiada, que debería estar adaptada a la orientación estratégica de la Comisión en materia de esta evaluación. El Tribunal verificó en qué medida la estructura organizativa garantizaba que el sistema de evaluación estuviera correctamente coordinado, contara con recursos suficientes y que las partes interesadas lo considerasen suficientemente independiente.

Comisión

Varias direcciones generales ejecutan los programas marco conjuntamente, mientras que la responsabilidad de la evaluación está descentralizada

| 51. | En la Comisión, la evaluación de los programas de gasto compete a cada dirección general (véase el apartado 8) y en ellas se han creado unidades de evaluación, con el objetivo de planificar, coordinar y llevar a cabo las evaluaciones. |
| --- | --- |

51.

En la Comisión, la evaluación de los programas de gasto compete a cada dirección general (véase el apartado 8) y en ellas se han creado unidades de evaluación, con el objetivo de planificar, coordinar y llevar a cabo las evaluaciones.

| 52. | El hecho de que no exista un órgano de coordinación específico ni una entidad única para la evaluación del conjunto de los programas marco, como por ejemplo una oficina de evaluación conjunta para las «direcciones generales de investigación», representa una particularidad con respecto a otros ámbitos políticos. En el caso de las ayudas exteriores, se creó una unidad de evaluación conjunta para tres direcciones generales (Desarrollo, Relaciones Exteriores y EuropeAid) que se hizo cargo de la evaluación de los programas de desarrollo de la Comisión en terceros países (véase el apartado 42). |
| --- | --- |

52.

El hecho de que no exista un órgano de coordinación específico ni una entidad única para la evaluación del conjunto de los programas marco, como por ejemplo una oficina de evaluación conjunta para las «direcciones generales de investigación», representa una particularidad con respecto a otros ámbitos políticos. En el caso de las ayudas exteriores, se creó una unidad de evaluación conjunta para tres direcciones generales (Desarrollo, Relaciones Exteriores y EuropeAid) que se hizo cargo de la evaluación de los programas de desarrollo de la Comisión en terceros países (véase el apartado 42).

| 53. | La Dirección General de Investigación, a través de la «red de evaluación IDT» interna de la Comisión, se encarga del intercambio de conocimientos entre las unidades de evaluación de las distintas direcciones generales, pero carece de competencias para definir unas exigencias mínimas de evaluación. No obstante, este mecanismo ha resultado insuficiente para garantizar una coordinación apropiada de la evaluación de los programas marco realizada por la Comisión. |
| --- | --- |

53.

La Dirección General de Investigación, a través de la «red de evaluación IDT» interna de la Comisión, se encarga del intercambio de conocimientos entre las unidades de evaluación de las distintas direcciones generales, pero carece de competencias para definir unas exigencias mínimas de evaluación. No obstante, este mecanismo ha resultado insuficiente para garantizar una coordinación apropiada de la evaluación de los programas marco realizada por la Comisión.

| 54. | En 2000 y en 2002, y de nuevo en 2007, la Comisión revisó su enfoque general en materia de evaluación (véase el apartado 14). Aunque no se observaron mejoras importantes en la forma de planificar, concebir y ejecutar las evaluaciones de los programas marco y de sus programas constitutivos, en términos generales las «direcciones generales de investigación» han cumplido los requisitos formales a nivel de la Comisión. |
| --- | --- |

54.

En 2000 y en 2002, y de nuevo en 2007, la Comisión revisó su enfoque general en materia de evaluación (véase el apartado 14). Aunque no se observaron mejoras importantes en la forma de planificar, concebir y ejecutar las evaluaciones de los programas marco y de sus programas constitutivos, en términos generales las «direcciones generales de investigación» han cumplido los requisitos formales a nivel de la Comisión.

El papel de los servicios centrales de la Comisión: establecimiento de normas, pero sin capacidad de control en su aplicación

| 55. | Los servicios centrales de la Comisión (en particular, la Dirección General de Presupuestos y la Secretaría General) proporcionan asesoramiento en cuanto a la metodología, definen unos estándares comunes para el conjunto de la Comisión y supervisan el modo en que las direcciones generales y servicios aplican dichos estándares (véanse los apartados 14 y 70). No obstante, no pueden imponer el modo en que se han de llevar a cabo las evaluaciones en la práctica. |
| --- | --- |

55.

Los servicios centrales de la Comisión (en particular, la Dirección General de Presupuestos y la Secretaría General) proporcionan asesoramiento en cuanto a la metodología, definen unos estándares comunes para el conjunto de la Comisión y supervisan el modo en que las direcciones generales y servicios aplican dichos estándares (véanse los apartados 14 y 70). No obstante, no pueden imponer el modo en que se han de llevar a cabo las evaluaciones en la práctica.

| 56. | La experiencia en los EE.UU. y en Canadá refleja que el control del cumplimiento de las normas por los organismos encargados de definirlas contribuye activamente a garantizar el funcionamiento eficaz del sistema de evaluación. En estos dos países, departamentos federales establecen y hacen respetar el marco que permite finalmente apreciar el éxito de un programa (véase el anexo III). A pesar de que los contextos sean diferentes, sus sistemas se basan sin embargo en el mismo principio subyacente según el cual un organismo distinto del que ejecuta el programa debe evaluar ciertos aspectos de la concepción del sistema de evaluación y examinar de forma detallada su eficacia. Una situación análoga puede observarse en algunos Estados miembros [por ejemplo: Francia (31), España (32) y Alemania (33)], en los que organismos externos supervisan las evaluaciones llevadas a cabo por las agencias de financiación o incluso realizan ellos mismos estas evaluaciones. |
| --- | --- |

56.

La experiencia en los EE.UU. y en Canadá refleja que el control del cumplimiento de las normas por los organismos encargados de definirlas contribuye activamente a garantizar el funcionamiento eficaz del sistema de evaluación. En estos dos países, departamentos federales establecen y hacen respetar el marco que permite finalmente apreciar el éxito de un programa (véase el anexo III). A pesar de que los contextos sean diferentes, sus sistemas se basan sin embargo en el mismo principio subyacente según el cual un organismo distinto del que ejecuta el programa debe evaluar ciertos aspectos de la concepción del sistema de evaluación y examinar de forma detallada su eficacia. Una situación análoga puede observarse en algunos Estados miembros [por ejemplo: Francia (31), España (32) y Alemania (33)], en los que organismos externos supervisan las evaluaciones llevadas a cabo por las agencias de financiación o incluso realizan ellos mismos estas evaluaciones.

Paneles de expertos

Paneles de expertos externos: obligatorios desde el IV PM en virtud de la legislación relativa a los programas marco

| 57. | Desde el IV PM, los principales ejercicios de evaluación (y el seguimiento anual) de los programas marco deben ser llevados a cabo por (o con el apoyo de) paneles de expertos externos (véase el anexo II). Pese a las dificultades que representa encontrar expertos competentes, estos paneles permiten aportar transparencia, ofrecer cierto grado de independencia, facilitar la participación de las partes interesadas y explotar los conocimientos obtenidos de los propios programas marco, de la evaluación y de las cuestiones científicas subyacentes. |
| --- | --- |

57.

Desde el IV PM, los principales ejercicios de evaluación (y el seguimiento anual) de los programas marco deben ser llevados a cabo por (o con el apoyo de) paneles de expertos externos (véase el anexo II). Pese a las dificultades que representa encontrar expertos competentes, estos paneles permiten aportar transparencia, ofrecer cierto grado de independencia, facilitar la participación de las partes interesadas y explotar los conocimientos obtenidos de los propios programas marco, de la evaluación y de las cuestiones científicas subyacentes.

| 58. | Estos aspectos positivos se vieron confirmados por las encuestas del Tribunal, a las cuales las personas interrogadas respondieron que el sistema de evaluación de la Comisión basado en paneles de expertos proporcionaba una garantía de independencia (véase el gráfico 4). |
| --- | --- |

58.

Estos aspectos positivos se vieron confirmados por las encuestas del Tribunal, a las cuales las personas interrogadas respondieron que el sistema de evaluación de la Comisión basado en paneles de expertos proporcionaba una garantía de independencia (véase el gráfico 4).

Image

Deficiencias del enfoque basado en paneles de expertos aplicado por la Comisión

| 59. | Pese a esta impresión positiva, como los miembros de los paneles de expertos y las partes interesadas señalaron al Tribunal durante la fiscalización, el recurso a estos paneles por la Comisión para la evaluación de los programas marco ha adolecido de las deficiencias siguientes:






  — | por lo general, los paneles de evaluación se constituyen con menos de un año de antelación respecto a la fecha prevista para la presentación de su informe y sus reuniones son esporádicas. Ello dificulta que los miembros del panel puedan influir en la definición de los datos y análisis necesarios para efectuar sus trabajos. Por otro lado, dado el carácter ad hoc y temporal de los paneles, los conocimientos sobre los programas no pueden acumularse fácilmente y resulta difícil realizar un seguimiento prolongado de las cuestiones importantes. Esta deficiencia se manifiesta en particular cuando (como sucede en el caso del VII PM) se planifican varios ejercicios importantes de evaluación durante todo el período de programación (véase el anexo II). Esta situación contrasta asimismo con la práctica de la Comisión en cuanto a sus grupos consultivos de expertos para los programas marco, que son organismos permanentes (34). También en Canadá (35) los paneles de evaluación tienen un carácter permanente para así poder adoptar un enfoque consistente y coherente (véase el anexo III), |
| --- | --- | --- |

59.

Pese a esta impresión positiva, como los miembros de los paneles de expertos y las partes interesadas señalaron al Tribunal durante la fiscalización, el recurso a estos paneles por la Comisión para la evaluación de los programas marco ha adolecido de las deficiencias siguientes:

—

por lo general, los paneles de evaluación se constituyen con menos de un año de antelación respecto a la fecha prevista para la presentación de su informe y sus reuniones son esporádicas. Ello dificulta que los miembros del panel puedan influir en la definición de los datos y análisis necesarios para efectuar sus trabajos. Por otro lado, dado el carácter ad hoc y temporal de los paneles, los conocimientos sobre los programas no pueden acumularse fácilmente y resulta difícil realizar un seguimiento prolongado de las cuestiones importantes. Esta deficiencia se manifiesta en particular cuando (como sucede en el caso del VII PM) se planifican varios ejercicios importantes de evaluación durante todo el período de programación (véase el anexo II). Esta situación contrasta asimismo con la práctica de la Comisión en cuanto a sus grupos consultivos de expertos para los programas marco, que son organismos permanentes (34). También en Canadá (35) los paneles de evaluación tienen un carácter permanente para así poder adoptar un enfoque consistente y coherente (véase el anexo III),

| — | la Comisión no consulta a las partes interesadas externas, como las empresas y los principales organismos de investigación que participan en los programas marco, para definir el mandato de los paneles de expertos ni las cuestiones de la evaluación. El panel encargado del seguimiento de 2004 también ha observado este problema y ha señalado que «[...] los usuarios potenciales deberían estar implicados en el proceso desde sus fases iniciales» (36), |
| --- | --- |

—

la Comisión no consulta a las partes interesadas externas, como las empresas y los principales organismos de investigación que participan en los programas marco, para definir el mandato de los paneles de expertos ni las cuestiones de la evaluación. El panel encargado del seguimiento de 2004 también ha observado este problema y ha señalado que «[...] los usuarios potenciales deberían estar implicados en el proceso desde sus fases iniciales» (36),

| — | la forma de trabajar de los paneles de expertos no es la misma que en el caso de una «revisión por los pares». Sus miembros no disponen de tiempo para llevar a cabo sus propias evaluaciones, sino que por lo general proporcionan asesoramiento basándose en los datos y pruebas obtenidos recurriendo a otras fuentes. Debido a los imperativos de calendario, los paneles solo han podido encargar en contadas ocasiones los estudios complementarios necesarios para abordar las cuestiones que se especifican en su mandato. En la práctica, salvo raras excepciones, los paneles encargados de la evaluación quinquenal solo disponían de la información facilitada por la Comisión. |
| --- | --- |

—

la forma de trabajar de los paneles de expertos no es la misma que en el caso de una «revisión por los pares». Sus miembros no disponen de tiempo para llevar a cabo sus propias evaluaciones, sino que por lo general proporcionan asesoramiento basándose en los datos y pruebas obtenidos recurriendo a otras fuentes. Debido a los imperativos de calendario, los paneles solo han podido encargar en contadas ocasiones los estudios complementarios necesarios para abordar las cuestiones que se especifican en su mandato. En la práctica, salvo raras excepciones, los paneles encargados de la evaluación quinquenal solo disponían de la información facilitada por la Comisión.

Recursos

Ningún recurso ha sido específicamente asignado a la evaluación de los programas marco

| 60. | Los fondos necesarios para la evaluación se proporcionan anualmente, en función de las necesidades formuladas por las direcciones generales que ejecutan los programas marco. En la actualidad, esta financiación se obtiene a partir de una combinación de recursos a nivel de la Comisión procedentes de la Dirección General de Presupuestos y de recursos de la parte funcionamiento del presupuesto a nivel de las direcciones generales de que se trate. Además se financian medidas específicas como acciones indirectas a partir del presupuesto operativo de los programas marco. Por lo tanto, no se dispone de una cantidad específicamente afectada a la evaluación. |
| --- | --- |

60.

Los fondos necesarios para la evaluación se proporcionan anualmente, en función de las necesidades formuladas por las direcciones generales que ejecutan los programas marco. En la actualidad, esta financiación se obtiene a partir de una combinación de recursos a nivel de la Comisión procedentes de la Dirección General de Presupuestos y de recursos de la parte funcionamiento del presupuesto a nivel de las direcciones generales de que se trate. Además se financian medidas específicas como acciones indirectas a partir del presupuesto operativo de los programas marco. Por lo tanto, no se dispone de una cantidad específicamente afectada a la evaluación.

| 61. | En 2006 la media de personal dedicado al ámbito de la evaluación y de la gestión por actividades a nivel de la Comisión es estimaba en torno al 1 % del total (37). Las cifras correspondientes a las actividades de seguimiento y evaluación de los programas marco de IDT en las direcciones generales de Investigación y de Sociedad de la Información eran del 1,2 % y 1,3 % respectivamente. En el caso de la Dirección General de Investigación, no obstante, más de dos tercios de estos recursos de personal estaban asignados a los servicios de programas operativos y no a la unidad de evaluación, y la evaluación solo era una de las múltiples tareas que debían realizar. |
| --- | --- |

61.

En 2006 la media de personal dedicado al ámbito de la evaluación y de la gestión por actividades a nivel de la Comisión es estimaba en torno al 1 % del total (37). Las cifras correspondientes a las actividades de seguimiento y evaluación de los programas marco de IDT en las direcciones generales de Investigación y de Sociedad de la Información eran del 1,2 % y 1,3 % respectivamente. En el caso de la Dirección General de Investigación, no obstante, más de dos tercios de estos recursos de personal estaban asignados a los servicios de programas operativos y no a la unidad de evaluación, y la evaluación solo era una de las múltiples tareas que debían realizar.

Financiación de la evaluación de los programas marco inferior a la recomendada por la Comisión

| 62. | Los recursos destinados a la evaluación también pueden expresarse en forma de porcentaje del conjunto de los créditos presupuestarios asignados al programa. Las cifras obtenidas durante la fiscalización indican que, en el caso de los programas de investigación en los Estados miembros de la UE, este porcentaje se sitúa en la práctica entre un 0,1 % y un 2 %. Las directrices de la Comisión sugieren que el 0,5 % del presupuesto de un programa debería destinarse a la evaluación (38). Sin embargo, en el caso de los programas de gran envergadura, podría resultar suficiente una contribución menor de sus presupuestos gracias a las economías de escala. |
| --- | --- |

62.

Los recursos destinados a la evaluación también pueden expresarse en forma de porcentaje del conjunto de los créditos presupuestarios asignados al programa. Las cifras obtenidas durante la fiscalización indican que, en el caso de los programas de investigación en los Estados miembros de la UE, este porcentaje se sitúa en la práctica entre un 0,1 % y un 2 %. Las directrices de la Comisión sugieren que el 0,5 % del presupuesto de un programa debería destinarse a la evaluación (38). Sin embargo, en el caso de los programas de gran envergadura, podría resultar suficiente una contribución menor de sus presupuestos gracias a las economías de escala.

| 63. | La comparación entre las cifras de la Comisión relativas a los gastos destinados a la evaluación durante el período 2003-2006 y los créditos presupuestarios de cada dirección general muestra que la media global se sitúa en torno al 0,15 %, nivel considerablemente inferior al sugerido por la Comisión. Un análisis más detallado sobre el ejercicio 2006 revela que la Dirección General de Sociedad de la Información gastó en evaluación unas cuatro veces más que la Dirección General de Investigación, en relación con el importe de los créditos que gestiona cada una. Además, en la Dirección General de Investigación, solo se destina a evaluación el equivalente al 0,7 % del trabajo de un agente a tiempo completo por millón de euros del presupuesto anual. En comparación, la Dirección General de Sociedad de la Información dedica a esta actividad el doble de esta cantidad. |
| --- | --- |

63.

La comparación entre las cifras de la Comisión relativas a los gastos destinados a la evaluación durante el período 2003-2006 y los créditos presupuestarios de cada dirección general muestra que la media global se sitúa en torno al 0,15 %, nivel considerablemente inferior al sugerido por la Comisión. Un análisis más detallado sobre el ejercicio 2006 revela que la Dirección General de Sociedad de la Información gastó en evaluación unas cuatro veces más que la Dirección General de Investigación, en relación con el importe de los créditos que gestiona cada una. Además, en la Dirección General de Investigación, solo se destina a evaluación el equivalente al 0,7 % del trabajo de un agente a tiempo completo por millón de euros del presupuesto anual. En comparación, la Dirección General de Sociedad de la Información dedica a esta actividad el doble de esta cantidad.

| 64. | Como refleja el presente informe, los esfuerzos suplementarios de la Dirección General de Sociedad de la Información se han traducido en una evaluación de alcance más completo (véanse los apartados 13 y 46) y, como indica la muestra de estudios de evaluación examinada por el Tribunal, en la aplicación de metodologías mejor adaptadas a las necesidades en materia de evaluación (véase el apartado 84). |
| --- | --- |

64.

Como refleja el presente informe, los esfuerzos suplementarios de la Dirección General de Sociedad de la Información se han traducido en una evaluación de alcance más completo (véanse los apartados 13 y 46) y, como indica la muestra de estudios de evaluación examinada por el Tribunal, en la aplicación de metodologías mejor adaptadas a las necesidades en materia de evaluación (véase el apartado 84).

| 65. | Una estimación de costes realizada por el Tribunal, basándose en datos facilitados por la Comisión, muestra que un sistema de evaluación basado en las propuestas formuladas en el presente informe representaría, en promedio, menos del 0,4 % de los créditos presupuestarios del VII PM. Esta financiación cubriría los costes de los paneles y de la subcontratación de estudios, también los gastos relativos al personal de la oficina de evaluación conjunta y a las actuales unidades específicas de evaluación de las direcciones generales, así como otros costes varios (39). |
| --- | --- |

65.

Una estimación de costes realizada por el Tribunal, basándose en datos facilitados por la Comisión, muestra que un sistema de evaluación basado en las propuestas formuladas en el presente informe representaría, en promedio, menos del 0,4 % de los créditos presupuestarios del VII PM. Esta financiación cubriría los costes de los paneles y de la subcontratación de estudios, también los gastos relativos al personal de la oficina de evaluación conjunta y a las actuales unidades específicas de evaluación de las direcciones generales, así como otros costes varios (39).

Recomendaciones

66.

| 66. | Las «direcciones generales de investigación» deberían contemplar la creación de una oficina de evaluación conjunta que se sumaría a las unidades de evaluación existentes en cada dirección general. En consonancia con las prácticas actualmente en vigor en otros ámbitos políticos, esta oficina podría coordinar las actividades de evaluación de la Comisión para el programa marco en su conjunto. Estas funciones comunes de apoyo ya se recomendaron en el pasado para las direcciones generales que gestionan los programas marco (40) y pueden cobrar mayor importancia en el futuro con la creación del CEI y la delegación de la ejecución del programa a las agencias ejecutivas. |
| --- | --- |

Las «direcciones generales de investigación» deberían contemplar la creación de una oficina de evaluación conjunta que se sumaría a las unidades de evaluación existentes en cada dirección general. En consonancia con las prácticas actualmente en vigor en otros ámbitos políticos, esta oficina podría coordinar las actividades de evaluación de la Comisión para el programa marco en su conjunto. Estas funciones comunes de apoyo ya se recomendaron en el pasado para las direcciones generales que gestionan los programas marco (40) y pueden cobrar mayor importancia en el futuro con la creación del CEI y la delegación de la ejecución del programa a las agencias ejecutivas.

| 67. | La Comisión debería seguir recurriendo a los paneles de evaluación como apoyo de sus actividades de evaluación. Sin embargo, debería encontrar un medio para adaptar la estructura del panel a la estructura general del programa marco. Para ello, se recomienda que los paneles se encarguen de programas específicos y, en caso necesario, de subprogramas (véase el anexo IV). Además, estos paneles deberían constituirse con tiempo suficiente para proporcionar un apoyo eficaz a la Comisión, que se prolongaría durante el período de programación y posteriormente. |
| --- | --- |

67.

La Comisión debería seguir recurriendo a los paneles de evaluación como apoyo de sus actividades de evaluación. Sin embargo, debería encontrar un medio para adaptar la estructura del panel a la estructura general del programa marco. Para ello, se recomienda que los paneles se encarguen de programas específicos y, en caso necesario, de subprogramas (véase el anexo IV). Además, estos paneles deberían constituirse con tiempo suficiente para proporcionar un apoyo eficaz a la Comisión, que se prolongaría durante el período de programación y posteriormente.

| 68. | La Comisión debería reexaminar los recursos destinados a la evaluación de los programas marco y de sus programas constitutivos. |
| --- | --- |

68.

La Comisión debería reexaminar los recursos destinados a la evaluación de los programas marco y de sus programas constitutivos.

Metodologías y técnicas de evaluación

| 69. | Para que una evaluación resulte eficaz, es necesario utilizar metodologías y técnicas apropiadas. El Tribunal verificó si existían directrices específicas para la evaluación de los programas marco, si las necesidades de información habían sido correctamente analizadas a su debido tiempo y si se habían facilitado a los evaluadores los datos pertinentes. Tomando en consideración los estudios de evaluación llevados a cabo por (o por cuenta de) la Comisión, el Tribunal examinó si las técnicas utilizadas para los distintos estudios proporcionaban una base suficiente para abordar las cuestiones definidas en las evaluaciones quinquenales. También se tuvo en cuenta la contribución potencial de las evaluaciones nacionales a la evaluación de los programas marco. |
| --- | --- |

69.

Para que una evaluación resulte eficaz, es necesario utilizar metodologías y técnicas apropiadas. El Tribunal verificó si existían directrices específicas para la evaluación de los programas marco, si las necesidades de información habían sido correctamente analizadas a su debido tiempo y si se habían facilitado a los evaluadores los datos pertinentes. Tomando en consideración los estudios de evaluación llevados a cabo por (o por cuenta de) la Comisión, el Tribunal examinó si las técnicas utilizadas para los distintos estudios proporcionaban una base suficiente para abordar las cuestiones definidas en las evaluaciones quinquenales. También se tuvo en cuenta la contribución potencial de las evaluaciones nacionales a la evaluación de los programas marco.

Establecimiento de normas y directrices específicas a los programas marco

| 70. | La Dirección General de Presupuestos ha publicado varias comunicaciones en las que se presenta su política de evaluación y que proporcionan normas para su aplicación, ha establecido asimismo una serie de normas para el conjunto de la Comisión (véanse los apartados 14 y 55) (41). Para otras políticas, las direcciones generales competentes también han elaborado guías específicas de evaluación (42). |
| --- | --- |

70.

La Dirección General de Presupuestos ha publicado varias comunicaciones en las que se presenta su política de evaluación y que proporcionan normas para su aplicación, ha establecido asimismo una serie de normas para el conjunto de la Comisión (véanse los apartados 14 y 55) (41). Para otras políticas, las direcciones generales competentes también han elaborado guías específicas de evaluación (42).

| 71. | Sin embargo, en el caso de los programas marco la situación es distinta. La Comisión ha publicado (o financiado) varias guías y cajas de herramientas metodológicas para las actividades de evaluación en el ámbito de la investigación (43). Sin embargo, estos documentos no proporcionan orientaciones específicas sobre la manera de evaluar los programas marco, ni indican cómo deben utilizar los agentes de la Comisión o los expertos externos los conceptos clave o la terminología. Estas deficiencias han contribuido a generar los problemas que se exponen a continuación. |
| --- | --- |

71.

Sin embargo, en el caso de los programas marco la situación es distinta. La Comisión ha publicado (o financiado) varias guías y cajas de herramientas metodológicas para las actividades de evaluación en el ámbito de la investigación (43). Sin embargo, estos documentos no proporcionan orientaciones específicas sobre la manera de evaluar los programas marco, ni indican cómo deben utilizar los agentes de la Comisión o los expertos externos los conceptos clave o la terminología. Estas deficiencias han contribuido a generar los problemas que se exponen a continuación.

Necesidades de información y obtención de datos

Análisis insuficiente de las necesidades de información

| 72. | Las «direcciones generales de investigación» no han prestado la debida atención a la definición de los datos necesarios para la evaluación y el seguimiento. En lugar de efectuar un análisis sistemático y detallado de las necesidades de información, la Comisión especificó exigencias en materia de datos ya avanzado el período de programación y sin tener debidamente en cuenta las necesidades globales de evaluación. El cuestionario socioeconómico del VI PM fue la única tentativa común a todas las direcciones generales para ponerse de acuerdo sobre estos datos (véase el apartado 76). Sin embargo, este cuestionario se finalizó en 2004 (transcurridos tres años desde el inicio del período de programación) y básicamente abarcaba aspectos como la participación de ambos sexos y el impacto medioambiental, en lugar de realizaciones científicas (como cuestiones de propiedad intelectual, publicaciones, etc.), logros o impactos. |
| --- | --- |

72.

Las «direcciones generales de investigación» no han prestado la debida atención a la definición de los datos necesarios para la evaluación y el seguimiento. En lugar de efectuar un análisis sistemático y detallado de las necesidades de información, la Comisión especificó exigencias en materia de datos ya avanzado el período de programación y sin tener debidamente en cuenta las necesidades globales de evaluación. El cuestionario socioeconómico del VI PM fue la única tentativa común a todas las direcciones generales para ponerse de acuerdo sobre estos datos (véase el apartado 76). Sin embargo, este cuestionario se finalizó en 2004 (transcurridos tres años desde el inicio del período de programación) y básicamente abarcaba aspectos como la participación de ambos sexos y el impacto medioambiental, en lugar de realizaciones científicas (como cuestiones de propiedad intelectual, publicaciones, etc.), logros o impactos.

| 73. | La evaluación de los programas depende en gran medida de la disponibilidad de tres tipos de datos:






  — | datos obtenidos en función de indicadores de «eficacia», cuyo análisis proporciona información sobre los avances hacia la realización de los objetivos de los programas. La falta de una lógica de intervención, a la que ya se ha hecho referencia, trasluce la dificultad de definir tales indicadores (véase el apartado 30). En la práctica, los datos obtenidos eran poco pertinentes para apreciar si se habían alcanzado los objetivos de los programas, |
| --- | --- | --- |

73.

La evaluación de los programas depende en gran medida de la disponibilidad de tres tipos de datos:

—

datos obtenidos en función de indicadores de «eficacia», cuyo análisis proporciona información sobre los avances hacia la realización de los objetivos de los programas. La falta de una lógica de intervención, a la que ya se ha hecho referencia, trasluce la dificultad de definir tales indicadores (véase el apartado 30). En la práctica, los datos obtenidos eran poco pertinentes para apreciar si se habían alcanzado los objetivos de los programas,

| — | datos sobre la gestión de los programas (en función de indicadores de «eficiencia»), |
| --- | --- |

—

datos sobre la gestión de los programas (en función de indicadores de «eficiencia»),

| — | datos relativos a los participantes (como los porcentajes de participación de los principales organismos de investigación). |
| --- | --- |

—

datos relativos a los participantes (como los porcentajes de participación de los principales organismos de investigación).

| 74. | De hecho, la Comisión debería poder facilitar los dos últimos tipos de datos. Sin embargo, a raíz de problemas en los sistemas internos informáticos de la Comisión, que constituyen la principal fuente de información sobre la gestión de los programas y sobre los participantes (44), han surgido en la práctica dificultades importantes a este respecto (45). |
| --- | --- |

74.

De hecho, la Comisión debería poder facilitar los dos últimos tipos de datos. Sin embargo, a raíz de problemas en los sistemas internos informáticos de la Comisión, que constituyen la principal fuente de información sobre la gestión de los programas y sobre los participantes (44), han surgido en la práctica dificultades importantes a este respecto (45).

| 75. | Este hecho queda reflejado en los retrasos considerables que se han producido en la presentación de los informes previstos por el artículo 173 y de los informes anuales de seguimiento (demoras de hasta 16 meses en el caso de los primeros (46) y de hasta siete meses en el de los segundos, durante el período 2002-2005). Dada esta transmisión considerablemente tardía de la información, su utilidad fue limitada. |
| --- | --- |

75.

Este hecho queda reflejado en los retrasos considerables que se han producido en la presentación de los informes previstos por el artículo 173 y de los informes anuales de seguimiento (demoras de hasta 16 meses en el caso de los primeros (46) y de hasta siete meses en el de los segundos, durante el período 2002-2005). Dada esta transmisión considerablemente tardía de la información, su utilidad fue limitada.

Enfoque ineficaz para obtener de los participantes datos destinados a la evaluación

| 76. | A partir del V PM, la Comisión obligó sistemáticamente a los participantes, mediante contrato, a proporcionar los datos necesarios para medir la realización de los objetivos del programa en términos de realizaciones, logros e impactos. En concreto, los participantes debían:






  — | en el marco del V PM, presentar un «plan de aplicación tecnológica» junto con el informe final una vez concluido el proyecto. A menudo la calidad de estos documentos no era óptima o ni siquiera fueron presentados, |
| --- | --- | --- |

76.

A partir del V PM, la Comisión obligó sistemáticamente a los participantes, mediante contrato, a proporcionar los datos necesarios para medir la realización de los objetivos del programa en términos de realizaciones, logros e impactos. En concreto, los participantes debían:

—

en el marco del V PM, presentar un «plan de aplicación tecnológica» junto con el informe final una vez concluido el proyecto. A menudo la calidad de estos documentos no era óptima o ni siquiera fueron presentados,

| — | en el marco del VI PM, presentar un «plan de valorización y difusión de los conocimientos» y responder a un cuestionario tipo relativo a las cuestiones socioeconómicas al transmitir sus informes técnicos anuales. |
| --- | --- |

—

en el marco del VI PM, presentar un «plan de valorización y difusión de los conocimientos» y responder a un cuestionario tipo relativo a las cuestiones socioeconómicas al transmitir sus informes técnicos anuales.

| 77. | Estas obligaciones contractuales para la comunicación de datos han impuesto cargas administrativas innecesarias para los participantes. Por ejemplo, con respecto al cuestionario anual del VI PM, los datos se recopilan con una frecuencia mucho mayor que la necesaria y basándose en el conjunto de los participantes en los proyectos, cuando bastaría con una muestra representativa. Esta situación puede provocar cierto «cansancio evaluador». Además, esta información se ha recabado en un momento inadecuado; en efecto, dado que muchas de las cuestiones subyacentes para las que se han obtenido los datos presentan un carácter a medio o largo plazo, la recopilación de datos durante la duración contractual del proyecto resulta forzosamente prematura (47). Ello explica que, en la práctica, los resultados producidos por estos instrumentos no hayan tenido gran utilidad para las evaluaciones del V PM y del VI PM. |
| --- | --- |

77.

Estas obligaciones contractuales para la comunicación de datos han impuesto cargas administrativas innecesarias para los participantes. Por ejemplo, con respecto al cuestionario anual del VI PM, los datos se recopilan con una frecuencia mucho mayor que la necesaria y basándose en el conjunto de los participantes en los proyectos, cuando bastaría con una muestra representativa. Esta situación puede provocar cierto «cansancio evaluador». Además, esta información se ha recabado en un momento inadecuado; en efecto, dado que muchas de las cuestiones subyacentes para las que se han obtenido los datos presentan un carácter a medio o largo plazo, la recopilación de datos durante la duración contractual del proyecto resulta forzosamente prematura (47). Ello explica que, en la práctica, los resultados producidos por estos instrumentos no hayan tenido gran utilidad para las evaluaciones del V PM y del VI PM.

| 78. | Sin embargo, ninguno de los sistemas en vigor prevé la obtención de información de un modo estandarizado una vez finalizado un proyecto (o poco después de su finalización). Las partes interesadas entrevistadas sugirieron que esta información también podría abarcar la realización de los objetivos de los proyectos, los resultados que se espera obtener (así como los imprevistos) y la percepción del valor añadido comunitario por los participantes. Asimismo, dicha información podría constituir la base para el examen por expertos externos de los proyectos finalizados (48). |
| --- | --- |

78.

Sin embargo, ninguno de los sistemas en vigor prevé la obtención de información de un modo estandarizado una vez finalizado un proyecto (o poco después de su finalización). Las partes interesadas entrevistadas sugirieron que esta información también podría abarcar la realización de los objetivos de los proyectos, los resultados que se espera obtener (así como los imprevistos) y la percepción del valor añadido comunitario por los participantes. Asimismo, dicha información podría constituir la base para el examen por expertos externos de los proyectos finalizados (48).

| 79. | Junto con la intensificación del uso de los enfoques cienciométricos (como el análisis de citas) para evaluar los resultados de los proyectos (véase el apartado 83), este podría constituir el punto de partida para la transición de la Comisión hacia un sistema de financiación basado en los resultados para las acciones de IDT cofinanciadas por la Comunidad (49). |
| --- | --- |

79.

Junto con la intensificación del uso de los enfoques cienciométricos (como el análisis de citas) para evaluar los resultados de los proyectos (véase el apartado 83), este podría constituir el punto de partida para la transición de la Comisión hacia un sistema de financiación basado en los resultados para las acciones de IDT cofinanciadas por la Comunidad (49).

Otras fuentes de datos utilizadas de forma inadecuada

| 80. | Otras fuentes de datos existentes en la Comisión y en los Estados miembros no son suficientemente utilizadas [por ejemplo, las bases de datos de los programas nacionales de IDT y de los organismos de financiación y el «Servicio de Información Comunitario sobre Investigación y Desarrollo» (CORDIS) establecido por la Oficina de Publicaciones de la Comisión (50)]. |
| --- | --- |

80.

Otras fuentes de datos existentes en la Comisión y en los Estados miembros no son suficientemente utilizadas [por ejemplo, las bases de datos de los programas nacionales de IDT y de los organismos de financiación y el «Servicio de Información Comunitario sobre Investigación y Desarrollo» (CORDIS) establecido por la Oficina de Publicaciones de la Comisión (50)].

Estudios de evaluación realizados por la Comisión

Informes examinados por el Tribunal

| 81. | El Tribunal examinó 86 estudios de evaluación realizados por (o por cuenta de) la Comisión desde 2000. Estos comprendían los 36 estudios que formaron la base de la evaluación quinquenal publicada en 2004, así como otros 50 estudios realizados desde entonces. De los mismos, solo 23 estudios pueden considerarse como verdaderas evaluaciones de los programas marco y de sus programas (véase el gráfico 5).
  Gráfico 5
  Visión general de los estudios de evaluación realizados por (o por cuenta de) la Comisión en el período 2000-2006








  Tipo de estudios | Número | Descripción |
| --- | --- | --- | --- |
| Evaluaciones de las actividades de los PM | 23 | Estudios de evaluación:






  — | basados en metodologías reconocidas (51), |

81.

El Tribunal examinó 86 estudios de evaluación realizados por (o por cuenta de) la Comisión desde 2000. Estos comprendían los 36 estudios que formaron la base de la evaluación quinquenal publicada en 2004, así como otros 50 estudios realizados desde entonces. De los mismos, solo 23 estudios pueden considerarse como verdaderas evaluaciones de los programas marco y de sus programas (véase el gráfico 5).

Gráfico 5

Visión general de los estudios de evaluación realizados por (o por cuenta de) la Comisión en el período 2000-2006

Tipo de estudios

Número

Descripción

Evaluaciones de las actividades de los PM

23

Estudios de evaluación:

—

basados en metodologías reconocidas (51),

| — | con referencias específicas a los objetivos del programa y al grado de consecución de estos objetivos. |
| --- | --- |

—

con referencias específicas a los objetivos del programa y al grado de consecución de estos objetivos.

Evaluaciones de impacto nacionales realizadas por los Estados miembros

12

Estudios realizados por los Estados miembros que tratan principalmente de los porcentajes de participación nacionales, en lugar de extraer conclusiones sobre los objetivos del programa.

Estudios metodológicos

5

Estudios organizados por la Comisión para colaborar en la elaboración de metodologías de evaluación.

Estudios del contexto europeo de IDT

2

Estudios que tratan de los análisis contextuales relativos al sector de la investigación en Europa, sin abordar los PM. En particular no se efectúa ninguna referencia explícita a la incidencia de los PM en los sistemas nacionales de investigación y de innovación.

Documentos estadísticos descriptivos y no analíticos

33

Documentos que tratan normalmente de las actividades de los PM de forma muy indirecta y que, con frecuencia, describen las actividades en lugar de analizarlas.

Otros documentos

11

Serie de documentos que abordan las cuestiones de interés político general, sin examinar los PM en ese contexto.

Evaluaciones más centradas en cuestiones de seguimiento que en logros e impactos

| 82. | El Tribunal efectuó un metaanálisis de estos estudios de evaluación específicos del que se desprenden principalmente dos observaciones:






  — | aunque muchos estudios tratan de presentar conclusiones con respecto a los objetivos del programa, su formulación imprecisa induce al lector a dudar de que la evaluación haya tratado realmente este aspecto. Con frecuencia esto se debe a la falta de objetivos programáticos claros, lo que compromete gravemente el proceso (véase el apartado 28), |
| --- | --- | --- |

82.

El Tribunal efectuó un metaanálisis de estos estudios de evaluación específicos del que se desprenden principalmente dos observaciones:

—

aunque muchos estudios tratan de presentar conclusiones con respecto a los objetivos del programa, su formulación imprecisa induce al lector a dudar de que la evaluación haya tratado realmente este aspecto. Con frecuencia esto se debe a la falta de objetivos programáticos claros, lo que compromete gravemente el proceso (véase el apartado 28),

| — | en lugar de evaluar los logros e impactos de los programas marco o de sus programas (y subprogramas) específicos, muchos de los documentos son meramente descriptivos, y, en el mejor de los casos, se centran en realizaciones inmediatas del proyecto y en aspectos de gestión del mismo. Así pues, estos informes no pueden proporcionar pruebas convincentes en lo que respecta a los logros o impactos. |
| --- | --- |

—

en lugar de evaluar los logros e impactos de los programas marco o de sus programas (y subprogramas) específicos, muchos de los documentos son meramente descriptivos, y, en el mejor de los casos, se centran en realizaciones inmediatas del proyecto y en aspectos de gestión del mismo. Así pues, estos informes no pueden proporcionar pruebas convincentes en lo que respecta a los logros o impactos.

El desarrollo de metodologías innovadoras no ha sido objeto de atención suficiente

| 83. | En las evaluaciones realizadas en el período 2000 a 2006 predomina la utilización de metodologías y de técnicas tradicionales (en particular, encuestas, comprobación documental y entrevistas) (véase el gráfico 6). Por otra parte, no se emplearon (o solo muy rara vez) otras metodologías y técnicas de evaluación avanzadas, aunque bien implantadas, en particular:






  — | enfoques cienciométricos (como el análisis de citas) (52), |
| --- | --- | --- |

83.

En las evaluaciones realizadas en el período 2000 a 2006 predomina la utilización de metodologías y de técnicas tradicionales (en particular, encuestas, comprobación documental y entrevistas) (véase el gráfico 6). Por otra parte, no se emplearon (o solo muy rara vez) otras metodologías y técnicas de evaluación avanzadas, aunque bien implantadas, en particular:

—

enfoques cienciométricos (como el análisis de citas) (52),

| — | modelos cuantitativos (como las relaciones coste-eficiencia, coste-eficacia y coste-beneficios) (53), |
| --- | --- |

—

modelos cuantitativos (como las relaciones coste-eficiencia, coste-eficacia y coste-beneficios) (53),

| — | modelos de actor (o de comportamiento) (que se centran en los puntos de vista de los participantes en una intervención, como las características de las redes de investigación y los cambios que les afectan en el transcurso del tiempo). |
| --- | --- |

—

modelos de actor (o de comportamiento) (que se centran en los puntos de vista de los participantes en una intervención, como las características de las redes de investigación y los cambios que les afectan en el transcurso del tiempo).

Image

| 84. | Solamente en un número limitado de casos se utilizaron estudios de evaluación que intentaran resolver algunas de las dificultades metodológicas en la evaluación de la intervención pública en materia de investigación (véase el anexo I):






  — | recientemente se han completado dos estudios sobre el tema de la lógica de intervención (54), |
| --- | --- | --- |

84.

Solamente en un número limitado de casos se utilizaron estudios de evaluación que intentaran resolver algunas de las dificultades metodológicas en la evaluación de la intervención pública en materia de investigación (véase el anexo I):

—

recientemente se han completado dos estudios sobre el tema de la lógica de intervención (54),

| — | solo se han identificado tres estudios que intentan evaluar el efecto de la financiación comunitaria en el comportamiento de red de organizaciones de investigación a nivel paneuropeo (55), pese a que la hipótesis de los efectos de red positivos constituye el núcleo del concepto ERA, |
| --- | --- |

—

solo se han identificado tres estudios que intentan evaluar el efecto de la financiación comunitaria en el comportamiento de red de organizaciones de investigación a nivel paneuropeo (55), pese a que la hipótesis de los efectos de red positivos constituye el núcleo del concepto ERA,

| — | se ha realizado una sola tentativa de extraer conclusiones sobre el impacto logrado a nivel del programa (o del subprograma) al combinar la agregación de análisis de evaluación de proyectos con otras técnicas de evaluación (56), |
| --- | --- |

—

se ha realizado una sola tentativa de extraer conclusiones sobre el impacto logrado a nivel del programa (o del subprograma) al combinar la agregación de análisis de evaluación de proyectos con otras técnicas de evaluación (56),

| — | no se ha hallado ningún elemento que pruebe la utilización de otras metodologías, como el enfoque «contrafactual» (counter factual approach o de «grupo de control»). Este resultaría particularmente útil para ilustrar el valor añadido de los programas a nivel comunitario frente a una falta total de intervención (o de intervención solo a nivel nacional o regional). |
| --- | --- |

—

no se ha hallado ningún elemento que pruebe la utilización de otras metodologías, como el enfoque «contrafactual» (counter factual approach o de «grupo de control»). Este resultaría particularmente útil para ilustrar el valor añadido de los programas a nivel comunitario frente a una falta total de intervención (o de intervención solo a nivel nacional o regional).

| 85. | En la opinión de las partes interesadas entrevistadas por el Tribunal, la utilidad y la pertinencia de las evaluaciones de la Comisión podría mejorar. Esto demuestra la necesidad de un mayor desarrollo metodológico para que el sistema de evaluación tenga en cuenta el carácter cambiante de los programas marco (véase el apartado 7) (57). |
| --- | --- |

85.

En la opinión de las partes interesadas entrevistadas por el Tribunal, la utilidad y la pertinencia de las evaluaciones de la Comisión podría mejorar. Esto demuestra la necesidad de un mayor desarrollo metodológico para que el sistema de evaluación tenga en cuenta el carácter cambiante de los programas marco (véase el apartado 7) (57).

Los temas de importancia planteados por las evaluaciones quinquenales no pudieron tratarse sobre la base de los estudios de evaluación específicos de la Comisión

| 86. | Esta constatación también se ve reflejada por los importantes problemas a los que el panel de expertos encargado de la evaluación quinquenal de 2004 (58) se vio confrontado para responder a las preguntas de evaluación sugeridas en el mandato. En muchos casos resultó totalmente imposible examinar estas preguntas de importancia, debido a que no existían estudios sobre el tema realizados previamente por (o por cuenta de) la Comisión y a que los miembros del panel de expertos no tuvieron la posibilidad de encargar estos estudios oportunamente (véase el gráfico 7).
  Gráfico 7
  Cuestiones tratadas en el marco de las evaluaciones quinquenales de 2004 | Pregunta de evaluación | ¿Abordada en el informe? |
| --- | --- | --- | --- |
| EJECUCIÓN | ¿Se llevaron a cabo las acciones eficazmente? | parcialmente |
| ¿Presentaron las acciones una buena relación coste-eficacia? | parcialmente |
| ¿Constituyeron las acciones la mejor forma de alcanzar los objetivos fijados? | no |
| ¿Eran el marco jurídico global (normas de participación y contratos incluidos), los instrumentos políticos y las modalidades de ejecución claros, apropiados y eficaces? | no |
| ¿Eran adecuados el nivel de financiación y los demás recursos disponibles? | no |
| ¿Pudieron las comunidades industriales y de investigación seleccionadas, PYME incluidas, contestar de forma apropiada? | sí |
| REALIZACIONES | ¿Alcanzaron las acciones sus respectivos objetivos y en qué medida se produjeron resultados imprevistos? | no |
| ¿Cuáles son los principales resultados, particularmente en términos de realizaciones científicas, tecnológicas, socioeconómicas y medioambientales; en términos de cooperación internacional, de transferencia de conocimientos y de innovación, de actividades prenormativas, de accesibilidad, de difusión y de utilización de los resultados de la investigación, de desarrollo de los recursos humanos, de movilidad y de formación; así como en términos de apoyo y de refuerzo de la coordinación de las acciones de investigación? | no |
| ¿Fueron los resultados y sus efectos e impactos globalmente satisfactorios desde el punto de vista de los beneficiarios directos o indirectos, así como de las partes interesadas? | no |
| ¿Se tuvieron en cuenta de forma satisfactoria las comunidades industriales y de investigación implicadas, PYME incluidas? | sí |
| ¿Cómo y en qué medida han contribuido las acciones a mejorar la competitividad de la investigación en la UE a nivel internacional? ¿Se situó la investigación en la UE en una posición de liderazgo en ámbitos específicos? | parcialmente |
| ¿Cómo y en qué medida han contribuido las acciones a las políticas comunitarias en general y a la estrategia de la UE en materia de desarrollo sostenible? | no |
| ¿Existen pruebas de un cambio estructural, en el que se inscribiría en particular la constitución de redes, la integración y la coordinación de la investigación, a nivel nacional o internacional, como resultado de las acciones comunitarias en materia de investigación? | no |
| ¿Permitieron los programas una optimización de recursos? ¿Tuvieron las acciones impactos duraderos? | no |
| EVOLUCIÓN Y PERSPECTIVAS FUTURAS | ¿Cómo han evolucionado los programas marco en términos de lógica, de objetivos, de prioridades temáticas, de equilibrio entre las prioridades «de abajo arriba» y «de arriba abajo» y entre investigación fundamental y aplicada, de instrumentos, de valor añadido comunitario y de otros impactos, en particular en vista de la emergencia del concepto de Espacio Europeo de Investigación, de los objetivos de Lisboa y de los principales criterios de referencia internacionales en materia de economía e investigación? | sí |
| ¿Cómo produjo el programa marco un valor añadido europeo? | sí |
| ¿Puede obtenerse un valor añadido europeo a través de otros mecanismos internacionales o nacionales? | no |
| ¿Son los objetivos políticos, las prioridades, los instrumentos y el ciclo de vida de los programas apropiados para el futuro? | sí |

86.

Esta constatación también se ve reflejada por los importantes problemas a los que el panel de expertos encargado de la evaluación quinquenal de 2004 (58) se vio confrontado para responder a las preguntas de evaluación sugeridas en el mandato. En muchos casos resultó totalmente imposible examinar estas preguntas de importancia, debido a que no existían estudios sobre el tema realizados previamente por (o por cuenta de) la Comisión y a que los miembros del panel de expertos no tuvieron la posibilidad de encargar estos estudios oportunamente (véase el gráfico 7).

Gráfico 7

Cuestiones tratadas en el marco de las evaluaciones quinquenales de 2004

Pregunta de evaluación

¿Abordada en el informe?

EJECUCIÓN

¿Se llevaron a cabo las acciones eficazmente?

parcialmente

¿Presentaron las acciones una buena relación coste-eficacia?

parcialmente

¿Constituyeron las acciones la mejor forma de alcanzar los objetivos fijados?

no

¿Eran el marco jurídico global (normas de participación y contratos incluidos), los instrumentos políticos y las modalidades de ejecución claros, apropiados y eficaces?

no

¿Eran adecuados el nivel de financiación y los demás recursos disponibles?

no

¿Pudieron las comunidades industriales y de investigación seleccionadas, PYME incluidas, contestar de forma apropiada?

sí

REALIZACIONES

¿Alcanzaron las acciones sus respectivos objetivos y en qué medida se produjeron resultados imprevistos?

no

¿Cuáles son los principales resultados, particularmente en términos de realizaciones científicas, tecnológicas, socioeconómicas y medioambientales; en términos de cooperación internacional, de transferencia de conocimientos y de innovación, de actividades prenormativas, de accesibilidad, de difusión y de utilización de los resultados de la investigación, de desarrollo de los recursos humanos, de movilidad y de formación; así como en términos de apoyo y de refuerzo de la coordinación de las acciones de investigación?

no

¿Fueron los resultados y sus efectos e impactos globalmente satisfactorios desde el punto de vista de los beneficiarios directos o indirectos, así como de las partes interesadas?

no

¿Se tuvieron en cuenta de forma satisfactoria las comunidades industriales y de investigación implicadas, PYME incluidas?

sí

¿Cómo y en qué medida han contribuido las acciones a mejorar la competitividad de la investigación en la UE a nivel internacional? ¿Se situó la investigación en la UE en una posición de liderazgo en ámbitos específicos?

parcialmente

¿Cómo y en qué medida han contribuido las acciones a las políticas comunitarias en general y a la estrategia de la UE en materia de desarrollo sostenible?

no

¿Existen pruebas de un cambio estructural, en el que se inscribiría en particular la constitución de redes, la integración y la coordinación de la investigación, a nivel nacional o internacional, como resultado de las acciones comunitarias en materia de investigación?

no

¿Permitieron los programas una optimización de recursos? ¿Tuvieron las acciones impactos duraderos?

no

EVOLUCIÓN Y PERSPECTIVAS FUTURAS

¿Cómo han evolucionado los programas marco en términos de lógica, de objetivos, de prioridades temáticas, de equilibrio entre las prioridades «de abajo arriba» y «de arriba abajo» y entre investigación fundamental y aplicada, de instrumentos, de valor añadido comunitario y de otros impactos, en particular en vista de la emergencia del concepto de Espacio Europeo de Investigación, de los objetivos de Lisboa y de los principales criterios de referencia internacionales en materia de economía e investigación?

sí

¿Cómo produjo el programa marco un valor añadido europeo?

sí

¿Puede obtenerse un valor añadido europeo a través de otros mecanismos internacionales o nacionales?

no

¿Son los objetivos políticos, las prioridades, los instrumentos y el ciclo de vida de los programas apropiados para el futuro?

sí

| 87. | Además, se constató que los miembros del panel solo pudieron contestar las preguntas mencionadas en el mandato cuando estas correspondían a aspectos para los que se habían definido unos objetivos claros y cuantificables en los programas (como la proporción de pequeñas y medianas empresas participantes). |
| --- | --- |

87.

Además, se constató que los miembros del panel solo pudieron contestar las preguntas mencionadas en el mandato cuando estas correspondían a aspectos para los que se habían definido unos objetivos claros y cuantificables en los programas (como la proporción de pequeñas y medianas empresas participantes).

Evaluaciones de los programas marco realizadas a nivel nacional

| 88. | Varios Estados miembros y países asociados realizan sus propias evaluaciones nacionales de los programas marco, abordando cuestiones pertinentes e interesantes desde su propio punto de vista (59). En los últimos ocho años, se han presentado catorce estudios de estas características en nueve Estados miembros y un país asociado. |
| --- | --- |

88.

Varios Estados miembros y países asociados realizan sus propias evaluaciones nacionales de los programas marco, abordando cuestiones pertinentes e interesantes desde su propio punto de vista (59). En los últimos ocho años, se han presentado catorce estudios de estas características en nueve Estados miembros y un país asociado.

| 89. | Si bien la Comisión fomentaba el recurso, siempre que fuese posible, a unos enfoques normalizados, estos estudios nacionales de impacto son muy heterogéneos (60). Por consiguiente, dado que no siguen una metodología armonizada, las posibilidades de agregar, combinar o comparar los resultados son limitadas. Además, dado su carácter nacional, estos estudios solo permiten reflejar parcialmente la dimensión de cooperación europea. |
| --- | --- |

89.

Si bien la Comisión fomentaba el recurso, siempre que fuese posible, a unos enfoques normalizados, estos estudios nacionales de impacto son muy heterogéneos (60). Por consiguiente, dado que no siguen una metodología armonizada, las posibilidades de agregar, combinar o comparar los resultados son limitadas. Además, dado su carácter nacional, estos estudios solo permiten reflejar parcialmente la dimensión de cooperación europea.

| 90. | En su Libro Verde de 2007 sobre el Espacio Europeo de Investigación, la Comisión hizo hincapié en la importancia de disponer, a nivel del EEI, de unos análisis rigurosos sobre el impacto y la eficacia de las acciones y políticas de investigación, en particular de los Estados miembros y de la UE. Esta institución reconoció también que los sistemas y estructura actuales no resultaban adecuadas para afrontar este desafío, puesto que cada nivel de intervención realizaba sus evaluaciones por separado (61). |
| --- | --- |

90.

En su Libro Verde de 2007 sobre el Espacio Europeo de Investigación, la Comisión hizo hincapié en la importancia de disponer, a nivel del EEI, de unos análisis rigurosos sobre el impacto y la eficacia de las acciones y políticas de investigación, en particular de los Estados miembros y de la UE. Esta institución reconoció también que los sistemas y estructura actuales no resultaban adecuadas para afrontar este desafío, puesto que cada nivel de intervención realizaba sus evaluaciones por separado (61).

Recomendaciones

91.

| 91. | La Comisión debería elaborar un manual para la evaluación de las actividades financiadas por los programas marco, que contuviera definiciones de los conceptos clave y de la terminología e indicara una serie de metodologías apropiadas para ciertas actividades de evaluación. Este manual debería basarse en las guías y cajas de herramientas existentes, así como ser actualizado con regularidad. |
| --- | --- |

La Comisión debería elaborar un manual para la evaluación de las actividades financiadas por los programas marco, que contuviera definiciones de los conceptos clave y de la terminología e indicara una serie de metodologías apropiadas para ciertas actividades de evaluación. Este manual debería basarse en las guías y cajas de herramientas existentes, así como ser actualizado con regularidad.

| 92. | La Comisión debería definir sus necesidades de información, teniendo en cuenta la necesidad de limitar la carga administrativa de los participantes. |
| --- | --- |

92.

La Comisión debería definir sus necesidades de información, teniendo en cuenta la necesidad de limitar la carga administrativa de los participantes.

| 93. | La Comisión debería proporcionar, a su debido tiempo, información sobre el seguimiento de la ejecución de los programas marco. Como prevén las «normas de participación» del VII PM, deberían resolverse urgentemente los problemas relativos a los sistemas informáticos de la Comisión para la utilización de los datos relativos a la gestión de los programas y a los participantes. |
| --- | --- |

93.

La Comisión debería proporcionar, a su debido tiempo, información sobre el seguimiento de la ejecución de los programas marco. Como prevén las «normas de participación» del VII PM, deberían resolverse urgentemente los problemas relativos a los sistemas informáticos de la Comisión para la utilización de los datos relativos a la gestión de los programas y a los participantes.

| 94. | Las obligaciones de los participantes de presentar informes a la Comisión deberían reducirse significativamente y las encuestas deberían realizarse únicamente sobre la base de muestras representativas. La obligación contractual de presentar, para cada proyecto, datos sobre el impacto basados en indicadores, debería sustituirse por una breve autoevaluación una vez finalizado el proyecto. |
| --- | --- |

94.

Las obligaciones de los participantes de presentar informes a la Comisión deberían reducirse significativamente y las encuestas deberían realizarse únicamente sobre la base de muestras representativas. La obligación contractual de presentar, para cada proyecto, datos sobre el impacto basados en indicadores, debería sustituirse por una breve autoevaluación una vez finalizado el proyecto.

| 95. | Al llevar a cabo sus evaluaciones, la Comisión debería utilizar en mayor medida fuentes complementarias de datos que sean de relevancia (existentes tanto en sus propios servicios como en los Estados miembros). |
| --- | --- |

95.

Al llevar a cabo sus evaluaciones, la Comisión debería utilizar en mayor medida fuentes complementarias de datos que sean de relevancia (existentes tanto en sus propios servicios como en los Estados miembros).

| 96. | La Comisión debería emplear toda la gama de técnicas de evaluación disponibles. Además, debería fomentar el desarrollo de enfoques innovadores para abordar las dificultades metodológicas inherentes a la evaluación de la intervención pública en materia de investigación (véase el anexo I), así como recurrir a estos enfoques en sus propias evaluaciones. |
| --- | --- |

96.

La Comisión debería emplear toda la gama de técnicas de evaluación disponibles. Además, debería fomentar el desarrollo de enfoques innovadores para abordar las dificultades metodológicas inherentes a la evaluación de la intervención pública en materia de investigación (véase el anexo I), así como recurrir a estos enfoques en sus propias evaluaciones.

| 97. | La Comisión debería buscar, en colaboración con los Estados miembros, la forma de potenciar los beneficios de las evaluaciones de los programas marco efectuadas a nivel nacional. |
| --- | --- |

97.

La Comisión debería buscar, en colaboración con los Estados miembros, la forma de potenciar los beneficios de las evaluaciones de los programas marco efectuadas a nivel nacional.

Difusión y utilización de las constataciones de evaluación

| 98. | La evaluación debería proporcionar información y análisis pertinentes que puedan utilizarse de forma eficaz para la gestión de los programas y la elaboración de políticas. En particular, debería constituir el punto de partida para una reflexión en profundidad sobre los puntos fuertes y las insuficiencias de una intervención pública, requisito indispensable de todo aprendizaje. El Tribunal verificó si las evaluaciones tenían lugar a su debido tiempo, si las constataciones se comunicaban y difundían a las partes interesadas externas a la Comisión y si esta institución tomaba en consideración las recomendaciones para revisar los programas en curso («programas de aprendizaje»). |
| --- | --- |

98.

La evaluación debería proporcionar información y análisis pertinentes que puedan utilizarse de forma eficaz para la gestión de los programas y la elaboración de políticas. En particular, debería constituir el punto de partida para una reflexión en profundidad sobre los puntos fuertes y las insuficiencias de una intervención pública, requisito indispensable de todo aprendizaje. El Tribunal verificó si las evaluaciones tenían lugar a su debido tiempo, si las constataciones se comunicaban y difundían a las partes interesadas externas a la Comisión y si esta institución tomaba en consideración las recomendaciones para revisar los programas en curso («programas de aprendizaje»).

La programación de las evaluaciones no tuvo en cuenta el tipo de información que cabría haber esperado de forma realista

| 99. | El Tribunal reconoce que ciertos tipos de análisis exigen una perspectiva a largo plazo (por ejemplo, la evaluación de los logros y del impacto socioeconómico) y que algunos aspectos están vinculados a un período de programación específico (por ejemplo, los objetivos del programa, incluso en un ámbito científico determinado), mientras que otros no lo están (véase el gráfico 8). Sin embargo, en sus actividades de evaluación la Comisión no ha adoptado un enfoque que tome en consideración estos horizontes temporales. |
| --- | --- |

99.

El Tribunal reconoce que ciertos tipos de análisis exigen una perspectiva a largo plazo (por ejemplo, la evaluación de los logros y del impacto socioeconómico) y que algunos aspectos están vinculados a un período de programación específico (por ejemplo, los objetivos del programa, incluso en un ámbito científico determinado), mientras que otros no lo están (véase el gráfico 8). Sin embargo, en sus actividades de evaluación la Comisión no ha adoptado un enfoque que tome en consideración estos horizontes temporales.

| 100. | Ateniéndose a la legislación, las principales actividades de evaluación de la Comisión deben centrarse exclusivamente en los cinco años anteriores a la evaluación quinquenal, abarcando de este modo apartados relativos a dos períodos de programación sucesivos. Así pues, apenas se han abordado los efectos y el impacto a medio y largo plazo. Por consiguiente, las evaluaciones quinquenales por lo general se han centrado esencialmente en aspectos de seguimiento, en cuestiones de concepción de los programas a corto plazo y en observaciones generales sobre la orientación de los programas marco. El Tribunal acoge favorablemente el hecho de que la legislación relativa al VII PM ya no prevea las evaluaciones quinquenales, ni ningún otro período predefinido que la evaluación deba abarcar.
  Gráfico 8
  Cuestiones de seguimiento y de evaluación examinadas en función de distintos horizontes temporales







  Seguimiento de la ejecución de los programas

  (en curso) | — | Aspectos relativos a la gestión de los programas (por ejemplo, plazo de adjudicación de los contratos, plazo de pago, porcentajes de suscripción y de éxito, ejecución presupuestaria, porcentajes de financiación, etc.) |
| --- | --- | --- | --- |

100.

Ateniéndose a la legislación, las principales actividades de evaluación de la Comisión deben centrarse exclusivamente en los cinco años anteriores a la evaluación quinquenal, abarcando de este modo apartados relativos a dos períodos de programación sucesivos. Así pues, apenas se han abordado los efectos y el impacto a medio y largo plazo. Por consiguiente, las evaluaciones quinquenales por lo general se han centrado esencialmente en aspectos de seguimiento, en cuestiones de concepción de los programas a corto plazo y en observaciones generales sobre la orientación de los programas marco. El Tribunal acoge favorablemente el hecho de que la legislación relativa al VII PM ya no prevea las evaluaciones quinquenales, ni ningún otro período predefinido que la evaluación deba abarcar.

Gráfico 8

Cuestiones de seguimiento y de evaluación examinadas en función de distintos horizontes temporales

Seguimiento de la ejecución de los programas

(en curso)

—

Aspectos relativos a la gestión de los programas (por ejemplo, plazo de adjudicación de los contratos, plazo de pago, porcentajes de suscripción y de éxito, ejecución presupuestaria, porcentajes de financiación, etc.)

Evaluación

A corto plazo

(es decir, al menos después de 1-2 años)

| — | Aspectos relativos a la gestión de los programas (por ejemplo, eficiencia de los procedimientos administrativos) |
| --- | --- |

—

Aspectos relativos a la gestión de los programas (por ejemplo, eficiencia de los procedimientos administrativos)

| — | Aspectos relativos a la concepción de los programas (por ejemplo, accesibilidad y flexibilidad de los instrumentos, barreras a la participación, consecuencias de convocatorias de propuestas infructuosas, etc.) |
| --- | --- |

—

Aspectos relativos a la concepción de los programas (por ejemplo, accesibilidad y flexibilidad de los instrumentos, barreras a la participación, consecuencias de convocatorias de propuestas infructuosas, etc.)

| — | Análisis del perfil de participación (principalmente cuantitativo en esta fase) |
| --- | --- |

—

Análisis del perfil de participación (principalmente cuantitativo en esta fase)

Evaluación

A medio plazo

(es decir, después de 7 años)

| — | Aspectos relativos a la concepción de los programas (por ejemplo, eficacia de los instrumentos) |
| --- | --- |

—

Aspectos relativos a la concepción de los programas (por ejemplo, eficacia de los instrumentos)

| — | Análisis de participación (combinación de aspectos cualitativos y cuantitativos, por ejemplo análisis de las redes de investigación, impacto en el comportamiento de los investigadores, etc.) |
| --- | --- |

—

Análisis de participación (combinación de aspectos cualitativos y cuantitativos, por ejemplo análisis de las redes de investigación, impacto en el comportamiento de los investigadores, etc.)

| — | Análisis de las realizaciones de los proyectos
   (62) (por ejemplo, publicaciones, artículos, patentes, licencias, prototipos, formación de científicos, etc.) |
| --- | --- |

—

Análisis de las realizaciones de los proyectos
   (62) (por ejemplo, publicaciones, artículos, patentes, licencias, prototipos, formación de científicos, etc.)

Evaluación

A largo plazo

(es decir, después de > 10 años)

| — | Evaluación de los efectos e impacto |
| --- | --- |

—

Evaluación de los efectos e impacto

Fuente: Tribunal de Cuentas Europeo.

| 101. | Los expertos de la Comisión también han constatado insuficiencias en las evaluaciones quinquenales para evaluar los logros y los impactos de los programas marco:






  — | el panel encargado de la evaluación quinquenal de 2004 observó que «[...] la evaluación debería abarcar y prestar suficiente atención a los aspectos tanto a corto como a largo plazo, y [...] podrían liberarse recursos [...] con el fin de permitir estudios de evaluación a largo plazo más ambiciosos que podrían explorar más sistemáticamente los aspectos estructurales y socioeconómicos más amplios» (63), |
| --- | --- | --- |

101.

Los expertos de la Comisión también han constatado insuficiencias en las evaluaciones quinquenales para evaluar los logros y los impactos de los programas marco:

—

el panel encargado de la evaluación quinquenal de 2004 observó que «[...] la evaluación debería abarcar y prestar suficiente atención a los aspectos tanto a corto como a largo plazo, y [...] podrían liberarse recursos [...] con el fin de permitir estudios de evaluación a largo plazo más ambiciosos que podrían explorar más sistemáticamente los aspectos estructurales y socioeconómicos más amplios» (63),

| — | un estudio encargado por la Dirección General de Investigación puso de manifiesto que «... las prácticas de evaluación actuales de las acciones de IDT de la UE (que comprenden un seguimiento continuo, evaluaciones quinquenales y una evaluación intermedia) se caracterizan por la gran importancia que atribuyen al seguimiento frente a la evaluación del impacto y [...] con el fin de desplazar la demanda y las expectativas [...] hacia el impacto socioeconómico, sería necesario un nuevo marco de evaluación y seguimiento que impusiera mayores esfuerzos en lo tocante al impacto en lugar del seguimiento de las realizaciones» (64). |
| --- | --- |

—

un estudio encargado por la Dirección General de Investigación puso de manifiesto que «... las prácticas de evaluación actuales de las acciones de IDT de la UE (que comprenden un seguimiento continuo, evaluaciones quinquenales y una evaluación intermedia) se caracterizan por la gran importancia que atribuyen al seguimiento frente a la evaluación del impacto y [...] con el fin de desplazar la demanda y las expectativas [...] hacia el impacto socioeconómico, sería necesario un nuevo marco de evaluación y seguimiento que impusiera mayores esfuerzos en lo tocante al impacto en lugar del seguimiento de las realizaciones» (64).

| 102. | La cuestión de la realización en tiempo oportuno también afecta a las evaluaciones específicas impuestas por la legislación. Por ejemplo, el «informe Marimón» de 2004, en el que se analizaron los nuevos instrumentos introducidos en el VI PM (2003-2006), fue encargado demasiado pronto, por lo que faltaban, o no eran suficientes, la experiencia práctica y las pruebas empíricas en las que basar sus conclusiones (65). |
| --- | --- |

102.

La cuestión de la realización en tiempo oportuno también afecta a las evaluaciones específicas impuestas por la legislación. Por ejemplo, el «informe Marimón» de 2004, en el que se analizaron los nuevos instrumentos introducidos en el VI PM (2003-2006), fue encargado demasiado pronto, por lo que faltaban, o no eran suficientes, la experiencia práctica y las pruebas empíricas en las que basar sus conclusiones (65).

Comunicación y difusión

| 103. | Por iniciativa propia, la Comisión puede elaborar y adaptar los programas de trabajo operativos en función de ciclos a corto plazo, sujetos a la aprobación del comité del programa competente. Ello podría constituir una ocasión para proceder a ajustes en la gestión del programa y también en la reasignación de presupuestos en los subprogramas. Sin embargo, no se han hallado elementos justificativos de que la Comisión haya recurrido a esta posibilidad (véase el apartado 107). |
| --- | --- |

103.

Por iniciativa propia, la Comisión puede elaborar y adaptar los programas de trabajo operativos en función de ciclos a corto plazo, sujetos a la aprobación del comité del programa competente. Ello podría constituir una ocasión para proceder a ajustes en la gestión del programa y también en la reasignación de presupuestos en los subprogramas. Sin embargo, no se han hallado elementos justificativos de que la Comisión haya recurrido a esta posibilidad (véase el apartado 107).

| 104. | Con esta salvedad, y dada la forma en que los programas marco se conciben y adoptan, resulta casi imposible para la Comisión realizar cambios importantes como la modificación de los objetivos de los programas o la reasignación de presupuestos entre subprogramas. Solo el legislador puede promulgar modificaciones de tan amplio alcance en el marco de una revisión de la legislación del programa marco (como en 2010 para el FP7) o de la adopción del programa marco subsiguiente. Por este motivo, generalmente la legislación dispone que los principales ejercicios de evaluación se programen de forma que sus resultados tengan la mayor utilidad posible para la elaboración de las políticas. |
| --- | --- |

104.

Con esta salvedad, y dada la forma en que los programas marco se conciben y adoptan, resulta casi imposible para la Comisión realizar cambios importantes como la modificación de los objetivos de los programas o la reasignación de presupuestos entre subprogramas. Solo el legislador puede promulgar modificaciones de tan amplio alcance en el marco de una revisión de la legislación del programa marco (como en 2010 para el FP7) o de la adopción del programa marco subsiguiente. Por este motivo, generalmente la legislación dispone que los principales ejercicios de evaluación se programen de forma que sus resultados tengan la mayor utilidad posible para la elaboración de las políticas.

| 105. | Algunos de los principales usuarios de las evaluaciones de la Comisión son las propias «direcciones generales de investigación» (66). No obstante, la legislación relativa a los programas marco también impone explícitamente que estas evaluaciones se comuniquen al Parlamento Europeo y al Consejo. |
| --- | --- |

105.

Algunos de los principales usuarios de las evaluaciones de la Comisión son las propias «direcciones generales de investigación» (66). No obstante, la legislación relativa a los programas marco también impone explícitamente que estas evaluaciones se comuniquen al Parlamento Europeo y al Consejo.

| 106. | En la encuesta realizada por el Tribunal a miembros de la comisión ITRE del Parlamento Europeo y del comité CREST del Consejo, la mayor parte de los encuestados indicaron sin embargo que no se consideraban lo suficientemente informados de la ejecución y de los resultados de los programas marco (véase el gráfico 9) (67). |
| --- | --- |

106.

En la encuesta realizada por el Tribunal a miembros de la comisión ITRE del Parlamento Europeo y del comité CREST del Consejo, la mayor parte de los encuestados indicaron sin embargo que no se consideraban lo suficientemente informados de la ejecución y de los resultados de los programas marco (véase el gráfico 9) (67).

Image

Seguimiento de las constataciones de evaluación

| 107. | En sus revisiones de evaluación anuales, la Comisión presenta un resumen de constataciones y medidas adoptadas a raíz de sus evaluaciones (68). En lo que respecta al seguimiento, la Comisión también ha proporcionado respuestas formales a sus constataciones y recomendaciones de las evaluaciones quinquenales y las evaluaciones específicas impuestas por la legislación y, en la medida de lo posible, ha tomado medidas apropiadas para solventar las deficiencias constatadas. No obstante, no sucedió así en muchos de los otros informes de evaluación examinados y nada indica que las constataciones y recomendaciones se tomaran en consideración para modificar los programas de trabajo. Las declaraciones presupuestarias relativas al principio de presupuestación por actividades y los informes anuales de actividad de las direcciones generales tampoco señalan en qué medida se actuó sobre la base de las constataciones de las evaluaciones. |
| --- | --- |

107.

En sus revisiones de evaluación anuales, la Comisión presenta un resumen de constataciones y medidas adoptadas a raíz de sus evaluaciones (68). En lo que respecta al seguimiento, la Comisión también ha proporcionado respuestas formales a sus constataciones y recomendaciones de las evaluaciones quinquenales y las evaluaciones específicas impuestas por la legislación y, en la medida de lo posible, ha tomado medidas apropiadas para solventar las deficiencias constatadas. No obstante, no sucedió así en muchos de los otros informes de evaluación examinados y nada indica que las constataciones y recomendaciones se tomaran en consideración para modificar los programas de trabajo. Las declaraciones presupuestarias relativas al principio de presupuestación por actividades y los informes anuales de actividad de las direcciones generales tampoco señalan en qué medida se actuó sobre la base de las constataciones de las evaluaciones.

Recomendaciones

108.

| 108. | La Comisión debería definir el tipo y el alcance de la evaluación que razonablemente cabe esperar para las fechas fijadas en la legislación (2008, 2010 y 2015), explicar de qué modo podrían utilizarse las evaluaciones para adaptar los programas («programas de aprendizaje») y especificar cuál puede ser la contribución de las evaluaciones a las decisiones políticas. En particular, la Comisión debería precisar el enfoque previsto en la evaluación de los resultados a más largo plazo de los programas marco actuales y precedentes, dado que dichos resultados quizá tarden entre siete y diez años en concretizarse (véase el gráfico 8). |
| --- | --- |

La Comisión debería definir el tipo y el alcance de la evaluación que razonablemente cabe esperar para las fechas fijadas en la legislación (2008, 2010 y 2015), explicar de qué modo podrían utilizarse las evaluaciones para adaptar los programas («programas de aprendizaje») y especificar cuál puede ser la contribución de las evaluaciones a las decisiones políticas. En particular, la Comisión debería precisar el enfoque previsto en la evaluación de los resultados a más largo plazo de los programas marco actuales y precedentes, dado que dichos resultados quizá tarden entre siete y diez años en concretizarse (véase el gráfico 8).

| 109. | La Comisión debería examinar sus prácticas en materia de comunicación y difusión de sus constataciones de evaluación a fin de que las partes interesadas reciban la información necesaria. En particular, las «direcciones generales de investigación» deberían proporcionar una respuesta formal a todas las evaluaciones y publicar estos estudios a su debido tiempo, junto con sus respuestas. Las «direcciones generales de investigación» también deberían notificar el seguimiento realizado en sus declaraciones presupuestarias relativas al principio de presupuestación por actividades y en sus informes anuales de actividad, así como inspirarse en las recomendaciones para actualizar los programas de trabajo y concebir los futuros programas. |
| --- | --- |

109.

La Comisión debería examinar sus prácticas en materia de comunicación y difusión de sus constataciones de evaluación a fin de que las partes interesadas reciban la información necesaria. En particular, las «direcciones generales de investigación» deberían proporcionar una respuesta formal a todas las evaluaciones y publicar estos estudios a su debido tiempo, junto con sus respuestas. Las «direcciones generales de investigación» también deberían notificar el seguimiento realizado en sus declaraciones presupuestarias relativas al principio de presupuestación por actividades y en sus informes anuales de actividad, así como inspirarse en las recomendaciones para actualizar los programas de trabajo y concebir los futuros programas.

CONCLUSIÓN GENERAL

| 110. | El Tribunal reconoce que la evaluación de los programas de IDT y, en particular, la valoración de sus resultados a largo plazo, presenta dificultades inherentes, por lo que cuesta definir las mejores prácticas en la materia. |
| --- | --- |

110.

El Tribunal reconoce que la evaluación de los programas de IDT y, en particular, la valoración de sus resultados a largo plazo, presenta dificultades inherentes, por lo que cuesta definir las mejores prácticas en la materia.

| 111. | El Tribunal estima que la evaluación resulta esencial para la gestión de los programas, para la planificación futura y para la elaboración de las políticas. La evaluación también proporciona una base para la obligación de rendir cuentas y constituye una fuente de valiosa información sobre los resultados previstos (o imprevistos) que se han logrado, la medida en que se han alcanzado los objetivos de los programas, la pertinencia y utilidad de los programas y el grado de eficiencia y eficacia en la ejecución de los mismos. Dado que en el caso de los programas marco la orientación general, las cuestiones presupuestarias y la concepción de los programas son competencia del Parlamento Europeo y del Consejo, se precisa un sistema de evaluación transparente, creíble y sólido para que estas instituciones puedan disponer de la información apropiada. |
| --- | --- |

111.

El Tribunal estima que la evaluación resulta esencial para la gestión de los programas, para la planificación futura y para la elaboración de las políticas. La evaluación también proporciona una base para la obligación de rendir cuentas y constituye una fuente de valiosa información sobre los resultados previstos (o imprevistos) que se han logrado, la medida en que se han alcanzado los objetivos de los programas, la pertinencia y utilidad de los programas y el grado de eficiencia y eficacia en la ejecución de los mismos. Dado que en el caso de los programas marco la orientación general, las cuestiones presupuestarias y la concepción de los programas son competencia del Parlamento Europeo y del Consejo, se precisa un sistema de evaluación transparente, creíble y sólido para que estas instituciones puedan disponer de la información apropiada.

| 112. | En 2000 y en 2002, la Comisión estableció un marco general de evaluación, que posteriormente revisó en 2007. Aunque durante el período examinado por el Tribunal no se observaron importantes mejoras en el modo en que se planificaron, concibieron y ejecutaron las evaluaciones de los programas marco y sus programas constitutivos, en términos generales las «direcciones generales de investigación» han cumplido los requisitos formales a nivel de la Comisión. |
| --- | --- |

112.

En 2000 y en 2002, la Comisión estableció un marco general de evaluación, que posteriormente revisó en 2007. Aunque durante el período examinado por el Tribunal no se observaron importantes mejoras en el modo en que se planificaron, concibieron y ejecutaron las evaluaciones de los programas marco y sus programas constitutivos, en términos generales las «direcciones generales de investigación» han cumplido los requisitos formales a nivel de la Comisión.

| 113. | Durante el período objeto del presente informe, y como exigía la legislación relativa a los programas marco, las «direcciones generales de investigación» disponían de un sistema de evaluación y la Comisión puede presentar un considerable volumen de estudios de evaluación. No obstante, persiste el hecho de que la información sobre la consecución de los objetivos de los programas y de resultados de los programas marco, en su conjunto, continúa siendo escasa o inexistente debido a que por lo general las evaluaciones se han centrado en cuestiones de ejecución de los programas a corto plazo. Por consiguiente, las evaluaciones efectuadas por la Comisión han sido de poca utilidad para los responsables de tomar decisiones políticas, para las partes interesadas y para la propia Comisión. |
| --- | --- |

113.

Durante el período objeto del presente informe, y como exigía la legislación relativa a los programas marco, las «direcciones generales de investigación» disponían de un sistema de evaluación y la Comisión puede presentar un considerable volumen de estudios de evaluación. No obstante, persiste el hecho de que la información sobre la consecución de los objetivos de los programas y de resultados de los programas marco, en su conjunto, continúa siendo escasa o inexistente debido a que por lo general las evaluaciones se han centrado en cuestiones de ejecución de los programas a corto plazo. Por consiguiente, las evaluaciones efectuadas por la Comisión han sido de poca utilidad para los responsables de tomar decisiones políticas, para las partes interesadas y para la propia Comisión.

| 114. | Dada la importancia de la evaluación para la gestión de los programas y la elaboración de las políticas, el enfoque de la evaluación de los programas marco y de sus programas constitutivos adoptado por la Comisión debe ser reexaminado teniendo en cuenta los nuevos desafíos políticos, el incremento de financiación, la ampliación de la orientación de la política de investigación de la Comunidad y la reciente reforma de la Comisión. En su informe de 2007, EURAB hacía la misma recomendación. |
| --- | --- |

114.

Dada la importancia de la evaluación para la gestión de los programas y la elaboración de las políticas, el enfoque de la evaluación de los programas marco y de sus programas constitutivos adoptado por la Comisión debe ser reexaminado teniendo en cuenta los nuevos desafíos políticos, el incremento de financiación, la ampliación de la orientación de la política de investigación de la Comunidad y la reciente reforma de la Comisión. En su informe de 2007, EURAB hacía la misma recomendación.

| 115. | El Tribunal considera que la utilización de una lógica de intervención explícita en la concepción de los futuros programas que integren los programas marco se traduciría en unos programas mejor orientados y estructurados. También contribuiría a la política «Legislar mejor» de la Comisión, cuyo fin consiste en crear un entorno reglamentario mejor diseñado, más simple, más eficaz y más comprensible (69). |
| --- | --- |

115.

El Tribunal considera que la utilización de una lógica de intervención explícita en la concepción de los futuros programas que integren los programas marco se traduciría en unos programas mejor orientados y estructurados. También contribuiría a la política «Legislar mejor» de la Comisión, cuyo fin consiste en crear un entorno reglamentario mejor diseñado, más simple, más eficaz y más comprensible (69).

| 116. | La evaluación de los programas marco y de sus programas constitutivos sería más eficaz si los objetivos e indicadores de los programas fueran más claros desde el inicio, si las «direcciones generales de investigación» acordaran una estrategia de evaluación sólida, pero no excesivamente preceptiva, y si se aplicaran unas metodologías de evaluación más avanzadas, entre las que figurasen los enfoques cuantitativos. |
| --- | --- |

116.

La evaluación de los programas marco y de sus programas constitutivos sería más eficaz si los objetivos e indicadores de los programas fueran más claros desde el inicio, si las «direcciones generales de investigación» acordaran una estrategia de evaluación sólida, pero no excesivamente preceptiva, y si se aplicaran unas metodologías de evaluación más avanzadas, entre las que figurasen los enfoques cuantitativos.

| 117. | El Tribunal también observó varios aspectos en los que la Comisión podría revisar la estructura organizativa relativa a la evaluación de los programas marco. Las ventajas serían:






  — | implicar a los paneles de evaluación en una fase más temprana del proceso de evaluación, proporcionando de este modo un apoyo a la Comisión durante todo el período de programación y ulteriormente, así como potenciar la especialización estableciendo paneles de expertos para los programas y, en su caso, subprogramas específicos, |
| --- | --- | --- |

117.

El Tribunal también observó varios aspectos en los que la Comisión podría revisar la estructura organizativa relativa a la evaluación de los programas marco. Las ventajas serían:

—

implicar a los paneles de evaluación en una fase más temprana del proceso de evaluación, proporcionando de este modo un apoyo a la Comisión durante todo el período de programación y ulteriormente, así como potenciar la especialización estableciendo paneles de expertos para los programas y, en su caso, subprogramas específicos,

| — | completar las unidades de evaluación existentes de cada dirección general con la creación de una oficina de evaluación conjunta encargada de coordinar las evaluaciones de los programas marco. |
| --- | --- |

—

completar las unidades de evaluación existentes de cada dirección general con la creación de una oficina de evaluación conjunta encargada de coordinar las evaluaciones de los programas marco.

| 118. | Las recomendaciones que se formulan en el presente informe están basadas en prácticas existentes en la Comisión, o en buenas prácticas internacionales. En lo que respecta a los recursos, es evidente que la introducción del enfoque sugerido para la evaluación de los programas originaría un aumento de los costes. Sin embargo, el Tribunal estima que muy probablemente este aumento generará una contrapartida financiera positiva de un valor como mínimo equivalente. |
| --- | --- |

118.

Las recomendaciones que se formulan en el presente informe están basadas en prácticas existentes en la Comisión, o en buenas prácticas internacionales. En lo que respecta a los recursos, es evidente que la introducción del enfoque sugerido para la evaluación de los programas originaría un aumento de los costes. Sin embargo, el Tribunal estima que muy probablemente este aumento generará una contrapartida financiera positiva de un valor como mínimo equivalente.

El presente informe ha sido aprobado por el Tribunal de Cuentas en Luxemburgo, en su reunión del día 22 de noviembre de 2007.

Por el Tribunal de Cuentas

Hubert WEBER

Presidente

---

(1)  Según la OCDE, la investigación y el desarrollo pueden definirse como «[...] trabajo de creación realizado de manera sistemática con el fin de aumentar el conjunto de los conocimientos, incluido el conocimiento del hombre, de la cultura y de la sociedad, así como la utilización de dicho conjunto de conocimientos para nuevas aplicaciones» (véase OCDE, Manual de Frascati — Método tipo para realizar encuestas sobre la investigación y desarrollo experimental, París, 2002, p. 30). En el contexto comunitario, el acrónimo IDT se utiliza para referirse tanto a la tecnología, como a la investigación y al desarrollo.

1

Manual de Frascati — Método tipo para realizar encuestas sobre la investigación y desarrollo experimental

(2)  La Dirección General de Investigación es la principal dirección general encargada de la gestión y coordinación de los programas marco. Otras cinco direcciones generales también se ocupan de la gestión (parcial) de los programas específicos, siendo la más importante la Dirección General de Sociedad de la Información y Medios de Comunicación (seguida de la Dirección General de Energía y Transportes, la Dirección General de Empresa e Industria, la Dirección General de Pesca y el Centro Común de Investigación de la Comisión).

2

(3)  En 2000, el Consejo Europeo de Lisboa fijó el objetivo de hacer de la UE, para la próxima década, la economía basada en el conocimiento más dinámica, competitiva y sostenible, que permita asegurar el pleno empleo y una mayor cohesión económica y social.

3

(4)  En 2002, el Consejo Europeo decidió que la inversión global en IDT y en innovación en la Unión Europea deberá aumentar con el fin de alcanzar el 3 % del PIB para el 2010. Además, precisó que la parte financiada por el sector privado deberá alcanzar los dos tercios del total [véase Comisión Europea, «Invertir en investigación: un plan de acción para Europa»; Comunicación de la Comisión al Consejo, al Parlamento Europeo, al Comité Económico y Social Europeo y al Comité de las Regiones, COM(2003) 226 final, p. 7].

4

(5)  En el caso de la gestión directa, la Comisión efectúa las operaciones necesarias para su ejecución presupuestaria, sin intervención de los Estados miembros o de terceros países en los que residen los beneficiarios del gasto.

5

(6)  A partir de 2006, solo en el VI PM han sido más de 22 000 entidades jurídicas públicas y privadas las participantes, por lo general en el marco de consorcios que reunían a varios socios.

6

(7)  Se trata de un método de cooperación basado en el principio de cooperación intergubernamental voluntaria. Se fundamenta particularmente en el aprendizaje mutuo, la realización de una evaluación comparativa y la participación de las mejores prácticas.

7

(8)  Reglamento (CE, Euratom) no 1605/2002 del Consejo, de 25 de junio de 2002 (DO L 248 de 16.9.2002, p. 1), artículos 27, 48, 59 y 60.

8

o

(9)  Comisión Europea, Dirección General de Presupuestos, Comunicación a la Comisión de la Sra. Grybauskaitė con el acuerdo del Sr. Presidente, «Responding to strategic needs: reinforcing the use of evaluation», SEC(2007) 213, 21 de febrero de 2007; Comisión Europea, Dirección General de Presupuestos, Comunicación a la Comisión de la Sra. Schreyer, «Focus on Results: Strengthening Evaluation of Commission Activities», SEC(2000) 1051, de 26 de julio de 2000.

9

(10)  Decisión no 1982/2006/CE del Parlamento Europeo y del Consejo, de 18 de diciembre de 2006, relativa al Séptimo Programa Marco de la Comunidad Europea para acciones de investigación, desarrollo tecnológico y demostración (2007 a 2013) (DO L 412 de 30.12.2006, p. 1), artículo 7, apartado 1; la información de seguimiento que deberá facilitar la Comisión a los comités de programa se define en las decisiones relativas a los programas específicos [véase por ejemplo la Decisión 2006/971/CE del Consejo, de 19 de diciembre de 2006, relativa al programa específico «Cooperación» por el que se ejecuta el séptimo programa marco de la Comunidad Europea de acciones de investigación, desarrollo tecnológico y demostración (2007-2013) (DO L 400 de 30.12.2006, p. 86) artículo 8, apartado 4, y anexo V].

10

o

(11)  Comisión Europea, Comunicación al Consejo relativa a un plan de acción de la Comunidad respecto a la evaluación de actividades de investigación y desarrollo de la Comunidad entre los años 1987 y 1991, COM(86) 660 final, de 20 de noviembre de 1986, en respuesta a la resolución del Consejo de 28 de junio de 1983.

11

(12)  Comisión Europea, «Evaluación quinquenal de los programas marco de IDT de la Unión Europea, 1992-1996», informe del grupo de expertos independientes presidido por el vizconde Davignon (1997); Comisión Europea, «Evaluación quinquenal de los programas marco de IDT de la Unión Europea, 1995-1999», informe del grupo de expertos independientes presidido por Joan Majó (julio de 2000); Comisión Europea, «Evaluación quinquenal de los programas marco de investigación de la Unión Europea, 1999-2003», informe del grupo de expertos independientes presidido por Erkki Ormala (15 de diciembre de 2004).

12

(13)  Comisión Europea, «Evaluación de la efectividad de los nuevos instrumentos del VI programa marco», 21 de junio de 2004, informe de un grupo de expertos de alto nivel presidido por el Dr. Ramón Marimón.

13

(14)  Comisión Europea, Dirección General de Presupuestos, Comunicación a la Comisión de la Sra. Schreyer, «Focus on Results: Strengthening Evaluation of Commission Activities», julio de 2000, SEC(2000) 1051; Comisión Europea, Dirección General de Presupuestos, Comunicación a la Comisión del Sr. Presidente y de la Sra. Schreyer, «Evaluation Standards and Good Practice», C(2002) 5267, 23 de diciembre de 2002.

14

(15)  Comisión Europea, Dirección General de Presupuestos, Comunicación a la Comisión de la Sra. Grybauskaitė con el acuerdo del Sr. Presidente, «Responding to strategic needs: reinforcing the use of evaluation», SEC(2007) 213, 21 de febrero de 2007.

15

(16)  Comisión Europea, documento de trabajo, «Impact assessment and ex-ante evaluation» SEC(2005) 430.

16

ex-ante

(17)  La Comisión «Industria, Investigación y Energía» (ITRE) del Parlamento Europeo es (en particular) responsable de la política industrial, de la política de investigación (incluida la difusión y explotación de los resultados en materia de investigación), de la política espacial, de las actividades del Centro Común de Investigación, del Tratado Euratom, así como de la sociedad de la información y la tecnología de la información.

17

(18)  El Comité CREST («Comité de la Recherche Scientifique et Technique» — Comité de Investigación Científica y Técnica) fue creado mediante una Resolución del Consejo de 14 de enero de 1974 y está formado por representantes de las instancias nacionales responsables de las políticas científicas y tecnológicas de los Estados miembros. El CREST es un comité consultivo, y su misión consiste en proporcionar información a la Comisión y al Consejo sobre temas relativos, en particular, a la coordinación de las políticas nacionales de I+D y también participa en el seguimiento y evaluación de los programas marco.

18

(19)  Los modelos lógicos, que muestran cómo los recursos empleados en las diferentes actividades conducen a los resultados deseados, constituyen el medio más apropiado para ilustrar la lógica de intervención. Estos modelos permiten explicar con claridad las hipótesis subyacentes a la forma de concebir un programa y de subdividir los objetivos generales en objetivos operativos.

19

(20)  Comisión Europea, Dirección General de Presupuestos, «Evaluación de las actividades de la UE: guía práctica para los servicios de la Comisión», julio de 2004, páginas 87 y 106.

20

(21)  «Evaluación quinquenal de los programas marco de investigación de la Unión Europea, 1999-2003», informe del grupo de expertos independientes presidido por Erkki Ormala (15 de diciembre de 2004): apartado 6 «Evaluating the Framework Programme», p. 19.

21

(22)  Los países beneficiarios de la ayuda exterior deben presentar marcos lógicos para su financiación comunitaria (Comisión Europea, Aid delivery methods, volumen 1, «Project cycle management guidelines», marzo de 2004, sección 5: «The logical framework approach»).

22

Aid delivery methods

(23)  Reglamento (CE, Euratom) no 1605/2002, artículo 27, apartado 3.

23

o

(24)  En 2006, el ámbito político «08 investigación» se estructuró sobre la base de los programas (y subprogramas) específicos del período de programación actual del VI PM (por tanto, fue preciso sustituir esta estructura por otra distinta en 2007); en cambio, en lo que respecta al ámbito político «09 sociedad de la información», los programas específicos actuales y precedentes se agruparon en un único principio de presupuestación por actividades (Comisión Europea, Dirección General de Investigación, Dirección A: Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006, 20 de diciembre de 2005; Comisión Europea, Dirección General de Sociedad de la Información y Medios de Comunicación, Plan de gestión anual 2006, 23 de diciembre de 2005).

24

Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006

(25)  En el caso de la Dirección General de Investigación, los objetivos de la gestión por actividades (y los indicadores utilizados para medir su realización) cambiaban cada año. En cambio, la Dirección General de Sociedad de la Información disponía de objetivos plurianuales, que sin embargo diferían de los objetivos del programa (o de los que habían sido especificados en el programa de trabajo).

25

(26)  Comisión Europea, Servicio de Auditoría Interna, Review of effectiveness and efficiency of the SPP/ABM cycle, Secretaría General y Dirección General de Presupuestos, 2005: apartado 4.1, p. 31.

26

Review of effectiveness and efficiency of the SPP/ABM cycle

(27)  Comisión Europea, «Comunicación de la Comisión al Consejo relativa a un plan de acción comunitario para la valoración de los programas de investigación y desarrollo comunitarios», COM(83) 1 final, 19 de enero de 1983.

27

(28)  Comunicación de la Comisión al Consejo y al Parlamento Europeo, «Seguimiento y evaluación externos e independientes de actividades comunitarias en el ámbito de la investigación y el desarrollo tecnológico», 22 de mayo de 1996 [COM(1996) 220 final].

28

(29)  Cada dirección general que ejecuta un programa marco documenta sus evaluaciones planificadas en planes anuales (y plurianuales) de evaluación. Sin embargo, estos documentos de planificación no pueden considerarse como una verdadera estrategia de evaluación.

29

(30)  Reglamento (CE, Euratom) no 1605/2002, artículo 27, apartado 4.

30

o

(31)  «Loi de programme pour la recherche no 2006-450» con fecha de 18.4.2006 y «Décret no 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)» con fecha de 3.11.2006.

31

o

o

(32)  Agencia Nacional de Evaluación y Prospectiva que depende del Ministerio de Educación y Ciencia: Orden ECI/1252/2005 de 4 de mayo de 2005, en virtud de la cual se crea la Comisión Asesora de Evaluación y Prospectiva.

32

(33)  En 2004, el «Deutsche Forschungsgemeinschaft» (DFG) creó un instituto especializado, el «Institut für Forschungsinformation und Qualitätssicherung» (IFQ), y le confió la responsabilidad de desarrollar y normalizar las metodologías de evaluación, la garantía de calidad y de realizar evaluaciones de las acciones de IDT financiadas por el DFG.

33

(34)  Para el VII PM, la Comisión creó 15 grupos consultivos de expertos, frente a los 12 grupos para el VI PM y a los 17 grupos para el V PM. Estos grupos consultivos de expertos asesoran a la Comisión sobre cuestiones vinculadas a la política y a los programas en el contexto de los programas marco. Sin embargo, debe tenerse en cuenta que dichos grupos no encajan plenamente en la estructura de los programas marco, es decir, que no hay un grupo consultivo de expertos para cada programa (o subprograma) específico.

34

(35)  En Canadá, casi todos los ministerios del gobierno federal han creado comités permanentes de evaluación, de los que forman parte altos funcionarios y con frecuencia también interesados externos, con el fin de supervisar el sistema de evaluación («Social Sciences and Humanities Research Council of Canada»: Evaluation Standing Committee — Mandate and Membership).

35

(36)  Comisión Europea, «Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes», agosto de 2005, p. 5.

36

(37)  Comisión Europea «Planning and optimising Commission human resources to serve EU priorities», SEC(2007) 530, 24 de abril de 2007.

37

(38)  Comisión Europea, Comunicación a la Comisión del Sr. Presidente y la Sra. Schreyer, «Evaluation standards and good practice», C(2002) 5267, 23 de diciembre de 2002; Documento de trabajo de la Comisión Europea, «Impact assessment and ex-ante evaluation» COM(2005) 119 final, SEC(2005) 430, 6 de abril de 2005, anexo 1, nota no 209.

38

ex-ante

o

(39)  En 2007, el Comité consultivo europeo de investigación (EURAB) también recomendaba un aumento en los recursos destinados a la evaluación de los programas marco (EURAB «Recommendations on Ex-Post Impact Assessment», julio de 2007).

39

(40)  Informe Especial no 1/2004 sobre la gestión de las acciones indirectas de IDT del Quinto Programa Marco (V PM) en materia de Investigación y Desarrollo Tecnológico (1998-2002) (DO C 99 de 23.4.2004), apartados 116 y 122.

40

o

(41)  Comisión Europea, Dirección General de Presupuestos, Comunicación a la Comisión de la Sra. Grybauskaitė con el acuerdo del Sr. Presidente, «Responding to strategic needs: reinforcing the use of evaluation», SEC(2007) 213, 21 de febrero de 2007; Comisión Europea, Comunicación a la Comisión del Sr. Presidente y la Sra. Schreyer, «Evaluation standards and good practice», C(2002) 5267, 23 de diciembre de 2002.

41

(42)  Catorce direcciones generales disponen de manuales de evaluación para las políticas y programas de su competencia (Comisión Europea, Dirección General de Presupuestos, unidad de evaluación, «Overview of Evaluation Guides in the Commission», octubre de 2004).

42

(43)  Fahrenkrog, G. et al., RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of IDT-Policies, IPTS-JRC, 2002; Prest et al., Assessing the Socio-Economic Impacts of the Framework Programme, Universidad de Manchester, 2002.

43

et al

RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of IDT-Policies

et al

Assessing the Socio-Economic Impacts of the Framework Programme

(44)  Aunque la Comisión generalmente disponga de esta información relativa a los participantes, a menudo resulta difícil utilizarla para efectuar un análisis detallado, ya que los datos relativos a un determinado participante no se conservan en un único lugar ni se registran sistemáticamente en formatos compatibles. Ello dificulta la posibilidad de seguimiento de los participantes en el transcurso del tiempo, para evaluar, entre otros, los motivos de una falta de participación, así como las relaciones entre participantes, por ejemplo con el fin de estudiar los efectos de red (véase el apartado 84).

44

(45)  Informe Anual relativo al ejercicio 2006, cuadro 2.3; Informe Anual relativo al ejercicio 2005, apartado 7.13; Informe Anual relativo al ejercicio 2004, apartados 6.8 y 6.10; Informe Anual relativo al ejercicio 2003, apartados 6.9 y 6.70; Informe Especial no 1/2004, apartados 105 a 108; Dictamen no 1/2006 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen las normas de participación de empresas, centros de investigación y universidades en las acciones del Séptimo Programa Marco, y las normas de difusión de los resultados de la investigación (2007-2013) (DO C 203 de 25.8.2006), apartado 57.

45

o

o

(46)  Tratado constitutivo de la Comunidad europea, artículo 173: «Al principio de cada año, la Comisión presentará un informe al Parlamento Europeo y al Consejo. Dicho informe versará en particular sobre las actividades realizadas en materia de investigación y desarrollo tecnológico y de difusión de los resultados durante el año precedente, así como sobre el programa de trabajo del año en curso».

46

(47)  No ha habido ninguna tentativa sistemática de recopilar datos de los participantes una vez finalizado el proyecto, salvo en el caso de las encuestas específicas en el marco de las evaluaciones. El recurso a encuestas se ha visto obstaculizado debido a que los participantes no están jurídicamente obligados a proporcionar estos datos analíticos, hecho que contrasta con las prácticas en varios programas nacionales de IDT (por ejemplo, en Alemania).

47

(48)  Informe Especial no 1/2004, apartado 94; Dictamen no 1/2006, apartado 56.

48

o

o

(49)  Informe Anual relativo al ejercicio 2006, apartado 7.33; Informe Anual relativo al ejercicio 2005, apartados 7.8 y 7.29; Dictamen no 1/2006, apartados 58 a 61.

49

o

(50)  CORDIS constituye la única base de datos, común a todos los programas marco, que proporciona información relativa a las propuestas, proyectos y resultados. Abarca varios períodos de programación y su acceso no está restringido a la Comisión. Sin embargo, a menudo no se actualizan los datos relativos a los distintos proyectos una vez seleccionada la propuesta. Hasta el VI PM incluido, los participantes en los programas marco procedentes tanto del sector público como del privado no estaban obligados a hacer públicos sus resultados [Comité Consultivo Europeo de Investigación (EURAB), «Scientific publication: policy on open access», diciembre de 2006].

50

(51)  Hanne Foss Hansen, Choosing evaluation models: A discussion on evaluation design, evaluación, vol. 11, no 4, 2005, páginas 447 a 462.

51

Choosing evaluation models: A discussion on evaluation design

o

(52)  Hasta el VI PM inclusive, los participantes en los programas marco procedentes de los sectores público y privado no estaban obligados a hacer públicos sus resultados científicos. En diciembre de 2006, el Comité EURAB recomendó que la publicación fuese obligatoria con el fin de garantizar al público el acceso gratuito a la investigación financiada por la Comunidad. Asimismo, sugirió a la Comisión la creación de un depósito de archivos en Internet para los resultados de proyectos publicados (véase EURAB, «Scientific publication: policy on open access», diciembre de 2006).

52

(53)  Cabe señalar que los modelos económicos se utilizaron con el fin de prever los efectos microeconómicos y macroeconómicos del VII PM planificado (véase Comisión Europea, «Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes», agosto de 2005, páginas 23 a 25). Sin embargo, no existen pruebas que indiquen que esta evaluación de los impactos económicos potenciales de los programas marco esté vinculada a un plan de evaluación ex post.

53

ex post

(54)  Dirección General de Sociedad de la Información y Medios de Comunicación «IST-RTD Monitoring and Evaluation: Results and impact indicators (2003-2004)», 2005; «Networks of innovation in information society development and deployment in Europe», 2006.

54

IST-RTD Monitoring and Evaluation: Results and impact indicators (2003-2004)

Networks of innovation in information society development and deployment in Europe

(55)  Dirección General de Sociedad de la Información y Medios de Comunicación, informe final: «ERAnets — Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area», 2005; «Evaluation of progress towards European Research Area for information society technologies», 2005; «Networks of innovation in information society development and deployment in Europe», 2006.

55

(56)  Dirección General de Sociedad de la Información: «Framework contract for Impact Assessments for research in the field of Information Society Technologies».

56

(57)  EURAB «Recommendations on Ex-Post Impact Assessment», julio de 2007.

57

(58)  Comisión Europea, «Evaluación quinquenal de los programas marco de investigación de la Unión Europea, 1999-2003», informe del grupo de expertos independientes presidido por Erkki Ormala (15 de diciembre de 2004), anexo 1.

58

(59)  Comisión Europea, The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report, 1995.

59

The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report

(60)  Comisión Europea, Design of an harmonized impact study methodology for the R&D EU Framework Programmes, 1992.

60

Design of an harmonized impact study methodology for the R&D EU Framework Programmes

(61)  Comisión Europea, documento de trabajo, The European Research Area: new perspectives, SEC(2007) 412/2, 4 de abril de 2007, apartado 3.3.3 «ERA and the implications for evidence-based monitoring and evaluation», p. 93.

61

The European Research Area: new perspectives

(62)  Cabe señalar que los convenios de subvención relativos a los proyectos se firman durante todo el período de programación. Los primeros convenios generalmente entran en vigor al final del primer año de un programa. La duración de estos convenios abarca mayoritariamente entre tres y cinco años, por consiguiente las realizaciones finales pueden producirse al menos después de entre cuatro y seis años.

62

Fuente: Tribunal de Cuentas Europeo.

Fuente:

(63)  Comisión Europea, «Evaluación quinquenal de los programas marco de investigación de la Unión Europea, 1999-2003», informe del grupo de expertos independientes presidido por Erkki Ormala (15 de diciembre de 2004): apartado 6 «Evaluating the Framework Programme», p. 19.

63

(64)  Comisión Europea, «Evaluation Toolbox — Assessing the Socio-Economic Impact of IDT Policies», documento conocido como «EPUB Toolbox», publicado por el Centro Común de Investigación (CCI) — Instituto de Prospectiva Tecnológica (IPTS) y Joanneum Research (agosto de 2002), síntesis, páginas 9 y 12.

64

(65)  Comisión Europea, «Evaluación de la efectividad de los nuevos instrumentos del VI programa marco», 21 de junio de 2004, informe de un grupo de expertos de alto nivel presidido por el Dr. Ramón Marimón, p. 20.

65

(66)  European Policy Evaluation Consortium (EPEC) (consorcio de evaluación de la política europea), Technopolis France, «Study on the use of evaluation results in the Commission: Final report», «Dossier no 1 Synthesis report and annexes», mayo de 2005.

66

o

(67)  El grado de satisfacción más elevado que expresaron los encuestados del comité CREST, que a menudo también son miembros de comités de programa, podría derivarse del papel formal que desempeñan en el seguimiento de la ejecución de los programas.

67

(68)  Comisión Europea, documento de trabajo, «Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities», SEC(2005) 587, 28 de abril de 2005.

68

(69)  Comisión Europea, Dirección General de Presupuestos, Comunicación a la Comisión de la Sra. Grybauskaitė con el acuerdo del Sr. Presidente, «Responding to strategic needs: reinforcing the use of evaluation», SEC(2007) 213, 21 de febrero de 2007, p. 4.

69

---

ANEXO I

DETERMINACIÓN DEL IMPACTO Y DE LOS RESULTADOS DE LA INTERVENCIÓN PÚBLICA EN IDT

A continuación se exponen algunas de las principales dificultades metodológicas para la determinación del impacto y de los resultados de la intervención pública en IDT:

| — | «Problemas de atribución»: Los problemas de atribución son palpables en las evaluaciones y la medición del rendimiento. Se encuentran estrechamente vinculados a la cuestión de la «adicionalidad», es decir, si los cambios no se hubiesen producido de todos modos. Por otro lado, en investigación, el hecho de no obtener los resultados previstos también puede constituir un éxito. En la dificultad de atribuir resultados a una intervención pública específica también influye un gran número de factores externos, (como los efectos de otras políticas o programas, cambios en el marco jurídico, cambios sociales, etc.). Además, en investigación, el no obtener los resultados esperados también puede constituir un éxito. Una complicación suplementaria reside en la dificultad aparente de atribuir con claridad las realizaciones de la investigación y, aún más, sus logros e impactos, a aspectos específicos del proceso de IDT, o incluso a entidades individuales que participan en una acción de investigación. |
| --- | --- |

—

«Problemas de atribución»: Los problemas de atribución son palpables en las evaluaciones y la medición del rendimiento. Se encuentran estrechamente vinculados a la cuestión de la «adicionalidad», es decir, si los cambios no se hubiesen producido de todos modos. Por otro lado, en investigación, el hecho de no obtener los resultados previstos también puede constituir un éxito. En la dificultad de atribuir resultados a una intervención pública específica también influye un gran número de factores externos, (como los efectos de otras políticas o programas, cambios en el marco jurídico, cambios sociales, etc.). Además, en investigación, el no obtener los resultados esperados también puede constituir un éxito. Una complicación suplementaria reside en la dificultad aparente de atribuir con claridad las realizaciones de la investigación y, aún más, sus logros e impactos, a aspectos específicos del proceso de IDT, o incluso a entidades individuales que participan en una acción de investigación.

| — | «Problemas de medición»:







  — | «Disponibilidad de los datos»: En términos generales, la mayor parte de los datos disponibles, en particular los datos obtenidos por mediación de sistemas de seguimiento, atañen a los recursos y realizaciones de las acciones de IDT, más que a sus logros o impactos. |
| --- | --- | --- |

—

«Problemas de medición»:

—

«Disponibilidad de los datos»: En términos generales, la mayor parte de los datos disponibles, en particular los datos obtenidos por mediación de sistemas de seguimiento, atañen a los recursos y realizaciones de las acciones de IDT, más que a sus logros o impactos.

| — | «Comprensión de la dinámica»: Dada la dificultad aparente de modelar las relaciones causales entre los recursos y las realizaciones, los mecanismos internos del proceso de investigación adolecen de falta de claridad; asimismo, ante la inexistencia de una lógica de intervención explícita, el propio proceso es considerado en la mayor parte de los casos como una «caja negra». |
| --- | --- |

—

«Comprensión de la dinámica»: Dada la dificultad aparente de modelar las relaciones causales entre los recursos y las realizaciones, los mecanismos internos del proceso de investigación adolecen de falta de claridad; asimismo, ante la inexistencia de una lógica de intervención explícita, el propio proceso es considerado en la mayor parte de los casos como una «caja negra».

| — | «Comparabilidad de los resultados»: Dado que una medida de comparación de resultados entre distintos campos científicos no deja de ser limitada, estos deben interpretarse generalmente en el contexto de programas y subprogramas específicos. Además, la evaluación de los resultados resulta más difícil en el caso de la investigación de base (o fundamental), que en el de la investigación aplicada o el desarrollo tecnológico. El principal motivo reside en el hecho de que la investigación de base por lo general consiste en procedimientos únicos, que no pueden reproducirse. Incluso en el ámbito de la investigación aplicada, los resultados varían considerablemente y por tanto no pueden compararse con facilidad. |
| --- | --- |

—

«Comparabilidad de los resultados»: Dado que una medida de comparación de resultados entre distintos campos científicos no deja de ser limitada, estos deben interpretarse generalmente en el contexto de programas y subprogramas específicos. Además, la evaluación de los resultados resulta más difícil en el caso de la investigación de base (o fundamental), que en el de la investigación aplicada o el desarrollo tecnológico. El principal motivo reside en el hecho de que la investigación de base por lo general consiste en procedimientos únicos, que no pueden reproducirse. Incluso en el ámbito de la investigación aplicada, los resultados varían considerablemente y por tanto no pueden compararse con facilidad.

| — | «Agregación»: Resulta difícil inferir una conclusión de los resultados de las evaluaciones, en términos de realizaciones, logros e impactos alcanzados en el nivel inferior para pasar al nivel inmediatamente superior (por ejemplo, al agregar resultados de proyectos, en primer lugar de los grupos de proyectos, seguidamente de los campos dentro de un programa y, por último, a nivel del programa propiamente dicho). |
| --- | --- |

—

«Agregación»: Resulta difícil inferir una conclusión de los resultados de las evaluaciones, en términos de realizaciones, logros e impactos alcanzados en el nivel inferior para pasar al nivel inmediatamente superior (por ejemplo, al agregar resultados de proyectos, en primer lugar de los grupos de proyectos, seguidamente de los campos dentro de un programa y, por último, a nivel del programa propiamente dicho).

| — | «Adecuación de los indicadores»: Otra pregunta que cabe plantearse es si los evaluadores tienen como objeto de la medición el elemento adecuado. Los instrumentos utilizados deben ser fáciles de medir, difíciles de falsear y tienen que inducir el comportamiento correcto. Sin embargo, un indicador «mensurable» de la realización no permite necesariamente extraer conclusiones sobre los logros o los impactos. |
| --- | --- |

—

«Adecuación de los indicadores»: Otra pregunta que cabe plantearse es si los evaluadores tienen como objeto de la medición el elemento adecuado. Los instrumentos utilizados deben ser fáciles de medir, difíciles de falsear y tienen que inducir el comportamiento correcto. Sin embargo, un indicador «mensurable» de la realización no permite necesariamente extraer conclusiones sobre los logros o los impactos.

| — | «Problemas de calendario»: Un obstáculo suplementario lo constituye el lapso de tiempo considerable que debe transcurrir desde la acción de investigación hasta que se originan las realizaciones y los logros para que pueda evaluarse el impacto. Los datos deben recopilarse a largo plazo con el fin de que sea posible extraer conclusiones coherentes y sólidas. Estos plazos fijados para la evaluación no corresponden con frecuencia a las expectativas y necesidades de los responsables de la elaboración de las políticas, y debe establecerse un equilibrio entre la pronta presentación de conclusiones para la elaboración de las políticas y el transcurso de un plazo suficiente para que los logros puedan percibirse. |
| --- | --- |

—

«Problemas de calendario»: Un obstáculo suplementario lo constituye el lapso de tiempo considerable que debe transcurrir desde la acción de investigación hasta que se originan las realizaciones y los logros para que pueda evaluarse el impacto. Los datos deben recopilarse a largo plazo con el fin de que sea posible extraer conclusiones coherentes y sólidas. Estos plazos fijados para la evaluación no corresponden con frecuencia a las expectativas y necesidades de los responsables de la elaboración de las políticas, y debe establecerse un equilibrio entre la pronta presentación de conclusiones para la elaboración de las políticas y el transcurso de un plazo suficiente para que los logros puedan percibirse.

| — | «Posibilidad de conclusiones equivocadas sobre el proyecto»: cuando se evalúen los logros e impactos de los proyectos específicos de un programa debe tomarse en consideración el hecho de que los resultados tecnológicos y científicos suelen haberse obtenido utilizando trabajo anterior. De manera similar, antes de la publicación y explotación de los resultados científicos, los resultados de los proyectos pueden ser utilizados por el participante para otro trabajo. De ese modo, un proyecto en sí mismo no es necesariamente el marco de evaluación adecuado, en particular cuando se trata de logros e impacto a más largo plazo. |
| --- | --- |

—

«Posibilidad de conclusiones equivocadas sobre el proyecto»: cuando se evalúen los logros e impactos de los proyectos específicos de un programa debe tomarse en consideración el hecho de que los resultados tecnológicos y científicos suelen haberse obtenido utilizando trabajo anterior. De manera similar, antes de la publicación y explotación de los resultados científicos, los resultados de los proyectos pueden ser utilizados por el participante para otro trabajo. De ese modo, un proyecto en sí mismo no es necesariamente el marco de evaluación adecuado, en particular cuando se trata de logros e impacto a más largo plazo.

| — | «Credibilidad, integridad e independencia»: la calidad de una evaluación es fruto en gran medida del grado de implicación de los evaluadores en el tema de que se trate, lo que supone un equilibrio entre la comprensión y competencia por un lado, y la independencia y objetividad por otro. Asimismo, depende de las hipótesis e intereses de los responsables de la elaboración de las políticas, así como de la lógica y fines de la evaluación. |
| --- | --- |

—

«Credibilidad, integridad e independencia»: la calidad de una evaluación es fruto en gran medida del grado de implicación de los evaluadores en el tema de que se trate, lo que supone un equilibrio entre la comprensión y competencia por un lado, y la independencia y objetividad por otro. Asimismo, depende de las hipótesis e intereses de los responsables de la elaboración de las políticas, así como de la lógica y fines de la evaluación.

---

ANEXO II

DISPOSICIONES EN MATERIA DE SEGUIMIENTO Y DE EVALUACIÓN EN LAS DECISIONES LEGISLATIVAS RELATIVAS A LOS PROGRAMAS MARCO IV A VII

| IV PM (1995-1998)
   (1) | V PM (1999-2002)
   (2) | VI PM (2003-2006)
   (3) | VII PM (2007-2013)
   (4) |
| --- | --- | --- | --- |
| Decisión relativa al programa marco — Consejo y Parlamento Europeo |
| Decisión no 1110/94/CE del Parlamento Europeo y del Consejo relativa al cuarto programa marco (1994-1998) de la Comunidad Europea para acciones comunitarias en materia de investigación y desarrollo tecnológicos y demostración, adoptada el 26 de abril de 1994: artículo 4 | Decisión no 182/1999/CE del Parlamento Europeo y del Consejo de 22 de diciembre de 1998, relativa al quinto programa marco de la Comunidad Europea (1998-2002) para acciones de investigación, desarrollo tecnológico y demostración: artículos 5 y 6 | Decisión no 1513/2002/CE del Parlamento Europeo y del Consejo de 27 de junio de 2002, relativa al sexto programa marco de la Comunidad Europea para acciones de investigación, desarrollo tecnológico y demostración, destinado a contribuir a la creación del Espacio Europeo de Investigación y a la innovación (2002-2006): considerando 20, artículos 4 y 6, anexo III | Decisión no 1982/2006/CE del Parlamento Europeo y del Consejo de 18 de diciembre de 2006, relativa al séptimo programa marco de la Comunidad Europea para acciones de investigación, desarrollo tecnológico y demostración (2007-2013): artículo 7 |
| Seguimiento |
| — | llevar a cabo un seguimiento permanente y sistemático, con la adecuada asistencia de expertos independientes y externos, de la evolución con relación a sus objetivos iniciales (artículo 4, apartado 1) |

IV PM (1995-1998)
   (1)

V PM (1999-2002)
   (2)

VI PM (2003-2006)
   (3)

VII PM (2007-2013)
   (4)

Decisión relativa al programa marco — Consejo y Parlamento Europeo

Decisión no 1110/94/CE del Parlamento Europeo y del Consejo relativa al cuarto programa marco (1994-1998) de la Comunidad Europea para acciones comunitarias en materia de investigación y desarrollo tecnológicos y demostración, adoptada el 26 de abril de 1994: artículo 4

Decisión no 182/1999/CE del Parlamento Europeo y del Consejo de 22 de diciembre de 1998, relativa al quinto programa marco de la Comunidad Europea (1998-2002) para acciones de investigación, desarrollo tecnológico y demostración: artículos 5 y 6

Decisión no 1513/2002/CE del Parlamento Europeo y del Consejo de 27 de junio de 2002, relativa al sexto programa marco de la Comunidad Europea para acciones de investigación, desarrollo tecnológico y demostración, destinado a contribuir a la creación del Espacio Europeo de Investigación y a la innovación (2002-2006): considerando 20, artículos 4 y 6, anexo III

Decisión no 1982/2006/CE del Parlamento Europeo y del Consejo de 18 de diciembre de 2006, relativa al séptimo programa marco de la Comunidad Europea para acciones de investigación, desarrollo tecnológico y demostración (2007-2013): artículo 7

Seguimiento

—

llevar a cabo un seguimiento permanente y sistemático, con la adecuada asistencia de expertos independientes y externos, de la evolución con relación a sus objetivos iniciales (artículo 4, apartado 1)

| — | evaluar de forma continuada y sistemática una vez al año, con ayuda de expertos independientes cualificados, el estado de realización del programa marco y de sus programas específicos con relación a los criterios establecidos en el anexo I, y los objetivos científicos y tecnológicos establecidos en el anexo II (artículo 5, apartado 1) |
| --- | --- |

—

evaluar de forma continuada y sistemática una vez al año, con ayuda de expertos independientes cualificados, el estado de realización del programa marco y de sus programas específicos con relación a los criterios establecidos en el anexo I, y los objetivos científicos y tecnológicos establecidos en el anexo II (artículo 5, apartado 1)

| — | controlar continua y sistemáticamente [cada año] con la ayuda de expertos capacitados e independientes, la ejecución del programa marco y de sus programas específicos (artículos 4 y 6, apartado 1) |
| --- | --- |

—

controlar continua y sistemáticamente [cada año] con la ayuda de expertos capacitados e independientes, la ejecución del programa marco y de sus programas específicos (artículos 4 y 6, apartado 1)

| — | hacer un seguimiento continuo y sistemático de la aplicación del programa marco y de sus programas específicos (artículo 7, apartado 1) |
| --- | --- |

—

hacer un seguimiento continuo y sistemático de la aplicación del programa marco y de sus programas específicos (artículo 7, apartado 1)

| — | examinar si los objetivos, prioridades y medios financieros siguen siendo adecuados, teniendo en cuenta la evolución de la situación y, en su caso, presentar propuestas para adaptar o completar el programa marco o los programas específicos (artículo 5, apartado 1) |
| --- | --- |

—

examinar si los objetivos, prioridades y medios financieros siguen siendo adecuados, teniendo en cuenta la evolución de la situación y, en su caso, presentar propuestas para adaptar o completar el programa marco o los programas específicos (artículo 5, apartado 1)

| — | revisar periódicamente todas las actividades de investigación, lo cual supondrá, en particular, un control del nivel de excelencia de la investigación (anexo III, 1, Instrumentos) |
| --- | --- |

—

revisar periódicamente todas las actividades de investigación, lo cual supondrá, en particular, un control del nivel de excelencia de la investigación (anexo III, 1, Instrumentos)

| — | dar a conocer y difundir informes periódicos sobre los resultados de ese seguimiento (artículo 7, apartado 1) |
| --- | --- |

—

dar a conocer y difundir informes periódicos sobre los resultados de ese seguimiento (artículo 7, apartado 1)

Artículo 173 — Informe anual

| — | informar detalladamente del estado en que se encuentre la ejecución del programa marco y, especialmente, de los avances con relación a la consecución de sus objetivos y el respeto de sus prioridades establecidos en cada una de las secciones del anexo I y también incluir información sobre los aspectos financieros y la utilización de los diferentes instrumentos, en el contexto del informe anual que ha de presentar la Comisión en virtud del artículo 173 del Tratado (artículo 4) |
| --- | --- |

—

informar detalladamente del estado en que se encuentre la ejecución del programa marco y, especialmente, de los avances con relación a la consecución de sus objetivos y el respeto de sus prioridades establecidos en cada una de las secciones del anexo I y también incluir información sobre los aspectos financieros y la utilización de los diferentes instrumentos, en el contexto del informe anual que ha de presentar la Comisión en virtud del artículo 173 del Tratado (artículo 4)

Evaluación intermedia

| — | examinar los progresos alcanzados con el programa a la mitad del período de vigencia del programa marco (artículo 6) |
| --- | --- |

—

examinar los progresos alcanzados con el programa a la mitad del período de vigencia del programa marco (artículo 6)

| — | presentar al Parlamento Europeo y al Consejo, sobre la base de las evaluaciones de los diferentes programas específicos, una comunicación acompañada, en su caso, de una propuesta de adaptación de la presente Decisión (artículo 6) |
| --- | --- |

—

presentar al Parlamento Europeo y al Consejo, sobre la base de las evaluaciones de los diferentes programas específicos, una comunicación acompañada, en su caso, de una propuesta de adaptación de la presente Decisión (artículo 6)

| — | llevar a cabo a más tardar en 2010, con la asistencia de expertos externos, una evaluación intermedia basada en datos del presente programa marco y sus programas específicos, apoyándose en la evaluación ex post del programa marco anterior, que cubrirá en particular la calidad de las actividades de investigación en curso, así como la calidad de la ejecución y la gestión, y los avances con relación a los objetivos establecidos (artículo 7, apartado 2) |
| --- | --- |

—

llevar a cabo a más tardar en 2010, con la asistencia de expertos externos, una evaluación intermedia basada en datos del presente programa marco y sus programas específicos, apoyándose en la evaluación ex post del programa marco anterior, que cubrirá en particular la calidad de las actividades de investigación en curso, así como la calidad de la ejecución y la gestión, y los avances con relación a los objetivos establecidos (artículo 7, apartado 2)

| — | comunicar las conclusiones de dicha evaluación, junto con sus observaciones y, cuando proceda, las propuestas de adaptación del programa marco, al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones (artículo 7, apartado 2) |
| --- | --- |

—

comunicar las conclusiones de dicha evaluación, junto con sus observaciones y, cuando proceda, las propuestas de adaptación del programa marco, al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones (artículo 7, apartado 2)

| — | informar con regularidad al Parlamento Europeo y al Consejo sobre los progresos globales alcanzados en la ejecución del programa marco y de los programas específicos (artículo 5, apartado 4) |
| --- | --- |

—

informar con regularidad al Parlamento Europeo y al Consejo sobre los progresos globales alcanzados en la ejecución del programa marco y de los programas específicos (artículo 5, apartado 4)

| — | presentar al Parlamento Europeo y al Consejo informes periódicos sobre la ejecución del programa marco (considerando 20) |
| --- | --- |

—

presentar al Parlamento Europeo y al Consejo informes periódicos sobre la ejecución del programa marco (considerando 20)

| — | presentar un informe de situación (que precederá la evaluación intermedia) en cuanto se disponga de datos suficientes, en el que se expondrán las conclusiones iniciales sobre la eficacia de las nuevas acciones iniciadas en virtud del séptimo programa marco, así como sobre los esfuerzos realizados en simplificación (artículo 7, apartado 2) |
| --- | --- |

—

presentar un informe de situación (que precederá la evaluación intermedia) en cuanto se disponga de datos suficientes, en el que se expondrán las conclusiones iniciales sobre la eficacia de las nuevas acciones iniciadas en virtud del séptimo programa marco, así como sobre los esfuerzos realizados en simplificación (artículo 7, apartado 2)

| — | proceder en 2004 a una evaluación realizada por expertos independientes de la eficacia de cada uno de los instrumentos en la ejecución del programa marco (anexo III, 1, Instrumentos) |
| --- | --- |

—

proceder en 2004 a una evaluación realizada por expertos independientes de la eficacia de cada uno de los instrumentos en la ejecución del programa marco (anexo III, 1, Instrumentos)

Evaluación quinquenal

| — | disponer de una evaluación externa realizada por expertos cualificados independientes sobre la gestión y los resultados de las acciones comunitarias realizadas durante el quinquenio que preceda a dicha evaluación (artículo 4, apartado 2) |
| --- | --- |

—

disponer de una evaluación externa realizada por expertos cualificados independientes sobre la gestión y los resultados de las acciones comunitarias realizadas durante el quinquenio que preceda a dicha evaluación (artículo 4, apartado 2)

| — | hacer que expertos independientes altamente cualificados efectúen una evaluación externa sobre la aplicación y los logros de las acciones comunitarias llevadas a cabo en el quinquenio anterior a dicha evaluación, a la luz de los criterios establecidos en el anexo I y de los objetivos científicos y tecnológicos establecidos en el anexo II (artículo 5, apartado 2) |
| --- | --- |

—

hacer que expertos independientes altamente cualificados efectúen una evaluación externa sobre la aplicación y los logros de las acciones comunitarias llevadas a cabo en el quinquenio anterior a dicha evaluación, a la luz de los criterios establecidos en el anexo I y de los objetivos científicos y tecnológicos establecidos en el anexo II (artículo 5, apartado 2)

| — | encargar a expertos externos independientes y de alto nivel de capacitación una evaluación de la ejecución y los logros de las acciones comunitarias del quinquenio anterior a dicha evaluación (artículo 6, apartado 2) [así como una evaluación independiente sobre la ejecución de las acciones emprendidas, teniendo presente la contribución del VI PM al establecimiento del Espacio Europeo de la Investigación (considerando 20)] |
| --- | --- |

—

encargar a expertos externos independientes y de alto nivel de capacitación una evaluación de la ejecución y los logros de las acciones comunitarias del quinquenio anterior a dicha evaluación (artículo 6, apartado 2) [así como una evaluación independiente sobre la ejecución de las acciones emprendidas, teniendo presente la contribución del VI PM al establecimiento del Espacio Europeo de la Investigación (considerando 20)]

| — | comunicar dicha evaluación, acompañada de las observaciones de la Comisión, al Parlamento Europeo, al Consejo y al Comité Económico y Social previamente a la presentación de una propuesta de programa marco subsiguiente (artículo 4, apartado 2) |
| --- | --- |

—

comunicar dicha evaluación, acompañada de las observaciones de la Comisión, al Parlamento Europeo, al Consejo y al Comité Económico y Social previamente a la presentación de una propuesta de programa marco subsiguiente (artículo 4, apartado 2)

| — | comunicar las conclusiones de la evaluación, junto con las observaciones de la Comisión, al Parlamento Europeo, al Consejo, al Comité Económico y Social y al Comité de las Regiones antes de presentar su propuesta de programa marco subsiguiente (artículo 5, apartado 2) |
| --- | --- |

—

comunicar las conclusiones de la evaluación, junto con las observaciones de la Comisión, al Parlamento Europeo, al Consejo, al Comité Económico y Social y al Comité de las Regiones antes de presentar su propuesta de programa marco subsiguiente (artículo 5, apartado 2)

| — | comunicar las conclusiones de dicha evaluación, junto con sus observaciones, al Parlamento Europeo, al Consejo, al Comité Económico y Social y al Comité de las Regiones (artículo 6, apartado 2) en el momento oportuno y antes de la presentación de su propuesta relativa al programa marco subsiguiente (considerando 20) |
| --- | --- |

—

comunicar las conclusiones de dicha evaluación, junto con sus observaciones, al Parlamento Europeo, al Consejo, al Comité Económico y Social y al Comité de las Regiones (artículo 6, apartado 2) en el momento oportuno y antes de la presentación de su propuesta relativa al programa marco subsiguiente (considerando 20)

Evaluación final

[véase la decisión relativa al programa específico]

| — | realizar una evaluación externa en un plazo de dos años a partir del término del VII PM (es decir, 2015) a cargo de expertos independientes en la que se valorará su justificación, su ejecución y sus logros (artículo 7, apartado 3) |
| --- | --- |

—

realizar una evaluación externa en un plazo de dos años a partir del término del VII PM (es decir, 2015) a cargo de expertos independientes en la que se valorará su justificación, su ejecución y sus logros (artículo 7, apartado 3)

| — | comunicar las conclusiones de dicha evaluación, junto con sus observaciones, al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones (artículo 7, apartado 3) |
| --- | --- |

—

comunicar las conclusiones de dicha evaluación, junto con sus observaciones, al Parlamento Europeo, al Consejo, al Comité Económico y Social Europeo y al Comité de las Regiones (artículo 7, apartado 3)

Expertos independientes

| — | garantizar que en la selección de expertos independientes se tiene en cuenta, de forma equilibrada, a las distintas comunidades científica, industrial y de usuarios, y dar a conocer los nombre de los expertos y sus respectivas cualificaciones una vez que hayan sido designados (artículo 5, apartado 3)
  [para disposiciones suplementarias relativas a los expertos independientes, véase la Decisión 1999/65/CE del Consejo, artículo 9] |
| --- | --- |

—

garantizar que en la selección de expertos independientes se tiene en cuenta, de forma equilibrada, a las distintas comunidades científica, industrial y de usuarios, y dar a conocer los nombre de los expertos y sus respectivas cualificaciones una vez que hayan sido designados (artículo 5, apartado 3)

[para disposiciones suplementarias relativas a los expertos independientes, véase la Decisión 1999/65/CE del Consejo, artículo 9]

| — | la Comisión nombrará a expertos independientes para que presten su asistencia en las evaluaciones previstas en el sexto programa marco y los programas específicos, así como para las misiones de asistencia contempladas en el artículo 10, apartado 6, y en el artículo 18, apartado 1, segundo párrafo |
| --- | --- |

—

la Comisión nombrará a expertos independientes para que presten su asistencia en las evaluaciones previstas en el sexto programa marco y los programas específicos, así como para las misiones de asistencia contempladas en el artículo 10, apartado 6, y en el artículo 18, apartado 1, segundo párrafo

| — | además, podrá constituir grupos de expertos independientes que la asesoren en la ejecución de la política comunitaria de investigación, |
| --- | --- |

—

además, podrá constituir grupos de expertos independientes que la asesoren en la ejecución de la política comunitaria de investigación,

| — | [para disposiciones relativas a los expertos independientes, véase el Reglamento (CE) no 2321/2002, artículo 11] |
| --- | --- |

—

[para disposiciones relativas a los expertos independientes, véase el Reglamento (CE) no 2321/2002, artículo 11]

Ejemplo de decisión relativa a un programa específico — Consejo

Decisión 94/801/CE del Consejo, de 23 de noviembre de 1994: artículo 4

Decisión 1999/168/CE del Consejo, de 25 de enero de 1999: artículos 4 y 6

Decisiones 2002/834/CE y 2002/835/CE del Consejo, de 30 de septiembre de 2002: artículo 8

Decisión 2006/971/CE del Consejo, de 19 de diciembre de 2006, relativa al programa específico «Cooperación»: artículo 8

Seguimiento

| — | supervisar continua y sistemáticamente, con la asistencia apropiada de expertos externos independientes, el estado de realización del programa (artículo 4, apartado 1) |
| --- | --- |

—

supervisar continua y sistemáticamente, con la asistencia apropiada de expertos externos independientes, el estado de realización del programa (artículo 4, apartado 1)

| — | examinar, con la asistencia oportuna de expertos externos independientes, el estado de realización del programa específico y, en su caso, presentar al Consejo propuestas de adaptación, de conformidad con el artículo 5, apartado 1, de la decisión relativa al quinto programa marco [artículo 4, letra a)] |
| --- | --- |

—

examinar, con la asistencia oportuna de expertos externos independientes, el estado de realización del programa específico y, en su caso, presentar al Consejo propuestas de adaptación, de conformidad con el artículo 5, apartado 1, de la decisión relativa al quinto programa marco [artículo 4, letra a)]

| — | encargarse de que se efectúe la evaluación y el control independientes a los que se refiere el artículo 6 del VI PM sobre las actividades en las que se aplica el programa específico (artículo 8, apartado 2) |
| --- | --- |

—

encargarse de que se efectúe la evaluación y el control independientes a los que se refiere el artículo 6 del VI PM sobre las actividades en las que se aplica el programa específico (artículo 8, apartado 2)

| — | encargarse de que se efectúe el control, la evaluación y la revisión
  independientes a que se refiere el artículo 7 del programa marco, en cuanto a las actividades realizadas en los campos contemplados por el programa específico (artículo 9) |
| --- | --- |

—

encargarse de que se efectúe el control, la evaluación y la revisión
  independientes a que se refiere el artículo 7 del programa marco, en cuanto a las actividades realizadas en los campos contemplados por el programa específico (artículo 9)

| — | la Comisión deberá facilitar información de seguimiento al comité del programa de conformidad con el artículo 8, apartado 4) (anexo V) |
| --- | --- |

—

la Comisión deberá facilitar información de seguimiento al comité del programa de conformidad con el artículo 8, apartado 4) (anexo V)

Artículo 173 — Informe Anual

| — | informar periódicamente sobre la ejecución del programa específico e incluir información sobre los aspectos financieros y el uso de los instrumentos, con arreglo al artículo 4 de la decisión relativa al VI PM (artículo 8, apartado 1) |
| --- | --- |

—

informar periódicamente sobre la ejecución del programa específico e incluir información sobre los aspectos financieros y el uso de los instrumentos, con arreglo al artículo 4 de la decisión relativa al VI PM (artículo 8, apartado 1)

| — | incluir a este respecto [del instrumento de financiación de riesgos compartidos] unas conclusiones principales en el informe anual sobre actividades de investigación y desarrollo tecnológico, que remitirá al Parlamento Europeo y al Consejo, en virtud del artículo 173 del Tratado (anexo III) |
| --- | --- |

—

incluir a este respecto [del instrumento de financiación de riesgos compartidos] unas conclusiones principales en el informe anual sobre actividades de investigación y desarrollo tecnológico, que remitirá al Parlamento Europeo y al Consejo, en virtud del artículo 173 del Tratado (anexo III)

Evaluación quinquenal

| — | encargar a expertos independientes que efectúen una evaluación externa de las actividades realizadas en el campo regulado por el programa, así como de su gestión a lo largo de los cinco años que preceden a la evaluación (artículo 4, apartado 2) |
| --- | --- |

—

encargar a expertos independientes que efectúen una evaluación externa de las actividades realizadas en el campo regulado por el programa, así como de su gestión a lo largo de los cinco años que preceden a la evaluación (artículo 4, apartado 2)

| — | ocuparse de que se efectúe, según se indica en el artículo 5, apartado 2 de la decisión relativa al quinto programa marco, la evaluación externa de las actividades realizadas en los ámbitos a los que se aplica el programa específico [artículo 4, letra b)] |
| --- | --- |

—

ocuparse de que se efectúe, según se indica en el artículo 5, apartado 2 de la decisión relativa al quinto programa marco, la evaluación externa de las actividades realizadas en los ámbitos a los que se aplica el programa específico [artículo 4, letra b)]

Evaluación final

| — | encargar, cuando finalice cada programa específico, una evaluación final independiente de los resultados obtenidos con respecto a los objetivos (artículo 4, apartado 3) |
| --- | --- |

—

encargar, cuando finalice cada programa específico, una evaluación final independiente de los resultados obtenidos con respecto a los objetivos (artículo 4, apartado 3)

| — | presentar esta evaluación al Parlamento Europeo, al Consejo y al Comité Económico y Social (artículo 4, apartado 3) |
| --- | --- |

—

presentar esta evaluación al Parlamento Europeo, al Consejo y al Comité Económico y Social (artículo 4, apartado 3)

Expertos independientes

| — | elaborar el mandato para la evaluación externa que figura en el artículo 5, apartado 2, de la decisión relativa al quinto programa marco (artículo 6, apartado 2) |
| --- | --- |

—

elaborar el mandato para la evaluación externa que figura en el artículo 5, apartado 2, de la decisión relativa al quinto programa marco (artículo 6, apartado 2)

Información de base sobre la estructura del programa marco

| — | IV PM (CE): siete programas específicos que comprenden 17 subprogramas más dos grupos de actividades |
| --- | --- |

—

IV PM (CE): siete programas específicos que comprenden 17 subprogramas más dos grupos de actividades

| — | V PM (CE): siete programas específicos, de los cuales cuatro son programas temáticos y tres programas horizontales |
| --- | --- |

—

V PM (CE): siete programas específicos, de los cuales cuatro son programas temáticos y tres programas horizontales

| — | VI PM (CE): veinte programas, de los cuales diez se agrupan en siete prioridades temáticas, y cuatro programas que atañen a las actividades de investigación transversales, en el programa específico «Concentrar e integrar la investigación comunitaria». El programa específico «Estructurar el Espacio Europeo de Investigación» representa cuatro programas, y el programa específico «Reforzar las bases del Espacio Europeo de Investigación», dos programas específicos |
| --- | --- |

—

VI PM (CE): veinte programas, de los cuales diez se agrupan en siete prioridades temáticas, y cuatro programas que atañen a las actividades de investigación transversales, en el programa específico «Concentrar e integrar la investigación comunitaria». El programa específico «Estructurar el Espacio Europeo de Investigación» representa cuatro programas, y el programa específico «Reforzar las bases del Espacio Europeo de Investigación», dos programas específicos

| — | VII PM (CE): veinticuatro subprogramas específicos, de los cuales diez se agrupan en el programa específico «Cooperación», uno atañe al programa específico «Ideas», cinco subprogramas corresponden al programa específico «Personas» y ocho subprogramas se refieren al programa específico «Capacidades» (uno de los cuales se consagra a las acciones no nucleares del CCI). |
| --- | --- |

—

VII PM (CE): veinticuatro subprogramas específicos, de los cuales diez se agrupan en el programa específico «Cooperación», uno atañe al programa específico «Ideas», cinco subprogramas corresponden al programa específico «Personas» y ocho subprogramas se refieren al programa específico «Capacidades» (uno de los cuales se consagra a las acciones no nucleares del CCI).

| — | Presupuesto total (CE): 11 046 millones de euros (es decir, 2 761 millones de euros anuales) |
| --- | --- |

—

Presupuesto total (CE): 11 046 millones de euros (es decir, 2 761 millones de euros anuales)

| — | Presupuesto total (CE): 13 700 millones de euros (es decir, 3 425 millones de euros anuales; +24 %) |
| --- | --- |

—

Presupuesto total (CE): 13 700 millones de euros (es decir, 3 425 millones de euros anuales; +24 %)

| — | Presupuesto total (CE): 16 270 millones de euros (es decir, 4 061 millones de euros anuales; +19 %) tras la ampliación de la UE a 25 Estados miembros pasó a: |
| --- | --- |

—

Presupuesto total (CE): 16 270 millones de euros (es decir, 4 061 millones de euros anuales; +19 %) tras la ampliación de la UE a 25 Estados miembros pasó a:

| — | Presupuesto total (CE): 17 883 millones de euros (es decir, 4 447 millones de euros anuales; +10 %) |
| --- | --- |

—

Presupuesto total (CE): 17 883 millones de euros (es decir, 4 447 millones de euros anuales; +10 %)

| — | Presupuesto total (CE): 50 521 millones de euros (es decir, 7 217 millones de euros anuales; +62 %) |
| --- | --- |

—

Presupuesto total (CE): 50 521 millones de euros (es decir, 7 217 millones de euros anuales; +62 %)

| — | 7 direcciones generales: Investigación, Sociedad de la Información, Energía, Transporte, Pesca, Agricultura, Empresa |
| --- | --- |

—

7 direcciones generales: Investigación, Sociedad de la Información, Energía, Transporte, Pesca, Agricultura, Empresa

| — | 5 direcciones generales: Investigación, Sociedad de la Información, Energía y Transportes, Pesca, Empresa |
| --- | --- |

—

5 direcciones generales: Investigación, Sociedad de la Información, Energía y Transportes, Pesca, Empresa

| — | 4 direcciones generales: Investigación, Sociedad de la Información, Energía y Transportes, Empresa |
| --- | --- |

—

4 direcciones generales: Investigación, Sociedad de la Información, Energía y Transportes, Empresa

| — | 5 direcciones generales: Investigación, Sociedad de la Información y Medios de Comunicación, Energía y Transportes, Empresa e Industria, Centro Común de Investigación (CCI); además, el «Consejo Europeo de Investigación» (CEI) y las agencias ejecutivas«» |
| --- | --- |

—

5 direcciones generales: Investigación, Sociedad de la Información y Medios de Comunicación, Energía y Transportes, Empresa e Industria, Centro Común de Investigación (CCI); además, el «Consejo Europeo de Investigación» (CEI) y las agencias ejecutivas«»

---

(1)  IV PM: Tecnologías de la información y las comunicaciones [Tecnologías y servicios avanzados de telecomunicaciones (ACTS), Tecnologías de la información (ESPRIT), Aplicaciones telemáticas]; Tecnologías industriales [Tecnologías industriales y de materiales (BRITE/EURAM); Normalización, medidas y ensayos (SMT)]; Medio ambiente [Medio ambiente y clima, Ciencias y tecnologías marinas (MAST III)]; Ciencias y tecnologías de la vida (Biotecnología BIOTECH 2), Biomedicina y salud (BIOMED 2), Agricultura y pesca (FAIR), Aspectos éticos, jurídicos y sociales (ELSA); Energía (Investigación y desarrollo (JOULE), Demostración (THERMIE); Transporte (Programa de investigación sobre el transporte), Investigación socioeconómica con fines propios [Investigación socioeconómica con fines propios (TSER), Red Europea de Evaluación de Tecnología (ETAN)]; Cooperación con terceros países y organizaciones internacionales [Cooperación internacional (INCO)]; Difusión y explotación de los resultados (Programa de innovación); Estímulo a la formación y la movilidad de los investigadores [Formación y movilidad de los investigadores (TMR), Asociación de becarios Marie Curie].

(2)  V PM: Cuatro programas temáticos [Calidad de la vida y gestión de los recursos vivos (Calidad de vida), Sociedad de la información fácil de utilizar (IST), Crecimiento competitivo y sostenible (GROWTH), Energía, medio ambiente y desarrollo sostenible (EESD)]; tres programas horizontales [Consolidación del papel internacional de la investigación comunitaria (INCO 2), Fomento de la innovación y participación de las PYME (Innovación-PYME), Incremento del potencial humano de investigación y de la base de conocimientos socioeconómicos (Improving)].

(3)  VI PM:«Concentrar e integrar la investigación comunitaria»

| — | siete prioridades temáticas que corresponden a diez programas: Ciencias de la vida, genómica y biotecnología para la salud (engloba: Genómica avanzada y sus aplicaciones para la salud, Lucha contra las principales enfermedades), Tecnologías de la sociedad de la información, Nanotecnología y nanociencias, materiales multifuncionales basados en el conocimiento y nuevos procesos y dispositivos de producción, Aeronáutica y espacio, Calidad y seguridad de los alimentos, Desarrollo sostenible, cambio global y ecosistemas (engloba: Sistemas energéticos sostenibles, Transporte de superficie sostenible, Cambio global y ecosistemas), Ciudadanos y gobernanza en una sociedad basada en el conocimiento; |
| --- | --- |

—

siete prioridades temáticas que corresponden a diez programas: Ciencias de la vida, genómica y biotecnología para la salud (engloba: Genómica avanzada y sus aplicaciones para la salud, Lucha contra las principales enfermedades), Tecnologías de la sociedad de la información, Nanotecnología y nanociencias, materiales multifuncionales basados en el conocimiento y nuevos procesos y dispositivos de producción, Aeronáutica y espacio, Calidad y seguridad de los alimentos, Desarrollo sostenible, cambio global y ecosistemas (engloba: Sistemas energéticos sostenibles, Transporte de superficie sostenible, Cambio global y ecosistemas), Ciudadanos y gobernanza en una sociedad basada en el conocimiento;

| — | actividades de investigación transversales que abarcan un ámbito de investigación más amplio correspondiente a cuatro programas: Apoyo a las políticas y anticipación de las necesidades científicas y tecnológicas, Acciones de investigación horizontales en las que participan PYME, Medidas específicas de apoyo a la cooperación internacional; Acciones no nucleares del Centro Común de Investigación; «Estructurar el Espacio Europeo de Investigación», que representa cuatro programas: Investigación e innovación, Recursos humanos, Infraestructuras de investigación, Ciencia y sociedad; «Reforzar las bases del Espacio Europeo de Investigación», que representa dos programas: Apoyo de la coordinación de las actividades, Apoyo del desarrollo coherente de las políticas. |
| --- | --- |

—

actividades de investigación transversales que abarcan un ámbito de investigación más amplio correspondiente a cuatro programas: Apoyo a las políticas y anticipación de las necesidades científicas y tecnológicas, Acciones de investigación horizontales en las que participan PYME, Medidas específicas de apoyo a la cooperación internacional; Acciones no nucleares del Centro Común de Investigación; «Estructurar el Espacio Europeo de Investigación», que representa cuatro programas: Investigación e innovación, Recursos humanos, Infraestructuras de investigación, Ciencia y sociedad; «Reforzar las bases del Espacio Europeo de Investigación», que representa dos programas: Apoyo de la coordinación de las actividades, Apoyo del desarrollo coherente de las políticas.

(4)  VII PM: Programa específico «Cooperación», que representa diez subprogramas [Salud; Alimentos, agricultura y biotecnología; Tecnologías de la información y la comunicación; Nanociencias, nanotecnologías, materiales y nuevas tecnologías de producción; Energía; Medio ambiente (incluido el cambio climático); Transporte (incluida la aeronáutica); Ciencias socioeconómicas y humanidades; Seguridad; Espacio]; programa específico «Ideas» constituido por un subprograma (Consejo Europeo de Investigación); programa específico «Personas», formado por cinco subprogramas (Formación inicial; Formación permanente; Pasarelas y asociaciones entre la industria y la universidad; Dimensión internacional; Acciones específicas); programa específico «Capacidades», integrado por ocho subprogramas (Infraestructuras de investigación; Investigación en beneficio de las PYME; Regiones del conocimiento; Potencial de investigación; La ciencia en la sociedad; Desarrollo coherente de políticas de investigación; Cooperación internacional y «Acciones no nucleares del CCI»).

---

ANEXO III

PRINCIPALES DIFERENCIAS DE LA EVALUACIÓN EX POST DE LOS PROGRAMAS DE INVESTIGACIÓN ENTRE LA UE IV A-VII PROGRAMAS MARCO, ESTADOS UNIDOS Y CANADÁ

| | UE (IV-VII PM) | EE.UU. | Canadá |
| --- | --- | --- | --- |
| Aspectos sistémicos |
| Lógica de intervención | no explícita | por lo general implantada, exigida implícitamente por PART (1) | exigida por RMAF (2) en el marco de la propuesta de programa |
| Estrategia de evaluación | no global | exigida por PART (1) | exigida por RMAF (2) en el marco de la propuesta de programa |
| Mención de los resultados previstos | no | exigida por PART (1) (incluida la utilización de indicadores cuantificables) | exigida por RMAF (2) en el marco de la propuesta de programa |
| Preguntas de evaluación realizadas por | la Comisión como responsable del programa | la agencia como responsable del programa (evaluación en el marco de OMB) | la agencia como responsable del programa
  (evaluación en el marco de TBS) |
| Aspectos organizativos |
| Fase de concepción | durante el período de programación | durante el período de programación | terminada antes del inicio del programa |
| Recurso a paneles de expertos | paneles de expertos ad hoc para ejercicios de evaluación específicos | en función de la agencia/programa | paneles de expertos permanentes en calidad de comités permanentes |
| Periodicidad | fechas fijas (vinculadas al período de programación, que abarca los cinco años anteriores) | ciclo de dos a tres años
  (vinculado a la adopción del presupuesto) | al renovarse el programa |

UE (IV-VII PM)

EE.UU.

Canadá

Aspectos sistémicos

Lógica de intervención

no explícita

por lo general implantada, exigida implícitamente por PART (1)

exigida por RMAF (2) en el marco de la propuesta de programa

Estrategia de evaluación

no global

exigida por PART (1)

exigida por RMAF (2) en el marco de la propuesta de programa

Mención de los resultados previstos

no

exigida por PART (1) (incluida la utilización de indicadores cuantificables)

exigida por RMAF (2) en el marco de la propuesta de programa

Preguntas de evaluación realizadas por

la Comisión como responsable del programa

la agencia como responsable del programa (evaluación en el marco de OMB)

la agencia como responsable del programa

(evaluación en el marco de TBS)

Aspectos organizativos

Fase de concepción

durante el período de programación

durante el período de programación

terminada antes del inicio del programa

Recurso a paneles de expertos

paneles de expertos ad hoc para ejercicios de evaluación específicos

en función de la agencia/programa

paneles de expertos permanentes en calidad de comités permanentes

Periodicidad

fechas fijas (vinculadas al período de programación, que abarca los cinco años anteriores)

ciclo de dos a tres años

(vinculado a la adopción del presupuesto)

al renovarse el programa

---

(1)  «Programme Assessment Rating Tool» (PART) (herramienta de evaluación de programa) desde 2002: Oficina de Gestión y Presupuesto (Office of Management of the Budget, OMB), Oficina Ejecutiva del Presidente, EE.UU.

(2)  «Results-based Management and Accountability Framework» (RMAF) (marco de gestión y rendición de cuentas basado en resultados), Secretaría del Consejo del Tesoro de Canadá (Treasury Board of Canada Secretariat, TBS).

---

ANEXO IV

POSIBLE ESTRUCTURA DEL PANEL DE EXPERTOS DEL VII PM

Image

---

RESPUESTAS DE LA COMISIÓN

| I. | Los programas marco comunitarios de IDT (PM) han evolucionado durante las últimas décadas hacia un sistema amplio y, sin embargo, coherente de mecanismos de apoyo para los investigadores de los 27 Estados miembros de la UE, los países asociados y otros.
  Los PM son hoy día el mayor sistema multinacional de financiación pública en materia de investigación del mundo.
  El PM representa actualmente alrededor del 5 % de la financiación pública total de la UE en materia de investigación. En términos de participación financiera comunitaria anual, el VII PM será un 60 % mayor que el VI PM.
  Evaluar un sistema único como este supone un desafío especial para todos los implicados. Las disposiciones de evaluación y seguimiento han experimentado cambios significativos en los últimos años, la última vez con el lanzamiento del VII PM en 2007.
  El sistema de evaluación y seguimiento implantado en la Comisión se basa en la responsabilidad directa de los servicios de la Comisión encargados de la ejecución. Ahí es donde se encuentra el más alto grado de experiencia técnica.
  Las evaluaciones de los programas marco se llevan a cabo a través del esfuerzo coordinado de todas las Direcciones Generales (DG). |
| --- | --- |

I.

Los programas marco comunitarios de IDT (PM) han evolucionado durante las últimas décadas hacia un sistema amplio y, sin embargo, coherente de mecanismos de apoyo para los investigadores de los 27 Estados miembros de la UE, los países asociados y otros.

Los PM son hoy día el mayor sistema multinacional de financiación pública en materia de investigación del mundo.

El PM representa actualmente alrededor del 5 % de la financiación pública total de la UE en materia de investigación. En términos de participación financiera comunitaria anual, el VII PM será un 60 % mayor que el VI PM.

Evaluar un sistema único como este supone un desafío especial para todos los implicados. Las disposiciones de evaluación y seguimiento han experimentado cambios significativos en los últimos años, la última vez con el lanzamiento del VII PM en 2007.

El sistema de evaluación y seguimiento implantado en la Comisión se basa en la responsabilidad directa de los servicios de la Comisión encargados de la ejecución. Ahí es donde se encuentra el más alto grado de experiencia técnica.

Las evaluaciones de los programas marco se llevan a cabo a través del esfuerzo coordinado de todas las Direcciones Generales (DG).

| IV. | La Comisión acoge con satisfacción la observación del Tribunal de que las DG encargadas de la ejecución de los PM («las DG Investigación») han cumplido con los requisitos de la Comisión, incluidos los especificados en las Comunicaciones sobre Evaluación de 2000 y 2002.
  Se han introducido cambios significativos en la evaluación de los programas marco, incluida una reestructuración importante para el VII PM.
  La Comisión también considera que:






  i) | los PM se han basado siempre en una lógica de intervención sólida. En el VII PM esto se hace más explícito, lo que consolidará aún más el sistema de evaluación y seguimiento de la Comisión, |
| --- | --- | --- |

IV.

La Comisión acoge con satisfacción la observación del Tribunal de que las DG encargadas de la ejecución de los PM («las DG Investigación») han cumplido con los requisitos de la Comisión, incluidos los especificados en las Comunicaciones sobre Evaluación de 2000 y 2002.

Se han introducido cambios significativos en la evaluación de los programas marco, incluida una reestructuración importante para el VII PM.

La Comisión también considera que:

i)

los PM se han basado siempre en una lógica de intervención sólida. En el VII PM esto se hace más explícito, lo que consolidará aún más el sistema de evaluación y seguimiento de la Comisión,

| ii) | los principales elementos estratégicos del enfoque de la Comisión para la evaluación y el seguimiento se han ido definiendo en los sucesivos actos legislativos para los PM desde mediados de los años noventa.
  Desde que la Comisión adoptara su última Comunicación sobre la evaluación de la investigación en 1996, se ha producido un proceso constante de perfeccionamiento de su enfoque de la evaluación de los PM y se han introducido cambios significativos en los ejercicios de evaluación.
  Durante el período fiscalizado por el Tribunal, se llevaron a cabo cada cuatro años ejercicios importantes de evaluación de los PM, las llamadas «evaluaciones quinquenales», |
| --- | --- |

ii)

los principales elementos estratégicos del enfoque de la Comisión para la evaluación y el seguimiento se han ido definiendo en los sucesivos actos legislativos para los PM desde mediados de los años noventa.

Desde que la Comisión adoptara su última Comunicación sobre la evaluación de la investigación en 1996, se ha producido un proceso constante de perfeccionamiento de su enfoque de la evaluación de los PM y se han introducido cambios significativos en los ejercicios de evaluación.

Durante el período fiscalizado por el Tribunal, se llevaron a cabo cada cuatro años ejercicios importantes de evaluación de los PM, las llamadas «evaluaciones quinquenales»,

| iii) | los PM son ejecutados conjuntamente por las «DG de Investigación», que actúan independientemente y cooperan en caso necesario. Los servicios centrales de la Comisión, y la DG de Presupuestos en especial, participan activamente en las diversas fases del proceso de evaluación.
  Dadas la organización descentralizada de la Comisión y las especificidades de cada campo científico, las evaluaciones necesitan ser gestionadas por los servicios operativos responsables.
  La red de evaluación IDT interna de la Comisión ha demostrado ser muy útil para la coordinación.
  La Comisión está de acuerdo en que los grupos de expertos deben desempeñar un papel importante en la evaluación y acoge con satisfacción el resultado de la fiscalización de que las partes interesadas institucionales consideraran a sus grupos de expertos para las «evaluaciones quinquenales» y otras evaluaciones importantes como garantía de la independencia del enfoque seguido por la Comisión durante el período cubierto por la fiscalización, |
| --- | --- |

iii)

los PM son ejecutados conjuntamente por las «DG de Investigación», que actúan independientemente y cooperan en caso necesario. Los servicios centrales de la Comisión, y la DG de Presupuestos en especial, participan activamente en las diversas fases del proceso de evaluación.

Dadas la organización descentralizada de la Comisión y las especificidades de cada campo científico, las evaluaciones necesitan ser gestionadas por los servicios operativos responsables.

La red de evaluación IDT interna de la Comisión ha demostrado ser muy útil para la coordinación.

La Comisión está de acuerdo en que los grupos de expertos deben desempeñar un papel importante en la evaluación y acoge con satisfacción el resultado de la fiscalización de que las partes interesadas institucionales consideraran a sus grupos de expertos para las «evaluaciones quinquenales» y otras evaluaciones importantes como garantía de la independencia del enfoque seguido por la Comisión durante el período cubierto por la fiscalización,

| iv) | la necesidad de mantener la independencia de los evaluadores limita que se den orientaciones metodológicas directas para las evaluaciones. La Comisión reconoce dificultades anteriores en la recogida de datos y acepta que se sabe menos sobre los resultados y el impacto a más largo plazo de los PM, como ocurre en la mayor parte de las evaluaciones de intervenciones públicas en investigación y en otras áreas, |
| --- | --- |

iv)

la necesidad de mantener la independencia de los evaluadores limita que se den orientaciones metodológicas directas para las evaluaciones. La Comisión reconoce dificultades anteriores en la recogida de datos y acepta que se sabe menos sobre los resultados y el impacto a más largo plazo de los PM, como ocurre en la mayor parte de las evaluaciones de intervenciones públicas en investigación y en otras áreas,

| v) | el calendario de la mayor parte de las evaluaciones se especifica en la legislación de los programas marco adoptada por el Parlamento Europeo y el Consejo. En conjunto, la Comisión considera que su sistema de evaluación y seguimiento de los PM es efectivo. Esta opinión fue compartida por el Parlamento Europeo y el Consejo al adoptar las recientes propuestas legislativas de la Comisión para el VII PM en 2006. |
| --- | --- |

v)

el calendario de la mayor parte de las evaluaciones se especifica en la legislación de los programas marco adoptada por el Parlamento Europeo y el Consejo. En conjunto, la Comisión considera que su sistema de evaluación y seguimiento de los PM es efectivo. Esta opinión fue compartida por el Parlamento Europeo y el Consejo al adoptar las recientes propuestas legislativas de la Comisión para el VII PM en 2006.

| V. | Teniendo en cuenta las recomendaciones del Tribunal, la Comisión:






  i) | señala la lógica de intervención más explícita que representa la legislación del VII PM (adoptada por el Parlamento Europeo y el Consejo en 2006) e intensificará el uso de una lógica explícita de intervención en sus futuras propuestas legislativas. Por otra parte, tiene previsto aclarar sus objetivos operativos para el VII PM al nivel de programas de trabajo y desarrollar más su enfoque de cuantificación del rendimiento, |
| --- | --- | --- |

V.

Teniendo en cuenta las recomendaciones del Tribunal, la Comisión:

i)

señala la lógica de intervención más explícita que representa la legislación del VII PM (adoptada por el Parlamento Europeo y el Consejo en 2006) e intensificará el uso de una lógica explícita de intervención en sus futuras propuestas legislativas. Por otra parte, tiene previsto aclarar sus objetivos operativos para el VII PM al nivel de programas de trabajo y desarrollar más su enfoque de cuantificación del rendimiento,

| ii) | desarrollará más su estrategia de evaluación para el VII PM, basada en las propuestas de la evaluación de impacto del VII PM. Se velará por asegurar un nivel apropiado de flexibilidad de modo que cada servicio operativo pueda determinar sus necesidades específicas de evaluación, |
| --- | --- |

ii)

desarrollará más su estrategia de evaluación para el VII PM, basada en las propuestas de la evaluación de impacto del VII PM. Se velará por asegurar un nivel apropiado de flexibilidad de modo que cada servicio operativo pueda determinar sus necesidades específicas de evaluación,

| iii) | aunque no considera necesario crear una oficina de evaluación conjunta, acepta considerar otras opciones para mejorar la coordinación.
  Los grupos de expertos deben ser convocados lo antes posible para apoyar una evaluación específica. Es más probable, sin embargo, que un grupo de expertos específico, convocado para unos fines concretos, aporte beneficios en términos de claridad y atención, |
| --- | --- |

iii)

aunque no considera necesario crear una oficina de evaluación conjunta, acepta considerar otras opciones para mejorar la coordinación.

Los grupos de expertos deben ser convocados lo antes posible para apoyar una evaluación específica. Es más probable, sin embargo, que un grupo de expertos específico, convocado para unos fines concretos, aporte beneficios en términos de claridad y atención,

| iv) | ha tomado ya medidas para aprovechar mejor en sus evaluaciones las fuentes de datos existentes y nuevas.
  Los requisitos de presentación de informes del VII PM se revisaron parcialmente con arreglo a las necesidades de evaluación y seguimiento.
  Además, la Comisión está desarrollando actualmente un nuevo sistema informático para el VII PM que debería en principio proporcionar una base más sólida en cuanto a datos sobre los proyectos.
  La Comisión considerará la posibilidad de un nuevo manual sobre la evaluación de los programas marco, teniendo en cuenta ejemplos recientemente presentados, |
| --- | --- |

iv)

ha tomado ya medidas para aprovechar mejor en sus evaluaciones las fuentes de datos existentes y nuevas.

Los requisitos de presentación de informes del VII PM se revisaron parcialmente con arreglo a las necesidades de evaluación y seguimiento.

Además, la Comisión está desarrollando actualmente un nuevo sistema informático para el VII PM que debería en principio proporcionar una base más sólida en cuanto a datos sobre los proyectos.

La Comisión considerará la posibilidad de un nuevo manual sobre la evaluación de los programas marco, teniendo en cuenta ejemplos recientemente presentados,

| v) | la Comisión tiene previsto desarrollar y consolidar su planificación a largo plazo de las evaluaciones del VII PM, reflejando las posibles ventajas para la coherencia, y adoptar los resultados. |
| --- | --- |

v)

la Comisión tiene previsto desarrollar y consolidar su planificación a largo plazo de las evaluaciones del VII PM, reflejando las posibles ventajas para la coherencia, y adoptar los resultados.

| 1 a 13. | Los programas marco comunitarios de IDT (PM) han evolucionado durante las últimas décadas hacia un sistema amplio y, sin embargo, coherente de mecanismos de apoyo para los investigadores de los 27 Estados miembros de la UE, los países asociados y otros.
  Los PM son hoy día el mayor sistema multinacional de financiación pública en materia de investigación del mundo (véase el apartado 6 del documento del Tribunal). En términos de participación financiera comunitaria anual, el VII PM será un 60 % mayor que el VI PM (véase el gráfico 1 del documento del Tribunal).
  Evaluar un sistema único como este supone un desafío especial para todos los implicados. Las modalidades de evaluación han experimentado cambios significativos en los últimos años (véase el gráfico 2 del documento del Tribunal), la última vez con el lanzamiento del VII PM en 2007 (véanse, por ejemplo, las respuestas a los apartados 23, 30, 41, 46, 72, 76-78 y 93). |
| --- | --- |

1 a 13.

Los programas marco comunitarios de IDT (PM) han evolucionado durante las últimas décadas hacia un sistema amplio y, sin embargo, coherente de mecanismos de apoyo para los investigadores de los 27 Estados miembros de la UE, los países asociados y otros.

Los PM son hoy día el mayor sistema multinacional de financiación pública en materia de investigación del mundo (véase el apartado 6 del documento del Tribunal). En términos de participación financiera comunitaria anual, el VII PM será un 60 % mayor que el VI PM (véase el gráfico 1 del documento del Tribunal).

Evaluar un sistema único como este supone un desafío especial para todos los implicados. Las modalidades de evaluación han experimentado cambios significativos en los últimos años (véase el gráfico 2 del documento del Tribunal), la última vez con el lanzamiento del VII PM en 2007 (véanse, por ejemplo, las respuestas a los apartados 23, 30, 41, 46, 72, 76-78 y 93).

| 14. | Las DG encargadas de la ejecución de los PM de IDT («las DG de Investigación») han cumplido formalmente con los requisitos de la Comisión para la evaluación, incluidos los especificados en las Comunicaciones sobre Evaluación de 2000 y 2002 (véase el apartado 54 del documento del Tribunal). |
| --- | --- |

14.

Las DG encargadas de la ejecución de los PM de IDT («las DG de Investigación») han cumplido formalmente con los requisitos de la Comisión para la evaluación, incluidos los especificados en las Comunicaciones sobre Evaluación de 2000 y 2002 (véase el apartado 54 del documento del Tribunal).

| 22. | La Comisión está de acuerdo con la importancia de una lógica de intervención sólida para la concepción del programa y comparte la opinión de que el mandato especificado en el artículo 163 del Tratado es un elemento clave a este respecto. Además, la contribución de actividades de IDT financiadas por la Comisión a otras políticas y objetivos comunitarios es de gran importancia. Más recientemente, la opinión de la Comisión sobre el papel de la inversión en IDT de la UE se presentó detalladamente tanto en la Estrategia de «Lisboa» renovada como en la Estrategia de «Desarrollo Sostenible» (1). |
| --- | --- |

22.

La Comisión está de acuerdo con la importancia de una lógica de intervención sólida para la concepción del programa y comparte la opinión de que el mandato especificado en el artículo 163 del Tratado es un elemento clave a este respecto. Además, la contribución de actividades de IDT financiadas por la Comisión a otras políticas y objetivos comunitarios es de gran importancia. Más recientemente, la opinión de la Comisión sobre el papel de la inversión en IDT de la UE se presentó detalladamente tanto en la Estrategia de «Lisboa» renovada como en la Estrategia de «Desarrollo Sostenible» (1).

| 23. | Los PM se han basado siempre en una lógica de intervención sólida. En el VII PM esto se hace más explícito (2), lo que consolidará aún más el sistema de evaluación y seguimiento de la Comisión. |
| --- | --- |

23.

Los PM se han basado siempre en una lógica de intervención sólida. En el VII PM esto se hace más explícito (2), lo que consolidará aún más el sistema de evaluación y seguimiento de la Comisión.

| 25. | Varios países, incluidos algunos Estados miembros, están desarrollando este enfoque, pero no es en modo alguno un enfoque uniforme. Las lecciones que puedan extraerse de los EE. UU. y de Canadá pueden ser menos fáciles de trasladar que las de los Estados miembros de la UE. |
| --- | --- |

25.

Varios países, incluidos algunos Estados miembros, están desarrollando este enfoque, pero no es en modo alguno un enfoque uniforme. Las lecciones que puedan extraerse de los EE. UU. y de Canadá pueden ser menos fáciles de trasladar que las de los Estados miembros de la UE.

| 26. | La Comisión considera que ha habido un sistema efectivo de evaluación y seguimiento durante el período fiscalizado por el Tribunal (véase también la respuesta al apartado 23). |
| --- | --- |

26.

La Comisión considera que ha habido un sistema efectivo de evaluación y seguimiento durante el período fiscalizado por el Tribunal (véase también la respuesta al apartado 23).

| 28. | Resulta complejo, en especial dada la incertidumbre de la investigación, procurar que todos los objetivos encajen con exactitud en las estrictas definiciones de los criterios SMART. Todos los programas de trabajo del VII PM contienen declaraciones del impacto esperado, que corresponden con los objetivos, el razonamiento y las actividades establecidos en los programas específicos. |
| --- | --- |

28.

Resulta complejo, en especial dada la incertidumbre de la investigación, procurar que todos los objetivos encajen con exactitud en las estrictas definiciones de los criterios SMART. Todos los programas de trabajo del VII PM contienen declaraciones del impacto esperado, que corresponden con los objetivos, el razonamiento y las actividades establecidos en los programas específicos.

| 29. | Se ha prestado mayor atención a los logros a más corto plazo durante el período fiscalizado por el Tribunal; hay margen para análisis a más largo plazo. |
| --- | --- |

29.

Se ha prestado mayor atención a los logros a más corto plazo durante el período fiscalizado por el Tribunal; hay margen para análisis a más largo plazo.

| 30. | En lo referente a los programas marco, la Comisión está desarrollando un sistema de seguimiento para el VII PM con el fin de proporcionar un uso más coherente y sistemático de los indicadores de rendimiento. Hay también en marcha varias iniciativas distintas para desarrollar indicadores de rendimiento en los diversos servicios encargados de la ejecución del VII PM. |
| --- | --- |

30.

En lo referente a los programas marco, la Comisión está desarrollando un sistema de seguimiento para el VII PM con el fin de proporcionar un uso más coherente y sistemático de los indicadores de rendimiento. Hay también en marcha varias iniciativas distintas para desarrollar indicadores de rendimiento en los diversos servicios encargados de la ejecución del VII PM.

| 34. | La Comisión ya está comprometida en asegurar mayor claridad en la lógica de intervención de los programas, partiendo de los progresos que representa la legislación y la evaluación de impacto del VII PM y considerará la recomendación del Tribunal para futuras propuestas legislativas. |
| --- | --- |

34.

La Comisión ya está comprometida en asegurar mayor claridad en la lógica de intervención de los programas, partiendo de los progresos que representa la legislación y la evaluación de impacto del VII PM y considerará la recomendación del Tribunal para futuras propuestas legislativas.

| 35. | La Comisión acoge con satisfacción la recomendación del Tribunal de aclarar más los objetivos de los programas del VII PM, y, dentro de las limitaciones de los actos básicos relevantes adoptados por el Parlamento Europeo y el Consejo, trabajará para lograrlo. |
| --- | --- |

35.

La Comisión acoge con satisfacción la recomendación del Tribunal de aclarar más los objetivos de los programas del VII PM, y, dentro de las limitaciones de los actos básicos relevantes adoptados por el Parlamento Europeo y el Consejo, trabajará para lograrlo.

| 36 y 37. | La Comisión acoge con satisfacción las recomendaciones del Tribunal y está tomando iniciativas para seguir desarrollando la medida de rendimiento y para la modificación de la nomenclatura de gestión por actividades/presupuestación por actividades. |
| --- | --- |

36 y 37.

La Comisión acoge con satisfacción las recomendaciones del Tribunal y está tomando iniciativas para seguir desarrollando la medida de rendimiento y para la modificación de la nomenclatura de gestión por actividades/presupuestación por actividades.

| 38 y 39. | La Comisión considera que su estrategia de evaluación para los PM debe establecer principios comunes para la organización y el desarrollo de la evaluación y seguimiento de los programas marco. La estrategia debería proporcionar una declaración de intenciones, definir los componentes clave del sistema, incluidos los ejercicios importantes, y elaborar una visión para el futuro. Debería permanecer centrada en el nivel estratégico teniendo en cuenta el sistema descentralizado de evaluación de la Comisión para los PM. |
| --- | --- |

38 y 39.

La Comisión considera que su estrategia de evaluación para los PM debe establecer principios comunes para la organización y el desarrollo de la evaluación y seguimiento de los programas marco. La estrategia debería proporcionar una declaración de intenciones, definir los componentes clave del sistema, incluidos los ejercicios importantes, y elaborar una visión para el futuro. Debería permanecer centrada en el nivel estratégico teniendo en cuenta el sistema descentralizado de evaluación de la Comisión para los PM.

| 41. | Los principales elementos estratégicos del enfoque de la Comisión para la evaluación y el seguimiento se definieron en los actos básicos sucesivos para los PM desde mediados de los años noventa (véase el anexo II).
  Desde que la Comisión adoptara su Comunicación sobre la evaluación de la investigación en 1996, se ha producido un proceso constante de perfeccionamiento de su enfoque de la evaluación de los PM y se han introducido cambios significativos en los ejercicios de evaluación (véase el gráfico 2 del documento del Tribunal).
  Para el actual período de programación, la estrategia prevista de evaluación de la Comisión se establece más explícitamente en la evaluación de impacto ex ante del VII PM [SEC(2005) 430]. Abarca la concepción del sistema de evaluación, el modo de ejecución y un calendario detallado de evaluaciones de los programas marco previstas.
  Será necesario seguir trabajando para traducir esta estrategia en planes específicos y la Comisión utilizará a tal efecto estructuras específicas de coordinación. |
| --- | --- |

41.

Los principales elementos estratégicos del enfoque de la Comisión para la evaluación y el seguimiento se definieron en los actos básicos sucesivos para los PM desde mediados de los años noventa (véase el anexo II).

Desde que la Comisión adoptara su Comunicación sobre la evaluación de la investigación en 1996, se ha producido un proceso constante de perfeccionamiento de su enfoque de la evaluación de los PM y se han introducido cambios significativos en los ejercicios de evaluación (véase el gráfico 2 del documento del Tribunal).

Para el actual período de programación, la estrategia prevista de evaluación de la Comisión se establece más explícitamente en la evaluación de impacto ex ante del VII PM [SEC(2005) 430]. Abarca la concepción del sistema de evaluación, el modo de ejecución y un calendario detallado de evaluaciones de los programas marco previstas.

Será necesario seguir trabajando para traducir esta estrategia en planes específicos y la Comisión utilizará a tal efecto estructuras específicas de coordinación.

| 43. | Aunque reconoce la observación del Tribunal, la Comisión señala que la situación en los EE. UU. y Canadá es considerablemente más matizada de lo que hubiera podido presentarse en unas simples estrategias de evaluación. |
| --- | --- |

43.

Aunque reconoce la observación del Tribunal, la Comisión señala que la situación en los EE. UU. y Canadá es considerablemente más matizada de lo que hubiera podido presentarse en unas simples estrategias de evaluación.

| 44. | Las diferencias en el uso y el enfoque de la evaluación a lo largo del PM reflejan el sistema descentralizado de la Comisión, que vincula la evaluación a la toma de decisiones. |
| --- | --- |

44.

Las diferencias en el uso y el enfoque de la evaluación a lo largo del PM reflejan el sistema descentralizado de la Comisión, que vincula la evaluación a la toma de decisiones.

| 46. | Dada la organización descentralizada de la Comisión, la cuestión del nivel apropiado para la actividad de evaluación debe ser aclarada por los servicios operativos responsables (véanse también las respuestas a los apartados 41 y 49).






  — | (segundo guión) la evaluación quinquenal de 2004 (1999-2003), coordinada por la DG de Investigación, aportó una evaluación al nivel global de los PM. La decisión de si llevar a cabo ejercicios separados a nivel de programas reflejaba las necesidades de los servicios implicados y los diversos contextos y escala de actividades en cuestión. |
| --- | --- | --- |

46.

Dada la organización descentralizada de la Comisión, la cuestión del nivel apropiado para la actividad de evaluación debe ser aclarada por los servicios operativos responsables (véanse también las respuestas a los apartados 41 y 49).

—

(segundo guión) la evaluación quinquenal de 2004 (1999-2003), coordinada por la DG de Investigación, aportó una evaluación al nivel global de los PM. La decisión de si llevar a cabo ejercicios separados a nivel de programas reflejaba las necesidades de los servicios implicados y los diversos contextos y escala de actividades en cuestión.

| 47. | La evaluación quinquenal de 2004 proporcionó una evaluación coordinada, completa y oportuna al nivel global de los PM, de acuerdo con el Reglamento financiero. La llevaron a cabo expertos exteriores de prestigio y los resultados fueron ampliamente difundidos. |
| --- | --- |

47.

La evaluación quinquenal de 2004 proporcionó una evaluación coordinada, completa y oportuna al nivel global de los PM, de acuerdo con el Reglamento financiero. La llevaron a cabo expertos exteriores de prestigio y los resultados fueron ampliamente difundidos.

| 48. | Véanse las respuestas a los apartados 41 y 46. |
| --- | --- |

48.

Véanse las respuestas a los apartados 41 y 46.

| 49. | Para el actual período de programación, la estrategia de evaluación prevista por la Comisión se establece en la Evaluación de impacto ex ante del VII PM [SEC(2005) 430]. Abarca la concepción del sistema de evaluación, el modo de ejecución y un calendario detallado de evaluaciones de nivel previstas del programa marco.
  La Comisión acepta que será necesario seguir trabajando para traducir esta estrategia en planes específicos y utilizará a tal efecto estructuras específicas de coordinación.
  La Comisión considera, sin embargo, que no siempre puede fijarse un nivel mínimo de evaluación detallada debido a la necesidad de mantener la suficiente flexibilidad en la gestión para determinar las necesidades adecuadas de evaluación. |
| --- | --- |

49.

Para el actual período de programación, la estrategia de evaluación prevista por la Comisión se establece en la Evaluación de impacto ex ante del VII PM [SEC(2005) 430]. Abarca la concepción del sistema de evaluación, el modo de ejecución y un calendario detallado de evaluaciones de nivel previstas del programa marco.

La Comisión acepta que será necesario seguir trabajando para traducir esta estrategia en planes específicos y utilizará a tal efecto estructuras específicas de coordinación.

La Comisión considera, sin embargo, que no siempre puede fijarse un nivel mínimo de evaluación detallada debido a la necesidad de mantener la suficiente flexibilidad en la gestión para determinar las necesidades adecuadas de evaluación.

| 51. | Los PM son ejecutados conjuntamente por las «DG de Investigación», que actúan independientemente y cooperan en caso necesario. |
| --- | --- |

51.

Los PM son ejecutados conjuntamente por las «DG de Investigación», que actúan independientemente y cooperan en caso necesario.

| 52. | EuropeAid tiene responsabilidades operativas y de gestión que ejerce en colaboración con las delegaciones de la Comisión y con organismos ejecutivos en terceros países. Esto hace difícil que pueda ponerse como ejemplo a este organismo de la Comisión, pues no es comparable con el sistema descentralizado de responsabilidades y funciones en el área de investigación. |
| --- | --- |

52.

EuropeAid tiene responsabilidades operativas y de gestión que ejerce en colaboración con las delegaciones de la Comisión y con organismos ejecutivos en terceros países. Esto hace difícil que pueda ponerse como ejemplo a este organismo de la Comisión, pues no es comparable con el sistema descentralizado de responsabilidades y funciones en el área de investigación.

| 53. | La red de evaluación IDT interna de la Comisión proporciona medios informales para el desarrollo de una estrategia de evaluación y para coordinar ejercicios de evaluación a nivel del Programa Marco. Este mecanismo flexible ha demostrado ser muy útil. |
| --- | --- |

53.

La red de evaluación IDT interna de la Comisión proporciona medios informales para el desarrollo de una estrategia de evaluación y para coordinar ejercicios de evaluación a nivel del Programa Marco. Este mecanismo flexible ha demostrado ser muy útil.

| 55. | La reciente revisión de las normas de control interno de la Comisión, adoptada el 16 de octubre de 2007 [SEC (2007) 1341], abarca las 21 normas de evaluación y el cumplimiento de las mismas se incluirá, por tanto, en el ámbito de los informes anuales de actividades de las DG.
  Los servicios centrales de la Comisión, en especial la DG de Presupuestos, participan activamente en las diversas fases relacionadas con el proceso de evaluación.
  Las actividades de evaluación de los servicios pueden ser sometidas a auditoría por la capacidad de auditoría interna y el servicio de auditoría interna.
  En el futuro, la evaluación de requisitos mínimos de calidad utilizará el «marco de evaluación de la calidad» de la Comisión (3) recientemente desarrollado. Desde 2007, el control de calidad para la evaluación de impacto ex ante corre a cargo del «Comité de evaluación de impacto» de la Comisión. |
| --- | --- |

55.

La reciente revisión de las normas de control interno de la Comisión, adoptada el 16 de octubre de 2007 [SEC (2007) 1341], abarca las 21 normas de evaluación y el cumplimiento de las mismas se incluirá, por tanto, en el ámbito de los informes anuales de actividades de las DG.

Los servicios centrales de la Comisión, en especial la DG de Presupuestos, participan activamente en las diversas fases relacionadas con el proceso de evaluación.

Las actividades de evaluación de los servicios pueden ser sometidas a auditoría por la capacidad de auditoría interna y el servicio de auditoría interna.

En el futuro, la evaluación de requisitos mínimos de calidad utilizará el «marco de evaluación de la calidad» de la Comisión (3) recientemente desarrollado. Desde 2007, el control de calidad para la evaluación de impacto ex ante corre a cargo del «Comité de evaluación de impacto» de la Comisión.

| 56. | La comparación que figura en el anexo III cubre el período fiscalizado por el Tribunal. Por lo tanto, no tiene en cuenta mejoras significativas del VII PM, especialmente por lo que se refiere a una nueva estrategia de evaluación, a una lógica de intervención más explícita y a declaraciones claras de los resultados esperados en los programas de trabajo.
  El Tribunal cita ciertos Estados miembros en donde la responsabilidad de la evaluación y la financiación están separadas. Hay asimismo otros ejemplos (por ejemplo, el Reino Unido) en los que la evaluación forma parte de la gestión del programa (como es el caso en la Comisión). Sobre la cuestión clave de la independencia, la fiscalización del Tribunal ha mostrado que las partes interesadas externas están satisfechas con los resultados de la Comisión a este respecto (véase el apartado 58 y el gráfico 4 del documento del Tribunal). |
| --- | --- |

56.

La comparación que figura en el anexo III cubre el período fiscalizado por el Tribunal. Por lo tanto, no tiene en cuenta mejoras significativas del VII PM, especialmente por lo que se refiere a una nueva estrategia de evaluación, a una lógica de intervención más explícita y a declaraciones claras de los resultados esperados en los programas de trabajo.

El Tribunal cita ciertos Estados miembros en donde la responsabilidad de la evaluación y la financiación están separadas. Hay asimismo otros ejemplos (por ejemplo, el Reino Unido) en los que la evaluación forma parte de la gestión del programa (como es el caso en la Comisión). Sobre la cuestión clave de la independencia, la fiscalización del Tribunal ha mostrado que las partes interesadas externas están satisfechas con los resultados de la Comisión a este respecto (véase el apartado 58 y el gráfico 4 del documento del Tribunal).

| 59. | — | (primer guión) resulta difícil garantizar la participación adecuada de miembros de alto nivel en los grupos de evaluación convocados durante períodos prolongados, |
| --- | --- | --- |

59.

—

(primer guión) resulta difícil garantizar la participación adecuada de miembros de alto nivel en los grupos de evaluación convocados durante períodos prolongados,

| — | (segundo guión) el mandato de los grupos de expertos a nivel de los PM se establece por Decisión de la Comisión, tras una extensa consulta informal a las partes interesadas, incluido el dictamen formal de los comités de programa del VII PM compuestos por representantes de los Estados miembros y de los países asociados. Este también será el caso de la próxima evaluación ex post del VI PM en 2008. |
| --- | --- |

—

(segundo guión) el mandato de los grupos de expertos a nivel de los PM se establece por Decisión de la Comisión, tras una extensa consulta informal a las partes interesadas, incluido el dictamen formal de los comités de programa del VII PM compuestos por representantes de los Estados miembros y de los países asociados. Este también será el caso de la próxima evaluación ex post del VI PM en 2008.

| 62. | El objetivo del 0,5 % del presupuesto de un programa que se dedicará a la evaluación lo recomienda la Comisión como media. Los recursos realmente asignados dependen en gran parte de la naturaleza del programa. |
| --- | --- |

62.

El objetivo del 0,5 % del presupuesto de un programa que se dedicará a la evaluación lo recomienda la Comisión como media. Los recursos realmente asignados dependen en gran parte de la naturaleza del programa.

| 66. | Aunque la Comisión no considera necesario crear una oficina de evaluación conjunta, acepta considerar otras opciones para mejorar la coordinación.
  Vincular la evaluación y la toma de decisiones de gestión puede lograrse mejor a través de las funciones de evaluación en cada DG y dando un nuevo ímpetu a la red de evaluación IDT interna existente de la Comisión, con el apoyo de los servicios centrales. Esto también es acorde con los procesos legislativos y presupuestarios, de acuerdo con el Reglamento financiero, la Comunicación de la Comisión sobre Evaluación de 2007 y los procedimientos en el contexto de la gestión por actividades. |
| --- | --- |

66.

Aunque la Comisión no considera necesario crear una oficina de evaluación conjunta, acepta considerar otras opciones para mejorar la coordinación.

Vincular la evaluación y la toma de decisiones de gestión puede lograrse mejor a través de las funciones de evaluación en cada DG y dando un nuevo ímpetu a la red de evaluación IDT interna existente de la Comisión, con el apoyo de los servicios centrales. Esto también es acorde con los procesos legislativos y presupuestarios, de acuerdo con el Reglamento financiero, la Comunicación de la Comisión sobre Evaluación de 2007 y los procedimientos en el contexto de la gestión por actividades.

| 67. | La Comisión acepta que los grupos de expertos pueden desempeñar un papel importante en la evaluación. Aunque también está de acuerdo en que los grupos deben ser convocados lo antes posible para apoyar una evaluación específica, no considera apropiado establecer grupos de expertos permanentes para todo el período de programación.
  Es más probable, sin embargo, que un grupo de expertos específico, convocado para unos fines concretos, aporte beneficios en términos de claridad y atención. |
| --- | --- |

67.

La Comisión acepta que los grupos de expertos pueden desempeñar un papel importante en la evaluación. Aunque también está de acuerdo en que los grupos deben ser convocados lo antes posible para apoyar una evaluación específica, no considera apropiado establecer grupos de expertos permanentes para todo el período de programación.

Es más probable, sin embargo, que un grupo de expertos específico, convocado para unos fines concretos, aporte beneficios en términos de claridad y atención.

| 68. | La Comisión evaluará cuidadosamente los recursos necesarios para llevar a cabo la evaluación de los PM en los próximos años. |
| --- | --- |

68.

La Comisión evaluará cuidadosamente los recursos necesarios para llevar a cabo la evaluación de los PM en los próximos años.

| 70 y 71. | La orientación metodológica para la evaluación, incluidas las herramientas y el glosario de términos disponibles, la proporciona la guía de la DG de Presupuestos (4) que están actualizando los servicios, incluidas las DG de Investigación.
  Además, la DG de Empresa desarrolló en 2002 unas orientaciones específicas de evaluación que abarcaban todas las actividades de las que es responsable esta DG, incluidos los PM.
  Se considerarán otras iniciativas de apoyo para la relanzada red de evaluación IDT (integrada por expertos de los Estados miembros y de los países asociados) y la red de evaluación IDT interna de la Comisión. La Comisión también continuará apoyando estudios y talleres independientes de metodología de evaluación. |
| --- | --- |

70 y 71.

La orientación metodológica para la evaluación, incluidas las herramientas y el glosario de términos disponibles, la proporciona la guía de la DG de Presupuestos (4) que están actualizando los servicios, incluidas las DG de Investigación.

Además, la DG de Empresa desarrolló en 2002 unas orientaciones específicas de evaluación que abarcaban todas las actividades de las que es responsable esta DG, incluidos los PM.

Se considerarán otras iniciativas de apoyo para la relanzada red de evaluación IDT (integrada por expertos de los Estados miembros y de los países asociados) y la red de evaluación IDT interna de la Comisión. La Comisión también continuará apoyando estudios y talleres independientes de metodología de evaluación.

| 72. | La Comisión está de acuerdo en que el proceso para la recogida rutinaria de datos de los proyectos solo ha sido parcialmente efectivo. Los procedimientos de presentación de informes se revisaron en el VI PM y se mejorarán aún más para el VII PM (por ejemplo, se simplificará la presentación de informes periódica, se han suprimido los cuestionarios intermedios; la presentación de informes definitiva será más útil, especialmente por lo que se refiere a la recogida de datos sobre la ejecución y los resultados del proyecto). |
| --- | --- |

72.

La Comisión está de acuerdo en que el proceso para la recogida rutinaria de datos de los proyectos solo ha sido parcialmente efectivo. Los procedimientos de presentación de informes se revisaron en el VI PM y se mejorarán aún más para el VII PM (por ejemplo, se simplificará la presentación de informes periódica, se han suprimido los cuestionarios intermedios; la presentación de informes definitiva será más útil, especialmente por lo que se refiere a la recogida de datos sobre la ejecución y los resultados del proyecto).

| 74. | Las DG de Investigación están desarrollando un nuevo sistema informático para el VII PM con el apoyo de la DG de Informática. Este soporte informático reforzado debería en principio proporcionar una base más sólida para la evaluación y el seguimiento. |
| --- | --- |

74.

Las DG de Investigación están desarrollando un nuevo sistema informático para el VII PM con el apoyo de la DG de Informática. Este soporte informático reforzado debería en principio proporcionar una base más sólida para la evaluación y el seguimiento.

| 76 a 78. | La obtención de datos de evaluación fue solo parcialmente efectiva durante el período cubierto por la fiscalización. La Comisión está introduciendo mejoras en el VII PM (véase la respuesta al apartado 72). |
| --- | --- |

76 a 78.

La obtención de datos de evaluación fue solo parcialmente efectiva durante el período cubierto por la fiscalización. La Comisión está introduciendo mejoras en el VII PM (véase la respuesta al apartado 72).

| 79. | La Comisión pretende fomentar los tipos de estudios cuantitativos propuestos por el Tribunal. |
| --- | --- |

79.

La Comisión pretende fomentar los tipos de estudios cuantitativos propuestos por el Tribunal.

| 81. | En opinión de la Comisión, se han realizado recientemente numerosas evaluaciones metodológicamente más interesantes (véase el apartado 84) y hay que distinguir las evaluaciones a gran escala de ejercicios más rutinarios. |
| --- | --- |

81.

En opinión de la Comisión, se han realizado recientemente numerosas evaluaciones metodológicamente más interesantes (véase el apartado 84) y hay que distinguir las evaluaciones a gran escala de ejercicios más rutinarios.

| 82. | La Comisión acepta que, en general, el trabajo de evaluación ha prestado mayor atención a los logros a más corto plazo y está de acuerdo en que hay margen para otros análisis por lo que se refiere a los resultados y al impacto. Este enfoque, sin embargo, requiere una perspectiva a más largo plazo y, por tanto, las evaluaciones de la Comisión son típicamente comparables a cualquier otro trabajo similar. |
| --- | --- |

82.

La Comisión acepta que, en general, el trabajo de evaluación ha prestado mayor atención a los logros a más corto plazo y está de acuerdo en que hay margen para otros análisis por lo que se refiere a los resultados y al impacto. Este enfoque, sin embargo, requiere una perspectiva a más largo plazo y, por tanto, las evaluaciones de la Comisión son típicamente comparables a cualquier otro trabajo similar.

| 83. | La Comisión intenta respetar la independencia de los expertos que realizan la evaluación, especialmente en su elección de las metodologías adecuadas.
  Para la próxima evaluación ex post del VI PM en 2008 se propone llevar a cabo estudios sobre adicionalidad del comportamiento, análisis de redes y utilización de enfoques cientométricos. |
| --- | --- |

83.

La Comisión intenta respetar la independencia de los expertos que realizan la evaluación, especialmente en su elección de las metodologías adecuadas.

Para la próxima evaluación ex post del VI PM en 2008 se propone llevar a cabo estudios sobre adicionalidad del comportamiento, análisis de redes y utilización de enfoques cientométricos.

| 84. | Un experto independiente realizó un meta-análisis de estudios de evaluación previos para la evaluación quinquenal de 2004 (1999-2003) (5).






  — | (segundo guión) además de los estudios mencionados por el Tribunal, en 2007 se iniciaron otros estudios importantes (6). |
| --- | --- | --- |

84.

Un experto independiente realizó un meta-análisis de estudios de evaluación previos para la evaluación quinquenal de 2004 (1999-2003) (5).

—

(segundo guión) además de los estudios mencionados por el Tribunal, en 2007 se iniciaron otros estudios importantes (6).

| 85. | La Comisión acepta que sigue siendo necesario desarrollar nuevos enfoques metodológicos para abordar la naturaleza cambiante de los PM. La Comisión apoya, y seguirá apoyando, ese desarrollo metodológico. |
| --- | --- |

85.

La Comisión acepta que sigue siendo necesario desarrollar nuevos enfoques metodológicos para abordar la naturaleza cambiante de los PM. La Comisión apoya, y seguirá apoyando, ese desarrollo metodológico.

| 86. | Puesto que las cuestiones enumeradas en el mandato para la evaluación quinquenal de 2004 (1999-2003) eran meramente orientativas, el grupo de expertos era libre de elegir las áreas en las cuales centrarse y determinar sus modalidades de trabajo. Los miembros del grupo de expertos han hecho observaciones respecto a la excelencia del ejercicio (7). |
| --- | --- |

86.

Puesto que las cuestiones enumeradas en el mandato para la evaluación quinquenal de 2004 (1999-2003) eran meramente orientativas, el grupo de expertos era libre de elegir las áreas en las cuales centrarse y determinar sus modalidades de trabajo. Los miembros del grupo de expertos han hecho observaciones respecto a la excelencia del ejercicio (7).

| 87. | La naturaleza misma de un programa de investigación, caracterizado por la incertidumbre, significa que existen límites en las posibilidades de especificar objetivos cuantificables. |
| --- | --- |

87.

La naturaleza misma de un programa de investigación, caracterizado por la incertidumbre, significa que existen límites en las posibilidades de especificar objetivos cuantificables.

| 90. | En 2007, la Comisión ha relanzado su red europea de evaluación IDT, compuesta por funcionarios y expertos en evaluación de los Estados miembros, que la Comisión tiene previsto utilizar para fomentar mayor coherencia en las actividades de evaluación de la investigación en la UE, especialmente por lo que se refiere a los estudios de impacto a nivel de los Estados miembros. |
| --- | --- |

90.

En 2007, la Comisión ha relanzado su red europea de evaluación IDT, compuesta por funcionarios y expertos en evaluación de los Estados miembros, que la Comisión tiene previsto utilizar para fomentar mayor coherencia en las actividades de evaluación de la investigación en la UE, especialmente por lo que se refiere a los estudios de impacto a nivel de los Estados miembros.

| 91. | La Comisión considerará la posibilidad de un nuevo manual sobre evaluación de los PM, teniendo en cuenta ejemplos recientemente presentados (8). |
| --- | --- |

91.

La Comisión considerará la posibilidad de un nuevo manual sobre evaluación de los PM, teniendo en cuenta ejemplos recientemente presentados (8).

| 92. | Los procedimientos de presentación de informes se revisaron en el VI PM y se mejorarán aún más para el VII PM (véase la respuesta al apartado 72). |
| --- | --- |

92.

Los procedimientos de presentación de informes se revisaron en el VI PM y se mejorarán aún más para el VII PM (véase la respuesta al apartado 72).

| 93. | Al nivel de los PM la Comisión está desarrollando un sistema de seguimiento para el VII PM con el fin de proporcionar un uso más coherente y sistemático de los indicadores de rendimiento (véase la respuesta al apartado 30).
  Las DG de Investigación están desarrollando un nuevo sistema informático para el VII PM con el apoyo de la DG de Informática. Este soporte informático reforzado debería en principio proporcionar una base más sólida para la evaluación y el seguimiento. |
| --- | --- |

93.

Al nivel de los PM la Comisión está desarrollando un sistema de seguimiento para el VII PM con el fin de proporcionar un uso más coherente y sistemático de los indicadores de rendimiento (véase la respuesta al apartado 30).

Las DG de Investigación están desarrollando un nuevo sistema informático para el VII PM con el apoyo de la DG de Informática. Este soporte informático reforzado debería en principio proporcionar una base más sólida para la evaluación y el seguimiento.

| 94. | La Comisión comparte la preocupación del Tribunal por lo que se refiere al problema de la carga de la presentación de informes y lo ha tomado específicamente en consideración al especificar los requisitos de presentación de informes para el VII PM (véase la respuesta al apartado 72). |
| --- | --- |

94.

La Comisión comparte la preocupación del Tribunal por lo que se refiere al problema de la carga de la presentación de informes y lo ha tomado específicamente en consideración al especificar los requisitos de presentación de informes para el VII PM (véase la respuesta al apartado 72).

| 95. | La Comisión está interesada actualmente en aprovechar fuentes de datos existentes y nuevas para la evaluación y el seguimiento (véase la respuesta al apartado 72). |
| --- | --- |

95.

La Comisión está interesada actualmente en aprovechar fuentes de datos existentes y nuevas para la evaluación y el seguimiento (véase la respuesta al apartado 72).

| 96. | Dentro del VII PM, hay una línea de acción específica en el tema 8 (Ciencias Sociales y Humanidades) para aplicar enfoques innovadores a la evaluación y el seguimiento. |
| --- | --- |

96.

Dentro del VII PM, hay una línea de acción específica en el tema 8 (Ciencias Sociales y Humanidades) para aplicar enfoques innovadores a la evaluación y el seguimiento.

| 97. | En 2007, la Comisión ha relanzado su red europea de evaluación IDT (véanse las respuestas a los apartados 70-71 y 90), que tiene previsto utilizar para fomentar mayor coherencia en las actividades de evaluación de la investigación en la UE, especialmente los estudios de impacto de los Estados miembros.
  La Comisión también tiene intención de mantener su posición en la vanguardia del apoyo al establecimiento de redes internacionales y al intercambio de prácticas de evaluación de investigación a través de talleres y de otras actividades. |
| --- | --- |

97.

En 2007, la Comisión ha relanzado su red europea de evaluación IDT (véanse las respuestas a los apartados 70-71 y 90), que tiene previsto utilizar para fomentar mayor coherencia en las actividades de evaluación de la investigación en la UE, especialmente los estudios de impacto de los Estados miembros.

La Comisión también tiene intención de mantener su posición en la vanguardia del apoyo al establecimiento de redes internacionales y al intercambio de prácticas de evaluación de investigación a través de talleres y de otras actividades.

| 99. | El calendario de evaluación viene determinado por los requisitos especificados en los actos de base adoptados por el Parlamento Europeo y el Consejo. La Comisión acepta que se sabe menos sobre el impacto a largo plazo y está de acuerdo en que hay margen para trabajar en este campo. |
| --- | --- |

99.

El calendario de evaluación viene determinado por los requisitos especificados en los actos de base adoptados por el Parlamento Europeo y el Consejo. La Comisión acepta que se sabe menos sobre el impacto a largo plazo y está de acuerdo en que hay margen para trabajar en este campo.

| 100. | La Comisión está de acuerdo en que las evaluaciones quinquenales han tendido a centrarse más en la evaluación a más corto plazo que a más largo plazo. Esto se explica por una serie de factores, entre los que se cuentan el interés de las partes interesadas externas, tales como el Parlamento Europeo y el Consejo, en observaciones rápidas sobre el rendimiento de los PM, el desafío que supone asignar un impacto a la investigación a más largo plazo y el objetivo elegido por los grupos de expertos independientes que han llevado a cabo los ejercicios. No obstante, la Comisión acepta que debe prestarse más atención a la evaluación de efectos a más largo plazo. |
| --- | --- |

100.

La Comisión está de acuerdo en que las evaluaciones quinquenales han tendido a centrarse más en la evaluación a más corto plazo que a más largo plazo. Esto se explica por una serie de factores, entre los que se cuentan el interés de las partes interesadas externas, tales como el Parlamento Europeo y el Consejo, en observaciones rápidas sobre el rendimiento de los PM, el desafío que supone asignar un impacto a la investigación a más largo plazo y el objetivo elegido por los grupos de expertos independientes que han llevado a cabo los ejercicios. No obstante, la Comisión acepta que debe prestarse más atención a la evaluación de efectos a más largo plazo.

| 108. | La Comisión está programando las actividades principales de evaluación del VII PM y considerará cuidadosamente la recomendación del Tribunal. Acepta que se sabe menos sobre el impacto a largo plazo y está de acuerdo en que hay margen para trabajar en este campo. |
| --- | --- |

108.

La Comisión está programando las actividades principales de evaluación del VII PM y considerará cuidadosamente la recomendación del Tribunal. Acepta que se sabe menos sobre el impacto a largo plazo y está de acuerdo en que hay margen para trabajar en este campo.

| 109. | Como señalaba el Tribunal en el apartado 107, la Comisión facilita un resumen de todas las conclusiones y medidas tomadas para las evaluaciones de investigación en su Estudio Anual de Evaluación. La Comisión está comprometida con la total transparencia de su trabajo de evaluación y adoptará la recomendación del Tribunal para examinar los medios de comunicar y divulgar los resultados. |
| --- | --- |

109.

Como señalaba el Tribunal en el apartado 107, la Comisión facilita un resumen de todas las conclusiones y medidas tomadas para las evaluaciones de investigación en su Estudio Anual de Evaluación. La Comisión está comprometida con la total transparencia de su trabajo de evaluación y adoptará la recomendación del Tribunal para examinar los medios de comunicar y divulgar los resultados.

| 110 y 111. | La Comisión está de acuerdo con el Tribunal en que la evaluación de la investigación, especialmente para un programa tan exhaustivo como el programa marco, es muy difícil.
  La Comisión señala que se han llevado a cabo mejoras muy significativas del sistema durante los últimos 25 años y que el sistema en conjunto ha sido efectivo para responsables políticos, administradores de investigación y otras partes interesadas. |
| --- | --- |

110 y 111.

La Comisión está de acuerdo con el Tribunal en que la evaluación de la investigación, especialmente para un programa tan exhaustivo como el programa marco, es muy difícil.

La Comisión señala que se han llevado a cabo mejoras muy significativas del sistema durante los últimos 25 años y que el sistema en conjunto ha sido efectivo para responsables políticos, administradores de investigación y otras partes interesadas.

| 112. | La Comisión acoge con satisfacción la observación del Tribunal de que las DG encargadas de la ejecución de los PM han cumplido con los requisitos de la Comisión, incluidos los especificados en la Comunicaciones sobre Evaluación de 2000 y 2002.
  Se han introducido cambios significativos en la evaluación de los PM, incluida una reestructuración importante para el VII PM, establecida en la estrategia facilitada por la Evaluación de Impacto [SEC(2005) 430]. |
| --- | --- |

112.

La Comisión acoge con satisfacción la observación del Tribunal de que las DG encargadas de la ejecución de los PM han cumplido con los requisitos de la Comisión, incluidos los especificados en la Comunicaciones sobre Evaluación de 2000 y 2002.

Se han introducido cambios significativos en la evaluación de los PM, incluida una reestructuración importante para el VII PM, establecida en la estrategia facilitada por la Evaluación de Impacto [SEC(2005) 430].

| 113. | Con respecto a la importancia y utilidad de las evaluaciones, la Comisión puede señalar los comentarios generalmente positivos que ha recibido, especialmente en relación con ejercicios clave recientes tales como la Evaluación Quinquenal de 2004 (1999-2003). Hubo una amplia difusión de los resultados de la misma, incluidas presentaciones a organismos clave tales como el Parlamento Europeo, el Consejo, CREST y el Comité del Programas Marco respectivo. Dado que era un requisito obligatorio que este ejercicio se realizara antes de la propuesta de la Comisión de un nuevo programa marco (en este caso, el VII PM), su aceptabilidad general venía dada por la eventual adopción del VII PM.
  Esto no significa que no puedan hacerse mejoras y la Comisión está plenamente de acuerdo con la necesidad de realizar cambios cuidadosamente considerados, a partir de los elementos del enfoque actual que funcionan correctamente. |
| --- | --- |

113.

Con respecto a la importancia y utilidad de las evaluaciones, la Comisión puede señalar los comentarios generalmente positivos que ha recibido, especialmente en relación con ejercicios clave recientes tales como la Evaluación Quinquenal de 2004 (1999-2003). Hubo una amplia difusión de los resultados de la misma, incluidas presentaciones a organismos clave tales como el Parlamento Europeo, el Consejo, CREST y el Comité del Programas Marco respectivo. Dado que era un requisito obligatorio que este ejercicio se realizara antes de la propuesta de la Comisión de un nuevo programa marco (en este caso, el VII PM), su aceptabilidad general venía dada por la eventual adopción del VII PM.

Esto no significa que no puedan hacerse mejoras y la Comisión está plenamente de acuerdo con la necesidad de realizar cambios cuidadosamente considerados, a partir de los elementos del enfoque actual que funcionan correctamente.

| 114. | La Comisión acoge con satisfacción el reconocimiento del Tribunal de la importancia de la evaluación y el seguimiento y, a partir de las mejoras significativas llevadas ya a cabo, seguirá actualizando sus prácticas actuales habida cuenta de las nuevas realidades políticas y prácticas. |
| --- | --- |

114.

La Comisión acoge con satisfacción el reconocimiento del Tribunal de la importancia de la evaluación y el seguimiento y, a partir de las mejoras significativas llevadas ya a cabo, seguirá actualizando sus prácticas actuales habida cuenta de las nuevas realidades políticas y prácticas.

| 115. | La Comisión ya está comprometida en asegurar mayor claridad en la lógica de intervención de los programas, partiendo de los progresos que representa la legislación y la evaluación de impacto del VII PM y considerará la recomendación del Tribunal para futuras propuestas legislativas. |
| --- | --- |

115.

La Comisión ya está comprometida en asegurar mayor claridad en la lógica de intervención de los programas, partiendo de los progresos que representa la legislación y la evaluación de impacto del VII PM y considerará la recomendación del Tribunal para futuras propuestas legislativas.

| 116. | A partir de las significativas mejoras llevadas a cabo ya en la evaluación del PM, la Comisión acepta que hay margen de mejora, incluida una coordinación más estrecha a nivel operativo entre los servicios en cuestión. La Comisión proseguirá su esfuerzo para apoyar la evolución en la metodología de evaluación. |
| --- | --- |

116.

A partir de las significativas mejoras llevadas a cabo ya en la evaluación del PM, la Comisión acepta que hay margen de mejora, incluida una coordinación más estrecha a nivel operativo entre los servicios en cuestión. La Comisión proseguirá su esfuerzo para apoyar la evolución en la metodología de evaluación.

| 117. | Por lo que se refiere a las disposiciones organizativas, la Comisión considera que:






  — | (primer guión) los grupos de expertos deben ser convocados lo antes posible para apoyar una evaluación específica. Es más probable, sin embargo, que un grupo de expertos específicos, convocado para unos fines concretos, aporte beneficios en términos de claridad y atención, |
| --- | --- | --- |

117.

Por lo que se refiere a las disposiciones organizativas, la Comisión considera que:

—

(primer guión) los grupos de expertos deben ser convocados lo antes posible para apoyar una evaluación específica. Es más probable, sin embargo, que un grupo de expertos específicos, convocado para unos fines concretos, aporte beneficios en términos de claridad y atención,

| — | (segundo guión) debe estrecharse la coordinación entre las DG responsables de la ejecución de los PM. Además de la nueva estrategia de evaluación del VII PM, esto se logrará mejor con la utilización de estructuras específicas de coordinación para complementar la red de evaluación IDT interna de la Comisión que con la creación de una oficina de evaluación conjunta. |
| --- | --- |

—

(segundo guión) debe estrecharse la coordinación entre las DG responsables de la ejecución de los PM. Además de la nueva estrategia de evaluación del VII PM, esto se logrará mejor con la utilización de estructuras específicas de coordinación para complementar la red de evaluación IDT interna de la Comisión que con la creación de una oficina de evaluación conjunta.

---

(1)  Comunicación de la Comisión al Consejo Europeo de Primavera — Ejecución de la estrategia de Lisboa renovada para el crecimiento y el empleo [Com(2006) 816].

(2)  Por ejemplo, la propuesta de la Comisión para el VII PM se desarrolló sobre la base de una evaluación de impacto ex ante detallada, que incluía la modelización econométrica de los impactos potenciales de la actividad de investigación en problemas tales como el crecimiento económico y la creación de empleo [véase Comisión Europea, Documento de trabajo de la Comisión, «Impact Assessment and ex ante Evaluation for the proposals for the Council and European Parliament decision on the 7th Framework Programme (EC and Euratom)», SEC (2005) 430]. Las decisiones del VII PM establecen una estructura clara que vincula objetivos, razonamiento y actividades. Además, las decisiones específicas del programa VII PM establecen objetivos, enfoque y actividades.

(3)  «Quality Assessment Framework», puede consultarse en http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4)  Comisión Europea, DG Presupuestos, «Evaluating EU Activities — A Practical Guide for the Commission services», julio de 2004, se encuentra en http://ec.europa.eu/budget/publications/other_en.htm.

(5)  E. Arnold, «What the Evaluation Record tells us about the Framework Programme Performance», 2004.

(6)  DG Investigación «Structuring Effects of Community Research — The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation»; DG de Sociedad de la Información y Medios de Comunicación «Effectiveness of IST-RTD Impacts on the EU Innovation System», 2007.

(7)  Véase C. Mandl, «Evaluating Evaluations or The Case for Action Research», Austrian Platform Newsletter, no 30, junio de 2007.

(8)  Véase, por ejemplo, Comisión Europea, Centro Común de Investigación, «Assessing the Socio-Economic Impact of RTD-Policies» (EPUB), 2002, y Universidad de Manchester, «Assessing the Socio-Economic Impacts of the Framework Programme» (ASIF), 2002, ambos disponibles en http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Estos informes se han distribuido ampliamente y se pusieron a disposición de los contratistas y expertos que han realizado estudios de evaluación en nombre de la Comisión.

---