# Jornal Oficial C 26/2008

| | ISSN 1725-2482 |
| --- | --- |
| Jornal Oficial
  da União Europeia | C 26 |
| | |
| Edição em língua portuguesa | Comunicações e Informações | 51.o ano30 de Janeiro de 2008 |

ISSN 1725-2482

Jornal Oficial

da União Europeia

C 26

Edição em língua portuguesa

Comunicações e Informações

51.o ano30 de Janeiro de 2008

---

| Número de informação | Índice | Página |
| --- | --- | --- |
| | IV   Informações |
| | INFORMAÇÕES ORIUNDAS DAS INSTITUIÇÕES E DOS ÓRGÃOS DA UNIÃO EUROPEIA |
| | Tribunal de Contas |
| 2008/C 026/01 | Relatório especial n.o 9/2007 relativo à Avaliação dos programas-quadro de investigação e desenvolvimento tecnológico (IDT) da UE — O método da Comissão pode ser melhorado?, acompanhado das respostas da Comissão | 1 |

Número de informação

Índice

Página

IV   Informações

INFORMAÇÕES ORIUNDAS DAS INSTITUIÇÕES E DOS ÓRGÃOS DA UNIÃO EUROPEIA

Tribunal de Contas

2008/C 026/01

Relatório especial n.o 9/2007 relativo à Avaliação dos programas-quadro de investigação e desenvolvimento tecnológico (IDT) da UE — O método da Comissão pode ser melhorado?, acompanhado das respostas da Comissão

o

1

| PT | |
| --- | --- |

PT

---

IV Informações

INFORMAÇÕES ORIUNDAS DAS INSTITUIÇÕES E DOS ÓRGÃOS DA UNIÃO EUROPEIA

Tribunal de Contas

| 30.1.2008 | PT | Jornal Oficial da União Europeia | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

PT

Jornal Oficial da União Europeia

C 26/1

---

RELATÓRIO ESPECIAL N.o 9/2007

relativo à «Avaliação dos programas-quadro de investigação e desenvolvimento tecnológico (IDT) da UE — O método da Comissão pode ser melhorado?», acompanhado das respostas da Comissão

(apresentado nos termos do n.o 4, segundo parágrafo, do artigo 248.o do Tratado CE)

(2008/C 26/01)

ÍNDICE

| I-V | SÍNTESE |
| --- | --- |

I-V

| 1-14 | INTRODUÇÃO |
| --- | --- |

1-14

| 1-7 | Papel da União Europeia no apoio às actividades de IDT |
| --- | --- |

1-7

| 8-14 | Avaliação e acompanhamento dos PQ |
| --- | --- |

8-14

| 15-18 | ÂMBITO E MÉTODO DE AUDITORIA |
| --- | --- |

15-18

| 19-109 | OBSERVAÇÕES DE AUDITORIA |
| --- | --- |

19-109

| 19-37 | Lógica de intervenção, definição dos objectivos e indicadores de desempenho |
| --- | --- |

19-37

| 38-49 | Estratégia de avaliação |
| --- | --- |

38-49

| 50-68 | Organizar a avaliação dos PQ |
| --- | --- |

50-68

| 69-97 | Metodologias e técnicas de avaliação |
| --- | --- |

69-97

| 98-109 | Difusão e utilização das constatações resultantes da avaliação |
| --- | --- |

98-109

| 110-118 | CONCLUSÃO GERAL |
| --- | --- |

110-118

Anexo I: Determinação do impacto e dos resultados da intervenção pública no domínio da IDT

Anexo II: Disposições aplicáveis ao acompanhamento e à avaliação constantes das decisões legislativas referentes aos 4.o, 5.o, 6.o e 7.o PQ

Anexo III: Principais diferenças entre a avaliação ex post dos programas de investigação na UE (4.o, 5.o e 6.o PQ), nos Estados Unidos e no Canadá

Anexo IV: Possível estrutura do painel de peritos para o 7.o PQ

Respostas da Comissão

SÍNTESE

| I | Os programas-quadro (PQ) comunitários de IDT constituem a maior fonte pública de financiamento em matéria de investigação na União Europeia. A Comissão é responsável pela gestão dos PQ e pela avaliação dos seus resultados. |
| --- | --- |

I

Os programas-quadro (PQ) comunitários de IDT constituem a maior fonte pública de financiamento em matéria de investigação na União Europeia. A Comissão é responsável pela gestão dos PQ e pela avaliação dos seus resultados.

| II | A auditoria incidiu nas disposições em matéria de acompanhamento e de avaliação em vigor desde 1995 relativamente aos três últimos períodos de programação (4.o, 5.o e 6.o PQ) e apresenta perspectivas para o 7.o PQ (2007-2013). Foi realizada em conjunto com o conselho de revisores de contas da EFTA e contou com a assistência de peritos externos. |
| --- | --- |

II

A auditoria incidiu nas disposições em matéria de acompanhamento e de avaliação em vigor desde 1995 relativamente aos três últimos períodos de programação (4.o, 5.o e 6.o PQ) e apresenta perspectivas para o 7.o PQ (2007-2013). Foi realizada em conjunto com o conselho de revisores de contas da EFTA e contou com a assistência de peritos externos.

| III | A auditoria tinha por objectivo determinar se o método da Comissão para avaliar os resultados dos PQ era adequado. Neste contexto, o Tribunal verificou se a Comissão cumpria os requisitos legais em matéria de avaliação e se o seu sistema de avaliação e acompanhamento respondia às expectativas dos intervenientes. O Tribunal examinou especialmente se:






  i) | existia uma lógica de intervenção subjacente aos PQ e aos seus programas constituintes que pudesse funcionar como uma base sólida para avaliação e acompanhamento; |
| --- | --- | --- |

III

A auditoria tinha por objectivo determinar se o método da Comissão para avaliar os resultados dos PQ era adequado. Neste contexto, o Tribunal verificou se a Comissão cumpria os requisitos legais em matéria de avaliação e se o seu sistema de avaliação e acompanhamento respondia às expectativas dos intervenientes. O Tribunal examinou especialmente se:

i)

existia uma lógica de intervenção subjacente aos PQ e aos seus programas constituintes que pudesse funcionar como uma base sólida para avaliação e acompanhamento;

| ii) | a Comissão tinha definido uma estratégia de avaliação dos PQ; |
| --- | --- |

ii)

a Comissão tinha definido uma estratégia de avaliação dos PQ;

| iii) | a estrutura organizativa do sistema de avaliação dos PQ utilizado pela Comissão garantia que a avaliação era correctamente coordenada, dispunha dos recursos adequados e era vista pelos intervenientes como suficientemente independente; |
| --- | --- |

iii)

a estrutura organizativa do sistema de avaliação dos PQ utilizado pela Comissão garantia que a avaliação era correctamente coordenada, dispunha dos recursos adequados e era vista pelos intervenientes como suficientemente independente;

| iv) | as metodologias utilizadas para a avaliação eram satisfatórias; |
| --- | --- |

iv)

as metodologias utilizadas para a avaliação eram satisfatórias;

| v) | as actividades de avaliação e acompanhamento forneciam informações e uma análise que permitissem melhorar os programas em curso e preparar futuros PQ. |
| --- | --- |

v)

as actividades de avaliação e acompanhamento forneciam informações e uma análise que permitissem melhorar os programas em curso e preparar futuros PQ.

| IV | As constatações e conclusões do Tribunal foram as seguintes:






  i) | a inexistência de uma lógica explícita de intervenção, objectivos do programa mal definidos e uma fraca apreciação do desempenho afectaram a eficácia do acompanhamento e da avaliação; |
| --- | --- | --- |

IV

As constatações e conclusões do Tribunal foram as seguintes:

i)

a inexistência de uma lógica explícita de intervenção, objectivos do programa mal definidos e uma fraca apreciação do desempenho afectaram a eficácia do acompanhamento e da avaliação;

| ii) | a inexistência de uma estratégia de avaliação abrangente, acordada entre as «Direcções-Gerais de investigação» responsáveis pela execução dos PQ, deu origem à adopção de métodos incoerentes entre os diferentes serviços da Comissão. Em especial, este aspecto é ilustrado por uma subavaliação de partes significativas dos PQ; |
| --- | --- |

ii)

a inexistência de uma estratégia de avaliação abrangente, acordada entre as «Direcções-Gerais de investigação» responsáveis pela execução dos PQ, deu origem à adopção de métodos incoerentes entre os diferentes serviços da Comissão. Em especial, este aspecto é ilustrado por uma subavaliação de partes significativas dos PQ;

| iii) | a avaliação dos PQ foi descentralizada, os mecanismos de coordenação existentes nas Direcções-Gerais responsáveis pela execução dos PQ não eram eficazes e os serviços centrais da Comissão não desempenhavam funções de controlo da aplicação das normas. No entanto, em termos gerais, as «Direcções-Gerais de investigação» cumpriram os requisitos formais da Comissão relativos à avaliação. O recurso a painéis constituídos por peritos externos de alto nível nomeados pela Comissão para os principais exercícios de avaliação está bem adaptado ao contexto comunitário. No entanto, estes painéis temporários não foram envolvidos no processo suficientemente cedo para poderem influenciar a obtenção de provas e apenas tiveram possibilidades limitadas de acompanhar as questões pertinentes ao longo do tempo. Utilizando apenas um painel para o PQ global (além de um painel para um programa específico), não se prestou toda a atenção necessária às questões específicas relacionadas com os diferentes domínios científicos dentro dos PQ; |
| --- | --- |

iii)

a avaliação dos PQ foi descentralizada, os mecanismos de coordenação existentes nas Direcções-Gerais responsáveis pela execução dos PQ não eram eficazes e os serviços centrais da Comissão não desempenhavam funções de controlo da aplicação das normas. No entanto, em termos gerais, as «Direcções-Gerais de investigação» cumpriram os requisitos formais da Comissão relativos à avaliação. O recurso a painéis constituídos por peritos externos de alto nível nomeados pela Comissão para os principais exercícios de avaliação está bem adaptado ao contexto comunitário. No entanto, estes painéis temporários não foram envolvidos no processo suficientemente cedo para poderem influenciar a obtenção de provas e apenas tiveram possibilidades limitadas de acompanhar as questões pertinentes ao longo do tempo. Utilizando apenas um painel para o PQ global (além de um painel para um programa específico), não se prestou toda a atenção necessária às questões específicas relacionadas com os diferentes domínios científicos dentro dos PQ;

| iv) | as orientações metodológicas fornecidas eram inadequadas, os avaliadores encontraram dificuldades na recolha de dados pertinentes e não existiam estudos de avaliação que abordassem os efeitos e impactos a longo prazo dos PQ, ao contrário das questões a curto prazo relativas à execução dos programas; |
| --- | --- |

iv)

as orientações metodológicas fornecidas eram inadequadas, os avaliadores encontraram dificuldades na recolha de dados pertinentes e não existiam estudos de avaliação que abordassem os efeitos e impactos a longo prazo dos PQ, ao contrário das questões a curto prazo relativas à execução dos programas;

| v) | em resultado do exposto anteriormente, e porque o calendário das avaliações era frequentemente prematuro para abordar as questões mais relevantes, o sistema utilizado pela Comissão para avaliar os PQ tinha uma utilidade limitada para os decisores políticos, para os intervenientes ou até para a própria Comissão. Em última análise, pouco se sabe sobre a realização dos objectivos do programa e os resultados dos PQ. |
| --- | --- |

v)

em resultado do exposto anteriormente, e porque o calendário das avaliações era frequentemente prematuro para abordar as questões mais relevantes, o sistema utilizado pela Comissão para avaliar os PQ tinha uma utilidade limitada para os decisores políticos, para os intervenientes ou até para a própria Comissão. Em última análise, pouco se sabe sobre a realização dos objectivos do programa e os resultados dos PQ.

| V | O Tribunal recomenda:






  i) | deverá tornar-se explícita a lógica de intervenção na legislação futura. Deverão ser explicados os pressupostos subjacentes, clarificada a ligação entre objectivos científicos e socioeconómicos e definidos indicadores de desempenho adequados; |
| --- | --- | --- |

V

O Tribunal recomenda:

i)

deverá tornar-se explícita a lógica de intervenção na legislação futura. Deverão ser explicados os pressupostos subjacentes, clarificada a ligação entre objectivos científicos e socioeconómicos e definidos indicadores de desempenho adequados;

| ii) | as Direcções-Gerais responsáveis pela execução dos PQ deverão desenvolver (e chegar a acordo sobre) uma estratégia de avaliação abrangente. Em especial, esta deverá incluir um método coerente relativamente ao nível mínimo em que deve ocorrer uma avaliação pormenorizada, para ter em conta as especificidades de cada domínio científico; |
| --- | --- |

ii)

as Direcções-Gerais responsáveis pela execução dos PQ deverão desenvolver (e chegar a acordo sobre) uma estratégia de avaliação abrangente. Em especial, esta deverá incluir um método coerente relativamente ao nível mínimo em que deve ocorrer uma avaliação pormenorizada, para ter em conta as especificidades de cada domínio científico;

| iii) | deverá ponderar-se a criação de um serviço comum de avaliação para coordenar as actividades de avaliação das «Direcções-Gerais de investigação» relativamente à totalidade do PQ, bem como de um sistema de painéis (e subpainéis) constituídos por peritos externos. Estes painéis deverão ser criados suficientemente cedo para fornecerem uma assistência eficaz à Comissão e continuarem a fazê-lo ao longo do período de programação e para além deste; |
| --- | --- |

iii)

deverá ponderar-se a criação de um serviço comum de avaliação para coordenar as actividades de avaliação das «Direcções-Gerais de investigação» relativamente à totalidade do PQ, bem como de um sistema de painéis (e subpainéis) constituídos por peritos externos. Estes painéis deverão ser criados suficientemente cedo para fornecerem uma assistência eficaz à Comissão e continuarem a fazê-lo ao longo do período de programação e para além deste;

| iv) | deverão analisar-se devidamente as necessidades em termos de dados para a avaliação e o acompanhamento e utilizar-se de forma mais intensiva outras fontes existentes de dados. A Comissão deverá igualmente racionalizar os requisitos em matéria de comunicação impostos aos participantes. Por fim, deverá elaborar um manual da avaliação abrangente para os PQ e desenvolver uma maior gama de metodologias e técnicas a utilizar nas avaliações neste domínio; |
| --- | --- |

iv)

deverão analisar-se devidamente as necessidades em termos de dados para a avaliação e o acompanhamento e utilizar-se de forma mais intensiva outras fontes existentes de dados. A Comissão deverá igualmente racionalizar os requisitos em matéria de comunicação impostos aos participantes. Por fim, deverá elaborar um manual da avaliação abrangente para os PQ e desenvolver uma maior gama de metodologias e técnicas a utilizar nas avaliações neste domínio;

| v) | a Comissão deverá definir o tipo e o âmbito da avaliação que se pode esperar razoavelmente para as datas definidas na legislação relativa ao 7.o PQ e clarificar de que forma as avaliações poderão ser utilizadas para adaptar programas («learning programmes») e qual a sua possível contribuição para as decisões de política. |
| --- | --- |

v)

a Comissão deverá definir o tipo e o âmbito da avaliação que se pode esperar razoavelmente para as datas definidas na legislação relativa ao 7.o PQ e clarificar de que forma as avaliações poderão ser utilizadas para adaptar programas («learning programmes») e qual a sua possível contribuição para as decisões de política.

INTRODUÇÃO

Papel da União Europeia no apoio às actividades de IDT

| 1. | A Investigação e o desenvolvimento tecnológico (IDT) (1) são o principal motor do progresso e inovação científicos e tecnológicos e, assim, contribuem de forma importante para a melhoria dos padrões de vida. A intervenção pública no domínio de IDT justifica-se em geral como uma medida correctiva às chamadas «deficiências do mercado», com a ajuda pública a diminuir as incertezas e a proporcionar investimento nos casos em que a investigação é um bem público, ou em que existem externalidades significativas. |
| --- | --- |

1.

A Investigação e o desenvolvimento tecnológico (IDT) (1) são o principal motor do progresso e inovação científicos e tecnológicos e, assim, contribuem de forma importante para a melhoria dos padrões de vida. A intervenção pública no domínio de IDT justifica-se em geral como uma medida correctiva às chamadas «deficiências do mercado», com a ajuda pública a diminuir as incertezas e a proporcionar investimento nos casos em que a investigação é um bem público, ou em que existem externalidades significativas.

| 2. | O artigo 163.o do Tratado CE define o papel da Comunidade no apoio à IDT, especificando que «a Comunidade tem por objectivo reforçar as bases científicas e tecnológicas da indústria comunitária e fomentar o desenvolvimento da sua competitividade internacional, bem como promover as acções de investigação consideradas necessárias [...]». Os artigos 164.o a 173.o determinam as actividades a realizar neste aspecto e o âmbito e execução dos programas-quadro (PQ) plurianuais de IDT. A Comissão tem a responsabilidade de apresentar propostas para os PQ, enquanto as decisões relativas aos PQ e as regras de participação e divulgação são adoptadas por co-decisão do Parlamento Europeu e do Conselho, que adopta sozinho os programas específicos. Os PQ são executados em conjunto por seis Direcções-Gerais (DG), as chamadas «Direcções-Gerais de investigação» (2). |
| --- | --- |

2.

O artigo 163.o do Tratado CE define o papel da Comunidade no apoio à IDT, especificando que «a Comunidade tem por objectivo reforçar as bases científicas e tecnológicas da indústria comunitária e fomentar o desenvolvimento da sua competitividade internacional, bem como promover as acções de investigação consideradas necessárias [...]». Os artigos 164.o a 173.o determinam as actividades a realizar neste aspecto e o âmbito e execução dos programas-quadro (PQ) plurianuais de IDT. A Comissão tem a responsabilidade de apresentar propostas para os PQ, enquanto as decisões relativas aos PQ e as regras de participação e divulgação são adoptadas por co-decisão do Parlamento Europeu e do Conselho, que adopta sozinho os programas específicos. Os PQ são executados em conjunto por seis Direcções-Gerais (DG), as chamadas «Direcções-Gerais de investigação» (2).

| 3. | Dentro da grande variedade de políticas executadas na União Europeia para reforçar a inovação e a competitividade, os PQ constituem o instrumento financeiro mais importante para contribuir para a estratégia de Lisboa (3) e o objectivo de Barcelona (4) ao nível comunitário. |
| --- | --- |

3.

Dentro da grande variedade de políticas executadas na União Europeia para reforçar a inovação e a competitividade, os PQ constituem o instrumento financeiro mais importante para contribuir para a estratégia de Lisboa (3) e o objectivo de Barcelona (4) ao nível comunitário.

Image

| 4. | Através dos PQ, a Comunidade financia investigadores da União Europeia, de países associados e de organizações internacionais. Os seus orçamentos aumentaram de forma significativa ao longo dos anos, atingindo 7 217 milhões de euros por ano no âmbito do 7.o PQ, em comparação com 2 761 milhões de euros no âmbito do 4.o PQ (ver gráfico 1). Em termos de dotações orçamentais, representam o maior domínio de gestão directa centralizada dentro da Comissão (5). |
| --- | --- |

4.

Através dos PQ, a Comunidade financia investigadores da União Europeia, de países associados e de organizações internacionais. Os seus orçamentos aumentaram de forma significativa ao longo dos anos, atingindo 7 217 milhões de euros por ano no âmbito do 7.o PQ, em comparação com 2 761 milhões de euros no âmbito do 4.o PQ (ver gráfico 1). Em termos de dotações orçamentais, representam o maior domínio de gestão directa centralizada dentro da Comissão (5).

| 5. | Os PQ distinguem-se de muitos programas nacionais pois abrangem tanto a investigação fundamental como a aplicada, com a participação da indústria e de organizações de investigação públicas (6). São constituídos por programas (e subprogramas) específicos que tratam de domínios científicos abrangentes. Em geral, estes programas são constituídos por vários domínios que se concentram em áreas científicas mais específicas. Em seguida, são executados através de projectos (denominados «acções indirectas») no seguimento de convites à apresentação de propostas. Desta forma, são financiadas centenas de projectos por domínio. |
| --- | --- |

5.

Os PQ distinguem-se de muitos programas nacionais pois abrangem tanto a investigação fundamental como a aplicada, com a participação da indústria e de organizações de investigação públicas (6). São constituídos por programas (e subprogramas) específicos que tratam de domínios científicos abrangentes. Em geral, estes programas são constituídos por vários domínios que se concentram em áreas científicas mais específicas. Em seguida, são executados através de projectos (denominados «acções indirectas») no seguimento de convites à apresentação de propostas. Desta forma, são financiadas centenas de projectos por domínio.

| 6. | A quota global dos PQ no financiamento público total em matéria de IDT na União Europeia e nos seus Estados-Membros oscila entre 4 % e 5 %. Não obstante, o seu impacto no tipo de actividades de investigação realizadas na Europa é bastante mais elevado, pois as subvenções comunitárias geralmente representam apenas parte do financiamento total de um projecto. Além disso, ao candidatar-se ao financiamento, os investigadores têm de demonstrar que os seus projectos abordam os objectivos especificados nos convites à apresentação de propostas. Desta forma, os PQ definem incentivos para orientar as actividades de IDT para objectivos específicos da UE. |
| --- | --- |

6.

A quota global dos PQ no financiamento público total em matéria de IDT na União Europeia e nos seus Estados-Membros oscila entre 4 % e 5 %. Não obstante, o seu impacto no tipo de actividades de investigação realizadas na Europa é bastante mais elevado, pois as subvenções comunitárias geralmente representam apenas parte do financiamento total de um projecto. Além disso, ao candidatar-se ao financiamento, os investigadores têm de demonstrar que os seus projectos abordam os objectivos especificados nos convites à apresentação de propostas. Desta forma, os PQ definem incentivos para orientar as actividades de IDT para objectivos específicos da UE.

| 7. | Nos últimos anos, registaram-se alterações significativas nos PQ, devido a:






  — | novos desafios políticos (a estratégia de Lisboa e os objectivos de Barcelona, a criação de um «Espaço Europeu da Investigação» (EEI) e o recurso crescente ao método aberto de coordenação (7) na política de investigação e inovação); |
| --- | --- | --- |

7.

Nos últimos anos, registaram-se alterações significativas nos PQ, devido a:

—

novos desafios políticos (a estratégia de Lisboa e os objectivos de Barcelona, a criação de um «Espaço Europeu da Investigação» (EEI) e o recurso crescente ao método aberto de coordenação (7) na política de investigação e inovação);

| — | a alteração da orientação dos PQ, desde a simples resolução de problemas técnicos n.o 4.o PQ e abordagem de problemas sociais específicos n.o 5.o PQ, até ao incentivo à cooperação entre as organizações de investigação dentro do EEI e ao contributo para a criação de uma economia e sociedade baseadas no conhecimento nos 6.o PQ e 7.o PQ; |
| --- | --- |

—

a alteração da orientação dos PQ, desde a simples resolução de problemas técnicos n.o 4.o PQ e abordagem de problemas sociais específicos n.o 5.o PQ, até ao incentivo à cooperação entre as organizações de investigação dentro do EEI e ao contributo para a criação de uma economia e sociedade baseadas no conhecimento nos 6.o PQ e 7.o PQ;

| — | períodos de programação mais longos (anteriormente 4 anos, actualmente 7 anos n.o 7.o PQ, em conformidade com as perspectivas financeiras para 2007-2013); |
| --- | --- |

—

períodos de programação mais longos (anteriormente 4 anos, actualmente 7 anos n.o 7.o PQ, em conformidade com as perspectivas financeiras para 2007-2013);

| — | maior número de Estados-Membros e de países participantes; |
| --- | --- |

—

maior número de Estados-Membros e de países participantes;

| — | aumento do financiamento, em especial no âmbito das actuais perspectivas financeiras; |
| --- | --- |

—

aumento do financiamento, em especial no âmbito das actuais perspectivas financeiras;

| — | a criação do Conselho Europeu de Investigação (CEI) e a delegação das actividades de gestão dos programas nas agências executivas a partir do 7.o PQ; |
| --- | --- |

—

a criação do Conselho Europeu de Investigação (CEI) e a delegação das actividades de gestão dos programas nas agências executivas a partir do 7.o PQ;

| — | o aumento da utilização de instrumentos de financiamento em larga escala (por exemplo, as redes de excelência, os projectos integrados, os projectos executados no âmbito do artigo 169.o, as iniciativas tecnológicas conjuntas). |
| --- | --- |

—

o aumento da utilização de instrumentos de financiamento em larga escala (por exemplo, as redes de excelência, os projectos integrados, os projectos executados no âmbito do artigo 169.o, as iniciativas tecnológicas conjuntas).

Avaliação e acompanhamento dos PQ

| 8. | A Comissão é responsável pela execução dos programas e pela avaliação dos seus resultados (8). Na Comissão, a avaliação é confiada às Direcções-Gerais, enquanto os serviços centrais (em especial a DG Orçamento e o Secretariado-Geral) asseguram o apoio e a coordenação. |
| --- | --- |

8.

A Comissão é responsável pela execução dos programas e pela avaliação dos seus resultados (8). Na Comissão, a avaliação é confiada às Direcções-Gerais, enquanto os serviços centrais (em especial a DG Orçamento e o Secretariado-Geral) asseguram o apoio e a coordenação.

| 9. | As definições utilizadas no presente relatório são as da própria Comissão, a saber: por «avaliação» entende-se uma apreciação das intervenções em função dos seus resultados e impactos e das necessidades que procuram satisfazer (9); por «acompanhamento» entende-se o fornecimento de informações sobre a execução de programas e projectos em curso para dar resposta às necessidades de gestão (10). Esta é igualmente a actual distinção das duas actividades na legislação do 7.o PQ. |
| --- | --- |

9.

As definições utilizadas no presente relatório são as da própria Comissão, a saber: por «avaliação» entende-se uma apreciação das intervenções em função dos seus resultados e impactos e das necessidades que procuram satisfazer (9); por «acompanhamento» entende-se o fornecimento de informações sobre a execução de programas e projectos em curso para dar resposta às necessidades de gestão (10). Esta é igualmente a actual distinção das duas actividades na legislação do 7.o PQ.

| 10. | Doravante, utiliza-se a seguinte terminologia para descrever os resultados das actividades de IDT:






  — | «Realizações» são os conhecimentos, bens e serviços directamente produzidos em consequência da intervenção pública (publicações, documentos de conferências, patentes, licenças, protótipos, normas, formação de cientistas, etc.); |
| --- | --- | --- |

10.

Doravante, utiliza-se a seguinte terminologia para descrever os resultados das actividades de IDT:

—

«Realizações» são os conhecimentos, bens e serviços directamente produzidos em consequência da intervenção pública (publicações, documentos de conferências, patentes, licenças, protótipos, normas, formação de cientistas, etc.);

| — | «Efeitos» são os resultados posteriores ao processamento das realizações efectuado pelos utilizadores; |
| --- | --- |

—

«Efeitos» são os resultados posteriores ao processamento das realizações efectuado pelos utilizadores;

| — | «Impactos» são as alterações socioeconómicas e políticas a longo prazo a que a intervenção pública deu origem. |
| --- | --- |

—

«Impactos» são as alterações socioeconómicas e políticas a longo prazo a que a intervenção pública deu origem.

Caixa 1Exemplo do «Sistema Global de Comunicações Móveis» (GSM)Neste exemplo, as «realizações» do financiamento comunitário foram os resultados imediatos do projecto, como o desenvolvimento da norma GSM. O «efeito» foi a sua aceitação enquanto norma de telecomunicações digitais celulares na Europa e não só, o que contribuiu em grande medida para o desenvolvimento da indústria das telecomunicações. Por fim, os «impactos» foram as consequências económicas, sociais e políticas da utilização internacional desta tecnologia. Estas incluem a contribuição para a criação de empregos na indústria das telecomunicações e indústrias relacionadas e o crescimento da importância deste sector industrial para a economia europeia. Em última análise, o GSM proporcionou igualmente uma nova forma de comunicação entre as pessoas.

| 11. | No entanto, a avaliação desses resultados coloca várias dificuldades metodológicas (ver anexo I). As alterações socioeconómicas são complexas e, mais especificamente, a relação entre uma actividade de investigação e os efeitos e impactos observados é frequentemente difícil de estabelecer. Embora representem um desafio considerável, estas dificuldades metodológicas não excluem necessariamente uma avaliação eficaz. |
| --- | --- |

11.

No entanto, a avaliação desses resultados coloca várias dificuldades metodológicas (ver anexo I). As alterações socioeconómicas são complexas e, mais especificamente, a relação entre uma actividade de investigação e os efeitos e impactos observados é frequentemente difícil de estabelecer. Embora representem um desafio considerável, estas dificuldades metodológicas não excluem necessariamente uma avaliação eficaz.

| 12. | Desde os anos 1980, a Comissão tem em prática um sistema para acompanhar e avaliar os PQ (11). A partir do 4.o PQ, em meados dos anos 1990, o sistema de acompanhamento e avaliação passou a ser composto por várias actividades parcialmente relacionadas, incluindo:






  — | acompanhamento anual (principalmente da execução do programa), |
| --- | --- | --- |

12.

Desde os anos 1980, a Comissão tem em prática um sistema para acompanhar e avaliar os PQ (11). A partir do 4.o PQ, em meados dos anos 1990, o sistema de acompanhamento e avaliação passou a ser composto por várias actividades parcialmente relacionadas, incluindo:

—

acompanhamento anual (principalmente da execução do programa),

| — | avaliações quinquenais das actividades do PQ (e, a partir do 6.o PQ, outras avaliações de questões específicas). |
| --- | --- |

—

avaliações quinquenais das actividades do PQ (e, a partir do 6.o PQ, outras avaliações de questões específicas).

As duas actividades tiveram de ser realizadas recorrendo à assistência de peritos externos (ver gráfico 2 e anexo II).

Gráfico 2

Requisitos principais para o acompanhamento e a avaliação do 4.o ao 7.o PQ

| 4.o PQ (1995-1998) | 5.o PQ (1999-2002) | 6.o PQ (2003-2006) | 7.o PQ (2007-2013) |
| --- | --- | --- | --- |
| dois exercícios de avaliação (intercalar e final), ambos relativos aos 20 subprogramas e ao PQ; a avaliação final sobrepõe-se à intercalar do 5.o PQ | dois exercícios de avaliação simultâneos (intercalares), ambos relativos aos 7 programas específios e ao PQ | um exercício de avaliação relativo ao PQ e aos 3 programas específicos (intercalar), mas não especificamente a todos os 20 subprogramas, complementado por uma avaliação específica e relatórios regulares sobre a evolução (relatórios de acompanhamento) | pelo menos cinco exercícios de avaliação (ex ante, intercalar e final), incluindo um relatório específico sobre a evolução antes da avaliação intermédia |
| 1. | Ex ante
  : não |

4.o PQ (1995-1998)

5.o PQ (1999-2002)

6.o PQ (2003-2006)

7.o PQ (2007-2013)

dois exercícios de avaliação (intercalar e final), ambos relativos aos 20 subprogramas e ao PQ; a avaliação final sobrepõe-se à intercalar do 5.o PQ

dois exercícios de avaliação simultâneos (intercalares), ambos relativos aos 7 programas específios e ao PQ

um exercício de avaliação relativo ao PQ e aos 3 programas específicos (intercalar), mas não especificamente a todos os 20 subprogramas, complementado por uma avaliação específica e relatórios regulares sobre a evolução (relatórios de acompanhamento)

pelo menos cinco exercícios de avaliação (ex ante, intercalar e final), incluindo um relatório específico sobre a evolução antes da avaliação intermédia

1.

Ex ante
  : não

| 1. | Ex ante
  : não |
| --- | --- |

1.

Ex ante
  : não

| 1. | Ex ante
  : não |
| --- | --- |

1.

Ex ante
  : não

| 1. | Ex ante:

  incorporada na «avaliação do impacto» da proposta da Comissão para o 7.o PQ (2005) |
| --- | --- |

1.

incorporada na «avaliação do impacto» da proposta da Comissão para o 7.o PQ (2005)

| 2. | Intercalar:






  — | avaliação quinquenal: a meio do PQ, anterior ao PQ seguinte (1997) |
| --- | --- | --- |

2.

—

avaliação quinquenal: a meio do PQ, anterior ao PQ seguinte (1997)

| 2. | Intercalar:






  — | avaliação quinquenal: antes de apresentar a proposta para o PQ seguinte (2000) |
| --- | --- | --- |

2.

—

avaliação quinquenal: antes de apresentar a proposta para o PQ seguinte (2000)

| — | exame da evolução a meio do PQ (2001) |
| --- | --- |

—

exame da evolução a meio do PQ (2001)

| 2. | Intercalar:






  — | avaliação da eficácia dos instrumentos (2004) |
| --- | --- | --- |

2.

—

avaliação da eficácia dos instrumentos (2004)

| — | avaliação quinquenal antes de apresentar a proposta para o PQ seguinte (2004) |
| --- | --- |

—

avaliação quinquenal antes de apresentar a proposta para o PQ seguinte (2004)

| — | relatórios regulares sobre a evolução (relatórios de acompanhamento) |
| --- | --- |

—

relatórios regulares sobre a evolução (relatórios de acompanhamento)

| 2. | Intercalar:






  — | ex post, 2 anos depois de encerrar o PQ anterior (2008) |
| --- | --- | --- |

2.

—

ex post, 2 anos depois de encerrar o PQ anterior (2008)

| — | relatório sobre a evolução antes da avaliação intermédia (antes de 2010) |
| --- | --- |

—

relatório sobre a evolução antes da avaliação intermédia (antes de 2010)

| — | avaliação intermédia (2010) |
| --- | --- |

—

avaliação intermédia (2010)

| 3. | Final:






  — | no encerramento do PQ (1999) |
| --- | --- | --- |

3.

—

no encerramento do PQ (1999)

| 3. | Final:
  não |
| --- | --- |

3.

não

| 3. | Final:
  não

  [alterado pela decisão relativa ao 7.o PQ] |
| --- | --- |

3.

não

[alterado pela decisão relativa ao 7.o PQ]

| 3. | Final:
  dois anos depois de encerrar o PQ (2015), apoiada por estudos específicos, pela avaliação intermédia e por outras actividades de avaliação realizadas durante o período do PQ |
| --- | --- |

3.

dois anos depois de encerrar o PQ (2015), apoiada por estudos específicos, pela avaliação intermédia e por outras actividades de avaliação realizadas durante o período do PQ

Fonte: Ver anexo II.

| 13. | Até agora, realizaram-se três avaliações quinquenais (12), que deram origem aos relatórios «Davignon», «Majó» e «Ormala» (respectivamente em 1997, 2000 e 2004). Além disso, a DG Sociedade da Informação efectuou avaliações orientadas para o seu programa específico. Note-se que, nos termos da legislação relativa ao 7.o PQ, deixaram de se realizar avaliações quinquenais, o que eliminou a limitação de os principais exercícios de avaliação terem de se concentrar nos cinco anos anteriores e, dessa forma, abrangerem obrigatoriamente partes de dois períodos de programação sucessivos. Em 2004, foi igualmente publicado o relatório «Marimón» (13), uma avaliação específica da eficácia dos novos instrumentos introduzidos no âmbito do 6.o PQ. |
| --- | --- |

13.

Até agora, realizaram-se três avaliações quinquenais (12), que deram origem aos relatórios «Davignon», «Majó» e «Ormala» (respectivamente em 1997, 2000 e 2004). Além disso, a DG Sociedade da Informação efectuou avaliações orientadas para o seu programa específico. Note-se que, nos termos da legislação relativa ao 7.o PQ, deixaram de se realizar avaliações quinquenais, o que eliminou a limitação de os principais exercícios de avaliação terem de se concentrar nos cinco anos anteriores e, dessa forma, abrangerem obrigatoriamente partes de dois períodos de programação sucessivos. Em 2004, foi igualmente publicado o relatório «Marimón» (13), uma avaliação específica da eficácia dos novos instrumentos introduzidos no âmbito do 6.o PQ.

| 14. | O quadro das actividades de avaliação da Comissão foi revisto em 2000 e 2002 (14). Estas comunicações foram actualizadas em 2007, tendo em conta as consequências da reforma administrativa da Comissão e o novo Regulamento Financeiro (15). Nestes documentos, descrevem-se o papel e a função da avaliação no contexto do ciclo global de planeamento, programação e elaboração de relatórios da Comissão, especificando-se um conjunto de 21 normas de avaliação e 18 modelos de «boas práticas». Além disso, estes documentos discutem o recurso à avaliação na preparação e simplificação da legislação da UE. |
| --- | --- |

14.

O quadro das actividades de avaliação da Comissão foi revisto em 2000 e 2002 (14). Estas comunicações foram actualizadas em 2007, tendo em conta as consequências da reforma administrativa da Comissão e o novo Regulamento Financeiro (15). Nestes documentos, descrevem-se o papel e a função da avaliação no contexto do ciclo global de planeamento, programação e elaboração de relatórios da Comissão, especificando-se um conjunto de 21 normas de avaliação e 18 modelos de «boas práticas». Além disso, estes documentos discutem o recurso à avaliação na preparação e simplificação da legislação da UE.

ÂMBITO E MÉTODO DE AUDITORIA

15.

| 15. | O principal objectivo da auditoria foi determinar se a Comissão dispunha de um método adequado de avaliação dos resultados dos programas-quadro de IDT. |
| --- | --- |

O principal objectivo da auditoria foi determinar se a Comissão dispunha de um método adequado de avaliação dos resultados dos programas-quadro de IDT.

| 16. | Para o efeito, o Tribunal avaliou em que medida:






  — | uma lógica explícita de intervenção está subjacente aos PQ e aos seus programas constituintes, que permita medir e avaliar as realizações, os efeitos e os impactos, fornecendo assim uma base sólida para a avaliação e o acompanhamento; |
| --- | --- | --- |

16.

Para o efeito, o Tribunal avaliou em que medida:

—

uma lógica explícita de intervenção está subjacente aos PQ e aos seus programas constituintes, que permita medir e avaliar as realizações, os efeitos e os impactos, fornecendo assim uma base sólida para a avaliação e o acompanhamento;

| — | foi definida uma estratégia de avaliação para os PQ que promova uma avaliação eficaz e coerente; |
| --- | --- |

—

foi definida uma estratégia de avaliação para os PQ que promova uma avaliação eficaz e coerente;

| — | a estrutura organizativa do sistema de avaliação garante que este é correctamente coordenado em todo o PQ, dispõe dos recursos necessários e é considerado suficientemente independente pelos intervenientes; |
| --- | --- |

—

a estrutura organizativa do sistema de avaliação garante que este é correctamente coordenado em todo o PQ, dispõe dos recursos necessários e é considerado suficientemente independente pelos intervenientes;

| — | as metodologias utilizadas para a avaliação garantem que as questões pertinentes são abordadas de forma adequada, para que a avaliação seja considerada credível; |
| --- | --- |

—

as metodologias utilizadas para a avaliação garantem que as questões pertinentes são abordadas de forma adequada, para que a avaliação seja considerada credível;

| — | as actividades de avaliação e acompanhamento fornecem informações e uma análise que possam ser utilizadas para melhorar os programas em curso («learning programmes») e preparar os futuros PQ. |
| --- | --- |

—

as actividades de avaliação e acompanhamento fornecem informações e uma análise que possam ser utilizadas para melhorar os programas em curso («learning programmes») e preparar os futuros PQ.

| 17. | O presente relatório engloba as disposições relevantes do 4.o PQ (1995-1998), do 5.o PQ (1999-2002) e do 6.o PQ (2003-2006). Aborda igualmente as disposições legais actualmente em vigor no âmbito do 7.o PQ (2007-2013), mas não efectua uma apreciação do documento «Impact assessment and ex ante evaluation» (16) da Comissão relativo ao 7.o PQ. Centra-se no acompanhamento e na avaliação ex post dos programas e não na avaliação ex ante das propostas de projecto, nem na avaliação ex post dos projectos em si. |
| --- | --- |

17.

O presente relatório engloba as disposições relevantes do 4.o PQ (1995-1998), do 5.o PQ (1999-2002) e do 6.o PQ (2003-2006). Aborda igualmente as disposições legais actualmente em vigor no âmbito do 7.o PQ (2007-2013), mas não efectua uma apreciação do documento «Impact assessment and ex ante evaluation» (16) da Comissão relativo ao 7.o PQ. Centra-se no acompanhamento e na avaliação ex post dos programas e não na avaliação ex ante das propostas de projecto, nem na avaliação ex post dos projectos em si.

| 18. | A auditoria foi realizada com a participação do conselho de revisores de contas da EFTA e contou com a assistência de peritos externos. As provas de auditoria foram recolhidas através de:






  — | trabalhos de auditoria na Comissão (exame da documentação e entrevistas com pessoal), que envolveram a identificação das disposições legais e regulamentares, um exame dos objectivos e dos critérios de desempenho, a análise de mais de 80 relatórios de acompanhamento e de avaliação e uma análise da organização das actividades de avaliação na Comissão; |
| --- | --- | --- |

18.

A auditoria foi realizada com a participação do conselho de revisores de contas da EFTA e contou com a assistência de peritos externos. As provas de auditoria foram recolhidas através de:

—

trabalhos de auditoria na Comissão (exame da documentação e entrevistas com pessoal), que envolveram a identificação das disposições legais e regulamentares, um exame dos objectivos e dos critérios de desempenho, a análise de mais de 80 relatórios de acompanhamento e de avaliação e uma análise da organização das actividades de avaliação na Comissão;

| — | entrevistas com mais de 90 peritos identificados como intervenientes nos Estados-Membros e nos países associados (República Checa, Alemanha, Estónia, Espanha, França, Itália, Luxemburgo, Países Baixos, Áustria, Finlândia, Suécia, Reino Unido e Noruega); |
| --- | --- |

—

entrevistas com mais de 90 peritos identificados como intervenientes nos Estados-Membros e nos países associados (República Checa, Alemanha, Estónia, Espanha, França, Itália, Luxemburgo, Países Baixos, Áustria, Finlândia, Suécia, Reino Unido e Noruega);

| — | inquéritos aos intervenientes institucionais na comissão ITRE (17) do Parlamento Europeu e no comité CREST (18) do Conselho; |
| --- | --- |

—

inquéritos aos intervenientes institucionais na comissão ITRE (17) do Parlamento Europeu e no comité CREST (18) do Conselho;

| — | uma consulta a mais de 65 peritos no domínio da avaliação da investigação nos EUA e no Canadá, enquanto grupo internacional de comparação; |
| --- | --- |

—

uma consulta a mais de 65 peritos no domínio da avaliação da investigação nos EUA e no Canadá, enquanto grupo internacional de comparação;

| — | um exame de documentação académica sobre as tendências actuais em matéria de avaliação da investigação; |
| --- | --- |

—

um exame de documentação académica sobre as tendências actuais em matéria de avaliação da investigação;

| — | um debate das constatações, conclusões e recomendações da auditoria, com peritos europeus e norte-americanos em avaliação da investigação, durante uma série de reuniões dos grupos-alvo conduzidas por um consultor independente em Fevereiro de 2007. |
| --- | --- |

—

um debate das constatações, conclusões e recomendações da auditoria, com peritos europeus e norte-americanos em avaliação da investigação, durante uma série de reuniões dos grupos-alvo conduzidas por um consultor independente em Fevereiro de 2007.

OBSERVAÇÕES DE AUDITORIA

Lógica de intervenção, definição dos objectivos e indicadores de desempenho

| 19. | Uma avaliação e um acompanhamento eficazes exigem objectivos claros e indicadores de desempenho relevantes ao nível da política, do programa e do projecto, em função dos quais se possam apreciar os resultados de uma intervenção pública. As boas práticas em outros domínios orçamentais da UE e não só sugerem que esses objectivos e indicadores deverão ser definidos no quadro de uma lógica de intervenção. |
| --- | --- |

19.

Uma avaliação e um acompanhamento eficazes exigem objectivos claros e indicadores de desempenho relevantes ao nível da política, do programa e do projecto, em função dos quais se possam apreciar os resultados de uma intervenção pública. As boas práticas em outros domínios orçamentais da UE e não só sugerem que esses objectivos e indicadores deverão ser definidos no quadro de uma lógica de intervenção.

| 20. | A lógica de intervenção pode ser definida como um conjunto de relações hipotéticas de causalidade que descrevem a forma como se espera que uma intervenção atinja os seus objectivos globais (19). As orientações da Comissão em matéria de avaliação indicam que a lógica de intervenção proporciona a relação conceptual entre os recursos de uma intervenção e a produção das suas realizações e, subsequentemente, os seus impactos na sociedade em termos de resultados e efeitos (20). Esta é a definição utilizada no presente relatório. |
| --- | --- |

20.

A lógica de intervenção pode ser definida como um conjunto de relações hipotéticas de causalidade que descrevem a forma como se espera que uma intervenção atinja os seus objectivos globais (19). As orientações da Comissão em matéria de avaliação indicam que a lógica de intervenção proporciona a relação conceptual entre os recursos de uma intervenção e a produção das suas realizações e, subsequentemente, os seus impactos na sociedade em termos de resultados e efeitos (20). Esta é a definição utilizada no presente relatório.

| 21. | O Tribunal avaliou em que medida estava definida uma lógica de intervenção para os PQ e os seus programas constituintes, fornecendo assim uma base sólida para a avaliação e o acompanhamento. |
| --- | --- |

21.

O Tribunal avaliou em que medida estava definida uma lógica de intervenção para os PQ e os seus programas constituintes, fornecendo assim uma base sólida para a avaliação e o acompanhamento.

A lógica de intervenção para os PQ não tem sido explícita

| 22. | A definição de uma lógica de intervenção deverá ser um elemento essencial da concepção de um programa desde o início. O artigo 163.o do Tratado, que menciona a necessidade de reforçar as bases científicas e tecnológicas e de desenvolver a competitividade, deverá constituir o ponto de partida de uma lógica de intervenção desse tipo para os PQ (ver ponto 2). Esta deverá tornar-se mais específica e estar adaptada aos diferentes domínios científicos abrangidos pelos PQ, bem como aos vários instrumentos utilizados. |
| --- | --- |

22.

A definição de uma lógica de intervenção deverá ser um elemento essencial da concepção de um programa desde o início. O artigo 163.o do Tratado, que menciona a necessidade de reforçar as bases científicas e tecnológicas e de desenvolver a competitividade, deverá constituir o ponto de partida de uma lógica de intervenção desse tipo para os PQ (ver ponto 2). Esta deverá tornar-se mais específica e estar adaptada aos diferentes domínios científicos abrangidos pelos PQ, bem como aos vários instrumentos utilizados.

| 23. | No entanto, está em falta a todos os níveis um modelo lógico explícito que explique a forma como os PQ e os seus programas constituintes contribuem para o progresso e a inovação científicos e tecnológicos. |
| --- | --- |

23.

No entanto, está em falta a todos os níveis um modelo lógico explícito que explique a forma como os PQ e os seus programas constituintes contribuem para o progresso e a inovação científicos e tecnológicos.

| 24. | A inexistência de uma lógica de intervenção para os PQ foi igualmente salientada pelo painel de avaliação quinquenal de 2004, que afirmou que se pretende que esses painéis preencham a lacuna entre, por um lado, as provas recolhidas principalmente ao nível do projecto e, por outro, os objectivos socioeconómicos de nível mais elevado da política de investigação. No entanto, actualmente, é difícil estabelecer essa ligação devido à forma como o PQ é planeado. Falta-lhe uma lógica explícita que relacione os objectivos mais elevados com os objectivos específicos da investigação e do conhecimento (21). |
| --- | --- |

24.

A inexistência de uma lógica de intervenção para os PQ foi igualmente salientada pelo painel de avaliação quinquenal de 2004, que afirmou que se pretende que esses painéis preencham a lacuna entre, por um lado, as provas recolhidas principalmente ao nível do projecto e, por outro, os objectivos socioeconómicos de nível mais elevado da política de investigação. No entanto, actualmente, é difícil estabelecer essa ligação devido à forma como o PQ é planeado. Falta-lhe uma lógica explícita que relacione os objectivos mais elevados com os objectivos específicos da investigação e do conhecimento (21).

| 25. | Alguns Estados-Membros (por exemplo, os Países Baixos e a Finlândia) e os EUA (ver gráfico 3) adoptam um método diferente, sendo a definição da lógica de intervenção muito mais frequente, tal como no Canadá onde esta é obrigatória para todos os programas (ver anexo III). De facto, nesses países, o recurso à lógica de intervenção na fase de concepção do programa permitiu orientar e estruturar melhor os programas. Esta lógica está igualmente a ser introduzida pela Comissão em outros domínios de política comunitária (por exemplo, a ajuda externa) (22).
  Gráfico 3
  Definição de uma hierarquia de objectivos baseada em modelos lógicos: o exemplo da investigação no sector agrícola dos EUA








  Política | Programa | Projecto |
| --- | --- | --- | --- |
| Objectivo da política
  : contribuir para a melhoria das condições de vida das famílias rurais | | |
| Finalidade
  : melhoria da produção, da produtividade e dos rendimentos agrícolas das famílias rurais | Objectivo do programa
  : contribuir para aumentar a produção agrícola, a produtividade e os rendimentos das famílias rurais | |
| Resultado esperado
  : aumento da utilização de tecnologias agrícolas melhoradas nos agricultores-alvo | Finalidade
  : aumento da utilização de tecnologias agrícolas melhoradas pelos agricultores (por exemplo, arroz) | Objectivo do projecto
  : contribuir para o aumento da utilização das tecnologias melhoradas recomendadas |
| | Resultado esperado
  : fornecer/divulgar recomendações aos agicultores-alvo | Finalidade
  : recomendações fornecidas sobre tecnologias melhoradas e adequadas para os agricultores-alvo |
| | | Resultados esperados (exemplos):








  1. | tecnologias identificadas com base nas prioridades dos agricultores |

25.

Alguns Estados-Membros (por exemplo, os Países Baixos e a Finlândia) e os EUA (ver gráfico 3) adoptam um método diferente, sendo a definição da lógica de intervenção muito mais frequente, tal como no Canadá onde esta é obrigatória para todos os programas (ver anexo III). De facto, nesses países, o recurso à lógica de intervenção na fase de concepção do programa permitiu orientar e estruturar melhor os programas. Esta lógica está igualmente a ser introduzida pela Comissão em outros domínios de política comunitária (por exemplo, a ajuda externa) (22).

Gráfico 3

Definição de uma hierarquia de objectivos baseada em modelos lógicos: o exemplo da investigação no sector agrícola dos EUA

Política

Programa

Projecto

Objectivo da política
  : contribuir para a melhoria das condições de vida das famílias rurais

Finalidade
  : melhoria da produção, da produtividade e dos rendimentos agrícolas das famílias rurais

Objectivo do programa
  : contribuir para aumentar a produção agrícola, a produtividade e os rendimentos das famílias rurais

Resultado esperado
  : aumento da utilização de tecnologias agrícolas melhoradas nos agricultores-alvo

Finalidade
  : aumento da utilização de tecnologias agrícolas melhoradas pelos agricultores (por exemplo, arroz)

Objectivo do projecto
  : contribuir para o aumento da utilização das tecnologias melhoradas recomendadas

Resultado esperado
  : fornecer/divulgar recomendações aos agicultores-alvo

Finalidade
  : recomendações fornecidas sobre tecnologias melhoradas e adequadas para os agricultores-alvo

Resultados esperados (exemplos):

1.

tecnologias identificadas com base nas prioridades dos agricultores

| 2. | tecnologias criadas e adaptadas |
| --- | --- |

2.

tecnologias criadas e adaptadas

| 3. | tecnologias verificadas no terreno |
| --- | --- |

3.

tecnologias verificadas no terreno

Fonte: US National Agricultural Research Council.

| 26. | Não estipular a lógica subjacente à intervenção pública e as presumíveis relações de causalidade (segundo as quais o programa é depois planeado em pormenor, executado e avaliado) prejudica a avaliação e o acompanhamento eficazes dos PQ, especialmente devido à forma como os objectivos dos programas e os indicadores de desempenho são definidos. |
| --- | --- |

26.

Não estipular a lógica subjacente à intervenção pública e as presumíveis relações de causalidade (segundo as quais o programa é depois planeado em pormenor, executado e avaliado) prejudica a avaliação e o acompanhamento eficazes dos PQ, especialmente devido à forma como os objectivos dos programas e os indicadores de desempenho são definidos.

Sem um modelo lógico explícito é mais difícil definir objectivos coerentes para o programa

| 27. | Não tornar explícita a lógica subjacente à intervenção pública dificulta mais a definição e a estruturação coerentes dos objectivos do programa, o que é demonstrado pelos seguintes aspectos:






  — | não existe uma relação clara entre os objectivos dos programas dos PQ e os objectivos políticos, como os objectivos gerais fixados no artigo 163.o do Tratado, os indicados na estratégia de Lisboa e na declaração de Barcelona (ver pontos 2 e 7); |
| --- | --- | --- |

27.

Não tornar explícita a lógica subjacente à intervenção pública dificulta mais a definição e a estruturação coerentes dos objectivos do programa, o que é demonstrado pelos seguintes aspectos:

—

não existe uma relação clara entre os objectivos dos programas dos PQ e os objectivos políticos, como os objectivos gerais fixados no artigo 163.o do Tratado, os indicados na estratégia de Lisboa e na declaração de Barcelona (ver pontos 2 e 7);

| — | a relação entre os objectivos individuais dos programas, tanto nos vários níveis da legislação (como a decisão do PQ, a decisão específica de cada programa e as regras de participação e divulgação), como entre os actos de base e os programas de trabalho da Comissão, nem sempre é óbvia. |
| --- | --- |

—

a relação entre os objectivos individuais dos programas, tanto nos vários níveis da legislação (como a decisão do PQ, a decisão específica de cada programa e as regras de participação e divulgação), como entre os actos de base e os programas de trabalho da Comissão, nem sempre é óbvia.

| 28. | A Comissão tentou fixar objectivos operacionais nos programas de trabalho com base nos objectivos dos programas definidos na legislação relativa aos PQ. No entanto, em quase todos os casos, estas iniciativas não conseguiram clarificar a lógica subjacente aos programas e os objectivos mencionados nos programas de trabalho não eram específicos, mensuráveis, realizáveis, pertinentes e datados (SMART). Em 2003, este aspecto tornou-se uma obrigação jurídica no âmbito do Regulamento Financeiro (23). |
| --- | --- |

28.

A Comissão tentou fixar objectivos operacionais nos programas de trabalho com base nos objectivos dos programas definidos na legislação relativa aos PQ. No entanto, em quase todos os casos, estas iniciativas não conseguiram clarificar a lógica subjacente aos programas e os objectivos mencionados nos programas de trabalho não eram específicos, mensuráveis, realizáveis, pertinentes e datados (SMART). Em 2003, este aspecto tornou-se uma obrigação jurídica no âmbito do Regulamento Financeiro (23).

| 29. | Não é claro até que ponto é possível identificar os objectivos da política desde os programas específicos, os programas de trabalho e os convites à apresentação de propostas até aos projectos individuais co-financiados pela Comunidade. Se estas relações não forem clarificadas, não é possível avaliar a contribuição dos PQ e dos seus programas constituintes para a realização destes objectivos da política. A auditoria constatou que, nas suas avaliações, a Comissão apresentou poucas ou nenhumas provas convincentes sobre a realização dos objectivos a longo prazo, tanto ao nível do projecto como dos programas (ver ponto 82). |
| --- | --- |

29.

Não é claro até que ponto é possível identificar os objectivos da política desde os programas específicos, os programas de trabalho e os convites à apresentação de propostas até aos projectos individuais co-financiados pela Comunidade. Se estas relações não forem clarificadas, não é possível avaliar a contribuição dos PQ e dos seus programas constituintes para a realização destes objectivos da política. A auditoria constatou que, nas suas avaliações, a Comissão apresentou poucas ou nenhumas provas convincentes sobre a realização dos objectivos a longo prazo, tanto ao nível do projecto como dos programas (ver ponto 82).

A inexistência de uma lógica explícita de intervenção e de objectivos claros dificulta a elaboração de indicadores de desempenho

| 30. | A inexistência de um modelo lógico explícito e de objectivos do programa claramente formulados prejudicou igualmente a elaboração dos indicadores de desempenho para acompanhar a concretização dos objectivos do programa em termos de realizações, efeitos e impactos, na medida em que, até ao momento, esse tipo de indicadores de «eficácia» não foi definido de todo para os PQ (ver ponto 73). |
| --- | --- |

30.

A inexistência de um modelo lógico explícito e de objectivos do programa claramente formulados prejudicou igualmente a elaboração dos indicadores de desempenho para acompanhar a concretização dos objectivos do programa em termos de realizações, efeitos e impactos, na medida em que, até ao momento, esse tipo de indicadores de «eficácia» não foi definido de todo para os PQ (ver ponto 73).

| 31. | Neste contexto, o exame dos projectos em curso financiados por estes programas e a avaliação ex post dos projectos encerrados tornam-se igualmente mais difíceis e contribuem para as dificuldades em agregar as avaliações entre o nível do projecto e o do programa (ver anexo I e ponto 84). |
| --- | --- |

31.

Neste contexto, o exame dos projectos em curso financiados por estes programas e a avaliação ex post dos projectos encerrados tornam-se igualmente mais difíceis e contribuem para as dificuldades em agregar as avaliações entre o nível do projecto e o do programa (ver anexo I e ponto 84).

Conforme aplicados actualmente, os sistemas de orçamentação por actividades/gestão por actividades são ferramentas inadequadas para apreciar o desempenho dos PQ

| 32. | Determinados indicadores relativos à eficiência da execução dos programas (por exemplo, tempo para a celebração de contratos e prazos de pagamento) encontram-se nos relatórios de acompanhamento anuais da Comissão e igualmente no contexto do seu sistema de gestão por actividades. |
| --- | --- |

32.

Determinados indicadores relativos à eficiência da execução dos programas (por exemplo, tempo para a celebração de contratos e prazos de pagamento) encontram-se nos relatórios de acompanhamento anuais da Comissão e igualmente no contexto do seu sistema de gestão por actividades.

| 33. | No entanto, até ao momento, as «Direcções-Gerais de investigação», mesmo quando executam o mesmo programa (ou subprograma) específico, não aplicaram uma nomenclatura normalizada ou comparável relativa à orçamentação por actividades, nem indicadores relacionados. Assim, estes indicadores não podem ser utilizados para comparar o desempenho entre programas, nem dentro de um mesmo programa.

  Caixa 2Sistema de orçamentação por actividades/gestão por actividades conforme aplicado actualmente pelas «Direcções-Gerais de investigação»No sistema de orçamentação por actividades/gestão por actividades, os PQ são abrangidos por dois domínios de política diferentes, dentro dos quais as actividades dos PQ são apresentadas segundo uma nomenclatura específica de cada Direcção-Geral (24). Esta situação aplica-se mesmo aos programas e subprogramas específicos executados por mais de uma Direcção-Geral. Os objectivos da gestão por actividades foram definidos segundo princípios subjacentes diferentes (25) e, como indicado pelo serviço de auditoria interna da Comissão (26), estavam principalmente formulados em termos gerais, descrevendo expectativas ou actividades. Os indicadores eram geralmente orientados para os recursos (por exemplo, número de reuniões, etc.). Alguns abordavam a eficiência do processo (por exemplo, tempo para a celebração de contratos e prazos de pagamento), mas não eram comparáveis ao nível dos programas e das Direcções-Gerais, devido às diferenças da nomenclatura da orçamentação por actividades, dos pressupostos específicos de cada Direcção-Geral (como o início e o fim de procedimentos administrativos específicos) e da população subjacente (por exemplo, tipo de convenção de subvenção e tipo de pagamento) que era tomada em consideração para os cálculos. |
| --- | --- |

33.

No entanto, até ao momento, as «Direcções-Gerais de investigação», mesmo quando executam o mesmo programa (ou subprograma) específico, não aplicaram uma nomenclatura normalizada ou comparável relativa à orçamentação por actividades, nem indicadores relacionados. Assim, estes indicadores não podem ser utilizados para comparar o desempenho entre programas, nem dentro de um mesmo programa.

Caixa 2Sistema de orçamentação por actividades/gestão por actividades conforme aplicado actualmente pelas «Direcções-Gerais de investigação»No sistema de orçamentação por actividades/gestão por actividades, os PQ são abrangidos por dois domínios de política diferentes, dentro dos quais as actividades dos PQ são apresentadas segundo uma nomenclatura específica de cada Direcção-Geral (24). Esta situação aplica-se mesmo aos programas e subprogramas específicos executados por mais de uma Direcção-Geral. Os objectivos da gestão por actividades foram definidos segundo princípios subjacentes diferentes (25) e, como indicado pelo serviço de auditoria interna da Comissão (26), estavam principalmente formulados em termos gerais, descrevendo expectativas ou actividades. Os indicadores eram geralmente orientados para os recursos (por exemplo, número de reuniões, etc.). Alguns abordavam a eficiência do processo (por exemplo, tempo para a celebração de contratos e prazos de pagamento), mas não eram comparáveis ao nível dos programas e das Direcções-Gerais, devido às diferenças da nomenclatura da orçamentação por actividades, dos pressupostos específicos de cada Direcção-Geral (como o início e o fim de procedimentos administrativos específicos) e da população subjacente (por exemplo, tipo de convenção de subvenção e tipo de pagamento) que era tomada em consideração para os cálculos.

Recomendações

34.

| 34. | Em futuras propostas legislativas ao Conselho e ao Parlamento Europeu, a Comissão deverá definir uma lógica de intervenção explícita para o PQ no seu todo e para as suas partes constituintes. |
| --- | --- |

Em futuras propostas legislativas ao Conselho e ao Parlamento Europeu, a Comissão deverá definir uma lógica de intervenção explícita para o PQ no seu todo e para as suas partes constituintes.

| 35. | No caso do 7.o PQ, a Comissão deverá:






  — | descrever claramente os objectivos do PQ e dos seus programas (e subprogramas) específicos constituintes e a forma de os realizar; |
| --- | --- | --- |

35.

No caso do 7.o PQ, a Comissão deverá:

—

descrever claramente os objectivos do PQ e dos seus programas (e subprogramas) específicos constituintes e a forma de os realizar;

| — | clarificar a ligação entre os objectivos científicos e socioeconómicos para cada programa (e subprograma) específico; |
| --- | --- |

—

clarificar a ligação entre os objectivos científicos e socioeconómicos para cada programa (e subprograma) específico;

| — | definir objectivos operacionais pertinentes. |
| --- | --- |

—

definir objectivos operacionais pertinentes.

| 36. | Quanto ao seu sistema de acompanhamento relativo ao 7.o PQ, a Comissão deverá elaborar, para cada programa (e subprograma) específico, um conjunto limitado, mas equilibrado, de indicadores de desempenho que meçam a eficiência e a eficácia da execução do programa. |
| --- | --- |

36.

Quanto ao seu sistema de acompanhamento relativo ao 7.o PQ, a Comissão deverá elaborar, para cada programa (e subprograma) específico, um conjunto limitado, mas equilibrado, de indicadores de desempenho que meçam a eficiência e a eficácia da execução do programa.

| 37. | As «Direcções-Gerais de investigação» deverão harmonizar a nomenclatura de gestão por actividades/orçamentação por actividades que utilizam para permitir a comparação dos indicadores de desempenho tanto no tempo como, quando possível, entre programas (e subprogramas) específicos. |
| --- | --- |

37.

As «Direcções-Gerais de investigação» deverão harmonizar a nomenclatura de gestão por actividades/orçamentação por actividades que utilizam para permitir a comparação dos indicadores de desempenho tanto no tempo como, quando possível, entre programas (e subprogramas) específicos.

Estratégia de avaliação

| 38. | Uma estratégia de avaliação fornece o quadro conceptual dentro do qual são concebidas, planeadas, executadas e utilizadas as actividades de avaliação. As boas práticas noutros domínios orçamentais da UE e não só sugerem que uma estratégia desse tipo deverá ter em conta as principais questões legais, organizativas e metodológicas que envolvem a avaliação dos programas. Estas questões incluem o tipo de avaliações a realizar, os responsáveis, o calendário, as modalidades de recolha dos dados, as metodologias a utilizar e as modalidades de comunicação e acompanhamento das constatações. |
| --- | --- |

38.

Uma estratégia de avaliação fornece o quadro conceptual dentro do qual são concebidas, planeadas, executadas e utilizadas as actividades de avaliação. As boas práticas noutros domínios orçamentais da UE e não só sugerem que uma estratégia desse tipo deverá ter em conta as principais questões legais, organizativas e metodológicas que envolvem a avaliação dos programas. Estas questões incluem o tipo de avaliações a realizar, os responsáveis, o calendário, as modalidades de recolha dos dados, as metodologias a utilizar e as modalidades de comunicação e acompanhamento das constatações.

| 39. | Dispor de uma estratégia deste tipo, e garantir a sua execução, é um pré-requisito para integrar a avaliação na cultura organizativa e no processo de tomada de decisão da Comissão. No entanto, o Tribunal reconhece que, tendo em conta a diversidade dos domínios científicos abrangidos pelos PQ, uma estratégia deste tipo deverá permitir um grau adequado de flexibilidade a cada uma das Direcções-Gerais responsáveis e não ser demasiado limitativa. |
| --- | --- |

39.

Dispor de uma estratégia deste tipo, e garantir a sua execução, é um pré-requisito para integrar a avaliação na cultura organizativa e no processo de tomada de decisão da Comissão. No entanto, o Tribunal reconhece que, tendo em conta a diversidade dos domínios científicos abrangidos pelos PQ, uma estratégia deste tipo deverá permitir um grau adequado de flexibilidade a cada uma das Direcções-Gerais responsáveis e não ser demasiado limitativa.

| 40. | O Tribunal verificou se a Comissão possuía uma estratégia de avaliação deste tipo para os PQ. |
| --- | --- |

40.

O Tribunal verificou se a Comissão possuía uma estratégia de avaliação deste tipo para os PQ.

Inexistência de uma estratégia de avaliação abrangente para os PQ

| 41. | No caso dos PQ, a Comissão tornou público o seu método de avaliação pela primeira vez nos anos 1980 (27). Este foi actualizado em 1996, quando a Comissão informou o Parlamento Europeu e o Conselho sobre o que então considerava serem os princípios relevantes subjacentes ao acompanhamento e à avaliação e definiu o método que pretendia aplicar após a adopção do 4.o PQ (28). No entanto, este não constituía uma estratégia de avaliação abrangente conforme anteriormente definida (ver pontos 38 e 39). Além disso, entre 1996 e 2006, a Comissão não reexaminou em profundidade o seu método de avaliação relativo aos 5.o e 6.o PQ, apesar de os PQ terem sofrido alterações tanto em termos do seu âmbito como da sua orientação (ver ponto 7). Em especial, as «Direcções-Gerais de investigação» não acordaram num método coerente de avaliação dos PQ e dos seus programas constituintes, além das disposições legislativas adoptadas em 1999 (para o 5.o PQ), em 2002 (para o 6.o PQ) e em 2006 (para o 7.o PQ) (29). |
| --- | --- |

41.

No caso dos PQ, a Comissão tornou público o seu método de avaliação pela primeira vez nos anos 1980 (27). Este foi actualizado em 1996, quando a Comissão informou o Parlamento Europeu e o Conselho sobre o que então considerava serem os princípios relevantes subjacentes ao acompanhamento e à avaliação e definiu o método que pretendia aplicar após a adopção do 4.o PQ (28). No entanto, este não constituía uma estratégia de avaliação abrangente conforme anteriormente definida (ver pontos 38 e 39). Além disso, entre 1996 e 2006, a Comissão não reexaminou em profundidade o seu método de avaliação relativo aos 5.o e 6.o PQ, apesar de os PQ terem sofrido alterações tanto em termos do seu âmbito como da sua orientação (ver ponto 7). Em especial, as «Direcções-Gerais de investigação» não acordaram num método coerente de avaliação dos PQ e dos seus programas constituintes, além das disposições legislativas adoptadas em 1999 (para o 5.o PQ), em 2002 (para o 6.o PQ) e em 2006 (para o 7.o PQ) (29).

| 42. | Relativamente ao actual período de programação, a inexistência de uma abordagem estratégica da avaliação neste domínio constitui um problema específico, tendo em conta a execução conjunta do 7.o PQ por várias Direcções-Gerais, o CEI e as agências executivas e a rotação obrigatória de pessoal em lugares sensíveis imposta pelo Regulamento Financeiro. Contrasta igualmente com as práticas actuais no domínio da ajuda externa (o segundo domínio mais importante sujeito a gestão directa pela Comissão). Neste domínio, as Direcções-Gerais responsáveis acordaram, desde 2002, em estratégias de avaliação plurianuais comuns ligadas a períodos de programação (ver ponto 52). |
| --- | --- |

42.

Relativamente ao actual período de programação, a inexistência de uma abordagem estratégica da avaliação neste domínio constitui um problema específico, tendo em conta a execução conjunta do 7.o PQ por várias Direcções-Gerais, o CEI e as agências executivas e a rotação obrigatória de pessoal em lugares sensíveis imposta pelo Regulamento Financeiro. Contrasta igualmente com as práticas actuais no domínio da ajuda externa (o segundo domínio mais importante sujeito a gestão directa pela Comissão). Neste domínio, as Direcções-Gerais responsáveis acordaram, desde 2002, em estratégias de avaliação plurianuais comuns ligadas a períodos de programação (ver ponto 52).

| 43. | Da mesma forma, esta inexistência de uma estratégia de avaliação claramente formulada contrasta fortemente com a situação nos EUA e no Canadá, onde o quadro regulamentar impõe a definição de uma estratégia (ver anexo III). |
| --- | --- |

43.

Da mesma forma, esta inexistência de uma estratégia de avaliação claramente formulada contrasta fortemente com a situação nos EUA e no Canadá, onde o quadro regulamentar impõe a definição de uma estratégia (ver anexo III).

| 44. | Como se demonstra em seguida, existem diferenças significativas no âmbito e na intensidade da avaliação dos vários PQ. Verificaram-se igualmente outras insuficiências, que reflectem a inexistência de uma estratégia abrangente de avaliação para os PQ e que são examinadas noutras secções do presente relatório, como problemas de coordenação, divergências das abordagens metodológicas, problemas de calendário e insuficiências na comunicação e no acompanhamento das constatações da avaliação. |
| --- | --- |

44.

Como se demonstra em seguida, existem diferenças significativas no âmbito e na intensidade da avaliação dos vários PQ. Verificaram-se igualmente outras insuficiências, que reflectem a inexistência de uma estratégia abrangente de avaliação para os PQ e que são examinadas noutras secções do presente relatório, como problemas de coordenação, divergências das abordagens metodológicas, problemas de calendário e insuficiências na comunicação e no acompanhamento das constatações da avaliação.

Diferenças no âmbito e na intensidade da avaliação dos vários PQ

| 45. | Os PQ são constituídos por vários programas (e subprogramas) específicos que podem variar de forma significativa em termos de objectivo, dinâmica subjacente e dotações orçamentais (no caso do 7.o PQ, ver anexo IV). Considerados em conjunto, as disposições específicas das várias decisões relativas aos PQ e o Regulamento Financeiro (30) (que exige a avaliação de todos os programas e actividades que ocasionem despesas importantes) implicam que, desde o 4.o PQ, existe uma obrigação jurídica de avaliar tanto o PQ no seu conjunto como a maioria dos seus programas específicos constituintes. |
| --- | --- |

45.

Os PQ são constituídos por vários programas (e subprogramas) específicos que podem variar de forma significativa em termos de objectivo, dinâmica subjacente e dotações orçamentais (no caso do 7.o PQ, ver anexo IV). Considerados em conjunto, as disposições específicas das várias decisões relativas aos PQ e o Regulamento Financeiro (30) (que exige a avaliação de todos os programas e actividades que ocasionem despesas importantes) implicam que, desde o 4.o PQ, existe uma obrigação jurídica de avaliar tanto o PQ no seu conjunto como a maioria dos seus programas específicos constituintes.

| 46. | A Comissão não definiu regras relativas ao momento em que os programas ou subprogramas específicos do PQ devem ser avaliados, nem um limite comum acima do qual essa avaliação seria obrigatória. Esta situação deu origem a interpretações incoerentes sobre o objecto e o grau de pormenor das avaliações:






  — | a DG Sociedade da Informação considerou que o programa IST ocasionava despesas importantes por si só, tendo organizado uma avaliação quinquenal completa em 2004, em paralelo com a realizada para a totalidade do PQ; |
| --- | --- | --- |

46.

A Comissão não definiu regras relativas ao momento em que os programas ou subprogramas específicos do PQ devem ser avaliados, nem um limite comum acima do qual essa avaliação seria obrigatória. Esta situação deu origem a interpretações incoerentes sobre o objecto e o grau de pormenor das avaliações:

—

a DG Sociedade da Informação considerou que o programa IST ocasionava despesas importantes por si só, tendo organizado uma avaliação quinquenal completa em 2004, em paralelo com a realizada para a totalidade do PQ;

| — | a DG Investigação não organizou de forma sistemática uma avaliação desse tipo ao nível dos programas específicos, apesar de os orçamentos de vários programas sob a sua responsabilidade apresentarem montantes comparáveis. |
| --- | --- |

—

a DG Investigação não organizou de forma sistemática uma avaliação desse tipo ao nível dos programas específicos, apesar de os orçamentos de vários programas sob a sua responsabilidade apresentarem montantes comparáveis.

| 47. | Por conseguinte, na avaliação quinquenal de 2004, partes significativas dos programas dos 4.o e 5.o PQ não foram avaliadas de todo (o correspondente a 30 % de todas as dotações orçamentais do 4.o PQ e a 50 % do 5.o PQ), o que significa que a Comissão não cumpriu as disposições em matéria de avaliação definidas no artigo 27.o do Regulamento Financeiro. |
| --- | --- |

47.

Por conseguinte, na avaliação quinquenal de 2004, partes significativas dos programas dos 4.o e 5.o PQ não foram avaliadas de todo (o correspondente a 30 % de todas as dotações orçamentais do 4.o PQ e a 50 % do 5.o PQ), o que significa que a Comissão não cumpriu as disposições em matéria de avaliação definidas no artigo 27.o do Regulamento Financeiro.

| 48. | Estas interpretações divergentes relativamente às obrigações mínimas jurídicas em matéria de avaliação, e a consequente subavaliação dos PQ no passado, ilustram a falta de coordenação e o efeito da inexistência de uma abordagem estratégica da avaliação dos PQ por parte da Comissão. |
| --- | --- |

48.

Estas interpretações divergentes relativamente às obrigações mínimas jurídicas em matéria de avaliação, e a consequente subavaliação dos PQ no passado, ilustram a falta de coordenação e o efeito da inexistência de uma abordagem estratégica da avaliação dos PQ por parte da Comissão.

Recomendações

49.

| 49. | As «Direcções-Gerais de investigação» deverão elaborar e acordar numa estratégia de avaliação comum para os PQ com urgência. Não sendo demasiado limitativa, a estratégia deverá implicar um método coerente relativo à avaliação dos PQ e dos seus programas constituintes. Essa estratégia deverá igualmente fornecer orientações relativas ao nível mínimo a que deverá ser realizada uma avaliação pormenorizada, de forma a levar em conta as especificidades de cada domínio científico. |
| --- | --- |

As «Direcções-Gerais de investigação» deverão elaborar e acordar numa estratégia de avaliação comum para os PQ com urgência. Não sendo demasiado limitativa, a estratégia deverá implicar um método coerente relativo à avaliação dos PQ e dos seus programas constituintes. Essa estratégia deverá igualmente fornecer orientações relativas ao nível mínimo a que deverá ser realizada uma avaliação pormenorizada, de forma a levar em conta as especificidades de cada domínio científico.

Organizar a avaliação dos PQ

| 50. | A avaliação dos PQ tem de ser apoiada em disposições organizativas adequadas, que deverão decorrer da orientação estratégica da Comissão para a avaliação dos PQ. O Tribunal verificou em que medida a estrutura organizativa garantia que o sistema de avaliação era correctamente coordenado, dispunha dos recursos adequados e era considerado suficientemente independente pelos intervenientes. |
| --- | --- |

50.

A avaliação dos PQ tem de ser apoiada em disposições organizativas adequadas, que deverão decorrer da orientação estratégica da Comissão para a avaliação dos PQ. O Tribunal verificou em que medida a estrutura organizativa garantia que o sistema de avaliação era correctamente coordenado, dispunha dos recursos adequados e era considerado suficientemente independente pelos intervenientes.

Comissão

Os PQ são executados em conjunto por várias Direcções-Gerais enquanto a responsabilidade pela avaliação é descentralizada

| 51. | Na Comissão, a responsabilidade pela avaliação dos programas de despesas cabe a cada Direcção-Geral (ver ponto 8), tendo sido criadas unidades de avaliação dentro de cada uma delas. A essas unidades de avaliação compete o planeamento, a coordenação e a realização das avaliações. |
| --- | --- |

51.

Na Comissão, a responsabilidade pela avaliação dos programas de despesas cabe a cada Direcção-Geral (ver ponto 8), tendo sido criadas unidades de avaliação dentro de cada uma delas. A essas unidades de avaliação compete o planeamento, a coordenação e a realização das avaliações.

| 52. | A inexistência de um organismo específico de coordenação ou de uma única entidade para a avaliação da totalidade dos PQ, como um serviço comum de avaliação para as «Direcções-Gerais de investigação», contrasta com outros domínios de política. No domínio da ajuda externa, foi criada uma unidade comum de avaliação para três Direcções-Gerais (Desenvolvimento, Relações Externas e EuropeAid) para se ocupar da avaliação dos programas de desenvolvimento da Comissão nos países terceiros (ver ponto 42). |
| --- | --- |

52.

A inexistência de um organismo específico de coordenação ou de uma única entidade para a avaliação da totalidade dos PQ, como um serviço comum de avaliação para as «Direcções-Gerais de investigação», contrasta com outros domínios de política. No domínio da ajuda externa, foi criada uma unidade comum de avaliação para três Direcções-Gerais (Desenvolvimento, Relações Externas e EuropeAid) para se ocupar da avaliação dos programas de desenvolvimento da Comissão nos países terceiros (ver ponto 42).

| 53. | A DG Investigação, através da «rede de avaliação de IDT» interna da Comissão, garante um intercâmbio de conhecimentos entre as unidades de avaliação das várias Direcções-Gerais, mas não tem autoridade para definir requisitos mínimos de avaliação. No entanto, este mecanismo tem-se revelado insuficiente para garantir uma coordenação adequada da avaliação dos PQ efectuada pela Comissão. |
| --- | --- |

53.

A DG Investigação, através da «rede de avaliação de IDT» interna da Comissão, garante um intercâmbio de conhecimentos entre as unidades de avaliação das várias Direcções-Gerais, mas não tem autoridade para definir requisitos mínimos de avaliação. No entanto, este mecanismo tem-se revelado insuficiente para garantir uma coordenação adequada da avaliação dos PQ efectuada pela Comissão.

| 54. | A Comissão reviu o seu método geral de avaliação em 2000, 2002 e novamente em 2007 (ver ponto 14). Embora não se tenham verificado melhorias significativas na forma como foram planeadas, concebidas e executadas as avaliações dos PQ e dos seus programas constituintes, em termos gerais as «Direcções-Gerais de investigação» cumpriram os requisitos formais aplicáveis à Comissão no seu todo. |
| --- | --- |

54.

A Comissão reviu o seu método geral de avaliação em 2000, 2002 e novamente em 2007 (ver ponto 14). Embora não se tenham verificado melhorias significativas na forma como foram planeadas, concebidas e executadas as avaliações dos PQ e dos seus programas constituintes, em termos gerais as «Direcções-Gerais de investigação» cumpriram os requisitos formais aplicáveis à Comissão no seu todo.

Serviços centrais da Comissão: definição de normas, mas sem função de controlo da sua aplicação

| 55. | Os serviços centrais da Comissão (em especial a DG Orçamento e o Secretariado-Geral) fornecem assistência metodológica, definem normas comuns para a Comissão no seu todo e acompanham a forma como as Direcções-Gerais e os serviços aplicam as normas (ver pontos 14 e 70). Não podem impor modalidades práticas para realização das avaliações. |
| --- | --- |

55.

Os serviços centrais da Comissão (em especial a DG Orçamento e o Secretariado-Geral) fornecem assistência metodológica, definem normas comuns para a Comissão no seu todo e acompanham a forma como as Direcções-Gerais e os serviços aplicam as normas (ver pontos 14 e 70). Não podem impor modalidades práticas para realização das avaliações.

| 56. | A experiência dos EUA e do Canadá indica que o controlo da aplicação das normas por organismos que as definem é essencial para garantir o funcionamento eficaz do sistema de avaliação. Nestes dois países, os departamentos federais definem e fazem cumprir o enquadramento pelo qual o sucesso de um programa é avaliado em última análise (ver anexo III). Embora o contexto seja diferente, os seus sistemas baseiam-se, ainda assim, no mesmo princípio subjacente de que um organismo diferente do que executa o programa deve avaliar a concepção do sistema de avaliação com algum pormenor e examinar a sua eficácia. Uma situação semelhante pode ser observada em alguns Estados-Membros (por exemplo, Alemanha (31), Espanha (32) e França (33)), onde organismos externos supervisionam as avaliações realizadas por agências de financiamento ou realizam mesmo essas avaliações. |
| --- | --- |

56.

A experiência dos EUA e do Canadá indica que o controlo da aplicação das normas por organismos que as definem é essencial para garantir o funcionamento eficaz do sistema de avaliação. Nestes dois países, os departamentos federais definem e fazem cumprir o enquadramento pelo qual o sucesso de um programa é avaliado em última análise (ver anexo III). Embora o contexto seja diferente, os seus sistemas baseiam-se, ainda assim, no mesmo princípio subjacente de que um organismo diferente do que executa o programa deve avaliar a concepção do sistema de avaliação com algum pormenor e examinar a sua eficácia. Uma situação semelhante pode ser observada em alguns Estados-Membros (por exemplo, Alemanha (31), Espanha (32) e França (33)), onde organismos externos supervisionam as avaliações realizadas por agências de financiamento ou realizam mesmo essas avaliações.

Painéis de peritos

Painéis de peritos externos: exigidos desde o 4.o PQ pela legislação relativa aos PQ

| 57. | Desde o 4.o PQ, todos os exercícios de avaliação mais importantes (e o acompanhamento anual) dos PQ tiveram de ser realizados por (ou com a assistência de) painéis de peritos externos (ver anexo II). Apesar das dificuldades em encontrar os peritos adequados, esses painéis podem proporcionar transparência, oferecer um certo grau de independência, facilitar a participação dos intervenientes e explorar os conhecimentos retirados dos próprios PQ, da avaliação e das questões científicas subjacentes. |
| --- | --- |

57.

Desde o 4.o PQ, todos os exercícios de avaliação mais importantes (e o acompanhamento anual) dos PQ tiveram de ser realizados por (ou com a assistência de) painéis de peritos externos (ver anexo II). Apesar das dificuldades em encontrar os peritos adequados, esses painéis podem proporcionar transparência, oferecer um certo grau de independência, facilitar a participação dos intervenientes e explorar os conhecimentos retirados dos próprios PQ, da avaliação e das questões científicas subjacentes.

| 58. | Os inquéritos do Tribunal confirmaram este potencial, indicando que os inquiridos consideravam que o sistema de avaliação com base em painéis de peritos utilizado pela Comissão oferecia uma garantia de independência (ver gráfico 4). |
| --- | --- |

58.

Os inquéritos do Tribunal confirmaram este potencial, indicando que os inquiridos consideravam que o sistema de avaliação com base em painéis de peritos utilizado pela Comissão oferecia uma garantia de independência (ver gráfico 4).

Image

Insuficiências do método baseado em painéis de peritos aplicado pela Comissão

| 59. | Apesar desta impressão positiva, os membros dos painéis e os intervenientes salientaram ao Tribunal, durante a auditoria, que o recurso a painéis de peritos pela Comissão para avaliar os PQ se caracterizou pelas seguintes insuficiências:






  — | os painéis de avaliação são normalmente criados menos de um ano antes da data prevista para entrega do seu relatório e as suas reuniões são limitadas, o que torna difícil que os membros do painel influenciem a definição dos dados e das análises necessárias à realização dos seus trabalhos. Além disso, uma vez que os painéis são ad hoc e temporários, não é fácil acumular conhecimentos sobre os programas e não é possível dar seguimento no futuro às questões relevantes. Esta insuficiência é especialmente importante nos casos em que (como para o 7.o PQ) estão planeados vários exercícios de avaliação importantes durante o período de programação (ver anexo II). Esta situação contrasta igualmente com a prática da Comissão relativamente aos seus grupos consultivos de peritos (Expert Advisory Groups — EAG) dos PQ, que são organismos permanentes (34). Também no Canadá (35) os painéis de avaliação são permanentes, para garantir uma abordagem sistemática e coerente (ver anexo III); |
| --- | --- | --- |

59.

Apesar desta impressão positiva, os membros dos painéis e os intervenientes salientaram ao Tribunal, durante a auditoria, que o recurso a painéis de peritos pela Comissão para avaliar os PQ se caracterizou pelas seguintes insuficiências:

—

os painéis de avaliação são normalmente criados menos de um ano antes da data prevista para entrega do seu relatório e as suas reuniões são limitadas, o que torna difícil que os membros do painel influenciem a definição dos dados e das análises necessárias à realização dos seus trabalhos. Além disso, uma vez que os painéis são ad hoc e temporários, não é fácil acumular conhecimentos sobre os programas e não é possível dar seguimento no futuro às questões relevantes. Esta insuficiência é especialmente importante nos casos em que (como para o 7.o PQ) estão planeados vários exercícios de avaliação importantes durante o período de programação (ver anexo II). Esta situação contrasta igualmente com a prática da Comissão relativamente aos seus grupos consultivos de peritos (Expert Advisory Groups — EAG) dos PQ, que são organismos permanentes (34). Também no Canadá (35) os painéis de avaliação são permanentes, para garantir uma abordagem sistemática e coerente (ver anexo III);

| — | ao definir o mandato dos painéis de peritos e as questões de avaliação, a Comissão não consulta os intervenientes externos, como os industriais e as principais organizações de investigação que participam nos PQ. O painel de acompanhamento de 2004 observou igualmente este problema, notando que os potenciais utilizadores deveriam estar envolvidos no processo numa fase inicial (36); |
| --- | --- |

—

ao definir o mandato dos painéis de peritos e as questões de avaliação, a Comissão não consulta os intervenientes externos, como os industriais e as principais organizações de investigação que participam nos PQ. O painel de acompanhamento de 2004 observou igualmente este problema, notando que os potenciais utilizadores deveriam estar envolvidos no processo numa fase inicial (36);

| — | o funcionamento dos painéis de peritos é diferente do exame pelos pares (peer review). Os seus membros não têm tempo para realizar as suas próprias avaliações; normalmente formulam pareceres com base em dados e provas disponibilizados por outras fontes. Devido às restrições de tempo, os painéis raramente tiveram oportunidade de encomendar os estudos adicionais necessários para abordar as questões especificadas no seu mandato. Na prática, salvo raras excepções, os painéis da avaliação quinquenal apenas dispunham das informações fornecidas pela Comissão. |
| --- | --- |

—

o funcionamento dos painéis de peritos é diferente do exame pelos pares (peer review). Os seus membros não têm tempo para realizar as suas próprias avaliações; normalmente formulam pareceres com base em dados e provas disponibilizados por outras fontes. Devido às restrições de tempo, os painéis raramente tiveram oportunidade de encomendar os estudos adicionais necessários para abordar as questões especificadas no seu mandato. Na prática, salvo raras excepções, os painéis da avaliação quinquenal apenas dispunham das informações fornecidas pela Comissão.

Recursos

Nenhuns recursos afectados especificamente à avaliação do PQ

| 60. | O financiamento destinado à avaliação é concedido anualmente, de acordo com as necessidades especificadas pelas Direcções-Gerais responsáveis pela execução dos PQ. Actualmente, provém de uma combinação de recursos da DG Orçamento referentes a toda a Comissão e de recursos da parte administrativa do orçamento ao nível das Direcções-Gerais em causa. Além disso, as medidas específicas são financiadas como acções indirectas a partir do orçamento operacional dos PQ, o que significa que não existe nenhum montante especificamente afectado à avaliação. |
| --- | --- |

60.

O financiamento destinado à avaliação é concedido anualmente, de acordo com as necessidades especificadas pelas Direcções-Gerais responsáveis pela execução dos PQ. Actualmente, provém de uma combinação de recursos da DG Orçamento referentes a toda a Comissão e de recursos da parte administrativa do orçamento ao nível das Direcções-Gerais em causa. Além disso, as medidas específicas são financiadas como acções indirectas a partir do orçamento operacional dos PQ, o que significa que não existe nenhum montante especificamente afectado à avaliação.

| 61. | Em 2006, a média em toda a Comissão de agentes afectados ao domínio da avaliação e da gestão por actividades estimava-se em aproximadamente 1 % dos efectivos (37). Os valores correspondentes relativos às actividades de acompanhamento e de avaliação dos programas-quadro de IDT na DG Investigação e na DG Sociedade da Informação eram de 1,2 % e 1,3 %, respectivamente. No entanto, no caso da DG Investigação, mais de dois terços desses agentes estavam afectados aos departamentos operacionais responsáveis pelos programas e não às unidades de avaliação, sendo a avaliação apenas uma das muitas tarefas que desempenhavam. |
| --- | --- |

61.

Em 2006, a média em toda a Comissão de agentes afectados ao domínio da avaliação e da gestão por actividades estimava-se em aproximadamente 1 % dos efectivos (37). Os valores correspondentes relativos às actividades de acompanhamento e de avaliação dos programas-quadro de IDT na DG Investigação e na DG Sociedade da Informação eram de 1,2 % e 1,3 %, respectivamente. No entanto, no caso da DG Investigação, mais de dois terços desses agentes estavam afectados aos departamentos operacionais responsáveis pelos programas e não às unidades de avaliação, sendo a avaliação apenas uma das muitas tarefas que desempenhavam.

O financiamento da avaliação dos PQ é inferior ao recomendado pela Comissão

| 62. | Os recursos dedicados à avaliação podem igualmente ser expressos em percentagem da totalidade das dotações orçamentais afectadas ao programa. Os valores obtidos durante a auditoria indicam que, relativamente aos programas de investigação nos Estados-Membros da UE, a prática se situa entre 0,1 % e 2 %. As orientações da Comissão sugerem que 0,5 % do orçamento de um programa devem ser dedicados à avaliação (38). No entanto, no caso de programas de maior envergadura, uma percentagem menor dos seus orçamentos poderia ser suficiente graças às economias de escala. |
| --- | --- |

62.

Os recursos dedicados à avaliação podem igualmente ser expressos em percentagem da totalidade das dotações orçamentais afectadas ao programa. Os valores obtidos durante a auditoria indicam que, relativamente aos programas de investigação nos Estados-Membros da UE, a prática se situa entre 0,1 % e 2 %. As orientações da Comissão sugerem que 0,5 % do orçamento de um programa devem ser dedicados à avaliação (38). No entanto, no caso de programas de maior envergadura, uma percentagem menor dos seus orçamentos poderia ser suficiente graças às economias de escala.

| 63. | Uma comparação entre os valores da Comissão relativos às despesas com a avaliação no período 2003-2006 e as dotações orçamentais para cada Direcção-Geral mostra que a média geral é de cerca de 0,15 %, o que é significativamente inferior ao nível sugerido pela Comissão. Uma análise mais aprofundada do exercício de 2006 revela que a DG Sociedade da Informação gastou com a avaliação aproximadamente quatro vezes mais do que a DG Investigação, considerando o montante das dotações de que dispunham. Além disso, na DG Investigação, apenas 0,7 % de um funcionário a tempo inteiro se dedica à avaliação por milhão de euros do orçamento anual. Em comparação, na DG Sociedade da Informação essa percentagem duplica. |
| --- | --- |

63.

Uma comparação entre os valores da Comissão relativos às despesas com a avaliação no período 2003-2006 e as dotações orçamentais para cada Direcção-Geral mostra que a média geral é de cerca de 0,15 %, o que é significativamente inferior ao nível sugerido pela Comissão. Uma análise mais aprofundada do exercício de 2006 revela que a DG Sociedade da Informação gastou com a avaliação aproximadamente quatro vezes mais do que a DG Investigação, considerando o montante das dotações de que dispunham. Além disso, na DG Investigação, apenas 0,7 % de um funcionário a tempo inteiro se dedica à avaliação por milhão de euros do orçamento anual. Em comparação, na DG Sociedade da Informação essa percentagem duplica.

| 64. | Como o presente relatório demonstra, este esforço adicional da DG Sociedade da Informação teve como resultado uma avaliação mais abrangente (ver pontos 13 e 46) e, como indica a amostra de estudos de avaliação examinada pelo Tribunal, o recurso a metodologias mais adequadas para dar resposta às necessidades em matéria de avaliação (ver ponto 84). |
| --- | --- |

64.

Como o presente relatório demonstra, este esforço adicional da DG Sociedade da Informação teve como resultado uma avaliação mais abrangente (ver pontos 13 e 46) e, como indica a amostra de estudos de avaliação examinada pelo Tribunal, o recurso a metodologias mais adequadas para dar resposta às necessidades em matéria de avaliação (ver ponto 84).

| 65. | Uma estimativa dos custos efectuada pelo Tribunal, com base em dados fornecidos pela Comissão, mostra que um sistema de avaliação baseado nas propostas apresentadas no presente relatório representaria, em média, menos de 0,4 % das dotações orçamentais do 7.o PQ. Este valor incluiria os custos relativos aos painéis de peritos, aos estudos subcontratados, ao pessoal do serviço comum de avaliação e das actuais unidades de avaliação específicas das Direcções-Gerais, assim como outros custos diversos (39). |
| --- | --- |

65.

Uma estimativa dos custos efectuada pelo Tribunal, com base em dados fornecidos pela Comissão, mostra que um sistema de avaliação baseado nas propostas apresentadas no presente relatório representaria, em média, menos de 0,4 % das dotações orçamentais do 7.o PQ. Este valor incluiria os custos relativos aos painéis de peritos, aos estudos subcontratados, ao pessoal do serviço comum de avaliação e das actuais unidades de avaliação específicas das Direcções-Gerais, assim como outros custos diversos (39).

Recomendações

66.

| 66. | As «Direcções-Gerais de investigação» deverão analisar a criação de um serviço comum de avaliação, em complemento das unidades de avaliação existentes em cada Direcção-Geral. Em conformidade com as práticas actuais em vigor noutros domínios de política, este serviço poderá coordenar as actividades de avaliação da Comissão para a totalidade do PQ. Essas funções de apoio comuns foram recomendadas no passado para as Direcções-Gerais responsáveis pela execução dos PQ (40) e podem tornar-se ainda mais importantes no futuro com a criação do CEI e a delegação da execução dos programas nas agências executivas. |
| --- | --- |

As «Direcções-Gerais de investigação» deverão analisar a criação de um serviço comum de avaliação, em complemento das unidades de avaliação existentes em cada Direcção-Geral. Em conformidade com as práticas actuais em vigor noutros domínios de política, este serviço poderá coordenar as actividades de avaliação da Comissão para a totalidade do PQ. Essas funções de apoio comuns foram recomendadas no passado para as Direcções-Gerais responsáveis pela execução dos PQ (40) e podem tornar-se ainda mais importantes no futuro com a criação do CEI e a delegação da execução dos programas nas agências executivas.

| 67. | A Comissão deverá continuar a recorrer aos painéis de avaliação para lhe prestarem assistência nas suas actividades de avaliação. No entanto, deverá analisar a forma de harmonizar a estrutura do painel com a estrutura geral dos programas do PQ. Poderá consegui-lo criando painéis para cada programa e, quando adequado, subprograma específicos (ver anexo IV). Além disso, estes painéis deverão ser constituídos suficientemente cedo para oferecerem um apoio eficaz à Comissão e continuarem a fazê-lo durante o período de programação e para além dele. |
| --- | --- |

67.

A Comissão deverá continuar a recorrer aos painéis de avaliação para lhe prestarem assistência nas suas actividades de avaliação. No entanto, deverá analisar a forma de harmonizar a estrutura do painel com a estrutura geral dos programas do PQ. Poderá consegui-lo criando painéis para cada programa e, quando adequado, subprograma específicos (ver anexo IV). Além disso, estes painéis deverão ser constituídos suficientemente cedo para oferecerem um apoio eficaz à Comissão e continuarem a fazê-lo durante o período de programação e para além dele.

| 68. | A Comissão deverá reanalisar os recursos dedicados à avaliação dos PQ e dos seus programas constituintes. |
| --- | --- |

68.

A Comissão deverá reanalisar os recursos dedicados à avaliação dos PQ e dos seus programas constituintes.

Metodologias e técnicas de avaliação

| 69. | Para se obter uma avaliação eficaz é necessário utilizar metodologias e técnicas adequadas. O tribunal verificou se existiam linhas directrizes específicas para avaliação dos PQ, se as necessidades em matéria de informação eram analisadas correctamente e em tempo oportuno e se eram colocados à disposição dos avaliadores dados pertinentes. Tendo em conta os estudos de avaliação efectuados pela Comissão, ou por sua conta, o Tribunal examinou se as técnicas utilizadas para os diferentes estudos forneciam uma base suficiente para dar resposta às questões colocadas pelas avaliações quinquenais. Foi igualmente tida em conta a contribuição potencial das avaliações nacionais para a avaliação dos PQ. |
| --- | --- |

69.

Para se obter uma avaliação eficaz é necessário utilizar metodologias e técnicas adequadas. O tribunal verificou se existiam linhas directrizes específicas para avaliação dos PQ, se as necessidades em matéria de informação eram analisadas correctamente e em tempo oportuno e se eram colocados à disposição dos avaliadores dados pertinentes. Tendo em conta os estudos de avaliação efectuados pela Comissão, ou por sua conta, o Tribunal examinou se as técnicas utilizadas para os diferentes estudos forneciam uma base suficiente para dar resposta às questões colocadas pelas avaliações quinquenais. Foi igualmente tida em conta a contribuição potencial das avaliações nacionais para a avaliação dos PQ.

Elaboração de normas e linhas directrizes específicas para os PQ

| 70. | A DG Orçamento publicou diversas comunicações nas quais definia a sua política de avaliação e estabelecia regras para a respectiva execução. Além disso, definiu um conjunto de normas aplicáveis a toda a Comissão (ver pontos 14 e 55) (41). No que se refere a outros domínios de política, as Direcções-Gerais competentes elaboraram igualmente guias específicos de avaliação (42). |
| --- | --- |

70.

A DG Orçamento publicou diversas comunicações nas quais definia a sua política de avaliação e estabelecia regras para a respectiva execução. Além disso, definiu um conjunto de normas aplicáveis a toda a Comissão (ver pontos 14 e 55) (41). No que se refere a outros domínios de política, as Direcções-Gerais competentes elaboraram igualmente guias específicos de avaliação (42).

| 71. | No entanto, o mesmo não sucede em relação aos PQ. A Comissão publicou (ou financiou) diversos guias e «caixas de ferramentas» metodológicas relativas às actividades de avaliação no domínio da investigação (43). No entanto, esses documentos não fornecem uma orientação específica sobre a forma de avaliar os PQ, nem indicam de que forma os conceitos-chave ou a terminologia devem ser utilizados pelos agentes da Comissão ou pelos peritos externos. Essas lacunas contribuíram para os problemas em seguida analisados. |
| --- | --- |

71.

No entanto, o mesmo não sucede em relação aos PQ. A Comissão publicou (ou financiou) diversos guias e «caixas de ferramentas» metodológicas relativas às actividades de avaliação no domínio da investigação (43). No entanto, esses documentos não fornecem uma orientação específica sobre a forma de avaliar os PQ, nem indicam de que forma os conceitos-chave ou a terminologia devem ser utilizados pelos agentes da Comissão ou pelos peritos externos. Essas lacunas contribuíram para os problemas em seguida analisados.

Necessidades em matéria de dados e respectiva recolha

Análise insuficiente das necessidades de informações

| 72. | As «Direcções-Gerais de investigação» não prestaram suficiente atenção à definição dos dados necessários em matéria de avaliação e de acompanhamento. Em vez de efectuar uma análise sistemática e pormenorizada das necessidades de informações, a Comissão indicou tardiamente os requisitos em matéria de dados durante o período de programação, sem ter devidamente em conta as necessidades gerais da avaliação. O questionário socioeconómico do sexto PQ foi a única tentativa comum a todas as Direcções-Gerais para chegar a acordo sobre esses dados (ver ponto 76). Porém, o questionário ficou concluído em 2004 (três anos após o início do período de programação) e cobria essencialmente aspectos tais como a participação de investigadores de ambos os sexos e o impacto ambiental, em vez das realizações científicas (tais como questões de propriedade intelectual, publicações, etc.), dos efeitos ou dos impactos. |
| --- | --- |

72.

As «Direcções-Gerais de investigação» não prestaram suficiente atenção à definição dos dados necessários em matéria de avaliação e de acompanhamento. Em vez de efectuar uma análise sistemática e pormenorizada das necessidades de informações, a Comissão indicou tardiamente os requisitos em matéria de dados durante o período de programação, sem ter devidamente em conta as necessidades gerais da avaliação. O questionário socioeconómico do sexto PQ foi a única tentativa comum a todas as Direcções-Gerais para chegar a acordo sobre esses dados (ver ponto 76). Porém, o questionário ficou concluído em 2004 (três anos após o início do período de programação) e cobria essencialmente aspectos tais como a participação de investigadores de ambos os sexos e o impacto ambiental, em vez das realizações científicas (tais como questões de propriedade intelectual, publicações, etc.), dos efeitos ou dos impactos.

| 73. | A avaliação dos programas baseava-se sobretudo na disponibilidade de três tipos de dados:






  — | dados recolhidos em função de indicadores de «eficácia», cuja análise fornece elementos sobre os progressos efectuados para realizar os objectivos do programa. A ausência de uma lógica de intervenção, já referida, faz com que tenha sido difícil definir esses indicadores (ver ponto 30). Na prática, os dados recolhidos eram pouco relevantes para avaliar a realização dos objectivos do programa; |
| --- | --- | --- |

73.

A avaliação dos programas baseava-se sobretudo na disponibilidade de três tipos de dados:

—

dados recolhidos em função de indicadores de «eficácia», cuja análise fornece elementos sobre os progressos efectuados para realizar os objectivos do programa. A ausência de uma lógica de intervenção, já referida, faz com que tenha sido difícil definir esses indicadores (ver ponto 30). Na prática, os dados recolhidos eram pouco relevantes para avaliar a realização dos objectivos do programa;

| — | dados relativos à gestão do programa (em função de indicadores de «eficiência»); |
| --- | --- |

—

dados relativos à gestão do programa (em função de indicadores de «eficiência»);

| — | dados relativos aos participantes (como as taxas de participação dos principais organismos de investigação). |
| --- | --- |

—

dados relativos aos participantes (como as taxas de participação dos principais organismos de investigação).

| 74. | Em particular, estes dois últimos tipos de dados deveriam estar disponíveis na Comissão. Porém, devido a problemas ao nível dos sistemas informáticos internos da Comissão, que constituem a principal fonte de informação sobre a gestão dos programas e sobre os participantes (44), na prática registaram-se problemas significativos neste domínio (45). |
| --- | --- |

74.

Em particular, estes dois últimos tipos de dados deveriam estar disponíveis na Comissão. Porém, devido a problemas ao nível dos sistemas informáticos internos da Comissão, que constituem a principal fonte de informação sobre a gestão dos programas e sobre os participantes (44), na prática registaram-se problemas significativos neste domínio (45).

| 75. | Esses problemas são ilustrados pelos atrasos consideráveis na apresentação dos relatórios previstos pelo artigo 173.o
   (46) e dos relatórios anuais de acompanhamento (até 16 meses de atraso no caso dos primeiros e até sete meses no caso dos segundos, durante o período 2002-2005). Uma vez que essas informações eram sempre fornecidas tardiamente, a sua utilidade era limitada. |
| --- | --- |

75.

Esses problemas são ilustrados pelos atrasos consideráveis na apresentação dos relatórios previstos pelo artigo 173.o
   (46) e dos relatórios anuais de acompanhamento (até 16 meses de atraso no caso dos primeiros e até sete meses no caso dos segundos, durante o período 2002-2005). Uma vez que essas informações eram sempre fornecidas tardiamente, a sua utilidade era limitada.

Abordagem ineficaz para obtenção dos dados de avaliação dos participantes

| 76. | A partir do 5.o PQ, a Comissão obrigou sistematicamente os participantes, por contrato, a fornecerem os dados necessários para medirem o grau de concretização dos objectivos do programa em termos de realizações, efeitos e impactos. Assim, os participantes deviam:






  — | no âmbito do 5.o PQ, apresentar um «Plano de execução tecnológica» e, após a conclusão do projecto, um relatório final. Estes documentos eram muitas vezes de má qualidade ou nem sequer eram apresentados; |
| --- | --- | --- |

76.

A partir do 5.o PQ, a Comissão obrigou sistematicamente os participantes, por contrato, a fornecerem os dados necessários para medirem o grau de concretização dos objectivos do programa em termos de realizações, efeitos e impactos. Assim, os participantes deviam:

—

no âmbito do 5.o PQ, apresentar um «Plano de execução tecnológica» e, após a conclusão do projecto, um relatório final. Estes documentos eram muitas vezes de má qualidade ou nem sequer eram apresentados;

| — | no âmbito do 6.o PQ, elaborar um «Plano para difusão e utilização dos conhecimentos» e responder a um questionário normalizado sobre questões socioeconómicas quando apresentavam os seus relatórios técnicos anuais. |
| --- | --- |

—

no âmbito do 6.o PQ, elaborar um «Plano para difusão e utilização dos conhecimentos» e responder a um questionário normalizado sobre questões socioeconómicas quando apresentavam os seus relatórios técnicos anuais.

| 77. | Estas obrigações contratuais de comunicação de dados impuseram encargos administrativos desnecessários aos participantes. No que se refere, por exemplo, ao questionário anual do 6.o PQ, os dados foram recolhidos com demasiada frequência e junto de todos os participantes nos projectos, quando teria sido suficiente uma amostra representativa. Esta situação poderá provocar um certo «cansaço da avaliação». Além disso, esses dados não foram obtidos no momento certo; dado que muitas das questões subjacentes para as quais foram recolhidos dados têm efeitos a médio ou a longo prazo, a obtenção de dados durante a duração contratual do projecto é, por definição, prematura (47). Por esse motivo, na prática, as informações fornecidas por esses instrumentos foram pouco utilizadas nas avaliações dos 5.o e 6.o PQ. |
| --- | --- |

77.

Estas obrigações contratuais de comunicação de dados impuseram encargos administrativos desnecessários aos participantes. No que se refere, por exemplo, ao questionário anual do 6.o PQ, os dados foram recolhidos com demasiada frequência e junto de todos os participantes nos projectos, quando teria sido suficiente uma amostra representativa. Esta situação poderá provocar um certo «cansaço da avaliação». Além disso, esses dados não foram obtidos no momento certo; dado que muitas das questões subjacentes para as quais foram recolhidos dados têm efeitos a médio ou a longo prazo, a obtenção de dados durante a duração contratual do projecto é, por definição, prematura (47). Por esse motivo, na prática, as informações fornecidas por esses instrumentos foram pouco utilizadas nas avaliações dos 5.o e 6.o PQ.

| 78. | No entanto, nenhum dos sistemas em vigor prevê que as informações sejam recolhidas, de acordo com modalidades uniformes, no final de um projecto (ou logo após a sua realização). Os intervenientes entrevistados sugeriram que essas informações poderiam incidir também sobre a realização dos objectivos do projecto, os resultados pretendidos (e imprevistos), bem como sobre a percepção dos participantes acerca do valor acrescentado comunitário. Essas informações poderiam igualmente servir de base aos exames externos dos projectos concluídos (48). |
| --- | --- |

78.

No entanto, nenhum dos sistemas em vigor prevê que as informações sejam recolhidas, de acordo com modalidades uniformes, no final de um projecto (ou logo após a sua realização). Os intervenientes entrevistados sugeriram que essas informações poderiam incidir também sobre a realização dos objectivos do projecto, os resultados pretendidos (e imprevistos), bem como sobre a percepção dos participantes acerca do valor acrescentado comunitário. Essas informações poderiam igualmente servir de base aos exames externos dos projectos concluídos (48).

| 79. | As informações, juntamente com uma maior utilização de abordagens baseadas na cientometria (como a análise de citações) para avaliar os resultados dos projectos (ver ponto 83), poderiam constituir uma base que permitisse à Comissão passar para um sistema de financiamento baseado nos resultados para as actividades de IDT co-financiadas pela Comunidade (49). |
| --- | --- |

79.

As informações, juntamente com uma maior utilização de abordagens baseadas na cientometria (como a análise de citações) para avaliar os resultados dos projectos (ver ponto 83), poderiam constituir uma base que permitisse à Comissão passar para um sistema de financiamento baseado nos resultados para as actividades de IDT co-financiadas pela Comunidade (49).

Outras fontes de dados insuficientemente utilizadas

| 80. | Existem outras fontes de dados na Comissão e nos Estados-Membros que não são suficientemente utilizadas [por exemplo, as bases de dados dos programas nacionais de IDT e dos organismos de financiamento, bem como o Serviço Comunitário de Informação sobre Investigação e Desenvolvimento (CORDIS) gerido pelo Serviço das Publicações da Comissão (50)]. |
| --- | --- |

80.

Existem outras fontes de dados na Comissão e nos Estados-Membros que não são suficientemente utilizadas [por exemplo, as bases de dados dos programas nacionais de IDT e dos organismos de financiamento, bem como o Serviço Comunitário de Informação sobre Investigação e Desenvolvimento (CORDIS) gerido pelo Serviço das Publicações da Comissão (50)].

Estudos de avaliação realizados pela Comissão

Relatórios examinados pelo Tribunal

| 81. | O Tribunal examinou 86 estudos de avaliação efectuados pela Comissão, ou por sua conta, desde 2000. Este número inclui o conjunto de 36 estudos que constituíram a base da avaliação quinquenal publicada em 2004, bem como os 50 estudos terminados desde essa data. Destes últimos, apenas 23 estudos podem ser considerados como verdadeiras avaliações dos PQ e dos seus programas (ver gráfico 5).
  Gráfico 5
  Síntese dos estudos de avaliação efectuados pela Comissão, ou por sua conta, entre 2000 e 2006








  Tipo de estudo | Número | Descrição |
| --- | --- | --- | --- |
| Avaliação das actividades dos PQ | 23 | Estudos de avaliação






  — | baseados em metodologias reconhecidas (51); |

81.

O Tribunal examinou 86 estudos de avaliação efectuados pela Comissão, ou por sua conta, desde 2000. Este número inclui o conjunto de 36 estudos que constituíram a base da avaliação quinquenal publicada em 2004, bem como os 50 estudos terminados desde essa data. Destes últimos, apenas 23 estudos podem ser considerados como verdadeiras avaliações dos PQ e dos seus programas (ver gráfico 5).

Gráfico 5

Síntese dos estudos de avaliação efectuados pela Comissão, ou por sua conta, entre 2000 e 2006

Tipo de estudo

Número

Descrição

Avaliação das actividades dos PQ

23

Estudos de avaliação

—

baseados em metodologias reconhecidas (51);

| — | fazendo referências específicas aos objectivos dos programas e ao grau de realização desses objectivos. |
| --- | --- |

—

fazendo referências específicas aos objectivos dos programas e ao grau de realização desses objectivos.

Análises de impacto nacionais efectuadas ao nível dos Estados-Membros

12

Estudos realizados pelos Estados-Membros que incidem principalmente sobre as taxas de participação nacionais, não formulando conclusões relativas aos objectivos do programa.

Estudos metodológicos

5

Estudos organizados pela Comissão para apoiar a elaboração de metodologias de avaliação.

Estudos da paisagem europeia de IDT

2

Estudos que incidem sobre as análises contextuais relativas ao sector da investigação europeia mas não incluem os PQ. Em particular, não fazem qualquer referência explícita à incidência dos PQ sobre os sistemas nacionais de investigação e de inovação.

Documentos estatísticos e descritivos não analíticos

33

Documentos que normalmente abordam as actividades dos PQ de uma forma muito indirecta, muitas vezes descrevendo as actividades em vez de as analisar.

Outros documentos

11

Uma série de documentos que abordam as questões que apresentam um interesse político geral, sem examinar os PQ neste contexto.

Avaliações que incidem sobre as questões de acompanhamento e não sobre os efeitos e os impactos

| 82. | O Tribunal efectuou uma meta-análise destes estudos de avaliação específicos da qual resultaram duas observações principais:






  — | embora diversos estudos procurem apresentar conclusões sobre os objectivos do programa, estas são formuladas de maneira vaga, o que deixa o leitor céptico quanto ao tratamento real deste aspecto durante a avaliação. Trata-se de uma consequência da ausência de objectivos de programa claramente definidos, o que compromete gravemente o processo (ver ponto 28); |
| --- | --- | --- |

82.

O Tribunal efectuou uma meta-análise destes estudos de avaliação específicos da qual resultaram duas observações principais:

—

embora diversos estudos procurem apresentar conclusões sobre os objectivos do programa, estas são formuladas de maneira vaga, o que deixa o leitor céptico quanto ao tratamento real deste aspecto durante a avaliação. Trata-se de uma consequência da ausência de objectivos de programa claramente definidos, o que compromete gravemente o processo (ver ponto 28);

| — | em vez de avaliar os efeitos e os impactos dos PQ sobre os seus programas (e subprogramas) específicos, inúmeros documentos são descritivos e, quanto muito, concentram-se nas realizações imediatas e nas questões relativas à gestão dos projectos. Esses relatórios não podem fornecer provas convincentes relativamente aos efeitos ou aos impactos. |
| --- | --- |

—

em vez de avaliar os efeitos e os impactos dos PQ sobre os seus programas (e subprogramas) específicos, inúmeros documentos são descritivos e, quanto muito, concentram-se nas realizações imediatas e nas questões relativas à gestão dos projectos. Esses relatórios não podem fornecer provas convincentes relativamente aos efeitos ou aos impactos.

Ênfase insuficiente na elaboração de novas metodologias

| 83. | Predomina o recurso às metodologias e técnicas tradicionais (especialmente inquéritos, exames documentais e entrevistas) no que se refere às avaliações efectuadas entre 2000 e 2006 (ver gráfico 6). Além disso, um certo número de outras metodologias e técnicas de avaliação, complexas mas apesar disso comprovadas, não foram utilizadas, ou apenas muito raramente, em particular:






  — | as abordagens baseadas na cientometria (tais como a análise de citações) (52); |
| --- | --- | --- |

83.

Predomina o recurso às metodologias e técnicas tradicionais (especialmente inquéritos, exames documentais e entrevistas) no que se refere às avaliações efectuadas entre 2000 e 2006 (ver gráfico 6). Além disso, um certo número de outras metodologias e técnicas de avaliação, complexas mas apesar disso comprovadas, não foram utilizadas, ou apenas muito raramente, em particular:

—

as abordagens baseadas na cientometria (tais como a análise de citações) (52);

| — | os modelos quantitativos (como as análises custo/eficiência, custo/eficácia e custo/benefício) (53); |
| --- | --- |

—

os modelos quantitativos (como as análises custo/eficiência, custo/eficácia e custo/benefício) (53);

| — | os modelos de actor (ou de comportamento) (que incidem sobre os pontos de vista das pessoas implicadas numa intervenção, como as características das redes de investigação e as alterações que as afectam ao longo do tempo). |
| --- | --- |

—

os modelos de actor (ou de comportamento) (que incidem sobre os pontos de vista das pessoas implicadas numa intervenção, como as características das redes de investigação e as alterações que as afectam ao longo do tempo).

Image

| 84. | Os estudos de avaliação que tentam resolver algumas das dificuldades metodológicas da avaliação da intervenção pública em matéria de investigação (ver anexo I) só foram utilizados num reduzido número de casos:






  — | recentemente, foram concluídos dois estudos sobre a lógica de intervenção (54); |
| --- | --- | --- |

84.

Os estudos de avaliação que tentam resolver algumas das dificuldades metodológicas da avaliação da intervenção pública em matéria de investigação (ver anexo I) só foram utilizados num reduzido número de casos:

—

recentemente, foram concluídos dois estudos sobre a lógica de intervenção (54);

| — | identificaram-se apenas três estudos que tentam avaliar o efeito do financiamento comunitário sobre a acção em rede das organizações de investigação ao nível pan-europeu (55), se bem que a hipótese dos efeitos de rede positivos esteja no centro do conceito do EEI; |
| --- | --- |

—

identificaram-se apenas três estudos que tentam avaliar o efeito do financiamento comunitário sobre a acção em rede das organizações de investigação ao nível pan-europeu (55), se bem que a hipótese dos efeitos de rede positivos esteja no centro do conceito do EEI;

| — | foi efectuada uma única tentativa para tirar conclusões sobre o impacto alcançado a nível do programa (ou do subprograma), combinando a agregação das análises de avaliação ao nível do projecto com outras técnicas de avaliação (56); |
| --- | --- |

—

foi efectuada uma única tentativa para tirar conclusões sobre o impacto alcançado a nível do programa (ou do subprograma), combinando a agregação das análises de avaliação ao nível do projecto com outras técnicas de avaliação (56);

| — | não se encontraram elementos que comprovem o recurso a outras metodologias, tais como a abordagem «contrafactual» (ou abordagem do «grupo de controlo»). Trata-se de uma abordagem que seria particularmente útil para ilustrar o valor acrescentado dos programas ao nível comunitário, comparativamente à ausência total de intervenção (ou à intervenção ao nível nacional ou regional). |
| --- | --- |

—

não se encontraram elementos que comprovem o recurso a outras metodologias, tais como a abordagem «contrafactual» (ou abordagem do «grupo de controlo»). Trata-se de uma abordagem que seria particularmente útil para ilustrar o valor acrescentado dos programas ao nível comunitário, comparativamente à ausência total de intervenção (ou à intervenção ao nível nacional ou regional).

| 85. | Os intervenientes entrevistados pelo Tribunal eram de opinião que a utilidade e a relevância das avaliações da Comissão poderiam melhorar, o que demonstra que é necessário desenvolver mais a metodologia para que o sistema de avaliação possa evoluir de forma a ter em conta as alterações dos PQ (ver ponto 7) (57). |
| --- | --- |

85.

Os intervenientes entrevistados pelo Tribunal eram de opinião que a utilidade e a relevância das avaliações da Comissão poderiam melhorar, o que demonstra que é necessário desenvolver mais a metodologia para que o sistema de avaliação possa evoluir de forma a ter em conta as alterações dos PQ (ver ponto 7) (57).

As questões problemáticas levantadas pelas avaliações quinquenais não puderam ser abordadas com base nos estudos de avaliação específica da Comissão

| 86. | Esta constatação é igualmente ilustrada pelos problemas significativos com que o painel de peritos responsável pela avaliação quinquenal de 2004 (58) se deparou para dar resposta às questões de avaliação sugeridas no seu mandato. Muitas dessas questões problemáticas não puderam ser examinadas de todo, devido à ausência de estudos adequados realizados previamente pela Comissão, ou em seu nome, e dado que os membros do painel não tinham possibilidade de encomendar esses estudos em tempo oportuno (ver gráfico 7).
  Gráfico 7
  Questões de avaliação abordadas na avaliação quinquenal de 2004 | Questão de avaliação | Abordada no relatório? |
| --- | --- | --- | --- |
| EXECUÇÃO | As acções foram executadas de forma eficaz? | Parcialmente |
| As acções tinham uma boa relação custo-eficácia? | Parcialmente |
| As acções constituíam a melhor forma de alcançar os objectivos definidos? | Não |
| O quadro legal global (incluindo as regras aplicáveis à participação e aos contratos), os instrumentos políticos e as modalidades de execução eram claros, apropriados e eficazes? | Não |
| O nível de financiamento e os outros recursos disponíveis eram adequados? | Não |
| As comunidades industriais e de investigação seleccionadas, incluindo as PME, tinham condições para responder de forma apropriada? | Sim |
| REALIZAÇÕES | As acções alcançaram os seus objectivos e em que medida se verificaram resultados inesperados? | Não |
| Quais são os principais resultados, nomeadamente em matéria de realizações científicas, tecnológicas, socioeconómicas e ambientais, em matéria de cooperação internacional, de transferência de conhecimentos e de inovação, de actividades pré-normativas, de acessibilidade, de difusão e de exploração dos resultados da investigação, de desenvolvimento dos recursos humanos, de mobilidade e de formação, bem como em matéria de apoio e de reforço da coordenação das actividades de investigação? | Não |
| Os resultados, bem como os seus efeitos e impactos, foram globalmente satisfatórios do ponto de vista dos beneficiários directos ou indirectos, bem como dos intervenientes? | Não |
| As comunidades industriais e de investigação em causa, incluindo as PME, foram tidas em conta de forma satisfatória? | Sim |
| De que forma e em que medida as acções contribuíram para melhorar a competitividade da investigação da UE ao nível internacional? A investigação da UE obteve uma posição de liderança em domínios específicos? | Parcialmente |
| De que forma e em que medida as acções contribuíram para as políticas comunitárias em geral e para a estratégia da UE em matéria de desenvolvimento sustentável? | Não |
| Existem provas de uma alteração estrutural, nomeadamente uma ligação em rede, uma integração e uma coordenação da investigação, a nível nacional ou internacional, na sequência das acções comunitárias de investigação? | Não |
| Os programas permitiram uma optimização dos recursos? As acções têm impactos duradouros? | Não |
| EVOLUÇÃO E PERSPECTIVAS FUTURAS | De que forma evoluíram os programas-quadro em termos de lógica, de objectivos, de prioridades temáticas, de equilíbrio entre as prioridades de baixo para cima e de cima para baixo e entre investigação fundamental e investigação aplicada, de instrumentos, de valor acrescentado europeu e de outros impactos, nomeadamente tendo em conta a emergência do conceito do espaço europeu de investigação (EEI), dos objectivos de Lisboa e dos principais critérios de referência internacionais em termos económicos e de investigação? | Sim |
| De que forma é que o programa-quadro criou um valor acrescentado europeu? | Sim |
| O valor acrescentado europeu podia ser criado através de outros mecanismos internacionais ou nacionais? | Não |
| Os objectivos políticos, as prioridades, os instrumentos e o ciclo de vida dos programas são apropriados para o futuro? | Sim |

86.

Esta constatação é igualmente ilustrada pelos problemas significativos com que o painel de peritos responsável pela avaliação quinquenal de 2004 (58) se deparou para dar resposta às questões de avaliação sugeridas no seu mandato. Muitas dessas questões problemáticas não puderam ser examinadas de todo, devido à ausência de estudos adequados realizados previamente pela Comissão, ou em seu nome, e dado que os membros do painel não tinham possibilidade de encomendar esses estudos em tempo oportuno (ver gráfico 7).

Gráfico 7

Questões de avaliação abordadas na avaliação quinquenal de 2004

Questão de avaliação

Abordada no relatório?

EXECUÇÃO

As acções foram executadas de forma eficaz?

Parcialmente

As acções tinham uma boa relação custo-eficácia?

Parcialmente

As acções constituíam a melhor forma de alcançar os objectivos definidos?

Não

O quadro legal global (incluindo as regras aplicáveis à participação e aos contratos), os instrumentos políticos e as modalidades de execução eram claros, apropriados e eficazes?

Não

O nível de financiamento e os outros recursos disponíveis eram adequados?

Não

As comunidades industriais e de investigação seleccionadas, incluindo as PME, tinham condições para responder de forma apropriada?

Sim

REALIZAÇÕES

As acções alcançaram os seus objectivos e em que medida se verificaram resultados inesperados?

Não

Quais são os principais resultados, nomeadamente em matéria de realizações científicas, tecnológicas, socioeconómicas e ambientais, em matéria de cooperação internacional, de transferência de conhecimentos e de inovação, de actividades pré-normativas, de acessibilidade, de difusão e de exploração dos resultados da investigação, de desenvolvimento dos recursos humanos, de mobilidade e de formação, bem como em matéria de apoio e de reforço da coordenação das actividades de investigação?

Não

Os resultados, bem como os seus efeitos e impactos, foram globalmente satisfatórios do ponto de vista dos beneficiários directos ou indirectos, bem como dos intervenientes?

Não

As comunidades industriais e de investigação em causa, incluindo as PME, foram tidas em conta de forma satisfatória?

Sim

De que forma e em que medida as acções contribuíram para melhorar a competitividade da investigação da UE ao nível internacional? A investigação da UE obteve uma posição de liderança em domínios específicos?

Parcialmente

De que forma e em que medida as acções contribuíram para as políticas comunitárias em geral e para a estratégia da UE em matéria de desenvolvimento sustentável?

Não

Existem provas de uma alteração estrutural, nomeadamente uma ligação em rede, uma integração e uma coordenação da investigação, a nível nacional ou internacional, na sequência das acções comunitárias de investigação?

Não

Os programas permitiram uma optimização dos recursos? As acções têm impactos duradouros?

Não

EVOLUÇÃO E PERSPECTIVAS FUTURAS

De que forma evoluíram os programas-quadro em termos de lógica, de objectivos, de prioridades temáticas, de equilíbrio entre as prioridades de baixo para cima e de cima para baixo e entre investigação fundamental e investigação aplicada, de instrumentos, de valor acrescentado europeu e de outros impactos, nomeadamente tendo em conta a emergência do conceito do espaço europeu de investigação (EEI), dos objectivos de Lisboa e dos principais critérios de referência internacionais em termos económicos e de investigação?

Sim

De que forma é que o programa-quadro criou um valor acrescentado europeu?

Sim

O valor acrescentado europeu podia ser criado através de outros mecanismos internacionais ou nacionais?

Não

Os objectivos políticos, as prioridades, os instrumentos e o ciclo de vida dos programas são apropriados para o futuro?

Sim

| 87. | Além disso, verificou-se que os membros do painel de peritos só puderam responder às questões definidas no seu mandato nos casos em que estas se referiam a aspectos para os quais existiam objectivos claros e quantificáveis definidos nos programas (como, por exemplo, o número de pequenas e médias empresas participantes). |
| --- | --- |

87.

Além disso, verificou-se que os membros do painel de peritos só puderam responder às questões definidas no seu mandato nos casos em que estas se referiam a aspectos para os quais existiam objectivos claros e quantificáveis definidos nos programas (como, por exemplo, o número de pequenas e médias empresas participantes).

Avaliações dos PQ realizadas ao nível nacional

| 88. | Vários Estados-Membros e países associados realizam as suas próprias avaliações nacionais dos PQ, abordando questões pertinentes e interessantes do seu ponto de vista (59). Nos últimos oito anos, foram elaborados 14 estudos deste tipo por nove Estados-Membros e um país associado. |
| --- | --- |

88.

Vários Estados-Membros e países associados realizam as suas próprias avaliações nacionais dos PQ, abordando questões pertinentes e interessantes do seu ponto de vista (59). Nos últimos oito anos, foram elaborados 14 estudos deste tipo por nove Estados-Membros e um país associado.

| 89. | Embora a Comissão encorajasse, na medida do possível, a utilização de abordagens normalizadas, os estudos de impacto nacionais eram muito heterogéneos (60). Como tal, uma vez que não seguem uma metodologia harmonizada, são poucas as possibilidades de agregar, combinar ou comparar os seus resultados. Além disso, devido ao seu carácter nacional, esses estudos só reflectem parcialmente a dimensão da cooperação europeia. |
| --- | --- |

89.

Embora a Comissão encorajasse, na medida do possível, a utilização de abordagens normalizadas, os estudos de impacto nacionais eram muito heterogéneos (60). Como tal, uma vez que não seguem uma metodologia harmonizada, são poucas as possibilidades de agregar, combinar ou comparar os seus resultados. Além disso, devido ao seu carácter nacional, esses estudos só reflectem parcialmente a dimensão da cooperação europeia.

| 90. | No seu «livro verde» de 2007 sobre espaço europeu de investigação, a Comissão afirmou a importância de disponibilizar, ao nível do espaço europeu de investigação, análises rigorosas sobre o impacto e a eficácia das actividades e das políticas de investigação, incluindo as dos Estados-Membros e da UE. A Comissão reconheceu igualmente que as disposições actuais não eram suficientes para dar resposta a este desafio, uma vez que cada nível de intervenção realizava as suas avaliações separadamente (61). |
| --- | --- |

90.

No seu «livro verde» de 2007 sobre espaço europeu de investigação, a Comissão afirmou a importância de disponibilizar, ao nível do espaço europeu de investigação, análises rigorosas sobre o impacto e a eficácia das actividades e das políticas de investigação, incluindo as dos Estados-Membros e da UE. A Comissão reconheceu igualmente que as disposições actuais não eram suficientes para dar resposta a este desafio, uma vez que cada nível de intervenção realizava as suas avaliações separadamente (61).

Recomendações

91.

| 91. | A Comissão deverá elaborar um manual para avaliação das actividades financiadas pelos PQ, que inclua definições dos conceitos-chave e terminologia e indique uma gama de metodologias apropriadas para determinadas actividades de avaliação. O manual deverá basear-se nos guias e «caixas de ferramentas» existentes e ser actualizado com regularidade. |
| --- | --- |

A Comissão deverá elaborar um manual para avaliação das actividades financiadas pelos PQ, que inclua definições dos conceitos-chave e terminologia e indique uma gama de metodologias apropriadas para determinadas actividades de avaliação. O manual deverá basear-se nos guias e «caixas de ferramentas» existentes e ser actualizado com regularidade.

| 92. | A Comissão deverá definir as suas necessidades em matéria de informação, tendo em conta a necessidade de limitar o encargo administrativo para os participantes. |
| --- | --- |

92.

A Comissão deverá definir as suas necessidades em matéria de informação, tendo em conta a necessidade de limitar o encargo administrativo para os participantes.

| 93. | A Comissão deverá fornecer em tempo útil informações sobre o acompanhamento da execução dos PQ. Como prevêem as «regras de participação» do 7.o PQ, é necessário resolver urgentemente os problemas relativos aos sistemas informáticos da Comissão de tratamento dos dados relativos à gestão dos programas e aos participantes. |
| --- | --- |

93.

A Comissão deverá fornecer em tempo útil informações sobre o acompanhamento da execução dos PQ. Como prevêem as «regras de participação» do 7.o PQ, é necessário resolver urgentemente os problemas relativos aos sistemas informáticos da Comissão de tratamento dos dados relativos à gestão dos programas e aos participantes.

| 94. | Convém reduzir significativamente as obrigações dos participantes em matéria de apresentação de relatórios à Comissão. Os inquéritos deverão ser realizados apenas com base em amostras representativas. A obrigação contratual que prevê a apresentação, relativamente a cada projecto, de dados relativos ao impacto baseados em indicadores deverá ser substituída por uma breve auto-avaliação após a conclusão do projecto. |
| --- | --- |

94.

Convém reduzir significativamente as obrigações dos participantes em matéria de apresentação de relatórios à Comissão. Os inquéritos deverão ser realizados apenas com base em amostras representativas. A obrigação contratual que prevê a apresentação, relativamente a cada projecto, de dados relativos ao impacto baseados em indicadores deverá ser substituída por uma breve auto-avaliação após a conclusão do projecto.

| 95. | Nas suas avaliações, a Comissão deverá recorrer mais às fontes complementares existentes de dados relevantes (tanto ao nível da Comissão como nos Estados-Membros). |
| --- | --- |

95.

Nas suas avaliações, a Comissão deverá recorrer mais às fontes complementares existentes de dados relevantes (tanto ao nível da Comissão como nos Estados-Membros).

| 96. | A Comissão deverá utilizar toda a gama de técnicas de avaliação disponíveis. Além disso, deverá apoiar o desenvolvimento de novas abordagens para resolver as dificuldades metodológicas inerentes à avaliação da intervenção pública no domínio da investigação (ver anexo I) e utilizar essas abordagens nas suas próprias avaliações. |
| --- | --- |

96.

A Comissão deverá utilizar toda a gama de técnicas de avaliação disponíveis. Além disso, deverá apoiar o desenvolvimento de novas abordagens para resolver as dificuldades metodológicas inerentes à avaliação da intervenção pública no domínio da investigação (ver anexo I) e utilizar essas abordagens nas suas próprias avaliações.

| 97. | A Comissão deverá procurar, em colaboração com os Estados-Membros, a forma de maximizar os benefícios das avaliações dos PQ efectuadas a nível nacional. |
| --- | --- |

97.

A Comissão deverá procurar, em colaboração com os Estados-Membros, a forma de maximizar os benefícios das avaliações dos PQ efectuadas a nível nacional.

Difusão e utilização das constatações resultantes da avaliação

| 98. | A avaliação deverá fornecer informações e uma análise relevantes que possam ser utilizadas de forma eficaz na gestão dos programas e na elaboração de políticas. Nomeadamente, a avaliação deverá fornecer a base para uma reflexão fundamentada sobre os pontos fortes e fracos da intervenção pública, necessária para retirar ensinamentos. O Tribunal verificou se as avaliações eram efectuadas em tempo útil, se as constatações eram comunicadas e divulgadas aos intervenientes fora da Comissão e se esta tinha em conta as recomendações tendentes à revisão dos programas em curso («learning programmes»). |
| --- | --- |

98.

A avaliação deverá fornecer informações e uma análise relevantes que possam ser utilizadas de forma eficaz na gestão dos programas e na elaboração de políticas. Nomeadamente, a avaliação deverá fornecer a base para uma reflexão fundamentada sobre os pontos fortes e fracos da intervenção pública, necessária para retirar ensinamentos. O Tribunal verificou se as avaliações eram efectuadas em tempo útil, se as constatações eram comunicadas e divulgadas aos intervenientes fora da Comissão e se esta tinha em conta as recomendações tendentes à revisão dos programas em curso («learning programmes»).

A programação das avaliações não teve em conta o tipo de informações que se poderia razoavelmente esperar

| 99. | O Tribunal reconhece que determinados tipos de análise exigem uma perspectiva a longo prazo (por exemplo, a avaliação dos efeitos e dos impactos socioeconómicos) e que determinados aspectos estão relacionados com um período de programação específico (por exemplo, os objectivos dos programas, mesmo num determinado domínio científico), ao contrário de outros (ver gráfico 8). Porém, nas suas actividades de avaliação, a Comissão não adoptou uma abordagem que tenha em conta esses horizontes temporais. |
| --- | --- |

99.

O Tribunal reconhece que determinados tipos de análise exigem uma perspectiva a longo prazo (por exemplo, a avaliação dos efeitos e dos impactos socioeconómicos) e que determinados aspectos estão relacionados com um período de programação específico (por exemplo, os objectivos dos programas, mesmo num determinado domínio científico), ao contrário de outros (ver gráfico 8). Porém, nas suas actividades de avaliação, a Comissão não adoptou uma abordagem que tenha em conta esses horizontes temporais.

| 100. | Nos termos da legislação, as principais actividades de avaliação da Comissão deveriam incidir exclusivamente sobre os cinco anos que precedem a avaliação quinquenal, cobrindo assim partes de dois períodos de programação sucessivos. Desta forma, os efeitos e os impactos a médio e a longo prazo raramente foram tidos em consideração. Como consequência, em geral as avaliações quinquenais incidiram essencialmente sobre aspectos ligados ao acompanhamento, questões relacionadas com a concepção dos programas a curto prazo e observações gerais relativas à orientação dos programas-quadro. O Tribunal congratula-se com o facto de a legislação relativa ao 7.o PQ já não prever avaliações quinquenais, nem qualquer período previamente definido sobre o qual a avaliação deva incidir.
  Gráfico 8
  Aspectos relativos ao acompanhamento e à avaliação segundo os diferentes horizontes temporais







  Acompanhamento da execução do programa

  (em curso) | — | Aspectos relativos à gestão do programa (por exemplo, prazo de celebração dos contratos, prazo de pagamento, taxas de participação e de êxito nos concursos, execução orçamental, taxas de financiamento, etc.) |
| --- | --- | --- | --- |

100.

Nos termos da legislação, as principais actividades de avaliação da Comissão deveriam incidir exclusivamente sobre os cinco anos que precedem a avaliação quinquenal, cobrindo assim partes de dois períodos de programação sucessivos. Desta forma, os efeitos e os impactos a médio e a longo prazo raramente foram tidos em consideração. Como consequência, em geral as avaliações quinquenais incidiram essencialmente sobre aspectos ligados ao acompanhamento, questões relacionadas com a concepção dos programas a curto prazo e observações gerais relativas à orientação dos programas-quadro. O Tribunal congratula-se com o facto de a legislação relativa ao 7.o PQ já não prever avaliações quinquenais, nem qualquer período previamente definido sobre o qual a avaliação deva incidir.

Gráfico 8

Aspectos relativos ao acompanhamento e à avaliação segundo os diferentes horizontes temporais

Acompanhamento da execução do programa

(em curso)

—

Aspectos relativos à gestão do programa (por exemplo, prazo de celebração dos contratos, prazo de pagamento, taxas de participação e de êxito nos concursos, execução orçamental, taxas de financiamento, etc.)

Avaliação

a curto prazo

(por exemplo, na melhor das hipóteses após 1 a 2 anos)

| — | Aspectos relativos à gestão do programa (por exemplo, eficiência dos procedimentos administrativos) |
| --- | --- |

—

Aspectos relativos à gestão do programa (por exemplo, eficiência dos procedimentos administrativos)

| — | Aspectos relativos à concepção do programa (por exemplo, acessibilidade e flexibilidade dos instrumentos, entraves à participação, consequências do insucesso do convite à apresentação de propostas, etc.) |
| --- | --- |

—

Aspectos relativos à concepção do programa (por exemplo, acessibilidade e flexibilidade dos instrumentos, entraves à participação, consequências do insucesso do convite à apresentação de propostas, etc.)

| — | Análise do perfil de participação (até ao momento, essencialmente quantitativa) |
| --- | --- |

—

Análise do perfil de participação (até ao momento, essencialmente quantitativa)

Avaliação

a médio prazo

(por exemplo, após 7 anos)

| — | Aspectos relativos à concepção do programa (por exemplo, eficácia dos instrumentos) |
| --- | --- |

—

Aspectos relativos à concepção do programa (por exemplo, eficácia dos instrumentos)

| — | Análise da participação (combinando os aspectos qualitativos e quantitativos, por exemplo análise das redes de investigação, dos impactos sobre o comportamento dos investigadores, etc.) |
| --- | --- |

—

Análise da participação (combinando os aspectos qualitativos e quantitativos, por exemplo análise das redes de investigação, dos impactos sobre o comportamento dos investigadores, etc.)

| — | Análise das realizações dos projectos
   (62) (por exemplo, publicações, artigos, patentes, licenças, protótipos, cientistas formados, etc.) |
| --- | --- |

—

Análise das realizações dos projectos
   (62) (por exemplo, publicações, artigos, patentes, licenças, protótipos, cientistas formados, etc.)

Avaliação

a longo prazo

(por exemplo, após > 10 anos)

| — | Avaliação dos efeitos e dos impactos |
| --- | --- |

—

Avaliação dos efeitos e dos impactos

Fonte: Tribunal de Contas Europeu.

| 101. | Os peritos da Comissão tinham igualmente constatado insuficiências das avaliações quinquenais em matéria de avaliação dos efeitos e dos impactos dos PQ:






  — | em 2004, o painel responsável pela avaliação quinquenal salientou que a avaliação deveria abranger e prestar a atenção necessária, tanto a aspectos a curto prazo como a longo prazo, e que poderiam ser atribuídos recursos que permitissem estudos de avaliação mais ambiciosos a longo prazo, susceptíveis de tratar de uma forma mais sistemática os aspectos estruturais e os aspectos socioeconómicos mais alargados (63); |
| --- | --- | --- |

101.

Os peritos da Comissão tinham igualmente constatado insuficiências das avaliações quinquenais em matéria de avaliação dos efeitos e dos impactos dos PQ:

—

em 2004, o painel responsável pela avaliação quinquenal salientou que a avaliação deveria abranger e prestar a atenção necessária, tanto a aspectos a curto prazo como a longo prazo, e que poderiam ser atribuídos recursos que permitissem estudos de avaliação mais ambiciosos a longo prazo, susceptíveis de tratar de uma forma mais sistemática os aspectos estruturais e os aspectos socioeconómicos mais alargados (63);

| — | um estudo encomendado pela DG Investigação revelou que as actuais práticas de avaliação das acções de IDT da UE (que incluem um acompanhamento contínuo, avaliações quinquenais e uma avaliação intercalar) se caracterizam pela grande ênfase colocada no acompanhamento comparativamente à avaliação do impacto e que, para conseguir alterar a procura e as expectativas no sentido do impacto socioeconómico, seria necessário um novo quadro de avaliação e de acompanhamento, que obrigasse a uma maior incidência sobre o impacto e não sobre o acompanhamento das realizações (64). |
| --- | --- |

—

um estudo encomendado pela DG Investigação revelou que as actuais práticas de avaliação das acções de IDT da UE (que incluem um acompanhamento contínuo, avaliações quinquenais e uma avaliação intercalar) se caracterizam pela grande ênfase colocada no acompanhamento comparativamente à avaliação do impacto e que, para conseguir alterar a procura e as expectativas no sentido do impacto socioeconómico, seria necessário um novo quadro de avaliação e de acompanhamento, que obrigasse a uma maior incidência sobre o impacto e não sobre o acompanhamento das realizações (64).

| 102. | O problema da realização em tempo oportuno da avaliação também afecta as avaliações específicas previstas pela legislação. Assim, o relatório Marimón de 2004, no qual foram analisados os novos instrumentos introduzidos n.o 6.o PQ (2003-2006), foi encomendado prematuramente e, como consequência, a experiência prática e as provas empíricas nas quais se deveriam basear as suas conclusões eram insuficientes ou inexistentes (65). |
| --- | --- |

102.

O problema da realização em tempo oportuno da avaliação também afecta as avaliações específicas previstas pela legislação. Assim, o relatório Marimón de 2004, no qual foram analisados os novos instrumentos introduzidos n.o 6.o PQ (2003-2006), foi encomendado prematuramente e, como consequência, a experiência prática e as provas empíricas nas quais se deveriam basear as suas conclusões eram insuficientes ou inexistentes (65).

Comunicação e difusão

| 103. | A Comissão pode tomar a iniciativa de desenvolver e adaptar programas de trabalho operacionais de acordo com ciclos de curta duração, sujeitos à aprovação do comité de programa em questão. Trata-se de uma oportunidade de efectuar ajustamentos ao nível da gestão do programa, bem como de reafectar os orçamentos ao nível dos subprogramas. Não há indícios de que a Comissão tenha feito uso desta possibilidade (ver ponto 107). |
| --- | --- |

103.

A Comissão pode tomar a iniciativa de desenvolver e adaptar programas de trabalho operacionais de acordo com ciclos de curta duração, sujeitos à aprovação do comité de programa em questão. Trata-se de uma oportunidade de efectuar ajustamentos ao nível da gestão do programa, bem como de reafectar os orçamentos ao nível dos subprogramas. Não há indícios de que a Comissão tenha feito uso desta possibilidade (ver ponto 107).

| 104. | Além disso, tendo em conta a forma como os PQ são concebidos e adoptados, é quase impossível para a Comissão efectuar alterações significativas, como modificar os objectivos dos programas ou reafectar os orçamentos pelos subprogramas. Só o legislador pode promulgar alterações tão abrangentes no âmbito da revisão da legislação relativa aos PQ (como em 2010, para o 7.o PQ) ou da adopção do PQ seguinte. Por este motivo, a legislação prevê geralmente que os principais exercícios de avaliação sejam programados de forma a que os seus resultados possam ser tidos em conta da melhor forma na elaboração das políticas. |
| --- | --- |

104.

Além disso, tendo em conta a forma como os PQ são concebidos e adoptados, é quase impossível para a Comissão efectuar alterações significativas, como modificar os objectivos dos programas ou reafectar os orçamentos pelos subprogramas. Só o legislador pode promulgar alterações tão abrangentes no âmbito da revisão da legislação relativa aos PQ (como em 2010, para o 7.o PQ) ou da adopção do PQ seguinte. Por este motivo, a legislação prevê geralmente que os principais exercícios de avaliação sejam programados de forma a que os seus resultados possam ser tidos em conta da melhor forma na elaboração das políticas.

| 105. | Assim, as próprias «Direcções-Gerais de investigação» fazem parte dos principais utilizadores das avaliações da Comissão (66). No entanto, a legislação relativa aos PQ também prevê expressamente que as avaliações sejam comunicadas ao Parlamento Europeu e ao Conselho. |
| --- | --- |

105.

Assim, as próprias «Direcções-Gerais de investigação» fazem parte dos principais utilizadores das avaliações da Comissão (66). No entanto, a legislação relativa aos PQ também prevê expressamente que as avaliações sejam comunicadas ao Parlamento Europeu e ao Conselho.

| 106. | Contudo, no âmbito do inquérito efectuado pelo Tribunal à Comissão ITRE do Parlamento Europeu e ao Comité CREST do Conselho, a maioria dos inquiridos referiu que não se considera suficientemente informada sobre a execução e os resultados dos programas-quadro (ver gráfico 9) (67). |
| --- | --- |

106.

Contudo, no âmbito do inquérito efectuado pelo Tribunal à Comissão ITRE do Parlamento Europeu e ao Comité CREST do Conselho, a maioria dos inquiridos referiu que não se considera suficientemente informada sobre a execução e os resultados dos programas-quadro (ver gráfico 9) (67).

Image

Acompanhamento das constatações relativas à avaliação

| 107. | Nas suas análises de avaliação anuais, a Comissão incluiu uma síntese das constatações efectuadas e das medidas tomadas na sequência das suas avaliações (68). No que se refere ao acompanhamento, a Comissão deu igualmente respostas formais às constatações e às recomendações formuladas nas avaliações quinquenais e nas avaliações específicas previstas pela legislação. Além disso, na medida do possível, tomou as medidas apropriadas para corrigir as deficiências identificadas nas avaliações. Porém, o mesmo não sucedeu no caso de vários outros relatórios de avaliação examinados e não há indícios de que as suas constatações e as recomendações tenham sido tidas em conta para alterar os programas de trabalho. As declarações relativas à orçamentação por actividades e os relatórios anuais de actividades das Direcções-Gerais também não indicam em que medida as constatações resultantes das avaliações se traduziram em medidas concretas. |
| --- | --- |

107.

Nas suas análises de avaliação anuais, a Comissão incluiu uma síntese das constatações efectuadas e das medidas tomadas na sequência das suas avaliações (68). No que se refere ao acompanhamento, a Comissão deu igualmente respostas formais às constatações e às recomendações formuladas nas avaliações quinquenais e nas avaliações específicas previstas pela legislação. Além disso, na medida do possível, tomou as medidas apropriadas para corrigir as deficiências identificadas nas avaliações. Porém, o mesmo não sucedeu no caso de vários outros relatórios de avaliação examinados e não há indícios de que as suas constatações e as recomendações tenham sido tidas em conta para alterar os programas de trabalho. As declarações relativas à orçamentação por actividades e os relatórios anuais de actividades das Direcções-Gerais também não indicam em que medida as constatações resultantes das avaliações se traduziram em medidas concretas.

Recomendações

108.

| 108. | A Comissão deverá definir o tipo e o âmbito da avaliação que pode razoavelmente ser efectuada nas datas previstas na legislação (2008, 2010 e 2015), explicar de que forma a avaliação poderá ser utilizada para adaptar os programas («learning programmes») e especificar a contribuição que a avaliação poderá dar para a elaboração de decisões políticas. Em particular, a Comissão deverá clarificar a abordagem que pretende adoptar relativamente à avaliação dos resultados a longo prazo do actual PQ e dos anteriores, dado que esses resultados poderão demorar entre sete a dez anos a manifestar-se (ver gráfico 8). |
| --- | --- |

A Comissão deverá definir o tipo e o âmbito da avaliação que pode razoavelmente ser efectuada nas datas previstas na legislação (2008, 2010 e 2015), explicar de que forma a avaliação poderá ser utilizada para adaptar os programas («learning programmes») e especificar a contribuição que a avaliação poderá dar para a elaboração de decisões políticas. Em particular, a Comissão deverá clarificar a abordagem que pretende adoptar relativamente à avaliação dos resultados a longo prazo do actual PQ e dos anteriores, dado que esses resultados poderão demorar entre sete a dez anos a manifestar-se (ver gráfico 8).

| 109. | A Comissão deverá rever as suas práticas em matéria de comunicação e de difusão das constatações resultantes das suas avaliações, a fim de garantir que os intervenientes recebem as informações necessárias. Sobretudo, as «Direcções-Gerais de investigação» deverão dar uma resposta formal a todas as avaliações e publicar esses estudos em tempo útil, juntamente com as suas respostas. As «Direcções-Gerais de investigação», nas suas declarações relativas à orçamentação por actividades e nos seus relatórios anuais de actividades, deverão igualmente prestar informações sobre o seguimento dado às recomendações e tê-las em conta na actualização dos programas de trabalho e na concepção de futuros programas. |
| --- | --- |

109.

A Comissão deverá rever as suas práticas em matéria de comunicação e de difusão das constatações resultantes das suas avaliações, a fim de garantir que os intervenientes recebem as informações necessárias. Sobretudo, as «Direcções-Gerais de investigação» deverão dar uma resposta formal a todas as avaliações e publicar esses estudos em tempo útil, juntamente com as suas respostas. As «Direcções-Gerais de investigação», nas suas declarações relativas à orçamentação por actividades e nos seus relatórios anuais de actividades, deverão igualmente prestar informações sobre o seguimento dado às recomendações e tê-las em conta na actualização dos programas de trabalho e na concepção de futuros programas.

CONCLUSÃO GERAL

| 110. | O Tribunal reconhece que a avaliação dos programas de IDT e mais especialmente dos seus resultados a longo prazo, é difícil em si, sendo complicado definir as melhores práticas na matéria. |
| --- | --- |

110.

O Tribunal reconhece que a avaliação dos programas de IDT e mais especialmente dos seus resultados a longo prazo, é difícil em si, sendo complicado definir as melhores práticas na matéria.

| 111. | Na opinião do Tribunal, a avaliação é fundamental para a gestão dos programas, bem como para a futura programação e a elaboração de políticas. A avaliação fornece igualmente uma base para a obrigação de prestar contas. É uma importante fonte de informações sobre os resultados alcançados, pretendidos ou não, o grau de realização dos objectivos dos programas, a relevância e a utilidade dos programas, bem como a eficiência e a eficácia da sua execução. Dado que o Parlamento Europeu e o Conselho tomam as decisões sobre a orientação geral, as questões orçamentais e a concepção dos programas, necessitam de um sistema de avaliação transparente, credível e sólido que lhes forneça informações pertinentes. |
| --- | --- |

111.

Na opinião do Tribunal, a avaliação é fundamental para a gestão dos programas, bem como para a futura programação e a elaboração de políticas. A avaliação fornece igualmente uma base para a obrigação de prestar contas. É uma importante fonte de informações sobre os resultados alcançados, pretendidos ou não, o grau de realização dos objectivos dos programas, a relevância e a utilidade dos programas, bem como a eficiência e a eficácia da sua execução. Dado que o Parlamento Europeu e o Conselho tomam as decisões sobre a orientação geral, as questões orçamentais e a concepção dos programas, necessitam de um sistema de avaliação transparente, credível e sólido que lhes forneça informações pertinentes.

| 112. | Em 2000 e em 2002, a Comissão criou um quadro geral de avaliação, que foi consideravelmente alterado em 2007. Embora durante o período auditado pelo Tribunal não se tenham registado melhorias significativas no planeamento, concepção e execução das avaliações dos PQ e dos seus programas constituintes, de uma maneira geral as «Direcções-Gerais de investigação» cumpriram os requisitos formais aplicáveis na generalidade da Comissão. |
| --- | --- |

112.

Em 2000 e em 2002, a Comissão criou um quadro geral de avaliação, que foi consideravelmente alterado em 2007. Embora durante o período auditado pelo Tribunal não se tenham registado melhorias significativas no planeamento, concepção e execução das avaliações dos PQ e dos seus programas constituintes, de uma maneira geral as «Direcções-Gerais de investigação» cumpriram os requisitos formais aplicáveis na generalidade da Comissão.

| 113. | No período abrangido pelo presente relatório, as «Direcções-Gerais de investigação» dispunham de um sistema de avaliação, como previsto na legislação relativa aos PQ, e a Comissão pode apresentar um número considerável de estudos de avaliação. Apesar disso, verifica-se que pouco ou quase nada se sabe sobre a realização dos objectivos dos programas e os resultados dos PQ, o que se deve ao facto de as avaliações incidirem geralmente sobre questões relativas à execução do programa a curto prazo. Assim, as avaliações realizadas pela Comissão foram pouco úteis para os decisores políticos, os intervenientes e até para a própria Comissão. |
| --- | --- |

113.

No período abrangido pelo presente relatório, as «Direcções-Gerais de investigação» dispunham de um sistema de avaliação, como previsto na legislação relativa aos PQ, e a Comissão pode apresentar um número considerável de estudos de avaliação. Apesar disso, verifica-se que pouco ou quase nada se sabe sobre a realização dos objectivos dos programas e os resultados dos PQ, o que se deve ao facto de as avaliações incidirem geralmente sobre questões relativas à execução do programa a curto prazo. Assim, as avaliações realizadas pela Comissão foram pouco úteis para os decisores políticos, os intervenientes e até para a própria Comissão.

| 114. | Tendo em conta a importância da avaliação para a gestão dos programas e a elaboração de políticas, a abordagem seguida pela Comissão na avaliação dos PQ e dos seus programas constituintes deve ser reexaminada, tendo em conta os novos desafios políticos, o aumento do financiamento, o alargamento da orientação da política de investigação comunitária e a recente reforma da Comissão. O Comité Consultivo Europeu sobre Investigação (EURAB), no seu relatório de 2007, efectuou uma recomendação idêntica. |
| --- | --- |

114.

Tendo em conta a importância da avaliação para a gestão dos programas e a elaboração de políticas, a abordagem seguida pela Comissão na avaliação dos PQ e dos seus programas constituintes deve ser reexaminada, tendo em conta os novos desafios políticos, o aumento do financiamento, o alargamento da orientação da política de investigação comunitária e a recente reforma da Comissão. O Comité Consultivo Europeu sobre Investigação (EURAB), no seu relatório de 2007, efectuou uma recomendação idêntica.

| 115. | O Tribunal considera que a utilização de um quadro lógico de intervenção claro na futura concepção de programas incluídos nos PQ permitiria obter programas mais direccionados e melhor estruturados. Contribuiria igualmente para o êxito da iniciativa «Legislar melhor» da Comissão, que pretende melhorar a concepção do quadro regulamentar, tornando-o mais simples, mais eficaz e mais fácil de compreender (69). |
| --- | --- |

115.

O Tribunal considera que a utilização de um quadro lógico de intervenção claro na futura concepção de programas incluídos nos PQ permitiria obter programas mais direccionados e melhor estruturados. Contribuiria igualmente para o êxito da iniciativa «Legislar melhor» da Comissão, que pretende melhorar a concepção do quadro regulamentar, tornando-o mais simples, mais eficaz e mais fácil de compreender (69).

| 116. | A avaliação dos PQ e dos seus programas constituintes seria mais eficaz se os objectivos dos programas e os indicadores fossem mais claros desde o início, se as «Direcções-Gerais de investigação» acordassem entre si uma estratégia de avaliação sólida mas não demasiado limitativa e se fossem utilizadas metodologias de avaliação mais avançadas, incluindo métodos quantitativos. |
| --- | --- |

116.

A avaliação dos PQ e dos seus programas constituintes seria mais eficaz se os objectivos dos programas e os indicadores fossem mais claros desde o início, se as «Direcções-Gerais de investigação» acordassem entre si uma estratégia de avaliação sólida mas não demasiado limitativa e se fossem utilizadas metodologias de avaliação mais avançadas, incluindo métodos quantitativos.

| 117. | O Tribunal verificou igualmente que, em determinados aspectos, a Comissão poderia rever as suas disposições organizativas actuais relativas à avaliação dos PQ. Poderá ser vantajoso:






  — | promover a participação dos grupos de avaliação numa fase mais precoce do processo de avaliação, prestando desta forma assistência à Comissão ao longo do período de programação e além deste; bem como aumentar o grau da especialização, criando painéis de peritos para os programas específicos e, quando necessário, para os subprogramas; |
| --- | --- | --- |

117.

O Tribunal verificou igualmente que, em determinados aspectos, a Comissão poderia rever as suas disposições organizativas actuais relativas à avaliação dos PQ. Poderá ser vantajoso:

—

promover a participação dos grupos de avaliação numa fase mais precoce do processo de avaliação, prestando desta forma assistência à Comissão ao longo do período de programação e além deste; bem como aumentar o grau da especialização, criando painéis de peritos para os programas específicos e, quando necessário, para os subprogramas;

| — | complementar as actuais unidades de avaliação de cada Direcção-Geral com um gabinete de avaliação conjunto, encarregue de coordenar as avaliações dos PQ. |
| --- | --- |

—

complementar as actuais unidades de avaliação de cada Direcção-Geral com um gabinete de avaliação conjunto, encarregue de coordenar as avaliações dos PQ.

| 118. | As recomendações formuladas no presente relatório baseiam-se nas práticas adoptadas na Comissão ou nas boas práticas internacionais. No que se refere aos recursos, é evidente que a abordagem sugerida para avaliação dos programas provocaria um aumento dos custos. No entanto, o Tribunal considera que, muito provavelmente, teria uma contrapartida positiva num valor pelo menos equivalente. |
| --- | --- |

118.

As recomendações formuladas no presente relatório baseiam-se nas práticas adoptadas na Comissão ou nas boas práticas internacionais. No que se refere aos recursos, é evidente que a abordagem sugerida para avaliação dos programas provocaria um aumento dos custos. No entanto, o Tribunal considera que, muito provavelmente, teria uma contrapartida positiva num valor pelo menos equivalente.

O presente relatório foi adoptado pelo Tribunal de Contas, no Luxemburgo, na sua reunião de 22 de Novembro de 2007.

Pelo Tribunal de Contas

Hubert WEBER

Presidente

---

(1)  Segundo a OCDE, podem definir-se a investigação e o desenvolvimento como o trabalho criativo realizado de forma sistemática para aumentar a reserva de conhecimento, incluindo o conhecimento do Homem, da cultura e da sociedade, e a utilização desta reserva de conhecimento para conceber novas aplicações (ver OCDE, Frascati Manual — Proposed standard practice for surveys on research and experimental development, Paris, 2002, p. 30). No contexto comunitário, utiliza-se a sigla IDT para designar tanto a tecnologia como a investigação e o desenvolvimento.

1

Frascati Manual — Proposed standard practice for surveys on research and experimental development

(2)  A DG Investigação é a principal Direcção-Geral responsável pela gestão e coordenação dos PQ. Cinco outras Direcções-Gerais gerem igualmente (partes de) programas específicos, sendo a mais importante a DG Sociedade da Informação e Média (as outras são a DG Energia e Transportes, a DG Empresas e Indústria, a DG Pescas e Assuntos Marítimos e o Centro Comum de Investigação da Comissão).

2

(3)  Em 2000, o Conselho Europeu de Lisboa definiu o objectivo de transformar a UE na economia baseada no conhecimento mais dinâmica e competitiva do mundo até 2010, desfrutando do pleno emprego e de uma maior coesão social e económica.

3

(4)  Em 2002, o Conselho Europeu concordou em aumentar o nível médio de investimento em IDT e na inovação na União Europeia para 3 % do PIB até 2010. Esclareceu ainda que dois terços deste novo investimento deverão ser financiados pelo sector privado [ver Comissão Europeia, «Investir na investigação: um plano de acção para a Europa»; Comunicação da Comissão ao Conselho, ao Parlamento Europeu, ao Comité Económico e Social Europeu e ao Comité das Regiões, COM(2003) 226 final, p. 7].

4

(5)  No caso da gestão directa, a Comissão realiza as operações necessárias para desempenhar as suas actividades de execução orçamental sem qualquer intervenção dos Estados-Membros ou de países terceiros onde residam os beneficiários das despesas.

5

(6)  Desde 2006, mais de 22 000 entidades legais públicas e privadas tinham participado só n.o 6.o PQ, em geral inseridas em consórcios com vários parceiros.

6

o

o

(7)  Trata-se de um método de cooperação baseado no princípio da cooperação intergovernamental voluntária. Assenta em especial na aprendizagem mútua, na avaliação comparativa (benchmarking) e na partilha das melhores práticas.

7

benchmarking

(8)  Regulamento (CE, Euratom) n.o 1605/2002 do Conselho, de 25 de Junho de 2002 (JO L 248 de 16.9.2002, p. 1), artigos 27.o, 48.o, 59.o e 60.o

8

o

o

o

o

o

(9)  Comissão Europeia, DG Orçamento, Comunicação de Dalia Grybauskaitė à Comissão, com o acordo do Presidente, «Responding to strategic needs: reinforcing the use of evaluation», SEC(2007) 213 de 21 de Fevereiro de 2007; Comissão Europeia, DG Orçamento, Comunicação de Michaele Schreyer à Comissão, «Focus on Results: Strengthening Evaluation of Commission Activities», SEC(2000) 1051 de 26 de Julho de 2000.

9

Responding to strategic needs: reinforcing the use of evaluation

Focus on Results: Strengthening Evaluation of Commission Activities

(10)  N.o 1 do artigo 7.o da Decisão n.o 1982/2006/CE do Parlamento Europeu e do Conselho, de 18 de Dezembro de 2006, relativa ao Sétimo Programa-Quadro da Comunidade Europeia de actividades em matéria de investigação, desenvolvimento tecnológico e demonstração (2007 a 2013) (JO L 412 de 30.12.2006, p. 1); as informações relativas ao acompanhamento que a Comissão deve fornecer aos Comités dos Programas estão definidas nas decisões relativas a cada programa específico (ver, por exemplo, o n.o 4 do artigo 8.o e o anexo V da Decisão 2006/971/CE do Conselho, de 19 de Dezembro de 2006, relativa ao programa específico «Cooperação» de execução do Sétimo Programa-Quadro da Comunidade Europeia de actividades em matéria de investigação, desenvolvimento tecnológico e demonstração (2007 a 2013) (JO L 400 de 30.12.2006, p. 86).

10

o

o

o

o

o

(11)  Comissão Europeia, Comunicação ao Conselho relativa a um plano de acção comunitário respeitante à avaliação dos resultados das actividades de investigação e desenvolvimento da Comunidade para os anos de 1987 a 1991, COM(86) 660 final de 20 de Novembro de 1986, em resposta à resolução do Conselho de 28 de Junho de 1983.

11

(12)  Comissão Europeia, «Avaliação quinquenal dos programas de investigação da União Europeia, 1992-1996». Relatório do painel de peritos independentes, presidido pelo visconde Davignon (1997); Comissão Europeia, «Avaliação quinquenal dos programas de investigação da União Europeia, 1995-1999»; Relatório do painel de peritos independentes, presidido por Joan Majó (Julho de 2000); Comissão Europeia, «Avaliação quinquenal dos programas-quadro de investigação da União Europeia 1999-2003»; Relatório do painel de peritos independentes, presidido por Erkki Ormala (15 de Dezembro de 2004).

12

(13)  Comissão Europeia, «Evaluation of the effectiveness of the New Instruments of Framework Programme VI», 21 de Junho de 2004, Relatório de um painel de peritos de alto nível presidido pelo Professor Ramon Marimón.

13

Evaluation of the effectiveness of the New Instruments of Framework Programme VI

(14)  Comissão Europeia, DG Orçamento, Comunicação de Michaele Schreyer à Comissão, «Focus on Results: Strengthening Evaluation of Commission Activities», Julho de 2000, SEC(2000) 1051; Comissão Europeia, DG Orçamento, Comunicação do Presidente e Michaele Schreyer à Comissão, «Evaluation Standards and Good Practice», C(2002) 5267 de 23 de Dezembro de 2002.

14

Focus on Results: Strengthening Evaluation of Commission Activities

Evaluation Standards and Good Practice

(15)  Comissão Europeia, DG Orçamento, Comunicação de Dalia Grybauskaitė à Comissão, de acordo com o Presidente, «Responding to strategic needs: reinforcing the use of evaluation», SEC(2007) 213 de 21 de Fevereiro de 2007.

15

Responding to strategic needs: reinforcing the use of evaluation

(16)  Comissão Europeia, Documento de trabalho «Impact assessment and ex ante evaluation», SEC(2005) 430.

16

Impact assessment and ex ante evaluation

(17)  A Comissão «Indústria, Investigação e Energia» (ITRE) do Parlamento Europeu tem competência (em especial) em matéria de política industrial, política de investigação (incluindo a difusão e a exploração dos resultados da investigação), política espacial, actividades do Centro Comum de Investigação, Tratado Euratom, sociedade da informação e tecnologias da informação.

17

(18)  O CREST (Comité da Investigação Científica e Técnica) foi instituído por uma resolução do Conselho de 14 de Janeiro de 1974 e é constituído por representantes das autoridades nacionais responsáveis pelas políticas científica e tecnológica dos Estados-Membros. O CREST é um órgão consultivo, que informa a Comissão e o Conselho, em especial sobre assuntos relacionados com a coordenação das políticas nacionais de I&D e o acompanhamento e avaliação dos PQ.

18

(19)  Os modelos lógicos que mostram a forma como os recursos das diferentes actividades dão origem aos resultados esperados são a forma mais adequada de ilustrar a lógica de intervenção. Estes modelos conseguem explicar de maneira clara os pressupostos subjacentes à forma como um programa está concebido e como os objectivos globais se decompõem em objectivos operacionais.

19

(20)  Comissão Europeia, DG Orçamento, «Evaluating EU activities: a practical guide for the Commission services», Julho de 2004, p. 87 e 106.

20

Evaluating EU activities: a practical guide for the Commission services

(21)  «Avaliação quinquenal dos programas-quadro de investigação da União Europeia, 1999-2003», Relatório do painel de peritos independentes, presidido por Erkki Ormala (15 de Dezembro de 2004): Secção 6 «Evaluating the Framework Programme», p. 19.

21

Evaluating the Framework Programme

(22)  Os países beneficiários de ajuda externa são obrigados a apresentar modelos lógicos para o financiamento comunitário (Comissão Europeia, Aid delivery methods, Volume 1, Project cycle management guidelines, Março de 2004, secção 5: The logical framework approach).

22

Aid delivery methods, Volume 1, Project cycle management guidelines

The logical framework approach

(23)  Regulamento (CE, Euratom) n.o 1605/2002, n.o 3 do artigo 27.o

23

o

o

o

(24)  Em 2006, o domínio de política «08 investigação» encontrava-se estruturado com base nos programas (e subprogramas) específicos do actual período de programação do 6.o PQ (e, por conseguinte, foi substituído por uma estrutura diferente em 2007), enquanto no domínio de política «09 sociedade da informação» o programa específico actual e o anterior foram considerados uma única actividade de orçamentação por actividades (Comissão Europeia, DG Investigação, Direcção A: Coordenação das Acções Comunitárias, Planeamento, Programação, Avaliação, Plano de gestão anual 2006, de 20 de Dezembro de 2005; Comissão Europeia, DG Sociedade da Informação e Média, Plano de gestão anual 2006, 23 de Dezembro de 2005).

24

o

(25)  No caso da DG Investigação, os objectivos da gestão por actividades (e os indicadores utilizados para medir a sua realização) mudavam todos os anos. Por outro lado, a DG Sociedade da Informação utilizou objectivos plurianuais que, contudo, não correspondiam aos objectivos do programa (ou aos especificados ao nível do programa de trabalho).

25

(26)  Comissão Europeia, Serviço de Auditoria Interna, Review of effectiveness and efficiency of the SPP/ABM cycle — SG & DG Orçamento, 2005: ponto 4.1, p. 31.

26

Review of effectiveness and efficiency of the SPP/ABM cycle

(27)  Comissão Europeia, «Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes», COM(83) 1 final, de 19 de Janeiro de 1983.

27

Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes

(28)  Comunicação da Comissão ao Conselho e ao Parlamento Europeu, «Acompanhamento e avaliação externos independentes das actividades comunitárias no domínio da investigação e do desenvolvimento tecnológico», [COM(1996) 220 final, de 22 de Maio de 1996].

28

(29)  Cada Direcção-Geral responsável pela execução dos PQ documenta as suas avaliações planeadas em planos de avaliação anuais (e plurianuais). No entanto, não se podem considerar estes documentos de planeamento como uma verdadeira estratégia de avaliação.

29

(30)  Regulamento (CE, Euratom) n.o 1605/2002, n.o 4 do artigo 27.o

30

o

o

o

(31)  Em 2004, o «Deutsche Forschungsgemeinschaft» (DFG) criou um instituto especializado, o «Institut für Forschungsinformation und Qualitätssicherung» (IFQ), tendo-lhe atribuído a responsabilidade pelo desenvolvimento e normalização das metodologias de avaliação, pela garantia de qualidade e pela realização de avaliações de actividades de IDT financiadas pelo DFG.

31

(32)  Agencia Nacional de Evaluación y Prospectiva pertencente ao Ministerio de Educación y Ciencia: Orden ECI/1252/2005 de 4 de Maio de 2005 que estabelece a «Comisión Asesora de Evaluación y Prospectiva».

32

(33)  «Loi de programme pour la recherche n.o 2006-450» datada de 18 de Abril de 2006 e «Décret n.o 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)» datado de 3 de Novembro de 2006.

33

o

o

(34)  No âmbito do 7.o PQ, foram constituídos 15 EAG pela Comissão, em comparação com 12 EAG no âmbito do 6.o PQ e 17 EAG no âmbito do 5.o PQ. Estes grupos assistem a Comissão em questões relacionadas com política e os programas no contexto dos PQ. No entanto, é de notar que estes EAG não cobrem totalmente a estrutura do programa dos PQ. Por outras palavras, não existe um EAG para cada programa (ou subprograma) específico.

34

o

o

o

(35)  No Canadá praticamente todos os departamentos do governo federal criaram comités de avaliação permanentes, constituídos por altos funcionários do departamento e normalmente também intervenientes externos, para supervisionar o sistema de avaliação («Social Sciences and Humanities Research Council of Canada»: Evaluation Standing Committee — Mandate and Membership).

35

Social Sciences and Humanities Research Council of Canada

Evaluation Standing Committee — Mandate and Membership

(36)  Comissão Europeia, «Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes», Agosto de 2005, p. 5.

36

Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes

(37)  Comissão Europeia, «Planning and optimising Commission human resources to serve EU priorities», SEC(2007) 530 de 24 de Abril de 2007.

37

Planning and optimising Commission human resources to serve EU priorities

(38)  Comissão Europeia, Comunicação do Presidente e Michaele Schreyer à Comissão, «Evaluation Standards and Good Practice», C(2002) 5267 de 23 de Dezembro de 2002; Documento de trabalho da Comissão Europeia, «Impact assessment and ex ante evaluation», SEC(2005) 430, 6 de Abril de 2005, anexo 1, nota 209.

38

Evaluation Standards and Good Practice

Impact assessment and ex ante evaluation

(39)  Em 2007, o Comité Consultivo Europeu sobre Investigação (European Research Advisory Board — EURAB) recomendou igualmente que se aumentassem os recursos afectados à avaliação dos PQ (EURAB, «Recommendations on Ex-Post Impact Assessment», Julho de 2007).

39

European Research Advisory Board — EURAB

Recommendations on Ex-Post Impact Assessment

(40)  Relatório Especial n.o 1/2004 sobre a gestão das acções indirectas de IDT no âmbito do Quinto Programa-Quadro (5.o PQ) em matéria de Investigação e Desenvolvimento Tecnológico (1998-2002) (JO C 99 de 23.4.2004), pontos 116 e 122.

40

o

o

(41)  Comissão Europeia, DG Orçamento, Comunicação de Dalia Grybauskaitė à Comissão, com o acordo do Presidente, «Responding to strategic needs: reinforcing the use of evaluation», SEC(2007) 213 de 21 de Fevereiro de 2007; Comissão Europeia, Comunicação à Comissão do Presidente e de Michaele Schreyer, «Evaluation standards and good practice», C(2002) 5267 de 23 de Dezembro de 2002.

41

Responding to strategic needs: reinforcing the use of evaluation

Evaluation standards and good practice

(42)  14 Direcções-Gerais têm manuais de avaliação para os domínios políticos e os programas sob a sua responsabilidade (Comissão Europeia, DG Orçamento — Unidade de Avaliação, «Overview of Evaluation Guides in the Commission», de Outubro de 2004).

42

Overview of Evaluation Guides in the Commission

(43)  Fahrenkrog, G. e outros, «RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies», IPTS-JRC, 2002; PREST e outros, «Assessing the Socio-economic Impacts of the Framework Programme»; Universidade de Manchester, 2002.

43

RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies

Assessing the Socio-economic Impacts of the Framework Programme

(44)  Embora a Comissão disponha geralmente dessas informações relativamente aos participantes, muitas vezes não as pode utilizar para efectuar uma análise pormenorizada, uma vez que os dados relativos a um determinado participante não são mantidos num único local nem são forçosamente registados em formatos compatíveis. Por conseguinte, é difícil efectuar um acompanhamento dos participantes ao longo do tempo, para avaliar, por exemplo, as razões de uma não participação, bem como as relações entre participantes, para estudar, por exemplo, os efeitos de rede (ver ponto 84).

44

(45)  Relatório anual relativo ao exercício de 2006, quadro 2.3; Relatório anual relativo ao exercício de 2005, ponto 7.13; Relatório anual relativo ao exercício de 2004, pontos 6.8 e 6.10; Relatório anual relativo ao exercício de 2003, pontos 6.9 e 6.70; Relatório especial n.o 1/2004, pontos 105-108; Parecer n.o 1/2006 sobre a proposta de regulamento do Parlamento Europeu e do Conselho que estabelece as regras de participação de empresas, centros de investigação e universidades em acções no âmbito do sexto programa-quadro e as regras de difusão dos resultados da investigação (2007-2013) (JO C 203 de 25.8.2006), ponto 57.

45

o

o

(46)  Artigo 173.o do Tratado que institui a Comunidade Europeia: «No início de cada ano, a Comissão apresenta um relatório ao Parlamento Europeu e ao Conselho. Esse relatório incide nomeadamente sobre as actividades desenvolvidas em matéria de investigação e de desenvolvimento tecnológico e de difusão dos resultados durante o ano anterior e sobre o programa de trabalho para o ano em curso.»

46

o

(47)  Não houve qualquer tentativa sistemática para recolher dados junto dos participantes após a conclusão do projecto, com excepção dos inquéritos específicos no âmbito das avaliações. O recurso aos inquéritos foi dificultado pelo facto de a legislação não obrigar os participantes a fornecerem esses dados analíticos, ao contrário do que sucede com diversos programas nacionais de IDT (por exemplo, na Alemanha).

47

(48)  Relatório especial n.o 1/2004, ponto 94; Parecer n.o 1/2006, ponto 56.

48

o

o

(49)  Relatório anual relativo ao exercício de 2006, ponto 7.33; Relatório anual relativo ao exercício de 2005, pontos 7.8 e 7.29; Parecer n.o 1/2006, pontos 58-61.

49

o

(50)  CORDIS é a única base de dados que fornece informações relativas às propostas, aos projectos e aos resultados para o conjunto do PQ. Cobre diversos períodos de programação e é acessível fora da Comissão. Contudo, os dados de CORDIS relativos aos diferentes projectos muitas vezes não são actualizados após a proposta ter sido seleccionada. Até ao 6.o PQ, inclusive, os participantes nos PQ provenientes dos sectores público e privado não eram obrigados a tornar públicos os seus resultados (Comité Consultivo Europeu sobre Investigação-EURAB, «Scientific publication: policy on open access», Dezembro de 2006).

50

o

Scientific publication: policy on open access

(51)  Hanne Foss Hansen, «Choosing evaluation models: A discussion on evaluation design», Evaluation, vol. 11, n.o 4, 2005, p. 447-462.

51

Choosing evaluation models: A discussion on evaluation design

o

(52)  Até ao 6.o PQ inclusive, os participantes provenientes dos sectores público e privado não eram obrigados a tornar públicos os seus resultados científicos. Em Dezembro de 2006, o Comité Consultivo Europeu sobre Investigação recomendou que a Comissão tornasse essa publicação obrigatória, a fim de garantir ao público o acesso gratuito à investigação financiada pela Comunidade. O Comité sugeriu igualmente que a Comissão criasse um arquivo na internet para os resultados publicados dos projectos (ver Comité Consultivo Europeu sobre Investigação — EURAB, «Scientific publication: policy on open access», Dezembro de 2006).

52

o

Scientific publication: policy on open access

(53)  Convém salientar que esses modelos foram utilizados para prever os efeitos microeconómicos e macroeconómicos do 7.o PQ programado (ver Comissão Europeia, «Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes», Agosto de 2005, p. 23-25). No entanto, não há qualquer elemento que comprove que esta avaliação dos impactos económicos potenciais do PQ está ligada a um plano de avaliação ex post.

53

o

Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes

ex post

(54)  DG Sociedade da Informação e Média, «IST-RTD
  Monitoring and Evaluation: Results and impact indicators (2003-2004)», 2005; «Networks of innovation in information society development and deployment in Europe», 2006.

54

IST-RTD

Monitoring and Evaluation: Results and impact indicators

2003-2004

Networks of innovation in information society development and deployment in Europe

(55)  DG Sociedade da Informação e Média «ERAnets — Evaluation of NETworks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area» (relatório final), 2005; «Evaluation of progress towards a European Research Area for information society technologies», 2005; «Networks of innovation in information society development and deployment in Europe», 2006.

55

ERAnets — Evaluation of NETworks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area

Evaluation of progress towards a European Research Area for information society technologies

Networks of innovation in information society development and deployment in Europe

(56)  DG Sociedade da Informação e Média: «Framework contract for Impact Assessments for research in the field of Information Society Technologies».

56

Framework contract for Impact Assessments for research in the field of Information Society Technologies

(57)  Comité Consultivo Europeu sobre Investigação (EURAB), «Recommendations on Ex-Post Impact Assessment», Julho de 2007.

57

Recommendations on Ex-Post Impact Assessment

(58)  Comissão Europeia, «Avaliação quinquenal dos programas-quadro de investigação da União Europeia 1999-2003». Relatório do Painel de Peritos Independentes presidido por Erkki Ormala (15 de Dezembro de 2004), anexo 1.

58

(59)  Comissão Europeia, «The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report» (1995).

59

The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report

(60)  Comissão Europeia, «Design of an harmonized impact study methodology for the R&D EU Framework Programmes», 1992.

60

Design of an harmonized impact study methodology for the R&D EU Framework Programmes

(61)  Comissão Europeia, documento de trabalho, «The European Research Area: new perspectives», SEC(2007) 412/2, de 4 de Abril de 2007, ponto 3.3.3 «ERA and the implications for evidence-based monitoring and evaluation», p. 93.

61

The European Research Area: new perspectives

ERA and the implications for evidence-based monitoring and evaluation

(62)  Convém assinalar que as convenções de subvenções relativas aos projectos são assinadas durante todo o período de programação. Os primeiros acordos entram geralmente em vigor no final do primeiro ano de um programa. Estes acordos têm geralmente uma duração compreendida entre três e cinco anos, pelo que só se podem esperar obter realizações finais, na melhor das hipóteses, após quatro a seis anos.

62

Fonte: Tribunal de Contas Europeu.

Fonte:

(63)  Comissão Europeia, «Avaliação quinquenal dos programas-quadro de investigação da União Europeia 1999-2003», Relatório do Painel de Peritos Independentes presidido por Erkki Ormala (15 de Dezembro de 2004): secção 6 «Evaluating the Framework Programme», p. 19.

63

Evaluating the Framework Programme

(64)  Comissão Europeia, «Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies», the so-called «EPUB Toolbox» publicado pelo Joint Research Centre (JRC) — Institute for Prospective Technological Studies (IPTS) e Joanneum Research (Agosto de 2002), Síntese, p. 9 e 12.

64

Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies

(65)  Comissão Europeia, «Evaluation of the effectiveness of the New Instruments of Framework Programme VI», 21 de Junho de 2004, Relatório de um painel de peritos de alto nível presidido pelo Professor Ramon Marimón, p. 20.

65

Evaluation of the effectiveness of the New Instruments of Framework Programme VI

(66)  European Policy Evaluation Consortium (EPEC), Technopolis France, «Study on the use of evaluation results in the Commission: Final report», dossier n.o 1, Relatório de síntese e anexos, Maio de 2005.

66

Study on the use of evaluation results in the Commission: Final report

o

(67)  O grau de satisfação mais elevado expresso pelos inquiridos do Comité CREST, que muitas vezes também são membros de comités de programa, pode dever-se ao seu papel formal no acompanhamento da execução dos programas.

67

(68)  Comissão Europeia, documento de trabalho «Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities», SEC(2005) 587, 28 de Abril de 2005.

68

Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities

(69)  Comissão Europeia, DG Orçamento, Comunicação de Dalia Grybauskaitė à Comissão, com o acordo do Presidente, «Responding to strategic needs: reinforcing the use of evaluation», SEC(2007) 213 de 21 de Fevereiro de 2007, p. 4.

69

Responding to strategic needs: reinforcing the use of evaluation

---

ANEXO I

DETERMINAÇÃO DO IMPACTO E DOS RESULTADOS DA INTERVENÇÃO PÚBLICA NO DOMÍNIO DA IDT

Algumas das principais dificuldades metodológicas surgidas na determinação do impacto e dos resultados de uma intervenção pública no domínio da IDT consistem em:

| — | «Problemas de atribuição»: os problemas de atribuição são evidentes nas avaliações e na medição do desempenho. Estão estreitamente relacionados com a questão da «adicionalidade», que pretende determinar se as alterações não teriam ocorrido de qualquer forma. Um grande número de factores externos (como os efeitos de outras políticas ou programas, alterações no quadro jurídico, mudanças sociais, etc.) contribui igualmente para dificultar a atribuição dos resultados a uma intervenção política específica. Além disso, no domínio da investigação, o facto de não se alcançarem os resultados pretendidos pode igualmente ser um êxito. Uma complicação suplementar consiste na dificuldade aparente de atribuir claramente as realizações da investigação, sem falar dos efeitos e dos impactos, a aspectos específicos do processo de IDT, ou até a entidades individuais implicadas numa actividade de investigação. |
| --- | --- |

—

«Problemas de atribuição»: os problemas de atribuição são evidentes nas avaliações e na medição do desempenho. Estão estreitamente relacionados com a questão da «adicionalidade», que pretende determinar se as alterações não teriam ocorrido de qualquer forma. Um grande número de factores externos (como os efeitos de outras políticas ou programas, alterações no quadro jurídico, mudanças sociais, etc.) contribui igualmente para dificultar a atribuição dos resultados a uma intervenção política específica. Além disso, no domínio da investigação, o facto de não se alcançarem os resultados pretendidos pode igualmente ser um êxito. Uma complicação suplementar consiste na dificuldade aparente de atribuir claramente as realizações da investigação, sem falar dos efeitos e dos impactos, a aspectos específicos do processo de IDT, ou até a entidades individuais implicadas numa actividade de investigação.

| — | «Problemas de medição»:







  — | «Disponibilidade dos dados»: de uma maneira geral, a maior parte dos dados disponíveis, nomeadamente os que se obtêm através dos sistemas de controlo, dizem respeito aos recursos e às realizações das acções de IDT, e não aos seus efeitos ou impactos. |
| --- | --- | --- |

—

«Problemas de medição»:

—

«Disponibilidade dos dados»: de uma maneira geral, a maior parte dos dados disponíveis, nomeadamente os que se obtêm através dos sistemas de controlo, dizem respeito aos recursos e às realizações das acções de IDT, e não aos seus efeitos ou impactos.

| — | «Compreensão da dinâmica»: tendo em conta a aparente dificuldade em definir as relações causais entre os recursos e as realizações, os mecanismos internos do processo de investigação não são claros e, na ausência de uma lógica de intervenção explícita, o próprio processo é muitas vezes considerado como uma «caixa negra». |
| --- | --- |

—

«Compreensão da dinâmica»: tendo em conta a aparente dificuldade em definir as relações causais entre os recursos e as realizações, os mecanismos internos do processo de investigação não são claros e, na ausência de uma lógica de intervenção explícita, o próprio processo é muitas vezes considerado como uma «caixa negra».

| — | «Comparabilidade dos resultados»: a possibilidade de comparar resultados entre domínios científicos diferentes é limitada, pelo que os resultados devem geralmente ser interpretados no contexto de programas e de subprogramas específicos. Além disso, a avaliação dos resultados é mais difícil no caso da investigação de base (ou fundamental) que no caso da investigação aplicada ou desenvolvimento tecnológico, essencialmente devido ao facto de a investigação de base consistir geralmente em procedimentos únicos e não reproduzíveis. Mesmo no domínio da investigação aplicada, os resultados variam consideravelmente e, portanto, são dificilmente comparáveis. |
| --- | --- |

—

«Comparabilidade dos resultados»: a possibilidade de comparar resultados entre domínios científicos diferentes é limitada, pelo que os resultados devem geralmente ser interpretados no contexto de programas e de subprogramas específicos. Além disso, a avaliação dos resultados é mais difícil no caso da investigação de base (ou fundamental) que no caso da investigação aplicada ou desenvolvimento tecnológico, essencialmente devido ao facto de a investigação de base consistir geralmente em procedimentos únicos e não reproduzíveis. Mesmo no domínio da investigação aplicada, os resultados variam consideravelmente e, portanto, são dificilmente comparáveis.

| — | «Agregação»: é difícil tirar conclusões dos resultados das avaliações, em termos de realizações, efeitos e impactos obtidos ao nível inferior, para passar ao nível imediatamente superior (por exemplo, quando se agregam os resultados do projecto, primeiro para grupos de projectos, em seguida para domínios dentro de um programa e, finalmente, ao nível do programa propriamente dito). |
| --- | --- |

—

«Agregação»: é difícil tirar conclusões dos resultados das avaliações, em termos de realizações, efeitos e impactos obtidos ao nível inferior, para passar ao nível imediatamente superior (por exemplo, quando se agregam os resultados do projecto, primeiro para grupos de projectos, em seguida para domínios dentro de um programa e, finalmente, ao nível do programa propriamente dito).

| — | «Adequação dos indicadores»: uma outra questão consiste em saber se os avaliadores medem o elemento certo. Os indicadores devem ser fáceis de medir, difíceis de adulterar e induzir o comportamento adequado. No entanto, um indicador «mensurável» de uma realização não permite forçosamente tirar conclusões sobre os efeitos ou os impactos. |
| --- | --- |

—

«Adequação dos indicadores»: uma outra questão consiste em saber se os avaliadores medem o elemento certo. Os indicadores devem ser fáceis de medir, difíceis de adulterar e induzir o comportamento adequado. No entanto, um indicador «mensurável» de uma realização não permite forçosamente tirar conclusões sobre os efeitos ou os impactos.

| — | «Problemas na determinação do calendário»: um outro obstáculo consiste no período considerável que decorre entre a actividade de investigação e a ocorrência das realizações e efeitos, de forma a que se possa avaliar o respectivo impacto. Os dados devem ser obtidos num contexto de longa duração para que se possam tirar conclusões válidas e sólidas. Estes prazos necessários para a avaliação muitas vezes não são compatíveis com as expectativas e as necessidades dos decisores políticos e é preciso encontrar um compromisso entre a rápida apresentação de conclusões para efeitos de definição de políticas e a atribuição de um prazo adequado para que os efeitos se manifestem. |
| --- | --- |

—

«Problemas na determinação do calendário»: um outro obstáculo consiste no período considerável que decorre entre a actividade de investigação e a ocorrência das realizações e efeitos, de forma a que se possa avaliar o respectivo impacto. Os dados devem ser obtidos num contexto de longa duração para que se possam tirar conclusões válidas e sólidas. Estes prazos necessários para a avaliação muitas vezes não são compatíveis com as expectativas e as necessidades dos decisores políticos e é preciso encontrar um compromisso entre a rápida apresentação de conclusões para efeitos de definição de políticas e a atribuição de um prazo adequado para que os efeitos se manifestem.

| — | «Possibilidade de conclusões erradas relativas ao projecto»: a avaliação dos efeitos e dos impactos de cada projecto de um programa deve ter em conta que os progressos tecnológicos e científicos foram geralmente obtidos mediante a utilização de trabalhos anteriores. Da mesma forma, antes da publicação e exploração dos resultados científicos, os resultados do projecto podem ser usados pelo participante para outros trabalhos. Por conseguinte, o projecto em si não constitui exactamente um quadro adequado para a avaliação, especialmente em matéria de efeitos e impactos a longo prazo. |
| --- | --- |

—

«Possibilidade de conclusões erradas relativas ao projecto»: a avaliação dos efeitos e dos impactos de cada projecto de um programa deve ter em conta que os progressos tecnológicos e científicos foram geralmente obtidos mediante a utilização de trabalhos anteriores. Da mesma forma, antes da publicação e exploração dos resultados científicos, os resultados do projecto podem ser usados pelo participante para outros trabalhos. Por conseguinte, o projecto em si não constitui exactamente um quadro adequado para a avaliação, especialmente em matéria de efeitos e impactos a longo prazo.

| — | «Credibilidade, integridade e independência»: a qualidade de uma avaliação depende em larga medida do grau de empenhamento dos avaliadores em relação ao tema, o que implica um compromisso entre compreensão e competência, por um lado, e entre independência e objectividade, por outro. Depende igualmente dos pressupostos e dos interesses dos decisores políticos, bem como da lógica e dos objectivos da avaliação. |
| --- | --- |

—

«Credibilidade, integridade e independência»: a qualidade de uma avaliação depende em larga medida do grau de empenhamento dos avaliadores em relação ao tema, o que implica um compromisso entre compreensão e competência, por um lado, e entre independência e objectividade, por outro. Depende igualmente dos pressupostos e dos interesses dos decisores políticos, bem como da lógica e dos objectivos da avaliação.

---

ANEXO II

DISPOSIÇÕES APLICÁVEIS AO ACOMPANHAMENTO E À AVALIAÇÃO CONSTANTES DAS DECISÕES LEGISLATIVAS REFERENTES AOS 4.o, 5.o, 6.o E 7.o PQ

| 4.o PQ (1995 a 1998)
   (1) | 5.o PQ (1999 a 2002)
   (2) | 6.o PQ (2003 a 2006)
   (3) | 7.o PQ (2007 a 2013)
   (4) |
| --- | --- | --- | --- |
| Decisão relativa ao programa-quadro — Conselho e Parlamento Europeu |
| Decisão n.o 1110/1994/CE do Parlamento Europeu e do Conselho, de 26 de Abril de 1994, relativa ao quarto programa-quadro de acções da Comunidade Europeia em matéria de investigação, de desenvolvimento tecnológico e de demonstração (1994-1998): artigo 4.o | Decisão n.o 182/1999/CE do Parlamento Europeu e do Conselho, de 22 de Dezembro de 1998, relativa ao quinto programa-quadro de acções da Comunidade Europeia em matéria de investigação, de desenvolvimento tecnológico e de demonstração (1998-2002): artigos 5.o e 6.o | Decisão n.o 1513/2002/CE do Parlamento Europeu e do Conselho, de 27 de Junho de 2002, relativa ao sexto programa-quadro da Comunidade Europeia de acções em matéria de investigação, de desenvolvimento tecnológico e de demonstração que visam contribuir para a realização do espaço europeu da investigação e para a inovação (2002-2006): considerando 20, artigos 4.o e 6.o, anexo III | Decisão n.o 1982/2006/CE do Parlamento Europeu e do Conselho, de 18 de Dezembro de 2006, relativa ao sétimo programa-quadro da Comunidade Europeia de actividades em matéria de investigação, desenvolvimento tecnológico e demonstração (2007-2013): artigo 7.o |
| Acompanhamento |
| — | acompanhar de forma permanente e sistemática, devidamente assistida por peritos independentes externos, a execução em função dos objectivos iniciais (n.o 1 do artigo 4.o) |

4.o PQ (1995 a 1998)
   (1)

5.o PQ (1999 a 2002)
   (2)

6.o PQ (2003 a 2006)
   (3)

7.o PQ (2007 a 2013)
   (4)

Decisão relativa ao programa-quadro — Conselho e Parlamento Europeu

Decisão n.o 1110/1994/CE do Parlamento Europeu e do Conselho, de 26 de Abril de 1994, relativa ao quarto programa-quadro de acções da Comunidade Europeia em matéria de investigação, de desenvolvimento tecnológico e de demonstração (1994-1998): artigo 4.o

Decisão n.o 182/1999/CE do Parlamento Europeu e do Conselho, de 22 de Dezembro de 1998, relativa ao quinto programa-quadro de acções da Comunidade Europeia em matéria de investigação, de desenvolvimento tecnológico e de demonstração (1998-2002): artigos 5.o e 6.o

Decisão n.o 1513/2002/CE do Parlamento Europeu e do Conselho, de 27 de Junho de 2002, relativa ao sexto programa-quadro da Comunidade Europeia de acções em matéria de investigação, de desenvolvimento tecnológico e de demonstração que visam contribuir para a realização do espaço europeu da investigação e para a inovação (2002-2006): considerando 20, artigos 4.o e 6.o, anexo III

Decisão n.o 1982/2006/CE do Parlamento Europeu e do Conselho, de 18 de Dezembro de 2006, relativa ao sétimo programa-quadro da Comunidade Europeia de actividades em matéria de investigação, desenvolvimento tecnológico e demonstração (2007-2013): artigo 7.o

Acompanhamento

—

acompanhar de forma permanente e sistemática, devidamente assistida por peritos independentes externos, a execução em função dos objectivos iniciais (n.o 1 do artigo 4.o)

| — | proceder anualmente a um acompanhamento contínuo e sistemático, com a assistência de peritos qualificados independentes, da execução do programa-quadro e dos seus programas específicos em função dos critérios fixados no anexo I e dos objectivos científicos e tecnológicos definidos no anexo II (n.o 1 do artigo 5.o) |
| --- | --- |

—

proceder anualmente a um acompanhamento contínuo e sistemático, com a assistência de peritos qualificados independentes, da execução do programa-quadro e dos seus programas específicos em função dos critérios fixados no anexo I e dos objectivos científicos e tecnológicos definidos no anexo II (n.o 1 do artigo 5.o)

| — | acompanhar de forma permanente e sistemática [cada ano], com o apoio de peritos qualificados independentes, a implementação do programa-quadro e dos seus programas específicos (artigo 4.o e n.o 1 do artigo 6.o) |
| --- | --- |

—

acompanhar de forma permanente e sistemática [cada ano], com o apoio de peritos qualificados independentes, a implementação do programa-quadro e dos seus programas específicos (artigo 4.o e n.o 1 do artigo 6.o)

| — | proceder a um acompanhamento contínuo e sistemático da execução do programa-quadro e dos seus programas específicos (n.o 1 do artigo 7.o) |
| --- | --- |

—

proceder a um acompanhamento contínuo e sistemático da execução do programa-quadro e dos seus programas específicos (n.o 1 do artigo 7.o)

| — | avaliar se os objectivos, prioridades e recursos financeiros continuam adaptados à evolução da situação. Se necessário apresentar propostas para adaptar ou completar o programa-quadro e/ou os programas específicos (n.o 1 do artigo 5.o) |
| --- | --- |

—

avaliar se os objectivos, prioridades e recursos financeiros continuam adaptados à evolução da situação. Se necessário apresentar propostas para adaptar ou completar o programa-quadro e/ou os programas específicos (n.o 1 do artigo 5.o)

| — | todas as actividades de investigação serão analisadas regularmente e, em especial, controladas quanto à excelência da investigação (anexo III, 1. Instrumentos) |
| --- | --- |

—

todas as actividades de investigação serão analisadas regularmente e, em especial, controladas quanto à excelência da investigação (anexo III, 1. Instrumentos)

| — | comunicar regularmente os resultados desse acompanhamento (n.o 1 do artigo 7.o) |
| --- | --- |

—

comunicar regularmente os resultados desse acompanhamento (n.o 1 do artigo 7.o)

Artigo 173.o — Relatório anual

| — | no contexto do relatório anual a apresentar pela Comissão nos termos do artigo 173.o do Tratado, apresentar informação pormenorizada sobre os progressos da realização do programa-quadro, nomeadamente os progressos registados na concretização dos seus objectivos e no cumprimento das suas prioridades, tal como enumeradas em cada secção do anexo I. Deve ser também incluída informação sobre os aspectos financeiros e a utilização dos instrumentos (artigo 4.o) |
| --- | --- |

—

no contexto do relatório anual a apresentar pela Comissão nos termos do artigo 173.o do Tratado, apresentar informação pormenorizada sobre os progressos da realização do programa-quadro, nomeadamente os progressos registados na concretização dos seus objectivos e no cumprimento das suas prioridades, tal como enumeradas em cada secção do anexo I. Deve ser também incluída informação sobre os aspectos financeiros e a utilização dos instrumentos (artigo 4.o)

Avaliação intermédia

| — | decorrida metade do período de vigência do programa-quadro, avaliar a evolução do programa (artigo 6.o) |
| --- | --- |

—

decorrida metade do período de vigência do programa-quadro, avaliar a evolução do programa (artigo 6.o)

| — | submeter à apreciação do Conselho e do Parlamento Europeu, com base na avaliação dos diferentes programas específicos, uma comunicação acompanhada, se oportuno, de uma proposta de adaptação da presente decisão (artigo 6.o) |
| --- | --- |

—

submeter à apreciação do Conselho e do Parlamento Europeu, com base na avaliação dos diferentes programas específicos, uma comunicação acompanhada, se oportuno, de uma proposta de adaptação da presente decisão (artigo 6.o)

| — | até 2010, proceder com o apoio de peritos externos, a uma avaliação intercalar, fundamentada em dados concretos, do presente programa-quadro e dos seus programas específicos, baseando-se na avaliação ex post do programa-quadro anterior. Essa avaliação deve contemplar a qualidade das actividades de investigação em curso, bem como a qualidade da execução e da gestão e os progressos verificados para a realização dos objectivos fixados (n.o 2 do artigo 7.o) |
| --- | --- |

—

até 2010, proceder com o apoio de peritos externos, a uma avaliação intercalar, fundamentada em dados concretos, do presente programa-quadro e dos seus programas específicos, baseando-se na avaliação ex post do programa-quadro anterior. Essa avaliação deve contemplar a qualidade das actividades de investigação em curso, bem como a qualidade da execução e da gestão e os progressos verificados para a realização dos objectivos fixados (n.o 2 do artigo 7.o)

| — | comunicar as conclusões dessa avaliação, acompanhadas das suas observações e, se necessário, de propostas de adaptação do programa-quadro, ao Parlamento Europeu, ao Conselho, ao Comité Económico e Social Europeu e ao Comité das Regiões (n.o 2 do artigo 7.o) |
| --- | --- |

—

comunicar as conclusões dessa avaliação, acompanhadas das suas observações e, se necessário, de propostas de adaptação do programa-quadro, ao Parlamento Europeu, ao Conselho, ao Comité Económico e Social Europeu e ao Comité das Regiões (n.o 2 do artigo 7.o)

| — | informar regularmente o Parlamento Europeu e o Conselho dos progressos gerais registados na execução do programa-quadro e dos programas específicos (n.o 4 do artigo 5.o) |
| --- | --- |

—

informar regularmente o Parlamento Europeu e o Conselho dos progressos gerais registados na execução do programa-quadro e dos programas específicos (n.o 4 do artigo 5.o)

| — | apresentar regularmente relatórios ao Parlamento Europeu e ao Conselho sobre o estado da realização do programa-quadro (considerando 20) |
| --- | --- |

—

apresentar regularmente relatórios ao Parlamento Europeu e ao Conselho sobre o estado da realização do programa-quadro (considerando 20)

| — | a avaliação intercalar deve ser precedida de um relatório de situação, a elaborar assim que houver informações suficientes, que dê conta das primeiras conclusões sobre a eficácia das novas acções iniciadas ao abrigo do sétimo programa-quadro e dos esforços de simplificação empreendidos (n.o 2 do artigo 7.o) |
| --- | --- |

—

a avaliação intercalar deve ser precedida de um relatório de situação, a elaborar assim que houver informações suficientes, que dê conta das primeiras conclusões sobre a eficácia das novas acções iniciadas ao abrigo do sétimo programa-quadro e dos esforços de simplificação empreendidos (n.o 2 do artigo 7.o)

| — | em 2004 será efectuada uma avaliação, por peritos independentes, da eficiência de cada instrumento na execução do presente programa (anexo III, 1. Instrumentos) |
| --- | --- |

—

em 2004 será efectuada uma avaliação, por peritos independentes, da eficiência de cada instrumento na execução do presente programa (anexo III, 1. Instrumentos)

Avaliação quinquenal

| — | mandar proceder a uma avaliação por peritos independentes da gestão e dos resultados da actividade comunitária desenvolvida no decurso dos cinco anos que precedem essa avaliação (n.o 2 do artigo 4.o) |
| --- | --- |

—

mandar proceder a uma avaliação por peritos independentes da gestão e dos resultados da actividade comunitária desenvolvida no decurso dos cinco anos que precedem essa avaliação (n.o 2 do artigo 4.o)

| — | mandar proceder a uma avaliação externa, por peritos independentes altamente qualificados, da execução e resultados das acções comunitárias realizadas no decurso dos cinco anos que precedem essa avaliação, em função dos critérios fixados no anexo I e dos objectivos científicos e tecnológicos definidos no anexo II (n.o 2 do artigo 5.o) |
| --- | --- |

—

mandar proceder a uma avaliação externa, por peritos independentes altamente qualificados, da execução e resultados das acções comunitárias realizadas no decurso dos cinco anos que precedem essa avaliação, em função dos critérios fixados no anexo I e dos objectivos científicos e tecnológicos definidos no anexo II (n.o 2 do artigo 5.o)

| — | mandar proceder a uma avaliação externa, por peritos independentes altamente qualificados, da implementação e dos resultados das acções comunitárias durante os cinco anos que precedem essa mesma avaliação (n.o 2 do artigo 6.o) [respectivamente da realização das acções empreendidas, tendo em conta o contributo do sexto programa-quadro para a realização do espaço europeu da investigação (considerando 20)] |
| --- | --- |

—

mandar proceder a uma avaliação externa, por peritos independentes altamente qualificados, da implementação e dos resultados das acções comunitárias durante os cinco anos que precedem essa mesma avaliação (n.o 2 do artigo 6.o) [respectivamente da realização das acções empreendidas, tendo em conta o contributo do sexto programa-quadro para a realização do espaço europeu da investigação (considerando 20)]

| — | comunicar a avaliação acompanhada das observações da Comissão, ao Parlamento Europeu, ao Conselho e ao Comité Económico e Social, antes de apresentar uma proposta relativa ao programa-quadro seguinte (n.o 2 do artigo 4.o) |
| --- | --- |

—

comunicar a avaliação acompanhada das observações da Comissão, ao Parlamento Europeu, ao Conselho e ao Comité Económico e Social, antes de apresentar uma proposta relativa ao programa-quadro seguinte (n.o 2 do artigo 4.o)

| — | comunicar a avaliação, acompanhada das suas observações, ao Parlamento Europeu, ao Conselho, ao Comité Económico e Social e ao Comité das Regiões antes de apresentar a sua proposta relativa ao programa-quadro seguinte (n.o 2 do artigo 5.o) |
| --- | --- |

—

comunicar a avaliação, acompanhada das suas observações, ao Parlamento Europeu, ao Conselho, ao Comité Económico e Social e ao Comité das Regiões antes de apresentar a sua proposta relativa ao programa-quadro seguinte (n.o 2 do artigo 5.o)

| — | comunicar as conclusões dessa avaliação, acompanhadas das suas observações, ao Parlamento Europeu, ao Conselho, ao Comité Económico e Social e ao Comité das Regiões (n.o 2 do artigo 6.o) em tempo útil e antes da apresentação da proposta do programa-quadro seguinte (considerando 20) |
| --- | --- |

—

comunicar as conclusões dessa avaliação, acompanhadas das suas observações, ao Parlamento Europeu, ao Conselho, ao Comité Económico e Social e ao Comité das Regiões (n.o 2 do artigo 6.o) em tempo útil e antes da apresentação da proposta do programa-quadro seguinte (considerando 20)

Avaliação final

[ver decisão relativa ao programa específico]

| — | dois anos após a conclusão do sétimo programa-quadro (ou seja, em 2015) proceder a uma avaliação externa, com recurso a peritos independentes, sobre a fundamentação, execução e realizações do mesmo (n.o 3 do artigo 7.o) |
| --- | --- |

—

dois anos após a conclusão do sétimo programa-quadro (ou seja, em 2015) proceder a uma avaliação externa, com recurso a peritos independentes, sobre a fundamentação, execução e realizações do mesmo (n.o 3 do artigo 7.o)

| — | comunicar as conclusões dessa avaliação, acompanhadas das suas observações, ao Parlamento Europeu, ao Conselho, ao Comité Económico e Social Europeu e ao Comité das Regiões (n.o 3 do artigo 7.o) |
| --- | --- |

—

comunicar as conclusões dessa avaliação, acompanhadas das suas observações, ao Parlamento Europeu, ao Conselho, ao Comité Económico e Social Europeu e ao Comité das Regiões (n.o 3 do artigo 7.o)

Peritos independentes

| — | ao seleccionar os peritos independentes, garantir que são tidos em conta, de forma equilibrada, a comunidade científica, a indústria e os utilizadores e publicar a lista completa dos peritos independentes e das respectivas qualificações individuais após a sua nomeação (n.o 3 do artigo 5.o)
  [no que se refere às disposições adicionais relativas aos peritos independentes, ver Decisão do Conselho 1999/65/CE, artigo 9.o] |
| --- | --- |

—

ao seleccionar os peritos independentes, garantir que são tidos em conta, de forma equilibrada, a comunidade científica, a indústria e os utilizadores e publicar a lista completa dos peritos independentes e das respectivas qualificações individuais após a sua nomeação (n.o 3 do artigo 5.o)

[no que se refere às disposições adicionais relativas aos peritos independentes, ver Decisão do Conselho 1999/65/CE, artigo 9.o]

| — | a Comissão nomeia peritos independentes para os fins de avaliação previstos no sexto programa-quadro e nos programas específicos, bem como para as funções de apoio referidas no n.o 6 do artigo 10.o e no segundo parágrafo do n.o 1 do artigo 18.o |
| --- | --- |

—

a Comissão nomeia peritos independentes para os fins de avaliação previstos no sexto programa-quadro e nos programas específicos, bem como para as funções de apoio referidas no n.o 6 do artigo 10.o e no segundo parágrafo do n.o 1 do artigo 18.o

| — | a Comissão pode também criar grupos de peritos independentes para a aconselharem na execução da política comunitária de investigação |
| --- | --- |

—

a Comissão pode também criar grupos de peritos independentes para a aconselharem na execução da política comunitária de investigação

| — | [no que se refere às disposições relativas aos peritos independentes, ver Regulamento (CE) n.o 2321/2002, artigo 11.o] |
| --- | --- |

—

[no que se refere às disposições relativas aos peritos independentes, ver Regulamento (CE) n.o 2321/2002, artigo 11.o]

Exemplo de uma decisão relativa a um programa específico — Conselho

Decisão 94/801/CE do Conselho, de 23 de Novembro de 1994: artigo 4.o

Decisão 1999/168/CE do Conselho, de 25 de Janeiro de 1999: artigos 4.o e 6.o

Decisões 2002/834/CE e 2002/835/CE do Conselho de 30 de Setembro de 2002: artigo 8.o

Decisão 2006/971/CE do Conselho, de 19 de Dezembro de 2006 relativa ao programa específico «Cooperação»: artigo 8.o

Exame

| — | acompanhar permanente e sistematicamente, com a assistência devida de peritos externos independentes, a evolução do programa (n.o 1 do artigo 4.o) |
| --- | --- |

—

acompanhar permanente e sistematicamente, com a assistência devida de peritos externos independentes, a evolução do programa (n.o 1 do artigo 4.o)

| — | acompanhar, com a ajuda de peritos externos independentes, a execução do programa específico e, se necessário, apresentar ao Conselho propostas de adaptação, em conformidade com o n.o 1 do artigo 5.o do 5.o PQ (alínea a) do artigo 4.o) |
| --- | --- |

—

acompanhar, com a ajuda de peritos externos independentes, a execução do programa específico e, se necessário, apresentar ao Conselho propostas de adaptação, em conformidade com o n.o 1 do artigo 5.o do 5.o PQ (alínea a) do artigo 4.o)

| — | mandar proceder à avaliação e acompanhamento independentes, previstos no artigo 6.o do sexto programa-quadro, das actividades desenvolvidas nos domínios abrangidos pelo programa específico (n.o 2 do artigo 8.o) |
| --- | --- |

—

mandar proceder à avaliação e acompanhamento independentes, previstos no artigo 6.o do sexto programa-quadro, das actividades desenvolvidas nos domínios abrangidos pelo programa específico (n.o 2 do artigo 8.o)

| — | assegurar o acompanhamento, a avaliação e a revisão independentes, a que se refere o artigo 7.o do programa-quadro, das actividades desenvolvidas nos domínios abrangidos pelo programa específico (artigo 9.o) |
| --- | --- |

—

assegurar o acompanhamento, a avaliação e a revisão independentes, a que se refere o artigo 7.o do programa-quadro, das actividades desenvolvidas nos domínios abrangidos pelo programa específico (artigo 9.o)

| — | As informações relativas ao acompanhamento que devem ser apresentadas pela Comissão ao Comité do Programa, em conformidade com o n.o 4 do artigo 8.o, estão especificadas no anexo V |
| --- | --- |

—

As informações relativas ao acompanhamento que devem ser apresentadas pela Comissão ao Comité do Programa, em conformidade com o n.o 4 do artigo 8.o, estão especificadas no anexo V

Artigo 173.o — Relatório anual

| — | apresentar regularmente relatórios sobre a execução do programa específico, nos termos previstos no artigo 4.o do sexto programa-quadro; será incluída informação sobre os aspectos financeiros e utilização dos instrumentos (n.o 1 do artigo 8.o) |
| --- | --- |

—

apresentar regularmente relatórios sobre a execução do programa específico, nos termos previstos no artigo 4.o do sexto programa-quadro; será incluída informação sobre os aspectos financeiros e utilização dos instrumentos (n.o 1 do artigo 8.o)

| — | incluir as principais observações (relativas ao mecanismo de financiamento da partilha de riscos) no relatório anual sobre as actividades de IDT que a Comissão comunica ao Parlamento Europeu e ao Conselho, nos termos do artigo 173.o do Tratado (anexo III) |
| --- | --- |

—

incluir as principais observações (relativas ao mecanismo de financiamento da partilha de riscos) no relatório anual sobre as actividades de IDT que a Comissão comunica ao Parlamento Europeu e ao Conselho, nos termos do artigo 173.o do Tratado (anexo III)

Avaliação quinquenal

| — | mandar proceder a uma avaliação externa, por peritos independentes, da actividade desenvolvida nos domínios abrangidos pelo programa e da sua gestão durante os cinco anos que precederem a avaliação (n.o 2 do artigo 4.o) |
| --- | --- |

—

mandar proceder a uma avaliação externa, por peritos independentes, da actividade desenvolvida nos domínios abrangidos pelo programa e da sua gestão durante os cinco anos que precederem a avaliação (n.o 2 do artigo 4.o)

| — | mandar proceder à avaliação externa prevista no n.o 2 do artigo 5.o
  do 5.o PQ no que respeita às acções realizadas nos domínios abrangidos pelo programa específico (alínea b) do artigo 4.o) |
| --- | --- |

—

mandar proceder à avaliação externa prevista no n.o 2 do artigo 5.o
  do 5.o PQ no que respeita às acções realizadas nos domínios abrangidos pelo programa específico (alínea b) do artigo 4.o)

Avaliação final

| — | mandar proceder, após a conclusão de cada programa específico, a uma avaliação final, independente, dos resultados obtidos em relação aos objectivos (n.o 3 do artigo 4.o) |
| --- | --- |

—

mandar proceder, após a conclusão de cada programa específico, a uma avaliação final, independente, dos resultados obtidos em relação aos objectivos (n.o 3 do artigo 4.o)

| — | comunicar essa avaliação ao Parlamento Europeu, ao Conselho e ao Comité Económico e Social (n.o 3 do artigo 4.o) |
| --- | --- |

—

comunicar essa avaliação ao Parlamento Europeu, ao Conselho e ao Comité Económico e Social (n.o 3 do artigo 4.o)

Peritos independentes

| — | definir um mandato para a avaliação externa prevista no n.o 2 do artigo 5.o do 5.o PQ (n.o 2 do artigo 6.o) |
| --- | --- |

—

definir um mandato para a avaliação externa prevista no n.o 2 do artigo 5.o do 5.o PQ (n.o 2 do artigo 6.o)

Informações de base sobre a estrutura do PQ

| — | 4.o PQ (CE): sete programas específicos incluindo 17 subprogramas, mais dois grupos de actividades |
| --- | --- |

—

4.o PQ (CE): sete programas específicos incluindo 17 subprogramas, mais dois grupos de actividades

| — | 5.o PQ (CE): sete programas específicos, dos quais quatro são programas temáticos e três são programas horizontais |
| --- | --- |

—

5.o PQ (CE): sete programas específicos, dos quais quatro são programas temáticos e três são programas horizontais

| — | 6.o PQ (CE): 20 programas, dos quais 10 estão agrupados no âmbito de sete prioridades temáticas e quatro programas que dizem respeito a actividades de investigação transversais, do programa específico «Concentração e integração da investigação comunitária». O programa específico «Estruturação do espaço europeu da investigação» representa quatro programas e o programa específico «Reforço das bases do espaço europeu de investigação» representa dois programas específicos |
| --- | --- |

—

6.o PQ (CE): 20 programas, dos quais 10 estão agrupados no âmbito de sete prioridades temáticas e quatro programas que dizem respeito a actividades de investigação transversais, do programa específico «Concentração e integração da investigação comunitária». O programa específico «Estruturação do espaço europeu da investigação» representa quatro programas e o programa específico «Reforço das bases do espaço europeu de investigação» representa dois programas específicos

| — | 7.o PQ (CE): 24 subprogramas específicos, dos quais 10 estão agrupados no programa específico «Cooperação», um diz respeito ao programa específico «Ideias», cinco subprogramas referem-se ao programa específico «Pessoas» e oito subprogramas são relativos ao programa específico «Capacidades» (um dos quais diz respeito às actividades não nucleares do CCI) |
| --- | --- |

—

7.o PQ (CE): 24 subprogramas específicos, dos quais 10 estão agrupados no programa específico «Cooperação», um diz respeito ao programa específico «Ideias», cinco subprogramas referem-se ao programa específico «Pessoas» e oito subprogramas são relativos ao programa específico «Capacidades» (um dos quais diz respeito às actividades não nucleares do CCI)

| — | Orçamento total (CE): 11 046 milhões de euros (ou seja, 2 761 milhões de euros por ano) |
| --- | --- |

—

Orçamento total (CE): 11 046 milhões de euros (ou seja, 2 761 milhões de euros por ano)

| — | Orçamento total (CE): 13 700 milhões de euros (ou seja, 3 425 milhões de euros por ano; +24 %) |
| --- | --- |

—

Orçamento total (CE): 13 700 milhões de euros (ou seja, 3 425 milhões de euros por ano; +24 %)

| — | Orçamento total (CE): 16 270 milhões de euros (ou seja, 4 061 milhões de euros por ano; +19 %) que após o alargamento da UE a 25 Estados-Membros aumentou para |
| --- | --- |

—

Orçamento total (CE): 16 270 milhões de euros (ou seja, 4 061 milhões de euros por ano; +19 %) que após o alargamento da UE a 25 Estados-Membros aumentou para

| — | Orçamento total (CE): 17 883 milhões de euros (ou seja, 4 447 milhões de euros por ano; +10 %) |
| --- | --- |

—

Orçamento total (CE): 17 883 milhões de euros (ou seja, 4 447 milhões de euros por ano; +10 %)

| — | Orçamento total (CE): 50 521 milhões de euros (ou seja, 7 217 milhões de euros por ano; +62 %) |
| --- | --- |

—

Orçamento total (CE): 50 521 milhões de euros (ou seja, 7 217 milhões de euros por ano; +62 %)

| — | Sete Direcções-Gerais: Investigação, Sociedade da Informação e Média, Energia, Transportes, Pescas, Agricultura, Empresas |
| --- | --- |

—

Sete Direcções-Gerais: Investigação, Sociedade da Informação e Média, Energia, Transportes, Pescas, Agricultura, Empresas

| — | Cinco Direcções-Gerais: Investigação, Sociedade da Informação e Média, Energia e Transportes, Pescas, Empresas |
| --- | --- |

—

Cinco Direcções-Gerais: Investigação, Sociedade da Informação e Média, Energia e Transportes, Pescas, Empresas

| — | Quatro Direcções-Gerais: Investigação, Sociedade da Informação e Média, Energia e Transportes, Empresas |
| --- | --- |

—

Quatro Direcções-Gerais: Investigação, Sociedade da Informação e Média, Energia e Transportes, Empresas

| — | Cinco Direcções-Gerais: Investigação, Sociedade da Informação e Média, Energia e Transportes, Empresas e Indústria, Centro Comum de Investigação; mais o «Conselho Europeu da Investigação» (CEI) e as agências executivas |
| --- | --- |

—

Cinco Direcções-Gerais: Investigação, Sociedade da Informação e Média, Energia e Transportes, Empresas e Indústria, Centro Comum de Investigação; mais o «Conselho Europeu da Investigação» (CEI) e as agências executivas

---

(1)  4.o PQ: Tecnologias da informação e das comunicações (Tecnologias e serviços avançados de comunicação — ACTS); Tecnologias da informação (ESPRIT); Aplicações telemáticas; Tecnologias industriais (Tecnologias industriais e tecnologias dos materiais — BRITE/EURAM); Investigação ligada à normalização, às medições e aos ensaios (SMT)); Ambiente (Ambiente e clima, ciências e tecnologias do mar (MAST III)); Ciências e tecnologias do ser vivo (Biotecnologia BIOTECH 2), Biomedicina e saúde (BIOMED 2), Agricultura e pesca (FAIR), Aspectos éticos, jurídicos e sociais (ELSA); Energia (Investigação e desenvolvimento — JOULE), Demonstração (THERMIE); Transportes (Programa de investigação no domínio dos transportes), Investigação socioeconómica orientada (TSER), Rede europeia de avaliação tecnológica (ETAN); Cooperação com países terceiros e organizações internacionais (INCO); Difusão e exploração dos resultados (programa de inovação); Incentivo à formação e à mobilidade dos investigadores (TMR), Associação de bolseiros Marie Curie.

(2)  5.o PQ: quatro programas temáticos — Qualidade de vida e gestão dos recursos vivos (Quality of Life), Sociedade da informação convivial (IST), Crescimento competitivo e sustentável (GROWTH), Energia, ambiente e desenvolvimento sustentável (EESD); três programas horizontais — Afirmar o papel internacional da investigação comunitária (INCO 2), Promover a inovação e incentivar a participação das PME (Innovation/SME), Aumentar o potencial humano de investigação e a base de conhecimentos socioeconómicos (Improving).

(3)  6.o PQ: «Orientação e integração da investigação comunitária»

| — | sete prioridades temáticas que correspondem a 10 programas: Ciências da vida, genómica e biotecnologia para a saúde (que inclui a genómica avançada e as suas aplicações na área da saúde, e a luta contra as principais doenças), Tecnologias da sociedade da informação, Nanotecnologias e nanociências, materiais multifuncionais baseados no conhecimento e novos processos e dispositivos de produção, Aeronáutica e espaço, Qualidade e segurança alimentar, Desenvolvimento sustentável, alterações globais e ecossistemas (que inclui sistemas energéticos sustentáveis, transportes de superfície sustentáveis, alterações globais e ecossistemas), Cidadãos e governação na sociedade do conhecimento; |
| --- | --- |

—

sete prioridades temáticas que correspondem a 10 programas: Ciências da vida, genómica e biotecnologia para a saúde (que inclui a genómica avançada e as suas aplicações na área da saúde, e a luta contra as principais doenças), Tecnologias da sociedade da informação, Nanotecnologias e nanociências, materiais multifuncionais baseados no conhecimento e novos processos e dispositivos de produção, Aeronáutica e espaço, Qualidade e segurança alimentar, Desenvolvimento sustentável, alterações globais e ecossistemas (que inclui sistemas energéticos sustentáveis, transportes de superfície sustentáveis, alterações globais e ecossistemas), Cidadãos e governação na sociedade do conhecimento;

| — | actividades de investigação transversais que abrangem um campo mais vasto de investigação e que correspondem a quatro programas: Políticas de apoio e previsão das necessidades científicas e tecnológicas, Actividades horizontais de investigação com a participação das PME, Medidas específicas de apoio à cooperação internacional, Actividades não nucleares do Centro Comum de Investigação; «Estruturação do Espaço Europeu da Investigação» que corresponde a quatro programas: Investigação e inovação, Recursos humanos e mobilidade, Infra-estruturas de investigação e Ciência e sociedade; «Reforço das bases do Espaço Europeu da Investigação» que corresponde a dois programas: Apoio à coordenação das actividades e apoio ao desenvolvimento coerente das políticas. |
| --- | --- |

—

actividades de investigação transversais que abrangem um campo mais vasto de investigação e que correspondem a quatro programas: Políticas de apoio e previsão das necessidades científicas e tecnológicas, Actividades horizontais de investigação com a participação das PME, Medidas específicas de apoio à cooperação internacional, Actividades não nucleares do Centro Comum de Investigação; «Estruturação do Espaço Europeu da Investigação» que corresponde a quatro programas: Investigação e inovação, Recursos humanos e mobilidade, Infra-estruturas de investigação e Ciência e sociedade; «Reforço das bases do Espaço Europeu da Investigação» que corresponde a dois programas: Apoio à coordenação das actividades e apoio ao desenvolvimento coerente das políticas.

(4)  7.o PQ: Programa específico «Cooperação» que corresponde a 10 subprogramas (Saúde; Alimentação, agricultura e biotecnologias; Tecnologias da informação e das comunicações; Nanociências, nanotecnologias, materiais e novas tecnologias de produção; Energia; Ambiente (incluindo as alterações climáticas); Transportes (includindo a aeronáutica); Ciências socioeconómicas e ciências humanas; Segurança; Espaço); Programa específico «Ideias» que corresponde a um subprograma (Conselho Europeu de Investigação); Programa específico «Pessoas» que corresponde a cinco subprogramas (Formação inicial; Formação ao longo da vida; Empresas — universidades; Dimensão internacional; Acções específicas); Programa específico «Capacidades» que corresponde a oito subprogramas específicos (Infra-estruturas de investigação, Investigação em benefício das PME; Regiões do conhecimento; Potencial de investigação; Ciência na sociedade; Apoio ao desenvolvimento coerente das políticas de investigação; Actividades de cooperação internacional; «Acções não nucleares do CCI».

---

ANEXO III

PRINCIPAIS DIFERENÇAS ENTRE A AVALIAÇÃO EX POST DOS PROGRAMAS DE INVESTIGAÇÃO NA UE (4.O, 5.O E 6.O PQ), NOS ESTADOS UNIDOS E NO CANADÁ

| | UE (4.o, 5.o e 6.o PQ) | Estados Unidos | Canadá |
| --- | --- | --- | --- |
| Aspectos sistémicos |
| Lógica da intervenção | Não é explícita | Geralmente existente, implicitamente exigida por PART (1) | Exigida pelo RMAF (2) no âmbito da proposta de programa |
| Estratégia de avaliação | Não é abrangente | Exigida por PART (1) | Exigida pelo RMAF (2) no âmbito da proposta de programa |
| Indicação dos resultados esperados | Não | Exigida por PART (1) (incluindo a utilização de indicadores quantificáveis) | Exigida pelo RMAF (2) no âmbito da proposta de programa |
| Questões de avaliação colocadas | Pela Comissão na qualidade de gestora do programa | Pela agência na qualidade de gestora do programa (avaliação no quadro do OMB) | Pela agência na qualidade de gestora do programa
  (avaliação no âmbito do TBS) |
| Aspectos organizativos |
| Fase de concepção | Durante o período de programação | Durante o período de programação | Concluída antes do arranque do programa |
| Recurso a painéis de peritos | Painéis de peritos ad hoc para os exercícios de avaliação específicos | Em função da agência/do programa | Painéis de peritos permanentes na qualidade de comités permanentes |
| Periodicidade | Datas fixas (ligadas ao período de programação, abrangendo os cinco anos anteriores) | Ciclo de 2-3 anos
  (ligado à aprovação do orçamento) | Por ocasião da renovação do programa |

UE (4.o, 5.o e 6.o PQ)

Estados Unidos

Canadá

Aspectos sistémicos

Lógica da intervenção

Não é explícita

Geralmente existente, implicitamente exigida por PART (1)

Exigida pelo RMAF (2) no âmbito da proposta de programa

Estratégia de avaliação

Não é abrangente

Exigida por PART (1)

Exigida pelo RMAF (2) no âmbito da proposta de programa

Indicação dos resultados esperados

Não

Exigida por PART (1) (incluindo a utilização de indicadores quantificáveis)

Exigida pelo RMAF (2) no âmbito da proposta de programa

Questões de avaliação colocadas

Pela Comissão na qualidade de gestora do programa

Pela agência na qualidade de gestora do programa (avaliação no quadro do OMB)

Pela agência na qualidade de gestora do programa

(avaliação no âmbito do TBS)

Aspectos organizativos

Fase de concepção

Durante o período de programação

Durante o período de programação

Concluída antes do arranque do programa

Recurso a painéis de peritos

Painéis de peritos ad hoc para os exercícios de avaliação específicos

Em função da agência/do programa

Painéis de peritos permanentes na qualidade de comités permanentes

Periodicidade

Datas fixas (ligadas ao período de programação, abrangendo os cinco anos anteriores)

Ciclo de 2-3 anos

(ligado à aprovação do orçamento)

Por ocasião da renovação do programa

---

(1)  Instrumento de Avaliação de Programa (Programme Assessment Rating Tool — PART) desde 2002: ver Office of Management and Budget (OMB), Executive Office of the President, EUA.

(2)  Results-based Management and Accountability Framework (RMAF): ver Treasury Board Secretariat (TBS) do Canadá.

---

ANEXO IV

POSSÍVEL ESTRUTURA DO PAINEL DE PERITOS PARA O 7.o PQ

Image

---

RESPOSTAS DA COMISSÃO

| I. | Os programas-quadro IDT comunitários (PQ) desenvolveram-se durante as últimas décadas em direcção a um sistema abrangente, mas coerente de mecanismos de apoio para investigadores nos 27 Estados-Membros da UE, países associados e outros.
  Os PQ são hoje o maior sistema do mundo de financiamento público da investigação multinacional.
  O PQ representa actualmente cerca de 5 % do financiamento público da UE para a investigação. Em termos de participação financeira comunitária anual, o 7.o PQ será cerca de 60 % maior que o 6.o PQ.
  Avaliar este esquema único constitui um desafio especial para todos os intervenientes envolvidos. As disposições de avaliação e acompanhamento passaram por alterações significativas nos últimos anos e, mais recentemente, com o lançamento do 7.o PQ em 2007.
  O sistema de avaliação e acompanhamento em vigor na Comissão baseia-se na responsabilidade directa dos serviços de execução da Comissão. Aqui se encontra o grau mais elevado de especialização técnica.
  As avaliações a nível do programa-quadro são levadas a efeito através de esforços coordenados em todas as Direcções-Gerais (DG). |
| --- | --- |

I.

Os programas-quadro IDT comunitários (PQ) desenvolveram-se durante as últimas décadas em direcção a um sistema abrangente, mas coerente de mecanismos de apoio para investigadores nos 27 Estados-Membros da UE, países associados e outros.

Os PQ são hoje o maior sistema do mundo de financiamento público da investigação multinacional.

O PQ representa actualmente cerca de 5 % do financiamento público da UE para a investigação. Em termos de participação financeira comunitária anual, o 7.o PQ será cerca de 60 % maior que o 6.o PQ.

Avaliar este esquema único constitui um desafio especial para todos os intervenientes envolvidos. As disposições de avaliação e acompanhamento passaram por alterações significativas nos últimos anos e, mais recentemente, com o lançamento do 7.o PQ em 2007.

O sistema de avaliação e acompanhamento em vigor na Comissão baseia-se na responsabilidade directa dos serviços de execução da Comissão. Aqui se encontra o grau mais elevado de especialização técnica.

As avaliações a nível do programa-quadro são levadas a efeito através de esforços coordenados em todas as Direcções-Gerais (DG).

| IV. | A Comissão regozija-se com a observação do Tribunal segundo a qual as DG que executam os PQ («as DG na área da Investigação») cumpriram com os requisitos da Comissão, incluindo os especificados nas comunicações de 2000 e 2002 sobre avaliação.
  Foram introduzidas alterações significativas na avaliação dos PQ, incluindo uma reestruturação importante para o 7.o PQ.
  A Comissão considera igualmente que:






  i) | Os PQ foram sempre baseados numa lógica de intervenção sadia. N.o 7.o PQ este aspecto é tornado mais explícito, o que reforçará o sistema de avaliação e acompanhamento da Comissão. |
| --- | --- | --- |

IV.

A Comissão regozija-se com a observação do Tribunal segundo a qual as DG que executam os PQ («as DG na área da Investigação») cumpriram com os requisitos da Comissão, incluindo os especificados nas comunicações de 2000 e 2002 sobre avaliação.

Foram introduzidas alterações significativas na avaliação dos PQ, incluindo uma reestruturação importante para o 7.o PQ.

A Comissão considera igualmente que:

i)

Os PQ foram sempre baseados numa lógica de intervenção sadia. N.o 7.o PQ este aspecto é tornado mais explícito, o que reforçará o sistema de avaliação e acompanhamento da Comissão.

| ii) | Os elementos estratégicos principais da abordagem da Comissão em matéria de avaliação e acompanhamento foram definidos nos actos legislativos sucessivos relativos aos PQ desde meados dos anos 90.
  Desde a adopção pela Comissão da sua última comunicação sobre avaliação da investigação em 1996, teve lugar um processo de melhoramento constante da abordagem da Comissão relativamente à avaliação dos PQ, tendo sido efectuadas alterações significativas aos exercícios de avaliação.
  No período examinado pelo Tribunal, foram efectuados de quatro em quatro anos exercícios de avaliação importantes dos PQ, as chamadas «avaliações quinquenais». |
| --- | --- |

ii)

Os elementos estratégicos principais da abordagem da Comissão em matéria de avaliação e acompanhamento foram definidos nos actos legislativos sucessivos relativos aos PQ desde meados dos anos 90.

Desde a adopção pela Comissão da sua última comunicação sobre avaliação da investigação em 1996, teve lugar um processo de melhoramento constante da abordagem da Comissão relativamente à avaliação dos PQ, tendo sido efectuadas alterações significativas aos exercícios de avaliação.

No período examinado pelo Tribunal, foram efectuados de quatro em quatro anos exercícios de avaliação importantes dos PQ, as chamadas «avaliações quinquenais».

| iii) | Os PQ são conjuntamente executados pelas «DG na área da Investigação», que actuam independentemente e cooperam se necessário. Os serviços centrais da Comissão, e a DG Orçamento em particular, participam activamente nas diferentes etapas relacionadas com o processo de avaliação.
  Dada a organização descentralizada da Comissão e as especificidades de cada domínio científico, as avaliações precisam de ser geridas pelos serviços operacionais responsáveis.
  A «rede de avaliação da IDT» da Comissão revelou-se muito útil para a coordenação.
  A Comissão concorda que os painéis devem desempenhar um papel importante na avaliação e regozija-se com a conclusão de auditoria segundo a qual os seus painéis para as «avaliações quinquenais» e outras importantes avaliações foram percebidas pelas partes interessadas institucionais como uma garantia para a independência da abordagem seguida pela Comissão no período coberto pela auditoria. |
| --- | --- |

iii)

Os PQ são conjuntamente executados pelas «DG na área da Investigação», que actuam independentemente e cooperam se necessário. Os serviços centrais da Comissão, e a DG Orçamento em particular, participam activamente nas diferentes etapas relacionadas com o processo de avaliação.

Dada a organização descentralizada da Comissão e as especificidades de cada domínio científico, as avaliações precisam de ser geridas pelos serviços operacionais responsáveis.

A «rede de avaliação da IDT» da Comissão revelou-se muito útil para a coordenação.

A Comissão concorda que os painéis devem desempenhar um papel importante na avaliação e regozija-se com a conclusão de auditoria segundo a qual os seus painéis para as «avaliações quinquenais» e outras importantes avaliações foram percebidas pelas partes interessadas institucionais como uma garantia para a independência da abordagem seguida pela Comissão no período coberto pela auditoria.

| iv) | A prestação de orientações metodológicas directas às avaliações é condicionada pela necessidade de manter a independência dos avaliadores. A Comissão reconhece dificuldades passadas com a recolha de dados e reconhece que se sabe menos sobre os resultados e impactos dos PQ a longo prazo, como é verdade para a maioria das avaliações das intervenções públicas na área da investigação e outras. |
| --- | --- |

iv)

A prestação de orientações metodológicas directas às avaliações é condicionada pela necessidade de manter a independência dos avaliadores. A Comissão reconhece dificuldades passadas com a recolha de dados e reconhece que se sabe menos sobre os resultados e impactos dos PQ a longo prazo, como é verdade para a maioria das avaliações das intervenções públicas na área da investigação e outras.

| v) | A programação da maioria das avaliações é especificada na legislação dos PQ adoptada pelo Parlamento Europeu e pelo Conselho. Em geral, a Comissão considera que o seu sistema de avaliação e acompanhamento dos PQ é eficaz. Esta visão foi partilhada pelo Parlamento Europeu e pelo Conselho ao adoptar as propostas legislativas recentes da Comissão para o 7.o PQ em 2006. |
| --- | --- |

v)

A programação da maioria das avaliações é especificada na legislação dos PQ adoptada pelo Parlamento Europeu e pelo Conselho. Em geral, a Comissão considera que o seu sistema de avaliação e acompanhamento dos PQ é eficaz. Esta visão foi partilhada pelo Parlamento Europeu e pelo Conselho ao adoptar as propostas legislativas recentes da Comissão para o 7.o PQ em 2006.

| V. | Tendo em conta as recomendações do Tribunal, a Comissão:






  i) | Aponta para a lógica de intervenção mais explícita incrustada na legislação do 7.o PQ (adoptada pelo Parlamento Europeu e pelo Conselho em 2006) e reforçará a utilização de uma lógica de intervenção explícita nas suas futuras propostas legislativas. Além disso, a Comissão pretende esclarecer mais os seus objectivos operacionais para o 7.o PQ a nível de programas de trabalho e desenvolver mais a sua abordagem relativamente à quantificação do desempenho. |
| --- | --- | --- |

V.

Tendo em conta as recomendações do Tribunal, a Comissão:

i)

Aponta para a lógica de intervenção mais explícita incrustada na legislação do 7.o PQ (adoptada pelo Parlamento Europeu e pelo Conselho em 2006) e reforçará a utilização de uma lógica de intervenção explícita nas suas futuras propostas legislativas. Além disso, a Comissão pretende esclarecer mais os seus objectivos operacionais para o 7.o PQ a nível de programas de trabalho e desenvolver mais a sua abordagem relativamente à quantificação do desempenho.

| ii) | Desenvolverá a sua estratégia de avaliação para o 7.o PQ, com base nas propostas de avaliação do impacto do 7.o PQ. Serão tomadas medidas para assegurar um nível de flexibilidade apropriado de forma a que cada serviço operacional possa determinar as suas necessidades de avaliação específicas. |
| --- | --- |

ii)

Desenvolverá a sua estratégia de avaliação para o 7.o PQ, com base nas propostas de avaliação do impacto do 7.o PQ. Serão tomadas medidas para assegurar um nível de flexibilidade apropriado de forma a que cada serviço operacional possa determinar as suas necessidades de avaliação específicas.

| iii) | Embora não considere necessário criar um serviço de avaliação conjunto, concorda em considerar outras opções para melhorar a coordenação.
  Os comités deveriam ser convocados o mais cedo possível para apoiar uma avaliação específica. Painéis específicos, convocados para fins pontuais, são mais susceptíveis de proporcionar benefícios em termos de clareza e precisão. |
| --- | --- |

iii)

Embora não considere necessário criar um serviço de avaliação conjunto, concorda em considerar outras opções para melhorar a coordenação.

Os comités deveriam ser convocados o mais cedo possível para apoiar uma avaliação específica. Painéis específicos, convocados para fins pontuais, são mais susceptíveis de proporcionar benefícios em termos de clareza e precisão.

| iv) | Já tomou medidas para explorar melhor as fontes de dados, existentes e novas, para as suas avaliações.
  Os requisitos de comunicação do 7.o PQ foram revistos parcialmente com base em necessidades de avaliação e acompanhamento.
  Além disso, a Comissão está actualmente a desenvolver um novo sistema informático para o 7.o PQ que é destinado a apresentar uma base mais robusta em termos de dados sobre projectos.
  A Comissão considerará a possibilidade de um novo manual sobre avaliação dos PQ, tomando em consideração exemplos recentes. |
| --- | --- |

iv)

Já tomou medidas para explorar melhor as fontes de dados, existentes e novas, para as suas avaliações.

Os requisitos de comunicação do 7.o PQ foram revistos parcialmente com base em necessidades de avaliação e acompanhamento.

Além disso, a Comissão está actualmente a desenvolver um novo sistema informático para o 7.o PQ que é destinado a apresentar uma base mais robusta em termos de dados sobre projectos.

A Comissão considerará a possibilidade de um novo manual sobre avaliação dos PQ, tomando em consideração exemplos recentes.

| v) | A Comissão pretende desenvolver e reforçar o seu planeamento de avaliações no âmbito do 7.o PQ, reflectindo as vantagens possíveis para a coerência e integração de resultados. |
| --- | --- |

v)

A Comissão pretende desenvolver e reforçar o seu planeamento de avaliações no âmbito do 7.o PQ, reflectindo as vantagens possíveis para a coerência e integração de resultados.

| 1-13. | Os programas-quadro da IDT comunitários (PQ) desenvolveram-se durante as últimas décadas em direcção a um sistema abrangente, mas coerente de mecanismos de apoio para investigadores nos 27 Estados-Membros da UE, países associados e outros.
  Os PQ são hoje o maior sistema do mundo de financiamento da investigação multinacional (ver parágrafo 6 do texto do Tribunal). Em termos de participação financeira comunitária anual o 7.o PQ será cerca de 60 % maior que o 6.o PQ (ver figura 1 do texto do Tribunal).
  Avaliar este esquema único constitui um desafio especial para todos os intervenientes envolvidos. As modalidades de avaliação atravessaram alterações significativas nos últimos anos (ver figura 2 do texto do Tribunal), e mais recentemente com o lançamento do 7.o PQ em 2007 (ver por exemplo as respostas aos parágrafos 23, 30, 41, 46, 72, 76-78, 93). |
| --- | --- |

1-13.

Os programas-quadro da IDT comunitários (PQ) desenvolveram-se durante as últimas décadas em direcção a um sistema abrangente, mas coerente de mecanismos de apoio para investigadores nos 27 Estados-Membros da UE, países associados e outros.

Os PQ são hoje o maior sistema do mundo de financiamento da investigação multinacional (ver parágrafo 6 do texto do Tribunal). Em termos de participação financeira comunitária anual o 7.o PQ será cerca de 60 % maior que o 6.o PQ (ver figura 1 do texto do Tribunal).

Avaliar este esquema único constitui um desafio especial para todos os intervenientes envolvidos. As modalidades de avaliação atravessaram alterações significativas nos últimos anos (ver figura 2 do texto do Tribunal), e mais recentemente com o lançamento do 7.o PQ em 2007 (ver por exemplo as respostas aos parágrafos 23, 30, 41, 46, 72, 76-78, 93).

| 14. | As DG que aplicam os PQ em matéria de IDT (as «DG na área da Investigação») cumpriram formalmente os requisitos de avaliação da Comissão, incluindo os indicados nas comunicações de 2000 e 2002 sobre avaliação (ver parágrafo 54 do texto do Tribunal). |
| --- | --- |

14.

As DG que aplicam os PQ em matéria de IDT (as «DG na área da Investigação») cumpriram formalmente os requisitos de avaliação da Comissão, incluindo os indicados nas comunicações de 2000 e 2002 sobre avaliação (ver parágrafo 54 do texto do Tribunal).

| 22. | A Comissão concorda com a importância de uma lógica de intervenção sadia para a concepção do programa e partilha a opinião de que o mandato especificado no artigo 163.o do Tratado é um elemento-chave a este respeito. Além disso, a contribuição de actividades de IDT financiadas pela Comissão para outras políticas e objectivos comunitários assume uma grande importância. Mais recentemente, a opinião da Comissão quanto ao papel de investimento em matéria de IDT na UE foi apresentada em detalhe nas estratégias renovadas de «Lisboa» e de «Desenvolvimento sustentável» (1). |
| --- | --- |

22.

A Comissão concorda com a importância de uma lógica de intervenção sadia para a concepção do programa e partilha a opinião de que o mandato especificado no artigo 163.o do Tratado é um elemento-chave a este respeito. Além disso, a contribuição de actividades de IDT financiadas pela Comissão para outras políticas e objectivos comunitários assume uma grande importância. Mais recentemente, a opinião da Comissão quanto ao papel de investimento em matéria de IDT na UE foi apresentada em detalhe nas estratégias renovadas de «Lisboa» e de «Desenvolvimento sustentável» (1).

| 23. | Os PQ foram sempre baseados numa lógica de intervenção sadia. N.o 7.o PQ este aspecto é tornado mais explícito (2), o que reforçará o sistema de avaliação e acompanhamento da Comissão. |
| --- | --- |

23.

Os PQ foram sempre baseados numa lógica de intervenção sadia. N.o 7.o PQ este aspecto é tornado mais explícito (2), o que reforçará o sistema de avaliação e acompanhamento da Comissão.

| 25. | Alguns países, incluindo alguns Estados-Membros, estão a desenvolver esta abordagem, mas não é de modo nenhum uma abordagem uniforme. As lições dos EUA e do Canadá podem ser menos facilmente transferíveis que as dos Estados-Membros da UE. |
| --- | --- |

25.

Alguns países, incluindo alguns Estados-Membros, estão a desenvolver esta abordagem, mas não é de modo nenhum uma abordagem uniforme. As lições dos EUA e do Canadá podem ser menos facilmente transferíveis que as dos Estados-Membros da UE.

| 26. | A Comissão considera que introduziu um sistema eficaz de avaliação e acompanhamento no período examinado pelo Tribunal (ver igualmente resposta ao parágrafo 23). |
| --- | --- |

26.

A Comissão considera que introduziu um sistema eficaz de avaliação e acompanhamento no período examinado pelo Tribunal (ver igualmente resposta ao parágrafo 23).

| 28. | É um desafio, dada em especial a incerteza da investigação, assegurar que todos os objectivos se adaptam precisamente às definições estritas dos critérios SMART. Todos os programas de trabalho no âmbito do 7.o PQ contêm declarações do impacto esperado, que correspondem aos objectivos, justificação e actividades fixados nos programas específicos. |
| --- | --- |

28.

É um desafio, dada em especial a incerteza da investigação, assegurar que todos os objectivos se adaptam precisamente às definições estritas dos critérios SMART. Todos os programas de trabalho no âmbito do 7.o PQ contêm declarações do impacto esperado, que correspondem aos objectivos, justificação e actividades fixados nos programas específicos.

| 29. | Foi prestada mais atenção a realizações de curto prazo no período examinado pelo Tribunal; há lugar para análises a mais longo prazo. |
| --- | --- |

29.

Foi prestada mais atenção a realizações de curto prazo no período examinado pelo Tribunal; há lugar para análises a mais longo prazo.

| 30. | A nível do PQ um sistema de acompanhamento está a ser actualmente desenvolvido pela Comissão para o 7.o PQ que tem como objectivo proporcionar uma utilização mais coerente e sistemática de indicadores de desempenho. Diversas iniciativas separadas para a evolução dos indicadores de desempenho estão igualmente em curso nos diferentes serviços que executam o 7.o PQ. |
| --- | --- |

30.

A nível do PQ um sistema de acompanhamento está a ser actualmente desenvolvido pela Comissão para o 7.o PQ que tem como objectivo proporcionar uma utilização mais coerente e sistemática de indicadores de desempenho. Diversas iniciativas separadas para a evolução dos indicadores de desempenho estão igualmente em curso nos diferentes serviços que executam o 7.o PQ.

| 34. | A Comissão já está empenhada em assegurar maior clareza em matéria de lógica de intervenção do programa, baseando-se nos avanços incrustados na legislação do 7.o PQ e na avaliação de impacto e considerará a recomendação do Tribunal para propostas legislativas futuras. |
| --- | --- |

34.

A Comissão já está empenhada em assegurar maior clareza em matéria de lógica de intervenção do programa, baseando-se nos avanços incrustados na legislação do 7.o PQ e na avaliação de impacto e considerará a recomendação do Tribunal para propostas legislativas futuras.

| 35. | A Comissão aceita a recomendação do Tribunal no sentido de esclarecer os objectivos do 7.o PQ e trabalhará para o efeito, dentro dos condicionalismos dos actos de base relevantes adoptados pelo Parlamento Europeu e pelo Conselho. |
| --- | --- |

35.

A Comissão aceita a recomendação do Tribunal no sentido de esclarecer os objectivos do 7.o PQ e trabalhará para o efeito, dentro dos condicionalismos dos actos de base relevantes adoptados pelo Parlamento Europeu e pelo Conselho.

| 36-37. | A Comissão aceita as recomendações do Tribunal e está a tomar iniciativas para o desenvolvimento da quantificação do desempenho e para a modificação da nomenclatura GPA/OPA. |
| --- | --- |

36-37.

A Comissão aceita as recomendações do Tribunal e está a tomar iniciativas para o desenvolvimento da quantificação do desempenho e para a modificação da nomenclatura GPA/OPA.

| 38-39. | A Comissão considera que a sua estratégia de avaliação para os PQ deve estabelecer princípios comuns para a organização e o desenvolvimento da avaliação e acompanhamento dos PQ. A estratégia deverá apresentar uma declaração de objectivos, definir componentes-chave do sistema incluindo exercícios importantes e elaborar uma visão para o futuro. Deverá concentrar-se no nível estratégico em virtude do sistema de avaliação descentralizado da Comissão para os PQ. |
| --- | --- |

38-39.

A Comissão considera que a sua estratégia de avaliação para os PQ deve estabelecer princípios comuns para a organização e o desenvolvimento da avaliação e acompanhamento dos PQ. A estratégia deverá apresentar uma declaração de objectivos, definir componentes-chave do sistema incluindo exercícios importantes e elaborar uma visão para o futuro. Deverá concentrar-se no nível estratégico em virtude do sistema de avaliação descentralizado da Comissão para os PQ.

| 41. | Os elementos estratégicos principais da abordagem da Comissão em matéria de avaliação e acompanhamento foram definidos nos actos de base sucessivos para os PQ desde meados dos anos 90 (ver anexo II).
  Desde a adopção pela Comissão da sua comunicação sobre avaliação da investigação em 1996, teve lugar um processo de aperfeiçoamento constante da abordagem relativa à avaliação dos PQ, tendo sido efectuadas alterações significativas aos exercícios de avaliação (ver figura 2 do texto do Tribunal).
  Durante o período de programação actual, a estratégia de avaliação prevista da Comissão é estabelecida mais explicitamente na avaliação de impacto ex ante do 7.o PQ [SEC(2005) 430]. Esta cobre a concepção do sistema de avaliação, a forma como será aplicado e um calendário pormenorizado das avaliações previstas a nível dos PQ.
  Serão necessários mais esforços para traduzir esta estratégia em planos específicos; a Comissão utilizará estruturas de coordenação específicas com essa finalidade. |
| --- | --- |

41.

Os elementos estratégicos principais da abordagem da Comissão em matéria de avaliação e acompanhamento foram definidos nos actos de base sucessivos para os PQ desde meados dos anos 90 (ver anexo II).

Desde a adopção pela Comissão da sua comunicação sobre avaliação da investigação em 1996, teve lugar um processo de aperfeiçoamento constante da abordagem relativa à avaliação dos PQ, tendo sido efectuadas alterações significativas aos exercícios de avaliação (ver figura 2 do texto do Tribunal).

Durante o período de programação actual, a estratégia de avaliação prevista da Comissão é estabelecida mais explicitamente na avaliação de impacto ex ante do 7.o PQ [SEC(2005) 430]. Esta cobre a concepção do sistema de avaliação, a forma como será aplicado e um calendário pormenorizado das avaliações previstas a nível dos PQ.

Serão necessários mais esforços para traduzir esta estratégia em planos específicos; a Comissão utilizará estruturas de coordenação específicas com essa finalidade.

| 43. | Embora reconhecendo a observação do Tribunal, a Comissão nota que a situação nos EUA e no Canadá é consideravelmente mais complexa do que aquilo que poderá ser apresentado por estratégias isoladas de avaliação. |
| --- | --- |

43.

Embora reconhecendo a observação do Tribunal, a Comissão nota que a situação nos EUA e no Canadá é consideravelmente mais complexa do que aquilo que poderá ser apresentado por estratégias isoladas de avaliação.

| 44. | As diferenças na utilização e abordagem da avaliação ao longo dos PQ reflectem o sistema descentralizado da Comissão, que liga a avaliação à tomada de decisão. |
| --- | --- |

44.

As diferenças na utilização e abordagem da avaliação ao longo dos PQ reflectem o sistema descentralizado da Comissão, que liga a avaliação à tomada de decisão.

| 46. | Dada a organização descentralizada da Comissão, a questão do nível apropriado da actividade de avaliação deverá ser respondida pelos serviços operacionais responsáveis (ver igualmente respostas aos parágrafos 41 e 49).






  — | (segundo travessão) A avaliação quinquenal de 2004 (1999-2003), coordenada pela DG Investigação, proporcionou uma avaliação a nível global dos PQ. A decisão de efectuar ou não exercícios separados a nível dos programas reflectiu as necessidades dos serviços envolvidos e os diferentes contextos e dimensões das actividades em causa. |
| --- | --- | --- |

46.

Dada a organização descentralizada da Comissão, a questão do nível apropriado da actividade de avaliação deverá ser respondida pelos serviços operacionais responsáveis (ver igualmente respostas aos parágrafos 41 e 49).

—

(segundo travessão) A avaliação quinquenal de 2004 (1999-2003), coordenada pela DG Investigação, proporcionou uma avaliação a nível global dos PQ. A decisão de efectuar ou não exercícios separados a nível dos programas reflectiu as necessidades dos serviços envolvidos e os diferentes contextos e dimensões das actividades em causa.

| 47. | A avaliação quinquenal de 2004 facultou uma avaliação coordenada, generalizada, pontual a nível global dos PQ, em conformidade com o Regulamento Financeiro. Esta foi levada a efeito por conhecidos peritos externos, tendo os resultados sido disseminados amplamente. |
| --- | --- |

47.

A avaliação quinquenal de 2004 facultou uma avaliação coordenada, generalizada, pontual a nível global dos PQ, em conformidade com o Regulamento Financeiro. Esta foi levada a efeito por conhecidos peritos externos, tendo os resultados sido disseminados amplamente.

| 48. | Ver respostas aos pontos 41 e 46. |
| --- | --- |

48.

Ver respostas aos pontos 41 e 46.

| 49. | Durante o período de programação actual, a estratégia de avaliação prevista da Comissão é estabelecida na avaliação de impacto ex ante do 7.o PQ [SEC(2005) 430]. Esta cobre a concepção do sistema de avaliação, a forma como será aplicado e um calendário pormenorizado das avaliações previstas a nível dos PQ.
  A Comissão reconhece que é necessário mais trabalho para traduzir esta estratégia em planos específicos e utilizará estruturas de coordenação específicas para o efeito.
  A Comissão considera, contudo, que um nível mínimo de avaliação pormenorizada nem sempre pode ser fixado devido à necessidade de dispor de uma flexibilidade suficiente para que os responsáveis pela gestão determinem as necessidades de avaliação apropriadas. |
| --- | --- |

49.

Durante o período de programação actual, a estratégia de avaliação prevista da Comissão é estabelecida na avaliação de impacto ex ante do 7.o PQ [SEC(2005) 430]. Esta cobre a concepção do sistema de avaliação, a forma como será aplicado e um calendário pormenorizado das avaliações previstas a nível dos PQ.

A Comissão reconhece que é necessário mais trabalho para traduzir esta estratégia em planos específicos e utilizará estruturas de coordenação específicas para o efeito.

A Comissão considera, contudo, que um nível mínimo de avaliação pormenorizada nem sempre pode ser fixado devido à necessidade de dispor de uma flexibilidade suficiente para que os responsáveis pela gestão determinem as necessidades de avaliação apropriadas.

| 51. | Os PQ são conjuntamente executados pelas «DG na área da Investigação», que actuam independentemente e cooperam se necessário. |
| --- | --- |

51.

Os PQ são conjuntamente executados pelas «DG na área da Investigação», que actuam independentemente e cooperam se necessário.

| 52. | O EuropeAid tem responsabilidades operacionais e de gestão que exerce em colaboração com as delegações da Comissão e organismos de execução em países terceiros. Este aspecto torna difícil considerar esta área da Comissão como um exemplo visto não ser comparável com o sistema descentralizado de responsabilidades e funções na área de investigação. |
| --- | --- |

52.

O EuropeAid tem responsabilidades operacionais e de gestão que exerce em colaboração com as delegações da Comissão e organismos de execução em países terceiros. Este aspecto torna difícil considerar esta área da Comissão como um exemplo visto não ser comparável com o sistema descentralizado de responsabilidades e funções na área de investigação.

| 53. | A «rede de avaliação da IDT» da Comissão faculta meios informais para o desenvolvimento de uma estratégia de avaliação e a coordenação de exercícios de avaliação a nível dos PQ. Este mecanismo flexível revelou-se muito útil. |
| --- | --- |

53.

A «rede de avaliação da IDT» da Comissão faculta meios informais para o desenvolvimento de uma estratégia de avaliação e a coordenação de exercícios de avaliação a nível dos PQ. Este mecanismo flexível revelou-se muito útil.

| 55. | A revisão recente das normas de controlo interno da Comissão, adoptada em 16 de Outubro de 2007 [SEC(2007) 1341] inclui as 21 normas de avaliação, sendo o cumprimento destas normas incluído, por conseguinte, no âmbito dos relatórios de actividade anuais das DG.
  Os serviços centrais da Comissão, e a DG Orçamento em particular, participam activamente nas diferentes etapas relacionadas com o processo de avaliação.
  As actividades de avaliação dos serviços podem ser objecto de auditoria por parte da estrutura de auditoria interna e do Serviço de Auditoria Interna.
  No futuro, a avaliação dos requisitos de qualidade mínimos utilizará o «quadro de avaliação da qualidade» recentemente desenvolvido pela Comissão (3). Desde 2007, o controlo de qualidade para a futura avaliação do impacto foi apoiado pelo «painel de avaliação do impacto» da Comissão. |
| --- | --- |

55.

A revisão recente das normas de controlo interno da Comissão, adoptada em 16 de Outubro de 2007 [SEC(2007) 1341] inclui as 21 normas de avaliação, sendo o cumprimento destas normas incluído, por conseguinte, no âmbito dos relatórios de actividade anuais das DG.

Os serviços centrais da Comissão, e a DG Orçamento em particular, participam activamente nas diferentes etapas relacionadas com o processo de avaliação.

As actividades de avaliação dos serviços podem ser objecto de auditoria por parte da estrutura de auditoria interna e do Serviço de Auditoria Interna.

No futuro, a avaliação dos requisitos de qualidade mínimos utilizará o «quadro de avaliação da qualidade» recentemente desenvolvido pela Comissão (3). Desde 2007, o controlo de qualidade para a futura avaliação do impacto foi apoiado pelo «painel de avaliação do impacto» da Comissão.

| 56. | A comparação apresentada no anexo III cobre o período examinado pelo Tribunal. Por conseguinte, não toma em consideração melhorias significativas no âmbito do 7.o PQ, nomeadamente no que respeita a uma nova estratégia de avaliação, a uma lógica de intervenção mais explícita e a declarações claras dos resultados esperados nos programas de trabalho.
  O Tribunal destaca determinados Estados-Membros em que a responsabilidade pela avaliação e o financiamento são separados. Igualmente, existem outros exemplos (como o Reino Unido) em que a avaliação faz parte da gestão do programa (como é o caso na Comissão). Na questão-chave relativa à independência, a auditoria do Tribunal mostrou que os participantes externos estão satisfeitos com o desempenho da Comissão neste ponto (ver parágrafo 58 e figura 4 do texto do Tribunal). |
| --- | --- |

56.

A comparação apresentada no anexo III cobre o período examinado pelo Tribunal. Por conseguinte, não toma em consideração melhorias significativas no âmbito do 7.o PQ, nomeadamente no que respeita a uma nova estratégia de avaliação, a uma lógica de intervenção mais explícita e a declarações claras dos resultados esperados nos programas de trabalho.

O Tribunal destaca determinados Estados-Membros em que a responsabilidade pela avaliação e o financiamento são separados. Igualmente, existem outros exemplos (como o Reino Unido) em que a avaliação faz parte da gestão do programa (como é o caso na Comissão). Na questão-chave relativa à independência, a auditoria do Tribunal mostrou que os participantes externos estão satisfeitos com o desempenho da Comissão neste ponto (ver parágrafo 58 e figura 4 do texto do Tribunal).

| 59. | — | (primeiro travessão) É difícil assegurar uma participação adequada de membros de alto nível em painéis convocados durante períodos longos. |
| --- | --- | --- |

59.

—

(primeiro travessão) É difícil assegurar uma participação adequada de membros de alto nível em painéis convocados durante períodos longos.

| — | (segundo travessão) Os mandatos para painéis a nível dos PQ são fixados por decisão da Comissão, no seguimento de uma ampla consulta informal dos interessados, incluindo o parecer formal dos Comités de programas do 7.o PQ compostos por representantes dos Estados-Membros e dos países associados. Tal será igualmente o caso para a próxima avaliação ex post do 6.o PQ em 2008. |
| --- | --- |

—

(segundo travessão) Os mandatos para painéis a nível dos PQ são fixados por decisão da Comissão, no seguimento de uma ampla consulta informal dos interessados, incluindo o parecer formal dos Comités de programas do 7.o PQ compostos por representantes dos Estados-Membros e dos países associados. Tal será igualmente o caso para a próxima avaliação ex post do 6.o PQ em 2008.

| 62. | A Comissão recomenda, a título de média, que seja consagrado à avaliação o objectivo de 0,5 % de um orçamento do programa. Os recursos atribuídos efectivamente dependem muito da natureza de um programa. |
| --- | --- |

62.

A Comissão recomenda, a título de média, que seja consagrado à avaliação o objectivo de 0,5 % de um orçamento do programa. Os recursos atribuídos efectivamente dependem muito da natureza de um programa.

| 66. | Embora não considere necessário criar um serviço de avaliação conjunto, a Comissão concorda em considerar outras opções para melhorar a coordenação.
  A ligação entre a avaliação e a tomada de decisão dos gestores pode ser obtida com melhores resultados mediante estruturas de avaliação situadas em cada DG e através de um novo impulso à «rede de avaliação da IDT» existente da Comissão com o apoio dos serviços centrais. Este aspecto está igualmente em conformidade com os processos legislativos e orçamentais, segundo as exigências do Regulamento Financeiro, a comunicação da Comissão de 2007 sobre avaliação e os procedimentos no contexto da GPA. |
| --- | --- |

66.

Embora não considere necessário criar um serviço de avaliação conjunto, a Comissão concorda em considerar outras opções para melhorar a coordenação.

A ligação entre a avaliação e a tomada de decisão dos gestores pode ser obtida com melhores resultados mediante estruturas de avaliação situadas em cada DG e através de um novo impulso à «rede de avaliação da IDT» existente da Comissão com o apoio dos serviços centrais. Este aspecto está igualmente em conformidade com os processos legislativos e orçamentais, segundo as exigências do Regulamento Financeiro, a comunicação da Comissão de 2007 sobre avaliação e os procedimentos no contexto da GPA.

| 67. | A Comissão concorda que os painéis podem desempenhar um papel importante na avaliação. Embora concorde igualmente que os painéis devem ser convocados o mais cedo possível para apoiar uma avaliação específica, não considera apropriado instituir painéis permanentes ao longo do período da programação.
  Um painel específico, convocado para um objectivo específico, é susceptível de trazer mais benefícios em termos de clareza e precisão. |
| --- | --- |

67.

A Comissão concorda que os painéis podem desempenhar um papel importante na avaliação. Embora concorde igualmente que os painéis devem ser convocados o mais cedo possível para apoiar uma avaliação específica, não considera apropriado instituir painéis permanentes ao longo do período da programação.

Um painel específico, convocado para um objectivo específico, é susceptível de trazer mais benefícios em termos de clareza e precisão.

| 68. | A Comissão avaliará cuidadosamente as necessidades de recursos para realizar a avaliação dos PQ nos próximos anos. |
| --- | --- |

68.

A Comissão avaliará cuidadosamente as necessidades de recursos para realizar a avaliação dos PQ nos próximos anos.

| 70-71. | O guia da DG Orçamento (4), que os serviços, incluindo as «DG na área da Investigação», estão presentemente a actualizar, presta orientações metodológicas para a avaliação, incluindo ferramentas e glossário de termos.
  Além disso, foram desenvolvidas pela DG Empresa orientações de avaliação específicas em 2002 cobrindo todas as actividades pelas quais esta DG é responsável, incluindo os PQ.
  Serão consideradas outras iniciativas de apoio para a «rede europeia de avaliação da IDT» novamente lançada (composta por peritos dos Estados-Membros e dos países associados) e para a «rede de avaliação da IDT» interna à Comissão. A Comissão continuará igualmente a apoiar estudos independentes de metodologia de avaliação, bem como grupos de trabalho. |
| --- | --- |

70-71.

O guia da DG Orçamento (4), que os serviços, incluindo as «DG na área da Investigação», estão presentemente a actualizar, presta orientações metodológicas para a avaliação, incluindo ferramentas e glossário de termos.

Além disso, foram desenvolvidas pela DG Empresa orientações de avaliação específicas em 2002 cobrindo todas as actividades pelas quais esta DG é responsável, incluindo os PQ.

Serão consideradas outras iniciativas de apoio para a «rede europeia de avaliação da IDT» novamente lançada (composta por peritos dos Estados-Membros e dos países associados) e para a «rede de avaliação da IDT» interna à Comissão. A Comissão continuará igualmente a apoiar estudos independentes de metodologia de avaliação, bem como grupos de trabalho.

| 72. | A Comissão concorda que o processo para a recolha rotineira de dados dos projectos foi apenas parcialmente eficaz. Os procedimentos de informação dos projectos foram revistos no âmbito do 6.o PQ, e serão ainda melhorados para o 7.o PQ (por exemplo, os relatórios periódicos serão simplificados; os questionários intercalares foram suprimidos; os relatórios finais tornar-se-ão mais úteis, nomeadamente no que se refere à recolha de dados sobre a execução e os resultados dos projectos). |
| --- | --- |

72.

A Comissão concorda que o processo para a recolha rotineira de dados dos projectos foi apenas parcialmente eficaz. Os procedimentos de informação dos projectos foram revistos no âmbito do 6.o PQ, e serão ainda melhorados para o 7.o PQ (por exemplo, os relatórios periódicos serão simplificados; os questionários intercalares foram suprimidos; os relatórios finais tornar-se-ão mais úteis, nomeadamente no que se refere à recolha de dados sobre a execução e os resultados dos projectos).

| 74. | As «DG na área da Investigação» estão a desenvolver actualmente um novo sistema informático para o 7.o PQ com o apoio da DG Informática. O referido maior apoio informático destina-se a facultar uma base mais sólida para a avaliação e o acompanhamento. |
| --- | --- |

74.

As «DG na área da Investigação» estão a desenvolver actualmente um novo sistema informático para o 7.o PQ com o apoio da DG Informática. O referido maior apoio informático destina-se a facultar uma base mais sólida para a avaliação e o acompanhamento.

| 76-78. | O fornecimento de dados de avaliação foi apenas parcialmente eficaz no período coberto pela auditoria. A Comissão está a introduzir melhorias no âmbito do 7.o PQ (ver resposta ao parágrafo 72). |
| --- | --- |

76-78.

O fornecimento de dados de avaliação foi apenas parcialmente eficaz no período coberto pela auditoria. A Comissão está a introduzir melhorias no âmbito do 7.o PQ (ver resposta ao parágrafo 72).

| 79. | A Comissão tem como objectivo incentivar os tipos de estudos quantitativos propostos pelo Tribunal. |
| --- | --- |

79.

A Comissão tem como objectivo incentivar os tipos de estudos quantitativos propostos pelo Tribunal.

| 81. | Na opinião da Comissão, muitas avaliações metodologicamente mais interessantes foram levadas a efeito recentemente (ver parágrafo 84), devendo ser feita uma distinção entre as avaliações em grande escala e os exercícios mais rotineiros. |
| --- | --- |

81.

Na opinião da Comissão, muitas avaliações metodologicamente mais interessantes foram levadas a efeito recentemente (ver parágrafo 84), devendo ser feita uma distinção entre as avaliações em grande escala e os exercícios mais rotineiros.

| 82. | A Comissão aceita que, em geral, o trabalho de avaliação deu mais atenção a realizações de curto prazo e concorda que há lugar para mais análise no que se refere a resultados e impactos. Contudo, a referida abordagem exige uma perspectiva a mais longo prazo e, por conseguinte, as avaliações da Comissão são tipicamente comparáveis a trabalhos semelhantes efectuados noutras situações. |
| --- | --- |

82.

A Comissão aceita que, em geral, o trabalho de avaliação deu mais atenção a realizações de curto prazo e concorda que há lugar para mais análise no que se refere a resultados e impactos. Contudo, a referida abordagem exige uma perspectiva a mais longo prazo e, por conseguinte, as avaliações da Comissão são tipicamente comparáveis a trabalhos semelhantes efectuados noutras situações.

| 83. | A Comissão procura respeitar a independência dos peritos de avaliação, nomeadamente na escolha das metodologias apropriadas.
  Para a próxima avaliação ex post do 6.o PQ em 2008, propõe-se a realização de estudos sobre a adicionalidade comportamental, a análise de redes e a utilização das abordagens de quantificação científica. |
| --- | --- |

83.

A Comissão procura respeitar a independência dos peritos de avaliação, nomeadamente na escolha das metodologias apropriadas.

Para a próxima avaliação ex post do 6.o PQ em 2008, propõe-se a realização de estudos sobre a adicionalidade comportamental, a análise de redes e a utilização das abordagens de quantificação científica.

| 84. | Uma análise dos estudos de avaliação precedentes foi levada a efeito por um perito independente para a avaliação quinquenal de 2004 (1999-2003) (5).






  — | (segundo travessão) Para além dos estudos referidos pelo Tribunal, foram lançados outros estudos importantes em 2007 (6). |
| --- | --- | --- |

84.

Uma análise dos estudos de avaliação precedentes foi levada a efeito por um perito independente para a avaliação quinquenal de 2004 (1999-2003) (5).

—

(segundo travessão) Para além dos estudos referidos pelo Tribunal, foram lançados outros estudos importantes em 2007 (6).

| 85. | A Comissão concorda que há mais necessidade de desenvolver novas abordagens metodológicas para analisar a natureza mutável dos PQ. O referido desenvolvimento metodológico é, e continuará a ser, apoiado pela Comissão. |
| --- | --- |

85.

A Comissão concorda que há mais necessidade de desenvolver novas abordagens metodológicas para analisar a natureza mutável dos PQ. O referido desenvolvimento metodológico é, e continuará a ser, apoiado pela Comissão.

| 86. | Como as questões enumeradas nos mandatos para a avaliação quinquenal de 2004 (1999-2003) foram apenas indicativas, o painel foi livre de escolher as áreas de concentração e determinar as suas modalidades de trabalho. Os membros do comité comentaram a excelência do exercício (7). |
| --- | --- |

86.

Como as questões enumeradas nos mandatos para a avaliação quinquenal de 2004 (1999-2003) foram apenas indicativas, o painel foi livre de escolher as áreas de concentração e determinar as suas modalidades de trabalho. Os membros do comité comentaram a excelência do exercício (7).

| 87. | A própria natureza de um programa de investigação, que trata de incertezas, significa que há limites para a medida em que podem ser especificados os objectivos quantificáveis. |
| --- | --- |

87.

A própria natureza de um programa de investigação, que trata de incertezas, significa que há limites para a medida em que podem ser especificados os objectivos quantificáveis.

| 90. | Em 2007, a Comissão relançou a sua «rede europeia de avaliação da IDT», incluindo funcionários dos Estados-Membros e peritos em avaliação, que planeia utilizar para promover mais coerência nas actividades de avaliação da investigação da UE, nomeadamente no que se refere aos estudos de impacto a nível de Estado-Membro. |
| --- | --- |

90.

Em 2007, a Comissão relançou a sua «rede europeia de avaliação da IDT», incluindo funcionários dos Estados-Membros e peritos em avaliação, que planeia utilizar para promover mais coerência nas actividades de avaliação da investigação da UE, nomeadamente no que se refere aos estudos de impacto a nível de Estado-Membro.

| 91. | A Comissão considerará a possibilidade de um novo manual sobre avaliação dos PQ, tomando em consideração exemplos recentes (8). |
| --- | --- |

91.

A Comissão considerará a possibilidade de um novo manual sobre avaliação dos PQ, tomando em consideração exemplos recentes (8).

| 92. | Os procedimentos de comunicação dos projectos foram revistos no âmbito do 6.o PQ, sendo ainda melhorados para o 7.o PQ (ver resposta ao parágrafo 72). |
| --- | --- |

92.

Os procedimentos de comunicação dos projectos foram revistos no âmbito do 6.o PQ, sendo ainda melhorados para o 7.o PQ (ver resposta ao parágrafo 72).

| 93. | A nível do PQ um sistema de acompanhamento está a ser actualmente desenvolvido pela Comissão para o 7.o PQ que tem como objectivo proporcionar uma utilização mais coerente e sistemática de indicadores de desempenho (ver resposta ao parágrafo 30).
  As «DG na área da Investigação» estão a desenvolver actualmente um novo sistema informático para o 7.o PQ com o apoio da DG Informática. O referido maior apoio informático destina-se a facultar uma base mais sólida para a avaliação e o acompanhamento. |
| --- | --- |

93.

A nível do PQ um sistema de acompanhamento está a ser actualmente desenvolvido pela Comissão para o 7.o PQ que tem como objectivo proporcionar uma utilização mais coerente e sistemática de indicadores de desempenho (ver resposta ao parágrafo 30).

As «DG na área da Investigação» estão a desenvolver actualmente um novo sistema informático para o 7.o PQ com o apoio da DG Informática. O referido maior apoio informático destina-se a facultar uma base mais sólida para a avaliação e o acompanhamento.

| 94. | A Comissão partilha as preocupações do Tribunal no que respeita ao problema do peso dos relatórios, tendo tomado este ponto especificamente em consideração ao especificar os requisitos de comunicação para o 7.o PQ (ver resposta ao parágrafo 72). |
| --- | --- |

94.

A Comissão partilha as preocupações do Tribunal no que respeita ao problema do peso dos relatórios, tendo tomado este ponto especificamente em consideração ao especificar os requisitos de comunicação para o 7.o PQ (ver resposta ao parágrafo 72).

| 95. | A Comissão está actualmente empenhada em explorar as fontes de dados, existentes e novas, para a avaliação e o acompanhamento (ver resposta ao parágrafo 72). |
| --- | --- |

95.

A Comissão está actualmente empenhada em explorar as fontes de dados, existentes e novas, para a avaliação e o acompanhamento (ver resposta ao parágrafo 72).

| 96. | N.o 7.o PQ, há uma rubrica de acção específica no âmbito do tema 8 (ciências sociais e humanísticas) para analisar abordagens inovadoras de avaliação e acompanhamento. |
| --- | --- |

96.

N.o 7.o PQ, há uma rubrica de acção específica no âmbito do tema 8 (ciências sociais e humanísticas) para analisar abordagens inovadoras de avaliação e acompanhamento.

| 97. | A Comissão relançou em 2007 a sua rede europeia de avaliação da IDT (ver respostas aos parágrafos 70-71 e 90), que planeia utilizar para promover mais coerência nas actividades de avaliação da investigação da UE, nomeadamente os estudos de impacto dos Estados-Membros.
  A Comissão pretende igualmente manter a sua posição na vanguarda do apoio à criação de redes internacionais e de partilha de práticas de avaliação em matéria de investigação através de sessões de trabalho e outros eventos. |
| --- | --- |

97.

A Comissão relançou em 2007 a sua rede europeia de avaliação da IDT (ver respostas aos parágrafos 70-71 e 90), que planeia utilizar para promover mais coerência nas actividades de avaliação da investigação da UE, nomeadamente os estudos de impacto dos Estados-Membros.

A Comissão pretende igualmente manter a sua posição na vanguarda do apoio à criação de redes internacionais e de partilha de práticas de avaliação em matéria de investigação através de sessões de trabalho e outros eventos.

| 99. | O calendário da avaliação é determinado pelos requisitos especificados nos actos de base adoptados pelo Parlamento Europeu e pelo Conselho. A Comissão reconhece que se sabe menos sobre impactos a longo prazo e concorda que há lugar para mais trabalho nesta área. |
| --- | --- |

99.

O calendário da avaliação é determinado pelos requisitos especificados nos actos de base adoptados pelo Parlamento Europeu e pelo Conselho. A Comissão reconhece que se sabe menos sobre impactos a longo prazo e concorda que há lugar para mais trabalho nesta área.

| 100. | A Comissão concorda que as avaliações quinquenais tendiam a concentrar-se mais na avaliação a curto prazo do que a longo prazo. Isto é explicado por factores incluindo o interesse dos participantes externos, como o Parlamento Europeu e o Conselho, no feedback rápido sobre o desempenho dos PQ, o desafio da atribuição de impactos à investigação a mais longo prazo e os objectivos específicos escolhidos pelos painéis independentes que efectuam os exercícios. A Comissão reconhece, contudo, que precisa de ser dada mais atenção à avaliação de efeitos a mais longo prazo. |
| --- | --- |

100.

A Comissão concorda que as avaliações quinquenais tendiam a concentrar-se mais na avaliação a curto prazo do que a longo prazo. Isto é explicado por factores incluindo o interesse dos participantes externos, como o Parlamento Europeu e o Conselho, no feedback rápido sobre o desempenho dos PQ, o desafio da atribuição de impactos à investigação a mais longo prazo e os objectivos específicos escolhidos pelos painéis independentes que efectuam os exercícios. A Comissão reconhece, contudo, que precisa de ser dada mais atenção à avaliação de efeitos a mais longo prazo.

| 108. | A Comissão encontra-se na fase de planear as actividades de avaliação principais do 7.o PQ e tomará cuidadosamente em consideração a recomendação do Tribunal. A Comissão reconhece que se sabe menos sobre impactos a longo prazo e concorda que há lugar para mais trabalho nesta área. |
| --- | --- |

108.

A Comissão encontra-se na fase de planear as actividades de avaliação principais do 7.o PQ e tomará cuidadosamente em consideração a recomendação do Tribunal. A Comissão reconhece que se sabe menos sobre impactos a longo prazo e concorda que há lugar para mais trabalho nesta área.

| 109. | Tal como assinalado pelo Tribunal no parágrafo 107, a Comissão apresenta uma síntese de todos os resultados e medidas tomados para avaliações em matéria de investigação na sua análise de avaliação anual. A Comissão está empenhada na transparência completa do seu trabalho de avaliação e seguirá a recomendação do Tribunal no sentido de rever os meios para comunicar e disseminar resultados. |
| --- | --- |

109.

Tal como assinalado pelo Tribunal no parágrafo 107, a Comissão apresenta uma síntese de todos os resultados e medidas tomados para avaliações em matéria de investigação na sua análise de avaliação anual. A Comissão está empenhada na transparência completa do seu trabalho de avaliação e seguirá a recomendação do Tribunal no sentido de rever os meios para comunicar e disseminar resultados.

| 110-111. | A Comissão concorda com o Tribunal no sentido de a avaliação em matéria de investigação, nomeadamente para um programa tão global como os PQ, ser um grande desafio.
  Nota que foram introduzidas melhorias muito significativas no sistema nos últimos 25 anos e que o sistema em geral foi eficaz para decisores políticos, gestores de investigação e outras partes interessadas. |
| --- | --- |

110-111.

A Comissão concorda com o Tribunal no sentido de a avaliação em matéria de investigação, nomeadamente para um programa tão global como os PQ, ser um grande desafio.

Nota que foram introduzidas melhorias muito significativas no sistema nos últimos 25 anos e que o sistema em geral foi eficaz para decisores políticos, gestores de investigação e outras partes interessadas.

| 112. | A Comissão aceita a observação do Tribunal segundo a qual as DG que executam os PQ cumpriram com os requisitos da Comissão, incluindo os especificados nas comunicações de 2000 e 2002 sobre avaliação.
  Foram introduzidas alterações significativas na avaliação dos PQ, incluindo uma reestruturação importante para o 7.o PQ, tal como estabelecido na estratégia apresentada pela avaliação do impacto [SEC(2005) 430]. |
| --- | --- |

112.

A Comissão aceita a observação do Tribunal segundo a qual as DG que executam os PQ cumpriram com os requisitos da Comissão, incluindo os especificados nas comunicações de 2000 e 2002 sobre avaliação.

Foram introduzidas alterações significativas na avaliação dos PQ, incluindo uma reestruturação importante para o 7.o PQ, tal como estabelecido na estratégia apresentada pela avaliação do impacto [SEC(2005) 430].

| 113. | No que se refere à importância e utilidade das avaliações, a Comissão pode apontar para o feedback em geral positivo que recebeu, nomeadamente dos exercícios-chave recentes tais como a avaliação quinquenal de 2004 (1999-2003). Houve uma ampla difusão dos resultados da avaliação quinquenal incluindo apresentações junto de organismos fundamentais tais como o Parlamento Europeu, o Conselho, CREST e comités dos programas dos PQ. Dado ter sido uma condição obrigatória que este exercício fosse levado a efeito antes da proposta da Comissão para um novo programa-quadro (neste caso o 7.o PQ), a sua aceitabilidade global foi expressa pela adopção efectiva do 7.o PQ.
  Tal não significa que não possam ser efectuadas melhorias e a Comissão reconhece inteiramente a necessidade de fazer cuidadosamente as mudanças consideradas que se apoiam nos elementos da abordagem actual que já funcionam bem. |
| --- | --- |

113.

No que se refere à importância e utilidade das avaliações, a Comissão pode apontar para o feedback em geral positivo que recebeu, nomeadamente dos exercícios-chave recentes tais como a avaliação quinquenal de 2004 (1999-2003). Houve uma ampla difusão dos resultados da avaliação quinquenal incluindo apresentações junto de organismos fundamentais tais como o Parlamento Europeu, o Conselho, CREST e comités dos programas dos PQ. Dado ter sido uma condição obrigatória que este exercício fosse levado a efeito antes da proposta da Comissão para um novo programa-quadro (neste caso o 7.o PQ), a sua aceitabilidade global foi expressa pela adopção efectiva do 7.o PQ.

Tal não significa que não possam ser efectuadas melhorias e a Comissão reconhece inteiramente a necessidade de fazer cuidadosamente as mudanças consideradas que se apoiam nos elementos da abordagem actual que já funcionam bem.

| 114. | A Comissão regozija-se com o reconhecimento do Tribunal da importância da avaliação e do acompanhamento e, com base nas melhorias significativas já feitas, continuará a actualizar as suas práticas actuais à luz das novas realidades políticas e práticas. |
| --- | --- |

114.

A Comissão regozija-se com o reconhecimento do Tribunal da importância da avaliação e do acompanhamento e, com base nas melhorias significativas já feitas, continuará a actualizar as suas práticas actuais à luz das novas realidades políticas e práticas.

| 115. | A Comissão já está empenhada em assegurar maior clareza em matéria de lógica de intervenção do programa, baseando-se nos avanços incrustados na legislação do 7.o PQ e na avaliação de impacto, e considerará a recomendação do Tribunal para propostas legislativas futuras. |
| --- | --- |

115.

A Comissão já está empenhada em assegurar maior clareza em matéria de lógica de intervenção do programa, baseando-se nos avanços incrustados na legislação do 7.o PQ e na avaliação de impacto, e considerará a recomendação do Tribunal para propostas legislativas futuras.

| 116. | Com base nas melhorias significativas já feitas quanto à avaliação dos PQ, a Comissão concorda que ainda há lugar para melhorias incluindo uma mais estreita coordenação a nível operacional entre os serviços em causa. A Comissão continuará os seus esforços para apoiar desenvolvimentos em matéria de metodologia da avaliação. |
| --- | --- |

116.

Com base nas melhorias significativas já feitas quanto à avaliação dos PQ, a Comissão concorda que ainda há lugar para melhorias incluindo uma mais estreita coordenação a nível operacional entre os serviços em causa. A Comissão continuará os seus esforços para apoiar desenvolvimentos em matéria de metodologia da avaliação.

| 117. | No que respeita às disposições organizacionais, a Comissão considera que:






  — | (primeiro travessão) Os comités deveriam ser convocados o mais cedo possível para apoiar uma avaliação específica. Painéis específicos, convocados para fins pontuais, são mais susceptíveis de proporcionar benefícios em termos de clareza e precisão. |
| --- | --- | --- |

117.

No que respeita às disposições organizacionais, a Comissão considera que:

—

(primeiro travessão) Os comités deveriam ser convocados o mais cedo possível para apoiar uma avaliação específica. Painéis específicos, convocados para fins pontuais, são mais susceptíveis de proporcionar benefícios em termos de clareza e precisão.

| — | (segundo travessão) A coordenação entre as DG que aplicam os PQ precisa de ser reforçada. Para além da nova estratégia de avaliação do 7.o PQ, este aspecto será realizado mediante a utilização de estruturas de coordenação específicas para complementar a «rede de avaliação da IDT» da Comissão, em vez da criação de um serviço de avaliação conjunto. |
| --- | --- |

—

(segundo travessão) A coordenação entre as DG que aplicam os PQ precisa de ser reforçada. Para além da nova estratégia de avaliação do 7.o PQ, este aspecto será realizado mediante a utilização de estruturas de coordenação específicas para complementar a «rede de avaliação da IDT» da Comissão, em vez da criação de um serviço de avaliação conjunto.

---

(1)  Comunicação da Comissão ao Conselho Europeu da Primavera «Execução da estratégia de Lisboa renovada para o crescimento e o emprego» [COM(2006) 816].

(2)  Por exemplo, a proposta da Comissão para o 7.o PQ foi desenvolvida com base numa avaliação ex ante pormenorizada do impacto, que incluiu a modelização econométrica dos impactos potenciais da actividade de investigação em questões tais como o crescimento económico e a criação de emprego (ver Comissão Europeia, Documento de trabalho dos serviços da Comissão, «Avaliação de impacto e avaliação ex ante das propostas de decisão do Conselho e do Parlamento Europeu sobe o 7.o Programa-Quadro (CE e EURATOM)», SEC (2005) 430). As decisões do 7.o PQ estabelecem uma estrutura clara que liga objectivos, justificação e actividades. Além disso, as decisões de programas específicos do 7.o PQ estabelecem objectivos, abordagem e actividades.

(3)  O «quadro de avaliação da qualidade» está disponível em http://ec.europa.eu/budget/documents/evaluation_en.htm

(4)  Comissão Europeia, DG Orçamento, «Avaliação das actividades da UE — um guia prático para os serviços da Comissão», Julho de 2004, disponível em http://ec.europa.eu/budget/publications/other_en.htm

(5)  E. Arnold, «O que é que o registo de avaliação nos diz sobre o desempenho do programa-quadro», 2004.

(6)  DG Investigação, «Efeitos estruturantes da investigação comunitária — o impacto do programa-quadro sobre a formação da rede de investigação e desenvolvimento tecnológico (IDT)», 2007; DG Sociedade de Informação e Média «Eficácia dos impactos IST-IDT no sistema de inovação da UE», 2007.

(7)  Ver C. Mandl, «Avaliar as avaliações ou o caso de investigação das acções», boletim de informação da plataforma austríaca, n.o 30, Junho de 2007.

(8)  Ver por exemplo Comissão Europeia, Centro Comum de Investigação, «Avaliação do impacto socioeconómico de políticas de IDT» (EPUB), 2002, e Universidade de Manchester, «Avaliação dos impactos socioeconómicos do programa-quadro» (ASIF), 2002, ambas disponíveis em http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Estes relatórios foram amplamente distribuídos e disponibilizados aos adjudicatários e peritos que realizam estudos de avaliação em nome da Comissão.

---