PT Jornal Oficial da União Europeia C 26/1

RELATÓRIO ESPECIAL N.o 9/2007

relativo à «Avaliação dos programas-quadro de investigação e desenvolvimento tecnológico (IDT) da UE — O método da Comissão pode ser melhorado?», acompanhado das respostas da Comissão

(apresentado nos termos do n.o 4, segundo parágrafo, do artigo 248.o do Tratado CE)

(2008/C 26/01)

ÍNDICE

I-V SÍNTESE

1-14 INTRODUÇÃO

1-7 Papel da União Europeia no apoio às actividades de IDT

8-14 Avaliação e acompanhamento dos PQ

15-18 ÂMBITO E MÉTODO DE AUDITORIA

19-109 OBSERVAÇÕES DE AUDITORIA

19-37 Lógica de intervenção, definição dos objectivos e indicadores de desempenho

38-49 Estratégia de avaliação

50-68 Organizar a avaliação dos PQ

69-97 Metodologias e técnicas de avaliação

98-109 Difusão e utilização das constatações resultantes da avaliação

110-118 CONCLUSÃO GERAL

Anexo I: Determinação do impacto e dos resultados da intervenção pública no domínio da IDT

Anexo II: Disposições aplicáveis ao acompanhamento e à avaliação constantes das decisões legislativas referentes aos 4.o, 5.o, 6.o e 7.o PQ

Anexo III: Principais diferenças entre a avaliação ex post dos programas de investigação na UE (4.o, 5.o e 6.o PQ), nos Estados Unidos e no Canadá

Anexo IV: Possível estrutura do painel de peritos para o 7.o PQ

Respostas da Comissão

SÍNTESE

I Os programas-quadro (PQ) comunitários de IDT constituem a maior fonte pública de financiamento em matéria de investigação na União Europeia. A Comissão é responsável pela gestão dos PQ e pela avaliação dos seus resultados.

II A auditoria incidiu nas disposições em matéria de acompanhamento e de avaliação em vigor desde 1995 relativamente aos três últimos períodos de programação (4.o, 5.o e 6.o PQ) e apresenta perspectivas para o 7.o PQ (2007-2013). Foi realizada em conjunto com o conselho de revisores de contas da EFTA e contou com a assistência de peritos externos.

III A auditoria tinha por objectivo determinar se o método da Comissão para avaliar os resultados dos PQ era adequado. Neste contexto, o Tribunal verificou se a Comissão cumpria os requisitos legais em matéria de avaliação e se o seu sistema de avaliação e acompanhamento respondia às expectativas dos intervenientes. O Tribunal examinou especialmente se: i) existia uma lógica de intervenção subjacente aos PQ e aos seus programas constituintes que pudesse funcionar como uma base sólida para avaliação e acompanhamento; ii) a Comissão tinha definido uma estratégia de avaliação dos PQ; iii) a estrutura organizativa do sistema de avaliação dos PQ utilizado pela Comissão garantia que a avaliação era correctamente coordenada, dispunha dos recursos adequados e era vista pelos intervenientes como suficientemente independente; iv) as metodologias utilizadas para a avaliação eram satisfatórias; v) as actividades de avaliação e acompanhamento forneciam informações e uma análise que permitissem melhorar os programas em curso e preparar futuros PQ.

IV As constatações e conclusões do Tribunal foram as seguintes: i) a inexistência de uma lógica explícita de intervenção, objectivos do programa mal definidos e uma fraca apreciação do desempenho afectaram a eficácia do acompanhamento e da avaliação; ii) a inexistência de uma estratégia de avaliação abrangente, acordada entre as «Direcções-Gerais de investigação» responsáveis pela execução dos PQ, deu origem à adopção de métodos incoerentes entre os diferentes serviços da Comissão. Em especial, este aspecto é ilustrado por uma subavaliação de partes significativas dos PQ; iii) a avaliação dos PQ foi descentralizada, os mecanismos de coordenação existentes nas Direcções-Gerais responsáveis pela execução dos PQ não eram eficazes e os serviços centrais da Comissão não desempenhavam funções de controlo da aplicação das normas. No entanto, em termos gerais, as «Direcções-Gerais de investigação» cumpriram os requisitos formais da Comissão relativos à avaliação. O recurso a painéis constituídos por peritos externos de alto nível nomeados pela Comissão para os principais exercícios de avaliação está bem adaptado ao contexto comunitário. No entanto, estes painéis temporários não foram envolvidos no processo suficientemente cedo para poderem influenciar a obtenção de provas e apenas tiveram possibilidades limitadas de acompanhar as questões pertinentes ao longo do tempo. Utilizando apenas um painel para o PQ global (além de um painel para um programa específico), não se prestou toda a atenção necessária às questões específicas relacionadas com os diferentes domínios científicos dentro dos PQ; iv) as orientações metodológicas fornecidas eram inadequadas, os avaliadores encontraram dificuldades na recolha de dados pertinentes e não existiam estudos de avaliação que abordassem os efeitos e impactos a longo prazo dos PQ, ao contrário das questões a curto prazo relativas à execução dos programas; v) em resultado do exposto anteriormente, e porque o calendário das avaliações era frequentemente prematuro para abordar as questões mais relevantes, o sistema utilizado pela Comissão para avaliar os PQ tinha uma utilidade limitada para os decisores políticos, para os intervenientes ou até para a própria Comissão. Em última análise, pouco se sabe sobre a realização dos objectivos do programa e os resultados dos PQ.

V O Tribunal recomenda: i) deverá tornar-se explícita a lógica de intervenção na legislação futura. Deverão ser explicados os pressupostos subjacentes, clarificada a ligação entre objectivos científicos e socioeconómicos e definidos indicadores de desempenho adequados; ii) as Direcções-Gerais responsáveis pela execução dos PQ deverão desenvolver (e chegar a acordo sobre) uma estratégia de avaliação abrangente. Em especial, esta deverá incluir um método coerente relativamente ao nível mínimo em que deve ocorrer uma avaliação pormenorizada, para ter em conta as especificidades de cada domínio científico; iii) deverá ponderar-se a criação de um serviço comum de avaliação para coordenar as actividades de avaliação das «Direcções-Gerais de investigação» relativamente à totalidade do PQ, bem como de um sistema de painéis (e subpainéis) constituídos por peritos externos. Estes painéis deverão ser criados suficientemente cedo para fornecerem uma assistência eficaz à Comissão e continuarem a fazê-lo ao longo do período de programação e para além deste; iv) deverão analisar-se devidamente as necessidades em termos de dados para a avaliação e o acompanhamento e utilizar-se de forma mais intensiva outras fontes existentes de dados. A Comissão deverá igualmente racionalizar os requisitos em matéria de comunicação impostos aos participantes. Por fim, deverá elaborar um manual da avaliação abrangente para os PQ e desenvolver uma maior gama de metodologias e técnicas a utilizar nas avaliações neste domínio; v) a Comissão deverá definir o tipo e o âmbito da avaliação que se pode esperar razoavelmente para as datas definidas na legislação relativa ao 7.o PQ e clarificar de que forma as avaliações poderão ser utilizadas para adaptar programas («learning programmes») e qual a sua possível contribuição para as decisões de política.

INTRODUÇÃO

Papel da União Europeia no apoio às actividades de IDT

1. A Investigação e o desenvolvimento tecnológico (IDT) (1) são o principal motor do progresso e inovação científicos e tecnológicos e, assim, contribuem de forma importante para a melhoria dos padrões de vida. A intervenção pública no domínio de IDT justifica-se em geral como uma medida correctiva às chamadas «deficiências do mercado», com a ajuda pública a diminuir as incertezas e a proporcionar investimento nos casos em que a investigação é um bem público, ou em que existem externalidades significativas.

2. O artigo 163.o do Tratado CE define o papel da Comunidade no apoio à IDT, especificando que «a Comunidade tem por objectivo reforçar as bases científicas e tecnológicas da indústria comunitária e fomentar o desenvolvimento da sua competitividade internacional, bem como promover as acções de investigação consideradas necessárias […]». Os artigos 164.o a 173.o determinam as actividades a realizar neste aspecto e o âmbito e execução dos programas-quadro (PQ) plurianuais de IDT. A Comissão tem a responsabilidade de apresentar propostas para os PQ, enquanto as decisões relativas aos PQ e as regras de participação e divulgação são adoptadas por co-decisão do Parlamento Europeu e do Conselho, que adopta sozinho os programas específicos. Os PQ são executados em conjunto por seis Direcções-Gerais (DG), as chamadas «Direcções-Gerais de investigação» (2).

3. Dentro da grande variedade de políticas executadas na União Europeia para reforçar a inovação e a competitividade, os PQ constituem o instrumento financeiro mais importante para contribuir para a estratégia de Lisboa (3) e o objectivo de Barcelona (4) ao nível comunitário.

4. Através dos PQ, a Comunidade financia investigadores da União Europeia, de países associados e de organizações internacionais. Os seus orçamentos aumentaram de forma significativa ao longo dos anos, atingindo 7 217 milhões de euros por ano no âmbito do 7.o PQ, em comparação com 2 761 milhões de euros no âmbito do 4.o PQ (ver gráfico 1). Em termos de dotações orçamentais, representam o maior domínio de gestão directa centralizada dentro da Comissão (5).

5. Os PQ distinguem-se de muitos programas nacionais pois abrangem tanto a investigação fundamental como a aplicada, com a participação da indústria e de organizações de investigação públicas (6). São constituídos por programas (e subprogramas) específicos que tratam de domínios científicos abrangentes. Em geral, estes programas são constituídos por vários domínios que se concentram em áreas científicas mais específicas. Em seguida, são executados através de projectos (denominados «acções indirectas») no seguimento de convites à apresentação de propostas. Desta forma, são financiadas centenas de projectos por domínio.

6. A quota global dos PQ no financiamento público total em matéria de IDT na União Europeia e nos seus Estados-Membros oscila entre 4 % e 5 %. Não obstante, o seu impacto no tipo de actividades de investigação realizadas na Europa é bastante mais elevado, pois as subvenções comunitárias geralmente representam apenas parte do financiamento total de um projecto. Além disso, ao candidatar-se ao financiamento, os investigadores têm de demonstrar que os seus projectos abordam os objectivos especificados nos convites à apresentação de propostas. Desta forma, os PQ definem incentivos para orientar as actividades de IDT para objectivos específicos da UE.

7. Nos últimos anos, registaram-se alterações significativas nos PQ, devido a: — novos desafios políticos (a estratégia de Lisboa e os objectivos de Barcelona, a criação de um «Espaço Europeu da Investigação» (EEI) e o recurso crescente ao método aberto de coordenação (7) na política de investigação e inovação); — a alteração da orientação dos PQ, desde a simples resolução de problemas técnicos n.o 4.o PQ e abordagem de problemas sociais específicos n.o 5.o PQ, até ao incentivo à cooperação entre as organizações de investigação dentro do EEI e ao contributo para a criação de uma economia e sociedade baseadas no conhecimento nos 6.o PQ e 7.o PQ; — períodos de programação mais longos (anteriormente 4 anos, actualmente 7 anos n.o 7.o PQ, em conformidade com as perspectivas financeiras para 2007-2013); — maior número de Estados-Membros e de países participantes; — aumento do financiamento, em especial no âmbito das actuais perspectivas financeiras; — a criação do Conselho Europeu de Investigação (CEI) e a delegação das actividades de gestão dos programas nas agências executivas a partir do 7.o PQ; — o aumento da utilização de instrumentos de financiamento em larga escala (por exemplo, as redes de excelência, os projectos integrados, os projectos executados no âmbito do artigo 169.o, as iniciativas tecnológicas conjuntas).

Avaliação e acompanhamento dos PQ

8. A Comissão é responsável pela execução dos programas e pela avaliação dos seus resultados (8). Na Comissão, a avaliação é confiada às Direcções-Gerais, enquanto os serviços centrais (em especial a DG Orçamento e o Secretariado-Geral) asseguram o apoio e a coordenação.

9. As definições utilizadas no presente relatório são as da própria Comissão, a saber: por «avaliação» entende-se uma apreciação das intervenções em função dos seus resultados e impactos e das necessidades que procuram satisfazer (9); por «acompanhamento» entende-se o fornecimento de informações sobre a execução de programas e projectos em curso para dar resposta às necessidades de gestão (10). Esta é igualmente a actual distinção das duas actividades na legislação do 7.o PQ.

10. Doravante, utiliza-se a seguinte terminologia para descrever os resultados das actividades de IDT: — «Realizações» são os conhecimentos, bens e serviços directamente produzidos em consequência da intervenção pública (publicações, documentos de conferências, patentes, licenças, protótipos, normas, formação de cientistas, etc.); — «Efeitos» são os resultados posteriores ao processamento das realizações efectuado pelos utilizadores; — «Impactos» são as alterações socioeconómicas e políticas a longo prazo a que a intervenção pública deu origem. Caixa 1Exemplo do «Sistema Global de Comunicações Móveis» (GSM)Neste exemplo, as «realizações» do financiamento comunitário foram os resultados imediatos do projecto, como o desenvolvimento da norma GSM. O «efeito» foi a sua aceitação enquanto norma de telecomunicações digitais celulares na Europa e não só, o que contribuiu em grande medida para o desenvolvimento da indústria das telecomunicações. Por fim, os «impactos» foram as consequências económicas, sociais e políticas da utilização internacional desta tecnologia. Estas incluem a contribuição para a criação de empregos na indústria das telecomunicações e indústrias relacionadas e o crescimento da importância deste sector industrial para a economia europeia. Em última análise, o GSM proporcionou igualmente uma nova forma de comunicação entre as pessoas.

11. No entanto, a avaliação desses resultados coloca várias dificuldades metodológicas (ver anexo I). As alterações socioeconómicas são complexas e, mais especificamente, a relação entre uma actividade de investigação e os efeitos e impactos observados é frequentemente difícil de estabelecer. Embora representem um desafio considerável, estas dificuldades metodológicas não excluem necessariamente uma avaliação eficaz.

12. Desde os anos 1980, a Comissão tem em prática um sistema para acompanhar e avaliar os PQ (11). A partir do 4.o PQ, em meados dos anos 1990, o sistema de acompanhamento e avaliação passou a ser composto por várias actividades parcialmente relacionadas, incluindo: — acompanhamento anual (principalmente da execução do programa), — avaliações quinquenais das actividades do PQ (e, a partir do 6.o PQ, outras avaliações de questões específicas). As duas actividades tiveram de ser realizadas recorrendo à assistência de peritos externos (ver gráfico 2 e anexo II). Gráfico 2 Requisitos principais para o acompanhamento e a avaliação do 4.o ao 7.o PQ 4.o PQ (1995-1998) 5.o PQ (1999-2002) 6.o PQ (2003-2006) 7.o PQ (2007-2013) dois exercícios de avaliação (intercalar e final), ambos relativos aos 20 subprogramas e ao PQ; a avaliação final sobrepõe-se à intercalar do 5.o PQ dois exercícios de avaliação simultâneos (intercalares), ambos relativos aos 7 programas específios e ao PQ um exercício de avaliação relativo ao PQ e aos 3 programas específicos (intercalar), mas não especificamente a todos os 20 subprogramas, complementado por uma avaliação específica e relatórios regulares sobre a evolução (relatórios de acompanhamento) pelo menos cinco exercícios de avaliação (ex ante, intercalar e final), incluindo um relatório específico sobre a evolução antes da avaliação intermédia 1. Ex ante : não 1. Ex ante : não 1. Ex ante : não 1. Ex ante: incorporada na «avaliação do impacto» da proposta da Comissão para o 7.o PQ (2005) 2. Intercalar: — avaliação quinquenal: a meio do PQ, anterior ao PQ seguinte (1997) 2. Intercalar: — avaliação quinquenal: antes de apresentar a proposta para o PQ seguinte (2000) — exame da evolução a meio do PQ (2001) 2. Intercalar: — avaliação da eficácia dos instrumentos (2004) — avaliação quinquenal antes de apresentar a proposta para o PQ seguinte (2004) — relatórios regulares sobre a evolução (relatórios de acompanhamento) 2. Intercalar: — ex post, 2 anos depois de encerrar o PQ anterior (2008) — relatório sobre a evolução antes da avaliação intermédia (antes de 2010) — avaliação intermédia (2010) 3. Final: — no encerramento do PQ (1999) 3. Final: não 3. Final: não [alterado pela decisão relativa ao 7.o PQ] 3. Final: dois anos depois de encerrar o PQ (2015), apoiada por estudos específicos, pela avaliação intermédia e por outras actividades de avaliação realizadas durante o período do PQ Fonte: Ver anexo II.

13. Até agora, realizaram-se três avaliações quinquenais (12), que deram origem aos relatórios «Davignon», «Majó» e «Ormala» (respectivamente em 1997, 2000 e 2004). Além disso, a DG Sociedade da Informação efectuou avaliações orientadas para o seu programa específico. Note-se que, nos termos da legislação relativa ao 7.o PQ, deixaram de se realizar avaliações quinquenais, o que eliminou a limitação de os principais exercícios de avaliação terem de se concentrar nos cinco anos anteriores e, dessa forma, abrangerem obrigatoriamente partes de dois períodos de programação sucessivos. Em 2004, foi igualmente publicado o relatório «Marimón» (13), uma avaliação específica da eficácia dos novos instrumentos introduzidos no âmbito do 6.o PQ.

14. O quadro das actividades de avaliação da Comissão foi revisto em 2000 e 2002 (14). Estas comunicações foram actualizadas em 2007, tendo em conta as consequências da reforma administrativa da Comissão e o novo Regulamento Financeiro (15). Nestes documentos, descrevem-se o papel e a função da avaliação no contexto do ciclo global de planeamento, programação e elaboração de relatórios da Comissão, especificando-se um conjunto de 21 normas de avaliação e 18 modelos de «boas práticas». Além disso, estes documentos discutem o recurso à avaliação na preparação e simplificação da legislação da UE.

ÂMBITO E MÉTODO DE AUDITORIA

15. O principal objectivo da auditoria foi determinar se a Comissão dispunha de um método adequado de avaliação dos resultados dos programas-quadro de IDT.

16. Para o efeito, o Tribunal avaliou em que medida: — uma lógica explícita de intervenção está subjacente aos PQ e aos seus programas constituintes, que permita medir e avaliar as realizações, os efeitos e os impactos, fornecendo assim uma base sólida para a avaliação e o acompanhamento; — foi definida uma estratégia de avaliação para os PQ que promova uma avaliação eficaz e coerente; — a estrutura organizativa do sistema de avaliação garante que este é correctamente coordenado em todo o PQ, dispõe dos recursos necessários e é considerado suficientemente independente pelos intervenientes; — as metodologias utilizadas para a avaliação garantem que as questões pertinentes são abordadas de forma adequada, para que a avaliação seja considerada credível; — as actividades de avaliação e acompanhamento fornecem informações e uma análise que possam ser utilizadas para melhorar os programas em curso («learning programmes») e preparar os futuros PQ.

17. O presente relatório engloba as disposições relevantes do 4.o PQ (1995-1998), do 5.o PQ (1999-2002) e do 6.o PQ (2003-2006). Aborda igualmente as disposições legais actualmente em vigor no âmbito do 7.o PQ (2007-2013), mas não efectua uma apreciação do documento «Impact assessment and ex ante evaluation» (16) da Comissão relativo ao 7.o PQ. Centra-se no acompanhamento e na avaliação ex post dos programas e não na avaliação ex ante das propostas de projecto, nem na avaliação ex post dos projectos em si.

18. A auditoria foi realizada com a participação do conselho de revisores de contas da EFTA e contou com a assistência de peritos externos. As provas de auditoria foram recolhidas através de: — trabalhos de auditoria na Comissão (exame da documentação e entrevistas com pessoal), que envolveram a identificação das disposições legais e regulamentares, um exame dos objectivos e dos critérios de desempenho, a análise de mais de 80 relatórios de acompanhamento e de avaliação e uma análise da organização das actividades de avaliação na Comissão; — entrevistas com mais de 90 peritos identificados como intervenientes nos Estados-Membros e nos países associados (República Checa, Alemanha, Estónia, Espanha, França, Itália, Luxemburgo, Países Baixos, Áustria, Finlândia, Suécia, Reino Unido e Noruega); — inquéritos aos intervenientes institucionais na comissão ITRE (17) do Parlamento Europeu e no comité CREST (18) do Conselho; — uma consulta a mais de 65 peritos no domínio da avaliação da investigação nos EUA e no Canadá, enquanto grupo internacional de comparação; — um exame de documentação académica sobre as tendências actuais em matéria de avaliação da investigação; — um debate das constatações, conclusões e recomendações da auditoria, com peritos europeus e norte-americanos em avaliação da investigação, durante uma série de reuniões dos grupos-alvo conduzidas por um consultor independente em Fevereiro de 2007.

OBSERVAÇÕES DE AUDITORIA

Lógica de intervenção, definição dos objectivos e indicadores de desempenho

19. Uma avaliação e um acompanhamento eficazes exigem objectivos claros e indicadores de desempenho relevantes ao nível da política, do programa e do projecto, em função dos quais se possam apreciar os resultados de uma intervenção pública. As boas práticas em outros domínios orçamentais da UE e não só sugerem que esses objectivos e indicadores deverão ser definidos no quadro de uma lógica de intervenção.

20. A lógica de intervenção pode ser definida como um conjunto de relações hipotéticas de causalidade que descrevem a forma como se espera que uma intervenção atinja os seus objectivos globais (19). As orientações da Comissão em matéria de avaliação indicam que a lógica de intervenção proporciona a relação conceptual entre os recursos de uma intervenção e a produção das suas realizações e, subsequentemente, os seus impactos na sociedade em termos de resultados e efeitos (20). Esta é a definição utilizada no presente relatório.

21. O Tribunal avaliou em que medida estava definida uma lógica de intervenção para os PQ e os seus programas constituintes, fornecendo assim uma base sólida para a avaliação e o acompanhamento.

A lógica de intervenção para os PQ não tem sido explícita

22. A definição de uma lógica de intervenção deverá ser um elemento essencial da concepção de um programa desde o início. O artigo 163.o do Tratado, que menciona a necessidade de reforçar as bases científicas e tecnológicas e de desenvolver a competitividade, deverá constituir o ponto de partida de uma lógica de intervenção desse tipo para os PQ (ver ponto 2). Esta deverá tornar-se mais específica e estar adaptada aos diferentes domínios científicos abrangidos pelos PQ, bem como aos vários instrumentos utilizados.

23. No entanto, está em falta a todos os níveis um modelo lógico explícito que explique a forma como os PQ e os seus programas constituintes contribuem para o progresso e a inovação científicos e tecnológicos.

24. A inexistência de uma lógica de intervenção para os PQ foi igualmente salientada pelo painel de avaliação quinquenal de 2004, que afirmou que se pretende que esses painéis preencham a lacuna entre, por um lado, as provas recolhidas principalmente ao nível do projecto e, por outro, os objectivos socioeconómicos de nível mais elevado da política de investigação. No entanto, actualmente, é difícil estabelecer essa ligação devido à forma como o PQ é planeado. Falta-lhe uma lógica explícita que relacione os objectivos mais elevados com os objectivos específicos da investigação e do conhecimento (21).

25. Alguns Estados-Membros (por exemplo, os Países Baixos e a Finlândia) e os EUA (ver gráfico 3) adoptam um método diferente, sendo a definição da lógica de intervenção muito mais frequente, tal como no Canadá onde esta é obrigatória para todos os programas (ver anexo III). De facto, nesses países, o recurso à lógica de intervenção na fase de concepção do programa permitiu orientar e estruturar melhor os programas. Esta lógica está igualmente a ser introduzida pela Comissão em outros domínios de política comunitária (por exemplo, a ajuda externa) (22). Gráfico 3 Definição de uma hierarquia de objectivos baseada em modelos lógicos: o exemplo da investigação no sector agrícola dos EUA Política Programa Projecto Objectivo da política : contribuir para a melhoria das condições de vida das famílias rurais Finalidade : melhoria da produção, da produtividade e dos rendimentos agrícolas das famílias rurais Objectivo do programa : contribuir para aumentar a produção agrícola, a produtividade e os rendimentos das famílias rurais Resultado esperado : aumento da utilização de tecnologias agrícolas melhoradas nos agricultores-alvo Finalidade : aumento da utilização de tecnologias agrícolas melhoradas pelos agricultores (por exemplo, arroz) Objectivo do projecto : contribuir para o aumento da utilização das tecnologias melhoradas recomendadas Resultado esperado : fornecer/divulgar recomendações aos agicultores-alvo Finalidade : recomendações fornecidas sobre tecnologias melhoradas e adequadas para os agricultores-alvo Resultados esperados (exemplos): 1. tecnologias identificadas com base nas prioridades dos agricultores 2. tecnologias criadas e adaptadas 3. tecnologias verificadas no terreno Fonte: US National Agricultural Research Council.

26. Não estipular a lógica subjacente à intervenção pública e as presumíveis relações de causalidade (segundo as quais o programa é depois planeado em pormenor, executado e avaliado) prejudica a avaliação e o acompanhamento eficazes dos PQ, especialmente devido à forma como os objectivos dos programas e os indicadores de desempenho são definidos.

Sem um modelo lógico explícito é mais difícil definir objectivos coerentes para o programa

27. Não tornar explícita a lógica subjacente à intervenção pública dificulta mais a definição e a estruturação coerentes dos objectivos do programa, o que é demonstrado pelos seguintes aspectos: — não existe uma relação clara entre os objectivos dos programas dos PQ e os objectivos políticos, como os objectivos gerais fixados no artigo 163.o do Tratado, os indicados na estratégia de Lisboa e na declaração de Barcelona (ver pontos 2 e 7); — a relação entre os objectivos individuais dos programas, tanto nos vários níveis da legislação (como a decisão do PQ, a decisão específica de cada programa e as regras de participação e divulgação), como entre os actos de base e os programas de trabalho da Comissão, nem sempre é óbvia.

28. A Comissão tentou fixar objectivos operacionais nos programas de trabalho com base nos objectivos dos programas definidos na legislação relativa aos PQ. No entanto, em quase todos os casos, estas iniciativas não conseguiram clarificar a lógica subjacente aos programas e os objectivos mencionados nos programas de trabalho não eram específicos, mensuráveis, realizáveis, pertinentes e datados (SMART). Em 2003, este aspecto tornou-se uma obrigação jurídica no âmbito do Regulamento Financeiro (23).

29. Não é claro até que ponto é possível identificar os objectivos da política desde os programas específicos, os programas de trabalho e os convites à apresentação de propostas até aos projectos individuais co-financiados pela Comunidade. Se estas relações não forem clarificadas, não é possível avaliar a contribuição dos PQ e dos seus programas constituintes para a realização destes objectivos da política. A auditoria constatou que, nas suas avaliações, a Comissão apresentou poucas ou nenhumas provas convincentes sobre a realização dos objectivos a longo prazo, tanto ao nível do projecto como dos programas (ver ponto 82).

A inexistência de uma lógica explícita de intervenção e de objectivos claros dificulta a elaboração de indicadores de desempenho

30. A inexistência de um modelo lógico explícito e de objectivos do programa claramente formulados prejudicou igualmente a elaboração dos indicadores de desempenho para acompanhar a concretização dos objectivos do programa em termos de realizações, efeitos e impactos, na medida em que, até ao momento, esse tipo de indicadores de «eficácia» não foi definido de todo para os PQ (ver ponto 73).

31. Neste contexto, o exame dos projectos em curso financiados por estes programas e a avaliação ex post dos projectos encerrados tornam-se igualmente mais difíceis e contribuem para as dificuldades em agregar as avaliações entre o nível do projecto e o do programa (ver anexo I e ponto 84).

Conforme aplicados actualmente, os sistemas de orçamentação por actividades/gestão por actividades são ferramentas inadequadas para apreciar o desempenho dos PQ

32. Determinados indicadores relativos à eficiência da execução dos programas (por exemplo, tempo para a celebração de contratos e prazos de pagamento) encontram-se nos relatórios de acompanhamento anuais da Comissão e igualmente no contexto do seu sistema de gestão por actividades.

33. No entanto, até ao momento, as «Direcções-Gerais de investigação», mesmo quando executam o mesmo programa (ou subprograma) específico, não aplicaram uma nomenclatura normalizada ou comparável relativa à orçamentação por actividades, nem indicadores relacionados. Assim, estes indicadores não podem ser utilizados para comparar o desempenho entre programas, nem dentro de um mesmo programa. Caixa 2Sistema de orçamentação por actividades/gestão por actividades conforme aplicado actualmente pelas «Direcções-Gerais de investigação»No sistema de orçamentação por actividades/gestão por actividades, os PQ são abrangidos por dois domínios de política diferentes, dentro dos quais as actividades dos PQ são apresentadas segundo uma nomenclatura específica de cada Direcção-Geral (24). Esta situação aplica-se mesmo aos programas e subprogramas específicos executados por mais de uma Direcção-Geral. Os objectivos da gestão por actividades foram definidos segundo princípios subjacentes diferentes (25) e, como indicado pelo serviço de auditoria interna da Comissão (26), estavam principalmente formulados em termos gerais, descrevendo expectativas ou actividades. Os indicadores eram geralmente orientados para os recursos (por exemplo, número de reuniões, etc.). Alguns abordavam a eficiência do processo (por exemplo, tempo para a celebração de contratos e prazos de pagamento), mas não eram comparáveis ao nível dos programas e das Direcções-Gerais, devido às diferenças da nomenclatura da orçamentação por actividades, dos pressupostos específicos de cada Direcção-Geral (como o início e o fim de procedimentos administrativos específicos) e da população subjacente (por exemplo, tipo de convenção de subvenção e tipo de pagamento) que era tomada em consideração para os cálculos.

Recomendações

34. Em futuras propostas legislativas ao Conselho e ao Parlamento Europeu, a Comissão deverá definir uma lógica de intervenção explícita para o PQ no seu todo e para as suas partes constituintes. 35. No caso do 7.o PQ, a Comissão deverá: — descrever claramente os objectivos do PQ e dos seus programas (e subprogramas) específicos constituintes e a forma de os realizar; — clarificar a ligação entre os objectivos científicos e socioeconómicos para cada programa (e subprograma) específico; — definir objectivos operacionais pertinentes. 36. Quanto ao seu sistema de acompanhamento relativo ao 7.o PQ, a Comissão deverá elaborar, para cada programa (e subprograma) específico, um conjunto limitado, mas equilibrado, de indicadores de desempenho que meçam a eficiência e a eficácia da execução do programa. 37. As «Direcções-Gerais de investigação» deverão harmonizar a nomenclatura de gestão por actividades/orçamentação por actividades que utilizam para permitir a comparação dos indicadores de desempenho tanto no tempo como, quando possível, entre programas (e subprogramas) específicos.

Estratégia de avaliação

38. Uma estratégia de avaliação fornece o quadro conceptual dentro do qual são concebidas, planeadas, executadas e utilizadas as actividades de avaliação. As boas práticas noutros domínios orçamentais da UE e não só sugerem que uma estratégia desse tipo deverá ter em conta as principais questões legais, organizativas e metodológicas que envolvem a avaliação dos programas. Estas questões incluem o tipo de avaliações a realizar, os responsáveis, o calendário, as modalidades de recolha dos dados, as metodologias a utilizar e as modalidades de comunicação e acompanhamento das constatações.

39. Dispor de uma estratégia deste tipo, e garantir a sua execução, é um pré-requisito para integrar a avaliação na cultura organizativa e no processo de tomada de decisão da Comissão. No entanto, o Tribunal reconhece que, tendo em conta a diversidade dos domínios científicos abrangidos pelos PQ, uma estratégia deste tipo deverá permitir um grau adequado de flexibilidade a cada uma das Direcções-Gerais responsáveis e não ser demasiado limitativa.

40. O Tribunal verificou se a Comissão possuía uma estratégia de avaliação deste tipo para os PQ.

Inexistência de uma estratégia de avaliação abrangente para os PQ

41. No caso dos PQ, a Comissão tornou público o seu método de avaliação pela primeira vez nos anos 1980 (27). Este foi actualizado em 1996, quando a Comissão informou o Parlamento Europeu e o Conselho sobre o que então considerava serem os princípios relevantes subjacentes ao acompanhamento e à avaliação e definiu o método que pretendia aplicar após a adopção do 4.o PQ (28). No entanto, este não constituía uma estratégia de avaliação abrangente conforme anteriormente definida (ver pontos 38 e 39). Além disso, entre 1996 e 2006, a Comissão não reexaminou em profundidade o seu método de avaliação relativo aos 5.o e 6.o PQ, apesar de os PQ terem sofrido alterações tanto em termos do seu âmbito como da sua orientação (ver ponto 7). Em especial, as «Direcções-Gerais de investigação» não acordaram num método coerente de avaliação dos PQ e dos seus programas constituintes, além das disposições legislativas adoptadas em 1999 (para o 5.o PQ), em 2002 (para o 6.o PQ) e em 2006 (para o 7.o PQ) (29).

42. Relativamente ao actual período de programação, a inexistência de uma abordagem estratégica da avaliação neste domínio constitui um problema específico, tendo em conta a execução conjunta do 7.o PQ por várias Direcções-Gerais, o CEI e as agências executivas e a rotação obrigatória de pessoal em lugares sensíveis imposta pelo Regulamento Financeiro. Contrasta igualmente com as práticas actuais no domínio da ajuda externa (o segundo domínio mais importante sujeito a gestão directa pela Comissão). Neste domínio, as Direcções-Gerais responsáveis acordaram, desde 2002, em estratégias de avaliação plurianuais comuns ligadas a períodos de programação (ver ponto 52).

43. Da mesma forma, esta inexistência de uma estratégia de avaliação claramente formulada contrasta fortemente com a situação nos EUA e no Canadá, onde o quadro regulamentar impõe a definição de uma estratégia (ver anexo III).

44. Como se demonstra em seguida, existem diferenças significativas no âmbito e na intensidade da avaliação dos vários PQ. Verificaram-se igualmente outras insuficiências, que reflectem a inexistência de uma estratégia abrangente de avaliação para os PQ e que são examinadas noutras secções do presente relatório, como problemas de coordenação, divergências das abordagens metodológicas, problemas de calendário e insuficiências na comunicação e no acompanhamento das constatações da avaliação.

Diferenças no âmbito e na intensidade da avaliação dos vários PQ

45. Os PQ são constituídos por vários programas (e subprogramas) específicos que podem variar de forma significativa em termos de objectivo, dinâmica subjacente e dotações orçamentais (no caso do 7.o PQ, ver anexo IV). Considerados em conjunto, as disposições específicas das várias decisões relativas aos PQ e o Regulamento Financeiro (30) (que exige a avaliação de todos os programas e actividades que ocasionem despesas importantes) implicam que, desde o 4.o PQ, existe uma obrigação jurídica de avaliar tanto o PQ no seu conjunto como a maioria dos seus programas específicos constituintes.

46. A Comissão não definiu regras relativas ao momento em que os programas ou subprogramas específicos do PQ devem ser avaliados, nem um limite comum acima do qual essa avaliação seria obrigatória. Esta situação deu origem a interpretações incoerentes sobre o objecto e o grau de pormenor das avaliações: — a DG Sociedade da Informação considerou que o programa IST ocasionava despesas importantes por si só, tendo organizado uma avaliação quinquenal completa em 2004, em paralelo com a realizada para a totalidade do PQ; — a DG Investigação não organizou de forma sistemática uma avaliação desse tipo ao nível dos programas específicos, apesar de os orçamentos de vários programas sob a sua responsabilidade apresentarem montantes comparáveis.

47. Por conseguinte, na avaliação quinquenal de 2004, partes significativas dos programas dos 4.o e 5.o PQ não foram avaliadas de todo (o correspondente a 30 % de todas as dotações orçamentais do 4.o PQ e a 50 % do 5.o PQ), o que significa que a Comissão não cumpriu as disposições em matéria de avaliação definidas no artigo 27.o do Regulamento Financeiro.

48. Estas interpretações divergentes relativamente às obrigações mínimas jurídicas em matéria de avaliação, e a consequente subavaliação dos PQ no passado, ilustram a falta de coordenação e o efeito da inexistência de uma abordagem estratégica da avaliação dos PQ por parte da Comissão.

Recomendações

49. As «Direcções-Gerais de investigação» deverão elaborar e acordar numa estratégia de avaliação comum para os PQ com urgência. Não sendo demasiado limitativa, a estratégia deverá implicar um método coerente relativo à avaliação dos PQ e dos seus programas constituintes. Essa estratégia deverá igualmente fornecer orientações relativas ao nível mínimo a que deverá ser realizada uma avaliação pormenorizada, de forma a levar em conta as especificidades de cada domínio científico.

Organizar a avaliação dos PQ

50. A avaliação dos PQ tem de ser apoiada em disposições organizativas adequadas, que deverão decorrer da orientação estratégica da Comissão para a avaliação dos PQ. O Tribunal verificou em que medida a estrutura organizativa garantia que o sistema de avaliação era correctamente coordenado, dispunha dos recursos adequados e era considerado suficientemente independente pelos intervenientes.

Comissão

Os PQ são executados em conjunto por várias Direcções-Gerais enquanto a responsabilidade pela avaliação é descentralizada

51. Na Comissão, a responsabilidade pela avaliação dos programas de despesas cabe a cada Direcção-Geral (ver ponto 8), tendo sido criadas unidades de avaliação dentro de cada uma delas. A essas unidades de avaliação compete o planeamento, a coordenação e a realização das avaliações.

52. A inexistência de um organismo específico de coordenação ou de uma única entidade para a avaliação da totalidade dos PQ, como um serviço comum de avaliação para as «Direcções-Gerais de investigação», contrasta com outros domínios de política. No domínio da ajuda externa, foi criada uma unidade comum de avaliação para três Direcções-Gerais (Desenvolvimento, Relações Externas e EuropeAid) para se ocupar da avaliação dos programas de desenvolvimento da Comissão nos países terceiros (ver ponto 42).

53. A DG Investigação, através da «rede de avaliação de IDT» interna da Comissão, garante um intercâmbio de conhecimentos entre as unidades de avaliação das várias Direcções-Gerais, mas não tem autoridade para definir requisitos mínimos de avaliação. No entanto, este mecanismo tem-se revelado insuficiente para garantir uma coordenação adequada da avaliação dos PQ efectuada pela Comissão.

54. A Comissão reviu o seu método geral de avaliação em 2000, 2002 e novamente em 2007 (ver ponto 14). Embora não se tenham verificado melhorias significativas na forma como foram planeadas, concebidas e executadas as avaliações dos PQ e dos seus programas constituintes, em termos gerais as «Direcções-Gerais de investigação» cumpriram os requisitos formais aplicáveis à Comissão no seu todo.

Serviços centrais da Comissão: definição de normas, mas sem função de controlo da sua aplicação

55. Os serviços centrais da Comissão (em especial a DG Orçamento e o Secretariado-Geral) fornecem assistência metodológica, definem normas comuns para a Comissão no seu todo e acompanham a forma como as Direcções-Gerais e os serviços aplicam as normas (ver pontos 14 e 70). Não podem impor modalidades práticas para realização das avaliações.

56. A experiência dos EUA e do Canadá indica que o controlo da aplicação das normas por organismos que as definem é essencial para garantir o funcionamento eficaz do sistema de avaliação. Nestes dois países, os departamentos federais definem e fazem cumprir o enquadramento pelo qual o sucesso de um programa é avaliado em última análise (ver anexo III). Embora o contexto seja diferente, os seus sistemas baseiam-se, ainda assim, no mesmo princípio subjacente de que um organismo diferente do que executa o programa deve avaliar a concepção do sistema de avaliação com algum pormenor e examinar a sua eficácia. Uma situação semelhante pode ser observada em alguns Estados-Membros (por exemplo, Alemanha (31), Espanha (32) e França (33)), onde organismos externos supervisionam as avaliações realizadas por agências de financiamento ou realizam mesmo essas avaliações.

Painéis de peritos

Painéis de peritos externos: exigidos desde o 4.o PQ pela legislação relativa aos PQ

57. Desde o 4.o PQ, todos os exercícios de avaliação mais importantes (e o acompanhamento anual) dos PQ tiveram de ser realizados por (ou com a assistência de) painéis de peritos externos (ver anexo II). Apesar das dificuldades em encontrar os peritos adequados, esses painéis podem proporcionar transparência, oferecer um certo grau de independência, facilitar a participação dos intervenientes e explorar os conhecimentos retirados dos próprios PQ, da avaliação e das questões científicas subjacentes.

58. Os inquéritos do Tribunal confirmaram este potencial, indicando que os inquiridos consideravam que o sistema de avaliação com base em painéis de peritos utilizado pela Comissão oferecia uma garantia de independência (ver gráfico 4).

Insuficiências do método baseado em painéis de peritos aplicado pela Comissão

59. Apesar desta impressão positiva, os membros dos painéis e os intervenientes salientaram ao Tribunal, durante a auditoria, que o recurso a painéis de peritos pela Comissão para avaliar os PQ se caracterizou pelas seguintes insuficiências: — os painéis de avaliação são normalmente criados menos de um ano antes da data prevista para entrega do seu relatório e as suas reuniões são limitadas, o que torna difícil que os membros do painel influenciem a definição dos dados e das análises necessárias à realização dos seus trabalhos. Além disso, uma vez que os painéis são ad hoc e temporários, não é fácil acumular conhecimentos sobre os programas e não é possível dar seguimento no futuro às questões relevantes. Esta insuficiência é especialmente importante nos casos em que (como para o 7.o PQ) estão planeados vários exercícios de avaliação importantes durante o período de programação (ver anexo II). Esta situação contrasta igualmente com a prática da Comissão relativamente aos seus grupos consultivos de peritos (Expert Advisory Groups — EAG) dos PQ, que são organismos permanentes (34). Também no Canadá (35) os painéis de avaliação são permanentes, para garantir uma abordagem sistemática e coerente (ver anexo III); — ao definir o mandato dos painéis de peritos e as questões de avaliação, a Comissão não consulta os intervenientes externos, como os industriais e as principais organizações de investigação que participam nos PQ. O painel de acompanhamento de 2004 observou igualmente este problema, notando que os potenciais utilizadores deveriam estar envolvidos no processo numa fase inicial (36); — o funcionamento dos painéis de peritos é diferente do exame pelos pares (peer review). Os seus membros não têm tempo para realizar as suas próprias avaliações; normalmente formulam pareceres com base em dados e provas disponibilizados por outras fontes. Devido às restrições de tempo, os painéis raramente tiveram oportunidade de encomendar os estudos adicionais necessários para abordar as questões especificadas no seu mandato. Na prática, salvo raras excepções, os painéis da avaliação quinquenal apenas dispunham das informações fornecidas pela Comissão.

Recursos

Nenhuns recursos afectados especificamente à avaliação do PQ

60. O financiamento destinado à avaliação é concedido anualmente, de acordo com as necessidades especificadas pelas Direcções-Gerais responsáveis pela execução dos PQ. Actualmente, provém de uma combinação de recursos da DG Orçamento referentes a toda a Comissão e de recursos da parte administrativa do orçamento ao nível das Direcções-Gerais em causa. Além disso, as medidas específicas são financiadas como acções indirectas a partir do orçamento operacional dos PQ, o que significa que não existe nenhum montante especificamente afectado à avaliação.

61. Em 2006, a média em toda a Comissão de agentes afectados ao domínio da avaliação e da gestão por actividades estimava-se em aproximadamente 1 % dos efectivos (37). Os valores correspondentes relativos às actividades de acompanhamento e de avaliação dos programas-quadro de IDT na DG Investigação e na DG Sociedade da Informação eram de 1,2 % e 1,3 %, respectivamente. No entanto, no caso da DG Investigação, mais de dois terços desses agentes estavam afectados aos departamentos operacionais responsáveis pelos programas e não às unidades de avaliação, sendo a avaliação apenas uma das muitas tarefas que desempenhavam.

O financiamento da avaliação dos PQ é inferior ao recomendado pela Comissão

62. Os recursos dedicados à avaliação podem igualmente ser expressos em percentagem da totalidade das dotações orçamentais afectadas ao programa. Os valores obtidos durante a auditoria indicam que, relativamente aos programas de investigação nos Estados-Membros da UE, a prática se situa entre 0,1 % e 2 %. As orientações da Comissão sugerem que 0,5 % do orçamento de um programa devem ser dedicados à avaliação (38). No entanto, no caso de programas de maior envergadura, uma percentagem menor dos seus orçamentos poderia ser suficiente graças às economias de escala.

63. Uma comparação entre os valores da Comissão relativos às despesas com a avaliação no período 2003-2006 e as dotações orçamentais para cada Direcção-Geral mostra que a média geral é de cerca de 0,15 %, o que é significativamente inferior ao nível sugerido pela Comissão. Uma análise mais aprofundada do exercício de 2006 revela que a DG Sociedade da Informação gastou com a avaliação aproximadamente quatro vezes mais do que a DG Investigação, considerando o montante das dotações de que dispunham. Além disso, na DG Investigação, apenas 0,7 % de um funcionário a tempo inteiro se dedica à avaliação por milhão de euros do orçamento anual. Em comparação, na DG Sociedade da Informação essa percentagem duplica.

64. Como o presente relatório demonstra, este esforço adicional da DG Sociedade da Informação teve como resultado uma avaliação mais abrangente (ver pontos 13 e 46) e, como indica a amostra de estudos de avaliação examinada pelo Tribunal, o recurso a metodologias mais adequadas para dar resposta às necessidades em matéria de avaliação (ver ponto 84).

65. Uma estimativa dos custos efectuada pelo Tribunal, com base em dados fornecidos pela Comissão, mostra que um sistema de avaliação baseado nas propostas apresentadas no presente relatório representaria, em média, menos de 0,4 % das dotações orçamentais do 7.o PQ. Este valor incluiria os custos relativos aos painéis de peritos, aos estudos subcontratados, ao pessoal do serviço comum de avaliação e das actuais unidades de avaliação específicas das Direcções-Gerais, assim como outros custos diversos (39).

Recomendações

66. As «Direcções-Gerais de investigação» deverão analisar a criação de um serviço comum de avaliação, em complemento das unidades de avaliação existentes em cada Direcção-Geral. Em conformidade com as práticas actuais em vigor noutros domínios de política, este serviço poderá coordenar as actividades de avaliação da Comissão para a totalidade do PQ. Essas funções de apoio comuns foram recomendadas no passado para as Direcções-Gerais responsáveis pela execução dos PQ (40) e podem tornar-se ainda mais importantes no futuro com a criação do CEI e a delegação da execução dos programas nas agências executivas. 67. A Comissão deverá continuar a recorrer aos painéis de avaliação para lhe prestarem assistência nas suas actividades de avaliação. No entanto, deverá analisar a forma de harmonizar a estrutura do painel com a estrutura geral dos programas do PQ. Poderá consegui-lo criando painéis para cada programa e, quando adequado, subprograma específicos (ver anexo IV). Além disso, estes painéis deverão ser constituídos suficientemente cedo para oferecerem um apoio eficaz à Comissão e continuarem a fazê-lo durante o período de programação e para além dele. 68. A Comissão deverá reanalisar os recursos dedicados à avaliação dos PQ e dos seus programas constituintes.

Metodologias e técnicas de avaliação

69. Para se obter uma avaliação eficaz é necessário utilizar metodologias e técnicas adequadas. O tribunal verificou se existiam linhas directrizes específicas para avaliação dos PQ, se as necessidades em matéria de informação eram analisadas correctamente e em tempo oportuno e se eram colocados à disposição dos avaliadores dados pertinentes. Tendo em conta os estudos de avaliação efectuados pela Comissão, ou por sua conta, o Tribunal examinou se as técnicas utilizadas para os diferentes estudos forneciam uma base suficiente para dar resposta às questões colocadas pelas avaliações quinquenais. Foi igualmente tida em conta a contribuição potencial das avaliações nacionais para a avaliação dos PQ.

Elaboração de normas e linhas directrizes específicas para os PQ

70. A DG Orçamento publicou diversas comunicações nas quais definia a sua política de avaliação e estabelecia regras para a respectiva execução. Além disso, definiu um conjunto de normas aplicáveis a toda a Comissão (ver pontos 14 e 55) (41). No que se refere a outros domínios de política, as Direcções-Gerais competentes elaboraram igualmente guias específicos de avaliação (42).

71. No entanto, o mesmo não sucede em relação aos PQ. A Comissão publicou (ou financiou) diversos guias e «caixas de ferramentas» metodológicas relativas às actividades de avaliação no domínio da investigação (43). No entanto, esses documentos não fornecem uma orientação específica sobre a forma de avaliar os PQ, nem indicam de que forma os conceitos-chave ou a terminologia devem ser utilizados pelos agentes da Comissão ou pelos peritos externos. Essas lacunas contribuíram para os problemas em seguida analisados.

Necessidades em matéria de dados e respectiva recolha

Análise insuficiente das necessidades de informações

72. As «Direcções-Gerais de investigação» não prestaram suficiente atenção à definição dos dados necessários em matéria de avaliação e de acompanhamento. Em vez de efectuar uma análise sistemática e pormenorizada das necessidades de informações, a Comissão indicou tardiamente os requisitos em matéria de dados durante o período de programação, sem ter devidamente em conta as necessidades gerais da avaliação. O questionário socioeconómico do sexto PQ foi a única tentativa comum a todas as Direcções-Gerais para chegar a acordo sobre esses dados (ver ponto 76). Porém, o questionário ficou concluído em 2004 (três anos após o início do período de programação) e cobria essencialmente aspectos tais como a participação de investigadores de ambos os sexos e o impacto ambiental, em vez das realizações científicas (tais como questões de propriedade intelectual, publicações, etc.), dos efeitos ou dos impactos.

73. A avaliação dos programas baseava-se sobretudo na disponibilidade de três tipos de dados: — dados recolhidos em função de indicadores de «eficácia», cuja análise fornece elementos sobre os progressos efectuados para realizar os objectivos do programa. A ausência de uma lógica de intervenção, já referida, faz com que tenha sido difícil definir esses indicadores (ver ponto 30). Na prática, os dados recolhidos eram pouco relevantes para avaliar a realização dos objectivos do programa; — dados relativos à gestão do programa (em função de indicadores de «eficiência»); — dados relativos aos participantes (como as taxas de participação dos principais organismos de investigação).

74. Em particular, estes dois últimos tipos de dados deveriam estar disponíveis na Comissão. Porém, devido a problemas ao nível dos sistemas informáticos internos da Comissão, que constituem a principal fonte de informação sobre a gestão dos programas e sobre os participantes (44), na prática registaram-se problemas significativos neste domínio (45).

75. Esses problemas são ilustrados pelos atrasos consideráveis na apresentação dos relatórios previstos pelo artigo 173.o (46) e dos relatórios anuais de acompanhamento (até 16 meses de atraso no caso dos primeiros e até sete meses no caso dos segundos, durante o período 2002-2005). Uma vez que essas informações eram sempre fornecidas tardiamente, a sua utilidade era limitada.

Abordagem ineficaz para obtenção dos dados de avaliação dos participantes

76. A partir do 5.o PQ, a Comissão obrigou sistematicamente os participantes, por contrato, a fornecerem os dados necessários para medirem o grau de concretização dos objectivos do programa em termos de realizações, efeitos e impactos. Assim, os participantes deviam: — no âmbito do 5.o PQ, apresentar um «Plano de execução tecnológica» e, após a conclusão do projecto, um relatório final. Estes documentos eram muitas vezes de má qualidade ou nem sequer eram apresentados; — no âmbito do 6.o PQ, elaborar um «Plano para difusão e utilização dos conhecimentos» e responder a um questionário normalizado sobre questões socioeconómicas quando apresentavam os seus relatórios técnicos anuais.

77. Estas obrigações contratuais de comunicação de dados impuseram encargos administrativos desnecessários aos participantes. No que se refere, por exemplo, ao questionário anual do 6.o PQ, os dados foram recolhidos com demasiada frequência e junto de todos os participantes nos projectos, quando teria sido suficiente uma amostra representativa. Esta situação poderá provocar um certo «cansaço da avaliação». Além disso, esses dados não foram obtidos no momento certo; dado que muitas das questões subjacentes para as quais foram recolhidos dados têm efeitos a médio ou a longo prazo, a obtenção de dados durante a duração contratual do projecto é, por definição, prematura (47). Por esse motivo, na prática, as informações fornecidas por esses instrumentos foram pouco utilizadas nas avaliações dos 5.o e 6.o PQ.

78. No entanto, nenhum dos sistemas em vigor prevê que as informações sejam recolhidas, de acordo com modalidades uniformes, no final de um projecto (ou logo após a sua realização). Os intervenientes entrevistados sugeriram que essas informações poderiam incidir também sobre a realização dos objectivos do projecto, os resultados pretendidos (e imprevistos), bem como sobre a percepção dos participantes acerca do valor acrescentado comunitário. Essas informações poderiam igualmente servir de base aos exames externos dos projectos concluídos (48).

79. As informações, juntamente com uma maior utilização de abordagens baseadas na cientometria (como a análise de citações) para avaliar os resultados dos projectos (ver ponto 83), poderiam constituir uma base que permitisse à Comissão passar para um sistema de financiamento baseado nos resultados para as actividades de IDT co-financiadas pela Comunidade (49).

Outras fontes de dados insuficientemente utilizadas

80. Existem outras fontes de dados na Comissão e nos Estados-Membros que não são suficientemente utilizadas [por exemplo, as bases de dados dos programas nacionais de IDT e dos organismos de financiamento, bem como o Serviço Comunitário de Informação sobre Investigação e Desenvolvimento (CORDIS) gerido pelo Serviço das Publicações da Comissão (50)].

Estudos de avaliação realizados pela Comissão

Relatórios examinados pelo Tribunal

81. O Tribunal examinou 86 estudos de avaliação efectuados pela Comissão, ou por sua conta, desde 2000. Este número inclui o conjunto de 36 estudos que constituíram a base da avaliação quinquenal publicada em 2004, bem como os 50 estudos terminados desde essa data. Destes últimos, apenas 23 estudos podem ser considerados como verdadeiras avaliações dos PQ e dos seus programas (ver gráfico 5). Gráfico 5 Síntese dos estudos de avaliação efectuados pela Comissão, ou por sua conta, entre 2000 e 2006 Tipo de estudo Número Descrição Avaliação das actividades dos PQ 23 Estudos de avaliação — baseados em metodologias reconhecidas (51); — fazendo referências específicas aos objectivos dos programas e ao grau de realização desses objectivos. Análises de impacto nacionais efectuadas ao nível dos Estados-Membros 12 Estudos realizados pelos Estados-Membros que incidem principalmente sobre as taxas de participação nacionais, não formulando conclusões relativas aos objectivos do programa. Estudos metodológicos 5 Estudos organizados pela Comissão para apoiar a elaboração de metodologias de avaliação. Estudos da paisagem europeia de IDT 2 Estudos que incidem sobre as análises contextuais relativas ao sector da investigação europeia mas não incluem os PQ. Em particular, não fazem qualquer referência explícita à incidência dos PQ sobre os sistemas nacionais de investigação e de inovação. Documentos estatísticos e descritivos não analíticos 33 Documentos que normalmente abordam as actividades dos PQ de uma forma muito indirecta, muitas vezes descrevendo as actividades em vez de as analisar. Outros documentos 11 Uma série de documentos que abordam as questões que apresentam um interesse político geral, sem examinar os PQ neste contexto.

Avaliações que incidem sobre as questões de acompanhamento e não sobre os efeitos e os impactos

82. O Tribunal efectuou uma meta-análise destes estudos de avaliação específicos da qual resultaram duas observações principais: — embora diversos estudos procurem apresentar conclusões sobre os objectivos do programa, estas são formuladas de maneira vaga, o que deixa o leitor céptico quanto ao tratamento real deste aspecto durante a avaliação. Trata-se de uma consequência da ausência de objectivos de programa claramente definidos, o que compromete gravemente o processo (ver ponto 28); — em vez de avaliar os efeitos e os impactos dos PQ sobre os seus programas (e subprogramas) específicos, inúmeros documentos são descritivos e, quanto muito, concentram-se nas realizações imediatas e nas questões relativas à gestão dos projectos. Esses relatórios não podem fornecer provas convincentes relativamente aos efeitos ou aos impactos.

Ênfase insuficiente na elaboração de novas metodologias

83. Predomina o recurso às metodologias e técnicas tradicionais (especialmente inquéritos, exames documentais e entrevistas) no que se refere às avaliações efectuadas entre 2000 e 2006 (ver gráfico 6). Além disso, um certo número de outras metodologias e técnicas de avaliação, complexas mas apesar disso comprovadas, não foram utilizadas, ou apenas muito raramente, em particular: — as abordagens baseadas na cientometria (tais como a análise de citações) (52); — os modelos quantitativos (como as análises custo/eficiência, custo/eficácia e custo/benefício) (53); — os modelos de actor (ou de comportamento) (que incidem sobre os pontos de vista das pessoas implicadas numa intervenção, como as características das redes de investigação e as alterações que as afectam ao longo do tempo).

84. Os estudos de avaliação que tentam resolver algumas das dificuldades metodológicas da avaliação da intervenção pública em matéria de investigação (ver anexo I) só foram utilizados num reduzido número de casos: — recentemente, foram concluídos dois estudos sobre a lógica de intervenção (54); — identificaram-se apenas três estudos que tentam avaliar o efeito do financiamento comunitário sobre a acção em rede das organizações de investigação ao nível pan-europeu (55), se bem que a hipótese dos efeitos de rede positivos esteja no centro do conceito do EEI; — foi efectuada uma única tentativa para tirar conclusões sobre o impacto alcançado a nível do programa (ou do subprograma), combinando a agregação das análises de avaliação ao nível do projecto com outras técnicas de avaliação (56); — não se encontraram elementos que comprovem o recurso a outras metodologias, tais como a abordagem «contrafactual» (ou abordagem do «grupo de controlo»). Trata-se de uma abordagem que seria particularmente útil para ilustrar o valor acrescentado dos programas ao nível comunitário, comparativamente à ausência total de intervenção (ou à intervenção ao nível nacional ou regional).

85. Os intervenientes entrevistados pelo Tribunal eram de opinião que a utilidade e a relevância das avaliações da Comissão poderiam melhorar, o que demonstra que é necessário desenvolver mais a metodologia para que o sistema de avaliação possa evoluir de forma a ter em conta as alterações dos PQ (ver ponto 7) (57).

As questões problemáticas levantadas pelas avaliações quinquenais não puderam ser abordadas com base nos estudos de avaliação específica da Comissão

86. Esta constatação é igualmente ilustrada pelos problemas significativos com que o painel de peritos responsável pela avaliação quinquenal de 2004 (58) se deparou para dar resposta às questões de avaliação sugeridas no seu mandato. Muitas dessas questões problemáticas não puderam ser examinadas de todo, devido à ausência de estudos adequados realizados previamente pela Comissão, ou em seu nome, e dado que os membros do painel não tinham possibilidade de encomendar esses estudos em tempo oportuno (ver gráfico 7). Gráfico 7 Questões de avaliação abordadas na avaliação quinquenal de 2004 Questão de avaliação Abordada no relatório? EXECUÇÃO As acções foram executadas de forma eficaz? Parcialmente As acções tinham uma boa relação custo-eficácia? Parcialmente As acções constituíam a melhor forma de alcançar os objectivos definidos? Não O quadro legal global (incluindo as regras aplicáveis à participação e aos contratos), os instrumentos políticos e as modalidades de execução eram claros, apropriados e eficazes? Não O nível de financiamento e os outros recursos disponíveis eram adequados? Não As comunidades industriais e de investigação seleccionadas, incluindo as PME, tinham condições para responder de forma apropriada? Sim REALIZAÇÕES As acções alcançaram os seus objectivos e em que medida se verificaram resultados inesperados? Não Quais são os principais resultados, nomeadamente em matéria de realizações científicas, tecnológicas, socioeconómicas e ambientais, em matéria de cooperação internacional, de transferência de conhecimentos e de inovação, de actividades pré-normativas, de acessibilidade, de difusão e de exploração dos resultados da investigação, de desenvolvimento dos recursos humanos, de mobilidade e de formação, bem como em matéria de apoio e de reforço da coordenação das actividades de investigação? Não Os resultados, bem como os seus efeitos e impactos, foram globalmente satisfatórios do ponto de vista dos beneficiários directos ou indirectos, bem como dos intervenientes? Não As comunidades industriais e de investigação em causa, incluindo as PME, foram tidas em conta de forma satisfatória? Sim De que forma e em que medida as acções contribuíram para melhorar a competitividade da investigação da UE ao nível internacional? A investigação da UE obteve uma posição de liderança em domínios específicos? Parcialmente De que forma e em que medida as acções contribuíram para as políticas comunitárias em geral e para a estratégia da UE em matéria de desenvolvimento sustentável? Não Existem provas de uma alteração estrutural, nomeadamente uma ligação em rede, uma integração e uma coordenação da investigação, a nível nacional ou internacional, na sequência das acções comunitárias de investigação? Não Os programas permitiram uma optimização dos recursos? As acções têm impactos duradouros? Não EVOLUÇÃO E PERSPECTIVAS FUTURAS De que forma evoluíram os programas-quadro em termos de lógica, de objectivos, de prioridades temáticas, de equilíbrio entre as prioridades de baixo para cima e de cima para baixo e entre investigação fundamental e investigação aplicada, de instrumentos, de valor acrescentado europeu e de outros impactos, nomeadamente tendo em conta a emergência do conceito do espaço europeu de investigação (EEI), dos objectivos de Lisboa e dos principais critérios de referência internacionais em termos económicos e de investigação? Sim De que forma é que o programa-quadro criou um valor acrescentado europeu? Sim O valor acrescentado europeu podia ser criado através de outros mecanismos internacionais ou nacionais? Não Os objectivos políticos, as prioridades, os instrumentos e o ciclo de vida dos programas são apropriados para o futuro? Sim

87. Além disso, verificou-se que os membros do painel de peritos só puderam responder às questões definidas no seu mandato nos casos em que estas se referiam a aspectos para os quais existiam objectivos claros e quantificáveis definidos nos programas (como, por exemplo, o número de pequenas e médias empresas participantes).

Avaliações dos PQ realizadas ao nível nacional

88. Vários Estados-Membros e países associados realizam as suas próprias avaliações nacionais dos PQ, abordando questões pertinentes e interessantes do seu ponto de vista (59). Nos últimos oito anos, foram elaborados 14 estudos deste tipo por nove Estados-Membros e um país associado.

89. Embora a Comissão encorajasse, na medida do possível, a utilização de abordagens normalizadas, os estudos de impacto nacionais eram muito heterogéneos (60). Como tal, uma vez que não seguem uma metodologia harmonizada, são poucas as possibilidades de agregar, combinar ou comparar os seus resultados. Além disso, devido ao seu carácter nacional, esses estudos só reflectem parcialmente a dimensão da cooperação europeia.

90. No seu «livro verde» de 2007 sobre espaço europeu de investigação, a Comissão afirmou a importância de disponibilizar, ao nível do espaço europeu de investigação, análises rigorosas sobre o impacto e a eficácia das actividades e das políticas de investigação, incluindo as dos Estados-Membros e da UE. A Comissão reconheceu igualmente que as disposições actuais não eram suficientes para dar resposta a este desafio, uma vez que cada nível de intervenção realizava as suas avaliações separadamente (61).

Recomendações

91. A Comissão deverá elaborar um manual para avaliação das actividades financiadas pelos PQ, que inclua definições dos conceitos-chave e terminologia e indique uma gama de metodologias apropriadas para determinadas actividades de avaliação. O manual deverá basear-se nos guias e «caixas de ferramentas» existentes e ser actualizado com regularidade. 92. A Comissão deverá definir as suas necessidades em matéria de informação, tendo em conta a necessidade de limitar o encargo administrativo para os participantes. 93. A Comissão deverá fornecer em tempo útil informações sobre o acompanhamento da execução dos PQ. Como prevêem as «regras de participação» do 7.o PQ, é necessário resolver urgentemente os problemas relativos aos sistemas informáticos da Comissão de tratamento dos dados relativos à gestão dos programas e aos participantes. 94. Convém reduzir significativamente as obrigações dos participantes em matéria de apresentação de relatórios à Comissão. Os inquéritos deverão ser realizados apenas com base em amostras representativas. A obrigação contratual que prevê a apresentação, relativamente a cada projecto, de dados relativos ao impacto baseados em indicadores deverá ser substituída por uma breve auto-avaliação após a conclusão do projecto. 95. Nas suas avaliações, a Comissão deverá recorrer mais às fontes complementares existentes de dados relevantes (tanto ao nível da Comissão como nos Estados-Membros). 96. A Comissão deverá utilizar toda a gama de técnicas de avaliação disponíveis. Além disso, deverá apoiar o desenvolvimento de novas abordagens para resolver as dificuldades metodológicas inerentes à avaliação da intervenção pública no domínio da investigação (ver anexo I) e utilizar essas abordagens nas suas próprias avaliações. 97. A Comissão deverá procurar, em colaboração com os Estados-Membros, a forma de maximizar os benefícios das avaliações dos PQ efectuadas a nível nacional.

Difusão e utilização das constatações resultantes da avaliação

98. A avaliação deverá fornecer informações e uma análise relevantes que possam ser utilizadas de forma eficaz na gestão dos programas e na elaboração de políticas. Nomeadamente, a avaliação deverá fornecer a base para uma reflexão fundamentada sobre os pontos fortes e fracos da intervenção pública, necessária para retirar ensinamentos. O Tribunal verificou se as avaliações eram efectuadas em tempo útil, se as constatações eram comunicadas e divulgadas aos intervenientes fora da Comissão e se esta tinha em conta as recomendações tendentes à revisão dos programas em curso («learning programmes»).

A programação das avaliações não teve em conta o tipo de informações que se poderia razoavelmente esperar

99. O Tribunal reconhece que determinados tipos de análise exigem uma perspectiva a longo prazo (por exemplo, a avaliação dos efeitos e dos impactos socioeconómicos) e que determinados aspectos estão relacionados com um período de programação específico (por exemplo, os objectivos dos programas, mesmo num determinado domínio científico), ao contrário de outros (ver gráfico 8). Porém, nas suas actividades de avaliação, a Comissão não adoptou uma abordagem que tenha em conta esses horizontes temporais.

100. Nos termos da legislação, as principais actividades de avaliação da Comissão deveriam incidir exclusivamente sobre os cinco anos que precedem a avaliação quinquenal, cobrindo assim partes de dois períodos de programação sucessivos. Desta forma, os efeitos e os impactos a médio e a longo prazo raramente foram tidos em consideração. Como consequência, em geral as avaliações quinquenais incidiram essencialmente sobre aspectos ligados ao acompanhamento, questões relacionadas com a concepção dos programas a curto prazo e observações gerais relativas à orientação dos programas-quadro. O Tribunal congratula-se com o facto de a legislação relativa ao 7.o PQ já não prever avaliações quinquenais, nem qualquer período previamente definido sobre o qual a avaliação deva incidir. Gráfico 8 Aspectos relativos ao acompanhamento e à avaliação segundo os diferentes horizontes temporais Acompanhamento da execução do programa (em curso) — Aspectos relativos à gestão do programa (por exemplo, prazo de celebração dos contratos, prazo de pagamento, taxas de participação e de êxito nos concursos, execução orçamental, taxas de financiamento, etc.) Avaliação a curto prazo (por exemplo, na melhor das hipóteses após 1 a 2 anos) — Aspectos relativos à gestão do programa (por exemplo, eficiência dos procedimentos administrativos) — Aspectos relativos à concepção do programa (por exemplo, acessibilidade e flexibilidade dos instrumentos, entraves à participação, consequências do insucesso do convite à apresentação de propostas, etc.) — Análise do perfil de participação (até ao momento, essencialmente quantitativa) Avaliação a médio prazo (por exemplo, após 7 anos) — Aspectos relativos à concepção do programa (por exemplo, eficácia dos instrumentos) — Análise da participação (combinando os aspectos qualitativos e quantitativos, por exemplo análise das redes de investigação, dos impactos sobre o comportamento dos investigadores, etc.) — Análise das realizações dos projectos (62) (por exemplo, publicações, artigos, patentes, licenças, protótipos, cientistas formados, etc.) Avaliação a longo prazo (por exemplo, após > 10 anos) — Avaliação dos efeitos e dos impactos Fonte: Tribunal de Contas Europeu.

101. Os peritos da Comissão tinham igualmente constatado insuficiências das avaliações quinquenais em matéria de avaliação dos efeitos e dos impactos dos PQ: — em 2004, o painel responsável pela avaliação quinquenal salientou que a avaliação deveria abranger e prestar a atenção necessária, tanto a aspectos a curto prazo como a longo prazo, e que poderiam ser atribuídos recursos que permitissem estudos de avaliação mais ambiciosos a longo prazo, susceptíveis de tratar de uma forma mais sistemática os aspectos estruturais e os aspectos socioeconómicos mais alargados (63); — um estudo encomendado pela DG Investigação revelou que as actuais práticas de avaliação das acções de IDT da UE (que incluem um acompanhamento contínuo, avaliações quinquenais e uma avaliação intercalar) se caracterizam pela grande ênfase colocada no acompanhamento comparativamente à avaliação do impacto e que, para conseguir alterar a procura e as expectativas no sentido do impacto socioeconómico, seria necessário um novo quadro de avaliação e de acompanhamento, que obrigasse a uma maior incidência sobre o impacto e não sobre o acompanhamento das realizações (64).

102. O problema da realização em tempo oportuno da avaliação também afecta as avaliações específicas previstas pela legislação. Assim, o relatório Marimón de 2004, no qual foram analisados os novos instrumentos introduzidos n.o 6.o PQ (2003-2006), foi encomendado prematuramente e, como consequência, a experiência prática e as provas empíricas nas quais se deveriam basear as suas conclusões eram insuficientes ou inexistentes (65).

Comunicação e difusão

103. A Comissão pode tomar a iniciativa de desenvolver e adaptar programas de trabalho operacionais de acordo com ciclos de curta duração, sujeitos à aprovação do comité de programa em questão. Trata-se de uma oportunidade de efectuar ajustamentos ao nível da gestão do programa, bem como de reafectar os orçamentos ao nível dos subprogramas. Não há indícios de que a Comissão tenha feito uso desta possibilidade (ver ponto 107).

104. Além disso, tendo em conta a forma como os PQ são concebidos e adoptados, é quase impossível para a Comissão efectuar alterações significativas, como modificar os objectivos dos programas ou reafectar os orçamentos pelos subprogramas. Só o legislador pode promulgar alterações tão abrangentes no âmbito da revisão da legislação relativa aos PQ (como em 2010, para o 7.o PQ) ou da adopção do PQ seguinte. Por este motivo, a legislação prevê geralmente que os principais exercícios de avaliação sejam programados de forma a que os seus resultados possam ser tidos em conta da melhor forma na elaboração das políticas.

105. Assim, as próprias «Direcções-Gerais de investigação» fazem parte dos principais utilizadores das avaliações da Comissão (66). No entanto, a legislação relativa aos PQ também prevê expressamente que as avaliações sejam comunicadas ao Parlamento Europeu e ao Conselho.

106. Contudo, no âmbito do inquérito efectuado pelo Tribunal à Comissão ITRE do Parlamento Europeu e ao Comité CREST do Conselho, a maioria dos inquiridos referiu que não se considera suficientemente informada sobre a execução e os resultados dos programas-quadro (ver gráfico 9) (67).

Acompanhamento das constatações relativas à avaliação

107. Nas suas análises de avaliação anuais, a Comissão incluiu uma síntese das constatações efectuadas e das medidas tomadas na sequência das suas avaliações (68). No que se refere ao acompanhamento, a Comissão deu igualmente respostas formais às constatações e às recomendações formuladas nas avaliações quinquenais e nas avaliações específicas previstas pela legislação. Além disso, na medida do possível, tomou as medidas apropriadas para corrigir as deficiências identificadas nas avaliações. Porém, o mesmo não sucedeu no caso de vários outros relatórios de avaliação examinados e não há indícios de que as suas constatações e as recomendações tenham sido tidas em conta para alterar os programas de trabalho. As declarações relativas à orçamentação por actividades e os relatórios anuais de actividades das Direcções-Gerais também não indicam em que medida as constatações resultantes das avaliações se traduziram em medidas concretas.

Recomendações

108. A Comissão deverá definir o tipo e o âmbito da avaliação que pode razoavelmente ser efectuada nas datas previstas na legislação (2008, 2010 e 2015), explicar de que forma a avaliação poderá ser utilizada para adaptar os programas («learning programmes») e especificar a contribuição que a avaliação poderá dar para a elaboração de decisões políticas. Em particular, a Comissão deverá clarificar a abordagem que pretende adoptar relativamente à avaliação dos resultados a longo prazo do actual PQ e dos anteriores, dado que esses resultados poderão demorar entre sete a dez anos a manifestar-se (ver gráfico 8). 109. A Comissão deverá rever as suas práticas em matéria de comunicação e de difusão das constatações resultantes das suas avaliações, a fim de garantir que os intervenientes recebem as informações necessárias. Sobretudo, as «Direcções-Gerais de investigação» deverão dar uma resposta formal a todas as avaliações e publicar esses estudos em tempo útil, juntamente com as suas respostas. As «Direcções-Gerais de investigação», nas suas declarações relativas à orçamentação por actividades e nos seus relatórios anuais de actividades, deverão igualmente prestar informações sobre o seguimento dado às recomendações e tê-las em conta na actualização dos programas de trabalho e na concepção de futuros programas.

CONCLUSÃO GERAL

110. O Tribunal reconhece que a avaliação dos programas de IDT e mais especialmente dos seus resultados a longo prazo, é difícil em si, sendo complicado definir as melhores práticas na matéria.

111. Na opinião do Tribunal, a avaliação é fundamental para a gestão dos programas, bem como para a futura programação e a elaboração de políticas. A avaliação fornece igualmente uma base para a obrigação de prestar contas. É uma importante fonte de informações sobre os resultados alcançados, pretendidos ou não, o grau de realização dos objectivos dos programas, a relevância e a utilidade dos programas, bem como a eficiência e a eficácia da sua execução. Dado que o Parlamento Europeu e o Conselho tomam as decisões sobre a orientação geral, as questões orçamentais e a concepção dos programas, necessitam de um sistema de avaliação transparente, credível e sólido que lhes forneça informações pertinentes.

112. Em 2000 e em 2002, a Comissão criou um quadro geral de avaliação, que foi consideravelmente alterado em 2007. Embora durante o período auditado pelo Tribunal não se tenham registado melhorias significativas no planeamento, concepção e execução das avaliações dos PQ e dos seus programas constituintes, de uma maneira geral as «Direcções-Gerais de investigação» cumpriram os requisitos formais aplicáveis na generalidade da Comissão.

113. No período abrangido pelo presente relatório, as «Direcções-Gerais de investigação» dispunham de um sistema de avaliação, como previsto na legislação relativa aos PQ, e a Comissão pode apresentar um número considerável de estudos de avaliação. Apesar disso, verifica-se que pouco ou quase nada se sabe sobre a realização dos objectivos dos programas e os resultados dos PQ, o que se deve ao facto de as avaliações incidirem geralmente sobre questões relativas à execução do programa a curto prazo. Assim, as avaliações realizadas pela Comissão foram pouco úteis para os decisores políticos, os intervenientes e até para a própria Comissão.

114. Tendo em conta a importância da avaliação para a gestão dos programas e a elaboração de políticas, a abordagem seguida pela Comissão na avaliação dos PQ e dos seus programas constituintes deve ser reexaminada, tendo em conta os novos desafios políticos, o aumento do financiamento, o alargamento da orientação da política de investigação comunitária e a recente reforma da Comissão. O Comité Consultivo Europeu sobre Investigação (EURAB), no seu relatório de 2007, efectuou uma recomendação idêntica.

115. O Tribunal considera que a utilização de um quadro lógico de intervenção claro na futura concepção de programas incluídos nos PQ permitiria obter programas mais direccionados e melhor estruturados. Contribuiria igualmente para o êxito da iniciativa «Legislar melhor» da Comissão, que pretende melhorar a concepção do quadro regulamentar, tornando-o mais simples, mais eficaz e mais fácil de compreender (69).

116. A avaliação dos PQ e dos seus programas constituintes seria mais eficaz se os objectivos dos programas e os indicadores fossem mais claros desde o início, se as «Direcções-Gerais de investigação» acordassem entre si uma estratégia de avaliação sólida mas não demasiado limitativa e se fossem utilizadas metodologias de avaliação mais avançadas, incluindo métodos quantitativos.

117. O Tribunal verificou igualmente que, em determinados aspectos, a Comissão poderia rever as suas disposições organizativas actuais relativas à avaliação dos PQ. Poderá ser vantajoso: — promover a participação dos grupos de avaliação numa fase mais precoce do processo de avaliação, prestando desta forma assistência à Comissão ao longo do período de programação e além deste; bem como aumentar o grau da especialização, criando painéis de peritos para os programas específicos e, quando necessário, para os subprogramas; — complementar as actuais unidades de avaliação de cada Direcção-Geral com um gabinete de avaliação conjunto, encarregue de coordenar as avaliações dos PQ.

118. As recomendações formuladas no presente relatório baseiam-se nas práticas adoptadas na Comissão ou nas boas práticas internacionais. No que se refere aos recursos, é evidente que a abordagem sugerida para avaliação dos programas provocaria um aumento dos custos. No entanto, o Tribunal considera que, muito provavelmente, teria uma contrapartida positiva num valor pelo menos equivalente.

O presente relatório foi adoptado pelo Tribunal de Contas, no Luxemburgo, na sua reunião de 22 de Novembro de 2007. Pelo Tribunal de Contas Hubert WEBER Presidente

(1) Segundo a OCDE, podem definir-se a investigação e o desenvolvimento como o trabalho criativo realizado de forma sistemática para aumentar a reserva de conhecimento, incluindo o conhecimento do Homem, da cultura e da sociedade, e a utilização desta reserva de conhecimento para conceber novas aplicações (ver OCDE, Frascati Manual — Proposed standard practice for surveys on research and experimental development, Paris, 2002, p. 30). No contexto comunitário, utiliza-se a sigla IDT para designar tanto a tecnologia como a investigação e o desenvolvimento.

(2) A DG Investigação é a principal Direcção-Geral responsável pela gestão e coordenação dos PQ. Cinco outras Direcções-Gerais gerem igualmente (partes de) programas específicos, sendo a mais importante a DG Sociedade da Informação e Média (as outras são a DG Energia e Transportes, a DG Empresas e Indústria, a DG Pescas e Assuntos Marítimos e o Centro Comum de Investigação da Comissão).

(3) Em 2000, o Conselho Europeu de Lisboa definiu o objectivo de transformar a UE na economia baseada no conhecimento mais dinâmica e competitiva do mundo até 2010, desfrutando do pleno emprego e de uma maior coesão social e económica.

(4) Em 2002, o Conselho Europeu concordou em aumentar o nível médio de investimento em IDT e na inovação na União Europeia para 3 % do PIB até 2010. Esclareceu ainda que dois terços deste novo investimento deverão ser financiados pelo sector privado [ver Comissão Europeia, «Investir na investigação: um plano de acção para a Europa»; Comunicação da Comissão ao Conselho, ao Parlamento Europeu, ao Comité Económico e Social Europeu e ao Comité das Regiões, COM(2003) 226 final, p. 7].

(5) No caso da gestão directa, a Comissão realiza as operações necessárias para desempenhar as suas actividades de execução orçamental sem qualquer intervenção dos Estados-Membros ou de países terceiros onde residam os beneficiários das despesas.

(6) Desde 2006, mais de 22 000 entidades legais públicas e privadas tinham participado só n.o 6.o PQ, em geral inseridas em consórcios com vários parceiros.

(7) Trata-se de um método de cooperação baseado no princípio da cooperação intergovernamental voluntária. Assenta em especial na aprendizagem mútua, na avaliação comparativa (benchmarking) e na partilha das melhores práticas.

(8) Regulamento (CE, Euratom) n.o 1605/2002 do Conselho, de 25 de Junho de 2002 (JO L 248 de 16.9.2002, p. 1), artigos 27.o, 48.o, 59.o e 60.o

(9) Comissão Europeia, DG Orçamento, Comunicação de Dalia Grybauskaitė à Comissão, com o acordo do Presidente, «Responding to strategic needs: reinforcing the use of evaluation», SEC(2007) 213 de 21 de Fevereiro de 2007; Comissão Europeia, DG Orçamento, Comunicação de Michaele Schreyer à Comissão, «Focus on Results: Strengthening Evaluation of Commission Activities», SEC(2000) 1051 de 26 de Julho de 2000.

(10) N.o 1 do artigo 7.o da Decisão n.o 1982/2006/CE do Parlamento Europeu e do Conselho, de 18 de Dezembro de 2006, relativa ao Sétimo Programa-Quadro da Comunidade Europeia de actividades em matéria de investigação, desenvolvimento tecnológico e demonstração (2007 a 2013) (JO L 412 de 30.12.2006, p. 1); as informações relativas ao acompanhamento que a Comissão deve fornecer aos Comités dos Programas estão definidas nas decisões relativas a cada programa específico (ver, por exemplo, o n.o 4 do artigo 8.o e o anexo V da Decisão 2006/971/CE do Conselho, de 19 de Dezembro de 2006, relativa ao programa específico «Cooperação» de execução do Sétimo Programa-Quadro da Comunidade Europeia de actividades em matéria de investigação, desenvolvimento tecnológico e demonstração (2007 a 2013) (JO L 400 de 30.12.2006, p. 86).

(11) Comissão Europeia, Comunicação ao Conselho relativa a um plano de acção comunitário respeitante à avaliação dos resultados das actividades de investigação e desenvolvimento da Comunidade para os anos de 1987 a 1991, COM(86) 660 final de 20 de Novembro de 1986, em resposta à resolução do Conselho de 28 de Junho de 1983.

(12) Comissão Europeia, «Avaliação quinquenal dos programas de investigação da União Europeia, 1992-1996». Relatório do painel de peritos independentes, presidido pelo visconde Davignon (1997); Comissão Europeia, «Avaliação quinquenal dos programas de investigação da União Europeia, 1995-1999»; Relatório do painel de peritos independentes, presidido por Joan Majó (Julho de 2000); Comissão Europeia, «Avaliação quinquenal dos programas-quadro de investigação da União Europeia 1999-2003»; Relatório do painel de peritos independentes, presidido por Erkki Ormala (15 de Dezembro de 2004).

(13) Comissão Europeia, «Evaluation of the effectiveness of the New Instruments of Framework Programme VI», 21 de Junho de 2004, Relatório de um painel de peritos de alto nível presidido pelo Professor Ramon Marimón.

(14) Comissão Europeia, DG Orçamento, Comunicação de Michaele Schreyer à Comissão, «Focus on Results: Strengthening Evaluation of Commission Activities», Julho de 2000, SEC(2000) 1051; Comissão Europeia, DG Orçamento, Comunicação do Presidente e Michaele Schreyer à Comissão, «Evaluation Standards and Good Practice», C(2002) 5267 de 23 de Dezembro de 2002.

(15) Comissão Europeia, DG Orçamento, Comunicação de Dalia Grybauskaitė à Comissão, de acordo com o Presidente, «Responding to strategic needs: reinforcing the use of evaluation», SEC(2007) 213 de 21 de Fevereiro de 2007.

(16) Comissão Europeia, Documento de trabalho «Impact assessment and ex ante evaluation», SEC(2005) 430.

(17) A Comissão «Indústria, Investigação e Energia» (ITRE) do Parlamento Europeu tem competência (em especial) em matéria de política industrial, política de investigação (incluindo a difusão e a exploração dos resultados da investigação), política espacial, actividades do Centro Comum de Investigação, Tratado Euratom, sociedade da informação e tecnologias da informação.

(18) O CREST (Comité da Investigação Científica e Técnica) foi instituído por uma resolução do Conselho de 14 de Janeiro de 1974 e é constituído por representantes das autoridades nacionais responsáveis pelas políticas científica e tecnológica dos Estados-Membros. O CREST é um órgão consultivo, que informa a Comissão e o Conselho, em especial sobre assuntos relacionados com a coordenação das políticas nacionais de I&D e o acompanhamento e avaliação dos PQ.

(19) Os modelos lógicos que mostram a forma como os recursos das diferentes actividades dão origem aos resultados esperados são a forma mais adequada de ilustrar a lógica de intervenção. Estes modelos conseguem explicar de maneira clara os pressupostos subjacentes à forma como um programa está concebido e como os objectivos globais se decompõem em objectivos operacionais.

(20) Comissão Europeia, DG Orçamento, «Evaluating EU activities: a practical guide for the Commission services», Julho de 2004, p. 87 e 106.

(21) «Avaliação quinquenal dos programas-quadro de investigação da União Europeia, 1999-2003», Relatório do painel de peritos independentes, presidido por Erkki Ormala (15 de Dezembro de 2004): Secção 6 «Evaluating the Framework Programme», p. 19.

(22) Os países beneficiários de ajuda externa são obrigados a apresentar modelos lógicos para o financiamento comunitário (Comissão Europeia, Aid delivery methods, Volume 1, Project cycle management guidelines, Março de 2004, secção 5: The logical framework approach).

(23) Regulamento (CE, Euratom) n.o 1605/2002, n.o 3 do artigo 27.o

(24) Em 2006, o domínio de política «08 investigação» encontrava-se estruturado com base nos programas (e subprogramas) específicos do actual período de programação do 6.o PQ (e, por conseguinte, foi substituído por uma estrutura diferente em 2007), enquanto no domínio de política «09 sociedade da informação» o programa específico actual e o anterior foram considerados uma única actividade de orçamentação por actividades (Comissão Europeia, DG Investigação, Direcção A: Coordenação das Acções Comunitárias, Planeamento, Programação, Avaliação, Plano de gestão anual 2006, de 20 de Dezembro de 2005; Comissão Europeia, DG Sociedade da Informação e Média, Plano de gestão anual 2006, 23 de Dezembro de 2005).

(25) No caso da DG Investigação, os objectivos da gestão por actividades (e os indicadores utilizados para medir a sua realização) mudavam todos os anos. Por outro lado, a DG Sociedade da Informação utilizou objectivos plurianuais que, contudo, não correspondiam aos objectivos do programa (ou aos especificados ao nível do programa de trabalho).

(26) Comissão Europeia, Serviço de Auditoria Interna, Review of effectiveness and efficiency of the SPP/ABM cycle — SG & DG Orçamento, 2005: ponto 4.1, p. 31.

(27) Comissão Europeia, «Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes», COM(83) 1 final, de 19 de Janeiro de 1983.

(28) Comunicação da Comissão ao Conselho e ao Parlamento Europeu, «Acompanhamento e avaliação externos independentes das actividades comunitárias no domínio da investigação e do desenvolvimento tecnológico», [COM(1996) 220 final, de 22 de Maio de 1996].

(29) Cada Direcção-Geral responsável pela execução dos PQ documenta as suas avaliações planeadas em planos de avaliação anuais (e plurianuais). No entanto, não se podem considerar estes documentos de planeamento como uma verdadeira estratégia de avaliação.

(30) Regulamento (CE, Euratom) n.o 1605/2002, n.o 4 do artigo 27.o

(31) Em 2004, o «Deutsche Forschungsgemeinschaft» (DFG) criou um instituto especializado, o «Institut für Forschungsinformation und Qualitätssicherung» (IFQ), tendo-lhe atribuído a responsabilidade pelo desenvolvimento e normalização das metodologias de avaliação, pela garantia de qualidade e pela realização de avaliações de actividades de IDT financiadas pelo DFG.

(32) Agencia Nacional de Evaluación y Prospectiva pertencente ao Ministerio de Educación y Ciencia: Orden ECI/1252/2005 de 4 de Maio de 2005 que estabelece a «Comisión Asesora de Evaluación y Prospectiva».

(33) «Loi de programme pour la recherche n.o 2006-450» datada de 18 de Abril de 2006 e «Décret n.o 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)» datado de 3 de Novembro de 2006.

(34) No âmbito do 7.o PQ, foram constituídos 15 EAG pela Comissão, em comparação com 12 EAG no âmbito do 6.o PQ e 17 EAG no âmbito do 5.o PQ. Estes grupos assistem a Comissão em questões relacionadas com política e os programas no contexto dos PQ. No entanto, é de notar que estes EAG não cobrem totalmente a estrutura do programa dos PQ. Por outras palavras, não existe um EAG para cada programa (ou subprograma) específico.

(35) No Canadá praticamente todos os departamentos do governo federal criaram comités de avaliação permanentes, constituídos por altos funcionários do departamento e normalmente também intervenientes externos, para supervisionar o sistema de avaliação («Social Sciences and Humanities Research Council of Canada»: Evaluation Standing Committee — Mandate and Membership).

(36) Comissão Europeia, «Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes», Agosto de 2005, p. 5.

(37) Comissão Europeia, «Planning and optimising Commission human resources to serve EU priorities», SEC(2007) 530 de 24 de Abril de 2007.

(38) Comissão Europeia, Comunicação do Presidente e Michaele Schreyer à Comissão, «Evaluation Standards and Good Practice», C(2002) 5267 de 23 de Dezembro de 2002; Documento de trabalho da Comissão Europeia, «Impact assessment and ex ante evaluation», SEC(2005) 430, 6 de Abril de 2005, anexo 1, nota 209.

(39) Em 2007, o Comité Consultivo Europeu sobre Investigação (European Research Advisory Board — EURAB) recomendou igualmente que se aumentassem os recursos afectados à avaliação dos PQ (EURAB, «Recommendations on Ex-Post Impact Assessment», Julho de 2007).

(40) Relatório Especial n.o 1/2004 sobre a gestão das acções indirectas de IDT no âmbito do Quinto Programa-Quadro (5.o PQ) em matéria de Investigação e Desenvolvimento Tecnológico (1998-2002) (JO C 99 de 23.4.2004), pontos 116 e 122.

(41) Comissão Europeia, DG Orçamento, Comunicação de Dalia Grybauskaitė à Comissão, com o acordo do Presidente, «Responding to strategic needs: reinforcing the use of evaluation», SEC(2007) 213 de 21 de Fevereiro de 2007; Comissão Europeia, Comunicação à Comissão do Presidente e de Michaele Schreyer, «Evaluation standards and good practice», C(2002) 5267 de 23 de Dezembro de 2002.

(42) 14 Direcções-Gerais têm manuais de avaliação para os domínios políticos e os programas sob a sua responsabilidade (Comissão Europeia, DG Orçamento — Unidade de Avaliação, «Overview of Evaluation Guides in the Commission», de Outubro de 2004).

(43) Fahrenkrog, G. e outros, «RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies», IPTS-JRC, 2002; PREST e outros, «Assessing the Socio-economic Impacts of the Framework Programme»; Universidade de Manchester, 2002.

(44) Embora a Comissão disponha geralmente dessas informações relativamente aos participantes, muitas vezes não as pode utilizar para efectuar uma análise pormenorizada, uma vez que os dados relativos a um determinado participante não são mantidos num único local nem são forçosamente registados em formatos compatíveis. Por conseguinte, é difícil efectuar um acompanhamento dos participantes ao longo do tempo, para avaliar, por exemplo, as razões de uma não participação, bem como as relações entre participantes, para estudar, por exemplo, os efeitos de rede (ver ponto 84).

(45) Relatório anual relativo ao exercício de 2006, quadro 2.3; Relatório anual relativo ao exercício de 2005, ponto 7.13; Relatório anual relativo ao exercício de 2004, pontos 6.8 e 6.10; Relatório anual relativo ao exercício de 2003, pontos 6.9 e 6.70; Relatório especial n.o 1/2004, pontos 105-108; Parecer n.o 1/2006 sobre a proposta de regulamento do Parlamento Europeu e do Conselho que estabelece as regras de participação de empresas, centros de investigação e universidades em acções no âmbito do sexto programa-quadro e as regras de difusão dos resultados da investigação (2007-2013) (JO C 203 de 25.8.2006), ponto 57.

(46) Artigo 173.o do Tratado que institui a Comunidade Europeia: «No início de cada ano, a Comissão apresenta um relatório ao Parlamento Europeu e ao Conselho. Esse relatório incide nomeadamente sobre as actividades desenvolvidas em matéria de investigação e de desenvolvimento tecnológico e de difusão dos resultados durante o ano anterior e sobre o programa de trabalho para o ano em curso.»

(47) Não houve qualquer tentativa sistemática para recolher dados junto dos participantes após a conclusão do projecto, com excepção dos inquéritos específicos no âmbito das avaliações. O recurso aos inquéritos foi dificultado pelo facto de a legislação não obrigar os participantes a fornecerem esses dados analíticos, ao contrário do que sucede com diversos programas nacionais de IDT (por exemplo, na Alemanha).

(48) Relatório especial n.o 1/2004, ponto 94; Parecer n.o 1/2006, ponto 56.

(49) Relatório anual relativo ao exercício de 2006, ponto 7.33; Relatório anual relativo ao exercício de 2005, pontos 7.8 e 7.29; Parecer n.o 1/2006, pontos 58-61.

(50) CORDIS é a única base de dados que fornece informações relativas às propostas, aos projectos e aos resultados para o conjunto do PQ. Cobre diversos períodos de programação e é acessível fora da Comissão. Contudo, os dados de CORDIS relativos aos diferentes projectos muitas vezes não são actualizados após a proposta ter sido seleccionada. Até ao 6.o PQ, inclusive, os participantes nos PQ provenientes dos sectores público e privado não eram obrigados a tornar públicos os seus resultados (Comité Consultivo Europeu sobre Investigação-EURAB, «Scientific publication: policy on open access», Dezembro de 2006).

(51) Hanne Foss Hansen, «Choosing evaluation models: A discussion on evaluation design», Evaluation, vol. 11, n.o 4, 2005, p. 447-462.

(52) Até ao 6.o PQ inclusive, os participantes provenientes dos sectores público e privado não eram obrigados a tornar públicos os seus resultados científicos. Em Dezembro de 2006, o Comité Consultivo Europeu sobre Investigação recomendou que a Comissão tornasse essa publicação obrigatória, a fim de garantir ao público o acesso gratuito à investigação financiada pela Comunidade. O Comité sugeriu igualmente que a Comissão criasse um arquivo na internet para os resultados publicados dos projectos (ver Comité Consultivo Europeu sobre Investigação — EURAB, «Scientific publication: policy on open access», Dezembro de 2006).

(53) Convém salientar que esses modelos foram utilizados para prever os efeitos microeconómicos e macroeconómicos do 7.o PQ programado (ver Comissão Europeia, «Monitoring Report 2004: implementation of activities under the EC and Euratom framew