PT Jornal Oficial da União Europeia C 302/1

RELATÓRIO ESPECIAL N.o 10/2006

sobre as avaliações ex post dos programas relativos aos objectivos n.os 1 e 3 para o período 1994-1999 (fundos estruturais), acompanhado das respostas da Comissão

(apresentado nos termos do n.o 4, segundo parágrafo, do artigo 248.o do Tratado CE)

(2006/C 302/CE)

ÍNDICE

Glossário

I-XI SÍNTESE

1-9 INTRODUÇÃO

6-9 Quadro da evolução

7-9 Objectivos básicos estabelecidos para cada avaliação

10-14 ÂMBITO DA AUDITORIA

15-80 AVALIAÇÃO EX POST DO OBJECTIVO N. o 1 PELA DIRECÇÃO-GERAL DA POLÍTICA REGIONAL

16-66 Apreciação do Tribunal relativa à qualidade da avaliação

16 Observações preliminares

17-20 Evolução dos problemas com que as regiões se confrontam desde 1994

21-28 Adequação das estratégias adoptadas

29-40 Avaliação da eficácia

41-44 Avaliação da eficiência

45-53 Avaliação do impacto dos fundos estruturais

54-66 Avaliação dos sistemas de gestão

67-75 Adequação do quadro de avaliação

67-70 Especificação técnica

71-75 Adequação da supervisão pela Comissão

76-80 Relevância das recomendações para avaliação dos períodos de programação seguintes

81-113 AVALIAÇÃO EX POST DAS OPERAÇÕES DO FSE (NO ÂMBITO DOS OBJECTIVOS N. os 1 E 3) PELA DIRECÇÃO-GERAL DO EMPREGO, ASSUNTOS SOCIAIS E DA IGUALDADE DE OPORTUNIDADES

82-113 Apreciação do Tribunal relativa à qualidade da avaliação

82-87 Exame das insuficiências dos dados e da análise

88 Avaliação do impacto das operações do FSE

89 Avaliação da igualdade de oportunidades

90-93 Outros aspectos examinados

94-96 Comentários sobre a avaliação global efectuada pela Comissão

97-102 Outras informações dos relatórios nacionais

103-110 Adequação do quadro para a avaliação

111-113 Recomendações na conclusão da avaliação

114-118 CONCLUSÕES

119-125 RECOMENDAÇÕES

ANEXOS:

Anexo I — Repartição da ajuda no âmbito dos fundos estruturais

Anexo II — PIB e taxa de emprego

Anexo III — Crescimento do PIB e fundos estruturais

Anexo IV — Simulações HERMIN e desemprego

Respostas da Comissão

GLOSSÁRIO ADAPT Adaptação da mão-de-obra às mutações industriais (iniciativa comunitária para favorecer o emprego e a adaptação da mão-de-obra às mutações industriais) Comissões de acompanhamento Comissões que supervisionam a execução estratégica do programa de financiamento DOCUP Documento Único de Programação Efeito de inércia Mudança verificada entre os destinatários directos de uma intervenção pública ou por eles declarada na sequência de uma intervenção pública, mas que se teria verificado mesmo sem a existência da intervenção Efeito de deslocação Efeito obtido numa região elegível em detrimento de outra FEDER Fundo Europeu de Desenvolvimento Regional FSE Fundo Social Europeu IDT Investigação e desenvolvimento tecnológico IFOP Instrumento Financeiro de Orientação da Pesca Modelo HERMIN Modelo macroeconómico utilizado para simular o impacto das intervenções dos fundos estruturais PAMT Políticas Activas do Mercado de Trabalho PME Pequenas e médias empresas PO Programa operacional QCA Quadro Comunitário de Apoio Relatório inicial Relatório que contém questões de ordem metodológica, como os objectivos de avaliação, o quadro metodológico, os questionários e as organizações a contactar Relatório de síntese Relatórios finais elaborados pela Direcção-Geral da Política Regional (para o objectivo n.o 1) e pela Direcção-Geral do Emprego e dos Assuntos Sociais (para o objectivo n.o 3) sobre a avaliação ex post das operações financiadas pelo FEDER e pelo FSE

SÍNTESE

I. A auditoria teve como objectivo as avaliações ex post realizadas pela Comissão relativas às intervenções financiadas pelos fundos estruturais nas regiões dos objectivos n.os 1 e 3 durante o período de programação 1994-1999. O montante total destas intervenções elevou-se a mais de 245 000 milhões de euros, que incluíam investimentos conjuntos dos sectores privado e público.

II. Uma avaliação ex post destina-se a comparar os efeitos das despesas reais relativamente aos objectivos iniciais. Este mecanismo permite explorar as informações recolhidas durante um período de programação determinado a fim de tornar as despesas dos fundos estruturais mais eficazes no futuro. As avaliações ex post foram efectuadas pela Comissão e por consultores externos recrutados para o efeito.

III. O objectivo da auditoria consistia em determinar se, no final das avaliações ex post, a Comissão estava em condições de avaliar os efeitos das intervenções em relação aos objectivos fixados e se os resultados e as recomendações destas avaliações tinham sido úteis para a revisão dos programas a partir de 2000.

IV. A presente auditoria baseou-se nos relatórios de síntese finais relativos a cada fundo. Estes relatórios apresentam uma síntese da avaliação global do impacto dos fundos e especificam os elementos que deveriam ser relevantes no momento de tomar as decisões que se referem aos períodos de programação posteriores. A fase seguinte da auditoria consistiu em avaliar até que ponto as deficiências constatadas podiam ser imputadas a lacunas na especificação técnica ou a eventuais problemas ocorridos durante o processo de avaliação.

V. Avaliar as despesas dos fundos estruturais constitui um processo intrinsecamente complexo. Contudo, a auditoria permitiu identificar deficiências no processo de avaliação que não podem ser atribuídas unicamente a estas limitações inerentes ao exercício.

VI. No âmbito da avaliação das intervenções financiadas pelos fundos estruturais nas regiões do objectivo n.o 1, o Tribunal identificou as seguintes deficiências: — os dados subjacentes apresentavam diferenças; — a avaliação da eficácia das despesas dos fundos estruturais não foi suficientemente sólida, entre outros aspectos devido ao carácter limitado dos dados sobre as realizações e os resultados, recolhidos pelos Estados-Membros; — a avaliação não permitiu comparar os custos unitários dos projectos que beneficiaram de uma ajuda dos fundos estruturais; — a avaliação baseava-se em grande parte num modelo macroeconómico (HERMIN) que apresentava limitações significativas.

VII. O Tribunal constatou que a avaliação das intervenções do FSE no âmbito dos objectivos n.os 1 e 3: — se baseava em parte em informações não fiáveis ou incompletas; — chegou a algumas conclusões que não eram suficientemente justificadas, o que põe em causa a metodologia utilizada na sua obtenção.

VIII. Tendo em vista a especificação técnica elaborada, a Comissão não parece ter previsto algumas dificuldades encontradas durante as avaliações. Do mesmo modo, não resolveu inteiramente as insuficiências da avaliação ex post. As constatações do Tribunal indicam que havia deficiências que afectavam a supervisão das avaliações.

IX. Por outro lado, as avaliações permitiram recolher informações úteis no que se refere aos sistemas de gestão das intervenções financiadas a título do FEDER e do FSE.

X. Contudo, embora se tivessem formulado algumas recomendações válidas e úteis para os futuros períodos de programação, a Comissão não pôde beneficiar plenamente das experiências dos programas do período 1994-1999.

XI. O Tribunal recomenda que: — para futuras avaliações, a Comissão deve assegurar que os dados disponíveis e os recursos atribuídos correspondem aos objectivos fixados, que devem ser realistas e que a especificação técnica deve ser elaborada em conformidade; — a Comissão deve dar uma atenção particular às técnicas utilizadas para medir o impacto económico dos fundos. Se optar por um modelo macroeconómico, este deve imperativamente tomar em consideração as características das economias examinadas. Idealmente, deveria poder utilizar os microdados gerados à escala do projecto; — os elementos de ligação com outros estudos relativos à avaliação dos fundos estruturais devem ser devidamente tomados em consideração; — as futuras avaliações devem comportar um determinado número de elementos específicos, relativos por exemplo às contribuições do sector privado, às medidas de «engenharia financeira», à avaliação dos custos dos projectos, aos procedimentos de candidatura e aprovação dos projectos bem como às avaliações internas das autoridades nacionais ou regionais; — a supervisão do processo de avaliação efectuada pela Comissão deve ser reforçada, nomeadamente por uma colaboração com os institutos de investigação e com as universidades.

INTRODUÇÃO

1. A Comissão desenvolve um quadro único de avaliação dos fundos estruturais desde 1996. Define o termo «avaliação» como o «julgamento de intervenções em função dos seus resultados, dos seus impactos e das necessidades que visam satisfazer» (1). O objectivo principal da actividade de avaliação é apoiar o processo de tomada de decisão permitindo obter informações e formular pareceres sobre a relevância, economia, eficiência, eficácia, utilidade e sustentabilidade dos impactos das intervenções da UE. Tais informações são de uma importância crucial para a melhoria das intervenções existentes e para a concepção de novas intervenções bem como para a definição das prioridades políticas e a afectação dos recursos.

2. As avaliações são realizadas a diversos níveis e fases do ciclo de programação (seis anos). As mais importantes são: a) as avaliações ex ante, que precedem a execução de uma intervenção com a finalidade de contribuir para a qualidade da sua concepção e da sua relação custo-eficácia; b) as avaliações intercalares, efectuadas durante a execução para melhorar a gestão da intervenção; c) as avaliações ex post, efectuadas após a conclusão de uma intervenção para avaliar os resultados obtidos e as ilações a tirar.

3. A presente auditoria tratou das avaliações ex post que a Comissão executou relativamente às intervenções financiadas pelos fundos estruturais nas regiões dos objectivos n.os 1 e 3 durante o período de programação 1994-1999. Para efeitos da presente auditoria, a definição de avaliação ex post tomada em consideração é a definida na colecção MEANS (2), nomeadamente: «A avaliação ex post consiste na recapitulação e no exame do conjunto do programa, em particular dos seus impactos. O seu objectivo consiste em dar conta da forma como os recursos são utilizados e em assinalar a eficácia e a eficiência das intervenções e em que medida os efeitos previstos foram atingidos. Baseia-se em factores de sucesso ou de insucesso e na sustentabilidade dos resultados e dos impactos. Procura tirar conclusões que possam ser generalizadas e aplicadas a outros programas e regiões» (3). É neste contexto que a avaliação ex post foi examinada.

4. A avaliação ex post constitui parte de um «processo» baseado igualmente numa avaliação ex ante e numa avaliação intercalar. Além disso, as avaliações desenvolvem-se a diversos níveis tanto nacionais como temáticos e culminam num relatório de síntese. O conjunto destas avaliações constitui um elemento importante da gestão dos fundos estruturais e, em particular, da programação e da revisão das intervenções comunitárias. A responsabilidade do processo de avaliação cabe à Comissão (em parceria com os Estados-Membros). Compete à Comissão determinar os elementos da avaliação que devem ser efectuados pelos seus próprios serviços e os que é necessário subempreitar. Nos dois casos, a responsabilidade global e final da avaliação cabe sempre à Comissão.

5. Durante o período 1994-1999, a ajuda programada a título dos fundos estruturais (4) elevou-se a 136 400 milhões de euros para os «objectivos» e a 14 500 milhões de euros para as «iniciativas comunitárias». O anexo I apresenta uma repartição do primeiro montante por Estado-Membro e por objectivo bem como uma repartição do segundo montante por iniciativa comunitária. Estes fundos foram completados por um montante suplementar de, pelo menos, 95 000 milhões de euros provenientes de um co-financiamento dos sectores público ou privado (5), o que faz elevar o montante total dos investimentos a mais de 245 000 milhões de euros.

Quadro da avaliação

6. As avaliações ex post foram efectuadas por conta e sob a direcção da Comissão. Na sequência de um processo de adjudicação, foi seleccionado um consultor principal para cada conjunto definido de objectivos e de iniciativas comunitárias. Na maioria dos casos, o consultor beneficiava do apoio de uma equipa de avaliadores nos diferentes Estados-Membros (6), cuja função era submeter os diferentes programas às avaliações necessárias, na base de um quadro metodológico comum. Além disso, a supervisão do exercício de avaliação esteve a cargo de um grupo de acompanhamento. As avaliações deram lugar, para cada conjunto definido de objectivos, a relatórios elaborados pelos avaliadores nacionais e a um relatório de síntese elaborado pelos consultores contratados. Estes relatórios foram concluídos entre o início de 2003 e meados de 2004.

Objectivos básicos estabelecidos para cada avaliação

7. As direcções-gerais em causa optaram por uma abordagem abrangente que cobre um grande número de temas. Os objectivos gerais das avaliações consistiam em: a) apreciar os resultados e os impactos das acções nos Estados-Membros quanto aos seus objectivos e efeitos nas pessoas e nos sistemas; b) analisar o impacto e a eficácia das acções comunitárias no que se refere a alguns problemas estruturais específicos e, na medida do possível, verificar o valor acrescentado da ajuda comunitária.

8. Para atingir estes objectivos, as especificações técnicas enunciaram um determinado número de questões-chave relativas aos seguintes temas: adequação da estratégia, eficácia, eficiência, impacto, sistemas de gestão e de execução, valor acrescentado comunitário e ilações a tirar das programações em curso com vista a outras futuras. A fim de estruturar os trabalhos, as especificações previram igualmente um determinado número de tarefas precisas e identificaram várias técnicas e fontes de informação.

9. A especificação técnica elaborada pela Comissão para cada objectivo definiu portanto a base do trabalho dos avaliadores. Foi completada pelo relatório inicial e pelo guia metodológico para o objectivo n.o 1, em Janeiro de 2002. Para as acções do FSE, estes documentos foram completados pelo relatório de progresso em matéria de metodologia, em Dezembro de 2002, e pelas questões de avaliação previstas em cada relatório nacional de avaliação. Para formular estas questões, os avaliadores apoiaram-se na bibliografia existente nesta matéria, em questionários, em entrevistas com as partes interessadas, na análise de estudos de casos e em outras investigações no terreno, se necessário.

ÂMBITO DA AUDITORIA

10. A presente auditoria teve como principais objectivos determinar, por um lado, se as avaliações permitiam que a Comissão obtivesse informações adequadas para avaliar os efeitos das intervenções em relação aos objectivos definidos e, por outro, se os seus resultados e recomendações foram úteis para a revisão dos programas dos períodos de programação seguintes.

11. A auditoria incidiu nas avaliações ex post relativas às intervenções do FEDER no âmbito do objectivo n.o 1, e do FSE no âmbito dos objectivos n.os 1 e 3, empreendidas respectivamente pela Direcção-Geral da Política Regional (DG REGIO) e pela Direcção-Geral do Emprego, dos Assuntos Sociais e da Igualdade de Oportunidades (DG EMPL). Efectuou-se um exame aos relatórios de síntese e a uma amostra de avaliações nacionais que correspondem aos objectivos e instrumentos seleccionados (7), que representavam um montante total de 124 000 milhões de euros, ou seja 82 % da ajuda programada no âmbito dos fundos estruturais para o período de programação 1994-1999 (8).

12. Para cada avaliação, a auditoria procurou responder a três questões: a) a qualidade da avaliação foi boa? b) em que medida as deficiências detectadas se deveram ao âmbito e à supervisão do exercício de avaliação? c) as recomendações decorrentes da avaliação foram bem fundamentadas, úteis e adequadas de modo a serem tomadas em consideração no âmbito dos períodos de programação seguintes?

13. Em particular, a auditoria determinou a qualidade e a exaustividade dos relatórios no que se refere à sua avaliação relativa à adequação das políticas, à eficácia, à eficiência e ao impacto das medidas bem como à sua incidência nos sistemas de gestão. Avaliou igualmente se o papel da Comissão era adequado na preparação, acompanhamento e supervisão das avaliações.

14. A primeira parte do presente relatório é consagrada à avaliação ex post das intervenções nas regiões do objectivo n.o 1 no âmbito do FEDER (pontos 15 a 80) e a segunda à avaliação ex post das operações a título do FSE no âmbito dos objectivos n.os 1 e 3 (pontos 81 a 113).

AVALIAÇÃO EX POST DO OBJECTIVO N.O 1 PELA DIRECÇÃO-GERAL DA POLÍTICA REGIONAL

15. Antes de proceder ao exame pormenorizado da qualidade da avaliação, convém apresentar uma visão breve das conclusões formuladas pela Comissão nessa matéria. Apresenta-se a seguir uma síntese das mesmas (ver caixa 1). Caixa 1Conclusões gerais da avaliação efectuada pela Direcção-Geral da Política RegionalO Relatório de síntese reconhece que os fundos estruturais tiveram um impacto positivo no PIB das regiões do objectivo n.o 1 e que o seu desempenho global, em relação à UE no seu conjunto, melhorou. O relatório considera que a importância dos benefícios alcançados dependeu fortemente das capacidades institucionais e de factores como a estrutura e a abertura da economia. Considera que estes aspectos são manifestamente de uma importância capital, em particular para a capacidade de a economia responder aos desafios e de aproveitar as possibilidades do processo de integração económica. Todavia, observa que, dada a disparidade dos Estados-Membros e dos contextos, devido ao carácter limitado dos dados de acompanhamento disponíveis e à ausência de objectivos claramente definidos, não era possível associar os resultados para dar uma imagem fiável do conjunto das realizações do objectivo n.o 1.Em termos de conclusão geral sobre a adequação das estratégias adoptadas, o relatório conclui que a abordagem estratégica do objectivo n.o 1 adoptada em 1994 deve ser considerada como globalmente apropriada para cada um dos Estados-Membros. Indica que a crítica mais significativa relativa a estas estratégias é que elas não eram praticamente mais do que a soma das partes que as compunham. Embora cada uma delas constituísse uma resposta adequada às necessidades identificadas em domínios específicos, poucos elementos permitem determinar em que medida os diferentes elementos contribuíram para uma estratégia global de desenvolvimento.Em termos de eficácia, o relatório indica que, devido a insuficiências nos dados disponíveis, a análise se baseou em larga medida em pareceres qualitativos mais do que em comparações quantificadas dos resultados obtidos com os objectivos fixados. A este respeito, o relatório formula o seguinte comentário: em muitos casos, as acções aparentemente mais eficazes foram as que apresentam um carácter essencialmente «tradicional». Os financiamentos tiveram a tendência, de uma forma geral, de reforçar os sistemas de desenvolvimento económico existentes mais do que de criar uma base que permita desenvolver novas actividades a fim de ir ao encontro dos objectivos definidos ou estimular novas abordagens inovadoras.Em termos de impacto, o relatório apoiou-se, para a maioria das regiões, numa macromodelação que lhe permite avaliar o impacto dos fundos estruturais na coesão económica e social. Reconhece que é inevitável que os resultados que emergem desta análise decorram em certa medida das hipóteses criadas no âmbito do processo de modelação. O relatório observa que a dimensão do impacto reflectiu, em alguns casos, a importância relativa e a afectação dos recursos do quadro comunitário de apoio, e ainda alguns factores, tais como as dotações iniciais em termos de recursos, as estruturas económicas, os níveis de competitividade e o grau de «abertura» da economia em questão. O relatório conduz igualmente a conclusões gerais sobre o impacto dos fundos estruturais em relação a outros factores externos. Indica igualmente que, se a criação de empregos tiver sido substancial, os efeitos de inércia e de deslocação provavelmente o terão sido também.O Relatório de síntese formula igualmente uma série de observações sobre a gestão e a execução. A conclusão geral nesta matéria é que os dispositivos de gestão e de execução, embora muitas vezes caracterizados por algumas deficiências, foram geralmente adaptados para o efeito. Além disso, a parceria mostrou-se benéfica. Regra geral, as estruturas de tomada de decisão não conseguiram dar lugar a uma estratégia forte. Contudo, o método de programação bem como a melhoria das capacidades e das práticas de gestão pública determinaram importantes consequências positivas em termos de «valor acrescentado» em sentido amplo.

Apreciação do Tribunal relativa à qualidade da avaliação

Observações preliminares

16. É importante reconhecer que a abordagem global adoptada para este tipo de avaliação se confrontou com algumas limitações intrínsecas. As mais importantes foram os limites de tempo, o número restrito de objectivos quantificados e a ausência de indicadores precisos de resultado/impacto. Além disso, foi muitas vezes difícil isolar o impacto directamente atribuível aos programas e às medidas conexas, porque as regiões-alvo beneficiaram frequentemente de outras acções capazes de contribuir eficazmente para a realização de objectivos semelhantes. Foi igualmente difícil identificar e medir os efeitos indirectos das despesas dos fundos estruturais. Contudo, o Tribunal considera que algumas deficiências do processo de avaliação não podem ser atribuídas simplesmente a limitações inerentes ao exercício em causa mas que são devidas a insuficiências do próprio processo, que é necessário corrigir, em particular antes da avaliação ex post do período de programação 2000-2006.

Evolução dos problemas com que as regiões se confrontam desde 1994

17. O Relatório de síntese começa por uma breve análise da evolução do PIB per capita bem como das taxas de desemprego e de emprego nas diversas regiões em causa (9). Na sua conclusão, o relatório indica que o aumento da taxa de emprego resultante da criação de empregos não determinou geralmente o aumento do PIB per capita (10). Uma conclusão deste tipo é potencialmente importante para os responsáveis políticos, ao sugerir que um aumento das taxas de participação no mercado do trabalho (11) não contribuiu significativamente para a realização do principal objectivo da política de coesão, isto é, a redução das disparidades em termos de PIB, uma conclusão de capital importância para os fundos estruturais.

18. Com base nas informações fornecidas no Relatório de síntese, é difícil apreciar a validade desta última afirmação. Em muitas regiões, o PIB aumentou, tal como as taxas de participação no mercado de trabalho. Contudo, em outras, o PIB per capita diminuiu, ou aumentou de forma marginal. O Tribunal tentou verificar que a observação formulada no ponto anterior era exacta, aplicando um tratamento estatístico aos dados que figuram no Relatório de síntese. Os pormenores técnicos desta análise são apresentados no anexo II e os seus principais elementos são sintetizados a seguir.

19. Os resultados obtidos indicam que a evolução do emprego teve um impacto estatisticamente significativo no PIB real per capita. Em particular, um ponto de aumento da taxa de emprego determinou um aumento de 0,24 % do PIB per capita durante o período avaliado. Este resultado contradiz a conclusão do Relatório de síntese supracitada. Sugere igualmente que seria efectivamente possível, em certa medida, reduzir a diferença entre os PIB melhorando as taxas de participação no mercado de trabalho. Do ponto de vista político, este resultado apresenta um certo interesse.

20. Para melhor verificar a consistência deste resultado, o Tribunal efectuou uma análise idêntica de 145 regiões relativamente às quais existiam dados coerentes (isto é, não unicamente regiões do objectivo n.o 1). Os resultados desta análise, cujos elementos figuram igualmente no anexo II, são muito semelhantes em toda a União. Mostram que alguns dados fundamentais não foram suficientemente analisados e indica uma elevada correlação entre o aumento do PIB e o da taxa de emprego, que o Relatório de síntese não evidenciou.

Adequação das estratégias adoptadas

21. O segundo capítulo do Relatório de síntese examina a adequação das estratégias adoptadas em termos de equilíbrio entre as regiões, entre os programas e entre os fundos. As despesas previstas e efectivas no âmbito dos diferentes programas dos fundos estruturais (12) são analisadas por Estado-Membro e por tipo de fundo, mas não por região, embora o relatório o faça para o PIB per capita, bem como para as taxas de emprego e de desemprego nas diversas regiões do objectivo n.o 1. Esta lacuna limita o âmbito da análise que pode ser feita, como o próprio relatório observa apresentando os resultados de uma análise da regressão que tenta comparar as dotações comunitárias per capita e por Estado-Membro ao PIB per capita (13). Por consequência, os resultados apresentados no relatório não são significativos no plano estatístico e são, portanto, de interesse limitado.

22. Além disso, o Tribunal aplicou aos dados que figuram no relatório técnicas estatísticas ligeiramente diferentes. Os pormenores técnicos desta análise são apresentados no anexo III e os seus elementos essenciais são sintetizados nos pontos que se seguem.

23. Os resultados desta análise confirmam a intuição de que o aumento do PIB per capita dos Estados-Membros é proporcional às ajudas comunitárias per capita. Isto mostra que a adopção de uma abordagem mais ampla permite realizar avaliações relevantes, mesmo com a base de dados limitada inutilmente utilizada quando da discussão desta questão importante.

24. A avaliação que figura nesta parte do relatório baseia-se essencialmente numa comparação entre as diferentes categorias de despesas programadas em 1994 e a estimativa das despesas efectivas em 1999. Contudo, os dados apresentados são afectados por um determinado número de erros e de desvios significativos que limitam a validade das conclusões que se podem tirar. Em particular, no caso de cinco Estados-Membros, o montante das despesas efectivas indicado na coluna «total» (no quadro correspondente do Relatório de síntese) é diferente da soma dos montantes que figuram nas diferentes colunas que indicam as despesas da UE, do sector público e do sector privado (tal como aparecem no mesmo quadro). Estes desvios são sintetizados no quadro 1. A percentagem de desvio é indicada na última coluna deste quadro. Esta percentagem significativa revela que houve um controlo de qualidade inadequado, no que se refere à formulação do conteúdo e à apresentação dos resultados do relatório.

25. Apesar destes desvios, a transformação destes valores em dados per capita (14) permite algumas observações úteis que, em determinados casos, diferem das conclusões formuladas no Relatório de síntese. O quadro 2 apresenta as despesas efectivas per capita por ordem decrescente para cada categoria.

Quadro 1

Síntese dos desvios assinalados no ponto 24

Soma das colunas (15) Total publicado (15) Diferença (15) Percentagem de desvio Alemanha 41 015 48 243 7 228 –15 Itália 34 804 30 547 –4 257 14 Reino Unido 3 961 4 803 842 –18 França 3 339 4 019 680 –17 Áustria 1 116 1 040 –76 7





Quadro 2

Despesas efectivas (16)

Total das despesas efectivas per capita Despesas da UE per capita Despesas públicas efectivas per capita Despesas efectivas do sector privado per capita Áustria 3 866 Irlanda 1 653 Países Baixos 1 822 Áustria 2 458 Países Baixos 3 438 Grécia 1 580 Áustria 1 033 Alemanha 1 299 Alemanha 2 933 Portugal 1 403 Grécia 739 Países Baixos 1 039 Irlanda 2 926 Espanha 1 143 Irlanda 703 Bélgica 705 Grécia 2 716 Alemanha 884 Portugal 621 Irlanda 570 Portugal 2 472 Áustria 657 Espanha 582 Portugal 448 Espanha 1 725 Itália 652 França 485 Grécia 396 Bélgica 1 587 França 621 Bélgica 456 França 205 França 1 579 Reino Unido 605 Reino Unido 381 Reino Unido 174 Itália 1 445 Países Baixos 578 Alemanha 311 Espanha nd Reino Unido 1 407 Bélgica 427 Itália nd Itália nd Média per capita 2 104 1 033 419 377

26. O quadro mostra que o montante total das dotações efectivas se elevou em média a 2 104 euros per capita. Os fundos estruturais representam cerca de metade deste montante, enquanto três dos quatro Estados-Membros que beneficiam do Fundo de Coesão receberam cerca de 50 % a mais do que o montante médio da ajuda comunitária per capita, que foi de 1 033 euros. A contribuição do sector privado reveste-se de uma importância particular, especialmente à luz do impacto a longo prazo na economia nas regiões em causa. Parece que determinadas regiões do objectivo n.o 1 de alguns Estados-Membros como a Alemanha, a Áustria e os Países Baixos conseguiram combinar particularmente bem os investimentos privados e os fundos estruturais, o que lhes permitiu, em especial no caso da Alemanha e da Áustria, ultrapassar a contribuição média dos fundos estruturais da UE.

27. Contudo, o relatório não estuda os factores que contribuem para uma maior participação do sector privado. Por exemplo, poderia levantar-se a questão de saber se este fenómeno era uma consequência da natureza dos projectos seleccionados, da qualidade dos recursos humanos disponíveis ou da natureza diferente da ajuda concedida ao sector privado pelos fundos estruturais. Segundo o Tribunal, estas questões mereciam um exame mais aprofundado.

28. A adequação das estratégias adoptadas pela UE raramente foi avaliada apoiando-se em técnicas formalizadas (17). As práticas adoptadas pelos avaliadores nacionais foram bastante diferentes e, de uma forma geral, largamente descritivas. A questão da adequação da resposta das intervenções dos fundos estruturais às «insuficiências do mercado» raramente constituiu de maneira explícita o objecto da avaliação ex post. Do mesmo modo, não houve qualquer análise exaustiva que mostrasse se as mudanças de estratégia durante o período de programação eram adequadas.

Avaliação da eficácia

29. Alguns capítulos específicos das avaliações nacionais e o capítulo 3 do Relatório de síntese analisam a eficácia dos fundos estruturais, procurando determinar em que medida os efeitos previstos foram obtidos e os objectivos atingidos. São abordados cinco temas, nomeadamente os transportes, as pequenas e médias empresas, a investigação e o desenvolvimento, a educação e a formação, bem como o desenvolvimento rural. Dois temas horizontais são igualmente examinados, o ambiente e a igualdade de oportunidades.

30. A análise baseia-se numa amostra, que corresponde a 70 % do valor dos programas do objectivo n.o 1. Contudo, a tónica é posta em larga medida em apreciações qualitativas, por exemplo, ao avaliar o valor acrescentado da Comunidade ao responder «sim» ou «não» a questões demasiado genéricas que nem sempre podem ser verificadas com objectividade. Não foi feita qualquer tentativa para definir objectivos mais concretos identificando critérios que pudessem contribuir para este efeito. Por outro lado, não se recolheram dados suplementares para fins de microanálise. Em muitos casos, o relatório não tomou em consideração elementos importantes para uma avaliação mais completa da eficácia, como os efeitos de inércia e de deslocação. Sempre que estes aspectos foram abordados, não deram lugar a uma análise suficientemente pormenorizada.

31. Embora algumas partes do Relatório de síntese formulem observações válidas e úteis, o Tribunal considera em geral que este capítulo essencial (18) é insuficientemente abordado, pelas seguintes razões: faltam alguns dados, as conclusões são muitas vezes fracas e a avaliação dos resultados de outros estudos temáticos relativos ao período de programação dos fundos estruturais 1994-1999, encomendados pela Direcção-Geral da Política Regional, é insuficiente ou não existe.

32. Por exemplo, nos quadros relativos aos números reais e aos objectivos em matéria de quilómetros de estradas melhoradas por Estado-Membro, na parte da avaliação ex post consagrada aos transportes, cerca de metade das informações relativas aos objectivos não existe ou é incompleta. Por consequência, é difícil tirar uma conclusão fiável sobre os trabalhos realizados em relação aos objectivos definidos. Contudo, o relatório cita frequentemente uma avaliação temática (19) do impacto dos fundos estruturais nas infra-estruturas de transporte, relativa ao mesmo período de programação, que fornece uma apreciação mais completa e mais rigorosa dos resultados por Estado-Membro.

33. A estimativa do impacto dos programas de transporte no emprego, que figura no relatório de avaliação temática relativo aos transportes, é particularmente relevante para a avaliação ex post. O impacto total em termos de empregos directos e indirectos é avaliado em 2,3 milhões de pessoas/anos (20). Além disso, as vantagens económicas dos programas de transporte mencionados no estudo são consideradas significativas. A taxa de rendimento económico dos projectos rodoviários é calculada em 13 % para a Irlanda e 23 % para Espanha (21).

34. Estas duas conclusões relevantes do relatório de avaliação temática sobre os transportes não são tomadas em consideração no Relatório de síntese. Além disso, a estimativa do impacto do emprego na avaliação temática não está de acordo com a da avaliação ex post. Com base nos cálculos efectuados pelo Tribunal, fundamentando-se na avaliação ex post (22) (utilizando o modelo HERMIN e a avaliação das outras regiões), o impacto total no emprego dos fundos estruturais durante o período 1994-1999 é de 1,62 milhões de empregos, o que não está em conformidade com a estimativa de 2,3 milhões de empregos que figura no relatório de avaliação temática, especialmente porque os transportes apenas representam cerca de 20 % do conjunto das despesas dos fundos estruturais.

35. Em contrapartida, o Relatório de síntese apoia-se nos resultados da avaliação temática do impacto dos fundos estruturais nas PME ao indicar que esta avaliação recomenda no futuro a passagem de uma ajuda na forma de subvenções para medidas de engenharia financeira tais como fundos de capital de risco, empréstimos, bonificações de juro, prevendo que estes métodos são mais sustentáveis a longo prazo (23). A avaliação ex post faz bem em pôr em evidência esta importante conclusão da avaliação temática (24). Contudo, o relatório não desenvolve esta questão apesar das implicações consideráveis que poderia ter para os programas futuros.

36. O Relatório de síntese indica que a avaliação temática do impacto dos fundos estruturais nas PME considerou que, na ausência de apoio comunitário, 70 % dos projectos de investimento ou não se teriam realizado ou teriam sido reduzidos ou adiados. A avaliação temática considera igualmente que esta ajuda contribuiu para criar mais 300 000 empregos suplementares, mesmo depois de ter tomado em consideração o efeito de inércia e o efeito de substituição. A avaliação ex post do objectivo n.o 1 não está em condições de reproduzir estes cálculos devido à falta de dados comparáveis e fiáveis que permitam elaborar estas estimativas (25). Dada a importância destes diferentes resultados e devido ao facto de os dois estudos terem sido efectuados pelo mesmo contratante sobre o mesmo assunto e para o mesmo período e publicados somente com dois ou três anos de intervalo, devia ter sido feita uma avaliação mais exaustiva das suas diferenças.

37. Na sequência desta afirmação, o relatório dá, numa secção que apresenta uma «análise global», uma estimativa do número de empregos criados nas PME, como resultado das intervenções dos fundos estruturais. As provas disponíveis indicam que o objectivo n.o 1 apoiou a criação de cerca de 800 000 empregos. Trata-se de um valor bruto que não toma em consideração os efeitos de substituição, de inércia e multiplicadores. Não é possível determinar a eficácia global em termos de efeitos líquidos (26). Não foi dada a devida atenção a esta conclusão, em particular à luz da previsão fornecida na avaliação temática relativa às PME. Além disso, o quadro da avaliação ex post que apresenta a repartição dos empregos criados por Estado-Membro, não dá qualquer precisão sobre a Espanha. Por consequência, a previsão fornecida é manifestamente incompleta (27). Este aspecto merecia um exame mais aprofundado na avaliação ex post.

38. Nos «outros pontos» abordados no relatório de avaliação ex post na rubrica «eficácia» figura uma síntese útil, se bem que breve, relativa a diversas questões relevantes repartidas por algumas das rubricas. Contudo, um dos limites subjacentes é «a fragilidade dos dados comparativos, que obrigou os autores a proceder a apreciações qualitativas mais do que a uma avaliação pormenorizada baseada nos projectos» (28). A relação de algumas destas apreciações qualitativas com as de outras avaliações temáticas, nomeadamente as relativas à investigação e ao desenvolvimento tecnológico, teria podido ser melhor explorada. A especificação técnica estipulava que se efectuará um amplo estudo da bibliografia sobre o assunto a fim de determinar as questões-chave relativas à execução dos fundos estruturais (29). Contudo, existem insuficiências que afectam a forma como estas implicações são mencionadas e relacionadas com as constatações posteriores. Nos poucos casos em que são tomadas em consideração, a qualidade do relatório é manifestamente melhor.

39. Por exemplo, o relatório de avaliação ex post refere que a avaliação temática relativa à IDT sublinha que seria preferível orientar as actividades para o desenvolvimento de estratégias de inovação específicas às regiões em causa a fim de explorar as capacidades existentes nessa matéria, mais do que tentar resolver os «atrasos tecnológicos» que se fazem sentir. A avaliação ex post refere que estes casos foram numerosos e que os resultados são melhores quando a tónica é posta no forte potencial da região (30). Este exemplo salienta nitidamente como é importante basear-se naquilo que outros relatórios e estudos demonstraram, como o preconizam os critérios elaborados no âmbito do programa MEANS e sua actualização, critérios que foram retomados na especificação técnica desta avaliação ex post (31).

40. As avaliações nacionais raramente se basearam numa análise formalizada ou qualitativa dos efeitos. Além disso, os avaliadores nacionais raramente utilizaram os resultados das análises quantitativas efectuadas por terceiros.

Avaliação da eficiência

41. O objectivo do Relatório de síntese, no capítulo que tem este título, foi avaliar a eficiência da execução de projectos de grande dimensão em algumas regiões do objectivo n.o 1. A análise baseou-se numa amostra de cerca de 60 grandes projectos, representativa das diferentes regiões e dos diferentes temas (32). Entende-se por eficiência os efeitos obtidos a um custo razoável. O principal objectivo consiste em determinar os custos unitários, isto é, o custo por realização. Convém igualmente fazer incidir a análise na qualidade da gestão dos grandes projectos pelos beneficiários finais. Ao nível europeu, os custos unitários devem ser analisados no conjunto das regiões do objectivo n.o 1. Se necessário, importa explicar as diferenças significativas entre os custos unitários das diversas regiões e estabelecer limiares de custos aceitáveis que possam servir posteriormente de base a exercícios de análise comparativa (33). Estes objectivos são relevantes e essenciais na perspectiva de uma gestão eficiente dos projectos à escala da UE.

42. Contudo, em larga medida, a avaliação ex post não atingiu estes objectivos. O Relatório de síntese reconhece isso, explicando que os gestores de projecto constataram que era virtualmente impossível determinar quais eram as diferentes componentes dos seus respectivos projectos e por consequência calcular custos unitários (34). Uma afirmação tão geral como esta implica que as informações disponíveis sobre os grandes projectos são de tal modo fracas que não é possível atingir o objectivo assumido na especificação técnica. Deveria ter sido pelo menos possível estabelecer custos comparáveis para realizações clássicas, por exemplo o custo por metro quadrado para a construção de uma fábrica ou o custo por quilómetro de estrada construída.

43. Alguns resultados parciais são apresentados em três quadros que se referem à construção de estradas em alguns Estados-Membros, a projectos ambientais em Espanha e a custos por emprego criado no âmbito de projectos industriais (35). Contudo, estes resultados praticamente não são avaliados ou analisados, nomeadamente a fim de os tomar em consideração no cálculo do impacto das diferenças do custo da mão-de-obra ou das características geográficas específicas da região em causa, por exemplo na construção de estradas.

44. O Relatório de síntese chegou a conclusões precisas no que se refere ao calendário de execução dos projectos e ao respeito dos limites orçamentais. Estas conclusões revelam, em primeiro lugar, que só um terço dos 60 projectos examinados foi concluído nos prazos inicialmente previstos, tendo mais de um terço terminado com um ano de atraso. Em segundo lugar, cerca de dois terços dos projectos examinados ultrapassaram o orçamento inicialmente previsto, sendo o excesso, em 20 % dos casos, superior a 30 %. Contudo, a análise limitou-se a algumas observações de carácter geral e fornece apenas poucos elementos de apreciação, ou mesmo nenhum, sobre a qualidade da gestão pelos beneficiários finais, contrariamente ao que prevê a especificação técnica (36). Além disso, a eficácia relativa das parcerias público privado e dos processos de adjudicação de contratos utilizados não foi avaliada.

Avaliação do impacto dos fundos estruturais

45. O Relatório de síntese afirma que o objectivo principal dos fundos estruturais é influenciar a oferta potencial a longo prazo da economia (37). Estes efeitos na oferta funcionam através de um determinado número de canais que são concebidos para: a) aumentar os investimentos a fim de melhorar as infra-estruturas físicas de modo a contribuir para a actividade produtiva do sector privado; b) reforçar o capital humano por investimentos na formação, a fim de contribuir para a actividade produtiva do sector; c) orientar a ajuda financiera pública para o sector privado a fim de estimular os investimentos, aumentando assim a produtividade dos factores e reduzindo os custos sectoriais da produção e do capital (38).

46. O relatório evoca em seguida a importância do que é designado por «externalidades positivas», isto é «condições mediante as quais as empresas privadas beneficiam da utilização de factores de produção suplementares sem custo para si próprias», o que melhora a produtividade e a relação competitividade-custos da economia. Estas considerações são relevantes numa avaliação ex post. Porém, o co-financiamento do sector privado foi excluído da análise devido a incertezas sobre os seus «mecanismos de encadeamento» (39). Esta abordagem limitada conduz a uma grave subavaliação do impacto de algumas despesas no âmbito dos fundos estruturais porque exclui um dos principais efeitos a longo prazo na oferta. O exemplo de uma sociedade de desenvolvimento, apresentado no Relatório de síntese (40), cujas despesas co-financiadas atraíram uma quantidade significativa de investimentos privados suplementares, constitui uma excelente demonstração do que foi dito anteriormente. Em vez de incidir no impacto mais directamente mensurável das despesas dos fundos estruturais nos investimentos do sector privado, o estudo limita-se a tentar avaliar as «externalidades», servindo-se de técnicas de avaliação bastante limitadas devido à ausência de estudos que forneçam medidas das elasticidades, que sejam relevantes para as regiões em causa.

47. Para avaliar o impacto dos fundos estruturais na coesão económica e social, foi aplicado a quatro Estados-Membros (Grécia, Irlanda, Portugal e Espanha) (41), bem como à Alemanha (novos Länder) e Irlanda do Norte (42), um modelo macroeconómico baseado no modelo HERMIN. Esta abordagem visava medir o impacto dos programas do objectivo n.o 1 em termos de efeitos no PIB e no emprego.

48. Um outro cenário de avaliação consistiria em utilizar os dados microeconómicos relativos aos projectos para determinar o impacto global ou agregado dos fundos estruturais numa região ou num Estado-Membro. Contudo, apesar da obrigação de utilizar dados normalizados no conjunto das regiões do objectivo n.o 1, a recolha de dados microeconómicos revela-se difícil. A avaliação ex post procura portanto medir os impactos apenas a partir de modelos macroeconómicos, o que dá lugar a muitas restrições e suposições que, pelas razões expostas anteriormente, reduzem consideravelmente o âmbito da avaliação e, por consequência, o das implicações políticas que podem daí resultar.

49. As principais dificuldades identificadas na aplicação do modelo macroeconómico HERMIN no âmbito da avaliação ex post examinada são as seguintes: a) a estrutura do modelo coloca demasiado a tónica no sector produtivo, embora as economias da maioria das regiões ou Estados-Membros considerados tenham conhecido, durante os 10 últimos anos, um desenvolvimento mais importante dos serviços comerciais, tais como o turismo e, em certos casos, o sector financeiro. Os mecanismos de encadeamento destes sectores são diferentes dos do sector produtivo, que se tornou mais sensível à influência da globalização. Por consequência, o modelo macroeconómico deve ser reajustado nesta direcção. O modelo utilizado não tomou em consideração este aspecto e poucos elementos indicam que o relatório o tenha reconhecido como um defeito grave, apesar do facto de o turismo ser tão importante para as economias de um grande número das regiões em causa; b) o modelo utilizado baseia-se em dados anuais a partir de 1980. Contudo, devido à evolução rápida da estrutura das regiões em causa durante o período de intervenção, a instabilidade estrutural dos parâmetros estimados pode limitar consideravelmente o âmbito do modelo macroeconómico adoptado. Este aspecto também não foi tido em consideração; c) a análise baseia-se nas despesas programadas mais do que nas despesas efectivas (43), o que é muito mais razoável esperar encontrar numa projecção ex ante do que numa avaliação ex post; d) as estimativas do impacto são significativamente distorcidas no sentido da sua redução porque o co-financiamento do sector privado foi excluído do modelo (ver igualmente o ponto 46), do mesmo modo que o fluxo de investimentos do sector privado que resulta das intervenções dos fundos estruturais. Por exemplo, se os fundos estruturais fornecem uma ajuda para a construção de uma fábrica, o impacto na economia da região não se limita à construção do edifício mas estende-se igualmente aos lugares permanentes que resultam dos investimentos realizados pelo sector privado na sequência da construção da fábrica; e) o impacto dos fundos estruturais a longo prazo nas infra-estruturas públicas e no capital humano (externalidades positivas) é um elemento-chave da avaliação do impacto dos fundos estruturais no âmbito do Relatório de síntese. Segundo o modelo HERMIN, as elasticidades da externalidade devem ser determinadas no âmbito de outros estudos específicos. Contudo, como estas elasticidades não são conhecidas para cada uma das regiões da UE em causa, o relatório apoiou-se numa literatura empírica largamente baseada em regiões dos Estados Unidos, e como ele próprio indica, é um pouco ambíguo quanto à amplitude que estas externalidades deveriam ter (44). Por consequência, não é possível saber em que medida as estimativas se baseiam num juízo ou em factos; f) no que se refere à adicionalidade, as simulações do modelo HERMIN comparam as situações com ou sem o financiamento do quadro comunitário de apoio. O cenário sem este financiamento pressupõe que nem as dotações da UE nem os montantes co-financiados foram gastos. A validade de tal suposição é discutível (45).

50. O modelo HERMIN, do modo como é aplicado, não parece portanto adaptado à estimativa dos efeitos das intervenções dos fundos estruturais nas regiões do objectivo n.o 1.

51. O Tribunal comparou os resultados das simulações de HERMIN relativamente às alterações da taxa de desemprego com um conjunto de hipóteses pré-definidas (46). Os resultados desta análise, em matéria de desemprego, apresentados no anexo IV, diferem sensivelmente dos resultados obtidos a partir de outras fontes.

52. Finalmente, em muitos casos, o grau de realização dos objectivos intermédios não foi avaliado.

53. No que se refere ao objectivo estratégico de convergência, a única menção no Relatório de síntese é que a convergência global entre os Estados-Membros está a progredir, mas em proporções variáveis conforme as regiões. A questão de saber se esta convergência se deve aos fundos estruturais continua por debater (47).

Avaliação dos sistemas de gestão

54. Os sistemas de gestão e de execução adoptados para os programas do objectivo n.o 1 têm um papel determinante a desempenhar para a eficácia, eficiência e impacto dos fundos estruturais. Este aspecto foi abordado na especificação técnica e no guia metodológico. Foi igualmente tomado em consideração nas avaliações nacionais (48). Os relatórios nacionais de avaliação descreveram o impacto nos sistemas de gestão. Contudo, identificaram igualmente situações em que estes efeitos teriam podido ser mais pronunciados.

55. O Relatório de síntese também reconhece, por sua vez, a importância deste aspecto e consagra às questões de gestão nada menos que 13 das suas 19 recomendações, na secção que lhes é destinada (49).

56. O Relatório de síntese fornece um determinado número de informações relevantes sobre a gestão dos fundos estruturais e refere-se a várias conclusões da avaliação temática do princípio de parceria que foi conduzida em 1999. Este procedimento permite favorecer a continuidade na avaliação e obter algumas provas que confirmem ou desmintam as observações formuladas na avaliação temática. Contudo, num certo número de domínios, as conclusões que figuram no relatório contrariam a avaliação temática.

57. O Relatório de síntese apresenta um resumo do número médio de membros das comissões de acompanhamento por Estado-Membro. A média geral é de 44 membros. Porém, este número varia consideravelmente, indo de 15 a 85. Nas suas conclusões, o relatório conclui que o número elevado de membros foi considerado como uma forte limitação em relação à eficiência das comissões de acompanhamento, em todos os Estados-Membros (50). Pelo contrário, a avaliação temática concluiu que nada indica uma perda de eficiência devido ao grande número de membros. Dado que as conclusões dos dois relatórios sobre este aspecto são muito diferentes, teria sido oportuno analisar esta questão mais exaustivamente no relatório e formular algumas recomendações concretas para o futuro.

58. Uma outra questão ligada à avaliação temática refere-se à gestão dos diferentes fundos. Nas suas conclusões respectivas, os dois relatórios consideraram que os fundos funcionavam segundo princípios diferentes e estavam sujeitos a condições financeiras diferentes, o que limitou as sinergias entre eles. Esta observação importante reflecte uma opinião já expressa pelo Tribunal (51) e sublinha a necessidade de tentar uma maior sinergia entre os fundos.

59. A avaliação da eficácia dos sistemas de gestão gerais apresenta igualmente algumas insuficiências. O Relatório de síntese indica que os sistemas de gestão foram considerados adequados pelas avaliações nacionais apenas em pouco menos de metade dos Estados-Membros elegíveis. Esta observação é importante e ter-se-ia podido esperar que as experiências positivas e os casos insatisfatórios dessem lugar a uma avaliação exaustiva. Embora tenham sido desenvolvidas algumas questões levantadas, o relatório, no seu conjunto, é pouco claro quanto ao que foi realmente constatado.

60. A avaliação temática sobre o princípio de parceria no âmbito dos fundos estruturais (1999) permitiu constatar que este princípio apresentava um certo número de vantagens para a execução dos fundos estruturais (52). O Relatório de síntese considera que, no conjunto, estas vantagens foram igualmente reconhecidas pelos Estados-Membros associados à execução do programa do objectivo n.o 1 para 1994-1999 e que o trabalho em parceria horizontal foi apreciado como um dos valores acrescentados da programação comunitária (53). Trata-se de um resultado importante. Se bem que sejam evidenciados alguns casos, nomeadamente sob a forma de comentários breves sobre experiências negativas ou dificuldades encontradas, a discussão deveria ter realçado mais, com base nas experiências mencionadas, as melhorias possíveis de modo a tornar o princípio de parceria mais eficaz.

61. Entre os diversos processos, o que se refere às candidaturas e à selecção dos projectos é uma das duas fontes de dificuldades administrativas mais frequentemente citadas. Apresentam-se alguns exemplos que indicam a falta de clareza dos procedimentos e a necessidade de a Comissão publicar rapidamente um documento de referência relativo às boas práticas nesta matéria. Há um quadro que apresenta a duração do processo de selecção dos projectos, por Estado-Membro. Contudo, não existem dados relativamente a três Estados-Membros. A duração do processo para os restantes vai de dois a nove meses, com uma média de cinco meses. Os elementos fornecidos mostram que há ainda algo a fazer no sentido de harmonizar o procedimento de candidatura. Neste contexto, os méritos e/ou a eficácia respectivos do processo de candidatura ou da sua colocação em lista de espera não deram lugar a uma análise precisa.

62. Deve tomar-se igualmente em consideração o processo de acompanhamento e de controlo. Afirma-se no relatório que os sistemas de controlo financeiro nos Estados-Membros parecem ter funcionado relativamente bem no âmbito do objectivo n.o 1 1994-1999. Contudo, foi necessário realizar algumas adaptações para assegurar a conformidade com os novos regulamentos financeiros em 1997. Na maioria dos Estados-Membros, os sistemas de controlo financeiro parecem estar adaptados ao seu objectivo e funcionam de maneira relativamente eficaz. De uma forma geral, os controlos financeiros parecem ter sido fiáveis e terem respeitado a regra dos 5 % (54). Esta constatação não coincide com as de diversos relatórios do Tribunal (55) que indicam que o controlo financeiro do programa 1994-1999 dos fundos estruturais foi afectado por deficiências significativas.

63. O outro elemento do processo de acompanhamento que dá lugar a problemas administrativos refere-se aos sistemas de acompanhamento e de avaliação relativos aos aspectos não financeiros. O acompanhamento dá lugar a severas críticas. O Relatório de síntese conclui que o acompanhamento continuou a constituir uma lacuna importante apesar dos esforços desenvolvidos para realçar o seu papel desde o primeiro período de programação. Os dados disponíveis são fragmentados, incoerentes, exageradamente concentrados nas realizações físicas e muitas vezes de fiabilidade duvidosa (56). Indica igualmente que em todos os Estados-Membros, os objectivos definidos no início do programa são insuficientemente quantificados (57). Dos 10 Estados-Membros considerados, sete são classificados como tendo um nível de quantificação medíocre. Num outro, o nível é considerado variável e em dois Estados-Membros é considerado adequado unicamente no início do programa. Cada Estado-Membro é objecto de uma breve síntese. Não é dada qualquer outra informação.

64. Indica-se igualmente que os sistemas informáticos elaborados para assegurar o acompanhamento do programa 1994-1999 foram frequentemente criticados pela falta de integração entre os programas e entre os fundos. Esta insuficiência teve um impacto na capacidade das autoridades de gestão para terem uma percepção geral do avanço dos programas, constituindo igualmente um problema para as avaliações posteriores (58). Estas constatações devem igualmente levantar uma dúvida sobre a validade de uma conclusão formulada anteriormente no relatório segundo a qual a gestão financeira do programa funcionou bem, uma vez que as informações em matéria de acompanhamento, que são de grande importância no âmbito do processo de gestão, foram consideradas fragmentadas, incoerentes e pouco fiáveis (56).

65. O Relatório de síntese formula igualmente alguns comentários breves sobre as «avaliações internas» (59). Refere nomeadamente que estas avaliações internas foram realizadas pelos ministérios ou pelas autoridades regionais com a ajuda de universidades e de organismos externos. O nível de rigor destas avaliações pode parecer surpreendente à luz da insuficiência dos sistemas de acompanhamento. Reflecte talvez a obrigação de proceder a avaliações tal como se depreendeu. Contudo, os seus resultados alimentaram frequentemente a gestão dos programas (60). Tendo em vista esta afirmação, teria parecido razoável dar maior atenção a estas avaliações internas, tirando partido dos resultados obtidos pelos ministérios em causa e pelas autoridades regionais. Pelo contrário, o relatório formula apenas algumas observações de carácter geral cujo interesse é limitado para a avaliação ex post no seu conjunto.

66. No que se refere ao período de programação 2000-2006, o relatório observa que houve tentativas para resolver os problemas de acompanhamento encontrados durante o período 1994-1999 (61).

Adequação do quadro de avaliação

Especificação técnica

67. À luz dos diversos problemas identificados no âmbito da análise do Relatório de síntese, é necessário conceder uma atenção especial à especificação técnica inicial. Algumas deficiências afectam esta especificação, do mesmo modo que o relatório inicial e o guia metodológico, nomeadamente: a) estes documentos não abordaram a questão do número insuficiente de objectivos quantificados. Além disso, a especificação técnica e o guia metodológico não tomaram devidamente em consideração a falta de indicadores adequados; b) do mesmo modo, nenhuma disposição obriga o avaliador a recolher dados suplementares sobre os indicadores de resultados. A especificação técnica (62) previu efectivamente uma revisão no terreno se necessário, se não existirem dados disponíveis nos Estados-Membros. Porém, este ponto não foi especificado no guia metodológico (63); c) não foi dada a devida ênfase à avaliação dos efeitos líquidos (64), à excepção de alguns impactos económicos; d) a especificação técnica não insistiu suficientemente na questão da eficácia e, em particular, nos efeitos de inércia, o que é lamentável na medida em que esses efeitos são muitas vezes considerados como um factor relevante em domínios importantes tais como as ajudas ao investimento destinadas às empresas, a ajuda directa ao emprego e a formação profissional que facilita o acesso ao emprego; e) a especificação técnica não concede uma atenção suficiente à análise da possível correlação entre a adequação da estratégia, a eficácia e o impacto (65). Do mesmo modo, não houve um grande empenhamento no sentido de tentar estabelecer uma relação entre os objectivos identificados, mesmo se não quantificados, e uma classificação das necessidades a que o quadro comunitário de apoio visa dar resposta; f) à parte a aplicação do modelo HERMIN e a referência à análise de incidência crítica sugerida para os «estudos de casos» (66), não foi proposta qualquer outra técnica de avaliação na especificação técnica e no relatório inicial; g) no caso das «questões específicas por Estado-Membro» identificadas na especificação técnica (67), não é dada qualquer indicação precisa sobre a metodologia a aplicar.

68. Além disso, a especificação técnica não considerou suficientemente prioritários o reforço da coesão económica e social na UE e a convergência dos Estados-Membros menos desenvolvidos, embora estes aspectos figurem entre os objectivos principais das acções estruturais. O relatório inicial incluía algumas questões sobre os modelos de desenvolvimento utilizados, sobre as limitações a tomar em consideração que condicionam o crescimento, bem como sobre os canais através dos quais se pode esperar um impacto na economia regional (68). Todavia, a avaliação ex post deveria idealmente ter previsto estudos empíricos sobre a convergência entre as regiões e sobre a redução das disparidades, que resultam de determinados factores tais como o investimento nas infra-estruturas, a melhoria do sistema educativo e o reforço das capacidades em matéria de investigação e de desenvolvimento.

69. Por outro lado, teria sido adequado incluir nos objectivos da avaliação a selecção e a análise de alguns estudos de casos que constituem referências para as políticas de desenvolvimento regional, por exemplo no domínio do clustering (classificação) e dos polos de crescimento.

70. No lançamento do exercício de avaliação, a questão da adequação da estratégia foi tratada mediante a apresentação de uma lista de pontos e de questões. Contudo, a especificação técnica (69) e o guia metodológico não eram suficientemente precisos.

Adequação da supervisão pela Comissão

71. O contrato (geral) entre a Comissão e os consultores seleccionados para efectuar a avaliação previa igualmente uma assistência técnica que devia ser fornecida sob a responsabilidade e a supervisão dos responsáveis da Comissão. A qualidade da avaliação devia ser avaliada pela Comissão com base em critérios elaborados no âmbito do programa MEANS.

72. O grupo de acompanhamento presidido pela Direcção-Geral da Política Regional, que incluía representantes de outras direcções-gerais, participou na redacção da especificação técnica e aprovou a metodologia bem como o plano de trabalho pormenorizado (no relatório inicial). Examinou igualmente os relatórios nacionais e o Relatório de síntese. Foi designado um grupo de quatro peritos para lhe dar assistência, sendo o principal objectivo da sua missão garantir que as avaliações eram de elevada qualidade. Contudo, a sua intervenção foi demasiado tardia para que o processo pudesse introduzir melhorias significativas na qualidade da avaliação.

73. O calendário aprovado contratualmente não foi respeitado. A apresentação dos diferentes relatórios foi atrasada de tal modo que o Relatório de síntese e os relatórios nacionais não foram apresentados no prazo previsto de 12 meses, ou seja, até 12 de Novembro de 2002. Apenas o foram em Abril de 2003 e publicados em Maio do mesmo ano. Desde o início, o calendário revelou-se demasiado rígido e não previa tempo de reserva suficiente para tratar o número relativamente elevado de alterações/melhorias dos relatórios solicitadas pelos peritos e pelos membros do grupo de acompanhamento. Esta constatação tem implicações importantes para as futuras avaliações ex post.

74. A especificação técnica (67) solicitava o exame de dois temas específicos por Estado-Membro. Foi proposta uma lista destes temas. Contudo, nenhum relatório nacional de avaliação colocava a tónica neste aspecto. Embora alguns capítulos apresentem estatísticas ou uma análise parcial destes temas, estes não foram objecto de qualquer investigação específica, contrariamente ao que previa a especificação técnica.

75. Como conclusão, a supervisão efectuada pela Comissão do processo de avaliação deve ser melhorada. Em particular, na medida em que a falta de dados fiáveis, de indicadores de resultados e de objectivos precisos era previsível desde o início, a Comissão devia ter garantido que se tomassem medidas adequadas para superar esta dificuldade importante. Além disso, dado o calendário rígido e as limitações inerentes, a avaliação deveria ter-se concentrado nos pontos essenciais mais do que em tentar empreender uma avaliação global do período de programação.

Relevância das recomendações para a avaliação dos períodos de programação seguintes

76. Tendo em vista os problemas salientados nas secções anteriores do presente relatório, o processo de avaliação ex post só permitiu formular recomendações válidas em limitada medida. Se, por um lado, o processo conduziu a um número reduzido de recomendações sobre o conteúdo do programa, por outro lado conduziu a um determinado número de sugestões relevantes e inteligentes sobre a forma de melhorar a gestão dos fundos estruturais e a sua execução (70).

77. O relatório recomenda que os comités de acompanhamento se ocupem mais da orientação estratégica do que de problemas de gestão financeira (71). Porém, os comités devem ser capazes de assumir as duas funções, conforme previsto na regulamentação.

78. As avaliações conduziram a recomendações para o período de programação 2000-2006 que se referem principalmente aos sistemas de gestão. Estas recomendações abrangem um grande número de temas e estão geralmente bem adaptadas à situação particular do Estado-Membro em causa.

79. No caso dos programas 2000-2006, as principais ilações a tirar da avaliação ex post do período anterior referem-se à execução dos programas, em particular os estudos de casos realizados para avaliar a eficácia e a eficiência das intervenções dos fundos estruturais.

80. As recomendações formuladas no Relatório de síntese sobre a avaliação ex post para o período posterior a 2006 são bastante limitadas e de carácter geral. Contudo, continuam a ser relevantes e, portanto, úteis. O relatório indica nomeadamente que o recurso às avaliações in itinere independentes, que constituem uma contribuição externa objectiva, poderia ser mais frequente (72). Embora esta recomendação seja relevante, teria sido bom que ela tivesse sido formulada antes do início da avaliação ex post examinada no âmbito da presente auditoria.

AVALIAÇÃO EX POST DAS OPERAÇÕES DO FSE (NO ÂMBITO DOS OBJECTIVOS N.os 1 E 3) PELA DIRECÇÃO-GERAL DO EMPREGO, DOS ASSUNTOS SOCIAIS E DA IGUALDADE DE OPORTUNIDADES

81. Conjuntamente com a avaliação das regiões do objectivo n.o 1, conduzida pela Direcção-Geral da Política Regional, foi efectuado um outro exercício de avaliação, neste caso da responsabilidade da Direcção-Geral do Emprego, dos Assuntos Sociais e da Igualdade de Oportunidades relativo às operações do FSE no âmbito dos objectivos n.os 1, 3 e 4 e às iniciativas comunitárias Emprego e Adapt. A especificação técnica relativa a esta avaliação ex post previa a utilização dos resultados obtidos com a avaliação das regiões do objectivo n.o 1. No entanto, apesar de disposições organizacionais com vista a facilitar uma coordenação efectiva entre as duas avaliações, existem poucos elementos que comprovem que este objectivo foi atingido na prática. Caixa 2Conclusões gerais da avaliação efectuada pela Direcção-Geral do Emprego:O objectivo da avaliação era apreciar o impacto das operações do FSE nos Estados-Membros, ao nível das pessoas e dos sistemas. Procurava igualmente analisar o impacto e a eficácia das medidas comunitárias relativas a problemas estruturais específicos, bem como determinar o valor acrescentado comunitário. No âmbito da metodologia adoptada para abordar estes objectivos, pediu-se aos avaliadores que indicassem, entre outros aspectos, se os casos que tinham de apreciar confirmavam ou contrariavam determinadas hipóteses.O relatório indicava vários pontos fortes que podem ser resumidos da seguinte forma: grande parte do financiamento do FSE destinava-se aos desempregados de longa duração, o que foi considerado oportuno, tendo em conta a persistência deste fenómeno. A melhoria da situação do mercado de trabalho para os beneficiários estava à medida dos recursos envolvidos. Verificaram-se grandes melhorias em matéria de serviços de emprego e de disposições relativas à educação e à formação em vários Estados-Membros. Os recursos utilizados permitiram o reforço de determinadas prioridades políticas, como a igualdade de oportunidades, a adaptação da mão-de-obra activa e a orientação das acções para pessoas com deficiência. Através do FSE, houve um maior envolvimento dos parceiros sociais e das autoridades regionais. Os fundos contribuíram para melhorar as capacidades de gestão e executar as intervenções no mercado de trabalho a todos os níveis.No entanto, o relatório indicava igualmente vários pontos fracos: a implementação das acções foi em grande parte orientada segundo a disponibilidade dos recursos e não de acordo com as decisões políticas, tendo ocorrido em paralelo e isolada dos debates políticos na matéria. As intervenções concentraram-se em grande medida na formação e foram principalmente atribuídas aos prestadores de serviços, o que não constitui, por si só, o meio mais eficaz de auxiliar os desempregados de longa duração, pelo que é provável que tenha existido um elevado grau de efeito de inércia associado à intervenção. Por fim, as disposições administrativas foram consideradas complexas e as modalidades de avaliação não foram eficazes e estruturadas.

Apreciação do Tribunal relativa à qualidade da avaliação

Exame das insuficiências dos dados e da análise

82. A influência das intervenções do FSE assume frequentemente a forma de uma contribuição ou de um efeito potencial que é intangível e, portanto, difícil de quantificar (73). Não obstante este problema intrínseco, a avaliação do impacto deve continuar a ser o principal objectivo de um exercício de avaliação e, conjuntamente, a análise da eficácia e da eficiência. Era isto o que o exercício de avaliação ex post deveria ter feito.

83. Ao procurar analisar o impacto das intervenções do FSE, o Relatório de síntese apresenta estimativas do número de beneficiários do FSE por Estado-Membro e por objectivo (74). Em complemento dos relatórios nacionais de avaliação, a avaliação ex post procurou igualmente apresentar um determinado número de hipóteses pré-definidas (75). Estas considerações são discutidas nos pontos seguintes.

84. Um dos requisitos fundamentais da avaliação ex post das operações do FSE diz respeito ao número de beneficiários do programa durante o período 1994-1999. O relatório apresenta um quadro que estima o número de beneficiários em 52 milhões. No entanto, as notas que acompanham este quadro lançam sérias dúvidas sobre os números apresentados (76). A incerteza quanto à exactidão dos dados reduz a importância de algumas observações úteis e relevantes que se encontram noutras partes da avaliação.

85. O Relatório de síntese (75) apresenta estimativas do impacto das intervenções do FSE nas pessoas. Estas informações podem ser importantes em vários aspectos, incluindo para o cálculo do custo unitário dos programas e para a estimativa dos beneficiários ainda no activo após 12 meses. No entanto, existem factores que limitam seriamente a utilidade destas informações, nomeadamente a inexistência de explicações sobre a forma como os dados foram obtidos. O relatório indica apenas que os cálculos aplicados para gerar estas estimativas foram obtidos com base nos vários casos examinados e no exame da documentação (74). Uma afirmação deste tipo não pode ser considerada suficiente e são necessárias informações mais pormenorizadas sobre o cálculo das várias estimativas para melhor compreender a aplicabilidade destes números, tais como os custos unitários de referência e a taxa de sucesso dos programas.

86. Um segundo aspecto insatisfatório é a análise que acompanha os dados. Verifica-se uma disparidade entre os comentários formulados na avaliação e os dados que figuram no quadro que a acompanha. Por exemplo, o texto indica que, em termos gerais, os custos foram inferiores para os desempregados e jovens desempregados, cerca de 6 000 euros por trabalhador no activo, e consideravelmente mais elevados, em proporções muito variáveis, para as pessoas com deficiência e desempregados de longa duração (74). Contudo, o quadro apresenta os custos unitários destinados à formação dos desempregados como os mais elevados (6 000 euros) e os relativos à integração das pessoas com deficiência como dos mais baixos (4 000 euros). Além disso, é prática comum apresentar o intervalo de variação quando existe o que se considera uma «grande variação» entre os programas e no seu interior. A análise nesta secção tem um valor limitado por frequentemente apenas tomar em consideração um único valor em vez de definir uma gama de valores relevante e analisar mais exaustivamente estes intervalos de variação encontrados nos diferentes casos examinados.

87. Esta disparidade entre os comentários e os números apresentados ocorre em outras partes do capítulo 3 (ver alguns exemplos na caixa 3). Caixa 3Por exemplo, afirma-se que a despesa do FSE per capita foi mais elevada na Irlanda, em Portugal e na Grécia (Estados-Membros cobertos na totalidade pelo objectivo n.o 1) e em Espanha (1). No entanto, o quadro 3.1 apresenta uma despesa do FSE per capita por ano para Portugal de 2 086 euros e para a Alemanha de 405 euros, enquanto a da Irlanda é apresentada como sendo de 12 euros e a da Grécia de 17 euros. Claramente, os valores do quadro não correspondem aos comentários do texto. Ainda mais significativa é a afirmação de que a despesa do FSE com a educação relativa à despesa nacional foi, em todos os Estados-Membros, inferior à mesma despesa consagrada às PAMT. Foi mais elevada na Grécia e em Portugal (2). Contudo, no quadro 3.1, a Grécia é classificada como não tendo qualquer despesa nacional na coluna que apresenta a despesa do FSE com a educação.Por exemplo, no ponto 3.2.3 (3) afirma-se que a despesa nacional com a formação para o mercado de trabalho em relação ao PIB ia de 0,2 % no Luxemburgo a 0,58 % na Suécia (4). No entanto, no quadro 3.3, a despesa com a formação na Dinamarca é apresentada como 0,94 % do PIB, quase o dobro da Suécia. Vejamos como outro exemplo o ponto 3.2.6 (5), que trata da despesa com a integração das pessoas com deficiência. No texto, encontramos a seguinte afirmação: o FSE foi especialmente importante em Portugal, na Espanha, na Grécia e na Áustria. Contudo, o quadro 3.6 indica a Espanha e a Grécia como não tendo despesas do FSE com as pessoas com deficiência. Um outro exemplo encontra-se no ponto 3.2.7, que trata das despesas com a educação. Afirma-se que a contribuição do FSE foi mais significativa na Grécia, na Irlanda e em Portugal (6). Mas no quadro 3.7 indica-se a Grécia como não tendo despesas do FSE com a educação e a formação.Relatório de síntese: (1) p. 78; (2) p. 79; (3) p. 81; (4) p. 81; (5) p. 84; (6) p. 85.

Avaliação do impacto das operações do FSE

88. Pediu-se aos avaliadores que participaram no estudo que indicassem se os casos analisados confirmavam ou contrariavam determinadas hipóteses que tinham sido formuladas com base num exame inicial da documentação e das constatações da fase inicial da avaliação. O estudo diz existirem provas convincentes a favor de quatro hipóteses (ver quadro 3 (77)). No entanto, os dados apresentados não apoiam essa afirmação. Por exemplo, apenas sete dos 30 avaliadores afirmaram que a primeira hipótese se baseava em provas convincentes. Teria sido necessária uma avaliação mais objectiva destes resultados.

Quadro 3

Observações sobre as hipóteses abordadas no exame de casos de impacto nas pessoas

Provas convincentes a favor Algumas provas a favor Sem provas a favor ou contra Algumas provas contra Provas convincentes contra Sem opinião nesta fase 1. O nível de impacto atingido está relacionado com as condições subjacentes do mercado nacional e regional (por exemplo, os resultados dependem do ciclo económico e dos níveis de procura e desemprego). 7 14 8 0 1 0 2. O nível de impacto está relacionado com as características dos grupos-alvo de beneficiários (por exemplo, as acções de formação são mais eficazes para as mulheres que regressam ao mercado de trabalho e os imigrantes com cursos superiores do que para os trabalhadores pouco qualificados e os jovens). 8 18 3 0 0 1 3. O nível de impacto está relacionado com o tipo de medida. Algumas medidas apresentam níveis elevados de efeito de inércia e algumas são eficazes em pequena escala mas não apresentam soluções gerais. 5 17 6 1 0 1 4. O nível de impacto está estritamente relacionado com o tipo de estrutura e gestão dos programas, incluindo a qualidade das análises que definem o âmbito exacto das intervenções (por exemplo, programas com um objectivo reduzido podem ser mais eficazes do que programas de grande escala). 3 17 7 1 0 1

Avaliação da igualdade de oportunidades

89. As especificações técnicas relativas ao impacto do FSE para o período 1994-1999 exigiam igualmente uma avaliação da contribuição das operações do FSE para o objectivo de «igualdade de oportunidades» (78). Este aspecto é abordado no capítulo 7 do relatório. No entanto, uma constatação principal é que não foram sistematicamente recolhidos dados repartidos por sexo no conjunto da UE para cada um dos objectivos do FSE e das iniciativas comunitárias (79). Esta situação restringiu de forma significativa a capacidade de o estudo avaliar este tema. É difícil considerar este resultado como uma constatação essencial deste relatório, na medida em que uma análise preliminar teria revelado esta insuficiência, sendo necessário, para a ultrapassar, efectuar trabalhos de campo e inquéritos por amostragem em vez de simplesmente concluir que os dados não estavam disponíveis.

Outros aspectos examinados

90. No que se refere ao impacto das operações do FSE nas pessoas, as intervenções «medidas combinadas» (80) não foram especificamente examinadas, apesar da percentagem importante de recursos do FSE (18 %) que lhes é afectada. Por conseguinte, as conclusões do Relatório de síntese são bastante modestas: a maioria do trabalho de avaliação aponta para resultados positivos. No entanto, os métodos de avaliação tendem mais a privilegiar a identificação dos componentes dos programas que são mais eficazes do que a apreciar o desempenho das medidas combinadas em comparação com as intervenções que se referem a uma única medida (81).

91. Relativamente ao impacto das Políticas Activas do Mercado de Trabalho (PAMT), especialmente no que toca aos Estados-Membros do objectivo n.o 1, o Relatório de síntese formula algumas conclusões sem as justificar convenientemente.

92. No que se refere à contribuição do FSE, o Relatório de síntese (82) conclui que a afectação combinada de dotações nacionais e de recursos do FSE não parece ter permitido uma convergência dos modelos de despesas dos países, nem a adopção de normas que subordinem a concessão de recursos a condições específicas no plano económico e do mercado do trabalho (83). Esta conclusão é dificilmente dispensável dado o número de erros nos quadros correspondentes e/ou as imperfeições da análise. Do mesmo modo, esta parte do relatório contém uma outra conclusão importante, nomeadamente que estas circunstâncias sugerem que as intervenções do FSE poderiam nem todas ter um carácter adicional. A adicionalidade, no sentido de que as intervenções co-financiadas pelo FSE não teriam provavelmente sido executadas de outro modo, foi provavelmente melhor assegurada sempre que os recursos FSE se concentravam e orientavam em tipos particulares de intervenções e sempre que as despesas e os programas nacionais correspondentes eram relativamente limitados e menos importantes do que em outros Estados-Membros onde o mercado de trabalho apresentava condições semelhantes. Também neste aspecto é díficil ver como se pode chegar a esta conclusão a partir das provas apresentadas neste capítulo, especialmente devido à diferença entre a análise, por um lado, e os dados apresentados nos quadros, por outro.

93. Relativamente às hipóteses avançadas quanto ao impacto do FSE nos sistemas, surge um problema semelhante ao descrito anteriormente. Desta vez, afirma-se a existência de provas convincentes a favor de sete hipóteses (84). No entanto, uma análise dos dados apresentados indica igualmente que esta conclusão não está fundamentada.

Comentários sobre a avaliação global efectuada pela Comissão

94. Dando a devida importância às restrições enfrentadas pelos avaliadores, devem, contudo, formular-se os comentários críticos que se seguem, relativamente à apreciação, pela própria Comissão, da avaliação ex post que conduziu a um resultado globalmente satisfatório.

95. A avaliação que a Direcção-Geral do Emprego, dos Assuntos Sociais e da Igualdade de Oportunidades efectuou do relatório tem por base oito critérios de desempenho e quatro possíveis níveis de qualidade, nomeadamente «excelente», «bom», «correcto» e «inaceitável». Nenhum dos critérios aplicados está classificado como «excelente» ou «inaceitável». Quatro critérios estão classificados como «bons», nomeadamente a satisfação das necessidades, âmbito adequado, adequação da metodologia e clareza do relatório. Os outros quatro critérios considerados, que dizem respeito à fiabilidade dos dados, à solidez da análise, à credibilidade dos resultados e à imparcialidade das conclusões, estão classificados como «correctos».

96. É significativo que a Direcção-Geral do Emprego, dos Assuntos Sociais e da Igualdade de Oportunidades tenha considerado os últimos quatro critérios menos satisfatórios do que os primeiros quatro. No entanto, tendo em conta os problemas encontrados relativamente à fiabilidade dos dados e às incoerências do comentário correspondente, como o relatório salienta, o Tribunal considera que o relatório de avaliação não é satisfatório, especialmente no que se refere à fiabilidade dos dados, à solidez da análise, à credibilidade dos resultados e à imparcialidade das conclusões.

Outras informações dos relatórios nacionais

97. Podem igualmente tecer-se comentários sobre os objectivos e resultados da avaliação a partir dos relatórios nacionais de avaliação: a) os resultados da avaliação relativos ao impacto nas pessoas eram frequentemente de natureza qualitativa; o efeito de inércia nem sempre foi estimado; b) os aspectos do impacto de natureza mais qualitativa (85) (soft outcomes) não foram examinados de forma sistemática; c) excepto no caso das abordagens integradas ou mistas, é difícil formular observações de carácter geral relativas ao desempenho das diferentes medidas a partir das avaliações; d) factores importantes, como a contribuição para o desenvolvimento sustentável e a coesão socioeconómica, não têm sido avaliados de forma sistemática; e) alguns grupos-alvo, como os desempregados de longa duração e os jovens à procura de emprego, não foram sistematicamente objecto de conclusões específicas no âmbito da avaliação das acções co-financiadas; f) apenas em poucos casos foi possível comparar as expectativas com os resultados; a avaliação foi em geral prejudicada pela falta de objectivos iniciais e de indicadores específicos e pela ausência de informações exactas. g) A complementaridade entre as acções do FSE e outras raramente tem sido levada em consideração para interpretar determinados resultados. O significado do aumento da produtividade de diferentes beneficiários do FSE, em termos de benefícios para as empresas que os empregam, quase nunca foi examinado directamente.

98. Os relatórios nacionais que figuram na amostra nem sempre apresentam uma análise minuciosa do impacto das intervenções do FSE nas políticas nacionais. No entanto, sugerem, em geral, que o FSE teve um impacto no desenvolvimento das PAMT e, em alguns casos, afirmou-se existir um efeito concreto directo. Contudo, em outros, efectuou-se uma apreciação diferente, concluindo-se que é difícil demonstrar que as acções do FSE tenham originado alterações nas PAMT.

99. Todos os relatórios nacionais de avaliação, bem como o Relatório de síntese, descrevem, de forma mais ou menos circunstanciada, os impactos nos sistemas no que diz respeito aos serviços em matéria de emprego, ao ensino e formação básicos, à educação e formação contínuas, aos sistemas de acreditação e aos mecanismos de previsão das necessidades. Os impactos nos sistemas inscrevem-se muitas vezes num contexto político mais específico. Em geral, era difícil identificar o impacto líquido das operações do FSE (86); apenas em casos excepcionais esse impacto foi efectivamente delimitado (87).

100. Relativamente à Estratégia Europeia para o Emprego, os relatórios de avaliação salientaram a influência positiva do FSE em alguns Estados-Membros, como a Grécia, a França, a Itália, Portugal e Espanha. No entanto, no caso da Alemanha, verificou-se que a abordagem descendente (top down) associada à Estratégia Europeia para o Emprego poderia ser incompatível com a abordagem ascendente (bottom-up) do FSE (88). A um nível mais geral, o Relatório de síntese conclui que esta metodologia proporcionou um quadro estratégico mais sólido para a programação das intervenções do FSE (89).

101. Em relação ao valor acrescentado comunitário, os relatórios nacionais de avaliação forneceram alguns resultados relevantes (90), se bem que uma parte das questões especificadas não tenham sido tratadas em alguns relatórios nacionais.

102. As implicações financeiras das opções políticas raramente foram examinadas em pormenor. O Relatório de síntese inclui um cálculo dos custos unitários relativos às medidas, mas baseia-se em dados pouco satisfatórios. Quando as questões de custos foram abordadas, puseram em evidência elementos potencialmente preocupantes que mereceriam uma análise mais exaustiva. Por exemplo, no caso de Espanha, afirma-se que esta quase duplicação dos recursos em resultado da contribuição do FSE conduziu, segundo alguns peritos, a um montante substancial de despesas supérfluas. A fonte de dotações suplementares não serviu tanto para instaurar novas medidas como para aumentar as operações. Da mesma forma, em Itália, afirma-se que existiram custos de operação significativos associados ao FSE, referentes a questões de execução e custos associados ao reforço de parcerias e a novas práticas de gestão (91).

Adequação do quadro para a avaliação

103. Os elementos principais de avaliação estavam mencionados na especificação técnica: tratava-se das principais características e realizações do período de programação 1994-1999, do impacto do FSE face às políticas nacionais e da eficácia e do impacto das operações do FSE nas pessoas e nos sistemas.

104. A Comissão elaborou e publicou um ano mais tarde um relatório, em que examina de um ponto de vista crítico, os métodos adoptados para avaliar os resultados e os seus impactos nas pessoas e nos sistemas. Este relatório destinava-se a preparar o terreno para futuras avaliações, mas não há a certeza de o objectivo ter sido de facto atingido. Este relatório apresenta várias insuficiências. Não se apoia num inquérito suficientemente aprofundado sobre as abordagens aplicadas na apreciação do impacto líquido nas pessoas. No que diz respeito à avaliação do impacto nos sistemas, propõe um modelo de classificação das despesas do FSE e dos seus respectivos impactos previstos (capacidade, competência e capacidade de resposta) (92). Todavia, alguns pontos devem ser ainda tratados (ver página 35 do relatório).

105. Na parte relativa a «métodos de avaliação política e estratégica no domínio do FSE» (Methods for policy and strategic evaluation in the FSE field (93)), o relatório sobre os métodos não formula recomendações concretas relativamente à análise da política, limitando-se a uma simples referência a MEANS. Da mesma forma, não se faz referência à abordagem a seguir para a selecção dos indicadores adequados em diferentes níveis estratégicos.

106. Convém referir que os elementos importantes para algumas tarefas de avaliação nem sempre estão claramente indicados na especificação técnica. Por exemplo, a descrição das tarefas referentes à eficácia é bastante abstracta, especialmente no que toca aos conceitos subjacentes, à selecção de mecanismos para medir o impacto e às técnicas de avaliação a utilizar. Em especial, não foi dada nenhuma indicação concreta sobre os métodos de extrapolação, a nível da UE, do impacto directo nas pessoas a partir dos resultados das actividades nos diferentes Estados-Membros. A definição das tarefas não prestou a devida atenção à possível disparidade entre os objectivos quantitativos e os dados disponíveis. Além disso, não se previu nenhuma acção concreta para avaliar o impacto nas pessoas quando os indicadores não estão definidos de forma concreta, ou quando não foram efectuadas recentemente avaliações estatísticas específicas. Os outros documentos metodológicos, elaborados posteriormente à especificação técnica, não incluem igualmente as explicações necessárias.

107. As alterações à programação nem sempre foram examinadas de forma adequada. Por exemplo, este assunto não foi abordado nos estudos relativos à Irlanda do Norte, à região de Merseyside e a Espanha. Mesmo nos casos em que as alterações à programação foram indicadas, o seu tratamento está longe de ser o melhor. Em alguns casos, o avaliador não procedeu a uma apreciação clara das alterações relevantes nem da sua adequação (94).

108. A Comissão não efectuou um inquérito prévio à avaliação ou um exercício de reconhecimento, o que complicou a antecipação dos problemas que foram detectados pelos avaliadores.

109. Não existem provas claras de que o grupo de acompanhamento estivesse suficientemente consciente da falta de dados disponíveis para os avaliadores nacionais, nem do impacto que isso teria na qualidade das avaliações finais ou dos problemas relativos a atrasos. O grupo de acompanhamento não tomou medidas correctivas para resolver esta questão.

110. Tal como no caso da avaliação do objectivo n.o 1, a supervisão efectuada pela Comissão do processo de avaliação deve ser melhorada (ver ponto 75).

Recomendações na conclusão da avaliação

111. Na maioria dos Estados-Membros, as recomendações formuladas a partir das apreciações ex post de 1994-1999 trataram principalmente dos sistemas de gestão e dos procedimentos. Dizem respeito a vários domínios e estão, em geral, bem adaptadas às situações específicas.

112. Algumas recomendações relativas ao período 2000-2006 diziam respeito ao conteúdo das políticas co-financiadas. Nos casos em que essas recomendações foram feitas, parecem ser relevantes (95).

113. O Relatório de síntese inclui uma lista de pontos fortes e fracos para cada objectivo (96) e importantes recomendações para o período 2000-2006 e posterior a 2006 (97). Estas afirmações são bastante gerais, embora pareçam válidas em determinados casos, por exemplo, ao salientar potenciais diferenças entre os Estados-Membros da UE 15 e da UE 10 ou a resposta política em função das diferenças territoriais.

CONCLUSÕES

114. O processo de avaliação tem uma importância crucial porque permite obter informações e formular pareceres sobre a adequação, pertinência, economia, eficiência, eficácia e os impactos das intervenções da UE. Pode assim apoiar o processo de tomada de decisão, em matéria de definição de prioridades políticas e afectação de recursos. Para que o processo seja bem sucedido, contudo, existem determinadas condições prévias a respeitar, nomeadamente, objectivos claros para políticas e programas, indicadores de resultado definidos regularmente e que sejam exaustivos, fiáveis e relacionados com os objectivos definidos. Além disso, é necessário garantir que os recursos disponíveis para executar o processo estão adequados à finalidade, tanto em termos de tempo como de competências técnicas.

115. Na auditoria efectuada das avaliações ex post em causa, o Tribunal detectou várias insuficiências significativas na abordagem geral adoptada e na qualidade das apreciações efectuadas: a) os objectivos definidos durante o período de programação 1994-1999 não eram claros e coerentes; b) estavam disponíveis poucos indicadores de resultado; contudo, foram tomadas poucas medidas para ultrapassar esta deficiência através, por exemplo, da recolha de dados quantitativos adicionais; c) por conseguinte, o equilíbrio entre as análises quantitativas e qualitativas nem sempre foi satisfatório; d) esta situação deu origem à formulação de conclusões que não eram apoiadas por uma análise adequada; e) simultaneamente, vários assuntos que mereciam ter sido tratados no âmbito de uma avaliação ex post, como o efeito de inércia, a convergência e os diferentes temas propostos por Estado-Membro, nem sempre foram tratados na avaliação.

116. Relativamente aos vários domínios das avaliações, podem retirar-se as seguintes conclusões no que toca à avaliação do objectivo n.o 1: a) no âmbito da avaliação do carácter adequado das estratégias adoptadas, a análise sofre de algumas discrepâncias graves nos dados, conforme publicados no Relatório de síntese, relativamente à comparação entre os custos previstos e os custos reais calculados. Mesmo tendo em conta limitações dos dados disponíveis, uma análise mais aprofundada teria permitido obter mais elementos sobre os investimentos do sector privado ligados às despesas dos fundos estruturais; b) faltava rigor ao exame da eficácia, entre outros aspectos devido a uma análise inadequada ou insuficiente e a não se ter levado em conta algumas conclusões importantes e relevantes dos estudos temáticos; c) o exame da eficiência limitou-se a algumas observações gerais, não tendo sido atingidos os objectivos da avaliação referentes à definição dos custos de referência e ao exame da qualidade da gestão dos grandes projectos; d) no que diz respeito à apreciação do impacto das medidas, a avaliação baseou-se principalmente na utilização de macromodelos agregados, o que apresenta determinadas limitações. O modelo macroeconómico específico utilizado (HERMIN) não permitiu efectuar os ajustes necessários para levar em conta as especificidades das economias que são objecto de avaliação (como a existência de um sector turístico importante). Além disso, existiram limites importantes na estimativa de determinadas variáveis essenciais (como a escolha de dados supletivos retirados de estudos sobre a economia dos Estados Unidos para calcular elasticidades externas em vez de dados reais relativos às regiões europeias em causa, que não se encontravam disponíveis). Relativamente à avaliação do objectivo n.o 3, baseou-se em parte em dados não fiáveis ou incompletos, tendo-se verificado disparidades significativas entre os dados apresentados e os respectivos comentários. Além disso, algumas das hipóteses avançadas não estavam devidamente apoiadas, o que lançou dúvidas quanto à metodologia utilizada na sua elaboração.

117. Muitas das insuficiências das avaliações podem ser explicadas pelas circunstâncias em que foram efectuadas, nomeadamente as poucas informações disponíveis e as restrições de tempo. Deveria ter sido possível prever estas restrições e atribuir os recursos necessários ao exercício de avaliação ou limitá-lo a uma escala mais «modesta». Além disso, a supervisão, efectuada pela Comissão, do processo de avaliação deve ser melhorada.

118. As avaliações ex post ainda permitiram obter algumas indicações válidas, nomeadamente no que se refere aos sistemas de gestão subjacentes e à execução das acções dos fundos estruturais. No entanto, a Comissão encontrou sérias dificuldades para apresentar uma análise exaustiva sobre a eficácia, a eficiência e o impacto dos fundos, principalmente devido a limitações da abordagem adoptada e à falta de dados. Esta última restrição não tinha sido devidamente prevista no início do exercício. Estes problemas foram agravados por algumas insuficiências que afectaram a supervisão do processo pela Comissão. Por consequência, mesmo se se formularam algumas recomendações válidas e úteis para os períodos de programação futuros, a Comissão não pode beneficiar plenamente das experiências do período de programação 1994-1999.

RECOMENDAÇÕES

119. É necessário reapreciar, com alguma urgência, o âmbito, os procedimentos e a abordagem utilizados nas avaliações ex post, antes de ser elaborada a próxima série de contratos relativos a essas avaliações no final do actual período de programação 2000-2006.

120. Para melhorar o processo de avaliação, é necessário que a Comissão introduza melhores procedimentos de controlo de qualidade e os aplique eficazmente, para que os problemas verificados nas avaliações examinadas não se reproduzam em futuras avaliações ex post. Estes procedimentos deverão garantir: a) que são recolhidos com regularidade dados relevantes e fiáveis e que estes estão disponíveis em cada fase do processo de avaliação; b) que as especificações técnicas são adequadas e prevêem a aplicação de metodologias apropriadas pelos contratantes; c) que os recursos e os prazos previstos para os processos de avaliação são adequados; d) que o acompanhamento e a supervisão por parte da Comissão são adequados, de modo a garantir globalmente a qualidade do processo.

121. Em segundo lugar, é necessário reservar uma atenção especial à escolha de técnicas adequadas para apreciar e medir o impacto económico. Se for utilizada uma abordagem baseada num modelo macroeconómico para analisar o impacto dos fundos estruturais, esta deverá ser adaptada de modo a levar devidamente em conta as características das economias analisadas. Esta observação é especialmente relevante tendo em vista o alargamento próximo da avaliação aos dez novos Estados-Membros. Assim sendo, o Tribunal considera que deverá ser reapreciada a questão de saber se uma abordagem baseada num modelo macroeconómico agregado (por exemplo, no modelo HERMIN) é válida. A Comissão deverá estudar a possibilidade de dar maior enfoque à aplicação de modelos que assentem na utilização de microdados obtidos a partir de projectos. É igualmente provável que uma avaliação mais aprofundada de determinados temas específicos permita determinar mais facilmente as melhores práticas e obter informações suplementares sobre várias questões específicas, como por exemplo o impacto do clustering (classificação) ou a importância dos polos de crescimento para o desenvolvimento regional face ao objectivo global da convergência.

122. Em terceiro lugar, é necessário dar uma maior ênfase ao estabelecimento de correlações entre as avaliações ex post e os estudos temáticos, bem como garantir que os resultados são coerentes entre si. Caso os resultados se revelem incompatíveis, este aspecto necessitará de ser abordado de forma específica. Nas avaliações examinadas, a qualidade da avaliação melhorou consideravelmente, nos casos em que os avaliadores estabeleceram correlações.

123. Em quarto lugar, é possível fazer várias recomendações para futuras avaliações, em particular para as regiões do objectivo n.o 1: a) é necessário que haja um interesse particular nas razões pelas quais as contribuições do sector privado para os projectos dos fundos estruturais variam acentuadamente entre os Estados-Membros. Isto poderá dar um esclarecimento útil sobre os diferentes motores do desenvolvimento económico nas várias regiões do objectivo n.o 1; b) um outro aspecto digno de ser explorado é a questão de saber se no futuro se deverá fazer evoluir o sistema de despesas ligadas a subvenções para medidas de engenharia financeira, tais como fundos de capital de risco, empréstimos e bonificações de juro, que poderão revelar-se mais sustentáveis e eficientes a longo prazo; c) deverá prestar-se mais atenção ao cálculo dos custos unitários e à sua aferição para os vários tipos de projectos; d) é igualmente necessário dar mais atenção ao processo de candidatura e de aprovação do projecto, como os avaliadores sublinharam; e) em futuras avaliações ex post, deverá conceder-se mais importância às avaliações internas efectuadas pelos ministérios ou autoridades regionais competentes.

124. Por fim, é importante reforçar a capacidade da Comissão para supervisionar o processo de avaliação, nomeadamente a aplicação de modelos macroeconómicos complexos