RELATÓRIO ESPECIAL Nº 15/98 sobre a avaliação das intervenções dos fundos estruturais nos períodos de 1989-1993 e 1994-1999, acompanhado das respostas da Comissão (Apresentado nos termos do nº 4, segundo parágrafo, do artigo 188º-C do Tratado CE) (98/C 347/01)

1. INTRODUÇÃO

1.1. A reforma dos fundos estruturais (FE) de 1988 previa a obrigação de a Comissão e de os Estados-Membros avaliarem as políticas estruturais europeias. Essa obrigação foi reforçada em 1993 pela nova regulamentação resultante da revisão da reforma dos FE (1994-1999) e pelas cláusulas-padrão dos novos quadros comunitários de apoio (QCA) e dos documentos únicos de programação (DOCUP).

1.2. A avaliação, instrumento indispensável para uma boa gestão dos FE, é definida nas principais disposições regulamentares (1) como uma apreciação da eficácia a três níveis:

a) Impacto do conjunto das acções estruturais sobre os objectivos definidos no artigo 130º-A do Tratado;

b) Impacto do conjunto das acções previstas nos CA;

c) Impacto específico de cada intervenção operacional (programas e outras formas de intervenção).

1.3. A avaliação processa-se, nomeadamente, em três fases:

a) A apreciação ex ante (2), que permite identificar correctamente os problemas socioeconómicos a resolver e os objectivos a atingir, por um lado e, por outro, a estratégia adoptada para os resolver, dotada dos meios disponíveis;

b) A avaliação intercalar, que permite verificar, durante a execução de um programa, a pertinência dos objectivos e a existência de boas perspectivas quanto ao alcance dos resultados esperados;

c) A avaliação ex post, realizada após o encerramento do programa, que serve para analisar se os resultados e efeitos obtidos podem ser considerados positivos, já que os efeitos a longo prazo de uma acção estrutural só começam a ser observados vários anos depois do encerramento do programa.

1.4. A regulamentação, alterada em 1993, sublinha a responsabilidade dos Estados-Membros e da Comissão em matéria de avaliação, que se inscreve no âmbito da parceria (3). Nesse contexto, a Comissão tomou a iniciativa do enquadramento e da coordenação geral da execução da avaliação e apresenta, de três em três anos, um relatório de avaliação, previsto pelo artigo 16º do Regulamento (CEE) nº 2052/88, sobre os progressos alcançados em matéria de coesão económica e social e sobre a forma como os fundos e o co-financiamento dos Estados-Membros contribuíram para o efeito.

2. ÂMBITO DA AUDITORIA

2.1. O inquérito do Tribunal (4) teve como objectivo geral verificar os progressos realizados em matéria de avaliação das intervenções estruturais comunitárias, tanto a nível dos sistemas e dos procedimentos de avaliação como a nível metodológico. O exame incidiu sobre as modalidades de execução da avaliação das intervenções estruturais, tanto pela Comissão como no âmbito da parceria, tendo sido examinadas a utilização legal e regular das dotações do orçamento das Comunidades destinadas à avaliação, bem como a qualidade da sua gestão financeira.

2.2. O inquérito em causa apreciou, igualmente, as técnicas de avaliação do impacto socioeconómico das acções estruturais. Embora não pretendesse constituir uma avaliação directa dos programas para produzir novos resultados científicos, o inquérito não deixa de fazer referência a alguns dos resultados constatados na matéria por peritos, a fim de identificar mais claramente a relação entre os instrumentos de política económica utilizados e os resultados obtidos.

2.3. Foram realizados inquéritos específicos sobre as avaliações ex post dos QCA e dos programas operacionais (PO) dos objectivos nºs 1 e 2 para o período de programação de 1989-1993, e sobre as avaliações intercalares dos QCA, DOCUP e PO do período de programação de 1994-1999. Consideraram-se todas as avaliações ex post dos QCA de 1989-1993 do objectivo nº 1, bem como cerca de 20 % dos relatórios de avaliação ex post dos QCA de 1989-1993 do objectivo nº 2 e 15 % dos relatórios de avaliação intercalar dos QCA de 1994-1999, tendo estes relatórios sido seleccionados em função da distribuição geográfica e da natureza das intervenções (QCA, DOCUP, PO). Por outro lado, dos 25 relatórios de avaliação que tratavam principalmente de aspectos de natureza macroeconómica, foram analisados 15. O inquérito decorreu junto dos serviços da Comissão e em oito Estados-Membros (Bélgica, Grécia, Espanha, França, Irlanda, Itália, Países Baixos e Portugal), tendo sido consultados os avaliadores e os responsáveis das administrações nacionais competentes.

3. RESUMO DAS PRINCIPAIS OBSERVAÇÕES

3.1. A avaliação desenvolveu-se sobretudo, sob o impulso da Comissão, a partir do período de programação 1994-1999, nomeadamente no âmbito do FEDER, tendo resultado igualmente no reconhecimento desse instrumento no domínio da gestão e da programação. A partir desse período de programação, a avaliação passou a ser aplicada sistematicamente às duas primeiras fases (ex ante, intercalar) (1994-1999) e será aplicada no fim do período (ex post) (ver pontos 4.2-4.8).

3.2. A Comissão, embora tendo conhecimento das suas despesas directas para a avaliação, nem sempre dispõe da totalidade das informações no que respeita às despesas de avaliação no âmbito da parceria (ver pontos 4.9-4.11).

3.3. A Comissão contribuiu fortemente para a difusão da cultura da avaliação, embora não tenha introduzido um enquadramento suficiente para os indicadores e a metodologia de avaliação no seu programa «Métodos de avaliação das acções de natureza estrutural» (MEANS). Tendo em conta a complexidade dos aspectos metodológicos inerentes à avaliação, não existe uma metodologia única aplicável a todas as situações específicas. É importante, no entanto, que a Comissão tenha condições para fornecer enquadramentos metodológicos que permitam dispor de orientações apropriadas para realizar as avaliações adequadas às situações específicas (ver pontos 4.12-4.13).

3.4. A qualidade dos indicadores está estreitamente ligada à fiabilidade dos dados resultantes do acompanhamento das intervenções e das bases estatísticas existentes; estas últimas, da responsabilidade dos Estados-Membros, revelam-se, muitas vezes, insuficientes; os Estados-Membros devem melhorar a qualidade das estatísticas (ver pontos 4.14-4.21).

3.5. Muitas avaliações são concluídas tardiamente, o que pode atrasar os ajustamentos dos programas. Além disso, no que diz respeito às reprogramações, o sistema decisório poderia ter mais em conta os resultados da avaliação respeitantes ao desempenho ou à eficácia das formas de intervenção (ver pontos 4.22-4.27).

3.6. No que diz respeito à objectividade das avaliações, a Comissão não efectua qualquer controlo no local da coerência e da fiabilidade dos indicadores ou dos sistemas que os produzem (ver pontos 4.29-4.30).

3.7. A nível da Comissão, os procedimentos de adjudicação de contratos de consultoria em matéria de avaliação continuam a apresentar lacunas importantes. A selecção dos consultores nem sempre é justificada de forma clara. Os cadernos de encargos continuam a ser bastante gerais nos capítulos da técnica ligada à metodologia, dos indicadores e das obrigações de resultado. Daí resultam atrasos e perturbações na elaboração dos relatórios de avaliação, uma qualidade variável a nível da análise e, por vezes, recomendações vagas (ver pontos 4.31-4.36).

3.8 A aplicação das metodologias relativas às avaliações ex post dos objectivos nºs 1 e 2 (1989-1993) confrontou-se com lacunas estatísticas, ausência de objectivos e de indicadores previsionais quantificados e um acompanhamento dos efeitos ineficaz, e as avaliações nem sempre foram realizadas de modo suficientemente rigoroso. Não obstante, as referidas avaliações revelaram um valor acrescentado comunitário dos FE, tanto no plano das realizações, dos resultados e dos efeitos dos QCA, PO e medidas, como no plano da programação, da organização, do acompanhamento, da coordenação, da parceria e da adicionalidade (ver pontos 4.15-4.19, 5.1, 5.4, 5.10-5.16).

3.9. Quanto às avaliações intercalares das intervenções dos FE no período de 1994-1999 realizadas em regime de parceria no âmbito dos comités de acompanhamento, foram atribuídos diversos níveis de prioridade aos diferentes objectivos da avaliação, muito embora a análise das realizações físicas e financeiras ocupe uma posição importante em qualquer avaliação intercalar. A avaliação dos efeitos é dificultada por problemas existentes ao nível, nomeadamente, dos indicadores e da modelização dos efeitos. Estas avaliações, na maioria dos casos, continuam a ter apenas uma utilidade relativa para o processo decisório, a gestão dos projectos, a reprogramação ou a preparação das intervenções futuras (ver pontos 4.16-4.21, 6.5, 6.7, 6.14-6.26).

3.10. No que diz respeito especificamente ao objectivo nº 2 (O2), a avaliação revelou as seguintes lacunas:

a) Não existe uma relação adequada entre a realização dos programas e o financiamento comunitário, já que as dotações transitadas de um programa para outro ainda são consideráveis; na passagem do período de 1994-1996 para o período de 1997-1999, transitaram, em média, 12 % das dotações (ver ponto 6.27);

b) A sucessão de períodos de programação curtos não permite que os resultados da avaliação sejam utilizados da melhor forma (ver ponto 4.23);

c) Os efeitos indirectos continuam a ser insuficientemente avaliados para determinar o impacto das intervenções estruturais, nomeadamente a nível do emprego (ver pontos 5.12-5.15).

3.11. As avaliações macroeconómicas realizadas revelaram resultados positivos a nível, nomeadamente, do impacto das acções estruturais (crescimento do PIB, efeitos sobre a oferta e a procura, aumento da taxa de emprego, melhoria da convergência, eficácia dos instrumentos dos QCA), não obstante existirem lacunas nos sistemas de programação, de execução e de acompanhamento dessas acções (ver pontos 7.1-7.14).

3.12. As avaliações dos subprogramas ou das medidas continuam a ser insuficientes. Para além disso, confrontam-se com dificuldades de ordem técnica decorrentes da dispersão e falta de coerência de um grande número de medidas e de subprogramas (ver ponto 7.17).

4. PROBLEMAS GERAIS

Introdução

4.1. A avaliação tem como objectivo determinar os efeitos socioeconómicos das acções levadas a cabo, ou seja, analisar os resultados obtidos, comparar esses resultados com os recursos investidos e analisar os seus custos. Além disso, todos estes elementos devem ser objecto de uma análise comparativa face às previsões. Ora, para se efectuar esta avaliação, é indispensável dispor de uma boa base estatística, definir objectivos quantificados assentes num sistema de indicadores e desenvolver o quadro metodológico e analítico, recorrendo-se, ao mesmo tempo, a uma análise das relações entre meios utilizados, resultados finais e resultados intercalares. O Tribunal detectou falhas a todos os níveis, falhas essas que, até ao momento, têm limitado a utilidade das avaliações realizadas no âmbito dos fundos estruturais, apesar de alguns progressos reais registados que contribuíram para consolidar a dinâmica da avaliação.

4.2. A avaliação passou a inscrever-se explicitamente no âmbito da parceria a partir da reforma de 1988 [artigo 26º do Regulamento (CEE) nº 4253/88, definido em pormenor no regulamento alterado de 20 de Julho de 1993]. No entanto, no primeiro período de programação e até 1995, as avaliações foram realizadas sobretudo por iniciativa da Comissão (5). Tais avaliações - nomeadamente as ex post - foram dificultadas por estratégias de desenvolvimento pouco precisas e por um acompanhamento não satisfatório, não tendo, aliás, de uma maneira geral, sido objecto de uma verdadeira tomada em consideração e de um debate aprofundado a nível dos comités de acompanhamento.

4.3. Numa primeira fase, a Comissão envidou esforços principalmente para criar o seu próprio sistema de avaliação para o conjunto dos QCA que cobrem os cinco objectivos prioritários da reforma (6). Entre as iniciativas da Comissão ligadas ao desenvolvimento das avaliações e dos métodos correspondentes, há que destacar, nomeadamente, a criação do grupo técnico «Avaliação das políticas regionais» em 1992 e, no plano metodológico, o lançamento do programa «Métodos de avaliação das acções de natureza estrutural» (MEANS) em 1994.

4.4. Para o período de programação 1994-1999, a Comissão esteve na base de uma nova dinâmica de avaliação que se traduz, doravante, por uma aplicação sistemática da avaliação às duas primeiras fases (ex ante e intercalar) e, ulteriormente, à fase ex post.

4.5. A avaliação intercalar, não prevista explicitamente nos regulamentos dos FE, passou a ser aplicada a partir de 1995-1996 a todos os QCA, DOCUP e PO referentes ao período de programação de 1994-1999. A avaliação inscreve-se concretamente no âmbito da parceria e proporciona aos comités de acompanhamento um instrumento de gestão integrada que contribui, desse modo, para uma vasta difusão da cultura de avaliação. Para a avaliação intercalar, a Comissão criou um dispositivo a ser executado em fases sucessivas nos Estados-Membros (7).

4.6. No entanto, este dispositivo não estipulou as modalidades concretas do processo (definição do caderno de encargos, critérios de selecção do avaliador, estrutura do relatório de avaliação, recolha de dados, requisitos de qualidade exigidos, calendário, etc.).

4.7. Paralelamente, a Comissão organizou diversas manifestações, complementadas por uma série de publicações (8). Ao reunir profissionais da avaliação e gestores dos FE, as referidas manifestações contribuíram para o desenvolvimento da cultura de avaliação e para sensibilizar os gestores nesta matéria. A avaliação foi apresentada, essencialmente, como um processo de aprendizagem pela via da experiência.

4.8. Em Maio de 1998, a Comissão apresentou, no âmbito do anteprojecto de orçamento geral das Comunidades Europeias para o exercício de 1999, o documento de trabalho «Balanço da avaliação 1996/1997», que continha uma descrição das actividades de avaliação levadas a cabo em 1996-1997, uma lista das avaliações realizadas e em curso, bem como uma resenha dos resultados das avaliações realizadas no período de 1996-1997.

4.9. As despesas de avaliação podem ser financiadas directamente pela Comissão ou co-financiadas em parceria com os Estados-Membros. Os quadros 1 e 2 indicam as despesas efectuadas directamente pela DG XVI no domínio da avaliação para os períodos de programação 1989-1993 e 1994-1999.

4.10. Como indica o quadro 1, as despesas de avaliação para o período de 1989-1993 ascendem a cerca de 10 milhões de ecus. Cerca de dois terços dessas despesas foram efectuadas em dois domínios da responsabilidade directa da Comissão e da sua própria iniciativa: por um lado, as iniciativas comunitárias nos termos do artigo 11º do Regulamento (CEE) nº 4253/88, num montante de 3,1 milhões de ecus e, por outro lado, as avaliações transversais e temáticas como as PME, as telecomunicações, o ambiente ou os recursos humanos, num montante de 3,2 milhões de ecus. As verbas afectas à avaliação dos O1 e O2 dos FE foram relativamente reduzidas, tendo em conta que nesse mesmo período a parceria foi pouco desenvolvida no domínio da avaliação. Relativamente ao período de 1994-1999, o montante consagrado à avaliação ascendeu a 25,2 milhões de ecus em Abril de 1988, tal como mostra o quadro 2. Este aumento em relação ao período precedente ficou a dever-se ao desenvolvimento da avaliação intercalar e da respectiva metodologia no âmbito da parceria.

4.11. No que respeita às despesas efectuadas pela Comissão e pelos Estados-Membros nesta área, que registaram um aumento considerável desde 1996, a Comissão nem sempre dispõe da totalidade das respectivas informações, nomeadamente quando as mesmas se inscrevem na medida «assistência técnica» dos programas operacionais, que pode incluir igualmente outras despesas. No sentido de tornar o custo da avaliação mais transparente, poderia ser prevista, logo desde a fase inicial de programação, uma verba consagrada especificamente às necessidades de avaliação.

Quadro de referência

4.12. O programa MEANS (1995-1998), num montante total de 2,8 milhões de ecus, ocupa uma posição específica no processo de desenvolvimento da avaliação (9). O processo aplicado pretende suscitar um desenvolvimento metodológico, uniforme e coerente, através do inventário das metodologias utilizadas pelos Estados-Membros e da amostragem de exemplos válidos. Esta abordagem, essencialmente incentivadora e empírica, não permite à Comissão pronunciar-se sobre as modalidades concretas de execução dos métodos de avaliação ou sobre a escolha dos indicadores, nomeadamente os que se destinam a avaliar os impactos socioeconómicos no domínio do desenvolvimento regional. Tendo em conta a complexidade dos aspectos metodológicos inerentes à avaliação, não existe uma metodologia única aplicável a todas as situações específicas. É importante, no entanto, que a Comissão tenha condições para fornecer enquadramentos metodológicos que permitam dispor de orientações apropriadas para realizar as avaliações adequadas às situações específicas.

4.13. Até ao momento, os resultados do programa MEANS serviram para estabelecer os primeiros fundamentos de uma nova abordagem em matéria de avaliação, nomeadamente através da introdução de uma linguagem comum, tendo permitido preparar a avaliação intercalar no âmbito da parceria. Os quadros 3 e 4 mostram o processo geralmente aceite utilizado na avaliação. Contudo, o programa MEANS ainda não respondeu de forma aprofundada às questões relativas aos aspectos práticos ou operacionais associados à avaliação. Assim, ainda existem duas questões fundamentais que permanecem sem resposta: por um lado, qual é o sistema de indicadores mais adequado para formular uma apreciação global sobre um programa estrutural comunitário e, por outro, qual é a abordagem de avaliação mais adequada para avaliar o impacto socioeconómico de um determinado programa estrutural no âmbito do desenvolvimento regional. A Comissão não está em condições de formular instruções precisas sobre as técnicas concretas a aplicar em cada situação específica da avaliação. Esta lacuna pesa, nomeadamente, na execução das avaliações intercalares das formas de intervenção do período de programação de 1994-1999.

Bases estatísticas e informações sobre os objectivos visados

4.14. Regra geral, as avaliações, quer sejam ex ante, intercalares ou ex post, são confrontadas com objectivos formulados de forma demasiado geral, mesmo a nível das medidas.

4.15. O nível de desenvolvimento das bases estatísticas existentes constitui um entrave ao acompanhamento e à avaliação dos programas e das medidas co-financiadas pelos fundos estruturais. As lacunas são, nomeadamente, a falta de cobertura estatística circunscrita às zonas em causa, a inexistência de estatísticas para determinados aspectos e uma inadequada periodicidade da recolha de informações relativamente às necessidades de acompanhamento e de avaliação.

Indicadores

4.16. A existência de um sistema de indicadores fiáveis e adequados constitui um elemento indispensável ao processo de programação. Para satisfazer as necessidades da avaliação, os programas estruturais devem conter informações sobre a realização financeira e física e sobre os resultados ou o desempenho das acções. Estes indicadores devem, por um lado, poder informar os gestores sobre os efeitos imediatos ou duradouros das acções levadas a cabo e, por outro, permitir avaliar os progressos realizados face aos objectivos globais dos programas como, por exemplo, o desenvolvimento regional ou a redução da taxa de desemprego.

4.17. A fiabilidade dos indicadores financeiros está estreitamente ligada à fiabilidade dos certificados de despesas enviados à Comissão para que esta efectue os pagamentos comunitários correspondentes. Frequentemente, os indicadores físicos são referenciados como um complemento da informação, tendo uma fiabilidade relativa. As bases de dados existentes nem sempre permitem registar a evolução física das realizações, e os beneficiários finais nem sempre informam periodicamente os gestores sobre o estado das realizações físicas. A avaliação intercalar do PO de Lisboa e Vale do Tejo em Portugal apresenta indicadores físicos estritamente proporcionais às despesas e não faz alusão a qualquer variação motivada por atrasos de realização ou por outras causas. Os Estados-Membros devem melhorar os seus mecanismos de acompanhamento e as bases de dados de apoio dos indicadores.

4.18. A avaliação, por um lado, dos resultados e efeitos ao nível dos subprogramas e das medidas e, por outro, do impacto ao nível dos programas, confronta-se com incertezas que pesam na identificação das cadeias de causalidade existentes entre os diferentes níveis de objectivos e entre os objectivos, as medidas e os projectos, bem como na identificação das relações horizontais de complementaridade e de sinergia entre medidas e entre objectivos. Deste modo, torna-se difícil concretizar o efeito específico de uma medida sobre o desenvolvimento regional ou o impacto de um investimento sobre a procura ou, a fortiori, sobre a oferta. Nesse âmbito, no que respeita ao QCA 1994-1999, a procura de indicadores que sejam um instrumento adequado para avaliar os resultados e o impacto está ainda em curso (ver 6.23).

4.19. O exercício de apreciação ex ante do QCA é indispensável para a realização de ulteriores avaliações. Essa avaliação garante a definição e a quantificação de todos os indicadores de resultados e de impacto para permitir avaliar o impacto previsional do programa e estabelecer uma comparação com os efeitos reais. Nesse contexto, a abordagem da gestão por objectivos nem sempre foi aplicada de forma harmonizada ou satisfatória, o que teve um impacto relativamente ao número dos indicadores necessários à avaliação. Exemplo disso é o QCA italiano 1994-1999 que contém um número de indicadores reduzido, facto que poderá, eventualmente, dificultar as avaliações posteriores. Em contrapartida, o QCA português 1994-1999, aprovado pela Comissão sem alterações significativas, contém um número de indicadores demasiado elevado (cerca de 300), o que poderá, igualmente, complicar o exercício da avaliação. Esta divergência no estabelecimento de indicadores de um QCA para outro sublinha a falta de coerência da programação. Quando o sistema de indicadores aprovado pela Comissão na fase de apreciação ex ante contém um grande número de objectivos gerais e pouco quantificáveis, esses indicadores são por vezes revistos aquando da avaliação intercalar por razões da sua insuficiente definição e funcionalidade.

4.20. As intervenções estruturais e as situações socioeconómicas sobre as quais estas actuam, geram uma grande variedade de indicadores que, regra geral, são estabelecidos de modo descentralizado. A Comissão não elaborou listas de indicadores que considera serem indispensáveis e representativos ao nível do desenvolvimento regional ou no âmbito dos diferentes tipos de acções, embora tenham sido comunicadas listas parciais a certas instâncias nacionais ou regionais e estas já tenham sido objecto de debate.

4.21. No âmbito do acompanhamento, deveria desenvolver-se uma maior quantificação dos indicadores de resultados e de impacto, sem, no entanto, esquecer a fiabilidade dessa quantificação. Com efeito, a quantificação pode não ser fiável e, em certos casos, não evita a dupla contagem de postos de trabalho criados ou não permite distinguir os efeitos ilíquidos dos efeitos líquidos sobre o emprego. Esta situação foi constatada quando se comparou o relatório de avaliação intercalar do PO Brandeburgo com as estatísticas sobre o número de pessoas inscritas na segurança social.

Tomada em conta da avaliação

4.22. O contributo da avaliação para a utilização eficaz dos fundos comunitários depende, em larga medida, da qualidade do conteúdo, da data de recepção dos resultados e da data da decisão da alteração da estratégia. No entanto, um determinado número de avaliações intercalares dos QCA, DOCUP e PO do período de programação 1994-1999 foi concluído bastante tardiamente, atrasando, desse modo, os eventuais ajustamentos.

4.23. Quanto à programação do O2, em virtude de os seus períodos de programação serem mais curtos do que os do O1, torna-se particularmente difícil fazer coincidir as datas em que os resultados das avaliações ficam disponíveis para se retirar ensinamentos do passado e adaptar as futuras intervenções e as datas nas quais devem ser tomadas as decisões a nível da programação. Verifica-se um certo desfasamento entre o ciclo de programação do O2 e o respectivo ciclo de avaliação. Assim, a versão final do relatório de síntese da avaliação ex post do O2, referente ao período 1989-1993, só foi recebido pela Comissão no Verão de 1997. Nessa altura, estava em curso a apreciação ex ante da programação de 1997-1999, e a avaliação ex post do período de 1994-1996 ainda não tinha sido iniciada.

4.24. Independentemente dos resultados dos programas estruturais revelados pelos relatórios de avaliação, a dotação orçamental destinada a esses programas ou aos seguintes mantém-se frequentemente inalterada. O sistema decisório muito raramente tomou em consideração as avaliações no primeiro período de programação e, geralmente, as reprogramações assentaram sobretudo no nível de absorção financeira. Justificam-se, assim, as recomendações úteis feitas pelo consultor principal no âmbito da avaliação ex post dos QCA do objectivo nº 1 de 1989-1993 (ver ponto 5.7).

4.25. Os aspectos mais qualitativos de desempenho ou de eficácia dos programas identificados nas avaliações intercalares ou nos relatórios de execução não influíram suficientemente na gestão operacional dos FE, nem no processo de responsabilização dos parceiros abrangidos pelo desenvolvimento dos programas.

4.26. Os resultados da avaliação intercalar dos DOCUP, QCA e PO do objectivo nº 2 (1994-1996), bem como do acompanhamento, revelam ser inadequada a relação que existe entre o financiamento programado e a realização dos programas. Esta situação coloca em primeiro plano a preocupação da absorção das dotações e pode levar à subestimação do papel da avaliação na análise da zona em causa, nomeadamente no que diz respeito à coerência entre os objectivos, aos recursos atribuídos e ao impacto das intervenções estruturais.

4.27. As conclusões e recomendações das avaliações ex post e das avaliações intercalares no âmbito da parceria são, muitas vezes, evidentes para os gestores das formas de intervenção, embora possam ser úteis para outros parceiros (ver ponto 5.8).

Objectividade das avaliações

4.28. A ausência de um quadro de referência claro dificulta a aplicação de técnicas adequadas e aplicáveis de forma objectiva às situações de avaliação específica para assegurar um controlo fácil dos resultados e garantir a independência do avaliador. Todavia, pode dar-se o caso de o método preconizado não ser fundamentado em termos objectivos e de o avaliador adaptar a sua abordagem, com demasiada facilidade, às dificuldades encontradas ou escolher os indicadores em função das informações disponíveis.

4.29. A independência face aos gestores também não parece estar sempre assegurada, nomeadamente a nível das informações (ver ponto 6.11), e os relatórios de avaliação nem sempre indicam a fonte das informações que fundamentam as suas observações. Esta lacuna pode suscitar dúvidas quanto à fiabilidade e validade das informações apresentadas nos relatórios de avaliação.

4.30. Embora a objectividade deva ser garantida por um sistema de controlo, cujos objectivos assentem na qualidade dos indicadores (de realização, resultado e impacto), na fiabilidade das informações de base e no nível de execução da metodologia, os serviços da Comissão analisam as informações e os resultados apresentados no âmbito da avaliação, mas não procedem a qualquer controlo no local nem verificam o bom funcionamento dos sistemas de avaliação em vigor nos Estados-Membros.

Contratos de avaliação adjudicados pela Comissão

4.31. O exame dos procedimentos de adjudicação dos contratos em matéria de avaliação, encomendado pela Comissão, identificou as seguintes lacunas: procedimentos de selecção insatisfatórios, cadernos de encargos demasiado vagos, atrasos e pouca qualidade dos relatórios.

4.32. Os elementos de apreciação ou de análise que levaram a Comissão a seleccionar o consultor nem sempre são claramente indicados nas actas das reuniões relativas aos concursos. A auditoria realizada pelo Tribunal não permitiu provar que foram seleccionados os peritos mais competentes da área de competência mais adequada.

4.33. No caso da avaliação ex post do QCA 1989-1993 do O1 e do O2, foram escolhidos, respectivamente, um consultor principal acompanhado de consultores nacionais e consultores coordenadores que, por sua vez, subcontrataram estudos a outros consultores. Nesta cadeia de consultores, a Comissão pode perder o controlo das modalidades de execução da avaliação que garanta a coerência, a homogeneidade e a qualidade dos resultados.

4.34. O caderno de encargos é por vezes impreciso quanto à descrição dos trabalhos a executar e às obrigações de resultado esperadas. As cláusulas contratuais são bastante gerais. É frequente as modalidades de execução da avaliação possibilitarem um acordo ulterior a celebrar com a Comissão sobre o quadro metodológico.

4.35. Quanto aos prazos de apresentação dos relatórios, constatam-se atrasos com frequência. Assim, no que diz respeito à avaliação do conjunto dos QCA 1989-1993 O1, o contrato estipulava o prazo de 28 de Fevereiro de 1995 para a entrega do relatório, tendo este, porém, sido concluído apenas em Novembro de 1995. A Comissão não previu qualquer sanção pelo incumprimento das obrigações contratuais em matéria de prazo, tendo, no entanto, efectuado o pagamento da última parcela de 40 % em dívida em 11 de Julho de 1995 nos termos do disposto no artigo 4º do contrato.

4.36. A ausência de termos de referência contratuais, precisos e claros quanto ao processo metodológico a seguir e aos resultados previstos dão lugar a que os serviços da Comissão reajam de modo diverso aos relatórios. Constata-se, assim, a aprovação de determinados relatórios que se limitam a apresentar simples descrições ou análises vagas sobre a utilidade das realizações, relatórios baseados em declarações genéricas das pessoas inquiridas ou ainda relatórios que contêm recomendações demasiado generalizadas. No caso da avaliação ex post do QCA 1989-1993 da Irlanda, um dos serviços da Comissão manifestou-se a favor da rescisão do contrato com o consultor devido à má qualidade, enquanto que outro serviço deu o seu aval ao relatório. No caso da avaliação ex post do QCA 1989-1993 de Portugal, os serviços da Comissão declararam que o relatório não continha elementos de avaliação, limitando-se a repetir os elementos das realizações físicas já apresentadas pelo Estado-Membro. Esses serviços também declararam que o relatório da avaliação ex post do QCA 1989-1993 da Espanha era demasiado descritivo e continha um reduzido número de análises. O relatório da avaliação ex post do QCA 1989-1993 da Irlanda do Norte foi considerado incompleto. O relatório da avaliação ex post do QCA1 da Itália foi considerado mal estruturado e mal organizado. O relatório da avaliação do QCA 1989-1993 da Grécia não apresentou a conclusão global, apresentando apenas conclusões no final de cada capítulo.

5. AVALIAÇÕES EX POST DOS QCA DOS OBJECTIVOS Nºs 1 E 2 (1989-1993)

Introdução

5.1. Os avaliadores são frequentemente confrontados com as seguintes dificuldades:

a) Uma programação inicial feita apressadamente e sem que tivessem sido efectuadas avaliações ex ante dos programas, nomeadamente dos fundamentos económicos inerentes, sobretudo no que diz respeito às regiões do O1;

b) Ausência de objectivos quantificados e de indicadores de resultado;

c) Lacunas estatísticas quanto à situação socioeconómica nos períodos anterior e posterior à intervenção dos FE no âmbito do O2, nomeadamente no que diz respeito ao tecido industrial, aos investimentos e ao produto regional bruto. Note-se que as ferramentas estatísticas nem sempre correspondem à área de análise seleccionada (concelho, município, bacia de emprego);

d) A não conclusão de determinadas acções;

e) A existência de factores exógenos que contribuem para explicar a evolução da situação socioeconómica;

f) A natureza heterogénea dos projectos e dos respectivos objectivos, nos casos em que a concessão de ajudas não se encontra suficientemente ligada às necessidades regionais ou locais;

g) Difícil identificação dos efeitos inerentes às medidas e ao programa, em virtude da multiplicidade de acções a favor da mesma região ou zona;

h) Dificuldades na avaliação dos efeitos indirectos do programa (nomeadamente em matéria de emprego), decorrentes do facto de não ter sido estabelecido qualquer sistema de observação dos programas a partir do seu lançamento, e de não ter havido um inquérito aprofundado após a sua conclusão.

Avaliação ex post dos QCA do objectivo nº 1 (1989-1993)

5.2. A avaliação ex post dos QCA O1 foi coordenada por um consultor central e incluiu avaliações ex post dos QCA em causa, realizadas entre Janeiro de 1994 e Junho de 1995 por consultores nacionais. O consultor responsável pela coordenação preparou o processo metodológico a aplicar, processo esse que recorre a métodos de análise macroeconómica, de medidas e projectos. Este processo visa analisar a estratégia e a lógica inerente aos QCA, PO e às medidas, fazer um primeiro balanço das realizações físicas e do impacto e, por último, efectuar uma análise dos mecanismos de execução. O resumo deste processo consta do anexo I.

5.3. Embora a metodologia proposta seja coerente no seu todo, revela pontos fracos. Prevê que a análise da estratégia e da lógica inerente aos QCA, PO e às medidas assente numa estrutura harmonizada de objectivos, associada a uma nomenclatura-padrão de actividades. Esta abordagem, embora permitindo efectuar comparações entre Estados-Membros, não origina, necessariamente, uma hierarquização dos objectivos baseada, simultaneamente, nas prioridades reconhecidas pelos Estados-Membros e nos critérios de hierarquia, complementaridade, substituibilidade e sinergia. De igual modo, não permite identificar todas as lacunas em matéria de coerência existentes na estratégia própria de cada QCA e PO. Além disso, os indicadores físicos e de impacto incluídos no documento sobre a metodologia não permitem, muitas vezes, responder às questões pertinentes sobre os efeitos previstos e não previstos a que a metodologia deve responder.

5.4. O Tribunal constatou as seguintes lacunas:

a) A evolução do ambiente socioeconómico dos QCA e dos PO nem sempre é objecto de uma comparação entre a situação inicial sobre a qual deveria incidir uma intervenção comunitária (1988-1989) e a situação final (1993-1994). Por vezes, verifica-se uma enorme desactualização dos dados, nomeadamente no que diz respeito às disparidades regionais;

b) A hierarquização dos objectivos prevista na metodologia muitas vezes não é suficientemente analisada. Quer por não ter sido estabelecida, quer por ter sido apenas parcial, essa hierarquização apenas abarca os PO e as medidas escolhidas para serem alvo de uma análise específica ou, então, não aplica os critérios de estruturação de modo sistemático. Assim, a hierarquização dos objectivos e dos instrumentos não conduz a uma melhor identificação dos problemas de coerência e de pertinência das prioridades e das suas importâncias relativas;

c) Por vezes, os ajustamentos efectuados nos QCA e PO não são objecto de uma análise aprofundada quanto às causas;

d) Embora os relatórios de avaliação façam uma boa abordagem da execução financeira e dos mecanismos de execução, bem como das realizações físicas, o mesmo já não acontece quanto aos efeitos dos programas ou das medidas que não foram, em certos casos, objecto de investigação (com excepção dos postos de trabalhos criados) ou são formulados em termos não quantitativos. Os únicos efeitos quantificados são, por vezes, os fornecidos através da aplicação de modelos macroeconómicos e dizem respeito ao crescimento do PIB, à criação de postos de trabalho ou à competitividade. Tal revelou a insuficiência dos dados fornecidos pelos gestores no âmbito dos sistemas de acompanhamento;

e) As análises do tipo bottom-up (da base para o topo) não permitiram, de um modo geral, tirar conclusões em termos de impacto a nível dos programas;

f) Por vezes, o valor acrescentado comunitário é expresso apenas em termos qualitativos (por exemplo, a tomada em conta da lógica programática, a execução de uma estratégia integrada, o efeito sobre o processo organizativo). Além disso, esse valor nem sempre é examinado de forma sistemática;

g) Os efeitos esperados a longo prazo, quando abordados, são analisados apenas no plano qualitativo.

5.5. O QCA1 O1 da Espanha foi objecto, simultaneamente, de uma avaliação ex post, encomendada pela Comissão, e de uma avaliação iniciada pelas autoridades espanholas e que beneficiou de um co-financiamento comunitário. As duas avaliações, elaboradas na mesma altura e com objectivos idênticos, desenrolaram-se de modo independente e separado.

5.6. No que diz respeito aos resultados e ao impacto, as avaliações ex post destacam as realizações físicas decorrentes dos QCA O1, os impactos macroeconómicos dos QCA seleccionados em certas avaliações nacionais e os progressos realizados em matéria de planificação, embora, nesta área, a abordagem por programa tivesse deparado com alguns obstáculos (10). Essas avaliações salientam, igualmente, o contributo dos QCA em matéria de estruturas organizativas inovadoras, gestão financeira, acompanhamento, sistemas de informação, coordenação e parceria, níveis em que ainda é necessário realizar progressos significativos.

5.7. A síntese feita pelo consultor principal em 1995 incluiu algumas recomendações úteis, às quais, no entanto, a Comissão não pôde dar pleno seguimento; por exemplo, aquando da elaboração da programação deveria fazer-se uma distinção mais clara entre as intervenções estruturais comunitárias que fomentam os factores endógenos de crescimento e as intervenções que visam o reequilíbrio regional ou a melhoria do nível de vida; deveria haver um equilíbrio entre a prioridade concedida aos investimentos a nível de infra-estruturas e as especificidades regionais que devem ser desenvolvidas ou entre o combate ao desemprego e a necessidade de aumentar a produtividade e a competitividade; por último, deveria ser dada maior importância à questão do emprego nas políticas regionais.

5.8. A avaliação ex post do conjunto dos QCA 1989-1993 O1 efectuada pelos avaliadores nacionais incidiu mais sobre a melhoria dos sistemas de acompanhamento e de gestão dos Estados-Membros, do que sobre um exercício real de avaliação do impacto dos FE.

Avaliações ex post do objectivo nº 2 (1989-1993)

5.9. As avaliações ex post dos programas do O2 referentes ao período de 1989-1993 foram coordenadas por um avaliador externo nas 60 regiões elegíveis. Cada região foi alvo de uma análise global e 22 dessas regiões mereceram um estudo mais aprofundado. Tais avaliações visavam, principalmente, analisar o impacto das intervenções estruturais no processo de reconversão industrial nessas regiões e retirar ensinamentos para a programação subsequente. O anexo II apresenta uma síntese da abordagem no âmbito da avaliação.

5.10. Embora tenha sido previsto um quadro comum, verifica-se que as abordagens seleccionadas são muito heterogéneas, nomeadamente no que diz respeito às prioridades e ao nível de desenvolvimento da análise, ao seu carácter descritivo ou crítico e aos métodos e técnicas utilizados.

5.11. A análise da estratégia e da natureza adequada dos QCA e PO, bem como das alterações introduzidas nos mesmos em relação ao ambiente socioeconómico, raramente conduziu à reformulação da estrutura dos objectivos, dos subprogramas e das medidas em função da lógica de desenvolvimento ou de reconversão regional e na base dos critérios de hierarquia, complementaridade e substituibilidade. Uma reformulação deste tipo, efectuada cuidadosamente, deveria permitir identificar mais sistematicamente as lacunas da estratégia aplicada no que diz respeito à coerência, ao adequado peso relativo das prioridades, às sinergias, às complementaridades e à eficácia face ao ambiente socioeconómico. No entanto, verifica-se que um grande número de análises de estratégia, cujo ponto de partida é a estrutura dos QCA e PO, são parciais e pouco críticas no que diz respeito a esta estratégia.

5.12. Quanto ao impacto das intervenções dos FE, os avaliadores, que se baseiam numa amostra de projectos e na análise dos seus resultados, do seu valor acrescentado e da sua adicionalidade, não conseguem agregar as observações feitas ao nível das medidas individuais e do impacto socioeconómico do programa.

5.13. São em número reduzido as avaliações de impacto que se baseiam numa verdadeira combinação de abordagens top down e bottom up. Esta combinação foi nomeadamente utilizada na avaliação das intervenções O2 a favor da Toscânia. Neste caso, a abordagem top down, baseada num modelo econométrico birregional Toscânia-resto de Itália, permitiu avaliar, tanto na Toscânia como no resto do território italiano, o impacto global do aumento da procura em termos de produção por sector, níveis de consumo e valor acrescentado. Este modelo também permite avaliar os multiplicadores de efeito por tipos de intervenção (infra-estruturas, serviços oferecidos às empresas, apoios aos investimentos privados), bem como os efeitos sobre o emprego (11). Para avaliar os efeitos directos sobre o emprego recorreu-se a uma técnica de coeficientes-padrão que incidiu sobre as diferentes tipologias de intervenção. Assim, esta abordagem top down incide sobre os efeitos directos a curto prazo associados à procura. A abordagem bottom up, que parte de numa amostra de projectos e de medidas, dispõe de melhores condições para traduzir os efeitos a longo prazo, mais estruturantes e indirectos, sobre o emprego e as economias externas que permitem reduzir os custos de produção. Mesmo quando se torna muito difícil isolar e quantificar esses efeitos e esta abordagem não permite agregar os efeitos a nível das medidas e do programa (embora seja esse o objectivo da avaliação aprofundada), a abordagem top down tem como complemento útil as considerações qualitativas sobre a eficácia das medidas e o nível de adicionalidade das intervenções comunitárias. A combinação das duas abordagens pode fornecer um real valor acrescentado à análise se for baseada em técnicas de modelização ou de formalização.

5.14. Também são raras as avaliações em matéria de impacto que recorrem a inquéritos sistemáticos como, por exemplo, inquéritos sobre a adicionalidade das medidas ou a aplicação de um determinado método de avaliação dos empregos líquidos criados ligados às medidas, através da comparação de um grupo experimental e um grupo de controlo. No entanto, esses inquéritos fornecem à avaliação do impacto um verdadeiro valor acrescentado. Os avaliadores teriam feito uma melhor avaliação da eficácia das medidas e dos programas se tivessem efectuado inquéritos estatísticos que gostariam sobre determinados indicadores de resultado. Assim, nem sempre é possível encontrar dados sobre o número de empresas implantadas nas novas zonas industriais cujo desenvolvimento beneficie do apoio dos FE, ou sobre as transferências de tecnologias dos institutos de investigação para as empresas. As reuniões com os gestores de medidas e projectos geralmente previstas nos procedimentos de avaliação muito raramente permitem obter informações exactas sobre as realizações, os resultados e o impacto das operações.

5.15. Os resultados em matéria de criação de postos de trabalho são incertos no que diz respeito ao carácter duradouro dos mesmos e à parte especificamente imputável às acções estruturais. Além disso, os relatórios de avaliação produzem, por vezes, dados contraditórios.

5.16. Quanto ao impacto dos programas O2, as avaliações ex post destacam os seguintes factos:

a) Os PO O2, embora em muitos casos não tenham conseguido melhorar a situação socioeconómica, contribuíram, pelo menos, para evitar uma degradação suplementar, nomeadamente no que diz respeito à manutenção do emprego (12), e para lançar as bases da reconversão. Com efeito, a maioria das regiões procura diversificar a sua economia e o seu tecido industrial e, eventualmente, eliminar a sua imagem de zona exclusivamente industrial;

b) Apesar do processo integrado baseado no conceito de programa, os PO consistem, por vezes, numa alteração das políticas nacionais e regionais já estabelecidas e nem sempre constituem um instrumento de programação;

c) A existência simultânea de PO O2 e de iniciativas comunitárias deu lugar a confusões e sobreposições de ajudas;

d) A intervenção dos FE produziu efeitos positivos sobre a programação, as modalidades de execução, a parceria, as sinergias, a coordenação e a avaliação. Todavia, destacou-se frequentemente a falta de sinergia e de intercâmbios entre gestores e as acções do FEDER e do FSE;

e) A nível da adicionalidade, os FE permitem abordar novos domínios, realizar projectos que teriam sido impossíveis sem apoio comunitário, acelerar a sua execução ou realizar projectos mais ambiciosos ou, ainda, conferir um carácter estruturante ao projecto inicial. A adicionalidade das tipologias de medidas (apoios às infra-estruturas, serviços oferecidos às empresas, apoios aos investimentos privados) pode variar consideravelmente;

f) Muitas vezes, os FE não actuam como uma alavanca para a participação de financiamentos privados ou, pelo menos, as avaliações omitem este aspecto;

g) As avaliações salientam o facto de os estudos e as negociações preparatórias, os procedimentos administrativos em matéria de adopção e execução de determinados projectos, bem como a integração de novas políticas nacionais, implicarem prazos que, frequentemente, são subestimados.

5.17. Em matéria de gestão, constatou-se, a partir das avaliações, que certos métodos de acompanhamento dos programas se revelaram insuficientes e que os ajustamentos internos feitos durante o período de programação incidiram, essencialmente, na maximização da taxa de absorção das dotações e não na revisão dos eixos prioritários de desenvolvimento regional.

6. AVALIAÇÕES INTERCALARES (1994-1999)

Desenvolvimento e integração dos princípios de avaliação intercalar

6.1. A avaliação intercalar está prevista no capítulo sobre as disposições de execução incluídas em cada QCA, DOCUP e em qualquer outra forma de intervenção e destina-se a reforçar o acompanhamento. Assinale-se que as avaliações intercalares implicam uma análise crítica dos dados recolhidos no âmbito do acompanhamento, explicam os eventuais desvios face aos objectivos perseguidos e avaliam os resultados previstos da intervenção, para além de incluírem um parecer sobre a validade da intervenção em curso e a pertinência dos objectivos visados.

6.2. Nas notas que enviou aos Estados-Membros durante o exercício de 1995, a Comissão realçou o facto de as avaliações intercalares deverem «fornecer aos comités de acompanhamento os indicadores adequados sobre o bom funcionamento dos programas, propor eventuais acções de reprogramação e apresentar uma imagem objectiva e independente dos progressos realizados». A Comissão propôs, igualmente, que o relatório da avaliação se concentrasse, numa primeira fase, nas condições de funcionamento das formas de intervenção e, nomeadamente, nos indicadores, as capacidades de gestão dos responsáveis e os procedimentos de selecção dos projectos. Numa segunda fase, e a fim de propor as alterações necessárias e fazer adaptações à programação, esse mesmo relatório devia tratar de questões como a pertinência da estratégia e da validade dos objectivos das intervenções levadas a cabo, a eficácia da programação relativamente às realizações e dos primeiros resultados face aos objectivos, a eficiência do programa, a correcta aplicação das políticas comunitárias (ambiente, contratos públicos, etc.), bem como a avaliação dos resultados em matéria de emprego e PME.

6.3. Além disso, a Comissão sugeriu que a avaliação fosse global e que as avaliações temáticas sobre um determinado sector de actividade ou uma zona geográfica decorressem numa fase posterior.

6.4. Alguns Estados-Membros, nomeadamente a Espanha (13), a França (14), a Irlanda (15) e os Países Baixos (16) definiram igualmente um quadro para a avaliação intercalar; esta, segundo esses países, deve incidir sobre:

a) A evolução da situação socioeconómica;

b) A análise da estratégia e a sua coerência interna e externa;

c) As condições de execução que englobam a programação e os critérios de selecção, a organização administrativa, o dispositivo de acompanhamento e os circuitos de financiamento dos projectos;

d) A execução e as realizações, tendo em conta os resultados previstos;

e) Os primeiros efeitos obtidos, juntamente com uma avaliação dos efeitos esperados;

f) Os custos inerentes à avaliação da eficácia, ou seja, a relação entre os meios e os resultados;

e, caso seja necessário, conduzir a propostas de alteração em matéria de prioridades ou de acções previstas.

6.5. Embora o princípio da parceria tenha sido introduzido em 1988 como meio de garantir a eficácia dos FE, só a partir de 1995, com a avaliação intercalar do conjunto dos QCA 1994-1999, começou a desempenhar plenamente o seu papel no sistema de gestão descentralizada. Nessa altura, estabeleceu-se que os comités de acompanhamento ficariam incumbidos de adoptar os objectivos da avaliação, as normas de qualidade previstas que garantam a coerência do conjunto do processo, adaptar o caderno de encargos às particularidades das regiões em causa respeitando o objectivo do exercício, seleccionar os avaliadores com base em listas restritas preparadas pelos responsáveis pela avaliação (membro do comité de acompanhamento e relator comunitário) após a publicação do anúncio de concurso público. A avaliação intercalar contribuiu para o reforço da parceria, ao fazê-la intervir na análise causal das intervenções estruturais. Os quadros 5 e 6 indicam a execução operacional das avaliações intercalares e o contributo importante dos Estados-Membros no âmbito da parceria para a identificação do impacto dos FE.

6.6. A abordagem da avaliação intercalar no âmbito da parceria teve igualmente uma forte influência nas estruturas institucionais e nas tradições nacionais ou regionais das administrações responsáveis. Essa abordagem possibilitou uma melhor divulgação da cultura da programação plurianual, cuja avaliação é um elemento indispensável para se fazer um balanço crítico das intervenções estruturais e preparar os ajustamentos necessários. No âmbito do O1, a parceria em matéria de avaliação encontra-se particularmente bem desenvolvida.

6.7. Actualmente, os trabalhos de avaliação intercalar têm por objectivo fornecer respostas globais ao conjunto dos parceiros, desde o responsável pela concepção do programa até ao responsável político, passando pelo gestor. Esses trabalhos incluem relatórios bastante volumosos, com informações provenientes do próprio programa, da apreciação ex ante, dos relatórios anuais de execução e das avaliações intercalares ou ex post. Todavia, de acordo com declarações das entidades inquiridas durante os controlos, só uma parte dos resultados ou das recomendações são verdadeiramente úteis para o processo de decisão, a gestão dos projectos, a reprogramação ou a preparação da futura geração de intervenções.

Procedimentos de execução

6.8. Das 389 avaliações intercalares autorizadas, 320 incidem sobre os objectivos nºs 1, 2, 5b e 6 (17). Na maioria dos Estados-Membros, a execução dessas avaliações sofre atrasos consideráveis.

6.9. Inicialmente, o processo de avaliação intercalar deveria desenrolar-se em duas etapas distintas. A primeira fase tinha a ver com as possibilidades de avaliação e a identificação dos problemas conexos. A segunda fase consistia na avaliação propriamente dita, que seria concluída com a elaboração de um relatório. Na prática, este plano foi aplicado muito poucas vezes.

6.10. De um modo geral, a Comissão insistiu para que as avaliações intercalares fossem efectuadas por peritos externos, a fim de garantir, por um lado, a credibilidade de um determinado saber-fazer e, por outro, a imparcialidade das conclusões sobre a conformidade da estratégia, a coerência entre as análises socioeconómicas e a quantificação objectiva dos efeitos previstos. As necessidades em matéria de avaliação no domínio dos FE geraram, em poucos anos, uma rede de avaliadores externos reconhecidos pela Comissão e pelos Estados-Membros. Tal, não obstante trazer vantagens como, por exemplo, uma maior especialização neste domínio, acaba por delimitar um mercado específico.

6.11. Na prática, os controlos no local efectuados pelo Tribunal revelaram os factores que limitam a independência do consultor externo. Tendo em conta o tempo limitado de que o avaliador dispõe e que está dependente de facto dos gestores de programa relativamente à obtenção das informações necessárias, a separação das respectivas funções não é muita clara. Muitas vezes, os resultados obtidos em matéria de eficiência limitam-se a reproduzir e actualizar as informações do sistema de acompanhamento, sendo essas informações apresentadas como uma contribuição externa.

6.12. Além disso, para selecção de um consultor em matéria de avaliação nem sempre é seguido o procedimento de concurso público publicado em jornal oficial. Nos Países Baixos, o procedimento de selecção consistiu em convidar um número limitado de consultores que constavam de uma lista de potenciais avaliadores a apresentar propostas. A selecção foi feita na base dessas propostas.

6.13. Embora a Comissão participe regularmente nas reuniões dos comités de acompanhamento e tenha a possibilidade de fazer prevalecer os seus critérios em matéria de selecção de consultores, a sua intervenção neste processo nem sempre é uniforme. Assim, na Bélgica, Grécia e Portugal, a participação dos serviços da Comissão começa a partir da selecção do avaliador no âmbito dos grupos técnicos ou do comité de acompanhamento técnico ad hoc, responsáveis pela escolha do consultor e pelo acompanhamento da execução da avaliação. Em contrapartida, na França, os serviços da Comissão só são oficialmente informados após a escolha das duas propostas consideradas melhores. Nessa comunicação, acompanhada da proposta final, o Governador Civil, na sua qualidade de entidade adjudicante, solicita que lhe sejam transmitidas eventuais observações. No entender dos Países Baixos, a Comissão, que participa nos trabalhos do comité nacional que supervisa as avaliações ex ante, intercalares e ex post das regiões dos objectivos nºs 1 e 2, bem como nos trabalhos dos comités de acompanhamento, reagiu tardiamente ao conteúdo do projecto de relatório de avaliação intercalar do DOCUP O1 Flevoland.

Prioridades atribuídas aos objectivos da avaliação

6.14. No que diz respeito à execução das avaliações intercalares, a prioridade atribuída aos objectivos da avaliação é variável, com excepção da análise das realizações físicas e financeiras ao nível das intervenções, que desempenha um papel importante em todas as avaliações intercalares. Muitas vezes, os desenvolvimentos prioritários correspondem a uma verdadeira necessidade regional, como é o caso da Córsega em que a tónica foi colocada no tratamento dos problemas inerentes à gestão, ao acompanhamento e à relação entre a avaliação e o acompanhamento. A persecução de determinados objectivos da avaliação é dificultada por problemas de ordem técnica como, por exemplo, a medida dos indicadores para a avaliação do impacto.

6.15. É frequente as avaliações intercalares não darem suficiente importância à apreciação crítica da estratégia de desenvolvimento regional seleccionada, à viabilidade dos projectos financiados pelos FE, aos critérios de selecção dos projectos, aos efeitos e ao impacto no contexto dos objectivos específicos e gerais dos programas.

6.16. O valor acrescentado comunitário, cuja análise figurava nos objectivos das avaliações ex post dos QCA O1 e O2 para o período de programação de 1989-1993, é tratado pelas avaliações intercalares apenas a título excepcional.6.17. A evolução do contexto socioeconómico, um espaço de intervenção comunitária em que os contratos de avaliação prevêem, geralmente, o acompanhamento e a actualização, é tratada, em certos casos, de modo sistemático (por exemplo, através de mapas de gestão bastante elaborados no que diz respeito à região da Valónia) enquanto que, noutros casos, é tratada de forma insuficiente, influenciando directamente a qualidade e a actualização das análises dos pontos fortes/pontos fracos efectuadas, geralmente, no quadro da avaliação intercalar.

6.18. O respeito e a manutenção, no tempo, da coerência interna e externa de cada programa em todos os seus componentes (objectivos do programa, dos subprogramas e das medidas, relações de complementaridade e de sinergia entre os objectivos e entre as medidas) só raramente são analisados de forma sistemática. Por exemplo, no PO Brandeburgo, referente ao período de 1994-1996, as autorizações financeiras a favor dos eixos 1.1 (investimentos produtivos) e 1.2 (infra-estruturas) representam, respectivamente, 138 % e 242 % da previsão inicial, sem que o avaliador tenha dado qualquer justificação em matéria de estratégia de desenvolvimento regional. Por vezes, as sinergias são alvo de análises que se revelam, muitas vezes, incompletas. Este aspecto mereceria um tratamento mais sistemático, nomeadamente no que diz respeito às sinergias entre as actividades do FEDER e do FSE.

6.19. De igual modo, quando a avaliação visa explicitamente a reorientação das prioridades do programa e a afectação dos recursos, os trabalhos de avaliação nem sempre dão origem a uma apresentação global e coerente das alterações propostas ou a uma exposição de motivos. Para além disso, as implicações das prorrogações ou dos encurtamentos propostos a nível das medidas nem sempre são claramente especificadas.

6.20. A análise de um grande número de avaliações revela que o avaliador não conseguiu cumprir todos os objectivos previstos no contrato, nomeadamente no que diz respeito à avaliação do impacto. O tempo e os meios disponíveis nem sempre foram proporcionais aos objectivos.

Abordagens, métodos e técnicas

6.21. Dado que, muitas vezes, os objectivos da avaliação e as abordagens a aplicar são formuladas em termos gerais nos contratos, a escolha das abordagens, dos métodos e das técnicas é deixada ao critério dos avaliadores que, por vezes, os adaptam aos problemas surgidos durante a execução. Desse modo, os avaliadores acabam por transformar a única informação disponível em indicadores.

6.22. As técnicas e os métodos nem sempre foram desenvolvidos de forma a poder responder aos objectivos da avaliação. Como ainda não existe um verdadeiro consenso sobre a metodologia operacional adequada para avaliar o desenvolvimento regional, a Comissão limita-se a divulgar «as melhores práticas» em termos gerais, sem efectuar uma verdadeira coordenação ou harmonização da sua execução. Esta imprecisão, aliada às disparidades verificadas entre Estados-Membros em matéria de programação, execução ou avaliação, conduz à elaboração de relatórios de avaliação de qualidade variável e dificulta bastante a comparabilidade dos resultados a nível europeu.

6.23. Assim, as técnicas aplicadas na avaliação do impacto, nomeadamente no que diz respeito à especificidade e complexidade dos efeitos a avaliar, revelaram as seguintes lacunas:

a) Nem sempre foi efectuada uma busca aprofundada de indicadores ainda mais pertinentes. Por vezes, os indicadores previstos serviram apenas para avaliar a realização física e financeira;

b) Os indicadores de impacto nem sempre foram informativos;

c) A avaliação do impacto socioeconómico ou de desenvolvimento regional parece ser dificultada pela multiplicidade de acções, subprogramas e medidas (objectivo nº 1). Por outro lado, os inúmeros programas destinados a apoiar a reconversão e/ou a redinamização do tecido industrial (PO, iniciativas comunitárias, programas nacionais) podem ser objecto de uma mobilização conjunta. Além disso, as acções comunitárias e nacionais têm, por vezes, âmbitos diferentes e as suas datas de lançamento divergem. Por último, é frequente os objectivos não serem quantificados e serem formulados de um modo bastante generalizado (18). Neste contexto, nem sempre são evidentes as relações entre, por um lado, o diagnóstico dos problemas socioeconómicos que necessitam de resolução e os objectivos do conjunto das medidas, dos subprogramas e dos projectos executados e, por outro, entre os objectivos desse conjunto, dado que os indicadores físicos e de impacto atribuídos aos diferentes níveis de um programa não reflectem completamente as necessidades de avaliação do mesmo. Além disso, torna-se difícil identificar os resultados de cada programa e separá-los dos de outras acções a nível privado, regional ou nacional;

d) A modelização que permite avaliar os efeitos e impactos esperados com base em realizações intercalares e realizações ainda previstas, continua a ser pouco aplicada. A avaliação intercalar de certos QCA nacionais baseou-se num modelo input-output (Portugal) ou num modelo macroeconométrico (Espanha, Irlanda), enquanto que a modelização regional continua a ser bastante marginal. Neste contexto, merece ser citado o exemplo do modelo de desenvolvimento para a província de Hainaut (Bélgica), utilizado no âmbito da avaliação intercalar. A modelização dos efeitos no âmbito das medidas também não é muito utilizada, excepto no domínio das infra-estruturas de transporte. Importa referir a aplicação do modelo input-output ao projecto da Expo'98 (Portugal) no âmbito das avaliações ex ante e intercalar, embora as previsões devam ser consideradas cautelosamente;

e) A avaliação dos efeitos sobre o emprego também é precária. A aplicação de modelos e outras técnicas de análise e de inquérito não fornecem precisões suficientes sobre, por um lado, o volume líquido dos postos de trabalho gerados tomando em conta, nomeadamente, os postos de trabalho criados não atribuíveis à execução do programa, bem como os efeitos de substituição e, por outro, sobre o grau de durabilidade dos postos de trabalho não atribuíveis à execução do programa.

6.24. No âmbito da abordagem bottom-up e com o intuito de fazer uma apreciação quantitativa e qualitativa do contributo do programa comunitário, alguns contratos de avaliação prevêem a realização de inquéritos junto dos parceiros envolvidos no desenvolvimento económico local e dos beneficiários finais, incluindo empresas beneficiárias de apoios comunitários. Por vezes, os resultados dos inquéritos são sub-representativos, tendo em conta o número de empresas e parceiros que colaboraram nos inquéritos, sendo a sua fiabilidade limitada, uma vez que nem sempre são sujeitos a controlos.

6.25. Relativamente aos indicadores de resultado e de impacto, constata-se o seguinte:

a) Muitas vezes, são longos os prazos para obter dados e estatísticas;

b) Os dados existentes abrangem zonas geográficas que não correspondem às zonas ou bacias visadas;

c) Os dados sobre as empresas não são recolhidos ao nível dos estabelecimentos, o que falseia as estatísticas locais. Numa zona pode existir um único estabelecimento, embora a empresa possa ter várias filiais espalhadas pelo território nacional;

d) Muitos organismos de estatística não podem segmentar os dados globais de forma pormenorizada para circunscrever uma zona, uma bacia ou um determinado problema.

6.26. O avaliador, quando apresenta indicadores mais adequados para avaliar o impacto, seja para colmatar uma lacuna ou substituir os indicadores previstos, não dá informações sobre os mesmos, suscitando dúvidas quanto ao seu carácter operacional. Além disso, o avaliador nem sempre faz referência aos inquéritos que ainda faltam para a concretização desses indicadores, nem prevê os custos desses inquéritos. Saliente-se igualmente que, na ausência de informações sobre séries históricas, torna-se difícil a quantificação dos indicadores sobre os objectivos do programa.

Realização dos programas do objectivo nº 2 (1994-1996)

6.27. Os resultados da avaliação intercalar dos DOCUP, QCA e PO do período de 1994-1996, bem como os do acompanhamento, revelam ser inadequada a relação que existe entre o financiamento programado e a realização dos programas. Não obstante o grande número de adaptações aos programas feitas na última fase de programação 1994-1996 com o intuito de absorver os montantes das ajudas financeiras, uma média de 12 % das dotações do período de programação de 1994-1996 transitou para o período de programação de 1997-1999. Esta situação pode levar a que se torne preponderante a preocupação da absorção das dotações e a que se subestime o papel da avaliação, nomeadamente no que diz respeito à coerência entre os objectivos, os recursos afectados e o impacto das intervenções estruturais.

7. IMPACTO DOS FUNDOS ESTRUTURAIS E MODELOS DE AVALIAÇÃO

Impacto ao nível dos QCA e dos programas

Resultados dos modelos em matéria de impacto dos fundos estruturais

7.1. Os modelos utilizados no âmbito da avaliação macroeconómica no domínio dos FE (ver anexo III), tendo em conta as suas características específicas, fazem uma apreciação distinta do impacto dos FE relativamente:

a) À realização dos objectivos do FE no que diz respeito ao crescimento do PIB, à convergência real do PIB per capita, ao emprego e ao desemprego;

b) À satisfação das condições ligadas à execução dos FE, como a adicionalidade, o desenvolvimento durável (referindo, nomeadamente, o controlo da dívida pública e da balança de pagamentos), à distribuição dos rendimentos, ao respeito pelo ambiente;

c) Aos efeitos em termos de procura e oferta;

d) À eficácia dos instrumentos dos FE, como os investimentos públicos, os investimentos a nível de recursos humanos e os apoios às empresas privadas.

Crescimento do PIB

7.2. Como se pode verificar no quadro 7, os resultados dos principais modelos utilizados (HERMIN, OGM e DIO) no processo de apreciação do impacto dos FE revelam um crescimento positivo do PIB nos países abrangidos pelo Fundo de Coesão e, consequentemente, uma melhoria da convergência. Assim, em termos reais do PIB, o crescimento cumulativo da economia desses países, entre 1994 e 1999, decorrente das acções estruturais inscritas nos QCA, seria o seguinte: para Portugal 5,5 %, para a Grécia 5,9 %, para Espanha 2,6 % e para a Irlanda 3,3 %. Esses resultados pressupõem o cumprimento integral do princípio da adicionalidade, podendo ser alterados em caso de incumprimento (ver pontos 8.11 a 8.13). Por outro lado, os diferentes modelos macroeconómicos produziram uma série de resultados suficientemente coerentes para que o impacto dos QCA 1994-1999 em matéria de crescimento em termos reais do PIB anual possa ser considerado verosímil. Todavia, na sua maioria, os efeitos ligados à procura continuam a ser predominantes a curto prazo, enquanto que os efeitos sobre a oferta só se manifestam muito mais tarde. De igual modo, o modelo regional HELM, utilizado para a região de Hainaut, avalia o impacto do DOCUP em termos de crescimento anual do valor acrescentado total, como tendo registado um aumento de 1,7 % para 2,5 %, tomando por base o período 1994-2002. Já no caso do Mezzogiorno (Itália), o impacto dos FE sobre o crescimento parece ser bastante limitado, ou quase nulo. O modelo QUEST da Comissão, ao introduzir hipóteses sobre as antecipações das empresas e dos consumidores, apresenta estimativas dos efeitos sobre o crescimento e o emprego mais baixas do que os modelos precedentes. Os ganhos apresentados por este modelo no que respeita ao potencial de crescimento e à redução do desemprego fazem-se sentir apenas a longo prazo.

7.3. Em termos de aceleração média do crescimento anual decorrente das acções estruturais inscritas nos QCA, o quadro 8 indica que os efeitos multiplicadores de um crescimento de 1 % no PIB decorrente do QCA conduzem a um aumento do crescimento anual, no período 1994-1999, de 0,2 % para 0,3 % nos efeitos da procura e de 0,2 %, no máximo, nos efeitos de oferta. A nível económico, o domínio dos efeitos sobre a procura, destacado pelo modelo HERMIN, que desapareceriam com o corte dos apoios comunitários, apenas contribui para a realização dos objectivos definidos no artigo 130º-A do Tratado CE se os efeitos sobre a oferta tiverem um desenvolvimento duradouro e reforçarem as capacidades produtivas das regiões em causa. Na medida em que o desenvolvimento dos efeitos sobre a oferta ocorre muito mais tarde do que os sobre a procura, é possível que os correspondentes efeitos multiplicadores sejam subestimados.

Convergência real em termos de PIB per capita

7.4. Os modelos utilizados no âmbito dos FE mostram que o processo de convergência nem sempre é garantido e que determinadas programações dos QCA podem, na melhor das hipóteses, atenuar a divergência e não desenvolver a convergência.

7.5. No que diz respeito à Irlanda, as previsões de Bradley (HERMIN 1994) e Honohan (HERMIN 1997) incidiram sobre o que poderia ser o efeito do apoio dos QCA de 1989-1993 e 1994-1999 no PIB per capita. Bradley considera modesto o contributo do QCA 1994-1999 para esta recuperação. Honohan, pelo contrário, afirma que os QCA desempenham um papel significativo no processo de convergência. Por seu lado, Beutel (1997) é de opinião que a Irlanda acabará por apanhar o resto da Europa mesmo sem QCA 1994-1999, que aumentaria a taxa anual de crescimento em 0,6 %. Da mesma forma, a Espanha, Portugal e a Grécia registariam um aumento da taxa anual de crescimento de, respectivamente, 0,4 %, 1,1 % e 1 % para o período 1994-1999 graças ao impacto dos FE, o que, em qualquer caso, teve um efeito positivo sobre a convergência real em termos de PIB per capita.

7.6. As simulações previsionais feitas com o modelo OGM sobre a convergência em PIB real per capita em relação à média da União revelam estimativas que salientam que o contributo líquido dos QCA para a convergência continua a ser modesto para os países abrangidos pelo Fundo de Coesão, não obstante as previsões para a Irlanda em 1995 terem apontado um quadro demasiado pessimista (ver quadro 9).

7.7. No que diz respeito à região de Hainaut, o modelo HELM toma em consideração os aspectos da convergência real para a avaliação intercalar e prevê que, graças aos FE, a taxa anual previsional de crescimento passe de 1,4 % para 1,6 %, valor superior à média europeia, permitindo, assim, uma recuperação efectiva.

7.8. Essas previsões salientam que, dadas as diferenças existentes nas estruturas regionais ou sectoriais produtivas dos Estados-Membros do O1, os contributos dos FE produzem efeitos variáveis; confirmam também a necessidade de melhorar a qualidade da programação dos FE, de modo a que as suas intervenções, num intuito de convergência, permitam melhorar as capacidades produtivas da economia.

Emprego e desemprego

7.9. O quadro 10 sintetiza os resultados das avaliações do impacto dos FE sobre o emprego e o desemprego. Todos os estudos afirmam que os QCA são criadores de empregos líquidos. Regra geral, estes novos empregos são criados no sector dos serviços não comerciais, ao contrário do que acontece com os efeitos de produtividade dos QCA que se concentram particularmente no sector industrial. Por último, alguns estudos destacam uma diminuição do emprego no sector industrial em virtude de um aumento da produtividade do trabalho.

Eficácia dos instrumentos dos QCA

7.10. As avaliações HERMIN para países como a Espanha, Irlanda e Portugal revelam que os apoios aos investimentos públicos, nomeadamente os apoios consagrados às infra-estruturas, são mais produtivos em termos de crescimento do que os apoios aos investimentos em recursos humanos (com excepção da Espanha) e os apoios aos investimentos privados. Este facto é ilustrado no quadro 11 que mostra, por instrumento, o crescimento do PIB nacional derivado do aumento de 1 % do PIB total gerado pelo QCA durante o período de 1994-1999. O estudo HERMIN para a Grécia também concluiu que os investimentos em infra-estruturas («hard infrastructure») incluídos nos QCA contribuem em maior escala para o crescimento do PIB do que os investimentos em recursos humanos. A aplicação do modelo OGM (Pereira, 1991) para avaliar os efeitos da substituição dos apoios aos investimentos privados ou aos investimentos em recursos humanos por apoios adicionais aos investimentos em infra-estruturas revela que os FE impulsionam o crescimento do PIB e melhoram o processo de convergência.

Obrigação de adicionalidade e de co-financiamento

7.11. Os modelos também permitiram avaliar a importância da adicionalidade e do co-financiamento público. Assim, Honahan (HERMIN 1997) considera que, se não existisse a obrigação de co-financiamento público, a taxa de crescimento da economia irlandesa teria sido inferior em 1 % ao impacto do QCA e ter-se-ia registado igualmente uma taxa de crescimento menor a nível do emprego. Por outro lado, as previsões de Honahan apontam para uma redução mais significativa da relação dívida pública/PIB, bem como do excedente da balança de pagamentos se não existisse a obrigação de co-financiamento público. Relativamente a Portugal, de acordo com a avaliação HERMIN, o requisito do co-financiamento público dá ao PIB um ganho adicional acumulado da ordem de 1,3 %, mas origina uma evolução menos positiva em matéria de dívida pública.

7.12. A avaliação HELM para a região de Hainaut atribui grande importância à adicionalidade. Segundo esta avaliação, a taxa de crescimento médio do valor acrescentado para o período de 1994-1999 dos três cenários (política regional com DOCUP, prosseguimento da política regional sem apoio comunitário, política regional sem DOCUP) é de, respectivamente, 2,5 %, 1,7 % e 0,1 %, enquanto que a taxa de crescimento do emprego regista uma redução de 0,8 % para 0,2 %. A situação da indústria sofreu igualmente uma deterioração substancial. A avaliação HELM demonstrou igualmente que, variando a taxa de subvenção, o apoio ao investimento não fomenta este último na mesma medida, e que com níveis de ajudas mais baixos ter-se-iam realizado numerosos investimentos.

Desenvolvimento durável

7.13. Através do quadro 10 é possível constatar que os efeitos dos FE sobre o saldo da balança comercial, da balança corrente ou da dívida pública nem sempre são objecto de avaliação. Para além disso, os vários estudos efectuados apresentam conclusões diferentes. Assim, enquanto que, em certos casos, a expansão económica induzida pelos QCA permite melhorar as finanças públicas através da fiscalidade, segundo outros modelos o QCA é responsável pela criação de défices orçamentais.

Papel da avaliação a nível macroeconómico no processo decisório dos fundos estruturais

7.14. Tendo em conta os efeitos a curto prazo dos FE sobre a procura, a avaliação intercalar tem tendência a sobrestimar os problemas da absorção dos fundos comunitários junto das autoridades políticas e a subestimar os efeitos a mais longo prazo sobre a oferta. Deste modo, as reorientações ou reprogramações dos PO ou QCA podem sofrer distorções. Com efeito, as medidas ou projectos que não sejam céleres em absorver as dotações comunitárias correm o risco de serem suprimidos, nomeadamente em domínios de execução complexa, como a inovação ou as novas tecnologias, a favor de estruturas já existentes com níveis de produtividade bastante mais fracos, nem sempre sendo considerados os aspectos macroeconómicos do desenvolvimento sustentável.

7.15. Neste contexto, as avaliações macroeconómicas complementares que incluem os aspectos ligados à sustentabilidade, ao crescimento ou à convergência, são indispensáveis antes de qualquer tomada de decisão a nível da programação inicial e do seu reajustamento. Com efeito, numa série de casos, como em Espanha, na Grécia ou nos novos Länder alemães, já foram efectuadas reprogramações no âmbito da avaliação intercalar sem que tivesse sido feita uma análise global séria no plano macroeconómico. No que diz respeito às regiões do O1 na Alemanha, não foi efectuada qualquer análise macroeconómica aquando da avaliação intercalar.

Impacto ao nível dos subprogramas, das medidas e dos projectos

7.16. Existe um número bastante reduzido de avaliações a nível do impacto dos subprogramas e medidas, não obstante o facto de estes constituírem o motor da programação dos FE. A dispersão, a indefinição e falta de coerência de muitos subprogramas ou medidas, bem como a quantificação insuficiente dos correspondentes objectivos específicos, podem ajudar a explicar as dificuldades da avaliação do impacto.

7.17. Esta lacuna dificulta quaisquer esforços para identificar e avaliar a sinergia e a complementaridade entre as medidas ou entre os diferentes programas. Além disso, as relações entre os objectivos gerais do programa e os objectivos específicos dos subprogramas ou das medidas são, muito frequentemente, pouco claros. Deste modo, os relatórios de avaliação intercalar revelaram uma série de problemas de coerência nos programas dos QCA 1994-1999 O1.

7.18. Além disso, são raras as técnicas adaptadas à avaliação do impacto de um subprograma ou de uma medida específica. Deste modo, os modelos macroeconómicos antes descritos apenas permitem fornecer uma avaliação da eficácia dos principais instrumentos dos QCA (investimentos públicos, investimentos privados e investimentos em recursos humanos) no que diz respeito ao seu contributo para o crescimento do PIB. As despesas com infra-estruturas, complementares ao capital privado, parecem aumentar o rendimento deste último e acelerar mais a convergência do que outras formas de investimento (ver quadro 11).

7.19. Contudo, a selecção das medidas ou dos subprogramas que constituem o programa, bem como o respectivo financiamento, não é neutra em termos do impacto do desenvolvimento regional em matéria de crescimento endógeno durável. Os trabalhos de avaliação levados a cabo pela Comissão ou pelos Estados-Membros, no âmbito da parceria ao nível dos subprogramas ou das medidas, ainda são insuficientes para permitir examinar as consequências de uma medida específica em outras zonas ou sectores ou fazer uma comparação entre essa medida e outras medidas com objectivos similares. Além disso, a análise do impacto das medidas ou dos subprogramas deverá igualmente ter em conta a arbitragem inicial entre o crescimento e a igualdade interregional que determinou a sua escolha, de modo a ponderar os ganhos de eficácia esperados e realizados.

7.20. A nível dos projectos, a análise custos/vantagens é, em princípio, elaborada com vista à aprovação do financiamento do projecto. Em conformidade com o disposto no artigo 5º do Regulamento (CEE) nº 2083/93 (FEDER), esta análise é obrigatória para os grandes projectos cujo custo total é superior a 25 milhões de ecus para os investimentos em infra-estruturas e a 15 milhões de ecus para os investimentos produtivos. Estas apreciações ex ante dos grandes projectos fazem parte da apreciação dos pedidos de apoios comunitários e determinam o montante do financiamento; no entanto, a avaliação ex post não está prevista nos regulamentos dos FE e não pode ser exigida pela Comissão para efeitos de verificação da concretização efectiva das vantagens socioeconómicas esperadas face aos recursos comunitários afectos para o efeito. Esta deficiência no processo de avaliação de grandes projectos torna inoperante o próprio conceito de avaliação, uma vez que a apreciação ex ante apenas se justifica caso haja, efectivamente, uma avaliação ex post. Além disso, estes estudos microeconómicos e sectoriais poderiam igualmente avaliar o potencial impacto dos FE sobre a produtividade e transformarem-se, desse modo, num instrumento eficaz para analisar esse impacto a curto ou a médio prazo.

7.21. Aquando da avaliação de projectos, também devem ser tomadas em consideração as sinergias e as complementaridades, cuja avaliação continua a ser insuficiente ou superficial. De modo a não fragilizar o impacto previsível, é indispensável que as complementaridades e as sinergias entre projectos sejam adequadas.

7.22. Ainda que a avaliação intercalar aborde os problemas de gestão dos programas, muitas vezes não tem em conta os critérios que determinaram a selecção dos projectos, tal como a duração do projecto ou a sua contribuição para o desenvolvimento regional. Com efeito, o sistema de gestão dos programas deve ter capacidade para garantir uma utilização dos critérios de selecção dos projectos capaz de optimizar os resultados dos programas. Seria necessário evitar, nomeadamente, os projectos com um fraco valor acrescentado em matéria de desenvolvimento, mesmo que estes apresentem a vantagem de consumir as dotações muito rapidamente. É necessária uma maior transparência no sistema de selecção de projectos, de modo a permitir o seu controlo e a assegurar a sua possibilidade de avaliação.

8. CONCLUSÃO

8.1. A avaliação das intervenções estruturais comunitárias resulta das obrigações regulamentares decorrentes das decisões do Conselho, sendo bastante utilizada no âmbito da parceria. A avaliação tornou-se um sistema de apoio à concepção e gestão das intervenções e contribui para um melhor conhecimento dos seus efeitos e da sua utilidade. No ano de 1997, mais de 250 avaliações intercalares relativas ao período de 1994-1999 foram concluídas a nível dos comités de acompanhamento (19).

8.2. Com a revisão da reforma dos FE, a avaliação entra numa fase de maturidade que importa desde já consolidar através de um melhor enquadramento metodológico. Assim, há que concentrar esforços para determinar os métodos de avaliação mais adequados para avaliar o impacto socioeconómico dos programas no âmbito do desenvolvimento regional, relativamente ao qual o programa MEANS não deu uma resposta satisfatória.

8.3. Deveria igualmente ser feito um esforço importante no domínio dos indicadores a todos os níveis em matéria de pertinência, modos de informação e respectivos custos. De igual modo, deveria ser feito um esforço para formalizar os aspectos qualitativos. Se não forem realizados progressos nestes domínios, o processo de avaliação corre o risco de estagnar.

8.4. O mesmo acontece no que diz respeito às bases estatísticas, cujas lacunas põem em questão a validade dos indicadores e condicionam fortemente o processo de acompanhamento e de avaliação.

8.5. A multiplicidade de indicadores existentes, mais ou menos pertinentes, prejudica a qualidade da avaliação e impede que esta se torne funcional. Deveria ser cuidadosamente seleccionado um pequeno número de indicadores de impacto indispensáveis para justificar ou reorientar uma política estrutural, tendo em conta as obrigações da regionalização dos dados e as possibilidades materiais da recolha de informações. A fiabilidade dos indicadores referidos deve ser objecto de controlo. A comparabilidade dos indicadores e a sua agregação à escala europeia também devem ser melhoradas.

8.6. Para que a avaliação possa ser tida em conta no processo decisório e na gestão operacional dos FE, importa garantir a transparência e a objectividade das avaliações, a correspondência dos seus objectivos às necessidades e uma data de finalização adequada.

8.7. De modo a garantir a objectividade dos resultados da avaliação, há que preservar a independência dos avaliadores face aos gestores e às autoridades públicas envolvidas.

8.8. A utilização de um quadro de referência comum facilitaria a leitura e a comparabilidade dos relatórios de avaliação, bem como o intercâmbio de experiências.

8.9. Para cada avaliação deveriam ser definidos objectivos mais operacionais. Os termos de referência e os cadernos de encargos que, regra geral, são aprovados pela Comissão, deveriam indicar claramente qual a metodologia mais adequada para tratar de aspectos regionais, sectoriais ou nacionais ou para incidir especificamente nos efeitos a curto ou a longo prazo. Quaisquer outras metodologias devem ser sujeitas a uma análise de pontos fortes/pontos fracos em comparação com a metodologia da Comissão. Além disso, o quadro de referência de cada avaliação deveria incluir uma lista mínima de indicadores proposta pela Comissão para avaliar a eficiência dos objectivos dos programas, por forma a garantir à análise a coerência indispensável. Outros indicadores de situação socioeconómica e estrutural podem, naturalmente, ser utilizados para completar e aperfeiçoar a análise.

8.10. Considerando a diversidade das abordagens à avaliação, a Comissão deve exigir aos avaliadores que expliquem mais claramente a sua abordagem na fase de concurso, nomeadamente o tipo de efeitos ou de impacto que é suposto avaliar, bem como a sua duração, de modo a poder julgar da exaustividade das metodologias utilizadas. Além disso, a avaliação deveria incluir uma análise pormenorizada das relações entre os objectivos dos programas, os eixos e as medidas aplicadas para a sua concretização, bem como a necessária articulação «em cascata» dos objectivos/resultados/realização dos programas, eixos e medidas.

8.11. Neste contexto, é necessário uma melhor segmentação da avaliação em função dos destinatários envolvidos, de modo a melhorar a eficácia e dar uma resposta mais adequada às suas expectativas específicas, nomeadamente no domínio das avaliações intercalares. De igual modo, deveria procurar-se um melhor controlo dos custos, dado que a Comissão nem sempre conhece os montantes afectados às despesas com avaliações no âmbito da parceria.

8.12. A Comissão deveria igualmente indicar os aspectos da política regional que devem ser objecto de uma avaliação especial: adicionalidade, convergência, parceria, concentração, emprego, desenvolvimento económico endógeno ou bem-estar social. A avaliação da eficácia das intervenções estruturais não pode ser unicamente ajuizada pelo critério PIB per capita.

8.13. A avaliação dos efeitos, do impacto e do valor acrescentado comunitário deve assentar em modelos de desenvolvimento nacional e regional a nível do programa e em modelos de impacto das medidas.

8.14. Os resultados macroeconómicos das acções estruturais devem ser mais aperfeiçoados tendo em conta as imperfeições dos modelos subjacentes às mesmas, os efeitos secundários provocados por essas acções e o conjunto dos efeitos das mesmas sobre o bem-estar social.

8.15. A modelização macroeconómica faz uma distinção fundamental entre os efeitos sobre a procura a curto prazo e os ajustamentos estruturais da oferta. A programação das intervenções dos FE deveria colocar a tónica na melhoria da capacidade produtiva da economia, a fim de garantir a permanência dos efeitos e evitar uma dependência demasiado acentuada da procura, cenário esse que poderia conduzir a uma situação em que o apoio comunitário se tornaria indispensável a longo prazo.

8.16. Uma vez que os efeitos sobre a oferta só são visíveis a mais longo prazo, a avaliação intercalar é geralmente levada a prestar maior atenção aos efeitos sobre a procura. A Comissão deveria levar a cabo uma acção tendente a desenvolver os instrumentos necessários ao acompanhamento e à avaliação dos efeitos estruturadores sobre a economia.

8.17. Através dos modelos macroeconómicos, chega-se igualmente à conclusão de que uma política de crescimento económico nem sempre é compatível com o desenvolvimento durável. Seria necessário analisar mais detalhadamente as relações entre o impacto sobre o crescimento e os efeitos sobre o desenvolvimento durável e ter em conta esta dualidade, de modo sistemático, na programação das intervenções dos FE.

8.18. Não é fácil identificar os efeitos da obrigação de adicionalidade e de co-financiamento público, que nem sempre são examinados. Deveriam ser efectuadas análises mais sistemáticas e aprofundadas nesta área.

8.19. A avaliação em si não pretende substituir o processo de decisão política que integra considerações mais amplas, devendo, contudo, ser um instrumento indispensável à gestão sã e eficaz das intervenções estruturais comunitárias que têm em conta os resultados socioeconómicos.

O presente relatório foi aprovado pelo Tribunal de Contas, no Luxemburgo, na sua reunião de 23 de Setembro de 1998.

Pelo Tribunal de Contas

Bernhard FRIEDMANN

Presidente

>POSIÇÃO NUMA TABELA>

>POSIÇÃO NUMA TABELA>

>POSIÇÃO NUMA TABELA>

>POSIÇÃO NUMA TABELA>

>POSIÇÃO NUMA TABELA>

>POSIÇÃO NUMA TABELA>

>POSIÇÃO NUMA TABELA>

>POSIÇÃO NUMA TABELA>

>POSIÇÃO NUMA TABELA>

>POSIÇÃO NUMA TABELA>

>POSIÇÃO NUMA TABELA>

(1) Trata-se, nomeadamente, do:

a) Artigo 6º do regulamento-quadro [Regulamento (CEE) nº 2052/88, com a última redacção que lhe foi dada pelo Regulamento (CEE) nº 2081/93], relativo às missões dos fundos com finalidade estrutural, à sua eficácia e à coordenação das suas intervenções;

b) Artigo 26º do regulamento sobre a coordenação dos fundos [Regulamento (CEE) nº 4253/88, com a última redacção que lhe foi dada pelo Regulamento (CEE) nº 2082/93].

(2) Por vezes, a «apreciação ex ante» é designada por «avaliação ex ante». No presente relatório, o Tribunal preferiu manter o termo regulamentar «apreciação ex ante».

(3) A acção comunitária estrutural está concebida como um complemento das correspondentes acções nacionais ou como um contributo para as acções nacionais. É fixada através de uma concertação estreita, designada por «parceria», entre a Comissão, o Estado-Membro, as autoridades regionais e locais e as outras autoridades competentes, os parceiros económicos e sociais e os outros organismos competentes. A parceria é levada a cabo no pleno respeito pelas competências institucionais, jurídicas e financeiras de cada parceiro envolvido.

(4) Nos seus relatórios anuais relativos aos exercícios de 1990 (capítulo 7), 1993 (capítulos 6, 7, 8 e 9) e 1994 (capítulo 4), o Tribunal referia uma série de carências em matéria de avaliação para o período de programação de 1989-1993.

(5) Trata-se das seguintes avaliações:

a) Para o período de programação de 1989-1993:

- apreciações ex ante dos QCA O1 e O5b (1990-1991),

- avaliações ex post dos QCA O1 (1994-1995),

- avaliações ex post dos QCA O2 (1996-1997),

- avaliações temáticas (PME, telecomunicações);

b) Para o período de programação de 1994-1999:

- apreciações ex ante dos planos de desenvolvimento regional O1,

- apreciações ex ante dos programas O5b,

- apreciações ex ante dos DOCUP O2 1994-1996,

- apreciações ex ante dos DOCUP O2 1997-1999,

- análises críticas dos DOCUP e QCA O1 (1995).

A Comissão também encomendou avaliações, por Estado-Membro, do impacto das políticas estruturais europeias sobre a coesão económica e social da União Europeia.

(6) Nota da DG XXII de 14 de Março de 1991.

(7) a) A elaboração, em 1994, dos primeiros «termos de referência para a avaliação contínua dos QCA e das formas de intervenção do objectivo nº 1». Estes termos confirmam o papel da avaliação intercalar como instrumento auxiliar dos comités de acompanhamento para a tomada de decisões, bem como a sua realização em regime de parceria. Também estabelecem as modalidades de execução, nomeadamente o perfil da equipa de avaliação e as tarefas que lhe são incumbidas;

b) A divulgação, em 1995, das «Orientações comuns para o acompanhamento e as avaliações intercalares», para os FE comunitários, que definem os elementos de análise (objectivos gerais e específicos, indicadores), bem como a relação entre o acompanhamento e a avaliação intercalar;

c) O envio de cartas aos Estados-Membros em 1995 que recordavam a estes a obrigação da avaliação intercalar e definiam novamente as modalidades de execução desejadas.

(8) Como:

a) A Conferência de Bruxelas sobre a avaliação da política regional europeia (16 de Novembro de 1995), no que diz respeito, nomeadamente, aos resultados das avaliações ex post do O1 (1989-1993) e das apreciações ex ante (1994-1999);

b) A Conferência Europeia sobre os métodos de avaliação das intervenções dos FE (Berlim, 2 e 3 de Dezembro de 1996), que incidiu, essencialmente, sobre os problemas de avaliação do impacto nos planos microeconómico, macroeconómico e temático;

c) A Conferência de Sevilha (Março de 1998), com o intuito de fomentar as trocas de experiências em matéria de avaliação no âmbito da parceria.

(9) Este programa é gerido em conjunto pela Comissão e por um consultor externo, cuja participação é financiada pela rubrica orçamental B2-1 8 2 0, sendo atribuído um montante anual de 932 000 ecus.

(10) Os obstáculos à abordagem por programa são os seguintes:

i) Prazos de planificação curtos que implicam, nomeadamente, a ausência de uma avaliação ex ante;

ii) Ausência de objectivos concretos e de indicadores quantificados em matéria de realização, resultado e impacto;

iii) Restrições administrativas, sobretudo quando os subprogramas pertencentes a um mesmo programa dependem de administrações diferentes, ou quando se verifica um cruzamento entre as abordagens sectoriais e regionais;

iv) Deficiências nas normas comunitárias que conduzem nomeadamente, à aprovação, no âmbito de iniciativas comunitárias, de projectos rejeitados pelos PO O1;

v) A abordagem por projecto do Fundo de Coesão, que também não favorece uma aplicação harmoniosa da abordagem por programa.

(11) Todavia, isso não implica a criação de postos de trabalho, pois o modelo econométrico baseia-se na hipótese do pleno emprego e as empresas são confrontadas com sobrecapacidades de produção quando passam por um ciclo económico fraco.

(12) O oitavo relatório anual sobre os FE apresenta importantes efeitos de alavanca referentes aos resultados brutos, tais como a criação de postos de trabalho ou de empresas.

(13) «Evaluación intermedia de programas operativos regionales del objetivo nº 2 (fase 1994-1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones técnicas», 23 de Maio de 1996.

(14) DATAR, calendário regulamentar e administrativo.

(15) «General criteria to underpin Terms of Reference for Mid-Term Evaluation of Operational Programmes/Community Initiatives».

(16) «Evaluatiekader voor de programma's van de Europese Structuurfondsen, Terp Advies-CBEA Pieter van Run», Dezembro de 1997.

(17) Dessas avaliações, 36 foram analisadas localmente e/ou na Comissão.

(18) Por exemplo: revitalização do mundo rural, reforço do tecido económico na região, alterações estruturais a nível do desenvolvimento regional.

(19) Os comités de acompanhamento são constituídos por representantes das instâncias nacionais em causa e da Comissão.

ANEXO I

SÍNTESE DA METODOLOGIA A APLICAR NO ÂMBITO DA AVALIAÇÃO EX POST DOS QCA DO OBJECTIVO Nº 1 PARA 1989-1993

1. Os principais objectivos da avaliação ex post dos QCA O1 de 1989-1993 foram os seguintes:

a) Apreciar a estratégia e os objectivos incluídos nos QCA e extrair os ensinamentos para futuras acções. Em relação aos objectivos inicialmente determinados, analisar as consequências da redefinição e adaptação das intervenções no decurso do período de execução;

b) A nível dos QCA e PO, efectuar um primeiro balanço das realizações físicas das acções significativas e fazer uma primeira apreciação do seu impacto;

c) Analisar a eficácia dos mecanismos de execução e extrair os ensinamentos para eventuais adaptações no futuro.

2. O principal consultor, responsável pela coordenação das avaliações efectuadas por outros consultores dos Estados-Membros envolvidos, elaborou as seguintes abordagens metodológicas:

a) Para o primeiro objectivo, a fim de avaliar a lógica inerente aos QCA e PO e aos respectivos ajustamentos a partir de 1989 e, mais concretamente, para analisar as suas causas, o valor acrescentado comunitário, a coerência interna, a coerência externa, a pertinência da estratégia face aos problemas e a adequação dos financiamentos, deviam ser levadas a cabo as seguintes tarefas no âmbito de uma abordagem top-down:

- recolha de informações e dados-chave: dados financeiros, objectivos ex ante, outputs/efeitos esperados, grupos e domínios-alvo, principais instrumentos utilizados, número de projectos/medidas aprovadas, número de projectos realizados,

- descrição do ambiente do programa e respectiva evolução (situação inicial - situação actual), identificação dos factores externos que influenciam a evolução do programa e respectivo êxito/fracasso, análise dos problemas e das causas de base, concretização dos indicadores-chave do desenvolvimento regional, incluindo os indicadores associados à alteração das disparidades,

- identificação dos instrumentos de política (empréstimos, subvenções, assistência técnica),

- hierarquização dos objectivos, identificação dos níveis hierárquicos e das relações entre objectivos e instrumentos;

b) Para o segundo objectivo, as análises a efectuar seriam baseadas simultaneamente em abordagens top-down e bottom-up:

- análise dos outputs e dos efeitos a nível de PO, medidas e projectos, tendo em conta as «perdas líquidas» e os efeitos de substituição e multiplicação,

- análise da eficácia relativa das medidas e de combinações de medidas; análise dos factores causais de êxitos/fracassos,

- comparação de outputs e inputs,

e, igualmente, a concretização de indicadores-chave e facultativos;

c) Para o terceiro objectivo, o objectivo consistia em analisar a eficácia dos mecanismos de execução a nível do QCA e PO e de um reduzido número de medidas, bem como em identificar as melhorias realizadas e a realizar no processo de programação, execução, acompanhamento e avaliação. Para cada Estado-Membro, deviam ser examinados os mecanismos de decisão, planificação, controlo financeiro, execução, acompanhamento, controlo, bem como os circuitos financeiros, a parceria, a adicionalidade, a coordenação dos fundos e o processo de simplificação e de harmonização mais flexível e mais transparente. Para uma pequena amostra de medidas/grandes projectos, a execução e o acompanhamento deviam ser objecto de uma análise aprofundada;

d) Foram seleccionadas amostras ad hoc de programas, medidas e projectos, visando, por um lado, informar sobre um número limitado de indicadores físicos e de impacto e, por outro, realizar análises aprofundadas.

ANEXO II

SÍNTESE DA ABORDAGEM DA AVALIAÇÃO EX POST DO OBJECTIVO Nº 2 PARA 1989-1993

A avaliação ex post das intervenções comunitárias no âmbito do objectivo nº 2 relativamente ao período de programação de 1989-1993 que, em geral, inclui componentes FEDER e FSE, compreendeu o seguinte:

a) Análises gerais sobre todas as regiões e zonas abrangidas pelo O2, com vista a estabelecer uma comparação entre a situação socioeconómica nos períodos anterior e posterior à intervenção dos FE no âmbito do O2, procurando efectuar também uma análise da estratégia aplicada, da hierarquização dos objectivos, prioridades e medidas, dos indicadores, dos efeitos planeados e não planeados, das sinergias entre os diversos componentes dos programas e da integração dos diversos fundos. Estas análises deviam basear-se no conteúdo dos QCA e PO, nos relatórios de execução anuais ou nos relatórios apresentados ao comité de acompanhamento, bem como nas avaliações ex ante e ex post, nos casos em que estivessem disponíveis;

b) Estudos aprofundados sobre 22 regiões, com os seguintes objectivos:

- estudo aprofundado dos QCA, PO e tipos de medidas adaptadas,

- análise das estruturas institucionais e das modalidades de gestão dos programas,

- avaliação dos impactos e dos efeitos de