INFORME ESPECIAL N° 15/98 sobre la evaluación de las intervenciones de los Fondos Estructurales para los períodos 1989-1993 y 1994-1999, acompañado de las respuestas de la Comisión (presentado de conformidad con el segundo párrafo del apartado 4 del artículo 188 C del Tratado CE) (98/C 347/01)

1. INTRODUCCIÓN

1.1. La reforma de los Fondos Estructurales de 1988 introdujo la obligación para la Comisión y los Estados miembros de evaluar las políticas estructurales europeas. En 1993, se reforzó esta obligación mediante la reglamentación modificada con motivo de la revisión de la reforma de los Fondos Estructurales (1994 1999), y las cláusulas normalizadas de los nuevos Marcos comunitarios de apoyo (MCA) y de los documentos únicos de programación (DOCUP).

1.2. La evaluación, instrumento indispensable para una buena gestión de los Fondos Estructurales, se define en las principales disposiciones reglamentarias (1) como una apreciación de la eficacia a tres niveles:

a) el impacto del conjunto de las acciones estructurales sobre los objetivos contemplados en el artículo 130 A del Tratado;

b) el impacto del conjunto de las acciones previstas en los MCA;

c) el impacto específico de cada intervención operativa (programas y otras formas de intervención).

1.3. La ejecución de la evaluación consta de tres fases principales:

a) la apreciación previa (ex ante) (2), durante la cual han de identificarse correctamente, por una parte, los problemas socioeconómicos existentes y los objetivos a alcanzar y, por otra, la estrategia adoptada con los medios disponibles para responder a ellos;

b) la evaluación intermedia, que permite comprobar, durante la ejecución de un programa, si los objetivos siguen teniendo validez y si los resultados deseados llevan camino de alcanzarse;

c) la evaluación posterior (ex post), que se emprende cuando ha concluido el programa y sirve para analizar si los resultados y efectos obtenidos pueden considerarse positivos, teniendo en cuenta por supuesto que los efectos a largo plazo de una acción estructural no pueden comprenderse hasta varios años después de su finalización.

1.4. La reglamentación, modificada en 1993, subraya la responsabilidad tanto de los Estados miembros como de la Comisión en materia de evaluación, que se inscribe en el marco de la cooperación (3). En este contexto, la Comisión ha tomado la iniciativa de la dirección y coordinación general de la ejecución de la evaluación y presenta un informe trienal de evaluación, previsto en el artículo 16 del Reglamento (CEE) n° 2052/88, sobre los progresos realizados en materia de cohesión económica y social y sobre la contribución a ellos de los fondos y la cofinanciación nacional.

2. ALCANCE DE LA AUDITORÍA

2.1. El objetivo general de la encuesta del Tribunal (4) era comprobar los progresos realizados en materia de evaluación de las intervenciones estructurales comunitarias tanto en lo que se refiere a los sistemas y procedimientos de evaluación como desde el punto de vista metodológico. El examen se centró en las modalidades de ejecución de la evaluación tanto por parte de la Comisión como en el marco de la cooperación. Se examinaron la utilización legal y regular de los créditos del presupuesto de las Comunidades Europeas destinados a la evaluación, así como la calidad de la gestión financiera.

2.2. En el marco de la encuesta se examinaron también las técnicas de evaluación de la repercusión socioeconómica de las acciones estructurales. Aunque no se pretendía realizar una evaluación directa de los programas que produjese nuevos resultados científicos, se mencionan algunos de los resultados comprobados por expertos con el fin de captar mejor la relación existente entre los instrumentos de política económica utilizados y los resultados obtenidos.

2.3. Se realizaron encuestas específicas sobre las evaluaciones posteriores de los MCA y los programas operativos (PO) de los objetivos 1 y 2 para el período de programación de 1989 1993 y sobre las evaluaciones intermedias de los MCA, DOCUP y PO del período de programación de 1994 1999. Se tuvieron en cuenta todas las evaluaciones posteriores de los MCA 1989 1993 del objetivo 1, así como en torno al 20 % de los informes de evaluación posterior de los MCA 1989 1993 del objetivo 2 y el 15 % de los informes de evaluación intermedios del MCA 1994 1999, seleccionados en función de su distribución geográfica y de la naturaleza de las intervenciones (MCA, DOCUP, PO). Por otra parte, de los 25 informes de evaluación relativos principalmente a aspectos macroeconómicos se analizaron 15. La encuesta se llevó a cabo entre los servicios de la Comisión y en ocho Estados miembros (Bélgica, Grecia, España, Francia, Irlanda, Italia, Países Bajos, Portugal), donde se consultó a los evaluadores y a los responsables de las administraciones nacionales.

3. RESUMEN DE LAS PRINCIPALES OBSERVACIONES

3.1. La evaluación se desplegó y difundió por impulso de la Comisión en el curso del período de programación 1994 1999, especialmente en el marco del FEDER. Ello tuvo como consecuencia el reconocimiento de dicho instrumento en el marco de la gestión y la programación. A partir de este período de programación (1994 1999) se aplica sistemáticamente la evaluación en las dos primeras fases (previa e intermedia) y también al final del período (evaluación posterior) (véanse los puntos 4.2 4.8).

3.2. La Comisión, aun conociendo sus gastos directos para la evaluación, no dispone siempre de la totalidad de las informaciones concernientes a los gastos correspondientes a la evaluación en el marco de la cooperación (véanse los puntos 4.9 4.11).

3.3. La Comisión ha contribuido decisivamente a difundir la cultura de la evaluación, aun cuando no ha ofrecido una definición suficiente sobre los indicadores ni sobre la metodología de evaluación en su programa «Métodos de evaluación de las acciones de naturaleza estructural» (MEANS). Habida cuenta de la complejidad de los aspectos metodológicos de la evaluación, no existe una única metodología aplicable a toda situación específica. Sin embargo, es importante que la Comisión esté en condiciones de ofrecer directrices metodológicas que permitan disponer de las orientaciones adecuadas para llevar a cabo evaluaciones adaptadas a situaciones concretas (véanse los puntos 4.12 4.13).

3.4. La calidad de los indicadores está estrechamente ligada a la fiabilidad de los datos resultantes del seguimiento de las intervenciones y de las bases estadísticas existentes, las cuales, al ser competencia de los Estados miembros, resultan a menudo insuficientes; los Estados miembros deberían mejorar su calidad (véanse los puntos 4.14 4.21).

3.5. Muchas evaluaciones concluyen tarde, lo que puede retrasar los ajustes de los programas. Por otra parte, los resultados de la evaluación en términos de rendimiento o de eficacia de las formas de intervención podrían tenerse más en cuenta en el sistema de toma de decisiones relativo a las reprogramaciones (véanse los puntos 4.22 4.27).

3.6. En cuanto a la objetividad de las evaluaciones, la Comisión no procede a ningún control sobre el terreno de la coherencia y la fiabilidad de los indicadores o de los sistemas que los producen (véanse los puntos 4.29 4.30).

3.7. Los procedimientos empleados por la Comisión para la celebración de los contratos de consultores en materia de evaluación siguen presentando importantes puntos débiles. La elección de los consultores no siempre está claramente justificada. Los pliegos de condiciones siguen siendo muy generales por lo que respecta a la técnica propia de la metodología, los indicadores o las obligaciones de resultado. De ello se derivan retrasos y trastornos en la elaboración de los informes de evaluación, una calidad variable del análisis y, a veces, recomendaciones vagas (véanse los puntos 4.31 4.36).

3.8. La aplicación de las metodologías relativas a las evaluaciones posteriores de los objetivos 1 y 2 (1989 1993) tuvo que hacer frente a lagunas estadísticas, a una ausencia de objetivos e indicadores de previsiones cuantificados y a un seguimiento de los efectos ineficaz, y no siempre se ha llevado a cabo de manera suficientemente rigurosa; además, se realizó de forma imperfecta y heterogénea. Con todo, dichas evaluaciones pusieron de manifiesto la existencia de un valor añadido comunitario de los Fondos Estructurales tanto en lo que se refiere a realizaciones, resultados y efectos de los MCA, los PO y las medidas como en materia de programación, organización, seguimiento, coordinación, cooperación y adicionalidad (véanse los puntos 4.15 4.19, 5.1, 5.4 y 5.10 5.16).

3.9. Por lo que respecta a las evaluaciones intermedias de las intervenciones de los Fondos Estructurales 1994 1999, realizadas en cooperación en el marco de los comités de seguimiento, la prioridad concedida a los distintos objetivos de evaluación es variable, aunque en todas ellas ocupe un importante lugar el examen de las realizaciones físicas y financieras. La evaluación de los efectos se vio obstaculizada por problemas relativos a los indicadores y a la modelización de los efectos. Muy a menudo, no deja de ser relativa la utilidad de estas evaluaciones para el proceso de toma de decisiones, la gestión de los proyectos, la reprogramación o la preparación de intervenciones futuras (véanse los puntos 4.16 4.21, 6.5, 6.7 y 6.14 6.26).

3.10. En lo que se refiere concretamente al objetivo 2, la evaluación ha puesto de manifiesto los siguientes puntos débiles:

a) la inadecuación entre la realización de los programas y la financiación comunitaria; en efecto, las prórrogas de créditos de un programa a otro siguen siendo importantes, del orden del 12 % en promedio en el paso del período de 1994 1996 a 1997 1999 (véanse los puntos 6.27 6.28);

b) la sucesión de períodos de programación cortos no permite una utilización óptima de los resultados de la evaluación (véase el punto 4.23);

c) siguen midiéndose insuficientemente los efectos indirectos para determinar la repercusión de las intervenciones estructurales, en particular en materia de empleo (véanse los puntos 5.12 5.15).

3.11. Las evaluaciones macroeconómicas realizadas han arrojado resultados positivos, en particular en cuanto a la repercusión de las acciones estructurales (incremento del PIB, efectos sobre la oferta y la demanda, mejora del empleo y de la convergencia, eficacia de los instrumentos de los MCA), a pesar de las lagunas existentes en los sistemas de programación, aplicación y seguimiento de dichas acciones (véanse los puntos 7.1 7.14).

3.12. Las evaluaciones sobre subprogramas o medidas siguen siendo insuficientes, pues tropiezan con dificultades técnicas derivadas de la dispersión y la falta de coherencia de gran número de medidas y subprogramas (véase el punto 7.17).

4. PROBLEMAS GENERALES

Introducción

4.1. El objetivo de la evaluación es determinar los efectos socioeconómicos de las acciones emprendidas, es decir, examinar los resultados obtenidos, compararlos con los recursos invertidos y analizar su coste; y todos estos puntos deben ser objeto también de un análisis con relación a las previsiones. Ahora bien, para llevar a cabo esta tarea de evaluación, es indispensable disponer de una buena base estadística, establecer unos objetivos cuantificados sobre la base de un sistema de indicadores y desarrollar el marco metodológico y analítico; hay que apoyarse además en el análisis de las relaciones existentes entre medios utilizados, resultados finales y resultados intermedios. El Tribunal ha detectado fallos en todos estos ámbitos que hasta ahora han limitado la utilidad de las evaluaciones realizadas en el marco de los Fondos Estructurales, aun cuando se hayan registrado verdaderos progresos que contribuyen a consolidar la dinámica de la evaluación.

4.2. Desde la reforma de 1988, la evaluación se inscribe explícitamente en el marco de la cooperación [artículo 26 del Reglamento (CEE) n° 4253/88, precisado en el Reglamento (CEE) n° 2082/93. En el curso del primer período de programación y hasta 1995, las evaluaciones se han efectuado sin embargo por iniciativa de la Comisión (5). Dichas evaluaciones -especialmente las de carácter posterior- se han visto lastradas por estrategias de desarrollo poco precisas y por un seguimiento insatisfactorio; por lo demás, generalmente no han sido objeto de una consideración detallada y de una profunda discusión en los comités de seguimiento.

4.3. En un primer momento, la Comisión procuró sobre todo crear su propio dispositivo de evaluación para el conjunto de los MCA, que contemplaba los cinco objetivos prioritarios de la reforma (6). Entre las iniciativas de la Comisión relacionadas con el desarrollo de las evaluaciones y su metodología, cabe citar en particular la creación en 1992 del grupo técnico «Evaluación de las políticas regionales» y, en el plano metodológico, el lanzamiento en 1994 del programa «Métodos de evaluación de las acciones de naturaleza estructural» (MEANS).

4.4. Para el período de programación 1994 1999, la Comisión ha estado en la base de una nueva dinámica de evaluación, reflejada desde entonces en su aplicación sistemática a las dos primeras fases (anterior e intermedia) y finalmente a la fase posterior.

4.5. La evaluación intermedia, si bien no prevista de manera expresa en los reglamentos de los Fondos Estructurales, fue aplicada a partir de 1995 1996 en todos los MCA, DOCUP y PO del período de programación 1994 1999. Esta se inscribe en particular en el marco de la cooperación, proporcionando a los comités de segui miento una herramienta de gestión integrada y contribuyendo con ello a una amplia difusión de la cultura de la evaluación. Para la evaluación intermedia, la Comisión preparó un mecanismo en fases sucesivas para su aplicación en los Estados miembros (7).

4.6. Sin embargo, este dispositivo no precisaba las modalidades concretas del proceso (definición del pliego de condiciones, criterios de selección del evaluador, estructura del informe de evaluación, recogida de los datos, normas de calidad exigidas, calendario, etc.).

4.7. Paralelamente, la Comisión organizó manifestaciones que completó con numerosas publicaciones (8). En dichas manifestaciones tuvieron ocasión de reunirse los profesionales de la evaluación y los gestores de los Fondos Estructurales, lo que contribuyó al desarrollo de la cultura de la evaluación y a la sensibilización de los gestores. La evaluación se presentó esencialmente como un proceso de aprendizaje nacido de la experiencia.

4.8. La Comisión presentó en mayo de 1998 en el marco del anteproyecto de presupuesto general de las Comunidades Europeas para el ejercicio de 1999 el documento de trabajo «Balance de evaluación 1996/1997», en el que describe las actividades de evaluación realizadas en 1996 1997, ofrece una lista de las evaluaciones realizadas y en curso de realización y hace una síntesis de los resultados de las evaluaciones emprendidas en 1996 1997.

4.9. Los gastos de evaluación pueden ser o bien financiados directamente por la Comisión, o bien cofinanciados con los Estados miembros. En las tablas 1 y 2 se indican los gastos directamente efectuados por la DG XVI en materia de evaluación durante los dos períodos de programación de 1989 1993 y 1994 1999.

4.10. En el período de 1989 1993, dichos gastos ascendieron a 10 millones de ecus, como se muestra en la tabla 1. Alrededor de las dos terceras partes se efectuaron en dos ámbitos que son responsabilidad directa de la Comisión y pertenecen a su propia iniciativa: las iniciativas comunitarias en virtud del artículo 11 del Reglamento (CEE) n° 4253/88 por un importe de 3,1 millones de ecus, y las evaluaciones transversales y temáticas, como las PYME, las telecomunicaciones, el medio ambiente o los recursos humanos, por un importe de 3,2 millones de ecus. Los importes destinados a la evaluación de los objetivos 1 y 2 de los Fondos Estructurales siguieron siendo sin embargo relativamente bajos, habida cuenta que en el mismo período la cooperación se desarrolló escasamente en el ámbito de la evaluación. En abril de 1998, el gasto en evaluación para el período de 1994 1999 ascendía a 25,2 millones de ecus, como se muestra en la tabla 2. Este aumento con respecto al período anterior se explica por el desarrollo de la evaluación intermedia y de la metodología correspondiente en el marco de la cooperación.

4.11. Por lo que respecta a los gastos efectuados por la Comisión y los Estados miembros en este marco, que se han incrementado mucho desde 1996, la Comisión no siempre dispone de la totalidad de las informaciones correspondientes, especialmente cuando las evaluaciones se incluyen en la medida «asistencia técnica» de los programas operativos, que puede abarcar también otros gastos. Podría preverse la concesión de un importe específico para las necesidades de evaluación desde la fase inicial de programación, lo que haría su coste más transparente.

Marco de referencia

4.12. En el proceso de desarrollo de la evaluación, el programa MEANS (1995 1998), con un importe total de 2,8 millones de ecus, ocupa un lugar específico (9). El procedimiento aplicado tiene por objeto propiciar un desarrollo metodológico uniforme y coherente mediante el inventario de las metodologías utilizadas por los Estados miembros y la presentación de ejemplos válidos. Este enfoque, esencialmente incitativo y empírico, no permite a la Comisión pronunciarse sobre las modalidades concretas de aplicación de los métodos de evaluación o sobre la elección de indicadores, en particular los dirigidos a medir la repercusión socioeconómica en el campo del desarrollo regional. Habida cuenta de la complejidad de los aspectos metodológicos de la evaluación, no existe una única metodología aplicable a toda situación específica. Sin embargo, es importante que la Comisión esté en condiciones de ofrecer directrices metodológicas que permitan disponer de las orientaciones adecuadas para llevar a cabo evaluaciones adaptadas a situaciones concretas.

4.13. Los resultados del programa MEANS han servido hasta ahora para sentar los cimientos de un nuevo procedimiento de evaluación, en particular mediante la introducción de un lenguaje común, y han permitido preparar la evaluación intermedia en el marco de la cooperación. En las tablas 3 y 4 se muestra el procedimiento de evaluación generalmente aceptado. Ahora bien, el programa MEANS no ha respondido en profundidad a las cuestiones relativas a los aspectos prácticos y operativos de la evaluación. Así, todavía quedan por responder dos cuestiones fundamentales: por una parte, qué sistema de indicadores es más adecuado para formular un juicio global sobre un programa estructural comunitario y, por otra, qué enfoque de evaluación es el más conveniente para medir la repercusión socioeconómica de un programa estructural dado en el marco del desarrollo regional. La Comisión no está en condiciones aún de dar instrucciones precisas sobre las técnicas concretas que deben aplicarse en cada situación concreta de evaluación. Esta laguna afecta especialmente a la ejecución de las evaluaciones intermedias de las formas de intervención del período de programación de 1994 1999.

Bases estadísticas e información relativa a los objetivos perseguidos

4.14. Las evaluaciones, ya sean previas, intermedias o posteriores, tropiezan a menudo con una formulación de los objetivos demasiado general, incluso en lo que se refiere a los objetivos de medidas.

4.15. El nivel de desarrollo de las bases estadísticas existentes pone freno al seguimiento y la evaluación de los programas y las medidas cofinanciadas por los Fondos Estructurales. Entre las lagunas observadas hay que citar, en particular, la falta de una cobertura estadística limitada a las zonas afectadas, la ausencia de estadísticas sobre determinados aspectos y una periodicidad de recogida de la información inadecuada para las necesidades de seguimiento y de evaluación.

Indicadores

4.16. La existencia de sistemas de indicadores fiables y adecuados es un elemento indispensable del proceso de programación. Para atender a las necesidades de evaluación, los programas estructurales deben contener información sobre la realización financiera y material, así como sobre los resultados y el rendimiento de las acciones. Dichos indicadores deben informar a los gestores de los efectos inmediatos o duraderos de las acciones emprendidas y, además, hacer posible una medición de los progresos realizados con respecto a los objetivos globales de los programas, como el crecimiento regional o la reducción del desempleo.

4.17. La fiabilidad de los indicadores financieros está estrechamente ligada a la de los certificados de gastos enviados a la Comisión para desencadenar el correspondiente pago comunitario. Los indicadores materiales se facilitan a menudo como un complemento de información y su fiabilidad es relativa. Las bases de datos existentes no siempre permiten registrar la evolución material de las realizaciones y los beneficiarios finales no siempre informan a los gestores de forma periódica sobre el estado de las realizaciones concretas. En la evaluación intermedia del PO Lisboa e Vale do Tejo en Portugal se ofrecen indicadores materiales estrictamente proporcionales a los gastos, sin mencionar ninguna variación ligada a retrasos en la realización o a otras causas. Los Estados miembros deberían mejorar sus mecanismos de seguimiento y las bases de datos de apoyo a los indicadores.

4.18. La medición de los resultados y los efectos de los subprogramas y medidas, por una parte, y de la repercusión de los programas, por otra, tropieza con las incertidumbres relativas a la identificación de las cadenas de causalidad entre los distintos niveles de objetivos y entre los objetivos y las medidas y proyectos, y a la determinación de las relaciones horizontales de complementariedad y sinergia entre medidas y entre objetivos. Así, resultan difíciles de concretar el efecto específico de una medida sobre el desarrollo regional, o la repercusión de una inversión sobre la demanda o, con mayor motivo, sobre la oferta. En este marco, la búsqueda de indicadores que constituyan un instrumento adecuado para la evaluación de los resultados y de la repercusión todavía no ha concluido en lo que concierne al MCA 1994 1999 (véase el punto 6.23).

4.19. El ejercicio de apreciación previa del MCA es indispensable para las evaluaciones posteriores, al velar por la definición y cuantificación de todos los indicadores de resultados y de repercusión para permitir un juicio sobre la repercusión prevista del programa y su comparación con los efectos reales. En este contexto, el enfoque de la gestión por objetivos no se ha aplicado siempre de manera armonizada o satisfactoria, lo cual ha tenido repercusiones en el ámbito de los indicadores necesarios para la evaluación. Así, el MCA 1994 1999 italiano contiene un pequeño número de indicadores, lo que podría obstaculizar las evaluaciones posteriores. En cambio, el MCA 1994 1999 portugués, aprobado por la Comisión sin grandes modificaciones, contiene un número demasiado elevado, del orden de 300, lo que complicará del mismo modo el ejercicio de evaluación. Esta divergencia en la determinación de los indicadores de un MCA a otro pone de manifiesto la falta de coherencia de la programación. La presencia de numerosos objetivos generales y poco cuantificables lleva a veces a revisar, durante la evaluación intermedia, el sistema de indicadores aprobado por la Comisión en la fase de apreciación previa por resultar insuficientemente definido y operativo.

4.20. Las intervenciones estructurales y las situaciones socioeconómicas en que se inscriben dan lugar a una gran variedad de indicadores que a menudo se determinan de forma descentralizada. La Comisión no ha elaborado listas de los indicadores que considera indispensables y representativos desde el punto de vista del desarrollo regional o para los distintos tipos de acciones, aun cuando se han comunicado listas parciales a determinados organismos nacionales o regionales y han sido ya objeto de debates.

4.21. En el marco del seguimiento debería procederse a una cuantificación mayor de los indicadores de resultados y de repercusión, sin olvidar la fiabilidad de dicha cuantificación. Puede ocurrir, en efecto, que no sea fiable, por no evitar en determinados casos el doble recuento de los puestos de trabajo creados o no permitir distinguir los efectos brutos sobre el empleo con respecto a los netos. Así se ha observado comparando el informe de evaluación intermedia del PO Brandemburgo con las estadísticas relativas a la inscripción de las personas en la seguridad social.

Consideración de la evaluación

4.22. La contribución de la evaluación a un empleo eficaz de los fondos comunitarios depende en gran medida de la calidad de su contenido, así como de la fecha de recepción de los resultados y la de la decisión dirigida a modificar la estrategia. No obstante, un cierto número de evaluaciones intermedias de los MCA, DOCUP y PO del período de programación 1994 1999 finalizaron demasiado tarde, lo que retrasó los posibles ajustes.

4.23. En cuanto a la programación del objetivo 2, la sucesión de períodos de programación más cortos que en el objetivo 1 dificulta mucho la coincidencia de las fechas en que están disponibles los resultados de las evaluaciones para extraer enseñanzas del pasado y adecuar las intervenciones siguientes y las fechas en que han de tomarse las decisiones de programación. Existe cierto desfase entre el ciclo de la programación del objetivo 2 y su ciclo de evaluación; así, la versión final del informe de síntesis de la evaluación posterior del objetivo 2 para el período 1989 1993 se envió a la Comisión en verano de 1997, cuando estaba en curso la apreciación previa de la programación 1997 1999 y no se había iniciado aún la evaluación posterior del período 1994 1996.

4.24. Cualesquiera que sean los resultados de los programas estructurales expuestos en los informes de evaluación, a menudo no se modifica la dotación presupuestaria en favor de dichos programas o de los siguientes. Las evaluaciones rara vez se han tenido en cuenta en el primer período de programación del sistema de toma de decisiones, dado que las reprogramaciones han solido basarse esencialmente en el grado de absorción financiera. Así ocurrió con las útiles recomendaciones hechas por el consultor principal en el marco de la evaluación posterior de los MCA objetivo 1 (1989 1993) (véase el punto 5.7).

4.25. Los aspectos más cualitativos de rendimiento o eficacia de los programas identificados en evaluaciones intermedias o en informes de ejecución no han tenido suficiente influencia en la gestión operativa de los Fondos Estructurales, ni en el proceso de responsabilización de los cooperadores afectados por el desarrollo de los programas.

4.26. Los resultados de la evaluación intermedia de los DOCUP, MCA y PO del objetivo 2 (1994 1996), así como del seguimiento, ponen de manifiesto la existencia de una inadecuación entre la financiación programada y la realización de los programas. Esta situación hace predominante el deseo de absorción de los créditos y puede conducir a una infravaloración del papel de la evaluación en el análisis de la zona considerada, en particular en lo que se refiere a la coherencia entre los objetivos, los recursos asignados y la repercusión de las intervenciones estructurales.

4.27. A menudo, las conclusiones y recomendaciones de las evaluaciones son evidentes para los gestores de las acciones de intervención, aun cuando puedan ser de utilidad para otros asociados. Esto vale tanto para las evaluaciones posteriores (véase el punto 5.8) como para las evaluaciones intermedias en el marco de la cooperación.

Objetividad de las evaluaciones

4.28. La falta de un marco de referencia preciso dificulta la aplicación de técnicas apropiadas y aplicables de manera objetiva a las situaciones específicas de evaluación, de forma que los resultados puedan ser fácilmente controlados y quede garantizada la independencia del evaluador. Ocurre, sin embargo, que el método preconizado no está motivado objetivamente, que el evaluador adecua su enfoque demasiado fácilmente a las dificultades encontradas o que selecciona los indicadores en función de la información disponible.

4.29. Tampoco aparece garantizada la independencia respecto a los gestores, en particular en el plano de la información (véase el punto 6.11), mientras que los informes de evaluación no siempre indican la fuente de información en que se basan sus afirmaciones. Esta laguna puede llevar a poner en duda la fiabilidad y validez de la información presentada en los informes de evaluación.

4.30. Mientras que la objetividad debería quedar garantizada mediante un sistema de control de la calidad de los indicadores (de realización, resultado y de repercusión) de la fiabilidad de los datos de base y del grado de aplicación de la metodología, los servicios de la Comisión analizan las informaciones y los resultados presentados en el marco de la evaluación, pero sin efectuar un control sobre el terreno o comprobar el buen funcionamiento de los sistemas de evaluación existentes en los Estados miembros.

Contratos de evaluación celebrados por la Comisión

4.31. Del examen de los procedimientos de celebración de contratos de las evaluaciones encargadas por la Comisión se desprenden los siguientes puntos débiles: procedimientos de selección insatisfactorios, pliegos de condiciones demasiado vagos, retrasos y escasa calidad de los informes.

4.32. Los elementos de apreciación o de análisis que han determinado la elección del consultor por parte de la Comisión no siempre figuran de forma clara en las actas de las reuniones relativas al procedimiento de licitación. La auditoría realizada por el Tribunal no ha podido asegurar la selección de los mejores expertos en el ámbito de competencia más apropiado.

4.33. En los casos de evaluación posterior del conjunto de los MCA 1989 1993 de los objetivos 1 y 2, la selección versó respectivamente en un consultor principal acompañado de otros consultores nacionales y en consultores coordinadores que, a su vez, subcontrataron después los estudios a otros consultores. En esta cadena de consultores, la Comisión puede perder el control de las modalidades de ejecución de la evaluación que garantizan la coherencia, la homogeneidad y la calidad de los resultados.

4.34. Con frecuencia, el pliego de condiciones resulta impreciso en cuanto a la descripción de los trabajos que deben realizarse y las obligaciones de resultado esperadas. Los términos del contrato siguen siendo muy generales. Con frecuencia, las modalidades de ejecución de la evaluación quedan abiertas a un acuerdo posterior sobre el marco metodológico pendiente de celebrar con la Comisión.

4.35. En cuanto al calendario de entrega de los informes, a menudo se observan retrasos. Así, para la evaluación del conjunto de MCA 1989 1993 del objetivo 1, las cláusulas contractuales preveían la entrega del informe el 28 de febrero de 1995, pero de hecho no se concluyó hasta noviembre de 1995. La Comisión no había previsto ninguna sanción por la inobservancia de las obligaciones contractuales en materia de plazo y abonó el pago final del 40 % el 11 de julio de 1995 con arreglo al artículo 4 del contrato.

4.36. La ausencia de unos términos contractuales de referencia precisos y claros sobre el procedimiento metodológico a seguir y los resultados esperados hace que las reacciones de los servicios de la Comisión a los informes sean variables. Así, por ejemplo, se autorizan informes que se limitan a ofrecer simples descripciones o vagos análisis de la utilidad de las realizaciones, o están basados en afirmaciones genéricas de personas encuestadas, o incluso conducen a recomendaciones demasiado generales. En el caso de la evaluación posterior del MCA 1989 1993 Irlanda, un servicio considera que debe rescindirse el contrato con el consultor por su mala calidad, mientras que otro servicio lo aprueba. En la evaluación posterior del MCA 1989 1993 para Portugal, los servicios competentes coinciden en precisar que el informe no contiene elementos de evaluación, sino que se limita a repetir los datos sobre las realizaciones materiales ya presentados por el Estado miembro. Del mismo modo, se observa que el informe de evaluación posterior del MCA 1989 1993 para España es demasiado descriptivo y contiene pocos análisis. En cuanto a la evaluación posterior del MCA 1989 1993 para Irlanda del Norte, el informe se considera incompleto. El relativo a la evaluación posterior del MCA 1989 1993 para Italia está mal estructurado y organizado. Y en la evaluación del MCA 1989 1993 Grecia, falta la conclusión general, cuando se ofrecen conclusiones por capítulos.

5. EVALUACIONES POSTERIORES DE LOS MCA DE LOS OBJETIVOS 1 Y 2 (1989 1993)

Introducción

5.1. A menudo, los evaluadores se enfrentan a las dificultades siguientes:

a) una programación inicial formulada a menudo de manera apresurada y a falta de evaluaciones previas de los programas, especialmente de los fundamentos económicos inherentes, sobre todo en lo concerniente a las regiones del objetivo 1;

b) la falta de objetivos cuantificados y de indicadores de resultado;

c) lagunas estadísticas relativas a la situación socioeconómica antes de la intervención de los Fondos Estructurales en el marco del objetivo 2 y después de la intervención, especialmente en lo relativo al tejido industrial, las inversiones y el producto regional bruto. Las herramientas estadísticas no corresponden siempre al perímetro de análisis correspondiente (barrio, distrito, cuenca de empleo);

d) la falta de conclusión de ciertas acciones;

e) la existencia de factores exógenos que contribuyen a explicar la evolución de la situación socioeconómica;

f) el carácter heterogéneo de los proyectos y de sus objetivos, cuando la asignación de ayudas no está suficientemente ligada a las necesidades regionales o locales;

g) los efectos inherentes a las medidas y al programa difícilmente identificables, en razón de la multitud de acciones que benefician a una misma región o zona;

h) la dificultad de medir los efectos indirectos del programa (especialmente en materia de empleo), al no haberse instituido ningún elemento de observación sobre el particular desde el lanzamiento de los programas ni haberse llevado a cabo un estudio en profundidad sobre el particular desde su conclusión.

Evaluación posterior de los MCA del objetivo 1 (1989 1993)

5.2. La evaluación posterior de los MCA del objetivo 1 fue coordinada por un consultor central a partir de las evaluaciones posteriores de los MCA realizadas por consultores nacionales entre enero de 1994 y junio de 1995. El consultor encargado de la coordinación elaboró el procedimiento metodológico que debía aplicarse, utilizando métodos de análisis tanto macroeconómicos como de medidas y proyectos. Dicho procedimiento comprendía el análisis de la estrategia y la lógica inherente a los MCA, PO y medidas, un primer balance de las realizaciones materiales y de su repercusión, y por último un examen de los mecanismos de aplicación. En el anexo I se ofrece una síntesis del procedimiento.

5.3. Aunque coherente en su conjunto, la metodología propuesta tiene sus puntos débiles. En efecto, prevé que el análisis de la estrategia y de la lógica inherentes a los MCA, PO y medidas se apoye en una estructura de objetivos armonizada, vinculada a una nomenclatura estándar de actividades. Este enfoque permite la comparación entre Estados miembros, pero no da lugar necesariamente a una jerarquización de los objetivos, construida a su vez a partir de las prioridades tal como las perciben los Estados miembros y de los criterios de jerarquía, complementariedad, sustituibilidad y sinergia. Por ello, no permite identificar todas las faltas de coherencia en la estrategia propia de cada MCA y PO. Además, a menudo, los indicadores materiales y de repercusión recogidos en el documento metodológico no permiten responder a cuestiones pertinentes sobre los efectos previstos y no previstos a los que está llamada a responder la metodología.

5.4. El Tribunal ha constatado además lagunas como:

a) la evolución del entorno socioeconómico de los MCA y los PO no siempre es objeto de una comparación entre la situación inicial sobre la cual debe actuar la intervención comunitaria (1988 1989) y la situación al final de la aplicación (1993 1994); a veces, los datos son demasiado antiguos, en particular los relativos a las disparidades regionales;

b) a menudo, la jerarquización de los objetivos prevista en la metodología no se ha analizado suficientemente; o bien no se había establecido, o bien era parcial, por limitar el examen específico a PO y medidas elegidos o no aplicar de forma sistemática los criterios de estructuración; así ha ocurrido que la jerarquización de los objetivos y los instrumentos no ha conducido a una mejor identificación de los problemas de coherencia y pertinencia de las prioridades y de su importancia relativa;

c) a veces, los ajustes efectuados a los MCA y PO no se basaron en un análisis en profundidad de las causas;

d) mientras que la ejecución financiera y los mecanismos de aplicación, al igual que las realizaciones físicas, suelen tratarse bien en los informes de evaluación, los efectos de los programas o medidas no han sido objeto, en algunos casos, de investigación, con excepción de los puestos de trabajo creados, o se han formulado en términos no cuantitativos. Los únicos efectos cuantificados proceden a veces de la aplicación de modelos macroeconómicos y conciernen al incremento del PIB, la creación de puestos de trabajo y la competitividad. Ello ha demostrado la insuficiencia de los datos facilitados por los gestores en el marco de los sistemas de seguimiento;

e) los análisis de tipo bottom-up (de abajo a arriba) no han permitido, por lo general, extraer conclusiones relativas a la repercusión de los programas;

f) el valor añadido comunitario sólo se expresa a veces en términos cualitativos (por ejemplo, la consideración de la lógica de programa, la aplicación de una estrategia integrada, el efecto sobre el proceso de organización); por otra parte, no siempre se examina de forma sistemática;

g) los efectos esperados a largo plazo no se tratan, o sólo son tratados en términos cualitativos.

5.5. El MCA del objetivo 1 para España ha sido objeto de una evaluación posterior encargada por la Comisión y de otra emprendida por las autoridades nacionales y beneficiaria de una cofinanciación comunitaria. Elaborados en el mismo período y con los mismos objetivos, los dos estudios se desarrollaron de forma independiente y separada.

5.6. En lo que se refiere a resultados y repercusión, las evaluaciones posteriores recogen las realizaciones materiales resultantes de los MCA del objetivo 1, las repercusiones macroeconómicas de los MCA a partir de determinadas evaluaciones nacionales, y los progresos en materia de planificación, aunque en este ámbito el enfoque por programas haya tropezado con algunos obstáculos (10). También destacan las contribuciones de los MCA en materia de estructuras organizativas innovadoras, de gestión financiera, de seguimiento, de sistemas de información, de coordinación y de cooperación, aun cuando deben realizarse progresos sustanciales en cada uno de estos ámbitos.

5.7. La síntesis efectuada en 1995 por el consultor principal recogía algunas recomendaciones útiles a las que la Comisión no pudo dar totalmente curso: por ejemplo, una mejor distinción durante la elaboración de la programación entre las intervenciones estructurales comunitarias de fomento de los factores endógenos de crecimiento y las que tienen por objetivo el reequilibrio regional o el aumento del bienestar; o bien un equilibrio entre la prioridad concedida a las inversiones en infraestructura y las características específicas regionales que convendría desarrollar, o entre la lucha contra el desempleo y la necesidad de incrementar la productividad y la competitividad; o por último, una mejor consideración del empleo en las políticas regionales.

5.8. La evaluación posterior del conjunto de los MCA 1989 1993 del objetivo 1, llevada a cabo por evaluadores nacionales, versó principalmente en la mejora de los sistemas de seguimiento y gestión de los Estados miembros, más que sobre un ejercicio real de evaluación de la repercusión de los Fondos Estructurales.

Evaluaciones posteriores del objetivo 2 (1989 1993)

5.9. Las evaluaciones posteriores de los programas del objetivo 2 para el período de 1989 1993 fueron coordinadas por un evaluador externo en las 60 regiones subvencionables. Se realizó un análisis general de cada región y estudios en profundidad de 22 regiones. El principal objetivo de las evaluaciones era analizar el impacto de las intervenciones estructurales sobre el proceso de reconversión industrial en estas regiones y extraer enseñanzas para la programación siguiente. En el anexo II se ofrece una síntesis del enfoque de evaluación.

5.10. Aunque se ha previsto un marco común, los enfoques elegidos son muy heterogéneos, en particular en lo que se refiere a las prioridades y el nivel de desarrollo del análisis, su carácter descriptivo o crítico, los métodos y las técnicas utilizadas.

5.11. El análisis de la estrategia y la pertinencia de los MCA y los PO y de las modificaciones introducidas con respecto al entorno socioeconómico rara vez lleva a reformular la estructura de objetivos, los subprogramas y las medidas en función de la lógica de desarrollo o de reconversión regional y sobre la base de los criterios de jerarquía, complementariedad y sustituibilidad. Dicha reformulación, a un nivel elaborado, debería permitir identificar de forma más sistemática las lagunas existentes en la estrategia aplicada en cuanto a coherencia, adecuada importancia relativa de las prioridades, sinergias, complementariedades y eficacia frente al entorno socioeconómico, mientras que muchos análisis de estrategia, partiendo de la estructura del MCA y de los PO, son parciales y poco críticos respecto de esta estrategia.

5.12. En cuanto al impacto de las intervenciones de los Fondos Estructurales, los evaluadores no consiguen, a partir de una muestra de proyectos y del examen de sus resultados, de su valor añadido y de su adicionalidad, agregar las observaciones en el ámbito de la medida y de la repercusión socioeconómica del programa.

5.13. Pocas evaluaciones se han basado en materia de impacto en una auténtica combinación de los enfoques top down y bottom up. Esta combinación se ha utilizado, en particular, para la evaluación de las intervenciones del objetivo 2 en favor de Toscana. En este caso, el enfoque top down permitía estimar, al apoyarse en un modelo econométrico birregional Toscana-resto de Italia, la repercusión global del incremento de la demanda sobre la producción por sectores, sobre los niveles de consumo y sobre el valor añadido, tanto en Toscana como en el resto de Italia. El modelo también permite estimar los multiplicadores de efecto por tipos de intervención (infraestructuras, servicios a las empresas, ayudas a la inversión privada) y los efectos sobre el empleo (11). Los efectos directos sobre el empleo se estimaron utilizando una técnica de coeficientes estándar relativos a las distintas tipologías de intervención. El enfoque top down afecta, pues, a los efectos directos a corto plazo vinculados a la demanda. El enfoque bottom up, al partir de una muestra de proyectos y medidas, puede traducir mejor los efectos a largo plazo, más estructuradores e indirectos, relativos sobre todo a la oferta y las economías externas que permiten reducir los costes de producción. Aun cuando estos efectos son más difíciles de aislar y cuantificar y este enfoque no permite agregar los efectos a escala de medidas y de programa -lo que constituía el objetivo de la evaluación en profundidad-, las consideraciones cualitativas sobre la eficacia de las medidas y el nivel de adicionalidad de las intervenciones comunitarias constituyen un complemento útil al enfoque top down. La combinación de ambos enfoques puede aportar un valor añadido real al análisis, en particular si se apoya en técnicas de modelización o de formalización.

5.14. Son igualmente raras las evaluaciones en materia de impacto que recurren a encuestas sistemáticas -como las encuestas sobre la adicionalidad de las medidas o la aplicación de un método específico de estimación de los puestos de trabajo netos creados en virtud de las medidas mediante la comparación de un grupo experimental y un grupo de control. Sin embargo, aportan un valor añadido real a la evaluación del impacto. Se habría evaluado mejor la eficacia de las medidas y los programas si los evaluadores hubieran llevado a cabo encuestas estadísticas sobre determinados indicadores de resultado, como en ocasiones desearon poder realizar. Así, no siempre se encuentran datos sobre el número de empresas implantadas en las nuevas zonas industriales cuya ordenación se beneficia de ayudas de los Fondos Estructurales, o sobre las transferencias tecnológicas de los institutos de investigación a las empresas. Las conversaciones con gestores de medidas y de proyectos generalmente previstas en los enfoques de evaluación rara vez permiten obtener datos precisos sobre las realizaciones, los resultados y la repercusión de las operaciones.

5.15. Los resultados en materia de creación de puestos de trabajo no son seguros en cuanto al carácter duradero de los puestos y a la parte específicamente atribuible a las acciones estructurales. Por otra parte, los informes de evaluación producen a veces datos contradictorios.

5.16. En materia de impacto de los programas del objetivo 2, las evaluaciones posteriores permiten considerar que:

a) los PO del objetivo 2, si bien muchas veces no permitieron mejorar la situación socioeconómica, al menos contribuyeron a evitar una nueva degradación de la misma, en particular en lo que se refiere al mantenimiento del empleo (12), y a sentar las bases de la reconversión; en efecto, la mayoría de las regiones tratan de diversificar su economía y su tejido industrial, liberándose en su caso de la imagen de zona exclusivamente industrial;

b) a pesar del enfoque integrado, basado en el concepto de programa, los PO consisten a veces en una modificación de políticas nacionales y regionales ya establecidas, y no siempre constituyen una herramienta de programación;

c) la existencia simultánea de PO del objetivo 2 y de iniciativas comunitarias ha dado lugar a confusiones y superposiciones de ayudas;

d) la intervención de los Fondos Estructurales ha tenido efectos positivos sobre la programación, las modalidades de aplicación, la cooperación, las sinergias, la coordinación y la evaluación. Con todo, a menudo se destaca la falta de sinergia y de intercambios entre gestores y acciones FEDER y FSE;

e) en materia de adicionalidad, los Fondos Estructurales permiten abordar nuevos sectores, realizar proyectos que no se habrían emprendido sin ayuda comunitaria, acelerar la aplicación o realizar proyectos más ambiciosos, o incluso dar un carácter estructurador al proyecto inicial. La adicionalidad de las tipologías de medidas (ayudas a las infraestructuras, servicios a las empresas, ayudas a la inversión privada) puede resultar bastante diferente;

f) los Fondos Estructurales no constituyen a menudo una palanca para la participación de los fondos privados o, al menos, no se trata este aspecto en las evaluaciones;

g) en las evaluaciones se destaca que los estudios y negociaciones preparatorios, y los procedimientos administrativos para la adopción y la aplicación de determinados proyectos, así como la integración de las nuevas políticas nacionales, requieren a menudo plazos infravalorados.

5.17. En materia de gestión, se desprende de las evaluaciones que determinadas prácticas de seguimiento de los programas han resultado insuficientes y que los ajustes internos durante el período de programación estaban esencialmente encaminados a maximizar la tasa de absorción de los créditos y no a revisar los ejes prioritarios de desarrollo regional.

6. EVALUACIONES INTERMEDIAS (1994 1999)

Desarrollo e integración de los principios de evaluación intermedia

6.1. La realización de una evaluación intermedia se prevé en el capítulo relativo a las disposiciones de aplicación de cada MCA, DOCUP y otras formas de intervención con objeto de reforzar el seguimiento. Se destaca que las evaluaciones intermedias deben incluir un análisis crítico de los datos recogidos en el marco del seguimiento, explicar las posibles desviaciones de los objetivos perseguidos y estimar los resultados esperados de la intervención. Han de contener asimismo un dictamen sobre la validez de la intervención en curso y la pertinencia de los objetivos seleccionados.

6.2. En unas notas dirigidas a los Estados miembros en el ejercicio 1995, la Comisión indicaba que las evaluaciones intermedias debían «aportar a los comités de seguimiento señales adecuadas sobre el buen funcionamiento de los programas, proponer posibles acciones de reprogramación y presentar una imagen objetiva e independiente de los progresos realizados». Proponía asimismo concentrarse, en una primera fase, en las condiciones de funcionamiento de las formas de intervención y, en particular, en los indicadores, la capacidad de gestión de los responsables y los procedimientos de selección de los proyectos. En una segunda fase y con vistas a sugerir los cambios necesarios y adecuar la programación, el informe de evaluación intermedia debía abordar la pertinencia de la estrategia y la legitimidad de los objetivos de las intervenciones aplicadas, la eficacia del programa habida cuenta de las realizaciones y los primeros resultados con relación a los objetivos, la eficiencia del programa, la aplicación correcta de las políticas comunitarias (medio ambiente, contratos públicos, etc.) y la medición de los resultados en materia de empleo y de PYME.

6.3. Por otra parte, la Comisión sugería que la evaluación fuera global y que en una fase posterior se desarrollasen evaluaciones temáticas sobre un sector o una zona geográfica concretas.

6.4. Algunos Estados miembros, en particular España (13), Francia (14), Irlanda (15) y los Países Bajos (16), definieron asimismo un marco para la evaluación intermedia. Todos ellos consideran que en la evaluación intermedia debe abordarse:

a) la evolución del contexto socioeconómico;

b) el análisis de la estrategia y de la coherencia interna y externa;

c) las condiciones de aplicación, incluida la programación y los criterios de selección, la organización administrativa, el mecanismo de seguimiento, los circuitos de financiación de los proyectos;

d) la aplicación y las realizaciones, teniendo en cuenta los resultados previstos;

e) los primeros efectos obtenidos, completados con una estimación de los que cabe esperar;

f) los costes, con vistas a medir la eficiencia, es decir, la relación entre medios y resultados,

y presentar, en su caso, propuestas de modificación de las prioridades o las acciones previstas.

6.5. El principio de cooperación fue introducido en 1988 como un medio de garantizar la eficacia de los Fondos Estructurales, pero no desempeñó plenamente su papel en el sistema de gestión descentralizada hasta 1995 con la evaluación intermedia del conjunto de los MCA 1994 1999. En tal ocasión, se estipuló que corresponde a los comités de seguimiento «adoptar los objetivos de evaluación y las normas de calidad esperadas para garantizar la coherencia global del ejercicio, adecuar el pliego de condiciones a las peculiaridades de las regiones respetando la finalidad del ejercicio, seleccionar los evaluadores a partir de listas restringidas preparadas por responsables de la evaluación (miembro del comité de seguimiento y ponente comunitario) tras una licitación pública». La evaluación intermedia ha contribuido realmente a reforzar la cooperación al hacerla intervenir en el análisis causal de las intervenciones estructurales. En las tablas 5 y 6 se muestra la aplicación operativa de las evaluaciones intermedias, así como el importante compromiso de los Estados miembros en el marco de la cooperación con el fin de identificar la repercusión de los Fondos Estructurales.

6.6. El enfoque de la evaluación intermedia en el marco de la cooperación también ha influido mucho en las estructuras institucionales y en las tradiciones nacionales o regionales de las administraciones responsables. Ha permitido dar una mayor difusión a la cultura de la programación plurianual, en la que la evaluación es un elemento indispensable para hacer un balance crítico de las intervenciones estructurales y preparar los ajustes necesarios. La cooperación en materia de evaluación está especialmente bien desarrollada en el marco del objetivo 1.

6.7. Actualmente, los trabajos de evaluación intermedia aspiran a aportar respuestas globales al conjunto de los cooperadores, desde el diseñador del programa al responsable político, pasando por el gestor. Se traducen en informes muy voluminosos que incluyen información procedente del propio programa, de la apreciación previa, de los informes anuales de ejecución y de las evaluaciones intermedias o posteriores. Ahora bien, según interlocutores entrevistados en el curso de los controles, sólo una parte de los resultados o de las recomendaciones tienen una utilidad real y sirven de ayuda a la decisión, a la gestión de proyectos, a la reprogramación o para preparar intervenciones futuras.

Procedimientos de aplicación

6.8. De las 389 evaluaciones intermedias realizadas, 320 se refieren a los objetivos 1, 2, 5b y 6 (17). Su ejecución presenta un retraso considerable en varios Estados miembros.

6.9. Inicialmente, el proceso de evaluación intermedia debía constar de dos etapas diferenciadas. En la primera debían abordarse las posibilidades de evaluación, identificando los problemas correspondientes. La segunda era la evaluación propiamente dicha y conducía a la elaboración de un informe. En la práctica, este esquema sólo se ha aplicado en raras ocasiones.

6.10. De forma general, la Comisión ha insistido en que las evaluaciones intermedias fueran efectuadas por expertos externos a fin de garantizar, por una parte, la credibilidad de una técnica en concreto y, por otra, la imparcialidad de las conclusiones sobre la conformidad de la estrategia, la coherencia entre los análisis socioeconómicos y la cuantificación objetiva de los efectos esperados. Las necesidades en materia de evaluación en el ámbito de los Fondos Estructurales han conformado en unos años un sector de evaluadores externos conocidos de la Comisión y los Estados miembros, lo que presenta la ventaja de generar más conocimientos expertos en este ámbito, pero delimita un mercado específico.

6.11. En la práctica, los controles sobre el terreno del Tribunal han puesto de manifiesto limitaciones que reducen la independencia del consultor externo. Habida cuenta del plazo limitado de que dispone el evaluador y de la dependencia existente de hecho respecto de los gestores de los programas para obtener la información necesaria, la separación entre las funciones respectivas es poco clara. Muy a menudo, los resultados obtenidos en materia de rendimiento no son más que una reproducción y una actualización de los datos del sistema de seguimiento, que se presentan como una contribución externa.

6.12. Por otra parte, no siempre se ha aplicado el procedimiento habitual de licitación abierta con publicación en el Diario Oficial para seleccionar los consultores en materia de evaluación. En los Países Bajos, se pidió a un número limitado de consultores que figuraban en una lista de posibles evaluadores que presentaran una oferta. A continuación, se realizó la selección entre esas ofertas.

6.13. Si bien la Comisión participa regularmente en las reuniones de los comités de seguimiento y puede hacer prevalecer su criterio en materia de selección de consultores, su intervención en este proceso no siempre es la misma. Así, los servicios de la Comisión participan activamente en Bélgica, Grecia y Portugal desde el procedimiento de selección del evaluador en el marco de los grupos técnicos o del comité de acompañamiento técnico ad hoc, que preparan la elección del consultor y siguen la ejecución de la evaluación. En cambio, en Francia, sólo se informa oficialmente a los servicios de la Comisión tras la elección de las dos ofertas que se consideran mejores, acompañadas de la propuesta final, respecto de la cual el Prefecto de la región, que es responsable último en la materia, solicita conocer las posibles observaciones. En los Países Bajos, la Comisión, que participa en los trabajos del comité de acompañamiento nacional, que dirige las evaluaciones previa, intermedias y posteriores de las regiones incluidas en los objetivos 1 y 2, y en los trabajos de los comités de seguimiento, reaccionó tarde al contenido del proyecto de informe de evaluación intermedia del DOCUP del objetivo 1 Flevoland.

Prioridad concedida a los objetivos de evaluación

6.14. En la ejecución de las evaluaciones intermedias, la prioridad concedida a los objetivos de evaluación es variable, con excepción del examen de las realizaciones materiales y financieras de cada intervención, que ocupa un importante lugar en todas las evaluaciones intermedias. A menudo, se da prioridad a desarrollos que corresponden a una necesidad regional real; así, en Córcega, se presta especial atención al tratamiento de los problemas de gestión, seguimiento y vinculación entre evaluación y seguimiento. Por lo demás, la persecución de determinados objetivos de evaluación se ha visto obstaculizada por problemas técnicos, como la medición de los indicadores para la evaluación del impacto.

6.15. A menudo, en las evaluaciones intermedias no se concede suficiente importancia a la consideración crítica de la estrategia de desarrollo regional elegida, a la viabilidad de los proyectos financiados por los Fondos Estructurales, a los criterios de selección de los proyectos, y a sus efectos e impacto con relación a los objetivos específicos y generales de los programas.

6.16. El valor añadido comunitario, cuyo análisis constituía uno de los objetivos de las evaluaciones posteriores de los MCA de los objetivos 1 y 2 para el período de programación 1989 1993, sólo se trató excepcionalmente en el marco de las evaluaciones intermedias.

6.17. La evolución del contexto socioeconómico, sobre el que actúa la intervención comunitaria y cuyo seguimiento y actualización suelen preverse en los contratos de evaluación, se estudia de forma sistemática en determinados casos (por ejemplo, a través de tableros de bordo muy elaborados para la región valona) y de forma insatisfactoria en otros, lo que influye directamente en la calidad y actualización de los análisis de puntos fuertes y débiles que suelen efectuarse en el marco de la evaluación intermedia.

6.18. El respeto y el mantenimiento en el tiempo de la coherencia interna y externa de cada programa en todos sus componentes (objetivos del programa, los subprogramas y las medidas, relaciones de complementariedad y de sinergia entre objetivos y entre medidas) sólo raras veces se examinan de forma sistemática. Así, en el PO Brandemburgo, los compromisos financieros en favor de los ejes 1.1 (inversiones productivas) y 1.2 (infraestructuras) representan para el período 1994 96 el 138 % y el 242 % respectivamente de la previsión inicial, sin que el evaluador aporte ninguna justificación en términos de estrategia de desarrollo regional. Las sinergias se analizan en ocasiones, aunque de forma incompleta. Este aspecto merecería un tratamiento más sistemático, en particular en lo que se refiere a las sinergias entre las actividades del FEDER y las del FSE.

6.19. Del mismo modo, si bien la reorientación de las prioridades del programa y de la asignación de los medios es un objetivo explícito de la evaluación, los trabajos de evaluación no siempre dan lugar a una presentación global y coherente de las modificaciones propuestas, ni a una exposición de motivos. Tampoco se precisan siempre las consecuencias de las ampliaciones o contracciones de medidas propuestas.

6.20. En muchas de las evaluaciones examinadas se observa que el evaluador no ha sido capaz de alcanzar todos los objetivos del contrato, en particular en lo relativo a la evaluación del impacto. El tiempo y los medios disponibles tampoco han sido siempre proporcionados a los objetivos.

Enfoques, métodos y técnicas

6.21. Como en los contratos los objetivos de evaluación y los enfoques que deben aplicarse siguen formulándose en términos generales, la elección de los enfoques, métodos y técnicas se deja a menudo a los evaluadores, que a veces los adecuan durante la ejecución a las dificultades encontradas. Así ocurre que transforman en indicadores la única información disponible.

6.22. Las técnicas y métodos no siempre se desarrollan de forma que puedan responder a los objetivos de evaluación. Además, aún no se ha llegado a un consenso sobre la metodología operativa adecuada para evaluar el desarrollo regional, y la Comisión se limita a difundir «las mejores prácticas» en términos generales, sin coordinar o armonizar verdaderamente su aplicación. Esta imprecisión, sumada a las disparidades entre Estados miembros en materia de programación, aplicación o evaluación, genera unos informes de evaluación de calidad variable y hace muy difícil la comparabilidad de los resultados a escala europea.

6.23. Así, para la medición del impacto, las técnicas aplicadas presentan lagunas debidas en particular al carácter específico y a la complejidad de los efectos que deben evaluarse:

a) no siempre se procede a una búsqueda en profundidad de indicadores aún más pertinentes, ya que a veces los indicadores previstos sólo sirven para medir la realización física y financiera;

b) no siempre se determinan los indicadores de impacto;

c) la evaluación del impacto socioeconómico o del desarrollo regional se ve obstaculizada por la multiplicación de las acciones, subprogramas y medidas (objetivo 1), mientras que muchos programas que tienen por objeto contribuir a la reconversión y la redinamización del tejido industrial (PO, iniciativas comunitarias, programas nacionales) pueden movilizarse conjuntamente. Por otra parte, las acciones comunitarias y nacionales tienen a veces coberturas diferentes y distintas fechas de lanzamiento. Por último, a menudo no se cuantifican los objetivos y se formulan de forma demasiado general (18). A este respecto, no siempre parece clara la relación existente, por una parte, entre el diagnóstico de los problemas socioeconómicos por resolver y los objetivos del conjunto de las medidas, subprogramas y proyectos aplicados y, por otra, entre los objetivos de dicho conjunto, habida cuenta también del hecho de que los indicadores físicos y de impacto asignados a los distintos niveles de un programa no reflejan por completo las necesidades de evaluación del programa. Del mismo modo, es difícil identificar los resultados de cada programa y separarlos de los de otras acciones privadas, regionales o nacionales;

d) la modelización, que permite estimar los efectos y repercusiones esperados a partir de las realizaciones a medio camino y de las realizaciones esperadas, sigue aplicándose poco. La evaluación intermedia de determinados MCA nacionales se basa en un modelo input-output (Portugal) o en un modelo macroeconométrico (España, Irlanda), mientras que la modelización regional sigue siendo muy marginal. A este respecto, merece la pena citar el ejemplo del modelo de desarrollo para la provincia de Hainaut (Bélgica) utilizado en el marco de la evaluación intermedia. La modelización de los efectos en el marco de las medidas tampoco está muy extendida, excepto en el ámbito de las infraestructuras de transporte. Es conveniente citar la aplicación del modelo input-output al proyecto de Expo 1998 (Portugal) en el marco de las evaluaciones previa e intermedia, aun cuando las previsiones deban considerarse con cautela;

e) la estimación de los efectos sobre el empleo también es precaria. La aplicación de modelos y de otras técnicas de análisis y estudio no aportan precisiones suficientes en relación a dos aspectos: por un lado, sobre el volumen neto de empleos creados, teniendo especialmente en cuenta los nuevos empleos que podrían haberse creado al margen de la acción en cuestión, así como los efectos de sustitución; y por otro lado, sobre el grado de duración de los empleos. Además, su aplicación no ha ofrecido por lo general indicaciones sobre los puestos creados no atribuibles a la aplicación del programa.

6.24. Algunos contratos de evaluación contemplan la realización, en el marco del enfoque de bottom-up, de encuestas a interlocutores del desarrollo económico local y a los beneficiarios finales, incluidas empresas beneficiarias de ayudas comunitarias, con el fin de apreciar cuantitativa o cualitativamente la contribución del programa comunitario. En ocasiones, los resultados de las encuestas son poco representativos, debido al número de empresas e interlocutores que responden a las encuestas, y su fiabilidad es incierta, pues no siempre son objeto de controles.

6.25. Por lo que se refiere a los indicadores de resultado y de impacto, se ha comprobado que:

a) los plazos de obtención de datos y estadísticas suelen ser largos;

b) los datos existentes se refieren a zonas geográficas que no se corresponden con las zonas o cuencas contempladas;

c) los datos relativos a las empresas no se recogen por establecimientos, lo que falsea las estadísticas locales cuando una empresa con varias implantaciones en el territorio nacional sólo posee un establecimiento en la zona;

d) muchos institutos de estadísticas no pueden segmentar los datos globales de forma más fina para enfocar una zona, una cuenca o un problema determinado.

6.26. Cuando el evaluador presenta indicadores más adecuados desde el punto de vista de la medición del impacto, ya sea para colmar una laguna o para sustituirlos por los indicadores previstos, no los determina, lo que pone en duda su carácter operativo. Además, no siempre menciona las encuestas que quedan por hacer para concretarlos, ni estima su coste. Se destaca asimismo la dificultad de cuantificar los indicadores relativos a los objetivos de programa sin información sobre series históricas.

Realización de los programas del objetivo 2 (1994 1996)

6.27. Los resultados de la evaluación intermedia de los DOCUP, MCA y PO del período 1994 1996, así como el seguimiento, ponen de manifiesto una inadecuación entre la financiación programada y la realización de los programas. A pesar de las numerosas adaptaciones de los programas de la última fase de programación 1994 1996 con la finalidad de absorber los importes de las ayudas financieras, se realizaron transferencias de crédito de la programación 1994 1996, del orden del 12 % en promedio, a la programación 1997 1999. Esta situación supone el riesgo de volver preponderante el deseo de absorción de los créditos y de infravalorar del papel de la evaluación, en particular en materia de coherencia entre los objetivos, recursos asignados e impacto de las intervenciones estructurales.

7. IMPACTO DE LOS FONDOS ESTRUCTURALES Y MODELOS DE EVALUACIÓN

Impacto de los MCA y de los programas

Resultados de los modelos en materia de impacto de los Fondos Estructurales

7.1. Los modelos empleados para la evaluación macroeconómica de los Fondos Estructurales (véase el anexo III), habida cuenta de sus características específicas, estiman de modo diferente su impacto en lo que se refiere a:

a) la realización de los objetivos de los Fondos Estructurales en materia de crecimiento del PIB, convergencia real del PIB per capita, empleo y desempleo;

b) la observancia de las condiciones de aplicación de los Fondos Estructurales, como la adicionalidad y el desarrollo sostenible, especialmente en lo que se refiere al control de la deuda pública y de la balanza de pagos, a la distribución de la renta y al respeto del medio ambiente;

c) los efectos en términos de demanda y oferta;

d) la eficacia de los instrumentos de los Fondos Estructurales, como las inversiones públicas, las inversiones en recursos humanos y las ayudas a las empresas privadas.

Crecimiento del PIB

7.2. Como se muestra en la tabla 7, en el ejercicio de evaluación del impacto de los Fondos Estructurales, los resultados de los principales modelos utilizados (Hermin, OGM y DIO) indican para los países de la cohesión un incremento positivo del PIB y, por consiguiente, una mejora de la convergencia. Así, el crecimiento acumulativo de la economía de los países de la cohesión de 1994 a 1999 resultante de las acciones estructurales inscritas en los MCA sería en términos reales del PIB del 5,5 % para Portugal, 5,9 % para Grecia, 2,6 % para España y 3,3 % para Irlanda. Estos resultados presuponen la plena observancia del principio de adicionalidad, y pueden ser modificados en caso contrario (véanse los puntos 8.11 a 8.13). Por otra parte, los distintos modelos macroeconómicos han arrojado resultados suficientemente coherentes para que pueda considerarse verosímil la repercusión de los MCA 1994 1999 sobre el crecimiento en términos reales del PIB anual. No obstante, los efectos vinculados a la demanda siguen siendo mayoritariamente dominantes a corto plazo, mientras que los efectos sobre la oferta sólo se producen mucho más tarde. Del mismo modo, según el modelo regional Helm utilizado en la región de Hainaut, la repercusión del DOCUP en términos de crecimiento anual del valor añadido total representa un aumento del 1,7 al 2,5 % si se considera el período 1994 2002. En cambio, en el caso del Mezzogiorno, Italia, la repercusión de los Fondos Estructurales sobre el crecimiento parece muy limitado, incluso próximo a cero. El modelo QUEST de la Comisión, al introducir hipótesis sobre las anticipaciones de las empresas y de los consumidores, da como resultado estimaciones acerca de los efectos sobre el crecimiento y el empleo más fiables que en los modelos precedentes. Los beneficios que muestra este modelo relativos al potencial de crecimiento y la reducción del desempleo sólo se evidencian a largo plazo.

7.3. En términos de aceleración media del crecimiento anual como resultado de las acciones estructurales inscritas en los MCA, la tabla 8 muestra que los efectos multiplicadores de un crecimiento del 1 % del PIB por parte de los MCA generan, para el período 1994 1999, un suplemento de crecimiento anual del 0,2 % al 0,3 % para los efectos de la demanda y del 0,2 % como mucho para los efectos de la oferta. En el plano económico, la dominancia, puesta de manifiesto por el modelo HERMIN, de los efectos sobre la demanda, que desaparecerían con el cese de la ayuda comunitaria, sólo contribuye a realizar los objetivos del artículo 130 A del Tratado si los efectos sobre la oferta se desarrollan de forma duradera y refuerzan las capacidades productivas de las regiones afectadas. En la medida en que los efectos sobre la oferta se desarrollan mucho más tarde que los que inciden sobre la demanda, es posible que los efectos multiplicadores correspondientes estén subestimados.

Convergencia real en términos de PIB per capita

7.4. Los modelos utilizados en el marco de los Fondos Estructurales muestran que el proceso de convergencia no siempre está garantizado y que algunas programaciones de MCA pueden, como mucho, reducir la divergencia en vez de desarrollar la convergencia.

7.5. Con respecto a Irlanda, Bradley (Hermin 1994) y Honohan (Hermin 1997) calculan lo que podría ser el efecto de la ayuda de los MCA 1989 1993 y 1994 1999 sobre el PIB per capita. El primero estima que la contribución de los MCA 1994 1999 a esta recuperación es modesta, mientras que para el segundo los MCA desempeñan un papel significativo en el proceso de convergencia. Beutel (1997) predice que Irlanda alcanzará al resto de Europa incluso sin MCA 1994 1999, que aumentaría la tasa anual de crecimiento en un 0,6 %. Del mismo modo, la tasa anual de crecimiento prevista de España, Portugal y Grecia registrará aumentos, respectivamente, del 0,4 %, 1,1 % y 1 % durante el período de 1994 1999 en virtud de los Fondos Estructurales, lo que en todos los casos ha tenido un efecto positivo sobre la convergencia real en términos de PIB per cápita.

7.6. Las simulaciones predictivas efectuadas con el modelo OGM sobre la convergencia en PIB real per cápita con respecto a la media de la Unión muestran estimaciones que subrayan el hecho de que, aun cuando las tendencias proyectadas en 1995 son demasiado pesimistas para Irlanda (véase la tabla 9), la contribución neta de los MCA a la convergencia sigue siendo modesta para los países de la cohesión.

7.7. En cuanto a Hainaut, el modelo Helm toma en consideración los aspectos de la convergencia real para la evaluación intermedia y estima que la tasa anual prevista de crecimiento sería en torno a un 1,4 % o 1,6 % superior a la media europea gracias a los Fondos Estructurales, lo que permitiría una recuperación real.

7.8. Estas estimaciones ponen de manifiesto que, habida cuenta de las diferencias en las estructuras productivas regionales o sectoriales de los Estados miembros del objetivo 1, las ayudas de los Fondos Estructurales producen efectos variables. Confirman asimismo que la calidad de la programación de los Fondos Estructurales debe mejorarse, para que, con un objetivo de convergencia, las intervenciones de los Fondos Estructurales permitan mejorar las capacidades productivas de la economía.

Empleo y desempleo

7.9. En la tabla 10 se resumen los resultados de las evaluaciones de repercusión de los Fondos Estructurales sobre el empleo y el desempleo. Para todos los estudios, los MCA generan empleo neto. Los nuevos puestos se crean a menudo en el sector de los servicios no comerciales, mientras que los efectos de productividad de los MCA se concentran principalmente en el sector industrial. Por último, determinados estudios ponen de manifiesto una reducción del empleo industrial debido a un aumento de la productividad del trabajo.

Eficacia de los instrumentos de los MCA

7.10. Las evaluaciones Hermin para España, Irlanda y Portugal muestran que las ayudas a la inversión pública, en particular en infraestructuras, son más productivas en términos de crecimiento que las ayudas a las inversiones en recursos humanos (exceptuando en España) y que las destinadas a las inversiones privadas. Así se observa en la tabla 11, que muestra, por instrumentos, el aumento del PIB nacional resultante del aumento de un 1 % de la parte del MCA en el PIB acumulado del período 1994 1999. El estudio Hermin para Grecia llega también a la conclusión de que las inversiones en infraestructuras («hard infrastructure») recogidas en los MCA contribuyen más al crecimiento del PIB que las inversiones en recursos humanos. La aplicación del modelo OGM (Pereira 1991) para evaluar los efectos de la sustitución de ayudas a la inversión privada o a la inversión en recursos humanos por más ayudas a la inversión en infraestructuras arroja una mejora del crecimiento del PIB y del proceso de convergencia inducido por los Fondos Estructurales.

Obligación de adicionalidad y de cofinanciación

7.11. Los modelos han permitido asimismo evaluar la importancia de la adicionalidad y la cofinanciación pública. Así, Honahan (Hermin, 1997) estima que, sin una obligación de cofinanciación pública, la tasa de crecimiento de la economía irlandesa habría sido inferior en un 1 % a la repercusión del MCA, del mismo modo que el empleo habría aumentado en menor medida. En cambio, el mismo autor prevé una reducción más sensible de la relación deuda pública/PIB y del excedente de la balanza de pagos en ausencia de una obligación de cofinanciación pública. En Portugal, la exigencia de cofinanciación conduce, según la evaluación Hermin, a un aumento adicional acumulado del 1,3 % del PIB, pero da lugar asimismo a una evolución menos positiva en materia de deuda pública.

7.12. La evaluación Helm para Hainaut atribuye una gran importancia a la adicionalidad. La tasa de crecimiento medio del valor añadido durante el período 1994 1999 de los tres escenarios -la política regional incluido el DOCUP, la prosecución de la política regional sin la ayuda comunitaria, la política regional previa deducción del DOCUP- se eleva según la evaluación Helm al 2,5 %, 1,7 % y 0,1 % respectivamente, del mismo modo que la tasa de crecimiento del empleo caería del 0,8 % al 0,2 %. La situación de la industria se deterioraría también de forma considerable. La evaluación Helm permite comprobar asimismo, introduciendo variaciones en el tipo de la subvención, que un tipo determinado de ayuda a la inversión no estimula ésta en la misma medida que otro y que muchas inversiones se llevarían a cabo con niveles de ayuda más bajos.

Desarrollo sostenible

7.13. En la tabla 10 se observa que los efectos de los Fondos Estructurales sobre el saldo de la balanza comercial, la balanza corriente o el déficit público no siempre se evalúan. Por lo demás, los distintos estudios llegan a conclusiones divergentes; así, la expansión económica inducida por los MCA conduce en determinados casos a mejorar la hacienda pública a través de la fiscalidad, mientras que según otros modelos los MCA generan déficit presupuestarios.

Papel de la evaluación macroeconómica en el proceso de toma de decisiones de los Fondos Estructurales

7.14. Habida cuenta de los efectos a corto plazo de los Fondos Estructurales sobre la demanda, la evaluación intermedia tiende a sobrestimar los problemas de absorción de los fondos comunitarios por las autoridades políticas e infravalorar los efectos a más largo plazo sobre la oferta. Las reorientaciones o reprogramaciones de los PO o MCA pueden así resultar equivocadas. De este modo, pueden suprimirse medidas o proyectos que no absorben suficientemente rápido los créditos comunitarios, en particular en ámbitos difíciles de aplicar como la innovación o las nuevas tecnologías, en beneficio de estructuras ya existentes de productividad mucho más baja, sin que siempre se consideren los aspectos macroeconómicos de desarrollo duradero.

7.15. En este contexto, es indispensable realizar evaluaciones macroeconómicas complementarias que integren los aspectos de durabilidad, crecimiento o convergencia antes de cualquier toma de decisión en materia de programación inicial y de su reordenación. Ahora bien, en muchos casos, como España, Grecia o los nuevos Länder alemanes, se han efectuado ya reprogramaciones en el marco de la evaluación intermedia sin un análisis global macroeconómico serio. En cuanto a las regiones del objetivo 1 en Alemania, no se ha llevado a cabo ningún análisis macroeconómico de repercusión durante la evaluación intermedia.

Repercusión en el ámbito de subprogramas, medidas y proyectos

7.16. Hay muy pocas evaluaciones en el ámbito de subprogramas y medidas, a pesar de que constituyen el motor de la programación de los Fondos Estructurales. La dispersión, la falta de definición y coherencia de muchos subprogramas o medidas, así como una cuantificación insuficiente de los objetivos específicos y relativos pueden explicar esta dificultad para medir la repercusión.

7.17. Esta laguna dificulta cualquier esfuerzo encaminado a identificar y medir la sinergia y la complementariedad de las medidas entre sí o entre distintos programas. Por otra parte, los vínculos entre los objetivos generales del programa y los específicos de los subprogramas o medidas son a menudo poco evidentes. Así, en los informes de evaluación intermedia se pusieron de manifiesto muchos problemas de coherencia en los programas del MCA 1994 1999 del objetivo 1.

7.18. Raras son por lo demás las técnicas adecuadas para medir la repercusión de un subprograma o una medida específica. Así, los modelos macroeconómicos anteriormente descritos sólo aportan una evaluación de la eficacia de los principales instrumentos de los MCA -las inversiones públicas, las inversiones privadas y las inversiones en recursos humanos- en lo que se refiere a su contribución respectiva al crecimiento del PIB. Los gastos en infraestructura, al ser complementarios del capital privado, parecen aumentar el rendimiento de este último y tendrían un efecto de aceleración de la velocidad de la convergencia superior a otras formas de inversión (véase la tabla 11).

7.19. No obstante, la elección de las medidas o subprogramas constitutivos de un programa y de su financiación no es neutra para el desarrollo regional en términos de crecimiento endógeno duradero. Ahora bien, los trabajos de evaluación emprendidos por la Comisión o los Estados miembros en el marco de la cooperación a escala de subprogramas o medidas son aún insuficientes para examinar las consecuencias de una medida concreta sobre otras zonas o sectores o compararla con otras medidas que persigan objetivos similares. Además, en el análisis de la repercusión de las medidas o subprogramas deberá tenerse en cuenta también el arbitraje inicial entre crecimiento e igualdad interregional que ha predeterminado su elección, a fin de ponderar las ganancias de eficacia esperadas y obtenidas.

7.20. A escala de proyectos, se lleva a cabo un análisis costes/ventajas que en principio tiene por objetivo la aprobación de la financiación del proyecto. Este análisis es obligatorio con arreglo al artículo 5 del Reglamento (CEE) n° 2083/93 (FEDER) para los grandes proyectos cuyo coste total sea superior a 25 millones de ecus para las inversiones en infraestructuras y a 15 millones de ecus para las inversiones productivas. Estas apreciaciones previas de los grandes proyectos forman parte de la instrucción de las solicitudes de ayuda comunitaria y determinan la dotación de financiación, pero sus evaluaciones posteriores no están contempladas en los reglamentos de los Fondos Estructurales y no pueden ser exigidas por la Comisión para comprobar la realización efectiva de las ventajas socioeconómicas esperadas a la vista de los recursos comunitarios movilizados a tal fin. Esta deficiencia en el proceso de evaluación de los grandes proyectos hace inoperante el concepto mismo de evaluación a este nivel, ya que una apreciación previa sólo puede justificarse si hay efectivamente una evaluación posterior. Además, en estos estudios microeconómicos y sectoriales podría estimarse también la repercusión potencial de los Fondos Estructurales sobre la productividad, de forma que se conviertan en un buen instrumento para el análisis a corto o medio plazo de la repercusión.

7.21. Al efectuar la evaluación de los proyectos, hay que tomar en consideración también las sinergias y complementaridades, que todavía se evalúan de forma insuficiente o superficial. Es indispensable adecuar las complementariedades y sinergias entre proyectos para no debilitar la repercusión previsible.

7.22. En la evaluación intermedia se abordan a menudo los problemas de gestión de los programas, pero no se tienen un cuenta los criterios que han determinado la selección de los proyectos, como la durabilidad del proyecto o su contribución al desarrollo regional. Ahora bien, el sistema de gestión de los programas debe garantizar que los criterios de selección de los proyectos se utilicen para optimizar los resultados del programa. En particular, habría que evitar los proyectos que tienen un valor añadido muy bajo en materia de desarrollo, aun cuando presenten la ventaja de consumir los créditos muy rápido. El sistema de selección de proyectos debe ser más transparente para permitir su control y garantizar su evaluabilidad.

8. CONCLUSIÓN

8.1. El ejercicio de evaluación de las intervenciones estructurales comunitarias se inscribe en las obligaciones reglamentarias derivadas de las decisiones del Consejo y actualmente es ampliamente realizado en el marco de la cooperación. La evaluación se ha convertido en un sistema de ayuda al diseño y la gestión de las intervenciones, que contribuye a un mejor conocimiento de sus efectos y su utilidad. Para el período 1994 1999, se concluyeron más de 250 evaluaciones intermedias a escala de los Comités de seguimiento (19) en el curso del año 1997.

8.2. Con la revisión de la reforma de los Fondos Estructurales, la evaluación ha entrado en una fase de madurez que desde ahora conviene consolidar mediante un mejor encuadramiento metodológico. Todavía hay que realizar un esfuerzo importante en lo relativo a los métodos de evaluación más adecuados para medir la repercusión socioeconómica de los programas en el marco del desarrollo regional, dado que el programa MEANS no ha aportado una respuesta satisfactoria.

8.3. Debería realizarse también un esfuerzo sostenido en materia de indicadores a todos los niveles, en lo que se refiere a su pertinencia, los modos de cálculo y su coste. Asimismo, un esfuerzo de formalización debería centrarse en los aspectos cualitativos. Sin nuevos progresos en estos ámbitos, el proceso de evaluación puede estancarse.

8.4. Lo mismo ocurre en lo que se refiere a las bases estadísticas, cuya debilidad pone en duda la validez de los indicadores y condiciona mucho el proceso de seguimiento y de evaluación.

8.5. La multiplicidad actual de indicadores más o menos pertinentes perjudica la calidad de la evaluación e impide hacerla operativa. Debería seleccionarse cuidadosamente un pequeño número de indicadores de repercusión indispensables para justificar o reorientar una política estructural teniendo en cuenta las limitaciones de la regionalización de los datos y las posibilidades materiales de recogida de información. La fiabilidad de estos indicadores debería controlarse. Es necesario mejorar la comparabilidad entre indicadores y su agregación a escala europea.

8.6. Para que la evaluación pueda tenerse plenamente en cuenta en el proceso de toma de decisiones y en la gestión operativa de los Fondos Estructurales, sería conveniente garantizar la transparencia y la objetividad de las evaluaciones, la correspondencia entre sus objetivos y las necesidades y una fecha de conclusión adecuada.

8.7. Para garantizar la objetividad de los resultados de evaluación, debe preservarse la independencia de los evaluadores con respecto a los gestores y las autoridades públicas competentes.

8.8. La utilización de un marco de referencia común facilitaría la legibilidad y comparabilidad de los informes de evaluación, así como los intercambios de experiencias.

8.9. Para cada evaluación, sería conveniente definir unos objetivos más operativos. En los términos de referencia y en el pliego de condiciones, generalmente aprobados por la Comisión, debería indicarse claramente la metodología más adecuada, dependiendo de que contemple aspectos regionales, sectoriales o nacionales o de que se centre especialmente en los efectos a corto o largo plazo. Cualquier otra metodología debería ser objeto de un análisis de puntos fuertes/débiles en comparación con la metodología de la Comisión. Del mismo modo, el marco de referencia de cada evaluación debería incluir una lista mínima de indicadores propuesta por la Comisión para medir el rendimiento de los objetivos de los programas, a fin de garantizar una coherencia indispensable para el análisis. Naturalmente, pueden utilizarse otros indicadores de situación socioeconómica y estructural para completar y afinar el análisis.

8.10. Dada la diversidad de enfoques de evaluación existentes, la Comisión debe exigir que los evaluadores expliquen mucho mejor su enfoque en la fase de licitación, en particular el tipo de efectos o de repercusión que pretenden medir y durante qué período, para poder estimar el nivel de exhaustividad de la metodología utilizada. Además, la evaluación debería incluir un análisis detallado de los vínculos existentes entre los objetivos de los programas y los ejes, y las medidas aplicadas para realizar dichos objetivos, así como la necesaria articulación en cascada de los objetivos/resultados/realizaciones de los programas, ejes y medidas.

8.11. En este contexto, es necesaria una mejor segmentación de la evaluación en función de sus destinatarios para aumentar la eficacia y responder mejor a sus expectativas específicas, en particular en el ámbito de las evaluaciones intermedias. Del mismo modo, debería buscarse un mejor control del gasto, ya que la Comisión no siempre conoce los gastos asignados a la evaluación en el marco de la cooperación.

8.12. La Comisión debería indicar asimismo los aspectos de la política regional que deben evaluarse más especialmente: adicionalidad, convergencia, cooperación, concentración, empleo, desarrollo económico endógeno o bienestar social. La medición del PIB per cápita no debe ser la única referencia para juzgar la eficacia de las intervenciones estructurales.

8.13. La estimación de los efectos, de la repercusión y del valor añadido comunitario debería basarse en modelos de desarrollo nacional y regional a escala de programas, así como en modelos de repercusión relativos a las medidas.

8.14. Los resultados macroeconómicos de las acciones estructurales deberían afinarse teniendo en cuenta las imperfecciones de los modelos subyacentes, los efectos secundarios provocados por esas mismas acciones y todos sus efectos sobre el bienestar social.

8.15. La modelización macroeconómica hace una distinción fundamental entre los efectos sobre la demanda a más corto plazo y los ajustes estructurales de la oferta. La programación de las intervenciones de los Fondos Estructurales debería tender más a mejorar la capacidad productiva de la economía, a fin de garantizar la permanencia de los efectos y evitar una dependencia demasiado marcada de la demanda que conduzca a una situación en que la ayuda comunitaria siga siendo indispensable a largo plazo.

8.16. Como los efectos sobre al oferta se materializan transcurrido un período más largo, la evaluación intermedia debe conceder más atención en general a los efectos sobre la demanda. La Comisión debería emprender una acción dirigida a mejorar los instrumentos necesarios para el seguimiento y la evaluación de los efectos estructuradores sobre la economía.

8.17. De los modelos macroeconómicos se desprende asimismo que una política de crecimiento económico no siempre es compatible con un desarrollo sostenible. Sería conveniente analizar más las relaciones entre la repercusión sobre el crecimiento y los efectos sobre el desarrollo sostenible, y tener en cuenta de forma sistemática esta dualidad en la programación de las intervenciones de los Fondos Estructurales.

8.18. Los efectos de la obligación de adicionalidad y de cofinanciación pública no son fáciles de determinar y no siempre se examinan. Deberían dedicarse a ello análisis sistemáticos y más profundos.

8.19. La evaluación en sí misma no pretende sustituir el proceso de decisión política, que abarca consideraciones más amplias, pero debe ser una herramienta indispensable para una gestión sana y eficaz de las intervenciones estructurales comunitarias que tenga en cuenta los resultados socioeconómicos.

El presente Informe ha sido aprobado por el Tribunal de Cuentas en Luxemburgo en su reunión del 23 de septiembre de 1998.

Por el Tribunal de Cuentas

Bernhard FRIEDMANN

Presidente

>SITIO PARA UN CUADRO>

>SITIO PARA UN CUADRO>

>SITIO PARA UN CUADRO>

>SITIO PARA UN CUADRO>

>SITIO PARA UN CUADRO>

>SITIO PARA UN CUADRO>

>SITIO PARA UN CUADRO>

>SITIO PARA UN CUADRO>

>SITIO PARA UN CUADRO>

>SITIO PARA UN CUADRO>

>SITIO PARA UN CUADRO>

(1) Se trata concretamente de:

a) el artículo 6 del Reglamento marco [Reglamento (CEE) n° 2052/88, modificado por el Reglamento (CEE) n° 2081/93], relativo a las funciones de los Fondos con finalidad estructural y a su eficacia, así como a la coordinación entre sí de sus intervenciones;

b) el artículo 26 del Reglamento de coordinación de los Fondos [Reglamento (CEE) n° 4253/88, modificado por el Reglamento (CEE) n° 2082/93].

(2) La apreciación previa se denomina en ocasiones evaluación previa. En el presente informe, el Tribunal ha preferido emplear los términos reglamentarios de «apreciación previa».

(3) La acción estructural comunitaria se concibe como complemento de las acciones nacionales correspondientes o como contribución a éstas. Se establece mediante una estrecha concertación, denominada «cooperación», entre la Comisión, el Estado miembro, las autoridades regionales y locales, otras autoridades competentes, los interlocutores económicos y sociales y demás organismos competentes. La cooperación se lleva a cabo dentro del pleno respeto de las competencias institucionales, jurídicas y financieras de cada parte.

(4) En sus informes anuales relativos concretamente a los ejercicios 1990 (capítulo 7), 1993 (capítulos 6, 7, 8 y 9) y 1994 (capítulo 4), el Tribunal comentaba ya la existencia de numerosas carencias en materia de evaluación para el período de programación de 1989 a 1993.

(5) Se trata de las siguientes evaluaciones:

a) para el período de programación 1989 1993:

- apreciaciones previas de los MCA de los objetivos 1 y 5b (1990 1991),

- evaluaciones posteriores de los MCA del objetivo 1 (1994 1995),

- evaluaciones posteriores de los MCA objetivo 2 (1996 1997),

- evaluaciones temáticas (PYME, telecomunicacio-nes);

b) para el período de programación 1994 1999:

- apreciaciones previas de los planes de desarrollo regional del objetivo 1,

- apreciaciones previas de los programas del objetivo 5b,

- apreciaciones previas de los DOCUP del objetivo 2 1994 1996,

- apreciaciones previas de los DOCUP del objetivo 2 1997 1999,

- análisis críticos de los DOCUP y MCA del objetivo 1 (1995)

La Comisión ha encargado también evaluaciones por Estado miembro de la repercusión de las políticas estructurales europeas sobre la cohesión económica y social de la Unión.

(6) Nota de la DG XXII del 14 de marzo de 1991.

(7) a) Elaboración en 1994 de los primeros términos de referencia para la evaluación intermedia de MCA y de las formas de intervención del objetivo 1. Confirman el papel de la evaluación intermedia como instrumento de ayuda a la toma de decisiones para los comités de seguimiento y su realización en cooperación. Precisan asimismo las modalidades de aplicación, en particular el perfil del equipo de evaluación y sus tareas.

b) Difusión en 1995 de las «orientaciones comunes para el seguimiento y las evaluaciones intermedias» de los FE comunitarios que definen los elementos de análisis (objetivos globales y específicos, indicadores), así como el vínculo entre el seguimiento y la evaluación intermedia.

c) Envío de cartas a los Estados miembros (1995) recordando la obligación de efectuar la evaluación intermedia y precisando de nuevo las modalidades de aplicación deseadas.

(8) Como las siguientes:

a) la conferencia de Bruselas sobre la evaluación de la política regional europea (16 de noviembre de 1995) relativa, en particular, a los resultados de las evaluaciones posteriores del objetivo 1 1989 1993 y de las apreciaciones previas 1994 1999;

b) la conferencia europea sobre los métodos de evaluación de las intervenciones de los Fondos Estructurales (Berlín, 2 y 3 de diciembre de 1996) que versó esencialmente sobre los problemas de evaluación de la repercusión en los ámbitos microeconómico, macroeconómico y temático;

c) la conferencia de Sevilla de marzo de 1998 orientada a favorecer los intercambios de experiencia en materia de evaluación en el marco de la cooperación.

(9) Este programa fue gestionado conjuntamente por la Comisión y un consultor externo, cuya participación se financió con cargo a la línea B2-1 8 2 0 por un importe anual de 932 000 ecus.

(10) El enfoque por programas se ha visto obstaculizado por:

i) unos plazos de planificación cortos, que conducen en particular a la falta de apreciación previa;

ii) falta de objetivos concretos, de indicadores cuantificados en materia de realización, resultado y repercusión;

iii) limitaciones administrativas, en especial cuando subprogramas de un mismo programa dependen de administraciones diferentes, o cuando se cruzan los enfoques sectoriales y regionales;

iv) puntos débiles en las normas comunitarias, que conducen en particular a autorizar en el marco de iniciativas comunitarias proyectos rechazados por los PO del objetivo 1;

v) el enfoque por proyectos del Fondo de Cohesión, que tampoco juega a favor de una aplicación armónica del enfoque por programas.

(11) Ahora bien, esto no significa que se trate de creaciones de empleo, dado que el modelo econométrico se basa en la hipótesis del pleno empleo y las empresas disponen en período de coyuntura baja de sobrecapacidades de producción.

(12) El octavo informe anual sobre los Fondos Estructurales constata los importantes efectos de palanca referidos a resultados brutos como la creación de empleos o de empresas.

(13) Evaluación intermedia de programas operativos regionales del objetivo 2 (fase 1994 1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones técnicas, 23 de mayo de 1996.

(14) DATAR, Calendrier réglementaire et administratif.

(15) General Criteria to Underpin Terms of Reference for Mid-Term Evaluation of Operational Programmes/Community Initiatives.

(16) Evaluatiekader voor de programma's van de Europese Structuurfondsen, Terp Advies-CBEA Pieter van Run, diciembre 1997.

(17) De ellas, 36 fueron examinadas sobre el terreno y/o por la Comisión.

(18) Por ejemplo: revitalización del mundo rural, reforzamiento del tejido económico en la región, modificaciones estructurales ligadas al desarrollo regional.

(19) Los Comités de seguimiento están formados por representantes de las instancias nacionales competentes y de la Comisión.

ANEXO I

SÍNTESIS DE LA METODOLOGÍA QUE DEBE APLICARSE EN EL MARCO DE LA EVALUACIÓN POSTERIOR DE LOS MCA DEL OBJETIVO 1 1989 1993

1. La evaluación posterior de los MCA O1 1989 1993 tenía como objetivo explícito:

a) apreciar la estrategia y los objetivos seleccionados en los MCA y extraer enseñanzas para la acción futura. Analizar las consecuencias, sobre los objetivos inicialmente fijados, de la redefinición y adaptación de las intervenciones durante el período de aplicación;

b) hacer un primer balance a escala de los MCA y los PO de las realizaciones materiales de las acciones significativas y proceder a una primera evaluación de su repercusión;

c) analizar la eficacia de los mecanismos de aplicación y extraer enseñanzas para posibles adecuaciones en el futuro.

2. El consultor principal, encargado de la coordinación de las evaluaciones efectuadas por otros consultores para los Estados miembros, elaboró enfoques metodológicos:

a) para el primer objetivo, con el fin de evaluar la lógica inherente a los MCA y PO y a los ajustes de que fueron objeto los MCA y PO desde 1989 -y más específicamente para analizar las causas de dichos ajustes, el valor añadido comunitario, la coherencia interna, la pertinencia de la estrategia con respecto a los problemas y la adecuación de las financiaciones-, debían realizarse las tareas siguientes, que corresponden a un enfoque top-down:

- recogida de información y datos clave: datos financieros, objetivos previos, outputs/efectos esperados, grupos y ámbitos objetivo, principales instrumentos utilizados, número de proyectos/medidas aprobados, número de proyectos realizados;

- descripción del entorno del programa y de su evolución (situación inicial - situación actual); identificación de los factores externos que influyen en la evolución del programa y en su éxito/fracaso; análisis de los problemas y las causas de base; concretar los indicadores clave del desarrollo regional, incluidos indicadores de cambi