Source: EURLEX
Language: es
Format: md

**TRIBUNAL DE CUENTAS EUROPEO**
**12, rue Alcide De Gasperi**
**1615 Luxembourg**
**LUXEMBOURG**

**Tel. +352 4398-1**

**[E-mail: eca-info@eca.europa.eu](mailto:eca-info@eca.europa.eu)**
**[Internet: http://eca.europa.eu](http://eca.europa.eu)**

**Twitter: @EUAuditorsECA**
**YouTube: EUAuditorsECA**

**Luxemburgo: Oficina de Publicaciones de la Unión Europea, 2014**

**ISBN 978-92-872-1876-6**

**doi:10.2865/44916**

**© Unión Europea, 2014**
**Reproducción autorizada, con indicación de la fuente bibliográfica.**

_Printed in Luxembourg_

### **ES 2014**

**Informe Especial**

# **Nº 18**

##### **Sistemas de evaluación** **y de seguimiento** **orientado a los resultados** **de EuropeAid**

(presentado con arreglo al artículo 287 TFUE, apartado 4,
segundo párrafo)

## **Índice 02**

**Apartados**

**Glosario, siglas y acrónimos**

**I** **–** **VII** **Resumen**

**1** **–** **10** **Introducción**

**2–5** **El sistema de evaluación de la Comisión**

**6–10** **Sistemas de evaluación y de ROM de EuropeAid**

**11** **–** **13** **Alcance y enfoque de la fiscalización**

**14** **–** **64** **Observaciones**

**14–22** **En líneas generales, las funciones de ROM y de evaluación están bien organizadas, pero EuropeAid**
**podría prestar más atención al uso eficiente de recursos**

**15** **–** **17** **Las competencias están bien repartidas, pero la supervisión de las evaluaciones de programas**
**es insuficiente**

**18** **–** **22** **EuropeAid no presta suficiente atención a la utilización eficiente de los recursos**

**23–52** **Los sistemas ROM y de evaluación de EuropeAid no garantizan suficientemente unos resultados**
**pertinentes y rigurosos**

**24** **–** **31** **Existen algunas insuficiencias en la selección de las evaluaciones de los programas y en la entrega puntual**
**de las evaluaciones**

**32** **–** **38** **Los procedimientos para garantizar la calidad de las evaluaciones de programas y de los controles ROM**
**se aplican de forma incoherente**

**39** **–** **52** **La evaluación y los sistemas ROM no facilitan información adecuada sobre los resultados obtenidos**

**53–64** **Los sistemas ROM y de evaluación de EuropeAid no garantizan el aprovechamiento máximo**
**de las conclusiones de los controles**

**54** **–** **58** **No se han implantado mecanismos de seguimiento apropiados**

**59** **–** **64** **Los resultados de la evaluación y del ROM se difunden adecuadamente, pero no los de las evaluaciones**
**de programas**

**65** **–** **70** **Conclusiones y recomendaciones**

## **Índice 03**

**Anexo I** **— Sistema de calificación ROM**

**Anexo II** **— Lista de documentos de programación examinados**

**Anexo III — Lista de convenios de financiación examinados**

**Anexo IV — Lista de evaluaciones examinadas**

**Anexo V** **— Lista de ROM examinados**

**Anexo VI — Lista de delegaciones que respondieron a la encuesta**

**Respuestas de la Comisión**

## **Glosario, siglas
 04**
#### **y acrónimos**

**Apoyo presupuestario** : Este método de prestación de ayuda supone la transferencia de fondos procedentes
de una agencia de financiación externa a la Hacienda pública del Gobierno socio. Los fondos transferidos se
administran de conformidad con los procedimientos presupuestarios del receptor. Los programas de ayuda
presupuestaria suelen incluir medidas de desarrollo de las capacidades para ayudar a los países socios a fortalecer
su formulación de políticas y su gestión, así como a promover el diálogo sobre la concepción, la aplicación y los
resultados de políticas nacionales y sectoriales.

**Banco Europeo de Inversiones (BEI)** : El BEI es el banco de la UE propiedad de los Estados miembros
y representante de sus intereses. Trabaja estrechamente con las demás instituciones europeas para aplicar las
políticas de la UE y constituye el primer prestatario y prestamista multilateral del mundo en volumen. Aunque más
del 90 % de su actividad se centra en Europa, también apoya la política exterior y de desarrollo de la UE.

**Conclusiones de la evaluación** : A los efectos del presente informe, este término abarca las conclusiones,
recomendaciones y enseñanzas extraídas de la evaluación.

**Delegaciones de la UE** : La UE está representada en todo el mundo a través de sus 139 delegaciones y oficinas,
que presentan, comunican y aplican las políticas europeas (por ejemplo, la política de cooperación al desarrollo),
analizan e informan sobre las políticas y la evolución de los países en los que se encuentran acreditadas, y negocian
con arreglo a los mandatos conferidos.

**Estructura de auditoría interna** : Unidad de las direcciones generales de la Comisión que depende directamente
del director general. Su misión es ofrecer una garantía independiente de la eficacia del sistema de control interno
a fin de mejorar las operaciones de la dirección general.

**EuropeAid** : La Dirección General de Desarrollo y Cooperación – EuropeAid de la Comisión Europea se encarga de:
— formular la política de desarrollo de la UE y definir las políticas sectoriales en el ámbito de la ayuda exterior;
— elaborar el programa plurianual de los instrumentos de ayuda exterior en colaboración con el Servicio Europeo

de Acción Exterior (SEAE);
— promover la coordinación entre la UE y los Estados miembros en la cooperación al desarrollo y representar

externamente a la Unión en este ámbito.

**Fondos Europeos de Desarrollo (FED)** : Los Fondos Europeos de Desarrollo son los instrumentos más importantes
de la Unión Europea para la cooperación al desarrollo con los Estados de África, el Caribe y el Pacífico (ACP), y los
países y territorios de ultramar (PTU). El acuerdo de asociación, firmado en Cotonú el 23 de junio de 2000 por un
período de veinte años, constituye el marco actual de las relaciones de la UE con los Estados ACP y los PTU y su
objetivo principal es la reducción y, posteriormente, la erradicación de la pobreza. Los FED son financiados por los
Estados miembros de la UE, se rigen por sus propios reglamentos financieros y son gestionados por la Comisión al
margen del presupuesto general de la UE.

**Informe anual de actividad (IAA)** : Este informe presenta los logros alcanzados y los recursos empleados por la
dirección general. Es el «espejo» del programa de trabajo anual y asimismo un informe de gestión del director
general a la Comisión sobre el cumplimiento de sus obligaciones como ordenador delegado en la gestión del
presupuesto de la UE. El informe también se transmite al Parlamento Europeo y al Consejo. Puede consultarse en:
[http://ec.europa.eu/atwork/key‑documents/index_en.htm](http://ec.europa.eu/atwork/key-documents/index_en.htm)

## **05**

**Glosario, siglas y acrónimos**

**Informe anual sobre las políticas de la Unión Europea en materia de desarrollo y ayuda exterior y sobre**
**su aplicación (IA)** : Informe exigido en los reglamentos por los que se establecen los instrumentos financieros
para la ayuda exterior de la UE y que se ha de presentar al Parlamento Europeo, al Consejo, al Comité Económico
y Social Europeo y al Comité de las Regiones. Se trata de un informe sobre la consecución de los objetivos de cada
instrumento financiero, basado en indicadores y mediciones de los resultados entregados y en la eficiencia de los
[instrumentos pertinentes, véase: http://ec.europa.eu/europeaid/annual‑report-2014-european‑unions‑development](http://ec.europa.eu/europeaid/annual-report-2014-european-unions-development-and-external-assistance-policies-and-their_en)
[‑and‑external‑assistance‑policies‑and‑their_en](http://ec.europa.eu/europeaid/annual-report-2014-european-unions-development-and-external-assistance-policies-and-their_en)

**Informe de evaluación del artículo 318** : El artículo 318 del Tratado de Funcionamiento de la Unión Europea obliga
a la Comisión a «entregar al Parlamento Europeo y al Consejo un informe de evaluación de las finanzas de la Unión
basado en los resultados obtenidos», que puede consultarse en:
[http://ec.europa.eu/smart‑regulation/evaluation/documents_en.htm](http://ec.europa.eu/smart-regulation/evaluation/documents_en.htm)

**Informe sobre la gestión de la ayuda exterior** : Es el documento principal de comunicación de las delegaciones
de la UE y debe facilitarse al Parlamento Europeo y al Consejo.

**Instrumentos financieros** : Reglamentos publicados habitualmente por el Parlamento Europeo y el Consejo que
proporcionan la financiación necesaria para apoyar una política de la UE. La política de desarrollo de la UE es
respaldada por varios instrumentos financieros.

**OCDE/CAD - Comité de Ayuda al Desarrollo** : Comité de la OCDE (Organización para la Cooperación y el Desarrollo
Económicos) dedicado específicamente a la ayuda al desarrollo.

**Perspectivas financieras** : Marco plurianual de planificación financiera que establece los límites del gasto de la
UE. Expresan en términos financieros las prioridades definidas para las políticas de la Unión y constituyen al mismo
tiempo un instrumento de disciplina y planificación presupuestaria. Las perspectivas financieras actuales cubren el
período 2014-2020; y las anteriores, el período 2007-2013.

**Resultado** : Este término abarca:
— realizaciones: lo que se produce o se obtiene con los recursos asignados a una intervención (por ejemplo,

subvenciones concedidas a los agricultores, cursos de formación para desempleados, carreteras construidas);

— efectos: los cambios inmediatos derivados de una intervención (por ejemplo, acceso mejorado a una zona

concreta, gracias a la construcción de una carretera, estudiantes que han encontrado empleo);

— impacto: consecuencias socioeconómicas a largo plazo, directas e indirectas, positivas y negativas, que se

pueden observar una vez transcurrido un determinado período después de la realización de una intervención.

**Servicio Europeo de Acción Exterior (SEAE)** : El SEAE se instauró en diciembre de 2010 en virtud del Tratado
de Lisboa. Entre otras actividades, prepara las dotaciones nacionales y regionales y las estrategias europeas de
cooperación de la UE conjuntamente con los servicios de la Comisión pertinentes en el contexto del ciclo de
programación de la mayoría de los instrumentos de acción exterior.

## **Resumen 06**

###### **I**

En el marco organizativo descentralizado de la Comi­
sión, la Dirección General de Desarrollo y Coopera­
ción – EuropeAid (EuropeAid) ha establecido su propio
marco de rendición de cuentas de sus resultados, que
comprende el seguimiento, la evaluación y la informa­
ción de sus actividades. El presente informe analiza
dos elementos fundamentales de dicho marco, concre­
tamente las evaluaciones y el seguimiento orientado
a los resultados (ROM). La evaluación es la valoración
sistemática y objetiva de una política o un programa
en curso o ya finalizados, y de su concepción, apli­
cación y resultados, mientras que el ROM constituye
una revisión externa normalizada, específica para la
ayuda exterior y diseñada para analizar los resultados
de los programas. Los objetivos principales de estos
elementos del marco de rendición de cuentas son, por
una parte, mejorar la aplicación de los programas en
curso y la concepción de futuros programas y políticas
mediante la comunicación y las experiencias adqui­
ridas y, por otra parte, proporcionar una base para la
rendición de cuentas.

###### **II**

El Tribunal ha llegado a la conclusión de que los sis­
temas ROM y de evaluación de EuropeAid no tenía la
fiabilidad suficiente.

###### **III**

En líneas generales, las funciones ROM y de evaluación
de EuropeAid están bien organizadas, pero hay una
falta de supervisión general de las actividades de los
programas. Además, no se presta suficiente atención
al uso eficiente de los recursos de evaluación y de
ROM.

###### **IV**

Los sistemas ROM y de evaluación no garantizan sufi­
cientemente la obtención de conclusiones pertinentes
y rigurosas. Los planes de evaluación de programas se
basan en criterios de prioridad que no son suficiente­
mente claros. No existe ningún sistema de control para
identificar y rectificar los frecuentes desvíos de los
planes de evaluación. Los procedimientos de control
de calidad no se aplican de manera coherente a los
controles ROM y a las evaluaciones de programas.

###### **V**

Los sistemas ROM y de evaluación no garantizan el
máximo aprovechamiento de las conclusiones porque
no se han implantado mecanismos apropiados para
supervisar su seguimiento y difusión.

###### **VI**

Los sistemas ROM y de evaluación no facilitan informa­
ción adecuada sobre los resultados obtenidos debido
a la insuficiente definición de los objetivos y los
indicadores, a la proporción limitada de evaluaciones
y controles ROM _ex post_ y a limitaciones inherentes a la
metodología de evaluación del apoyo presupuestario.
Estos factores limitan considerablemente la capacidad
de EuropeAid rendir cuentas de los resultados reales
obtenidos.

###### **VII**

El Tribunal formula recomendaciones sobre el uso
eficiente de los recursos ROM y de evaluación y ROM,
la priorización y supervisión de las evaluaciones, la
aplicación de procedimientos de control de calidad, la
demostración de los resultados obtenidos y el segui­
miento y difusión de las conclusiones de la evaluación
y del ROM.

## **Introducción 07**

###### **01**

En el contexto político y económico
actual, resulta más necesario que la
Comisión garantice y demuestre que
los fondos de la UE se emplean de
forma económica, eficiente y eficaz.
El Parlamento Europeo y el Consejo
han señalado que es preciso ofrecer
una visión más clara de los resultados
obtenidos [1] en el logro de los principa­
les objetivos de la Unión. Solo puede
obtenerse información sobre los re­
sultados conseguidos en un marco de
rendición de cuentas de los resultados
que incluya tres elementos: seguimien­
to, evaluación e información.

**El sistema de evaluación**
**de la Comisión**

###### **02**

La evaluación es el examen sistemático
y objetivo de una política o progra­
ma en curso o ya finalizados y de su
concepción, aplicación y resultados.
Su finalidad principal es determinar si
se han alcanzado los objetivos y for­
mular recomendaciones para mejorar
las futuras intervenciones y apoyar el
proceso decisorio de la Comisión, el
Parlamento Europeo y el Consejo.

###### **03**

La evaluación es esencial para planifi­
car, concebir y aplicar las políticas e in­
tervenciones de la UE, y para reforzar
la transparencia y la responsabilidad
democrática, tal y como subraya el
artículo 318 del Tratado de Funciona­
miento de la Unión Europea, en el que
se establece que la Comisión debe
presentar anualmente al Parlamento
Europeo y al Consejo un informe de
evaluación de las finanzas de la Unión

basado en los resultados obtenidos
(informe de evaluación del artículo
318). En febrero de 2014 el Parlamento
Europeo señaló [2] que los tres primeros
informes elaborados por la Comisión
no facilitaban a la autoridad presu­
puestaria una visión clara de la medida
en que se habían alcanzado los objeti­
vos principales de la Unión.

###### **04**

El sistema de evaluación de la Comi­
sión se expone en una serie de docu­
mentos oficiales y normativos:

a) el Reglamento Financiero aplicable

al presupuesto de la UE [3] ;

b) la Comunicación sobre el refuerzo

del uso de la evaluación [4] ;

c) la Comunicación sobre la evalua­

ción estratégica [5] ;

d) la Comunicación sobre el refuer­

zo de los cimientos de la legis­
lación inteligente – Mejorar la
evaluación [6] .

1 Por ejemplo, las
recomendaciones del Consejo
a la Comisión relacionadas con
la aprobación de la gestión de
2011 sobre la «obtención de
resultados» (documento
5752/13 ADD1, p. 31).
Recomendaciones del
Parlamento Europeo en el
contexto de la aprobación de
la gestión de 2011, véanse las
recomendaciones 248
respecto del SEAE
y EuropeAid, y 308 y 309 para
la Comisión en su conjunto
(documento
P7_TA‑PROV(2013)0122).

2 Resolución de 26 de febrero
de 2014, sobre la evaluación
de las finanzas de la Unión
basada en los resultados
obtenidos: un nuevo
instrumento para el
procedimiento mejorado de
aprobación de la gestión de la
Comisión Europea.
Documento P7_TA(2014)0134.

3 Artículo 30, apartado 4 del
Reglamento (UE, Euratom)
nº 966/2012, del Parlamento
Europeo y del Consejo de 25
de octubre de 2012, sobre las
normas financieras aplicables
al presupuesto general de la
Unión (DO L 298 de 26.10.2012,
p. 1).

4 Comunicación a la Comisión
de la Sra. Grybauskaité, de
acuerdo con el presidente:
_Responding to Strategic Needs:_
_Reinforcing the use of_
_evaluation_ (respuesta a las
necesidades estratégicas:
refuerzo del uso de la
evaluación). SEC(2007) 213 de
21 de febrero de 2007.

5 Comunicación del presidente:
_Putting evaluation into practice_
_within the Commission_ (aplicar
la evaluación en la Comisión).
C(2001) 3661 de 12 de
noviembre de 2001.

6 COM(2013) 686 final, de 2 de
octubre de 2013, «Reforzar los
cimientos de la legislación
inteligente – Mejorar la
evaluación».

## **Introducción 08**

###### **05**

Las distintas direcciones generales
tienen la obligación de evaluar sus
propias actividades y pueden estruc­
turar sus sistemas de evaluación para
adaptarse a sus necesidades y requisi­
tos, conforme a las normas definidas
por la Comisión en relación con la
organización, la selección, el diseño
y la utilización de los resultados de las
evaluaciones.

**Sistemas de evaluación**
**y de ROM de EuropeAid**

###### **06**

Los sistemas de evaluación y de se­
guimiento orientado a los resultados
(ROM) de EuropeAid forman parte del
marco de rendición de cuentas basa­
da en los resultados inspirado en los
documentos estratégicos y normativos
enumerados en el apartado 4 y en
otros más específicos sobre la ayuda
de la UE al desarrollo:

a) el reglamento financiero aplica­

ble al FED [7] y otros instrumentos
financieros de apoyo a la política
de desarrollo de la UE;

b) la Declaración de París, el Progra­

ma de Acción de Accra [8] y el Acuer­
do de asociación Busan [9] ;

c) el Consenso Europeo sobre

Desarrollo [10] ;

d) la Comunicación sobre el «Progra­

ma para el Cambio» [11] .

###### **07**

EuropeAid gestiona dos tipos de eva­
luaciones, realizadas por contratistas

externos:

a) evaluaciones estratégicas, que

consisten en evaluaciones geográ­
ficas (que abarcan un país o una
región) y evaluaciones temáticas,
que abarcan un sector (por ejem­
plo, educación o seguridad alimen­
taria) o un método de suministro
de ayuda (por ejemplo, apoyo
presupuestario o cooperación con
bancos de desarrollo);

b) evaluaciones de programas [12], que

se pueden llevar a cabo durante la
ejecución (evaluación intermedia),
al final (evaluación final) o una vez
concluida la intervención (evalua­
ción _ex post_ ).

###### **08**

Estas evaluaciones valoran los resulta­

dos teniendo en cuenta cinco criterios
desarrollados conjuntamente por el
Comité de Ayuda al Desarrollo de la
Organización de Cooperación y Desa­
rrollo Económicos («Comité de Ayuda
de la OCDE») y por la comunidad
internacional de donantes [13] : pertinen­
cia, eficacia, eficiencia, sostenibilidad
e impacto. Además, las evaluaciones
han de valorar la ventaja comparativa
de la UE y la coherencia con las demás
políticas y programas de la UE, las
acciones de los demás donantes y las
políticas de los países asociados.

7 10º FED: artículos 12 y 27 del
Reglamento nº 215/2008 del
Consejo, de 18 de febrero
de 2008, aplicable al décimo
Fondo Europeo de Desarrollo
(DO L 78 de 19.3.2008 p. 1).

11º FED: Decisión nº 1/2013 del
Consejo de Ministros de la UE
ACP, de 7 de junio de 2013, por
el que se adopta un protocolo
marco financiero plurianual
2014-2020, con arreglo al
Acuerdo de asociación entre
los Estados de África, del
Caribe y del Pacífico, por una
parte, y la Comunidad Europea
y sus Estados miembros, por
otra (DO L 173 de 26.6.2013,
p. 67).

8 Declaración de París, 2005
y Programa de Acción de
[Accra, 2008, http://www.oecd.](http://www.oecd.org/dac/effectiveness/parisdeclarationandaccraagendaforaction.htm)
[org/dac/effectiveness/](http://www.oecd.org/dac/effectiveness/parisdeclarationandaccraagendaforaction.htm)
[parisdeclarationandaccraa­](http://www.oecd.org/dac/effectiveness/parisdeclarationandaccraagendaforaction.htm)
[gendaforaction.htm](http://www.oecd.org/dac/effectiveness/parisdeclarationandaccraagendaforaction.htm)

9 Acuerdo de asociación Busan
para la cooperación al
[desarrollo eficaz, 2011: http://](http://www.oecd.org/dac/effectiveness/fourthhighlevelforumonaideffectiveness.htm)
[www.oecd.org/dac/](http://www.oecd.org/dac/effectiveness/fourthhighlevelforumonaideffectiveness.htm)
[effectiveness/fourthhighlevel­](http://www.oecd.org/dac/effectiveness/fourthhighlevelforumonaideffectiveness.htm)
[forumonaideffectiveness.htm](http://www.oecd.org/dac/effectiveness/fourthhighlevelforumonaideffectiveness.htm)

10 Declaración conjunta del

Consejo y de los
Representantes de los
Gobiernos de los Estados
miembros reunidos en el seno
del Consejo, del Parlamento
Europeo y de la Comisión
sobre la política de desarrollo
de la Unión Europea titulada
«El consenso europeo sobre
desarrollo» (DO C 46 de
24.2.2006, p. 1).

11 COM(2011) 637 final, de

13 octubre de 2011,
«Incremento del impacto de la
política de desarrollo de la UE:
Programa para el Cambio».

12 El término _programa_ utilizado

en este informe designa los
_proyectos_, que son
intervenciones a pequeña
escala, y los _programas,_
intervenciones a gran escala.

[13 http://www.oecd.org/dac/](http://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm)

[evaluation/daccriteriaforeva­](http://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm)
[luatingdevelopmentassistan­](http://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm)
[ce.htm](http://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm)

## **Introducción 09**

###### **09**

El sistema ROM es utilizado por Eu­
ropeAid para inspeccionar sobre el
terreno la calidad de sus programas.
Se basa en breves visitas de expertos
externos a los programas sobre el
terreno para calificar sus resultados
(véase el _**anexo I**_ ) con arreglo a los cin­
co criterios de evaluación del Comité
de Ayuda de la OCDE mencionados
anteriormente (véase el apartado 8). La
calificación permite comparar los dife­
rentes programas y agregar los datos
generales de la gestión de resultados.
En comparación con las evaluaciones,
ROM es un instrumento más ágil que
facilita una visión rápida de los re­
sultados de los programas y, al igual
que las evaluaciones, se pueden llevar
a cabo durante la ejecución de estos
o _a posteriori_ .

###### **10**

EuropeAid elabora los siguientes infor­
mes clave:

a) Informe semestral de gestión de la

ayuda exterior (IGAE), documento
principal de las delegaciones de la
UE [14] ;

b) los informes de los directores de

EuropeAid sobre la gestión de los
fondos delegados en ellos;

c) el informe anual de actividad pre­

sentado por el director general de
EuropeAid al comisario, al Parla­
mento Europeo y al Consejo;

d) el informe anual sobre las políticas

de desarrollo y de ayuda exterior
de la Unión Europea, presentado al
Parlamento Europeo y el Consejo
por la Comisión;

e) la contribución al informe de

evaluación del artículo 318 presen­
tado por la Comisión al Parlamento
Europeo y al Consejo.

14 Los IGAE debían presentarse

anualmente a partir de 2014.

## **Alcance y enfoque
 10**
#### **de la fiscalización**

###### **11**

El Tribunal examinó si EuropeAid dis­
pone de sistemas ROM y de evaluación
fiables. La fiscalización se centró en
tres preguntas clave:

a) ¿Están bien organizadas y dotadas

de recursos las funciones de eva­
luación y ROM de EuropeAid?

b) ¿Garantizan los sistemas ROM y de

evaluación de EuropeAid unos
resultados pertinentes y rigurosos?

c) ¿Garantizan los sistemas ROM

y de evaluación el aprovecha­
miento máximo de los resultados

obtenidos?

###### **12**

La fiscalización abarcó los sistemas
ROM y de evaluación vigentes durante
el período 2007-2013 y, en los casos
en los que se disponía de suficiente
información que pudiera ser compro­
bada por el Tribunal, también tuvo en
cuenta las modificaciones aprobadas
o previstas por EuropeAid para el pe­
ríodo de 2014-2020.

###### **13**

La fiscalización, que se llevó a cabo
entre noviembre de 2013 y marzo
de 2014, consistió en:

a) una revisión de las directrices de

ROM y de evaluación de EuropeAid
y de los documentos y proce­
sos principales en la gestión de
evaluaciones;

b) entrevistas con agentes de ocho

unidades de EuropeAid [15] ;

c) visitas a las delegaciones de la UE

en Benín y la India, con entrevistas
con el personal de las delegacio­
nes y una revisión de la documen­
tación pertinente;

d) una revisión de los documentos de

programación (véase el _**anexo II**_ ),
los acuerdos de financiación de
programas (véase el _**anexo III**_ ), las
evaluaciones estratégicas y de pro­
gramas (véase el _**anexo IV**_ ) y los
informes ROM (véase el _**anexo V**_ );

e) una encuesta enviada a 50 delega­

ciones de la UE, a la que respon­
dieron 41 de ellas (véase _**anexo VI**_ ).

15 Evaluación, Calidad

y Resultados, Planificación
ACP y Coordinación
Horizontal; Coordinación
geográfica Asia y Pacífico;
Educación, Salud,
Investigación, Cultura,
Desarrollo Rural, Seguridad
Alimentaria, Nutrición;
Asociación UE‑África, Fondo
de Apoyo a la Paz; Programas
Regionales para la Vecindad
del Sur.

## **Observaciones 11**

**En líneas generales,**
**las funciones de ROM**
**y de evaluación están**
**bien organizadas, pero**
**EuropeAid podría prestar**
**más atención al uso**
**eficiente de recursos**

###### **14**

El Tribunal examinó si los sistemas
ROM y de evaluación y ofrecen una
buena repartición de las competencias
y garantizan el uso eficaz de los recur­
sos financieros y humanos.

**Las competencias están**
**bien repartidas, pero**
**la supervisión de las**
**evaluaciones de programas**
**es insuficiente**

###### **15**

La organización de EuropeAid combi­
na acertadamente las competencias
centralizadas y las descentralizadas.
En cuanto a las primeras:

a) la Unidad de Evaluación gestiona

las evaluaciones estratégicas, lo
que requiere una visión exhaustiva
de las actividades de EuropeAid.
Esta unidad se encarga de desarro­
llar la metodología de la evalua­
ción y de coordinar y supervisar
las actividades de evaluación de
EuropeAid, y desempeña además
un papel central al informar de
los resultados de las evaluaciones
estratégicas en el informe anual
de actividad y en el informe anual
y en la contribución de EuropeAid
al informe de evaluación de la Co­
misión, en virtud del artículo 318;

b) la Unidad de Calidad y Resultados

se encarga de supervisar, dentro
del sistema ROM, la garantía de
calidad general de toda la orga­
nización y la coherencia entre los
controles ROM y las evaluaciones
de programas, y contribuye al
análisis de los datos del ROM y de
la evaluación de programas. Tam­
bién proporciona las calificaciones
agregadas ROM del rendimiento
para el informe anual de activida­
des y el informe anual;

c) los coordinadores ROM de Euro­

peAid [16] supervisan el sistema ROM
en sus respectivos ámbitos de
intervención. En las unidades ope­
rativas de EuropeAid y en las de­
legaciones de la UE, las unidades
ROM prestan apoyo a los expertos
en la organización de visitas sobre
el terreno.

###### **16**

Las unidades de Evaluación y de Cali­
dad y Resultados dependen directa­
mente del director general adjunto,
cargo de nivel suficiente dentro de la
organización como para garantizarles
el apoyo de los altos directivos en el
desempeño de sus funciones.

16 En total hay cinco

coordinadores ROM: uno para
los distintos programas
geográficos en las regiones
(África - Caribe - Pacífico, Asia,
América Latina, Vecindad)
y uno para los programas
temáticos.

## **Observaciones 12**

###### **17**

La gestión de las evaluaciones de
programas está descentralizada en las
unidades operativas de EuropeAid y en
las delegaciones de la UE, lo que tiene
beneficios potenciales al garantizar la
absorción de los resultados de las eva­
luaciones. Sin embargo, los gestores
de programas tienen un grado consi­
derable de autonomía en la gestión de
las evaluaciones, ya que se encargan
de todas las etapas del proceso, desde
el inicio de las evaluaciones hasta el
seguimiento de los resultados. Como
consecuencia de la falta de coordi­
nación y supervisión general de esta
actividad, EuropeAid no dispone de
una visión de conjunto y hay poca
supervisión por parte de los máximos
responsables.

**EuropeAid no presta**
**suficiente atención**
**a la utilización eficiente**
**de los recursos**

###### **18**

Las normas de evaluación de la Co­
misión requieren que las actividades
de evaluación dispongan de recur­
sos apropiados para cumplir con sus
objetivos. En particular, cada direc­
ción general debe garantizar que los
recursos financieros y humanos están
claramente identificados y asignados
proporcionalmente para la realización
de actividades de evaluación.

###### **19**

EuropeAid carece de información
suficiente sobre los recursos utilizados
por sus sistemas ROM y de evaluación.
Existe información sobre el coste anual
de las evaluaciones estratégicas, que
oscila entre 5 y 6 millones de euros,
y de los controles ROM, que ascen­
dió a 17 millones de euros durante el
período 2007-2013 [17] . De acuerdo con
las estimaciones efectuadas en 2010
y 2013 por EuropeAid, el coste anual de
las evaluaciones de programas oscila
entre 12 y 15 millones de euros, de
modo que el coste anual total de las
evaluaciones y de los controles ROM
oscilaría entre los 34 y los 38 millones
de euros. Sin embargo, el Tribunal no
puede confirmar la exactitud de las
estimaciones, ya que EuropeAid no dis­
pone de información fiable acerca del
número de evaluaciones de programas
y su coste no se puede identificar con
facilidad en el sistema informático de
gestión de la información [18] .

###### **20**

Hay dieciséis agentes en la unidad de
Evaluación y un equivalente a tiempo
completo que se ocupa de ROM en la
Unidad de Calidad y Resultados. No
obstante, no se dispone de informa­
ción de gestión relativa a los recursos
humanos encargados de las evaluacio­
nes de programas y de los controles
ROM entre los gestores de programas,
en los centros de referencia ROM y en­
tre los coordinadores ROM. Basándose
en su encuesta, el Tribunal estima que
hay aproximadamente sesenta pues­
tos equivalentes a tiempo completo
trabajando en los controles ROM y en
las evaluaciones de programas en
las delegaciones de la UE. Por tanto,
es probable que el número total de
puestos equivalentes a tiempo pleno
dedicados a evaluaciones y a controles
ROM esté muy por encima de ochenta.

17 EuropeAid estima que este

coste anual se incrementaría
en 25,5 millones de euros
aproximadamente, debido en
particular a visitas sobre el
terreno más largas (de una
media de dos días a ocho días)
y al empleo de especialistas
más experimentados.

18 Sistema Común de

Información Relex.

## **Observaciones 13**

###### **21**

Debido a la falta de información fiable,
EuropeAid no puede garantizar que
los recursos humanos y financieros se
asignen de forma apropiada y propor­
cionada a las diferentes actividades de
evaluación y de control ROM.

###### **22**

El Tribunal constató que la coordina­
ción entre las evaluaciones de progra­
mas y los controles ROM fue insuficien­
te, lo que puede causar ineficiencias.
Las evaluaciones de programas y los
controles ROM siguen enfoques y cri­
terios de planificación completamente
diferentes [19] (véanse los apartados 27
y 31). Los programas pueden ser so­
brevalorados o infravalorados debido
a una combinación inapropiada de
ROM y de evaluaciones, o en ocasiones
no ser evaluados en absoluto, como
ocurre con frecuencia en la etapa
posterior a la finalización (véanse los
apartados 45 a 48). Esto lo confirma
la encuesta realizada por el Tribunal:
solo en la mitad de las respuestas se
considera que las evaluaciones de pro­
gramas y los controles ROM se comple­
mentan bien entre sí.

**Los sistemas ROM y de**
**evaluación de EuropeAid**
**no garantizan**
**suficientemente unos**
**resultados pertinentes**
**y rigurosos**

###### **23**

El Tribunal examinó si las evaluaciones
y los controles ROM se seleccionaron
en función de unos criterios apropia­
dos, se efectuaron a tiempo, fueron
realizadas por expertos suficientemen­
te cualificados, y si los procedimientos
de control de calidad se aplicaron de
forma eficaz y si facilitaron pruebas
suficientes de los resultados obtenidos
por las intervenciones de EuropeAid.

**Existen algunas**
**insuficiencias en la selección**
**de las evaluaciones de**
**programas y en la entrega**
**puntual de las evaluaciones**

**Los planes plurianuales de las**
**evaluaciones estratégicas se**
**basan en criterios apropiados**

###### **24**

El plan plurianual indicativo corres­
pondiente al período 2007-2013 tenía
por finalidad alcanzar una cobertura
geográfica completa que permitiera
extraer conclusiones para el ulterior
proceso de programación. Las evalua­
ciones temáticas se seleccionaron en
función de la magnitud de los fondos
asignados y de la importancia de los
sectores en las estrategias de coope­
ración nacional y regional en la UE. El
objetivo era incrementar el número de
evaluaciones de métodos de suminis­
tro de ayuda (por ejemplo, apoyo pre­
supuestario, cooperación con el BEI,
bancos de desarrollo y cooperación
con las organizaciones de las Naciones
Unidas).

19 La única norma es que no se

debería llevar a cabo el mismo
año un ROM y una evaluación
de programa.

## **Observaciones 14**

###### **25**

Para el programa de trabajo renovable
2014-2018 se ajustaron aún más los
criterios de selección. El objetivo era
ofrecer elementos suficientes para in­
formar en 2017 al Parlamento Europeo
y al Consejo de los resultados e im­
pacto de los instrumentos financieros
de acuerdo con las normas y proce­
dimientos de ejecución comunes de
los instrumentos de la Unión para la
financiación de la acción exterior [20] .

Las evaluaciones temáticas se selec­
cionaron según los temas prioritarios
del Programa para el Cambio [21], y la
finalidad era garantizar un equilibrio
proporcional entre las regiones (África,
América Latina y Asia) y los tipos de
países (países de renta media, Estados
frágiles y países con programas de
apoyo presupuestario significativo).

**Los criterios de selección**
**de la evaluación de programas**
**no están claros**

###### **26**

La razón principal para realizar una
evaluación de programa es que ello
figure como obligación o posibilidad
en el convenio financiero firmado con
el socio beneficiario o el socio de eje­
cución. La evaluación en estos conve­
nios se decide caso por caso en la fase
de concepción del programa, pero no
hay instrucciones sobre cómo tomar
esta decisión. En su revisión de veinte
programas recientes (véase el _**anexo**_
_**III**_ ), el Tribunal identificó diferencias
significativas e inexplicadas:

a) en todos los programas se pre­

veían evaluaciones intermedias,
pero solo eran obligatorias en la
mitad de ellos;

b) solo en dos tercios de los progra­

mas se preveían evaluaciones _ex_
_post_, pero solo eran obligatorias en
uno de ellos.

**Con frecuencia, las**
**evaluaciones no se llevan**
**a cabo según**
**lo previsto**

###### **27**

EuropeAid no ha establecido un
sistema adecuado para supervisar la
aplicación de planes estratégicos y de
evaluación de programas, analizar las
razones de las desviaciones y atajar las
causas sistémicas de los retrasos.

###### **28**

Frecuentemente, las evaluaciones
estratégicas se alargaron más de lo
previsto [22], lo que contribuyó a una
ejecución incompleta del programa
plurianual de evaluación indicativo
para el período 2007-2013; únicamente
se completó el 70 % de las evaluacio­
nes seleccionadas. Según EuropeAid,
esto se debió en particular a la escasez
de recursos de personal en la Unidad
de Evaluación.

20 Artículo 17 del Reglamento

(CE) nº 236/2014 del
Parlamento Europeo y del
Consejo, de 11 de marzo
de 2014, por el que se
determinan las normas
comunes y procedimientos
para la aplicación de
instrumentos de la Unión en
acciones para financiar la
acción exterior (DO L 77 de
15.3.2007, p. 95).

21 Las principales prioridades

políticas son:

  - Derechos humanos,

democracia, gobernanza
(incluidos el Estado de
Derecho, igualdad de
género y la emancipación
de la mujer, política fiscal
y administración,
corrupción, sociedad civil
y autoridades locales,
recursos naturales
y desarrollo‑seguridad).

  - Crecimiento integrador

y sostenible (protección
social, salud, educación,
empleo, entorno
empresarial, integración
regional y mercados
mundiales, agricultura
sostenible y energía).

22 Las evaluaciones por países

duraron 18 meses de media en
lugar de los 12 meses
previstos.

## **Observaciones 15**

###### **29**

A pesar de que las evaluaciones de
programas se suelen efectuar según
su calendario, la encuesta del Tribunal
reveló que en el período 2013-2013
hubo una diferencia significativa entre
las evaluaciones previstas y las que se
llevaron a cabo [23] . Las disposiciones
de los convenios de financiación no
se aplicaron sistemáticamente duran­
te la ejecución de los programas, ya
que las evaluaciones se pospusieron
o cancelaron en algunas ocasiones. La
encuesta del Tribunal indica que las
delegaciones de la UE toman esas de­
cisiones en función de factores como
la limitación de recursos de personal [24],
las necesidades de los usuarios de las
evaluaciones y la aplicación problemá­
tica de los programas. No se documen­
taron las razones para no realizar las
evaluaciones previstas, lo que aumen­
ta el riesgo de que las decisiones de
no realizar una evaluación carezcan

de fundamento o no se tomen al nivel
apropiado.

**La metodología de selección**
**del ROM reduce la utilidad**
**de los controles ROM**

###### **30**

La selección de los controles ROM se
basa en unos criterios definidos [25] y se
realiza de forma concertada entre los
contratistas ROM y los gestores de pro­
gramas. Los controles ROM se suelen
efectuar con arreglo a lo previsto y los
informes se suelen entregar sin retra­
sos significativos.

###### **31**

Sin embargo, en su Informe Especial
nº 1/2011 [26], el Tribunal señaló las limi­
taciones clave que reducen la utilidad
del sistema ROM como indicador
aplicable a los programas de ayuda en
conjunto, especialmente que la mues­
tra de proyectos seleccionada para
el control no se determina estadísti­
camente, sino sobre la base de una
decisión fundada en un juicio. En 2011,
la estructura de auditoría interna de
EuropeAid también observó que, como
la selección no se basa en el riesgo, los
controles ROM no aportan información
a los gestores de los programas que
más precisan mejorar su aplicación.

**Los procedimientos para**
**garantizar la calidad de las**
**evaluaciones de programas**
**y de los controles ROM se**
**aplican de forma incoherente**

**Los procedimientos de**
**contratación garantizan el**
**reclutamiento de expertos**
**suficientemente cualificados**

###### **32**

Las evaluaciones son llevadas a cabo
por consultores externos reclutados
por EuropeAid a través de procedi­
mientos de contratación pública. Las
propuestas presentadas por las em­
presas de consultoría se puntúan con
arreglo a unos requisitos específicos [27],
en particular relativos a la cualificación
profesional de los expertos. Los jefes
de equipo y los expertos de categoría
superior suelen tener una experien­
cia profesional en el ámbito de las
intervenciones de entre diez y quince
años; más cinco años de experiencia
en evaluación en el caso de los jefes de
equipo.

23 De media, las delegaciones de

la UE habían previsto 3,5
evaluaciones anuales y se
realizaron 2,9.

24 Razón principal alegada para

no llevar a cabo una
evaluación prevista.

25 Véase el manual ROM 2012,

[p. 38 (http://ec.europa.eu/](http://ec.europa.eu/europeaid/how/ensure-aid-effectiveness/documents/rom_handbook2011_en.pdf)
[europeaid/how/ensure-aid-](http://ec.europa.eu/europeaid/how/ensure-aid-effectiveness/documents/rom_handbook2011_en.pdf)
[effectiveness/documents/](http://ec.europa.eu/europeaid/how/ensure-aid-effectiveness/documents/rom_handbook2011_en.pdf)
[rom_handbook2011_en.pdf)](http://ec.europa.eu/europeaid/how/ensure-aid-effectiveness/documents/rom_handbook2011_en.pdf)
Las razones principales para
apartarse de los criterios
definidos son: i) evitar la
supervisión innecesaria de
programas bien gestionados o
de programas evaluados
recientemente; ii) abarcar
programas problemáticos
situados por debajo del
umbral financiero, y iii)
reforzar la supervisión de los
programas con una
supervisión interna
insuficiente.

26 Informe Especial nº 1/2011,

«¿Supone una mejora en la
prestación de la ayuda la
desconcentración de las
competencias de la Comisión
en gestión de la ayuda exterior
para transferirlas de los
servicios centrales a las
delegaciones?», apartado 25
[(http://eca.europa.eu).](http://eca.europa.eu)

27 Condiciones

o especificaciones técnicas.

## **Observaciones 16**

###### **33**

Los controles ROM también son efec­
tuados por consultorías externas (con­
tratistas ROM) seleccionadas a través
de un procedimiento de contratación
pública [28] . La experiencia necesaria
en cooperación al desarrollo en una
región determinada es de diez años
para los expertos de alto nivel, de cin­
co a diez para los de nivel medio y de
hasta cinco para los noveles. En los
contratos firmados en 2014, EuropeAid
solicitó a los contratistas ROM la con­
tratación de expertos especializados
en misiones a largo plazo para mejorar
aún más el nivel de cualificación.

**Los procedimientos de control**
**de calidad de las evaluaciones**
**de programas y de los**
**controles ROM no se aplican**
**sistemáticamente**

###### **34**

Las normas de evaluación de la Co­
misión disponen que, salvo en casos
debidamente justificados, en cada
evaluación se debe establecer un gru­
po de referencia [29] para ofrecer aseso­
ramiento sobre las condiciones, apoyar
el trabajo de evaluación y participar re­
gularmente en la valoración de calidad
de la evaluación. En las directrices de
evaluación de EuropeAid se subraya
que garantizar la calidad en cada fase
del proceso es una tarea clave del
gestor de evaluación y del grupo de
referencia, en el que deben participar
representantes de las principales par­
tes interesadas [30] .

###### **35**

En las evaluaciones estratégicas se
establecen sistemáticamente grupos
de referencia y, en sus reuniones perió­
dicas, se levanta acta de sus activida­
des, entre las que figura la revisión de
calidad en todas las fases.

###### **36**

Sin embargo, en las evaluaciones
de programas no se hacía lo propio.
Según la encuesta del Tribunal, solo el
39 % de las delegaciones de la UE crea
un grupo de referencia siempre o la
mayoría de las veces [31], pero las uni­
dades operativas de EuropeAid y las
delegaciones de la UE visitadas por el
Tribunal raramente lo crearon formal­
mente. El gestor del programa y las
otras partes interesadas pueden ce­
lebrar consultas en distintas fases del
proceso de evaluación (por ejemplo, al
redactar las condiciones o al revisar el
borrador del informe de evaluación),
pero debido a la ausencia de docu­
mentación apropiada, el Tribunal no
pudo valorar se trataba de una prácti­
ca frecuente.

###### **37**

Con arreglo a las directrices de eva­
luación de EuropeAid, la calidad del
proyecto de informe y del informe
de evaluación final debe valorarse

en función de nueve criterios bien
definidos [32] ; para ello, dos personas
que analicen los nueve criterios deben
completar una ficha de calidad. En
las evaluaciones estratégicas, la ficha
se completó sistemáticamente y se
publicó junto al informe de evaluación
en el sitio web de EuropeAid [33] . En las
evaluaciones de programas, según la
encuesta del Tribunal, únicamente el
71 % de las delegaciones de la UE va­
loran la calidad del informe de evalua­
ción y solo el 37 % completan la ficha
de valoración [34] .

28 En total hay cinco contratistas

ROM: uno por región para los
programas geográficos
(África - Caribe - Pacífico; Asia;
América Latina y Vecindad)
y uno para los programas
temáticos.

29 Denominado asimismo

«grupo directivo» en la
Comisión.

30 En función del tipo de

evaluación y del lugar en el
que se realice, en los grupos
de referencia pueden
participar representantes de
EuropeAid, del SEAE, de otros
servicios de la Comisión, de las
autoridades de países
asociados, de organizaciones
de la sociedad civil, de otras
agencias de donantes, u otros
expertos.

31 No se crearon grupos de

referencia formales en las
delegaciones y unidades
operativas visitadas durante la
fiscalización excepto en el
caso de las evaluaciones de
programas similares a las
evaluaciones estratégicas.

32 Los nueve criterios son: 1)

satisfacción de las
necesidades, 2) pertinencia
del alcance, 3) justificación del
método, 4) fiabilidad de los
datos, 5) solidez del análisis, 6)
credibilidad de los resultados,
7) valor de las conclusiones, (8)
utilidad de las
recomendaciones y 9) claridad
del informe. En las
evaluaciones de programas,
los criterios 2 y 4 se combinan
un uno solo: justificación del
método. Cada criterio se
califica por cinco niveles:
excelente, muy bueno, bueno,
[mediocre e inaceptable. http://](http://ec.europa.eu/europeaid/evaluation/methodology/guidelines/gui_qal_flr_en.htm#03)
[ec.europa.eu/europeaid/](http://ec.europa.eu/europeaid/evaluation/methodology/guidelines/gui_qal_flr_en.htm#03)
[evaluation/methodology/](http://ec.europa.eu/europeaid/evaluation/methodology/guidelines/gui_qal_flr_en.htm#03)
[guidelines/](http://ec.europa.eu/europeaid/evaluation/methodology/guidelines/gui_qal_flr_en.htm#03)
[gui_qal_flr_en.htm#03).](http://ec.europa.eu/europeaid/evaluation/methodology/guidelines/gui_qal_flr_en.htm#03)

[33 http://ec.europa.eu/](http://ec.europa.eu/europeaid/evaluation-reports_en)

[europeaid/](http://ec.europa.eu/europeaid/evaluation-reports_en)
[evaluation‑reports_en](http://ec.europa.eu/europeaid/evaluation-reports_en)

34 Esta ficha solo se completó en

la evaluación del Fondo de Paz
para África, una de las diez
evaluaciones de programas
examinadas por el Tribunal.

## **Observaciones 17**

###### **38**

Los gestores de programas deben
evaluar la calidad de los informes ROM
completando una hoja de respuestas
obligatoria. Esto solo se realizó en
menos del 60 % de los informes ROM
entregados durante el período com­
prendido entre 2011 y 2013.

**La evaluación y los sistemas**
**ROM no facilitan información**
**adecuada sobre los**
**resultados obtenidos**

**Los objetivos del programa**
**y los indicadores no están**
**bien definidos**

###### **39**

Para que se lleve a cabo una valoración
basada en pruebas los programas han
de tener unos objetivos específicos,
medibles y delimitados en el tiempo
con indicadores objetivamente verifi­
cables. Los objetivos mencionados en
los documentos políticos de alto nivel
y en los textos jurídicos por los que se
establecen los instrumentos financie­
ros se elaboran en un contexto político
y, aunque deban servir de base, con
frecuencia carecen de la especificidad
necesaria para ser útiles en la apli­
cación. Por ello han de traducirse en
objetivos operativos más específicos al
programar la ayuda a un país, región
o sector, y al concebir las distintas
intervenciones.

###### **40**

En cinco [35] de los quince documentos
revisados por el Tribunal sobre pro­
gramación temática, regional y nacio­
nal (véase el _**anexo II**_ ), se describían
claramente los objetivos e indicadores,
pero no se establecían elementos de
referencia o metas que sirvan de guía
para evaluar los resultados. En los
otros diez, los objetivos no estaban
claros y en muchos casos faltaban indi­
cadores (véase el _**recuadro 1**_ ).

###### **41**

En cuanto a los diversos programas, en
varios de sus informes, el Tribunal [36] ha
subrayado que los objetivos no están
suficientemente claros y que no se
definen indicadores medibles. Cuatro

de los diez informes de evaluación de
programas examinados por el Tribunal
citaban como insuficiencias princi­
pales unos objetivos e indicadores
poco claros, así como la ausencia de
elementos de referencia e indisponi­
bilidad de datos de seguimiento para
supervisar la información [37] (véase el
_**recuadro 2**_ ). Solo en dos evaluaciones
se formulaban comentarios positivos al
respecto [38] .

###### **42**

Al faltar unos objetivos e indicadores
claramente definidos, la evaluación
no puede aportar pruebas basadas en
la evaluación de resultados, cuestión
mencionada en un estudio de 2011
encargado por EuropeAid [39] .

35 Seguridad alimentaria, Benín,

Chad, Uruguay y Zambia.

36 Por ejemplo, Informe Especial

nº 1/2012, «Eficacia de la ayuda
al desarrollo de la Unión
Europea para la seguridad
alimentaria en el África
subsahariana», apartado 51,
e Informe Especial nº 13/2013
«Ayuda de la UE al desarrollo
de Asia Central», apartado 52
[(http://eca.europa.eu).](http://eca.europa.eu)

37 Dos contratistas ROM (IEVA

y CMPT), uno encargado del
ROM para el Instrumento
Europeo de Vecindad
y Asociación y otro del ROM
para los programas temáticos
de gestión centralizada
formularon comentarios
similares en sus informes
anuales de 2011, 2012 y 2013.

38 Benín: PACTE – _programme_

_d’appui aux collectivités_
_territoriales;_ Programas «Food
Facility» aplicados con la
Unión Africana - Oficina
Interafricana de Recursos
Animales (UA‑IBAR):
intervención ganadera de
emergencia para mitigar la
crisis alimentaria en Somalia
(Leisom) y _Vaccines for the_
_Control of Neglected Animal_
_Diseases en África_ (Vacnada)
(vacunas para el control de
enfermedades animales
olvidadas en África).

39 _Study on Legal Instruments and_

_Lessons Learned from the_
_Evaluations Managed by the_
_Joint Evaluation Unit_, julio de
2011, apartado 26, p. ix (no
[abarca el FED). http://](http://ec.europa.eu/europeaid/evaluation-reports_en)
[ec.europa.eu/europeaid/](http://ec.europa.eu/europeaid/evaluation-reports_en)
[evaluation‑reports_en, en el](http://ec.europa.eu/europeaid/evaluation-reports_en)
apartado _«per instrument /_
_channel»._

## **Observaciones 18**

**Ejemplos de objetivos imprecisos en los documentos plurianuales de programación**

**«Invertir en las personas»: Informe intermedio del Documento Estratégico para el Programa Temático**
**(2007-2013) y Programación indicativa plurianual 2011-2013**

Por lo que respecta al refuerzo de los sistemas sanitarios y el acceso universal a la asistencia sanitaria básica:

«En cuanto a la prestación, la acción temática se debería centrar en el apoyo a actividades que:

οο estimulen la movilidad efectiva de recursos para la cobertura universal de prestación de servicios
sanitarios;

οο fomenten y apoyen la aplicación de medios innovadores y buenas prácticas para corregir las deficiencias
en la prestación de servicios sanitarios y la mejora en la calidad de la asistencia;

οο apoyen el papel de la sociedad civil, las asociaciones profesionales y otras partes interesadas en su defen­
sa, la supervisión de políticas y función de asesoramiento en el ámbito de la salud;

οο apoyen plataformas para el diálogo de políticas y el intercambio de buenas prácticas sobre diferentes
aspectos de la salud a nivel global y regional;

οο apoyen a los países asociados en el proceso de aplicación de compromisos jurídicos internacionales en el
ámbito de la salud.»

**DEN/PIN Bolivia 2007-2013**

_**«Reforzar el sector productivo que comprende las microempresas y las pymes, y mejorar el marco de las ins­**_
_**tituciones con el fin de incrementar la productividad y la competitividad, lo que llevará a un mejor acceso al**_
_**mercado y a la integración para crear un trabajo decente y sostenible.»**_

**Ejemplos de objetivos imprecisos en los programas**

**Euromed migración II 2008-2011**

_**«Reforzar la cooperación en la gestión o migración con el fin de fomentar la capacidad de los socios MEDA**_
_**para que proporcionen soluciones eficaces y globales a las diferentes formas de migración.»**_

**African Peace Facility 2003-2013**

_**«Apoyar la puesta en funcionamiento de las estructuras africanas para la paz y la seguridad, aumentar la**_
_**eficacia de la Unión Africana y las organizaciones africanas regionales sobre la ejecución de operaciones en**_
_**apoyo de la paz en África.»**_

## **Observaciones 19**

**Las evaluaciones y los controles**
**ROM se centran más en la**
**aplicación de los programas**
**que en los resultados obtenidos**

###### **43**

Las directrices de evaluación de Euro­
peAid indican que:

a) las evaluaciones intermedias

y finales tienen por objeto extraer
enseñanzas de los primeros años
de ejecución de la intervención,
ajustar la intervención en curso
siempre que sea necesario y ofre­
cer un análisis de los primeros
resultados e impactos obtenidos;

b) las evaluaciones _ex post_ se centran

principalmente en comprobar el
impacto obtenido, en evaluar la
sostenibilidad de los beneficios de
la intervención, en informar a las
instituciones que hayan asignado
recursos y en ayudar a transmitir
la experiencia adquirida a otros
países o sectores.

###### **44**

Raramente se realizan evaluaciones
_ex post_ de los programas. En las dos
delegaciones de le UE visitadas, solo
tres de las diecisiete evaluaciones reali­
zadas en el período 2010–2013 fueron
_ex post_, y los programas de financia­
ción casi nunca imponían la obligación
de llevarlas a cabo [véase el aparta­
do 27, letra b)]. Otra causa de la falta de
evaluaciones _ex post_ es que las evalua­
ciones de programas se financian con
el presupuesto propio del programa y,
por tanto, están limitados por su fecha
de finalización.

###### **45**

Según EuropeAid, otros factores
coadyuvantes son la falta de datos de
seguimiento tras la finalización del
programa y las la posible evolución del
contexto del país socio que pueden
afectar a la eficacia del programa. El
Tribunal no considera válidos estos
argumentos: el sistema de seguimien­
to se puede programar de modo que
continúe recabando los datos que se
estimen necesarios durante un cierto
período tras la finalización del pro­
grama (véase el apartado 49), y una
evaluación también tiene por objeto
determinar y valorar el impacto de
factores inesperados.

###### **46**

Las directrices ROM [40] indican que el
ROM _ex post_ permite recopilar informa­
ción fiable sobre el diseño, el impacto
real y la sostenibilidad de un proyecto,
factores que solo se pueden consta­
tar una vez finalizado el proyecto. Sin
embargo, los ROM _ex post_ representa­
ron por término medio solo el 11 % de
los ROM llevados a cabo en el período
2008-2012, y EuropeAid decidió su
suspensión a partir de 2014 al consi­
derar que su metodología era inapro­
piada para evaluar el impacto y que
el sistema ROM revisado únicamente
tiene por objeto apoyar la gestión y la
aplicación del programa.

40 Véase el manual ROM 2012,

p. 57.

## **Observaciones 20**

###### **47**

En contraste con la proporción limi­
tada de evaluaciones de programas
y ROM _ex post_, el marco de medición
de resultados aplicado en el Banco Eu­
ropeo de Inversiones (BEI) ha incorpo­
rado desde 2012 el seguimiento _ex post_
hasta tres años después de la conclu­
sión del proyecto, y tiene la intención
de utilizar los datos así recabados para
las evaluaciones _ex post_ .

**La metodología empleada**
**para evaluar el apoyo**
**presupuestario presenta**
**limitaciones inherentes**

###### **48**

Bajo la dirección de la Unidad de
evaluación de EuropeAid, la red OCDE/
CAD sobre evaluación del desarro­
llo publicó en 2012 un documento
titulado _Evaluating Budget Support –_
_Methodological Approach_ (Evaluación
del apoyo presupuestario – enfoque
metodológico) [41] . Se trata de un marco
común de evaluación de las opera­
ciones de apoyo presupuestario que
proporciona directrices sobre cómo
organizar y llevar a cabo estas evalua­
ciones. En el documento se reconoce
que, en la mayoría de los casos, será
difícil cuantificar la contribución del
apoyo presupuestario, que deberá
ser evaluada desde un punto de vista
cualitativo.

###### **49**

Aunque, naturalmente, en todas las
evaluaciones se tenga en cuenta la
valoración cualitativa, la dificultad de
establecer relaciones causa‑efecto
lógicas e inequívocas entre los resul­
tados observados y los programas
de apoyo presupuestario debilita la
fiabilidad de las pruebas facilitadas por
la evaluación. Esta limitación inherente

no se menciona en los informes de
evaluación del apoyo presupuestario [42]
ni en los informes de EuropeAid [43] .

**Los informes presentados**
**no aportan muchas pruebas**
**de los resultados obtenidos**

###### **50**

La capacidad de EuropeAid de evaluar
y comunicar los resultados obtenidos
queda considerablemente reducida
por la insuficiente claridad de los
objetivos e indicadores establecidos
para los programas operativos y por la
importancia concedida a las evaluacio­
nes y a los controles ROM durante la
aplicación de los programas.

###### **51**

Como ha señalado el Tribunal en varios
informes [44], existe poca información
sobre los resultados reales de la ayuda
en los informes semestrales de las
delegaciones de la EU y en los dos
informes anuales clave de EuropeAid,
que tienden a centrarse más en las
actividades llevadas a cabo que en los
logros de las políticas.

###### **52**

Esto sucede también con la contribu­
ción de EuropeAid a los informes de
evaluación del artículo 318 presen­
tados por la Comisión. En su Informe
anual de 2012 [45], el Tribunal llegó a la
conclusión de que, pese a los avances
logrados, estos informes no facilitaban
pruebas suficientes, pertinentes y fia­
bles sobre los logros de las políticas de
la UE, por lo que no eran adecuados
para el uso al que estaban destinados
en el procedimiento de aprobación de
la gestión.

[41 http://www.oecd.org/dac/](http://www.oecd.org/dac/evaluation/dcdndep/Methodological approach BS evaluations Sept 2012 _with cover Thi.pdf)

[evaluation/dcdndep/](http://www.oecd.org/dac/evaluation/dcdndep/Methodological approach BS evaluations Sept 2012 _with cover Thi.pdf)
[Methodological%20](http://www.oecd.org/dac/evaluation/dcdndep/Methodological approach BS evaluations Sept 2012 _with cover Thi.pdf)
[approach%20BS%20](http://www.oecd.org/dac/evaluation/dcdndep/Methodological approach BS evaluations Sept 2012 _with cover Thi.pdf)
evaluations%20Sept%20
2012%20_with%20cover%20
Thi.pdf

42 EuropeAid ha gestionado

cuatro evaluaciones de apoyo
presupuestario: Malí y Túnez
(2011), y Tanzania y Sudáfrica
(2013).

43 Informe anual de actividad

de 2011, 2012 y 2013.

44 Informe anual del Tribunal de

Cuentas sobre la ejecución
presupuestaria relativa al
ejercicio 2011, apartado 10.12
(DO C 344 de 12.11.2012);
Informe Especial nº 1/2011,
apartado 59; Informe Especial
nº 13/2013, apartados 78 a 80.
[(http://eca.europa.eu).](http://eca.europa.eu)

45 Informe anual del Tribunal de

Cuentas sobre la ejecución
presupuestaria relativa al
ejercicio 2012, apartados 10.21
y 10.22. (DO C 331, de
14.11.2013).

## **Observaciones 21**

**Los sistemas ROM y de**
**evaluación de EuropeAid**
**no garantizan el**
**aprovechamiento máximo**
**de las conclusiones**
**de los controles**

###### **53**

El Tribunal examinó si los sistemas
ROM y de evaluación de EuropeAid
garantizaban un adecuado seguimien­
to de las conclusiones de los controles
y su difusión entre todos los usuarios
previstos.

**No se han implantado**
**mecanismos de seguimiento**
**apropiados**

**Hay insuficiencias en el**
**seguimiento de los resultados**
**de las evaluaciones estratégicas**

###### **54**

Las medidas que deben adoptarse
a raíz de una evaluación estratégica se
describen en un documento [46] publica­
do junto con el informe de evaluación
en el sitio web de EuropeAid. Pese
a esta buena práctica, la mayoría de
dichos documentos que fueron revisa­
dos por el Tribunal no proporcionaban
información suficientemente detallada
sobre las medidas previstas, su calen­
dario y el reparto de competencias.

###### **55**

El seguimiento del plan de acción por
la Unidad de Evaluación se limita a un
año a partir de la publicación del infor­
me de evaluación, que con frecuencia
es muy poco tiempo para aplicar los
planes de acción que contienen en­
miendas políticas sectoriales y estra­
tegias de cooperación de la UE a nivel
nacional o regional [47] .

###### **56**

En 2012, una evaluación paritaria del
CAD/OCDE [48] concluyó también que la
Unidad de evaluación de EuropeAid
carecía de una visión general y clara de
la medida en que las recomendaciones
realizadas sobre el refuerzo de eva­
luaciones estratégicas se aceptaban
y utilizaban para informar de nuevas
políticas y programas. En 2014, un
estudio encargado por la Unidad de
Evaluación sobre la incorporación de
resultados de la evaluación conclu­
yó que no se estaban utilizando con
eficacia.

46 Denominado «ficha

contradictoria».

47 Por ejemplo, la evaluación

temática del apoyo de la
Comisión Europea al respeto
de los derechos humanos y las
libertades fundamentales se
publicó en 2011. Muchas
acciones tenían su final
previsto después de 2012, y así
ocurrió en la mayoría de las
evaluaciones completadas en
2012 y 2013, cuyas
recomendaciones se deberían
aplicar en su mayor parte
durante el período de
programación 2014-2020.

48 Unión Europea (2012), (CAD)

Evaluación paritaria:
Resultados principales
[y recomendaciones http://](http://www.oecd.org/dac/peer_reviews/europeanunion2012dacpeerreviewmainfindingsandrecommendations.htm)
[www.oecd.org/dac/](http://www.oecd.org/dac/peer_reviews/europeanunion2012dacpeerreviewmainfindingsandrecommendations.htm)
[peer_reviews/europeanunion­](http://www.oecd.org/dac/peer_reviews/europeanunion2012dacpeerreviewmainfindingsandrecommendations.htm)
[2012dacpeerreviewmainfin­](http://www.oecd.org/dac/peer_reviews/europeanunion2012dacpeerreviewmainfindingsandrecommendations.htm)
[dingsandrecommendations.](http://www.oecd.org/dac/peer_reviews/europeanunion2012dacpeerreviewmainfindingsandrecommendations.htm)
[htm](http://www.oecd.org/dac/peer_reviews/europeanunion2012dacpeerreviewmainfindingsandrecommendations.htm)

## **Observaciones 22**

**No se realiza un seguimiento**
**documentado de las**
**conclusiones de las**
**evaluaciones de programas**
**y de los controles ROM**

###### **57**

Las conclusiones de las evaluaciones
de programas y de los controles ROM
se suelen debatir en las unidades ope­
rativas o en las delegaciones de la UE,
y los gestores de programas han de
velar por que se adopten las medidas
adecuadas. A diferencia de las evalua­
ciones estratégicas, y como observó el
Tribunal en las dos delegaciones de la
UE visitadas, no se elaboran ni supervi­
san sistemáticamente planes de acción
documentados. Según la encuesta del
Tribunal, únicamente el 44 % de las
delegaciones de la UE suele elaborar
planes de acción. En los controles
ROM, en las fichas de respuestas
revisadas por el Tribunal se describen
las medidas que se deben adoptar. No
obstante, únicamente se completaron
las fichas de respuestas del 60 % de los
controles ROM realizados en el perío­
do comprendido entre 2011 y 2013.

###### **58**

En más de la mitad de los casos revi­
sados [49], el Tribunal halló pruebas que
evidenciaban la utilización de algunas
conclusiones de las evaluaciones de
programas y de los controles ROM. Sin
un sistema de seguimiento adecuado,
EuropeAid no puede garantizar que las
conclusiones y recomendaciones de
las evaluaciones de programas y de los
controles ROM se utilicen eficazmente.

**Los resultados de la**
**evaluación y del ROM se**
**difunden adecuadamente,**
**pero no los de las**
**evaluaciones de programas**

**La difusión de las conclusiones**
**de las evaluaciones estratégicas**
**y de los controles ROM se lleva**
**a cabo adecuadamente**

###### **59**

Los informes de evaluación estratégi­
ca y los informes ROM son fácilmente
accesibles para todas las unidades
de EuropeAid y las delegaciones de
la UE, y los primeros también están
disponibles para las partes interesadas
externas. Se publican en los sitios web
de EuropeAid y la OCDE, y se envían al
Parlamento Europeo, al Consejo y a los
Estados miembros. Los informes y las
enseñanzas extraídas se difunden tam­
bién de varias maneras (por ejemplo,
en reuniones, talleres y seminarios), se
adaptan al público destinatario (por
ejemplo, servicios de la Comisión,
SEAE, delegaciones de la UE, institucio­
nes europeas, socios externos y redes
de expertos).

###### **60**

EuropeAid presenta una síntesis de
los resultados de la evaluación estra­
tégica y de las enseñanzas extraídas,
así como los datos de los resultados
de la calificación agregada ROM en su
informe anual de actividades [50] y en su
informe anual [51], y contribuye tam­
bién a la preparación del informe de
evaluación del artículo 318 presentado
por la Comisión, en el que se facilitan
resúmenes de las conclusiones de la
evaluación estratégica [52] .

49 En seis de las diez

evaluaciones de programas
realizadas y seis de las ocho
revisiones ROM examinadas.

50 Informe anual de actividad

de 2013, pp.117-119, 150-162
y anexo 9.

51 Informe anual sobre las

políticas de desarrollo y de
ayuda exterior de la Unión
Europea y su aplicación
en 2012, pp. 166-173.

52 COM(2013) 461 final de 26 de

junio de 2013, informe de la
Comisión al Parlamento
Europeo y al Consejo sobre la
evaluación de las finanzas de
la Unión basado en los
resultados obtenidos,
pp. 22-23.

## **Observaciones 23**

**La difusión de la evaluación de**
**los programas es insuficiente**

###### **61**

Los gestores de programas suelen
compartir y debatir los informes de
evaluación de programas con las
partes directamente interesadas, prin­
cipalmente las unidades geográficas
y temáticas de EuropeAid y el socio
de ejecución. Estos informes rara vez
se comparten con beneficiarios ni con
otros donantes.

###### **62**

Las delegaciones están obligadas
a informar a EuropeAid de las enseñan­
zas extraídas de las evaluaciones de
programas en sus informes semestra­
les IGAE, pero los examinados por el
Tribunal contenían poca o ninguna in­
formación en este sentido. Las evalua­
ciones de programas gestionadas por
las unidades operativas de EuropeAid
no tuvieron esta obligación de infor­
mar hasta 2012. En el informe anual de
actividad de 2013 de EuropeAid [53] se
facilita un resumen de quince de estas
evaluaciones de programas, pero sin
indicar qué porcentaje de evaluaciones
representa en términos de evaluacio­
nes completadas en 2013.

###### **63**

Como ha señalado el Tribunal [54], los in­
formes de evaluación de programas no
se pueden utilizar de forma sistemá­
tica porque no hay una base de datos
central que reúna dichas evaluaciones,
lo que reduce significativamente la
capacidad de EuropeAid para analizar
y difundir la información internamen­
te y a las partes interesadas externas,
y para fundamentar la rendición de

cuentas.

###### **64**

EuropeAid ha expresado su intención
de desarrollar una nueva herramienta
informática para gestionar, almacenar
y analizar los controles ROM y las eva­
luaciones de programas, lo que serviría
como punto central de almacenamien­
to de todos los informes y permitiría
a los usuarios realizar búsquedas avan­
zadas y análisis. En el momento de la
fiscalización del Tribunal, la decisión
de desarrollar la parte de la aplicación
para las evaluaciones de programas
aún no se había tomado, pese a que
la accesibilidad a los informes era una
cuestión clave para las evaluaciones de

programas.

53 Informe anual de actividad de

2013, anexo 9: Información de
resultados incluida en las
evaluaciones.

54 Informe Especial nº 1/2011,

apartado 60.

## **Conclusiones 24**
#### **y recomendaciones**

###### **65**

El Tribunal ha llegado a la conclusión
de que los sistemas ROM y de evalua­
ción de EuropeAid no son suficiente­
mente fiables.

###### **66**

En general, las funciones ROM y de
evaluación están bien organizadas,
con una combinación apropiada de
competencias centralizadas y des­
centralizadas que tiene por objeto
promover una cultura de evaluación
y otorgar a la evaluación un papel más
destacado en el proceso de gestión
de la ayuda. No obstante, existe una
supervisión general insuficiente de
las evaluaciones de programas por
parte de los máximos responsables.
Sin información de gestión adecuada
sobre el personal y los recursos finan­
cieros utilizados para las evaluaciones
de programas, EuropeAid no puede
garantizar que sean apropiados y se
asignen de forma eficiente a las diver­
sas actividades de evaluación.

###### **67**

Los sistemas ROM y de evaluación no
garantizan suficientemente la ob­
tención de conclusiones pertinentes
y rigurosas de las evaluaciones y de los
controles ROM. Los planes de evalua­
ción, elaborados a partir de criterios
que no son suficientemente claros, no
garantizan que se conceda prioridad
a las evaluaciones más útiles para la
toma de decisiones. Además, la falta
de supervisión impide a EuropeAid
identificar y abordar las causas de
las desviaciones frecuentes de estos
planes. Los procedimientos de contra­
tación pública permiten seleccionar
expertos externos con las competen­
cias y conocimientos necesarios. Los
procedimientos de control de calidad
de las evaluaciones de programas y de
los controles ROM no se aplican de ma­
nera coherente dentro de EuropeAid.

###### **68**

No se aprovechan al máximo las
conclusiones de las evaluaciones y los
controles ROM. No se han implantado
los mecanismos de seguimiento apro­
piados para garantizar que se hace
un uso adecuado de las conclusiones
de las evaluaciones y de los controles
ROM. Las conclusiones de las evalua­
ciones estratégicas y de los controles
ROM se difunden a través de diversas

herramientas de comunicación a una
gran variedad de interesados internos
y externos. Sin embargo, la falta de
acceso a las evaluaciones de los pro­
gramas y la ausencia de herramientas
de búsqueda suponen un obstáculo
para el adecuado intercambio de
conocimientos.

###### **69**

Los sistemas ROM y de evaluación no
facilitan información adecuada sobre

los resultados obtenidos debido a la
definición insuficiente de los objetivos
e indicadores, a la proporción limitada
de evaluaciones y controles ROM _ex_
_post_ y a las limitaciones inherentes a la
metodología de evaluación del apoyo
presupuestario. En consecuencia, la
capacidad de EuropeAid para rendir
cuentas de su actividad es limitada
y su informe contiene escasa infor­
mación sobre los resultados reales

obtenidos.

###### **70**

La Comisión y EuropeAid han pre­
sentado recientemente iniciativas
destinadas a mejorar su capacidad
para evaluar los logros de las políticas
e informar sobre los mismos. Estas

iniciativas estaban en una fase dema­
siado temprana para que el Tribunal
pudiera evaluar si realmente resolvían
los problemas expuestos en el presen­
te informe de forma eficaz.

## **25**

**Conclusiones y recomendaciones**

**Recomendación 1**
**Uso eficiente de los recursos**

**destinados a los sistemas**

**ROM y a la evaluación**

EuropeAid debería mantener una
información de gestión adecuada
y realizar evaluaciones de las necesida­
des regularmente para garantizar una
asignación informada de los recursos
financieros y humanos entre evaluacio­
nes de programas y controles ROM.

**Recomendación 2**
**Adecuada priorización**

**de las evaluaciones de**
**programas y supervisión**

**de las actividades**

**de evaluación**

Con el fin de garantizar que las evalua­
ciones realizadas reflejan las priori­
dades de la organización, EuropeAid
debería:

— definir unos criterios de selección

claros para establecer prioridades
en las evaluaciones de programas
y documentar cómo se aplicaron al
establecer los planes de evaluación
teniendo en cuenta la complemen­
tariedad con los controles ROM.

— fortalecer considerablemente su

sistema de control de la aplicación
de los planes de evaluación y de
información sobre los mismos en
el que se analicen las razones de
los retrasos y se describan las me­
didas adoptadas para corregirlos;

— reforzar la supervisión general por

EuropeAid de las actividades de
evaluación de programas.

**Recomendación 3**
**Control de calidad**

Con el fin de garantizar la calidad de
las evaluaciones de programas y de los
controles ROM, EuropeAid debería:

— insistir en que las unidades opera­

tivas y las delegaciones apliquen
los requisitos de control de cali­
dad, incluida, en las evaluaciones
de programas, la utilización de un
grupo de referencia y la documen­
tación de los controles de calidad
llevados a cabo;

— comprobar periódicamente la apli­

cación de estos controles.

**Recomendación 4**
**Demostración de los**
**resultados obtenidos**

Con el fin de mejorar la capacidad del
sistema de evaluación para facilitar
información adecuada sobre los resul­
tados obtenidos, EuropeAid debería:

— aplicar con más rigor las disposi­

ciones reglamentarias que requie­
ren el uso de objetivos SMART
e indicadores verificables;

— modificar el sistema de seguimien­

to para que continúe ofreciendo
datos sobre programas hasta tres
años después de su finalización;

— incrementar de forma significativa

la proporción de evaluaciones _ex_
_post_ de los programas.

## **26**

**Conclusiones y recomendaciones**

**Recomendación 5**
**Seguimiento y difusión**
**de las conclusiones de las**
**evaluaciones y de los ROM**

Con el fin de garantizar un aprovecha­
miento máximo de las conclusiones
de las evaluaciones y de los controles
ROM, EuropeAid debería:

— prorrogar el período de seguimien­

to de las evaluaciones estratégicas;

— desarrollar una base de datos cen­

tral de las evaluaciones de progra­
mas para almacenar los informes
de evaluación, los planes de acción
y su seguimiento, con funciones de
búsqueda que posibiliten el análisis.

El presente informe ha sido aprobado por la Sala III, presidida por Karel PINXTEN,
Miembro del Tribunal de Cuentas Europeo, en Luxemburgo en su reunión del día
21 de octubre de 2014.

_Por el Tribunal de Cuentas_

Vítor Manuel da SILVA CALDEIRA

_Presidente_

## **Anexos 27**

**Sistema de calificación ROM**

El ROM evalúa los resultados de un programa en relación con los cinco criterios de evaluación (pertinencia,
eficiencia, eficacia, perspectivas de impacto y sostenibilidad potencial) de acuerdo con el siguiente sistema de
calificación:

|Clasificación|Numérica|Cualitativa|Explicación de la nota|
|---|---|---|---|
|A|4|Muy bien|La situación se considera muy satisfactoria, muy por encima de la media y posiblemente una<br>referencia en materia de buenas prácticas. Las recomendaciones se centran en la necesidad<br>de trasladar estas buenas prácticas a otras operaciones.|
|B|3|Bien|La situación se considera satisfactoria, pero hay margen de mejora. Las recomendaciones son<br>útiles pero no indispensables para la operación.|
|C|2|Problemas|Hay cuestiones por resolver que de no resolverse podrían repercutir de forma negativa en el<br>desempeño general de la operación. Se imponen mejoras pero no se requiere una revisión<br>total de la estrategia de la operación.|
|D|1|Deficiencias<br>considerables|Se presentan deficiencias tan graves que, de no resolverse, pueden llevar al fracaso de la<br>operación. Se imponen ajustes importantes y una revisión de la estrategia.|

Cada programa se clasifica de acuerdo con el número de A, B, C y D que ha recibido y hay cuatro categorías para
clasificarlos. «I» indica desempeño muy bueno; «II» indica buen desempeño; «III» indica que un programa se des­
empeña con problemas y «IV» indica que un programa no se desempeña o atraviesa por serias deficiencias.

EuropeAid determina el porcentaje de programas de la cartera de ROM en cada categoría, lo que se lleva a cabo
en la cartera general, por región y por sector de cada región. Esto supone la base para los informes de resulta­
dos de la cartera.

## **Anexos 28**

**Lista de documentos de programación examinados**

**Temática**

**ο** ο Programa temático sobre medio ambiente y recursos naturales (ENRTP): documento estratégico y Programa In­
dicativo Plurianual 2011-2013.

**ο** ο Programa Temático de Seguridad Alimentaria: documento estratégico y Programa Indicativo Plurianual 2011-2013.

**ο** ο Invertir en las personas: Informe intermedio del documento estratégico para el Programa Temático 2007-2013
y Programa Indicativo Plurianual 2011-2013.

**Regional**

**ο** ο Documento de Estrategia Regional para Asia Central 2007-2013.

**ο** ο Programa Indicativo Regional para América Latina 2007-2013.

**ο** ο Programa Indicativo Plurianual para Asia 2007-2010.

**ο** ο Cooperación entre los países ACP para el 10º FED, Programa Indicativo Plurianual 2008-2013.

**País**

**ο** ο Documento estratégico por país 2007-2013.

**ο** ο DEP Bangladesh 2007-2013.

**ο** ο DEP India 2007-2013.

**ο** ο DEP/Programa indicativo nacional (PIN) 2008-2013.

**ο** ο DEP/PIN Chad 2008-2013.

**ο** ο DEP/PIN Zambia 2008-2013.

**ο** ο DEP/PIN Uruguay 2007-2013.

**ο** ο DEN/PIN Bolivia 2007-2013.

## **Anexos 29**

**Lista de convenios de financiación examinados**

(euros)

|País|Número de la decisión|Título|Contribución<br>a la UE|
|---|---|---|---|
|**África**|**África**|**África**|**África**|
|Madagascar|FED/2012/023-503 (EC)|Amélioration de la Sécurité Alimentaire et Augmentation des Revenus Agricoles (ASARA)<br>(mejora de la seguridad alimentaria y aumento de los ingresos agrícolas)|40 000 000|
|Uganda|FED/2013/023-513 (EG)|Small and Medium Agribusiness Development Fund – A Public Private Partnership (Fondo de desarro­<br>llo para pequeñas y medianas empresas del sector agropecuario – asociación público-privada)|15 000 000|
|Etiopía|FED/2011/023-531 (CA)|Capacity development and governance support for scaling up renewable energy services in rural and<br>peri-urban areas of Ethiopia - CfP 129364 Prop 353 (fomento del desarrollo de las capacidades y la<br>gobernanza para la expansión de los servicios energéticos renovables en zonas rurales y periurbanas<br>de Etiopía)|1 176 000|
|Somalia|FED/2012/023-536 (EC)|Support to Democratisation (apoyo a la democratización)|14 000 000|
|Papúa Nueva<br>Guinea|FED/2012/023-538 (EG)|Non State Actors (NSAs) Support Programme in Papua New Guinea (programa de apoyo de los agentes<br>no estatales (ANE) en Papúa Nueva Guinea)|4 538 000|
|Nigeria|FED/2013/023-551 (EG)|Energising Access to Sustainable Energy in Nigeria (EASE) (acceso a la activación de energía sostenible<br>en Nigeria)|27 000 000|
|Kenia|FED/2012/023-566 (EC)|Standards for Market Access Programme (SMAP) (programa de criterios de acceso al mercado)|12 100 000|
|Liberia|FED/2012/023-568 (EC)|Support to trade facilitation in the customs sector (apoyo de facilitación del comercio en el sector<br>aduanero)|3 000 000|
|||**8 convenios de financiación**<br> <br>**TOTAL**|**116 814 000**|
|**América Latina**|**América Latina**|**América Latina**|**América Latina**|
|Honduras|DCI-ALA/2013/023-720 (EC)|Promoting fair and accessible justice in Honduras (EuroJusticia) (fomento justo y accesible a la justicia<br>en Honduras)|27 500 000|
|Costa Rica|DCI-ALA/2010/021-501 (EC)|Comprehensive Strategy to reduce school drop-out rates in public secondary education (estrategia<br>global para reducir las tasas de deserción escolar en la enseñanza secundaria pública)|8 500 000|
|República<br>Dominicana|BAN/2012/024-100 (EC)|Banana accompanying measure (BAM) Dominican Republic (medidas complementarias en el sector de<br>los plátanos en la República Dominicana)|16 340 000|
|Uruguay|DCI-ALA/2011/022-498 (EC)|Support for the reform of the Uruguayan penal justice and penitentiary systems for the improvement<br>of the quality of life and social and labour reintegration of prison inmates (apoyo de la reforma de la<br>justicia penal y el sistema penitenciario de Uruguay para mejorar la calidad de vida y la reinserción<br>social y laboral de los presos y su reintegración)|5 000 000|
|||**4 convenios de financiación**<br> <br>**TOTAL**|**57 340 000**|
|**Vecindad**|**Vecindad**|**Vecindad**|**Vecindad**|
|Egipto|ENPI/2012/024-080 (EC)|Emergency Employment Investment Project (proyecto de inversión de empleo de emergencia)|70 000 000|
|Marruecos|ENPI/2012/024-196 (EC)|Programme d’appui à l’Initiative Nationale de Développement Humain (INDH) - phase II (programa de<br>apoyo a la iniciativa nacional del desarrollo humano - fase II)|25 000 000|
|Túnez|ENPI/2011/022-772 (EC)|Programme de Modernisation des services (programa de modernización de servicios)|20 000 000|
|Cisjordania y<br>Franja de Gaza|ENPI/2010/022-476 (EC)|PEGASE : Private Sector Development (desarrollo del sector privado)|11 000 000|
|||**4 convenios de financiación**<br> <br>**TOTAL**|**126 000 000**|
|**Asia y Pacífico**|**Asia y Pacífico**|**Asia y Pacífico**|**Asia y Pacífico**|
|Afganistán|DCI-ASIE/2013/024-844 (EG)|Support to credible and transparent elections (apoyo a unas elecciones creíbles y transparentes)|15 000 000|
|Tonga|FED/2013/024-766 (EG)|Technical Cooperation Facility, Good Governance and NSA programme II (mecanismo de cooperación<br>técnica, buena gobernanza y programa NSA II)|472 000|
|Vietnam|DCI-ASIE/2013/024-370 (EG)|EU-HSPSP 2 - EU Health Sector Policy Support Programme phase 2: Towards Equity and Quality of<br>Health Services in Vietnam (segunda fase del programa de ayuda a la política sanitaria de la UE: hacia<br>la equidad y la calidad de los servicios sanitarios en Vietnam)|114 000 000|
|Bangladesh|DCI-ASIE/2012/022-446 (EC)|Poverty Reduction Through Inclusive and Sustainable Markets (PRISM) (reducción de la pobreza por<br>medio de mercados inclusivos y sostenibles)|30 000 000|
|||**4 convenios de financiación**<br> <br>**TOTAL**|**159 472 000**|
|||**20 convenios de financiación**<br> <br>**TOTAL**|**459 626 000**|

## **Anexos 30**

**Lista de evaluaciones examinadas**

(euros)

|Año1|Programa o<br>evaluación<br>estratégica|Tipo de<br>evaluación|Programa / tema / país evaluado|Instrumento<br>financiero|Contribución<br>UE|Coste de la<br>evaluación|
|---|---|---|---|---|---|---|
|2012|Evaluación<br>estratégica|País|Cooperación de la Unión Europea con Nepal -<br>Evaluación a nivel nacional (abarca el período<br>2002-2010)|Principalmente ICD geográ­<br>fico y temático e IEDDH|58 000 000|201 711|
|2011|Evaluación<br>estratégica|Temática|Apoyo de la Comisión Europea en el sector educa­<br>tivo (abarca el período 2000-2007)|ICD geográfico y temático,<br>FED, ENPI|1 900 000 000|457 265|
|2012|Programa|Final|Mecanismo alimentario - proyectos AU-IBAR<br>(Leisom y Vacnada)|Mecanismo Alimentario|2 507 860|131 870|
|2013|Programa pero si­<br>milar a Evaluación<br>estratégica|Final|Evaluación final de la totalidad del Mecanismo<br>alimentario (2009-2012)|Mecanismo Alimentario|1 000 000 000|399 720|
|2013|Programa pero si­<br>milar a Evaluación<br>estratégica|Final|Programa de acción trienal para el Fondo de<br>Apoyo a la Paz para África durante el período<br>2011-2013.|FED principalmente|549 345 726|478 022|
|2012|Programa|Intermedia|«Invest in MED»|IEVA Sur|9 000 000|119 778|
|2013|Programa|Ex post|«Euromed migración II»|IEVA Sur|4 994 000|148 580|
|2011|Programa|Final|Appui à l’Entretien Périodique du Réseau Routier<br>Classé|FED|36 709 425|72 848|
|2012|Programa|Final|Programme d’appui à la décentralisation au Bénin|FED|13 785 026|47 120|
|2010|Programa|Final|Erasmus Mundus, Ventana de Cooperación<br>Exterior para la India|ICD geográfico|28 600 000|147 745|
|2014|Programa|Final|La CE prestó asistencia al programa de asociación<br>nacional de los estados de Chhattisgarh and<br>Rajastán (apoyo presupuestario)2|ICD geográfico|158 590 819|1 934 700|
|2011|Programa|Final|20 proyectos seleccionados entre 100 proyectos<br>medioambientales financiados por la UE en la<br>India|ICD geográfico|340 000 000|118 008|

1 Año en el que se elaboró la evalución.

2 El contrato implica más de una evaluación.

## **Anexos 31**

**Lista de controles ROM examinados**

(euros)

|Título del programa|País / región / sector|Contribución UE|Tipo de informe|Fecha del informe|
|---|---|---|---|---|
|Mecanismo alimentario - proyectos AU-IBAR<br>(Leisom y Vacnada)|Lucha contra el hambre|2 507 860|En curso|Junio de 2011|
|Mecanismo alimentario|Lucha contra el hambre|1 000 000 000|En curso|Mayo de 2011|
|Instrumento de reación de capacidad de la adminis­<br>tración pública en Libia (_Public Administration Capacity_<br>_Building Facility Libya_)|Libia|4 500 000|En curso|Octubre de 2013|
|Prpyecto «Euromed migración II»|Países vecinos meridionales|4 994 000|En curso|Octubre de 2010|
|Appui à l’Entretien Périodique du<br>Réseau Routier Classé|Benín|36 709 425|En curso|Noviembre de 2008|
|Programme d’appui à la décentralisation au Bénin|Benín|13 785 026|En curso|Febrero de 2012|
|Programme Société Civile et Culture|Benín|14 400 000|En curso|Mayo de  2013|
|Textil sostenible para el desarrollo sostenible|India|1 672 945|En curso|Julio de 2012|
|Centro Europeo de Empresas y Tecnología (EBTC)|India|6 586 578|En curso|Julio de 2012|

## **Anexos 32**

**Lista de delegaciones que respondieron a la encuesta**

|País / Delegación|Col2|
|---|---|
|**África - Caribe - Pacífico**|**América Latina**|
|Angola|Bolivia|
|Botsuana|Chile|
|Burkina Faso|El Salvador|
|Burundi|Honduras|
|Cabo Verde|Nicaragua|
|Congo (Brazzaville)|Paraguay|
|Yibuti|Uruguay|
|Etiopía|**Vecindad**|
|Madagascar|Argelia|
|Nigeria|Armenia|
|Ruanda|Azerbaiyán|
|Togo|Bielorrusia|
|República Dominicana|Georgia|
|Guyana|Israel|
|Islas Salomón (Delegación de Papúa Nueva Guinea)|Jordania|
|**Asia**|Líbano|
|Bangladés|Marruecos|
|Camboya|Túnez|
|India|Ucrania|
|Laos, Tailandia||
|Nepal|Nepal|
|Pakistán|Pakistán|
|Filipinas|Filipinas|
|Vietnam|Vietnam|

#### **Respuestas** **de la Comisión**

**Resumen**

**II**
La Comisión considera que, en general, los sistemas
de evaluación estratégica son fiables, si bien pue­
den mejorarse. Existen sistemas de evaluación de
programas y de supervisión orientada a los resul­
tados, pero en algunas áreas no están funcionando

correctamente.

**III**
Existen sistemas para el seguimiento de las evalua­
ciones de los programas y se están tomando medidas
para hacerlos más eficaces.

La Comisión considera que las dotaciones financie­
ras están bien gestionadas por lo que respecta a las
evaluaciones estratégicas y a la supervisión orientada
a los resultados y que es posible introducir mejoras en
las evaluaciones de programas.

La gestión de los recursos humanos asignados a las
tareas de la evaluación y la supervisión orientada a los
resultados debe considerarse en el marco global de la
gestión de los recursos humanos de la ayuda exterior
que dirige EuropeAid.

**IV**

Las conclusiones de la evaluación de la Comisión se
apoyan en una metodología avalada internacional­
mente y aprobada por la OCDE. Los planes de evalua­
ción de EuropeAid se elaboran para responder a los
objetivos de aprendizaje y rendición de cuentas, se
llevan a cabo con arreglo a principios comunes de
evaluación y son objeto de un seguimiento a través de
informes internos periódicos.

Se va a facilitar orientación al personal sobre la
elaboración de planes de evaluación de programas
y actividades de supervisión, velando por la comple­
mentariedad entre ellos. A partir de enero de 2015,
la selección de los proyectos que pueden ser objeto
de una supervisión orientada a los resultados tendrá
mejor en cuenta si se prevé o no una evaluación.

## **33**

El IGAE ya cuenta con un sistema de control de la eje­
cución de los planes de evaluación de programas y los
progresos de las evaluaciones estratégicas se comuni­
can a los comisarios.

El sistema de supervisión de la evaluación de progra­
mas se mejorará y se hará más hincapié en el control
de calidad. El sistema de gestión de la información
para la evaluación de programas, en fase de desarro­
llo, ofrecerá una mejor orientación y asistencia a los
gestores de programas.

Con respecto a la supervisión orientada a los resulta­
dos, la Comisión ha iniciado reformas que deberían
mejorar sustancialmente la calidad del sistema y que
incluyen, en particular, el control externo de la calidad.

**V**
Ya se han creado los mecanismos de seguimiento
y difusión. En el caso de la supervisión orientada a los
resultados, se está mejorando el mecanismo existente.
Se ha formalizado y publicado el seguimiento de las
evaluaciones estratégicas.

Para la evaluación de programas, la Comisión reco­
noce que pueden introducirse mejoras en cuanto al
seguimiento, supervisión y control, funcionalidades
que estarán cubiertas por el sistema de gestión de
la información en fase de desarrollo, que facilitará
además un acceso adecuado a las evaluaciones de los
programas y garantizará una mejor difusión.

**VI**
Tanto la programación plurianual como los documen­
tos de proyecto definen objetivos SMART e indicado­
res verificables.

Criterios de eficiencia y pertinencia permiten decidir
si se lleva a cabo una evaluación _ex post_ . El número
de evaluaciones _ex post_ en sí mismo carece de
pertinencia.

## **Respuestas de la Comisión 34**

Con la introducción del sistema revisado de la super­
visión orientada a los resultados, la Comisión inte­
rrumpió los controles _ex post_, ya que no constituyen
un instrumento de supervisión y no se consideran
adecuados para evaluar el impacto.

La Comisión considera que no hay limitaciones
inherentes a la metodología de evaluación del apoyo
presupuestario.

**Introducción**

**03**
El 26 de junio de 2014 se adoptó el último (cuarto)
Informe del artículo 318. Parte de la experiencia
adquirida en informes anteriores y tiene en cuenta
debidamente las recomendaciones del Tribunal de
Cuentas y del Parlamento Europeo, incluidas las de la
Resolución del PE de 26 de febrero de 2014.

**09**
El principal sistema utilizado por EuropeAid para el
control de la ejecución de los programas sobre el
terreno es el control interno por los servicios de la
Comisión y por las Delegaciones de la UE, de confor­
midad con las directrices sobre control interno de
2007 y las directrices sobre apoyo presupuestario de
2012. La supervisión orientada a los resultados ha
constituido pues un sistema adicional de los controles
de los resultados de los programas llevados a cabo por
consultores externos con respecto a los programas
ejecutados a través de la modalidad de proyecto.

**Observaciones**

**La gestión de los recursos humanos de la evaluación**
**y la supervisión orientada a los resultados debe**
**considerarse en el marco global de la gestión de los**
**recursos humanos de la ayuda exterior gestionada**
**por EuropeAid.**

**17**
Las delegaciones y las unidades operativas ya informan
a los gestores de EuropeAid a través del plan anual de
evaluación del plan anual de gestión, e informan siste­
máticamente a la sede sobre la ejecución de su plan de
evaluación en sus IGAE. Se están elaborando instruc­
ciones y orientaciones dirigidas al personal sobre

la preparación y ejecución de los futuros planes de
supervisión y evaluación y sobre el seguimiento que
deba darse a las conclusiones y recomendaciones de
las evaluaciones. Por otra parte, se está desarrollando
un sistema de gestión de la información para facilitar
la gestión y el seguimiento de las evaluaciones de los
programas. La red de corresponsales de evaluación
en las Delegaciones y unidades operativas, creada en
2013, proporcionará información añadida.

**La gestión de los recursos humanos de la evaluación**
**y la supervisión orientada a los resultados debe**
**considerarse en el marco global de la gestión de los**
**recursos humanos de la ayuda exterior gestionada**
**por EuropeAid.**

**19**
El sistema de gestión de la información en fase de
preparación ofrecerá información más precisa sobre el
número de evaluaciones de programa y sus costes.

**20**
El seguimiento, la elaboración de informes, la eva­
luación intermedia y, más en general, las actividades
de gestión del proyecto están tan estrechamente
relacionados que cualquier reparto de la asignación
de recursos solo puede ser aproximativo. Esto es aún
más cierto por lo que se refiere a la nueva super­
visión orientada a los resultados, que ha de ser un
instrumento de apoyo a la supervisión general de los

programas.

**21**
La gestión de los recursos humanos de la evalua­
ción y la supervisión orientada a los resultados debe
considerarse en el marco global de la gestión de los
recursos humanos de la ayuda exterior gestionada por
EuropeAid.

**22**
Evitar la supervisión orientada a los resultados cuando
ha de llevarse a cabo una evaluación ya constituía uno
de los principios establecidos antes de la reforma en
curso de los sistemas de supervisión y evaluación (como
también señaló el Tribunal). La reforma incluye también
la introducción de criterios para la selección y la plani­
ficación de las evaluaciones de programas. Además, se
introducirá un nuevo requisito para las Delegaciones
y las unidades operativas de elaboración de un plan

## **Respuestas de la Comisión 35**

anual de control y evaluación, lo que garantizará la
complementariedad entre la supervisión orientada a los
resultados y las evaluaciones intermedias de programa.

_**La Comisión considera que los sistemas de evaluación**_
_**y de supervisión orientada a los resultados de Euro­**_
_**peAid proporcionan resultados fiables y pertinentes,**_
_**aunque sean necesarias ciertas mejoras.**_

**26**
Las instrucciones y orientaciones dirigidas al personal
sobre los criterios de selección para las evaluaciones
de programa y la planificación de las evaluaciones en
el marco de la preparación de los planes de super­
visión y evaluación formarán parte del conjunto de
instrucciones y directrices sobre las reformas de los
sistemas de supervisión, elaboración de informes
y evaluación. Estas directrices se publicarán antes del
final de 2014. Los criterios de selección han de quedar
reflejados en los acuerdos de financiación.

**26 a)**
Las evaluaciones intermedias se convierten en obli­
gatorias, según una valoración caso por caso, ya en la
fase de formulación y teniendo en cuenta la especifici­
dad del programa.

**26 b)**
Las evaluaciones _ex post_ se convierten en obligatorias,
según una valoración caso por caso, ya en la fase de
formulación y teniendo en cuenta la especificidad del

programa.

_**Las evaluaciones se llevan a cabo de acuerdo con la**_
_**planificación en la mayoría de los casos.**_

**27**
Aunque ya hay sistemas disponibles, la Comisión reco­
noce la necesidad de mejorarlos.

**28**
Además de las limitaciones de personal, se redujo el
número de evaluaciones estratégicas previstas debido
a la situación política en varios países, a la creciente
complejidad de las evaluaciones (en particular, de las
evaluaciones llevadas a cabo conjuntamente con los
socios y otros donantes) y también a los cambios en el
marco contractual de dichas evaluaciones.

**29**
La Comisión recuerda que la tasa de ejecución se sitúa
por encima del 80 %, que constituye la tasa de referen­
cia de EuropeAid (indicador de control 19 del IGAE).

El IGAE tendrá que proporcionar una mejor docu­
mentación del incumplimiento del calendario de
evaluación de programas, que deberán establecer las
delegaciones y los servicios operativos de la sede en
los próximos planes de control y evaluación.

**31**
El nuevo sistema revisado de supervisión orientada
a los resultados adoptado en mayo de 2014 como
parte de una reforma más amplia del control y la
elaboración de informes tiene el objetivo principal de
mejorar el control interno y la elaboración de informes
sobre el rendimiento y los resultados por parte de las
delegaciones y las unidades operativas y de reducir
la dependencia de la externalización de la supervi­
sión orientada a los resultados, en consonancia con
las recomendaciones del Informe Especial nº 1/2011
del Tribunal sobre la descentralización. El principal
objetivo del nuevo sistema de supervisión orientada
a los resultados es proporcionar apoyo a las labores
internas de control y elaboración de informes. La
metodología de selección refleja estas prioridades:

— A los fines del control interno, la metodología de

selección para las supervisiones orientadas a los
resultados se dirige fundamentalmente a los pro­
yectos y programas para los que las delegaciones
y las unidades operativas hayan señalado que 1)
tienen problemas, 2) carecen del peritaje sectorial
necesario y 3) no han podido ser visitados.

— A los efectos de la comunicación de los resulta­

dos, el sistema debe facilitar la comunicación de
los resultados de fin de proyecto relativos a to­
dos los proyectos y programas por un importe
superior a 750 000 euros que concluyan en un
año determinado y ayudar a las Delegaciones y a
las unidades operativas a comunicar los resulta­
dos, incluidos los resultados agregados, sobre la
base del futuro marco de resultados de desarrollo
y cooperación de la UE de la Comisión.

Por consiguiente, la Comisión considera que, al incluir
una selección basada en el riesgo de los programas
en curso, al tiempo que abandona el uso de la super­
visión orientada a los resultados como indicador para
la medición del rendimiento global de su cartera de

## **Respuestas de la Comisión 36**

proyectos, el nuevo sistema permitirá aumentar la
utilidad de la supervisión orientada a los resultados,
de conformidad con su objetivo principal. Si bien la
supervisión orientada a los resultados no está conce­
bida para medir los resultados globales de la cartera
de ayudas de la Comisión, el refuerzo del control
interno y de la presentación de informes sobre el
rendimiento y los resultados, así como la futura pre­
sentación de informes sobre los resultados agregados,
en virtud del futuro marco de resultados de desarrollo
y cooperación de la UE de la Comisión, formarán parte
de los instrumentos que deberían permitir a la Comi­
sión evaluar mejor el rendimiento global de su cartera.

**33**
Con arreglo a los nuevos contratos de supervisión
orientada a los resultados que se firmarán en 2014,
todos los estudios y demás misiones de apoyo deben
ser ejecutados por expertos de alto nivel que deberán,
además, ser expertos sectoriales. Un número impor­
tante de exámenes deberán correr a cargo de exper­
tos clave a tiempo completo, pudiéndose contratar
a expertos _ad hoc_ para los demás exámenes.

**36**
En su reciente política de evaluación, EuropeAid ha
puesto de relieve la importancia del respeto de las
directrices existentes sobre la creación de grupos de
[referencia. (Veánse las directrices existentes: http://](http://ec.europa.eu/europeaid/evaluation/methodology/guidelines/gba_det_es.htm#01_03)
[ec.europa.eu/europeaid/evaluation/methodology/](http://ec.europa.eu/europeaid/evaluation/methodology/guidelines/gba_det_es.htm#01_03)
[guidelines/gba_det_es.htm#01_03 y http://ec.eu­](http://ec.europa.eu/europeaid/evaluation/methodology/guidelines/gba_det_es.htm#01_03)
[ropa.eu/europeaid/evaluation/methodology/exam­](http://ec.europa.eu/europeaid/evaluation/methodology/examples/131011-tor-project-evaluations-guidance_en.pdf)
[ples/131011-tor‑project‑evaluations‑guidance_en.pdf).](http://ec.europa.eu/europeaid/evaluation/methodology/examples/131011-tor-project-evaluations-guidance_en.pdf)

**37**
La introducción en 2013 de la red de corresponsales
de evaluación tiene por objeto reforzar considerable­
mente la función de evaluación dentro del sistema,
inclusive en las delegaciones.

Se hará mayor hincapié en las cuestiones de control
de calidad de las evaluaciones de los programas.

**38**
Varias de las medidas a adoptar dentro del sistema
revisado de supervisión orientada a los resultados
deberían permitir subsanar las deficiencias existentes:
el refuerzo de la calidad de las supervisiones orienta­
das a los resultados, la mejora de las condiciones de
un adecuado control interno de la calidad por parte
de los contratistas de la supervisión orientada a los
resultados, el establecimiento de una garantía de la
calidad externa, la importancia de la definición del
seguimiento y la mejora de la supervisión global de la
ejecución del sistema revisado de supervisión orien­
tada a los resultados. La codificación del seguimiento
previsto en el nuevo módulo de gestión de la infor­
mación para la supervisión orientada a los resultados
constituye otra medida en este sentido.

**La Comisión considera que los sistemas de eva­**
**luación y de control orientado a los resultados de**
**EuropeAid proporcionan información adecuada**
**sobre los resultados logrados, aunque sean necesa­**
**rias ciertas mejoras.**

_**Por lo que se refiere al nuevo período de programa­**_
_**ción 2014-2020, la Comisión ha intensificado su tra­**_
_**bajo para disponer de objetivos SMART e indicadores**_
_**verificables. Los nuevos documentos de programación**_
_**se han revisado en ese sentido y ha comenzado el**_
_**trabajo a nivel de proyecto.**_

**40**
Los objetivos e indicadores para los programas temá­
ticos regionales y de ámbito mundial tienen que ser
de carácter general con el fin de abarcar una serie de
situaciones. (Véase la respuesta al recuadro 1).

**Recuadro 1**
«Invertir en las personas» es un programa temático de
ámbito mundial que cubre todos los países en desa­
rrollo. Esto implica que los objetivos son en muchos
casos de un nivel bastante alto, precisamente para
cubrir situaciones diversas.

El objetivo citado en el documento de programación
2007-2013 para Bolivia es más un objetivo global
o general que una serie de objetivos específicos.

## **Respuestas de la Comisión 37**

**41**
En los programas que abarcan varios países y regio­
nes, los objetivos del programa recogen las priorida­
des clave; los objetivos específicos para cada subpro­
grama son más precisos y los indicadores deben ser
mensurables.

**Recuadro 2**
La Comisión quiere subrayar que estos ejemplos se
refieren a objetivos generales.

Por lo que se refiere al programa Euromed sobre la
migración, el Tribunal cita solo parcialmente los obje­
tivos. La totalidad de los objetivos figura en la direc­
[ción siguiente: http://www.enpi‑info.eu/mainmed.](http://www.enpi-info.eu/mainmed.php?id_type=10&id=9)
[php?id_type=10&id=9](http://www.enpi-info.eu/mainmed.php?id_type=10&id=9)

**42**
La finalidad del estudio a que se refiere el Tribunal era
revisar las evaluaciones relacionadas con los instru­
mentos jurídicos necesarios para el último período de
programación (2007-2013). Los resultados del estudio
se han tenido en cuenta para preparar los instrumen­
tos del marco financiero plurianual 2014-2020.

_**Las evaluaciones estratégicas se centran en la cadena**_
_**de resultados logrados y no en la ejecución de los**_

_**programas.**_

**Respuesta común de la Comisión**
**para los apartados 43 a 45**
La decisión de llevar a cabo una evaluación _ex post_ de
un programa es cuestión de eficiencia y pertinencia.
La decisión no debe considerarse de manera aislada,
sino en relación con el peso financiero y la importan­
cia estratégica del programa que se va a evaluar.

**46**
Con la introducción del sistema revisado de super­
visión orientada a los resultados, la Comisión inte­
rrumpió los controles _ex post_, ya que no constituyen
un instrumento de supervisión y no se consideran
adecuados para evaluar el impacto.

**47**
El enfoque del BEI a que hace alusión el Tribunal es
específico y debe contemplarse en relación con la
naturaleza de las operaciones basadas en préstamos
gestionadas por el BEI. No se pueden comparar con
un donante de subvenciones como la UE por lo que se
refiere a la financiación de programas por medio de
subvenciones.

La elaboración en curso del marco de resultados de
desarrollo y cooperación de la UE sobre cuya base la
Comisión tiene previsto presentar los primeros infor­
mes en 2015 no se inspira en ese enfoque.

_**La metodología de evaluación del apoyo presupues­**_
_**tario ha dado buenos resultados y ha sido reconocida**_
_**a nivel internacional**_

**48**
El documento en el que se expone el enfoque meto­
dológico de la evaluación del apoyo presupuestario
desarrollado en el marco del CAD de la OCDE ofrece
un planteamiento sólido para hacer frente a la com­
plejidad de la evaluación de la ayuda presupuestaria.

**49**
La solidez del enfoque, publicado en el sitio web de la
OCDE, es reconocida por la comunidad internacional
de expertos en evaluación.

Por lo tanto, la Comisión no ve motivo alguno para
mencionar posibles limitaciones de su metodología.
Hasta el momento, se han concluido siete evalua­
ciones del apoyo presupuestario que han permitido
evaluar los resultados del apoyo presupuestario y for­
mular algunas recomendaciones de mejora.

_**Las evaluaciones constituyen un instrumento de eva­**_
_**luación de toda la cadena de resultados, pero por lo**_
_**que se refiere a las realizaciones y resultados directos,**_
_**el control interno proporciona información básica**_
_**y se utiliza para garantizar la elaboración de informes**_
_**sobre los resultados de toda la cartera de proyectos.**_

**50**
La Comisión considera que la supervisión orientada
a los resultados no es el instrumento adecuado para
ofrecer información sobre el impacto y la sostenibi­
lidad y la necesidad de una evaluación _ex post_ solo
debería decidirse caso por caso.

## **Respuestas de la Comisión 38**

**52**
Al preparar la última (cuarta) edición del Informe de
evaluación del artículo 318, adoptado el 26 de junio de
2014, la Comisión ha tenido debidamente en cuenta
las observaciones formuladas por el Tribunal de Cuen­
tas en su informe anual de 2012.

La Comisión se remite también a sus respuestas
a las observaciones del Tribunal en el capítulo 10 del
informe anual de 2012 del Tribunal de Cuentas Euro­
peo, en el que presenta su posición con respecto a la
información sobre el rendimiento en la tercera edición
y siguientes del Informe de evaluación del art. 318.

**Existen mecanismos de seguimiento, aunque**
**podrían mejorarse.**

**54**
Habida cuenta de la complejidad de las evaluaciones
estratégicas, es difícil alcanzar compromisos claros
vinculados a las recomendaciones de alto nivel. En
2013, la unidad de evaluación llevó a cabo un estudio
sobre el aprovechamiento de los resultados de las
evaluaciones estratégicas. Sobre esta base, el sistema
de respuesta de los gestores está siendo objeto de
revisión. En cualquier caso, la responsabilidad corres­
ponde claramente a los servicios geográficos o temáti­
cos encargados de la ejecución de los programas o las
políticas.

**55**
La revisión del sistema de respuesta de los gestores
tendrá en cuenta no solo la cuestión de la duración
del período de seguimiento, sino también otras cues­
tiones, como la intermediación de los resultados de
evaluación y la implicación de los gestores.

**56**
La unidad de evaluación sí sabe qué recomendaciones
se han aceptado. Las «fiches contradictoires» cumpli­
mentadas indican claramente si una recomendación
determinada es aceptada, parcialmente aceptada o es
rechazada. Sobre la base del estudio mencionado
por el Tribunal, la Comisión ha adoptado un plan de
acción para mejorar el aprovechamiento de los resul­
tados de la evaluación estratégica.

_**La Comisión adoptará medidas adicionales para**_
_**mejorar la documentación del seguimiento de las**_
_**evaluaciones y de la supervisión orientada a los resul­**_
_**tados de los programas.**_

**57**
El seguimiento de las evaluaciones de programa
forma parte del apartado dedicado a las lecciones
aprendidas en las nuevas propuestas de proyecto
(fases de identificación y formulación de nuevos pro­
yectos) siempre que se considera pertinente.

La nota orientativa que acompaña a la plantilla actua­
lizada de los términos de referencia para la evaluación
de los programas de 2013 puso de relieve la necesidad
de documentar la respuesta de los gestores. Por lo que
se refiere a la supervisión orientada a los resultados,
el sistema revisado deberá incluir medidas adecuadas
para garantizar la definición de un plan adecuado de
seguimiento de una supervisión orientada a los resul­
tados y del control de dicho seguimiento.

Por lo que se refiere a las evaluaciones de programa,
este punto se tendrá en cuenta en las futuras instruc­
ciones y en el sistema de gestión de la información en
fase de desarrollo.

**58**
En relación con la supervisión orientada a los resulta­
dos, como se indica en la respuesta al apartado 59, el
sistema revisado debe incluir medidas adecuadas para
garantizar la definición de un plan adecuado de segui­
miento de una supervisión orientada a los resultados
y de control de dicho seguimiento.

**La Comisión está desarrollando un sistema de ges­**
**tión de la información para mejorar la difusión de**
**las evaluaciones de los programas.**

**60**
Se interrumpirá la agregación de los datos de la super­
visión orientada a los resultados en la forma anterior
en los IAA y IA.

## **Respuestas de la Comisión 39**

_**La Comisión está desarrollando un sistema de gestión**_
_**de la información relacionada para mejorar la difusión.**_

**61**
La difusión de las evaluaciones de programa se verá
mejorada:

— en primer lugar, a través de la mejora del acceso

a dichas evaluaciones mediante la creación de un
sistema de gestión de la información;

— en segundo lugar, y sobre esa base, mediante

un análisis mejorado de las evaluaciones por las
unidades temáticas; y

— por último, mediante la mejora de los contactos

entre las Delegaciones y las partes interesadas en
cada país.

La red de evaluación de los corresponsales puede
desempeñar un papel importante a este respecto.

**62**
El sistema de gestión de la información que deberá
contener la base de datos de la evaluación de progra­
mas deberá incluir también las lecciones aprendidas.

**63**
La Comisión está desarrollando un sistema de gestión
de la información para mejorar la difusión.

**64**
La herramienta informática destinada tanto a la super­
visión orientada a los resultados como a las evalua­
ciones de programa estaba ya en construcción en el
momento de la fiscalización.

Su puesta a punto en 2014 ha sufrido un retraso
a consecuencia del replanteamiento de la orientación
a dar al nuevo sistema de gestión de la información
operativa de EuropeAid que debe desarrollarse. Ello,
no obstante, no pone en cuestión la necesidad de
desarrollar un sistema de este tipo.

**Conclusiones y recomendaciones**

**65**
La Comisión considera que, en general, los sistemas
de evaluación estratégica son fiables, si bien pueden
mejorarse. Existen sistemas de evaluación de los
programas y de supervisión orientada a los resul­
tados, pero en algunas áreas no están funcionando

correctamente.

**66**
Ya existen sistemas para la supervisión y aprovecha­
miento de las evaluaciones de los programas y se
están tomando medidas para hacerlos más eficaces.

La Comisión considera que las dotaciones financie­
ras están bien gestionadas por lo que respecta a las
evaluaciones estratégicas y a la supervisión orientada
a los resultados, y que es posible introducir mejoras en
las evaluaciones de programas.

La gestión de los recursos humanos de la evalua­
ción y la supervisión orientada a los resultados debe
considerarse en el marco global de la gestión de los
recursos humanos de la ayuda exterior gestionada por
EuropeAid.

**67**

Las conclusiones de la evaluación de la Comisión se
apoyan en una metodología avalada internacional­
mente y aprobada por la OCDE. Se va a facilitar orien­
tación al personal sobre la elaboración de planes de
evaluación de programas y actividades de supervisión,
velando por la complementariedad entre ellos.

El IGAE ya cuenta con un sistema de supervisión de la
ejecución de los planes de evaluación de programas
y los progresos de las evaluaciones estratégicas se
comunican a los comisarios.

Con respecto a la supervisión orientada a los resulta­
dos, la Comisión ha iniciado reformas que deberían
mejorar sustancialmente la calidad del sistema, y que
incluyen, en particular, el control externo de la calidad.

## **Respuestas de la Comisión 40**

**68**
Ya se han creado los mecanismos de seguimiento
y difusión. En el caso de la supervisión orientada a los
resultados, se está mejorando el mecanismo existente.
Se ha formalizado y publicado el seguimiento de las
evaluaciones estratégicas.

Para la evaluación de programas, la Comisión reco­
noce que pueden introducirse mejoras en cuanto al
seguimiento, supervisión y control, funcionalidades
que estarán cubiertas por el sistema de gestión de
la información en fase de desarrollo, que facilitará
además un acceso adecuado a las evaluaciones de los
programas y garantizará una mejor difusión.

**69**
Tanto la programación plurianual como los documen­
tos de proyecto definen objetivos SMART e indicado­
res verificables.

Criterios de eficiencia y pertinencia permiten decidir
si se lleva a cabo una evaluación _ex post_ . El número
de evaluaciones _ex post_ en sí mismo carece de
pertinencia.

Con la introducción del sistema revisado de super­
visión orientada a los resultados, la Comisión inte­
rrumpió los controles _ex post_, ya que no constituyen
un instrumento de supervisión y no se consideran
adecuados para evaluar el impacto.

La Comisión considera que no hay limitaciones
inherentes a la metodología de evaluación del apoyo
presupuestario.

**70**
La reforma revisada de la supervisión orientada a los
resultados adoptada por EuropeAid en mayo de 2014
no solo tiene por objeto aclarar la distinción entre lo
que es la supervisión orientada a los resultados y la
evaluación, sino también hacer que el sistema sea más
eficiente. Dicha reforma se hará operativa a través de
las instrucciones detalladas que se enviarán al perso­
nal a finales de 2014. A raíz de la publicación del docu­
mento de política de evaluación «Evaluation matters»
(la evaluación es importante), que es el resultado de
un gran proceso de consulta y debate desarrollado
entre octubre de 2013 y marzo de 2014, se actualiza­
rán y reforzarán las directrices al personal sobre los
principios, las responsabilidades y los procedimientos
de las evaluaciones.

**Recomendación 1**
La Comisión acepta esta recomendación.

La gestión de los recursos humanos de la evalua­
ción y la supervisión orientada a los resultados debe
considerarse en el marco global de la gestión de los
recursos humanos de la ayuda exterior gestionada por
EuropeAid.

**Recomendación 2**
— La Comisión acepta esta recomendación. Se van

a facilitar directrices al personal sobre la elabo­
ración de planes de evaluación de programas
y actividades de supervisión, velando por la com­
plementariedad entre ellos. A partir de enero de
2015, la selección de los proyectos que pueden ser
objeto de una supervisión orientada a los resulta­
dos tendrá mejor en cuenta si se prevé o no una
evaluación.

— La Comisión acepta esta recomendación. Por lo

que se refiere a los planes para la evaluación de
programas, se hará sobre la base del IGAE.

— La Comisión acepta esta recomendación.

**Recomendación 3**
— La Comisión acepta esta recomendación. Se hará

mayor hincapié en las cuestiones de control de
calidad de las evaluaciones de los programas.
El sistema de gestión de la información para la
evaluación de programas, en fase de desarrollo,
ofrecerá una mejor orientación y asistencia a los
gestores de programas.

— La Comisión acepta esta recomendación. Se mejo­

rará el sistema de seguimiento de las evaluaciones
del programa.

## **41**

**Respuestas de la Comisión**

**Recomendación 4**
— La Comisión acepta esta recomendación y pro­

mueve el uso de objetivos SMART y de indicado­
res verificables.

— La Comisión no acepta esta recomendación, ya

que no está demostrada la buena relación entre
coste y beneficio.

— La Comisión acepta esta recomendación, si un

nuevo análisis demuestra que un aumento en las
evaluaciones _ex post_ es eficaz y útil.

**Recomendación 5**
— La Comisión acepta parcialmente esta recomen­

dación. Una prórroga del período de seguimiento
es una de las opciones consideradas en el marco
de la revisión del sistema de seguimiento.

— La Comisión acepta esta recomendación. La base

de datos se encuentra en fase de construcción.

**CÓMO OBTENER LAS PUBLICACIONES**
**DE LA UNIÓN EUROPEA**

**Publicaciones gratuitas:**

- Un único ejemplar:
A través de EU Bookshop (http://bookshop.europa.eu).

- Varios ejemplares/pósteres/mapas:
En las representaciones de la Unión Europea (http://ec.europa.eu/represent_es.htm),
en las delegaciones en terceros países (http://eeas.europa.eu/delegations/index_es.htm)
o contactando con Europe Direct a través de http://europa.eu/europedirect/index_es.htm
o del teléfono 00 800 6 7 8 9 10 11 (gratuito en toda la Unión Europea) (*).

(*) Tanto la información como la mayoría de las llamadas (excepto desde algunos operadores, cabinas u hoteles) son gratuitas.

**Publicaciones de pago:**

- A través de EU Bookshop (http://bookshop.europa.eu).

**Suscripciones de pago:**

- A través de los distribuidores comerciales de la Oficina de Publicaciones

de la Unión Europea (http://publications.europa.eu/others/agents/index_es.htm).