RAPPORT DE LA COMMISSION AU CONSEIL sur le fonctionnement du projet Eurofarm (conformément à l'article 13 du règlement (CEE) n° 571/88 du Conseil)

Introduction

Le règlement (CEE) n° 571/88 du Conseil [1], portant organisation d'enquêtes communautaires sur la structure des exploitations agricoles, ci-après dénommé "règlement de base", définit le projet Eurofarm, comme étant "un ensemble de banques de données, permettant l'exploitation des enquêtes communautaires sur la structure des exploitations agricoles, pour les besoins des politiques agricoles nationales et communautaires."

[1] JO L 56 du 2.3.1988, p. 1 modifié en dernier lieu par le règlement (CE) de la Commission n° 143/2002 (JO L 24 du 26.1.2002, p. 16).

L'article 13 du règlement de base dispose que, tous les trois ans, la Commission transmet au Conseil un rapport sur le fonctionnement du projet Eurofarm et propose, le cas échéant, les adaptations au règlement.

Le dernier rapport sur le fonctionnement du projet Eurofarm a été adopté par la Commission le 23 avril 1999 [2] et examiné au Comité Spécial Agriculture du Conseil le 14 février 2000. Il s'agit maintenant du quatrième rapport que la Commission transmet au Conseil.

[2] COM(1999) 189 final.

Ce rapport présente en particulier :

- une évaluation des opérations liées à l'enquête 1997

- un état des opérations liées à l'enquête de base 1999-2000

- une brève description des travaux de préparation de l'enquête 2003

- un état des développements informatiques concernant le système Eurofarm

A. Enquête 1997

Les résultats de l'enquête 1997 (données tabulaires pour l'Allemagne - données individuelles pour les autres Etats membres) ont été transmis à Eurostat suivant les définitions et formats convenus. Ces résultats 1997 ont fait l'objet d'analyses et de publications plus nombreuses et plus détaillées que les résultats des enquêtes précédentes [3].

[3] Publications d'Eurostat:

De nombreuses données agrégées figurent désormais dans les bases de données d'Eurostat. Il convient toutefois de souligner les facteurs restrictifs suivants en ce qui concerne le potentiel d'exploitation des résultats:

- les données manquent parfois d'actualité en raison de leur transmission tardive par certains Etats membres et de la lenteur du processus de validation;

- l'Allemagne n'a pas fourni de microdonnées;

- les utilisateurs ne peuvent aisément accéder qu'à des tableaux prédéfinis;

- une procédure lourde freine les réponses aux demandes ad hoc.

La contribution communautaire à l'enquête 1997 s'est élevée à un total de 13,8 millions d'euros.

B. Enquête de base 1999-2000

Afin d'établir les modalités d'application en vue de l'enquête 1999-2000 et d'adapter la typologie des exploitations agricoles, la Commission a adopté cinq décisions [4] conformément à la procédure prévue à l'article 15 du règlement de base.

[4] Décision n° 1998/377/CE de la Commission du 18 mai 1998 modifiant l'annexe I du règlement (CEE) n° 571/88 du Conseil portant organisation des enquêtes communautaires sur la structure des exploitations agricoles (JO L168 du 13.6.1998).

La liste des caractéristiques relevées a notamment été adaptée pour prendre en compte les nouveaux besoins d'information liés au développement rural et aux méthodes de production durable. L'importance de l'enquête sur la structure des exploitations agricoles pour la production d'indicateurs agro-environnementaux a été soulignée dans la communication de la Commission au Conseil et au Parlement européen du 20 mars 2001 [5]. Malheureusement, les variables facultatives (relativement nombreuses) n'ont été fournies que par une partie des Etats membres, rendant impossible la production des totaux communautaires correspondants.

[5] Communication de la Commission au Conseil et au Parlement européen "Informations statistiques nécessaires à l'élaboration d'indicateurs d'intégration des préoccupations environnementales dans la politique agricole commune" (COM(2001) 144).

Les enquêtes 1999-2000 ont été réalisées dans tous les Etats membres entre le 1.12.1998 et le 1.3.2001 et ont porté sur 6,8 millions d'exploitations. Les données individuelles ont été transmises à Eurostat par tous les Etats membres (y compris, pour la première fois, par l'Allemagne). Elles ont été transmises entre août 2000 et juillet 2002 (les dates de transmission par pays figurent à l'annexe). On peut mettre en évidence le respect des délais prévus par la décision 1999/714/CE si l'on considère les premières transmissions de données non validées, et ce par l'ensemble des États membres à l'exception de l'Irlande (qui a transmis ses résultats en juillet 2002 au lieu de décembre 2001). La validation des données s'est parfois étalée sur plusieurs mois, mais en août 2002, l'ensemble des données individuelles validées étaient présentes dans la base de données individuelles Eurofarm, à l'exception des données irlandaises (octobre) et italiennes (novembre).

La production des nombreux tableaux à stocker dans la base de données tabulaires d'Eurofarm conformément à la décision de la Commission n° 1999/799/CE s'est avérée lourde et coûteuse en temps. Afin de réduire les délais nécessaires à la communication des résultats aux utilisateurs:

- une liste de tableaux simplifiée et mieux structurée a été mise au point en accord avec les Etats membres; les tableaux correspondants seront progressivement disponibles dans la base de données NewCronos d'Eurostat;

- les programmes informatiques seront optimisés.

Plusieurs rapports d'Eurostat fondés principalement sur l'enquête 1999-2000 seront largement diffusés; ils porteront en particulier:

- sur les principaux résultats de l'enquête 1999-2000;

- sur l'âge des exploitants agricoles;

- sur l'emploi féminin dans l'agriculture;

- sur l'agriculture biologique;

- sur l'élevage herbivore;

- sur la filière porcine (effet sur l'environnement).

L'utilisation des résultats de l'enquête 1999-2000 devrait être facilitée grâce au nouveau générateur de tableaux développé dans le cadre du support à la gestion d'Eurofarm, et grâce à une procédure plus rapide de validation des tableaux ad hoc (transmission simultanée des tableaux ad hoc aux utilisateurs et aux services statistiques dans le cas de demandes urgentes).

Le paiement de la contribution communautaire à l'enquête 1999-2000 (y compris, le cas échéant, une contribution additionnelle de 50% en cas d'enquête exhaustive) a commencé en 2000 et devrait se solder en 2003. La contribution communautaire totale devrait s'élever à quelque 26,6 millions d'euros.

C. Enquête 2003

En vue de l'enquête 2003, la Commission a adopté trois règlements [6] conformément à la procédure prévue à l'article 15 du règlement de base. Le nombre de variables facultatives a été limité (pour éviter de compliquer et alourdir la gestion des données sans avoir la possibilité de produire des totaux communautaires) et une section portant sur les aspects environnementaux de l'agriculture a été ajoutée à la liste des caractéristiques à recueillir dans cette enquête. Il est à noter que les délais de transmission prévus font maintenant référence à la transmission de données déjà validées (afin d'éviter que les délais de validation n'affectent la date prévue pour la mise à disposition des résultats).

[6] Règlement (CE) n°143/2002 de la Commission du 24 janvier 2002 modifiant l'annexe I du règlement (CEE) n°571/88 du Conseil portant organisation des enquêtes communautaires sur la structure des exploitations agricoles en 2003, 2005 et 2007 (JO L 24 du 26.1.2002).

Afin d'accélérer la disponibilité des principaux résultats et d'éviter des délais exagérés entre la diffusion des données par les Etats membres et par la Commission, il a été convenu qu'un ensemble commun de tableaux serait transmis par les Etats membres à Eurostat dès que les premières données nationales sont diffusées.

D. Développements informatiques concernant le système Eurofarm

D.1 Évolution du logiciel 1997-2002

D.1.1 Introduction

Comme prévu dans le dernier rapport présenté au Conseil sur la mise en oeuvre du projet Eurofarm, des évolutions majeures sont intervenues dans le logiciel Eurofarm. Certaines de ces innovations étaient devenues nécessaires car le matériel et le système d'exploitation conçus pour l'ancien système Eurofarm n'ont plus le soutien de la Direction Informatique de la Commission.

Cependant, la migration d'Eurofarm vers un nouveau système informatique a également permis d'améliorer la fonctionnalité du système Eurofarm et d'apporter des solutions à certaines imperfections identifiées dans l'ancien système.

D.1.2 Migration d'Eurofarm vers une plate-forme UNIX

La migration de la base de données Eurofarm vers le nouveau système a été effectuée progressivement, de façon à permettre la mise en place de toutes les (méta-) données pour la migration des "anciennes" données venant de l'ordinateur central et de traiter les données de l'enquête 2000.

Le logiciel destiné au nouveau système Eurofarm a été mis au point par une société externe à l'aide d'outils logiciels standard du marché. Les données sont stockées dans les bases de données Oracle fonctionnant sur un serveur UNIX et sont accessibles à partir de PC équipés de logiciels mis au point avec des outils Oracle. UNIX et Oracle sont des outils logiciels très répandus au sein et en dehors de la Commission. Leur exploitation a permis d'aligner le système Eurofarm sur la politique informatique de la Commission, ce qui n'était pas le cas avec le système précédent qui utilisait, pour diverses raisons, une vaste gamme d'outils logiciels dont certains étaient obsolètes (Cobol, MVS) ou présentaient peu de perspectives de développement en raison de leur caractère très ciblé (Acumen).

Tout est mis en oeuvre pour faciliter la gestion du système Eurofarm et pour adapter les exigences de gestion à la politique du personnel de la Commission. Bien que le logiciel ait été mis au point par une société externe, les données sur la structure des exploitations agricoles peuvent être entièrement traitées par des non-informaticiens aptes à comprendre la logique de l'application, ce qui a permis, grâce également aux décisions relatives aux ressources humaines prises par la suite, de confier tout le traitement des données aux fonctionnaires d'Eurostat sans avoir recours à du personnel externe.

Depuis le printemps 2002, des tableaux ad hoc issus de l'enquête 2000 ont été créés avec le nouveau système pour répondre aux demandes des utilisateurs et, depuis octobre 2002, les tableaux créés avec le nouveau système sont progressivement publiés dans NewCronos.

Le coût total d'élaboration du système Eurofarm s'est élevé à 900 000 euros, dont une partie a été financée par le budget de la Direction Informatique et le solde, par le budget de l'enquête sur la structure des exploitations agricoles.

D.1.3 Nouvelle structure du système de base de données Eurofarm

Selon leurs fonctions, les données permettant l'exploitation de l'enquête sur la structure des exploitations agricoles ont été réparties dans trois bases de données:

- "base de métadonnées"

Cette base de données stocke les "métadonnées" nécessaires au traitement des données Eurofarm, de la définition des fichiers d'enquête à la validation des données reçues et à la sélection des paramètres requis pour définir les tableaux statistiques.

Les informations stockées dans cette base de données (telles que la liste des caractéristiques de l'enquête, les règles typologiques...) couvrent toutes les enquêtes réalisées à partir de l'enquête de base 1989/1990.

La décision de développer une "base de métadonnées" a été prise afin de centraliser tous les types de paramètres répartis auparavant sur différents fichiers dans une banque centrale unique; de cette façon, l'accès à ces paramètres ainsi que les développements prévus (futures enquêtes - pays candidats et AELE) sont facilités et le traitement des données Eurofarm est plus transparent pour les utilisateurs finals.

- "base de données individuelles"

Cette base de données offre une vue d'ensemble cohérente des données provenant des diverses enquêtes et des différents pays.

Une attention particulière a été accordée à l'élaboration des programmes d'exploitation d'une façon uniforme pour les différentes années de l'enquête et les différents pays. Les différences spécifiques en fonction de l'année de l'enquête (liste des caractéristiques, etc.) sont gérées par la base de métadonnées et ne sont plus cachées dans les programmes comme dans l'ancien système.

La base de données contient pour l'instant un total de 15 439 476 enregistrements.

- "base de données tabulaires"

Cette base de données contient les tableaux agrégés qui sont établis à partir des données de la "base de données individuelles" en utilisant les définitions de tableaux stockées dans la "base de métadonnées".

Afin de concilier les exigences de confidentialité et de traitement des données, cette base de données a été scindée en une partie confidentielle contenant les tableaux bruts et une partie "publique" contenant les tableaux filtrés. Ceux-ci sont élaborés, conformément aux exigences de confidentialité, en cachant les données se rapportant à des entités individuelles.

La production de tableaux est désormais basée sur un générateur de tableaux unique qui utilise des définitions des variables et des dimensions stockées dans la base de métadonnées, ce qui est considéré comme une amélioration majeure par rapport à l'ancien système, où des programmes spécifiques étaient développés pour différents groupes de tableaux. Cette fonctionnalité permet désormais de répondre aux nouvelles demandes de tableaux sans qu'il soit nécessaire d'écrire de nouveaux programmes.

La base de données tabulaires sert de lieu de stockage central de toutes les données tabulaires. Les données qu'elle contient sont extraites pour répondre aux demandes ad hoc, pour être copiées dans la base de données de diffusion générale d'Eurostat ou pour fournir des tableaux aux publications papier.

D.2 Développements prévus en 2003-2004

Trois projets sont actuellement envisagés par Eurostat afin d'améliorer la fonctionnalité du système qui a été élaboré et de rendre les résultats de l'enquête plus accessibles aux utilisateurs:

(1) Permettre l'accès des fournisseurs de données (États membres, pays candidats, pays de l'AELE) à un système de validation centralisé

Le processus de validation prend souvent plusieurs mois entre la livraison de la première série de données et l'acceptation de la version définitive. Afin d'accélérer ce processus ainsi que l'accès aux données validées sur la structure des exploitations agricoles, il est prévu de mettre en place, au sein du data centre de la Commission, un système accessible aux fournisseurs de données. Ce système permettra aux fournisseurs de données de valider eux-mêmes les données sans devoir attendre de réponse d'Eurostat.

(2) Faciliter l'accès au générateur de tableaux ainsi que le fonctionnement de celui-ci

S'il est vrai que le nouveau générateur de tableaux dispose des fonctions de base requises, des efforts supplémentaires seront cependant entrepris afin d'élargir l'utilisation de la fonction de création de tableaux statistiques. La version actuelle nécessite l'installation de programmes et une connexion directe au réseau d'Eurostat. Il est prévu d'élaborer un système permettant la création de tableaux via un accès Internet standard au (sous-) système Eurofarm. Les utilisateurs concernés travaillant en dehors des locaux d'Eurostat, et notamment les organismes nationaux de statistiques, pourront ainsi créer des tableaux afin de répondre à leurs besoins spécifiques en matière d'analyse. Dans le cadre de ce projet, les possibilités offertes par le dernier logiciel Oracle seront exploitées pour améliorer le fonctionnement général du système.

(3) Permettre l'accès aux données individuelles rendues anonymes

Le système Eurofarm produit des tableaux multidimensionnels sur les données relatives à la structure des exploitations agricoles; ils ne constituent pas toujours le meilleur moyen de présenter des informations statistiques. Les études basées sur une analyse multivariée requièrent différents types d'informations (par exemple la répartition de certaines caractéristiques ou les corrélations entre les différentes caractéristiques).

Eurostat étudie actuellement les différents aspects liés à la diffusion des données individuelles rendues anonymes. Différentes méthodes doivent être analysées afin d'établir des données "individuelles" modifiées pouvant être diffusées à partir de données individuelles confidentielles. Les utilisateurs de ces données seront ainsi en mesure d'établir des statistiques sous des formes autres que des données tabulaires.

ANNEXE

Enquête 2000 sur la structure des exploitations agricoles - Dates de transmission et de validation

>EMPLACEMENT TABLE>

Le délai était en moyenne de 253 jours, dont 70 pour Eurostat et 183 pour les États membres.