# Traitement des données manquantes dans un projet participatif sur la biodiversité des sols agricoles

Mario Cannavacciuolo, Marie Harnois, Nicolas Chemidlin Prevost-Bouré, Samuel Dequiedt, Laure Gontier, Elisabeth Verame, Nathalie Cassagne, Joséphine Peigné, Jean-François Vian, Daniel Cluzeau, et al.

<figure><img src="image_1.png" /></figure>

## To cite this version:

Mario Cannavacciuolo, Marie Harnois, Nicolas Chemidlin Prevost-Bouré, Samuel Dequiedt, Laure Gontier, et al.. Traitement des données manquantes dans un projet participatif sur la biodiversité des sols agricoles. Cinquièmes Rencontres R, Jun 2016, Toulouse, France. hal-05226470

HAL Id: hal-05226470

https://hal.science/hal-05226470v1

Submitted on 27 Aug 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution - ShareAlike 4.0 International License
# TRAITEMENT DES DONNÉES MANQUANTES DANS UN PROJET PARTICIPATIF SUR LA BIODIVERSITÉ DES SOLS AGRICOLES

Mario CANNAVACCIUOLO¹, Marie HARNOIS¹, Nicolas CHEMIDLIN PREVOST-BOURÉ², Samuel DEQUIEDT³, Laure GONTIER⁴, Elisabeth VERAME⁵, Nathalie CASSAGNE¹, Joséphine PEIGNÉ⁶, Jean-François VIAN⁶, Daniel CLUZEAU⁷, Hélène CEREMONIE⁸, Cécile VILLENAVE⁸, Pierre MULLIEZ⁹, Virginie RIOU⁹, Laetitia FOURRIÉ¹⁰, Lionel RANJARD³

Contact : m.cannavacciuolo@groupe-esa.com

Unité de Recherche Légumineuses, Ecophysiologie Végétale, Agroécologie (LEVA) - ESA Angers - SFR 4207 QUASAV

## Contexte

Le sol, à travers sa composante biologique, joue un rôle essentiel dans le fonctionnement des agrosystèmes.

Pour s'inscrire dans un objectif de développement durable, il apparaît indispensable de se doter d'outils permettant d'appréhender les impacts des systèmes de culture sur les organismes du sol.

AgrInnov est un projet participatif français associant chercheurs et agriculteurs. Il vise à définir, transférer et mettre en œuvre des outils opérationnels, pour les agriculteurs, de caractérisation de la biodiversité dans les sols.

* Les bio-indicateurs ciblent trois grands groupes d'organismes du sol : les vers de terre, les nématodes et les communautés microbiennes. En parallèle, des indicateurs d'évaluation agronomique sont mis en place : observation de la structure du sol (test bêche), évaluation de l'activité de décomposition de la matière organique (LEVAbag MD).

* Le projet s'appuie sur un réseau de 248 parcelles viticoles et de grandes cultures qui intègre une grande diversité de situations pédoclimatiques et culturales à l'échelle du territoire français.

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /><figcaption>Test Bêche</figcaption></figure>

<figure><img src="image_6.png" /><figcaption>LEVAbag MD</figcaption></figure>

Les agriculteurs ont réalisé
eux-mêmes l'échantillonnage de leur sol ainsi que
la mise en oeuvre des indicateurs de terrain (test
bêche, LEVAbag MD, piégeage des vers de terre).

<figure><img src="image_7.png" /></figure>

## Constat

### Sciences participatives : une source de données manquantes

Les projets de sciences participatives présentent souvent des données erronées ou manquantes. Dans la cadre du projet AgrInnov, les Données Manquantes (DM) constituent un frein au diagnostic de l'impact des pratiques agricoles sur les caractéristiques biologiques et agronomiques du sol. Il est donc nécessaire de définir une stratégie de traitement des données manquantes (élimination de l'individu ou remplacement de la donnée manquante) afin de limiter leur impact dans l'analyse des données.

## Objectif

Les méthodes d'imputation de DM sont préférées à la suppression d'individus ou de variables car toute l'information disponible est conservée [1]. Ainsi, les méthodes d'imputation multiple [2], les méthodes basées sur les forêts aléatoires et les méthodes d'imputation factorielle [3] induisent généralement de bonnes estimations des données manquantes

L'objectif est de comparer plusieurs méthodes d'imputation, par simulations numériques sur un jeu de données sans DM issu des données AgrInnov, afin de sélectionner celle qui induit les meilleures estimations.

## Matériel et méthodes

### 1 Comparaison des méthodes d'imputation

<table><thead><tr><td>Méthode d'imputation</td><td>Package</td><td>Fonction</td><td>Référence</td></tr></thead><tbody><tr><td rowspan="2">factorielle</td><td>missMDA</td><td>imputePCA (pca)</td><td>[4]</td></tr><tr><td>missMDA</td><td>imputeMFA (mfa)</td><td>[4]</td></tr><tr><td>plus proche voisin</td><td>missForest</td><td>missForest (mf)</td><td>[5]</td></tr><tr><td>multiple « Predictive Mean Matching »</td><td>mice</td><td>mice (pmm)</td><td>[6]</td></tr></tbody></table>

### 2 Algorithme

#### Répéter 1000 fois

* Simuler des données manquantes dans le jeu de données complet

* Imputer ces données selon 4 méthodes :

* Imputations factorielles : fonctions **imputePCA** et **imputeMFA**

* Imputation par le plus proche voisin : fonction **missForest**

* Imputation multiple : fonction **mice**

* Calculer le NRMSE et la moyenne des écarts à la matrice de corrélation

**Fin.**

### 3 Indices de qualité de l'imputation

$$ \overline{\Delta}_{COR} = \frac{\sum_{i} \sum_{j \neq i} |a_{ij} - b_{ij}|}{c * c - c} $$

$$ NRMSE = \frac{\sqrt{\frac{1}{M} \sum (R_i - E_i)^2}}{\text{var}(R_i)} $$

Avec $[a]_{CXC}$ la matrice de corrélation du jeu de données initial sans données manquantes et $[b]_{CXC}$ la matrice de corrélation du jeu de données imputées

Avec $R_i$ la valeur réelle observée à la position où une valeur manquante a été insérée, $E_i$ la valeur estimée par la méthode à cette position et $M$ le nombre de valeurs manquantes dans la matrice

## Résultats

### Données initiales, des DM inégalement réparties par :

### Les résultats d'imputation sont-ils significativement différents ?

parcelle

variable

Imputation de DM
1000 iterations

Écart à la corrélation

Imputation de DM
1000 iterations

NRMSE

<figure><img src="image_8.png" /></figure>

<figure><img src="image_9.png" /></figure>

Dans un jeu de données complet, nous simulons des DM à

<figure><img src="image_10.png" /></figure>

des fréquences identiques à celles observées dans les variables du jeu de données initiales

écart à la corrélation

<figure><img src="image_11.png" /></figure>

Test de Kruskal-Wallis :
p-value < 2.2e-16

Test de Dunn
 corrélation Bonferroni) :

<table><thead><tr><td>P-value</td><td>mf</td><td>mfa</td><td>pca</td></tr></thead><tbody><tr><td>mfa</td><td>&lt; 1 e-10</td><td></td><td></td></tr><tr><td>pca</td><td>&lt; 1 e-10</td><td>&lt; 1 e-10</td><td></td></tr><tr><td>pmm</td><td>0.13</td><td>&lt; 1 e-10</td><td>&lt; 1 e-10</td></tr></tbody></table>

NRMSE

<figure><img src="image_12.png" /></figure>

Test de Kruskal-Wallis :
p-value < 2.2e-16

Test de Dunn
 (correction Bonferroni) :

<table><thead><tr><td>P-value</td><td>mf</td><td>mfa</td><td>pca</td></tr></thead><tbody><tr><td>mfa</td><td>&lt; 1 e-10</td><td></td><td></td></tr><tr><td>pca</td><td>&lt; 1 e-10</td><td>&lt; 1 e-10</td><td></td></tr><tr><td>pmm</td><td>&lt; 1 e-10</td><td>&lt; 1 e-10</td><td>&lt; 1 e-10</td></tr></tbody></table>

* n = 240 parcelles et p = 16 variables

* 6% de données manquantes

## Discussion

- En prenant en compte le pourcentage de DM par variables, la méthode d'imputation multiple par « Predictive Mean Matching » minimise le NRMSE et le critère de la moyenne des écarts à la matrice de corrélation. Cette méthode reconstitue mieux les données et déforme moins les relations linéaires entre les variables.

- Cependant, la méthode d'imputation multiple par PMM est sensible à la proportion totale de DM. La méthode par le plus proche voisin semble nettement plus intéressante lorsque la proportion totale de DM augmente ou lorsque les DM sont de type MCAR (Missing Completely at Random).

- Dans le projet AgrInnov, l'hypothèse de DM de type MAR (Missing At Random) semble la plus probable. Afin de diminuer la proportion totale de DM, une analyse par parcelles permettrait de définir une typologie des agriculteurs et d'adapter la stratégie d'échantillonnage des bio-indicateurs et des indicateurs agronomiques.

<footnote>[1] Josse J., Husson F., Pagès J. (2009) Gestion des données manquantes en analyse en composantes principales. Journal de la Société Française de Statistique 150(2): 28-51.</footnote>

<footnote>[2] Glasson-Cicognani M., Berchtold A. (2010) Imputation des données manquantes: Comparaison de différentes approches. 42èmes Journées de Statistique.</footnote>

<footnote>[3] Audigier V., Husson F., Josse J. (2012) Imputation de données manquantes pour des données mixtes via les méthodes factorielles grâce à missMDA. 1ères Rencontres R.</footnote>

<footnote>[4] Husson F., Josse J. (2013) Package 'missMDA'. methods 153(2): 79-99.</footnote>

<footnote>[5] Stekhoven D. J., Bühlmann P. (2012) MissForest—non-parametric missing value imputation for mixed-type data. Bioinformatics 28(1): 112-118.</footnote>

<footnote>[6] Van Buuren S., Oudshoorn K. (2011) mice: Multivariate imputation by chained equations in R. Journal of statistical software 45(3).</footnote>