<figure><img src="image_1.png" /></figure>

HAL
open science

# Approche multi-critère pour la caractérisation des adventices

Jehan-Antoine Vayssade

► To cite this version:

Jehan-Antoine Vayssade. Approche multi-critère pour la caractérisation des adventices. Intelligence artificielle [cs.AI]. Université Bourgogne Franche-Comté, 2022. Français. NNT: tel-03688127

HAL Id: tel-03688127

https://theses.hal.science/tel-03688127

Submitted on 3 Jun 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
THÈSE DE DOCTORAT DE L'UNIVERSITÉ
BOURGOGNE FRANCHE-COMTÉ
PRÉPARÉE À L'INRAE – UMR AGROÉCOLOGIE

ÉCOLE DOCTORALE N°554, ENVIRONEMENT-SANTÉ
DOCTORAT EN INFORMATIQUE

THÈSE PRÉSENTÉE ET SOUTENUE PAR
JEHAN-ANTOINE VAYSSADE
À DIJON LE 08 MARS 2022

Approche multi-critère
pour la caractérisation des adventices

Composition du Jury :

Pr. Christian Germain

Pr. Bruno Tisseyre

Pr. Laure Tougne-Rodet

Pr. Christelle Gée

Mc. Jean-Noël Paoli

Mc. Gawain Jones

Bordeaux Sciences Agro
Institut Agro Montpellier
Université Lumière - Lyon 2

Institut Agro Dijon
Institut Agro Dijon
Institut Agro Dijon

Examinateur

Rapporteur

Rapporteure

Directrice de thèse

Co-encadrant

Co-encadrant
**Titre** : Approche multi-critère pour la caractérisation des adventices

**Mots clés** : Vision par ordinateur ; Analyse d'image ; Intelligence artificielle ; Statistiques ; Prédiction ; Agriculture de précision

**Résumé** : L'objectif de cette thèse est de mettre au point un moyen de détecter les adventices dans un champ à l'aide d'images multispectrales, afin de pouvoir déterminer quelles sont les adventices à éliminer pendant le cycle de culture en cours et plus particulièrement aux stades précoces. L'approche multi-critère s'intéresse à la disposition spatiale, à la signature spectrale, à la morphologie et à la texture des plantes présentes dans les parcelles. Ce manuscrit propose une méthode permettant de sélectionner les meilleurs critères pour une discrimination optimale dans un contexte donné. Préalablement à l'extraction de ces critères, un ensemble de méthodes ont été développées afin de corriger les erreurs du dispositif d'acquisition, de détecter précisément la végétation, puis d'identifier au sein de la végétation les individus sur lesquels les différents critères peuvent être extraits. Pour l'étape de détection des individus, il s'est révélé que l'échelle de la feuille était plus adaptée que celle de la plante. La détection de la végétation et l'identification des feuilles s'appuient

sur des méthodes d'apprentissage profond, capables de traiter des feuillages denses. L'introduction de ces méthodes dans une chaîne de traitement usuelle constitue l'originalité de ce manuscrit où chaque partie a fait l'objet d'un article. Concernant le dispositif d'acquisition, une méthode de recalage des bandes spectrales a été développée, et les résultats montrent une précision de l'ordre du pixel. Ensuite, de nouveaux indices de végétation reposant sur de l'intelligence artificielle constituent l'une des avancées scientifiques de cette thèse. A titre indicatif, ces indices permettent d'atteindre 82.19% de mIoU contre 63.93%-73.71% pour des indices standards et fonctionnent en environnement non-contrôlé. Par extension, une méthode de détection des feuilles a été définie. Elle re pose sur la détection de leurs contours, et semble avantageuse sur nos données multispectrales. Finalement, les meilleurs couples de propriétés ont été définis pour la discrimination culture/adventices à l'échelle de la feuille, dont les performances atteignent 91% de classification.
**Title** : A multi-criteria approach to weed characterization

**Keywords** : Computer vision; Image analysis; Artificial intelligence; Statistics; Prediction; Precision agriculture

**Summary** : The objective of this thesis is to develop a way to detect weeds in a field using multispectral images, in order to determine which weeds should be eliminated during the current crop cycle and more particularly at the early stages. The multi-criteria approach focuses on the spatial arrangement, the spectral signature, the morphology and the texture of the plants located in the plots. This work proposes a method for selecting the best criteria for optimal discrimination for a given setup. Prior to the extraction of these criteria, a set of methods was developed in order to correct the errors of the acquisition device, to precisely detect the vegetation and then to identify within the vegetation the individuals on which the different criteria can be computed. For the individual detection step, it appears that leaf scale is more suitable than plant scale. Vegetation detection

and leaf identification are based on deep learning methods capable of processing dense foliage. The introduction of these methods in a usual processing chain constitutes the originality of this manuscript where each part was the subject of an article. Concerning the acquisition device, a method of spectral band registration was developed. Then, new vegetation indices based on artificial intelligence constitute one of the scientific advances of this thesis. As an indication, these indices offer a mIoU of 82.19% when standard indices ceiling at 63.93%-73.71%. By extension, a leaf detection method was defined and is based on the detection of their contours, this method seems advantageous on our multispectral data. Finally, the best property pairs were defined for crop/weed discrimination at leaf level, with classification performances up to 91%.
# Contributions de l'auteur

## Conférences

- **Two-step multi-spectral registration via key-point detector and gradient similarity** February 2020 - Proceedings of the 15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications : Valetta (Malta) - Jehan-Antoine Vayssade; Gawain Jones; Jean Noel Paoli; Christelle Gée

- **DeepIndices : Une nouvelle approche des indices de télédétection basée sur l'optimisation et l'approximation de fonctions par DeepLearning. Application aux indices de végétation sur des données non calibrées** July 2021 - RJCIA : Rencontres des Jeunes Chercheurs en Intelligence Artificielle (Bordeaux) - Jehan-Antoine Vayssade; Jean Noel Paoli; Christelle Gée; Gawain Jones

## Articles de journaux internationaux

- **DeepIndices : Remote Sensing Indices Based on Approximation of Functions through Deep-Learning, Application to Uncalibrated Vegetation Images** June 2021 - Remote Sensing 13(2261) - Jehan-Antoine Vayssade; Jean Noel Paoli; Christelle Gée; Gawain Jones

- **Dense Leaves Pixelwise Instance Segmentation** February 2022 - Computer and Electronics in Agriculture - Jehan-Antoine Vayssade; Gawain Jones; Christelle Gée; Jean Noel Paoli

## Article en cours de publication

- **Weed discrimination at leaf scale : towards the characterization of the vegetation cover** January 2022 - Computer and Electronics in Agriculture - Jehan-Antoine Vayssade, Gawain Jones, Christelle Gée and Jean-Noël Paoli

## Collaborations extérieures

- **Automatic activity tracking of goats using drone camera** July 2019 - Computers and Electronics in Agriculture 162 :767-772 - Jehan-Antoine Vayssade; Rémy Arquet; Mathieu Bonneau

- **Goats monitoring at the pasture scale combining neural network and time-lapse cameras** August 2019 - European Conference on Precisions Livestock Farming (ECPLF), - Mathieu Bonneau; Jehan-Antoine Vayssade; Willy Troupe; Rémy Arquet

- **Outdoor animal tracking combining neural network and time-lapse cameras** December 2019 - Computers and Electronics in Agriculture 168 - Mathieu Bonneau; Jehan-Antoine Vayssade; Willy Troupe; Rémy Arquet
# Préambule

**Cadre général** : En cultures maraîchères et grandes cultures, la gestion des adventices est une question critique. La limitation de leur prolifération à tous les stades de la culture est cruciale. Les adventices ont des conséquences importantes du point de vue qualitatif et financier mais également sur le plan agroécologique. Les solutions de gestion des cultures peuvent être préventives en contribuant de manière directe ou indirecte à diminuer la nuisibilité des adventices [Caussanel, 1989] dans le temps, leur gestion aux stades de développement les plus précoces est donc essentielle. Ces solutions reposent essentiellement sur des leviers agronomiques (allongement des rotations, réduction du travail du sol : faux-semis, cultures associées, ...). D'autres solutions, dites curatives [cordeau et al., 2016], proposent des solutions techniques à ces questions. Le plus souvent chimiques, on cherche de plus en plus à les réduire en s'orientant vers des solutions alternatives en ayant recours au désherbage mécanique, voire manuel, selon le type et le stade de développement des cultures.

En agriculture conventionnelle, pour des raisons budgétaires et de rentabilité, l'utilisation de produits phytosanitaires est encore privilégiée, au détriment d'autres méthodes jugées plus coûteuses ou moins performantes, même fréquentes et bien raisonnées [Colbach et al., 2010]. L'utilisation massive de ces produits chimiques de synthèse a conduit, entre autre, au cours des dernières décennies à une pollution des eaux<fnref n="1" /> [Reulier, 2015], à un appauvrissement de la bio-diversité [Jonathan Storkey, 2007] et à l'apparition de phénomènes de résistance [Délye, 2017]. La réduction des produits phytosanitaires représente donc un des enjeux majeurs du secteur agricole. En effet, dans un objectif "zéro-phyto", il s'agit de réduire l'impact environnemental de cette pratique de désherbage tout en accompagnant l'agriculteur vers de nouvelles stratégies fiables et robustes qui allient agroécologie et nouvelles technologies. Cela repose principalement sur la diversification des méthodes de lutte [Wezel et al., 2014] au-delà des herbicides (choix de variétés, rotation des cultures, prophylaxie, biocontrôle, ...). Cette démarche s'inscrit dans les plans gouvernementaux français tels que Ecophyto, Ecophyto 2 et Ecophyto II+.

**Objectif** : L'objectif est donc de proposer des outils numériques pour une meilleure gestion des adventices dans le cadre des cultures dites conventionnelles. La démarche envisagée s'inscrit dans le domaine de l'agriculture numérique [Bellon Maurel and HUYGHE, 2019], qui englobe l'agriculture de précision, et consiste en une évaluation multi-critère des adventices détectées par imagerie pour une gestion localisée.

Actuellement les études sur la détection des adventices par imagerie sont difficilement comparables car fortement liées aux systèmes d'imagerie, aux résolutions spatiales et au stade de développement du cycle cultural en cours. En effet, la comparaison des performances des méthodes actuelles de traitement d'images est difficile, puisque leurs études sont basées sur des critères d'appréciation disparates ; c'est-à-dire que les données, les analyses et les métriques ne concordent pas entre les études. Dans la majorité des cas, elles ne permettent donc pas leurs transpositions à une nouvelle situation.

<footnote n="1">1. Projet PULSE : Paysages, ParticULes, peSticidEs (2020-2022)</footnote>
**Contexte du projet** : L'équipe de recherche "agriculture de précision" (pôle GestAd) de l'UMR Agroécologie de Dijon a pour objectif de produire des connaissances mobilisables pour une gestion durable de la flore adventice, c'est-à-dire une gestion minimisant les intrants, tout en maintenant la production agricole. Dans cette optique, notre projet portera sur l'étude approfondie des différentes méthodes et métriques usuelles afin de définir clairement les meilleures d'entre elles. Cette démarche permettra également de préconiser les conditions d'acquisition optimales, afin de détecter et traiter les adventices directement et localement.

<figure><img src="image_2.png" /></figure>

**Partenaires** : Ces travaux sont menés dans le cadre de deux projets de recherche :

- **H2020 IWMPRAISE (2017-2022)** : La gestion intégrée des mauvaises herbes est la voie à suivre pour une agriculture durable et résiliente. IWMPRAISE (Integrated Weed Management : PRActical Implementation and Solutions for Europe) est un projet européen de type "Horizon 2020" qui soutient et favorise la mise en œuvre de la GIRE en Europe. La gestion des mauvaises herbes en Europe deviendra plus respectueuse de l'environnement, si le concept de gestion intégrée des mauvaises herbes s'impose dans les fermes [Kudsk et al., 2020]. Dans le cadre de ce travail, l'équipe envisagera des solutions couvrant majoritairement les problèmes de « détection - interprétation ».

- **ANR challenge ROSE consortium ROSEAU (2018-2021)** : Le dispositif de financement Challenge ROSE (RObotique aux Service des Ecophyto) vise à susciter des dynamiques de recherche en mobilisant les acteurs scientifiques et industriels autour d'une même problématique. Quatre équipes de recherche se focalisent sur le désherbage de l'intra-rang en cultures maraîchères de plein champ et en grandes cultures à fort écartement. Les solutions envisagées par le consortium ROSEAU (RObotics SEnsorimotor loops to weed AUtonomously) couvrent la totalité de la chaîne « détection - interprétation - décision - action ». Chaque équipe proposera des éléments de recherche dans une ou plusieurs parties de la chaîne, et ces travaux seront mis en commun pour la création d'une machine bloc-outils permettant la gestion des adventices de façon autonome. L'équipe de recherche "Agriculture de précision" envisage de couvrir les problèmes de « détection » au sein du consortium ROSEAU porté par la société SITIA, possédant un robot autonome dénommé PUMA.

**Conclusion** : Notre cadre général est donc soutenu par IWMPRAISE H2020, qui consiste en l'évaluation d'une méthode de détection des adventices. Nous appliquerons nos algorithmes pour un contexte particulier dans le cadre de l'ANR Challenge Rose sur des cultures sarclées.
# Table des matières

## 1 Introduction 1

<table><tr><td>1.1 Agriculture : un avènement</td><td>1</td></tr><tr><td>1.1.1 Dynamique des systèmes</td><td>2</td></tr><tr><td>1.1.2 Limites de l'agriculture intensive</td><td>3</td></tr><tr><td>1.1.3 Modes de production</td><td>6</td></tr><tr><td>1.1.4 Transition agroécologique</td><td>7</td></tr></table>

<table><tr><td>1.2 Agriculture de précision</td><td>8</td></tr><tr><td>1.2.1 La télédétection au service de l'agriculture de précision</td><td>9</td></tr><tr><td>1.2.2 Vers une agriculture numérique</td><td>11</td></tr></table>

<table><tr><td>1.3 Le désherbage</td><td>12</td></tr><tr><td>1.3.1 Place des adventices dans les systèmes de culture</td><td>12</td></tr><tr><td>1.3.2 La biologie des adventices</td><td>14</td></tr><tr><td>1.3.3 Fenêtres de traitement</td><td>16</td></tr><tr><td>1.3.4 Les technologies de désherbage actuelles</td><td>17</td></tr><tr><td>1.3.5 Les technologies de désherbage en développement</td><td>19</td></tr></table>

<table><tr><td>1.4 Conclusion de chapitre</td><td>21</td></tr></table>

## 2 Vision par ordinateur 23

<table><tr><td>2.1 Systèmes d'imagerie</td><td>24</td></tr><tr><td>2.1.1 Percevoir la couleur</td><td>26</td></tr><tr><td>2.1.2 Des capteurs multispectraux</td><td>27</td></tr></table>

<table><tr><td>2.2 Prétraitement</td><td>28</td></tr><tr><td>2.2.1 Correction géométrique</td><td>28</td></tr><tr><td>2.2.2 Rehaussement d'image</td><td>29</td></tr><tr><td>2.2.3 Indices de télédétection</td><td>31</td></tr></table>

<table><tr><td>2.3 Segmentation</td><td>34</td></tr><tr><td>2.3.1 Segmentation sémantique</td><td>34</td></tr><tr><td>2.3.2 Segmentation en région</td><td>36</td></tr><tr><td>2.3.3 Segmentation des instances</td><td>39</td></tr></table>

<table><tr><td>2.4 Extraction de propriétés</td><td>41</td></tr><tr><td>2.4.1 Propriétés géométriques</td><td>41</td></tr><tr><td>2.4.2 Propriétés spatiales</td><td>42</td></tr><tr><td>2.4.3 Propriétés de texture</td><td>42</td></tr><tr><td>2.4.4 Robustesse des propriétés</td><td>43</td></tr><tr><td>2.4.5 Apprentissage profond</td><td>43</td></tr></table>

<table><tr><td>2.5 Classification</td><td>44</td></tr><tr><td>2.5.1 Classification supervisée</td><td>44</td></tr><tr><td>2.5.2 Classification non-supervisée</td><td>47</td></tr><tr><td>2.5.3 Classification semi-supervisée</td><td>48</td></tr></table>

<table><tr><td>2.6 Métriques d'évaluation</td><td>49</td></tr><tr><td>2.6.1 Classification</td><td>49</td></tr><tr><td>2.6.2 Régression et calibration</td><td>50</td></tr></table>
<table><tr><td>2.7</td><td>Applications en agriculture</td><td>51</td></tr><tr><td>2.7.1</td><td>Échelle du pixel et voisinage proche</td><td>51</td></tr><tr><td>2.7.2</td><td>Échelle de la fenêtre</td><td>52</td></tr><tr><td>2.7.3</td><td>Composantes connexes et super-pixels</td><td>53</td></tr><tr><td>2.7.4</td><td>Échelle de la plante</td><td>55</td></tr><tr><td>2.8</td><td>Conclusion de chapitre</td><td>56</td></tr></table>

# 3 Matériel et données 57

<table><tr><td>3.1</td><td>Les sites expérimentaux</td><td>57</td></tr><tr><td>3.2</td><td>Capteur optique</td><td>58</td></tr><tr><td>3.3</td><td>Jeux de données</td><td>59</td></tr><tr><td>3.3.1</td><td>Campagnes d'acquisition</td><td>59</td></tr><tr><td>3.3.2</td><td>Annotations</td><td>60</td></tr><tr><td>3.4</td><td>Calibration</td><td>62</td></tr><tr><td>3.4.1</td><td>Résolution spatiale</td><td>62</td></tr><tr><td>3.4.2</td><td>Correction géométrique</td><td>63</td></tr><tr><td>3.5</td><td>Recalage des bandes spectrales</td><td>65</td></tr><tr><td>3.5.1</td><td>Introduction</td><td>67</td></tr><tr><td>3.5.2</td><td>Material and Method</td><td>68</td></tr><tr><td>3.5.3</td><td>Results and discussion</td><td>72</td></tr><tr><td>3.5.4</td><td>Conclusion</td><td>76</td></tr><tr><td>3.6</td><td>Conclusion de chapitre</td><td>77</td></tr></table>

# 4 Indices de végétation 79

<table><tr><td>4.1</td><td>Introduction</td><td>81</td></tr><tr><td>4.2</td><td>Material and Data</td><td>83</td></tr><tr><td>4.2.1</td><td>Instrument Details</td><td>83</td></tr><tr><td>4.2.2</td><td>Image Dataset</td><td>83</td></tr><tr><td>4.2.3</td><td>Data Pre-Processing</td><td>84</td></tr><tr><td>4.2.4</td><td>Training and Validation Datasets</td><td>85</td></tr><tr><td>4.3</td><td>Methodology</td><td>85</td></tr><tr><td>4.3.1</td><td>Existing Spectral Indices</td><td>85</td></tr><tr><td>4.3.2</td><td>Deepindices : Baseline Models</td><td>86</td></tr><tr><td>4.3.3</td><td>Enhancing Baseline Models</td><td>88</td></tr><tr><td>4.3.4</td><td>Last Activation Function</td><td>90</td></tr><tr><td>4.3.5</td><td>Loss Function</td><td>90</td></tr><tr><td>4.3.6</td><td>Performance Evaluation</td><td>90</td></tr><tr><td>4.3.7</td><td>Comparison with Standard Indices</td><td>91</td></tr><tr><td>4.3.8</td><td>Training Setup</td><td>91</td></tr><tr><td>4.4</td><td>Results and Discussion</td><td>92</td></tr><tr><td>4.4.1</td><td>Fixed Models</td><td>92</td></tr><tr><td>4.4.2</td><td>Deepindices</td><td>93</td></tr><tr><td>4.4.3</td><td>Initial Image Processing</td><td>95</td></tr><tr><td>4.4.4</td><td>Discussion</td><td>95</td></tr><tr><td>4.5</td><td>Conclusions</td><td>99</td></tr><tr><td>4.6</td><td>Conclusion de chapitre</td><td>102</td></tr></table>
5 Détection des individus 103

<table><tr><td>5.1 Introduction</td><td>106</td></tr><tr><td>5.1.1 Related Works</td><td>106</td></tr><tr><td>5.1.2 Objectives</td><td>107</td></tr><tr><td>5.2 Material and data</td><td>108</td></tr><tr><td>5.2.1 Specific multispectral dataset</td><td>108</td></tr><tr><td>5.2.2 Online image databases</td><td>109</td></tr><tr><td>5.3 Methodology</td><td>110</td></tr><tr><td>5.3.1 Proposed CNN architecture</td><td>110</td></tr><tr><td>5.3.2 Loss function</td><td>114</td></tr><tr><td>5.3.3 Refinement with vegetation mask and watershed</td><td>116</td></tr><tr><td>5.3.4 Training setup</td><td>117</td></tr><tr><td>5.3.5 Evaluation metrics</td><td>117</td></tr><tr><td>5.4 Results</td><td>117</td></tr><tr><td>5.4.1 Komatsuna dataset</td><td>117</td></tr><tr><td>5.4.2 Leaf Segmentation Challenge dataset</td><td>119</td></tr><tr><td>5.4.3 Airphen dataset</td><td>123</td></tr><tr><td>5.5 Discussion</td><td>125</td></tr><tr><td>5.6 Conclusion</td><td>126</td></tr><tr><td>5.7 Further research</td><td>127</td></tr><tr><td>5.8 Conclusion de chapitre</td><td>128</td></tr></table>

6 Extraction de propriétés 129

<table><tr><td>6.1 Introduction</td><td>131</td></tr><tr><td>6.2 Material and data</td><td>132</td></tr><tr><td>6.2.1 Experimental plot</td><td>132</td></tr><tr><td>6.2.2 Multispectral camera</td><td>133</td></tr><tr><td>6.2.3 Image acquisition and annotation</td><td>133</td></tr><tr><td>6.3 Methodology</td><td>134</td></tr><tr><td>6.3.1 Literature review</td><td>134</td></tr><tr><td>6.3.2 Optimization</td><td>139</td></tr><tr><td>6.3.3 Feature Selection</td><td>141</td></tr><tr><td>6.4 Results and Discussion</td><td>141</td></tr><tr><td>6.4.1 Feature optimisation</td><td>141</td></tr><tr><td>6.4.2 Feature selection by type</td><td>143</td></tr><tr><td>6.4.3 Best of all features</td><td>145</td></tr><tr><td>6.4.4 Visual results</td><td>146</td></tr><tr><td>6.5 Conclusion</td><td>148</td></tr><tr><td>6.6 Further research</td><td>149</td></tr><tr><td>6.7 Conclusion de chapitre</td><td>152</td></tr></table>

7 Conclusion Générale 153

<table><tr><td>7.1 Contributions</td><td>154</td></tr><tr><td>7.2 Perspectives</td><td>155</td></tr></table>
<figure><img src="image_3.png" /></figure>
# 1 Introduction

Ce chapitre présente les principaux modèles de production agricole et leurs évolutions. Il aborde dans une première partie les intérêts et limites de l'agriculture conventionnelle. Dans une seconde partie, il s'intéresse à la transition agroécologique et à l'agriculture de précision. L'intérêt des systèmes d'imagerie et des méthodes de traitement des données numériques sera notamment souligné.

## 1.1 Agriculture : un avènement

Apparue au Néolithique, l'agriculture a constamment évolué tout au long de l'histoire de l'humanité. Les premiers grands changements remontent à la moitié du XXe siècle où l'agriculture s'est considérablement modernisée. En effet, l'agriculture traditionnelle évolue vers une agriculture mécanisée grâce à l'essor des sciences et techniques telles que la mécanique, l'hydraulique et l'électrotechnique. Cette période s'inscrit dans un contexte global d'accélération de la démographie et de la consommation des ressources naturelles, c'est l'Anthropocène [Federau, 2016]. Elle est caractérisée par l'ensemble des événements géologiques qui se sont produits depuis que les activités humaines ont une incidence globale significative sur l'écosystème terrestre.

<figure><img src="image_4.png" /><figcaption>Figure 1.1 – L'Anthropocène</figcaption></figure>

La production agricole a été fortement accrue, mais le modèle actuel (i.e l'agriculture conventionnelle), soulève de nombreuses questions relatives à sa viabilité économique (prix de vente des productions, coût des intrants), à son impact sur la santé des consommateurs (qualités nutritionnelles des produits, résidus de pesticides) et à son empreinte environnementale [Loiret, 2016] (changement climatique, baisse de la biodiversité). La baisse des prix a également engendré une chute des salaires engendrant des conséquences sociales importantes, avec une baisse significative du nombre d'exploitants à travers le monde (suicide, non-reprise, ...) [Chau meal, 1939, Shiva and Jalees, 2006, Carles, 2007, Nagaraj, 2008, Bossard et al., 2016, Utyasheva et al., 2021]. Dans un souci d'augmenter la production, l'agriculture rurale évolue ainsi vers une production industrielle.

Les solutions étudiées visent à réduire les quantités globales d'intrants employées, et à en éliminer certains. La suite de ce chapitre s'intéresse aux scénarios d'évolution de notre écosystème et à la manière dont ils sont pris en compte par nos politiques publiques. Il détaille ensuite les modes de production usuels, puis s'intéresse aux limites de l'agriculture intensive et à la transition agroécologique.
### 1.1.1 Dynamique des systèmes

La dynamique des systèmes est une approche pour comprendre le comportement des systèmes complexes dans le temps [Keller, 2018]. Cette approche peut être utilisée par exemple pour modéliser les limites et vulnérabilités de notre système de production agricole. Pour cela, deux facteurs biophysiques sont utilisés : 1) **l'empreinte écologique**, c'est l'impact que les activités humaines ont sur l'environnement. Cet impact se divise en trois catégories (i) les ressources prélevées (ii) les pollutions et déchets rejetés et (iii) les dégradations infligées, 2) **la biocapacité**, c'est la capacité du système à (i) se régénérer lorsque l'on prélève une ressource (ii) absorber les déchets et pollutions (iii), à réparer les dégâts qui lui ont été infligés. La dynamique des systèmes formalise simplement que l'activité humaine « ne peut pas avoir une empreinte écologique qui dépasse durablement la biocapacité de la planète ». À partir de là, plusieurs scénarios peuvent être envisagés [Martino, 1973; Keller, 2018; Herrington, 2021] :

<figure><img src="image_5.png" /><figcaption>**Figure 1.2** – Dynamique des systèmes : les différents imaginaires possibles</figcaption></figure>

**Illimité** : Ce scénario est antérieur aux prises de conscience environnementale. La PAC de 1962, orientée vers l'augmentation, d'année en année, des productions agricoles en Europe, s'inscrit dans cette vision.

**Soutenable** : Postérieur aux prises de conscience environnementales, ce scénario considère une biocapacité limitée, mais suffisante pour absorber l'impact de l'activité humaine. Il en a résulté une modification de la PAC en 1999 avec l'apparition d'exigences environnementales devant permettre de rester en dessous de la limite de la biocapacité.

**Découplage** : Ce scénario, introduit une biocapacité fluctuante, et imagine des dépassements temporaires, avant une convergence progressive entre biocapacité et empreinte. Il s'accompagne d'un découplage de notre croissance économique et de l'empreinte écologique de nos modes de production. Il s'agit d'un modèle de développement durable envisagé par exemple lors des COP (Conference of the Parties), ou de la rédaction du protocole de Kyoto.

**Effondrement** : Il s'agit de la perte de la capacité du système à se régénérer. S'ensuit un effondrement de la biodiversité, puis de la production sur une très longue période entraînant une chute démographique brute. Les politiques évoquées précédemment visent à éviter ce scénario.

Aujourd'hui, nous savons que les deux premiers univers ne sont pas possibles puisque l'on a déjà dépassé la biocapacité de notre planète [Meadows et al., 1972, Day, 2017]. Et nous observons une baisse significative, aux niveaux mondiaux, de la capacité de production des sols, des ressources halieutiques, du nombre de pollinisateurs et la fonte des glacier d'altitudes [Perrier-Bruslé et al., 2013; Martin et al., 2017]. Il est donc urgent aujourd'hui de reconsidérer nos modes de production. Et plus largement les bases de notre économie qui représente un défi scientifique et technologique majeur [Carles, 2007; Aberkane, 2015; Jancovici, 2017].
1.1.2 Limites de l'agriculture intensive

1.1.2.1 Impact de la mécanisation

L'intensification de l'agriculture française se développe à partir de 1950 en France à travers
le plan Marshall. La mécanisation permet la réduction de la pénibilité du travail physique,
l'automatisation de certaines tâches quotidiennes et des débits de chantier élevés, permettant
un gain de productivité notable. Le gouvernement français, soutenu par la PAC, lance alors le
remembrement des terres agricoles peu avant 1970, pour faciliter l'usage des matériels agricoles
et la simplification des interventions culturales. On estime ainsi que 40% a 80% des bocages
ont disparu (figure 1.3), et le remembrement des terres agricoles continue au fil des générations.

(source : [Boissinot et al., 2014])

<figure><img src="image_6.png" /><figcaption>Figure 1.3 – Remembrement des terres agricoles</figcaption></figure>

Avec l'apparition de grandes terres agricoles, les besoins en équipements agricoles évoluent et des progrès techniques considérables y font leurs apparitions afin d'être de plus en plus compétitifs sur les marchés. L'intensification de nouvelles pratiques (labour profond, engrais chimiques) entraînent lentement une disparition de la matière organique des sols [Vitinnov et al., 2017] qui sert d'alimentation à la faune et flore des sols [Pujol, 2014] tel que les lombrics [Pelosi, 2008], les carabes [Carbonne, 2020] et les mycorhizes [Zerbib, 2018].

Ces pratiques intensives, mettent également les sols à nu, impliquant un phénomène de tasse-
ment et compactage des sols. Ce dernier freine le développement des racines et la pénétration de
l'eau dans les couches inférieures, utiles aux cultures, par exemple comme réserve d'eau en cas
de sécheresse ou le stockage de certains éléments comme l'azote et le carbone [dos Reis Martins
et al., 2009, Némery et al., 2016, Kan et al., 2020]. Puisque l'eau ne pénètre plus, elle ruisselle
en surface et « entraîne une acidification des sols par perte du calcium, lequel sert de pont
d'attache entre les argiles et les humus. Sans calcium, le complexe argilo-humique se détruit
et les argiles partent en suspension dans l'eau. Enfin, il y a l'érosion » [Anthony and Gratiot,
2012, Yousefi et al., 2016, Cossart and Fressard, 2019, Hinimbio, 2019, Kolli et al., 2021].

Ces deux facteurs menacent ainsi la durabilité de la production par une pollution envi-
ronnementale (eau, sol, air), un appauvrissement des sols et une réduction de la biodiversité.
Aujourd'hui un regain d'intérêt pour les bocages se fait ressentir, ainsi de nombreuses études
ont montré qu'à l'échelle du paysage, les habitats peu perturbés comme les haies ou les prairies
jouent un rôle important pour le maintien et le déplacement de certains auxiliaires, mais égale-
ment dans la gestion et le ralentissement du lessivage des sols. À contrario, les petites parcelles
qui n'ont pu être remembrées sont abandonnées dû à plusieurs facteurs, comme la pénibilité du
travail. Les parcelles abandonnées s'enfrichent [Pic et al., 2020] faisant temporairement office
de réserve à la bio-diversité. Après un certain temps, les friches tendent soit vers la forêt, soit
à la reprise, soit vers l'urbanisation en fonction des acteurs économiques à proximité.
### 1.1.2.2 Impact des intrants

Parallèlement au développement de la mécanisation, l'usage de la fertilisation chimique et des traitements phytopharmaceutiques se développe massivement, permettant d'augmenter des rendements et d'alimenter le marché mondial. Leurs utilisations deviennent nécessaires puisque les sols s'appauvrissent avec l'intensification. Lors de fortes pluies et du fait de la suppression des bocages, les polluants sont lessivés puis ruissellent vers les rivières [Tournebize, 2020, Pic et al., 2022]. C'est le cas des fertilisants, visible sur la figure 1.4 pour les excédents d'azote.

<figure><img src="image_7.png" /><figcaption>**Figure 1.4** – Excédent d'azote dans la majorités des cours d'eau en 2013</figcaption></figure>

L'excès de nutriments dans les rivières induit une prolifération d'algues et de cyanobactéries qui se développent en masse et entraînent à terme la limitation de la pénétration de la lumière dans la colonne d'eau (en particulier dans les barrages). Ensuite, les algues légèrement sous la surface meurent et tombent au fond entraînant une dégradation de matière organique consommant l'oxygène du milieu (désoxygénation), puis à terme l'asphyxie du milieu aquatique (mort des poissons). C'est l'eutrophisation des milieux aquatiques !

L'eutrophisation d'origine anthropique est donc due à l'intensification des modes de productions et l'usage de fortes doses. Le phénomène des algues vertes [Léraud and Van Hove, 2019], comme les Sargasses dans les Caraïbes [Louime et al., 2017] sont alimentées par 95% des nutriments azotés provenant de la lixiviation des terres agricoles et donc des fertilisants agricoles. De plus, dans le golfe du Mexique une immense « zone morte » grandit le long de la Louisiane et du Texas (estimée à 22 000 kilomètres carrés) provoquée par l'asphyxie, ici du Mississippi. Ces trois exemples importants sont visibles en figure 1.5.

<figure><img src="image_8.png" /><figcaption>**Figure 1.5** – Prolifération d'algues et asphyxie des milieux aquatiques</figcaption></figure>
Ces algues ont également des conséquences importantes sur la santé humaine. Les gaz émis par leur décomposition sont hautement toxiques (hydrogène sulfuré et ammoniac) dont leur inhalation peut entraîner la mort, plusieurs cas ont été reportés depuis 1984 en Bretagne. La loi sur l'eau et les milieux aquatiques du 30 décembre 2006 (LEMA) tente de limiter ces effets.

Comme nous l'avons vu pour les fertilisants, les pesticides sont également emportés par le lessivage des terres agricoles [Tournebize, 2020]. Un rapport du ministère de la Transition écologique et solidaire de juin 2017 fait état des pesticides présents sur presque tout le territoire français, mais à des concentrations variables (figure 1.6).

<figure><img src="image_9.png" /><figcaption>**Figure 1.6** – Presence de pesticide dans la majorités des cours d'eau en 2013</figcaption></figure>

Plusieurs publications ont mis en évidence les effets néfastes des pesticides sur l'environnement [McLaughlin and Mineau, 1995, Van Der Werf, 1997, Pesce et al., 2021] impliquant une dégradation des écosystèmes [Aubertot et al., 2005, Bianchi et al., 2006]. D'après [Geiger et al., 2010], sur les 13 composantes de l'intensification agricole qui ont été mesurées, l'utilisation d'insecticides et de fongicides a eu des effets négatifs constants sur la biodiversité. Il est important de noter que les pesticides sont généralement appliqués par pulvérisation, impliquant une forte volatilisation du produit, qui peut s'échelonner de quelques jours à plusieurs semaines. Engendrant un transfert de masse dans l'atmosphère [Bedos et al., 2002] et touchant donc des populations non-ciblées. Ceci implique des effets collatéraux, importants, sur la diversité des espèces de plantes sauvages, de carabes et d'oiseaux [Geiger et al., 2010], et donc sur le potentiel de lutte biologique contre les ravageurs. Les populations d'invertébrés sont également touchées [Beketov et al., 2013, Grozinger and Flenniken, 2019, Wood et al., 2020].

Concernant les espèces humaines et animales, l'exemple de l'utilisation du Chlordécone, pesticide utilisé dans les Antilles Françaises, pour traiter les plants de bananes, a montré un impact négatif [Dubuisson et al., 2007, Maudouit and Rochoy, 2019]. Les conséquences possibles à long terme continuent d'être étudiées, car le Chlordécone contamine encore les sols des Caraïbes. Les effets d'une exposition aiguë sont bien décrits, en revanche les effets à des doses plus diffuses se précisent, même s'ils restent complexes à identifier.

Face à ces éléments (engrais, pesticides, pratiques intensives, ...), « il est clair que nous devons trouver des solutions techniques afin de maximiser l'intégrité de l'écosystème et le bien-être de l'homme sans affecter notre avenir » [Dufour and Piégay, 2009].
### 1.1.3 Modes de production

Actuellement, l'agriculture dite "conventionnelle" constitue le mode de production de référence des sociétés industrielles. Elle a recours à divers intrants chimiques de synthèse [Kisinyo et al., 2011] pour maintenir l'état sanitaire de la culture face aux différents stress biotiques [Pandey et al., 2017] et abiotiques [Cramer et al., 2011] qu'elle peut subir. Face aux préoccupations environnementales, mais également pour répondre aux attentes des consommateurs (en termes de risque sanitaire [Nougadère et al., 2015] et de qualité nutritive des aliments), différentes évolutions ont été envisagées pour l'agriculture conventionnelle, et des modes de production alternatifs ont été définis, dont les principaux sont :

**Agriculture durable** : Dérivée de l'agriculture conventionnelle, c'est une agriculture extensive qui s'inscrit dans les perspectives ouvertes par le développement durable défini en 1992 à Rio<fnref n="1" />. Ce type d'agriculture vise à « répondre aux besoins du présent sans compromettre la capacité des générations futures à répondre à leurs propres besoins ». Il s'agit donc de moduler nos productions pour concilier les dimensions écologiques, économiques et sociales. Ce concept n'est pas appuyé par une législation précise.

**Agriculture biologique** : Il s'agit du mode de production alternatif le plus connu. Son objectif est d'intégrer un ensemble de pratiques agricoles plus respectueuses des équilibres écologiques, du bien-être des animaux et de l'autonomie des agriculteurs. Cette agriculture a pour particularité d'exclure l'usage des produits chimiques de synthèse [Wintermantel et al., 2020], des OGM [Bagnoud and Recordon, 2020] et limite l'emploi d'intrants [Etter et al., 2011]. Les produits issus de ce mode de production font l'objet d'une certification (variable en fonction de l'origine du produit).

**Permaculture** : La permaculture est un ensemble de principes de conception centrés sur une pensée systémique globale au sein d'une petite surface. Ce mode de production se rapproche de l'agriculture biologique, mais conçoit son système autour de l'agriculteur, de la famille et de l'habitat. L'exploitation est alors divisée en plusieurs zones fournissant des services différents (jardin annuel, jardin permanent, verger, fourrages, forêt). La permaculture prend également écho dans le domaine des semences libres et paysannes [Shiva, 2005, Mésini, 2006, Zerbib, 2018, El Amine et al., 2018]. En Autriche, le Krameterhof [Holzer, 2011], la ferme du Bec Hellouin en France [Mésini, 2006] et Fukuoka au Japon [Fukuoka, 1983] sont les exemples les plus connus.

<footnote n="1">1. https://fr.wikipedia.org/wiki/Agenda_21</footnote>
1.1.4 Transition agroécologique

Les modes de production alternatifs précédemment énoncés ont pour but de répondre à
ces problématiques, tout en satisfaisant les besoins alimentaires des populations. Néanmoins,
à l'exception de la permaculture, ces alternatives commencent à avoir recours aux fertilisants
pour augmenter les rendements et ainsi répondre à la demande des consommateurs. Certains
équilibres peuvent s'avérer difficiles à trouver, entre production et écologie, notamment pour ce
qui concerne la gestion des adventices [Bajwa et al., 2019]. Un recours au labour retarde la levée
des adventices, mais s'avère préjudiciable à la vie biologique des sols [Lemtiri et al., 2016]. Les
approches dites de conservation (abondon du travail du sol profond, couverture permanente du
sol, allongement des rotation) reposent sur l'usage d'herbicides de synthèse, qui ont un impact
négatif sur les milieux naturels et la santé des consommateurs (comme vu dans la partie 1.1.2)
mais permettent de diminuer le compactage des sols. Pour définir une agriculture plus respec-
tueuse de l'environnement, d'autres approches existent comme l'agroécologie et l'agriculture de
précision.

**L'agroécologie** vise à développer une agriculture durable, en considérant les parcelles agricoles comme des agroécosystèmes. Elle s'appuie fortement sur l'utilisation de services écosystémiques [Altieri, 1999, Lamarque et al., 2014, Perrette, 2018, Lefloch, 2018, Altieri, 2018, Haan et al., 2021]. Elle étudie pour cela les interactions au sein de ces écosystèmes (plantes-plantes et plantes-microorganismes) à différents niveaux d'intégration (de la molécule à la communauté) et d'échelles spatio-temporelles (microcosme, parcelle, paysage, cycle de culture, rotation, ...).

L'Agriculture de précision se focalise sur l'utilisation de nouvelles technologies et outils nu-
mériques, qui permettent de recueillir des informations intra-parcellaires géo-référencées. La
parcelle n'est plus considérée comme une entité homogène, mais présente une variabilité impor-
tante qui peut être mesurée et cartographiée. Grâce à un suivi régulier, l'agriculteur a alors les
moyens de piloter ses interventions localement, et de réduire ses doses d'intrants chimiques (en-
grais, produits phytosanitaires) grâce à des machines dotées d'automatismes. L'agriculture de
précision peut être une approche pour le développement de systèmes de culture à bas intrants
et l'application de nouveaux produits de traitement (tels que les produits de bio-contrôle). À
ce titre, elle constitue un levier pour la transition agroécologique.

Plusieurs approches co-existent donc, entre culture en équilibre avec son environnement, et approche technologique visant à maîtriser les volumes d'intrants. Cette thèse s'intéresse à l'agriculture de précision telle qu'étudiée par l'UMR 1347 Agroécologie, promue par les plans Ecophyto et repose sur une gestion localisée des adventices, pour une transition agroécologique.
### 1.2 Agriculture de précision

Le concept d'agriculture de précision est apparu dans les années 80 aux États-Unis, avec la naissance des systèmes de localisation par satellite (GPS/GNSS), avec comme première application la modulation de la fertilisation en fonction des besoins des cultures [Robert, 2002]. [McBratney et al., 2005, Taylor and Whelan, 2005] définissent le concept d'agriculture de précision comme la mise en place d'une stratégie de gestion de l'ensemble de l'exploitation s'appuyant sur les technologies de l'information dans le but d'améliorer la production agricole tout en limitant l'impact environnemental. Pour ce faire, l'agriculture de précision se base sur l'étude de la variabilité intra-parcellaire, que ce soit au niveau spatial ou temporel [Pierce and Nowak, 1999]. En 2019, la communauté scientifique internationale en agriculture de précision (ISPA) s'est de nouveau concertée pour proposer une nouvelle définition du terme agriculture de précision :

> « Precision Agriculture is a management strategy that gathers, processes and analyzes temporal, spatial and individual data and combines it with other information to support management decisions according to estimated variability for improved resource use efficiency, productivity, quality, profitability and sustainability of agricultural production »

Les technologies de l'information occupent une place fondamentale dans l'agriculture de précision [Lherbier, 2005]. La gestion localisée des parcelles peut être représentée par un cycle composé de 4 étapes (figure 1.7) : (i) l'observation des parcelles (collecte de données), (ii) la caractérisation des parcelles (traitement des données), (iii) la préconisation (prise de décision) et (iv) l'action (application au champ). Le géo-référencement (association de coordonnées géographiques aux objets étudiés) relie ces étapes entre elles.

<figure><img src="image_10.png" /><figcaption>**Figure 1.7** – Cycle de l'agriculture de précision composé de 4 étapes</figcaption></figure>

Ainsi, l'agriculture de précision, par le biais des nouvelles technologies [Martos et al., 2021], propose par exemple une gestion intra-parcellaire de la fertilisation des cultures ou encore une gestion spécifique (SSWM Site-Specific Weed Management [López-Granados, 2011]) de la flore adventice au plus près grâce à des systèmes de très haute précision. Les données de la parcelle sont acquises régulièrement permettant également d'utiliser des modèles agronomiques afin de proposer des prédictions pour anticiper la gestion d'une parcelle (prévision de la croissance des adventices [McAllister et al., 2021]). De plus le géo-référencement de l'information et l'utilisation de GPS haute précision, permet un guidage automatique pour moduler les doses en fonction de la variabilité spatiale [Perez-Ruiz et al., 2021].
1.2.1 La télédétection au service de l'agriculture de précision

La photogrammétrie aérienne fait son apparition en 1919. Des applications agricoles sont
rapidement envisagées, notamment en sylviculture. En 1929, au Canada, cette technologie per-
met notamment, de comptabiliser le nombre d'arbres plus rapidement qu'avec un comptage au
sol et plus précisément qu'avec une estimation basée sur la surface d'exploitation. Par la suite,
le développement de la stéréo-photogrammétrie permet de reconstruire de larges zones d'obser-
vations, des courbes de niveau des terrains, et cela, avec une précision métrique. Les possibilités
se sont enrichies au fil des années avec le développement des appareils photo numériques et de
l'imagerie satellitaire à travers la télédétection :

— En 1962 l'US Air Force développe et lance KH-4. Deux caméras sont embarquées qui permettent de réaliser des images tridimensionnelles avec une résolution spatiale de 60 mètres.

— En 1972 les États-Unis lancent le programme Landsat ses premiers objectifs étaient l'éva-
luation des volumes de récolte céréalières en URSS et aux États-Unis afin d'anticiper
l'évolution des cours. Le dernier, Landsat 9, a été lancé le 27 septembre 2021.

— En 2002, c'est au tour de agence spatiale européenne de lancer son propre satellite d'ob-
servation ENVISAT (ENVIronment SATellite) dont l'objectif est de mesurer de manière
continue à différentes échelles les principaux paramètres environnementaux de la Terre
relatifs à l'atmosphère, l'océan, les terres émergées et les glaces. C'est aussi le début de
l'utilisation de la spectro-radiométrie permettant d'obtenir des images hyperspectrales.

— En 2014, c'est le programme Copernicus avec les satellites Sentinel, lancé en Europe. L'accès aux données des satellites est libre et gratuit. Le premier modèle fourni des images à 10 mètres de résolution sur plusieurs bandes spectrales. Ces très hautes résolutions permettent d'échantillonner et d'estimer différents indices sur de larges zones agricoles. Le programme Copernicus est prévu jusqu'en 2029.

Parallèlement à l'imagerie satellite, le développement de drones aériens pour l'observation a été initié pour des usages militaires. C'est dans les années 2000 que les premiers usages agricoles des drones font leurs apparitions, dont le gain en autonomie, précision, résolution (<10 cm) et temps d'acquisition sont bien plus compétitifs que les satellites, en particulier a l'échelle de la parcelle [Lherbier, 2005, Bossu, 2007, Koot, 2014, Pretto et al., 2019]. La Figure 1.8 montre l'évolution de la résolution spatiale.

<figure><img src="image_11.png" /><figcaption>**Figure 1.8** – Évolution de la résolution spatiale</figcaption></figure>

Les recherches en cours tendent à ajouter un degré de précision supplémentaire allant jusqu'à une résolution millimétrique. Là où les satellites et les drones aériens présentent une résolution insuffisante, ces travaux se concentrent sur le développement de l'imagerie de proxi-détection, embarquée sur machines agricoles usuelles ou sur drones terrestres [Machleb et al., 2020].
**Apport de la géomatique** Avec l'apparition de l'informatique, c'est dans les années 1960 que la géomatique fait son entrée et que le premier véritable SIG opérationnel est conçu à Ottawa, au Canada par le ministère des forêts. Afin d'obtenir des informations sur géographiques les sols, l'agriculture, la faune, la flore, et la sylviculture. La géomatique appuyée par des observations agronomiques permet de définir de premiers leviers d'intervention pour l'agriculteur [Lherbier, 2005]. La géomatique, c'est avant tout une méthodologie, en trois points :

1. **L'observation** qui consiste à mettre en évidence et à caractériser la variabilité spatiale inter-parcellaire. Cela consiste à collecter de l'information sur le milieu et les plantes pour mieux connaître les hétérogénéités et les échanges.

2. **L'analyse** des données pour comprendre cette variabilité, étudier l'influence de différents facteurs sur une variable et l'étude des impacts de cette variabilité sur l'opération culturale à réaliser afin d'établir les incidences économiques et environnementales.

3. **L'action**, c'est définir avec l'agriculteur les moyens d'action et moduler ces pratiques en fonction de l'itinéraire technique qu'il souhaite mettre en œuvre.

La géomatique, travail donc a l'échelle du territoire (bassin versant, vallée, région, ...), c'est-à-dire les interactions entre différentes parcelles et les mouvements de flux tels que les polluants, les sédiments ou autres. Tous ces facteurs ont un rôle important à ces grandes échelles par exemple sur les rendements et la biodiversité comme nous l'avons vus précédemment. Ainsi des modèles d'agencement sont modélisables (figure 1.9) permettant d'optimiser les rendements à l'échelle du territoire [Caquet et al., 2020].

<figure><img src="image_12.png" /><figcaption>**Figure 1.9** – Simulation de l'agencement spatial de paysages</figcaption></figure>

En augmentant la résolution de ces observations, des modèles de simulation des interactions entrent les plantes ont commencé à voir le jour pour montrer l'influence de différents facteurs sur l'ensemble du système (itinéraire technique, adventice, ...) à l'échelle de la parcelle, tel-que FLORSYS [Colbach et al., 2021]. Ces méthodes ont donc permis de passer d'une gestion des doses (intrant, phytosanitaire, ...) de l'exploitation (homogène et uniforme), à un traitement des zones "dégradées" de la parcelle après analyse [Lherbier, 2005].
1.2.2 Vers une agriculture numérique

Parallèlement au développement de l'agriculture de précision, de nouvelles technologies ont récemment émergé : réseaux de télécommunication, internet des objets [Tang et al., 2021], fouille de données, apprentissage profond et intelligence artificielle . L'utilisation et le couplage de l'ensemble de ces outils numériques conduit à l'émergence d'un nouveau domaine : l'agriculture numérique [Birner et al., 2021]. Les applications envisagées reposent sur l'utilisation de multiples capteurs qui peuvent être embarqués dans plusieurs drones [Pretto et al., 2019]. Ainsi, un drone terrestre peut être piloté à partir d'images acquises par des drones aériens. (figure 1.10). Une communication entre modules est alors nécessaire.

<figure><img src="image_13.png" /><figcaption>Figure 1.10 – Concept de projet en agriculture numérique</figcaption></figure>

L'ensemble des informations collectées permettent de constituer des outils d'aide à la dé-
cision pour accompagner les agriculteurs dans leurs interventions sur les parcelles en temps
réel [Bellon-Maurel and Huyghe, 2019, Saddik et al., 2022]. Il est ainsi possible d'envisager :
d'identifier des plantes au champs (espèce, stade de développement), d'appliquer des produits
phytosanitaires au plus près des cultures, ou d'éliminer les plantes indésirables tout en préser-
vant les plantes présentant des services écosystémiques [Green et al., 2021].

Lien avec l'agroécologie : L'agriculture de précision, et par extension l'agriculture numérique peuvent permettre de réduire l'impact environnemental des différents traitements précédemment présentés (herbicides, fongicides, insecticides, fertilisants, ...), en diminuant les surfaces traitées et les doses appliquées. Les problématiques liées au tassement des sols seront grandement amoindries, puisque ce type d'approche peut être embarqué sur de "petits" robots autonomes, plus légers. Malgré tout, ces approches restent pour l'instant hyper-spécialisées et ne laissent donc que peu de place à l'hétérogénéité des cultures, ce qui implique que les processus agroécologiques (interactions biotiques, services écosystémiques) ne sont pas encore mobilisables [Caquet et al., 2020, p. 81].

**Phénotypage** : A contrario cette hyper-spécialisation n'est pas un frein dans le domaine du phénotypage à haut débit. Cela permet d'accélérer les progrès dans la sélection des variétés [Cabrera-Bosquet et al., 2012], pour répondre aux attentes des différents acteurs en augmentant la rapidité d'acquisition des mesures, qui sont de plus non-destructives [Jiang and Li, 2020]. C'est le cas par exemple de la culture d'igname, dont le manque de variétés améliorées sur le rendement et les attributs de qualité, entraînent un déclin de la filière aux Antilles et freinent l'adoption de nouvelles variétés en Afrique de l'Ouest. L'objectif est de quantifier le rendement par la dynamique de recouvrement, la qualité "subjective" est associée à la couleur de la chair des tubercules et son oxydation dans le temps. La qualité nutritionnelle des produits à base d'igname, peut être déterminée par la taille et la forme des grains d'amidon, en utilisant l'analyse d'image [Mell, 2018, CORNET et al., 2018].
1.3 Le désherbage

1.3.1 Place des adventices dans les systèmes de culture

Les adventices sont des plantes, non désirées ni semées par l'agriculteur, se développant naturellement dans un système de culture (ou agrosystème). En fonction du mode de production, les adventices font l'objet d'une attention particulière. Nous resterons à partir de maintenant dans le cadre de l'agriculture conventionnelle et de l'agriculture de précision.

Dans ce contexte, depuis le début du XXe siècle, les adventices sont considérées comme indésirables car responsables de la perte de rendement et de qualité [Cordeau et al., 2016]. On parle dans ce cas, de nuisibilité primaire [Caussanel, 1989]. Elle se mesure avec le nombre de pieds d'adventices par m² qui occasionne une baisse de rendement de 5 % en système conventionnel. Cependant, ce paramètre de densité de plantes a été remis en cause, car il ne prend pas en compte le stade de la végétation. C'est pourquoi de nouveaux paramètres ont été proposés comme le ratio de biomasse entre adventices et cultures (BMw/BMc), ou en étudiant le rapport des surfaces foliaires, plus simple à caractériser par des méthodes non-destructives [Gée et al., 2021]. La nuisibilité secondaire concerne les conséquences engendrées sur la parcelle sur le long terme (stock semencier, salissement, etc).

Pour acquérir une compréhension fiable des risques de réduction des récoltes dans le temps,
des expériences acquises localement dans des conditions comparables sur 110 essais de contrôle
des adventices ont été menées en France entre 1993 et 2015 sur trois grandes cultures annuelles
(blé tendre, colza et tournesol). Des réductions de 25 q/ha, 4 q/ha et 3.5 q/ha ont respecti-
vement été observées [Cordeau et al., 2016]. Les adventices rivalisent donc avec leurs plantes
voisines par une concurrence accrue pour les nutriments (azote, potasse, phosphore), la lumière
et l'eau. La nuisibilité des adventices reste un sujet d'étude par la communauté scientifique.
Comprendre la compétition des adventices avec la culture pour les ressources du milieu (lu-
mière, eau, nutriments, ...) est très complexe du fait d'une interaction multi-spécifique et qui
dépendra du stade de développement des plantes [Morison et al., 2008, Colbach et al., 2021].
Toutefois, d'autres études, suggèrent qu'il existe un manque de connaissances concernant la
"réelle" nuisibilité pour les cultures [Bendaoud, 2020, Jouan et al., 2022].

A travers cette complexité, la conséquence pratique d'une telle gestion devient donc pour les agriculteurs de trouver des solutions globales simples et pratiques de mise en œuvre ; c'est ce que la chimie de synthèse a pu apporter avec des herbicides systémiques (à large spectre) ou spécifiques (pour une espèce particulière). Cependant, certaines adventices offrent par exemple des services écosystémiques (figure 1.11), d'autres sont comestibles (figure 1.12) et enfin certaines sont plus ou moins "toxiques", mais peuvent trouver des usages médicinaux (figure 1.13).
<figure><img src="image_14.png" /><figcaption>**Figure 1.11** – Plantes bio-indicatrices, fixatrices et symbiotiques</figcaption></figure>

Certaines adventices aident par exemple, à la structuration du sol, à la réduction des phénomènes érosifs, à l'absorption des excédents de fertilisation et sont des indicateurs d'un état particulier du milieu comme le plantain. D'autres permettent la fixation de l'azote tels que les bryophytes et des champignons augmentant significativement les rendements avec les mycorhizes [Zerbib, 2018]. Elles participent également à la diversité écologique du milieu en servant de refuge et en pourvoyant des ressources alimentaires (pollen, nectar) aux auxiliaires des cultures [Schaub, 2010, Morison et al., 2008].

<figure><img src="image_15.png" /><figcaption>**Figure 1.12** – Adventices comestibles</figcaption></figure>

Certaines sont également comestibles et des phénomènes de résistance aux herbicides ont commencé à émerger. C'est le cas du coquelicot en France et de l'amarante aux USA due à la sur-utilisation d'herbicide et entraînant des mutations.

<figure><img src="image_16.png" /><figcaption>**Figure 1.13** – Adventices parasite, psychotrope et médicinal</figcaption></figure>

Certaines adventices ont toutefois des inconvénients importants. C'est le cas de l'orobanche, une plante parasite qui utilise les nutriments de l'hôte, du stramoine plante chamanique fortement présente dans le maïs et qui provoque des délires. Ainsi que de la digitale qui est une plante médicinale à très faible dose.
1.3.2 La biologie des adventices

La connaissance de la biologie des adventices est essentielle pour mettre en œuvre des stratégies de désherbage. Ceci est d'autant plus important pour les systèmes d'agriculture biologique où l'utilisation d'herbicides est interdite. Parmi les principales notions à connaître sur les adventices, il y a : la profondeur de germination (figure 1.14), l'époque préférentielle de germination (figure 1.15) et le taux annuel de décroissance (figure 1.16) de ces adventices.

<figure><img src="image_17.png" /><figcaption>**Figure 1.14** – Profondeur de germination en fonction de la masse des graines</figcaption></figure>

Aussi, les adventices se caractérisent par une profondeur de germination préférentielle. Pour la plupart d'entre elles, la germination se produit principalement à une profondeur de moins de 5 cm. La plupart des semences sont incapables de germer au-delà de 10 cm de profondeur. Donc enfouir les graines en profondeur par le labour permet d'empêcher leurs levées, même si elles ont tendance à se conserver plus longtemps. Il y a cependant quelques exceptions, comme la folle avoine, une espèce à grosses graines qui peut germer au-delà de 10 cm.

<figure><img src="image_18.png" /><figcaption>**Figure 1.15** – Période préférentielle de germination de certaines adventices</figcaption></figure>
Les adventices annuelles se caractérisent aussi par leur période de germination. Certaines adventices apparaissent sur une période relativement courte (Vulpinia, qui apparaît en automne et en hiver) ou, à l'inverse, sur une longue période, voire toute l'année (pâturin annuel). La concentration des plantations sur une période de temps limitée conduit à une spécialisation de la flore. Par exemple, les systèmes dominés par les cultures d'hiver (colza-blé) favorisent le développement des adventices d'automne-hiver comme Vulpinia.

<figure><img src="image_19.png" /><figcaption>**Figure 1.16** – Taux annuel de décroissance du stock semencier des adventices</figcaption></figure>

Finalement, il y a le Taux Annuel de Décroissance (TAD) qui correspond au pourcentage de graines qui disparaissent d'une année à l'autre. Il montre l'évolution de la viabilité des graines d'adventices dans le sol. Le nombre de graines viables diminue chaque année proportionnellement à la valeur TAD. Plus le TAD est élevé, plus la durée de vie des semences est courte. Les adventices à faible TAD sont plus difficiles à contrôler, car le labour est beaucoup moins efficace pour lutter contre ce type d'adventices, puisqu'elles seront encore capables de germer lors du prochain labour. La plupart des graminées ont un TAD élevé, tandis que les graines des dicotylédones telles que le coquelicot, le chénopode ou la renouée ont une durée de vie assez longue. Ainsi, la durée de vie des graines est très variable d'une espèce à l'autre. Les graines des adventices céréalières ont une durée de vie exceptionnellement longue. Certaines on pu germer après 1700 ans [Wesson and Wareing, 1967].
1.3.3 Fenêtres de traitement

Les moments de gestion des adventices peuvent être définis par cinq "fenêtres d'opportunité", déterminées par le cycle de la culture semée (Figure 1.17) et le stade de vie des adventices [Storkey et al., 2021]. (fenêtre 1) Avant le semis d'une culture, les herbicides non-sélectifs et le travail du sol peuvent être utilisés pour contrôler les adventices dans le stock semencier ou les plantules émergentes. (fenêtre 2) Après le semis, mais avant l'émergence de la culture, des herbicides de pré-émergence (PRE-herbicides), des cultures de couverture ou le paillage peuvent être utilisés pour contrôler sélectivement la levée des adventices. (fenêtre 3). Les herbicides sélectifs et la lutte mécanique contre les adventices peuvent être utilisés lorsque les plantules sont suffisamment petites pour être contrôlées et avant qu'elles ne commencent à concurrencer la culture (fenêtre 4). Une fois que les adventices commencent à se disputer les ressources, l'augmentation de la compétitivité du couvert végétal peut engendrer des pertes de rendement et le retour des graines d'adventices. Enfin, les progrès récents dans le contrôle des graines des adventices après la récolte ont également soulevés la possibilité de réduire les populations d'adventices en détruisant les graines fraîches (fenêtre 5).

<figure><img src="image_20.png" /><figcaption>Figure 1.17 – Illustration de cinq fenêtres d'opportunité pour la gestion des adventices</figcaption></figure>

Les solutions de gestion reposent donc sur une connaissance approfondie du cycle de développement et cycle de reproduction [Chauvel et al., 2018]. La rotation des cultures, le désherbage, le travail du sol et les mesures préventives sont les seuls leviers d'influence sur les populations d'adventices des parcelles. Néanmoins, les solutions de gestion des adventices favorisent les espèces qui ont le même cycle de développement et les mêmes caractéristiques (monocotylédone ou dicotylédone) que les cultures. À travers cette thèse, nous proposons un axe de recherche permettant la réduction des produits phytosanitaires. Plus spécifiquement, dans le cadre du Challenge RoSE, nous nous intéressons aux stades de développement les plus précoces des adventices, afin d'en limiter leur développement (fenêtre 1 et 2).

Ainsi, selon les systèmes de culture étudiés, il pourrait être intéressant d'arriver à identifier
les espèces les plus nuisibles, leurs périodes de levées préférentielles pour identifier celles qui
vont se reproduire le plus vite pour mieux les contrôler.
1.3.4 Les technologies de désherbage actuelles

Le pulvérisateur est la principale machine agricole utilisée pour le désherbage chimique. Ce dernier se compose d'une cuve, qui contient la bouillie (mélange eau+produit phytosanitaire) à appliquer ainsi que le système de mise sous pression du fluide, et d'une rampe d'épandage dont la bouillie sous pression circule vers les buses qui vont fragmenter le jet en gouttelettes (figure 1.18). Un système de régulation permet à chaque instant de contrôler le débit de pulvérisation selon l'avancement de la machine pour maîtriser le volume de bouillie épandu par hectare.

<figure><img src="image_21.png" /><figcaption>**Figure 1.18 –** Exemple de pulvérisateurs</figcaption></figure>

Le choix des buses dépend de différents facteurs tels que, la viscosité du fluide, la pression, le débit, la vitesse de pulvérisation, la taille des gouttelettes et la dérive en fonction de la couverture souhaitée (figure 1.19). À noter le développement de buses anti-dérive à injection d'air, permettant de créer des gouttelettes plus grosses, et donc moins sensibles à la dérive [Vulgarakis Minov, 2015]. Leur utilisation permet de réduire la largeur des zones non traitées en bordure des points d'eau (de 20 cm ou 50 cm à 5 m) et, sous certaines conditions, les distances non traitées à respecter vis-à-vis des riverains.

<figure><img src="image_22.png" /><figcaption>**Figure 1.19 –** Différentes formes de buses associées</figcaption></figure>

Appuyés par les GPS/GNSS et la géomatique, les systèmes de pulvérisation se sont grandement améliorés afin de prendre en compte la variabilité spatiale. Ainsi, après l'observation et l'analyse des données du champ, une carte géoréférencée (dite de préconisation) est embarquée sur le pulvérisateur permettant d'agir (ON/OFF) localement grâce à des électrovannes installées sur les rampes. Ces dernières sont commandées par un ordinateur intégré (ou terminal isobus) et une communication ISOBUS : c'est ce que l'on appelle la coupure de tronçon. Permettant ainsi d'ouvrir ou non toutes les buses sans modulation. Depuis, il est possible de faire une commutation sur un porte-buse type quadri jet avec une coupure électrique permettant d'intégrer la coupure individuelle de la buse. Enfin, de nouvelles buses à pulsation (reposant sur la technologie Pulse-Width Modulation) ont fait leur apparition, permettant de faciliter le traitement localisé pour aller vers une modulation de dose.
Dans la même lignée de technologie de traitement que la pulvérisation, les systèmes de pulvérisation ponctuelle (spot spraying) ont fait leur apparition. Ce sont des appareils, permettent de traiter “uniquement” l’inter-rang (tels que le WeedSeeker ou le Weed-It). Le dispositif attached à la rampe de pulvérisation (visible en rouge sur la figure 1.20), permet de détecter la présence de végétation grâce à une photodiode et l’utilisation d’indice de végétation (présentés en section 2.2.3). Lorsque de la végétation est détectée, l’électrovanne la plus proche est ouverte afin de traiter uniquement la plante. Cette solution, bien que limitée à l’inter-rang ou aux sols nus, permet de considérablement réduire l’utilisation des intrants.

<figure><img src="image_23.png" /><figcaption>**Figure 1.20 – Présentation du WeedSeeker en viticulture**</figcaption></figure>

Dans l'optique de s'affranchir des herbicides, il faut s'intéresser à des solutions alternatives de désherbage. Il existe trois grandes catégories, présentées sur la figure 1.21. Par exemple (a) les solutions dites mécaniques, tel-que la houe rotative, va simplement arracher les plantes émergentes. Similaires aux solutions de pulvérisation, les solutions thermiques (b) utilisent des combustibles fossiles, tel que le gaz pour brûler les adventices. Finalement, la dernière alternative (c) est le recours à l'électrique, des bandes conductrices sont appliquées au sol dans l'inter-rang. La capacité à désherber sans herbicide, permet de s'affranchir de l'apparition de résistance chez les adventices ainsi que des problèmes environnementaux liées à leur utilisation.

<figure><img src="image_24.png" /><figcaption>(a) Houe rotative</figcaption></figure>

<figure><img src="image_25.png" /><figcaption>(b) Gaz</figcaption></figure>

<figure><img src="image_26.png" /><figcaption>(c) Électrique</figcaption></figure>

<caption>**Figure 1.21 – Exemples de méthodes alternatives de désherbage**</caption>

Actuellement, ces méthodes reposent essentiellement sur un traitement de l'inter-rang. Pour aller plus loin, les recherches actuelles, basées sur du traitement de l'image visent à détecter les plantes dans l'intra-rang. Ces méthodes sont exposées dans la section suivante.
1.3.5 Les technologies de désherbage en développement

La recherche actuelle rentre davantage dans le cadre de l'agriculture numérique et les concepts sont nombreux [Korres et al., 2019, van Mourik et al., 2021, Kakamoukas et al., 2021]. Ainsi, une présentation exhaustive des différentes possibilités ne sera pas faite et le focus sera fait au-tour du Challenge ROSE. L'objectif du challenge est d'inciter à la collaboration entre équipes de recherche et industries. Ainsi différents consortiums ont été regroupés pour évaluer leurs performances respectives. Quatre consortiums ont été sélectionnés (figure 1.22).

<figure><img src="image_27.png" /><figcaption>**Figure 1.22** – Les différents consortiums de l'ANR Challenge ROSE</figcaption></figure>

Chacun de ces consortiums propose des solutions techniques avec leurs outils respectifs (figure 1.22) dans une ou plusieurs étapes (i) détection des plantes, (ii) interprétation : culture ou adventices ? (iii) décision : faut-t-il traiter ? et (iv) action : mécanique, chimique, thermique ou électrique. Une brève présentation pour chacun d'entre eux est faite ci-dessous.

**Solution BIP BIP** : Le consortium BIP-BIP, pour Bloc-outil et Imagerie de Précision pour le Binage Intra-rang Précoce, propose « de développer une solution mécanique pour le désherbage de cultures maraîchères et de grandes cultures au stade précoce. Cette solution repose sur un module de binage autoguidé par imagerie et télémétrie, couvrant un rang de culture. Le module s'appuie sur un système de vision fournissant la position des cultures et adventices transmise à un système décisionnel contrôlant le dispositif mécanique réalisant le binage proprement dit ». Le module est donc composé d'une caméra, d'une unité de calcul et d'un doigt mécanique qui est actionné au besoin en évitant les cultures. Ce dernier gratte la surface du sol permettant d'éliminer les adventices émergentes (figure 1.23).

<figure><img src="image_28.png" /><figcaption>**Figure 1.23** – Module de désherbage BIP-BIP</figcaption></figure>
**Solution PEAD** : Ce consortium propose de gérer les tâches “action - interprétation” grâce à une caméra hyperspectrale spécifique développée par Carbon Bee. Des solutions de vision informatique basées sur l'intelligence artificielle ainsi que des systèmes d'imagerie hyperspectrale sont mis en œuvre. Les applications se déclinent aujourd'hui dans l'agriculture de précision permettant la détection précoce de stress et maladie dans les cultures ainsi que les adventices. La solution repose sur trois modules, une caméra, un contrôleur et un afficheur (figure 1.24)

<figure><img src="image_29.png" /><figcaption>**Figure 1.24** – Les trois modules CarbonBee (caméra hyperspectrale, contrôleur, afficheur)</figcaption></figure>

**Solution WeedElec** : La solution WeedElec repose également sur du deep-learning pour les taches “détection/décision”. Ils sont innovateurs sur deux aspects : (i) ils s'appuient sur de la robotique à faible consommation énergétique et légère, leur permettant d'être autonomes en énergie grâce à un panneau solaire et (ii) leurs méthodes d'action s'appuient sur des décharges électriques, une électrode est téléguidée grâce à un bras robotisé (figure 1.25). Cette solution permet la modulation de l'intervention de manière extrêmement précise, puisque en fonction de la taille de l'adventice visée et de la force du choc électrique, l'impact sur cette dernière est différent : entre ralentissement de la croissance et brûlure.

<figure><img src="image_30.png" /><figcaption>**Figure 1.25** – Électrode téléguidée par le bras robotique</figcaption></figure>

**Solution Roseau** : Le projet ROSEAU vise à développer des outils qui interviennent sur trois composantes (perception/décision/action) via des couches de décision à plusieurs niveaux, allant du réflexe (temps-réel) aux réflexions élaborées (pouvant prendre plusieurs heures). Les différentes couches s'appuient sur des données à différentes échelles spatio-spectro-temporelles (depuis un drone et depuis un robot mobile terrestre) en provenance de caméras sensibles aux domaine du visible et de l'infrarouge. Après la prise de décision le traitement est assuré par un module spécifique, qui correspond actuellement à une roue de binage (figure 1.26).

<figure><img src="image_31.png" /><figcaption>**Figure 1.26** – Outil de binage ROSEAU</figcaption></figure>
**1.4 Conclusion de chapitre**

Comme nous l'avons vu, d'étroites relations existent entre les différents domaines liés à l'agriculture [Dainese and Martin, 2019] : la richesse des écosystèmes, la simplification des structures paysagères, les services écosystémiques, les pollinisateurs, la gestion des maladies, les flux de sédiments .... Ces liens démontrent l'importance de la connaissance des espèces, de la dynamique des systèmes, de l'interaction entre les éléments (figure 1.27) et de l'impact de nos modes de production [Nicholson et al., 2019] afin d'en restreindre leurs effets néfastes [Modica and Zoboli, 2016]. L'agriculture de précision et l'agriculture numérique sont des voies agroécologiques possibles à la réduction des conséquences de l'agriculture "moderne".

<figure><img src="image_32.png" /><figcaption>**Figure 1.27** – Schéma de l'interaction entre le système climatique physique, l'exposition et la vulnérabilité produisant des risques dans la chaîne de production.</figcaption></figure>

Les solutions de traitement en cours de développement dans l'agriculture de précision, reposent principalement sur l'analyse d'image. Cette thèse s'inscrit dans ce domaine de par l'utilisation de méthodes d'analyses d'images classiques et de réseaux de neurones. Dans le cadre du Challenge RoSE, les images utilisées dans cette étude sont acquises par une caméra multispectrale fixée sur un drone terrestre, visant à fournir une analyse en "temps réel".
<figure><img src="image_33.png" /></figure>
## 2 Vision par ordinateur

Durant ce chapitre, nous aborderons un état de l'art détaillant les différents systèmes op-
tiques et méthodes de détection par imagerie. La revue de [Perez-Sanz et al., 2017] montre
les différentes étapes classiques en analyse d'image associées à la détection et classification des
adventices. Afin de répondre à nos objectifs, ces différents traitements ont été mis en place et
résumés dans la figure 2.1 ci-dessous. La présentation de ces méthodes permettra d'avoir une
vision globale des possibilités en analyse d'image et de comprendre les choix qui ont été faits
durant cette thèse.

(source : [Perez-Sanz et al., 2017])

<figure><img src="image_34.png" /><figcaption>**Figure 2.1 –** Étapes clés de l'analyse d'images agronomiques</figcaption></figure>

Ainsi, ce chapitre est structuré en 5 parties, reprenant ces étapes clés de l'analyse d'image :
les différents systèmes d'acquisition, les pré-traitements, la segmentation, l'extraction des pa-
ramètres et les méthodes de classification. Finalement, la conclusion permettra de synthétiser
les orientations choisies durant cette thèse selon les avantages et inconvénients de chacune des
méthodes par rapport au cahier des charges initial.
## 2.1 Systèmes d'imagerie

Pour construire un outil de vision par ordinateur, il faut comprendre comment se forment les images numériques. Un capteur en contraste noir et blanc fonctionne en estimant la quantité de photons qui frappent chaque pixel dans un laps de temps donné. Une image peut être vue comme une matrice bidimensionnelle de pixels. Ainsi, le système optique intègre donc le spectre de la lumière sur une certaine plage (380-780 pour le spectre visible) que l'on peut aussi écrire $Luminance = \int_{380}^{780} f(\lambda)d\lambda$ transformant le spectre visible $\mathbb{R}^{\infty} \rightarrow \mathbb{R}$.

<figure><img src="image_35.png" /><figcaption>**Figure 2.2 – Spectre électromagnétique et spectre visible**</figcaption></figure>

Pour acquérir une image, on peut utiliser un capteur CCD (Charge-Coupled Device) ou un CMOS (Complementary Metal Oxide Semiconductor). Ces éléments sont composés d'une matrice de photosites (semi-conducteurs photosensibles). Ces derniers convertissent l'information lumineuse reçue en tension électrique (analogique) exprimée en volts, puis en un nombre entier à travers un convertisseur analogique-numérique (CAN). Notons que les valeurs numériques ont une précision limitée, i.e. l'information est encodée sur un nombre de bit fixe. Avant d'arriver à la matrice de détection, la lumière passe par un système optique, composé d'une ou plusieurs lentilles et d'un filtre pour limiter la plage d'intégration (visible), tel que représenté ci-dessous (figure 2.3).

<figure><img src="image_36.png" /><figcaption>**Figure 2.3 – Les différents composants d'une caméra**</figcaption></figure>

Dans un système optique, il y a quatre facteurs importants dans la formation de l'image : la distance focale, l'ouverture, le gain et le temps d'intégration. La combinaison de ces trois derniers facteurs contrôle la luminosité moyenne de l'image que l'on appelle également “le triangle d'exposition”. Grâce à certaines heuristiques, le meilleur équilibre du triangle d'exposition peut être défini. Chaque constructeur de caméra ou d'appareil photo propose une méthode propriétaire embarquée dans l'appareil pour effectuer un ajustement automatique du triangle d'exposition.
**La distance focale** : Exprimée en mm, elle représente la distance entre le centre optique et la surface du capteur. Plus la longueur focale est courte, plus l'angle d'observation est large et vice-versa. Par exemple, un objectif de 8 mm peut avoir un champ visuel de 110° et un objectif de 50 mm peut avoir un champ visuel de 32°. Comme l'ouverture, la focale influence la profondeur de champ. Plus la focale est importante, plus la profondeur de champ est faible. Cela avantage les petits capteurs car à champ de vision équivalent, plus le capteur est petit, plus la focale est petite.

<figure><img src="image_37.png" /><figcaption>**Figure 2.4** – Effet de la longueur de la focale sur le champ de vision</figcaption></figure>

**L'ouverture** : C'est le diamètre d'ouverture du diaphragme de l'objectif. Par exemple, l'objectif peut avoir un diamètre de 70 mm mais seulement 5 mm peuvent collecter la lumière. Une grande ouverture de l'objectif laissera entrer beaucoup de lumière, mais la profondeur de champ sera plus faible, ce qui signifie que seule une petite gamme de distances sera mise au point. Une grande profondeur de champ, donc une petite ouverture est préférable pour la perception robotique, car nous voulons capturer autant de détails que possibles dans la scène.

<figure><img src="image_38.png" /><figcaption>**Figure 2.5** – Effet de l'ouverture sur la profondeur de vision</figcaption></figure>

**Le gain** : Ce paramètre contrôle la luminosité de l'image. Le niveau de tension mesuré par pixel peut être amplifié par un facteur, appelé gain ou sensibilité ISO. Un gain plus élevé signifie une image plus lumineuse et vice-versa. L'amplification du signal induit également l'amplification du bruit. Il faut donc trouver un équilibre entre l'amplification et le bruit. En condition de faible luminosité, ce paramètre est essentiel pour distinguer les objets.

<figure><img src="image_39.png" /><figcaption>**Figure 2.6** – Effet du gain sur le bruit de l'image</figcaption></figure>

**Temps d'intégration** : Il s'agit de la durée, en secondes, pendant laquelle le capteur collecte la lumière. La tension mesurée sera la somme de tous les photons collectés pendant le temps d'intégration. Une vitesse d'obturation plus longue laissera entrer plus de lumière, mais rendra tout mouvement flou. Ce phénomène est communément appelé le “flou de bougé”.

<figure><img src="image_40.png" /><figcaption>**Figure 2.7** – Effet du temps d'intégration (en seconde) sur le flou de bougé</figcaption></figure>
### 2.1.1 Percevoir la couleur

Pour percevoir la couleur plutôt que les niveaux de gris, le capteur doit être capable de séparer la lumière en différents domaines spectraux; c'est-à-dire de transformer le spectre visible de $\mathbb{R}^{\infty} \rightarrow \mathbb{R}^N$, avec N le nombre de couleurs, généralement 3 pour RGB (Red, Green, Blue). L'image est alors représentée comme un tableau à trois dimensions de taille *Largeur* × *Hauteur* × N. Chaque couche de couleur intègre une tranche du spectre (domaine spectral). Plusieurs approches sont possibles :

**Filtre colorimétrique** L'approche la plus courante et la moins coûteuse est de disposer les pixels selon un motif, tel que le filtre de “Bayer”, comme illustré ci-dessous (figure 2.8). Les filtres de Bayer disposent deux fois plus de pixels verts que de pixels rouges ou bleus. Ce qui signifie que certaines couleurs seront plus bruitées que d'autres, ici rouge et bleu. Généralement, le bleu est naturellement moins présent en extérieur et donc plus difficile à estimer. Mais il existe différents types de filtres et certains se concentrent davantage sur le bleu tel que les filtres RGBE [Miao et al., 2004]. Dans ce cas, le canal bleu n'est pas le plus bruité. Le désavantage de ces filtres est qu'ils diminuent la résolution physique. On a alors recours à un algorithme d'interpolation pour estimer les couleurs manquantes (Demosaicing) [Rathi and Goyal, 2021]. Certaines méthodes de demosaicing peuvent partiellement corriger le bruit associé à une couleur [Tan et al., 2014] en se basant sur la plus présente, par exemple sur le vert pour les filtres de Bayer.

<figure><img src="image_41.png" /><figcaption>**Figure 2.8 – Filtre de Bayer**</figcaption></figure>

**Diviser la lumière incidente** Parmi les techniques de dispersion (réseaux de diffraction, réflexion, ...) de la lumière dans un capteur optique, plusieurs prismes peuvent être utilisés pour diviser la lumière incidente vers des capteurs physiquement séparés qui absorbent les longueurs d'onde différentes (figure 2.9). L'avantage de cette technique est d'obtenir des images couleurs de haute qualité avec une résolution physique complète. Les capteurs peuvent être exposés pendant des temps différents pour gérer le bruit efficacement. La difficulté d'alignement précis des prismes [Galo et al., 2006] rend cette technologie coûteuse.

<figure><img src="image_42.png" /><figcaption>**Figure 2.9 – Triple prismes pour diviser la lumière incidente**</figcaption></figure>
### 2.1.2 Des capteurs multispectraux

Nous avons vu précédemment que la première approche a le désavantage de réduire la ré-solution physique, tandis que la seconde est coûteuse et il devient impossible pour les deux méthodes d'obtenir efficacement plus de couleurs (infrarouge, ultraviolet, ...). Pour pallier ces désavantages, d'autres dispositifs (multispectraux) sont apparus : les systèmes d'acquisition d'images multispectrales qui permettent d'extraire un certain nombre de propriétés sur les surfaces observées [Qiu et al., 2018]. Leurs utilisations se sont diversifiées pour caractériser l'état sanitaire des cultures, la texture des sols, le stress hydrique, ou encore la présence de végétation.

**Filtre rotatif** Ce type de dispositif, développé au début des années 2000 [Vioix, 2004], associe un système optique à une roue portant les différents filtres colorimétriques. Plusieurs acquisitions sont effectuées pour obtenir les différentes couleurs. L'avantage de ce dispositif est d'être très peu coûteux tout en fournissant des images de grandes résolutions. Mais faire tourner le filtre engendre des problèmes de recalage des images mono-modes d'une même scène. Ce dispositif ne peut donc pas être utilisé efficacement en conditions extérieures en particulier en présence de mouvement.

(source : [Vioix, 2004])

<figure><img src="image_43.png" /><figcaption>**Figure 2.10** – Filtre rotatif à 4 bandes spectrales : bleu, vert, rouge et infrarouge</figcaption></figure>

**Capteurs multiples** Une autre solution est d'utiliser plusieurs caméras disposées en damier. Chaque caméra dispose d'un filtre permettant de percevoir une section différente du spectre. C'est le cas du dispositif développé par HYPHEN pour l'acquisition d'images depuis un drone aérien, et qui a été utilisé durant cette thèse (Cf. détails en chapitre 3). Cette solution a l'avantage d'avoir des temps d'acquisition très courts, contrairement au dispositif proposé par [Vioix, 2004] et peut également être utilisé en mouvement. Cependant, du fait de la différence de position des capteurs sur le système d'imagerie, leurs champs de vision ne sont pas identiques. Ceci implique l'utilisation d'algorithmes complexes pour superposer les images mono-modes. À cet effet, un algorithme spécifique est proposé dans ce manuscrit (section 3.5).

**Vers l'hyperspectral** D'autres solutions permettent d'obtenir des images dites hyperspectrales, c'est-à-dire un découpage plus fin du spectre électromagnétique. Par exemple $R^\infty \rightarrow R^{100}$, on parle alors d'hyper-cube. La solution proposée par le consortium PEAD du challenge RoSE, repose sur un spectromètre imageur par tomographie (CTIS [Descour and Dereniak, 1995]) développée par CarbonBee. L'imagerie hyperspectrale présente de nombreux avantages et a de nombreux domaines d'application (agriculture, médecine, minéralogie, surveillance, astronomie, chimie, etc). Son prix est encore élevé ce qui limite fortement son utilisation. Ce dispositif permet de définir les longueurs d'onde les plus discriminantes pour un sujet donné, de manière à orienter le choix de capteurs multispectraux, plus abordables. Nous verrons plus tard, que le dispositif multispectral utilisé dans cette thèse repose sur les travaux de [Louargant, 2016].
## 2.2 Prétraitement

Le système optique engendre par nature des distorsions de l'image. Il existe plusieurs sources d'erreurs qui peuvent amener à des déformations géométriques et/ou colorimétriques. Au niveau colorimétrique, l'objectif du prétraitement des images est d'améliorer le contraste et d'éliminer le bruit afin de mettre en valeur les objets d'intérêt dans une image donnée. Les pré-traitements permettent aussi de stabiliser certaines méthodes de segmentation ainsi que la qualité de l'extraction des caractéristiques. Les sous-sections suivantes expliquent et présentent les corrections possibles.

### 2.2.1 Correction géométrique

Les premières déformations sont issues de la lentille de l'appareil et de l'alignement du capteur à cette dernière. Ces déformations peuvent se modéliser mathématiquement. Trois sources d'erreurs sont à prendre en considération :

- **Distorsion radiale** : La distorsion radiale se produit lorsque les rayons lumineux se courbent plus près des bords d'une lentille qu'ils ne le font en son centre optique. Plus la lentille est petite, plus la distorsion est importante. La distorsion peut être positive (barrel) ou négative (pincushion)

- **Distorsion tangentielle** : La distorsion tangentielle corrige les inclinaisons du plan de l'image (capteur) après une distorsion radiale.

- **Distorsion prismatique** : La distorsion à prisme mince est due à une légère inclinaison de la lentille ou du réseau de capteurs d'images et provoque des distorsions radiales et tangentielles supplémentaires.

En résumé, les différentes distorsions se cumulent et constituent le modèle de distorsion (figure 2.11). Pour rectifier les déformations d'une image, il faut inverser le modèle, mais il n'existe pas d'expression de forme close pour estimer ce mappage inverse. En pratique, l'évaluation est effectuée par un processus de table de recherche. Dans l'ensemble, ce modèle de caméra avec distorsion de l'objectif comprend jusqu'à onze paramètres intrinsèques en plus des paramètres extrinsèques, avec six degrés de liberté.

<figure><img src="image_44.png" /></figure>

(source : [Liu et al., 2018b])

<caption>**Figure 2.11 – Modèle de distorsion**</caption>

Cette correction est indispensable si l'on cherche à évaluer la distance d'un objet à l'objectif ou mesurer la taille d'objet [Vayssade, 2018]. En effet, la distorsion géométrique de l'image induit une distorsion des surfaces et des distances. En l'absence de ce type d'analyse, la correction géométrique n'est pas indispensable.
### 2.2.2 Rehaussement d'image

Le ré-haussement d'images est essentiellement un processus qui permet de faciliter l'interprétation d'une image. Ainsi, rehausser l'image, consiste entre autres à standardiser l'information, comme corriger la luminosité, l'intensité des couleurs ou à supprimer des effets de l'environnement comme l'ombre ou le bruit.

#### 2.2.2.1 Correction colorimétrique et radiométrique

Selon les paramètres de la caméra (triangle d'exposition), de l'illuminant et les filtres spectraux employés, la quantité de photons reçue, et donc l'estimation des couleurs de la scène peut être biaisée. Nous avons vu par exemple dans la section précédente que les filtres de Bayer sous-évalue le bleu [Lukac and Plataniotis, 2005]. L'illuminant joue aussi un rôle prédominant puisqu'il change la distribution des photons émis [Brainard and Wandell, 1992]. L'objectif est alors de déterminer la couleur des objets dans des conditions d'éclairage différentes en supprimant l'effet de décalage des spectres. Les méthodes employées reposent souvent sur l'utilisation d'un dispositif d'étalonnage, on prend alors en photo le dispositif dont les couleurs sont connues a priori. Une équation permet ensuite de corriger les couleurs dans ces mêmes conditions d'acquisition afin d'obtenir des images standardisées. D'autres approches sont toutefois possibles et ne nécessitent pas de dispositif d'étalonnage [Finlayson et al., 2015, Afifi, 2018], ces méthodes ne sont pas encore utilisées en agriculture de précision.

<figure><img src="image_45.png" /><figcaption>Figure 2.12 – Correction des couleurs par apprentissage profond proposé par Afifi</figcaption></figure>

**Calibration radiométrique** La correction radiométrique suit les mêmes principes, mais permet d'obtenir des mesures de réreflectance [Honkavaara and Khoramshahi, 2018] (figure 2.13). La réreflectance se définit comme la proportion de lumière réfléchie par la surface d'un matériau et s'exprime généralement en pourcentage. La réreflectance spectrale est estimée afin de rendre la discrimination robuste aux variations d'illumination. Les indices de végétation reposent sur ces valeurs calibrées. L'étude de [Amziane et al., 2021] permet l'estimation de la réreflectance sans dispositif d'étalonnage en proxidétection.

<figure><img src="image_46.png" /><figcaption>Figure 2.13 – Différentes corrections radiométriques proposé par Honkavaara</figcaption></figure>
### 2.2.2.2 Correction du bruit

De par l'environnement d'acquisition et la qualité du matériel utilisé, il peut être intéressant d'estimer et de corriger le bruit éventuel des capteurs. Le "bruit d'image" est l'équivalent numérique du grain des caméras analogiques. Pour les images numériques, ce bruit apparaît sous la forme de points aléatoires et peut dégrader considérablement la qualité de l'image. Le bruit augmente avec le réglage de la sensibilité de l'appareil photographique, le temps d'exposition, la température, et varie également d'un modèle d'appareil photographique à l'autre.

<figure><img src="image_47.png" /><figcaption>**Figure 2.14** – Comparaison des méthodes de débruitage</figcaption></figure>

Il n'existe pas de méthode propre à l'agriculture de précision, cependant, il existe de nombreuses méthodes générales [Buades et al., 2005]. Les plus connues pour ce type de traitement sont les filtres bilatéraux [Chaudhury and Dabhade, 2016], les "Non local means", les "Wavelet-based tresholding denoising" [Hao et al., 2014], "Random Field Denoising" [Barbu, 2009] ou encore les filtres "Total Variation". Pour autant, toutes ces approches sont gourmandes en temps de calcul et ne permettent pas une utilisation en temps réel. De plus supprimer le bruit d'une image peut également lisser les textures et ainsi induire à une perte d'information utile à la discrimination. Ici encore l'apprentissage profond surpasse les méthodes usuelles [Tian et al., 2020, Zamir et al., 2020].

### 2.2.2.3 Correction d'ombrage

La présence d'ombres est naturelle dans une scène. Une ombre portée modifie la couleur sur une partie de l'image et ajoute des ruptures de gradient. Ainsi, les méthodes de segmentation sont très impactées par la présence d'ombres. En agriculture, l'exemple de la segmentation sol/végétation illustre facilement cette problématique. En effet, cette segmentation s'appuie généralement sur un indice de végétation couplé à un seuillage simple. Or, le seuil adéquat est différent à l'intérieur et à l'extérieur des zones ombragée, il en résulte une segmentation incorrecte dans l'un des deux cas. L'algorithme "Contrast Limited Adaptative Histogram Equalization" propose de traiter l'image en N × N sous image en appliquant une correction de couleurs via une égalisation de l'histogramme [Zuiderveld, 1994]. Cependant, une nouvelle approche basée sur l'apprentissage profond permet de détecter et supprimer l'ombre beaucoup plus efficacement [Zhang et al., 2020].

<figure><img src="image_48.png" /><figcaption>**Figure 2.15** – Suppression de l'ombre par apprentissage profond proposé par Zhang</figcaption></figure>
### 2.2.3 Indices de télédétection

L'idée de base de l'imagerie hyperspectrale repose sur le fait que, pour tout matériau, la quantité de rayonnement réfléchi, absorbé ou émis dépend de la longueur d'onde. Donc la réponse spectrale du matériau varie selon un mode unique lié a sa composition moléculaire [Mercan and Alam, 2011]. Cela signifie que, les signatures spectrales des matériaux, sont uniques et ces signatures peuvent être utilisées efficacement pour distinguer et identifier des surfaces (figure 2.16).

<figure><img src="image_49.png" /><figcaption>Figure 2.16 – Signatures spectrales de certains matériaux</figcaption></figure>

#### 2.2.3.1 Signature spectrale des plantes

Les plantes se caractérisent, d'une part par leurs compositions moléculaires et d'autre part par leurs structures cellulaires. La figure 2.17 montre la structure cellulaire d'une feuille de dicotylédone (principal groupe des adventices). On y trouve deux épidermes (dessus/dessous) et entre ceux-ci se trouve la couche mésophylle [Ben Abdallah et al., 2016]. La couche supérieure du mésophylle est composée de cellules contenant, entre autres, la chlorophylle (Chl a et Chl b) formées lors du processus de photosynthèse. Cette couche supérieure absorbe en grande partie le spectre visible, elle contient également d'autres pigments comme les carotènes, mais n'interfère pas avec d'autres longueurs d'onde. La couche inférieure, spongieuse, du mésophylle est constituée de cellules irrégulières et d'espaces vides qui eux réfléchissent de manière importante toutes les longueurs d'onde (diffère chez les monocotylédones).

<figure><img src="image_50.png" /><figcaption>Figure 2.17 – Structure cellulaire d'une feuille et interaction avec le spectre électromagnétique</figcaption></figure>
En conséquence, les plantes ont une faible réflectance pour les longueurs d'onde entre 400 nm (bleu) et 700 nm (rouge) avec un maximum autour de 550 nm (vert). À contrario, les plantes ont une forte réflectance dans le proche infrarouge (entre 850 nm et 1300 nm). La région du red-edge, qui représente la zone de transition entre le rouge et le proche infrarouge (approximativement entre 675 nm et 750 nm), se caractérise par une brusque augmentation de la réflectance. La concentration en chlorophylle déplace la réflectance dans le red-edge. Une diminution de la concentration engendre une pente plus douce dans cette région. De la même façon, une diminution de la concentration d'eau change la couche inférieure, spongieuse, du mésophylle et donc la réflectance dans l'infrarouge. Finalement dans le domaine de l'infrarouge court (short wave infrared, SWIR), le spectre de réflectance présente trois pics d'absorption en 1450 nm, 1950 nm et 2500 nm due à la présence d'eau dans les feuilles. L'ensemble de ces éléments sont visibles sur la courbe verte (végétation) de la figure 2.16.

### 2.2.3.2 Indices de végétation

Mesurer et interpréter le rayonnement électromagnétique permettent d'établir des indices qui caractérisent les surfaces observées. Ces indices évoluent en fonction de la nature de l'objet (sol, eau, végétation) et sont donc particulièrement utiles pour la segmentation. Il existe une base de données indexdatabase.de qui recense ces différents indices de télédétection. Pour chaque forme d'indice, leurs variantes (en fonction du matériel d'acquisition) sont également mises à disposition. Certains indices permettent par exemple d'estimer la composition des sols [Dhawale et al., 2021].

Observer le spectre de réflectance des plantes a permis d'établir des indicateurs physiologiques, phénologiques et physiques. Le NDVI pour "Normalized Difference Vegetation Index" est probablement l'indice de végétation le plus populaire et repose sur les connaissances empiriques précédemment exposées. Le NDVI se calcule à partir de la réflectance obtenue pour deux bandes spectrales : $NDVI = (N - R) \div (N + R)$ avec N le proche infrarouge (≈ 850 nm) et R le rouge (≈ 650 nm). Les valeurs théoriques du NDVI sont comprises entre -1 et 1, celles-ci sont bornées entre 0 et 1 dans le cas de la végétation. Pour la végétation, le NDVI renseigne sur l'état sanitaire d'un végétal. Une valeur de NDVI faible induit une faible activité photo-synthétique d'une plante et inversement. Il existe une grande variété d'indices de végétation, dont tous reposent sur des combinaisons de réflectance pour différents domaines spectraux. Les articles [Wang et al., 2018a, Xue et al., 2017, Zhang et al., 2017] mettent en exergue les indices ayant été testés pour détecter la présence de végétaux sur des images multispectrales. Ces indices reposent principalement sur une différence de réflectance entre le visible et le proche infrarouge. Ces indices n'utilisent pas plus de deux ou trois bandes spectrales ce qui diminue leurs potentiels de discrimination.

<figure><img src="image_51.png" /><figcaption>**Figure 2.18** – Une faible activité photo-synthétique induit une faible valeur de NDVI</figcaption></figure>
### 2.2.3.3 Limite des indices de végétation

Bien que ces indices soient largement utilisés, ils ne permettent pas une utilisation optimale en conditions réelles. Leurs natures empiriques, l'influence de nombreux facteurs environnementaux, ainsi que le système d'acquisition sont des éléments qui jouent un rôle dans les performances de tels indices :

- **Bandes spectrales** Pour établir des indices de télédétection, on a recours à l'imagerie hyperspectrale. Selon la scène observée, le choix des "meilleures" bandes spectrales se fait à partir d'un échantillon d'acquisition. Elles seront ensuite sélectionnées pour être utilisées dans des capteurs multi-spectraux. Finalement, les indices sont eux même basés sur une ou deux bandes spectrales et diminuent encore le potentiel de discrimination.

- **Acquisition** Les conditions d'acquisition (jour, nuit, soleil, nuage, ombres, ...) modifient la lumière incidente et donc les performances de ces indices [Zhang et al., 2015]. Il y a également le mix spectral (mélange de signatures spectrales issues de différents matériaux) qui constitue une source d'erreur lorsque la résolution spatiale est insuffisante [Louargant et al., 2017], les petites adventices peuvent ne pas être détectées.

- **Calibration** Les indices de végétation reposent sur la réflectance. Une calibration doit être mise en œuvre et nécessite un dispositif d'étalonnage (section 2.2.2 partie A). Cette calibration peut introduire des erreurs, puisque les résultats ne sont pas stables dans le temps (changement de luminosité au cours de la journée, passage d'un nuage, ...). Et difficilement utilisable en proxi-détection et en temps réel.

- **Plante** Le groupe d'appartenance de la plante est une source d'erreur : la classe de la plante (monocotylédone, dicotylédone, hétérotrophes<fnref n="1" />, photoautotrophes<fnref n="2" />) [Wang et al., 2019b], leurs états sanitaires [Gay and Wery, 2003, Al Naser, 2018, Fournier, 2011] (chaleur, eau, azote, nitrate, phosphate, ..., maladies, ...) [Piedallu et al., 2019], leurs stades de développement (croissance/sénescence) [Palanisamy et al., 2019], sont autant de facteurs qui peuvent modifier la valeur d'un indice de végétation comme le NDVI, si bien qu'une plante peut ne pas être détectée (faux négatif).

- **Sol** Des corps étrangers sur le sol peuvent être détectés (faux positifs). Par exemple, certaines moisissures et bactéries changent la couleur du sol, de même que la présence de métaux et la teneur en eau.

Ces éléments démontrent rapidement que la détection de la végétation n'est pas un problème trivial. Même si ces indices ont été largement utilisés, des études récentes soulignent le faible niveau de discrimination pour l'estimation de la surface foliaire [Zhang et al., 2019b, Niu et al., 2021] et donc leurs performances relatives pour une segmentation sol/végétation.

<footnote n="1">1. Les végétaux hétérotrophes prélèvent leurs nutriments par symbiose, parasitisme ou prédation</footnote>

<footnote n="2">2. Caractériser les végétaux chlorophylliens, faisant intervenir la photosynthèse</footnote>
### 2.3 Segmentation

L'extraction d'informations à partir d'images s'effectue par le processus de segmentation. L'objectif de la procédure est d'extraire les composantes de l'image qui présentent un intérêt. La construction des régions d'intérêt est basée sur des caractéristiques de l'image telles que la couleur, la luminosité spectrale, la détection des contours, la similarité des pixels voisins ou la combinaison de ces propriétés, qui sont normalement intégrées à l'aide d'un processus d'apprentissage.

#### 2.3.1 Segmentation sémantique

La segmentation sémantique consiste à classer les pixels selon leur classe d'appartenance. L'exemple le plus courant en agriculture de précision est la discrimination de la végétation (première classe) du reste (i.e. le sol, second classe). D'avantage de classes peuvent être définies.

**Thresolding** La méthode la plus simple consiste à déterminer un seuil entre les classes, à partir de l'indice de végétation pour l'exemple de la segmentation sol/végétation. Le seuil peut être fixé manuellement, ou par apprentissage. Les méthodes de seuillage peuvent aussi se reposer sur des algorithmes de classification. Cette approche est peu robuste aux changements d'illumination.

**Otsu** C'est une version améliorée du seuillage, consistant en une recherche automatique et exhaustive du seuil de segmentation. L'algorithme recherche le seuil qui minimise la variance intra-classe, définie comme une somme pondérée des variances de deux classes. La méthode montre de bonne performance si l'histogramme a une distribution bi-modale. Ceci est le cas pour un indice de végétation lorsque le sol est suffisamment visible sur l'image. À contrario, lorsque la végétation recouvre majoritairement le sol (ou lorsqu'elle est peu présente), la segmentation échoue. Cette méthode, non-supervisée, à l'avantage de bien gérer les gradients de luminosité contrairement à un seuillage simple. Cette approche est largement utilisée en agriculture [Sa et al., 2017], mais souffre de précision sur les cas limites, tels que les feuilles fines.

**Grabcut** L'algorithme apprend un modèle de mixture gaussienne pour classer l'information à partir de la zone d'intérêt et d'un masque. Ensuite, un graphe est construit à partir de la distribution des pixels entre foreground / background. Chaque pixel est connecté au nœud correspondant avec un poids d'appartenance en fonction de la probabilité de distribution de l'ensemble des pixels. Finalement, un algorithme de mincut est utilisé pour segmenter le graphe, donc l'image. Une application sur des données spectrales existe [Estrada et al., 2004].

<figure><img src="image_52.png" /><figcaption>**Figure 2.19** – Segmentation Grabcut</figcaption></figure>
**Chaîne de Markov** [Derrode and Pieczynski, 2003] L'image est transformée en signal 1D par exemple avec un algorithme de « Space-filling curve » comme Hilbert-Peano, Z-order, Sierpiński ou Moore, le graphe linéaire ainsi obtenu (chaîne) est stationnaire, ces probabilités sont déduites des probabilités conjointes qui sont indépendantes. La classe du premier pixel est tirée aléatoirement à partir de la distribution a posteriori. Par la suite, pour chaque nouveau pixel, la probabilité de transition est calculée, la classe du pixel précédent est fixée, et la classe du pixel suivant est obtenue par un prélèvement aléatoire selon cette distribution. La distribution a posteriori peut être estimée et initialisée grâce à l'histogramme de l'image et en utilisant l'algorithme des k-means (moyenne, déviation, écart-type).

**Champ de Markov** [Rechid et al., 2011] Le principe est similaire aux chaînes de Markov, le graphe de représentation est alors 2D et le nombre de transitions est plus important, ce qui augmente les temps de calcul. Une étude est présentée dans un contexte agronomique [Yue et al., 2016]. En revanche, l'approche est largement utilisée en segmentation d'images médicales. L'étude de [Salzenstein and Collet, 2006] propose une comparaison entre les chaînes de Markov et les champs de Markov appliqués aux données multispectrales, les résultats montrent une meilleure homogénéité des régions segmentées par les champs de Markov, bien que statistiquement, les chaînes de Markov semblent donner de meilleurs résultats. Une application avancée permet de combiner les avantages de l'apprentissage profond et des champs de Markov cachés [Liu et al., 2016].

**Apprentissage profond** Les réseaux de neurones convolutifs basés sur une structure d'encodeur-décodeur sont très populaires et ont démontrés leurs performances dans la discrimination des adventices [Brilhador et al., 2019, You et al., 2020, Khan et al., 2020]. L'amont du réseau utilise une série de convolutions et de sous-échantillonnages (pooling), cet ensemble est généralement appelé encodeur et génère des informations sur l'objet, telles que sa forme et sa taille à une résolution inférieure. La sortie est ensuite sur-échantillonnée (upsampling) par interpolation bilinéaire ou par une série de convolutions transposées en aval du réseau, ensemble appelé décodeur. Il cherche à distribuer les informations basses résolutions de l'encodeur vers les informations de haute résolution pour obtenir une carte de segmentation dans la résolution initiale. Ces éléments sont présentés dans la figure 2.20.

<figure><img src="image_53.png" /><figcaption>Figure 2.20 – Architecture encodeur-décodeur d'un réseau convolutif</figcaption></figure>
### 2.3.2 Segmentation en région

Au lieu de ne travailler qu'avec des pixels (segmentation sémantique), on découpe l'image en région. L'utilisation de régions présente deux avantages majeurs (i) calculer des caractéristiques sur des régions plus significatives et (ii) réduire les entités en entrée pour les étapes suivantes.

**Découpage régulier** L'image est simplement découpée en sous-images de tailles fixes (avec ou sans recouvrement figure 2.21). La taille a un impact important : trop petite, elle manquera d'information discriminante et trop grande, elle pourra contenir des mélanges des classes (culture, adventice, sol) rendant la classification difficile. La discrimination des adventices se résume alors à un problème de classification de texture. Des approches multi-échelles sont aussi possibles [Hu et al., 2020] mais ne permettent pas de détecter les plus petites adventices.

<figure><img src="image_54.png" /><figcaption>Figure 2.21 – Découpage régulier sans recouvrement</figcaption></figure>

**Composantes connexes** On peut récupérer les zones distinctes dans l'image à l'aide d'un algorithme, après une première segmentation sémantique (par exemple sol/végétation). Dans le cas de la discrimination des adventices, cette approche ne permet pas de distinguer les feuilles, des plantes, des groupes de plantes. Une composante connexe peut donc être composée de cultures et d'adventices en proportions variables, en fonction du taux de couverture végétale. Extraire des propriétés sur ces zones et essayer de les discriminer est donc peu fiables [Louargant et al., 2018].

**Template matching** C'est une méthode permettant de rechercher et de trouver l'emplacement d'une image modèle dans une image plus grande. Il suffit de faire glisser l'image modèle sur l'image d'entrée et de comparer le modèle et avec la portion de l'image d'entrée. Cette approche est peu robuste pour de la détection de plante ou de feuille, car ces dernières ont une grande variabilité. De plus, c'est une méthode lourde en temps de calcul bien qu'elle ait été utilisée pour la détection des bananiers [Zhou et al., 2014].

**Transformation de Hough** Il existe deux grandes variantes de la transformée de Hough qui permettent de détecter des formes fixes dans l'image, par exemple des lignes ou des ellipses. Ainsi cette transformée a été utilisée pour détecter les rangs de culture. Les composantes connexes entre les lignes de culture sont principalement des adventices [Louargant et al., 2018]. La détection des ellipses par transformée de Hough présente aussi des avantages : les formes des feuilles des dicotylédones étant souvent proches d'une ellipse cette transformée permet de les détecter [Kumar and Domnic, 2018; Zhonghua et al., 2020]. Des techniques similaires peuvent également détecter les "blobs" (Laplacian of Gaussian, Difference of Gaussian, Determinant of Hessian, Maximally stable extremal region, ...).
**Super-pixel** Un super-pixel est un groupe de pixels connectés avec des couleurs ou des niveaux de gris similaires. La segmentation des super-pixels consiste donc, à diviser une image en centaines de super-pixels ne se chevauchant pas. Cette approche a été testée dans le domaine de l'agriculture de précision avec une approche multi-échelle [Bah et al., 2018b] proposant des résultats de classification intéressants ~ 90%. Cette approche, pertinente à haute altitude présente des défauts majeurs en proxi-détection avec un paramètre difficile à déterminer : la taille des super-pixels. Les adventices et les cultures présentent des différences de taille notables (stade de développement) et de texture significatives. Ce qui donne des résultats instables en proxi-détection [Li et al., 2021].

<figure><img src="image_55.png" /><figcaption>**Figure 2.22** – Analyse multi-échelle des super-pixels et classification</figcaption></figure>

**Watershed** L'algorithme calcule les distances entre les bords des régions segmentées et les différents centres initialisés. Ensuite, l'algorithme distingue autant de sous-régions qu'il y a de points culminants, et alimente chacune d'entre elles par l'incrémentation des pixels voisins selon une propagation circulaire de proche en proche. Les régions sont isolées lorsqu'un même ensemble de pixels est candidat pour intégrer deux régions différentes.

<figure><img src="image_56.png" /></figure>

les zones d'initialisation à gauche et à droite, en couleur les régions étendues

<caption>**Figure 2.23** – Exemple de watershed sur des images drones</caption>

Ce type d'approche est donc très utile pour agrandir la segmentation, en particulier, on peut déterminer facilement le sol grâce à la méthode de seuillage de Otsu et les feuilles via des descripteurs de texture. L'algorithme Watershed propose alors une division interne des plantes (figure 2.23). Mais le choix des centres reste difficile à déterminer, rendant l'initialisation de ces derniers très dépendants de la résolution spatiale. Ainsi des approches complémentaires sont souvent nécessaires.

**Chan-vese** Le modèle proposé par Chan et Vese, est l'un des modèles les plus populaires pour la segmentation des images en région. Il combine le modèle Mumford-Shah simplifié et la méthode LevelSet pour résoudre un problème de minimisation de l'énergie. Le modèle est largement appliqué aux images qui doivent être segmentées en deux régions : cible et arrière-plan. Ce type de segmentation a été utilisé avec succès pour la segmentation de feuilles qui se chevauchent en champ proche [Wang et al., 2018b]. Bien que l'approche donne des résultats intéressants dans la littérature, le temps de calcul est important, ce qui est également à prendre en considération.
**Active contours** Le modèle de contour actif est une méthode d'ajustement d'une courbe aux lignes ou aux bords d'un objet dans une image. L'algorithme fonctionne en minimisant l'énergie définie en partie par l'image (texture, gradient) et en partie par la forme de la courbe (courbure). En ce sens, l'algorithme est similaire aux super-pixels. Les contours actifs sont utilisés pour identifier les plantes par leurs fleurs [Manh et al., 2001, Suta et al., 2012]. Une amélioration pour reconnaître les arbres par leurs feuilles a été proposée par [Cerutti et al., 2011], une contrainte est ajoutée aux contours actifs en utilisant un modèle de feuille polygonale. Cette amélioration suppose une connaissance à priori de la forme dans la scène qui doit être “complète”.

<figure><img src="image_57.png" /></figure>

(source : [Cerutti et al., 2011])

<caption>**Figure 2.24** – Polygone initial, contour actif, et contour avec contrainte</caption>

**Apprentissage profond** Récemment, des améliorations considérables en matière de détection d'objets ont été obtenues grâce aux réseaux de neurones convolutifs. Le même principe que pour la segmentation sémantique est utilisé. Cependant la partie “décodeur” est remplacée par un réseau de prédiction des boîtes englobantes (bounding-box en anglais). Le réseau proposera par exemple une sortie de taille (4 + 2) × 1000, soit 1000 objets à détecter avec leurs positions [x, y, width, height] ainsi que la classe et le score de confiance en cette prédiction [class, score]. Finalement, seules les boîtes englobantes avec un score suffisant sont retenues.

<figure><img src="image_58.png" /></figure>

(source : [Kim and Cho, 2020])

<caption>**Figure 2.25** – Structure d'un réseau “You Only Look Once” (YOLO)</caption>

Ce type d'approche détecte généralement plusieurs fois le même objet avec un décalage, pour pallier cet effet un algorithme de non-max suppression (NMS) est alors utilisé pour combiner les boîtes qui se superposent. Ce dernier point est problématique, car plus la densité d'objets est forte, plus il y aura des fusions et donc des non-détentions. L'utilisation des CNN et plus particulièrement l'architecture YOLO (You Only Look Once) a été utilisée pour la discrimination des adventices [Quan et al., 2021] mais n'est donc pas envisageable pour les stades de développement précoces et avancés. En agriculture de précision la revue [Zheng et al., 2019] définit un ensemble de jeux de données (cultures, adventices, fruits, ...) et leurs évaluations à travers différents modèles de détection, dont le modèle YOLO.
### 2.3.3 Segmentation des instances

La segmentation des instances consiste à la fois à détecter les objets et leurs masques de segmentation individuelle. Ici, seule l'utilisation des réseaux de neurones donne des résultats prometteurs. Il existe plusieurs variantes [Hafiz and Bhat, 2020] à cette démarche, dont :

**Détection puis segmentation** La première consiste à utiliser une segmentation des objets, puis pour chaque objet détecté une segmentation sémantique est utilisée pour prédire le masque de segmentation de chaque objet. Ce type de méthode nécessite une base d'apprentissage importante. La détection d'objet peut être difficile sur les petits objets, comme nous l'avons vu précédemment, repose sur l'algorithme NMS (non-max suppression) qui occasionne des mauvaises détections en scène dense. Puis le masque est prédit avec un second réseau, dont la taille de sortie est petite et fixe, l'ajustement du masque vers l'objet détecté se fait par étirement ce qui explique la qualité des masques générés (figure 2.26).

(source : [Jung et al., 2019])

<figure><img src="image_59.png" /><figcaption>Figure 2.26 – Architecture d'un réseau de type Mask-RCNN</figcaption></figure>

Cette approche est utilisée par le consortium WeedElec [Champ et al., 2020] dans le challenge RoSE, à travers une architecture mask-rcnn (figure 2.26), les "petites" adventices (< 3.5 cm²) sont détectées avec une précision moyenne de ≈ 2%, les adventices émergentes sont donc inexistantes. Les adventices "moyennes" comprises entre 3.5 et 9.5 cm² sont détectées à hauteur de ≈ 35% tandis que les plus grandes sont mieux détectées ≈ 51%.
**Instance embedding** La technique consiste à apprendre une transformation de l'image vers un espace latent. Les pixels qui font partie de la même instance doivent être proches les uns des autres pour former un cluster, tandis qui les pixels des autres instances doivent s'éloigner. Cet espace latent est en fait une projection des propriétés des pixels avec leurs instances associées spatialement. Cette approche repose essentiellement sur un réseau de segmentation sémantique, cherchant à minimiser la variance spatiale des pixels des instances (composantes connexes) tout en maximisant la distance des clusters au sein de l'espace latent 2.27). Cette approche a été testée pour la segmentation de feuilles [Brabandere et al., 2017, Wu et al., 2020]. Mais du fait de cet espace latent, la présence d'ombre ou de réflexion spéculaire peuvent être sources d'erreurs.

<figure><img src="image_60.png" /><figcaption>À gauche : Image initial et vérité terrain. La rangée du milieu montre la sortie brute du réseau. La rangée supérieure montre l'espace latent avec les couleurs de chaque instances. La dernière rangée montre le résultat de la mise en cluster des embeddings par seuillage autour de leur centre de cluster. Chaque colonne montre l'apprentissage de l'espace latent.</figcaption></figure>

<caption>**Figure 2.27 – Espace latent et instances associées aux clusters**</caption>

**Pixelwise instance** La segmentation sémantique peut être utilisée pour détecter des instances d'une autre manière, on parle alors de “pixelwise instance segmentation”. L'idée repose essentiellement sur la détection des contours, donc la manipulation des classes de sortie (figure 2.28). Si cette approche n'est pas possible pour la détection des plantes, elle apporte néanmoins des possibilités pour la détection des feuilles [Morris, 2018] et des nucléus [Eschweiler et al., 2018]. La définition est simple et des fonctions de pertes avancées peuvent être mises en place afin d'en améliorer les performances.

<figure><img src="image_61.png" /><figcaption>**Figure 2.28 – Segmentation des instances par détection des contours des nucléus**</figcaption></figure>
## 2.4 Extraction de propriétés

L'objectif de l'extraction de propriétés est de caractériser les éléments distincts qui ont été détectés par la phase de segmentation, avec des propriétés discriminantes. Pour chaque individu, un ensemble de caractéristiques est extrait et placé dans un "vecteur de caractéristiques" qui synthétise l'objet. Associé à une méthode de classification, le vecteur est utilisé pour classer l'objet dans une catégorie (sol, culture, adventice). L'extraction repose sur des informations différentes, visibles sur la figure 2.29.

<figure><img src="image_62.png" /><figcaption>Figure 2.29 – Types de caractéristiques</figcaption></figure>

On distingue les propriétés basées sur la géométrie (shape), celles qui se basent sur la texture et celles qui reposent sur une analyse spatiale des objets. Cette nomenclature n'est pas fixe, certaines études distinguent les propriétés de couleur, des propriétés spectrales au sein des propriétés de texture. Il existe bon nombre d'autres domaines où ces propriétés sont utilisées (granulométrie, médecine, ...). Quelques exemples de propriété de chaque type sont présentés ci-après.

### 2.4.1 Propriétés géométriques

Les propriétés géométriques se basent sur différentes représentations du contour ou de l'intérieur de la forme. On y retrouve par exemple, le périmètre, l'aire de la surface convexe ou encore l'aire de la forme. La figure 2.30 montre un petit ensemble de propriétés de forme appliqué à une feuille. Ces propriétés, proposées par [Gao et al., 2013] ont été utilisées pour la discrimination culture/adventices, les résultats de l'étude montre un taux de classification compris entre 87.5 % et 92.5 % sur les stades précoces et dans une parcelle peu infestée. Ces propriétés de forme sont invariantes par rotation, translation et changement de couleur. Mais elles sont néanmoins dépendantes de la résolution spatiale et fortement influencées par l'occultation et les performances de la segmentation.

<figure><img src="image_63.png" /><figcaption>Figure 2.30 – Caractéristiques de la forme d'une feuille</figcaption></figure>
### 2.4.2 Propriétés spatiales

Les propriétés spatiales, se basent sur la détection d'éléments spécifiques de la scène. Le rang de culture est l'élément le plus remarquable en culture sarclée, cette connaissance a priori peut être utilisée pour discriminer les adventices situées dans l'inter-rang. On calcule alors la distance entre l'individu et son rang le plus proche, cette valeur caractérise l'objet (Figure 2.31). Cette seule propriété est insuffisante pour caractériser et discriminer les adventices intra-rang. Le rang peut être défini automatiquement en plaçant des points GPS/GNSS durant le semis [Griepentrog et al., 2005] ou par détection sur l'image [Lourgant, 2016]. Lorsque le taux d'infestation est trop important, la détection automatique des rangs de culture devient impossible.

<figure><img src="image_64.png" /></figure>

(source : [Griepentrog et al., 2005])

<caption>**Figure 2.31** – Détection des rangs de culture et distance des adventices</caption>

### 2.4.3 Propriétés de texture

Finalement, les propriétés de texture sont plus vastes et incluent entre autres, des transformations de l'image (Fourier, Ondelettes, espaces colorimétriques, ...), des propriétés spectrales ou encore des histogrammes. L'article [Mekhalfa and Yacef, 2021], teste les propriétés de texture et de couleur sur des images RGB de soja. Les caractéristiques de couleur proposées, sont les moyennes et les écart-types des trois bandes de l'image des espaces colorimétriques RGB et HSV. En termes de propriétés de texture, c'est-à-dire une analyse des distributions spatiales des couleurs, l'article se repose sur les caractéristiques GLCM (Gray-Level Cooccurrence Matrix), d'Haralick et de LBP (Local Binary Pattern). D'après l'étude, les résultats reposant sur ces propriétés ont donné des taux de classification entre 89.43% et 96.17%. La figure 2.32 après montre différentes transformations qui peuvent être appliquées. À partir de ces nouvelles données des propriétés statistiques sont extraites, comme l'histogramme, les moyennes, etc.

<figure><img src="image_65.png" /></figure>

De gauche à droite, les espaces colorimétriques RGB, HSV, YUB, et LAB, puis les transformations LBP, Laplacian et les valeurs propre minimum et maximum de la matrice hessienne

<caption>**Figure 2.32** – Exemple de transformation d'une image de haricot</caption>
### 2.4.4 Robustesse des propriétés

Les articles de revue de [Wu et al., 2021a] et de [Su, 2020] recensent les propriétés qui ont été utilisées pour la discrimination des adventices. Ces articles montrent également, que pour obtenir des propriétés discriminantes, ces dernières doivent si possible être invariantes ; c'est-à-dire qu'elles ne changent pas de valeur face à des transformations de l'entrée, par exemple, la translation, la rotation, le changement d'échelle ou la couleur. Chaque type de propriété présente donc des avantages et des inconvénients [Wu et al., 2021a]. Le tableau suivant 2.1 illustre les avantages et sources d'erreur de ces propriétés.

<table><caption>**Table 2.1** – Invariance et sources d'erreurs pour ces trois types de propriétés</caption><thead><tr><th></th><th></th><th></th></tr></thead><tbody><tr><td></td><td></td><td>T=Translation; R=Rotation; S=Scale; C=Color</td></tr><tr><td>Propriété</td><td>Invariance</td><td>Source d'erreur</td></tr><tr><td>Texture</td><td>T+S</td><td>Illumination; Ombres; Bruit; Mélange spectral</td></tr><tr><td>Shape</td><td>T+R+C</td><td>Segmentation; Occlusion; Résolution</td></tr><tr><td>Spatial</td><td>R+S+T+C</td><td>Intra-rang; Taux d'infestation</td></tr></tbody></table>

La similitude entre les adventices et les cultures rend difficile leur discrimination à partir de telles propriétés. C'est pourquoi, les chercheurs mélangent différentes sources d'information pour tirer les avantages de chacune d'elles, afin d'améliorer la précision et la robustesse du résultat. D'avantage de propriétés sont exposées dans le chapitre 6 qui est dédié à l'extraction, l'étalonnage et la sélection de propriétés.

### 2.4.5 Apprentissage profond

Dans l'approche par apprentissage profond, les réseaux de neurones convolutifs (CNN) sont populaires pour la reconnaissance et le traitement des images [Hasan et al., 2021]. Un ensemble de filtres de convolution est utilisé pour transformer l'image et en extraire des caractéristiques discriminantes ( textures, bords, formes). Pendant l'apprentissage, le CNN optimise les valeurs des filtres de convolution. Cette solution qui intègre la classification, permet de s'affranchir de l'extraction "manuelle" des propriétés telles que précédemment évoquée (texture, spatial, forme). Cette approche est de plus en plus utilisée [Hasan et al., 2021] pour la discrimination des adventices. L'article de [Peteinatos et al., 2020] montre des taux de classification entre 97.5 % et 97.8 % pour l'identification des adventices dans une culture de maïs. Des architectures plus avancées [Reedha et al., 2021] montrent des taux de classification entre 99.6 % et 99.8 %.

<figure><img src="image_66.png" /><figcaption>**Figure 2.33** – Exemple d'un CNN pour la classification de cellule</figcaption></figure>
## 2.5 Classification

La classification vise à identifier la catégorie à laquelle appartient un objet en se basant sur un ensemble de propriétés qui le décrit. Plus les données d'entrée sont variées (les descriptions de l'objet), plus il est "facile" pour la machine de trouver des modèles et plus le résultat est précis. De nombreux algorithmes d'apprentissage (machine learning), existent et se différencient en plusieurs domaines, dont [Yuan et al., 2019] en proposent une taxonomie (figure 2.34). Le but de cette section est simplement de montrer des exemples d'approches et non une présentation exhaustive des algorithmes. La plupart de ces méthodes de classification sont accessibles sous différents outils ou bibliothèques de programmation (shogun, mlpack, sklearn [Pedregosa et al., 2011], matlab ...).

<figure><img src="image_67.png" /><figcaption>Figure 2.34 – Taxonomie des algorithmes d'apprentissage machine</figcaption></figure>

### 2.5.1 Classification supervisée

L'objectif de la classification supervisée est de définir des règles qui permettent de classer les objets à partir de variables qualitatives ou quantitatives. Les règles de classification sont apprises en utilisant un échantillon d'apprentissage, contenant les variables discriminantes et leurs classements connus. La classification supervisée est une approche standard et privilégiée par la majorité des études, tout comme en agriculture de précision [Lourgant, 2016, p. 37] (knn, tree, svm, ...). Les réseaux de neurones [Lottes et al., 2018, Perumal and Bhaskaran, 2010, Koot, 2014] (ann, cnn, ...) font partie des méthodes de classification supervisée. La difficulté de cette méthode réside principalement dans la conception du jeu de données d'apprentissage.
### 2.5.1.1 Approche Bayésienne

Ici le but est de trouver en amont la distribution des classes afin de prédire l'appartenance de nouvelles données à partir d'une fonction de densité de probabilité connue. L'objectif est de réduire la probabilité d'erreur de classement [Dunsmore, 1966]. Lorsqu'une donnée est recouverte par plusieurs classes, c'est la classe dont la probabilité est la plus forte qui prend l'avantage. En cas d'égalité de probabilité, il n'y a pas de méthodes pour lever l'incertitude ce qui provoque une erreur de classification, comme dans le diagramme ci-dessus (figure 2.35).

<figure><img src="image_68.png" /><figcaption>Figure 2.35 – Règle de décision de Bayes</figcaption></figure>

La règle de décision de Bayes constitue en réalité la limite optimale de tout système de classification. Cette limite est théorique : face à un problème réel, les distributions des classes sont inconnues, ainsi que les probabilités a posteriori. Les différentes méthodes de résolution peuvent seulement en fournir des estimations. Cette erreur théorique constitue une borne infranchissable qui représente d'une certaine manière la difficulté intrinsèque du problème.

### 2.5.1.2 K Plus Proche Voisins

L'algorithme des KPPV ou KNN (K Nearest Neighbor) est un algorithme de classification et de régression. Dans cette méthode, on calcule la distance entre le point à classer et l'ensemble des autres points de toutes les classes d'une base de données de référence, on prend les *k* plus proches et la classe majoritaire identifie l'objet. C'est une méthode de référence lorsque les connaissances préalables sur la distribution des données sont insuffisantes [Peterson, 2009]. La figure 2.36 montre la classification du point noir en fonction de *K*. Quand *K* est pair il n'y a pas de classe majoritaire, ce qui implique une frontière d'indécision (visible en blanc, image central) et une heuristique supplémentaire peut être utilisée, par exemple en utilisant un voisin de moins (image de droite). Le choix de *K* et de l'heuristique est difficile. Si *K* est trop petit, la classification est trop sensible au bruit (image de gauche K=1). À l'inverse, si *K* est trop grand, la classification peut-être erronée par une trop grande zone de décision.

<figure><img src="image_69.png" /><figcaption>Figure 2.36 – Classification KNN : influence de K et de l'heuristique</figcaption></figure>
### 2.5.1.3 Perceptron

Le perceptron est le modèle de base des réseau de neurones [Rosenblatt, 1958]. Cet algorithme aide à trouver une droite de séparation entre deux sets de données par descente de gradient afin d'établir une classification des données entrées. Le perceptron recherche l'hyperplan séparateur entre deux classes de points (-1 et +1). L'hyperplan est défini par $f(x) = \sum_{i=1}^{n} w_i x_i + b = \langle w, x \rangle + b$ avec $w$ le vecteur orthogonal à l'hyperplan, $b$ le déplacement à l'origine et $n$ le nombre de dimensions. Lorsque davantage de classes sont évaluées, il est possible d'obtenir la classification grâce à plusieurs droites de séparation, une par paire de classe. Visible sur la figure 2.37, dont les axes correspondent à des propriétés quelconques.

<figure><img src="image_70.png" /><figcaption>Figure 2.37 – Perceptron</figcaption></figure>

### 2.5.1.4 Arbre de décision

L'objectif est de créer un modèle qui prédit la valeur d'une variable cible en apprenant des règles de décision simples déduites des caractéristiques des données. En combinant ces règles de décision, une structure arborescente est construite. Les feuilles finales représentent les classes et les branches représentent les conditions sur les caractéristiques qui mènent aux classes. Dans la figure suivante 2.38, en s'appuyant sur de la bibliographie, un arbre de décision peut-être manuellement construit pour classer des pixels en 3 classes (eau, sol, végétation) à partir d'un indice de végétation tel que le NDVI (voir section 2.2.3). Si celui-ci est inférieur à 0 alors c'est de l'eau, sinon, c'est "autre chose" et on continue. Cette approche peut être automatisée, pour chaque variable à disposition, une métrique est utilisée pour définir celle qui divise au mieux les ensembles (Gini Impurity / Information Gain / Variance / ...). Ensuite, la valeur de seuillage peut-être apprise par régression pour obtenir la meilleure séparation de deux ensembles. Cette solution présente l'avantage de donner l'importance aux propriétés et aux décisions associées, ce qui permet d'expliquer facilement la démarche de classification.

<figure><img src="image_71.png" /><figcaption>Figure 2.38 – Arbre de décision simple en agriculture de précision</figcaption></figure>
2.5.2 Classification non-supervisée

Les méthodes de classification non-supervisées, sont souvent basées sur des mesures de dis-
tance pour agglomérer les individus proches, sans avoir besoin de connaître la classe de l'individu
a priori. Cette approche propose deux grands intérêts, en agriculture de précision (i) l'absence
de base d'apprentissage annotée et (ii) de s'abstraire des conditions d'acquisition, qui sont alors
plus "uniformes", par exemple au sein de l'image. Dû à la faible séparabilité des propriétés ex-
traites entre culture et adventice, cette solution n'est pas encore utilisable pour cette tâche.
Cependant, elle reste applicable à la séparation sol/végétation, dont le seuillage Otsu présenté
précédemment en est un exemple de classification binaire.

**K-means** L'algorithme des k-means permet de regrouper les individus au sein de groupes (clus-
ters) distincts en utilisant une mesure de distance. Pour ce faire, on fixe des centres de groupes
de départ aléatoirement en quantité déterminée. Ce sont des informations à priori que nous
avons sur les données. Pour chaque donnée, on associe le centre le plus proche puis on recalcule
les nouveaux centres des clusters ainsi formés. Cette étape est ré-itérée tant qu'il n'y a pas
convergence, c'est-à-dire tant que les centres de chaque groupe ne sont pas stabilisés (avec une
tolérance). À l'issue de son exécution, l'algorithme des kmeans a alors associé chaque donnée à
un groupe.

<figure><img src="image_72.png" /><figcaption>**Figure 2.39** – Algorithme de classification K-Mean</figcaption></figure>

**DBSCAN** L'algorithme considère les clusters comme des zones de haute densité séparées par des zones de faible densité. Deux paramètres, *N* et *ϵ*, définissent formellement ce que signifie “dense”. On prend le premier individu et on vérifie combien de voisins sont autour de lui à une distance maximale de *ϵ*, si le nombre de voisins est inférieur à *N* c'est un “bruit”, sinon il fait partie d'un cluster. On crée alors une catégorie en y associant les points par propagation. On répète l'opération pour chaque individu non traité. Donc prendre un *N* plus élevé ou un *ϵ* plus faible, indiquent une plus grande densité nécessaire pour former un cluster. La méthode, illustrée sur la figure 2.40 montre en orange le bruit, en vert les premiers individus testés et en bleu ceux associés par propagation.

<figure><img src="image_73.png" /><figcaption>**Figure 2.40** – Illustration de la méthode de clustering DBSCAN</figcaption></figure>
### 2.5.3 Classification semi-supervisée

Un exemple est l'apprentissage d'un classificateur sur une petite base de données annotée. Ce dernier pourrait alors être optimisé dans le temps, à chaque nouvelle observation. Une littérature exhaustive sur les modèles d'apprentissage semi-supervisés a été effectuée par [Zhu, 2006]. Un autre exemple d'apprentissage semi-supervisé est le co-apprentissage, dans lequel deux classificateurs apprennent un ensemble de données, mais en utilisant chacun un ensemble de caractéristiques différentes, idéalement indépendantes.

**Connaissance a priori** L'étude [Lottes and Stachniss, 2017] met en place une méthode de détection d'adventices semi-supervisée (80-95%) dans laquelle ils exploitent le fait que la plupart des cultures sont plantées en rangées avec un espacement similaire le long du rang, ce qui peut être utilisé pour améliorer un classificateur existant. Cette même connaissance a été utilisée par [Louargant et al., 2018]. Une segmentation *Otsu* est utilisée pour séparer le sol de la végétation. Une détection de rang permet ensuite de créer un sous-ensemble d'apprentissage pour la discrimination culture/adventice, en utilisant des informations spectrales. Finalement, la classe de chaque composante connexe est déduite à partir de ces deux classifications (rang+spectre). Les résultats (75-85%) sont fortement dépendants de la résolution des images qui implique un fort mélange spectral et homogénéise les composantes connexes. Cette approche semble difficilement applicable en présence d'une densité importante de plantes.

**Espace latent** À partir d'un ensemble minimal de connaissances, la construction d'un espace latent qui représente ces individus peut être construit. On cherche alors à diminuer la variance intra-classe tout en maximisant la distance inter-classe, utilisée comme fonction de perte. À chaque nouvelle observation, l'individu est projeté dans l'espace latent et associé au cluster le plus proche. Quand suffisamment de nouvelles connaissances sont apportées, on peut renforcer la représentation de cette espace latent en minimisant une nouvelle fois la fonction de perte. Pour construire l'espace latent, différentes méthodes peuvent être utilisées, telles que l'apprentissage profond [Kamnitsas et al., 2018]. En agriculture de précision, on peut apprendre l'espace latent à partir d'un petit échantillon et à chaque nouvelle image, les cultures et les adventices précédemment classées sont utilisées pour optimiser l'espace latent, ce qui permet de prendre en considération les changements d'illumination ou de stade de développement des cultures.

<figure><img src="image_74.png" /><figcaption>**Figure 2.41** – Optimisation de l'espace latent</figcaption></figure>
## 2.6 Métriques d'évaluation

Pour évaluer une méthode (classification, régression, ...), de nombreuses métriques sont utilisées dans la littérature [Hossin and Sulaiman, 2015, Di Gregorio et al., 2008]. En fonction du problème étudié et de la nature de l'information traitée, les métriques utilisables pour estimer les performances d'un modèle sont différentes (Figure 2.42). Ainsi dans cette section chaque partie s'intéressera à un problème spécifique et présentera un ensemble de métriques permettant de le traiter.

<figure><img src="image_75.png" /><figcaption>Figure 2.42 – Evaluation des performances d'un modèle après apprentissage</figcaption></figure>

### 2.6.1 Classification

Pour faciliter la compréhension, nous resterons au cas binaire et nous noterons $y \in \{0, 1\}$ la vérité terrain et $p \in [0, 1]$ la prédiction. Ainsi, les métriques de performance pour la classification binaire sont conçues à partir de quatre quantités de bases de population. Définies par une matrice de confusion, ces quatre quantités sont : les vrais positifs (TP), les faux positifs (FP), les vrais négatifs (TN) et les faux négatifs (FN). Finalement pour obtenir ces quatre quantités fondamentales, un seuillage est appliqué à la prédiction $p$ tel que $p > 0.5$. Deux variables complémentaires sont introduites, données par $\bar{y} = 1 - y$ et $\bar{p} = 1 - p$. La matrice de confusion $C$ est donnée par :

$$C = \begin{bmatrix} TP & FN \\ FP & TN \end{bmatrix} = \sum_{i=0}^{N} \begin{bmatrix} y_i p_i & y_i \bar{p}_i \\ \bar{y}_i p_i & \bar{y}_i \bar{p}_i \end{bmatrix} \quad (2.1)$$

Il existe 21 métriques populaires que l'on peut calculer à partir de la matrice de confusion $C$ [Tharwat, 2020]. Tel que démontré par [Koyejo et al., 2014], la plupart des métriques issues de ces quatre quantités peuvent être dérivées de la fonction $\mathcal{L}$ définie ci-dessous :

$$\mathcal{L} = \frac{a_0 + a_{11}TP + a_{01}FP + a_{00}TN + a_{10}FN}{b_0 + b_{11}TP + b_{01}FP + b_{00}TN + b_{10}FN} \quad (2.2)$$

Parmi toutes ces métriques, les plus utilisées dans la littérature, sont : (i) le pourcentage de prédictions correctes (Accuracy), (ii) la précision (Precision) qui est la proportion des items pertinents (TP) parmi l'ensemble des items proposés (TP + FP), (iii) le rappel (Recall) qui est la proportion des items pertinents proposés (TP) parmi l'ensemble des items pertinents (TP + FN). Une mesure qui combine la précision et le rappel est leur moyenne harmonique (F-score), donnée par la fonction générique $\mathcal{F}_\beta$ définie ci-dessous. À titre d'exemple, après simplification, la fonction $\mathcal{F}_1$ (aussi appelée Dice) est également proposée :

$$\mathcal{F}_{\beta} = \frac{(1 + \beta^2) \cdot \text{precision} \cdot \text{recall}}{\beta^2 \cdot \text{precision} + \text{recall}} \qquad \mathcal{F}_1 = \frac{2TP}{2TP + FP + FN} \quad (2.3)$$

Cependant, les métriques issues de la matrice de confusion peuvent être trompeuses, surtout en présence de déséquilibre important dans la population des classes. Pour corriger ce problème, une pondération (par la population respective) des éléments de la matrice de confusion peut être effectuée [Tripicchio et al., 2020].
## 2.6.2 Régression et calibration

Les méthodes de régression visent à apprendre un modèle qui transforme des variables conti- nues $(x_i)$ vers un vecteur dans un espace continu de dimension $\mathbb{R}^N$ [Di Gregorio et al., 2008]. Pour la suite, on notera $y$ une observation attendue et $p$ une prédiction du modèle. Les indices $y_i$ et $p_i$ se réfèrent aux dimensions des variables.

**Fonction de perte** Une fonction de perte mesure la distance entre deux vecteurs, que l'on appelle aussi une fonction de dissimilarité, d'erreur ou de distance. Dans ce cas, plus la fonction $f(y, p)$ diminue, moins l'erreur est importante. On cherche donc à minimiser cette fonction. Il existe différentes mesures de distance dont la plus courante est la distance euclidienne. Cette distance euclidienne se note $L^2$ et est dérivée de la norme $L^p$ (ou distance de Minkowski) définie ci-dessous. Elle synthétise une partie des mesures de distance. Il existe deux cas particuliers : $L^0$ qui n'est pas considérée comme une norme et $L^\infty$ également définie ci-dessous.

$$L^{\alpha} = \sqrt[\alpha]{\sum_{i=0}^{N} |y_i - p_i|^{\alpha}} \qquad L^{\infty} = \max_{i=0,...,N} (|y_i - p_i|) \qquad (2.4)$$

À partir de cette norme $L^p$, différentes variantes ont été utilisées dans la littérature ; notamment l'erreur absolue ($L^1$), l'erreur quadratique (($L^2$)$^2$), ou encore la distance de Mahalanobis ($L^2$ avec prise en compte d'une matrice de covariance). D'autres variantes existent pour des cas particuliers, ce qui signifie que cette base doit être adaptée en fonction de la nature de l'information et du problème. Par exemple la fonction $\Delta E_{00}$ calcule la distance perceptuelle entre deux couleurs, en prennant en considération différents espaces colorimétriques. Elle est donc utile pour la calibration d'une caméra à l'aide d'une mire.

$$\Delta E_{00} = \sqrt{(\frac{\Delta L'}{k_L S_L})^2 + (\frac{\Delta C'}{k_C S_C})^2 + (\frac{\Delta H'}{k_H S_H})^2 + R_T \frac{\Delta C'}{k_C S_C} \frac{\Delta H'}{k_H S_H}} \qquad (2.5)$$

**Fonction objectif** Une fonction objectif mesure la ressemblance entre deux vecteurs, que l'on appelle aussi fonction de similarité. Dans ce cas, plus la fonction $f(y, p)$ diminue, plus l'erreur est importante. On cherche donc à maximiser cette fonction. La fonction de similarité du cosinus est la plus connue et est souvent utilisée pour mesurer la distance entre des vecteurs lorsque la magnitude (taille) des vecteurs n'a pas d'importance. C'est souvent le cas lorsque l'on travaille avec des données textuelles, où la seule chose qui compte est la fréquence d'apparition de chaque mot dans chaque texte. Cette similarité est toujours comprise entre 0 et 1, où 1 correspond à une similarité parfaite et 0 à aucune similarité.

**Réciproque** Une fonction de perte peut être définie par une fonction objectif (et inversement) telle-que : $g(x) = 1 - f(x)$ si $f(x) \in [0, 1]$. D'autres fonctions existent, par exemple, en utilisant l'équation 2.2 mais sans seuillage sur $p$, on retrouve alors les fonctions de perte utilisées en segmentation d'image, telles-que "Dice" (equation 2.3) ou $mIoU = 1 - yp \div (yp + \bar{yp} + y\bar{p})$.

**Observations multiples** Les distances précédemment introduites permettent de calculer l'erreur entre deux points, pour l'étendre à l'ensemble des observations, une somme ou une moyenne entre toutes les observations est alors utilisée. On retrouve alors les métriques suivantes : Mean Absolute Error (MAE), Root Mean Squared Error (RMSE), Sum Absolute Error (SAE), etc.
## 2.7 Applications en agriculture

En agriculture de précision, deux grands axes se dessinent pour la segmentation des plantes [Hu et al., 2021]. Soit (i) par l'utilisation d'une chaîne de traitement, telle que précédemment présentée avec ses différentes étapes [Perez-Sanz et al., 2017, Wang et al., 2019b]. Cette approche a été et est encore largement utilisée dans de nombreux secteurs. L'un des outils les plus connus pour cette tâche, en agriculture de précision est peut-être PlantCV [Fahlgren et al., 2015, Gehan et al., 2017]. Cet outil est encore en développement actif, récemment [Gutierrez Ortega et al., 2021] ont proposé des améliorations pour la segmentation de plantes se superposant. Soit (ii) par le développement d'approches par apprentissage profond, qui se sont largement répandues ces dernières années, les revues de [Kamilaris and Prenafeta-Boldú, 2018, Hu et al., 2021, Hasan et al., 2021, Osco et al., 2021] et [Wang et al., 2022] ont fait état de l'utilisation du deep-learning en agriculture de précision. Dans les parties suivantes, une rapide comparaison entre les méthodes classiques (chaîne de traitement) et modernes (apprentissage profond) sera présentée pour donner des exemples et aider à en comprendre le principe. Toutefois, des comparaisons plus détaillées ont été proposées par [Wu et al., 2021b] et [Salisu Abubakar et al., 2021].

### 2.7.1 Échelle du pixel et voisinage proche

L'utilisation d'une chaîne de traitement traditionnelle est peu répandue lorsque l'on souhaite travailler à l'échelle du pixel. En effet, l'utilisation de propriétés de textures (qui nécessitent la définition d'un élément structurant englobant plusieurs pixels et l'étude d'objets de taille plus importante) améliore rapidement les performances de classification. Une étude a cependant été effectuée sur des données RGB, par [R.S and Palanisamy, 2010]. L'algorithme proposé est visé en deux étapes, la première consiste à séparer les plantes de l'arrière-plan (segmentation sol/végétation) à l'aide de l'indice de végétation ExcessGreen sur lequel un seuillage est appliqué. La deuxième étape consiste à séparer les adventices des plantes d'intérêt. Les auteurs se reposent sur le fait que les pixels qui sont liés aux cultures ont une composante verte plus élevée. Une opération logique est alors définie pour détecter les cultures, telle que si les valeurs du pixel respectent l'équation (Green > Red) * (Green > Blue), il sera classifié comme culture. Pour détecter les adventices, un ensemble d'opérations morphologiques est appliqué sur le masque des cultures avant de le soustraire au masque de végétation. Étant donné que les données RGB ont un potentiel de discrimination limité, d'autres études utilisant des données multispectrales [Zwiggelaar, 1998] ou hyperspectrales ont permis d'obtenir de meilleures performances. C'est ce que propose l'étude de [Herrmann et al., 2013] avec une correction radiométrique et une analyse de type *Partial Least Squares Discriminant Analysis*. Cette dernière permet à la fois de détecter les bandes spectrales les plus utiles pour la discrimination et de définir un modèle de classification de forme linéaire. Chaque pixel est ensuite classé en fonction de ce modèle.

Les approches deep-learning ont par contre été largement exploitées en agriculture de précision pour détecter de la végétation. L'approche la plus simple consiste à utiliser et à apprendre une architecture U-Net (précédemment présentée), c'est ce que proposent [Ma et al., 2019, Brilhador et al., 2019] et [Fawakherji et al., 2019]. Cette approche comporte toujours de l'intérêt, [Singh et al., 2022] a testé trois types de réseaux convolutifs (VGG16, InceptionV3 et ResNet34) pour détecter les boules de coton dans les champs de culture. D'autres modèles, on été testés par [Khan et al., 2020] pour une discrimination des adventices avec les modèles SegNet, U-Net, FCN-8s, DeepLabv3 et CED-Net.
### 2.7.2 Échelle de la fenêtre

Dans cette approche, le principe consiste à découper l'image en N sous-images (Figure 2.21). L'article de [Rasti et al., 2019] propose une comparaison entre des approches standards et une approche deep-learning, pour la discrimination culture/adventice dans la mâche. Concernant l'approche standard, un ensemble de propriétés ont été extraites afin d'évaluer leurs potentiels de discrimination. L'algorithme de décomposition en ondelettes est comparé avec des techniques à une seule échelle et à plusieurs échelles telles que LBP, GLCM, le filtre de Gabor et le réseau de neurones convolutifs (visible en figure 2.43).

<figure><img src="image_76.png" /><figcaption>Figure 2.43 – Architecture CNN proposée</figcaption></figure>

Pour les approches standards, les résultats expérimentaux de cette étude ont révélé que l'algorithme de décomposition en ondelettes permettait de mieux détecter les adventices que les autres méthodes proposées. La variété des méthodes testées contribue à confirmer l'efficacité de l'utilisation de cet algorithme sur cette tâche de discrimination culture/adventice. En revanche, l'utilisation d'un CNN donne de meilleurs résultats lorsque la taille de l'ensemble d'apprentissage augmente considérablement, montré sur la figure 2.44 ci-dessous :

<figure><img src="image_77.png" /><figcaption>Figure 2.44 – Comparaison de la précision de reconnaissance entre décomposition en ondelettes et apprentissage profond, en fonction du nombre d'échantillons</figcaption></figure>
### 2.7.3 Composantes connexes et super-pixels

Actuellement, la plupart des cultures sont semées en rangs réguliers, séparés par un espace défini qui dépend du type de culture et de la conduite choisie. En général, les plantes qui poussent en dehors des rangs sont considérées comme des adventices, communément appelées adventices inter-rangs. L'utilisation de composantes connexes semble souvent exploiter cette spécificité. C'est ce que proposent les deux approches de [Louargant et al., 2018] et [Bah et al., 2018a], qui sont très similaires, bien que la première utilise une chaîne de traitement et la seconde de l'apprentissage profond.

#### 2.7.3.1 Composantes connexes

Concernant [Louargant et al., 2018] une chaîne de traitement est proposée et se compose d'une première étape de prétraitement sur les données. Une correction radiométrique et géométrique est utilisée. Ensuite, un algorithme de détection des rangs (transformée de Hough) est utilisé, ce qui permet d'obtenir les rangs de culture qui seront utilisés par la suite. Une segmentation sémantique est utilisée pour discriminer le sol de la végétation. Pour ce faire, un seuillage utilisant la méthode d'Otsu est appliqué sur un indice de végétation (NDVI). À partir de cette segmentation, les composantes connexes sont extraites. En fonction de la distance au rang de culture et des propriétés de forme des composantes, ces dernières sont pré-classées entre culture et adventice, puisque les adventices poussent majoritairement entre les rangs de culture. Finalement, ce pré-classement est utilisé pour initialiser un SVM utilisant des propriétés spectrales depuis les composantes connexes. Ce qui permet de reclasser les adventices intra-rangs. Ces étapes sont synthétisées sur la figure 2.45. Une approche similaire est proposée par [De Castro et al., 2018].

<figure><img src="image_78.png" /><figcaption>**Figure 2.45** – Algorithme proposé par [Louargant et al., 2018], (a) détection des rangs (b) constitution d'une base d'apprentissage (c) classification spectrale et (d) reclassement des adventices intra-rangs</figcaption></figure>
2.7.3.2 Super-pixels

[Bah et al., 2018a] proposent deux solutions, l'une basée sur une approche chaîne de traitement et l'autre sur l'utilisation d'un réseau de neurones. Ce qui permet de comparer ces deux approches sur un même jeux de données. Tout d'abord, une détection des rangs (Hough) de culture est utilisée. Ensuite, un algorithme de segmentation en super-pixel permet d'obtenir des entités. Les entités croisant les rangs visibles sont considérées comme de la culture, celles plus éloignées sont considérées comme adventices, ce qui permet encore une fois de constituer un jeu de donnée d'apprentissage. À partir de ce jeu d'apprentissage – de la même façon que [Louargant et al., 2018] – la dernière étape permet de reclasser les adventices intra-rangs à partir de ce premier pré- classement utilisant les rangs de culture. Pour ce faire, deux approches sont comparées. Soit l'utilisation de critères classiques (HoG, LBP, géométrique, ...) et l'utilisation d'un algorithme de classification (SVM). Soit l'utilisation d'apprentissage profond avec un CNN pour la classification de textures (ici ResNet) tel que synthétisé sur la figure suivante 2.46.

<figure><img src="image_79.png" /><figcaption>**Figure 2.46** – Schéma de la méthode proposée par [Bah et al., 2018a]</figcaption></figure>

Cette approche de segmentation en super-pixel a également été proposée par [Gée et al., 2021] avec l'utilisation d'une chaîne de traitement classique. La première étape consiste à séparer le sol de la végétation. Ici, plusieurs indices de végétation (ExG, ExR, CIVE, ...) sont combinés via un algorithme de classification (VotingClassifier), combinaison dénommée "MetaIndex". Basée sur les travaux de [Bah et al., 2018a], une segmentation en super-pixels est proposée (SLIC) mais appliquée sur le "MetaIndex". À partir de chaque super-pixel, une fenêtre est extraite (128 × 128) et des propriétés sont calculées grâce à l'extraction de points clés et l'apprentissage d'un algorithme nommé "Bag of Visual Word". Ces éléments sont finalement classés via une classification SVM.
2.7.4 Échelle de la plante

La dernière possibilité consiste à détecter des formes plus précises dans l'image. L'étude de [Osorio et al., 2020] est intéressante dans le sens où elle compare une méthode classique (chaîne de traitement) à deux méthodes de deep-learning (Yolo et mask-RCNN). L'ensemble est appliqué à des données multispectrale de laitue, pour la détection des adventices. Un exemple de résultats de ces trois méthodes est montrées ci-dessous, en figure 2.47.

(source : [Osorio et al., 2020])

<figure><img src="image_80.png" /><figcaption>**Figure 2.47** – Images résultantes : (a) Image prétraitée. (b) Méthode 1, chaîne de traitement. (c) Méthode 2, Yolo. Et (d) Méthode 3, mask-RCNN.</figcaption></figure>

Concernant la première méthode, les auteurs se reposent sur un histogramme de gradients orientés (HOG). Cette technique a été utilisée pour extraire les caractéristiques de chaque objet de l'image, calculées à partir d'un indice de végétation (NDVI). Ensuite une classification par SVM permet de séparer ces objets entre “laitue” (culture) et “non-laitue” (adventices). Cette première classification est utilisée pour détecter les masques des objets “laitue”, qui sont alors soustraits au masque de végétation (obtenu par une segmentation Otsu sur le NDVI). Le résultat est donc un masque de segmentation sémantique “adventices”. La deuxième méthode proposée par les auteurs, consiste à utiliser un réseau de neurones de type YOLO. Ce dernier permet de détecter les fenêtres qui contiennent les laitues sur les données RGB. Comme précédemment, ces détections sont utilisées pour générer des masques de segmentation, qui sont soustraits à une segmentation Otsu appliquée au NDVI. Il en résulte encore une fois un masque de segmentation sémantique “adventices”. Le même principe est appliqué sur la dernière méthode, en utilisant les masques générés par un mask-RCNN.

Les résultats de cette étude montrent que seule la deuxième méthode (YOLO) obtient des vitesses de calcul suffisantes pour un traitement temps réel. En effet l'utilisation d'un mask-RCNN est souvent coûteuse en temps de calculs pour détecter les masques des cultures. La première méthode n'est pas optimisée sur GPU, ce qui explique probablement les temps de calcul plus long, en particulier pour la phase de classification SVM. Dans tous les cas, les méthodes basées sur des réseaux de neurones (Yolo et mask-RCNN) donnent les mêmes taux de classification, tandis que la première est correcte mais moins performante. A titre indicatif, les résultats sont de 79%, 89% et 89%, respectivement pour les méthodes 1, 2 et 3.

Les auteurs concluent que, le modèle YOLO est attrayant, en raison de sa rapidité et des performances démontrées. Cependant, le modèle mask-RCNN s'est distingué dans cette étude par sa capacité à détecter les contours précisément. Il a aussi été démontré que la méthode 1 (HOG-SVM) a obtenu de très bons résultats, et compte tenu du fait qu'elle nécessite moins de capacité de traitement, elle constitue une très bonne alternative pour les solutions IoT.
## 2.8 Conclusion de chapitre

À travers ce chapitre, nous avons vu que les possibilités sont nombreuses. Dans la chaîne de traitements classiques, on a des traitements de base sur l'image, puis une segmentation des individus et enfin, on a un ensemble de critères sur ces individus qui peuvent être utilisés pour les classer. Parallèlement, l'apprentissage profond est une méthode qui se développe beaucoup [Kamilaris and Prenafeta-Boldú, 2018], pour passer directement d'une image brute à une image classée. Elle offre de très bonnes performances, mais peu interprétables et nécessite des bases de données d'apprentissage conséquentes. Nous avons également vu que chaque étape de la chaîne de traitement classique peut reposer sur des solutions d'apprentissage profond. Cette approche n'est pas encore utilisée en agriculture de précision, il nous a paru intéressant d'introduire certaines de ces méthodes. Ainsi, cette thèse établit des recherches selon un nouvel axe d'investigation, tout en conservant une architecture standard, visible sur la figure suivante 2.48. Le chemin 1, en bleu, correspond à la chaîne de traitement standard, le chemin 3, en orange à l'approche "tout deep-learning" et le chemin 2, en vert, représente l'approche développée.

<figure><img src="image_81.png" /><figcaption>Figure 2.48 – Chaînes de traitement</figcaption></figure>

**Pré-traitement** En terme de méthode de pré-traitement, une correction géométrique a été réalisée et une méthode d'enregistrement des bandes spectrales a été proposée (présentation à la conférence VISAPP). L'utilisation d'un dispositif d'étalonnage, étant inadéquate dans nos conditions d'acquisition, aucune correction radiométrique n'a été utilisée.

**De nouveaux indices** Durant cette thèse, une réflexion a été conduite afin de proposer des indices de végétation optimaux ne nécessitant pas de calibration radiométrique. Ces nouveaux indices reposent sur un apprentissage et des approximateurs de fonction, tout en utilisant l'ensemble des bandes spectrales du dispositif d'acquisition.

**Segmentation** Détecter les plantes est difficile, en particulier en présence de recouvrement. Nous proposons un travail à une échelle plus fine, celui de la feuille, afin de caractériser le couvert végétal avec précision. Ce travail repose sur une extension des indices de végétation précédemment développés. Les algorithmes de segmentation de feuilles proposés ici fonctionnent en feuillage dense et avec un éclairage non contrôlé.

**Propriétés** Dans cette thèse, nous avons voulu évaluer un ensemble de critères standards; ensemble beaucoup plus vaste que ce qui est proposé dans la littérature. Tout d'abord, ces critères ont été étalonnés pour optimiser leurs potentiels de discrimination. Il s'agira ensuite de définir parmi ces critères, ceux qui sont clairement les plus discriminants.

**Classification** Ici aucune avancée fondamentale n'est proposée. Cependant, notre choix s'est porté sur des techniques de fouilles de données. Ce qui permet de définir les propriétés les plus discriminantes, tout en proposant un modèle de sortie "explicable".
# 3 Matériel et données

## 3.1 Les sites expérimentaux

### 3.1.0.1 Expérimentations en micro-parcelles

Une parcelle expérimentale a été mise en place à AgroSup Dijon (semée le 01/06/2019), afin de réaliser des acquisitions à différents stades de développement des cultures et des adventices (figure 3.1 gauche) et de préparer le challenge. Cette parcelle expérimentale a été découpée en 4 micro-parcelles de 9 m par 60 cm pour 4 cultures (de bas en haut : maïs, orge, féverole, trèfle) et trois rangs de cultures ont été semés pour chaque bande. Les adventices ont poussé naturellement et chaque bande a également été divisée en 3 modalités de désherbage de 3 m (faible < 20 %, partiel 40 – 60 % et aucun), dans le but de montrer l'impact de la segmentation sur le potentiel de discrimination. La parcelle a été préparée et semée manuellement.

### 3.1.0.2 Expérimentations en parcelles agricoles

Des acquisitions en parcelles agricoles ont été réalisées dans le cadre du challenge RoSE, avec le consortium ROSEAU. La parcelle expérimentale est gérée par OPEROSE [Avrin et al., 2020], équipe s'occupant des aspects opérationnels (entretiens, itinéraires techniques, ...) de l'ANR Challenge RoSE, localisée sur le site INRAE, Domaine des Palaquins, Montoldre dans l'Allier (figure 3.1 droite). Cette équipe organise les campagnes d'évaluations, permettant de mesurer la progression des performances et la maturité technologique des équipes au sein de l'ANR RoSE.

La parcelle expérimentale est divisée en plusieurs rangs de tests, dont un rang de maïs (inter-rang 75 cm – 80 cm) et un rang de haricot (inter-rang 15 cm – 37 cm) dédiés à la tâche de détection. Des adventices naturelles sont présentes, comme la matricaire, la renouée des oiseaux, le chénopode, la sétaire, la morelle, ou la digitaire. Des adventices "modèles" ont été semées dans l'intra-rang, qui comporte de la moutarde, de la vesce, du trèfle, des lentilles, du ray-grass, de l'avoine, de la fétuque, et des dactyles.

<figure><img src="image_82.png" /><figcaption>**Figure 3.1** – Parcelle pour les premières expérimentations (rouge) à gauche et parcelles utilisées par le consortium ROSEAU (droite)</figcaption></figure>
## 3.2 Capteur optique

Toutes les données ont été acquises avec la caméra multispectrale Airphen de la société Hiphen (Avignon, France). Ceci permettra de comparer plus facilement le niveau de discrimination de nos critères, en fonction des situations. Le système optique dispose de 6 capteurs optiques disposés en damier (figure 3.2). Chacun capteur se compose d'un CCD 4/3" (Taille : 4.8 mm × 3.6 mm) et d'une focale de 8 mm et est équipé d'un filtre interférentiel de 10 mm. Les 6 images acquises ont une taille de 1280 × 960 px et sont enregistrées au format TIFF avec un codage entier sur 12 bits.

<figure><img src="image_83.png" /><figcaption>**Figure 3.2 –** Système optique de la caméra Airphen (Société Hiphen, France)</figcaption></figure>

Pour caractériser la végétation, le choix des bandes spectrales retenues pour les filtres interférentiels a été défini lors d'une étude précédente, conduite durant la thèse de [Lourgant, 2016]. Le travail effectué consistait à chercher les longueurs d'onde optimales pour la discrimination culture/adventices. Plusieurs méthodes ont été utilisées et une synthèse a permis de sélectionner les filtres les plus discriminants. Ils sont respectivement centrés sur 450, 570, 675, 710, 730 et 850 nm (figure 3.3). Ces longueurs d'onde seront utiles pour le calcul des indices de végétation, la segmentation et l'extraction des informations pour la discrimination culture/adventices.

<figure><img src="image_84.png" /><figcaption>**Figure 3.3 –** Réponse spectrale des 6 filtres interférentiels placés devant les capteurs de la caméra multispectrale</figcaption></figure>
## 3.3 Jeux de données

### 3.3.1 Campagnes d'acquisition

**Micro-parcelles** Un premier jeu de données a été acquis afin de tester et d'élaborer les différentes étapes de la chaîne fonctionnelle. La caméra multispectrale est embarquée sur une brouette thermique modifiée afin d'être dans les mêmes conditions expérimentales que le challenge ROSE. Les acquisitions ont été réalisées au mois de Juillet à quatre dates espacées d'une semaine. Le tableau 3.1 synthétise ces acquisitions. Cependant, durant cette période, la sécheresse a beaucoup impacté les cultures et les adventices ne permettant pas d'utiliser ces données pour montrer l'impact de la segmentation sur le potentiel de discrimination. Certaines de ces données ont néanmoins été utilisées pour calibrer la caméra et établir des indices de végétation optimaux. Notons que le maïs, qui est absent du tableau 3.1, n'a simplement pas levé. Finalement, les féveroles à la quatrième acquisition étaient en sénescence.

<table><caption>**Table 3.1** – Dates d'acquisition, cultures et nombre d'images acquises</caption><thead><tr><th>Culture</th><th>10/07/2019</th><th>17/07/2019</th><th>24/07/2019</th><th>31/07/2019</th></tr></thead><tbody><tr><td>Orge 1</td><td>61</td><td>65</td><td>53</td><td>40</td></tr><tr><td>Orge 2</td><td>74</td><td>58</td><td>70</td><td>64</td></tr><tr><td>Féverole 1</td><td>51</td><td>66</td><td>51</td><td>—</td></tr><tr><td>Féverole 2</td><td>90</td><td>68</td><td>70</td><td>—</td></tr><tr><td>Trèfle 1</td><td>68</td><td>78</td><td>48</td><td>48</td></tr><tr><td>Trèfle 2</td><td>62</td><td>73</td><td>81</td><td>69</td></tr></tbody></table>

**Challenge RoSE** Pour les acquisitions réalisées avec le consortium ROSEAU, la caméra multispectrale Airphen a été embarquée sur le robot PUMAGRI (Figure 3.4) de la société SITIA. C'est un robot autonome destiné à la gestion localisée des adventices disposant de différents outils pour le désherbage (mécanique ou chimique). Dans le cadre de cette thèse, seule la partie détection des adventices est évaluée. Le challenge s'est déroulé sur trois ans entre 2018 et 2021, avec une campagne d'acquisition la première année, et deux les suivantes. Le nombre d'acquisitions par culture est synthétisé sur le tableau 3.2. Cette thèse ayant commencé en Décembre 2018, nous n'avons pas participé au premier challenge. De plus, le challenge 5 devant se dérouler en juin a finalement du être repoussé à cause des conditions météorologiques.

<table><caption>**Table 3.2** – Nombre d'images obtenues lors des campagnes d'acquisition du challenge RoSE</caption><thead><tr><th>Culture</th><th>25/09/2019</th><th>10/06/2020</th><th>23/10/2020</th><th>13/09/2021</th></tr></thead><tbody><tr><td>Haricot</td><td>403</td><td>438</td><td>458</td><td>434</td></tr><tr><td>Maïs</td><td>405</td><td>390</td><td>482</td><td>433</td></tr></tbody></table>

<figure><img src="image_85.png" /><figcaption>**Figure 3.4** – Robot et caméra utilisés par le consortium ROSEAU</figcaption></figure>
### 3.3.2 Annotations

#### 3.3.2.1 Micro-parcelles

Les données acquises durant les expérimentations en micro-parcelles représentent un total de 1408 images multispectrales. Chaque image a été annotée individuellement et manuellement pour la discrimination sol/végétation. Les annotations sont définies par des masques de segmentation binaire (noir = sol ou blanc = végétation). À titre d'illustration, la figure 3.5 montre à gauche une reconstruction en fausses couleurs d'une culture de maïs (dans un champ avec diverses mauvaises herbes et la présence d'ombres dans les coins de l'image) et montre à droite le masque de segmentation associé.

<figure><img src="image_86.png" /><figcaption>**Figure 3.5** – Fausses couleurs à gauche et vérité terrain manuelle correspondante à droite</figcaption></figure>

Ces données n'ont pas été annotées pour la discrimination culture/adventices. En effet, au moment de leur acquisition, le choix du niveau de segmentation nécessaire et la définition des individus (pixel, composante connexe, plante, ou feuille) étaient en cours de discussion.

#### 3.3.2.2 Challenge RoSE

Les acquisitions faites durant les challenges RoSE représentent 3443 images multispectrales. Dû à cette quantité et au temps nécessaire à leurs annotations seule une partie a été annotée. Les conditions propices (beau temps, sans vent) du challenge 2 et 3 ont permis de définir une base de données annotée de 300 images de haricots et de 92 images de maïs, pour la détection des feuilles. Ce qui n'a pas été le cas lors des challenges 4 et 5 (pluie et vent). En revanche, les mauvaises conditions ont été utilisées pour renforcer “nos” indices de végétations, que l'on présentera plus loin dans le chapitre 4. Les annotations des feuilles ont été sous-traitées par la société Infolks (Inde) pour la partie haricot, et les annotations du maïs ont été faites en interne avec le logiciel VIA [Dutta and Zisserman, 2019]. Ainsi, chaque feuille est associée à un polygone et à une étiquette (culture/adventice) comme représenté sur la figure suivante 3.6.

<figure><img src="image_87.png" /><figcaption>**Figure 3.6** – Annotation pour la discrimination des feuilles, entre culture et adventices</figcaption></figure>
### 3.3.2.3 Autres jeux de données

Les algorithmes mis en place dans la suite de la thèse et notamment pour l'article intitulé « Pixelwise Instance Segmentation Of Leaves In Dense Foliage », ont nécessité des bases de données supplémentaires.

Le premier jeu de données et a été fourni par le Réseau international sur le phénotypage des plantes (INPP) pour le Leaf Segmentation Challenge (LSC [Scharr et al., 2017]). Le jeu de données est en open-access. Il est composé d'images RGB de plantes Arabidopsis Thaliana (783 images) et de plantes de Rosette (27 images) segmentées en plusieurs feuilles (Figure 3.7). Les auteurs indiquent que les images ont été collectées à partir de plusieurs endroits dans une chambre de croissance expérimentale. Cette base de donnée est également acquis avec quatre caméras différentes et résolutions différentes.

<figure><img src="image_88.png" /><figcaption>**Figure 3.7** – Exemples issues de la base de données CVPPP (haut) et vérité terrain (bas)</figcaption></figure>

Le deuxième jeu de données, Komatsuna, consiste en des images RGB de 137 plantes prises en vue de dessus. Ce jeu de données comprend 900 images de taille 480 x 480 pixels et contient un grand nombre de stades de croissance des plantes (138). Il a été conçu pour résoudre le problème du phénotypage 3D [Uchiyama et al., 2017].

<figure><img src="image_89.png" /><figcaption>**Figure 3.8** – Exemples issues de la base de données Komatsuna (haut) et vérité terrain (bas)</figcaption></figure>
# 3.4 Calibration

## 3.4.1 Résolution spatiale

La caméra multispectrale Airphen est habituellement dédiée à des applications drone avec une optique optimisée pour des vols supérieurs à 25 m d'altitude. Dans le cadre du challenge RoSE, cette caméra est destinée à être fixée en amont du robot terrestre. La fauchée ou emprise au sol de l'image, représentée par le rectangle projeté, sur la figure 3.9, est fonction de l'altitude, de la taille du capteur et de la distance focale.

<figure><img src="image_90.png" /><figcaption>**Figure 3.9** – Relation entre paramètres du monde réel et ceux du monde virtuel</figcaption></figure>

À titre indicatif, le tableau suivant 3.3 montre les largeurs et longueurs de la zone observée par cette caméra en fonction de la hauteur. La résolution spatiale des pixels en millimètres est également renseignée. À basse altitude, la résolution des images est haute, a contrario plus la hauteur augmente, plus la zone observée est grande et plus la résolution spatiale des pixels est faible. Ainsi, à 1.80 m d'altitude, la zone observée est de $1.08 \times 0.81 \text{ m}$ avec une résolution spatiale des pixels de $0.84 \text{ mm}^2/\text{px}$. Ce qui permet d'observer les rangs de culture, tout en prenant une marge d'erreur sur les bords, nécessaire entre autres au recalage des images multispectrales.

<table><caption>**Table 3.3** – Résolution spatiale des images à différentes hauteur</caption><thead><tr><th>Hauteur</th><th>1.00</th><th>1.20</th><th>1.40</th><th>1.60</th><th>1.80</th><th>2.00</th><th>2.20</th><th>2.40</th><th>2.60</th><th>2.80</th><th>3.00</th><th>Unité</th></tr></thead><tbody><tr><th>Longueur</th><td>0.45</td><td>0.54</td><td>0.63</td><td>0.72</td><td>0.81</td><td>0.90</td><td>0.99</td><td>1.08</td><td>1.17</td><td>1.26</td><td>1.35</td><td>m</td></tr><tr><th>Largeur</th><td>0.60</td><td>0.72</td><td>0.84</td><td>0.96</td><td>1.08</td><td>1.20</td><td>1.32</td><td>1.44</td><td>1.56</td><td>1.68</td><td>1.80</td><td>m</td></tr><tr><th>Résolution</th><td>0.47</td><td>0.56</td><td>0.66</td><td>0.75</td><td>0.84</td><td>0.94</td><td>1.03</td><td>1.12</td><td>1.22</td><td>1.31</td><td>1.41</td><td>mm<sup>2</sup>/px</td></tr></tbody></table>
### 3.4.2 Correction géométrique

Comme nous l'avons vu dans le chapitre précédent, à la section 2.2.1, l'une des premières source d'erreur est issue de l'alignement du capteur et de la lentille. Le fournisseur de la caméra Airphen ne propose pas de calibration des lentilles, une correction de ces dernières (6 capteurs optiques) a été faite pour corriger les déformations visuellement perceptibles. Chaque capteur dispose d'une lentille dont les spécifications sont identiques entre elles, mais peuvent légèrement différer en sortie de fabrication. Pour détecter les déformations, un échiquier calibré a été photographié sous différents angles de vue (figure 3.10). Ainsi 204 images ont été acquises pour chaque longueur d'onde.

<figure><img src="image_91.png" /><figcaption>**Figure 3.10 – Échiquier de calibration géométrique**</figcaption></figure>

Le modèle standard de distorsion est obtenu par l'ajout de la distorsion tangentielle aux modèles de distorsion radiale et d'un modèle de distorsion prismatique [Wang et al., 2008]. La fonction $\Phi$ ci-dessous (3.1) définit le mappage polynomial $2D \to 2D$ du modèle de distorsion.

$$ \Phi \begin{pmatrix} x_d \\ y_d \end{pmatrix} = \begin{pmatrix} x_d (1 + k_1 r^2 + k_2 r^4 + k_3 r^6) + 2p_1 x_d y_d + p_2 (r^2 + 2x_d^2) + s_1 r^2 + s_2 r^4 \\ y_d (1 + k_1 r^2 + k_2 r^4 + k_3 r^6) + 2p_2 x_d y_d + p_1 (r^2 + 2y_d^2) + s_3 r^2 + s_4 r^4 \end{pmatrix} \quad (3.1) $$

Où $r^2 = x_d^2 + y_d^2$, $(x_d, y_d)^t$ sont les coordonnées distordues et normalisées. La fonction $\Phi$ donne en sortie les coordonnées image normalisées corrigées, notées $(x_u, y_u)^t$. Les coordonnées image normalisées sont calculées par translation du centre optique et divisées par la profondeur de la focale en pixel. Ainsi, $(x_u, y_u)^t$ et $(x_d, y_d)^t$ sont indépendants de la dimension de l'image. Nous pouvons aussi réécrire l'équation de façon plus explicite, pour séparer les différents modèles :

$$ \begin{align} x_u &= x_d + \underbrace{x_d(k_1 r^2 + k_2 r^4 + k_3 r^6)}_{\Delta \text{radial}} + \underbrace{2p_1 x_d y_d + p_2(r^2 + 2x_d^2)}_{\Delta \text{tangential}} + \underbrace{s_1 r^2 + s_2 r^4}_{\Delta \text{prism}} \nonumber \\ y_u &= y_d + \underbrace{y_d(k_1 r^2 + k_2 r^4 + k_3 r^6)}_{\Delta \text{radial}} + \underbrace{2p_2 x_d y_d + p_1(r^2 + 2y_d^2)}_{\Delta \text{tangential}} + \underbrace{s_3 r^2 + s_4 r^4}_{\Delta \text{prism}} \tag{3.2} \end{align} $$

Il existe plusieurs outils pour chercher et estimer cette fonction, afin d'effectuer la rectification de la distorsion. La calibration a ainsi été réalisée avec OpenCV, et ce, pour chaque lentille de façon indépendante. Il existe donc 6 fonctions de mappage $\Phi$. Après calibration, on peut calculer l'erreur de re-projection, exprimée en pixel. Pour ce faire, on calcule la moyenne des distances euclidiennes entre les points détectés et ceux calibrés et reprojetés. Les résultats sont visibles sur le tableau 3.4.

<table><caption>**Table 3.4 –** Erreur résiduelle, en pixel, après correction géométrique</caption><thead><tr><th>Bande Spectrale</th><th>450 nm</th><th>570 nm</th><th>675 nm</th><th>710 nm</th><th>730 nm</th><th>850 nm</th></tr></thead><tbody><tr><th>Érreur Résiduelle</th><td>0.0115 px</td><td>0.0092 px</td><td>0.0096 px</td><td>0.0094 px</td><td>0.0092 px</td><td>0.0110 px</td></tr></tbody></table>
**Exemple** À titre indicatif, les paramètres de déformation de la fonction Φ estimés pour la bande 450 nm sont visibles sur le tableau 3.5. Et la figure 3.11 montre les différentes corrections. De haut en bas : prismatique, tangential et radial de la bande 450 nm. On constate ici que pour la bande 450 nm la correction prismatique est négligeable. À contrario, les variables pour la correction tangentielle (p2) montrent des rectifications importantes.

<table><caption>**Table 3.5** – Correction de la lentille pour la bande spectral 450 nm</caption><thead><tr><td>Correction</td><td>Variables</td><td>Valeurs</td></tr></thead><tbody><tr><td>radial</td><td>k1,k2,k3</td><td>-0.55181 ; 0.30429 ; -0.00053</td></tr><tr><td>prism</td><td>s1,s2,s3,s4</td><td>0.03471 ; 0.01294 ; 0.0025 ; -0.00183</td></tr><tr><td>tangential</td><td>p1,p2</td><td>0.00267 ; -0.43599</td></tr></tbody></table>

<figure><img src="image_92.png" /><figcaption>**Figure 3.11** – Visualisation de la correction géométrique pour la bande 450 nm</figcaption></figure>
3.5 Recalage des bandes spectrales

Comme nous l'avons vu précédemment, notre caméra est composée de 6 capteurs optiques disposés en damier. Cette conception fait que chaque capteur ne perçoit pas exactement la même zone au sol. Le décalage observé entre chaque bande est inversement proportionnel à la distance au sol ; c'est-à-dire que plus la caméra est proche du sol, plus le décalage est important, en nombre de pixels. La figure 3.12 montre le décalage des trois premières bandes spectrales (RGB) de deux fleurs, l'une jaune à gauche et l'autre blanche à droite sur une image prise à 1.60 m du sol avec la caméra Airphen.

<figure><img src="image_93.png" /><figcaption>**Figure 3.12** – Image non recalée, prise à 1.60 m</figcaption></figure>

Dans le cadre de ce travail de thèse, il a donc été primordial de corriger ce décalage. Le pro-
cessus de recalage des images consiste à transformer différentes images afin de leur affecter un
système de coordonnées commun. Dans le domaine multispectral, l'approche traditionnelle pour
le recalage consiste à désigner un canal de référence et à déplacer tous les autres vers celui-ci.
Actuellement, seul [Junior et al., 2019] propose une méthode de sélection de la meilleure réfé-
rence pour des images prises à 50 m. Dans la majorité des cas, le proche infrarouge (850 nm) ou
la référence spectrale de moyenne gamme (vert pour RGB) sont conventionnellement utilisés.
Les études existantes proposent principalement des méthodes basées sur la mise en correspon-
dance de points clés, et optimisées à haute altitude. Toutefois, ce problème est complexe et
encore ouvert, en particulier en champ proche, où ce type de matériel n'est pas couramment
employé.
**Two-step multi-spectral registration via key-point detector and gradient similarity. Application to agronomic scenes for proxy-sensing**

**Authors** Jehan-Antoine VAYSSADE, Gawain Jones, Jean-Noël Paoli and Christelle Gée

**Publication** 21/02/2020 – VISAPP conference at Valetta in Malta – Proceedings of the 15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications – Volume 4 : VISAPP, pages 103-110

**Abstract** The potential of multi-spectral images is growing rapidly in precision agriculture, and is currently based on the use of multi-sensor cameras. However, their development usually concerns aerial applications and their parameters are optimized for high altitudes acquisition by drone (UAV ≈ 50 meters) to ensure surface coverage and reduce technical problems. With the recent emergence of terrestrial robots (UGV), their use is diverted for nearby agronomic applications. Making it possible to explore new agronomic applications, maximizing specific traits extraction (spectral index, shape, texture ...) which requires high spatial resolution. The problem with these cameras is that all sensors are not aligned and the manufacturers' methods are not suitable for close-field acquisition, resulting in offsets between spectral images and degrading the quality of extractable informations. We therefore need a solution to accurately align images in such condition.

In this study we propose a two-steps method applied to the six-bands Airphen multi-sensor camera with (i) affine correction using pre-calibrated matrix at different heights, the closest transformation can be selected via internal GPS and (ii) perspective correction to refine the previous one, using key-points matching between enhanced gradients of each spectral bands. Nine types of key-point detection algorithms (ORB, GFTT, AGAST, FAST, AKAZE, KAZE, BRISK, SURF, MSER) with three different modalities of parameters were evaluated on their speed and performances, we also defined the best reference spectra on each of them. The results show that GFTT is the most suitable methods for key-point extraction using our enhanced gradients, and the best spectral reference was identified to be the band centered on 570 nm for this one. Without any treatment the initial error is about 62 px, with our method, the remaining residual error is less than 1 px, where the manufacturer's involves distortions and loss of information with an estimated residual error of approximately 12 px.

**Keywords** Registration, Multi-spectral imagery, Precision farming, Feature descriptor
3.5.1 Introduction

Modern agriculture is changing towards a system that is less dependent on pesticides [Le-
chenet et al., 2014] (herbicides remain the most difficult pesticides to reduce) and digital tools
are of great help in his matter. The development of imaging and image processing have made
it possible to characterize an agricultural plot [Sankaran et al., 2015] (crop health status or
soil characteristics) using non-destructive agronomic indices [Jin et al., 2013] replacing tradi-
tional destructive and time-consuming methods. In recent years, the arrival of miniaturized
multi-spectral and hyper-spectral cameras on Unmanned Aerial Vehicles (UAVs) has allowed
spatio-temporal field monitoring. These vision systems have been developed for precise working
conditions (flight height 50 m). Although, very practical to use, they are also used for proxy-
sensing applications. However, the algorithms offered by manufacturers to co-register multiple
single-band images at different spectral range, are not optimal for low heights. It thus requires
a specific close-field image registration.

Image registration is the process of transforming different images of one scene into the same coordinate system. The spatial relationships between these images can be rigid (translations and rotations), affine (shears for example), homographic, or complex large deformation models (due to the difference of depth between ground and leafs) [Kamoun, 2019]. The main difficulty is that multi-spectral cameras have low spectral coverage between bands, resulting in a loss of characteristics between them. Which is caused by (i) plant leaves have different aspect depending on the spectral bands (ii) there are highly complex and self-similar structures in our images [Douarre et al., 2019]. It therefore affects the process of detecting common characteristics between bands for image registration. There are two types of registration, feature based and intensity based [Zitová and Flusser, 2003]. Feature based methods works by extracting point of interest and use feature matching, in most cases a brute-force matching is used, making those techniques slow. Fortunately these features can be filtered on the spatial properties to reduce the matching cost. A GPGPU implementation can also reduce the comparisons cost. Intensity-based automatic image registration is an iterative process, and the metrics used are sensitive to determine the numbers of iteration, making such method computationally expensive for precise registration. Furthermore multi-spectral implies different metrics for each registered bands which is hard to achieve.

Different studies of images alignment using multi-sensors camera can be found for acquisition using UAV at medium (50 – 200 m) and high (200 – 1000 m) distance. Some show good performances (in term of number of key-points) of feature based [Dantas Dias Junior et al., 2019, Vakalopoulou and Karantzalos, 2014] with strong enhancement of feature descriptor for matching performances. Other prefer to use intensity based registration [Douarre et al., 2019] on better convergence metrics [Chen et al., 2018] (in term of correlation), which is slower and not necessarily robust against light variability and their optimization can also fall into a local minimum, resulting in a non-optimal registration [Vioix, 2004].

Traditional approach to multi-spectral image registration is to designate one channel as the
target channel and register all the others on the selected one. Currently, only [Dantas Dias Ju-
nior et al., 2019] show a method for selecting the best reference, but there is no study who as
defined the best spectral reference in agronomic scene. In all cases NIR (850 nm) or middle range
spectral reference are conventionally used without studying the others on precision agriculture.
In addition those studies mainly propose features matching without large methods comparison
[Dantas Dias Junior et al., 2019](less than 4) of their performance (time/precision), without
showing the importance of the spectral reference and the interest of normalized gradients transformation (like in Intensity-based methods).

However, despite the growing use of UGVs and multi-spectral imaging, the domain is not very well sourced, and no study has been found under agricultural and external conditions in near field of view (less than 10 meter) for multi-spectral registration.

Thus, this study propose a benchmark of popular feature extractors inside normalized gradients transformation and the best spectral reference was defined for each of them. Moreover a pre-affine registration is used to filter the feature matching, evaluated at different spatial resolutions. So this study shows the importance of the selection of the reference and the features extractor on normalized gradients in such registration.

## 3.5.2 Material and Method

### 3.5.2.1 Material

**Camera** The multi-spectral imagery is provided by the six-band multi-spectral camera Airphen developed by HiPhen. Airphen is a scientific multi-spectral camera developed by agronomists for agricultural applications. It can be embedded in different types of platforms such as UAV, phenotyping robots, etc.

Airphen is highly configurable (bands, fields of view), lightweight and compact. The camera was configured using interferential filter centered at 450/570/675/710/730/850 nm with FWHM<fnref n="1" /> of 10 nm, the position of each band is referenced on figure 3.13. The focal lens is 8 mm for all wavelength. The raw resolution for each spectral band is 1280 × 960 px with 12 bit of precision. Finally the camera also provides an internal GPS antenna that can be used to get the distance from the ground.

<figure><img src="image_94.png" /><figcaption>**Figure 3.13** – Disposition of each band on the Airphen multi-sensors camera</figcaption></figure>

<footnote n="1">1. Full Width at Half Maximum</footnote>
**Datasets** Two datasets were taken at different heights with images of a chessboard (use for calibration) and of an agronomic scene. We used a metallic gantry for positioning the camera at different heights. The size of the gantry is 3 × 5 × 4 m. Due to the size of the chessboard (57 × 57 cm with 14 × 14 square of 4 cm), the limited focus of the camera and the gantry height, we have bounded the acquisition heights from 1.6 to 5 m with 20 cm steps, which represents 18 acquisitions.

The first dataset is for the calibration. A chessboard is taken at different heights. The second one is for the alignment verification under real conditions. One shot of an agronomic scene is taken at different heights with a maximum bias set at 10 cm.

3.5.2.2 Methods

Alignment is refined in two stages, with (i) affine registration approximately estimated and
(ii) perspective registration for the refinement and precision. As example the figure 3.14 shows
each correction step, where the first line is for the (i) affine correction (section 3.5.2.2), the
second is for (ii) perspective correction. More precisely the second step is per-channel pre-
processed where feature detectors are used to detect key-points (section 3.5.2.2). Each channel
key-points are associated to compute the perspective correction through homography, to the
chosen spectral band (section 3.5.2.2). These steps are explained on specific subsections.

<figure><img src="image_95.png" /><figcaption>**Figure 3.14** – Each step of the alignment procedure, with (step 1) roughly corrected from affine correction and (step 2) enhancement via key-points and perspective</figcaption></figure>

**Affine Correction** We make the assumption that closer we take the snapshot, the bigger the distance between each spectral band is. On the other hand, at a distance superior or equals to 5 m, the initial affine correction become stable. A calibration is used to build a linear model based on that assumption, which will allow the affine correction to work at any height. The main purpose of this step is to reduce the offset between each spectral band, which allows the similarity between key-points to be spatially delimited within a few pixels, making feature matching more effective.

**Calibration** : Based on that previous assumption a calibration is run over the chessboard dataset. We detect the chessboard using the opencv calibration toolbox [Bouguet, 2001] on each spectral image (normalized by $I = (I - \min(I)) / \max(I)$ where I is the spectral image) at different heights (from 1.6 m to 5 m). We use the function *findChessboardCorners* how attempts to determine whether the input image is a view of the chessboard pattern and locate the internal chessboard corners. The detected coordinates are roughly approximated. To determine their positions accurately we use the function *cornerSubPix* as explained in the documentation<fnref n="2" />.

<footnote n="2">2. https://docs.opencv.org/2.4/modules/calib3d/doc/cameraCalibration_and_3d_reconstruction.html</footnote>
$\frac{1}{2}|S_y|$. Finally, all gradients $I_{grad}(x, y)$ are normalized using CLAHE [Zuiderveld, 1994] to locally improve their intensity and increase the number of key-points detected.

**Key-points Extractor** : A key-point is a point of interest. It defines what is important and distinctive in an image. Different types of key-point extractors are available and the following are tested :

(ORB) Oriented FAST and Rotated BRIEF [Rublee et al., 2011], (AKAZE) Fast explicit diffusion for accelerated features in nonlinear scale spaces [Alcantarilla and Solutions, 2011], (KAZE) A novel multi-scale 2D feature detection and description algorithm in nonlinear scale spaces [Ordonez et al., 2018], (BRISK) Binary robust invariant scalable key-points [Leutenegger et al., 2011], (AGAST) Adaptive and generic corner detection based on the accelerated segment test [Mair et al., 2010], (MSER) maximally stable extremal regions [Donoser and Bischof, 2006], (SURF) Speed-Up Robust Features [Bay et al., 2006], (FAST) FAST Algorithm for Corner Detection [Trajković and Hedley, 1998] and (GFTT) Good Features To Track [Shi et al., 1994].

These algorithms are largely described across multiple studies [Dantas Dias Junior et al., 2019, Tareen and Saleem, 2018, Zhang et al., 2016, Ali et al., 2016], they are all available and easily usable in OpenCV. Thus we have studied them by varying the most influential parameters for each of them with three modalities, the table 3.6 in appendix shows all modalities.

<table><caption>**Table 3.6** – list of algorithms with 3 modalities of their parameters</caption><thead><tr><td>ABRV</td><td>Parameters</td><td>Modality 1</td><td>Modality 2</td><td>Modality 3</td></tr></thead><tbody><tr><td>ORB</td><td>nfeatures</td><td>5000</td><td>10000</td><td>15000</td></tr><tr><td>GFTT</td><td>maxCorners</td><td>5000</td><td>10000</td><td>15000</td></tr><tr><td>AGAST</td><td>threshold</td><td>71</td><td>92</td><td>163</td></tr><tr><td>FAST</td><td>threshold</td><td>71</td><td>92</td><td>163</td></tr><tr><td>AKAZE</td><td>nOctaves, nOctaveLayers</td><td>(1, 1)</td><td>(2, 1)</td><td>(2, 2)</td></tr><tr><td>KAZE</td><td>nOctaves, nOctaveLayers</td><td>(4, 2)</td><td>(4, 4)</td><td>(2, 4)</td></tr><tr><td>BRISK</td><td>nOctaves, patternScale</td><td>(0, 0.1)</td><td>(1, 0.1)</td><td>(2, 0.1)</td></tr><tr><td>SURF</td><td>nOctaves, nOctaveLayers</td><td>(1, 1)</td><td>(2, 1)</td><td>(2, 2)</td></tr><tr><td>MSER</td><td>None</td><td>None</td><td>None</td><td>None</td></tr></tbody></table>

**Key-point detection** : We use one of the key-point extractors mentioned above between each spectral band gradients (all extractors are evaluated). For each detected key-point, we extract a descriptor using ORB features. We match all detected key-points to a reference spectral band (all bands are evaluated). All matches are filtered by distance, position and angle, to eliminate a majority of false positives along the epipolar line. Finally we use the function *findHomography* between the key-points detected/filtered with RANSAC [Fischler and Bolles, 1981], to determine the best subset of matches to calculate the perspective correction.

**Correction** : The perspective correction between each spectral band to the reference is estimated and applied. Finally, all spectral bands are cropped to the minimum bounding box, which is obtained by applying a perspective transformation to each corner of the image.
### 3.5.3 Results and discussion

Firstly the results will focus on affine corrections and then on the effects of the perspective correction. Figure 3.16 shows a closeup inside at 1.6 m (3.16a) raw images acquisition, (3.16c & 3.16d) registred image of each correction steps and (3.16b) the manufacturer results.

<figure><img src="image_96.png" /><figcaption>**Figure 3.16** – Example of each correction and the manufacturers results</figcaption></figure>

#### 3.5.3.1 Affine correction

The affine correction model is based on the calibration dataset (where the chessboard are acquired). The 6 coefficients ($A, B, C, D, X, Y$) of the affine matrix were studied according to the height of the camera in order to see their stability. It appears that the translation part ($X, Y$), depends on the distance to the field (appendix figure 3.17) according to the initial assumption. On this part the linear model is used to estimate the affine correction from an approximated height.

<figure><img src="image_97.png" /><figcaption>**Figure 3.17** – Affine matrix value by height</figcaption></figure>

Rotation and scale do not depend on the ground distance (figure 3.18) according to the theory. These factors ($A, B, C, D$) are quite stable and close to identity, as expected (accuracy depends on the spatial resolution of the board). As result, single calibration can be used for this part of the matrix, and the most accurate are used (i.e where the chessboard has the best spatial resolution).
<figure><img src="image_98.png" /><figcaption>**Figure 3.18 –** Affine matrix value by height</figcaption></figure>

After the affine correction, the remaining residual distances have been extracted, it is computed using the detected, filtered and matched key-point to the reference spectral band, figure 3.21 (up) shows an example using 570 nm as reference before the perspective correction. The remaining distance between each spectral band to the reference varies according to the distance between the real height and the nearest selected (through linear model). Remember that a bias of +/- 10cm was initially set to show the error in the worst case, so the difference of errors between each of them are due to the difference of sensors position in the array to the reference and the provided approximate height.

**3.5.3.2 Perspective correction**

The figures 3.19 shows the numbers of key-points after filtering and homographic association (minimum of all matches) as well as the computation time and performance ratio (matches/time) for each method. The performance ratio is used to compare methods between them, bigger he is, greater is the method (balanced between time and accuracy), making lower of them unsuitable.
<figure><img src="image_99.png" /><figcaption>Figure 3.19 – features extractor performances after filtering and homography association</figcaption></figure>

All these methods offer interesting results, the choice of method depends on application needs between computation time and accuracy, three methods stand out in all of there modality :

— GFTT shows the best overall performance in both computation time and number of matches

— FAST and AGAST1 are quite suitable too, with acceptable computation time and greater matches performances.

The other ones did not show improvement in term of time or matches (especially compared to GFTT), some of them show a small number of matches which can be too small to ensure the precision. Increasing the number of key-points matched allows a slightly higher accuracy [Dantas Dias Junior et al., 2019]. For example, switching from SURF (30 results) to FAST (130 results) reduces the final residual distances from ≈ 1.2 to ≈ 0.9 px but increases the calculation time from ≈ 5 to ≈ 8 seconds.

All methods show that the best spectral band is 710 nm (in red), with an exception for SURF and GFTT which is 570 nm. The figure 3.20 shows the minimum number of matches between each reference spectrum and all the others, for each relevant methods and modalities (KAZE, AGAST, FAST GFTT). Choosing the right spectral reference is important, as we can see, no correspondence is found in some cases between 675-850 nm, but correspondences are found between 675-710 nm and 710-850 nm, making the 710 nm more appropriate, the same behavior can be observed for the other bands and 570 nm as the more appropriate one. This is visible on the figure for all methods, 570 nm and 710 nm have the best minimum number of matches where all the other are quite small.
<figure><img src="image_100.png" /><figcaption>**Figure 3.20** – key-point extractor performances</figcaption></figure>

Residues of the perspective correction show that we have correctly registered each spectral band, the figure 3.21 (down) shows the residual distance at different ground distances. In comparison the affine correction error are between [1.0 – 4.8] px where the combination of affine and perspective correction the residual error are between [0.7 – 1.0] px. On average the perspective correction enhance the residual error by (3.5 – 0.9)/3.5 ≈ 74%.

<figure><img src="image_101.png" /><figcaption>**Figure 3.21** – (up) The mean distance of detected key-point before perspective correction with 570 nm as spectral reference (down) Perspective re-projection error with GFTT using the first modality and 570 nm as reference</figcaption></figure>