# Big data et science des données pour le suivi des ressources naturelles

Jannaï Tokotoko

<figure><img src="image_1.png" /></figure>

## To cite this version:

Jannaï Tokotoko. Big data et science des données pour le suivi des ressources naturelles. Informatique [cs]. Université de la Nouvelle-Calédonie, 2022. Français. NNT: 2022NCAL0005 . tel-04608952

HAL Id: tel-04608952

https://unc.hal.science/tel-04608952

Submitted on 12 Jun 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
Ecole Doctorale Du Pacifique

Thèse

Présentée devant

l'Université de la Nouvelle Calédonie

par

Jannaï TOKOTOKO

pour obtenir le diplôme de

Docteur spécialité Informatique

Big data et science des données pour le suivi des
ressources naturelles

Soutenue publiquement le 12 Décembre 2022, devant le jury composé de :

Président : Babau, Jean-Philippe

Examinateurs : Laugier, Thierry, Fournier-Viger, Philippe

Co-directeurs

Nazha SELMAOUI-FOLCHER, Maître de Conférences, HDR, ISEA / UNC
Hugues LEMONNIER, Chercheur, ENTROPIE / IFREMER
# Sommaire

LISTE DES FIGURES ................................................................................ vi

LISTE DES TABLES .................................................................................... xii

1 Introduction .................................................................................................................. 1

1.1 Les systèmes de production .................................................................................. 2

1.1.1 Les enjeux mondiaux des systèmes de production agricole et aquacole .................................................... 3

1.1.2 Les données complexes dans les filières de production .................................................... 4

1.2 La science de données pour répondre aux enjeux du domaine agricole et aquacole .................................................................................... 7

1.2.1 Le processus d'extraction de connaissance .................................................... 8

1.2.2 Les verrous scientifiques .................................................................................... 10

1.3 Plan de thèse .................................................................................................................... 10

2 L'intelligence artificielle pour la gestion des ressources biologiques .................................................... 12

2.1 Données complexes .................................................................................................................... 12

2.1.1 Représentation des données .................................................................................... 14

2.2 Les approches en apprentissage non supervisé les plus répandues en agriculture .................................................................................... 15

2.2.1 Le clustering de données statiques .................................................................................... 17

2.3 Les méthodes de classification supervisées les plus répandues .................................................... 21

2.3.1 La classification supervisée monolabel .................................................................................... 21

2.3.2 Apprentissage multilabel .................................................................................................................... 29

2.4 L'utilisation des méthodes en intelligence artificielle pour répondre aux enjeux et aux problématiques dans le domaine aquacole .................................................................................... 30

2.4.1 L'aquaculture et la science de données .................................................................................... 30
<table><tr><td>2.4.2</td><td>Les objectifs les plus répandues associés aux méthodes en science de données</td><td>32</td></tr><tr><td>2.4.3</td><td>Les objectifs les moins répandus</td><td>36</td></tr><tr><td>2.5</td><td>Conclusion</td><td>37</td></tr></table>

3 **Contribution méthodologique en sciences des données** 38

3.1 Les mesures de dispersions 40

3.2 Des mesures de distance adaptées aux séries temporelles 42

3.3 Les principales approches de clustering de séries temporelles 45

3.3.1 Approche de clustering de séries temporelles basées sur les caractéristiques 46

3.3.2 Approche de clustering de séries temporelles basées sur le modèle 47

3.3.3 Approche de clustering de séries temporelles basées sur les formes 48

3.4 Étude des clusters de séries temporelles en fonction de la distribution des individus 50

3.5 Présentation de la nouvelle approche pour le clustering de séries temporelles monovariées 55

3.5.1 Clustering de séries temporelles monovariées : X-MeansTS 56

3.5.2 La nouvelle mesure de dispersion 56

3.5.3 Principe de l'algorithme X-MeansTS 58

3.6 Validation de l'algorithme X-meansTS 62

3.6.1 Expérimentations de l'algorithme X-MeansTS 62

3.6.2 Résultats 65

3.6.3 Synthèse sur les résultats expérimentaux 72

3.7 Une nouvelle approche de clustering de séries temporelles multivariées 73

3.7.1 Notations et définitions 76

3.7.2 Principe de la méthode MMTS 77

3.7.3 Expérimentation de notre approche 80

3.7.4 Scénarios de test 82

3.7.5 Perspective d'amélioration de l'approche X-MeansMMTS 83

4 **Élevages de stylirostris sur la Grande Terre** 85

4.1 Les données relevées par la filière crevetticole Calédonienne 85
<table><tr><td>4.1.1</td><td>Le processus de grossissement des crevettes et les données relevées</td><td>86</td></tr><tr><td>4.1.2</td><td>La base de données étudiées</td><td>91</td></tr><tr><td>4.1.3</td><td>La quantité de mesures</td><td>93</td></tr><tr><td>4.2</td><td>Descriptif des variables environnementales</td><td>96</td></tr><tr><td>4.2.1</td><td>les principales variables environnementales mesurées</td><td>96</td></tr><tr><td>4.2.2</td><td>Les variables environnementales secondaires</td><td>99</td></tr><tr><td>4.3</td><td>Descriptif des variables de gestion</td><td>100</td></tr><tr><td>4.4</td><td>Les données de performance d'élevage</td><td>103</td></tr><tr><td>4.4.1</td><td>Le poids moyen</td><td>103</td></tr><tr><td>4.4.2</td><td>La survie</td><td>103</td></tr><tr><td>4.5</td><td>Données de qualité du produit relevées par la SOPAC</td><td>104</td></tr><tr><td>4.5.1</td><td>Processus d'évaluation de la qualité de la production</td><td>104</td></tr><tr><td>4.5.2</td><td>Les différents défauts relevés</td><td>105</td></tr><tr><td>4.5.3</td><td>Les calibres</td><td>108</td></tr><tr><td>4.6</td><td>imprécision et déséquilibre dans les données</td><td>109</td></tr><tr><td>4.7</td><td>Conclusion</td><td>112</td></tr></table>

# 5 Stratégie d'analyse des données de la filière crevetticole Calédonienne 113

<table><tr><td>5.1</td><td>Contribution méthodologique et algorithmique pour l'analyse de données de filières aquacoles</td><td>113</td></tr><tr><td>5.1.1</td><td>Description général de la première étape</td><td>115</td></tr><tr><td>5.1.2</td><td>Descriptif général de la deuxième étape</td><td>117</td></tr></table>

# 6 Analyse de la performance de filières aquacoles à partir des données de croissances 119

<table><tr><td>6.1</td><td>Effet de la croissance sur la performance</td><td>119</td></tr><tr><td>6.1.1</td><td>Classification non supervisée à partir de nouveaux descripteurs de croissance</td><td>121</td></tr><tr><td>6.1.2</td><td>Classification multi-label, des paramètres de croissance supervisée par les données de performance d'élevage.</td><td>128</td></tr><tr><td>6.2</td><td>Classification non supervisée des variables temporelles d'environnement et de gestion à partir des performances de l'ensemble des élevages</td><td>131</td></tr></table>
<table>
  <tbody>
    <tr>
      <td>6.2.1</td>
      <td>Descriptions des clusters de performance par les variables temporelles de qualité du milieu</td>
      <td>134</td>
    </tr>
    <tr>
      <td>6.2.2</td>
      <td>Analyse des tendances des séries temporelles de température par K-shape</td>
      <td>135</td>
    </tr>
    <tr>
      <td>6.3</td>
      <td>Conclusion</td>
      <td>139</td>
    </tr>
    <tr>
      <td><b>7</b></td>
      <td><b>Analyse des séries temporelles des variables environnementales et de gestion de la filière aquacole calédonienne.</b></td>
      <td><b>143</b></td>
    </tr>
    <tr>
      <td>7.1</td>
      <td>Optimisation de la méthode X-MeansTS par la discrétisation des distances intra-clusters</td>
      <td>144</td>
    </tr>
    <tr>
      <td>7.1.1</td>
      <td>Principe de l'approche discrétisée</td>
      <td>144</td>
    </tr>
    <tr>
      <td>7.2</td>
      <td>Résultats de l'Application de la méthode X-MeansTS sur les données temporelles de la filière aquacole</td>
      <td>146</td>
    </tr>
    <tr>
      <td>7.2.1</td>
      <td>Description des clusters et comparaison avec des méthodes existantes sur les données de la filière aquacole calédonienne</td>
      <td>146</td>
    </tr>
    <tr>
      <td>7.2.2</td>
      <td>Comparaison visuelle des clusters générés par X-meansTS et K-Shape</td>
      <td>146</td>
    </tr>
    <tr>
      <td>7.2.3</td>
      <td>Méthode de comparaison statistique des clusters générés par X-meansTS et K-Shape</td>
      <td>147</td>
    </tr>
    <tr>
      <td>7.2.4</td>
      <td>Choix des paramètres en entrée de la méthode X-MeansTS</td>
      <td>148</td>
    </tr>
    <tr>
      <td>7.2.5</td>
      <td>Interprétation des clusters générés par X-meansTS, sur les variables environnementales</td>
      <td>150</td>
    </tr>
    <tr>
      <td>7.2.6</td>
      <td>Interprétation des clusters générés par X-meansTS, à partir des variables de gestion</td>
      <td>153</td>
    </tr>
    <tr>
      <td>7.2.7</td>
      <td>Synthèse sur l'analyse de la qualité du milieu par X-meansTS</td>
      <td>155</td>
    </tr>
    <tr>
      <td>7.3</td>
      <td>Clustering de séries temporelles multi-variées et multi-échelles sur la qualité du milieu d'élevage aquacole</td>
      <td>156</td>
    </tr>
    <tr>
      <td>7.4</td>
      <td>Synthèse de l'application de l'approche multi-variée sur les données aquacoles</td>
      <td>160</td>
    </tr>
    <tr>
      <td>7.5</td>
      <td>Amélioration de la méthodologie d'extraction de connaissance dans les filières aquacoles</td>
      <td>173</td>
    </tr>
    <tr>
      <td colspan="2"><b>REFERENCES</b></td>
      <td><b>177</b></td>
    </tr>
    <tr>
      <td colspan="2"><b>LISTE DES PUBLICATIONS</b></td>
      <td><b>199</b></td>
    </tr>
  </tbody>
</table>
<table><tr><td>Annexe A</td><td>Distribution de la croissance initiale (C), de la vitesse de con-vergence et de la survie en fonction des pairs de clusters de températures hebdomadaires</td><td>202</td></tr><tr><td>Annexe B</td><td>Distribution des paramètres de Gomprertz</td><td>203</td></tr><tr><td>Annexe C</td><td>Comparaison de clusters générés par X-meansTS et K-Shape</td><td>204</td></tr><tr><td>Annexe D</td><td>Description de Clusters multivariée multi-échelle avec des distribution des paramètres zootechniques significatives</td><td>205</td></tr></table>
# Liste des figures

<table>
  <tbody>
    <tr>
      <td>1.1</td>
      <td>Processus d'extraction de connaissances dans des données</td>
      <td>9</td>
    </tr>
    <tr>
      <td>2.1</td>
      <td>Exemples représentatifs d'une classification pour la présence d'une maladie avec une performance supérieure à 95%. (d'après [47])</td>
      <td>23</td>
    </tr>
    <tr>
      <td>2.2</td>
      <td>Structure de l'arbre de décision pour déterminer la valeur de la production agricole (Produit Intérieur Brut Agricole) ([113])</td>
      <td>25</td>
    </tr>
    <tr>
      <td>2.3</td>
      <td>Schéma d'un perceptron.</td>
      <td>28</td>
    </tr>
    <tr>
      <td>3.1</td>
      <td>Exemple de deux séries avec un déphasage sur les axes X et Y</td>
      <td>40</td>
    </tr>
    <tr>
      <td>3.2</td>
      <td>Construction de la matrice DTW, image extraite de [96]</td>
      <td>43</td>
    </tr>
    <tr>
      <td>3.3</td>
      <td>Recherche optimale de la méthode DTW, image extraite de [96]</td>
      <td>43</td>
    </tr>
    <tr>
      <td>3.4</td>
      <td>Contrainte de DTW à l'aide de la : bande de Sakoe-Chiba (gauche) ; parallélogramme d'Itakura (droite) [53].</td>
      <td>44</td>
    </tr>
    <tr>
      <td>3.5</td>
      <td>Optimisation spatiale de DTW par l'approche FastDTW. [150]</td>
      <td>44</td>
    </tr>
    <tr>
      <td>3.6</td>
      <td>Calcul de la bande de Kheog [90]</td>
      <td>45</td>
    </tr>
    <tr>
      <td>3.7</td>
      <td>Les grandes approches de clustering de séries temporelles. [2]</td>
      <td>46</td>
    </tr>
    <tr>
      <td>3.8</td>
      <td>Cluster par la méthode K-Shape avec k = 3, des séries temporelles de température</td>
      <td>52</td>
    </tr>
    <tr>
      <td>3.9</td>
      <td>Cluster de séries temporelles liées à la température par la méthode K-Shape avec k = 12</td>
      <td>53</td>
    </tr>
    <tr>
      <td>3.10</td>
      <td>Distribution des distances DTW entre les séries et leur représentant par cluster de température générés par K-Shape</td>
      <td>53</td>
    </tr>
    <tr>
      <td>3.11</td>
      <td>Distribution des mesures DTW, entre les séries et leur représentant, par cluster de séries temporelles d'oxygène dissous</td>
      <td>54</td>
    </tr>
    <tr>
      <td>3.12</td>
      <td>Données statistiques des mesures de distances DTW, entre les séries et leurs représentant, pour le cluster 1 de température.</td>
      <td>54</td>
    </tr>
    <tr>
      <td>3.13</td>
      <td>Données statistiques des mesures de distances DTW, entre les séries et leurs représentant, du cluster 1 pour l'oxygène dissous.</td>
      <td>55</td>
    </tr>
  </tbody>
</table>
<table>
  <tbody>
    <tr>
      <td>3.14 Stratégie de la nouvelle approche</td>
      <td>56</td>
    </tr>
    <tr>
      <td>3.15 Concept général de la méthode de clustering mono-varié XmeansTS</td>
      <td>59</td>
    </tr>
    <tr>
      <td>3.16 Principe de la méthode de clustering mono-variée X-meansTS</td>
      <td>59</td>
    </tr>
    <tr>
      <td>3.17 V-mesure et ARI en fonction de la différence entre le nombre de classes réel et le nombre de clusters obtenus</td>
      <td>67</td>
    </tr>
    <tr>
      <td>3.18 V-mesure et ARI en fonction de la différence entre le nombre de classes réel et le nombre de clusters obtenus.</td>
      <td>68</td>
    </tr>
    <tr>
      <td>3.19 Vmeas_Kmeansdiff et ARI_Kmeansdiff en fonction de l'ensemble de données non complexes</td>
      <td>69</td>
    </tr>
    <tr>
      <td>3.20 Vmeas_Kmeansdiff et ARI_Kmeansdiff en fonction de l'ensemble de données non complexes</td>
      <td>70</td>
    </tr>
    <tr>
      <td>3.21 Vmeas_Kmeansdiff et ARI_Kmeansdiff en fonction de l'ensemble de données non complexes</td>
      <td>71</td>
    </tr>
    <tr>
      <td>3.22 Vmeas_ShapeDiff et ARI_ShapeDiff en fonction de l'ensemble de données non complexes</td>
      <td>72</td>
    </tr>
    <tr>
      <td>3.23 principe de la méthode de clustering multi-varié Xmeans-MTS</td>
      <td>78</td>
    </tr>
    <tr>
      <td>4.1 Les fermes du GFA</td>
      <td>86</td>
    </tr>
    <tr>
      <td>4.2 Fonctionnement d'une ferme aquacole</td>
      <td>87</td>
    </tr>
    <tr>
      <td>4.3 Les phases d'un élevage</td>
      <td>87</td>
    </tr>
    <tr>
      <td>4.4 l'assec d'un bassin avant son remplissage.</td>
      <td>88</td>
    </tr>
    <tr>
      <td>4.5 Concentration du phytoplancton nécessaire à l'alimentation des post-larves</td>
      <td>89</td>
    </tr>
    <tr>
      <td>4.6 Cuves assurant le transport des post-larves d'une écloserie vers une ferme</td>
      <td>90</td>
    </tr>
    <tr>
      <td>4.7 Schéma relationnel de la base de données STYLIBASE</td>
      <td>92</td>
    </tr>
    <tr>
      <td>4.8 Base relationnelle simplifiée des données étudiées</td>
      <td>93</td>
    </tr>
    <tr>
      <td>4.9 Nombre de mesures dans STYLIBASE par année</td>
      <td>94</td>
    </tr>
    <tr>
      <td>4.10 Nombre de mesures dans STYLIBASE par mois</td>
      <td>94</td>
    </tr>
    <tr>
      <td>4.11 Évolution du nombre de mesures par variable par année</td>
      <td>95</td>
    </tr>
    <tr>
      <td>4.12 Représentativité des variables horaire</td>
      <td>96</td>
    </tr>
  </tbody>
</table>
<table>
  <tbody>
    <tr>
      <td>4.28</td>
      <td>Évolutions des taux d'apparition des défauts dans les productions</td>
      <td>108</td>
    </tr>
    <tr>
      <td>4.29</td>
      <td>Estimation moyenne par défauts</td>
      <td>109</td>
    </tr>
    <tr>
      <td>4.30</td>
      <td>Identification automatique des calibres</td>
      <td>109</td>
    </tr>
    <tr>
      <td>4.31</td>
      <td>Représentativité par ferme en pourcentage de données disponibles</td>
      <td>110</td>
    </tr>
    <tr>
      <td>4.32</td>
      <td>Nombre de mesures par bassin</td>
      <td>110</td>
    </tr>
    <tr>
      <td>4.33</td>
      <td>Nombre de mesures par variable d'environnement par ferme</td>
      <td>111</td>
    </tr>
    <tr>
      <td>4.34</td>
      <td>Nombre de mesures par variable de gestion par ferme</td>
      <td>111</td>
    </tr>
    <tr>
      <td>4.35</td>
      <td>Des séries temporelles déphasées</td>
      <td>112</td>
    </tr>
    <tr>
      <td>5.1</td>
      <td>Processus d'analyse mis en place pour l'étude de données issues d'une filière aquacole tropicale</td>
      <td>114</td>
    </tr>
    <tr>
      <td>5.2</td>
      <td>Etapes du processus d'analyse de données de filière aquacole</td>
      <td>115</td>
    </tr>
    <tr>
      <td>5.3</td>
      <td>Processus de recherche de périodes pertinentes pour une analyse multi-variée et multi-échelle</td>
      <td>118</td>
    </tr>
    <tr>
      <td>6.1</td>
      <td>Processus d'analyse de la première étape</td>
      <td>120</td>
    </tr>
    <tr>
      <td>6.2</td>
      <td>Evolution de la croissance pour des valeurs b et C variables</td>
      <td>120</td>
    </tr>
    <tr>
      <td>6.3</td>
      <td>Point d'inflexion d'une courbe de croissance</td>
      <td>121</td>
    </tr>
    <tr>
      <td>6.4</td>
      <td>Exemple de comparaison entre les résultats du modèle de Gompertz et les données brutes.</td>
      <td>122</td>
    </tr>
    <tr>
      <td>6.5</td>
      <td>Principaux groupes obtenus par les descripteurs de croissance</td>
      <td>123</td>
    </tr>
    <tr>
      <td>6.6</td>
      <td>Description des clusters par des variables temporelles</td>
      <td>124</td>
    </tr>
    <tr>
      <td>6.7</td>
      <td>Qualité des groupes d'élevages</td>
      <td>124</td>
    </tr>
    <tr>
      <td>6.8</td>
      <td>Calibres des groupes d'élevages</td>
      <td>124</td>
    </tr>
    <tr>
      <td>6.9</td>
      <td>P-Valeurs obtenus sur des données de qualité d'élevage, par pair de clusters</td>
      <td>125</td>
    </tr>
    <tr>
      <td>6.10</td>
      <td>Description des 11 clusters obtenus par X-means sur les descripteurs de croissances</td>
      <td>126</td>
    </tr>
    <tr>
      <td>6.11</td>
      <td>Matrice de p-valeurs obtenues sur la variable explicative 'mois d'ensemencement'</td>
      <td>127</td>
    </tr>
    <tr>
      <td>6.12</td>
      <td>Mois d'ensemencement par cluster obtenu avec la méthode x-means</td>
      <td>127</td>
    </tr>
    <tr>
      <td>6.13</td>
      <td>Principaux clusters obtenus par les descripteurs de croissance avec la méthode x-means</td>
      <td>128</td>
    </tr>
    <tr>
      <td>6.14</td>
      <td>Séries temporelles de température en fonction des clusters de croissance</td>
      <td>132</td>
    </tr>
  </tbody>
</table>
<table>
  <tbody>
    <tr>
      <td>6.15</td>
      <td>Séries temporelles d'oxygène dissous en fonction des clusters de croissance</td>
      <td>132</td>
    </tr>
    <tr>
      <td>6.16</td>
      <td>Croisement de données générées dans l'aquaculture</td>
      <td>133</td>
    </tr>
    <tr>
      <td>6.17</td>
      <td>profile de température en fonction des clusters de performance</td>
      <td>134</td>
    </tr>
    <tr>
      <td>6.18</td>
      <td>Profil de température en fonction des clusters de performance</td>
      <td>135</td>
    </tr>
    <tr>
      <td>6.19</td>
      <td>Clustering des séries temporelles de température par la méthode k-shape</td>
      <td>136</td>
    </tr>
    <tr>
      <td>6.20</td>
      <td>10 Clusters des séries temporelles de température par la méthode k-shape</td>
      <td>138</td>
    </tr>
    <tr>
      <td>6.21</td>
      <td>Distribution du taux de survie pour les 10 Clusters de température par la méthode k-shape</td>
      <td>139</td>
    </tr>
    <tr>
      <td>6.22</td>
      <td>Distribution du taux de croissance initial pour les 10 Clusters de température par la méthode k-shape</td>
      <td>139</td>
    </tr>
    <tr>
      <td>6.23</td>
      <td>Clustering des séries temporelles d'oxygène par la méthode k-shape</td>
      <td>140</td>
    </tr>
    <tr>
      <td>6.24</td>
      <td>Clustering des séries temporelles de salinité par la méthode k-shape</td>
      <td>141</td>
    </tr>
    <tr>
      <td>6.25</td>
      <td>Clustering des séries temporelles du renouvellement de l'eau par la méthode k-shape</td>
      <td>142</td>
    </tr>
    <tr>
      <td>7.1</td>
      <td>Optimisation de l'approche X-meansTS par discrétisation</td>
      <td>146</td>
    </tr>
    <tr>
      <td>7.2</td>
      <td>Clusters de salinité obtenus par la méthode X-meansTS à gauche et la méthode K-Shape à droite</td>
      <td>147</td>
    </tr>
    <tr>
      <td>7.3</td>
      <td>Comparaison des clusters pour l'apport en aliment journalier obtenus par la méthode X-meansTS à gauche et la méthode K-Shape à droite</td>
      <td>148</td>
    </tr>
    <tr>
      <td>7.4</td>
      <td>Distribution des seuils en fonction des variables</td>
      <td>149</td>
    </tr>
    <tr>
      <td>7.5</td>
      <td>Clusters de température obtenus par la méthode X-meansTS</td>
      <td>151</td>
    </tr>
    <tr>
      <td>7.6</td>
      <td>Distribution de la croissance initiale C, la vitesse de convergence vers le poids final B, la survie et le mois d'ensemencement, par pairs de clusters de température et obtenus par la méthode XmeanTS</td>
      <td>161</td>
    </tr>
    <tr>
      <td>7.7</td>
      <td>Distribution de la croissance initiale (C), de la vitesse de convergence et de la survie en fonction des clusters des températures hebdomadaires, avec des p-valeurs inférieurs à 0.05% avec la méthode Xmeans-TS.</td>
      <td>162</td>
    </tr>
    <tr>
      <td>7.8</td>
      <td>Distribution de la survie en fonction des clusters de température journalière ayant les p-valeurs inférieur à 0.05 pour Xmeans-TS</td>
      <td>163</td>
    </tr>
    <tr>
      <td>7.9</td>
      <td>Clusters de la salinité obtenus par la méthode X-meanTS</td>
      <td>164</td>
    </tr>
  </tbody>
</table>
# Liste des tables

<table><tr><td>3.1</td><td>Description des jeux de données</td><td>65</td></tr><tr><td>3.2</td><td>Matrice M des distances entre les séries des individus et les représentants des clusters multi-variés.</td><td>80</td></tr><tr><td>3.3</td><td>Multivariate time series datasets description from the UCR repository</td><td>82</td></tr><tr><td>3.4</td><td>Mean performance of X-MeansMMTS method on datasets from UCR repository</td><td>83</td></tr><tr><td>4.1</td><td>Les types de données enregistrées durant la préparation du bassin</td><td>88</td></tr><tr><td>4.2</td><td>Les types de données enregistrées durant la mise en eau</td><td>89</td></tr><tr><td>4.3</td><td>Les types de données enregistrées durant l'ensemencement</td><td>90</td></tr><tr><td>4.4</td><td>Les types de données enregistrées durant l'élevage</td><td>90</td></tr><tr><td>4.5</td><td>Défauts relevées par la société SOPAC</td><td>106</td></tr><tr><td>4.6</td><td>A gauche la tableau des calibres, à droite un exemple de crevettes de calibre 51/60</td><td>109</td></tr><tr><td>6.1</td><td>Performances des classifieurs multi-labels sur les données de qualité de production.</td><td>131</td></tr><tr><td>7.1</td><td>Statistiques des représentants de clusters de température hebdomadaire et moyenne de survie</td><td>152</td></tr><tr><td>7.2</td><td>Valeur moyenne des représentants de clusters de renouvellement hebdomadaire d'eau, avant l'inflexion de la courbe de croissance</td><td>154</td></tr><tr><td>7.3</td><td>Données de productivité liées aux clusters de renouvellement d'eau, avant l'inflexion de la courbe de croissance</td><td>154</td></tr><tr><td>7.4</td><td>Type de corrélation entre séries temporelles de qualité du milieu, prises à différentes périodes et les données de qualité de production</td><td>155</td></tr><tr><td>7.5</td><td>Paramètres des modèles de régression, des représentants des taux de renouvellement d'eau, pris sur les 10 premières semaines d'élevage et de l'alimentation sur les 50 premiers jours.</td><td>159</td></tr></table>
# Chapitre 1

## Introduction

La multiplication des données collectées ces dernières années, les avancées récentes en matière d'observation à distance (p.ex. imagerie satellitaire très haute résolution), et les nouvelles générations de capteurs et d'appareils connectés peu coûteux, laissent entrevoir un grand nombre de possibilités en matière de suivi et de gestion des ressources (p.ex. suivi de l'évolution des cultures et des espaces protégés). Toutefois, elles soulèvent aussi un grand nombre de défis, notamment en matière d'analyse des données, de par la complexité des phénomènes observés et des données collectées (massives, hétérogènes, distribuées, imprécises, bruitées). Les outils scientifiques et technologiques actuels (méthodes statistiques classiques etc.) sont peu adaptés pour gérer et exploiter ces données complexes et massives. Face à ces défis, la science des données ( data science ) vise à apporter des solutions (méthodes, algorithmes, outils logiciels, etc). Elle permet le croisement de données hétérogènes et l'identification de relations cachées (sans hypothèses a priori) entre ces données.

La science des données se développe en forte interaction entre les thématiciens producteurs des données et les informaticiens. Une synergie entre les scientifiques de différentes disciplines est nécessaire pour relever ces défis. La thèse proposée s'inscrit dans ce contexte. Elle propose une stratégie pour analyser des données complexes générées pour le suivi des ressources naturelles, et de nouvelles méthodes théoriques (quand cela est nécessaire) et de nouveaux outils informatiques pour traiter et analyser ces données. Cette thèse se focalisera plus particulièrement sur le problème du suivi et de la gestion des bassins aquacoles de crevette en Nouvelle-Calédonie. Elle s'appuiera pour cela sur l'expertise en science des données des chercheurs en informatique du laboratoire ISEA (Institut des Sciences Exactes et Appliquées) de l'Université de la Nouvelle-Calédonie, sur la connaissance des problématiques aquacoles des chercheurs de l'équipe LEAD-NC (Lagons, Ecosystèmes et Aquaculture Durable) de l'IFREMER, et sur les acteurs de la filière aquacole (Groupement des Fermes Aquacoles). Elle exploitera pour cela, différentes sources de données disponibles telles que les données d'élevage et les données qualité de la société de commercialisation la SOPAC. L'analyse croisée de ces données vise à mettre en évidence des typologies de réussite des élevages, en vue d'améliorer la qualité des produits et les résultats zootechniques. Ces résultats
permettront la construction d'outils d'aide à la décision à l'échelle des fermes et à l'échelle de la filière.

Les principaux types de données sur lesquels cette thèse se focalise sont des données multi-variées, statiques, temporelles, multi-échelles, décrivant un ensemble de paramètres environnementaux (température, salinité, ... etc.), biologiques et zootechniques. Ces données concernent aussi des indicateurs (statiques et temporels) sur la qualité des produits destinés à l'alimentation humaine. L'acquisition de ces données est réalisée dans un contexte industriel. Ces données sont relevées et analysées dans le but principal d'assurer la rentabilité biologique de la filière les produisant, et d'améliorer la qualité des produits. Le processus de production implique l'utilisation de protocoles et d'outils de suivi de qualité afin d'assurer un produit sans danger pour la santé. Des données sur la qualité des produits sont de ce fait relevées en cours et en fin de cycle de production. D'autres données sur la qualité du milieu d'élevage intéressent les producteurs afin d'avoir une meilleure compréhension du lien entre les variations de paramètres physico-chimiques, comme le pH, la survie et la croissance de l'espèce élevée.

Les questionnements que se posent les acteurs du domaine aquacole en Nouvelle-Calédonie et auxquelles cette thèse tentera de répondre par l'utilisation de méthodes en science de données sont, par exemple :

* Quels sont les paramètres spatio temporels qui améliorent la qualité de la production de la filière ?

* Comment identifier des facteurs (locaux, globaux, environnementiaux, ...) qui influent sur la production de crevettes ?

* Comment identifier des indicateurs de productivités ?

* Comment caractériser un bon élevage ?

* Comment améliorer la rentabilité de la production calédonienne de crevette ?

## 1.1 Les systèmes de production

L'agriculture désigne, de manière générale, les différents systèmes de production liés à la culture de plantes et à l'élevage d'animaux. L'aquaculture produit des organismes aquatiques, poissons, mollusques, crustacés et plantes aquatiques inclus. Un système de production est défini comme étant un regroupement de systèmes d'exploitation individuels disposant à peu près d'un même niveau de ressources, pratiquant les mêmes modes de production, bénéficiant des mêmes sources de subsistance, et assujettis aux mêmes contraintes, pour lesquels des stratégies et interventions de développement similaires peuvent être élaborées.
Au cours des quatre dernières décennies du 20ème siècle, la population du monde a presque doublé, comptant 8 milliards d'habitants en 2022, elle devrait approcher 10 milliards en 2050.

L'agriculture et l'aquaculture ont pour but de faire vivre la population humaine mondiale en fournissant des produits alimentaires, des aliments pour animaux, de la bioénergie et des matériaux industriels. En effet l'enjeux de l'agriculture et de l'aquaculture à l'échelle mondiale, est de fournir des ressources alimentaires, énergétiques et industrielles pour satisfaire la demande d'une population mondiale croissante [180].

### 1.1.1 Les enjeux mondiaux des systèmes de production agricole et aquacole

L'objectif majeur de l'utilisation des méthodes en science des données dans les systèmes de production est l'amélioration de la qualité des produits [9]. L'amélioration de la qualité des produits est un aspect important dans la mise en place de stratégies commerciales pour les filières agricoles et aquacoles. Des paramètres techniques, tels que la taille, et/ou la croissance, ont un impact considérable, en fin de production, sur le prix des produits. A titre d'exemple, en aquaculture, la reconnaissance automatique des espèces permet d'extraire des descripteurs caractéristiques de la physionomie des espèces, et parfois de leur âge [78, 75]. En agriculture, pour les arbres fruitiers, l'extraction automatique de la taille des fruits, et de textures particulières d'une image, permet de préciser le moment propice pour la récolte [139, 4, 152]. L'état de maturation des fruits favorise une réduction des dépenses en termes de main d'oeuvre pour les opérations manuelles de récolte. La reconnaissance des espèces permet également d'identifier des caractéristiques après un avis expert, qui expriment la présence d'une maladie ou d'une déformation [126, 125, 47]. Les maladies et les sites impactent également fortement les coûts de production et les bénéfices financiers des systèmes de production. L'identification automatique de leur présence assez tôt durant la période de culture permet de lutter contre leur expansion. La croissance des espèces est généralement associée à différents attributs temporels. Les paramètres comme la température, le pH (pour les sols), l'ensoleillement (pour les végétaux), sont des composantes essentielles pour analyser les mécanismes de croissance. De plus, pour lutter contre les maladies, le recours à des produits chimiques déversés directement sur les espèces et le sol, tels que des pesticides, impacte l'environnement. Il contamine le milieu de vie de ces espèces, mais aussi les eaux souterraines et d'autres écosystèmes locaux au travers de résidus. Le milieu d'élevage a un impact considérable sur la qualité de la production [140]. Dans les systèmes de production agricoles et aquacoles, l'analyse du milieu d'élevage reste essentielle pour être en mesure d'améliorer les rendements. Leur gestion nécessite à la fois de connaître leur influence sur les performances techniques, mais aussi leur évolution à différentes échelles de temps.
Il existe divers systèmes généralement associés à un niveau d'intensification et/ou de biodiversité destinés à la production de ressources naturelles. Néanmoins, la production intensive en monoculture est plus à même de modifier le milieu de culture et/ou d'élevage et de favoriser l'émergence de maladies.

La recherche, principalement dans le domaine agricole, et de manière moins répandue dans le domaine aquacole, a permis de mieux comprendre les facteurs à l'origine de ces maladies, d'anticiper leur apparition, et d'améliorer le rendement par la mise en place d'outils d'aide à la décision.

Pour des questions de santé publique, la chaîne d'approvisionnement des produits agricoles a fait l'objet d'une grande attention cette dernière décennie [46]. Les produits destinés à la consommation humaine (produits agro-alimentaires) sont soumis à des réglementations plus strictes et à une surveillance de plus en plus importante.

Des protocoles devant respecter des normes sanitaires de production des espèces, afin d'assurer leur qualité et leur traçabilité, imposent un suivi de toute la chaîne de production. De ce fait, d'importants moyens (en matériel informatique,...) sont mis en oeuvre pour obtenir des produits de qualité. Ces normes interviennent aussi en lien avec la gestion environnementale. La pollution produite par les exploitations, peut être mesurée, comme par exemple, dans le domaine de l'aquaculture, les rejets de matières organiques produits. Des réseaux de surveillance peuvent aussi être mis en place dans le domaine des pathologies. L'acquisition de données par images satellitaires est utilisée dans le domaine de la production afin d'avoir des données couvrant de grandes zones pour assurer un suivi à grande échelle [64, 110]. Le suivi de mesures pratiques permet aux systèmes de production d'avoir une meilleure compréhension du processus de production.

Ces différentes données produites conduisent à l'accumulation de différentes informations généralement complexes et bien souvent "cachées".

### 1.1.2 Les données complexes dans les filières de production

Le données complexes sont dites complexes dans le sens où elles représentent une réalité complexe, sociale, environnementale, technique, décrite avec des points de vue multiples sur les objets composant le système, et à différentes échelles. La modélisation de cette réalité est définie dans un contexte spatio-temporel, dans lequel des objets sont comparables. Afin de déterminer un tel espace, les interactions ou les corrélations entre ces objets sont observées de manière empirique dans un premier temps, avant d'être modélisées. Le déroulement du processus de modélisation est fonction des causes et/ou des conséquences liées à ces interactions.
Les types de données à traiter pour répondre au enjeux en agriculture et en
aquaculture :

Les données acquises dans l'agriculture et l'aquaculture, décrites dans la littérature, peuvent être de sources variées [110] telles que : des images satellitaires ou des images aériennes de drones, des données de capteurs (capteurs au sol : capteur de température, de salinité...), des données enregistrées manuellement, concernant par exemple la pratique d'élevage, ou encore des données textuelles relevées par l'exploitant, des données externes relevées par des stations météo etc...

Les données sont donc très diverses. De plus, à l'échelle d'une filière, certaines des données, en fonction de la qualité du matériel ou encore selon l'observateur, peuvent être imprécises, c'est-à-dire biaisées, ou ne pas être suivies régulièrement dans le temps. Ainsi les nouvelles méthodologies développées doivent tenir compte de l'imprécision de certaines données, mais aussi être en mesure d'analyser des séries incomplètes.

Dans les élevages agricole et aquacole, il y a des relations indirectes et surtout com-
plexes entre 3 types de données :

1. Les données concernant la production. Ces données sont surtout statiques. Par exemple il y a le taux de mortalité ou encore la présence ou non de maladie en fin d'élevage. Elle peuvent être temporelles (évolution de la vitesse de croissance...).

2. Les variables que l'on nommera variables forçantes et qui se réfèrent à des données sur les espèces et l'environnement l'élevage sur lesquelles le fermier n'a pas d'influence. Ceux sont principalement des données statiques. On peut considérer par exemple que le climat, c'est à dire la température ambiante est une variable forçante, sachant que beaucoup de système de production se font en extérieur.

3. Les données standards d'élevages. Ces données standards peuvent être regroupées en deux catégories :

(a) La variable de gestion : variable temporelle dont l'éleveur est en capacité d'agir directement sur la valeur à un instant défini.

(b) La variable d'environnement : variable temporelle dont l'évolution est indépendante des pratiques d'élevage, et qui a une influence sur la qualité de la production.

Afin de représenter une réalité complexe, l'espace doit pouvoir intégrer différentes
typologies des données. En effet, l'environnement dans lequel évolue les objets, leurs
interactions, et les conséquences de ceux-ci peuvent être décrits par différents observa-
teurs. L'impact de ces interactions est souvent étudié par des experts du domaine afin
d'établir, à partir de données factuelles, des normes, sur une population représentative.
Ces normes doivent être représentatives des évolutions spatio-temporelles de ces interactions, afin de modéliser plus justement la réalité.

L'approche conventionnelle dans l'analyse pour la recherche de ces liens a recours à des méthodes statistiques sur des données produites en faible quantité et souvent de manière agrégée (moyenne des données relevées au cours de la production ou sur une période précise). Un test d'hypothèse est régulièrement utilisé afin de faire un choix entre deux hypothèses en comparant des résultats d'échantillons d'une population. Ces échantillons sont traduits en données numériques, liées, par exemple, aux attributs zootechniques, et aux paramètres physico-chimiques de leurs milieux de vie. Les données de ces tests font donc suite à une acquisition de données sur le terrain, sur des zones représentatives des différents aspects que peut avoir un système. Ces données sont aussi issues d'expériences visant à modéliser une réalité complexe. L'acquisition de données peut être très chronophage. Les testes d'hypothèses permettent donc de fournir une règle de décision, sur une base statistique comme l'écart entre la moyenne ou la médiane de ces échantillons. D'autres modèles visent à identifier les attributs les plus influents dans l'évolution, ou le lien entre ces différents paramètres. C'est une forme de réduction de la complexité des données. Enfin la statistique permet de définir une fonction permettant de modéliser l'évolution de ces paramètres réels par exemple dans le temps ou l'espace.

L'utilisation de ces méthodes conventionnelles n'est parfois pas suffisante pour décrire, et extraire des informations pertinentes d'une réalité complexe, comme celle que l'on observe dans une filière de production. Cette contrainte est due, en partie, à la typologie des données, mais aussi à la quantité exponentielle de données acquises.

En effet, les outils d'acquisition de données, dédiés au suivi des systèmes de production sont aujourd'hui de plus en plus variés. Il y a, comme nous le verrons, de l'acquisition par l'observation empirique, des relevées à l'aide de systèmes de mesures in situ, jusqu'aux observations à l'aide d'images satellites [147]. Il y a également des systèmes de surveillance vidéo intégrant des modèles capables de détecter des objets variés. Le format de données peut donc être très différent. Dans le cadre de la télédétection, l'utilisation d'images satellitaires est très courante pour le suivi des écosystèmes naturels sur de grandes surfaces [64, 110]. Les différentes fréquences d'acquisition des données par les capteurs entraînent la création de séries de données temporelles multi-échelles, pour lesquelles les méthodes statistiques conventionnelles ne proposent pas d'analyse multi-variée, multi-échelle adaptée (à leur typologie). Un autre exemple de typologie concerne les observations empiriques réalisées par les éleveurs au cours d'un élevage qui génèrent souvent des données plutôt textuelles et donc qualitatives.
Il est donc important de développer de nouvelles méthodologies, incluant des algorithmes d'apprentissage automatique [118], adaptés à la typologie de données complexes.

Dans les données complexes, les variables, qui décrivent les objets, peuvent aussi être imprécises spatialement, et temporellement. Cela signifie qu'elles peuvent être décrites de manières ambiguës. Elles sont parfois manquantes. Dans le cadre des systèmes de production, l'ambiguïté réside par exemple dans une description approximative de l'aspect physique de l'espèce en fin de production (moyen, assez grand...). Ces aspects qui seront détaillés par la suite, obligent les chercheurs en science de données à développer de nouvelles méthodologies et de nouveaux algorithmes pour la gestion des différents types d'imprécisions. Enfin, dans les données réelles, la complexité réside également dans les relations de dépendance entre les variables.

Dans certains jeux de données, le manque de données, de certaines variables, entraîne une forme de déséquilibre quantitatif entre elles. Ces déséquilibres impactent fortement l'apprentissage, puisqu'il se basera principalement sur les caractéristiques les plus présentes. Des approches de sélection de données peuvent les rééquilibrer en fonction de la quantité de ces caractéristiques par exemple. Les outils utilisés, qui sont décrits ensuite, et les protocoles choisis pour acquérir et enregistrer ces données, déterminent leurs qualités, en termes de potentiels descriptif et prédictif pour des algorithmes d'apprentissage automatique. Par exemple l'imprécision des capteurs ou encore le manque d'objectivité de l'observateur sont des facteurs qui génèrent de l'imprécision et impactent les performances d'apprentissage.

## 1.2 La science de données pour répondre aux enjeux du domaine agricole et aquacole

L'analyse de données complexes s'intéresse, par exemple, à la modélisation des relations et des variations spatio-temporelles entre des objets, appelés entités. Ces entités sont comparées selon des caractéristiques communes. Ces caractéristiques peuvent être analysées selon des mesures de distance ou de similarité adaptées à leurs typologies. Un attribut peut être décrit à différents instants dans le temps et dans l'espace, et selon différentes échelles spatio-temporelles. L'analyse de ces individus se fait, dans la plupart des cas, soit de manière exploratoire, soit en étant guidée, i.e supervisée par une ou plusieurs cibles à prédire. Elle peut également être effectuée par renforcement, c'est-à-dire de façon à optimiser une récompense quantitative au cours du temps. Cette thèse s'intéresse davantage à la création de nouvelles méthodes exploratoires, et utilisera les méthodes supervisées, à partir des nouveaux descripteurs
qui sont générés par les méthodes créées. Dans notre cas, l'objectif final est de créer des modèles d'apprentissage supervisés et adaptés aux données complexes du domaine d'étude. Elle permettra de créer des modèles prédictifs pour divers domaines. L'analyse exploratoire des individus se fait, dans le cas du clustering, par comparaison de ces individus. Comme énoncé, différentes métriques adaptées à la typologie des attributs seront utilisés pour les caractériser.

Il existe différentes approches d'apprentissage non supervisé qui utilisent des fonctions basées sur la densité ou la probabilité des valeurs des descripteurs afin de partitionner les individus. L'objectif est alors de les regrouper de manière homogène par rapport à ces valeurs, afin d'extraire de nouvelles connaissances utiles au domaine, grâce à une interprétation des groupes par des experts métier. L'homogénéité est définie selon différents critères. Dans le domaine agricole par exemple, ces critères peuvent être en lien avec des indicateurs (métier) sur la qualité du produit (couleur, dimension...). De manière plus répandue, l'apprentissage non supervisé vise à rechercher des classes en s'intéressant aux prototypes, c'est à dire à des individus représentatifs des groupes.

Il existe également un apprentissage non supervisé réduisant la dimension de l'espace de recherche. Les algorithmes d'apprentissage automatique permettent ainsi de créer des modèles descriptifs ou prédictifs. Ces modèles déterminent leurs résultats, et notamment leurs prédictions, en apprenant dans un premier temps à partir de données d'exemples, c'est-à-dire des données d'apprentissage. Pour créer de nouveaux modèles en science des données, adaptés aux données complexes générées par les systèmes de production, les interactions entre les performances de production, les conditions de production (environnementales, techniques) doivent être modélisées.

### 1.2.1 Le processus d'extraction de connaissance

Les méthodes se réfèrent à des algorithmes ou encore à un processus, incluant les algorithmes, permettant d'enregistrer, de préparer et d'analyser les données. Plusieurs algorithmes ont ainsi été développés pour assurer la mise en place du processus générique, appelé fouille de données, visant à extraire des connaissances utiles pour les expert métier. Le processus d'extraction de connaissances demande beaucoup de travail de préparation des données car les modèles utilisés doivent être robustes à la complexité des données, que nous définirons par la suite. L'extraction de nouvelles connaissances 'métier' permettra, par exemple, d'établir des normes de production. Ces normes aideront à définir des critères d'évaluation de la qualité des produits. Pour cela, une analyse exploratoire approfondie permettra de comprendre, dans un premier temps, la dynamique des données à différentes échelles spatio-temporelles avant de créer des modèles prédictifs de du système étudié.
La compréhension du domaine est primordiale, afin de déterminer une méthodologie d'analyse qui soit applicable aux données standards des filières de production. Des échanges avec des experts du métier doivent être organisés en amont du processus d'extraction de connaissances.

La figure 1.1 présente le processus itératif d'extraction de connaissances.

<figure><img src="image_3.png" /><figcaption>Fig. 1.1 Processus d'extraction de connaissances dans des données</figcaption></figure>

Ce processus permettra d'intégrer les bases de données générées dans les systèmes de production, afin de créer des outils d'aide à la gestion des élevages. Notons quelques aspects indispensables de ces étapes :

* Le nettoyage des données concerne la suppression des données bruyantes et non pertinentes, et la rectification des données imprécises de la collecte.

* L'intégration des données dans une base de données normalisée assure un accès logique et rapide à ces données.

* La sélection des données se fait en lien avec l'expert métier, afin d'identifier les données pertinentes (avec un potentiel descriptif ou prédictif).

* La transformation des données permet d'obtenir des données au format adapté aux méthodes en science de données.

* L'extraction de connaissances utiles au métier se fait suite à l'interprétation, par l'expert métier, des résultats générés à partir de nouveaux modèles créés, ou en paramétrant des modèles existants.
* La représentation des connaissances doit faciliter une interprétation des résultats des modèles.

### 1.2.2 Les verrous scientifiques

L'un des principaux verrous scientifiques est de développer des algorithmes pour le croisement des données de différents types (statique, temporel, catégoriel) générés dans les systèmes de production et provenant de sources variées afin d'extraire de nouvelles connaissances utiles aux experts du domaine; Et d'ajuster le processus d'extraction de connaissances (figure 1.1) aux données complexes générées par les systèmes de production, en y intégrant de nouveaux algorithmes adaptés aux différents formats des données. On trouvera, pour ces systèmes, de nombreux travaux sur l'analyse de leurs données. La description de ces travaux sur un ensemble de filières sera fournie dans ce document. Ils concernent par exemple la modélisation mathématique et informatique de la dynamique de populations et des relations avec leur environnement. Nous nous intéresserons ici en particulier à la gestion de filières aquacoles. Notre approche devrait être valable et applicable pour différentes filières agricoles qui génèrent continuellement des données complexes. En raison des différentes sources possibles de ces données, cette thèse proposera une nouvelle méthodologie d'analyse de données pour les filières aquacoles, qui s'intègre logiquement au processus d'extraction de connaissances. L'objectif final est d'identifier des normes sur la variation des différentes variables et leurs liens au cours d'un élevage. L'enjeu est de comprendre, de décrire, de représenter, et de prédire les mécanismes complexes de cet écosystème réel, qui conduisent à une production de bonne ou de mauvaise qualité.

## 1.3 Plan de thèse

Nous nous intéresserons à l'utilisation des méthodes en science de données sur les données générées dans les systèmes de production aquacoles, principal domaine d'étude de cette thèse. Dans le chapitre 2, une description des méthodes les plus répandues est proposée, en y ajoutant un exemple d'application dans le domaine agricole. Le choix de ces méthodes mettra en évidence l'influence de la qualité des données d'apprentissage. Les méthodes seront présentées selon les deux grandes familles : l'apprentissage non supervisé et l'apprentissage supervisé par une ou plusieurs cibles associées aux individus;

La contribution de cette thèse est double : 1) elle proposera un nouveau processus de croisement de données générées dans les systèmes de production de ressources naturelles; 2) De nouveaux algorithmes pour le clustering de séries temporelles monoviées et multi-variées prenant en compte l'amplitude des séries, seront crées et intégrés à ce processus pour analyser l'évolution de la qualité du milieu d'élevage. Un nou-
veau formalisme définissant le clustering des séries temporelles multi-variées et multi-
échelles sera proposé.

La chapitre 4 décrit en détail les nouvelles approches développées pour le clustering
de séries temporelles mono-variées Xmeans-TS [167], et multi-variées X-meansMMTS
[168]. Les méthodes seront testées et évaluées dans le chapitre de contribution, afin
de prouver leur efficacité par rapport aux méthodes existantes. L'approche mono-variée
sera comparée aux meilleures méthodes de clustering de séries temporelles monovariées
sur une trentaine de jeux de données disponibles en ligne. L'approche multivariée
est quant à elle plus complexe à comparer car aucunes méthodes existantes ne per-
met d'effectuer un clustering d'ensemble de séries temporelles multi-variées et multi-
échelles. La performance de cette dernière méthode sera établie selon l'homogénéité
des clusters à partir de plusieurs jeux de données de séries temporelles labélisées disponibles
en ligne.

Les principales données analysées par les nouvelles méthodes proposées, sont celles de
la filière aquacole et seront présentées dans le chapitre 4. Ces données sont générées
dans la filière aquacole calédonienne. Ces données proviennent de différentes sources
(ferme, usine de conditionnement...). Le chapitre 4 de présentation des données, mettra
en avant leurs complexités (données statiques ou séries temporelles multi-variés, multi-
échelles...).

La chapitre 5 présentera la stratégie d'analyse des données de la filière aquacole [166]. Elle comporte deux étapes dont la première étape sera décrite plus précisément dans le chapitre 6 et la seconde dans le chapitre 7.

Les données étudiées dans la première étape, sont liées aux principales variables influ-
ant sur les prix de vente et donc la rentabilité de la filière. De nouveaux paramètres
de croissance, comme la vitesse de croissance initiale seront créés et analysées par des
méthodes non supervisées. Ils serviront également d'attributs pour une analyse super-
visée par des données de performance d'élevage. Ces paramètres de croissance servi-
ront à identifier des périodes d'élevage lors de l'analyse de la qualité du milieu. Le
chapitre 7, qui présente l'étape 2 de la stratégie d'analyse, fournira des résultats et une
interprétation de l'analyse des séries temporelles liées à la qualité du milieu et croisée
aux données de performance d'élevage. Une analyse mono-variée permettra de relever
la corrélation entre les séries, prises indépendemment, et ces données de performance.
L'interprétation des résultats de l'analyse mono-variée permettra de sélectionner des
périodes d'élevage corrélées à la qualité des élevages et aux paramètres de croissance.
Les données de qualité du milieu prises à ces différentes périodes seront étudiées dans
une analyse multi-variée.
# Chapitre 2

## L'intelligence artificielle pour la gestion des ressources biologiques

Ce chapitre est consacré principalement à la présentation des méthodes en science de données les plus appliquées, sur les données générées dans les domaines agricoles et aquacoles. Les variables standards d'élevages relevées dans l'introduction sont des données de qualité du milieu, des paramètres zootechniques, des données de performances d'élevage. Nous verrons comment ces données sont acquises, intégrées et analysées par les différentes méthodes développées dans le cadre du domaine des sciences des données.

Ces méthodes permettent en générale, de construire des modèles descriptifs et prédictifs. Plus particulièrement, elles font parties des méthodes d'apprentissage supervisé et non supervisé. Nous citerons ici, celles qui sont les plus répandus dans la littérature. Les avantages et les inconvénients de ces méthodes seront relevées pour des applications dans le domaine agricole et aquacole. Notons que l'aquaculture est devenue l'industrie majeure des produits de la mer [46]. Ce domaine est d'après la littérature, un domaine idéal qui a un besoin fort en outils d'aide à la décision pour bien gérer les ressources ..... Ces outils d'aide à la décision intègrent les modèles descriptifs pour comprendre les pratiques fermières en lien avec la production et la qualité des produits, et des modèles prédictifs pour gérer ces ressources et proposer des produits de qualité (fouille de données, apprentissage automatique, etc.) [79]. Le choix des méthodes dépend fortement de la nature des données, et en particulier de leur taille. Pour ce faire, nous allons dans un premier temps, donner une définition des données complexes et des typologies servant à modéliser la réalité complexe des systèmes de productions. Ensuite, nous présenterons les méthodes en science de données les plus utilisées en agriculture et en aquaculture.

### 2.1 Données complexes

Les données complexes sont caractérisées par des données hétérogènes, multi-variées, statiques, temporelles, multi-échelles. La description des phénomènes ou des objets complexes, peut se faire par un ensemble d'attributs. Ces attributs peuvent être de différents types.
Considérons un ensemble d'attributs hétérogènes $A = \{A_1, A_2, \dots, A_p\}$, soit l'ensemble d'individus $I = \{I_1, I_2, \dots, I_n\}$ possédant un espace de descriptions des attributs, noté $X$. Ces attributs sont aussi nommé 'descripteur'. Par exemple $I_i = (x_{i1}, x_{i2}, \dots, x_{ip})$ où $x_{ij}$ est la valeur de l'attribut $j$ décrivant l'individu $i$. Les données sont dites complexes lorsque, par exemple, les descripteurs sont de types différents. Un individu peut être décrit par des descripteurs numériques ou non, i.e des données textuelles ou catégorielles. Par exemple l'attribut $A_1 \in \mathbb{R}$, $A_2 \in \mathbb{D}$ l'attribut $A_3 \in \{\text{mauvais, bon, excellent}\}$ peut être de type catégoriel et l'attribut $A_3 \in \{0, 1\}$ peut être de type binaire. Les données des individus peuvent évoluer dans le temps.

Dans le cas des données temporelles, la description des valeurs d'un attribut, est fournit à différents instants. Soit un ensemble d'instants $T = \{t_1, t_2, \dots, t_p\}$, on considère une série de données aux différents instants $s = \{s(t_1), s(t_2), \dots, s(t_p)\}$ où $s(t_1)$ est la valeur de la série $s$ à l'instant $t_1$. Un individu $i \in I$ est représenté par sa série temporelle $s_i = \{s_i(t_1), s_i(t_2), \dots, s_i(t_p)\}$.

A titre de comparaison, l'individu peut être représenté par un système produisant une quantité de ressources naturelles sur une période de temps bornée. Pour ces systèmes de production, cette période est dépendante des conditions climatiques qui auront une influence sur la productivité du système.

Des mesures de distances et de similarités, permettent de comparer des individus selon leurs attributs. Ces mesures sont adaptées à la typologie des attributs.

**La distance entre individus** : Les individus de l'espace $X$ peuvent être comparés selon des mesures de distances ou de similarités, applicable aux $p$ attributs qui les caractérisent.

Soit $Dist(I_i, I_j)$ la distance entre les individus $i$ et $j$ représentés par les séries $s_i$ et $s_j$. En fonction de l'espace considéré, il est possible de définir la distance entre deux individus selon différentes approches. Considérons par exemple que l'espace $X$ est un espace euclidien. Soit $Dist(I_i, I_j)$ la distance euclidienne entre l'individu $i$ et $j$ i.e $Dist(I_i, I_j) = \sqrt{\sum_{k=1}^{p} (s_i(t_k) - s_j(t_k))^2}$.

A partir de ces distances, un concept important, associé à la comparaison des données complexes et la notion de voisinage.

**Le voisinage** : Le voisinage d'un individu, détermine les individus qui sont proches, selon, par exemple, une mesure de distance adaptée aux types de données caractérisant les individus. Il est possible de déterminer une proximité spatiale par exemple à partir de la mesure euclidienne dans un espace euclidien. Soit $X$ un espace euclidien et $Dist(I_i, I_j)$ la distance euclidienne entre les points $I_i$ et $I_j$, le voisinage d'un point $I_i$ (
Représentation des données par un graphe : On appelle graphe G=(V,E) où V est un ensemble d'éléments appelés sommets ou nœuds et d'une partie E symétrique d'éléments e=(x,y), X*X appelés arêtes. Un nœud de G est étiqueté par un ensemble d'attributs A (numériques ou catégoriels). Chaque attribut $a \in A$ est associé à un domaine de valeurs.

Notations et définitions des séries temporelles multi-variées : Le formalisme courant des séries temporelles multi-variées, d'après la littérature, définit un ensemble de m séries temporelles $S = s_1, s_2, ..., s_m$, décrites sur un ensemble de temps avec : $s_i = s_i(t_1), s_i(t_2), ..., s_i(t_p)$. Ce formalisme est utilisé, par exemple, dans la recherche des sous séquences, dans les différentes séries, qui sont corrélées dans le temps. Une autre représentation permet de regrouper des individus selon un ensemble de séries temporelles multi-variées.

Par exemple, dans le cas de la représentation des données temporelles multi-variées à partir d'une matrice multidimensionnelle, les valeurs de la matrice peuvent être considérées comme des vecteurs. Pour chaque individu, chaque variable est une série temporelle. En reprenant l'exemple de la matrice M, l'individu $I_1 = (x_{i1}, x_{i2}, ..., x_{ip})$ devient une liste de vecteur ou $s_{ij} = (x_{ij}(t_1), x_{ij}(t_2), ..., x_{ij}(t_k))$ avec $x_{ij}(t_h)$ la valeur de l'attribut $A_j$ de l'individu $I_i$ à l'instant $t_h$. Et l'évolution temporelle des individus du graphe dans le temps est représentée par un ensemble de graphe (graphe dynamique), associé à l'ensemble de temps. Dans le domaine agricole ou aquacole, l'individu peut être un élevage. Considérons un individu $I_1$, les données standards i.e comme la qualité du milieu (température, pH..), acquises au cours de l'élevage $I_1$, sont les attributs temporels $A$ de la matrice. Notons que les différents attributs $A = \{A_1, A_2, ..., A_n\}$ peuvent être de tailles et d'échelles différentes. La complexité dans les systèmes de production est de définir le niveau de résolution le plus adéquat, et la meilleure période, qui assure une modélisation fiable entre ces séries de données et la qualité de production.

## 2.2 Les approches en apprentissage non supervisé les plus répandues en agriculture

Cette section présentera les algorithmes les plus répandus dans l'apprentissage non-supervisé : le clustering. Des exemples d'applications de ces méthodes dans le domaine agricole seront fournis.

**Principe général de l'apprentissage non supervisé** : L'objectif est d'extraire des groupes d'individus possédant des caractéristiques communes en les comparant selon
une distance adaptée à leurs attributs. Soit l'ensemble d'individus $I = \{I_1, I_2, ..., I_n\}$. On appelle k-clustering $C$ de $I$, l'ensemble $C = \{C_1, C_2, ..., C_k\}$ contenant $k$ sousensembles homogènes de $I$ par rapport à une mesure de distance Dist appliquées aux attributs. Chaque cluster $C_i \in C$ possède un représentant. Le représentant d'un cluster, appelé aussi prototype, peut être un centroïde, un médoïde, etc. noté $R_{C_i}$. Un k-clustering $C = \{C_1, C_2, ..., C_k\}$ avec $\forall i \in \{1, ..., k\}$ et vérifie les critères suivants :

1. $X = \cup_{i=1}^{k} C_i$ et $C_i \cap C_j = \emptyset \quad \forall i \neq j$.

2. $Dist(R_{C_i}, I) < Dist(R_{C_j}, I) \quad \forall I \in C_i \text{ et } j \neq i$.

**Les mesures de performance des méthodes non supervisées** : Il est tout de même courant, d'après la littérature, de calculer la performance des méthodes non supervisées (clustering) à partir des classes connues d'appartenance des individus. Les classes peuvent être liées aux variables à expliquer. Ces classes peuvent être binaires ou catégorielles. Différentes mesures de performance des clusters, décrites ci-dessous, se basent sur ces classes. Elles visent par exemple à déterminer l'homogénéité des clusters, sur la base des différentes classes associées aux individus qui les composent. Nous retiendrons les mesures qui suivent :

* **L'indice de Rand (RI)** [157] : est la probabilité pour que deux clusters soient en accord pour une paire de données choisie au hasard. Cette mesure est liée à la précision de la classification. $R = \frac{TP+TN}{(TP+TN+FP+FN)}$, où TP est le nombre de paires de séries qui appartiennent à la même classe et sont affectés au même cluster, TN est le nombre de paires de séries qui appartiennent à des classes différentes et sont attribués à différents clusters, FP est le nombre de paires de séries qui appartiennent à différentes classes mais qui sont attribuées au même cluster, et FN est le nombre de paires de séries qui appartiennent à la même classe mais sont affectées à des clusters différents.

* **L'indice de Rand ajusté (ARI)** [157] : l'ARI est Le score RI "ajusté" d'après le calcul suivant : $ARI = (RI - E(RI)) / (max(RI) - E(RI))$ où E(R) est l'espérance de l'indice de Rand et max(RI) la valeur maximale qu'il peut atteindre.

* **L'homogénéité des clusters** [146] : Soit $L$ un ensemble de labels réels $L = \{Li | i = 1, ..., m\}$, on désigne par $a_{ij}$ le nombre d'instances de label $i$ affectées au cluster $j$. L'homogénéité $h$ calculée sur un ensemble de cluster $C$ est définie
comme :

$$h(C) = \begin{cases} 1 & \text{If } H(L, C) = 0 \\ 1 - \frac{H(L|C)}{H(L)} & \text{else.} \end{cases}$$

$$\text{où } H(L|C) = - \sum_{c=1}^{|C|} \sum_{l=1}^{|L|} \frac{a_{lc}}{N} \log \frac{a_{lc}}{\sum_{l=1}^{|L|} a_{lc}} \quad \text{and} \quad H(L) = - \sum_{l=1}^{|L|} \frac{\sum_{c=1}^{|C|} a_{lc}}{m} \log \frac{\sum_{c=1}^{|C|} a_{lc}}{m}$$

* **La complétude des clusters** [146] : La complétude mesure combien d'échantillons similaires sont regroupés par cluster : $c = \frac{H(L|C)}{H(L)}$

Notons que ces mesures, ne sont pas couramment utilisées pour déterminer la performance des méthodes d'apprentissage non-supervisées. Dans la littérature, l'homogénéité des clusters, est souvent calculée à partir d'une cible servant habituellement à superviser un apprentissage (pour des méthodes d'apprentissage supervisée). La cible, dans le cas, par exemple, des systèmes de production, peut être liée à la productivité du système. Les attributs peuvent être des indicateurs de qualité de l'environnement (qualité du sol ou de l'eau...). La cible est déterminée selon le métier. Et pour des données réelles, son choix est souvent discuté avec un expert du métier. Néanmoins il est toujours difficile d'obtenir une homogénéité supérieure à 50%, pour un apprentissage non supervisé (par la cible), même avec une cible corrélée aux attributs, puisque les approches ne sont pas guidées (par la cible) et que la pertinence de la cible doit être discutée au préalable avec des experts du domaine. L'homogénéité parfaite est donc obtenue lorsque chaque cluster ne contient qu'un individu. L'utilisation de ces mesures, dans cette thèse, visera surtout à comparer les nouvelles méthodes non-supervisées crées, avec les méthodes existantes. Nous verrons que malgré cette difficulté d'obtenir une homogénéité élevée, les nouvelles approches, assurent une amélioration de l'homogénéité, sur des données complexes (multi-échelles, multi-variées).

### 2.2.1 Le clustering de données statiques

Dans cette partie, les méthodes de clustering applicables aux données statiques seront présentées. Ces données statiques peuvent être catégorielles, numériques et nominales. Les approches adaptées aux séries temporelles seront ensuite exposées, sur la base des mesures de distance appropriées pour obtenir une distance minimale entre deux séries temporelles.

**La méthode des k-means** [65] : est une méthode de partitionnement qui découpe l'espace des données d'apprentissage X en k clusters disjoints. Soit $C = \{C_1, C_2, \dots, C_k\}$ la partition de l'espace en k clusters. Considérons un espace euclidien. Pour obtenir ces clusters la méthode cherche à minimiser la distance entre un individu et le cluster auquel il doit appartenir :
$Kmeans(X) = Argmin(\sum_{j=1}^{k} \sum_{I_i \in C_j}^{n} (Dist(I_i, R_j)))$ k étant le nombre de clusters souhaité et :

* $Dist(I_i, R_j) = \sqrt{\sum_{h=1}^{p} (x_{ih} - R_{jh})^2}$

* $R_j = \{R_{j1}, R_{j2}, \dots, R_{jp}\}$ le barycentre de $C_j$ avec $R_{ji} = \frac{1}{|C_j|} \sum_{h=1}^{p} x_{jh}$ où $x_v \in C_j$ et $h \in \{1, 2, \dots, p\}$

**Algorithm 1** pseudo code algorithme de Kmeans

**Input:**

1. Placez aléatoirement k centroïdes sur les données

2. **while** pas de convergence **do**

3. attribuez les observations au centroïde le plus proche.

4. Recalculez les centroïdes

5. **end while**

L'algorithme est utilisé pour divers objectifs dans l'agriculture et notamment dans l'analyse d'images, pour leur segmentation. A titre d'exemple, cette approche s'inscrit dans l'objectif de répertorier les différents types de diversité des plantes et de réaliser pour cela des bases de données afin d'exploiter leurs propriétés thérapeutiques. Les plantes ont besoin de plusieurs nutriments (phosphore..) pour se développer. Le clustering sur les valeurs de pixels permet d'extraire des objets en vue d'étudier la variance des valeurs. Cela assure la reconnaissance de variations particulières de couleurs qui conduisent à la reconnaissance de carence en nutriments à partir de l'aspect des feuilles [153].

La définition de la valeur optimale des clusters est essentielle dans l'algorithme *k-means*. Or son choix est souvent empirique.

Dans [161], la valeur optimale des clusters est déterminée par différentes approches qui incluent la méthode du coude [129]. Les auteurs analysent des performances des algorithmes *K-means* et *K-medoid* sur des données agricoles. La différence entre *K-means* et *K-medoid* [87], réside principalement dans le choix du représentant, qui est le point le plus centrale pour la méthode *K-medoid*. Cette différence modifie considérablement les performances en fonction des données, en faveur de *K-medoid*. Dans cette thèse, la nouvelle méthode proposée, pour le clustering de séries temporelles génère des représentants caractérisant mieux les individus que les méthodes existantes. Cette amélioration est due à une nouvelle mesure de dispersion qui applicable à la méthode *K-means*.
**Le clustering flou** [158] L'approche dite floue par la méthode *Fuzzy C-means* est très similaire à la méthode K-means. La distance entre les instances et les centroids, se base, à la différence de *K-means*, sur un degré d'appartenance aux clusters. Ce degré d'appartenance est déterminé en fonction des intervalles de valeurs qui peuvent être les distances euclidiennes, par exemple, entre les individus et le centroide du cluster. L'algorithme s'arrête lorsque que la variation des degrés d'appartenance entre deux itérations ne dépasse pas un seuil déterminé.

Il existe plusieurs approches dites floues, utilisant différentes mesures de distance. Avec cette méthode, [121] analysent à partir de méthodes de clustering floues, les données collectées dans les étables à litière de composte. Ces étables sont des systèmes de confinement moderne, où les bovins ont plus de liberté de mouvement à l'intérieur de l'installation et peuvent se coucher de manière plus 'naturelle'. Les classifieurs flous ont été développés pour aider à la prise de décision pour le contrôle des variables telles que l'humidité, la température et l'aération de la litière. L'idée est de promouvoir le bien-être du bétail, et d'améliorer les indices de productivité. Des données provenant de 42 étables dans l'État du Kentucky aux États-Unis, ont été prises en compte. Ainsi dans [121], six classes liées aux degrés d'efficacité du processus de compostage ont été identifiées.

**La méthode DBSCAN** décrite par [45] est basée sur la densité des points. Il se sert pour cela de deux paramètres pour identifier les points à intégrer dans un cluster. Le premier est la distance $\epsilon$ dans laquelle doit se trouver le nombre minimum de points *minpoints* qui correspond au deuxième paramètre. Pour chaque point, si son $\epsilon$-voisinage contient le nombre minimum de points paramétrés, alors ils font partie du même cluster. Par itération la méthode DBSCAN parcourt le $\epsilon$-voisinage de proche en proche pour obtenir l'ensemble des points du cluster.

L'approche est régulièrement utilisée pour l'analyse spatiale afin d'agglomérer les régions, ou les cultures selon le type de sol. Dans [109], l'exploration de données par *DBscan* est appliquée aux besoins de fertilisants, en classant la fertilité des sols. Les classes sont obtenues sur la base des valeurs de nutriments présents dans les sols. Un modèle de fertilisation par groupe est appliqué, en considérant les valeurs agrégées des nutriments dans les groupes.

Les paramètres d'entrées sont donc une estimation de la densité de points des clusters.

En vue d'extraire des informations pertinentes pour l'agriculture, des observations météorologiques ont été analysés par [37] par la méthode DBSCAN afin de les prédire. Pour cela des données atmosphériques sont enregistrées toutes les heures, et sont transformées en base de données structurelles sur laquelle la méthode DBSCAN est appliquée. Ensuite, le protocole basé sur la priorité est utilisé sur les clusters résultants pour donner la
prédiction météorologique à partir des données collectées au cours des trois dernières années. Cette prédiction a un intérêt pour l'agriculture, qui dépend fortement de vari- ables environnementales (forçantes) comme le climat. En effet la température impacte certains paramètres zootechniques des espèces élevées et/ou cultivées.

**Le clustering hiérarchique** [81] définit à l'état initial chaque individu comme son propre cluster. De manière itérative, l'approche ascendant combine les paires de clusters les plus similaires, jusqu'à ce que tous les points soient dans le même cluster. On obtient un dendrogramme avec des niveaux de combinaison de paire de clusters, intégrant au fur et à mesure des successions de combinaisons, de plus en plus d'individus, issus des regroupements précédents. L'approche descendant vise à découper l'espace par exemple par dichotomie selon une mesure de distance adaptée aux valeurs.

L'une des tâches clés dans le domaine de l'agriculture est la délimitation des zones de production et de gestion. Dans [147], les auteurs utilisent une variante du clustering hiérarchique en conjonction avec une contrainte spatiale. En considérant un ensemble de données géo-référencées provenant d'image à hautes résolutions spatiales, l'objectif de ces auteurs a été d'extraire des zones (pixels) contiguës possédant des caractéristiques similaires, et de différencier des zones possédant des caractéristiques différentes.

Son approche a donc été d'utiliser une variante du regroupement spatial (hiérarchique) sous la contrainte de conserver les groupes résultants spatialement contigus.

L'objectif de délimiter géographiquement des élevages dans le domaine aquacole reste important, mais très peu étudié.

**Algorithm 2 :** pseudo code algorithme de clustering hierarchique

**Input:**

1. Définir chaque individu comme étant une classe.

2. Calculer la matrice des distances des individus 2 à 2

3. **while** tous les individus ne sont pas regroupés en une seule classe **do**

4. Regrouper les 2 éléments (individus ou groupes) les plus proches au sens d'un critère chosie.

5. Mettre à jour la matrice des distances en remplaçant les deux éléments regroupés par le nouveau et en recalculant sa distance avec les autres classes.

6. **end while**

### 2.2.1.0.1 La carte auto-adaptative (Self-organizing map)
La carte auto-adaptative [93] est une méthode de clustering basée sur les réseaux de neurones artificiels. Dans la sous section suivante, il y a une description de ces réseaux habituellement utilisés pour un apprentissage supervisé. les neurones de la carte auto-adaptative, encore appelée carte de Kohonen, sont positionnés de manière arbitraire dans l'espace des données.
L'apprentissage permet d'obtenir une cartographie des neurones qui tend à se rapprocher de la répartition de données dans un espace à grande dimension. Le nœud le plus proche de la donnée d'apprentissage est sélectionné. Il est déplacé vers la donnée d'apprentissage, comme le sont (dans une moindre mesure) ses voisins sur la grille. Après plusieurs itérations, la grille tend à se rapprocher de la distribution des données réelles.

## 2.3 Les méthodes de classification supervisées les plus répandues

### 2.3.1 La classification supervisée monolabel

**Principe général de l'apprentissage supervisé** : Dans la classification supervisée, les objets sont associés à une ou plusieurs étiquettes qui seront les données ciblées lors de l'apprentissage.

Cette classification vise à modéliser la relation entre les individus, décrits dans l'espace $X$, et les étiquettes $Y$ par la fonction $f(X) = Y$. Comme énoncé précédemment, les données acquises d'un système, sont dans la réalité régulièrement bruitées. Elles contiennent des erreurs dues à l'acquisition (l'imprécision des capteurs, le manque d'objectivité de l'observateur...). La classification supervisée cherchera par approximation à déterminer la fonction avec une erreur $\epsilon$ i.e $f(X) = Y + \epsilon$. Le but est d'ajuster la précision pendant le processus d'apprentissage, en limitant l'écart entre le résultat attendu et le résultat fourni par l'algorithme i.e l'apprenant. Rappelons que, par rapport à l'apprentissage, des données temporelles interviennent dans la modélisation d'un système de production. Ainsi la complexité de l'apprentissage, et notamment de l'apprentissage à partir de variables temporelles qui varient fortement au cours du temps, est d'ajuster la précision en fonction de la variation des séries.

Dans le cas d'une classification de systèmes de production, les cibles correspondent aux données de productivité et/ou de qualité des produits, qui concernent par exemple des paramètres physiologiques sur des espèces élevées.

**Les mesures de performances des méthodes supervisées** : La prédiction du label d'un ou de plusieurs individus, est l'objectif principal de la classification. Pour cela, la réponse émise par l'algorithme d'apprentissage, est comparée aux données réelles, selon son type de données. L'étude peut être souvent portée sur un phénomène de nature binaire qui sera donc le type de données de la cible. Par exemple, dans le domaine agricole, l'algorithme peut déterminer sur la base d'une image la présence ou l'absence d'une maladie. Dans le cas d'une classification binaire, les quantités suivantes (présentées dans [119]) sont utilisées pour évaluer la performance :

* Vrais positifs (VP) : nombre d'individus réellement positifs et déclarés également
positifs par l'algorithme,

* Faux positifs (FP) : nombre d'individus déclarés positifs mais qui sont en réalité négatifs,

* Vrais négatifs (VN) : nombre d'individus réellement négatifs et déclarés également négatifs par l'algorithme,

* Faux négatifs (FN) : nombre d'individus détectés négatifs mais qui sont en réalité positifs

À partir de ces éléments les mesures suivantes (présentées dans [119]) sont déterminées :

* L'accuracy indique le pourcentage de bonnes prédictions $\frac{VP+VN}{VP+VN+FP+FN}$

* La précision est le pourcentage de prédictions correctes parmi les prédictions positives $\frac{VP}{VP+FP}$

* la sensibilité ou le rappel est le pourcentage de positifs réels prédit correctement $\frac{VN}{VN+FP}$ (taux de VP)

* la spécificité est le pourcentage de négatifs réels prédit correctement (1 - sensibilité)

La reconnaissance automatique d'espèces ou de maladies, à partir d'images, en fonction des caractéristiques de l'image et notamment des bandes spectrales, font souvent l'objet de cibles binaires à prédire [126, 125, 47]. Par exemple sur la figure 2.1, l'algorithme reconnaît avec une précision de 100% l'appartenance à la classe 'C5', qui admet la présence d'une maladie en fonction de la disposition d'une couleur jaunâtre sur les feuilles de bananier.

Les types d'apprentissages en profondeur (deep learning), décrits plus bas, sont des réseaux de noeuds connectés qui au final émettent une réponse en fonction des caractéristiques de l'image ; On retrouve, à partir des données présentées ci-dessus, des performances d'accuracy élevées. Ces scores peuvent être supérieurs à 95% de précision pour la reconnaissance des maladies liées aux plantes (cf figure 2.1).

Pour des cibles non binaires, d'autres mesures peuvent être utilisées; Soit $n$ le nombre d'individus, et $\hat{y}$ la prédiction de l'algorithme. La performance des modèles apprenant sur des cibles non binaire est calculée à partir des mesures suivantes :

* l'erreur quadratique moyenne (mean squared error MSE) : $\frac{1}{n} \sum (y - \hat{y})^2$

* l'erreur quadratique absolue (mean absolute error MAE) : $\frac{1}{n} \sum |(y - \hat{y})|$
<figure><img src="image_4.png" /><figcaption>**Fig. 2.1** Exemples représentatifs d'une classification pour la présence d'une maladie avec une performance supérieure à 95%. (d'après [47])</figcaption></figure>

**Les modèles bayésiens** : Le modèle bayésien [144] classifie des données labélisées en fonction des labels ayant la probabilité conditionnelle la plus élevée. Suite à cela, un réseau bayésien est créé, et est capable de représenter l'impact ou l'influence des informations sur les données existantes par des expressions probabilistes décrivant les relations entre les variables. Les relations peuvent être représentées graphiquement par des structures de graphe. La règle de Bayes permet de définir les probabilités postérieures liées à chaque classe. Ces probabilités sont calculées à partir de la probabilité conditionnelle, $P(x_j|y_i)$ et de la probabilité à priori $P(y_i)$ comme suit : $P(y_i|x) = \frac{P(x|y_i)\ast P(y_i)}{P(x)}$ où $P(x) = \sum_{i=1}^{n} p(x|y_i) \ast P(y_i)$

Ce théorème peut être utilisé pour mettre à jour ou réviser les degrés de croyances des probabilités des états variables, sachant certaines valeurs, et à la lumière de nouvelles informations.

[40] proposent une revue complète de l'application des réseaux bayésiens dans l'agriculture, affirmant que ces réseaux sont particulièrement adaptés à la recherche agricole en raison de leur capacité à raisonner avec des informations incomplètes et à intégrer de nouvelles informations.

Par exemple, [16] se servent de l'approche de Bayes sur des données empiriques recueillies dans une culture de maïs, afin de voir l'impact des espèces concurrentes. Les caractéristiques utilisées pour construire le classificateur de réseau bayésien sont la densité totale des mauvaises herbes et les proportions correspondantes de narcisses et de dicotylédones. La classe est la biomasse des mauvaises herbes.

**L'arbre de décision** [133] : est une méthode d'apprentissage supervisée, qui permet de déterminer un ordre de test à effectuer sur les attributs *A* décrivant les objets *I* afin d'obtenir une classification automatique dans l'espaces des cibles *Y*. Cette méthode divise l'espace *X* en sous espaces selon un critère qui définit l'ordre de sélection des attributs pour la subdivision de l'espace. Pour cela, des tests sont appliqués aux at-
tributs. Les tests visent à déterminer l'attribut qui permet d'optimiser le plus le critère. L'attribut qui optimise le plus le critère est sélectionné et retiré ensuite de la liste des attributs. Le processus est itéré jusqu'à que l'ensemble des attributs soit sélectionné. L'algorithme 3 présente un pseudo code de la construction de l'arbre de décision.

**Algorithm 3** Arbre de décision

**Input:**

- exemples = liste d'exemples étiquetés

- questions = liste des attributs non utilisés jusqu'à présent

**Output:** - *Graphe* arbre de décision

1: **if** question vide **then**

2:   retourner feuille(T)

3: **else**

4:   q = attribut optimal (avec le plus grand gain d'entropie)

5:   n = nouveau nœud créé qui testera l'attribut q

6:   **for** chaque v = valeur possible de q **do**

7:     e = l'ensemble des éléments des exemples ayant v comme valeur à l'attribut q

8:     chaque nœud fils de n est créé par ID3(e, questions - {q})

9: **end for**

10: Retourner n

11: **end if**

L'une des méthodes les plus répandues est l'algorithme C4.5 qui détermine la struc-
turation et l'ordonnancement des noeuds (i.e attributs) en fonction du gain d'information.
Il existe différents critères permettant d'ordonnancer les attributs.

La classification se sert de cette structure pour déterminer le chemin, de la racine
(l'attribut le plus optimal) vers la feuille (la cible prédite), en fonction des valeurs
d'attributs des individus à classer.

L'approche peut être utilisée dans l'agriculture pour ordonnancer l'influence des variables environnementales et de gestion sur la productivité des systèmes et la qualité des produits.

Dans [113], l'arbre est utilisé pour plusieurs facteurs qui affecteraient le Produit Intérieur, Brut (PIB) agricole. L'auteur se sert comme attributs des données statiques, notamment en lien avec les données environnementales, et d'autres variables comme par exemple, la population agricole, le nombre de têtes de bétail, la température moyenne, la durée d'ensoleillement ... Ces attributs ont permis de déterminer les principaux facteurs et la manière dont ils affectent la valeur (en terme de PIB) de la production agricole.

La figure 2.2 présente l'arbre et les variables utilisées, ordonnées selon leurs im-
pactes dans le *PIB*. Les feuilles de l'arbre sont donc les cibles catégorielles (i.e l'impacte
fort ou faible).

<figure><img src="image_5.png" /><figcaption>**Fig. 2.2** Structure de l'arbre de décision pour déterminer la valeur de la production agricole (Produit Intérieur Brut Agricole) ([113])</figcaption></figure>

Les règles obtenues pour la classification sont par exemple :

1) **SI** la superficie est supérieure à 98% et que les animaux ont des litières, **ALORS** le rendement est faible.

2) **SI** la superficie est supérieure à 98% et qu'il y a beaucoup d'animaux et que les précipitations sont faibles **ALORS** la production est faible

Autre exemple dans [179], les auteurs traitent principalement d'un classificateur spécifique à base d'un arbre de décision, utilisé pour classer des données agricoles. Il est capable de traiter à la fois des données complètes comme incomplètes. La méthode est appliquée à plusieurs ensembles de données. Le premier est utilisé pour prédire l'âge de l'ormeau à partir de mesures physiques. Ces mesures concernent des données zootechniques comme la longueur, le diamètre et le poids de la coquille.

**Les séparateurs à marge (SVM)** Les séparateurs à marge [172] sont des classificateurs supervisés qui déterminent une frontière de décision pour discriminer les objets dans l'espace d'apprentissage X. Cette frontière est déterminée par la recherche d'un hyperplan $h(x) = (w^T x + w_0)$ séparant des objets selon les labels Y avec $w^T x$ le vecteur normal à l'hyperplan. Cet hyperplan optimal est déterminé par : $\text{Argmax}_{w,w_0} \min\{||x - x_i|| : x \in \mathbb{R}^d, h(x) = 0, i = 1, \dots, n\}$, $h(x)$ est déterminé en maximisant les distances des points les plus proches de sa norme w en les considérant par classe (par label).

Il existe différentes approches permettant de déterminer la frontière. La résolution de l'équation $h(x) = (w^T x + w_0)$ est obtenue selon différentes approches par exemple en
changeant la forme de l'équation.

Dans le domaine agricole, cette approche est très répandue. C'est une stratégie d'apprentissage automatique qui est concurrente aux types d'apprentissages précédents et notamment aux modèles bayésiens. [94] présentent l'application du SVM dans l'agriculture, pour aller vers une meilleure gestion des cultures. Le SVM donne de bonnes approximations pour des échantillons et des dimensions faibles. Il reste cependant très sensible à la qualité des données. Les objectifs en analyse d'images sont très variés et comprennent la détection de maladies à partir des caractéristiques visibles sur l'espèce cultivées (feuilles de riz). La prédiction du rendement est aussi un enjeu pour lequel l'approche SVM est utilisée. Par exemple, [64] expérimente l'approche sur des données d'images pour prédire le rendement du blé, à partir des données issues des bandes spectrales d'images satellitaires. Ils utilisent notamment l'indice normalisé de végétation de différences (NDVI). Pour cela la prédiction a été faite sur différentes fenêtres temporelles liées à différentes périodes de croissance de la plante.

**Les k plus proches voisins :** La méthode des K plus proches voisins (cf algo 4) [28] est une méthode non paramétrique qui détermine la classe d'une observation en utilisant une valeur moyenne, où la classe la plus commune, de ces points k-plus proches. Le choix de la distance à utiliser et du nombre de voisins K à considérer peut ne pas être évident. Afin d'obtenir une performance correcte, par cet algorithme, il est souvent nécessaire souvent de tester l'approche avec différentes combinaisons.

<caption>**Algorithm 4 k plus proches voisins**</caption>

**Input:**

- $X = \{x_1, x_2, \dots, x_p\}$

- Y une cible quelconque

- K le nombre de voisins à considérer

1: **for** chaque point des données de test **do**

2: Calculer la distance (euclidienne) de tous les points des données d'apprentissage

3: Stocker les distances dans une liste et la trier

4: Choisissez les k premiers points

5: Attribuer une classe au point de test en fonction de la majorité des classes présentes dans les points choisis.

6: **end for**

L'approche est adaptée aux problèmes non linéaires, et peut être sur des données complexes, plus performantes que l'approche SVM. La méthode des k plus proches voisins est moins répandue dans l'agriculture, mais à néanmoins fait ses preuves dans l'analyse des coûts de fonctionnement des systèmes de production. Dans l'étude de [11], l'objectif a été de développer un outil de planification permettant aux agriculteurs d'évaluer les systèmes logistiques, la finalité étant de réduire les dépenses liées
à la consommation d'énergie, en optimisant l'apport de ressources, notamment pour différents types de véhicules tracteurs. Cela permet aux agriculteurs de connaître les paramètres clés des différents systèmes, tels que la consommation moyenne de carburant et la vitesse moyenne de transport. Les données concernaient des trajets en Allemagne, comprenant des routes transversales et des routes de campagne.

De manière analogue, le principal objectif de [3] était de déterminer la capacité de l'algorithme des *k voisins les plus proches* (KNN) à prédire correctement la consommation de carburant des systèmes "tracteur-chisel-charrue". La méthode (sur des données non-linéaires) présentait des coefficients de corrélation sur l'ensemble des données de 0,817. Cette même performance était de 0,422 en utilisant la méthode de régression linéaire multiple.

L'algorithme a été utilisé par [162] dans le cadre d'une analyse spatiale. Afin d'aider à déterminer le type de cultures alimentaires qui convient à une parcelle, l'auteur développe un système de méthodes d'identification des terres en utilisant la méthode KNN. L'étude a été conduite en Indonésie, où la plupart des habitants sont des agriculteurs et travaillent dans le secteur agricole. Les attributs utilisés concernaient les paramètres édaphiques, et météorologiques (température, précipitations (mm/année), taux d'humidité, drainage, texture...). Ces paramètres impactent l'espèce cultivée. Dans l'aquaculture le positionnement des bassins est aussi un facteur prépondérant dans le développement de système de production d'espèces aquatiques; Les paramètres édaphiques impactent, le milieu d'élevage, de manière analogue à l'agriculture.

**Les réseaux de neurones artificiels:** Un réseau connexionniste [68] est une structure dans laquelle des neurones sont connectés en couches. Ces réseaux propagent des valeurs d'activations entre les couches selon une règle qui permet de déterminer la valeur en sortie par neurone. Nous ne nous attarderons pas sur ce concept, il reste néanmoins l'un des plus performants dans les approches supervisées.

Par exemple, le schéma de la figure 2.3 représente un perceptron. A droite un signal de sortie est véhiculé en fonction d'un seuil d'activation. Ce seuil est comparé à la valeur obtenue par le noyau 'combinaison' qui effectue un traitement sur le vecteur d'entrée x. Chaque composante $x_i$ est pondérée par le poids synaptique correspondant $w_i$, en appliquant une fonction tel que : $\sum_{i=0,d} w_i * x_i$. avec dans cette exemple $d = 4$

L'un des réseaux les plus utilisés en agriculture est le réseau de neurones convolutifs (CNN, [86]), qui permet d'extraire des caractéristiques particulières liées à un ou plusieurs objets dans l'image. Dans ce réseau, des filtres sont appliqués à l'image successivement, pour en créer des couches distinctes. Un filtre peut par exemple permettre d'extraire les valeurs maximales, de plusieurs groupes de pixels pris à différents emplacements dans l'image pour les passer à la couche suivante.

Les techniques dites floues permettent de prendre en compte l'imprécision des données
<figure><img src="image_6.png" /><figcaption>Fig. 2.3 Schéma d'un perceptron.</figcaption></figure>

de plusieurs manières, à partir d'ensembles flous qui sont des ensembles dont les éléments sont décrits par des classes. Pour rappel : les données imprécises peuvent faire référence à des données d'apprentissage dont la description des objets est vague. Une description théorique des modèles principalement connexionistes combinés à ces techniques est présentée ci-dessous. Nous présenterons ici succinctement ces méthodes basées sur des réseaux de neurones artificiels :

* **Radial basis function network (RBFNN)** [17] : Réseau particulier à base radiale ou la réponse diminue ou augmente par rapport à un point central. Les fonctions radiales de base peuvent être des fonctions gaussiennes, multi quadratiques....

* **Fuzzy neuronal** [95]: On peut considérer dans ce cas les entrées réelles et des poids flous, les entrées floues et de poids réels, sinon les deux peuvent être flous. Ce système n'est pas très répandu en raison du manque de données qui impliquent ces 3 modalités.

* **le réseau de neurones récurrents** [67] : Un réseau pour lequel il existe au moins un cycle. Il est adapté aux données séquentielles c'est à dire de signaux. Les connexions récurrentes permettent d'analyser la partie passée du signal, i.e de mémoriser sa décision.

Les réseaux combinés à la logique floue intéressent particulièrement la télédétection. Les pixels de basses résolutions (> 1m de résolution), contiennent des informations hétérogènes. Dans le cadre d'une étude avec des images sur des parcelles agricoles, les pixels peuvent contenir une variété de plantes en fonction de la résolution du pixel. La complexité de l'information de pixels mixtes impacte la performance des algorithmes d'apprentissage. En effet, dans la grande majorité des articles d'apprentissage avec des données d'images, la classification est basée sur le pixel. Dans le cadre d'une classification mono-label, chaque pixel est associé à une classe, afin d'assurer l'apprentissage des
réponses spectrales de l'image par rapport à la classe, qui peut être le type de plante. Or chaque pixel peut être composé d'adhésions multiples et partielles de toutes les classes candidates. La logique floue permet d'attribuer pour chaque pixel, un degré d'appartenance à différentes classes. [123] font une review de la logique floue appliquée, à la classification des cultures par imagerie.

Utiliser les approches floues permet de déterminer des 'labels' cohérents avec l'expérience métier, et de représenter des cibles complexes.

### 2.3.2 Apprentissage multilabel

Les approches d'apprentissage multi-label peuvent être définies selon trois grandes familles [169, 184, 6] :

1. Approches d'apprentissage par transformation : elles transforment le problème d'apprentissage multi-label en un ou plusieurs problèmes de classification ou de régression mono-label, relationnelles ou non.

2. Approches d'apprentissage par adaptation : elles adaptent des algorithmes d'apprentissage pour des données multi-label,

3. Approches d'apprentissage ensemble : elles utilisent un ensemble de classificateurs issus de la première ou de la deuxième famille d'approches.

**Les approches par transformation** : Binary Relevance [114] BR, est la méthode la plus populaire et la plus simple de cette classe d'approche. Elle transforme le problème d'apprentissage multi-label en *q* problèmes de classification ou de régression mono-label. Pour l'apprentissage de chaque label $Y_i(1 \le i \le q)$, un classifieur binaire est utilisé. BR retourne l'union des prédictions de chaque classifieur. Classifier Chain CC [143] est une amélioration de la méthode BR (qui transforme également le problème d'apprentissage multi-label en *q* problèmes de classification ou de régression mono-label). Chaque classifieur binaire apprenant un label $Y_i$ ajoute, dans son espace d'attributs, tous les labels associés aux classificateurs qui le précèdent dans la chaîne (i.e. $Y_1, \dots, Y_{i-1}$). Cependant, les classificateurs sont entraînés dans un ordre aléatoire défini avant la phase d'apprentissage $[1, \dots, i, \dots, q]$.

**Les approches par adaptation** : Dans cette approche les algorithmes sont modifiés. Prenons le cas Multi-Label, kNN (ML-kNN) [183] est une méthode de type Binary Relevance BR qui combine l'algorithme standard de kNN avec une inférence bayésienne. En phase d'apprentissage, ML-kNN estime les probabilités a priori et a posteriori de chaque label à partir des exemples d'apprentissage. Pour un nouvel exemple $I_i$, ML-kNN calcule ses *k* plus proches voisins, il mesure la fréquence de chaque
label dans ce voisinage. Cette fréquence est ensuite combinée avec les probabilités estimées dans la phase d'apprentissage pour déterminer son ensemble de labels en suiv-ant le principe du maximum a posteriori (MAP). ML-kNN a l'avantage de tirer parti du raisonnement bayésien : la frontière de décision peut être ajustée de manière adaptive dûe à la variabilité des voisins des nouveaux exemples et le problème du déséquilibre entre classes peut être largement atténué à l'aide des probabilités a priori estimées pour chaque label. Néanmoins, comme toute approche de type kNN, le temps de prédiction croît linéairement avec la taille de l'ensemble d'apprentissage.

**Les approches par apprentissage d'ensemble** : Ensemble de Binary Relevance (EBR) et Ensemble de Classifier Chains ECC [143]) entraînent respectivement *N* classifieurs BR et *N* classifieurs CC. Pour diversifier les classifieurs, elles sous-échantillonnent de façon répétitive (avec remise) l'ensemble d'apprentissage (i.e. bagging [15]). Chaque classifieur CC est entraîné suivant un ordre de label différent défini aléatoirement. EBR et ECC. L'avantage de ces deux méthodes d'ensemble est qu'elles tentent d'améliorer les performances de leurs classifiateurs de base (BR et CC) en multipliant les modèles. Néanmoins, leur complexité d'apprentissage croît linéairement avec le nombre de labels.

## 2.4 L'utilisation des méthodes en intelligence artificielle pour répondre aux enjeux et aux problématiques dans le domaine aquacole

Il y a des objectifs communs, traités par les méthodes en science de donnée, entre le domaine agricole et le domaine aquacole. Comparativement aux productions agricoles, la littérature contient beaucoup moins d'articles dans le domaine aquacole. Dans ce dernier cas, la qualité du milieu est vitale pour les espèces élevées et ou cultivées. De nombreuses données sont généralement acquises par les producteurs. Elles sont collectées manuellement ou au travers de capteurs, pour des systèmes de production. Il peut s'agir de la concentration en oxygène dissous, de la salinité, de la turbidité, de la température de l'eau, de la biomasse ainsi que de la quantité d'intrants et d'énergie dépensée.

### 2.4.1 L'aquaculture et la science de données

L'aquaculture est une industrie qui possède l'une des croissances les plus fortes dans le domaine de la production alimentaire à l'échelle mondiale [46].

Elle a connu une croissance majeure et à deux chiffres, durant cette dernière décennie. Tout en reconnaissant le potentiel que représente l'aquaculture pour le bien-être humain, cette activité a des impacts sociaux, économiques et environnementaux négatifs liés à
un certains types de pratiques. Certaines pratiques se sont révélées être non durables
[61] alors que d'autres, malgré des résultats plus ou moins contrastés, en fonction des
années, restent viables. Les innovations technologiques ont été et seront nécessaires
pour une gestion plus durable de cette ressource.

D'après [100, 80], les systèmes intelligents intégrant l'apprentissage automatique
à partir des données et permettant la gestion automatique des processus en aquacul-
ture devraient permettre dans le futur une meilleure compréhension du marché, une
réduction des maladies, principal frein à la durabilité de ce secteur, et une meilleure
gestion de l'eau et de l'énergie dont certaines pratiques sont fortement consommatrices.
Dans le cadre de la mise en place du processus complet d'extraction de connaissances,
décrit en introduction, nous intéressons aux étapes qui le composent. Pour rappel, l'un
des verrous scientifiques est d'intégrer dans ce processus, une méthodologie prenant en
considération l'ensemble des données générées dans la filière; Par rapport au domaine
aquacole, les étapes suivantes, relevées dans [186], sont mises en place :

1. L'acquisition de données par :

(a) des caméras étanches permettant de capturer à différents instants, des im-
ages sous l'eau, d'espèces élevées.

(b) des capteurs permettant d'obtenir régulièrement des données physico-chimiques sur la qualité de l'eau comme la température, la salinité, l'oxygène dissous, la turbidité...

(c) des stations météorologiques permettant d'obtenir des données environnemen-
tales (pluviométrie, température ambiantes..).

(d) des relevés réalisés manuellement par les éleveurs comme les paramètres
physico-chimiques et zoo ou phytotechniques.

(e) des laboratoires pour réaliser différentes analyses environnementales ou de
santé des espèces élevées et /ou cultivés.

2. Des systèmes de stockage de données :

(a) dans des bases de données relationnelles ou non.

(b) dans des formulaires numériques ou papiers, répertoriés sous différents for-
mats (xls, xml...).

3. Des modèles d'apprentissages automatiques appliqués pour répondre aux problématiques et aux enjeux métiers :
(a) des méthodes permettant d'extraire de nouvelles connaissances, de générer de nouveaux descripteurs qui serviront de données d'apprentissage

(b) des modèles d'apprentissages pour la détection de maladies à partir d'images, la modélisation de la biomasse dans le temps, la prédiction des paramètres physico-chimiques concernant la qualité des milieux de culture et/ou d'élevage....

### 2.4.1.1 Des outils d'aide à la décision

Avant les années 2000, plusieurs logiciels destinés au contrôle des processus en aquaculture intégrant des méthodes en intelligence artificielle avaient déjà été développés. L'objectif de ces outils étaient de gérer différentes tâches telles que la collecte de données, l'analyse des tendances, et le contrôle automatique de la qualité du milieu, de la biomasse et de l'alimentation.

[43] présente un système de surveillance et de contrôle de l'environnement comprenant des capteurs essentiellement pour le suivi de la qualité de l'eau dont l'oxygène dissous, la salinité, la turbidité, la température et la biomasse. Mais à noter que la plupart des systèmes de contrôles ce sont intéressés à l'évolution de ces variables [99, 141].

[100] fait un état de l'art des applications intégrant des méthodes en IA pour le suivi de la qualité de l'eau principalement par l'utilisation de méthodes de la logique floue. Ces méthodes sont utilisées car les données contiennent une part d'imprécision non négligeable. En effet, dans ce dernier papier, l'acquisition des données est réalisée sur la base d'échantillons et les relevées sont réalisées dans des bassins tests, de petites tailles (de l'ordre du m²).

Pour des installations plus conséquentes, différents progiciels de systèmes de décision ont été développés par le biais de modules d'application intégrant des systèmes de décision et de normalisation des données. Concernant le suivi des paramètres physico-chimiques, l'application AQUASMART ([1]), dédiée à l'aquaculture a été développée afin d'améliorer les stratégies d'alimentation. Cet outil utilise un modèle de régression du taux de conversion alimentaire, ayant pour variables explicatives le poids moyen initial des poissons et la température moyenne.

### 2.4.2 Les objectifs les plus répandues associés aux méthodes en science de données

#### Analyse de l'impact de l'environnement d'élevage sur la productivité des systèmes.

Selon [100, 76], les aquaculteurs réalisent qu'en contrôlant les conditions environnementales et les intrants dans le système (ex. l'eau, l'oxygène, la température, le taux d'alimentation et la densité de peuplement), il est possible de limiter les facteurs de stress des espèces et les externalités (quantité d'effluents rejetés vers l'environnement littoral...).
Dans [13] les auteurs énoncent un modèle proche de la classification par paire, afin de pondérer l'influence des données environnementales (température, pH, oxygène dissous..) et l'alimentation en prenant comme cible la survie. Des relations importantes entre, la nourriture et la température de l'eau sur la survie ont été relevées. La survie des organismes est d'une importance capitale dans ces systèmes. Les résultats économiques dépendent très fortement de cette variable. Quelques tests ont mis en avant un lien potentiel de l'oxygène dissous sur la survie. La précision des modèles était supérieure à 90%. Cependant, dans la pluspart des papiers ([13, 76, 77] ), les expérimentations ont été réalisées sur un nombre d'élevages très réduit, et sur de courtes périodes (et réalisées souvent dans des mésocosmes dans le cadre d'expérimentations).

Notons que de manière générale, les premières études utilisaient couramment la
logique floue, appliquée à des données environnementales imprécises. En effet, comme
énoncé, cette méthode permet d'apprendre avec des connaissances empiriques, décrites
par exemple par des données catégorielles et souvent non explicites comme la quantité
d'eau renouvelée (peu, beaucoup, etc.). Dans des papiers plus récents, l'étude de la
teneur en oxygène dissous permet de travailler sur un indicateur intégral de la qualité
de l'eau, car elle est utilisée pour évaluer l'état de santé des écosystèmes aquatiques
et la capacité à maintenir les organismes aquatiques [155]. Une teneur insuffisante en
oxygène dissous peut entraîner un stress, voir la mort des organismes aquatiques lorsque
qu'il est consommé plus rapidement qu'il n'est produit (mise en place d'un système
hétérotrophe). Par conséquent, la surveillance et la mesure de l'oxygène dissous est
d'une importance cruciale dans les écosystèmes aquatiques pour la survie des espèces
telles que les crevettes, les écrevisses et les poissons [92] Les études sur des données sta-
tiques agrégeant les données temporelles à des valeurs moyennes journalières par exem-
ple, ou encore des études statistiques sur l'analyse des moyennes de deux échantillons
on permis d'identifier certains seuils critiques. Concernant l'analyse de séries tem-
porelles de l'oxygène dissous, le RNN présente des avantages évidents et est largement
utilisé dans les systèmes de surveillance de cette variable. Sur la base du RNN, [185]
ont adopté la technologie k-PCA pour réduire le bruit des données brutes et améliorer
la précision. De meilleures performances de prédiction que les autres modèles, allant
jusqu'à plus de 90% de précision. [22] ont amélioré le RNN et effectué un regroupement
K-means sur les séries chronologiques d'oxygène dissous, améliorant ainsi la précision
de la prédiction. [69] ont combiné des informations sur la qualité de l'eau avec des in-
formations météorologiques. Ils ont appliqué la méthode de descente de gradient pour
sélectionner les facteurs qui ont une plus grande influence sur l'oxygène dissous OD,
et ont prédit cette variable par le modèle LSTM. Les résultats ont révélé que le modèle
avait une bonne capacité de prédiction et de généralisation. Il a permit de déterminer
un ordre d'influence entre plusieurs variables physico-chimiques et l'OD. Toutefois,
l'intégration de plusieurs variables temporelles dans le domaine aquacole, n'est pas
courant dans la littérature.

La teneur en OD est aussi affectée par d'autres facteurs de qualité de l'eau, tel que la valeur de température [41].

### 2.4.2.0.1 Les études sur la biomasse
La gestion des ressources dans les systèmes de production aquacole mais aussi en halieutique, passe par la gestion de la biomasse des organismes. La biomasse est un paramètre important qui peut influencer la productivité des systèmes. Différents travaux décrits ci-dessous ont été menés afin d'estimer la taille et le poids des organismes, par des modèles d'apprentissages artificiels [117]. () La littérature relève l'amélioration par les méthodes d'IA, de la qualité des données au moment de leur acquisition, en vue de leurs pré-traitements et d'une analyse avec des résultats satisfaisants.

Il existe différentes approches, plus traditionnelles, d'acquisition de données concernant l'estimation de la biomasse dans le domaine des pêches. Parmi ces méthodes, certaines sont basées sur la quantification du matériel utilisé pour la pêche (engins, filets...) et d'autres informations sur les prises réalisées (compositions des espèces capturées par taille et par âge). Ces informations permettent de définir des mesures relatives au taux de capture [112].

L'apprentissage automatique permet une estimation plus précise de la biomasse (la taille, le poids...), sans passer par des méthodes traditionnelles. [186]. Concernant l'estimation de la taille des espèces, les réseaux de neurones sont très souvent utilisés sur des données issues d'images. Différents types de données ont été utilisé, dans des recherches qui ont été menées pour la plupart sur des jeux de données accessibles en ligne (i.e ImageNet, jeu de données des poissons de l'Atlantique [35]). [120] ont proposé le modèle R-CNN sous différentes architectures pour l'estimation de la longueur du bar européen.

Néanmoins la complexité des images complique le pré-traitement des données; c'est le cas par exemple de la détection de poissons lors d'une situation de chevauchement sur l'image. Pour cela, [52] ont employé le modèle Mask R-CNN ([66]) et la technique du gradient local pour estimer la longueur des poissons dans l'Atlantique Nord, pour obtenir une segmentation précise.

[108] ont employé un modèle CNN fondé sur la méthode d'apprentissage par transfert pour estimer la longueur du poisson pour les données issues d'un petit échantillon prélevé dans un étang. Les résultats ont révélé que le modèle avait un bonne estimation et pouvait atteindre une précision de plus de 93 %.

En ce qui concerne l'estimation du poids de ces organismes, les chercheurs font en grande partie leurs prédictions en fonction des caractéristiques de la forme du corps des poissons, en utilisant des méthodes de traitement d'image pour extraire la taille du
poisson, la géométrie du dos et la surface du corps. [48] ont employé une combinaison
de régression linéaire et CNN pour prédire le poids en divisant la surface du corps des
poissons, pour essayer d'atteindre une précision de prédiction élevée. Les modèles
restent limités à l'acquisition d'images à une distance fixe et à l'estimation automatique
du poids.

Des modèles de production ont été les premiers à être utilisés dans l'analyse sur l'évolution de populations biologiques [142]. Ces modèles sont basés sur des modèles mathématiques pour l'estimation de taux de production, en considérant les pêches et d'autres facteurs naturelles (mortalité...).

**La classification des espèces** : L'apprentissage automatique, comme énoncé, permet d'extraire des caractéristiques dans les images. L'enjeu dans l'aquaculture est d'en extraire en vue d'une classification des espèces. Les développements de l'apprentissage automatique ont permis de réaliser des modèles de classification des espèces sur la base des caractéristiques des poissons. La performance des méthodes d'apprentissage est liée à la qualité des données, et donc à la description des entités. Les descripteurs doivent être identifiés pertinemment pour assurer une précision optimale. La recherche concernant la reconnaissance des espèces s'oriente sur l'extraction des caractéristiques les plus pertinentes.

Dans [78, 75], un pré-entraînement sur les ensembles de données de classifica-
tion ImageNet ([35]) a été réalisé, pour acquérir les paramètres du modèle. Ensuite
le modèle CNN a été optimisé grâce à l'ensemble de données réelles pour classer les
poissons. [85] ont proposé une méthode pour l'extraction de caractéristiques d'arrière-
plan, par une segmentation avec Kmeans. Ils ont aussi proposé une sélection et une
extraction de caractéristiques à partir de la teinte, de la saturation et de la valeur des
pixels, par une méthode de feature selection. Cette approche a permis d'extraire les
caractéristiques (couleurs) des poissons koï. Ils ont ensuite utilisé le SVM pour une
classification avec une précision de plus de 95 %.

[163] ont proposé une méthode de descripteur local pour extraire les caractéristiques de texture et de couleur. Ils ont utilisé l'Analyse Discriminante Linéaire ([171]) pour réduire le nombre d'éléments afin de distinguer les catégories. Le classificateur Ad-aBoost est ensuite employé pour classer les poissons avec une précision de plus de 96 %.

[31] ont utilisé les SVM et KNN pour la classification. Les résultats ont montré que la précision était supérieure à celle du modèle CNN.

[24] ont également proposé un modèle hybride d'apprentissage profond pour la détection et la classification des poissons, à partir d'un ensemble de données créé par eux-mêmes.

Ils existe néanmoins diverses contraintes liées pour la plupart aux mauvaises con-
ditions sous-marines (turbidité, manque d'éclairage). Il est aujourd'hui complexe dans
ce cas de déterminer un modèle robuste à ces contraintes, et notamment lorsque la
résolution du pixel est basse. Généralement, les méthodes de super-résolution d'une
seule image ([176]), processus qui consiste à améliorer la résolution spatiale, permet-
tent d'améliorer la précision de la classification des espèces de poissons.

[26] ont étudié un réseau de détection de poissons légers avec l'architecture d'apprentissage
la plus profonde pour l'identification et la classification des poissons en réponse à des
conditions difficiles, obtenant de bons résultats dans des eaux turbides.

Pour le problème des images à basse résolution collectées dans des conditions
extrêmes, [160] et [130] ont proposé une méthode d'amélioration de la résolution pour
parvenir à la classification des espèces.

Différents types de réseaux connexionnistes sont souvent entraînés avec des jeux de données en ligne. [135] et [149] ont développé une méthode combinant *CNN*, *SVM* et *KNN* pour classer les poissons, avec une précision de plus de 90%. A partir du jeu de données *Fish4Knowledge* ([51]) [131] ont proposé un modèle de réseaux de neurones pour la reconnaissance de poissons en eau profonde. Ils ont ensuite utilisé le *SVM* pour classer les poissons et ont obtenu un taux de précision de plus de 98 %.

Les enjeux dans le domaine aquacole, précédemment cités, sont les enjeux les plus
important auxquels la science de données a jusqu'ici essayé de répondre. Les méthodes
d'apprentissages automatiques ont été moins appliquées aux enjeux présentés par la
suite.

2.4.3 Les objectifs les moins répandus

* **Les études sur la croissance** : Dans l'aquaculture très peu de techniques en machine learning ont été utilisées sur des données de croissance (taux de croissance...) dans le domaine des productions animales. Les modèles utilisés sont davantage basés sur des modèles mathématiques [19]. [182] évalue le potentiel des réseaux de neurones en tant qu'alternative aux fonctions de croissance qui ont été comparées dans [164]. On citera enfin l'utilisation de méthodes de feature sélection pour l'étude de la croissance des algues afin d'évaluer les facteurs favorisant leur expansion [136]. Les principaux facteurs sont liés à la qualité de l'eau, comme la température.

* **La génétique** : avec le développement de la bio-informatique, [60] classifient des espèces de poisson à partir de marqueurs génétiques. Ils utilisent des motifs générés par l'algorithme génétique. [56] utilisent le modèle du réseau neuronal Self-Organizing Map (SOM) pour détecter des groupes de structures génétiques.

* **L'impact environnemental de l'aquaculture** : [50] se sont concentrés sur l'effet environnementale et économique par une méthode naturelle de simulation de
différentes cultures ciblant une bonne performance.

* L'évolution dynamique de l'activité des bassins Grâce à la télédétection couplée aux méthodes de fouille de données (règles de classification, arbre de décision), [62] ont proposé une démarche de suivi dynamique des évolutions de l'activité des bassins à l'aide d'une série temporelle d'images satellitaires. [23, 187] ont repris ces travaux et proposent une démarche novatrice basée sur l'extraction de motifs dans un graphe dynamique attribué appliquée à la série temporelle d'images satellitaires, pour comprendre et suivre ces évolutions dynamiques.

## 2.5 Conclusion

Ce chapitre met en évidence la complexité des données issues des filières agricoles et aquacoles. Les objectifs et enjeux traités par les méthodes en science de données sont considérables. Cependant il y a encore des enjeux important non traités. Nous retiendrons l'intérêt de croiser des données de qualité du milieu, des caractéristiques zootechniques des espèces, et des paramètres édaphique en agriculture, comme en aquaculture, qui sont des données nécessaires à une meilleure gestion des systèmes de production. La dimension temporelle des données reste cependant peu prise en compte, alors que des méthodes de classification supervisées ou non supervisées à partir de données temporelles ont été appliquées dans le domaine agricole. Dans les deux cas, le clustering et la classification de séries temporelles multi-variées et multi-échelles, dont les définitions sont données ensuite, restent à notre connaissance peu ou pas pris en compte. Ces données temporelles sont régulièrement agrégées en données statiques (moyenne, minimum, maximum...) limitant ainsi l'information extraite.

Enfin, il n'existe pas de démarche intégrative permettant une analyse globale du fonctionnement et des résultats de ces filières, alors que de nombreux facteurs qu'ils soient techniques, environnementaux, sociaux, économiques sont à l'origine des performances de production. L'application des méthodes en science de données sur les données aquacoles, pourrait servir à mettre en place une méthodologie générale pour établir un lien entre pratiques et performances des élevages avec une vision mécanistique et pas uniquement statistique. Cette thèse propose une méthodologie et de nouveaux algorithmes pour répondre à ces enjeux.
# Chapitre 3

## Contribution méthodologique en sciences des données

Ce chapitre présente l'ensemble des contributions algorithmiques apportées durant la thèse pour l'analyse de séries temporelles en général et nous verrons, dans le chapitre 7, leur intérêt pour les données générées par la filière aquacole. De nouveaux algorithmes de clustering et de classification de séries temporelles ont été développés durant cette thèse. De plus, un nouveau formalisme de clustering de séries temporelles multi-variées est proposé. Des critères du clustering de séries temporelles multi-variées et multi-échelles seront proposés et viseront à regrouper des individus en tenant compte des variables temporelles communes. Les variables peuvent avoir des échelles temporelles différentes.

L'analyse des données environnementales du domaine aquacole par les nouvelles méthodes proposées, et qui sera présentée et commentée dans les chapitres suivants, montrera que l'amplitude des séries de données de qualité du milieu impacte considérablement les performances des espèces élevées. Le critère, que nous proposerons, sera pris en compte par les nouvelles méthodes. Avant d'analyser les données de la filière aquacole, les nouveaux algorithmes pour le clustering de séries temporelles multi-échelles, mono-variées et multi-variées, seront dans un premier temps détaillés et testés sur des jeux de données disponibles en ligne. L'objectif est de valider leur intérêt en comparant leurs performances avec d'autres méthodes existantes, telles que la méthode K-Shape [?] ou encore KmeansTS [71] qui seront présentées dans ce chapitre.

L'analyse de séries chronologiques est appliquée dans de nombreux domaines de l'ingénierie, des affaires, dans les finances, l'économie, la santé... Cette approche vise à extraire des connaissances utiles pour les experts à partir d'ensembles de données temporelles et massives ([8]). Elle est appliquée pour des objectifs variés tels que la correspondance de sous-séquences, la détection d'anomalies, la découverte de motifs [10], le regroupement, la classification, la visualisation, la segmentation et les prévisions. Notre étude porte sur le clustering de séries chronologiques.

Il existe 3 principales approches pour le clustering d'un ensemble de séries temporelles. La première approche est basée sur la construction de nouvelles caractéristiques :
les séries sont décrites par un vecteur d'attributs qui correspondent à des caractéristiques extraites ([82]). Afin de regrouper les individus, une méthode de regroupement classique (K-Means, X-Means [129], DBscan, ...) est appliquée sur ces caractéristiques. La seconde approche applique directement des méthodes de clustering existantes (essentiellement des approches k-Means) en utilisant des mesures de distance adaptées aux séries temporelles pour la comparaison de séries chronologiques. La troisième approche, détaillée ensuite, est basée sur le modèle en lui même. Au cours de la dernière décennie, les mesures de deux séries chronologiques ont été développées et améliorées en terme de performance. On trouve, par exemple, la mesure DTW (Dynamic Time Warping) [30], la mesure SBD (Shape Based Distance) [128] une amélioration de la corrélation croisée entre deux signaux. Nous nous baserons principalement sur ces deux mesures, notamment sur un ensemble de mesures dérivées de la mesure DTW qui est la mesure la plus adaptée et la plus utilisée pour le clustering de séries temporelles [39, 30], prenant en compte par exemple l'évolution des formes d'amplitudes dans le temps. Pour l'analyse de données dans le cadre de notre travail, nous proposerons des méthodes robustes intégrant la problématique de déphasage des séries par rapport aux axes (abscisse et ordonné).

La qualité d'un clustering dépend fortement de la mesure de distance et la manière dont les individus sont pris en compte par cette mesure. Le choix de la mesure de distance peut dépendre également du domaine, et en particulier des invariances requises par le domaine ([36]). Par exemple, les données de capture de mouvement nécessitent généralement l'invariance de la "déformation" (accélérations locales non linéaires) [91], et les données sur l'expression des gènes nécessitent généralement une invariance pour une mise à l'échelle uniforme ("étirement" linéaire) [89]. Plusieurs techniques conçues pour mesurer efficacement la similitude entre les séries chronologiques avec l'invariance ont été développées durant la dernière décennie.

Dans certains domaines, le regroupement des séries temporelles doit être fait en considérant davantage l'invariance et l'intervalle des mesures sur l'axe des *y* tout en considérant le décalage des séries sur l'axe des *x*. En effet, bien que des séries soient similaires en termes d'évolution de forme, elles peuvent être considérées appartenant à des classes différentes si, sur l'axe des *y*, leurs valeurs varient dans des intervalles distants. Selon le domaine, l'intervalle des valeurs sur l'axe des *y* peut discriminer fortement les classes d'appartenance. Par exemple, dans les domaines agricoles ou aquacoles, l'intervalle des valeurs en *y* des séries temporelles liées aux données environnementales, comme l'évolution de la variabilité de la température au-delà d'un certain degré, influe considérablement sur la croissance et la survie des espèces vivantes. Les méthodes de clustering de séries temporelles existantes ne considèrent pas directement l'intervalle des valeurs autour duquel les individus de chaque cluster se trouvent.

Les nouvelles approches proposées dans ce chapitre, s'appuient sur des méthodes
existantes qui prennent en compte le décalage des séries sur l'axe des *x*. Prenons comme exemple les séries de la figure 3.1. Malgré le fait que ces séries soient similaires en termes d'évolution de forme, elles peuvent être considérées dans des classes différentes si, sur l'axe des *y*, leurs valeurs varient dans des intervalles distants.

<figure><img src="image_7.png" /><figcaption>**Fig. 3.1** Exemple de deux séries avec un déphasage sur les axes X et Y</figcaption></figure>

Pour obtenir des clusters de séries temporelles dont les variabilités d'amplitudes se trouvent dans un intervalle restreint, il est nécessaire par exemple avec les méthodes existantes, de paramétrer un nombre de clusters important. En effet, il n'existe pas de méthode permettant d'obtenir automatiquement un nombre de clusters de séries temporelles en fonction de l'intervalle dans lequel évoluent les individus.

Dans ce chapitre, nous proposerons d'abord une nouvelle méthode de clustering des séries temporelles mono-variées, s'appuyant sur une approche basée sur l'analyse des formes et prenant en compte la variance selon l'axe des *y*. D'autre part, la stratégie de la méthode que nous proposons permet de définir automatiquement un nombre *k* optimal de clusters, en utilisant un critère de dispersion à l'intérieur d'un cluster. Contrairement à la plupart des méthodes qui normalisent les données, notre approche s'applique tant sur les séries temporelles normalisées que les séries temporelles brutes. Cette nouvelle méthode est robuste au décalage des séries sur l'axe des *x* car on utilise des métriques qui prennent en compte la déformation des séries dans le temps. Pour le décalage en *y*, on considérera un intervalle maximal sur lequel ces mesures varient. Pour cela nous considérons l'étalement des distances entre les séries et leur représentant intra-cluster.

## 3.1 Les mesures de dispersions

Les mesures de dispersions servent à caractériser l'étalement des valeurs présentes dans une distribution. Plus la distribution sera étalée, plus la valeur de la mesure de dispersion sera élevée. Ce critère de dispersion s'applique pour toutes les mesures suivantes :
* L'étendue [55] : quantifie la longueur de l'intervalle dans lequel se situe les valeurs de la distribution;

* L'écart moyen [181]: la moyenne des écarts à la moyenne des valeurs de la distribution.

* La variance [88] est la moyenne du carré des écarts à la moyenne des valeurs de la distribution.

* L'écart type [12], la racine carrée de la variance, mesure la dispersion des valeurs d'un échantillon statistique ou d'une distribution de probabilité.

Nous avons vu dans le chapitre précédent que certaines méthodes comme *K-Means* vise à identifier la valeur la plus représentative de chaque cluster, comme le centre des distributions. Pour décrire l'ensemble des données, il faut également mesurer l'étalement des valeurs autour du centre. Pour cela, nous proposons une nouvelle mesure de dispersion des mesures de distance utilisées pour le regroupement des séries temporelles, et notamment de la distribution intra-cluster entre les individus et le représentant (centroïde). Celle nouvelle mesure de dispersion fait intervenir la mesure d'entropie qui détermine la quantité d'information. Elle est aussi décrit dans la littérature comme une mesure de désorganisation car elle augmente avec l'équilibre des probabilités des valeurs dans une distributions.

L'origine de ces recherches sur la théorie de l'information remonte aux études entreprises en physique et en mathématique par Boltzmann et Markov [151, 115] sur la notion de probabilité d'un événement et les possibilités de mesure de cette probabilité. Le modèle permet de modéliser la dynamique des séries temporelles. Shannon donne à la notion d'information un statut physique à part entière [29]. Il considère pour cela que l'information est liée à la "redondance" ou au "bruit", dans le cadre de la transmission de données par des canaux de communication entre une source et un récepteur (capteur). Si l'on considère un surplus d'information inutile lors de la transmission alors l'information peut contenir des données redondantes ou encore du bruit. La théorie de l'information minimale représente un critère de la théorie de l'information et est une estimation d'une mesure d'ajustement du modèle de clustering. [132] propose un test pour la qualité de l'ajustement des modèles auto-régressifs (AR). L'idée de ce test de Quenouille a été étendue à un test de qualité d'ajustement des modèles de moyenne mobile (MA) [72].

Nous verrons comment la nouvelle mesure de dispersion, qui considère la quantité d'informations par la mesure d'entropie, s'appliquera aux approches de clustering existantes. Le regroupement de ces données peut être complexe car les distributions des distances entre les individus et leur représentant ont, intra-cluster, des probabilités
déséquilibrés et peuvent avoir une étendue importante. Notre deuxième contribution concerne l'extension de notre méthode pour un clustering des séries temporelles multi-variées.

## 3.2 Des mesures de distance adaptées aux séries temporelles

Plusieurs mesures de distance (ou de similarité) ont été proposées pour calculer une distance entre deux séries temporelles. Dans beaucoup d'approches de clustering, elles peuvent influer sur la sélection des individus par cluster. La mesure appelée Shape Based Distance (SBD) utilisée dans la méthode de clustering dans [128], est basée sur la corrélation croisée de deux signaux avec un calcul efficace de la transformée de Fourier [27].

Une formalisation d'une mesure de similarité non métrique, proposée par [173], appelée LCSS, est basée sur le calcul de la plus longue sous-séquence commune entre deux séries et attribue plus de poids aux parties similaires de ces deux séries.

En général, les distances entre séries temporelles développées rentrent dans deux catégories de distances : celles qui sont des LP-normes et celles qui ne sont pas métriques. La première catégorie de distances ne supporte pas le décalage temporel; en revanche la deuxième catégorie gère très bien ce décalage. [20] propose de croiser une distance métrique (L1-normée) et la distance d'édition pour construire une distance métrique supportant le décalage temporel local. Cette distance appelée "Edit distance with Real Penality" (ERP) modifie la distance d'édition en ajoutant une pénalité réelle liée au nombre d'opérations nécessaires pour que deux séquences soient similaires. Toutes ces mesures de distance comparent des séries en considérant uniquement les effets du déphasage temporel. Elles ont été combinées avec des approches de clustering de base (kmeans), qui ne prennent pas en compte les dérives dites d'amplitude pour le regroupement de séries temporelles. [57] présentent un état de l'art complet recensant les mesures développées. Nous trouverons davantage des mesures robustes au décalage des séries sur l'axe des x. Les mesures que nous verrons plus loin et qui ont été davantage exploitées durant cette thèse, sont principalement des dérivées de la célèbre distance de distorsion temporelle DTW ([124]).

La distorsion temporelle DTW ([124]) est une distance calculée à partir d'un chemin (entre les premiers et les derniers points de deux séries) présentant un alignement non linéaire optimal entre deux séries temporelles. Soient $q = \{q(1), \dots, q(n)\}$ et $c = \{c(1), \dots, c(n)\}$ deux séries temporelles de la même variable mesurée. Le calcul de la distance DTW consiste dans un premier temps à construire une matrice $M$ de dimension $n \times n$ où $M(i, j) = (q(i) - c(j))^2$, comme le montre la figure 3.2.

On appelle chemin déformé $W = \{w_1, \dots, w_r, \dots, w_p\}$ où $p \ge n$, une suite d'éléments de la matrice $M$ qui sont contigus et tels que le premier élément est $w_1 =$
<figure><img src="image_8.png" /><figcaption>Fig. 3.2 Construction de la matrice DTW, image extraite de [96]</figcaption></figure>

$M(1, 1)$ et le dernier est $w_p = M(n, n)$ et $w_r = M(i, j)$ avec $i$ et $j \in [0, n-1]$. La méthode détermine l’alignement optimal en recherchant dans la matrice le chemin $W$ qui minimise la distance (euclidienne) cumulée i.e $Wo = \arg\min(\sqrt{\sum_{i=1}^{p} w_i})$.

La figure 3.3 détaille la recherche de l'alignement optimal en commençant à partir du dernier point calculé de la matrice M. C'est-à-dire qu'à partir du point (M(1, n)), la recherche de l'alignement se fait de manière itérative en sélectionnant la cellule de valeur minimale dans le voisinage contenant les cellules avec les coordonnées suivantes : (i-1, j), (i, j-1) (i-1, j-1) avec i la ligne et j la colonne de la cellule en cours. L'opération est répétée jusqu'à ce que la cellule M(n,1) soit sélectionnée.

<figure><img src="image_9.png" /><figcaption>Fig. 3.3 Recherche optimale de la méthode DTW, image extraite de [96]</figcaption></figure>
La recherche du chemin optimal est coûteuse, étant de complexité $O(n^2)$, différentes optimisations de la mesure *DTW* existent. Les principales optimisations visent à réduire l'espace de recherche en introduisant des contraintes sur la zone de recherche. [148] utilisent comme zone de recherche, dans la matrice *M*, une bande autour de la diagonale inversée (anti-bande), [73] cherche le chemin optimal dans une zone définie par un parallélogramme autour de la diagonale inversée. La figure 3.4 présente, pour ces deux approches, la contrainte dans l'espace de recherche du chemin optimal entre la série en bleu et celle en rouge.

<figure><img src="image_10.png" /><figcaption>**Fig. 3.4** Contrainte de *DTW* à l'aide de la : bande de Sakoe-Chiba (gauche) ; parallélogramme d'Itakura (droite) [53].</figcaption></figure>

Les méthodes *FastDTW* ([150]) et *multiscaleDTW* ([38]) optimisent la recherche spatiale suivant une approche à plusieurs niveaux de résolution dans la matrice *M*. La figure 3.5 présente les trois étapes d'optimisation de l'approche *FastDTW* qui consistent à :

1. réduire la résolution d'une série chronologique;

2. utiliser un chemin à faible résolution comme solution initiale à une résolution plus élevée;

3. affiner une trajectoire par un ajustement locale.

Le passage de la faible résolution à une résolution plus élevée peut se faire par dichotomie.

<figure><img src="image_11.png" /><figcaption>**Fig. 3.5** Optimisation spatiale de *DTW* par l'approche *FastDTW*. [150]</figcaption></figure>

[90] proposent une bande inférieure appelée bande de *Kheog*, qui a été couplée à la distance *DTW*. Une valeur est associée à la bande de *Kheog* (figure 3.6) et permet de déterminer en fonction d'un seuil, si une série est proche ou non d'un représentant.
$$ \text{LB\_Keogh}(Q, C) = \sum_{i=1}^{n} \begin{cases} (q_i - U_i)^2 & \text{if } q_i > U_i \\ (q_i - L_i)^2 & \text{if } q_i < L_i \\ 0 & \text{otherwise} \end{cases} $$

<figure><img src="image_12.png" /><figcaption>Fig. 3.6 Calcul de la bande de Kheog [90]</figcaption></figure>

Les méthodes existantes ne s'intéressent pas à la quantité d'informations obtenue ou non, suite au clustering des individus. C'est à dire à l'équiprobabilité des valeurs de distances entre les individus et leur représentant. Elles s'intéressent d'avantage à la réduction de ces distances, en fonction de la mesure de distance utilisée et qui peut tenir compte par exemple de l'homogénéité des tendances des séries qui se trouvent dans un même cluster.

## 3.3 Les principales approches de clustering de séries temporelles

Pour rappel, on appelle k-clustering $C$ de $S$, l'ensemble $C = \{C_1, C_2, \dots, C_k\}$ contenant $k$ sous-ensembles homogènes de $S$ (au sens d'une mesure de distance Dist adaptée aux séries temporelles), chaque cluster admet un représentant. Le représentant appelé également prototype, qui peut être un centroïde, sera noté $R_{C_i}$.

Un k-clustering $C = \{C_1, C_2, \dots, C_k\}$ avec $\forall i \in \{1, \dots, k\}$ et $C_i = \{i_1, i_2, \dots, i_{m_i}\}$ ensemble de $m_i$ individus représentés par leur série temporelle $\{s_{i_1}, s_{i_2}, \dots, s_{i_{m_i}}\}$ devra vérifier les critères suivants :

$$ 1. S = \cup_{i=1}^{k} C_i \text{ et } C_i \cap C_j = \emptyset \quad \forall i \neq j. $$

$$ 2. \text{Dist}(R_{c_i}, s) < \text{Dist}(R_{c_j}, s) \quad \forall s \in C_i \text{ et } j \neq i. $$

On notera dans la littérature trois grandes approches de clustering de séries temporelles (3.7), la première est fondée sur l'extraction de caractéristiques, la seconde sur un modèle, et notamment le modèle de Markov [42] qui permet de représenter des séquences d'évènements et qui sera détaillé ensuite. Et la troisième approche, celle principalement utilisée dans cette thèse, est l'approche basée sur les formes, c'est à dire sur les variations des amplitudes des séries. Nous présenterons ensuite les principales
<figure><img src="image_13.png" /><figcaption>Fig. 3.7 Les grandes approches de clustering de séries temporelles. [2]</figcaption></figure>

méthodes selon ces trois approches, nous intéresserons principalement à la présentation
des méthodes basées sur les formes.

Dans la première approche de clustering de séries temporelles fondée sur l'extraction
de caractéristiques, ces dernières représentent principalement des statistiques dérivées
de chacune des séries, comme par exemple leur moyenne, leur écart type.... Ces car-
actéristiques servent à réduire la dimensionnalité des séries temporelles originales, lorsqu'elle
est trop importante. Pour regrouper des séries temporelles, ces statistiques, peuvent
être utilisées en entrée des méthodes de clustering standards (K-means [65], clustering
hiérarchique [81], SOM [93] ... ). L'avantage d'utiliser ces caractéristiques est qu'elles
permettent de regrouper des séries temporelles de longueurs différentes.

3.3.1 Approche de clustering de séries temporelles basées sur les caractéristiques

Dans [58], les auteurs ont regroupé les séries temporelles d'imageries par résonance
magnétique fonctionnelle (IRMf) en groupes de voxels présentant des activations simi-
laires à l'aide de deux algorithmes : *k-means* et le regroupement hiérarchique de *Ward*
[81]. Le voxel en plus de sa position spatiale, permet de stocker une information
physique (couleur, intensité...). L'espace des caractéristiques (attributs), utilisé (dans
[58]) par les méthodes de clustering (K-means et hiérarchique), était lié aux valeurs
obtenues par la fonction de corrélation croisée, entre l'activation IRMf et le paradigme
(ou stimulus). [59] ont également utilisé d'autres caractéristiques, comme le délai
et la force d'activation qui sont mesurés par voxel, pour montrer qu'il était possible
d'identifier les régions présentant des délais d'activations et des (taux d') activations
significativement différents, suite à l'application de *k-means* sur ces caractéristiques.
[177] ont modifié l'algorithme standard de clustering *K-means* pour la reconnaissance
de mots, représentés par un signal acoustique. Pour cette reconnaissance, des caractéristiques issues des signaux (des mots) ont été générés et utilisées, par la méthode *K-means* modifiée. Ces caractéristiques ont été obtenues par la méthode de quantification de vecteur, qui consiste à représenter un vecteur de dimension *k* par un autre vecteur de même dimension, mais ce dernier appartenant à un ensemble fini. La principale modification apportée à la méthode *K-means*, était la subdivision du cluster avec l'inertie la plus élevée; L'ensemble des points sont considérés dans un même cluster à l'état initial; Si les clusters générés ne converge pas avec un nombre *k* (initialisé à 1), alors *k* est incrémenté, et *K-means* est ré-appliqué (avec k=2). Un nombre maximum d'itération est fixé, en cas de non-convergence. A la fin, le cluster avec l'inertie la plus élevée, est re-partitionné (avec k=1) selon le même procédé. L'algorithme de clustering *k-means* modifié (MKM) proposé s'est révélé plus performant que l'algorithme de clustering couramment utilisé à l'époque : l'algorithme UWA (unsupervised without averaging) [134]. Ce dernier se concentre, sur le cluster qu'il génère avec le plus d'individus, de trouver tous les modèles de mots "proches" du centre de ce groupe, de les éliminer de l'ensemble et de regrouper à nouveau les modèles restants.

[174] ont présenté une approche permettant d'effectuer un regroupement de séries temporelles, sur diverses résolutions en utilisant la transformée en ondelettes de *Haar* ([159]). Cette transformée permet de décomposer un signal, en fonction de base et selon différentes résolutions. La décomposition en ondelettes de *Haar* est calculée pour toutes les séries temporelles. L'algorithme de clustering *k-means* est appliqué, en commençant par le niveau de résolution le plus élevé. A partir de ces clusters obtenus sur ce niveau, *k-means* est appliqué progressivement vers des niveaux de plus en plus fins.

### 3.3.2 Approche de clustering de séries temporelles basées sur le modèle

Cette approche considère que chaque série temporelle est générée par un certain type de modèle. Prenons le cas des modèles les plus exploités pour cette approche qui sont le modèle de Markov [42] et le modèle ARMA [25].

**Le modèle de Markov** : Supposons que nous observions une série temporelle $s = (s_1, s_2, s_3, ..., s_{i-1}, s_i, ..., s_n)$, où chaque $s_i$ est l'un des états 1, ..., *s* d'une variable *S*. Le processus générant la séquence *s* est un modèle de Markov *MC* si la probabilité conditionnelle que la variable visite l'état *j* au temps *t*. La séquence ($s_1, s_2, ..., s_{t-1}$), est seulement une fonction de l'état visité au temps *t-1*. Par conséquent, nous écrivons $p(x_t = j | (s_0, s_1, s_2, ..., s_{t-1})) = p(s_t = j | s_{t-1})$ pour tout $s_t$ dans *s*. En d'autres termes, la distribution de probabilité de la variable *s* au temps *t*, dite $S_t$, est conditionnellement indépendante des valeurs ($s_0, s_1, s_2, ..., s_{t-2}$), une fois que $s_{t-1}$ est connu. Cette hypothèse d'indépendance conditionnelle nous permet de représenter une *MC* comme un vecteur de probabilités $p_0 = (p_{01}, p_{02}, ..., p_{0s})$, dénotant la distribu-
tion de $S_0$ (l'état initial de la chaîne) et une matrice P de probabilités de transition, où
$$p_{ij} = p(S_t = j | S_{t-1} = i).$$

**Les processus AR (AutoRegressive), MA et ARMA [25]** : On dit qu'un processus $(X_t)_{t \in \mathbb{Z}}$ est un processus AR d'ordre (p), noté $\text{AR}(p)$, si : $\forall t \in \mathbb{Z}: X_t = \sum_{i=1}^{p} \varphi_i X_{t-i} + \varepsilon_t$ où $(\varphi_1, \dots, \varphi_p \in \mathbb{R}^p)$ et $(\varphi_p \neq 0)$. La modélisation de $(X_t)$ se résume à une relation linéaire le liant aux (p) derniers instants.

On dit qu’un processus $(X_t)_{t \in \mathbb{Z}}$ est un processus MA (Moving Average) d’ordre (q),
noté (MA(q)), si : $\forall t \in \mathbb{Z}: X_t = \varepsilon_t + \sum_{i=1}^{q} \theta_i \varepsilon_{t-i}$ où $(\theta_1, \dots, \theta_q \in \mathbb{R}^q)$ et $(\theta_q \neq 0)$.
On considère ici que le processus est la résultante d’une combinaison linéaire de per-
turbations dé-corrélées (un bruit blanc et son passé).

Les processus ARMA est une synthèse des processus AR et MA : $X_t = \sum_{i=1}^{p} \varphi_i X_{t-i} + \varepsilon_t + \sum_{i=1}^{q} \theta_i \varepsilon_{t-i}$.

Dans le cas du clustering des séries selon une approche basée sur le modèle, les séries temporelles sont considérées comme similaires lorsque les modèles caractérisant les séries individuelles ou les résidus restants après ajustement du modèle sont similaires. [138] ont présenté Bayesian clustering by dynamics (BCD) : un algorithme bayésien pour le regroupement dynamique. Étant donné un ensemble S de n nombres de séries temporelles univariées à valeurs discrètes, BCD transforme chaque série en une chaîne de Markov (MC) et regroupe ensuite des MC similaires pour découvrir l'ensemble le plus probable de processus générateurs. [83] ont étudié le regroupement de séries temporelles par ARIMA [154], en utilisant la distance euclidienne entre des coefficients cepstraux de deux séries comme mesure de dissimilarité. Le cepstre d'un signal est une transformation de ce signal du domaine temporel vers un autre domaine analogue au domaine temporel. Dans [83] les coefficients cepstraux des séries temporelles sont dérivés des coefficients d'auto-régression (AR). [116] a développé une procédure de regroupement hiérarchique qui est une procédure de clustering qui se base sur la p-valeur d'un test d'hypothèse appliqué à chaque paire de séries temporelles stationnaires données. En supposant que chaque série temporelle stationnaire peut être ajustée par un modèle linéaire d'auto-régression désigné par un vecteur de paramètres $\pi = [1, 2, ..., k]$, Un test statistique pour tester l'hypothèse selon laquelle il n'y a pas de différence entre les processus de génération de deux séries temporelles stationnaires. Deux séries sont regroupées si la p-valeur associée est supérieure au niveau de signification fixée au préalable.

3.3.3 Approche de clustering de séries temporelles basées sur les formes

Dans l'approche basée sur la forme : les formes de deux séries temporelles sont ap-
pariées aussi bien que possible, par un étirement et une contraction non linéaire de
l'axe temporel. Cette approche travaille directement avec les données brutes des séries chronologiques. Les mesures de distance/similarité utilisées et adaptées pour comparer deux séries, sont celles présentées dans la section 3.2. Pour assurer le clustering des séries, les distances calculées par ces mesures adaptées sont utilisées par des méthodes de clustering standards, compatibles avec les données statiques (Kmeans...). Quelques méthodes répandues, et les plus performantes dans la catégorie des approches basées sur les formes, seront présentées et notamment l'approche TSK-means [71], K-Shape, et la combinaison de K-means avec la distance DTW et ses dérivés. Notons néanmoins qu'il y a peu d'approches de clustering, basées sur les 'formes', et prenant en compte des séries de tailles différentes. L'algorithme Globale Alignement Kernel (GAK) [170], est une approche de clustering qui prend en compte cette différence. Elle est basée sur un type de noyau qui détermine le calcul des distances entre deux séries afin de générer la matrice de distances, comme celle générée par la mesure DTW (pour le calcul de la distance entre deux séries). Le type de noyau est paramétré en fonction de la distribution des données (Gaussienne...).

**K-meansDTW, l'algorithme K-means couplé à DTW** [5] : L'approche de clustering Kmeans a été couplé aux mesures de distances adaptées aux séries temporelles. Par cela, DTW est une mesure régulièrement utilisée. Le calcul des distances entre le représentant et les séries se font donc selon cette mesure d'après le pseudo code de l'algorithme 5. Cette approche KmeansDTW peut être utilisées avec l'ensemble des

**Algorithm 5 KmeansDTW**

**Input:** $S = \{s_1, s_2, \dots, s_n\}$ ensemble de séries temporelles

1. choisir aléatoirement k centroïdes sur les séries en entrée S

2. **while** pas de convergence **do**

3. attribuez les séries au centroïde le plus proche, en fonction de la mesure DTW

4. Recalculez les centroïdes

5. **end while**

mesures dérivées de DTW (DTW Itakura...).

**L'algorithme TSK-means** [71] : Cette méthode utilise le même principe que l'approche KmeansDTW, mais elle diffère sur le calcul de la distance entre les séries qui sera détaillée dans ce paragraphe. Soit $S = \{S_1, S_2, \dots, S_n\}$ un ensemble de n objets de séries temporelles. Chaque objet $S_i = \{s_{i1}, s_{i2}, \dots, s_{im}\}$ est caractérisé par m valeurs par rapport à m estampilles de temps. La matrice d'appartenance $U$ est une matrice binaire $n \times k$, où l'élément $u_{ip} = 1$ indique qu'un objet de série temporelle $i$ est affecté au cluster $p$ ; sinon, il ne l'est pas. Les centroïdes de $k$ clusters sont représentés par un ensemble de $k$ vecteurs $Z = \{Z_1, Z_2, \dots, Z_n\}$. $W = \{W_1, W_2, \dots, W_n\}$ est un ensemble représentant les poids des marques temporelles sur chaque cluster. La valeur de l'élément $w_{pj}$ indique le poids du $j^{ème}$ estampille de temps pour le $p^{ème}$ cluster. La fonction objective de TSK-means est formulée comme suit :
$$ \sum_{p=1}^{k} \sum_{i=1}^{n} \sum_{j=1}^{m} u_{ip} * w_{pj} (s_{ij} - z_{pj})^2 + (1/2) * \alpha * \sum_{p=1}^{k} \sum_{j=1}^{m-1} (w_{ij} - w_{pj+1})^2 \quad (3.1) $$

sous réserve de :

$$ \begin{gathered} \sum_{p=1}^{k} u_{ip} = 1, u_{ip} \in 0,1 \\ \sum_{j=1}^{k} w_{pj} = 1, 0 < w_{pj} < 1, \end{gathered} \quad (3.2) $$

où $\alpha$ est un paramètre qui est utilisé pour équilibrer les effets entre les dispersions d'objets au sein des clusters et le lissage des poids des estampilles de temps. Le lissage des poids entre les estampilles de temps adjacents augmente avec l'incrémentation de la valeur de $\alpha$. Le premier élément de la fonction objectif Eq. 3.1 vise à minimiser la somme des dispersions de tous les clusters. Le deuxième élément de la fonction objectif Eq. 3.1 consiste à lisser les poids des estampilles adjacents. Dans le processus de clustering, cette fonction objectif minimise simultanément la dispersion au sein du cluster et lisse les poids des estampilles adjacents.

**L'algorithme K-shape** [127] : L'algorithme 7, présente la méthode K-shape [128]. On peut s'apercevoir que le principe de l'approche est comparable à celui de la méthode K-meansDTW [5]. Il y a en effet, un calcul de distances entre les séries et leur représentant, et une recherche de convergences de l'attribution des séries à un cluster. K-shape utilise cependant la mesure Shape Based Distance (SBD) ([128]).

Les méthodes que nous proposons, s'intéressent à la variance de l'axe des x et celle des amplitudes (i.e axe des y). Pour cela, la stratégie utilisée est basée sur la symétrie de la distribution, des distances entre les individus et leur représentant, de clusters qui sont générés par une méthode existante.

On remarquera dans la section suivante 3.4, que dans le cadre des approches de clustering basées sur les formes, la distribution des distances Dist(C) intra-cluster (entre les individus et leur représentant), suit une loi normale. Pour cela une étude de cette distribution est réalisée dans cette section, à partir de clusters de séries de données environnementales. Ces données sont issues de la filière aquacole étudiée dans les chapitres 6 et 7.

## 3.4 Étude des clusters de séries temporelles en fonction de la distribution des individus

La figure 3.8 affichent les séries temporelles regroupées en 3 clusters par la méthode K-Shape. Les séries sont issues de la filière aquacole présentées et analysées plus en détail dans les chapitres suivants. Ces séries représentent l'évolution de la température de l'eau des élevages qui seront étudiés dans le chapitre 6.
**Algorithm 6 K-Shape**

**Input:**

**Output:**

1: iter = 0
2: IDX0 = []
3: **while** IDX != IDX0 et iter ≤ 100 **do**
4:     IDX0 = IDX
5:     **for** j = 1 to k **do**
6:         X0 = []
7:         **for** i = 1 à n **do**
8:             si IDX(i) = j alors
9:                 X0 ← [X0;X(i)]
10:            **end for**
11:        C(j) = ShapeExtraction(X0,C(j))
12:    **end for**
13:    **for** i = 1 à n **do**
14:        mindist = ∞
15:        **for** j = 1 à k **do**
16:            [dist,x0] = SBD(C(j),X(i))
17:            **if** dist ≤ mindist **then**
18:                mindist = dist
19:            IDX(i) = j
20:        **end if**
21:    **end for**
22:    **end for**
23:    iter = iter + 1
24: **end while**
25:

**Algorithm 7 ShapeExtraction**

**Input:**

- X est une matrice n par m avec des séries temporelles z-normalisées.

**Output:**

1: X0 ← []
2: **for** i ← 1 to n **do**
3:     [dist,x0] = SBD(C,X(i)) // Shape Based Distance
4:     X' = [X' ;x']
5: **end for**
6:     S = X'ᵀ . X'
7:     Q = I - (1/m) . O
8:     M = Qᵀ.S.Q
9:     C0 = Eig(M,1) //

Les représentants des clusters colorés en rouge sont les centroides. On remarque qu'avec k=3 la méthode regroupe les séries selon deux tendances majeures (croissante, décroissante, et une dernière tendance légèrement concave). Dans ces clusters les am-
plitudes minimale et maximale des séries varient fortement entre les individus;

<figure><img src="image_14.png" /><figcaption>**Fig. 3.8** Cluster par la méthode K-Shape avec $k = 3$, des séries temporelles de température</figcaption></figure>

Il est possible de réduire cette variation, intra-cluster, avec les méthodes de clustering existantes, en augmentant le nombre de clusters souhaités. On peut voir dans la figure 3.9, 12 clusters générés par *K-shape*, sur les données d'évolution de température, où les séries sont plus proches de leurs représentants que les séries de la figure 3.8 (où $k=3$).

Néanmoins, l'opération qui consiste à déterminer un nombre optimal de clusters, selon l'amplitude des séries, reste une opération complexe. Pour arriver à obtenir ce nombre optimal, nous étudierons la dispersion des valeurs, intra-cluster, des distances entre les séries et leur représentant. Plusieurs tests ont été effectués avec d'autres variables afin de comparer les mêmes statistiques sur ces mesures. Le choix s'est porté sur des variables temporelles qui varient fortement au cours du temps. Ce qui est le cas pour la variable d'oxygène dissous (OD) étudiée ensuite, et qui, contrairement à la variable température, présente, des valeurs journalières avec un écart-type important.

**La dispersion des valeurs DTW des données environnementales, et la mesure de dispersion** : La figure 3.10 montre la dispersion des mesures *DTW*, intra-cluster, des 3 clusters de la figure 3.8, entre chaque instance et leur représentant. La figure 3.11 montre la dispersion des mesures de distances *DTW*, entre les individus et leur représentant, pour 2 clusters des séries temporelles d'oxygènes dissous sur une période de 20 semaines.

On observe à l'intérieur des clusters, une distribution normale (gaussienne ou gamma) des mesures de ces distances *DTW*. Cette distribution s'explique, pour rappel, par les algorithmes qui agrègent des individus autour du représentant (i.e la série moyenne).

**Statistiques sur les distances entre les séries et leur représentant, par cluster de séries temporelles** : La figure 3.12 présente les statistiques descriptives (moyenne, écart type, minimal, maximal) des distances *DTW* intra-cluster, pour le cluster 0 de séries temporelles de température obtenue précédemment par la méthode *K-shape*. Elle
<figure><img src="image_15.png" /><figcaption>**Fig. 3.9** Cluster de séries temporelles liées à la température par la méthode K-Shape avec $k = 12$</figcaption></figure>

<figure><img src="image_16.png" /><figcaption>**Fig. 3.10** Distribution des distances *DTW* entre les séries et leur représentant par cluster de température générés par K-Shape</figcaption></figure>
<figure><img src="image_17.png" /><figcaption>**Fig. 3.11** distribution des mesures *DTW*, entre les séries et leur représentant, par cluster de series temporelles d'oxygène dissous</figcaption></figure>

affiche aussi la valeur d'entropie de ces distances.

<figure><img src="image_18.png" /><figcaption>**Fig. 3.12** Données statistiques des mesures de distances *DTW*, entre les séries et leurs représentant, pour le cluster 1 de température</figcaption></figure>

La figure 3.13 présente pour le cluster 0 de l'OD, les mêmes statistiques (moyenne, écart type, minimal, maximal, entropie) des distances. Pour l'OD, l'entropie des distances *DTW* intra-cluster, est inférieure à leur écart-type, contrairement aux statistiques des distances *DTW* des clusters de température.
<figure><img src="image_19.png" /><figcaption>**Fig. 3.13** Données statistiques des mesures de distances *DTW*, entre les séries et leurs représentant, du cluster 1 pour l'oxygène dissous</figcaption></figure>

Ainsi lorsque l'écart-type est inférieur à l'entropie, intra-cluster, l'évolution des variations des séries temporelles est moins importante, les séries ont des tendances homogènes. Il y a par exemple une tendance décroissante pour le cluster 0 de température et croissante pour le cluster 1. Et pour ces clusters, les statistiques montrent un écart type des distances, inférieur à leur entropie. Cela ne se vérifie pas pour les séries d'OD dont l'évolution des formes n'est visiblement pas homogène par cluster.

On remarque enfin, entre les clusters de ces deux variables environnementales, que les distributions des distances *DTW*, (figure 3.11 et 3.10) sont plus symétriques, lorsque l'écart-type est inférieur à l'entropie (ce qui est le cas pour les clusters de température contrairement aux clusters d'OD). La nouvelle mesure de dispersion proposée s'inspire de cette différence.

## 3.5 Présentation de la nouvelle approche pour le clustering de séries temporelles monovariées

La stratégie de la méthode mono-variée proposée, permet de définir automatiquement un nombre *k* optimal de clusters selon un critère de dispersion des individus autour du représentant, du cluster. Notre méthode utilisera des distances prenant en compte le décalage temporelle, et nous définirons une nouvelle mesure de dispersion qui va permettre de regrouper les séries d'amplitudes similaires ou proches selon cette mesure de dispersion. Contrairement à la plupart des méthodes qui normalisent les données, notre approche s'applique tant sur les séries temporelles normalisées que les séries temporelles brutes.
### 3.5.1 Clustering de séries temporelles monovariées : X-MeansTS

En entrée de notre algorithme, un paramètre supplémentaire fixant le nombre maximum d'itérations sera fourni en cas de non convergence de la méthode (comme pour la méthode de k-means). Notre approche se concentre plutôt sur une nouvelle stratégie d'affinage robuste des clusters. Elle entraîne la génération automatique du nombre de *k* de clusters en fonction d'une nouvelle mesure de dispersion calculée à partir de la mesure de distance utilisée. Nous testerons notre approche avec différentes mesures de distance (par ex. les mesures dérivées de DTW).

Le principe de la méthode est d'affiner chaque cluster en revisitant chaque instance à partir d'un nombre minimal, de clusters, fixé initialement à *nb_min_clust* et d'un ensemble de critères, que nous définirons ensuite. Les instances ne vérifiant pas les critères, par rapport à leur classe d'appartenance, sont mis dans une classe "rejet". La figure 3.14 présente schématiquement le principe de la méthode. On itère le principe sur cette classe rejet (considérée comme nouvel ensemble de séries à clusteriser) jusqu'à ce qu'un ensemble de conditions d'arrêt soit vérifié.

<figure><img src="image_20.png" /><figcaption>Fig. 3.14 Stratégie de la nouvelle approche</figcaption></figure>

Nous détaillerons dans les sections suivantes les critères de sélection des instances et les conditions d'arrêt. La section suivante apportera une démonstration mathématique de l'amélioration des performances en terme d'homogénéité intra-cluster, grâce à critère.

### 3.5.2 La nouvelle mesure de dispersion

On note $Dist(C_i) = \{d_{i1}, \dots, d_{im_i}\}$ l'ensemble des valeurs prises par la mesure *Dist* entre les instances de $C_i$ et leur représentant $R_{C_i}$. Soit $\sigma(C_i)$ l'écart-type calculé sur la
distribution des valeurs prises par $Dist(C_i)$ et $E(C_i)$ sa mesure d'entropie :

$$ \sigma(C_i) = \sqrt{\sum_{k=1}^{m_i} (d_{i_k} - \bar{d}_i)^2} \qquad (3.3) $$

$$ E(C_i) = - \sum_{k=1}^{m_i} P(d_{i_k}) \times \log(P(d_{i_k})). \qquad (3.4) $$

où $\bar{d}_i$ est la moyenne de $Dist(C_i)$.

On définit alors la mesure de dispersion, notée $disp(C_i)$ par :

$$ disp(C_i) = \frac{\sigma(C_i)}{E(C_i)} \qquad (3.5) $$

**Propriété de la nouvelle mesure de dispersion** $disp(C_i)$ : Nous démontrerons ici que la nouvelle mesure de dispersion est liée à la mesure de l'homogénéité.

**Corollaire 3.5.1.** Si $\sigma(C_i)$ tend vers 0 alors $h(C_i)$ tend vers sa valeur maximale 1.

On rappelle, pour les besoins de la démonstration, le calcul de l'homogénéité d'un cluster : Soit $L$ un ensemble de labels réels $L = \{Li | i = 1, \dots, m\}$, on désigne par $a_{ij}$ le nombre d'instances de label $i$ affectées au cluster $j$. L'homogénéité $h$ calculée pour un ensemble de clusters $C$ est définie comme :

$$ h(C) = \begin{cases} 1 & \text{If } H(L, C) = 0 \\ 1 - \frac{H(L|C)}{H(L)} & \text{else.} \end{cases} $$

$$ \text{où } H(L|C) = - \sum_{c=1}^{|C|} \sum_{l=1}^{|L|} \frac{a_{lc}}{N} \log \frac{a_{lc}}{\sum_{l=1}^{|L|} a_{lc}} \text{ and } H(L) = - \sum_{l=1}^{|L|} \frac{\sum_{c=1}^{|C|} a_{lc}}{m} \log \frac{\sum_{c=1}^{|C|} a_{lc}}{m}. $$

**Démonstration** : La mesure de dispersion $disp(C_i)$ traduit la variabilité à l'intérieur d'un cluster. Plus $disp$ est petite, plus la variabilité, des individus autour du représentant est faible.

Plus cette variabilité intra-cluster est faible, plus la probabilité d'avoir un groupe d'individus homogène est élevé. Une variabilité nulle peut donc se traduire par un cluster contenant des individus du même label. Supposons que les individus d'un clusters $C_i$ soient as-sociés à un label unique. Ainsi la courbe de distribution de $Dist(C_i)$ pourrait être d'autant plus "resserrée" autour de son axe de symétrie (du représentant) que l'écart type serait faible et que l'entropie serait importante. En effet l'entropie par définition, augmente avec l'équilibre des probabilités des valeurs dans une distribution. De plus les valeurs de la distribution de $dist(C_i)$ seraient identiques si l'écart serait nulle. On sait que : $\max(h(C)) \Leftrightarrow \min(\sum_{i=1}^{|C|} disp(C_i))$, $\max(h(C)) \Leftrightarrow \min(\frac{H(L|C)}{H(L)})$ et $\min(\sum_{i=1}^{|C|} disp(C_i)) \Leftrightarrow \min(\sum_{i=1}^{|C|} \frac{\sigma(C_i)}{E(C_i)})$
Le domaine de définition : $\forall C_i \in C$, $\sigma(C_i) \in \mathbb{R}^+$, $E(C_i) \in \mathbb{R}^+$ et $\frac{\sigma(C_i)}{E(C_i)} \in \mathbb{R}^+ \Leftrightarrow \min(H(L_j|C_i)) = \min(\sigma(C_i))$.

Or $\min(\text{disp}(C_i)) \Leftrightarrow \min(\frac{\sqrt{\sum_{k=1}^{m_i}(d_{ik}-\bar{d}_i)^2}}{-\sum_{k=1}^{m_i}P(d_{ik})\times\log(P(d_{ik}))})$ avec comme contrainte suivante $E(C_i) > 0$.

Pour chaque cluster $C$, minimiser $\text{disp}(C)$ revient à minimiser $\sigma(C)$ et à maximiser $E(C)$.

Si $\sigma(C) = 0$ alors $\forall k \in \{1, \dots, m\}, d_{kC} = \bar{d}_C$ ($\bar{d}_C$ = moyenne des distances des instances à leur représentant du cluster $C$). Cela signifie qu'il y a au plus une instance par cluster (ou qu'il y a plusieurs instances identiques).

Soit $a_{lC}$ le nombre d'instances avec le label $l$ dans le cluster $C$; mais $E(C) > 0$ alors $\log(P(d_{kC})) \neq 0$. Cela signifie que $a_{lC} > 1$ et $|L| > 1$.

$$
\min H(L|C) = \min\left(-\sum_{c=1}^{|C|} \sum_{l=1}^{|L|} \frac{a_{lc}}{N} \log \frac{a_{lc}}{\sum_{j=1}^{|L|} a_{jc}}\right) \text{ avec } d_{iC} = \bar{d}_C, \text{ on a } a_{lC} \in \{1, |L|\} \\
\text{et comme } |L| > 1 \text{ alors } a_{lc} = |L| \text{ et } -\sum_{c=1}^{|C|} \sum_{l=1}^{|L|} \frac{|L|}{N} \log \frac{|L|}{\sum_{l=1}^{|L|} 1} = 0 \text{ avec } H(L|C) = 0 \text{ par} \\
\text{conséquent } h(C) = 1.
$$

<figure><img src="image_21.png" /></figure>

**3.5.2.0.1 Théorème de Tokotoko-Govan** La mesure de dispersion disp(C)) permet d'améliorer l'homogénéité des clusters.

Le paragraphe suivant présentera la stratégie de la méthode d'affinement des clusters en sortie de méthodes de clustering existantes.

3.5.3 Principe de l’algorithme X-MeansTS

Notre approche X-MeansTS nécessite la donnée de 3 paramètres liés à des seuils à fixer en entrée de l’algorithme :

1. nb_min_clust : le nombre de clusters initiaux, générés par une approche de clustering existante (KmeansTS).

2. nb_min_inst : le nombre minimum d'instances admis par cluster

3. $s_d$: valeur maximale de la mesure de dispersion disp. En effet, elle traduit la variabilité intra-groupe.

En sortie de notre algorithme nous obtenons un nombre de clusters déterminé automatiquement (selon les critères appliqués) et une classe rejet, notée CR, contenant les
instances ne vérifiant pas le critère de dispersion.

De manière générale, l'approche s'exécute selon le schéma de la figure 3.15 :

<figure><img src="image_22.png" /><figcaption>**Fig. 3.15** Concept général de la méthode de clustering mono-varié X-meansTS</figcaption></figure>

L'idée générale de notre méthode est de partir d'un groupement initial avec un nombre minimum de cluster *nb_min_clust*. Le groupement initial est construit par une méthode de clustering existante (par ex. *K-MeansDTW*, *K-shape*, etc.). Le critère d'homogénéité, en l'occurrence notre mesure de dispersion, est appliqué à chaque cluster. Les instances de ce cluster sont analysées une par une. Celles qui ne vérifient pas le critère d'homogénéité sont affectées à une classe rejet, sinon elles restent dans le cluster. On itère le processus complet sur la classe rejet, tant que cette classe n'est pas vide (ou contient un nombre minimum d'instances). Durant le processus, les clusters générés initialement, ayant un nombre d'instances inférieur au seuil fixé *nb_min_inst* sont supprimés et leurs instances sont affectées à la classe rejet. De manière plus détaillée,

<figure><img src="image_23.png" /><figcaption>**Fig. 3.16** Principe de la méthode de clustering mono-variée X-meansTS</figcaption></figure>

l'algorithme se déroule selon la figure 3.16 dont les étapes sont présentées ci-dessous :
1. Étape initiale (définition des clusters initiaux) : Les instances d'un ensemble de séries temporelles monovariées *I*, sont partitionnées en un nombre *nb_min_clust* minimal de clusters. Pour créer ces clusters, on applique par exemple l'algorithme K-MeansTS ([70] avec $k = nb_min_inst$ et *Dist* la mesure de distance utilisée (qui peut être *DTW*, etc.).

2. Étape d'affinement des clusters par l'application du critère de dispersion :
Dans cette phase 2, on applique la mesure de dispersion pour chaque cluster $C_i$. Si le nombre d'instances du cluster initial $C_i$ est inférieur à $nb_min_inst$, alors ce cluster est supprimé et ses instances sont affectées à la classe rejet CR. Sinon, on sélectionne les instances (séries temporelles) que l'on affecte à un nouveau cluster $C'_i$, une par une, dans l'ordre croissant de leur distance au représentant du cluster, tant que sa dispersion $disp(C'_i)$ (qui est mise à jour au fur et à mesure) reste inférieure au seuil fixé $s_d$. Les instances qui ne vérifient pas ce critère sont affectées à la classe rejet CR.

3. Étape d'application du critère d'arrêt : Si le nombre d'instances de la classe rejet est supérieur à nb_min_inst, alors on répète le processus à partir de l'étape initiale en prenant comme nouvel ensemble à clusteriser CR la classe rejet. L'algorithme s'arrête si le cluster rejet CR est vide, ou que le nombre d'instances à traiter CR est inférieur strictement à nb_min_inst.

La première étape est basée sur un algorithme de clustering des séries temporelles existant avec une mesure de distance adaptée aux séries temporelles.

Le calcul de la mesure de dispersion d'un cluster $C_i$ nécessite au moins deux valeurs dans $dist(C_i)$. Le paramètre $nb_min_inst$ qui est le nombre minimum d'instances exigé dans chaque cluster nous permet de fixer les premières instances initiales dans le nouveau cluster $C'_i$. Afin de déterminer ces instances, les $Dist(C_i)$ sont ordonnées et sauvegardées dans $Sort(Dist(C_i)) = \{v_1, v_2, ..., v_m\}$ avec $\forall i < j, v_i \le v_j$ (voir algorithme 8). On intègre dans $C'_i$ les premières $nb_min_inst$ instances de la liste triée $Sort(Dist(C_i))$. Si $disp(C'_i) \le s_d$ alors les autres instances sont ajoutées une à une dans $C'_i$, tant que le critère reste vrai. Sinon les instances qui ne vérifient pas le critère sont donc mises dans le cluster de rejet. La valeur $disp(C'_i)$ est mise à jour à chaque fois qu'une instance est ajoutée.

L'algorithme 9 présente ainsi le déroulement de la méthode basée sur les critères décrits précédemment ($s_d$, $nb_min_inst$, $nb_min_clust$). À chaque appel de l'algorithme, un nouvel ensemble de $nb_min_clust$ clusters est généré et seront affinés en utilisant la mesure de dispersion, pour la sélection de séries respectant le seuil de dispersion paramétré. Les individus non sélectionnés, par cluster selon ce seuil (paramétré) sont intégrées dans le cluster rejet. La méthode est appliquée à l'ensemble des séries su
**Algorithm 8 ApplyCriteria**

**Input:**

- $C = \{s_1, s_2, \dots, s_m\}$

- Dist : la mesure de distance choisie

- $s_d$ seuil de dispersion

- nb_min_inst le nombre minimum d'instances

**Output:**

- CR : la classe rejet

- $C'$ : le cluster modifié

1: Calcul de $\text{Sort}(\text{Dist}(C)) = \{v_{i_1}, v_{i_2}, \dots, v_{i_m}\}$ avec $\forall j < r, v_{i_j} \le v_{i_r}$

2: $C' = \{s_{i_1}, s_{i_2}, \dots, s_{i_k}\}$ où $k = \text{nb\_min\_inst}$

3: $h = 0$

4: **while** $d_p(C') < s_d$ and $i < m$ **do**

5:     $C' = C' \cup \{s_{k+h}\}$

6:     $h = h+1$

7: **end while**

8: $CR = C - C'$

9: **return** $\{C', CR\}$

cluster rejet à l'étape suivante, tant que le nombre de séries le composanest supérieur à nb_min_inst. La procédure $[C, Dist(C)] = \text{CreateInitialsClusters}(T, nb\_min\_clust)$ de l'algorithme 9 fait appel à une méthode de clustering existante telle que la méthode (K-Shape, KmeansDTW...).

Remarquons qu'au premier appel ou au cours des appels récursifs de l'algorithme 9, il peut être assigné au cluster rejet CR les mêmes instances indéfiniment selon les valeurs des paramètres d'entrées. En effet, si, par exemple, le seuil de dispersion $s_d$ est très faible alors des instances affecteront la valeur de la mesure de dispersion qui devient supérieur au seuil. Ces instances n'intégreront aucun cluster. Nous introduisons alors, dans l'algorithme 9, un paramètre supplémentaire *recursifCpt* un compteur de récursivité et qui jouera le rôle d'un autre critère d'arrêt dés qu'il atteint le nombre d'itérations choisi (paramétrable par l'utilisateur).

Il est ainsi possible que le nombre de clusters soit inférieur à nb_min_clust voire qu'il n'y ait pas de cluster. Cette possibilité intervient lorsque la méthode *ApplyCriteria* ne trouve aucune instance vérifiant le critère de dispersion, dans chacun des clusters initiaux. Cet état est lié à une faible valeur du seuil de dispersion. Néanmoins, l'augmentation du seuil intégrera des instances qui sont éloignées du représentant et entraînera la création d'un cluster avec une variabilité importante.

L'algorithme ainsi fourni comme résultat, un ensemble de clusters dont le nombre est déterminé automatiquement et un cluster rejet contenant des instances qui seront qualifiées d'instances isolées.
**Algorithm 9 X-MeansTS**

**Input:**

- $T = \{s_1, s_2, \dots, s_p\}$ un jeu de données temporelles

- `nb_min_clust`: nombre minimum de cluster à l'étape initiale

- $s_d$: seuil de dispersion

- `nbMaxIter`: nombre maximum d'itérations

- `nbClust`: nombre de clusters obtenus initialisé à 0

- `recursifCpt`: nombre d'appels récursifs

- `nb_min_inst`: nombre minimum d'instances

**Output:** - $C_f$ ensemble de clusters

1: **if** `nb_min_clust` > $p$ **then**

2:     `{C, Dist(C)}` = `CreateInitialsClusters(T, nb_min_inst)`

3:     **for** i in 1 to `nb_min_clust` **do**

4:         `{C', CR}` = `ApplyCriteria(Ci, Dist, s_d, nb_min_inst)`

5:         **if** $C' \neq \emptyset$ **then**

6:             $C_f$[$nbClust$] = $C'$

7:             $T = T - C'$

8:             $nbClust = nbClust + 1$

9:     **else**

10:         `recursifCPT` = `recursifCpt` + 1

11:     **end if**

12: **end for**

13:     **if** `recursifCpt` < `nbMaxIter` **then**

14:         XmeansTS(T, nb_min_clust, s_d, nbClust, nbMaxIter, recursifCpt, nb_min_inst)

15:     **end if**

16: **end if**

17: **return** $C_f$

## 3.6 Validation de l'algorithme X-MeansTS

La méthode de clustering de séries temporelles monovariées X-MeansTS a été testée sur différents jeux de données Benchmark UEA and UCR disponible en ligne [7, 21] et sa performance a été comparée à la performance de la méthode K-shape et de la méthode K-meanTS, les plus connus. La section suivante (section 3.6.1) présentera les résultats de ces tests afin de valider l'efficacité de cette nouvelle approche en l'occurrence pour des données complexes ayant un nombre de clusters très élevé. Le chapitre 7 fournira des résultats qualitatives et des interprétations de ces résultats sur le jeu de données réelles de la filière d'aquaculture Calédonienne.

### 3.6.1 Expérimentations de l'algorithme X-MeansTS

Les jeux de données de tests, des archives UEA and UCR [7, 21] contient actuellement près de 200 jeux de données faisant références à des domaines variés (sport, science, littérature, industrie...).
Pour chaque jeu de données que nous avons utilisé, les informations suivantes sont fournies :

* le nom du jeu de données

* le nombre de séries temporelles

* le label de chaque série

* la longueur des séries

Le label des séries est évidemment utile dans le cadre d'une classification supervisée pour calculer par exemple, la précision du modèle. Dans le cas de notre méthode de clustering, il servira à calculer sa performance, en fonction de l'homogénéité des clusters.

Afin d'avoir des performances établies sur un ensemble de jeux de données très hétérogènes, les tests ont été réalisés sur 20 jeux de données avec des séries de longueurs variées et un nombre de classes différent (cf. table 3.1). Pour tester notre nouvelle méthode *X-meansTS* sur des données complexes, Les 7 derniers jeux de données du tableau 3.1 ont un nombre plus élevé de classes (entre 24 et 60). De plus, certains d'entre eux contiennent des séries de plus grande taille (1250 points) et/ou un nombre assez élevé de séries (par exemple 7800 séries pour les données Crop). Une comparaison des résultats obtenus sur ces 7 jeux de données par rapport aux résultats des méthodes (*K-MeansTS*, *K-shape*), est présentée.

**Recherche automatique des seuils des paramètres en entrée de la méthode X-meansTS:** Pour chaque jeu de données considéré, l'algorithme a été expérimenté en faisant varier principalement le seuil $s_d$ de la mesure de dispersion *disp*, et le nombre *nb_min_clust* de clusters initiaux. Concernant le paramètre *nb_min_inst* du nombre minimum d'instances par cluster, il a été fixé selon le jeu de données. Pour assurer l'obtention de tous les clusters, le paramètre *nb_min_inst*, quand à lui, sera fixé à un nombre inférieur ou égal au nombre d'individus de la classe qui en possède le moins.

Des combinaisons de couples de valeurs pour les paramètres $s_d$ et $nb_min_clust$, ont été déterminées, pour chaque jeu de données, à partir d'une liste de valeurs pour chaque paramètre. Ces listes ode valeurs ont été générées selon la même approche pour tous les jeux et de la manière suivante : la liste des seuils est obtenue à partir des résultats de différents clustering obtenus par une méthode existante telle que *K-meansDTW* par exemple. Étant donné que le nombre de clusters souhaité est configurable avec cette méthode, la méthode a été paramétrée de manière à obtenir des résultats pour un nombre de clusters variant entre, au minimum 2, et, au maximum, le double du nombre de classes réelles du jeu.

Par exemple, pour le jeu de données "Car", le nombre maximal est fixé à 4 puisque le nombre de classes est de 2. Ainsi pour ce jeu, l'algorithme *KmeansTS* est exécuté 3
fois, c'est à dire, en faisant varier le nombre *k* de clusters de 2 à 4.

On obtient ainsi $2 + 3 + 4 = 9$ clusters pour ce jeu de données. Ces clusters générés permettent d'avoir, par jeu de données, un intervalle de valeurs de seuils de dispersion. En effet, en fonction de la variabilité des séries dans les différents jeux, les seuils de la mesure de dispersion seront différents (La mesure de dispersion permettant d'obtenir des clusters avec des séries évoluant sur des amplitudes de plus en plus proches, lorsque la mesure se rapproche de 0).

Dès lors que, par jeu de données, la liste de seuils (de dispersion) est déterminée, on génère la liste de valeurs du paramètre *nb_min_clust*, c'est à dire du nombre de clusters initiaux. Pour cela, par jeu, une liste de valeurs est générée, allant de 2 jusqu'au nombre de classes réel. L'algorithme *X-MeansTS* est ainsi exécuté avec chaque valeur de la liste de seuils, et pour chaque exécution, on fait varier le paramètre *nb_min_clust* selon sa liste de valeurs.

De plus, cette configuration d'exécutions de l'algorithme *X-MeansTS* par jeu de données, est répétée pour différentes mesures de distances, entre deux séries temporelles, utilisables avec l'algorithme. Ces mesures sont principalement les mesures dérivées de *DTW* lorsque *K-MeansDTW* est utilisée dans *X-MeansTS* pour générer les clusters initiaux.

Pour expliquer le protocole expérimental pour chaque jeu de données avec notre stratégie de recherche automatique des seuils, prenons l'exemple du jeu de données 'Car'. Pour ce jeu de données, on obtient par exemple une liste de 9 valeurs de seuils différents, calculés à partir des 9 clusters pré-cités. À partir de cette liste de seuils, on exécute *X-MeansTS* avec chacun des éléments de la liste, comme paramètre d'entrée $s_d$. Ainsi, pour chaque seuil, on itère sur le paramètre *nb_min_clust* i.e le nombre de clusters initiaux en le faisant varier de 2 à 4 clusters. On obtient $9 * (2 + 3 + 4) = 81$ clusterings qui fournissent chacun un nombre optimal de clusters (voire aucun cluster) selon les couples de valeurs de $s_d$ et *nb_min_clust*.

Chaque fois que *X-MeansTS* fourni un résultat pour chaque jeu de données testé, pour ces combinaisons de paramètres, *K-MeansDTW* et *K-Shape* ont été exécutés (plusieurs fois) avec, en entrée, le nombre de clusters *k* fourni en sortie par *X-MeansTS*, afin de pouvoir comparer leurs performances à celle de *XmeansTS* (section 3.6.2). Cette façon d'obtenir des résultats avec ces 3 méthodes de clustering (*X-MeansTS*, *K-MeansDTW* et *K-Shape*) a été appliquée, comme énoncé, en utilisant différentes mesures de distance (*DTW* + multiscale, *DTW* + itakura, FastDTW...). Les résultats de la méthode *X-MeansTS* ont été évalués et comparés à ceux des méthodes *K-MeansDTW* en utilisant les mêmes mesures de distance. *X-MeansTS* obtient d'excellents résultats sur ces jeux de données (selon la mesure de l'indice Rand [157]). Au total, plusieurs milliers de tests ont été générés, et leurs performances ont été décrites en fonction de la mesure de distance utilisée.
<table><caption>**Table 3.1 Description des jeux de données**</caption><thead><tr><td>Dataset</td><td>nb instance</td><td>nb classe</td><td>taille série</td></tr></thead><tbody><tr><td>BirdChicken</td><td>20</td><td>2</td><td>512</td></tr><tr><td>Car</td><td>60</td><td>4</td><td>577</td></tr><tr><td>Computers</td><td>250</td><td>2</td><td>720</td></tr><tr><td>DiatomSizeReduction</td><td>16</td><td>4</td><td>345</td></tr><tr><td>FaceFour</td><td>24</td><td>4</td><td>350</td></tr><tr><td>Fish</td><td>175</td><td>7</td><td>463</td></tr><tr><td>Ham</td><td>109</td><td>2</td><td>431</td></tr><tr><td>Herring</td><td>64</td><td>2</td><td>512</td></tr><tr><td>LargeKitchenAppliances</td><td>375</td><td>3</td><td>720</td></tr><tr><td>Lightning7</td><td>70</td><td>7</td><td>319</td></tr><tr><td>Meat</td><td>60</td><td>3</td><td>448</td></tr><tr><td>OliveOil</td><td>30</td><td>4</td><td>570</td></tr><tr><td>OSULeaf</td><td>200</td><td>6</td><td>427</td></tr><tr><td>RefrigerationDevices</td><td>375</td><td>3</td><td>720</td></tr><tr><td>ScreenType</td><td>375</td><td>3</td><td>720</td></tr><tr><td>SmallKitchenAppliances</td><td>375</td><td>3</td><td>720</td></tr><tr><td>Earthquakes</td><td>322</td><td>2</td><td>512</td></tr><tr><td>ToeSegmentation2</td><td>36</td><td>2</td><td>343</td></tr><tr><td>Yoga</td><td>300</td><td>2</td><td>426</td></tr><tr><td>Adiac</td><td>390</td><td>37</td><td>176</td></tr><tr><td>Crop</td><td>7200</td><td>24</td><td>46</td></tr><tr><td>EOGVerticalSignal</td><td>362</td><td>12</td><td>1250</td></tr><tr><td>FiftyWords</td><td>450</td><td>50</td><td>270</td></tr><tr><td>GestureMidAirD1</td><td>208</td><td>26</td><td>360</td></tr><tr><td>NonInvasiveFetalECGThorax1</td><td>1800</td><td>42</td><td>750</td></tr><tr><td>ShapesAll</td><td>600</td><td>60</td><td>512</td></tr></tbody></table>

Les principales métriques de performance utilisées pour évaluer les clustering sont **ARI (Adjusted random index)** [157] et la **V-Mesure** ([145]). La V-Mesure a été choisie car, elle a été définie pour répondre aux deux critères (les plus utilisés pour évaluer la qualité de la méthode de clustering) suivants : l'homogénéité, et la compléterie des clusters.

Les tests ont été effectués avec un processeur Intel i7-6700HQ, 2.60GHz, le temps de calcul est comparable à celui de *K-Shape* et *K-MeansDTW* sur l'ensemble des jeux de données utilisées.

### 3.6.2 Résultats

Pour la recherche des clusters initiaux nécessaire à l'algorithme *X-MeansTS*, nous utiliserons la méthode *K-Shape* et la méthode *K-MeansDTW* avec différentes mesures de distance dérivées de DTW.
Les définitions qui suivent précisent comment les mesures de performances (*V Measure* et *ARI*) ont été utilisées :

* **ARI_KMeansDiff** (resp. **ARI_ShapeDiff**) mesure la différence de l'ARI entre *X-MeansTS* et *K-MeansTS* (resp. **K-Shape**). Si $ARI_KMeansDiff > 0$ alors les clusters fournis par *X-MeansTS* se rapprochent d'autant plus du jeu de données réel, que ceux fournis par *K-MeansTS*.

* **Vmeas_KMeansDiff** (reps. **Vmeas_K-ShapeDiff**) mesure la différence de *V-Measure* entre les méthodes *X-MeansTS* (resp. **K-Shape**) et *K-meansTS*. Si $Vmeas_KMeansDiff > 0$ (resp. $Vmeas_ShapeDiff > 0$), alors les clusters fournis par *X-MeansTS* sont plus homogènes que la méthode *K-MeansTS*.

**Scénarios de comparaison** : La comparaison des performances par ces mesures a été réalisée à la fois sur des jeux de données contenant moins de 10 classes, et un nombre de séries inférieurs à 400, et sur des jeux avec au nombre de classe allant de 10 à 60 et un nombre de séries allant de 360 à 7200. Dans le premier cas, nous nommerons par la suite les jeux avec moins de 10 classes, des 'jeux simples', dans le deuxième cas des 'jeux particuliers'. Pour cette comparaison, plusieurs milliers de tests ont été réalisés en modifiant les paramètres d'entrée de la méthode *X-meansTS* d'après les scénarios de combinaisons de paramètres présentés dans la section ..... A chaque combinaison de paramètre, différentes mesures de distances dérivées de *DTW* (*fast-DTW*, *DTW+itakura*...) sont aussi testés. A chaque test, le nombre de clusters obtenus, sert de paramètre *K* en entrée de la méthode *K-meansDTW*, et la mesure de distance utilisée lors du test par *X-meansTS*, est intégrée (dans *K-meansDTW*). On obtient ainsi, d'après les scénarios (de combinaisons de paramètres) plus de 1500 tests au total par *X-meansTS* sur l'ensemble des 26 jeux de données du tableau 3.1. Et par conséquent plus 1500 tests également effectués par la méthode *K-meansDTW* et la méthode *K-Shape*. Dans l'ordre de présentation des résultats, nous étudierons ces mesures de comparaison dans les cas suivants :

* lorsque qu'un même nombre de cluster générés, par les 3 approches, est différent du nombre réel de classe. Cela permet d'étudier, pour un même nombre de cluster généré par les méthodes, la différence de qualité en terme d'homogénéité, entre ces approches lorsque que leurs nombres de clusters sont soient inférieurs, soient supérieurs au nombre réel de classe par jeu de données.

* en fonction des mesures de distances dérivées de *DTW* utilisées (*fastDTW*, *DTW+itakura*,...), en séparant les jeux (de données) simples des jeux particuliers.

**Comparatif général de la qualité des clusters entre X-meansTS, K-meansDTW et K-Shape** : La figure 3.17 affiche les métriques qui calculent la différence de qualité
entre les résultats de *Xmeans-TS* et *Kmeans-DTW* sur la base d'un même nombre de cluster i.e *ARI_KMeansDiff* et *Vmeas_KMeansDiff*). La figure 3.17 affiche les résultats du clustering pour lesquels les nombres de clusters générés par ces deux méthodes, sont au plus, inférieur de 3 ou supérieur de 4, du nombre réel de classe. Cette différence de nombre, est noté *kdiff* dans la figure. D'après cette figure 3.17 les clusters obtenus par *X-MeansTS* sont souvent plus homogènes et plus similaires (cf. *ARI*) que *K-MeansDTW*. On note en effet un nombre supérieur de valeurs positives pour *ARI_KMeansDiff* et *Vmeas_KMeansDiff*. Et l'étendue des valeurs positives de ces deux métriques est plus important, que leurs valeurs négatives. La différence de qualité des clustering est donc plus importante lorsque c'est notre méthode *Xmeans-TS* qui, sur la base d'un même nombre de clusters, génère des clusters plus homogènes que la méthode *Kmeans-TS*. De la même manière, la figure 3.18 présente une comparaison des résultats, via la différence des mesures de performances *V-mesure* et *ARI*, entre notre méthode *X-MeansTS* et la méthode *K-Shape*. Contrairement à la comparaison précédente de la qualité des clusters entre *Xmeans-TS* et *Kmeans-TS*, la différence entre *Xmeans-TS* et *K-Shape*, montre des résultats en faveur de *K-shape*. On note, en effet, un nombre supérieur de valeurs négatives d' *ARI_KMeansDiff* et de *Vmeas_KMeansDiff*.

<figure><img src="image_24.png" /><figcaption>**Fig. 3.17** *V-mesure* et *ARI* en fonction de la différence entre le nombre de classes réel et le nombre de clusters obtenus</figcaption></figure>

Afin de déterminer si la mesure de distance choisie, impacte fortement les valeurs de *ARI* et *Vmesure*, nous avons analysé la différence de qualité des clusters en fonction des mesures des distances *DTW* utilisées et notemment par *X-MeansTS* et *K-MeansDTW*. En plus de cette comparaison en fonction de ces mesures, les résultats seront présentés en fonction des jeux simples et des jeux particuliers.
<figure><img src="image_25.png" /><figcaption>**Fig. 3.18** *V-mesure* et *ARI* en fonction de la différence entre le nombre de classes réel et le nombre de clusters obtenus.</figcaption></figure>

Pour cela, les graphiques qui suivront, afficheront des valeurs normalisées de ces
deux mesures (de différence de qualité) proposées (*Vmeas_Kmeansdiff*, *ARI_Kmeansdiff*...).
Par exemple si la valeur de V-mesure de notre méthode *X-meansTS* vaut 0.4 et celle de
*K-meansDTW* vaut 0.1 alors le taux sera positive et vaudra 0.25. Cela signifiera que
l'homogénéité de *X-meansTS* est 25% plus élevée que celle de méthode *K-meansDTW*
sur la base d'un même nombre de clusters générés par ces deux méthodes. Réciproquement,
si la valeur de *V-mesure* de notre méthode *X-meansTS* vaut 0.1 et celle de *K-meansDTW*
vaut 0.4 alors le taux sera négative et vaudra 0.25. Cela signifiera que l'homogénéité de
*X-meansTS* est 25% moins élevée. Sur les milliers de tests énoncés le calcul de ce pour-
centage est fait et on affichera ainsi des boxplots de ces pourcentages. Cela permettra
d'afficher des taux, obtenus sur ces milliers de tests, en terme de différence de qualité
entre notre méthode *X-meansTS* et les méthodes *K-meansDTW* et *K-Shape*.

Comparatif de la qualité des clusters entre X-meansTS vs K-meansDTW en fonction des jeux de données simples : Sur les milliers de tests énoncés précédemment, la figure 3.19 compare la différence de qualité entre les clusters générés par X-meansTS, et la méthode K-meansDTW sur les jeux simples. La figure montre cette différence de qualité, en fonction des mesures dérivées de DTW en abscisse, utilisées par les deux méthodes pour les tests. Dans cette figure la figure 3.19 deux graphiques sont affichés. Le graphique de gauche affiche pour différentes mesures de distances, le taux de Vmeas_KMeansDiff, et celui de droite le taux ARI_KMeansDiff. Sur la base d'un
même nombre de cluster (générés par *X-meansTS* et *K-meansDTW*), les différences de qualité déterminés par *Vmeas_KmeansDiff*, et *ARI_KmeansDiff* ont donc été calculés. Comme énoncé, ces valeurs ont été normalisées pour obtenir, une distribution du taux de différence de qualité entre notre méthode et *K-meansDTW*. D'après cette figure 3.19, *X-MeansTS*, selon les taux de *Vmeas_KmeansDiff*, est en moyenne 2% plus homogènes que *K-MeansDTW* sur les jeux de données simples (et pouvant atteindre des différences de taux qualité d'environ 10% en faveur de *X-MeansTS*). Les mesures de distance *DTW* combinées avec le parallélogramme de *Sakoechiba* et la bande d'Itakura ont des distributions beaucoup plus étalées concernant les valeurs liées aux différences d'homogénéité et de similarité entre *X-meansTS* et *K-meansDTW*). (i.e *Vmeas_KmeansDiff* et *ARI_KmeansDiff*). En général, les clusters obtenus par *X-MeansTS* sont souvent plus homogènes et plus similaires aux vrais clusters des jeux de données 'simples' (cf. *ARI*) que *K-MeansDTW*. Avec l'approche *FastDTW*, la méthode *X-MeansTS* reste néanmoins, moins performante.

<figure><img src="image_26.png" /><figcaption>**Fig. 3.19** *Vmeas_Kmeansdiff* et *ARI_Kmeansdiff* en fonction de l'ensemble de données non complexes</figcaption></figure>

**Comparatif de la qualité des clusters entre *X-meansTS* vs *K-meansDTW* en fonction des jeux de données particuliers** : La comparaison de qualité des clustering a été faite sur les jeux de données 'particuliers'. La figure 3.20 montre, comme pour les jeux de données 'simples', les distributions de différence de qualité (*Vmeas_Kmeansdiff* et *ARI_Kmeansdiff*) entre les méthodes *X-meansTS* et *K-meansDTW* et en fonction des différentes mesures dérivées de *DTW*. Les boxplots de la figure montre, comme précédemment sur les jeux de données simples, en abscisse, les différentes mesures dérivées de *DTW* et en ordonnée les distributions de taux de *Vmeas_Kmeansdiff*
pour les boxplots de gauche et de taux de *ARI_Kmeansdiff* pour les boxplots de droites. La figure 3.20 montre que *X-MeansTS* crée en moyenne des clusters de meilleurs qualités que *K-MeansDTW* sur les jeux ces données 'particuliers'. Comme pour les jeux de données simples, d'après cette figure 3.20, *X-MeansTS*, selons les taux de *Vmeas_KMeansDiff*, est en moyenne 2% plus homogènes que *K-MeansDTW* sur les jeux de données simples. Les mesures de distance *DTW* combinées avec le parallélogramme de *Sakoechiba* et l'approche *Fast* ont des distributions des valeurs, là encore beaucoup plus étalées.

<figure><img src="image_27.png" /><figcaption>**Fig. 3.20** *Vmeas_Kmeansdiff* et *ARI_Kmeansdiff* en fonction de l'ensemble de données non complexes</figcaption></figure>

**Comparatif de la qualité des clusters entre X-meansTS vs K-Shape sur les jeux de données simples :** Comme pour le comparatif de la qualité des résultats entre *X-meansTS* et *K-meansDTW*, la même comparaison a été faite entre les clusters obtenus par *X-meansTS* et *K-Shape*. Contrairement aux scénarios de test précédent où les mesures dérivées de *DTW* été utilisées par *X-meansTS* et *K-meansDTW*, ici la comparaison est faite uniquement en modifiant la mesure de distance *DTW* en entrée de *X-meansTS*. En effet avec l'approche *K-shape* la mesure de *DTW* ne peut être intégrée puisque le séries sont redéfinies par la transformée de Fourier [128]. La figure 3.21 montre ainsi la distribution des taux de *Vmeas_ShapeDiff* (graphe de gauche) et *ARI_ShapeDiff* (graphe de droite). En abscisse les différentes mesures dérivées de *DTW*. D'après les résultats montrés sur cette figure 3.21, sur les jeux de données simples, *X-MeansTS* génère sur l'ensemble des test, des clusters (légèrement) moins homogènes et moins similaires (aux classes données réelles) que les clusters générés par *K-Shape*. En effet, on voit que les mesures de **V-mesure** et **ARI** obtenus par *K-Shape* sont en moyenne 1 à 2% plus élevées que celles de *X-MeansTS* sur la base d'un même nombre de clusters
générés par les deux méthodes (cf *ARI_ShapeDiff* et *Vmeas_ShapeDiff* dans la figure 3.21). On remarque que les mesures de distance *DTW* combinées avec le parallélogramme de *Sakoechiba* et la bande *Itakura* [73] ont des distributions de valeurs de performances beaucoup plus étalées.

<figure><img src="image_28.png" /><figcaption>**Fig. 3.21** *Vmeas_Kmeansdiff* et *ARI_Kmeansdiff* en fonction de l'ensemble de données non complexes</figcaption></figure>

**Comparatif de la qualité des clusters entre X-meansTS vs K-Shape sur les jeux de données particuliers** : La figure 3.22 montre comme pour les jeux de données simples, la distribution des différences de valeurs des mesures de *ARI* et de *V-mesure*. La figure montre que notre méthode *X-MeansTS* est dans la majorité des résultats génère des clusters de meilleurs qualités que *K-Shape* sur les jeux de données particuliers dans lesquels le nombre de classes est très important. En effet, on voit sur la figure 3.22 que les mesures de **V-mesure** et **ARI** obtenus par *X-MeansTS* sont en moyenne 10% plus élevées que celles de *K-Shape* sur la base d'un même nombre de clusters générés par les deux méthodes (cf *ARI_ShapeDiff* et *Vmeas_ShapeDiff* dans la figure 3.21). *K-Shape* a de bons résultats sur les données simples mais échoue sur les jeux données particuliers.

**NB** : Dans le cadre de jeux de données de qualité (jeux de données équilibrées selon des labels corrélés aux attributs....) le rapport entre l'écart-type et l'entropie utilisé dans la nouvelle mesure de dispersion, est un bon indicateur d'homogénéité des clusters. En effet, la mesure de dispersion permet de sélectionner des individus répartis autour
<figure><img src="image_29.png" /><figcaption>**Fig. 3.22** *Vmeas_ShapeDiff* et *ARI_ShapeDiff* en fonction de l'ensemble de données non complexes</figcaption></figure>

du représentant et elle s'intéresse pour cela à la probabilité d'apparition des valeurs
de distances. Des séries peuvent avoir les mêmes distances avec leur représentant,
lorsqu'elles ne présentent pas d'importantes variations. En cherchant à réduire l'écart
type de ces distances, l'approche permet également, dans le cas des jeux de données
de qualité, d'augmenter l'homogénéité. La méthode *X-meansTS* obtient des clusters
plus homogènes sur des jeux de données et d'autant plus lorsque le nombre de classes
est élevé. Le calcul du représentant par cluster est déterminant, pour l'homogénéité
intra-cluster, et l'homogénéité globale du clutering. Dans le cas des testes, le centroïde
a été le seul représentant à défaut. Notons néanmoins que les mesures de distance
utilisées, déterminent un représentant qui peut être différents. Cette différence découle
de l'espace de recherche du chemin optimal entre deux séries. Le chemin optimal, en-
tre deux séries, peut être différent en fonction des différentes méthodes dérivées de la
méthode *DTW*.

3.6.3 Synthèse sur les résultats expérimentaux

Les résultats précédent ont prouvé que :

* la méthode *Xmeans-TS* est plus performante que la méthode *K-Shape* sur les jeux 'particulier', et la différence de qualité des clusters obtenus sur ces jeux, est significative; Les jeux simples étant plus important, les résultats précédents ont mis en avant ce déséquilibre, en relevant des valeurs de *ARI* et de *V-Mesure* supérieur pour K-shape (qui seraient liés principalement aux jeux simples),

* la méthode *Xmeans-TS* sera plus performante que la méthode *K-meansTS*, davantage