# Quelques contributions à l'extraction, l'enrichissement des connaissances et à la prédiction de données spatio-temporelles massives

Nédra Mellouli-Nauwynck

► To cite this version:

Nédra Mellouli-Nauwynck. Quelques contributions à l'extraction, l'enrichissement des connaissances et à la prédiction de données spatio-temporelles massives. Apprentissage [cs.LG]. Université Paris 8, 2021. tel-03982917

HAL Id: tel-03982917

https://univ-paris8.hal.science/tel-03982917

Submitted on 10 Feb 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
École doctorale n° 224 : Cognition, Langage, Interaction

HABILITATION A DIRIGER DES RECHERCHES

Université Paris 8 Vincennes Saint-Denis

Spécialité : Informatique

présentée et soutenue publiquement par

Nédra Mellouli-Nauwynck

le 7 Janvier 2021

Quelques contributions à l'extraction,
l'enrichissement des connaissances et à la
prédiction de données spatio-temporelles massives

Jury :

<table><tr><td>Pierre Gançarski,</td><td>Professeur, Université de Strasbourg</td><td>Rapporteur</td></tr><tr><td>Maria Rifqi,</td><td>Professeure, Université Paris II-Panthéon-Assas.</td><td>Rapporteure</td></tr><tr><td>Lynda Tamine-Lechani,</td><td>Professeure, Université Paul Sabatier</td><td>Rapporteure</td></tr><tr><td>Massih-Reza Amini,</td><td>Professeur, Université Grenoble Alpes</td><td>Examinateur</td></tr><tr><td>Sadok Ben Yahia,</td><td>Professeur, Faculté des Sciences de Tunis</td><td>Examinateur</td></tr><tr><td>Nicolas Passat,</td><td>Professeur, Université de Reims Champagne-Ardenne</td><td>Examinateur</td></tr><tr><td>Myriam Lamolle,</td><td>Professeure, Université Paris 8, IUT de Montreuil</td><td>Garant.e</td></tr></table>
Remerciements

Je tiens à remercier de nombreuses personnes : mes collègues à l'IUT, au LIASD, au MAP5, au CREM, mes étudiants en thèse, ma petite famille. Je voudrais remercier Myriam Lamolle d'avoir accepté d'être garante de mon Habilitation à Diriger des Recherches. Elle a été très disponible pour m'accompagner dans différents projets de recherche, dans le co-encadrement des thèses et dans la lecture des premières versions de ce mémoire. Je tiens à remercier Maria Rifqi, Lynda Tamine-Lechani et Pierre Gançarski d'avoir accepté d'être les rapporteurs de ce mémoire et Sadok Ben Yahya, Massih-Reza Amini et Nicolas Passat d'avoir accepté de participer au jury.

J'adresse mes remerciements tout particulièrement à Anne Ricordeau, mon binôme en recherche et en enseignement pendant 10 ans et qui m'a permis de démarrer les premiers projets de recherche et collaborations avec le laboratoire MAP5 de l'université ParisDescartes.

Je voudrais également remercier tous mes collègues du département Informatique, en particulier Jean-Hugues Réty pour avoir repris la responsabilité de la licence CSID que je dirigeais depuis douze ans et Philippe Bonnot qui a su tailler l'emploi du temps à mes disponibilités. Cela m'a permis de rédiger ce mémoire dans de bonnes conditions.

Enfin, je remercie mon époux et mes enfants d'avoir été patients pour accomplir mon projet professionnel.
# Résumé

Face à un déluge des données, les tâches usuelles d'extraction de connaissances que nous avons connues il y a dix ans prennent de nouvelles directions à la fois théoriques, technologiques, méthodologiques et applicatives. C'est-à-dire, qu'il est possible par exemple de recueillir des informations variées sur les sources des données, les modalités d'usage (les habitudes) ou encore les comportements des utilisateurs qui se manifestent à travers l'émotion, les opinions, sa localisation, etc. Le thème de recherche phare qui structure mes travaux est la modélisation de la prédiction d'événements dans le futur à partir des données massives observées dans le passé. Nous partons de l'hypothèse que la finalité de ce déluge de données n'est pas seulement de les stocker mais de pouvoir en sélectionner les plus pertinentes, d'en extraire des relations sémantiques, d'en déduire des corrélations, des relations de causalité ou d'augmenter certaines données. Le but étant d'enrichir continuellement la prédiction par des connaissances collectives, ouvertes, générales et/ou spécifiques. Quand on dispose de données hétérogènes (mélange de textes et images), la problématique de construction des descripteurs se définie différemment des approches classiques. C'est d'abord se posent les questions de comment déterminer les objets signifiants dans une image et comment utiliser les annotations textuelles comme source contextuelle de données signifiées pour l'image. C'est avec une approche hybride de web sémantique et d'analyse d'image que nous avons abordé ces problématiques connexes à la recherche sémantique d'images à partir de requêtes textuelles/visuelles ou l'indexation sémantique d'images. Le web sémantique a contribué en effet à imposer ses modèles de représentation des connaissances par des ontologies et de pouvoir formaliser les relations qui peuvent exister entre les objets signifiants de l'images augmentées par les connaissances extraites des annotations associées. Ensuite se posent les questions du volume et de la temporalité des données. Pour y répondre, nos méthodes de parallélisation du processus de construction apportent davantage de modularité contribuent à la réduction du temps de calcul, en particulier dans le contexte des images satellitaires et le suivi des changements géoclimatiques ou des changements d'urbanisation. Pour ces contexte, les algorithmes de traitement sont entièrement indépendant des solutions de stockage et d'accès aux données en utilisant principalement l'écosystème Spark. nous présentons enfin nos travaux qui s'attellent à la prédiction et la prévision dans le contexte de données massives et temporelles. Une attention particulière est accordée à ces données en ce qui concerne la vérification permanente de leur cohérence avant la phase d'analyse. C'est une étape supplémentaire que nous proposons en amont de l'analyse afin de maintenir une performance de prévision interprétable dans le temps.
Abstract

Faced with a deluge of data, the usual knowledge extraction tasks that we experienced
ten last years are taking new conceptual, technological, methodological and applicative
directions. In other words, it is possible, for example, to collect a variety of information
on data sources, patterns of use or user behaviors that are manifested through emotion,
opinions, location, etc. The leading research theme that structures my work is the modeling
of the forecasting of events in the future based on big data observed in the past. We suppose
that the purpose of this deluge of data is not only to store them but to be able to select
the most relevant ones, to extract semantic relationships, to deduce correlations, causal
relationships or to increase certain data. The goal is to continuously enrich prediction
with collective, open, general and/or specific knowledge. When heterogeneous data are
available (mixture of texts and images), the problem of feature construction is defined
differently from standard approaches. First it arises some questions as how to determine the
significant objects in an image and how to use textual annotations as a part of contextual
source of meaningful data for the image. It is with a hybrid approach of semantic web and
image analysis that we propose to resolve these issues related to semantic image retrieval
based on textual/visual queries or semantic image indexing. The semantic web has indeed
contributed to establishing its models of knowledge representation with ontologies and to
be able to formalize the relations that could exist between the signifying objects of the
image augmented by the knowledge extracted from the associated annotations. Then the
questions of the volume and temporality of the data are raised. To answer these questions,
our methods of parallelization of the construction process bring more modularity and
contribute to the reduction of calculation time, particularly in the context of satellite
images and the monitoring of geoclimatic changes or changes in urbanization. For these
contexts, the processing algorithms are completely independent of data storage and access
solutions, using mainly the Spark ecosystem. Finally, we present our work that deals with
forecasting problem in the context of big and temporal data. Special attention is given to
these data with respect to the ongoing verification of their consistency before the analysis
phase. This is an additional step that we propose earlier in the analysis leading to maintain
an interpretable forecasting performance over time.
# Table des matières

## I Ingénierie des descripteurs visuels et sémantiques sur des données multi-modales 9

### 1 État de l'art : fouille de données Complexes 11

1.1 Introduction 11

1.2 Revue de la littérature 13

1.3 Processus d'analyse et extraction de connaissances 15

1.4 Approches d'analyse 18

1.5 Données complexes et massives 22

1.6 Défis à venir pour l'analyse des données massives 25

### 2 Extraction de descripteurs visuels 30

2.1 Introduction 30

2.2 Approche fondée sur les connaissances du domaine 31

2.2.1 Extraction d'objets sémantiques 32

2.3 Vers une approche de segmentation sémantique d'images 46

2.3.1 Approche « split and merge » 48

2.3.2 Apport du watershed 50

2.3.3 Distribution avec MapReduce 53

2.3.4 Vers une segmentation sémantique 57

2.3.5 De l'image segmentée à l'image labellisée par apprentissage profond 60

2.4 Conclusions 65

### 3 Enrichissement sémantiques des descripteurs visuels 67

3.1 Sémantique, texte et images : quelles correspondances? 69

3.2 Images médicales et descripteurs sémantiques 71

3.2.1 Images 2D 72

3.2.2 Images 3D 73

3.3 Descripteurs sémantiques d'images photographiques 77

3.3.1 Relations spatiales 78

3.3.2 Formalisation des relations spatiales 79

3.3.3 Relations sémantiques 85

3.4 Enrichissement des domaines et module ontologique 91

3.4.1 Conceptualisation du lexique 92

3.4.2 Détection des relations 94

3.5 Représentation multi-dimensionnelle des connaissances 97
<table><tr><td>3.5.1 Raisonnement</td><td>99</td></tr><tr><td>3.6 Conclusions</td><td>100</td></tr></table>

## II Apprentissage supervisé et prédiction sur des données massives, spatiales et temporelles
103

### 4 Analyse Prédictive et Données Temporelles
105

4.1 Introduction
106

4.2 Prédiction et apprentissage supervisé
106

4.2.1 Cadre formel de l'apprentissage supervisé
107

4.2.2 Modèles prédictifs induits par l'espace des données
111

4.3 Modèles prédictifs pour des données massives
114

4.4 Modèles prédictifs et images spatio-temporelles
118

4.4.1 Données spatio-temporelles simulées
121

4.4.2 Description du simulateur
124

4.4.3 Prédiction de labels pour images satellitaires
127

4.5 Prédiction de séries temporelles issues de capteurs
133

4.6 Prédiction à partir des données de réseaux sociaux
146

4.6.1 Word2Vec et Doc2Vec pour la représentation textuelle
148

4.6.2 Prédiction de séquences symboliques
152

4.7 Conclusions et premières perspectives
157

### 5 Conclusions et projets scientifiques
159

5.1 Fusion Multimodale et explicabilité des algorithmes
161

5.2 Image et recherche visuelle sémantique
163

5.3 Apprentissage par transfert
165
## Liste des figures

<table><tr><td>1.1</td><td>Processus de base d'analyse des données inspiré de crisp-dm.org</td><td>18</td></tr><tr><td>1.2</td><td>Hiérarchie des analyses (source [Del15])</td><td>19</td></tr><tr><td>2.1</td><td>Représentation multi-échelles de la sémantique des images</td><td>32</td></tr><tr><td>2.2</td><td>Os trabéculaire du calcanéum</td><td>34</td></tr><tr><td>2.3</td><td>Radiographie du calcanéum</td><td>35</td></tr><tr><td>2.4</td><td>Connexités : (A) pour l'objet et (B) pour le fond</td><td>37</td></tr><tr><td>2.5</td><td>Squelette sur la radiographie du calcanéum</td><td>39</td></tr><tr><td>2.6</td><td>Volume reconstruit du calcanéum</td><td>40</td></tr><tr><td>2.7</td><td>Diversité des objets dans des images photographiques</td><td>41</td></tr><tr><td>2.8</td><td>Étapes de construction des règles d'association</td><td>43</td></tr><tr><td>2.9</td><td>Extrait de l'ontologie de domaine</td><td>44</td></tr><tr><td>2.10</td><td>Extrait des règles d'association</td><td>45</td></tr><tr><td>2.11</td><td>Exemple d'un arbre quadtree</td><td>48</td></tr><tr><td>2.12</td><td>Processus de l'algorithme de segmentation SWM</td><td>53</td></tr><tr><td>2.13</td><td>(a) Image à segmenter ; (b) représentation encodée des quadtrees ; (c) représentation logique ; (d) fonction map() dans MapReduce</td><td>55</td></tr><tr><td>2.14</td><td>Meilleure segmentation obtenue pour le type « forêt »</td><td>56</td></tr><tr><td>2.15</td><td>Meilleure segmentation obtenue pour les routes et les forêts</td><td>57</td></tr><tr><td>2.16</td><td>Macro-architecture du réseau UNET inspirée de [SNIU19]<sup>1</sup></td><td>61</td></tr><tr><td>2.17</td><td>Macro-architecture du réseau VGGNet [SZ15]</td><td>62</td></tr><tr><td>3.1</td><td>Images extraites de la collection Image CLEF 2008</td><td>70</td></tr><tr><td>3.2</td><td>Les trois cas de figures d'ILS</td><td>76</td></tr><tr><td>3.3</td><td>Squelette du volume initial</td><td>77</td></tr><tr><td>3.4</td><td>Classification des relations spatiales [HAB08]</td><td>79</td></tr><tr><td>3.5</td><td>Relations spatiales orientées</td><td>79</td></tr><tr><td>3.6</td><td>Encodage de la distance en sous-ensembles flous et résultats de recherche avec la relation très proche</td><td>81</td></tr><tr><td>3.7</td><td>Exemples de boîtes englobantes</td><td>82</td></tr><tr><td>3.8</td><td>Exemple de relations d'ordre</td><td>83</td></tr><tr><td>3.9</td><td>Exemple de relations d'ordre : l'objet A est aligné avec l'objet B.</td><td>83</td></tr><tr><td>3.10</td><td>Requêtes spatiales</td><td>84</td></tr><tr><td>3.11</td><td>Images résultats des requêtes</td><td>84</td></tr><tr><td>3.12</td><td>Processus de construction du module ontologique en 5 étapes.</td><td>92</td></tr></table>
<table>
  <tbody>
    <tr>
      <td>3.13</td>
      <td>Catégorisation des relations taxonomiques et sémantiques entre concepts</td>
      <td>94</td>
    </tr>
    <tr>
      <td>3.14</td>
      <td>Extraction des relations sémantiques pour des phrases sans verbes</td>
      <td>96</td>
    </tr>
    <tr>
      <td>3.15</td>
      <td>Exemple de patron pour la représentation des différents niveaux conceptuels des connaissances</td>
      <td>98</td>
    </tr>
    <tr>
      <td>3.16</td>
      <td>Extrait d'une visualisation d'un module ontologique</td>
      <td>99</td>
    </tr>
    <tr>
      <td>3.17</td>
      <td>Extrait détaillée d'une visualisation modulaire</td>
      <td>100</td>
    </tr>
    <tr>
      <td>4.1</td>
      <td>Deux étapes illustrées par les images du simulateur 3D : Résorption et formation</td>
      <td>126</td>
    </tr>
    <tr>
      <td>4.2</td>
      <td>Visualisation 3D par le simulateur. zones A : résorption est plus importante que la formation; Zone B : résorption puis formation. Zones en rouges sont les formes de la zone de remodelage (BMU).</td>
      <td>127</td>
    </tr>
    <tr>
      <td>4.3</td>
      <td>Résultat du remodelage en 3D</td>
      <td>128</td>
    </tr>
    <tr>
      <td>4.4</td>
      <td>Extrait des paramètres du simulateur de remodelage en 3D et dans le temps</td>
      <td>128</td>
    </tr>
    <tr>
      <td>4.5</td>
      <td>Modèle de prédiction distribué d'objets à partir d'images satellitaires [BMC+19]</td>
      <td>131</td>
    </tr>
    <tr>
      <td>4.6</td>
      <td>Images satellitaires 3 bandes et exemples de prédiction [Mel19b]</td>
      <td>133</td>
    </tr>
    <tr>
      <td>4.7</td>
      <td>Images satellitaires 16 bandes et exemples de prédiction</td>
      <td>134</td>
    </tr>
    <tr>
      <td>4.8</td>
      <td>Trois régimes : (1) état stationnaire ; (2) effacement électrique ; (3) dégivrage</td>
      <td>137</td>
    </tr>
    <tr>
      <td>4.9</td>
      <td>Régime sans et avec charge : (a) sans charge, (b) avec charge [Mah20]</td>
      <td>137</td>
    </tr>
    <tr>
      <td>4.10</td>
      <td>Composition d'une cellule LSTM</td>
      <td>140</td>
    </tr>
    <tr>
      <td>4.11</td>
      <td>Prédiction des séries temporelles par modèles LSTM sur les données de E<sub>1</sub></td>
      <td>143</td>
    </tr>
    <tr>
      <td>4.12</td>
      <td>Prédiction de la série temporelle Tp<sub>product</sub> par modèles LSTM sur les données de E<sub>2</sub></td>
      <td>144</td>
    </tr>
    <tr>
      <td>4.13</td>
      <td>Prédiction de la série temporelle Tp<sub>product</sub> par modèles LSTM sur les données de Compressor<sub>Energy</sub> sur les données de E<sub>3</sub></td>
      <td>144</td>
    </tr>
    <tr>
      <td>4.14</td>
      <td>Prédiction des séries temporelles par modèles LSTM sur les données de E<sub>5</sub></td>
      <td>144</td>
    </tr>
    <tr>
      <td>4.15</td>
      <td>Du texte aux vecteurs en passant par les tokens [Cho17].</td>
      <td>150</td>
    </tr>
    <tr>
      <td>4.16</td>
      <td>Exemple d'une série chronologique encodée en une séquence SAX. À chaque position de la fenêtre, la valeur moyenne est calculée puis encodée avec un symbole.</td>
      <td>154</td>
    </tr>
    <tr>
      <td>4.17</td>
      <td>Représentation spectrale de certains canaux de diffusion d'offres d'emploi avec la série symbolique SAX. Chaque ligne verticale représente une séquence symbolique d'un canal. Chaque pixel de la ligne représente la quantification des clics avec la série symbolique SAX</td>
      <td>156</td>
    </tr>
    <tr>
      <td>4.18</td>
      <td>Représentation spectrale de certains canaux de diffusion d'offres d'emploi avec la série symbolique PMVQ. Chaque ligne verticale représente la séquence symbolique d'un tableau d'affichage des offres d'emploi. Chaque pixel de la ligne représente la quantification des clics avec les PMVQ.</td>
      <td>156</td>
    </tr>
    <tr>
      <td>4.19</td>
      <td>Valeurs de précision moyenne de la prédiction avec des LSTM entraînés sur des séquences symboliques. Les résultats sont affichés pour chaque résolution (allant de 1 à 8) avec SAX et PMVQ.</td>
      <td>157</td>
    </tr>
  </tbody>
</table>
# Liste des tableaux

<table><tr><td>1.1 Une minute sur Internet (source : www.visualcapitalist.com)</td><td>13</td></tr><tr><td>1.2 Requêtes utilisées pour élaborer la revue de littérature</td><td>16</td></tr><tr><td>1.3 Total des articles retenus</td><td>17</td></tr><tr><td>2.1 Résumé des projets et des encadrements sur la thématique de la construction de descripteurs</td><td>33</td></tr><tr><td>2.2 Moyenne des résultats obtenus par VGG et UNET sur les trois collections d'images.</td><td>63</td></tr><tr><td>3.1 Résumé des projets et des encadrements sur la thématique de l'enrichissement sémantique des descripteurs visuels</td><td>69</td></tr><tr><td>3.2 Paramètres descriptifs de la structure 2D à base de segments et de points d'intersection.</td><td>73</td></tr><tr><td>3.3 Trois classes de structures à l'issue des valeurs propres idéales.</td><td>75</td></tr><tr><td>3.4 Mesures de similarité sémantique</td><td>89</td></tr><tr><td>3.5 Relations dérivées des ressources intégrées à BabelNet</td><td>93</td></tr><tr><td>4.1 Récapitulatif des travaux et collaborations sur la prédiction à partir de données massives et hétérogènes</td><td>119</td></tr><tr><td>4.2 Comparaison des résultats sur des bases d'images à 3 et 16 bandes.</td><td>132</td></tr><tr><td>4.3 Entrées/sorties du système dynamique d'une chambre froide</td><td>136</td></tr><tr><td>4.4 Prédiction de la Température T<sub>p</sub> pour chaque E<sub>i</sub> avec quatre modèles dérivés du LSTM.</td><td>143</td></tr><tr><td>4.5 E<sub>i</sub> Compressor<sub>Energy</sub> prediction with the four derived LSTM models</td><td>143</td></tr></table>
# Contexte général et thématiques de recherche

## Introduction

Les données multimodales sont omniprésentes dans notre vie, qu'elles soient personnelles ou professionnelles grâce à la transformation numérique. Dans des domaines comme l'imagerie médicale, la télédétection, les systèmes d'information géographique, ou encore les humanités numériques, les données se multiplient, deviennent de plus en plus volumineuses et d'origine très diverses. Elles peuvent venir de travaux sur le terrain, d'expérience de laboratoire ou de simulations. Il faut donc prendre en considération de nouvelles sources de données générées par des machines telles que les capteurs mais aussi générées par l'homme comme les données provenant des médias, des réseaux sociaux mais aussi celles relatives aux parcours de navigation issues des interactions sur la toile. De surcroît, avec l'augmentation des capacités de stockage et de traitement informatique des données, la taille des bases de données à disposition s'est élargie d'une manière exponentielle dans de multiples domaines.

Ainsi, les données massives ne sont pas volumineuses uniquement parce qu'elles sont nombreuses. Elles le sont aussi et surtout par leur diversité, puisqu'elles regroupent non seulement des données empiriques venant de nombreuses disciplines mais également des données provenant des simulations et de résultats d'autres recherches effectuées parfois dans des domaines connexes voire très différents. La finalité de ce déluge de données n'est pas de les stocker mais de permettre d'anticiper ce qui va se passer dans l'avenir, soit de prédire
les tendances futures avec précision. Ainsi une analyse prédictive révèle les modèles et les relations entre les données. Elle rend possible des prévisions à plus ou moins long terme avec une probabilité élevée sur la base de l'historique des données collectées, ainsi que les tendances qui s'y dessinent. L'analyse prédictive englobe diverses techniques statistiques, telles que l'exploration de données, la modélisation prédictive et l'apprentissage automatique. En effet, les grandes quantités de données sont trop complexes et volumineuses pour être traitées et analysées sans automatisation. Il est alors nécessaire d'utiliser des moyens de calcul algorithmique et donc des moyens informatiques idoines pour rechercher parmi ces données les informations pertinentes et les synthétiser. Ces outils doivent relever le défi d'outrepasser la complexité de ces données afin de pouvoir exploiter la totalité des informations disponibles et renforcer ainsi les connaissances extraites. Cela suppose que la machine soit capable d'intégrer des informations de nature différente par l'intermédiaire de descriptions sémantiques permettant de les lier à une même catégorie sémantique. La multitude des sources de données (ou données multi-sources), la diversité des formats de représentation d'une même donnée, l'évolution temporelle, le passage à l'échelle, l'accès, l'interrogation et l'analyse de ces nouvelles masses de données sont essentiels pour élargir les connaissances du domaine y afférent.

Avant d'exposer mes thématiques de recherche de ces dernières années, un focus sera fait sur deux notions fondamentales autour desquelles gravitent mes travaux : la notion de complexité liée aux données et la notion de passage à l'échelle des données à traiter.

## Données Complexes

La gestion des données collectées à partir de différentes sources et supports est devenue un défi d'envergure. En effet, l'explosion technologique des outils d'acquisition a contribué à la mutation des données du monde réel. Elles ne se présentent plus de manière *uni-modale* et structurée. Par exemple, un dossier médical contient non seulement des données numériques pouvant être structurées de manière *tabulaire* comme des résultats d'analyses radiologiques, mais il intègre également des données textuelles comme les comptes-rendus cliniques, le suivi temporel d'observations cliniques, ou encore des graphiques tels qu'un
électrocardiogramme voire des images complexes fournies par les radiographies, échographies, etc. De même, les données intégrées par des sites web se présentent selon différents modes. Elles peuvent être sous la forme de tableaux, de textes, de graphiques, d'images, voire même de fichiers audio ou vidéo. Elles ne sont pas forcément redondantes du point de vue informationnel. Bien au contraire, elles véhiculent souvent des connaissances complémentaires et permettent quelques fois de révéler des connaissances nouvelles. Ainsi dans bien des domaines applicatifs (comme le multimédia, la télédétection, l'imagerie médicale, les systèmes d'information géographique, la bio-informatique, etc.), les données collectées présentent différents formats de codage (pour le texte, les graphiques, les images, la vidéo ou audio), contiennent des catégories variées d'information (qu'il s'agisse de descriptions factuelles ou non), etc. Leur sémantisation s'appuie sur l'usage de ressources ontologiques pour transformer l'information en connaissances contextuelles. En effet l'intégration des ontologies dans le processus d'extraction de connaissances permet de formaliser les concepts d'un domaine ainsi que les relations qu'ils entretiennent. Grâce à leur représentation formelle, des inférences peuvent être effectuées pour déduire de véritables connaissances contextuelles.

La première apparition du terme donnée complexe a eu lieu en France lors du premier atelier sur la *Fouille de données complexes dans un processus d'extraction des connaissances* par Gançarski et Trousse en 2004². [DBRA07] proposent une première définition exhaustive qualifiant les données de complexes si elles sont : 1) multiformats, 2) multistructures, 3) multisources, 4) multimodales, 5) multiversions (évolutives en termes de définition ou de valeur).

Au vue de l'évolution des technologies de collecte des données, et de l'évolution des besoins applicatifs, il est très difficile de dresser une définition immuable des données complexes. En effet, plus récemment, les avancées technologiques des capteurs et des objets embarqués qui se répandent à grande vitesse grâce à la démocratisation de la 5G ont fait émerger une nouvelle dimension de la complexité à savoir l'acquisition de données embarquées en temps réel. On passe alors de l'Internet of things (IoT) à l'Internet of Everythings (IoE)

<footnote n="2">2. https://www.egc.asso.fr/wp-content/uploads/egc2004_atelier_fdc.pdf</footnote>
nécessitant une interopérabilité *web of things* (WoT) énoncé par le W3C<fnref n="3" />.

## Données massives

La disponibilité et l'adoption de nouveaux appareils mobiles plus puissants, ainsi que l'accès omniprésent aux réseaux mondiaux, voire à différents satellites, etc, entraînent déjà la création de nouvelles sources de données en masses. L'augmentation exponentielle des données est, en particulier, portée par les objets intelligents qui seront plus de 50 milliards dans le monde en 2020. À cette échéance, ce sont 40 000 milliards de milliards de données qui seront générées<fnref n="4" />. Les données massives, dites aussi *big data*, sont définies par au moins trois caractéristiques communes (appelées les **3V** dans le vocabulaire des anglo-saxons) : 1) un volume extrêmement large, 2) une vitesse d'acquisition et de traitement extrêmement élevée, 3) une très grande variété. Plus important encore est le quatrième V, la véracité. Celle-ci pose les questions fondamentales en analyse des données qui sont : dans quelle mesure ces données sont-elles exactes pour faire de bonnes prédictions ? Les résultats d'une analyse de données massives ont-ils vraiment un sens ?

## Synthèse des travaux menés

Reconnaître des tendances, des corrélations dans des ensembles de données fait penser à la faculté du cerveau humain à interpréter et/ou faire des analogies, bien que les capacités de ce dernier sont très vite dépassées en terme d'analyse des données complexes et massives. Le processus de prédiction peut être vu comme un raisonnement capable d'inférer l'occurrence future d'un phénomène à partir de conditions initiales et de connaissances générales. La structure logique de ce raisonnement prédictif a considérablement évolué ces dernières décennies en s'adaptant principalement à l'évolution des propriétés des données utilisées par l'analyse. En effet, les approches prédictives traditionnelles ont été guidées

<footnote n="3">3. WOT architecture</footnote>

<footnote n="4">4. D'après les informations du site planetoscope (www.planetoscope.com/.../nombre-de-tweets-expedies-sur-twitter.html), l'humanité produit 183 960 000 000 tweets (350 000 par minutes), 2000 milliards de requêtes annuelles Google contre 1 204 milliards par an en 2014 (65 000 par seconde), et 2 millions d'emails. Actuellement, le trafic web mondial surpasse 2 zettabytes par an (le temps de connexion mensuel cumulé représente presque 4 000 milliards d'années)</footnote>
par les modèles tant que la taille des données à analyser et leur complexité restaient raison-
nable. Un modèle est une représentation abstraite du comportement d'un système après
une déformation volontaire de certaines propriétés pour des raisons de simplification et
un pré-établissement d'un certains nombre de descripteurs (les paramètres pertinents qui
décrivent la majorité des données). Quand la taille des données et leur complexité croient,
les approches à base de modèles deviennent vite obsolètes puisqu'elles ne représentent
qu'une tendance spécifique d'un groupe de données. À l'inverse, les approches guidées par
les données, initialement utilisées pour compléter les données manquantes dans des bases
de données de taille relativement raisonnable par interpolation, s'appuient sur les liens
directs et indirects entre les données et donc sur des inférences inductives différentes sans
déterminer au préalable les descripteurs. Ces approches permettent de maximiser la préci-
sion des prédictions et de minimiser l'usage d'hypothèses auxiliaires. Les effets paradoxaux
de ces deux avantages sont le sur-ajustement, la lenteur de l'exécution des algorithmes et
l'explicabilité.

**Le sur-ajustement** L'analyse de gros volumes de données à des fins de recherche de corrélations sur lesquelles un système prédictif sera fondé, n'est pas dénuée de risques. On peut observer des corrélations fallacieuses [CG16] quand le jeu de données d'apprentissage n'est pas représentatif de son contexte d'exploitation (biais d'apprentissage) ou quand les données sont massives; ce qui augmente la probabilité de découvrir des relations qui ne sont que du bruit. Le sur-ajustement consiste à utiliser des équations ayant de nombreux paramètres libres pour s'ajuster aux données sans connaissances au préalable.

**L'explicapibilité** L'explicabilité est l'absence de définition des chemins qui ont permis de calculer le sens du raisonnement prédictif mais aussi du pourquoi de la prédiction elle-même. Nous cherchons désormais à caractériser ce lien fort et fonctionnel entre explication et prédiction afin de dégager la trajectoire dynamique du raisonnement prédictif augmentée par des connaissances sous-jacentes et complémentaires aux données statistiques. Par exemple, on peut prédire que le tabac provoque le cancer grâce aux données statistiques mais nous ne pouvons pas expliquer comment et pourquoi fumer donne le cancer. C'est ici que les connaissances à partir d'autres domaines annexes tels que l'analyse génétique,
ou encore les données biologiques et les données radiologiques peuvent être croisées avec les données statistiques pour trouver le pourquoi. Les explications fournissent un ou plusieurs chemins cognitifs vers les prédictions qui contribuent ensuite à tester et à affiner les explications.

**Le passage à l'échelle** Comme cela était évoqué par Serge Abiteboul, si les algorithmes de tri des données sont bien implantés et popularisés, ils sont bien souvent trop longs à s'exécuter<sup>5</sup>, ce qui rend utile et incontournable non seulement la mise en parallèle de nombreuses machines mais aussi l'utilisation d'outils statistiques pour filtrer ces données. Pour extraire des informations de ces grandes bases de données, on voit donc apparaître des éco-systèmes spécifiquement développés dans l'optique d'analyser des données très nombreuses et variées en des temps restreints grâce à leur distribution.

Nos travaux contribuent à lever ces verrous en proposant des raisonnements prédictifs sémantiques. Pour cela, nous nous intéressons d'une part à la représentation, la caractérisation des liens sémantiques des données complexes et massives via la construction de descripteurs sémantiques multi-dimensionnels et leur mécanisme de fusion. D'autre part, l'usage de ces descripteurs sémantiques nous permet de résumer (hors ligne), d'indexer, et de chercher efficacement les données archivées. Leur injection dans le processus d'ap-prentissage en ligne nous permet de réduire le sur-ajustement et de mieux expliquer la prédiction grâce à la mise en place de systèmes d'apprentissage sémantiques et ouverts. Ces recherches se déclinent principalement dans le cadre de collaborations académiques, industrielles et, ce notamment par le co-encadrement de doctorants, de post-doctorants et de stagiaires en master recherche (M1 et M2).

## Organisation du manuscrit

Ce manuscrit synthétise les trois axes principaux de recherche en suivant un fil directeur détaillé comme suit. Nous débutons par le chapitre 1 d'état de l'art qui nous permet de définir le cadre central de nos travaux. Il sert de vecteur de transition aux chapitres 2, 3 et 4

<footnote n="5">5. Serge Abiteboul, "Sciences des données : de la logique du premier ordre à la Toile, Leçon inaugurale au Collège de France, 8 mars 2012" (2012), p. 21.</footnote>
présentant nos contributions elles-mêmes. Après avoir introduit la notion de données massives complexes, nous présentons tout d'abord la démarche des approches existantes dans la littérature qui permettent de fusionner ces données pour en extraire des connaissances. Dans le chapitre 2, nous nous intéressons à l'extraction et la mise en relief de connaissances de bas niveau à partir de données brutes semi-structurées. Ces données collectées sont pour la plupart des images et/ou du texte. D'ailleurs, avec la démocratisation des données massives (ou big data), les images et le texte sont des données qui couvrent beaucoup de domaines d'application. Au stade d'extraction de ces objets, que nous nommerons objets perceptifs ou percepts, nous proposons de les caractériser par des descripteurs de bas niveau. Ces derniers sont, à ce moment-là, vidés de tout sens ; nous nous intéressons dans le chapitre 2 à définir les liens éventuels entre le percept et les concepts. Ces liens sont des connaissances intermédiaires entre le bas et le haut niveau. À partir de ces liens, de ces connaissances intermédiaires, nous proposons dans le chapitre 3 de définir la notion de bagage conceptuel associé à un percept. La notion de bagage conceptuel se construit à partir de connaissances sous-jacentes qui peuvent être d'ordre social, culturel, ethnique, etc. On s'intéresse, d'une part, à la méthodologie d'enrichissement des connaissances et, d'autre part, à la modélisation multi-niveau des percepts et multi-dimensionnelle des relations afférentes aux concepts. Les correspondances entre percepts et concepts sémantiques sont injectées par la suite dans le raisonnement prédictif en tant que bagage sémantique contribuant à l'élaboration de la trajectoire explicative du résultat de la prédiction. C'est le sujet que nous abordons dans le chapitre 4 qui présentera principalement des modèles hybrides de prédiction guidés par les données. Ces dernières pouvant varier dans le temps et dans l'espace, imposant aux modèles d'être ouvert mais surtout explicatifs. Nous finirons par le chapitre 5 où nous exposons le bilan de nos recherches et nous présentons les lignes directrices de leurs évolutions ainsi que les projets de recherche à court et à moyen termes qui sont visés.
# Première partie

## Ingénierie des descripteurs visuels et sémantiques sur des données multi-modales
<figure><img src="image_1.png" /></figure>
# Chapitre 1

## État de l'art : fouille de données

## Complexes

### Sommaire

<table><tr><td>1.1 Introduction</td><td>11</td></tr><tr><td>1.2 Revue de la littérature</td><td>13</td></tr><tr><td>1.3 Processus d'analyse et extraction de connaissances</td><td>15</td></tr><tr><td>1.4 Approches d'analyse</td><td>18</td></tr><tr><td>1.5 Données complexes et massives</td><td>22</td></tr><tr><td>1.6 Défis à venir pour l'analyse des données massives</td><td>25</td></tr></table>

### 1.1 Introduction

La conjoncture actuelle liée à la facilité d'acquisition des données, l'explosion des moyens techniques pour les stocker et le foisonnement de nouvelles approches d'analyse multiplie les applications possibles dans tous les domaines. Comme peuvent les illustrer les deux figures de la Table 1.1, la quantité de données qui transite sur le web par minute ne cesse d'augmenter entre 2018 et 2019. D'ailleurs, le PDG de Google a estimé que, tous les deux jours, l'humanité crée une quantité de données équivalente à la quantité totale produite depuis l'aube des temps jusqu'en 2003 [Sch10].
Si la volonté de produire et de conserver des données exhaustives existe depuis plusieurs
dizaines d'années dans certains domaines (météorologie, finance, santé, etc.), la vague ac-
tuelle est sans précédent dans la diversité des activités transformées par l'essor de cette
démarche. Plusieurs évolutions ont contribué de près ou de loin à cette transformation.
D'abord, la popularité d'Internet qui a facilité l'interconnexion perpétuelle des données de
tout type. Ensuite, la production de la donnée est aujourd'hui peu coûteuse, issue de cap-
teurs connectés observant le fonctionnement d'un objet ou donnant des informations sur
son milieu de surveillance (humidité, luminosité, température, mouvement, parole, etc.).
Le déferlement des données a favorisé l'évolution des capacités de stockage, la rapidité des
algorithmes d'accès et par conséquent, l'émergence de nouvelles solutions de décentralisa-
tion de traitement des données tels que la dématérialisation (ou *cloud computing*).

La baisse des coûts de télécommunication et l'augmentation des débits est le troisième
facteur qui a permis de simplifier le recueil des données et d'accélérer le processus de mise
à disposition pour exploitation. Enfin, le stockage des données a été favorisé par la baisse
continue de son coût unitaire malgré l'augmentation des capacités, et par le développement
de systèmes de fichiers distribués adéquats. Face à ce déluge de données, les tâches usuelles
d'extraction de connaissances que nous avons connues il y a dix ans prennent de nouvelles
directions à la fois technologiques, méthodologiques et applicatives. Dans l'objectif de si-
tuer nos travaux par rapport à l'existant (à notre connaissance), nous exposons dans la
suite de ce chapitre comment les données multimodales et massives sont gérées et intégrées
au processus de fouille données. Dans la littérature, le terme « données complexes » est très
peu employé. Les auteurs utilisent souvent le terme données multimédia pour représenter
la diversité des modalités alors que les deux notions, modalité et média, véhiculent des sens
divergents. De même, en informatique, souvent on parle de *Fouille de Données*, soit *Data
Mining* pour le terme anglophone (DM), et d'*analyse visuelle* alors qu'en statistique on
trouve souvent le terme d'*analyse exploratoire des données*, dit *Exploratory Data Analysis*
(EDA). Or, quelle que soit la discipline ou la communauté scientifique, la démarche reste
identique et peut se nommer communément *analyse de données*, (DA pour *Data Analy-
tics*). C'est un processus composé de plusieurs étapes visant à découvrir des connaissances
utiles (PKDD pour *Process of Knowledge Discovery in Databases*) pour la prise de décि-
sion, voire même la suggestion de conclusions et d'actions. Afin de lever les confusions sur ces définitions, nous présentons tout d'abord dans la section 1.3 le processus d'analyse de données pour l'extraction des connaissances. Une taxonomie des méthodes d'analyse sera présentée dans la section 1.4. Nous détaillons par la suite dans la section 1.5 les caractéristiques de nos données, en particulier ce que nous entendons par données complexes. Leur gestion par les processus d'analyse sera analysée dans la section ?? . Enfin, dans la section 1.6, nous mettons en lumière certaines limites et challenges associées à ces méthodes aussi bien de gestion que d'analyse et nous positionnons les travaux décrits dans la suite de ce manuscrit.

<figure><img src="image_2.png" /><figcaption>TABLE 1.1 – Une minute sur Internet (source : www.visualcapitalist.com)</figcaption></figure>

## 1.2 Revue de la littérature

Dans les sections 1.3, 1.4, 1.5, nous réalisons une revue des articles publiés sur le thème de la fouille de données multimodales, multimédias ou données complexes. Le but de cette revue est principalement dédié à l'identification, d'une part, de la notion de données complexes et du contexte de leur usage ; d'autre part, à pouvoir identifier les caractéristiques méthodologiques de ces études par rapport à la prise en compte de ces données dans le processus d'analyse. Sans prétendre constituer une bibliographie exhaustive sur ces sujets,
nous souhaitons donner au lecteur une perception assez complète de la diversité des termes et de la richesse des méthodes d'analyse valorisant les données complexes.

Pour composer notre corpus d'articles de référence, nous avons effectué des recherches croisées essentiellement sur trois sites de recherche d'articles scientifiques à savoir 1findr<fnref n="1" />, arXiv<fnref n="2" /> et hal-archives<fnref n="3" />. Moins populaire que arXiv, la version gratuite de 1findr est un moteur de recherche permettant d'avoir accès à un grand nombre d'articles scientifiques en ligne. Grâce à son catalogue contenant 105 542 131 articles (dont 31 771 849 en accès libre), il permet de trouver des ressources en fonction de la langue, de l'année de publication, du sujet et des auteurs. Tous les domaines sont représentés qu'il s'agisse de sciences humaines ou de sciences exactes. Nous avons cherché dans un premier temps, moyennant différentes requêtes (DMod1 à DMod3 et DMul du tableau 1.2), les articles dont le titre et le résumé contenaient au moins les deux termes « *multimodal data* » (ou « *multimedia data* », ou « *complex data* ») et « *data mining* » (ou « *data analytics* »). Nous avons sélectionné seulement les articles qui ont été publiés entre 2000 et 2020. Sur cette sélection, nous avons retenus les premiers articles en anglais les plus cités en supposant qu'un article de référence répond au critère « *plus il est cité, plus il est pertinent* »<fnref n="4" />. Nous avons pu également regarder le nombre d'articles sélectionnés par thème ce qui nous a permis de mettre une attention particulière sur les articles dont la thématique est le multimedial. En effet, les documents multimedia sont considérés également multimodaux par la communauté. Nous avons privilégié en premier lieu les articles de journaux par rapport aux articles de conférence. Les résultats de nos recherches on fait apparaître que le terme « *complex data* » est très peu fréquent dans les articles en anglais. Il est souvent relié aux données temporelles ou bien aux données massives. En revanche, le terme Français « données complexes » apparaît largement sur la plateforme de recherche HAL-archives et ce depuis les années 2000. C'est un terme devenu très répandu dans la communauté de la fouille de données en France grâce à l'atelier national « Fouille de données complexes » organisé chaque année lors des journées thématiques à la conférence EGC depuis 2003. La requête de recherche DMod2 (tableau 1.2) n'a donné aucun résultat et, ce, par aucun

<footnote n="1">1. 1findr.lscience.com/</footnote>

<footnote n="2">2. arxiv.org</footnote>

<footnote n="3">3. archives-ouvertes</footnote>

<footnote n="4">4. bien qu'il puisse y avoir quelques exceptions</footnote>
moteur de recherche (même par IEEE-xplore). Tandis que la requête DMod3 contraignant
moins l'existence des deux termes a donné très peu d'articles. Enfin, les requêtes DMBig et
MLBig (tableau 1.2) ont obtenu un grand nombre d'articles dont le pic est étalé principa-
lement entre 2017 et 2019. Le résumé des résultats des différentes requêtes est synthétisé
par le tableau 1.2. Le nombre d'articles retenus pour chaque requête est résumé par le
tableau 1.3.

1.3 Processus d'analyse et extraction de connaissances

La communauté « Extraction de Connaissances » (noté KDD pour *Knowledge Discovery in Database*) définit souvent l'analyse des données comme une étape inhérente à un processus interactif et itératifs d'aide à l'extraction de nouvelles informations [HK06] [HK98]. La première version de ce processus a été présentée en 1996 par Usama Fayyad, Gregory Piatetsky-Shapiro et Padhraic Smyth dans [FPS96] comme, je cite, : « *a new generation of computational theories and tools to assist humans in extracting useful information (knowledge) from the rapidly growing volumes of digital data* ».

Le premier terme clé évoqué dans cette description est d'attribuer un sens aux données. Le
second terme est la dimension croissante des données récoltées. C'est un processus complè-
tement dirigé par les données par opposition aux processus dirigés par les modèles [HTF01].
Typiquement, l'analyse des données a souvent été comparée ou confondue avec l'analyse
statistique des données où le problème est de trouver le plus petit ensemble de données
permettant d'obtenir des estimations suffisamment fiables. Si nous synthétisons cette des-
cription, nous adoptons la définition suivante. C'est un processus qui vise à transformer des
données hétérogènes de bas niveau sous d'autres formes plus compactes, plus homogènes,
plus abstraites et surtout compréhensibles et réutilisables par l'humain. Les activités cou-
vertes par ce processus peuvent prendre des formes diverses qui s'étendent de la tâche de
compréhension du domaine, en passant par la préparation et l'analyse proprement dite
des données, jusqu'à l'évaluation, la compréhension et l'application des résultats générés.
Les principales différences entre les modèles de la littérature résident dans le nombre et
la portée de leurs étapes spécifiques pouvant varier considérablement en fonction de la
<table><caption>TABLE 1.2 – Requêtes utilisées pour élaborer la revue de littérature</caption><tr><td>Requêtes de recherche</td></tr><tr><td>DMod1 « mining » and « multimodal data »</td></tr><tr><td>Résultat par 1findr : 50 (20 Accès Libre (AL)), répartis : IA : 7; computer Science : 6; sciences de l'information et des données : 3, multimedia : 4.</td></tr><tr><td>Années : 2000-2019 dont 8 en 2017</td></tr><tr><td>Résultat par arXiv.org (arXiv) : 20/287</td></tr><tr><td>DMod2 « multimodal data analytics »</td></tr><tr><td>Résultats 0</td></tr><tr><td>DMod3 « multimodal data » and « data analytics »</td></tr><tr><td>Résultats par 1findr : 5 en AL répartis : génie électrique et électronique : 1; automatisation et génie industriel 1; imagerie, reconnaissance des formes et vision : 1; technologie de l'éducation : 1; science et technologie général :1.</td></tr><tr><td>Année : 2015-2019 dont 3 en 2019.</td></tr><tr><td>Résultats par arXiv :0</td></tr><tr><td>DMul « multimedia data » and « data mining »</td></tr><tr><td>Résultats par 1findr : 172 (62 AL), multimedia : 34; science de l'information et des données : 32; IA 11; systèmes informatique et ordinateur : 21. Année 1990 - 2019, 16 en 2016</td></tr><tr><td>Résultat par arXiv : 2</td></tr><tr><td>DMBig « big data » and « data mining »</td></tr><tr><td>Résultats : 4 788 (2 240 AL), répartis : sciences de l'information et des données : 455; ordinateurs et informatique : 382; systèmes informatiques : 210, Réseau et télécommunications : 158; science et technologie, général : 153. Année 2001-2019, 914 en 2016, 2017</td></tr><tr><td>Résultat par arXiv : 90</td></tr><tr><td>MLBig « big data » and « machine learning »</td></tr><tr><td>Résultats : 3 227 (1 461 AL) science de l'information et des données : 236; IA : 182; ordinateur et informatique : 155; réseau et télécommunication : 131; science et technologie : 130. Année 2010-2019, 900 en 2018, 2019</td></tr><tr><td>Résultat par arXiv : 305</td></tr></table>

nature des données et des objectifs [WFHP16a] de l'application.

Le processus standard [HK13] se compose au moins des étapes suivantes (illustré par la
<table><caption>TABLE 1.3 – Total des articles retenus</caption><thead><tr><td>Nom de la requête de recherche</td><td>Nombre d'articles retenus</td></tr></thead><tbody><tr><td>DMod1</td><td>11 (IA + Multimedia)</td></tr><tr><td>DMod3</td><td>1 ( Imagerie, reconnaissance des formes)</td></tr><tr><td>DMul</td><td>10 (5 IA + 5 Multimedia)</td></tr><tr><td>DMBig</td><td>5 entre 2016-2019</td></tr><tr><td>MLBig</td><td>5 IA</td></tr><tr><td></td><td>Total =32 articles</td></tr></tbody></table>

figure 1.1) :

1. l'acquisition des données depuis des sources multiples ;

2. la sélection des données, effectuée à l'aide de requêtes interrogeant des bases ou des entrepôts de données, afin de collecter les informations relatives au problème pour lequel on souhaite construire de nouvelles connaissances ;

3. le nettoyage des données, souvent appelée phase de pré-traitement. Elle cherche à éliminer les données inexploitables (par exemple, des images incomplètes suite à l'interruption de la source d'acquisition) ou non pertinentes à l'étude, réduire le bruit, corriger les valeurs erronées ou manquantes. Certaines tâches, notamment la détection des données non exploitables, se font manuellement par un expert du domaine d'application ayant une connaissance suffisante des techniques d'acquisition. D'autres tâches peuvent s'effectuer avec un ou plusieurs algorithmes. Ensuite, les données sélectionnées et nettoyées sont formatées et préparées pour la phase suivante ;

4. l'analyse des données est une étape centrale du processus. L'algorithme est choisi selon le type des données, la problématique applicative et l'environnement de déploiement de l'application finale. Les données sélectionnées et pré-traitées sont explorées avec un ou plusieurs algorithmes. Ces algorithmes peuvent, par exemple, générer un ensemble de motifs, des règles, un regroupement par classe, une conclusion ou une action. Même si l'étape d'analyse de données n'est qu'une partie du processus général, elle est celle qui stimule de large travaux de recherche dans la littérature ;
5. l'évaluation des nouvelles connaissances consiste tout d'abord à valider les connaissances par rapport à ce qui est déjà connu et à évaluer la pertinence des nouvelles connaissances via des mesures idoines;

6. l'interprétation des connaissances via des algorithmes de visualisation facilitant la restitution des résultats par les utilisateurs.

<figure><img src="image_3.png" /><figcaption>FIGURE 1.1 – Processus de base d'analyse des données inspiré de crisp-dm.org</figcaption></figure>

Dans la section suivante, nous allons nous focaliser principalement sur les méthodes d'analyse. Une taxonomie de ces méthodes sera également présentée dans le but de bien illustrer la dépendance entre l'algorithme choisi et le type des données dont dispose l'application.

## 1.4 Approches d'analyse

Pendant très longtemps, nous avons utilisé le terme analyse de données (DA) pour dire fouille de données (DM) et inversement. De plus en plus, on parle désormais d'analytique de la donnée (*Data Analytics* (DAC)). C'est un nouveau terme qui s'ajoute au glossaire de l'analyse des données. Force est de constater que *Data Analysis* et *Data Analytics* se confondent tant dans leur sémantique que dans leur pratique<fnref n="5" />. Alors qu'en réalité ces trois termes ont des objectifs bien distincts. DM a pour objectif d'établir des associations et des relations entre les données, souvent cachées ou non évidentes, en fouillant de grands volumes de données réparties sur plusieurs bases de données relationnelles [HK06] [HTF01]. Les données, ici, doivent être structurées [HK13]. À l'inverse, DAC permet d'examiner des données brutes souvent en grand volume afin de mettre en lumière des informations

<footnote n="5">5. Les mots *Data Analytics* et *Data Analysis* renvoient sur la même page Wikipedia anglaise.</footnote>
compréhensibles fondées uniquement sur ce qui est déjà connu [Del15]. Ici, les données peuvent être structurées ou semi-structurées. Actuellement, on parle même de *big DAC* [MNW+19].

DA est le processus complet que nous avons décrit dans la section 1.3, capable de considérer tout type de données (structuré, semi- ou non structurées). Certains travaux classent les trois approches de manière hiérarchique : $DM \subseteq DAC \subseteq DA$ [HK13] [WFHP16a]. Les différents niveaux hiérarchiques d'analyse ainsi que les techniques sont illustrés sont largement discutés dans [Del15] (cf. Figure 1.2).

<figure><img src="image_4.png" /><figcaption>FIGURE 1.2 – Hiérarchie des analyses (source [Del15])</figcaption></figure>

L'évolution de ces termes peut s'expliquer principalement (et non pas entièrement) par trois facteurs. Le premier facteur s'explique par l'augmentation des quantités de données
durant ces vingt dernières années. En effet, le passage à l'échelle a posé de vrais défis
techniques quant à la représentation des données. Les entrepôts de données (ou *dataw-
rehouse*), par exemple, ne sont plus adaptés pour gérer des collections gigantesques de
données [Agn14]. Le second facteur est la transformation digitale, qui a favorisé l'hété-
rogénéité et la multiplication des sources de collection, tels que les réseaux sociaux, les
logs, les capteurs, les objets connectés. Tous ces canaux de récolte des données favorisent
la connexion des données et leur enrichissement. Le troisième facteur (sans doute pas le
dernier) est lié aux changements des pratiques d'analyse et à la diversité des besoins d'ana-
lyse. Aujourd'hui la pratique de prise de décision dans les entreprises consiste d'abord à
comprendre les chiffres (les données) puis à utiliser cette compréhension au service d'une
prise de décision plus intelligente et cohérente avec les données. Malgré la multitude des
définitions de ces trois termes dans la littérature, elles sont toutes convergentes en ce qui
concerne la taxonomie des approches d'analyse (DA) [Shm10] [MNW+19] [PHMD18]. Elle
se décline en trois grandes familles de méthodes permettant de répondre aux trois ques-
tions suivantes : 1) que s'est-il passé ? 2) que pourrait-il se passer ? 3) que devrions nous
faire ?

1. **Analyse descriptive** : elle répond à la première question et vise à obtenir des ren-
seignements décrivant une situation, un événement ou l'état d'un objet afin d'établir
ce qui s'est produit. Plusieurs techniques en statistique simple permettent de dé-
crire le contenu d'un ensemble de données ou d'une base de données. En particulier,
les statistiques descriptives, y compris les mesures de tendance (moyenne, médiane,
mode), mesures de dispersion (écart-type), les méthodes de tri, les distributions de
fréquences, les distributions de probabilités et les méthodes d'échantillonnage, sont
de bons outils. D'autres techniques sont également utilisées pour résumer les don-
nées ou bien pour les décrire. Issues des approches d'apprentissage automatique,
les méthodes de recherche de motifs dans les données est très utilisée pour décrire
les différentes formes d'association cachées dans les données. Le partitionnement
de données (ou clustering), qui vise à identifier dans un ensemble de données des
groupes homogènes partageant des caractéristiques communes, est une autre tech-
nique descriptive classique de la famille des approches d'apprentissage automatique.
Dans [JDM00], une synthèse de ces techniques est largement décrite permettant
de comparer certaines des méthodes bien connues utilisées à différentes étapes d'un
processus d'analyse descriptive. Le résultat de ce processus peut être utilisé pour
trouver d'éventuelles opportunités décisionnelles. L'analyse descriptive aide à dé-
gager le contexte nécessaire à l'analyste pour prendre une décision et réaliser des
actions.

2. **Analyse prédictive** : répondant à la question deux, elle propose des modèles pour prédire de nouveaux événements et aider à choisir de futures actions en conséquence. Elle est de nature probabiliste et se décline en différentes méthodes telles que la classification, la régression, l'analyse de séries temporelles, de la recherche opérationnelle, etc. Elle permet de prévoir ce qu'il pourrait se passer à partir des données descriptives accumulées au fil du temps. Par exemple, la prédiction permet d'estimer les valeurs futures de certaines variables. Si la variable est catégorielle, on parle de classification, sinon de régression [CUD19] [ATB+19] [Mil14]. Si la variable prédite dépend du temps, on parle de prévision dans les séries temporelles. Ces prévisions sont généralement caractérisées par des mesures donnant des indications sur la confiance que l'on peut avoir dans la prédiction. Son but est donc d'identifier les variables prédictives et de construire des modèles prédictifs dans une analyse descriptive.

3. Analyse prescriptive : elle apporte une réponse à la troisième question qui cherche à prévoir la meilleure action quand un événement futur est susceptible de se produire. Elle se trouve en haut de la hiérarchie analytique, et vise à déterminer la ou les meilleures solutions déjà établies sous forme de plusieurs plans d'action par l'analyse prédictive ou descriptive [CD14]. Généralement des modèles mathématiques sophistiqués d'optimisation, de simulation et de modélisation décisionnelle heuristique sont employés pour parvenir aux solutions optimales. Pour plus de détails, nous renvoyons le lecteur sur une revue récente de cette analyse proposée par [LBAM20]. Même si l'analyse prescriptive est au sommet de la hiérarchie, les méthodes utilisées ne sont pas nouvelles.

Il est à noter que dans la littérature, **l'analyse diagnostique** ou causale, n'a jamais été considérée comme une approche d'analyse de données à part entière. Or, elle s'appuie sur l'analyse des données passées pour déterminer la cause de certains événements. Par
conséquent, l'analyse diagnostique augmente l'analyse descriptive en posant la question 1bis) *pourquoi certains événements se sont produits ?*, en utilisant les tendances des données recueillies. Le processus d'analyse diagnostique est très utilisé dans la surveillance médicale, la détection des pannes, etc. L'analyse diagnostique permet de comprendre le passé pour mieux prédire le futur. C'est pourquoi, nous l'ajouterons à la hiérarchie proposée par la communauté entre l'analyse descriptive et l'analyse prédictive. Les techniques employées sont généralement de la régression, de la classification ou du *clustering*. Enfin, ces quatre types d'analyse peuvent être utilisés séparément ou conjointement pour une prise de décision.

## 1.5 Données complexes et massives

Il est évident que nous vivons dans une ère de déluge de données. D'énormes quantités de données sont générées en permanence à des vitesses inédites constituant ainsi des collections de données à grande échelle. Nous parlons depuis la dernière décennie de *Big Data*, mais peut-on réellement dire que ces données sont complexes par ce qu'elles sont volumineuse ? Quelles caractéristiques peut-on définir sur les données complexe ? Quelles caractéristiques sont communes aux données complexes et au *big data* ?

Pour proposer des éléments de réponse, nous avons revu un ensemble d'articles sur le sujet. En s'appuyant sur les travaux de la littérature, il a été très difficile de trouver une définition claire et faisant consensus des données complexes malgré l'existence de l'atelier national « fouille des données complexes » depuis 2003. En revanche, les données massives sont largement étudiées. Il existe une littérature abondante traitant le *big data* à tous points de vues, caractéristiques, stockage, traitement, décision, analyse, etc. Dans cette section, nous avons souhaité donner une définition cadré à la notion de complexité des données. Ce cadre est comparé à la définition du *big data* afin de délimiter et situer le contexte de nos travaux. Faute de consensus sur la définition, il nous a semblé intéressant de partir de la définition du terme *complexe* proposée par le dictionnaire « Larousse » : « *qui contient plusieurs parties ou plusieurs éléments combinés d'une manière qui n'est pas immédiatement claire pour l'esprit; difficile à comprendre* ». Dans cette définition, nous
retenons principalement trois notions à savoir la combinaison, le nombre et l'interaction. À l'instar de ces trois notions, les données complexes seraient tout d'abord une collection d'un grand volume de données mêlées, combinées dont les interactions ou les liens entre ces données sont difficiles à comprendre. Les données peuvent être numériques, symboliques, booléennes, multi-dimensionnelles, multi-échelle, multi-sources. Elles peuvent également diverger par leur structure comme, par exemple, les données ensemblistes, les données arborescentes, séquentielles, sous forme de graphes. Elles peuvent être redondantes, contradictoires, incomplètes et entachées d'erreurs. Elles peuvent être dynamiques évoluant dans le temps. Elles peuvent arriver en flots ou en séries. Bien que la notion de données complexes n'a de sens que dans un contexte précis, nous pouvons définir un certains nombre de caractéristiques. Dans le cadre de nos travaux, nous proposons de définir l'espace de caractérisation de la complexité d'une collection de données (remarquons que le terme collection de données lève la confusion avec base de données qui est forcément structurée) selon huit dimensions :

**Définition 1. Données complexes**

Une collection de données est qualifiée de complexe quand les données qui la composent sont :

(C1) de plusieurs types : nominale (0/1), ordinales, discrètes, continue, ratio;

(C2) de sémantiques diverses : suivant le contexte, les données peuvent représenter des points de vue différents;

(C3) multi-structures : très structurées telles que les données relationnelles, semi-structurées tels que les fichiers xml pour représenter des méta-données et non structurées telles que la vidéo ou les images;

(C4) multi-dimensionnelles : ce sont des données qui ont été agrégées suivant plusieurs dimensions telles que les données d'un entrepôt;

(C5) multi-échelles : quand les données sont hétérogènes en terme de résolution temporelle ou spatiale;

(C6) multi-sources : liées aux nouvelles technologies de l'information et aux progrès qu'ont connus les systèmes de recueil et de collecte de données. L'émergence de nouvelles
sources de données telles que nouveaux capteurs de mesure dotés de grande précision, capteurs embarqués à bord de mobile, localisation satellitaire, Web of Things ;

(C7) multi-modales : une modalité est une collection de données agrégées par un outil d'acquisition [LAJ15]. Les modalités principales sont le langage naturel (texte écrit ou parlé), la vision (image, vidéo) et l'audio (son, musique, voix). Par exemple, la vidéo est multi-modales puisqu'elle résulte d'une acquisition d'image et de son;

(C8) multi-dynamiques : en flots ou en série et changeant de valeurs sur des intervalles de temps divers. Par exemple, la température de l'atmosphère change toutes les secondes alors que les précipitations changent tous les jours voire tous les mois.

L'ensemble des éléments caractéristiques décrits par la définition 1 de la donnée complexe sont les conséquences de la prolifération de données massives. Si les données massives sont des données complexes, l'inverse n'est pas vrai. En effet, les données massives sont souvent décrites par leurs dimensions (qui réfèrent à leurs Vs) dont le volume est la dimension principale. Les premières définitions des dimensions se sont limitées aux 3Vs [NB14] à savoir volume, véclocité et variété. Depuis d'autres dimensions ont été ajoutées [FB13] [WZD14]. En particulier la valeur, a été très vite ajoutée comme une autre dimension (souvent aparaît comme une cinquième dimension) mais définie comme une dimension concernant la sortie désirée du traitement des données massives et non des données elles-mêmes [KUG14]. Nous allons nous limiter aux 4V's suivants définis ci-dessous.

## Définition 2. Caractéristiques des données massives (Big Data)

(V1) le Volume est la quantité ou l'échelle des données qui peut être définie verticalement pour représenter le nombre de variables ou horizontalement pour définir la taille de la collection (de l'échantillon);

(V2) la Variété décrit à la fois quatre niveaux de variation, structurelle, de type, de source et sémantique;

(V3) la Véclocité est liée d'une part à la vitesse de génération des données et d'autre part à leur traitement en temps-réel;

(V4) la Véracité s'intéresse à tracer les origines des sources au regard de la qualité des données;
Force est de constater l'intersection entre les caractéristiques d'une collection de données complexes et les données massives à l'exception du volume. [GH14] considère qu'une collection de données complexes (multi-sources ou multi-modales ou diversité sémantique) de petite taille est équivalente à une collection de données simples volumineuse. Les caractéristiques décrivant la vélocité peuvent être reliées en partie à la variation dynamique dans les données complexes. En conclusion, les caractéristiques des données massives ont simplement hérité des caractéristiques des données complexes dont les effets néfastes sur le processus d'analyse s'accentuent avec le volume des données. Dans ce contexte, l'analyse doit se doter de fortes exigences tant en terme de qualité que de performance. Ces exigences seront discutées dans la section 1.6 que nous consacrons principalement à la description des challenges à venir pour l'analyse des données complexes et massives. Dans la suite de ce manuscrit, nous utiliserons l'expression données massives pour à la fois prendre en considération les caractéristiques liées aux 4Vs et à la complexité.

## 1.6 Défis à venir pour l'analyse des données massives

Nous synthétisons et complétons les limites et challenges associés au méthodes d'analyse identifiés dans plusieurs revues de la littérature. Nous présentons dans les encadrés de couleurs nos travaux réalisés et discutés dans ce manuscrit d'habilitation à diriger des recherches et nous les situons au centre des défis et voies de recherche actuelles. Le passage à l'échelle est l'un des défis majeurs de la recherche actuelle tant du point de vue algorithmique, que méthodologique ou technologique. Il est fortement lié à la conjoncture numérique. Il a conduit à supposer que la disponibilité des données en masse contribuera à l'augmentation de la performance des algorithmes d'analyse des données [GHH+14]. Cette présomption déclenche alors une multitude de défis visant tout d'abord à adapter les algorithmes traditionnels qui, jusqu'ici, étaient conçus pour de petites collections de données. Les limites de ces algorithmes ont été discutées dans une multitude de travaux [AYM+15] [NVK+15] [Suk14] [QWD+16]. Parmi eux, certains se sont focalisés sur l'usage spécifique de ces algorithmes [WFHP16b] alors que d'autres ont discutés les limites et l'émergence de nouveaux outils et de nouvelles plates-formes nécessaires à l'analyse dans le contexte des données massives [SR15] [dAB15] [WZD14].
1. Le Volume (V1) est à l'origine de trois catégories de challenges visant respectivement la construction et la sélection des descripteurs (la phase d'ingénierie des données), l'adaptation des algorithmes d'apprentissage (en phase analyse des données) et, enfin, l'évaluation (phase de décision). En effet, le volume des données peut augmenter selon trois directions. La direction verticale représente le nombre de descripteurs ou les attributs caractérisant l'échantillon des données. Quand le nombre de descripteurs augmente considérablement relativement à la taille de l'échantillon, la performance d'apprentissage des algorithmes d'analyse diminue. Ce phénomène de Hughes [Hug68], connu bien avant les données massives, est un problème classique de sélection et de réduction de variables. Faute de modularité, la plupart des algorithmes d'analyse nécessitent le chargement de la totalité des données en mémoire ou bien de les avoir localement sur disque [Par12] [KGD13]. De ce fait, quand les données augmentent selon la direction horizontale, autrement dit la taille de l'échantillon, les traitements deviennent de moins en moins performants en temps de calcul [Agn14]. Enfin, quand les données augmentent selon les deux directions, la performance s'aggrave. Cela s'explique par la complexité polynomiale du temps de calcul et de l'espace exploratoire ( qui est de l'ordre de $O(n^3)$ en temps et $O(n^2)$ en espace, $n$ étant la taille de l'échantillon, pour l'algorithme Support Vecteur Machine, la régression logistique comme l'analyse en composantes principales est de $O(nm^2 + m^3)$, $m$ est la dimension verticale [TKC05]). Un autre challenge causé par l'augmentation verticale et horizontale des données est lié à l'ingénierie des descripteurs. Il vise tout d'abord la construction des descripteurs en s'appuyant typiquement sur les connaissances évolutives du domaine et, ensuite, à sélectionner ceux qui sont les plus pertinents ;

Dans le chapitre 2, nous allons présenter nos différentes méthodes de construction des descripteurs qui permettent de s'adapter à la complexité des données selon (C2), (C3) et (C4), et ce, dans un contexte de données volumineuses. Nous décrivons également nos méthodes de parallélisation du processus de construction pour apporter davantage de modularité et pour réduire le temps de calcul. Nous abordons dans le chapitre 4 le problème de déséquilibre des
classes de données [GWC$^{+13}$] et les solutions apportées dans le but de pré-
server l'équilibre de la distribution des données et de leur représentativité.
Cette problématique, liée à l'ingénierie des données massives, suscite l'inté-
rêt de beaucoup de travaux dont certains montrent, faute de correction, la
sensibilité de la plupart des algorithmes d'apprentissage tels que l'analyse dis-
criminante, les réseaux de neurones et le SVM [JS02]. Ils montrent également
l'impact négatif d'un déséquilibre extrême sur les résultats de la généralisa-
tion, de la classification ou de la prévision [BCD$^{+14}$]. Dans le chapitre 3, nous
décrivons nos solutions de parallélisation des algorithmes d'analyse pour la
prise en compte de données temps réels ainsi que leur évaluation.

2. la Variété (V2) des données s’intéresse principalement à la dimension syntaxique et sémantique des données. Son premier défi est lié à la localisation physique des données et leur distribution sur plusieurs fichiers voire sur plusieurs emplacements physiques de stockage. De ce fait, les données doivent être dotées d’un système d’indexation efficace qui soit performant dans un environnement distribué [GHTC13]. Le second défi est lié à l’hétérogénéité des données et la nécessité de réconcilier, d’unifier leur variation syntaxique et de décoder et agréger leur variation sémantique. Cette optique d’enrichissement des données par des sources hétérogènes d’information que nous abordons dans les chapitres 3 et 4, n’est pas la vocation principale des algorithmes classiques d’analyse [JGL$^{+14}$] [Zhe15];

Étant donnée la variation des sources dont les données sont issues, ces dernières
peuvent être de différents formats, résolutions et échelles (C2, C3, C5, C6, C7).
Dans le chapitre 4, nous développons deux grandes approches d'apprentissage
par fusion permettant de considérer la diversité structurelle et sémantique des
données de type textes, images et données issues de capteurs. Nous présentons
dans un modèle générique de fusion de données complexes à base de graphe
qui intègre également la dimension temporelle et spatiale des données. L'avan-
tage de cette structure sous forme de graphe du modèle est que cela permet
également une visualisation globale comme locale des données. Sa pertinence
en analyse a été mesurée dans un contexte particulier de recherche sémantique visuelle.

3. la Vélocité est l'un des effets directs du recueil des données en temps (quasi-)réel. Elle peut se manifester par la nécessité d'analyser des données en temps réel. Les challenges dans ce cas seraient de suivre les changements de distribution conditionnelle des données, connus dans la littérature par le concept de *Drift* [DM14] [Tsy04] [GZB+14]. En effet, la distribution des données est souvent supposée aléatoire indépendante et identiquement distribuée pour simplifier les modèles. Cette hypothèse est rejetée dans le contexte des données temps réels où l'analyse doit être en mesure de répondre instantanément comme, par exemple, le contexte de détection des anomalies ou des événements rares. De plus, si les valeurs des données évoluent dans le temps, il est cependant nécessaire de concevoir des familles de modèles d'analyse adaptées :

> Dans le chapitre 3, nous présentons nos travaux qui s'attellent à la prédiction et la prévision dans le contexte de données massives et temporelles. Une attention particulière est accordée à ces données en ce qui concerne la vérification permanente de leur cohérence avant la phase d'analyse. C'est une étape supplémentaire que nous proposons en amont de l'analyse afin de maintenir une performance de prévision constante dans le temps. Nous discuterons dans le chapitre 5 les pistes de recherche permettant de mettre en place des algorithmes d'apprentissage actifs en se basant sur des indicateurs de révision des modèles d'apprentissage dans le temps.

4. la Véracité qui s'intéresse à diminuer l'incertitude que peuvent avoir les données, en plus du bruit, en ayant la trace des sources d'origine [WCP+14] [BKT00]. Plus les sources augmentent, moins il est facile de relever l'origine des bruits et de quantifier ainsi facilement la certitude.

> Dans le chapitre 3, nous présentons le début d'une étude de valorisation des données basée sur les données ouvertes (*Linked Open Data* ou LOD). C'est une démarche qui nous paraît très intéressante puisqu'elle contribue à enrichir les données existantes et donc de leur donner plus de sémantique. Elle
contribue également à standardiser les formats des sources des données en leur permettant une meilleure interopérabilité et une pérennité sémantique.

Tous ces défis sont au centre de nos travaux réalisés et de nos travaux à venir.
# Chapitre 2

## Extraction de descripteurs visuels

### Sommaire

<table><tr><td>2.1 Introduction</td><td>30</td></tr><tr><td>2.2 Approche fondée sur les connaissances du domaine</td><td>31</td></tr><tr><td>2.2.1 Extraction d'objets sémantiques</td><td>32</td></tr><tr><td>Images médicales 2D et 3D</td><td>33</td></tr><tr><td>Images photographiques</td><td>41</td></tr><tr><td>2.3 Vers une approche de segmentation sémantique d'images</td><td>46</td></tr><tr><td>2.3.1 Approche « split and merge »</td><td>48</td></tr><tr><td>2.3.2 Apport du watershed</td><td>50</td></tr><tr><td>2.3.3 Distribution avec MapReduce</td><td>53</td></tr><tr><td>2.3.4 Vers une segmentation sémantique</td><td>57</td></tr><tr><td>2.3.5 De l'image segmentée à l'image labellisée par apprentissage profond</td><td>60</td></tr><tr><td>Apprentissage par transfert pour la segmentation sémantique</td><td>60</td></tr><tr><td>2.4 Conclusions</td><td>65</td></tr></table>

### 2.1 Introduction

Les niveaux perceptifs (ce qui est perçu, i.e. description syntaxique du contenu visuel de l'image en fonction de descripteurs et de primitives visuelles) et les niveaux conceptuels ou
sémantiques (ce qui est interprété, la signification des éléments présents dans l'image) sont considérés comme notions phares de nos travaux de recherche. Cette vue modulaire de la sémantique est un axe directeur important contribuant en particulier à séparer les concepts génériques (niveau conceptuel ou sémantique) de leur représentation dans le domaine de l'image (niveau perceptif ou bas niveau), qui est très dépendante du domaine spécifique d'application. Par exemple, si nous considérons la relation spatiale générique *proche de*, sa sémantique dans l'image ne sera pas la même dans un contexte d'interprétation d'images satellitaires que dans un contexte d'interprétation d'images médicales. Outre cette séparation entre le niveau perceptif et le niveau conceptuel, ces représentations multi-niveaux considèrent aussi plusieurs niveaux conceptuels ou sémantiques. Une première distinction doit être faite entre le niveau de l'objet et le niveau de la scène, c'est-à-dire l'agencement structurel des différents objets et les différentes relations entre eux. Une seconde distinction, se fait au niveau conceptuel qui peut être d'ordre générique, spécifique ou abstrait. Ces différentes notions ont été largement étudiées dans le cadre de la thèse de Olfa Al-lani (2014-2017) dans l'objectif de proposer un modèle de représentation multi-niveaux de la sémantique d'une image (illustrée par la figure 2.1). Cette représentation fait une distinction entre le niveau perceptif (bas niveau) et le niveau conceptuel (sémantique) pour lequel nous distinguons aussi trois niveaux d'abstraction à savoir (i) le niveau de l'objet qui correspond à la description des objets présents dans l'image, (ii) le niveau de la sémantique partielle (*Partial Semantics*) qui inclut les relations entre les objets présents dans l'image et (iii) le niveau de la sémantique pleine (*Real (Full) Semantics*) qui inclut un raisonnement, un processus d'inférence pour construire la description de l'image dans sa globalité.

## 2.2 Approche fondée sur les connaissances du domaine

La représentation des connaissances est, en effet, un point crucial dans la mise en place d'un système d'aide à la décision pour un domaine donné. Il faut savoir identifier et caractériser les connaissances de l'expert, que ce soient des connaissances sur la théorie du domaine, ou au contraire, des méthodes de résolution très personnelles ou collectives, développées au cours d'une longue pratique et d'un retour d'expérience. Les connaissances sur le domaine
<figure><img src="image_5.png" /><figcaption>FIGURE 2.1 – Représentation multi-échelles de la sémantique des images</figcaption></figure>

peuvent se décrire par deux types de descripteurs. Des descripteurs de bas niveau qui relèvent de l'exploitation des données disponibles du domaine. Ils sont construits par des modèles qui miment la connaissance théorique. Les modèles utilisés dépendent du type des données de l'étude. Par conséquent, les descripteurs de bas niveau sont fortement liés à la source d'acquisition de ces données. Par exemple, les données images dans un même domaine peuvent être acquises par des sources différentes et induisent des descripteurs de bas niveau associés différents. Ces descripteurs basiques sont souvent difficiles à interpréter et ne reflètent absolument pas la sémantique latente des données. Par sémantique, nous désignons les connaissances contextuelles basées sur les pratiques ou les expériences. C'est le but des descripteurs de haut niveau qui visent à capturer l'expertise même partielle, et à ajouter de la valeur sémantique aux descripteurs de bas niveau. Nous allons présenter dans les sections suivantes les méthodes de construction de chacun de ces descripteurs dans différents domaines et ce depuis des données massives vérifiant les critères de complexité (C1) à (C7).

## 2.2.1 Extraction d'objets sémantiques

Dans ce qui suit, nous cherchons à caractériser sémantiquement les objets perceptifs. C'est une phase qui a pour but d'enrichir l'objet perceptif de bas niveau par des connaissances
de haut niveau (explicites ou implicites) afin d'identifier le ou les concepts sémantiques associés.

### Images médicales 2D et 3D

Dans le cadre d'une première collaboration avec le service de rhumathologie du CHR d'Orléans (IPROS) et l'école nationale des ingénieurs de Tunis via le projet CMCU<fnref n="1" />, nous avons cherché à élaborer une méthode non-invasive permettant de détecter la maladie de l'ostéoporose.

<table><caption>TABLE 2.1 – Résumé des projets et des encadrements sur la thématique de la construction de descripteurs</caption><thead><tr><td>lightgray</td><td>Master/Thèse/Projet</td><td>Collaborations</td></tr></thead><tbody><tr><td></td><td>Olfa Allani (2014-2017)</td><td>Thèse en co-tutelle Hajer Baazaoui (RIADI, Tunis) et Herman Akdag (LIASD, Univ. Paris 8)</td></tr><tr><td>projet CMCU (N° 03S1107)</td><td></td><td>Sylvie Sevestre, Anne Ricordeau (Map5, Univ. Paris 5), IPROS (CHU Orléans) et ENIT (Univ. Tunis)</td></tr><tr><td>projet ANR-05-BLAN-0017 « mimo-modim » (Milieux Poreux : Modèles, Images.(2006-2009)</td><td></td><td>Anne Estrade, Anne Ricordeau (Map5, Univ. Paris Descartes), IPROS (CHU Orléans)</td></tr></tbody></table>

L'ostéoporose se manifeste par une diminution de la masse osseuse, une perte progressive de calcium et de collagène. Elle provoque une réduction considérable de la masse osseuse mais aussi une altération de la micro-architecture de l'os [BLR96]. Elle touche la femme dès l'âge de la ménopause, c'est-à-dire entre 50 et 55 ans, et l'homme plus tardivement dès l'âge de 75 ans. Cette maladie est devenue de plus en plus coûteuse à l'état puisque l'espérance de vie a largement augmenté (de 5 ans entre 2000 et 2015) selon l'Organisation Mondiale de la Santé (OMS). En effet, l'OMS a défini l'ostéoporose comme une dégradation significative de la densité minérale osseuse (DMO) et une modification de la micro-architecture osseuse chez les patients et en particulier chez les sujets jeunes (50 ans). Cependant, la quantification de la DMO n'est plus suffisante à elle seule pour l'identification des sujets malades à partir d'un âge avancé [Rec89], [HSJ98]. Le milieu médical a donc opté pour la caractérisation de

<footnote n="1">1. N° CMCU :03S1107</footnote>
l'état de la micro-architecture de l'os afin d'extraire des informations pertinentes et surtout complémentaires aux descripteurs cliniques (DMO, âge, poids/taille) afin de diagnostiquer la présence de l'ostéoporose [MM97]. Pour ce faire, on a recours à l'IRM ou le rayon X à haute résolution mais à faible radiation. En effet, la modalité rayon-X la mieux adaptée en terme d'exposition et de coût pour la prévention a été utilisée dans le cadre de nos travaux afin de générer des radiographies numériques à partir desquelles nous étudions la texture de l'os du talon (calcanéum). Une analyse de la modalité du rayon-X montre que les caractéristiques 2D de la micro-architecture osseuse sont réparties et localisées sur plusieurs niveaux de résolution de l'image. L'os du calcanéum (un os de type trabéculaire) possède une architecture très complexes (cf. figure 2.2). Il est formé de travées qui se répartissent dans deux directions différentes (cf. figure 2.3). Ainsi, l'irrégularité progressive de la micro-architecture osseuse, la raréfaction des travées et leurs connectivités (liées aux croisements entre les travées) en terme de nombre et de distribution spatiale, sont des informations pertinentes pour la caractérisation des cas ostéoporotiques [KL98] [SDB+91]. En résumé, c'est l'évolution temporelle de la structure d'un état spatial isotrope à anisotrope que nous cherchons à prédire.

<figure><img src="image_6.png" /><figcaption>FIGURE 2.2 – Os trabéculaire du calcanéum</figcaption></figure>

Toutes ces descriptions autour de la maladie portent des connaissances pouvant être repré-
sentées par des descripteurs de bas niveau tels que le paramètre de régularité d'un mouve-
ment brownien fractionnaire modélisant les lignes de l'image [PLH+98] [Jen95] [PHB+01],
les paramètres de cooccurrence et les longueurs de plages [Har79] [HSD73]. Ce sont
des descripteurs fort intéressants du point de vue statistique puisqu'elles permettent de
<figure><img src="image_7.png" /><figcaption>FIGURE 2.3 – Radiographie du calcanéum</figcaption></figure>

moyenner l'état général de la micro-architecture et donc de fournir une analyse descriptive des images. Leur défaut majeur est qu'elles sont incapables de décrire la topologie de la micro-architecture, ce qui est un vrai frein pour le diagnostic de l'ostéoporose. Dans ce contexte, nous avons opté pour la valorisation de la nature de la structure en forme de réseau de travées. Nous avons pris le partie dans notre étude de résumer la structure par un réseau connecté des squelettes des travées. Pour calculer le squelette, les images ont été numérisées à l'aide d'un scanner Agf à DuoScan, avec une résolution de 100µm. Une région d'intérêt carrée (ROI) de 256 x 256 pixels, située dans la grande tubérosité du calcanéum, a été préalablement définie par des repères anatomiques [BRL+94]. Pour la pertinence du contenu des images, deux ensembles de travées se trouvant à l'intérieur du ROI ont été repérés : un groupe compressif divergeant vers le bas de l'articulation et un groupe de tension de la partie inférieure de la grande tubérosité balayant vers l'arrière. À partir des images numérisées, nous avons procédé à une première modélisation du signal issu des travées osseuses par l'extraction d'un squelette morphologique du réseau osseux. Le squelette morphologique est le résultat d'un algorithme itératif préservant la connectivité par amincissement. Comme les autres algorithmes d'amincissement utilisés pour les images grises, il se réfère à la définition centrale de pixel simple définie par Rosenfeld dans [Ros79] pour les images binaires qui assure la préservation de la connectivité. Dans [SBCS01], l'adaptation pour les images grises a été utilisée pour accélérer le calcul. Même si la définition de la transformation homotopique telle que définie pour les images en niveaux de gris dans [Soi03] n'est pas strictement respectée, une adaptation de la phase
d'initialisation d'un tel algorithme d'amincissement séquentiel a conduit dans nos travaux
à des squelettes présentant de bonnes propriétés de connectivité. Son usage en image est
tout simplement lié à la vision de l'image comme un ensemble de points décrits par leur
position x, y et leur valeur d'intensité I(x, y). La transposition de l'homotopie en image
numérique donne donc lieu à la définition suivante :

**Définition 3.** Deux ensembles sont homotopes s'il existe une transformation bicontinue
pour passer de l'un à l'autre, telle que :

— chaque objet (grain) contient le même nombre de trous que son transformé,

— chaque trous (pore) contient le même nombre d'objets que son transformé.

L'homotopie en image numérique décrit l'organisation des grains et des pores entre eux, c'est-à-dire la préservation de la topologie. Elle dépend de la donnée de la règle de connexité à définir sur les objets. Il existe trois sortes de règles 4-connexité, 6-connexité, 8-connexité.

**Définition 4.** Une règle est définie par :

1. 8-connexité pour l'objet et 4-connexité pour le fond (le vide);

2. 4-connexité pour le fond, 8-connexité pour la forme;

3. 6-connexité pour la forme et 6-connexité pour le fond.

Deux propriétés inhérentes en découlent à savoir :

1. l'invariance par translation et rotation où toute translation d'un point ou rotation de 90° pour 4- et 8-, 60° pour 6-, autour du centre de l'objet, ne modifie pas sa connexité,

2. l'autodualité, c'est-à-dire le nombre d'objets connexes sera différent si la règle de connexité est inversée. L'autodualité est vraie seulement 6—.

Les trois règles de connexités sont illustrées par la figure 2.4.

Le squelette est vu comme une opération homotopique permettant la préservation de la
topologie de nos travées. C'est une suite d'opération séquentielle d'amincissement homo-
topique (réduction de l'épaisseur des objets en préservant leur connectivité) en utilisant
des éléments structurants morphologiques spécifiques.
<figure><img src="image_8.png" /><figcaption>FIGURE 2.4 – Connexités : (A) pour l'objet et (B) pour le fond</figcaption></figure>

### Squelettisation par amincissement

L'image *I* peut être vue comme l'union de deux ensembles *I* = *I*₀ ∪ *I*₁. Les pixels de l'objet dans l'ensemble *I*₁, prenant des valeurs de niveau de gris allant de 1 à 255, et les pixels de fond dans l'ensemble *I*₀ prenant la valeur 0. La séparation entre les pixels de fond et les pixels de l'objet candidat est une tâche de segmentation de l'image, vue comme pré-traitement indispensable pour extraire les objets visuels pertinents à la suite du traitement. Dans ce qui suit, nous supposons que cette étape est déjà élaborée que nous détaillerons dans la section 2.3.

Les pixels objets, candidats à la suppression (destructible), et qui seront déplacés en *I*₀, sont des pixels objets frontières ou de bord définis comme suit :

$$ \delta I_1 = \{x \in I_1, \mathcal{V}_4(x) \cap I_0 \neq \emptyset\} $$

avec $\mathcal{V}_4(x)$ représente l'ensemble des pixels voisins en 4-connexité du pixel $x$. Il existe plusieurs opérateurs d'amincissement morphologiques dont l'érosion étant l'opération basique en morphologie mathématique. Intuitivement, l'amincissement consiste à effectuer des érosions successives avec un élément structurant symétrique en l'appliquant sur les pixels de bord. L'érosion est une opération morphologique qui peut s'écrire d'une manière algébrique très simple. On désigne $\mathcal{B}$ notre élément structurant défini dans $\{0,255\}$.
L'érodé $\epsilon_B$ d'un objet $\mathcal{X} \subseteq I$ par $\mathcal{B}$, est :

$$ \epsilon_B(\mathcal{X}) = \{x \in I \setminus \mathcal{B}_x \subseteq \mathcal{X}\} \qquad (2.1) $$

avec $\mathcal{B}_x$ est le translaté de $\mathcal{B}$ au pixel $x$. L'érosion a pour effet de réduire l'épaisseur de l'objet et d'accentuer la taille des trous (les trous s'élargissent). Par dualité, on peut obtenir l'objet d'origine à partir de son érodé par l'opération de dilatation. La dilatation morphologique d'un objet $\mathcal{X}$ par l'élément structurant $\mathcal{B}$ est :

$$ \Delta_B(\mathcal{X}) = \{x \in I \setminus \check{\mathcal{B}}_x \cap \mathcal{X} \neq \emptyset\} \qquad (2.2) $$

où $\check{\mathcal{B}}$ est le symétrique de $\mathcal{B}$ par rapport à l'origine du système et $\check{\mathcal{B}}_x$ son translaté au pixel $x$. L'amincissement est un cas particulier de l'érosion où l'élément structurant est un pixel translaté sur chaque pixel de bord de l'objet. Un pixel $x$ est destructible s'il est un pixel de bord et si le nombre de composantes connexes $C_x$ dans $\mathcal{V}_8(x) \cap I_1$ est égal à 1. Autrement dit, $x$ est destructible ssi $x \in \delta I_1$ et $|C_x| = 1$

Ce nombre $|C_x|$ est facilement calculable grâce au nombre Yokoi [YTF73] :

$$ |C_x| = \sum_{i=0,2,4,6} \bar{I}(x_i)[1 - \bar{I}(x_{i+1}).\bar{I}(x_{i+2})] $$

Ce processus séquentiel s'arrête à une étape $K$ où aucun pixel peut être supprimé, et aboutie à un squelette $\theta_K$ tel que pour tout $x \in I$ :

$$ \theta_K(x) = \begin{cases} 1 & \text{si } x \in I_1^{(K)} \\ 0 & \text{si } x \in I_0^{(K)} \end{cases} \qquad (2.3) $$

Dans [Ser03], il a été montré que le squelette $\theta_K(x)$ est l'amincissement limite quand $k \to \infty$. En pratique, la limite moyenne de $K$ approche l'épaisseur moyenne de l'objet. Bien que le réseau des travées peut être dense, la convergence de l'algorithme reste très raisonnable. Un résultat type du squelette est illustré par la figure 2.5. Nous avons étendu le squelette
$\theta_K(x)$ pour la caractérisation de la topologie des grains et des pores sur des images 3D composées de structures hétérogènes. Contrairement aux images 2D, les (volumes) images 3D contiennent à la fois des structures filaires (des poutres tubulaires plus ou moins fines), des structures surfaciques (des plaques surfaciques), et des structures sphériques (des zones de connexions plus ou moins denses).

<figure><img src="image_9.png" /><figcaption>FIGURE 2.5 – Squelette sur la radiographie du calcanéum</figcaption></figure>

Dans le cadre du projet ANR-05-BLAN-0017 « mipomodim » (Milieux Poreux : Modèles, Images.(2006-2009)), pluridisciplinaire fédérant des chercheurs en probabilités, des chercheurs en physique des matériaux et des chercheurs en informatique, nous nous sommes intéressés à mettre au point des méthodes de caractérisation de la structure osseuse en 3D. À partir de 200 échantillons 3D du calcanéum (même site étudié en 2D) prélevés sur des cadavres ne portant pas la maladie, une base d'images 3D reconstruites est constituée. Les échantillons sont des prélèvements cylindriques (carottes) de calcanéum.

La tomographie par rayon X est l'une des techniques permettant d'obtenir de telles reconstructions. Les images obtenues sont de résolutions fines et permettent de caractériser la micro-architecture trabéculaire osseuse à l'échelle des travées osseuses. Le micro scanner dont nous disposons nous a permis d'imager des échantillons cylindriques de 16mm de diamètre à une résolution maximale de 18.39µm. La résolution maximale correspond à 1024 pixels répartis sur une distance de 18.83mm. Cependant, le processus de simulation radiographique utilisé ainsi que le temps de calcul nécessaire ont limité les reconstructions 3D à des volumes de 256x256x300 pixels (voir figure 2.6).
<figure><img src="image_10.png" /><figcaption>FIGURE 2.6 – Volume reconstruit du calcanéum</figcaption></figure>

À l'issue de cette première étape, nous obtenons les données transformées en objets sémantiques utiles par la suite à l'extraction des descripteurs sémantiques. Grâce à notre algorithme squellétisation multi-échelle permettant d'obtenir des objets sémantiques 2D et 3D connectés formant ainsi un réseau d'objets hétérogènes (des segments, des surfaces, des points). Nous revenons sur le détail de ces objets dans la suite de ce chapitre. L'analyse d'image est une discipline comparable à la fouille des données, la seule différence est le format des données. Comme nous l'avons montré partiellement dans ce paragraphe, il est indispensable de transformer les images, qui sont rappelons-le des données non strukturées, en objets sémantiques. Le contenu des images médicales est en général spécifique au domaine où les objets sémantiques à identifier restent homogènes. Mais, plus l'image est multi-domaines, plus il est difficile de les analyser. Typiquement, les images photographiques contiennent des scènes du monde réel et se composent d'objets hétérogènes. Dans la même image, des animaux, des personnes, du sable, de l'eau, des maisons, etc., peuvent être trouvés (voir illustration 2.7). Chacun de ces objets appartient à un domaine différent et décrit par des caractéristiques différentes. Il en résulte que l'analyse d'image photographique est confrontée également au passage à l'échelle, compte-tenu du nombre d'images, de la diversité de leurs formats et de l'hétérogénéité de leur contenu. Le premier défi que nous abordons dans la section suivante porte principalement sur l'extraction des objets sémantiques.
<table><caption>FIGURE 2.7 – Diversité des objets dans des images photographiques</caption><thead><tr><th>Image</th><th>Concepts descriptifs</th><th>Conclusion</th></tr></thead><tbody><tr><td></td><td>(sand, diver, walk, water, beach, boat, sea)</td><td>Chaque élément (concept) représente un aspect de l'image (texture, forme, couleur etc.). Il est possible d'appliquer durant la recherche des descripteurs compte tenu du contenu sémantique (les concepts) au lieu d'appliquer un descripteur arbitrairement</td></tr><tr><td></td><td>(sand, beach, tree, boat, wood, slope, bay)</td><td></td></tr><tr><td></td><td>(people, sand, beach, house, palm, tree)</td><td></td></tr></tbody></table>

### Images photographiques

Dans ce contexte d'image réelle, il est supposé que nous disposions seulement d'une représentation visuelle des objets sans connaissance a priori. En terme de perception, les images photographiques sont des images aussi complexes que les images médicales puisque leur interprétation est dépendante de la perception visuelle humaine. En effet, la perception du contenu d'une image peut différer d'une personne à l'autre. Dans un contexte où la production des images et leur usage se démocratisent, leur croisement avec d'autres ressources telles que les tweet ou les réseaux sociaux favorise l'enrichissement des informations implicites de la scène. Dans le cadre de la thèse d'Olfa Allani, nous nous sommes particulièrement intéressés à apporter des réponses à deux questions majeures. La première question a porté sur l'extraction dynamique des descripteurs pour des images photographiques afin d'associer des descripteurs sémantiques appropriés et pertinents à ces images toujours dans le but de faciliter la recherche d'information sémantique visuelle. La seconde question concernait plus particulièrement l'enrichissement de l'indexation de ces images et le passage à l'échelle. Les descripteurs sémantiques jouent un rôle double dans un système d'aide à la décision. Le premier rôle est de décrire fidèlement les données sous forme de connaissances permettant de construire un modèle de prédiction ou de classification fiable. Le second rôle est une amélioration de l'indexation des données par leur contenu sémantique afin de pouvoir y accéder rapidement tout en trouvant des informations pertinentes
répondant à la requête émise. C'est de cette façon que les descripteurs ont été pensés dans le cadre de nos travaux, contrairement à la plupart des démarches exposées dans la littérature, où le modèle prédictif et le modèle d'indexation sont souvent décorrélés, en particulier quand les données sont visuelles. Dans ce contexte, les descripteurs visuels sont importants pour la recherche à base de contenu. En effet, ils portent l'information numérique tirée des images et permettant de les comparer, les classifier, les compressor, etc. Une multitude de descripteurs visuels ont fait leur apparition depuis l'émergence du traitement et de l'analyse d'image. Certains ont été particulièrement conçus à des fins de recherche [KS04] [LW04] [NMMB98] mais qui, finalement, ont été écartés faute de performance [Vin11]. Les limitations majeures de ces travaux se résument, d'une part, à une élaboration heuristique des descripteurs qui se déclinent en descripteurs locaux et globaux ; et, d'autre part, à considérer une liste de descripteurs prédéfinis, de surcroît décorrélés du contenu et des caractéristiques prépondérantes des images. Outre ces caractéristiques artisanales, des approches par apprentissage ont été largement développées en s'appuyant sur des banques d'images parfaitement segmentées et labellisées. Bien que ces approches soient très efficaces pour la recherche textuelle où la requête est constituée d'un ensemble de mots-clés ou sous forme de phrase, elles ne permettent pas d'outrepasser la recherche par le contenu où la requête est une image sans labels. Dans cette optique, nous avons proposé une approche originale fondée sur la recherche de motifs de descripteurs à partir des travaux de la communauté via des règles d'association. Le processus de construction des règles d'association se décompose en quatre étapes illustré par la figure 2.8.

Partant de deux hypothèses de travail, une cinquantaine d'articles de recherche a été retenu constituant ainsi notre corpus. La première hypothèse a permis de limiter les articles de la littérature à ceux qui ont traité les descripteurs locaux et globaux pour divers domaines et ont proposé leur implémentation sous accès libre. Avec la seconde hypothèse, nous avons restreint les travaux de la littérature à ceux qui utilisent des bases d'images de référence (benchmark datasets) avec une attention particulière aux critères d'évaluation utilisés. Le corpus d'articles a été analysé semi-automatiquement afin de construire une table de transactions. Une transaction *T* est de la forme : < transaction<sub>id</sub>, concept, descripteur >, avec *concept* ∈ Concepts, *descripteur* ∈ Descripteurs. Une fois la génération de toutes les
<figure><img src="image_11.png" /><figcaption>FIGURE 2.8 – Étapes de construction des règles d'association</figcaption></figure>

transactions réalisées, ces dernières sont transformées pour qu'elles soient exploitées par un outil d'apprentissage automatique. L'apprentissage des règles d'association repose sur l'idée d'extraire tous les ensembles d'items (on appelle *Itemset* un ensemble d'Items) fréquents puis d'en déduire les règles d'association. Nous cherchons à déterminer les règles de type *concept* → *descripteur* pour tout concept $\in$ Items\Descripteurs, tout *descripteur* $\in$ Items\Concepts et Concepts $\cap$ Descripteurs = $\emptyset$. La collection de descripteurs notée $CD$, déduite de ces règles, est composée de $CD = \{concept_i \rightarrow descripteur_j \lor descripteur_k\}$. Les règles d'association peuvent être évaluées au-delà des mesures classiques de support de confiance par des critères exprimant leur intérêt à savoir la mesure d'intérêt qui caractérise une forme de causalité; c'est-à-dire la connaissance de l'antécédent apporte de l'information supplémentaire sur la connaissance du conséquent. Il s'agit de la mesure LIFT [KK06]. C'est un rapport de probabilité calculé pour filtrer les règles obtenues par le processus d'apprentissage. Par ailleurs, comme nous pouvons le constater sur la figure 2.8, l'étape (1) de collecte des descripteurs et des concepts nécessite d'avoir recours à une ressource extérieure (ou plusieurs) afin de couvrir tous les concepts et les domaines associés. Étant donnée la difficulté de cerner les concepts d'un domaine par une seule liste et
de conserver les relations de synonymie ou d'hyperonymie entre eux, il est nécessaire de
recourir à un modèle permettant la représentation de la connaissance de manière à garder
les relations et garantir leur extension. Pour ce faire, nous avons opté pour l'utilisation
d'une ontologie de domaine inspirée des travaux de [EHG+10]. Elle servira à la modélis-
sation de l'information sémantique et au filtrage des règles. Un extrait de cette ontologie
est présenté dans la figure 2.9.

<figure><img src="image_12.png" /><figcaption>FIGURE 2.9 – Extrait de l'ontologie de domaine</figcaption></figure>

Voici un exemple d'usage de l'ontologie en cas d'ambiguïté des règles. Supposons que
nous disposions d'une règle concernant « castle » et d'une règle concernant « building ».
Parallèlement nous savons que le concept « Tower » est une partie « part of » du concept
« Castle » qui est de type « is a » du concept « building ». Grâce à l'ontologie, nous
dégageons désormais le concept le plus proche de « tower » via la distance sémantique
d(tower, building) = 2 et d(tower, castle) = 1. Par conséquent la règle sur « castle » sera
retenue au final puisqu'elle est générique. Enfin, cette phase de construction de collection
de descripteurs par des règles d'association (cf. l'extrait de ces règles en figure 2.10) reliant
un concept à des descripteurs a pu dégager 117 règles couvrant 117 concepts présents dans
les 1871 transactions. Les transactions ont été construites à partir de 50 articles retenus
selon différents critères que nous avons discutés dans [AMBA17] [AMB+15].

Les règles obtenues ont été par la suite filtrées automatiquement conformément aux
contraintes suivantes :

1. l'agrégation des règles d'association à l'aide de relations évaluées en fonction du de-
wildcats ==> LocalBinaryPattern
winter ==> LocalBinaryPattern
streetview ==> OpponentSIFT
3Objects ==> SIFT
tomato ==> SURF
flowers ==> DominantColor
logo ==> SIFT
plant ==> GaborFeature
home ==> ReducedSIFT
indoorscene ==> ReducedSIFT
university ==> ReducedSIFT
leaf ==> ShapeContext
buses ==> DominantColor
dinosaurs ==> DominantColor
mountains 8 ==> DominantColor

<caption>FIGURE 2.10 – Extrait des règles d'association</caption>

gré de préférence d'une règle par rapport à une autre. C'est une mesure d'agrégation par préférence comparée. En effet, de nombreuses mesures ont été définies afin de pouvoir classer les règles dites intéressantes. Très hétérogènes, elles produisent des classements forts variés. C'est pourquoi, plutôt que de privilégier une mesure, il nous paraît intéressant de tenir compte des différentes informations apportées par l'ensemble des mesures. Elles permettent d'une part de retranscrire la nature numérique des mesures, et d'autre part, de réduire les problèmes de non comparabilité entre elles;

2. les valeurs de confiance sont considérées comme étant des coefficients de priorité et permettent de garder une trace de l'importance de la transaction afin de pourvoir filtrer en cas de conflit entre les règles d'associations obtenues. Nous utilisons un système fondé sur la logique floue qui consiste en l'utilisation d'une t-conorme;

3. les relations hiérarchiques définies au niveau de l'ontologie de domaine sont exploitées en vue de générer les règles pour tous les concepts;

4. toute règle comportant plusieurs concepts est dupliquée.

La collection créée $CD_{finale}$ est certes dépendante des travaux de la littérature choisis, mais
néanmoins elle présente plusieurs avantages. Tout d'abord, elle permet un premier transfert entre articles scientifiques et choix des descripteurs en fonction du domaine abordé. Ensuite, ce transfert pourra évoluer de manière continue en assurant l'enrichissement des règles d'association et, par conséquent, d'affiner le processus de choix des descripteurs.

## 2.3 Vers une approche de segmentation sémantique d'images

La segmentation d'image peut être définie comme une technique de traitement d'image spécifique utilisée pour séparer une ou plusieurs régions significatives. La segmentation d'image peut également être considérée comme un processus de définition des bords entre des entités sémantiques distinctes dans une image. D'un point de vue plus technique, la segmentation d'image est un processus d'attribution d'un label à chaque pixel de l'image de sorte que les pixels ayant le même label soient reliés par rapport à une propriété visuelle ou sémantique. La segmentation d'image englobe une grande classe de problèmes finement reliés en vision par ordinateur. La version la plus classique est la segmentation sémantique [GOO+17]. Dans la segmentation sémantique, chaque pixel est classé dans l'un des ensembles prédéfinis de classes de sorte que les pixels appartenant à la même classe auront la même entité sémantique dans l'image. Il est également intéressant de noter que la sémantique dépend non seulement des données mais aussi du problème visé. Par exemple, pour un système de détection des piétons, l'ensemble du corps d'une personne devrait apporter au même segment. Cependant pour un système de reconnaissance d'action, il peut être nécessaire de segmenter les différentes parties du corps en différentes classes. D'autres formes de segmentation d'image peuvent se concentrer sur l'objet le plus important d'une scène. D'autres sur la morphologie des objets pertinents à détecter [PCT+15] [KGPP14]. Une catégorie particulière de ces problèmes, appelée détection des points saillants [Bor15], fournit des algorithmes pour la segmentation des objets à partir de régions d'intérêts automatiquement détectées. D'autres variantes de ce domaine peuvent être des problèmes de séparation entre l'objet et le fond. Dans de nombreux systèmes comme la recherche d'image ou la réponse visuelle à des questions (*Visual Query Answering*), il est souvent
nécessaire de compter le nombre d'objets. La segmentation par instance spécifique permet
de résoudre ce problème. En effet, la segmentation par instance est souvent associée à des
systèmes de détection d'objet pour séparer plusieurs instances d'un même objet [DHS16]
dans une scène. Dans le domaine de la segmentation avec un niveau sémantique faible,
la sur-segmentation est également une approche courante où les images sont divisées en
régions extrêmement petites pour assurer l'adhérence des limites, au prix de la création
d'un grand nombre de faux bords. Les algorithmes de sur-segmentation sont alors com-
binés avec des techniques de fusion de régions pour élaguer les faux segments dans les
images. Notre approche de segmentation, inspirée de ces différentes méthodes a pour but
de proposer une implémentation distribuée et parallèle de l'algorithme de segmentation
en exploitant une architecture dédiée sous Spark. Dans notre contexte, nous supposons
disposer de domaines distincts d'images (médicales, naturelles, satellitaires, Lidars, etc.).
Pour ce faire, notre démarche se base sur quelques hypothèses de travail comme suit. (h1)
La moyenne des tailles des objets d'intérêts présents dans les images est déduite à partir
de la résolution des images et leur outils d'acquisition. (h2) Le domaine de l'image est
défini par l'utilisateur en tant que méta-donnée. En particulier, les labels des objets sont
prédéfinis pour les images médicales et les images satellitaires. Par exemple, dans le cas de
nos images médicales, nous disposons à ce stade de deux labels objet = I₁ et fond = I₀.

Alors que les images satellitaires contiennent plusieurs objets dont le nombre de labels
dépend de la résolution des images. En effet, les images à trois bandes contiennent peu
de labels tels que *la végétation, les routes, les bâtiments, l'eau, désert*. Plus le nombre
de bandes est élevé, plus il y a de labels à distinguer dans l'image. Quant aux images
spectrales et hyperspectrales, le nombre de labels peut dépasser plus d'une trentaine. Face
à cette diversité de contenu liée aux images que nous traitons, notre approche propose
une sur-segmentation de l'image et combine un algorithme de fusion spatial et sémantique
guidé par des connaissances sur le domaine. L'algorithme de sur-segmentation est basé sur
une approche hybride de type « *split and merge* » avec un critère d'homogénéité combinée
avec une approche de segmentation par ligne de partage des eaux (*watershed*). L'algo-
rithme de « *split and merge* » peut être vu comme une méthode de segmentation grossière
des objets visuels candidats. Il permet d'identifier d'abord les objets visuels à forte densité
spatiale (gros objets). Cette segmentation est combinée avec l'algorithme *watershed* qui
permet de distinguer les objets granulaires (petits objets). L'algorithme résultant utilise par conséquent trois critères : (a) l'homogénéité, (b) la taille des objets et (c) le domaine. L'algorithme que nous proposons est de nature récursive nécessitant ainsi une structure dédiée de stockage des segments intermédiaires. Cette structure doit rendre compte des relations de voisinage mais aussi des dépendances hiérarchiques entre segments. Pour cela, nous avons choisi une structure de type quadtree. En effet, il s'agit d'une structure courante pour des problèmes de segmentation utilisant une approche « split and merge ».

### 2.3.1 Approche « split and merge »

Un algorithme de type « split and merge » consiste à diviser une image en régions plus petites (split), que l'on considère comme étant homogènes. Elles sont par la suite regroupées selon leur proximité. Dans le cas du split, nous considérons deux critères d'homogénéité. Un critère global de l'image défini par sa variance Var et un critère local défini par l'entropie de Shannon H associée au segment traité. On utilisera les relations suivantes :

$$Var = \sum_{dimensionsImage} (valeurPixel[i][j] - moyImage)^2$$

Nous considérerons, dans un second temps, l'entropie de Shannon associée au segment considéré. On considérera la relation suivante :

$$H = - \sum_{dimensionsImage} (p_k * \log(p_k)), \text{ avec } p_k \text{ probabilité d'avoir un pixel de valeur } k.$$

<figure><img src="image_13.png" /><figcaption>FIGURE 2.11 – Exemple d'un arbre quadtree</figcaption></figure>

subsubsection*Split Il sera procéder alors par récurrence afin de diviser chaque segments en quatre qui seront enregistrés dans notre arbre (cf. figure 2.11). Les quatre segments pourront être de dimensions identiques ou bien présenter un offset. En effet, l'ajout d'un offset
permet de tenir compte de la présence d'un recouvrement d'un segment avec ses voisins ce qui permet d'améliorer la segmentation. L'offset devant diminuer à chaque récursion, il a été envisagé deux approches. La première consiste à prendre un même pourcentage de chaque dimension du segment à diviser. La seconde consiste, quant à elle, à diminuer de manière exponentielle un offset initial à chaque récursion. Enfin, l'algorithme de division s'arrête lorsque la dimension du segment est inférieure à un seuil prédéfini *seuil*<sub>split</sub>(*t*<sub>D</sub>) en fonction du domaine. En effet, s'il s'agit d'images médicales ou d'images satellitaires, le seuil est déduit à partir de la résolution des images et correspond au label associé aux objets dont la moyenne des tailles est la plus petite. En revanche, dans le cas des images réelles, ce seuil est fixé arbitrairement. On considérera ici que le segment n'est plus intéressant dès que l'une de ses dimensions est strictement inférieure à *seuil*<sub>split</sub>. L'algorithme devra également s'arrêter si les segments fils du segment considéré sont tous homogènes, c'est-à-dire de variance ou d'entropie inférieure à un seuil que l'on appellera *seuil*<sub>split</sub>(*h*). Le pseudo-code décrivant l'algorithme de la phase de division est présenté à Algorithme 1.

<figure><img src="image_14.png" /><figcaption>**Algorithme 1:** Algorithme « split »</figcaption></figure>

**Data** : arbre, noeudCourant, *seuil*<sub>split</sub>(*t*<sub>D</sub>), *seuil*<sub>split</sub>(*h*), offsetPrecedent, CritereSplit

**Result** : arbre complété contenant les couches de la segmentation

1 **begin**

## Merge

Concernant la phase de fusion (*merge*), elle consiste à regrouper les segments de la dernière couche de l'arbre avec leurs voisins. Ces segments seront regroupés selon leur homogénéité,
c'est-à-dire de la valeur de leur variance/entropie. Ainsi, on pourra construire une enveloppe séparant chaque élément de l'image. Le pourcentage d'écart relatif entre chaque critère est utilisé pour assumer la fusion locale. Deux approches candidates sont alors applicables. La première consiste à utiliser un graphe d'adjacence (dit RAG pour Region Adjacency Graph). Le graphe sera construit récursivement en ajoutant, à chaque fois, les fils de chaque sommet du graphe, les arêtes reliant les sommets voisins l'un de l'autre et ayant pour valeur l'écart d'homogénéité entre les deux segments. Enfin, l'algorithme parcourt le graphe, et pour chaque sommet, il regarde s'il existe des arêtes inférieures à un certains seuil et regroupe les deux sommets (voir Algorithme 2). L'algorithme procède, ensuite, récursivement jusqu'à n'avoir que des voisins d'écart supérieur à notre seuil. Ce seuil est appelé *seuil<sub>Merge</sub>*. Ainsi, la différence d'homogénéité entre deux segments s1 et s2 est calculée entre deux segments par :

$$h_{diff} = (n_1 + n_2)seuil_{Merge} - (n_1h_1 + n_2h_2) = n_1(seuil_{Merge} - h_1) - n_2(seuil_{Merge} - h_2)$$

avec $n_1, n_2$ sont respectivement le nombre de pixels dans chacun des segments s1 et s2. Cette homogénéité peut être très facilement étendue à différents canaux d'une image ayant N canaux, comme c'est souvent le cas pour les images satellitaires, par :

$$h_{diff} = \sum_{i}^{N} w_i[n_{1,i}(seuil_{Merge,i} - h_{1,i}) - n_{2,i}(seuil_{Merge,i} - h_{2,i})]$$

où $w_i$ est le poids d'importance du ième canal.

L'autre approche consiste à utiliser une matrice de même dimension que l'image à segmenter. Cette matrice est complétée, ensuite, en utilisant la dernière couche de l'arbre issue de l'algorithme de *split* en assignant à chaque position (i, j) le noeud correspondant. Ainsi, il suffira de parcourir récursivement la matrice et de regrouper dans une même liste les voisins dont l'écart est inférieur à *seuil<sub>Merge</sub>*. Le pseudo-code est décrit dans l'algorithme 3 de fusion dans le cas de l'utilisation d'une matrice « de voisinage ».

### 2.3.2 Apport du watershed

Notre méthode de segmentation nommée *SM* de type « *split and merge* » présentée ici est orientée objet. Chaque décision de fusion est basée sur les attributs récents des objets
**Algorithme 2: Algorithme de création du Rag**

**Data** : arbre résultant du Split

**Result** : le RAG correspondant à l'arbre

1 **begin**
2 &nbsp;&nbsp;&nbsp;&nbsp;graphe ← nouveauGraphe(arbre.racine);
3 &nbsp;&nbsp;&nbsp;&nbsp;nbreSommetsSuppr ← 0;
4 &nbsp;&nbsp;&nbsp;&nbsp;**while** nombre de sommets du graphe + nombre de sommets supprimés < nombre de noeuds de l'arbre **do**
5 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;**for** Sommet ∈ graphe **do**
6 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;**if** la valeur du Sommet (= un noeud) a des fils **then**
7 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ajouter 4 sommets contenant chacun un fils au graphe;
8 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;**for** Arete ∈ Sommet.aretes **do**
9 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;déconnecter Sommet et le Voisin correspondant à Arete ;
10 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;connecter les fils au Voisin s'ils sont en contact;
11 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ajouter 1 à nbreSommetsSuppr;

**Algorithme 3: Traitement par Merge**

**Data** : arbre résultant du split

**Result** : Liste contenant des listes de noeuds regroupés selon leur écart d'homogénéité

1 **begin**
2 &nbsp;&nbsp;&nbsp;&nbsp;matriceVoisinage ← creerMatriceVoisinage(arbre);
3 &nbsp;&nbsp;&nbsp;&nbsp;listeNoeudsLibres ← derniereCouche(arbre);
4 &nbsp;&nbsp;&nbsp;&nbsp;resultat ← creerListeVide();
5 &nbsp;&nbsp;&nbsp;&nbsp;**while** il reste des noeuds dans listeNoeudsLibres **do**
6 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;regroupement ← creerListeVide();
7 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;noeudCourant ← listeNoeudsLibres[0];
8 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;enlever noeudCourant de listeNoeudsLibres;
9 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ajouter noeudCourant à regroupement;
10 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;parcourir tous les voisins de noeudCourant grâce à matriceVoisinage et les ajouter à regroupement;
11 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;en faire de même pour chaque voisin ajouté à regroupement;
12 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ajouter regroupement à resultat;

fusionnés lors des étapes précédentes. Cela s'avère être un avantage méthodologique décisif de la méthode. En effet, chaque décision est basée sur les attributs de structures homogènes d'une échelle locale. Ce qui fait de cette méthode une segmentation multi-échelle et adaptative à la résolution de l'image. Malheureusement, les algorithmes de type *split and merge* sont très peu efficaces pour différencier des objets de granularité fine et de forme
linéaire tels que les cours d'eau. Comme discuté précédemment, ils sont efficaces pour extraire des segments à forte densité spatiale puisque l'homogénéité est pondérée par le nombre de pixels de l'objet. Pour lever cet inconvénient, nous avons amélioré l'algorithme en intégrant une approche de filtrage de régions à base de watershed. En effet, cette technique, couplée à une approche « split and merge », pourrait apporter de meilleurs résultats et notamment pour les structures filaires, linéaires telles que les routes ou les rivières. Elle consiste à utiliser des marqueurs assimilant certaines régions à des pics (de fort gradient) et d'autres à des vallées (zones de faible gradient). Les vallées seront ensuite inondées avec des eaux de couleurs différentes. Lorsque deux bassins de couleurs d'eau différentes se rencontrent, une frontière est alors construite; et cela, jusqu'à ce que tous les pics soient inondés. Les frontières construites constituent la séparation des objets de l'image. La mise en place technique de ce nouvel algorithme (nommée SWM) est comme suit. Tout d'abord, les seuils nécessaires pour réaliser une première segmentation grossière sont construits. Ensuite, le bruit présent sur l'image est supprimé. L'arrière-plan et les parties de l'image dont on est certain qu'elles sont à l'intérieur d'un élément à segmenter sont distingués. Ainsi, par différence, les zones dans lesquelles se situent les frontières, aussi appelées zones indéterminées, sont obtenues. Nous pourrons alors marquer l'arrière-plan, les zones intérieures aux objets à segmenter et les régions indéterminées. L'algorithme de watershed utilisera ces marqueurs pour délimiter les différents objets les uns des autres et de l'arrière-plan selon le principe précisé précédemment. Notre approche de « split and merge » complétée par l'algorithme de watershed a été appliqué en sortie de phase de split, sur chaque segment de la dernière couche de l'arbre. En effet, ce segment est supposé homogène, mais si avec un critère peu sélectif, nous obtiendrons dans notre segment un objet (ou une partie de cet objet) ainsi qu'une partie de l'arrière plan. L'ajout du watershed permet à la fois de séparer cet objet de l'arrière plan, mais aussi de gagner en rapidité d'exécution car il a besoin d'un maillage moins fin pour obtenir une segmentation précise suivant les contours des éléments de l'image (en particulier les cours d'eau). Après la phase de merge, il suffit de regrouper les régions dans une matrice de taille la dimension du groupe. Par dilatation des contours, nous assurons la continuité d'un segment à un autre du groupe. Enfin, un algorithme de remplissage de trous pour construire un cache permet de sauvegarder l'élément segmenté. La figure 2.12 illustre les différentes étapes de
notre algorithme de segmentation.

<figure><img src="image_15.png" /><figcaption>FIGURE 2.12 – Processus de l’algorithme de segmentation SWM</figcaption></figure>

### 2.3.3 Distribution avec MapReduce

MapReduce est un modèle de traitement distribué doté d'un environnement d'exécution parallèle dans un graphe de machines indépendantes et distribuées. Hadoop [VMD+13] est implémenté dans la communauté du libre et supporte l'infrastructure MapReduce. Hadoop Distributed File System (HDFS), est un système de fichier, de stockage distribué émanant de Hadoop Apache qui a été conçu pour prendre en charge de gros fichiers. En utilisant HDFS, un fichier de grande taille est initialement partitionné en plusieurs fragments, appelés *chunk*, et sont stockés dans plusieurs machines de manière redondante pour plus de fiabilité. La taille d'un fragment est généralement de 64 Mo. En plus des opérations coûteuses en temps et en ressources, s'ajoute la contrainte de traitement en temps réel que Hadoop ne permet pas de la lever. Spark appartient à une nouvelle génération
d'informatique distribuée [ZCF+10], il est devenu un projet Apache en 2013. Spark est compatible avec les modules Hadoop, tels que YARN et HDFS, mais il dispose également d'un mode autonome. La principale motivation du projet Spark était de renforcer l'exécution de charges de travail itératives par le biais de la mémoire de calculs (in-memory). En raison des nombreux accès au disque nécessaires pour traiter une demande, Hadoop est assez inefficace pour de telles charges de travail [Pat19]. Ces calculs en mémoire reposent sur une structure de données appelée « Resilient Distributed Dataset » (RDD) qui sont des ensembles d'éléments tolérants aux pannes pouvant être exploités en parallèle et qui peuvent être utilisés pour mettre en cache un ensemble de données pendant les opérations. Les RDD peuvent faire référence à un ensemble de données dans un système de stockage externe, tel qu'un HDFS, et peuvent être créés à partir de n'importe quelle source de stockage supportée par Hadoop. Les RDD sont calculées en cas de besoin en ce sens que la séquence de transformations qui y est effectuée ne sera traitée que lorsque les données associées devront être collectées. De plus, si une partition de données d'un RDD est perdue à cause d'erreurs physiques, le cache de Spark peut être automatiquement recalculé en exécutant à nouveau sa séquence de transformations respective<fnref n="2" />. Entretemps, des alternatives au modèle MapReduce ont été proposée, en particulier le calcul distribué Apache Spark<fnref n="3" /> qui a attiré beaucoup d'attention ces dernières années surtout en raison de sa capacité à surpasser Hadoop dans de nombreuses applications. Ceci est dû à sa capacité de partager la mémoire entre les noeuds d'un cluster au lieu de restreindre la communication à l'accès aux fichiers de données comme c'est le cas avec Hadoop et dans des cadres distribués alternatifs tels que Apache Tez [SSS+15]. Afin de paralléliser l'algorithme (nommé SWMP), nous avons fait le choix de commencer par la phase de division et donc nous nous intéressons pour l'instant à l'algorithme 1 Pour cela, nous disposons d'un cluster Spark avec un manager YARN composé d'une machine maître et 3 machines esclaves. La machine maître est équipée d'un processeur Intel Xeon E3-1220 de 3,1 GHz, mémoire de 16 Go et disque dur de 500 Go. Chaque esclave est équipé d'un processeur Intel Core i5 à 3,2 GHz, d'une mémoire de 4 Go et d'un disque dur de 500 Go. Toutes les machines

<footnote n="2">2. https://www.datamation.com/data-center/hadoop-vs.-spark-the-new-age-of-big-data.html</footnote>

<footnote n="3">3. Apache Spark Development Team, 2019. Apache spark. Apache Software Foundation. spark.apache.org (15 February 2019)</footnote>
sont connectées par un commutateur Ethernet 1 Gbps. Chaque machine fonctionne sous Linux (Ubuntu 10.04 Lucid). Nous avons utilisé Hadoop 2.0.0 pour l'implémentation de l'infrastructure MapReduce obtenu à partir du site Apache 4. Fondamentalement, MapReduce se compose d'un job tracker et de plusieurs task trackers. Chaque task tracker est exécuté sur une machine esclave. Un esclave traite les données à l'aide d'une fonction map et d'une fonction reduce, chacune d'entre elles étant activée par job tracker. Ce dernier fonctionnant seulement sur la machine maître, prend en charge la détection des erreurs, l'équilibrage des charges, l'occupation des processeurs, etc. Le fonctionnement de map et reduce se résume par les deux instructions suivantes :

$$ (1) \quad \text{map(key1, value1)} \rightarrow \text{list((key2, value2))} $$

$$ (2) \quad \text{reduce(key2, list(value2))} \rightarrow (key3, \text{list(values3)}) $$

<figure><img src="image_16.png" /><figcaption>FIGURE 2.13 – (a) Image à segmenter ; (b) représentation encodée des quadtrees ; (c) représentation logique ; (d) fonction map() dans MapReduce</figcaption></figure>

La répartition des segments d'une image dépend de la taille d'un bloc de données dans

<footnote n="4">4. http://hadoop.apache.org</footnote>
HDFS. Si la taille du bloc est $size_b$ et qu'un segment fait $size_s$ alors le segment est divisé en nb blocs tel que $nb(s) = \frac{size_s}{size_b}$ où chaque bloc est pris en charge par la fonction map() de MapReduce (figure 2.13). Chaque fonction map() appelle l'algorithme de split (cf. Algorithme 1) et sépare les objets dans l'un des segments. Chaque segment constitue un arbre local ayant une liste de clés et dont les valeurs sont le contenu des feuilles enregistrées dans des fichiers. Afin de reconstituer l'arbre global, la fonction *reduce()* trie les clés et connectent les noeuds intermédiaires appartenant au même noeud père. Des premières comparaisons sont effectuées sur des images satellitaires de dimension 3, 393px Ö3, 349px et de taille 4092, 39 KB (4 190 610 bytes) (cf. figures 2.14 et 2.15). Ces images proviennent d'une collection fournie par Kaggle dans le cadre du challenge « *Dstl Satellite Imagery Feature Detection* ». Le temps moyen d'exécution de l'algorithme de division sans parallélisation sur une image est de 6 minutes, sachant que le temps d'exécution global moyen est de 12 minutes pour obtenir plus de 40000 objets. Avec la parallélisation sur trois machines, nous obtenons un temps moyen d'exécution de 21 secondes. Ce gain est très prometteur pour explorer plus en avant la parallélisation de la totalité de l'algorithme de segmentation. Toutefois, cette étape de segmentation est très utile en tant que pré-traitement pour une tâche de reconnaissance des objets et d'étiquetage des objets visuels spatiaux. En effet, cette étape de pré-traitement permet de cerner les objets cibles pour leur caractérisation sémantique.

<figure><img src="image_17.png" /><figcaption>FIGURE 2.14 – Meilleure segmentation obtenue pour le type « forêt »</figcaption></figure>
<figure><img src="image_18.png" /><figcaption>FIGURE 2.15 – Meilleure segmentation obtenue pour les routes et les forêts</figcaption></figure>

### 2.3.4 Vers une segmentation sémantique

La segmentation des données est une étape indispensable pour toute application décisionnelle. Elle permet de séparer les données pertinentes du bruit. Le type de bruit est très dépendant de la source d'acquisition des données. La segmentation des objets utiles devra s'appuyer sur des critères élaborés en fonction du domaine. Par exemple, s'il s'agit de données de capteurs, les critères d'homogénéité seront formulés, d'une part, par rapport à la cohérence des valeurs avec les valeurs tolérées par capteur, et, d'autre part, par rapport à leur homogénéité temporelle. Les neurosciences ont fait beaucoup de progrès dans la compréhension du système visuel et de la façon dont les images sont transmises au cerveau. On pense que le filtre de différence gaussien (DoG) simule la façon dont la rétine humaine traite les images observées et en extrait les détail. Parmi ces types de filtre, l'approche WLD (*Weber Local Descriptor*) basée sur le fait que la perception humaine d'un modèle dépend non seulement de la modification d'un stimulus (comme le son, l'éclairage) mais aussi de l'intensité initiale du stimulus. Le WLD se compose de deux éléments à savoir l'excitation différentielle et l'orientation. Une autre méthode pour améliorer la force du descripteur de texture consiste à effectuer un pré-traitement efficace. Ci-dessous un aperçu rapide du point de vue des neurosciences [CGTon] :

- les photo-récepteurs composés de bâtonnets et de cônes ont des propriétés très différentes : les bâtonnets ont la capacité de voir la nuit, dans des conditions de très faible éclairage ; les cônes, quant à eux, ont la capacité de traiter des signaux lumineux.
La couche photo-réceptrice joue donc le rôle d'un filtre d'adaptation à la lumière.

— la couche plexiforme externe (PE) : le photo-récepteur joue le rôle d'un filtre passe-bas. Les cellules horizontales effectuent un second filtre passe-bas. Dans le PE, les cellules bipolaires calculent la différence entre le photorécepteur et la réponse des cellules horizontales (bruit lié à l'éclairage à basse fréquence). Généralement, pour modéliser les processus du PE, on utilise deux filtres passe-bas Gaussien avec des écarts-types différents correspondant aux effets des photo-récepteurs et des cellules horizontales. Ainsi, les cellules bipolaires agissent comme un filtre DoG.

— la couche plexiforme interne (PI) : le PI fonctionne de manière similaire au PE mais agit sur l'information temporelle plutôt que sur l'information spatiale comme c'est le cas du PE. Il calcule la deuxième dérivée spatiale d'une image. Dans les zones où l'image a une intensité constante, la réponse du filtre sera nulle (régions homogènes). Partout où un changement d'intensité se produit, le filtre donnera une réponse positive sur le côté sombre et une réponse négative sur le côté clair. À une limite raisonnablement nette entre deux régions d'intensités uniformes mais différentes, la réponse du filtre sera : (i) zéro à une grande distance des bords ; (ii) positive d'un côté du bord ; (iii) négative de l'autre côté du bord ; (iv) zéro sur le bord lui-même.

Ainsi, PE et PI peuvent être modélisés par deux images filtrées que nous notons $I_{bf}^{+}$ et $I_{bf}^{-}$ tels que :

$$I_{bf}^{+}(p) = \begin{cases} I_{bf}(p) & \text{si } I_{bf}(p) \ge \epsilon \\ 0 & \text{sinon} \end{cases}$$

$$I_{bf}^{-}(p) = \begin{cases} |I_{bf}(p)| & \text{si } I_{bf}(p) \le -\epsilon \\ 0 & \text{sinon} \end{cases}$$

$$I_{bf} = DoG * I$$

$$DoG = \frac{1}{2\pi\sigma_1^2} e^{-\frac{x^2+y^2}{2\sigma_1^2}} - \frac{1}{2\pi\sigma_2^2} e^{-\frac{x^2+y^2}{2\sigma_2^2}}$$
Dans le cas des images satellitaires, les critères d'homogénéité seront explicités par rapport
à la nature des objets attendus dans l'image segmentée. Ces critères tels que l'indice
de concentration de chlorophylles, l'indice de végétation ou encore l'indice de réflection
de l'eau apportent une précision supplémentaire à l'homogénéité des valeurs des pixels.
Quant aux images naturelles (photographiques), ces critères sont plus complexes à définir
et dépendent essentiellement de l'observateur. En effet, chaque observateur peut définir
par des mots-clés ou bien par une description synthétique les caractéristiques des objets
recherchés. À partir de là, se pose donc une question fondamentale sur la validation des
objets segmentés et principalement si la qualité de la segmentation est acceptable par
rapport aux buts applicatifs. En imagerie médicale comme en imagerie satellitaire, le critère
d'acceptabilité peut être quantifié par des mesures classiques tels que le rappel, la précision
et la F-mesure tandis que pour les images naturelle, il nous semble important d'impliquer
l'avis de l'observateur via un critère sur le retour de pertinence. Ces différents critères
seront présentés et discutés dans le chapitre 4. Par ailleurs, les images satellitaires ont
les inconvénients d'être multi-sources, multi-résolution, de taille très élevée et quelquefois
nécessitent du traitement en temps réel. Notre algorithme SWMP permet de segmenter
d'une manière satisfaisante les images en :

— détectant tous les objets pertinents dans l'image;

— de tenir compte des inconvénients cités précédemment puisque le critère d'homogé-
néité que nous utilisons est applicable à n'importe quelle résolution, et via MapRe-
duce, l'image est divisé en blocs quelle que soit la taille de l'image traitée.

Cependant, notre algorithme *SWMP* possède deux problèmes majeurs. Le premier pro-
blème concerne le traitement temps réel où il est recommandé d'étendre le code de *SWMP*
à l'environnement Spark streaming. Le second problème est lié à la labellisation des objets.
Dès lors que la segmentation est vue comme l'identification de chaque pixel de l'image, il
est donc nécessaire de créer une carte de labellisation de tous les objets différents détectés
dans l'image. Or le résultat que nous obtenons avec *SWMP* consiste à identifier toutes
les instances d'un même objet sans pour autant les catégoriser. Notre algorithme de seg-
mentation est de type « *instance-segmentation* » versus « *semantic-segmentation* ». C'est
le but de cette dernière étape de notre algorithme qui consiste à identifier les labels des
objets.

## 2.3.5 De l'image segmentée à l'image labellisée par apprentissage profond

L'approche naïve de labellisation est de réduire la segmentation à une tâche de classification. Les classes correspondent aux labels distincts des pixels de l'image. Pour les images satellitaires et les images médicales, les classes sont définies au préalables, contrairement aux images photographiques où les objets sont dépendants de la scène. Pour cette raison, nous devons nous intéresser à deux types de classification à savoir supervisés et non supervisés. Différents travaux existent dans la littérature dont certains visent des applications spécifiques alors d'autres visent de nouveaux techniques et algorithmes. Parmi eux, nous trouvons les méthodes de classification par apprentissage profond. Ces méthodes sont de plus en plus intéressantes puisque l'amélioration de leur performance est sous-jacente au volume très élevé d'images disponibles davantage pour entraîner ces modèles. Par opposition aux modèles traditionnels, l'apprentissage profond nécessite une large quantité de données pour apprendre le modèle. Les données d'apprentissage doivent au préalable être correctement collectées et leur segmentation validée par des experts. Dans ce contexte, la prolifération des jeux de données et des défis a favorisé l'apparition de diverses technologies de pointe pour mettre en oeuvre la segmentation dans divers domaines. Pour les lecteurs intéressés, nous recommandons les travaux d'Alberto Garcia-Garcia [GOO+17] pour une vue d'ensemble de certaines des meilleures techniques de segmentation d'images dans le but de labellisation d'objets grâce à un apprentissage profond. Nous recommandons également les travaux de [SNIU19] pour avoir analysé l'ensemble des méthodes en expliquant pourquoi, quand et comment ces techniques fonctionnent face à divers défis.

### Apprentissage par transfert pour la segmentation sémantique

Les réseaux de neurones à convolution sont très répandus en vision par ordinateur et leurs architectures ont évolué pour s'adapter à des problèmes de segmentation. L'architecture basique et commune à ces réseaux est le *fully convolutional layers*, nommé dans la littérature par FCN [LSD15]. La sortie de la dernière couche de convolution est utilisée.
sée pour identifier la classe d'un pixel. Plusieurs familles à base de FCN existent telles que DeepMask et SharpMask développées par Facebook [PCD15], R-CNN (pour Region based Convolutionnal Neural Network) [GDDM14], DeepLab [CPSA17] [CPK+18], PNSP-Net, RefineNet [LMSR17] et VGGNet [SZ14]. Pour utiliser efficacement ces architectures, il faut tout d'abord sélectionner un modèle pré-entraîné, ensuite choisir la mesure Cross Entropy comme la fonction de perte permettant de calculer la probabilité d'appartenance d'un pixel à une classe, enfin d'utiliser le principe du fine-tune sur le réseau pour l'adapter au problème spécifique. Une approche de segmentation à base de réseaux de neurones profonds existe. Les auto-encodeurs à convolution ont été utilisés traditionnellement pour l'extraction des descripteurs. Un auto-encodeur est composé classiquement d'un encodeur dont le but est de réduire la dimension de représentation des données en entrée sous la forme d'une représentation intermédiaire et d'un décodeur dont il a la charge de reconstruire les données d'origine à partir de la représentation intermédiaire. L'un des principaux avantages de l'utilisation de l'approche fondée sur les auto-encodeurs par rapport aux modèles FCN est la liberté de choisir la taille de l'entrée. Grâce à une utilisation intelligente des opérations de sous-échantillonnage et de sur-échantillonnage, il est possible de produire une distribution de probabilité à l'échelle du pixel qui soit de la même résolution que l'image d'entrée.

<figure><img src="image_19.png" /><figcaption>FIGURE 2.16 – Macro-architecture du réseau UNET inspirée de [SNIU19]$^5$</figcaption></figure>

Afin de choisir entre ces deux approches de réseaux de neurones profonds, nous avons posé

<footnote n="5">5. Le détail de l'architecture est donné par Olaf Ronneberger dans https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/</footnote>
les critères suivants :

1. la performance du modèle choisi se base sur les résultats déjà obtenus sur des collections utilisées dans le cadre des challenges;

2. la possibilité d'étendre des modèles pré-entraînés;

3. les modèles sont capables de traiter des images de tailles et de formats variables;

4. prendre en compte l'aspect multi-domaines.

Ce travail a fait l'objet d'un stage de Master 2 recherche mené par Hanen Balti et a donné lieu à deux publications en 2019 [BMC+19] [Mel19a]. Le premier objectif visé par cette étude porte sur la comparaison de la performance de deux méthodes VGGNet (cf. figure 2.17) et UNET (cf. figure 2.16) à segmenter des images satellitaires. Ces deux modèles ont été largement utilisés à des fins de segmentation sémantique et ont été comparés sur la base de plusieurs collections d'images satellitaires dans le cadre de plusieurs campagnes d'évaluation. Le second objectif consiste à mesurer l'apport d'une architecture distribuée pour notre approche en terme de réduction du temps de calcul sans détérioration de la qualité de la segmentation. Notre étude a visé en premier lieu les images satellitaires afin de répondre en même temps aux critères de complexité C2 à C6 (voir le chapitre 1 Définition 1).

## Notre approche Deep – SWMP

<figure><img src="image_20.png" /><figcaption>FIGURE 2.17 – Macro-architecture du réseau VGGNet [SZ15]</figcaption></figure>

Notre objectif est de choisir parmi les deux architectures celle nous permettant de détec-
ter le plus d'objets significatifs à partir d'images. UNET (architecture en forme de U) est un auto-encodeur à convolution permettant de construire une carte de descripteurs située avant la première couche de décodage. La sortie du décodeur est une image de même taille que l'image d'entrée contenant les segments labellisés. Afin d'adapter l'architecture à notre problème de segmentation, nous avons ré-entraîné le modèle sur les images. Parallèlement, le modèle VGGNet, composé de 22 couches dont 16 couches d'apprentissage des poids (13 couches de convolution et 3 couches denses fortement connectées), construit également une carte de descripteurs représentée par la dernière couche précédant la couche SOFT-MAX. Comme pour le modèle UNET, nous avons restreint les sorties aux labels attendus par les images étudiées. Les cartes respectives des descripteurs obtenues sont analysées et réutilisées comme descripteurs sémantiques. La comparaison entre les deux architectures a été réalisée sur trois collections d'images. La collection SIRI-WHU 6 contient 12 classes. Chaque classe contient 200 images de 200x200 pixels à 2 m de résolution spatiale. La collection AID 7 est constituée de 10000 images de résolutions variables et hétérogènes, réparties sur 30 classes; enfin, une collection propriétaire SATSPECT que nous avons composée d'images multispectrales, issues de différents capteurs tels que SPOT4, SPOT5, LANDSAT8, etc. Notre collection SATSPECT compte 3974 images réparties en 10 classes, de résolutions différentes multispectrales de 1kmx1km en 3 et 16 bandes. Les images à 3 bandes sont les images traditionnelles en RGB. Quant aux images à 16 bandes(multibandes), elles sont issues de l'imagerie multispectrale (400-1040 nm) et de l'infrarouge à ondes courtes (SWIR) (1195-2365 nm).

<table><caption>TABLE 2.2 – Moyenne des résultats obtenus par VGG et UNET sur les trois collections d'images.</caption><thead><tr><th></th><th>VGG</th><th>UNET</th></tr></thead><tbody><tr><td>Précision Moyenne</td><td>0.71</td><td>0.78</td></tr><tr><td>Rappel Moyen</td><td>0.66</td><td>0.77</td></tr><tr><td>F1 - score Moyen</td><td>0.68</td><td>0.77</td></tr></tbody></table>

Les résultats obtenus montrent l'intérêt de l'architecture UNET par rapport à un problème

<footnote n="6">6. www.lmars.whu.edu.cn/</footnote>

<footnote n="7">7. project.inria.fr/aerialimagelabeling/</footnote>
tel que la segmentation. UNET permet non seulement d'avoir plus d'objets détectés mais il présente deux avantages précieux pour notre étude. Le premier avantage est la compatibilité de l'architecture par rapport à la diversité des formats de nos images. UNET permet de segmenter des images dont les résolutions sont hétérogènes. Le second avantage est liée à la dimension des images en entrée où UNET fournit une carte de descripteurs ou une carte des objets segmentés de même taille que l'image d'origine, contrairement à VGG où les images traitées doivent être limitées en taille ce qui peut expliquer en partie ses résultats insuffisants face à des images de haute résolution telles que les images multi-bandes. Par ailleurs, nous avons constaté une difficulté de UNET à segmenter les images multi-bandes et les images spectrales de tailles dépassant les 1024 x 1024 pixels (en réalité si l'image contient *n* bandes, l'image fait *nx*1024*x*1024). Ce travail a été effectué sur une machine Amazon AWS ayant 16 GB NVIDIA K80 GPUs, 64 vCPUs et 60 GB de RAM. Toutefois, quand les images sont de taille importante, le réseau nécessite plus de couches supplémentaires en phase d'encodage et par conséquent en phase de décodage. Cette contrainte non négligeable impacte directement le nombre de paramètres du réseau qui explose. De ce fait, la qualité des résultats se dégrade et le temps de calcul augmente considérablement. La grande question que nous nous sommes posée est de quelle(-s) manière(-s) pourrions nous réduire le nombre de couches en traitant des images de grandes tailles. Notre réflexion nous a conduit à proposer deux pistes de solution qui visent à restreindre la phase de pré-traitement du réseau par une phase extérieure et en amont de la phase de segmentation. En effet, la première solution consiste à paralléliser la phase de segmentation où une architecture UNET sera attribuée par bande. Chaque bande sera donc traitée par une architecture UNET appropriée. Chaque image d'une bande sera découpée en un flot d'imagettes de tailles réduites. Cette première solution a l'avantage de réduire, de fait, le temps de calcul et favorise l'extraction des caractéristiques locales par bande des objets. Néanmoins, les résultats sont moins performants puisqu'ils sont exposés à la réduction de la résolution (aussi bien spatiale, que fréquentielle) des images engendrée par le traitement séparé de chaque bande. La seconde solution que nous proposons s'inspire des méthodes de *Pansharpening*. C'est un processus de fusion d'images panchromatiques de haute résolution et d'images multi-spectrales de basse résolution pour créer une seule image couleur de haute résolution. Par exemple, Google Maps ainsi que toutes les entreprises de création de
cartes utilisent cette technique pour améliorer la qualité des images. De façon comparable, nous présentons en entrée du réseau UNET<sup>(k)</sup>, l'image pré-segmentée par SWMP en plus de l'image de la bande.

## 2.4 Conclusions

Le manque des données correctement étiquetées dans beaucoup de domaines complique la tâche de classification. Ce manque est souvent lié à une intervention humaine très fastidieuse et complexe comme c'est souvent le cas pour les images et tout particulièrement les images satellitaires. C'est pourquoi la phase de segmentation est une étape décisive pour la suite de la chaîne de traitement. La qualité de la segmentation varie de la nature de l'image, de la complexité des objets présents dans l'image, et de sa résolution. Alors d'imaginer un algorithme de segmentation serait une aberration, en revanche orienter la ou les techniques de segmentation à appliquer pour les images du « domaine » en fonction des objets attendus serait plus approprié. C'est typiquement les difficultés que nous avons rencontrés dans la segmentation des images satellitaires qui ont la particularité d'agréger des objets différents à différentes échelles. Nous constatons par exemple que L'algorithme de segmentation des zones forestières n'est pas du tout adapté à la segmentation des fleuves avec des ramifications. Dans cette perspective, nous travaillons sur une piste d'amélioration de la segmentation de telles images en proposant d'intégrer des méta-connaissances (comme la connexité, l'échelle, propriétés morphologiques, propriétés topologiques, calorimétrique, etc.) sur les objets attendus et de proposer un algorithme de segmentations par échelle. Par exemple à l'échelle des rivières, on peut proposer des algorithmes de segmentation à base de graphe acyclique inspirés par les travaux [PCT+15].

Au delà du choix des algorithmes, la contrainte temps réel et le volume des données posent de nouveaux défis algorithmiques. En effet, dans un monde en pleine accélération, le volume des données collectées explose. Leur traitement en temps réel devient une exigence et une variable essentielle de la prise de décision. Une autre nouveauté liée à la masse des données disponibles, consiste à la démultiplication des potentiels de leur croisement dans une perspective de création de valeur. C'est pourquoi l'identification des objets perceptifs
est une étape que l'on peut qualifier de pré-traitement utile à la caractérisation séman-
tique de l'objet visuel. Cette double identité permettrait par la suite de construire des
index sémantiques ouverts (dans le sens d'une possibilité d'une mise à jour régulière et
cohérente) et augmentés par tout type de connaissance ajoutée depuis des données non
structurées telle que les réseaux sociaux. Ces derniers donnent lieu à un champ immense
de données non structurées et encore insuffisamment exploités en terme d'enrichissement
de connaissance.
# Chapitre 3

## Enrichissement sémantiques des descripteurs visuels

### Sommaire

<table><tbody><tr><td>3.1</td><td>Sémantique, texte et images : quelles correspondances ?</td><td>69</td></tr><tr><td>3.2</td><td>Images médicales et descripteurs sémantiques</td><td>71</td></tr><tr><td>3.2.1</td><td>Images 2D</td><td>72</td></tr><tr><td>3.2.2</td><td>Images 3D</td><td>73</td></tr><tr><td>3.3</td><td>Descripteurs sémantiques d'images photographiques</td><td>77</td></tr><tr><td>3.3.1</td><td>Relations spatiales</td><td>78</td></tr><tr><td>3.3.2</td><td>Formalisation des relations spatiales</td><td>79</td></tr><tr><td>3.3.3</td><td>Relations sémantiques</td><td>85</td></tr><tr><td></td><td>Formalisation</td><td>86</td></tr><tr><td></td><td>Construction des domaines D et leurs vocabulaires</td><td>87</td></tr><tr><td>3.4</td><td>Enrichissement des domaines et module ontologique</td><td>91</td></tr><tr><td>3.4.1</td><td>Conceptualisation du lexique</td><td>92</td></tr><tr><td>3.4.2</td><td>Détection des relations</td><td>94</td></tr><tr><td></td><td>Les relations taxonomiques</td><td>94</td></tr><tr><td></td><td>Les relations sémantiques</td><td>95</td></tr><tr><td>3.5</td><td>Représentation multi-dimensionnelle des connaissances</td><td>97</td></tr></tbody></table>
<table><tr><td>3.5.1 Raisonnement</td><td>99</td></tr></table>

<table><tr><td>3.6 Conclusions</td><td>100</td></tr></table>

Nous avons décrit dans le chapitre précédent le processus d'extraction d'un objet sémantique et ce pour deux catégories d'images. Pour l'image médicale, l'objet visuel consiste en un graphe connexe d'éléments 2D composé de points et de segments ou bien d'éléments 3D composé de boules et de surfaces. Quant aux images photographiques, nous avons pu associer aux concepts visuels des descripteurs visuels ciblés et appropriés. Des informations d'ordre sémantique gravitent autour de ces objets visuels quel que soit le type de l'image et le domaine auquel elle appartient. L'information sémantique permet de mieux caractériser l'objet et facilite sa comparaison par rapport à d'autres objets similaires. Extraire la sémantique de données multimodales à des fins d'interprétation est un problème complexe qui ne dépend pas seulement des données elles-mêmes. Il dépend également de connaissances *a priori* sur le domaine d'application (connaissances de haut niveau) d'une part, et du contexte applicatif d'autre part. Grâce aux progrès récents en ingénierie des connaissances, en particulier le web sémantique, on assiste à une valorisation des approches s'appuyant sur la modélisation de connaissances *a priori* sur le domaine étudié. En particulier, les techniques du web sémantique à travers l'usage de ressources ontologiques permettent de franchir un tel problème en offrant un cadre normalisé de formalisation des connaissances contextuelles d'un domaine donné [KH08]. En imagerie médicale, l'information sémantique est issue principalement des connaissances théoriques souvent exprimées par les médecins experts et publiées dans des articles de journaux spécialisés. Alors que l'information sémantique liée aux images photographiques, peut prendre différents formes. Quand elle est interne à l'image, elle peut renseigner la forme de l'objet perceptif, sa couleur ainsi que ses interactions avec d'autres objets de la même image. Dans des ressources externes, l'information peut se présenter sous la forme d'hyperlien, de tag, ou encore sous la forme d'annotations visuelles, textuelles, voire même sonore. Ce sont ces informations qui ont motivés nos travaux et nous présentons la méthodologie que nous avons adoptée dans la suite de cette section.
<table><caption>TABLE 3.1 – Résumé des projets et des encadrements sur la thématique de l'enrichissement sémantique des descripteurs visuels</caption><thead><tr><td>Master/Thèse/Projet</td><td>Collaborations</td></tr></thead><tbody><tr><td>Olfa Allani (2014-2017)</td><td>Thèse en co-tutelle Hajer Baazaoui (RIADI, Tunis) et Herman Akdag (LIASD, Paris8)</td></tr><tr><td>projet ANR-09-BLAN-0029 MATAIM (Modèles Anisotropes de Texture : Applications à l'Imagerie Médicale. (2010-2013))</td><td>Frédéric Richard, Anne Ricordeau Map5, Univ.ParisDescartes, IPROS (CHU Orléans)</td></tr><tr><td>Houssem Zitoun (2015-6 mois)</td><td>Stage de Master2 en co-encadrement avec Lamia Belouaer post-doctorant à l'École Navale de Brest</td></tr><tr><td>Amira Khemissi (2015-6 mois)</td><td>Stage de Master2 en co-encadrement avec Riadh Farah, ISAMM, Université de la Mboura</td></tr></tbody></table>

## 3.1 Sémantique, texte et images : quelles correspondances ?

Le problème de la mise en correspondance entre le niveau perceptif des données visuelles discuté dans le chapitre 2 (pixels ou voxels, groupes de pixels caractérisés par des descripteurs de bas niveau associés) et leur niveau sémantique (description linguistique en utilisant le vocabulaire du domaine d'application) est un problème bien identifié dans le domaine de l'interprétation et de l'indexation d'images. Il est connu par la fossé sémantique et est défini dans [LZLM07] comme la divergence entre les informations perceptuelles extraite des images et leur interprétation par un utilisateur *lambda* dans une situation déterminée.

Le fossé sémantique est un problème ancien qui a été soulevé dans les travaux fondateurs du domaine de la vision par ordinateur [Mar10] [TG80] [KPD+11]. Il est également identifié comme une problématique d'ancrage de symboles en intelligence artificielle et en robotique [CS99], vu comme la création et la mise à jour de la correspondance entre les symboles et les données perçues (par un capteur visuel ou non) représentant le même objet physique (ou concept abstrait). De manière similaire, dans [BH11], une étude des correspondances entre l'ancrage de symboles et l'annotation sémantiques consiste à associer dynamiquement une information linguistique de haut niveau à un ensemble de primi-
tives perçues (et extraites) dans l'image. Cette information linguistique fait référence aux concepts du domaine d'application ainsi qu'à leur définition.

Toutefois, la notion de sémantique d'une image, bien qu'elle soit indispensable, reste assez vague et varie suivant le contexte applicatif. Par exemple, l'annotation d'images par le contenu se limite souvent à un ensemble de mots-clés indépendants désignant les objets présents dans l'image ; mais elle peut aussi prendre la forme d'une longue phrase décrivant de manière linguistique le contenu de l'image (cf. figure 3.1) incluant des relations entre les différents concepts.

<figure><img src="image_21.png" /><figcaption>FIGURE 3.1 – Images extraites de la collection Image CLEF 2008</figcaption></figure>

Les dimensions sémantiques auxquelles nous nous intéressons sont inspirées des travaux de Biederman [Bie72] [Bie87] :

- le domaine d'application : la sémantique d'une image peut être définie comme une caractéristique émergente de l'interaction entre des données observées et des connaissances sur ces données. Pour extraire cette sémantique, il est indispensable de recourir à un cadre formel et méthodologique permettant de représenter et de raisonner sur cette connaissance;

- l'information spatiale : un objet visuel existe toujours dans le contexte de son environnement et jamais de manière isolée. Il existe donc des relations spatiales entre l'objet et son voisinage, c'est-à-dire avec les autres objets en terme de coexistence spatiale. Il a été démontré dans de nombreuses études cognitives [Tor03] [Bar04] [OT07] que c'est une tâche incontournable en reconnaissance de scènes et demeure sources de motivation de nombreux travaux [CdFB04] [GB10] [DJM18]. C'est en particulier, la connaissance structurelle de la scène et des différents objets pouvant coexister
dans cette même scène que nous cherchons à identifier et modéliser par des relations spatiales entre ces différents objets ;

— l'information contextuelle : dans [GB10], l'information contextuelle est définie comme toute information provenant indirectement de l'apparence d'un objet. Cette information peut être liée au voisinage visuel de l'objet dans l'image, à des informations associées à l'image tels que des tags ou des annotations textuelles ou encore à des mots-clés. Cette information permet souvent de réduire voire de lever l'ambiguïté entre deux objets d'apparence similaire.

Dans notre modèle de représentation de la sémantique, nous considérons trois niveaux d'abstraction à savoir le niveau sémantique primaire de l'objet visuel qui correspond à la description des objets présents dans l'image, le niveau de la sémantique secondaire représenté par les relations entre les objets de l'image et le niveau de la sémantique globale qui inclut tout raisonnement à partir des ressources extérieures et les annotations permettant d'inférer la description de l'image dans sa globalité. Nous allons détailler ces aspects pour trois domaines d'application que sont les images médicales, photographiques et satellitaires.

## 3.2 Images médicales et descripteurs sémantiques

À partir des connaissances sur l'évolution de l'ostéoporose que nous avons pu collecter à partir des articles spécialisés, puis validées par les médecins, nous avons proposé de définir des descripteurs sémantiques pour des objets visuels. Ces descripteurs permettent tout d'abord de labelliser ou d'associer une étiquette de type de structure à chaque élément de l'objet visuel. Comme exemples d'étiquette pour l'objet 2D, nous citons les noeuds de jonction reliant deux ou plusieurs structures, les segments de tension et les segments de compression. La labellisation concernera donc chaque élément pertinent du squelette qui n'est rien d'autre qu'un réseau connecté d'éléments structurels. Par conséquent, les relations spatiales sont inférées à partir de la caractérisation du réseau. Parmi les relations spatiales les plus importantes que nous cherchons à caractériser citons, par exemple, les segments de compression sont alignés dans une direction privilégiée, les segments de tension sont peu denses, les trous sont très étendus, etc. Pour réaliser ces objectifs, et
après avoir élagué le squelette $\theta_i$ de chaque image $I_i$, nous cherchons à le caractériser de la manière suivante :

1. extraire les segments;

2. labeliser les segments en fonction de leur orientation, c'est-à-dire de tension et de compression;

3. Estimer leur nombre et le nombre d'interconnexions;

4. Estimer le nombre de trous;

5. Estimer la taille des trous;

6. localiser les zones avec peu de segments de tension et beaucoup de trous.

## 3.2.1 Images 2D

Tout d'abord, le squelette $\theta$ peut être vu comme l'union de trois ensembles selon $\theta = \{point_{Segments}\} \cup \{point_{Intersections}\} \cup \{point_{Extremites}\}$. Les segments sont de deux types : des segments entre deux intersections ou bien un segment simple avec une intersection et une extrémité. Tous les segments sont labellisés en segment de compression (direction $D^1$) et en segment de tension (direction $D^2$). La méthode de labellisation des segments en $D^1$ et $D^2$ se déroule comme suit. À chaque segment est associé un angle calculé entre l'axe horizontal et l'axe majeur de l'ellipse contenant les pixels. Une fois tous les pixels de chaque segment labellisés par l'orientation de leur segment, nous procédons à une étape de classification basée sur l'histogramme des orientations (cf. figure ??).

Les intersections sont des points qui connectent un ou plusieurs segments. Les extrémités sont les points terminaux d'un segment. Sur ces trois ensembles, nous cherchons à caractériser l'anisotropie de la structure projetée 2D. Ce descripteur d'anisotropie se caractérise souvent par une répartition désordonnée ou déséquilibrée des points d'intersection mais aussi des segments dans la direction de compression des travées. Pour le quantifier, nous avons choisi d'utiliser l'entropie et de l'appliquer aux points d'intersections et aux segments de compression. En effet, pour décrire la répartition spatiale des nœuds, les entropies spatiales sont calculées à partir des blocs de taille $N \times N$. Pour chaque valeur de $N = 2, 4$ et $8$, l'entropie spatiale de Shannon est calculée en prenant en considération la proportion
<table><caption>TABLE 3.2 – Paramètres descriptifs de la structure 2D à base de segments et de points d'intersection.</caption><thead><tr><th>Paramètres morphologiques</th><th>paramètres d'anisotropie</th></tr></thead><tbody><tr><td>W</td><td>W<sup>D1</sup>, W<sup>D2</sup></td></tr><tr><td>L</td><td>L<sup>D1</sup>, L<sup>D2</sup></td></tr><tr><td>L<sub>90%</sub></td><td>L<sub>90%</sub><sup>D1</sup>, L<sub>90%</sub><sup>D2</sup></td></tr><tr><td>L<sub>95%</sub></td><td>L<sub>95%</sub><sup>D1</sup>, L<sub>95%</sub><sup>D2</sup></td></tr><tr><td>L<sub>99%</sub></td><td>L<sub>99%</sub><sup>D1</sup>, L<sub>99%</sub><sup>D2</sup></td></tr><tr><td>n.S</td><td>n.S<sup>D1</sup>, n.S<sup>D2</sup>, T<sup>D2</sup> = <sup>n.S<sup>D2</sup></sup>&frasl;<sub>n.S</sub></td></tr><tr><td>n.Intersections</td><td>Entropie(N), N = 2, 4, 8</td></tr></tbody></table>

des points d'intersection présents en chaque bloc. On considère $n$ le nombre total de points d'intersection, $i$ le numéro du bloc et $p_i$ la proportion de points d'intersection dans le bloc $i$ :

$$Entropie(N) = - \sum_{i=1}^{N^2} p_i \cdot \ln(p_i).$$

L'entropie vérifie l'inégalité suivante : $0 \le Entropie(N) \le \ln(n)$. Quand $Entropie(N) = 0$, cela signifie que les points d'intersection sont concentrés dans un bloc. À l'inverse, une répartition uniforme des points d'intersection sur les $n$ blocs est atteinte quand $Entropie(N) = \ln(n)$. Les paramètres issues des segments en terme de longueur, largeur et direction sont résumés par le tableau 3.2

### 3.2.2 Images 3D

La caractérisation des objets en 2D s'avère peu fiable puisque l'image 2D est une réduction de l'architecture plus complexe en 3D. Comme elle résulte d'une projection dans une direction fixée, l'orientation de la structure est de ce fait biaisée par l'accumulation de la matière (os). Pour cela, nous avons cherché à identifier l'orientation de la structure osseuse 3D en séparant les deux structures plaque et poutre. C'est une étape de discrimination effectuée sur les voxels situés à la surface (les voxels de type grain en contact avec au moins un voxel de type pore). Ce problème peut être vu comme une succession de deux tâches, d'abord de segmentation pour extraire les voxels de surface puis de classification des voxels en deux classes plaque et poutre. Différentes méthodes plus ou moins com-
plexes qui proposent de résoudre ce problème existent dans la littérature. On distingue en
effet deux classes de méthodes. Les méthodes de segmentation orientées structure locale,
sont pour la plupart, basées sur le calcul du squelette tel que « l'axe médian » (AM) et
couplées à des algorithmes d'analyse topologique des voxels du squelette (dit DTA pour
*Digital Topological Analysis*) [PACB10]. Différents algorithmes de DTA existent [SYH+10]
et proposent des classifications très subtiles des voxels en points de jonctions, en points de
surface, en points de courbes et en d'autres types secondaires. Il faut cependant mentionner
que les méthodes de calcul du squelette AM sont très complexes et nécessitent le réglage
de plusieurs paramètres. De plus, DTA est un algorithme très précis mais très sensible au
moindre bruit généré par le calcul du squelette. Compte tenu de sa grande sensibilité aux
bruits, cette solution ne peut pas être appliquée à nos images où le bruit est inhérent à
la technique d'acquisition. Pour remédier à ce problème, nous avons choisi d'utiliser des
méthodes statistiques qui permettent de moyenner le bruit et de réduire considérablement
son impact. Parmi ces méthodes, les tenseurs de structure sont très utilisés en physique
des matériaux pour caractériser leur orientation. Les tenseurs ont été également appliqués
sur des images binaires 2D pour quantifier l'anisotropie globale de la structure osseuse en
utilisant la méthode « *Mean Intercept Length* » (MIL). Le MIL est une méthode ancienne
proposée par [Whi74]. Elle consiste à compter le nombre de points d'intersection entre les
bords de la structure et des des lignes parallèles dans une direction donnée. Un paramètre
mesurant le degré d'anisotropie (DA) est ensuite obtenu à partir d'une estimation du ten-
seur de structure (*MIL Fabric tensor*). Pour une image en niveaux de gris, un tenseur
fondé sur l'image du gradient est principalement utilisé pour décrire l'anisotropie globale
de sa structure. Les vecteurs de gradient sont en effet normaux à la surface. c'est pour
cette raison que le MIL et les approches fondées sur le gradient quantifient l'anisotropie
des bords des structures et non la structure locale. Pour une discussion plus détaillée sur
ces méthodes, nous renvoyons le lecteur aux deux travaux suivants [RM16] [Tab10]. Notre
choix s'est porté sur l'estimation locale du tenseur autour d'un voisinage d'un voxel à par-
tir de l'intensité de l'image du squelette 3D θ<sub>K</sub> et ce pour tous les voxels du squelette.
L'avantage d'utiliser le squelette est de nous permettre une réduction de la dimension
de l'image de départ sans perte tout en préservant les caractéristiques morphologiques et
topologiques de la structure initiale. Nous notons notre tenseur *ILS* pour *Inertia Local*
Tensor. *ILS* est estimé en utilisant une boule *Br* de rayon *r*. Le choix de la boule est justifié par le fait que tous les voxels ont la même probabilité d'être considérés indépendamment du type de la structure locale (surfacique ou curviligne). Le tenseur d'inertie *ILS*(*p*) au voxel *p* est la matrice de covariance associée aux positions des voxels présents dans un voisinage *N*(*p*) ∈ *B*<sub>*r*</sub>. Par conséquent, *ILS*(*P*) est un tenseur symétrique positif de second ordre qui peut être décomposé selon le théorème spectral avec λ<sub>i</sub> les valeurs propres associées aux vecteurs propres *u*<sub>i</sub> :

$$ \mathcal{ILS}(p) = \mathrm{Var}_{N(p)} = \sum_{i=1}^{3} \lambda_i u_i u_i^t \text{ avec } \lambda_1 \ge \lambda_2 \ge \lambda_3 \ge 0. \quad (3.1) $$

Comme le montre la formule (3.1), l'intersection entre la boule en un voxel donné et ses voisins du squelette peut être visualisée par une ellipsoïde ayant les trois vecteurs propres comme axes principaux. Il en résulte que la structure locale centrée en un voxel *p* est :

1. de type curviligne ou linéaire si et seulement si $\lambda_1 \gg \lambda_2 = \lambda_3 = 0$;

2. de type surfacique si et seulement si $\lambda_1 = \lambda_2 \gg \lambda_3 = 0$;

3. isotrope si et seulement si $\lambda_1 = \lambda_2 = \lambda_3 \gg 0$.

L'ensemble $\mathcal{C} = \{\mathcal{L}, \mathcal{S}, \mathcal{I}\}$ des trois classes, ainsi que les types de structure sont synthétisés par le tableau 3.3. La formule (3.1) peut se décomposer en une somme des trois structures

<table><caption>TABLE 3.3 – Trois classes de structures à l'issue des valeurs propres idéales.</caption><thead><tr><th>Condition des valeurs propres</th><th>Classe de structure</th><th>Type de structure</th></tr></thead><tbody><tr><td>$\lambda_1 \gg \lambda_2 = \lambda_3 = 0$</td><td>linéaire</td><td>poutre ou bord de structure</td></tr><tr><td>$\lambda_1 = \lambda_2 \gg \lambda_3 = 0$</td><td>surface</td><td>plaque</td></tr><tr><td>$\lambda_1 = \lambda_2 = \lambda_3 \gg 0$</td><td>isotrope</td><td>zones de jonctions</td></tr></tbody></table>

lanes permettant une meilleure interprétation du tenseur d'inertie de la manière suivante :

$$ \mathcal{ILS}(p) = (\lambda_1 - \lambda_2)\mathcal{ILS}_1 + (\lambda_2 - \lambda_3)\mathcal{ILS}_2 + \lambda_3\mathcal{ILS}_3 \quad (3.2) $$

Étant donné que $\lambda_1$ est une valeur propre strictement positive, on peut calculer à partir de l'équation (3.2), le degré d'appartenance d'un voxel *p* à chacune des trois classes de structure en divisant *ILS* par $\lambda_1$. Nous obtenons ainsi trois degrés d'appartenance $\mathcal{MF}_L$,
$\mathcal{MF}_S$ et $\mathcal{MF}_I$ tels que :

$$ \mathcal{MF}_L = \frac{\lambda_1 - \lambda_2}{\lambda_1} $$

$$ \mathcal{MF}_S = \frac{\lambda_2 - \lambda_3}{\lambda_1} $$

$$ \mathcal{MF}_I = \frac{\lambda_3}{\lambda_1} $$

$$ \mathcal{MF}_L + \mathcal{MF}_S + \mathcal{MF}_I = 1. $$

le maximum $mf(p) = \max_{C_i \in \mathcal{C}} (\mathcal{MF}_{C_i})$ est le degrés d'appartenance calculé en un voxel $p$, et exprime sa certitude d'appartenance à l'une des trois classes, c'est-à-dire la classe $C(p) = \underset{C_i \in \mathcal{C}}{\operatorname{argmax}}(\mathcal{MF}_{C_i})$, dont le degré d'appartenance est maximal (cf. figure 3.2).

<figure><img src="image_22.png" /><figcaption>FIGURE 3.2 – Les trois cas de figures d'ILS</figcaption></figure>

Grâce à notre méthode de tenseur d'inertie appliquée directement au squelette du volume 3D initial, chaque voxel du squelette est labellisé et nous disposons de trois labels contrairement aux travaux de recherche existants qui se contentent seulement de deux labels (plaque et poutre). La labellisation se fait en deux passages. Le premier consiste à attribuer un label à chaque voxel indépendamment de ses voisins. Au second passage, nous cherchons à corriger les labels contradictoires par un algorithme de propagation des labels de chaque voxel à ses voisins selon une boule isotrope de rayon 3. La dernière tâche de cette étape de labellisation consiste à labelliser les voxels du volume initial connaissant les labels des voxels de son squelette. Cette tâche inverse s'effectue simplement par propagation géodésique du volume localement centrée en un point $x$ de la surface vers l'ensemble des points du squelette 3D associés (cf. figure 3.3 correspondant au volume initial de la figure 2.6).
<figure><img src="image_23.png" /><figcaption>FIGURE 3.3 – Squelette du volume initial</figcaption></figure>

**3.3 Descripteurs sémantiques d'images photographiques**

Différents types d'information peuvent être associés aux images [Del99] et être source d'enrichissement sémantique. Tout d'abord, citons la quantification et la qualification des relations spatiales entre les objets visuels au sein d'une même image. Ensuite, la quantification de relations temporelles entre images et extraites depuis les métadonnées. Ces dernières peuvent contenir des informations propriétaires telles que le nom du propriétaire, la localisation de l'image (information spatiale), la résolution, le type de l'appareil, et des informations temporelles telles que la date de création (savoir la saison) et l'heure (nuit ou jour). Enfin, la modélisation des relations sémantiques entre les objets issues des descriptions textuelles des images quand elles existent, ou bien directement déduites à partir des concepts représentant les objets visuels sur l'ensemble de la collection d'images. Les descriptions sont souvent explicitées en texte libre sans aucune structure prédéfinie pour l'annotation ou bien par des mots-clés choisis à partir d'un vocabulaire fermé ou ouvert. Ce sont ces informations qui ont guidé notre démarche exploratoire afin d'enrichir la sémantique de l'image en respectant sa cohérence avec les objets visuels déjà extraits à l'étape précédente. Contrairement aux images médicales, le mécanisme permettant d'extraire et d'inférer cette connaissance directement à partir des données est désormais possible grâce à l'explosion des masses de données multimédia disponibles. Le cadre méthodologique et expérimental pour l'extraction des relations spatiales ont été élaborés dans le cadre d'un stage de Master 2 co-encadré par Lamia Belouaer post-doctorant à l'École Navale de Brest
et moi-même. Ces relations ont été étendues à des relations spatiales floues et ont fait l'objet du stage de Master 2 d'Amira Khemissi co-encadré par Riadh Farah de l'Université de la Manouba de Tunis. Les relations sémantiques contextuelles ont été découvertes dans le cadre de la thèse d'Olfa Allani où des bases d'images annotées avec du texte libre et des bases d'images avec des pages web associées ont été examinées. L'ensemble de ces travaux s'appuie sur des images segmentées où l'on extrait l'ensemble des objets visuels pertinents. Cependant, l'étape de segmentation ne sera pas détaillée ici mais fera l'objet d'une section à part entière dans la suite de ce chapitre.

### 3.3.1 Relations spatiales

Admettons que vous ayez pris une photo d'un groupe de personnes derrière une voiture et que la voiture est à droite d'une église. Lorsque vous effectuez une interrogation d'un système de recherche inversée d'images avec la photographie en question, vous vous attendez normalement à des images similaires. C'est là qu'interviennent les relations spatiales qui constituent une base de descriptions linguistiques contribuant à l'enrichissement sémantique du contenu visuel des objets. Afin de définir la relation spatiale, il faut tout d'abord définir l'entité spatiale. Une entité spatiale est tout objet de l'espace qu'on veut caractériser. Elle peut être statique (un bâtiment, un bureau, une ville, une forêt, etc.) comme elle peut être dynamique (un humain, une voiture, un robot, etc.). Dans notre cas, ce sont les objets visuels déjà identifiés à l'étape précédente. Les relations spatiales représentent l'ensemble des caractéristiques déterminant les positions relatives de deux ou plusieurs objets dans un espace donné. Elles se déclinent en deux types de relations topologiques et métriques (illustrées par la figure 3.4) [HAB08].

Parmi les relations métriques, distinguons les relations de direction et les relations de distance. Outre la simplicité de cette typologie des relations spatiales, les relations de direction restent limitées à des configurations d'ordre (binaire ou tertiaire) basiques telles que *avant*, *après*, *en dessous* ou *en dessus*. Or, dans certaines configurations, notamment en navigation autonome de robots dans un espace dynamique, en détection des objets à partir d'images satellitaires, ou encore dans la détection des alignements des plaques et des poutres dans les images médicales de l'ostéoporose, il est utile de déterminer les
<figure><img src="image_24.png" /><figcaption>FIGURE 3.4 – Classification des relations spatiales [HAB08]</figcaption></figure>

orientations des objets et de définir des alignements orientés entre les objets. Partant de ce postulat, nous avons proposé d'élargir le modèle proposé par [HAB08] et par [Bel11] où les relations de direction se distinguent en relations d'ordre et en relations d'alignement orienté (cf. figure 3.5).

<figure><img src="image_25.png" /><figcaption>FIGURE 3.5 – Relations spatiales orientées</figcaption></figure>

### 3.3.2 Formalisation des relations spatiales

Les relations topologiques sont les relations les plus simples à détecter automatiquement. En utilisant principalement des opérations ensemblistes telles que l'intersection et l'inclusion.
sion entre deux ensembles, nous avons labellisé chaque paire d'objets avec une relation parmi les cinq présentées dans la figure 3.5. Nous avons considéré deux types de formalisation à savoir par des ensembles classiques et par des ensembles flous.

## Distance floue

Les relations de distance permettent de décrire la distance séparant deux objets. Elle peut être quantifiée par un nombre sur $\mathbb{R}^+$ ou encore qualifiée par des relations linguistiques telles que *Près* ou *Loin*. D'autres relations peuvent être générées en changeant le degré de granularité ou bien en ajoutant des quantifieurs linguistiques (*très* Loin ou *peu* Loin). Nous considérons que nos objets visuels sont des objets flous à cause de l'étape de segmentation qui reste un pré-traitement approximatif et, de ce fait, bruité. Une distance floue est justifiée pour tenir compte de l'imprécision topologique des objets visuels. Plusieurs distances entre ensembles flous ont été proposées dans la littérature. Celles qui nous intéressent doivent : (1) permettre de prendre en considération l'hétérogénéité topologique et spatiale des structures ; (2) être invariantes par changement d'échelle ; (3) être symétriques. Les dilatations morphologiques sont des fonctions qui permettent de générer par dualité, des distances vérifiant les trois propriétés fixées. L'avantage du formalisme morphologique est que les distances sont alors exprimées sous forme algébrique et donc plus faciles à étendre au cas flou en préservant leurs propriétés ainsi que les expressions analytiques usuelles. La dilatation floue est tout simplement l'extension de la formule (2.2) à des sous-ensembles flous :

$$ \forall x \in I, \Delta_B^F(O)(x) = \sup_{y \in I} [t[B(y-x), O(y)]] \quad (3.3) $$

où $\Delta^F$ est la dilatation floue par l'élément structurant flou $\mathcal{B}$ et $t$ est l'opérateur t-norme. La distance floue $\mathcal{D}_F$ entre deux sous-ensembles flous $O_1$ et $O_2$ peut être vue comme le nombre minimal de dilatations floues appliquées à $O_1$ pour intercepter la première fois $O_2$ (resp. dilatations successives de $O_2$ jusqu'à intercepter $O_1$ la première fois). Autrement dit, nous cherchons le point le plus proche soit dans $O_1$, soit dans $O_2$. Explicitée de cette façon, la distance floue par dilatations successives n'est autre que la distance de Hausdorff.

$$ \forall x \in I, \mathcal{D}_F(O_1, O_2) = \inf_{n \ge 0} f(\Delta_B^F(O_1)^n(x)) \cap O_2 \neq \emptyset \quad (3.4) $$
$$ = \inf_{n \ge 0} (\Delta_B^F(O_2)^n(x)) \cap O_1 \neq \emptyset $$

Le coût de calcul de la distance de Haussdorff est de $O(taille(O_1) \times taille(O_2))$ tandis qu'une dilatation est de $min(O(taille(O_1)), O(taille(O_2)))$. Par conséquent, la dilatation floue est une solution optimisée d'implémentation de la distance de Hausdorff. Par ailleurs, les distances floues que nous avons utilisées ont été représentées linguistiquement et varient entre très proche à très loin. Quelques résultats de tests sont illustrés par la figure 3.6 où la requête textuelle consiste à chercher des images contenant des enfants très proches des ballons.

<figure><img src="image_26.png" /><figcaption>FIGURE 3.6 – Encodage de la distance en sous-ensembles flous et résultats de recherche avec la relation très proche</figcaption></figure>

## Relation d'ordre

Pour définir une relation d'ordre binaire ou tertiaire, il est indispensable de fixer un objet de référence. En effet, certaines relations d'ordre ne sont pas symétriques. Par exemple, si on souhaite décrire quel objet se trouve à droite d'un autre objet, l'objet de référence impose la sémantique de la relation puisque, si nous inversons la référence, l'ordre n'est plus vrai. Les relations d'ordre non symétriques sont essentiellement à droite, à gauche, en haut, en bas, devant et derrière. Tandis que les deux relations à côté et adjacent sont
symétriques. Pour détecter automatiquement les différentes relations d'ordre, nous avons procédé en trois étapes. La première étape consiste à délimiter les objets par des boîtes englobantes facilitant la détection des collisions entre les objets (voir l'exemple de la figure 3.7). La seconde étape consiste à poser un sens de référence lié à l'observateur et qui sera associé à l'objet de référence. La troisième étape consiste à évaluer la relation en comparant les positions des boîtes englobantes et de les transcrire en XML. Pour déterminer la boîte englobante, nous réutilisons le tenseur d'inertie $ILS(p)$ présenté par la formule (3.1), appliqué à des objets en deux dimensions. La matrice de covariance associée aux positions des pixels $p$ présents dans un voisinage $N(p) \in B_r$ est calculée. Par conséquent, $ILS(O)$ est un tenseur symétrique positif de premier ordre qui peut être décomposé selon le théorème spectral avec $\lambda_i$, les valeurs propres associées aux vecteurs propres $u_i$ :

$$ILS(p) = Var_{N(p)} = \sum_{i=1}^{2} \lambda_i u_i u_i^t \text{ avec } \lambda_1 \ge \lambda_2 \ge 0.$$

<figure><img src="image_27.png" /><figcaption>FIGURE 3.7 – Exemples de boîtes englobantes</figcaption></figure>

La boîte englobante est le rectangle qui circonscrit à l'ellipse définie par ces deux vecteurs propres $\vec{u}_1$ et $\vec{u}_2$. Dans la seconde étape, le sens de référence associé à l'objet de référence peut être désigné par l'observateur lui-même. À défaut, il est confondu avec le sens de l'observateur de l'image (droite et gauche de l'observateur projetés sur l'objet de référence). Un exemple de relation d'ordre est illustré par la figure 3.8.

## Alignement orienté

Par alignement orienté, nous cherchons à repérer des objets qui sont disposés dans une même direction. Pour cela, nous avons associé à chaque objet l'angle d'orientation de sa
<figure><img src="image_28.png" /><figcaption>FIGURE 3.8 – Exemple de relations d'ordre</figcaption></figure>

propre boîte englobante. Pour simplifier le problème, nous avons considérer les valeurs absolues des angles et nous les avons réduits en prenant leur *modulo* par rapport à 180°. Deux objets sont détectés alignés dans une direction donnée si et seulement si la différence entre les angles est inférieure à un seuil fixé (cf. figure 3.9). Ce seuil a été fixé arbitrairement et correspond à 18° afin de considérer les alignements horizontaux et verticaux. L'histogramme des angles nous a permis d'ajouter une connaissance supplémentaire qui est la dispersion des objets dans l'image. En effet, l'histogramme permet de refléter la répartition des objets dans l'espace de l'image ainsi que la densité de présence des objets dans une ou plusieurs directions privilégiées. C'est exactement la même idée d'anisotropie abordée au niveau des images médicales de l'ostéoporose dans le cas 2D et 3D. Via le degré de dispersion que nous avons associé à chaque objet en plus de la distance entre les objets, nous induisons facilement les objets composant un groupe, comme, par exemple, un groupe de personnes (soit une foule en fonction de la densité et de la distance).

<figure><img src="image_29.png" /><figcaption>FIGURE 3.9 – Exemple de relations d'ordre : l'objet A est aligné avec l'objet B.</figcaption></figure>
# 84CHAPITRE 3. ENRICHISSEMENT SÉMANTIQUES DES DESCRIPTEURS VISUELS

L'ensemble des relations que nous avons traitées sont essentiellement binaires. Les relations ternaires nécessitent davantage de traitement et de formalisation même si dans notre implémentation nous avons considéré la relation simple « entre ». Mais des perspectives d'extension de ces travaux sont déjà en cours pour considérer des relations plus complexes. Dans la figure 3.11, nous présentons quelques résultats pour les deux derniers types de relations spatiales que sont l'ordre et l'alignement.

<figure><img src="image_30.png" /><figcaption>FIGURE 3.10 – Requêtes spatiales</figcaption></figure>

FIGURE 3.11 – Images résultats des requêtes
3.3.3 Relations sémantiques

Le but de cette étape est de construire des relations sémantiques homogènes entre les concepts. Nous allons nous focaliser principalement sur les relations taxonomiques et les relations contextuelles. Les relations taxonomiques permettent d'établir une hiérarchisation des concepts. Elles organisent les concepts dans une structure arborescente. Les relations contextuelles permettent d'attribuer du sens à la terminologie. La terminologie est le résultat de l'extraction des termes décrivant les objets visuels ainsi que la construction de corpus textuels depuis les annotations. Pour atteindre cet objectif, nous allons tout d'abord procéder à une première classification des objets visuels selon les concepts sémantiques et le domaine. Rappelons que notre objet visuel consiste en une région d'intérêt identifiée pertinente dans l'image. Supposons que cette région présente une tour et sera naturellement rattachée au concept *Tour*. Ce concept pourrait faire référence à *une tour de télécommunication* ou bien à *une tour médiévale* ou encore à un événement *le tour de France*. Ce même concept peut donc être associé à trois objets visuels différents laissant penser qu'il s'agit des trois mêmes. Le besoin de distinguer ces objets selon leur concept mais aussi leur sens paraît primordial et indispensable. C'est cette notion de contexte sémantique que nous cherchons à extraire à partir des concepts, des régions d'une même image et la projection des concepts sur le domaine des vocabulaires extrait et analysé depuis les annotations textuelles (*i*; le corpus textuel) ainsi que les méta-données. La première classification sémantique des concepts sera basée seulement sur les termes. En effet, chaque terme peut avoir différents sens, sous la forme d'une liste d'éléments appelés *synsets*, portant les sens plausibles associés aux concepts, relativement au contexte d'usage du terme. Afin de lever l'ambiguïté sémantique, une étape de filtrage sémantique de l'ensemble des *synsets*, consiste à éliminer les sens non pertinents en s'appuyant sur le contexte d'usage du terme. Par exemple, pour le terme *Eclipse*, nous disposons des deux annotations suivantes : (1) *Eclipse provides a universal toolset for development and is an Open Source IDE* et (2) *The solar eclipse occurs when the moon passes between the sun and Earth, and the Moon fully or partially blocks the Sun*. Ces deux phrases constituent le contexte d'usage du terme permettant de discriminer le sens le plus probable. Toutefois, il est force de constater que le même terme *Eclipse* appartient à deux domaines différents,
*Informatique* et *Astronomie*. Par conséquent, la classification des images par ensemble de domaines homogènes est une étape importante et utile pour la *désambiguïsation*. Cette étape ne devra en aucun cas se faire à l'échelle d'une région compte-tenu de sa complexité ($O(nLog(n))$), *n* étant le nombre total de régions). Le résultat de la phase de désambiguïsation est l'attribution à chaque concept, un ensemble homogène de paires de contexte et synsets associés.

Formalisation

Avant de détailler dans ce qui suit les différentes étapes d'élaboration des relations contex-
tuelles des concepts, nous proposons de formaliser notre problème de la manière suivante :
Soit $\mathcal{O} = \{o_1, o_2, ..., o_N\}$, l'ensemble des objets visuels sur toute la collection d'images.
Soit $\mathcal{C}_{min} = \{c_1, c_2, ..., c_M\}$, l'ensemble minimal des concepts de la collection d'images.
Comme exemple de concepts, nous pouvons définir $\mathcal{C}_{min} = \{building, wall, wallpanel, chimneybreast\}$.

Chaque concept est relié à un ou plusieurs objets visuels (voir l'exemple du concept *Tour*).
On note $\mathcal{C}_{max}$ l'ensemble des concepts $\mathcal{C}_{min}$ enrichi par une ressource lexicale extérieure.
Un exemple d'enrichissement de $\mathcal{C}_{min}$ par WordNet<fnref n="1" /> est $\mathcal{C}_{max} = \{building, wall, wallpanel, chimneybreast, painting, graphicart, portrait, construction\}$.

Étant donné qu'une base d'images peut couvrir un ou plusieurs domaines et s'étaler sur
un ensemble élargi de thématiques, nous proposons de traiter le cas d'une base multi-
domaines. En effet, une seule image couvre généralement plus d'une thématique. Par
exemple, une image de paysage avec une montagne ou une forêt contient les éléments *ciel*,
*verdure*, *eau*, etc. Désignons par $\mathcal{D} = \{d_1, d_2, ..., d_P, \}$ l'ensemble des domaines couverts
par la collection.

On considère $\mathcal{X}$ l'ensemble des contextes définis de $\mathcal{O} \times \mathcal{C} \rightarrow \mathcal{D}$ tel que $\mathcal{X}(o_i, c_j) = d_k$ est un sous-ensemble de $\mathcal{D}$, défini comme étant les objets visuels du domaine $d_k$.

<footnote n="1">1. https://wordnet.princeton.edu/</footnote>
Construction des domaines $\mathcal{D}$ et leurs vocabulaires

Nous proposons ici de construire dynamiquement les domaines de la collection. Nous par-
tons toujours des concepts issus des termes qui correspondent aux objets visuels obtenus
par segmentation suivie de reconnaissance d'objets dans l'image. Par nature, $\mathcal{C}$ est un en-
semble hétérogènes de concepts qui peut être structuré en groupes de concepts homogènes.
Ce problème est vu comme une classification non supervisée puisque nous ne disposons
d'aucune information *a priori* sur le nombre de domaines. Il s'agit donc de partition-
ner un ensemble de concepts en un ensemble de groupes de concepts sémantiquement
homogènes en se fondant sur la distance sémantique inter-concepts et la distance intra-
concepts. Ainsi un domaine $d_l$ est un ensemble de concepts tel que la similarité entre
deux ensembles de termes $sem(c_i, c_j)$ est maximale et $sem(c_i, c_k)$ est minimale, pour tout
$i \neq j, i \neq k, c_i, c_j \in d_l$ et $c_k \notin d_l$.

La mesure de distance *sem* doit rendre compte de l'écart sémantique entre chaque paire
de termes $t_{c_A}, t_{c_B}$ appartenant respectivement aux concepts $c_A, c_B$, pour tout $A \neq B$.
La similarité sémantique peut être facilement comprise comme *combien un mot A est lié au mot B?*. La détermination des similarités sémantiques est souvent évoquée dans
les applications du traitement du langage naturel (TLN). Plusieurs types de mesures de
similarités existent :

— les mesures sémantiques distributives (statistiques) : se fondent sur l'analyse de texte et sur l'hypothèse que les mots fréquemment présents ensemble sont liés sémantiquement. Elles sont utilisées dans l'évaluation de proximités entre textes. Citons la méthode LSA (*Latent semantic analysis*) [Lan06], PMI (*Pointwise mutual information*) [Bou09], SOC-PMI (*Second-order co-occurrence pointwise mutual information*), NGD (*Normalized Google distance*) [CV07], etc.;

— les mesures sémantiques à base de connaissance : elles utilisent les ontologies, taxono-
mies, dictionnaires, thésaurus, etc., pour les comparer. Deux types sont à distinguer :

— les mesures sémantiques fondées sur des graphes (topologiques) sont utilisées pour comparer des concepts ou des concepts définis dans un graphe mais aussi pour comparer des concepts définis dans une taxonomie ou un graphe sémantique. Elles peuvent être basées nœuds ou arcs. Parmi les méthodes à base de
noeuds, citons les méthodes de Resnik [Res95], de Jiang et Conrath [RJY15], les méthodes DiShIn (Disjunctive Shared Information between Ontology Concepts) [CS11] et Align, Disambiguate, and Walk [VJS+14]. Les lecteurs intéressés par plus de détails sur les mesures de similarité sémantique peuvent consulter les articles proposés par [EAM14], puis récemment par [Far19];

— les mesures sémantiques logiques sont généralement utilisées pour comparer des expressions plus complexes et ce, lorsque les informations définies sur les éléments à comparer (concepts ou instances) ne peuvent pas être réduites à un graphe.

La synthèse de ces mesures est exposée dans le tableau 3.4.

La méthode de classification non supervisée doit prendre en compte la hiérarchie sémantique entre les concepts. Nous avons appliqué l'algorithme de clustering hiérarchique avec lequel les groupes sont construits selon des critères de proximité sémantique. Nous obtenons à ce stade, l'ensemble des domaines $d_1, d_2, ..., d_P$ où $P$ est le nombre minimal de domaines obtenus par l'algorithme de clustering hiérarchique. Contrairement à l'algorithme k-means, le nombre de groupes n'est pas fixé à l'avance et il résulte de la construction récursive de la hiérarchie des domaines. Chaque domaine $d_i$, avec $i = 1..P$, est composé d'un ensemble de concepts sémantiquement proches $\{c_1^i, c_2^i, ..., c_I^i\} \subseteq C$, mais qui peuvent être hétérogènes en terme de contexte. Pour assurer une cohérence contextuelle de ces concepts pour un même domaine, nous procédons à une étape de désambiguïsation des synsets associés aux concepts.

## Désambiguïsation des domaines

À l'étape précédente, nous avons obtenu un ensemble initial $D$, composé d'un nombre minimal de domaines. Chaque domaine pourra encore se décliner en sous-domaines par élimination de l'incohérence contextuelle. Pour lever l'incohérence contextuelle qui peut y avoir entre concepts, nous allons nous appuyer sur les synsets. En effet, Les instances des synsets sont des regroupements de mots synonymes qui expriment le même concept. Ainsi, à tout concept $c_i$ lui est associé un ensemble de mots noté synsets($c_i$) = $\{t_1^i, t_2^i, ..., t_K^i\}$, où $t$ est synonyme du concept $c_i$. Par ailleurs, deux objets visuels différents peuvent être
<table><caption>TABLE 3.4 – Mesures de similarité sémantique</caption><thead><tr><th>Similarité</th><th>Classe</th><th>Description</th></tr></thead><tbody><tr><td>Tversky (Tve) [Tve77]</td><td>Topologique basée arcs</td><td>La similarité entre deux objets est exprimée comme le nombre pondéré de propriétés en commun, auxquelles on retire le nombre pondéré de propriétés spécifiques à chaque objet. Il propose donc un modèle de similarité non symétrique, appelé modèle de contraste basé sur l'intersection et la différence entre deux concepts (c1, c2) en terme de taxonomie. À noter que la position des termes dans la taxonomie et le contenu informatif du terme sont ignorés. La métrique de Tve est $sem_{Tve} = \frac{|c1 \cap c2|}{|c1 \cap c2| + |\alpha|c1 - c2| + |\beta|c2 - c1|}$</td></tr><tr><td>Leakcock et Chodorow (LC) [LC98]</td><td>Topologique basée arcs</td><td>la mesure LC a pris en compte la profondeur maximale de la taxonomie et a proposé la métrique suivante : $sem_{LC}(c1, c2) = -log\frac{len(c1,c2)}{2*DeepMax}$</td></tr><tr><td>Hirst et ST-Onge (HSO) [HS98]</td><td>Topologique basée noeuds</td><td>La mesure de HSO calcule la relation entre les concepts en utilisant la distance entre les noeuds du concept, le nombre de changements de direction du chemin reliant deux concepts (c1, c2) et l'admissibilité du chemin en se fondant sur WordNet. Un chemin autorisé est un chemin qui ne s'éloigne pas de la signification du concept de source et devrait donc être pris en compte dans le calcul de la parenté. Soit d le nombre de changements de direction dans la trajectoire qui relie deux concepts c1 et c2, soient C et k deux constantes, et $sem_{HSO} = C - SP - k*d$.</td></tr><tr><td>Wu et Palmer (WP) [WP94]</td><td>Topologique basée noeuds</td><td>C'est un score qui tient compte de la position des concepts c1 et c2 dans la taxonomie par rapport à la position du substitut le moins courant (c1, c2). Il suppose que la similarité entre deux concepts est fonction de la longueur (Len) et de la profondeur (Depth) du chemin dans les mesures basées sur le chemin. $Sem_{WP}(c1, c2) = \frac{(2*Depth(LCS(c1,c2)))}{(Len(c1,c2)+2*Depth(LCS(c1,c2)))}$ où LCS(c1, c2) = Noeud le plus bas de la hiérarchie qui est un hyperonyme de c1, c2</td></tr></tbody></table>

représentés par un même concept. Cependant, la cohérence des objets visuels au sein d'une même image peut être vue comme la vraisemblance qu'un objet soit présent dans certaines scènes mais pas dans d'autres. Cette information à caractère statistique est souvent liée aux co-occurrences entre différents objets au sein d'une même image ou aux occurrences d'un objet dans une image donnée. C'est une information importante pour l'interprétation d'images car elle peut permettre de déduire des connaissances de plus haut niveau sur une image donnée et assurant désormais la cohérence de son interprétation. Pour ce faire, nous
avons choisi BabelNet [NS12] qui est un dictionnaire encyclopédique multilingue et un réseau sémantique intégrant automatiquement plus de douze ressources qui sont les plus utilisées pour construire les synsets et la désambiguïsation. Nous avons calculé par la suite une matrice de co-occurrences basée sur la distance entre les synsets des concepts telle que $dis(s_{c_i}, s_{c_j}) = 1 - sem(s_{c_i}, s'_{c_j})$, pour tout $s \in synsets(c_i)$ et $s' \in synsets(c_j)$, avec $i \neq j$, $i, j = 1..I$. La matrice de co-occurrences est parcourue pour fusionner les concepts dont les synsets sont très proches. Enfin, nous obtenons ainsi des sous-domaines déclinés du domaine initial. Les sous-domaines résultants sont caractérisés par des ensembles disjoints de paires $(c_i, synsets(c_i))$.

Construction d'un graphe d'objets visuels

La phase de construction de graphe d'objets visuels permet de créer des index hiérarchiques visuels et représentatifs des domaines. Elle fait la transformation d'un ensemble d'objets répartis selon les différents domaines en un ensemble de graphes dont les noeuds correspondent aux objets et les arcs correspondent aux similarités visuelles. Étant donné qu'un domaine est représenté par un vocabulaire de concepts, les objets représentant chaque concept sont organisés en sous-graphe fortement connexes. Les sous-graphes sont ensuite résumés par les objets les plus significatifs de chacun d'eux. Ce sont les objets ayant une similarité visuelle maximale qui sont désignés comme objets représentatifs. La similarité visuelle se calcule en fonction du type du descripteur visuel extrait des images et disponible dans les collections de descripteurs visuels introduites au niveau du chapitre 2. Le mécanisme d'extraction des descripteurs visuels des objets est implémenté en utilisant les bibliothèques jFeatureLib<fnref n="2" /> et LIRE<fnref n="3" />. La similarité inter-objets représente la moyenne des mesures de similarité adaptées à chaque descripteur. L'extraction des descripteurs et le calcul de similarité seront tous les deux détaillés au niveau du chapitre 4.

<footnote n="2">2. http://jfeaturelib-api.locked.de/v1.6.0/</footnote>

<footnote n="3">3. www.lire-project.net/</footnote>