3.4 Enrichissement des domaines et module ontolo-
gique

Jusqu'à présent, nous n'avons pas encore exploité les informations contenues dans les
fichiers d'annotation des images. Les annotations apportées aux images consistent en un
ensemble de phrases descriptives de la scène d'intérêt dans l'image. Un corpus de phrases,
corpusᵢ est associé à chaque domaine dᵢ identifié par l'étape précédente. L'analyse de
l'ensemble des fichiers d'annotation distingue des phrases grammaticalement correctes et
des phrases sans verbes. Afin d'évaluer la qualité du corpus textuel obtenu, nous avons
fixé deux critères : lexical et thématique [FR07]. Pour effectuer l'analyse thématique,
des outils automatiques dédiés ont été comparés. Il s'agit de Computer Aided Qualitative
Data Analysis Systems (CAQDAS<fnref n="4" />) où plusieurs outils CAQDAS existent; parmi eux,
citons QDA Miner Lite<fnref n="5" />, Coding Analysis Toolkit<fnref n="6" />, Computer Aided Textual Markup and
Analysis (CATMA)<fnref n="7" />. Notre choix s'est porté sur CATMA compte-tenu de sa popularité
et de sa performance. L'analyse lexicale du corpus consiste à décomposer une chaîne de
caractères en entités lexicales puis de leur appliquer un analyseur lexical. L'analyseur
lexical est une fonction qui contient toutes les informations sur les séquences de caractères
qui peuvent être contenues dans les entités lexicales. Les deux analyses sont réalisées
séquentiellement et permettent d'éliminer les bruits du corpus et de reconnaître les mots
et les caractères spéciaux. Les paires (dᵢ, corpusᵢ) seront nos données d'entrée pour la phase
de construction du module ontologique OMᵢ associé. La figure 3.12 décrit les détails de
la construction du module ontologique organisé en cinq étapes.

Les étapes (1) et (2) permettent de dégager le vocabulaire nécessaire pour la construc-
tion de l'ontologie à savoir les concepts et les relations ainsi que l'enrichissement. Il s'agit
des phases de conceptualisation lexicale. Une fois que les données nécessaires pour la
construction d'ontologie sont constituées, l'étape suivante (3) consiste en la formalisation
permettant de passer d'un vocabulaire source à un vocabulaire cible respectant la struc-
ture des éléments d'une ontologie, à savoir, les classes, les sous-classes, les individus et

<footnote n="4">4. onlineqda.hud.ac.uk/IntroCAQDAS/</footnote>

<footnote n="5">5. provalisresearch.com/fr/produits/logiciel-d-analyse-qualitative/logiciel-gratuit/</footnote>

<footnote n="6">6. cat.texifter.com/</footnote>

<footnote n="7">7. catma.de/</footnote>
<figure><img src="image_31.png" /><figcaption>FIGURE 3.12 – Processus de construction du module ontologique en 5 étapes.</figcaption></figure>

les relations. À l'étape (4), une ontologie est générée dans un langage de modélisation ontologique valide. L'ontologie résultante sera évaluée en utilisant un raisonneur (5). Nous reprenons chacune des étapes dans les sections qui suivent.

### 3.4.1 Conceptualisation du lexique

La conceptualisation du lexique permet l'union des concepts de domaine en un seul ensemble. Ceci inclut les concepts définissant le domaine et les concepts syntaxiquement et sémantiquement reliés. Dans le but de construire des modules ontologiques couvrant le maximum de concepts et de relations du domaine, nous avons été amenés à enrichir le vocabulaire du domaine dont la construction a été décrite dans la section 3.3.3. L'efficacité de l'étape d'enrichissement repose principalement sur le choix de la ressource utilisée. Plusieurs ressources sont disponibles et libres d'utilisation en tant qu'API web. Le choix de la ressource est fortement lié à nos besoins à savoir la complétude, l'extensibilité, la diversité des catégories lexicales présentes et des types de relations ainsi que l'adéquation avec la problématique de désambiguïsation. La comparaison selon les critères cités nous a permis de sélectionner la ressource BabelNet [AMBA17]. Ce dernier est le plus complet avec un maximum de ressources incluses. Il offre une architecture structurée en graphe où les éléments sont des concepts de différentes catégories lexicales, les relations sémantiques,
hiérarchiques et lexicales. Il offre également un outil de désambiguïsation raisonnable en temps de calcul et dont l'efficacité a été approuvée. L'approche de désambiguïsation proposée par BabelNet est basée également sur les graphes. Une heuristique repère des sous-graphes de densité maximale au sein du réseau sémantique multilingue BabelNet2.5.1⁸ et sélectionne des interprétations sémantiques cohérentes. Il associe à chaque noeud de BabelNet une signature sémantique (ensemble de noeuds reliés). Ensuite, il extrait tous les fragments du texte d'entrée pouvant être liés et liste leurs sens possibles. L'étape qui suit consiste à créer une interprétation sémantique du texte basée sur des graphes en liant les sens des fragments candidats extraits. Enfin, il extrait un sous-graphe dense à partir duquel le meilleur sens candidat pour chaque fragment est sélectionné [Nav09]. Cependant, BabelNet est lent quant à la manipulation des listes de concepts reliés. En effet, le grand nombre de ressources intégrées peut être à l'origine d'une explosion du nombre de traitements à prévoir et causer des redondances durant la phase d'enrichissement ; ce qui explique entre autres sa lenteur. La phase d'enrichissement à partir de BabelNet est directement faite en introduisant le concept et ses synsets. Une liste des concepts et des expressions reliées avec les informations qui les concernent et le type de relation est retourné. Comme BabelNet est composé de plusieurs ressources, les relations extraites sont les mêmes que celles offertes par les ressources qui le composent. Le tableau 3.5 présente les relations dérivées de chaque ressource intégrée à BabelNet.

<table><caption>TABLE 3.5 – Relations dérivées des ressources intégrées à BabelNet</caption><thead><tr><th>Type de relations</th><th>Ressource</th></tr></thead><tbody><tr><td>Taxonomiques</td><td>WordNet</td></tr><tr><td>Taxonomiques et sémantiques</td><td>Wikipedia, Open Multilingual WordNet, Omega-Wiki, WikiData, Wikiquote, VerbNet, Microsoft Terminology, GeoNames, WoNeF, ItalWordNet</td></tr></tbody></table>

Les concepts reliés ainsi que les relations sont utilisés ensuite pour la construction du module ontologique. Nous enregistrons les concepts résultant de la phase d'enrichissement dans une liste et les relations en tant que liste de triplets. Un triplet relation présente deux concepts et la relation qui les connecte se lit ainsi : « concept A » possède la relation

<footnote n="8">8. pyBabelNet</footnote>
« relation » avec « concept B ». Le filtrage des données résultant de l'enrichissement est une étape qui permet d'assurer l'homogénéité interne du vocabulaire de domaine. Elle repose sur la vérification de la non redondance des éléments et l'appartenance des concepts déduits au domaine en question.

## 3.4.2 Détection des relations

Au niveau d'une ontologie, les relations représentent les liens que les objets peuvent avoir entre eux. Ce sont les liens entre les classes/sous-classes de concepts. À travers les travaux de la littérature, nous avons établi la hiérarchie représentée par la figure 3.13 qui illustre les différents types de relations entre concepts. Ces relations étant classées en deux types majeurs qui sont les relations taxonomiques et les relations sémantiques. Les relations taxonomiques permettent d'établir une hiérarchisation des concepts. Elles organisent des concepts dans une structure arborescente. Les relations sémantiques permettent de donner du sens à une terminologie. Ce sont en général des relations d'équivalence, de hiérarchie ou d'association.

<figure><img src="image_32.png" /><figcaption>FIGURE 3.13 – Catégorisation des relations taxonomiques et sémantiques entre concepts</figcaption></figure>

### Les relations taxonomiques

D'un point de vue mise en place de systèmes, les relations taxonomiques sont déduites de la ressource lexicale durant l'étape d'extraction des concepts reliés. On distingue les :

- relations d'hyponymie ou de spécialisation généralement connues sous « *is kind of* » ou « *is a* ». Par exemple, une enzyme est une sorte de protéine, qui est à son tour
une sorte de macromolécule;

— relations partitives ou de méronymie décrivent les concepts qui font partie d'autres concepts.

### Les relations sémantiques

Les relations sémantiques, non taxonomiques, peuvent être classées en :

— relations nominatives décrivant le nom des concepts qui sont des entités nommées. Par exemple : « *Pays avoir-capitale Paris* »;

— relations locatives qui décrivent l'emplacement d'un concept. Par exemple : « *lit est-situé-dans chambre-à-coucher* »;

— relations associatives qui correspondent à des propriétés entre concepts ou à des attributs dans le cas où elles associent à un concept un type de données prédéfini; des propriétés logiques sont associées à ces relations telles que la transitivité, la symétrie.

L'étape d'extraction des relations sémantiques du corpus textuel pour un domaine est une tâche multidisciplinaire puisqu'elle s'inscrit dans le cadre d'une des applications du traitement automatique de la langue naturelle (TALN) appliquée à la recherche d'information et la fouille de texte. Le TALN est l'ensemble des méthodes et des programmes qui permettent un traitement par l'ordinateur des données langagières en tenant compte des spécificités du langage humain [Cor08]. Le TALN se construit autour de deux catégories de techniques linguistiques et par apprentissage statistique. Les techniques linguistiques consistent à se doter d'une représentation, une modélisation des langues et des données langagières. Elles permettent de développer une recherche linguistique pure de modélisation des données langagières; ensuite, de définir des modèles et des algorithmes en conséquence. L'objectif de cette étape est d'analyser et filtrer le corpus textuel dans le but d'en déduire les relations sémantiques entre les concepts. Il s'agit ensuite de stocker ces relations dans des triplets de même structure que les triplets extraits à la fin de l'étape d'enrichissement. Plusieurs outils d'extraction de ces relations existent. Parmi eux, citons OpenNLP, Treetagger, RelEx [FKZ07], Stanford nlp, Opencalais Submission Tools, Ollie, qui sont les plus utilisés à l'heure actuelle. À travers la comparaison de ces outils, nous avons choisi
d'utiliser Ollie nous permettant de le faire évoluer pour une extraction des relations de
dépendance dans des phrases sans verbe. L'ignorance de ces phrases dans notre traite-
ment engendre la perte d'informations importantes du corpus (63% des phrases sont sans
verbe). C'est pourquoi nous avons proposé d'étendre Ollie afin d'extraire des relations de-
puis des phrases sans verbes en s'appuyant sur une analyse de la grammaire anglaise. La
figure 3.14 décrit le processus d'extraction de relations sémantiques pour des phrases sans
verbes. En effet, une phrase sans verbes est décomposée à travers un outil d'analyse de la

<figure><img src="image_33.png" /><figcaption>FIGURE 3.14 – Extraction des relations sémantiques pour des phrases sans verbes</figcaption></figure>

langue naturelle en des phrases nominales. Ensuite, nous analysons les différents prédicats
afin de détecter leur type en se basant sur l'utilisation ou non des prépositions. Quatre
types de prédicats sont susceptibles de se présenter à savoir un prédicat adjectival, nomi-
nal, adverbial ou prépositionnel. Les prédicats nominaux ne fournissent pas de relations
sémantiques. Nous nous sommes limités également aux prédicats non adverbiaux vu la
difficulté de leur détection. Nous avons ensuite réalisé les tests nécessaires pour détecter
les concepts en relation et les mots (ou groupes nominaux) responsables de la présence de
la relation. Afin de traiter les prédicats prépositionnel, nous avons utilisé une classification
des prépositions selon le sens qu'elles expriment en particulier les prépositions utilisées
pour la présentation d'un complément de temps, d'espace et les prépositions en commun
ou présentant un autre sens. Remarquons qu’un certain nombre de préposition porte une
ambiguïté par rapport au sens souhaité car elles sont utilisés dans différents compléments
et peuvent déclencher plusieurs sens. De ce fait, notre base de règles de transformation
agit non seulement sur la préposition de ce type mais également sur le contexte du prédi-
cat. Cette étape reste encore un problème non décidable. En ce qui concerne les prédicats
adjectivaux et nominaux, l’analyse diffère puisque c’est la lemmatisation qui est la tâche
principale responsable de l’extraction des relations. Elle permet de déduire à partir du
groupe adjectival des concepts importants tout en gardant la trace de leurs anciennes
fonctions dans les phrases nominales. Toutes les étapes précédentes ont permis d’acquérir
les connaissances nécessaires à la construction du module ontologique. L’étape suivante
est la formalisation des connaissances acquises.

3.5 Représentation multi-dimensionnelle des connaissances

Force est de constater que les connaissances extraites sont de différents niveaux de concep-
tualisation. Nous retenons dans nos travaux trois niveaux : bas niveau, niveau intermé-
diaire et haut niveau de conceptualisation. À chaque niveaU correspond un formalisme
approprié. Le bas-niveau représente le formalisme de représentation des descripteurs de
bas niveau extraits depuis les données. Cela représente en particulier les descripteurs des
objets visuels. Le niveau intermédiaire représente principalement les relations contextuelles
extraites à partir des objets des images, notamment le graphe de similarité visuelle, les
relations spatiales, les relations d'ordres, les alignements, etc. Enfin, le haut niveau vise
à représenter principalement les relations sémantiques et enrichies. Les trois niveaux de
représentation sont réunis dans une seule entité que nous appelons « patron » par analogie
avec le terme anglophone « design pattern » (cf. Figure 3.15).

Un patron est une entité composée de trois éléments : un graphe visuel, un graphe
contextuel et un module ontologique. Pour toute image *I*<sub>*i*</sub>, un ensemble d'objets *O*<sub>*i*</sub> =
{o<sub>*i*₁*, o<sub>*i*₂*, ..., o<sub>*i*K*</sub> ⊂ O* est formalisé par :

1. un vecteur de descripteurs *F*<sub>*i*</sub> visuels de taille *k*;
<figure><img src="image_34.png" /><figcaption>FIGURE 3.15 – Exemple de patron pour la représentation des différents niveaux conceptuels des connaissances</figcaption></figure>

2. un sous-graphe visuels (GR dans la figure 3.15) de taille $K \times M$, avec $M \le N - K$, la cardinalité du sous-ensemble d'objets de $\mathcal{O}$ qui sont similaires à tous les objets de $\mathcal{O}_i$;

3. un sous-graphe des relations spatiales, des relations d'ordre, etc. (GS et GO dans 3.15);

4. un module ontologique (OM dans 3.15).

Le patron dispose d'une structure ouverte et pourrait très facilement s'étendre en incluant d'autres connaissances comme, par exemple, un graphe d'émotion, un graphe d'intention ou encore un graphe d'interprétation et d'explication des données à prédire ou à indexer.

Par ailleurs, la formalisation du module ontologique permet de transformer l'ensemble des concepts et des relations taxonomiques et sémantiques représentant le domaine au format adéquat au langage de modélisation d'ontologie. Pour ceci, la première tâche est le choix du langage de modélisation adapté. Les deux standards qui ont été proposés par le W3C sont RDF<fnref n="9" /> OWL (Ontology Web Language). OWL étant plus riche que RDF, il est alors choisi comme langage de formalisation par la suite. De plus, OWL a l'avantage d'offrir

<footnote n="9">9. https://www.w3.org/RDF/</footnote>
une visualisation des concepts sous la forme d'un graphe comme le montre la figure 3.16 qui affiche les relations sémantiques entre les concepts par le biais de Protégé<fnref n="10" />, éditeur libre capable de lire et sauvegarder des ontologies dans la plupart des formats et largement utilisé par la communauté scientifique. La visualisation du détail du graphe est présentée par la figure 3.17.

<figure><img src="image_35.png" /><figcaption>FIGURE 3.16 – Extrait d'une visualisation d'un module ontologique</figcaption></figure>

3.5.1 Raisonnement

Le raisonnement sur des ontologies via les raisonneurs, permet entre autres de déduire de
nouveaux faits à partir des faits existants et de garantir leur cohérence. On peut faire appel
au raisonneur durant les différentes étapes du cycle de vie d'une ontologie si le besoin se
présente. Cependant, nous nous limitons dans notre cas au rôle d'évaluation et durant
la phase de déploiement de celle-ci pour déterminer la satisfiabilité des faits utilisés ou
alors inférer des relations entre les concepts ou les instances. Dans ce travail, nous nous
limitons au niveau terminologique où le raisonnement couvre seulement les concepts et
les propriétés et ne s'étends pas aux instances de concepts. Plusieurs raisonneurs ont été
développés ; par exemple, Pellet, FaCT++, HerMiT, ELK, etc. Comme nous avons travaillé
avec OWL API pour le développement de notre ontologie, il fallait chercher un raisonneur

<footnote n="10">10. protege.stanford.edu</footnote>
<figure><img src="image_36.png" /><figcaption>FIGURE 3.17 – Extrait détaillée d'une visualisation modulaire</figcaption></figure>

qui soit compatible avec cette bibliothèque. Nous avons donc sélectionnée le raisonneur
HerMiT <fnref n="11" />.

**3.6 Conclusions**

Les descripteurs sémantiques visent en premier lieux à élaborer une ou plusieurs collections de métadonnées (littéralement des données à propos des données). En premier lieux, les descripteurs sémantiques permettent d'indexer sémantiquement les données, ce qui permet d'améliorer considérablement le processus de recherche d'information. En second lieu, comme indiqué par [GR02], ces connaissances permettent une réutilisation facilitée des contenus. Ensuite, elles revêtent un intérêt crucial dans le cadre des entrepôts de données et plus largement pour le web sémantique, qui est supposé fournir aux machines les moyens de comprendre même partiellement le sens des données qu'elles synthétisent [BLHL01]. On peut également considérer que l'enrichissement sémantique des ressources permet de mieux décrire les comportements, les préférences et les besoins d'information recherchés par les utilisateurs, à l'image de ce qui a été initié dans par exemple dans la thèse de

<footnote n="11">11. hermit-reasoner.com</footnote>
Olfa Allani. Dans ce chapitre, la phase d'indexation et sa réutilisation dans le cadre de la recherche d'information ont été brièvement abordées mais ont été publiées dans un article de journal [AMBA17]. Nous avons cependant orienté ce chapitre sur la description de la méthodologie d'enrichissement des descripteurs. Notre méthodologie s'appuie sur des ressources ontologiques et sur le traitement automatique de la langue afin d'enrichir les graphes de régions indexés par des descripteurs visuels. Cette correspondance entre bas et haut niveau de description est représentée par un graphe de patrons. Chaque base d'images sur laquelle la recherche est faite, est pré-traitée et le graphe de patrons correspondant est construit pour inclure de manière structurée les concepts sémantiques et perceptifs des images. Ainsi l'étape d'exploration de ces graphes fera l'objet du chapitre 4. Nous tentons, en effet, de généraliser le processus d'exploration en menant une réflexion sur les modèles mathématiques de prédiction. Les modèles de prédiction peuvent se scinder en deux étapes. Une étape de modélisation/apprentissage menée hors ligne et une étape d'interrogation du modèle élaborée en ligne. Si nous prenons par exemple la problématique de recherche sémantique d'images, on peut le voir comme un problème de prédiction dans le but de trouver des images qui ressemblent autant que possible aux images requêtes de l'utilisateur. Dans ce contexte spécifique, la fonction de prédiction vise à trouver les images de la base tel que leur écart avec l'image de la requête calculée sur les propriétés perceptives et sémantiques soit le plus faible possible. Dans cette optique, nous menons actuellement une étude pluridisciplinaire sur la définition des concepts signifiants et signifiés dans une image comme dans un discours transcrit, ou dans du texte orienté utilisateur (en terme d'interprète du concept ou le consommateur du concept). C'est une étude qui croise un point de vue sociologique, psychologique, sémiotique et neurocognitive en s'appuyant sur des données expérimentales du terrain. Toutefois, il reste de nombreuses études qui peuvent être conduites notamment sur l'annotation des images à base des connaissances extraites et sous la forme de résumés textuels et/ou d'images pertinentes. Ces études sont certes pertinentes pour la construction des indexes sémantiques comme par exemple la notion de synthèse d'information [TLD18] et la prise en compte du contexte social et autres. Comme ces types d'information sont orientés utilisateur, ils sont alors décrits avec subjectivité et émotion. C'est donc impératif de faire évoluer notre modèle de représentation pour prendre en compte ces deux aspects et qui sont largement étudiés par [YRMP18]. Une autre
perspective intéressante à mener sur la réalisation de méthodes incrémentales mettant à jour automatiquement les relations entre graphe visuels et graphe sémantique. Enfin, d'un point de vue analyse de traces, il serait également pertinent d'enrichir les parcours avec les métadonnées extraites.
Deuxième partie

Apprentissage supervisé et
prédiction sur des données massives,
spatiales et temporelles
<figure><img src="image_37.png" /></figure>
# Chapitre 4

## Analyse prédictive : données multimodales massives et temporelles

### Sommaire

<table><tr><td>4.1 Introduction</td><td>106</td></tr><tr><td>4.2 Prédiction et apprentissage supervisé</td><td>106</td></tr><tr><td>4.2.1 Cadre formel de l'apprentissage supervisé</td><td>107</td></tr><tr><td>4.2.2 Modèles prédictifs induits par l'espace des données</td><td>111</td></tr><tr><td>Modèles prédictifs à base de dictionnaire</td><td>111</td></tr><tr><td>Modèles prédictifs à partir d'exemples</td><td>113</td></tr><tr><td>4.3 Modèles prédictifs pour des données massives</td><td>114</td></tr><tr><td>Formalisation et terminologie de la prédiction</td><td>115</td></tr><tr><td>Contributions et collaborations</td><td>116</td></tr><tr><td>4.4 Modèles prédictifs et images spatio-temporelles</td><td>118</td></tr><tr><td>4.4.1 Données spatio-temporelles simulées</td><td>121</td></tr><tr><td>4.4.2 Description du simulateur</td><td>124</td></tr><tr><td>4.4.3 Prédiction de labels pour images satellitaires</td><td>127</td></tr><tr><td>4.5 Prédiction de séries temporelles issues de capteurs</td><td>133</td></tr><tr><td>4.6 Prédiction à partir des données de réseaux sociaux</td><td>146</td></tr><tr><td>4.6.1 Word2Vec et Doc2Vec pour la représentation textuelle</td><td>148</td></tr></table>
<table><tr><td>4.6.2 Prédiction de séquences symboliques</td><td>152</td></tr><tr><td>Séquences symboliques par agrégation : la méthode SAX</td><td>153</td></tr><tr><td>Séquences symboliques par PMVQ</td><td>155</td></tr><tr><td><b>4.7 Conclusions et premières perspectives</b></td><td><b>157</b></td></tr></table>

## 4.1 Introduction

L'objectif principal de l'apprentissage est l'extraction de la connaissance depuis des données grâce à des algorithmes adéquats. Cette démarche est fondamentale à toutes les problématiques scientifiques. Cependant, les données et les requêtes sont généralement propres au domaine d'étude considéré tels que la biologie, la sociologie, la musicologie, l'environnement, etc. Le but de ce chapitre sera de comprendre dans un premier temps quels sont les outils mathématiques génériques mis en commun pour cette démarche d'apprentissage et d'analyser leur implantation algorithmique à des fins de prédiction. Les données s'accompagnent le plus souvent d'informations *a priori* sur leur structure indispensables à l'élaboration des algorithmes. Une dimension fondamentale que nous prenons en considération est le fait de comprendre comment incorporer cette information *a priori* dans les algorithmes d'apprentissage. Ces derniers utilisent davantage différentes branches de l'informatique (intelligence artificielle, base de données, calcul distribué, etc.) et des mathématiques (statistiques, probabilités, analyse harmonique, transformée de Fourier, géométrie etc.). Mais comment en arrive-t-on à la prédiction ?

## 4.2 Prédiction et apprentissage supervisé

La prédiction consiste à calculer une estimation $\tilde{y}$ de la réponse $y$ à une requête à partir d'une donnée $x$. Cette réponse appartient à un alphabet $\mathcal{A}$. Cet alphabet peut être un réel qui appartient à un intervalle $[a, b]$ de $\mathbb{R}$. Cette prédiction est alors un problème de régression. Derrière le terme régression se cache un algorithme d'apprentissage basique visant à trouver la meilleure réponse $y$ à l'aide d'une seule variable explicative (modèle univarié) ou bien plusieurs variables explicatives (modèle multivarié). Cette ou ces variables $x$ sont les entrées du problème et ce sont des données que nous connaissons. Dans
un problème de classification, $\mathcal{A}$ est l'ensemble de toutes les classes possibles, par exemple, les chiffres de 0 à 9 pour la reconnaissance d'un chiffre $y$ dans une image $x$. L'estimation se fait à l'aide de $n$ exemples de données $x_i \in \mathbb{R}^d$ pour lesquelles nous connaissons la réponse $y_i$. C'est la forme supervisée de l'apprentissage car la réponse $y_i$ est fournie avec la donnée $x_i$ associée. Les applications de l'apprentissage supervisé sont considérables. Cela concerne tous les problèmes de perception (image, signal), de diagnostic médical et plus généralement, d'analyse de données dans toutes les sciences dures, sociales ou humaines. L'apprentissage supervisé est à l'origine du renouveau de l'intelligence artificielle (IA) actuelle, propulsée par l'apparition des données massives. Comme il l'a clairement dit, Stéphane Mallat [ZTAM20] dans l'une de ses nombreuses conférences au collège de France en 2019, l'IA est un terme flou, mal défini mais de nature essentiellement « anthro-pomorphique ». C'est donc l'art de percevoir les valeurs intellectuelles humaines sur les machines même si l'intelligence humaine est quelquefois mal définie. À partir des années 70 et pendant 20 ans, l'IA s'est principalement développée en émulant le fonctionnement du cerveau conscient et en reproduisant ce qui est perceptible humainement. Depuis une dizaine d'année, l'IA connaît un nouvel essor cherchant à imiter des fonctions cognitives humaine relevant du cerveau inconscient et, plus précisément, sur la perception. Les don-nées massives sont les principaux acteurs et propulseurs de l'IA actuelle car les modèles d'apprentissage statistiques et probabilistes classiques ont très vite été dépassés. Ce qui amène à l'usage de l'IA sans effort de compréhension ou d'explication des résultats que l'on prédit.

### 4.2.1 Cadre formel de l'apprentissage supervisé

Dans le cadre de nos recherches, nous nous sommes focalisés sur la prédiction et l'appren-tissage supervisé. Mais, commençons tout d'abord par définir les formalisations mathéma-tiques générales de la prédiction à base de l'apprentissage supervisé que nous employerons dans le reste de ce manuscrit.

On note $y \in \mathcal{A}$, la réponse ou bien le label à une requête posée par $x \in \mathbb{R}^d$, où $\mathcal{A}$ peut être continu dans le cas d'une régression et discret dans le cas de la classification et $x$ peut représenter une image, un document textuel ou encore une série temporelle. Supposons
que l'on dispose de $n$ échantillons de données aléatoires d'entraînement, $\mathcal{T} = \{(x_i, y_i)\}_{i \le n}$, indépendants et identiquement distribués de même loi que $(X, Y)$ avec $x_i \in \mathbb{R}^d$, $y_i \in \mathcal{A}$ ($(X, Y)$ est une observation aléatoire et $(x, y)$ une réalisation quelconque parmi les $n$ couples aléatoires). On distingue deux types de problèmes d'apprentissage supervisé. Le premier problème est la classification où les $y_i$ correspondent à des étiquettes telles que le nom des objets dans une image (chat, chien, ciel, voiture, etc.), ou bien une étiquette faisant référence à un groupe ou une structure homogène d'éléments ; ce sont les invariants discriminants les différentes classes. Le second type de problème est la régression où $y_i$ est une fonction $f(x)$ définie sur $\mathbb{R}$. Un exemple de ce type de problème est la prédiction de la consommation énergétique sans connaître les lois physiques sous-jacentes mais plutôt à partir des données. Un algorithme d'apprentissage prend en entrée une donnée $x$ que nous connaissons et pour laquelle il prédit une approximation $\tilde{y}$ correspondant à la réponse réelle $y$. On cherche alors à trouver la meilleure fonction hypothèse, nommée $f$, et qui a pour objectif d'approcher les valeurs de sortie $Y$ pour une entrée $X$. Si la réponse $y$ est unique pour une donnée $x$ alors nous pouvons l'écrire comme une fonction de $x$, par $y = f(x)$. Estimer $\tilde{y}$ revient à estimer la fonction $f$ qui dépend de $d$ variables (la dimension de la variable d'entrée). Dans le cas de la régression linéaire univariée, la fonction hypothèse $f$ peut s'écrire sous la forme $f(x) = \omega_1x + \omega_0$. De manière similaire, dans le cas d'une régression multivariée, $f$ prend la forme générale suivante $f(x) = \omega_0 + \omega_1x_1 + \omega_2x_2 + \dots + \omega_dx_d$.

Le but de l'algorithme d'apprentissage est de trouver les meilleurs paramètres internes tels que $\|\tilde{y}_i - y_i\| \le \epsilon$ pour tout $i \le n$ et $\epsilon$ petit. Il faut donc minimiser cette erreur de telle sorte que la précision de la prédiction se généralise. Nous parlons alors d'erreur de généralisation. L'algorithme d'apprentissage supervisé calcule $\tilde{y} = \tilde{f}(x)$ à chaque itération, où la fonction $\tilde{f}$ est choisie parmi une classe $\mathcal{H}$ de fonctions hypothèses possibles. Afin d'illustrer ceci, nous considérons le cas des classificateurs linéaires pour un problème de classification binaire. Nous cherchons à définir un hyperplan $\{x \in \mathbb{R}^d | <w, x> = b\}$ frontière entre deux classes $A = \{-1, 1\}$ dont la fonction $\tilde{f}$ est sélectionnée dans $\mathcal{H} = \{\tilde{f} : \mathbb{R}^d \to A = \{-1, 1\} | \tilde{f} : x \mapsto \text{signe}(\langle w, x \rangle - b)\}$. Le choix de $\tilde{f}$ est obtenu par la sélection de la valeur optimale des paramètres $w$ et $b$ qui minimise l'erreur sur les $n$ échantillons
d'entraînement. Cependant, deux problèmes apparaissent à ce niveau :

1. la valeur optimale n'est pas toujours unique, et pour certains algorithme, cet optimal peut correspondre à un optimal local et non pas global;

2. la séparation entre classes n'est pas toujours linéaire; elle peut être une frontière courbe.

Pour remédier à ces problèmes, certains algorithmes passent par une transformation de l'espace des données par un changement de représentation au lieu d'utiliser directement une classe de famille $\mathcal{H}$ de frontière courbe, ce qui est compliqué dans le plus souvent d'application. La transformation consiste à adapter les données d'origine en passant par un changement de variable défini par une fonction $\phi(\cdot)$ de l'espace d'origine à un espace d'arrivée de dimension $d'$, $\phi : x \in \mathbb{R}^d \mapsto \phi(x) = (\phi(x)_1, ..., \phi(x)_{d'}) \in \mathbb{R}^{d'}$ dans lequel la séparation entre les transformés de $x$ soit linéaire (par un hyperplan). La famille des fonctions s'écrit, suite au changement de variable : $\mathcal{H} = \{\tilde{f} : \mathbb{R}^d \to \mathcal{A} | \tilde{f} : x \mapsto \text{signe}(\langle w, \phi(x) \rangle - b) = \text{signe}(\sum_{k=1}^{d'} w_k \phi(x)_k - b)\}$. En sachant la fonction de transformation $\phi(\cdot)$, le classificateur est caractérisé par un hyperplan de vecteur normal $w$ sur lequel, $\phi$ est projeté pour en déduire la classe de $x$. $\phi(x)_k$ est vu comme un attribut discriminant faible de chaque classe. Leur combinaison linéaire pondérée correspond à un vote majoritaire donnant lieu à la confiance accordée à la prédiction de la classe.

Les algorithmes tels que *Support Vector Machine* (SVM), *Boosting*, les arbres de décision vérifient ces cadres de formalisation. De plus, ils ont tous l'objectif d'aboutir à un algorithme optimal en trouvant les paramètres minimisant l'erreur ou le risque empirique (appelée aussi la fonction de perte) et donc une erreur faible de généralisation. L'erreur empirique aléatoire est calculée par estimation de l'erreur sur la distribution de l'échantillon d'entraînement $\text{lôss}(\tilde{f}) = \frac{1}{n} \sum_{i=1}^{n} \text{loss}(\tilde{f}(x_i), y_i)$. Il faut savoir que la fonction *loss* peut être symétrique, par exemple $\text{loss}(f(x), y) = 1$ si $f(x) \neq y$ et 0 sinon; comme elle peut être asymétrique, par exemple dans le cas d'applications médicales. Par ailleurs, l'erreur moyenne de généralisation est estimée à partir de la distribution jointe $(X, Y)$ par $R(f) = \mathbb{E}[\text{loss}(\tilde{f}(X), Y)]$. En pratique, nous cherchons à optimiser le choix de la fonction $\tilde{f} \in \mathcal{H}$ en minimisant l'erreur *lôss* directement à partir des échantillons d'entraînement en considérant $\tilde{f} = \underset{f \in \mathcal{H}}{\operatorname{argmin}} \text{lôss}(f)$. Comme le calcul le montre, cette erreur ou risque
empirique est dans bien souvent des cas biaisée par sa dépendance aux données $X_i, Y_i$.
Elle ne permet pas une estimation *idéale* de l'erreur de généralisation. Par conséquent,
le minimiseur du risque empirique a tendance à sélectionner un modèle spécifique très
proche des données d'entraînement sans capturer la régularité du phénomène sous-jacent
à l'invariance des classes permettant la généralisation du résultat. De surcroît, l'erreur de
généralisation est forte alors que l'erreur empirique est faible, c'est le phénomène connu
par le sur-apprentissage. De ce problème vont surgir deux contraintes supplémentaires
liées à la grande dimension. Quand la dimension des données augmente (par exemple, les
images, le texte ou la parole et la vidéo), l'injection de la fonction *a priori* ainsi que la
fonction de transformation deviennent très difficiles à élaborer. Or, si nous considérons les
modèles tels que SVM, les arbres de décisions, les forêts aléatoires et bien d'autres, ces
algorithmes nécessitent de leur adjoindre la définition de connaissance *a priori* pour qu'ils
soient optimaux. L'efficacité de ces algorithmes est ralentie par la taille de l'échantillon.
En effet, il a été montré dans la littérature<fnref n="1" /> que ces algorithmes continuent à être efficaces
tant que $log(H)/n \ll \epsilon^2$ (avec $\epsilon$ petit) et par conséquent $d'/n \ll \epsilon^2$, c'est-à-dire que le
nombre de variables $d'$ doit être largement inférieur au nombre d'échantillons. Dès l'ins-
tant où les deux paramètres $d'$ et $n$ peuvent être très élevés alors la démarche de choix de
l'algorithme doit être clairement posée. Les algorithmes de machine learning tels que les
arbres de décision, XGboost, apprentissage à noyau (SVM) nécessitent moins de données
mais utilisent de l'information *a priori*. À l'inverse, les réseaux de neurones profonds néces-
sitent beaucoup de données mais sont capables d'apprendre et de déterminer $\phi(\cdot)$ et $w$ en
même temps. En effet, l'ère du big data se caractérise en partie par son pragmatisme, où la
démarche de modélisation adopte la minimisation de l'usage *a priori* pour la construction
des modèles et leur qualité est mesurée par leur pouvoir prédictif. Or, on peut observer
des corrélations fallacieuses [CL17] quand le jeu de données d'apprentissage n'est pas
suffisamment représentatif de son contexte d'exploitation ou bien quand les données sont
multipliées. Ceux-ci augmentent la probabilité d'apprendre des relations qui ne sont que
du bruit. Il est à la fois indispensable et nécessaire de créer des systèmes interprétables
permettant de comprendre la décision générée. La démarche de modélisation prédictive

<footnote n="1">1. « The Elements of Statistical Learning », livre de référence sur le Data Mining, l'inférence, et la prédiction</footnote>
se fait généralement en trois étapes. D'abord, les données sont accumulées et des caractéristiques mesurables ou bien issues directement de mesures (depuis des capteurs, ou bien des satellites, des sites web, etc.) sont définies à partir de ces premières. À partir de ces caractéristiques, les variables à prédire sont choisies. Dans un second temps, vient l'étape du choix de l'algorithme d'apprentissage permettant de modéliser les relations statistiques entre les caractéristiques et la/les variable(s) à prédire ; c'est donc l'élaboration du modèle prédictif selon l'espace d'hypothèses. Enfin, en phase d'exploitation, ce modèle est utilisé sur de nouvelles caractéristiques pour inférer la variable à prédire. Les deux premières étapes sont des tâches élaborées hors ligne alors que la dernière est une tâche réalisée en ligne.

### 4.2.2 Modèles prédictifs induits par l'espace des données

Dans cette section, nous allons nous restreindre à la description de la phase hors ligne. Elle aborde principalement les méthodes de choix de l'algorithme d'apprentissage et par conséquent du modèle de représentation de l'information *a priori*. Deux familles d'apprentissage supervisé peuvent se distinguer par les modèles sous-jacents employés quant à l'explication de la famille des fonctions d'hypothèses $\mathcal{H}$. La première famille cherche en effet à modéliser les régularités et les invariants de l'espace des données du monde réel à partir de combinaisons de fonctions de référence. Les hypothèses, dans ce cas, sont complètement théoriques et n'utilisent jamais les exemples de l'échantillon d'entraînement. Tandis que la seconde famille explicite les hypothèses en s'appuyant sur les exemples de l'échantillon d'entraînement ou bien à un sous-ensemble de celui-ci. C'est donc à travers des fonctions de similarités avec des pondérations que seront calculées les réponses à une observation.

#### Modèles prédictifs à base de dictionnaire

Il s'agit par exemple de familles $\mathcal{H}$ de distribution de probabilité où la forme de la fonction $f(x) \in \mathcal{H}$ est un mélange de $m$ fonctions de référence de type gaussien. D'une manière générale, $f(x)$ serait une combinaison linéaire de fonctions de référence :

$$f(x) = \sum_{i=1}^{m} w_i \phi_i(x) + w_0 \qquad (4.1)$$
où les fonctions $\phi_i$ sont les fonctions de base et les $w_i$ les coefficients ou paramètres. Comme nous l'avons évoqué dans la section précédente, ces fonctions de base $\phi_i$ permettent en un sens la re-description des entrées (transformation ou changement de variable) ; et, les paramètres $w_i$ servent alors à sélectionner ou à pondérer l'importance des éléments de cette re-description. Ces méthodes utilisent un ensemble de fonctions de base souvent données a priori, telles que les séries de Fourier. Par conséquent elles sont appelées des méthodes à base de dictionnaire. Le nombre de fonctions de base utilisées peut servir à contrôler la capacité de l'espace d'hypothèses et donc à régulariser et converger le risque empirique. Par ailleurs, les fonctions de base utilisées dans ces méthodes ne sont pas nécessairement orthogonales, contrairement à l'analyse de Fourier et à l'analyse fonctionnelle en général [Aze18]. Cela peut poser certains problèmes comme l'unicité et la stabilité des solutions ; de surcroît les coefficients $w_i$ peuvent varier fortement quand l'échantillon d'apprentissage est modifié légèrement. Dans les modèles de mélange, $\phi_i(x)$ est une fonction de densité de probabilité et :

$$f(x) = \sum_{i=1}^{m} \pi_i \mathbb{P}_i(x|\theta_i). \qquad (4.2)$$

Dans un réseau de neurones à perceptrons multicouches, les fonctions de base sont typiquement des sigmoïdes où l'apprentissage consiste à apprendre les poids des connexions entre les neurones des couches consécutives qui ne sont rien d'autres que les coefficients de la fonction d'activation choisie :

$$f(x) = f_a\left(\sum_{i=1}^{m} w_i x_i + w_0\right) = f_a(w \cdot x) \qquad (4.3)$$

avec $f_a$ la fonction d'activation qui peut prendre la forme suivante $f_a = \frac{1}{1+exp(-a)}$.

Dans les modèles graphiques (comme les réseaux bayésiens ou les modèles markoviens), les fonctions sont des dépendances conditionnelles entre les variables où le rôle de l'apprentissage consiste à apprendre les probabilités conditionnelles en chacun des noeuds du réseau. Il faut souligner que cette famille utilise des modèles pour la plupart linéaires. S'ils sont bien adaptés au problème, ces modèles peuvent approcher n'importe quelle régularité cible et sont faciles à interpréter. Cependant, contraindre l'expression du modèle du monde à être linéaire peut aussi conduire à un modèle artificiel qui ne rend pas compte de
la structure des dépendances réelles entre propriétés des données.

Modèles prédictifs à partir d'exemples

Si l'on se place toujours dans le cadre des modèles linéaires, les méthodes à base d'exemples par calcul de voisinage proposent une toute autre représentation des fonctions de décision ayant une forme générique suivante :

$$
f(x) = \sum_{i=1}^{m} \alpha_i sim(x, x_i)y_i \qquad (4.4)
$$

où sim(x, xᵢ) est une fonction de similarité entre l'observation x et l'exemple xᵢ. L'hy-
pothèse est en effet explicitée par une combinaison linéaire des étiquettes yᵢ des points
d'apprentissage xᵢ, pondérée par les similarités. L'apprentissage dans ce contexte, consiste
donc à sélectionner les meilleurs exemples de référence xᵢ. Ce choix est fortement dépen-
dant du choix de la mesure de similarité. C'est le problème essentiel des méthodes à base
d'exemples où l'effort doit être employé dans le choix des mesures adéquates par rapport
à la sémantique des données. Même si la bonne adéquation de la fonction de similarité
est bien considérée vis-à-vis de la sémantique du domaine, le problème de sa définition
formelle se pose. Malgré l'existence de nombreuses mesures adaptées aux données vecto-
rielles et numériques, comme par exemple la distance, le problème est bien plus ouvert
lorsque les données font intervenir des descripteurs symboliques et/ou sont définies dans
des espaces non vectoriels, comme le cas des textes. C'est la raison pour laquelle une par-
tie importante des contributions actuelles en apprentissage artificiel concerne la définition
et le test de nouvelles mesures de similarité appropriées pour des types de données spé-
cifiques telles que les séquences temporelles, les données semi-structurées, et les données
non structurées, etc. Une fonction de similarité est généralement une métrique comme la
distance entre deux objets, ayant un certains nombre de propriétés telles que la symétrie,
l'inégalité triangulaire. Elle est nulle quand les deux objets sont identiques. Un exemple
classique de cette métrique est la norme euclidienne L₂,

$$
\|x - y\| = \sqrt{\langle x - y, x - y \rangle} \qquad (4.5)
$$
explicitée par le produit scalaire entre deux vecteurs. Si on remplace $sim(x, x_i)$ par le produit cartésien $\langle x - x_i, x - x_i \rangle$, la fonction hypothèse

$$f(x) = \sum_{i=1}^{m} \alpha_i \langle x - x_i, x - x_i \rangle y_i \quad (4.6)$$

devient l'hypothèse d'un séparateur linéaire entre n nuages de points tel qu'il a été défini par Vapnick [Vap95] au sens où on cherche une marge maximale pour des points linéairement séparables. Cette observation est très intéressante puisque l'hypothèse dépend directement des données de l'échantillon d'apprentissage et non pas sur un dictionnaire. De plus, quand la forme du produit cartésien est remplacée par une fonction vérifiant les propriétés spécifiques d'une fonction noyau $K(x, x_i)$, la fonction f devient générique pour un problème de séparation linéaire ou non. Parmi les formes usuelles de la fonction $K(x, x')$, on trouve le noyau polynomial $(1 + x^T x')^p$, le noyau Gaussien $e^{\alpha x - x'^2}$ ou le noyau sigmoid $tanh(\alpha x' - \beta)$. Par exemple, le noyau Gaussien est choisi par défaut pour le SVM dans Scikit-learn.

C'est un noyau qui permet de mesurer l'interaction entre les observations et où la surface de décision est fortement influencée par le paramètre $\alpha$. La complexité de ces algorithmes à base d'exemples est principalement dominée par la taille de l'échantillon d'entraînement et non pas par la dimension de l'espace considéré, comme c'est généralement le cas des algorithmes à base de dictionnaire. Cependant, la qualité de la fonction repose essentiellement sur le choix de la fonction sim ou de la fonction noyau.

## 4.3 Modèles prédictifs pour des données massives

Dans le cas des méthodes à base de dictionnaires, le choix du bon espace d'hypothèses (le bon dictionnaire), se traduit par le problème de sélection de modèles. Cette sélection peut se faire à la main, par l'expert, ou par des méthodes automatiques, mais l'espace des hypothèses $\mathcal{H}$ est donné a priori. Les méthodes à base d'exemples introduisent une souplesse supplémentaire quand l'expression des hypothèses candidates dépend désormais seulement des exemples d'apprentissage. L'adaptation au problème se fait ainsi plus naturellement mais fortement dépendant du bon choix de la fonction de similarité ou de la
fonction noyau permettant la comparaison entre les exemples. Dans tous les cas, l'apprentissage consiste essentiellement à explorer un espace d'hypothèses que l'on peut qualifier de paramétré. Quelle que soit la famille de modèles, la recherche du ou des meilleure(s) hypothèse(s) devra systématiquement contrôler le sur-apprentissage. Or, quand les données sont massives comme, par exemple, les images de grande résolution, les textes ou les séries temporelles, la complexité du problème liée au degré de liberté des modèles, devient très élevée. Par conséquent, les modèles à base de dictionnaires ne sont pas du tout adaptés et les algorithmes classiques d'apprentissage associés deviennent inadaptés. L'alternative à ce problème est de pouvoir réduire la dimension des données en faisant appel à des algorithmes de réduction qui peuvent dégrader la qualité des données. Quant aux modèles à base d'exemples, les algorithmes d'apprentissage sont fortement influencés par la qualité de l'échantillon d'entraînement en terme de représentativité. En d'autre terme, si l'échantillon représente qu'une partie de la réalité du monde, le modèle de prédiction ne sera jamais capable de généraliser face à des observations qui s'écartent de l'échantillon d'entraînement. Alors, est ce déraisonnable de prédire à partir des données massives et dans notre contexte des données complexes ? Nous allons montrer à travers les différentes applications auxquelles nous étions confrontées que la réponse à cette question en deux parties n'est pas évidente et nous montrons que le choix d'un modèle idoine devra être guidé à la fois par les données et par les connaissances sous-jacentes. Nous allons aborder trois types d'application phare qui ont motivées nos travaux de recherche : la prédiction à partir d'images, la prédiction à partir de données textuelles et la prédiction à partir de données de capteurs. Le dénominateur commun à ces trois applications est la dimension spatiale et temporelle des données. Ce sont des contextes où la notion de régularité dans les échantillons d'entraînement n'est pas toujours vérifiée.

Formalisation et terminologie de la prédiction

L'analyse prédictive ou la prédiction est un processus d'optimisation d'une fonction à partir d'un ensemble d'échantillons étiquetés (ensemble de données), de telle sorte que, pour un échantillon donné, la fonction renvoie une valeur qui se rapproche de l'étiquette observée. On suppose que l'ensemble des données ainsi que les autres échantillons non observés sont échantillonnés à partir de la même distribution de probabilité. Nous désignons
les opérateurs $\mathbb{P}$ et $\mathbb{E}$ comme étant la probabilité et l'espérance des variables aléatoires. On désigne par $x \sim \mathcal{D}$ indiquant qu'une variable aléatoire $x$ est échantillonnée à partir d'une distribution de probabilité $\mathcal{D}$ et $\mathbb{E}_{x \sim \mathcal{D}}[f(x)]$ indique la valeur attendue de $f(x)$ pour une variable aléatoire $x$. Quand la variable aléatoire $x$ dépend du temps et les données sont observées en un nombre fini de points temporels connus, nous nous référons donc à des séries. Plus précisément, en présence de séries temporelles (ou chronologiques), nous considérons qu'elles sont explicitement constituées à la fois (i) des points temporels des observations et (ii) d'observations à ces points temporels. Autrement dit, on considère $x = x(t_1), x(t_2), ..., x(t_N)$, une série temporelle composée d'observations aléatoires indexées par les points temporels $t_1, t_2, ..., t_N$.

Formellement, étant donné une distribution de probabilité des données $\mathcal{D}$, une variable aléatoire $x \sim \mathcal{D}$, un domaine $X$ à partir duquel nous construisons des échantillons, un domaine d'étiquetage $Y$, et une classe d'hypothèses $\mathcal{H}$ contenant les fonctions $f: X \to Y$, la prédiction revient à un problème d'optimisation, où nous cherchons à minimiser l'erreur de généralisation, définie par la fonction de perte :

$$ (Loss) L_{\mathcal{D}}(f) \equiv \mathbb{P}[f(x) \neq h(x)] \qquad (4.7) $$

où $h(x)$ représente le véritable label de $x$. La prédiction temporelle, est une généralisation d'un problème de prédiction classique où le problème consiste à apprendre un prédicteur $f$ capable de prédire la ou les valeurs observées de $y_{T_k}$ futures sur un horizon temporel $T_1, .., T_K$ compte tenu les observations passées $(x, y) = ((x(t_1), y(t_1)), (x(t_2), y(t_2)), ..., (x(t_T), y(t_T)))$.

## Contributions et collaborations

Depuis ces cinq dernières années, la disponibilité accrue des données a accentué nos collaborations avec des partenaires industriels et académiques. Nous avons mené des travaux sur la prédiction en imagerie médicale et satellitaires dont l'objectif est de mettre en place des modèles prédictifs de caractéristiques spatiales et temporelles. La prédiction de l'ostéoporose à partir d'images 2D enrichie par des images 3D semi-réalistes issues de simulation fut un projet très complexe mené de pair avec l'Institut de recherche en ostéoporose (l'IPROS) pendant plus de trois ans. Nous avons proposé un nouveau simulateur réaliste
permettant de générer des images 3D réalistes à la demande. Ces images permettent de rendre compte de l'évolution spatiale et temporelle de la maladie en fonction du profil du malade puisque la simulation s'appuie sur l'architecture osseuse de ce dernier. De plus, le simulateur pourrait être utilisé comme outil de prédiction de la maladie à partir d'une architecture osseuse saine du patient. La dimension temporelle permet également de prédire l'âge de la présence de la maladie ainsi que son degré de sévérité. Ce travail est détaillé dans les sections 4.4.1 et 4.4.2.

Quant aux images satellitaires, nous avons été confrontés d'abord à des problèmes de prédiction des classes des objets géographiques telles que les plans d'eau, les forêts, les zones urbaines, les bâtiments, etc. Étant donné que la prédiction de la classe d'un objet peut se faire à partir d'images hétérogènes (en format, en taille et en caractéristiques), nous avons proposé une architecture de prédiction distribuée permettant à la fois de répondre au problème de passage à l'échelle et d'accélérer les temps de traitement lié à la prédiction par des réseaux de neurones profonds. Ce travail a été réalisé par Imen Chebbi dans le cadre de sa thèse en cotutelle avec l'université de la Manouba (Tunisie). Une étude comparative entre une architecture classique et des architectures distribuées ont fait le sujet du stage de fin d'étude de Hanen Balti en co-encadrement avec l'Université de la Manouba. Suite à ces travaux, de nouvelles collaborations ont démarrées fin 2019 avec l'Institut de recherche en sciences géographiques et ressources naturelles de l'université de Beijing (Chine) et l'Université de la Manouba. Dans cette perspective, une thèse sur la prédiction temporelle et spatiale de la sécheresse en Chine et en Tunisie sont les sujets d'une nouvelle thèse qui s'appuie sur les résultats déjà approuvés dans le cadre des travaux précédents (le détail est abordé dans la section 4.4.3.

De nouvelles données issues de capteurs sont traitées par cette collaboration. Les capteurs présentent l'avantage de la production quasi-continue des données mesurées. Toutefois, les précisions, et surtout les échelles d'hétérogénité de ces données sont une d'une grande complexité de part leur origine mais aussi de part la complexité du système qu'elles re-présentent. En collaboration avec l'INRAE, nous avons déjà mis en place des modèles prédictifs à partir de données de capteurs enrichies par des données issues de simulation de modèles physiques complexes. Ces travaux sont décrits dans la section 4.5. Enfin, des
modèles prédictifs à partir de données de réseaux sociaux multilingues et hétérogènes ont été largement étudiés dans le cadre d'un projet FUI mené par Sidahmed Benabderrahmane (post-doctorant). Lors de ce projet, nous avons proposé une architecture de prédiction distribuée alliant des données textuelles et des données spatio-temporelles massives. Le modèle de prédiction a été contraint à la réduction de la dimension des données sans dégrader les résultats de la prédiction. Ce travail a permis de soulever une nouvelle problématique liée au traitement des données textuelles et principalement la question de la détection de l'incohérence qui se révèle un défi scientifique pour de multiples application et constitue le point central de nos travaux de recherche en collaboration avec Aurélien Bossard (MCF), coordinateur du projet JCJC ASADERA, depuis 2017. Ces travaux sont présentés dans la section 4.6. Le récapitulatif de l'ensemble de ces travaux et collaborations sont synthétisés par le tableau 4.1.

<table><thead><tr><th>Master/Thèse/Post-Doctorat</th><th>Thème</th><th>Collaborations</th></tr></thead><tbody><tr><td></td><td>Prédiction à partir d'images</td><td></td></tr><tr><td>projet ANR09-BLAN-0029-01 Mataim (2010-2014)</td><td>Production massives d'images temporelles pour la prédiction de l'ostéoprose</td><td>Frédéric Richard, Anne Ricordeau Map5, Univ.ParisDescartes, IPROS (CHU Orléans)</td></tr><tr><td>Imen Chebbi (thèse : 2016-)</td><td>Analyse d'images satellitaires massives et hétérogènes pour la prédiction du changement</td><td>Thèse en co-tutelle avec Myriam Lamolle (Liasd, P8) et Riadh Farah (La Manouba, Tunis)</td></tr><tr><td>Hanen Balti (thèse : 2020-)</td><td>prédiction de la sécheresse et des précipitations en Chine</td><td>Thèse en co-tutelle avec Myriam Lamolle (Liasd, P8), Riadh Farah (La Manouba, Tunis) et Song (Yanfang Sang, Institut de Géographie Chine)</td></tr></tbody></table>

## 4.4 Modèles prédictifs et images spatio-temporelles

Des objets géographiques comme les lacs, les rivières, les fronts pluviaux, les zones forestières possèdent des propriétés dynamiques très spatiales et présentent un comportement
<table><thead><tr><th>Master/Thèse/Post-Doctorat</th><th>Thème</th><th>Collaborations</th></tr></thead><tbody><tr><td colspan="3">Prédiction à partir de données textuelles</td></tr><tr><td>Sidahmed Benabderrahmane (post-doc. 2015-2017), projet FUI SONAR</td><td>analyse prédictive des comportements des jobs-board</td><td>Myriam Lamolle, MarioCATaldi (Liasd, P8) et l'entreprise Multiposting</td></tr><tr><td>Faiza Aziz (2018-2019, 6 mois de stage Master2, Tunis)</td><td rowspan="2">Détection de l'incohérence dans des documents multilingues et cross-lingues, Projet ANR JCJC ASA-DERA (2017-2020)</td><td rowspan="2">Aurélien Bossard (Liasd, P8)</td></tr><tr><td>Manel Ben Youssef (2019, 4 mois de stage Master1 ENSTA)</td></tr></tbody></table>

<table><caption>TABLE 4.1 – Récapitulatif des travaux et collaborations sur la prédiction à partir de données massives et hétérogènes</caption><thead><tr><th>Master/Thèse/Post-Doctorat</th><th>Thème</th><th>Collaborations</th></tr></thead><tbody><tr><td colspan="3">Prédiction à partir de capteurs</td></tr><tr><td>Mahdjouba Kerma (Thèse : 2017-2020), projet Adem Plexifroid</td><td>prédiction de l'effacement électrique dans les entrepôts frigorifiques</td><td>Minh Hoang (CR INRAE) et Antony Delahay (DR INRAE)</td></tr></tbody></table>

spatiale et temporel par nature. Il est possible qu'un objet change ses attributs et donc de propriété spatiale tout au long du temps. Par exemple, les objets avec la représentation spatiale pourraient croître, rétrécir (cas de l'espace urbain), changer leur forme (par exemple, quand une ville change ses frontières), se diviser, se fusionner en un nouvel objet ou alors la disparition d'un objet au fil du temps. Un exemple de division peut avoir lieu dans le cas où une forêt est divisée en zone urbaine et zone forestière. Inversement, il existe le phénomène de fusion où des sous-parcelles fusionnent en une seule, comme par exemple suite à une disparition d'un plan d'eau. Ces types d'événement sont réalisés suite à un ou plusieurs phénomènes qui sont liés à des processus géographiques tels que la déforestation, l'urbanisation, la désertification, etc. Typiquement, la disparition d'une forêt est supposée causée par un processus d'urbanisation. Le changement est ainsi constitué par l'altération des propriétés d'un objet persistant, d'une région ou d'une zone de l'espace. En télédé-
tection, le changement est défini comme étant le processus d'identification des différences dans l'état d'évolution d'un objet ou d'un phénomène dans le temps, en l'observant à des moments différents et en différentes positions. Les changements dans les états des objets sont le résultat d'événements et/ou de processus. L'état d'une entité spatiale représente une valeur stable de cette entité dans un intervalle de temps.

Dans un autre contexte, plutôt médical, nous retrouvons ces mêmes observations liées au changement de la structure osseuse à travers le processus dynamique naturel de vieillesse. Les changements peuvent être de l'ordre d'un voxel ou de l'ordre d'une entité topologique. Rappelons d'abord que les entités topologiques sont des plaques, des poutres et des zones de connexions. Comme impact de la vieillesse, un structure labellisée *plaque* à des états précédents, peut par la suite changer de propriétés topologiques pour se réduire à une ou plusieurs poutres. Les poutres, quant à elles, peuvent s'affiner et finir par disparaître. Le processus de vieillesse peut engendrer des perforations aux niveaux des plaques et quand deux perforations voisines s'élargissent au fil du temps, elles fusionnent en donnant lieu à des poutres ou bien à des déconnexions d'entités.

De manière générale, l'analyse et la modélisation des phénomènes topologiques impliquent de connaître |

(i) quels sont les éléments consécutifs qui les caractérisent,

(ii) quelle est la répartition spatiale de ces éléments,

(iii) à quel moment ces phénomènes surviennent.

La composante (i) consiste généralement à identifier les différents types d'entités ren-
contrées, leurs propriétés géométriques (i.e. leur forme) et les attributs permettant d'en
calculer la sémantique. L'identification du concept lié à l'objet permet de donner une si-
gnification sémantique à un objet (par exemple, une forêt, une zone urbaine, un lac, une
plaque, une poutre, une perforation, etc.). Cette identification par le concept permet de
distinguer un objet des autres.

Pour la question (ii), le phénomène renvoi à des informations spatiales de localisation,
explicitée, par exemple, par la distance ou la position relative d'un objet par rapport à un
autre, ou bien son orientation, etc. Cette composante est étroitement liée à la caractérisa-
tion des relations spatiales entre les entités.

La troisième composante fait naturellement référence à la dimension temporelle dans laquelle s'inscrit le phénomène. L'étude peut être statique s'il s'agit d'un arrêt sur image limité à un instant ou une période en particulier, ou dynamique si elle prend en compte des changements se produisant sur un ensemble d'instants ou de périodes. Dans les chapitres précédents, nous avons largement abordé les deux premiers points. Le troisième point fait l'objet de ce chapitre. Nous allons l'aborder essentiellement sous les facettes suivantes :

1. le recueil des séries temporelles par simulation quand les données se font rares voire même difficiles à obtenir. Par simulation, les données obtenues sont en général à moindre coût, moins bruitées, et peuvent être générées à la demande. Plus le simulateur est réaliste, plus les données générées s'approchent des données réelles en terme de comportement et de valeurs ;

2. le pré-traitement des séries temporelles est une étape indispensable pendant laquelle se pose la question du dé-bruitage, l'analyse du comportement des séries et, dans certains contexte, la réduction de leur dimension ;

3. l'analyse prédictive sur des séries temporelles massives.

### 4.4.1 Données spatio-temporelles simulées

Comme nous l'avons évoqué dans l'introduction de ce manuscrit, la performance de l'analyse prédictive, en particulier sur des séries temporelles, croît avec l'échantillon des données. Or, dans certains domaines, il est très difficile de recueillir des données réelles. Par exemple, en imagerie médicale, il est inconcevable d'exposer des patients à des radiations fréquentes, même à faible dose, dans le but de suivre l'évolution d'une maladie. La simulation est une approche non-destructive de production de données temporelles. C'est notamment le cas de l'ostéoporose où une radiographie ne représente qu'un état de la maladie à un instant t donné. Un modèle de prédiction de cette maladie basé seulement sur l'analyse 2D des radiographies n'est pas une solution fiable et loin d'être généralisable. C'est, en effet, par le biais de nos études détaillées dans [SBR+04], que nous avons procédé à une étude comparative de plusieurs modèles de prédiction supervisés. Nous avons choisi principalement
deux méthodes d'analyse discriminante à noyau (l'analyse linéaire discriminante (LDA) de l'analyse quadratique discriminante (QDA)) et un arbre de décision. Les deux modèles LDA et QDA sont caractérisés par des règles de Bayes avec des distributions normales pour les densités conditionnelles. La variable Y, celle que nous cherchons à expliquer par les modèles, prend ses valeurs dans {0, 1} (classification binaire), 1 pour un sujet fracturé et 0 pour un sujet témoin. L'ensemble $X \subset \mathcal{X}$ représente l'ensemble des variables explicatives ou les descripteurs pertinents parmi tous les descripteurs détaillés dans le chapitre 3 en y ajoutant la densité minérale osseuse (BMD) et l'âge du patient (age), seuls paramètres utilisés dans la routine clinique du diagnostic de l'ostéoporose. Nous disposons également de l'ensemble des données d'étude $D = \{(x_1, y_1), \dots, (x_n, y_n)\}$ sur lequel, nos classificateurs ont été conçus, d'un ensemble d'entraînement $D_{train} \subset D$ et d'un sous-ensemble d'index de descripteurs $F \subset \{1, \dots, \dim(\mathcal{X})\}$ y compris la BMD et age. La règle de classification

$$ \hat{Y} = R_{(D_{train}, F)}(X) \qquad (4.8) $$

est utilisée pour l'estimation de y, avec

$$ R(x) = \arg \min(x - \mu_y)^t \sum_y^{-1}(x - \mu_y) + \ln(|\sum_y|) - 2\ln(\pi_y) \qquad (4.9) $$

avec la probabilité a priori $\pi_y$, la moyenne $\mu_y$ et la matrice de covariance $\sum_y$ pour la classe y. L'erreur de chacun des classificateurs est mesurée par

$$ \epsilon = P(R(X) \neq Y) = E(|Y - R(X)|). \qquad (4.10) $$

Bien que l'hypothèse a priori utilisée par chacun des modèles soit différente, les résultats des meilleurs classificateurs obtenus sont similaires et peu concluants. Les raisons de l'échec de ces modèles sont étroitement liées à la taille très insuffisante de l'échantillon d'entraînement malgré l'usage de la technique de ré-échantillonnage (de bootstrap) classique d'Efron [ET97] pour réduire le biais de la taille. L'autre raison, et non pas la moindre, serait la complexité de la maladie qui se traduit par la multitude de configurations imperceptibles sur l'image radiographique 2D, en particulier la détection du changement de l'anisotropie. Toutes ces raisons nous ont conduit à proposer une étude unique et originale qui a suscité
l'intérêt des médecins. Son objectif est avant tout de permettre le suivi de l'évolution de
la structure de l'os en 3D dans le temps et dans l'espace et d'aider à la compréhension des
facteurs complexes qui contribuent à l'installation de l'ostéoporose. Pour réaliser ce travail,
nous avons mis en place, dans le cadre de l'ANR Mataim, un simulateur réaliste capable de
mimer le processus biologique du remodelage osseux en utilisant peu de paramètres. Des
scénarios réalistes de simulation du remodelage osseux à un niveau microscopique fondée
sur un modèle stochastique de type « germ-grain » ont été élaborés dont le paramétrage
a été validé à la fois par des mesures de la littérature mais aussi par les médecins. En
effet, selon les théories de Frost [Fro90], un tel processus de remodelage a lieu dans des
zones circonscrites appelées « Bone Multicellular Unit » (BMU). Un processus au niveau
de la BMU est décrit en tenant compte du nombre de BMU travaillant à la surface de l'os
trabéculaire; mais il diffère des autres travaux [LHG+98] par le fait que la probabilité
d'activation d'une BMU n'est pas purement aléatoire. Plus précisément, la localisation des
BMU à activer sont choisis aléatoirement à la surface de l'os trabéculaire où les endroits
sont ceux qui expriment une force d'activation locale dépassant un seuil fixé. Une telle
contrainte, inspirée d'un modèle décrit dans [RVHH05], permet de prendre en compte la
présence de microfissures et de dommages, supposés aléatoires, ainsi que l'âge de la dernière
formation osseuse. Des implémentations ont été effectuées pour des images de synthèses
simples en deux dimensions comme première étape de validation, puis étendu par la suite
à des images tridimensionnelles réalistes de la base décrite au chapitre précédent. Le but
est de pouvoir créer de nouvelles images avec des altérations spatio-temporelle variées si-
mulant divers scénarii d'évolution de la maladie. Sur ces images massives et temporelles,
des paramètres micro-architecturaux 3D et 2D sont calculés en fonction du temps. En
résumé, via le simulateur, nous avons proposé un outil simple avec peu de paramètres,
capable de :

1. générer en masse de nouvelles images 3D et les images projetées 2D associées (fausses radiographie) visualisant l'évolution spatiale et temporelle de la maladie à la fois en deux et trois dimensions;

2. suivre l'évolution des descripteurs 3D et 2D déjà décrits dans le chapitre précédent et analyser leurs corrélations possibles;
3. pouvoir simuler différents scénarii à différentes échelles temporelles de la maladie
À chaque pas de temps $t_k$ du simulateur, un ensemble de nouvelles images est obtenu venant s'ajouter aux ensembles d'images précédents. Rappelons que nous disposons d'une centaine d'échantillons d'os au départ qui ont été prélevés sur des cadavres dont on connaît l'âge, le sexe ainsi que l'état initial de la structure osseuse. De plus, le label ostéoporotique ou non est connu. Sur ces échantillons, les images 3D, ainsi que leur radiographie 2D, ont été soigneusement préparées et constituent notre échantillon de données d'étude. Nous notons par $V_k, I_k, \mathcal{F}3d_k, \mathcal{F}2d_k$ et $\text{label}_k$, respectivement l'image 3D, l'image 2D, le vecteur des descripteurs 3D, le vecteur des descripteurs 2D et le label à l'instant $t_K$. Notons par $\mathcal{E}_k$ l'ensemble des images obtenues à l'instant $t_k$. $\mathcal{E}$ est composé de l'union de tous les ensembles obtenus précédemment $\bigcup_{t=t_{0..t_{k-1}}} \mathcal{E}_t$. Cet ensemble est décrit par les paramètres $\mathcal{F}3d_k$ et $\mathcal{F}2d_k$ que nous avons mis place en s'inspirant de ceux utilisés dans la littérature (cf. chapitre 3).

### 4.4.2 Description du simulateur

Dans l'os trabéculaire, les ostéoclastes résorbent les cavités en forme de soucoupe se déplaçant à la surface en creusant une tranchée d'une profondeur de 40 à 60µm et couvrant des superficies de tailles diverses allant de 50 × 20µm jusqu'à 1000 × 1000µm comme mentionné dans [HHM99]. Les paramètres qui caractérisent une forme BMU en 3D sont la profondeur (D), la longueur (L) et la largeur (W). Ils sont considérés comme des variables aléatoires. Pour des raisons de commodité, la longueur est choisie comme $L = 1 + 2(a_L + b_L.U)$, la profondeur est choisie comme $D = a_D + b_D.U$ avec U une variable aléatoire uniforme sur [0, 1]. La fréquence d'activation (FA) est souvent utilisée pour mesurer l'activité de la BMU dans l'os trabéculaire. Cependant, FA exprime le taux d'apparition de la BMU sur une lame histologique et non le taux de régénération. Le nombre N de BMU créé par unité de surface S et par unité de temps t est calculé en fonction de AF par la formule suivante :

$$N(t) = \frac{AF \times |S(t)|}{W(t) \times R(t)} \quad (4.11)$$

où $|S|$ le total d'os à la surface, W est la largeur moyenne d'une BMU, R la proportion moyenne de la propagation sur la surface; bien sûr, tous dépendant du temps t. Cette
même formule peut être exprimée en fonction de la fréquence de régénération OF par :

$$N(t) = OF \times |S(t)| \times \sigma(t) \quad (4.12)$$

avec $\sigma$ étant la durée de vie moyenne d'une BMU. Connaissant la surface $S$ et son volume $V$, chaque $i^e$ BMU est localisée à la surface $S$ par son centre de gravité $\mathcal{X}_i = (x_i, y_i, z_i)$ et ses dimensions que l'on note par $E_i = (D_i, L_i$ et $W_i)$ à un pas de temps $t$ donné. Par conséquent, l'ensemble de toutes les BMU généré à un pas de temps $t$ peut être vu comme un processus de points marqués (Marked point process) $\{\mathcal{X}_i, E_i\}$ et infère un modèle germ-grain associé comme suit :

$$\bigcup_i (\mathcal{X}_i(t) \oplus G_i(t)). \quad (4.13)$$

Les $\mathcal{X}_i$ sont les points marqués ou les germes du processus, alors que les $G_i$ sont les grains localisés à la surface $S$ et marqués par leur états $E_i$. Un processus de Poisson a été retenu comme processus de comptage nous permettant une approximation acceptable de la répartition spatiale des BMU à la surface. Ce choix de processus est justifié par son comportement indépendant par rapport au :

i le nombre de points dans une région finie $S$ est une variable aléatoire $N(t)$ suivant une distribution de Poisson avec une moyenne $\lambda(t)x|S(t)|$ pour une certaine intensité $\lambda$,

ii au choix des $N$ points $X_1, \dots, X_N$, en outre choisis indépendamment et de manière purement aléatoire à la surface $S$ et

iii pour tout $t_0 = 0 \le t_1 < \dots < t_k$, les variables aléatoires $(N(t_k)-N(t_{k-1})) \dots (N(t_1)-N(t_0))$ sont indépendantes.

À chaque tirage des $N$ points, il est indispensable de savoir si un site $\mathcal{X}_i$ pouvait être candidat pour être choisi comme site de régénération de la BMU. L'hypothèse proposée et utilisée par ailleurs dans la littérature [HHM99] suppose que l'absence de signaux ostéocytaires à la surface de l'os attire les ostéoclastes pour la résorption osseuse. Un tel manque peut être dû à une défaillance mécanique, à la mort des ostéocytes (apoptose) ou à des micro-dommages de fatigue (micro-fissures) qui se produisent de manière aléatoire
à la surface de l'os trabéculaire. Par conséquent, la répartition spatiale des positions des BMU dans le temps est limitée à des sites qui expriment une énergie $||FA||$ de la fréquence d'activation $FA$ supérieure à un seuil $\alpha$. Ce seuil est un paramètre défini en fonction du scénario de simulation et qui peut être fixé par les spécialistes. L'énergie est simplement exprimée comme :

$$ ||FA(\mathcal{X}_i)|| = f(M(x)), \forall x \in S_{\mathcal{X}_i}, r. \qquad (4.14) $$

Autrement dit, l'énergie d'activation est calculée dans une zone centrée en $\mathcal{X}_i$ et qui s'étend sur un voisinage de points de la surface $S$ situés à une distance $r$. La matrice $M(x)$ est vue comme l'état de minéralisation du site en un point $x$ depuis la dernière régénération (ou formation de l'os nouveau). La fonction $f$ nous permet de paramétrer de différentes manières les scénarii d'altération (vieillesse jusqu'à ostéoporose) ou régénération plus ou moins fréquente pour maintenir un état stable de la matrice osseuse, etc. Ainsi, dans le cadre d'un processus fortement ciblé, l'activation d'un site $\mathcal{X}$ peut être validée, par exemple, lorsque l'énergie $||FA(\mathcal{X}_i)|| > \text{percentile}(||FA||, \kappa)$. Si, par exemple, $\kappa = 85\%$ (cf. Figure 4.4), le scénario correspond à viser principalement à renouveler les sites les plus vieux. Enfin, les sites sélectionnés pour être régénérés subissent deux étapes successives (cf. figures 4.1, 4.2, 4.3).

<figure><img src="image_38.png" /><figcaption>FIGURE 4.1 – Deux étapes illustrées par les images du simulateur 3D : Résorption et formation</figcaption></figure>

Tout d'abord, la résorption de l'os endommagé a lieu au germe $\mathcal{X}_i$, marqué par le nombre
<figure><img src="image_39.png" /><figcaption>FIGURE 4.2 – Visualisation 3D par le simulateur. zones A : résorption est plus importante que la formation ; Zone B : résorption puis formation. Zones en rouges sont les formes de la zone de remodelage (BMU).</figcaption></figure>

de voxels de la surface de S, |Gᵢ²| à résorber et soit inférieure à L × W × D. Cette étape est suivie par le processus de formation sur le même site, paramétré par |Gᵢ²|, le nombre de voxels à former avec de l'os nouveau. La balance osseuse locale (Xᵢ) est égale à la différence entre la quantité formée |Gᵢ²| et la quantité résorbée |Gᵢ³| avec |Gᵢ²| = φ × |Gᵢ³|, φ ∈ [0, 1]. Si (Xᵢ) = 0 alors le site a été entièrement régénéré (la matrice minérale M(Xᵢ) est entièrement nouvelle) alors que quand la balance est négative, la perte osseuse peut être irréversible avec l'apparition soit d'affinement des structures, soit des perforations. Le détail d'autres scénarii peut être consulté dans l'article [RM16] du journal CMBBE.

4.4.3 Prédiction de labels pour images satellitaires

Les images de télédétection fournissent des observations sur les objets acquis qui sont
exploités pour expliquer la dynamique des processus de changements (forêt vers zone agri-
cole ou bien transition d'une zone agricole vers zone urbaine, etc). Après identification des
objets, nous pouvons identifier les objets en mutation qui participent à un tel processus
ou bien quel processus a changé l'état d'un objet. Avant de suivre l'évolution des objets,
il est essentiel de pré-traiter les images. Les opérations de pré-traitement nécessaires pour
les images de télédétection sont le filtrage, la segmentation et l'extraction des descrip-
teurs. Comme nous l'avons expliqué dans le chapitre 2 ( section 2.3, p. 46), le filtrage et la
<figure><img src="image_40.png" /><figcaption>FIGURE 4.3 – Résultat du remodelage en 3D</figcaption></figure>

<figure><img src="image_41.png" /><figcaption>FIGURE 4.4 – Extrait des paramètres du simulateur de remodelage en 3D et dans le temps</figcaption></figure>

segmentation sont deux opérations très coûteuses et nécessitent des ressources machines
à la fois pour le traitement en mémoire vive mais aussi pour pouvoir stocker les images
bien sûr brutes et traitées pour une exploitation rapide lors de la phase de prédiction.
Force est de constater que les images satellitaires sont de formats très divers. Comme elles sont obtenues par différents satellites d'observation de la terre, plusieurs types d'images sont acquis dont la résolution est étroitement liée à la résolution du capteur. En effet, le capteur possède en général quatre types de résolutions à savoir la résolution spectrale, la résolution spatiale, la résolution temporelle et radiométrique. Ainsi la distinction de deux points voisins sur une image sera plus ou moins précise en fonction de la résolution. Par exemple, les objets spatiaux de petite taille, tels qu'un bâtiment ou une petite parcelle, ne peut pas être distinguée par une résolution spatiale grossière, mais une résolution élevée est cependant nécessaire. La résolution spectrale est définie par le nombre de bandes ainsi que la longueur d'onde de chacune. Deux capteurs spectraux sont distingués donnant lieu à deux types d'images multi-spectrales et hyperspectrales. Avec une résolution temporelle, les capteurs sont dotés de périodes de temps orchestrées par la fréquence de passage du satellite leur permettant de réviser la même zone observée à partir de la même position.

En résumé, les types d'images qui en découlent sont les images monospectrales ou panchromatiques (la valeur d'un pixel varie entre 0 et 255), les images multi-spectrales (image composée d'au plus 10 bandes d'images monospectrales, un pixel est donc un vecteur de taille au plus de 10. Si le nombre de bandes est égale à 3, on retrouve les images classiques RVB), et enfin les images hyperspectrales qui contiennent au moins une centaine de bandes de longueurs d'ondes différentes. Enfin, les images satellitaires sont représentées sous forme de matrices contenant les valeurs des pixels. De plus, elles contiennent des métadonnées fournissant des connaissances contextuelles telles que la localisation du satellite lors de la prise de vue, ou bien le système de coordonnées utilisé, ou encore l'éclairage solaire. Des indices, comme ceux de végétation ou ceux de variation d'eau, sont souvent utilisés pour étudier et interpréter la dynamique des phénomènes spatio-temporels. Par exemple, l'indice de végétation NDVI est utilisé pour étudier la structure de végétation, tandis que les indices NDWI et NDSI sont destinés pour étudier respectivement la structure d'eau et la structure des sols. Ces indices utilisés comme paramètres globaux en complémentarité avec les images et sont souvent disponibles en quantité massive et sur des périodes de temps qui varient de la semaine à un mois et ce sur plusieurs années de cohortes. D'ailleurs, certains indices tel que SPEI permettant de prédire les changements climatiques sont disponibles depuis 1900 à jusqu'à ce jour. Face à une présence accrue des
données, les modèles de prédiction orientés données sont à privilégier tels que les réseaux de neurones profonds (DNN pour Deep Neural Network). En effet, les DNN continuent à élargir les limites de leurs territoires d'application. Par exemple, les réseaux neuronaux convolutionnels (CNN) sont devenus de facto la méthode standard pour la reconnaissance d'images/objets en vision par ordinateur [SLJ+15]. D'autres types de DNN ont également montré des performances exceptionnelles dans divers problèmes d'apprentissage et en particulier la classification d'images. Cependant, le temps d'apprentissage des DNN sur de grands ensembles de données est le principal goulot d'étranglement du flux de travail dans un certain nombre d'applications importantes tels que dans les systèmes de monitoring et de prédiction à partir de gros volumes d'images satellitaires.

Pour minimiser ce temps, la tâche d'apprentissage d'un DNN doit être distribuée. Elle doit être étendue sur un plus grand nombre de machines possibles en distribuant la méthode d'optimisation utilisée lors de l'apprentissage. Bien qu'un certain nombre d'approches aient été proposées pour la descente de gradient stochastique distribuée (SGD), à l'heure actuelle, les approches synchrones de SGD distribuées semblent être les plus performantes à grande échelle. La mise à l'échelle synchrone de la SGD souffre de la nécessité de synchroniser tous les processeurs à chaque étape du gradient et manque de robustesse face à des processeurs défaillants ou en retard. Dans les approches asynchrones utilisant des serveurs de paramètres, l'apprentissage est ralenti par le décalage du serveur de paramètres [LZZ+17] [BH19]. Ces approches exploitent principalement le parallélisme des modèles et peuvent offrir une possibilité d'évolution. Dans ce contexte où le parallélisme des données et des modèles manquent, la thèse en co-tutelle d'Imen Chebbi propose des améliorations de l'architecture distribuée en posant deux hypothèses. La première hypothèse suppose que l'environnement Spark est en mesure d'apporter une solution robuste quant à la distribution des données. Or, la distribution des données n'est pas une solution optimale pouvant ralentir davantage la phase d'apprentissage puisque le coût de lecture/écriture s'élève avec la quantité des données. L'objectif de la seconde hypothèse est de proposer une architecture distribuée de l'apprentissage des DNN et des données. Pour assurer les opérations parallèles, Spark distribue automatiquement les charges de travail, les paramètres aux nœuds Tensorflow et agrège d'une manière itérative les résultats de l'appren-
tissage par les approches synchrones ou asynchrones. Le processus distribué dédié à la prédiction des objets dans les images satellitaires est illustré par la figure 4.5 et se décline en plusieurs étapes. Tout d'abord, les images sont divisés en images de taille optimale

<figure><img src="image_42.png" /><figcaption>FIGURE 4.5 – Modèle de prédiction distribué d'objets à partir d'images satellitaires [BMC + 19]</figcaption></figure>

(144x144). Cette taille est élaborée par une stratégie heuristique alliant le temps de calcul et la performance de prédiction. Les données sont, par la suite, réparties sur un ensemble de noeuds de Spark. L'algorithme de segmentation décrit dans le chapitre 2, section 2.3, à la page 46. Après avoir fractionné les données, nous obtenons un certain nombre d'images ayant une résolution homogène. Ces données sont stockées dans des ensembles de données distribuées résilientes (RDD) en utilisant la technique MapReduce. En utilisant la fonction Map, chaque bande (de taille 144x144) est traitée pour produire des paires de clés-valeurs ($kp, vq$) comme sorties intermédiaires que nous nommerons par vecteurs RDDs. Lorsque les vecteurs RDDs sont établis, ils sont transmis aux différents réseaux neuronaux profonds pour l'étape d'extraction des descripteurs. Le nombre de réseaux est égal au nombre de noeuds correspondant aux nombre de workers que nous avons fixé de manière heuristique. Deux architectures pré-entraînées sont choisies pour l'étape d'extraction des descripteurs à partir des images. Dès lors que les architectures sont déjà pré-entraînées, le temps nécessaire à leur paramétrage se réduit considérablement. De plus, grâce à la technique de transfert de l'apprentissage, le biais de sur-apprentissage est faible.

Concrètement, les paramètres des deux architectures déjà apprise avec Unet et VGGNet, sont réutilisés et ajustés à nos vecteurs RDD pour l'extraction des descripteurs. La der-
<table><caption>TABLE 4.2 – Comparaison des résultats sur des bases d'images à 3 et 16 bandes.</caption><thead><tr><th rowspan="2"></th><th colspan="3">SIRI-WHU</th><th colspan="3">AID</th><th colspan="3">Our database</th><th colspan="3">16-band database</th></tr><tr><th>Accuracy</th><th>Recall</th><th>F1-score</th><th>Accuracy</th><th>Recall</th><th>F1-score</th><th>Accuracy</th><th>Recall</th><th>F1-score</th><th>Accuracy</th><th>Recall</th><th>F1-score</th></tr></thead><tbody><tr><td>UNET</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>-</td><td>0.92</td><td>0.57</td><td>0.70</td></tr><tr><td>UNET-SVM</td><td>0.73</td><td>0.72</td><td>0.72</td><td>0.78</td><td>0.78</td><td>0.78</td><td>0.84</td><td>0.82</td><td>0.82</td><td>0.94</td><td>0.92</td><td>0.92</td></tr><tr><td>VGGNET-SVM</td><td>0.73</td><td>0.68</td><td>0.70</td><td>0.67</td><td>0.50</td><td>0.55</td><td>0.79</td><td>0.80</td><td>0.79</td><td>-</td><td>-</td><td>-</td></tr><tr><td>Seg-UNET-SVM</td><td>0.91</td><td>0.89</td><td>0.90</td><td>0.93</td><td>0.92</td><td>0.92</td><td>0.95</td><td>0.93</td><td>0.94</td><td>0.94</td><td>0.92</td><td>0.92</td></tr></tbody></table>

nière couche de sortie de chacun de ces deux réseaux est remplacée par une classification partielle (ou locale) SVM via la bibliothèque MLib de spark. Afin d'adapter l'algorithme SVM à notre classification, nous avons utilisé l'approche *un contre un*, qui consiste en une série de classificateurs appliqués à chaque paire de classes. Ainsi, $n(n - 1)/2$ threads sont appliqués à chaque paire de classes. La stratégie *max-wins* a été utilisée lorsque tous les classificateurs ont été balayés en ajustant les hyper-paramètres *C* de régularisation et gamma de pénalité. Le paramètre de régularisation indique à l'optimiseur notre tolérance aux erreurs de classification et le paramètre gamma décrit l'impact d'un exemple mal classé. En d'autres termes, avec un gamma faible, les points éloignés de la ligne de séparation plausible sont pris en compte dans le calcul de marge de séparation. Pour la sélection des hyper-paramètres, nous avons utilisé la méthode de validation croisée *k-fold*. Enfin, une étape de fusion de l'ensemble des classifications partielles est effectué pour étiqueter les objets sur l'image source. Force est de constater que cette dernière étape consiste en la phase « Reduce » de l'algorithme MapReduce augmentée par une tâche spécifique de gestion des étiquettes en conflit pour un même objet. Pour évaluer ce processus distribué de traitement, nous avons comparé trois modèles d'extraction et de classification : (1) un modèle Unet seul, (2) Unet suivi d'un SVM et (3) VGGNet suivi d'un SVM. Les résultats obtenus sont résumés par le tableau 4.2 où nous constatons que le modèle correspondant au processus que nous avons mis place surpasse largement les autres modèles. Par ailleurs, ce modèle a été également comparé à des modèles de la littérature et permet d'atteindre les mêmes performances que le modèle de [KLSS17] (93,6% en précision) et dépasse largement le modèle de [CYY+18] (83% précision), ainsi que celui de [NHP13] (80% en précision). La figure 4.6 illustre le résultat de la prédiction des classes à partir d'images satellitaires 3 bandes, et la figure 4.7 à partir d'images 16 bandes.
<figure><img src="image_43.png" /><figcaption>FIGURE 4.6 – Images satellitaires 3 bandes et exemples de prédiction [Mel19b]</figcaption></figure>

4.5 Prédiction de séries temporelles issues de cap-
teurs

Dans le cadre d'un appel à projet ADEME 2, l'INRAE (ex-IRSTEA, Anthony) propose d'apporter une solution écologique pour réduire efficacement la consommation électrique. Dans ce cadre, nous avons été sollicitées pour collaborer avec l'équipe Génie des procédés frigorifiques afin de contribuer à la mise en place de modèles de prédiction de la surconsommation électrique pour la recommandation d'un effacement idoine.

Avant de détails des modèles mathématiques, nous allons tout d'abord expliquer très rapi-
dement le contexte applicatif (ce qu'est un effacement électrique dans un usage particulier
qui est la chambre frigorifique) justifiant l'intérêt de ce projet, nommé *Flexifroid*. L'énergie

<footnote n="2">2. ademe.fr</footnote>
<figure><img src="image_44.png" /><figcaption>FIGURE 4.7 – Images satellitaires 16 bandes et exemples de prédiction</figcaption></figure>

électrique représente une part importante de la consommation finale à l'échelle mondiale (environ 20%). Sa production constitue un enjeu fondamental de son développement mais doit tenir compte des nouveaux challenges environnementaux. Dans ce contexte, et compte tenu des moyens humains et matériels importants mis en jeu, l'industrie électrique doit proposer des solutions pour optimiser la gestion énergétique des réseaux afin d'assurer un équilibre permanent entre production et consommation d'électricité (entre l'offre et la demande). De plus, la production de froid représente, quant à elle, une part importante de la consommation électrique mondiale, soit 17%, et correspond à 10% des émissions de gaz à effet de serre [CDP15]. L'explosion industrielle aggravée par le réchauffement climatique provoquent à eux seul une augmentation exponentielle de la consommation électrique ces dernières décennies. Rien qu'en Europe, il existe 1,7 millions de chambres froides et d'entrepôts frigorifiques qui représentent la part principale du secteur du froid industriel. Ces équipements et infrastructures ont une capacité de 60 à 70 millions de $m^3$ de volume de stockage avec une consommation d'énergie spécifique entre 6 et 240 $kWh.m^{-3}.année^{-1}$ pour le stockage de produits surgelés [EFH+14]. Par ailleurs, il faut noter que les produits
surgelés jouent le rôle de batteries électriques permettant le stockage de l'énergie sous
forme thermique (stockage d'énergie par inertie thermique). Il convient donc de procéder
à un effacement électrique, c'est-à-dire à couper l'électricité pendant les périodes de sur-
consommation. Cette thèse, fort intéressante d'un point de vue écologique, s'avère très
difficile à déployer à grande échelle dans les entrepôts frigorifiques et les chambres froides
industriels pour des raisons financières. En effet, une coupure de l'électricité signifie pour
les industriels une remontée potentielle de la chaleur et, par conséquent, la dégradation
de la qualité des articles surgelés. Cet été de fait conduit, tout d'abord, à l'exposition des
clients à des risques sanitaires conséquents et, avant tout, à une grosse perte de leur chiffre
d'affaire. Il convient alors d'avoir une bonne connaissance du comportement du système, en
termes de fluctuation de température et de consommation électrique, sans l'appui des don-
nées réelles des industriels, afin d'approuver les modèles d'effacement et d'envisager, par
la suite, leur déploiement à petite puis grande échelle. Le défi de ce projet a été double. Il
a été indispensable de substituer l'environnement frigorifique réel par un dispositif réaliste
permettant non seulement de produire des données dans un contexte réaliste mais aussi
et surtout de pouvoir couvrir les différents comportements physique, thermodynamique
et électrique face à des paramètres environnementaux (tels que la température extérieure,
la saison, le week-end, les vacances, la localisation, etc.), des paramètres de chargement
(le taux d'occupation de la pièce, la répartition des produits, etc.), des paramètres géo-
métriques (la dimension de la pièce), des paramètres techniques liés aux composants pour
la production du froid et, enfin, des paramètres aléatoires (fréquence de l'ouverture des
portes, la durée d'ouverture, etc.). La première collaboration sur ce projet date de fin 2018
où les premiers jeux de données issues d'une vraie chambre froide expérimentale (installée
à l'INRAE) sont collectés grâce aux différentes manipulations menées par la doctorante
Mahdjouba Kerma<fnref n="3" />. Ces données ont été appareillées au peu de données recueillies depuis
des chambres froides réelles appartenant à l'un des partenaires industriel de ce projet.
Cette étape a permis de calibrer certains dispositifs et paramètres liés aux appareils de
la chambre froide expérimentale. Une fois le dispositif largement calibré, nous avons mis
en place le modèle de prédiction de l'effacement sur la chambre froide expérimentale pour
différents scenarii. Une chambre froide est modélisée par un système dynamique multiva-

<footnote n="3">3. en 2ème année de thèse au moment de l'écriture de ce mémoire</footnote>
<table><caption>TABLE 4.3 – Entrées/sorties du système dynamique d'une chambre froide</caption><thead><tr><th></th><th>Nom</th><th>Description</th></tr></thead><tbody><tr><td rowspan="4">Sortie</td><td>Temp<sub>In</sub></td><td>Température intérieure</td></tr><tr><td>Temp<sub>Air</sub></td><td>Température de l'air</td></tr><tr><td>Temp<sub>Prod</sub></td><td>Température du coeur des produits</td></tr><tr><td>Ep</td><td>Consommation</td></tr><tr><td rowspan="6">Entrée</td><td>Temp<sub>out</sub></td><td>Température extérieure</td></tr><tr><td>DR</td><td>période d'effacement</td></tr><tr><td>Def</td><td>période de dégivrage</td></tr><tr><td>δ(DR)</td><td>Le temps écoulé depuis le dernier effacement</td></tr><tr><td>δ(Def)</td><td>Le temps écoulé depuis le dernier dégivrage</td></tr><tr><td>Compressor</td><td>On/off du compresseur</td></tr></tbody></table>

rié. Ses paramètres physiques se déclinent en paramètres intérieurs et extérieurs que nous résumons dans le tableau 4.3. Les fluctuations des valeurs des paramètres de sortie du système dynamique sont reliées non linéairement aux variations des valeurs des paramètres d'entrées. Les variations peuvent se résumer par un système à trois régimes :

1. état stationnaire caractérisé par des variations régulières de la température selon un ensemble de points limites (haut/bas);

2. réponse à l'effacement électrique qui se manifeste par une augmentation de la température sur une longue période (30 min. à 3h);

3. dégivrage par une augmentation soudaine de la température pendant une très courte temps (5 à 10min).

Les trois régimes sont illustrés par la figure 4.8 qui montre une grande différence comportementale et temporelle des trois régimes. Il est important de signaler que la distinction entre les trois régimes est bien plus facile quand la chambre froide est déchargée. En effet, plus la chambre est chargée, plus le dégivrage est fréquent (régime 2). A contrario, le temps d'augmentation de la température de l'air pendant le régime d'effacement est plus lent (comme on peut le constater sur les régimes 4.9).

Ce problème est abordé classiquement par des modèles de comportement dynamique des systèmes thermiques. Ces modèles nécessitent une très bonne connaissance d'un tel sys-
<figure><img src="image_45.png" /><figcaption>FIGURE 4.8 – Trois régimes : (1) état stationnaire ; (2) effacement électrique ; (3) dégivrage</figcaption></figure>

<figure><img src="image_46.png" /><figcaption>FIGURE 4.9 – Régime sans et avec charge : (a) sans charge, (b) avec charge[Mah20]</figcaption></figure>
tème thermique et ne tolèrent pas l'incomplétude des équations différentielles, ce qui est souvent un compromis entre le volume des données traitées et le nombre d'équations à résoudre. Le passage à l'échelle de ces modèles n'est, pour l'instant, pas possible et ouvre des perspectives à d'autres types de modélisation orientés données (*end to end models*). En effet, lorsque l'objectif principal est le résultat final obtenu à la sortie d'un système, indépendamment du fonctionnement interne, il peut être intéressant d'exploiter des modèles non linéaires dont le but est uniquement de prédire les paramètres de sortie à partir des entrées. Cela présente, en outre, l'avantage d'être facilement généralisable, au moins en présence de données suffisantes et représentatives. Des modèles capables de capturer la structure interne et les liens entre les données tels que les réseaux neuronaux artificiels (ANN) pourraient constituer une approche alternative pour résoudre des problèmes complexes. Les ANN permettent de cartographier des relations non linéaires complexes internes aux données et arrivent à résoudre plusieurs problèmes tels que la planification, le contrôle, l'analyse, la prédiction et la reconnaissance. La littérature scientifique a démontré leur capacité de surpasser les méthodes conventionnelles avec un potentiel remarquable de modéliser des processus non linéaires. À l'heure actuelle, bien que des études [HXW17] [XWYC14] aient été menées dans le cadre de la consommation électrique, aucune méthode de ce type ne semble avoir été appliquée à la problématique de l'effacement électrique pour la réfrigération.

## Prédiction de séries temporelles par des RNN

Les réseaux de neurones ont attiré beaucoup d'attention ces derniers temps et ont intégré un panel d'applications très large. Ils ont été utilisés avec beaucoup de succès dans différents domaines tels que, à titre d'exemples la reconnaissance de motifs en analyse et traitement de signaux et d'image, en finance, en diagnostic en détection de pannes. Certaines architectures de réseaux de neurones sont employées en adéquation avec les objectifs à la fois de l'application et du jeu de données. Typiquement, si l'objectif est la classification et les données en entrée sont des images alors les réseaux de neurones convolutionnels sont un meilleur choix d'architecture. Si les données en entrée sont des séries temporelles alors les réseaux de neurones récurrents, en particulier les modèles LSTM (*Long Short-Term Memory*), sont les plus appropriés. Nous constatons donc que, pour un même objectif,
l'architecture diffère en fonction des données en entrée. Dans notre contexte où les données en entrées sont des séries temporelles multivariées, deux types d'architectures peuvent être candidates : MLP (MultiLayer Perceptron) et LSTM. Les modèles MLP supposent une indépendance entre les entrées et les sorties avec une séquence de taille 1, c'est-à-dire une séquence de mémoire extrêmement courte ; tandis que les modèles LSTM disposent de cellules de mémoires capables de mémoriser les dépendances temporelles entre les sorties et les entrées sur une séquence longue. Théoriquement, les modèles LSTM mémorisent des séquences de longueurs arbitraires. Ils se composent de cellules d'états ($C_t$, pour « Cells ») et de portes qui décident les données à conserver ou à jeter pour chaque séquence. Il existe trois types de portes : une porte d'oubli ($f_t$, pour forget), une porte de mémoire pour stocker les nouvelles information entrantes ($i_t$, pour input) et, enfin, la porte de sortie ($o_t$, pour output). Chaque porte est une couche de réseau de neurones composée soit par une sigmoïde ($\sigma$, valeur $\in [0, 1]$), soit par une tangente hyperbolique ($tanh$, valeur $\in [-1, 1]$). Le but d'une sigmoïde est de permettre d'oublier (0 oubli) ou non une valeur (1 prendre la valeur telle qu'elle) alors que $tanh$ permet de normaliser les valeurs. Par conséquent, l'état d'une cellule $C_t$ à un instant $t$ (équation 4.18) est contrôlé par l'information qui doit être ignorée par rapport à l'état de la cellule $C_{t-1}$ à l'instant précédent $t-1$ (équation 4.15) et ce qui doit être stocké comme nouvelle information entrante $i_t$ (équation 4.16) à l'état actuel $\tilde{C}$ (équation 4.19). La sortie prédite $h_t$ à l'instant $t$ (équation 4.20) est le produit de la sortie $o_t$ (équation 4.17) filtrée par l'état de la cellule à l'instant $t$. Les équations de contrôle de l'état d'une cellule à un instant $t$ se résument par les équations suivantes :

$$f_t = \sigma(W_f[h_{t-1}, x_t] + b_f) \qquad (4.15)$$

$$i_t = \sigma(W_i[h_{t-1}, x_t] + b_i) \qquad (4.16)$$

$$o_t = \sigma(W_o[h_{t-1}, x_t] + b_o) \qquad (4.17)$$

$$C_t = C_{t-1} \otimes f_t \oplus \tilde{C}_t \otimes i_t \qquad (4.18)$$

$$\tilde{C}_t = tanh(W_c[h_{t-1}, x_t] + b_c) \qquad (4.19)$$

$$h_t = o_t \otimes tanh(C_t) \qquad (4.20)$$
<figure><img src="image_47.png" /><figcaption>FIGURE 4.10 – Composition d'une cellule LSTM</figcaption></figure>

où ⊗ et ⊕ sont respectivement l'opérateur ponctuel de multiplication et d'addition appli-
qué aux matrices (point à point) ; W et b sont respectivement la matrice des poids et le
biais liées à chacune des portes (oubli, mémoire, sortie) et l'état (de la cellule). Plusieurs
variantes de l'architecture LSTM présentée ici comme celle de référence, existent dans la
littérature en proposant des structures de cellules légèrement différentes. Beaucoup d'entre
elles sont utilisées pour l'analyse automatique de texte ou bien pour des problématiques
de traduction. Les questions légitimes qui nécessitent d'être posées à ce stade sont quelle
architecture serait la plus performante, pour quelle application et pour quelles données ?

Une étude empirique a été menée par Google [JZS15] pour apporter des éléments de ré-
ponse à la première question. Ils ont montré que les différentes architectures sont similaires
en terme de performance sur trois domaines d'application. Inspiré par ces travaux, et face
à la complexité de la dépendance temporelle qui existe entre les données, nous avons mené
une étude comparative de cinq architectures différentes en partant de l'architecture de
référence présentée ci-dessus. Nous notons par $y_t$ et $x_t$ des observations de séries chronolo-
giques multivariées, représentant respectivement tout paramètre de sortie et d'entrée dans
le tableau 4.3. Nous notons par $f$ une fonction de prédiction non linéaire avec des entrées
$m+p$ telle que

$$
y_{t+1} = f(y_t, y_{t-1}, \dots, y_{t-m+1}, x_t, x_{t-1}, \dots, x_{t-p+1}) \quad (4.21)
$$

Nous considérons *h* comme une période discrète sur [1, *m*]. Ayant une série d'observations *y*<sub>*t*</sub>, *y*<sub>*t*−1</sub>, ..., *y*<sub>*t*−*m*+1</sub> sur une période fixe *h* nous proposons d'estimer ŷ(*m*, *H*) à des dates futures *m* dans un horizon *H* donné. Ce problème est équivalent à l'estimation du Ŵ̂
minimiser cette valeur, et elle est définie sur l'horizon de prévision $[t+1, t+H]$ par :

$$MAE(Y) = \frac{1}{N} \sum_{i=1}^{N} |\hat{Y}_i - Y_i|. \qquad (4.26)$$

Enfin, le coefficient de variation (CV) est une mesure qui relate la dispersion relative des données autour de la moyenne. Le coefficient de variation se calcule comme le ratio de l'écart-type rapporté à la moyenne et s'exprime en pourcentage par la formule :

$$CV(Y) = 100 \cdot \frac{RMSE(Y)}{\bar{Y}}. \qquad (4.27)$$

L'ensemble de ces métriques sont analysées d'une manière conjointe afin de chercher le modèle optimal. Les différents modèles ont été confrontés aux scénarii d'usage comme suit. Tout d'abord, nous partons d'un comportement de référence d'une chambre froide, stationnaire sans perturbations, et à température interne constante. Cette étape à pour but d'initialiser les quatre modèles. Ensuite, nous avons établi cinq séries chronologiques pour évaluer chacun de modèles. Dans ce qui suit, on note par $E_i$ un scénario d'une série chronologique où $i = 1..5$ élaboré pour chaque cas d'utilisation $i$ :

- $E_1$ (train : 127975, test : 60000) : l'hypothèse est de considérer un ensemble de mesures avec trois périodes d'effacement, uniformément réparties sur trois jours. Nous simulons ici la perturbation stochastique du système en considérant une distribution uniforme du bruit. Ainsi, $\delta T_{erasure}$ est diminué de façon aléatoire et $T_{erasure}$ est fixe;

- $E_2$ (train : 223545, test : 149030) : est de considérer un ensemble de mesures avec deux périodes d'effacement par jour, uniformément réparties sur cinq jours. Dans ce cas, nous augmentons la fréquence d'occurrence du bruit comparé au cas d'usage 1 et nous augmentons le nombre total de mesures. En effet, ce cas nous permet d'étudier le biais de la fréquence d'occurrence du bruit ainsi que la quantité de données;

- $E_3$ (train : 490985, test : 294590) : est de considérer un ensemble de mesures sur cinq jours avec une période d'effacement aléatoirement effectuée par jour. Cela signifie que les deux $\delta T_{erasure}$ et $T_{erasure}$ sont aléatoires.

- $E_4$ (train : 630920, test : 420610) : est de considérer l'union des trois hypothèses précédentes. Elle correspond à un modèle généralisé du problème de réponse à la
<table><caption>TABLE 4.4 – Prédiction de la Température $T_p$ pour chaque $E_i$ avec quatre modèles dérivés du LSTM.</caption><thead><tr><th>T<sub>p</sub></th><th>LSTM</th><th>ConLSTM</th><th>StackedLSTM</th><th>BidirectionalLSTM</th></tr></thead><tbody><tr><td>E<sub>1</sub></td><td>(Mae =0.38,Fit=35.8)</td><td>(Mae=0.38, Fit=60.5)</td><td>(Mae=0.44, Fit=42.8)</td><td>(Mae =0.5, Fit=41.7)</td></tr><tr><td>E<sub>2</sub></td><td>(Mae =0.16,Fit=29.7)</td><td>(Mae=0.33, Fit=14.8)</td><td>(Mae=0.14, Fit=30.4)</td><td>(Mae =0.31, Fit=24.4)</td></tr><tr><td>E<sub>3</sub></td><td>(Mae =0.27,Fit=48.0)</td><td>(Mae=0.26, Fit=46.9)</td><td>(Mae=0.23, Fit=50.9)</td><td>(Mae =0.31, Fit=52.1)</td></tr><tr><td>E<sub>4</sub></td><td>(Mae =0.27,Fit=58.2)</td><td>(Mae=0.33, Fit=55.5)</td><td>(Mae=0.27, Fit=61.1)</td><td>(Mae =0.37, Fit=48.4)</td></tr><tr><td>E<sub>5</sub></td><td>-</td><td>-</td><td>(Mae=0.19,Fit=69.64)</td><td>-</td></tr></tbody></table>

<table><caption>TABLE 4.5 – $E_i$ Compressor<sub>Energy</sub> prediction with the four derived LSTM models</caption><thead><tr><th>CV(Compressor<sub>Energy</sub>)</th><th>LSTM</th><th>ConLSTM</th><th>StackedLSTM</th><th>BidirectionalLSTM</th></tr></thead><tbody><tr><td>E<sub>1</sub></td><td>18.9</td><td>23.5</td><td>18.9</td><td>20.3</td></tr><tr><td>E<sub>2</sub></td><td>15.7</td><td>13.7</td><td>47.1</td><td>20.08</td></tr><tr><td>E<sub>3</sub></td><td>15.1</td><td>13.8</td><td>54.42</td><td>22.6</td></tr><tr><td>E<sub>4</sub></td><td>16.2</td><td>15.9</td><td>16.1</td><td>16.1</td></tr><tr><td>E<sub>5</sub></td><td>-</td><td>28.5</td><td>-</td><td>-</td></tr></tbody></table>

<figure><img src="image_48.png" /><figcaption>FIGURE 4.11 – Prédiction des séries temporelles par modèles LSTM sur les données de $E_1$</figcaption></figure>

demande d'électricité, c'est-à-dire que nous avons une grande quantité de données, plus de bruit et plus d'aléa.

— $E_5$ (train : 214080, test : 142700) : est de considérer $\delta T_{erasure}$ et $T_{erasure}$ non aléatoires mais variant entre 1 et 3 heures en augmentant l'horizon de prédiction $H$.

Chaque ensemble de données $E_i$ est respectivement divisé en 60% de données pour l'apprentissage/Validation et 40% pour le test, sauf le $E_5$ utilisé en tant que échantillon de test supplémentaire.
<figure><img src="image_49.png" /><figcaption>FIGURE 4.12 – Prédiction de la série temporelle $T_{p\text{product}}$ par modèles LSTM sur les données de $E_2$</figcaption></figure>

<figure><img src="image_50.png" /><figcaption>FIGURE 4.13 – Prédiction de la série temporelle $T_{p\text{product}}$ par modèles LSTM sur les données de $\text{Compressor}\_\text{Energy}$ sur les données de $E_3$</figcaption></figure>

<figure><img src="image_51.png" /><figcaption>FIGURE 4.14 – Prédiction des séries temporelles par modèles LSTM sur les données de $E_5$</figcaption></figure>
Comme le montre les figures 4.11, 4.12, 4.13, ??, nous obtenons des résultats significatifs grâce à l'utilisation du réseau LSTM convolutif utilisant l'ensemble des données et sur toutes les variables à l'exception de *Ep*. Cependant, ces résultats sont encore très modestes et s'expliquent facilement par la faible quantité de données. En outre, il convient de noter que certaines caractéristiques, telle que $Tp_{produit}$, sont mal prédites par tous les modèles. Ces problèmes semblent être en partie liés aux capteurs. Une analyse plus détaillée a été effectuée dans le cadre de la thèse de Mme Akerma vérifiant les fuites de données causées par les différents capteurs. Les résultats obtenus avec l'ensemble des données $E_2$ sont moins performants pour prédire les caractéristiques liées à la température. En particulier, une augmentation soudaine de la température prédite a été noté dès que la coupure électrique est déclenchée, suivie d'une diminution tout aussi soudaine à la fin de la période d'effacement. En ce qui concerne la consommation d'énergie, le comportement est toujours reproduit aussi fidèlement qu'auparavant. Avec cet ensemble de données, le LSTM stacked et le bidirectionnel surpassent les autres modèles. On peut noter que ces deux derniers sont moins sensibles à la quantité de données. Avec l'ensemble des données $E_3$, le modèle LSTM de référence ainsi que le convolutif surpassent les autres modèles. Ils semblent être plus efficaces en présence de bruits aléatoires. Les modèles LSTM bidirectionnels et le *stacked* sont capables de prédire la dynamique des séries temporelles mais sont sensibles au bruit, en particulier pendant les périodes de démarrage de l'effacement et pendant les reprises. Le comportement *idiosyncrasique* de signaux prédits se manifeste par un signal bruit qui s'ajoute au signal prédit. Avec l'ensemble de données $E_4$ (rappelons que c'est l'union des trois ensembles précédents de données), nous obtenons des résultats comparables à ceux obtenus par LSTM de référence et le *stacked*. Leur précision est supérieure à celle des deux autres modèles. Il convient toutefois de noter que les quatre modèles sont entraînés sur l'union de $E_1$ et $E_2$ et testés sur l'ensemble de données $E_3$. Ce qui nous semble intéressant, c'est que nous nous attendions à ce que les résultats de ce cas d'utilisation soient similaires à ceux du cas d'utilisation précédent (cas d'utilisation 3). Or, on remarque que l'apprentissage de plus de bruit lié au dysfonctionnement des capteurs, permet au modèle LSTM *stacked* de mieux prédire le bruit ainsi que les données aléatoires. De plus, au vu des résultats obtenus, il est moins sensible à la quantité des données. Enfin, l'ensemble des données $E_5$ est utilisé comme échantillon de test pour
le LSTM *stacked* pré-entraîné. Comme la taille de l'horizon de $E_5$ est de vingt minutes, soit quatre fois plus que les précédents, les données des séries chronologiques sont moins nombreuses. Tant que la taille de l'horizon $E_5$ est quatre fois plus grande que les précédentes, les données sont plus lissées et moins bruitées. En conséquence, le modèle a pu mieux prédire avec un gain d'environ 10%. La variable $Compressor_{Energy}$ est correctement prédite dans tous les cas d'usage où l'ajustement est d'environ 90% et la MAE d'environ 0.1. Ceci est dû à son indépendance par rapport à l'état interne du système. Les résultats obtenus par ces modèles montrent leur intérêt et leur pertinence quant à la prédiction de séries temporelles multivariées. Afin d'améliorer leur performance il est nécessaire de disposer de davantage de données. Or, comme il a été décrit au début de cette section, en l'absence de bases de données de référence, les données sont très difficiles à obtenir. De plus, chaque élaboration d'un ensemble $E_i$ nécessite au moins six semaines d'expérimentation. Pour palier ce manque de données, nous avons augmenté les données expérimentales par des données simulées. En effet, l'extension de ce travail nous a ouvert de nouvelles perspectives de recherche qui s'insèrent pleinement dans les travaux de recherche actuels sur l'apprentissage par transfert. La première perspective est l'apprentissage par transfert homogène du domaine source des données simulées $D_s$ vers le domaine cible des données expérimentales $D_e$. La seconde perspective vise l'apprentissage par transfert hétérogène entre le domaine source et domaine cible. La formalisation de l'apprentissage par transfert homogène permet de modéliser la prédiction de l'effacement dans les chambres froides. Alors que la formalisation de l'apprentissage par transfert hétérogène vise à modéliser la prédiction de l'effacement dans les entrepôts frigorifiques. Ces deux axes font actuellement l'objet de nos travaux recherche et qui sont par ailleurs étendus aux domaines du son, du texte et de l'image. Ces perspectives seront détaillées dans le chapitre suivant.

## 4.6 Prédiction à partir des données de réseaux sociaux

Les données textuelles numérisées sont devenues des données courantes pour plusieurs applications et dans différents domaines. Elles peuvent exister sous forme d'une liste de
mots-clés, de phrases, de paragraphes, ou encore sous forme plus complexes tels que les
résumés. L'analyse des données textuelle est un axe à part entière qui nécessite des compé-
tences pointue en linguistique. C'est un domaine à l'intersection de la fouille des données,
du traitement automatique de la langue et de l'intelligence artificielle. Nous avons montré
dans le chapitre précédent, l'intérêt de l'analyse des annotations (qui sont des séquences
de phrases) pour l'enrichissement sémantique des descripteurs des images contribuant à
réduire le fossé sémantique visuel. Mais le texte étant présent partout, il devient un en-
jeu, mais aussi un atout, pour l'enrichissement sémantique et l'aide à l'interprétation des
résultats. Cependant, l'analyse des données textuelles doit rendre compte de différentes
dimensions qui peuvent être dans bien des cas dépendantes. La dimension spatiale d'un
mot dans une phrase contribue à la structure de celle-ci. Ce même mot devient un vec-
teur de sens quand on regarde sa dimension temporelle. Le sens d'un même mot peut
être différent d'une phrase à une autre. Même si les mots restent génériques, leur fré-
quence d'usage peut dépendre plus ou moins fortement du domaine. Une autre difficulté à
laquelle l'analyse textuelle devra faire face est la dimension multilingue. En effet, la traduc-
tion d'un mot d'une langue à une autre peut lui faire perdre son sens faute d'une relation
bijective parfaite permettant la conservation des différentes dimensions (spatiale, tempo-
relle, domaine). Nous abordons dans cette section, le problème de la prédiction quand les
données textuelles s'ajoutent aux données numériques. Dans un contexte où la proliféra-
tion des réseaux sociaux est source d'interaction et d'échange d'information, les systèmes
de recrutement assisté par ordinateur (e-recruitment) a explosé ces dix dernières années.
Cela a pour conséquence de favoriser la multiplication des réseaux sociaux professionnels
spécialisés en diffusion des offres d'emploi. Pour atteindre des objectifs stratégiques et
économiques d'une part par les recruteurs et d'autre part par les demandeurs d'emploi,
il devient donc nécessaire de repenser les modèles de recommandation qui aideraient les
recruteurs à choisir le ou les canaux de diffusion appropriés aux offres d'emploi. En ef-
fet, disposer d'un modèle pertinent de recommandation de canaux permet à l'entreprise
d'optimiser ses coûts financiers, comme elle permet au demandeur d'emploi d'optimiser
ses coûts de recherche en fonction de ses compétences et profil professionnel. À moyen
terme, les entreprises pourraient aussi bénéficier d'un système de recommandation de CV
approprié pour chaque profil recherché par une offre d'emploi. Pour ces objectifs, plusieurs
problématiques ont été dégagées. Tout d'abord, nous avons été confrontés à l'analyse du contenu textuel des offres d'emploi. L'analyse du contenu des offres contribue d'une part à enrichir le modèle de classification des canaux de diffusion et, d'autre part, à comprendre l'évolution de leur contenu. Ces connaissances augmentées jouent un rôle précieux dans le fonctionnement du système de recommandation des canaux de diffusion afin qu'il soit pertinent face à une offre donnée. Ensuite, nous avons étudié l'évolution temporelle du contenu des canaux de diffusion à travers les consultations des utilisateurs dans le but de prédire leur attractivité. Enfin, grâce à la jonction des deux problématiques décrites ci-dessus, nous avons proposé un système de recommandation temporelle où la notion d'attractivité se conjugue avec l'évolution du contenu textuel des offres dans le temps mais aussi par bassin géographique. En effet, la dimension géographique s'est révélée un critère discriminant dans la diffusion de certaines offres et donc de certains canaux spécialisés. Ces travaux ont été élaborés dans le cadre d'un projet FUI-SONAR (tableau. 4.1), mené par le post-doctorant Sidahmed Benabderrahmane, durant deux ans et ont conduits à d'autres perspectives intéressantes de recherche, notamment en analyse du contenu dynamique et en prédiction temporelle du contenu des réseaux sociaux spécialisés. Dans la suite de cette section, nous allons nous focaliser sur deux aspects : l'analyse du contenu textuel et la prédiction des séries temporelles symboliques.

## 4.6.1 Word2Vec et Doc2Vec pour la représentation textuelle

Chaque offre d'emploi, en tant que document, est représentée dans notre base de données par une liste d'éléments structurés. Ils sont principalement composés par le titre de l'emploi, la description, les compétences requises, le lieu, le salaire, et des informations annexes. Chaque élément est ensuite transformé en un vecteur de termes fréquents du document en question. En outre, nous disposons d'un vocabulaire de classification des emplois, référencé par un organisme public français (code ROME 4). Il est donc nécessaire de représenter ces données de manière idoine au modèle de traitement. Le texte est l'une des formes les plus répandues des données séquentielles. Il peut être traité soit comme une séquence de caractères, soit comme une séquence de mots, bien qu'il soit plus courant de

<footnote n="4">4. /www.pole-emploi.fr/.../les-fiches-metiers.html</footnote>
travailler au niveau des mots. Les modèles d'apprentissage profonds sur des séquences que nous avons utilisés pour traiter les offres d'emploi sont capables d'exploiter du texte pour produire des connaissances augmentées contribuant à la compréhension du langage naturel. L'apprentissage profond est très largement exploité pour des applications allant de la classification de documents, l'analyse des sentiments, l'identification d'auteurs ou même la réponse à des questions dans un contexte donné [Cho17]. L'apprentissage profond pour le traitement du langage naturel est simplement un modèle de reconnaissance appliquée aux mots, phrases et paragraphes, de la même manière que la vision par ordinateur est une simple reconnaissance de formes appliquée aux pixels. Comme tous les autres réseaux neuronaux, les modèles d'apprentissage profond ne prennent pas en compte le texte brut. Ils ne fonctionnent qu'avec des tenseurs (vecteurs) numériques. La vectorisation du texte est le processus de transformation pouvant être réalisé de plusieurs façons :

- en segmentant le texte en mots, et en transformant chaque mot en un vecteur;

- en segmentant le texte en caractères, et en transformant chaque caractère en un vecteur;

- en extrayant des *n*-grammes de mots ou de caractères, et en transformant chaque *n*-gramme en un vecteur. Les *n*-grammes sont des groupes de mots ou de caractères consécutifs multiples qui se chevauchent.

Collectivement, les différentes unités dans lesquelles un texte peut être décomposé (mots, caractères ou *n*-grammes) sont appelés « *tokens* » (c'est le grain de décomposition du texte comme le pixel pour une image), et la décomposition du texte en tokens est appelée « *tokenisation* ». Tous les processus de vectorisation de texte consistent à appliquer un schéma de tokenisation, puis à associer des vecteurs numériques aux tokens générés. Ces vecteurs, regroupés en tokens par séquence viennent alimenter les réseaux neuronaux profonds.

Dans ce travail, nous en avons utilisé deux principales représentations : l'encodage à chaud (« *one-hot* ») et l'incorporation des tokens (utilisé exclusivement pour les mots et généralement appelé plongement de mots ou « *Word embedding* ») [Cho17][Jas16].

L'encodage à chaud est le moyen le plus courant et le plus élémentaire de transformer un mot en vecteur. Il consiste à associer un index entier unique *i* à chaque mot, puis à transformer cet index entier en un vecteur binaire de taille *N*, la taille du vocabulaire qui serait
entièrement nulle sauf pour la *ième* entrée qui serait de 1. Le plongement de mots consiste à utiliser des vecteurs de mots, est une autre façon bien répandu et puissante permettant d'associer un vecteur à un mot. Alors que les vecteurs obtenus par un codage à chaud sont binaires, éparses (principalement constitués de zéros) et à très haute dimension voire de même dimension que le vocabulaire, les plongements de mots sont des vecteurs denses de nombres réels et à faible dimension par opposition aux vecteurs éparses. Il est courant d'associer des représentations de plongement de mots sur 256, 512 voire 1024 mots lorsqu'il s'agit de très grands vocabulaires. Cette technique est fondée sur l'hypothèse de Harris qui suppose que les mots apparaissant dans des contextes similaires ont des significations apparentées. D'autre part, les mots codés en une seule fois conduisent généralement à des vecteurs de grande dimension. Par conséquent, le plongement de mots permet de regrouper plus d'informations et d'avoir ainsi une dimension plus réduite.

La figure 4.15 donne un exemple de représentation d'un texte avec des valeurs numériques.

<figure><img src="image_52.png" /><figcaption>FIGURE 4.15 – Du texte aux vecteurs en passant par les tokens [Cho17].</figcaption></figure>

Deux modèles se distinguent dans la littérature qui sont *Word2vec* et *doc2vec*. *Word2vec* est à la base d'un réseau de neurones à deux couches ce qui lui permet d'être rapidement entraîné et exécuté. Son objectif consiste à apprendre les représentations vectorielles des mots de telle manière que les mots ayant le même contexte soient représentés par des vecteurs assez proches. Pour ce même modèle, il existe deux architectures différentes à savoir *CBOW* et le *skip-gram*. *CBOW* permet de prédire un mot en fonction de son contexte qui peut être soit un mot unique ou un groupe de mots. Tandis que le *Skip-Gram* per-
met de prédire le contexte à partir du mot. Ces deux architectures peuvent être utilisées de façon conjointe dans le cas de corpus incomplet et où le contexte est imprécis; plus particulièrement dans le contexte de la détection de l'incohérence dans des documents multilingues ou cross-lingues. Nous reviendrons en détail sur cette problématique de niche plus loin dans cette section. Doc2vec est une version modifiée du Word2vec pour l'adapter à la représentation des documents. Doc2vec peut être vu comme un changement d'échelle opéré sur les mots permettant de représenter les documents sous la forme de vecteurs de tailles fixes. Ainsi chaque document est-il représenté par un vecteur de descripteurs de taille fixe. Cette représentation permet de prédire les mots d'un document. Rappelons que nos documents d'expérimentation sont des offres d'emploi. Ce sont des documents textuels dont le vocabulaire utilisé dans la description de l'offre est un ensemble de mots caractéristiques d'un métier donné. Par conséquent, les canaux de diffusion des offres d'emploi peuvent être analysés et classés en fonction des offres. Autrement dit, la caractérisation des offres d'emploi via leur contenu est une identité sémantique d'un canal ou d'un ensemble de canaux de diffusion. Plusieurs canaux peuvent diffuser une même catégorie de métier et donc des offres similaires. Ainsi, l'exploitation des offres suivant une représentation Doc2Vec permet de caractériser le métier alors que l'exploitation des mêmes documents en Word2Vec a pour objectif de caractériser le type de l'emploi pour un métier donné. Par exemple, pour le métier de l'informatique, on trouve plusieurs déclinaisons d'emploi tels que *administrateur web*, *développeur web*, *architecte web*, etc. Ces deux informations liées au métier de l'informatique et à la spécialité sont très complémentaires et détectables à deux échelles différentes. Elles apportent de la précision sur la spécificité des canaux de diffusion et permettent de lever un fossé sémantique entre le contenu d'une offre et la spécificité d'un canal de diffusion. Quand plusieurs canaux de diffusion peuvent être candidats potentiels à la publication d'une offre d'emploi, la question de la recommandation d'un canal attractif dédié peut se poser. Nous partons de l'hypothèse que l'attractivité d'un canal peut être mesurée par le nombre de visites comptabilisé par l'activation des liens correspondants aux offres publiées par un canal de diffusion. Les offres d'emploi sont publiées périodiquement sur un ou plusieurs canaux de diffusion à une date donnée. Une offre diffusée sur un canal dispose d'un cycle de vie limité. Pendant cette période, le nombre de liens activés (autrement dit le nombre de clics) sur les offres d'emploi dans les différents
canaux peut être facilement connu. Ainsi, le nombre de clics quotidien associé à une offre et à des canaux est disponible. Ce nombre peut être relaté sur différentes échelles temporelles : hebdomadaire, mensuelle, semestrielle ou même annuelle. Nous indiquons par T la période ou l'échelle de temps associée au nombre de clics considéré. Pour formuler cette représentation des données, en particulier le nombre de clics, nous considérons un canal JB, comme un ensemble d'offres $o_j$ sur une période de temps donnée T :

$$JB_T = \bigcup o_j \text{ for } j = 1, \dots, p. \qquad (4.28)$$

Pour chaque canal, nous introduisons un ratio $X^{JB_T}$ calculé comme le nombre total de clics relatifs aux offres publiées sur ce canal durant une période T :

$$X^{JB_T} = \frac{nb click}{|JB_T|}. \qquad (4.29)$$

Ici, nous considérons T comme un intervalle discret $[1, N]$. Étant donné que les clics relatifs sont des valeurs numériques, nous pouvons considérer le rapport $X_t^{JB_T}$ comme une observation temporelle des clics donnés à l'instant t. Ayant une série d'observations $X_1^{JB_T}, X_2^{JB_T}, \dots, X_N^{JB_T}$ sur une période fixe T, nous proposons de prédire les clics $\hat{X}^{JB_T}(N, h)$ sur des dates futures N dans un horizon h donné. Il s'agit de prédire la réalisation future d'une variable aléatoire $X^{JB_T}$ en utilisant les valeurs précédemment observées $X_1^{JB_T}, X_2^{JB_T}, X_N^{JB_T}$ pour chaque canal de diffusion JB, et d'ordonner par la suite les séquences temporelles prédites afin de sélectionner le canal qui maximise $X^{JB_T}$. Nous utiliserons ici des séries chronologiques univariées, et nous notons la variable $X^{JB_T}$ simplement par $x_t$, une observation à l'instant t.

## 4.6.2 Prédiction de séquences symboliques

En pratique, les séries temporelles numériques sont souvent de dimension très élevée, et souffrent de difficultés de stockage, d'accès et d'interprétation. Ces difficultés ont contribué à la production de divers algorithmes de réduction de dimension. En particulier, de nombreuses méthodes de discrétisation ont été proposées dans la littérature pour co-
der les séries temporelles en séquences symboliques [CF99][CKMP02][LKLC03][MWLF05]. Parmi les algorithmes de transformation de séries temporelles numériques en séquences symboliques, on peut énumérer la transformée de Fourier, l'ACP, la transformée en ondelettes, l'Approximation par Agrégation symbolique nommé SAX [LKLC03] et la MVQ (Multi-resolution Vector Quantization) [ED04]. Toutes ces méthodes ont été évaluées d'une manière exhaustive par les travaux antérieurs du post-doctorant dans un contexte de recherche de similarités et de clustering [BQG14] [RRFD16]. En partant de ces travaux, nous avons proposé une extension de MVQ pour le rendre parallèle. Les deux méthodes SAX et PMVQ, ont été retenues pour la prédiction de nos séries symboliques. Chaque symbole prédit est une quantification des clics des utilisateurs sur les offres d'emploi. C'est donc les trajectoires comportementales des demandeurs d'emploi que nous avons suivies à travers ces nouvelles représentations symboliques. L'avantage d'une telle représentation est de pouvoir appliquer des techniques de traitement automatique de la langue sur des suites de mots.

## Séquences symboliques par agrégation : la méthode SAX

La méthode SAX a pour rôle de faire correspondre une série temporelle numérique :

$$T = (X_{1}^{JB_{T}}, X_{2}^{JB_{T}}, \dots, X_{N}^{JB_{T}}) \qquad (4.30)$$

à une séquence de symboles codée sur un alphabet de taille réduite $A=|\Sigma|$ [LKLC03]. La première étape de l'algorithme consiste à diviser la série temporelle de longueur $N$ en $w$ fenêtres (à 1 séquence est associée un mot(code)) de taille égale et calcule la valeur moyenne des données de chaque fenêtre. Ainsi, un vecteur de taille $w$ devient la représentation réduite des données d'origine. La somme de ces moyennes est basée sur une approximation agrégée par morceaux (AAP) où le $i^{th}$ élément est défini par :

$$C_i = \frac{w}{n} \sum_{j=\frac{n}{w}(i-1)+1}^{\frac{n}{w}i} X^{JB_T}. \qquad (4.31)$$

Il convient de noter qu'avant d'appliquer l'AAP, chaque série temporelle est normalisée (i.e. une moyenne nulle et un écart-type de 1) afin d'éviter de comparer des séries tem-
porelles présentant des décalages et des amplitudes différents. Dans la deuxième étape, chaque segment est codé par une séquence de l'alphabet A. La conversion de la représentation AAP d'une série temporelle en SAX repose sur la production de symboles qui correspondent aux caractéristiques de la série temporelle avec une probabilité égale pour chaque symbole. Keogh et al. [LKLC03] ont pu montrer qu'en règle générale, les données des séries chronologiques suivent une distribution normale. Avec une telle distribution, nous pouvons facilement choisir des zones de taille égale. L'extraction des zones s'appuie principalement sur la détection des points de rupture (par exemple, les quantiles sont des points de rupture qui divisent une distribution gaussienne en un nombre arbitraire de zones de même taille). Ainsi, le nombre de points de rupture $β_i$ correspond à la taille de l'alphabet A (dictionnaire de mots). L'intervalle entre deux points de rupture successifs est attribué à un symbole de l'alphabet, et chaque segment de l'AAP à l'intérieur de cet intervalle est codé par ce symbole.

<figure><img src="image_53.png" /><figcaption>FIGURE 4.16 – Exemple d'une série chronologique encodée en une séquence SAX. À chaque position de la fenêtre, la valeur moyenne est calculée puis encodée avec un symbole.</figcaption></figure>

La figure 4.16 donne un exemple de série chronologique numérique et sa séquence SAX relative. Dans cet exemple, la longueur du mot de code $w = 8$ (huit positions de la fenêtre ou fractionnées selon la dimension temporelle), et la longueur du livre de codes $a = 3$ (trois symboles de l'alphabet). La séquence SAX de cette série est CBCCBAAB. Il apparaît clairement qu'une telle représentation est très utile puisque l'acquisition de données et leur représentation en séries temporelles numériques peuvent engendrer des erreurs intimement liées aux capteurs ou au protocole d'acquisition. Il apparaît également évident qu'avec les séquences symboliques, nous pouvons tirer parti de la robustesse des méthodes d'exploration des données symboliques et de traitement du langage naturel, telles que la recherche de similitude, la découverte de motifs, l'exploration de motifs fréquents,
la construction de trajectoires comportementales, etc.

Séquences symboliques par PMVQ

La quantification vectorielle (VQ) est une transformée en ondelettes qui a été largement
utilisée en traitement d'images, en traitement du signal et de l'encodage vidéo [Mal89].
C'est une méthode efficace de compression des données hétérogènes [Mac67]. Plus les
données sont massives, plus la compression est efficace. Elle est basée sur l'extraction
de la corrélation spatiale perceptive par des transformations en ondelettes. En effet, la
transformation en ondelettes permet de rendre compte de l'information locale et globale
à différentes résolution de la série. De plus, elle permet une représentation symbolique de
la série en codant les séquences de la série d'origine par une suite de mots. Contrairement
à la méthode SAX, la quantification vectorielle multirésolution utilise un ensemble de
vocabulaire composé de mots. Le vocabulaire est différent pour chaque résolution. À chaque
résolution, VQ est utilisé pour découvrir le vocabulaire des séquences liées aux séries
initiales. Un vecteur de quantification Q, de dimension n et de taille k est une fonction
de correspondance Q : $\mathbb{R}^n \to \mathcal{A}$ à partir d'un point de $\mathbb{R}^n$ vers un ensemble fini de mots
$\mathcal{M} = \{m_1, ..., m_k\}$, le dictionnaire de mots (ou codebook) contenant k mots $m_i \in \mathbb{R}^n$.

À chaque $k$-points composant une séquence de la série, VQ est une partition de $\mathbb{R}^n$ en $k$ régions $R_i$ pour tout $i = \{1, 2, ..., k\}$ avec $R_i = \{x \in \mathbb{R}^n : Q(x) = m_i\}$. La fonction de correspondance $Q$ doit fournir pour tout $k$-points :

1. la partition optimale pour un codebook $\mathcal{M}$ donné;

2. le mot $m_i$ optimal pour une partition $R_i$ donnée.

Les paramètres de la méthode MVQ sont l'échelle de résolution *k* et la longueur d'un mot *m*<sub>*i*</sub>. La valeur de l'échelle est calculée d'une manière intuitive par *log(n)*, *n* étant la dimension de la série. La longueur d'un mot *m*<sub>*i*</sub> pour une résolution *i* donnée est 2<sup>*i*-1</sup>.

Enfin, ces deux algorithmes ont été testés et leur performance prédictive a été testée
en utilisant le modèle *seq2seq LSTM* comme réseau de neurones profonds. Chaque série
temporelle d'un canal de diffusion des offres d'emploi est transformée en une séquence
symbolique SAX et PMVQ. Différentes résolutions ont été testées. Par exemple, avec 1000
séries temporelles et 8 résolutions pour SAX et PMVQ, nous pouvons obtenir 1000x2x8 = 16000 séquences symboliques employées à l'apprentissage du modèle LSTM.

Les figures 4.17 et 4.18 illustrent la représentation spectrale de certains canaux de diffusion d'offres d'emploi avec les deux méthodes de codage lors de la production des séries symboliques.

<figure><img src="image_54.png" /><figcaption>FIGURE 4.17 – Représentation spectrale de certains canaux de diffusion d'offres d'emploi avec la série symbolique SAX. Chaque ligne verticale représente une séquence symbolique d'un canal. Chaque pixel de la ligne représente la quantification des clics avec la série symbolique SAX</figcaption></figure>

<figure><img src="image_55.png" /><figcaption>FIGURE 4.18 – Représentation spectrale de certains canaux de diffusion d'offres d'emploi avec la série symbolique PMVQ. Chaque ligne verticale représente la séquence symbolique d'un tableau d'affichage des offres d'emploi. Chaque pixel de la ligne représente la quantification des clics avec les PMVQ.</figcaption></figure>

Il s'agit d'une représentation nouvelle et innovante que nous proposons pour avoir une vue d'ensemble globale sur la base de données des séries chronologiques et pour analyser
visuellement les comportements des candidats face aux offres d'emploi. Chaque ligne verticale représente une séquence symbolique d'un canal de diffusion. Chaque pixel de la ligne représente la quantification des clics avec la méthode d'encodage associée. Nous avons divisé les séquences en sous-séquences d'apprentissage et de validation afin de prédire les sous-séquences de symboles futurs comparées aux sous-séquences réelles. Avec une résolution de 8, on a obtenu des erreurs RMSE faibles. Nous avons constaté également qu'avec la méthode PMVQ, la prédiction des symboles de quantification des clics futurs est plus efficace que la méthode SAX. Une précision moyenne de 0,89 est obtenue pour la méthode PMVQ contre 0,73 pour la méthode SAX. La précision moyenne a été calculée pour des résolutions moindre avec SAX et PMVQ, et les résultats sont illustrés par la figure 4.19.

<figure><img src="image_56.png" /><figcaption>FIGURE 4.19 – Valeurs de précision moyenne de la prédiction avec des LSTM entraînés sur des séquences symboliques. Les résultats sont affichés pour chaque résolution (allant de 1 à 8) avec SAX et PMVQ.</figcaption></figure>

Il ressort de cette analyse que PMVQ est plus efficace pour la prédiction de nouveaux symboles que SAX. En outre, nous pouvons observer qu'avec les réseaux neuronaux profonds les résultats de la prédiction sont meilleurs que ceux obtenus avec les N-grammes. Le détail de ces résultats a fait l'objet d'une publication dans le journal KBS [BML18].

## 4.7 Conclusions et premières perspectives

Dans ce chapitre, nous avons abordé la prédiction d'événements futurs en mettant les données au service de la construction du modèle. En d'autres termes, nous avons combiné les techniques d'extraction de connaissances à partir de données massives, hétérogènes, tem-
porelles, avec des techniques d'apprentissage exploitant ces connaissances pour construire un modèle de prédiction idoine. Ces modèles se construisent de manière adaptative aux connaissances cachées dans les données. Les réseaux de neurones profonds sont des méthodes qui réussissent plus ou moins bien cet exercice dès lors qu'ils disposent d'un capital de données conséquent en taille et riche en informations. Or, dans certains domaines, les données se font rares et peuvent être parfois coûteuses voire lentes à produire. Face à ce problème, des pistes de recherche sont très en vogue actuellement et consistent à combler le manque de données par des approches de transfert d'apprentissage. Cette voix ouvre de nouvelles perspectives de recherche et la résolution de certains verrous scientifiques sont alors envisagés. Par exemple, nous nous intéressons à l'usage des ontologies formelles pour exprimer le problème de transfert comme un problème d'alignement entre contextes applicatifs source et cible à différentes échelles. De plus, ce cadre d'alignement devra prendre en considération l'incertitude, l'incomplétude et l'incohérence des données, en particulier les données cibles. Par ailleurs, les données sont de plus en plus hétérogènes en type. Pour une même information, on peut disposer de données textuelles, de données images, de son, etc. La manière de fusionner ces données pour augmenter sémantiquement la précision du modèle de prédiction est un axe de recherche que nous poursuivons dans l'optique de rendre la prédiction explicable. Pour l'heure, les modèles prédictifs à base de réseaux de neurones se limitent à prédire l'événement futur sans aucune production d'un ou plusieurs schémas explicatifs des résultats. C'est vers cet aspect que nous souhaitons orienter nos perspectives scientifiques.
# Chapitre 5

## Conclusions et projets scientifiques

Une synthèse d'une partie de mes travaux de recherche a été présentée dans ce manuscrit. Comme expliqué dans l'introduction, mes travaux s'inscrivent dans la problématique de l'extraction de connaissances pour l'aide à la prédiction sémantique à partir de données complexes. Les données sont principalement massives et multimodales. Une hypothèse forte qui compose le fil directeur de mes travaux est de proposer une vraie rupture avec le traitement traditionnel des données. Il s'agit de construire d'une part des modèles a priori, implicites de connaissances sous-jacentes expertes et, d'autre part, d'utiliser des sources d'informations contextuelles. L'ensemble de ces données augmentées par des connaissances implicites constitue un capital d'information sémantique contribuant à augmenter la performance des modèles d'analyse prédictive et leur interprétation.

Un autre axe directeur de mes travaux de recherche est la prise en compte des différentes facettes des sources d'informations et de connaissances disponibles afin de construire des descripteurs sémantiques en tenant compte de l'**infobésité** des données et leur caractère imparfait. Par conséquent, plusieurs questions se posent relatives à :

1. l'acquisition et la construction de modèles de connaissances à partir de données complexes et d'autres sources d'informations disponibles;

2. la construction de descripteurs sémantiques utiles à la représentation des connaissances du domaine, à la recherche sémantique et à l'interprétation de l'analyse prédictive sur les données;
3. l'hétérogénéité des modèles de connaissances disponibles pour un même domaine applicatif et qui doivent continuer à co-exister tout en favorisant leur interoperabilité, leur accessibilité et à contribuer pleinement à l'enrichissement des connaissances transversales entre domaines;

4. la prise en compte du facteur multimodal et multi-échelle des données visées dans le processus d'analyse prédictive;

5. l'explicabilité des algorithmes d'analyse et d'aide à la décision qui est un problème depuis longtemps central, dans le domaine des systèmes d'expert en particulier, et s'avère cruciale dans de nombreux domaines comme par exemple en recherche d'information, en recommandation ou en prédiction.

Les différentes contributions décrites dans le manuscrit constituent des éléments de réponse à une ou plusieurs des questions ci-dessus avec pour dénominateur commun la mise au premier plan des modèles d'extraction de connaissances basés sur l'apprentissage piloté par les données et les logiques sous-jacentes de représentation et de raisonnement. Certaines de ces contributions sont plutôt d'ordre théorique avec la proposition de nouveaux formalismes ; d'autres sont plutôt d'ordre applicatif avec la proposition de nouvelles méthodes, souvent motivées par l'application et validées par des études expérimentales. Ce chapitre propose donc de rapides conclusions sur mes contributions et dresse un panorama de mes perspectives et projets de recherche à plus ou moins long terme. La motivation principale de ces perspectives reste le développement de nouvelles approches pour donner du sens aux données et de contribuer pleinement dans la réduction du fossé sémantique par l'enrichissement des connaissances, dans l'explicabilité des algorithmes de traitement et d'analyse des données complexes. Alors que l'image a été la portée principale de mes travaux passés, j'envisage très fortement d'étendre mes recherches à d'autres types de données comme, par exemple, les séquences d'images, les vidéos, le son dont la dimension dynamique, d'origine temporelle et spatiale, devra être considérée. La gestion des imperfections ou d'autres facettes de l'information, comme, par exemple, leur caractère bipolaire, restera aussi au coeur de mes actions de recherche. Ces conclusions et perspectives sont présentées en suivant une structure similaire à celle du reste du manuscrit, à savoir la réponse aux questions posées dans l'introduction et reformulées ci-dessus.
## 5.1 Fusion Multimodale et explicabilité des algorithmes

Avec la récente résurgence des réseaux de neurones, le rapide essor des méthodes d'apprentissage profond et la prolifération de données massives non annotées, les algorithmes non supervisés ont gagné en popularité de part leur faculté à extraire de l'information depuis ces données. Les méthodes modernes d'apprentissage profond ainsi que les récentes évolutions matérielles (notamment GPU) permettent un apprentissage par des réseaux de neurones depuis des données quasiment brutes, c'est-à-dire sans la fastidieuse et coûteuse opération manuelle d'extraction de caractéristiques jusqu'à la prédiction de la tâche finale. Ainsi ces réseaux apprennent-ils de bout en bout à la fois une représentation des données ainsi que sa projection vers la prédiction sous-jacente à la tâche finale facilitant ainsi leur déploiement. L'apprentissage profond et donc l'apprentissage automatique de représentations n'est pas en vogue uniquement dans le domaine de la vision par ordinateur. D'autres domaines tels que le traitement des langues naturelles, la reconnaissance de la parole, les systèmes de recherche d'information multimodales et bien d'autres suivent cette tendance. Les objectifs scientifiques ont évolué de l'extraction de descripteurs et combinaison de classificateurs au développement d'architectures neuronales qui apprennent automatiquement des représentations et les exploitent efficacement pour une multitude de tâches différentes. Différents types d'architecture de réseaux profonds existent et chacune d'entre elles est dédiée à une classe de problème spécifique. L'avantage majeur de ces architectures apparaît lorsqu'on combine différent types de réseaux pour former des architectures complexes, capables de traiter différentes données, en apprendre des représentations efficaces, les combiner ou les transformer pour être efficace sur différentes tâches. C'est l'aspect le plus intéressant en apprentissage non-supervisé où de tels réseaux peuvent être entraînés en exploitant les ressources considérables de données non annotées accessibles sur le net, sans nécessité de recourir à des processus coûteux d'annotation manuelle. Les exemples typiques inclus le traitement multimodal non-supervisé de vidéos non annotées où les réseaux de neurones profonds sont capables de fusionner les informations obtenues depuis la transcription automatique de la parole et les représentations visuelles obtenues par apprentissage supervisé dans le but d'apparier correctement des segments de vidéo. Les travaux présentés dans la première partie de ce manuscrit ne constituent cependant que la première phase d'un
projet à plus long terme dont la finalité est de proposer de nouveaux formalismes permettant la fusion de grosses collections de données multimodales. Mes travaux s'orientent vers l'hybridation de modèles d'apprentissage supervisé et non supervisé par plongements neuronaux (neural embedding) pour la résolution du problème de fusion multimodale. Parallèlement, ces architectures présentent un défaut majeur lié au principe de boîte noire et à l'opacité du procédé d'élaboration des connexions significatives qui donne sens aux résultats obtenus en sortie. Ce procédé de calcul du sens, nous envisageons de le formaliser par une dimension sémiotique. Nous partons donc de la thèse que la perception et l'interprétation d'un artefact culturel (texte, image, film, site web, réseau social numérique, etc.) sont certes structurées par des **grammaires de production** : une articulation stratégique des signes à l'intérieur de l'artefact, qui agissent potentiellement sur le regard du récepteur comme des éléments de guidage. La construction de ces grammaires par le sujet est fonction de ses schémas de croyance et d'appartenance. Elles ne sont pas forcément universelles et résultent des représentations sociales et des schémas implicites liés au sujet et de ses automatismes cognitifs. La reconnaissance d'un objet n'implique pas forcément son interprétation. Nous proposons donc une approche complètement innovante pour la construction de ce processus d'interprétation fondée sur le plongement des algorithmes d'apprentissage dans une contextualisation sémiotique liées aux éléments perceptifs. Ce travail fait l'objet d'un projet de recherche financée par l'Université Paris 8, en collaboration avec Alexandra Saemmer, Professeure en Information et Communication. Dans ce projet, nous proposons de faire dialoguer des approches d'intelligence artificielle avec des approches sémiotiques sociales du texte et de l'image pour la production du sens. Nous proposons d'analyser tout particulièrement les couches des réseaux de neurones profonds correspondants aux descripteurs qui caractériseraient les données. Les données en entrée, les descripteurs ainsi que les labels (classes) en sortie sont représentés par des matrices. Les entrées de la matrice sont des degrés auxquels les objets représentés par les lignes, satisfont les descripteurs représentés par les colonnes. Les degrés de satisfaction sont supposés former une échelle bornée sur l'intervalle [0,1] équipée de certains opérateurs d'agrégation et conforme à la structure d'un treillis résiduel complet. Les degrés de satisfaction sont tout simplement les poids d'activation des descripteurs pour un objet. Partant de ces hypothèses, le processus d'interprétation, vu comme un problème d'abduction, utilise l'analyse
formelle de concepts pour trouver les descripteurs optimaux caractérisant les contextes formels des données homogènes. Pour pallier le problème des données hétérogènes, nous explorons également l'analyse relationnelle de concepts (ARC) qui est une extension de l'AFC où les concepts sont décrits en faisant référence à d'autres concepts via des descripteurs formés par abstraction des liens inter-objets. L'AFC est une technique pour extraire des concepts entre deux ensembles ordonnés interdépendants. Elle est souvent utilisée dans le cadre de données binaires où le lien ne peut être que 0 ou 1 entre les observations et les descripteurs. Nous proposons de l'étendre dans un contexte plus générique où le lien peut être interprété comme une probabilité de dépendance ou bien une mesure de corrélation, ou bien une mesure de relation floue. D'autre part, nous envisageons également son extension pour la prise en compte de concepts temporels. Ce travail théorique sera proposé dans un projet européen en cours de montage et qui sera piloté par l'Université Paris 8.

## 5.2 Image et recherche visuelle sémantique

Dans la recherche d'images basée sur le contenu, le problème clé est de savoir comment mesurer efficacement la similarité entre images. Comme les objets visuels ou les scènes peuvent subir divers changements ou transformations, il est impossible de comparer directement les images au niveau des pixels. Comme nous l'avons exposé dans le chapitre 3, nous proposons des modèles enrichis à base de motifs (*patterns*) sémantiques agrégeant différentes dimensions de représentation du sens telles que la dimension spatiale, géographique, temporelle, émotionnelle, etc. Chacune de ces dimensions représente un point de vue sur lequel une requête utilisateur peut être exprimée. Compte tenu de la contradiction entre une base de données d'images à grande échelle et la nécessité d'obtenir une réponse efficace à la requête, il est nécessaire de *packager* les caractéristiques visuelles pour fabriquer une signature visuelle sémantique multidimensionnelle facilitant l'indexation et la comparaison d'images. Pour atteindre ce but, la quantification avec des approches d'alignement est vue comme un alignement de modèles de connaissances couramment utilisé dans le domaine d'alignement d'ontologies. Parallèlement et avec l'évolution des standards de représentation des données liées aux images, je propose d'adapter le format IIIF (*International Image Interoperability Framework*) pour la représentation des patterns sémantiques
discutée au chapitre 3. En effet, IIIF désigne à la fois une communauté et un ensemble de spécifications techniques dont l'objectif est de définir un cadre d'interopérabilité pour la diffusion d'images de haute résolution sur le Web. Au delà des images statiques, j'envisage d'étendre les patterns sémantiques pour la représentation du contenu vidéo. Compte tenu de la dynamique des images composant une vidéo, j'oriente l'extension des patterns sémantiques vers des séquences de patterns sémantiques ordonnées dans le temps. L'extraction d'une séquence minimale de patterns sémantiques est vue comme un procédé de résumé sémantique d'une vidéo. À ce propos, je considère que les techniques de visualisation par l'image pourront :

- faciliter l'identification des relations de causalité dans des bases de données complexes (car multidimensionnelles et multimédia);

- communiquer les résultats sous une forme visuelle et synthétique.

D'où la question, peut-on représenter le son par une image ou bien par une séquence d'images ? En effet, le nouveau domaine des « MIR » (*Musique Information Retrieval*) et de l'audio sur le Web ouvre des perspectives stimulantes dans le domaine de la création musicale telles que l'identification automatique d'éléments sonores similaires, la détection parole/musique, des locuteurs, la séparation de sources, la création d'espaces collaboratifs pour la création musicale, etc. Une approche pluridisciplinaire et normalisée de la description des contenus sonores et audiovisuels permettra de croiser largement les données et les analyses, et donc d'en faciliter les accès. Dans cette optique, je m'intéresse à l'analyse audio via leur transformation en images. Les signaux sonores, tout comme les images, disposent de plusieurs échelles de représentation ou des points de vues de représentation de leur contenu. C'est dans cette optique que j'envisage l'analyse du signal à travers les images de décomposition du signal à différentes échelles dans le but de comprendre le liens entre le signal et sa perception. Ce travail fera l'objet d'une collaboration pluridisciplinaire autour d'un projet ANR soumis en 2020 (Attente du résultat final).
### 5.3 Apprentissage par transfert

Dans le chapitre 4, nous avons abordé la prédiction d'événements futurs en mettant les données au service de la construction du modèle. En d'autres termes, nous avons combiné les techniques d'extraction de connaissances à partir de données massives, hétérogènes, temporelles, avec des procédés d'apprentissage exploitant ces connaissances pour construire un modèle de prédiction idoine. Ces modèles se construisent d'une manière adaptative aux connaissances implicites dans les données. Les réseaux de neurones profonds sont des méthodes qui réussissent plus ou moins bien cet exercice dès lors qu'ils disposent d'un capital de données conséquent en taille et riche en informations. Or, dans certains domaines, les données se font rares et peuvent être parfois coûteuses voire lentes à produire. Face à ce problème, des pistes de recherche sont très en vogue actuellement et consistent à combler le manque de données par des approches de transfert d'apprentissage. Cette voie ouvre de nouvelles perspectives de recherche sont alors envisagés mais abordant de nouveaux verrous scientifiques à lever. Par exemple, nous nous intéressons à l'usage des ontologies formelles pour exprimer le problème de transfert comme un problème d'alignement entre contextes applicatifs source et cible à différentes échelles. De plus, ce cadre d'alignement devra prendre en considération l'incertitude, l'incomplétude et l'incohérence des données, en particulier les données cibles. C'est en effet on se pose tout d'abord la question centrale de comment quantifier la qualité des données sources et cibles. Ce sont les critères tels que la variété et la véracité que nous étudions tout particulièrement dans le contexte de l'apprentissage par transfert. Contrairement aux pratiques classiques, nous proposons d'analyser et de considérer ces deux critères sur un couple d'échantillons de données (source, cible). Formellement, le problème d'apprentissage par transfert d'un domaine $D_s$ vers un domaine cible $D_T$, est défini par :

- un espace $\mathcal{X}_s$ d'observations, un espace de labels $\mathcal{Y}_s$

- une tâche d'apprentissage $\mathcal{T}_s = \mathcal{Y}_s, f_s(\cdot)$ et $\mathcal{T}_T = \mathcal{Y}_T, f_T(\cdot)$ où $f_s(\cdot)$ (resp. $f_T(\cdot)$) est une fonction de prédiction apprise à partir de l'ensemble des couples $x_i, y_i$, pour tout $x_i \in X_s$ (resp. $X_T$) et $y_i \in Y_s$ (resp. $Y_T$)

- par une distribution de probabilité marginale $P(X)$ pour tout $X = (x_1, .., x_n \in \mathcal{X}_s$ (resp. $\mathcal{X}_s$)
$$ \mathcal{D}_s = (x_1^s, y_1^s), \dots, (x_n^s, y_n^s) \text{ et } \mathcal{D}_T = (x_1^T, y_1^T), \dots, (x_n^T, y_n^T). $$

Compte tenu de la définition formelle du contexte de transfert, l'apprentissage par transfert est le processus visant à améliorer la fonction prédictive $f_T(\cdot)$ en utilisant les informations relatives à $\mathcal{D}_s$ et $\mathcal{D}_T$ quand $\mathcal{D}_s \neq \mathcal{D}_T$ ou $\mathcal{T}_s \neq \mathcal{T}_T$. Deux situations sont possibles quand $\mathcal{D}_s \neq \mathcal{D}_T$: $\mathcal{X}_s \neq \mathcal{X}_T$ et/ou $P(X_s) \neq P(X_T)$. Dans le premier cas, l'apprentissage par transfert doit prendre en charge la contrainte d'hétérogénéité des données. Dans le second cas où $P(X_s) \neq P(X_T)$, la distribution marginale est complètement différente entre la source et la cible. Il se pose donc la question de l'efficacité du transfert. Nous proposons d'approfondir ce cadre formel de l'apprentissage par transfert pour le passage d'un domaine pour lequel on dispose d'un nombre d'étiquettes ou de labels associées aux données de sortie source vers un domaine cible où les labels sont très limités, voire inexistants. Nous étudions en particulier le transfert par apprentissage non supervisé vers un domaine cible renforcé par un apprentissage supervisé sur les données sources dans le but d'augmenter la sémantique au niveau des données cibles. Ce travail est inspiré des travaux de Pan [PNtS<sup>+</sup>10] [PY10] [PLXY11] qui font référence à deux types de transfert à savoir inductif et transductif. L'expérimentation de cette problématique porte sur la détection de l'incohérence dans des documents textuels. C'est grâce à une collaboration avec mon collègue Aurélien Bossard autour de son projet ANR JCJC ASADERA que nous avons proposé des comparaisons de modèles de transfert sur des documents multilingue avec une extension sur les documents cross-lingue.
Références

[Agn14] Vijay Agneeswaran. *Big Data Analytics Beyond Hadoop : Real-Time Applications with Storm, Spark, and More Hadoop Alternatives*. Pearson FT Press, USA, 1st edition, 2014.

[AMB+15] O. Allani, N. Mellouli, H. Baazaoui-Zghal, H. Akdag, and H. BenGhzala. A relevant visual feature selection approach for image retrieval. In *Proceedings of the 10th International Conference on Computer Vision Theory and Applications*, pages 377–384, 2015.

[AMBA17] O. Allani, N. Mellouli, H. Baazaoui-Zghal, and H. Akdag. Sélection ciblée des descripteurs visuels pour la recherche d'images : une approche basée sur les règles d'association. In *Revue des Nouvelles Technologies de l'Information, vol. Extraction et Gestion des Connaissances, RNTI-E-33*, 2017.

[ATB+19] Arafat Salih Aydiner, Ekrem Tatoglu, Erkan Bayraktar, Selim Zaim, and Dursun Delen. Business analytics and firm performance : The mediating role of business process performance. *Jindal Journal of Business Research*, 96 :228–237, 2019.

[AYM+15] O. Y. Al-Jarrah, P. D. Yoo, S. Muhaidat, G. K. Karagiannidis, and K. Taha. Efficient machine learning for big data : A review. *Big Data Research*, 2(3) :87–93, 2015.

[Aze18] C.-A. Azencott. *Introduction au Machine Learning*. 2018.

[Bar04] M. Bar. Visual objects in context. *Nature Reviews Neuroscience*, 5(8) :617–29, 2004.

[BCD+14] A. K. Baughman, W. Chuang, K. R. Dixon, Z. Benz, and J. Basilico. The class imbalance problem : a systematic study. In *IEEE Transactions on Computational Intelligence and AI in Games*, volume 6, no 1, pages 55–66, 2014.

[Bel11] L. Belouaer. *Représentation de la connaissance spatiale pour la planification*. Thèse de doctorat, Université de Caen, 2011.

[BH11] H. Bannour and C. Hudelot. Toward semantic ontologies for image interpretation and annotation. In *9th International Workshop CBMI*, pages 211–216, 2011.
[BH19] Tal Ben-Nun and Torsten Hoefler. Demystifying parallel and distributed deep learning: An in-depth concurrency analysis. *ACM Comput. Surv.*, 52(4), aug. 2019.

[Bie72] I. Biederman. Perceiving real-world scenes. *Science*, 177:77–80, 1972.

[Bie87] I. Biederman. Recognition-by-components : A theory of human image understanding. *Psychological Review*, 94:115–147, 1987.

[BKT00] Peter Buneman, Sanjeev Khanna, and Wang Chiew Tan. Data provenance : Some basic issues. In Sanjiv Kapoor and Sanjiva Prasad, editors, *Foundations of Software Technology and Theoretical Computer Science, 20th Conference, FST TCS 2000 New Delhi, India, December 13-15, 2000, Proceedings*, volume 1974 of *Lecture Notes in Computer Science*, pages 87–93. Springer, 2000.

[BLHL01] T. Berners-Lee, J. Hendler, and O. Lassila. The semantic web. *Scientific American Magazine*, May 17, 2001.

[BLR96] C-L. Benhamou, E. Lespessailles, and V. Royant. Architecture osseuse et résistance mécanique du tissu osseux. *Presse Médicale*, 25(6):249–254, 1996.

[BMC+19] H. Balti, N. Mellouli, I. Chebbi, I. Farah, and M. Lamolle. Deep semantic feature detection from multispectral satellite images. In *KDIR 2019*, 2019.

[BML18] S. Benabderrahmane, N. Mellouli, and M. Lamolle. On the predictive analysis of behavioral massive job data using embedded clustering and deep recurrent neural networks. *Knowledge-Based Systems*, 151:95–113, 2018.

[Bor15] A. Borji. What is a salient object? a dataset and a baseline model for salient object detection. *IEEE Transactions on Image Processing*, 24(2):742–756, 2015.

[Bou09] G. Bouma. Normalized (pointwise) mutual information in collocation extraction. In *The Biennial GSCL Conference*, volume 156, 2009.

[BQG14] Sidahmed Benabderrahmane, Rene Quiniou, and Thomas Guyet. Evaluating distance measures and times series clustering for temporal patterns retrieval. In *Proceedings of the 15th IEEE International Conference on Information Reuse and Integration, IRI 2014, Redwood City, CA, USA, August 13-15, 2014*, pages 434–441, 2014.

[BRL+94] C.L. Benhamou, R.Harba, E. Lespessailles, E. Jacquet, D. Toulire, and R. Jennane. Fractal organisation of trabecular bone images on calcaneus radiographs. *JBMR*, 9:1909–1918, 1994.

[CD14] Michele Chambers and Thomas W. Dinsmore. *Modern Analytics Methodologies: Driving Business Value with Analytics*. FT Press, 1st edition, 2014.
[CdFB04] P. Carbonetto, N. de Freitas, and K. Barnard. A statistical model for general contextual object recognition. In Springer Lecture Notes in Computer Science, editor, *the European Conference on Computer Vision*, pages 350–362, 2004.

[CDP15] D. Coulomb, J-L Dupont, and A. Pichard. The role of refrigeration in the global economy, in 29th informatory note on refrigeration technologies. In *International Institute of Refrigeration (IIR)*, nov. 2015.

[CF99] Kin-pong Chan and Ada Wai-Chee Fu. Efficient time series matching by wavelets. In Masaru Kitsuregawa, Michael P. Papazoglou, and Calton Pu, editors, *Proceedings of the 15th International Conference on Data Engineering, Sydney, Australia, March 23-26, 1999*, pages 126–133. IEEE Computer Society, 1999.

[CG16] C. Calude and L. Giuseppe. The deluge of spurious correlations in big data. In *Lois des dieux, des hommes et de la nature*, pages 1–18, Nantes, France, 2016.

[CGTon] JM. Coquery, P. Gailly, and N. Tajeddine. *Neurosciences et cognition*. NOTO, 5ème édition.

[Cho17] F. Chollet. *Deep Learning with Python*. Manning Publications Company, 2017.

[CKMP02] Kaushik Chakrabarti, Eamonn J. Keogh, Sharad Mehrotra, and Michael J. Pazzani. Locally adaptive dimensionality reduction for indexing large time series databases. *ACM Trans. Database Syst.*, 27(2):188–228, 2002.

[CL17] C. S. Calude and G. Longo. The deluge of spurious correlations in big data. *Foundations of Science*, 22:595–612, 2017.

[Cor08] M. Cori. Des méthodes de traitement automatique aux linguistiques fondées sur les corpus. *Artificial Intelligence*, 3:95–110, 2008.

[CPK+18] L.C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. Yuille. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs. *IEEE transactions on pattern analysis and machine intelligence*, pages 834–848, 2018.

[CPSA17] L.C. Chen, G. Papandreou, F. Schroff, and H. Adam. Rethinking atrous convolution for semantic image segmentation. *arXiv preprint*, 1706.05587, 2017.

[CS99] S. Coradeschi and A. Saffiotti. Anchoring symbols to vision data by fuzzy logic. *ECSQARU, Springer*, 1638 of LNCS(1):104–115, 1999.

[CS11] F. M. Couto and M. J. Silva. Disjunctive shared information between ontology concepts: application to gene ontology. *Journal of biomedical semantics*, 2(1), 2011.
[CUD19] K. Cemil, A. Uyar, and D. Delen. An investigation of the factors influencing cost system functionality using decision trees, support vector machines and logistic regression. *International Journal of Accounting and Information Management*, 27:27–55, 2019.

[CV07] R. L. Cilibrasi and P. MB. Vitanyi. The google similarity distance. *IEEE Transactions on knowledge and data engineering*, 19(3), 2007.

[CYY+18] G. Cheng, C. Yang, X. Yao, L. Guo, and J. Han. When deep learning meets metric learning: Remote sensing image scene classification via learning discriminative cnns. *IEEE Trans. Geoscience and Remote Sensing*, 56(5):2811–2821, 2018.

[dAB15] P. D. C. de Almeida and J. Bernardino. Big data open source platforms. In *Proceedings of the 2015 IEEE International Congress on Big Data*, pages 268–275, 2015.

[DBRA07] Jérôme Darmont, Omar Boussaid, Jean-Christian Ralaivao, and Kamel Aouiche. An architecture framework for complex data warehouses. CoRR, abs/0707.1534, 2007.

[Del99] Alberto Del Bimbo. Visual information retrieval. Morgan and Kaufmann, 1999.

[Del15] D. Delen. Real-World Data Mining: Applied Business Analytics and Decision Making. Upper Saddle River, New Jersey: Pearson Education LTD, 2015, San Francisco, CA, USA, 2015.

[DHS16] J. Dai, K. He, and J. Sun. Instance-aware semantic segmentation via multitask network cascades. In *The IEEE Conference on Computer Vision and Pattern Recognition*, volume 156, pages 3150–3158, 2016.

[DJM18] N. Dvornik and C. Schmid J. Mairal. Modeling visual context is key to augmenting object detection datasets. In Springer Lecture Notes in Computer Science, editor, *the European Conference on Computer Vision*, pages 375–391, 2018.

[DM14] P. B. Dongre and L. G. Malik. A review on real time data stream classification and adapting to various concept drift scenarios. In *Proceedings of the 2014 IEEE International Advance Computing Conference (IACC)*, pages 533–537, 2014.

[EAM14] S. Elavarasi, Dr. J. Akilandeswari, and K. Menaga. A survey on semantic similarity measure. *International Journal of Research in Advent Technology*, 2(3), 2014.

[ED04] M. Effros and D. Dugatkin. Multiresolution vector quantization. *IEEE TRANSACTIONS ON INFORMATION THEORY*, 50:3130–3145, 2004.
[EFH+14] J. A. Evans, A. M. Foster, J. M. Huet, L. Reinholdt, K. Fikiin, C. Zilio, M. Houska, A. Landfeld, C. Bond, M. Scheurs, and T. W. M. Van Sambeeck. Specific energy consumption values for various refrigerated food cold stores. *Energy and Buildings*, 74:141–151, 2014.

[EHG+10] H. J. Escalante, C. A. Hernández, J. A. Gonzalez, A. López-López, M. Montes, E. F. Morales, L. E. Sucar, L. Villaseñor, and M. Grubinger. The segmented and annotated iapr tc-12 benchmark. *Computer Vision and Image Understanding*, 114(4):419–428, 2010.

[ET97] B. Efron and R. Tibshirani. Improvements on cross-validation : The .632+ bootstrap method. *Journal of the American Statistical Association*, 438(3):548–560, 1997.

[Far19] M. Farouk. Measuring sentences similarity : A survey. *Indian Journal of Science and Technology*, 12(25), 2019.

[FB13] Wei Fan and Albert Bifet. Mining big data : Current status, and forecast to the future. *SIGKDD Explorations Newsletter*, 14(2):1–5, apr 2013.

[FKZ07] K. Fundel, R. Küffner, and R. Zimmer. Relation extraction using dependency parse trees. *Bioinformatics*, 23(3):365–371, 2007.

[FPS96] Usama M. Fayyad, Gregory Piatetsky-Shapiro, and Padhraic Smyth. The KDD process for extracting useful knowledge from volumes of data. *Commun. ACM*, 39(11):27–34, 1996.

[FR07] B. Fallery and F. Rodhain. Quatre approches pour l'analyse de données textuelles : lexicale, linguistique, cognitive, thématique. In *XVIème Conférence de l'Association Internationale de Management Stratégique AIMS*, pages 1–17, 2007.

[Fro90] H. M. Frost. Skeletal structural adaptations to mechanical usage. *The Anatomical Record Journal*, 226:403–422, 1990.

[GB10] C. Galleguillos and S. J. Belongie. Context based object categorization : A critical survey. *Computer Vision and Image Understanding*, 114(6):712–722, 2010.

[GDDM14] R. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies for accurate object detection and semantic segmentation. In *Proceedings of the IEEE conference on computer vision and pattern recognition*, pages 580–587, 2014.

[GH14] A. Gandomi and M. Haider. Beyond the hype : Big data concepts, methods, and analytics. *International Journal of Information Management*, 35(2):137–144, 2014.

[GHH+14] K. Grolinger, M. Hayes, W. A. Higashino, A. L'Heureux, D. S. Allison, and M. A. M. Capretz. Challenges for map reduce in big data. In *Proceedings of 2014 IEEE World congress on Services*, pages 182–189, 2014.
[GHTC13] Katarina Grolinger, Wilson A. Higashino, Abhinav Tiwari, and Miriam A. M. Capretz. Data management in cloud environments : Nosql and newsql data stores. *Journal of Cloud Computing*, 2:22, 2013.

[GOO$^{+17}$] A. Garcia-Garcia, S. Orts-Escolano, S. Oprea, V. Villena-Martinez, and J. Garcia-Rodriguez. A review on deep learning techniques applied to semantic segmentation. *arXiv preprint arXiv:1704.06857*, 2017.

[GR02] J. Greenberg and W.D. Robertson. Semantic web construction: an inquiry of authors' views on collaborative metadata generation. In *of the 2002 Int. Conf. on Dublin core and metadata applications: Metadata for e-communities: supporting diversity and convergence*, pages 45-52, Dublin Core Metadata Initiative, 2002.

[GWC$^{+13}$] M. Ghanavati, R. K. Wong, F. Chen, Y. Wang, and C-S. Perng. An effective integrated method for learning big imbalanced data. In *IEEE International Congress on Big Data*, pages 691-698, 2013.

[GZB$^{+14}$] João Gama, Indre Zliobaite, Albert Bifet, Mykola Pechenizkiy, and Abdelhamid Bouchachia. A survey on concept drift adaptation. *ACM Computing Surveys*, 46(4):44:1-44:37, 2014.

[HAB08] C. Hudelot, J. Atif, and I. Bloch. Fsro : une ontologie de relations spatiales floues pour l'interprétation d'images. In *Revue des Nouvelles Technologies de l'Information*, 2008.

[Har79] Robert M. Haralick. Statistical and structural approaches to texture. *Proceedings of the IEEE*, 67(5):786-804, 1979.

[HHM99] C. J. Hernandez, S. J. Hazelwood, and R. B. Martin. The relationship between basic multicellular unit activation and origination in cancellous bone. *Bone*, 25(5):585-587, 1999.

[HK98] J. Han and M. Kamber. Data mining methods for knowledge discovery. *Kluwer*, 1998.

[HK06] J. Han and M. Kamber. Data mining : Concepts and techniques. *Morgan Kaufmann*, 2006.

[HK13] M. Hofmann and R. Klinkenberg, editors. *Rapid Miner, Data Mining Use Cases and Business Analytics Applications*. Taylor & Francis Group, LLC CRC Press, 2013.

[HS98] G. Hirst and D. St-Onge. Lexical chains as representations of context for the detection and correction of malapropisms. In *Proceedings of Fellbaum*, pages 305-332, 1998.

[HSD73] Robert M. Haralick, K. Shanmugam, and I. H. Dinstein. Textural features for image classification. In *Systems, Man and Cybernetics, IEEE Transactions*, volume SMC-3, pages 610-621, 1973.
[HSJ98] S. Hui, C. W. Slemenda, and C. C. Johnston. Age and bone mass as predictors of fracture in a prospective study. *Clin Invest* 81, pages 1804–1809, 1998.

[HTF01] T. Hastie, R. Tibshirani, and J. Friedman. The elements of statistical learning : Data mining, inference and prediction. Springer, 2001.

[Hug68] G. Hughes. On the mean accuracy of statistical pattern recognizers. *IEEE Transactions on Information Theory*, 14(1):55–63, 1968.

[HXW17] M. Hu, F. Xiao, and L. Wang. Investigation of demand response potentials of residential air conditioners in smart grids using grey-box room thermal model. *Energy Procedia*, 105:2759–2765, 2017.

[Jas16] Brownlee Jason. *Deep Learning With Python*. Machine Learning Mastery, 2016.

[JDM00] A. K. Jain, R. P. W. Duin, and J. Mao. Statistical pattern recognition : A review. *IEEE Transactions pattern analysis and machine intelligence*, 22:4–37, 2000.

[Jen95] R. Jennane. *Modélisation fractale de textures, application à l'analyse de l'architecture osseuse*. Thèse de doctorat, Université d'Orléans, France, 1995.

[JGL+14] H. V. Jagadish, Johannes Gehrke, Alexandros Labrinidis, Yannis Papakonstantinou, Jignesh M. Patel, Raghu Ramakrishnan, and Cyrus Shahabi. Big data and its technical challenges. *Communication of ACM*, 57(7):86–94, 2014.

[JS02] Nathalie Japkowicz and Shaju Stephen. The class imbalance problem : A systematic study. *Intelligent Data Analysis*, 6(5):429–449, 2002.

[JZS15] R. Jozefowicz, W. Zaremba, and I. Sutskever. An empirical exploration of recurrent network architectures. In *Proceedings of the 32nd International Conference on Machine Learning*, volume 37, 2015.

[KGD13] K. A. Kumar, J. Gluck, and A. Deshpande. Hone : 'scaling down' hadoop on shared-memory systems. In *Proceedings of the VLDB Endowment*, volume vol. 6, no. 12, pages 1354–1357, 2013.

[KGPP14] Camille Kurtz, Pierre Gancarski, Anne Puissant, and Nicolas Passat. Approches multi-hiérarchiques pour l'analyse d'images de télédétection. *Revue Française de Photogrammétrie et de Télédétection*, pages 19–35, 01 2014.

[KH08] Y. Kompatsiaris and P. Hobson, editors. *Semantic Multimedia and Ontologies*. Springer-Verlag, London, 2008.

[KK06] S. Kotsiantis and D. Kanellopoulos. Association rules mining : A recent overview. *GESTS International Transactions on Computer Science and Engineering*, 32(1):71–82, 2006.
[KL98] J. H. Kinney and A. J. C. Ladd. The relationship between three-dimensional connectivity and the elastic properties of trabecular bone. *Journal of Bone and mineral research*, 13(5):839-845, 1998.

[KLSS17] N. Kussul, M. Lavreniuk, S. Skakun, and A. Shelestov. Deep learning classification of land cover and crop types using remote sensing data. *IEEE Geosci. Remote Sensing Lett*, 14(5):778-782, 2017.

[KPD+11] G. Kulkarni, V. Premraj, S. Dhar, S. Li, Y. Choi, A. Berg, and T. Berg. Baby talk : Understanding and generating simple image descriptions. In *IEEE Conference on Computer Vision and Pattern Recognition*, pages 1601-1608, 2011.

[KS04] Y. Ke and R. Sukthankar. Pca-sift : A more distinctive representation for local image descriptors. In *Computer Vision and Pattern Recognition, 2004, in Proceedings of the 2004 IEEE Computer Society Conference*, volume 2, 2004.

[KUG14] M. Khan, M. F. Uddin, and N. Gupta. Seven v's of big data understanding big data to extract value. In *Proceedings of the 2014 Zone 1 Conference of the American Society for Engineering Education*, pages 1-5, 2014.

[LAJ15] Dana Lahat, Tülay Adali, and Christian Jutten. Multimodal data fusion : an overview of methods, challenges, and prospects. In *Proceedings of the IEEE*, volume 103.9, pages 1449-1477, 2015.

[Lan06] T. A. Landaue. Latent semantic analysis. *Wiley Online Library*, 2006.

[LBAM20] Katerina Lepenioti, Alexandros Bousdekis, Dimitris Apostolou, and Gregoris Mentzas. Prescriptive analytics : Literature review and research challenges. *International Journal of Information Management*, 50:57-70, 2020.

[LC98] C. Leacock and M. Chodorow. Combining local context and wordnet similarity for word sense identification. *WordNet : An Electronic Lexical Database*, MIT Press, pages 265-283, 1998.

[LHG+98] C. M. Langton, T. J. Haire, P. S. Ganney, C. A. Dobson, and M. J. Fagan. Dynamic stochastic simulation of cancellous bone resorption. *Bone Journal*, 22(4):375-380, 1998.

[LKLC03] Jessica Lin, Eamonn Keogh, Stefano Lonardi, and Bill Yuan-chi Chiu. A symbolic representation of time series with implications for streaming algorithms. In Mohammed Javeed Zaki and Charu C. Aggarwal, editors, *Proceedings of the 8th ACM SIGMOD workshop on Research issues in data mining and knowledge discovery, DMKD 2003, San Diego, California, USA, June 13, 2003*, pages 2-11. ACM, 2003.

[LMSR17] G. Lin, A. Milan, C. Shen, and I. Reid. Refinenet : Multi-path refinement networks for high-resolution semantic segmentation. In *IEEE Conference on Computer Vision and Pattern Recognition (CVPR)*, 2017.
[LSD15] J. Long, E. Shelhamer, and T. Darrell. Fully convolutional net- works for semantic segmentation. In *Proceedings of the IEEE conference on computer vision and pattern recognition*, pages 3431–3440, 2015.

[LW04] L. Ledwich and S. Williams. Reduced sift features for image retrieval and indoor localisation. In *Australian Conference on Robotics and Automation*, 2004.

[LZLM07] Y. Liu, D. Zhang, G. Lu, and W-Y. Ma. Survey of content-based imagere-trieval with high-level semantics. In *Pattern Recognition*, volume 40, pages 262–282, 2007.

[LZZ$^{+}$17] X. Lian, C. Zhang, H. Zhang, C-J. Hsieh, W. Zhang, , and J. Liu$^{†}$. Can decentralized algorithms outperform centralized algorithms? a case study for decentralized parallel stochastic gradient descent. In *31st Conference on Neural Information Processing Systems (NIPS 2017)*., pages 1–11, 2017.

[Mac67] J.B. Macqueen. Some methods of classification and analysis of multivariate observations. In *Proceedings of the 5th Berkeley Symp. on MSP*, pages 281–297, 1967.

[Mah20] A. Mahdjouba. *Impact énergétique de l’effacement dans un entrepôt frigorifique - Analyse des approches systémiques : boîte noire / boîte blanche*. Thèse de doctorat de génie des procédés, INRAE, Anthony, France, 2020.

[Mal89] S.G. Mallat. A theory for multiresolution signal decomposition : the wavelet representation. *IEEE Trans. Pattern Anal. Machine Intell*, 11 :674–693, 1989.

[Mar10] David Marr. *Vision : A Computational Investigation into the Human Representation and Processing of Visual Information*. The MIT Press, 2010.

[Mel19a] *A Big Remote Sensing Data Analysis Using Deep Learning Framework*, July 2019.

[Mel19b] *Deep Semantic Feature Detection from Multispectral Satellite Images*, September 2019.

[Mil14] Thomas W. Miller. *Modeling Techniques in Predictive Analytics : Business Problems and Solutions with R*. PH Professional Business, 2014 by pearson education, inc. upper saddle river, new jersey 07458 edition, August 2014.

[MM97] R. W. McCalden and J. A. McGeough. Age-related changes in the compressive strength of cancellous bone : The relative importance of changes in density and trabecular architecture. *J. Bone Joint Surg. 79*, 191 :421–427, 1997.

[MNW$^{+}$19] Azlinah Mohamed, Maryam Khanian Najafabadi, Yap Bee Wah, Ezzatul Akmal Kamaru Zaman, and Ruhaila Maskat. The state of the art and taxonomy of big data analytics : view from new big data framework. *Artificial Intelligence Review*, Feb 2019.
[MWLF05] Vasileios Megalooikonomou, Qiang Wang, Guo Li, and Christos Faloutsos. A multiresolution symbolic representation of time series. In *ICDE*, pages 668–679, 2005.

[Nav09] R. Navigli. ACM computing surveys. *Artificial Intelligence*, 41:1–69, 2009.

[NB14] R. Narasimhan and T. Bhuvaneshwari. Big data - a brief study. *International Journal of Scientific & Engineering Research*, 5(9):350–353, 2014.

[NHP13] T. Nguyen, J. Han, and P-C. Park. Satellite image classification using convolutional learning. In *AIP conference Proceedings*, pages 2237–2240, 2013.

[NMMB98] C. Nastar, M. Mitschke, C. Meilhac, and N. Boujemaa. Reduced sift features for image retrieval and indoor localisation. In *Proceedings of the sixth ACM international conference on Multimedia*, pages 339–344, 1998.

[NS12] R. Navigli and P. Simone. Babelnet: The automatic construction, evaluation and application of a wide-coverage multilingual semantic network. *Artificial Intelligence*, 193:217–250, 2012.

[NVK+15] M. M. Najafabadi, F. Villanustre, T. M. Khoshgoftaar, N. Seliya, R. Wald, and E. Muharemagic. Deep learning applications and challenges in big data analytics. *Journal of Big Data*, 2(1):87–93, 2015.

[OT07] Aude Oliva and Antonio Torralba. The role of context in object recognition. *TRENDS in Cognitive Sciences*, 11(12):520–527, 2007.

[PACB10] F. Peyrin, D. Attali, C. Chappard, and CL. Benhamou. Local plate-rod descriptors of 3d trabecular bone micro-ct images from medial axis topologic analysis. *Med. Physics*, 3:4364–4376, 2010.

[Par12] C. Parker. Unexpected challenges in large scale machine learning. In *Proceedings of the 1st International Workshop on Big Data, Streams and heterogeneous Source Mining Algorithms, Systems, Programming Models and Applications*, pages 1–6, 2012.

[Pat19] A. Patil. Distributed programming frameworks in cloud platforms. *International Journal of Recent Technology and Engineering (IJRTE)*, 7(6):611–619, 2019.

[PCD15] P.O. Pinheiro, R. Collobert, and P. Dollár. Learning to segment object candidates. *In Advances in Neural Information Processing Systems*, pages 1990–1998, 2015.

[PCT+15] B. Perret, J. Cousty, O. Tankyevych, H. Talbot, and N. Passat. Directed connected operators: Asymmetric hierarchies for image filtering and segmentation. *IEEE Transactions on Pattern Analysis and Machine Intelligence*, 37(6):1162–1176, 2015.
[PHB+01] F. Perrin, R. Harba, C. Berzin-Joseph, I. Iribarre, and A. Bonami.  nthorder fractional brownian motion and fractional gaussian noises. In *IEEE Transactions on Signal Processing*, volume 45, pages 1049-1059, 2001.

[PHMD18] D. J. Power, C. Heavin, J. McDermott, and M. Daly. Defining business analytics : an empirical approach. *Journal of Business Analytics*, 1(1) :40–53, 2018.

[PLH+98] L. Pothuaud, E. Lespessailles, R. Harba, R. Jennane, V. Royant, E. Eynard, and C-L. Benhamou. Fractal analysis of trabecular bone texture on radiographs : discriminant value in postmenopausal osteoporosis. In *Steoporosis International*, volume 8, pages 618–625, 1998.

[PLXY11] Weike Pan, Nathan Nan Liu, Evan Wei Xiang, and Qiang Yang. Transfer learning to predict missing ratings via heterogeneous user feedbacks. In Toby Walsh, editor, *IJCAI 2011, Proceedings of the 22nd International Joint Conference on Artificial Intelligence, Barcelona, Catalonia, Spain, July 16-22, 2011*, pages 2318–2323. IJCAI/AAAI, 2011.

[PNtS+10] Sinno Jialin Pan, Xiaochuan Ni, Jian tao Sun, Qiang Yang, and Zheng Chen. Cross-domain sentiment classification via spectral feature alignement. In WWW, pages 751–760, 01 2010.

[PY10] Sinno Jialin Pan and Qiang Yang. A survey on transfert learning. *IEEE Transactions on Knowledge and Data Engineering*, 22(10) :1345–1359, 2010.

[QWD+16] J. Qiu, Q. Wu, G. Ding, Y. Xu, and S. Feng. A survey of machine learning for big data processing. In *EURASIP Journal on Advances in Signal Processing*, volume 67, pages 1–16, 2016.

[Rec89] R. R. Recker. Low bone mass may not be the only cause of skeletal fragility in osteoporosis. *Proc. Soc. Exp. Biol. Med.*, 191 :272–274, 1989.

[Res95] Ph. Resnik. Using information content to evaluate semantic similarity in a taxonomy. *arXiv preprint cmp-lg/9511007*, 1995.

[RJY15] J. Ren, X. Jiang, and J. Yuan. A chi-squared- transformed subspace of lbp histogram for visual recognition. *IEEE Transactions on Image Processing*, 24(6) :1893–1904, 2015.

[RM16] Anne Ricordeau and Nédra Mellouli. Exploring 3d-structure analysis tools for a simulated bone remodelling process. *CMBBE : Imaging & Visualization*, 4(3-4) :253–263, 2016".

[Ros79] Azriel Rosenfeld. Digital topology. *American Mathematical Monthly*, 86, 10 1979.

[RRFD16] X. Renard, M. Rifqi, G. Fricout, and M. Detyniecki. EAST representation : fast discovery of discriminant temporal patterns from time series. In *ECML/PKDD Workshop on Advanced Analytics and Learning on Temporal Data*, Riva Del Garda, Italy, Sep 2016.
[RVHH05] R. Ruimerman, B. Van Rietbergen, P. Hilbers, and R. Huiskes. The effects of trabecular-bone loading variables on the surface signaling potential for bone remodeling and adaption. *Annals of Biomed. Eng.*, 33(1):71–78, 2005.

[SBCS01] S. Sevestre-Ghalila, A. Benazza-Benyahia, H. Cherif, and W. Souid. Texture analysis for osteoporosis detection with morphological tools. In *Medical Imaging. SPIE Conf.*, volume 4322, pages 1534–1541, 2001.

[SBR$^{+04}] S. Sevestre-Ghalila, A. Benazza-Benyahia, A. Ricordeau, N. Mellouli, and C-L. Benhamou C. Chappard. Texture image analysis for osteoporosis detection with morphological tools. In *Proceedings of the MICCAI’04, St-Malo, France*, pages 26–30, 2004.

[Sch10] E. Schmidt. Every 2 days we create as much information as we did up to 2003, Aug. 2010.

[SDB$^{+91}] V. Shen, D. W. Dempster, R. Birchman, R. Xu, and R. Lindsay. Loss of cancellous bone mass and connectivity in ovariectomized rats can be restored by combined treatment with prathyroid hormone and estradiol. *Journal Clin Invest.*, pages 2479–2487, 1991.

[Ser03] J. Serra. Connexions et segmentation d'image. *Traitement du Signal*, 20(3):243–254, 2003.

[Shm10] Galit Shmuel. To explain or to predict? *Statistical Science*, 25:289–310, 2010.

[SLJ$^{+15}] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich. Going deeper with convolutions. In *CVPR*, pages 1–9, 2015.

[SNIU19] G. Swarnendu, D. Nibaran, D. Ishita, and M. Ujjwal. Understanding deep learning techniques for image segmentation. *arXiv preprint arXiv:1907.06119v1*, 2019.

[Soi03] P. Soille. Morphological image analysis : principles and applications. In *Springer*, 2003.

[SR15] D. Singh and C. K. Reddy. A survey on platforms for big data analytics. *Journal of big data*, 2(1):1–20, 2015.

[SSS$^{+15}] B. Saha, H. Shah, S. Seth, G. Vijayaraghavan M. Murthy, and C. Curino. A unifying framework for modeling and building data processing applications. In *2015 ACM SIGMOD International Conference on Management of Data (SIGMOD’15)*, pages 1357–1369, 2015.

[Suk14] S. R. Sukumar. Machine learning in the big data era : Are we there yet ? In *in Proceedings of the 20$^{th}$ ACM SIGKDD Conference on Knowledge Discovery and Data Mining : Workshop on Data Science for Social Good*, 2014.
[SYH$^{+10}$] PK. Saha, Y.Xu, H.Duan, A.Heiner, and G.Liang. Volumetric topological analysis : A novel approach for trabecular bone classification on the continuum between plates and rods. *IEEE Trans. Med. Imaging*, 29(11) :1821–1838, 2010.

[SZ14] K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. *arXiv :1409.1556*, 2014.

[SZ15] K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. In *ICLR 2015*, 2015.

[Tab10] Z. Tabor. Anisotropic resolution biases estimation of fabric from 3d gray-level images. *Journal of Medical Engineering & Physics*, 32 :39–48, 2010.

[TG80] A. M. Treisman and G. Gelade. A feature-integration theory of attention. *Cognitive Psychology*, 12(1) :97–136, 1980.

[TKC05] I. W. Tsang, J. T. Kwok, and P-M. Cheung. Core vector machines : Fast svm training on very large data sets. *Journal of Machine Learning Research*, 6 :363–392, 2005.

[TLD18] Lynda Tamine-Lechani and Mariam Daoud. Evaluation in contextual information retrieval : Foundations and recent advances within the challenges of context dynamicity and data privacy. *ACM Computing Surveys - CSUR*, 51(4) :1–36, September 2018.

[Tor03] Antonio Torralba. Contextual priming for object detection. *International Journal of Computer Vision*, 53(2) :169–191, 2003.

[Tsy04] Alexey Tsymbal. The problem of concept drift : Definitions and related work. Technical report, Computer Science Department, Trinity College Dublin, 2004.

[Tve77] A. Tversky. Features of similarity. *Psychological Review*, pages 327–352, 1977.

[Vap95] C. Vapnick. Support-vector network. *Machine Learning*, 20(3) :273–297, 1995.

[Vin11] P. Vinukonda. *A Study of the Scale-Invariant Feature Transform on a Parallel Pipeline*. PhD thesis, Louisiana State University, 2011.

[VJS$^{+14}$] D. Vannella, D. Jurgens, D. Scarfini, D. Toscani, and R. Navigli. Validating and extending semantic knowledge bases using video games with a purpose. *ACL*, 1 :1294–1304, 2014.

[VMD$^{+13}$] V.K. Vavilapalli, A.C. Murthy, C. Douglas, S. Agarwal, M. Konar R. Evans, T. Graves, J. Lowe, H. Shah, and S. Seth. Apache hadoop yarn : Yet another resource negotiator. In *Proceedings of the 4th annual Symposium on Cloud Computing*, 2013.
[WCP+14] J. Wang, D. Crawl, S. Purawat, M. Nguyen, and I. Altintas. Big data provenance: Challenges, state of the art and opportunities. In *Proceedings of the 2015 IEEE International Conference on Big Data (Big Data)*, pages 2509–2516, 2014.

[WFHP16a] I. H. Witten, E. Frank, M. A. Hall, and C. J. Pal. *Data Mining: Practical Machine Learning Tools and Techniques*. Morgan Kaufmann Series, 2016.

[WFHP16b] I. H. Witten, E. Frank, M. A. Hall, and C. J. Pal. *Data Mining: Practical machine learning tools and techniques*. Morgan Kaufmann, 2016.

[Whi74] WJ. Whitehouse. The quantitative morphology of anisotropic trabecular bone. *Journal of Microscopy*, 101:1:53-68, 1974.

[WP94] Z. Wu and M. Palmer. Verb semantics and lexical selection. In *32nd annual Meeting of the Association for Computational Linguistics*, pages 27–30, 1994.

[WZD14] X. Wu, X. Zhu, and WuW. Ding. Data mining with big data. *IEEE transactions on Knowledge and data engineering*, 26(1):97–107, 2014.

[XWYC14] X. Xue, S. Wang, C. Yan, and B. Cui. A fast chiller power demand response control strategy for buildings connected to smart grid. *Applied Energy*, 137:77–87, 2014.

[YRMP18] WENLU YANG, Maria Rifqi, Christophe Marsala, and Andrea Pinna. Physiological-Based Emotion Detection and Recognition in a Video Game Context. In *IEEE International Joint Conference on Neural Networks (IJCNN)*, pages 194–201, Rio, Brazil, July 2018.

[YTF73] S. Yokoi, I. Toriwaki, and T. Fukumura. Topological properties in digitized binary pictures. *Syst. Comput. Contr.*, 4(6):32–39, 1973.

[ZCF+10] M. Zaharia, M. Chowdhury, M.J. Franklin, S. Shenker, and I. Stoica. Spark: cluster computing with working sets. In *The 2nd USENIX conference on Hot topics in cloud computing*, 2010.

[Zhe15] Y. Zheng. Methodologies for cross-domain data fusion: an overview. *IEEE Transactions on Big Data*, 1(1):16–34, 2015.

[ZTAM20] J. Zarka, L. Thiry, T. Angles, and S. Mallat. Deep network classification by scattering and homotopy dictionary learning. In *ICLR 2020*, 2020.