# Actes de la 9e conférence nationale sur les Applications Pratiques de l'Intelligence Artificielle

Christelle Launois, Catherine Roussey

► To cite this version:

Christelle Launois, Catherine Roussey. Actes de la 9e conférence nationale sur les Applications Pratiques de l'Intelligence Artificielle: APIA 2023. Plate-Forme Intelligence Artificielle, Association Française pour l'Intelligence Artificielle, 2023. hal-04395567

HAL Id: hal-04395567

https://hal.inrae.fr/hal-04395567

Submitted on 15 Jan 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Actes de la 9e conférence nationale sur les Applications Pratiques de l'Intelligence Artificielle

Christelle Launois, Catherine Roussey

► To cite this version:

Christelle Launois, Catherine Roussey. Actes de la 9e conférence nationale sur les Applications Pratiques de l'Intelligence Artificielle. Plate-Forme Intelligence Artificielle, Association Française pour l'Intelligence Artificielle, 2023. hal-04395567

HAL Id: hal-04395567

https://hal.inrae.fr/hal-04395567v1

Submitted on 15 Jan 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_2.png" /></figure>

AfIA

Association française
pour l'Intelligence Artificielle

<figure><img src="image_3.png" /></figure>

APIA

Conférence Nationale
sur les
Applications Pratiques de l'Intelligence Artificielle

PFIA 2023

<figure><img src="image_4.png" /></figure>
<figure><img src="image_2.png" /></figure>

AfIA

Association française
pour l'Intelligence Artificielle

<figure><img src="image_3.png" /></figure>

APIA

Conférence Nationale
sur les
Applications Pratiques de l'Intelligence Artificielle

PFIA 2023

<figure><img src="image_4.png" /></figure>
<figure><img src="image_5.png" /></figure>
<figure><img src="image_5.png" /></figure>
Table des matières

<table><tr><td>Christelle Launois, Catherine Rousseau<br>Éditorial</td><td>5</td></tr><tr><td>Comité de programme</td><td>6</td></tr><tr><td>Session : Conférence et présentation invitée APIA 2023</td><td>7</td></tr><tr><td>B. C. Stahl<br>Artificial Intelligence for Good, Challenges in Meeting the United Nation's Sustainable Development Goals</td><td>8</td></tr><tr><td>M. Guillaumont<br>Méthodologie pour mesurer et réduire l'impact environnementale des algorithmes de Deep Learning afin de concevoir des projets en IA éco-responsables</td><td>9</td></tr><tr><td>Session 1 : Ouverture APIA 2023</td><td>10</td></tr><tr><td>R. Caillère, N. Museux<br>État de l'art de l'apprentissage par renforcement de politiques déclaratives</td><td>11</td></tr><tr><td>Session 2 : Posters</td><td>18</td></tr><tr><td>I. Grenet, Y. Bobichon, A. Girard<br>ZGP appliqué à la segmentation des images hyperspectrales</td><td>19</td></tr><tr><td>V. Boulisset, J.-L. Attié, R. Tournier, N. El Malki, X. Ceamanos-Garcia, J. Andrey, E. Pequignot<br>Classification de surfaces dans une image hyperspectrale urbaine par réseau de neurones pour la qualité de l'air</td><td>24</td></tr><tr><td>N. Cointe, M. Sylvain<br>Recherche des meilleures explications d'incidents sur une ligne de production</td><td>28</td></tr><tr><td>D. Jacob, R. Tievant, L. Cervoni, M. Roudesli<br>Prédiction des blessures au Foot 5 à l'aide d'une méthode de machine learning</td><td>32</td></tr><tr><td>C. Gosset, M. B. Billami, M. Lafourcade, C. Bortolaso<br>Classification de documents métiers pour l'aide à l'extraction et à la classification de relations lexico-sémantiques typées et pondérées</td><td>37</td></tr><tr><td>L. Lesieur, V. Guardia, A. Khenchaf, J.-M. Le Caillec, C. Cornu, A. Toumi<br>Application de l'IA au désentrelacement de formes d'onde radar</td><td>41</td></tr><tr><td>Session 3 : Apprentissage</td><td>45</td></tr><tr><td>M. Gornet, W. Maxwell<br>L'IA explicable appliquée à la détection de ceintures et de téléphones au volant</td><td>46</td></tr><tr><td>S. Tabti, F. Vallée, D. Poon Shu Han, M. Elion, Y. Alouini<br>Automatisation de l'inspection de conteneurs maritimes : une preuve de concept</td><td>57</td></tr><tr><td>Session 4 : Modélisation</td><td>62</td></tr><tr><td>C. Granger, F. Amarger<br>Les registres de la Comédie-Française sur le Web de données liées : de l'hétérogénéité de données vers des données quantitatives en RDF</td><td>63</td></tr><tr><td>C. Fourtout, P. Prieur, A. Berger, J.-P. Cotton, A. Belloni, D. Marx, C. Briffaud-Nehme, L. Carvalho, L. Gautier<br>ÉPIONE : Formaliser un processus métier par une démarche d'ingénierie de la connaissance : retour d'expérience sur le déclassement dans le nucléaire</td><td>72</td></tr></table>
Table des matières

<table><tr><td>Christelle Launois, Catherine Rousseau<br>Éditorial</td><td>5</td></tr><tr><td>Comité de programme</td><td>6</td></tr><tr><td>Session : Conférence et présentation invitée APIA 2023</td><td>7</td></tr><tr><td>B. C. Stahl<br>Artificial Intelligence for Good, Challenges in Meeting the United Nation's Sustainable Development Goals</td><td>8</td></tr><tr><td>M. Guillaumont<br>Méthodologie pour mesurer et réduire l'impact environnementale des algorithmes de Deep Learning afin de concevoir des projets en IA éco-responsables</td><td>9</td></tr><tr><td>Session 1 : Ouverture APIA 2023</td><td>10</td></tr><tr><td>R. Caillère, N. Museux<br>État de l'art de l'apprentissage par renforcement de politiques déclaratives</td><td>11</td></tr><tr><td>Session 2 : Posters</td><td>18</td></tr><tr><td>I. Grenet, Y. Bobichon, A. Girard<br>ZGP appliqué à la segmentation des images hyperspectrales</td><td>19</td></tr><tr><td>V. Boulisset, J.-L. Attié, R. Tournier, N. El Malki, X. Ceamanos-Garcia, J. Andrey, E. Pequignot<br>Classification de surfaces dans une image hyperspectrale urbaine par réseau de neurones pour la qualité de l'air</td><td>24</td></tr><tr><td>N. Cointe, M. Sylvain<br>Recherche des meilleures explications d'incidents sur une ligne de production</td><td>28</td></tr><tr><td>D. Jacob, R. Tievant, L. Cervoni, M. Roudesli<br>Prédiction des blessures au Foot 5 à l'aide d'une méthode de machine learning</td><td>32</td></tr><tr><td>C. Gosset, M. B. Billami, M. Lafourcade, C. Bortolaso<br>Classification de documents métiers pour l'aide à l'extraction et à la classification de relations lexico-sémantiques typées et pondérées</td><td>37</td></tr><tr><td>L. Lesieur, V. Guardia, A. Khenchaf, J.-M. Le Caillec, C. Cornu, A. Toumi<br>Application de l'IA au désentrelacement de formes d'onde radar</td><td>41</td></tr><tr><td>Session 3 : Apprentissage</td><td>45</td></tr><tr><td>M. Gornet, W. Maxwell<br>L'IA explicable appliquée à la détection de ceintures et de téléphones au volant</td><td>46</td></tr><tr><td>S. Tabti, F. Vallée, D. Poon Shu Han, M. Elion, Y. Alouini<br>Automatisation de l'inspection de conteneurs maritimes : une preuve de concept</td><td>57</td></tr><tr><td>Session 4 : Modélisation</td><td>62</td></tr><tr><td>C. Granger, F. Amarger<br>Les registres de la Comédie-Française sur le Web de données liées : de l'hétérogénéité de données vers des données quantitatives en RDF</td><td>63</td></tr><tr><td>C. Fourtout, P. Prieur, A. Berger, J.-P. Cotton, A. Belloni, D. Marx, C. Briffaud-Nehme, L. Carvalho, L. Gautier<br>ÉPIONE : Formaliser un processus métier par une démarche d'ingénierie de la connaissance : retour d'expérience sur le déclassement dans le nucléaire</td><td>72</td></tr></table>
F. Gauthier-Clerc, H. Le Capitaine, F. Claveau, P. Chevrel
Optimisation du pilotage industriel d'une piscine publique grâce à la modélisation dirigée par les données : proposition d'un jeu de données applicatif

Session 5 : Traitement de la langue

G. Bied, E. Perennes, S. Nathan, V. Naya, P. Caillou, B. Crepon, C. Gaillac, M. Sebag
RECTO : REcommandation diminuant la Congestion par Transport Optimal

G. Dubuisson Duplessis, M. Richard, A.-L. Guénet
Segmentation de phases de dialogue dans des retranscriptions de conversations de centres d'appels

G. Dubuisson Duplessis, F. Bullier, A.-L. Guénet
Démonstration : exploration sémantique de données texte de la relation client

Session 6 : Système à base de rêgles

X. Goblet, C. Rey, A. Collange
Hybridation opérationnelle des logiques OWL2 et ASP pour améliorer l'expressivité déclarative

L. Cervoni, J. Brasseur, M. Roudesli
Prévention et auto-rééducation de pathologies ostéoarticulaires assistées par intelligence artificielle
F. Gauthier-Clerc, H. Le Capitaine, F. Claveau, P. Chevrel
Optimisation du pilotage industriel d'une piscine publique grâce à la modélisation dirigée par les données : proposition d'un jeu de données applicatif

Session 5 : Traitement de la langue

G. Bied, E. Perennes, S. Nathan, V. Naya, P. Caillou, B. Crepon, C. Gaillac, M. Sebag
RECTO : REcommandation diminuant la Congestion par Transport Optimal

G. Dubuisson Duplessis, M. Richard, A.-L. Guénet
Segmentation de phases de dialogue dans des retranscriptions de conversations de centres d'appels

G. Dubuisson Duplessis, F. Bullier, A.-L. Guénet
Démonstration : exploration sémantique de données texte de la relation client

Session 6 : Système à base de rêgles

X. Goblet, C. Rey, A. Collange
Hybridation opérationnelle des logiques OWL2 et ASP pour améliorer l'expressivité déclarative

L. Cervoni, J. Brasseur, M. Roudesli
Prévention et auto-rééducation de pathologies ostéoarticulaires assistées par intelligence artificielle
# Éditorial

## Conférence Nationale
sur les
Applications Pratiques de l'Intelligence Artificielle

L'Intelligence Artificielle est maintenant dans notre vie quotidienne et modifie notre manière de travailler. L'exemple spectaculaire de chatGPT qui génère des textes ou des images a remis en cause le travail des journalistes, des étudiants, des enseignants etc... Ces évolutions de l'IA questionnent les savoirs faire du monde industriel et académique. Il faut mettre en place des bonnes pratiques pour décrire ces documents générés automatiquement par l'IA, informer sur les usages et mes-usages potentiels. Les questions sur l'éthique des algorithmes d'IA ne sont pas nouvelles. En 2017, la CNIL avait déjà rédigé un rapport intitulé "Comment permettre à l'Homme de garder la main ? Rapport sur les enjeux éthiques des algorithmes et de l'intelligence artificielle"<fnref n="1" />. Ainsi, la neuvième édition de la Conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle met en avant ces questions d'éthique en invitant Bernd Carsten Stahl de l'université de Nottingham à présenter ces travaux sur l'évaluation pour une IA plus responsable. L'évaluation doit aussi tenir compte de la consommation des ressources. L'entreprise Capgemini Engineering Research & Development SAS partage son expérience sur l'évaluation de l'impact environnemental des algorithmes de Deep Learning.

L'objectif de cette neuvième édition de la Conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle (APIA 2023) est de rassembler, sous l'égide de la Plate-Forme d'Intelligence Artificielle (PFIA), des chercheurs du monde académique et de l'industrie, ayant développé des applications concrètes de l'IA. APIA cible des contributions décrivant des applications qui s'appuient sur une ou plusieurs méthodes de l'IA dans tous ses domaines. Cette année, dans les 11 articles et les 6 posters retenus et inclus dans ces actes, les domaines abordés, pour résoudre un problème complexe sont :

- ingénierie des connaissances, système à base de règles

- explicabilité, explication, humain dans la boucle

- apprentissage automatique, apprentissage par transfert, apprentissage par renforcement

- classification automatique, recherche d'information

- traitement de la langue, traitement de la parole

- aide à la décision, aide aux diagnostics

- système de recommandations

- système multi-agent

- interopérabilité des données, données ouvertes et liées

- modélisation de système dynamique, automatisme

APIA 2023 inclut deux conférences sélectionnées par le collège industriel de l'AFIA :

- "Artificial Intelligence for Good, Challenges in Meeting the United Nation's Sustainable Development Goals" par Bernd Carsten STAHL de l'université de Nottingham,

- "Méthodologie pour mesurer et réduire l'impact environnemental des algorithmes de Deep Learning afin de concevoir des projets en IA éco-responsables" par Maya Guillaumont de Capgemini Engineering Research & Development SAS

Plusieurs partenaires de PFIA 2023 présentent leurs avancées en IA lors de APIA 2023 :

- "L'IA au service de la production" par Quentin Loegel, Patrick Viry du Groupe Schmidt

- "IA dans l'industrie, de l'identification du besoin à la mise en place de solutions : exemples concrets chez Hager Group" par Marion Moliner de la société HAGER

- "Collaboration en contexte de crise : extraire par IA la juste information de grands volumes de données pour aider à la prise de décision" par Pierre-Yves Noel et Asma Trabelsi de la société Alcatel Lucent

Nous tenons à remercier ici tous ceux qui ont participé de près ou de loin au succès d'APIA 2023, le comité d'organisation de PFIA 2023 et l'ensemble de ses partenaires, les membres du comité de programme, le collège industriel de l'AFIA, les auteurs des articles, des posters et des démonstrations, Bernd Carsten Stahl, Maya Guillaumont et enfin tous les participants à la plateforme.

Christelle Launois, Catherine Roussey

<footnote n="1">1. https://www.cnil.fr/fr/comment-permettre-lhomme-de-garder-la-main-rapport-sur-les-enjeux-ethiques-des-algorithmes-et-de</footnote>
# Éditorial

## Conférence Nationale
sur les
Applications Pratiques de l'Intelligence Artificielle

L'Intelligence Artificielle est maintenant dans notre vie quotidienne et modifie notre manière de travailler. L'exemple spectaculaire de chatGPT qui génère des textes ou des images a remis en cause le travail des journalistes, des étudiants, des enseignants etc... Ces évolutions de l'IA questionnent les savoirs faire du monde industriel et académique. Il faut mettre en place des bonnes pratiques pour décrire ces documents générés automatiquement par l'IA, informer sur les usages et mes-usages potentiels. Les questions sur l'éthique des algorithmes d'IA ne sont pas nouvelles. En 2017, la CNIL avait déjà rédigé un rapport intitulé "Comment permettre à l'Homme de garder la main ? Rapport sur les enjeux éthiques des algorithmes et de l'intelligence artificielle"<fnref n="1" />. Ainsi, la neuvième édition de la Conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle met en avant ces questions d'éthique en invitant Bernd Carsten Stahl de l'université de Nottingham à présenter ces travaux sur l'évaluation pour une IA plus responsable. L'évaluation doit aussi tenir compte de la consommation des ressources. L'entreprise Capgemini Engineering Research & Development SAS partage son expérience sur l'évaluation de l'impact environnemental des algorithmes de Deep Learning.

L'objectif de cette neuvième édition de la Conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle (APIA 2023) est de rassembler, sous l'égide de la Plate-Forme d'Intelligence Artificielle (PFIA), des chercheurs du monde académique et de l'industrie, ayant développé des applications concrètes de l'IA. APIA cible des contributions décrivant des applications qui s'appuient sur une ou plusieurs méthodes de l'IA dans tous ses domaines. Cette année, dans les 11 articles et les 6 posters retenus et inclus dans ces actes, les domaines abordés, pour résoudre un problème complexe sont :

- ingénierie des connaissances, système à base de règles

- explicabilité, explication, humain dans la boucle

- apprentissage automatique, apprentissage par transfert, apprentissage par renforcement

- classification automatique, recherche d'information

- traitement de la langue, traitement de la parole

- aide à la décision, aide aux diagnostics

- système de recommandations

- système multi-agent

- interopérabilité des données, données ouvertes et liées

- modélisation de système dynamique, automatisme

APIA 2023 inclut deux conférences sélectionnées par le collège industriel de l'AFIA :

- "Artificial Intelligence for Good, Challenges in Meeting the United Nation's Sustainable Development Goals" par Bernd Carsten STAHL de l'université de Nottingham,

- "Méthodologie pour mesurer et réduire l'impact environnemental des algorithmes de Deep Learning afin de concevoir des projets en IA éco-responsables" par Maya Guillaumont de Capgemini Engineering Research & Development SAS

Plusieurs partenaires de PFIA 2023 présentent leurs avancées en IA lors de APIA 2023 :

- "L'IA au service de la production" par Quentin Loegel, Patrick Viry du Groupe Schmidt

- "IA dans l'industrie, de l'identification du besoin à la mise en place de solutions : exemples concrets chez Hager Group" par Marion Moliner de la société HAGER

- "Collaboration en contexte de crise : extraire par IA la juste information de grands volumes de données pour aider à la prise de décision" par Pierre-Yves Noel et Asma Trabelsi de la société Alcatel Lucent

Nous tenons à remercier ici tous ceux qui ont participé de près ou de loin au succès d'APIA 2023, le comité d'organisation de PFIA 2023 et l'ensemble de ses partenaires, les membres du comité de programme, le collège industriel de l'AFIA, les auteurs des articles, des posters et des démonstrations, Bernd Carsten Stahl, Maya Guillaumont et enfin tous les participants à la plateforme.

Christelle Launois, Catherine Roussey

<footnote n="1">1. https://www.cnil.fr/fr/comment-permettre-lhomme-de-garder-la-main-rapport-sur-les-enjeux-ethiques-des-algorithmes-et-de</footnote>
# Comité de programme

## Présidence

- Christelle Launois (Société Générale, Paris);

- Catherine Roussey (INRAE MISTEA, Montpellier).

## Membres

- Florence Amardeilh (Elzeard, Bordeaux);

- Fabien Amarger (Logilab, Toulouse);

- Ghislain Atemezing (Mondeca, Paris);

- Nicolas Audebert (CNAM CEDRIC, Paris);

- Romain Benassi (Publicis Sapient, Paris);

- Alain Berger (Ardans, Montigny-le-Bretonneux);

- Sandra Bringay (LIRMM, Montpellier);

- Stephan Brunessaux (Sensei Consult, Louviers);

- Patrice Buche (INRAE IATE, Montpellier);

- Davide Buscaldi (LIPN, Université Sorbonne Paris Nord);

- Bruno Carron (Airbus defense and Space);

- Caroline Chopinaud (Hub France IA, Paris);

- Gaël de Chalendar (CEA LIST, Saclay);

- Yves Demazeau (LIG, Grenoble);

- Sylvie Despres (LIMICS, Bobigny);

- Valentina Dragos (Onera, Palaiseau);

- Catherine Faron (I3S, Sophia Antipolis);

- Bernard Georges (Société Générale, Paris);

- Céline Hudelot (CentraleSupélec MICS, Gif-sur-Yvette);

- Dino Ienco (INRAE TETIS, Montpellier);

- Hedi Karray (INP-ENIT, Tarbes);

- Christine Largouët (IRISA, Rennes);

- Arnaud Lallouet (Huawei Technologies Ltd, Boulogne-Billancourt);

- Mustapha Lebbah (DAVID, Université Paris-Saclay, Versailles);

- Dominique Lenne (Université de Technologie de Compiègne, Compiègne);

- Bertrand Le Saux (European Space Agency ESRIN, Rome);

- Domitile Lourdeaux (Université de Technologie de Compiègne, Compiègne);

- Sylvain Mahé (EDF Recherche et Développement, Chatou);

- Denis Marraud (Airbus Defence and Space);

- Juliette Mattioli (Thales);

- Marie-Christine Rousset (LIG, Grenoble);

- Céline Rouveirol (LIPN, Paris);

- Frederique Segond (INRIA, Montpellier);

- Françoise Soulié-Fogelman (Hub France IA, Paris);

- Elodie Thiéblin (Logilab, Toulouse).
# Comité de programme

## Présidence

- Christelle Launois (Société Générale, Paris);

- Catherine Roussey (INRAE MISTEA, Montpellier).

## Membres

- Florence Amardeilh (Elzeard, Bordeaux);

- Fabien Amarger (Logilab, Toulouse);

- Ghislain Atemezing (Mondeca, Paris);

- Nicolas Audebert (CNAM CEDRIC, Paris);

- Romain Benassi (Publicis Sapient, Paris);

- Alain Berger (Ardans, Montigny-le-Bretonneux);

- Sandra Bringay (LIRMM, Montpellier);

- Stephan Brunessaux (Sensei Consult, Louviers);

- Patrice Buche (INRAE IATE, Montpellier);

- Davide Buscaldi (LIPN, Université Sorbonne Paris Nord);

- Bruno Carron (Airbus defense and Space);

- Caroline Chopinaud (Hub France IA, Paris);

- Gaël de Chalendar (CEA LIST, Saclay);

- Yves Demazeau (LIG, Grenoble);

- Sylvie Despres (LIMICS, Bobigny);

- Valentina Dragos (Onera, Palaiseau);

- Catherine Faron (I3S, Sophia Antipolis);

- Bernard Georges (Société Générale, Paris);

- Céline Hudelot (CentraleSupélec MICS, Gif-sur-Yvette);

- Dino Ienco (INRAE TETIS, Montpellier);

- Hedi Karray (INP-ENIT, Tarbes);

- Christine Largouët (IRISA, Rennes);

- Arnaud Lallouet (Huawei Technologies Ltd, Boulogne-Billancourt);

- Mustapha Lebbah (DAVID, Université Paris-Saclay, Versailles);

- Dominique Lenne (Université de Technologie de Compiègne, Compiègne);

- Bertrand Le Saux (European Space Agency ESRIN, Rome);

- Domitile Lourdeaux (Université de Technologie de Compiègne, Compiègne);

- Sylvain Mahé (EDF Recherche et Développement, Chatou);

- Denis Marraud (Airbus Defence and Space);

- Juliette Mattioli (Thales);

- Marie-Christine Rousset (LIG, Grenoble);

- Céline Rouveirol (LIPN, Paris);

- Frederique Segond (INRIA, Montpellier);

- Françoise Soulié-Fogelman (Hub France IA, Paris);

- Elodie Thiéblin (Logilab, Toulouse).
Session : Conférence et présentation invitée APIA 2023
Session : Conférence et présentation invitée APIA 2023
# Artificial Intelligence for Good, Challenges in Meeting the United
# Nation's Sustainable Development Goals

Bernd Carsten STAHL¹

¹ University of Nottingham, School of Computer Science, UK

bernd.stahl@nottingham.ac.uk

## Résumé

Conférence invitée lors de la Plate-Forme Intelligence Artificielle (PFIA) pour la conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle (APIA 2023), le 6 juillet 2023 à Strasbourg, France.

## Mots-clés

intelligence artificielle, éthique, les objectifs de développement durable des Nations Unies

## Abstract

Invited conference during the Artificial Intelligence Platform (PFIA) for the National Conference on the Practical Applications of Artificial Intelligence (APIA 2023), July 6, 2023 in Strasbourg, France.

## Keywords

Artificial Intelligence, Ethics, United Nation's Sustainable Development Goals

## 1 Presentation

A key question of the discussion of the ethics of AI is how to go beyond avoiding ethical problems and instead direct AI development and use in directions that are responsible and desirable. This challenge of positive direction of AI raises the question of criteria of what counts as morally good or socially desirable. In pluralist modern society there are few generally agreed responses to this question. However, one approach that is widely accepted is to use the United Nation's Sustainable Development Goals (SDGs) as internationally agreed values as a benchmark for social desirability to steer AI development.

In my presentation I will draw from the work undertaken in the SHERPA project www.project-sherpa.eu to describe how SDGs can be used to assess ethical qualities of AI. The SHERPA consortium undertook 10 case studies of organisational practice with regards to AI use and mapped the findings onto the SDGs. I will furthermore discuss broader challenges that arise with regards to application of development-oriented metrics such as those associated with the SDGs to a different domain such as AI development.

I will use these considerations to contextualise the overall findings and recommendations of the SHERPA project and show how an ecosystems-based approach to the ethics of

AI may help us find ways of addressing at least some of its ethical challenges. More information can be find in [3, 2, 1]

## 2 Biography

Bernd Carsten Stahl is Professor of Critical Research in Technology at the School of Computer Science of the University of Nottingham. His interests cover philosophical issues arising from the intersections of business, technology, and information. This includes ethical questions of current and emerging of ICTs, critical approaches to information systems and issues related to responsible research and innovation.

## 3 Biblio

## Références

[1] Mark Ryan, Josephina Antoniou, Laurence Brooks, Tilimbe Jiya, Kevin Macnish, and Bernd Stahl. The ethical balance of using smart information systems for promoting the united nations' sustainable development goals. *Sustainability*, 12(12), 2020.

[2] Bernd Carsten Stahl, Josephina Antoniou, Mark Ryan, Kevin Macnish, and Tilimbe Jiya. Organisational responses to the ethical issues of artificial intelligence. *AI & SOCIETY*, 37(1):23–37, Mar 2022.

[3] Bernd Carsten Stahl, Doris Schroeder, and Rowena Rodrigues. *AI for Good and the SDGs*, pages 95–106. Springer International Publishing, Cham, 2023.
# Artificial Intelligence for Good, Challenges in Meeting the United
# Nation's Sustainable Development Goals

Bernd Carsten STAHL¹

¹ University of Nottingham, School of Computer Science, UK

bernd.stahl@nottingham.ac.uk

## Résumé

Conférence invitée lors de la Plate-Forme Intelligence Artificielle (PFIA) pour la conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle (APIA 2023), le 6 juillet 2023 à Strasbourg, France.

## Mots-clés

intelligence artificielle, éthique, les objectifs de développement durable des Nations Unies

## Abstract

Invited conference during the Artificial Intelligence Platform (PFIA) for the National Conference on the Practical Applications of Artificial Intelligence (APIA 2023), July 6, 2023 in Strasbourg, France.

## Keywords

Artificial Intelligence, Ethics, United Nation's Sustainable Development Goals

## 1 Presentation

A key question of the discussion of the ethics of AI is how to go beyond avoiding ethical problems and instead direct AI development and use in directions that are responsible and desirable. This challenge of positive direction of AI raises the question of criteria of what counts as morally good or socially desirable. In pluralist modern society there are few generally agreed responses to this question. However, one approach that is widely accepted is to use the United Nation's Sustainable Development Goals (SDGs) as internationally agreed values as a benchmark for social desirability to steer AI development.

In my presentation I will draw from the work undertaken in the SHERPA project www.project-sherpa.eu to describe how SDGs can be used to assess ethical qualities of AI. The SHERPA consortium undertook 10 case studies of organisational practice with regards to AI use and mapped the findings onto the SDGs. I will furthermore discuss broader challenges that arise with regards to application of development-oriented metrics such as those associated with the SDGs to a different domain such as AI development.

I will use these considerations to contextualise the overall findings and recommendations of the SHERPA project and show how an ecosystems-based approach to the ethics of

AI may help us find ways of addressing at least some of its ethical challenges. More information can be find in [3, 2, 1]

## 2 Biography

Bernd Carsten Stahl is Professor of Critical Research in Technology at the School of Computer Science of the University of Nottingham. His interests cover philosophical issues arising from the intersections of business, technology, and information. This includes ethical questions of current and emerging of ICTs, critical approaches to information systems and issues related to responsible research and innovation.

## 3 Biblio

## Références

[1] Mark Ryan, Josephina Antoniou, Laurence Brooks, Tilimbe Jiya, Kevin Macnish, and Bernd Stahl. The ethical balance of using smart information systems for promoting the united nations' sustainable development goals. *Sustainability*, 12(12), 2020.

[2] Bernd Carsten Stahl, Josephina Antoniou, Mark Ryan, Kevin Macnish, and Tilimbe Jiya. Organisational responses to the ethical issues of artificial intelligence. *AI & SOCIETY*, 37(1):23–37, Mar 2022.

[3] Bernd Carsten Stahl, Doris Schroeder, and Rowena Rodrigues. *AI for Good and the SDGs*, pages 95–106. Springer International Publishing, Cham, 2023.
# Méthodologie pour mesurer et réduire l'impact environnementale des algorithmes de Deep Learning afin de concevoir des projets en IA éco-responsables

Maya GUILLAUMONT¹

¹ Capgemini Engineering Research and Developpement (CERD), FR

maya.guillaumont@capgemini.com

## Résumé

Présentation invitée de la conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle (APIA 2023), le 7 juillet 2023 à Strasbourg, France.

## Mots-clés

intelligence artificielle, impact environnemental, machine learning, vision par ordinateur, traitement automatique des langues

## Abstract

Invited conference during the Artificial Intelligence Platform (PFIA) for the National Conference on the Practical Applications of Artificial Intelligence (APIA 2023), July 6, 2023 in Strasbourg, France.

## Keywords

Artificial Intelligence, Environmental impact, Deep learning, Computer vision, Natural Language Processing

## 1 Presentation

Dans le contexte actuel d'une crise énergétique et climatique sans précédent, et d'une demande croissante pour un numérique plus éco-responsable, la question de l'évaluation de l'impact environnemental de l'Intelligence Artificielle (IA) est devenue primordiale. En effet, les récents développements pour améliorer les performances des algorithmes IA et des hardwares exigent un effort en terme de puissance de calcul et de ressources de plus en plus important, s'accompagnant d'une augmentation rapide des coûts énergétiques et environnementaux.

A titre d'exemple, en 2019, Strubell et al. ont montré que l'entraînement d'algorithmes de traitement du language pouvait émettre plus de 300 de CO₂, ainsi correspondant aux émissions de plus de dix voitures thermiques durant toute leur durée de vie [2]. Plus récemment, Petterson et al. ont estimé qu'un seul entraînement de l'algorithme GPT-3 avait consommé plus de 1 200 MWh et émis plus de 500 tonnes de CO₂ [1]. Parallèlement à ces constats, selon Open IA, les ressources computationelles nécessaires à l'entraînement d'algorithmes de Deep Learning dans différents domaines, a augmenté de plus de 300 000 en seulement 5 ans.

Dans ce contexte, depuis 2020, le projet SusAI du département de Recherche et Innovation de Capgemini Engineering, a pour objectif premier d'évaluer et de réduire l'empreinte carbone de l'IA. Dans les domaines du traitement de l'image et du texte, nous développons ainsi une méthodologie afin de créer de nouvelles bases de données expérimentales concernant la consommation énergétique des algorithmes IA. La réduction de ce dernier critère sur la totalité du cycle de vie d'un algorithme est cruciale et doit prendre en compte les impacts impacts liés au matériel, à l'infrastructure logicielle et aux librairies annexes. S'appuyant sur une Analyse du Cycle de Vie (ACV), un de nos défis majeurs est de développer de modéliser l'impact environnemental globale et multi-critère d'une solution IA.

La vocation première de ce travail de recherche est d'établir de précieuses lignes directrices pour un développement et une utilisation en matière d'IA plus éco-responsable et respectueuse de l'environnement.

## 2 Biography

Maya Guillaumont est cheffe de projet à Capgemini Engineering Research and Developpement (CER&D).

## 3 Biblio

### Références

[1] David A. Patterson, Joseph Gonzalez, Quoc V. Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David R. So, Maud Texier, and Jeff Dean. Carbon emissions and large neural network training. CoRR, abs/2104.10350, 2021.

[2] Emma Strubell, Ananya Ganesh, and Andrew McCallum. Energy and policy considerations for deep learning in NLP. CoRR, abs/1906.02243, 2019.
# Méthodologie pour mesurer et réduire l'impact environnementale des algorithmes de Deep Learning afin de concevoir des projets en IA éco-responsables

Maya GUILLAUMONT¹

¹ Capgemini Engineering Research and Developpement (CERD), FR

maya.guillaumont@capgemini.com

## Résumé

Présentation invitée de la conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle (APIA 2023), le 7 juillet 2023 à Strasbourg, France.

## Mots-clés

intelligence artificielle, impact environnemental, machine learning, vision par ordinateur, traitement automatique des langues

## Abstract

Invited conference during the Artificial Intelligence Platform (PFIA) for the National Conference on the Practical Applications of Artificial Intelligence (APIA 2023), July 6, 2023 in Strasbourg, France.

## Keywords

Artificial Intelligence, Environmental impact, Deep learning, Computer vision, Natural Language Processing

## 1 Presentation

Dans le contexte actuel d'une crise énergétique et climatique sans précédent, et d'une demande croissante pour un numérique plus éco-responsable, la question de l'évaluation de l'impact environnemental de l'Intelligence Artificielle (IA) est devenue primordiale. En effet, les récents développements pour améliorer les performances des algorithmes IA et des hardwares exigent un effort en terme de puissance de calcul et de ressources de plus en plus important, s'accompagnant d'une augmentation rapide des coûts énergétiques et environnementaux.

A titre d'exemple, en 2019, Strubell et al. ont montré que l'entraînement d'algorithmes de traitement du language pouvait émettre plus de 300 de CO₂, ainsi correspondant aux émissions de plus de dix voitures thermiques durant toute leur durée de vie [2]. Plus récemment, Petterson et al. ont estimé qu'un seul entraînement de l'algorithme GPT-3 avait consommé plus de 1 200 MWh et émis plus de 500 tonnes de CO₂ [1]. Parallèlement à ces constats, selon Open IA, les ressources computationelles nécessaires à l'entraînement d'algorithmes de Deep Learning dans différents domaines, a augmenté de plus de 300 000 en seulement 5 ans.

Dans ce contexte, depuis 2020, le projet SusAI du département de Recherche et Innovation de Capgemini Engineering, a pour objectif premier d'évaluer et de réduire l'empreinte carbone de l'IA. Dans les domaines du traitement de l'image et du texte, nous développons ainsi une méthodologie afin de créer de nouvelles bases de données expérimentales concernant la consommation énergétique des algorithmes IA. La réduction de ce dernier critère sur la totalité du cycle de vie d'un algorithme est cruciale et doit prendre en compte les impacts impacts liés au matériel, à l'infrastructure logicielle et aux librairies annexes. S'appuyant sur une Analyse du Cycle de Vie (ACV), un de nos défis majeurs est de développer de modéliser l'impact environnemental globale et multi-critère d'une solution IA.

La vocation première de ce travail de recherche est d'établir de précieuses lignes directrices pour un développement et une utilisation en matière d'IA plus éco-responsable et respectueuse de l'environnement.

## 2 Biography

Maya Guillaumont est cheffe de projet à Capgemini Engineering Research and Developpement (CER&D).

## 3 Biblio

### Références

[1] David A. Patterson, Joseph Gonzalez, Quoc V. Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David R. So, Maud Texier, and Jeff Dean. Carbon emissions and large neural network training. CoRR, abs/2104.10350, 2021.

[2] Emma Strubell, Ananya Ganesh, and Andrew McCallum. Energy and policy considerations for deep learning in NLP. CoRR, abs/1906.02243, 2019.
Session 1 : Ouverture APIA 2023
Session 1 : Ouverture APIA 2023
# État de l'art de l'apprentissage par renforcement de politiques déclaratives

R. Caillière¹, N. Museux¹

¹ THALES

romain.cailliere@thalesgroup.com, nicolas.museux@thalesgroup.com

## Résumé

L'apprentissage par renforcement explicable/interprétable (XRL) est basé sur plusieurs techniques utilisant différents moyens pour rendre la politique apprise compréhensible par les humains. L'une d'elles consiste à combiner l'ap- prentissage par renforcement (RL) et les systèmes à base de règles (RBS) afin de créer une politique déclarative, la rendant facilement lisible et compréhensible. Cette question est cruciale lorsqu'il s'agit de certification et de validation dans des cas d'utilisations industrielles critiques. Ce papier propose un état de l'art de ces différentes techniques.

## Mots-clés

Politique interprétable, Apprentissage par renforcement, Système à base de règles

## Abstract

EXIpainable/Interpretable Reinforcement Learning (XRL) is based on several techniques using different ways to make the learnt policy understandable by humans. One of them is to combine the reinforcement learning (RL) algorithm with Rule-Based Systems (RBS) in order to create a declarative policy, making it easily readable and understandable. This issue is crucial when dealing with certification and validation in industrial use-cases.

## Keywords

Interpretable policy, Reinforcement learning, Rule-based system

# 1 Introduction

L'apprentissage par renforcement est un domaine bien connu de l'intelligence artificielle qui vise, pour un agent, à apprendre comment se comporter dans un environnement. Le RL s'est imposé comme une technologie majeure de l'IA depuis l'émergence du Deep RL. Mais, l'amélioration des performances par l'intégration des réseaux de neurones fait disparaître l'interprétabilité des politiques ap- prises. Cela rend impossible l'utilisation de telles politiques dans des domaines critiques tels que les soins de santé, l'ar- mée, la justice. Dans les cas d'utilisation industriel critiques l'opérateur doit être en mesure de comprendre les décisions prises par le système. Cela inclut la capacité d'anticiper le comportement de la politique ainsi que la capacité à com-

prendre le flux de décisions menant à l'erreur. Dans le domaine de la gestion du trafic aérien, l'IA et notamment le Machine Learning et le Reinforcement Learning sont de plus en plus utilisés pour développer des outils d'aide à la décision pour le contrôleurs de trafic aérien. L'utilisation des technologies basées sur l'apprentissage est facilitée par le volume important de données stockées par les fournisseurs de services de navigation aérienne pour des raisons légales. Toutefois, les exigences de sécurité de la navigation aérienne sont tellement strictes que toute les procédures appliquées manuellement, partiellement automatisées ou complètement automatisées, sont basées sur des politiques de décision déclaratives et normalisées au niveau international (ICAO). Si on prend l'exemple d'un outil de détection et de résolution de conflits entre avions, la première étape est de détecter les conflits potentiels avec une approche classique basée sur un modèle de dynamique de l'avion et des considérations géométriques pour trouver les intersections entre trajectoires. Puis, pour proposer une résolution d'un conflit potentiel au contrôleur, le RL est utilisé pour proposer la meilleure classe de décision pour le scénario envisagé : augmenter/réduire la vitesse, changer de cap, changer d'altitude. Il est important pour le contrôleur d'avoir une proposition de résolution qui soit explicable et interprétable même si les résolutions semblent crédibles car le contrôleur doit faire le lien avec les procédures applicable et les politiques de décision déclaratives sous-jacentes. Pour ces raisons, il est primordial d'explorer l'apprentissage de politiques interprétables si l'on veut faire bénéficier les systèmes critiques des avancées du Deep RL.

Quelques études récentes ont présenté l'état de l'art des tra- vaux sur le XRL [41][1][23][17]. Tous soulignent le fait qu'il existe une certaine ambiguïté entre les termes Interpré- tabilité et Explicabilité. Ils proposent une taxonomie pour clarifier ces termes, que nous avons résumé dans la Fi- gure 1. Si les mots choisis dans la taxonomie ne sont pas les mêmes pour chaque étude, ils ont la même significa- tion. Premièrement, nous trouvons les méthodes qui ap- prennent directement une politique interprétable (arbre de décision, ensemble de règles). Une deuxième catégorie est celle des méthodes qui sont indirectement interprétables. Dans ce cas, une politique boîte noire est d'abord apprise et, sur la base de cette politique, une politique interpré- table est ensuite élaborée (distillation de politiques [45], ap-
# État de l'art de l'apprentissage par renforcement de politiques déclaratives

R. Caillière¹, N. Museux¹

¹ THALES

romain.cailliere@thalesgroup.com, nicolas.museux@thalesgroup.com

## Résumé

L'apprentissage par renforcement explicable/interprétable (XRL) est basé sur plusieurs techniques utilisant différents moyens pour rendre la politique apprise compréhensible par les humains. L'une d'elles consiste à combiner l'ap- prentissage par renforcement (RL) et les systèmes à base de règles (RBS) afin de créer une politique déclarative, la rendant facilement lisible et compréhensible. Cette question est cruciale lorsqu'il s'agit de certification et de validation dans des cas d'utilisations industrielles critiques. Ce papier propose un état de l'art de ces différentes techniques.

## Mots-clés

Politique interprétable, Apprentissage par renforcement, Système à base de règles

## Abstract

EXI painable/Interpretable Reinforcement Learning (XRL) is based on several techniques using different ways to make the learnt policy understandable by humans. One of them is to combine the reinforcement learning (RL) algorithm with Rule-Based Systems (RBS) in order to create a declarative policy, making it easily readable and understandable. This issue is crucial when dealing with certification and valida- tion in industrial use-cases.

## Keywords

Interpretable policy, Reinforcement learning, Rule-based system

# 1 Introduction

L'apprentissage par renforcement est un domaine bien connu de l'intelligence artificielle qui vise, pour un agent, à apprendre comment se comporter dans un environnement. Le RL s'est imposé comme une technologie majeure de l'IA depuis l'émergence du Deep RL. Mais, l'amélioration des performances par l'intégration des réseaux de neurones fait disparaître l'interprétabilité des politiques ap- prises. Cela rend impossible l'utilisation de telles politiques dans des domaines critiques tels que les soins de santé, l'ar- mée, la justice. Dans les cas d'utilisation industriel critiques l'opérateur doit être en mesure de comprendre les décisions prises par le système. Cela inclut la capacité d'anticiper le comportement de la politique ainsi que la capacité à com-

prendre le flux de décisions menant à l'erreur. Dans le domaine de la gestion du trafic aérien, l'IA et notamment le Machine Learning et le Reinforcement Learning sont de plus en plus utilisés pour développer des outils d'aide à la décision pour le contrôleurs de trafic aérien. L'utilisation des technologies basées sur l'apprentissage est facilitée par le volume important de données stockées par les fournisseurs de services de navigation aérienne pour des raisons légales. Toutefois, les exigences de sécurité de la navigation aérienne sont tellement strictes que toute les procédures appliquées manuellement, partiellement automatisées ou complètement automatisées, sont basées sur des politiques de décision déclaratives et normalisées au niveau international (ICAO). Si on prend l'exemple d'un outil de détection et de résolution de conflits entre avions, la première étape est de détecter les conflits potentiels avec une approche classique basée sur un modèle de dynamique de l'avion et des considérations géométriques pour trouver les intersections entre trajectoires. Puis, pour proposer une résolution d'un conflit potentiel au contrôleur, le RL est utilisé pour proposer la meilleure classe de décision pour le scénario envisagé : augmenter/réduire la vitesse, changer de cap, changer d'altitude. Il est important pour le contrôleur d'avoir une proposition de résolution qui soit explicable et interprétable même si les résolutions semblent crédibles car le contrôleur doit faire le lien avec les procédures applicable et les politiques de décision déclaratives sous-jacentes. Pour ces raisons, il est primordial d'explorer l'apprentissage de politiques interprétables si l'on veut faire bénéficier les systèmes critiques des avancées du Deep RL.

Quelques études récentes ont présenté l'état de l'art des tra- vaux sur le XRL [41][1][23][17]. Tous soulignent le fait qu'il existe une certaine ambiguïté entre les termes Interpré- tabilité et Explicabilité. Ils proposent une taxonomie pour clarifier ces termes, que nous avons résumé dans la Fi- gure 1. Si les mots choisis dans la taxonomie ne sont pas les mêmes pour chaque étude, ils ont la même significa- tion. Premièrement, nous trouvons les méthodes qui ap- prennent directement une politique interprétable (arbre de décision, ensemble de règles). Une deuxième catégorie est celle des méthodes qui sont indirectement interprétables. Dans ce cas, une politique boîte noire est d'abord apprise et, sur la base de cette politique, une politique interpré- table est ensuite élaborée (distillation de politiques [45], ap-
prentissage par imitation [26]). Enfin, la troisième catégorie apprend une politique boîte noire sur laquelle certaines procédures/techniques sont appliquées afin de fournir des explications ciblées sur le comportement appris (cartes de saillance [21], explication additive de Shapley [51], génération d'explications textuelles [22] ou explications causales [36]). Elles sont détaillées dans [17].

<figure><img src="image_6.png" /><figcaption>FIGURE 1 – Catégories de l'apprentissage par renforcement interprétable/explicable tirées de [1, 17, 23, 41]</figcaption></figure>

Si ces travaux clarifient bien les notions d'explicabilité et d'interprétabilité ainsi que leurs nuances, elles ont manqué, de notre point de vue, certains travaux dans la catégorie des politiques directement interprétable, et notamment certains travaux sur les politiques à base de règles. Premièrement, [41] n'examine que les articles publiés entre 2010 et 2020. Nous présenterons des travaux antérieurs à 2010. [1] présentent une étude détaillée sur les politiques directement interpretables par arbre de décision, mais omet les travaux sur les politiques basées sur des règles. [23] mentionne les SBR mais oublie tous les travaux étudiant les règles basées sur la logique floue. Enfin, [17], l'étude la plus récente, se concentre sur l'interprétabilité complète. Les auteurs soulignent que non seulement la politique doit être interprétable, mais aussi les intrants et le modèle de transition. Autcune de ces études ne mentionne les travaux réalisés sur l'apprentissage de systèmes de classeurs (LCS) ou les machines de Tsetlin (TM), qui sont deux techniques permettant de créer des politiques à base de règles. En résumé, les contributions de cet article sont : 1- de fournir une étude sur l'apprentissage des politiques fondées sur des règles, qui, à notre connaissance, n'existe pas, 2- de proposer une classification clarifiant la taxonomie de ce champ de recherche et 3- de discuter de l'interprétabilité native revendiquée des systèmes à base de règles. L'organisation de cet article est la suivante : La section 2 introduit les différentes technologies de création de politiques à base de règles. La section 3 présente la littérature. La section 4 discute l'interprétabilité des politiques à base de règles et la section 5 conclut.

# 2 Présentation des technologies

Dans cette section, nous allons rappeler quelques notions de base des techniques permettant de générer des politiques à base de règles.

## 2.1 Système à base de règles

Une règle s'écrit sous la forme suivante :

SI Condition ALORS Conclusion

En combinaison avec le RL, la Condition est une prémisse qui est principalement une clause conjonctive de termes, représentant les différentes valeurs des dimensions modélisant l'état de l'environnement. La condition est l'action à entreprendre si la condition est vraie. Les différents termes des prémisses peuvent suivre la logique booléenne (1 ou 0) ou la logique floue (un niveau de véracité $\in [0, 1]$).

**Logique Booléenne** Dans cette catégorie, nous pouvons trouver des règles de décision où la conclusion est directement appliquée à l'environnement et des règles déductives où la conclusion sera prise comme un terme dans une règle plus générale. Ce type de règles nécessite un modèle de l'environnement avec des dimensions d'état discrètes et des actions discrètes.

**Fuzzy Inference System (FIS)** Les règles qui utilisent la logique floue sont rassemblées dans un FIS qui opère les étapes suivantes :

- Tout d'abord, la valeur de chaque dimension d'état est « fuzzifiée » à l'aide d'une fonction d'appartenance (FA), qui renvoie le degré d'appartenance (le niveau de véracité) de cette valeur nette relativement aux étiquettes sémantiques des règles.

- Les degrés d'appartenance sont ensuite combinés pour donner la force, ou le degré de vérité, de la règle.

- Enfin, la défuzzification est effectuée en prenant la force de la règle en entrée et renvoie la valeur de l'action en sortie. Trois techniques ont été développées pour la phase de défuzzification (cf. Figure 2). Celle dite Mamdani qui utilise une FA sur laquelle différentes méthodes peuvent être utilisées pour retrouver une valeur à appliquer à partir de la force de la règle. Celle dites de Tsukamoto reposant sur des FA monotones (donc bijectives) qui permet de retrouver directement la valeur à appliquer. Enfin la méthode dite Takagi-Sugeno qui utilise une expression linéaire en fonction de la force de la règle.

L'utilisation des FIS permet de s'attaquer à des environnements aux dimensions continues tout en raisonnant avec des variables sémantiques. Cela en fait un candidat tout désigné pour les problèmes de contrôle.

## 2.2 Learning Classifier Systems

La technologie des LCS permet de créer une politique à base de règles en se basant sur le triptyque RL-RBS-algorithme génétique. Elle à donc, de notre point de vue, toute sa place dans cette étude. Les règles sont encodées
prentissage par imitation [26]). Enfin, la troisième catégorie apprend une politique boîte noire sur laquelle certaines procédures/techniques sont appliquées afin de fournir des explications ciblées sur le comportement appris (cartes de saillance [21], explication additive de Shapley [51], génération d'explications textuelles [22] ou explications causales [36]). Elles sont détaillées dans [17].

<figure><img src="image_6.png" /><figcaption>FIGURE 1 – Catégories de l'apprentissage par renforcement interprétable/explicable tirées de [1, 17, 23, 41]</figcaption></figure>

Si ces travaux clarifient bien les notions d'explicabilité et d'interprétabilité ainsi que leurs nuances, elles ont manqué, de notre point de vue, certains travaux dans la catégorie des politiques directement interprétable, et notamment certains travaux sur les politiques à base de règles. Premièrement, [41] n'examine que les articles publiés entre 2010 et 2020. Nous présenterons des travaux antérieurs à 2010. [1] présentent une étude détaillée sur les politiques directement interpretables par arbre de décision, mais omet les travaux sur les politiques basées sur des règles. [23] mentionne les SBR mais oublie tous les travaux étudiant les règles basées sur la logique floue. Enfin, [17], l'étude la plus récente, se concentre sur l'interprétabilité complète. Les auteurs soulignent que non seulement la politique doit être interprétable, mais aussi les intrants et le modèle de transition. Autcune de ces études ne mentionne les travaux réalisés sur l'apprentissage de systèmes de classeurs (LCS) ou les machines de Tsetlin (TM), qui sont deux techniques permettant de créer des politiques à base de règles. En résumé, les contributions de cet article sont : 1- de fournir une étude sur l'apprentissage des politiques fondées sur des règles, qui, à notre connaissance, n'existe pas, 2- de proposer une classification clarifiant la taxonomie de ce champ de recherche et 3- de discuter de l'interprétabilité native revendiquée des systèmes à base de règles. L'organisation de cet article est la suivante : La section 2 introduit les différentes technologies de création de politiques à base de règles. La section 3 présente la littérature. La section 4 discute l'interprétabilité des politiques à base de règles et la section 5 conclut.

# 2 Présentation des technologies

Dans cette section, nous allons rappeler quelques notions de base des techniques permettant de générer des politiques à base de règles.

## 2.1 Système à base de règles

Une règle s'écrit sous la forme suivante :

SI Condition ALORS Conclusion

En combinaison avec le RL, la Condition est une prémisse qui est principalement une clause conjonctive de termes, représentant les différentes valeurs des dimensions modélisant l'état de l'environnement. La condition est l'action à entreprendre si la condition est vraie. Les différents termes des prémisses peuvent suivre la logique booléenne (1 ou 0) ou la logique floue (un niveau de véracité $\in [0, 1]$).

**Logique Booléenne** Dans cette catégorie, nous pouvons trouver des règles de décision où la conclusion est directement appliquée à l'environnement et des règles déductives où la conclusion sera prise comme un terme dans une règle plus générale. Ce type de règles nécessite un modèle de l'environnement avec des dimensions d'état discrètes et des actions discrètes.

**Fuzzy Inference System (FIS)** Les règles qui utilisent la logique floue sont rassemblées dans un FIS qui opère les étapes suivantes :

- Tout d'abord, la valeur de chaque dimension d'état est « fuzzifiée » à l'aide d'une fonction d'appartenance (FA), qui renvoie le degré d'appartenance (le niveau de véracité) de cette valeur nette relativement aux étiquettes sémantiques des règles.

- Les degrés d'appartenance sont ensuite combinés pour donner la force, ou le degré de vérité, de la règle.

- Enfin, la défuzzification est effectuée en prenant la force de la règle en entrée et renvoie la valeur de l'action en sortie. Trois techniques ont été développées pour la phase de défuzzification (cf. Figure 2). Celle dite Mamdani qui utilise une FA sur laquelle différentes méthodes peuvent être utilisées pour retrouver une valeur à appliquer à partir de la force de la règle. Celle dites de Tsukamoto reposant sur des FA monotones (donc bijectives) qui permet de retrouver directement la valeur à appliquer. Enfin la méthode dite Takagi-Sugeno qui utilise une expression linéaire en fonction de la force de la règle.

L'utilisation des FIS permet de s'attaquer à des environnements aux dimensions continues tout en raisonnant avec des variables sémantiques. Cela en fait un candidat tout désigné pour les problèmes de contrôle.

## 2.2 Learning Classifier Systems

La technologie des LCS permet de créer une politique à base de règles en se basant sur le triptyque RL-RBS-algorithme génétique. Elle à donc, de notre point de vue, toute sa place dans cette étude. Les règles sont encodées
<figure><img src="image_7.png" /><figcaption>FIGURE 2 – Les trois techniques de défuzzification avec $\varphi$ la force de la règle et $\kappa$ la conclusion.</figcaption></figure>

puis manipulées par des opérations génétiques (crossover, mutation). Les LCS fonctionnent selon les étapes suivantes : Premièrement, recevant l'état de l'environnement en entré, la phase de « couverture » s'assure quoi moins une règle se déclenche dans cet état. Si ce n'est pas le cas, une nouvelle règle satisfaisant l'état reçu est créée en se basant sur des paramètres prédéfinis, afin de proposer une action à appliquer. Toutes les règles se déclenchant dans l'état reçu sont rassemblées au sein du *Match Set* [M], puis groupées par action dans un *Prediction Array* [PA] qui calcule l'espérance de gain associé à chaque action. Celle avec la plus grande espérance de gain est choisie pour être appliquée dans l'environnement. Les opérations génétiques sont appliquées sur les règles proposant la meilleure action selon le [PA]. Ensuite, une phase de subsomption et de suppression permettent de généraliser les règles en écartant celles inutiles. Finalement, les paramètres associées aux règles (espérance de gain, erreur de prédiction, fitness) sont mis à jour en fonction de la récompense reçue selon l'équation de Bellman. Ces phases sont répétées jusqu'à la fin de la phase d'apprentissage.

## 2.3 Tsetlin Machine

Les TM [19] se basent sur les automates de Tsetlin pour la reconnaissance de motifs. Cette technologie se veut basse énergie avec de faibles besoins en mémoire, permettant de générer un modèle de décision interprétable sans perte de précision. Elle est basée sur un mécanisme de mémoire/oubli où les variables (les littéraux) au sein des prémisses (les clauses) ont une note qui varie de 1 (mémorisé) à $n$ (oublié) durant la phase d'apprentissage. Celle-ci se constitue de trois sous phases 1- l'extraction de motif fréquents, 2- la discrimination des littéraux et 3- le choix de l'action à appliquer selon un vote parmi les règles qui se déclenchent. La phase d'extraction de motif est une phase d'apprentissage supervisée réalisant une classification L'objectif pour la TM est de mémoriser les dimensions des entrées utiles/discriminantes. Cette approche vise à reproduire la façon dont les humains se souviennent. Plus on voit quelque chose, plus on le mémorise. A l'inverse, moins on voit quelque chose plus on l'oublie rapidement. Il en va de même pour le motif extrait avec le TM, plus un littéral est vu plus il sera mémorisé et moins il est vu plus il sera

<figure><img src="image_8.png" /><figcaption>FIGURE 3 – Exemple de mémorisation des littéraux utiles ([20])</figcaption></figure>

oublié. Ce faisant, un motif retenu est constitué des littéraux « mémorisés » à la fin de la phase d'apprentissage. Les niveaux de mémorisation sont modélisés de 1 à 10 (cf. figure 3) où 1 à 5 correspond aux littéraux oubliés et 5 à 10 aux littéraux mémorisés. Au début de la phase d'apprentissage, chaque littéral est positionné à 5. Une fois les motifs

<figure><img src="image_9.png" /><figcaption>FIGURE 4 – Exemple de mise à jour de la mémorisation des littéraux au sein d'une prémisse ([20])</figcaption></figure>

fréquents identifiés, la première phase de détermination des bonnes prémisses est réalisée. Il faut désormais trouver la meilleure action (ou classe) à leur associer.

La phase de discrimination se déroule lorsque la prémisse est vraie au regard des données d'entrée mais que la conclusion proposée est différetne de celle des données d'entrée. Dans ce cas, la prémisse est trop générale et est vraie alors qu'elle ne devrait pas l'être. Pour corriger ceci, tous les littéraux oubliés (niveau 1 à 5) et faux augmentent leur niveau de mémoire de 1 (cf. Figure 5). En faisant ainsi, certains littéraux discriminants feront partie des prémisses (ou se rapprochera de la mémorisation), ayant pour effet de spécifier la prémisse, évitant ainsi quelle ne se déclenche lorsqu'il ne faut pas. Ces étapes se déroulent jusqu'à la fin de la phase d'entraînement. On notera que les TM sont la seule technologie, à notre connaissance, à prendre en compte nativement les négations de littéraux. Par ailleurs celle-ci est pour le moment à des environnements aux dimensions discrètes ainsi qu'à des conclusions dans le domaine discret.
<figure><img src="image_7.png" /><figcaption>FIGURE 2 – Les trois techniques de défuzzification avec $\varphi$ la force de la règle et $\kappa$ la conclusion.</figcaption></figure>

puis manipulées par des opérations génétiques (crossover, mutation). Les LCS fonctionnent selon les étapes suivantes : Premièrement, recevant l'état de l'environnement en entré, la phase de « couverture » s'assure quoi moins une règle se déclenche dans cet état. Si ce n'est pas le cas, une nouvelle règle satisfaisant l'état reçu est créée en se basant sur des paramètres prédéfinis, afin de proposer une action à appliquer. Toutes les règles se déclenchant dans l'état reçu sont rassemblées au sein du *Match Set* [M], puis groupées par action dans un *Prediction Array* [PA] qui calcule l'espérance de gain associé à chaque action. Celle avec la plus grande espérance de gain est choisie pour être appliquée dans l'environnement. Les opérations génétiques sont appliquées sur les règles proposant la meilleure action selon le [PA]. Ensuite, une phase de subsomption et de suppression permettent de généraliser les règles en écartant celles inutiles. Finalement, les paramètres associées aux règles (espérance de gain, erreur de prédiction, fitness) sont mis à jour en fonction de la récompense reçue selon l'équation de Bellman. Ces phases sont répétées jusqu'à la fin de la phase d'apprentissage.

## 2.3 Tsetlin Machine

Les TM [19] se basent sur les automates de Tsetlin pour la reconnaissance de motifs. Cette technologie se veut basse énergie avec de faibles besoins en mémoire, permettant de générer un modèle de décision interprétable sans perte de précision. Elle est basée sur un mécanisme de mémoire/oubli où les variables (les littéraux) au sein des prémisses (les clauses) ont une note qui varie de 1 (mémorisé) à $n$ (oublié) durant la phase d'apprentissage. Celle-ci se constitue de trois sous phases 1- l'extraction de motif fréquents, 2- la discrimination des littéraux et 3- le choix de l'action à appliquer selon un vote parmi les règles qui se déclenchent. La phase d'extraction de motif est une phase d'apprentissage supervisée réalisant une classification L'objectif pour la TM est de mémoriser les dimensions des entrées utiles/discriminantes. Cette approche vise à reproduire la façon dont les humains se souviennent. Plus on voit quelque chose, plus on le mémorise. A l'inverse, moins on voit quelque chose plus on l'oublie rapidement. Il en va de même pour le motif extrait avec le TM, plus un littéral est vu plus il sera mémorisé et moins il est vu plus il sera

<figure><img src="image_8.png" /><figcaption>FIGURE 3 – Exemple de mémorisation des littéraux utiles ([20])</figcaption></figure>

oublié. Ce faisant, un motif retenu est constitué des littéraux « mémorisés » à la fin de la phase d'apprentissage. Les niveaux de mémorisation sont modélisés de 1 à 10 (cf. figure 3) où 1 à 5 correspond aux littéraux oubliés et 5 à 10 aux littéraux mémorisés. Au début de la phase d'apprentissage, chaque littéral est positionné à 5. Une fois les motifs

<figure><img src="image_9.png" /><figcaption>FIGURE 4 – Exemple de mise à jour de la mémorisation des littéraux au sein d'une prémisse ([20])</figcaption></figure>

fréquents identifiés, la première phase de détermination des bonnes prémisses est réalisée. Il faut désormais trouver la meilleure action (ou classe) à leur associer.

La phase de discrimination se déroule lorsque la prémisse est vraie au regard des données d'entrée mais que la conclusion proposée est différetne de celle des données d'entrée. Dans ce cas, la prémisse est trop générale et est vraie alors qu'elle ne devrait pas l'être. Pour corriger ceci, tous les littéraux oubliés (niveau 1 à 5) et faux augmentent leur niveau de mémoire de 1 (cf. Figure 5). En faisant ainsi, certains littéraux discriminants feront partie des prémisses (ou se rapprochera de la mémorisation), ayant pour effet de spécifier la prémisse, évitant ainsi quelle ne se déclenche lorsqu'il ne faut pas. Ces étapes se déroulent jusqu'à la fin de la phase d'entraînement. On notera que les TM sont la seule technologie, à notre connaissance, à prendre en compte nativement les négations de littéraux. Par ailleurs celle-ci est pour le moment à des environnements aux dimensions discrètes ainsi qu'à des conclusions dans le domaine discret.
<figure><img src="image_10.png" /><figcaption>FIGURE 5 – Exemple de spécialisation des prémisses ([20])</figcaption></figure>

# 3 Apprentissage de politique à base de règles

Cette section expose les différents travaux qui se sont penchés sur la combinaison RL - RBS.

## 3.1 Les règles de logique standard

On peut considérer le célèbre algorithme Q-Learning [52] comme le premier algorithme de création d'une politique sous forme de règles utilisant le RL. En effet, dans cet algorithme, la politique optimale est déduite de la Q-table, qui fournit pour chaque état l'action offrant le meilleur gain. La politique peut ainsi être lue comme un ensemble de règles.

CLARION [47] est un modèle d'architecture cognitive qui vise à répliquer l'apprentissage humain. Cette architecture repose sur deux niveaux. Un haut niveau qui est composé des savoirs déclaratifs, que l'on peut considérer comme les savoirs théoriques, qui s'appuient sur des règles. Et un bas niveau qui est composé des savoirs procéduraux, les « savoir-faire », qui s'appuient sur le RL.

Une branche spécifique du RL, appelé RL relationnel [13], se concentre sur une description explicite des états et des actions basée sur des prédicats relationnels. La politique apprise prend la forme de règles logiques du premier ordre. Cela génère une politique assez générale et interprétable mais souffre de l'évolutivité limitée de la représentation symbolique. Pour résoudre ce problème, les auteurs de [27] proposent le Neural Logic RL, qui s'appuie sur des machines logiques récurrentes différentiables entraînées avec des méthodes de policy-gradient, ouvrant la possibilité à l'agent d'apprendre et de créer ses propres prédicats. La description des états reste « fait main ». Les auteurs de [40] proposent dNL-ILP, qui supprime le besoin d'une représentation relationnelle explicite des états, démontrant des capacités à extraire cette représentation dans des images. Plus récemment, les auteurs de [35] exploitent la capacité du mécanisme d'attention pour remplacer la programmation logique inductive différenciable, et la combine avec le RL symbolique neuronal, pour extraire un ensemble de règles basées sur la logique du premier ordre. Cela atténue le besoin en mémoire et en ressources de calcul, et supprime le besoin d'un expert pour définir des règles ou un modèle de transition.

## 3.2 Fuzzy Inference System

Les premiers travaux combinant le RL et les FIS ont cherchés à améliorer les contrôleurs, en évitant d'avoir à travailler avec des formules mathématiques complexes, en incorporant des connaissances humaines dans le modèle appris. Ce faisant, la compréhension humaine est facilitée. Cette approche consiste à modifier les règles en se basant sur la récompense reçue. Les premiers travaux se concentrent sur la conclusion des règles. Le but est d'adapter la conclusion (l'action). Cela se fait, soit en créant et modifiant la FA de défuzzification dans le cadre du paradigme Mamdani, soit en pondérant l'action avec la Q-value dans le cadre du paradigme Takagi-Sugeno. Dans le paradigme Actor-Critic [29], le FIS joue le rôle de l'acteur (celui qui choisit l'action in-fine). Le travail consiste à affiner les conclusions des sommets de la FA (triangulaire) utilisée pour la phase de défuzzication. Dans le paradigme Value-based, que ce soit l'algorithme Q-Learning [18][28] ou SARSA [48][11][34], la combinaison se fait avec le processus de défuzzification Takagi-Sugeno. De plus, d'autres travaux basés sur l'Actor-Critic [3] [4] et les méthodes Value-based [12], permettent de peaufiner la structure en deux phases. Une première phase, qui consiste en un apprentissage « offline », définit la structure, suivit d'une seconde phase pour l'affiner. Les travaux suivants ont consisté à ne plus seulement modifier les conclusions des règles mais également la phase de fuzzification en modifiant les paramètres des FA. Ce faisant, les règles floues sont optimisées en fonction de la récompense reçue. En incorporant la Fuzzy Similarity Measure [32], le système est capable de déterminer si une nouvelle FA doit être créée ou non. Ainsi, le système est capable d'enrichir les règles prédéfinies en les complétant. On peut également noter que le « critic » est alors remplacé par un fuzzy predictor [31] incorporant les règles floues dans le « critic » également. A ce stade, la malédiction de la dimensionnalité est toujours un problème dans un environnement complexe. Les auteurs de [50] tirent parti de la similitude du système d'inférence floue et du « Radial Basis Function Network » pour résoudre ce problème, en approximant l'actor et le critic, en même temps. [14] étend considérablement la capacité de cette technologie en permettant de créer une FA pendant l'apprentissage. Cela peut également être utilisé pour compléter un ensemble de règles, prédéfini ou incomplet. Enfin, certaines règles créées peuvent devenir inutiles. La possibilité de les supprimer [25] favorise la création d'une politique plus facilement lisible. Les FIS sont très intéressant de part leur propriété à être des approximateurs universel. Étonnamment, la combinaison n'a pas été étendue avec les dernières avancées du Deep RL, qui permettraient d'aborder des problèmes plus complexes, tout en gardant la propriété d'interprétabilité des FIS.

## 3.3 Learning Classifier Systems

Les LCS ont été proposé par [24]. Les premiers travaux ont pu traiter des états discrets et des actions discrètes. Ceci montrent des résultats intéressants en classification, tout en ayant la propriété d'être facilement interprétables. Une première amélioration a conduit à baser le classeur (i.e. la
<figure><img src="image_10.png" /><figcaption>FIGURE 5 – Exemple de spécialisation des prémisses ([20])</figcaption></figure>

# 3 Apprentissage de politique à base de règles

Cette section expose les différents travaux qui se sont penchés sur la combinaison RL - RBS.

## 3.1 Les règles de logique standard

On peut considérer le célèbre algorithme Q-Learning [52] comme le premier algorithme de création d'une politique sous forme de règles utilisant le RL. En effet, dans cet algorithme, la politique optimale est déduite de la Q-table, qui fournit pour chaque état l'action offrant le meilleur gain. La politique peut ainsi être lue comme un ensemble de règles.

CLARION [47] est un modèle d'architecture cognitive qui vise à répliquer l'apprentissage humain. Cette architecture repose sur deux niveaux. Un haut niveau qui est composé des savoirs déclaratifs, que l'on peut considérer comme les savoirs théoriques, qui s'appuient sur des règles. Et un bas niveau qui est composé des savoirs procéduraux, les « savoir-faire », qui s'appuient sur le RL.

Une branche spécifique du RL, appelé RL relationnel [13], se concentre sur une description explicite des états et des actions basée sur des prédicats relationnels. La politique apprise prend la forme de règles logiques du premier ordre. Cela génère une politique assez générale et interprétable mais souffre de l'évolutivité limitée de la représentation symbolique. Pour résoudre ce problème, les auteurs de [27] proposent le Neural Logic RL, qui s'appuie sur des machines logiques récurrentes différentiables entraînées avec des méthodes de policy-gradient, ouvrant la possibilité à l'agent d'apprendre et de créer ses propres prédicats. La description des états reste « fait main ». Les auteurs de [40] proposent dNL-ILP, qui supprime le besoin d'une représentation relationnelle explicite des états, démontrant des capacités à extraire cette représentation dans des images. Plus récemment, les auteurs de [35] exploitent la capacité du mécanisme d'attention pour remplacer la programmation logique inductive différenciable, et la combine avec le RL symbolique neuronal, pour extraire un ensemble de règles basées sur la logique du premier ordre. Cela atténue le besoin en mémoire et en ressources de calcul, et supprime le besoin d'un expert pour définir des règles ou un modèle de transition.

## 3.2 Fuzzy Inference System

Les premiers travaux combinant le RL et les FIS ont cherchés à améliorer les contrôleurs, en évitant d'avoir à travailler avec des formules mathématiques complexes, en incorporant des connaissances humaines dans le modèle appris. Ce faisant, la compréhension humaine est facilitée. Cette approche consiste à modifier les règles en se basant sur la récompense reçue. Les premiers travaux se concentrent sur la conclusion des règles. Le but est d'adapter la conclusion (l'action). Cela se fait, soit en créant et modifiant la FA de défuzzification dans le cadre du paradigme Mamdani, soit en pondérant l'action avec la Q-value dans le cadre du paradigme Takagi-Sugeno. Dans le paradigme Actor-Critic [29], le FIS joue le rôle de l'acteur (celui qui choisit l'action in-fine). Le travail consiste à affiner les coordonnées des sommets de la FA (triangulaire) utilisée pour la phase de défuzzication. Dans le paradigme Value-based, que ce soit l'algorithme Q-Learning [18][28] ou SARSA [48][11][34], la combinaison se fait avec le processus de défuzzification Takagi-Sugeno. De plus, d'autres travaux basés sur l'Actor-Critic [3] [4] et les méthodes Value-based [12], permettent de peaufiner la structure en deux phases. Une première phase, qui consiste en un apprentissage « offline », définit la structure, suivit d'une seconde phase pour l'affiner. Les travaux suivants ont consisté à ne plus seulement modifier les conclusions des règles mais également la phase de fuzzification en modifiant les paramètres des FA. Ce faisant, les règles floues sont optimisées en fonction de la récompense reçue. En incorporant la Fuzzy Similarity Measure [32], le système est capable de déterminer si une nouvelle FA doit être créée ou non. Ainsi, le système est capable d'enrichir les règles prédéfinies en les complétant. On peut également noter que le « critic » est alors remplacé par un fuzzy predictor [31] incorporant les règles floues dans le « critic » également. A ce stade, la malédiction de la dimensionnalité est toujours un problème dans un environnement complexe. Les auteurs de [50] tirent parti de la similitude du système d'inférence floue et du « Radial Basis Function Network » pour résoudre ce problème, en approximant l'actor et le critic, en même temps. [14] étend considérablement la capacité de cette technologie en permettant de créer une FA pendant l'apprentissage. Cela peut également être utilisé pour compléter un ensemble de règles, prédéfini ou incomplet. Enfin, certaines règles créées peuvent devenir inutiles. La possibilité de les supprimer [25] favorise la création d'une politique plus facilement lisible. Les FIS sont très intéressant de part leur propriété à être des approximateurs universel. Étonnamment, la combinaison n'a pas été étendue avec les dernières avancées du Deep RL, qui permettraient d'aborder des problèmes plus complexes, tout en gardant la propriété d'interprétabilité des FIS.

## 3.3 Learning Classifier Systems

Les LCS ont été proposé par [24]. Les premiers travaux ont pu traiter des états discrets et des actions discrètes. Ceci montrent des résultats intéressants en classification, tout en ayant la propriété d'être facilement interprétables. Une première amélioration a conduit à baser le classeur (i.e. la
règle) sur la précision (et non la force, initialement) éten-
dant le SI-ALORS original, en ajoutant la précision des
règles pour prédire la récompense attendue, devenant :

SI état ALORS action prédit p

Ce faisant, les LCS deviennent des *eXtended Classifier Systems* (XCS) [53] [7]. Dans la version *accuracy-based*, les règles sont évaluées en fonction de leur capacité à prédire avec précision la récompense attendue. Cela a permis d'atteindre des performances optimales, avec une grande précision et une forte capacité de généralisation, notamment via l'ajout du mécanisme de *subsomption* dans l'algorithmme génétique. D'autre part, certains travaux se sont concentrés sur la limitation due aux états discrets [46]. Ils proposent une représentation par intervalles pour la modélisation de la dimension de l'état d'entrée. La représentation « centre-écart » dans laquelle les centres et les écarts sont codés dans le chromosome, et les représentations « ordonnées » et « non-ordonnées », dans laquelle ce sont les limites inférieure et supérieure de l'intervalle qui sont codées dans le chromosome. Enfin, afin de pouvoir également traiter des actions continues, les LCS floues (FLCS) [5] [9] [6] ont été explorées, remplaçant la logique booléenne par la logique floue. La différence entre LCS et FLCS ne concerne pas l'évolution des règles, mais se produisent aux niveaux (i) du déclenchement de la règle, grâce à l'utilisation de la fonction d'appartenance, (ii) de la manière dont les actions sont choisies et appliquées, et (iii) au niveau de l'inférence floue et de la défuzzification. Il convient de noter que [15] a développé un XCS qui s'appuie sur un principe d'induction pour combiner les règles en remplacement de l'algorithmme génétique, supprimant la stochasticité dans leur évolution. Cette technique conserve la bonne capacité de LCS à créer des règles générales et précises.

3.4 Tsetlin Machine

Granmo [19] introduisent les TM pour des problèmes de classification. Ce travail a été étendu pour l'approximation de la fonction valeur [43], dans le but d'attaquer des problèmes RL. Pour ce faire, la Regression Tsetlin Machine (RTM) est utilisée afin d'approximer la fonction valeur. Cette adaptation de la classification à la régression implique, dans un premier temps, de collecter des trajets d'épisodes pour y travailler ensuite, et de prédéfinir des bornes supérieures et inférieures nécessaires à l'adaptation. Récemment, [42] explore l'utilisation des TM pour les algorithmes de RL dits « On-policy », comme SARSA [44]) et les algorithmes dits « Off-policy" comme l'algorithme *value iteration*, qui utilisent ou non la politique pour la mise à jour des valeurs. Si les TM montrent de bons résultats sur des cas jouets (principalement l'environnement GridWorld), des travaux supplémentaires sont nécessaires pour démontrer sa capacité à traiter des cas d'utilisation plus complexes. Le risque ici étant la limitation de la logique propositionnelle à fournir des règles interprétable.

4 Interpretabilité des RBS

Le Graal dans l'apprentissage d'une politique basée sur des règles est de capturer l'ensemble le plus général de règles qui fournit le comportement optimal. Il y ici a un compromis à faire entre l'obtention d'un ensemble de règles général et l'obtention d'un ensemble de règles performant. Plus il y a de règles, meilleures sont les chances d'avoir la règle spécifique dédiée à une situation particulière. A l'inverse, si les règles sont trop générales, elles risquent de commettre des erreurs en couvrant plus de cas qu'elles ne le devraient. Dans un tel contexte, généraliser signifie compacter l'ensemble de règles, permettre à une prémisse de règles de couvrir plus d'états avec des paramètres moins descriptifs et ce faisant, cela améliore l'interprétabilité de la politique. Au contraire, se spécialiser signifie augmenter la précision de l'ensemble de règles en ciblant précisément la meilleure association état-action. À notre connaissance, il n'existe aucun travail comparant ces technologies en termes d'efficacité et d'interprétabilité des politiques. Si comparer leur efficacité est assez simple en mesurant les indicateurs usuels, il est moins évident de les comparer du point de vue de l'interprétabilité, puisqu'il n'y a pas de consensus sur une définition mathématique de ce qu'est l'interprétabilité [8]. C'est une hypothèse courante de considérer les RBS comme naturellement interprétables. Lipton soutient dans [33] que l'interprétabilité repose sur la transparence du modèle. Il définit la transparence par la capacité du modèle à être (i) simulable, représentant la capacité pour un humain de saisir immédiatement le sens du modèle ; (ii) décomposable, impliquant que les entrées, les paramètres et le calcul soient facilement appréhensibles et (iii) algorithmiquement transparent, fournissant une garantie sur le résultat du modèle sur des données inconnues. Si la transparence algorithmique et la décomposabilité sont des notions bien établies dans les RBS, ce n'est pas le cas de la simulabilité. Trois paramètres principaux des RBS pourraient entraver leur capacité à être simple et facilement saisi par un humain.

Premièrement, le nombre de termes dans la prémisse. Comme le souligne [39], la capacité de l'humain est limitée à traiter sept informations plus ou moins deux, induisant potentiellement qu'une prémisse soit constituée de sept plus ou moins deux termes, au maximum. Le nombre maximum de termes traités dans une prémisse par un humain est probablement dépendant de l'expertise de celui-ci sur le domaine dédié. Afin d'aborder ce problème, [15] souligne que les méthodes doivent montrer de bonnes capacités de généralisation, impliquant la capacité de détecter et de supprimer des variables non discriminantes de l'état.

Deuxièmement, le nombre de règles composant le modèle
doit également être maîtrisé. Un nombre élevé de règles di-
minue la simplicité et la capacité pour un humain à l'appré-
hender facilement. Plus le comportement optimal est com-
plexe, plus le nombre de règles différentes pour le captu-
rer est élevé. Cela constitue un problème sérieux car il y a
un compromis entre avoir toutes les règles nécessaires pour
être optimal et garder un nombre raisonnable de règles pour
règle) sur la précision (et non la force, initialement) éten-
dant le SI-ALORS original, en ajoutant la précision des
règles pour prédire la récompense attendue, devenant :

SI état ALORS action prédit p

Ce faisant, les LCS deviennent des *eXtended Classifier Systems* (XCS) [53] [7]. Dans la version *accuracy-based*, les règles sont évaluées en fonction de leur capacité à prédire avec précision la récompense attendue. Cela a permis d'atteindre des performances optimales, avec une grande précision et une forte capacité de généralisation, notamment via l'ajout du mécanisme de *subsomption* dans l'algorithmme génétique. D'autre part, certains travaux se sont concentrés sur la limitation due aux états discrets [46]. Ils proposent une représentation par intervalles pour la modélisation de la dimension de l'état d'entrée. La représentation « centre-écart » dans laquelle les centres et les écarts sont codés dans le chromosome, et les représentations « ordonnées » et « non-ordonnées », dans laquelle ce sont les limites inférieure et supérieure de l'intervalle qui sont codées dans le chromosome. Enfin, afin de pouvoir également traiter des actions continues, les LCS floues (FLCS) [5] [9] [6] ont été explorées, remplaçant la logique booléenne par la logique floue. La différence entre LCS et FLCS ne concerne pas l'évolution des règles, mais se produisent aux niveaux (i) du déclenchement de la règle, grâce à l'utilisation de la fonction d'appartenance, (ii) de la manière dont les actions sont choisies et appliquées, et (iii) au niveau de l'inférence floue et de la défuzzification. Il convient de noter que [15] a développé un XCS qui s'appuie sur un principe d'induction pour combiner les règles en remplacement de l'algorithmme génétique, supprimant la stochasticité dans leur évolution. Cette technique conserve la bonne capacité de LCS à créer des règles générales et précises.

3.4 Tsetlin Machine

Granmo [19] introduisent les TM pour des problèmes de classification. Ce travail a été étendu pour l'approximation de la fonction valeur [43], dans le but d'attaquer des problèmes RL. Pour ce faire, la Regression Tsetlin Machine (RTM) est utilisée afin d'approximer la fonction valeur. Cette adaptation de la classification à la régression implique, dans un premier temps, de collecter des trajets d'épisodes pour y travailler ensuite, et de prédéfinir des bornes supérieures et inférieures nécessaires à l'adaptation. Récemment, [42] explore l'utilisation des TM pour les algorithmes de RL dits « On-policy », comme SARSA [44]) et les algorithmes dits « Off-policy" comme l'algorithme *value iteration*, qui utilisent ou non la politique pour la mise à jour des valeurs. Si les TM montrent de bons résultats sur des cas jouets (principalement l'environnement GridWorld), des travaux supplémentaires sont nécessaires pour démontrer sa capacité à traiter des cas d'utilisation plus complexes. Le risque ici étant la limitation de la logique propositionnelle à fournir des règles interprétable.

4 Interpretabilité des RBS

Le Graal dans l'apprentissage d'une politique basée sur des règles est de capturer l'ensemble le plus général de règles qui fournit le comportement optimal. Il y ici a un compromis à faire entre l'obtention d'un ensemble de règles général et l'obtention d'un ensemble de règles performant. Plus il y a de règles, meilleures sont les chances d'avoir la règle spécifique dédiée à une situation particulière. A l'inverse, si les règles sont trop générales, elles risquent de commettre des erreurs en couvrant plus de cas qu'elles ne le devraient. Dans un tel contexte, généraliser signifie compacter l'ensemble de règles, permettre à une prémisse de règles de couvrir plus d'états avec des paramètres moins descriptifs et ce faisant, cela améliore l'interprétabilité de la politique. Au contraire, se spécialiser signifie augmenter la précision de l'ensemble de règles en ciblant précisément la meilleure association état-action. À notre connaissance, il n'existe aucun travail comparant ces technologies en termes d'efficacité et d'interprétabilité des politiques. Si comparer leur efficacité est assez simple en mesurant les indicateurs usuels, il est moins évident de les comparer du point de vue de l'interprétabilité, puisqu'il n'y a pas de consensus sur une définition mathématique de ce qu'est l'interprétabilité [8]. C'est une hypothèse courante de considérer les RBS comme naturellement interprétables. Lipton soutient dans [33] que l'interprétabilité repose sur la transparence du modèle. Il définit la transparence par la capacité du modèle à être (i) simulable, représentant la capacité pour un humain de saisir immédiatement le sens du modèle ; (ii) décomposable, impliquant que les entrées, les paramètres et le calcul soient facilement appréhensibles et (iii) algorithmiquement transparent, fournissant une garantie sur le résultat du modèle sur des données inconnues. Si la transparence algorithmique et la décomposabilité sont des notions bien établies dans les RBS, ce n'est pas le cas de la simulabilité. Trois paramètres principaux des RBS pourraient entraver leur capacité à être simple et facilement saisi par un humain.

Premièrement, le nombre de termes dans la prémisse. Comme le souligne [39], la capacité de l'humain est limitée à traiter sept informations plus ou moins deux, induisant potentiellement qu'une prémisse soit constituée de sept plus ou moins deux termes, au maximum. Le nombre maximum de termes traités dans une prémisse par un humain est probablement dépendant de l'expertise de celui-ci sur le domaine dédié. Afin d'aborder ce problème, [15] souligne que les méthodes doivent montrer de bonnes capacités de généralisation, impliquant la capacité de détecter et de supprimer des variables non discriminantes de l'état.

Deuxièmement, le nombre de règles composant le modèle
doit également être maîtrisé. Un nombre élevé de règles di-
minue la simplicité et la capacité pour un humain à l'appré-
hender facilement. Plus le comportement optimal est com-
plexe, plus le nombre de règles différentes pour le captu-
rer est élevé. Cela constitue un problème sérieux car il y a
un compromis entre avoir toutes les règles nécessaires pour
être optimal et garder un nombre raisonnable de règles pour
maintenir la propriété d'interprétabilité. Ici, le RL hiérarchique [16] pourrait aider en définissant différents niveaux de règles [49] permettant de les grouper par *skill*.

Troisièmement, l'enchêvêtrement des règles, c'est-à-dire le fait que la conclusion d'une règle est un terme spécifique de la prémisse d'une autre règle, augmente la complexité. Plus il y a de niveaux d'intrication, ou plus la granularité du jeu de règles est élevée, plus il est difficile d'apprêhender le modèle. Atténuer cette limite peut passer par la définition d'un hyper-paramètre pour contraindre le niveau de granularité lors de la phase d'apprentissage.

Si Lipton fournit des pistes pour garantir l'interprétabilité d'un modèle, il ne fournit pas de métriques pour le calculer. Certains travaux ont tenté de définir les propriétés d'un ensemble de règles interprétables [38] pour la classification, fournissant quatre métriques calculables qui sont : la prédictivité, la q-stabilité, la simplicité et le score d'interprétabilité. La prédictivité mesure la précision, la q-stabilité mesure la distance entre deux ensembles de règles générés par une approche spécifique, tandis que la simplicité mesure la longueur des règles. Enfin, le score d'interprétabilité est une somme pondérée des ces trois métriques. Ces métriques permettent de mesurer/comparer des jeux de règles déjà établis. Il n'est pas évident de les utiliser lors de la phase d'apprentissage.

L'interprétabilité des FIS a également été étudiée. Plusieurs critères ont été proposés pour quantifier leur lisibilité, à tous les niveaux, y compris les modalités impliquées dans les règles (par exemple la redondance ou la correspondance avec des termes experts), la règle elle-même (le nombre de termes) et l'ensemble de la base de règles (la redondance ou la cohérence) [2] [10] [37]. Ces questions peuvent également être liées à celles envisagées dans le cas des résumés linguistiques flous [30], qui peuvent fournir des pistes pertinentes pour définir des mesures d'interprétabilité.

# 5 Conclusion

Les domaines industriels critiques nécessitent une politique de décision interprétable pour pouvoir être déployés. Cette étude se concentre sur les politiques basées sur des règles. Une diversité de techniques permet de créer de telles politiques : combinant le RL et les FIS, le RL et les règles logiques booléennes, les LCS et les TM. Il est souvent établi que les RBS sont nativement interprétables, nous discountons ce point et montrons qu'il y a des points d'attention à avoir en tête afin d'avoir cette garantie. L'apprentissage de politiques interprétables par conception est possible en utilisant différentes techniques d'apprentissage capables de traiter des espaces continus et discrets, d'états et d'actions. Cette diversité devrait permettre de traiter une grande variété de problèmes, cependant, des travaux ultérieurs devront augmenter l'évolutivité de la politique basée sur des règles pour s'attaquer à des problèmes plus complexes, tout en conservant ses propriétés d'interprétabilité.

# Références

[1] Alnour Alharin, Thanh-Nam Doan, and Mina Sartipi. Reinforcement learning interpretation methods: A survey. *IEEE Access*, 8:171058–171077, 2020.

[2] J. M. Alonso, A. Ramos-Soto, E. Reiter, and K. van Deemter. An exploratory study on the benefits of using natural language for explaining fuzzy rule-based systems. In *FUZZ-IEEE*, 2017.

[3] Hamid R Berenji and Pratap Khedkar. Learning and tuning fuzzy logic controllers through reinforcements. *IEEE Transactions on neural networks*, 1992.

[4] HR Berenji. An architecture for designing fuzzy controllers using neural networks. *International journal of approximate reasoning*, 6(2):267–292, 1992.

[5] Andrea Bonarini. An introduction to learning fuzzy classifier systems. In *International Workshop on Learning Classifier Systems*. Springer, 1999.

[6] Andrea Bonarini and Matteo Matteucci. Fixcs: a fuzzy implementation of xcs. In *2007 IEEE International Fuzzy Systems Conference*. IEEE, 2007.

[7] Martin V Butz and Stewart W Wilson. An algorithmic description of xcs. In *International Workshop on Learning Classifier Systems*. Springer, 2000.

[8] Diogo Carvalho, Eduardo Pereira, and Jaime Cardoso. Machine learning interpretability: A survey on methods and metrics. *Electronics*, 8:832, 07 2019.

[9] Jorge Casillas, Brian Carse, and Larry Bull. Fuzzy-xcs: A michigan genetic fuzzy system. *IEEE Transactions on Fuzzy Systems*, 15(4):536–550, 2007.

[10] K. Cpałka. *Design of Interpretable Fuzzy Systems*. Studies in Computational Intelligence. 2017.

[11] Vali Derhami, Vahid Johari Majd, and Majid Nili Ahmadabadi. Fuzzy sarsa learning and the proof of existence of its stationary points. *Asian Journal of Control*, 2008.

[12] Sameh F Desouky and Howard M Schwartz. Q (λ)-learning adaptive fuzzy logic controllers for pursuit-evasion differential games. *International Journal of Adaptive Control and Signal Processing*, 2011.

[13] Sašo Džeroski, Luc De Raedt, and Kurt Driessens. Relational reinforcement learning. *Machine learning*, 2001.

[14] Meng Joo Er and Chang Deng. Online tuning of fuzzy inference systems using dynamic fuzzy q-learning. *IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics)*, 34(3):1478–1489, 2004.

[15] Nugroho Fredivianus. *Heuristic-based Genetic Operation in Classifier Systems*. PhD thesis, 2015.

[16] Claire Glanois, Zhaohui Jiang, Xuening Feng, Paul Weng, Matthieu Zimmer, Dong Li, Wulong Liu, and Jianye Hao. Neuro-symbolic hierarchical rule induction. In *International Conference on Machine Learning*. PMLR, 2022.

[17] Claire Glanois, Paul Weng, Matthieu Zimmer, Dong Li, Tianpei Yang, Jianye Hao, and Wulong Liu. A survey on interpretable reinforcement learning. *arXiv preprint arXiv:2112.13112*, 2021.

[18] Pierre Yves Glorennec and Lionel Jouffe. Fuzzy q-learning. In *Proceedings of 6th international fuzzy systems conference*. IEEE, 1997.
maintenir la propriété d'interprétabilité. Ici, le RL hiérarchique [16] pourrait aider en définissant différents niveaux de règles [49] permettant de les grouper par *skill*.

Troisièmement, l'enchêvêtrement des règles, c'est-à-dire le fait que la conclusion d'une règle est un terme spécifique de la prémisse d'une autre règle, augmente la complexité. Plus il y a de niveaux d'intrication, ou plus la granularité du jeu de règles est élevée, plus il est difficile d'apprêhender le modèle. Atténuer cette limite peut passer par la définition d'un hyper-paramètre pour contraindre le niveau de granularité lors de la phase d'apprentissage.

Si Lipton fournit des pistes pour garantir l'interprétabilité d'un modèle, il ne fournit pas de métriques pour le calculer. Certains travaux ont tenté de définir les propriétés d'un ensemble de règles interprétables [38] pour la classification, fournissant quatre métriques calculables qui sont : la prédictivité, la q-stabilité, la simplicité et le score d'interprétabilité. La prédictivité mesure la précision, la q-stabilité mesure la distance entre deux ensembles de règles générés par une approche spécifique, tandis que la simplicité mesure la longueur des règles. Enfin, le score d'interprétabilité est une somme pondérée des ces trois métriques. Ces métriques permettent de mesurer/comparer des jeux de règles déjà établis. Il n'est pas évident de les utiliser lors de la phase d'apprentissage.

L'interprétabilité des FIS a également été étudiée. Plusieurs critères ont été proposés pour quantifier leur lisibilité, à tous les niveaux, y compris les modalités impliquées dans les règles (par exemple la redondance ou la correspondance avec des termes experts), la règle elle-même (le nombre de termes) et l'ensemble de la base de règles (la redondance ou la cohérence) [2] [10] [37]. Ces questions peuvent également être liées à celles envisagées dans le cas des résumés linguistiques flous [30], qui peuvent fournir des pistes pertinentes pour définir des mesures d'interprétabilité.

# 5 Conclusion

Les domaines industriels critiques nécessitent une politique de décision interprétable pour pouvoir être déployés. Cette étude se concentre sur les politiques basées sur des règles. Une diversité de techniques permet de créer de telles politiques : combinant le RL et les FIS, le RL et les règles logiques booléennes, les LCS et les TM. Il est souvent établi que les RBS sont nativement interprétables, nous discountons ce point et montrons qu'il y a des points d'attention à avoir en tête afin d'avoir cette garantie. L'apprentissage de politiques interprétables par conception est possible en utilisant différentes techniques d'apprentissage capables de traiter des espaces continus et discrets, d'états et d'actions. Cette diversité devrait permettre de traiter une grande variété de problèmes, cependant, des travaux ultérieurs devront augmenter l'évolutivité de la politique basée sur des règles pour s'attaquer à des problèmes plus complexes, tout en conservant ses propriétés d'interprétabilité.

# Références

[1] Alnour Alharin, Thanh-Nam Doan, and Mina Sartipi. Reinforcement learning interpretation methods: A survey. *IEEE Access*, 8:171058–171077, 2020.

[2] J. M. Alonso, A. Ramos-Soto, E. Reiter, and K. van Deemter. An exploratory study on the benefits of using natural language for explaining fuzzy rule-based systems. In *FUZZ-IEEE*, 2017.

[3] Hamid R Berenji and Pratap Khedkar. Learning and tuning fuzzy logic controllers through reinforcements. *IEEE Transactions on neural networks*, 1992.

[4] HR Berenji. An architecture for designing fuzzy controllers using neural networks. *International journal of approximate reasoning*, 6(2):267–292, 1992.

[5] Andrea Bonarini. An introduction to learning fuzzy classifier systems. In *International Workshop on Learning Classifier Systems*. Springer, 1999.

[6] Andrea Bonarini and Matteo Matteucci. Fixcs: a fuzzy implementation of xcs. In *2007 IEEE International Fuzzy Systems Conference*. IEEE, 2007.

[7] Martin V Butz and Stewart W Wilson. An algorithmic description of xcs. In *International Workshop on Learning Classifier Systems*. Springer, 2000.

[8] Diogo Carvalho, Eduardo Pereira, and Jaime Cardoso. Machine learning interpretability: A survey on methods and metrics. *Electronics*, 8:832, 07 2019.

[9] Jorge Casillas, Brian Carse, and Larry Bull. Fuzzy-xcs: A michigan genetic fuzzy system. *IEEE Transactions on Fuzzy Systems*, 15(4):536–550, 2007.

[10] K. Cpałka. *Design of Interpretable Fuzzy Systems*. Studies in Computational Intelligence. 2017.

[11] Vali Derhami, Vahid Johari Majd, and Majid Nili Ahmadabadi. Fuzzy sarsa learning and the proof of existence of its stationary points. *Asian Journal of Control*, 2008.

[12] Sameh F Desouky and Howard M Schwartz. Q (λ)-learning adaptive fuzzy logic controllers for pursuit-evasion differential games. *International Journal of Adaptive Control and Signal Processing*, 2011.

[13] Sašo Džeroski, Luc De Raedt, and Kurt Driessens. Relational reinforcement learning. *Machine learning*, 2001.

[14] Meng Joo Er and Chang Deng. Online tuning of fuzzy inference systems using dynamic fuzzy q-learning. *IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics)*, 34(3):1478–1489, 2004.

[15] Nugroho Fredivianus. *Heuristic-based Genetic Operation in Classifier Systems*. PhD thesis, 2015.

[16] Claire Glanois, Zhaohui Jiang, Xuening Feng, Paul Weng, Matthieu Zimmer, Dong Li, Wulong Liu, and Jianye Hao. Neuro-symbolic hierarchical rule induction. In *International Conference on Machine Learning*. PMLR, 2022.

[17] Claire Glanois, Paul Weng, Matthieu Zimmer, Dong Li, Tianpei Yang, Jianye Hao, and Wulong Liu. A survey on interpretable reinforcement learning. *arXiv preprint arXiv:2112.13112*, 2021.

[18] Pierre Yves Glorennec and Lionel Jouffe. Fuzzy q-learning. In *Proceedings of 6th international fuzzy systems conference*. IEEE, 1997.
[19] Ole-Christoffer Granmo. The tsetlin machine–a game theoretic bandit driven approach to optimal pattern recognition with propositional logic. arXiv:1804.01508, 2018.

[20] Ole-Christoffer Granmo. An introduction to tsetlin machines. 2021.

[21] Samuel Greydanus, Anurag Koul, Jonathan Dodge, and Alan Fern. Visualizing and understanding atari agents. In *International Conference on Machine Learning*. PMLR, 2018.

[22] Bradley Hayes and Julie A Shah. Improving robot controller transparency through autonomous policy explanation. In *2017 12th ACM/IEEE International Conference on Human-Robot Interaction (HRI)*.

[23] Alexandre Heuillet, Fabien Couthouis, and Natalia Díaz-Rodríguez. Explainability in deep reinforcement learning. *Knowledge-Based Systems*, 2021.

[24] John H. Holland. Adaptation. In Robert Rosen and F.M. Snell, editors, *Progress in theoretical biology*. Academic Press, New York, 1976.

[25] Yu Hosoya and Motohide Umano. Dynamic fuzzy q-learning with facility of tuning and removing fuzzy rules. In *2012 IEEE International Conference on Fuzzy Systems*, pages 1–8. IEEE, 2012.

[26] Ahmed Hussein, Mohamed Medhat Gaber, Eyad Elyan, and Chrisina Jayne. Imitation learning: A survey of learning methods. *ACM Computing Surveys (CSUR)*, 2017.

[27] Zhengyao Jiang and Shan Luo. Neural logic reinforcement learning. In *International Conference on Machine Learning*, pages 3110–3119. PMLR, 2019.

[28] Min-Soeng Kim and Ju-Jang Lee. Solving continuous action/state problem in q-learning using extended rule based fuzzy inference system. *Transactions on Control, Automation and Systems Engineering*, 3(3):170–175, 2001.

[29] C-C Lee and HR Berenji. An intelligent controller based on approximate reasoning and reinforcement learning. In *Proceedings. IEEE International Symposium on Intelligent Control 1989*. IEEE, 1989.

[30] Marie-Jeanne Lesot, Gilles Moyse, and Bernadette Bouchon-Meunier. Interpretability of fuzzy linguistic summaries. *Fuzzy Sets and Systems*, 292, 2016.

[31] Cheng-Jian Lin and Chin-Teng Lin. Reinforcement learning for an art-based fuzzy adaptive learning control network. *IEEE Transactions on Neural Networks*, 1996.

[32] Chin-Teng Lin and CS George Lee. Reinforcement structure/parameter learning for neural-network-based fuzzy logic control systems. *IEEE Transactions on Fuzzy Systems*, 2(1):46–63, 1994.

[33] Zachary C. Lipton. The mythos of model interpretability, 2017.

[34] Quan Liu, Xiang Mu, Wei Huang, Qiming Fu, and Yonggang Zhang. A sarsa (λ) algorithm based on double-layer fuzzy reasoning. *Mathematical Problems in Engineering*, 2013.

[35] Zhihao Ma, Yuzheng Zhuang, Paul Weng, Hankz Hankui Zhuo, Dong Li, Wulong Liu, and Jianye Hao. Learning symbolic rules for interpretable deep reinforcement learning. *arXiv preprint arXiv:2103.08228*, 2021.

[36] Prashan Madumal, Tim Miller, Liz Sonenberg, and Frank Vetere. Explainable reinforcement learning through a causal lens. In *Proceedings of the AAAI Conference on Artificial Intelligence*, 2020.

[37] L. Magdalena. Fuzzy systems interpretability: What, why and how. In *Fuzzy Approaches for Soft Computing and Approximate Reasoning: Theories and Applications*, pages 111–122. Springer, 2020.

[38] Vincent Margot and George Luta. A new method to compare the interpretability of rule-based algorithms. *AI*, 2021.

[39] George A Miller. The magical number seven, plus or minus two: Some limits on our capacity for processing information. *Psychological review*, 1956.

[40] Ali Payani and Faramarz Fekri. Incorporating relational background knowledge into reinforcement learning via differentiable inductive logic programming. *arXiv preprint arXiv:2003.10386*, 2020.

[41] Erika Puiutta and Eric MSP Veith. Explainable reinforcement learning: A survey. In *International Cross-Domain Conference for Machine Learning and Knowledge Extraction*, pages 77–95. Springer, 2020.

[42] Saeed Rahimi Gorji and Ole-Christoffer Granmo. Off-policy and on-policy reinforcement learning with the tsetlin machine. *Applied Intelligence*, pages 1–18, 2023.

[43] Saeed Rahimi Gorji, Ole-Christoffer Granmo, and Marco Wiering. Explainable reinforcement learning with the tsetlin machine. In *International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems*. Springer, 2021.

[44] Gavin A Rummery and Mahesan Niranjan. *On-line Q-learning using connectionist systems*. University of Cambridge, Department of Engineering Cambridge, UK, 1994.

[45] Andrei A Rusu, Sergio Gomez Colmenarejo, Caglar Gulcehre, Guillaume Desjardins, James Kirkpatrick, Razvan Pascanu, Volodymyr Mnih, Koray Kavukcuoglu, and Raia Hadsell. Policy distillation. *arXiv preprint arXiv:1511.06295*, 2015.

[46] Christopher Stone and Larry Bull. For real! xcs with continuous-valued inputs. *Evolutionary Computation*, 11(3):299–336, 2003.

[47] Ron Sun, Edward Merrill, and Todd Peterson. From implicit skills to explicit knowledge: a bottom-up model of skill learning. *Cognitive Science*, 2001.

[48] L Tokarchuk, J Bigham, and L Cuthbert. Fuzzy sarsa: An approach to fuzzifying sarsa learning. In *Proceedings of the International Conference on Computational Intelligence for Modeling, Control and Automation*, 2004.

[49] José Ramón Trillo, Alberto Fernandez, and Francisco Herera. Hfer: Promoting explainability in fuzzy systems via hierarchical fuzzy exception rules. In *2020 IEEE International Conference on Fuzzy Systems (FUZZ-IEEE)*, 2020.

[50] Xue-Song Wang, Yu-Hu Cheng, and Jian-Qiang Yi. A fuzzy actor-critic reinforcement learning network. *Information Sciences*, 177(18):3764–3781, 2007.

[51] Yuyao Wang, Masayoshi Mase, and Masashi Egi. Attribution-based salience method towards interpretable reinforcement learning. In *AAAI Spring Symposium: Combining Machine Learning with Knowledge Engineering (1)*, 2020.

[52] Christopher John Cornish Hellaby Watkins. *Learning from delayed rewards*. PhD thesis, King's College, Cambridge, United Kingdom, 1989.

[53] Stewart W Wilson. Classifier fitness based on accuracy. *Evolutionary computation*, 3(2):149–175, 1995.
[19] Ole-Christoffer Granmo. The tsetlin machine–a game theoretic bandit driven approach to optimal pattern recognition with propositional logic. arXiv:1804.01508, 2018.

[20] Ole-Christoffer Granmo. An introduction to tsetlin machines. 2021.

[21] Samuel Greydanus, Anurag Koul, Jonathan Dodge, and Alan Fern. Visualizing and understanding atari agents. In *International Conference on Machine Learning*. PMLR, 2018.

[22] Bradley Hayes and Julie A Shah. Improving robot controller transparency through autonomous policy explanation. In *2017 12th ACM/IEEE International Conference on Human-Robot Interaction (HRI)*.

[23] Alexandre Heuillet, Fabien Couthouis, and Natalia Díaz-Rodríguez. Explainability in deep reinforcement learning. *Knowledge-Based Systems*, 2021.

[24] John H. Holland. Adaptation. In Robert Rosen and F.M. Snell, editors, *Progress in theoretical biology*. Academic Press, New York, 1976.

[25] Yu Hosoya and Motohide Umano. Dynamic fuzzy q-learning with facility of tuning and removing fuzzy rules. In *2012 IEEE International Conference on Fuzzy Systems*, pages 1–8. IEEE, 2012.

[26] Ahmed Hussein, Mohamed Medhat Gaber, Eyad Elyan, and Chrisina Jayne. Imitation learning: A survey of learning methods. *ACM Computing Surveys (CSUR)*, 2017.

[27] Zhengyao Jiang and Shan Luo. Neural logic reinforcement learning. In *International Conference on Machine Learning*, pages 3110–3119. PMLR, 2019.

[28] Min-Soeng Kim and Ju-Jang Lee. Solving continuous action/state problem in q-learning using extended rule based fuzzy inference system. *Transactions on Control, Automation and Systems Engineering*, 3(3):170–175, 2001.

[29] C-C Lee and HR Berenji. An intelligent controller based on approximate reasoning and reinforcement learning. In *Proceedings. IEEE International Symposium on Intelligent Control 1989*. IEEE, 1989.

[30] Marie-Jeanne Lesot, Gilles Moyse, and Bernadette Bouchon-Meunier. Interpretability of fuzzy linguistic summaries. *Fuzzy Sets and Systems*, 292, 2016.

[31] Cheng-Jian Lin and Chin-Teng Lin. Reinforcement learning for an art-based fuzzy adaptive learning control network. *IEEE Transactions on Neural Networks*, 1996.

[32] Chin-Teng Lin and CS George Lee. Reinforcement structure/parameter learning for neural-network-based fuzzy logic control systems. *IEEE Transactions on Fuzzy Systems*, 2(1):46–63, 1994.

[33] Zachary C. Lipton. The mythos of model interpretability, 2017.

[34] Quan Liu, Xiang Mu, Wei Huang, Qiming Fu, and Yonggang Zhang. A sarsa (λ) algorithm based on double-layer fuzzy reasoning. *Mathematical Problems in Engineering*, 2013.

[35] Zhihao Ma, Yuzheng Zhuang, Paul Weng, Hankz Hankui Zhuo, Dong Li, Wulong Liu, and Jianye Hao. Learning symbolic rules for interpretable deep reinforcement learning. *arXiv preprint arXiv:2103.08228*, 2021.

[36] Prashan Madumal, Tim Miller, Liz Sonenberg, and Frank Vetere. Explainable reinforcement learning through a causal lens. In *Proceedings of the AAAI Conference on Artificial Intelligence*, 2020.

[37] L. Magdalena. Fuzzy systems interpretability: What, why and how. In *Fuzzy Approaches for Soft Computing and Approximate Reasoning: Theories and Applications*, pages 111–122. Springer, 2020.

[38] Vincent Margot and George Luta. A new method to compare the interpretability of rule-based algorithms. *AI*, 2021.

[39] George A Miller. The magical number seven, plus or minus two: Some limits on our capacity for processing information. *Psychological review*, 1956.

[40] Ali Payani and Faramarz Fekri. Incorporating relational background knowledge into reinforcement learning via differentiable inductive logic programming. *arXiv preprint arXiv:2003.10386*, 2020.

[41] Erika Puiutta and Eric MSP Veith. Explainable reinforcement learning: A survey. In *International Cross-Domain Conference for Machine Learning and Knowledge Extraction*, pages 77–95. Springer, 2020.

[42] Saeed Rahimi Gorji and Ole-Christoffer Granmo. Off-policy and on-policy reinforcement learning with the tsetlin machine. *Applied Intelligence*, pages 1–18, 2023.

[43] Saeed Rahimi Gorji, Ole-Christoffer Granmo, and Marco Wiering. Explainable reinforcement learning with the tsetlin machine. In *International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems*. Springer, 2021.

[44] Gavin A Rummery and Mahesan Niranjan. *On-line Q-learning using connectionist systems*. University of Cambridge, Department of Engineering Cambridge, UK, 1994.

[45] Andrei A Rusu, Sergio Gomez Colmenarejo, Caglar Gulcehre, Guillaume Desjardins, James Kirkpatrick, Razvan Pascanu, Volodymyr Mnih, Koray Kavukcuoglu, and Raia Hadsell. Policy distillation. *arXiv preprint arXiv:1511.06295*, 2015.

[46] Christopher Stone and Larry Bull. For real! xcs with continuous-valued inputs. *Evolutionary Computation*, 11(3):299–336, 2003.

[47] Ron Sun, Edward Merrill, and Todd Peterson. From implicit skills to explicit knowledge: a bottom-up model of skill learning. *Cognitive Science*, 2001.

[48] L Tokarchuk, J Bigham, and L Cuthbert. Fuzzy sarsa: An approach to fuzzifying sarsa learning. In *Proceedings of the International Conference on Computational Intelligence for Modeling, Control and Automation*, 2004.

[49] José Ramón Trillo, Alberto Fernandez, and Francisco Herrera. Hfer: Promoting explainability in fuzzy systems via hierarchical fuzzy exception rules. In *2020 IEEE International Conference on Fuzzy Systems (FUZZ-IEEE)*, 2020.

[50] Xue-Song Wang, Yu-Hu Cheng, and Jian-Qiang Yi. A fuzzy actor–critic reinforcement learning network. *Information Sciences*, 177(18):3764–3781, 2007.

[51] Yuyao Wang, Masayoshi Mase, and Masashi Egi. Attribution-based salience method towards interpretable reinforcement learning. In *AAAI Spring Symposium: Combining Machine Learning with Knowledge Engineering (1)*, 2020.

[52] Christopher John Cornish Hellaby Watkins. *Learning from delayed rewards*. PhD thesis, King's College, Cambridge, United Kingdom, 1989.

[53] Stewart W Wilson. Classifier fitness based on accuracy. *Evolutionary computation*, 3(2):149–175, 1995.
Session 2 : Posters
Session 2 : Posters
# ZGP appliqué à la segmentation des images hyperspectrales

I. Grenet¹,², Y. Bobichon¹, A. Girard¹

¹ Institut de Recherche Technologique Saint Exupéry - Sophia Antipolis, France

² MyDataModels - Sophia Antipolis, France

ingrid.grenet@mydatamodels.com

{yves.bobichon, adrien.girard}@irt-saintexupery.com

## Résumé

La segmentation d'images satellites hyperspectrales est une tache utile pour de nombreuses applications (cartographie, suivi de l'environnement, etc.) mais qui s'avère difficile, notamment à cause du manque de données annotées. Cet article présente les avantages de l'algorithme évolutionnaire ZGP pour le traitement de l'imagerie hyperspectrale dans les systèmes embarqués (frugalité, interprétabilité, simplicité) et montre comment il est capable de rivaliser avec des réseaux de neurones classiques en terme de performances.

## Mots-clés

Hyperspectral, télédétection, ZGP, CNN, frugalité.

## Abstract

Segmentation of hyperspectral satellite images is a useful task for many applications (mapping, environmental monitoring, etc.) but is difficult, especially due to the lack of annotated data. This paper presents the advantages of the ZGP evolutionary algorithm for processing hyperspectral images in embedded systems (frugality, interpretability, simplicity) and shows how it competes with classical neural networks in terms of performance.

## Keywords

Hyperspectral, remote sensing, ZGP, CNN, frugality.

## 1 Introduction

L'imagerie satellite hyperspectrale utilise des mesures à haute résolution spectrale de la lumière permettant des applications dans de nombreux domaines comme l'agriculture, la gestion des ressources naturelles, la caractérisation des sols et des matériaux de surface, la prévention ou le suivi de catastrophes naturelles et le changement climatique. Les imageurs hyperspectraux génèrent d'énormes quantités de données qui nécessitent la mise en oeuvre de traitements embarqués au plus près du capteur afin d'assurer le stockage et la transmission de l'information utile avec la meilleure qualité possible [7] [12].

L'utilisation de réseaux de neurones profonds pour le traitement d'images à bord de satellites impose de lever de nombreux verrous liés à la disponibilité de bases de données annotées, la complexité des algorithmes et aux capacités de calculs et de stockage limités de ces systèmes embarqués

très contraints. Les techniques d'apprentissage frugal, semi ou non supervisé [3] offrent des solutions permettant de compenser le manque de données annotées au prix de performances souvent dégradées. De même, les algorithmes de vision par ordinateur développés pour les images RGB ne sont pas directement transposables aux données hyperspectrales qui portent par nature une information spectrale très riche nécessitant des méthodes d'analyse spécifiques. Parmi ces méthodes, la classification 1D, les réseaux de neurones récurrents (RNN), l'analyse en composantes principales (ACP) [6, 9, 8] s'avèrent souvent sous optimales. Les réseaux de neurones 3D permettant d'extraire simultanément des caractéristiques spectrales et spatiales semblent être les plus prometteurs pour l'analyse de données hyperspectrales [10]. Cependant, ces approches sont pénalisées par une complexité algorithmique souvent élevée qui a conduit certains auteurs à proposer des architectures spatio-spectrales séparables 2D+1D avec moins de paramètres [4]. Dans [11], Nalepa et al. proposent en particulier une architecture simplifiée de ce type de réseaux pour les images hyperspectrales. Récemment, une implémentation sur cible matérielle de cette approche a été menée afin d'être déployée prochainement sur un nano-satellite expérimental d'observation de la Terre [13].

Le travail présenté ici s'inscrit dans ce cadre de segmentation d'images hyperspectrales à bord des satellites d'observation de la Terre. Nous présentons des résultats obtenus avec un algorithme de programmation génétique unique, Zoetrope Genetic Programming (ZGP) [1], permettant de répondre aux nombreux points ouverts cités précédemment. En particulier, l'algorithme est frugal en données d'apprentissage et requiert peu de temps de calcul lors de l'entraînement. Aussi, il permet de générer des modèles simples et facilement interprétables comportant seulement quelques dizaines de paramètres et nécessitant peu de mémoire de stockage. Avec un temps d'inférence faible, les modèles ZGP sont aussi compatibles du traitement en temps réel des données issues des capteurs d'images satellites. Les modèles ZGP ont déjà été appliqués avec succès à la segmentation d'images satellites mutlispectrales [5] et ont démontré leur intérêt opérationnel lors d'une expérience menée sur le satellite OPS-SAT de l'Agence Spatiale Européenne en 2021 [2].
# ZGP appliqué à la segmentation des images hyperspectrales

I. Grenet¹,², Y. Bobichon¹, A. Girard¹

¹ Institut de Recherche Technologique Saint Exupéry - Sophia Antipolis, France

² MyDataModels - Sophia Antipolis, France

ingrid.grenet@mydatamodels.com

{yves.bobichon, adrien.girard}@irt-saintexupery.com

## Résumé

La segmentation d'images satellites hyperspectrales est une tache utile pour de nombreuses applications (cartographie, suivi de l'environnement, etc.) mais qui s'avère difficile, notamment à cause du manque de données annotées. Cet article présente les avantages de l'algorithme évolutionnaire ZGP pour le traitement de l'imagerie hyperspectrale dans les systèmes embarqués (frugalité, interprétabilité, simplicité) et montre comment il est capable de rivaliser avec des réseaux de neurones classiques en terme de performances.

## Mots-clés

Hyperspectral, télédétection, ZGP, CNN, frugalité.

## Abstract

Segmentation of hyperspectral satellite images is a useful task for many applications (mapping, environmental monitoring, etc.) but is difficult, especially due to the lack of annotated data. This paper presents the advantages of the ZGP evolutionary algorithm for processing hyperspectral images in embedded systems (frugality, interpretability, simplicity) and shows how it competes with classical neural networks in terms of performance.

## Keywords

Hyperspectral, remote sensing, ZGP, CNN, frugality.

## 1 Introduction

L'imagerie satellite hyperspectrale utilise des mesures à haute résolution spectrale de la lumière permettant des applications dans de nombreux domaines comme l'agriculture, la gestion des ressources naturelles, la caractérisation des sols et des matériaux de surface, la prévention ou le suivi de catastrophes naturelles et le changement climatique. Les imageurs hyperspectraux génèrent d'énormes quantités de données qui nécessitent la mise en oeuvre de traitements embarqués au plus près du capteur afin d'assurer le stockage et la transmission de l'information utile avec la meilleure qualité possible [7] [12].

L'utilisation de réseaux de neurones profonds pour le traitement d'images à bord de satellites impose de lever de nombreux verrous liés à la disponibilité de bases de données annotées, la complexité des algorithmes et aux capacités de calculs et de stockage limités de ces systèmes embarqués

très contraints. Les techniques d'apprentissage frugal, semi ou non supervisé [3] offrent des solutions permettant de compenser le manque de données annotées au prix de performances souvent dégradées. De même, les algorithmes de vision par ordinateur développés pour les images RGB ne sont pas directement transposables aux données hyperspectrales qui portent par nature une information spectrale très riche nécessitant des méthodes d'analyse spécifiques. Parmi ces méthodes, la classification 1D, les réseaux de neurones récurrents (RNN), l'analyse en composantes principales (ACP) [6, 9, 8] s'avèrent souvent sous optimales. Les réseaux de neurones 3D permettant d'extraire simultanément des caractéristiques spectrales et spatiales semblent être les plus prometteurs pour l'analyse de données hyperspectrales [10]. Cependant, ces approches sont pénalisées par une complexité algorithmique souvent élevée qui a conduit certains auteurs à proposer des architectures spatiospectrales séparables 2D+1D avec moins de paramètres [4]. Dans [11], Nalepa et al. proposent en particulier une architecture simplifiée de ce type de réseaux pour les images hyperspectrales. Récemment, une implémentation sur cible matérielle de cette approche a été menée afin d'être déployée prochainement sur un nano-satellite expérimental d'observation de la Terre [13].

Le travail présenté ici s'inscrit dans ce cadre de segmentation d'images hyperspectrales à bord des satellites d'observation de la Terre. Nous présentons des résultats obtenus avec un algorithme de programmation génétique unique, Zoetrope Genetic Programming (ZGP) [1], permettant de répondre aux nombreux points ouverts cités précédemment. En particulier, l'algorithme est frugal en données d'apprentissage et requiert peu de temps de calcul lors de l'entraînement. Aussi, il permet de générer des modèles simples et facilement interprétables comportant seulement quelques dizaines de paramètres et nécessitant peu de mémoire de stockage. Avec un temps d'inférence faible, les modèles ZGP sont aussi compatibles du traitement en temps réel des données issues des capteurs d'images satellites. Les modèles ZGP ont déjà été appliqués avec succès à la segmentation d'images satellites mutlispectrales [5] et ont démontré leur intérêt opérationnel lors d'une expérience menée sur le satellite OPS-SAT de l'Agence Spatiale Européenne en 2021 [2].
# 2 Méthodes

## 2.1 Algorithme évolutionnaire ZGP

ZGP est un algorithme de programmation génétique pour la régression symbolique dont l'originalité réside dans la manière de construire les individus de la population. En effet, ces individus sont des formules symboliques obtenues à partir d'un processus aléatoire intégrant diverses opérations de fusions. Les expressions mathématiques sont construites à partir des variables d'entrée qui caractérisent les données et de constantes sélectionnées aléatoirement. Des étapes de maturation consistant à appliquer plusieurs opérations de fusions donnent lieu aux "zoetropes" qui sont alors combinés et pondérés de façon linéaire pour générer un individu de la population. Les individus évoluent ensuite itérativement en fonction de leur adéquation aux données, grâce à des opérations génétiques (mutation et recombinaison). A chaque génération, l'ensemble des individus est évalué grâce à une fonction de fitness (qui dépend de la tâche effectuée, *i.e.* régression ou classification) et le modèle final correspond au meilleur individu obtenu, toutes générations confondues. L'ensemble de ces processus est plus large-ment détaillé dans [1].

Dans ces travaux, nous appliquons ZGP à la segmentation des images hyperspectrales sur 3 jeux de données de référence. Plus précisément, ZGP est entraîné à faire de la classification multi-classes afin de prédire la classe de chaque pixel en fonction de ses informations spectrales.

## 2.2 Données

Les trois images hyperspectrales de référence, également utilisées dans [11] sont les suivantes :

1. Indian Pines : image acquise par le capteur aéro-porté AVIRIS au Nord Ouest de l'Indiana (USA). La scène couvre une zone agricole de 145*145 pixels avec un pas au sol de 20m sur 224 bandes spectrales. La vérité terrain est composée de 16 classes de végétations dont certaines sont représentées par un très petit nombre de pixels, parfois moins de 100.

2. Pavia University : scène acquise par le capteur ROSIS au-dessus de l'Université de Pavie en Italie. L'image de 610*340 pixels à 1.3m de résolution comprend 103 bandes spectrales. La vérité terrain est labélisée en 9 classes constituées principalement de matériaux artificiels et de végétation.

3. Salinas : scène acquise par le capteur AVIRIS au-dessus de la vallée de Salinas en Californie (USA). Sa taille est de 512*217 pixels de 3.7m de résolution sur 224 bandes spectrales. La vérité terrain est composée de 16 classes de terrains agricoles.

Les classes fournies pour chacune de ces images étant différentes, les pixels d'apprentissage et de test doivent nécessairement être issus de la même image hyperspectrale. Ainsi, afin d'éviter la fuite d'information entre les données d'entraînement et de test qui conduirait à des résultats trop

optimistes, il est nécessaire de former des ensembles indépendants. Audebert *et al.* [10] et Nalepa *et al.* [11] ont respectivement proposé la méthode disjointe et la méthode par patchs garantissant cette indépendance. Pour l'évaluation des modèles ZGP, nous utilisons une approche dans laquelle l'ensemble des pixels labelisés de chaque image est aléatoirement séparé en deux sous ensemble distincts : apprentissage (70%) et test (30%).

## 2.3 Entraînement de ZGP

ZGP est entraîné à la réalisation d'une tâche de classification multiple dont l'objectif est d'attribuer une classe à chacun des pixels de l'image hyperspectrale. Chaque pixel est traité indépendamment de ses voisins en considérant uniquement l'information spectrale associée localement au pixel courant. Les jeux de données utilisés pour l'entraînement sont constitués de pixels spectraux représentés par un vecteur dont le nombre de composantes est égal au nombre de bandes spectrales de l'image (103 ou 224). ZGP est entraîné sur 70% de tous les pixels labélisés des images de référence et testé sur les 30% des pixels restants. Bien que pris de manière aléatoire dans la même image, l'ensemble des pixels d'apprentissage est indépendant de celui des pixels de test, il n'y a donc pas de fuite possible entre les données d'apprentissage et de test lors de l'évaluation des modèles.

**Stratégie d'enchaînement de modèles** Dans le cas des images Indian Pines et Pavia University, une stratégie d'enchaînement de plusieurs modèles a été utilisée. Elle consiste à faire des prédictions avec un premier modèle et à les affirmer en appliquant ensuite des modèles plus précis.

Pour Indian Pines, un premier modèle a été entraîné sur 10 classes de "haut niveau" regroupant certaines classes parmi les 16 originales, comme indiqué dans l'étape 1 de la Figure 1. Plus précisément, une classe "maïs" fusionne les classes originales "2 :maïs-notill", "3 :maïs-mintill" et "4 :maïs". La même chose a été faite pour l'herbe (classes originales 5, 6 et 7) et le soja (classes originales 10, 11 et 12). Ensuite, deux modèles intermédiaires permettent de distinguer des classes qui se sont révélées être difficiles à séparer par le modèle entraîné sur les 16 classes originales : un modèle binaire qui distingue les classes de haut niveau "maïs" et "soja" ainsi qu'un modèle qui distingue la classe de haut niveau "herbe" des classes originales 13, 14 et 15 (blé, bois, arbres) (resp. modèles 2 et 3 de l'étape 2 de la Figure 1). Enfin, trois modèles spécifiques des trois classes "maïs", "soja" et "herbe" permettent de séparer ces classes en leurs classes finales (modèles 4, 5 et 6 de l'étape 3 de la Figure 1). Finalement, 6 modèles au total sont utilisés afin de classifier les pixels dans l'une des 16 classes originales. Concernant le jeu de données de l'Université de Pavia, un premier modèle a été entraîné sur les neuf classes originales et un deuxième ensemble de trois modèles binaires différents a été utilisé pour déterminer les classes les plus difficiles à distinguer par le premier modèle : 1. classe 1 (asphalte) vs. classe 7 (bitume); 2. classe 3 (gravier) vs. classe 8 (briques); 3. classe 2 (pré) vs. classe 6 (sol nu).

Dans le cas de l'image Salinas, un modèle unique de multi-classification en 16 classes a directement été entraîné.
# 2 Méthodes

## 2.1 Algorithme évolutionnaire ZGP

ZGP est un algorithme de programmation génétique pour la régression symbolique dont l'originalité réside dans la manière de construire les individus de la population. En effet, ces individus sont des formules symboliques obtenues à partir d'un processus aléatoire intégrant diverses opérations de fusions. Les expressions mathématiques sont construites à partir des variables d'entrée qui caractérisent les données et de constantes sélectionnées aléatoirement. Des étapes de maturation consistant à appliquer plusieurs opérations de fusions donnent lieu aux "zoetropes" qui sont alors combinés et pondérés de façon linéaire pour générer un individu de la population. Les individus évoluent ensuite itérativement en fonction de leur adéquation aux données, grâce à des opérations génétiques (mutation et recombinaison). A chaque génération, l'ensemble des individus est évalué grâce à une fonction de fitness (qui dépend de la tâche effectuée, i.e régression ou classification) et le modèle final correspond au meilleur individu obtenu, toutes générations confondues. L'ensemble de ces processus est plus large-ment détaillé dans [1].

Dans ces travaux, nous appliquons ZGP à la segmentation des images hyperspectrales sur 3 jeux de données de référence. Plus précisément, ZGP est entraîné à faire de la classification multi-classes afin de prédire la classe de chaque pixel en fonction de ses informations spectrales.

## 2.2 Données

Les trois images hyperspectrales de référence, également utilisées dans [11] sont les suivantes :

1. Indian Pines : image acquise par le capteur aéro-porté AVIRIS au Nord Ouest de l'Indiana (USA). La scène couvre une zone agricole de 145*145 pixels avec un pas au sol de 20m sur 224 bandes spectrales. La vérité terrain est composée de 16 classes de végétations dont certaines sont représentées par un très petit nombre de pixels, parfois moins de 100.

2. Pavia University : scène acquise par le capteur ROSIS au-dessus de l'Université de Pavie en Italie. L'image de 610*340 pixels à 1.3m de résolution comprend 103 bandes spectrales. La vérité terrain est labélisée en 9 classes constituées principalement de matériaux artificiels et de végétation.

3. Salinas : scène acquise par le capteur AVIRIS au-dessus de la vallée de Salinas en Californie (USA). Sa taille est de 512*217 pixels de 3.7m de résolution sur 224 bandes spectrales. La vérité terrain est composée de 16 classes de terrains agricoles.

Les classes fournies pour chacune de ces images étant différentes, les pixels d'apprentissage et de test doivent nécessairement être issus de la même image hyperspectrale. Ainsi, afin d'éviter la fuite d'information entre les données d'entraînement et de test qui conduirait à des résultats trop

optimistes, il est nécessaire de former des ensembles indépendants. Audebert et al. [10] et Nalepa et al. [11] ont respectivement proposé la méthode disjointe et la méthode par patchs garantissant cette indépendance. Pour l'évaluation des modèles ZGP, nous utilisons une approche dans laquelle l'ensemble des pixels labelisés de chaque image est aléatoirement séparé en deux sous ensemble distincts : apprentissage (70%) et test (30%).

## 2.3 Entraînement de ZGP

ZGP est entraîné à la réalisation d'une tâche de classification multiple dont l'objectif est d'attribuer une classe à chacun des pixels de l'image hyperspectrale. Chaque pixel est traité indépendamment de ses voisins en considérant uniquement l'information spectrale associée localement au pixel courant. Les jeux de données utilisés pour l'entraînement sont constitués de pixels spectraux représentés par un vecteur dont le nombre de composantes est égal au nombre de bandes spectrales de l'image (103 ou 224). ZGP est entraîné sur 70% de tous les pixels labélisés des images de référence et testé sur les 30% des pixels restants. Bien que pris de manière aléatoire dans la même image, l'ensemble des pixels d'apprentissage est indépendant de celui des pixels de test, il n'y a donc pas de fuite possible entre les données d'apprentissage et de test lors de l'évaluation des modèles.

**Stratégie d'enchaînement de modèles** Dans le cas des images Indian Pines et Pavia University, une stratégie d'enchaînement de plusieurs modèles a été utilisée. Elle consiste à faire des prédictions avec un premier modèle et à les affirmer en appliquant ensuite des modèles plus précis.

Pour Indian Pines, un premier modèle a été entraîné sur 10 classes de "haut niveau" regroupant certaines classes parmi les 16 originales, comme indiqué dans l'étape 1 de la Figure 1. Plus précisément, une classe "maïs" fusionne les classes originales "2 :maïs-notill", "3 :maïs-mintill" et "4 :maïs". La même chose a été faite pour l'herbe (classes originales 5, 6 et 7) et le soja (classes originales 10, 11 et 12). Ensuite, deux modèles intermédiaires permettent de distinguer des classes qui se sont révélées être difficiles à séparer par le modèle entraîné sur les 16 classes originales : un modèle binaire qui distingue les classes de haut niveau "maïs" et "soja" ainsi qu'un modèle qui distingue la classe de haut niveau "herbe" des classes originales 13, 14 et 15 (blé, bois, arbres) (resp. modèles 2 et 3 de l'étape 2 de la Figure 1). Enfin, trois modèles spécifiques des trois classes "maïs", "soja" et "herbe" permettent de séparer ces classes en leurs classes finales (modèles 4, 5 et 6 de l'étape 3 de la Figure 1). Finalement, 6 modèles au total sont utilisés afin de classifier les pixels dans l'une des 16 classes originales. Concernant le jeu de données de l'Université de Pavia, un premier modèle a été entraîné sur les neuf classes originales et un deuxième ensemble de trois modèles binaires différents a été utilisé pour déterminer les classes les plus difficiles à distinguer par le premier modèle : 1. classe 1 (asphalte) vs. classe 7 (bitume); 2. classe 3 (gravier) vs. classe 8 (briques); 3. classe 2 (pré) vs. classe 6 (sol nu).

Dans le cas de l'image Salinas, un modèle unique de multi-classification en 16 classes a directement été entraîné.
<figure><img src="image_11.png" /><figcaption>FIGURE 1 – Schéma de la stratégie d'enchaînement de modèles utilisée pour les données Indian Pines.</figcaption></figure>

## 2.4 Métriques

Les performances sont évaluées de manière globale sur un ensemble de données par les métriques classiques suivantes : Précision, Rappel, F-score, Accuracy.

Plus précisément, nous calculons la moyenne (non pondérée) de la précision, du rappel et du F-score sur l'ensemble des classes que nous appelons « moyenne macro ». Pour l'accuracy, nous utilisons l'accuracy globale qui est celle obtenue sur l'ensemble des classes.

Nous comparons également la complexité des différents modèles en terme de nombre de paramètres. Pour les réseaux de neurones, il s'agit du nombre de paramètres entraînables. Pour les modèles ZGP, cela correspond au nombre total de facteurs multiplicatifs dans les formules finales de chacun des modèles utilisés lors de la prédiction. La Figure 2 illustre le calcul du nombre de paramètres pour une formule ZGP obtenue dans l'un des modèles entraînés sur l'image Pavia University. Dans cet exemple, la complexité est de 43.

## 3 Résultats

Le Tableau 1 compare l'accuracy des modèles ZGP avec deux méthodes de deep learning hyperspectrales basées sur des réseaux de neurones convolutifs (1D et 3D CNN) [11]. Les résultats de deux approches d'évaluation sont présentés : "random" et "patch". L'approche "random" sélectionne les pixels de tests aléatoirement, tandis que l'approche "patch" garantit une indépendance des données d'entraînement et de test. Le réseau 3D CNN peut avoir une fuite d'information entre les données d'apprentissage et de test, car les couches de convolution prennent en considération les pixels voisins du pixel d'intérêt. Cette fuite d'information n'est pas valable pour le réseau 1D CNN, qui possède une couche de convolution spectrale et non spatiale. ZGP utilise l'évaluation "random" et comme il ne prend pas en compte l'information spatiale, l'indépendance totale des pixels d'apprentissage et de test est garantie.

Les trois algorithmes sont moins performants sur Indian Pines en raison de la plus faible résolution de l'image, ce qui entraîne des pixels contenant des mélanges de plu-

$$ score = \exp(0.0069 \times B022 + 0.0005 \times B042 - 0.0031 \times B089 + 0.0005 \times B103 \times \text{truncate}(B042/(0.9271 \times (-B103 + B019) + 0.0729 \times \sqrt{abs(B019)}))) - 0.0008 \times \cos(0.6596 \times \sqrt{abs(B089)}) + 0.3404 \times \sin(B089) \times B022 - 0.0021 \times \sqrt{abs(0.6596 \times \sqrt{abs(B089)}) + 0.3403 \times \sin(B089)}) \times B022 - 0.0004 \times \text{truncate}(B042/(0.9270 \times (-B103 + B019) + 0.0729 \times \sqrt{abs(B019)}))) \times B019 - 3.755e-05 \times \text{truncate}(B042/(0.9270 \times (-B103 + B019) + 0.0729 \times \sqrt{abs(B019)}))) \times \sqrt{abs(B019)} + 3.150e-05 \times \sqrt{abs(B089)} + 1.060e-05 \times \sqrt{abs(0.6596 \times \sqrt{abs(B089)}) + 0.3403 \times \sin(B089)}) - 0.0007 \times \sqrt{abs(0.7159 \times \sqrt{abs(0.6596 \times \sqrt{abs(B089)}) + 0.3403 \times \sin(B089)})} + 0.2840 \times \cos(0.6596 \times \sqrt{abs(B089)}) + 0.3403 \times \sin(B089)) + 0.0064(B042) + 0.0002(B103) + 0.0048 \times \cos(B022) + 4.828e-05 \times \cos(B089) + 0.0003 \times \cos(0.9270 \times (-B103 + B019) + 0.0729 \times \sqrt{abs(B019)})) + 4.205e-06 \times \cos(0.6596 \times \sqrt{abs(B089)}) + 0.3403 \times \sin(B089)) + 0.0073 \times \sqrt{abs(0.9270 \times (-B103 + B019) + 0.0729 \times \sqrt{abs(B019)}))} + 7.213e-05 \times \text{truncate}(B103)) $$

<caption>FIGURE 2 – Exemple de formule ZGP avec en gras les constantes servant à calculer le nombre de paramètres. Les valeurs Bxxx correspondent aux bandes hyperspectrales. Ici on compte 43 constantes.</caption>

sieurs types de cultures et pouvant appartenir à plusieurs classes [10]. La forte ressemblance entre certaines classes et le petit nombre de pixels qui les représentent peuvent également rendre l'apprentissage plus difficile.

La Table 2 montre les performances de ZGP sur les trois images, avec une précision moyenne de 89% et 93% pour les images Pavia University et Salinas respectivement, mais seulement environ 60% pour l'image Indian Pines. Différentes hypothèses ont été évoquées ci-dessus pour expliquer ce dernier résultat.

Les Figures 3, 4 et 5 illustrent la segmentation faite par les modèles ZGP sur les trois images, montrant la qualité des prédictions réalisées par les modèles.

La Table 3 montre que les modèles ZGP sont beaucoup moins complexes que les réseaux de neurones 1D et 3D. En particulier, la complexité des modèles ZGP est indépendante de la dimension de l'image contrairement à celle des réseaux de neurones du fait des couches de sortie "fully connected".

Enfin, la Figure 6 montre l'intérêt des modèles ZGP qui atteignent des performances comparables voire meilleures que les réseaux de neurones pour une complexité significativement inférieure, représentant un gain de stockage et de capacité de calcul pour l'implémentation dans des systèmes embarqués. La taille mémoire des modèles ZGP est de respectivement 393ko, 129ko et 135ko pour les images Indian Pines, Pavia University et Salinas.
<figure><img src="image_11.png" /><figcaption>FIGURE 1 – Schéma de la stratégie d'enchaînement de modèles utilisée pour les données Indian Pines.</figcaption></figure>

## 2.4 Métriques

Les performances sont évaluées de manière globale sur un ensemble de données par les métriques classiques suivantes : Précision, Rappel, F-score, Accuracy.

Plus précisément, nous calculons la moyenne (non pondérée) de la précision, du rappel et du F-score sur l'ensemble des classes que nous appelons « moyenne macro ». Pour l'accuracy, nous utilisons l'accuracy globale qui est celle obtenue sur l'ensemble des classes.

Nous comparons également la complexité des différents modèles en terme de nombre de paramètres. Pour les réseaux de neurones, il s'agit du nombre de paramètres entraînables. Pour les modèles ZGP, cela correspond au nombre total de facteurs multiplicatifs dans les formules finales de chacun des modèles utilisés lors de la prédiction. La Figure 2 illustre le calcul du nombre de paramètres pour une formule ZGP obtenue dans l'un des modèles entraînés sur l'image Pavia University. Dans cet exemple, la complexité est de 43.

## 3 Résultats

Le Tableau 1 compare l'accuracy des modèles ZGP avec deux méthodes de deep learning hyperspectrales basées sur des réseaux de neurones convolutifs (1D et 3D CNN) [11]. Les résultats de deux approches d'évaluation sont présentés : "random" et "patch". L'approche "random" sélectionne les pixels de tests aléatoirement, tandis que l'approche "patch" garantit une indépendance des données d'entraînement et de test. Le réseau 3D CNN peut avoir une fuite d'information entre les données d'apprentissage et de test, car les couches de convolution prennent en considération les pixels voisins du pixel d'intérêt. Cette fuite d'information n'est pas valable pour le réseau 1D CNN, qui possède une couche de convolution spectrale et non spatiale. ZGP utilise l'évaluation "random" et comme il ne prend pas en compte l'information spatiale, l'indépendance totale des pixels d'apprentissage et de test est garantie.

Les trois algorithmes sont moins performants sur Indian Pines en raison de la plus faible résolution de l'image, ce qui entraîne des pixels contenant des mélanges de plu-

$$ score = \exp(0.0069 \times B022 + 0.0005 \times B042 - 0.0031 \times B089 + 0.0005 \times B103 \times \text{truncate}(B042/(0.9271 \times (-B103 + B019) + 0.0729 \times \sqrt{abs(B019)}))) - 0.0008 \times \cos(0.6596 \times \sqrt{abs(B089)}) + 0.3404 \times \sin(B089) \times B022 - 0.0021 \times \sqrt{abs(0.6596 \times \sqrt{abs(B089)}) + 0.3403 \times \sin(B089)}) \times B022 - 0.0004 \times \text{truncate}(B042/(0.9270 \times (-B103 + B019) + 0.0729 \times \sqrt{abs(B019)}))) \times B019 - 3.755e-05 \times \text{truncate}(B042/(0.9270 \times (-B103 + B019) + 0.0729 \times \sqrt{abs(B019)}))) \times \sqrt{abs(B019)} + 3.150e-05 \times \sqrt{abs(B089)} + 1.060e-05 \times \sqrt{abs(0.6596 \times \sqrt{abs(B089)}) + 0.3403 \times \sin(B089)}) - 0.0007 \times \sqrt{abs(0.7159 \times \sqrt{abs(0.6596 \times \sqrt{abs(B089)}) + 0.3403 \times \sin(B089)})} + 0.2840 \times \cos(0.6596 \times \sqrt{abs(B089)}) + 0.3403 \times \sin(B089)) + 0.0064(B042) + 0.0002(B103) + 0.0048 \times \cos(B022) + 4.828e-05 \times \cos(B089) + 0.0003 \times \cos(0.9270 \times (-B103 + B019) + 0.0729 \times \sqrt{abs(B019)})) + 4.205e-06 \times \cos(0.6596 \times \sqrt{abs(B089)}) + 0.3403 \times \sin(B089)) + 0.0073 \times \sqrt{abs(0.9270 \times (-B103 + B019) + 0.0729 \times \sqrt{abs(B019)})} + 7.213e-05 \times \text{truncate}(B103)) $$

<caption>FIGURE 2 – Exemple de formule ZGP avec en gras les constantes servant à calculer le nombre de paramètres. Les valeurs Bxxx correspondent aux bandes hyperspectrales. Ici on compte 43 constantes.</caption>

sieurs types de cultures et pouvant appartenir à plusieurs classes [10]. La forte ressemblance entre certaines classes et le petit nombre de pixels qui les représentent peuvent également rendre l'apprentissage plus difficile.

La Table 2 montre les performances de ZGP sur les trois images, avec une précision moyenne de 89% et 93% pour les images Pavia University et Salinas respectivement, mais seulement environ 60% pour l'image Indian Pines. Différentes hypothèses ont été évoquées ci-dessus pour expliquer ce dernier résultat.

Les Figures 3, 4 et 5 illustrent la segmentation faite par les modèles ZGP sur les trois images, montrant la qualité des prédictions réalisées par les modèles.

La Table 3 montre que les modèles ZGP sont beaucoup moins complexes que les réseaux de neurones 1D et 3D. En particulier, la complexité des modèles ZGP est indépendante de la dimension de l'image contrairement à celle des réseaux de neurones du fait des couches de sortie "fully connected".

Enfin, la Figure 6 montre l'intérêt des modèles ZGP qui atteignent des performances comparables voire meilleures que les réseaux de neurones pour une complexité significativement inférieure, représentant un gain de stockage et de capacité de calcul pour l'implémentation dans des systèmes embarqués. La taille mémoire des modèles ZGP est de respectivement 393ko, 129ko et 135ko pour les images Indian Pines, Pavia University et Salinas.
<table><caption>TABLE 1 – Comparaison des performances (accuracy globale) obtenues par Nalepa *et al.* [11] avec les performances des modèles ZGP</caption><thead><tr><th rowspan="2">Dataset</th><th colspan="2">1D CNN</th><th colspan="2">3D CNN</th><th>ZGP</th></tr><tr><th>Random</th><th>Patch</th><th>Random</th><th>Patch</th><th>Random</th></tr></thead><tbody><tr><td>Indian Pines</td><td>77.98</td><td>67.11</td><td><strong>85.9</strong></td><td>48.89</td><td>73.28</td></tr><tr><td>Pavia University</td><td>89.32</td><td>73.26</td><td><strong>93.47</strong></td><td>70.07</td><td>90.12</td></tr><tr><td>Salinas</td><td>83.57</td><td>64.2</td><td><strong>94.27</strong></td><td>69.72</td><td>90.21</td></tr></tbody></table>

<table><caption>TABLE 2 – Performances des modèles ZGP sur les 3 jeux de données de référence</caption><thead><tr><th></th><th>Indian Pines</th><th>Pavia U.</th><th>Salinas</th></tr></thead><tbody><tr><th>Accuracy globale</th><td>73.28</td><td>90.12</td><td>90.21</td></tr><tr><th>Macro précision</th><td>62.37</td><td>89.19</td><td>93.86</td></tr><tr><th>Macro recall</th><td>60.28</td><td>85.98</td><td>93.24</td></tr><tr><th>Macro F-score</th><td>60.89</td><td>88.02</td><td>93.70</td></tr></tbody></table>

<figure><img src="image_12.png" /><figcaption>FIGURE 3 – Vérité terrain (gauche) et prédicitions faites par ZGP (droite) de l'image Indian Pines. Les différentes classes de maïs (2,3,4) et de soja (10,11,12) sont repérées sur la vérité terrain.</figcaption></figure>

<figure><img src="image_13.png" /><figcaption>FIGURE 4 – Vérité terrain (gauche) et prédicitions faites par ZGP (droite) de l'image Pavia University.</figcaption></figure>

<figure><img src="image_14.png" /><figcaption>FIGURE 5 – Vérité terrain (gauche) et prédicitions faites par ZGP (droite) de l'image Salinas.</figcaption></figure>

<figure><img src="image_15.png" /><figcaption>FIGURE 6 – Accuracy des modèles en fonction du nombre de paramètres (échelle logarithmique) des différents algorithmes pour l'image Pavia University.</figcaption></figure>

# 4 Conclusion

Ce texte décrit les performances de l'algorithmme ZGP pour la segmentation hyperspectrale sur trois jeux de données de référence, comparant ses résultats à deux réseaux de neurones convolutifs évalués par deux méthodes différentes. Les résultats montrent que ZGP peut fournir des performances comparables, voire supérieures, aux CNN en utilisant uniquement les informations spectrales. ZGP sélectionne également des bandes spectrales spécifiques pour la prédiction, permettant un certain niveau de confiance et d'interprétabilité du résultat. Il possède plusieurs avantages adaptés aux contraintes de l'analyse d'images hyperspectrales et des systèmes embarqués : frugalité, facilité d'intégration et d'implémentation et méthode d'évaluation plus facile à mettre en oeuvre. Des travaux futurs visent à interpréter les modèles fournis en examinant les bandes spectrales utilisées pour la prédiction et à adapter l'algorithmme pour une portabilité efficace et rapide sur FPGA. Nous participons également au challenge OrbitalAI organisé par l'Agence Spatiale Européenne.

# Remerciements

Ces travaux ont été menés dans le cadre du projet CIAR ("Chaîne Image Autonome et Réactive") de l'Institut de Recherche Technologique Saint-Exupéry (www.irt-saintexupery.com). Les auteurs remercient les partenaires industriels et académiques du projet : Thales Alenia Space, ActiveEon, Avisto, Elsys Design, MyDataModels, GEO4i, Inria et LEAT/CNRS.

<table><caption>TABLE 3 – Nombre de paramètres des différents modèles</caption><thead><tr><th></th><th>Indian Pines</th><th>Pavia University</th><th>Salinas</th></tr></thead><tbody><tr><th>ZGP</th><td>1784</td><td>511</td><td>496</td></tr><tr><th>1D CNN</th><td>10 105 040</td><td>5 086 537</td><td>11 333 840</td></tr><tr><th>3D CNN</th><td>333 216</td><td>250 009</td><td>352 416</td></tr></tbody></table>
<table><caption>TABLE 1 – Comparaison des performances (accuracy globale) obtenues par Nalepa *et al.* [11] avec les performances des modèles ZGP</caption><thead><tr><th rowspan="2">Dataset</th><th colspan="2">1D CNN</th><th colspan="2">3D CNN</th><th>ZGP</th></tr><tr><th>Random</th><th>Patch</th><th>Random</th><th>Patch</th><th>Random</th></tr></thead><tbody><tr><td>Indian Pines</td><td>77.98</td><td>67.11</td><td><strong>85.9</strong></td><td>48.89</td><td>73.28</td></tr><tr><td>Pavia University</td><td>89.32</td><td>73.26</td><td><strong>93.47</strong></td><td>70.07</td><td>90.12</td></tr><tr><td>Salinas</td><td>83.57</td><td>64.2</td><td><strong>94.27</strong></td><td>69.72</td><td>90.21</td></tr></tbody></table>

<table><caption>TABLE 2 – Performances des modèles ZGP sur les 3 jeux de données de référence</caption><thead><tr><th></th><th>Indian Pines</th><th>Pavia U.</th><th>Salinas</th></tr></thead><tbody><tr><th>Accuracy globale</th><td>73.28</td><td>90.12</td><td>90.21</td></tr><tr><th>Macro précision</th><td>62.37</td><td>89.19</td><td>93.86</td></tr><tr><th>Macro recall</th><td>60.28</td><td>85.98</td><td>93.24</td></tr><tr><th>Macro F-score</th><td>60.89</td><td>88.02</td><td>93.70</td></tr></tbody></table>

<figure><img src="image_12.png" /><figcaption>FIGURE 3 – Vérité terrain (gauche) et prédicitions faites par ZGP (droite) de l'image Indian Pines. Les différentes classes de maïs (2,3,4) et de soja (10,11,12) sont repérées sur la vérité terrain.</figcaption></figure>

<figure><img src="image_13.png" /><figcaption>FIGURE 4 – Vérité terrain (gauche) et prédicitions faites par ZGP (droite) de l'image Pavia University.</figcaption></figure>

<figure><img src="image_14.png" /><figcaption>FIGURE 5 – Vérité terrain (gauche) et prédicitions faites par ZGP (droite) de l'image Salinas.</figcaption></figure>

<figure><img src="image_15.png" /><figcaption>FIGURE 6 – Accuracy des modèles en fonction du nombre de paramètres (échelle logarithmique) des différents algorithmes pour l'image Pavia University.</figcaption></figure>

# 4 Conclusion

Ce texte décrit les performances de l'algorithmme ZGP pour la segmentation hyperspectrale sur trois jeux de données de référence, comparant ses résultats à deux réseaux de neurones convolutifs évalués par deux méthodes différentes. Les résultats montrent que ZGP peut fournir des performances comparables, voire supérieures, aux CNN en utilisant uniquement les informations spectrales. ZGP sélectionne également des bandes spectrales spécifiques pour la prédiction, permettant un certain niveau de confiance et d'interprétabilité du résultat. Il possède plusieurs avantages adaptés aux contraintes de l'analyse d'images hyperspectrales et des systèmes embarqués : frugalité, facilité d'intégration et d'implémentation et méthode d'évaluation plus facile à mettre en oeuvre. Des travaux futurs visent à interpréter les modèles fournis en examinant les bandes spectrales utilisées pour la prédiction et à adapter l'algorithmme pour une portabilité efficace et rapide sur FPGA. Nous participons également au challenge OrbitalAI organisé par l'Agence Spatiale Européenne.

# Remerciements

Ces travaux ont été menés dans le cadre du projet CIAR ("Chaîne Image Autonome et Réactive") de l'Institut de Recherche Technologique Saint-Exupéry (www.irt-saintexupery.com). Les auteurs remercient les partenaires industriels et académiques du projet : Thales Alenia Space, ActiveEon, Avisto, Elsys Design, MyDataModels, GEO4i, Inria et LEAT/CNRS.

<table><caption>TABLE 3 – Nombre de paramètres des différents modèles</caption><thead><tr><th></th><th>Indian Pines</th><th>Pavia University</th><th>Salinas</th></tr></thead><tbody><tr><th>ZGP</th><td>1784</td><td>511</td><td>496</td></tr><tr><th>1D CNN</th><td>10 105 040</td><td>5 086 537</td><td>11 333 840</td></tr><tr><th>3D CNN</th><td>333 216</td><td>250 009</td><td>352 416</td></tr></tbody></table>
Références

[1] A. Boisbunon, C. Fanara, I. Grenet, J. Daeden, A. Vighi, and M. Schoenauer. Zoetrope genetic programming for regression. In *Proceedings of the Genetic and Evolutionary Computation Conference*, pages 776–784, 2021.

[2] F. Férésin, E. Kervennic, Y. Bobichon, E. Lemaire, N. Abderrahmane, G. Bahl, I. Grenet, M. Moretti, and M. Benguigui. In space image processing using AI embedded on system on module : example of OPS-SAT cloud segmentation. In *2nd European Workshop on On-Board Data Processing (OBDP)*, 2021.

[3] Q. Fu, X. Yu, X. Wei, and Z. Xue. Semi-supervised classification of hyperspectral imagery based on stacked autoencoders. page 100332B, 08 2016.

[4] Q. Gao, S. Lim, and X. Jia. Hyperspectral image classification using convolutional neural networks and multiple feature learning. *Remote Sensing*, 10(2):299–7056, 2018.

[5] I. Grenet, Y. Bobichon, A. Girard, and F. Férésin. Zgp : une alternative aux réseaux de neurones pour la segmentation sémantique de nuages dans les images satellites multi-spectrales. In *Conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle*, 2021.

[6] W. Hu, Y. Huang, L. Wei, F. Zhang, and H. Li. Deep convolutional neural networks for hyperspectral image classification. *Journal of Sensors*, 2015:1–12, 07 2015.

[7] D. Lebedeff, M.F Foulon, R. Camarero, R. Vitulli, and Y. Bobichon. On-board cloud detection and selective spatial/spectral compression based on CCSDS 123.0-b-2 for hyperspectral missions. In *7th ESA International Workshop on On-Board Payload Data Compression Conference (OBPDC)*, 2020.

[8] K. Makantasis, K. Karantzalos, A. Doulamis, and N. Doulamis. Deep supervised learning for hyperspectral data classification through convolutional neural networks. pages 4959–4962, 01 2015.

[9] L. Mou, P. Ghamisi, and X. Zhu. Deep recurrent neural networks for hyperspectral image classification. *IEEE Transactions on Geoscience and Remote Sensing*, 55(7):3639–3655, 2017.

[10] Audebert N., B. Le Saux, and S. Lefèvre. Deep learning for classification of hyperspectral data : A comparative review. *IEEE Geoscience and Remote Sensing Magazine*, 7(2):159–173, June 2019.

[11] J. Nalepa, M. Myller, and M. Kawulok. Validating hyperspectral image segmentation. *IEEE Geoscience and Remote Sensing Letters*, 16(8):1264–1268, Aug 2019.

[12] R. Vitulli, M. Celesti, R. Camarero, G. Di Cosimo, F. Gascon, N. Longepe, J. Nieke, M. Rovatti, M.F Foulon, A. Grynagier, D. Lebedeff, Y. Bobichon, J. Nalepa, A. Wijata, M. Przeliorz, and T. Dullin. CHIME : The first AI-powered ESA operational mission. In *Small Satellite Systems and Services 4S symposium*, 2022.

[13] M. Ziaja, P. Bosowski, M. Myller, G. Gajoch, M. Gumiela, J. Protich, K. Borda, D. Jayaraman, R. Dividino, and J. Nalepa. Benchmarking deep learning for on-board space applications. *Remote Sensing*, 13:3981, Oct 2021.
Références

[1] A. Boisbunon, C. Fanara, I. Grenet, J. Daeden, A. Vighi, and M. Schoenauer. Zoetrope genetic programming for regression. In *Proceedings of the Genetic and Evolutionary Computation Conference*, pages 776–784, 2021.

[2] F. Férésin, E. Kervennic, Y. Bobichon, E. Lemaire, N. Abderrahmane, G. Bahl, I. Grenet, M. Moretti, and M. Benguigui. In space image processing using AI embedded on system on module : example of OPS-SAT cloud segmentation. In *2nd European Workshop on On-Board Data Processing (OBDP)*, 2021.

[3] Q. Fu, X. Yu, X. Wei, and Z. Xue. Semi-supervised classification of hyperspectral imagery based on stacked autoencoders. page 100332B, 08 2016.

[4] Q. Gao, S. Lim, and X. Jia. Hyperspectral image classification using convolutional neural networks and multiple feature learning. *Remote Sensing*, 10(2):299–7056, 2018.

[5] I. Grenet, Y. Bobichon, A. Girard, and F. Férésin. Zgp : une alternative aux réseaux de neurones pour la segmentation sémantique de nuages dans les images satellites multi-spectrales. In *Conférence Nationale sur les Applications Pratiques de l'Intelligence Artificielle*, 2021.

[6] W. Hu, Y. Huang, L. Wei, F. Zhang, and H. Li. Deep convolutional neural networks for hyperspectral image classification. *Journal of Sensors*, 2015:1–12, 07 2015.

[7] D. Lebedeff, M.F Foulon, R. Camarero, R. Vitulli, and Y. Bobichon. On-board cloud detection and selective spatial/spectral compression based on CCSDS 123.0-b-2 for hyperspectral missions. In *7th ESA International Workshop on On-Board Payload Data Compression Conference (OBPDC)*, 2020.

[8] K. Makantasis, K. Karantzalos, A. Doulamis, and N. Doulamis. Deep supervised learning for hyperspectral data classification through convolutional neural networks. pages 4959–4962, 01 2015.

[9] L. Mou, P. Ghamisi, and X. Zhu. Deep recurrent neural networks for hyperspectral image classification. *IEEE Transactions on Geoscience and Remote Sensing*, 55(7):3639–3655, 2017.

[10] Audebert N., B. Le Saux, and S. Lefèvre. Deep learning for classification of hyperspectral data : A comparative review. *IEEE Geoscience and Remote Sensing Magazine*, 7(2):159–173, June 2019.

[11] J. Nalepa, M. Myller, and M. Kawulok. Validating hyperspectral image segmentation. *IEEE Geoscience and Remote Sensing Letters*, 16(8):1264–1268, Aug 2019.

[12] R. Vitulli, M. Celesti, R. Camarero, G. Di Cosimo, F. Gascon, N. Longepe, J. Nieke, M. Rovatti, M.F Foulon, A. Grynagier, D. Lebedeff, Y. Bobichon, J. Nalepa, A. Wijata, M. Przeliorz, and T. Dullin. CHIME : The first AI-powered ESA operational mission. In *Small Satellite Systems and Services 4S symposium*, 2022.

[13] M. Ziaja, P. Bosowski, M. Myller, G. Gajoch, M. Gumiela, J. Protich, K. Borda, D. Jayaraman, R. Dividino, and J. Nalepa. Benchmarking deep learning for on-board space applications. *Remote Sensing*, 13:3981, Oct 2021.
# Classification de surfaces dans une image hyperspectrale urbaine par réseau de neurones pour la qualité de l'air.

Valentin Boulisset<fnref n="1" />, Jean-Luc Attié<fnref n="1" />, Ronan Tournier², Nabil El Malki², Xavier Ceamanos-Garcia³, Javier Andrey⁴ and Eric Pequignot⁴

¹ LAERO, Université de Toulouse, Université Paul Sabatier, CNRS UMR5560, Toulouse, France

² IRIT, Université de Toulouse, Université Toulouse Capitole, CNRS UMR5505, Toulouse, France

³ CNRM, Météo-France, Université de Toulouse, CNRS UMR3589, Toulouse, France

⁴ WaltR-Parc Technologique du Canal, Ramonville Saint Agne, France

{valentin.boulisset, jean-luc.attie}@aero.obs-mip.fr

## Résumé

Cet article est la première étape d'un processus complexe de mesure de la concentration de particules fines par des caméras spectrales. Pour ce faire, une classification précise et rapide de tous les pixels d'une image hyperspectrale est cruciale pour déterminer la nature des objets et leurs propriétés optiques. Les méthodes traditionnellement utilisées reposent sur la richesse de l'information spectrale avec des centaines de longueurs d'onde habituellement mesurées par les caméras. Cependant, négliger la dimension spatiale durant une classification conduit à certaines situations où les classes obtenues ne sont pas spatialement cohérentes. Nous proposons ici une méthode de classification optimisée pour la mesure de la qualité de l'air (Spatial Spectral Optimised Classification) basée sur l'apprentissage, qui prend en compte les caractéristiques spectrales mais aussi l'information spatiale via les pixels voisins.

## Mots-clés

Classification, Image hyperspectrale, Apprentissage, Perceptron, SVM.

## Abstract

This article is the first step of a complex process of measuring fine particle concentrations by spectral cameras. To do this, an accurate and fast classification of all pixels from a hyperspectral image is crucial to determine the nature of the objects and their optical properties. The methods traditionally used rely on the richness of the spectral information in measurements with hundreds of wavelengths. However, neglecting the spatial dimension during the classification can lead to situations where the resulting classes may not be spatially consistent. Here, we propose a classification method (Spatial Spectral Optimised Classification) based on learning, which takes into account spectral features but also spatial information via neighbouring pixels.

## Keywords

Classification, Hyperspectral Imaging, Learning, Perceptron, SVM.

## 1 Introduction

La qualité de l'air est un enjeu de santé publique qui oblige les villes à la surveiller pour se conformer aux réglementations en vigueur depuis la loi LAURE<fnref n="1" /> de 1996. Ces réglementations exigent une surveillance de la concentration de gaz et de particules dans l'air en raison de leur impact sur la santé. Les capteurs utilisés par les villes pour surveiller la qualité de l'air urbain sont limités en nombre et en portée, les modèles numériques compensent ces lacunes, mais ils ne sont pas assez contraints par les observations. L'installation de stations d'observation à grande échelle est trop coûteuse pour être une solution viable. L'objectif de notre travail est de permettre l'augmentation du nombre d'observations avec des solutions moins onéreuses, via, non pas des capteurs de mesure, mais une caméra spectrale placée au sol sur un point stratégique pour permettre une observation de la pollution à haute résolution et en temps réel sur une vaste zone urbaine à un coût raisonnable.

Pour identifier la pollution d'une ville à partir d'images, il faut d'abord associer les surfaces détectées à une valeur de réflectance de surface (capacité d'une surface à réfléchir l'énergie lumineuse incidente), qui est ensuite utilisée dans un processus de transfert radiatif et d'inversion pour déterminer les espèces chimiques présentes dans l'air et ainsi évaluer sa qualité. Pour ce faire, une image en RVB (RGB) ne suffit pas pour identifier avec précision des surfaces complexes dans une image, tandis qu'une image hyperspectrale, qui contient plusieurs dizaines de longueurs d'onde, est plus précise et permet d'obtenir des informations spécifiques. Les images hyperspectrales sont représentées comme un cube avec des dimensions spatiales et spectrales, et chaque pixel est associé à un vecteur qui permet d'obtenir une signature spectrale, ce qui permet de distinguer avec précision les différents objets présents dans l'image. L'article est organisé comme suit : la section suivante présente l'état de l'art ; la section 3 présente le matériel et les méthodes puis avant de conclure la section 4 présente les résultats.

<footnote n="1">1. Loi n°96-1236 du 30 décembre 1996 (NOR : ENVX9500163L)</footnote>
# Classification de surfaces dans une image hyperspectrale urbaine par réseau de neurones pour la qualité de l'air.

Valentin Boulisset<fnref n="1" />, Jean-Luc Attié<fnref n="1" />, Ronan Tournier<fnref n="2" />, Nabil El Malki<fnref n="2" />, Xavier Ceamanos-Garcia<fnref n="3" />, Javier Andrey<fnref n="4" /> and Eric Pequignot<fnref n="4" />

{valentin.boulisset, jean-luc.attie}@aero.obs-mip.fr

## Résumé

Cet article est la première étape d'un processus complexe de mesure de la concentration de particules fines par des caméras spectrales. Pour ce faire, une classification précise et rapide de tous les pixels d'une image hyperspectrale est cruciale pour déterminer la nature des objets et leurs propriétés optiques. Les méthodes traditionnellement utilisées reposent sur la richesse de l'information spectrale avec des centaines de longueurs d'onde habituellement mesurées par les caméras. Cependant, négliger la dimension spatiale durant une classification conduit à certaines situations où les classes obtenues ne sont pas spatialement cohérentes. Nous proposons ici une méthode de classification optimisée pour la mesure de la qualité de l'air (Spatial Spectral Optimised Classification) basée sur l'apprentissage, qui prend en compte les caractéristiques spectrales mais aussi l'information spatiale via les pixels voisins.

## Mots-clés

Classification, Image hyperspectrale, Apprentissage, Perceptron, SVM.

## Abstract

This article is the first step of a complex process of measuring fine particle concentrations by spectral cameras. To do this, an accurate and fast classification of all pixels from a hyperspectral image is crucial to determine the nature of the objects and their optical properties. The methods traditionally used rely on the richness of the spectral information in measurements with hundreds of wavelengths. However, neglecting the spatial dimension during the classification can lead to situations where the resulting classes may not be spatially consistent. Here, we propose a classification method (Spatial Spectral Optimised Classification) based on learning, which takes into account spectral features but also spatial information via neighbouring pixels.

## Keywords

Classification, Hyperspectral Imaging, Learning, Perceptron, SVM.

# 1 Introduction

La qualité de l'air est un enjeu de santé publique qui oblige les villes à la surveiller pour se conformer aux réglementations en vigueur depuis la loi LAURE<fnref n="1" /> de 1996. Ces réglementations exigent une surveillance de la concentration de gaz et de particules dans l'air en raison de leur impact sur la santé. Les capteurs utilisés par les villes pour surveiller la qualité de l'air urbain sont limités en nombre et en portée, les modèles numériques compensent ces lacunes, mais ils ne sont pas assez contraints par les observations. L'installation de stations d'observation à grande échelle est trop coûteuse pour être une solution viable. L'objectif de notre travail est de permettre l'augmentation du nombre d'observations avec des solutions moins onéreuses, via, non pas des capteurs de mesure, mais une caméra spectrale placée au sol sur un point stratégique pour permettre une observation de la pollution à haute résolution et en temps réel sur une vaste zone urbaine à un coût raisonnable.

Pour identifier la pollution d'une ville à partir d'images, il faut d'abord associer les surfaces détectées à une valeur de réflectance de surface (capacité d'une surface à réfléchir l'énergie lumineuse incidente), qui est ensuite utilisée dans un processus de transfert radiatif et d'inversion pour déterminer les espèces chimiques présentes dans l'air et ainsi évaluer sa qualité. Pour ce faire, une image en RVB (RGB) ne suffit pas pour identifier avec précision des surfaces complexes dans une image, tandis qu'une image hyperspectrale, qui contient plusieurs dizaines de longueurs d'onde, est plus précise et permet d'obtenir des informations spécifiques. Les images hyperspectrales sont représentées comme un cube avec des dimensions spatiales et spectrales, et chaque pixel est associé à un vecteur qui permet d'obtenir une signature spectrale, ce qui permet de distinguer avec précision les différents objets présents dans l'image. L'article est organisé comme suit : la section suivante présente l'état de l'art ; la section 3 présente le matériel et les méthodes puis avant de conclure la section 4 présente les résultats.

<footnote n="1">¹ LAERO, Université de Toulouse, Université Paul Sabatier, CNRS UMR5560, Toulouse, France</footnote>

<footnote n="2">² IRIT, Université de Toulouse, Université Toulouse Capitole, CNRS UMR5505, Toulouse, France</footnote>

<footnote n="3">³ CNRM, Météo-France, Université de Toulouse, CNRS UMR3589, Toulouse, France</footnote>

<footnote n="4">⁴ WaltR-Parc Technologique du Canal, Ramonville Saint Agne, France</footnote>

<footnote n="1">1. Loi n°96-1236 du 30 décembre 1996 (NOR : ENVX9500163L)</footnote>
# 2 État de l'art

Dans cet article nous nous concentrons sur la première étape du processus de mesure de la qualité de l'air qui consiste à identifier la nature de l'ensemble des pixels d'une image hyperspectrale. L'objectif consiste à attribuer à chaque pixel une classe prédéfinie qui correspond aux propriétés de la surface de l'objet. C'est pourquoi, nous optons pour une classification pixel par pixel qui permet de classifier l'ensemble des pixels d'une image. Les approches de détection d'objets tels qu'avec des CNN (Convolutional Neural Network) sont très efficaces pour détecter un ou plusieurs objets [1] mais ne permettent pas de classifier l'ensemble des pixels de l'image. Les méthodes de classification habituellement utilisées pour ce type de problématique comme SVM (support-vector machine) et les RF (random forest) traitent chaque pixel de manière indépendante en n'analysant que ses propriétés spectrales [2], sans considérer l'information sur les pixels voisins. Cependant, dans une image réelle, les pixels voisins sont corrélés. Négliger la notion de voisinage (dimension spatiale) en classification peut conduire à des situations où les classes obtenues ne sont pas cohérentes spatialement. Les profils morphologiques [3] ont été utilisés pour ce type de tâche mais le calcul pour chaque pixel d'une image hyperspectrale peut s'avérer très coûteux en termes de temps [4], ce qui pose un inconvénient majeur pour des applications nécessitant des résultats rapides en temps quasi réel sur des jeux de données volumineux.

Dans cet article, nous proposons une méthode de classification d'image hyperspectrale, optimisée pour la mesure de la qualité de l'air avec cohérence spatiale à l'aide d'un réseau de neurones et qui soit le plus rapide possible en termes de temps de calcul. La méthode commence par une réduction de dimension à l'aide d'une analyse en composante principale (ACP) pour limiter les problèmes liés au grand nombre de dimensions et réduire les temps de calcul. Puis les relations spatiales entre les pixels d'une image sont prises en compte grâce à une matrice de voisinage. Cette matrice est ensuite convertie en un vecteur et correspond à l'entrée d'un réseau de neurones.

# 3 Matériels, données et méthodes

## 3.1 Présentation des données

Les images sont acquises par une caméra hyperspectrale HySpex VNIR 1600² qui permet de faire des mesures sur 160 longueurs d'ondes de 400 à 1000 nm. Néanmoins, le but final est de capturer les images à partir de caméras bien moins onéreuses. Nous nous basons sur les caractéristiques de la future caméra WaltRCam constituée de 11 bandes spectrales et bien moins onéreuse que des caméras de type HySpex. Cet instrument, conçu par l'entreprise WaltR<fnref n="3" />, sera déployé fin 2023 pour couvrir la métropole Toulousaine. La caméra étant en phase finale de développement, des images ont été simulées en sélectionnant 11 longueurs d'onde de la caméra HySpex (414, 418, 422, 429, 461, 559, 609, 672, 782, 871, 941 nm) correspondant à la future WaltRCam. Les résultats présentés ici utilisent ces images simulées.

## 3.2 Classification hyperspectrale optimisée à une image d'une scène urbaine

Nous avons identifié les 6 classes les plus courantes qui représentent les surfaces visibles des objets de l'image. Plus tard dans la chaîne de traitement, ces classes seront utilisées pour calculer une valeur de réflectance à chaque pixel observé (permettant par la suite de déterminer la pollution de l'air). Les classes sont les immeubles éclairés (bâtiments éclairés directement par le soleil), les immeubles sombres (bâtiments non directement éclairés par le soleil), les toits, la végétation, le ciel et l'horizon (pixels éloignés plus difficilement identifiables). Il est à noter que la distinction entre immeuble éclairé et non éclairé peut être importante car les valeurs de réflectance associées à ces surfaces sont très différentes. Une partie des pixels de l'image est labellisée manuellement en fonction de la classe observée et sera nécessaire par la suite pour l'entraînement et le test des algorithmes d'apprentissage. Notre réseau de neurone optimisé en conséquence prend en entrée chaque pixel de l'image avec ses informations de voisinage et en sortie lui assigne une des 6 classes (avec un degré de confiance). La méthode de classification S<sub>2</sub>OC (Spatial Spectral Optimised Classification, voir figure) que nous avons développée, basée sur l'apprentissage, se décompose en trois étapes :

- Réduction du nombre de dimensions via une analyse en composantes principales (ACP).

- Ajout de l'information spatiale via une matrice de voisinage pour chaque pixel.

- Classification de l'ensemble des pixels à l'aide du réseau de neurones.

**Étape 1 : Réduction du nombre de dimensions à l'aide de l'analyse en composantes principales (ACP).** Cette méthode linéaire pour la réduction de la dimensionnalité consiste à identifier les combinaisons linéaires maximisant la variance totale des données diminuant le nombre de dimensions. Cela permet de conserver l'information spatiale de l'image tout en condensant l'information spectrale qui réduit ainsi la dimension de l'image de 11 à 3 composantes avec une variance totale expliquée de près de 99%.

**Étape 2 : Ajout de l'information spatiale avec une matrice de voisinage.** Les méthodes de classification pour les images hyperspectrales actuellement utilisées se limitent souvent à attribuer à chaque pixel une classe basée uniquement sur ses propriétés spectrales, sans tenir compte de leur distribution spatiale des pixels. Pour pallier ce problème il est important de prendre en considération l'information spatiale avec la prise en compte du voisinage des pixels c'est à dire les pixels environnant proches. Une façon intuitive de définir le voisinage d'un pixel est de supposer que pour un pixel donné, ses voisins les plus proches appartiennent avec une forte probabilité à la même classe. Les zones homogènes présentes dans une image sont générales.

<footnote n="2">2. https://www.hyspex.com</footnote>

<footnote n="3">3. https://waltr.fr</footnote>
# 2 État de l'art

Dans cet article nous nous concentrons sur la première étape du processus de mesure de la qualité de l'air qui consiste à identifier la nature de l'ensemble des pixels d'une image hyperspectrale. L'objectif consiste à attribuer à chaque pixel une classe prédéfinie qui correspond aux propriétés de la surface de l'objet. C'est pourquoi, nous optons pour une classification pixel par pixel qui permet de classifier l'ensemble des pixels d'une image. Les approches de détection d'objets tels qu'avec des CNN (Convolutional Neural Network) sont très efficaces pour détecter un ou plusieurs objets [1] mais ne permettent pas de classifier l'ensemble des pixels de l'image. Les méthodes de classification habituellement utilisées pour ce type de problématique comme SVM (support-vector machine) et les RF (random forest) traitent chaque pixel de manière indépendante en n'analysant que ses propriétés spectrales [2], sans considérer l'information sur les pixels voisins. Cependant, dans une image réelle, les pixels voisins sont corrélés. Négliger la notion de voisinage (dimension spatiale) en classification peut conduire à des situations où les classes obtenues ne sont pas cohérentes spatialement. Les profils morphologiques [3] ont été utilisés pour ce type de tâche mais le calcul pour chaque pixel d'une image hyperspectrale peut s'avérer très coûteux en termes de temps [4], ce qui pose un inconvénient majeur pour des applications nécessitant des résultats rapides en temps quasi réel sur des jeux de données volumineux.

Dans cet article, nous proposons une méthode de classification d'image hyperspectrale, optimisée pour la mesure de la qualité de l'air avec cohérence spatiale à l'aide d'un réseau de neurones et qui soit le plus rapide possible en termes de temps de calcul. La méthode commence par une réduction de dimension à l'aide d'une analyse en composante principale (ACP) pour limiter les problèmes liés au grand nombre de dimensions et réduire les temps de calcul. Puis les relations spatiales entre les pixels d'une image sont prises en compte grâce à une matrice de voisinage. Cette matrice est ensuite convertie en un vecteur et correspond à l'entrée d'un réseau de neurones.

# 3 Matériels, données et méthodes

## 3.1 Présentation des données

Les images sont acquises par une caméra hyperspectrale HySpex VNIR 1600² qui permet de faire des mesures sur 160 longueurs d'ondes de 400 à 1000 nm. Néanmoins, le but final est de capturer les images à partir de caméras bien moins onéreuses. Nous nous basons sur les caractéristiques de la future caméra WaltRCam constituée de 11 bandes spectrales et bien moins onéreuse que des caméras de type HySpex. Cet instrument, conçu par l'entreprise WaltR<fnref n="3" />, sera déployé fin 2023 pour couvrir la métropole Toulousaine. La caméra étant en phase finale de développement, des images ont été simulées en sélectionnant 11 longueurs d'onde de la caméra HySpex (414, 418, 422, 429, 461, 559, 609, 672, 782, 871, 941 nm) correspondant à la future WaltRCam. Les résultats présentés ici utilisent ces images simulées.

## 3.2 Classification hyperspectrale optimisée à une image d'une scène urbaine

Nous avons identifié les 6 classes les plus courantes qui représentent les surfaces visibles des objets de l'image. Plus tard dans la chaîne de traitement, ces classes seront utilisées pour calculer une valeur de réflectance à chaque pixel observé (permettant par la suite de déterminer la pollution de l'air). Les classes sont les immeubles éclairés (bâtiments éclairés directement par le soleil), les immeubles sombres (bâtiments non directement éclairés par le soleil), les toits, la végétation, le ciel et l'horizon (pixels éloignés plus difficilement identifiables). Il est à noter que la distinction entre immeuble éclairé et non éclairé peut être importante car les valeurs de réflectance associées à ces surfaces sont très différentes. Une partie des pixels de l'image est labellisée manuellement en fonction de la classe observée et sera nécessaire par la suite pour l'entraînement et le test des algorithmes d'apprentissage. Notre réseau de neurone optimisé en conséquence prend en entrée chaque pixel de l'image avec ses informations de voisinage et en sortie lui assigne une des 6 classes (avec un degré de confiance). La méthode de classification S<sub>2</sub>OC (Spatial Spectral Optimised Classification, voir figure) que nous avons développée, basée sur l'apprentissage, se décompose en trois étapes :

- Réduction du nombre de dimensions via une analyse en composantes principales (ACP).

- Ajout de l'information spatiale via une matrice de voisinage pour chaque pixel.

- Classification de l'ensemble des pixels à l'aide du réseau de neurones.

**Étape 1 : Réduction du nombre de dimensions à l'aide de l'analyse en composantes principales (ACP).** Cette méthode linéaire pour la réduction de la dimensionnalité consiste à identifier les combinaisons linéaires maximisant la variance totale des données diminuant le nombre de dimensions. Cela permet de conserver l'information spatiale de l'image tout en condensant l'information spectrale qui réduit ainsi la dimension de l'image de 11 à 3 composantes avec une variance totale expliquée de près de 99%.

**Étape 2 : Ajout de l'information spatiale avec une matrice de voisinage.** Les méthodes de classification pour les images hyperspectrales actuellement utilisées se limitent souvent à attribuer à chaque pixel une classe basée uniquement sur ses propriétés spectrales, sans tenir compte de leur distribution spatiale des pixels. Pour pallier ce problème il est important de prendre en considération l'information spatiale avec la prise en compte du voisinage des pixels c'est à dire les pixels environnant proches. Une façon intuitive de définir le voisinage d'un pixel est de supposer que pour un pixel donné, ses voisins les plus proches appartiennent avec une forte probabilité à la même classe. Les zones homogènes présentes dans une image sont générales.

<footnote n="2">2. https://www.hyspex.com</footnote>

<footnote n="3">3. https://waltr.fr</footnote>
ment plus grandes que la taille d'un pixel. Par exemple, si un pixel représente la classe du ciel, il y a une forte probabilité que les pixels voisins soient également du ciel et appartiennent à la même classe.

Dans un premier temps chaque pixel de l'image est associé à une fenêtre de 7x7 pixels dont il est le centre. Cette fenêtre permet de construire la matrice de voisinage de taille 7x7x3 correspondant au nombre de pixels de la fenêtre et des 3 composantes principales sélectionnées lors de la réduction de la dimension de l'étape précédente. Dans un second temps, pour chaque pixel, la matrice de voisinage, composée de $7 \times 7=49$ vecteurs de pixels à 3 dimensions est transformée en un vecteur de voisinage par dimension. Les vecteurs d'un pixel sont alors concaténés, formant ainsi un vecteur normalisé de $49 \times 3 = 147$ composantes. Chaque pixel de l'image possède son propre vecteur de voisinage qui regroupe les informations à la fois spectrales et spatiales de ce pixel. De cette façon, les dépendances spatiales sont prises en compte pendant la phase d'apprentissage automatique.

**Étape 3 : Classification des pixels à l'aide de l'apprentissage.** Cette troisième étape utilise un réseau de neurones pour assigner une classe à chaque pixel. La couche d'entrée correspond au vecteur normalisé de taille 147 contenant à la fois les informations spatiales et spectrales de l'image avec toutefois un nombre limité de composantes grâce à l'ACP. La fonction d'activation pour les couches cachées et d'entrée est une fonction sigmoïde. Cette fonction d'activation est généralement utilisée pour les problèmes de classification multi-classes car, donnant une valeur comprise entre 0 et 1, équivaut à une probabilité d'appartenance à une classe. Cette fonction est adaptée à la classification de type de surfaces qui est non linéaire. Afin de connaître la probabilité d'appartenance à une classe d'un pixel de l'image, les valeurs de la sortie du réseau doivent être normalisées pour obtenir des probabilités d'appartenance. La fonction softmax (fonction exponentielle normalisée) et utilisée comme fonction d'activation du vecteur de sortie. Cette fonction produit un vecteur de probabilité dans lequel la probabilité la plus élevée correspond à la classe prédite. La configuration optimale des poids synaptiques du réseau neuronal se fait par propagation arrière dans le but de minimiser la perte d'entropie croisée de la fonction d'erreur.

## 3.3 Métriques de performance

La performance du classifieur supervisé est évaluée de manière quantitative : les pixels préalablement étiquetés manuellement ont été comparés aux classes des pixels prédits par notre approche à l'aide d'une validation croisée afin d'augmenter la robustesse des résultats (et détecter un éventuel biais dans le jeu de données d'apprentissage). Les métriques de performance utilisées à cette fin sont des mesures classiques de rappel (recall), précision, F1-Score et d'exactitude (accuracy). Ces mesures servent à la fois à évaluer la méthode proposée mais aussi à la comparer par rapport à d'autres méthodes habituellement utilisées.

# 4 Résultats

## 4.1 Préparation de la base d'apprentissage

Notre jeu de données a été construit à l'aide de six classes distinctes et chaque pixel n'est associé qu'à une seule classe. La base d'apprentissage a été construite manuellement à l'aide de l'outil open source labelImg<fnref n="4" />. Des proportions similaires de pixels pour chaque classe ont été établiées pour limiter d'éventuelles erreurs ou biais lors de l'entraînement du réseau neuronal. Au total, près de 10000 pixels ont étiquetée. Le jeu étiqueté de données est séparé en un ensemble d'entraînement (80% des pixels étiquetés) et un ensemble de test correspondant à 20%. Les ensembles sont modifiés aléatoirement pour permettre une validation croisée.

## 4.2 Comparaison avec les modèles SVM et SC

Dans cette partie, nous comparons les performances de la méthode S₂OC à SVM et SC (classification qui correspond à S₂OC sans le contexte de voisinage de chaque pixel).

**Choix des hyperparamètres** : Contrairement à SVM, les approches neuronales (SC et S₂OC) ont des hyperparamètres qui doivent être optimisés. Les trois hyperparamètres que nous avons cherchés à optimiser sont le nombre de couches cachées, le nombre de neurones par couche et le nombre d'itérations pour effectuer l'apprentissage. Notre stratégie consiste à tester diverses combinaisons d'architectures (ensembles d'hyperparamètres) et à sélectionner le réseau optimal qui minimise le mieux la fonction objectif. Nous avons testé plus d'une centaine d'architectures. Les hyperparamètres optimisés obtenus pour S₂OC sont 4 couches cachées de 350 neurones entraînés avec 100 itérations avec l'algorithme d'optimisation ADAM. L'entraînement d'un réseau de neurone n'était pas déterministe (à paramètres et données équivalents, deux réseaux seront similaires mais différents), afin d'augmenter la robustesse des mesures d'évaluation, chaque modèle a été entraîné 5 fois en moyennant les résultats.

**Résultats et comparaison** : L'objectif est de déterminer les méthodes permettant d'obtenir les métriques optimales de performance sur notre base de test commune. Nous obtenons une accuracy 99,8% pour S₂OC suivi par SC et SVM avec 97,6% et 95,4%, respectivement. Les métriques précision, recall et F1-Score sont supérieures à 80%. Ceci est lié à la nature des données hyperspectrales plus précises que des images RVB et donc plus faciles à classifier. Quelle que soit la méthode, les classes végétation, horizon et ciel sont bien classifiées. Ceci est probablement dû au fait des caractéristiques spectrales qui sont nettes et avec peu de perturbations. Dans ce cas, précision, recall et F1-Score sont supérieurs à 99,6% montrant ainsi la facilité de classification. Les difficultés viennent avec les classes toit, immeuble éclairé et immeuble sombre. Pour cela l'approche S₂OC améliore les résultats par rapport à SC et SVM grâce à l'information spatiale du voisinage (un gain de performance

<footnote n="4">4. https://pypi.org/project/labelImg/1.4.0/</footnote>
ment plus grandes que la taille d'un pixel. Par exemple, si un pixel représente la classe du ciel, il y a une forte probabilité que les pixels voisins soient également du ciel et appartiennent à la même classe.

Dans un premier temps chaque pixel de l'image est associé à une fenêtre de 7x7 pixels dont il est le centre. Cette fenêtre permet de construire la matrice de voisinage de taille 7x7x3 correspondant au nombre de pixels de la fenêtre et des 3 composantes principales sélectionnées lors de la réduction de la dimension de l'étape précédente. Dans un second temps, pour chaque pixel, la matrice de voisinage, composée de $7 \times 7=49$ vecteurs de pixels à 3 dimensions est transformée en un vecteur de voisinage par dimension. Les vecteurs d'un pixel sont alors concatenés, formant ainsi un vecteur normalisé de $49 \times 3 = 147$ composantes. Chaque pixel de l'image possède son propre vecteur de voisinage qui regroupe les informations à la fois spectrales et spatiales de ce pixel. De cette façon, les dépendances spatiales sont prises en compte pendant la phase d'apprentissage automatique.

**Étape 3 : Classification des pixels à l'aide de l'apprentissage.** Cette troisième étape utilise un réseau de neurones pour assigner une classe à chaque pixel. La couche d'entrée correspond au vecteur normalisé de taille 147 contenant à la fois les informations spatiales et spectrales de l'image avec toutefois un nombre limité de composantes grâce à l'ACP. La fonction d'activation pour les couches cachées et d'entrée est une fonction sigmoïde. Cette fonction d'activation est généralement utilisée pour les problèmes de classification multi-classes car, donnant une valeur comprise entre 0 et 1, équivaut à une probabilité d'appartenance à une classe. Cette fonction est adaptée à la classification de type de surfaces qui est non linéaire. Afin de connaître la probabilité d'appartenance à une classe d'un pixel de l'image, les valeurs de la sortie du réseau doivent être normalisées pour obtenir des probabilités d'appartenance. La fonction softmax (fonction exponentielle normalisée) et utilisée comme fonction d'activation du vecteur de sortie. Cette fonction produit un vecteur de probabilité dans lequel la probabilité la plus élevée correspond à la classe prédite. La configuration optimale des poids synaptiques du réseau neuronal se fait par propagation arrière dans le but de minimiser la perte d'entropie croisée de la fonction d'erreur.

## 3.3 Métriques de performance

La performance du classifieur supervisé est évaluée de manière quantitative : les pixels préalablement étiquetés manuellement ont été comparés aux classes des pixels prédits par notre approche à l'aide d'une validation croisée afin d'augmenter la robustesse des résultats (et détecter un éventuel biais dans le jeu de données d'apprentissage). Les métriques de performance utilisées à cette fin sont des mesures classiques de rappel (recall), précision, F1-Score et d'exactitude (accuracy). Ces mesures servent à la fois à évaluer la méthode proposée mais aussi à la comparer par rapport à d'autres méthodes habituellement utilisées.

# 4 Résultats

## 4.1 Préparation de la base d'apprentissage

Notre jeu de données a été construit à l'aide de six classes distinctes et chaque pixel n'est associé qu'à une seule classe. La base d'apprentissage a été construite manuellement à l'aide de l'outil open source labelImg<fnref n="4" />. Des proportions similaires de pixels pour chaque classe ont été établiées pour limiter d'éventuelles erreurs ou biais lors de l'entraînement du réseau neuronal. Au total, près de 10000 pixels ont étiquetée. Le jeu étiqueté de données est séparé en un ensemble d'entraînement (80% des pixels étiquetés) et un ensemble de test correspondant à 20%. Les ensembles sont modifiés aléatoirement pour permettre une validation croisée.

## 4.2 Comparaison avec les modèles SVM et SC

Dans cette partie, nous comparons les performances de la méthode S₂OC à SVM et SC (classification qui correspond à S₂OC sans le contexte de voisinage de chaque pixel).

**Choix des hyperparamètres** : Contrairement à SVM, les approches neuronales (SC et S₂OC) ont des hyperparamètres qui doivent être optimisés. Les trois hyperparamètres que nous avons cherchés à optimiser sont le nombre de couches cachées, le nombre de neurones par couche et le nombre d'itérations pour effectuer l'apprentissage. Notre stratégie consiste à tester diverses combinaisons d'architectures (ensembles d'hyperparamètres) et à sélectionner le réseau optimal qui minimise le mieux la fonction objectif. Nous avons testé plus d'une centaine d'architectures. Les hyperparamètres optimisés obtenus pour S₂OC sont 4 couches cachées de 350 neurones entraînés avec 100 itérations avec l'algorithme d'optimisation ADAM. L'entraînement d'un réseau de neurone n'était pas déterministe (à paramètres et données équivalents, deux réseaux seront similaires mais différents), afin d'augmenter la robustesse des mesures d'évaluation, chaque modèle a été entraîné 5 fois en moyennant les résultats.

**Résultats et comparaison** : L'objectif est de déterminer les méthodes permettant d'obtenir les métriques optimales de performance sur notre base de test commune. Nous obtenons une accuracy 99,8% pour S₂OC suivi par SC et SVM avec 97,6% et 95,4%, respectivement. Les métriques précision, recall et F1-Score sont supérieures à 80%. Ceci est lié à la nature des données hyperspectrales plus précises que des images RVB et donc plus faciles à classifier. Quelle que soit la méthode, les classes végétation, horizon et ciel sont bien classifiées. Ceci est probablement dû au fait des caractéristiques spectrales qui sont nettes et avec peu de perturbations. Dans ce cas, précision, recall et F1-Score sont supérieurs à 99,6% montrant ainsi la facilité de classification. Les difficultés viennent avec les classes toit, immeuble éclairé et immeuble sombre. Pour cela l'approche S₂OC améliore les résultats par rapport à SC et SVM grâce à l'information spatiale du voisinage (un gain de performance

<footnote n="4">4. https://pypi.org/project/labelImg/1.4.0/</footnote>
<figure><img src="image_16.png" /><figcaption>**Figure :** (Gauche) Schéma montrant la stratégie de classification spatiale et spectrale optimisée. L'étape 1 consiste à appliquer une analyse des composantes principales (ACP) sur l'image originale pour réduire sa dimension. L'étape 2 consiste à sélectionner la matrice de voisinage 7x7 pour inclure les caractéristiques spatiales et obtenir le vecteur de voisinage. L'étape 3 est l'application du réseau neuronal à l'aide de ce vecteur. (Droite) les résultats de classification de S<sub>2</sub>OC, SC et SVM. Les rectangles représentent des exemples de zones d'incohérence.</figcaption></figure>

allant jusqu'à 15% selon la classe et la métrique).

Pour compléter l'évaluation des modèles, une analyse visuelle est utile. La figure de droite montre les résultats de la classification. L'approche SVM à le plus d'incohérence d'un point de vue spatial (rectangles noirs sur les images) : observations isolées appartenant à des classes différentes de celles de leurs voisins (typiquement des pixels classés comme toit sur la façade des bâtiments). Les résultats de préiction les plus cohérents sont obtenus par la méthode S<sub>2</sub>OC. Il est également intéressant de noter que la frontière inférieure de la classe horizon pose de nombreuses difficul-tés aux classifieurs. L'introduction d'informations spatiales permet de lisser spatialement les résultats et de limiter les imprécisions de classification. Les frontières inférieures de la classe horizon en sont un bon exemple. Des résultats si-milaires ont été observé sur d'autres images montrant ainsi la bonne capacité de généralisation de l'approche S<sub>2</sub>OC.

# 5 Conclusion

La première étape essentielle pour l'identification de la pol-lution d'une ville à partir d'images nécessite l'identification du type de surface des pixels de l'image pour pouvoir leur associer une valeur physique reflétant les caractéristiques de la surface de l'objet. La méthode S<sub>2</sub>OC que nous avons développée, réduit d'abord le nombre de dimensions à traier avant de prendre en compte les pixels adjacents grâce à une matrice de voisinage, puis utilise un réseau de neurones pour classifier chaque pixel. Cette approche est moins coû-teuse en temps de calcul comparée aux méthodes de classi-fication pixel par pixel actuellement utilisées. De plus, les résultats montrent que l'ajout de la matrice de voisinage améliore significativement les performances, avec des gains pouvant aller jusqu'à 15% par rapport aux méthodes SVM ou un réseau de neurones sans l'information de voisinage.

La suite des travaux consiste à associer une valeur de ré-flectance de surface à l'ensemble des pixels en fonction de la classe. Ceci afin de restituer l'épaisseur optique des aéro-sols, indice de pollution, à l'aide d'un modèle de transfert radiatif.

# Remerciements

Ces travaux ont pu être effectués avec le soutien de la région Occitanie ainsi que le GIS neOCampus.

# Références

[1] N. Audebert, B. Saux, and S. Lefèvre, *Deep Learning for Classification of Hyperspectral Data: A Comparative Review*. IEEE; Geoscience and Remote Sensing Magazine, **7** (2), pp. 159-173, 2019.

[2] G. Lu, and B. Fei, *Medical hyperspectral imaging*. J Biomed Opt; **19** (1), pp. 523-565 2014.

[3] M. Fauvel, Y. Tarabalka, J. A. Benediktsson, J. Channussot, and J. C. Tilton, *Advances in Spectral-Spatial Classification of Hyperspectral Images*. Proceedings of the IEEE; Geosci, **101** (3), pp. 652-675, 2013.

[4] X. Huang and L. Zhang, *A comparative study of spatial approaches for urban mapping using hyperspectral ROSIS images over Pavia City, northern Italy*. International Journal of Remote Sensing; **30** (12), pp. 3205-3221, 2009.

[5] K. Mounika, K. Aravind, M. Yamini, P. Navyasri, S. Dash and V. Suryanarayana, *Hyperspectral Image Classification using SVM with PCA*. 2021 6th International Conference on Signal Processing, Computing and Control (ISPCC); **107** (14), pp. 470-475, 2021.