# Système de vision neuro-inspirée : Application à la vision artificielle

Dimitri Henniquau, Pierre Falez, Philippe Devienne, Christel Vanbesien, Alexis Vlandas, A. Cappy, Virginie Hoel

► To cite this version:

Dimitri Henniquau, Pierre Falez, Philippe Devienne, Christel Vanbesien, Alexis Vlandas, et al. Sys- tème de vision neuro-inspirée: Application à la vision artificielle. Journal sur l'enseignement des sci- ences et technologies de l'information et des systèmes, 2022, 21, 2035, 6 p. 10.1051/j3ea/20222035 . hal-03852943

HAL Id: hal-03852943

https://hal.science/hal-03852943

Submitted on 15 Nov 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# Système de vision neuro-inspirée : Application à la vision artificielle

Dimitri Henniquau, Pierre Falez, Philippe Devienne, Christel Vanbesien Mailliot, Alexis Vlandas, Alain Cappy, Virginie Hoel
virginie.hoel@univ-lille.fr

Univ. Lille, CNRS, Centrale Lille, Yncréa ISEN, Univ. Polytechnique Hauts-de-France, UMR 8520 - IEMN, UMR 8189 - CRISTAL, USR 3380 - IRCICA, F-59000 Lille, France

## RESUME :

L'architecture des systèmes numériques traditionnels est loin d'être optimale puisqu'un microprocesseur est tout autant une plaque chauffante qu'un calculateur (Intel Cooking [1]). Il devient donc urgent de proposer des architectures de traitement de l'information radicalement différentes, « neuro-inspirées », qui permettent d'apporter des fonctions cognitives aux solutions existantes. C'est ainsi que des neurones et synapses artificiels travaillant à faible tension d'alimentation ont été fabriqués, ce qui leur confère une très basse consommation d'énergie et une fabrication aisée. Ce stand montre à des jeunes lycéens et étudiants que l'utilisation de tels neurones et synapses dans un système de vision artificielle (capture et traitement d'images) conduira certainement à une forte amélioration des performances et, parallèlement, à une réduction drastique de la consommation énergétique. Il s'agit d'une expérience pédagogique innovante, riche de nombreux supports variés, afin de transmettre aux jeunes générations les enjeux des activités de recherche qui se construisent dans les laboratoires de l'Université de Lille.

**Mots clés** : Neurone et synapse artificiels, circuit électronique, logiciel de simulation, traitement d'images, apprentissage.

## 1 INTRODUCTION

L'Xperium (fig.1) est une vitrine où l'on présente la recherche réalisée dans les laboratoires de l'Université. C'est un lieu dédié, situé au Learning Center, et sur le campus de l'Université de Lille, pour faire découvrir la recherche et l'innovation [2]. Xperium est ouvert aux étudiants de l'Université, aux lycéens qui viennent accompagnés de leur professeur, aux entreprises, aux acteurs de l'innovation, et plus largement au grand public. Les stands ont pour objectif d'expliquer les principes fondamentaux de la recherche actuelle, d'en montrer les résultats et les applications possibles.

<figure><img src="image_2.png" /><figcaption>fig 1 : Xpérium le lieu pour découvrir la recherche et l'innovation</figcaption></figure>

L'activité de recherche présentée sur ce stand est développée dans différents laboratoires. Il s'agit de l'IEMN (Institut d'Electronique, de Microélectronique et de Nanotechnologies - UMR 8520), de CRISTAL (Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189) et enfin de l'IRCICA (Institut de Recherche sur les Composants logiciels et

matériels pour l'Information et la Communication Avancée - USR 3380).

L'évènement fait partie de la saison 3 de l'Xpérium intitulée : « Matériaux et Numérique en mutation : Vers l'homme augmenté » (fig. 2).

<figure><img src="image_3.png" /><figcaption>fig 2 : Xpérium saison 3 Matériaux et Numérique en mutation</figcaption></figure>

A l'aide de ce stand, nous illustrons auprès de différents publics non-initiés, la question suivante : Comment s'inspirer de la vision humaine pour fabriquer un système de vision artificielle ? Par ailleurs, nous mettons en
avant l'importance des compétences pluridisciplinaires : Biologie - Neurosciences - Informatique - Micro-électronique auprès des jeunes.

Pour les aider dans cette prise de conscience, nous présentons à titre d'illustrations sur le stand trois systèmes de traitement de l'information s'appuyant sur la vision :

* Une caméra

* Un œil

* Le concept rétine artificielle bioinspirée

Pour témoigner du succès de cette saison 3, nous pouvons nous appuyer sur les chiffres de fréquentation du stand à l'occasion des journées portes ouvertes de l'Université, le 01/02/2020. Ainsi, la journée a été un succès à plusieurs niveaux avec 230 visiteurs (2ème record de fréquentation depuis la création d'Xperium), les visiteurs étaient intéressés et sont restés (certains jusqu'à 3h). A l'issue de la visite, ils étaient très, voire extrêmement, enthousiastes.

# 2 LE CONTEXTE PLURIDISCIPLINAIRE

La séquence pédagogique a été construite en ayant en tête différents éléments de contexte à transmettre issus des différentes disciplines. Il était important pour nous de montrer les nombreux enjeux et la nais-sance de nouveaux paradigmes.

## 2.1 Enjeux Electronique – Numérique

Comme l'univers physique, l'univers numérique, c'est-à-dire l'ensemble des données générées et stockées dans le monde, est en expansion et sa taille double tous les deux ans environ. La croissance exponentielle de l'univers numérique impose de considérer un nouveau critère de qualité : leur efficacité énergétique [3]. Par ailleurs, les technologies de fabrication de circuits intégrés sont confrontées à des limites de finesse de gravure, de variabilité dans la fabrication et de dissipation thermique excessive qui amènent à la fin de la loi de Moore qui a guidé l'industrie dans la progression exponentielle des puissances de traitement de l'information pendant près de 50 ans. Nous sommes aujourd'hui quasiment aux limites des architectures numériques traditionnelles (CMOS et architecture de Von Neumann) et les performances des processeurs ne progressent plus que lentement. Il devient donc urgent de proposer des architectures de traitement de l'information radicalement différentes pour espérer continuer de les faire progresser. Le besoin est bien présent avec le déploiement de l'internet des objets qui génère d'énormes quantités de données (Big Data) dont on espère tirer de la valeur pour répondre à certains problèmes sociétaux actuels (changement climatique, développement durable, vieillissement de la population, véhicules autonomes, usine de 4e génération, etc) qui reposent tous sur le numérique.

## 2.2 Le cerveau et les architectures neuromorphiques

Pour surmonter toutes ces difficultés, nous avons choisi de nous inspirer de la formidable machine à traiter l'information qu'est le cerveau et de proposer des architectures neuroinspirées de traitement de l'information ultra-basse consommation en rupture avec les architectures numériques actuelles. Ces architectures neuromorphiques approximent le fonctionnement des réseaux de neurones biologiques avec une bien plus grande précision que les réseaux de neurones artificiels profonds qui font actuellement les beaux jours de l'intelligence artificielle. L'information est ici codée par des trains d'impulsions électriques qui circulent entre des neurones électroniques connectés par des synapses électroniques dotées de mécanismes d'apprentissage inspirés de la biologie. Ces neurones et synapses sont construits en technologie CMOS conventionnelle, travaillant à faible tension d'alimentation, ce qui leur confère une très basse consommation d'énergie et une fabrication aisée [4] [5].

Le traitement de l'information étant au cœur de la révolution numérique actuelle, l'impact d'une architecture neuromorphique ultra basse consommation peut toucher à de nombreux domaines. Cet impact provient de deux dimensions : d'une part l'économie d'énergie très importante lors du traitement de l'information qui peut permettre d'envisager des objets connectés réellement autonomes en énergie ; et d'autre part la forme des traitements de l'information réalisés par apprentissage non supervisé qui permet d'envisager des objets capables d'adapter leur fonctionnement dynamiquement en fonction de l'environnement dans lequel ils sont placés (une forme d'intelligence artificielle). La technologie étant générique, les domaines applicatifs visés sont ceux de l'internet des objets : transports et mobilité, santé, développement durable, etc.

## 2.3 Conception d'architectures neuromorphiques

La conception d'architectures neuromorphiques se heurte à plusieurs verrous scientifiques :

* le codage de l'information

* la topologie du réseau

* les mécanismes d'apprentissage

* la conception et la fabrication des circuits.

Le défi central qui résume ces verrous est le passage à l'échelle depuis les composants élémentaires (neurones et synapses) jusqu'à un circuit réalisant un traitement applicatif défini, par exemple le traitement d'image ou de flux vidéos [8].

Pour pouvoir répondre à ces questions à un coût raisonnable, nous avons besoin d'outils de simulation
efficaces. C'est pourquoi un point central de nos recherches est un simulateur de réseaux de neurones impulsionnels. Ce simulateur est nourri par des modèles mathématiques des neurones et synapses (comportement fonctionnel et énergétique) fournis par les concepteurs de circuits d'une part, et par des topologies de réseaux de neurones apportées par les spécialistes de la vision par ordinateur. Le simulateur permet de tester le comportement de topologies de circuits complexes avant leur fabrication [7]. Nous sommes capables de simuler aujourd'hui des réseaux à plusieurs centaines de milliers de neurones et plusieurs dizaines de millions de synapses pour en tester les capacités d'apprentissage sur des jeux de tests standards de la vision par ordinateur. Réaliser des circuits d'une telle taille reste un objectif plus lointain, car il faut d'abord prouver leur performance applicative, en transformer l'architecture logique pour l'adapter aux contraintes du matériel, valider leur applicabilité sur plusieurs jeux de données, et gérer les entrées-sorties et le paramétrage du circuit.

## 3 LE STAND

Les stands sont animés par des doctorants et les visites sont possibles pendant toute l'année. Il y a une mobilisation particulière lors des évènements nationaux comme la fête de la science et Science Factor. Les doctorants se mobilisent également lors des journées portes ouvertes de l'Université de Lille. L'Xpérium se mobilise également pour montrer les innovations aux professionnels qui font des séminaires à LILLIAD. Les évènements sont très souvent couplés. La photo fig. 3 présente Mr D. Henniquau en train d'expliquer les enjeux de la vision neuroinspirée à des usagers à l'occasion de la fête de la science 2018.

<figure><img src="image_4.png" /><figcaption>fig. 3 : Animation du stand 2 « Système de vision neuro-inspirée »</figcaption></figure>

Le stand est composé de plusieurs objets comme le montre la fig. 4. Lors de la préparation de la saison, nous avons travaillé au niveau de l'équipe pédagogique sur les messages importants à faire passer aux visiteurs.

<figure><img src="image_5.png" /><figcaption>fig. 4 : les différents éléments du stand « Système de vision neuro-inspirée : Application à la vision artificielle »</figcaption></figure>

Pour couvrir les différents aspects comme les réseaux de neurones artificiels, l'acquisition d'une image par l'œil et son traitement par le cortex visuel, ou encore la diversité des champs disciplinaires, nous avons opté pour :

(i) un microscope qui permet de voir la puce contenant les neurones artificiels,

(ii) la maquette d'un œil que l'on peut ouvrir afin de mettre en évidence la rétine et la connexion au nerf optique,

(iii) un écran tactile qui permet de faire la projection du fichier powerpoint explicatif et de travailler sur la reconnaissance de digit de la base MNIST en utilisant une solution d'intelligence artificielle software.

(iv) une caméra CCD qui a été démontée afin d'en extraire le capteur

Ces éléments nous permettent d'établir le parallèle entre la vision humaine illustrée fig. 5 et les systèmes de vision artificielles fig. 6.

### Vision humaine

<figure><img src="image_6.png" /><figcaption>fig. 5 : la vision humaine : le traitement de l'information des spikes par le cortex visuel</figcaption></figure>
## Vision artificielle

<figure><img src="image_7.png" /><figcaption>fig 6 : Système de vision artificielle : Parallèle avec la vision humaine</figcaption></figure>

Nous pouvons, grâce à ces objets, animer de façon interactive l'atelier. Le temps moyen par stand est entre 10 et 15 min.

# 4 LES OUTILS PEDAGOGIQUES

Pour accompagner les visites, nous avons développé plusieurs supports à destination des visiteurs.

## 4.1 Le PowerPoint

Tout d'abord nous avons élaboré un fichier contenant une dizaine de transparents afin de présenter les différentes approches du sujet et provoquer les questionnements.

Nous avons notamment mis l'accent sur le traitement de l'information d'images complexes et également sur les illusions d'optiques comme le montre la figure 7. Cela permet de mettre en avant quelques difficultés de l'étude sur un temps de présentation et d'explication très court du stand. Ainsi, il est difficile pour un microprocesseur de voir les girafes dans l'image ci-dessous, par ailleurs, les cases A et B sont bien de la même couleur.

### Vision humaine

<figure><img src="image_8.png" /><figcaption>fig. 7 : les illusions d'optique</figcaption></figure>

## 4.2 Les fiches d'accompagnements du stand

Nous avons élaboré différentes fiches pour les différents profils de visiteurs (enseignants, étudiants et professionnels).

La fiche à destination des professeurs qui viennent à l'Xpérium a pour objectif de synthétiser les contenus qui seront abordés lors de la visite du stand et de dégager des idées d'exploitation après la visite. Il s'agit lors de la visite de créer un effet de surprise sur le contenu et les informations de cette fiche. Par conséquent, les éléments de cette fiche ne doivent pas être divulgués aux élèves avant la visite.

Cette fiche est accompagnée d'une « fiche élève » qui a pour objectif de faire réfléchir sur le thème abordé lors de la visite du stand sans en dévoiler le contenu.

Dans la suite de cette fiche nous présentons les laboratoires, les partenariats, la problématique, la description du projet, des éléments sur le fil conducteur commun à tous les stands de l'exposition, des mots clés. Nous avons également inclus des liens avec les programmes ainsi que des idées de questionnement et de situations « déclenchantes » à aborder après la visite.

Vous trouverez dans le tableau suivant, celui que nous avons conçu pour les visites de professionnels sur le stand. Nous montrons l'innovation que nous pourrions apporter en développant une rétine artificielle en suivant le principe de la bio-inspiration. Un parallèle est fait sur les trois principes : la caméra, l'œil et une rétine artificielle.

<table><thead><tr><td>Outil</td><td>Traitement de l'information</td><td>Codage</td></tr></thead><tbody><tr><td rowspan="3">Caméra</td><td>https://fr.wikipe-dia.org/wiki/Cam%C3%A9ra_num%C3%A9rique</td><td>Binaire</td></tr><tr><td>Les rayons lumineux (constitués de photons), issus de la scène filmée (image) passent au travers d'un <u>objectif</u> optique puis vont frapper un capteur sensible <u>CCD</u> ou <u>CMOS</u>.</td><td>Série</td></tr><tr><td>Les photons reçus créent une charge au niveau des pixels du capteur et constituent ainsi une mémoire d'image.</td><td>Mémo-risation</td></tr><tr><td></td><td>Chaque pixel est donc chargé de façon encore analogique à ce niveau.</td><td></td></tr><tr><td></td><td>Un système électronique permet de « vider » régulièrement les charges analogiques de tous les pixels du capteur et les transforme en valeurs numé-risées constituant ainsi l'image numé-rique. Ce circuit spécialisé traite image par image à intervalles réguliers, à 24, à 25, à 29,97 ou à 30 fois par seconde suivant le réglage de la caméra. Il crée un <u>flux</u> série numérique à destination de l'enregistreur numérique</td><td></td></tr></tbody></table>
<table><tr><td>Œil</td><td>http://www.vision-et-cognition.com/vision-et-cognition/la-vision-de-loeil-au-cerveau/<br/>L'œil est formé de plusieurs parties fonctionnelles distinctes. Les rayons lumineux sont focalisés par la cornée et le cristallin, puis projetés sur une surface réceptrice : la rétine. Celle-ci tapisse le fond des globes oculaires et va transformer l'énergie lumineuse en activité nerveuse. Pour cela, la rétine est constituée de deux types de photorécepteurs, les cônes et les bâtonnets, plus fortement concentrés dans une zone appelée fovea, qui permet une vision très fine à l'endroit où est dirigé le regard.<br/>A la sortie de la rétine, il n'existe plus de scène visuelle à proprement parler. Les informations visuelles sont transmises sous forme d'influx électrique de l'œil au cerveau, et c'est au niveau cérébral que la scène va être reconstruite en fonction des différentes informations portant sur la couleur, la forme, le mouvement, la localisation spatiale etc... que les aires cérébrales vont analyser. Ce que nous voyons est donc une construction de notre cerveau et non une stricte photographie du monde extérieur que nos yeux auraient prise.</td><td>Traitem-<br/>ment parallèle<br/>et<br/>distribué<br/>de l'in-<br/>forma-<br/>tion</td></tr><tr><td>Rétine artifi-<br/>cielle</td><td>Objectif de la bio-inspiration :<br/>Faire une rétine artificielle qui soit un capteur surfacique, sensible à la lumière et au contraste, et qui capte les mêmes informations que la rétine biologique et transforme ces informations en impulsion (potentiel d'action)<br/>- au nerf optique pour réparer des maladies du type DMLA<br/>- à un réseau de neurones pour développer de nouveau type de caméra</td><td>Codage<br/>analog-<br/>ique à<br/>spike</td></tr></table>

## 4.3 L'atelier pédagogique

Les objets présentés sur la fig. 4 permettent d'engager une interaction avec le public tout au long de l'atelier pédagogique.

Le parallèle entre la vision humaine et artificielle est établi autour de la maquette de l'œil et le capteur CCD qui circulent dans le public, et d'un jeu autour des illusions d'optiques (fig. 7). Le public est ensuite invité à utiliser un logiciel de reconnaissance de chiffres installé sur une tablette tactile. Cette démonstration permet d'aborder simplement les systèmes de vision artificielle capable d'apprentissage grâce à l'utilisation de réseaux synaptiques. Une illustration des applications possibles

de la vision artificielle (intelligence artificielle, drones et véhicules autonomes, les rétines artificielles dans le domaine de la santé) permet d'engager une discussion sur les attentes et réticences du public autour du développement de ces technologies, de l'impact des thématiques abordées et de la temporalité de la recherche scientifique. La fin de cet atelier est aussi fréquemment l'occasion d'échanges autour du parcours d'étude permettant au doctorat et de l'accessibilité de la recherche aux étudiants.

# 5 CONCLUSION

En conclusion, l'Xpérium est une très belle vision de l'Université de Lille permettant d'innover sur le plan pédagogique à destination de tous les étudiants en cycle licence et master et des 10.000 lycéens visiteurs depuis son ouverture en Février 2014. Elle permet aussi la diffusion vers le milieu socio-économique.

Cette saison 3 d'Xperium « Matériaux et numérique en mutation - Vers l'homme augmenté ? » a connu un réel succès. Elle met en avant deux aspects : la mutation numérique et l'émergence des nouveaux matériaux. Elle ouvre aussi une réflexion historique, épistémologique et éducative sur la démarche utilisée par les chercheurs pour faire progresser la science.

Dans cette dynamique, nous avons contribué à montrer de façon pédagogique, que l'utilisation de neurones et synapses artificiels intégrés dans un système de vision artificielle (capture et traitement d'images) conduira certainement à une forte amélioration des performances et, parallèlement, à une réduction drastique de la consommation énergétique des nouveaux équipements.

Plus qu'une présentation, l'atelier pédagogique permet un véritable échange par le biais de discussions et de démonstrations auxquelles le public est invité à prendre part, et permet de montrer que la recherche est un secteur d'activité impactant, actif, et d'avenir.

# 6 REMERCIEMENTS

Nous remercions toute l'équipe de l'Xperium (J. Cosléou, S. Picart, E. Milent, O. Mignotte, D. Tissoires). Ils nous ont accueillis, conseillés, soutenus financièrement, aidés pour la conception et la mise en place du stand. Cela nous a permis de développer ce stand et de le faire vivre pendant deux saisons (2018-2019 et 2019-2020).

Nous remercions également tous les chercheurs et doctorants impliqués qui sont personnels de l'Université de Lille ou du CNRS membres des laboratoires IEMN ou CRISTAL et hébergés dans l'hôtel à projets interdisciplinaires IRCICA. Les membres du projet SPINE de l'IEMN sont des experts de l'électronique CMOS, conçoivent les neurones et les synapses et dessinent les circuits. Les membres de l'équipe Émeraude de CRISTAL proposent un outil de conception de réseaux de neurones impulsionnels matériels: le simula-
teur N2S3 avec lequel ils simulent différentes combina-
sons de modèles des neurones et synapses de SPINE
pour résoudre différents problèmes de traitement de l’in-
formation.

Bibliographie

[1] Cooking with Intel
https://www.youtube.com/watch?v=7uBNCN6v_gk

[2] Xperium
https://lilliad.univ-lille.fr/xperium

[3] Laure Cailloce, « Numérique : le grand gâchis énergétique », 16 mai 2018, https://lejournal.cnrs.fr/articles/numerique-le-grand-gachis-energetique

[4] Sourikopoulos, I., Hedayat, S., Loyez, C., Danneville, F., Hoel, V., Mercier, E., & Cappy, A. (2017). « A 4-fJ/spike artificial neuron in 65 nm CMOS technology ». *Frontiers in neuroscience*, *11*, 123.
https://doi.org/10.3389/fnins.2017.00123

[5] Brevet Neurone Artificiel, N° de priorité : FR20160053175 20160411 Inventeurs : Cappy Alain, Danneville François, Hoel Virginie, Loyez Christophe

Demandeur(s) : Université de Lille 1, CNRS
Licence : Axorus N° de publication : FR3050050 (A1)
2017-10-13
http://bases-brevets.inpi.fr/fr/document/FR3050050.html

[6] Brevet Capteur Optique N° de priorité : FR20170060062 20171025 Inventeurs : Cappy Alain, Danneville François, Hoel Virginie, Loyez Christophe, Sourikopoulos Ilias
Demandeur(s) : Université de Lille 1 Sciences et Technologies, Ecole Centrale de Lille, Université de Valenciennes et du Hainaut-Cambrésis, Centre National de la Recherche Scientifique, ISEN Licence : Axorus N° de publication : FR3072564 (A1) 2019-04-26
https://bases-brevets.inpi.fr/fr/document/FR3072564.html

[7] Pierre Falez, Philippe Devienne, Pierre Tirilly, Marius Bilasco, Christophe LOYEZ, Ilias Sourikopoulos et Pierre Boulet. "Flexible Simulation for Neuromorphic Circuit Design: Motion Detection Case Study". In : Conference d'informatique en Parallélisme, Architecture et Système (ComPAS). Sophia Antipolis, France, juin 2017. https://hal.archives-ouvertes.fr/hal-01538449.

[8] Pierre Falez, Improving Spiking Neural Networks Trai-
ned with Spike Timing Dependent Plasticity for Image
Recognition, Thèse, Université de Lille, Octobre 2019