# Les systèmes neuroinspirés appliqués à la vision artificielle: pédagogie et interdisciplinarité

D. Henniquau, Christel Vanbesien, P. Falez, P. Devienne, Alexis Vlandas, A.

Cappy, Virginie Hoel

► To cite this version:

D. Henniquau, Christel Vanbesien, P. Falez, P. Devienne, Alexis Vlandas, et al. Les systèmes neuroinspirés appliqués à la vision artificielle: pédagogie et interdisciplinarité. Journal sur l'enseignement des sciences et technologies de l'information et des systèmes, 2022, 21, 10.1051/j3ea/20221023. hal-03464492

HAL Id: hal-03464492

https://hal.science/hal-03464492

Submitted on 4 Aug 2022

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Les systèmes neuroinspirés appliqués à la vision artificielle : pédagogie et interdisciplinarité

D. Henniquau<sup>a,c</sup>, C. Vanbesien-Mailliot<sup>a</sup>, P. Falez<sup>b</sup>, P. Devienne<sup>b</sup>, A. Vlandas<sup>a</sup>, A. Cappy<sup>a,c</sup>, V. Hoel<sup>a,c</sup>

Contact email : dimitri.henniquau@univ-lille.fr

Le traitement neuroinspiré de l'information et le domaine des neurobiosystèmes sont deux pans de la recherche à fort potentiel de développement. Appliquées au domaine de la vision artificielle, elles visent au développement de nouvelles applications comme la conception d'implants rétiniens et/ou de caméras « intelligentes ». Des actions sont menées dans le domaine de la médiation scientifique et de la formation, au travers d'un stand à l'Xpérium et le développement d'une nouvelle unité d'enseignement (UE) appelée « Neuroengineering », intégrée au parcours de formation du Master « Biotechnologies » proposé à l'université de Lille. Le stand présenté à l'Xpérium montre à des jeunes lycéens et étudiants que l'utilisation d'architectures neuroinspirées dans un système de vision artificielle doit conduire à une forte amélioration des performances associée à une réduction de la consommation énergétique. Il s'agit d'une expérience pédagogique innovante auprès des jeunes générations montrant les enjeux des activités de recherche en construction dans les laboratoires. Pour l'UE Neuroengineering, les sujets abordés en séance permettent d'amener les étudiants vers la compréhension des *Trends and challenges in neuroengineering* (1), notamment en posant la question du développement de neuroprothèses électroniques intelligentes permettant une communication bidirectionnelle entre des neurones vivants et artificiels.

## I. Introduction

Le traitement neuroinspiré de l'information ou « ingénierie neuromorphique », est un champ en pleine émergence qui vise au développement de systèmes artificiels s'inspirant des propriétés physiques des réseaux de neurones vivants. En s'appuyant sur les connaissances issues du traitement de l'information, de la nanoélectronique et des neurosciences, il est possible de concevoir des systèmes électroniques ayant des capacités d'apprentissage qui pourront s'avérer essentiels dans le domaine de l'intelligence artificielle. De plus, ces futurs systèmes, bâties à partir de neurones et de synapses artificiels

<footnote><sup>a</sup> Univ Lille, CNRS, Centrale Lille, Junia, Univ. Polytechnique Hauts-de-France, UMR 8520 - IEMN - Institut d'Electronique de Microélectronique et de Nanotechnologie, F-59000 Lille, France.</footnote>

<footnote><sup>b</sup> Univ. Lille, CNRS, Centrale Lille, UMR 9189 - CRISTAL - Centre de Recherche en Informatique Signal et Automatique de Lille, Lille F-59000, France</footnote>

<footnote><sup>c</sup> PLFM - CNFM (Pôle Lillois pour la Formation en Microélectronique et en nanotechnologies Cité Scientifique, 59655 Villeneuve d'Ascq)</footnote>
conçus pour être ultra efficaces en énergie permettent de développer des solutions COP21-compatibles. C'est ainsi que des neurones et synapses artificiels travaillant à faible tension d'alimentation ont été conçus, ce qui leur confère une très basse consommation d'énergie (2) (3) (4). Ils sont développés en utilisant la technologie très bien maitrisée des transistors CMOS, permettant ainsi une fabrication aisée. Dans le même temps, le domaine des « neurobiosystèmes », visant à améliorer ou à remplacer des fonctions neuronales défaillantes à l'aide de dispositifs matériels tels que les biocapteurs, les puces multi-électrodes ou même des prothèses neuronales, est en plein essor.

La convergence de ces disciplines et la particularité des neurones artificiels de présenter la même signature électrique que des neurones vivants ouvrent de vastes perspectives pour le développement de solutions matérielles « biomimétiques » à visée thérapeutique (Fig.3-A & Fig.3-B). Ainsi, dans le domaine de la vision, les informations épidémiologiques fournies par la Haute Autorité de Santé (HAS) indiquent que le nombre de cas de dégénérescence maculaire liée à l'âge (DMLA) va augmenter de 50 % d'ici vingt ans et doubler d'ici trente ans, atteignant plus d'un million de cas, en raison de la forte augmentation prévue du nombre de personnes âgées de plus de 80 ans (5).

Par conséquent, développer de nouvelles stratégies thérapeutiques visant à réparer les zones lésées apparaît comme une réponse possible à l'un des défis majeurs de ce domaine devant être relevé au cours des années à venir. Dans ce cadre, la conception d'implants rétiniens à ultra faible consommation énergétique se révèle être une approche prometteuse pour restaurer des capacités de vision de patients souffrants de cette affection (6).

Dans ce contexte, les enseignants-chercheurs, les chercheurs et les doctorants de l'université de Lille et du CNRS proposent des innovations pédagogiques sur un thème interdisciplinaire qui regroupe la microélectronique, la nanotechnologie, les biomems, la biologie, les neurosciences, et aussi l'informatique.

Autour de cette thématique de recherche développée par des membres de l'IEMN (Institut d'Electronique, de Microélectronique et de Nanotechnologies - UMR 8520), de l'IRCICA (Institut de Recherche sur les Composants logiciels et matériels pour l'Information et la Communication Avancée - USR 3380) et de CRISTAL (Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189), des actions sont menées dans le domaine de la médiation scientifique et dans la formation avec le développement de nouvelles unités d'enseignement. Le cœur de cette activité pédagogique réside dans son caractère fortement interdisciplinaire et son fort degré d'innovation à la pointe des activités de recherches internationales sur le sujet.

Pour atteindre ces objectifs, il est nécessaire d'adapter le format et les contenus afin d'assurer la meilleure transmission des connaissances. Il convient de proposer une approche appropriée aux différents publics, allant de la médiation scientifique auprès des lycéens et du grand public, à la formation des étudiants de niveau Master 2. Ces actions se déclinent au travers d'une participation aux actions de l'Xpérium et le développement d'une nouvelle unité d'enseignement (UE) appelée « Neuroengineering », intégrée au parcours de formation du Master « Biotechnologies » proposé à l'université de Lille.

L'Xpérium est une vitrine technologique de l'université de Lille située au sein du Learning Center sur le campus de la FST (Faculté des Sciences et Technologies). Son ambition est de présenter et de faire découvrir la recherche et l'innovation réalisées dans les laboratoires de l'université. L'Xpérium est ouvert aux lycéens accompagnés de leurs professeurs ainsi qu'au grand public. Cet espace, constitué de 8 stands, a permis de présenter les différentes thématiques de la saison 3 intitulée : « Matériaux et Numérique en mutation : Vers l'homme augmenté ». Cela a été pour nous l'occasion de présenter notre
activité de recherche visant à développer de nouveaux systèmes de vision artificiels neuroinspirés.

Par ailleurs, le secteur des Biotechnologies est en forte croissance dans la recherche comme dans l'industrie. Pour répondre à la demande des milieux professionnels, l'université de Lille propose un parcours de Master centré sur ce secteur et intitulé « Biotechnologies », dirigé par Mme Anne Chotteau. En 2ème année, ce Master Biotechnologies intègre un module de spécialisation proposant aux étudiants de choisir 2 unités d'enseignement (UE) optionnelles. Ces UE de spécialisation ajoutent une plus-value professionnalisante au parcours de Master en proposant un apprentissage par problèmes et une ouverture à l'international. En effet, l'ensemble du travail effectué dans cette UE est réalisé en anglais : interventions des professeurs, articles scientifiques étudiés, échanges entre les étudiants et projets. Nous allons ici présenter l'UE « *Neuroengineering* » qui a pour objet de proposer un enseignement spécifique sur un pan émergeant de la recherche scientifique à fort potentiel de développement dans la recherche et l'industrie. La première année de son ouverture, en 2021, 12 étudiants sur 20 se sont inscrits dans cette UE optionnelle, ce qui montre clairement un intérêt et une demande sur ce sujet.

## II. Xpérium

Les stands présentés à l'Xpérium sont animés de façon interactive par les doctorants. Chaque thématique de recherche fait l'objet d'une présentation orale et de démonstrations, pour une durée moyenne de 10 à 15 minutes par stand (Fig.1).

<figure><img src="image_2.png" /><figcaption>Fig.1. Le stand à l'Xpérium A : Animation du stand « Système de vision neuroinspirée : application à la vision artificielle » présentée pendant la troisième saison de l'Xpérium – 2018 - 2020. B : éléments et démonstrateurs à disposition de l'animateur.</figcaption></figure>

Notre stand est conçu comme un atelier pédagogique permettant d'illustrer auprès de différents publics non-initiés la question suivante : comment s'inspirer de la vision humaine pour fabriquer un système de vision artificielle ? Cette problématique permet d'aborder la neuroingénierie au travers du prisme du développement d'un concept de rétine artificielle. Nous commençons par présenter le fonctionnement d'un système de vision artificiel : une caméra et le traitement par ordinateur des informations produites par cette caméra. Ensuite, la vision humaine est expliquée en présentant le fonctionnement de l'œil, sa connexion avec le cerveau au travers du nerf optique et le traitement des informations visuelles par le cerveau. Nous pouvons alors établir un parallèle entre ces deux systèmes de vision, en insistant sur l'efficience du traitement des informations visuelles par les réseaux de neurones vivants (Fig.2). En effet, développer des réseaux de neurones artificiels répliquant le fonctionnement des réseaux de neurones vivants permettra
l'émergence de systèmes de vision artificiels à la fois plus performants et plus économies en énergie que les systèmes actuels. Enfin, nous présentons quelques champs applicatifs possibles de ces nouveaux systèmes de vision artificiels, parmi lesquels on trouve les nouvelles caméras, les véhicules autonomes et bien sûr la santé avec le développement d'un concept de rétine artificielle. Cette présentation permet d'engager un échange avec le public autour du développement de nouvelles technologies, de leur intégration dans les sociétés ou encore de l'éthique. La fin de l'atelier pédagogique est aussi fréquemment l'occasion d'échanges autour du parcours d'étude menant au doctorat et de l'accessibilité de la recherche fondamentale aux étudiants.

<figure><img src="image_3.png" /><figcaption>Fig.2. Parallèle entre un système de vision artificielle la vision humaine traitant information dans le cortex visuel.</figcaption></figure>

Pour construire cette séquence pédagogique, un diaporama d'une dizaine de
transparents sert de support au doctorant animateur pour construire sa présentation (Fig.2).
Il permet notamment d'illustrer les difficultés que peuvent rencontrer les systèmes de
traitement d'images complexes actuels. Cette sensibilisation se fait en présentant des
animations autour d'illusions d'optique. L'animateur a également à sa disposition un
ensemble d'objets et de démonstrateurs (Fig.1-B) permettant de mettre en place une réelle
interaction avec le public. Une caméra démontée afin d'en extraire le capteur CCD permet
d'illustrer le fonctionnement de la vision artificielle. Une maquette pédagogique de l'œil
permet de montrer la connexion entre la rétine et le nerf optique, puis son trajet vers le
cerveau. Le public est ensuite invité à utiliser un ordinateur équipé d'un écran tactile qui
intègre une solution d'intelligence artificielle logicielle. Après avoir appris à reconnaitre
les chiffres manuscrits de la base Mixed National Institute of Standards and Technology
(MNIST), des chiffres tracés à la main sur l'écran par un utilisateur sont analysés par le
programme informatique. Ce dernier cherche à les reconnaître en utilisant un réseau de
neurones artificiels. Cette démonstration permet d'aborder simplement la notion
d'intelligence artificielle, et d'introduire les futurs systèmes de vision artificielle capables
d'apprentissage grâce à l'utilisation de réseaux synaptiques (7) (8). Enfin, un microscope
permet d'observer les puces contenant les neurones artificiels. Présenter une réalisation
concrète permet de montrer que les thématiques abordées ne relèvent pas uniquement de
la théorie et d'ancrer la recherche scientifique dans le réel.

Pour témoigner du succès de la saison 3, nous pouvons nous appuyer sur les chiffres de
fréquentation du stand à l'occasion des journées portes ouvertes de l'université, le
01/02/2020. Ainsi, la journée a été un succès à plusieurs niveaux avec 230 visiteurs (2ème
record de fréquentation depuis la création d'Xpérium), les visiteurs étaient intéressés et sont
restés (certains jusqu'à 3h). A l'issue de la visite, ils étaient très, voire extrêmement,
enthousiastes.

III. UE Neuroingénierie

L'UE Neuroingénierie représente un volume horaire de formation de 20h de cours et travaux dirigés (TD), complétés par un projet appelé « Neurodéfis ». L'ensemble des sujets abordés lors des cours et TDs permet d'amener les étudiants vers la compréhension des *Trends and challenges in neuroengineering* (1), notamment en posant la question du développement de neuroprothèses intelligentes permettant une communication bidirectionnelle entre des neurones vivants et artificiels. L'accent est mis sur la prise en charge des maladies neurodégénératives dans le contexte du développement des *Intelligent biohybrid systems for functional brain repair* (9).

Après une présentation générale sur le fonctionnement et l'organisation du système nerveux et d'un neurone, les étudiants étudient le principe de la bioinspiration et plus particulièrement de la neuroinspiration pour développer de nouveaux systèmes de traitement de l'information. La démarche suivie par les chercheurs pour arriver au développement de neurones et de synapses artificiels permettant de développer des systèmes neuromorphiques est présentée. Ainsi, pour la partie microélectronique-nanotechnologie, les différentes phases qui ont été développées dans les laboratoires IEMN et IRCICA telles que la conception, la simulation, la fabrication et la caractérisation de neurones artificiels reproduisant le fonctionnement des neurones du cerveau humain sont abordées. Le modèle électrique de ce neurone artificiel (Fig.3-A) est l'objet de deux séances de travaux pratiques réalisés dans la salle de conception assistée par ordinateur (CAO) du pôle lillois de la Coordination Nationale pour la formation en Micro-électronique et en nanotechnologies (CNFM). Ces deux séances permettent de faire travailler les étudiants du Master Biotechnologies directement sur les modèles électriques des neurones artificiels. Ils peuvent ainsi percevoir les analogies qui ont été faites entre la biologie et la microélectronique, notamment pour la commande des canaux sodiques et potassiques. Ils identifient le lien entre les canaux voltage-dépendants des ions sodium et potassium et les transistors qui servent à la définition des circuits neuronaux artificiels. Les résultats de simulation obtenus lors de ces travaux dirigés permettent de montrer que le neurone artificiel (Fig.3-A) et les synapses artificielles développés reproduisent la signature électrique des neurones vivants (Fig.3-B) et que les synapses artificielles reproduisent le comportement des synapses excitatrices et inhibitrices interconnectant les neurones vivants dans le cerveau (Fig.3-C & D).

Les cours magistraux et les séances de travaux dirigés sont complétés par un projet
bibliographique « Neurodéfis ». Chaque sujet adresse une application spécifique de la
neuroingénierie à visée thérapeutique et comporte une question relative à un défi
technologique d'actualité auquel font face les chercheurs et industriels impliqués dans la
neuroingénierie. Les étudiants sont ainsi amenés à construire et développer une solution
technologique qui leur est propre en l'étayant par rapport aux informations qu'ils ont tirées
de la littérature disponible.
<figure><img src="image_4.png" /><figcaption>Fig.3. Les différents éléments de simulation sous LTSPICE A : Modèle électrique du neurone artificiel. B : spikes biomimétiques produits par le modèle de neurone artificiel. C : Schéma synoptique d'une synapse artificielle issu de Sourikopoulos et al. (2017) [1]. D : Spikes biomimétiques émis par deux neurones artificiels reliés par une synapse excitatrice artificielle. Le neurone 1 (Vmem-1, en vert) excite le neurone 2 (Vmem_2, en bleu).</figcaption></figure>

IV. Conclusion

Le travail de médiation scientifique réalisé à l'Xpérium permet de faire connaitre et diffuser les recherches réalisées dans les laboratoires de l'université de Lille vers le grand public et d'amener les jeunes générations à s'intéresser à la recherche scientifique. Il s'agit d'une contribution intéressante pour l'attractivité des sciences auprès des jeunes. Au travers d'un atelier pédagogique dynamique, nous y développons la thématique de la vision artificielle en présentant des applications concrètes de son utilisation, dont un concept de rétine artificielle.

En parallèle, et pour répondre au besoin de formation lié à la forte croissance du secteur des biotechnologies et de la neuroingénierie, une nouvelle unité d'enseignement optionnelle a été intégrée au sein du Master 2 Biotechnologies. La formation proposée dans cette UE est structurée autour de l'étude du développement d'une technologie de neurones artificiels conçue dans un laboratoire CNRS rattaché à l'université. Les étudiants sont ainsi amenés à réfléchir à de nouvelles stratégies thérapeutiques de lutte contre les maladies neurodégénératives utilisant ces neurones artificiels. Les stratégies pédagogiques utilisées dans cette UE permettent de développer les compétences interdisciplinaires des étudiants, en les amenant à réfléchir par eux-mêmes sur les solutions innovantes pouvant être mises en œuvre à l'avenir.
Remerciements

Nous remercions toute l'équipe de l'Xperium (J. Cosléou, S. Picart, E. Milent, O. Mignotte, D. Tissoires). Ils nous ont accueillis, conseillés, soutenus financièrement, aidés pour la conception et la mise en place du stand. Cela nous a permis de développer ce stand et de le faire vivre pendant deux saisons (2018-2019 et 2019-2020). Nos remerciements vont également à Mme Anne Chotteau, responsable du Master Biotechnologies, qui a permis le développement de cette nouvelle unité d'enseignement. Enfin, nous remercions tout particulièrement les chercheurs du projet SPINE ainsi que les chercheurs et doctorants impliqués de l'université de Lille, du CNRS, membres des laboratoires IEMN, CRISTAL et de l'IRCICA.

Références

1. Vassanelli, S., & Mahmud, M. (2016). Trends and Challenges in Neuroengineering: Toward "Intelligent" Neuroprostheses through Brain-"Brain Inspired Systems" Communication. Frontiers in Neuroscience, 10. https://doi.org/10.3389/fnins.2016.00438HAS

2. Sourikopoulos, I., Hedayat, S., Loyez, C., Danneville, F., Hoel, V., Mercier, E., & Cappy, A. (2017a). A 4-fJ/Spike Artificial Neuron in 65 nm CMOS Technology. Frontiers in Neuroscience, 11. https://doi.org/10.3389/fnins.2017.00123

3. Brevet Neurone Artificiel, N° de priorité : FR20160053175 20160411 Inventeurs : Cappy Alain, Danneville François, Hoel Virginie, Loyez Christophe Demandeur(s) : Université de Lille 1, CNRS Licence : Axorus N° de publication : FR3050050 (A1) 2017-10-13

4. Hedayat, S. (2018). Conception et fabrication de neurones artificiels pour le traitement bioinspiré de l'information [These de doctorat, Lille]. https://www.theses.fr/2018LILUI039

5. HAS Dégénérescence maculaire liée à l'âge : prise en charge diagnostique et thérapeutique », Haute Autorité de Santé. https://www.has-sante.fr/jcms/c_1051619/fr/degenerescence-maculaire-liee-a-l-age-prise-en-charge-diagnostique-et-therapeutique.

6. Brevet Capteur Optique N° de priorité : FR20170060062 20171025 Inventeurs : Cappy Alain, Danneville François, Hoel Virginie, Loyez Christophe, Sourikopoulos Ilias Demandeur(s) : Université de Lille 1 Sciences et Technologies, Ecole Centrale de Lille, Université de Valenciennes et du Hainaut-Cambrésis, Centre National de la Recherche Scientifique, ISEN Licence : Axorus N° de publication : FR3072564 (A1) 2019-04-26. https://bases-brevets.inpi.fr/fr/document/FR3072564.html

7. Pierre Falez, Philippe Devienne, Pierre Tirilly, Marius Bilasco, Christophe LOYEZ, Ilias Sourikopoulos et Pierre Boulet. "Flexible Simulation for Neuromorphic Circuit Design: Motion Detection Case Study". In : Conference d'informatique en Parallélisme, Architecture et Système (ComPAS). Sophia Antipolis, France, juin 2017. https://hal.archives-ouvertes.fr/hal-01538449.

8. Pierre Falez, Improving Spiking Neural Networks Trained with Spike Timing Dependent Plasticity for Image Recognition, Thèse, Université de Lille, Octobre 2019

9. Panuccio, G., Semprini, M., & Chiappalone, M. (2016). Intelligent Biohybrid Systems for Functional Brain Repair. New Horizons in Translational Medicine, 3. https://doi.org/10.1016/j.nhtm.2016.10.001