droit international. Un article du groupe d'études géopolitiques<fnref n="126" /> rappelle que la Déclaration universelle des droits de l'Homme qualifie la dignité humaine comme étant « *le fondement de la liberté, de la justice et de la paix dans le monde* ».<fnref n="127" />

Raja Chatila, dans l’audition que nous avons menée, rappelle la primauté de cette valeur dans la hiérarchie des valeurs de tout projet et déclare : « *La dignité humaine n’est pas un concept algorithmisable. Les notions de « machine ethics » ou « d’éthique artificielle » sont un non-sens.* Ça n’existe pas parce qu’on ne peut pas définir ce qu’est la dignité humaine à une machine. On ne peut pas dire la dignité c’est : a, b, c, d… La dignité est un concept intrinsèquement flou et qui doit le rester. Car, dès lors qu’on commence à définir la dignité humaine, on la limite. Je pense que partir de la dignité est une très grande source de richesse pour envisager la manière dont les êtres humains doivent agir entre eux, de manière kantienne et non utilitariste. Énumérer les valeurs n’est pas simple. Il faut partir de la dignité et les laisser couler en fonction du contexte. »<fnref n="128" />

Si l'on suit les recommandations de R. Chatila, trois enseignements se dessinent : un développement de la notion de « concept flou », une sensibilisation à la hiérarchisation des valeurs et un enseignement philosophique sur le déontologisme. Cependant, il semble que ces trois points de contenus pédagogiques demandent l'acquisition de nombreuses notions philosophiques préalables pour être réellement assimilés. En effet, la hiérarchisation des valeurs sous-entend d'avoir approché en amont différentes valeurs, privilégier le déontologisme sous-entend de le comparer à d'autres familles de l'éthique, enfin l'importance du flou en philosophie est un débat philosophique de fond, qui a été traité, par exemple, par Chaïm Perelman<fnref n="129" />. Or, la majorité des personnes auditionnées relèvent l'inefficacité d'entrer de but en blanc dans le dur des théories philosophiques devant un auditoire d'ingénieur·e·s dans le cadre de formations à l'éthique courtes (3 à 12 heures de cours maximum), et recommandent de privilégier une démarche appliquée en lien avec les activités des étudiant·e·s. Comment donc aborder efficacement une notion philosophique et éthique si vaste, si culturellement ancrée dans nos sociétés, si volontairement floue, sans devoir aller trop loin dans les théories philosophiques relatives à la dignité humaine ?

Il nous semble que la dignité humaine doit, plus encore que pour les autres valeurs éthiques, être reliée au corps et aux émotions. La beauté de cette notion est qu'elle est chevillée à nos corps, comme vecteur de nos existences et comme essence de notre présence au monde. Cette sensation est instinctive. Réveiller cet instinct est ce que fait Emmanuelle Danblon dans son cours de rhétorique à l'Université de Bruxelles lorsqu'elle invite ses étudiant·e·s à passer

<footnote n="126">¹²⁶ G. Le Moli, « IA vs dignité humaine : quand la sous-performance humaine est légalement requise », La revue européenne du Droit, 2022, n°4, p. 122-128.</footnote>

<footnote n="127">¹²⁷ « Considérant que la reconnaissance de la dignité inhérente à tous les membres de la famille humaine et de leurs droits égaux et inaliénables constitue le fondement de la liberté, de la justice et de la paix dans le monde. » Assemblée générale des Nations unies. (1948). *Déclaration universelle des droits de l'Homme* (217 [III] A). Paris, Préambule, § 1.</footnote>

<footnote n="128">¹²⁸ Audition de Raja Chatila, volume d'annexes du mémoire, p.5.</footnote>

<footnote n="129">¹²⁹ Voire par exemple : C. Perelman, « L’usage et l’abus des notions confuses », *Logique et Analyse*, 1978, n° 81, p. 3-17.</footnote>
par l'émotion pour donner chair à des notions confuses<fnref n="130" />. Afin de comprendre une valeur abstraite, elle recommande de penser à son opposé. Ainsi, plutôt que de tenter de définir la dignité humaine, penser à la traite humaine concernant le trafic d'organes ou aux réseaux de prostitution de femmes mineures, fait ressentir immédiatement la charge de cette valeur éthique, ainsi qu'une honte caractéristique ressentie quant à la capacité humaine à l'inhumanité. Thierry Ménissier aborde cette présence au monde dans un jeu intitulé *Be human in the chaos*, qui permet aux joueurs d'incarner des persona, telles que des « objets connectés », des « humains augmentés » ou des « animaux protégés », afin de réfléchir en mouvement à la notion d'humanité dans un monde ultra technicisé. Les stages ouvrier-ingénieur sont également des terrains propices pour développer le souci du respect de la dignité humaine. Si un être ingénieur est amené à éprouver sur le terrain les gestes qu'il ou elle aurait commandés à d'autres, on peut s'attendre à ce que le respect de la personne soit plus aisément pris en considération dès la conception. Cette approche nous semble à même d'introduire et de développer la valeur de dignité humaine.

## B. Les principes propres à l'éthique du numérique et à l'éthique de l'IA

Les principes que nous allons évoquer viennent pour la plupart de textes règlementaires relatifs à l'éthique de l'IA. Dans cette partie, nous ne trancherons pas la question de la différence ou l'équivalence entre l'éthique du numérique et l'éthique de l'IA qui demanderait un débat large entre spécialistes ; nous nous contenterons de considérer l'éthique de l'IA comme une part de l'éthique du numérique.

La Recommandation sur l'éthique de l'intelligence artificielle de l'Unesco mentionne différents principes spécifiques à l'IA<fnref n="131" /> : protection des données, sûreté et sécurité, surveillance et décision humaine, transparence et explicabilité. Le rapport du HLEG mentionne quant à lui quatre principes, conformes aux droits fondamentaux de l'Union, présentés comme des impératifs éthiques « *pour faire en sorte que les systèmes d'IA soient mis au point, déployés et utilisés d'une manière digne de confiance* »<fnref n="132" /> : le respect de l'autonomie humaine, la prévention de toute atteinte, l'équité et l'explicabilité.

Dans cette partie, nous allons nous arrêter sur les notions d'explicabilité et de transparence. Le droit au respect de la vie privée et la protection des données personnelles ont été largement balisés en Europe avec le RGPD entériné en 2015. Ainsi, de nombreuses lois de référence doivent être connues des développeurs, mais appartiennent aujourd'hui moins fortement au domaine de l'éthique, dans le sens d'une pratique réflexive et prospective nécessaire à la mise en place des technologies sur lesquelles nous avons peu de recul.

<footnote n="130">130 E. Danblon se réfère à Chaïm Perelman quant à la notion de « notions confuses ». Ibid.</footnote>

<footnote n="131">131 Nous indiquons ici la définition des principes tels que définis par la Recommandation sur l'intelligence artificielle de l'UNESCO dans le point 10 de la partie III du texte : « *Les valeurs ont un rôle important en tant qu'idéaux motivant l'orientation des mesures politiques et des normes juridiques. Alors que l'ensemble des valeurs énoncées ci-dessous inspirent ainsi des comportements souhaitables et constituent les fondements des principes, les principes quant à eux explicitent les valeurs de manière plus concrète, de façon à faciliter l'application de ces dernières dans les déclarations et actions politiques.* »</footnote>

<footnote n="132">132 Groupe d'experts indépendants de haut niveau sur l'intelligence artificielle (GEHN IA), « Lignes directrices en matière d'éthique pour une IA digne de confiance », le 8 avril 2019, p. 14.</footnote>
En avril 2021, dans le cadre des États généraux de l'éthique de l'IA organisé par le MIAI Grenoble Alpes, se tenait une table ronde intitulée « Responsabilité, explicabilités et valeurs de l'IA », organisée par Alexandre Bretel. Cet évènement réunissait deux intervenants et une intervenante : Éric Gaussier, professeur d'informatique à l'Université Grenoble Alpes et directeur de l'institut interdisciplinaire d'intelligence artificielle de Grenoble, Emmanuel Goffi, co-directeur de l'Observatoire éthique & IA de l'Institut Sapiens et Ysens de France, docteure en droit de l'IA et directrice de la prospective de l'Institut Sapiens. Une des premières remarques formulées touchait à la complexité terminologique du champ de l'explicabilité, qualifiée de quasi « délirante », et listant les mots associés suivants : transparence, traçabilité, communication, interprétabilité, vérifiabilité, identifiabilité. Ysens de France précisait la terminologie propre au Droit, distinguant l'explicabilité de l'auditabilité, de la traçabilité et de l'operability.

Dans le cadre de notre recherche sur la formation à l'éthique de numérique, nous sommes consciente que le champ terminologique relatif à l'explicabilité est loin de concerner tous les ingénieurs, bien qu'il puisse partiellement concerner les ingénieurs et chercheurs en informatique. Cependant le principe d'explicabilité reste important à évoquer et nous semble une excellente occasion pour aborder trois sujets d'ordre plus philosophique propres à être traités dans un cours d'éthique du numérique : les différents régimes de la connaissance, la valeur de démocratie et la neutralité de la technique.

Avant d'y venir, il faut revenir sur les raisons techniques qui constituent la difficulté de rendre les résultats des calculs algorithmiques fonctionnant sur la méthode d'apprentissage machine explicables. Tout d'abord, il faut distinguer les systèmes dits « boîtes noires » (black box) des systèmes dits « boîtes blanches » (white box). Le professeur Éric Gaussier, pendant la conférence précitée, expliquait que l'enchaînement précis des calculs menant à la décision algorithmique des systèmes « boîtes noires » est impossible à connaître, non que les procédures utilisées par l'algorithme soient inconnues des scientifiques, mais que le choix et le moment de leur utilisation le soient.133 En revanche, il est possible d'exposer le déroulé précis des calculs des systèmes « boîtes blanches » car ceux-ci sont basés sur des modèles linéaires, c'est-à-dire sur une combinaison de paramètres et de procédures définies à l'avance qui, corrélées, donnent un résultat, par exemple la probabilité d'attraper telle ou telle maladie. La difficulté est cette fois-ci que le cerveau humain a du mal à prendre en compte un très grand nombre de paramètres et de corrélations, ce qui peut rendre ces modèles difficiles à expliquer car, selon É. Gaussier, il n'existe pas vraiment de modèles qui permettent d'extraire les paramètres les plus pertinents pour en rendre compte. Ainsi les termes employés diffèrent pour les deux systèmes de calcul. Le principe d'explicabilité concerne les « boîtes noires » et celui d'interprétabilité les « boîtes blanches ».

Mais pour qui les systèmes algorithmiques se doivent-ils d'être interprétables ou explicables ? Nous voudrions aborder deux cas. En premier lieu, pour les scientifiques eux-mêmes troublés par une discipline qui remet en question les modes opératoires

<footnote n="133">133 L'X-IA (explainable IA), qui consiste à rendre les « boîtes noires » explicables, est un domaine de recherche à part entière.</footnote>
traditionnels de la méthode scientifique. En second lieu, pour les citoyen·nes, s'agissant de la traduction des décisions algorithmiques.

Dans le moment de crise que nous traversons, nous avons observé dans de nombreux rapports ou textes institutionnels une tendance à mettre en avant la pluridisciplinarité. Les problèmes systémiques auxquels nous devons faire face forcent à l'humilité et nécessitent l'inventivité de tous les champs de la connaissance. Introduire de l'éthique dans les formations d'ingénieur·e·s répond d'ailleurs à cette volonté. L'explicabilité nous semble être une occasion parfaite pour mettre en avant la question philosophique de l'épistémologie, et travailler à défaire les clichés, crées notamment par le système scolaire qui, dès le lycée, hiérarchise les savoirs en valorisant la connaissance scientifique, pour aller vers la prise de conscience des différents modes d'existence et de pensées tel que l'a conceptualisé Bruno Latour. Dans son ouvrage intitulé *Enquête sur les modes d'existence - Une anthropologie des Modernes*<fnref n="134" />, il affirme l'existence de plusieurs régimes de vérité dont font parties les sciences, les techniques, le droit, la religion, la politique et l'économie et remet en question le fait d'envisager la science comme le seul moyen de connaissance capable de produire de la vérité. La difficulté à rendre les algorithmes explicables nous semble à même d'introduire cette intuition de la connaissance partagée. En effet, les sciences reposent traditionnellement sur des démonstrations menant à des théories qui, reproductibles, sont jugées vraies. Le calcul algorithmique est dans cette optique tout à fait original, car les résultats ne sont pas identiques à partir du même problème, et ceci non parce que les conditions de l'expérience varient. Le calcul algorithmique implique toujours une marge d'erreur. Cela est un changement de paradigme dans le mode de la pensée scientifique. Ainsi, rappeler aux étudiant·e·s que cette discipline ne possède pas « la vérité », peut les amener simplement à l'idée de la nécessité de la collaboration entre les savoirs dans ce domaine, afin de repousser la perspective de l'arbitraire.

La deuxième question concerne le fait de rendre les décisions algorithmiques explicables pour les utilisateurs dans un contexte démocratique. En démocratie, la prise en compte du droit des utilisateurs à connaître les raisons motivant une décision les concernant est fondamental. Ainsi semble-t-il naturel qu'une décision algorithmique pour l'accès à un entretien d'embauche ou la possibilité de contracter un prêt bancaire puisse être justifiée avec des données objectives, compréhensibles et admises. L'essai de Cathy O'Neil, *Algorithmes, la bombe à retardement*, attire justement l'attention sur les dérives possibles de la décision algorithmique dans différents secteurs (éducation, justice, secteur bancaire...). Elle attire notre attention sur les critères qui constituent nos profils. Imaginons, par exemple, que nos préférences alimentaires, renseignées via nos cartes de fidélité dans les magasins, puissent être utilisées dans le cas d'un recrutement. Serions-nous d'accord pour que ce type d'information puisse participer de l'évaluation de nos compétences professionnelles ? La question de la traduction des calculs algorithmiques en une explication intelligible pour les utilisateurs est pour l'heure une gageure. Rappelons que l'XAI (explainable AI) est un champ de recherche nouveau. Ainsi pour Ysens de France, le consommateur doit accepter que tout ne soit pas explicable mais l'explicabilité doit pouvoir

<footnote n="134">¹³⁴ B. Latour, *Enquête sur les modes d'existence : une anthropologie des modernes*, Paris, La Découverte, 2012.</footnote>
identifier pour lui, ou pour des autorités dédiées, les caractères saillants et les facteurs qui peuvent venir perturber les données d'entrée puis les données de sortie. Cette attention à rendre intelligibles les décisions algorithmiques pour ceux et celles qu'elles regardent est indispensable dans un contexte démocratique. Car, si l'on n'y prend garde, le calcul algorithmique pourrait, tel que le fut le latin dans la société médiévale, devenir une barrière de plus en plus grande empêchant la compréhension par le corps social des lois qui le régissent.

Le philosophe Thomas Berns analyse ce phénomène en mettant en avant le paradoxe de la transparence qu'il illustre avec l'exemple du moteur de recherche.135 Les codes sources des moteurs de recherche sont protégés par des brevets, seuls certains éléments de leur fonctionnement sont connus, et de toutes façons leurs algorithmes évoluent en permanence. L'importance normative des moteurs de recherche n'est plus à démontrer puisqu'ils organisent la visibilité de chacun sur l'espace du web. Mais force est de constater que les lois de cette hiérarchisation nous sont opaques. Pourtant, comme le rappelle Thomas Berns, « *Les dispositifs de visibilisation sont conçus pour être eux-mêmes transparents au sens où l'on doit y voir "à travers" de sorte qu'ils n'interfèrent pas avec ce qu'il s'agit de rendre visible. C'est d'ailleurs une des consignes de Google aux éditeurs de contenus : "Faites comme si nous n'étions pas là".*136 » Thomas Berns parle de la transparence comme d'une méthode au service d'une nouvelle forme d'exercice du pouvoir, la gouvernementalité algorithmique, qu'il a conceptualisée et analysée dans des articles plus anciens co-écrits avec Antoinette Rouvroy.137 Mais dans le cadre de notre recherche sur la formation des ingénieurs·e·s et chercheur·euse·s en sciences informatiques, nous nous contenterons de mettre en valeur la conclusion du dernier ouvrage de l'auteur, co-écrit avec Tyler Reigeluth, *Éthique de la communication et de l'information. Une initiation philosophique en contexte technologique avancé*138, qui porte sur la possibilité d'individuation laissée aux utilisateurs comme véritable condition du respect de la démocratie, plutôt que le principe de transparence.

Si le langage s'est paré d'une nouvelle langue, le code informatique, il va de soi que la possibilité de l'écrire, de le transformer, de l'interpréter, de le dévier est la base d'un débat démocratique. La philosophie de l'open source abonde dans cette direction en affirmant la force de la pensée collective et participative. L'informatique a pour la première fois, de façon stupéfiante, permis à une portion significative de l'humanité d'écrire collectivement et/ou simultanément. C'est cet espace ouvert au commun que semble évoquer T. Berns. Nous sommes face à une interrogation éthique profonde et particulièrement forte dans le chef des ingénieur·e·s et chercheur·euse·s en informatique : comment puis-je m'assurer que mon travail préserve l'espace du débat public, au sens de possibilité de participation ? La question que nous tentons d'exposer interroge la qualité de la structure même des réseaux de communication du

<footnote n="135">135 T. Berns, « Les secrets de la transparence : l'exemple du moteur de recherche », *Pistes*, à paraître en 2022, numéro sur "Que faire de la transparence technique ?", ed. Tyler Reigeluth et Seddik Benlaksira.</footnote>

<footnote n="136">136 *Ibid*.</footnote>

<footnote n="137">137 Voir par exemple : T. Berns, A. Rouvroy, « Le nouveau pouvoir statistique. Ou quand le contrôle s'exerce sur un réel normé, docile et sans événement car constitué de corps "numériques"...», *Multitudes*, 2010, vol. 40, no. 1, p. 88-103.</footnote>

<footnote n="138">138 T. Berns, T. Reigeluth, *Éthique de la communication et de l'information. Une initiation philosophique en contexte technologique avancé*, Bruxelles, Éditions de l'Université de Bruxelles, 2021.</footnote>
numérique, de la même façon que des ONG sont à même de juger de façon somme toute assez
objectivement de la bonne santé démocratique de tel ou tel pays en analysant la qualité de ses
institutions, la place laissée aux contre-pouvoirs, l'indépendance de la justice... Thomas Berns
et Tyler Reigeluth ouvrent à la fin de leur ouvrage une nouvelle dimension de l'éthique et
réclament « le rapport technique ». Ils écrivent : « Réclamer le rapport technique, c'est faire
droit au caractère inépuisable de l'expérience technique comme source d'individuation
psychique et collective ; c'est lui rendre sa dimension publique au sens où il revient en droit à
quiconque qui utilise la technique d'avoir quelque chose à "faire" de la technique. »<fnref n="139" /> Cette
réflexion nous semble particulièrement pertinente à destination des ingénieurs et
chercheurs en informatique dans le cadre de l'exercice de leurs compétences techniques
autant que dans l'optique de leur rôle citoyen dans le cadre démocratique. Nous conclurons
cette partie par une dernière citation de T. Berns et T. Reigeluth, issue du même ouvrage,
mettant l'accent sur un pan de cette éthique du numérique à construire et où le rôle de
l'éducation semble trouver une place de choix : « l'enjeu semblerait davantage être celui de
(nous) rendre la technique "sensible" à travers une nouvelle éducation et culture technique qui
ne se limite pas à une connaissance abstraite de sa fonction ou au contraire à un usage qui
augmenterait le rendement ou l'efficacité d'une action mais qui consiste à ancrer cette
connaissance dans l'engagement situé des utilisatrices et des utilisateurs.<fnref n="140" /> »

C. Exemple appliqué : Implémenter des valeurs éthiques dans un algorithme de reconnaissance faciale

Afin d'illustrer concrètement l'application des valeurs éthiques développées dans les
parties précédentes, nous allons dans cette partie nous pencher sur un travail développé par une
étudiante en ingénierie de la filière Sciences des Données et de la décision et NeuroIA de l'école
toulousaine ISAE-SUPAERO, Mélanie Gornet. Le document que nous allons analyser s'intitule
*Projet de fin d'études - Rapport de stage CNPEN/CCNE - Enjeux d'éthiques liés aux
algorithmes d'apprentissage machine et mise en œuvre technique de recommandations*. Il a été
réalisé à l'occasion d'un stage de six mois au CNPEN où Mélanie Gornet a été encadrée par
Catherine Tessier, Claude Kirchner et Olivier Grisel, chercheur en apprentissage machine au
sein de l'équipe PARIETAL d'Inria et du CEA. Le but de cette recherche a été de sonder la
mise en œuvre technique de recommandations éthiques exprimées dans les textes
internationaux au sujet de l'IA.

Pour son rapport de stage, Mélanie Gornet a fait un effort considérable de vulgarisation de sa démarche scientifique qui reste dans l'ensemble accessible, même pour des néophytes. Nous prenons le parti de sélectionner les exemples les plus frappants évoqués par la chercheuse dans différentes phases de la programmation de l'algorithme. La présente partie n'a donc pas pour ambition de retranscrire la précision des recherches scientifiques d'une étudiante en ingénierie mais de témoigner des efforts nécessaires à une étudiante en éthique pour comprendre les

<footnote n="139">¹³⁹ *Ibid.*, p.160.</footnote>

<footnote n="140">¹⁴⁰ *Ibid.*, p.160</footnote>
résultats de cette recherche et montrer comment ce dialogue pourrait être fructueux dans le cadre d'un développement d'une formation à l'éthique de l'IA pour les ingénieurs·e·s ainsi que pour des éthiciens·e·nes.

## 1. Présentation du cas d'étude

### Résumé de la démarche technique :

Mélanie Gornet a développé un outil de reconnaissance faciale par authentification. Le code de son algorithme fonctionne sur la technique du triplet loss, un mode opératoire très répandu aujourd'hui et qui a été introduit par les ingénieurs·e·s de Google en 2015. Cette méthode peut, par exemple, servir à déverrouiller un téléphone portable en comparant l'image filmée de la personne qui tient son téléphone aux images prises au moment où elle l'a configuré, ou à vérifier une identité lors d'un passage aux frontières comme peut le faire le logiciel PARAFE par exemple (en France).

### Résumé de la démarche éthique :

Mélanie Gornet a d'abord réalisé une étude des termes (valeurs, principes et autres expressions) utilisés dans les textes internationaux. Nous détaillerons cette démarche dans la partie consacrée aux prolongements possibles de ce travail dans le cadre de la formation à l'éthique du numérique. Après avoir mis au point des grilles d'analyse, repéré les liens entre les termes, identifié les parties prenantes et posé des précautions d'usages, Mélanie Gornet indique avoir choisi de se focaliser uniquement sur la valeur d'équité.

## 2. À quels moments peut intervenir la valeur d'équité dans un processus de programmation en apprentissage machine<fnref n="141" />?

Mélanie Gornet identifie quatre étapes de programmation : les choix initiaux (le choix de la base de données), l'entraînement (le choix du taux d'apprentissage<fnref n="142" />), la validation (le choix du pré-traitement des données<fnref n="143" />), la partie test (le choix de la valeur seuil) et la partie d'analyse post-traitement. Nous citerons des exemples issus des choix initiaux, de l'entraînement et du post-traitement.

### Les choix initiaux

Le choix de la base de données révèle un premier éventail de décisions alliant impératifs techniques, disponibilité des outils et critères « moraux ». Mélanie Gornet rappelle que de nombreuses bases de données ont été critiquées pour les biais qu'elles ont engendrés dans des systèmes commerciaux. Faire un travail de veille sur les biais recensés dans les outils disponibles est un premier outil éthique chez les programmeurs·euses.

<footnote n="141">141 « Machine learning » en anglais.</footnote>

<footnote n="142">142 « Learning rate » en anglais.</footnote>

<footnote n="143">143 « Preprocessing » en anglais.</footnote>
Mélanie Gornet a eu recours à une base de données publique. Pour faire son choix parmi les bases de données disponibles, elle a été attentive au nombre d'images, à leur poids (afin que la base de données soit compatible avec les moyens techniques dont elle disposait) et au fait que les images soit annotées au moins avec le label homme-femme (afin qu'elle puisse caractériser ses observations sur l'équité). Son choix final s'est porté sur la base de données *Labelled Faces in the Wild* (LFW) qui contient 13 233 images de 5749 personnalités différentes, dont 1680 ont au moins deux images. Le fait d'énoncer les bases de données avec lesquelles les programmeur·euse·s travaillent fait partie d'une démarche éthique liée à la valeur (ou « notion » selon les textes de référence) de transparence. La transparence du système est nécessaire pour faire l'analyse des résultats des prédictions, ici en terme d'équité. Mélanie Gornet mentionne le fait que le papier original de la triplet loss de Google n'indique pas quelle base de données a été utilisée pour entraîner l'algorithme. La seule caractéristique présente est la résolution en pixels.

Le choix des attributs est une autre étape qu'il convient d'analyser en regard des valeurs éthiques choisies. Afin de repérer les profils, 73 attributs ont été récupérés sur la page internet d'un article sur le sujet<fnref n="144" />, par exemple : « Homme », « Asiatique », « Noir », « Indien » et « Lunettes ». Mélanie Gornet soulève que ces attributs sont bien souvent discutables éthiquement. En effet, il est évident que la réduction de la personne représentée sur une image à un ou plusieurs critères, « noir de peau » ou « blanc de peau » par exemple, est en soi problématique, surtout quand les personnes en question n'ont pas eu l'occasion de donner leur consentement, ni sur les images, ni sur leur étiquetage. De plus, certains critères sont plus subjectifs que d'autres. Mélanie Gornet s'étonne de trouver des annotations nommées « Homme attirant » ou « Femme attirante » dans la base de données. Concernant l'équité, la classification des origines géographiques des personnes est particulièrement problématique. Par exemple, le mode de calcul employé le plus communément pour classer les individus, appelé échelle de Fitzpatrick, ne propose que six types et couleurs de peau différents. Il est à ne pas douter que les personnes classées dans la même catégorie auraient certainement à y redire.

Le choix de l'architecture de l'algorithme, ici un réseau neuronal convolutif <fnref n="145" />, comporte aussi, selon Mélanie Gornet, un biais susceptible d'influencer les résultats en terme d'équité. En effet, ce type de réseau a la particularité de contenir un nombre tel de paramètres (initialisés de façon aléatoire) qu'il est capable, même sans entraînement, de distinguer quelques images. Mais les opérations que les paramètres permettent de réaliser sont si nombreuses (autant que de neurones), qu'ils permettent de sortir de l'aléatoire. Ce phénomène est difficile à expliquer et à comprendre de la bouche même de la chercheuse Mélanie Gornet.

## L'entraînement

Mélanie Gornet explique que, dans la phase de régularisation, des opérations de normalisation des images sont nécessaires pour faciliter le traitement (par exemple, la

<footnote n="144">¹⁴⁴ Zinwei Liu, Ping Luo, Xiaogang Wang, Xiaoou Tang, « Deep Learning Face Attributes in the Wild », *Proceedings of the IEEE international conference on computer vision*, p. 3730-3738.</footnote>

<footnote n="145">¹⁴⁵ Nommé *ConvNet* en anglais.</footnote>
normalisation des tailles des images). Le prétraitement concerne la partie des opérations qui sont opérées sur la première couche du réseau de neurones. Mélanie Gornet soulève un exemple d'opérations d'apparence banale qui pourraient nuire à l'équité. Les programmeurs euse s'font souvent appel à des fonctions automatiques pour améliorer la performance de leurs algorithmes, un peu comme nous faisons appel à des filtres pour améliorer l'apparence de nos photographies. Or, ces régularisations jouent parfois avec la luminosité des images, ce qui a pour conséquence de faire perdre aux visages noirs ou foncés leurs nuances. Cette simple action peut rendre le processus d'apprentissage machine plus difficile pour eux, discriminant de fait ce segment de la population. Mélanie Gornet fait remarquer que, si de nombreuses études sur l'implication du pré-traitement des données sur la performance existent, peu d'entre elles s'attachent aux implications du pré-traitement sur l'équité. Ce manque de publications concerne aussi d'autres étapes de l'apprentissage machine comme la détermination de la valeur de marge ou le choix de la structure du réseau dont la profondeur peut influencer les paramètres de décision de l'algorithme.

À travers le paramètre du taux d'apprentissage, Mélanie Gornet met en avant un autre problème propre aux technologies d'apprentissage profond : la variabilité des résultats. En effet, parvenir à faire entrer son algorithme dans une phase d'apprentissage ne va pas de soi. Les multiples réglages du système sont minutieusement travaillés. Le problème est que parfois, avec les mêmes réglages, les courbes d'apprentissage varient. Mélanie Gornet écrit : « La reproductibilité de l'expérience est limitée car même avec exactement les mêmes valeurs de paramètres, l'initialisation aléatoire ou la stochasticité du gradient amènent à des résultats différents. » Nous voyons ici que, malgré toutes les précautions qui peuvent être prises au niveau de la conception, il restera sur les algorithmes de type « boîte noire » une part d'aléatoire qui relativise intrinsèquement la valeur d'équité, ou du moins son auditabilité.

Afin de suivre la suite des observations menées par Mélanie Gornet pendant le processus, il est nécessaire de comprendre ce qu'est un « epoch », outil pour lequel Mélanie Gornet dit avoir procédé à un ajustement important en terme d'équité. Un epoch est la date initiale à partir de laquelle le temps est mesuré dans un programme informatique. Il correspond au passage complet de l'ensemble de données d'apprentissage par l'algorithme. Le processus d'apprentissage de l'algorithme comprend donc un certain nombre d'epoch. À chaque epoch, les paramètres du modèle interne de l'ensemble de données sont mis à jour. Outre les définitions que l'on peut trouver dans le domaine de l'apprentissage machine, se rappeler du sens du mot dans son utilisation courante aide aussi pour les néophytes : « *un instant précis utilisé comme point de référence* ».<fnref n="146" /> En configurant son epoch de deux manières différentes, Mélanie Gornet s'est aperçue d'une différence de résultats significative. Dans un premier temps, elle a remarqué qu'en échantillonnant les images de la base de données de façon aléatoire, le nombre d'images d'hommes blancs était significativement plus important. Pour corriger ce problème, elle a construit un epoch qui faisait une passe systématique sur toutes les identités pour qu'elles

<footnote n="146">146 Cette définition a été trouvée dans une vidéo en ligne, intitulée « Epoch meaning », https://www.youtube.com/watch?v=05Gk4UjKgBE</footnote>
apparaissent au moins une fois. Cependant, un autre type de défaut est apparu : le modèle apprenait trop les identités ayant le moins d'images.

Le temps d'apprentissage, c'est-à-dire le nombre d'epochs, est aussi un facteur important. En effet, le programme, au fur et à mesure des passes de calculs, peut surapprendre les modèles qui ont le moins d'images et paradoxalement devenir moins performant. Cela s'appelle du surapprentissage<fnref n="147" />. En surapprenant, le modèle n'est plus capable de généraliser ses résultats et refuse plus facilement de nouvelles images. Or, c'est le but de la reconnaissance faciale : détecter une identité sur des images différentes et renouvelées à partir d'un modèle. Les identités les moins représentées peuvent donc être considérées plus facilement comme non-conformes, ce qui peut poser des problèmes d'équité.

## Analyse post-traitement

Dans les analyses de ses résultats, Mélanie Gornet rencontre une surprise. Au lieu d'obtenir, comme c'est souvent le cas dans l'industrie, des résultats inférieurs pour les personnes non-blanches et non-mâles, c'est l'inverse qui se produit, alors que les images d'hommes blancs sont sur-représentées dans son échantillon. Les taux d'erreur sont supérieurs pour les hommes blancs, les personnes jeunes et les personnes très âgées. Elle écrit : « Ces comportements, en l'absence d'une analyse quantitative et d'un système explicable, sont difficilement interprétables. » Nous retombons ici sur les limites de compréhension face aux systèmes d'apprentissage machine. Cependant, Mélanie Gornet émet une piste d'explication : les différences étant plus faibles entre les visages dans le groupe « Hommes blancs », elles seraient plus difficiles à appréhender.<fnref n="148" />

Pour conclure sa recherche, Mélanie Gornet souligne la rareté des études réalisées dans le domaine et plaide pour un épanouissement de ce champs de recherche afin de parvenir à définir des critères de régulation éthique opérationnels pour les technologies de reconnaissance automatique. D'autre part, faisant écho aux recommandations de Catherine Tessier<fnref n="149" />, Mélanie Gornet indique que le travail sur la régulation des algorithmes et leur mise en conformité éthique ne doit pas se substituer aux débats éthiques de fond sur la raison d'être de ces objets

<footnote n="147">¹⁴⁷ « Overfitting » en anglais.</footnote>

<footnote n="148">¹⁴⁸ Mélanie Gornet, suite à une conversation téléphonique, a pris le temps d'envoyer à notre intention quelques précisions. Elle écrit : « Dans des recherches postérieures au rapport, j'ai pu analyser plus en détails les impacts des choix en termes d'équité. Le modèle que j'avais développé était encore plus biaisé que je l'avais anticipé, et ce dans le sens régulièrement observé de discrimination envers les femmes noires notamment. Seulement, cela était très atténué, voir inversé dans mes premiers résultats pour plusieurs raisons. D'abord, les groupes que j'utilisais n'avais pas la même homogénéité. Il était ainsi plus dur pour le système de comparer deux hommes blancs que deux "non-hommes non-blancs" qui amenaient parfois à comparer une personne noire avec une personne asiatique par exemple. Ensuite, je ne regardais principalement que la précision (accuracy) du système. Or j'ai pu constater qu'avec d'autres métriques, les biais sont bien plus apparentes. Ces analyses plus approfondies m'ont permis de me rendre compte de l'importance de la manière dont un chercheur ou ingénieur peut présenter ces résultats algorithmiques. En effet, il aurait été si rapide de conclure à l'absence de biais ! Il y a ici une responsabilité déontologique du développeur du code de présenter une analyse poussée, et de ne jamais dire que l'algorithme n'est pas biaisé, mais plutôt que les biais n'ont pas encore été trouvés. »</footnote>

<footnote n="149">¹⁴⁹ C. Tessier, « Éthique et IA : analyse et discussion », CNIA 2021 : Conférence Nationale en Intelligence Artificielle, Jun 2021, Bordeaux (en ligne), p. 22-29.</footnote>
et surtout, leur utilité sociale. Elle écrit : « *Particulièrement concernant la reconnaissance automatique, il faut nous poser la question de l'acceptabilité d'une société basée sur la surveillance, les conséquences sur notre comportement collectif, l'impact sur les individus, ainsi que les bénéfices et risques qui en découlent.* »<fnref n="150" />

Mélanie Gornet poursuit actuellement sa recherche en thèse à l'Institut Polytechnique de Paris.

### 3. Que retenir de ce cas d'étude pour l'enseignement de l'éthique du numérique ?

Thierry Ménissier dans un article intitulé « *Quelle éthique pour l'IA ?* » évoque la possibilité que l'éthique de l'IA puisse être envisagée comme « *l'ensemble des règles partagées par une corporation professionnelle, celle des informaticiens, ou l'ensemble des questions non directement informatiques examinées et débattues par les informaticiens, à l'instar de la bioéthique pour les médecins* »<fnref n="151" />. Le travail de Mélanie Gornet nous semble remettre en question cette définition. En effet, le type de recherche que Mélanie Gornet a menée est encore très rare et il est significatif qu'elle ait été menée au sein du CNPEN où Mélanie Gornet a été suivie et accompagnée par un expert et une experte en éthique parmi les plus qualifiés dans leurs domaines, Catherine Tessier et Claude Kirchner. Au moment où la recherche en apprentissage machine n'en est qu'à ses débuts, il semble que ce soit justement le processus de dialogue entre les informaticiens et les experts en éthique qui ait permis des résultats si fécondes, et qu'une telle recherche menée par des informaticiens seul·e·s dans une optique de déontologie n'aurait pu être aussi aboutie.

Dans la partie qui suit, nous allons revenir sur le processus de travail de Mélanie Gornet et en extraire ce qui, pour nous, pourrait devenir des outils à la disposition à la fois des programmeurs·e·s informatiques et des éthiciens·e·s spécialisé·e·s en nouvelles technologies pour leurs activités professionnelles respectives et dont une formation à l'éthique du numérique devrait traiter.

#### a) Valeurs et principes : des concepts à éclairer dans le domaine de l'éthique de l'IA

La recherche de Mélanie Gornet a le mérite clair de pointer le manque patent de ressources pour permettre aux ingénieur·e·s d'appliquer les recommandations préconisées par les autorités européennes. Mélanie Gornet déclare : « *Il y a un gouffre aujourd'hui entre les recommandations des experts internationaux et la réalité technique qui doit être considérée pour réguler ces systèmes. Il y a un besoin urgent de combler ce gouffre et de définir des critères techniques d'évaluation des algorithmes en accord avec les valeurs prônées par les textes* »

<footnote n="150">¹⁵⁰ GORNET Mélanie, « Enjeux d'éthiques liés aux algorithmes d'apprentissage machine et mise en œuvre technique de recommandations », [Projet de fin d'études-Rapport de stage], op. cit., 2021, p. 50.</footnote>

<footnote n="151">¹⁵¹ T. Ménissier, « Quelle éthique pour l'IA ? Naissance et développements de l'intelligence artificielle à Grenoble », [Colloque Académie Delphinale], *Naissance et développement de l'intelligence artificielle*, Grenoble, 10 octobre 2019, p. 3.</footnote>
internationaux. »<fnref n="152" />. Dans ce mémoire, nous prenons le parti d'affirmer que ce gouffre appelle à des recherches pluridisciplinaires.

Pour éclairer et rendre opérationnels les valeurs et principes formulés dans les textes internationaux, Mélanie Gornet a élaboré, en dialogue avec Catherine Tessier et Claude Kirchner, une méthode d'analyse en 5 points ayant pour objectif de parvenir à des exigences opérationnelles.

b) Formuler des exigences opérationnelles

Devant le constat de la pluralité des sources (livre blanc, déclarations, recommandations, directives, etc.), de la pluralité des notions (transparence, non-discrimination, robustesse, auditabilité, non-malveillance, autonomie humaine, bien-être, sureté...) et de la pluralité des termes employés (valeurs, principes, normes, exigences, recommandations, composantes...) dans les textes internationaux, Mélanie Gornet propose un graphe de dépendances permettant de relier les valeurs et principes à des exigences opérationnelles précises qui pourraient figurer dans un cahier des charges.

<figure><img src="image_3.png" /></figure>

Visuel explicatif utilisé par Mélanie Gornet dans son rapport.

Son objectif est de classer les valeurs (telles que la recommandation de l'Unesco sur l'intelligence artificielle les définit<fnref n="153" />) et d'analyser les principes qui y sont liés pour en dégager des exigences applicables dans la programmation. Son graphique d'exemple traite de la notion d'explicabilité et non d'équité, celle choisie pour son rapport de stage, mais le principe reste le même.

<footnote n="152">¹⁵² GORNET Mélanie, « Enjeux d'éthiques liés aux algorithmes d'apprentissage machine et mise en œuvre technique de recommandations », [Projet de fin d'études-Rapport de stage], op. cit., p. 14.</footnote>

<footnote n="153">¹⁵³ Voir note 31.</footnote>
<figure><img src="image_4.png" /><figcaption>FIGURE 3 – Exemple de déclinaison de la valeur d'explicabilité</figcaption></figure>

Visuel explicatif utilisé par Mélanie Gornet dans son rapport.

Mélanie Gornet indique que cette classification représente « un travail long car de nombreux critères existent et il faudrait pouvoir tous les regarder. » et que « les valeurs, principes ou exigences peuvent être en tension les uns avec les autres. »<fnref n="154" /> Ce travail à réaliser en amont semble tout à fait approprié dans le cadre d'une collaboration entre des programmeur·euse·s et des éthicien·ne·s ainsi que pour la mise en place de cahiers des charges ou de rapports ultérieurs.

### c) Identifier les parties prenantes

La seconde étape de ce travail préparatoire se focalise sur une identification des parties prenantes concernées par le futur programme informatique. Cette opération a été abordée au cours de l'audition menée avec Raja Chatila et clairement mise en avant comme étant un point important à intégrer dans la formation à destination des ingénieur·e·s. R. Chatila s'appuyait sur l'exemple des scanners utilisés dans les aéroports développé dans le texte de Sarah Spiekermann, *Ethical IT Innovation: A Value-Based system Design Approach*. Il expliquait que les scanners développés pour aider les services de sécurité dans les aéroports permettaient d'obtenir une image des passagers et des passagères sans leurs vêtements, ce qui évitait le temps consacré aux fouilles mais avait l'inconvénient de les montrer nus sur les écrans de sécurité. Ce cas d'école illustrait, selon lui, la nécessité d'apprendre aux futur·e·s ingénieur·e·s à identifier préalablement les parties prenantes. En effet, si les ingénieur·e·s et développeur·euse·s s'en tiennent à la demande de leurs commanditaires, ils risquent de passer outre des problèmes qui ne manqueront pas de se poser une fois les produits distribués dans la sphère sociale. Après le scandale médiatique qui a éclaté et qui ne manquait pas d'humour, comme dans cet extrait du journal Libération en octobre 2008 : « Vacanciers, vous aurez bientôt le choix de vous faire tripoter si vous sonnez sous les portiques de sécurité des aéroports ou... de vous montrer nus avant d'embarquer »<fnref n="155" />, les développeur·euse·s ont pris le parti de faire apparaître les objets cachés sur une silhouette non réaliste plutôt que de montrer les corps tels qu'ils apparaissaient

<footnote n="154">¹⁵⁴ M. Gornet, « Enjeux d'éthiques liés aux algorithmes d'apprentissage machine et mise en œuvre technique de recommandations », [Projet de fin d'études-Rapport de stage], op. cit., p. 15.</footnote>

<footnote n="155">¹⁵⁵ M. Gros, C. Mallaval, publié le 25 octobre 2008 à 6 h 51, *Tout nus et tout scannés à l'aéroport*, Libération.
https://www.liberation.fr/vous/2008/10/25/tout-nus-et-tout-scannes-a-l-aeroport_155523/</footnote>
par le traitement d'image natif. Cette mesure simple aurait pu être anticipée en réalisant un
travail d'analyse des parties prenantes. Ce point, tel que le préconisent R. Chatila et M. Gornet,
pourrait être introduit dans les études de cas lors de la formation à l'éthique du numérique des
ingénieur·e·s et des étudiant·e·s universitaires car il rélève à la fois d'une dimension ayant trait
à la dignité de la personne et d'un prérequis pour considérer les conséquences d'une action ou
d'un projet (éthique conséquentialiste).

d) Recenser les valeurs

Après l'identification des parties prenantes, Mélanie Gornet s'est attachée à effectuer
un recensement des valeurs. En effet, toutes les valeurs ne sont pas également pertinentes selon
les projets. Mélanie Gornet s'est appuyée sur une catégorisation existante pour distinguer<fnref n="156" /> :
les valeurs promues, les valeurs à respecter et les valeurs contextuelles. Les valeurs promues
peuvent être celle de l'entreprise commanditaire qui aura mis l'accent sur telle ou telle valeur
dans sa philosophie d'entreprise. Les valeurs promues peuvent aussi être celles d'un
gouvernement. À ce titre, Mélanie Gornet appelle à la prudence, ou à la lucidité, en rappelant
que les valeurs de démocratie et de liberté sont deux valeurs... du parti communiste chinois. Le
différentiel entre les discours et la pratique se retrouve aussi communément dans les entreprises.
Cependant, l'adjonction de ces deux types d'autorités dans la même catégorie nous semble peu
claire. Les valeurs à respecter correspondent aux normes légales relatives aux différents
ensembles géographiques. Les valeurs contextuelles correspondent quant à elles au projet
précis : dans le cas du scanner d'aéroport, les valeurs de respect de la vie privée et de l'intimité.
Tout comme pour l'identification des parties prenantes, il semble qu'un être éthicien·ne pourrait
ici avoir un rôle à jouer et que l'habitude d'identifier les valeurs et de les classifier de façon
cohérente avec l'objet à développer puisse revêtir une utilité pratique partagée pour les
étudiant·e·s et ingénieur·e·s en informatique et pour les éthicien·ne·s. De plus, le recensement
des valeurs sur un projet concret pourrait être une manière pratique d'introduire l'enseignement
des cadres légaux.

En effet, l'appréhension des cadres légaux pour les étudiant·e·s de toutes les branches
d'études qui se destinent à travailler dans ou autour du domaine de l'intelligence artificielle
nous semble essentiel. Nous saisissons ici l'occasion de citer le référentiel de compétences
proposé en janvier 2022 par une unité de recherche québécoise intitulé *Former à l'éthique de
l'IA en enseignement supérieur : Référentiel de compétence*.<sup>157</sup> Dans cette publication, le
référentiel indique quatre champs de compétence en éthique de l'IA dont celui nommé « Les
cadres normatifs complémentaires » qui souligne que les connaissances des divers cadres
éthiques propres à l'IA constituent une compétence indispensable : « *Il est absolument
nécessaire de contraster les exigences en matière d'éthique de l'IA en les situant dans le cadre du
droit étatique et du droit international, notamment en ce qui concerne la protection de la vie
privée et des données personnelles. La personne compétente en éthique de l'IA doit également*

<footnote n="156">156 Catégorisation extraite de l'article: S. Umbrello, I. Van de Poel, « Mapping value sensitive design onto AI for social good principles », AI and Ethics, February 2021.</footnote>

<footnote n="157">¹⁵⁷ F. Bruneault, A. Sabourin-Laflamme, A. Mondoux, « Former à l'éthique de l'IA en enseignement supérieur : référentiel de compétence », [Référentiel de compétence], 2022, https://doi.org/10.31235/osf.io/38tfv</footnote>
connaître et pouvoir comparer les principaux cadres normatifs issus des chartes et des déclarations en éthique de l'IA qui ont été développés tant dans les milieux académiques que par des organisations internationales et des acteurs importants de l'industrie. Il est aussi important de pouvoir identifier les obligations prescrites par les codes de déontologie et les autres cadres normatifs. »<fnref n="158" /> Ce document étant une production québécoise, il ne fait par exemple pas mention du RGPD. Cependant la démarche semble d'autant plus indispensable en Europe que la communauté européenne est en passe d'entériner l'IA Act qui encadrera l'intelligence artificielle de façon à la rendre digne de confiance, centrée sur l'humain, éthique, durable et inclusive dès 2024.

### e) Relation entre les valeurs

Dans cette partie, Mélanie Gornet montre que les valeurs éthiques peuvent parfois entrer en tension dans la pratique. Elle illustre ces tensions dans un exemple fictif concernant le déverrouillage d'un téléphone. Afin que le programme reconnaisse le propriétaire d'un téléphone, l'étape la plus importante est la définition du seuil qui sépare les photos conformes des photos non conformes. En fonction que l'on privilégie le critère d'équité ou le critère de performance dans la programmation, les résultats évoluent. De nombreuses études ont documenté des biais algorithmiques, notamment pour les personnes noires. Joy Adowaa Buolamwini, informaticienne et militante numérique américain-ghanéenne a, par exemple, publié une thèse sur la question en 2021 qui a permis l'amélioration de certains logiciels d'IBM et Microsoft. Mélanie Gornet connaît bien ces biais et montre dans sa recherche comment le respect de l'équité (qui demanderait d'augmenter le seuil de tolérance) pourrait entraîner des problèmes de sécurité. Dans le cas qu'elle développe, la valeur d'équité entre en tension avec la valeur de sécurité.

<figure><img src="image_5.png" /><figcaption>FIGURE 9 - Histogramme des distances pour des paires positives et négatives : groupes séparés</figcaption></figure>

Visuel explicatif utilisé par Mélanie Gornet dans son rapport.

Les tensions rencontrées entre les valeurs éthiques dans la programmation nous semblent importantes à aborder pour les ingénieurs et étudiant en informatique. Cette réflexion peut s'adosser à un projet personnel, à un projet d'école, à un stage et se mener de

<footnote n="158">¹⁵⁸ *Ibid.*, p. 15.</footnote>
concert avec les enseignants des parties technique et éthique. Cette étape doit être menée
après un enseignement plus large (qui, pouvant être assez court, n'en est pas moins nécessaire)
sur la hiérarchie des valeurs. En effet, les étudiant·e·s doivent garder en tête que les hiérarchies
de valeurs dépendent du contexte. Si la valeur d'harmonie est centrale en Chine, elle n'est pas
même mentionnée en Europe. Au sein même de l'Europe, la hiérarchisation des valeurs s'opère
différemment sur la question de l'euthanasie. De même, dans un ensemble culturel donné, les
hiérarchisations bougeront selon le contexte spécifique et enfin, comme nous l'avons vu
d'abord, selon le projet. C'est cet aperçu complet qui pourra à notre avis permettre aux
étudiant·e·s de mieux appréhender leurs possibilités de choix dans une architecture normative
et culturelle plus large.

Il y a donc matière à de véritables réflexions collectives autour de cas d'études qui
pourraient être conçus en fonction des spécialités des sections des étudiant·e·s, et en regard des
normes européennes sur la question. L'éthique émerge souvent de tensions entre les valeurs et
les exprimer dans des exemples concrets nous paraît à même de sensibiliser les étudiant·e·s sur
leur part de responsabilité et sur les choix qui s'ouvrent à eux dans l'exercice de leurs fonctions.

Cette partie illustre aussi, sans grand besoin de théorie, la non-neutralité de la technique.
En effet, le travail de Mélanie Gornet prouve que chaque algorithme est né d'une multiplicité
de choix humains qui ont nécessité pour la plupart une conciliation entre une diversité de
facteurs : compétence technique du de la programmeur·euse, rentabilité, robustesse, valeurs
éthiques... Or, selon Mélanie Gornet, consultée dans un entretien ultérieur pour la relecture de
cette partie, si la notion de non-neutralité de la technique est assez communément acceptée en
philosophie de la technique, elle n'est absolument évidente pour les ingénieur·e·s en formation
qui, pour la plupart, la rejettent. Il nous semble donc crucial ici de pointer l'importance d'une
approche de la non-neutralité de la technique dans l'enseignement de l'éthique du numérique
mais sous une forme appliquée, telle que le travail de Mélanie Gornet nous y invite.

## 4. Conclusion

Notre parti pris ici est d'affirmer que l'éthique, loin de limiter les champs de recherche
techniques, peut au contraire les stimuler. La démarche de Mélanie Gornet nous semble à ce
titre exemplaire et particulièrement riche pour la formation à l'éthique du numérique spécifique
des ingénieur·e·s et des chercheur·euse·s des filières informatiques ainsi que pour les
éthicien·ne·s qui se destinent à l'éthique du numérique et de l'IA.

En effet, les éthicien·ne·s qui voudront travailler dans le secteur de l'IA devront être à
même d'analyser les spécificités techniques des projets, d'évaluer les points de rencontre
possibles dans les processus entre les pratiques, et prendre en compte la balance nécessaire entre
les possibilités et les contraintes techniques pour l'implémentation de valeurs éthiques dans le
code. Comme l'écrit Mélanie Gornet : « *Tous les critères ne peuvent être respectés en même temps. Ce phénomène est nommé le « no free lunch theorem »*<fnref n="159" />, autrement dit « rien n'est

<footnote n="159">¹⁵⁹ M. Gornet, « Enjeux d'éthiques liés aux algorithmes d'apprentissage machine et mise en œuvre technique de recommandations », [Projet de fin d'études-Rapport de stage], op. cit., p. 17.</footnote>
gratuit». Il signifie que si un critère est amélioré, un autre pourrait être dégradé. Le travail du de la concepteur·rice est donc de trouver un compromis entre tous ces critères et cela devrait être compris par les éthicien·nes spécialisé·es dans ce domaine.

Pour nous, la dimension fondamentale de l'analyse de la recherche de Mélanie Gornet est de
nous indiquer les moments de choix et les moments de liberté des programmeur·euse·s. La
formation à l'éthique du numérique appliquée doit, à notre avis, former majoritairement à cela :
apprendre à ceux et celles qui programment à prendre le recul nécessaire pour identifier les
moments où des choix sont effectués, ce qui n'est pas une démarche si courante. Identifier les
moments de choix, c'est donner de la liberté aux programmeur·euse·s tout en considérant les
contraintes de leurs métiers. Au moment où le développement de l'IA est important, où se
multiplie le nombre de nouvelles manières de faire, de nouveaux produits, où de nouveaux défis
explosent, le travail de recul que nous venons de mettre en avant est de plus en plus important.
Fanny Verrax, dans son ouvrage co-signé avec Laure Flandrin intitulé Quelle éthique pour
l'ingénieur ? qualifie ce type de démarche de « force de proposition », tout en rappelant que
tou·te·s les ingénieur·e·s n'ont pas la même marge de liberté et que certaines fonctions tiennent
plus de l'exécution que d'autres. Elle écrit : « Plusieurs exemples dans la littérature récente
montrent ainsi que l'ingénieur qui prend l'initiative de repenser le cahier des charges qui lui
est initialement imposé peut voir sa démarche couronnée de succès. La mise en œuvre de ce
pouvoir présuppose cependant la conscience aiguë de la globalité des enjeux posés lors de la
conception d'un produit, mais aussi une bonne connaissance des démarches alternatives. »<fnref n="160" />
Cette force de proposition des ingénieur·e·s peut fait chambre d'écho avec les efforts de
l'Europe pour une « intelligence artificielle de confiance, centrée sur l'humain, éthique, durable
et inclusive » à condition, à notre avis, d'y aménager et associer des espaces de discussions
pluridisciplinaires.

<footnote n="160">160 F. Verrax et L. Flandrin, *Quelle éthique pour l'ingénieur ?*, op. cit., p. 14.</footnote>
# Chapitre II : La place du corps et des émotions dans la pratique éthique à l'heure de la digitalisation des activités humaines et de la crise écologique

Fin 2021, l'université néerlandaise de Wageningen a publié une offre de PhD intitulée « Embedding pedagogies for dealing with dilemmas: emotions and ethics in higher education »<fnref n="161" />. Ce projet de recherche nous indique la voie d'un champ de recherche émergent que nous interprétons ici sous l'angle de la place du corps et des émotions dans la pratique éthique et sa prise en compte dans l'éducation à l'éthique du numérique. Un des responsables de ce PhD, Perry den Brok<fnref n="162" />, nous a donné lors d'un échange de courriels quelques motivations de cette offre de thèse dont nous retranscrivons un extrait traduit en français : « Aujourd'hui, les innovations dans les pédagogies de l'enseignement supérieur de l'ingénierie se concentrent principalement sur le transfert de connaissances scientifiques de haute qualité et sur l'étude objective des défis sociétaux, sur le soutien au développement de compétences techniques, sur les codes de conduite et sur l'intégration de multiples formes de connaissances pour répondre à ces défis. Bien que cela soit très pertinent, cela ne suffit pas à aborder les dimensions plus personnelles, affectives et morales de l'apprentissage. La nature des défis sociétaux actuels peut donner aux gens le sentiment d'être dépassés, provoquer un malaise émotionnel, de l'anxiété, un manque de motivation, un sentiment de paralysie et de ne pas savoir comment s'engager de manière responsable dans un monde incertain et contesté. Ce doctorat prend comme point de départ que l'enseignement universitaire devrait également s'engager dans des pédagogies et fixer des objectifs d'apprentissage qui mettent en lumière de telles expériences et qui, tout en s'efforçant de ne pas être prescriptives, aident les étudiants à les gérer. »

Les « défis sociaux », le « malaise » et « l'anxiété » face à un « monde incertain et contesté » évoqués par P. Den Brock ne manquent pas de faire écho à la fronde des ingénieurs · s souvent décrite en France.

En mai 2022, un groupe d'étudiant · es d'Agro Paris Tech appelle à la désertion dénonçant un cursus d'études les destinant à des métiers destructeurs pour la planète. La vidéo, issue d'une chaîne nommée « Des agros qui bifurquent », a été visionnée plus de 900 000 fois sur cette seule chaîne YouTube<fnref n="163" />. Leur discours, symptomatique d'une frange de la jeunesse peu confiante en l'avenir, s'achève par : « Ne perdons pas notre temps ! Et surtout ne laissons pas filer cette énergie qui bout quelque part en nous ! Désertons avant d'être coincés par des obligations financières. N'attendons pas que nos mômes nous réclament des sous pour faire du shopping dans le métavers, parce que nous aurons manqué de temps pour les faire rêver à autre chose. N'attendons pas d'être incapables d'autre chose qu'une pseudo-reconversion dans le

<footnote n="161">¹⁶¹ En français : « Intégrer des pédagogies pour faire face aux dilemmes : émotions et éthique dans l'enseignement supérieur ».</footnote>

<footnote n="162">¹⁶² Perry den Brok est professeur en “Éducation et sciences de l’apprentissage” à la “Wageningen University” aux Pays-Bas et anime une chaire sur ce sujet. Ses recherches s’intéressent à l’innovation pédagogique, à la création d’environnements propices à l’éducation et à la formation continue des professeurs · es. Il dirige également une chaire dans le centre « 4TU, Centre for Engineering Education.</footnote>

<footnote n="163">¹⁶³ Des agros qui bifurquent, *Appel à déserter – Remise des diplômes AgroParisTech 2022, 10 mai 2022*, YouTube, https://www.youtube.com/watch?v=SUOVOC2Kd50</footnote>
continue d'irriguer la vie intellectuelle de l'ULB à travers une chaire qui porte son nom et qui s'intéresse aux domaines divers qu'il a articulés au long de sa vie : le droit, l'histoire de l'art et la rhétorique. Il ne faut pas négliger dans cette lignée l'apport d'un autre philosophe, Eugène Dupréel, dont Chaïm Perelman se revendique disciple. Eugène Dupréel, mort en 1967, philosophe et sociologue, prit le parti audacieux de faire l'apologie des sophistes plutôt que des philosophes grecs afin de mettre en avant la richesse des pensées plurielles et du partage nécessaire de la vérité.

Dans la lignée des enseignements de Perelman et de Dupréel, Emmanuelle Danblon, professeure de rhétorique et d'argumentation à l'ULB, a publié un ouvrage intitulé *L'homme rhétorique* dans lequel le corps et les émotions humaines sont envisagés comme de véritables boussoles éthiques. L'autrice, comme l'ont fait Dupréel et Perelman avant elle, revient à la Grèce antique et sur ce qui a au fil du temps séparé la pensée de Platon et d'Aristote, du maître et de l'élève. Nous nous arrêterons en particulier sur une partie de son essai intitulée « Comment exprimer ses émotions ? » qui défend principalement la thèse que « *les émotions sont une condition de la raison* ».<fnref n="168" />

Importée dans la cité par des penseurs étrangers, la rhétorique fleurit à Athènes au moment où le système démocratique rend nécessaire aux citoyens d'
user de leur parole dans les institutions publiques. Les sophistes se font payer pour dispenser leurs enseignements oratoires à la manière des *coachs* contemporains. Platon critique vertement cette pratique qui a selon lui pour seul but la persuasion au détriment de la vérité. Il démontre comment la rhétorique peut aboutir à des raisonnements faux du point de vue logique (ce que l'on appelle aujourd'hui des sophismes en opposition aux syllogismes). La vérité doit selon Platon se découvrir par des méthodes formelles logiques dans lesquelles les émotions n'ont pas leur place. Emmanuelle Danblon écrit : « *Comme son maître Platon, [Aristote] paraît soucieux d'associer à la puissance de la parole publique tous les nouveaux critères de la raison théorique et syllogistique. Et pourtant, il ne se résout pas à abandonner l'idée que, de l'exercice de cette pratique, pourrait naître un honnête homme, un phronimos, capable de développer, d'abord pour lui-même, ensuite, dans la vie publique, des qualités de cœur et de corps qu'il continue, de façon aussi lucide qu'obstinée, à associer à la raison.* »<fnref n="169" />

Ce clivage autour de la place des émotions dans la définition de la rationalité survit en creux dans les esprits contemporains, et en particulier dans le monde académique, entre les sciences que l'on nomme « dures » et les sciences humaines et sociales. La défiance, supposée ou réelle, des ingénieur·e·s à l'égard d'un autre type de rationalité que la méthode scientifique est un sujet qui est revenu fréquemment dans les auditions que j'ai menées. Il semble qu'un travail sur la nature de la rationalité aboutissant à la mise en avant de rationalités multiples pourrait aider à apaiser certaines tensions d'étudiant·e·s en ingénierie ou en sciences tiraillé·e·s dans leur perception du vrai entre leur ressenti émotionnel et leurs pratiques techniques et scientifiques.

<footnote n="168">¹⁶⁸ E. Danblon, *L'homme rhétorique : culture, raison, action*, Paris, Cerf, 2013, p. 89.</footnote>

<footnote n="169">¹⁶⁹ *Ibid*., p. 70.</footnote>
La pensée de Perelman quant au rationnel et au raisonnable apporte à ce titre un éclairage intéressant. La tragédie des camps de la Seconde guerre mondiale a marqué la vie de l'auteur, juif et résistant, comme celle des intellectuels d'après-guerre qui, pris de stupeur se demandaient : comment a-t-on pu en arriver là ? Pour répondre à cet effroi, Perelman a développé une philosophie du raisonnable.<fnref n="170" /> Emmanuelle Danblon écrit à ce propos : « *En introduction de sa Nouvelle Rhétorique – dont le titre est un hommage volontaire à Aristote – [Perelman] affirme que le modèle cartésien de la raison n’a été d’aucun secours contre les tragédies de la Deuxième guerre mondiale. Toutes les raisons exprimées dans les grandes propagandes totalitaires, leurs conséquences politiques et la conception de l’homme qu’elles véhiculaient n’ont pas été “raisonnables”.* »<fnref n="171" />. Il est donc question dans la philosophie du raisonnable de se détacher de l’unique positivisme, et de la pensée qu’est vrai uniquement ce qui peut répondre à la logique formelle. Pour le montrer, Perelman investit le champ de rationalité du droit et montre comment le raisonnable y émerge, sans pour autant tenter de le définir ou le circonscrire. Comme le décrit un de ses commentateurs, Perelman travaille à « *dépasser les oppositions traditionnelles, pour retrouver, dans la vie même du droit, une synthèse harmonieuse, pragmatique, entre idéal et réalité, acceptabilité et formalisme.* »<fnref n="172" /> Dans *Éthique et droit*, il dresse le constat que le droit positif s’est trouvé dans l’impossibilité de qualifier le crime d’Adolf Eichmann lors du procès de Nuremberg, crime qui allait pourtant de soi dans la conscience collective. C’est donc pour Perelman, le raisonnable (convoquant ce qu’Emmanuelle Danblon a qualifié de « qualités de cœur et de corps »), qui a permis aux jurés du procès de Nuremberg de sortir de l’impasse, et non une conception réductionniste du rationnel qui aurait pu se contenter de suivre les énoncés.

Comment opérer la « synthèse harmonieuse » perelmanienne dans le champ du numérique ? La sortie du dualisme cartésien et la prise en considération du corps et des émotions semblent des pistes émergentes. Le *Manuel de la grande transition* du collectif FORTES publié en 2020 propose deux recommandations pour déjouer une rationalité technoscientifique ayant, selon les auteurs et les autrices, comme écueil paroxystique un avenir construit sur une vision transhumaniste se traduisant par une extériorisation totale de nos capacités cognitives<fnref n="173" />, (ainsi d’ailleurs que de notre destinée partielle, que certains se représentent hors de la planète Terre). Le collectif FORTES recommande en premier lieu de « *subordonner les solutions technologiques et économiques à des critères d’équité et de durabilité, etc.* »<fnref n="174" />. Cependant, les auteurs-trices-s réduisent la portée de cette recommandation en indiquant que le développement technologique, aussi équitable et durable puisse-t-il devenir, ne pourrait être l’unique solution aux problèmes écologiques principalement à cause de ses besoins en ressources minérales et énergétiques non renouvelables. Ainsi les auteurs-trices-s concluent en second lieu à la nécessité d’adjoindre dans l’éducation le développement de

<footnote n="170">¹⁷⁰ Voir article : M. Côté, « La philosophie du raisonnable de Chaïm Perelman. », *Laval théologique et philosophique*, 1985, 41.2, p. 195-204.</footnote>

<footnote n="171">¹⁷¹ E. Danblon, *L'homme rhétorique : culture, raison, action, op.cit.*, p. 63.</footnote>

<footnote n="172">¹⁷² HAARSCHER Guy, « Perelman (Chaïm). *Le raisonnable et le déraisonnable en droit. Au-delà du positivisme juridique*. », [compte-rendu], *Revue belge de Philologie et d'Histoire*, 1988, 66-4, p. 927-928.</footnote>

<footnote n="173">¹⁷³ RENOUARD Cécile et al., *Manuel de la grande transition*, Paris, Ed. Cécile Renouard et al., Les Liens qui libèrent, 2020, p. 237.</footnote>

<footnote n="174">¹⁷⁴ *Ibid.*, p. 239.</footnote>
compétences techniques et scientifiques à « *des capacités relationnelles, collectives, d'acteurs divers* »<fnref n="175" />.

## B) Le corps médié

Claude Kirchner dans un article intitulé « *Éthique de la conversion numérique* »<fnref n="176" /> met en avant un concept qui pourrait à lui seul spécifier ce que nous cherchons à approcher depuis le début quant à la spécificité de l'éthique du numérique. Il s'agit de l'intermédiation numérique. L'intermédiation numérique pointe tous les espaces physiques ou symboliques d'échanges de l'information qui sont de plus en plus investis par les technologies numériques et opèrent de ce fait des bouleversements à tous les niveaux. Tel que l'affirme Claude Kirchner, revenant à la cybernétique, les êtres vivants sont « *des systèmes de traitement d'information biologique* »<fnref n="177" />. Le numérique est intégré à un nombre croissant d'espaces d'échange d'informations qui étaient autrefois reliés au corps et ses capacités propres. Nous sommes passés de langages sifflés servant à communiquer d'une vallée à l'autre, au téléphone filaire, au téléphone portable et bientôt aux outils de téléphonie holographiques.<fnref n="178" /> Ainsi nos capacités corporelles, le son de notre voix, notre présence corporelle, nos émotions sont traduites en langage informatique. Elles sont intermédiées. Claude Kirchner écrit : « *Nous avons donc créé une catégorie d'outils, les STIN, dont l'essence même est similaire à notre capacité de traitement d'information humaine et dont l'utilisation induit une conversion de nos capacités cognitives et de nos cultures pour aller vers une hybridation de ces deux modes de traitement de l'information, le numérique et le biologique.* »<fnref n="179" />

C'est à l'endroit de cette hybridation entre numérique et biologique qu'émergent les questionnements éthiques relatifs au numérique selon Claude Kirchner. Nous allons tenter dans cette partie de filer la pensée de C. Kirchner en nous concentrant sur les conséquences de l'intermédiation numérique sur le corps, physique, psychique et social.

Pour commencer, prenons le temps d'une longue citation, nécessaire pour entrer dans la pensée de l'auteur, de l'ouvrage de Daniel Heller-Roazen, *Une archéologie du toucher*, où l'auteur dénonce une apathie sensitive civilisationnelle et lance un appel à réfléchir l'éthique à partir de cette perte.

Il écrit : « *Notre monde est désormais l'image inversée de celui de l'Antiquité : ceux qui s'égarent du côté de l'excès de sensation « ne se rencontrent pas vraiment », et les individus qui, dans la vie, ne ressentent pas la douleur ou « la joie qui convient » se font de plus en plus nombreux chaque jour.* D'où les nouveaux noms et figures de l'être sans affect dans nos œuvres littéraires et dans les répertoires et manuels de nos sciences médico-psychiatriques ; d'où les

<footnote n="175">¹⁷⁵ *Ibid.*, p.240.</footnote>

<footnote n="176">¹⁷⁶ C. Kirchner, « *Éthique de la conversion numérique* », [Colloque], article issu de *Conférence nationale des académies*, Oct. 2022, Bordeaux, à paraître.</footnote>

<footnote n="177">¹⁷⁷ Claude Kirchner précise que l'être humain ne se limite néanmoins pas à cela..</footnote>

<footnote n="178">¹⁷⁸ Voir le travail de la compagnie Matsuko implantée en Slovaquie. https://www.matsuko.com/</footnote>

<footnote n="179">¹⁷⁹ C. Kirchner, « *Éthique de la conversion numérique* », op. cit.</footnote>
visages et les corps impassibles qui envahissent toujours plus massivement nos écrans, nos livres, nos journaux. Une insensibilité commune, qu'Aristote aurait jugée bien « inhumaine », est devenue la règle : nous sommes tous, pour réécrire la célèbre formule de Musil, « des hommes sans qualités perceptives ».[...] De même que l'éthique de l'Antiquité partait naturellement des formes de sensibilité humaine qui lui paraissaient évidentes, de même la nôtre doit aujourd'hui commencer par enquêter sur l'absence chez les êtres pensants de toute « perception générale » : comment cette disparition est-elle survenue ? Où peut-elle encore nous mener ? Toute éthique digne de ce nom doit affronter la promesse et la menace dont est porteuse la sensation qu'aujourd'hui peut-être – ou peut-être pas encore – nous ne sentons plus rien du tout. »<fnref n="180" />

Certaines innovations technologiques pourraient-elles expliquer la disparition de la sensation soulevée par Daniel Haller-Roazen ?

Le design de l'émotion nous semble à ce titre paradigmatique. Les réseaux sociaux encouragent l'internaute à réagir toujours plus par l'intermédiaire de réactions pré-calibrées. Les émoticônes de colère, de joie, de peine, d'étonnement invitent à des réactions émotionnelles immédiates tellement standardisées qu'elles en deviennent abstraites. Que peut-on savoir de soi lorsque la palette d'expression de nos émotions est aussi drastiquement réduite ? Que peut-on sentir de soi lorsque des invitations incessantes à exprimer des ressentis nous éloignent quotidiennement de toutes les nuances existantes pour les qualifier ? Ne devenons-nous pas nos propres boîtes noires ? Sommes-nous égaux quand nous ressentons de l'énervement, de l'agacement, de la fureur, de la jalousie, de l'emportement, de la contrariété, de l'animosité ou de la fâcherie ? Les arts, qui n'ont eu cesse de développer ces palettes d'émotions, en cherchant toujours à les détailler et les complexifier, pointent ce lien existentiel entre nos émotions et l'expérience de la vie même. L'intermédiation technique relative à l'expression des émotions n'est pas en soi problématique. Un musicien exprime son ressenti à travers son instrument. Mais l'instrument n'a pas de fonction cachée, contrairement aux algorithmes des réseaux sociaux qui répondent à des intérêts d'entreprise. Rappelons à ce propos un énième scandale concernant le réseau social Facebook révélant qu'avant 2021 les publications ayant récolté des réactions de colère avaient jusqu'à cinq fois plus de chance d'être vues que les publications ayant récolté des réactions « j'aime ».<fnref n="181" /> Cette hiérarchisation implémentée dans l'algorithme a entraîné une valorisation des publications les plus polémiques, voir aidé à l'essaimage d'informations fausses. Qu'arrive-t-il à notre intériorité lorsque l'expression des sentiments est façonnée à grande échelle et convoquée à des fins qui ne sont pas les nôtres ?

Nous allons maintenant étendre notre raisonnement au corps social et, en particulier, aux risques que l'intermédiation numérique fait courir aux systèmes démocratiques. La défense de la démocratie est largement évoquée dans les textes règlementaires de l'Union européenne

<footnote n="180">¹⁸⁰ HELLER-ROAZEN Daniel, *Une archéologie du toucher*, trad. fr. P. Chemla, Paris, Seuil, 2011, p. 320.</footnote>

<footnote n="181">¹⁸¹ J. B., Merrill, W. Oremus, « Five points for anger, one for a ‘like’: How Facebook’s formula fostered rage and misinformation. », *The Washington Post*, publié le 26/10/2021 à 7 h, https://www.washingtonpost.com/technology/2021/10/26/facebook-angry-emoji-algorithm/</footnote>
concernant l'IA, mais il est plus difficile de comprendre et d'anticiper exactement à quels niveaux cette valeur fondamentale est mise en danger. Depuis le scandale de Cambridge Analytica, une partie importante de la population a pris conscience de l'influence des réseaux sociaux et de l'aspect problématique des bulles informationnelles, sans pour autant nous mettre à l'abri d'autres types de dérives. Une étude américaine issue de chercheurs de l'université de Standford intitulée « A facial similarity between voters and candidates causes influence » a développé différentes expériences sur les préférences dans les votes à partir des conclusions d'études en sciences sociales démontrant que les gens sont attirés par les personnes qu'ils perçoivent comme « similaires ». Les scientifiques ont opéré des morphoses numériques sur des images de candidatures politiques fictives en transformant subrepticement les images de ces personnalités politiques pour tendre vers la morphologie individuelle des votants. Des tests ont été réalisés sur un échantillon de personnes avec un ensemble d'images transformées et un ensemble d'images non transformées. L'étude met en avant, avec des précautions, que ce procédé qui intègre de façon dissimulée des caractéristiques d'un visage sur un autre, influence positivement l'avis des sondés sur les candidatures présentées, à condition qu'elles ne soient pas déjà connues du public. En effet, ce procédé ne semble pas efficace pour les personnages politiques connus sauf pour les votantes les plus indécises et les moins construites politiquement. D'autre part, l'étude montre que les personnes n'ont pas eu conscience des manipulations visuelles opérées, alors que la faculté d'analyse humaine des visages, qui mobilise des zones du cerveau spécifiques, est particulièrement développée. Nous recommandons à nos lecteurs d'aller voir les images des différentes morphoses opérées dans l'article précité, que nous ne reproduisons pas ici pour des questions de protection de droits.<fnref n="182" />

Nous le voyons, les interstices de l'intermédiation numérique sont un terrain propice pour la création d'altérations de l'échange d'informations d'un genre nouveau. Certaines de ces altérations se logent dans ce que l'on appelle des « biais cognitifs ». Un biais cognitif est une déviation de la pensée logique et rationnelle par rapport à la réception d'une information. La question des biais cognitifs a été abondamment traitée dans la presse ces dernières années et ressort également du rapport Bronner, paru en 2022 et intitulé « Les Lumières à l'ère numérique »<fnref n="183" />, qui recommande de renforcer l'éducation à l'esprit critique pour mettre les générations futures en capacité de faire preuve de discernement quant aux fausses nouvelles propagées sur le web et autres types de manipulations. Relativement à notre positionnement sur la promotion des différents types de rationalités, nous souhaitons ici nous arrêter sur ce qui, à notre avis, pourrait aggraver un phénomène de dissonance cognitive et de désertion d'une partie des étudiantés, si l'approche choisie pour l'éducation à l'esprit critique mène à discréditer les émotions et les intuitions.

<footnote n="182">¹⁸² J. Bailenson, S. Iyengar, N. Yee, et al., « Facial Similarity between Voters and Candidates Causes Social Influence », *Public opinion quarterly*, 2008, 72.5, p. 935-961, https://stanfordvr.com/mm/2008/bailenson-facial-similarity.pdf</footnote>

<footnote n="183">¹⁸³ Rapport de la Commission Bronner (janvier 2022), « Les Lumières à l'ère numérique », mission confiée par le président français Emmanuel Macron le 29 septembre 2021.</footnote>
Lorsque l'on observe les réponses aux questions posées aux ingénieur·e·s déserteur·euse·s concernant leur reconversion, on note une mise en avant de l'engagement associatif, c'est-à-dire du collectif, un retour à la terre et une mise en avant du corps et des émotions. Citons par exemple quelques extraits d'une interview de Romain Boucher, un ingénieur diplômé de l'École des Mines et d'un master en mathématiques appliquées et statistiques, qui a démissionné avec fracas de sa fonction de "data scientist" pour mieux dénoncer le rôle du numérique, du big data et de l'IA dans le ravage écologique et social. Il déclare : « Cela fait froid dans le dos de mesurer à quel point une majorité d'ingénieurs et de scientifiques sont désincarnés, détachés voire inconscients de la dimension politique de leur travail, alors qu'ils sont au cœur de la machine techno-industrielle. » Ou encore : « Casser la routine urbaine néo-managériale par un rythme beaucoup plus sauvage et spontané, rompre avec la froideur grise de la ville pour me retrouver dans un bouillon de vie et d'éléments a été une source d'inspiration et d'énergie, en cohérence avec mes objectifs de lutte. »<fnref n="184" /> Le champ lexical lié au corps, aux sensations, aux perceptions abonde dans ces deux citations : « froid dans le dos », « désincarnés », « détachés », « rythme », « sauvage », « spontané », « froideur grise », « bouillon de vie », « source d'inspiration », « énergie ». Dans le récit de cet ancien « expert en mégadonnées », deux mondes s'opposent : un monde gris et froid composé d'individus désincarnés, et un monde spontané et bouillonnant, composé d'individus ayant retrouvé leur énergie. L'analyse d'autres discours de déserteur·euse·s met en avant des similitudes.<fnref n="185" />

Nous décelons dans ces discours une souffrance à l'endroit d'un corps perdu qui fait écho à l'appel déjà cité de Daniel Heller-Roazen : « Toute éthique digne de ce nom doit affronter la promesse et la menace dont est porteuse la sensation qu'aujourd'hui peut-être – ou peut-être pas encore – nous ne sentons plus rien du tout ». Cette peur de la perte de sensation doit nous appeler à la vigilance, nous faire réagir. Par exemple, en nous interrogeant sur la possibilité d'existence de l'éthique elle-même dans ce cadre. Dans quelle mesure, en effet, les outils numériques à l'heure du design de l'émotion de masse sont-ils à même de dérégler notre boussole éthique intérieure et collective ?

Ainsi, selon nous, si l'intermédiation numérique peut mener à une atrophie ou à une hypertrophie perceptive (selon les points de vue), l'éducation à l'éthique du numérique devrait interroger la place du corps dans la société ultra-technicisée. Alors que le rapport Bronner invite à former un « esprit analytique capable de résister à certaines de nos intuitions immédiates » entrevu comme « une compétence centrale pour distinguer le vrai du faux, en particulier sur Internet et les réseaux sociaux. »<fnref n="186" />, nous pensons qu'il serait plus utile de former non pas à résister à certaines intuitions immédiates, mais d'y revenir encore et encore, à la manière des grand·e·s méditant·e·s qui prennent du recul sur leurs pensées en observant régulièrement la

<footnote n="184">¹⁸⁴ Anonyme, « Désertion sans transition. Entretien avec Romain Boucher, ingénieur déserteur. », lundi matin, N°286, le 4 mai 2021, https://lundi.am/Desertion-sans-transition</footnote>

<footnote n="185">¹⁸⁵ Notons par exemple la phrase prononcée par une des déserteuses ayant pris la parole lors de la remise des diplômes 2022 d'AgroParisTech : « Je me forme aujourd'hui pour m'installer demain et travailler de mes mains ».</footnote>

<footnote n="186">¹⁸⁶ Rapport de la Commission Bronner (janvier 2022), « Les Lumières à l'ère numérique », mission confiée par le président français Emmanuel Macron le 29 septembre 2021, p. 13.</footnote>
récurrence de ses phénomènes. Rejeter, résister aux intuitions immédiates comporte pour nous
le risque d'aggraver la honte prométhéeenne décrite par le philosophe Gunther Anders, honte
qui concourt à un sentiment de dépassement et de dépréciation des capacités humaines
comparativement à la perfection des machines, pouvant mener à un rejet du monde technique
en même temps qu'un rejet de soi, phénomène que Gunther Anders décrit dans son essai comme
une « *a-synchronicité chaque jour croissante entre l'homme et le monde qu'il a produit.* »<fnref n="187" />

En regard des observations précédentes, nous penchons, dans les pas de Claude Kirchner, pour hisser la question de l'intermédiation et ses effets sur le corps physique, psychique et social, comme clé centrale d'appréhension des enjeux éthiques dans le cadre de l'enseignement à l'éthique du numérique à destination des ingénieurs et chercheurs des filières informatiques. Il nous semble impératif que ces étudiants aient accès au développement de ce concept, afin de leur donner les outils intellectuels nécessaires pour ressentir le pouvoir que leur confère la mise en place d'outils d'intermédiation numérique, et de travailler à ce que ce pouvoir aille de pair avec une valorisation de leur responsabilité morale. L'activation de cette notion sous différentes approches, dont l'approche philosophique, nous semble à même d'apporter aux étudiants un outil de conceptualisation permettant un véritable recul critique. Cependant, nous nous demandons si l'éducation à la compréhension des mécanismes sous-jacents des outils numériques permettront à eux-seuls l'avènement d'une éthique capable d'agir sur le monde, ce qui semble hautement nécessaire à l'heure où l'essor du numérique se heurte à la question de la soutenabilité environnementale. En plus d'un apport théorique sur cette notion, il faudrait selon nous, se tourner vers des approches pratiques impliquant le corps, les émotions et les sensations. Ces approches pédagogiques auraient pour objectif de développer un « phronimos » tel qu'Emmanuelle Danblon le décrit, capable de faire régner la concorde dans un monde complexe pour façonner le monde à notre mesure humaine et d'inciter les auditoires à développer « *une disposition à vivre ensemble.* »<fnref n="188" />

En outre, nous pensons qu'il est nécessaire d'ouvrir la possibilité de travailler sur les
imaginaires. En effet, il faut dire, et c'est là notre thèse, que l'imaginaire esthétique convoqué
par l'univers de la technique et celui convoqué dans l'imaginaire de la défense de la nature
n'ont pour le moment que peu de points de rencontre. Nous nous permettons ici le récit d'une
expérience personnelle dans le milieu de l'art numérique. Nous nous souvenons d'avoir
participé au premier Printemps numérique bruxellois organisé à Kanal-Georges Pompidou, un
lieu culturel prestigieux de la capitale belge. Notre installation artistique, présentant une œuvre
de réalité virtuelle, avait pour décor des tapis d'herbe synthétique et trois bacs à fleurs, réelles.
Ces fleurs colorées constituaient les seuls éléments naturels de toute l'immense halle dans
laquelle nous exposions. Cela m'apparaît rétrospectivement comme un symbole d'une
esthétique du numérique érigeant encore et encore un humain démiurge, ayant acquis le pouvoir
de se libérer de la nature, comme une fusée quitte la Terre. Il est en effet plus rare dans les
expositions numériques de voir des œuvres discrètes, accompagnant la nature dans ses diverses

<footnote n="187">¹⁸⁷ G. Anders, *L'obsolescence de l'homme : sur l'âme à l'époque de la deuxième révolution industrielle*, trad. fr. C. David, Paris, Éditions de l'Encyclopédie des nuisances, 2002. (1ère édition1956), p. 31.</footnote>

<footnote n="188">¹⁸⁸ DANBLON Emmanuelle, « Quels mots pour convaincre ? », *Sciences Humaines*, vol. 246, no. 3, 2013, p. 13.</footnote>
manifestations, pour les révéler. C'est ainsi que nous émettons l'hypothèse, qu'il faudrait bien évidement creuser, d'un déficit esthétique-cognitif quant à la possibilité d'envisager conjointement le numérique et la défense de l'environnement. Nous sommes consciente de n'exposer dans ces lignes que notre opinion, bien que celle-ci soit ancrée dans des années de pratique du milieu artistique, mais nous pensons qu'il y a, à cet endroit, un travail de fond à opérer pour stimuler les possibles et les talents dans la création de cultures numériques capables de fédérer différents types d'espoirs. C'est ainsi que nous comprenons aussi la position de Yann Ferguson dans son audition que nous retranscrivons : « *Je pense que dans nos écoles d'ingénieurs, on doit peut-être arrêter de se dire que notre rôle c'est de former des ingénieurs pour l'industrie mais de se dire que l'ingénierie est une compétence qui doit porter des idées de progrès qui pourront être délivrées dans tous les domaines de la société, qu'elles soient liées au domaine industriel ou au domaine associatif, liées à la technique ou pas. Les compétences et capacités des ingénieurs que nous formons vont bien au-delà de l'industrie et de la technique. Elle permettent de faire face à des situations extrêmement complexes avec des esprits extrêmement bien structurés.* <fnref n="189" />»

L'ouverture à d'autres modes d'inscription sociale des activités techniques au sein des écoles d'ingénieurs nous semble devoir ou pouvoir s'accompagner d'autres modes d'expression, tel que l'art. Ainsi, des recherches croisées pourraient permettre d'accéder de façon plus intuitive à l'appréhension de questions éminemment complexes, telle que celle de l'intermédiation numérique et, pourquoi pas, de permettre aux ingénieurs de faire le lien avec la société civile et de construire « un sens » commun.

### C) La place du corps dans l'enseignement de l'éthique

Avec l'essor des incitations à l'enseignement à l'éthique de l'IA, nous avons vu de nombreux cours en ligne être proposés.<fnref n="190" /> Cette tendance nous questionne, notamment relativement à l'importance du corps et des émotions que nous venons de mettre en avant dans la pratique de l'éthique.

La recommandation sur l'intelligence artificielle de l'Unesco prône la généralisation de l'enseignement de l'éthique de l'IA et invite dans le point 106, que nous retranscrivons ci-dessous, à mettre en place « des cours en ligne et des ressources numériques. »<fnref n="191" />

106. Les États membres devraient mettre au point, conformément à leurs traditions et à leurs programmes d'éducation nationale, des programmes d'enseignement de l'éthique de l'IA pour tous les niveaux, et favoriser la collaboration croisée entre l'enseignement de compétences techniques dans le domaine de l'IA et les aspects humanistes, éthiques et sociaux de l'éducation à l'IA. Des cours en ligne et des ressources numériques concernant l'éducation à l'éthique de l'IA devraient être élaborés dans les langues locales, y compris les langues autochtones, et

<footnote n="189">¹⁸⁹ Audition de Yann Ferguson, volume d'annexes du mémoire, p. 24.</footnote>

<footnote n="190">¹⁹⁰ Voir à titre d'exemple : Université Paris-Saclay, « Ethics&Stics », [MOOC], https://www.fun-mooc.fr/fr/cours/ethics-stics/</footnote>

<footnote n="191">¹⁹¹ UNESCO, « Rapport de la commission sciences sociales et humaines », 41 C/73, 21/11/21, Annexe - p. 23</footnote>
tenir compte de la diversité des environnements, en veillant notamment à l'accessibilité des formats utilisés pour les personnes handicapées.

La formulation de l'Unesco ne remet pas en question l'enseignement de l'éthique en présentiel mais ne mentionne explicitement que deux options, toutes deux numériques. Pourquoi cette insistance sur les formats numériques dans le texte de l'Unesco ? Nous ne pouvons répondre à cette question mais notons l'appel à la prudence de Catherine Tessier, qui a fait partie du groupe international d'experts mandaté pour la rédaction de la recommandation de l'Unesco, et qui pointe dans un article « Éthique et IA : analyse et discussion » un risque de « dévoiement de l'éthique »<fnref n="192" />. Dans son article, C. Tessier interroge les finalités d'un recours massif à l'utilisation du terme « éthique » dans les textes internationaux et pointe une faiblesse à l'endroit de la possibilité réelle laissée à la réflexion sur les finalités de telle ou telle application technologique au profit de ce qu'elle qualifie, en empruntant le terme au philosophe Marc Hunyadi, une « petite éthique », c'est-à-dire une éthique servant à opérer des aiguillages sans interroger la visée, la plus-value et le besoin des développements technologiques. C. Tessier affirme dans ce texte sa vision de l'éthique, aussi défendue dans le manifeste du CNPEN, d'une éthique réflexive à l'opposé d'une simple mise en conformité avec des normes. C'est ainsi que C. Tessier en appelle à une éthique de l'éthique de l'IA qui rendrait difficile le recours à l'éthique à fin de « donner bonne conscience » ou de servir simplement « d'argument de vente ».<fnref n="193" />

La prise de position de Catherine Tessier ne manque pas de faire écho à une vision de l'enseignement de l'éthique réduite à une série de vidéos atomisant les individus derrière leurs écrans et omettant totalement le processus central de la pratique de l'éthique qui est celui de la délibération en groupes permettant de construire sa pensée dans son expression partagée.

De plus, dans son audition, Alexeï Grinbaum relate avoir constaté rétrospectivement une diminution de près de deux points aux notes reçues par ses étudiant·e·s aux examens pour ses cours d'éthique dispensés à Paris-Saclay pendant la période du confinement, où il avait dû mettre en place son enseignement en distanciel. Les étudiant·e·s avaient alors moins intégré la matière et produit en conséquence des travaux de moins bonne qualité. Il déclare : « Je vois une très forte différence entre l'enseignement en ligne et l'enseignement en présentiel. Ce n'est pas vrai pour toutes les matières mais c'est absolument vrai pour l'enseignement de l'éthique du numérique. (...) L'aspect de l'éthique de la vertu doit être présent et cela passe par la présence de la personne qui incarne l'intérêt de cette réflexion. Il faut que ce soit émotionnel. L'enseignement de l'éthique n'est pas un transfert de connaissances. Ce n'est pas comme faire des calculs. Il faut montrer un mode de pensée, une réflexion et les incarner.<fnref n="194" /> »

Ainsi, nous souhaitons attirer l'attention sur l'importance du processus délibératif et du corps en présence dans l'enseignement de l'éthique et appelons à sa promotion et défense.

<footnote n="192">¹⁹² C. Tessier, « Éthique et IA : analyse et discussion », *CNIA 2021 : Conférence Nationale en Intelligence Artificielle*, Juin 2021, Bordeaux.</footnote>

<footnote n="193">¹⁹³ *Ibid*.</footnote>

<footnote n="194">¹⁹⁴ Audition d'Alexeï Grinbaum, volume d'annexes du mémoire, p. 40.</footnote>
D) Exemples d'exercices pouvant être utilisés pour l'intégration de l'émotion, de la sensation et du corps dans l'enseignement de l'éthique du numérique.

The Shift Project : Une approche artistique et émotionnelle

Les questionnements sur la place de l'émotion dans la formation des ingénieurs·es sont présents dans le manifeste du The Shift Project, *Former l'ingénieur du XXIᵉ siècle*. Le schéma reproduit ci-dessous publié en page 48 du manifeste indique six étapes « pour appréhender une situation avec éthique ». Parmi celles-ci, une étape s'intitule « Rechercher des voies alternatives ». Elle recommande d'avoir recours à la fiction, à la littérature, aux imaginaires alternatifs et se de reconnecter aux émotions.

<figure><img src="image_6.png" /></figure>

Reproduit avec l'aimable autorisation de Damien Amichaud, chef de projet ClimatSup INSA – Enseignement supérieur, pour le The Shift Project.
Thierry Ménissier et Fabienne Martin Juchat<fnref n="195" /> : une approche ludique et corporelle

Thierry Ménissier et Fabienne Martin Juchat ont travaillé la question de l'humanité dans un contexte ultra-technicisé à travers un « serious game », qu'ils ont créé et intitulé *Be human in the chaos*<fnref n="196" />. Ce jeu questionne les joueur·euse·s sur ce qu'est l'humanité à l'heure de la prolifération de non-humains numériques et sonde le trouble que cette cohabitation entraîne. Il y est question selon Thierry Ménissier, de « *redevenir sensible à l'humanité* ».<fnref n="197" /> Le jeu se présente sous la forme de cartes à jouer comportant plusieurs persona : « humains augmentés », « objets connectés », « divinités », « robots humanoïdes »... et des exercices kinésiques. Les joueur·euse·s sont invité·e·s à réaliser des improvisations par le mouvement sur le mode de la composition instantanée en imaginant se trouver dans un contexte de « civilisation avancée », et en se mettant dans la peau des personna susmentionnées. T. Ménissier cite pour expliciter sa motivation dans l'élaboration de ce jeu une phrase de Montaigne : « *Je n'ai aucune connaissance que mon corps ne m'ait appris* ».<fnref n="198" />

### Emmanuelle Danblon : visiter physiquement les valeurs éthiques

Emmanuelle Danblon dans son cours « Théories et pratique de la rhétorique » propose d'approcher les « valeurs floues » par leur contraire. La valeur de justice est par exemple très vaste et, à ce titre, abstraite. En revanche, si l'on pense à l'injustice, et en particulier aux injustices que nous avons subies, la valeur de justice prend immédiatement corps. De la même façon, la dignité humaine est assez abstraite si l'on cherche à la définir à quelqu'un d'autre. En revanche, si l'on pense ou si l'on fait penser aux numéros tatoués sur les bras des prisonniers des camps pendant la Seconde guerre mondiale, la compréhension du concept de dignité est immédiate. Nous pourrions comprendre le « voile d'ignorance » de John Rawls comme fonctionnant en bonne partie sur ce mécanisme. Si l'on se place au centre d'une décision sociale concernant la justice sans savoir quelle place sociale nous aurions dans cette société imaginaire, alors nous prenons immédiatement fait et cause pour les solutions protégeant les plus faibles. Ces exercices d'imagination sensorielle et d'identification renforcent la compétence empathique nécessaire à la délibération éthique dans la mesure où une écoute active et bienveillante y est requise.

### Collectif FORTES, *Manuel de la grande transition* : pédagogie tête-corps-cœur

Le *Manuel de la grande transition* propose de nombreux exercices basés sur la pédagogie « tête-corps-cœur » qui permettent de lier compréhensions intellectuelle, sensorielle et

<footnote n="195">¹⁹⁵ Fabienne Martin-Juchat est professeure à l'Université Grenoble Alpes (UGA). https://www.univ-grenoble-alpes.fr/fabienne-martin-juchat-539593.kjsp</footnote>

<footnote n="196">¹⁹⁶ Voir l'article : F. Martin-Juchat, T. Ménissier, « Se projeter affectivement dans la modernité avancée : action collective, réflexivité, autonomie », *Revue Française des Sciences de l'Information et de la Communication*, [en ligne], 14 | 2018, URL : https://journals.openedition.org/rfsic/4068</footnote>

<footnote n="197">¹⁹⁷ Mind, *MMS#4 Un serious game: Be human in the chaos*, 17 novembre 2016, Youtube, https://www.youtube.com/watch?v=OaVXDVi29bw.</footnote>

<footnote n="198">¹⁹⁸ *Ibid*., 3 min 33.</footnote>
émotionnelle comme, par exemple, l’apprentissage en mouvement.<fnref n="199" /> Citons un exemple d’exercice décrit dans l’ouvrage qui s’intitule « Passer du récit à la réalité ». Les auteurs invitent les enseignants à pratiquer cet exercice pour approfondir leur réflexion pédagogique. Cet exercice peut également être proposé aux étudiants. L’exercice découpé en trois points est le suivant : « Pour commencer, prenez un temps pour réfléchir à des situations qui vous mettent mal à l’aise, en colère, et/ou vous attristent. Suite à cette réflexion, citez trois valeurs qui vous semblent fondamentales mais que vous jugez trop peu présentes autour de vous. Votre vie personnelle vous semble-t-elle déjà en accord avec ces valeurs ? Comment pourriez-vous agir pour les promouvoir et les incarner concrètement dans votre environnement ? »<fnref n="200" />.

## Éric Fourneret : développer la compétence empathique

Éric Fourneret travaille avec ses étudiants la compétence empathique dans le cadre de débats argumentés. Cette compétence passe par l’apprentissage de l’écoute de l’autre. L’évaluation des étudiants se base sur la qualité des exposés mais aussi sur leur capacité à avoir écouté ceux des autres, leur capacité à avoir émis de véritables arguments pour faire avancer les discussions... Apprendre à ne pas se couper la parole est déjà un pari selon Éric Fourneret. Il transmet l’idée que plus que d’être la victoire d’un rapport de force, couper la parole est un défaut d’empathie, qui empêche d’apprendre de l’autre et même d’émettre un meilleur avis divergeant par la suite.<fnref n="201" />

<footnote n="199">¹⁹⁹ C. Renouard et al., *Manuel de la grande transition*, Paris, Ed. Cécile Renouard et al., Les Liens qui libèrent, 2020, p. 356.</footnote>

<footnote n="200">²⁰⁰ *Ibid.*, p.224.</footnote>

<footnote n="201">²⁰¹ Audition d’Éric Fourneret, volume d’annexes du mémoire, p. 31-32.</footnote>
# CINQUIÈME PARTIE

## Conclusion / Recommandations
pour l'amélioration des formations à l'éthique du numérique

### A) Conclusion

Cette partie de recommandations a été définie comme objectif du stage que nous avons effectué au CNPEN. Nos recherches avançant, encouragée par nos encadrants, les recherches que nous avions initialement prévues pour ce mémoire se sont confondues avec celles effectuées dans le cadre du stage, qui a été largement prolongé pour nous permettre de profiter de ce cadre très propice pour mener une enquête de terrain et approfondir nos connaissances sur l'éthique du numérique. Ainsi ce mémoire et notre rapport de stage sont identiques, comme le souhaitent notre maîtresse et maître de stage du CNPEN.

Nos recommandations feront dans ce format particulier office de conclusion. Elles reflètent nos positions quant à la question posée dans ce mémoire : « Quelles pistes d'évolution pour la formation à l'éthique du numérique dans le supérieur (ingénierie et filières scientifiques) ? ».

Ces propositions ne remettent pas en question les enseignements existants dont nous saluons la diversité et la richesse et mais proposent de prêter attention aux initiatives, restant pour le moment en marge, qui indiquent à notre avis de fortes tendances dont pourrait bénéficier l'enseignement de l'éthique du numérique.

Dans ce mémoire, nous avons choisi de nous focaliser sur les expériences des enseignants. Cependant, nous pensons que cette recherche pourrait aisément être développée, en allant sonder et interroger des responsables d'institutions et chef-fe-s d'entreprises sur leurs attentes d'un côté, et des étudiant-e-s et associations d'étudiant-e-s de l'autre. D'autre part, si notre recherche a été menée en France avec des apports importants des autres pays francophones, une étude de portée européenne, voire internationale, serait souhaitable.
## B) Sept recommandations pour la formation à l'éthique du numérique

### 1. Pour la création d'une formation qualifiante pilote de pointe pluridisciplinaire en éthique de l'IA

#### Le projet

Nous imaginons la mise en place d'une formation qualifiante pilote<fnref n="202" /> de pointe pluridisciplinaire. Cette formation pourrait se présenter sous la forme d'un mastère spécialisé d'une année<fnref n="203" />. Le public cible de ces formations devrait être déjà formé et capable de passer à la réalisation d'un projet pratique. La pédagogie s'appuierait sur le concept du « problem based learning »<fnref n="204" />. Les étudiant·e·s seraient invité·e·s à co-construire la définition de la recherche à développer.<fnref n="205" /> La visée de la formation serait de former des professionnel·le·s de différents secteurs dans un espace commun.

#### Le public

Cette formation pluridisciplinaire s'adresserait à des ingénieur·e·s, chercheur·e·s en informatique ET des éthicien·ne·s ET éventuellement d'autres branches des SHS, tels que la sociologie, le droit, etc. Cette formation s'adresserait aussi aux autodidactes de talent ainsi qu'à des étudiant·e·s ayant arrêté un cursus et ayant par ailleurs accumulé assez d'expériences pour être en mesure d'intégrer la formation, et aux professionnel·le·s en reconversion.

#### Champ de recherche envisagé pour la formation

À l'exemple de la recherche menée par Mélanie Gornet<fnref n="206" />, nous identifions un champ de recherche prometteur à l'endroit de la recherche appliquée entre machine learning et réflexion éthique. Cette capacité à produire des rapports précis du travail éthique mené dans le développement d'outils, et l'anticipation des failles possibles, nous semblent être une démarche d'excellence pour la certification de produits propres à inspirer la confiance des citoyen·ne·s européen·ne·s, tel que le promeuvent les textes de l'Union. Il semble d'autre part que ce type

<footnote n="202">²⁰² Voir l'audition de G. Dowek, volume d'annexes du mémoire, p. 16. La notion de projet pilote est issu de l'audition réalisée avec G. Dowek qui recommande d'opérer des tests in situ dans des universités pilotes avant de généraliser les formations.</footnote>

<footnote n="203">²⁰³ Un mastère spécialisé assez proche existe à Toulouse. Voir l'article de C. Sauvage, « Anticiper les chocs à venir » : à Toulouse, le mastère qui change la vie des ingénieurs, Le Monde, 27 janvier 2022, publié à 8 h. (https://www.lemonde.fr/campus/article/2022/01/27/anticiper-les-chocs-a-venir-a-toulouse-le-mastere-qui-change-la-vie-des-ingenieurs_6111175_4401467.html)</footnote>

<footnote n="204">²⁰⁴ Notion abordée par Yann Ferguson dans son audition, volume d'annexes du mémoire, p. 22. Le « problem-based learning » est une approche basée sur les étudiant·e·s dans laquelle il·elle·s apprennent en travaillant en groupes autour de la résolution d'un problème dont la fin n'est pas résolue d'avance.</footnote>

<footnote n="205">²⁰⁵ La question du pourquoi est revenue à de multiples reprises tant du côté des enseignant·e·s que des étudiant·e·s. Laisser les étudiant·e·s co-construirent leur projet et objet de recherche nous semble la meilleure option pour amener la question du sens et provoquer l'adhésion et l'enthousiasme du groupe à développer un projet commun.</footnote>

<footnote n="206">²⁰⁶ Voir la quatrième partie du mémoire, Chapitre I, point C).</footnote>
de démarche puisse être à même de générer le développement d'outils ou de solutions dans un secteur en plein essor.

Les objectifs principaux de la formation :

- Former de futur·e·s enseignant·e·s spécialisé·e·s en éthique du numérique et/ou futur·e·s expert·e·s en éthique du numérique ;

- Former les participant·e·s à posséder de hautes aptitudes à la réflexion transversale les rendant plus compétent·e·s pour répondre aux demandes des règlementations européennes et répondre au souhait des consommateurs en termes de valeurs embarquées dans les objets techniques<fnref n="207" /> ;

- Faire figure de référence au niveau européen avec cette formation pilote axée sur le « machine learning » dans une logique de coopération de haut niveau entre étudiant·e·s issu·e·s de disciplines différentes autour d'un projet innovant d'utilité sociale ;

- Produire de la littérature scientifique intéressant les différents champs de recherche investis dans la formation, y compris dans l'optique de servir de matériaux à la création de formations en éthique ;

- Dépasser les barrières entre les sciences dites « dures » et les SHS au moment où de nombreuses voies convergent vers une nécessité de collaboration entre les savoirs<fnref n="208" /> ;

- Donner un cadre stimulant pour des étudiant·e·s ou profils passionnés de technologie désirant s'investir dans des pratiques de développement technologique pensés pour le bien commun où développer des solutions.

## 2. Regrouper les professionnel·e·s du secteur pour penser les notions de compétences et de connaissances dans le cadre de la formation à l'éthique du numérique à destination des ingénieur·e·s et étudiant·e·s en informatique

Au Québec, en janvier 2022, le premier référentiel de compétence basé sur une approche « pragmatiste » intitulé : « Former à l'éthique de l'IA en enseignement supérieur »<fnref n="209" /> a été rendu public. Ce document, d'une grande qualité, ne manque pas d'intérêt et l'on pourrait rapidement conclure que les autres pays, dont la France et la Belgique, devraient soit l'utiliser, soit en produire un plus conforme à leurs besoins spécifiques.<fnref n="210" />

Cependant, les retours de la spécialiste française d'éthique de l'ingénieur, Christelle Didier, concernant l'importance d'adapter les formations à l'éthique à la culture du pays

<footnote n="207">²⁰⁷ Voir l'audition de Yann Ferguson, volume d'annexes du mémoire, p. 22.</footnote>

<footnote n="208">²⁰⁸ Voir entre de nombreux autres documents le rapport Villani *Donner un sens à l'intelligence artificielle*, ainsi que le *Manuel de la grande transition*.</footnote>

<footnote n="209">²⁰⁹ F. Bruneault, A. Sabourin-Laflamme, A. Mondoux, « Former à l'éthique de l'IA en enseignement supérieur : référentiel de compétence », op.cit.</footnote>

<footnote n="210">²¹⁰ Par exemple, les valeurs mises en avant dans ce document ne sont pas conformes à la hiérarchie choisie en Europe face à la question de l'IA. Les auteur·rice·s préconisent de situer les enjeux éthiques des SIA « notamment en ce qui a trait aux questions liées à la nécessité de prêter attention à la diversité, l'inclusion et l'égalité »²¹⁰. En Europe, la charte des droits fondamentaux de l'Union Européenne stipule que : « l'Union se fonde sur les valeurs indivisibles et universelles de dignité humaine, de liberté, d'égalité et de solidarité ; elle repose sur le principe de la démocratie et le principe de l'État de droit ».</footnote>
d'enseignement et le débat polémique autour de la notion de compétence en France<fnref n="211" />, nous poussent à favoriser une concertation large des enseignants-d'éthique autour des notions de connaissances et compétences et leur répartition dans les enseignements d'éthique du numérique.

D'autre part, Christelle Didier souligne qu'une approche par la compétence a des avantages mais est insuffisante pour permettre aux professionnels en situation de dilemmes éthiques de se positionner. La morale personnelle n'est en effet qu'une composante de la réflexion éthique qui doit nécessairement être complétée par une compréhension du contexte de l'entreprise et de la société dans laquelle la personne exerce. La formation devrait donc permettre d'envisager les enjeux collectifs en particulier dans le contexte de crise énergétique et environnementale que nous traversons.

La pédagogie de l'éthique, en particulier celle de l'IA, en est à ses balbutiements en France (et à la vue de la documentation existante, il semble en aller de même en Belgique). Si, comme nous l'a indiqué Christelle Didier, la création de formations implique un fondement préalable de savoirs-savants sur lesquels opérer une transposition, la question de quels sont ces savoirs-savants ne peut être évitée. Cependant, la pluralité des approches didactiques et de contenus que nous avons ciblés dans la partie III de ce mémoire est une richesse. Loin de s'en dégager, nous pensons que les spécialistes devraient pouvoir trouver une occasion, un lieu, une plateforme, un laboratoire... où faire rayonner leurs savoirs afin qu'ils s'inscrivent dans des approches nationales concertées.

3. Rendre une formation conséquente en éthique du numérique obligatoire pour les ingénieurs et les étudiant-e-s des filières informatiques

4. Développer les recherches en éthique qui intègrent le non-humain et voir comment les transposer dans les formations à l'éthique du numérique dans une visée de soutenabilité environnementale

La crise environnementale est notre réalité et sera à plus forte raison celle des générations à venir. La vision de la nature comme une ressource à la disposition de l'humain vacille à la faveur d'une compréhension toujours plus forte de l'interdépendance. Au niveau éthique, différents outils permettent de prendre en compte des parties prenantes autres qu'humaines. Par exemple, la matrice éthique de Mepham permet de mettre en lien dans une grille éthique trois principes éthiques (respect pour le bien-être, autonomie et justice/équité) et autant de parties prenantes que nécessaire. Ainsi, des espèces animales ou des espaces naturels peuvent être choisis pour figurer dans les parties prenantes.

Le numérique est une source de pollution croissante. Ses besoins en matières premières ne cessent d'augmenter. Paradoxalement, la conscience de la matérialité du numérique est encore faible. Intégrer des parties prenantes non-humaines, reliées au domaine de la nature, dans les

<footnote n="211">²¹¹ Voir l'audition de C. Didier, volume d'annexes du mémoire, p. 8 et p. 10.</footnote>
débats éthiques concernant le numérique peut aider les étudiant·e·s à conscientiser la responsabilité de leur secteur dans le problème environnemental que nous rencontrons.<fnref n="212" />

En outre, les nouvelles technologies, notamment la robotique, convoquent des problèmes éthiques d'un genre nouveau qui ne concernent parfois pas des agents humains, tel le fait de savoir s'il est éthiquement souhaitable de remplacer les abeilles polinisatrices par des robots abeilles.<fnref n="213" /> Ainsi, développer des outils et des réflexions intégrant le non-humain nous semble indispensable dans la formation à l'éthique du numérique.

**5. Recenser et développer les recherches liant formation à l'éthique du numérique et soutenabilité environnementale. Favoriser les recherches intégrant des consultations avec des acteur·trice·s de terrain et des associations étudiantes afin de parvenir à la diffusion d'outils pédagogiques adaptés et concertés**

Comme nous l'avons indiqué, des ouvrages qui prennent en compte l'éthique et la transition énergétique et écologique se multiplient. En revanche, à notre connaissance, il ne semble pas y avoir de publications de référence à la hauteur de l'enjeu concernant l'enseignement spécifique de l'éthique du numérique corrélu aux enjeux de soutenabilité environnementale. Ce champ de recherche doit donc être investit et encouragé dans les plus brefs délais. Nous pensons que les étudiant·e·s devraient donner des impulsions sur les contenus en fonction des productions déjà existantes, ou au moins être consulté·e·s quant à ce processus de création de contenus pédagogiques, qui n'en seraient que plus riches.

En outre, l'espace imaginaire convoqué par le vocabulaire lié au numérique, tel qu'intelligence artificielle ou réalité virtuelle, n'a a priori par grand-chose de commun avec celui que convoque la défense de l'environnement. Ainsi, l'éthique du numérique a un travail particulier à accomplir pour mettre en avant les valeurs éthiques qui pourront accompagner un renouvellement de la pensée du numérique, rendant possible son inclusion dans les imaginaires communs comme secteur pouvant œuvrer aux objectifs globaux de soutenabilité. Lors de nos auditions, nous avons pris note de notions propres à être développées dans cette optique, telles que la durabilité et la réparabilité.

<footnote n="212">²¹² Dans un entretien filmé, le philosophe Bruno Latour relate une expérience qu'il a menée avec des étudiant·e·s autour d'une question philosophique et éthique qu'il énonce ainsi : « Que se passe-t-il dans une assemblée s'il n'y a pas que des humains qui représentent des humains ou des nations, mais aussi les êtres dont on parle qui se représentent eux-mêmes ? » Ainsi, dans l'assemblée d'étudiant·e·s créé par Bruno Latour et ses collaborateur·trice·s, des délégations telles que : France, Brésil, États-Unis, Océan, Arctique et Pétrole, échangeaient sur le même plan autour de diverses problématiques.</footnote>

<footnote n="213">²¹³ C. Peyronnet, « Ces robots qui pourraient remplacer les abeilles », Le Figaro, publié le 04/08/2014 à 13:13, Mis à jour le 04/08/2014 à 15:20 (https://www.lefigaro.fr/secteur/high-tech/2014/08/04/32001-20140804ARTFIG00133-ces-robots-qui-pourraient-remplacer-les-abeilles.php)</footnote>
6. Développer des pédagogies intégrant le corps et les émotions dans l'enseignement de l'éthique

Tel que nous l'avons mis en avant dans le chapitre II de la partie IV, la prise en
considération du corps et des émotions, notamment l'éco-anxiété, participe pour nous d'un
champ de recherche trop peu exploré dans l'enseignement de l'éthique. L'approche par le corps
et les émotions dans le cadre de la formation des ingénieur·e·s et chercheur·e·s en sciences nous
semble pourtant particulièrement intéressante pour dépasser, en autres, les clivages entre théorie
et pratique. C'est un champ entier de la pédagogie qui s'ouvre et qui, nous le croyons, répond
aux besoins des étudiant·e·s. La prise en compte du corps, des émotions et sensations dans
l'enseignement de l'éthique du numérique nous semble également constituante d'une vision de
l'humanisme, dont une des missions serait de libérer l'humanité d'un trop lourd complexe
prométhéen.

7. Promouvoir l'enseignement de l'éthique du numérique en groupe et en présentiel (pour autant que le contexte sanitaire l'autorise) et instituer ce type d'enseignement comme le seul pouvant donner accès à une qualification en éthique
BIBLIOGRAPHIE

Monographies

ANDERS Gunther, *L'obsolescence de l'homme : sur l'âme à l'époque de la deuxième révolution industrielle*, trad. fr. C. David, Paris, Éditions de l'Encyclopédie des nuisances, 2002. (1ère édition 1956).

ARISTOTE, *Rhétorique*, révision trad. fr. P. Vanhemelryck, Le Livre de Poche, 1991.

BEAUCHAMP Tom L., CHILDRESS James F., *Principles of Biomedical Ethics*. Oxford, Oxford University Press, 2001.

BERNS Thomas, REIGELUTH Tyler, *Éthique de la communication et de l'information. Une initiation philosophique en contexte technologique avancé*, Bruxelles, Éditions de l'Université de Bruxelles, 2021.

COMITÉ NATIONAL PILOTE D'ÉTHIQUE DU NUMÉRIQUE, *Pour une éthique du numérique*, Coordonné par Éric Germain, Claude Kirchner et Catherine Tessier, P.U.F, 2022.

DANBLON Emmanuelle, *L'homme rhétorique : culture, raison, action*, Paris, Cerf, 2013.

DIDIER Christelle, *Penser l'éthique des ingénieurs*, Paris, P.U.F, 2008.

FLANDRIN Laure, VERRAX Fanny, *Quelle éthique pour l'ingénieur ?*, Éditions Charles Léopold Mayer, 2019.

FOUCAULT Michel, *Surveiller et punir*, Gallimard, 1993.

HELLER-ROAZEN Daniel, *Une archéologie du toucher*, trad. fr. P. Chemla, Paris, Seuil, 2011.

HANS Jonas, *Le Principe responsabilité*, trad. fr. J. Greisch, Paris, Les éditions du Cerf, 2013, (reprise de l'édition de 1995).

LATOUR Bruno, *Enquête sur les modes d'existence : une anthropologie des modernes*, Paris, La Découverte, 2012.

MELVILLE Herman, *Bartelby le scribe*, trad. fr. P. Leyris, Paris, Folio, Editions Gallimard, 1996.

PERELMAN Chaïm, OLBRECHTS-TYTECA Lucie, MEYER Michel, *Traité de l'argumentation : la nouvelle rhétorique*, Bruxelles, Éditions de l'Université de Bruxelles, 2008, (6e édition).

RENOUARD Cécile, et. al., *Manuel de la grande transition*, Paris, Ed. Cécile Renouard et al., Les Liens qui libèrent, 2020.
O'NEIL Cathy, *Algorithmes : la bombe à retardement*, trad. fr. S. Marty, France, Les Arènes, décembre 2018.

TOUSSAINT Stéphane, *Humanismes, Antihumanismes. De Ficin à Heidegger. Tome 1*, Paris, Belles lettres, 2008.

VINCENT-LANCRIN Stephan, et. al., *Développer la créativité et l'esprit critique des élèves : Des actions concrètes pour l'école*, La recherche et l'innovation dans l'enseignement, Paris, Éditions OCDE, 2020. https://doi.org/10.1787/8ec65f18-fr.

## Thèses de doctorat

BOUDREAU Marie-Claude, « La compétence éthique en milieu de travail : Une perspective pragmatiste pour sa conceptualisation et son opérationnalisation », Thèse de doctorat en philosophie pratique, sous la direction d'André Lacroix, co-dirigé par Luc Béguin, Université de Sherbrooke, 2019.

PIETERS Céline, *The words of robotics: a rhetorical approach*, Thèse de doctorat en sciences appliquées, sous la direction d'Emmanuelle Danblon et Jean-Paul Laumond, INSA de Toulouse, Université libre de Bruxelles, 2020. English.

## Articles et publications scientifiques

BAILENSON Jeremy N., IYENGAR SHANTO, Yee Nick, et. al., « Facial Similarity between Voters and Candidates Causes Social Influence », *Public opinion quarterly*, 2008, 72.5, p. 935-961. Web.

BERNS Thomas, et. al., « Secret et transparence : une réflexion à partir de l'analyse des formes de normativité à l'époque contemporaine », *Rue Descartes*, 2020, vol. 98, no. 2, p. 118-144.

BERNS Thomas, « Les secrets de la transparence : l'exemple du moteur de recherche », *Pistes*, à paraître en 2022, numéro sur "Que faire de la transparence technique ?", ed. Tyler Reigeluth et Seddik Benlaksira.

BERNS Thomas, « Insulte et droit post-souverain », *Multitudes*, 2015, vol. 59, no. 2, p. 120-125.

BERNS Thomas, ROUVROY Antoinette, « Gouvernementalité algorithmique et perspectives d'émancipation. Le disparate comme condition d'émancipation par la relation ? », *Réseaux*, vol. 177, no. 1, p. 163-196.

BERNS Thomas, ROUVROY Antoinette, « Le nouveau pouvoir statistique. Ou quand le contrôle s'exerce sur un réel normé, docile et sans événement car constitué de corps "numériques"...», *Multitudes*, 2010, vol. 40, no. 1, p. 88-103.
BONNEMAINS Vincent, TESSIER Catherine, SAUREL Claire, « Machines autonomes »éthiques» : questions techniques et éthiques », *Revue française d'éthique appliquée*, 2018, vol. 5, no. 1, p. 34-46.

BRUNEAULT Frédérick, SABOURIN-LAFLAMME Andréanne, MONDOUX André, « Former à l'éthique de l'IA en enseignement supérieur : référentiel de compétence », [Référentiel de compétence], 2022, https://doi.org/10.31235/osf.io/38tfv

CÔTÉ Marcel, « La philosophie du raisonnable de Chaïm Perelman. », *Laval théologique et philosophique*, 1985, 41.2, p. 195-204.

DANBLON Emmanuelle, « Quels mots pour convaincre ? », *Sciences Humaines*, vol. 246, no. 3, 2013, p.13.

DIDIER Christelle, « Chercheurs de sens, discrètes sentinelles d'un monde qui vient », *revue responsables*, MCC, 2020, 447, p. 14-15.

DIDIER Christelle, « Quels contenus pour un enseignement en éthique pour de futurs ingénieurs ? Bilan après 10 ans d'expérience d'enseignement », dans B. Feltz, P. Goujon, B. Hériard Dubreuil, S. Lavelle, W. Lesch, *Éthique, technique et démocratie*, Éditions Academia, 2007, p. 271-287.

DIDIER Christelle, « Les ingénieurs et l'éthique professionnelle. Pour une approche comparative de la déontologie. » dans C. Gadéa, D. Demazières, *Sociologie des groupes professionnels. Acquis récents et nouveaux défis*, La Découverte, 2009, p. 208-218.

EDWARDS Lilian, VEALE Michael, « Slave to the algorithm? Why a 'Right to an explanation' is probably not the remedy you are looking for », *Duke law and technology review*, 2017, 16-1, p. 1-65.

GORNET Mélanie, « Enjeux d'éthiques liés aux algorithmes d'apprentissage machine et mise en œuvre technique de recommandations », [Projet de fin d'études-Rapport de stage], CNPEN, L'ISAE SUPAERO, Sciences Po, 2021.

HAARSCHER Guy, « Perelman (Chaïm). *Le raisonnable et le déraisonnable en droit. Au-delà du positivisme juridique*. », [compte-rendu], *Revue belge de Philologie et d'Histoire*, 1988, 66-4, p. 927-928

KIRCHNER Claude, « Éthique de la conversion numérique », dans *Mémoires de l'Académie des sciences, arts et belles-lettres de Caen. Conférence nationale des académies*, vol LVII, Caen, octobre 2022, ISBN 978-2-9557991-6-1

LE BRIS Catherine, « Transhumanisme et Droits de l'homme : la protection de l'humanité et de l'identité humaine. » *Droit, Santé et Société*, 2020, 3-4.3, p. 21-32.

LE MOLI Ginevra, « IA vs dignité humaine : quand la sous-performance humaine est légalement requise », La revue européenne du Droit, 2022, n°4, p. 122-128.
MARKS Elizabeth, HICKMAN Caroline, PIHKALA Panu, CLAYTON Susan, LEWANDOWSKI Eric R., MAYALL Elouise E., WRAY Britt, MELLOR Catriona, VAN SUSTEREN Lise, « Young People's Voices on Climate Anxiety, Government Betrayal and Moral Injury: A Global Phenomenon. », The Lancet Planetary Health, 2021, Volume 5, Issue 12, https://doi.org/10.1016/S2542-5196(21)00278-3

MAZEAU Laurène, « Intelligence artificielle et responsabilité civile : Le cas des logiciels d'aide à la décision en matière médicale », *Revue pratique de la prospective et de l'innovation*, 2018, 1, p. 38-43.

MARTIN-JUCHAT Fabienne, MÉNISSIER Thierry, « Se projeter affectivement dans la modernité avancée : action collective, réflexivité, autonomie », *Revue Française des Sciences de l'Information et de la Communication*, [en ligne], 14 | 2018, URL : https://journals.openedition.org/rfsic/4068

MÉNISSIER Thierry, « Quelle éthique pour l'IA ? Naissance et développements de l'intelligence artificielle à Grenoble », [Colloque Académie Delphinale], *Naissance et développement de l'intelligence artificielle*, Grenoble, 10 octobre 2019.

MÉNISSIER Thierry, « Un “moment machiavélien” pour l’intelligence artificielle ?: La Déclaration de Montréal pour un développement responsable de l’IA. », *Raisons politiques : études de pensée politique*, N°77.1, 2020.

MÉNISSIER Thierry, « Les formes imparfaites de la souveraineté numérique », [Séminaire “Société & souveraineté”], IPhI G & PACTE, UGA, Grenoble, Déc. 2020.

MEPHAM Ben, « A Framework for the Ethical Analysis of Novel Foods: the Ethical Matrix », *Journal of Agricultural and Environmental Ethics*, 12, p. 165-176.

PERELMAN Chaïm, « L’usage et l’abus des notions confuses », *Logique et Analyse*, vol 21, no. 81, 1978, p. 3-17.

RASMUSSEN Anne, « Critique du progrès, “crise de la science” : débats et représentations du tournant du siècle », *Mil neuf cent*, 1996, n°14, p. 89-113.

ROUVROY Antoinette, ZACKLAND Manuel, « Enjeux éthiques situés de l'IA », *Revue française des Sciences de l'information et de la communication*, n°25, 2022.

SCHUMACHER Ernst Günter, « “Éthique” et “morale” en français, en allemand et en anglais », *Revue du MAUSS*, 2006, no. 2, vol. nº 28, p. 367-382.

TESSIER Catherine, « Éthique et IA : analyse et discussion », *CNIA 2021 : Conférence Nationale en Intelligence Artificielle*, Juin 2021, Bordeaux (en ligne), p. 22-29.

URBANSKI Sébastien, « Compte-rendu d'ouvrage - E. Danblon, L'Homme rhétorique. Culture, raison, action », [compte-rendu], *Revue européenne des sciences sociales*, 2015.
## Textes normatifs sur l'éthique du numérique et de l'IA

CNIL, « Comment permettre à l'homme de garder la main ? Les enjeux éthiques des algorithmes et de l'intelligence artificielle, synthèse du débat public animé par la CNIL dans le cadre de la mission de réflexion éthique confiée par la loi pour une république numérique », décembre 2017.

Commission européenne (2020), « Livre blanc. Intelligence artificielle. Une approche européenne axée sur l'excellence et la confiance. », publication de la commission, COM (2020) 65 final, février 2020, Bruxelles.

Commission européenne (2021), « Proposition de Règlement du parlement européen et du conseil établissant des règles harmonisées concernant l'intelligence artificielle (Législation sur l'intelligence artificielle) et modifiant certains actes législatifs de l'Union », (2021/0106 (COD), avril 2021, Bruxelles.

Groupe d'experts indépendants de haut niveau sur l'intelligence artificielle (GEHN IA), « The Assessment List For Trustworthy Artificial Intelligence (ALTAI) », le 17 juillet 2020.

Groupe d'experts indépendants de haut niveau sur l'intelligence artificielle (GEHN IA), « Lignes directrices en matière d'éthique pour une IA digne de confiance », le 8 avril 2019.

Déclaration de Montréal pour un développement de l'IA responsable de l'intelligence artificielle, 2018.

Parlement européen (2020), « Avis de la commission de la culture et de l'éducation à l'intention de la commission des affaires juridiques contenant des recommandations à la Commission sur le cadre des aspects éthiques de l'intelligence artificielle, de la robotique et des technologies afférentes », (2020/2012(INL)), 3 septembre 2020, Bruxelles.

Parlement européen (2021), Résolution du parlement « L'intelligence artificielle dans les domaines de l'éducation, de la culture et de l'audiovisuel », Rapport d'initiative du Parlement européen du 19 mai 2021 sur l'intelligence artificielle dans les domaines de l'éducation, de la culture et de l'audiovisuel, (2020/2017(INI)), 19 mai 2021, Bruxelles.

Rapport de la Commission Bronner (janvier 2022), « Les Lumières à l'ère numérique », mission confiée par le président français Emmanuel Macron le 29 septembre 2021.

UNESCO, « Rapport de la commission sciences sociales et humaines (SHS) », 41 C/73, 21 novembre 2021.

VILLANI Cédric (mars 2018), « Donner un sens à l'intelligence artificielle. Pour une stratégie nationale européenne. », mission confiée par le Premier ministre français Édouard Philippe, mission parlementaire du 8 septembre 2017 au 8 mars 2018.
## Avis, charte et rapports de comités d'éthique

ALLISTENE, « Proposition de formation doctorale. Initiation à l'éthique de la recherche scientifique », Cahier de la CERNA, juin 2016.

ALLISTENE, « Éthique de la recherche en robotique », Rapport n°1 de la CERNA, 2014.

CNPEN, « Le "véhicule autonome" : enjeux d'éthique », avis n°2, 2021.

CNPEN, « Agents conversationnels et enjeux d'éthique », avis n°3, 2021.

IESF, « Charte d'éthique de l'ingénieur », 2001.

Rapport d'activité du CCNE 2019-2020.

## Manifestes

CNPEN, « Manifeste pour une éthique du numérique », Avril 2021.

Ingénieurs sans frontières, « Manifeste Pour une formation citoyenne des ingénieurs », 2014.

The Shift Project, « Former l'ingénieur du XXIᵉ siècle », 2022.

## Articles de presse

Anonyme, « Désertion sans transition. Entretien avec Romain Boucher, ingénieur déserteur. », lundi matin, N°286, le 4 mai 2021, https://lundi.am/Desertion-sans-transition

BREUNEVAL Fanny, « Les écoles d'ingénieurs libèrent la parole sur l'écoanxiété », novethic, publié le 27 octobre 2022, https://www.novethic.fr/actualite/economie/isr-rse/les-ecoles-d-ingenieur-liberent-la-parole-sur-l-ecoanxiete-151151.html

CHAVANNE Yannick, « Microsoft remplace son score de productivité par un score d'adoption », ICT Journal, publié le 28 août 2022 à 16h55, https://www.ictjournal.ch/news/2022-08-29/microsoft-remplace-son-score-de-productivite-par-un-score-dadoption

DE LAUBIER Charles, « Pourquoi le numérique contribue de plus en plus au réchauffement climatique », Le Monde, publié le 09 janvier 2022 à 17h30, https://www.lemonde.fr/economie/article/2022/01/09/le-numerique-dans-le-piege-climatique_6108779_3234.html

FALCO Élodie, « NFT, Babtou, écoanxiété... Quels mots font leur entrée dans le dictionnaire Le Petit Robert 2023 ? », Le Journal du Dimanche, publié le 15 octobre 2022 à 15h37,
https://www.lejdd.fr/Culture/nft-babtou-ecoanxiete-quels-mots-font-leur-entree-dans-le-dictionnaire-le-petit-robert-2023-4140960

GOMEZ Pierre-Yves, « Phénomène de “grande démission” : L’effet boomerang de la gestion individualisée des performances », *Le Monde*, publié le 26 septembre 2022 à 18h00
https://www.lemonde.fr/emploi/article/2022/09/26/l-effet-boomerang-d-une-gestion-individualisee-des-performances_6143280_1698637.html

PEYRONNET Charlotte, « Ces robots qui pourraient remplacer les abeilles », *Le Figaro*, publié le 04 août 2014 à 13h13, https://www.lefigaro.fr/secteur/high-tech/2014/08/04/32001-20140804ARTFIG00133-ces-robots-qui-pourraient-remplacer-les-abeilles.php

MERRILL Jeremy B., ORESMUS Will, « Five points for anger, one for a ‘like’: How Facebook’s formula fostered rage and misinformation. », *The Washington Post*, publié le 26 octobre 2021 à 7 h,
https://www.washingtonpost.com/technology/2021/10/26/facebook-angry-emoji-algorithm/

MILLER Marine, « “La Révolte”, enquête sur cette “élite de la nation” qui veut travailler autrement », *Le monde*, publié le 13 octobre 2021 à 15 h 00,
https://www.lemonde.fr/campus/article/2021/10/13/la-revolte-enquete-sur-cette-elite-de-la-nation-qui-veut-travailler-autrement_6098195_4401467.html

NASI Margherita, « Dans les écoles d’ingénieurs aéronautiques, la déprime “existentielle” des étudiants », *Le Monde*, publié le 16 décembre 2021 à 02 h 02,
https://www.lemonde.fr/campus/article/2021/12/16/turbulences-ethiques-dans-les-ecoles-d-ingenieurs-aeronautiques_6106228_4401467.html

QUIGNON Catherine, « Dans les entreprises, l’essor du management par les algorithmes », *Le Monde*, publié le 20 février 2022 à 17h00
https://www.lemonde.fr/economie/article/2022/02/20/dans-les-entreprises-l-algorithme-prend-la-direction_6114517_3234.html.

SAUVAGE Carole, « Anticiper les chocs à venir » : à Toulouse, le mastère qui change la vie des ingénieurs », *Le Monde*, publié le 27 janvier 2022 à 08 h 00
https://www.lemonde.fr/campus/article/2022/01/27/anticiper-les-chocs-a-venir-a-toulouse-le-mastere-qui-change-la-vie-des-ingenieurs_6111175_4401467.html

## Documents audiovisuels

Arte, *Entretien avec Bruno Latour*, épisode 1-12, réalisé par Nicolas Truong et filmé par Camille de Cheney, 2021, https://www.arte.tv/fr/videos/RC-022018/entretien-avec-bruno-latour/

Collège de Rosemont, *La délibération sur les enjeux éthiques de l'IA*, 11 novembre 2021, YouTube, https://www.youtube.com/watch?v=xJUcNqrhq4k
Des agros qui bifurquent, *Appel à déserter – Remise des diplômes AgroParisTech 2022, 10 mai 2022*, YouTube, https://www.youtube.com/watch?v=SUOVOC2Kd50

Éducation France, _Enjeu et défis d'enseigner l'esprit critique. Point d'étape des travaux du CSEN_, 25 mars 2021, Youtube, https://www.youtube.com/watch?v=Nm0FPLJ3-Q8

Ingénieurs Engagés, *Éthique et Ingénierie - Christelle Didier et Fanny Verrax*, juillet 2020, YouTube, https://www.youtube.com/watch?v=JfQmNcc8xFw

Lundi Matin, *Démissionner, bifurquer, déserter - rencontre avec des ingénieurs*, 20 juin 2022, YouTube, https://www.youtube.com/watch?v=P6KKFdlvAfc

NUSSBAUM Martha, *Political Emotions*, 18 décembre 2014, YouTube, https://www.youtube.com/watch?v=87hwtoLfd6I

Mind, _MMS#4 Un serious game: Be human in the chaos_, 17 novembre 2016, YouTube, https://www.youtube.com/watch?v=OaVXDVi29bw

HARRIS Owen, *Be right back*, Épisode 1, Saison 2, Black Miroir, première diffusion le 11 février 2013 sur Channel 4.

CORREA Pedro, UCLouvain, *Discours de remise des diplômes aux ingénieurs civils*, 12 décembre 2019, YouTube, https://www.youtube.com/watch?v=uAE22c19EjU

## Conférences / Séminaires

AFIA, « IA pour l'enseignement », [Web Conférence via Webex], 3e Journée “Enseignement et Formation en IA”, 06/01/2022.

CRÉ, OBVIA « Comment former à l'éthique de l'IA en enseignement supérieur : Présentation d'un référentiel de compétences », Les midis de l'éthique, [Web Conférence via Zoom], 17/10/2021.

MIAI Grenoble Alpes, Bretel A., « Responsabilité, explicabilités et valeurs de l'IA », [Web Conférence via Zoom], États généraux de l'éthique de l'IA, 27/10/ 2021.

## Autres

Académie Française (en ligne). Éthique. Dans *Dictionnaire*.

MinnaLearn et l'Université d'Helsinki, « *Elements of IA* », [MOOC], https://www.elementsofai.fr/

Université Paris-Saclay, « *Ethics&Stics* », [MOOC], https://www.fun-mooc.fr/fr/cours/ethics-stics/
Mémoire présenté en vue de l'obtention du grade de Master 2.

Master en éthique

Finalité en Droit et médias

## Vol. 2 ANNEXES

La formation à l'éthique du numérique
dans l'enseignement supérieur (ingénierie et filières scientifiques) entre injonctions
politiques et pratiques de terrain à l'heure de la crise écologique
et de l'essor de l'intelligence artificielle.
Quelles pistes d'évolution pour les formations ?

Une enquête de terrain menée en France dans le cadre d'un stage au CNPEN
(Comité national pilote d'éthique du numérique).

Léa ROGLIANO

Sous la direction de : Thomas BERNS

Lecteur-trice-s : Marie-Geneviève Pinsart, Tyler Reigeluth.

Année académique 2021-2022
Table des matières

<table><tr><td>Audition de Raja CHATILA</td><td>3</td></tr><tr><td>Audition de Christelle DIDIER</td><td>7</td></tr><tr><td>Audition de Gilles DOWEK</td><td>15</td></tr><tr><td>Audition de Yann FERGUSON</td><td>19</td></tr><tr><td>Document complémentaire : Grille éthico-technique</td><td>27</td></tr><tr><td>Audition d'Éric FOURNERET</td><td>29</td></tr><tr><td>Audition de Christine FROIDEVAUX</td><td>34</td></tr><tr><td>Audition d'Alexeï GRINBAUM</td><td>39</td></tr><tr><td>Audition de Mélanie GORNET</td><td>44</td></tr><tr><td>Audition de Thierry MÉNISSIER</td><td>48</td></tr><tr><td>Audition de Catherine TESSIER</td><td>52</td></tr></table>
# AUDITION de M. Raja CHATILA le 16/02/2022

AVIS ET RECOMMANDATIONS DE M. RAJA CHATILA CONCERNANT L'ENSEIGNEMENT À L'ÉTHIQUE DANS LE CADRE DE LA FORMATION DES FUTUR·E·S INGÉNIEUR·E·S.

Raja Chatila est professeur émérite d'intelligence artificielle, de robotique et d'éthique à Sorbonne Université. Il est également président de l'Initiative mondiale IEEE sur l'éthique des systèmes autonomes et intelligents, co-président du groupe de travail sur l'IA responsable du PMIA (Partenariat mondial sur l'intelligence artificielle), membre du groupe d'experts européens sur l'intelligence artificielle et membre du CNPEN.

## PLAN DE L'AUDITION :

1. Commencer par poser la question du pourquoi

2. Interroger les valeurs

3. La dignité humaine comme fondement du questionnement éthique

4. Identifier les parties prenantes

5. Enseigner les théories éthiques à postériori, à partir de la pratique d'un cas d'étude

6. Un·e ingénieur·e citoyen·ne

7. Que pensez-vous de l'idée de Monsieur Yann Ferguson d'un cours pluridisciplinaire qui convoquerait l'éthicien·ne, le ou la sociologue, les enseignant·e·s du Technique ?

8. Pensez-vous, comme l'Europe le met en avant, que l'éthique puisse être un levier d'innovation ?

## 1. Commencer par poser la question du pourquoi

Pour R. Chatila, la question du pourquoi est la première chose à apprendre aux ingénieur·e·s afin d'envisager l'utilité, les objectifs et les impacts des projets à concevoir. Cependant, les écoles ne sont pas structurées pour leur permettre de se poser cette question. Cela peut s'expliquer par le fait que le milieu professionnel soit lui aussi réticent à laisser émerger la question de la finalité.

Raja Chatila note cependant que certaines entreprises commencent à réagir et souhaitent développer une réflexion éthique (assessment) en lien avec les textes européens et notamment, le texte écrit par le groupe d'experts indépendants de haut niveau sur l'intelligence artificielle, *Lignes directrices en matière d'éthique pour une IA digne de confiance*. Il cite à titre d'exemple l'entreprise Fuji qui a mis en place un processus d'auto-évaluation (self-assessment) dans la démarche de conception de ses ingénieur·e·s. M. Chatila y voit des raisons d'espérer mais pointe le fait que cela est loin d'être la norme. Pour que l'éthique intègre réellement les entreprises, il faudrait, selon lui, des contraintes légales.

D'autre part, il faudrait, selon M. Chatila, que l'éducation à l'éthique soit dispensée à toute la chaîne de commandement des entreprises, y compris les CEO.

> « Il faut remonter dans la chaîne décisionnelle de l'entreprise pour donner plus de pouvoir aux ingénieurs, leur donner l'opportunité de remettre en question les raisons, le pourquoi. » R. Chatila.
## 2. Interroger les valeurs

> « Je pense que la question des valeurs est essentielle et que la démarche de conception orientée valeurs est essentielle à apprendre et à enseigner. » R. Chatila.

R. Chatila recommande de faire réfléchir les étudiant·e·s à la notion de valeur. Dans les cours qu'il dispensait, il prenait souvent l'exemple de la *Déclaration des droits humains* de 1948 pour faire travailler ses élèves sur les valeurs sous-jacentes au texte en analysant ses articles : liberté, éducation, accès à la nourriture, emplois...

R. Chatila expose sa conviction que les valeurs éthiques traditionnelles sont à réinterroger à l'aulne des problématiques propres au numérique.<fnref n="1" /> En effet, la bioéthique, plus ancienne que l'éthique du numérique, a teinté les valeurs éthiques relativement à sa propre histoire et les spécificités de ses pratiques. Certaines valeurs sont d'ailleurs plus propres au numérique, comme la vie privée. Pour faire raisonner les valeurs avec les cas éthiques que posent les nouvelles technologies, on ne peut faire l'économie de les examiner à nouveau.

> « Les principes à l'œuvre dans la bioéthique ont été conçus après la seconde guerre mondiale et reposent sur l'intégrité de l'être humain, au sens physique du terme : la santé et l'intégrité. Les valeurs d'autonomie, de justice, la non-malfaisance, la bénéficience<fnref n="2" /> existent dans la bioéthique mais les deux premières ont disparu au fur et à mesure au profit d'une éthique utilitariste basée sur le bénéfice-risque. Prenons la valeur de l'autonomie, elle est interrogée différemment dans les problématiques numériques que dans la bioéthique. On peut penser au choix laissé ou pas de ne pas utiliser les technologies, aux cookies, aux manipulations sur les réseaux sociaux, aux chambres d'échos... Dans l'éthique du numérique, l'autonomie se traduit souvent par la primauté de la décision humaine sur celle de la machine, ce qui n'est pas le sujet en bioéthique. Il est question savoir qui doit décider de l'homme ou de la machine. » R. Chatila.

La question de l'autonomie est d'autant plus importante qu'elle mobilise la question des savoir-faire. R. Chatila pointe l'exemple du diagnostic médical assisté par IA. Pour lui, c'est une illusion de penser que l'humain continuera à prendre la décision en bout de chaîne car en déléguant son expertise aux machines, il perdra nécessairement l'expertise de valider ou d'invalider les résultats de la machine. Les formations nécessaires à la compréhension des résultats sont vouées à se perdre. Ainsi, nous devenons obligés de suivre la décision de la machine sous prétexte qu'elle pourrait en savoir plus que nous et ce, d'autant que nous lui déléguons une partie de nos savoir-faire, et qu'elle est plus rapide... La question qui demeure est donc de savoir à partir de quel moment l'usage devient obligation. R. Chatila ne doute aucunement du fait que nous puissions travailler avec des machines. Il interroge la part laissée au libre-arbitre qui sous-entend d'être informé (et formé), et de réfléchir pour être en mesure de décider.

<footnote n="1">¹ Voir l'article de R.Chatila, « Bioéthique et éthique du numérique. Une hybridation paradoxale », dans COMITÉ NATIONAL PILOTE D'ÉTHIQUE DU NUMÉRIQUE, *Pour une éthique du numérique*, Coordonné par Éric Germain, Claude Kirchner et Catherine Tessier, PUF, février 2022.</footnote>

<footnote n="2">² Le terme de « bénéficience » est préféré par R. Chatila à celui de « bienfaisance » pouvant avoir un écho religieux, dans le sens de charité.</footnote>
### 3. La dignité humaine comme fondement du questionnement éthique

Si, comme nous venons de le voir, les valeurs sont à interroger afin de les mobiliser dans toute leur puissance, contextualisées et renouvelées, une valeur reste première pour R. Chatila, celle de la dignité humaine. Elle peut servir de point de repère, comme un phare dans une mer agitée, lorsque le cas est complexe ou paraît presque insoluble. R. Chatila parle de « racine » à partir de laquelle on peut faire émerger les autres valeurs.

> « La dignité humaine n'est pas un concept algorithmisable. Les notions de "machine ethics" ou "d'éthique artificielle" sont un non-sens. Ça n'existe pas parce qu'on ne peut pas définir ce qu'est la dignité humaine à une machine. On ne peut pas dire la dignité c'est : a, b, c, d... La dignité est un concept intrinsèquement flou et qui doit le rester. Car, dès lors qu'on commence à définir la dignité humaine, on la limite. Je pense que partir de la dignité est une très grande source de richesse pour envisager la manière dont les êtres humains doivent agir entre eux, de manière kantienne et non utilitariste. Énumérer les valeurs n'est pas simple. Il faut partir de la dignité et les laisser couler en fonction du contexte. Par exemple, voici comment il faudrait énoncer le problème des scanners des aéroports dont nous avons parlé : laisser les personnes apparaître nues dans les scanners des aéroports, est-ce une atteinte à leur dignité ? » R. Chatila.

### 4. Identifier les parties prenantes

Raja Chatila recommande d'apprendre aux élèves à identifier les différentes parties prenantes. Il cite le texte de Sarah Spiekermann, *Ethical IT Innovation: A Value-Based system Design Approach* où elle développe l'exemple du problème éthique qui s'est posé lorsque la technologie des scanners pour les aéroports a été lancée. Les scanners ont été développés pour aider les services de sécurité à trouver des armes cachées sous les vêtements de passagers, mais l'image des passagers les montrait nus sur les écrans de sécurité. Ce cas illustre la nécessité d'apprendre à identifier préalablement les parties prenantes. En effet, si les ingénieurs·e·s et développeur·euse·s s'en tiennent à la demande de leurs commanditaires, ils et elles risquent de passer outre des problèmes qui ne manqueront de se poser ultérieurement (ici le problème du respect de l'intimité des personnes). Plutôt que de montrer les corps tels qu'ils apparaissaient par le traitement d'image natif, les développeur·euse·s ont pris le parti par la suite de faire apparaître les objets cachés sur une silhouette plutôt que sur l'image de la personne elle-même.

### 5. Enseigner les théories éthiques a postériori, à partir de la pratique d'un cas d'étude

Raja Chatila témoigne de son expérience d'enseignant. Il raconte que la première année de son cours d'éthique des technologies (robotique et IA), il avait commencé par expliquer les différentes formes éthiques, les distinguer de l'intégrité scientifique, de la déontologie, de la conception scientifique, à la suite de quoi, il en était venu à un exemple en lien avec la robotique. Voyant que cette approche ne fonctionnait pas sur les élèves, R. Chatila a décidé de travailler en lien avec les projets concrets que les étudiant·e·s devaient réaliser dans leurs stages en entreprises. Si certains industriels étaient réticents à ce que leurs projets soient discutés (pas forcément pour des questions éthiques), la plupart ont accepté. La première question posée par R. Chatila était la question du pourquoi. La seconde, des parties prenantes et des parties impactées. Ensuite seulement, R. Chatila a commencé à introduire les théories éthiques telles que l'utilitarisme, le déontologisme, la question des valeurs en lien avec les projets développés. R. Chatila suivait ainsi une méthodologie
différente : partir de projets réels que les étudiant·e·s doivent réaliser et travailler sur les motivations du projet, puis sur l'identification des valeurs des parties prenantes, réfléchir sur les tensions possibles entre ces valeurs, arbitrer, et enfin proposer en conséquence la solution technique appropriée pour la conception du système. Pour l'examen, les élèves devaient réfléchir sur des cas concrets, par exemple sur les véhicules autonomes en mettant au jour les parties prenantes, les valeurs possibles...

## 6. Un·e ingénieur·e citoyen·ne

Pour Raja Chatila, le rôle de l'éducation, dans tous les domaines, est avant tout de former des citoyens responsables. Dans cette optique, il place l'ingénieur·e comme un·e ingénieur·e citoyen·ne. Cependant, il note que l'éducation semble avoir perdu cet objectif de vue. Il pointe cet angle mort dans la formation des ingénieur·e·s en prenant l'exemple de la disparition de l'histoire des sciences dans les programmes d'enseignement scientifique et l'absence de discussion des questions de motivation des découvertes et des technologies et de leur impact sur la société.

> « Dans tous les enseignements que l'on fait, vous remarquerez qu'il y a quelque chose qui a totalement disparu, c'est l'histoire des sciences. Quand on enseigne l'IA, on dit quelques mots sur l'origine de l'IA mais on ne va pas plus loin. On n'expose pas pourquoi on en est arrivé là à ce moment-là, ce que ça veut dire, quelles sont les implications alors que de nombreux concepteurs se sont posés ces questions. Par exemple, Nobert Wiener, inventeur de la cybernétique, a écrit un essai, *The human use of the Human Beings*, dans lequel il se pose la question de l'asservissement de l'homme, une question sociologique donc. » R. Chatila

## 7. Que pensez-vous de l'idée de Monsieur Yann Ferguson d'un cours pluridisciplinaire qui convoquerait l'éthicien·ne, le ou la sociologue, les enseignant·e·s du Technique ?

Pour R. Chatila, l'idée est bonne mais uniquement si l'enseignement à plusieurs voix est coordonné et concerté par tous·es les enseignant·e·s. Faire travailler les étudiant·e·s sur des sujets où chacune des facettes des différentes spécialités apparaîtrait (sociologie, philosophie, droit, technique...) lui semble une bonne façon de procéder. Cependant, il se dit pessimiste sur la possibilité de mise en œuvre d'une telle approche.

## 8. Pensez-vous, comme l'avance l'Europe, que l'éthique puisse être un levier d'innovation ?

Raja Chatila met en garde contre le terme d'innovation : « L'innovation n'est pas une déesse à laquelle on peut tout sacrifier. » Pour lui, innover n'est pas positif en soi. Bien souvent, ce terme n'est employé que pour donner une image positive du simple fait de vouloir vendre en refusant les contraintes.

Cependant, pour R. Chatila, l'éthique peut permettre une innovation différente. Il s'oppose à l'idée selon laquelle l'éthique ralentirait l'innovation en précisant qu'elle peut en revanche ralentir voir interdire certaines innovations non désirables. Pour le reste, elle encourage d'autres types d'innovations, plus respectueuses des valeurs choisies par l'Europe.

R. Chatila avance d'autre part l'importance d'éduquer le public (consommateurs, citoyen·nes) à refuser les innovations non éthiques.
AUDITION de Mme Christelle DIDIER le 31/03/2022 par zoom.

AVIS ET RECOMMANDATIONS DE MME CHRISTELLE DIDIER CONCERNANT
L'ENSEIGNEMENT À L'ÉTHIQUE DANS LE CADRE DE LA FORMATION DES
FUTUR·E·S INGÉNIEUR·E·S.

Christelle Didier est maîtresse de conférences en sciences de l'Éducation à l'Université de Lille,
membre du laboratoire CIREL-Proféor depuis octobre 2013. Christelle Didier a publié de
nombreux ouvrages de référence sur l'éthique des ingénieurs dont Penser l'éthique des ingénieurs
et Les ingénieurs et l'éthique : Pour un regard sociologique. Elle a enseigné pendant 20 ans,
l'éthique, la RSE et le développement durable dans diverses écoles d'ingénieurs. Elle n'enseigne
plus l'éthique aux ingénieur·e·s aujourd'hui mais continue d'intervenir sous la forme de
conférences. Évaluatrice dans plusieurs revues académiques (Technology and society, European
Journal of engineering education, Engineering Studies), elle est directrice d'édition associée pour
la collection Philosophy of Technology and Engineering aux éditions Springer et collabore
régulièrement à la base documentaire Techniques de l'ingénieur.

PLAN DE L'AUDITION :

1. Les enseignements dispensés par Christelle Didier

2. L'importance d'adapter les formations à la culture du pays d'enseignement

a) Particularités du système français

b) Les études d'ingénieurs : des formations calibrées pour former des élites

c) Une absence de manuels scolaires français pour l'enseignement de l'éthique en école d'ingénieurs

3. Compétences versus connaissances en éthique

a) La notion de compétence éthique n'est pas un allant-de-soi en France

b) Connaissances et compétences, un équilibre à trouver

c) Une absence de laboratoires universitaires en capacité de former des chercheur·e·s et des formateur·rice·s en éthique de la technique

d) Un vide institutionnel qui empêche la formation des formateur·rice·s

4. Visée de l'enseignement éthique selon Christelle Didier

a) Une pédagogie centrée sur un groupe socio-professionnel

b) Structuration des études d'ingénieurs en France et volonté de questionnement sur l'utilité sociale : un paradoxe

5. La place du corps et des émotions

a) Gérer l'incertitude

b) Les stages ouvriers

1. Les enseignements dispensés par Christelle Didier

De 1993 à 2013, C. Didier a enseigné à l'ICL (Institut catholique de Lille). Elle a dispensé des cours dans des écoles d'ingénieurs et de commerce, et ponctuellement en licence de Droit, de Lettres, de Sciences et de Sciences économiques et sociales. Dans ce cadre, elle a conçu des cours
d'éthique en histoire (« Figures d'ingénieurs »), en sociologie des techniques (« Impact social des techniques ») et sur la prise de responsabilité (« Éthique et RSE »), au sein des écoles de la Fédération Universitaire et Polytechnique de Lille : HEI, ISA, ICAM, IST, ISEN, ESTIT<fnref n="3" />, (1994 à 1999, 12 h/20 étudiants). Elle a aussi enseigné à l'école des Mines de Douai (« Éthique industrielle » de 1996 à 2009, 12 h/200 ét.), à l'ENS Chimie Rennes (« Éthique et ingénieurs » de 1998 à 2001, 9 h/100 ét.). Enfin, elle a conçu en 1999 un cours d'éthique en tronc commun à HEI (20 h/300 étudiants, réalisé par un vacataire).

De 2002 à 2013, ses activités d'enseignement se sont déployées surtout auprès d'élèves-
ingénieurs, autour de sujets en lien avec le développement durable et la responsabilité sociale et
environnementale des Entreprises (RSE). Elle a développé dans cette période de nouveaux cours
en éthique professionnelle, développement durable, RSE et sur l'alerte éthique en entreprise, pour
l'école des Mines de Nantes (2006 à 2011 : 6 h/150 ét.), l'école Centrale de Lille (2004 à 2010,
10 h/300 ét. + 16 h/15 ét.), l'Institut Lasalle Beauvais (2008-2009, 12 h/90 ét.), l'EDHEC (2006
à 2009, 8 h/70 ét.), M2 de Droit, M2 de Sciences économiques, L3 de Sciences et technologie et
L3 sciences de la communication (2005-2013, option 8 h/30 ét.).

Tout au long de sa carrière, elle a également donné de nombreuses conférences sur l'éthique de
l'ingénierie et dirigé différentes thèses.

2. L'importance d'adapter les formations à la culture du pays d'enseignement

a) Particularités du système français

Les classes préparatoires sont une particularité française. La moitié des étudiant·e·s ingénieur·e·s passent par des classes préparatoires avant d'intégrer une école d'ingénieurs. Ces formations sont généralistes. Elles forment majoritairement en deux à trois ans aux mathématiques et à la physique sans réellement se pencher sur le métier d'ingénieur.

Cet aspect généraliste et le prestige attaché aux écoles d'ingénieurs sont une spécificité française. En Angleterre, les filières d'ingénierie ont moins de prestige. En Belgique, on retrouve ce prestige, notamment pour les ingénieurs civils, mieux considérés que les ingénieurs industriels.

« Les enjeux de formation correspondent de fait à un territoire donné, à une culture donnée, avec des allants-de-soi donnés. » C. Didier.

b) Les études d'ingénieurs, des formations calibrées pour former les élites françaises

Christelle Didier cite une enquête européenne<fnref n="4" /> dans laquelle on pose la question aux étudiant·e·s d'écoles d'ingénieurs de savoir s'ils ou elles veulent devenir ingénieur·e·s après leurs études. En Allemagne, 0 % des garçons allemands disent non et seuls quelques pourcents des filles disent non. En France, 20 % des étudiant·e·s disent non. Comment expliquer qu'un cinquième des

<footnote n="3">³ HEI : Hautes Etudes Industrielles, ISA : Institut Supérieur d'Agriculture, ICAM : Institut Catholique d'Arts et Métiers, ISEN : Institut Supérieur d'Electronique de Nord, ESTIT : Ecole Supérieure Techniques Industrielles et des Textiles</footnote>

<footnote n="4">⁴ Conférence des directeurs d'école françaises d'ingénieurs, (2009). « Les motivations des élèves ingénieurs dans le choix de leurs études ». Paris : CDEFI.</footnote>
étudiant·e·s français·e·s choisissent de se former dans une école d'ingénieurs sans désirer exercer cette profession ?

Tout d'abord, parce que le système éducatif français valorise les mathématiques et la physique. Les grandes écoles sélectionnent les élèves à la vue des résultats dans ces matières. Les élèves doué·e·s en mathématiques et en physique au lycée ont de grandes chances d'être sélectionné·e·s dans les grandes écoles, dont font partie les écoles d'ingénieurs, et ne veulent pas gâcher leur potentiel en se dirigeant vers les universités, qui apparaissent comme des voies moins porteuses en terme d'emploi et de rémunération. S'ils et elles ne savent pas exactement quoi faire plus tard, les "prépas" leur offrent la possibilité de reporter leur choix de quelques années. Pour C. Didier, le système à la française ne nourrit pas les vocations et l'intérêt pour un cœur de métier mais sert à créer une élite.

Pour C. Didier, cet état de fait rend plus difficile le fait d'intéresser les élèves aux enjeux éthiques d'un cœur de métier. En revanche, le prestige lié aux écoles d'ingénieur favorise le recrutement des élèves, contrairement aux pays où ces filières sont moins plébiscitées.

c) Une absence de manuels scolaires français pour l'enseignement de l'éthique en école d'ingénieurs

Christelle Didier pointe l'absence de manuels d'enseignement d'éthique pour les ingénieurs en France alors qu'il en existe de nombreux aux États-Unis. C. Didier explique avoir travaillé sur un manuel en 1998 avec des confrères et n'avoir pas trouvé à l'époque une maison d'édition en France. L'ouvrage a finalement été publié en Belgique, dans la maison d'édition De Boek.<fnref n="5" /> À cause du manque de financement, de l'absence de marché, et des conditions d'édition, l'ouvrage n'a pas pu revêtir l'ambition de base qui était de donner des « cours en éthique clé en main ». Il a été réduit à un manuel de lectures choisies.

> « Le premier écrit qui ressemble à un manuel d'éthique pour les ingénieurs est sorti en France en 2019. Il s'agit de l'ouvrage de Fanny Verrax et Laure Flandrin, *Quelle éthique pour l'ingénieur ?* <fnref n="6" />» C. Didier.

C. Didier déplore le manque de matériaux pédagogiques disponibles en France car pour elle, les manuels d'éthique américains, s'ils peuvent être une source d'inspiration, ne correspondent pas au contexte français.

> « Je me disais que je ne pouvais pas utiliser [les manuels américains] de but en blanc, car la manière de prendre en considération le souci de l'éthique se manifestait dans un univers complètement exotique pour mes étudiants. Dans les manuels américains, il y a une attention très forte sur l'alerte éthique (*Whistleblowing* en anglais), que l'on peut partager. Cependant, sa mise en récit se fait dans un rapport à l'héroïsme qui nie la dimension collective que l'on peut avoir dans le récit français. Les manuels américains ne parlent par exemple jamais des syndicats. Selon les cultures nationales, le rapport à la morale sera plus individuel ou plus collectif. » C. Didier.

<footnote n="5">⁵ C. Didier, A. Gireau-Geneaux, B. Hériard Dubreuil, *Ethique industrielle. Textes pour un débat*, Bruxelles, De Boeck Université, 1998.</footnote>

<footnote n="6">⁶ F. Verrax, L. Flandrin, *Quelle éthique pour l'ingénieur?*, Éditions Charles Léopold Mayer, 2019.</footnote>
C. Didier explique que même si le métier d'ingénieur est de plus en plus globalisé, dans ses modes opératoires et ses impacts dans le monde professionnel, la formation à l'éthique s'ancre forcément dans une culture particulière et ses références en terme de morale. Il va de soi que les références bouddhistes toucheront moins les citoyens européens, mais cela est aussi palpable entre les pays en Europe. Par manque de moyens, de nombreux pays utilisent les manuels américains et se calquent sur leurs normes. Il témoigne avoir eu une discussion avec un collègue japonais qui relatait que, comme en France, le Japon n'avait pas de code de déontologie de l'ingénieur. Au fil de la discussion, ce qui semblait tout d'abord à son interlocuteur comme un manque, est apparu comme une simple différence culturelle.

### 3. Compétences vs connaissances : un débat à mener en France

#### a) La notion de compétence éthique n'est pas un allant-de-soi en France

Suite à la sortie du référentiel de compétences en éthique de l'IA pour l'enseignement supérieur québécois publié en 2022, je demande à Christelle Didier son avis sur le fait d'envisager l'éthique comme une compétence. Elle me répond que, si envisager l'éthique comme une compétence peut aller de soi au Québec, culturellement plus proche de la culture libérale américaine (tout en ayant sa propre identité), cela ne va pas de soi en France.

> « Il y a beaucoup de personnes en France qui résistent dans le monde académique à cette notion de compétence, qui revient pour eux à adapter les jeunes aux besoins des entreprises et du capitalisme. La notion de compétence éthique vaut la peine d'être réfléchie, mais il faut se rappeler que la logique même de compétence se réfère plus à l'employabilité qu'à la formation aux savoirs. La notion de compétence est un allant-de-soi au Québec mais elle est l'objet de gros débats en France. » C. Didier

#### b) Connaissances et compétences, un équilibre à trouver

Pour Christelle Didier, on ne peut envisager l'approche de l'enseignement par la compétence sans la fonder sur un socle de connaissances solides. Pour elle, il faut travailler à un juste milieu entre une approche très intellectuelle, très abstraite et très philosophique de l'éthique qui domine en France, et qui est parfois hors-sol, et une approche très pratico-pratique que l'on trouve dans les entreprises et la culture américaine.

C. Didier souligne la nécessaire balance entre production de compétences et production de connaissances. Elle estime que cette balance n'est pas équilibrée en France car la production de connaissances en éthique de la technique est insuffisante. Outre les savoir-faire et les savoir-être, les savoirs sont souvent peu pris en considération et peu traités.

> « Pour créer des formations, on s'appuie sur les savoirs savants, qui sont les résultats de recherches qui ont une certaine robustesse, qui ont gagné de la reconnaissance à travers la communauté académique. Ensuite ces savoirs savants sont transformés en savoirs enseignables. Face aux étudiants, l'enseignant doit faire cette transposition didactique. Cela sous-entend qu'il y ait des savoirs savants. Or, il y a une difficulté à identifier où sont ces savoirs savants en éthique de l'ingénierie, de l'informatique... Le développement des compétences est une piste intéressante
mais elle ne doit pas cacher le fait qu'on a besoin d'identifier les controverses académiques et les méthodes trouvées par les universitaires dans ce domaine. » C. Didier.

Christelle Didier estime qu'une approche par la compétence a des avantages mais reste insuffisante pour permettre aux professionnels en situation de dilemme éthique de se positionner. La morale personnelle n'est en effet qu'une composante de la réflexion éthique qui doit être complétée par une compréhension du contexte de l'entreprise, de la société dans laquelle l'entreprise exerce... La réflexion éthique dans le cadre de l'entreprise ne peut se réduire à une approche individuelle.

> « Être plus habile à incarner le souci éthique dans des décisions professionnelles, c'est ce que je trouve intéressant dans la logique de compétence. Mais pour moi, ça ne suffit pas parce que c'est trop individualiste. Aux États-Unis, l'éthique de l'ingénierie a été développée avec des philosophes. Il a fallu qu'un lien s'établisse avec les STS<fnref n="7" /> pour que l'on arrive, selon mon point de vue franco-français, à quelque chose de plus fin, qui va au-delà du travail sur la moralité individuelle illustrée avec des cours de philosophie classique. C'est pour cette raison que je pense que pour enseigner l'éthique, nous avons aussi besoin de connaissances historiques, sociologiques... La philosophie pragmatique a apporté cette idée au sein de la philosophie qui vise à penser que le souci éthique ne peut être pris en charge que par la pluridisciplinarité. » C. Didier.

### c) Une absence de laboratoires universitaires en capacité de former des chercheurs et des formateurs en éthique de la technique

Selon Christelle Didier le manque de structures institutionnelles pour penser l'éthique en ingénierie n'encourage pas la production de savoirs. Elle évoque une difficulté pour les personnes qui souhaitent faire leur thèse sur ces sujets à trouver un lieu où réaliser leur travail. La difficulté à identifier un laboratoire où développer un travail transversal entre éthique et ingénierie représente un frein pour la recherche et la mise en valeur de ce champ de connaissance. Et, de fait, la littérature de référence pour les questions d'éthique et d'ingénierie reste faible en France. Ce problème est structurel et est dû au manque de reconnaissance de la discipline au niveau institutionnel. Christelle Didier prend à titre d'exemple le fait que l'éthique ne soit pas reconnue comme une discipline d'enseignement supérieur.

> « En 1994-19595, nous étions deux à Lille à nous intéresser à l'éthique chez les ingénieurs. En France, je pense qu'il n'y avait personne d'autre qui associait le mot éthique et le mot ingénieur. Aux Pays-Bas, ils étaient aussi une poignée, à l'université technologique de Delft. Aujourd'hui en France, il n'y a aucun laboratoire réellement dédié à l'éthique des technologies (hors peut-être les technologies médicales) alors qu'aux Pays-Bas, il existe un laboratoire à cheval entre les quatre grandes universités de technologie qui mobilise 150 chercheurs. [...] En France, nous n'avons pas une seule revue identifiée comme une revue de référence où se publient des articles robustes en éthique des technologies. Les compétences, c'est très bien, mais je souhaite pointer du doigt que

<footnote n="7">⁷ Les Science and Technology Studies sont un domaine d'étude interdisciplinaire qui étudie la manière dont les facteurs sociaux et politiques interviennent dans les recherches scientifiques ou les innovations technologiques. Ce champ de recherche étudie les transformations sociales, politiques et culturelles qu'entrainent les implémentations techniques.</footnote>
nous avons un gros problème sur l'élaboration des connaissances. Je ne dis pas qu'il n'y ait pas en France de personnes compétentes ayant développé des connaissances à ce sujet, je dis que les trouver demande un grand effort ! Moi par exemple, on ne me trouve pas là où l'on devrait me trouver. Je n'exerce pas dans un lieu où l'on développe des connaissances en éthique de l'ingénierie. J'exerce dans un laboratoire de sciences de l'éducation et suis plutôt identifiée comme sociologue ». Pourquoi ? Parce que quand j'étais en âge d'écrire une thèse, il n'existait rien. »
C. Didier

d) Un vide institutionnel qui empêche la formation des formateur·rice·s

Pour Christelle Didier, ce vide institutionnel est aussi un frein à la formation des formateur·rice·s en éthique du numérique. La discipline n'étant pas constituée en tant que telle, ceux et celles qui enseignent dans l'éthique du numérique ont d'autres fonctions par ailleurs et se sont souvent formés sur le tas. Christelle Didier souligne de forts besoins de formateur·rice·s en éthique du numérique dans le milieu de l'ingénierie et un risque pour les écoles de recruter du personnel n'ayant pas ni les compétences ni les connaissances nécessaires.

> « Il n'existe pas à ce jour en France de chaires universitaires, ou très peu. Il n'y en a pas à la hauteur des besoins de lieux identifiés où seraient produits les savoirs et les controverses académiques. Il y a eu un rapport au Sénat il y a quelques années qui disait que, tant qu'en France on aura pas un CNU<fnref n="8" /> autour de l'éthique, on s'expose à ce que l'éthique soit enseignée par des charlatans, des gens qui s'autoproclament expert en éthique. » Christelle Didier.

## 4. Visée de l'enseignement éthique selon Christelle Didier

a) Une pédagogie centrée sur un groupe socio-professionnel

Christelle Didier souligne la diversité des champs de connaissances dans le domaine de l'ingénierie. Connaître et comprendre les enjeux éthiques pour dispenser une éthique fortement appliquée demande une double compétence : une formation éthique et une formation au milieu spécifique. Experte du groupe socio-professionnel que forment les ingénieur·e·s qu'elle étudie en tant que sociologue depuis plus de vingt ans, Christelle Didier en est venue à penser que l'éthique doit surtout permettre de travailler la capacité des ingénieur·e·s à questionner le sens, les impacts et les valeurs de leurs domaines d'activité respectifs. Attirer l'attention des futur.es ingénieur·e·s sur le sens de leur travail est d'ailleurs en soi une démarche éthique selon Christelle Didier, dans la mesure où ces étudiant·e·s ont accès à un niveau de connaissances techniques, capables d'influer sur le monde, auquel beaucoup d'autres jeunes n'ont pas accès. Ce privilège doit s'accompagner d'une « exigence de curiosité ».

> « Ce qui me frappe, c'est à quel point les ingénieurs peuvent ne pas avoir de vision des finalités des activités dans lesquelles ils s'engagent. Ils sont salariés et travaillent souvent sur une petite partie d'un ensemble. À quoi cela va servir, parfois ils ne le savent pas, parfois ça leur est égal parce qu'ils peuvent être passionnés par ce qu'ils font en tant que tel. C'est cela qui m'intéresse. Je ne suis pas une connaisseuse des problèmes éthiques dans leurs finalités techniques mais une connaisseuse de la capacité qu'ont des hommes et des femmes à ne pas chercher à savoir à quoi

<footnote n="8">⁸ Conseil National des Universités.</footnote>
va mener ce qu'ils font du matin ou soir. Du point de vue de la formation éthique, je sais comment la manière dont on a formé les ingénieurs et la manière dont on s'occupe d'eux dans les entreprises, les conduit à ne pas vouloir voir à quoi leur travail va mener. C'est sur cette curiosité là que je travaille. Je ne leur dis pas quels sont les problèmes. Je leur dis que le fait de ne pas savoir si ce que l'on fait a des répercussions sur tel homme, telle femme ou telle espèce naturelle, est un problème pour moi. » C. Didier

Christelle Didier invite à développer les capacités d'argumentation des étudiant·e·s et à les aider à se faire un avis sur les entreprises dans lesquelles ils ou elles vont travailler en leur posant des questions du type : Quels sont les clients de l'entreprise dans laquelle tu travailles ? Qu'en disent les ONG ? Les syndicats ? Christelle Didier affirme que si les questions de l'utilité sociale des activités ont l'air banales, elles sont en réalité très dures à faire passer auprès des ingénieur·e·s.

b) Structuration des études d'ingénieurs en France et volonté de questionnement sur l'utilité sociale : un paradoxe

Pour Christelle Didier, il existe un paradoxe entre les valeurs mises en avant dans les circuits d'ingénierie et les questionnements éthiques exigés assez tardivement quant à l'utilité sociale des activités des ingénieur·e·s. En effet, dès le lycée, les jeunes sont mis en concurrence et apprennent qu'il existe une hiérarchie. Les valeurs d'excellence et de distinction priment et façonnent le registre moral des étudiant·e·s. Ainsi, leur demander plus tard de se mettre à la place des autres, de se poser la question de l'utilité sociale et de l'égalité semble antinomique. Les critères de choix qui déterminent la sélection des ingénieur·e·s, le principe de formation généraliste des années préparatoires abstraites et le manque de pratique de terrain sont, pour elle, problématiques et nuisent à l'approche éthique.

« Les jeunes, plus en France que dans d'autres pays, sont sélectionnés sur leurs capacités d'abstraction, sur leurs capacités de raisonnement mathématique, de rapidité. Tout cela est d'une utilité assez nulle pour l'éthique. » C. Didier.

## 5. La place du corps et des émotions

a) Gérer l'incertitude

Christelle Didier évoque les travaux d'Hans Jonas<fnref n="9" /> et la remise en question de la manière dont l'éthique se conçoit parallèlement à la montée en puissance des technologies dans la société. Hans Jonas introduit dès les années 70 l'idée que l'on ne peut plus penser l'éthique à partir des simples conséquences visibles ou des intentions des agents mais qu'un principe de précaution, à la hauteur des risques énormes que sont susceptibles de provoquer les nouveaux enjeux scientifiques, s'impose. Il s'agit d'accepter l'incertitude et d'agir en fonction. On retrouve cette idée philosophique derrière le développement durable (RSE) dans les entreprises.

« Le métier d'ingénieur est un métier qui d'emblée plonge le monde dans l'incertitude et qui crée de la richesse en utilisant des ressources naturelles et des ressources humaines. Il pose des problèmes en même temps qu'il en résout. Un poste d'ingénieur qui ne serait pas dans la zone

<footnote n="9">⁹ Hans Jonas et un titre de publication</footnote>
b) Les stages ouvriers

Christelle Didier déplore le manque de contacts réels avec les entreprises dans les premières années d'études des ingénieur·e·s. Pour elle, les stages arrivent trop tard car même si tous les ingénieurs ne travailleront pas en usine par la suite, il est important qu'ils et elles prennent conscience des conséquences de leurs actes, même derrière un ordinateur. En effet, leur activité aura des conséquences sur des personnes. Ces personnes devront-elles accomplir des milliers de gestes répétitifs à l'autre bout du monde ? Pour cette raison, Christelle Didier met en avant les stages ouvriers qui se pratiquaient en première année.<fnref n="10" /> Or pour Christelle Didier, c'est justement l'expérience du corps des ouvriers qui permet aux ingénieur·e·s de garder ces problématiques en conscience au long de leur carrière. Elle relève cependant de belles initiatives dans les écoles d'ingénieurs (qui fonctionnent plus aisément sur une logique de projets que les universités) et donne l'exemple d'un groupe d'ingénieur·e·s qui travaille autour du codesign à Lille, et qui fait se rencontrer étudiants, riverains, et utilisateurs pour conduire des projets en lien avec la ville.

<footnote n="10">¹⁰ C. Didier précise à ce sujet que les stages ouvriers existent encore mais que le fait d'aller vraiment travailler comme ouvrier, qui a était l'idée de départ, a été souvent dévoyé. On leur confie parfois plus de responsabilité car on sait que ce sont de futurs ingénieurs.</footnote>
# AUDITION DE M. Gilles DOWEK le 21/10/2021 au CNPEN

## AVIS ET RECOMMANDATIONS DE M. GILLES DOWEK CONCERNANT LES FORMATIONS À L'ÉTHIQUE DANS LE CADRE DE LA FORMATION DES FUTUR·E·S INGENIEUR·E·S.

Gilles Dowek est chercheur à l'Inria, professeur à l'ENS de Paris-Saclay, membre du CNNum et membre du CNPEN. Informaticien, logicien et philosophe, il travaille en particulier sur la formalisation des mathématiques, le traitement des démonstrations, la physique du calcul, la sûreté aéronautique et l'enseignement, l'épistémologie et l'éthique de l'informatique. Gilles Dowek s'intéresse fortement aux questions d'éducation. Il a par exemple été membre du groupe d'experts constitué par le Ministre de l'Éducation nationale pour proposer les programmes de la spécialité « Informatique et sciences du numérique » en terminale S, ce qui a abouti au programme publié au Bulletin officiel en octobre 2011.

## PLAN DE L'AUDITION :

1. Contrer le sentiment d'hostilité éprouvé par les ingénieur·e·s

2. Cibler les filières : la question du tronc commun

3. Effectuer des tests in situ avant déployer les formations sur le territoire

4. Intégrer les ingénieur·e·s à l'élaboration du programme : pour une co-construction

5. Utiliser des méthodes proches des méthodes d'apprentissage utilisées dans les écoles d'ingénierie

a) Simplification et narration

b) Fonctionner par projet

c) Stimuler la curiosité des étudiant·e·s

6. La question de l'orientation politico-philosophique des formations

### 1. Contrer le sentiment d'hostilité éprouvé par les ingénieur·e·s

> « Il y a une dévalorisation générale de la technique qui est assez présente dans nos cultures et qui est assez mal vécue par les ingénieurs. Il faut faire attention à ne pas tomber dans ce travers qui fait que les élèves ingénieurs se disent « nous sommes accusés de tous les maux de la terre », et se ferment au discours éthique ». G. Dowek

Gilles Dowek met en garde contre la défiance des ingénieur·e·s face aux chercheur·e·s en SHS et au grand public, perçu·e·s comme ayant potentiellement un positionnement techno-critique. Ce positionnement est blessant pour les ingénieur·e·s dans la mesure où il s'attaque à l'activité technique en tant que telle, dans laquelle figurent naturellement leurs pratiques. À titre d'exemple, il cite les débats virulents sur la 5G.

Gilles Dowek attire l'attention sur la formulation des problématiques éthiques proposées dans les formations afin de ne pas braquer les élèves. Pour lui, il s'agit d'éviter la généralisation et des débats abstraits pour se centrer des problématiques concrètes que les ingénieur·e·s pourraient rencontrer et sur lesquelles ils pourraient agir.
G. Dowek donne l'exemple suivant pour poser la question du bon ou mauvais usage des technologies. Une des **manières concrètes** serait de s'interroger sur comment faire pour que les algorithmes d'analyse d'images puissent servir à faire de l'analyse médicale sans pour autant servir à faire de la reconnaissance faciale. Est-il possible de ne pas passer de l'un à l'autre ?

Une **manière abstraite** serait d'interroger la technologie elle-même, en généralisant le problème et en posant par exemple la question « Comment faire pour que les technologies soient vertueuses et non perverses ? ». Cette deuxième question conduit, selon G. Dowek, à « des débats qui n'ont pas de fin » et qui remettent en question la technique en tant que telle et donc les ingénieurs·e·s en tant que tel·le·s.

## 2. Cibler les filières, la question du tronc commun

Gilles Dowek est gêné par l'idée d'un tronc commun à toutes les filières d'ingénierie. Selon lui, un tronc commun généraliste et développé autour de notions philosophiques historiques (potentiellement mal choisies) pourrait manquer d'efficacité en activant la méfiance des élèves.

G. Dowek recommande de sectoriser les formations et de s'en tenir dans un premier temps aux secteurs de l'informatique. Il évoque, à titre d'exemple, un champ de réflexion possible sur l'éthique dans le domaine des transports qui pourrait être pensé à part entière par des professionnel·le·s de différentes pratiques. Cependant, il n'exclut pas de tester des formations basées sur un enseignement plus généraliste mais préconise de les tester en parallèle.

G. Dowek s'interroge sur le fait que l'éthique du numérique puisse être aussi transversale que la bioéthique. Si la bioéthique a une longue tradition éthique derrière elle, ce n'est pas le cas de l'éthique du numérique. A-t-on assez de recul pour mettre en avant des éléments conceptuels communs à toutes les branches techniques ? À toutes les branches du numérique ?

## 3. Effectuer des tests in situ avant déployer les formations sur le territoire

Un programme de formation pourrait être développé dans une ou quelques universités pilotes sous la forme d'un cours optionnel. Après élaboration du contenu et validation par le terrain, ces formations pourraient être rendues obligatoires dans ces premiers établissements deux ou trois ans après leur mise en test. Ensuite seulement, ces formations pourraient se généraliser sur l'ensemble du territoire.

## 4. Intégrer les ingénieur·e·s à l'élaboration du programme : pour une co-construction

Gilles Dowek recommande de fonctionner par essai-erreur, c'est-à-dire de tester les programmes et de les transformer en fonction des évaluations des étudiant·e·s. Il recommande aussi de s'appuyer sur ce qui intéresse les étudiant·e·s.

> « Si on fait un enseignement éthique qui est proche des préoccupations des ingénieurs, on a une possibilité d'accroche beaucoup importante ». G. Dowek
Dans cette optique, Gilles Dowek liste des thématiques susceptibles de susciter l'intérêt des élèves ingénieurs :

- La question des données personnelles et de la vie privée ;

- La question des libertés publiques ;

- La question du logiciel libre ;

- La question de la surveillance ;

- La question de la réparabilité ;

- La question du développement durable ;

- La question de l'autonomie de l'utilisateur.

Ces thématiques pourraient se traduire par des questions du type :

- Faut-il interdire les propos haineux sur le web ?

- Faut-il interdire les réseaux sociaux ?

- Suis-je en droit d'exiger d'avoir la possibilité de changer la batterie de mon téléphone même ?

- Peut-on filtrer librement et utiliser des données récoltées dans les espaces publics si on assure qu'elles ne seront pas utilisées pour de la surveillance ?

## 5. Utiliser des méthodes proches des méthodes d'apprentissage utilisées dans les écoles d'ingénierie

Gilles Dowek recommande de s'appuyer sur des méthodologies d'apprentissage familières aux étudiant·e·s et de partir de l'usage de l'objet. Il est plus productif selon lui de partir d'un cas simplifié ou appliqué pour arriver à des réflexions plus larges que l'inverse.

### a) Simplification et narration

Gilles Dowek conseille de partir d'un cas qui serait la simplification d'un problème pour lancer une réflexion éthique appliquée aux problématiques qui intéressent les étudiant·e·s. La simplification et la mise en narration sont des méthodes communes dans les enseignements d'informatique. En terme de narration, on peut penser à la science-fiction ou à des scénarios simples d'anticipation. Cette technique a pour atout de sortir des cas réels.

### b) Fonctionner par projet

Gilles Dowek pense que proposer aux étudiant·e·s de partir d'un projet concret à réaliser autour des valeurs d'éthique pourrait être une approche féconde.

### c) Stimuler la curiosité des étudiant·e·s

Gilles Dowek met en avant la curiosité des élèves ingénieurs. Les attirer par un chemin de curiosité est surement la meilleure solution pour leur transmettre l'envie d'un questionnement éthique.

## 6. Orientation politico-philosophique des formations

Pour G. Dowek, certains courants philosophiques, tels que l'école de Francfort, ne sont pas appropriés pour séduire et intéresser un public d'ingénieur·e·s. Il évoque les pensées qui
associent « technique et capitalisme » comme les deux faces d'une même pièce, ainsi que « technique et fin du monde » et « technique et déshumanisation ». Pour lui, envisager les débats sous ces angles est contre-productif dans le cadre des écoles d'ingénieur·e·s.
AUDITION de M. Yann FERGUSON le 15/12/2021 au CNPEN via Zoom.

AVIS ET RECOMMANDATIONS DE M. YANN FREGUSON CONCERNANT LES
FORMATIONS À L'ÉTHIQUE DU NUMÉRIQUE DANS LE CADRE DE LA FORMATION
DES FUTUR·E·S INGÉNIEUR·E·S.

Yann Ferguson enseigne à l'ICAM sur le site de Toulouse. Il est docteur en sociologie, chercheur leader à l'ICAM, expert au PMIA et responsable scientifique au LaborIA. Ses travaux portent sur l'analyse des effets pressentis de l'Intelligence Artificielle (IA) sur le travail. En 2018, il reçoit le Prix de la Fondation des sciences sociales et a été classé parmi les deux cents français qui font « avancer l'intelligence artificielle en France et dans le monde » par le magazine L'Usine Nouvelle.

PLAN DE L'AUDITION :

1. Identité de l'ICAM : de l'humanisme chrétien à l'éthique et l'écologie intégrale

2. Composition de l'enseignement de l'éthique de l'ingénieur à l'ICAM

3. Éthique de l'IA / éthique du numérique, est-ce la même chose ?

4. Où en sont les écoles d'ingénieurs françaises dans l'enseignement de l'éthique ?

5. Quel serait pour vous le cours d'éthique du numérique idéal ?

a) Cesser de décorréler l'enseignement technique de l'enseignement éthique

b) Pour un enseignement collégial

c) Développer le « problem-based learning »

d) Un enseignement ayant pour visée une innovation humaniste et écologiste

6. Pensez-vous que la formation à l'éthique puisse être un vecteur d'innovation ?

7. Comment envisager la formation des ingénieur·e·s à l'heure de la crise écologique ? Quelle place pour l'éthique dans ce contexte ?

a) Valoriser les jeunes qui posent la question du pourquoi

b) Changer l'état d'esprit des écoles d'ingénieurs quant à leur mission

8. Quid de la low tech dans les écoles d'ingénieurs ?

9. Pensez-vous que la promotion de l'esprit critique puisse être utile dans la formation des ingénieur·e·s ?

a) Une compétence qui permet de poser les bonnes questions

b) Une compétence qui permet de juger de la qualité des contenus

c) Une compétence pouvant permettre de faire des liens ?

1. Identité de l'ICAM : de l'humanisme chrétien à l'éthique et l'écologie intégrale

« Notre école s'est formée à la fin du XIXème siècle dans la lignée des patrons chrétiens sociaux, à la fois sensibles à la misère ouvrière et soucieux de contrecarrer une révolution socialiste. L'ICAM et les écoles de ce type ont été développées dans la visée de mettre en avant un rapport humain dans l'industrie. La notion d'humanisme est très forte dans les formations que nous dispensons. Elle a pendant longtemps été délivrée dans un département appelée « formation humaine », rebaptisée plus récemment « humanités », pour former un « ingénieur humaniste ».
Jusque les années 2000, on ne parlait pas d'éthique mais d'humanisme. Un texte très important pour les écoles chrétiennes est sorti en 2011, celui du Pape François intitulé « Laudato Si », qui porte sur le concept d'« écologie intégrale ». Dans ce texte, le Pape a des mots spécifiques pour les formations techniques et scientifiques. Le message est que si l'humain reste la créature préférée de Dieu, ce qu'il fait subir aux autres espèces animales et végétales est intolérable. Aujourd'hui, la difficulté est de convaincre les chrétiens que l'humanisme à l'excès se fait au détriment de l'écologie et qu'il appartient aux sociétés industrielles de changer de paradigme et d'intégrer le vivant en général dans les réflexions scientifiques et les solutions techniques. Le Pape François critique ce qu'il appelle « le solutionnisme » et remet en question l'idée que ce qui a été causé par la technique pourra être résolu par elle. Il prône un changement de mode de vie. « L'écologie intégrale » est l'axe porteur de la stratégie de l'ICAM pour les 5 années à venir et nous ne sommes pas les seuls. L'humanisme reste fort dans notre philosophie mais on nuance aujourd'hui cette notion à l'aulne de celle d'écologie. Cette encyclique a engendré un impératif pour les catholiques qui, pour la plupart, ont désormais compris que l'écologie est un enjeu fondamental. Le Pape a d'ailleurs choisi de s'appeler François, en référence à François d'Assise, qui est pour les chrétiens une double référence : le refus de l'enrichissement matériel surtout une figure de l'écologie. » Y. Ferguson.

## 2. Composition de l'enseignement de l'éthique de l'ingénieur à l'ICAM.

L'ICAM a développé il y a 7 ans un cours intitulé « Éthique de l'ingénieur ». Les différentes formations de l'école bénéficient de ce cours d'un volume horaire de 48 h. Cet enseignement est obligatoire.

Yann Ferguson décrit ci-après le déroulé du cours déployé en 4ème année du parcours intégré. Si les exercices changent dans les autres parcours, la structure du cours s'y retrouve. Il souligne que depuis trois ans l'accent est mis sur le numérique dans tous les parcours.

Le cours de 48 heures est découpé en quatre séminaires de 12 h.

### Séminaire 1 : Introduction à l'éthique

Ce séminaire introduit de grandes notions d'éthique telle que les valeurs morales et les dilemmes éthiques.

### Séminaire 2 : L'éthique de la technique

Ce séminaire interroge la dualité de la notion de progrès en y adjoignant la question du coût humain, économique et écologique des progrès techniques. Cette partie s'appuie sur une grille de décision techno-éthique rédigée par un ensemble de chercheurs (dont Yann Ferguson) pouvant servir à évaluer les inventions. Dans le champ du numérique, l'école a pris le parti d'aborder l'IA, la VR, le transhumanisme, l'usine du futur, la géolocalisation, le véhicule autonome et l'imprimante 3D. À l'aide de la grille technico-éthique, les élèves sont invités à produire un avis argumenté sur une étude de cas, à la manière d'un comité d'éthique. Le but de cet exercice est de « ne de plus condamner les sociétés à découvrir les nuisances une fois qu'elles ont eu lieu et d'arriver à un âge adulte de la technologie dans lequel son utilisation est raisonnée ». C'est dans ce cadre que les élèves ont été invités à participer à l'appel du CNPEN sur les agents conversationnels en remplacement de la grille technico-éthique « pour leur montrer qu'il y a un réel besoin au sein de la société de trouver des cadres éthiques pour se confronter aux
technologies. ». Depuis trois ans, les élèves doivent en outre produire un essai personnel argumenté autour de l'impact de l'IA sur le travail ( sujet qui est la spécialité de Y. Ferguson). Des ateliers de confrontation de points de vue sont organisés. Dans un premier temps, les élèves forment de petits groupes et discutent entre eux. Dans un deuxième temps, des invités viennent écouter le point de vue des étudiants et leur apporter la contradiction, que les élèves doivent intégrer à leur essai.

> « En éthique, il y a le biais de confirmation. Vous ne pouvez pas faire comme si seul votre avis comptait. » Y. Ferguson.

## Séminaire 3 : Éthique de l'entreprise

Ce séminaire interroge la responsabilité sociétale de l'entreprise. L'enseignement s'appuie sur des dilemmes auxquels les élèves des promotions précédentes ont été confrontés pendant leur stage. Ces dilemmes anonymisés sont repris en cas d'école.

## Séminaire 4 : Techniques de délibération

Ce séminaire donne des outils de techniques de délibération qui ont été développés au fur et à mesure des années avec l'aide d'experts. L'objectif est de montrer qu'un débat complexe sur un sujet complexe nécessite des compétences en délibération, des compétences collectives, de l'ingénierie de groupe et s'éloigne en ce sens de la polarisation des débats tels qu'induite par les réseaux sociaux.

> « Le but est de les faire sortir de l'affrontement et de leur faire comprendre que changer d'avis quand on a été convaincu par les arguments des autres est une vertu, ce qui n'est pas facile pour les ingénieurs qui sont, notamment chez nous, car nous avons beaucoup de garçons, des mâles alpha qui aiment bien l'emporter à la puissance de la voix. En même temps, c'est ce type de débats que les médias mettent en scène : des hommes qui s'interrompent, ne se respectent pas, hurlent leur opinion comme si l'autre n'avait aucune valeur ». Y. Ferguson

## 3. Éthique de l'IA / éthique du numérique, est-ce la même chose ?

Yann Ferguson pense que si de nombreux questionnements sont communs à l'éthique de l'IA et à l'éthique du numérique, l'éthique de l'IA a des questionnements spécifiques.

> « Il y a forcément des spécificités de l'éthique de l'IA par rapport à l'éthique du numérique car on est sur des technologies qui ont une forte dimension anxiogène. De mon point de vue, le numérique avait moins d'a priori négatifs lorsque les innovations numériques sont arrivées sur le marché. Il y a aussi la nature de la technologie elle-même car avec l'IA la plus récente de type “deep learning”, on parvient à des résultats qui ne sont pas explicables. Vu notre histoire, de la Révolution française aux Lumières, et même si ces technologies sont basées sur du calcul, il est difficilement acceptable de se laisser conduire par des systèmes que l'on ne comprend pas et qui parfois même, décident pour nous alors que l'on pense avoir décidé soi-même. Laurence Devillers met en avant cela avec la problématique des nudges<fnref n="11" />. » Y. Ferguson

<footnote n="11">¹¹ Le nudge, ou « coup de coude » en français, mais le mot est souvent traduit par « coup de pouce », est une technique pour inciter des individus ou l'ensemble d'un groupe humain à changer tels comportements ou à faire certains choix sans être sous contrainte ni obligation et qui n'implique aucune sanction.</footnote>
## 4. Où en sont les écoles d'ingénieurs dans l'enseignement de l'éthique en France ?

> « Le rapport Villani en 2018 faisait le constat que la formation des ingénieurs à l'éthique du numérique était déficiente. Laurence Devillers le pointait aussi dans une annexe sur l'acceptabilité sociale dans le rapport de France IA. L'Unesco le dit aujourd'hui dans sa Recommandation sur l'éthique de l'intelligence artificielle avec sa puissance mondiale. La nécessité de former à l'éthique du numérique est aujourd'hui bien identifiée en France. Il y a eu une première couche qui a été mise en place dans les projets de recherche, dans les instituts d'intelligence artificielle et dans les formations où l'on commence à voir fleurir des intervenants en éthique qui ont de quelques heures à quelques jours de cours. La limite, c'est que l'on reste décalé des enseignements techniques. » Y. Ferguson.

Yann Ferguson indique l'existence d'un groupe de travail à Toulouse, le GT éthique, qui réunit tou·te·s les enseignant·e·s en éthique dans les formations à l'ingénierie, dans les écoles d'ingénieurs ou leur équivalent dans les universités. Les membres de ce groupe ont créé une base de données commune pour partager leurs cours, supports et approches pédagogiques.

Le GT éthique fait partie de Toulouse Tech qui a monté un Certificat en Big data commun à toutes les écoles. Les élèves membres de Toulouse Tech peuvent y participer en programme du soir. Dans ce certificat, un volet éthique est proposé.

## 5. Quel serait pour vous le cours d'éthique du numérique idéal ?

a) Cesser de décorréler l'enseignement technique de l'enseignement éthique

> « Pour moi, et je ne suis pas le seul à le dire, il faudrait éviter de décorréler l'enseignement éthique de l'enseignement technique. Il faudrait créer des temps communs entre le spécialiste de l'éthique de l'IA et le spécialiste de la fabrication de l'IA. Les enseignements de l'un venant compléter l'enseignement de l'autre lors d'un même cours. Ça, je ne l'ai pas vu faire autre part que dans des tables rondes. » Y. Ferguson.

> « On serait dans de l'éthique embarquée. L'éthique aurait un espace dédié beaucoup plus faible et un espace appliqué beaucoup plus fort. L'éthique devrait être embarquée dans tous les domaines de l'ingénierie, dans tous les programmes. L'inspirateur de cette pédagogie ne serait plus Descartes mais Edgard Morin lorsqu'il dit à propos de la pensée complexe : « On a trop appris à séparer, il faut apprendre à relier ». Cette pensée complexe, c'est celle qui fait des ponts entre les savoirs. L'éthique peut être l'animateur de cette construction de ponts parce qu'elle est partout. Mais elle doit le faire avec humilité, ce n'est pas parce qu'elle est partout qu'elle a le dernier mot sur tout. Cette humilité, c'est d'essayer au mieux de comprendre la technique. De la même manière, les experts scientifiques doivent comprendre que l'éthique n'est pas qu'une contrainte mais au contraire une ressource pour faire un meilleur travail et un travail qui va amener quelque chose de plus positif pour la société. » Y. Ferguson.
b) Pour un enseignement collégial

« La culture technique, l'histoire de l'objet, la dimension sociotechnique des objets ne seraient plus enseignées dans un enseignement isolé. Un cours d'IA se ferait à plusieurs voix, la voix de l'historien, du sociologue s'il le faut, du juriste, du mathématicien, du développeur, de l'éthicien. Nous n'aurions plus de monologues mais des doubles voix où chacun reconnaît qu'il n'a pas la vérité mais seulement une partie. Je ne demande pas à un ingénieur d'être à la fois sociologue, philosophe... mais je lui demande lorsqu'il aura une solution technique à adopter qu'il ait le réflexe de s'entourer. Le réflexe de s'entourer sera acquis lorsque ses enseignants auront le réflexe de s'entourer également. » Y. Ferguson.

c) Développer le « problem based learning »

« Il existe des pédagogies qui essaient de faire des liens entre les enseignements appelés « problem based learning ». Au lieu de partir du savoir, elles partent d'un problème qui va convoquer des savoirs différents. Ce type de pédagogie n'est pas encore tout à fait mûr et demande à être avancé. Beaucoup d'écoles d'ingénieurs qui ne la pratiquent pas encore. À l'ICAM, nous avons fait le pari de l'intégrer dans un de nos parcours, le parcours ouvert, où elle représente 30 % des enseignements. C'est un vrai pari car nous pensons que pour les questions d'éthique et d'innovation, il est essentiel de passer par une approche par problèmes. La réalité du monde de la technique, ce n'est pas les savoirs les uns après les autres. Ce parcours ouvert a vocation à former des ingénieurs qui soient plus compétents pour des problèmes éthiques, des questions d'innovation et d'interculturalité » Y. Ferguson.

Yann Ferguson raconte que le problème concret donné aux étudiant·es du parcours ouvert a été de construire un drone sur une période d'une année scolaire. Quinze jours ont été consacrés aux problèmes philosophiques et éthiques que posent les drones aux sociétés. Les élèves ont réfléchi à la façon dont ces problèmes pourraient être résolus, notamment par la législation. Selon Y. Ferguson, si les élèves ne sont pas forcément assez matures pour intégrer totalement la question de l'éthique by design, c'est à dire embarquer l'éthique directement dans la conception de l'objet, cet exercice leur permet de prendre connaissance de cette pratique et de réaliser qu'ils devront s'y confronter au cours de leurs études.

d) Un enseignement ayant pour visée une innovation humaniste et écologiste

« Chaque professeur leur dira toujours : je ne suis pas le sachant à 100 % de ce sujet, si je suis le sachant sur le plan technique, la technique n'épuise pas le sujet. Parce qu'aujourd'hui la technique est toujours une technique mêlée d'humain et de planète. Il faut comprendre que c'est dans la concertation entre les disciplines que l'innovation humaniste et écologiste est possible. » Y. Ferguson.

6. Pensez-vous que la formation à l'éthique puisse être un vecteur d'innovation ?

« Oui. Elle peut aussi être bénéfique pour la carrière de l'ingénieur car, aujourd'hui, il y a une demande de qualifier un certain nombre d'objets avec des demandes sociales embarquées. Par exemple, de plus en plus de personnes souhaitent que leur machine à laver soit réparable ou démontable. De la même façon, avec les smartphones, il y a une demande de réparabilité mais