aussi de clarification des intentions poursuivies par les applications pour éviter les effets de nudge par exemple. Être sensible à cette demande sociale est un atout. Les ingénieurs ayant cette compétence seront capables d'adresser une demande que peu d'ingénieurs savent adresser. De plus, la réglementation européenne va dans ce sens. L'union européenne a fait une proposition de réglementation sur l'IA en avril 2021. Elle va sûrement se concrétiser sous forme de décret d'application d'ici 6 ou 7 ans. Il va falloir être compétents. » Y. Ferguson.

## 7. Comment envisager la formation des ingénieurs à l'heure de la crise écologique ? Quelle place pour l'éthique dans ce contexte ?

### a) Valoriser les jeunes qui posent la question du pourquoi

> « Tous les deux mois environ, j'ai un étudiant qui vient vers moi et qui me dit j'arrête l'industrie, l'industrie ne m'a pas donné de sens. On peut se demander pourquoi on ne cherche pas à leur donner un rôle à ces jeunes qui se demandent pourquoi et leur permettre d'être justement ceux qui construisent le pourquoi dans l'industrie. » Yann Ferguson.

### b) Changer l'état d'esprit des écoles d'ingénieurs quant à leur mission

> « Je pense que dans nos écoles d'ingénieurs, on doit peut-être arrêter de se dire que notre rôle c'est de former des ingénieurs pour l'industrie mais de se dire que l'ingénierie est une compétence qui doit porter des idées de progrès qui pourront être délivrées dans tous les domaines de la société, qu'elles soient liées au domaine industriel ou au domaine associatif, liées à la technique ou pas. Les compétences et capacités des ingénieurs que nous formons vont bien au-delà de l'industrie et de la technique. Elle permettent de faire face à des situations extrêmement complexes avec des esprits extrêmement bien structurés. Mais aujourd'hui, j'ai le sentiment que les écoles le vivent comme quelque chose d'un peu honteux, de voir leurs ingénieurs « renoncer » à la carrière qui leur était tracée. Cela vient aussi du fait que les écoles sont évaluées par des organes tel que l'Usine nouvelle ou la revue de l'étudiant et que l'un des critères d'évaluation est le salaire à la sortie ou le salaire moyen. L'étudiant qui renonce à un salaire de 10 000 euros pour en gagner 500 ou 1000 les premières années quand il sort des sentiers battus va faire chuter la moyenne. On aime dire que nos élèves sont bien payés à la sortie mais il faut arrêter d'en faire un critère de classement. »
> Y. Ferguson

## 8. Quid de la low tech dans les écoles d'ingénieurs ?

Yann Ferguson évoque les directives de la CTI<fnref n="12" />. À sa connaissance, l'organisme n'en propose pas sur la low tech. En revanche, il insiste sur le défi que constituent déjà les directives de la CTI qui mettent l'accent sur le développement durable, l'éthique et les "soft skills" alors que de nombreuses écoles peuvent être très fermées à ça.

> « Je pense qu'on doit trouver des solutions qu'elles soient high tech ou low tech. Dans les écoles d'ingénieurs, on oppose souvent les deux. On peut organiser de petits séminaires low tech, ou des lowtechton (à la manière des hackaton en 24 h) dans lesquels seront invités des gens très inspirants mais 90 % du programme reste concentré sur la high tech. Le jour où l'on aura une école

<footnote n="12">¹² La CTI est la commission des titres d'ingénieurs qui délivre les droits à la délivrance de diplômes d'ingénieur.</footnote>
d'ingénieurs qui consacrera 20 % de ses formations à la low tech, les résultats seront sûrement incroyables mais nous en sommes très loin. Le problème c'est que souvent, les solutions low tech sont plus performantes lorsque l'on a un changement général de l'environnement économique. » Y. Ferguson.

## 9. Pensez-vous que la promotion de l'esprit critique puisse être utile dans la formation des ingénieurs ?

a) Une compétence qui permet de poser les bonnes questions

> « Je pense qu'elle est hyper utile. Aujourd'hui malgré tout ce que l'on dit, 90 % de la pédagogie est ce que l'on appelle une pédagogie d'exécutant. Les meilleurs élèves sont ceux qui exécutent le mieux ce que l'enseignant demande. En quelque sorte, l'enseignant évalue positivement l'étudiant qui lui ressemble le plus. On ne leur demande jamais de remettre en question les questions. On forme des élites avec des pédagogies d'exécutants or, dans notre esprit, les élites ne sont pas des exécutants... De plus, je pense que nous arrivons dans une société où la réponse va avoir de moins en moins de valeur. Lorsqu'on tape une question sur Google, on peut avoir une infinité de réponses en une demie seconde. Ce qui a de la valeur devient la qualité de la question elle-même car c'est elle va déterminer la qualité des réponses. Une autre capacité primordiale sera de discriminer parmi les réponses. » Y. Ferguson.

b) Une compétence qui permet de juger de la qualité des contenus

Yann Ferguson envisage l'esprit critique comme une compétence indispensable de gestion de l'information. Dans la société du numérique, le moteur de recherche a pris le relais de la bibliothèque. Si la bibliothèque était un lieu protégé où les livres étaient validés par leurs pairs pour leur qualité, même dans la diversité de leurs thèses, l'espace de la toile n'offre pas une telle garantie. Y. Ferguson exprime une difficulté personnelle. Il se demande comment faire face à des contenus numériques qui parviennent aisément à faire illusion. En effet, de nombreux contenus calibrés pour l'audimat ont une large audience sans être forcément validés scientifiquement. Y. Ferguson prend l'exemple de Laurent Alexandre qui apparaît souvent dans les résultats de recherche Google sur l'IA au-dessus de Yann Le Cun alors que ce dernier a reçu le prix Alan Turing en 2019.

> « J'ai toujours pensé qu'une partie de mon métier était de donner de l'esprit critique aux étudiants mais là, face à moi, j'ai une technologie qui s'appelle Google. Quand vous cherchez sur Google, vous tombez sur un article universitaire, un article du site "20minutes", un article complotiste, un TEDx, un blog d'un ingénieur et tout ça est mis sur le même plan. À la limite, ce qui les hiérarchise est le nombre de clics qui n'est pas guidé par la qualité scientifique. Les enseignants sont persuadés qu'ils se forment à l'esprit critique mais ils ne le font peut-être pas d'une manière adaptée à l'urgence du temps présent. Les compétences critiques du chercheur ne sont pas forcément au niveau pour amener des compétences critiques chez les élèves qui sont soumis à cet océan d'informations, moteurs de recherche qui les orientent totalement, sans compter les algorithmes de recommandation qui leur envoient du contenu sur leurs téléphones. Si l'étudiant n'est pas formé à discriminer et à aller chercher l'information de haut niveau, on ne fait pas notre boulot. » Y. Ferguson
c) Une compétence pouvant permettre de faire des liens entre les savoirs ?

« Les élèves ne sont pas forcément capables de faire le lien entre ce qu'ils voient en éthique et ce qu'ils font en technique. Faire des liens, c'est une compétence très forte et très rare parce que, comme on le dit dans nos formations en éthique, il y a deux grands penseurs qui nous ont appris qu'il fallait séparer les choses, Descartes pour la philosophie et Ford pour l'industrie. Descartes nous a dit que pour résoudre un problème compliqué, il fallait le décomposer en sous-problèmes plus simples et créer des expertises pour chaque problème. Ford nous a expliqué que pour faire une voiture, il valait mieux spécialiser les gens. Les écoles d'ingénieurs sont des champions de Ford et de Descartes. Et donc un élève qui sait faire le lien entre différents savoirs aujourd'hui, c'est vraiment quelqu'un qui a développé ça par lui-même. » Y. Ferguson
En qualité de membres du **Comité Régional d'Ethique, commission acceptabilité sociétale des technologies d'avenir**, vous êtes saisis pour émettre un point de vue éthique sur plusieurs technologies en cours de développement.

Par groupe, réalisez cette analyse sur une des technologies décrites dans les fiches, que vous complèterez par vos propres recherches. Vous vous référerez au guide ci-dessous pour organiser votre réflexion et votre restitution. Nous attendons en conclusion de ce travail trois grandes questions, enjeux ou points de vigilance que la technologie étudiée soulève selon vous.

Technologies à travailler : les drones, la réalité augmentée, l'Intelligence Artificielle, le transhumanisme, l'imprimante 3D, la géolocalisation, le véhicule autonome, l'Usine 4.0, la vidéosurveillance.

## 1. Les valeurs

Cette étape consiste à interroger a) le caractère prométhéeen de la technologie ; b) la posture éthique des différentes parties prenantes (les personnes concernées).

- Quelles sont les promesses de cette technologie ?

- Quelles sont les personnes concernées ? A quel titre ?

- A la suite de cette analyse, dégagez les valeurs associées à cette technologie.

## 2. Les pratiques

Cette étape consiste à interroger les usages pensés et impensés de la technologie, c'est-à-dire à anticiper toutes ses utilisations potentielles.

- Quelles sont les pratiques attendues (et les vertus associées) par les concepteurs de cette technologie ?

- Quelles sont les pratiques non programmées mais possibles de cette technologie ?

- Les pratiques ayant un potentiel vertueux

- Les pratiques ayant un potentiel de nuisance

- Ces pratiques devront-elles faire l'objet d'une régulation par les pouvoirs publics ?

- Sensibilisation ? Education ? Limitation ? Interdiction ? Pénalisation ? Concertation avec les citoyens ? Libéralisation (Laissez-faire) ?

## 3. Les impacts

Cette étape consiste à évaluer les impacts de ces technologies sur l'homme, la société, la planète.

- L'homme :

- Cette technologie renforce-t-elle les Droits de l'Homme ? Y porte-t-elle potentiellement atteinte ?

- Renforce-t-elle la dignité et l'intégrité de l'homme ? Y porte-t-elle potentiellement atteinte ?

- Contribue-t-elle au développement de l'être humain (espérance de vie, qualité de vie, épanouissement intérieur...) ? Dans quel sens ?

- Les générations futures en tireront-elles bénéfice ?

- La société :

- Cette technologie est-elle favorable à l'épanouissement du vivre ensemble ?

- Génère-t-elle du collectif ou de l'atomisation ?

- Contribue-t-elle à la démocratie ?
o Génère-t-elle des inégalités sociales ? Des inégalités d'accès ? De l'élitisme ? De l'exclusion ? De la division ?

o Quel est le coût sociétal de la panne, du bug ? (dépendance sociétale à la technologie).

o Quelle économie produit-elle ?

▪ Economie durable ?

▪ Economie inclusive/exclusive ?

▪ Des emplois ? Pour qui ? Quels types d'emplois (épanouissant, travail d'enfants...)?

▪ Est-elle moteur de croissance ?

▪ Contribue-t-elle à l'amélioration de l'Indice de Développement Humain ?

- La planète :

o Quelle empreinte écologique ?

o Quel cycle de produit ? (Conception, matériaux, recyclage...)

o Quel progrès ?

▪ Produit ce qui nous produit/ détruit ce qui nous détruit

▪ Produit ce qui nous détruit/ détruit ce qui nous produit

o Durabilité faible (somme capital construit/ naturel transmise aux générations futures globalement identique au présent) ou durabilité forte (ratio capital construit/ naturel transmis aux générations futures identique au présent) ?

Le présent document a été reproduit avec l'autorisation de Yann Ferguson tous droits réservés à ses auteurs. trices et à l'ICAM.
# AUDITION de M. Éric FOURNERET le 04/03/2022 en visioconférence.

## AVIS ET RECOMMANDATIONS DE M. ÉRIC FOURNERET CONCERNANT L'ENSEIGNEMENT À L'ÉTHIQUE DANS LE CADRE DE LA FORMATION DES FUTUR·E·S INGÉNIEUR·E·S.

Éric Fourneret est maître de conférence en philosophie morale, philosophie de la technique et en bioéthique à l'Université catholique de Lille. Il a publié plusieurs ouvrages sur l'éthique médicale et l'euthanasie dont *Sommes-nous libres de vouloir mourir ?* publié chez Albin Michel en 2018. Il est un des cinq lauréats du *Prix de thèse Le Monde de la recherche universitaire 2011*, pour sa thèse *L'Euthanasie à la croisée des sciences humaines et sociales. Pourquoi fait-elle toujours débat ?*

Il a été chercheur à l'Université Grenoble Alpes, au sein du laboratoire Braintech Lab (Inserm), sur le projet intitulé « Braincom » relatif à l'implantation de puces nanotechnologiques dans le cerveau pour la restauration de la parole chez des personnes victimes d'accident vasculaire cérébral ou de maladie grave. Il a en outre consacré de nombreuses recherches sur la fin de vie, l'annonce de maladies graves et le prélèvement d'organes. Il travaille depuis 2016 sur les implications éthiques du développement d'interfaces cerveau-ordinateur et de l'intelligence artificielle.

## PLAN DE L'AUDITION :

1. Formations dispensées par Éric Fourneret en 2021

2. Une approche pragmatique

3. Combler les lacunes méthodologiques

4. Développer les compétences empathiques

5. Cultiver l'esprit critique

6. Pallier à une défiance des étudiant·e·s vis-à-vis de la philosophie

7. Quelle serait pour vous la formation idéale à l'éthique du numérique ?

### 1. Formations dispensées par Éric Fourneret en 2021

Dans le cadre de la présente recherche, les questions posées à É. Fourneret se focalisent sur deux enseignements qu'il donne à la Faculté de gestion, économie et sciences de Lille (FGES) intitulés « Management & Numérique », Philosophie du travail (24 h) dispensé aux étudiant·e·s en Licence 1 et « Épistémologie et éthique de l'intelligence artificielle et du numérique » (24 h) dispensé aux étudiant·e·s en Master 1.

### 2. Une approche pragmatique

Éric Fourneret s'inspire de l'approche de l'éthique pragmatique pour ses enseignements.

Le pragmatisme est un courant philosophique qui se base sur les travaux de philosophes américains tels que Charles Sanders Peirce, William James, John Dewey et George Herbert Mead. Selon la philosophie pragmatique, la théorie ne peut valoir sur la pratique. Dans ce courant
philosophique, la dimension expérientielle est centrale, car penser une chose revient à identifier l'ensemble de ses implications pratiques. Les pragmatiques s'opposent aux dualismes hérités entre autres du cartésianisme. Ils refusent d'opposer corps et pensée, objet et sujet, raison et émotion, société et individu, théorie et pratique. Dans cette optique, l'éthique ne peut être comprise qu'en alliant théorie et pratique. John Dewey, un de ses fondateurs, met au point des méthodes d'enquêtes éthiques prenant en compte les habitudes individuelles et collectives.

> « Je suis très attaché à la philosophie pragmatique de Dewey et de James parce que je crois que c'est en pratiquant que l'on apprend. C'est pour cela que je fais faire aux étudiant des exposés. J'apprends à mes étudiants à repérer la structure argumentative d'autrui pour mieux la comprendre et mieux la critiquer si besoin. Ça va au-delà de l'action et de la réaction. » É. Fourneret.

Comme le préconisent les pragmatiques, Éric Fourneret rapporte toujours la théorie à la pratique. Il n'est donc nullement question d'évacuer les apports théoriques, mais bien de les ancrer dans le réel, puis de les mettre à l'épreuve dans des discussions et exposés.

É. Fourneret transmet aux étudiant·e·s les trois théories éthiques de base : le déontologisme, l'éthique de la vertu et le conséquentialisme. Il illustre ces théories d'exemples que les étudiant·e·s peuvent avoir déjà rencontrés, par exemple, en abordant les problèmes relatifs aux réseaux sociaux quant à l'utilisation des données personnelles ou le harcèlement en ligne. Dans un second temps, É. Fourneret s'appuie sur l'actualité ou sur des produits culturels pour mettre en perspective les théories éthiques abordées. En 2021, il a fait travailler ses élèves sur le film de Spike Jonze « Her », car l'écrasante majorité de ses étudiant·e·s l'avait déjà vu. Un travail d'analyse poussé du film a été entrepris. É. Fourneret a invité ses étudiant·e·s à repérer à quelle famille de l'éthique pouvait être reliés les différents choix réalisés par le personnage principal. Ensuite, il leur a proposé d'inventer d'autres choix possibles relativement aux théories abordées. À la fin du processus, É. Fourneret a demandé à ses étudiant·e·s de produire une courte dissertation dans laquelle ils devaient identifier une ou deux problématiques liées au numérique dans le film, expliquer en quoi elles constituaient un problème, quelle réponse était donnée dans le film et quelle autre réponse était possible, c'est-à-dire identifier les limites de toute solution dans le cadre de dilemmes.

### 3. Combler les lacunes méthodologiques

Éric Fourneret pointe un niveau en compétences critiques très bas dans les sections dans lesquelles il enseigne. Les élèves ont peu d'outils pour sortir de l'opinion. Ils ne sont pas habitués à construire une argumentation ni à écouter les arguments des autres.

Ce manque de compétences est un des premiers chevaux de bataille d'Éric Fourneret. Il consacre près de la moitié de son enseignement à une mise à niveau méthodologique afin de renforcer les compétences critiques de ses étudiant·e·s.

> « Je leur apprends à problématiser et à argumenter. Je leur apprends aussi à structurer un texte écrit, à faire une introduction, une conclusion. Des choses que l'on est censé avoir travaillées en Terminale, mais qu'ils n'ont pas du tout ou trop peu travaillées. Écrire une phrase qui pose un problème, pour lequel on doit trouver un argument puis un exemple qui illustre l'argument, c'est déjà un gros travail pour mes élèves en licence, et même pour les masters ! » É. Fourneret.
Éric Fourneret indique que la pandémie, qui a obligé les étudiant·e·s à s'isoler derrière leurs
ordinateurs, a aggravé les lacunes susmentionnées. Outre les difficultés de construction d'une
argumentation, il constate que la prise de notes a aussi perdu en efficience. Il indique qu'après le
Covid, même en présentiel, il éprouve une plus grande difficulté à « récupérer » les étudiant·e·s
afin de les mettre à niveau.

4. Développer les compétences empathiques

« L’empathie est une compétence, une disposition à, ce que l’on appelle en philosophie morale, la compréhension de l’autre. Je me mets à la place de l’autre pour voir le monde comme il le voit. Cela permet de mieux comprendre ses arguments, de mieux l’écouter et d’instaurer du dialogue. » É. Fourneret.

La volonté d'Éric Fourneret de travailler la compétence empathique est d'autant plus importante que son public se destine au management assisté par le numérique. En effet, ces métiers convoquent une forte dimension sociale et sont en pleine mutation. En outre, les métiers du management, particulièrement à l'ère du numérique, peuvent soulever d'importants problèmes éthiques. É. Fourneret relève que la majorité de ses élèves se considèrent comme des exécutants. Lorsqu'il leur pose la question de leur marge de liberté dans le métier qu'ils ont commencé à exercer durant leurs stages en alternance, les étudiant·e·s ne s'envisagent pas libres d'exercer leurs propres choix sauf, peut-être, celui de choisir les moyens pour effectuer la tâche demandée. Il est important de pointer ce cadre pour mieux saisir le travail d'Éric Fourneret.

« Je suis maître de conférence en philosophie, je ne suis pas maître de conférence en communication ni en art d'avoir toujours raison. Ma démarche en éthique est celle-ci : comment manager un groupe de personnes respectueusement. Et non pas, comment imposer sa vision des choses à un groupe de personnes. Je pense qu'il y a une dimension sociale éthique importante dans mon métier, qui est celle de faire des individus qui ne sont pas là pour écraser les autres, mais qui sont là pour les accompagner. Par conséquent, le développement des capacités empathiques est pour moi fondamental. Je m'appuie beaucoup sur la philosophie Martha Nussbaum qui travaille sur les émotions politiques dont l'empathie fait partie. » É. Fourneret.

Éric Fourneret développe les capacités empathiques de ses étudiant·e·s en organisant des séances de discussions autour d'exposés où les étudiant·e·s sont conviée·e·s à défendre une position qu'ils ou elles ne partagent pas. Le choix du thème leur est laissé libre. À la fin de l'exposé, leurs camarades sont invités à réagir, à poser des questions, à formuler des arguments inverses. L'évaluation ne porte pas uniquement sur celui ou celle qui présente l'exposé, mais sur l'auditoire et les interactions entre l'intervenant et l'auditoire. L'évaluation s'établit sur des critères tels que la capacité des étudiant·e·s à s'écouter, à ne pas se couper la parole, à émettre de véritables arguments plutôt que de simples arguments d'autorité ou d'opinion... É. Fourneret note qu'au fur et à mesure des exposés, la qualité des débats s'améliore et que les élèves prennent de plus en plus de plaisir à y participer, s'excusant même de se couper la parole et invitant leurs camarades à finir leurs raisonnements avant d'y répondre.

L'empathie, c'est cette capacité à l'écoute. Vous n'imaginez pas comme il est difficile de les empêcher de se couper la parole. Couper la parole est un défaut d'empathie. Souvent, on coupe une personne en ne prenant en compte qu'une partie de son raisonnement uniquement pour contre-
argumenter. Or, la réflexion éthique, c'est écouter tous les arguments d'autrui. Ça, c'est déjà une étape difficile. Je ne compte pas les fois où je leur demande de s'écouter. Lorsqu'ils ne sont pas d'accord, les étudiants montent rapidement dans les tours. Je leur dis que quand on fait du management, on ne peut pas être dans la sur-réaction. La meilleure façon de contrer cette attitude, c'est de développer l'empathie. Et cela passe par l'exercice. » É. Fourneret.

## 5. Cultiver l'esprit critique

L'apprentissage du jugement critique est un autre cheval de bataille pour É. Fourneret. La liberté critique est aussi largement présente dans les livres qu'il a publiés.

> « Mon travail, c'est le travail du jugement critique et non pas l'esprit de contradiction. » É. Fourneret.

Éric Fourneret note la difficulté d'arriver à un débat apaisé et construit pour des générations élevées aux réseaux sociaux qui les poussent sans cesse à réagir, en aimant, détestant, montrant sa tristesse, son soutien, sa colère... Son travail sur la compétence empathique va de pair avec un travail sur la pensée critique qui, comme nous l'avons vu, est développé dans la partie du cours qu'il consacre à la méthodologie et qui se prolonge dans l'exercice du débat.

> « Ce que l'on demande aux citoyens aujourd'hui, c'est d'adhérer ou de ne pas adhérer sans justifier pourquoi ils sont d'accord ou pas d'accord. On ne demande pas d'argumenter, mais d'adhérer. C'est contre cela qu'il faut lutter. Kant avec *Qu'est-ce que s'orienter dans la pensée*, Platon avec la maïeutique, Descartes avec les idées claires et distinctes, Martha Nussbaum avec les émotions démocratique, nous aident à lutter. » É. Fourneret.

## 6. Pallier à une défiance vis-à-vis de la philosophie

Éric Fourneret témoigne de la défiance de ses étudiant·e·s face à la philosophie. Il les décrit comme, pour la plupart, traumatisé·e·s par les cours de philosophie reçus en Terminale. Une partie de sa mission d'enseignant est donc de redonner à la philosophie une image positive.

> « Sur toute ma promotion cette année, trois seulement avaient un bon souvenir de leur cours de philosophie en Terminale. Les autres ont eu l'impression d'avoir été gavés comme des oies. Les cours dispensés au lycée sont trop théoriques. Ils n'ont jamais pu faire le lien entre les concepts et leur vie de tous les jours. » Éric Fourneret.

## 7. Quelle serait pour vous la formation idéale à l'éthique du numérique ?

Pour Éric Fourneret, avant de penser à la formation idéale dans les études supérieures, il serait nécessaire de renforcer les compétences préalables à l'argumentation critique dès le lycée. L'enseignement de la philosophie devrait commencer à partir de la seconde.

Dans le cycle supérieur, il recommande que toutes les filières reçoivent un enseignement en philosophie. Pour cela, il faudrait que plus de professeurs soient formés et nommés. Il y a un manque d'effectif pour l'enseignement de l'éthique qui ne ferait que se creuser s'il devait se généraliser.
Idéalement, dans la filière dans laquelle il enseigne, il recommande que les étudiant·e·s reçoivent un enseignement en philosophie ou en éthique au moins pendant les trois premières années de Licence. Actuellement, les étudiant·e·s n'en reçoivent qu'un sur une seule année et sur une période de temps très condensée.

Le fait que l'enseignement soit ramassé sur une période très courte empêche un suivi et le plein développement des compétences. É. Fourneret recommande que les 24 heures de cours se déroulent sur des périodes espacées dans l'année afin de laisser aux étudiant·e·s le temps d'ancrer les notions, d'y réfléchir et de se documenter.

Éric Fourneret parle de survol, là où un réel parcours d'apprentissage serait pour lui nécessaire. Par exemple, si les théories éthiques sont mentionnées : déontologisme, conséquentialisme et éthique des vertus, les élèves n'ont le temps de produire un travail que sur une seule de ces théories alors qu'ils devraient pouvoir les travailler toutes.
# AUDITION de Mme Christine FROIDEVAUX le 13/05/2022 en visioconférence.

AVIS ET RECOMMANDATIONS DE MME CHRISTINE FROIDEVAUX CONCERNANT L'ENSEIGNEMENT À L'ÉTHIQUE DU NUMÉRIQUE DANS L'ENSEIGNEMENT SUPÉRIEUR (INGÉNIEUR·E·S ET INFORMATIQUE).

Christine Froidevaux est professeure émérite d'informatique à l'université Paris Saclay, membre de l'équipe Bioinformatique du LRI/LISN, département Science des Données. D'autre part, elle a été vice-présidente de la Société informatique de France (SIF), elle est membre du Comité National Pilote d'éthique du Numérique (CNPEN) et membre du comité d'éthique pour les données d'éducation du Ministère de l'Éducation nationale.

## PLAN DE L'AUDITION :

1. Enseignements dispensés

2. Un intérêt grandissant de l'Éducation nationale française pour les questions sociétales et éthiques dans le cadre de la formation à l'informatique

3. Les questions sociétales et éthiques dans le cadre de la formation à l'informatique : une dynamique européenne ?

4. La question de la maturité de l'éthique du numérique

5. Éthique et génomique

6. Quelle serait pour vous la formation idéale à l'éthique du numérique ?

7. Quels seraient les publics à former à l'éthique du numérique ?

8. La sous-représentation des femmes dans les métiers de l'informatique, un problème éthique

## 1. Enseignements dispensés

Christine Froidevaux, aujourd'hui professeure émérite, évoque dans ce paragraphe les formations qu'elle a organisées et dispensées en tant que responsable du master de bio-informatique à l'université Paris Saclay de 2012 à 2020.

Une formation de 3 heures dédiée à la bioéthique pour les informaticien·ne·s, les biologistes et les mathématicien·ne·s était dispensée dans un module plus large intitulé « Formation à la recherche ». Elle y faisait intervenir Alice René, responsable de bioéthique à l'institut des sciences biologiques du CNRS (INSB).

C. Froidevaux indique que cette formation est poursuivie aujourd'hui mais qu'elle est orientée vers l'intégrité scientifique et le thème de la reproductibilité. La reproductibilité est un domaine de recherche majeur dans le master en bio-informatique car, en biologie, il est quasi impossible de retrouver exactement les mêmes résultats, les conditions des expériences variant toujours. La formation actuelle aborde aussi la thématique de l'ouverture du code informatique.
En outre, C. Froidevaux indique la présence d'un cours d'éthique du numérique donné sous la forme d'un MOOC « Intégrité scientifique, éthique de la recherche et éthique de l'information dans les TIC », à l'école doctorale de sciences et technologies de l'information et de la communication (STIC) de l'université Paris Saclay. Ce cours est consultable sur la plateforme FUN. Elle a participé à l'élaboration d'une première version de ce document en collaboration avec un acteur du privé, un informaticien d'IBM.

C. Froidevaux indique que le laboratoire de recherche auquel elle est rattachée, le laboratoire interdisciplinaire des sciences du numérique (LISN), développe actuellement une réflexion sur le développement durable et la sobriété numérique.

## 2. Un intérêt grandissant de l'Éducation nationale française pour les questions sociétales et éthiques dans le cadre de la formation à l'informatique

Christine Froidevaux pense que l'Éducation nationale française est dans une dynamique favorable aux questions sociétales et éthiques ayant trait au numérique, notamment depuis le rapport Villani et relativement aux enjeux que soulève l'apprentissage machine (machine learning).

Elle cite à titre d'exemple sa participation à la mise en place en 2021 d'un concours d'agrégation d'informatique qui intègre dans une de ses épreuves une dimension éthique.

Cette agrégation est composée de trois épreuves orales dont une de modélisation. Dans l'épreuve de modélisation, les rédacteurs ont stipulé la prise en compte des enjeux éthiques (vie privée, souveraineté, sobriété numérique) : « L'épreuve vise à s'assurer de la capacité à comprendre, critiquer, améliorer la modélisation informatique d'un problème éventuellement issu d'une autre discipline, à en exposer clairement les enjeux scientifiques, y compris dans leur dimension éthique, sociétale, environnementale, économique ou encore juridique. » Mme C. Froidevaux souligne que la formulation de l'épreuve sous-entend que les futur·e·s enseignant·e·s devront être sensibilisé·e·s aux problématiques sociétales et éthiques. Concernant les formations existantes pour les enseignant·e·s, C. Froidevaux évoque des modules de sensibilisation dans le cadre de la formation continue pour les enseignant·e·s qui enseignent la spécialité "Numérique et sciences informatiques" (NSI).

D'autre part, C. Froidevaux qui s'est battue avec la Société informatique de France pour l'introduction de l'enseignement de l'informatique dès le primaire, puis au collège et au lycée, pointe le fait que les dimensions éthiques et sociétales sont aujourd'hui abordées dans l'enseignement SNT (Sciences numériques et technologiques) obligatoire en seconde. Cet enseignement tourne autour de six grands thèmes : Internet, le web, les réseaux sociaux, les données structurées et leur traitement, l'informatique embarquée, les objets connectés et la localisation cartographie et mobilité. Pour chaque thème, une réflexion sur les enjeux sociétaux et éthiques est encouragée.
### 3. Les questions sociétales et éthiques dans le cadre de la formation à l'informatique : une dynamique européenne ?

Christine Froidevaux encourage la réflexion sur l'enseignement de l'éthique du numérique pour les ingénieurs au niveau national et recommande de considérer en parallèle la dynamique européenne. Où en sont les autres pays ? Quelles problématiques sont abordées ? En quels termes ?...

C. Froidevaux mentionne un exemple de contribution française à une initiative européenne à travers la participation de la Société informatique de France (SIF) à une enquête menée par la coalition européenne *Informatics for all*.<fnref n="13" /> Cette coalition a travaillé en 2021 sur un curriculum d'enseignement de l'informatique européen. Pour sa rédaction, des associations d'informatique de tous les pays ont été consultées. Le SIF a, parmi les points abordés, fait remonter la nécessité de l'introduction des enjeux éthiques et sociétaux dans les enseignements à l'informatique, notamment autour des réseaux sociaux, des fake news, du RGPD et de la protection des données.

D'autre part, le programme d'initiation SNT dispensé en seconde a été traduit en anglais.

### 4. La question de la maturité de l'éthique du numérique

Pour Christine Froidevaux, les problématiques du numérique sont aujourd'hui bien identifiées. Si l'expérience des chercheurs ou des professionnels dans le domaine de l'éthique du numérique est moins ancrée qu'en bioéthique, C. Froidevaux souligne qu'il existe des comités d'éthique opérationnels actifs depuis de nombreuses années déjà. Le Coerle (Comité opérationnel d'évaluation des risques légaux et éthiques de l'Inria) a, par exemple, été créé dès 2011. Il régit les questions de cybersécurité, d'IA, d'analyse d'images, de robotique, d'interaction homme-machine et des recherches qui impliquent la personne humaine. Le Comest (comité d'éthique du CNRS toutes disciplines confondues) est aussi actif sur ces questions. Enfin, le CNPEN (Comité national pilote d'éthique du numérique), bien que très récent, a déjà publié de nombreux rapports de référence.

### 5. Éthique et génomique

Pour répondre à ma curiosité sur les questions éthiques relatives à la bio-informatique, Christine Froidevaux évoque un rapport du CCNE (Comité consultatif national d'éthique pour les sciences de la vie et de la santé français) élaboré avec la participation de la CERNA<fnref n="14" /> en 2018 intitulé « Numérique et santé, quels enjeux éthiques pour quelles régulations ? ».

Elle cite un exemple, issu du rapport, qui lui tient à cœur et dont l'énoncé est le suivant : « *Je suis scientifique en génomique. J'effectue des recherches en bio-informatique. Que signifie recueillir le consentement éclairé d'un individu ?* » Elle explique que le problème du recueillement

<footnote n="13">¹³ Informatics for all est une coalition qui vise à réunir le monde universitaire, l'industrie, les gouvernements et la société pour influencer la politique d'éducation en Europe vers la pleine reconnaissance et l'établissement de l'informatique comme discipline fondamentale dans les écoles. La coalition a été créée en 2018 par « l'ACM Europe Council », le « CEPIS Education Committee » et « Informatics Europe ». L'« IFIP TC3 Education » a rejoint la coalition en 2020.</footnote>

<footnote n="14">¹⁴ La CERNA est la Commission de réflexion sur l'éthique de la recherche en sciences et technologies du numérique d'Allistene, qui est elle-même l'alliance des sciences et technologies du numérique.</footnote>
du consentement a été bien étudié par le CCNE. Le CCNE et la CNIL proposent d'ailleurs des analyses d'impact relatives à la protection des données. Cependant, la question des données reste une problématique centrale dans la bio-informatique. Elle se pose pour les grandes bases de données, comme les bases de données génomiques publiques, pour la question du droit des données lorsque les projets de recherche sont internationaux, pour la médecine personnalisée...

De nombreux enjeux éthiques sont au cœur de la recherche sur le génome. C. Froidevaux évoque la contradiction possible entre les tests de paternité et la volonté d'anonymat des donneurs de sperme mais aussi la problématique des informations incidentes. Que faire si l'on découvre à partir d'une analyse faite pour détecter une maladie x, une autre maladie ?

Pour C. Froidevaux, nous ne sommes pas assez sensibilisés aux enjeux éthiques de la génomique. Les personnes désireuses d'avoir recours à des analyses génomiques pour des motifs personnels, généalogiques par exemple, devraient être informées que les données génomiques sont fortement identifiantes, même à partir de l'analyse d'une petite partie du génome et que, lorsque l'on connaît le génome d'une personne, on a non seulement des informations sur ses ancêtres mais aussi sur ses descendants. D'autre part, que pourrait-il se passer si les données récoltées tombaient entre de mauvaises mains ?

Pour les questions relatives à la bio-informatique, C. Froidevaux évoque l'Avis 130 du CCNE sur « Données massives (big data) et santé ».

## 6. Quelle serait pour vous la formation idéale à l'éthique du numérique ?

Pour Christine Froidevaux, l'enseignement de l'éthique cloisonné dans un module à part n'est pas la meilleure option. Elle préfère un enseignement de l'éthique intégré à un module plus vaste et cite l'exemple de l'université de Grenoble où l'éthique est intégrée dans un module de 36 heures dispensé aux étudiant·e·s de master en informatique qui s'intitule « La méthode scientifique ». Ce module tourne autour des notions d'expérimentation, de reproductibilité, d'intégrité, de déontologie et d'éthique et a à cœur de développer l'esprit critique.

> « Le danger que pourrait avoir un module d'éthique en soi, coupé des autres modules, serait de conduire les étudiants à penser qu'il s'agit de cocher des cases qu'ils oublieraient aisément par la suite. En plaçant des repères éthiques dans différents modules, ils verraient que l'éthique est au cœur de chaque secteur. Il faudrait presque une équipe pluridisciplinaire. Plutôt que de faire un module spécifique à l'éthique, la question éthique devrait irriguer tous les modules. »
> C. Froidevaux.

Christine Froidevaux met en avant l'importance de la pluridisciplinarité dans les enseignements d'éthique. Pour parler d'éthique du numérique, il faut à son avis intégrer des informaticien·ne·s, des roboticien·ne·s, des philosophes, des sociologues et des juristes.

Au niveau du volume horaire, C. Froidevaux pense qu'il est possible en 3 heures de donner des repères et de montrer qu'il y a un sujet important mais pense que c'est trop court pour sensibiliser réellement les étudiant·e·s. Pour elle, la formation à l'éthique doit servir de mise à l'étrier pour un prolongement dans l'exercice des fonctions professionnelles des étudiant·e·s.
« Pour moi l'éthique du numérique est une démarche, c'est réfléchir à des valeurs, observer les comportements individuels ou collectifs dans certaines situations, faire des choix pour pouvoir agir ensuite, c'est une quête, une recherche d'équilibre entre des valeurs éventuellement conflictuelles, entre ce qui est souhaitable et ce qui est possible, entre confiance et défiance. Plutôt que de déboucher uniquement sur des prescriptions, il me semble que c'est un cheminement, une réflexion ou un comportement vis-à-vis des objets. Vu ma conception de l'éthique, il me serait difficile de vous donner un programme de cours figé. Pour moi, il faut sensibiliser les élèves ingénieurs à travers différents thèmes. Le danger d'un module unique, c'est de se dire : « j'ai fait mon module d'éthique, je suis au point ». Alors que c'est une démarche qu'il faudrait intégrer et poursuivre tout au long de ses études, puis de son métier. Il faut aussi donner aux étudiants les moyens et la motivation de continuer à sensibiliser les gens qu'ils rencontrent, et ça, ce n'est pas facile. » C. Froidevaux

## 7. Quels seraient les publics à former à l'éthique du numérique ?

Pour Christine Froidevaux, il ne suffit pas de sensibiliser les programmeurs·euses·s informatiques à l'éthique du numérique car il·elle·s ne sont qu'un maillon de la chaîne. Il convient de sensibiliser également ceux et celles qui créent le cahier des charges, qui conçoivent les applications, qui les développent et qui les utilisent. En effet, l'informaticien·ne ne fait souvent qu'appliquer un cahier des charges qui lui a été donné sans avoir de pouvoir sur sa composition. En revanche, il·elle est plus souvent responsable de la correction de l'algorithme et du programme par rapport au cahier des charges et de la sécurité du code.

« Il faut former tous les ingénieurs, mais aussi former les formateurs. Il ne s'agit pas seulement de faire venir des spécialistes de l'éthique qui vont donner quelques cours. Il faudrait aussi que tous les enseignant·e·s dans les écoles d'ingénieurs soient sensibilisé·e·s à ces questions pour que l'éthique ne soit pas un module séparé du reste mais pour qu'existe un regard transverse sur tous les modules proposés. » Christine Froidevaux.

## 8. La sous-représentation des femmes dans les métiers de l'informatique, un problème éthique

Christine Froidevaux rebondit sur l'utilisation de l'écriture inclusive dans mes questions d'audition et souligne le problème de la sous-représentation des femmes dans les métiers de l'informatique.

Pour C. Froidevaux, le fait qu'il n'y ait que très peu de femmes ingénieures en informatique pose des problèmes éthiques et sociétaux car cela a des conséquences importantes sur la nature des contenus créés. Pour elle, encourager les filles à devenir ingénieures en informatique est une démarche éthique.

« Les sites web, réseaux sociaux, les logiciels sont créés majoritairement par des hommes, ce qui crée des biais genrés. » C. Froidevaux
AVIS ET RECOMMANDATIONS DE M. ALEXEÏ GRINBAUM CONCERNANT L'ENSEIGNEMENT À L'ÉTHIQUE DANS LE CADRE DE LA FORMATION DES FUTUR·E·S INGENIEUR·E·S.

Alexeï Grinbaum est philosophe et physicien. Il s'intéresse aux questions éthiques liées aux nouvelles technologies, notamment aux nanotechnologies, à l'intelligence artificielle et à la robotique. Il est chercheur et directeur de recherche au laboratoire Larsim du CEA-Saclay en tant que spécialiste de l'information. Il est président du Comité opérationnel pilote d'éthique du numérique du CEA et membre du CNPEN.

## PLAN DE L'AUDITION :

1. Formations dispensées par Alexeï Grinbaum

2. L'importance du présentiel

3. Incarner un rôle modèle pour les étudiant·e·s

4. Susciter une réaction émotionnelle

5. S'adapter aux centres d'intérêts spécifiques de l'auditoire

6. Approcher de nouveaux points de vue et façons de penser

7. Éthique, normes et valeurs

8. Quelle serait pour vous la formation idéale à l'éthique du numérique à destination des ingénieur·e·s ?

9. Pensez-vous que l'éthique du numérique puisse être un levier d'innovation tel que le promeut l'Europe ? Si oui, comment intégrer cela dans le domaine de l'éducation à l'éthique ?

10. Esprit critique et traditions de pensée

11. Éthique de l'IA ou éthique du numérique ?

## 1. Formations dispensées par Alexeï Grinbaum

Alexeï Grinbaum enseigne dans les écoles d'ingénieurs depuis la fin des années 2000, soit depuis plus de quinze ans. Il dispense différentes formations, des conférences, des modules d'enseignement de divers formats de 3, 6 ou 12 heures. Il enseigne dans différentes institutions, dans différentes filières ainsi que différentes matières.

En éthique du numérique, il est très régulièrement invité à donner des enseignements sous forme de conférences de 3 heures comme, par exemple, à Paris Dauphine, à Science-Po ou à CentraleSupelec. Par d'exemple, une conférence sur l'IA en santé lui a été demandée pour des ingénieur·e·s en biotechnologies. Il dispense une formation de 6 heures pour les doctorant·e·s de l'Inria.<fnref n="15" /> Il dispense aussi un enseignement dans une école privée d'ingénieurs dédiée à l'intelligence artificielle et au big data, aivancity. Le format le plus long qu'il donne est un format de 12 heures à destination des étudiant·e·s ingénieur·e·s de l'IOGS.<fnref n="16" />

<footnote n="15">¹⁵ Inria (Institut national de recherche en sciences et technologies du numérique).</footnote>

<footnote n="16">¹⁶ Institut Optique Graduate School. L'Institut d'Optique a pour ambition de réunir dans un même établissement l'ensemble des activités liées à la photonique : recherche, formation, innovation, création d'entreprises, conseil et</footnote>
L'IOGS est la seule école sur le plateau de Saclay (sauf peut-être l'ENS) qui rend obligatoire un cours d'éthique de 12 heures. Ce cours se compose de trois heures de cours général (abordant des sujets tels que : qu'est-ce que l'éthique de la recherche ?) et de 9 heures de cours consacrées spécifiquement à l'éthique du numérique. Le cours se donne face à une quarantaine d'élèves. A. Grinbaum note l'avantage du module obligatoire sur le module électif. En effet, s'il souligne qu'il a chaque année de très bons éléments, il déplore la vision de l'éthique comme un choix de facilité pour la majorité des étudiant·e·s.

## 2. L'importance du présentiel

Pour Alexeï Grinbaum, l'enseignement à distance n'est pas favorable à l'enseignement de l'éthique. Il a observé pendant la pandémie que les notes qu'il avait attribuées étaient près de 2 points inférieures à celles avant la pandémie car le travail des étudiant·e·s était moins bon.

> « Je vois une très forte différence entre l'enseignement en ligne et l'enseignement en présentiel. Ce n'est pas vrai pour toutes les matières mais c'est absolument vrai pour l'enseignement de l'éthique du numérique. Je ne suis pas pour l'enseignement de cours d'éthique du numérique par visioconférence ou via contenus enregistrés en ligne. L'aspect de l'éthique de la vertu doit être présent et cela passe par la présence de la personne qui incarne l'intérêt de cette réflexion. Il faut que ce soit émotionnel. L'enseignement de l'éthique n'est pas un transfert de connaissances. Ce n'est pas comme faire des calculs. Il faut montrer un mode de pensée, une réflexion et les incarner. » A. Grinbaum.

## 3. Incarner un rôle modèle pour les étudiant·e·s

> « J'incarne l'exemple d'un physicien qui fait de la philosophie. Mes étudiants n'ont jamais vu quelqu'un capable de penser comme eux sur le plan technique, c'est-à-dire parler de maths, écrire des formules ou du code et qui est aussi capable de sortir de ce mode de pensée pour prendre une autre casquette. Cela les surprend et les intéresse. Montrer son propre exemple, c'est important. »

A. Grinbaum.

## 4. Susciter une réaction émotionnelle

> « Une chose importante pour la formation à l'éthique, c'est qu'avant de donner une quelconque théorie, il faut susciter une réaction. Certains passent par les dilemmes, ce que je fais aussi. Mais on peut aussi passer par des images. L'entrée en matière doit se faire par un instrument pédagogique qui fait appel aux réactions émotionnelles et pas simplement aux réactions rationnelles. Bien souvent pour un ingénieur informatique, faire autre chose que d'écrire du code informatique signifie perdre du temps. Il faut commencer par gagner leur intérêt. » A. Grinbaum.

<footnote>valorisation industrielle. La photonique est la science, ainsi que la technologie de générer, contrôler et détecter des photons. La photonique se trouve derrière les différentes et nombreuses technologies de la vie quotidienne, tels que les smartphones, les ordinateurs portables, l'internet, les équipements médicaux, ou encore la technologie de la lumière. Cet institut appartient à l'université Paris Saclay.</footnote>
## 5. S'adapter aux centres d'intérêts spécifiques de l'auditoire

> « Je commence toujours par dire qu'en éthique de l'IA, il y a plusieurs cartographies selon les champs d'exercices. J'énonce plusieurs cartographies du champs de l'IA et indique laquelle nous allons suivre. L'utilisateur, l'ingénieur, le juriste, le régulateur ne voient pas les choses à travers les mêmes grilles de lecture. Avec les étudiants en sciences politiques, j'aborde le problème de la responsabilité. Avec les ingénieurs, je parle de l'IA de confiance, des valeurs, de l'éthique by design, de ses limites et avantages, de comment ça marche... Par exemple, je peux travailler sur comment approcher le principe d'explicabilité en l'inscrivant dans des solutions logicielles. »
> A. Grinbaum.

## 6. Approcher de nouveaux points de vue et façons de penser

Pour Alexeï Grinbaum, la formation à l'éthique est avant tout une occasion rare et précieuse offerte aux ingénieur·e·s d'approcher un autre type de pensée, une autre façon de réfléchir que celles auxquelles ils ou elles sont habitué·e·s. Les résultats de cet enseignement valent en eux-mêmes pour la curiosité intellectuelle qu'ils suscitent mais peuvent aussi se révéler utiles des mois ou des années plus tard.

## 7. Éthique, normes et valeurs

> « Si les normes peuvent évoluer rapidement, l'évolution des valeurs peut être assez lente. Elles s'énoncent bien souvent avec les mêmes mots qu'il y a trois siècles, même s'ils ne signifient plus vraiment la même chose. En revanche, on ne peut pas parler d'évolution du mot : « Éthique ». L'impératif de réfléchir dans la continuité de la tradition culturelle est toujours là, il n'évolue pas. L'éthique de la technique, c'est la réflexion sur la condition de l'homme dans le monde technologique. C'était déjà le cas avec les bateaux pour les romains. »
> A. Grinbaum.

## 8. Quelle serait pour vous la formation idéale à l'éthique du numérique à destination des ingénieur·e·s ?

Pour Alexeï Grinbaum, la formation idéale à l'éthique du numérique dépend du public cible. Pour les ingénieur·e·s qui ne se destinent pas aux métiers de l'informatique directement reliés au secteur de l'IA, un enseignement de 12 heures suffit. Il insiste sur l'importance que cet enseignement soit divisé entre conférences et parties pratiques. Cependant, pour les ingénieur·e·s qui se destinent aux secteurs de l'IA, il recommande un enseignement de 24 heures. Cet enseignement se découperait lui aussi en deux blocs : un bloc d'enseignement de type général et un bloc d'enseignement spécifique relatif aux besoins des étudiants selon leur cursus avec une partie pratique.

A. Grinbaum note qu'outre les formations en écoles d'ingénieurs et dans les universités, il faudrait poursuivre les formations pour les doctorant·e·s, notamment à l'INRIA. Pour cela, il recommande 6 heures de formation à l'éthique du numérique pour tout·e·s. Pour les spécialistes en IA, deep learning, machine learning, la formation pourrait être beaucoup plus longue.
« Les populations étudiantes avant le doctorat ne sont généralement pas assez qualifiées pour parler de détails très précis. C'est trop tôt. Je mentionne les différentes stratégies d'XAI (Explainable Artificial Intelligence) à l'Inria ou aivancity mais les élèves n'en ont jamais entendu parler avant. Cela vient en thèse. Malheureusement, la formation pour les doctorants, même à l'Inria, est trop générale. Trop de branches d'études sont mêlées ; de ceux qui sont dans le machine learning à ceux qui font de la cyber sécurité ou d'autres qui travaillent dans la biologie. Je n'ai jamais vu de groupe de doctorants homogène de machine learning. » A. Grinbaum.

## 9. Pensez-vous que l'éthique du numérique puisse être un levier d'innovation tel que le promeut l'Europe ? Si oui, comment interpréter cela dans le domaine de l'éducation à l'éthique ?

« Penser que l'éthique est un levier d'innovation parce que le but ultime de la formation est d'innover, parce qu'innover est le but de la société occidentale, c'est de la propagande politique. Il faut sûrement mettre ça dans les textes parce que c'est une manière de motiver mais fondamentalement, l'éthique n'est pas une gestion de risques. L'éthique est une discipline intellectuelle de réflexion. » A. Grinbaum.

Alexeï Grinbaum note qu'il y a un sens dans lequel l'enseignement de l'éthique peut être admis comme un vecteur d'innovation mais souligne que c'est un sens très étroit. Cela advient lorsque des étudiant·e·s sont tellement fasciné·e·s par les problèmes mis au jour, qu'il·elle·s décident de s'engager plus avant dans cette voie, en y consacrant leurs stages professionnels, leur thèse et parfois même une partie de leur carrière.

« L'éthique donne déjà des produits différents par le dialogue avec ceux et celles qui se demandent quels sont les biais, qui s'interrogent sur le rapport à la vérité. Quand les ingénieurs produisent des papiers avec toute une partie sur la notion de vérité, sur les biais ou sur la sécurité, c'est le résultat de toutes les discussions que nous menons depuis des années. Les conversations sur l'éthique ont déjà une influence sur le travail des ingénieurs. Mais je ne parlerais pas d'utilité immédiate de la formation à l'éthique sauf pour ceux qui font du machine learning dans les secteurs sensibles. Pour les autres, c'est de la culture générale qui reviendra parfois des années plus tard. » A. Grinbaum.

## 10. Esprit critique et traditions de pensée

Pour Alexeï Grinbaum, un·e ingénieur·e qui ne connaît que son métier n'est pas capable de penser à la vie de son produit en société. L'éthique et l'esprit critique sont des outils qui peuvent l'y aider. Il précise que cette réflexion s'adresse en priorité aux ingénieur·e·s qui travaillent en B to C. Pour lui, outre l'esprit critique, la dimension de culture générale et de connaissance de l'histoire de la pensée est très importante.

« La philosophie analytique met en avant l'esprit critique comme une valeur absolue. Mais comme le disent les philosophes continentaux depuis plus d'un siècle déjà, le problème c'est que l'on peut être très critique en avançant des argument pour et des arguments contre sans se poser la question de notre rapport à l'ensemble des gens qui ont fait ça avant nous, à l'histoire de la connaissance, à la tradition. L'esprit critique est important mais il ne peut fonctionner sans un certain nombre de repères et de références des grands courants de pensée. Il s'agit de bâtir des ponts entre votre cas et ceux des autres avancés dans l'histoire de la pensée. » A. Grinbaum.
« Le but ultime est d'insérer une technologie inédite dans une culture humaine et dans la pensée éthique qui lui est propre. Si on commence à chercher une éthique nouvelle parce qu'on est face à une technologie nouvelle, c'est perdu d'avance car l'éthique ne pousse pas sur les arbres. La difficulté est donc d'insérer ces outils techniques nouveaux dans la continuité de notre réflexion, de notre tradition de pensée, de notre culture. La réflexion éthique est continue, elle ne commence pas en 2011 avec la dernière révolution de l'IA. Faire cela, l'ingénieur ne sait pas trop s'y prendre et c'est l'objectif ultime des formations à l'éthique. » A. Grinbaum.

## 11. Éthique de l'IA ou éthique du numérique ?

Alexeï Grinbaum explique que les expressions « éthique de l'IA » ou « éthique du numérique » sont surtout relatives au contexte dans lequel ces expressions sont utilisées. Dans le contexte francophone et germanophone, l'appellation éthique du numérique est plus commune. Dans le contexte anglophone ou le contexte des publications à vocation internationales, le terme « digital ethics » est moins répandu que celui « d'AI ethics ». L'emploi des deux termes est donc à choisir en fonction de la visée de diffusion des articles.
AVIS ET RECOMMANDATIONS DE MME MÉLANIE GORNET CONCERNANT LES FORMATIONS À L'ÉTHIQUE DU NUMÉRIQUE DANS LE CADRE DE LA FORMATION DES FUTUR.E.S INGENIEUR·E·S.

Mélanie Gornet est auditionnée au titre d'étudiante en ingénierie. Elle vient d'obtenir son diplôme d'ingénieur à l'école toulousaine ISAE-SUPAERO. Ce master s'inscrit dans la filière Sciences des Données et de la décision et NeuroIA. Dans sa dernière année en école d'ingénieurs, elle a effectué un stage au CNPEN.<fnref n="17" /> Elle est actuellement en doctorat à Télécom Paris - Institut Polytechnique de Paris, en Économie, gestion et sciences sociales dans la spécialité Régulation. Sa thèse en cours a pour titre : « Rédaction d'exigences légales et éthiques pour des systèmes de reconnaissance d'images robustes, équitables et explicables ».

## PLAN DE L'AUDITION :

1. Genèse et résumé du stage réalisé au CNPEN

2. Quelle serait à votre avis la formation idéale à l'éthique du numérique à destination des ingénieur·e·s ?

3. Pensez-vous que la promotion de l'esprit critique pourrait être utile aux ingénieur·e·s ?

4. Pensez-vous que la façon dont vous avez travaillé pendant votre stage, c'est-à-dire en expérimentant des valeurs éthiques émises par les instances européennes sur une application concrète, pourrait être généralisée pour former les ingénieur·e·s à l'éthique du numérique ?

5. Pensez-vous que l'éthique puisse être un vecteur d'innovation tel que le met en avant l'Europe dans ses textes ?

## 1. Genèse et résumé du stage réalisé au CNPEN

Mélanie Gornet rencontre Catherine Tessier à ISAE-SUPAERO lors de son cours intitulé : « Robotique et éthique». Particulièrement sensible à l'enseignement reçu, Mélanie Gornet sollicite un stage auprès de Catherine Tessier. Elle veut travailler entre apprentissage machine et éthique. C. Tessier lui propose de faire un stage au CNPEN. Il sera question de sonder l'application des recommandations européennes sur l'éthique de l'intelligence artificielle sur un cas d'école : l'authentification par reconnaissance faciale.

## 2. Quelle serait à votre avis la formation idéale à l'éthique du numérique à destination des ingénieur·e·s ?

Mélanie Gornet souligne que la formation à l'éthique du numérique est quasiment absente à ISAE-SUPAERO. Si elle a bénéficié d'un cours de six heures avec Catherine Tessier, celui-ci

<footnote n="17">¹⁷ La stagiaire a été supervisée par Catherine Tessier et Claude Kirchner pour le CCNE (encadrement éthique) et par Olivier Grisel, chercheur à l'Inria et au CEA spécialisé en apprentissage machine (encadrement technique).</footnote>
n'était pas proposé à toutes les spécialités, ce qui signifie que la majorité des élèves de sa promotion n'ont pas reçu de formation à l'éthique du numérique.

Pour elle, une formation à l'éthique du numérique idéale devrait a minima être proposée à tous les ingénieur·e·s qui vont travailler dans le numérique et pas seulement pour certaines spécialités. Elle recommande que l'enseignement de l'éthique du numérique intervienne au moment où les élèves se spécialisent (moment qui varie selon les écoles) afin que les élèves qui se dirigent vers l'informatique soient tout de suite en contact avec l'éthique du numérique et que ceux et celles qui vont dans des branches non-informatiques en soit dispensés.

> « Si on suit des cours d'informatique, il faudrait obligatoirement avoir un cours de l'éthique du numérique. Pour moi, c'est une évidence mais ce n'est pas vraiment le cas. Je fais de l'informatique depuis des années et j'ai entendu parler d'éthique du numérique un peu par hasard et seulement en dernière année d'école d'ingénieurs. » M. Gornet.

Pour Mélanie Gornet, pour intéresser les ingénieur·e·s, il faut corréler l'éthique du numérique à leur futur métier en leur donnant des exemples très concrets. L'idéal serait même de travailler la définition de l'IA en fonction des sujets de chaque spécialité. Elle souligne que si l'on regroupe l'IA sous un seul terme, celle-ci renferme en fait des domaines très différents.

Au niveau du contenu, elle propose de situer les enjeux, d'exposer les problèmes que pose le numérique, de dire aux ingénieur·e·s en quoi l'AI génère des besoins éthiques puis de mettre ces problématiques en jeu sous la forme de dilemmes éthiques.

> « J'ai un peu peur que si on part dans des concepts trop larges, sociologiques, philosophiques, etc., ça perde les élèves qui sont habitués à une façon de penser très « matheuse ». Ils veulent qu'on leur dise quels sont les enjeux, où les observer dans la société, quels en sont les impacts réels. Moi, je commencerais par là. » M. Gornet.

Pour Mélanie Gornet, l'approche délibérative de Catherine Tessier à partir de dilemmes réfléchis en groupes fonctionne. Elle ajoute que les élèves découvrent souvent à l'occasion qu'il·elle·s n'ont pas les mêmes avis, qu'il·elle·s ne s'appuient pas sur les mêmes valeurs. En revanche, elle pointe que la formation gagnerait à être un peu plus longue. En effet, il n'est pas évident pour tous les étudiant·e·s ingénieur·e·s de reconnaître un dilemme et, une fois le dilemme reconnu, d'apprendre à dévier de sa position de base.

> « Pour eux, s'il y a un problème, il y a une solution. Le dilemme est difficile à voir car ils considèrent qu'il y a forcément une bonne réponse. Pour eux, il y a la réponse oui et la réponse non, chacune de ces deux positions ont leurs argumentations et, à la fin, on en choisi une. Je ne suis pas sûre qu'ils envisagent qu'il puisse y avoir un mélange de deux positions ou que les différentes positions avec tous leurs arguments peuvent être recevables. » M. Gornet
### 3. Pensez-vous que la promotion de l'esprit critique pourrait être utile pour les futur·e·s ingénieur·e·s ?

> « Si je devais convaincre en une phrase les étudiants ingénieurs à se former à l'éthique, je leur dirais : « L'esprit critique et l'éthique sont importants pour améliorer votre propre travail. » M. Gornet.

Mélanie Gornet pense que la promotion de l'esprit critique pourrait être utile. Elle évoque la nécessité du doute dans la science. Pourquoi, par exemple, affirme-t-on qu'à telle question, il y a telle réponse ? A-t-on pris le temps de regarder les différentes théories ou arguments ?

Elle met aussi en avant l'importance de la pensée de l'objet comme objet sociotechnique qui, selon elle, fait parfois défaut dans les écoles d'ingénieurs. L'étude de l'objet sociotechnique devrait selon elle prendre en compte l'histoire de l'objet, le contexte de développement, les enjeux techniques (comme les biais possibles), les différences d'approches selon les cultures et les orientations personnelles de tout ordre. Elle met aussi en avant la responsabilité de l'ingénieur·e en prenant l'exemple d'un ingénieur qu'elle connaissait et qui travaillait pour une entreprise d'armement. Pouvait-il dire qu'il ne faisait que développer du code ou devait-il dire qu'il développait des armes ?

### 4. Pensez-vous que la façon dont vous avez travaillé pendant votre stage, c'est-à-dire en expérimentant des valeurs éthiques émises par les instances européennes sur une application concrète, pourrait être généralisée pour former les ingénieur·e·s à l'éthique du numérique ?

> « Je pense que mon expérience de stage peut être une bonne façon de former à l'éthique mais pas de façon générale, pas pour tous les ingénieurs informatiques. Ça peut être une proposition intéressante, notamment pour ceux qui conçoivent des objets avec une réserve : s'il est simplement question de proposer une liste de cases à cocher pour faire qu'un appareil soit éthique, ça ne marchera pas. Dans mon travail, j'ai dressé l'inventaire de mes choix pour un système particulier : un système de reconnaissance faciale qui utilise la technique du triplet loss.<fnref n="18" /> Si la démarche est généralisable, la réflexion et les choix varieront nécessairement selon les systèmes. Ce que je reproche aux textes européens c'est de dire : « voici des principes valables pour tout ». Les textes parlent de l'IA comme s'il n'y en avait qu'une sans considérer ses dérivés. La mise au point de grands principes tel que l'équité, la robustesse, l'explicabilité, la transparence permet de créer un premier cadre mais, à partir du moment où on l'applique réellement, on ne peut plus rester dans un cadre si général. Il faut choisir un angle, et souvent choisir parmi les valeurs. Je me suis rendue compte dans mon stage du nombre de choix incalculable que nous avions fait. Les ingénieurs qui travaillent sur leurs systèmes n'arrêtent pas de répéter qu'ils sont neutres, qu'ils ne font pas de choix. Bien sûr qu'ils font des choix ! Mais, justement, peut-être n'ont-ils pas pris le temps de la réflexion nécessaire ou n'ont-ils pas assez d'esprit critique pour les pointer. On ne leur a pas appris à fonctionner comme ça mais il le faudrait. » M. Gornet.

<footnote n="18">¹⁸ La fonction de coût par triplet (ou Triplet loss en anglais) est une fonction objectif pour les algorithmes d'apprentissage automatique où une entrée (appelée ancre) est comparée à une entrée positive (vérité) et une entrée négative (fausse).</footnote>
5. Pensez-vous que l'éthique puisse être un vecteur d'innovation tel que le met en avant l'Europe dans ses textes ?

Mélanie Gornet ne souhaite pas se prononcer avec force sur cette question dont elle n'est pas experte. Elle pense qu'intégrer un peu plus de réflexion éthique dans la conception des objets est faisable et peut être bénéfique, voire générer de l'innovation. Cependant, pour elle, l'éthique est surtout une carte de communication jouée par l'Europe. Mise en concurrence avec les Gafam, l'Europe qui a du mal à rivaliser en terme de précision technique, de moyens financiers et humains, tente de se distinguer par la promotion de l'éthique. M. Gornet espère personnellement que l'éthique peut être un vecteur d'innovation mais n'est pas sûre que cela puisse rivaliser avec la puissance des outils créés par les Gafam.

« Dans tout le cycle de vie d'un système, par exemple d'un système d'apprentissage machine, il y a plein de choses à faire du côté éthique mais je ne sais pas si cela sera conforme à la volonté de l'Europe. Se prononcer là-dessus est réservé à mon avis à ceux qui s'occupent de placer un cadre pour le numérique, les politiques, afin de donner une impulsion. Après, est-ce que ça peut marcher sur le terrain ? Je ne sais pas. Il faut essayer. » M. Gornet.
AUDITION de M. Thierry MÉNISSIER le 28/10/2021 via Zoom

AVIS ET RECOMMANDATIONS DE M. THIERRY MÉNISSIER CONCERNANT L'ENSEIGNEMENT À L'ÉTHIQUE DU NUMÉRIQUE DANS L'ENSEIGNEMENT SUPÉRIEUR (INGÉNIEUR·E·S ET INFORMATIQUE).

Thierry Ménissier est philosophe, spécialisé en philosophie et en histoire des idées. Il est professeur des Universités, responsable de la chaire MIAI<fnref n="19" /> “éthique & IA” à l’Université Grenoble Alpes, chercheur à l’Institut de Philosophie de Grenoble (IPhiG) et enseigne la philosophie à l’Institut d’Ingénierie et de Management (Grenoble IAE & Grenoble INP).

PLAN DE L'AUDITION :

1. Présentation des formations dispensées par Thierry Ménissier concernant l'éthique de l'IA, du numérique et de la donnée

2. Positionnement général de la démarche d'enseignement : stimuler les compétences

3. Un enseignement philosophique qui s'inscrit dans une vision de l'éthique appliquée

4. Allier culture générale et mises en pratique concrètes

5. L'importance des exercices : ancrage corporel et intellectuel

6. Point sur la question de la défiance des ingénieur·e·s à l'égard des SHS

7. L'éthique comme levier d'innovation

1. Présentation des formations dispensées par Thierry Ménissier concernant l'éthique de l'IA, du numérique et de la donnée

Thierry Ménissier dispense deux formations ayant trait à l'éthique de l'IA, du numérique et de la donnée à l'université de Grenoble Alpes :

- Un cours intitulé « Éthique de la recherche (pour l'éthique des ingénieurs) » à destination des 3ème années de l'école PHELMA<fnref n="20" />. Lancé en 2021, ce cours se développe en quatre séances de quatre heures ;

- Un séminaire intitulé « Éléments pour une éthique de l'IA, du numérique et de la donnée » initié par le Collège des Études Doctorales de l'Université Grenoble Alpes à destination de tous les doctorant.es du campus (12 heures).

2. Positionnement général de la démarche d'enseignement : stimuler les compétences

Thierry Ménissier considère que la transmission de connaissances, lorsqu'elle est destinée à des élèves ingénieur·e·s et des doctorant·e·s, ne peut se suffire à elle-même et doit également œuvrer

<footnote n="19">¹⁹ Le MIAI est un des quatre instituts interdisciplinaires d'Intelligence Artificielle français dans le cadre de la stratégie nationale pour l'intelligence artificielle (IA) annoncée par le Président de la République lors de la journée "AI for Humanity" en 2018.</footnote>

<footnote n="20">²⁰ La phelma accueille 1400 élèves ingénieurs dans de nombreuses disciplines en lien avec les défis contemporains et les questions de transition (micro-électronique et nanotechnologies, énergies décarbonées, technologies de l'Information, matériaux innovants, développent durable...)</footnote>
à stimuler les compétences. Stimuler les compétences requiert une inventivité qui permet de relier
le savoir à l'action.

3. Un enseignement philosophique qui s'inscrit dans une vision de l'éthique appliquée

« Mon but est dans un premier temps de faire progresser la connaissance philosophique de ces systèmes techniques. Cela signifie que les étudiants fassent un travail de lucidité : celui de prendre conscience que leur action est toujours sous-tendue par un système sociotechnique, en documentant ce système sociotechnique historiquement par rapport aux autres. Ensuite, mon idée c'est de commencer à faire réfléchir les gens à la démarche éthique qui pourrait être pertinente pour ces systèmes techniques. À cet égard, en ce qui concerne le système technique de l'intelligence artificielle, j'ai méthodologiquement choisi de distinguer : computer ethics, éthique algorithmique, éthique artificielle, éthique du numérique et de la donnée et éthique des usages de l'IA. Le séminaire suivi par les étudiants ne fait que poser un jalon. C'est une première pierre pour développer une éthique du système technique de l'IA dont les ramifications sont considérables, notamment concernant les développements technologiques en relation avec les usages de l'IA, du numérique et de la donnée. » T. Ménissier.

Thierry Ménissier est philosophe et se positionne comme tel dans ses formations à l'éthique de l'IA, du numérique et de la donnée. Passionné de systèmes techniques en tous genres, la finalité de ses formations est de donner une approche philosophique substantielle relative aux questions éthiques que les nouvelles technologies soulèvent ; pour ce faire, il entend notamment mettre en relation les théories morales développées par la philosophie (de l'arétaïsme antique à l'utilitarisme moderne) et les réalités techniques à travers l'histoire.

Il distingue quatre domaines éthiques relatifs aux instruments et pratiques technologiques : la computer ethics ou éthique algorithmique, l'éthique artificielle, l'éthique du numérique et de la donnée et l'éthique des usages de l'IA.

La computer ethics concerne les codeurs, useurs et informaticiens qui implémentent les principes éthiques dans le code (l'éthique by design). Autrement nommée éthique algorithmique, c'est une branche qui touche à la connaissance informatique, c'est à dire aux façons dont s'opèrent ou devraient s'opérer les calculs.

L'éthique artificielle est une discipline autonome qui concerne notamment la robotique sociale (qui a pour vocation de programmer des machines non nuisibles pour l'humain).

L'éthique du numérique et de la donnée concerne les sciences de l'information et de la communication. Les réflexions sur l'IoT font partie de ce domaine.

L'éthique des usages de l'IA est la branche de l'éthique qui mobilise de façon la plus évidente la philosophie politique et l'éthique philosophique.

Pour Thierry Ménissier, toutes ces formes d'éthique sont complémentaires et doivent dialoguer pour parvenir à circonscrire les questionnements d'envergure qu'ouvre le déploiement de l'intelligence artificielle. La computer ethics et ses concepts associés (transparence, explicabilité,
équité...), même si on peut lui accorder une primauté, n'est pas suffisante pour une approche éthique de ces réalités techniques, qui sont souvent transformées par leurs usages.

## 4. Allier culture générale et mises en pratique concrètes

> « Soit on vise à déterminer ces « honnêtes hommes » comme on disait au XVIème siècle, capables de parler de tout, avec ce côté humaniste, soit on veut former des gens à avoir des méthodes éthiques. Je pense que c'est très différent mais que ça communique et qu'il faut former les deux. »
> T. Ménissier.

Thierry Ménissier défend une approche faisant dialoguer apport de connaissances et mises en pratique de celles-ci. Pour lui, il faut transmettre une culture générale sur l'éthique en général et, en même temps, faire l'effort de créer des programmes ad hoc.

Certaines notions classiques en éthique restent fondamentales pour envisager les réflexions qui se posent dans les débats publics. Parmi celles-ci, T. Ménissier cite la différence entre éthique et morale, les notions de valeurs, de règles et de principes, les principaux courants éthiques (déontologisme, utilitarisme...).

## 5. L'importance des exercices : ancrage corporel et intellectuel

Thierry Ménissier insiste sur l'importance des exercices et de la mise en pratique des enseignements. Il évoque aussi la place du corps dans l'apprentissage. Engagé dans la création de nouvelles méthodes pédagogiques, il développe avec le programme « promising »<fnref n="21" /> des outils pédagogiques innovants. On peut citer l'exemple du serious game « Be human in the chaos »<fnref n="22" /> qu'il a créé avec Fabienne Martin-Juchat (professeure de sciences de l'information et de la communication à l'UGA). Composé de cartes représentant des persona (animaux protégés, objets connectés, divinités, humains augmentés), ce jeu propose de les incarner à partir d'improvisations corporelles. Les participant·e·s ancrent dans leurs gestes une réflexion sur leur place dans un monde techno-futuriste et développent ainsi une réflexion sur les enjeux du présent.

## 6. Point sur la question de la défiance des ingénieur·e·s à l'égard des SHS

> « Les ingénieurs que j'ai en cours en 3ème année me paraissent passionnés par les questions éthiques. » T. Ménissier

Pour Thierry Ménissier, un préjugé entre ingénieur·e·s et chercheur·e·s des SHS existe historiquement et s'ancre très tôt dans le parcours scolaire. Cependant, selon lui, les choses évoluent depuis 4/5 ans sous l'effet de la préoccupation environnementale. Si la défiance des ingénieur·e·s envers les sciences sociales et humaines s'amoindrit, l'inverse n'est pas forcément vrai. Il y a en effet en France certaines réticences persistantes dans les SHS, en particulier du côté des humanités, à s'associer aux savoirs de l'ingénierie.

<footnote n="21">²¹ « Promising » est un programme de l'Université Grenoble Alpes financé par le Programme « Investissements d'Avenir » (ANR PIA1, vague des IDEFI, 2021-2019) ayant pour but de développer et cultiver des démarches de design et de créativité pour renouveler la pédagogie dans l'enseignement supérieur.</footnote>

<footnote n="22">²² Voir la vidéo https://vimeo.com/191622738</footnote>
Thierry Ménissier relève également une méfiance des jeunes ingénieurs·e·s à l'égard de l'idée de « progrès industriel », qui se prolonge dans une défiance envers le monde de l'entreprise et de l'industrie, et dans une réticence à s'engager professionnellement notamment dans les grands groupes, de l'avis même de cadres de haut niveau.

## 7. L'éthique comme levier d'innovation

Thierry Ménissier a publié en janvier 2021 un ouvrage intitulé *Innovations - Une enquête philosophique*<fnref n="23" /> dans lequel il interroge la notion de progrès à l'aune de celle d'innovation, terme que l'on retrouve aujourd'hui dans tous les secteurs d'activité. Cette réflexion sur progrès et l'innovation se déploie en filigrane dans ses enseignements.

Partisan de la pensée de l'éthique comme un vecteur d'innovation, il défend l'idée que la formation à la réflexion sur l'éthique des systèmes techniques ancrée dans la pratique peut permettre une innovation différente.

<footnote n="23">²³ T. Ménissier, *Innovations - Une enquête philosophique*, Paris, Éditions Hermann, 2020.</footnote>
# AUDITION de Mme Catherine TESSIER le 10/11/2021 au CNPEN.

## AVIS ET RECOMMANDATIONS DE MME CATHERINE TESSIER CONCERNANT LES FORMATIONS À L'ÉTHIQUE DU NUMÉRIQUE DANS LE CADRE DE LA FORMATION DES FUTUR·E·S INGÉNIEUR·E·S.

Catherine Tessier est chercheuse à l'ONERA à Toulouse et référente intégrité scientifique et éthique de la recherche de l'ONERA. Elle enseigne à l'ISAE-SUPAERO, école d'ingénieurs à vocation aéronautique et spatiale. Elle fait partie de plusieurs comités d'éthique : le CNPEN, le comité d'éthique de la défense, le comité opérationnel d'évaluation des risques légaux et éthiques d'Inria (COERLE). Elle a fait partie des 24 experts internationaux mandatés pour rédiger le texte initial de la Recommandation de l'UNESCO sur l'intelligence artificielle, adoptée fin 2021.

## PLAN DE L'AUDITION :

1. Enseignements dispensés par Catherine Tessier

2. Qu'est ou que n'est pas l'éthique ?

3. Muscler le cerveau : s'exercer à la délibération éthique

4. Former à l'éthique avant de former à l'éthique du numérique ou de l'IA

5. Ressentez-vous une défiance particulière des ingénieur·e·s à l'égard de l'éthique ?

6. Quelles valeurs pour l'éthique du numérique ?

7. Intégrer la valeur financière et l'innovation parmi les valeurs à prendre en compte dans le monde de l'entreprise

8. Poser la question de la finalité

9. La formation à l'éthique peut-elle être un levier d'innovation ?

10. Esprit critique et Éthique

11. Quelle serait la formation idéale à votre avis ?

## 1. Enseignements dispensés par Catherine Tessier

Catherine Tessier enseigne deux cours à l'ISAE-SUPAERO. Un cours de 3 heures intitulé : « Expérimentations avec des participants », dans le module « Expérimentations, mesures et BCI (Brain Computer Interface) », dans le domaine de 3e année « NeuroIA » et un cours de 6 heures intitulé : « Robotique et éthique », dans le module « Décision et Action Délibérée », dans le domaine de 3e année « Systèmes autonomes ».

Elle enseigne aussi à l'Université de Toulouse et chez Inria dans le cadre de la « Formation des doctorants à l'éthique de la recherche et à l'intégrité scientifique » (durée d'une session : 6 heures).

## 2. Qu'est ou que n'est pas l'éthique ?

> « Il ne faut pas faire croire aux gens que faire de l'éthique, c'est uniquement avoir des critères et des cases à cocher. » C. Tessier
Pour Catherine Tessier, le mot « éthique » est trop souvent employé à tort et à travers. Notamment dans les textes internationaux, une confusion est faite entre « éthique » et conformité à des normes, des règlements, des lois. Les processus de mise en conformité mis en place par les autorités européennes ou les entreprises, telles que l'« Ethics review » ou l'« Ethics self assessment » par exemple ne sont pas de l'éthique à proprement parler.

Elle cite la définition du dictionnaire de l'Académie française qui établit que l'éthique est une « réflexion relative aux conduites humaines et aux valeurs qui les fondent, menée en vue d'établir une doctrine, une science de la morale ». On ne peut donc pas, par exemple, qualifier un produit d'« éthique », cet adjectif signifiant « qui a rapport aux conduites humaines et aux valeurs qui les fondent ».

Catherine Tessier renvoie d'autre part à la définition de l'éthique produite par le CNPEN dans son Manifeste pour une éthique du numérique. « L'éthique est une réflexion continue, évolutive, nourrie par l'histoire de la pensée et liée à une culture. Elle identifie et interroge les valeurs et les normes, met en évidence leur éventuels conflits, pour éclairer des choix individuels ou collectifs. Un questionnement éthique sur les sciences et les technologies peut se rapporter à des moments singuliers de l'existence humaine comme la procréation ou la mort, mais aussi concerner tout moment du quotidien. C'est le cas de l'éthique du numérique qui interroge en permanence nos valeurs à l'aune de situations inédites d'usage des technologies, avec une dimension radicalement nouvelle d'ubiquité et d'universalité de leurs effets. »

« L'éthique n'est pas le droit, n'est pas la déontologie, n'est pas un règlement ou une série de normes, n'est pas un ensemble de valeurs même si on les utilise, n'est pas la morale même si on l'utilise, n'est pas une déontologie mais une réflexion et une démarche dynamiques qui peuvent aboutir à des recommandations. » C. Tessier.

### 3. Muscler le cerveau : s'exercer à la délibération éthique

La priorité de Catherine Tessier est d'initier ses élèves à la délibération éthique : écouter l'argument de l'autre, produire des arguments, prendre en compte tous les facteurs, s'habituer à ce qu'il n'existe pas une « bonne réponse ». Les enseignements de C. Tessier sont souvent donnés à des étudiant·e·s pour qui l'éthique est une notion nouvelle ou qui en ont une vision imprécise.

« À mon avis, pour les ingénieurs, on peut en venir directement au fait sans passer par la culture générale ou l'histoire de l'éthique, ou seulement dans un deuxième temps. On s'adresse à une population qui a bien souvent oublié la philosophie depuis le lycée. Il faut les amener directement dans la pratique en leur présentant, par exemple, des situations de dilemmes. » C. Tessier

Catherine Tessier commence son cours par déjouer les conceptions de ce qu'est l'éthique et de ce qu'elle n'est pas comme nous l'avons vu dans le paragraphe précédent. Elle évoque aussi la notion de progrès : est-ce qu'un progrès technique est un progrès moral ? Après ces mises au point, elle expose les principaux cadres de philosophie morale : déontologisme, conséquentialisme, éthique des vertus, afin d'outiller ses élèves à la délibération éthique. Elle insiste sur l'importance de donner ces cadres de la philosophie morale avant d'aborder les dilemmes afin que les élèves sortent de la simple pensée conséquentialiste qui semble s'imposer de façon naturelle aux étudiant·e·s lorsqu'ils ou elles n'ont pas d'autres références. L'expérience de pensée bien connue
du dilemme du tramway est souvent employé par C. Tessier pour illustrer les cadres moraux. Il s'agit d'apprendre à réfléchir aux valeurs et principes éthiques lorsqu'ils sont mis en tension dans une situation afin d'être à même de les hiérarchiser en fonction des cas.

Les élèves sont ensuite divisés en deux groupes, chacun invité à discuter d'un dilemme réel ou très réaliste. Les élèves disposent d'une demi-heure de réflexion. Il est important que la parole soit ouverte au maximum, que les élèves se sentent libres de débattre et d'exposer des avis divergents. La demi-heure passée, il·elle·s doivent restituer le cas et leurs réflexions à l'autre groupe.

Catherine Tessier propose des repères historiques et philosophiques dans les annexes de sa formation, pour ceux ou celles qui voudraient aller plus loin.

## 4. Former à l'éthique avant de former à l'éthique du numérique ou de l'IA

Pour Catherine Tessier, il n'y a pas, en théorie, besoin d'une formation à l'éthique spécifique pour les ingénieur·e·s des sciences informatiques car la pratique de la réflexion éthique, en tant que méthode de réflexion, s'applique à tous, ingénieur·e·s et non-ingénieur·e·s. Cependant, elle note que chaque discipline ayant ses formatages, l'approche des formations peut nécessiter des adaptations sectorielles.

> « Proposer aux gens ce qui les intéressent et ce qu'ils attendent n'ouvre pas forcément l'esprit. »
> C. Tessier.

Cependant, les éventuelles approches sectorielles sont aux yeux de C. Tessier moins importantes que le fait d'ouvrir l'esprit des élèves. Elle prend l'exemple des formations des doctorant·e·s à l'éthique de la recherche et à l'intégrité scientifique proposées à l'Université de Toulouse. Le fait que les doctorant·e·s viennent de disciplines et d'horizons très différents génère des discussions de grande qualité et poussent chacun et chacune à se confronter à des modes de pensée différents. Cela lui semble préférable au fait de proposer des formations calibrées pour les attentes spécifiques d'un groupe homogène.

> « Le rôle de l'éthique est aussi de bousculer les façons communes de penser. » C. Tessier

## 5. Ressentez-vous une défiance particulière des ingénieur·e·s à l'égard de l'éthique ?

Pour Catherine Tessier, la défiance ne vient pas tant des étudiant·e·s que des institutions d'enseignement à former les ingénieur·e·s à la réflexion éthique, notamment là où elle enseigne à Toulouse. Ce phénomène peut s'expliquer à l'aune de deux préjugés qui consistent à penser que l'éthique n'est pas une matière « sérieuse » et qu'elle peut être un frein à l'action, notamment dans les entreprises. Pour elle, comme nous le verrons dans le paragraphe 9, l'éthique n'est pas un frein à l'action mais un recul nécessaire qui l'accompagne.

C. Tessier note que l'appétence des étudiant·e·s pour les questions d'éthique est d'autant plus palpable aujourd'hui qu'elle fait écho aux problématiques environnementales. En revanche, elle expose le fait que l'apprentissage de la pratique éthique chez les ingénieur·e·s peut être source de frustration, voire de colère. Habitué·e·s à la recherche de solutions, les ingénieur·e·s ont parfois
du mal avec des dilemmes éthiques qui ne débouchent pas sur une réponse tranchée. Cette réaction, parfois épidermique, est un signe de l'acquisition du processus de délibération éthique où il s'agit de relever les tensions entre les notions plutôt que de tenter de les neutraliser.

## 6. Quelles valeurs pour l'éthique du numérique ?

Catherine Tessier s'interroge sur la pertinence des valeurs utilisées dans les délibérations éthiques dans le domaine du numérique. Citant un article de Raja Chatila<fnref n="24" />, elle évoque la genèse des processus éthiques actuels et le fait qu'ils soient hérités de la bioéthique, fondée sur les principes du rapport Belmont : non-malfaisance, bienfaisance, autonomie et justice. Ces valeurs sont-elles toujours pertinentes à considérer telles quelles quand on parle du numérique ? À ce titre, elle cite la valeur d'autonomie, très souvent remise en question dans le domaine de l'intelligence artificielle. À quel point, par exemple, un praticien médical est-il encore autonome lorsqu'il fonde ses décisions sur les prédictions d'un algorithme ?

## 7. Intégrer la valeur financière et l'innovation parmi les valeurs à prendre en compte dans le monde de l'entreprise

La création de valeurs financières est la raison d'être de l'entreprise. Les ingénieur·e·s, qui seront amené·e·s à travailler dans le monde de l'entreprise, ne peuvent faire l'économie de cette valeur dans leur réflexion éthique et doivent la mettre en balance avec d'autres valeurs.

À propos de l'innovation, Catherine Tessier pose la question de savoir si on peut la considérer comme une valeur. Si tel était le cas, il faudrait la prendre en compte comme une valeur parmi d'autres dans le cadre de l'entreprise.

## 8. Poser la question de la finalité

Pour Catherine Tessier, si comme nous l'avons vu dans le paragraphe précédent, les valeurs de profit et d'innovation peuvent être pensées comme opérantes dans le cadre de l'entreprise, d'autres questionnements, moins consensuels, doivent être abordés et principalement la question de la finalité, du pourquoi on fait les choses que l'on fait. À quelle fin mon produit est-il destiné ? Répond-il à un besoin social ou au besoin du marché ? Qui va l'acheter ? Pour quoi faire ? La transposition des savoirs dans ce domaine particulier est-elle souhaitable ou peut-elle être dangereuse ?

S'appuyant sur l'exemple du *dead bot*<fnref n="25" />, Catherine Tessier pose la question suivante : le besoin est-il toujours utile ? Dans le cas du *dead bot*, l'outil correspond certes au besoin de personnes confrontées au manque d'une personne disparue, cependant ce besoin contrevient à la définition même de la mort comme absence irrémédiable et donc à la question du deuil comme fondement de notre condition humaine.

<footnote n="24">²⁴ « Bioéthique et éthique du numérique. Une hybridation paradoxale. » *Pour une éthique du numérique*. CNPEN. Coordonné par Éric Germain, Claude Kirchner et Catherine Tessier. Ed. Puf. 2022.</footnote>

<footnote n="25">²⁵ Voir à ce sujet l'avis N°3 du CNPEN : « Agents conversationnels : enjeux d'éthique ».</footnote>
« Il faut réfléchir collectivement et de manière globale, car c'est un fait, nous n'allons plus pouvoir continuer comme ça. Il va falloir faire évoluer nos modes de vie. Ce constat pèse sur les épaules de ceux qui créent, les ingénieurs qui vont certainement devoir inventer différemment, c'est-à-dire en se posant les bonnes questions. » C. Tessier

## 9. La formation à l'éthique peut-elle être un levier d'innovation ?

Catherine Tessier expose toujours dans ses formations qu'à son avis la réflexion éthique n'est pas un obstacle au faire et qu'au contraire, elle peut mener à aller plus loin du point de vue technique.

Pour la formation à l'ISAE-SUPAERO, elle s'est appuyée cette année sur la consultation du CNPEN relatives aux *chatbots* en en extrayant quelques questions. Par exemple, un *chatbot* peut-il mentir ? Un *chatbot* peut-il répondre à une insulte par une insulte (et comment serait définie scientifiquement une insulte ? (voir par exemple celles que profère le Capitaine Hadock).

« La réflexion éthique n'est pas un obstacle. Au contraire, le fait de se poser des questions, de mettre sur la table tous les arguments, de regarder les tensions, peut permettre d'identifier des dilemmes qui n'avaient pas été identifiés puis, éventuellement d'essayer de les résoudre par des solutions techniques. Se poser des questions éthiques peut mener à aller plus loin du point de vue technique. » C. Tessier.

## 10. Esprit critique et éthique

Catherine Tessier trouve la question posée intéressante : « Quelle est la différence entre esprit critique et éthique ? ». C. Tessier, elle-même très sensible à la question de l'esprit critique, constate que pour mener une réflexion éthique, il faut de l'esprit critique afin d'être en mesure d'envisager des arguments que l'on ne défend pas soi-même, de pouvoir critiquer de manière constructive, d'argumenter son désaccord.

Elle indique que l'esprit critique devrait être la démarche naturelle de tout scientifique capable de critiquer constructivement les thèses des autres mais aussi de se critiquer lui-même. À ce propos, elle invite ses doctorant·e·s à intégrer à leur thèse « un pas de côté » : une analyse éthique. Cette analyse porte sur les impacts de leur recherche, le questionnement des choix scientifiques qui ont été faits, les limites, etc. Ses doctorant·e·s sont invité·e·s à exposer dans une partie spécifique les réponses à des questions telles que : Ai-je eu recours à des simplifications ? Certaines hypothèses ont-elles été implicites ? En quoi les idées que je développe dans ma thèse ont-elles été influencées ou limitées par mes financements ? Ou bien par les méthodes ou la littérature que j'ai utilisées ?

« Dans les articles scientifiques, à mon avis, il devait y avoir ce genre de pas de côté : demander aux chercheurs d'avoir un regard critique sur ce qu'ils font ». C. Tessier.

Cet effort d'envisager sereinement les limites de son travail, de prendre du recul par rapport à ce que l'on a produit, peut être la première distinction entre esprit critique et éthique. Plutôt que de parler d'analyse éthique du travail, peut-être pourrait-on ici parler d'esprit critique ou de recul critique. En effet, cette démarche, si elle aborde des problématiques ayant trait à l'éthique du
chercheur, n'entre pas dans le cadre du dilemme éthique où la délibération éthique prime tel que
nous l'avons développé dans le paragraphe 2 de ce document.

11. Quelle serait la formation idéale à votre avis ?

Pour Catherine Tessier, l'objectif principal de la formation à l'éthique est de donner des outils pour montrer ce qu'est une délibération éthique et de faire en sorte que les élèves se l'approprient et la pratiquent, qu'elle devienne une « habitude ».