qui ne se comprennent pas, mais qui
ont souvent besoin l'un de l'autre.

Après cette joute verbale, les deux hommes reviennent à leur actualité : la révision de la capsule de Gunter.

– Il y a du boulot. Je vais en avoir pour un jour... et un autre.

– Deux jours ! dit Gunter en s'étran-
glant. Comment vais-je faire ? Il n'y
a rien ici.

– Rien ? Il y a des chênes centenaires, une vue imprenable, de l'herbe verte, une rivière poissonneuse, des cou-chers de soleil renversants, des san-gliers taquins, un feu enflammé !

Gunter ne répond rien. Il vit cet arrêt
obligé comme un emprisonnement. Il
contacte ses proches pour conter son
désastre. Quand il a enfin raccroché, il
croise le regard de Paulus qui lui dit :

– Allez, l’ami, il est l’heure du repos du guerrier. On va chez moi. J’habite dans un village de la vallée.

– On y va comment ? demande Gunter en ne voyant pas de véhicule.

– À pied. Nos jambes sont des engins géniaux. Quand elles touchent terre, on n'avance ni trop vite ni trop lentement.

Au début de la soirée, Gunter conti-
nue à se sentir enfermé dans la pire
des geôles. Il suffoque, croit qu'il va
mourir toutes les minutes.

Et puis, les enfants de Paulus l'in-
terrogent sur l'ultratrip. Ils veulent
tout savoir sur cette compétition.
Ils n'osent pas le dire devant leur
père, mais ils aimeraient parcourir le
monde[F1] comme tout le monde.

Et puis, la femme de Paulus prend
la guitare pour raconter la voûte

céleste. Il apprécie, cela fait si long-
temps qu'il n'a pris le temps de la
regarder.

Et puis, le vin est bon et coule à flots.

Et puis, Paulus et Gunter s'accordent sur le fait que le miracle énergétique a du bon pour tous. Les combats pour l'énergie ont cessé. Les pays qui possèdent du pétrole et autres énergies fossiles n'imposent plus leurs diktats. Les déplacements renforcent les liens et suppriment les clichés dus à une non-connaissance de l'autre. Et du mauvais aussi. Le patrimoine naturel a été massacré par ces déplacements faciles. Rares sont les coins de la planète qui ont été préservés.

Et puis, Paulus interroge Gunter sur
sa famille.

– Avec ton ultratrip, tu ne vois jamais
ta femme et tes enfants. Cela doit te
manquer ?

– On s’envoie des messages, on s’appelle. Même loin, on peut être très proches.

– Proches, on peut l’être encore plus.

– Peut-être, je ne sais pas, dit Gunter
en hochant la tête.

Un mois plus tard, Paulus reçoit un
message de Gunter qui dit : « Tu as
raison. Proches, nous sommes vrai-
ment plus proches. Je suis dans ma
famille au bord de la mer. Venez nous
voir. Ma famille sera ravie de faire
votre connaissance. »

Les enfants de Paulus ont su
convaincre leur père de répondre
à l'invitation. Depuis, chaque mois,
les deux familles partent ensemble
en voyage. Loin des ultratrips, ils
prennent le temps de découvrir un
lieu et d'échanger avec la population
locale.
## Partie 5 –
Quelle éthique
de l'IA ?

<figure><img src="image_12.png" /></figure>
L'intelligence artificielle affecte désormais tous les aspects de nos vies sociales. Sans toujours le savoir, nous interagissons quotidiennement avec des systèmes intelligents qui optimisent nos déplacements, créent nos playlists favorites ou protègent nos boîtes électroniques des courriels indésirables. Ils nous servent de manière invisible. C'est du moins l'objectif qu'on leur assigne : rendre nos vies meilleures, tâche par tâche.

Les progrès récents de l'IA dans de nombreux domaines (voitures autonomes, reconnaissance d'images, assistants virtuels) et son influence croissante sur nos vies l'ont placée au centre du débat public. Ces dernières années de nombreuses voix se sont interrogées sur la capacité de l'IA à réellement œuvrer pour notre bien-être et sur les dispositions à prendre pour s'assurer que cela soit le cas.

Ce débat a principalement pris la forme d'une large réflexion sur les enjeux éthiques liés au développement des technologies d'intelligence artificielle et plus largement des algorithmes. En différents endroits du monde, experts, régulateurs, universitaires, entrepreneurs et citoyens discutent et échangent régulièrement sur les effets indésirables, actuels ou potentiels de ceux-ci et les moyens de les atténuer.

Placées sous la nécessité d'articuler les potentialités offertes par ces technologies avec le respect de nos valeurs et normes sociales, ces discussions ont logiquement puisé dans le vocabulaire de l'éthique. Elles ont investi l'espace disponible entre ce qui est rendu possible par l'IA et ce qui est permis par la loi pour discuter de ce qui est souhaitable. Or, l'éthique est précisément cette branche de la philosophie qui se consacre exclusivement à l'étude de cet espace en tentant de distinguer le bien du mal, l'idéal vers lequel tendre et les chemins qui nous en éloignent.

En outre, loin des considérations purement spéculatives sur les menaces existentielles de l'IA pour l'humanité, les réflexions se sont cristallisées autour des algorithmes du « quotidien » : ceux qui organisent nos fils d'actualité, guident nos décisions d'achats ou déterminent nos programmes d'entraînement sportif. En 2017, Kate Crawford, Cathy O'Neil et bien d'autres n'ont eu de cesse de rappeler que nous ne sommes pas tous égaux devant ces algorithmes et que leur partialité a des réelles conséquences sur nos vies. Chaque jour, dans une grande opacité, ils affectent notre accès à l'information, à la culture, à l'emploi ou encore au crédit.

> Loin des considérations purement spéculatives sur les menaces existentielles de l'IA pour l'humanité, les réflexions se sont cristallisées autour des algorithmes du « quotidien »

Par conséquent, si nous souhaitons faire émerger des technologies d'IA conformes à nos valeurs et normes sociales, il faut agir dès à présent en mobilisant la communauté scientifique, les pouvoirs publics, les industriels, les entrepreneurs et les organisations de la société civile. Notre mission a cherché, modestement, à proposer quelques pistes permettant de poser les bases d'un cadre éthique pour le développement de l'IA et à faire vivre ce débat dans la société. Elles reposent sur cinq piliers :
# Partie 5 – Quelle éthique de l'IA ?

En premier lieu, il faut accroître la transparence et l'auditabilité des systèmes autonomes d'une part, en développant les capacités nécessaires pour observer, comprendre et auditer leur fonctionnement et, d'autre part, en investissant massivement dans la recherche sur l'explicabilité.

Ensuite, il faut adapter la protection des droits et des libertés au regard des abus potentiels liés à l'utilisation des systèmes d'apprentissage machine. Or, il s'avère que la législation actuelle, centrée sur la protection de l'individu,

n'est pas en phase avec la logique introduite par ces systèmes – c'est-à-dire l'analyse d'une masse considérable d'information afin d'identifier des tendances et des comportements masqués – et leurs effets sur des groupes d'individus. Pour combler ce décalage, il est nécessaire d'agir en créant des droits collectifs sur les données.

> La loi ne peut pas tout, entre autres car le temps du droit est bien plus long que celui du code

Parallèlement, il faut s'assurer que les organisations qui déploient et utilisent ces systèmes demeurent responsables devant la loi des éventuels dommages causés par ceux-ci. Si les modalités de ce régime de responsabilité restent à définir, la loi informatique et libertés (1978) et le RGPD (2018) en posent déjà les principes.

Toutefois, la loi ne peut pas tout, entre autres car le temps du droit est bien plus long que celui du code. Il est donc essentiel que les « architectes » de la société numérique – chercheurs, ingénieurs et développeurs – qui conçoivent et commercialisent ces technologies prennent leur juste part dans cette mission en agissant de manière responsable. Cela implique qu’ils soient pleinement conscients des possibles effets négatifs de leurs technologies sur la société et qu’ils œuvrent activement à les limiter.

De plus, compte tenu de l'importance des problématiques éthiques pour les développements futurs de l'IA, il convient de créer une véritable instance de débat, plurielle et ouverte sur la société, afin qu'on puisse déterminer de manière démocratique quelle IA nous souhaitons pour notre société.

Enfin la politisation des enjeux liés à la technologie en général et à l'IA en particulier est rendue chaque jour plus nécessaire, au vu de l'importance que celle-ci prend dans nos vies. À cet égard, la future Chambre du futur annoncée par le Président de la République dans le cadre de la réforme du Conseil économique, social et environnemental (CESE) devra faire toute sa place à un débat proprement politique sur l'intelligence artificielle et ses conséquences.

## Ouvrir la boîte noire

Une grande partie des considérations éthiques soulevées par l'IA tiennent à l'opacité de ces technologies. En dépit de leur performance accrue dans de nombreux domaines, de la traduction à la finance en passant par l'automobile, il est souvent très difficile d'expliquer leurs décisions de manière intelligible par le commun des mortels. C'est le fameux problème de la boîte noire : des systèmes algorithmiques dont il est possible d'observer les données d'entrée (input), les données de sortie (output) mais dont on comprend
mal le fonctionnement interne (voir encadré). Cette méconnaissance est principalement due aujourd'hui au changement de paradigme introduit par l'avènement de l'apprentissage, en particulier l'apprentissage profond. En programmation classique, construire un système intelligent consistait à écrire à la main un modèle déductif, c'est à dire des règles générales, dont on infère les conclusions pour le traitement d'un cas particulier. De tels modèles sont par définition explicables dans la mesure où les règles qui déterminent leurs prises de décisions sont établies à l'avance par un programmeur, et qu'on est capable de dire quelles règles ont été activées pour aboutir à la conclusion dans chaque cas particulier (par exemple, si vos revenus sont inférieurs à tant par mois, le prêt vous sera refusé).

## Expliquer les décisions des systèmes d'apprentissage

La technique d'apprentissage machine la plus efficace aujourd'hui, les réseaux de neurones profonds (Deep Learning), ne s'appuient pas sur des règles établies par avance. Pour prendre le cas de la reconnaissance d'image, admettons que l'on souhaite développer un algorithme qui classe automatiquement des photos de chats et de chiens ; les données à traiter sont des images données sous forme de tableaux de pixels, et il est virtuellement impossible d'écrire à la main un programme suffisamment robuste pour classer toutes les images avec un grand degré d'exactitude à partir des valeurs pixel par pixel.

## L'explicabilité des systèmes à base d'apprentissage constitue donc un véritable défi scientifique

En l'état actuel de l'art, l'explicabilité des systèmes à base d'apprentissage constitue donc un véritable défi scientifique qui met en tension notre besoin d'explication et notre souci d'efficacité. Et si certains modèles d'apprentissage sont plus explicables que d'autres (systèmes à base de règles, arbres de décision simples, réseaux bayésiens), ils ont en général aujourd'hui des performances inférieures à celles des algorithmes d'apprentissage profonds.

## Ce que l'on ne comprend pas en matière de deep learning

Les réseaux de neurones et les techniques relevant de l'apprentissage profond sont couramment dénoncés comme des boîtes noires pour leurs utilisateurs. Cette affirmation est également valable pour un grand nombre d'autres techniques d'apprentissage, que l'on parle de Machines à Vecteur Support ou de forêts aléatoires, la version opérationnelle des arbres de décision. La raison n'est pas tant intrinsèque à la nature du modèle utilisé, mais réside plutôt dans l'incapacité à décrire de façon intelligible le résultat produit sur chaque nouveau cas, et en particulier à pointer les caractéristiques les plus importantes du cas en question ayant conduit au résultat produit.

Cette incapacité est en grande partie due à la dimension des espaces dans lesquelles évoluent les données, particulièrement cruciale dans le cas de l'apprentissage profond. Par exemple, pour la reconnaissance d'images, un réseau profond prend en entrées des images décrites par des milliers de pixels (4K) et apprend typiquement des centaines de milliers, voire des millions, de paramètres (poids du réseau), qu'il utilise ensuite pour classer les images inconnues. Il est donc presque impossible de suivre le
# Partie 5 – Quelle éthique de l'IA ?

cheminement de l'algorithme de classement, qui met en jeu ces millions de paramètres, jusqu'à sa décision finale. Si pour une image, l'importance de cette explicabilité semble relativement faible, c'est beaucoup plus crucial pour l'attribution d'un prêt, par exemple.

À long terme, l'explicabilité de ces technologies est l'une des conditions de leur acceptabilité sociale. S'agissant de certains sujets, c'est même une question de principe : on ne peut admettre, en tant que société, que certaines décisions importantes puissent être prises sans explication. En effet, sans possibilité d'expliquer les décisions prises par des systèmes autonomes, il apparaît difficile de les justifier. Or, comment accepter l'injustifiable dans des domaines aussi décisifs pour la vie d'un individu que l'accès au crédit, à l'emploi, au logement, à la justice ou à la santé ? Cela paraît inconcevable.

## Équité, biais et discriminations

L'opacité de ces technologies est d'autant plus préoccupante qu'elle peut masquer l'origine des biais constatés, sans qu'on puisse par exemple dire s'ils proviennent de l'algorithme ou des données ayant servi à l'entraîner... ou des deux. On constate par exemple que les algorithmes de ciblage publicitaire de Google sont plus susceptibles de proposer aux femmes des offres d'emploi moins rémunérées, que les algorithmes de modération de YouTube tardent parfois à réagir et permettent la circulation virale de contenus choquants, ou encore que les algorithmes de prédiction de la criminalité favorisent une surveillance accrue des quartiers pauvres afro-américains. De fait tous ces algorithmes ne font que reproduire les discriminations déjà présentes dans les données qu'on leur fournit. Mais ces constatations suscitent des craintes légitimes, et si nous tardons à agir, on risque d'observer une défiance généralisée de l'opinion publique à l'égard de l'IA, qui à terme est susceptible de freiner son développement, y compris dans ce qu'il pourrait avoir de bénéfique.

Le droit interdit les discriminations basées sur une liste limitative de critères en matière d'emploi, de logement, d'éducation et d'accès aux biens et services. Dans ces cas, on considère que peut constituer une discrimination une disposition, un critère ou une pratique neutre en apparence mais susceptible d'entraîner un désavantage particulier pour des personnes par rapport à d'autres personnes, à moins que cette disposition, ce critère ou cette pratique ne soit objectivement justifié par un but légitime et que les moyens pour réaliser ce but ne soient nécessaires et appropriés.

L'utilisation d'algorithmes d'apprentissage profond, qui se nourrissent de données aux fins de personnalisation et d'aide à la décision, a fait émerger la crainte d'une reproduction des inégalités sociales dans l'algorithme de décision. L'essentiel des controverses récentes en la matière concerne en effet des discriminations à l'égard de certaines minorités ou fondées sur le genre (personnes noires, femmes, habitants de quartiers défavorisés notamment). L'expérience américaine a aussi apporté plusieurs exemples d'effets discriminatoires similaires en matière de prévention pénale.

À mesure que les systèmes intégrant des technologies d'IA envahissent notre quotidien, nous attendons légitimement qu'ils agissent conformément à nos
lois et normes sociales. Il est donc essentiel que le droit et l'éthique régissent
le comportement des systèmes d'IA. Comme nous sommes incapables
aujourd'hui de garantir a priori le comportement d'un système d'apprentis-
sage (la certification formelle de l'apprentissage est encore aujourd'hui un
objet de recherche), le respect de cette exigence nécessite le développement
procédures, outils et méthodes permettant d'auditer ces systèmes afin d'en
évaluer la conformité à notre cadre juridique et éthique. C'est aussi néces-
saire en cas de litige entre différentes parties mettant en cause les décisions
prises par des systèmes d'IA.

À ce jour, ces capacités, même a posteriori, sont quasi inexistantes, et ce
pour diverses raisons. En premier lieu, les techniques d'apprentissage profond
sont encore trop opaques (voir plus haut) et
leur protocole d'audit encore balbutiants.
Ensuite, les entreprises qui ont investi des
sommes conséquentes dans la construction
de leurs systèmes algorithmiques et tiennent
à en recevoir les fruits, sont nécessairement
réticentes à voir leur propriété intellectuelle
divulguée à des tierces parties. La possibilité
d'obtenir des comptes quant aux décisions
automatisées est en ce sens limitée par un
certain nombre d'obstacles juridiques, tels

que la protection de la propriété intellectuelle et du secret des affaires, la
protection des données personnelles, la préservation du secret entourant
nécessairement un certain nombre d'actions d'ordre régalien et de préser-
vation de la sécurité et de l'ordre public. Il existe dès lors un besoin général
de configurer une fonction tampon entre les sphères du secret et de l'infor-
mation légitime.

À mesure que les systèmes intégrant des technologies d'IA envahissent notre quotidien, nous attendons légitimement qu'ils agissent conformément à nos lois et normes sociales

Développer l'audit des IA

Constituer une fonction assermentée d'audit des algorithmes

La constitution d'un corps d'experts dotés des compétences requises semble nécessaire pour procéder à des audits d'algorithmes et de bases de données sur pièce, et procéder à des tests par tout moyen requis. À l'instar du changement de paradigme de régulation ayant eu lieu en concurrence puis en matière de protection des données, cette recommandation se place dans une logique d'action a posteriori. De telles obligations seront le cas échéant formulées par les instances de régulation sectorielles ou pour des domaines spécifiques.

Cette recommandation répond au besoin spécifique d'audits certifiés ayant
force probante, en matière de procédure contentieuse. Pour vérifier une
suspicion ou les dires d'une partie, les seules observations externes du
comportement des algorithmes ou de leurs effets ne pourront suffire pour
constituer des éléments recevables dans un grand nombre de cas. Que ce soit
à l'occasion d'une enquête judiciaire ou de celle d'une autorité administrative
indépendante (AAI), il pourra être nécessaire de vérifier sur pièce. Il n'est
pas toujours nécessaire, utile ou même possible de tirer des conclusions à
partir de l'examen d'un code source. Ces auditeurs pourraient se contenter
# Partie 5 – Quelle éthique de l'IA ?

de tester l'équité et la loyauté d'un programme (faire exclusivement ce qu'il est censé faire), par exemple en soumettant de multiples fausses données d'entrées, à créer de très nombreux profils d'utilisateurs du système suivant des caractéristiques précises... Par exemple, pour tester l'équité d'un site de recrutement par rapport au genre, il faut pouvoir soumettre de très nombreux CV de femmes et d'hommes au même parcours professionnel, et qui par ailleurs sont représentatifs de l'ensemble des demandeurs d'emploi ciblés par le site. On observe en sortie les demandes d'interview accordées, ou les salaires moyens proposés, etc. Le fournisseur du système pourrait être contraint à ouvrir une API particulière permettant de tester son programme sur des masses d'utilisateurs artificiels (qui seraient d'ailleurs éventuellement générés par des programmes d'IA). Bien sûr, on aura à cœur de déjouer la fraude qui consisterait, pour l'entreprise contrôlée, à mettre à disposition des enquêteurs une version différente de celle qui est employée sur le terrain. Le récent scandale des automobiles programmées pour frauder aux tests de contrôle d'émission de CO₂ doit nous inciter à mettre de côté toute naïveté.

En termes de saisine, les besoins identifiés se situent à deux niveaux distincts : une fonction première d'expertise mobilisable en justice ou dans le cadre d'enquêtes diligentées par des autorités administratives indépendantes ; une deuxième fonction suite à une saisine du Défenseur des droits.

## Développer l'évaluation citoyenne des IA

La capacité d'évaluation et d'audit des IA ne peut être réservée à un organe public, mais doit aussi provenir de la société civile. C'est d'ailleurs déjà la mission que se sont fixée un grand nombre d'associations. Les pouvoirs publics se doivent de soutenir ces capacités. Pour ce faire, il s'agit d'anticiper la question des barrières financières d'accès aux moyens permettant aux organes de défense d'intérêts civils et au journalisme de continuer à jouer efficacement leur rôle de vigie dans une époque numérisée. À titre indicatif, *Propublica*, média d'investigation de référence en matière de libertés numériques, et financé à hauteur de 20 millions de dollars par la fondation Soros, dispose de cinq experts de haut niveau à temps plein, développeurs

> La capacité d'évaluation et d'audit des IA ne peut être réservée à un organe public, mais doit aussi provenir de la société civile

issus d'entreprises technologiques et/ou post docs des meilleures universités, d'équipes de développement support, et de nombreux soutiens académiques. Il est difficile d'identifier pareils moyens dans le paysage français associatif ou du journalisme, a fortiori en matière d'apprentissage automatique.

Dès lors, il s'agit a minima de rendre les courroies de transmission plus fluides entre les autorités, la recherche, et la société civile, en pérennisant des fonctions de médiation dédiées à l'accompagnement de projets qui visent à mobiliser l'IA pour la compréhension des discriminations.

Un des enjeux principaux pour faire de l'audit citoyen est d'avoir accès à des données, qui sont souvent détenues par des acteurs privés. Il existe aujourd'hui des initiatives volontaires de la part de ces acteurs, comme
Google, qui consiste en une mise à disposition de données pour l'étude des questions de genre ou une meilleure compréhension des phénomènes de non-recours aux droits par exemple.

En parallèle à ces démarches volontaires de mise à disposition de données, un accompagnement spécifique pourrait être mis en place à destination des structures qui ne sont pas équipées pour y accéder (en termes de capacité de sécurisation des données par exemple...). Le financement des résidences ou la constitution d'accélérateurs de projets (accompagnement scientifique, ingénierie, juridique, etc.) pourraient être pensés à cette fin, sous l'égide d'une structure dont l'indépendance est assurée. À cet égard les actions menées aux États-Unis par les structures *Team Up Turn, Propublica* ou l'**Electronic Frontier Foundation** peuvent servir d'exemples.

Au-delà de cet accompagnement pour l'accès aux données, un soutien aux procédures de test et de rétro-ingénierie pourrait être instauré. Ces procédures d'audit ne peuvent être réservées aux auditeurs publics. Pour soutenir un audit citoyen, des incitations à la mise à disposition par les citoyens eux-mêmes de données pour les chercheurs ou les associations de protection des droits sociaux et libertés pourraient être instaurées, afin d'aider à la constitution de différents profils, parcours d'utilisateurs... Utiliser les ressources de la portabilité citoyenne (voir la première partie du rapport) pourrait être une voie privilégiée.

## Soutenir la recherche sur l'explicabilité

En matière numérique, les progrès scientifiques les plus notables résultent souvent d'une collaboration étroite entre pouvoirs publics, laboratoires de recherche et industriels. L'IA ne fait pas exception.

## S'inspirer du programme DARPA « Explainable AI »

En août 2016, l'Agence américaine responsable des projets en recherche pour la Défense (DARPA) a lancé un appel à propositions destiné à soutenir la recherche sur l'explicabilité de l'IA. Identifié comme une priorité majeure pour le secteur de la défense, ce programme vise à financer le développement de systèmes d'IA explicables par construction. cette fin, il soutient trois axes de recherche : la production de modèles plus explicables. À cette fin, il soutient trois axes de recherche : la production de modèles plus explicables, la production d'interfaces utilisateurs plus intelligibles et la compréhension des mécanismes cognitifs à l'œuvre pour produire une explication satisfaisante.

Si le montant global du financement disponible n'a pas été rendu public, les premières informations disponibles sur les projets retenus (13 au total) laissent soupçonner que celui-ci se chiffre en plusieurs dizaines de millions d'euros. À elle seule, l'université d'État de l'Oregon a obtenu 5,2 millions d'euros sur trois ans pour le financement de 8 chercheurs en apprentissage automatique.

S'inspirant du programme *Explainable AI* de la DARPA, il apparaît urgent de soutenir la recherche sur l'explicabilité de l'IA en investissant les mêmes trois
# Partie 5 – Quelle éthique de l'IA ?

axes de recherche : la production de modèles plus explicables, la production d'interfaces utilisateurs plus intelligibles et la compréhension des mécanismes cognitifs à l'œuvre pour produire une explication satisfaisante. Chacun de ces axes met en jeu des compétences variées – en informatique et mathématiques, bien sûr, mais aussi en design, en neurosciences, en psychologie – et met en évidence le besoin de collaboration interdisciplinaire : l'explicabilité n'est pas uniquement l'affaire des développeurs, mais engage la communauté scientifique dans son ensemble (voir également les recommandations de la deuxième partie de ce rapport).

## Penser l'éthique dès la conception

### Intégrer l'éthique dans la formation des ingénieurs et chercheurs en IA

Les techniques d'apprentissage automatique sont amenées à jouer un rôle majeur dans de nombreux domaines tels que l'industrie, le commerce, les services publics, la médecine ou encore l'éducation. Dès lors, les chercheurs, ingénieurs et entrepreneurs qui contribuent à la conception, au développement et à la commercialisation de systèmes d'IA sont amenés à jouer un rôle décisif dans la société numérique de demain. Il est essentiel qu'ils agissent de manière responsable, en prenant en considération les impacts socio-économiques de leurs activités. Pour s'en assurer, il est nécessaire de les sensibiliser, dès le début de leur formation, aux enjeux éthiques liés au développement des technologies numériques. Aujourd'hui cet enseignement est quasiment absent des cursus des écoles d'ingénieurs ou des parcours informatiques des universités, alors même que le volume et la complexité des problématiques éthiques auxquels ces futurs diplômés seront confrontés ne cessent de croître, au rythme des avancées très rapides de l'IA.

Il est important d'expliciter l'ambition et la portée d'un tel enseignement pour dissiper quelques inquiétudes et cerner les attentes. Premièrement, l'éthique

n'est pas réductible à une morale ou une doctrine particulière qu'il s'agit d'imposer aux étudiants pour en faire de « bonnes personnes ». Il ne s'agit pas non plus de donner des cours de conformité qui concernerait exclusivement le respect de toutes les dispositions législatives et réglementaires au sein des politiques d'entreprises. On attend déjà des informaticiens qu'ils respectent la loi. L'enseignement de l'éthique vise plutôt à transmettre aux futurs architectes de la société numérique les outils conceptuels pour identifier et confronter de manière responsable les problèmes éthiques et moraux rencontrés dans le cadre de leur activité professionnelle.

> L'enseignement de l'éthique vise à transmettre aux futurs architectes de la société numérique les outils conceptuels pour identifier et confronter de manière responsable les problèmes éthiques et moraux rencontrés dans le cadre de leur activité professionnelle

taires au sein des politiques d'entreprises. On attend déjà des informaticiens qu'ils respectent la loi. L'enseignement de l'éthique vise plutôt à transmettre aux futurs architectes de la société numérique les outils conceptuels pour identifier et confronter de manière responsable les problèmes éthiques et moraux rencontrés dans le cadre de leur activité professionnelle. En outre, compte tenu des implications concrètes des enjeux soulevés en matière de protection de la vie privée, de discrimination ou de propriété intellectuelle, ils doivent recevoir un enseignement pratique à même de faire le lien entre des théories normatives (déontologie) et leurs applications à des circonstances
particulières. Cette exigence s'avère d'autant plus nécessaire qu'une part
conséquente des problématiques identifiées ne sont pas immédiatement
appréhendables par le droit. En effet, que faire lorsque tel algorithme de
recommandation enferme les utilisateurs dans de confortables bulles filtrantes,
masquant la réalité d'un monde plus vaste et complexe ? Le programmeur
doit-il œuvrer pour le pluralisme ? Dans un autre registre, le choix du meilleur
candidat pour une offre d'embauche est-il réductible aux compétences
certifiées par les établissements scolaires ou universitaires ? Dans ces cas où
la norme est inexistante, muette ou insuffisante, la responsabilité morale du
développeur est accrue. Loin d'apporter des réponses immédiates, l'ensei-
gnement de l'éthique est susceptible de déclencher un cercle vertueux où
la formation de professionnels plus responsables conduit au développement
de technologies plus responsables.

Quelle formation ? Pour parvenir à former des professionnels plus respon-
sables, l'enseignement de l'éthique et plus largement des sciences sociales
doit irriguer l'ensemble de la formation des ingénieurs et informaticiens. À
terme, l'objectif est de produire des diplômés qui disposent des compé-
tences techniques nécessaires pour développer des systèmes efficaces et
des compétences en sciences sociales pour comprendre l'impact de leurs
développements sur la société et ses citoyens. À partir de cette exigence, on
peut concevoir différentes maquettes de formation. On peut mettre en place
un système de majeure/mineure dans les établissements d'enseignement
supérieur, qui permet aux étudiants de choisir une discipline principale, par
exemple l'informatique (majeure) et une discipline secondaire telle que le
droit (mineure).

Quid des juristes ? Nous ne pouvons pas laisser aux seuls chercheurs et
ingénieurs la responsabilité de veiller à ce que les systèmes d'IA agissent
conformément à la loi. Il est essentiel que les praticiens du droit prennent
leur juste part dans cette mission. Cela nécessite au préalable une véritable
prise de conscience au sein des professions juridiques et un rapprochement
des différentes formations. Ici encore le système majeure/mineure donné
en exemple ci-dessus pourrait être mis en œuvre en inversant les priorités :
majeure de droit et mineure d'informatique.

Instaurer une étude d'impact sur les discriminations (discrimination impact assessment)

Dans un certain nombre de cas, les nouvelles règles européennes en vigueur imposent aux acteurs qui mettent en œuvre des traitements de données personnelles d'effectuer préalablement une étude d'impact quant à l'impact potentiel de ces activités sur les droits et les intérêts des concernés : c'est l'étude d'impact sur la vie privée (privacy impact assessment, ou PIA). De la sorte, les exploitants de données ont à charge d'évaluer eux-mêmes les impacts de cette activité, d'y apporter préventivement les correctifs requis, et de pouvoir justifier en cas de contrôle qu'ils ont mis en œuvre toutes les mesures nécessaires pour maîtriser l'ensemble du processus. Cet abandon du système d'autorisations préalables est un changement de paradigme important en faveur de l'agilité et des marges d'innovation laissées aux industriels. Il est recommandé de capitaliser sur cette logique qui fait du droit un soutien à l'innovation, en l'espèce en concrétisant un effort d'innovation en faveur de l'égalité à l'ère numérique.
# Partie 5 – Quelle éthique de l'IA ?

Les lignes directrices adoptées par le groupement européen des autorités de protection des données (G29) demandent qu’un PIA soit effectué lorsqu’un risque de discrimination ou d’exclusion émerge avec un traitement de données. Cet axe central dans l’acceptabilité sociétale de l’IA doit faire l’objet d’une analyse à part entière. Il s’agirait d’accompagner le PIA d’un dispositif analogue pour les discriminations, un discrimination impact assessment, ou DIA, pour amener les concepteurs d’IA à s’interroger sur les conséquences sociales des algorithmes qu’ils produisent.

Une logique similaire à celle ayant conduit à la conception du logiciel libre mis à disposition par la CNIL pour aider les moins chevronnés à conduire leur auto-évaluation PIA pourrait présider au dispositif du DIA. La France pourrait ainsi faire la promotion d'un projet d'investissement commun – par l'entremise de l'UE ou sur la base de partenariats volontaires avec certains États membres – pour se doter de protocoles et de logiciels libres de droits en la matière. Un axe des investissements pourrait en particulier être dédié à l'ingénierie de projet (accompagnement juridique, opérationnel, facilitation de l'interface aux différentes autorités compétentes) pour l'implémentation des solutions identifiées par la recherche.

## Penser les droits collectifs sur les données

Le développement de l'IA fait apparaître un certain nombre d'angles morts dans la législation actuelle – et future avec le RGPD – en matière de protection des individus. Ceux-ci découlent du fait que la loi Informatique et Libertés, comme le RGPD, ne traitent que des données à caractère personnel. Or, si la portée des protections offertes par ces textes est potentiellement très large,

l'intelligence artificielle ne mobilise pas uniquement des données personnelles. Loin s'en faut : beaucoup de ces enjeux soulevés par les algorithmes constituent aujourd'hui un angle mort du droit.

## Beaucoup de ces enjeux soulevés par les algorithmes constituent aujourd'hui un angle mort du droit

En effet, la législation sur la protection des données n'encadre les algorithmes d'intelligence artificielle que dans la mesure où ils se fondent sur des données à caractère personnel et où leurs résultats s'appliquent directement à des personnes. C'est le cas d'un bon nombre d'entre eux : offres personnalisées, recommandations de contenus,... mais, de fait, beaucoup d'usages échappent à cette législation, bien qu'ils recèlent des effets significatifs sur des groupes d'individus, et donc sur les personnes. Il a par exemple pu être démontré que les agrégats statistiques qui ont pu motiver d'envoyer des patrouilles de police ou des livreurs Amazon plus souvent dans tel ou tel quartier peuvent alimenter des effets discriminants sur certaines catégories de population, par un mécanisme de reproduction des phénomènes sociaux.

Au regard du développement de l'intelligence artificielle, on peut même se demander si la notion de données à caractère personnel peut tout simplement conserver un sens. Les travaux pionniers d'Helen Nissenbaum nous enseignent par exemple que les données sont des objets contextuels, qui peuvent renseigner simultanément sur plusieurs individus ou questions. Cela d'autant plus que, dans le cadre du deep learning, les données sont exploitées
à grande échelle pour produire des corrélations qui peuvent concerner des groupes d'individus. Chacun a le droit (sous certaines exceptions notables) d'être informé sur le sort d'une donnée qui le concerne dans des termes génériques (finalités, usages ultérieurs,...), voire de s'y opposer. Mais nous n'avons pas, ni en droit ni en fait, la possibilité de prescrire ou de prosccrire des usages précis de nos données – excepté par l'acte de consommer ou non des services. Ce pouvoir reste aujourd'hui l'apanage du régulateur et du législateur, qui encadrent par exemple les motifs en fonction desquels on peut refuser l'accès à une offre de service, à un produit d'assurance, au logement, à un emploi, etc. Un individu peut donc être protégé de manière granulaire contre la collecte d'une information qui l'identifie, mais cette protection ne couvre pas la configuration réticulaire (en réseau) que toute information revêt.

## Rendre l'action de groupe effective

Cela fait plusieurs années que l'Union européenne appelle la France à se doter d'un régime d'action de groupe plus ouvert et praticable. Plusieurs dispositions adoptées ces dernières années ont élargi et facilité l'accès aux procédures pour des groupes : en particulier, la Loi de modernisation de la justice du XXIe siècle a ouvert une action de groupe « données personnelles » permettant aux associations de défense des consommateurs et de protection des données personnelles d'agir lors d'infractions à la législation existante.

Cette action de groupe est cependant particulièrement limitée car elle ne permet que la cessation de l'infraction concernée et non la réparation du préjudice causé. L'action de groupe peut être une procédure longue et coûteuse : en l'état, il paraît peu probable qu'une association puisse engager ce type de procédure. On peut par ailleurs imaginer le sentiment de frustration d'un utilisateur lésé, qui souhaite que l'on agisse en son nom devant la justice pour finalement obtenir… la cessation d'une infraction et aucune réparation en dépit de la reconnaissance de son statut de victime. Il est donc proposé d'intégrer, dans cette action de groupe, la réparation du préjudice subi.

## Comment garder la main ?

Dopée par les progrès de l'intelligence artificielle, la révolution du big data contribue à rendre le monde plus transparent, plus quantifiable, mesurable à l'infini. Cette révolution est rendue possible par la conjonction de quatre facteurs : la baisse colossale du coût de traitement de l'information, l'avènement du web 2.0 et des contenus générés par les utilisateurs, la croissance exponentielle des données générées par les humains et les machines et des progrès spectaculaires en algorithmie. Cette soudaine abondance d'information est particulièrement bien accueillie par les organisations sensibles à la gestion du risque, publiques ou privées. Cette prédicibilité accrue leur permet d'anticiper plus efficacement la survenue d'incidents dommageables, et donc, d'agir de manière préemptive pour empêcher leur apparition ou du moins limiter leurs effets négatifs. Dans le secteur bancaire, il s'agit par exemple de mieux prédire les probabilités de défaut de paiement des emprunteurs et ainsi d'optimiser l'allocation du crédit en fonction de leur niveau de risque respectif. C'est du moins toute la promesse du big data, renforcée par l'avènement de l'IA.
# Partie 5 – Quelle éthique de l'IA ?

Au-delà du secteur banque-assurance, de nombreuses institutions – justice, police, armée, immigration – commencent à déployer des systèmes d’analyse prédictive à diverses fins. En France, ces scénarios restent encore largement hypothétiques et le développement de ces initiatives n’en est qu’à un stade expérimental. Néanmoins, certains gouvernements étrangers ont déjà franchi le pas. C’est notamment le cas de l’Australie. En 2013, le Service australien des douanes et de la protection des frontières (The Australian Customs and Border Protection Service) a mis en place un système d’analyse du risque terroriste des passagers étrangers en partance pour l’Australie. Ce système, conçu par IBM, croise les données contenues dans les dossiers des passagers, ceux de services de renseignements australiens et les données sociales disponibles en ligne pour établir des profils de risque.

Suivant cet exemple, des services de police pourraient à l'avenir avoir recours à des algorithmes pour gérer le déploiement de leurs unités de patrouille et des armées utiliser des systèmes d'armes létales autonomes (SALA) sur des théâtres d'opérations extérieures. De tels bouleversements, que ce soit dans la santé, la banque, l'assurance et plus particulièrement dans un cadre régalien, soulèvent d'importantes problématiques éthiques.

## Police prédictive

Les départements de police, en premier lieu aux États-Unis et à présent en Europe, explorent la possibilité d'utiliser des algorithmes prédictifs dans le cadre de leurs activités. Cette méthode, communément appelée police prédictive, fait référence à l'application des techniques de prévision et d'analyse de données massives (big data) à la prévention de la criminalité. Elle renvoie en réalité à deux applications distinctes : la première consiste à analyser des données géographiques pour identifier des zones à risque (hotspots) où des délits et des crimes sont susceptibles de se produire afin d'accroître la surveillance de ces zones et ainsi produire une force de dissuasion. La seconde concerne plutôt l'analyse des données sociales et des comportements des individus pour identifier des victimes ou criminels potentiels et agir promptement. Ces deux applications sont déjà déployées dans plusieurs métropoles américaines, et les services de police et de gendarmerie français et européens s'interrogent sur l'opportunité de les intégrer à leurs outils de prévention.

Les premiers travaux disponibles sur leurs effets aux États-Unis incitent à la prudence. Les solutions de police et justice prédictive comportent non seulement d'importantes limites techniques, mais ils peuvent également se révéler attentatoires aux libertés fondamentales (vie privée, droit à un procès équitable).

Sur un plan purement pratique, il nous faut garder à l'esprit qu' aussi sophistiqués qu'ils puissent être, ces systèmes restent faillibles : ils peuvent se tromper et mal classifier les individus qu'ils évaluent avec, comme conséquence, des effets potentiellement désastreux sur leur vie.

## L'enquête de Propublica

En mai 2016, des journalistes de Propublica (journal d'investigation américain) ont révélé que l'algorithme d'estimation des risques de récidive COMPAS,
développé par l'entreprise Northpointe et utilisé par la justice américaine, était raciste et inefficace. En effet, en analysant les scores attribués aux détenus, il est apparu que cet algorithme surévaluait systématiquement le risque de récidive des détenus noirs-américains, à une fréquence deux fois plus élevée que celui des Américains blancs. En plus, ces derniers étaient souvent présentés comme présentant peu de risques, en contradiction avec leur taux réel de récidive.

Cela signifie que cet algorithme a conduit à maintenir en détention des détenus noirs qui n'auraient probablement pas récidivé (faux positifs), tout en permettant la libération de probables récidivistes blancs (faux négatifs).

En outre, l'enquête de Propublica nous rappelle que nous ne sommes pas tous égaux face à ces systèmes. Les données qu'ils exploitent, issues des bases de données de la police et de la justice, sont susceptibles d'être biaisées, reproduisant les biais normauxde la société. En les utilisant sans distance critique, on risque d'enfouir des discriminations dans le code et de les distribuer de manière systémique.

Il est également nécessaire de considérer les effets de ces solutions sur les personnels qui peuvent être amenés à les utiliser – ici juges et policiers. En effet, à mesure que leur usage progresse, ces solutions techniques produi-
ront une pression croissante à l'harmonisation des
décisions institutionnelles. Il est plus facile pour un
juge de suivre les recommandations d'un algorithme
présentant tel détenu comme un danger pour la
société que de devoir d'approfondir le dossier par
lui-même pour finir par le libérer, ou pour un policier
de suivre un itinéraire de patrouille dicté par un
algorithme que de s'y opposer. Ils auraient alors

à justifier de leurs décisions « discrétionnaires ». Dans ces conditions, ils
auraient plutôt intérêt à rapprocher leurs comportements ou décisions d'une
moyenne considérée comme la norme. Or l'issue d'un tel mouvement est
profondément incertaine et l'on peut craindre une remise en cause progres-
sive de leur responsabilité individuelle. D'un autre côté, de tels systèmes ne
seraient pas sensibles à la fatigue décisionnelle qui conduit les juges à libérer
moins de détenus en fin de journée qu'en matinée...

Un autre danger lié à la prolifération des systèmes d'analyse prédictive est l'augmentation du risque de surveillance généralisée. Pour améliorer la prédiction et optimiser la prise de décision, il est nécessaire d'accroître la masse d'informations disponibles, aux dépens de la vie privée des individus. Toutefois, de manière plus fondamentale, ces systèmes sont susceptibles de limiter l'autonomie individuelle des citoyens, en incitant un juge à maintenir en détention un détenu ayant pourtant purgé sa peine ou en organisant la surveillance systématique des populations issues de quartiers défavorisés.

Pour éviter ces dérives,
il convient, en premier lieu,
d'informer les citoyens
sur leurs droits

Encadrer l'utilisation des algorithmes prédictifs

Pour éviter ces dérives, il convient, en premier lieu, d'informer les citoyens sur
leurs droits. En l'occurrence, le droit au recours effectif et, au-delà, celui du
# Partie 5 – Quelle éthique de l'IA ?

droit à l'explication sur les traitements de données, qui fondent une pratique de surveillance. De ce point de vue, rappelons que la loi Informatique et Libertés posait dès 1978 le principe selon lequel « aucune décision administrative ou privée impliquant une appréciation sur un comportement humain ne peut avoir pour seul fondement un traitement automatisé d'informations donnant une définition du profil ou de la personnalité de l'intéressé », ajoutant que « toute personne a le droit de connaître et de contester les informations et les raisonnements utilisés dans les traitements automatisés dont les résultats lui sont opposés ». Ces dispositions, étendues par une loi du 6 août 2004, montrent que le législateur avait anticipé très tôt les dangers éventuels de ce type de dispositifs. Ces dispositions ont été reprises en substance dans l'article 22 du RGPD.

Il est par ailleurs essentiel de s'assurer qu'à tout point du raisonnement, on puisse imputer une responsabilité à un être humain, selon des modalités préalablement définies. Plusieurs scénarios mériteraient d'être étudiés, qui vont d'une responsabilité individuelle (de la personne qui prend la décision, au concepteur de l'algorithme ou de la technologie en question) jusqu'à une responsabilité en cascade.

Enfin, le développement de ces technologies doit nous conduire à nous interroger sur la place de l'automatisation dans les décisions humaines. Existent-ils des domaines où le jugement humain, aussi faillible soit-il, n'a pas vocation à être remplacé par la machine ? Si oui, il faut réfléchir dès à présent aux dispositions à prendre pour les protéger.

## Les systèmes d'armes létales autonomes

Parmi les craintes liées au développement de l'IA figure en bonne position le sujet des systèmes d'armes létales autonomes (SALA). La discussion n'est pas nouvelle : elle a d'ailleurs été initiée par la France dès 2013 au sein de la Convention sur certaines armes classiques (CCAC) de l'ONU qui a conduit à la création d'un groupe d'experts gouvernementaux dont la première session s'est tenue fin 2017.

Au-delà de la difficulté à parvenir à la signature d'un accord international sur un sujet aussi sensible que stratégique dans le domaine militaire, la discussion est compliquée par la problématique de la définition et du périmètre couvert par les SALA, d'autant qu'il n'existe pas à ce jour de réalisation concrète de ce type d'armes... du moins qui soit publique. C'est là que les premiers obstacles se dressent : de même que pour définir l'IA, il est difficile de marquer une frontière claire entre ce qui est autonome et ce qui ne l'est pas, et nous sommes contraints d'envisager en fait un continuum entre les deux, des degrés divers d'autonomie. On navigue alors entre deux eaux : d'un côté un périmètre trop inclusif qui freine les partisans d'une régulation, qui risquerait de mettre à mal des capacités existantes ou le développement de capacités de pointe, et d'un autre côté un périmètre trop exclusif qui n'engloberait aucun système pertinent.

La recherche de la performance est pourtant une nécessité face à des adversaires dont les capacités croissent sans cesse et face à des situations tactiques de plus en plus complexes, impliquant des systèmes d'une sophistication toujours croissante. Côté français, il est cependant possible d'être à la fois
moteur d'une éventuelle régulation ou de l'élaboration de bonnes pratiques, sans se priver ex ante de capacités de pointe et se faire distancer par d'autres États dans ce domaine stratégique majeur.

## De l'automatisme à l'autonomie

L'évolution des systèmes d'armes est à plus d'un titre comparable à celle du véhicule, qui évolue progressivement vers le véhicule autonome. Les premières réalisations concernent les fonctions qui induisent une complexité à l'usage et nécessitent une intervention spécifique du conducteur : passage de vitesse, phares, clignotants, régulateurs de vitesse... L'automatisation de ces fonctions permet de simplifier l'usage sans pour autant réduire le rôle du conducteur qui n'a plus besoin de contrôler finement la mécanique du véhicule. De la même façon, les systèmes de correction de trajectoire ou d'évitement permettent aux véhicules de protéger leurs conducteurs et autrui, en réagissant automatiquement et dans un délai beaucoup plus court à des situations préidentifiées.

Le caractère autonome d'un véhicule n'admet pas non plus une définition stricte, et est défini par plusieurs niveaux bien identifiés¹. Pour éviter les écueils d'une définition forcément imparfaite, il est pertinent de déterminer des échelles de l'autonomie : mines antipersonnel, systèmes téléopérés et automatiques, systèmes de défense antimissile, etc. Ceci permettrait de mieux identifier les technologies sur lesquelles l'on souhaiterait agir en excluant de la réflexion celles qui ne sont pas concernées par l'émergence de l'IA (les mines antipersonnel, notamment, souvent prises en contre-exemple) ou celles qui relèvent de la seule automatisation pour un besoin de performance. Sur une telle échelle, des systèmes téléopérés, pilotés à distance, des systèmes de défense antimissile, torpilles, des systèmes de navigation et de guidage et les systèmes de surveillance et de détection ne sauraient être considérés comme des SALA.

Élaborer cette échelle aurait une première vertu pédagogique. Elle pourrait contribuer à dépassionner des débats. En effet, afin d'atteindre ce qui pourrait être un équivalent du niveau 5 de l'autonomie pour le véhicule autonome – à savoir une capacité semblable à celle de l'être humain d'aborder n'importe quelle situation et d'y réagir en conséquence – il faudra une rupture technologique qui n'a pas encore eu lieu aujourd'hui (pour beaucoup d'experts, elle est encore lointaine et peu crédible). Or c'est ce niveau d'autonomie qui semble être le sujet de préoccupations majeures de la population.

## Perspectives françaises

Côté français, il est affiché et assumé que la responsabilité d'engager la force létale appartient toujours à l'humain. Les principaux développements qui impliquent des techniques d'IA portent sur l'aide à la décision et à l'exécution plutôt que sur sa substitution. À ce titre, il s'agit donc de décharger les opérateurs humains de tâches chronophages et à faible valeur ajoutée pour leur permettre de se concentrer sur les tâches à haute valeur ajoutée. Cela peut également s'inscrire dans des besoins de minimisation des temps de réaction dans des situations où la rapidité d'exécution est déterminante.

1. De 0 à 5, du véhicule opéré totalement manuellement jusqu'à l'autonomie à performance comparable à celle de l'humain
# Partie 5 – Quelle éthique de l'IA ?

Il faut rappeler que tous les systèmes d'armes développés, acquis ou adoptés sont soumis au droit international et humanitaire : ils subissent un examen de licéité et de conformité au droit international au titre de l'article 36 du Protocole I additionnel aux Conventions de Genève. Il a été proposé par la France² d'améliorer la transparence et la confiance sur ce point sur le sujet spécifique des SALA.

De même que la France a joué un rôle moteur sur l'initiation du dialogue international en 2013, si des régulations ou des guides de bonnes pratiques devaient voir le jour au niveau international, il faudra qu'elle continue de jouer un rôle de premier plan dans leur définition. Notre pays pourrait notamment étudier des pistes qui s'intéresseraient à des solutions technologiques déterminant par exemple le niveau d'interaction humain-machine nécessaire dans le développement, le déploiement et l'emploi de technologies émergentes ; des révisions périodiques des systèmes (par exemple dans le cas de technologies d'autoapprentissage) ou encore l'ajout de moyen de télédestruction et d'abandon de mission.

Si le dialogue international a vocation à se poursuivre au sein de la CCAC, il est également important qu'ait lieu un débat éthique international sur ces questions, associant, au-delà de seuls experts techniques, la société civile et les ONG.

2. Voir la déclaration du 5 novembre 2017 du représentant permanent de la France auprès de la Conférence du Désarmement

## Mettre en place un observatoire sur la non-prolifération des armes autonomes

Contrairement à d'autres technologies duales où la situation est inverse, pour le domaine de l'IA c'est la composante civile qui tire la composante militaire. La difficulté consiste alors dans l'appropriation et l'adaptation. Ainsi la question de la prolifération doit être abordée dans un contexte où les briques technologiques nécessaires à la constitution d'armes ne relèvent plus du domaine militaire, et où toute personne initiée à l'IA pourrait en détourner l'usage pour créer des armes de fortune.

Concernant les matériels de guerre, la France est déjà dotée d'une régulation qui permet d'en garder le contrôle. D'après les informations publiées par la Direction Générale des Relations Internationales et de la Stratégie du Ministère des Armées :

Le dispositif français de contrôle des matériels de guerre repose sur un principe général de prohibition qui soumet l'ensemble du secteur au contrôle de l'État et dont la Commission interministérielle pour l'exportation des matériels de guerre (CIEEMG) est le bras armé. La CIEEMG est une commission réunissant des représentants de plusieurs ministères dont ceux en charge de la défense, des affaires étrangères et du développement international, et de l'économie et des finances, qui ont voix délibérative. Elle est placée auprès du Premier ministre et est présidée par le Secrétaire général de la défense et de la sécurité nationale (SGDSN). Elle apprécie les projets d'exportation sous tous leurs aspects, en tenant compte notamment des conséquences de l'exportation en question pour la paix et la sécurité régionales, de la situation intérieure du pays de destination finale et de ses pratiques en matière de respect des droits de la personne humaine, du risque de détournement au profit d'utilisateurs finaux non autorisés, de la nécessité de protéger la sécurité
de nos forces et celles de nos alliés ou encore de maîtriser le transfert des technologies les plus sensibles.

Pour l'IA la question de la prolifération doit être abordée dans un contexte où les briques technologiques nécessaires à la constitution d'armes ne relèvent plus du domaine militaire et sont élaborées par des acteurs privés pour des applications purement civiles. Il est donc à noter que toute personne initiée à l'IA pourrait en détourner l'usage pour créer des armes de fortune : quand aujourd'hui une détection est faite par un algorithme et déclenche une réaction informatique, la complexité additionnelle pour en faire une réaction physique est nulle.

Dans ce contexte, il pourrait être mis en place, sur le modèle de l'observatoire sur la non-prolifération pour les armes nucléaires, biologiques et chimiques, un observatoire assumant une mission de veille et de prospective permanente sur la question des armes létales autonomes et des risques associés.

## Une gouvernance spécifique de l'éthique en intelligence artificielle

Avec l'essor de l'IA, les questionnements éthiques sont aujourd'hui sur toutes les lèvres : chercheurs, syndicats, entreprises (petites ou grandes), associations... de nombreux acteurs privés se lancent ou se sont lancés dans des initiatives spontanées de réflexion approfondie ou d'élaboration de chartes éthiques. Il y a deux ans, la loi pour une République numérique confiait à la CNIL une mission de réflexion sur les enjeux éthiques et les questions de société soulevées par l'évolution des technologies numériques. Celle-ci a choisi d'y répondre rapidement en initiant un cycle décentralisé de débats publics, ateliers ou rencontres, qui ont permis de nourrir un remarquable rapport³ publié en décembre dernier. Parallèlement, les géants privés de l'IA cherchent à se positionner dans toutes les ramifications du débat mondial, multipliant depuis plusieurs mois les créations de structures de réflexion sur l'éthique des technologies qu'ils déploient.

La place de l'éthique dans le débat sur l'IA a pris aujourd'hui une importance telle qu'il paraît nécessaire d'instaurer, dans un cadre institutionnel, un Comité consultatif national d'éthique pour les technologies numériques et l'intelligence artificielle. Une telle instance pourrait être créée sur le modèle du Comité consultatif national d'éthique (CCNE), qui existe depuis 1983 pour la science de la vie et de santé. Distinctes, ces deux institutions pourraient néanmoins être amenées à étudier et rendre un avis conjoint sur

les problématiques qui émergent au croisement de leurs champs d'expertise, pour ce qui touche au transhumanisme, au biohacking ou au traitement par l'IA des données de santé, par exemple. Les deux comités pourraient d'ailleurs avoir un ou quelques membres en commun, étant entendu par ailleurs qu'il ne faut pas contraindre leur composition par des règles trop strictes.

Ce comité d'éthique des technologies numériques et de l'IA serait chargé d'organiser le débat public, de façon lisible, construite et encadrée par la

3. Comment permettre à l'Homme de garder la main ? Rapport sur les enjeux éthiques des algorithmes et de l'IA du 15 décembre 2017

> **Il paraît nécessaire d'instaurer, dans un cadre institutionnel, un Comité consultatif national d'éthique pour les technologies numériques et l'intelligence artificielle**
# Partie 5 – Quelle éthique de l'IA ?

loi. Il devra parvenir à articuler des logiques de temps court, celui des enjeux économiques et industriels, en bonne interaction avec les comités sectoriels, tout en parvenant à s'en extraire pour penser le temps long. La composition d'une telle instance devrait garantir un haut niveau d'expertise mais aussi d'indépendance vis-à-vis des intérêts particuliers.

Les avis de ce comité, élaborés en toute indépendance, pourraient éclairer les choix technologiques des chercheurs, des acteurs économiques et industriels. Nous pourrions à ce titre nous inspirer de l'Allemagne, qui a récemment mis sur pied une commission d'éthique chargée de statuer spécifiquement sur les véhicules autonomes. Celle-ci a rendu son premier rapport en août dernier⁴, dont les recommandations peuvent servir de référence pour la résolution de dilemmes éthiques et donc servir de standard pour la programmation de ces véhicules. Ce nouveau comité devra également être en mesure de conseiller l'État sur ses choix technologiques : qu'il s'agisse du niveau national (choix régaliens par exemple, s'agissant de l'IA au service de la surveillance...) ou au niveau international (position de la France sur les armes autonomes).

Comme pour le CCNE actuel, cette commission pourrait être officiellement saisie par le Président de la République, les membres du gouvernement, les présidents des assemblées parlementaires, un établissement d'enseignement supérieur ou un établissement public ; ou décider de s'auto saisir sur tout sujet entrant dans son champ de compétences. Il s'agit néanmoins d'aller plus loin et de penser une réelle ouverture sur la société.

## Porter l'accent sur l'ouverture sur la société

Aux possibilités de saisines institutionnelles pourrait s'ajouter une possibilité de saisine citoyenne, dont les modalités restent à définir. Cette commission pourrait par ailleurs inclure une part de membres issus de la société civile et de citoyens représentatifs de la population, capable de participer à l'instruction des sujets autant qu'aux délibérations et à la fixation de l'ordre du jour.

Le CCNE actuel a initié une démarche intéressante d'ouverture sur la société. La loi du 7 juillet 2011 relative à la bioéthique l'a en effet chargé d'organiser des états généraux, préalablement aux réformes envisagées sur les questions éthiques ou de société. L'objectif est de faire participer les citoyens à la réflexion éthique, en facilitant leur compréhension des enjeux qui ont trait au progrès scientifique : les « comités citoyens des états généraux » sont ainsi constitués d'un échantillon de citoyens représentatifs de la population française chargé de donner leur point de vue sur les sujets traités. Cette démarche pourrait être reprise.

## Faire vivre le débat éthique dans la société

La formidable effervescence que l'on observe aujourd'hui sur cette question de l'éthique doit être encouragée et renforcée. C'est pourquoi au-delà de ses missions premières, ce comité devrait être chargé d'animer et de faire vivre le débat éthique dans la société : organisation d'événements, tenue de consultations publiques, en ligne et hors ligne, mise à disposition d'outils

4. Rapport disponible à l'adresse suivante : https://www.huntonprivacyblog.com/wp-content/uploads/sites/18/2017/06/084-dobrindt-bericht-der-ethik-kommission.pdf
# Une gouvernance spécifique de l'éthique en intelligence artificielle

et accompagnement pour l'organisation de débats autonomes, sondages et baromètres de l'opinion sur ces différentes problématiques, etc.

Ce comité pourrait enfin capitaliser sur la grande diversité d'initiatives que l'on observe depuis plusieurs mois : chartes syndicales, d'entreprises, d'associations, travaux de recherche, etc, où se croisent et se chevauchent différentes approches philosophiques ou scientifiques du sujet, différentes sphères de légitimité et d'expertise. Ces retours d'expérience sont précieux pour une réflexion plus générale. Cette commission pourrait se charger de les recenser en continu, pour cartographier les préoccupations spécifiques qui les motivent, mais aussi de les mettre en valeur, voire les homologuer, pour fournir des éléments utiles aux autres acteurs en quête d'exemples de bonnes pratiques.

## Une réflexion qui doit s'inscrire dans un cadre international

Un certain nombre d'acteurs internationaux, tant publics que privés, se lancent ou se sont lancés dans une réflexion sur l'éthique en IA. Le chercheur français Yann LeCun a été à l'origine d'un partenariat éthique entre de très grands acteurs tels que les GAFA sur ce thème ; Deepmind s'est doté d'un département éthique ; le Royaume-Uni a déjà annoncé la mise en place d'un comité éthique national.

Au niveau européen, on pourrait imaginer un réseau des comités éthiques nationaux, sur le modèle du « réseau des CNIL ».

Au niveau mondial, le Québec vient de proposer la création d'une agence mondiale qui pourrait être hébergée à Montréal, comme l'Agence internationale contre le dopage. Dans le même temps, l'Unesco a lancé une réflexion internationale. Tous ces efforts peuvent être encouragés.
Et si demain les utilisateurs étaient responsables des accidents causés par les voitures autonomes ?

L'assurance contre le risque est une création ancestrale. Elle est aussi ancienne que les sociétés humaines. Les assurances ont d'abord protégé les échanges commerciaux, les bateaux et les marchandises. Elles ont ensuite couvert les personnes et leurs biens. Les temps changent. Le raz-de-marée numérique et les évolutions des technologies et de la science commencent à faire vaciller cet ancêtre.

Le décryptage du génome va bouleverser l'assurance santé. Lorsqu'il sera répandu, l'analyse des gènes déterminera la probabilité d'un individu à développer un cancer ou une autre maladie nécessitant des soins lourds. Si les assurances refusent d'assurer dès la naissance des individus ayant des risques d'avoir une maladie incurable, le dispositif, basé sur l'égalité des risques, va s'écrouler. Aujourd'hui, le système vacille avec les questionnaires santé. Il s'effondrera avec le verdict scientifique.

On annonce que, avec la machine au volant, il y aura 80 % d'accidents en moins. Cette excellente nouvelle pour les automobilistes va obliger les assureurs à repenser leurs modèles économiques. Dans le même temps, le responsable d'un accident ne pourra pas être le propriétaire de la voiture vu qu'il ne maîtrise plus sa conduite. Qui sera-t-il ? Le concepteur de l'algorithme de conduite, le fabricant de la voiture, les occupants ? En mai 2016, un conducteur au volant d'une Tesla percute un camion. Il décède alors qu'il avait enclenché l'autopilote. L'enquête montre que la victime n'a pas écouté les alertes. Est-ce que demain le véhicule demandera au

conducteur de reprendre le volant ? Que se passera-t-il s'il ne le fait pas ?

Dans cette tourmente, rien n'interdit d'imaginer que les assureurs automobiles développent des dispositifs pour redonner la responsabilité aux usagers. L'un d'entre eux pourrait leur demander de déterminer l'attitude que la voiture doit adopter en cas d'imprévu.

Sarah et Nolwy attendent deux bébés. Désirant que leurs trésors se déplacent en Autonolib baby, elles remplissent un questionnaire qui détermine le fonctionnement de l'engin en cas d'imprévu.

- Sarah, j'ai contacté Autonolib baby... Sarah... Sarah, tu m'entends ?

Sarah est absorbée dans la contemplation de son futur bébé. Pour le porter, elle a choisi Réva, une mère porteuse solidaire. Le projet de cette Indienne l'a séduite. Avec la somme donnée par Sarah, la famille de Réva va construire un système d'irrigation. En plus, Réva proposait la grossesse connectée. Grâce à la pilule-caméra implantée dans l'utérus de la mère, Sarah peut suivre en direct tous les mouvements du fœtus.

- Sarah, il faut vraiment qu'on prenne l'abonnement à Autonolib baby, reprend Nolwy.

- Excuse-moi. La petite est craquante avec ses petits points serrés. Ce sera une révolutionnaire !

- Peut-être, dit Nolwy en envoyant un regard tendre à sa copine. Dans les Autonolib baby, il y a plusieurs places pour les bébés. On n'aura donc besoin d'en commander qu'un seul pour les trajets de nos trésors jusqu'à la crèche.
Comme sa compagne, Nolwy est
dans l'attente d'un bébé. Dans un
mois, le couple deviendra une famille
de quatre personnes. Les deux jeunes
femmes sont aussi impatientes
qu'inquiètes.

– J'ai entendu dire que s'abonner
à Autonolib prend un peu le chou,
dit Sarah.

– Tu veux rire, réplique Nolwy. Julie est abonnée. Quand elle veut se déplacer, elle commande une Gymcar ou une Workcar qui arrive en bas de chez elle dans les cinq minutes. Elle monte dans la voiture, fait sa gym ou bosse et elle est arrivée.

– C’est prendre l’abonnement qui est compliqué. Il faut remplir un questionnaire qui définit le prix de l’abonnement, dit Sarah.

– Elle ne m’en a pas parlé. J’imagine
que c’est son père qui va payer la
facture.

Sarah jette un regard sur son futur bébé pour ne pas faire de remarque. Nolwy est aussi une fille à papa. Son géniteur lui a offert le must du moment en matière de grossesse : la couveuse autoportée reliée. Le bébé grandit dans une couveuse collée au ventre de la mère. Il est alimenté par elle. Mais le dispositif est indépendant. Si un soir, la mère est fatiguée de porter le poids de son futur enfant, elle peut le laisser en autonomie.

– Tant qu’à faire, on le remplit de
suite, ajoute Nolwy en affichant le
contrat sur la table du salon. Il faut
définir comment la voiture autonome
devra se comporter en cas d’imprévu.

– Ne me dis pas que l’on doit détermi-
ner comment la voiture autonome va
réagir quand nos deux bébés seront

dans la voiture... Je ne veux pas
répondre... C'est horrible.

Nolwy prend la main de sa com-
pagne pour la rassurer. Sarah est une
phobique des technologies. Elle a
toujours l'impression que le grand
tout technologique va la réduire en
poussière. Bizarrement, lorsqu'elle
observe les mouvements de son
bébé dans le ventre d'une femme
vivant à des milliers de kilomètres
de distance, cela ne résulte pas d'un
progrès technologique.

– Sarah, pas de panique. Ce ques-
tionnaire est juste une astuce des
assurances pour que les utilisateurs
de voitures autonomes soient res-
ponsables en cas d'accidents. Nos
réponses ont seulement une inci-
dence sur le prix de l'assurance.

– Je n’aime pas. On remplit ton ques-
tionnaire et on n’en parle plus, dit
Sarah.

– Première question : la voiture roule à vive allure quand surgissent un enfant et un chien. Si la voiture tourne à droite, elle tue le chien. À gauche, l'enfant. Que choisit la voiture ?

– La voiture accuse le chien de la rage et le tue. Ainsi la voiture n’aura pas la SPA sur le dos. Quant à l’enfant, s’il est souriant et intelligent, il pourra devenir copain avec nos futurs trésors, dit Sarah.

Nolwy coche la case politiquement correcte puis clique pour afficher une nouvelle page.

– Deuxième question, dit Nolwy. La voiture roule sur l’autoroute quand deux groupes de personnes traversent. Le groupe A comprend dix piétons, le groupe B n’en a que cinq.
– Elle supprime le groupe B. La voiture est contente. Elle a cinq morts en moins sur la conscience. Dans ce type de questionnaire, on doit sans doute imaginer qu'une voiture autonome a une conscience.

– Je ne sais pas, dit Nolwy.

– Enfin, tu sais tout de même que ce questionnaire est stupide.

Nolwy fait un geste montrant qu'il faut attendre. Elle a rempli plusieurs questionnaires d'assurance. Elle sait qu'ils peuvent être retors.

– Troisième question : la voiture continue sa route quand les deux groupes traversent de nouveau la route. Là, la voiture identifie que le groupe A est composé de dix réfugiés sans travail. Dans le groupe B, il y a les cinq patrons des entreprises qui embauchent le plus en Europe.

– Comme elle sait, la voiture ? Ah, oui, elle est autonome et supra-intelligente.

– Sarah, aujourd'hui, tout le monde porte sur lui au moins un objet connecté qui l'identifie.

– L'affaire se corse. Si la voiture tue le groupe des patrons, des milliers de personnes n'auront plus de boulot. Vu que les temps sont durs, on va enregistrer des milliers de suicides.

Nolwy regarde sa compagne avec des yeux ronds.

– Toi, la militante de l'égalité des chances, tu choisis que la voiture tue dix réfugiés sans boulot ! Imagine qu'il y ait Réva, la mère porteuse de ton enfant dans le lot. Tu vas tuer ton bébé pour garantir la vie de patrons qui refusent de donner du boulot aux réfugiés.

Sarah tremble en ayant les yeux fixés sur son bébé. Elle semble totalement perdue.

– Nolwy, si tu veux, on tue les patrons. De toutes les manières, cela ne changera rien. Des clones les remplaceront.

– C'est trop tard, je suis passée à la quatrième question : quelques minutes plus tard, le groupe des patrons rescapés voit une voiture autonome à l'horizon. Confiants, ils traversent quand tes parents font de même de l'autre côté. Que doit faire la voiture ?

– Que viennent faire mes parents dans cette galère ? De toutes les manières, ils sont en voyage à l'autre bout de monde.

– Ils reviennent pour l'arrivée des petits. Qui doit tuer la voiture ? Tes parents ou les patrons ?

Sarah se lève, va taper dans le coussin du canapé, ouvre la porte du réfrigérateur, la referme. Bref, elle a des réactions d'une femme enceinte et agacée.

– C'est monstrueux. Je ne veux pas qu'on tue mes parents. Les petits n'auront pas de grands-parents.

– Donc, la voiture autonome va tuer le groupe des patrons. Des milliers de personnes vont perdre leur boulot et se suicider. Tes parents auront des centaines de morts sur la conscience.

– Mes parents ne sont pas des tueurs.

Sarah va maintenant chercher une bouteille de vin. Alors qu'elle commence à se servir, elle voit son bébé qui lève le doigt. Elle sourit, repose la bouteille.
– On passe. Dernière question. La voiture continue sa route quand le chien traverse de nouveau. Comme la route s'est élargie, elle a le choix entre tuer un chien, dix immigrés sans emploi, cinq grands patrons, tes parents ou détruire la voiture où les bébés sont.

– La voiture tue le chien, s'exclame Sarah.

– Trop tard. Le chien a traversé la route et continue tranquillement sa balade.

– Nolwy, ce n'est pas possible. On ne peut pas répondre à une telle question.

– Si on ne répond pas, ils nous mettront la prime maximum et nous n'aurons pas les moyens de payer l'abonnement.

– Ce n'est pas plus mal. C'est trop dangereux, les voitures autonomes. Elles tuent des chiens, des immigrés, mes parents. Jamais, elles ne transporteront nos bébés.

Nolwy referme l'écran-table en soupirant. Elle connaît sa compagne. Quand elle a une technologie à fûtiger, elle a ses litanies toutes prêtes : si la technologie donne du sens à la vie des ingénieurs, elle leur fait perdre le bon sens... Comme dit Einstein, notre technologie a dépassé notre humanité...

– Sarah, il faut que tu comprennes, si la technologie donne du...

Sarah n'entend pas sa compagne. Cette inadaptée technologique a investi dans un brouilleur de radotages.
## Partie 6 –
Pour une
intelligence
artificielle
inclusive
et diverse

<figure><img src="image_13.png" /></figure>
# Partie 6 – Pour une intelligence artificielle inclusive et diverse

L'intelligence artificielle ne peut pas être une nouvelle machine à exclure. C'est une exigence démocratique dans un contexte où ces technologies sont en passe de devenir une des clés du monde à venir. Elle ouvre de formidables opportunités de création de valeur et de développement de nos sociétés et des individus. Ces opportunités doivent bénéficier à tous.

À tous, et en premier lieu à toutes. Rappelons que les femmes représentent près de la moitié de l'humanité mais à peine 33 % des personnes du secteur numérique (12 % seulement, si l'on écarte les fonctions transversales et supports). Pour relever les défis de l'intelligence artificielle, il nous faut nous appuyer sur l'ensemble de nos talents. Cette mobilisation collective doit être la plus ouverte possible. Chacun doit avoir les mêmes chances de participer à la recherche, au développement et la création de valeur en IA. Tout l'enjeu consiste donc à décloisonner et à distribuer les capacités d'innover.

Plus généralement, face à l'évolutivité des technologies et des usages liés à l'IA, notre société est tenue à un devoir de réflexivité et de vigilance collective. Notamment vis-à-vis des populations fragiles et des publics déjà exclus du numérique, pour qui l'IA peut représenter un danger encore plus grand. Le développement de l'IA peut tout autant emporter la promesse d'une société meilleure, plus juste et efficace, que le risque d'une hyperconcentration de la valeur au profit d'une petite élite numérique.

En préalable à une politique d'inclusion, l'éducation du plus grand nombre aux principes de l'IA et des algorithmes est primordiale. L'introduction d'une matière dédiée aux humanités numériques, récemment annoncée par le ministre de l'Éducation nationale, pourrait servir de support à ces enseignements.

En matière d'IA, la politique d'inclusion doit donc revêtir un double objectif : s'assurer que le développement de ces technologies ne contribue pas à accroître les inégalités sociales et économiques ; et s'appuyer sur l'IA pour effectivement les réduire. Plutôt que de fragiliser nos trajectoires individuelles et nos systèmes de solidarités, l'IA doit prioritairement nous aider à activer nos droits fondamentaux, augmenter le lien social et renforcer les solidarités.

## Mixité et diversité : agir pour l'égalité

En dépit d'une féminisation lente mais progressive des filières scientifiques et techniques, le numérique fait figure d'exception : la parité entre les hommes et les femmes est loin d'y être acquise (voir encadré). Au-delà des enjeux de compétitivité et de performance, la mixité et la diversité sont des enjeux de société. À mesure que le numérique et, demain, l'intelligence artificielle deviennent omniprésents dans nos vies, ce manque de diversité peut conduire les algorithmes à reproduire des biais cognitifs – souvent inconscients – dans la conception des programmes, l'analyse des données et l'interprétation des résultats (voir à ce titre la partie consacrée à l'éthique).

> Les femmes représentent près de la moitié de l'humanité mais à peine 33 % des personnes du secteur numérique
# Partie 6 – Pour une intelligence artificielle inclusive et diverse

Les illustrations sont légion : on constate par exemple que de nombreux programmes associent des mots tels que « programmation » avec « homme » et « tâches ménagères » avec « femme ». En 2015, lorsque vous tapiez « CEO » (PDG) dans un moteur de recherche aux États-Unis, il fallait aller jusqu'à la 96ᵉ photo pour y trouver une femme... sans compter qu'il s'agissait d'une image de Barbie CEO en tailleur minijupe¹ ! Aujourd'hui encore, lorsqu'on tape ce mot dans un moteur de recherche, il en ressort très majoritairement des photos d'hommes, alors que près d'un tiers des PDG américains sont des femmes.

L'un des grands défis de l'IA consiste donc à parvenir à une meilleure représentativité de nos sociétés. Dans cette section on insistera surtout sur la discrimination entre les femmes et les hommes : ce n'est pas la seule, bien sûr, mais celle-ci, bien identifiable, concerne une part considérable de la population (en aucun cas une « minorité ») et a des conséquences dans de larges pans de la société. On gardera en tête, cependant, qu'un travail similaire devrait être fait pour d'autres discriminations sociales (en fonction de la langue, de l'identité ethnique, de la nationalité, de la religion, des revenus...), même si elles sont plus difficiles à saisir. Notons à ce sujet qu'en Europe, les restrictions (légitimes) sur les fichiers de données personnelles sensibles telles que l'ethnie rendent cette examen encore plus difficile².

S'agissant de la mixité, le préalable premier reste l'éducation à l'égalité, dès le plus jeune âge, qui doit impliquer les parents, les entreprises privées, les médias, les associations et naturellement tous les acteurs de l'éducation. Dès le plus jeune âge et jusque dans les écoles informatiques et d'ingénieurs, l'École doit transmettre une culture de l'égalité entre les sexes au travers des enseignements, des actions éducatives, des formations et des supports pédagogiques et veiller à ce que l'information délivrée sur les métiers et les filières de formation soit exempte de tout stéréotype sexué.

## Les femmes dans le secteur du numérique et les carrières d'ingénieurs en France

En 2016, dans les écoles d'ingénieur en informatique, on dénombre moins de 10 % de femmes. L'informatique est la seule discipline où la part des femmes est en nette régression, alors que, dans toutes les filières scientifiques et techniques, elle augmente. Alors qu'en 1983, c'était le deuxième secteur comportant le plus de femmes diplômées, avec 20,3 %, soit 6 points au-dessus de la moyenne des femmes ingénieures.

Au sein de l'économie, la part des femmes dans le numérique est tragiquement faible : les femmes ne représentent que 33 % des effectifs dans le numérique et, si l'on écarte les fonctions transversales et supports, ce chiffre tombe sous la barre des 12 %. Par ailleurs, les femmes ne représentent que 11 % des effectifs dans le secteur de la cybersécurité.

Au-delà de cet indicateur global, il faut s'intéresser plus précisément à la place des femmes ingénieures dans les entreprises, leur positionnement hiérarchique, et leur rémunération. Ce sont deux trois clés pour l'attractivité de ces métiers et le taux d'attrition des femmes, soit le taux de départ des femmes après leur arrivée dans l'entreprise. Les femmes ingénieures membres de comités de direction ou directoire sont moins de 10 %. L'écart

1. Dailymail : « The first woman to appear in a Google search for 'CEO' ? BARBIE... and, of course, she's wearing a miniskirt » http://www.dailymail.co.uk/femail/article-3043673/The-woman-appear-Google-search-CEO-BARBIE-course-s-wearing-miniskirt.html

2. La lutte contre les discriminations est d'ailleurs un argument utilisé aux États-Unis pour justifier l'établissement de bases de données contenant, entre autres, des informations ethniques.
de salaire moyen entre les femmes et les hommes chez les ingénieurs est de 30 %, et il atteint plus de 34 % pour les plus de 45 ans. L'écart de salaire est quatre fois plus important dans les SSII, ou les sociétés d'ingénierie. Dans l'entrepreneuriat innovant, le constat est tout aussi inquiétant : 9 % des startups françaises sont créées par des femmes. Les femmes lèvent en moyenne deux fois moins d'argent que les hommes...

Sources des chiffres : campagne d'information sur la thématique « Femmes et Numérique » du Centre Francilien pour l'Égalité Femmes – Hommes, Centre Hubertine Auclert, étude Syntec et OPIIEC, La performance économique et sociale des startups numériques en France de 2015, étude Mutationnelles, 2014 et étude startup Ernst and Young de 2015

Un second préalable passe par l'éducation au numérique à l'École. Actuellement des formations spécifiques à l'informatique sont dispensées dans l'enseignement primaire et secondaire mais elles demeurent facultatives et se révèlent – bien souvent – insuffisantes. Au-delà d'être une discipline, le numérique est une pédagogie qui concerne les contenus des enseignements, les méthodes utilisées, la construction des savoirs et des sciences ou encore les relations entre les acteurs et l'organisation du système. Il s'agit de mettre en place tant pour les enseignements que pour les élèves, une véritable éducation au numérique fondée sur le décloisonnement et la transversalité.

## Comprendre la sous-représentation des filles dans l'éducation aux sciences, technologies, ingénieries et mathématiques (STEM) : une orientation sexuée de l'enseignement

En 2016, les États membres des Nations Unies ont adopté une décision sur le rôle de l'UNESCO pour ce qui est d'encourager les filles et les femmes à exercer un leadership dans les sciences, les technologies, l'ingénierie et les mathématiques (STEM).

Un rapport de l'UNESCO de 2017 répond directement à cette demande en décryptant les facteurs qui entravent ou facilitent la participation, la réussite et la rétention des filles et des femmes dans l'éducation aux STEM et, en particulier, ce que peut faire le secteur de l'éducation pour promouvoir l'intérêt et l'engagement des filles et des femmes dans les STEM. De manière générale, le rapport constate que les filles semblent perdre leur intérêt pour ces matières avec l'âge, en particulier entre le début et la fin de l'adolescence. Cette baisse d'intérêt affecte la participation aux études scientifiques dans le secondaire.

En ce qui concerne la maîtrise des outils informatiques, une étude de 2013 a constaté des niveaux de confiance en soi moins élevés chez les filles de 12 ans, même dans des contextes où elles sont plus performantes que les garçons. Le rapport cite également une étude réalisée au Vietnam affirmant que les filles abordent les technologies de l'informatique avec l'idée que la programmation est difficile. Cela étant, en surmontant cette idée, elles s'améliorent en programmation et souvent réussissent mieux que les garçons.

Source : UNESCO, Déchiffrer le code : L'éducation des filles et des femmes aux sciences, technologies, ingénieries et mathématiques (STEM), 2017
# Partie 6 – Pour une intelligence artificielle inclusive et diverse

Pour rendre l'éducation à l'égalité entre les femmes et les hommes et celle au numérique effectives, les personnels éducatifs et d'orientation doivent être formés à ces disciplines afin d'inciter massivement les jeunes filles à aller vers le secteur du numérique. Les chefs et cheffes d'établissement pourraient être les garants de la bonne mise en œuvre des politiques éducatives en faveur de l'égalité et du numérique.

## S'inspirer des initiatives étrangères pour apprendre aux filles à coder

En Inde, l'initiative sociale @IndianGirlsCode offre des programmes gratuits de codage et de robotique aux jeunes filles défavorisées. Cette initiative incite les filles à devenir des innovatrices dans le domaine de l'informatique et de la technologie et les aide à apprendre à coder et à innover en créant des applications pour des problèmes de tous les jours.

Aux États-Unis, Girls Who Code est une organisation à but non lucratif qui vise à éduquer et autonomiser les adolescentes et à les équiper de compétences et de ressources pour saisir des opportunités en technologie et ingénierie. La formation est dispensée au moyen de clubs gratuits périscolaires ou de programmes d'été intensifs. Plus de 10000 filles ont participé au programme, dont beaucoup sont maintenant inscrites dans des grandes universités des États-Unis où elles font des études d'informatique.

## Une action forte : un objectif de 40 % d'étudiantes dans les filières du numérique

Le déclin des femmes dans les métiers de l'informatique est un phénomène alarmant, qui ne cesse de s'aggraver malgré les efforts de la profession, de l'éducation et du monde associatif pour encourager la diversification des choix professionnels des filles. Ce constat est unanimement partagé : nous vivons une crise d'orientation dans les filières d'excellence du numérique. Si nous ne faisons rien, tout un pan de la société passera à côté de cette nouvelle économie.

L'heure est désormais aux actions fortes, pour renverser la tendance. Si l'éducation à l'égalité et au numérique est une condition préalable et essentielle, la mixité pourrait être atteinte avec 40 % d'étudiantes dans les filières du numérique (classes préparatoires et filières des grandes écoles et des universités) d'ici 2020.

Pour atteindre cet objectif à l'horizon 2020, il pourrait être mis en place une politique d'incitation positive. Ainsi, si les établissements parviennent rapidement à une proportion de 40 % de filles, ces derniers pourraient être récompensés par une labellisation ou une subvention.

## Valoriser les formations pleinement engagées pour la mixité numérique par l'obtention d'un label : l'exemple de la Grande École du Numérique

La Grande École du Numérique a pour but de favoriser la mixité des publics dans le secteur du numérique et de faire bénéficier les femmes des opportunités offertes par le numérique. Les formations labellisées ont ainsi pour objectif d'accueillir au moins 30 % de femmes au sein de leurs promotions d'apprenants.
La Web@cadémie, par exemple, a lancé son programme « Ambition Féminine », qui accueille une promotion majoritairement féminine. La Grande École du Numérique valorise également les formations dont le format permet à des mères de famille de suivre la formation grâce des horaires conciliables avec une vie de famille. Le développement du mentorat de femmes, à l'image des actions menées par Social Builder, est valorisé en vue de l'obtention du label.

Source : GEN, « Favoriser la mixité dans le secteur du numérique », février 2017

Le renversement du déficit de filles dans les écoles informatiques et d'ingénieurs est loin d'être irréaliste s'il s'accompagne d'un cadre qui permet de penser l'inclusion des femmes dans le monde professionnel du numérique et ainsi de changer les cultures et les pratiques. Il est, à cet égard intéressant de s'arrêter sur des exemples étrangers d'établissements supérieurs qui sont parvenus à augmenter de manière significative le nombre d'étudiantes et de chercheuses dans les filières numériques. On a pu constater que le mentorat des filles en informatique leur procure un avantage majeur et qu'il améliore leur participation et leur confiance dans les études et carrières techniques et scientifiques.

L'heure est désormais
aux actions fortes,
pour renverser la tendance

S'inspirer de programmes en faveur des femmes dans certaines écoles d'informatiques étrangères

Constatant dès 1995 une chute de la part des femmes dans leurs filières d'étude informatique, la Norwegian University of Science and Technology (NTNU) et Carnegie Mellon University (CMU) se sont lancées dans une opération de grande envergure pour réintroduire la mixité dans leurs classes.

Les chercheuses Chantal Morley et Isabelle Collet ont analysé de tels programmes. NTNU démarre en 1996 une initiative appelée Women in Computer Initiative (WCI), sous l'impulsion conjointe de la vice-rectrice nouvellement élue, du vice-doyen de la Faculté Physique-Mathématique-Informatique et du directeur du Département informatique. Un an plus tard, le pourcentage d'étudiantes passe de 6 % à 38 %, et le comité WCI est pérennisé. À la Carnegie Mellon University (CMU) un programme de recherche-action a été lancé par un binôme composé du vice-doyen, professeur d'informatique, et d'une spécialiste en science de l'éducation et genre. Progressivement, le nombre d'étudiantes a augmenté et atteint 39 % en 2000 (contre 7 % en 1995), avec un taux d'abandon identique pour les deux sexes. Le programme de CMU se poursuit encore aujourd'hui via un programme de mentorat connectant les femmes à travers les départements de l'école (source : MORLEY Chantal et COLLET Isabelle, « Femmes et métiers de l'informatique : un monde pour elles aussi », Cahiers du genre, 2017, n° 62, p. 183-202).

Le laboratoire d'intelligence artificielle de Stanford a, quant à lui, développé
un programme d'été gratuit de deux semaines pour former des lycéennes
à l'IA. Le programme a été organisé par des étudiants diplômés et des
professeurs bénévoles et son impact a été jugé positif.
# Partie 6 – Pour une intelligence artificielle inclusive et diverse

Au Royaume-Uni, la Charte d'égalité Athena SWAN lancée en 2005 a pour objectif de faire progresser la représentation des femmes dans la science, la technologie, l'ingénierie, la médecine et les mathématiques. Elle permet aux organisations de demander un prix en reconnaissance de leur engagement envers l'égalité et la diversité, et de progrès en ce sens. Le programme a eu un impact favorable sur la mixité dans les institutions participantes.

Cette action doit s'accompagner d'une politique de formation et de sensibilisation des enseignants à ces questions, afin de les aider à détecter les biais et les inciter à mieux orienter les jeunes filles vers ces disciplines. Les chefs et chefes d'établissement devraient être tenus pour garants de la bonne mise en œuvre des politiques éducatives en faveur de l'égalité et du numérique.

## Une action nationale en faveur de la mixité dans la technologie

L'ensemble des actions en faveur de la diversité dans les entreprises du numérique pourraient être portées par une action nationale en faveur de la mixité et de la diversité dans la technologie. Co-construit avec l'ensemble des acteurs du secteur, il afficherait un objectif ambitieux et clair. Par exemple : +30 % de femmes dans le secteur numérique d'ici à 2 ans. Ce plan pourrait être lancé via un événement d'envergure nationale. Il devrait s'appuyer sur les associations existantes, en leur donnant plus de moyens pour s'organiser et se mettre en réseau. De nombreuses associations sont en effet très présentes dans les territoires pour permettre aux femmes de prendre toute leur place dans le secteur numérique (voir encadré). Les syndicats sont également mobilisés.

Aux niveaux national et régional, différentes instances ont vocation à contribuer à l'impulsion d'une action nationale en faveur de la mixité dans le numérique, à l'instar du Haut Conseil à l'Égalité entre les femmes et les hommes, du Conseil Supérieur de l'Égalité Professionnelle entre les femmes et les hommes ou encore du Centre Hubertine Auclert (centre francilien de ressources pour l'égalité femmes-hommes).

Ces réseaux seraient constitués d'ambassadrices et d'ambassadeurs, qui seront notamment appelés à témoigner dans les écoles, les lycées et les formations supérieures, et à parrainer les nouvelles arrivantes et les nouveaux arrivants au sein de leurs organisations.

## Quelques exemples d'associations pour aider les femmes à prendre toute leur place dans le secteur numérique

En France, les associations Girlz in web, Duchess France ou Women in Tech, sont actives pour essayer de faire évoluer les choses en ce domaine et pour faire profiter les femmes des opportunités offertes par le secteur du numérique. Ainsi, Girlz in web organise des événements mensuels comme des master class, des tables rondes, agit en réseau, noue des partenariats toujours dans le but de rendre plus visibles les femmes dans le monde du numérique et d'augmenter leur part dans cette économie.
Source : d'après les exemples du rapport d'information de l'Assemblée nationale n° 3318, Femmes et numérique : dépasser les écueils, saisir les opportunités, Délégation aux droits des femmes, par la députée Catherine COUTELLE, décembre 2015

Afin de sensibiliser le grand public aux besoins humains du secteur du numérique et de l'IA, une large campagne nationale pourrait être menée en parallèle afin de mettre en lumière les métiers du numérique et leur ouverture aux femmes. Plus précisément, il s'agit de lancer une campagne de communication visant à modifier la culture masculine du monde du numérique et à lutter contre les mécanismes d'exclusion et d'auto-exclusion. Cette campagne pourrait s'attacher à la mise en avant des biais décisionnels, des biais d'intégration, mais également des phénomènes d'autocensure des femmes.

## Quelles sont les conséquences d'une culture hyper masculine pour les carrières des femmes ?

De nombreuses études se sont penchées sur l'importance du taux d'attrition, soit du taux de départ, des femmes dans le secteur des STEM, science, technologies sciences de l'ingénieur, mathématiques. Ainsi, aux États-Unis, dix ans après leur diplomation dans ces matières, seules 25 % des femmes travaillent encore dans le secteur (source : Women in STEM: Realizing the Potential, livre blanc STEMconnector, mars 2014).

Après dix ans d'expérience, 41 % des femmes quittent le secteur, contre seulement 17 % d'hommes (source : Women in IT: The Facts, National Center for Women and Information Technology, 2010). Il est difficile de comprendre les causes de ces départs. Les chercheurs montrent que le taux d'attrition atteint un pic en milieu de carrière, à l'âge de 35 ans, après une ou deux promotions (source : voir The Athena Factor: Reversing the Brain Drain in Science, Engineering, and Technology, 2008 et Women in IT : The Facts, National Center for Women and Information Technology, 2010, à nouveau.)

Passée cette période, les femmes ont parfois le sentiment de ne pas pouvoir continuer à avancer (source : sondage Women in Tech survey réalisé aux États-Unis sur 1000 femmes du secteur des STEM, novembre 2014). Elles se sentiraient isolées dans des équipes majoritairement masculines, sans mentor, sans sponsor ni projet. Elles partent car elles se seraient également senties traitées de manière injuste, moins payées, moins susceptibles d'évoluer que leurs collègues masculins.

En 2017, les géants de la Tech ont été particulièrement touchés par des scandales liés au sexisme. Google a été au cœur d'une controverse après la prise de position d'un ingénieur dans une note diffusée en interne où il justifiait la sous-représentation des femmes dans la Tech... par des « causes biologiques ». Chez Uber, l'ingénieure Susan Fowler a évoqué une prise en compte insuffisante des cas de harcèlement sexuel par les ressources humaines, ainsi que d'autres formes de discriminations et d'humiliations quotidiennes.

2017 a également été marquée par la publication de l'ouvrage d'Ellen Pao Reset, narrant son expérience du machisme au sein de la Silicon Valley. Le sujet
# Partie 6 – Pour une intelligence artificielle inclusive et diverse

ne semble pas épuisé. En 2018 est sorti l'ouvrage Brotopia : Breaking Up the Boys' Club of Silicon Valley, d'Emily Chang, racontant les « e-parties » de la Silicon Valley, soit des soirées à forte dominante sexuelle, où les femmes ne sont invitées que pour leurs qualités physiques.

Par ailleurs, de nombreuses études ont démontré l'impact positif que pouvaient avoir les rôles modèles pour encourager les filles vers les filières scientifiques et techniques. C'est pourquoi ces campagnes pourraient mettre en avant des exemples féminins de réussite. C'est notamment ce que propose la Commission européenne dans son plan d'action pour l'éducation numérique récemment dévoilé : mobiliser les parties prenantes pour doter les filles de modèles inspirants, de rôles modèles, auxquels elles peuvent s'identifier. Ces modèles inspirants pourraient être des femmes de notre temps, qui se réalisent avec brio dans le secteur du numérique et de l'IA, ou des figures historiques (voir encadré).

## Le rôle des femmes dans le développement de l'informatique

La sous-représentation des femmes dans le secteur numérique depuis les années 1980 peut s'expliquer en partie par des facteurs sociohistoriques et notamment par le fait que les stéréotypes de l'informaticien et du geek sont de plus en plus prégnants dans l'imaginaire social. Cet imaginaire et l'absence de rôles modèles féminins ont une influence importante sur les filles mais aussi sur les garçons. Pourtant l'informatique n'a pas toujours été l'apanage des hommes. Des femmes ont été pionnières dans ce domaine. Ainsi, le développement du premier programme informatique a été réalisé par Ada Lovelace en 1843. La première thèse en informatique a été soutenue aux États-Unis par Mary Keller. Le premier compilateur ouvrant la voie aux langages de programmation a été créé par Grace Hopper. On doit également à des femmes également la programmation du premier ordinateur entièrement électronique en 1946 ou encore l'atterrissage sur la lune à des équipes dirigées par Margaret Hamilton.

## Mettre en place une base de données nationale sur les inégalités entre les femmes et les hommes au travail

De nombreuses études s'attachent à identifier les facteurs qui mènent les femmes à quitter le secteur numérique. Organisation du travail, biais collectivement intériorisés dans les interactions, phénomènes d'invisibilisation, difficultés de promotion... : les raisons peuvent être nombreuses. Cependant, avant de commencer à agir sur l'une d'entre elles en particulier, il est nécessaire de disposer de données plus précises quant aux discriminations hommes-femmes à l'œuvre, au sein des entreprises.

Si les milieux de l'informatique et de l'IA sont peu attractifs pour les femmes, pour des raisons qui peuvent être complexes à formaliser, ils peuvent aussi l'être pour des raisons qui peuvent être pointées de manière objective. Il serait donc utile de constituer une base de données permettant de les identifier, dans ce secteur, comme dans les autres.
## Quantifier les inégalités au travail

La contribution à cette base de données pourrait être rendue obligatoire, à l'instar des obligations de reporting RSE qui s'appliquent aux grandes entreprises. Cette base permettrait ainsi de mesurer les progrès accomplis d'année en année et de donner un cap aux politiques publiques. Ce corpus n'a pas pour objectif de dénoncer une entreprise particulière, mais de faire avancer la réflexion collective et l'analyse publique. Les données qui seraient rendues publiques seraient donc anonymisées. Les entreprises qui auraient contribué à cette base pourraient s'en prévaloir et mettre en avant leur ambition de diversité (voir encadré). Cette base de données devrait également être alimentée par la puissance publique, afin d'encourager son exemplarité dans ce domaine. Cette base de données devrait être exigeante dans les indicateurs retenus :

- taux de mixité comex et comdir ;

- taux de mixité dans les équipes ;

- taux de mixité dans les nominations, les promotions et les embauches ;

- taux de mixité par niveau hiérarchique et par type de poste ;

- différence de salaire sur différents postes, à différents niveaux hiérarchiques ;

- soutien à l'intraprenariat et à la constitution de réseaux féminins.

## S'inspirer des indicateurs produits par le Syntec numérique sur la féminisation des métiers du numérique

Créé en juillet 2011, le Programme Femmes du Numérique du Syntec numérique a pour objectif de promouvoir l'égalité entre les hommes et les femmes dans l'écosystème numérique et de mettre en avant l'attractivité de la profession auprès des jeunes femmes. À cette fin, Femmes du numérique s'est doté d'indicateurs référents pour suivre les efforts accomplis dans le secteur du numérique en vue de favoriser l'égalité professionnelle entre les femmes et les hommes. Cette enquête pourrait ainsi fournir des éléments dans le cadre de la base nationale proposée.

Cette base de données permettrait de mesurer l'impact des actions engagées en matière d'égalité et de mixité. La production de ces indicateurs et la gouvernance de cette base pourraient être pilotée par le Conseil Supérieur de l'Égalité Professionnelle entre les femmes et les hommes (CSEP) dans le cadre de sa mission d'évaluation et du suivi des politiques relatives à l'égalité professionnelle.

## Promouvoir la transparence des processus de recrutement et de promotion

Il est nécessaire d'accompagner cette politique de la donnée d'une politique de transparence sur les processus de recrutement et de promotion. Si les processus sont souvent formalisés dans les grands groupes, ils le sont moins dans les petites entreprises et les startups. En lien avec la FrenchTech, une action de sensibilisation à la transparence dans la gestion des ressources humaines pourrait être mise en place. Cette action pourrait être accompagnée d'une mise à disposition de conseils pour les jeunes entreprises sous dotées en compétences RH.
# Partie 6 – Pour une intelligence artificielle inclusive et diverse

## Mener une enquête permettant de mesurer effectivement les discriminations entre les femmes et les hommes dans le secteur du numérique

Deux entreprises ont récemment fait l'exercice de se doter d'un collaborateur masculin fictif, et ont constaté un changement de considération important de la part des financeurs et investisseur³. Cette expérience intéressante et alarmante mérite d'être prise au sérieux.

Une action d'évaluation pourrait être menée, pourquoi pas via des A/B tests mesurant la différence de financements obtenus avec ou sans collaborateur masculin. Toutes choses égales par ailleurs (égalité de qualification, identité de proposition de valeur etc.), l'enquête pourrait permettre de mieux mesurer l'existence, ou non, de biais de financement, de recrutement ou tout autre élément décisif pour la progression de carrière, de perception des femmes – par les femmes ou les hommes – dans leur rapport à l'ambition, à la compétition et à l'argent.

3. Le Monde, « Comment deuxentrepreneuseuss'inventent un collègue masculin pour convaincre les investisseurs », 8 septembre 2017.

## Favoriser la recherche en IA en faveur de la détection des discriminations

Il existe déjà des solutions permettant d'identifier les discriminations professionnelles. Ainsi, la société Palatine analytics, en analysant des enquêtes, des témoignages d'employés, des données salariales, de promotion etc. a pu détecter de nombreux biais en défaveur des femmes. Il serait intéressant de favoriser la recherche permettant de développer des solutions similaires.

## Réserver des fonds en faveur de la diversité

Un fonds en faveur de projets développant des IA inclusives et non discriminantes pourrait être mis en place chez BPI France ou à la FrenchTech, également en faveur d'entreprises du numérique porteurs de projets à fort impact social et environnemental, et s'engageant en faveur de la diversité et de la mixité. Par exemple, des projets en IA liés au débiaisage des données utilisées par les algorithmes d'apprentissage pourraient être soutenus. Les entreprises financées devront être particulièrement actives dans la promotion de la diversité au sein de leurs effectifs, et s'engageront à témoigner au sein des écoles.

Des bourses d'étude et de recherche pourraient également être prioritairement octroyées par le secteur privé à des femmes et des personnes issues des minorités, ou socialement défavorisées. À titre d'exemple, la Fondation L'Oréal récompense les femmes scientifiques et met en valeur leur travail avec le programme Pour les femmes et la science.

## Développer la médiation numérique et l'innovation sociale pour que l'IA bénéficie à tous

Face à l'ampleur des transformations à venir par l'IA, il est de notre responsabilité collective de s'assurer que personne ne soit mis de côté. Pour que chacun puisse véritablement bénéficier des avancées de l'IA, nos procédures d'accès aux droits doivent évoluer, et nos capacités de médiation considérablement se renforcer. De même, les opportunités d'innover par l'IA doivent
# Développer la médiation numérique et l'innovation sociale pour que l'IA bénéficie à tous

irriguer l'ensemble des champs d'activités, y compris l'action sociale et les réseaux du care (le prendre soin).

## Activer l'accès aux droits fondamentaux et aux services publics

Depuis quelques années, les rapports se multiplient pour alerter les pouvoirs publics sur les risques d'inaccessibilité des services publics et de recul de l'accès aux droits sous l'effet de la dématérialisation. Ces phénomènes sont d'autant plus graves qu'ils affectent une partie substantielle de la population – en particulier, les personnes en situation de précarité et/ou éloignées du numérique (voir encadré) – et qu'ils sont susceptibles de s'accentuer dans les prochaines années.

### 12 millions de Français éprouvent des difficultés à accomplir des démarches administratives courantes

D'après l'enquête du Défenseur des droits publiée en février 2017, près de 12 millions de Français éprouvent des difficultés à accomplir les démarches administratives courantes, par exemple pour déclarer ses revenus en ligne, télécharger ou remplir un formulaire sur Internet. L'expérience de ces difficultés conduit près de 12 % des usagers à abandonner leurs démarches, notamment en matière de justice (36 %), auprès du Trésor public (14 %) et des organismes de Sécurité sociale (13 %).

Pour que la transformation des démarches administratives par l'IA ne soit pas un facteur d'éloignement, mais d'activation des droits, la stratégie des pouvoirs publics doit être double. D'une part, elle doit viser à améliorer la connaissance pour le grand public des règles administratives et de leur application à une situation personnelle, jusqu'à rendre automatique le traitement de certaines procédures répétitives. En complément, elle doit permettre de déployer de nouvelles capacités de médiation et d'accompagnement transversal des personnes qui en ont besoin, en lien avec les réseaux d'aidants présents sur le territoire.

## Créer un système automatisé d'aide à la gestion des démarches administratives

Le manque d'information (difficulté d'accéder à l'information, de contacter quelqu'un, ou la simple méconnaissance des recours possibles), l'expérience de frictions dans les procédures en ligne (demande répétée de pièces justificatives, multiplicité des guichets et interlocuteurs...), le non-traitement des demandes (que ce soit par omission, erreur, retard ou insuffisances de moyens) et le sentiment d'inutilité de la démarche expliquent en grande partie les phénomènes d'abandon ou de non-recours aux droits. Pour y remédier, la puissance publique

doit repenser le design des démarches administratives pour faire en sorte que les citoyens se sentent davantage destinataires de l'offre de services publics. À cette fin, elle peut mobiliser l'intelligence artificielle pour absorber

> Pour que chacun puisse véritablement bénéficier des avancées de l'IA, nos procédures d'accès aux droits doivent évoluer, et nos capacités de médiation considérablement se renforcer
# Partie 6 – Pour une intelligence artificielle inclusive et diverse

la complexité administrative, fluidifier et personnaliser l'expérience d'utilisation des services publics (accès à une information de qualité et contextualisée transversale à plusieurs administrations, délégation de certaines tâches administratives répétitives...). Un challenge ouvert pourrait être lancé pour développer une plateforme d'aide à la gestion et à la réalisation des démarches administratives basée sur l'intelligence artificielle :

- cette plateforme permettrait notamment d'aider les usagers à exprimer leurs besoins et à les requalifier en langage administratif avec l'aide de techniques de traitement du langage naturel ; d'élaborer un prédia-gnostic à partir de l'analyse comparée avec d'autres situations similaires ; d'apporter une information personnalisée et contextualisée à l'usager pour le remplissage de leurs démarches administratives, voire de gérer la réalisation de certaines tâches administratives ; de réorienter l'usager vers une aide complémentaire en ligne ou un expert ;

- dans un premier temps, cette plateforme serait orientée sur les démarches administratives les plus simples et répétitives, celles qui sont les plus sollicitées par les usagers (nombre d'actes) et qui enregistrent les plus forts taux d'abandon des démarches ou de non-recours aux droits (le trésor public pour le recouvrement des impôts – 12 %, la caisse primaire d'assurance maladie -8 %, la Caisse d'allocation familiale -8 %, puis la préfecture (4 %) pour l'attribution des titres de séjours des ressortis-sants étrangers, gestion des véhicules professionnels et particuliers et des permis de conduire, pour l'identification et l'immatriculation des associations ou encore pour l'organisation des manifestations);

- l'architecture et le fonctionnement de la plateforme devraient impérati-vement être centrés sur l'expérience utilisateur: recours à des experts en UX Design, organisation de tests de parcours utilisateurs, appui sur les acteurs de la médiation, etc. L'objectif est de mieux prendre en compte les frictions qu'ils rencontrent et d'y remédier en rendant le design de l'interface et des relations plus intuitives.

## Élaborer une grille des niveaux de médiation nécessaire pour les services publics dématérialisés

Afin de garantir la confiance des usagers dans les démarches administratives (partiellement ou totalement automatisées), il sera essentiel d'organiser le recours à une intervention humaine. En effet, à terme, si des tâches sont réalisées automatiquement en ligne et des décisions administratives prises, c'est aussi une condition d'acceptabilité par les usagers de l'action adminis-trative. A minima, il semble donc essentiel de reconnaître à l'administré :

- le droit de savoir à qui il s'adresse, qu'il s'agisse d'un agent public ou bien d'un assistant virtuel (principe d'identification);

- le droit de recourir à un être humain en cas d'erreur ou de problème dans l'utilisation du service (principe de recours à un humain)

Selon la nature des services rendus de manière automatisée, différents niveaux d'assistance humaine pourraient être exigés sur la base d'une grille de référence (voir les travaux menés par la Fing sur la médiation autour des systèmes sociotechniques). Cette grille permettrait aux administrations ayant
# Développer la médiation numérique et l'innovation sociale pour que l'IA bénéficie à tous

recours à un dispositif automatisé d'aide ou de prise de décision de mesurer la qualité de l'offre d'assistance et médiation qu'elle propose aux usagers. Elle permettrait ensuite d'évaluer le niveau de médiation requis pour le bon fonctionnement du service, et de fixer :

- un pourcentage du budget initial à dédier à la médiation autour du service ;

- un pourcentage des économies d'échelles réalisées par l'automatisation au financement d'initiatives de médiation numérique, internes ou externes à l'administration ;

- un pourcentage des effectifs (et/ou du temps de travail des effectifs dédiés à des activités de médiation et d'accompagnement humain.

Cette grille pourrait servir de source d'inspiration pour les acteurs privés qui souhaitent développer des bonnes pratiques en matière de médiation autour des systèmes algorithmiques.

## Vers une échelle de responsabilisation sur la médiation (Nos Systèmes, La Fing)

La Fing propose d'imaginer une échelle d'évaluation de la médiation / responsabilisation permettant de noter le nombre de modalités de médiation accessibles, d'évaluer le niveau d'assistance et de réponse offertes par le système. Par exemple, « Niveau 0 : aucune modalité d'assistance, voire difficulté à trouver une information », « Niveau 1 : on peut joindre le système seulement en dehors du système (email, numéro vert, panic button) », « Niveau 2 : des systèmes auto assistants », « Niveau 3 : personnalisation des réponses », « Niveau 4 : modalités de médiation organisées et distribuées, obligation de répondre...), « Niveau 5 : assistance déportée même en dehors du système »...

## Former massivement les agents publics à la médiation numérique

La dématérialisation – et a fortiori l'automatisation – des services publics va aller de pair avec un besoin croissant de dialogue et de médiation humaine de proximité, notamment envers les personnes les plus vulnérables. Le rôle d'accompagnement des publics des agents administratifs en sera d'autant plus central.

Le développement de l'intelligence artificielle au sein de la fonction publique ne sera

bénéfique que s'il améliore les conditions de travail des agents publics au bénéfice des usagers. L'optimisation des processus administratifs doit poursuivre l'objectif d'encapacitation des agents (aide à la recherche d'informations sur des exceptions de procédures ou ne relevant pas directement de leurs champs de compétence, saisie et transmission automatique d'informations...) et de recentrage de leurs fonctions sur l'accompagnement humain des personnes en difficulté et la recherche d'une meilleure coordination

> Le développement de l'intelligence artificielle au sein de la fonction publique ne sera bénéfique que s'il améliore les conditions de travail des agents publics au bénéfice des usagers
# Partie 6 – Pour une intelligence artificielle inclusive et diverse

institutionnelle entre les acteurs intervenant dans la prise en charge (administrations, aidants, associations...). En effet, l'accueil, l'orientation, l'accompagnement des usagers nécessite une approche coordonnée des acteurs de terrain, à l'inverse d'une approche par publics, par guichet ou par dispositif qui prédomine actuellement.

Il est dès lors nécessaire de former massivement les agents publics à l'accomplissement des publics, tout en renforçant les liens avec les acteurs de la médiation numérique et des professionnels de l'action sociale sur le territoire (tiers lieux, associations, fondations...).

## Faire des EPN des espaces de sensibilisation et de remontée des biais discriminatoires dans l'accès automatisé aux services de base (logement, emploi, soins...)

Plusieurs études ont montré que l'automatisation des tâches par une machine ne conduit pas forcément à un lissage des biais subjectifs des procédures humaines. La puissance publique doit donc se doter de capacités pour mieux comprendre, détecter et lutter contre ces formes de discriminations algorithmiques, en particulier lorsqu'elles conditionnent l'accès à un service de base : l'accès au logement et à l'énergie, aux soins, à l'emploi et à la formation, au crédit. Ces capacités peuvent être d'ordre technique (voir proposition sur les procédures d'audit des algorithmes dans la partie éthique) ou bien d'ordre institutionnel.

En effet, la puissance publique doit développer de nouveaux canaux de transmission avec les citoyens pour faire remonter ces expériences de terrain et procéder à des tests en conditions réelles. Pour cela, elle peut s'appuyer sur le réseau de la médiation numérique et des associations de protection des droits.

En lien avec les associations de lutte contre la discrimination et de défense des droits de l'homme, les Espaces publics numériques (EPN) pourraient :

- proposer des conférences de sensibilisation sur les risques de discrimination algorithmiques ;

- organiser des panels tests avec les citoyens afin de tester et détecter les biais éventuels ;

- lancer des recherches-actions pour mieux comprendre la formation de certaines formes d'exclusion ou de marginalisation en ligne.

## La qualité et la représentativité des jeux de données sur des populations d'individus sont corrélées à leur appartenance sociale

Dans leur publication « big data's Disparate Impact » (2015), Solon Barocas et Andrew Selbst (Université de Princeton) montrent que la qualité et la représentativité des jeux de données sur des populations d'individus sont corrélées à leur appartenance sociale. Ils distinguent plusieurs catégories de publics dits à risques : les « uncounted » (individus faiblement engagés dans l'économie formelle et donc dans des activités générant des données), les « unaccounted » (individus disposant d'un accès limité à Internet ou n'étant pas suffisamment à l'aise avec les usages numériques pour avoir une activité) et les « discounted » (individus qui, du fait de leur situation économique).
# Développer la médiation numérique et l'innovation sociale pour que l'IA bénéficie à tous

## Soutenir les innovations sociales basées sur l'IA

À l'heure actuelle, les capacités d'innovation par l'IA restent très concentrées au sein d'un petit nombre d'entreprises. À l'exception de la santé, les champs sociaux reçoivent une part minoritaire des investissements privés. Cette structuration de l'écosystème d'innovation en IA a des conséquences sur la vitesse des progrès réalisés dans les champs sociaux.

Afin de redistribuer ces capacités d'innovation, la puissance publique pourrait lancer des programmes spécifiques pour accompagner l'innovation d'IA en matière sociale, et outiller les acteurs sociaux afin qu'ils puissent bénéficier des avancées liées à l'IA.

## Mettre à disposition des acteurs de l'action sociale (administration, professionnels de l'action sociale, association...) un pôle de ressources et de compétences en IA

La puissance publique pourrait soutenir la diffusion des capacités d'innover par l'IA dans le champ social aux acteurs qui jouent un rôle clé dans l'accompagnement des personnes – à savoir les associations, les acteurs de la médiation, les entreprises sociales, etc. Pour cela, elle pourrait :

- faciliter la mise en relation entre les entreprises et les associations sur des projets d'IA ;

- mettre à disposition des ressources (données, capacités de calcul...);

- créer un pôle de compétences (experts en IA, data-science...) pour permettre aux associations de proposer et de développer des prototypes des services d'accompagnement des personnes basés sur l'intelligence artificielle.

## Data for Good

Data for Good est une communauté rassemblant plus de 300 ingénieurs et data scientists bénévoles souhaitant mettre leurs compétences au service de la résolution des problèmes sociaux de grande envergure. Trois fois par an, un nouveau programme d'accélération est lancé pour développer une dizaine de projets portés par des volontaires. Ce programme de 10 semaines permet aux volontaires d'être accompagnés par des mentors et d'assister à des ateliers pour améliorer leurs compétences. Voici quelques exemples de projets : analyse prédictive pour l'aide alimentaire, en partenariat avec la Croix-Rouge, matching de mentorat en faveur de l'égalité des chances, en partenariat avec l'association Frateli.

## Documenter les effets des robots sociaux dans l'accompagnement des personnes

Les progrès combinés de l'IA et de la robotique conduisent également à l'apparition de nouvelles formes d'accompagnement des personnes à des fins médicales ou de bien-être : les « robots sociaux » ou « assistants automatisés ». Le développement des capacités d'empathie de ces machines – c'est-à-dire de leurs capacités à exprimer une émotion particulière pour s'adapter à son interlocuteur à un moment donné – peut s'avérer bénéfique pour personnaliser, rassurer l'utilisateur. Toutefois il soulève des questions majeures concernant
# Partie 6 – Pour une intelligence artificielle inclusive et diverse

la perception de ces technologies par leurs bénéficiaires, et leur degré d'acceptabilité sociale. Avant d'envisager leur déploiement, il conviendrait de :

- soutenir les recherches en sciences sociales et sciences cognitives sur les relations affectives qui peuvent se nouer entre le bénéficiaire et la machine, et leurs conséquences éventuelles (risque de dépendance, d'exploitation des vulnérabilités émotionnelles, de confusion avec l'empathie humaine...);

- encadrer l'élaboration de corpus de données sur les émotions obtenues dans des contextes réels et leurs utilisations potentielles à des fins commerciales ou de surveillance ;

- ouvrir un débat de société sur la place et le rôle des machines automatisées dans l'accompagnement des personnes en situation de dépendance ou de handicap.

## Encourager le développement des technologies d'assistance et d'aide à l'accessibilité numérique

Alors que les exigences d'accessibilité des interfaces numériques pour les personnes en situation de handicap sont souvent pensées après coup, en surcouche, certaines solutions basées sur l'IA permettent de les prendre en compte de manière plus intégrée dans la conception des interfaces. L'IA pourrait également faciliter le travail des développeurs et designers d'inter-faces grâce à des outils d'analyse automatique de l'accessibilité numérique (conformité au Référentiel Général d'Accessibilité – RGAA) ou à l'aide à la conception d'interface (comme Thegrid.io, textocode). Dans le cadre de la politique d'accessibilité, la puissance publique pourrait donc soutenir le développement d'une telle offre d'outils et/ou en promouvoir l'usage.

À long terme, la prise en compte ex ante des normes d'accessibilité pourrait prendre une importance moindre compte tenu du perfectionnement des technologies d'assistance. Certaines technologies d'assistance basée sur l'IA permettent d'améliorer les conditions de vie des personnes en situation de handicap. Par exemple, Facebook a développé un dispositif de reconnaissance automatique d'images et de leurs composantes pour les personnes malvoyantes qui s'adapte aux préférences et centres d'intérêt de leur utilisateur. L'outil DeepMind de Google s'appuie sur une technologie de lecture labiale automatique pour permettre aux personnes malentendantes de mieux comprendre et de restituer une discussion. Récemment, Salesforce a lancé un algorithme de résumé et production automatique de texte pour les personnes souffrant de troubles de l'attention. La puissance publique pourrait stimuler le développement d'applications IA en matière de dépendance et handicap, et à ce titre :

- soutenir les démarches d'investissement orientées vers les projets d'IA dans les champs de la dépendance et du handicap, à l'instar du fonds d'investissement en capital-risque consacré à l'intelligence artificielle lancé par Microsoft en 2017 ;

- favoriser le développement de partenariat sur des technologies d'IA mêlant entreprises, associations, communautés d'aidants, établissement de recherche.
<figure><img src="image_14.png" /></figure>
## Éthique autonome

La voiture autonome, c'est une affaire qui va rouler dans les prochaines années. Les constructeurs automobiles promettent les premiers modèles dès 2020. Google expérimente un service commercial de taxis autonomes dans la banlieue de Phoenix. Uber a signé un partenariat avec Volvo pour acquérir plusieurs dizaines de milliers de véhicules à conduite autonome.

La voiture autonome pose des problèmes techniques non encore résolus. Par exemple, les capteurs ne fonctionnent pas correctement dès qu'il y a des intempéries ou des imprévus.

La voiture pose aussi des problèmes de société. Les assureurs planchent sur le statut de la voiture du futur. Ils se demandent qui sera le responsable si un incident intervient. Est-ce le fabricant de l'intelligence artificielle qui pilote la voiture ? Ou est-ce le constructeur ?

Les questions se posent aussi sur l'éthique de ce pilote automatique. Que va-t-il se passer si la voiture doit choisir entre écraser un piéton ou conduire ses passagers à une mort certaine en sortant de la route ? Est-ce que cela changera s'il n'y a pas un, mais dix piétons ? Et si dans ses piétons, il y a par exemple le président de l'entreprise qui fabrique la voiture autonome ?

Si on peut multiplier les interrogations, il est clair que la voiture autonome ne pourra jamais y répondre. Les machines n'ont ni éthique ni intelligence. Nous leur prêtons les nôtres quand nous les concevons.

D'autres interrogations se posent aussi sur les comportements des humains. S'il y a fort à parier que

nous refuserons un jour de monter à bord d'une voiture conduite par un humain, on pourrait aussi, comme dans DÉRAPAGES CONTRÔLES, utiliser les voitures autonomes pour se suicider ou commettre des meurtres. Qui serait alors responsable ? L'humain auteur de ces crimes, le fabricant de l'IA qui n'a pas envisagé cette dérive, le constructeur automobile qui n'a pas fiabilisé son IA ?

Zoya prend place dans la voiture de Bierstein. L'engin étant autonome, le célèbre producteur s'occupe en ayant des gestes déplacés.

- Très belle voiture autonome, dit Zoya.

Bierstein a un discret haussement de sourcil. Alors que toutes les voitures sont désormais autonomes, même des jeunes comme Zoya continuent de le préciser.

- C'est une œuvre de Bellostock. Les tatouages sont réalisés sur des peaux fabriquées à partir de mes cellules souches. Vous êtes assise sur un bout de moi-même.

Zoya apprécie le travail de ce tatoueur de renom. Les peaux artificielles qui décorent la voiture sont des œuvres étonnantes. Cela n'empêche pas que Bierstein est une vieille peau et qu'être installée sur une de ses excroissances n'est pas confortable.

- C'est beau ! C'est étonnant ! Les artistes ne savent plus quoi inventer, dit Zoya pour dire quelque chose.

- Vous aussi, vous êtes très belle, dit Bierstein en accompagnant sa réponse d'un sourire si large que la peau tendue et retendue de son visage menace de craquer.

Ce séducteur aux propos médiocres n'est pas pour autant un débutant.
Bierstein est le plus important producteur de films holographiques. Ce magicien du nouveau cinéma enchaîne les conquêtes en piochant dans son vivier d'actrices.

– Il n'y a plus du tout de volant dans votre voiture ?

Bierstein secoue la tête. Décidément, les artistes vivent dans un autre monde. Toutes les voitures de luxe n'en possèdent plus.

– Je n'en ai vraiment pas besoin. J'indique ma destination et ma voiture m'emmène là où je veux aller. Cela laisse du temps libre... Il y a dans la vie des choses beaucoup plus intéressantes que la conduite, dit-il en déplaçant sa main gauche sur la cuisse de Zoya.

– Moi, j'apprécie la bonne conduite, dit Zoya en retirant la main de Bierstein.

Bierstein conserve son sourire de momie tout en pensant qu'il a les moyens de faire céder la demoiselle à son charme.

– J'ai une idée. Cela vous dit qu'on aille chez Chamoiseau, le nouveau 5 étoiles. C'est un ami. Il y a toujours une place pour moi et les charmantes jeunes femmes.

– Je n'ai pas faim.

Bierstein abandonne quelques secondes son sourire de momie. Il est contrarié. Il n'aime pas qu'on lui résiste. Si Zoya veut obtenir le rôle principal dans la nouvelle série holographique, elle va devoir se montrer plus conciliante.

– Chez Chamoiseau, on ne mange pas par faim, mais par plaisir. Il cuisine à l'ancienne sans intelligence artificielle. Il prend le temps de faire mijoter chaque plat. Comme dit ma mère :

en amour comme en cuisine, ce qui est vite fait est mal fait.

Il profite de l'évocation de sa mère pour passer les bras autour du cou de Zoya.

– Je suis un régime moléculaire, dit Zoya en retirant le bras envahissant de son cou.

– Alors je vous propose un bain de minuit dans ma piscine. Menthe, fraise, anis... Quel goût voulez-vous ? Pour la température, 28° vous conviendra-t-il ou c'est trop chaud ? Un clic et l'eau sera à votre goût.

– Je n'aime pas les piscines. Quand on sort, on a toujours l'impression d'être un légume mal décongelé, grommelle Zoya.

– Un légume mal décongelé ! Mais, vous êtes adorable, dit Bierstein en posant ses lèvres sur celles de Zoya.

La jeune femme tourne la tête à temps.

– Alors, où voulez-vous aller ? demande Bierstein.

– Je ne sais pas.

À ce moment la voiture fait un écart pour éviter un lapin. Bierstein profite de l'élan pour s'écraser sur Zoya et prendre ses seins dans les mains.

Zoya s'éloigne au bout de la voiture en disant :

– Si j'ai une idée. Je vais programmer notre destination. Vous la découvrirez quand nous arriverons.

Bierstein hésite. Il déteste qu'on touche à son joujou de milliardaire. Mais, comme cela semble mettre Zoya dans de bien meilleures dispositions, pourquoi pas la laisser faire.
– Zoya pianote sur le clavier.

– Vous n’avez pas besoin de fournir de longues explications à la voiture. L’IA de la voiture est très performante. Une destination suffit. Elle va analyser votre souhait et emprunter le meilleur chemin.

Après avoir programmé leur parcours, Zoya est plus détendue. Elle lui parle de son métier d’actrice de théâtre. Elle adore jouer dans plusieurs salles en même temps, même s’il y a parfois des dysfonctionnements avec les projections holographiques. Comme les plateaux n’ont pas toujours les mêmes dimensions, les spectateurs ont parfois l’impression qu’elle joue incrustée dans un mur.

Bierstein tente de nouveaux baisers, puis abandonne. Zoya lui réserve une surprise. Le mieux est d’attendre.

– Je commence à avoir une petite idée de notre destination, finit-il par dire. On se dirige vers la mer. Je parie sur les falaises d’Etretat. Très bon choix. Le lever de soleil sur la mer est une des choses que je préfère au monde. Vous les femmes, vous avez une intuition qui m’étonnera toujours.

Zoya secoue la tête. Même si Bierstein est une vieille peau, il ne peut que savoir qu’il faut deux clics pour accéder à la liste de ses passions.

– On s’arrête ? s’étonne Bierstein.

– C’est ma maison. Je vais prendre un pull et je reviens, dit Zoya.

Les femmes étonneront toujours Bierstein. Toutes semblent résister à ses avances, mais finissent par céder. Enfin, rares sont celles qui l’invitent chez elles. Un lever de soleil sur la mer, puis une invitation à partager la couche d’une actrice à la beauté exceptionnelle dans un charmant cottage ! À cet instant, Bierstein déguste une solide tranche de bonheur.

Zoya descend de la voiture et reste sur le trottoir à la regarder s’éloigner. Elle ne regrettera pas ce producteur harceleur.

Le lendemain Bierstein ne fait pas la une de l’actualité pour ses hardélements et agressions sexuels, mais pour son saut fatal en voiture depuis les falaises d’Étretat. Dans tous les médias, l’intelligence artificielle de sa voiture est responsable de l’accident. Pour les uns, elle a mal évalué les distances. Ce genre de problèmes est fréquent même dans les voitures de luxe. D’autres pensent qu’elle a été hackée. Des pirates l’ont trafiquée pour réagir à la dernière déclaration de Bierstein où il affirmait que les femmes jouissent encore plus lorsqu’elles sont violées. Les Al ont si mauvaise presse ces derniers temps, que pas un n’imagine que l’accident puisse être un meurtre.
Focus
sectoriels
Focus 1 -

Transformer
l'éducation

<figure><img src="image_15.png" /></figure>
Notre première fiche concerne l'éducation, dans laquelle l'IA est attendue pour de grands bénéfices potentiels qui s'accompagnent de grandes incertitudes. Notre choix de mettre cette action en première place ne traduit pas une volonté de précipiter cette mise en œuvre ; elle traduit plutôt l'urgence à développer des expérimentations.

## Enseigner à l'heure à l'IA

Dans une société automatisée, se former en permanence sera une nécessité. Dès lors, tous les acteurs de l'enseignement sont appelés à se transformer pour inscrire l'activité d'apprentissage dans une approche « tout au long de la vie » (plus de séparation entre formation initiale et continue, activité de travail et d'apprentissage) et « en réseau » avec de nouveaux espaces (virtuels/ physiques), acteurs et réseaux de sociabilités (assistants virtuels, entreprises, associations, tiers-lieux...).

Dans cette perspective, l'intelligence artificielle ouvre de nouvelles opportunités pour former un grand nombre d'individus de manière personnalisée et adaptative. Il est aujourd'hui difficile pour l'enseignant de prendre en compte la diversité des styles cognitifs et des rythmes d'apprentissage des élèves. En effet, contraints par la nécessité de « boucler » le programme dans le temps imparti, les enseignants personnalisent très peu leurs méthodes d'apprentissage.

Cet état de fait pénalise en premier lieu les élèves en difficulté et les décrocheurs. On peut imaginer que le développement de solutions d'apprentissage personnalisées, fondées sur l'IA, pourront considérablement aider les enseignants à déployer des méthode différenciées.

Celles-ci permettraient de proposer des parcours d'apprentissage mieux adaptés aux profils des élèves en tenant compte de nombreuses variables (rythmes d'apprentissage, appétences propres, environnement social...). Concrètement, les élèves n'auraient plus à travailler en même temps sur les mêmes exercices, mais se verraient offrir la possibilité d'avancer selon leurs dispositions personnelles (intérêts, capacités, ambitions...). La personnalisation doit également permettre d'adapter l'enseignement aux apprenants handicapés, en adaptant de manière importante les supports d'apprentissage. Cela peut même aller jusqu'à des organisations davantage modulaires, c'est-à-dire qui pousse la personnalisation jusqu'à penser l'organisation des cours autour de ce principe. La personnalisation ne doit néanmoins pas conduire, du fait d'une éventuelle suradaptation des exercices, à limiter les efforts individuels nécessaires à tout apprentissage.

S'ils répondent à de nouvelles attentes pédagogiques (affirmation de la diversité des styles cognitifs et des parcours d'apprentissage, leviers d'engagement...), ces services ne peuvent en aucun cas se substituer à l'expérience collective d'apprentissage vécue par exemple en classe, ni être perçus comme neutres d'un point de vue pédagogique. Dans un premier temps, il convient donc de faciliter et de multiplier les expérimentations de l'IA sur l'apprentissage tout en évaluant leurs effets sur les processus éducatifs au sens large et

> L'intelligence artificielle ouvre de nouvelles opportunités pour former un grand nombre d'individus de manière personnalisée et adaptative
notamment leurs impacts pour l'apprenant (impact sur la sérendipité, la capacité à se concentrer, à agir en collectif, à être créatif...) et le dialogue avec l'équipe pédagogique. À terme, l'enjeu pour la puissance publique consiste à soutenir les solutions éducatives basées sur l'IA qui agissent dans l'intérêt de l'apprenant et permettent de développer une complémentarité capacitante avec la machine.

Les expérimentations doivent être accompagnées de protocoles adaptés et surtout d'une évaluation systématique, qui fait trop souvent défaut. Si le développement des expérimentations doit être un axe majeur, les évaluations doivent pouvoir prévenir les désillusions et dégonfler les bulles, qui sont nombreuses dans ce domaine.

Notre mission propose différentes pistes pour anticiper et accompagner la transformation des matières enseignées, des pratiques d'apprentissage et des métiers d'enseignement à l'heure de l'IA.

## Développer une complémentarité capacitante avec l'IA en renforçant la place de la créativité dans l'enseignement

Les évolutions à venir du travail sont telles que la formation ne peut plus se concevoir dans l'optique de préparer à un métier ou une activité connue d'avance. Elles imposent de prendre du recul par rapport à une approche adéquationniste des politiques éducatives. Plus que jamais la mission de l'école est de donner à chacun les capacités pour appréhender les transformations

en cours de notre société et s'adapter dans un monde en constante évolution. Et donc de nous accompagner dans la construction d'une complémentarité capacitante avec les machines. En effet toutes les formes d'interactions ne sont pas souhaitables : obéir aux ordres

d'une intelligence artificielle, perdre le contrôle sur les processus, déléguer les décisions à la machine sont autant de modes de complémentarité, qui, au niveau individuel et collectif, seront susceptibles de créer de la souffrance au travail. Il faut donc arriver à affirmer que toute complémentarité n'est pas souhaitable et qu'une forme de complémentarité capacitante doit être donc développée. Cela implique d'identifier au préalable les compétences nécessaires pour encapaciter les individus dans leurs rapports avec les machines, en s'appuyant sur les experts des sciences de l'apprentissage et sciences cognitives, les équipes pédagogiques, les chercheurs en IA. Cela signifie de donner à tous une culture générale sur l'intelligence artificielle et sur l'algorithique, sur les rôles de producteur et de consommateur et les modes de travail spécifiques au développement de ce type de technologie (mode projet...).

## Les compétences créatives, sociales et situationnelles seront de plus en plus sollicitées

De plus, si l'acquisition des savoirs fondamentaux et des capacités cognitives transversales (compréhension du langage, capacités à résoudre les calculs et des problèmes...) demeure essentielle, les compétences créatives, sociales et situationnelles seront de plus en plus sollicitées. Dans cette perspective, il est proposé de :

- valoriser et diffuser des expérimentations pédagogiques visant à stimuler la créativité des élèves. L'objectif est de donner aux enseignants de nouvelles capacités d'action, dans une logique de volontariat et de valorisation des
collectifs. Il pourrait se décliner par des financements dédiés, la mise à disposition de ressources clés en main, ainsi que la libération de temps de travail pour permettre aux enseignants de documenter et partager leurs pratiques ;

- élaborer des indicateurs de bien-être et de créativité, sans rechercher une précision trop forte qui serait un leurre, et sans que cela soit utilisé à des fins qui puissent être stressantes ou dévalorisantes ;

- tester de nouveaux dispositifs de formation des enseignants, axés sur le développement personnel et la créativité. Les formations continues labellisées par le Ministère pourraient s'étendre à de nouvelles activités et lieux de création de type makerspaces, fablab, tiers-lieux. Des parcours types de formation à des pratiques pédagogiques innovantes pourraient être proposés ;

- mettre à disposition des enseignants de nouveaux outils pour développer des pratiques pédagogiques en faveur de la créativité : tutoriels pour les aider à organiser des activités créatives, ou leur donner accès à une offre standard de sorties éducatives type à l'échelle de la municipalité.

Développer la maîtrise de l'apprenant sur ses données d'apprentissage en lien avec son équipe pédagogique

Les services éducatifs basés sur l'IA fonctionnent grâce à la collecte et l'exploitation des données produites par l'apprenant lors de son apprentissage. En effet, certaines métriques permettent d'encoder des événements d'apprentissage à partir des changements d'activité enregistrés (s'arrêter sur une vidéo, reculer, recommencer) et donc de décrire des trajectoires d'apprentissage (appropriation, application, réemploi, oubli) afin de proposer un parcours personnalisé. Ces analytiques d'apprentissage permettent d'établir un continuum entre des activités diverses (lire un cours, faire un exercice, regarder une vidéo, faire une activité extrascolaire) et de fournir des informations à l'apprenant pour adapter son apprentissage et dialoguer avec l'équipe pédagogique. Plus encore, elles ouvrent la possibilité pour l'apprenant de faire reconnaître certaines compétences acquises en dehors de l'école ( badge, validation par des pairs, certificat de MOOCs...), sous le contrôle d'un tiers de confiance ( équipe pédagogique, établissement scolaire, ministère).

Pour faire émerger une véritable R&D de l'IA en éducation, il est question de faciliter l'exploitation des données d'apprentissage sous le contrôle de l'apprenant et/ou de ses responsables pédagogiques. Pour ce faire, il est nécessaire de cartographier les données pertinentes en matière d'apprentissage pour l'apprenant et son équipe pédagogique (données sur l'emploi du temps, données de description sur l'environnement de la classe, notes et événements d'apprentissage...). Ensuite, il conviendrait d'aménager des voies d'accès et d'enrichissement de ses données respectueuses des droits et des intérêts des apprenants. Dans cette optique, des expérimentations pourraient être lancées afin de tester différents dispositifs :

- expérimer la mise à disposition d'un cloud personnel d'apprentissage visant à outiller le droit de l'apprenant à récupérer ses données et à en contrôler le partage ;

- dans le cadre des activités pédagogiques réalisées en classe, expérimenter avec des enseignants de nouvelles méthodes pour documenter les trajectoires d'apprentissage des élèves en continu (temps de réalisation, difficultés / facilités rencontrées lors d'un exercice...) et rendre
# Focus 1 – Transformer l'éducation

ces informations facilement réutilisables sous la forme d'un portfolio numérique (catégorisation, options de partage avec les autres responsables pédagogiques, etc.).

Ces expérimentations permettraient de documenter les usages autour des données d'apprentissage afin d'identifier les bonnes pratiques, de les formaliser et de les diffuser plus largement. Sur cette base, un dispositif pourrait être mis en place afin de sensibiliser les apprenants, les équipes pédagogiques, les personnels d'établissements à la maîtrise des données d'apprentissage et de leurs usages (guide de bonnes pratiques, élaboration de chartes éthiques...). Ce n'est qu'à cette condition que les données d'apprentissage pourront vraiment servir de supports à une stratégie ou une décision pédagogique partagée.

## Accompagner la transformation des relations sociales d'apprentissage et des métiers de l'enseignement

Le développement de l'intelligence artificielle modifie en profondeur le quotidien des enseignants. D'une part, l'IA peut aider l'enseignant à accomplir plus facilement ou à déléguer certaines actions, et donc à libérer du temps pour le suivi de ses élèves. Certaines IA permettent aux enseignants de se repérer dans les programmes, d'accéder à des ressources ouvertes ou à des bibliothèques de projets, de faciliter la gestion administrative d'une classe ou encore d'apporter une assistance à la correction. D'autre part, l'IA révèle de nouvelles informations sur les parcours d'apprentissage des apprenants, et donc engage les enseignants à réinventer leurs pratiques pédagogiques.

> Les progrès récents en matière d'IA ouvrent des perspectives intéressantes pour repenser les politiques éducatives mises en œuvre par le ministère

Si les métiers de l'enseignement ont toujours fait preuve d'une grande capacité d'adaptation au changement, l'IA soulève de nombreuses inquiétudes sur l'ampleur des transformations pédagogiques à venir. S'il n'est pas question de remplacer les professeurs par des machines, la disponibilité d'informations fines et en temps réel sur l'apprentissage des élèves implique de transformer le design du cours (choix des exercices, gestion des temps collectifs, appariement des élèves) et progressivement de déplacer la valeur de leur enseignement vers la scénarisation de l'expérience d'apprentissage, et l'accompagnement personnalisé des élèves.

Ces nouvelles métriques d'apprentissage sont appelées à devenir des supports du dialogue pédagogique avec l'apprenant et potentiellement ses parents : meilleure compréhension des parcours d'apprentissage et des difficultés rencontrées, discussions sur les méthodes pédagogiques et des objectifs à atteindre, etc. L'enjeu est donc de documenter les pratiques pour s'assurer que l'IA ne soit pas mobilisée dans des logiques de surveillance ou d'optimisation accrue de performance, mais bien pour augmenter le pouvoir d'agir des enseignants dans l'exercice de leur liberté pédagogique et le dialogue avec les apprenants.
# Transformer les politiques éducatives grâce à l'intelligence artificielle

Pour accompagner ces évolutions, il est proposé de :

- privilégier le lancement d'expérimentations sur la base du volontariat, afin d'accompagner les porteurs de projet à tester, documenter et partager leurs retours d'expérience pédagogique ;

- mettre en place un système d'incitation à l'échelle du Ministère (avancement de carrière, bonus...) et/ou dans les réseaux de pair-à-pair (à l'instar des teacher awards au Royaume-Uni).

## Transformer les politiques éducatives grâce à l'intelligence artificielle

Les progrès récents en matière d'IA ouvrent des perspectives intéressantes pour repenser les politiques éducatives mises en œuvre par le ministère. En effet, qu'il s'agisse de la lutte contre le décrochage scolaire, la détection précoce de difficultés (dyslexie par exemple), la réduction des inégalités entre élèves ou l'innovation pédagogique, les solutions d'IA actuellement développées permettent de mieux documenter les phénomènes, identifier les besoins et les opportunités d'action, et apporter des éléments de solution nouveaux. Elles sont donc en mesure de transformer durablement les politiques éducatives. Toutefois, pour y parvenir, il est essentiel de définir clairement les objectifs recherchés au regard des différentes missions du ministère, les moyens à allouer pour les atteindre ainsi que les principes censés encadrer leur mise en œuvre.

Il s'agira, en tout état de cause, de gérer et d'utiliser les données des élèves avec la plus grande prudence.

## Mobiliser le potentiel de l'IA pour lutter contre les décrochages et faciliter l'orientation

### Décrochage et lutte contre les inégalités scolaires

Chaque année, 100 000 jeunes sortent du système scolaire français sans aucun diplôme. Dans le même temps, l'absentéisme demeure un phénomène d'ampleur : 25 % des jeunes de 15 ans déclarent avoir séché¹ certains cours dans les deux semaines précédant les tests PISA² (programme international pour le suivi des acquis des élèves). Alors que le décrochage d'un élève se mesure généralement à l'aune d'un parcours d'apprentissage normalisé et d'objectifs pédagogiques préétablis, l'intelligence artificielle permet au contraire de partir de l'apprenant pour maximiser son potentiel. Elle ouvre ainsi des perspectives intéressantes pour :

- mieux comprendre les facteurs à risque susceptibles de faire basculer un élève dans l'absentéisme ou le décrochage scolaire et intervenir en amont en alertant la communauté éducative et en réorganisant le dispositif humain d'accompagnement (ex. : tutorat de pair-à-pair, remédiation avec l'équipe pédagogique et les parents) ;

- travailler sur différents leviers de motivation et d'engagement de l'apprenant en complément des actions menées en classe.

1. Christian MONSEUR et Ariane BAYE, l'absentéisme scolaire en France, comparativement aux pays de l'OCDE, Contribution publiée par le Cnesco dans le cadre de la conférence de comparaisons internationales sur le décrochage scolaire, 2017.

2. Ensemble d'études menées par l'Organisation de coopération et de développement économiques (OCDE), et visant à mesurer les performances des systèmes éducatifs des pays membres et non membres.
# Focus 1 – Transformer l'éducation

## Orientation scolaire et professionnelle

L'orientation est un enjeu d'autant plus central que les trajectoires professionnelles deviennent moins linéaires sous l'effet des transformations numériques. De nouveaux dispositifs d'aide à l'orientation basés sur l'IA voient le jour pour aider les apprenants et/ou personnes en recherche d'emploi à construire un parcours d'orientation personnalisé à partir des compétences acquises, ses aspirations, de la configuration du marché de l'emploi (offres à pourvoir, filières sous tension, tendances émergentes, profils des employés dans le secteur considéré) et de l'environnement. Ces dispositifs ouvrent des perspectives intéressantes à condition qu'ils s'inscrivent en complément des actions d'accompagnement menées par les professionnels de l'orientation (conseiller d'orientation, équipe pédagogique, agent de Pôle Emploi...). Ils restent, à ce jour, à un stade très expérimental.

De même il importe de veiller à ce que ces dispositifs ne reproduisent aucun biais discriminant et luttent contre toutes formes de déterminisme social. En effet, les ambitions académiques et professionnelles étant souvent très influencées par notre environnement social, économique et culturel, il importe de veiller à ce que ces dispositifs d'orientation ne renforcent pas la dépendance à ces sentiers par une approche purement probabiliste (sous-jacente aux solutions d'IA), mais bien qu'ils dessinent des alternatives en plaçant les apprenants au centre des choix d'orientation.

## Soutenir le développement d'un écosystème Edtech en phase avec les valeurs de notre système éducatif

De nombreuses initiatives visant à améliorer l'apprentissage des élèves par le numérique son en cours de développement. Elles sont portées par des individus, des collectifs et des organisations diverses, tant à l'intérieur des établissements et du ministère (chercheurs, professeurs, agents administratifs, entrepreneurs d'intérêt général, etc.), qu'à l'extérieur (startup edtech, acteurs de l'édition...). Elles manifestent l'émergence d'un écosystème edtech divers à l'échelle nationale et européenne.

Toutefois, les initiatives edtech peinent aujourd'hui à se développer au-delà de leurs cercles initiaux d'utilisateurs. En effet, contrairement à l'enseignement supérieur, le secteur de l'éducation demeure largement national³. Les programmes, contenus et objectifs assignés à l'école diffèrent au sein de l'espace européen. Cette fragmentation ainsi que les différences culturelles et la complexité des procédures d'appel d'offres – et plus largement d'acquisition, même à titre expérimental – constituent une importante barrière à l'entrée pour les porteurs d'innovation edtech, qui choisissent souvent d'investir dans le secteur éditorial des contenus – pourtant dominé par les acteurs de l'édition – ou cibler d'autres marchés en dehors de l'Union Européenne (américain, coréen et chinois).

Ce positionnement stratégique pénalise le développement d'une offre edtech européenne et soulève la question de la soutenabilité de notre système éducatif au moment même où les usages éducatifs se déplacent massivement vers des services hors de l'UE (production de contenus sur Google doc, pages de classe sur Facebook...). Si la situation perdure, on peut craindre que ces

3. Anne Barrère, Bernard Delvaux, La fragmentation des systèmes scolaires nationaux.
# Transformer les politiques éducatives grâce à l'intelligence artificielle

initiatives n'atteignent jamais la taille critique nécessaire pour être viables et soient par conséquent supplantées par les services de concurrents étrangers qui s'inscrivent dans un contexte et une tradition pédagogique différents. Pour soutenir l'émergence d'initiatives edtech en phase avec les valeurs de notre système éducatif, il est donc temps de mettre en place une politique volontariste sur la gouvernance des données et l'acquisition de dispositifs edtech innovants.

## Faciliter l'expérimentation en conditions réelles et l'acquisition de dispositifs edtech par les établissements

De nombreux porteurs de projet ont fait remonter leurs difficultés d'accès aux marchés éducatifs après la phase d'expérimentation. L'absence d'interlocuteurs identifiés, la faible culture numérique des acheteurs publics et le manque de moyens et de compétences font qu'ils ne remplissent pas les conditions des appels d'offres complexes (surtout pour les petites structures) sont autant de limites au déploiement des initiatives edtech dans les établissements. C'est pourquoi il est proposé de :

- débloquer des fonds d'investissement dédiés pour le développement et déploiement d'outils ; edtech ;

- créer des bacs à sable réunissant des établissements volontaires et des porteurs de projet ; edtech pour des collaborations expérimentales pouvant déboucher sur des procédures de marché public simplifiées (s'inspirer du Partenariat d'innovation Caisse des Dépôts et Consignations – ministère de l'Éducation nationale) ;

- mettre en place des dispositifs d'assistance à la rédaction d'appels d'offres pour les marchés publics à destination des petites structures (ex. : écoles primaires, collèges, lycées) ;

- sensibiliser les acheteurs publics à l'achat de services éducatifs innovants ;

- négocier des voies d'accès et de partage de données d'apprentissage détenues par les acteurs numériques qui captent des usages éducatifs (Google avec Youtube et Google Drive, Facebook, LinkedIn, Microsoft, Amazon et Kindle...).

## Développer des procédures d'audit des outils edtech

Accompagner le développement d'outils edtech implique de vérifier que les choix technologiques des solutions IA utilisés dans un contexte pédagogique sont bien conformes aux objectifs de politiques éducatives fixés par le Ministère. L'enjeu consiste donc à documenter les usages éducatifs qui se déployent à partir de ces systèmes, voire à déployer des procédures de contrôle à posteriori.

Le déploiement des technologies d'IA dans le domaine soulève de nombreuses considérations éthiques, liées d'une part à la relative opacité de ces technologies et d'autre part aux possibles abus d'usage. Comme toute technologie reposant sur l'apprentissage machine, les systèmes autonomes développés par les acteurs de l'edtech demeurent difficilement explicables et donc justifiables. Il est donc essentiel de promouvoir les solutions les plus transparentes et explicables.
# Focus 1 – Transformer l'éducation

Concrètement il s'agit d'inciter les acteurs du marché à développer des systèmes en mesure d'informer les apprenants, parents et enseignants dans des termes intelligibles, sur la logique du traitement opéré (étapes clés du raisonnement), ses implications et potentiels effets ; afin de ménager des espaces de questionnement/contestation limitant les effets prescriptifs des recommandations/décisions émises. En matière d'orientation, cela s'avère d'autant plus nécessaire que les systèmes autonomes sont susceptibles de contenir des biais discriminants à toutes étapes ; des bases de données utilisées, aux traitements opérés par les algorithmes jusqu'aux décisions prises. Il est donc nécessaire de rechercher et combattre activement ces biais afin de garantir l'équité (fairness) de ces systèmes.

## Accompagner la transformation des métiers au sein du Ministère

Ces profondes transformations doivent être accompagnées par la puissance publique et en premier lieu par le ministère de l'Éducation nationale et le ministère de l'Enseignement supérieur, de la Recherche et de l'innovation. Des structures internes dédiées devraient avoir pour missions :

- de faciliter la concrétisation de projets innovants au sein de l'Éducation nationale et de l'enseignement supérieur ;

- d'animer une veille et une réflexion prospective sur les sujets tels que l'IA et d'acculturer à leur enjeux pour l'Éducation ;

- de permettre la rencontre et les échanges entre tous les acteurs impliqués : enseignants, personnels du Ministère, équipes pédagogiques, chercheurs, entrepreneurs et associations de la société civile, etc.
<figure><img src="image_16.png" /></figure>
Focus 2 –

La santé
à l'heure de l'IA

<figure><img src="image_17.png" /></figure>
# Focus 2 – La santé à l’heure de l’IA

L’intelligence artificielle en santé ouvre des perspectives très prometteuses pour améliorer la qualité des soins au bénéfice du patient et réduire leur coût – à travers une prise en charge plus personnalisée et prédictive – mais également leur sécurité – grâce à un appui renforcé à la décision médicale et une meilleure traçabilité. Elle peut également contribuer à améliorer l’accès aux soins des citoyens, grâce à des dispositifs de prédiagnostic médical ou d’aide à l’orientation dans le parcours de soin.

La vitesse d'évolution et de démocratisation des usages liés à l'intelligence artificielle en santé exige des pouvoirs publics une adaptation rapide sous peine d'assister impuissant à la reformulation complète des enjeux de santé publique et de pratiques médicales. En effet, une surréglementation maintien-drait à court-terme les équilibres existants, mais exposerait à une perte de maîtrise sur les évolutions désirables de notre modèle de santé.

Près de vingt ans après la création de la base nationale des données médico-administratives (SNIIRAM), la France doit à nouveau faire figure de pionnière en investissant massivement dans les capacités de recherche et d'innovation en matière d'IA appliquée à la santé. Ces capacités reposent à la fois sur la mise en place de systèmes adaptés aux usages liés à l'IA visant à platefor-miser le domaine, des procédures d'accès aux données plus fluides et un cadre pour expérimenter « en conditions réelles » les solutions émergentes. L'appropriation de l'IA en santé dépend également de notre capacité à accompagner les patients et professionnels de santé dans la transformation des pratiques médicales, ainsi qu'à structurer et animer en continu un débat national sur les usages éthiques de l'IA en santé.

## L'IA au service de la médecine

Le développement de l'intelligence artificielle stimule l'innovation en santé, à la fois thérapeutique et pharmacologique. En effet, l'IA ouvre de nouvelles opportunités pour innover « à pharmacopée constante » en construisant un diagnostic et une stratégie thérapeutique plus adaptés au besoin du patient, son environnement et son mode de vie. Elle permet en effet de

mieux détecter les symptômes et de faire un suivi prédictif du déploiement d'une maladie, d'exploiter les résultats d'analyse (imagerie médicale...), de soumettre de nouvelles hypothèses de diagnostic et de formuler des propositions thérapeutiques plus personnalisées. Elles peuvent aussi améliorer la détection des effets secondaires d'un médicament lors des phases d'essais cliniques, et donc in fine avoir un impact positif sur l'innovation pharmacologique (meilleur ciblage thérapeutique, accélération et sécurisation de la mise des médicaments sur le marché, etc.). En matière de recherche médicale, les technologies d'IA facilitent l'exploration des publications scientifiques et l'analyse des résultats de recherches fondamentales grâce à la fouille automatique de données.

> Le développement de l'intelligence artificielle stimule l'innovation en santé, à la fois thérapeutique et pharmacologique

Les avancées de l'IA en santé dépendent de nos capacités à croiser des quantités massives de données pour mettre en évidence des corrélations
# Focus 2 – La santé à l’heure de l’IA

qui ensuite font l'objet de recherches médicales. La quantité des données disponibles et la qualité de leur annotation sont donc des éléments clés pour faire avancer la recherche sur les applications de l'IA en santé. Il est donc essentiel que notre système de santé se dote des moyens de captation, de structuration et d'annotation des données produites dans le cadre du suivi du patient (données cliniques, données biomédicales, données de bien-être, données environnementales...).

Des résultats ont déjà été obtenus à partir de l'analyse des données du système national des données de santé. On peut citer les travaux parus en février 2018 dans *The Lancet Public health* montrant que la consommation excessive d'alcool est associée à un triplement du risque de démences en général et un doublement du risque de développer la maladie d'Alzheimer, ce qui en ferait un facteur de risque modifiable majeur pour ces malades. Ce résultat a été obtenu à partir de données exhaustives des hospitalisations en France entre 2008 et 2013. De nombreux résultats permettent d'illustrer en quoi l'IA pourra être à l'origine de bénéfices importants pour la recherche, la pratique médical, le système de santé national, les personnes malades et l'ensemble des citoyens. Qu'il s'agisse d'avancées en matière de diagnostic, de choix de stratégies thérapeutique, de personnalisation de traitements, de connaissance et d'observation de maladies ou de l'évaluation de l'efficacité des actions de santé publique, ces résultats pourront conduire à d'importantes innovations sociales ou contribuer au développement économique.

## Le suivi contextualisé et en temps réel du patient, un préalable pour une médecine personnalisée et prédictive

L'intelligence artificielle ouvre la voie d'une médecine où le suivi en temps réel du patient et des traces qu'il produit (suivi de son état physiologique, description de ses symptômes, interactions avec son environnement...) est essentiel pour entraîner et améliorer en continu la fiabilité des techniques d'IA utilisées à des fins médicales. De plus en plus, le recueil des symptômes ne se fait

plus seulement lors de la consultation du patient avec son médecin, mais à travers un ensemble de capteurs intégrés à l'individu (objets de quantified self, apps de santé sur le smartphone,

> La portabilité et la possibilité pour l'individu de communiquer des « données pertinentes pour la santé » doivent être repensées à l'heure de l'IA

véritable « laboratoire d'analyses médicales distribuées ») ou à son environnement (objets de mesure de la pollution, du stress sonore) qui permettent d'agréger une grande quantité de données puis de les analyser de manière automatisée. L'exploitation de ces informations permet de retracer une image précise du patient (Deep Patient), de prédire l'apparition et/ou l'évolution d'une maladie, ainsi que d'adapter sa prise en charge par le réseau de soin.

La portabilité et la possibilité pour l'individu de communiquer des « données pertinentes pour la santé » doivent être repensées à l'heure de l'IA. L'enjeu est d'impliquer, d'encapaciter les individus dans la production de ces informations tout en veillant à limiter les risques d'intrusion dans la vie privée et l'augmentation. En effet, l'émergence d'une médecine prédictive implique de facto qu'on surveille et analyse en permanence notre état physiologique à la
recherche d'un pré-symptôme ou d'une prédisposition à une maladie. Il est
donc indispensable de penser des dispositifs humains et techniques adaptés
pour accompagner les patients dans la collecte, l'annotation, le décryptage
de ces informations. Il est donc proposé de :

- lancer un nouveau chantier spécifique accompagnant le Dossier Médical Partagé (DMP) de production d'informations et de données de santé utilisables à des fins d'IA pour améliorer les soins et leur coordination, mais également participer à des projets de recherche et d'innovation d'IA en santé. Articulé avec le DMP ce dernier serait élargi comme un espace sécurisé où les individus pourraient stocker leurs données, d'en ajouter d'autres eux-mêmes, d'autoriser leur partage à d'autres acteurs (médecins, chercheurs, membres de l'entourage, etc.) et de les récupérer pour en créer d'autres usages ;

- déployer des outils, techniques d'automatisation de la codification des informations produites par les patients en données pertinentes pour le suivi médical. Ce point devrait être accompagné d'un travail de normalisation de l'information médicale ;

- sensibiliser les patients à la maîtrise de leurs données (data literacy appliqué en santé).

Le Dossier Médical Partagé (DMP)

Le dossier médical contient de multiples comptes-rendus médicaux apportant notamment des informations cliniques et des données biologiques, d'imagerie de différentes sources, d'anatomo-pathologie, de génétique-génomique. Ces informations, éparses, se retrouvent dans des systèmes peu communicants qui ne respectent que rarement les normes d'interopérabilité. Récemment recentré sur un objectif de coordination entre professionnels de santé (cf. le décret du 4 juillet 2016), le Dossier Médical Partagé est désormais géré par la CNAMTS selon 4 principes : 1. La création du DMP sera à la main des patients ; 2. Il sera alimenté par les données de remboursements de soins de l'Assurance Maladie ; 3. Ses informations seront accessibles de façon rapide et simple depuis les logiciels des professionnels de santé ; 4. Les données seront transmises par les différents professionnels de santé, via une solution de messagerie sécurisée existante, MSSanté. Contrairement au Blue Button - tel qu'il existe aux États-Unis ou tel qu'il pourrait exister en France - il met surtout à disposition des documents et non des données, de manière centralisée, et il n'est pas très ouvert à des applications tierces, ce qui limite les usages et les croisements possibles.

Une réorganisation des pratiques médicales autour du patient

Le développement de l'IA est appelé à transformer en profondeur les pratiques
des professionnels de santé : aide au diagnostic, appui à la construction
d'une thérapie, suivi évolutif du patient... S'il n'est pas question de remplacer
les médecins par la machine, l'enjeu est bien d'organiser des interactions
vertueuses entre l'expertise humaine et les apports de l'IA dans l'exercice
quotidien de la médecine.

L'appropriation des technologies médicales basées sur l'IA dans les pratiques de médecine va entraîner une réorganisation des professions médicales. Les
Focus 2 – La santé à l’heure de l’IA

récentes avancées de l'IA laissent à penser que les professions médicales les plus impactées seront les spécialités basées sur l'analyse de signaux et d'imagerie médicale (radiologie, dermatologie...). En revanche, les compétences d'orientation, de coordination, d'explication et d'accompagnement du patient se révéleront probablement plus résilientes. À long terme, ces changements pourraient amener des changements dans la répartition des rôles entre les différentes professions médicales, et à la formulation de nouveaux duos (avec des outils d'IA).

Les professionnels de santé vont jouer un rôle fondamental dans l'expérimentation et l'entraînement des IA à des fins médicales dans des conditions réelles. Les données cliniques renseignées par les médecins sont des sources d'apprentissage permanentes des IA. Il est donc nécessaire que les professionnels de santé soient sensibilisés et formés pour encoder ces informations de

manière à les rendre lisibles et réutilisables par la machine. Le développement du chantier sur la production de données de santé et du Dossier Médical Partagé et de la télémédecine peuvent accélérer le déploiement de ces usages.

Les professionnels de santé
vont jouer un rôle fondamental
dans l'expérimentation
et l'entraînement des IA
à des fins médicales dans
des conditions réelles

La production des informations cliniques est en mesure d'améliorer la traçabilité des décisions, notamment les plus complexes, ainsi que la détermination des responsabilités. En effet, les étapes du diagnostic et du traitement pourront être davantage tracées, argumentées et décrites. Avant d'envisager le déploiement massif des programmes d'intelligence artificielle dans un contexte médical, il sera nécessaire de clarifier le régime de responsabilité médicale en cas d'erreur.

Partant de ces éléments, il est proposé de :

- transformer les voies d'accès aux études de médecine : d'une part pour diversifier les profils et intégrer davantage d'étudiants spécialisés dans le domaine de l'informatique et de l'IA (création de double cursus, reconnaissance d'équivalence), et d'autre part pour mettre un terme à la logique de compétition tout au long du cursus universitaire qui s'avère contre-productive pour développer une coordination transdisciplinaire et structure les postures d'autorité médecins - patients ;

- former les professionnels de santé aux usages de l'intelligence artificielle, de l'IOT et du big data en santé, ainsi qu'aux compétences de coordination, d'empathie et du rapport avec les patients (ex. : expérience virtuelle pour mieux voir, comprendre la vie des patients). Cette transformation de la formation initiale pourrait avoir lieu dans la réforme en cours du premier et deuxième cycle de médecine entreprise par la Conférence des Doyens des Universités de médecine. Elle pourrait donner lieu à des modifications de la DPF ;

- clarifier la responsabilité médicale des professionnels de santé en cas d'utilisation de technologies d'intelligence artificielle : à l'heure actuelle, la responsabilité médicale d'un médecin peut être engagée en raison d'une faute ou d'un manquement déontologique (généralement conçu
comme un manquement à des obligations d'information et au droit du
patient à consentir de manière éclairée à l'acte médical). En l'absence de
la reconnaissance d'une personnalité juridique autonome pour l'algorithme
et le robot, il serait envisageable de tenir le médecin pour responsable
de l'utilisation des programmes, algorithmes et systèmes d'intelligence
artificielle, sauf défaut de construction de la machine.

Fluidifier les expérimentations en temps réel avec les patients et professionnels de santé

Afin de bénéficier des avancées de l'IA en médecin, il est important de faciliter les expérimentations de technologie IA en santé en temps réel et au plus près des usagers, en créant les conditions réglementaires et organisationnelles nécessaires (« un bac à sable »). Ce bac à sable aurait pour objectif de faciliter les démarches d'expérimentation, de conception itérative et à terme de déploiement des technologies d'IA en santé avec les usagers (hôpitaux, professionnels de santé, patients, etc.). En effet, l'expérimentation « en condition réelle » est indispensable pour tester l'efficacité du système et l'améliorer en se fondant sur les retours d'expérience et les données produites en situation par les usagers. Elle permet non seulement d'améliorer la pertinence du système et son adéquation avec les besoins de terrain, mais aussi de faciliter son appropriation et à terme de sécuriser sa mise sur le marché, notamment grâce à la capacité de déploiement offerte par la plateforme. Il faudra ainsi :

L'intelligence artificielle peut être
mobilisée par la puissance publique
pour conduire des politiques de
prévention sanitaire prédictives,
plus ciblées et individualisées

- permettre les expérimentations en conditions réelles pour les technologies d'IA en santé, au sein des CHU et des lieux d'expérimentations locaux en santé voire jusqu'aux professionnels ;

- s'appuyer sur les organisations et communautés de professionnels de santé pour identifier des partenaires (institutionnels ou particuliers) désireux de participer à des programmes d'expérimentation d'IA en santé.

L'IA au service des politiques de santé

Le déploiement de l'intelligence artificielle nous invite à réfléchir sur les évolutions futures de notre système de santé. L'automatisation va entraîner une recomposition des missions et des interactions des acteurs engagés dans la conduite des politiques de santé. Il s'agit donc pour la puissance publique d'anticiper cette réorganisation du tissu sanitaire, et de trouver de nouveaux modes d'intervention plus agile en s'appuyant sur l'exploitation automatique des données.

Mieux anticiper et cibler les politiques de santé

L'intelligence artificielle peut être mobilisée par la puissance publique pour conduire des politiques de prévention sanitaire prédictives, plus ciblées et individualisées. Par exemple en matière de prévention du suicide, l'Agence de santé publique du Canada (ASPC) s'est associée à Advanced Symbolics<fnref n="1" />,

<footnote n="1">1. https://www.innovant.fr/2018/01/11/intelligence-artificielle-prevenir-suicides/</footnote>
# Focus 2 – La santé à l’heure de l’IA

une startup spécialisée en IA, pour anticiper les risques suicidaires à travers l’analyse automatique des médias sociaux. En novembre 2017, Facebook a annoncé, le déploiement d’un outil similaire sur son propre réseau afin d’alerter les organisations d’aide en cas de risque suicidaire. L’IA peut également aider les pouvoirs publics à mieux gérer et anticiper les demandes de soin sur le territoire. Pour les hôpitaux, le recours à l’IA peut permettre de mieux prévoir des situations d’affluence aux urgences ou taux de réhospitalisation, et de faciliter la gestion des flux hospitaliers. En cas de crise sanitaire, l’IA peut permettre de modéliser plus finement la propagation d’une pathologie et faciliter la coordination des équipes de soin sur place.

En somme, l'intelligence artificielle peut renforcer l'efficience de notre système de santé à travers une analyse prédictive de la demande de soin, la construction d'outils de pilotage économique et médical plus fins et plus réactifs. Cependant, ce potentiel d'optimisation des processus ne peut se réaliser qu'à deux conditions : d'une part, accompagner la transformation des métiers et faciliter la coordination des acteurs de santé sur le territoire, et d'autre part mettre en place une véritable gouvernance de la donnée.

## Assurer une veille de la donnée de santé

L'un des rôles de la puissance publique à l'heure de l'IA est d'orchestrer le « monitoring » de l'ensemble du système sanitaire, c'est-à-dire d'identifier les données susceptibles d'être utilisées et d'organiser les modalités concrètes de leur collecte et de leur exploitation à des fins de santé. À l'heure actuelle, le pilotage des politiques de données de santé est partagé entre plusieurs entités : l'Institut national des données de santé, l'ASIP santé, l'Administrateur général des données et la mission Etalab, etc. Cette gouvernance gagnerait à être clarifiée afin d'énoncer des lignes directrices fortes et de proposer une offre de services lisible autour des données.

## Mettre en place une plateforme pour le système de santé adaptée aux usages liés à l'IA

La France a été l'un des premiers pays à se doter d'une base nationale de données médico-administratives qui centralise les données de description de parcours des soins utiles au remboursement. Elle couvre 99 % de la population française et est composée de 20 milliards de lignes de prestation articulées avec la base de données du PMSI (programme de médicalisation des systèmes d'information) et les causes médicales de décès. Ce système national des données de santé (SNDS) est unique au monde. Il est précieux pour la recherche et permet notamment des études : 1. De populations traitées en vie réelle, 2. Sur l'usage de dispositifs médicaux, 3. De pharmacovigilance ; 4. D'essais thérapeutiques « virtuels » évitant les coûts élevés d'études cliniques ; 5. La détection de « signaux faibles » dans la population générale, 6. D'identifier les populations éligibles à des essais thérapeutiques ou interventionnels. Cependant, celui-ci a été conçu historiquement à des fins administratives, et n'est pas adapté au développement de l'IA dans le secteur de la santé :

- tout d'abord, les possibilités de traitement des données médico-administratives du SNDS sont limitées par l'obligation de non-réidentification. Or les capacités d'entraînement des systèmes techniques automatisés
dépendent fortement de la qualité des données et de la capacité à suivre
le patient dans son parcours de soin ;

- l'accès aux données du SNDS est conditionné à une procédure d'évaluation d'intérêt public ex ante, au cours de laquelle le demandeur est obligé de décrire les finalités de son projet et les méthodes pour y parvenir. Or la recherche en matière d'IA nécessite des capacités d'exploration et d'expérimentation qui ne peuvent pas toujours être décrites complètement par leurs concepteurs en amont ;

- l'architecture technique (matérielle, logicielle, et base de données) du SNDS n'a pas été conçue pour des finalités de recherche, d'innovation ou de mise en place de nouvelles applications. Par exemple, les données de production devront recevoir de nombreux retraitements pour révêler non plus des opérations de remboursement mais des suivis longitudinaux de patients.

Pour développer le potentiel de l'IA en santé, la France doit se doter de
nouvelles infrastructures d'information sur un modèle de plateforme, et
pour cela :

- créer une plateforme d'accès et de mutualisation des données pertinentes pour la recherche et l'innovation en santé (regroupant dans un premier temps les données médico-administratives, puis les données génomiques, cliniques, hospitalières...), ayant vocation à se substituer à terme au socle du SNDS. À l'image de ce qui est mis en place pour le SNDS, l'État serait chargé d'organiser l'accès au système selon un certain nombre de critères comme la nature de l'organisme, la finalité du projet et sa nature (recherche, commercialisation d'un service etc.). Il faut cependant indiquer qu'un changement d'échelle en terme de moyens humains et financiers est nécessaire pour organiser efficacement cet accès et permettre la valorisation d'un tel système et le mettre au service de l'innovation. L'INSERM, qui est en particulier chargé d'assurer la mise à disposition effective des données pour le monde de la recherche, doit être armé pour tenir ce rôle de guichet et faire face à une demande qui ne peut qu'exploser ;

- mettre en place des procédures d'accès fluides à cette plateforme pour développer de nouvelles approches s'appuyant sur l'IA – tout en maîtrisant finement l'accès aux informations contenues dans le système à cette fin. Un guichet unique pourrait être créé pour collecter les demandes d'expérimentation qui prendront la forme d'un dossier unique. Le délai d'instruction du dossier devrait être garanti sous trois mois et assorti d'un principe de « silence vaut acceptation ». En cas de désaccord entre les autorités de régulation et les acteurs économiques sur la décision d'accès au bac à sable, la possibilité d'un recours à un médiateur indépendant pourrait être garantie ;

- développer une offre lisible d'accès aux bases de données hospitalières (Hospital as a Platform) : les hôpitaux héritent, disposent ou se constituent de bases de données moléculaires et d'annotation cliniques. Il serait bénéfique d'inciter les hôpitaux à organiser des « data science bowl » ou challenges autour des jeux de données (cf. National Cancer Institute), des projets collaboratifs (cf. Projet « national patient-centered clinical research network » – PCORnet aux États-Unis). Certains services (tels que l'entraînement des IA sur les données des bases hospitalières,) pourraient éventuellement être monétisés ;
# Focus 2 – La santé à l’heure de l’IA

- étendre les données recueillies par la plateforme au-delà des données médico-administratives : données issues du plan France Médecine génomique, données issues des grandes cohortes nationales, données cliniques et hospitalières. Il faudra assurer l’interopérabilité des données et des systèmes (des hôpitaux jusqu’au SNDS), chantier qui pourra être articulé avec le développement d’une architecture technique du Dossier Médical Partagé compatible avec les usages de recherche et d’innovation.

## Vers des cohortes nationales, numériques et dynamiques ?

Les cohortes françaises sont des moyens de production de données, de différentes natures, relatives à différentes personnes, valorisées, en termes de valeur d'usage, scientifiquement, économiquement, voire parfois cliniquement ; à condition qu'elles soient transformables en informations le permettant. Toute valorisation, en termes de valeur d'échange, des données produites semble proscrite, plus particulièrement lorsqu'il s'agit de données génétiques.

Les cohortes développent ainsi des réseaux de partage d'échantillons biologiques, de données et/ou d'informations de différentes natures entre différentes personnes et structures principales. Ces personnes sont des participants et/ou des patients pouvant produire et/ou partager des données d'intérêts en santé ou autres, des médecins permettant d'intégrer les participants dans le réseau et des chercheurs qui vont produire d'autres données à partir des échantillons, les agréger à d'autres et les transformer en informations valorisables scientifiquement, économiquement ou cliniquement.

La finalité de recherche de cette cohorte pourrait être explicitement une étude du génome humain croisée à des questionnaires multithématiques évolutifs dans le temps, et cela exclusivement en ligne. La loi stipule qu'une finalité de recherche doit être déterminé à l'avance, elle ne dit pas précisément qu'elle doit être limitée dans le temps et à une ou quelques thématiques. Sous condition d'un examen approfondi, celle-ci pourrait recevable aujourd'hui, et devrait être largement utilisée. Car, par nature, ces questionnaires pourraient porter sur un nombre quasiment infini de caractères phénotypiques, allant du cancer ou du diabète à la tolérance à la caféine. L'auto-renouvèlement scientifique deviendrait possible, et avec lui une production et une valorisation scientifique de données, en particulier génétiques, significativement plus importante.

Une telle finalité de recherche nécessiterait un nouveau type de consentement : « le consentement éclairé électronique dynamique ». En effet, pour pouvoir faire évoluer les thématiques dans le temps, la meilleure solution serait de numériser son support et de dynamiser son contenu, ceci permettrait aussi de pouvoir regrouper momentanément différentes cohortes pour atteindre un nombre critique pour cette nouvelle recherche. L'intérêt pour les participants serait de pouvoir choisir, où et quand ils voudraient, via leurs réponses aux questionnaires, les recherches auxquels ils souhaiteraient participer et de suivre, quasiment en temps réel, les avancés et les résultats. L'intérêt pour la recherche serait de rendre plus actifs les participants, et d'augmenter ainsi significativement la production et la valorisation scientifique de données, en particulier génétiques.

Source : extrait du rapport Vogt-Stoeklé
## Réguler l'innovation en santé à l'heure de l'IA

Les autorités publiques jouent un rôle majeur de régulation et de certificati-
ion de l'innovation en santé. Cependant les procédures actuelles semblent
inappropriées à l'heure de l'IA en santé. En effet, elles sont fondées sur le
principe selon lequel un dispositif, produit ou service conçu à fins médicales
puisse être testé cliniquement à un instant et commercialisé sous cette forme
immuable. Or les technologies d'intelligence artificielle sont par nature des
processus automatiques apprenants et donc extrêmement évolutifs. Dès lors
se pose la question de leur certification dynamique pour sécuriser les usages
qui en sont faits. Il est proposé :

- d'expérimenter de nouvelles procédures de qualification et certification des algorithmes ayant vocation à être utilisés dans un contexte médical, à l'instar du programme FDA Pre-cert lancé en juillet 2017 par la Food and Drug Administration aux États-Unis ;

- de transformer le cadre de réflexion et de débat sur la bioéthique afin d'intégrer les enjeux liés à l'IA en santé et de développer des modes de consultation citoyens plus réguliers et adaptés aux rythmes de l'innovation.

### Le programme FDA Pre-cert (États-unis)

Ce programme pilote vise à développer et tester des méthodes de pré-certification pour des logiciels software ayant vocation à être utilisés à des fins médicales avec neuf entreprises volontaires (dont Apple, Fitbit, Samsung...). Il permet de concentrer les inspections en vue de l'approbation d'un programme, d'un algorithme ou d'un système sur les développeurs plutôt que sur le produit lui-même. L'objectif est de permettre aux entreprises d'optimiser leurs recherches et réalisations techniques et scientifiques, sans avoir à solliciter une nouvelle approbation des autorités à chaque fois que celles-ci évoluent. À travers le programme Pre-cert, la FDA souhaite ainsi identifier les paramètres clés et les indicateurs de performance pour la pré-certification.

Source : https://www.fda.gov/NewsEvents/Newsroom/PressAnnouncements/ucm577480.ht

La régulation de l'intelligence artificielle en santé est un enjeu de souveraineté nationale dans un contexte de course technologique internationale. En effet, un environnement réglementaire trop contraignant aurait pour avantage de conserver à court-terme un certain statu-quo, mais reviendrait à abandonner aux États ayant un cadre plus souple la capacité de construire une philosophie propre sur les usages de l'intelligence artificielle en santé. Il est donc important que la France soit force de proposition à l'échelle internationale, et s'investisse pleinement dans les négociations sur les futurs standards technologiques.

> La régulation de l'intelligence artificielle en santé est un enjeu de souveraineté nationale dans un contexte de course technologique internationale
Focus 3 –

Faire de la France un leader de l'agriculture augmentée

<figure><img src="image_18.png" /></figure>
# Focus 3 – Faire de la France un leader de l'agriculture augmentée

À l'heure du réchauffement climatique, l'agriculture a, plus que jamais, besoin de sources nouvelles d'intelligence pour continuer à nourrir l'humanité tout en préservant l'environnement. Elle devra être productive en tenant compte des impératifs de préservation de la biodiversité. Moteur de l'économie et de l'amélioration du niveau de vie, l'agriculture est donc appelée à faire face à des défis de plus en plus importants, alors même que nous devons garantir au plus grand nombre une alimentation saine, abordable et respectueuse de l'environnement. Les États généraux de l'alimentation ont montré la sensibilité des consommateurs et des citoyens à ces questions. Ces défis se posent à l'échelle planétaire, quels que soient les niveaux de développement économique.

> **Il y a urgence pour ce secteur à se saisir des opportunités de l'intelligence intelligente**

L'intelligence artificielle peut constituer une ressource précieuse pour y faire face. Elle peut par exemple aider à l'amélioration du bilan énergétique et à la diminution de l'utilisation d'intrants chimiques, via un meilleur suivi des rendements, un meilleur suivi des troupeaux, une amélioration de l'épidémiotic surveillance, à partir des données des plants, des machines agricoles, des parcelles, de la météo, de l'agriculteur...

En France, l'agriculture représente 5 % des emplois, 1,42 million de salariés et de non-salariés. Le tissu agricole en France est en outre constitué d'un grand nombre de TPE-PME. On compte plus de 490 000 fermes en France, et encore beaucoup de petites exploitations¹.

Il y a urgence pour ce secteur à se saisir des opportunités de l'intelligence intelligente, qui ne peut se penser que de manière intégrée à l'ensemble de l'industrie agroalimentaire. L'IA, qui nécessite un volume important de données, peut permettre des innovations sur l'ensemble de la chaîne de valeur – production, transformation, distribution, information du consommateur : il est crucial de mobiliser les données agricoles publiques et privées, ainsi que l'ensemble des données de l'ensemble de la chaîne agroalimentaire, avant de considérer une ouverture encore plus grande dans un second temps. L'agriculture peut en effet avoir d'autres débouchés et être en lien avec d'autres industries. Il est important de préserver les possibilités d'une ouverture du débat au-delà du seul secteur traditionnel de l'agriculture et de l'alimentation.

1. Source Insee, Tableau de l'économie française 2016.

## À court terme : préserver nos capacités stratégiques et soutenir l'innovation agricole

### Favoriser le dialogue entre les agriculteurs et l'industrie agroalimentaire pour faire émerger de nouveaux modèles de valeur

La sensibilisation des acteurs de l'agriculture aux potentiels et aux enjeux stratégiques que recèle l'IA demeure insuffisante. Une vision réductrice des potentiels des technologies numériques – cantonnés aux questions de traçabilité alimentaire et sanitaire ou d'optimisation – est parfois rencontrée chez les agriculteurs et les coopératives agricoles².

Si l'agroécologie suppose de faire de l'agriculteur un acteur de la lutte contre le réchauffement climatique et la dégradation de l'environnement, elle doit également, de fait, l'intégrer dans le pan aval de la chaîne de valeur : la

2. Voir à ce titre le rapport de Renaissance numérique, La valeur des données en agriculture, février 2018.
# Focus 3 – Faire de la France un leader de l'agriculture augmentée

transformation et la distribution alimentaire. L'objectif consiste à faire levier sur la donnée et les nouveaux modèles d'affaires qu'elle permet, pour faire émerger des champions français et européens de l'Agri-Tech. Dans le domaine de la distribution, il s'agit notamment de mettre en place des stratégies intégrées d'utilisation des données sur l'ensemble des filières agroalimentaires, et de promouvoir activement l'objectif de rééquilibrage entre les prix de production et les prix de vente. Cette démarche doit ainsi permettre de mettre les agriculteurs dans la boucle des applications de certification et traçabilité des produits alimentaires, et de mieux les associer au bénéfice fourni au consommateur. À ce titre, les recommandations ayant trait à l'innovation ouverte et l'économie agricole développées dans le rapport du ministère de l'Agriculture, Agriculture innovation 2025, apparaissent particulièrement pertinentes. La mise en place de Living labs territoriaux de l'agroécologie et de la bioéconomie semble par exemple tout indiquée pour soutenir les innovations en agriculture, en lien avec l'industrie agroalimentaire.

Cette démarche doit s'accompagner d'un soutien conséquent aux startups, notamment pour leur permettre de transformer les diverses contraintes réglementaires et prérequis sanitaires en avantage compétitif. Il pourrait en particulier être envisagé de créer des programmes d'accompagnement des relations aux administrations, et des incubateurs dédiés.

## Développer les soutiens à la recherche pour le développement de la robotique et des capteurs agricoles

Au-delà des innovations en économie agricole, il s'agit de préserver notre capacité à collecter des données. Cela passe par le maintien de capacités en termes de robotique et de capteurs agricoles. Il est donc crucial de préserver d'importantes capacités de recherche dans ce domaine, en lien avec la recherche robotique plus générique. La France pourrait également encourager une initiative européenne sur le sujet, au regard de l'importante implication de cet échelon dans le secteur agricole. Il existe de nombreuses compétences en ce domaine dans d'autres pays d'Europe également, à l'instar de l'Italie et de l'Allemagne. Il s'agirait de les fédérer, afin de faire émerger des réseaux européens pour les capteurs autonomes et des alternatives au machinisme connecté des grands équipementiers. Cette démarche doit s'accompagner d'une politique concertée au niveau européen pour concevoir les dispositifs permettant d'évaluer ces systèmes robotisés, à l'instar de ce qui a été initié par le projet ERA-NET ICT-AGRI (ICT and robotics for sustainable agriculture), en impliquant la recherche et l'industrie.

## Garantir la couverture réseau nécessaire à une agriculture connectée

Comme l'ont souligné de nombreux rapports, l'inégale couverture des territoires peut pénaliser certaines exploitations agricoles. Au-delà de l'obstacle majeur que cela peut représenter pour les agriculteurs eux-mêmes, ce manque de couverture constitue un frein au développement d'un marché domestique pour d'éventuelles solutions françaises de robotiques et d'IA agricoles. Il apparaît donc urgent de garantir une couverture du réseau homogène en haut et très haut débit, les exploitations agricoles pourraient être considérées comme prioritaires dans l'atteinte des objectifs du plan France très haut débit. Cette couverture pourrait ainsi avoir un objectif plus rapproché que 2022.
## Intensifier les efforts sur la standardisation et l'interopérabilité

Un dialogue de l'ensemble de la filière doit s'appuyer sur des données exploitables et lisibles par tous. Cela implique la mise en place de standards de données ouverts afin de favoriser une interopérabilité maximale, sur l'ensemble des chaînes de valeur. L'abaissement des barrières techniques, juridiques ou commerciales est notamment crucial au regard de la structure du secteur agricole, essentiellement composé de PME-TPE. Une dynamique partenariale d'ampleur pour l'interopérabilité des données apparaît en effet indispensable pour constituer des jeux suffisamment conséquents pour permettre la conception de solutions d'IA de tous types. L'utilisation de larges bases de données est par exemple nécessaire pour la conception d'IA capables, par voie de reconnaissance image, d'apprendre à reconnaître des signes de maladies et ravageurs sur des cultures.

Les coopératives et instituts techniques, qui disposent d'importants volumes de données, gagneraient à initier cette démarche d'ouverture, en se rapprochant des startups innovantes en pointe sur les sujets clés pour l'agriculture. Elles pourraient également faciliter le déploiement d'un maximum de recherches, expérimentations et développements associant des exploitations agricoles. Il serait en particulier dommageable que le potentiel français d'innovation agricole soit tari par des stratégies défensives, visant à prévenir d'éventuelles appropriations monopolistiques de données libérées par des concurrents internationaux.

L'ambition des plateformes de mutualisation des données ne devrait, par exemple, pas se limiter à quelques domaines éprouvés, et inclure aussi des expérimentation hors du périmètre habituel des acteurs historiques du secteur. Le rapprochement des instituts techniques, syndicats et coopératives avec des jeunes entreprises innovantes et l'inclusion de jeux de données publiques pourrait par exemple nourrir des participations plus décisives aux divers consortiums internationaux qui définissent déjà des ontologies et standards. De tels efforts gagneraient le cas échéant à être accompagnés par des tiers indépendants et les instances de certifications elles-mêmes.

## Outiller les démarches collectives de négociations sur les données des exploitations

Une vigilance particulière devrait être accordée au respect des droits individuels dont disposent les agriculteurs sur leurs données personnelles éventuellement collectées et traitées par des tiers. En outre, un accompagnement spécifique pourrait être prévu pour développer les démarches collectives de négociation des termes contractuels relatifs à la possibilité pour les exploitants d'utiliser eux-mêmes les données non personnelles prélevées par des tiers mais générées par leur activité.

Il y a globalement urgence à ce que la profession dans sa diversité se saisisse de ces enjeux, afin d'éviter la sédimentation du scénario qui s'esquisse aujourd'hui, dans lequel de grands équipementiers, en quasi-totalité non-français, définissent leurs propres clauses et standards et les imposent aux exploitants qui en dépendent. À ce titre, l'initiative conduite par l'Amerikan Farm Bureau – qui a fait adopter une charte portant sur les termes clés d'exploitation des données entre exploitants et tiers – peut fournir un exemple inspirant<fnref n="3" />.

<footnote n="3">3. Voir leur initiative Privacy and Security Principles for Farm Data.</footnote>