caia-125-bd-ok.pdf — page 68

66
LE MAGAZINE DES INGÉNIEURS DE L’ARMEMENT - N°125
ARMES AUTONOMES
DES ENJEUX ÉTHIQUES
ÉTHIQUE, NORMES ET RÉGLEMENTATION
Par Michel Gostiaux, ICA
J’ai été nommé membre du comité d’éthique de la Défense mis en place par la ministre 
des Armées en janvier 2020 pour apporter au ministère des avis relatifs aux enjeux 
éthiques des nouvelles technologies sur le métier des armes. Retour sur deux années 
passionnantes et une aventure qui se poursuit.
Le Comité d’éthique de la défense
Le comité d’éthique de la Défense entretient une réflexion sur les enjeux 
éthiques liés à l’évolution du métier des armes et à l’émergence de nou­
velles technologies dans le domaine de la défense, et apporte au minis­
tère des avis sur les sujets d’étude qui lui sont confiés dans ce domaine.
Il est constitué de dix-huit membres aux profils variés, issus pour partie 
du ministère des Armées, pour partie de la société civile.
Deux avis ont été rendus respectivement en décembre 2020 sur le sol­
dat augmenté et en avril 2021 sur l’intégration de l’autonomie dans les 
systèmes d’armes létaux.
https://www.defense.gouv.fr/portail/enjeux2/le-comite-d-ethique-de-la-defense
Le comité d’éthique de la Défense 
ne s’est pas penché spécifiquement 
sur la question des drones, objet du 
dossier de ce numéro – il précise 
d’ailleurs explicitement que les sys­
tèmes téléopérés par un équipage 
n’entrent pas dans le périmètre de 
l’avis sur l’intégration de l’autonomie 
dans les systèmes d’armes létaux. 
Cependant, s’agissant de systèmes 
complexes, avec une part crois­
sante de l’autonomie sur certaines 
fonctions, et des perspectives nou­
velles dans le domaine (essaims…), 
la question des enjeux éthiques de 
l’autonomie fait sens et l’avis rendu 
en 2021 par le comité peut apporter 
un éclairage en la matière.
Mon propos s’articulera donc en 
deux parties, un bref rappel des 
points saillants de cet avis, et une 
réflexion personnelle sur la place 
d’un IA au sein de ce comité.
L’avis sur l’intégration de l’au­
tonomie dans les systèmes 
d’armes létaux
Sans m’attarder sur les recomman­
dations de cet avis, qui parle par 
lui-même, il me semble utile d’en 
rappeler la trame et quelques élé­
ments clés au lecteur, qui j’espère 
lui donneront envie de le lire.
En premier lieu, face aux SALA, sys­
tèmes d’armes létaux pleinement 
autonomes, des systèmes d’armes 
auxquels la France a déclaré renon­
cer mais que des acteurs pourraient 
chercher à développer, le comité 
introduit comme objet principal de 
sa réflexion la notion de SALIA, sys­
tèmes d’armes létaux intégrant de 
l’autonomie, dont l’emploi peut être 
nécessaire et légitime à certaines 
conditions. 
En effet, si l’introduction d’avancées 
technologiques conduisant à un ac­
croissement des capacités d’auto­
nomie décisionnelle de la machine 
dans des fonctions de plus en plus 
haut niveau semble inéluctable pour 
préserver l’efficacité opérationnelle 
face à l’évolution des menaces, le 
comité identifie bien que l’usage 
de ces technologies comporte des 
risques, en particulier : les risques 
liés à l’apprentissage machine  ; 
les risques d’altération des méca­
nismes de contrôle de l’humain ; les 
risques liés à l’emploi de ces  sys­
tèmes qui nécessitent une grande 
rigueur sur la définition de leur cadre 
d’emploi. 
Face à ces risques, le comité réaf­
firme le principe pour lui incontour­
nable de l’engagement en toutes 
circonstances de la responsabilité 
humaine, qui ne peut être déléguée 
aux machines. Elle concerne les ac­
teurs de la conception du système 
d’armes dès le stade de l’expres­
sion du besoin, ceux qui le réa­
lisent, décident de l’employer puis 
l’utilisent effectivement.  Cela n’a 
rien de neuf, mais la notion d’« au­
tonomie » accroit la sensibilité de ce 
sujet  ; d’autant que l’identification 
de la chaîne de responsabilité n’est 
pas simple. 
Le comité souligne d’ailleurs que les 
mots tels qu’« autonomie » ou « in­
telligence  » sont empreints d’am­
biguïté lorsqu’ils sont appliqués à 
des machines et que les termes 
relevant du champ lexical de l’an­
thropomorphisme sont trompeurs 
lorsqu’ils sont utilisés pour décrire 
des objets, des armes ou des sys­
tèmes d’armes. Il recommande la 
plus grande vigilance dans l’emploi 
de ces termes, qu’il faut systémati­
quement contextualiser.
« LA RESPONSABILITÉ 
HUMAINE… NE PEUT 
ÊTRE DÉLÉGUÉE AUX 
MACHINES  »