20180719-NP-CICDE-CEIA-3.0.2-IA-et-SYST.AUT-2018.pdf — page 18

18 
(2) 
les risques de leurrage de l’intelligence artificielle existent, tout comme 
l’homme peut également être leurré. 
209. 
On notera que ces risques ne sont spécifiques ni à l’IA ni aux systèmes automatisés et que la 
place de l’homme, nécessairement formé et entraîné, dans l’emploi de ces systèmes doit être 
clairement identifiée. 
Section III – Enjeux politiques et industriels (souveraineté et maîtrise 
industrielle) 
210. 
Certains pays (États-Unis, Chine, etc.) ont des feuilles de route extrêmement volontaristes en 
matière de systèmes automatisés et d’intelligence artificielle dans les domaines civil et militaire. 
Le caractère dual de ces technologies associé aux perspectives d’applications en fait un enjeu 
industriel majeur. Le volontarisme de la Corée du Sud et du Japon, par exemple, est lié à la 
puissance de leur industrie robotique civile. 
211. 
Compte tenu des avantages opérationnels majeurs anticipés pour ces systèmes, la prochaine 
décennie verra le développement des systèmes automatisés et des technologies 
d’intelligence artificielle dans la plupart des pays, alliés ou non, ainsi qu’au sein des 
organisations non étatiques (terroristes), et ce, sans possibilité d’interdiction légale et sans 
alternative crédible. Les technologies de l’automatisme, de l’intelligence artificielle et de 
l’autonomisation sont intrinsèquement duales, proliférantes et pourront difficilement, 
contrairement au nucléaire, faire l’objet d’un contrôle ou d’une limitation quant à leur utilisation. 
212. 
Dans tous les domaines militaires et opérationnels, commandement inclus, le déploiement de 
systèmes automatisés est perçu comme inéluctable. Les robots, matériels ou immatériels, 
constituent d’ailleurs l’une des bases du 3ème « offset »14 américain après le nucléaire des 
années 40 et l’informatique des années 70. Leur importance est considérée comme 
déterminante par nos Alliés. 
213. 
La maîtrise industrielle et l’emploi opérationnel de systèmes ou fonctions automatisés pourront 
se révéler des éléments de crédibilité politique, de souveraineté et d’efficience de l’action 
militaire, et donc des éléments d’influence et de prévention des conflits. 
214. 
Les systèmes automatisés constituent un vecteur de souveraineté et nécessitent d’être traités, 
industriellement, en tant que tels. 
Section IV – Enjeux juridiques et sociétaux 
215. 
De façon générale, les enjeux juridiques et sociétaux des systèmes automatisés sont liés à la 
construction de la confiance dans l’emploi de l’intelligence artificielle.  
216. 
La question de la personnalité juridique qui pourrait être accordée aux « robots » fait débat. Elle 
pose plus précisément le sujet de la responsabilité de l’utilisation de ce type de systèmes, 
surtout si les évolutions techniques aboutissent à une forme d’automatisation proche de 
l’autonomie. Cette question juridique centrale pour d’éventuels emplois opérationnels devra être 
étudiée et replacée dans un contexte international (Union Européenne, ONU). 
217. 
Les enjeux juridiques concernent le respect du droit et la place et la responsabilité de l’homme, 
de la spécification à l’utilisation, des futurs systèmes automatisés. 
a. 
à ce jour, il est cependant peu probable qu’une faute lourde dans l’emploi ou dans la 
conception d’un système ne fasse pas l’objet d’une enquête et d’une recherche de 
responsabilité ; 
b. 
au regard de la problématique de responsabilité, une future doctrine devra clarifier les 
points suivants : 
                                                 
 
14 Avantage opérationnel perdurant sur plusieurs décennies.