20180719-NP-CICDE-CEIA-3.0.2-IA-et-SYST.AUT-2018.pdf — page 31

31 
 
Chapitre 5 
Réflexions prospectives et recommandations 
 
Section I – Accompagnement du développement de l’automatisation 
501. 
Les systèmes et fonctions automatisés associés aux technologies d’intelligence artificielle 
seront au cœur de la transformation des armées et de la conduite des opérations des 
décennies à venir. Ces systèmes, fonctions et technologies vont non seulement irriguer 
l’ensemble des fonctions opérationnelles, techniques et de soutien des armées, mais pourraient 
également en constituer l’ossature à plus long terme. 
502. 
Au regard des développements en cours, principalement dans les domaines civils, des 
transports et de la médecine, les actions nécessaires à la construction de la confiance sociétale 
vont être ou ont déjà été lancées (débats sociétaux, sensibilisation, normalisation, 
enseignement et formation, réflexion éthique…). 
503. 
Quand la faillibilité22 de l’IA sera acceptée et quantifiée notamment à travers un démarche de 
certification des algorithmes les plus critiques, il conviendra de s’assurer que des accidents ne 
puissent pas remettre en cause les technologies utilisées. Pour ce faire, les responsabilités en 
cas d’accident devront être clairement identifiables et un processus de correction des 
anomalies devra être mis en place. 
504. 
Pour les armées, l’ampleur et la diversité des travaux sur l’intelligence artificielle font qu’il est 
impossible d’en cerner toutes les applications ou les limites. Seule une analyse au cas par cas, 
prenant en compte le droit et les critères d’efficience et d’éthique des armées, permettra 
d’accompagner l’automatisation des futures applications de défense, en distinguant ce qui 
relève de la décision d’emploi et ce qui relève de la technologie. 
505. 
Afin d’accompagner le déploiement de l’automatisation à base d’IA des systèmes, il est 
recommandé entre autres de : 
a. 
évaluer23 les systèmes à base d’IA sur la base des fonctions à réaliser conformément 
aux spécifications et autoriser le déploiement lorsque l’on fait la démonstration qu’ils 
font aussi bien, voire significativement mieux qu’un humain dans des circonstances 
similaires ; 
b. 
prévoir dans les systèmes un enregistrement des données et des méthodes de 
traçage des algorithmes permettant, en cas d’accident, d’en comprendre les causes et 
d’apporter les mesures correctives nécessaires ; 
c. 
prévoir un système de reprise d’urgence du contrôle ou de désactivation (y compris de 
neutralisation) ; 
d. 
s’appuyer dans les développements sur un corpus normatif technique et 
méthodologique, en matière d’IA, garantissant que les algorithmes d’intelligence 
artificielle, leurs bases d’apprentissage et de test, ont une qualité suffisante au regard 
des systèmes et des fonctions qu’ils soutiennent ; 
                                                 
 
22 Faillibilité : principe selon lequel la perfection et le risque zéro n’existent pas. 
23 Certains recommandent le test de Turing étendu à l’ensemble du fonctionnement du système automatisé ; le test de Turing 
consiste en une proposition de test d’intelligence artificielle, fondée sur la faculté d'une machine à imiter la conversation 
humaine. Décrit par Alan Turing en 1950 dans sa publication « Computing machinery and intelligence », ce test consiste à 
mettre un humain en confrontation verbale à l’aveugle avec un ordinateur et un autre humain. Cette approche est 
controversée dans la recherche en IA : avoir le même niveau de conversation qu’un humain ne veut pas dire que l’IA 
raisonne intelligemment…