Maquette-IA-DEFENSE_2025_VDEF_WEB.pdf — page 37

37
2.	
Une alternative pragmatique : le produit de 
confiance
L’IA ne doit donc pas être perçue comme une entité 
autonome à laquelle on délègue des décisions, mais bien 
comme un outil d’analyse et un amplificateur de capacités 
humaines. A l’humain la confiance et à l’IA la performance.
Le produit doit permettre cette juste articulation, 
en intégrant des points de contrôle et d’analyse clés 
aux moments opportuns de l’expérience utilisateur. 
Il doit également être simple d’usage, y compris en 
environnement dégradé. Pour concevoir ce produit de 
confiance, il convient de se prémunir de différents écueils.
Le premier serait de limiter l’intervention humaine au 
rôle de ‘pousse-bouton’. L’exemple de l’utilisation du 
logiciel de ciblage Lavender par Tsahal à Gaza est à ce 
titre édifiant. Des erreurs factuelles, comme l’absence 
des cibles aux emplacements indiqués ont été ignorées 
lors des décisions de frappe prises par les opérateurs, 
alors même que l’outil d’intégration de données leur 
permettait de tester et de confronter les analyses[3]
Plusieurs facteurs expliquent cette dérive : une 
surcharge d’informations à traiter en un temps 
réduit, une confiance excessive dans la machine 
et un tempo opérationnel soutenu qui dissuade 
l’opérateur de confronter l’analyse fournie à son 
expertise. Mais ces erreurs relèvent également d’un 
défaut de conception du logiciel, qui devrait intégrer 
des mécanismes intégrant des étapes de validation 
critique, même dans un tempo opérationnel soutenu.
Le deuxième serait de ne pas permettre aux opérateurs 
d’en reprendre immédiatement son contrôle, comme 
ce fut le cas des pilotes des Boeing 737 MAX, dont deux 
crashs successifs sont advenus en 2018 et en 2019. 
Le système de stabilisation intégré, le MCAS, pouvait 
s’activer en réponse à un seul capteur, sans en avertir 
les pilotes ni leur permettre de reprendre la main sur 
la trajectoire[4]. Le problème ne résidait pas dans la 
technologie d’assistance au pilotage en soi, mais dans 
une conception logicielle qui privait l’humain d’un 
droit de regard et d’une capacité d’action immédiate.
Enfin, le troisième écueil serait un produit qui 
impose une validation humaine à chaque micro-
bloc d’IA. Une supervision excessive, imposant 
un contrôle systématique à chaque étape du 
raisonnement, même les plus minimes, deviendrait 
contre-productive et rendrait l’avantage stratégique 
constitué par l’IA caduque. Le temps de traitement 
exploserait, l’IA perdrait alors tout intérêt opérationnel. 
 
La solution réside donc dans un produit judicieusement 
conçu pour l’utilisateur, où la performance des briques 
logicielles ne court-circuite pas les capacités humaines 
mais les amplifie. Un produit de confiance doit intégrer 
des points de contrôle aux moments clés de l’expérience 
utilisateur, sans alourdir inutilement le processus. 
Surtout, il doit être d’une simplicité d’usage telle que 
ces validations restent intuitives et facilement réalisables, 
même dans des environnements dégradés. C’est 
bien sur l’interaction entre l’opérateur et la machine 
que porte la confiance, non sur l’IA en elle-même.
C’est pourquoi nous plaidons pour un produit de 
confiance : un système conçu pour intégrer l’IA comme 
un amplificateur de capacités humaines, non comme 
un substitut à la réflexion et à la responsabilité. Plutôt 
que de poursuivre la quête d’une IA infaillible, l’Europe 
et la France doivent investir dans de bons produits de 
confiance, où l’IA est un levier stratégique maîtrisé.