# Biais d'automatisation

Le biais d'automatisation est la tendance des humains à privilégier les suggestions provenant de systèmes automatisés d’aide à la décision, et à ignorer les informations contradictoires provenant d'autres sources, même lorsque ces dernières sont correctes. Ce biais trouve son origine dans la psychologie sociale, où il a été observé que les individus attribuent des évaluations plus positives aux décisions prises par des humains qu'à celles provenant d'objets neutres. Un biais similaire a été identifié dans les interactions entre humains et systèmes automatisés, où les décisions automatisées sont souvent perçues de manière plus favorable qu'une évaluation neutre$^,$.
Ce problème est de plus en plus préoccupant, notamment dans des environnements critiques comme les unités de soins intensifs, les centrales nucléaires et les cockpits d’avions, où des systèmes automatisés sont largement utilisés pour limiter les erreurs humaines. Les erreurs liées au biais d'automatisation se produisent souvent lorsque les décisions reposent sur des systèmes automatisés, et que l'humain se trouve en position d'observateur avec la possibilité de prendre des décisions. Les exemples varient des situations urgentes, comme le pilotage d’un avion en pilotage automatique, à des tâches plus banales, telles que l’utilisation de programmes de correction orthographique.

## Sous-utilisation et mauvaise utilisation

La confiance dans un système automatisé peut conduire à différentes formes d’interactions, notamment son utilisation correcte, sa mauvaise utilisation, sa sous-utilisation ou son abus.
La mauvaise utilisation survient lorsque l'utilisateur s'appuie excessivement sur l'automatisation, au point de ne plus surveiller son fonctionnement, ou lorsque le système est utilisé dans des situations où il ne devrait pas l'être. À l'inverse, la sous-utilisation implique que l'utilisateur ignore ou désactive l'automatisation, même lorsque son utilisation serait bénéfique. Le biais d'automatisation est directement lié à la mauvaise utilisation, souvent due à une confiance excessive ou à l'application d’heuristiques.

## Erreurs de commission et d'omission

Le biais d’automatisation peut se manifester par deux types d’erreurs :
* Erreurs de commission : elles se produisent lorsque l'utilisateur suit aveuglément une directive automatisée, même si d'autres informations contredisent cette directive.
* Erreurs d'omission : elles se produisent lorsque le système automatisé échoue à signaler un problème et que l'utilisateur ne s'en rend pas compte en raison d'une vigilance réduite ou d'une confiance excessive.

## Facteurs contribuant au biais d'automatisation

Plusieurs facteurs favorisent le biais d'automatisation, notamment :
* Hypothèse du « radin cognitif » : la tendance humaine à privilégier les approches demandant le moins d’effort cognitif.
* Confiance excessive dans les systèmes automatisés : les humains supposent souvent que les systèmes automatisés possèdent des capacités analytiques supérieures aux leurs.
* Réduction de l'effort personnel : lorsqu'une tâche est partagée avec un système automatisé, les humains ont tendance à réduire leur niveau d’effort.

## Formation et sensibilisation

Des formations spécifiques pour réduire le biais d’automatisation ont montré des résultats mitigés : elles peuvent diminuer les erreurs de commission, mais ont un impact limité sur les erreurs d’omission. L’entraînement peut inclure des exercices de responsabilisation, où les utilisateurs sont rendus responsables de leurs décisions, ou des explications sur les processus de raisonnement des systèmes automatisés.

## Complaisance induite par l’automatisation

Le concept de biais d'automatisation est souvent perçu comme se chevauchant avec celui de la complaisance induite par l’automatisation, également appelée plus simplement complaisance vis-à-vis de l’automatisation. Tout comme le biais d'automatisation, cette complaisance découle d’une mauvaise utilisation de l’automatisation et implique des problèmes liés à l’attention. Alors que le biais d'automatisation reflète une tendance à faire trop confiance aux systèmes d’aide à la décision, la complaisance vis-à-vis de l’automatisation se manifeste par une surveillance insuffisante des résultats automatisés, souvent parce que ces derniers sont perçus comme fiables.
« Bien que les concepts de complaisance et de biais d’automatisation aient été discutés séparément comme s’ils étaient indépendants, » écrit un expert, « ils partagent plusieurs points communs, suggérant qu’ils reflètent différents aspects d’un même type de mauvaise utilisation de l’automatisation. » Il a ainsi été proposé de regrouper ces deux concepts en une seule notion intégrative, car ils pourraient représenter différentes manifestations de phénomènes induits par l’automatisation qui se chevauchent largement.
La complaisance induite par l’automatisation a été définie comme une « capacité réduite à détecter les dysfonctionnements du système automatisé par rapport à une situation de contrôle manuel ». Le système de rapports sur la sécurité aérienne (ASRS) de la NASA définit cette complaisance comme une « autosatisfaction pouvant conduire à un manque de vigilance fondé sur une hypothèse injustifiée de bon fonctionnement du système ».

### Facteurs contributifs et manifestations

Des études ont montré que cette complaisance survient le plus souvent lorsque les opérateurs jonglent entre des tâches manuelles et automatisées. La perception qu’ont les opérateurs de la fiabilité d’un système automatisé influence leur manière d’interagir avec celui-ci. Par exemple, Endsley (2017) décrit comment une « grande fiabilité perçue » des systèmes automatisés peut inciter les utilisateurs à se désengager de leur surveillance active, augmentant ainsi les erreurs de suivi, réduisant leur conscience situationnelle et entravant leur capacité à reprendre le contrôle du système en cas de dépassement de ses limites.
Cette complaisance peut être réduite lorsque la fiabilité de l’automatisation varie dans le temps, mais elle n’est pas atténuée par l’expérience ou la pratique. Tant les participants experts qu’inexpérimentés peuvent présenter un biais d’automatisation ainsi qu’une complaisance vis-à-vis de l’automatisation. Ces problèmes ne peuvent généralement pas être surmontés par un simple entraînement.

### Exemples et impacts

Le terme « complaisance vis-à-vis de l’automatisation » a d'abord été utilisé dans le domaine de l’aviation pour décrire des incidents où des pilotes, des contrôleurs aériens ou d'autres professionnels n’ont pas vérifié correctement leurs systèmes, supposant à tort que tout fonctionnait normalement alors qu’un accident se préparait. La complaisance des opérateurs, qu’elle soit liée ou non à l’automatisation, est depuis longtemps reconnue comme un facteur majeur dans les accidents aériens.
En général, la perception de fiabilité peut entraîner une forme d'« ironie de l'automatisation », où une automatisation accrue diminue la charge cognitive mais augmente les risques d'erreurs de surveillance. À l'inverse, une automatisation faible peut accroître la charge cognitive tout en réduisant les risques d’erreurs de suivi.
Un exemple notable est le phénomène de « mort par GPS » où des individus se sont retrouvés en danger ou sont décédés en suivant aveuglément des instructions incorrectes fournies par des systèmes GPS.

## Solutions

Le biais et la complaisance induite par l'automatisation peuvent être atténués en :
* Redessinant les systèmes automatisés pour réduire la complexité de l’information ou pour présenter les données comme un soutien, plutôt qu’une directive autoritaire ;
* Entraînant les utilisateurs à reconnaître les erreurs potentielles, par exemple en introduisant délibérément des erreurs dans les systèmes d'entraînement, ce qui s’avère plus efficace que de simplement avertir que des erreurs peuvent survenir.
Cependant, un excès de vérifications ou de remise en question des systèmes automatisés peut augmenter la pression temporelle et la complexité des tâches, réduisant ainsi les avantages de l'automatisation. Les systèmes de soutien automatisés doivent donc trouver un équilibre entre les effets positifs et négatifs, plutôt que de chercher à éliminer complètement ces derniers.

## Conclusion

Malgré les recherches approfondies sur le sujet, des critiques subsistent quant à la définition précise du biais d'automatisation et au manque de systématisation dans le signalement des incidents qui en découlent. Une meilleure compréhension des mécanismes sous-jacents et des moyens d'atténuer ce biais reste essentielle, en particulier dans les environnements où des décisions critiques sont prises.