# Exploitation du mouvement du robot pour améliorer la conscience de situation dans la collaboration humain-robot

Benjamin Camblor

► To cite this version:

Benjamin Camblor. Exploitation du mouvement du robot pour améliorer la conscience de situation dans la collaboration humain-robot. Robotique [cs.RO]. Université de Bordeaux, 2024. Français.
NNT: 2024BORD0069 . tel-04573182

HAL Id: tel-04573182

https://theses.hal.science/tel-04573182

Submitted on 13 May 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
THÈSE PRÉSENTÉE

POUR OBTENIR LE GRADE DE

DOCTEUR
DE L'UNIVERSITÉ DE BORDEAUX

École doctorale sciences physiques et de l'ingénieur
Automatique, Productique, Signal et Image, Ingénierie Cognitique

Par Benjamin Camblor

Exploitation du mouvement du robot pour améliorer la
conscience de la situation dans la collaboration humain-robot

Sous la direction de : **Jean-Marc SALOTTI et David DANey**

Soutenue le 18 avril 2024

Membres du jury :

M. Mickael CAUSSE
Mme. Anne SPALANZANI
Mme. Hélène SAUZEON
Mme. Aurélie CLODIC
Mme. Aurélie LANDRY
M. Jean-Marc SALOTTI
M. David DANey

Enseignant-chercheur
Professeure des universités
Professeure des universités
Ingénieur de recherche
Maîtresse de conférences
Professeur des universités
Directeur de Recherche

ISAE Toulouse
Université de Grenoble
Université de Bordeaux
LAAS Toulouse
Université de Grenoble
Bordeaux INP
Inria

Rapporteur
Rapportrice
Examinatrice
Examinatrice
Examinatrice
Directeur
Co-directeur
<figure><img src="image_2.png" /></figure>
Remerciements

Ces trois ans et demi de thèse ont pu être rudes par moments. Heureusement, j'ai eu la
chance d'être très bien entouré tant professionnellement que dans ma vie personnelle par de
nombreuses personnes. Je tiens donc à tous les remercier pour leur présence.

Tout d'abord, je souhaite adresser mes remerciements aux membres du jury. Merci à Anne Spalanzani et Mickaël Causse d'avoir accepté d'être les rapporteurs de cette thèse. Je remercie également Hélène Sauzéon, Aurélie Clodic et Aurélie Landry d'avoir accepté d'être examinatrices de mes travaux de thèse. Je vous remercie pour vos retours et vos suggestions qui permettent d'améliorer la qualité de ce manuscrit.

Ensuite, je tiens à remercier mes deux directeurs de thèse sans qui ce travail n'aurait pas pu être possible. Merci Jean-Marc et David d'avoir tout fait pour que je puisse faire cette thèse avec vous. Je vous suis très reconnaissant d'avoir toujours été à l'écoute de mes idées et de m'avoir laissé une grande autonomie dans mes travaux de thèse. Vos remarques, vos questions et vos suggestions ont toujours été très enrichissantes. Je vous remercie aussi pour toutes ces discussions plus légères et rigolotes que nous avions en réunions. J'espère sincèrement que nous aurons de nouvelles occasions de travailler ensemble par la suite.

Je souhaite également adresser mes remerciements à toute l'équipe Auctus, et en particulier aux permanents. Merci d'avoir vous aussi été à l'écoute et pour l'ensemble de vos conseils. Merci Margot pour les discussions scientifiques et d'avenir post-doctoral que nous avons partagées. Merci Vincent pour toutes les discussions que l'on a eues, scientifiques ou non, tes blagues et tous tes jeux de mots. Merci Nasser pour tes conseils et ton aide quand je me perdais dans les statistiques. Grand merci à Lucas d'avoir permis à mes expériences d'être mise en place et de fonctionner. Je remercie également les assistantes de recherches de l'équipe, Chrystel et Nathalie.

Je veux aussi remercier tous les doctorants, post-doctorants et ingénieurs de l'équipe qui ont fait, ou font encore partie de l'équipe Auctus. Merci Charles de m'avoir fait rencontrer l'équipe et d'avoir supervisé mon stage de master. Merci aux premiers doctorants de l'équipe Jessica, Nicolas et Antun pour vos conseils lors de la rédaction de cette thèse. Merci Nassim pour les discussions café et l'expérimentation que nous avons mis en place ensemble. Merci Erwann de nous avoir fait rire chaque semaine avec tes problèmes de voiture. Merci au rire d'Erwann de l'accompagner partout où il va, et ce, en toute discrétion. Merci à Loic, Elio et Ahmed, pour les discussions scientifiques ou non, je vous souhaite bon courage pour la suite de vos travaux de thèses, ou d'ingénierie ! Merci Vincent F. pour ton passage dans l'équipe, tu nous auras bien fait rire dans le bureau. Merci Alexis pour tous tes montages photo et pour tous ces moments drôles qui sont arrivés dans le bureau. Pour finir, merci Gautier pour toutes les discussions que nous avons eues pendant les (nombreuses) pauses. Je ne comprends toujours pas tout ce que tu me racontes quand tu me parles des polytopes, mais c'est toujours passionnant de t'écouter parler de maths. Je remercie également les stagiaires qui ont participé à mes travaux de recherches. Merci Lucas et Cléo d'avoir travaillé sur le premier protocole expérimental avec moi. Merci Axel de m'avoir assisté pendant les passations expérimentales du second protocole.

Merci à Florian qui a été mon coloc pendant plus de la moitié de cette thèse. Merci d'être là depuis la L2 et d'être toujours aussi drôle. Merci pour tous ces bons moments à l'appart qui ont contribués à rendre cette thèse moins éprouvante. Bon courage pour la suite de ta thèse, j'ai hâte de la lire et d'assister à ta soutenance. Je profite de ces remerciements pour te rappeler que tu
m'as jamais mis de perfect à Mario Kart. Je remercie aussi Houssam, que je vois sans doute trop peu, mais qui a toujours été là lui aussi. On a un record à battre tous les trois. Merci à Sam et Jeanne, le S, pour tout votre soutien et pour notre amour commun du vin, des confessions et des discussions. Vous savez déjà tous les deux que je vous aime énormément, malgré votre lubie des soirées déguisées. Merci Isa et Anaïs, pour beaucoup de choses, notamment de m'avoir ouvert la porte de votre appart et prêter deux fauteuils ou un canapé pour dormir. Merci vous aussi d'être là depuis tout ce temps, j'espère que cela continuera dans les prochaines années. Je vous souhaite bon courage pour la fin de vos thèses à vous aussi. Merci Maëva, la parisienne de l'équipe, de repasser voir tes copains de Bordeaux de temps en temps. Ça me fait toujours très plaisir de te voir pour faire la fête. Comment parler de fête sans remercier les Fils. Merci Sam (encore), Louis (le nouveau), PAL (le crypté), Flo (le plus drôle de la bande), Antho (le rageux) et Lambert (la drama). Merci pour tout ces fous rires et ces soirées depuis MIASHS. J'espère que nous pourrons continuer à passer de tels moments ensemble plus tard. Je tiens aussi à remercier Nathan, Jérôme et Simon que je vois beaucoup trop peu mais qui sont toujours là depuis presque 10 ans.

Je remercie également ma famille de m'avoir toujours soutenu et encouragé pendant ces longues années d'études. Merci à mes parents pour leur amour, mes frères, Rémy et Frédéric ainsi que leurs conjointes Claudia et Lydia. Merci à ma nièce Naïa et mon neveu Luca. Merci à ma grand-mère qui ne comprend pas tout à fait ce que je fais, mais qui, je sais, est fière de moi. J'adresse également une pensée à mes grands-pères et ma grand-mère.

Pour finir, je remercie Léa pour sa présence à mes côtés. Ma pudeur m'oblige à ne pas trop m'étaler, mais merci de m'avoir écouté parler et râler très souvent. Merci de m'avoir fait rire et de m'avoir changé les idées à chaque fois que j'en avais besoin. Tu m'as toujours poussé à me donner à fond et à aller au bout de ce travail. J'espère que tu garderas ton grain de folie pendant encore longtemps. Merci d'être toi et de m'avoir accompagné pendant une longue partie de cette thèse, je t'aime.
# Exploitation du mouvement du robot pour améliorer la conscience de la situation dans la collaboration humain-robot

**Résumé** : Un enjeu de l’usine du futur est de préserver la santé et le confort des opérateurs tout en améliorant leur productivité. La robotique collaborative est une solution qui permet, par une assistance appropriée, de focaliser l’opérateur sur les tâches dont il a l’expertise, tout en délégant les charges et contraintes à un robot collaboratif. On parle ici de combiner les qualités des robots industriels (fortes capacités physiques, répétabilité, force, endurance, vitesse, etc) et celles des humains (variabilité, réactions face à l’incertitude).

Ce travail de recherche s'inscrit dans le cadre du projet ANR Pacbot (ANR-20-CE10-0005). L'objectif général du projet est de concevoir un système cobotique semi-autonome pour l'assistance, capable de choisir, de synchroniser et de coordonner des tâches réparties entre l'humain et le robot en s'adaptant à différents types de variabilité des gestes professionnels, tout en participant des situations dangereuses. Ce système a notamment pour vocation d'ordonnancer les tâches en minimisant le risque d'erreurs humaines. L'étude du facteur humain dans les milieux industriels a montré que la majorité des accidents étaient due à des erreurs humaines ou de prises de décisions. Ces dernières seraient, dans la majorité des cas, causées par une mauvaise conscience de situation des opérateurs.

Cette thèse propose d'utiliser le mouvement du robot comme un moyen de communication qui soutient la conscience de la situation d'un humain dans la collaboration humain-robot. Un des points importants de notre contribution est que ces mouvements, que nous appelons *mouvements de signalisation*, peuvent être générés tout en permettant au robot de réaliser des actions grâce à la redondance de ses articulations. Le choix du mouvement comme moyen de communication est inspiré d'une analyse d'accidents de robotique industrielle. Cette analyse a mis en évidence plusieurs schémas semblables d'accidents en lien avec une mauvaise conscience de la situation. A l'aide de l'identification des risques d'erreurs humaines observés, le choix d'utiliser le robot comme un canal de communication à part entière semble être une solution prometteuse de prévention d'accidents et de sécurité.

Nous avons observé un effet bénéfique des mouvements de signalisation sur la conscience de la situation dans deux études expérimentales. Dans la première étude, nous avons montré qu'ils permettent à un robot collaboratif de communiquer à propos de son état ou de ses actions avec ses partenaires humains et ainsi de le ré-introduire dans la boucle d'action du robot. Dans la seconde étude, nous avons proposé leur utilisation pour attirer l'attention d'un humain et l'ex-traire de situations accidentogènes. Aussi, nous avons montré que le non mouvement pouvait aussi être considéré comme un moyen de communication efficace. Enfin, nous avons proposé des recommandations pour la conception et le choix des mouvements à générer en fonction des différents types de contextes.

**Mots-clés** : Conscience de la situation, Collaboration Humain-Robot, Communication, Action Jointe
# Exploiting robot motion to improve situation awareness in human-robot collaboration

**Abstract:** One of the challenges of Industry 4.0 is to preserve the health and comfort of operators while improving their productivity. Collaborative robotics is a solution which, through appropriate assistance, enables the operator to focus on tasks for which he has expertise, while delegating loads and constraints to a collaborative robot. This involves combining the strengths of industrial robots (high physical capacity, repeatability, strength, endurance, speed, etc.) with those of humans (variability, reactions to uncertainty).

This research work is part of the ANR Pacbot project (ANR-20-CE10-0005). The overall aim of the project is to design a semi-autonomous cobotic system for assistance, capable of selecting, synchronizing and coordinating tasks distributed between human and robot, adapting to different types of variability in professional gestures, while anticipating dangerous situations. In particular, this system is designed to schedule tasks while minimizing the risk of human error. The study of the human factor in industrial environments has shown that the majority of accidents are due to human error or decision-making. In most cases, the latter are caused by operators poor situation awareness.

This thesis proposes to use robot motion as a means of communication that supports human situation awareness in human-robot collaboration. One of the important points of our contribution is that these movements, referred to as *signaling motions*, can be generated while enabling the robot to perform actions thanks to the redundancy of its joints. The choice of motion as a means of communication was inspired by an analysis of industrial robotics accidents. This analysis highlighted a number of similar accident patterns linked to poor situational awareness. By identifying the risks of human error observed, the choice of using the robot as a communication channel in its own right appears to be a promising accident prevention and safety solution.

A beneficial effect of signaling motions on situation awareness has been observed in two experimental studies. In the first study, we showed that they enable a collaborative robot to communicate about its state or actions with its human partners, and thus reintroduce them into the robot's action loop. In the second study, we proposed their use to attract a human's attention and extract him/her from accident-prone situations. We also argued that non-motion could also be considered an effective means of communication. Finally, recommendations were proposed for the design and choice of motion to be generated in different types of context.

**Keywords:** Situation Awareness, Human-Robot Collaboration, Communication, Joint Action
# Table des matières

<table><tr><td>Remerciements</td><td>i</td></tr><tr><td>Résumé</td><td>iii</td></tr><tr><td>Table des figures</td><td>x</td></tr><tr><td>Liste des tableaux</td><td>xi</td></tr><tr><td>Liste d'abréviations</td><td>xii</td></tr><tr><td>Introduction</td><td>1</td></tr><tr><td>Contexte</td><td>1</td></tr><tr><td>Problématiques et objectifs généraux</td><td>4</td></tr><tr><td>Contributions et liste des publications</td><td>6</td></tr><tr><td>1 Modélisation de la conscience de situation en collaboration humain-robot</td><td>9</td></tr><tr><td>Introduction</td><td>10</td></tr><tr><td>1.1 De la robotique industrielle à la robotique collaborative</td><td>10</td></tr><tr><td>1.1.1 La robotique industrielle</td><td>10</td></tr><tr><td>1.1.2 Les robots collaboratifs</td><td>12</td></tr><tr><td>1.1.3 Interaction et Collaboration Humain-Robot</td><td>14</td></tr><tr><td>1.1.4 L'Interaction Cognitive Humain-Robot</td><td>16</td></tr><tr><td>1.1.5 Conclusion intermédiaire</td><td>17</td></tr><tr><td>1.2 Action Jointe et robotique collaborative</td><td>18</td></tr><tr><td>1.2.1 La théorie de l'action jointe</td><td>18</td></tr><tr><td>1.2.2 Action jointe et interaction humain-robot</td><td>20</td></tr><tr><td>1.2.3 Les moyens de communication de l'intention du robot à l'humain</td><td>22</td></tr><tr><td>1.2.3.1 Le canal auditif</td><td>23</td></tr><tr><td>1.2.3.2 Le canal tactile</td><td>23</td></tr><tr><td>1.2.3.3 Le canal visuel</td><td>23</td></tr><tr><td>1.2.4 Conclusion intermédiaire</td><td>24</td></tr><tr><td>1.3 La conscience de situation</td><td>24</td></tr><tr><td>1.3.1 Définitions</td><td>24</td></tr><tr><td>1.3.2 Les mécanismes cognitifs impliqués dans la conscience de situation</td><td>27</td></tr><tr><td>1.3.3 Les démons de la conscience de situation</td><td>28</td></tr><tr><td>1.3.4 Méthode de mesures de la conscience de situation</td><td>28</td></tr><tr><td>1.3.4.1 Questionnaires de mesures de la conscience de situation</td><td>29</td></tr><tr><td>1.3.4.2 Mesures comportementales et physiologiques de la conscience de situation</td><td>30</td></tr><tr><td>1.3.5 Conscience de situation d'équipe</td><td>30</td></tr><tr><td>1.3.6 Conclusion intermédiaire</td><td>32</td></tr><tr><td>1.4 Prise en compte de la conscience de situation dans l'interaction et la collaboration Humain-Robot</td><td>33</td></tr><tr><td>1.4.1 Conscience de situation et Interaction Humain-Robot</td><td>33</td></tr><tr><td>1.4.2 Proposition d'un modèle de prise en compte de la conscience de situation par un robot</td><td>35</td></tr><tr><td>Conclusion</td><td>37</td></tr></table>
## 2 Accidents de robotique industrielle et manque de conscience de situation 39

Introduction 39

2.1 Interaction à risque entre l'humain et le robot 41

2.1.1 Défauts de sécurité en robotique industrielle 41

2.1.2 Le lien entre l'erreur humaine et la conscience de situation 42

2.1.3 Conscience de situation et analyse des accidents 43

2.1.4 Objectif et hypothèses 44

2.2 Méthode d'analyse des rapports d'accidents 44

2.2.1 La base de données EPICEA 44

2.2.2 Méthode d'analyse des rapports 44

2.2.3 Identification des démons 45

2.2.4 Exemple d'analyse d'un rapport 45

2.2.4.1 Division en phases 46

2.2.4.2 Analyse avec les démons de la conscience de situation 46

2.3 Résultats de l'analyse d'accidents 46

2.3.1 Les manifestations des démons de la conscience de situation 46

2.3.2 Séquences de démons de la conscience de situation dans ces accidents 47

2.4 Discussion 48

2.4.1 Démons de la conscience de situation et accidents de robotique industrielle 48

2.4.2 Schémas d'apparition des démons en robotique industrielle 50

2.4.3 Limites de l'étude 51

Conclusion 51

## 3 Le mouvement du robot comme vecteur de communication pour soutenir la conscience de situation 53

Introduction 54

3.1 Les mouvements d'un robot comme moyen de communication 55

3.1.1 Moyens de communication d'un robot avec un humain 55

3.1.2 Les mouvements de signalisation 57

3.1.2.1 Génération de mouvements de signalisation 58

3.1.2.2 Mouvements de signalisation d'état 59

3.1.2.3 Mouvements de signalisation d'action 60

3.1.3 Objectif et hypothèses 60

3.2 Méthode expérimentale 61

3.2.1 Contexte de l'expérimentation 61

3.2.2 Participants 61

3.2.3 Tâche de découpe du bois simulée 62

3.2.4 Matériel et dispositif expérimental 63

3.2.4.1 Cobot 1 - Mouvement de signalisation d'action 63

3.2.4.2 Cobot 2 - Mouvement de signalisation d'état 64

3.2.5 Déroulement de l'expérimentation 65

3.2.6 Variables indépendantes étudiées 66

3.2.6.1 La modalité du fléchissement 66

3.2.6.2 Résistance générée par le Cobot 1 67

3.2.6.3 Comportements du Cobot 2 68

3.2.7 Variables dépendantes mesurées 68

3.2.8 Hypothèses opérationnelles 69

3.3 Analyse des résultats 69
<table><tbody><tr><td>3.3.1</td><td>Effet de la modalité de fléchissement et de la résistance du Cobot 1 sur le temps</td><td>70</td></tr><tr><td>3.3.1.1</td><td>Effet de la modalité de fléchissement sur le temps</td><td>70</td></tr><tr><td>3.3.1.2</td><td>Effet de la résistance sur le temps</td><td>71</td></tr><tr><td>3.3.1.3</td><td>Effet de l'interaction de la modalité et de la résistance sur le temps</td><td>71</td></tr><tr><td>3.3.2</td><td>Effet de la modalité de fléchissement et de la résistance du Cobot 1 sur la force</td><td>71</td></tr><tr><td>3.3.2.1</td><td>Effet de la modalité de fléchissement sur la force</td><td>71</td></tr><tr><td>3.3.2.2</td><td>Effet de la résistance sur la force</td><td>72</td></tr><tr><td>3.3.2.3</td><td>Effet de l'interaction de la modalité et de la résistance sur la force</td><td>72</td></tr><tr><td>3.3.3</td><td>Effet de la modalité de fléchissement sur le questionnaire SART</td><td>73</td></tr><tr><td>3.3.4</td><td>Effet du comportement du Cobot 2 sur la distance de passage</td><td>74</td></tr><tr><td>3.4</td><td>Discussion</td><td>75</td></tr><tr><td>3.4.1</td><td>Mouvement d'action et maintien dans la boucle d'action du robot</td><td>75</td></tr><tr><td>3.4.2</td><td>Mouvement d'état et soutien au modèle mental de l'individu</td><td>75</td></tr><tr><td>3.4.3</td><td>Saillance des mouvements de signalisation</td><td>76</td></tr><tr><td>3.4.4</td><td>Limites</td><td>77</td></tr><tr><td colspan="2">Conclusion</td><td>78</td></tr></tbody></table>

# 4 Étude de l'effet des mouvements de signalisation et des capacités de projection sur le partage d'attention

80

<table><tbody><tr><td colspan="2">Introduction</td><td>81</td></tr><tr><td>4.1</td><td>Influence des capacités de projection sur le partage d'attention</td><td>82</td></tr><tr><td>4.1.1</td><td>Capacité de projection dans le modèle de la conscience de situation</td><td>82</td></tr><tr><td>4.1.2</td><td>Capacités attentionnelles dans la coopération humain-robot</td><td>83</td></tr><tr><td>4.1.3</td><td>Hypothèses théoriques</td><td>84</td></tr><tr><td>4.2</td><td>Méthode expérimentale</td><td>85</td></tr><tr><td>4.2.1</td><td>Contexte de l'expérimentation</td><td>85</td></tr><tr><td>4.2.2</td><td>Participants</td><td>86</td></tr><tr><td>4.2.3</td><td>Tâches accomplies pendant l'expérimentation</td><td>86</td></tr><tr><td>4.2.3.1</td><td>Jeu des Tours de Hanoï</td><td>86</td></tr><tr><td>4.2.3.2</td><td>Tâche de construction de coopération</td><td>87</td></tr><tr><td>4.2.4</td><td>Matériel et dispositif expérimental</td><td>87</td></tr><tr><td>4.2.5</td><td>Déroulement de l'expérimentation</td><td>90</td></tr><tr><td>4.2.6</td><td>Variables indépendantes étudiées</td><td>92</td></tr><tr><td>4.2.6.1</td><td>Ordre de passage</td><td>92</td></tr><tr><td>4.2.6.2</td><td>Modalités expérimentale</td><td>92</td></tr><tr><td>4.2.6.3</td><td>Actions à effectuer</td><td>92</td></tr><tr><td>4.2.7</td><td>Variables dépendantes mesurées</td><td>92</td></tr><tr><td>4.2.8</td><td>Hypothèses opérationnelles</td><td>93</td></tr><tr><td>4.3</td><td>Analyse des résultats</td><td>93</td></tr><tr><td>4.3.1</td><td>Effet de l'ordre de passage de l'expérimentation</td><td>94</td></tr><tr><td>4.3.2</td><td>Effet de la capacité de projection sur le temps d'attente du robot</td><td>94</td></tr><tr><td>4.3.3</td><td>Effet de l'implication dans les tâches sur la conscience de situation des participants</td><td>94</td></tr><tr><td>4.3.3.1</td><td>Effet de l'implication dans les tâches sur le taux de regards</td><td>94</td></tr></tbody></table>
<table><tbody><tr><td>4.3.3.2</td><td>Effet de l'implication dans les tâches sur le score obtenu au questionnaire SART</td><td>95</td></tr><tr><td>4.3.4</td><td>Effet du mouvement de respiration sur la réactivité des participants</td><td>96</td></tr><tr><td>4.4</td><td>Discussion des résultats obtenus</td><td>97</td></tr><tr><td>4.4.1</td><td>Lien entre la capacité de projection de la conscience de situation et la performance</td><td>98</td></tr><tr><td>4.4.2</td><td>Impact de l'implication dans les tâches sur l'évaluation de la conscience de situation</td><td>99</td></tr><tr><td>4.4.3</td><td>Effet du mouvement de respiration sur l'attention</td><td>101</td></tr><tr><td>4.4.4</td><td>Limites de l'expérimentation mise en place</td><td>101</td></tr><tr><td colspan="2">Conclusion</td><td>102</td></tr><tr><td>5</td><td>La saillance des mouvements de signalisation</td><td>104</td></tr><tr><td colspan="2">Introduction</td><td>104</td></tr><tr><td>5.1</td><td>Synthèse comparative des deux expérimentations</td><td>105</td></tr><tr><td>5.2</td><td>Influence du mode d'interaction entre l'humain et le robot</td><td>107</td></tr><tr><td>5.3</td><td>Influence de la dynamique de l'environnement de travail</td><td>108</td></tr><tr><td>5.4</td><td>Influence du choix du mouvement</td><td>110</td></tr><tr><td>5.5</td><td>Recommandations pour la conception de mouvements de signalisation</td><td>112</td></tr><tr><td colspan="2">Conclusion</td><td>113</td></tr><tr><td colspan="2">Conclusion et perspectives</td><td>115</td></tr><tr><td colspan="2">Conclusion</td><td>115</td></tr><tr><td colspan="2">Perspectives</td><td>119</td></tr><tr><td colspan="2">Annexes</td><td>140</td></tr><tr><td>A</td><td>Questionnaire SART</td><td>141</td></tr><tr><td>B</td><td>Questionnaire NASA-TLX</td><td>142</td></tr></tbody></table>
Table des figures

<table><tr><td>0.1</td><td>Photo d'une boite à gant de chimie de l'entreprise Solvay</td><td>3</td></tr><tr><td>1.1</td><td>Photo d'un robot industriel</td><td>11</td></tr><tr><td>1.2</td><td>Photographie du premier prototype de cobot proposé par Colgate et al. (1996)</td><td>12</td></tr><tr><td>1.3</td><td>Photographie d'un robot collaboratif Panda fabriqué par l'entreprise Franka Emika</td><td>13</td></tr><tr><td>1.4</td><td>Exemple de modèle de système robotique</td><td>14</td></tr><tr><td>1.5</td><td>Modèle d'espace de travail cobotisé</td><td>15</td></tr><tr><td>1.6</td><td>Spectre d'interaction entre un humain et un système robotique</td><td>16</td></tr><tr><td>1.7</td><td>Action jointe pour déplacer un meuble</td><td>18</td></tr><tr><td>1.8</td><td>Conception d'une activité de collaboration pour chaque partenaire</td><td>19</td></tr><tr><td>1.9</td><td>Mécanismes d'un robot impliqués pour mener à une action jointe</td><td>21</td></tr><tr><td>1.10</td><td>Communication du robot à l'humain</td><td>22</td></tr><tr><td>1.11</td><td>Modèle simplifié de la CS</td><td>25</td></tr><tr><td>1.12</td><td>Modèle détaillé de la CS</td><td>26</td></tr><tr><td>1.13</td><td>CS d'équipe et CS partagée</td><td>31</td></tr><tr><td>1.14</td><td>Modèle de transparence des agents basé sur la conscience de situation</td><td>35</td></tr><tr><td>1.15</td><td>Modèle de prise en compte de la conscience de situation par un robot</td><td>36</td></tr><tr><td>2.1</td><td>Schémas de séquences d'apparition de démons de la conscience de situation déduits de l'analyse des accidents</td><td>48</td></tr><tr><td>2.2</td><td>Schémas revus des séquences d'apparition de démons de la conscience de situation</td><td>50</td></tr><tr><td>3.1</td><td>Mouvements fonctionnel, prévisible et lisible</td><td>57</td></tr><tr><td>3.2</td><td>Robot Panda de Franka Emika et sa configuration articulaire</td><td>58</td></tr><tr><td>3.3</td><td>Redondance du robot Panda de Franka Emika</td><td>59</td></tr><tr><td>3.4</td><td>Dispositif expérimental</td><td>62</td></tr><tr><td>3.5</td><td>Vue de la salle expérimentale</td><td>64</td></tr><tr><td>3.6</td><td>Mouvement de fléchissement</td><td>65</td></tr><tr><td>3.7</td><td>Représentation de la zone de danger du Cobot 2</td><td>66</td></tr><tr><td>3.8</td><td>Exemple du mouvement de respiration</td><td>67</td></tr><tr><td>3.9</td><td>Déroulé de la première expérimentation</td><td>67</td></tr><tr><td>3.10</td><td>Diagramme en boîte du temps mesuré pour chaque modalité du mouvement de fléchissement et pour chaque résistance.</td><td>70</td></tr><tr><td>3.11</td><td>Diagramme en boîte de la force mesurée pour chaque modalité du mouvement de fléchissement et pour chaque résistance.</td><td>72</td></tr><tr><td>3.12</td><td>Diagramme en boîte du score SART calculé pour chaque modalité du mouvement de fléchissement.</td><td>73</td></tr><tr><td>3.13</td><td>Diagramme en boîte de la distance mesurée pour chaque modalité du mouvement de Respiration.</td><td>74</td></tr></table>
<table>
  <tbody>
    <tr>
      <td>3.14</td>
      <td>Inter-différence du temps pour chaque résistance entre chaque modalité. La ligne pointillée bleue correspond au premier essai des modalités OFF, ON Non expliqué et ON Expliqué. La ligne pointillée orange correspond au dernier essai des modalités OFF, ON Non expliqué et ON Expliqué.</td>
      <td>77</td>
    </tr>
    <tr>
      <td>4.1</td>
      <td>Modèle simplifié de la CS</td>
      <td>82</td>
    </tr>
    <tr>
      <td>4.2</td>
      <td>Diagramme des tâches de l'humain et du robot au cours de chaque phase</td>
      <td>86</td>
    </tr>
    <tr>
      <td>4.3</td>
      <td>Exemple d'une séquence de don</td>
      <td>88</td>
    </tr>
    <tr>
      <td>4.4</td>
      <td>Exemple d'une séquence de retrait</td>
      <td>89</td>
    </tr>
    <tr>
      <td>4.5</td>
      <td>Lunettes Pupil Core</td>
      <td>90</td>
    </tr>
    <tr>
      <td>4.6</td>
      <td>Dispositif expérimental</td>
      <td>91</td>
    </tr>
    <tr>
      <td>4.7</td>
      <td>Déroulé de la deuxième expérimentation</td>
      <td>91</td>
    </tr>
    <tr>
      <td>4.8</td>
      <td>Diagramme en boîte des temps d'attente mesurés pour chaque action</td>
      <td>95</td>
    </tr>
    <tr>
      <td>4.9</td>
      <td>Diagramme en boîte des taux de regard mesurés à l'intérieur de la surface d'intérêt humaine pour chaque modalité</td>
      <td>96</td>
    </tr>
    <tr>
      <td>4.10</td>
      <td>Diagramme en boîte des taux de regard mesurés à l'intérieur de la surface d'intérêt de Robot pour chaque modalité</td>
      <td>97</td>
    </tr>
    <tr>
      <td>4.11</td>
      <td>Diagramme en boîte des scores SART calculés pour chaque modalité</td>
      <td>98</td>
    </tr>
    <tr>
      <td>4.12</td>
      <td>Diagramme en boîte des temps d'attente mesurés pour le don pour chaque modalité</td>
      <td>99</td>
    </tr>
    <tr>
      <td>4.13</td>
      <td>Diagramme en boîte des temps d'attente mesurés pour le retrait pour chaque modalité</td>
      <td>100</td>
    </tr>
    <tr>
      <td>5.1</td>
      <td>Mouvement de fléchissement mis en œuvre dans la première expérimentation</td>
      <td>105</td>
    </tr>
    <tr>
      <td>5.2</td>
      <td>Exemple du mouvement de respiration mis en œuvre dans les deux expérimentations</td>
      <td>106</td>
    </tr>
    <tr>
      <td>5.3</td>
      <td>Schémas des séquences d'apparition de démons de la conscience de la situation présentés en chapitre 2</td>
      <td>106</td>
    </tr>
    <tr>
      <td>5.4</td>
      <td>Placement des participant par rapport au robot dans la première expérience</td>
      <td>107</td>
    </tr>
    <tr>
      <td>5.5</td>
      <td>Placement du robot par rapport au participant dans la deuxième expérience</td>
      <td>109</td>
    </tr>
    <tr>
      <td>5.6</td>
      <td>Posture d'attente du robot dans la deuxième expérience</td>
      <td>111</td>
    </tr>
    <tr>
      <td>6.1</td>
      <td>Modèle de prise en compte de la conscience de situation par un robot proposé dans le chapitre 1</td>
      <td>116</td>
    </tr>
  </tbody>
</table>
# Liste des tableaux

<table><tr><td>2.1</td><td>Occurrences des démons de la conscience de situation pour chaque accident de la base de données EPICEA.</td><td>47</td></tr><tr><td>4.1</td><td>Corrélation entre le SART et les autres mesures objectives.</td><td>96</td></tr></table>
## Liste d'abréviations

**CHR** collaboration humain-robot.

**cHRI** cognitive Human-Robot Interaction.

**CS** conscience de la situation.

**EDA** activité électrodermale.

**EEG** électroencéphalographie.

**EPICEA** Etudes de prévention par l'informatisation des comptes-rendus d'enquêtes d'accidents.

**HRV** variabilité du rythme cardiaque.

**IHM** interaction humain-machine.

**IHR** interaction humain-robot.

**INRS** Institut National de Recherche et de Sécurité.

**pHRI** physical Human-Robot Interaction.

**SAGAT** Situation Awareness Global Assessment Technique.

**SART** Situation Awareness Rating Technique.
# Introduction

## Table des matières

<table><tr><td>Contexte</td><td>1</td></tr><tr><td>Problématiques et objectifs généraux</td><td>4</td></tr><tr><td>Contributions et liste des publications</td><td>6</td></tr></table>

## Contexte général de la thèse

L'interaction humain-robot (IHR) est le domaine scientifique consacré à la compréhension, à la conception et à l'évaluation de systèmes robotiques destinés à être utilisés par ou avec des êtres humains (Goodrich et al., 2008). Bartneck et al. définissent l'IHR comme l'étude de la manière dont les robots interagissent avec les personnes dans le monde social (Bartneck et al., 2020). Le domaine se différencie de la robotique, dont l'objectif est de concevoir des robots et d'étudier la façon dont ces derniers agissent dans le monde physique. L'interaction humain-robot est à l'intersection de différents domaines comme l'interaction humain-machine (IHM), l'intelligence artificielle, le traitement du langage naturel, l'ergonomie, la psychologie, les sciences cognitives, la communication et bien sûr, la robotique. Au sein du domaine, les travaux réalisés sont le fruit de cette pluridisciplinarité mais aussi de nouveaux concepts, recherches et méthodes apparus grâce aux systèmes complexes que sont les robots. Un aspect majeur de l'IHR concerne la diversité d'environnements dans lesquels les robots peuvent évoluer. Chacun de ces types d'environnement est synonyme d'une variété de problématiques associées. Les enjeux et les moyens d'interaction ne seront pas les mêmes pour un robot industriel que pour un robot de service ou un robot thérapeutique par exemple. En conséquence, des champs de recherches se sont précisés au fil des années, parmi lesquels nous retrouvons la robotique collaborative, ou collaboration humain-robot (CHR), qui est le domaine d'application dans lequel cette thèse s'inscrit.

La collaboration humain-robot, est le domaine issu du besoin de rendre l'automatisation industrielle davantage flexible en ré-introduisant des humains dans la boucle du processus de production de masse. Il s'agit de combiner les qualités des robots industriels (fortes capacités physiques, répétabilité, force, endurance, vitesse, etc.) et celles des humains (variabilité, réactions face à l'incertitude, etc.). L'objectif, prometteur, est de permettre aux cobots (mot-valise issu de coopération et robot), et aux humains d'opérer conjointement, c'est à dire dans un même espace de travail, pour accomplir des tâches en collaboration (Colgate et al., 1996).

Un moyen d'atteindre cet objectif de partage d'espace de travail et de tâches entre humains et robots est de s'inspirer des interactions entre humains pour accomplir des actions jointes
(Bratman, 1992; Sebanz et al., 2006). Ces dernières sont considérées comme toute forme d'in-
teraction sociale par laquelle deux individus ou plus coordonnent leurs actions dans le temps
et dans l'espace afin de provoquer un changement dans l'environnement (Sebanz et al., 2006).
Cela nécessite que les individus soient capables de partager des représentations, prédire des ac-
tions et d'intégrer les effets prévus de leurs propres actions et de celles de leurs partenaires. Le
robot peut être envisagé comme un soutien de ces différents mécanismes cognitifs du partenaire
humain, et ce, en suivant le principe de transparence (Alonso & De La Puente, 2018; Chakra-
borti et al., 2019). Il est considéré qu'un humain en interaction avec un robot dit « transparent
» a connaissance, à tout moment de l'interaction, de ce que fait le robot, pourquoi il le fait et ce
qu'il fera ensuite. Cela peut notamment être fait au travers de la communication du robot vers
l'humain.

Cependant, rendre possible le partage d'espace de travail entre humains et robots ne peut
pas se faire aussi simplement sans faire émerger de nombreuses problématiques jusqu'à pré-
sent peu rencontrées dans des environnements de tâches automatisées. En effet, l'envergure des
robots industriels et leur dangerosité faisaient que ces robots étaient enfermés dans des cages
constituées de barrières physiques et de capteurs de sécurité, réduisant à zéro quelque poten-
tielle interaction. Comme nous le verrons, l'isolement de ces robots n'a pas pour autant empêché
des accidents de se produire. Le déploiement des robots collaboratifs dans l'industrie nécessite
alors de porter une attention particulière aux aspects de sécurité. Les interactions pouvant être
de nature physique, cognitive ou les deux à la fois, nécessitent de favoriser des conditions sûres
et sans risques pour les opérateurs. L'étude du facteur humain dans les milieux industriels a
montré que la majorité des accidents étaient due à des erreurs humaines ou de prises de déci-
sions (Endsley, 1995b). Ces dernières seraient en majeur partie dues à une mauvaise conscience
de la situation (CS) des opérateurs (Jones & Endsley, 1996).

La conscience de la situation (CS), ou Situation Awareness en anglais, correspond à « la
connaissance de ce qu'il se passe autour de soi » (traduit de Endsley (1995b)). Dans la lit-
térature scientifique, la définition communément adoptée est la suivante : « la perception des
éléments de l'environnement dans un volume de temps et d'espace, la compréhension de leur
signification, et la projection de leur statut dans un futur proche » (traduit de Endsley (1995b)).
Bien que cette définition puisse paraître vague, il est important de préciser ici que le terme de
« conscience » fait référence à un état de connaissance. L'étude de la CS dans des domaines
tels que l'aviation ou la conduite automobile a mis en évidence son influence dans le proces-
sus de prise de décision humain. Favoriser la CS d'une personne aurait pour effet de renforcer
ses conditions de sécurité dans les environnements dynamiques. Étudier l'effet de la prise en
compte de la CS ne semble alors pas inopiné dans le contexte de la collaboration humain-robot.

Cette thèse s'inscrit dans le cadre du projet ANR Pacbot (ANR-20-CE10-0005), issu d'une
collaboration entre des chercheurs en robotique, en informatique, en psychologie du travail et en
ergonomie. L'objectif général du projet est de concevoir un système cobotique semi-autonome
pour l'assistance, capable de choisir, de synchroniser et de coordonner des tâches réparties entre
l'humain et le robot en s'adaptant à différents types de variabilité des gestes professionnels, tout
en anticipant des situations dangereuses. L'orchestration des tâches entre l'homme et le robot
est difficile car elle doit répondre à la question de la répartition des rôles au sein du couple en
fonction des aptitudes, des contraintes physiques et décisionnelles ainsi que des conséquences
de leurs interactions. Un point important concerne le fait que c'est au robot de s'adapter au
travail d'un opérateur et, plus précisément, à ses stratégies motrices et cognitives. D'un autre
côté, l'intérêt même du robot est d'assister l'opérateur dans ses phases de fragilité en préservant
son intégrité physique et mentale, notamment en considérant que l'erreur humaine est inhérente à l'action de l'opérateur.

L'objectif scientifique du projet est de développer des algorithmes capables de construire des plans (séquences de décisions) prenant en compte les variabilités intra-personnelles des opérateurs. La planification est utilisée comme moteur de décision à la fois pour prédire le comportement de l'opérateur et pour décider des actions que le cobot doit réaliser. Un point important dont il faut tenir compte concerne les sources de variabilité favorables à la santé et à la performance au travail. D'autre part, il faut pouvoir garantir l'acceptabilité sociale du cobot par une conception intégrant pleinement l'expérience utilisateur. Le point d'équilibre entre une assistance réactive et adaptée et une assistance préservante est obtenue en considérant les facteurs humains. Concrètement, il est question de limiter les erreurs humaines en lien avec une mauvaise CS. Une originalité de Pacbot est de proposer l'intégration d'un critère de risque associé à une diminution potentielle de la CS du partenaire humain dans le processus de planification des tâches. Les contributions méthodologiques et techniques produites dans le cadre du projet ont pour but d'être démontrée par un prototype d'un poste de travail cobotisé dans une situation de CHR au sein d'une boite à gant (voir figure 0.1) pour la manipulation de produits chimiques de l'entreprise Solvay.

<figure><img src="image_3.png" /><figcaption>**FIGURE 0.1** – Photo d'une boite à gant de chimie de l'entreprise Solvay sur la page web *Le Laboratoire du Futur* (https://www.solvay.fr/implantations/bordeaux-recherche).</figcaption></figure>

Typiquement, un exemple classique de protocole au sein d'une boîte à gant consiste en 6 phases : préparation de l'expérience, distribution d'un principe actif dans des tubes à essai (par exemple une poudre), distribution d'un solvant, agitation de chaque tube, analyse, fin d'expérience (rangement, éteindre les appareils, etc.). Un opérateur manipule un contenant (par exemple un vial) au sein duquel un principe actif et un solvant sont dosés, mélangés, traités. Après ces étapes, la réaction obtenue est analysée. En terme robotique, le vial, les flacons contenant les principes actifs et les bouteilles de solvants sont :

1. déplacés dans différents endroits au sein de la boîte à gant (rack sur étagère, paillasse, plaque chauffante, agitateur, devant un appareil photo pour analyse);

2. manipulés (ex : ouvert ou fermé, agité, etc.);
3. en interaction avec des appareils (plaque chauffante, balance, appareil photo).

L'application de ces protocoles peut être pénible (gants, espace de travail contraignant), complexe (nécessite un savoir-faire) et répétitif (selon le nombre de mélanges etc.). Néanmoins, ces tâches ne peuvent être automatisées car les séries ne sont pas suffisantes pour être économiquement viables ou comportent trop de variations. La cobotisation est alors la solution privilégiée pour sa flexibilité et sa versatilité. Le robot, en interaction avec l'environnement et l'opérateur, sert ici d'assistant physique et cognitif, pour l'orchestration des tâches.

Le cas étudié est spécifique aux problématiques de Solvay (représentant l'industrie chi-
mique), à la sécurisation, l'orchestration, la synchronisation de tâches potentiellement dange-
reuses et à l'augmentation du confort physique et cognitif de l'opérateur. Il est pertinent pour
mettre en valeur les apports de Pacbot d'autant plus que la problématique est liée à des difficul-
tés d'application peu étudiées mais porteuses pour la cobotique. Elle est associée à des tâches
de manipulations partagées laissant la libre expression de l'expertise métier à l'opérateur dans
un environnement contraint, encombré et dangereux.

Problématique et objectifs généraux

L'objectif général de cette thèse est d'étudier l'effet de la communication, en particu-
lier non-verbale, pour soutenir la conscience de la situation d'individus dans la collaboration
humain-robot.

Ce manuscrit débute, dans le chapitre 1, par un état de l'art des différents concepts étudiés dans ce travail de recherche. Nous commencerons par expliquer ce qu'est la robotique collaborative, ses enjeux et ce qu'elle apporte à la robotique industrielle. Nous verrons ensuite que la collaboration humain-robot peut s'inspirer des interactions entre humains lorsqu'ils accomplissent une tâche jointe. Cela nous mènera notamment à discuter des moyens de communications mis à la disposition des robot collaboratifs pour soutenir les prises de décision et les choix d'actions de leurs partenaires humains. Par la suite, nous présenterons en quoi consiste la conscience de la situation et son apport à la prise de décision des opérateurs en milieu industriel. Nous poursuivrons ce chapitre en abordant les travaux de la littérature ayant lié conscience de la situation et interaction humain-robot. Pour finir, nous présenterons un modèle de prise en compte de la conscience de la situation d'un individu par un robot dans la collaboration humain-robot. Ce chapitre nous permet de répondre à la question suivante :

Question 1

Comment modéliser la conscience de situation d'un humain afin qu'elle puisse être soute-
nue par les actions d'un robot dans le cadre de la collaboration humain-robot ?

Dans le chapitre 2, nous présenterons une analyse de rapports d'accidents de robotique industrielle. Celle-ci a pour but de mettre en évidence les problèmes relatifs à la conscience de la situation des opérateurs en interaction avec des robots dans les milieux industriels. Ce chapitre nous permet de répondre à la question suivante :
### Question 2

Quels sont les facteurs de risques qui peuvent participer à la dégradation de la conscience de situation d'un opérateur en milieu industriel ?

Cette analyse mettra en évidence que les accidents de robotique industrielles sont principalement causés par des facteurs appelés démons de la CS (Endsley, 2016). Trois schémas systématiques d'accidents comprenant l'apparition de démons de la CS seront présentés dans ce chapitre.

A partir de cette analyse, nous avons fait l'hypothèse que la principale raison du manque de CS des opérateurs est une mauvaise utilisation des moyens de communication dans l'environnement de travail. Cela nous a amené à considérer l'utilisation du robot en tant que canal de communication à l'aide de ses mouvements dans le chapitre 3. Dans ce chapitre, nous introduirons le concept de mouvement de signalisation en tant que moyen de communication non-verbale du robot. Ils sont considérés comme un moyen de soutenir les interactions d'un robot collaboratif avec un humain. Le point fort de ce type de mouvement réside dans le fait qu'ils permettent au robot de réaliser des tâches tout en communiquant grâce à la redondance de leurs articulations. Nous définirons deux types de mouvements de signalisation : les mouvements de signalisation d'état qui informent l'opérateur de l'état courant du robot et les mouvements de signalisation d'action qui communiquent à propos de la tâche en cours du robot. Nous présenterons un protocole expérimental mettant en oeuvre ces deux types de mouvements et qui nous a permis de répondre à la question suivante :

### Question 3

La communication d'un robot à l'aide de ses mouvements permet-elle d'améliorer la conscience de situation d'un humain avec qui il interagit ?

Les résultats expérimentaux montreront que les mouvements de signalisation contribuent effectivement à améliorer la conscience de la situation (CS) des individus en soutenant leurs capacités de projection (niveau 3 de la CS). De plus, ils semblent être un moyen efficace de contrer l'apparition de deux des trois schémas d'accidents mis en évidence dans le chapitre 2. Cependant nos résultats semblent influencés par l'attention des personnes envers le robot.

Par la suite, dans le chapitre 4, nous ré-emploierons l'utilisation des mouvements de signalisation d'une part pour vérifier leur effet réel sur la projection mais aussi pour étudier leur effet sur l'attention des participants dans le cas où celle-ci n'est pas initialement dirigée vers le robot. Ce travail nous permettra également de vérifier si les mouvements de signalisation permettent de contrer l'apparition du troisième schéma d'accident mis en évidence dans le chapitre 2. Nous présenterons un protocole expérimental qui nous a permis de répondre à la question suivante :

### Question 4

Les mouvements de signalisation d'un robot permettent-ils d'extraire un humain d'un état de tunnélisation attentionnelle et d'atténuer son manque de capacité de projection dans un scénario de coopération humain-robot ?
Ce chapitre montrera l'importance de la prise en compte des capacités de projection des individus en coopération avec un robot collaboratif. Nous verrons également que la communication non-verbale d'un robot peut être un moyen d'empêcher un humain de se plonger dans un état de tunnélisation attentionnelle.

Dans le chapitre 5, nous discuterons des facteurs qui ont eu une influence sur la saillance des mouvements de signalisation dans nos expérimentations. A l'aide des différences conceptuelles entre nos deux expérimentations et de la littérature, nous tenterons d'apporter une réponse à la question suivante :

**Question 5**

Quels sont les facteurs qui contribuent à rendre les mouvements de signalisation saillants et porteur de la signification prescrite ?

Pour finir, nous reviendrons sur les contributions de ce travail et les perspectives futures que nous proposons en *Conclusion et perspectives* de ce manuscrit.

**Contributions et liste des publications**

Ce travail de thèse a fait l'objet de deux publications dans des journaux (Camblor et al., 2022b, 2024). La première publication montre que la CS est une grille d'analyse qui permet d'analyser des accidents de robotique industrielle (Camblor et al., 2022b). Les contributions de ce travail sont reprises dans le chapitre 2. La deuxième publication montre l'intérêt de prendre en compte la capacité de l'humain à se projeter au cours d'une tâche de collaboration humain-robot (Camblor et al., 2024). Ce travail nous a permis de répondre à la question 4 du chapitre 4.

— **Camblor, B.**, Daney, D., Joseph, L. et al. Attention Sharing Handling Through Projection Capability Within Human-Robot Collaboration. Int J of Soc Robotics (2024). https://doi.org/10.1007/s12369-024-01101-9

**Abstract** : Le lien entre la conscience de la situation (CS) et la répartition de l'attention humaine a été étudié dans le cadre de la collaboration homme-robot. Selon (Endsley, 1995), la CS se divise en trois niveaux : la perception, la compréhension et la projection. Elle intervient dans le processus de prise de décision et d'exécution d'actions dans un environnement dynamique. Ce travail étudie trois hypothèses. Premièrement, la capacité à projeter les actions futures d'un robot améliore les performances dans une tâche collaborative. Deuxièmement, plus les participants sont impliqués dans des tâches dans un environnement collaboratif, meilleure sera leur CS. Enfin, l'utilisation de mouvements de communication non-verbale d'un robot attire l'attention d'un participant plus rapidement que si le robot reste immobile. Une étude sur les participants a été conçue pour étudier nos trois hypothèses. Les participants ont été invités à effectuer une tâche de collaboration avec un robot. Ils devaient aider le robot à différents moments pendant qu'ils étaient occupés à une tâche distractrice qui attirait leur attention (jeu des tours de Hanoï). Ces moments pouvaient être anticipés et pris en compte dans la boucle de décision et d'action humaine ou non. Enfin, le robot peut utiliser ou non des gestes de communication non-verbale pour attirer l'attention de l'homme. Les résultats ont démontré l'importance de prendre
en compte la capacité de l'homme à projeter les prochaines actions d'un robot dans sa propre gestion de l'attention. En outre, les mesures subjectives n'ont montré aucune différence dans l'évaluation de la CS, contrairement aux mesures objectives, ce qui est conforme à notre deuxième hypothèse. Enfin, il semble que le fait de rester immobile puisse être considéré comme un geste de communication non-verbale. Dans le présent travail, l'attente du robot a permis de mieux capter l'attention humaine lorsque le robot restait immobile plutôt que d'effectuer un mouvement de signalisation.

**Lien** : https://link.springer.com/article/10.1007/s12369-024-01101-9

— **Camblor, B.**, Salotti, J. M., Fage, C., & Daney, D. (2022). Degraded situation awareness in a robotic workspace : accident report analysis. Theoretical Issues in Ergonomics Science, 23(1), 60-79.

**Abstract** : Nous avons adopté une approche basée sur les interactions dans un espace de travail robotisé, couplée au modèle de la conscience de la situation (CS) d'Endsley, pour identifier les facteurs qui dégradent potentiellement la CS des opérateurs : les huit démons de la CS. Nous proposons ici d'étudier les implications de ces démons dans 45 accidents industriels impliquant des robots. Ces démons ont été associés aux interactions possibles qu'un humain peut avoir dans un espace de travail robotisé. Nos résultats montrent que cinq des huit démons de la CS apparaissent dans les rapports d'accidents examinés. Les résultats ont montré que les démons de la CS identifiés étaient principalement associés au premier niveau de la CS (niveau de perception). Nous avons également pu décrire cinq modèles d'apparition des démons de la CS dans ces accidents. Les démons de la CS sont généralement impliqués dans les interactions humain-robot plutôt que dans les interactions humain-environnement. Grâce à cette analyse, nous avons découvert que la CS d'un opérateur est principalement affectée par les démons modèle mental errant et hors de la boucle dans les interactions humain-robot et humain-environnement. Enfin, nous proposons des recommandations concernant l'aménagement de l'espace de travail.

**Lien** : https://www.tandfonline.com/doi/abs/10.1080/1463922X.2021.1879308

Ce travail de thèse a aussi été valorisé dans une conférence. Dans ce travail, il a été mis en évidence qu'il est possible d'améliorer la CS d'une personne en dotant le robot de gestes de communication non-verbale (Camblor et al., 2022a). La contribution de ce travail a permis de répondre à la question 3 du chapitre 3.

— **Camblor, B.**, Benhabib, N., Daney, D., Padois, V., & Salotti, J. M. (2022, March). Task-consistent signaling motions for improved understanding in human-robot interaction and workspace sharing. In 2022 17th ACM/IEEE International Conference on Human-Robot Interaction (HRI) (pp. 275-283). IEEE.

**Abstract** : Cet article présente le concept des mouvements de signalisation d'un robot interagissant avec un être humain. Ces mouvements consistent à utiliser les degrés de liberté redondants d'un robot effectuant une tâche comme nouveaux moyens de communication significative entre le robot et l'homme. Ils sont générés par un contrôle quasi-statique du couple, en cohérence avec la tâche principale du robot. Une double étude intra-sujet (N=16) est menée pour évaluer les effets de deux mouvements de signalisation sur l'exécution d'une tâche par les participants et sur leur comportement envers le robot. Nos résultats montrent un effet positif à la fois sur
l'exécution de la tâche et sur le comportement des participants. De plus, les deux mouvements de signalisation semblent améliorer la CS des participants en alimen-tant leur modèle mental tout au long de l'interaction.

**Lien :** https://ieeexplore.ieee.org/abstract/document/9889575?casa_token=W0FTycNoZ9oAAAAA:cIz_at1DEwMCchZEk9w-i6pig57e_XyU-K-J1TCx4JoBWbIy-zqli6WRUAfJRhy1ju7REXwL

Ces travaux de recherches ont aussi fait l'objet d'un poster et de deux présentations orales.

— **Camblor, B.**, Benhabib, N., Daney, D., Padois, V., & Salotti, J. M. (2022, November). Signaling Motions for communication in human-robot interaction. In JJCR 2022-Journées des Jeunes Chercheurs et Jeunes Chercheuses en Robotique.

**Lien :** https://hal.science/hal-03871485

— **Camblor, B.**, Salotti, J. M. & Daney, D. (2023). Using cobot motions as a mean of communication with a human. Journée GT3/GT6 du mardi 07 Juin 2023 du GDR Robotique.

— **Camblor, B.**, Daney, D., Joseph, L., & Salotti, J. M. (2023). Gestion de l'attention par la capacité de projection en collaboration humain-robot. Workshop Variabilité et Adaptabilité dans la Collaboration entre Humains et Cobots du jeudi 30 novembre 2023.
# Chapitre 1

## Modélisation de la conscience de situation en collaboration humain-robot

### Table des matières

<table><tr><td>Introduction</td><td>10</td></tr><tr><td>1.1 De la robotique industrielle à la robotique collaborative</td><td>10</td></tr><tr><td>1.1.1 La robotique industrielle</td><td>10</td></tr><tr><td>1.1.2 Les robots collaboratifs</td><td>12</td></tr><tr><td>1.1.3 Interaction et Collaboration Humain-Robot</td><td>14</td></tr><tr><td>1.1.4 L'Interaction Cognitive Humain-Robot</td><td>16</td></tr><tr><td>1.1.5 Conclusion intermédiaire</td><td>17</td></tr><tr><td>1.2 Action Jointe et robotique collaborative</td><td>18</td></tr><tr><td>1.2.1 La théorie de l'action jointe</td><td>18</td></tr><tr><td>1.2.2 Action jointe et interaction humain-robot</td><td>20</td></tr><tr><td>1.2.3 Les moyens de communication de l'intention du robot à l'humain</td><td>22</td></tr><tr><td>1.2.3.1 Le canal auditif</td><td>23</td></tr><tr><td>1.2.3.2 Le canal tactile</td><td>23</td></tr><tr><td>1.2.3.3 Le canal visuel</td><td>23</td></tr><tr><td>1.2.4 Conclusion intermédiaire</td><td>24</td></tr><tr><td>1.3 La conscience de situation</td><td>24</td></tr><tr><td>1.3.1 Définitions</td><td>24</td></tr><tr><td>1.3.2 Les mécanismes cognitifs impliqués dans la conscience de situation</td><td>27</td></tr><tr><td>1.3.3 Les démons de la conscience de situation</td><td>28</td></tr><tr><td>1.3.4 Méthode de mesures de la conscience de situation</td><td>28</td></tr><tr><td>1.3.4.1 Questionnaires de mesures de la conscience de situation</td><td>29</td></tr><tr><td>1.3.4.2 Mesures comportementales et physiologiques de la conscience de situation</td><td>30</td></tr><tr><td>1.3.5 Conscience de situation d'équipe</td><td>30</td></tr><tr><td>1.3.6 Conclusion intermédiaire</td><td>32</td></tr><tr><td>1.4 Prise en compte de la conscience de situation dans l'interaction et la collaboration Humain-Robot</td><td>33</td></tr><tr><td>1.4.1 Conscience de situation et Interaction Humain-Robot</td><td>33</td></tr><tr><td>1.4.2 Proposition d'un modèle de prise en compte de la conscience de situation par un robot</td><td>35</td></tr></table>
# Introduction

Cette thèse, « Exploitation du mouvement du robot pour améliorer la conscience de situation dans la collaboration humain-robot », s'articule autour de multiples notions liées aux sciences cognitives, au facteur humain, à l'interaction humain-robot (IHR) et plus précisément à la collaboration humain-robot (CHR).

Ce chapitre a pour but de présenter et relier les concepts généraux abordés dans la suite de ce manuscrit. Nous présenterons ainsi les différentes thématiques nécessaires à la prise en compte de la conscience de la situation (CS) dans le cadre de la collaboration humain-robot (CHR). Enfin, il permettra d'introduire la base du modèle que nous souhaitons proposer et valider à l'aide de nos travaux de recherche.

Ce chapitre répond à la question 1 présentée en Introduction de ce manuscrit.

## Question 1

Comment modéliser la conscience de situation d'un humain afin qu'elle puisse être soute-nue par les actions d'un robot dans le cadre de la collaboration humain-robot ?

Nous commencerons par présenter ce qu'est la robotique collaborative dans la section 1.1. Ensuite, nous développerons la notion d'action jointe d'abord dans le cadre de la collaboration entre deux humains puis entre un humain et un robot en section 1.2. En section 1.3, nous présenterons la notion de conscience de la situation. Nous nous concentrerons notamment sur le modèle de Endsley (1995b) qui a guidé ce travail de thèse. Nous poursuivrons ce chapitre en présentant les travaux liant la CS et la CHR dans la section 1.4. Nous terminerons cette section par la proposition d'un modèle de prise en compte de la CS par un robot collaboratif dans le cadre d'une action jointe.

# 1.1 De la robotique industrielle à la robotique collaborative

## 1.1.1 La robotique industrielle

Un robot industriel (voir figure 1.1) est un manipulateur polyvalent, reprogrammable et contrôlé automatiquement (Dhillon, 1991). Il peut être programmable sur trois axes ou plus et peut être fixé ou mobile (ISO-10218-1, 2012). Ces robots sont généralement isolés dans des cages afin de prévenir de tout danger potentiel pour les opérateurs industriels.

La robotique industrielle est encadrée par deux normes de sécurité (ISO-10218-1, 2012; ISO-10218-2, 2011). La première, « Robots et dispositifs robotiques — Exigences de sécurité pour les robots industriels — Partie 1 : Robots » (ISO-10218-1, 2012) spécifie les exigences et les recommandations pour la prévention, les mesures de protection et les informations pour l'utilisation des robots industriels. Elle décrit les phénomènes dangereux de base associés aux robots, comme les chocs ou les écrasements, et fournit des exigences pour éliminer ou réduire de manière appropriée les risques associés. La deuxième, « Robots et dispositifs robotiques —
<figure><img src="image_4.png" /><figcaption>**FIGURE 1.1** – Photo d'un robot industriel tiré de l'article *S'automatiser, oui, mais pas tout seul*, publié par Olivier James dans le journal *L'Usine Nouvelle* le 23 novembre 2017.</figcaption></figure>

Exigences de sécurité pour les robots industriels — Partie 2 : Systèmes robots et intégration » (ISO-10218-2, 2011) spécifie les exigences de sécurité pour l’intégration des robots industriels et des systèmes robotisés tels que définis dans la norme ISO-10218-1 (2012).

Les normes de sécurité visent à empêcher l'accès humain à l'espace de travail du robot ou à arrêter le robot lorsqu'un événement inattendu dans l'espace de travail est détecté par des capteurs externes (Meziane et al., 2014). Néanmoins, des accidents se produisent la plupart du temps lorsqu'une personne doit effectuer une tâche à côté d'un robot (Malm et al., 2010). Même si les interactions ne sont pas souhaitées, les opérateurs doivent effectuer des opérations de maintenance, de nettoyage, de dépannage, de réparation ou d'apprentissage du robot ou de l'outil industriel proche. Ils peuvent également travailler à proximité d'un robot opérationnel ou d'une cellule de travail robotisée. Toutes ces raisons conduisent à des situations dangereuses dans l'espace de travail du robot. L'utilisation des mesures de sécurité actuelles peut s'avérer difficile lorsqu'une personne et un robot se trouvent à proximité. En effet, en ce qui concerne les robots conventionnels, bien qu'il soit interdit de s'approcher de la zone du robot, les opérateurs de tous types passent environ trois heures par jour à travailler près d'eux (Aghazadeh et al., 1993).

Les situations dangereuses sont principalement liées à l'intrusion d'opérateurs humains dans l'espace de travail d'un robot, que ce soit pendant les phases opérationnelles ou non opérationnelles, souvent en violation de la procédure de sécurité (Sugimoto & Kawaguchi, 1983). Ainsi, l'interaction physique étroite entre les êtres humains et les robots peut entraîner un risque élevé d'accident (Karwowski & Rahimi, 1991). Les mouvements non naturels et inattendus peuvent être à l'origine de 73% des blessures et des décès liés aux robots (Sugimoto & Ka-
waguchi, 1983). Cela a malheureusement été le cas récemment pour un opérateur sud-coréen <fnref n="1" /> qui a été tué par un robot industriel pendant qu'il effectuait une opération de maintenance à proximité de celui-ci.

Jusqu'à présent l'interaction entre les humains et les robots industriels n'était pas souhaitée. En effet, l'envergure des robots industriels et leur dangerosité faisaient que ces robots étaient enfermés dans des cages constituées de barrières physiques et de capteurs de sécurité, réduisant à de manière significative le nombre d'interaction. Comme nous l'avons vu, l'isolement de ces robots n'a pas pour autant empêché des accidents de se produire.

Pourtant, cela est amené à changer avec des initiatives telles que l'*usine du futur* (ou *industrie 4.0*) dont un des enjeux important est de préserver la santé et le confort des opérateurs tout en améliorant leur productivité. Ce changement vers l'usine du futur est accompagné de l'arri-vée de nouveaux types de robots dans les industries depuis ces dernières années. Ces nouvelles solutions robotisées ont pour but de contraster avec les applications traditionnelles des robots industriels, dans lesquelles ces derniers sont isolés de tout contact humain. Cette nouvelle vision a pour objectif la *collaboration humain-robot* (CHR).

## 1.1.2 Les robots collaboratifs

Le terme « robot collaboratif », ou *cobot* (mot-valise issu de coopération et robot), est introduit pour la première fois par Colgate et al. (1996). Initialement, ils sont décrits comme des dispositifs robotiques manipulant des objets en collaboration avec des opérateurs humains. Plus précisément, les cobots interagissent avec les personnes en générant des surfaces virtuelles dé-finies par logiciel qui contraignent et guident le mouvement de la charge utile partagée (Peshkin & Colgate, 1999). Ces surfaces virtuelles permettent à l'humain et au robot de partager leur espace de travail.

<figure><img src="image_5.png" /><figcaption>**FIGURE 1.2** – Photographie du premier prototype de cobot proposé par Colgate et al. (1996)</figcaption></figure>

Une qualité de la robotique collaborative réside dans la possibilité de combiner les avan-tages de l'automatisation avec la flexibilité et les compétences cognitives et sociales et tech-niques des travailleurs humains (Colgate et al., 1996). Contrairement aux robots industriels traditionnels, les robots collaboratifs sont flexibles dans leur utilisation : ils peuvent facilement

<footnote n="1">1. https://www.leparisien.fr/faits-divers/un-employe-sud-coreen-tue-par-le-robot-do-nt-il-assurait-la-maintenance-08-11-2023-6M5WI4IRYRAMPNI6U6A73VJ6UI.php</footnote>
changer d'environnement de travail, changer fréquemment de tâche et être programmé facilement par des opérateurs non roboticiens grâce à des interfaces simplifiées (Villani et al., 2018). De son côté, l'humain est capable de s'adapter à des événements imprévus et de conserver ses capacités décisionnelles dans des environnements dynamique et complexe.

La volonté de diminuer les risques auxquels les opérateurs pourraient être exposés dans les environnements coopératifs a mené au développement de la spécification technique « Robots et dispositifs robotiques - Robots coopératifs » (ISO-15066, 2016). Cette spécification technique spécifie les exigences de sécurité pour les systèmes de robots industriels collaboratifs et l'environnement de travail, et complète les exigences et les lignes directrices relatives au fonctionnement des robots industriels collaboratifs figurant dans les normes ISO-10218-1 (2012) et ISO-10218-2 (2011).

Au fil des années, la conception des cobots s'est éloignée de la représentation initiale proposée par Colgate et al. (1996). A l'instar des robots industriels conventionnels, certains ressemblent à des bras articulés, en général bien moins massifs et plus léger que leurs homologues. De plus, ils sont équipés de systèmes de détection dédiés, tels que des capteurs de forces et de couples dans leurs articulations, des systèmes de mesure des forces de réaction transmises au sol ou des capteurs tactiles sur l'ensemble de leur bras. Les paramètres de mouvements, de ces robots sont contrôlés avec une grande précision et il est possible de modifier leurs valeurs pour satisfaire les exigences de sécurité. Physiquement, leur aspect est généralement rond et lisse sans arêtes coupantes ou de surfaces irrégulières, essentielles pour la sécurité et pour éviter les situations dangereuses ou de pincement.

<figure><img src="image_6.png" /><figcaption>**FIGURE 1.3** – Photographie d'un robot collaboratif Panda fabriqué par l'entreprise Franka Emika.</figcaption></figure>

Généralement, il est considéré que les robots collaboratifs appartiennent à un ensemble plus général appelé *système robotique* (voir figure 1.4). Ici, il ne s'agit pas seulement du robot en tant qu'objet mais aussi de son système de perception, de traitement de l'information, de génération de trajectoire et de l'environnement dans lequel il évolue pour réaliser ses actions.

Chaque action du robot est le résultat de son processus de traitement de l'information. D'abord, à l'aide de capteurs internes et externes, il perçoit son environnement. Ces informations perçues alimentent la machine à état du système. Elle est composée d'un ensemble d'états et de fonctions de transitions permettant de passer d'un état à un autre selon des conditions
<figure><img src="image_7.png" /><figcaption>**FIGURE 1.4** – Exemple de modèle de système robotique. Le système robotique perçoit d'abord son environnement à l'aide de capteurs. Ensuite, à l'aide des informations perçues et des règles prédéterminées dans sa machine à état, il génère une trajectoire. Cette trajectoire est transmise au contrôleur du robot pour mettre ses moteurs en mouvements et réaliser l'action.</figcaption></figure>

prédéfinies. En d'autres mots, c'est grâce à la machine à état que le système robotique va artificiellement connaître l'ensemble des actions que le robot peut réaliser ainsi que leurs effets sur la tâche. Elle comporte également les conditions nécessaire à la réalisation de chaque tâche en particulier. A l'aide des éléments perçus et de l'état actuel dans la machine à état, le système robotique va déterminer quelle action réaliser pour passer à l'état suivant. Cette action nécessite que le robot génère une trajectoire de mouvement. Une fois la trajectoire générée, le contrôleur envoie la commande d'action au robot. Pour finir, le robot se met en mouvement pour exécuter l'action. Une fois l'action effectuée, l'état du monde (l'environnement de travail) change et est mis à jour à l'aide des capteurs du système robotique.

L'environnement de travail peut-être considéré très généralement, par exemple une pièce dans le monde physique, mais aussi plus précisément, à savoir tous les points de l'espace qu'il peut atteindre quelle que soit sa position ou sa configuration articulaire. Dans ce cas là, on aura tendance à parler d'espace de travail du robot.

### 1.1.3 Interaction et Collaboration Humain-Robot

Comme nous l'avons défini dans le chapitre, l'interaction humain-robot (IHR) est, d'après Goodrich et al. (2008), le domaine d'étude consacré à la compréhension, à la conception et à l'évaluation de systèmes robotiques destinés à être utilisés par ou avec des êtres humains. La littérature distingue deux grandes catégories d'interaction entre un humain et un robot (Goodrich et al., 2008). D'abord, *l'interaction de proximité*, caractérisée par le fait que l'humain et le robot se trouvent dans un même espace de travail. La deuxième catégorie est *l'interaction à distance*, dans laquelle l'humain et le robot sont séparés dans l'espace ou même dans le temps. Les auteurs poursuivent en déclinant l'interaction de proximité en deux sous-ensembles : l'interaction sociale et l'interaction physique (pHRI) (Haddadin & Croft, 2016). L'interaction sociale comprend les aspects sociaux, émotionnels et cognitifs de l'interaction. Dans l'interaction sociale, les humains et les robots interagissent en tant que pairs ou compagnons. La pHRI ne nécessite pas d'avoir un contact physique ou matériel avec un ou plusieurs humains. Dans ce cas là, la boucle d'interaction peut être géométrique, cinématique, statique ou dynamique. Par exemple, prendre en compte la position de l'opérateur dans l'espace de travail est considéré comme de la considération de l'interaction physique.

Traditionnellement, le terme *collaboration humain-robot* (CHR) fait référence à l'utilisation de robots sans clôture de sécurité, autrement dit, hors de leur cage (Bauer et al., 2016). Ainsi,
la séparation des espaces de travail de chacun se voit éliminée au profit d'un partage de l'environnement de travail. Nous considérons le concept d'espace de travail cobotisé (voir figure 1.5) comme l'espace dans lequel un humain et un robot interagissent pour effectuer une tâche (Salotti et al., 2018).

<figure><img src="image_8.png" /><figcaption>FIGURE 1.5 – Modèle d'espace de travail cobotisé inspiré de Salotti et al. (2018).</figcaption></figure>

L'intersection potentielle entre la zone du robot et celle de l'humain est communément appelée « espace de travail partagé ». Le partage d'espace de travail a donné lieu à différents modes d'interaction (Bauer et al., 2016; Müller et al., 2017; Matheson et al., 2019; Kumar et al., 2020) :

- **La coexistence** : l'humain et le robot partagent le même environnement mais ne partagent pas leur espace de travail respectif. Généralement, il n'y a pas de contact direct entre l'humain et le robot. L'objet du travail peut être échangé entre eux, mais le processus est exécuté de manière indépendante et simultanée.

- **La coopération séquentielle** : l'humain et le robot partagent l'espace de travail à des moments différents. La conception du flux de travail doit être faite de sorte qu'un seul des agents est présent dans l'espace de travail à la fois. L'un des deux partenaires guide ou contrôle l'autre grâce aux différentes modalités de communication possibles.

- **La coopération** : l'humain et le robot partagent le même espace de travail, au même moment et sur des tâches séparées. Ici, les deux partenaires ne travaillent pas simultanément sur le même produit ou composant. En revanche, les deux agents peuvent partager temporairement certaines de leurs ressources physiques, cognitives ou informatiques.

- **La collaboration** : l'humain et le robot partagent le même espace de travail, au même moment et travaillent simultanément sur le même produit ou composant. Dans ce cas,
l'action de l'un a une conséquence immédiate sur l'autre grâce à des capteurs et systèmes de vision. On parle d'action jointe des deux partenaires, à savoir accomplir à deux un ensemble de tâches de travail.

<figure><img src="image_9.png" /><figcaption>**FIGURE 1.6** – Spectre d'interaction entre un humain et un système robotique d'après Matheson et al. (2019). De gauche à droite : « Cell » correspond à une interaction « traditionnelle » dans le cas où le robot est enfermé dans une cage. « Synchronised » correspond à la coopération séquentielle.</figcaption></figure>

Dans une autre revue de la littérature douze scénarios collaboratifs différents entre un humain et un robot ont été proposés (El Zaatari et al., 2019). Pour chaque scénario, les auteurs proposent une description de la tâche de l'humain et du robot et proposent un exemple provenant de la littérature. Les scénarios relevés sont des tâches de co-manipulation, fixation, transfert, assemblage, prise et mise en place, récupération, soudure, éclairage, vérification, perçage, ponçage et de vissage. La plupart de ces tâches correspondent à des modes de coopération séquentielle ou de collaboration. Ces tâches sont rendues possibles par la volonté de prendre en compte l'humain dans l'interaction afin de renforcer la sécurité vis-à-vis des cobots. En effet, un des principaux défis liés à la robotique collaborative relève en priorité de la sécurité (Michalos et al., 2015; Villani et al., 2018; El Zaatari et al., 2019; Kumar et al., 2020). Quatre catégories de modes opératoires collaboratifs sont définis pour les cobots (ISO-15066, 2016) et repris dans (El Zaatari et al., 2019; Hentout et al., 2019; Kumar et al., 2020) : (i) l'arrêt contrôlé de sécurité, (ii) le guidage manuel, (iii) la surveillance de la vitesse et de la séparation et (iv) la limitation de la puissance et de la force.

Le plus souvent, ces modes opératoires sont déjà intégrés dès la conception de la majorité des modèles de cobots conformément aux normes ISO ISO-10218-1 (2012) et ISO-15066 (2016) et contribuent à assurer une sûreté d'interaction minimale aux opérateurs lors de scénarios de CHR. Cependant, ces modes sont peu flexibles et peuvent être sous-optimaux du fait d'arrêts répétés des lignes de production en raison de leur rigidité (Skuric et al., 2021; Alberto et al., 2023). Enfin, ces mesures de sécurité concernent principalement l'interaction au sens physique du terme et tiennent peu compte des variabilités, notamment cognitives.

### 1.1.4 L'Interaction Cognitive Humain-Robot

La cognitive Human-Robot Interaction (cHRI) est un domaine de recherche qui vise à améliorer les interactions entre les humains et les robots en développant des modèles cognitifs (simulés) pour les robots et en comprenant les modèles mentaux humains des robots (Mutlu et al., 2016). Pour cela, les systèmes robotiques doivent pouvoir disposer de représentations appropriées de l'environnement, de la tâche à accomplir et des capacités, des attentes et des
actions de leurs homologues humains. Aussi, ils doivent être capables d'évaluer les effets de
leurs propres actions sur l'environnement, leur tâche et les individus (Mutlu et al., 2016).

Il s'agit de s'inspirer de la manière dont les humains interagissent entre eux, à savoir
de s'appuyer sur des modèles mentaux d'eux-mêmes, de leurs partenaires d'interaction, du
contexte immédiat de l'interaction et du contexte physique, social et culturel (Mutlu et al.,
2016). Ainsi, pour interagir efficacement avec des individus, un robot a besoin de modèles si-
milaires l'aidant à déterminer ses propres actions, leurs effets et à prédire celle des personnes
autour de lui.

L'un des principes fondamentaux de la cHRI est de considérer que les humains, les robots
et le contexte de leur interaction forment un système cognitif complexe situé dans le monde
réel. Les principales activités de ce domaine de recherche consistent à développer des cadres
d'applications qui représentent ce système (Mutlu et al., 2016). D'après les auteurs, ces cadres
d'applications reposent sur trois champs de recherches :

1. Les modèles humains d'interaction : la compréhension des modèles mentaux qu'ont les personnes des robots, comment ils perçoivent les robots et interprètent leurs actions et comportements, et comment ces perceptions et interprétations évoluent en fonction des contextes et des groupes d'utilisateurs.

2. Les modèles robotiques d'interaction : le développement de modèles qui permettent aux robots de cartographier les aspects de l'interaction dans le monde physique et du point de vue cognitif de l'humain grâce à l'interaction avec l'environnement social et physique.

3. Les modèles d'IHR : la création de modèles et de mécanismes qui guident la communication et la collaboration humain-robot, la planification des actions et l'apprentissage de modèles.

Jusqu'à présent, la cHRI concerne avant tout des applications de robotique sociale ou de
service (Kopp et al., 2021). Pour autant, il pourrait s'avérer favorable de s'inspirer de ces travaux
dans le cadre de la collaboration humain-robot. Cela reviendrait à s'inspirer de la manière dont
des humains réalisent des tâches ensemble et de doter les robots de capacités leur permettant de
collaborer de manière similaire (Belhassein et al., 2022).

1.1.5 Conclusion intermédiaire

Nous avons vu qu'il y avait une volonté de ré-introduire les humains dans les environne-
ments industriels grâce à l'introduction de robots collaboratifs dans ces milieux. Néanmoins,
cette transition des robots en dehors de leur cage doit être faite en imposant que la sécurité
des opérateurs soit assurée. Il ne s'agit pas seulement de sécuriser les interactions physiques.
En effet, les humains sont des êtres sujets à de nombreuses variabilités, notamment cognitives,
intra et inter-personnelles. Les robots doivent donc être capables de soutenir les humains d'un
point de vue cognitif. Une des pistes explorée par la recherche en cHRI consiste à s'inspirer des
interactions que les humains ont entre eux et de doter, dans la mesure du possible, les robots de
capacités semblables (Belhassein et al., 2022).
# 1.2 Action Jointe et robotique collaborative

## 1.2.1 La théorie de l'action jointe

En philosophie, la théorie de l'action jointe (ou action conjointe) ou d'activité coopérative partagée, désigne un type particulier d'interaction interpersonnelle (Bratman, 1992). Un exemple commun concerne celui de deux personnes portent un meuble pendant un déménagement (voir figure 1.7). Dans cet exemple, deux individus réalisent une action jointe (porter un meuble) en poursuivant un objectif commun (le déplacer d'un point A à un point B). Pour autant, les deux individus ne réalisent pas forcément les mêmes actions. Certes ils porteront tous les deux le meuble, mais pas de la même manière. Les deux individus ne partagent pas forcément les mêmes perceptions. Ils peuvent être face à face ou bien l'un derrière l'autre. Les participants à l'action jointe peuvent aussi se partager des rôles de meneur et de suiveur de manière interchangeable. Le meneur aura tendance à diriger le meuble dans les directions nécessaires et à donner des indications au suiveur, par exemple si ce dernier est de dos.

<figure><img src="image_10.png" /><figcaption>**FIGURE 1.7** – Action jointe pour déplacer un meuble. Plutôt que d'imiter les actions de l'autre (a) les personnes doivent parfois effectuer des actions complémentaires (b) pour atteindre un objectif commun. Tiré de Sebanz et al. (2006).</figcaption></figure>

Selon Bratman (1992), il s'agit avant tout de poursuivre un objectif commun et ce quelque soit les intentions et les raisons de réaliser l'action pour chacun des individus. Il décrit trois traits caractéristiques d'activité coopérative partagée : (i) la réceptivité mutuelle, (ii) l'engagement dans l'activité commune et (iii) l'engagement envers le soutien mutuel.

Le terme d'action jointe est fréquemment utilisé de manière interchangeable avec les termes coopération ou collaboration (Becchio et al., 2010). Ces notions impliquent une pluralité d'individus rassemblés sous le nom d'équipe. Une équipe est définie comme un petit nombre de partenaires aux compétences complémentaires qui s'engagent à atteindre un but commun, un objectif de performance et une approche pour lesquels ils se tiennent mutuellement responsables (Katzenbach & Smith, 2015). L'action jointe peut être considérée comme toute forme d'interaction sociale par laquelle deux individus ou plus coordonnent leurs actions dans le temps et dans l'espace afin de provoquer un changement dans l'environnement (Sebanz et al., 2006). Les auteurs proposent que la réussite de l'action jointe dépende des capacités (i) de partager des représentations, (ii) de prédire des actions et (iii) d'intégrer les effets prévus de ses propres actions et de celles des autres :
1. Le partage des représentations est permis grâce à l'attention jointe (Frischen & Tipper, 2004). Cette dernière permet la création d'un *terrain d'entente perceptif* dans l'action jointe. Elle permet l'initiation d'une action coordonnée et la coordination une fois que les individus sont déjà engagés dans une action commune.

2. Prédire les actions des partenaires est un processus en plusieurs étapes. D'abord l'observation de l'action qui peut se traduire comme la connaissance de ce que les autres vont faire. Ce mécanisme s'observe au niveau neuronal grâce aux neurones miroirs (Grèzes et al., 2003). Lors de l'observation d'une action, ces derniers s'activent et construisent une représentation correspondante dans le système d'action de l'observateur (Rizzolatti & Craighero, 2004). La seconde est la répartition des tâches, ou la connaissance de ce que les autres devraient faire. Cette dernière permet à l'individu de former des attentes en lien avec les conditions de stimulation dans lesquelles une personne effectue une action (Sebanz & Frith, 2004).

3. Enfin, la coordination des actions est le processus essentiel pour intégrer les effets prévus de ses propres actions et de celles des partenaires. Ce mécanisme concerne la façon dont les individus ajustent leurs actions à celles d'autres personnes dans le temps et l'espace (Michael et al., 2016).

La réalisation d'une action jointe requiert des deux partenaires de mettre en œuvre des mécanismes de coordination, de perception, de planification, d'exécution et de contrôle avant et pendant leur performance (Sebanz et al., 2006; Knoblich et al., 2011; Vesper et al., 2016). D'autres auteurs considèrent que l'action jointe nécessite le partage des buts et des intentions des individus (Carpenter, 2009; Cohen & Levesque, 1991; Fiebich & Gallagher, 2013; Tomasello et al., 2005). Dans ce cas, la seule coordination des actions des agents opérants n'est plus une condition suffisante à l'action jointe.

<figure><img src="image_11.png" /><figcaption>**FIGURE 1.8** – Conception d'une activité de collaboration pour chaque partenaire d'après Tomasello et al. (2005). Pour réaliser d'une action jointe, chaque membre de l'équipe partage un objectif, une attention commune et une intention d'action avec ses partenaires. Ils ont chacun une prédiction de l'action que leur partenaire réalisera pour acomplir la tâche partagée. Les membres ont des rôles complémentaires permettant d'atteindre l'objectif commun de la tâche.</figcaption></figure>

Dans le cadre d'une action jointe, il est considéré que les agents coordonnent délibérément
leurs intentions les uns avec les autres, on parle alors de coordination intentionnelle ou planifiée (Curioni et al., 2019). Les actions jointes nécessitent que les partenaires puissent se représenter leurs actions et leurs conséquences ainsi que celles de leur partenaires (Belhassein et al., 2022). Aussi, les partenaires doivent pouvoir se représenter la hiérarchie des sous-buts et des sous-tâches du plan d'action. De plus, ils doivent être capables de générer des prédictions de leurs actions conjointes. Enfin, les partenaires doivent suivre la progression vers le but commun et éventuellement compenser ou aider les autres à réaliser leurs contributions (Pacherie, 2014).

D'un point de vue plus général, la théorie de l'action jointe ne se restreint pas seulement à des équipes composées seulement d'humains. En effet, bien qu'initialement elle concernait des interactions entre plusieurs humains, celle-ci a aussi été étudiée dans le contexte d'interaction entre humain(s) et robot(s) (Glasauer et al., 2010; Mutlu et al., 2016; Clodic et al., 2017).

### 1.2.2 Action jointe et interaction humain-robot

Comme nous l'avons vu précédemment, une collaboration efficace nécessite des partenaires d'une action jointe de mettre en œuvre des mécanismes de coordination, de perception, de planification, d'exécution et de contrôle avant et pendant la performance (Sebanz et al., 2006; Knoblich et al., 2011; Vesper et al., 2016). Mettre en œuvre ces mécanismes permet aux partenaires humain-robot d'être en accord sur un objectif commun et sur une intention commune d'atteinte de l'objectif. Pour obtenir une intention commune, les partenaires doivent connaître les intentions des autres membres de l'équipe et savoir ce qu'ils font. Or, un robot n'est pas un être conscient, ou du moins il ne peut disposer que d'une conscience artificielle (McCarthy, 1995; Dennett, 1997; Kitamura et al., 2000). Pour participer à une action jointe, dans sa stricte définition, un robot doit être doté de capacités de perception et de compréhension de son environnement, de prise de décision, de planification, d'apprentissage et de réflexion (Bauer et al., 2008). Grâce à ces compétences, le robot est capable de connaître les intentions des autres membres de l'équipe et ainsi de planifier ses propres actions afin de contribuer à l'intention commune et d'atteindre l'objectif commun. Ainsi, permettre à un robot de participer à des actions jointes nécessite en premier lieu de le munir de capacités cognitives semblables à celles d'humains.

Les étapes menant à une action jointe lors de la CHR sont (i) l'intention jointe (ou la communication des intentions), (ii) la planification de l'action et (iii) l'exécution de l'action (Bauer et al., 2008). D'après les auteurs, ces étapes s'effectuent dans un contexte dynamique et sont répétées après chaque exécution d'action (voir figure 1.9). Si l'un des partenaires agit d'une manière qui n'a pas été prévue par les autres pairs, les actions doivent être replanifiées. En conséquence, l'intention doit être ré-estimée en permanence, car les états et les intentions changent au fil du temps.

1. L'intention jointe : dans cette étape, les partenaires doivent s'accorder à accomplir un objectif commun. C'est généralement l'humain qui définit cet objectif. Ce dernier peut communiquer son intention avec le robot de manière délibérée par une communication explicite ou de manière implicite par ses actions. Une fois que l'intention humaine est estimée par le robot, il a pour rôle de l'assister dans la réalisation de cet objectif désormais commun.

2. La planification de l'action : cette étape vient après le partage d'intention. Les partenaires doivent planifier leurs actions en fonction des actions de leur partenaires, on parle ici d'action jointe. Pour planifier une action, un agent (humain ou robotique) a
<figure><img src="image_12.png" /><figcaption>**FIGURE 1.9** – Mécanismes d'un robot impliqués pour mener à une action jointe. D'abord, le robot perçoit l'action de l'humain. À partir de cette action et de sa base de données de connaissances (obtenue par apprentissage), le robot estime l'intention de son partenaire. Ensuite, le robot doit planifier sa prochaine action afin d'assister l'humain dans la réalisation de son objectif. Pour finir, le robot exécute l'action correspondante. Reproduit et traduit de Bauer et al. (2008).</figcaption></figure>

besoin d'informations sur les actions et les intentions des autres agents, ainsi que de connaissances sur les capacités de tous les partenaires et sur l'état de l'environnement. Sur la base de ces connaissances, une action appropriée doit être choisie parmi un ensemble d'actions possibles, qui contribue à la réalisation du plan commun sans gêner aucun partenaire dans son propre sous-plan d'actions.

3. L'exécution de l'action : Cette étape est atteinte une fois l'intention correctement partagée et les actions de chacun planifiées. L'exécution peut être faite soit par un partenaire seul, soit conjointement avec d'autres partenaires.

Atteindre ces trois étapes nécessite que le robot soit capable de gérer une représentation de lui-même et une représentation de l'humain avec lequel il interagit. En d'autre termes, le robot doit pouvoir maintenir des modèles mentaux artificiels de lui-même et de l'humain. Il doit également être capable de mettre à jour ces modèles mentaux au fur et à mesure que l'action se déroule et que les représentations des agents évoluent. La mise à jour de ces modèles mentaux demande la prise en compte de la perspective personnelle de chaque agent. En effet, les représentations des agents peuvent évoluer en fonction de leurs points de vue respectifs (Clodic et al., 2017). Cela fait écho à la théorie de l'esprit (Frith & Frith, 2005). En psychologie, la théorie de l'esprit fait référence à « la capacité de comprendre et de prendre en compte l'état mental d'un autre individu » (Premack & Woodruff, 1978). Cela comprend la connaissance du fait que les croyances, les désirs, les intentions, les émotions et les pensées des autres peuvent être différents des nôtres (Baron-Cohen, 1991). Il a été montré dans une expérience que les robots pourvus de cette compétence sociale étaient considérés comme des coéquipiers socialement plus naturels et intelligents (Hiatt et al., 2011). Aussi, cela permettrait de garantir une exécution du plan partagé plus efficace et fluide (Devin & Alami, 2016). Cependant, il est important de garder à l'esprit que la mise en place de telles compétences sociales chez des robots peut être complexe en raison des limites actuelles de l'intelligence artificielle, notamment pour les connaissances abstraites ou implicites (Verma et al., 2024).

Le comportement du partenaire robotique doit être facilement et intuitivement compris dans un contexte d'interaction et ne doit pas nécessiter de formation ni d'adaptation de la part de l'humain (Glasauer et al., 2010). Des travaux antérieurs ont montré que les mouvements d'un robot pouvaient faciliter la coordination jointe avec un humain et aider sa compréhension des objectifs du robot (Dragan et al., 2013, 2015). Les auteurs soutiennent qu'il serait bénéfique de
soutenir la lisibilité plutôt que la fonctionnalité ou la prédictibilité du mouvement. La prédicti-
bilité d'une action est relative à sa similitude avec l'action que l'observateur attendrait pour un
objectif donné (action inférée à partir de sa finalité). A l'inverse, une action est lisible quand elle
permet à l'observateur d'en prédire l'objectif ou l'intention qu'elle exprime (finalité inférée à
partir de l'action). Le concept de mouvements lisibles fait référence au principe de transparence
du robot (Chakraborti et al., 2019). Elle est définie comme « l'observabilité, la compréhensibi-
lité et la prévisibilité du comportement d'un robot » (Alonso & De La Puente, 2018). Autrement
dit, l'opérateur doit être capable, à tout instant, de répondre aux questions suivantes : que fait le
robot ? Pourquoi fait-il cela ? Que fera-t-il ensuite ? La réponse à ces multiples questions peut
être apportée via différents canaux de communication auxquels le robot peut avoir accès pour
interagir avec l'humain et lui transmettre les informations adéquates.

1.2.3 Les moyens de communication de l'intention du robot à l'humain

La communication est le processus de transmission d'informations d'un agent à un autre (Mortensen, 2017). L'émetteur est la source d'information et code l'information sous une forme, telle qu'un signal, qui est transmise à l'autre agent, le récepteur, par l'intermédiaire d'un canal ou d'une modalité (Shannon, 1948).

<figure><img src="image_13.png" /><figcaption>FIGURE 1.10 – Communication du robot à l’humain. Le robot encode et envoie des informations par le biais d’un signal à un récepteur humain qui les décode et répond par un retour d’information. Le canal (c’est-à-dire la modalité du signal) est soumis à des bruits ou à des perturbations environnementales (par exemple, les sons ambiants) qui peuvent interférer avec la capacité du récepteur à décodeur le message et à obtenir l’information contenue dans le signal. L’émetteur peut utiliser la réponse ou la réaction du récepteur comme retour d’information sur le message. Reproduit et traduit de Cha et al. (2018).</figcaption></figure>

La communication entre les différents agents, qu'elle soit verbale ou non verbale, est nécessaire pour coordonner le travail d'équipe et faciliter les prédictions des autres individus (Hoffman, 2019; Knepper et al., 2017). Permettre au robot de communiquer rend ses actions plus transparentes et prévisibles. Cela facilite ainsi la prise de décision de l'humain tout en favorisant une interaction plus fluide et réussie (Hoffman, 2019). La fluidité collaborative correspond au fait de coordonner des activités communes entre les membres d'une équipe bien synchronisée (Hoffman, 2019). En outre, la communication permet d'améliorer la motivation à réaliser des tâches, l'engagement et la volonté de répondre aux attentes des partenaires (Belhassein et al., 2022).

Un robot peut communiquer avec un humain en utilisant différents canaux sensoriels, à
savoir, l'ouïe, le toucher et la vue (Bauer et al., 2008; Ajoudani et al., 2018; Bonarini, 2020; Lemasurier et al., 2021). Ces communications peuvent être faites à l'aide de technologies supplémentaires ou du robot seul.

### 1.2.3.1 Le canal auditif

Le son est une modalité de communication qui peut engager, informer, transmettre une narration, susciter l'attention et l'affection (Bauer et al., 2008; Bonarini, 2020). Il peut être utilisé pour renforcer et compléter un système de communication verbale ou non verbale ou pour transporter un contenu unique sans nécessiter de contact visuel avec les partenaires d'interaction (Bonarini, 2020; Chidambaram et al., 2012; Schwenk & Arras, 2014). Les communications peuvent se faire de plusieurs manières sur ce canal. Par exemple, le robot peut seulement effectuer des sons seuls, à l'image du robot R2-D2 de Star Wars (Breazeal, 2004; Schwenk & Arras, 2014; Jee et al., 2010; Read & Belpaeme, 2014; Fischer et al., 2014; Read & Belpaeme, 2016; Cha & Matarić, 2016) ou, à l'aide d'outils supplémentaires, produire du langage, à l'image de C-3PO si nous poursuivons avec l'exemple de Star Wars (Breazeal, 2004; Cahn, 1989; Taylor, 2009; Fischer et al., 2014). Le bruit des moteurs d'un robot est aussi compris dans ce canal (Cha et al., 2018; Tennent et al., 2017; Bonarini, 2020).

### 1.2.3.2 Le canal tactile

Les systèmes robotiques peuvent transmettre des informations par la voie haptique par différents moyens de communications (Bauer et al., 2008). La communication par la modalité tactile peut se faire grâce au robot lui-même (Cramer et al., 2009; King et al., 2009; Chen et al., 2011; Arnold & Scheutz, 2018), avec des interfaces haptiques (Okamura, 2009; Bethea et al., 2004; Diolaiti & Melchiorri, 2002; Bowyer et al., 2013) ou bien des vibrations (Silvola & Russell, 2005; Ajoudani et al., 2014; Haynes et al., 2019; Song & Yamada, 2017). La plupart du temps, les communications tactiles sont des solutions réactives aux actions d'un humain (Lamy et al., 2009).

### 1.2.3.3 Le canal visuel

Il existe différentes manières de communiquer visuellement avec un humain notamment par le biais de lumières (Baraka et al., 2016; Cha et al., 2017; Song & Yamada, 2018; Cha & Matarić, 2016; Cha et al., 2018), d'images et d'écrans (Villani et al., 2018; Eimontaite et al., 2022), à l'aide du regard (Yoshikawa et al., 2006; Admoni et al., 2014), ou des mouvements du robot (Okuno et al., 2009; Chidambaram et al., 2012; Salem et al., 2012; Huang & Mutlu, 2013; Dragan et al., 2013, 2015).

La lumière peut être émise par des LED ou d'autres sources lumineuses qui, en exploitant la couleur, l'intensité et la fréquence de clignotement, peuvent transmettre des états émotionnels ou des messages avec un contenu (Baraka et al., 2016; Cha et al., 2017; Song & Yamada, 2018; Cha et al., 2018). Ce type de signal permettrait notamment d'améliorer l'expression de l'intention de robots (Cha et al., 2017; Song & Yamada, 2018) ou de communiquer à propos de l'état d'un robot aux utilisateurs (Baraka et al., 2016).

L'interaction par l'intermédiaire d'un écran, souvent tactile, permet de transmettre un grand nombre d'informations, qu'elles soient textuelles ou visuelles. Les écrans permettent de transmettre des informations spécifiques sur l'intention d'un robot (Shrestha et al., 2016; Warta et al., 2018), en communiquant à propos de la trajectoire que le robot va emprunter (Matsumaru et al.,
2005; Szafir et al., 2015) ou en montrant l'objet qu'un robot souhaite saisir (Mutlu et al., 2009). Les images peuvent également être projetées sur le sol (Matsumaru et al., 2005, 2006; Shrestha et al., 2016) ou sur des objets (Andersen et al., 2016). Une dernière possibilité pour les écrans est de les utiliser pour montrer soit un visage animé, soit des parties de celui-ci parfois intégrées dans des visages physiques (Breazeal et al., 2005).

Le regard peut être utilisé comme moyen de communication non-verbale indicateur de l'in-
tention d'un partenaire humain (Yoshikawa et al., 2006; Mutlu et al., 2009; Saulnier et al., 2011;
Admoni et al., 2014; Cuijpers & Knops, 2015; May et al., 2015; Khambhaita et al., 2016; Ad-
moni et al., 2016; Mikawa et al., 2018; Aliasghari et al., 2021). Il s'agit d'un élément clé de
l'attention conjointe, c'est-à-dire de l'attention partagée sur un objet commun, qui permet la
coordination physique (Admoni et al., 2011).

Une autre façon d'exploiter le canal visuel de l'humain pour le robot est de bouger son corps ou des parties de celui-ci (Gielniak & Thomaz, 2011). Les gestes sont une forme populaire de communication non-verbale qui comprend des mouvements visibles des mains, des bras, du visage et d'autres parties du corps pour exprimer une idée ou une signification (Knapp et al., 2013; Lemasurier et al., 2021). L'idée ici est de s'inspirer de l'humain, connu pour transmettre la majeure partie du contenu de la communication grâce à son langage corporel (Watzlawick et al., 2011). Doter les robots de langage corporel contribuerait à améliorer le caractère naturel et transparent de l'interaction (Bonarini, 2020). En effet l'humain est capable de distinguer de nombreuses informations en observant des mouvements d'autres humains, que ce soient des caractéristiques physiques ou cognitives (Colombel, 2022). De ce fait, de nombreux travaux sur les mouvements des robots cherchent à reproduire et imiter autant que possible les mouvements des humains (Huang & Mutlu, 2013; Salem et al., 2012; Ishiguro & Dalla Libera, 2018). Ceci dans les limites du possibles en lien avec l'implémentation mécanique des articulations, généralement différente des articulations biologiques, en particulier avec les robots collaboratifs.

1.2.4 Conclusion intermédiaire

Nous avons vu que IIHR pouvait être améliorée en s'inspirant des interactions que les hu-
mains ont entre eux et de doter, dans la mesure du possible, les robots de capacités qui contri-
buent à favoriser la qualité de l'interaction. En s'inspirant des théories de l'action jointe et de la
transparence, le robot pourrait soutenir, grâce à ses moyens de communication, les capacités de
prises de décisions d'un humain dans un contexte de CHR. Soutenir les décisions et les choix
d'action d'un humain peut se faire en soutenant sa conscience de la situation (CS) (Chen et al.,
2014).

1.3 La conscience de situation

1.3.1 Définitions

La conscience de la situation, ou Situation Awareness (SA) en anglais, correspond, dans sa définition la plus simple, à « la connaissance de ce qu'il se passe autour de soi » (Endsley, 1995b). Dans la littérature scientifique, elle est communément présentée comme étant « la perception des éléments de l'environnement dans un volume de temps et d'espace, la compréhension de leur signification, et la projection de leur statut dans un futur proche » (Endsley, 1995b). Elle est un élément essentiel du processus de prise de décision et de réalisation d'actions. Plus généralement elle peut être vue comme la capacité d'un individu à orienter ses prises
de décisions en fonction de ses buts prédéfinis et de ses modèles mentaux construits à partir des informations perçues dans l'environnement. La CS est un élément crucial de la prise de décision dans des systèmes complexes tel que l'aviation, le contrôle aérien, les opérations militaires, les interventions médicales, la navigation gestion de systèmes à grande échelle (usine, raffinerie ou nucléaire) (Endsley, 2016). Elle est aussi un mécanisme invoquée dans des situations plus courantes comme la conduite ou le sport. Plus couramment, la CS est mise en œuvre lorsqu'une activité nécessite une mise à jour dynamique de la situation par un individu.

Conformément à la définition proposée par Endsley (1995b), la CS est constituée de trois niveaux (voir figure 1.11).

<figure><img src="image_14.png" /><figcaption>FIGURE 1.11 – Modèle simplifié de la CS à 3 niveaux de Endsley (1995b).</figcaption></figure>

La première étape nécessaire à la construction d'une bonne CS est la **perception** (Niveau 1 de la CS) du statut, des attributs et de la dynamique des éléments pertinents de l'environnement. La perception peut se faire à l'aide d'une ou plusieurs des modalités sensorielles : visuelles, auditives, tactiles, gustatives ou olfactives. Les communications verbales et non verbales constituent une source d'information supplémentaire qui contribue au niveau 1 de la CS. L'expérience de l'individu a une influence sur les éléments perçus et jugés signifiants. Chacune de ces sources d'information est associée à différents niveaux de fiabilité. Enfin, la confiance dans l'information, basée sur le capteur, l'organisation ou l'individu qui la fournit, ainsi que dans l'information elle-même, constituent une partie essentielle du niveau 1 de la CS.

La seconde étape correspond à la **compréhension** (Niveau 2 de la CS) des données et de la signification des indices pertinents perçus par rapport aux buts et objectifs prédéfinis. Elle repose sur une synthèse des éléments désordonnés du niveau 1 et sur une comparaison de ces informations avec les objectifs de l'individu. Sur la base de sa connaissance des éléments perçus, la personne se construit une image holistique de l'environnement et peut relier les mouvements des robots à son objectif. Comprendre l'importance de données perçues permet d'associer une signification et un sens spécifique lié aux objectifs et à l'information dont l'individu dispose. Le développement de la compréhension à partir des données perçues nécessite une bonne base de connaissances ou un modèle mental adéquat afin de rassembler et d'interpréter des éléments de données disparates. Un novice ou une personne confrontée à un nouveau type de situation peut ne pas disposer de ces bases de connaissances et sera donc nettement désavantagé pour développer le niveau 2 de sa CS.

La dernière étape est celle de la **projection** (niveau 3 de la CS). L'individu doit être capable de prédire, au moins à court terme, l'évolution des éléments après connaissance et détermination de leur signification par rapport à l'objectif courant. Pour qu'un individu atteigne le niveau
3 de la CS, il est nécessaire qu'il dispose d'une bonne compréhension de la situation et du fonctionnement de la dynamique du système avec lequel il travaille ou interagit. Ce niveau permet d'être proactif dans la prise de décision. L'utilisation de la compréhension de la situation actuelle pour former des projections nécessite un modèle mental développé et approprié de la tâche. Toutefois, une projection correcte de la situation peut augmenter significativement la charge cognitive de l'individu. En se projetant constamment dans l'avenir, un expert est capable de développer un ensemble de stratégies et de réponses aux événements. Cela permet d'éviter de nombreuses situations indésirables et de réagir très rapidement lorsque divers événements se produisent. L'incapacité à se projeter avec précision à partir du niveau 2 de la CS peut être due à des ressources mentales insuffisantes (si la personne est surchargée par d'autres traitements d'informations) ou à une connaissance insuffisante du domaine. Souvent, cela est également dû à une projection erronée, voir naïve, des tendances actuelles.

<figure><img src="image_15.png" /><figcaption>**FIGURE 1.12 - Modèle détaillé de la CS de Endsley (1995b).**</figcaption></figure>

Il est important de retenir que la CS est un processus dynamique tout au long de la réalisation d'une tâche. Ainsi, améliorer la projection de l'état futur d'un élément de l'environnement de travail au temps *t* renforcera l'attention portée à ce même élément au temps *t+1* si cela est nécessaire. Par exemple, si l'on projette qu'un robot va se déplacer dans un futur relativement proche, on y portera attention quand il initiera son mouvement.

Dans son ensemble, la CS est dépendante de nombreux facteurs individuels et de facteurs liés à la tâche et au système (voir figure 1.12). Au niveau des facteurs individuels, elle peut être limitée par les mécanismes de traitement de l'information, les capacités de mémoire à long terme et les comportements automatisés. Ces facteurs sont modérés par les aptitudes, l'expérience et l'entraînement des individus. Les buts et les objectifs des individus ainsi que leurs attentes liées à la tâche ont aussi une influence sur la CS au cours d'une tâche. Concernant
les facteurs liés à la tâche, la CS est influencée par les capacités du système, la conception de l'interface, le stress et la charge de travail induits par la tâche ainsi que la complexité et l'automatisation (Endsley, 2016).

### 1.3.2 Les mécanismes cognitifs impliqués dans la conscience de situation

Concernant les processus cognitifs, la CS est soutenue par les capacités de perception, d'attention, de mémoire (à long terme et de travail) et de synthèse et d'analyse en lien avec la metacognition (Endsley et al., 2000). L'ensemble de ces processus permettent à l'individu de générer une représentation interne de la situation à l'aide de leurs buts, de leurs attentes, de leurs modèles mentaux et de leur schémas.

Les objets et leurs caractéristiques sont d'abord traités simultanément par le traitement sensoriel pré-attentif (Treisman, 1985). La capacité d'une personne à percevoir plusieurs éléments simultanément est limitée par son attention. Les éléments qui requièrent une attention fréquente en raison de leur importance ou de leur vitesse de changement sont généralement surveillés le plus souvent. Si certaines informations peuvent être plus facilement traitées simultanément (par exemple, les informations sonores et visuelles), il est difficile de traiter simultanément d'autres types d'informations. Si l'information provient de la même modalité sensorielle, fait appel aux mêmes ressources ou requiert le même mécanisme de réponse, il est plus difficile d'y prêter attention simultanément.

La mémoire de travail joue un rôle essentiel dans la réalisation de la CS. Les individus peuvent y stocker temporairement des informations. Seule une quantité limitée d'informations non liées peut être conservée et manipulée dans la mémoire de travail (7 plus ou moins 2). Les informations nouvellement perçues sont combinées aux connaissances existantes dans la mémoire de travail pour actualiser un modèle mental existant ou en construire un nouveau de la situation changeante. Ces éléments d'information sont également traités et utilisés pour créer des projections de ce qui pourrait se produire dans le futur. Ces projections, à leur tour, aident la personne à décider des actions à entreprendre en conséquence.

La mémoire à long terme permet aux individus de contourner les limites que la mémoire de travail impose à la CS. Les structures de la mémoire à long terme, connues sous le nom de schémas et de modèles mentaux, jouent un rôle important dans l'amélioration de la CS d'une personne. Les modèles mentaux ont été définis comme « des mécanismes par lesquels les humains sont capables de générer des descriptions de l'objectif et du fonctionnement du système, des explications du fonctionnement du système et des états du système observés, et des prédic-tions des états de la structure » (Rouse & Morris, 1986). Ils aident la personne à déterminer les informations auxquelles il est important de prêter attention et à former des attentes. Les sché-mas sont des états prototypiques du modèle mental qui permettent d'améliorer l'efficacité du traitement.

Lorsque les individus disposent d'un modèle mental entièrement développé pour un système spécifique, ou un domaine, le modèle mental fournit trois choses : une direction dynamique de l'attention vers des signaux environnementaux critiques, des attentes concernant les états futurs de l'environnement basées sur le mécanisme de projection du modèle, et un lien direct en une seule étape entre les classifications de situations reconnues et les actions types, permettant de prendre des décisions très rapides (Endsley, 2016).
### 1.3.3 Les démons de la conscience de situation

Plusieurs mécanismes ou facteurs qui peuvent être à l'œuvre pour modifier ou altérer un ou plusieurs niveaux de la CS ont été mis en évidence dans la littérature (Endsley, 2016). Ils sont appelés « démons de la CS » et sont classés en huit catégories :

1. **Le modèle mental errant** (errant mental model) qui concerne l'utilisation d'un modèle mental incomplet ou erroné, résultant d'une mauvaise interprétation de l'information ou d'une habitude prise dans un contexte plus ou moins similaire;

2. **Le syndrome hors de la boucle** (out-of-the-loop syndrome) qui apparaît lorsqu'un niveau d'automatisation trop élevé rend la tâche hermétique pour la personne et qu'elle ne peut plus agir de manière adéquate;

3. **La tunnélisation attentionnelle** (attentional tunneling) qui correspond au fait de se focaliser sur une zone ou un problème tout en ignorant les signaux d'autres zones ou problèmes;

4. **La saillance inappropriée** (misplaced salience), qui correspond à l'utilisation de signaux d'alarme de manière répétée ou erronée;

5. **La charge de travail, l'anxiété, la fatigue et autres facteurs de stress** (Workload, Anxiety, Fatigue and Other Stressors - WAFOS) qui correspond à la charge de travail, l'anxiété, la fatigue et d'autres facteurs liés au stress;

6. **La complexité du système** (complexity creep) qui rend difficile la construction d'une représentation suffisante du fonctionnement du système ou de l'outil pour la personne;

7. **La surcharge de données** (data overload), qui correspond au fait de devoir traiter une quantité de données ou une fréquence d'apparitions de données trop importante pour la personne;

8. **Le piège de la mémoire requise** (requisite memory trap) qui survient si les systèmes reposent trop sur les capacités de mémoire de travail des utilisateurs.

La plupart de ces démons ont pour origine plusieurs facteurs externes et individuels. Pour les facteurs externes, la conception de l'interface et sa complexité sont parmi les facteurs essentiels qui ont un impact sur la CS. Du côté des facteurs individuels, on retrouve l'expérience, l'entraînement et les capacités cognitives de la personne comme la mémoire de travail ou la mémoire à long terme qui peuvent eux aussi dégrader la CS.

Enfin, cinquante principes de conception pour lutter contre les démons et soutenir la CS ont été proposés (Endsley, 2016). Ces principes concernent des exigences spécifiques telles que la communication à propos de l'incertitude du processus, la diminution de la complexité et l'utilisation d'alarmes. Les données sont présentées en fonction des objectifs des opérateurs (goal-directed tasks) plutôt que de la technologie. Les auteurs soulignent l'importance d'assister la phase de compréhension en fournissant directement des informations appropriées au niveau 2 de la CS. Il est recommandé que les interfaces communiquent à propos de la fiabilité des capteurs et soient limitées en nombre de caractéristiques potentiellement distrayantes afin qu'elles soient spécifiquement orientées vers les objectifs des opérateurs.

### 1.3.4 Méthode de mesures de la conscience de situation

L'évaluation de la CS est rendue complexe par sa nature de processus cognitif et interne (Endsley, 1995b). Du fait qu'elle dépende principalement des représentations mentales de la
situation de l'individu, il est ainsi difficile d'en obtenir une mesure fiable et certaine. Une méthode courante pour associer la CS à une métrique est de l'inférer à partir d'autres concepts plus simples à mesurer (Endsley & Garland, 2000), comme l'attention (Endsley & Rodgers, 1996; Wickens, 2007) ou la performance à la tâche (Salas et al., 1995; Orique & Despins, 2018), ou en essayant d'obtenir une évaluation directe de l'opérateur (Endsley, 2016). Différentes approches de méthodes de mesures de la CS ont été exposées dans la littérature (Endsley, 1995a). Elles comportent des mesures physiologiques (grâce à des capteurs), des mesures de performances (mesures externes et intégrées de la performance aux tâches), des méthodes subjectives (observation ou personnelle), des questionnaires (après essai ou pendant l'essai) et des méthodes d'interrogation en interrompant la tâche.

### 1.3.4.1 Questionnaires de mesures de la conscience de situation

D'après la littérature, deux méthodes sont couramment employées pour évaluer la CS (Endsley et al., 1998). La première est le Situation Awareness Global Assessment Technique (SAGAT), une méthode objective qui fait appel à un questionnaire préparé à l'avance et adapté à la tâche à accomplir (Endsley, 1988b). L'administration du SAGAT consiste en l'interruption de la tâche de l'individu à des moments sélectionnés aléatoirement et à l'interrogation de ce dernier à-propos de sa perception courante de la situation. Les réponses des personnes sont ensuite comparées à la situation réelle au moment de l'arrêt afin d'en obtenir une mesure objective de la CS. La comparaison donne lieu à une notation qualitative des réponses : correcte ou incorrecte.

La seconde est le questionnaire Situation Awareness Rating Technique (SART) (voir an-nexe A), une méthode d'évaluation subjective reposant également sur un questionnaire (Taylor, 2017). L'administration de ce questionnaire se fait après la tâche et est composé de 10 questions qui évaluent la demande attentionnelle de la tâche (instabilité, variabilité et complexité de la situation), le soutien à la réserve attentionnelle de l'individu pendant la tâche (éveil, capacité mentale de réserve, concentration et division de l'attention) et sa compréhension de la situation (quantité et qualité de l'information et familiarité). Les participants doivent évaluer chaque dimension sur une échelle de Likert à sept points (1 pour faible et 7 pour élevé). Au terme de l'évaluation, un score est calculé à l'aide des scores de chaque dimension du questionnaire par la méthode suivante :

$$ Score SART = Comprehension - (Demande - Soutien) $$

Le score de compréhension est composé de trois questions, celui de la demande de trois questions et celui de soutien de quatre questions. Chacun de ces scores est calculé en faisant la somme des réponses à chaque question de chacune des dimensions. De ce fait, les scores du questionnaire SART sont compris dans l'intervalle [-14; 46].

Toutefois, ces méthodes introduisent une divergence écologique en nécessitant une interruption de la tâche pour l'évaluation (Endsley, 2020; Salmon et al., 2009). Le SAGAT, par sa nature, ne peut être utilisé que dans des environnements simulés (Endsley, 1995a). Le SART peut-être administré dans des environnements réels, mais ne mesure la CS qu'après la tâche. Cela limite les possibilités d'estimer en temps réel la CS. Aussi, c'est une mesure subjective et son interprétation souffre donc de l'influence de la performance perçue par l'individu ou de sa performance attendue (Endsley, 1995a; Endsley et al., 1998).
### 1.3.4.2 Mesures comportementales et physiologiques de la conscience de situation

Une piste explorée dans la littérature consiste à utiliser des mesures comportementales (McKerral & Pammer, 2021) et physiologiques (Bracken et al., 2021), notamment l'oculométrie, l'activité cardio-vasculaire grâce au rythme cardiaque et à l'variabilité du rythme cardiaque (HRV), l'électroencéphalographie (EEG) et l'activité électrodermale (EDA) (Zhang et al., 2020).

Dans une revue systématique des mesures physiologiques de la CS, les auteurs ont identifié seize études pertinentes intégrant l'oculométrie, six associant la CS à l'activité cardio-vasculaire indirecte, trois utilisant des mesures liées à l'EEG et une utilisant l'EDA (Zhang et al., 2020). Toutes les études incluses dans la revue ont également effectué des évaluations directes de la CS. Elles ont comptabilisé l'utilisation du SAGAT dans quatorze études et du SART dans dix études. Une corrélation positive entre les évaluations directes de la CS et la CS évaluée par des mesures oculométriques a été démontrée avec le SART (Paletta et al., 2017; Hasanzadeh et al., 2018) et SAGAT (Merchant et al., 2001; Paletta et al., 2017; de Winter et al., 2019).

Différentes métriques peuvent être évaluées à l'aide de système de suivi oculaire (Zhang et al., 2020). Certaines d'entre elles concernent les aspects inconscients des mouvements oculaires, c'est-à-dire les activités involontaires en réponse à des stimuli environnementaux, telles que la vitesse de clignement des yeux (Liu et al., 2014; Rouwhorst et al., 2017; Wu et al., 2018) et la dilatation des pupilles (Liu et al., 2014; Wu et al., 2018). D'autres correspondent à des aspects plus conscients des mouvements oculaires, par exemple le partage de l'attention visuelle, le plus souvent à l'aide des fixations (Wu et al., 2018; Van De Merwe et al., 2012; Hasanzadeh et al., 2018; Moore & Gugerty, 2010; Desvergez et al., 2019) et des saccades oculaires (Liu et al., 2014; Wu et al., 2018; Law et al., 2020). Les mesures de partage de l'attention visuelle impliquent souvent une zone d'intérêt définie, la durée moyenne de fixation dans une zone d'intérêt (Moore & Gugerty, 2010; Desvergez et al., 2019; Law et al., 2020) et le pourcentage de temps passé dans une zone d'intérêt Moore & Gugerty (2010); Dreyer et al. (2014).

Il faut cependant garder à l'esprit que les mesures d'oculométrie peuvent être affectées par de nombreux facteurs personnels ou externes comme le genre, l'anxiété ou les fluctuations de la lumière (Janisse, 1977; Kruger et al., 2013; Zavagno et al., 2017). Aussi, certaines de ces mesures, notamment celles liées à la dilatation de la pupille peuvent être dues à une augmentation de la charge de travail cognitive, ce qui peut être trompeur lorsque l'on souhaite estimer la CS. Même s'il existe un lien entre CS et charge de travail, il faut rester prudent quant à l'interprétation de ces métriques (Wickens, 2008).

### 1.3.5 Conscience de situation d'équipe

La CS n'est pas un facteur à prendre en compte seulement au niveau individuel mais aussi au sein d'une équipe de travailleurs. En effet, il est rare qu'un individu travaille seul sur une tâche dans un système complexe. Une équipe est considérée comme un ensemble de partenaires auxquels l'état mental de l'intention commune peut être attribué. L'intention commune est définie comme un engagement conjoint à réaliser une action collective dans un certain état mental partagé (Cohen & Levesque, 1991). D'autres auteurs parlent d'un « ensemble distinct de deux personnes ou plus qui interagissent de manière dynamique, interdépendante et adaptative en vue d'atteindre un but, un objectif ou une mission commune et apprécié(e), qui se sont vu assigner des rôles ou des fonctions spécifiques et qui ont une durée de vie limitée en tant que membres » (Salas et al., 1992). De ces définitions, nous pouvons mettre en évidence trois points majeurs. D'abord, les équipes partagent un objectif commun, les individus doivent disposer de
rôles spécifiques et enfin, ces rôles doivent être interdépendants (Endsley, 2016).

Pour qu'une équipe soit efficace, elle doit disposer d'un haut niveau de CS d'équipe. Cette dernière est représentée par la CS de chaque individu appartenant à l'équipe. La CS d'équipe est définie comme « la mesure dans laquelle chaque membre de l'équipe possède la CS nécessaire à l'exercice de ses responsabilités » (Endsley, 1995b). En accord avec cette définition, le succès ou l'échec d'une équipe dépend du succès ou de l'échec de chacun des membres de l'équipe. Si l'un d'entre eux possède une mauvaise CS, cela peut mener à une erreur critique qui peut nuire à l'efficacité de toute l'équipe. Un point souligné concerne l'importance que chaque membre de l'équipe doit disposer de la CS dont il a besoin pour sa propre tâche (Endsley, 2016). Enfin, une composante importante de la CS d'équipe est le degré de CS partagé entre chaque membre de l'équipe. La CS d'équipe peut être vue comme la coordination des perceptions et des actions (Gorman et al., 2017).

La CS partagée est définie comme « la mesure dans laquelle les membres de l'équipe pos-
sèdent la même CS sur les exigences partagées de la CS » (Endsley & Jones, 1997; Endsley,
2001). Ici, il ne s'agit pas du partage total de la CS de chaque individu avec ses partenaires mais
seulement du partage des informations nécessaire à leur objectifs. Sans CS partagée, la coor-
dination de l'équipe peut être insuffisante et la CS individuelle nécessaire à une bonne prise
de décision peut faire défaut. Ainsi, la CS partagée fait référence à la mesure dans laquelle les
personnes ont une compréhension commune des informations qui sont dans le chevauchement
des exigences de CS des membres de l'équipe. Il n'est pas nécessaire de partager toutes les
informations. Chaque membre de l'équipe est au courant de beaucoup de choses qui ne sont pas
pertinentes pour les autres membres de l'équipe. Seules les informations qui sont pertinentes
pour les exigences de la CS de chaque membre de l'équipe doivent être partagées. Il s'agit alors
d'avoir connaissance de ce que savent les autres et de ce qu'ils ont besoin de savoir. La CS
d'équipe est aussi définie comme l'ensemble des informations individuelles et partagées, sur
l'ensemble des connaissances de l'état et de l'équipe et de la situation (Salmon et al., 2008).

<figure><img src="image_16.png" /><figcaption>**FIGURE 1.13** – CS d'équipe et CS partagée tiré de Prébot (2020). SA : Situation Awareness (CS individuelle), SSA : Shared Situation Awareness (CS partagée), TSA : Team Situation Awareness (CS d'équipe)</figcaption></figure>

La CS de l'équipe dans son ensemble dépend donc à la fois d'un niveau élevé de CS chez les individus de l'équipe, pour les aspects de la situation nécessaires à leur travail, et d'un ni-
veau élevé de CS partagée entre les membres de l'équipe, fournissant une image opérationnelle
commune précise des aspects de la situation communs aux besoins de chaque membre (Endsley,
2001). La CS de l'équipe et la CS partagées sont renforcées par quatre facteurs : les exigences,
les dispositifs, les mécanismes et les processus de la CS de l'équipe (Endsley, 2001).

1. **Exigences de la CS de l'équipe** - le degré auquel les membres de l'équipe savent quelles informations doivent être partagées, y compris leurs évaluations et projections de haut niveau (qui ne sont généralement pas accessibles aux autres membres de l'équipe), et les informations sur l'état d'avancement des tâches et les capacités actuelles des membres de l'équipe.

2. **Dispositifs de la CS de l'équipe** - les dispositifs disponibles pour partager ces informations, qui peuvent inclure la communication directe (verbale et non verbale), des affichages partagés (par exemple, des affichages visuels ou sonores, ou des dispositifs tactiles), ou un environnement partagé. Étant donné que la communication non-verbale, telle que les gestes et l'affichage d'objets locaux, et un environnement partagé ne sont généralement pas disponibles dans les équipes distribuées, l'accent est mis sur la communication verbale et les technologies de communication pour créer des affichages d'informations partagées.

3. **Mécanismes de CS de l'équipe** - la mesure dans laquelle les membres de l'équipe possèdent des mécanismes, tels que des modèles mentaux partagés, qui soutiennent leur capacité à interpréter les informations de la même manière et à faire des projections exactes concernant les actions des autres. La possession de modèles mentaux communs peut grandement faciliter la communication et la coordination au sein d'une équipe.

4. **Processus de la CS de l'équipe** - la mesure dans laquelle les membres de l'équipe s'engagent dans des processus efficaces de partage des informations de la CS qui peuvent inclure une remise en question des hypothèses, de vérification des informations ou des perceptions contradictoires, de mise en place d'une coordination et d'une priorisation des tâches, et d'établissement d'un plan d'urgence, entre autres.

Le modèle de CS d'équipe tel que décrit par Endsley (2001) fait écho à la théorie de l'action jointe présentée précédemment en section 1.2. Le premier élément de la liste, à savoir les exigences, rappelle la notion de partage des représentations mise en avant dans la théorie. Les dispositifs de la CS de l'équipe concernent tous les moyens de communications accessibles à chacun des agents pour partager des informations. Ensuite, les mécanismes correspondent à la prédiction des actions des partenaires et l'intention jointe. Pour finir, les processus évoquent la coordination des actions entre tous les membres de l'équipe dans le but d'accomplir l'action jointe.

### 1.3.6 Conclusion intermédiaire

Nous avons vu que la CS était un processus cognitif essentiel de la prise de décision et de réalisation d'actions dans un contexte dynamique. Elle se décline en trois niveaux : la perception, la compréhension et la projection. Aussi, la CS dépend d'une multitude d'autres processus cognitifs comme la perception, l'attention, la mémoire et des capacités de synthèse, d'analyse et de métacognition. Elle peut-être dégradée par huit mécanismes identifiés dans la littérature, appelés *démon de la CS*, dont l'origine dépend de facteurs externes ou individuels. De par sa nature, la CS est un processus complexe à évaluer. La plupart des méthodes d'évaluation que l'on trouve dans la littérature sont des questionnaires administrés pendant ou après les tâches.
Depuis ces dernières années, de nombreux chercheurs s’intéressent à l’utilisation de mesures physiologiques et comportementales pour l’évaluer en temps réel ou à posteriori. Pour finir, nous avons vu que la CS n’était pas seulement un processus à prendre en compte au niveau individuel mais aussi au sein d’une équipe. Notamment, nous avons discuté des points communs entre les notions de CS d’équipe et d’action jointe.

# 1.4 Prise en compte de la conscience de situation dans l'interaction et la collaboration Humain-Robot

## 1.4.1 Conscience de situation et Interaction Humain-Robot

Dans le cadre de la CHR, l'équipe n'est plus seulement composée d'humains mais aussi de robots. Les opérateurs doivent alors intégrer les robots dans leur propre CS et de celle de l'équipe. Les robots doivent, dans leur cas, fournir des informations adéquates à la construction de la CS de leurs partenaires humains, notamment par le biais d'interfaces (Marvel et al., 2020; Riley et al., 2016).

Dix lignes directrices pour la conception d'IHR ont été proposées dans la littérature (Marvel et al., 2020). Les recommandations des auteurs visent à aider les chercheurs à développer des technologies d'interface et d'interaction efficaces, à maximiser la CS des opérateurs dans les équipes de collaboratives humain-robot, à promouvoir des rapports de diagnostic efficaces sur les processus et les systèmes, et à permettre des réponses plus rapides aux erreurs d'équipe-ment ou d'application. Ces recommandations sont inspirées des cinquante recommandations de conception dirigée vers la tâche proposées par Endsley (2016) :

1. l'interface doit être développée en suivant un processus de conception centrée-utilisateur;

2. l'automatisation doit être utilisée de façon minime et ne concerner que des opérations qui nécessitent des actions de routine;

3. l'état du robot et de la tâche doivent être communiqués graphiquement à l'opérateur et ce, de manière continue et pertinente;

4. l'opérateur doit pouvoir intervenir dans la boucle d'action du robot pour assurer la sécurité ou atténuer des problèmes imprévus;

5. les changements sur l'interface ou la tâche ne doivent pas nécessité de formation trop complexe pour l'utilisation du robot par l'opérateur;

6. l'attention de l'opérateur doit être soutenue en hiérarchisant et en facilitant les communications, les tâches et les échanges entre les membres de l'équipe;

7. l'opérateur doit pouvoir interagir ou contrôler efficacement plusieurs robots à la fois;

8. les informations issues de plusieurs capteurs doivent être fusionnées de manière synthétique avant d'être présentées à l'opérateur;

9. l'opérateur doit pouvoir décider de la manière dont les informations lui sont présentées;

10. l'opérateur doit pouvoir manipuler le robot de manière intuitive dans l'environnement de travail;

Cinq recommandations d'amélioration de l'IHR dans le but de soutenir la CS à l'aide d'interfaces, notamment pour des robots contrôlés à distance ont aussi été mises en évidences (Riley et al., 2016) :
1. elles doivent tenir comptes des exigences perceptives, cognitives et physiques imposées par la performance de la tâche par l'opérateur;

2. l'utilisation de l'automatisation doit être faite en mettant l'accent sur les objectifs de l'opérateur humain, et ce, en suivant une approche de conception centrée utilisateur;

3. elles doivent maintenir la CS dans l'environnement de l'opérateur et aussi dans l'environnement du robot;

4. elles doivent s'adapter aux variabilités intra et inter-individuelles des opérateurs;

5. elles doivent permettre de faciliter la capacité des opérateurs à intégrer les informations perçues pour parvenir à une compréhension globale de la situation.

Dans la littérature, l'étude de la CS est souvent associée à l'automatisation des robots (Kaber & Endsley, 2004; Gombolay et al., 2017; Hopko et al., 2021; Roy et al., 2023). Il a été montré qu'une automatisation intermédiaire facilite une CS plus élevée des opérateurs sans nécessairement améliorer leurs performances ou diminuer leur charge de travail (Kaber & Endsley, 2004). Il a aussi été suggéré de doter les robots d'un niveau d'autonomie inférieur à celui dont ils sont réellement capables afin de préserver l'autonomie des individus (Roy et al., 2023). Il a été suggéré le fait que la conscience qu'ont les participants humains des actions de leur équipe diminue à mesure que le degré d'autonomie du robot augmente (Gombolay et al., 2017). Les auteurs suggèrent que les opérateurs conservent le pouvoir de décision principal lorsqu'il s'agit de répartir des tâches avec un partenaire robotique et qu'il y a de fortes chances qu'ils aient à intervenir souvent pour ajuster au fur et à mesure l'allocation des tâches. A l'inverse, dans le cas où peu d'interventions de l'humain seraient nécessaires, les auteurs recommandent de donner l'autorité d'allocation de tâches au robot pour maximiser l'efficacité de l'équipe humain-robot. Enfin, il a été observé, par des mesures d'HRV, que l'augmentation de l'assistance du robot réduisait l'approvisionnement attentionnel et l'engagement dans la tâche des participants conduisant alors les opérateurs à disposer d'une CS dégradée (Hopko et al., 2021).

D'autres travaux se concentrent sur le fait de rendre les robots plus transparents (Lyons, 2013) afin d'améliorer la CS des opérateurs (Chen et al., 2014, 2018a). Dans leurs travaux, les auteurs ont présenté le modèle de transparence de l'agent basé sur la CS (Situation awareness-based Agent Transparency Model - SAT), conçu pour aider les opérateurs dans les équipes humain-agent (voir figure 1.14). Ce modèle comprend trois niveaux permettant à un opérateur de comprendre le processus de raisonnement sous-jacent à l'action et l'aidant dans sa prise de décision (Chen et al., 2018a). Le modèle est composé de trois niveaux indépendants qui soutiennent respectivement les niveaux de perception, de compréhension et de projection du modèle de Endsley (1995b) :

1. Niveau 1 - Buts & Actions : l'agent fournit à l'opérateur les informations de base sur son état actuel et ses objectifs, intentions et plans.

2. Niveau 2 - Raisonnement : l'agent indique son processus de raisonnement ainsi que les contraintes et les possibilités qu'il prend en compte lorsqu'il planifie ses actions.

3. Niveau 3 - Projection : l'agent fournit à l'opérateur des informations concernant ses projections d'états futurs, les conséquences prévues, la probabilité de succès ou d'échec et toute incertitude associée aux projections mentionnées.

Pour finir, d'autres chercheurs ont tenté d'estimer ou d'évaluer la CS des opérateurs en temps réel lors de scénarios d'interaction avec des robots (Dini et al., 2017; Buehler & Weisswange, 2018; Régis et al., 2014). Une méthodologie pour mesurer et prédire la CS en temps
<figure><img src="image_17.png" /><figcaption>**FIGURE 1.14** – Modèle de transparence des agents basé sur la conscience de situation proposé par Chen et al. (2014).</figcaption></figure>

réel à l'aide de mesures oculométriques a été proposée (Dini et al., 2017). Le travail des auteurs montrent qu'en prédisant la CS, ils sont aussi capables de prédire la performance à une tâche d'IHR. Une méthode d'inférence de la croyance d'un humain pour estimer sa CS a également été proposée dans la littérature (Buehler & Weisswange, 2018). Le système utilisé a permis de fournir des prédictions de l'action humaine et des informations à propos de la CS des participants. Enfin, une méthode d'inférence par apprentissage automatique pour détecter des états de tunnélisation attentionnelle à partir de données psychophysionlogiques et oculométriques a été développée (Régis et al., 2014).

## 1.4.2 Proposition d'un modèle de prise en compte de la conscience de situation par un robot

En vue de compléter cette revue de la littérature, nous souhaitons proposer un modèle de la prise en compte de la conscience de la situation dans le contexte de la collaboration humain-robot. Ce modèle (voir figure 1.15) s'appuie sur les connaissances présentées dans ce premier chapitre du manuscrit. Il s'agit ici d'une synthèse des travaux et des modèles présentés dans les sections 1.1 à 1.4.

Le modèle proposé comprend un environnement de travail dynamique dans lequel une tâche jointe est réalisée par un humain et un système robotique. Ce modèle n'a pas prétention à être exhaustif à propos des processus de traitement de l'information de l'humain et du système robotique. Nous souhaitons avant tout proposer une version simplifiée de notre vision et ne traiter que de la prise en compte de la CS de l'humain par un robot.

Dans ce modèle, l'humain et le robot partagent un environnement de travail et participent conjointement à une tâche. Chaque action réalisée par l'humain pendant la tâche jointe est le résultat de la décision prise à l'aide de sa CS (Endsley, 1995b). Il perçoit d'abord les éléments de son environnement de travail, dont le robot, comprend la signification de ses éléments et projette leurs états futurs selon l'action qu'il réalisera (voir section 1.3).

Pour le système robotique, les étapes de perception, de machine à état et de génération de
<figure><img src="image_18.png" /><figcaption>**FIGURE 1.15** – Modèle de prise en compte de la conscience de situation par un robot.</figcaption></figure>

trajectoire peuvent être vus comme un parallèle, informatisé, de la CS de l'humain. Le contrôleur agit comme une sorte d'imitateur de la prise de décision d'un humain. Le robot se met en mouvement pour exécuter l'action commandée par le contrôleur. Cette dernière a un effet sur l'environnement de travail et est perçue par le bloc de perception au tour suivant. Il peut aussi s'agir de communiquer avec le partenaire humain. Cette communication peut se faire grâce à une interface, des signaux visuels ou des alarmes, inclus dans le système robotique.

Une fois que l'humain ou le robot ont agit sur la tâche jointe, l'état de l'environnement de travail est modifié. Ce nouvel état est perçu par le système de perception de chaque agent (humain et système robotique). Au terme du processus de décision et d'action de chacun, l'état de la tâche change encore jusqu'à ce que la tâche soit terminée. Aussi, indépendamment de l'effet sur la tâche, l'action de chaque agent est perçue par le partenaire et peut modifier sa décision. Par exemple, si un humain voit le robot s'approcher d'un objet pour le saisir, il évitera alors de s'approcher de cet objet pour ne pas entrer en collision avec le robot.

La contribution principale de notre modèle réside dans le bloc « **Estimation de la conscience de situation de l'humain** ». Celle-ci peut se faire à partir des informations perçues : l'état de l'environnement, l'action de l'humain sur la tâche ou l'état courant de la tâche. Ces informations permettent au système robotique d'estimer la CS de l'humain. Cette estimation peut-être qualitative ou quantitative selon les méthodes de mesures à disposition. Une fois estimée, la CS est traitée comme une information supplémentaire fournie à la machine à état. Elle vient ainsi influencer l'action réalisée par le robot afin de soutenir la CS de l'humain. Cette estimation permet d'une part d'évaluer la sécurité de l'opérateur et aussi de la soutenir si cela est nécessaire.
# Conclusion

Dans ce chapitre, nous avons proposé un état de l'art des différentes thématiques nécessaire à la prise en compte de la CS dans le cadre de la CHR. Les différents concepts abordés ont pour vocation de proposer un contexte théorique aux travaux de ce manuscrit. Enfin, nous avons souhaité proposer une réponse à la question 1 :

## Question 1.1

Comment modéliser la conscience de situation d'un humain afin qu'elle puisse être soutenue par les actions d'un robot dans le cadre de la collaboration humain-robot ?

En premier lieu, nous avons présenté la robotique collaborative en section 1.1. Nous avons discuté de son apport en comparaison avec la robotique industrielle traditionnelle et de la voilonté de faire travailler des robots aux cotés des humains. Dans la section 1.2, nous avons présenté la théorie de l'action jointe, initialement issue de scénarios de collaboration entre, au moins, deux humains. Ce concept repose sur les capacités des individus à partager des représentations, prédire des actions et intégrer les effets prévus des actions de chaque partenaire. Nous avons vu que cette théorie pouvait aussi être valide dans le contexte de l'IHR et que cela nécessite de donner aux robots des capacités sociales d'interaction. Aussi, nous avons présenté les différents canaux de communications accessibles aux robots pour partager des informations avec leur partenaires humains pendant des actions jointes. Ensuite, nous avons présenté la notion de CS en section 1.3, en nous concentrant sur le modèle de Endsley (1995b) qui a guidé nos travaux de recherche. Il nous parait nécessaire pour un humain de disposer d'une bonne CS en vue de réaliser une action jointe. En effet, posséder une bonne CS implique que l'individu possède la capacité d'orienter ses prises de décisions en fonction de ses buts prédéfinis et de ses modèles mentaux construits à partir des informations perçues dans l'environnement. Enfin, nous avons discuté des apports de la prise en compte de la CS en IHR dans la section 1.4. Nous avons présenté les différentes approches existantes de prise en compte de la CS en IHR et en CHR. Pour finir, nous avons proposé un modèle de prise en compte de la conscience de situation par un robot dans le contexte de la CHR (voir figure 1.15).

Ce modèle ouvre plusieurs perspectives quant à la prise en compte de la CS dans le contexte de la CHR. D'une part, nous pouvons nous demander en quelles circonstances la CS d'un individu peut être dégradée lorsqu'il interagit avec un robot. Cela pose aussi la question de la nature de l'altération de la CS. Dépend-elle de défaillances au niveau des facteurs individuels ou de ceux liés à la tâche et au système ? Ou alors est-ce en raison de défauts dans un des trois niveaux de la CS. Ces questions seront étudiées dans le chapitre 2. Dans celui-ci, nous présenterons une analyse d'accidents de robotique industrielle. Cette dernière a pour but d'identifier les facteurs de risques qui participent à dégrader la CS des opérateurs en interaction avec des robots dans des milieux industriels. Mettre en évidence ces facteurs nous permettra, par la suite, de trouver des moyens d'améliorer la sécurité des interactions.

En effet, grâce à l'identification de ces facteurs, nous serons en mesure d'étudier des solutions qui permettent de maintenir la CS des individus en interaction avec un robot. Néanmoins, quelle est la nature de ces solutions ? Doivent-elles être préventives ou réactives ? Des solutions préventives impliquent une prise en compte de la CS dès la conception d'une tâche voir de l'espace de travail en empêchant, dans la mesure du possible, le moindre défaut de CS. Des solutions réactives nécessitent de connaître à l'avance les potentiels risques de la tâche ou de
défaillance de la CS et de pouvoir réagir suffisamment vite pour les corriger. Cependant, il existe des défauts dans ces deux types de solutions. D'une part, pour les solutions de prévention, nous ne pouvons jamais être sûrs que l'individu réagira de la manière envisagée. L'étude des facteurs humains a montré qu'il était impossible de prévoir à l'avance tous les événements ou les situations qui peuvent survenir dès lors qu'un humain est présent. Ce manque d'exhaustivité contraint également les solutions réactives à des situations identifiées, mais se détériore dès lors qu'un imprévu se présente. Aussi, mettre en place des solutions réactives implique d'être capable de détecter des manques dans la CS des individus. Également, comment s'assurer que ces méthodes fonctionnent et permettent effectivement de soutenir la CS des individus ? Ces questionnements seront étudiés dans les chapitres 3 à 5 de ce manuscrit.

De plus, le modèle soulève une autre problématique concernant l'estimation, ou la quantification, de la CS. Comme nous avons pu le voir, il existe une multitude de mesures d'évaluation et d'estimation de la CS dans la littérature. En pratique, lesquelles de ces méthodes permettent réellement de qualifier, ou de quantifier, la CS des individus dans le contexte de la CHR ? Une estimation qualitative de la CS consisterait à lui attribuer des valeurs nominales ou ordinales. Celles-ci correspondraient par exemple à qualifier la CS selon la détection, ou non, de facteurs de dégradation ou bien de caractériser la CS comme étant faible, moyenne ou élevée. L'estimation nominale pourrait aussi être réalisée à l'aide de mesures physiologiques et comportementales et de mesures de performance à la tâche. Enfin, une mesure quantitative de la CS impliquerait de développer une métrique correspondante. Cela pose aussi la question de l'utilisation de l'estimation de la CS. Comment, en pratique, l'intégrer à la machine à état du système robotique ? De quelle nature est l'information à transmettre pour que le robot tienne compte de l'estimation de la CS dans la planification des actions à suivre ?
# Chapitre 2

## Accidents de robotique industrielle et manque de conscience de situation

### Table des matières

<table><tr><td>Introduction</td><td>39</td></tr><tr><td>2.1 Interaction à risque entre l'humain et le robot</td><td>41</td></tr><tr><td>2.1.1 Défauts de sécurité en robotique industrielle</td><td>41</td></tr><tr><td>2.1.2 Le lien entre l'erreur humaine et la conscience de situation</td><td>42</td></tr><tr><td>2.1.3 Conscience de situation et analyse des accidents</td><td>43</td></tr><tr><td>2.1.4 Objectif et hypothèses</td><td>44</td></tr><tr><td>2.2 Méthode d'analyse des rapports d'accidents</td><td>44</td></tr><tr><td>2.2.1 La base de données EPICEA</td><td>44</td></tr><tr><td>2.2.2 Méthode d'analyse des rapports</td><td>44</td></tr><tr><td>2.2.3 Identification des démons</td><td>45</td></tr><tr><td>2.2.4 Exemple d'analyse d'un rapport</td><td>45</td></tr><tr><td>2.2.4.1 Division en phases</td><td>46</td></tr><tr><td>2.2.4.2 Analyse avec les démons de la conscience de situation</td><td>46</td></tr><tr><td>2.3 Résultats de l'analyse d'accidents</td><td>46</td></tr><tr><td>2.3.1 Les manifestations des démons de la conscience de situation</td><td>46</td></tr><tr><td>2.3.2 Séquences de démons de la conscience de situation dans ces accidents</td><td>47</td></tr><tr><td>2.4 Discussion</td><td>48</td></tr><tr><td>2.4.1 Démons de la conscience de situation et accidents de robotique industrielle</td><td>48</td></tr><tr><td>2.4.2 Schémas d'apparition des démons en robotique industrielle</td><td>50</td></tr><tr><td>2.4.3 Limites de l'étude</td><td>51</td></tr><tr><td>Conclusion</td><td>51</td></tr></table>

### Introduction

Dans le chapitre précédent, nous avons présenté un état de l'art des différentes thématiques nécessaire à la prise en compte de la conscience de la situation (CS) dans le cadre de la collaboration humain-robot (CHR). Nous avons commencé par une présentation de la robotique col-
laborative et de son apport à la robotique industrielle. Nous avons poursuivis notre état de l'art en présentant la manière dont la collaboration humain-robot (CHR) s'inscrit dans l'interaction humain-robot (IHR). Nous avons souligné l'intérêt de doter les robots de capacités qui contribuent à favoriser la qualité de l'interaction en s'inspirant des interactions entre humains. En s'inspirant des théories de l'action jointe et de la transparence, le robot pourrait soutenir, grâce à ses moyens de communication, les capacités de prises de décisions d'un humain dans un contexte de CHR. Par la suite, nous avons introduit la conscience de la situation (CS) au travers du modèle de Endsley (1995b). En vue de participer à une action jointe, il nous parait essentiel qu'un humain dispose d'une bonne CS. Cela implique que l'individu possède la capacité d'orienter ses prises de décisions en fonction de ses buts prédéfinis et de ses modèles mentaux construits à partir des informations perçues dans l'environnement. Nous avons relié les notions d'action jointe, de CS d'équipe et de partage de CS dans le cadre de la CHR. Enfin, nous avons proposé un modèle de prise en compte de la CS d'un humain par un robot dans le contexte de la robotique collaborative.

Une première étape de la prise en compte de la CS nécessite au préalable de cibler les facteurs qui contribuent à la dégrader dans la CHR. Néanmoins, la cobotique n'est encore que trop peu implanté dans les usines et, de ce fait, nous ne disposons pas de retour d'utilisation des robots collaboratifs en dehors des laboratoires. Comme nous l'avons vu dans la section 1.1.1, la cobotique est née de la volonté de faire collaborer des humains et des robots dans des espaces de travail partagés. Cette vision a pour but de contraster avec les applications traditionnelles de la robotique industrielle, dans lesquelles les robots sont isolés dans des cages limitant toute interaction avec des individus. Différentes études se sont intéressés aux accidents dans la robotique industrielle. L'erreur humaine (Jiang & Gainer Jr, 1987) et la prise de décision incorrecte par les opérateurs (Sugimoto & Kawaguchi, 1983; Jiang & Gainer Jr, 1987; Malm et al., 2010) sont parmi les causes d'accidents les plus cités. À notre connaissance, des défauts de CS n'ont jamais été cités parmi les causes d'accidents de robotique industrielle. Pourtant les situations dangereuses dans lesquelles l'individu a pris une mauvaise décision seraient dues, dans environ 80-85% des cas, à une dégradation de la CS (Endsley, 1995b). Aussi, comme nous avons pu le voir dans la section 1.3.3, huit facteurs, appelés *démon de la CS*, ont été mis en évidence dans la littérature (Endsley, 2016). Ces derniers peuvent être à l'œuvre pour altérer un ou plusieurs niveaux de la CS.

Dans ce chapitre, nous proposons d'analyser des rapports d'accidents de robotique industrielle issus de la base de données Etudes de prévention par l'informatisation des comptes-rendus d'enquêtes d'accidents (EPICEA)<fnref n="1" /> de l'Institut National de Recherche et de Sécurité (INRS). Nous utilisons les huit démons de la CS comme grille d'analyse des rapports d'accidents. Cette analyse a pour but de mettre en évidence les facteurs qui contribuent à la dégradation de la CS. Cela nous permettra par la suite d'avoir connaissances des potentielles situations à risques pour les opérateurs en interactions avec des robots industriels. L'identification des situations dangereuses dans la robotique industrielle, dans laquelle il ne doit pas y avoir d'interaction, apporte des connaissances pouvant être utilisées afin de sécuriser les interactions avec les cobots dans le contexte de la CHR. En effet, nous supposons que des phénomènes produits lors d'interactions entre humains et robots industriels sont amenés à se reproduire lors d'interactions entre humains et cobots.

Ce chapitre répond à la question 2 présentée en Introduction de ce manuscrit.

<footnote n="1">1. https://www.inrs.fr/publications/bdd/epicea.html</footnote>
## Question 2

Quels sont les facteurs de risques qui peuvent participer à la dégradation de la conscience de situation d'un opérateur en milieu industriel ?

Dans la section 2.1, nous présentons l'état de l'art concernant les interactions dangereuses entre l'humain et le robot, l'erreur humaine & la CS et l'analyse des accidents. Dans la section 2.2, la méthode que nous avons utilisée pour l'analyse des accidents est détaillée. À l'aide du mot-clé robot, 45 accidents ont été identifiés dans le domaine industriel. Chaque accident a été examiné et divisé en séquence d'évènements précédents l'accident. Chacune de ces séquences a ensuite été associée à un des démons de la CS lorsque cela était approprié. Nos résultats sont présentés dans la section 2.3. Ces derniers révèlent l'implication des démons de la CS dans les accidents de robotique industrielle analysés. Dans la section 2.4, ces résultats sont discutés à la lumière de notre objectif de prise en compte de la CS des opérateurs dans des cas de CHR. Enfin, les conclusions de ce travail sont présentées dans la section 2.4.3.

# 2.1 Interaction à risque entre l'humain et le robot

## 2.1.1 Défauts de sécurité en robotique industrielle

La sécurité est la caractéristique inhérente et la plus importante d'un robot qui doit travailler en étroite collaboration avec les êtres humains (De Luca & Flacco, 2012). La robotique industrielle est encadrée par deux normes de sécurité (ISO-10218-1, 2012; ISO-10218-2, 2011). La première, « Robots et dispositifs robotiques — Exigences de sécurité pour les robots industriels — Partie 1 : Robots » (ISO-10218-1, 2012) spécifie les exigences et les recommandations pour la prévention, les mesures de protection et les informations pour l'utilisation des robots industriels. Elle décrit les phénomènes dangereux de base associés aux robots et fournit des exigences pour éliminer ou réduire de manière appropriée les risques associés à ces phénomènes dangereux. La deuxième, « Robots et dispositifs robotiques — Exigences de sécurité pour les robots industriels — Partie 2 : Systèmes robots et intégration » (ISO-10218-2, 2011) spécifie les exigences de sécurité pour l'intégration des robots industriels et des systèmes robotisés tels que définis dans la norme ISO-10218-1 (2012). Les normes de sécurité visent à empêcher l'accès humain à l'espace de travail du robot ou à arrêter le robot lorsqu'un événement inattendu dans l'espace de travail est détecté par des capteurs externes (Meziane et al., 2014).

La plupart du temps, des accidents se produisent lorsqu'un individu doit effectuer une tâche à côté d'un robot (Malm et al., 2010). L'utilisation des mesures de sécurité actuelles peut s'avérer difficile lorsqu'une personne et un robot se trouvent à proximité. En effet, en ce qui concerne les robots conventionnels, bien qu'il soit interdit de s'approcher de la zone du robot, les opérateurs de tous types passent environ trois heures par jour à travailler près d'eux (Aghazadeh et al., 1993). Même si les interactions ne sont pas souhaitées, les opérateurs doivent effectuer des opérations de maintenance, de nettoyage, de dépannage, de réparation ou d'apprentissage du robot. Ils peuvent également travailler à proximité d'un robot opérationnel ou d'une cellule de travail robotisée. Toutes ces raisons conduisent à des situations dangereuses dans l'espace de travail du robot.

Un travail antérieur a décrit que la majorité des situations dangereuses étaient causées par l'intrusion d'opérateurs humains dans l'espace de travail du robot, tant pendant des phases opé-
rationnelles ou non opérationnelles (Sugimoto & Kawaguchi, 1983). La présence d'individus
dans la cage du robot, en particulier pendant des phases opérationnelles, dénote d'une prise
de risque ou de l'incompréhension du danger potentiel du robot. D'après les auteurs, 73% des
blessures et des décès liés à des accidents ont pour cause un mouvement inhabituel et inattendu
des robots (Sugimoto & Kawaguchi, 1983). Du point de vue de l'opérateur, cela se caractérise
par la mauvaise interprétation de l'arrêt du robot et de la croyance erronée qu'un robot arrêté
est un robot éteint. Cette dernière traduit d'une compréhension incorrecte de l'état du robot et,
par conséquent, d'une CS dégradée de l'individu.

2.1.2 Le lien entre l'erreur humaine et la conscience de situation

Diverses méthodes ou outils sont utilisés pour analyser les activités humaines et les fac-
teurs humains impliqués dans les accidents. Ils se concentrent sur le niveau de connaissance
de l'opérateur (Rasmussen, 1983), sur les erreurs potentielles actives et latentes à l'origine des
accidents (Reason, 1990), ou sur les causes humaines d'un accident et leur prévention (Shap-
pell et al., 2007)). Toutefois, ces méthodes générales ne se concentrent pas suffisamment sur
les aspects cognitifs de l'erreur humaine dans l'analyse des accidents. Le modèle de la CS de
Endsley (1995b) peut être mis à profit pour atteindre cet objectif.

Selon Endsley, la CS peut être divisée en trois niveaux (Endsley, 1988a, 1995b). Le premier niveau (CS niveau 1) est lié à la perception des éléments présents dans l'environnement. Le deuxième niveau (CS niveau 2) est lié à la compréhension de la situation actuelle. Le troisième niveau (CS niveau 3) concerne la capacité à faire une projection de l'état futur, en déterminant les conséquences des actions ultérieures et l'évolution de tous les éléments de l'environnement. Une décision prise dans le contexte d'une conscience dégradée de la situation résulterait en une probabilité d'erreur humaine plus élevée (Suhir et al., 2015). En outre, huit mécanismes ou facteurs peuvent être à l'œuvre pour modifier ou altérer un ou plusieurs niveaux de la CS (Endsley, 2016). Ils sont appelés démons de la CS et chacun d'entre-eux peut concerner un ou plusieurs niveaux de la CS parmi la perception, la compréhension et la projection (Endsley, 2016; Stratmann & Boll, 2016). Endsley (2016) défini huit démons de la CS auxquels nous proposons d'ajouter des cas de la littérature en robotique en lien avec la robotique tirés de la littérature :

1. **Le modèle mental errant** (errant mental model) qui concerne l'utilisation d'un modèle mental incomplet ou mauvais résultant d'une mauvaise interprétation de l'information;

**Exemple :** l'humain pense que le robot est éteint car il est inactif alors que ce dernier peut se remettre en activité à tout moment (Sugimoto & Kawaguchi, 1983).

2. **Le syndrome hors de la boucle** (out-of-the-loop syndrome) qui apparaît lorsqu'un niveau d'automatisation trop élevé rend la tâche hermétique pour la personne et qu'elle ne peut plus agir de manière adéquate;

**Exemple :** l'opérateur et le robot effectuent une tâche en coopération mais l'humain ne sait ni pourquoi ni comment le robot effectue ses actions (Schuster et al., 2013).

3. **La tunnélisation attentionnelle** (attentional tunneling) qui correspond au fait de se focaliser sur une zone ou un problème tout en ignorant les signaux d'autres zones ou problèmes;

**Exemple :** l'opérateur est concentré sur sa tâche dans un espace partagé et n'est plus conscient des actions ou des états du robot (Gateau et al., 2016).
4. **La saillance inappropriée** (misplaced salience), qui correspond à l'utilisation de signaux d'alarme de manière répétée ou erronée;

**Exemple** : le robot et son environnement ne disposent pas de signaux lumineux qui indiquent son activité ou son état (Schillaci et al., 2013).

5. **La charge de travail, l'anxiété, la fatigue et autres facteurs de stress** (Workload, Anxiety, Fatigue and Other Stressors - WAFOS) qui correspond à la charge de travail, l'anxiété, la fatigue et d'autres facteurs liés au stress;

**Exemple** : la répartition des tâches entre l'humain et le robot est trop inégale, ce qui va soit trop mobiliser l'opérateur et augmenter sa charge de travail, soit le désengager de la tâche et diminuer sa charge de travail (Koppenborg et al., 2017).

6. **La complexité du système** (complexity creep) qui rend difficile la construction d'une représentation suffisante du fonctionnement du système ou de l'outil pour la personne;

**Exemple** : le fonctionnement du robot dépend de trop de systèmes et rend difficile voir impossible d'identifier un système faisant défaut en cas de problème (Malik & Bilberg, 2019).

7. **La surcharge de données** (data overload), qui correspond au fait de devoir traiter une quantité de données ou une fréquence d'apparitions de données trop importante pour la personne;

**Exemple** : l'humain doit traiter rapidement un ensemble de signaux du robot ou de son interface (Riley & Endsley, 2004).

8. **Le piège de la mémoire requise** (requisite memory trap) qui survient si les systèmes reposent trop sur les capacités de mémoire de travail des utilisateurs.

**Exemple** : l'opérateur doit réaliser trop de sous-tâches et ne dispose pas d'interface ou d'aide de suivi de ses sous-tâches (Layer et al., 2009).

### 2.1.3 Conscience de situation et analyse des accidents

Des défauts de CS ont déjà été évoqués comme causes d'accidents dans les domaines aéronautique (Jones & Endsley, 1996; Endsley, 2016) et maritime (Stratmann & Boll, 2016). Dans l'aéronautique, 76,3% des erreurs ont été associés à des erreurs de perception (niveau 1 de la CS), 20,3% à des erreurs de compréhension (niveau 2 de la CS) et 3,4% à des erreurs de projection (niveau 3 de la CS). Dans le domaine maritime, les chercheurs ont montré qu'un accident peut impliquer plus d'un démon de la CS. Aussi, des défauts au niveau de la perception semblent être la cause la plus importante d'erreur humaine (Stratmann & Boll, 2016).

Concernant les accidents en robotique industrielle, les principales analyses ont portées sur l'erreur humaine et la conception du lieu de travail (Jiang & Gainer Jr, 1987; Malm et al., 2010), la mauvaise compréhension de l'état du robot (Or et al., 2009) et la présence d'opérateurs dans l'espace de travail du robot (Aghazadeh et al., 1993; Charpentier & Sghaier, 2012). Il a été exposé qu'une proportion importante des accidents de robotique industrielle se produit pendant la phase opérationnelle, à savoir lorsque le robot effectue une tâche (Charpentier & Sghaier, 2012). Enfin, l'implication potentielle des démons de la CS dans les accidents de robotique industrielle a été suggérée (Salotti & Suhir, 2019).
### 2.1.4 Objectif et hypothèses

Pour répondre à la question 2, nous proposons l'hypothèse suivante à partir de la littérature et du chapitre précédent :

**Hypothèse 2.1**

Les huit démons de la conscience de situation sont une grille d'analyse d'accidents de robotique industrielle.

Il s'agit d'analyser les rapports d'accidents de robotique industrielle en reliant les causes de ces accidents aux démons de la CS. À notre connaissance, l'analyse d'accidents de robotique industrielle et la CS n'ont pas encore été associées. Des études antérieures ont mis en évidence la responsabilité des erreurs humaines et de la conception des espaces de travail (Jiang & Gainer Jr, 1987; Malm et al., 2010). Aussi, un travail connexe a exposé le rôle des démons de la CS dans des accidents maritimes (Stratmann & Boll, 2016).

## 2.2 Méthode d'analyse des rapports d'accidents

### 2.2.1 La base de données EPICEA

Les rapports d'accidents ont été extraits de la base de données EPICEA. Il s'agit d'une base de données nationale française anonyme fournie par l'Institut français de recherche et de sécurité. Bien que cette base ne soit pas exhaustive, environ 21 000 cas d'accidents du travail ont été enregistrés depuis 1990 dans les entreprises françaises. Les accidents enregistrés sont étiquetés selon différents niveaux de conséquences, qui peuvent être mortelles, graves (e.g. l'opérateur a été blessé) ou significatives (e.g. certains équipements de travail ont été endommagés). L'objectif de la base de données EPICEA est de mettre en évidence les causes potentielles et l'évolution des accidents, sans chercher à établir les responsabilités, et de fournir des cas illustratifs pour la sensibilisation, la formation, etc.

### 2.2.2 Méthode d'analyse des rapports

Tous les rapports d'accident de la base de données sont labellisés avec des mots-clés. Afin de se concentrer sur les accidents impliquant des robots, il a été décidé d'utiliser le mot-clé robot. Ce mot-clé a permis de collecter 55 rapports d'accident à la date du 20 juin 2020 (63 à la date du 22 janvier 2024). D'autres mots-clés ont été essayés (« robotique » par exemple) mais n'ont donné aucun résultat. Tous les rapports ont été examinés par trois évaluateurs et leur résultats ont été rassemblés et discutés au terme des analyses de chacun. Les évaluateurs étaient d'accord pour 12 des 55 accidents. Pour les 43 rapports restants, chacun a fait l'objet d'une discussion entre chacun des évaluateurs. Certains rapports d'accident ont été rejetés parce qu'ils ne contenaient pas d'informations suffisantes pour comprendre ce qui s'était réellement passé (N=2). Dans certains cas, il y avait un robot dans l'environnement de l'accident, mais l'incident ne résultait pas directement d'un problème avec le robot ou d'une interaction avec lui (N=8). Par exemple, un robot et une presse se trouvent dans le même espace de travail et le robot n'est pas utilisé. En cas de problème avec la presse, l'opérateur pénètre dans la cellule robotisée et se blesse parce que la presse n'a pas été arrêtée. Ce type d'accident a été rejeté. Cet examen a permis de constituer un ensemble de 45 rapports d'accidents impliquant des systèmes
robotisés.

Pour chacun des 45 rapports d'accident, une analyse de la tâche a été effectuée. Tout d'abord, chaque accident est divisé en phases mettant en évidence la séquence détaillée des événements. Ensuite, en utilisant les démons de la CS comme critère d'évaluation, la manifestation des démons de la CS a été mise en évidence au cours des différentes phases. Chaque démon de la CS soulevé a fait l'objet d'un débat entre les évaluateurs. Au final, les démons de la CS retenus ont été le résultat d'un accord entre les évaluateurs.

### 2.2.3 Identification des démons

Les démons de la CS n'ayant jamais été utilisés pour analyser les accidents de robotique industrielle, ce paragraphe fournit des éléments complémentaires pour aider à identifier leur présence. Ces éléments constituent des lignes directrices pour leur identification.

- Le modèle mental errant : identifié lorsque l'opérateur a, ou semble avoir, utilisé une règle d'inférence erronée pour déterminer l'état du robot et de son environnement.

- Le syndrome hors de la boucle : identifié lorsqu'un opérateur a manqué un événement important ou qu'une action normale mais inattendue du robot est observée.

- La tunnélisation attentionnelle : identifiée lorsque l'opérateur est concentré sur sa tâche lorsqu'il se trouve dans l'espace de travail du robot, quelles que soient les actions de ce dernier.

- La saillance inappropriée : identifiée lorsqu'un élément de l'interface n'indique pas clairement les informations pertinentes à l'opérateur, ou peut être confondu par erreur avec un autre.

- La charge de travail, l'anxiété, la fatigue et autres facteurs de stress (WAFOS) : identifié lorsque le rapport d'accident mentionne des informations sur l'état psychologique ou cognitif de l'opérateur.

- La complexité : identifiée lorsqu'il y a trop de procédures pour l'utilisation ou la maintenance du robot ou lorsque le système ou l'interface est trop complexe pour l'opérateur.

- La surcharge de données : identifiée lorsque l'environnement, le robot ou le panneau de commande fournissent trop d'informations par rapport aux capacités de traitement de l'information de l'opérateur.

- Le piège de mémoire requise : identifié lorsqu'il est explicitement précisé que l'opérateur oublie une étape importante de la séquence de tâches.

Ces éléments nous ont permis de relever la présence ou l'absence de chacun des 8 démons de la CS pour chacun des 45 accidents robotiques. Plusieurs démons peuvent être identifiés dans un même rapport d'accident. Différentes relations existent entre eux. Il peut s'agir d'une séquence temporelle, d'un lien de causalité ou d'une simple co-occurrence. Parfois, le même ensemble de démons avec la même relation est identifié dans plusieurs rapports d'accident. Cette particularité sera examinée plus tard dans ce chapitre. Enfin, si le même démon de la CS est identifié pour différentes phases de l'accident, il n'est pris en compte qu'une seule fois à des fins statistiques.

### 2.2.4 Exemple d'analyse d'un rapport

**Description d'un des accidents** : « La victime, un opérateur de presse âgé de 27 ans, se trouvait dans l'atelier de la machine de moulage par injection. Pendant qu'il travaillait, il s'est levé pour aller chercher des pièces de l'autre côté du convoyeur. Pour ce faire, elle
a dû se déplacer dans la zone du robot manipulateur d'évacuation. À ce moment-là, le robot
qui effectuait sa descente a heurté la victime près de l'omoplate. Le choc a provoqué diverses
contusions nécessitant une hospitalisation. »

2.2.4.1 Division en phases

Tout d'abord, l'accident a été divisé en différentes phases en fonction de l'ordre chronolo-
gique des événements.

S1. La victime entre dans l'atelier de la machine de moulage par injection.

S2. Elle se déplace dans la zone du robot manipulateur d'évacuation.

S3. Elle se lève pour aller chercher des pièces de l'autre côté du convoyeur.

S4. Le bras robotisé bouge et blesse la victime.

2.2.4.2 Analyse avec les démons de la conscience de situation

Suite à la décomposition en phases, les démons de la CS ont été associés à chaque phase
dans la mesure du possible.

S1. Selon les informations disponibles, pas de démon durant cette phase.

S2. La victime ne doit pas être présente dans l'espace de travail du robot lorsque celui-ci est allumé. Elle ne respecte pas la procédure de sécurité, car elle a un *modèle mental errant* (une mauvaise interprétation) de la situation.

S3. Elle manipule des pièces sans faire attention à la position du robot. Pendant cette phase, la victime semble être dans un état de *tunnélisation attentionnelle*.

S4. Enfin, parce qu'elle est dans une situation de tunnel attentionnel, la victime ne perçoit pas que le robot se rapproche dangereusement d'elle. Il s'agit d'une situation *hors de la boucle*.

2.3 Résultats de l'analyse d'accidents

L'analyse d'accidents de la base de données EPICEA nous a permis d'identifier les démons de la CS qui ont participé à la dégradation de la CS des opérateurs et qui ont potentiellement conduits à l'accident lui-même. Nous avons également pu identifier des schémas récurrents d'apparition des démons de la CS, ce qui a permis de catégoriser les accidents.

2.3.1 Les manifestations des démons de la conscience de situation

En ce qui concerne les occurrences des démons de la CS dans les accidents robotiques de
la base de données EPICEA, trois résultats principaux peuvent être mis en évidence (voir le
tableau 2.1).

Les démons de la CS les plus fréquemment relevés étaient le démon *modèle mental errant* et le démon *hors de la boucle*, avec, respectivement, un taux de 100% (N=45) et 86,67% (N=39) d'apparitions respectivement. Le *modèle mental errant* apparaît dans tous les accidents. Cela se produit lorsque l'opérateur interprète mal la situation et fait ensuite des déductions inappro- priées sur l'état de l'environnement, par exemple en pensant que la zone de travail du robot est
<table><caption>TABLE 2.1 – Occurrences des démons de la CS pour chaque accident de la base de données EPICEA.</caption><thead><tr><td>Démons de la CS</td><td>N</td><td>Proportion</td></tr></thead><tbody><tr><td>Modèle mental errant</td><td>45</td><td>100%</td></tr><tr><td>Hors de la boucle</td><td>39</td><td>86.67%</td></tr><tr><td>Tunnélisation attentionnelle</td><td>18</td><td>40%</td></tr><tr><td>Saillance inappropriée</td><td>14</td><td>31.11%</td></tr><tr><td>WAFOS</td><td>1</td><td>2.22%</td></tr><tr><td>Complexité</td><td>0</td><td>0%</td></tr><tr><td>Surcharge de données</td><td>0</td><td>0%</td></tr><tr><td>Piège de mémoire requise</td><td>0</td><td>0%</td></tr></tbody></table>

sûre alors que le robot est encore allumé. De plus, un opérateur qui entre dans la zone du robot sans savoir qu'il est allumé se trouverait déjà dans une situation *hors de la boucle*. Cette der- nière s'est produite lorsque l'opérateur n'était pas préparé au redémarrage de l'activité du robot. En outre, nous rapportons deux autres démons qui apparaissent fréquemment. Les démons de *tunnélisation attentionnelle* et de *saillance inappropriée* apparaissent respectivement dans 40% (N=18) et 31,11% (N=14) des accidents robotiques signalés. Le démon WAFOS n'a été iden- tifié que dans un unique accident : le seul où le rapport signale explicitement que l'opérateur était en situation de stress. Enfin, trois démons n'ont jamais été identifiés lors d'accidents robo- tiques. En effet, nous n'avons relevé aucune manifestation de *complexité*, *surcharge de données* et *piège de mémoire requise*. Cela pourrait être dû au manque de détails dans les rapports ou que l'origine des situations dans lesquelles ces démons peuvent apparaître n'existent pas en robotique industrielle.

## 2.3.2 Séquences de démons de la conscience de situation dans ces accidents

Nous avons identifiés cinq schémas systématiques d'accidents de robotique industrielle. Chacun de ces schémas consiste en la succession de démons de la CS jusqu'à l'accident. Ces cinq schémas sont représentés dans la figure 2.1 :

- **Le schéma A** apparaît dans 13,33% des cas (N=6). *Exemple* : un opérateur entrant dans la zone du robot alors que le robot est encore en marche et pensant qu'il est en sécurité.

- **Le schéma B** apparaît dans 31,11% des cas (N=14). *Exemple* : un opérateur pénétrant dans la zone du robot alors qu'il est allumé (modèle mental errant) et étant heurté suite à un mouvement brusque du robot (hors de la boucle).

- **Le schéma C** apparaît dans 15,56% des cas (N=7). *Exemple* : un opérateur pénètre dans la zone du robot alors qu'il est allumé (modèle mental errant), il pense l'avoir éteint (saillance inappropriée), et il est heurté suite à un mouvement brusque du robot (hors de la boucle).

- **Le schéma D** apparaît dans 24,44% des cas (N=11). *Exemple* : un opérateur pénètre dans la zone du robot alors qu'il est allumé (modèle mental errant) et est heurté par le robot (hors de la boucle) alors qu'il était concentré sur une tâche particulière (tunnélis- sation attentionnelle).

- **Le schéma E** apparaît dans 15,56% des cas (N=7). *Exemple* : un opérateur entre dans la zone du robot alors qu'il est allumé (modèle mental errant), il pense l'avoir éteint (saillance inappropriée), et il est heurté par le robot (hors de la boucle) alors qu'il est concentré sur un point particulier. tâche (tunnélisation attentionnelle).
<figure><img src="image_19.png" /><figcaption>**FIGURE 2.1** – Schémas de séquences d'apparition de démons de la CS déduits de l'analyse des accidents.</figcaption></figure>

Nous pouvons observer que *modèle mental errant* se manifeste dans tous les schémas que nous avons trouvés. De plus, il définit à lui seul l'un des schémas qui se produit dans 13,33% du temps. De plus, le démon de la CS hors de la boucle apparaît dans tous les autres schémas (86,67% des cas). Finalement nous avons relevé l'apparition des démons de la CS tunnélisation attentionnelle et saillance inappropriée dans 2 schémas (chacun dans 40% des cas).

## 2.4 Discussion

L'objectif de ce chapitre était d'identifier les facteurs menant à des accidents de robotique industrielle répertoriés dans la base de données EPICEA de l'INRS. Nous avons fait l'hypothèse que les démons de la CS pouvaient être considérés comme une grille d'analyse des rapports d'accidents. L'analyse des résultats a validée notre hypothèse. Nous avons pu identifier l'occurrence d'au moins un démon dans tous les rapports d'accidents de robotique étudiés.

### 2.4.1 Démons de la conscience de situation et accidents de robotique industrielle

Nos résultats ont montré que les démons de la CS peuvent être considérés comme des facteurs ayant conduit à un accident. Leur identification a permis d'étiqueter les principales causes d'accidents déjà relevés dans la littérature (Sugimoto & Kawaguchi, 1983; Jiang & Gainer Jr, 1987; Malm et al., 2010). Le modèle mental errant est apparu dans tous les accidents analysés. Dans certains cas, il a été relevé lorsque la victime intervenait dans la zone du robot alors qu'il était en fonctionnement, qu'il soit en mouvement ou non. Dans d'autres cas, l'opérateur avait contourné volontairement les mesures de sécurité en se pensant sans danger dans l'espace de travail. Les rapports d'accidents n'étant pas systématiquement détaillés, il était parfois difficile de comprendre le processus décisionnel de l'opérateur. Dans de telles situations, nous avons été obligés de faire des hypothèses basées sur la documentation concernant les raisons qui ont conduit les opérateurs à agir comme ils l'ont fait. Une des raisons d'apparition du démon serait lié à la croyance erronée de l'opérateur selon laquelle « un robot immobile est un robot éteint »
(Sugimoto & Kawaguchi, 1983). Le modèle mental errant serait alors lié à cette fausse croyance de se sentir en sécurité lorsque le robot est inactif.

Le Syndrome hors de la boucle était le deuxième démons de la CS le plus fréquent (86,67% des cas) dans notre analyse. Cela correspond à un mouvement, ou une action, du robot non anticipé par la victime. Dans 60% des cas, ce démon est lié avec celui du modèle mental errant. Cela peut correspondre à la situation où l'opérateur n'a pas connaissance de l'état actuel du robot et pense qu'il est possible d'entrer dans la zone de travail en toute sécurité (Or et al., 2009). Dans 40% des cas, le robot n'était plus perçu car l'opérateur était fortement concentré sur sa tâche. C'est à ce moment que le démon de la CS tunnélisation attentionnelle se manifeste. Cette situation où l'opérateur se concentre sur la résolution d'un autre problème avait déjà été mise en évidence dans la littérature (Malm et al., 2010).

Le démon saillance inappropriée est apparu dans 31% des cas. Son apparition est liée au manque d'informations accessibles ou suffisamment marquantes qui pourraient aider l'opérateur à comprendre la situation actuelle. Dans la plupart des cas, ces manifestations résultaient d'un manque ou d'une suppression des mesures de sécurité. Dans d'autres cas, les avertissements du système se sont révélés inadéquats. De telles raisons ont déjà été pointées comme responsables d'accidents (Jiang & Gainer Jr, 1987). L'identification de ce démon souligne également une mauvaise utilisation des moyens de communications dans l'environnement de travail.

Une seule apparition du démon WAFOS a été constatée. Les rapports d'accidents ne précisent pas les contraintes que peuvent avoir les opérateurs : il n'y a généralement aucune information sur leur état mental. Ainsi, le WAFOS peut avoir été impliqué plus d'une fois parmi les cas de notre analyse. À titre de comparaison, ce démon avait été signalé dans 40% des cas d'accidents maritimes (Stratmann & Boll, 2016). À l'inverse, ils n'ont trouvé aucune manifestation du démon de saillance inappropriée. Par ailleurs, plusieurs travaux ont déjà abordé les problématiques de stress ou d'anxiété des opérateurs lors de leurs interactions avec les robots. Les opérateurs ressentent parfois des niveaux élevés de charge cognitive lorsqu'un robot se déplace à proximité d'eux, comme l'a souligné la littérature (Arai et al., 2010). Il a également été démontré que les mouvements rapides ou imprévisibles d'un robot entraînent une augmentation de la charge cognitive ou de l'anxiété (Koppenborg et al., 2017).

Enfin, aucune occurrence des démons de la CS complexité, surcharge de données et piège de mémoire requise n'a été trouvée. Les mêmes résultats pour la complexité et le piège de mémoire requise ont été relevés dans une analyse des accidents maritimes (Stratmann & Boll, 2016). Encore une fois, ces démons de la CS sont plus difficiles à déduire et dépendent fortement du niveau de détails dans les rapports d'accidents. La complexité est considéré comme un démon dit subtil (Endsley, 2016). Il se produit généralement lorsque de nombreuses machines ou fonctionnalités sont impliquées dans le système. Mesurer la complexité d'un système à partir des rapports d'accidents dont nous disposions n'était pas simple. Cela aurait nécessité plus de détails sur la complexité des tâches ou des systèmes dans les rapports. Le piège de mémoire requise dépend des capacités de mémoire de l'opérateur et de la façon dont il peut surveiller ses tâches (Endsley, 2016). Cela rend son identification relativement difficile dans un rapport d'accident car cela dépend entièrement de l'opérateur (Chiappe et al., 2012). Comme dans le cas du démon WAFOS, l'identification de la surcharge de données est directement liée au rapport d'accident et aux informations disponibles. Malheureusement, les rapports ne mentionnent pas la charge cognitive des opérateurs au moment de l'accident.
Concernant les niveaux de CS, les démons identifiés étaient principalement liés au niveau de perception (44,17% des cas) suivi des niveaux de compréhension (28,22%) et de prédiction (27,61%). Toutefois, cette description est statique et ne rend pas compte de l'apparition chronologique des démons de la CS. Puisque la CS est un processus dynamique, il se peut que la perception de la situation par l'opérateur soit initialement correcte puis qu'elle se dégrade dans la suite de la tâche parce qu'il a eu une mauvaise compréhension de la situation ou qu'il a fait une projection erronée sur des événements ultérieurs. Si l'on veut empêcher la manifestation de ces démons, il ne suffit donc pas de corriger le premier niveau, puisqu'une erreur dans le deuxième ou le troisième niveau de CS peut entraîner une erreur ultérieurement dans un niveau précédent.

## 2.4.2 Schémas d'apparition des démons en robotique industrielle

Cinq schémas systématiques d'apparence de démons de la CS ont été obtenus à la fin de notre analyse des accidents. Plus précisément, le modèle mental errant apparaît dans tous ces schémas et survient seul dans 13,33% des accidents. Le démon hors de la boucle était présent dans 86,67% des cas. Ce démon de la CS a la particularité de pouvoir apparaître dans deux situations distinctes. D'abord, l'opérateur peut observer que le robot est immobile et penser que celui-ci est arrêté alors qu'il est en attente (modèle mental errant). Le fait qu'il confonde un moment d'attente et un arrêt le place hors de la boucle d'action du robot. En outre, on peut considérer que l'opérateur est hors de la boucle s'il est concentré sur sa tâche et ne se rend plus compte que le robot est une source de danger proche. Ce deuxième cas pourrait alors concerner des schémas où apparaît le démon tunnélisation attentionnelle. Deux schémas (40% des cas) incluaient les démons de la CS modèle mental errant, hors de la boucle et tunnélisation attentionnelle. Il est ainsi possible que le démon hors de la boucle CS se soit manifesté successivement pour le modèle mental errant et le tunnélisation attentionnelle.

Deux des cinq schémas impliquaient également l'identification du démon de saillance inappropriée. Généralement, celui est identifié lorsque les dispositifs de sécurité n'ont pas pu avertir l'opérateur d'un danger dans l'espace de travail ou bien que le message communiqué n'a pas été compris, voir même perçu. Il est alors possible de se questionner à propos d'une réelle différence entre les schémas B et C et les schémas D et E. En effet, tous les rapports d'accidents ne sont pas détaillés de la même manière. Cela laisse à penser qu'il y a peut-être eu, aussi, des problèmes de saillance dans les schémas B et D et qu'ils n'ont tout simplement pas été rapportés.

<figure><img src="image_20.png" /><figcaption>FIGURE 2.2 – Schémas revus des séquences d'apparition de démons de la CS.</figcaption></figure>

En effet, une communication adéquate, aurait pu empêcher l'opérateur d'entrer ou de rester
dans un état de tunnélisation attentionnelle ou d'être hors de la boucle d'action du robot. De manière similaire, une interface de communication adaptée aurait pu permettre de soutenir le modèle mental de l'opérateur et ainsi éviter l'accident. Tout cela nous amène à revoir les cinq schémas identifiés dans notre analyse et à rassembler les schémas B et C et les schémas D et E afin de ne conserver que trois schémas systématiques d'accidents (voir figure 2.2).

### 2.4.3 Limites de l'étude

La première limite de l'analyse proposée est le manque d'informations dans les rapports d'accidents disponibles dans la base de données EPICEA. Nous n'avons pas pu identifier d'occurrence des démons complexité, surcharge de données et piège de mémoire requise. En effet, comme il n'y avait pas, ou très peu, d'informations sur les procédures et l'état mental des opérateurs, il a été très difficile de déterminer leurs possibles implications dans les accidents signalés sans surveillance constante de la CS interne de l'opérateur. Cela rejoint l'exemple du démon WAFOS qui n'a été relevé qu'une seule fois dans les 45 accidents.

Une autre limite est liée à la définition même des démons de la CS et donc à leur identification dans chaque phase précédant l'accident. L'identification repose parfois sur des interprétations subjectives et des appréciations personnelles de la situation décrite. La part de subjectivité est néanmoins atténuée par un consensus entre tous les auteurs sur les définitions des démons de la CS et les éléments supplémentaires pour la prise de décision.

## Conclusion

Dans ce chapitre, nous avons proposé d'analyser des rapports d'accidents de robotique industrielle en utilisant les démons de la conscience de la situation (CS) comme grille de lecture. Cette analyse a mis en évidence qu'un manque de CS des opérateurs était responsable des erreurs menant aux accidents. Nous avons aussi mis en évidence trois schémas systématiques d'accidents. Chacun de ces schémas est caractérisé par la manifestation d'un ou plusieurs démons de la CS, dégradant cette dernière et diminuant ainsi la sécurité des opérateurs jusqu'à ce que l'accident survienne. Ce chapitre nous a permis de répondre à la question 2 :

**Question 2**

Quels sont les facteurs de risques qui peuvent participer à la dégradation de la conscience de situation d'un opérateur en milieu industriel ?

Un point important des schémas d'accidents exposés concerne le manque de saillance de l'information. En effet, nous pensons que la principale raison du manque de CS des opérateurs et l'apparition des démons de la CS est dû à une mauvaise utilisation des moyens de communication dans l'environnement de travail. Il serait alors bénéfique de renforcer, ou d'ajouter, des systèmes de communication efficaces au sein des espaces de travail de CHR pour assurer la sécurité des opérateurs. Le choix du moyen de communication doit se faire en tenant compte des potentiels risques de dégrader la CS des opérateurs. Aussi, il est important de s'assurer que les méthodes utilisées ne provoquent pas l'apparition de démons de la CS supplémentaires.

Également, il est important de garder à l'esprit que les résultats proviennent d'une analyse d'accidents de robotique industrielle et non pas d'accidents avec des cobots. À l'heure actuelle,
les robots collaboratifs ne sont encore que trop peu utilisés par les industriels. De ce fait, nous ne disposons pas de données en situation réelle, et encore moins d'accidents, avec des cobots. Nous pensons que l'identification des situations dangereuses, et de leurs causes dans la robotique industrielle, pourront être réutilisées afin de prévenir des accidents dans le contexte de la CHR.

Tout cela nous pousse à considérer l'utilisation du robot lui-même en tant qu'entité de communication. Celle-ci pourrait se faire au travers des mouvements du robot et permettrait d'empêcher de provoquer l'apparition des trois schémas d'accidents discutés dans la section 2.4.2. En effet, permettre au robot de communiquer de manière non verbale aurait plusieurs avantages. D'une part, la personne en interaction prêterait attention au robot qui est souvent la source principale de danger dans l'environnement de travail. D'autre part, cette solution ne nécessite pas d'utiliser de matériel supplémentaire destiné à la communication, ce qui rend son implémentation en milieu écologique plus simple et moins onéreuse. Cependant, il est nécessaire de garder à l'esprit qu'un robot collaboratif dans un milieu industriel est avant tout un agent opérant, qui réalise des tâches, et ne doit donc pas être réduit seulement au rôle d'agent communiquant.
# Chapitre 3

## Le mouvement du robot comme vecteur de communication pour soutenir la conscience de situation

### Table des matières

<table><tr><td>Introduction</td><td>54</td></tr><tr><td>3.1 Les mouvements d'un robot comme moyen de communication</td><td>55</td></tr><tr><td>3.1.1 Moyens de communication d'un robot avec un humain</td><td>55</td></tr><tr><td>3.1.2 Les mouvements de signalisation</td><td>57</td></tr><tr><td>3.1.2.1 Génération de mouvements de signalisation</td><td>58</td></tr><tr><td>3.1.2.2 Mouvements de signalisation d'état</td><td>59</td></tr><tr><td>3.1.2.3 Mouvements de signalisation d'action</td><td>60</td></tr><tr><td>3.1.3 Objectif et hypothèses</td><td>60</td></tr><tr><td>3.2 Méthode expérimentale</td><td>61</td></tr><tr><td>3.2.1 Contexte de l'expérimentation</td><td>61</td></tr><tr><td>3.2.2 Participants</td><td>61</td></tr><tr><td>3.2.3 Tâche de découpe du bois simulée</td><td>62</td></tr><tr><td>3.2.4 Matériel et dispositif expérimental</td><td>63</td></tr><tr><td>3.2.4.1 Cobot 1 - Mouvement de signalisation d'action</td><td>63</td></tr><tr><td>3.2.4.2 Cobot 2 - Mouvement de signalisation d'état</td><td>64</td></tr><tr><td>3.2.5 Déroulement de l'expérimentation</td><td>65</td></tr><tr><td>3.2.6 Variables indépendantes étudiées</td><td>66</td></tr><tr><td>3.2.6.1 La modalité du fléchissement</td><td>66</td></tr><tr><td>3.2.6.2 Résistance générée par le Cobot 1</td><td>67</td></tr><tr><td>3.2.6.3 Comportements du Cobot 2</td><td>68</td></tr><tr><td>3.2.7 Variables dépendantes mesurées</td><td>68</td></tr><tr><td>3.2.8 Hypothèses opérationnelles</td><td>69</td></tr><tr><td>3.3 Analyse des résultats</td><td>69</td></tr><tr><td>3.3.1 Effet de la modalité de fléchissement et de la résistance du Cobot 1 sur le temps</td><td>70</td></tr><tr><td>3.3.1.1 Effet de la modalité de fléchissement sur le temps</td><td>70</td></tr><tr><td>3.3.1.2 Effet de la résistance sur le temps</td><td>71</td></tr></table>
<table><tr><td>3.3.1.3</td><td>Effet de l'interaction de la modalité et de la résistance sur le temps</td><td>71</td></tr><tr><td>3.3.2</td><td>Effet de la modalité de fléchissement et de la résistance du Cobot 1 sur la force</td><td>71</td></tr><tr><td>3.3.2.1</td><td>Effet de la modalité de fléchissement sur la force</td><td>71</td></tr><tr><td>3.3.2.2</td><td>Effet de la résistance sur la force</td><td>72</td></tr><tr><td>3.3.2.3</td><td>Effet de l'interaction de la modalité et de la résistance sur la force</td><td>72</td></tr><tr><td>3.3.3</td><td>Effet de la modalité de fléchissement sur le questionnaire SART</td><td>73</td></tr><tr><td>3.3.4</td><td>Effet du comportement du Cobot 2 sur la distance de passage</td><td>74</td></tr><tr><td>3.4</td><td>Discussion</td><td>75</td></tr><tr><td>3.4.1</td><td>Mouvement d'action et maintien dans la boucle d'action du robot</td><td>75</td></tr><tr><td>3.4.2</td><td>Mouvement d'état et soutien au modèle mental de l'individu</td><td>75</td></tr><tr><td>3.4.3</td><td>Saillance des mouvements de signalisation</td><td>76</td></tr><tr><td>3.4.4</td><td>Limites</td><td>77</td></tr><tr><td colspan="2">Conclusion</td><td>78</td></tr></table>

## Introduction

Dans le chapitre précédent, nous avons présenté une analyse de rapports d'accidents de robotique industrielle en utilisant les démons de la conscience de la situation (CS) comme grille de lecture. Cette analyse a mis en évidence qu'un manque de CS des opérateurs était responsable des erreurs menant aux accidents. Nous avons aussi mis en évidence trois schémas systématiques d'accidents. Chacun de ces schémas est caractérisé par la manifestation d'un ou plusieurs démons de la CS, dégradant cette dernière et diminuant ainsi la sécurité des opérateurs jusqu'à ce que l'accident survienne. Enfin, les recommandations proposées à la fin du chapitre 2 nous poussent à considérer l'utilisation du robot lui-même en tant qu'entité de communication. Ainsi, permettre au robot de communiquer de manière non verbale aurait plusieurs bénéfices. D'une part, la personne en interaction prêterait attention au robot qui est souvent la source principale de danger dans l'environnement de travail. D'autre part, cette solution ne nécessite pas d'utiliser de matériel supplémentaire destiné à la communication, ce qui rend son implémentation en milieu écologique plus simple et moins onéreuse.

Dans ce chapitre, nous introduisons le concept de mouvement de signalisation. Ces derniers sont un moyen de communication non-verbale dont les robots peuvent être dotés afin de soutenir les interactions avec un humain. Ils sont un moyen de renforcer la transparence d'un robot pour les individus qui partagent son espace de travail. Un point fort de notre contribution réside dans le fait que les robots peuvent à la fois réaliser des tâches et communiquer grâce à la redondance de leurs articulations. Nous pensons qu'utiliser le robot comme vecteur de communication est une solution prometteuse pour améliorer la performance et la sécurité des opérateurs en milieu industriel dans des scénarios de collaboration humain-robot (CHR). Les mouvements de signalisation se déclinent en deux types : les mouvements dits *d'action*, liés à la tâche du robot, et les mouvements dits *d'état*, liés aux états du robot. Nous souhaitons, dans ce chapitre, vérifier si la lisibilité de ces mouvements permet effectivement de soutenir la CS d'humains en interaction avec un robot collaboratif. Plus précisément, nous voulons examiner s'ils permettent d'empêcher les individus de se trouver dans les schémas d'accidents n°1 et 2 (page 50) décrits dans la section 2.4.2 du chapitre 2. Pour rappel, le schéma n°1 comportait l'apparition du démon
de la CS modèle mental errant et le schéma n°2 correspondait à la manifestation des démons syndrome hors de la boucle et modèle mental errant.

Ce chapitre répond à la question 3 présentée en Introduction de ce manuscrit.

### Question 3

La communication d'un robot à l'aide de ses mouvements permet-elle d'améliorer la conscience de situation d'un humain avec qui il interagit ?

Nous débutons ce chapitre en présentant une courte revue de la littérature qui nous a menée à notre question de recherche en section 3.1. Nous discuterons des différents moyens de communications auxquels ont accès les robots collaboratifs et présenterons en détails les mouvements de signalisation et la manière dont un robot peut les générer. Nous distinguons deux types de mouvements, les mouvements de signalisation d'action et les mouvements de signalisation d'état. Nous terminons cette section en présentant nos hypothèses théoriques. Ensuite, en section 3.2, nous détaillons la méthode expérimentale mise en place afin de vérifier nos hypothèses. L'analyse de nos résultats décrite en section 3.3 montre un effet positif des deux types de mouvement de signalisation sur la CS des participants dans un scénario de CHR. Nous discutons des résultats obtenus en section 3.4 et concluons ce chapitre en rappelant les contributions de ce travail et les perspectives qu'il propose.

## 3.1 Les mouvements d'un robot comme moyen de communication

### 3.1.1 Moyens de communication d'un robot avec un humain

Parmi les différents canaux de communication accessibles aux robots, les plus couramment utilisés sont les signaux visuels (textuels ou lumineux) et sonores (Bonarini, 2020) en interaction humain-robot (IHR). Généralement, ces signaux sont produits par le biais d'interfaces additionnelles intégrées dans l'espace de travail des robots (Villani et al., 2018). Bien que ces dernières puissent contribuer à maintenir un niveau élevé de CS, elles augmentent aussi le risque de précipiter l'opérateur dans des conditions où sa CS est dégradée (Endsley, 2016). En effet, comme nous l'avons vu dans le chapitre 2, le robot est généralement la source de danger principale de l'environnement de travail. Ainsi, le fait de détourner l'attention de l'humain du robot vers une interface externe, souvent un écran, peut le plonger dans des situations de tunnélisation attentionnelle ou d'hors de la boucle. Il a également été suggéré d'utiliser des signaux d'alarme sonores (Satuf et al., 2016). Néanmoins, l'utilisation des alarmes peut être entravée par le bruit ambiant dans les environnements industriels et peut également nuire à la CS (Endsley, 2018). Utiliser des alarmes sonores nécessite que l'opérateur soit convenablement formé à comprendre leur signification et leur degré d'importance.

Une autre piste explorée dans la littérature concerne l'utilisation des mouvements et d'indices sociaux des robots en tant que moyen de communication non-verbale (Breazeal et al., 2005; Dragan et al., 2013; Hoffman & Ju, 2014; Dragan et al., 2015; Terzioğlu et al., 2020). Selon Berthoz, le mouvement peut être considéré comme un sens à part entière, défini à la fois comme un objet d'action et de perception (Berthoz, 1997). D'après sa théorie, le mouvement doit être vu comme une boucle fermée rétroactive, qui s'ajuste au cours du temps en fonction