<figure><img src="image_1.png" /></figure>

HAL
open science

# Apprentissage des préférences humaines pour la préhension robotique

Yoann Fleytoux

► To cite this version:

Yoann Fleytoux. Apprentissage des préférences humaines pour la préhension robotique. Robotique [cs.RO]. Université de Lorraine, 2023. Français. NNT: 2023LORR0220. tel-04400016

HAL Id: tel-04400016

https://inria.hal.science/tel-04400016

Submitted on 17 Jan 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Apprentissage des préférences humaines pour la préhension robotique

## THÈSE

présentée et soutenue publiquement le 01/12/2023

pour l'obtention du

Doctorat de l'Université de Lorraine

(mention informatique)

par

Fleytoux Yoann

## Composition du jury

*Rapporteurs :* M Sylvain Calinon, M Youcef Mezouar
Senior Research Scientist, Idiap, Switzerland
Professeur, Institut Pascal-Université Clermont Auvergne

*Examinateurs :* Mme Bernadetta Addis, M Christophe Leroux
Maîtresse de conférences, Université de Lorraine, Loria, Nancy
Manager European Affairs in AI and robotics, CEA, France

*Encadrants :* M Jean-Baptiste Mouret, Mme Serena Ivaldi
Directeur de Recherche, Inria Nancy Grand-Est
Directrice de Recherche, Inria Nancy Grand-Est
Mis en page avec la classe thesul.
Remerciements

Dans cette section de remerciements, je tiens tout d'abord à exprimer ma profonde
gratitude envers Serena et Jean-Baptiste, qui m'ont encadré tout au long de ce travail et
m'ont apporté un soutien inestimable.

Je tiens également à remercier l'Istituto Italiano di Tecnologia qui m'a accueilli lors de
mon échange, ainsi que Lorenzo, Alessandro et en particulier Fabrizio pour leur assistance
technique et humaine. Vous avez tous contribué à enrichir mon expérience et à renforcer
mes compétences.

Un merci tout particulier à Adrien Guénard pour son travail au sein du Créativ' Lab et pour ses précieux conseils techniques qui ont été d'une grande aide.

Je voudrais également remercier l'ensemble de l'équipe LARSEN, au sein de laquelle j'ai eu l'opportunité d'effectuer ma thèse. Votre dynamisme et votre amitié ont été essentiels pour mener à bien mes recherches.

Je tiens à remercier Waldez, Luigi et Jessica pour le temps que nous avons passé ensemble lors des voyages. Ce fut une expérience mémorable et enrichissante.

Je tiens à souligner l'importance du travail de tous les membres du personnel du laboratoire, notamment les techniciens, le personnel de nettoyage, la cantine, la cafétéria et les administratifs. Votre dévouement quotidien a créé un environnement propice à la réussite de ma thèse. Je tiens également à remercier les personnes rencontrées dans le cadre plus large du laboratoire, notamment Oriane et Florian.

Je suis également reconnaissant envers Thaïs, Léonie et Corentin avec lesquels j'ai eu le plaisir de travailler lors de leur stage.

Un grand merci à Mihai, Anji et Lorenzo, avec qui j'ai collaboré au Créativ'Lab. Votre soutien et votre amitié ont été précieux tout au long de cette aventure.

Je remercie ma famille et mes amis proches, qui m'ont soutenu durant ces années.
Merci pour les JDL, les repas, le sport, les balades en centre ville accompagnées de Frie-
drich et Karl.

Enfin, je remercie Solène pour sa patience et son soutien inconditionnel tout au long de cette période. Ton soutien a été essentiel pour m'aider à surmonter les moments difficiles.

Je tiens à préciser que je ne remercie pas le COVID.
# Sommaire

Table des figures 9

Résumé 19

Abstract 19

## Chapitre 1

### Introduction

1.1 Contexte - European project HEAP 27

1.2 Contributions 27

1.2.1 Articles acceptés / publiés 27

1.2.2 Articles en cours 29

## Chapitre 2

### État de l'art

2.1 Caractéristiques du problème de préhension 31

2.1.1 Types d'effecteurs 32

2.1.2 Variété d'objets à saisir 33

2.1.3 Préhension d'objets isolés et de groupes d'objets 37

2.1.4 Prise d'objet dans les espaces SE(2) et SE(3) 38

2.1.5 Méthodes de préhension sans modèle et basées sur un modèle 38

2.1.6 Méthodes de préhension en boucle ouverte et en boucle fermée 39

2.1.7 Actions préliminaires à la manipulation 40

2.2 Représentations des configurations de saisie 40

2.2.1 Représentations de saisie basées sur des points 40

2.2.2 Régions de contact indépendantes (Independent Contact Regions) 40

2.2.3 Préhensions dans l'espace SE(3) 40

2.2.4 Représentation de saisie par rectangle orienté 41
<table><tbody><tr><td>2.2.5</td><td>Cartes de saisie au niveau des pixels (Pixel-level grasp maps)</td><td>41</td></tr><tr><td>2.3</td><td>Utilisation de capteurs pour manipulation robotique</td><td>41</td></tr><tr><td>2.3.1</td><td>Capteurs visuels</td><td>42</td></tr><tr><td>2.3.1.1</td><td>Représentations 3D</td><td>42</td></tr><tr><td>2.3.2</td><td>Capteurs tactiles</td><td>43</td></tr><tr><td>2.3.2.1</td><td>Types et matériaux des capteurs tactiles</td><td>43</td></tr><tr><td>2.3.2.2</td><td>Capteurs tactiles basés sur la vision</td><td>43</td></tr><tr><td>2.3.2.3</td><td>Intégration des capteurs tactiles dans la manipulation robotique</td><td>44</td></tr><tr><td>2.4</td><td>Approches géométriques de la préhension</td><td>44</td></tr><tr><td>2.5</td><td>Approches basées par les données</td><td>45</td></tr><tr><td>2.5.1</td><td>Bases de données dans la préhension robotique</td><td>46</td></tr><tr><td>2.5.1.1</td><td>Collectées de manière autonome et étiquetées au préalable</td><td>46</td></tr><tr><td>2.5.1.2</td><td>Issues de simulation</td><td>47</td></tr><tr><td>2.5.1.3</td><td>Démonstrations</td><td>48</td></tr><tr><td>2.5.2</td><td>Techniques d'apprentissage en préhension robotique</td><td>49</td></tr><tr><td>2.5.2.1</td><td>Méthodes basées sur l'imitation</td><td>49</td></tr><tr><td>2.5.2.2</td><td>Méthodes basées sur l'échantillonnage et la classification des candidats</td><td>50</td></tr><tr><td>2.5.2.3</td><td>Apprentissage de bout en bout</td><td>52</td></tr><tr><td>2.5.3</td><td>Vers des méthodes d'apprentissage de la préhension robotique plus adaptables</td><td>54</td></tr><tr><td>2.5.3.1</td><td>Techniques pour réduire la quantité de données nécessaires</td><td>54</td></tr><tr><td>2.5.3.2</td><td>Préhension orientée vers une tâche spécifique</td><td>55</td></tr><tr><td>2.6</td><td>Conclusion</td><td>56</td></tr><tr><td>2.6.1</td><td>Perspectives de contribution</td><td>57</td></tr></tbody></table>

## Chapitre 3

### Apprentissage data-efficace des préférences de préhension.

<table><tbody><tr><td>3.1</td><td>Définition du problème</td><td>61</td></tr><tr><td>3.2</td><td>Prérequis</td><td>63</td></tr><tr><td>3.2.1</td><td>Autoencodeur (AE)</td><td>63</td></tr><tr><td>3.2.2</td><td>Autoencodeur Variationnel (VAEs)</td><td>64</td></tr><tr><td>3.2.3</td><td>Processus Gaussiens</td><td>66</td></tr><tr><td>3.3</td><td>Méthode</td><td>69</td></tr></tbody></table>
<table><tr><td>3.3.1</td><td>Génération des candidats de saisie (a)</td><td>69</td></tr><tr><td>3.3.2</td><td>Représentation des candidats de saisie (b)</td><td>70</td></tr><tr><td>3.3.3</td><td>Espace latent de préhensions (c)</td><td>71</td></tr><tr><td>3.3.4</td><td>Apprentissage du modèle de préférence des expert (d) avec des Pro- cessus Gaussien</td><td>71</td></tr><tr><td>3.4</td><td>Évaluation expérimentale</td><td>72</td></tr><tr><td>3.4.1</td><td>Résultats qualitatifs</td><td>76</td></tr><tr><td>3.4.2</td><td>Résultats quantitatif</td><td>77</td></tr><tr><td>3.4.3</td><td>Étude d'ablation</td><td>79</td></tr><tr><td>3.4.4</td><td>Testes avec un robot Franka-Emika Panda</td><td>79</td></tr><tr><td>3.4.5</td><td>Avec classification d'objet</td><td>80</td></tr><tr><td>3.4.6</td><td>Avec segmentation</td><td>82</td></tr><tr><td>3.5</td><td>Conclusions</td><td>82</td></tr></table>

## Chapitre 4

### Apprentissage de la hauteur pour les saisies de haut en bas avec le capteur DIGIT

<table><tr><td>4.1</td><td>Caractérisation du capteur DIGIT</td><td>87</td></tr><tr><td>4.1.1</td><td>Résultats de la caractérisation</td><td>89</td></tr><tr><td>4.2</td><td>Procédure de validation de l'ellipsoïde de contact comme prédicteur de la réussite de la préhension</td><td>91</td></tr><tr><td>4.2.1</td><td>Expérience : stabilité de la préhension et ellipsoïde de contact</td><td>92</td></tr><tr><td>4.3</td><td>Procédure de collecte de la meilleure hauteur de saisie</td><td>93</td></tr><tr><td>4.4</td><td>Entraînement de la prédiction de la hauteur de la prise</td><td>95</td></tr><tr><td>4.4.1</td><td>Entraînement du prédicteur de la hauteur de la prise stable</td><td>96</td></tr><tr><td>4.4.2</td><td>Test du prédicteur de la hauteur de la prise stable</td><td>96</td></tr><tr><td>4.5</td><td>Conclusions</td><td>97</td></tr></table>

## Chapitre 5

### Évaluation des performances humaines en matière de saisie d'objets dans un tas

<table><tr><td>5.1</td><td>Protocole expérimental</td><td>101</td></tr><tr><td>5.2</td><td>Analyse des résultats</td><td>102</td></tr><tr><td>5.3</td><td>Quels objets posent des difficultés?</td><td>102</td></tr><tr><td>5.4</td><td>Performances des utilisateurs</td><td>106</td></tr><tr><td>5.5</td><td>Stratégies de saisies</td><td>108</td></tr></table>
<table><tr><td>5.6 Conclusions</td><td>112</td></tr></table>

## Chapitre 6

### Comparaison des algorithmes de préhension et apprentissage des préférences de saisies de façon interactive

<table><tr><td>6.1 Présentation des algorithmes de génération de préhension</td><td>114</td></tr><tr><td>6.1.1 Dex-Net</td><td>115</td></tr><tr><td>6.1.2 GPD</td><td>116</td></tr><tr><td>6.1.3 GR-Convnet</td><td>116</td></tr><tr><td>6.1.4 Approche basée sur la vision par ordinateur (CVGrasp)</td><td>117</td></tr><tr><td>6.2 Comparaisons sur la base de données Cornell</td><td>119</td></tr><tr><td>6.3 Comparaisons en simulation</td><td>122</td></tr><tr><td>6.4 Expérience avec le robot</td><td>127</td></tr><tr><td>6.5 Temps de génération des candidats pour l'interaction</td><td>128</td></tr><tr><td>6.6 Synthèse</td><td>129</td></tr><tr><td>6.7 Apprentissage actif</td><td>130</td></tr><tr><td>6.7.1 Test sur la base de données Cornell</td><td>130</td></tr><tr><td>6.7.2 Test de l'apprentissage actif en simulation</td><td>132</td></tr><tr><td>6.7.3 Test de l'apprentissage interactif en simulation</td><td>135</td></tr><tr><td>6.8 Conclusions</td><td>136</td></tr></table>

## Chapitre 7

### Discussion et perspectives

<table><tr><td>7.1 Contributions</td><td>139</td></tr><tr><td>7.2 Amélioration des propositions</td><td>139</td></tr></table>

## Annexe A

### Intégration des éléments matériels et logiciels

<table><tr><td>A.1 Bras robotique Franka</td><td>145</td></tr><tr><td>A.1.1 Commandes de haut niveau</td><td>145</td></tr><tr><td>A.1.2 Pilotage par joystick</td><td>146</td></tr><tr><td>A.2 Caméra Realsense D415</td><td>147</td></tr><tr><td>A.2.1 Calibrage de la caméra</td><td>148</td></tr><tr><td>A.2.1.1 Cas de la caméra fixe - Perspective-n-Point</td><td>149</td></tr><tr><td>A.2.1.2 Cas de la caméra montée sur l'outil terminal</td><td>150</td></tr><tr><td>A.3 Capteur Digit</td><td>151</td></tr></table>
<table><tr><td>A.4</td><td>Base de données</td><td>153</td></tr><tr><td>A.5</td><td>Interface graphique</td><td>154</td></tr><tr><td>A.6</td><td>Segmentation des scènes RGB-D</td><td>155</td></tr><tr><td>A.6.1</td><td>Tests sur la base de données de Cornell</td><td>159</td></tr></table>

Bibliographie
Table des figures

<table>
  <tbody>
    <tr>
      <td>1.1</td>
      <td>Goertz faisant la démonstration de son manipulateur mécanique esclave-maître en 1949.</td>
      <td>22</td>
    </tr>
    <tr>
      <td>1.2</td>
      <td>L'Unimate était le premier robot industriel jamais construit. C'était un bras manipulateur hydraulique qui pouvait effectuer des tâches répétitives.</td>
      <td>23</td>
    </tr>
    <tr>
      <td>1.3</td>
      <td>Exemples de préférences.</td>
      <td>26</td>
    </tr>
    <tr>
      <td>2.1</td>
      <td>Exemples de différents types de préhenseurs : (a) Préhenseurs à contact mécanique (impactive gripper) : dispositifs tels que mâchoires ou griffes qui saisissent l'objet physiquement par impact direct. (b) Préhenseurs pé-nétratifs (ingressive gripper) : outils comme les épingles ou les aiguilles qui pénètrent la surface de l'objet pour le saisir (utilisés notamment dans la manipulation des fibres textiles, de carbone et de verre). (c) Préhenseurs attractifs (astictive gripper) : systèmes qui utilisent des forces d'attraction appliquées à la surface de l'objet, comme le vide, les forces magnétiques ou l'électroradhésion. (d) Préhenseurs contigus (contigutive gripper) : méca-nismes nécessitant un contact direct pour que l'adhésion se produise, par exemple à travers la colle, la tension superficielle ou la congélation. Figure adaptée de [117].</td>
      <td>32</td>
    </tr>
    <tr>
      <td>2.2</td>
      <td>Objets de la base de données YCB : (a) aliments, (b) cuisine, (c) outils, et (d) formes.</td>
      <td>34</td>
    </tr>
    <tr>
      <td>2.3</td>
      <td>Exemples d'objets générés par AGOD-Grasp [2].</td>
      <td>35</td>
    </tr>
    <tr>
      <td>2.4</td>
      <td>Trois exemples de scènes selon les niveaux de difficulté : un objet isolé, de petits objets légers répartis dans un bac, et un tas dense.</td>
      <td>37</td>
    </tr>
    <tr>
      <td>2.5</td>
      <td>KALASHNIKOV et al. [79] utilisent des exemples réels (580K tentatives de saisie) pour entraîner un Markov Decision Process (MDP) model.</td>
      <td>39</td>
    </tr>
    <tr>
      <td>2.6</td>
      <td>(a) La représentation par JIANG et al. [75] : Sommet supérieur ($r_G, c_G$), longueur $m_G$, largeur $n_G$ et son angle par rapport à l'axe des x, $\theta_G$ pour un ustensile de cuisine. Il peut y avoir plusieurs prises définies comme indiqué. (b) La représentation simplifiée par REDMON et al. [147] pour un marteau, montrant son centre de préhension à (x, y) orienté selon un angle de $\theta$ à partir de son axe horizontal. Le rectangle a une largeur et une hauteur de w et h respectivement. Image provenant de [24].</td>
      <td>41</td>
    </tr>
  </tbody>
</table>
3.12 Nous avons sélectionné ces objets selon plusieurs critères. Ils doivent présenter de multiples configurations de pose stables pour pouvoir être disposés sur une table. Ils doivent également permettre des prises distinctives et spécifiques, par exemple les outils ou les couverts qui doivent être saisis par le manche, les jouets par certaines parties, les bouteilles par leur bouchon, etc... De plus, nous avons veillé à choisir une variété d'objets de différentes tailles, formes et couleurs. Enfin, certains de ces objets présentent des caractéristiques particulières, comme le fait d'être transparents, déformables ou articulés. 75

3.13 Saisies prédites sur les 21 scènes après entraînement avec deux étiquettes. 77

3.14 Résultats typiques de notre jeu de données : la ligne supérieure montre les objets dans les scènes utilisées pour l'entraînement (d'autres scènes de ces objets ont également été utilisées), et la ligne inférieure montre certaines de nos saisies prédites sur des scènes non vues du même objet. Pour évaluer l'efficacité des données, un sous-ensemble aléatoire d'étiquettes est utilisé (par exemple, seulement 2 étiquettes pour chaque objet). Les prédictions suivent les règles arbitraires de l'expert pour chaque objet : une partie de l'objet est autorisée (le manche du tournevis, le bouchon de la bouteille rouge, la ficelle des lunettes, ...) et une autre ne l'est pas (les poils de la brosse, la tête de la peluche de l'âne, la nageoire de la torpille, ...). 78

3.15 La ligne supérieure montre les objets dans les scènes disponibles pour l'entraînement, et la ligne inférieure montre certaines des saisies prédites sur des scènes non vues du même objet. 78

3.16 Résultats typiques sur la base de données Cornell, la ligne supérieure montre les objets dans les scènes utilisées pour l'entraînement (des scènes supplémentaires de ces objets ont également été utilisées). La deuxième ligne montre les saisies prédites qui ne satisfont pas la métrique du rec-tangle. Ces 8 scènes de la base de données Cornell échouent même après avoir été entraînées avec des étiquettes de ces objets provenant d'autres scènes. 79

3.17 Distribution du nombres de scènes par objets de la base de données Cornell. 80

3.18 Retourner verticalement (haut-bas) ou horizontalement (gauche-droite) l'image conserve l'information de la prise de vue si la caméra est parallèle à la table. 81
4.1 Problème typique des saisies planes : la hauteur du centre de saisie est souvent fixée par une heuristique basée sur la surface la plus haute. Si la forme de l'objet est inconnue, cela peut conduire à des saisies infructueuses. À gauche, une image en échelle de gris d'un objet générée à partir du nuage de points capturé par la caméra RGB-D montée sur l'effecteur du robot. Au centre et à droite, deux saisies descendantes générées par Dex-Net [108] et GPD [136], deux générateurs de saisie classiques. La prise de Dex-Net au centre est trop basse, l'objet n'est pas saisi par les mâchoires de la pince, tandis que la prise de GPD à droite est trop haute pour être réussie (en raison de la forme arrondie du manche, l'objet glisse et est poussé vers le bas lors de la fermeture de la pince). Sans connaissance préalable de l'objet et de son épaisseur, une mauvaise prédiction de la hauteur peut conduire à l'échec. 87

4.2 (a) Réponse de DIGIT en présence d'un contact avec un objet; (b) l'ellipsoïde $\epsilon$ entourant la zone de contact, calculée par PyTouch. 88

4.3 Test 1 & 2 : sortie du DIGIT en tant que $\delta P$ pour tester la répétabilité dans le temps pour différentes sessions, et pour des conditions d'éclairage de l'environnement changeant. 89

4.4 Test 3 : sortie de DIGIT sous forme de $\delta P$ en fonction de différentes forces de contact. 90

4.5 Test 4 : sortie de DIGIT sous forme de $\delta P$ en relation avec des contacts répétés de la même force, générés par la pince. 91

4.6 Quelques images de la procédure de stabilité GRASPA. Une fois l'objet saisi, le robot le soulève et exécute une trajectoire d'excitation. 92

4.7 Représentation graphique de la surface de l'ellipse de contact des deux DIGIT dans les cas d'échec et de réussite, pour les tests de saisie et de stabilité. 94

4.8 Trouver la meilleure hauteur de saisie : 5 hauteurs sont essayées pour chaque saisie 3D, la hauteur associée au plus haut $\epsilon$ pour les deux DIGITS est retenue. La meilleure hauteur et sa saisie, encodée par le VAE de [56], est sauvegardée dans un jeu de données utilisé pour entraîner le régresseur de hauteur. 95

4.9 Le pipeline de saisie, en supposant que le VAE et le régresseur de profondeur ont été entraînés auparavant et qu'un algorithme de génération descendante de candidats de saisie approprié est fourni (par exemple, GR-ConvNet [89], Dex-Net [108], ...). À partir d'une image RGB-D, un générateur de saisie produit un candidat de saisie. La hauteur initiale de la saisie $z_i$ est calculée à l'aide de l'image de profondeur. Le candidat à la saisie est représenté par des patchs tournés centrés sur la position centrale de la pince $(x, y)$. Il est envoyé à un VAE pour obtenir sa représentation latente $m$, qui est, à son tour, l'entrée du régresseur de hauteur (Sec. 4.4) entraîné sur le jeu de données collecté à l'aide de DIGIT (Sec. 4.3) pour obtenir la hauteur corrigée $z_c$. 96
4.10 Performances de différents modèles de régression en utilisant une validation croisée à 4 plis. Pour chaque pli, les modèles ont été entraînés avec les mêmes données d'apprentissage et de validation (en utilisant 75% de l'ensemble de données), une recherche en grille a été utilisée pour trouver des paramètres appropriés. Les résultats ci-dessus concernent les performances de chaque découpage sur leurs démonstrations de saisie de test restantes. 97

5.1 Le tri d'objets inconnus est une tâche ayant de multiples applications potentielles qui répondent à d'énormes besoins sociétaux, comme le tri des déchets nucléaires ou d'autres matériaux dangereux [115]. Les objets sélectionnés pour l'expérience ont été choisis en raison de leur ressemblance avec les objets couramment rencontrés dans les déchets radioactifs contaminés issus de la maintenance ou de la mise à l'arrêt de sites nucléaires. Par rapport aux objets domestiques généraux, on trouve davantage d'objets industriels tels que des chaînes, des gants, des tuyaux et d'autres objets métalliques [172]. 100

5.2 Évolution du tas d'objets au cours d'une expérience : (a) au début, (b) au milieu et (c) à la fin. 101

5.3 Déroulement de l'expérience. 101

5.4 Exemples de saisies ayant échoué. 102

5.5 (a) La saisie échoue en essayant d'éviter de rentrer en collision avec le bord du bac. (b) [210] évite ce genre de problèmes en utilisant la pince Robotiq 2F-85, dont les doigts se plient naturellement comme sur l'image, et un bac en filet non rigide. 105

5.6 (a) L'histogramme représente la distribution des taux de succès par utilisateurs, avec un gros groupe au centre de 12 utilisateurs dont les scores se situent entre 70% et 80%, un groupe de 5 utilisateurs en dessous de 70% et 4 utilisateurs au-dessus de 85%. 106

5.7 (b) Dans le nuage de points, nous observons une corrélation entre les deux variables, qui peut être interprétée comme une tendance des variables à évoluer ensemble. La ligne ajustée sur le nuage de points a clairement une pente, ce qui indique également la présence d'une relation entre les variables. De plus, nous avons également mesuré une corrélation de Pearson de 0,725. La corrélation de Pearson est une mesure de la relation linéaire entre deux variables, avec une valeur comprise entre -1 et 1. Une valeur de 0,72 suggère une forte corrélation positive entre les variables, ce qui signifie que lorsque le nombre d'échecs augmente, le temps pour réaliser la tâche tend également à augmenter. 107

5.8 Chaque point représente une saisie effectuée par un utilisateur. Le point est vert si la saisie est un succès, rouge si un échec, et son bord est orange si la saisie suivante ou précédente est sur le même objet. 108

5.9 L'axe des x représente chaque objet trié par ordre moyen de saisie, l'axe y correspond à cet ordre et chaque objet est associé à une teinte représentant sa difficulté (du bleu, les objets ayant causé le moins d'échecs de saisie, au jaune, les objets ayant causé le plus d'échecs). 109

5.10 Distance moyenne entre la caméra et l'objet en fonction de l'ordre de saisie. 109
<table>
  <tbody>
    <tr>
      <td>5.11 Histogramme et boîte à moustaches des séquences successives d'échecs et de succès, ainsi que leur répartition. En moyenne, les utilisateurs réussissent à enchaîner 4 à 5 succès consécutifs et commettent rarement plus de 2 échecs d'affilée.</td>
      <td>110</td>
    </tr>
    <tr>
      <td>5.12 Ordre de saisie en fonction de la position.</td>
      <td>111</td>
    </tr>
    <tr>
      <td>5.13 Histogramme et boîte à moustaches des séquences successives de saisie par division.</td>
      <td>111</td>
    </tr>
    <tr>
      <td>6.1 Les serveur de générations de préhensions basé sur ROS utilisent une interface commune Python pour offrir les services de planification de saisie à d'autres nœuds par le biais d'une requête standard (contenant des données visuelles et les paramètres de la caméra) et une réponse (candidats à la saisie 6D).</td>
      <td>114</td>
    </tr>
    <tr>
      <td>6.2 Exemples de préhensions générées par CVGrasp.</td>
      <td>117</td>
    </tr>
    <tr>
      <td>6.3 Dans ce tas dense, la segmentation retient beaucoup de points inutiles, la génération sur ce genre de scène, bien que fonctionnelle (2197 préhensions générées), excède les 10 secondes contre moins de 0.3 seconde pour une scène ne comportant qu'un seul objet.</td>
      <td>118</td>
    </tr>
    <tr>
      <td>6.4 (a) Diagramme de Venn : pour chaque scène, on cherche parmi les générateurs ceux ayant le meilleur taux de couverture. Les intersections représentent donc les scènes où plusieurs générateurs sont à égalité. (b) Pour les trois meilleurs algorithmes, on compare le nombre de saisies manquantes par scène.</td>
      <td>120</td>
    </tr>
    <tr>
      <td>6.5 Exemples de scènes issues de la simulation, à gauche un objet d'AGOD, à droite un objet de YCB.</td>
      <td>122</td>
    </tr>
    <tr>
      <td>6.6 Procédure interactive.</td>
      <td>123</td>
    </tr>
    <tr>
      <td>6.7 Variation du taux de succès de préhension des objets de l'ensemble de données AGOD.</td>
      <td>125</td>
    </tr>
    <tr>
      <td>6.8 Variation du taux de succès de préhension des objets de l'ensemble de données YCB.</td>
      <td>126</td>
    </tr>
    <tr>
      <td>6.9 Les objets utilisés lors de l'expérience et des exemples de saisies souhaitées générées par les différents algorithmes. Le marteau, malgré une saisie conforme aux attentes de l'expert, est tombé.</td>
      <td>127</td>
    </tr>
    <tr>
      <td>6.10 L'axe x correspond au nombre d'étiquettes utilisées pour l'apprentissage (641 scènes) et l'axe y à la métrique du rectangle en pourcentage du nombre de scènes dans la base de données de test (244 scènes). À 0 étiquette, le score des saisies est celui du générateur CVGrasp.</td>
      <td>132</td>
    </tr>
    <tr>
      <td>6.11 Procédure interactive en simulation.</td>
      <td>133</td>
    </tr>
    <tr>
      <td>A.1 Grâce à la modularité de ROS, chaque composant peut s'interfacer avec l'interface graphique (le robot ne peut pas être simultanément contrôlé et simulé).</td>
      <td>144</td>
    </tr>
    <tr>
      <td>A.2 Espace de travail du robot.</td>
      <td>145</td>
    </tr>
  </tbody>
</table>
<table>
  <tbody>
    <tr>
      <td>A.3</td>
      <td>Le stick analogique gauche du joystick permet de gérer les déplacements en x-y, le D-pad permet de se déplacer en z et de contrôler le roulis de l'axe de l'effecteur, et le stick analogique droit gère les deux autres axes de rotation. Les boutons X et B contrôlent l'ouverture et la fermeture du préhenseur, la touche A enregistre les images du capteur Digit et Y permet de réaliser une trajectoire d'excitation constituée de roto-translations rapides, en particulier de rotations autour de l'axe de l'effecteur.</td>
      <td>146</td>
    </tr>
    <tr>
      <td>A.4</td>
      <td>Exemple de scène capturée par la caméra Realsense D415, l'image de profondeur à droite est générée en associant une valeur entre 0 et 255 pour chaque pixel de l'image; Les pixels les plus éloignés de la caméra apparaissent plus clairs.</td>
      <td>147</td>
    </tr>
    <tr>
      <td>A.5</td>
      <td>À gauche, illustration de la profondeur retournée par la caméra avec la caméra montée sur le robot. À droite, la caméra est montée à l'extérieur du robot et observe son espace de travail.</td>
      <td>147</td>
    </tr>
    <tr>
      <td>A.6</td>
      <td>Image provenant de https://docs.opencv.org/4.x/d5/d1f/calib3d_solvePnP.html</td>
      <td>149</td>
    </tr>
    <tr>
      <td>A.7</td>
      <td>Identification de la position de l'effecteur final en utilisant le cube rouge comme marqueur.</td>
      <td>150</td>
    </tr>
    <tr>
      <td>A.8</td>
      <td>Visualisation du robot équipé du modèle de la caméra et de sa fixation, ainsi que le nuage de points issu de la caméra dans rviz. Le modèle vert correspond à la table sur laquelle les objets reposent; la planification des trajectoires prend en compte cette table pour éviter les collisions.</td>
      <td>151</td>
    </tr>
    <tr>
      <td>A.9</td>
      <td>Vue éclatée d'un capteur Digit [92]. A) élastomère, B) fenêtre acrylique, C) support à encliquetage, D) circuit imprimé d'éclairage, E) boîtier plastique, F) circuit imprimé de la caméra, G) boîtier arrière.</td>
      <td>151</td>
    </tr>
    <tr>
      <td>A.10</td>
      <td>La réponse du Digit à différents types de contact.</td>
      <td>152</td>
    </tr>
    <tr>
      <td>A.11</td>
      <td>La base de données relationnelle composée de 5 tables (objects, scenes, grasps, touch, users).</td>
      <td>153</td>
    </tr>
    <tr>
      <td>A.12</td>
      <td>(a) Une scène chargée dans l'interface graphique, (b) quelques exemples de touches du clavier permettant à l'utilisateur d'interagir avec le logiciel en se déplaçant dans l'image (c) descriptions de ce qui est affiché à l'écran après avoir généré des préhensions.</td>
      <td>154</td>
    </tr>
    <tr>
      <td>A.13</td>
      <td>A gauche, la fenêtre affiche l'image segmentée (les parties sombres correspondent à l'arrière-plan, les parties en surbrillance aux objets). A droite les curseurs correspondent aux paramètres de la méthodes (ici, il y a 6 curseurs correspondant à la plage de valeurs de teinte, de saturation et de valeur appartenant à l'arrière-plan).</td>
      <td>158</td>
    </tr>
    <tr>
      <td>A.14</td>
      <td>(a) l'image originale, (b) le masque extrait manuellement, (c) le masque croppant les bords et (d) le masque issu de la combinaison 'mixed' de segmentation.</td>
      <td>159</td>
    </tr>
  </tbody>
</table>
<table><tr><td>A.15 Résultats des différentes méthodes de segmentation comparés aux segmentations manuelles de 244 scènes issues de la base de données Cornell. Chaque histogramme représente la distribution des scores IoU par méthode, permettant de visualiser la performance des différents algorithmes de segmentation. Par exemple, pour la méthode HSV, on peut observer qu'il y a 9 segmentations ayant un score compris entre 0 et 0,1. Les résultats montrent que les méthodes de segmentation basées sur les données RGB, telles que « background », « HSV » et « closed edges », obtiennent les meilleurs scores IoU. En revanche, les méthodes utilisant les données de profondeur de la caméra, telles que RANSAC/profondeur, obtiennent des résultats moins performants.</td><td>161</td></tr></table>
Résumé

Cette thèse aborde le défi de la préhension d'objets aux prises difficiles par des robots
manipulateurs en combinant l'apprentissage automatique, l'utilisation de capteurs tactiles
et l'expertise humaine. Dans certaines applications industrielles telles que la manipulation
de déchets, la téléopération de robots est utilisée pour manipuler des objets irréguliers.
Cette tâche est complexe à automatiser en raison de l'irrégularité, de la visibilité partielle,
de la fragilité et de la susceptibilité des objets à se briser lors de la manipulation ou du
transport. Dans ce contexte, l'expertise de l'opérateur est cruciale pour guider les robots,
car ses critères de décision ne se traduisent pas facilement en critères mathématiques
implémentables dans un algorithme automatique. Apprendre à partir d'exemples est une
approche pertinente. Cependant, étant donné que ces démonstrations sont coûteuses à
acquérir, les travaux de cette thèse proposent des pistes nécessitant peu de démonstrations
de l'expert.

L'objectif est d'améliorer les compétences de préhension du robot en utilisant l'ap-
prentissage hors ligne et en ligne, ce qui permet au robot d'apprendre rapidement les
préférences de préhension adaptées aux objets en question. Ainsi, cette thèse contribue
au développement de solutions robotiques avancées pour la manipulation d'objets com-
plexes.

Mots-clés: Apprentissage automatique, Robotique, Manipulation

Abstract

This thesis addresses the challenge of gripping objects difficult to handle by ma-
nipulator robots by combining machine learning, the use of tactile sensors, and human
expertise. In certain industrial applications such as waste handling, robot teleoperation
is used to manipulate irregular objects. This task is complex to automate due to the
irregularity, partial visibility, fragility, and susceptibility of the objects to break during
manipulation or transportation. In this context, the operator's expertise is crucial in guid-
ing the robots, as their decision criteria do not easily translate into mathematical criteria
implementable in an automatic algorithm. Learning from examples is a relevant approach.
However, since these demonstrations are costly to acquire, the work in this thesis proposes
directions that require few expert demonstrations.

The goal is to improve the robot's gripping skills using offline and online learning, which allows the robot to quickly learn the gripping preferences suitable for the objects in question. Thus, this thesis contributes to the development of advanced robotic solutions for the manipulation of complex objects.

Keywords: Machine Learning, Robotics, Grasping.
# Chapitre 1

# Introduction

La robotique est un domaine en constante évolution<fnref n="1" />. Elle transforme la manière dont les industries fonctionnent et dont les humains interagissent avec les machines. Avec l'avènement de la quatrième révolution industrielle, l'intelligence artificielle et la robotique sont au cœur des changements qui visent à développer des systèmes autonomes et intelligents [164]. La manipulation d'objets par des robots est un enjeu majeur de la recherche en ce domaine, c'est une tâche essentielle pour de nombreuses applications.

La communauté des chercheurs en robotique s'efforce de développer des robots capables de fonctionner dans des environnements non structurés et dynamiques, tels que les chantiers de construction, les scènes de catastrophe, les missions spatiales ou même une simple maison ou un supermarché<fnref n="2" />. Ces environnements posent des défis uniques aux robots car ils impliquent souvent un terrain imprévisible, des conditions changeantes et des obstacles inattendus. Les robots capables de saisir des objets de manière autonome peuvent être utilisés pour automatiser des tâches répétitives et dangereuses, ce qui peut améliorer la sécurité et la productivité dans de nombreuses industries. Ils peuvent également être utilisés pour aider les personnes âgées et les personnes handicapées dans leur vie quotidienne [131].

En apprenant à saisir des objets, les robots peuvent les prendre, les déplacer et interagir avec leur environnement de manière plus sophistiquée, leur permettant d'effectuer des tâches plus complexes ou de remplacer l'humain dans des cas où l'utilisation de robots est essentielle.

Dans la littérature sur la robotique et la manipulation, le domaine de la préhension est souvent considéré comme mature. En effet, les études menées depuis plusieurs décennies ont proposé une vaste gamme de représentations, méthodes et mesures de la qualité de la préhension, calculées à partir d'informations sur les mouvements de la main ou de la pince et sur la forme de l'objet lorsqu'elle est connue [86].

<footnote n="1">1. Vidéo 'Robots - A 50 Year Journey' de Oussama Khatib (2000) disponible à l'adresse https://vimeo.com/137042620</footnote>

<footnote n="2">2. Vidéo 'Robots - The Journey Continues' de Bruno Siciliano, Oussama Khatib et Torsten Kröger (2016) disponible à l'adresse https://vimeo.com/173394878</footnote>
<figure><img src="image_3.png" /><figcaption>FIGURE 1.1 – Goertz faisant la démonstration de son manipulateur mécanique esclave-maitre en 1949.</figcaption></figure>

Historiquement, l'un des premiers exemples de manipulation télé-opérée date de 1949 (Fig. 1.1). Alors qu'il travaillait pour la Commission de l'énergie atomique au Laboratoire national d'Argonne, Raymond C. Goertz a déposé un brevet [59] pour un premier manipulateur maître-esclave afin de manipuler des matériaux radioactifs. Il a mis au point un système composé de deux parties : une console maître, actionnée par un humain, et un dispositif esclave, qui était la machine à contrôler. La console maître était reliée au dispositif esclave par une liaison de communication, ce qui permettait à l'opérateur d'envoyer des commandes à la machine et de recevoir un retour d'information sur ses actions. Le dispositif esclave était équipé de capteurs et d'actionneurs qui lui permettaient d'exécuter les commandes de l'opérateur et de renvoyer des informations à la console principale. Afin d'expérimenter en toute sécurité avec des matériaux radioactifs, il est nécessaire de minimiser autant que possible l'effet de la radioactivité nocive, comme les rayons gamma.

Cette nécessité a favorisé la mise au point de nombreux appareils télécommandés permettant à l'expérimentateur d'effectuer ses opérations indirectement, derrière un mur de protection, en observant le résultat de ses mouvements à travers un jeu de miroirs ou une fenêtre blindée dans le mur. Les difficultés relevées par cet exemple sont toujours d'actualité [172] et font partie des défis adressés dans cette étude.

Le tri semi-autonome de tas d'objets inconnus est une tâche ayant de multiples applications potentielles répondant à d'énormes besoins sociétaux, comme le tri de déchets radioactifs ou d'autres matières dangereuses. Par exemple, le nettoyage du demi-siècle de déchets radioactifs accumulés au Royaume-Uni (principalement sur le site de Sellafield) représente l'un des plus grands projets de réhabilitation environnementale en Europe, avec des coûts prévus de plus de 50 milliards d'euros au Royaume-Uni seul au cours des 100 prochaines années [115].

De nombreux anciens sites nucléaires de l'UE (plus de 60 ans au Royaume-Uni) contiennent un grand nombre de conteneurs de stockage, dont beaucoup ont des contenus inconnus de niveaux de contamination mixtes. D'autres applications, comme la robotique dans la fabrication ou l'agriculture, rencontrent des défis similaires, où un tas d'objets inconnus ou déformés, comme différents types de récoltes, doit être manipulé [131].
<figure><img src="image_4.png" /><figcaption>FIGURE 1.2 – L’Unimate était le premier robot industriel jamais construit. C’était un bras manipulateur hydraulique qui pouvait effectuer des tâches répétitives.</figcaption></figure>

Peu après, le premier robot véritablement programmable a été l'Unimate (Fig. 1.2), mis au point par George Devol et Joseph Engelberger en 1954. L'Unimate<fnref n="3" /> a été utilisé pour automatiser la chaîne de production de General Motors et son exemple a ouvert la voie au développement des robots industriels modernes. UNIMATE obéissait à des commandes étape par étape stockées sur un tambour magnétique et, avec son bras de plus de 1800 kg, il a été utilisé par les constructeurs automobiles pour automatiser les processus de travail des métaux et de soudage. Ce robot a ouvert la voie au développement des robots industriels modernes.

Les robots industriels traditionnels sont généralement conçus pour effectuer des tâches spécifiques et sont souvent coûteux et difficiles à programmer. Les cobots, ou robots collaboratifs, ont été introduits dans les années 1990 [44] pour offrir de nouvelles possibilités d'interaction et de coopération entre humains et machines. Les cobots sont des robots légers et faciles à programmer qui peuvent fonctionner aux côtés des humains sans danger, ce qui en fait une option attractive pour de nombreuses applications.

La robotique collaborative, ou cobotique, offre également de nouvelles possibilités pour l'interaction et la coopération entre les humains et les robots dans la saisie d'objets [10]. Les cobots sont conçus pour travailler aux côtés des humains, ce qui permet aux humains et aux robots de travailler ensemble pour accomplir des tâches de manière plus efficace et plus sûre. Les cobots peuvent être utilisés pour aider les humains à saisir des objets lourds ou encombrants, ou pour effectuer des tâches de saisie difficiles ou dangereuses.

Parallèlement à ces développements mécatroniques, l'état de l'art en matière de planification de saisie et d'apprentissage automatique a connu des avancées significatives au

<footnote n="3">3. Vidéo disponible à l'adresse https://youtu.be/VdolSBpyCaU</footnote>
cours des dernières décennies [206]. Ces avancées sont dues à la plus grande disponibilité des données, à l'augmentation de la puissance de calcul des processeurs et à la disponibilité de capteurs pour améliorer la performance des robots. Cela permet aux robots de s'entraîner à partir d'exemples et de données sensorielles pour améliorer leur performance. L'apprentissage automatique peut être utilisé pour apprendre à saisir des objets inconnus en analysant les propriétés des objets et en reconnaissant les caractéristiques communes des objets dans des bases de données d'apprentissage. Les techniques de vision par ordinateur peuvent également être utilisées pour aider les robots à identifier les objets et à déterminer la meilleure façon de les saisir.

Les capteurs visuels, tels que les caméras RGB-D, sont un type de capteur clé utilisé en robotique pour des tâches telles que la reconnaissance, la localisation et la saisie d'objets [159]. Les caméras RGB-D fournissent à la fois des informations de couleur et de profondeur, permettant aux robots de percevoir et de comprendre leur environnement de manière plus détaillée et nuancée. Les capteurs tactiles peuvent aussi être utilisés pour aider les robots à saisir des objets en temps réel. Ils peuvent par ailleurs détecter les forces et les pressions appliquées lors de la saisie des objets, ce qui permet aux robots de s'adapter aux changements dans l'environnement et de saisir efficacement les objets. Les chercheurs ont également exploré l'utilisation de capteurs de force pour améliorer la planification de saisie, en mesurant la force appliquée lors de la saisie des objets et en utilisant cette information pour ajuster les mouvements du robot [191].

La planification de la préhension en robotique est le processus qui consiste à déterminer comment un robot doit saisir et manipuler un objet. Il s'agit de sélectionner la pose de préhension la plus appropriée, c'est-à-dire la position et l'orientation du préhenseur par rapport à l'objet, en fonction de la forme, de la taille et d'autres propriétés physiques de l'objet. L'objectif est de trouver une préhension qui soit à la fois stable et efficace, ce qui signifie qu'elle peut saisir et manipuler l'objet de manière fiable sans le faire tomber ou l'endommager.

Un "pipeline de préhension" est une séquence d'étapes qu'un robot suit pour saisir un objet [86]. Il comprend généralement quatre étapes : l'acquisition de la cible, la planification de la saisie, la planification du mouvement et l'exécution de la saisie. Le robot doit d'abord détecter l'objet et analyser sa forme, sa taille et sa position dans l'environnement. Une fois que l'objet a été perçu, le robot doit déterminer la meilleure façon de le saisir en fonction de sa forme, de sa taille et d'autres propriétés. Ensuite, le robot doit planifier une trajectoire pour son bras et sa pince afin de saisir l'objet et exécuter la saisie. Enfin, le robot doit exécuter la saisie planifiée en fermant la pince autour de l'objet.

Cependant, la saisie d'objets réguliers et irréguliers reste un défi, en raison de la diversité des formes et des matériaux des objets. L'intégration de la connaissance humaine peut également aider à améliorer la planification de saisie des robots [169]. La capacité des robots à manipuler de manière totalement autonome des tas denses comprenant des objets inconnus est limitée en raison des défis posés par la compréhension de la scène et donc de la prédiction de saisie. Les humains ont une grande expertise dans la préhension des objets, et cette connaissance peut être utilisée pour aider les robots à les saisir efficacement. Les chercheurs ont exploré l'utilisation de l'interaction humain-robot pour améliorer la planification de saisie, en permettant aux humains de fournir des informations sur les objets à saisir [26].

La thèse présentée ici explore cette approche pour améliorer la planification de saisie
en robotique. Elle s'appuie d'une part, sur la connaissance humaine et d'autre part, sur l'emploi de capteurs tactiles dans le contexte de la manipulation d'objets inconnus. Dans les travaux de cette thèse, nous considérons une approche semi-autonome où un opérateur humain peut interagir avec le système (par exemple en utilisant la télé-opération) et donner des commandes de haut niveau pour à terme atteindre l'exécution autonome des saisies. Le système assimile des compétences de manipulation à partir des exemples fournis par l'opérateur humain et peut ainsi apprendre à saisir de manière efficace en terme de données. Nous abordons le problème de la saisie d'objets inconnus, c'est-à-dire que nous ne disposons pas d'un modèle de l'objet et la caméra observant la scène n'offre qu'une vision en plongée des objets.

Plus précisément, cette thèse cherche à répondre aux questions suivantes :

— Comment intégrer la connaissance humaine dans des algorithmes de planification de saisie existant pour améliorer leur performance et leur adaptabilité ?

— Comment utiliser des capteurs tactiles pour améliorer la précision et la stabilité de la saisie d'objets inconnus ?

— Quelles sont les stratégies et les défis rencontrés par les humains lors de la manipulation d'objets varié ?

— Comment ces informations peuvent-elles être utilisées pour améliorer l'apprentissage automatique en robotique ?

Pour répondre à ces questions, nous avons mené une série d'expériences et d'études, des approches d'apprentissage automatique et l'analyse de données collectées auprès d'opérateurs humains. Nous avons également développé et comparé différents algorithmes de planification de saisie pour évaluer leur efficacité et leur polyvalence, en simulation et avec des expériences réelles.

L'annexe A décrit l'environnement matériel et logiciel utilisé dans cette thèse, ainsi que la collecte et le traitement des données. Nous décrivons les capteurs tactiles utilisés pour la saisie d'objets. Nous décrivons également les algorithmes de planification de saisie que nous avons développés et comparés.

Le chapitre 2 présente l'état de l'art en matière de planification de saisie et d'apprentissage automatique en robotique, ainsi que les techniques d'interaction humain-robot. Nous passons en revue les approches actuelles pour la planification de saisie, en mettant l'accent sur les avantages et les limites de chacune. Nous discutons également des techniques d'apprentissage automatique pour la saisie d'objets, y compris l'apprentissage par renforcement, l'apprentissage supervisé et l'apprentissage non supervisé.

Le chapitre 3 détaille l'intégration de la connaissance humaine dans le pipeline de préhension de manière à respecter certaines propriétés de l'objet. L'essentiel du travail réalisé se concentre donc sur les parties acquisition de la cible et la planification de la saisie. Nous nous intéressons à des cas où l'expertise humaine permet de respecter des contraintes que l'on ne peut pas déduire seulement des données fournies par la caméra. Par exemple, nous ne voulons pas endommager les parties fragiles de l'objet, comme les verres des lunettes. De même, nous ne voulons pas saisir les parties coupantes d'un objet pour éviter d'endommager le préhenseur. Ou encore, nous devons parfois tenir compte d'une répartition inégale de la masse pour saisir l'objet de façon à ce qu'il ne s'incline pas ou ne tombe pas de la pince, comme dans le cas du marteau (Fig. 1.3).
<figure><img src="image_5.png" /><figcaption>FIGURE 1.3 – Exemples de préférences.</figcaption></figure>

Dans le chapitre 4, nous étudierons une application des capteurs tactiles, notamment l’intégration de capteurs tactiles sur les pinces d’un robot afin de mesurer la pression et la déformation de l’objet saisi. Nous aborderons le problème de la saisie d’objets inconnus identifiés à partir d’images en vue de dessus avec un préhenseur parallèle. Les générateurs de préhension actuels déterminent les meilleurs emplacements candidats pour les préhensions planaires en utilisant une image RGB-D, mais ne parviennent pas à obtenir des résultats satisfaisants lorsque les objets sont fins, transparents ou présentent des formes courbes. Nous proposons d’entraîner un régresseur capable de prédire la meilleure hauteur de saisie à partir de l’image. Pour ce faire, nous utilisons un jeu de données acquis automatiquement grâce aux capteurs optiques tactiles du DIGIT, permettant d’évaluer le succès et la stabilité de la prise.

Dans le chapitre 5, nous examinerons les performances de saisie d’une vingtaine de participants manipulant un tas d’objets variés. L’objectif de cette étude est de fournir une base de référence des performances humaines dans la résolution de ce problème, ainsi que de tirer des conclusions sur les stratégies adoptées et l’expérience de manipulation en elle-même. Au cours de cette analyse, nous observerons attentivement les approches et techniques utilisées par les participants pour saisir efficacement les objets. Cette évaluation nous permettra d’identifier les facteurs qui contribuent à une meilleure performance, ainsi que les défis rencontrés lors de la manipulation d’objets dans un environnement complexe. Les résultats obtenus serviront de pistes d’améliorations des algorithmes de préhension robotique afin de concevoir des évaluations pertinentes et adaptées aux défis posés par la manipulation d’objets divers et inconnus.

Enfin, dans le chapitre 6, nous réaliserons une comparaison approfondie de différents algorithmes de référence utilisés pour la planification de saisie, en étudiant leur efficacité et leur adaptabilité. Cette comparaison nous permettra d’évaluer les forces et les faiblesses de chaque algorithme, ainsi que d’identifier les meilleures pratiques pour optimiser la planification de saisie robotique via la mise en œuvre dans une version interactive des algorithmes décrits précédemment au chapitre 3. La version interactive (en ligne) devrait améliorer la performance et en s’adaptant aux préférences et aux contraintes.

En résumé, cette thèse explore de nouvelles approches pour améliorer la planification de saisie en robotique en tirant parti de la connaissance humaine et de capteurs tactiles. Les résultats obtenus contribuent à une meilleure compréhension des défis et des stratégies associés à la manipulation d’objets, ainsi qu’à l’amélioration des performances des robots pour une grande variété d’applications, notamment dans le domaine du tri des déchets
nucléaires. L'apprentissage automatique et l'analyse des performances de saisie humaine peuvent aider à résoudre les problèmes de saisie d'objets inconnus en robotique, tandis que l'utilisation de capteurs tactiles peut améliorer la précision et la stabilité de la saisie.

# 1.1 Contexte - European project HEAP

Cette thèse s'inscrit dans le projet HEAP financé par Chist-Era, qui vise à développer des algorithmes de manipulation robotique pour le tri des déchets nucléaires. Ce projet est mené en partenariat avec l'Université de Lincoln, l'Institut Italien de Technologie (IIT), l'IDIAP et l'Université de Vienne, et aborde plusieurs scénarios de tâches de complexité variable, tels que saisir et pousser des objets irréguliers, sélectionner des objets dans un tas, identifier toutes les instances d'objets et les trier.

Dans le cadre de ce projet, j'ai effectué un séjour de près de 3 mois à l'Institut Italien de Technologie, où j'ai collaboré avec l'équipe de Lorenzo Natale pour intégrer mes algorithmes dans leur outil d'évaluation des performances des algorithmes de saisie.

# 1.2 Contributions

L'ensemble des travaux de cette thèse a produit plusieurs contributions sous forme d'articles scientifiques décrits ci-dessous.

## 1.2.1 Articles acceptés / publiés

**Résumé** : La saisie a fait des progrès impressionnants au cours des dernières années grâce à l'apprentissage profond. Cependant, il existe de nombreux objets pour lesquels il n'est pas possible de choisir une préhension en regardant uniquement une image RGB-D, que ce soit pour des raisons physiques (par exemple, un marteau avec une distribution de masse inégale) ou des contraintes de tâche (par exemple, de la nourriture qui ne doit pas être gâchée). Dans de telles situations, les préférences des experts doivent être prises en compte.

Dans cet article, nous présentons un pipeline de préhension efficace en termes de données (Latent Space GP Selector — LGPS) qui apprend les préférences de préhension avec seulement quelques étiquettes par objet (typiquement 1 à 4) et qui se généralise à de nouvelles vues de cet objet. Notre pipeline est basé sur l'apprentissage d'un espace latent de préhension à partir d'une base de données généré par un générateur de préhension de pointe (par exemple, Dex-Net). Cet espace latent est ensuite utilisé comme une entrée de faible dimension pour un classificateur à processus gaussien qui sélectionne la saisie préférée *parmi celles proposées par le générateur*.

Les résultats montrent que notre méthode surpasse à la fois GR-ConvNet et GG-CNN (deux méthodes de pointe qui sont également basées sur des prises étiquetées) sur le jeu de données Cornell, en particulier lorsque seulement quelques étiquettes sont utilisées : seulement 80 étiquettes sont suffisantes pour choisir correctement 80% des prises (885 scènes, 244 objets). Les résultats sont similaires sur notre jeu de données (91 scènes, 28 objets).
(IEEE ICRA 2022) - Data-efficient learning of object-centric grasp preferences
Yoann Fleytoux, Anji Ma, Serena Ivaldi, Jean-Baptiste Mouret

**Résumé** : Nous abordons le problème de la saisie d'objets inconnus identifiés à partir d'images descendantes avec un préhenseur parallèle. Lorsqu'aucun modèle 3D de l'objet n'est disponible, les générateurs de préhension de l'état de l'art identifient les meilleurs emplacements candidats pour les préhensions planaires en utilisant l'image RGB-D. Cependant, alors qu'ils génèrent la position cartésienne et l'orientation de la pince, la hauteur du centre de la prise est souvent déterminée par une heuristique basée sur le point le plus haut de la carte de profondeur, ce qui conduit à des prises infructueuses lorsque les objets ne sont pas épais, ou ont des transpareces ou des formes courbes. Dans cet article, nous proposons d'apprendre un régresseur qui prédit la meilleure hauteur de saisie à partir de l'image. Nous entraînons ce régresseur à l'aide d'un jeu de données acquis automatiquement grâce aux capteurs optiques tactiles du DIGIT, qui peuvent évaluer la réussite et la stabilité de la saisie. En utilisant notre prédicteur, le succès de la saisie est amélioré de 6% pour tous les objets, de 16% en moyenne sur les objets difficiles, et de 40% pour les objets qui sont notamment très difficiles à saisir (par exemple, transparents, courbés, minces).<fnref n="4" />

(IEEE ICRA 2023) - Learning height for top-down grasps with the DIGIT sensor
Thais Bernardi*, Yoann Fleytoux*, Jean-Baptiste Mouret, Serena Ivaldi

**Résumé** : Les modèles de prédiction visuelle constituent une solution prometteuse pour la saisie robotique visuelle d'objets mous inconnus et encombrés. Les modèles précédents de la littérature sont gourmands en calcul, ce qui limite la reproductibilité; bien que certains considèrent la stochasticité dans le modèle de prédiction, elle est souvent trop faible pour saisir la réalité des expériences robotiques impliquant la saisie de tels objets. De plus, les travaux précédents se sont concentrés sur des mouvements élémentaires qui ne sont pas efficaces pour raisonner en termes d'actions sémantiques plus complexes. Pour remédier à ces limitations, nous proposons VP-GO, un modèle de prédiction visuelle stochastic "léger" conditionné par l'action. Nous proposons une décomposition hiérarchique des actions sémantiques de préhension et de manipulation en mouvements élémentaires de l'effecteur final, afin d'assurer la compatibilité avec les modèles et les ensembles de données existants pour la prédiction visuelle d'actions robotiques tels que RoboNet. Nous enregistrons et diffusons également un nouveau jeu de données ouvert pour la prédiction visuelle de la saisie d'objets, appelé PandaGrasp. Notre modèle peut être pré-entraîné sur RoboNet et affiné sur PandaGrasp, et ses performances sont similaires à celles de modèles plus complexes en termes de métriques de prédiction du signal. Qualitativement, il est plus performant lorsqu'il s'agit de prédire le résultat de saisies complexes effectuées par notre robot.

<footnote n="4">4. * Les deux premiers auteurs de l'article scientifique en question ont contribué à parts égales à la recherche et à la rédaction de l'article.</footnote>
(IEEE ARM 2022) - VP-GO : A 'Light' Action-Conditioned Visual Prediction Model for Grasping Objects

Anji Ma, **Yoann Fleytoux**, Jean-Baptiste Mouret, Serena Ivaldi

1.2.2 Articles en cours

Résumé :

La saisie robotique robuste d'objets a de vastes applications industrielles. La fiabilité
des méthodes de préhension basées sur des données est influencée par la variabilité des
formes d'objets rencontrées pendant la formation. La plupart des ensembles de données
d'objets existants souffrent d'un biais de sélection humaine, manquent de variabilité ou ne
sont pas reproductibles. Cet article présente un ensemble de données d'objets imprimables
en 3D physiquement reproductibles pour l'entraînement et l'évaluation des algorithmes
de préhension. Il contient les maillages 3D exacts de 50 objets à des fins de simulation
et d'impression. Les différents objets du jeu de données ont été trouvés à l'aide de l'algo-
rithme MAP-Elites, qui optimise la variabilité des objets en fonction de deux métriques de
préhension. Nous avons utilisé un Variational AutoEncoder (VAE) comme modèle généra-
tif pour les modèles d'objets voxelgrid, qui ont ensuite été convertis en mailles et simplifiés
à l'aide de la Volumetric Hierarchical Approximate Convex Decomposition (V-HACD).
L'ensemble de données est accessible au public en ligne et peut être commandé auprès
de n'importe quel service d'impression 3d selon des spécifications données. Nous espérons
qu'il deviendra un ensemble de données d'évaluation standard pour la communauté de la
préhension robotique.

AGOD-Grasp : an Automatically Generated Object Dataset for benchmarking and
training robotic grasping algorithms

Mihai Andries, **Yoann Fleytoux**, Jean-Baptiste Mouret, Serena Ivaldi
# Chapitre 2
## État de l'art

Le problème de la synthèse de préhension robotique est complexe, car il englobe de multiples variables et contraintes liées à la tâche que le robot doit accomplir. La résolution de ce problème est cruciale pour permettre aux robots d'interagir efficacement avec leur environnement, notamment dans des tâches telles que la manipulation d'objets pour l'assemblage/désassemblage ou le transport d'objets.

Dans un premier temps, nous aborderons les caractéristiques essentielles du problème de la synthèse de préhension robotique (Sec. 2.1), ainsi que les représentations des préhensions couramment utilisées en robotique (Sec. 2.2). Par la suite, nous présenterons plusieurs approches pour résoudre ce problème, en nous concentrant notamment sur les méthodes géométriques (Sec. 2.4) et les méthodes basées sur l'apprentissage automatique (Sec. 2.5). Chacune de ces approches présente des avantages et des limites spécifiques, et le choix de la méthode appropriée dépendra des exigences particulières de l'application en question. Ainsi, il est essentiel de bien comprendre les différentes techniques disponibles pour choisir la solution la mieux adaptée au contexte et aux objectifs visés.

### 2.1 Caractéristiques du problème de préhension

La recherche d'une prise adéquate parmi l'ensemble infini de candidats possibles est un problème complexe qui a été fréquemment abordé dans la communauté robotique, engendrant ainsi une multitude d'approches variées. Plusieurs critères peuvent être utilisés pour distinguer ces méthodes [11, 86, 11, 206], parmi lesquels nous avons sélectionné les éléments suivants : le type d'effecteur utilisé (Sec. 2.1.1), les caractéristiques des objets à saisir (Sec. 2.1.2), la distinction entre méthodes visant à saisir des objets isolés ou en groupe (Sec. 2.1.3), la synthèse de préhensions avec 4 ou 6 degrés de libertés (Sec. 2.1.4), l'utilisation ou non d'un modèle des objets (Sec. 2.1.5), la capacité à offrir des performances en temps réel (Sec. 2.1.6) et, enfin, la prise en compte d'actions non préhensibles avant la manipulation (Sec. 2.1.7).

En examinant ces critères, nous pouvons mieux comprendre et comparer les différentes approches proposées pour résoudre le problème de la synthèse de préhension robotique. Cette analyse permettra d'identifier les méthodes les mieux adaptées aux exigences spécifiques de chaque situation et d'orienter les recherches futures pour améliorer les performances et l'efficacité des robots dans diverses tâches de manipulation.
### 2.1.1 Types d'effecteurs

<figure><img src="image_6.png" /><figcaption>FIGURE 2.1 – Exemples de différents types de préhenseurs : (a) Préhenseurs à contact mécanique (impactive gripper) : dispositifs tels que mâchoires ou griffes qui saisissent l'objet physiquement par impact direct.</figcaption></figure>

(b) Préhenseurs pénétratifs (ingressive gripper) : outils comme les épingles ou les aiguilles qui pénètrent la surface de l'objet pour le saisir (utilisés notamment dans la manipulation des fibres textiles, de carbone et de verre).

(c) Préhenseurs attractifs (astrictive gripper) : systèmes qui utilisent des forces d'attraction appliquées à la surface de l'objet, comme le vide, les forces magnétiques ou l'électro-radhésion.

(d) Préhenseurs contigus (contigutive gripper) : mécanismes nécessitant un contact direct pour que l'adhésion se produise, par exemple à travers la colle, la tension superficielle ou la congélation. Figure adaptée de [117].

Les effecteurs, ou préhenseurs, sont des dispositifs utilisés pour saisir et manipuler des objets. Le choix de l'effecteur approprié dépend des objets à manipuler et des contraintes spécifiques de la plateforme utilisée. Les préhenseurs varient en termes de complexité, de mécanismes de fonctionnement et d'adaptabilité à différentes tâches.

Par exemple, la main Allegro (voir Figure 2.1) est un préhenseur hautement sophistiqué qui possède quatre doigts, chacun doté de trois articulations. Cette conception permet une manipulation fine et polyvalente des objets. Cependant, dans la littérature scientifique, la majorité des recherches se concentre sur les préhenseurs à pinces parallèles (à deux doigts), qui représentent l'un des cas les plus simples et les plus courants.

Les pinces parallèles sont appréciées pour leur simplicité de conception, leur facilité d'utilisation et leur capacité à saisir efficacement une large gamme d'objets. Cependant, elles peuvent être limitées dans leur capacité à manipuler des objets de formes complexes
ou à réaliser des tâches nécessitant une dextérité accrue.

Il est important de noter qu'il existe également de nombreux autres types d'effecteurs, tels que les préhenseurs à ventouses, les pinces à trois doigts, les pinces à rouleaux, les pinces magnétiques et les pinces à crochets, pour n'en nommer que quelques-uns. Chacun de ces effecteurs présente des avantages et des inconvénients spécifiques en fonction de l'application et des contraintes du système.

En somme, le choix d'un effecteur adapté est crucial pour la réussite de la manipulation d'objets par des robots. Une compréhension approfondie des différentes options disponibles et de leurs performances dans diverses situations permettra aux chercheurs et aux ingénieurs de concevoir des systèmes robotiques de manipulation d'objets plus efficaces et polyvalents.

## 2.1.2 Variété d'objets à saisir

La diversité des objets utilisés dans la recherche en saisie robotique est vaste [71]. Les premières études sur la synthèse de saisie analytique se sont concentrées sur la manipulation de formes simples, telles que des polygones (2D) et des polyèdres (3D) [130, 110].

Des objets du quotidien sont également couramment employés, comme ceux présents dans la base de données d'objets et de modèles YCB (Yale-CMU-Berkeley) [27] (Fig. 2.2). Cette base comprend les modèles 3D d'un grand nombre d'objets, ainsi que des objets physiques réels, tels que des couverts, des jouets et des outils de différentes formes, tailles, textures, poids et rigidités.
<figure><img src="image_7.png" /></figure>

FIGURE 2.2 – Objets de la base de données YCB : (a) aliments, (b) cuisine, (c) outils, et (d) formes.

Des bases de données plus spécifiques peuvent également être utilisées. Par exemple, [172] a créé une base de données de 217 objets appartenant à 10 catégories courantes dans les dépôts de déchets radioactifs : bouteilles en plastique, canettes, chaînes, chiffons de nettoyage, gants, objets métalliques, tuyaux en plastique, raccords de tuyaux, éponges et blocs de bois.

Lors du défi Amazon Picking [41], les participants devaient manipuler 25 objets cou-
ramment vendus en ligne. La compétition a souligné les difficultés pratiques rencontrées
par les robots face à des objets déformables, des surfaces transparentes ou réfléchissantes,
etc.

Peu de travaux se concentrent sur des objets articulés, flexibles ou déformables [156],
ou difficiles à percevoir, comme les objets transparents [155, 72, 197, 72]. [72] propose
une méthode pour extraire une carte de profondeur de haute qualité à l'aide d'un réseau
de neurones Neural Radiance Fields (NeRF), permettant ainsi de récupérer la géométrie
d'objets transparents pour les manipuler.
<figure><img src="image_8.png" /><figcaption>FIGURE 2.3 – Exemples d'objets générés par AGOD-Grasp [2].</figcaption></figure>

Enfin, certains travaux [184, 118, 2] ont généré des objets spécialement conçus pour la préhension robotique, imprimables en 3D ou utilisables en simulation. L'Evolved Grasping Analysis Dataset (EGAD) [118] utilise des Compositional Pattern Producing Networks (CPPNs) pour créer des objets dotés d'une symétrie radiale et emploie l'algorithme évolu- tionnaire MAP-Elites [121] afin d'assurer une diversité géométrique et une couverture uni- forme de l'espace 2D, en termes de difficulté de préhension et de complexité de forme. De manière similaire à EGAD, AGOD-Grasp [2] utilise un Variational AutoEncoder (VAE) 3D qui traite des grilles de voxels de taille 64×64×64 pour générer des objets sans sy- métrie radiale (Fig. 2.3). Ces objets, ainsi créés, garantissent une variété de formes et de difficultés de saisie, les rendant utiles pour l'entraînement et l'évaluation des systèmes de préhension robotique.

Le Tableau 2.1 contient une brève description de chaque ensemble de données dans l'ordre chronologique de leur publication, tandis que le Tableau 2.2 les analyse selon nos critères d'intérêt mentionnés ci-dessus.
<table><caption>TABLE 2.1 – Ensembles de données d'objets appropriés à des fins de préhension, extrait de [2].</caption><thead><tr><td>Dataset</td><td>Description</td><td>Format</td><td>Year</td></tr></thead><tbody><tr><td>MATAMOROS et al. [112]</td><td>Tableware, cutlery, trash bags, bags, disks, books, coat rack, trays, pou- rable (muesli, cereal), heavy objects, tiny objects, fragile objects, amor- phous objects</td><td>Physical objects, handed to Robocup participants</td><td>2009-2019</td></tr><tr><td>CHOI et al. [37]</td><td>Medical items, dining items, ba- throom items, living room items, bed room items, personal belongings</td><td>Shopping list (outdated)</td><td>2009</td></tr><tr><td>JIANG et al. [75]</td><td>1035 images of 280 different ob- jects (different orientations, associa- ted point cloud, background image)</td><td>The raw dataset consists of: (a) images, (b) grasping rectangles, (c) pointclouds, (d) background images and (e) a file containing a mapping from each image to the corresponding background image.</td><td>2011</td></tr><tr><td>KASPER et al. [81]</td><td>Boxes, cans, tubes, mugs, bottles, toys, pliers. Limited variation in ob- ject types. 3D models are recon- structions, not sources.</td><td>3D triangulated mesh, 2D image data, texture information, grasp information.</td><td>2012</td></tr><tr><td>ÇALLI et al. [29]</td><td>Food items, kitchen items, tools, shape imate, s task items (toys, ma- gazine)</td><td>Point clouds, associated meshes and tex- ture, mass, dimensions, models for in- tegration into planning and simulation software. Meshes reconstructed from scanning (without bottom side of ob- jects).</td><td>2015</td></tr><tr><td>CORRELL et al. [41]</td><td>25 products commonly sold on Amazon, with various shapes, sizes, deformable shapes, transparent and reflective surfaces, fragile.</td><td>Shopping list of 25 objects commonly sold on Amazon.</td><td>2018</td></tr><tr><td>Google [46]</td><td>Procedurally generated dataset</td><td>3D models of 1000 objects in Wavefront OBJ format.</td><td></td></tr><tr><td>MORRISON et al. [118]</td><td>Objects automatically generated using CPPN</td><td>2000 objects in total, of which 49 objects are printable without supporting struc- tures</td><td>2020</td></tr><tr><td>ANDRIES et al. [2]</td><td>Objects automatically generated in voxelgrid format using a VAE, then converted to meshes.</td><td>50 objects selected out of several hun- dred thousand objects.</td><td>2023</td></tr></tbody></table>
<table><caption>TABLE 2.2 – Ensembles de données d'objets analysés selon des critères d'intérêt extrait de [2].</caption><thead><tr><th>Dataset</th><th>Object variability</th><th>RGB-D scans</th><th>Simulation models</th><th>Physical models</th><th>3D printable</th><th>Physically deliverable</th></tr></thead><tbody><tr><td>[112]</td><td>✓</td><td>X</td><td>X</td><td>✓</td><td>X</td><td>✓</td></tr><tr><td>[37]</td><td>✓</td><td>X</td><td>X</td><td>X</td><td>X</td><td>X</td></tr><tr><td>[75]</td><td>✓</td><td>✓</td><td>X</td><td>X</td><td>X</td><td>X</td></tr><tr><td>[81]</td><td>X</td><td>✓</td><td>✓</td><td>X</td><td>X</td><td>X</td></tr><tr><td>[29]</td><td>✓</td><td>✓</td><td>✓</td><td>✓</td><td>X</td><td>✓</td></tr><tr><td>[41]</td><td>✓</td><td>X</td><td>X</td><td>✓</td><td>X</td><td>✓</td></tr><tr><td>[46]</td><td>X</td><td>X</td><td>✓</td><td>X</td><td>✓</td><td>X</td></tr><tr><td>[118]</td><td>✓</td><td>X</td><td>✓</td><td>✓</td><td>✓</td><td>X</td></tr><tr><td>[2]</td><td>✓</td><td>X</td><td>✓</td><td>✓</td><td>✓</td><td>X</td></tr></tbody></table>

### 2.1.3 Préhension d'objets isolés et de groupes d'objets

La majorité des méthodes de synthèse de préhension se concentrent sur des objets isolés reposant sur des surfaces planes. Les scènes comportant plusieurs objets présentent des difficultés supplémentaires : l'espace de travail accessible autour des objets à saisir est fortement limité, les occlusions sont plus susceptibles d'entraver la perception des objets, et identifier la saisie adéquate peut être plus complexe en raison des interactions de contact entre les objets lors de l'action de saisie.

Pour les méthodes capables d'appréhender des scènes avec plusieurs objets, on distingue également différents niveaux de difficultés, comme traiter des objets plutôt petits et légers répartis dans un bac, les tas structurés, une configuration compacte d'objets principalement plus grands et plus lourds (placards de cuisine, rayons de supermarché), et les tas denses (Fig. 2.4).

<figure><img src="image_9.png" /><figcaption>FIGURE 2.4 – Trois exemples de scènes selon les niveaux de difficulté : un objet isolé, de petits objets légers répartis dans un bac, et un tas dense.</figcaption></figure>

Enfin, certaines approches dites "target-driven" visent à identifier et saisir un objet spécifique parmi un tas [103, 100, 103]. Ces méthodes se concentrent sur la reconnaissance et la localisation de l'objet cible, tout en tenant compte des contraintes et obstacles présents dans l'environnement pour réussir la saisie de manière optimale.
### 2.1.4 Prise d'objet dans les espaces SE(2) et SE(3)

La préhension dans les espaces SE(2) ou 4DOF (Degrees Of Freedom, soit degrés de liberté en français) implique que l'objet cible se situe dans un environnement plan. La préhension est limitée à une direction unique dans ce contexte. Ici, SE(2) fait référence à l'ensemble des transformations rigides dans un espace bidimensionnel, comprenant des mouvements de translation le long de deux axes et une rotation. Ainsi, la représentation de la préhension est simplifiée, passant de 6 dimensions (voir Sec. 2.2) à 3, incluant au minimum les positions 2D sur le plan et l'angle de rotation en une dimension. Nous identifions deux types de méthodes pour évaluer cette préhension : celles qui évaluent les points de contact et celles qui évaluent les rectangles orientés.

En contraste, la préhension dans l'espace SE(3) ou 6DOF permet au dispositif de préhension de manipuler l'objet sous différents angles dans l'espace tridimensionnel, sans simplification de la posture du dispositif en 6 dimensions. SE(3) représente l'ensemble des transformations rigides dans un espace tridimensionnel, qui comprend des mouvements de translation le long de trois axes et des rotations autour de ces axes. Les méthodes SE(3) peuvent être divisées en deux catégories, selon qu'elles utilisent un nuage de points à vue unique ou un modèle complet de l'objet : les méthodes basées sur le nuage de points partiel et les méthodes basées sur le modèle complet. Pour ces dernières, les préhensions peuvent être prédéterminées manuellement ou par simulation, transformant ainsi le problème en une question d'estimation de la pose d'un objet en 6 dimensions.

### 2.1.5 Méthodes de préhension sans modèle et basées sur un modèle

La synthèse de préhension, qui est le processus de détermination des points de pré-
hension optimaux pour un robot, peut être approchée via deux catégories principales de
méthodes : les méthodes basées sur un modèle complet (qui nécessitent l'accès à un mo-
dèle 3D complet ou à un modèle scanné de l'objet [12]), et les méthodes basées sur un
nuage de points partiel de l'objet.

Il est à noter que ces approches sont principalement valides pour des objets dont les modèles étaient déjà connus. Pour des objets inédits ou atypiques (par exemple, un morceau de brique cassé de manière aléatoire, une canette comprimée de manière non uniforme, un objet brisé de manière imprévue), l'approche basée sur le modèle peut s'avérer inapplicable, ou nécessiter une étape préliminaire de reconstitution de la forme de l'objet à partir de plusieurs prises de vue ou à partir de l'expérience accumulée par le système.

Les méthodes basées sur le modèle complet s'appuient sur une gamme de techniques, notamment l'estimation de la pose de l'objet en 6D et les méthodes de complétion du modèle. On peut identifier plusieurs sous-catégories parmi ces approches :

- La localisation des objets sans classification, qui fournit uniquement les régions potentielles des objets ciblés sans préciser leur catégorie.

- La détection des objets, qui fournit non seulement les boîtes englobantes des objets ciblés, mais aussi leur catégorisation.

- La segmentation par instance de l'objet, qui divise les régions de pixels des objets ciblés en fonction de leur catégorie, permettant ainsi une identification plus précise.

D'autre part, les méthodes basées sur le nuage de points partiel exploitent des techniques d'estimation des prises candidates et des méthodes de transfert des prises à partir d'une base de données de prises existantes. Ces approches permettent de déterminer les
saisies possibles en se basant sur des informations partielles de l'objet, éliminant ainsi
le besoin d'un modèle 3D complet. Cette flexibilité offre un avantage certain lors de la
manipulation d'objets non familiers ou de formes complexes.

2.1.6 Méthodes de préhension en boucle ouverte et en boucle fermée

La majorité des algorithmes de saisie nécessitent de longs temps d'exécution et fonctionnent donc en boucle ouverte (sans rétroaction). Cela peut entraîner des échecs si la position d'un objet change entre la perception de la scène et l'exécution de la saisie.

<figure><img src="image_10.png" /><figcaption>FIGURE 2.5 – KALASHNIKOV et al. [79] utilisent des exemples réels (580K tentatives de saisie) pour entraîner un Markov Decision Process (MDP) model.</figcaption></figure>

À l'inverse, une commande en boucle fermée, comme celle proposée dans [79, 201, 179, 33, 98, 169, 119, 120], met continuellement à jour la stratégie de saisie du robot en fonction des observations les plus récentes afin d'optimiser le succès de la saisie à long terme (Fig. 2.5).

Ces politiques en boucle fermée peuvent présenter des comportements correctifs, des mouvements de sondage pour déterminer la meilleure saisie, un repositionnement non préhensile des objets et d'autres caractéristiques qui ne sont réalisables que lorsque la saisie est formulée comme un processus dynamique en boucle fermée.

Cependant, ces politiques ne formulent souvent pas explicitement la saisie à effectuer,
ce qui rend difficile l'intégration avec d'autres modules robotiques (tels que la planification
de trajectoires et l'évitement d'obstacles) ou la spécification de tâches de plus haut niveau,
même après ré-entraînement (par exemple, la sélection d'objets spécifiques dans un tas).
### 2.1.7 Actions préliminaires à la manipulation

La saisie robotique est généralement composée de plusieurs étapes : la détection de l'objet, la planification de la trajectoire, la préhension, et enfin, le levage et le repositionnement. En plus de certaines approches en boucle fermée mentionnées précédemment, plusieurs travaux intègrent également des actions non préhensiles, par exemple pour déplacer les objets avant de les saisir [132, 14, 50]. Ainsi, ZENG et al. [204] ont proposé un cadre d'apprentissage par renforcement Q-learning pour combiner la préhension et la poussée d'objets.

D'autres approches prometteuses [194, 180, 48, 105] consistent à exploiter les modèles de prédiction visuelle [53] pour informer une méthode de commande prédictive modèle (MPC) visuelle. Le principe de ces approches repose sur la prédiction de la sortie visuelle de la caméra du robot après l'exécution d'une action ou d'une séquence d'actions, et l'utilisation de cette prédiction pour orienter un contrôleur optimal ou un planificateur de décisions. Cette stratégie permet d'anticiper les conséquences des actions et d'ajuster les mouvements du robot en conséquence, améliorant ainsi les performances de manipulation.

## 2.2 Représentations des configurations de saisie

Il existe plusieurs types de représentation de préhension.

### 2.2.1 Représentations de saisie basées sur des points

Un ensemble de points de contact exprimés dans le repère de l'objet constitue cette représentation. Elle est adaptable à différentes pinces avec différents nombres de doigts et est largement utilisée dans les méthodes analytiques (Sec. 2.4) ou lors de l'utilisation d'effecteurs avec de nombreux doigts (Fig. 2.1).

[159] utilisent un seul point 3D dans leur synthèse de préhension sur des observations multivues d'images RGB. Réduite à un seul point, cette représentation est largement utilisée pour les prises par succion [107, 31, 74].

### 2.2.2 Régions de contact indépendantes (Independent Contact Regions)

Plus complexes à calculer que la représentation basée sur le contact, les Independent Contact Regions (ICRs) [129] définissent un ensemble de régions indépendantes sur la surface de l'objet, de sorte que placer un doigt sur chaque ICR entraîne une prise en *force closure* (les forces de contact permettent de maintenir l'équilibre face à n'importe quelles forces ou moments extérieurs appliqués sur l'objet), offrant ainsi des prises plus robustes face aux imprécisions d'exécution (voir Sec. 2.4).

### 2.2.3 Préhensions dans l'espace SE(3)

Cette représentation simplifiée profite du fait que les points de contact sur un objet sont entièrement déterminés par la pose 6D du préhenseur $g = (x, y, z, r_x, r_y, r_z)$ dans le cas des préhenseurs à pinces parallèles majoritairement utilisés dans la littérature scientifique. Elle prend en compte la position en 3D $(x, y, z)$ et l'orientation 3D $(r_x, r_y, r_z)$ du préhenseur.
### 2.2.4 Représentation de saisie par rectangle orienté

Cette représentation projette le point central de l'outil (TCP) et l'orientation de la préhension dans le plan de l'image et la définit comme un rectangle orienté [89, 119, 49, 97]. Elle est souvent utilisée pour comparer les performances des méthodes de préhension 4DOF (Sec. 2.1.4).

Présentée dans [106], elle est caractérisée par la position centrale de l'extrémité de l'outil de préhension $(x, y)$, l'orientation $\theta \in [-\frac{\pi}{2}, +\frac{\pi}{2}]$, la longueur de l'ouverture de la pince $l$, et la largeur du rectangle (toutes deux en pixels) : $(x, y, \theta, l, width)$ (Fig. 2.6).

<figure><img src="image_11.png" /><figcaption>FIGURE 2.6 – (a) La représentation par JIANG et al. [75] : Sommet supérieur $(r_G, c_G)$, longueur $m_G$, largeur $n_G$ et son angle par rapport à l'axe des x, $\theta_G$ pour un ustensile de cuisine. Il peut y avoir plusieurs prises définies comme indiqué. (b) La représentation simplifiée par REDMON et al. [147] pour un marteau, montrant son centre de préhension à $(x, y)$ orienté selon un angle de $\theta$ à partir de son axe horizontal. Le rectangle a une largeur et une hauteur de w et h respectivement. Image provenant de [24].</figcaption></figure>

### 2.2.5 Cartes de saisie au niveau des pixels (Pixel-level grasp maps)

Proposées par [4] et inspirées par les travaux sur la segmentation d'objet, ces modèles prennent en entrée des images (RGB et/ou D) et fournissent en sortie une image segmentée de la qualité de préhension à chaque pixel et éventuellement des paramètres de préhension associés (largeur, hauteur et orientation).

## 2.3 Utilisation de capteurs pour manipulation robotique

L'aptitude à manipuler des objets repose fortement sur la compétence des robots à percevoir et à analyser l'environnement qui les entoure. Pour accomplir cette mission essentielle, ils exploitent un éventail de capteurs spécialisés, chargés de recueillir des données pertinentes concernant l'environnement et les objets qui s'y trouvent. Les capteurs visuels et tactiles, deux catégories majeures, jouent un rôle clé dans ce processus.
### 2.3.1 Capteurs visuels

Les capteurs visuels, tels que les caméras RGB-D, sont un type de capteur clé utilisé en robotique pour des tâches telles que la reconnaissance, la localisation et la saisie d'objets. Les caméras RGB-D fournissent à la fois des informations de couleur et de profondeur, permettant aux robots de percevoir et de comprendre leur environnement de manière plus détaillée et nuancée.

#### 2.3.1.1 Représentations 3D

L'utilisation des capteurs de profondeur RGB-D abordables, tels que la Kinect de Microsoft, introduits dans les années 2010, a stimulé de nombreux travaux en robotique, notamment dans le domaine de la synthèse de préhensions. Les approches varient en fonction des données exploitées, notamment les images RGB-D [106, 96, 147] (voir Fig. A.4), les nuages de points [197, 122, 144, 173], les octrees [5] et les fonctions de distance signée tronquée (TSDF) [19, 169] (voir Fig. 2.7).

<figure><img src="image_12.png" /><figcaption>FIGURE 2.7 – Diverses représentations pour les données 3D : Représentation euclidienne (Descripteurs [87], projections [111], RGB-D [91], volumétrique ; voxels et octree [95] et multi-vues [171]) et représentations non euclidiennes (nuages de points, graphes et maillages). Figure adaptée de [1]</figcaption></figure>

Les informations 3D peuvent être représentées de multiples façons, comme le montre la Fig. 2.7.

L'apprentissage profond sur les données de nuages de points 3D a commencé bien plus tard que son succès fulgurant sur les images RGB. Au début, les données 3D étaient représentées sous forme de voxels 3D [114] ou par l'extraction de caractéristiques à partir d'images de profondeur 2,5D [61] et leur traitement similaire à celui des images RGB à
l'aide de réseaux de neurones convolutifs. Cependant, ces méthodes n'apportaient sou-
vent que des améliorations marginales. QI et al. [142, 143] ont introduit une nouvelle
architecture, appelée PointNet et PointNet++, capable de représenter les données 3D
et d'extraire efficacement des représentations. Le succès de PointNet a conduit à l'intro-
duction de différentes variantes d'architectures de réseaux [170, 189] pour représenter les
données 3D, montrant une amélioration significative de l'estimation de la pose des objets
3D, de la segmentation sémantique et de la segmentation des pièces [170, 143, 141, 198].

2.3.2 Capteurs tactiles

Les capteurs tactiles jouent un rôle essentiel dans la robotique en permettant aux robots d'interagir physiquement avec leur environnement et de détecter quand un objet est en contact avec leur pince ou manipulateur. Ces capteurs peuvent fournir des informations précieuses sur la forme, la taille, la texture, la position et l'orientation d'un objet par rapport au robot [52, 7]. Ils sont essentiels pour les tâches de saisie et de manipulation d'objets, permettant aux robots de s'adapter à diverses situations et d'améliorer leur performance.

2.3.2.1 Types et matériaux des capteurs tactiles

Les capteurs tactiles peuvent être classés en différentes catégories selon leur principe
de fonctionnement, telles que les capteurs capacitifs (constitués d'un condensateur, dans
lequel la distance entre les plaques ou la surface effective est modifiée lorsqu'une force
est appliquée), optiques (la trajectoire ou l'intensité de la lumière d'une LED est modifié
par le toucher est mesurée par un photodétecteur), piézorésistifs (fonctionnent sur le
principe selon lequel un métal conducteur change de résistance lorsqu'il est sous pression),
piézoélectriques (produisent une charge électrique proportionnelle à la force appliquée),
inductifs, optoélectroniques et magnétiques [52]. Ces capteurs peuvent être fabriqués à
partir de divers matériaux, des matériaux actifs ou des électrodes flexibles, ce qui les rend
adaptés à diverses applications, de la robotique à la santé et même à la chirurgie [182].

2.3.2.2 Capteurs tactiles basés sur la vision

Parmi les capteurs tactiles, les capteurs basés sur la vision, tels que le DIGIT [92], sont particulièrement intéressants pour les méthodes d'apprentissage basées sur les données, en particulier celles qui exploitent les techniques d'apprentissage profond pour le traitement des images. Le DIGIT est un capteur tactile qui utilise un élastomère déformable, comme le GelSight [203], pour mesurer les changements de surface causés par la force de contact. Ces capteurs peuvent être montés sur des préhenseurs existants et sont adaptés pour manipuler et saisir avec précision des objets, y compris des objets mous [166].

Le développement de ces capteurs tactiles basés sur la vision est soutenu par des
outils de simulation tels que TACTO [187], un simulateur pour les capteurs tactiles basés
sur la vision, qui génère des lectures tactiles haute définition et peut être configuré pour
simuler des capteurs comme DIGIT. Cela facilite le développement et l'évaluation des
performances de ces capteurs dans diverses applications robotiques.
### 2.3.2.3 Intégration des capteurs tactiles dans la manipulation robotique

L'intégration de capteurs tactiles basés sur la vision dans la manipulation robotique, et plus particulièrement dans la préhension, peut améliorer les performances en fournissant des informations supplémentaires sur l'emplacement du contact, les forces de contact, la forme de l'objet, les conditions de contact et la texture [7]. Les études menées avec le capteur DIGIT [23, 22] ont montré que l'utilisation de réseaux neuronaux profonds pour la prédiction des résultats de saisie basée sur la vision, le toucher et la combinaison de la vision et du toucher peut améliorer la réussite de la préhension et la manipulation d'objets.

Dans une application spécifique, le capteur DIGIT a été utilisé pour manipuler avec précision des objets tels que des câbles d'écouteurs [166]. Un serre-câble en circuit fermé s'appuie sur le retour tactile en temps réel du capteur pour saisir un câble d'écouteur, faire glisser les doigts vers le connecteur jack et l'insérer avec succès.

Cependant, la performance opérationnelle des capteurs tactiles basés sur la vision n'est pas entièrement connue. Il est important d'évaluer si la mesure optique du capteur est corrélée avec la force et le couple de contact, car ces informations sont crucialles pour évaluer la stabilité et le succès de la préhension à l'aide des mesures traditionnelles basées sur la force. Ainsi, des études expérimentales, telles que celle présentée dans le chapitre 4, sont nécessaires pour caractériser et évaluer les performances de préhension des capteurs tactiles tels que le DIGIT.

En somme, les capteurs tactiles, en particulier ceux basés sur la vision, offrent de nouvelles opportunités pour améliorer les performances de saisie et de manipulation d'objets dans la robotique. Les recherches et développements continus dans ce domaine contribuent à l'évolution des capteurs tactiles et à leur intégration réussie dans diverses applications robotiques.

## 2.4 Approches géométriques de la préhension

Avec la connaissance partielle des propriétés physiques de l'objet manipulé (masse, forme, centre de masse, coefficient de friction), plusieurs méthodes ont été proposées pour générer des candidats de préhension [86]. Ces méthodes sont dénommées géométriques ou également appelées analytiques.

L'objectif de la synthèse est de satisfaire les propriétés de form-closure (la géométrie de la prise contraint complètement l'objet) et de force-closure (les forces de contact permettent de garder l'équilibre face à n'importe quelles forces ou moments extérieurs appliqués sur l'objet).

Diverses métriques de qualité ont été proposées pour évaluer les préhensions, telles que [55, 152, 148]. Parmi celles-ci, la métrique $\epsilon$ de Ferrari Canny [55] a démontré sa capacité à prédire le succès de la saisie. Cette métrique évalue la capacité d'une préhension à résister à des perturbations de force externes dans n'importe quelle direction, sans glissement. Elle est calculée en utilisant le rayon du plus petit ballon pouvant être inscrit dans l'espace des forces de préhension possibles. Une valeur plus grande pour la métrique $\epsilon$ indique une meilleure préhension, car elle signifie que la préhension peut résister à des forces plus grandes avant de perdre le contrôle de l'objet.

Les préhensions sont généralement représentées par des points de contact ou par des
régions de saisie stables (Independent Contact Regions, ICRs) définies par NGUYEN [130] (voir Sec. 2.2). Les ICRs sont un ensemble de régions sur l'objet où chaque doigt peut être placé indépendamment, n'importe où, sans que la prise perde la propriété de force-closure.

D'autres approches consistent à rechercher des cages de préhension, qui sont des confi-
gurations de cages à partir desquelles un objet peut être saisi sans briser la cage au préa-
lable [149]. Ces cages de préhension offrent une plus grande flexibilité et tolérance aux
erreurs lors de la manipulation d'objets complexes ou dans des environnements incertains.

L'approche géométrique offre des solutions robustes pour la génération de préhension, en tenant compte des contraintes physiques et mécaniques de la manipulation. Toutefois, elle repose sur la connaissance préalable des objets et des propriétés environnementales, ce qui peut limiter son applicabilité dans des situations où ces informations sont incomplètes ou inexactes. Pour surmonter ces défis, des approches basées sur l'apprentissage automatique et la vision par ordinateur ont été développées, offrant des solutions plus adaptatives et flexibles pour la génération de préhension dans des environnements réels et complexes.

## 2.5 Approches basées par les données

Comme dans de nombreux domaines, les approches guidées par les données (également appelées empiriques) basées sur l'apprentissage automatique ont entraîné de nombreuses avancées pour la synthèse de préhension. Cela est dû à la plus grande disponibilité des données, à l'amélioration des algorithmes et à l'augmentation de la puissance de calcul des processeurs [11].

Les approches analytiques nécessitent généralement l'intervention d'experts, la compréhension de l'environnement et les capacités du robot. Les propriétés physiques de l'objet requises ne sont connues qu'avec des scénarios de fabrication bien contrôlés, car ces informations sont difficiles à obtenir avec les capteurs classiques des robots (capteurs visuels ou tactiles) [162]. De plus, ces méthodes ont tendance à être coûteuses en calcul pour des objets autres que simples, ce qui pose des problèmes pour les objets du quotidien [154].

D'où la popularité des travaux qui utilisent des approches plus axées sur les données [11] ou des approches combinant des techniques à la fois analytiques et basées sur les données [108, 106]. Ces approches empiriques tirent parti de l'apprentissage profond et des techniques de vision par ordinateur pour traiter des scénarios plus complexes et incertains, avec une plus grande adaptabilité et flexibilité.

Les méthodes empiriques peuvent utiliser des bases de données de préhension anno-
tées, des simulations robotiques ou des apprentissages par renforcement pour entraîner
des modèles capables de prédire les préhensions réussies pour une grande variété d'objets
et de situations. Ces approches permettent également d'incorporer des informations mul-
timodales, telles que les images RGB-D, les nuages de points 3D et les données tactiles,
pour améliorer la précision et la robustesse des prédictions de préhension.

En résumé, les approches empiriques offrent des solutions prometteuses pour la gé-
nération de préhension dans des environnements réels et complexes, en tirant parti de
l'apprentissage automatique et des techniques de vision par ordinateur pour surmonter
les défis posés par les approches analytiques traditionnelles.
<table><caption>TABLE 2.3 – Bases de données utilisées pour l'apprentissage et l'évaluation des algorithmes de synthèse de saisies.</caption><thead><tr><th>Dataset</th><th>number of objects</th><th>format</th></tr></thead><tbody><tr><td>RGB-D Object Dataset [91]</td><td>51</td><td>207920 RGB-D</td></tr><tr><td>CORSMAL Containers [196]</td><td>23 object</td><td>1656 RGB-D</td></tr><tr><td>ModelNet [195]</td><td>127 915 3Dmesh</td><td>127 915 3D mesh</td></tr><tr><td>JOHNS et al. [77] subset of [195]</td><td>1000 objects</td><td>1000000 depth image</td></tr><tr><td>3DNet [193]</td><td>200 object classes</td><td>over 5150 3D models and over 3200 RGB-D images</td></tr><tr><td>VIERECK et al. [179] subset of [193]</td><td>381 objects</td><td>500 000 depth images</td></tr><tr><td>RoboNet [45]</td><td>7 different robots</td><td>15 million video frames</td></tr><tr><td>ShapeNet [32]</td><td>55 object categories</td><td>51300 3D models</td></tr><tr><td>CMU dataset [138]</td><td>over 150</td><td>50567 RGB-D</td></tr><tr><td>BigBird [168]</td><td>125</td><td>600 RGB-D</td></tr><tr><td>PAS et al. [136] subset of [168]</td><td>55</td><td>216k grasps</td></tr><tr><td>Grasping Dataset [205]</td><td>over 60 Objects</td><td>1837 RGB-D</td></tr><tr><td>StanfordGrasping [158]</td><td>10</td><td>13747 RGB-D</td></tr><tr><td>Cornell Grasping [75]</td><td>240</td><td>885 RGB-D</td></tr><tr><td>Dex-Net 2.0 [106]</td><td>over 150</td><td>6.7 M(Depth only)</td></tr><tr><td>Jacquard [49] subset of [32]</td><td>11619</td><td>54485 RGB-D</td></tr><tr><td>Nuclear Waste Dataset [172]</td><td>217 - 10 categories</td><td>RGB-D video clips</td></tr><tr><td>multiObject [40]</td><td>3-5 different objects on each scene, 35 objects in total.</td><td>96 RGB-D</td></tr><tr><td>LUV [174]</td><td>3640 fabric images, 486 cable images, 1364 needle images</td><td>RGB images</td></tr><tr><td>T-LESS [69]</td><td>30 industry-relevant objects</td><td>49000 RGB-D images</td></tr><tr><td>Siléane Dataset [17] subset of [69]</td><td>between 0 and 11 objects per scene</td><td>2601 RGB-D images</td></tr><tr><td>TaskGrasp [124]</td><td>250K task-oriented grasps, for 56 tasks and 191 objects</td><td>RGB-D information</td></tr><tr><td>SG14000 Dataset [101]</td><td>44 objects, 14k semantic grasps, 7 tasks, 6 object states</td><td>RGB-D</td></tr><tr><td>ContactDB [16]</td><td>50 objects</td><td>3750 meshes, 375K RGB-D-thermal frames</td></tr><tr><td>ACRONYM [54], meshes from [32]</td><td>8 872 objects</td><td>8 872 object meshes, 17,7 millions grasps</td></tr></tbody></table>

## 2.5.1 Bases de données dans la préhension robotique

[11] classifie les approches guidées par les données selon l'origine des données d'entraînement utilisées : acquises par essais et erreurs, étiquetage hors ligne ou sous forme de démonstration. On peut également ajouter la distinction entre les données issues de simulations et celles issues du monde réel.

### 2.5.1.1 Collectées de manière autonome et étiquetées au préalable

Les données du monde réel peuvent être récupérées par une interaction autonome avec l'environnement [45]. La collecte automatique de suffisamment de données d'entraînement par essais et erreurs avec des robots réels [138, 98] est cependant chronophage et ne fournit pas nécessairement de meilleurs résultats (par exemple, 50 000 essais et 700 heures d'utilisation du robot dans [138, 98]). Les bases de données étiquetées manuellement [75, 40] sont également souvent utilisées, la plupart présentent des objets uniques pour chaque
scène, [40] présentant 3 à 5 objets par scènes.

[174] Labels from UltraViolet (LUV) propose la collecte rapide de données étiquetées dans des environnements de manipulation réels sans étiquetage humain. LUV utilise une peinture transparente fluorescente aux ultraviolets avec des LED ultraviolettes programmables pour collecter des images appariées d'une scène sous un éclairage standard et sous un éclairage UV afin d'extraire de manière autonome des masques de segmentation et des points clés par segmentation des couleurs.

### 2.5.1.2 Issues de simulation

Une approche récemment couronnée de succès consiste à créer de grandes bases de données synthétiques à partir de modèles 3D et de simulations [77, 60, 106, 204, 122, 179, 49]. [73] ont montré que l'efficacité de cette nouvelle solution est comparable à celle de la solution entraînée uniquement sur des robots réels.

<figure><img src="image_13.png" /><figcaption>FIGURE 2.8 – JAMES et al. [73] ont étendu le travail de KALASHNIKOV et al. [79] en remplaçant les données de manipulation préenregistrées par des données de simulation. Les données de simulation sont générées à l'aide de techniques de randomisation, puis adaptées au domaine réel.</figcaption></figure>

DEPIERRE et al. [49] utilisent la représentation rectangulaire de [75] et génèrent des saisies positives et négatives dans un simulateur de physique.

MAHLER et al. [106] utilisent également un simulateur physique pour générer des prises sur des modèles d'objets 3D, qui peuvent être représentés comme une image de profondeur centrée sur le centre de la prise et alignée sur l'axe de rotation de la prise.

La force de ces bases de données est leur taille (des millions d'objets) (voir Tab. 2.3), mais elles ne prennent actuellement en compte que la forme 3D (via les données de profondeur) et supposent une distribution de masse uniforme des objets. Comme elles reposent fortement sur la simulation, elles ont souvent besoin de méthodes d'adaptation pour être efficaces avec des robots réels [15].
Les démonstrations sont des exemples d'utilisateurs effectuant des actions. Elles sont souvent représentées sous forme de trajectoire définie dans l'espace des articulations, l'espace des tâches ou tout autre espace qui convient à l'expérience, les informations de forces sont parfois également utilisées.

Les développements récents représentent les mouvements avec des descripteurs inva-
riants facilitant la réutilisation de la démonstration apprise dans de nouvelles situations ;
par exemple, en s'appuyant sur la propriété de conditionnement gaussien comme dans
l'approche ProMP (probabilistic movement primitive) [135], ou en encodant la démons-
tration dans de multiples systèmes de coordonnées [25]. De telles représentations utilisent
les mêmes modèles pour reconnaître les actions existantes et en générer de nouvelles qui
peuvent s'adapter à de nouvelles situations.

Classiquement, il y a trois façons de fournir ces démonstrations :

- **Les manipulations à main** : Les manipulations à la main sont naturelles, mais récupérer les données des démonstrations peut être difficile. Des gants peuvent être utilisés, ou les doigts peuvent être détectés dans une vidéo, mais cela peut être difficile. [64] facilite la détection des doigts en utilisant un ruban adhésif coloré, ce qui facilite la segmentation de ceux-ci (voir Sec. A.6). Avec ce genre de manipulation, il n'y a pas de garantie que la démonstration sera réplicable par le robot.

- **Le guidage kinesthésique** : Le guidage kinesthésique consiste à déplacer manuellement le robot. Comme les robots ont généralement accès à leurs configurations, les données de la démonstration sont directement récupérables et la trajectoire est exécutable par le robot. Cependant, la qualité des démonstrations peut être impactée par l'expérience des utilisateurs avec la manière particulière dont les robots se déplacent dans l'espace (par exemple, dans le cas de bras articulé possédant 7 DOF).

- **La téléopération** : La téléopération permet de commander à distance un robot en temps réel. Tout comme le guidage kinesthésique, les données de démonstration peuvent être récupérées directement et la trajectoire peut être reproduite par le robot. Divers systèmes de téléopération sont utilisés, pouvant inclure des retours visuels et/ou haptiques, et parfois tirer parti des technologies de réalité augmentée ou virtuelle. La littérature fait mention de divers dispositifs de téléopération, tels que les gants, les combinaisons de capture de mouvement, le suivi optique, la souris, le clavier, le joystick, l'interface utilisateur graphique (GUI) et les casques de réalité virtuelle/augmentée (VR/AR).
<figure><img src="image_14.png" /><figcaption>FIGURE 2.9 – (a) Utilisation de pinces instrumentées pour collecter une démonstration d'empilement de blocs [140], (b) dispositif portable de [169], consiste en une pince à deux doigts équipée d'une caméra RGB-D et d'un moteur qui contrôle l'ouverture binaire des doigts de la pince.</figcaption></figure>

Pour la préhension, des appareils portatifs personnalisés conçus pour permettre de
recueillir facilement des démonstrations dans divers environnements [140, 169] ont été
également proposés (Fig. 2.9). Ces dispositifs permettent une collecte de données plus
précise et adaptée à l'apprentissage du robot, tout en offrant un contrôle plus intuitif
pour les utilisateurs. En utilisant ces méthodes de démonstration, les chercheurs et les
ingénieurs peuvent développer des algorithmes d'apprentissage et des systèmes robotiques
plus efficaces et adaptatifs pour la préhension et la manipulation d'objets dans divers
scénarios.

## 2.5.2 Techniques d'apprentissage en préhension robotique

La préhension robotique est une tâche complexe et essentielle qui nécessite la capacité
de comprendre et de manipuler une grande variété d'objets dans divers environnements.
Cela comprend la reconnaissance des objets, la sélection des points de préhension appro-
priés, l'adaptation à la forme et à la taille des objets, et l'exécution de mouvements précis
et contrôlés pour saisir et manipuler ces objets. Pour acquérir ces compétences, les robots
peuvent utiliser diverses techniques d'apprentissage, qui diffèrent par la manière dont ils
exploitent les données disponibles et par la manière dont ils modélisent le problème de
préhension.

### 2.5.2.1 Méthodes basées sur l'imitation

La préhension robotique par imitation est une technique où un robot apprend à ma-
nipuler des objets en reproduisant les actions d'un humain ou d'un autre démonstrateur.
Cette approche nécessite que le robot observe et interprète les actions du démonstra-
teur, par exemple comment la main ou les doigts sont positionnés autour de l'objet et la
séquence de mouvements utilisée pour effectuer la prise. Le robot peut ensuite adapter
ces informations à son propre comportement de préhension, lui permettant d'imiter la
méthode de saisie du démonstrateur. Cette méthode est particulièrement efficace pour
l'apprentissage de compétences de préhension, car elle tire parti de l'expérience et de
l'expertise du démonstrateur. Elle peut également aider les robots à apprendre à mani-
puler des objets inconnus ou habituels, en se basant sur les conseils du démonstrateur concernant la stratégie de préhension appropriée [26].

Dans le contexte de l'apprentissage à partir de démonstrations (LfD), le robot observe un expert humain effectuant une tâche pour acquérir des exemples pertinents 2.5.1.3. En utilisant une base de données de saisies stables et les objets correspondants, les techniques de préhension peuvent être transférées à des objets similaires par imitation [134]. Cela permet d'éviter les difficultés inhérentes à l'exploration dans le cadre de l'apprentissage par renforcement 2.5.2.3, tout en communiquant directement les préférences de l'expert pour accomplir la tâche, ce qui peut être complexe à formaliser (par exemple, déterminer ce qui constitue une trajectoire optimale).

La politique d'imitation peut être déterminée en fonction de la similarité entre les modèles cibles et les objets dans la base de données d'apprentissage, ou entre la configuration actuelle du robot et la prise donnée. Ainsi, il est souvent nécessaire de reconnaître le type de préhension effectué par un humain lorsqu'il saisit un objet afin de générer une saisie similaire [206]. Pour effectuer cette classification, une catégorie spécifique est attribuée à chaque préhension à partir d'une taxonomie prédéfinie, comme celle de Cutkosky [43]. La reconnaissance de la saisie peut être basée soit sur la posture finale de la main, soit sur la séquence complète de la saisie, y compris le mouvement du bras.

Le Behavior Cloning est une méthode simplifiée de l'apprentissage par imitation, où le problème est reformulé en apprentissage supervisé. Les démonstrations sont traitées comme des données étiquetées, et le modèle est formé pour associer les données d'entrée (observations) à une action (démonstration) [160]. NAIR et al. [128] ont combiné l'apprentissage auto-supervisé (SSL) et le Behavior Cloning avec des images en entrée pour développer un modèle de dynamique inverse au niveau des pixels pour une tâche de manipulation robotique de corde.

ZHANG et al. [208] ont recouru à un casque de réalité virtuelle et un contrôleur VR pour recueillir des démonstrations sous forme d'images RGB-D. Ces images ont ensuite été utilisées pour entraîner une politique profonde en utilisant un réseau neuronal convolutif (CNN). Cette approche a permis de créer une méthode d'apprentissage efficace et flexible pour la préhension robotique.

### 2.5.2.2 Méthodes basées sur l'échantillonnage et la classification des candidats

Certaines approches de synthèse de préhension échantillonnent une gamme de saisies potentielles, puis les classent selon une mesure de qualité. Cette méthode, qui découple l'échantillonnage de la saisie et la classification, est plus interprétable et scalable. Cependant, son efficacité et sa rapidité dépendent largement de l'échantillonneur de préhension. Les échantillonneurs peuvent être basés sur des heuristiques ou sur des techniques d'apprentissage automatique.

Chaque scène peut présenter une multitude de candidats, rendant l'évaluation exhaustive de tous les candidats infeasible. Les échantillonneurs adoptent diverses stratégies pour limiter le nombre de candidats à évaluer. Par exemple, Pinto et Gupta [138] évaluent les saisies uniquement par leur position, générant ensuite des scores pour 18 orientations possibles.

LENZ et al. [96] adoptent une détection en cascade à deux étapes pour les saisies en
4DOF (Sec. 2.1.4), où un modèle plus léger évalue rapidement de nombreux candidats, puis un modèle plus complexe évalue les candidats les plus prometteurs.

MAHLER et al. [106] utilisent un seul modèle, mais au lieu d'échantillonner de manière exhaustive, ils emploient la méthode de l'entropie croisée (CEM) [153] pour localiser les saisies de haute qualité. La CEM procède par cycles itératifs d'échantillonnage et d'évaluation des candidats en utilisant le modèle. Après chaque cycle d'évaluation, un petit nombre de prises de haute qualité sont sélectionnées, puis un nouvel échantillonnage est effectué près de ces prises.

Certaines approches suggèrent de modéliser les objets à saisir en primitives de forme, comme des cuboïdes et des superquadriques [178, 137], avant de planifier la préhension. Bien que ces méthodes soient assez interprétables et prévisibles dans leur sortie, la simpli-cité de la représentation limite la gamme de formes qui peuvent être modélisées, affectant les performances de la planification de la préhension.

PAS et al. [136] détectent les saisies à 6 DoF sur des nuages de points, en supposant une pince à mâchoires parallèles. Le nuage de points de la scène est échantillonné uni-formément, la direction d'approche étant fixée par la normale à la surface. Les candidats représentés dans le repère de Darboux (définis par les courbures principales d'une surface) sont filtrés en utilisant une série de critères géométriques.

Les échantillonneurs peuvent également être formés via l'apprentissage supervisé, ce qui les rend généralement plus performants. [199] YANG et al. propose un modèle qui prend une image RGB-D et un masque de segmentation en entrée et alimente deux réseaux neuronaux qui génèrent respectivement une prise 6-DOF et une reconstruction du nuage de points 3D de l'objet.

MOUSAVIAN et al. [122] et MURALI et al. [125] utilisent un VAE (Variational Auto-encoder) pour échantillonner plusieurs propositions de préhension, accélérant ainsi la génération de candidats. Le VAE prédit une saisie sur un nuage de points segmenté cor-respondant à un objet. Il comprend un encodeur, Q(z|X,g), et un décodeur, P(G|X,z), qui sont tous deux conditionnés par le nuage de points et entraînés à l'aide d'une fonction objectif VAE standard. L'encodeur et le décodeur sont implémentés en utilisant Point-Net++ [143], et la pose de la pince est représentée par des points sur la surface de la pince qui sont ajoutés au nuage de points tout en étant identifiés comme des points de la pince. Après l'entraînement, les candidats peuvent être générés par échantillonnage à partir de la distribution normale standard et l'évaluation du décodeur P.

La fonction d'évaluation de ces candidats est généralement apprise. Les méthodes varient en fonction du modèle utilisé et de l'encodage des saisies. LENZ et al. [97], PINTO et al. [138], MAHLER et al. [106] et PAS et al. [136] représentent les saisies sous forme d'image centrée sur la position de la saisie, tandis que LIANG et al. [99] et MURALI et al. [125] utilisent PointNet pour traiter directement les nuages de points.

## L'apprentissage non supervisé

L'apprentissage non supervisé traite des données non étiquetées et cherche à découvrir les relations internes des échantillons, permettant de modéliser les densités de probabilité sur les entrées [185]. Il comprend principalement la réduction de la dimensionnalité et le clustering. La première cherche à simplifier les données en conservant les caractéristiques essentielles, tandis que le clustering vise à regrouper ou à segmenter les données en groupes en fonction de leur similarité.

Des travaux tels que [176, 202] utilisent les K-means comme méthode de clustering
pour segmenter le nuage de points en fonction de leurs caractéristiques, ce qui facilite la compréhension de la structure des données et rend la tâche d'apprentissage plus accessible pour le robot.

Contrairement aux approches traditionnelles d'apprentissage non supervisé, les Variational Autoencoders (VAE) et les Generative Adversarial Networks (GAN) sont des modèles génératifs. Ces modèles apprennent la distribution des données à partir de l'ensemble d'apprentissage, puis utilisent le modèle et la distribution apprise pour générer et modéliser de nouvelles données. En capturant la structure latente des données et en générant de nouvelles instances plausibles, ces modèles génératifs ont le potentiel d'apprendre de manière flexible et adaptative.

Certains travaux ont adopté cette stratégie dans l'étape de génération de candidats de préhension. Inspirés par les GAN, [122, 125] utilisent le VAE pour échantillonner plusieurs propositions de préhension, accélérant ainsi la génération de candidats. Ces approches exploitent la puissance des modèles génératifs et ont le potentiel d'améliorer l'efficacité et la robustesse des algorithmes de préhension robotique. Elles sont capables de s'adapter aux variations et aux complexités des scénarios de manipulation d'objets du monde réel, ce qui rend ces techniques particulièrement pertinentes pour le domaine de la robotique.

### 2.5.2.3 Apprentissage de bout en bout

L'émergence de l'apprentissage profond a permis l'intégration de la tâche de préhension directement au sein d'un réseau de neurones entraîné de bout en bout. Ces réseaux prennent en entrée des données brutes, par exemple, des informations issues de capteurs tactiles ou de caméras, et en sortie, ils produisent la configuration appropriée pour la saisie. Toutes les étapes intermédiaires, y compris l'échantillonnage des saisies et l'évaluation de leur qualité, sont régulées par les mises à jour du modèle lors de l'entraînement. Ces méthodes tendent à s'exécuter plus rapidement que les deux types d'approches précédemment mentionnés.

REDMON et al. [147] ainsi que KUMRA et al. [90] ont reformulé la détection de préhension comme un problème de régression. Ils ont proposé des modèles basés respectivement sur les architectures AlexNet [88] et ResNet [63], qui prennent en entrée l'image de la scène entière et génèrent une saisie. Par nature, cette méthode ne peut fournir qu'un seul candidat par scène. Pour l'entraînement sur le Cornell dataset, une saisie positive est sélectionnée aléatoirement par scène.

REDMON et al. [147] ont par la suite étendu leur méthode en décomposant la scène en une grille 7×7, où chaque cellule est donnée en entrée à leur modèle, générant une saisie pour chaque cellule de la grille. JOHNS et al. [77] ont formulé le problème sous forme de classification binaire, en prédisant la probabilité qu'une saisie existe pour chaque centre d'une grille 45×34 et pour 6 orientations possibles.

Les réseaux de proposition de région (RPN), comme R-CNN, sont un type d'architecture de réseau neuronal fréquemment utilisé dans les tâches de détection d'objets. L'objectif principal d'un RPN est de générer un ensemble de boîtes englobantes qui sont susceptibles de contenir des objets d'intérêt dans une image d'entrée. Dans le contexte de la préhension robotique, il est possible d'utiliser des RPNs, mais en les formant à prédire des saisies, par exemple sous forme de rectangles orientés 2.2.4. CHU et al. [39] proposent une séquence de deux modèles ResNet-50 pour décomposer le problème en une combi-
naison de détection de région et de classification d'orientation (19 dans leur étude). Le premier, le Grasp Proposal Network, prend une image d'entrée et la traite à l'aide d'une succession de couches convolutionnelles et de max-pooling pour extraire des caractéristiques (features). Pour chaque position dans la carte des caractéristiques (feature map), le GPN prédit un ensemble de boîtes de délimitation (bounding box) qui sont centrées sur cette position. La seconde étape consiste à classer les propositions de régions prédites lors de l'étape précédente en fonction de l'orientation (une des orientations indiquant qu'une saisie n'est pas souhaitable), tout en affinant simultanément la boîte de délimitation de la proposition.

Des travaux récents tels que le Generative Grasping CNN (GG-CNN) [120] et le Generative Residual Convolutional Neural Network (GR-ConvNet) [89] utilisent des étiquettes conçues à la main pour générer une carte d'affordance de saisie par pixel. La tâche de saisie devient alors similaire à la segmentation sémantique, certaines parties de l'objet étant considérées comme saisissables tandis que d'autres doivent être évitées. Ces méthodes d'apprentissage de bout en bout présentent l'avantage de bénéficier des progrès continus dans les domaines de l'apprentissage profond et de la vision par ordinateur, permettant une meilleure intégration des informations brutes et une optimisation plus efficace de la performance de la préhension.

Une approche nécessitant un faible volume de données (Sec. 2.5.3.1), a été présentée par HÉLÉNON et al. [64]. Ils ont proposé un pipeline CNN de segmentation pixel par pixel utilisant entre 1 et 3 démonstrations pour l'apprentissage. Ce pipeline est capable de prédire les emplacements de préhension autorisés à partir d'une image de profondeur tout en évitant les zones interdites. Les démonstrations sont obtenues en appliquant du ruban adhésif coloré sur les doigts de l'opérateur, ce qui permet de montrer des saisies parallèles. Les auteurs ont évalué leur pipeline sur 5 types d'objets industriels et ont atteint un taux de réussite compris entre 70 et 90% selon l'objet, bien que le pipeline soit limité à la saisie de 2 objets présentant 2 stratégies de préhension différentes avec le même réseau neuronal.

## L'apprentissage par renforcement

L'apprentissage par renforcement (RL) consiste à apprendre une politique qui associe les états de l'agent aux actions à entreprendre pour maximiser les récompenses reçues en interagissant avec l'environnement à travers une méthode d'essai-erreur.

L'application de l'apprentissage par renforcement à la préhension d'objets pose de nombreux défis. L'espace d'exploration est si vaste que la réussite d'une saisie peut être peu probable, et il n'est pas certain que les actions du robot ne poseront pas de problèmes de sécurité. Cela conduit à un apprentissage lent, où la collecte de données peut être longue et où les échantillons positifs et négatifs sont fortement déséquilibrés.

Un exemple récent qui adresse ces défis est le travail de ZHU et al. [211], qui ont formulé le problème de la saisie en 4DOF comme un problème de bandit contextuel et ont utilisé l'apprentissage Q pour apprendre une politique en 600 essais sur 15 objets (validé sur 15 autres objets). Leur modèle utilise des réseaux neuronaux équivariants pour approximer la fonction de saisie SE(2)-équivariante, ce qui a permis d'améliorer l'efficacité de l'échantillonnage pour l'apprentissage de la préhension (Sec. 2.5.3.1).

Si l'apprentissage en simulation est utilisé pour surmonter certaines de ces difficultés, il est souvent nécessaire d'appliquer des méthodes d'adaptation pour être efficace dans le monde réel [15]. Des techniques comme l'apprentissage par transfert, la randomisa-
tion de domaine ou l'adaptation de domaine peuvent aider à réduire le fossé entre les environnements simulés et réels, améliorant ainsi la performance de l'apprentissage par renforcement dans des scénarios réels.

De plus, l'usage de l'apprentissage par renforcement profond, qui combine les réseaux de neurones profonds avec l'apprentissage par renforcement, a démontré des résultats prometteurs dans la résolution de problèmes complexes, y compris la préhension d'objets en robotique [175, 133]. En combinant l'apprentissage par renforcement avec d'autres méthodes d'apprentissage, comme l'apprentissage supervisé ou non supervisé, il est possible de tirer profit des avantages de chaque approche et de surmonter certaines des difficultés rencontrées lors de l'apprentissage de la préhension d'objets par des robots [207].

### 2.5.3 Vers des méthodes d'apprentissage de la préhension robotique plus adaptables

La préhension robotique est un domaine de recherche en pleine croissance qui a connu des progrès significatifs ces dernières années. Cependant, la plupart des méthodes actuelles nécessitent une quantité massive de données pour l'apprentissage, ce qui peut être coûteux en termes de temps et de ressources. De plus, ces méthodes ont souvent du mal à s'adapter à des tâches spécifiques ou à manipuler des objets de manière appropriée pour une tâche donnée. Dans cette section, nous explorons deux directions pour optimiser les méthodes d'apprentissage de préhension : la réduction de la dépendance aux données et l'orientation vers une tâche spécifique.

#### 2.5.3.1 Techniques pour réduire la quantité de données nécessaires

Plusieurs travaux se sont concentrées sur l'apprentissage des préférences de préhension en exploitant un nombre restreint d'exemples [116], ou en adoptant des approches qui requièrent significativement moins de données que les méthodes conventionnelles [64, 210].

Le méta-apprentissage, basé sur l'imitation (Sec. 2.5.2.1), vise à acquérir des métaconnaissances à partir d'épisodes d'apprentissage antérieurs ou de différents domaines pour obtenir une méta-politique. Au cours de l'apprentissage par imitation, cette méta-politique est affinée grâce à la démonstration pour obtenir la politique finale. Cela permet de réaliser du few-shot et one-shot imitation learning [35, 9] à partir d'observations visuelles telles que des vidéos ou des images.

L'augmentation de données est une technique couramment utilisée pour traiter des images, comme dans [120, 89]. Elle consiste à générer de nouveaux exemples d'entraînement en appliquant des transformations telles que des rotations, des translations et des distorsions aux données existantes, rendant ainsi le modèle plus robuste face aux variations des entrées.

Une autre approche pour réduire la quantité de données nécessaires est l'inférence de préhensions SE(3) à partir de méthodes SE(2). Bien que la plupart des méthodes de préhension SE(3) soient basées sur des données de nuages de points 3D, certaines méthodes étendent des méthodes SE(2) pour obtenir des saisies en SE(3). Par exemple, [8] utilise un modèle entièrement convolutionnel pour déduire la position et l'orientation descendante d'une saisie, tandis que [38] utilise un algorithme d'amélioration itérative pour sélectionner la meilleure direction d'approche. De plus, [161] et [123, 80] génèrent des multiples vues virtuelles de l'objet pour faciliter la détection de la prise.
Ces méthodes SE(2) étendues sont intéressantes car elles permettent d'apprendre une capacité de préhension en 6-DOF à un rythme similaire à celui des méthodes de préhension planaire, tout en conservant une efficacité de calcul acceptable. Cependant, elles peuvent également présenter certaines limitations, comme une moindre robustesse face à des objets présentant des formes et des structures 3D complexes.

Enfin, le transfert d'apprentissage, qui consiste à entraîner un modèle sur un grand ensemble de données, puis à le peaufiner sur un ensemble de données plus petit et spécifique, est une autre méthode pour réduire la quantité de données nécessaires. En transférant les connaissances acquises sur le grand ensemble de données à l'ensemble de données plus petit, le transfert d'apprentissage peut réduire considérablement la quantité de données nécessaires pour obtenir de bonnes performances. Cette approche facilite l'adaptation rapidement des modèles de préhension à de nouvelles tâches, contribuant ainsi à une meilleure efficacité en termes de données et à des performances améliorées dans diverses situations de manipulation d'objets.

En conclusion, les techniques pour réduire la quantité de données nécessaires pour l'apprentissage de la préhension robotique sont variées et comprennent le méta-apprentissage, l'augmentation des données, l'inférence de préhensions SE(3) à partir de méthodes SE(2), et le transfert d'apprentissage. Elles offrent des compromis entre la complexité et la performance, et peuvent permettre une plus grande flexibilité et une meilleure robustesse dans l'apprentissage de la préhension. Cependant, il est crucial de choisir la méthode appropriée en fonction des caractéristiques spécifiques de la tâche de préhension et des données disponibles.'

### 2.5.3.2 Préhension orientée vers une tâche spécifique

Certaines méthodes visent à adapter l'emplacement de la prise pour accomplir un objectif spécifique. Certains travaux antérieurs ont proposé de détecter automatiquement ces affordances [57] à partir de caractéristiques géométriques en utilisant des nuages de points 3D ou des images RGB-D [127, 163]. [85] a proposé un cadre pour classifier l'action de manipulation et l'objet impliqué dans la démonstration. De plus grandes bases de données d'étiquettes sémantiques [126, 3] catégorisent chaque partie d'un objet donné avec une fonctionnalité ou une affordance. Alors que la saisie générique d'objets inconnus nécessite l'utilisation de bases de données génériques, l'étiquetage de bases de données spécifiques pour des objets particuliers prend beaucoup de temps.

[124] ont fait appel au crowdsourcing pour la création de leur base de données Task-Grasp et utilisent la connaissance sémantique des objets et des tâches encodée dans un graphe de connaissances pour généraliser à de nouvelles instances d'objets, classes et tâches. Leur méthode se compose de 3 blocs : un encodeur de préhension et d'objets similaire à [122], un Graph Convolutional Network [84] qui prend en entrée la forme et la préhension encodées de l'objet ainsi qu'un graphe de connaissance encodant les relations sémantiques entre les catégories d'objets et les tâches, et un modèle évaluant les saisies.

La préhension orientée vers une tâche est une approche importante pour permettre aux robots d'interagir de manière plus efficace et adaptée avec leur environnement. En tenant compte des objectifs spécifiques et des affordances des objets, ces méthodes peuvent améliorer la performance de la préhension et faciliter l'exécution de tâches complexes. Cela permet aux robots de mieux s'adapter à des situations variées et de répondre aux besoins
spécifiques des utilisateurs ou des environnements dans lesquels ils opèrent.

## 2.6 Conclusion

Au cours des dernières années, l'importance croissante de l'apprentissage automatique a conduit à l'émergence de nouvelles techniques en matière de préhension robotique. Dans ces approches, les métriques de qualité de saisie sont acquises par des méthodes axées sur les données, plutôt que d'être prédéfinies. De nouveaux capteurs tactiles et visuels ont également été développés, accompagnant ces avancées et ouvrant la voie à des problèmes plus complexes, tels que :

- la saisie d'objets dont la forme n'est pas connue;

- la saisie dans des tas d'objets variés et complexes;

- l'utilisation d'actions non préhensiles avant la manipulation;

- la détection de saisie en temps réel ou en boucle fermée;

- la saisie orientée vers une tâche spécifique;

Les méthodes classiques de classement des candidats à la préhension peuvent être lentes, car elles doivent évaluer un grand nombre de candidats. Toutefois, elles présentent l'avantage d'être plus facilement interprétables et intégrables dans des comportements plus complexes. Les méthodes basées sur l'imitation permettent d'apprendre des saisies spécialisées, jusqu'aux mouvements mêmes du robot, mais sont souvent les plus coûteuses en termes d'efforts demandés aux utilisateurs. L'inférence de préhension en une seule passe (avec des modèles convolutionnels entièrement convolutifs ou basés sur PointNet) raisonne efficacement sur les préhensions d'un objet ou d'une scène entière, permettant des performances en temps réel. Enfin, l'apprentissage de politiques offre la capacité d'apprendre des politiques en boucle fermée plutôt que de simplement détecter des poses de préhension, constituant un avantage majeur.

Les méthodes SE(2) sont comparées hors ligne sur la base de données de Cornell et avec les taux de succès de la préhension sur un robot réel. Elles sont en général basées sur des données d'images 2D, et les méthodes basées sur des modèles convolutionnels entièrement convolutifs semblent être les plus compétitives.

Les méthodes de préhension SE(3) sont basées sur des données de nuages de points 3D, utilisant des convolutions 3D ou des architectures PointNet pour traiter directement les nuages de points, ce qui est coûteux en calculs.

Les méthodes de préhension SE(3) ne disposent pas d'une base de données hors ligne standard, ce qui rend les obstacles à une comparaison équitable entre les différentes approches encore plus prononcés. ACRONYM [54] offre une possibilité récente, puisqu'il s'agit d'une base de données de préhensions en SE(3) comprenant 17,7 millions de saisies étiquetées effectuées sur 8 872 objets maillés. Ces objets maillés proviennent de ShapeNet [32], et les saisie sont été étiquetées à l'aide du simulateur de physique FleX pour simuler le préhenseur Franka Panda (avec une ouverture maximale de 8 cm).

Les taux de succès des préhensions proviennent d'expériences robotiques physiques qui dépendent des objets utilisés pour l'évaluation, de l'installation robotique physique, de la planification de mouvement, voire même du système de perception (par exemple, certaines méthodes fusionnent les données de plusieurs caméras en utilisant la méthode SLAM ou d'autres techniques). Un travail évaluant la réussite de la préhension en utilisant des objets
difficiles est désavantagé par rapport à un article qui utilise des objets plus simples.

La création de tests standardisés pour les méthodes de préhension a donc reçu de l'attention ces dernières années. Par exemple, GRASPA [13] propose une procédure expérimentale physique rigoureuse permettant d'évaluer les performances des pipelines de préhension. L'utilisation généralisée d'un ensemble fixe d'objets d'évaluation pour les expériences de préhension robotique physique faciliterait également les comparaisons. Des travaux tels que EGAD! [118] ou AGOD-Grasp [2] pourraient fournir des objets d'évaluation imprimables en 3D avec une diversité suffisante.

## 2.6.1 Perspectives de contribution

Dans la suite de cette thèse, nous contribuons à la réflexion sur la préhension robotique en étudiant l'efficacité des approches existantes d'algorithmes de préhension (notamment sur les données de Cornell, YCB et AGOD) et en évaluant les performances humaines en matière de saisie d'objets dans un tas. Nous cherchons à mieux comprendre les stratégies et les mécanismes sous-jacents à la préhension humaine pour améliorer les algorithmes de préhension robotique et fixer des objectifs de performance auxquels les robots devraient aspirer.

Nous intégrons également les algorithmes que nous avons développés et utilisés à GRASPA, contribuant ainsi à l'amélioration de l'écosystème des méthodes de préhension robotique, en fournissant des solutions utilisables par d'autres chercheurs et praticiens et en facilitant la comparabilité entre les différentes approches.

Nous proposons également des techniques d'apprentissage data-efficace et orientées vers des tâches spécifiques, permettant aux robots d'acquérir rapidement des compétences de préhension et de manipulation dans divers scénarios et environnements, et de s'adapter aux nouvelles tâches avec un minimum d'exemples. Nous explorons l'intégration data efficient de l'expertise humaine pour guider l'apprentissage du robot et proposons une approche interactive de cet apprentissage.

De plus, nous étudions l'interaction entre les différentes modalités sensorielles (visuelles, tactiles, etc.) et leur intégration dans un cadre unifié d'apprentissage automatique pour la préhension robotique. Nous explorons l'utilisation de capteurs tels que le DIGIT pour améliorer la performance de la préhension robotique en ajoutant des informations tactiles basées sur la vision. Nous contribuons également à la caractérisation du capteur DIGIT et proposons un exemple d'utilisation via un régresseur capable de prédire la meilleure hauteur de saisie.

En résumé, nous contribuons au développement d'approches data-efficaces et orientées vers des tâches spécifiques, à l'étude de l'interaction entre les différentes modalités sensorielles et à leur intégration dans un cadre unifié d'apprentissage automatique. Nous soutenons également la mise en place de tests standardisés et la création d'ensembles d'objets d'évaluation fixes pour faciliter les comparaisons et améliorer les performances des robots dans des scénarios et environnements variés.
# Chapitre 3

## Apprentissage data-efficace des préférences de préhension.

Ce chapitre reprend, traduit et étend la publication :
(IEEE ICRA 2022) - Data-efficient learning of object-centric grasp preferences
**Yoann Fleytoux**, Anji Ma, Serena Ivaldi, Jean-Baptiste Mouret

**Yoann Fleytoux** a conçu et réalisé les expériences, écrit le logiciel, et préparé et révisé l'article.

**Anji Ma** (doctorant chinois en visite dans notre équipe) a contribué à la mise en place des expériences.

**Serena Ivaldi** a formulé le problème, supervisé et contribué à la conception expérimentale du travail de recherche, à la discussion et à l'interprétation des résultats, ainsi qu'à la rédaction et à la révision de l'article.

**Jean-Baptiste Mouret** a formulé le problème, supervisé et contribué à la conception expérimentale du travail de recherche, à la discussion et à l'interprétation des résultats, ainsi qu'à la rédaction et à la révision de l'article.

Les robots sont souvent chargés de saisir des objets d'une boîte ou d'un tapis roulant, notamment dans les milieux industriels [139]. Grâce aux récentes avancées de l'apprentissage profond, ils peuvent désormais saisir des objets inconnus avec des taux de réussite supérieurs à 90%. Pour ce faire, ils apprennent la relation entre la forme des objets et la saisie la plus appropriée.

Néanmoins, la meilleure saisie en fonction de la forme n'est pas toujours celle qui doit être privilégiée. Par exemple, un marteau doit généralement être pris par la tête car la distribution de la masse n'est pas uniforme, alors que la forme suggère qu'il devrait être pris par le milieu du manche. De même, un couteau tranchant doit généralement être saisi par le manche pour éviter d'endommager les doigts du robot, mais il peut être nécessaire de le saisir par la lame si le robot doit le donner à un opérateur. Pour divers
<figure><img src="image_15.png" /><figcaption>FIGURE 3.1 – Préhension générée par Dex-Net 4.0 pour un marteau jouet et préhension retenue avec notre méthode : seulement 2 étiquettes (une étiquette positive, en vert, et une étiquette négative, en rouge). Voir section 3.4.1.</figcaption></figure>

objets, certaines méthodes de manipulation peuvent être déconseillées voire interdites, comme c'est le cas dans le secteur de l'industrie alimentaire. Dans d'autres situations, une manipulation incorrecte pourrait endommager ou altérer les objets, à l'instar de lunettes de vue qui risquent de se briser ou de se rayer si elles sont saisies par le verre. Il existe aussi des cas où la manipulation nécessite une attention particulière aux attributs spécifiques de l'objet, comme lorsqu'il s'agit de gérer une pièce enduite de peinture fraîche. Il est important de noter que la saisie qui devrait être privilégiée ne facilite pas toujours la réussite de celle-ci; au contraire, il s'agit souvent d'une contrainte de la tâche.

Par conséquent, des connaissances expertes pour la saisie d'objets spécifiques sont nécessaires dans de nombreuses situations; mais l'étiquetage de milliers d'images prend du temps et doit être effectué pour chaque application (par exemple, pour une usine de marteaux, puis pour un entrepôt de couteaux, etc.) Notre pipeline de préhension vise à apprendre des préférences de saisies centrées sur l'objet avec très peu d'exemples (typiquement 1 à 4 par objet) et à les généraliser à d'autres vues du même objet. Dans ce travail, nous ciblons des objets uniques sur un fond simple, par exemple des objets sur un tapis roulant dans un environnement industriel.

Notre idée principale est que nous pouvons utiliser des générateurs de saisies génériques pour rendre l'apprentissage des préférences efficace en termes de données de deux manières : (1) ils peuvent être exécutés sur une grande base de données d'images pour apprendre un espace latent de saisie, et (2) ils peuvent être utilisés pour générer des candidats de saisie de sorte qu'un classificateur basé sur les préférences n'ait qu'à choisir parmi les bonnes préhensions. En d'autres termes, un générateur de préhension extrait les aiguilles de la botte de foin, et un classificateur n'a plus qu'à choisir la meilleure aiguille dans un espace de faible dimension.

Notre hypothèse principale est que nous avons accès à une base de données d'images RGB-D obtenues passivement sur lesquelles un générateur de préhension basé sur la forme peut être exécuté; nous considérons ce jeu de données comme "large et bon marché". Nous représentons les prises générées à l'aide de patchs d'images tournés et ajustés qui intègrent la prise et son contexte dans une seule entrée [106], ce qui permet d'apprendre une représentation à faible dimension des prises et de leur contexte à l'aide d'un autoencodeur
variationnel (VAE) [82, 20]. Nous utilisons ensuite cette représentation à faible dimension pour entraîner/interroger un classificateur à processus gaussien (GP) [66, 146] qui filtre les saisies générées par un générateur de saisies, qui sont souvent déjà efficaces, selon les préférences de l'expert. Il est important de noter que l'expert peut donner à la fois des "étiquettes positives", c'est-à-dire des saisies qui devraient être favorisées (par exemple, "c'est comme ça qu'il faut faire"), et des "étiquettes négatives", c'est-à-dire des saisies qui devraient être évitées (par exemple, "ne pas faire ça"). Nous appelons notre méthode "Latent Space GP Selector" (LGPS).

Une fois entraîné, notre pipeline génère des saisies candidates, les encode dans l'espace latent, puis interroge un classificateur à processus gaussien pour connaître la préférence de l'expert; le robot exécute cette saisie avec un algorithme de planification standard [145]. Pour l'apprentissage des préférences, la saisie sélectionnée par l'expert est encodée dans le même espace latent et le classificateur à processus gaussien est mis à jour.

Alors que le VAE et le GP ont été combinés ensemble dans différents domaines (par exemple, [200] pour les vidéos), notre principale contribution est la combinaison de générateurs de préhension (qui peuvent, par exemple, être basés sur l'apprentissage profond) avec une représentation de préhension basée sur l'image pour apprendre un espace latent de préhension de manière non supervisée. Nous montrons que notre pipeline permet d'apprendre des saisies qui sont environ cohérentes à 80% avec les étiquettes des experts avec moins d'un exemple par objet sur le jeu de données Cornell [75] (885 scènes, 244 objets) et sur notre propre jeu de données (91 scènes, 28 objets).

## 3.1 Définition du problème

Nos principales hypothèses sont les suivantes : (1) le robot dispose d'une caméra RGB-D; (2) tous les objets peuvent être saisis par le haut; (3) nous avons accès à une grande base de données non étiquetées d'images RGB-D (D); (4) nous avons accès à une petite base de données étiquetées ($\leq 4$ par objet) de saisies positives (bonne saisie) ou négatives (saisie à éviter) (base de données E).

Notre objectif principal est d'apprendre à reproduire les saisies que l'expert a étiquetées comme bonnes pour de nouvelles vues d'objets qui ont été vus précédemment. Notre objectif secondaire est de généraliser à des objets qui n'ont jamais été vus mais qui sont proches de ceux déjà étiquetés.

Nous évaluons la performance en utilisant la métrique rectangle [75], ce qui permet de comparer avec des travaux précédents utilisant des jeux de données publiés [75, 49]. Pour cette métrique, les saisies sont représentées par des rectangles centrés sur la position centrale de la pince $(x, y)$, tournés selon l'orientation $\theta \in [-\frac{\pi}{2}, +\frac{\pi}{2}]$, avec une largeur égale à l'ouverture de la pince $l$, et une hauteur qui code la tolérance. Deux saisies sont comparées en regardant à quel point les deux rectangles correspondants se chevauchent. Plus précisément, étant donné une préhension proposée GC et une préhension de base GT, l'intersection sur l'union (IoU, également appelée indice de Jaccard) correspond à la zone d'intersection normalisée :

$$IoU(GT, GC) = \frac{|GT \cap GC|}{|GT \cup GC|} \qquad (3.1)$$
<figure><img src="image_16.png" /><figcaption>FIGURE 3.2 – Le pipeline de saisie LGPS, en supposant que le VAE ait été entraîné précédemment (Sec. 3.3.3). À partir d'une image RGB-D, un générateur de saisie (Sec. 3.3.1) crée des candidats à la saisie sous forme de segments. Ces candidats à la saisie sont représentés par des patchs tournés centrés sur le milieu du segment (Sec. 3.3.2). Chacun d'entre eux est soumis à un VAE pour obtenir sa représentation latente, qui est, à son tour, l'entrée du classificateur GP (Sec. 3.3.4) afin d'obtenir la probabilité estimée d'être sélectionné par l'expert ; la saisie avec la probabilité la plus élevée est sélectionnée. Un deuxième GP est interrogé pour obtenir la largeur de la pince pour la prise sélectionnée. La "profondeur" de la prise (la position z de la pince) est calculée en utilisant l'image de profondeur.</figcaption></figure>
La métrique du rectangle RM est égale à 1 si cette zone de chevauchement est supérieure à 0.25 et si la différence angulaire est inférieure à $\frac{\pi}{6}$ :

$$RM(GT, GC) = \begin{cases} 1, & \text{if } IoU(GT, GC) > 0.25 \\ & \text{and } |GT.\theta - GC.\theta| \le \frac{\pi}{6} \\ 0, & \text{otherwise} \end{cases} \quad (3.2)$$

Nous comparons nos résultats à ceux de GR-Convnet [89] et de GC-CNN [120] avec la métrique des rectangles sur le Cornell Dataset [75] et sur notre propre jeu de données, qui se concentre sur les étiquettes significatives spécifiques aux objets (ciseaux, marteau, etc.). Notre méthode n'apprend pas de hauteur pour les rectangles, nous l'avons donc fixée à 38 pixels.

Bien que le processus décrit dans ce chapitre se déroule en mode hors ligne, avec l'apprentissage réalisé à partir d'une base de données étiquetées ou d'un sous-ensemble de celle-ci, nous avons mis en œuvre une configuration *en ligne* (voir chapitre 6). Dans ces scénarios, l'expert n'intervient pour corriger le robot qu'en cas d'erreur.

## 3.2 Prérequis

### 3.2.1 Autoencodeur (AE)

<figure><img src="image_17.png" /><figcaption>FIGURE 3.3 – Schéma de l'autoencodeur, figure de [192].</figcaption></figure>

Les autoencodeurs (AE) sont des réseaux de neurones composés de deux réseaux séquentiels : l'encodeur et le décodeur. L'encodeur compresse les données de haute dimension $x$ en données de plus basse dimension $z$. L'espace des vecteurs compressés $z$ est appelé espace latent. L'encodeur est généralement qualifié de "goulot d'étranglement" car il doit apprendre une compression efficace des données dans cet espace de dimension inférieure. Le décodeur est un autre réseau neuronal, il prend en entrée l'espace latent $z$ et renvoie
une représentation $x'$ de même dimension que $x$ ; $x'$ représente la reconstruction de $x$ (Fig. 3.3).

Cet apprentissage n'a pas besoin de données étiquetées ; il transforme un tenseur de haute dimension en une représentation plus dense, avec idéalement la même quantité d'informations représentée par moins de bits, ce qui est utile pour divers usages, tels que la compression des données ou la mise en évidence des facteurs génératifs sous-jacents des données.

La fonction de perte est généralement l'erreur quadratique moyenne ou l'entropie croisée entre la sortie et l'entrée, ce qui pénalise la différence entre la sortie reconstruite et l'entrée.

Un problème des autoencodeurs classiques est que l'espace latent dans lequel les entrées sont encodées peut ne pas être continu et ne permet donc pas une interpolation facile (générer des données à partir de variables latentes aléatoires générera des résultats inutiles). C'est pourquoi des autoencodeurs variationnels (VAE) ont été proposés.

### 3.2.2 Autoencodeur Variationnel (VAEs)

<figure><img src="image_18.png" /><figcaption>FIGURE 3.4 – Schéma de VAE, figure de [192]</figcaption></figure>

Les VAE ont une propriété fondamentalement unique qui les sépare des simples autoencodeurs : leurs espaces latents sont par conception continus. Au lieu de convertir les données en entrées en un vecteur fixe, un VAE les convertit en une distribution (Fig. 3.4).

Ils le font en créant deux vecteurs $\mu, \sigma$ qui représentent la moyenne et l'écart type. Le vecteur latent de l'entrée $x$ est échantillonné dans la région $N(\mu, \sigma)$. Ainsi, lors de l'entraînement, plusieurs $z$ peuvent représenter le même $x$.

Le vecteur moyen contrôle l'endroit où l'encodage d'une entrée doit être centré, tandis que l'écart type contrôle la "zone", c'est-à-dire l'écart que l'encodage peut avoir par rapport à la moyenne. Comme les encodages sont générés de manière aléatoire à partir de n'importe quel endroit à l'intérieur du "cercle" (la distribution), le décodeur apprend
que non seulement un point unique dans l'espace latent se réfère à un échantillon, mais que tous les points voisins s'y réfèrent également.

<figure><img src="image_19.png" /><figcaption>FIGURE 3.5 – Dans ces graphiques, nous pouvons visualiser comment chaque image de MNIST (base de données d'images de chiffres manuscrits (0-9) en niveaux de gris 28x28, composée de 60 000 images d'entraînement et de 10 000 images de test), est transformée dans un espace latent de dimension deux, à la fois pour l'autoencodeur et VAE. On observe que l'espace latent de l'autoencodeur est beaucoup moins centré que celui du VAE, les 'groupes' pour l'autoencodeur sont également plus imbriqués et étalés. Comme aucune structure ou contrainte n'est imposée sur l'espace latent de l'autoencodeur, il est difficile d'interpréter ce que représente une certaine partie de son espace latent (voir le '?' entre le groupe des 1 et le groupe des 2 sur la figure (a)). Pour l'espace latent du VAE, les données entre deux groupes dans l'espace latent représentent une interpolation continue des informations encodées (ce qui est apparent pour la transition entre le groupe des 1 et le groupe des 2 dans la figure (b)).</figcaption></figure>

Idéalement, ces représentations sont toutes aussi proches que possible les unes des autres tout en étant distinctes, permettant une interpolation fluide et la génération de nouveaux échantillons (Fig. 3.5).

Pour forcer cela, on introduit la divergence de Kullback-Leibler (divergence KL) dans la fonction de perte. La divergence de KL entre deux distributions de probabilité mesure simplement à quel point elles divergent l'une de l'autre.

$$ \sum_{i}^{n} (\sigma_{i}^{2} + \mu_{i}^{2} - \log(\sigma_{i}) - 1) \qquad (3.3) $$

Pour rendre le modèle entraînable avec la descente de gradient, l'astuce de reparamétrisation est introduite, ce qui rend le processus d'échantillonnage du VAE différentiable
en introduisant une variable aléatoire auxiliaire $\epsilon$ à partir d'une gaussienne unitaire, puis en décalant l'échantillon aléatoire $\epsilon$ par la moyenne $\mu$ de la distribution latente et en le mettant à l'échelle par la variance $\sigma$ de la distribution latente.

Grâce à cette reparamétrisation, nous pouvons maintenant optimiser les paramètres de la distribution tout en conservant la possibilité d'échantillonner aléatoirement à partir de cette distribution (Fig. 3.6).

<figure><img src="image_20.png" /><figcaption>FIGURE 3.6 – Illustration de la manière dont l'astuce de reparamétrisation rend l'échantillonnage $z$ entraînable, figure de [83]</figcaption></figure>

Les VAE sont largement utilisés dans l'apprentissage semi-supervisé, les outils de réduction du bruit et les réseaux génératifs. En particulier pour les réseaux génératifs, ils utilisent les propriétés encodées dans l'espace latent : par exemple, si nous voulons appliquer une caractéristique à une image donnée, nous déplaçons sa représentation dans la direction dans laquelle ce type de caractéristique est encodé.

### 3.2.3 Processus Gaussiens

Les processus gaussiens (GP) [146] sont des modèles probabilistes qui peuvent être utilisés pour les tâches de régression et de classification. Ils constituent une généralisation de la distribution gaussienne, qui est utilisée pour modéliser la distribution d'une fonction à valeur continue $f(x)$ qui associe à chaque $x$ une distribution gaussienne avec une moyenne $\mu$ et une variance $\sigma$.

$$ \hat{f}_d(\mathbf{x}) \sim \mathcal{GP}(\mu(\mathbf{x}), k(\bar{\mathbf{x}}, \mathbf{x}')) \quad (3.4) $$
Comme toutes les méthodes bayésiennes, les GP commencent par une distribution antérieure et la mettent à jour au fur et à mesure que des points de données sont observés, produisant ainsi la distribution postérieure des fonctions.

Les GP sont définis par une fonction moyenne $m(x)$ et une fonction de covariance (ou fonction noyau) $k(x, x')$. La fonction moyenne définit la valeur attendue de la fonction, tandis que la fonction de covariance décrit comment deux points s'influencent mutuellement en fonction de leur distance. La démarche courante est de diminuer exponentiellement l'influence avec la distance euclidienne (c'est la fonction noyau exponentiel-carré) :

$$k(x_1, x_2) = \sigma^2 \exp\left(-\frac{\|x_1 - x_2\|^2}{2\ell^2}\right) \qquad (3.5)$$

Où $\sigma^2$ est la variance globale (ou l'amplitude) et $\ell^2$ est l'échelle de longueur. Il s'agit de deux hyperparamètres qui peuvent être appris à partir de données.

Entraîner un modèle avec un processus gaussien revient à conditionner le processus gaussien par les données observées. En supposant que $D_{1:t}^d = \{f_d(\mathbf{x}_1), \dots, f_d(\mathbf{x}_t)\}$ est un ensemble d'observations (résultats de l'évaluation de la fonction de récompense inconnue à modéliser $f(x)$), le GP peut être interrogé à un nouveau point d'entrée $\mathbf{x}_*$ :

$$p(\hat{\mathbf{f}}(\mathbf{x}^*)|D^d: t, \tilde{\mathbf{x}}^*) = \mathcal{N}(\mu(\mathbf{x}), \sigma^2(\mathbf{x})) \qquad (3.6)$$

Le calcul du vecteur noyau $\mathbf{k} = [\text{kernel}(\mathbf{x}_1, \mathbf{x}), \dots, \text{kernel}(\mathbf{x}_t, \mathbf{x})]$ est nécessaire, où $\text{kernel}(\mathbf{x}, \mathbf{y})$ est la fonction noyau et une matrice noyau $K$, avec des entrées $K^{ij} = \text{kernel}(\mathbf{x}_i, \mathbf{x}_j)$

$$K = [k(x_1, x_1) \quad \dots \quad k(x_1, x_t) \quad \dots \quad k(x_t, x_1) \quad \dots \quad k(x_t, x_t)] + \sigma_{\text{noise}}^2 I \qquad (3.7)$$

La moyenne $\mu(\mathbf{x})$ et la variance $\sigma(\mathbf{x})$ peuvent ainsi être calculées :

$$\mu(\mathbf{x}) = \mathbf{k}^T K^{-1} D_{1:t}^d \sigma(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k}^T K^{-1} \mathbf{k} \qquad (3.8)$$
<figure><img src="image_21.png" /><figcaption>FIGURE 3.7 – Si l’on dispose d’une certaine connaissance des propriétés de la fonction cible, il est possible de l’intégrer au modèle.</figcaption></figure>

Diverses fonctions de noyau existent pour modéliser un large éventail de fonctions (par exemple, un noyau périodique avec des fonctions sin/cos). Les noyaux courants comprennent l'exponentielle au carré, les noyaux périodiques et les noyaux quadratiques rationnels. Il est donc possible d'ajouter des connaissances préalables et des spécifications sur la forme du modèle en sélectionnant différentes fonctions de noyau (Fig. 3.7).

Un avantage des processus gaussiens, en particulier par rapport aux réseaux de neurones, est l'existence de cette covariance. Celle-ci peut être utilisée comme une mesure de l'incertitude du modèle concernant les prédictions faites.

Les GP peuvent également modéliser des fonctions non stationnaires, gérer des vraisemblances non gaussiennes, des fonctions à sorties multiples et l'optimisation bayésienne et fonctionnent également bien avec peu de données.

Par rapport aux réseaux neuronaux, les classificateurs à processus gaussiens sont plus précis lorsqu'il y a peu de données, au prix d'un temps de requête/d'entraînement plus long (la requête est $O(n^2)$ avec $n$ le nombre d'échantillons).

Pour la classification GP, l'objectif est de modéliser la probabilité d'appartenance à une classe pour une entrée donnée. Les deux approches principales pour la classification par GP sont "un contre tous" et les modèles à variables latentes.

L'approche "un contre tous" consiste à ajuster un GP pour chaque classe en considérant cette classe comme positive et toutes les autres comme négatives. Pour chaque entrée, la probabilité postérieure est calculée pour chaque classe, puis la classe ayant la probabilité la plus élevée est choisie comme prédiction.

L'approche à variables latentes consiste à introduire une variable latente pour représenter les étiquettes de classe. Le modèle est alors construit pour modéliser la relation entre les variables d'entrée, la variable latente et les données observées. Les prédictions sont alors obtenues en inférant la valeur de la variable latente pour chaque entrée et en utilisant cette valeur pour calculer la probabilité postérieure de chaque classe.

Les modèles SVGP (Sparse Variational Gaussian Processes) [65] sont une variante des GP qui permettent de réduire le coût de calcul et de stockage associé à l'utilisation de GP pour les grandes ensembles de données.

L'approche SVGP consiste à utiliser une version approximative de la fonction de co-
variance du GP, qui est représentée par un petit ensemble de points d'ancrage (appelés "inducteurs" ou "points de support") au lieu de tous les points de données. Les prédic-
tions sont alors obtenues en utilisant une forme de variational Bayes pour inférer une approximation de la distribution postérieure du GP à partir des données et des points d'ancrage.

Cela permet de réduire la complexité de calcul du modèle GP et de rendre l'apprent-
tissage possible pour les ensembles de données volumineux. En outre, l'approche SVGP
permet également de régulariser le modèle, ce qui peut aider à améliorer la généralisation
et à éviter le surapprentissage.

En résumé, les processus gaussiens sont des modèles probabilistes flexibles et puissants qui peuvent être utilisés pour la régression et la classification. Ils offrent plusieurs avancages, tels que la possibilité d'intégrer des connaissances préalables et des spécifications sur la forme du modèle, et une mesure de l'incertitude concernant les prédictions. Les processus gaussiens sont particulièrement adaptés aux problèmes avec des données limitées, mais peuvent être coûteux en termes de calcul et de stockage pour les grands ensembles de données. Les variantes comme les modèles SVGP aident à atténuer ces problèmes en réduisant la complexité du modèle.

3.3 Méthode

Notre pipeline algorithmique complet est illustré dans (Fig. 3.2). Les sous-sections suivantes fournissent des détails sur les composants respectifs (a-d) du pipeline.

3.3.1 Génération des candidats de saisie (a)

Étant donné une image RGB-D, les candidats à la saisie peuvent être générés à l'aide
de techniques de vision par ordinateur [181], ou bien en les échantillonnant de manière
aléatoire, ou en utilisant des méthodes basées sur l'apprentissage profond comme Dex-Net
[108], Generative Grasping CNN (GG-CNN) [120] ou Generative Residual Convolutional
Neural Network (GR-ConvNet) [89]. Nous utilisons ici un générateur de préhension basé
sur la vision par ordinateur, qui s'est révélé à la fois rapide et efficace dans nos expé-
riences, une fois combiné à un classificateur à processus gaussien (Sec. sec :GP), bien
qu'un générateur à apprentissage profond pourrait facilement prendre sa place.

Nous extrayons d'abord l'objet avec l'algorithme GrabCut [151] qui fonctionne comme une "baguette magique" pour séparer un objet de son arrière-plan en utilisant quatre classes de pixels : provenant des objets, probablement de l'objet, pas de l'objet, et probablement pas de l'objet. Nous déterminons la classe de chaque pixel à l'aide de trois méthodes : segmentation colorée basée sur le HSV, segmentation basée sur la saillance [70], segmentation arrière-plan/fond basée sur le mélange gaussien [78]. Nous exécutons un détecteur d'arêtes Canny [30] pour obtenir les arêtes et nous calculons le squelette [94].

Nous générons des candidats à la saisie en calculant des lignes perpendiculaires à chaque pixel de bord et à chaque pixel de squelette [181]. Pour ce faire, on examine les deux voisins les plus proches de chaque point des bords/squelette. Pour maintenir le nombre de candidats à la saisie à un niveau faible, nous sautons les points d'arête/squelette si la distance avec le point précédent est inférieure à 4 pixels (base de données Cornell)
et à 8 pixels (notre base de données). Enfin, nous ajoutons un angle aléatoire (±0.4 rad, distribution gaussienne) à chaque candidat pour augmenter la diversité des saisies. À ce stade, les saisies n'ont pas de largeur de préhension puisqu'elles sont utilisées pour (1) générer des patches (Sec. 3.3.2) qui ont une taille fixe (donc seules la position et l'orientation comptent), et (2) pour interroger un GP, qui prédit la largeur de préhension en utilisant la représentation latente du patch.

Ces $n$ points et angles $[x, y, \theta]^n$ constituent la liste des candidats à la saisie pour une image RGB-D spécifique.

<figure><img src="image_22.png" /><figcaption>FIGURE 3.8 – Génération de candidats à la saisie à partir des images RGB. Nous extrayons un masque, puis les bords et le squelette.</figcaption></figure>

### 3.3.2 Représentation des candidats de saisie (b)

Nous encodons les prises en tant que *image patch* à 7 canaux (Fig. 3.9), comme dans [138] et [106], qui centre chaque image sur sa prise respective. Le principal avantage de cette représentation est qu'elle combine une spécification de la prise (orientation, position par rapport à l'objet) avec une image de l'objet pour le reconnaître. Ces patchs d'images peuvent être facilement introduits dans des réseaux de neurones convolutifs, contrairement à une représentation basée sur des coordonnées ou des caractéristiques, qui devrait être associée au bon objet.

Pour créer ces patchs à partir de $[x, y, \theta]$ (Sec. 3.3.1), nous:: (1) faisons pivoter l'image pour qu'elle corresponde à l'orientation du segment, (2) traduisons l'image pour qu'elle soit centrée sur le centre du segment, (3) recadrons l'image à 128 x 128 pixels. La largeur de la pince est ignorée pour l'étape d'extraction du patch. Nos patchs d'image sont à 7 canaux: 3 canaux pour l'image RGB, 1 canal pour la profondeur et 3 canaux pour l'image de la normale à la surface, générée à partir de l'image en échelle de gris de la profondeur.
<figure><img src="image_23.png" /><figcaption>FIGURE 3.9 – Les saisies sont représentées comme un patch de l'image tourné et recadré qui est centré sur la saisie. Cette représentation permet d'alimenter les réseaux de neurones convolutifs avec les prises et leur contexte.</figcaption></figure>

### 3.3.3 Espace latent de préhensions (c)

Nous supposons ici que nous avons accès à un grand jeu de données de patchs (appelé *d*) qui n'est pas étiqueté. Nous entraînons un décodeur automatique convolutif à variables $\beta$ [67, 20] en utilisant un grand nombre de patchs (au moins 40000, selon le jeu de données) générés à partir d'images RGB-D. La dernière couche du décodeur utilise une fonction d'activation tanh parce que nous normalisons la fonction d'activation. La dernière couche du décodeur utilise une fonction d'activation tanh car nous normalisons notre entrée à [-1, 1]. Compte tenu du VAE entraîné, l'extraction des patchs de saisie et leur encodage dans l'espace latent prennent moins de 2 secondes par scène en moyenne sur notre ordinateur.

### 3.3.4 Apprentissage du modèle de préférence des expert (d) avec des Processus Gaussien

Nous supposons maintenant que nous avons accès à un second jeu de données, pour lequel un petit ensemble de patchs a été étiqueté comme positif (sélectionné par l'expert) ou négatif (saisie à éviter). Pour les exemples positifs, le jeu de données contient également la largeur d'ouverture de la pince sélectionnée par l'expert.

Nous entraînons un classificateur gaussien [146] qui prend en entrée le code latent d'un patch, c'est-à-dire un candidat à la saisie, et produit un score *s* entre 0 et 1 qui décrit la probabilité que la saisie soit choisie par l'expert. En utilisant l'exemple positif, nous entraînons également le régresseur de processus gaussien [146] qui prend la même entrée et sort une distribution de probabilité de la largeur de la pince. Dans nos tests, nous avons observé un temps d'interrogation de moins de 0,06 seconde par scène.
Pour chaque saisie générée (Sec. 3.3.1), nous générons d'abord le patch correspondant, nous l'encodons dans l'espace latent en utilisant le décodeur β-VAE, puis nous interrogeons le GP pour obtenir son score. Nous sélectionnons le candidat à la saisie ayant le score le plus élevé. Pour adapter le classificateur GP à de nombreux échantillons sans compromettre le temps d'interrogation, nous utilisons des "classificateurs à processus gaussiens variationnels évolutifs" [66], qui sont basés sur un cadre de points inducteurs variationnels, bien que n'importe quel classificateur GP puisse être utilisé à la place (pour moins de 500 étiquettes environ, un classificateur GP standard fonctionne bien). La largeur d'ouverture de la pince $g_w$ est sélectionnée en interrogeant le régresseur GP avec le patch sélectionné (un GP standard est utilisé pour cela car nous n'avons besoin que d'une seule requête, par rapport aux nombreuses requêtes pour le classificateur).

Pour utiliser la représentation rectangulaire orientée (voir Fig. 3.9), nous utilisons une valeur *height* fixe. Lors de l'exécution de la saisie sélectionnée avec le robot, la profondeur est calculée en utilisant les données de profondeur de la caméra RGB-D : nous extrayons un patch orienté du nuage de points de profondeur avec la largeur de la saisie sélectionnée et une hauteur fixe (5 pixels), et nous utilisons le point le plus proche de la pince $g_d$ (c'est-à-dire le point le plus haut de l'objet) comme référence *z*.

## 3.4 Évaluation expérimentale

Nous évaluons notre approche sur le jeu de données Cornell [96] (885 scènes, 244 objets, 5055 étiquettes positives, 2822 étiquettes négatives) et sur un jeu de données personnalisé pour lequel les humains ont généralement des préférences (Fig. 3.12, 91 scènes, 28 objets, 447 étiquettes positives, 145 étiquettes négatives). Pour le jeu de données Cornell, le VAE (Tableau supplémentaire 3.1) est entraîné sur les 885 scènes (244 objets). Pour notre jeu de données, les images sont obtenues avec une caméra de profondeur Intel RealSense D415 montée sur la pince d'un robot Franka-Emika Panda (Fig. 3.1) qui est positionnée à 65 centimètres au-dessus des objets. Les objets sont pour la plupart issus du jeu de données YCB [28]. Nous avons utilisé un espace latent à 32 dimensions (sortie du VAE et entrée du GP).

Nous nous concentrons sur la performance avec très peu d'étiquettes (moins de 4000, idéalement moins de 50) car nous envisageons des scénarios interactifs ou semi-interactifs dans lesquels un expert ne veut pas passer beaucoup de temps à étiqueter. De plus, nous sommes intéressés par la généralisation à de nouvelles vues d'objets pour lesquels nous avons des étiquettes, et pas nécessairement à de nouveaux objets qui n'ont jamais été vus. Par conséquent, nous ne faisons aucun effort pour diviser la base de données d'entraînement et la base de données d'apprentissage en ensembles d'objets disjoints; au contraire, nous attendons généralement de notre algorithme qu'il sélectionne la bonne saisie avec 1 ou 2 exemples de saisie du même objet dans des vues différentes. Par exemple, nous n'attendons pas de notre algorithme qu'il sache comment saisir un marteau s'il n'en a jamais vu, mais nous voulons qu'il apprenne à saisir un marteau de n'importe quel point de vue une fois qu'on lui a expliqué comment le faire une ou deux fois.

Nous comparons notre méthode à deux méthodes de préhension de l'état de l'art basées sur des étiquettes d'experts : Generative Grasping CNN (GG-CNN) [120] et Generative Residual Convolutional Neural Network (GR-ConvNet) [89] en utilisant la métrique du
<figure><img src="image_24.png" /><figcaption>FIGURE 3.10 – Métrique du rectangle pour le jeu de données Cornell. L'axe x correspond au nombre d'étiquettes utilisées pour l'apprentissage (données d'apprentissage+validation, 641 scènes) et l'axe y à la métrique du rectangle en pourcentage du nombre de scènes dans la base de données de test (244 scènes). La métrique du rectangle compte le nombre de fois où la saisie sélectionnée correspond à au moins une des étiquettes positives. Pour la base de données Cornell, le graphique du haut montre la métrique du rectangle de 0 à toutes les étiquettes disponibles (GR-ConvNet et GG-CNN n'utilisent pas les étiquettes négatives, ils ne peuvent donc pas utiliser toutes les étiquettes), le graphique en bas à gauche correspond aux mêmes données mais se concentre sur les résultats de 0 à 400 d'étiquettes, et le graphique en bas à droite rapporte le nombre de scènes et d'objets par rapport au nombre d'étiquettes utilisées pour l'entraînement. Pour mieux comprendre les performances de notre pipeline, nous comparons deux "ablations" : remplacer le classificateur GP par un modèle de régression logistique pour la classification binaire ("Ours-LR") et utiliser un classificateur binaire CNN au lieu de la combinaison VAE+GP ("Ours-CNN").</figcaption></figure>
Results on our dataset (91 scenes 28 objects) - IW split training 26 objects 63 scenes 304+ labels 100- labels

<figure><img src="image_25.png" /><figcaption>FIGURE 3.11 – Métrique du rectangle pour notre jeu de données. L’axe des abscisses correspond au nombre d’étiquettes utilisées pour l’entraînement (données d’entraînement et de validation, 641 scènes) et l’axe des ordonnées au pourcentage de la métrique rectangle par rapport au nombre de scènes dans l’ensemble de test (244 scènes). La métrique rectangle compte combien de fois la saisie sélectionnée correspond à au moins l’une des étiquettes positives. Pour l’ensemble de données Cornell, le graphique du haut montre la métrique rectangle de 0 à toutes les étiquettes disponibles (GR-ConvNet et GG-CNN n’utilisent pas les étiquettes négatives, donc ils ne peuvent pas utiliser toutes les étiquettes), le graphique en bas à gauche correspond aux mêmes données mais se concentre sur les résultats de 0 à 400 étiquettes, et le graphique en bas à droite indique le nombre de scènes et d’objets par rapport au nombre d’étiquettes utilisées pour l’entraînement. Pour mieux comprendre les performances de notre pipeline, nous comparons deux "ablations" : remplacer le classificateur GP par un modèle de régression logistique pour la classification binaire ("Ours-LR") et utiliser un classificateur binaire CNN au lieu de la combinaison VAE+GP ("Ours-CNN").</figcaption></figure>
<figure><img src="image_26.png" /><figcaption>FIGURE 3.12 – Nous avons sélectionné ces objets selon plusieurs critères. Ils doivent présenter de multiples configurations de pose stables pour pouvoir être disposés sur une table. Ils doivent également permettre des prises distinctives et spécifiques, par exemple les outils ou les couverts qui doivent être saisis par le manche, les jouets par certaines parties, les bouteilles par leur bouchon, etc... De plus, nous avons veillé à choisir une variété d'objets de différentes tailles, formes et couleurs. Enfin, certains de ces objets présentent des caractéristiques particulières, comme le fait d'être transparents, déformables ou articulés.</figcaption></figure>

rectangle (Sec. 3.1). Nous n'avons pas pu exécuter Dex-Net 4.0 [113] sur le jeu de données Cornell car les objets sont trop éloignés de la caméra (Dex-Net requiert 0,5 à 0,7m) et le jeu de données ne donne pas les paramètres intrinsèques de la caméra. GG-CNN et GR-Convnet sont deux algorithmes récents qui utilisent un réseau neuronal entièrement révolutionnaire pour générer la qualité de la saisie et les poses/largeurs de saisie (x, y, θ, w) à chaque pixel des scènes RGB-D et pour échantillonner les candidats à la saisie. GR-ConvNet affiche une exactitude de pointe de 97,7% sur le jeu de données Cornell. Pour évaluer la contribution du GP, nous avons également comparé à une base de référence dans laquelle une régression logistique (de Scikit-Learn) est utilisée à la place du GP.

Pour les expériences suivantes, nous nous intéressons à la comparaison des performances de notre méthode (en termes de suivi des préférences) en fonction du nombre de labels disponibles. Pour diviser notre jeu de données par image, nous classons les scènes RGB-D par objet et choisissons aléatoirement une scène par objet pour la base de données de test, sur lequel chaque algorithme est testé.

Nous générons les base de données d'entraînement et de validation pour un nombre spécifique de prises étiquetées en sélectionnant aléatoirement des points de données en dehors de la base de données de test. Ces étiquettes sont ensuite divisées en 5 groupes afin d'effectuer une validation croisée 5 fois pour entraîner GG-CNN et GR-ConvNet. Chaque
<table><caption>TABLE 3.1 – Jeux de données utilisés pour l'entraînement VAE.</caption><thead><tr><th>Dataset</th><th># of scenes</th><th>with single objects</th><th>with objects in heaps</th><th># of objects</th><th># of VAE grasps</th></tr></thead><tbody><tr><td>Ours</td><td>782 - 1280x720</td><td>369</td><td>413</td><td>124</td><td>334286</td></tr><tr><td>Cornell</td><td>885 - 640x480</td><td>885</td><td>0</td><td>244</td><td>43644</td></tr></tbody></table>

méthode est entraînée avec les mêmes étiquettes disponibles pour l'entraînement, avec cette différence : GG-CNN et GR-ConvNet rejettent les saisies négatives pour l'entraînement (dans ces méthodes, tout ce qui n'est pas positif est considéré comme négatif), et notre méthode rejette les données de validation (puisque nous n'en avons pas besoin pour le GP). Par exemple, pour 100 étiquettes sélectionnées au hasard (par exemple, 60 positives et 40 négatives), chaque pli contient 80 étiquettes pour l'entraînement et 20 pour la validation ; notre méthode est formée avec 80 étiquettes alors que GG-CNN et GR-ConvNet utiliseraient en moyenne 48 étiquettes (36 étiquettes pour l'entraînement et 12 étiquettes pour la validation). Veuillez noter que nous rapportons les données en utilisant le nombre d'étiquettes utilisées (entraînement et validation), et non le nombre d'étiquettes choisies au hasard, afin que la comparaison soit aussi équitable que possible.

Nous exécutons notre méthode 5 fois pour chaque nombre d'étiquettes (chaque exécution est indépendante) ; nous testons avec 0, 10, 20, ..., 500 étiquettes et 1000, 2000, ..., 4558 étiquettes. Globalement, nous lançons donc 280 ($56 \times 5 = 280$) exécutions indépendantes de notre algorithme d'apprentissage (et donc 280 tests). Pour GR-ConvNet et GG-CNN, nous testons avec des étiquettes de 0, 100, 300, 400, 1000, 3000, et 3588 (ces méthodes n'utilisent que les étiquettes positives) et 5 répétitions (total de 45 pour chaque ligne de base). Nous entraînons la partie VAE de notre méthode une fois pour chaque base de données $\mathcal{D}$, en utilisant une répartition de 70%-30% pour l'entraînement et la validation. Le réseau VAE est entraîné pendant 48 heures sur une Nvidia GTX 1080 Ti en utilisant le cadre Keras et l'optimiseur Adam avec les paramètres suivants : $|B| = 64, \eta = 0.001, w = 128, h = 128, \beta = 1.0, m = 32$. GG-CNN et GR-ConvNet sont tous deux entraînés sur Nvidia GTX 1080 avec les paramètres fournis et des augmentations de données adaptées au Cornell Dataset.

Nous avons constitué un jeu de données $\mathcal{D}$ d'images RGBVB-D d'objets vu de haut pour entraîner la $\beta$-VAE. Les images sont obtenues avec une camera Intel RealSense D415 Depth 65 centimètres au dessus des objets, ceux-ci provenant de diverses expériences robotiques et de la base de données YCB [28].

### 3.4.1 Résultats qualitatifs

Nous avons d'abord vérifié que notre méthode correspond à nos attentes sur un objet dont le choix est clair (Fig. 3.1). Dans cette expérience, un marteau (jouet) doit être pris par le haut du manche (près de la tête), et non par le bas (loin de la tête). Nous avons choisi cet exemple parce qu'un marteau a une distribution de masse particulièrement non-uniforme qui ne peut pas être déduite de la forme seule : les prises qui ne sont pas proches de la tête ont peu de chances de réussir.

Pour cette expérience préliminaire, nous avons utilisé une seule image avec deux étiquettes : une étiquette positive pour la partie supérieure du manche et une étiquette négative pour la partie inférieure (Fig. 3.1). Nous avons ensuite capturé 21 scènes sup-
plémentaires du même marteau dans différentes positions et évalué combien de fois notre méthode a choisi de saisir le marteau par la partie supérieure (pour effectuer cette évaluation, nous avons étiqueté les 21 scènes, mais n'avons pas utilisé ces étiquettes lors de l'entraînement).

Les résultats montrent que notre méthode sélectionne la bonne prise dans 19/21 scènes. (Fig. 3.13) et n'échoue que dans les 2 scènes où le marteau est posé à la verticale sur la table (pour lesquelles le manche n'est pas accessible avec une prise de haut en bas).

<figure><img src="image_27.png" /><figcaption>FIGURE 3.13 – Saisies prédites sur les 21 scènes après entraînement avec deux étiquettes.</figcaption></figure>

### 3.4.2 Résultats quantitatif

Après environ 16 scènes d'exemple tirées du jeu de données Cornell (16 étiquettes aléatoires, qui correspondent à environ 13 exemples positifs pour environ 14 objets), notre méthode sélectionne la bonne saisie (selon la métrique du rectangle) pour 66% des scènes de test (244 scènes) (Fig. 3.10) qui comprennent de nombreux objets non vus (244 objets au total, alors qu'au mieux 16 objets différents ont été vus). À titre de comparaison, la sélection aléatoire de la saisie parmi celles générées conduit à un score de 29% (cela correspond à la valeur "0 étiquette" sur le graphique), ce qui signifie que le classificateur GP apprend des connaissances utiles. Après 68 étiquettes, notre méthode prédit avec exactitude les saisies pour 76% des scènes, alors que GR-ConvNet sélectionne la bonne saisie dans seulement 55% des scènes testées, et GG-ConvNet seulement 49%. Notre méthode dépasse 80% avec 80 étiquettes (63 objets différents, 71 scènes, 54 étiquettes positives) et 89,5% avec 344 étiquettes. Le meilleur score atteint par GR-ConvNet après 3588 étiquettes<fnref n="5" /> est de 86.8% et par GG-CNN [120] de 77.9%. Dans l'ensemble, notre méthode

<footnote n="5">5. Veuillez noter que les auteurs de GR-ConvNet rapportent une exactitude de 97.7% avec toutes les étiquettes disponibles, mais nous n'avons pas pu obtenir le même score avec leur code (ils ne rapportent</footnote>
<figure><img src="image_28.png" /><figcaption>FIGURE 3.14 – Résultats typiques de notre jeu de données : la ligne supérieure montre les objets dans les scènes utilisées pour l'entraînement (d'autres scènes de ces objets ont également été utilisées), et la ligne inférieure montre certaines de nos saisies prédites sur des scènes non vues du même objet. Pour évaluer l'efficacité des données, un sous-ensemble aléatoire d'étiquettes est utilisé (par exemple, seulement 2 étiquettes pour chaque objet). Les prédictions suivent les règles arbitraires de l'expert pour chaque objet : une partie de l'objet est autorisée (le manche du tournevis, le bouchon de la bouteille rouge, la ficelle des lunettes, ...) et une autre ne l'est pas (les poils de la brosse, la tête de la peluche de l'âne, la nageoire de la torpille, ...).</figcaption></figure>

<figure><img src="image_29.png" /><figcaption>FIGURE 3.15 – La ligne supérieure montre les objets dans les scènes disponibles pour l'entraînement, et la ligne inférieure montre certaines des saisies prédites sur des scènes non vues du même objet.</figcaption></figure>

surpasse clairement le meilleur score de toutes les lignes de base après seulement 344 étiquettes (contre plus de 3000 pour les lignes de base), et quelques centaines d'étiquettes suffisent pour obtenir plus de 80% des saisies correctes.

Les résultats sont similaires pour notre base de données (Fig. 3.14), qui est plus petite mais similaire à la base de données Cornell (objet unique avec étiquettes) notre méthode atteint un score de 74% avec seulement 24 étiquettes (provenant de 22 scènes, 15 objets différents, dont 20 sont positifs), et 93.57% avec 96 étiquettes. Pour fournir un point de référence, avec 300 étiquettes, GR-ConvNet obtient un score de 75% et GG-CNN un score de 60%.

<footnote>aucun score avec un sous-ensemble de la base de données Cornell, comme nous le faisons ici). Nos résultats sont cohérents avec les résultats rapportés dans la littérature GG-CNN [120].</footnote>
<figure><img src="image_30.png" /><figcaption>FIGURE 3.16 – Résultats typiques sur la base de données Cornell, la ligne supérieure montre les objets dans les scènes utilisées pour l'entraînement (des scènes supplémentaires de ces objets ont également été utilisées). La deuxième ligne montre les saisies prédites qui ne satisfont pas la métrique du rectangle. Ces 8 scènes de la base de données Cornell échouent même après avoir été entraînées avec des étiquettes de ces objets provenant d'autres scènes.</figcaption></figure>

### 3.4.3 Étude d'ablation

Notre pipeline combine un VAE pour apprendre un espace latent générique avec un GP pour classifier les candidats à la saisie dans cet espace latent. Pour comprendre la contribution du GP, nous l'avons remplacé par un classificateur de régression logistique (de Scikit-Learn). Les résultats (Fig. 3.10, "Ours-LR") montrent que la régression logistique conduit à des scores similaires à ceux obtenus par GR-ConvNet, ce qui montre que le classificateur GP est un composant clé. Pour évaluer la contribution du VAE entraîné sur de nombreuses images non étiquetées, nous avons ensuite entraîné un classificateur CNN avec la même architecture que le VAE (il prend les mêmes patches en entrée) mais qui sort directement la classe du candidat à la saisie (correcte ou incorrecte). Ce CNN est entraîné uniquement sur les patches étiquetés. Les résultats montrent (Fig. 3.10, "Ours-CNN") que cette approche simple peut conduire à des résultats compétitifs mais est clairement surpassée par notre pipeline. Dans l'ensemble, l'entraînement sur des images non étiquetées et l'utilisation d'un GP sont nécessaires pour obtenir un bon score selon la métrique du rectangle.

### 3.4.4 Testes avec un robot Franka-Emika Panda

La vidéo <fnref n="6" /> montre un robot Franka-Emika Panda qui effectue les saisies apprises à l'aide de notre pipeline et de notre base de données (Fig. 3.1). Pour chacun des 28 objets (Fig. 3.12), le robot est positionnée à 65 cm au-dessus de la table, notre pipeline sélectionne la saisie et le robot l'exécute en utilisant les algorithmes de planification de la bibliothèque MoveIt [36].

L'objectif de notre méthode est de suivre les préférences de l'expert, et non de réaliser les saisies les plus réussies : l'expert peut exiger une saisie beaucoup plus difficile que les autres pour une raison qui lui est propre (c'est ce qu'évalue la métrique du rectangle). Dans ces expériences sur les robots, 17% des saisies ne correspondaient pas à ce que l'expert attendait et 20% des saisies étaient infructueuses (ces deux ensembles d'échecs ne

<footnote n="6">6. Vidéo disponible à l'adresse https://youtu.be/dJ1fkcught4</footnote>
se chevauchent pas complètement). La plupart des échecs sont dus à des problèmes liés à l'étape de génération des saisies (par exemple, la saisie préférée n'a pas été proposée par le générateur ou aucune bonne saisie n'a été proposée).

### 3.4.5 Avec classification d'objet

Dans certains cas, il est essentiel de reconnaître les objets que l'on manipule. Par exemple, lors du traitement des déchets radioactifs, il est nécessaire de trier les objets en fonction de leur type. Ces déchets sont composés d'objets courants tels que des bouteilles en plastique et des tissus, mais aussi d'une proportion importante d'objets industriels tels que des blocs de bois, des boîtes métalliques, des chaînes, des gants, des tuyaux et autres objets métalliques. L'identification et la classification de ces objets est cruciale dans le traitement de ces déchets. Dans cette section, nous évaluons plusieurs améliorations possible de notre pipeline pour effectuer cette reconnaissance.

Dans le cas de la reconnaissance d'objets saisis, la base de données Cornell étiquette les objets présents dans chaque scène (244 objets différents, 231 avec plusieurs scènes). De nombreux objets sont similaires, par exemple, chaque paire de lunettes de couleur différente est considérée comme un objet distinct. La plupart des objets ont 4 scènes, certains en ont 3, 2 ou 1, et quelques-uns en ont 5, ce qui est peut et déséquilibré (voir Fig. 3.17).

<figure><img src="image_31.png" /><figcaption>FIGURE 3.17 – Distribution du nombre de scènes par objet de la base de données Cornell.</figcaption></figure>

Une première tentative, qui n'a pas donné de bons résultats, consistait à remplacer le classificateur binaire par un classificateur multi-classes SVM (à noyau quadratique rationnel) et à utiliser de l'augmentation de données (Fig. 3.18) sur les données d'entraînement. On obtient une précision de 9,6% pour les étiquettes et 5,08% pour les candidats de ces scènes. Si l'on considère le top 5 des classes prédites pour chaque patch, la précision monte à 23,58% pour les étiquettes et 15,74% pour les candidats de ces scènes.
<figure><img src="image_32.png" /><figcaption>FIGURE 3.18 – Retourner verticalement (haut-bas) ou horizontalement (gauche-droite) l'image conserve l'information de la prise de vue si la caméra est parallèle à la table.</figcaption></figure>

Les autoencodeurs variationnels (VAE) sont des modèles génératifs qui apprennent une représentation latente des données d'entrée. L'objectif principal des VAE est de générer de nouveaux échantillons de données similaires aux données d'apprentissage, et ils ne sont pas conçus explicitement pour des tâches de classification. La représentation dans l'espace latent (une distribution gaussienne isotrope dense) ne semble pas être adéquate pour cette tâche. Comme nous disposons de l'encodeur du VAE, nous pouvons tester d'entraîner un classificateur par transfert (voir sous-sous-section 2.5.3.1). Pour cela, nous figeons toutes les couches convolitives de l'encodeur (qui ont déjà appris des caractéristiques utiles à partir des données d'entraînement originales) afin d'éviter de détruire les informations qu'elles contiennent et ajoutons des couches au modèle afin de réaliser la classification. Les couches ajoutées sont les suivantes :

- GlobalAveragePooling2D : cette couche calcule la moyenne de la carte des caractéristiques pour chaque canal, ce qui donne une sortie de taille fixe indépendamment de la taille d'entrée. Elle réduit les dimensions spatiales de l'entrée et fournit un résumé des caractéristiques les plus importantes de l'entrée.

- BatchNormalization : cette couche normalise les sorties de la couche précédente en les ajustant et en les mettant à l'échelle. Elle aide à stabiliser le processus d'apprentissage et accélère l'entraînement.

- Dense : cette couche entièrement connectée prend la sortie de la couche précédente et applique une transformation linéaire. Cette couche est ajoutée pour apprendre des représentations complexes de l'entrée et contribue à améliorer les performances du modèle (fonction d'activation ReLU).

- Dropout : cette couche supprime de manière aléatoire une fraction des unités d'entrée, ce qui contribue à prévenir le surapprentissage. Il s'agit d'une technique de régularisation qui améliore la généralisation du modèle.

- Dense : il s'agit de la dernière couche de sortie du modèle. Elle comporte un nombre d'unités correspondant au nombre de classes. La couche applique une fonction
d'activation softmax, qui convertit la sortie de la couche en une distribution de probabilités sur les classes.

En utilisant cette approche, nous obtenons de bien meilleurs scores comparés à ceux du classificateur multi-classes SVM, soit 58,52% pour les étiquettes et 59,6% des candidats de ces scènes. Si on prend en compte le top 5 des classes prédites, les scores augmentent à 85,2% et 85,67%. En gardant la même architecture mais en remplaçant les couches venant de l'encodeur par celles pré-entraînées sur ImageNet (une grande base de données contenant plus de 14 millions d'images, les architectures classiques dont s'inspire notre VAE proposent souvent des poids pré-entraînés sur cette base de données) [47] (dans ce cas, nous n'utilisons plus que les données RGB), les scores augmentent à 71,46% pour les étiquettes et 71,92% des candidats de ces scènes. Ce résultat n'est pas surprenant car les poids pré-entraînés ont été appris à partir d'une base de données beaucoup plus grande et plus diversifiée que le VAE, malgré l'utilisation des données de profondeurs.

### 3.4.6 Avec segmentation

Dans le cas où la segmentation des scènes est fournie dans la base d'apprentissage, cette information peut être optionnellement apprise. En intégrant le masque de segmentation des patches comme une sortie supplémentaire du VAE (qui reconstruit les données RGB-D et fournira donc également une estimation de la segmentation), nous avons pu obtenir des résultats de segmentation légèrement améliorés. Les résultats de l'évaluation montrent un score médian IoU de 0,878 et un score moyen IoU de 0,854 avec un temps de calcul moyen de 0,78 seconde par scène (contre un score médian de 0.8777 et un score moyen IoU de 0,83 pour un temps de calcul moyen par scène de 0,53 seconde pour la méllicieur combinaison de segmentation obtenu précédemment, voir sous-section A.6.1).

Ces résultats sont probablement moins performants qu'une méthode de segmentation plus spécialisée telle que U-Net [150], ils montrent que la combinaison d'un VAE et d'un masque de segmentation peut permettre d'obtenir une segmentation précise sans changer le reste du pipeline de préhension. En effet, si les masques de segmentation sont disponibles pour entraîner le VAE, il peut être facilement intégré dans un pipeline existant de préhension. Cette approche est donc une option intéressante pour les applications de robotique où les masques de segmentation sont disponibles et où il est souhaitable de maintenir un pipeline simple et facile à implémenter.

## 3.5 Conclusions

Notre pipeline est très économique en données car il utilise un générateur de saisie basé sur la forme comme préalable, au lieu d'apprendre les saisies uniquement à partir des étiquettes. Une conséquence directe est que notre pipeline est au moins aussi bon que le générateur de saisie utilisé : il choisit toujours parmi les saisies proposées. Lorsque des générateurs de préhension plus efficaces seront développés, ils pourront être directement utilisés pour créer l'espace latent et les candidats, et notre pipeline deviendra plus efficace.

Ce chapitre se concentre sur l'entraînement hors ligne afin de le comparer à l'état de l'art sur des bases de données bien définis. Cependant, notre pipeline s'adapterait bien à des scénarios en ligne dans lesquels un "superviseur" ne corrige le robot que lorsqu'il se
trompe, c'est-à-dire lorsque le générateur de prise basé sur la forme est erroné. Le super-
viseur agirait alors comme un professeur avec un élève compétent, avec une supervision
minimale. Dans le chapitre 6, nous avons mis en œuvre une configuration "human-in-the-
loop" avec des générateurs de préhension récents afin d'évaluer les performances de ce
genre de processus d'apprentissage en ligne.
# Chapitre 4

## Apprentissage de la hauteur pour
les saisies de haut en bas avec le
capteur DIGIT

Ce chapitre reprend et traduit la publication :
(IEEE ICRA 2023) - Learning height for top-down grasps with the DIGIT sensor
Thais Bernardi*, Yoann Fleytoux*, Jean-Baptiste Mouret, Serena Ivaldi

**Thais Bernardi** (Stagiaire M2) a participé à la conception, à la réalisation et à l'analyse des expériences de caractérisation du capteur, a écrit le logiciel correspondant à la captation des données de celui-ci, et a préparé et révisé l'article. Elle a été co-supervisée par moi et mes encadrants.

J'ai participé à la conception et à la réalisation des expériences de caractérisation du capteur, j'ai conçu et réalisé les expériences de collecte et d'apprentissage de la hauteur des saisies, écrit le logiciel correspondant, et préparé et révisé l'article.

**Jean-Baptiste Mouret** a formulé le problème, supervisé et contribué à la conception expérimentale du travail de recherche, à la discussion et à l'interprétation des résultats, ainsi qu'à la rédaction et à la révision de l'article.

**Serena Ivaldi** a formulé le problème, supervisé et contribué à la conception expérimentale du travail de recherche, à la discussion et à l'interprétation des résultats, ainsi qu'à la rédaction et à la révision de l'article.

Nous avons examiné, dans le chapitre 3, divers générateurs de préhension fondés sur l'image tels que Dex-Net [108], GG-CNN [120], et GR-ConvNet [89]. Ces systèmes permettent d'identifier des préhensions en 4D, aussi désignées sous le terme de top-grasp.

<footnote>* Les deux premiers auteurs de l'article scientifique en question ont contribué à parts égales à la recherche et à la rédaction de l'article.</footnote>
Une préhension 4D se définit couramment par la fonction (x, y, z, θ), où (x, y, z) représente les coordonnées cartésiennes du centre de préhension et θ désigne l'orientation du préhenseur sur le plan (voir sous-section 2.1.4). Toutefois, si les composantes x et y du centre de saisie sont bien établies, la hauteur de préhension z est généralement obtenue par une méthode heuristique fondée sur la hauteur maximale déterminée par le nuage de points, comme illustré dans le chapitre 3.

Des représentations de préhension largement utilisées, telles que les rectangles orientés [75, 49] ou les cartes de préhension au niveau du pixel [4, 58, 186, 188] prennent en compte le centre de la prise, la distance entre deux mâchoires, la taille de la pince et son orientation, mais ne codent pas la hauteur de prise z. Les heuristiques pour la hauteur fonctionnent la plupart du temps, surtout lorsque les objets sont épais ou pleins, mais elles sont souvent inadéquates lorsque les objets ont des parties fines, des parties transparentes, des trous ou des formes courbes, en raison de l'erreur intrinsèque dans l'estimation de la hauteur à partir du nuage de points ou simplement de l'absence de connaissance sur ce qui se trouve derrière la surface de l'objet, ce qui nécessite le modèle 3D de l'objet. La figure 4.1 montre un exemple d'échec de saisie dans ce sens : deux générateurs de saisie de l'état de l'art, Dex-Net [108] et GPD [136], échouent à cause de la hauteur de saisie (dans un cas trop basse, dans l'autre trop haute, dans les deux cas la pince ne touche pas correctement l'objet lors de la fermeture).

Dans ce chapitre, nous abordons ce problème en proposant de prédire la meilleure hauteur de saisie à partir de l'image RGB-D, en utilisant un régresseur préalablement entraîné avec une base de données de la meilleure hauteur de saisie parmi plusieurs candidats de saisie. Nous postulons que la "meilleure hauteur de saisie" peut être apprise automatiquement à partir d'une collecte de données pilotée par capteur, où le robot tente différentes hauteurs candidates (z₀, z₁, ...) sur le même candidat de saisie 3D (x, y, θ), en utilisant les informations de contact fournies par un capteur tactile. Dans notre travail, nous avons utilisé DIGIT [92], un capteur tactile optique qui fournit une mesure de l'ellipsoïde de contact, qui s'est avéré expérimentalement être un bon prédicteur de la stabilité et du succès de la saisie. Nos expériences avec plusieurs objets montrent que la hauteur de saisie prédite améliore légèrement le succès de la saisie, de 6% globalement sur tous les objets, mais surtout, elle permet de saisir avec succès des objets qui autrement échouaient, avec une amélioration allant jusqu'à 40%.

Les principales contributions de ce chapitre sont : i) la caractérisation du capteur DIGIT, avec plusieurs expériences visant à déterminer si sa sortie peut être utilisée pour la prédiction de la stabilité de la saisie ; ii) la validation expérimentale de l'ellipsoïde de contact optique en tant que prédicteur de la stabilité et de la réussite de la saisie ; iii) la méthode permettant d'identifier le meilleur candidat à la saisie à l'aide des mesures de DIGIT, puis d'entraîner un régresseur de hauteur de saisie basé sur des patchs de saisie latents. Tous nos résultats sont le fruit de plusieurs expériences réelles avec le robot Franka équipé d'un préhenseur standard, sur lequel sont montés deux capteurs Digit (acquis auprès de GelSight).
<figure><img src="image_33.png" /><figcaption>FIGURE 4.1 – Problème typique des saisies planes : la hauteur du centre de saisie est souvent fixée par une heuristique basée sur la surface la plus haute. Si la forme de l'objet est inconnue, cela peut conduire à des saisies infructueuses. À gauche, une image en échelle de gris d'un objet générée à partir du nuage de points capturé par la caméra RGB-D montée sur l'effecteur du robot. Au centre et à droite, deux saisies descendantes générées par Dex-Net [108] et GPD [136], deux générateurs de saisie classiques. La prise de Dex-Net au centre est trop basse, l'objet n'est pas saisi par les mâchoires de la pince, tandis que la prise de GPD à droite est trop haute pour être réussie (en raison de la forme arrondie du manche, l'objet glisse et est poussé vers le bas lors de la fermeture de la pince). Sans connaissance préalable de l'objet et de son épaisseur, une mauvaise prédiction de la hauteur peut conduire à l'échec.</figcaption></figure>

## 4.1 Caractérisation du capteur DIGIT

DIGIT [92] est un capteur tactile basé sur la vision : il se compose d'une fenêtre en acrylique qui est, du côté le plus externe, recouverte d'un élastomère et, du côté interne, éclairée par trois LED de couleur (rouge, vert et bleu). Une caméra CMOS, à l'intérieur, capture la fenêtre en acrylique sous forme d'image, qui constitue la sortie du capteur.

Lorsqu'un objet appuie sur la surface du capteur, la fenêtre en acrylique se déforme et l'effet de l'objet est perceptible dans l'image de sortie.

Tous les capteurs DIGIT utilisés dans ce travail ont utilisé l'élastomère réfléchissant ; ils étaient réglés sur les configurations par défaut (acquisition d'image à 60 fps, intensité d'éclairage au maximum), sauf indication contraire. Des exemples de sorties du capteur pour différents objets sont présentés dans la figure A.10 et dans la vidéo 7. Les objets à surface plate sont les moins perçus par DIGIT et ne sont pas évidents à reconnaître à l'œil nu dans l'image de sortie (Fig. A.10(d)), contrairement aux petits objets ou aux objets avec des arêtes (a et b). Les objets courbes, lorsqu'ils sont saisis ailleurs qu'au centre, sont également moins perceptibles (c).

Pour quantifier la réponse DIGIT de tout contact avec le capteur, nous considérons

<footnote n="7">7. Vidéo disponible à l'adresse https://youtu.be/aZ1Hjaziv6Y</footnote>
<figure><img src="image_34.png" /><figcaption>FIGURE 4.2 – (a) Réponse de DIGIT en présence d’un contact avec un objet ; (b) l’ellipsoïde $\epsilon$ entourant la zone de contact, calculée par *PyTouch*.</figcaption></figure>

deux métriques. La première est $\delta P$, c’est-à-dire la somme multicanal (puisque le capteur a des canaux RGB) de la différence pixel par pixel entre la sortie d’image actuelle $P_{image}$ et une image de référence $P_{no-contact}$, obtenue lorsqu’il n’y a pas de contact :

$$ \delta P = \frac{1}{n \times m} \sum_{i=0}^{n} \sum_{j=0}^{m} (p_{i,j_{image}} - p_{i,j_{no-contact}}), $$

où $p$ est la valeur de chaque pixel dans la plage [0, 255] et les images sont de taille $n \times m$. La seconde est la surface de contact de l’objet avec le capteur. La surface de contact est calculée par la fonction *ContactArea* de la bibliothèque *PyTouch* [93], qui trouve l’ellipse englobant la surface de contact ; comme le montre la figure 4.2, $\epsilon$, la surface de contact approximée par l’ellipsoïde peut être calculée en pixels.

Afin de caractériser le comportement du capteur, nous avons effectué les tests suivants :

**Test 1 : dérive.** L’objectif est de déterminer s’il y a une dérive sur la mesure de base, c’est-à-dire celle lorsque le capteur n’est pas en contact avec un objet, afin de prévoir des procédures de re-calibration ou de réinitialisation adaptées si nécessaire. Le test consiste à collecter des données à une fréquence de 1 Hz en deux sessions distinctes de 30 et 90 minutes, sans aucun contact.

**Test 2 : sensibilité à la lumière ambiante.** Pour vérifier si l’éclairage de l’environnement modifie la sortie du capteur, nous collectons des données à une fréquence de 1 Hz lors d’une session de 2 minutes, avec trois niveaux différents d’éclairage environnemental générés artificiellement par une lampe et fixés de manière aléatoire.

**Test 3 : relation entre la sortie du capteur et la force de contact.** L’objectif est de déterminer si la sortie du DIGIT est en relation avec la force de contact. Pour simplifier, nous ne réalisons le test que pour la force normale. Pour réaliser le test, nous utilisons la pince Franka, en montant des DIGIT sur les deux «doigts», et un capteur Optoforce (modèle OMD-20-FG-100N) pour mesurer la force de contact. La première partie du test consiste à fermer la pince avec différents réglages de force et de vitesse, en utilisant l’API libfranka. Puis, la seconde consiste à fermer la pince pour saisir une épingle (celle de la Fig. A.10 (a)) de 0.005m de diamètre et 0.015m de hauteur, positionnée verticalement, son bord proche du milieu du capteur. Ce type d’objet présente des bords bien définis qui sont facilement détectés par le DIGIT.