Vision-based Human Gestures Recognition for Human-Robot Interaction. (Reconnaissance des gestes humains basée sur la vision pour l'interaction homme-robot)

Dans la perspective des usines du futur, pour garantir une interaction productive, sure et efficace entre l'homme et le robot, il est imperatif que le robot puisse interpreter l'information fournie par le collaborateur humain. Pour traiter cette problematique nous avons explore des solutions basees sur l'apprentissage profond et avons developpe un framework pour la detection de gestes humains. Le framework propose permet une detection robuste des gestes statiques de la main et des gestes dynamiques de la partie superieure du corps. Pour la detection des gestes statiques de la main, openpose est associe a la camera Kinect V2 afin d'obtenir un pseudo-squelette humain en 3D. Avec la participation de 10 volontaires, nous avons constitue une base de donnees d'images, opensign, qui comprend les images RGB et de profondeur de la Kinect V2 correspondant a 10 gestes alphanumeriques statiques de la main, issus de l'American Sign Language. Un reseau de neurones convolutifs de type « Inception V3 » est adapte et entraine a detecter des gestes statiques de la main en temps reel. Ce framework de detection des gestes est ensuite etendu pour permettre la reconnaissance des gestes dynamiques. Nous avons propose une strategie de detection de gestes dynamiques basee sur un mecanisme d'attention spatiale. Celle-ci utilise un reseau profond de type « Convolutional Neural Network - Long Short-Term Memory » pour l'extraction des dependances spatio-temporelles dans des sequences video pur RGB. Les blocs de construction du reseau de neurones convolutifs sont pre-entraines sur notre base de donnees opensign de gestes statiques de la main, ce qui permet une extraction efficace des caracteristiques de la main. Un module d'attention spatiale exploite la posture 2D de la partie superieure du corps pour estimer, d'une part, la distance entre la personne et le capteur pour la normalisation de l'echelle et d'autre part, les parametres des cadres delimitant les mains du sujet sans avoir recourt a un capteur de profondeur. Ainsi, le module d'attention spatiale se focalise sur les grands mouvements des membres superieurs mais egalement sur les images des mains, afin de traiter les petits mouvements de la main et des doigts pour mieux distinguer les classes de gestes. Les informations extraites d'une camera de profondeur sont acquises de la base de donnees opensign. Par consequent, la strategie proposee pour la reconnaissance des gestes peut etre adoptee par tout systeme muni d'une camera de profondeur. Ensuite, nous explorons brievement les strategies d'estimation de postures 3D a l'aide de cameras monoculaires. Nous proposons d'estimer les postures 3D chez l'homme par une approche hybride qui combine les avantages des estimateurs discriminants de postures 2D avec les approches utilisant des modeles generatifs. Notre strategie optimise une fonction de cout en minimisant l'ecart entre la position et l'echelle normalisee de la posture 2D obtenue a l'aide d'openpose, et la projection 2D virtuelle du modele cinematique du sujet humain. Pour l'interaction homme-robot en temps reel, nous avons developpe un systeme distribue asynchrone afin d'associer notre module de detection de gestes statiques a une librairie consacree a l'interaction physique homme-robot OpenPHRI. Nous validons la performance de notre framework grâce a une experimentation de type « apprentissage par demonstration » avec un bras robotique.