Brevet FR3125155A1 — publié le 20230113

Il est décrit un dispositif de détection d’un contact physique entre les mains d’un individu et un objet, comprenant une caméra orientée de façon à permettre l’acquisition d‘images sur lesquelles l’objet est au moins partiellement visible, et un calculateur, le dispositif étant configuré pour : acquérir au moins une image, déterminer au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main de l’individu, mettre en œuvre une détection de main au sein de chaque zone d’intérêt de l’image, et si au moins une main de l’individu se trouve dans une zone d’intérêt de l’image délimitant l’objet, déterminer si un contact est établi entre ladite main de l’individu et l’objet. Figure de l’abrégé : Figure 6 Dispositif de détection d’un contact entre un individu et un objet et application à un véhicule semi-autonome La présente divulgation concerne un dispositif de détection d’un contact entre un individu et un objet, à partir du traitement d’une image sur laquelle au moins l’individu et l’objet sont visibles. Cette divulgation trouve application notamment dans la vérification du fait qu’un individu a au moins une main en contact avec un organe de contrôle d’un système tel que le volant d’une voiture. Il existe des véhicules partiellement autonomes pouvant, dans certaines phases de circulation, fonctionner selon un mode de conduite complètement autonome dans lequel le conducteur n’est plus tenu de tenir le volant, et, dans d’autres phases de circulation, être commandés par le conducteur qui doit alors tenir le volant. Lors du passage à un mode de conduite autonome à un mode de conduite non autonome, le véhicule doit d’abord s’assurer que le conducteur est prêt à reprendre le contrôle du véhicule. Dans ce contexte, le véhicule doit notamment s’assurer que le conducteur a les mains en contact avec le volant. Plusieurs systèmes proposés jusqu’à présent utilisent à cette fin des capteurs capacitifs, thermiques ou des capteurs de pression. Cependant, ces systèmes ne permettent pas de déterminer si ce sont réellement les mains du conducteur qui sont en contact avec le volant, ou s’il s’agit par exemple des mains du passager, des genoux du conducteur ou encore d’un autre objet. Ces systèmes de détection peuvent donc être induits en erreur, volontairement ou non, et générer une information fausse de détection des mains sur le volant, pouvant causer des accidents. D’autres solutions par analyse d’image ont également été proposées, comme par exemple dans les publications suivantes : Siddharth; Akshay Rangesh; Eshed Ohn-Bar; Mohan M. Trivedi, « Driver Hand Localization and Grasp Analysis ; A Vision-Based Real-Time Approach », 2016 IEEE 19 th International Conference on Intelligent Transpostation Systems. Eshed Ohn-Bar; Mohan Trivedi, “In-Vehicle Hand Activity Recognition Using Integration of Regions”, 2013 IEEE Intelligent Vehicles Symposium. Ces solutions ne sont pas entièrement fiables dans la mesure où elles ne permettent pas de déterminer avec certitude que c’est bien la main du conducteur, et non celles d’une autre personne ou un objet, qui est en contact avec le volant. Résumé La présente divulgation vient améliorer la situation. A cet égard, il est proposé un dispositif de détection d’un contact physique entre les mains d’un individu et un objet, comprenant : une caméra orientée de façon à permettre l’acquisition d‘images sur lesquelles l’objet est au moins partiellement visible, et un calculateur, le dispositif étant configuré pour : acquérir au moins une image, déterminer au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main de l’individu, mettre en œuvre une détection de main au sein de chaque zone d’intérêt de l’image, et si au moins une main de l’individu se trouve dans une zone d’intérêt de l’image délimitant l’objet, déterminer si un contact est établi entre ladite main de l’individu et l’objet. Dans des modes de réalisation, le calculateur est configuré pour traiter l’image acquise pour détecter les différentes parties du corps de l’individu visibles sur l’image. Dans des modes de réalisation, le calculateur est configuré pour détecter la position d’un point de l’image correspondant à la position de chaque poignet de l’individu dans l’image, et pour déterminer la zone d’intérêt dans laquelle se situe au moins une main de l’individu comme une zone de l’image de taille et de forme prédéterminées, et dont la position relative par rapport au point correspondant à la position d’un poignet est déterminée. Dans des modes de réalisation, le calculateur est configuré pour appliquer un réseau de neurones convolutif pour localiser chaque main au sein de chaque zone d’intérêt correspondante. Dans des modes de réalisation, le calculateur est configuré pour déterminer en outre une position relative de chaque main par rapport à l’objet parmi les positions suivantes : en contact avec l’objet, proche de l’objet, si la main est dans la zone d’intérêt de l’image délimitant de l’objet, mais sans être en contact avec l’objet, ou éloignée de l’objet, si la main est en dehors de la zone d’intérêt de l’image délimitant l’objet. Dans des modes de réalisation, le dispositif comprend en outre une mémoire stockant un masque de l’objet dans les images prises par la caméra, le masque comprenant les positions des pixels appartenant à l’objet dans les images, dans lequel le masque de l’objet comprend en outre, pour chaque pixel appartenant à l’objet dans les images prises par la caméra, une gamme de valeurs d’intensité pouvant être prises par ledit pixel, et le calculateur est en outre configuré pour : déterminer, pour l’ensemble des pixels de l’image dont les positions correspondent aux pixels du masque de l’objet dans l’image, d’une valeur d’intensité associée à chaque pixel, sélection des pixels dont la valeur d’intensité est hors de la gamme de valeurs d’intensité associée au pixel correspondant du masque de l’objet dans l’image, identifier au moins un groupe de pixels sélectionnés adjacents les uns aux autres, et pour chaque groupe de pixels identifié, déterminer, à partir de paramètres de taille et de position dudit groupe de pixels, si ledit groupe de pixels correspond à une main de l’individu et, si ledit groupe de pixels correspond à une main de l’individu, décider qu’un contact est établi entre la main de l’individu et l’objet. Dans des modes de réalisation, les paramètres de taille et de position comprennent au moins l’un des paramètres parmi le groupe suivant : centre, périmètre et aire du groupe de pixels. Dans des modes de réalisation, la caméra est embarquée dans l’habitacle d’un véhicule et orientée de façon à acquérir des images sur lesquelles au moins un organe de commande du véhicule est visible, et le dispositif est configuré pour détecter un contact entre au moins une main du conducteur et l’organe de commande du véhicule. Dans des modes de réalisation, le véhicule est de type partiellement autonome, et le dispositif est configuré pour détecter un contact entre au moins une main du conducteur et l’organe de commande du véhicule pendant un mode de fonctionnement en mode autonome du véhicule, et pour permettre un passage du véhicule en mode de fonctionnement non autonome en cas de contact détecté entre au moins une main du conducteur et l’organe de commande. Dans des modes de réalisation, le dispositif comprend un premier calculateur embarqué dans le véhicule et un calculateur distant, le calculateur distant étant configuré pour recevoir l’image acquise, pour mettre en œuvre au moins les traitements de détermination des zones d’intérêt, localisation de chaque main au sein d’une zone d’intérêt et détermination d’un contact entre une main et l’organe de commande, et pour transmettre au calculateur embarqué dans le véhicule le résultat de ladite détermination. Selon un autre objet, l’invention concerne un produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre d’étapes de : détermination, à partir d’une image sur laquelle un individu et un objet sont au moins partiellement visibles, d’au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main de l’individu, localisation de chaque main au sein de chaque zone d’intérêt de l’image, et si au moins une main de l’individu se trouve dans une zone d’intérêt de l’image délimitant l’objet, détermination d’un contact entre ladite main de l’individu et l‘objet, lorsqu’il est mis en œuvre par un calculateur. Selon un autre objet, l’invention concerne un calculateur, configuré pour mettre en œuvre, sur une image sur laquelle un individu et un objet sont au moins partiellement visibles, et où les emplacements des différentes parties du corps de l’individu visibles sur l’image sont repérées, des étapes de : détermination, à partir d’une image sur laquelle un individu et un objet sont au moins partiellement visibles, d’au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main de l’individu, localisation de chaque main au sein de chaque zone d’intérêt de l’image, et si au moins une main de l’individu se trouve dans une zone d’intérêt de l’image délimitant l’objet, détermination d’un contact entre ladite main de l’individu et l‘objet. Le dispositif de détection proposé permet de détecter un contact entre les mains d’un individu et un objet de façon fiable. En effet, les différentes parties du corps de l’individu sur l’image sont d’abord détectées afin de déterminer avec certitude une zone d’intérêt dans l’image où se situe chaque main. Une localisation précise des mains au sein de chaque zone d’intérêt est ensuite menée avant de déterminer si les mains ainsi localisées se trouvent dans une zone d’intérêt de l’image correspondant à l’objet. Dans le cas contraire, l’absence de contact entre les mains et l’objet est établi, et on peut même en déduire que les mains se trouvent relativement éloignées de l’objet. En revanche, dans le cas où une main au moins se trouve dans la zone d’intérêt de l’image correspondant à l’objet, le dispositif de détection peut immédiatement en déduire une proximité de cette main par rapport à l’objet, et déterminer ensuite si cette main est effectivement en contact avec l’objet. Ceci peut être réalisé, par exemple, par identification de pixels situés à des positions correspondant à l’objet, et dont l’intensité varie par rapport aux pixels de même position appartenant effectivement à l’objet. Si les groupes de pixels ainsi identifiés présentent une position et une taille analogue à celle des mains de l’individu, le dispositif de détection conclut à l’existence d’un contact entre les mains de l’individu et l’objet. Le dispositif proposé permet donc de déterminer de façon fiable qu’un élément en contact de l’objet et venant perturber l’apparence des pixels appartenant normalement à l’objet sur la figure correspond bien aux mains de l’individu. D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels : Fig. 1 montre un dispositif de détection selon un mode de réalisation. Fig. 2 montre un dispositif de détection selon un autre mode de réalisation. Fig. 3 représente schématiquement les principales étapes mises en œuvre par un dispositif de détection de contact entre les mains d’un individu et un objet selon un exemple de réalisation. Fig. 4 représente un exemple d’image acquise sur laquelle les parties du corps de l’individu ont été détectée. Fig. 5 représente l’image de la sur laquelle une zone d’intérêt dans laquelle se situe chaque main de l’individu a été identifiée. Fig. 6 représente l’image de la sur laquelle chaque main de l’individu a été précisément localisée au sein de chaque zone d’intérêt. Fig. 7 représente l’image de la sur laquelle un contact a été déterminé entre une main de l’individu et l’objet. Dispositif (1) de détection d’un contact physique entre les mains d’un individu et un objet, comprenant : une caméra (10) orientée de façon à permettre l’acquisition d‘images sur lesquelles l’objet est au moins partiellement visible, et un calculateur (11,12), le dispositif étant configuré pour : acquérir au moins une image, déterminer au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main de l’individu, mettre en œuvre une détection de main au sein de chaque zone d’intérêt de l’image, et si au moins une main de l’individu se trouve dans une zone d’intérêt de l’image délimitant l’objet, déterminer si un contact est établi entre ladite main de l’individu et l’objet. Dispositif (1) selon la revendication 1, dans lequel le calculateur (11,12) est configuré pour traiter l’image acquise pour détecter les différentes parties du corps de l’individu visibles sur l’image. Dispositif (1) selon la revendication précédente, dans lequel le calculateur (11,12) est configuré pour détecter la position d’un point de l’image correspondant à la position de chaque poignet de l’individu dans l’image, et pour déterminer la zone d’intérêt dans laquelle se situe au moins une main de l’individu comme une zone de l’image de taille et de forme prédéterminées, et dont la position relative par rapport au point correspondant à la position d’un poignet est déterminée. Dispositif (1) selon l’une quelconque des revendications 1 ou 2, dans lequel le calculateur (11,12) est configuré pour appliquer un réseau de neurones convolutif pour localiser chaque main au sein de chaque zone d’intérêt correspondante. Dispositif (1) selon l’une quelconque des revendications précédentes, dans lequel le calculateur (11,12) est configuré pour déterminer en outre une position relative de chaque main par rapport à l’objet parmi les positions suivantes : en contact avec l’objet, proche de l’objet, si la main est dans la zone d’intérêt de l’image délimitant de l’objet, mais sans être en contact avec l’objet, ou éloignée de l’objet, si la main est en dehors de la zone d’intérêt de l’image délimitant l’objet. Dispositif (1) selon l’une quelconque des revendications précédentes, comprenant en outre une mémoire (13) stockant un masque de l’objet dans les images prises par la caméra, le masque comprenant les positions des pixels appartenant à l’objet dans les images, dans lequel le masque de l’objet comprend en outre, pour chaque pixel appartenant à l’objet dans les images prises par la caméra, une gamme de valeurs d’intensité pouvant être prises par ledit pixel, et le calculateur (11,12) est en outre configuré pour : déterminer, pour l’ensemble des pixels de l’image dont les positions correspondent aux pixels du masque de l’objet dans l’image, d’une valeur d’intensité associée à chaque pixel, sélection des pixels dont la valeur d’intensité est hors de la gamme de valeurs d’intensité associée au pixel correspondant du masque de l’objet dans l’image, identifier au moins un groupe de pixels sélectionnés adjacents les uns aux autres, et pour chaque groupe de pixels identifié, déterminer, à partir de paramètres de taille et de position dudit groupe de pixels, si ledit groupe de pixels correspond à une main de l’individu et, si ledit groupe de pixels correspond à une main de l’individu, décider qu’un contact est établi entre la main de l’individu et l’objet. Dispositif (1) selon la revendication précédente, dans lequel les paramètres de taille et de position comprennent au moins l’un des paramètres parmi le groupe suivant : centre, périmètre et aire du groupe de pixels. Dispositif (1) selon l’une quelconque des revendications précédentes, dans lequel la caméra est embarquée dans l’habitacle d’un véhicule et orientée de façon à acquérir des images sur lesquelles au moins un organe de commande du véhicule est visible, et le dispositif est configuré pour détecter un contact entre au moins une main du conducteur et l’organe de commande du véhicule. Dispositif (1) selon l’une quelconque des revendications précédentes, dans lequel le véhicule est de type partiellement autonome, et le dispositif est configuré pour détecter un contact entre au moins une main du conducteur et l’organe de commande du véhicule pendant un mode de fonctionnement en mode autonome du véhicule, et pour permettre un passage du véhicule en mode de fonctionnement non autonome en cas de contact détecté entre au moins une main du conducteur et l’organe de commande. Dispositif selon l’une quelconque des revendications 6 ou 7, comprenant un premier calculateur (11’) embarqué dans le véhicule et un calculateur distant (12), le calculateur distant (12) étant configuré pour recevoir l’image acquise, pour mettre en œuvre au moins les traitements de détermination des zones d’intérêt, localisation de chaque main au sein d’une zone d’intérêt et détermination d’un contact entre une main et l’organe de commande, et pour transmettre au calculateur embarqué dans le véhicule le résultat de ladite détermination. Produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre d’étapes de : détermination, à partir d’une image sur laquelle un individu et un objet sont au moins partiellement visibles, d’au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main de l’individu, localisation de chaque main au sein de chaque zone d’intérêt de l’image, et si au moins une main de l’individu se trouve dans une zone d’intérêt de l’image délimitant l’objet, détermination d’un contact entre ladite main de l’individu et l‘objet, lorsqu’il est mis en œuvre par un calculateur (11, 12). Calculateur (11, 12), configuré pour mettre en œuvre, sur une image sur laquelle un individu et un objet sont au moins partiellement visibles, et où les emplacements des différentes parties du corps de l’individu visibles sur l’image sont repérées, des étapes de : détermination, à partir d’une image sur laquelle un individu et un objet sont au moins partiellement visibles, d’au moins une zone d’intérêt dans l’image dans laquelle se situe au moins une main de l’individu, localisation de chaque main au sein de chaque zone d’intérêt de l’image, et si au moins une main de l’individu se trouve dans une zone d’intérêt de l’image délimitant l’objet, détermination d’un contact entre ladite main de l’individu et l‘objet.