Brevet FR3149403A1 — publié le 20241206

L’invention concerne un procédé de détection de la présence d'au moins une partie d’une main d'un utilisateur devant une zone d’une image affichée sur un écran tactile embarqué dans un véhicule, le procédé comportant les étapes suivantes : - afficher (34) une image sur l’écran tactile, - capturer (36) une pluralité de données de distance à l’aide du capteur de temps de vol, - détecter (38, 42), par le modèle d’apprentissage automatique, la présence d’une partie d’une main dans une première pose prédéfinie devant la zone de l’image affichée à partir de données de distance capturées, ladite zone de l’image comportant un élement représentatif d’un bouton de commande. L’invention concerne également un système de détection associé. Figure à publier avec l’abrégé : Figure 3 Procédé et système de détection d’une main dans une zone d’une image affichée sur un écran d’un véhicule Domaine technique de l’invention L’invention concerne un procédé et un système de détection de la présence d’une main d'un utilisateur dans au moins une zone d’une image affichée sur un écran tactile embarqué dans un véhicule, en particulier dans un véhicule automobile. Etat de la technique antérieure Les écrans tactiles sont largement implémentés dans les véhicules automobiles. Ils peuvent être utilisés pour commander divers services ou équipements tels que des services de géolocalisation, des services de téléphonie ou des équipements de climatisation et/ou chauffage. Toutefois, il peut être difficile pour le conducteur de se concentrer sur sa conduite et de commander simultanément ces services ou équipements à partir de l’écran tactile. Présentation de l’invention La présente invention a pour but de proposer un procédé à faible coût permettant de détecter la présence d’une main dans au moins une zone d’une image affichée sur un écran tactile en vue de faciliter la commande de services par cet écran tactile. Avantageusement, ce procédé peut être utilisé pour mettre en valeur la zone proche de la main, faire disparaitre une partie des boutons de commande et diminuer ainsi la charge mentale sur l’utilisateur. Avantageusement, le conducteur peut donner une plus grande part de son attention à sa conduite. La mise en œuvre du procédé de détection permet une conduite plus sécurisée. La présente invention a également pour but de proposer un système de détection correspondant. La présente invention a pour objet un procédé de détection de la présence d'au moins une partie d’une main d'un utilisateur devant au moins une zone et/ou un repère d’une image affichée sur un écran tactile embarqué dans un véhicule, le procédé étant mis en œuvre par un système de détection comprenant un écran tactile, au moins un capteur de temps de vol ayant un champ de vision qui s’étend sensiblement parallèlement au plan moyen de l’écran tactile et une unité de traitement comportant un modèle d’apprentissage automatique, l’unité de traitement étant propre à réceptionner des données de distance générées par le capteur de temps de vol, l’unité de traitement étant adaptée pour transmettre au moins une image à l’écran tactile, le procédé comportant les étapes suivantes : - afficher au moins une image sur l’écran tactile, - capturer une pluralité de données de distance à l’aide du capteur de temps de vol, - détecter, par le modèle d’apprentissage automatique, la présence d’au moins une partie d’une main dans une première pose prédéfinie devant au moins une zone et/ou un repère de l’image affichée sur l’écran tactile à partir des données de distance capturées, ladite zone et/ou ledit repère de l’image comportant un élement représentatif d’un bouton de commande. Les caractéristiques exposées dans les paragraphes suivants peuvent, optionnellement, être mises en œuvre. Elles peuvent être mises en œuvre indépendamment les unes des autres ou en combinaison les unes avec les autres : - Le procédé comprend une phase d’apprentissage est adaptée pour entraîner le modèle d’apprentissage automatique ; la phase d’apprentissage comportant les étapes suivantes : - définir des zones et/ou des repères sur au moins une image, - afficher ladite au moins une image sur l’écran tactile, - pour chaque zone et/ou repère, capturer une pluralité de données de distance à l’aide du capteur de temps de vol , lesdites données de distance étant représentatives d’au moins une partie d’une main dans la première pose prédéfinie, ladite au moins une partie d’une main étant située à différents emplacements par rapport aux zones et/ou repères définies sur l’image affichée, et - pour chaque zone et/ou repère, entrainer le modèle d’apprentissage automatiqueà partir de la pluralité de données de distance capturées pour associer lesdites zones et/ou repères aux données de distance capturées lorsque la au moins une partie d’une main est dans la première pose prédéfinie. le procédé comporte en outre les étapes suivantes : - sur détection de la présence d’au moins une partie d’une main dans la première pose prédéfinie, traiter ladite au moins une image affichée pour mettre en valeur une partie de l’image comprenant ou adjacente à la zone et/ou au repère associé aux données de distance capturées, et - afficher ladite au moins une image traitée sur l’écran tactile. - La première pose prédéfinie est représentative d’un index droit et d’autres doigts repliés vers une paume. L’étape de traitement d’une partie de l’image comporte au moins un traitement parmi un agrandissement d’une partie de l’image, une mise en relief d’une partie de l’image, une illumination d’une partie de l’image et une disparition d’une partie complémentaire de l’image. - Le au moins un capteur de temps de vol est disposé adjacent à un bord de l’écran tactile, le champ de vision du capteur de temps de vol s’étendant devant l’écran tactile. La phase d’apprentissage comporte en outre les étapes suivantes : - pour chaque zone et/ou repère, capturer une pluralité de données de distance à l’aide du capteur de temps de vol ; lesdites données de distance étant représentatives d’au moins une partie d’une main dans une deuxième pose prédéfinie, ladite au moins une partie d’une main étant située à différents emplacements par rapport aux zones et/ou repères définies sur l’image affichée, - pour chaque zone et/ou repère, entrainer le modèle d’apprentissage automatique à partir de la pluralité de données de distance capturées pour associer lesdites zones et/ou repères aux données de distance capturées lorsque la au moins une partie d’une main est dans la deuxième pose prédéfinie. La deuxième pose prédéfinie est représentative d’une paume et de doigts droits. La deuxième pose prédéfinie est représentative d’une paume et de doigts repliés. La présente invention concerne également un système de détection propre à être embarqué dans un comprenant un véhicule en particulier un véhicule automobile, le système comportant : - un écran tactile propre à afficher au moins une image, - au moins un capteur de temps de vol apte à capturer une pluralité de données de distance, le capteur de temps de vol étant disposé adjacent à un bord de l’écran tactile, le capteur de temps de vol ayant un champ de vision qui s’étend sensiblement parallèlement au plan moyen de l’écran tactile, et - une unité de traitement propre à réceptionner des données de distance générées par le capteur de temps de vol, l’unité de traitement étant adaptée pour transmettre au moins une image à l’écran tactile, l’unité de traitement comportant un modèle d’apprentissage automatique adapté pour détecter la présence d’au moins une partie d’une main dans une première pose prédéfinie devant au moins une zone et/ou un repère de l’image affichée sur l’écran tactile à partir des données de distance capturées, ladite zone et/ou ledit repère de l’image comportant un élement représentatif d’un bouton de commande. Brève description des figures est une vue schématique d’un système de détection selon l’invention ; est un organigramme représentant des étapes d’une phase d’apprentissage d’un procédé de détection selon l’invention ; est un organigramme représentant des étapes du procédé de détection selon l’invention ; est une vue schématique représentant des zones et/ou repère d’une image affichée sur un écran d’affichage. est une vue schématique d’une main dans une première pose prédéfinie ; est une vue schématique d’un exemple d’une main dans une deuxième pose prédéfinie ; et est une vue schématique d’un autre exemple d’une main dans une deuxième pose prédéfinie. Description détaillée de l’invention Un exemple d’un système de détection 2 selon l’invention a été représenté schématiquement sur la . Ce système est adapté pour mettre en œuvre le procédé de détection selon l’invention. Ce système de détection 2 est embarqué dans un véhicule, de préférence dans un véhicule automobile. Ce système de détection 2 comporte un écran tactile 4, un capteur de temps de vol 6 et une unité de traitement 10 connectée à l’écran tactile et au capteur de temps de vol. Généralement, l’écran tactile est situé sur la partie haute de la console centrale du véhicule. L’écran tactile est par exemple un écran plasma ou un écran à cristaux liquides. Le capteur de temps de vol 6 est disposé adjacent à un bord 7 de l’écran tactile tel que par exemple le bord inférieur, le bord latéral ou le bord supérieur. Il présente un champ de vision 8 qui s’étend sensiblement parallèlement au plan moyen de l’écran tactile. En particulier, le champ de vision du capteur de temps de vol s’étend devant l’écran tactile. Le capteur de temps de vol 6 comporte une diode électroluminescente propre à émettre un rayonnement dans le champ de vision, un capteur adapté pour réceptionner le rayonnement réfléchi par une main ou une partie d’une main située dans le champ de vision et un processeur capable de calculer la distance entre la main et le capteur. Le capteur de temps de vol 6 est propre à délivrer des données de distance qui sont transmises à l’unité de traitement. Le rayonnement émis est par exemple un rayonnement infra-rouge. Un capteur comprenant 16 pixels peut par exemple être utilisé. L’unité de traitement 10 est constituée par un processeur ou un microprocesseur. L’unité de traitement 10 comprend une mémoire 12 et un modèle d’apprentissage automatique 14. Le modèle d’apprentissage automatique est appelé « machine learning » en anglais. La mémoire 12 du dispositif d’affichage embarqué comprend une mémoire à accès aléatoire, notée RAM et une mémoire morte notée ROM. La mémoire 12 est propre à stocker des images 16 et des instructions pour mettre en œuvre le procédé de détection selon la présente invention, lorsque ces instructions sont exécutées par le processeur. Le modèle d’apprentissage automatique 14 est basé sur un ou plusieurs types de modèles connus l’homme du métier, comme les réseaux de neurone, XGBoost®, SVM® et K-means®. L’unité de traitement 10 est adaptée pour transmettre au moins une image à l’écran tactile. En particulier, l’unité de traitement est adaptée pour transmettre au moins une image représentative d’un tableau de commande comportant plusieurs éléments 15 illustrant des boutons de commande ou des images permettant de commander ou de sélectionner des équipements ou des services. En variante, le système de détection 2 peut comporter plusieurs capteurs de temps de vols. Le procédé de détection débute par une phase d’apprentissage illustrée sur la . Cette phase d’apprentissage comporte une étape 20 au cours de laquelle des zones 18 et/ou des repères 22 sont définies par l’unité de traitement sur une image destinée à être affiché sur l’écran tactile. Un exemple d’une telle image 16 a été représentée sur la . Cette image représente différents éléments 15 illustrant des boutons de commande ou des images d’actionnement. Dans cet exemple, dix zones 18 ont été définies sur l’image. Sur l’exemple illustré, ces zones 18 forment des bandes horizontales. Sur la cinquième zone, cinq repères 22 ont également été définis. Au cours d’une étape 24, l’image est affichée sur l’écran tactile, Au cours d’une étape 26, une main agencée selon une première pose est positionnée dans une zone 18 et des données de distance sont capturées à l’aide du capteur de temps de vol. Avantageusement, la première pose a été définie d’une part pour augmenter la fiabilité du procédé de détection et d’autre part afin que le procédé de détection détecte uniquement une réelle volonté de l’utilisateur de faire une commande. Ainsi, si l’utilisateur positionne par hasard sa main dans le champ de vision 8 dans une autre position que la première pose définie, le procédé de détection ne détectera pas la main de l’utilisateur. Ainsi, avantageusement, le procédé de détection détecte une intention de faire une commande sur l’écran tactile. La première pose est prédéfinie. Par exemple, la première pose de la main est représentative d’un index droit et d’autres doigts repliés vers une paume, comme illustrée sur la . L’étape 26 est répétée pour différentes orientations et différents emplacement de la main devant la zone 18. L’étape 26 est également répétée pour des mains différentes présentant notamment des tailles ou des morphologies différentes. Les différentes mains sont toutes dans la première pose. De préférence, les données de distance sont également être capturées pour toutes les orientations, emplacements et mains de tailles différentes pour chaque repère 22 à l’intérieur d’une zone donnée. Au cours d’une étape 28, le modèle d’apprentissage automatique 14 est entrainé à partir de la pluralité de données de distance capturées pour associer lesdites zones et éventuellement repères aux données de distance capturées lorsque une main ou une partie d’une main est dans la première pose prédéfinie. De préférence, la phase d’apprentissage comporte en outre des étapes 30 et 32. Aucours d’une étape 30, une main ou une partie de main est agencée devant l’image dans une une deuxième pose et des données de distance sont capturées à l’aide du capteur de temps de vol. Des données de distance sont capturées pour différentes orientations et différents emplacements de la main devant l’image 16. Des données de distance sont également capturées pour des mains différentes. Les différentes mains sont toutes dans la deuxième pose. La deuxième pose est par exemple représentative d’une paume et de doigts droits, comme illustré sur la . La deuxième pose peut également être représentative d’une paume et de doigts repliés, comme illustré sur la . Au cours d’une étape 32, le modèle d’apprentissage automatique 14 est entrainé à partir de la pluralité de données de distance capturées pour associer la deuxième pose prédéfinie aux données de distance capturées. Avantageusement, le modèle d’apprentissage automatique 14 est entrainé pour ne pas détecter une volonté de commander l’écran tactile lorsque la mains est dasn la deuxième pose prédéfinie. La pahse d’apprentissage est alors terminé. En référence à la , le procédé de détection débute par une étape 34 au cours de laquelle une image 26 est affichée sur l’écran tactile 4. Puis, au cours d’une étape 36, des données de distance sont capturées par le capteur de temps de vol. Les données de distance sont transmises au modèle d’apprentissage automatique 14 de l’unité de traitement 10. Au cours d’une étape 38, le modèle d’apprentissage automatique 14 analyse les données de distance réceptionnées. Si le modèle d’apprentissage automatique 14 ne détecte pas la présence d’une main ou d’une partie de main dans la première pose prédéfinie devant une zone 18 et/ou un repère 22 de l’image affichée sur l’écran tactile, le procédé retourne à l’étape 34, au cours d’une étape 40. Si le modèle d’apprentissage automatique 14 détecte la présence d’une main ou d’une partie de main dans la deuxième pose prédéfinie devant une zone 18 et/ou un repère 22 de l’image affichée sur l’écran tactile, le procédé retourne également à l’étape 34. Si le modèle d’apprentissage automatique 14 détecte la présence d’une main ou d’une partie de main dans la première pose prédéfinie devant une zone 18 et/ou un repère 22 de l’image affichée sur l’écran tactile, le procédé se poursuit par une étape 42. Au cours de l’étape 42, l’unité de traitement 10 traite l’image affichée pour mettre en valeur une partie de l’image comprenant ou adjacente à la zone et/ou au repère associé aux données de distance capturées. En particulier, une partie de l’image comportant l’élément 15 représentatif d’un bouton de commande est mis en valeur. Cette étape de traitement d’une partie de l’image peut par exemple consister en un agrandissement d’une partie de l’image ou une mise en relief d’une partie de l’image ou une illumination d’une partie de l’image ou encore une disparition de l’autre partie de l’image. Cette étape de traitement peut également consister dans le fait de rechercher une partie d’image enregistrée dans la mémoire 12 comportant un des traitements mentionnés ci-dessus. Au cours de l’étape 44, l’image traitée 16 est affichée sur l’écran tactile. En variante, les données de distance peuvent également être capturées pour toutes les positions, orientations, emplacements et mains de tailles différentes uniquement pour chaque repère 22 . Procédé de détection de la présence d'au moins une partie d’une main d'un utilisateur devant au moins une zone (18) et/ou un repère (22) d’une image (16) affichée sur un écran tactile (4) embarqué dans un véhicule, le procédé étant mis en œuvre par un système de détection (2) comprenant un écran tactile (4), au moins un capteur de temps de vol (6) ayant un champ de vision (8) qui s’étend sensiblement parallèlement au plan moyen de l’écran tactile et une unité de traitement (10) comportant un modèle d’apprentissage automatique (14), l’unité de traitement étant propre à réceptionner des données de distance générées par le capteur de temps de vol, l’unité de traitement étant adaptée pour transmettre au moins une image à l’écran tactile, le procédé comportant les étapes suivantes : - afficher (34) au moins une image sur l’écran tactile, - capturer (36) une pluralité de données de distance à l’aide du capteur de temps de vol, - détecter (38, 42), par le modèle d’apprentissage automatique (14), la présence d’au moins une partie d’une main dans une première pose prédéfinie devant au moins une zone (18) et/ou un repère (22) de l’image affichée sur l’écran tactile à partir des données de distance capturées, ladite zone et/ou ledit repère de l’image comportant un élement (15) représentatif d’un bouton de commande. Procédé de détection selon la revendication 1, dans lequel le procédé comprend une phase d’apprentissage est adaptée pour entraîner le modèle d’apprentissage automatique (14) ; la phase d’apprentissage comportant les étapes suivantes : - définir (20) des zones (18) et/ou des repères (22) sur au moins une image (16), - afficher (24) ladite au moins une image (16) sur l’écran tactile, - pour chaque zone et/ou repère, capturer (26) une pluralité de données de distance à l’aide du capteur de temps de vol , lesdites données de distance étant représentatives d’au moins une partie d’une main dans la première pose prédéfinie, ladite au moins une partie d’une main étant située à différents emplacements par rapport aux zones et/ou repères définies sur l’image affichée, et - pour chaque zone et/ou repère, entrainer (28) le modèle d’apprentissage automatique (14) à partir de la pluralité de données de distance capturées pour associer lesdites zones et/ou repères aux données de distance capturées lorsque la au moins une partie d’une main est dans la première pose prédéfinie. Procédé de détection selon l’une quelconque des revendications 1 et 2, dans lequel le procédé comporte en outre les étapes suivantes : - sur détection de la présence d’au moins une partie d’une main dans la première pose prédéfinie, traiter (42) ladite au moins une image affichée pour mettre en valeur une partie de l’image comprenant ou adjacente à la zone et/ou au repère associé aux données de distance capturées, et - afficher (44) ladite au moins une image traitée sur l’écran tactile. Procédé de détection selon l’une quelconque des revendications 1 à 3, dans lequel la première pose prédéfinie est représentative d’un index droit et d’autres doigts repliés vers une paume. Procédé de détection selon l’une quelconque des revendications 3 et 4, dans lequel l’étape de traitement (42) d’une partie de l’image comporte au moins un traitement parmi un agrandissement d’une partie de l’image, une mise en relief d’une partie de l’image, une illumination d’une partie de l’image et une disparition d’une partie complémentaire de l’image. Procédé de détection selon l’une quelconque des revendications 1 à 5, dans lequel le au moins un capteur de temps de vol (6) est disposé adjacent à un bord (7) de l’écran tactile (4), le champ de vision (8) du capteur de temps de vol s’étendant devant l’écran tactile. Procédé de détection selon la revendication 2, dans lequel la phase d’apprentissage comporte en outre les étapes suivantes : - pour chaque zone et/ou repère, capturer une pluralité de données de distance à l’aide du capteur de temps de vol ; lesdites données de distance étant représentatives d’au moins une partie d’une main dans une deuxième pose prédéfinie, ladite au moins une partie d’une main étant située à différents emplacements par rapport aux zones et/ou repères définies sur l’image affichée, - pour chaque zone et/ou repère, entrainer le modèle d’apprentissage automatique à partir de la pluralité de données de distance capturées pour associer lesdites zones et/ou repères aux données de distance capturées lorsque la au moins une partie d’une main est dans la deuxième pose prédéfinie. Procédé de détection selon la revendication 7, dans lequel la deuxième pose prédéfinie est représentative d’une paume et de doigts droits. Procédé de détection selon la revendication 7, dans lequel la deuxième pose prédéfinie est représentative d’une paume et de doigts repliés. Système de détection (2) propre à être embarqué dans un comprenant un véhicule en particulier un véhicule automobile, le système comportant / - un écran tactile (4) propre à afficher au moins une image (16), - au moins un capteur de temps de vol (6) apte à capturer (36) une pluralité de données de distance, le capteur de temps de vol étant disposé adjacent à un bord (7) de l’écran tactile (4), le capteur de temps de vol ayant un champ de vision (8) qui s’étend sensiblement parallèlement au plan moyen de l’écran tactile, et - une unité de traitement (10) propre à réceptionner des données de distance générées par le capteur de temps de vol, l’unité de traitement étant adaptée pour transmettre au moins une image à l’écran tactile, l’unité de traitement (10) comportant un modèle d’apprentissage automatique (14) adapté pour détecter (38, 42) la présence d’au moins une partie d’une main dans une première pose prédéfinie devant au moins une zone (18) et/ou un repère (22) de l’image affichée sur l’écran tactile à partir des données de distance capturées, ladite zone et/ou ledit repère de l’image comportant un élement (15) représentatif d’un bouton de commande.