Brevet FR3100640A1 — publié le 20210312

Procédé et dispositif de détection de bâillements d’un conducteur d’un véhicule Le procédé de détection de bâillements d’un conducteur dans un habitacle d’un véhicule, le procédé comprenant : la capture d’images d’au moins une partie du visage du conducteur, l’analyse des images capturées par un module d’analyse d’image (14) pour détecter une ouverture de la bouche du conducteur, l’enregistrement du son dans l’habitacle du véhicule à l’aide d’au moins un microphone (26), la détection d’un bâillement du conducteur par un module de détection de bâillement (36) en fonction du résultat de l’analyse d’image et de l’enregistrement des sons, une ouverture de la bouche correspondant potentiellement à un bâillement étant considérée comme un bâillement effectif si elle est effectuée en combinaison avec un niveau sonore dans l’habitacle, pendant l’ouverture de la bouche, inférieur à un seuil sonore déterminé. Figure pour l'abrégé : Figure 1 Procédé et dispositif de détection de bâillements d’un conducteur d’un véhicule La présente invention concerne un procédé de détection de bâillements du conducteur d’un véhicule, en particulier un véhicule automobile, par exemple un véhicule automobile léger. Afin de limiter le risque d’accident dû à la fatigue du conducteur d’un véhicule et au manque de vigilance qui en résulte, il est possible d’équiper le véhicule d’un dispositif de détection de l’état de fatigue du conducteur, aussi appelé « dispositif de détection de fatigue » ou « détecteur de fatigue », propre à détecter des signes de fatigue du conducteur et à alerter le conducteur en conséquence, par exemple en affichant un signal d’alerte visuel sur un tableau de bord du véhicule, en émettant un signal d’alerte sonore et/ou en générant des vibrations perceptibles par le conducteur, par exemple dans le siège du conducteur et/ou dans le volant de direction du véhicule. Il est souhaitable qu’un tel dispositif de détection de l’état de fatigue du conducteur puisse émettre les alertes de manière pertinente, pour ne pas gêner le conducteur et pour éviter que le conducteur en vienne à ignorer les alertes du fait d’un trop grand nombre d’alertes inappropriées. Un des buts de l’invention est de proposer un procédé de détection de bâillement d’un conducteur d’un véhicule qui puisse détecter un bâillement d’un conducteur de manière pertinente. A cet effet, l’invention propose un procédé de détection de bâillements d’un conducteur dans un habitacle d’un véhicule, le procédé comprenant : la capture d’images d’au moins une partie du visage du conducteur à l’aide d’un appareil de capture d’image agencé pour que chaque image inclut une représentation de la bouche du conducteur, l’analyse des images capturées par un module d’analyse d’image pour détecter une ouverture de la bouche du conducteur, l’enregistrement du son dans l’habitacle du véhicule à l’aide d’au moins un microphone, la détection d’un bâillement du conducteur par un module de détection de bâillement en fonction du résultat de l’analyse d’image et de l’enregistrement des sons, une ouverture de la bouche correspondant potentiellement à un bâillement étant considérée comme un bâillement effectif si elle est effectuée en combinaison avec un niveau sonore dans l’habitacle, pendant l’ouverture de la bouche, inférieur à un seuil sonore déterminé. La détection de l’ouverture de la bouche du conducteur par capture d’images et analyse des images capturées permet de détecter des bâillements du conducteur. La prise en compte du niveau sonore dans l’habitacle au moment de l’ouverture de la bouche permet de distinguer un bâillement d’une autre situation dans laquelle le conducteur ouvre la bouche, par exemple pour parler, crier ou chanter. Selon des modes de mise en œuvre particuliers, le procédé de détection comprend une ou plusieurs des caractéristiques optionnelles suivantes, prises individuellement ou selon toutes les combinaisons techniquement possibles : - l’appareil de capture d’image est agencé de sorte que chaque image capturée inclut les yeux du conducteur, l’analyse d’image réalisée par le module d’analyse d’image incluant la détection du clignement des yeux, et la détection de bâillements étant réalisée en outre en fonction du clignement des yeux du conducteur ; - la détection de bâillements est réalisée en fonction de la fréquence de clignement des yeux du conducteur ; - l’analyse d’image réalisée par le module d’analyse d’image comprend la détermination de la position de la tête du conducteur, la détection de bâillements étant réalisée en outre en fonction de la position de la tête du conducteur ; - il comprend la mesure du rythme cardiaque du conducteur, la détection de bâillements réalisée par le module de détection de bâillement étant réalisée en outre en fonction du rythme cardiaque du conducteur ; - il comprend la mesure d’au moins un paramètre contextuel et la détection de bâillements en outre en fonction de chaque paramètre contextuel ; - un ou plusieurs des paramètres contextuels suivants est(sont) mesuré(s) et pris en compte : l’heure, le jour, la nuit, la température, le taux d’humidité dans l’air, la luminosité ambiante, le taux de dioxyde de carbone (CO 2 ) dans l’air à l’intérieur de l’habitacle ; - l’analyse d’image réalisée par le module d’analyse d’image comprend la détection de la présence d’une main devant la bouche du conducteur, et la détection de bâillement est réalisée en outre en fonction de la présence ou non d’une main devant la bouche du conducteur ; - la main présente devant la bouche du conducteur après l’ouverture de la bouche du conducteur est interprétée comme un signe de bâillement. L’invention concerne aussi un dispositif de détection de bâillements d’un conducteur d’un véhicule comprenant un appareil de capture d’images agencé pour prendre des images d’au moins une partie du visage de conducteur incluant la bouche du conducteur, et une unité électronique de traitement de données comprenant un module d’analyse d’image et un module de détection de bâillement configurés pour mettre en œuvre un procédé de détection tel que défini ci-dessus. L’invention et ses avantages seront mieux compris à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels : - la Figure 1 est une vue schématique d’un véhicule équipé d’un dispositif de détection de bâillements d’un conducteur du véhicule ; et - la Figure 2 est diagramme illustrant schématiquement un procédé de détection de bâillements d’un conducteur mis en œuvre par le dispositif de détection de la Figure 1. Le véhicule 2 illustré sur la Figure 1 est par exemple un véhicule automobile, en particulier un véhicule léger, un véhicule de transport en commun tel qu’un bus ou un car, ou un poids lourd. En variante, le véhicule est un véhicule ferroviaire ou un aéronef. Le véhicule 2 possède un habitacle 4 dans lequel prend place un conducteur pour conduire le véhicule 2 par l’intermédiaire d’un poste de pilotage 6 comprenant par exemple un volant de direction 8. Le véhicule 2 est équipé d’un dispositif de détection 10 de bâillements du conducteur, ci-après désigné « dispositif de détection 10 ». Le dispositif de détection 10 est configuré pour la détection de bâillements du conducteur installé au poste de pilotage 6. Le dispositif de détection 10 comprend un appareil de capture d’image 12 agencé pour capturer des images contenant une représentation d’au moins une partie du visage du conducteur incluant la bouche du conducteur installé au poste de pilotage 6. L’appareil de capture d’images 12 est par exemple agencé pour capturer des images incluant une représentation de la bouche et aussi des yeux du conducteur installé au poste de pilotage 6. Dans un exemple de réalisation, l’appareil de capture d’image 12 est agencé pour capturer des images incluant une représentation de l’ensemble du visage du conducteur installé au poste de pilotage 6. L’appareil de capture d’images 12 est par exemple une caméra. En variante, l’appareil de capture d’images 12 est un appareil photographique. Le dispositif de détection 10 un module d’analyse d’images 14 configuré pour recevoir et analyser les images capturées par l’appareil de capture d’images 12. Le module d’analyse d’images 14 comprend un module de détection d’ouverture de bouche 16 configuré pour analyser les images de manière à détecter une ouverture de la bouche du conducteur. Le module de détection d’ouverture de bouche 16 est configuré pour détecter la représentation de la bouche sur les images capturées, et pour déterminer si la bouche est fermée ou ouverte. Avantageusement, le module de détection d’ouverture de bouche 16 est configuré pour déterminer des paramètres de l’ouverture de bouche, comme par exemple l’amplitude de l’ouverture de la bouche et/ou la durée d’ouverture de la bouche. Le module de détection d’ouverture de bouche 16 est par exemple configuré pour déterminer la distance entre le milieu de la lèvre inférieur et le milieu de la lèvre supérieure (amplitude verticale d’ouverture de la bouche du conducteur) et/ou la distance entre les commissures reliant la lèvre inférieure et la lèvre supérieure (amplitude horizontale d’ouverture de la bouche du conducteur). Un bâillement se caractérise généralement par une grand amplitude verticale d’ouverture de la bouche et une grande amplitude horizontale d’ouverture de la bouche. Par ailleurs, un bâillement se caractérise généralement par le maintien d’une telle ouverture de la bouche pendant une durée relativement longue, typiquement plus de 2 secondes. Le module d’analyse d’images 14 peut être configuré pour détecter d’autres évènements sur les images, par exemple pour affiner la détection des bâillements du conducteur. Le module d’analyse d’images 14 comprend en option un module de détection de clignement des yeux 18 configuré pour détecter les représentations des yeux dans les images capturées par l’appareil de prise d’images 12 et détecter les clignements des yeux. Le module de détection de clignement des yeux 18 est par exemple configuré pour détecter la fréquence de clignement des yeux du conducteur. Le clignement des yeux du conducteur, et en particulier une fréquence élevée de clignement des yeux du conducteur, est un signe de fatigue du conducteur. Le module d’analyse d’images 14 comprend en option un module de détection de position de tête 20 configuré pour détecter la position et/ou des mouvements de la tête du conducteur. La position de la tête du conducteur et ses mouvements peuvent révéler un état de fatigue du conducteur, par exemple si la tête du conducteur tend à se baisser du fait de la fatigue et que le conducteur doit régulièrement relever la tête. Le module d’analyse d’images 14 comprend en option un module de détection de main 22 configuré pour détecter la présence d’une main devant la bouche du conducteur sur les images capturées. Le module de détection de main 22 est configuré pour détecter la main sur les images capturées, et pour détecter la position de la main par rapport à la bouche, en particulier pour détecter si la main est placée devant la bouche du conducteur Le conducteur qui bâille aura tendance à mettre une main devant la bouche, alors qu’il ne le fera généralement pas s’il est en train de parler, de crier ou de chanter. En particulier, le conducteur qui bâille aura tendance à porter sa main devant sa bouche après le début du bâillement. Ainsi, la détection de l’ouverture de la bouche suivi du positionnement d’une main devant la bouche après le début de l’ouverture est un signe de bâillement. Le dispositif de détection 10 est configuré pour détecter des bâillement(s) du conducteur en fonction de sons captés dans l’habitacle 4, en particulier pendant un bâillement. Le dispositif de détection 10 comprend un microphone 24 agencé pour capter les sons dans l’habitacle 4. En option, le dispositif de détection 10 est configuré pour détecter des bâillement(s) du conducteur en fonction en outre d’au moins un paramètre physiologique du conducteur. Dans un exemple de réalisation, le dispositif de détection 10 est configuré pour détecter des bâillement(s) du conducteur en fonction du rythme cardiaque du conducteur. Le dispositif de détection 10 comprend un capteur de rythme cardiaque 26 agencé pour mesurer le rythme cardiaque du conducteur. Le capteur de rythme cardiaque 26 est par exemple disposé sur le volant de direction 8, de manière à effectuer la mesure de rythme cardiaque sur une main du conducteur par laquelle celui-ci saisit le volant de direction 8. En option, le dispositif de détection 10 est configuré pour détecter des bâillement(s) du conducteur en fonction d’un ou plusieurs paramètre(s) contextuel(s). Chaque paramètre contextuel est par exemple choisi parmi les suivants : l’heure, la température, le taux d’humidité dans l’air, la luminosité ambiante, le taux de dioxyde de carbone (CO 2 ) dans l’air de l’habitacle. Le dispositif de détection 10 comprend par exemple une horloge 28 permettant de déterminer par exemple l’heure, un capteur de température 30, un capteur d’humidité 32, un capteur de luminosité 34, et/ou un capteur de dioxyde de carbone. Le dispositif de détection 10 comprend un module de détection de bâillement 36 configuré pour détecter des bâillement(s) du conducteur en fonction de données fournies par le module d’analyse d’image 14 et des sons captés dans l’habitacle par le microphone 24. Le module de détection de bâillement 36 est par exemple configuré pour déterminer l’occurrence d’un bâillement du conducteur en cas de détection, par le module de détection d’ouverture de bouche 16, d’une ouverture de bouche ayant des caractéristiques correspondant à celles d’un bâillement (par ex. amplitude d’ouverture et/ou durée), en combinaison avec un niveau sonore dans l’habitacle capté par le microphone 24 inférieur à un seuil sonore déterminé. En d’autres termes, lorsque le module de détection de bâillement 36 identifie, par l’intermédiaire du module de détection d’ouverture de bouche 16, une ouverture de bouche qui est un bâillement potentiel, le module de détection de bâillement 36 confirme ou infirme qu’il s’agit d’un bâillement effectif en fonction du niveau sonore mesuré dans l’habitacle. En effet, en cas de bâillement potentiel détecté en combinaison avec un niveau sonore capté par le microphone 26 supérieur au seuil sonore déterminé, il est considéré qu’il ne s’agit pas d’un bâillement. Le conducteur peut par exemple être en train d’ouvrir la bouche pour parler, crier ou chanter. En cas de bâillement potentiel détecté en combinaison avec un niveau sonore capté par le microphone 26 inférieur au seuil sonore déterminé, il est considéré que le conducteur est effectivement en train de bâiller. Le niveau sonore mesuré dans l’habitacle via le microphone 26 est donc utilisé pour classifier une ouverture de bouche correspondant potentiellement à un bâillement, comme étant effectivement ou non un bâillement. En option, le module de détection de bâillement 36 est configuré pour détecter un bâillement du conducteur en fonction en outre du clignement des yeux, en particulier de leur fréquence, de la position de la tête du conducteur, d’au moins un paramètre physiologique du conducteur, par exemple le rythme cardiaque mesuré par le capteur de rythme cardiaque 26, et/ou d’au moins un paramètres contextuel, par exemple l’heure fournie par l’horloge 28, la température fournie par le capteur de température 30, le taux d’humidité fourni par le capteur d’humidité 32 et/ou la luminosité ambiante fournie par le capteur de luminosité 34. La prise en compte d’un ou plusieurs parmi ces paramètres additionnels permet d’analyser plus précisément le comportement du conducteur, et d’éviter par exemple des fausses alertes. Dans un exemple de réalisation, le seuil sonore est variable et le module de détection de bâillement 36 est configuré pour déterminer le seuil sonore (servant à confirmer ou infirmer qu’une ouverture de bouche correspondant à un bâillement potentiel est un bâillement effectif) en fonction d’un ou plusieurs parmi les paramètres additionnels précités. Dans une variante, le seuil sonore est invariable. Il est donc prédéterminé. Le dispositif de détection 10 est par exemple configuré pour émettre un stimulus ou plusieurs stimuli perceptible(s) par le conducteur lorsque le dispositif de détection 10, plus particulièrement ici le module de détection de bâillement 36, détermine que le conducteur bâille. Le dispositif de détection 10 est par exemple configuré pour l’émission d’un stimulus sonore, d’un stimulus visuel et/ou d’un stimulus tactile. Un stimulus sonore est par exemple diffusé par le dispositif de détection 10 via au moins un transducteur électro-acoustique 38, par exemple un haut-parleur d’un système audio du véhicule 2. Un stimulus sonore est par exemple un signal d’avertissement ou un message d’avertissement invitant le conducteur à faire une pause. Un stimulus visuel est par exemple diffusé par le dispositif de détection 10 via un témoin lumineux ou un écran d’affichage 40 d’un système d’info-divertissement du véhicule 2. Un stimulus visuel est par exemple un signal d’avertissement ou un message d’avertissement invitant le conducteur à faire une pause. Un stimulus tactile est par exemple communiqué par le dispositif de détection 10 via le siège du conducteur et/ou le volant de direction 8, par exemple sous la forme de vibrations générées par un générateur de vibration. Dans un exemple de réalisation, le dispositif de détection 10 comprend une unité électronique de traitement de données 42 comprenant une mémoire 44 et un processeur 46, le module d’analyse d’image 14 et/ou le module de détection de bâillement 36 étant réalisé(s) sous la forme d’application logicielles ou d’instructions de code informatique enregistrées dans la mémoire 44 et exécutable par le processeur 46. En variante, le module d’analyse d’image 14 et/ou le module de détection de bâillement 36 est(sont) réalisé(s) au sein de l’unité électronique de traitement de données 42 sous la forme d’un circuit électronique dédié ou ASIC de l’anglais « Application Specific Integrated Circuit » ou sous le forme d’un circuit logique programmable, par exemple un réseau de porte programmable in situ ou FPGA de l’anglais « Field Programmable Gate Array ». Un procédé de détection de bâillements mis en œuvre par le dispositif de détection 10 va maintenant être décrit en référence à la Figure 2. Le procédé de détection comprend une étape E1 de capture d’images incluant une représentation d’au moins une partie du visage de l’occupant incluant la bouche du conducteur, de préférence une représentation incluant la bouche et les yeux, et en particulier une représentation incluant l’ensemble du visage du conducteur. Cette étape E1 est réalisée par l’appareil de capture d’images 12 du dispositif de détection 10. Le procédé de détection comprend une étape E2 de détection d’ouverture de la bouche du conducteur par analyse des images capturées. L’étape E2 de détection de détection d’ouverture de bouche est réalisée par le module de détection d’ouverture de bouche 16. L’étape de détection d’ouverture de bouche comprend par exemple la détermination de paramètres d’ouverture de bouche, par exemple la forme de la bouche, en particulier la distance entre les lèvres et/ou de la distance entre les commissures des lèvres et/ou la durée d’ouverture de la bouche, comme indiqué précédemment. Le procédé de détection comprend une étape E3 de mesure du niveau sonore dans l’habitacle, réalisée à par exemple à l’aide du microphone 26. Le procédé de détection comprend une étape E4 de détection d’un bâillement du conducteur en fonction de la détection d’ouverture de bouche et de la mesure du niveau sonore, effectuée par exemple par le module de détection de bâillement 36. Si une ouverture de bouche correspondant potentiellement à un bâillement est détectée et que le niveau sonore est supérieur au seuil sonore déterminé, le module de détection de bâillement 36 détermine que l’ouverture de bouche détectée ne correspond pas à un bâillement du conducteur. Si une ouverture de bouche correspondant potentiellement à un bâillement est détectée et que le niveau sonore est inférieur au seuil sonore déterminé, le module de détection de bâillement 36 détermine que l’ouverture de bouche détectée est un bâillement du conducteur. En option, si le module de détection de bâillement 36 détermine que le conducteur bâille, et qu’il est donc fatigué, le module de détection de bâillement 36 peut déclencher, dans une étape E5, la génération d’un stimulus ou de plusieurs stimuli pour avertir le conducteur de son état de fatigue. En variante, pour ne pas trop perturber le conducteur, la génération d’un stimulus ou de plusieurs stimuli est déclenché, lorsque le système détecte un certain nombre d’occurrence de bâillement dans un laps de temps prédéterminé. En option, le nombre de bâillements et le laps de temps, servant à déclencher le stimulus ou les stimuli, peuvent être variables et dépendre de paramètres contextuels tels que : l’heure, le jour, la nuit, la température, le taux d’humidité dans l’air, la luminosité ambiante, le taux de dioxyde de carbone (CO 2 ) dans l’air à l’intérieur de l’habitacle. En option, le procédé de détection comprend la détection du clignement des yeux du conducteur, la détection d’un bâillement du conducteur tenant compte du clignement des yeux du conducteur, en particulier de la fréquence de clignement des yeux du conducteur. En option, le procédé de détection comprend la détection de la position de la tête du conducteur, la détection d’un bâillement du conducteur tenant compte de la position de la tête du conducteur. En option, le procédé de détection comprend la mesure du rythme cardiaque du conducteur, la détection d’un bâillement du conducteur étant réalisée en outre en fonction du rythme cardiaque du conducteur. En option, le procédé de détection comprend l’acquisition et/ou la mesure d’au moins un paramètre contextuel (heure, température, taux d’humidité, luminosité ambiante…) et la détection d’un bâillement étant réalisée en outre en fonction de chaque paramètre contextuel. Le seuil sonore déterminé utilisé pour classifier l’ouverture de bouche comme étant un bâillement ou non est invariable ou variable, par exemple en fonction d’un ou plusieurs des paramètres additionnels indiqués précédemment. Les amplitudes d’ouverture et/ou la durée d’ouverture de bouche utilisés pour détecter l’ouverture de bouche sont invariables ou variables, par exemple en fonction d’un ou plusieurs des paramètres additionnels indiqué précédemment En option, le procédé de détection comprend, lors de l’analyse d’image, la détection de la présence d’une main devant la bouche du conducteur et la détection de bâillements du conducteur en outre en fonction de la présence ou non d’une main devant la bouche du conducteur. Grâce à l’invention, il est possible de détecter un bâillement du conducteur d’un véhicule de manière fiable, par exemple pour l’avertir de son état de fatigue à bon escient, en évitant les fausses alertes qui pourraient entraîner de trop nombreuses alertes auxquelles le conducteur ne prêterait plus attention. La détection de fatigue est in fine plus efficace car elle est plus précise et mieux prise en compte par le conducteur, limitant donc efficacement les risques d’accident liés au manque d’attention dû à la fatigue du conducteur. Procédé de détection de bâillements d’un conducteur dans un habitacle d’un véhicule, le procédé comprenant : la capture d’images d’au moins une partie du visage du conducteur à l’aide d’un appareil de capture d’image (12) agencé pour que chaque image inclut une représentation de la bouche du conducteur, l’analyse de l’image capturée par un module d’analyse d’image (14) pour détecter une ouverture de la bouche du conducteur, l’enregistrement du son dans l’habitacle du véhicule à l’aide d’au moins un microphone (26), la détection d’un bâillement du conducteur par un module de détection de bâillement (36) en fonction du résultat de l’analyse d’image et de l’enregistrement des sons, une ouverture de la bouche correspondant potentiellement à un bâillement étant considérée comme un bâillement effectif si elle est effectuée en combinaison avec un niveau sonore dans l’habitacle, pendant l’ouverture de la bouche, inférieur à un seuil sonore déterminé. Procédé de détection selon la revendication 1, dans lequel l’appareil de capture d’image (12) est agencé de sorte que chaque image capturée inclut les yeux du conducteur, l’analyse d’image réalisée par le module d’analyse d’image (14) incluant la détection du clignement des yeux, et la détection de bâillements étant réalisée en outre en fonction du clignement des yeux du conducteur. Procédé de détection selon la revendication 2, dans lequel la détection de bâillements est réalisée en fonction de la fréquence de clignement des yeux du conducteur. Procédé de détection selon l’une quelconque des revendications précédentes, dans lequel l’analyse d’image réalisée par le module d’analyse d’image (14) comprend la détermination de la position de la tête du conducteur, la détection de bâillements étant réalisée en outre en fonction de la position de la tête du conducteur. Procédé de détection selon l’une quelconque des revendications précédentes, comprenant la mesure du rythme cardiaque du conducteur, la détection de bâillements réalisée par le module de détection de bâillement (36) étant réalisée en outre en fonction du rythme cardiaque du conducteur. Procédé de détection selon l’une quelconque des revendications précédentes, comprenant la mesure d’au moins un paramètre contextuel et la détection de bâillements en outre en fonction de chaque paramètre contextuel. Procédé de détection selon la revendication 6, dans lequel un ou plusieurs des paramètres contextuels suivants est(sont) mesuré(s) et pris en compte : l’heure, le jour, la nuit, la température, le taux d’humidité dans l’air, la luminosité ambiante, le taux de dioxyde de carbone (CO 2 ) dans l’air à l’intérieur de l’habitacle. Procédé de détection selon l’une quelconque des revendications précédentes, dans lequel l’analyse d’image réalisée par le module d’analyse d’image (14) comprend la détection de la présence d’une main devant la bouche du conducteur, et la détection de bâillement est réalisée en outre en fonction de la présence ou non d’une main devant la bouche du conducteur. Procédé de détection selon la revendication 8, dans lequel la main présente devant la bouche du conducteur après l’ouverture de la bouche du conducteur est interprétée comme un signe de bâillement. Dispositif de détection de bâillements d’un conducteur d’un véhicule comprenant un appareil de capture d’images (12) agencé pour prendre des images d’au moins une partie du visage de conducteur incluant la bouche du conducteur, et une unité électronique de traitement de données (42) comprenant un module d’analyse d’image (14) et un module de détection de bâillement (36) configurés pour mettre en œuvre un procédé de détection selon l’une quelconque des revendications précédentes.