Brevet FR3038770A1 — publié le 20170113

- 1 - Titre : Système de surveillance de l'état de vigilance d'un opérateur Domaine de l'invention La présente invention concerne le domaine de l'analyse automatique de l'état de vigilance d'un opérateur, notamment d'un conducteur d'un véhicule automobile, ferroviaire, maritime ou aérien, ou encore d'un opérateur pilotant ou surveillant un équipement ou un site industriel, maritime ou aérien. Parmi les différentes solutions connues, l'invention concerne plus particulièrement celles basées sur l'analyse faciale pour détecter des évolutions représentatives d'une variation de l'état de vigilance ou de l'apparition de signes précurseurs de l'assoupissement. Etat de la technique On connaît dans l'état de la technique différentes 20 solutions d'analyse automatique de la vigilance à partir de la reconnaissance faciale. Le brevet US 6927694 décrit une méthode pour détecter la vigilance et vigilance de personnes dans des conditions de fatigue, manque de sommeil, et l'exposition à 25 des substances psychotropes comme l'alcool et la drogue. En particulier, l'invention peut avoir des applications particulières pour les camionneurs, chauffeurs d'autobus, opérateurs de trains, les pilotes et les contrôleurs d'engins maritimes et les opérateurs d'équipement lourd stationnaires, 30 et les étudiants et les employés au cours, soit de jour ou dans des conditions nocturnes. L'invention analyse la position de la tête d'une personne et les traits du visage avec une seule caméra à bord avec un système entièrement automatique, qui peut classer la 35 rotation de la tête, détecter l'ouverture et la fermeture de 3038770 - 2 - l'oeil et de la bouche, détecter les clignements des yeux. Les sorties peuvent être visuelle et sonore pour alarmer directement le conducteur. Le brevet FR2773521 décrit un dispositif qui met en 5 oeuvre un ensemble de capteur optoélectronique et une unité électronique, disposée à l'intérieur du véhicule automobile, le capteur étant orienté vers la tête du conducteur en place dans celui-ci en même temps que le rétroviseur intérieur qui comporte un miroir sans tain derrière lequel est disposé le 10 capteur. Ils réalisent, après détection de la présence d'un conducteur en place dans le véhicule, la cadrage d'abord du visage entier, puis des yeux, de celui-ci dans les trames du signal vidéo débité par le capteur, grâce à l'unité électronique, et ensuite la détermination des durées 15 successives des clignements des yeux, celles-ci étant comparées à un seuil compris entre une telle durée pour une personne éveillée et une telle durée pour une personne somnolente et un signal (émis par une alarme) apte à éveiller le conducteur étant déclenché lorsque la durée de ses clignements dépasse ledit seuil. La demande de brevet US20140375785 concerne un exemple de système qui peut surveiller le stress et la fatigue d'un sujet. Le système peut comprendre une source de lumière configurée pour diriger une lumière d'éclairage sur un visage du sujet. La lumière d'éclairage peut réfléchir le visage du sujet pour former une lumière réfléchie. Le système peut comprendre un processeur d'image configuré pour localiser un oeil dans les images à vitesse vidéo, extraire des signes de fatigue de l'oeil localisé, et déterminer un niveau de fatigue du sujet à partir, en partie, des signes de fatigue. Le processeur d'image peut également être configuré pour localiser une région faciale éloignée de l'oeil dans les images à vitesse vidéo, extraire des signes de stress à partir de la région faciale localisée, et déterminer un niveau de stress du sujet à partir des signes de stress. 3038770 - 3 - Inconvénients de l'art antérieur Les solutions proposées dans l'art antérieur 5 présentent un problème majeur pour une mise en oeuvre dans des équipements embarqué ayant une capacité de traitement limitée. Le traitement en temps réel d'images présentant une résolution élevée pour permettre l'extraction des informations utiles selon les méthodes de l'art antérieur nécessitent une 10 puissance de calcul importante, peu compatible avec des processeurs tels que ceux que l'on peut trouver sur un téléphone cellulaire ou un équipement embarqué. Par ailleurs, les solutions de l'art antérieur ne sont pas très robustes par rapport à la direction de la 15 captation d'image : lorsque l'opérateur tourne la tête et n'est plus en face de la caméra d'acquisition, les traitements d'analyse perdent leur efficacité. Les solutions de l'art antérieur sont très sensibles au positionnement précis de la caméra par rapport à l'opérateur. 20 Un autre inconvénient des solutions de l'art antérieur est la difficulté d'adapter et d'optimiser le traitement aux spécificités d'un opérateur donné. Même si les indices de perte de vigilance peuvent être classifiés de manière générique, un opérateur donné peut présenter des 25 différences significatives et présenter des particularités en ce qui concerne ses signes précurseurs de l'endormissement ou de baisse de vigilance. En dernier lieu, les solutions de l'art antérieur sont limitées à un traitement unipersonnel, et ne permettent 30 pas de partager des informations générales sur les risques d'assoupissement ou de pertes de vigilance en fonction du temps ou de la géolocalisation. 35 3038770 - 4 Solution apportée par l'invention Afin de remédier à ces inconvénients, la présente 5 invention concerne selon son acception la plus générale un système de surveillance de l'état de vigilance d'un opérateur comprenant : une caméra munie d'un capteur sensible dans le proche infrarouge, orientée pour acquérir une image du visage 10 occupant au moins 12% de la surface utile du capteur, un circuit de traitement en temps réel des signaux délivrés par ladite caméra, pour déterminer des points caractéristiques pour chacune desdites images et, par l'analyse desdits points caractéristiques, des 15 informations relatives à une partie au moins des indicateurs comprenant : o l'inclinaison de la tête selon trois directions orthogonales, o la position de la pupille 20 o l'ouverture de l'oeil o la configuration de la bouche un calculateur commandé par un programme déterminant l'état de vigilance en fonction desdits indicateurs et de leur évolution temporelle 25 ledit système comporte : o une première mémoire permanente pour l'enregistrement d'une pluralité de fichiers FDi obtenus par un traitement préalable sur un ensemble d'image IAi et d'indicateur de qualification de 30 l'appartenance de chacune desdites images VAi à une classe prédéterminée [vrai visage, visage qui n'en est pas un] o une deuxième mémoire permanente pour l'enregistrement d'une pluralité de fichiers FC,_ 3038770 - 5 - obtenus par un traitement préalable sur un ensemble d'images de visages Vi associées à des annotations ledit circuit de traitement réalisant une étape de localisation, dans l'image numérique délivrée par la 5 caméra, des zones correspondant au visage, par application d'un traitement de détection à partir desdits fichiers IAi ledit traitement pour déterminer des points caractéristiques par application d'un traitement de 10 détection à partir desdits fichiers Vi les informations relatives à l'état de la tête dudit opérateur comprennent des indicateurs d'inclinaison de la tête selon trois directions orthogonales. 15 Selon une variante, ledit calculateur est en outre commandé par un programme pour la détection de la direction du regard et le calcul d'un indicateur additionnel. De préférence, la fréquence d'acquisition et de 20 traitement est supérieure à 30 images par seconde. Selon un mode de mise en oeuvre avantageux, on procède à un enregistrement horodaté desdites indicateurs et en ce que l'évolution temporelle est calculée en fonction 25 desdits enregistrements, sur une plage temporelle d'au moins deux secondes. Selon une variante, il comporte un moyen d'alerte commandé à distance par ledit calculateur, activant un moyen haptique. 30 Selon un mode de réalisation particulier, le système comporte un moyen d'alerte commandé par ledit calculateur, activant un moyen sonore. 3038770 - 6 - Selon un autre mode de réalisation particulier, le système comporte un moyen d'alerte commandé par ledit calculateur, activant un moyen lumineux. 5 Selon un autre mode de réalisation particulier, le système comporte en outre des capteurs d'environnement non liés audit opérateur délivrant un signal additionnel pour le calcul de l'état de vigilance. 10 Avantageusement, le système comporte en outre au moins un capteur physiologique lié audit opérateur délivrant un signal additionnel pour le calcul de l'état de vigilance. Selon une variante, il comporte en outre des moyens 15 de transmission desdites indicateurs à un serveur, et des moyens de calcul d'une information générique [non liée à un opérateur donné] sur des zones à risque. Avantageusement il comporte en outre une troisième 20 mémoire pour l'enregistrement de données provenant d'une pluralité d'équipements extérieurs et d'un serveur, pour l'enregistrement d'informations additionnelles pour le calcul de l'état de vigilance. Selon un mode de mise en oeuvre particulier, le 25 serveur soit configuré pour recevoir en outre des données externes et pour transmettre des informations additionnelles à chaque équipement local. De préférence, il comporte en outre des moyens pour 30 transmettre à un serveur d'une partie au moins des images acquises par la caméra, afin de compléter les fichiers FC,_ Selon un mode de réalisation préféré, le système comporte en outre une source émettant dans le proche 35 infrarouge pour éclairer le visage de l'opérateur. 3038770 - 7 - Selon une autre variante avantageuse, le système comporte en outre un circuit de télépéage. Description détaillée d'un exemple non limitatif de 5 réalisation de l'invention La présente invention sera mieux comprise à la lecture de la description qui suit, concernant un exemple non limitatif de réalisation se référant aux dessins annexés où : 10 - la figure 1 représente une vue schématique de l'architecture matérielle de l'équipement - la figure 2 représente une vue schématique de l'implantation de l'équipement dans un habitacle - la figure 3 représente une vue schématique de 15 l'architecture fonctionnelle de l'équipement - la figure 4 représente une vue schématique de la nature des caractéristiques morphologiques détectées sur un visage - la figure 5 représente une vue schématique des différents 20 mouvements analysés. Architecture matérielle La figure 1 représente une vue schématique de 25 l'architecture matérielle d'un équipement embarqué utilisable dans le poste de conduite d'un véhicule automobile ou d'un car ou camion, et la figure 2 un exemple d'installation dans un habitable d'un véhicule. L'équipement (19) comprend une caméra d'acquisition 30 (1) positionnée dans l'habitacle du véhicule, face au conducteur (2), avec un léger décalage pour ne pas masquer le champ de vision. Elle peut notamment être maintenue par un bras fixé sur le tableau de bord ou sur le pare-brise. Cette caméra (1) est montée dans un boîtier 35 comprenant également une source lumineuse (3) émettant une 3038770 -8 onde dans le proche infra-rouge émettant à 850 nm. La puissance d'émission est typiquement de 100 mW par stéradian (et de préférence entre 50 et 200 mW/str). L'émission IR est continue, ou peut être modulée en fonction de l'éclairage 5 ambiant, de la fréquence d'acquisition. Le capteur d'acquisition de la caméra (1) présente une résolution de 640x480 au moins (type VGA), à une fréquence d'acquisition de 100 images par secondes. Il est associé à un filtre passe-haut avec une longueur d'onde de coupure comprise 10 entre 800 et 830 nm. L'optique de la caméra est déterminée, pour une application embarquée dans un poste de conduite automobile, pour fournir un champ de vision de 80x80cm à une distance d'un mètre. La caméra (1) peut être associée à un capteur de 15 luminosité (16) et à un support motorisé pour commander un suivi automatique des déplacements du visage. La caméra (1) est reliée à un calculateur (4) comprenant un microprocesseur (5). Ce microprocesseur (5) intègre une unité de calcul multicoeur (6) ainsi qu'un 20 processeur graphique (7), des mémoires ROM (8) et RAM ou flash (9) pour le stockage des données intermédiaires ainsi qu'un connecteur (19) pour recevoir une mémoire flash dans laquelle est enregistré le code du programme applicatif. Il intègre également de façon connue les interfaces d'entrée/sortie, la 25 gestion de l'alimentation et les couches de protocole et de sécurité. L'équipement comprend également des boutons de commande (17) et un écran de visualisation (10) formant l'interface homme-machine permettant à l'opérateur de procéder 30 aux paramétrages, et destiné également à afficher des alertes graphiques générées par le calculateur (4) ainsi que des représentations graphiques symbolisant l'état et le niveau de vigilance. Une source lumineuse extérieure, par exemple un bandeau lumineux ou un flash (14), commandé à distance par 35 l'équipement, pour compléter les informations visuelles. 3038770 - 9 - Optionnellement, le boîtier commande la visualisation d'un type d'alerte associé aux descripteurs qui ont conduit au déclenchement de cette alerte, par exemple un signal graphique symbolique de risque d'endormissement, 5 associé à une information textuelle ou vocale sur le nombre de fermeture ou de clignement des yeux ou de bâillement. Le boîtier peut déclencher, lors de l'initialisation, une séquence informative, éventuellement personnalisée en fonction des données historiques associées à 10 l'opérateur, de l'heure et/ou de la localisation, ou encore de données extérieures (température, conditions météorologiques,...). L'équipement (1) comprend également un haut-parleur (11) ou une interface commandant l'équipement de sonorisation 15 du véhicule ainsi qu'une interface (12) de type Bluetooth (nom commercial) destiné à transmettre des signaux de commande à un bracelet ou à un objet vibrant connecté (13) destiné à transmettre à l'opérateur des alertes haptiques, sous forme de vibrations. 20 L'équipement comprend encore des entrées pour des capteurs additionnels (15), par exemple un capteur d'ambiance sonore, un capteur de température ambiante, un accéléromètre, un gyroscope, les signaux de géolocalisation et de vitesse du 25 véhicule fournis par un GPS, etc. L'équipement comprend également des moyens de radiocommunication (18) pour la transmission de données vers un serveur, et la réception de données extérieures, selon un 30 protocole connu. L'alimentation est réalisée par branchement sur une prise d'accessoire du véhicule. 35 3038770 - 10 - Description fonctionnelle La figure 3 représente une vue générale de l'architecture fonctionnelle. 5 Elle comprend un premier bloc matériel (20) concernant la gestion de l'équipement (1) et de ses composants. Le second bloc (21) correspond aux traitements du flux vidéo provenant de la caméra pour l'extraction des 10 caractéristiques morphologiques CMi statiques. Ces traitements sont effectués sur des images en 256 niveaux de gris (8 bits). Le troisième bloc (22) correspond aux traitements appliqués aux caractéristiques morphologiques CMi statiques pour calculer des indicateurs dynamiques liés au visage. 15 Le quatrième bloc (23) correspond aux traitements appliqués à ces indicateurs dynamiques ainsi qu'à des données additionnels provenant de capteurs internes et optionnellement d'un serveur. Le cinquième bloc (24) correspond aux traitements 20 effectués par un serveur en fonction des données provenant d'une pluralité d'équipement pour fournir des données générales et améliorer les modèles enregistrés dans chaque équipement. 25 Le fonctionnement de l'équipement est le suivant. On dispose l'équipement (1) face à l'opérateur. L'activation de l'équipement conduit de manière connue au chargement automatique du programme enregistré dans la mémoire flash (19). 30 L'exécution du programme déclenche une première séquence de vérification et de dialogue avec l'opérateur. Au cours de cette séquence, l'équipement (1) transmet des informations vocales et textuelles, par exemple les recommandations et consignes de sécurité pour 35 l'utilisation du système. Elle permet éventuellement de 3038770 demander à l'opérateur d'accepter formellement l'utilisation, afin de respecter les dispositions réglementaires locales, notamment en ce qui concerne des questions de responsabilités ou de protection des données personnelles. 5 Cette séquence permet également de vérifier le fonctionnement des interfaces vibrantes, sonores et visuelles, de sélectionner celles que l'opérateur souhaite activer, et procéder aux réglages par exemple du niveau ou du mode de ces alertes pour le trajet. 10 Après cette séquence d'initialisation, l'équipement procède à différents traitements en temps réel. Détection des visages - bloc (21) 15 Ce traitement concerne la reconnaissance, dans les images acquises à une fréquence de 100 images par seconde, du visage dans le champ optique, pour deux finalités qui seront développées ci-après : la recherche dans une base historique des données 20 associées à un visage reconnu les traitements d'analyse morphologiques pour le calcul de l'état de vigilance. La détection du visage dans l'image acquise par la 25 caméra est réalisée selon la méthode Viola-Jones décrite par exemple dans l'article Paul Viola et Michael Jones, « Robust Real-time Face Detection », IJCV, 2004, p. 137-154. Cette étape permet d'isoler dans l'ensemble de l'image la zone contenant le visage. Cette zone représente un 30 sous-ensemble d'au moins 12% de la totalité de l'image dans le champ optique, ce qui permet de réduire la puissance de calcul nécessaire pour les traitements ultérieurs. L'étape suivante consiste à appliquer des traitements pour calculer des caractéristiques morphologiques 35 statiques du visage dans la zone délimitée précédemment. 3038770 - 12 - Ces caractéristiques morphologiques CMi illustrés par la figure 4 comprennent par exemple : les points caractéristiques de l'oeil et de la paupière, pour chacun des yeux : 5 o centre de la partie supérieure-extérieure de la paupière droite (30) o o centre de la partie supérieure-intérieur de la paupière droite (34) coin extérieur de l'oeil droit (32) 10 o coin intérieur de l'oeil droit (33) o o centre de la partie inférieure-intérieure de la paupière droite (31) centre de la pupille de l'oeil droit (35) o et différents autres points caractéristiques de 15 l'oeil les points caractéristiques de la bouche : o le coin droit de l'extérieur de la lèvre (36) o le coin gauche de l'extérieur de la lèvre (37) o le point le plus haut de l'extérieur droit de la 20 lèvre (38) o le point le plus haut de l'extérieur gauche de la lèvre (39) o le point central de l'extérieur de la lèvre supérieure (40) 25 o le point d'inflexion de la partie droite de la lèvre inférieure (41) o le point d'inflexion de la partie gauche de la lèvre inférieure (42) le coin droit de l'intérieur de la lèvre (43) 30 le coin gauche de l'intérieur de la lèvre (44) le point central sur la partie supérieure de la lèvre intérieure (45) o le point central sur la partie inférieure de la lèvre intérieure (46) o o o 3038770 - 13 - o et le cas échéant d'autres points caractéristiques des lèvres... - les points caractéristiques du nez : o la base de la cloison inter-narines du nez (47) 5 o le centre de la narine droite (48) o le centre de la narine gauche (49). Construction d'un modèle déformable 10 Le traitement effectué dans le bloc (21) est réalisé en fonction de modèles préalablement générés et enregistrées dans le mémoire ROM (8). Un exemple de traitement pour la construction du modèle déformable sera présenté plus avant. 15 Un modèle est généré à partir d'une séquence d'une pluralité d'images de visages, sur lesquels on a procédé à une caractérisation manuelle. Cette caractérisation consiste à désigner, sur chacune des images, de manière manuelle ou automatique, les 20 points caractéristiques CMi susvisés. On construit ainsi un ensemble de données (CMi, xcmi, y.) constituées par des coordonnées (x., y.) associées à leur qualificatif CMi. A partir de ces données, on construit un modèle de forme constituant un gabarit de référence. Pour chacun des 25 points caractéristiques, on définit sur ce gabarit la distribution des points issus des différents visages traités et la limite des variations. La reconnaissance de ces points caractéristiques est réalisée par une analyse en composantes principales ACP, 30 par un traitement de comparaison entre les caractéristiques CMRi sur un modèle de référence, et les décalages entre chacun des points CMi. Les étapes menant à l'obtention d'un modèle mentionné précédemment correspondent à une méthode connue, par 3038770 - 14 - exemple dans l'article « Active Appearance Models Revisited » by Iain Matthews and Simon Baker. Le traitement est basé sur l'exploitation de plusieurs modèles de visages, dont la prise de vue n'est pas 5 constante mais varie en fonction de l'orientation du visage par rapport à la caméra. Après génération du modèle, à chaque point de l'ensemble CMi est associé une position de référence et les écarts, vis-à-vis de cette position, autorisés pour que l'ensemble représente un visage humain plausible. 10 Vignettes associées au modèle déformable Ce modèle déformable est complété par des vignettes correspondant à des textures localisées autour des points 15 caractéristiques CMi représentatives du voisinage de ces points. Ces informations permettent de réaliser une validation des zones d'intérêt dans lesquelles se trouvent les points caractéristiques. On construit ainsi un modèle déformable associé aux 20 points caractéristiques CMi une vignette d'un nombre restreint de pixels entourant ces points caractéristiques. Base de référence 25 Plusieurs modèles déformables sont générés en fonction des différentes variations sur la pluralité des images exploitables (grande diversité dans les poses et expressions des visages). Ces modèles sont enregistrés dans une base de référence qui servira au traitement en temps réel 30 des images provenant de l'équipement (1). Les modèles enregistrés comprennent : - un modèle de référence de face - un modèle de référence de quart de profil gauche - un modèle de référence de quart de profil droit 35 - un modèle de référence de profil gauche 3038770 - 15 - un modèle de référence de profil droit À chaque modèle est associé son ensemble de vignettes propre. 5 Initialisation de la détection de visage Lors des premières acquisitions, le traitement va sélectionner dans la base de modèles de référence l'un des modèles qui est le plus adapté. 10 Cette sélection est effectuée par calcul d'un score de concordance entre une image acquise par l'équipement (1) et les modèles de référence enregistrés dans la base de données, pour déterminer le modèle de référence pour lequel ce score est maximisé. 15 Le calculateur exécute un traitement d'identification du visage pour rechercher de l'historique d'utilisation. En fonction de l'identité reconnue, le calculateur charge les paramètres associés au profil reconnu. Si aucun visage n'est reconnu, le calculateur charge des 20 paramètres standards, construit par apprentissage local ou étendu (à partir de données provenant d'un serveur). Traitement sur chacune images transmises par l'équipement 25 Pour une image I' on procède à une sélection de la zone contenant les informations graphiques correspondant au visage, et on applique un traitement pour identifier les points caractéristiques CM,', à partir des données du modèle de référence sélectionné. 30 L'extraction de ces points caractéristiques Clvli,, est réalisé de manière récurrente, avec une première étape de caractérisation grossière puis des étapes additionnelles de caractérisation fine et de validation des points identifiés. Les points caractéristiques CM,,, sont suivis en se 35 basant sur leur modèle déformable, leur vignette propre et les 3038770 - 16 - points à l'instant t-1 Le modèle déformable permet de placer les points à des positions moyennes et à limiter leurs déformations dans la limite d'une forme de visage plausible. Les vignettes sont utilisées pour déterminer l'emplacement 5 précis du point caractéristique, qui lui est associé, sur l'image à l'instant t. La position exacte résulte d'un calcul de corrélation entre ladite vignette et une zone de l'image proche du point caractéristique. Les étapes additionnelles consistent à vérifier la 10 cohérence de la position relative de couples de points caractéristiques, valider les points dont l'indicateur de cohérence atteint une valeur seuil et retraiter les points résiduels. Le résultat de cette étape est un ensemble de 15 points horodatés CM1,t pour l'image traitée, associés : - à un indicateur du degré de confiance, représentatif de la réalité de la qualification et de la position du point caractéristique associé - optionnellement à des données de géolocalisation 20 provenant d'un GPS. Ce traitement est réalisé de manière parallèle, pour l'ensemble des points caractéristiques, par exemple 56 points, par une exécution sur le processeur couplé GPU (7). 25 Calcul d'indicateurs statiques Ces données font l'objet d'un traitement pour calculer un indicateur représentatif : - De la position de la tête 30 - De la pose P, de tête (orientation statique selon 3 axes tangage, roulis, lacet) comme illustré par la figure 5 en fonction des points CMi, , dont le score de confiance est le plus élevé, ainsi que de l'historique de la pose de la tête pour vérifier la cohérence de la pose P. La pose P, de la tête 35 est calculée en fonction d'un modèle tridimensionnel d'un 3038770 - 17 - visage, dont les vertex sont associés aux points 2D du modèle de référence. Le modèle tridimensionnel est généré en amont et est non déformable. Ce modèle est constitué par un maillage 5 rigide, constitué par une pluralité de groupes de points (par exemple les points du maillage de la mâchoire, ou des yeux définissant la largeur et l'écartement des yeux). Les positions des points d'un groupe sont calculées lors de l'initialisation pour adapter un maillage générique prédéfini 10 à la morphologie déterminée lors des premières acquisitions d'image de l'opérateur, pour adapter ce maillage standard à la morphologie d'un opérateur particulier. Cette solution réduit significativement la puissance de calcul requise par rapport à des solutions où le 15 modèle tridimensionnel est recalculé pour chaque nouvelle acquisition d'image du visage. Ce modèle personnalisé peut être actualisé périodiquement, à une périodicité très supérieure à celle de l'acquisition, par exemple toutes les minutes ou dizaine de 20 minutes alors que la périodicité d'acquisition des images de l'ordre de la centième de secondes. Le recalcule du modèle tridimensionnel peut être activé lors de la détection répétée de discordances entre les points 2D et les points du maillage 3D projetés sur l'image 2D. 25 Ce recalcul permet d'adapter le modèle tridimensionnel au cours d'un trajet long à la morphologie du conducteur. La rétroprojection des points 2D vers 3D à l'aide de paramètres intrinsèques (par exemple distorsions radiales) et extrinsèques (par exemple matrices de rotation, translation 30 et mise à l'échelle) du système d'acquisition permet de maîtriser les propriétés de l'optique. Un autre traitement statique concerne la détermination d'un indicateur représentatif de l'état de chaque oeil (par exemple le pourcentage d'ouverture de l'oeil), 35 ainsi qu'un indicateur représentatif de la position de la 3038770 - 18 - pupille. Ce traitement consiste à réaliser un prétraitement d'image dans la zone d'intérêt autour de l'oeil ; à modéliser l'oeil et à prédire ses mouvements et sa position par rapport aux points caractéristiques (coin droit, gauche, haut, bas,...). 5 Un autre traitement statique concerne la détermination d'un indicateur représentatif de la direction du regard. Ce traitement réside au calcul du couplage entre la position de la tête et la direction du regard. 10 Un autre traitement statique concerne la détermination d'un indicateur représentatif de l'état de la bouche. Ce traitement consiste à isoler une partie de l'image dans la zone d'intérêt autour de la bouche puis à attribuer 15 une classification d'état de la bouche : neutre - discussion bâillement. Ces différents indicateurs statiques sont enregistrés sous une forme horodatée et le cas échéant géolocalisés dans une base de données locale, et sont transmis 20 périodiquement au serveur. Calcul d'indicateurs dynamiques de l'évolution temporelle des indicateurs statiques 25 Ces indicateurs statiques font l'objet de traitements pour calculer des indicateurs dynamiques d'évolution temporel, par exemple : o Nombre de clignotements des paupières 30 o Durée de fermeture des paupières o Durée de fermeture et/ou d'ouverture de la bouche o Répartition des durées du regard par catégories de zones 35 3038770 - 19 - Calcul d'un ou plusieurs indicateurs qualitatifs ou quantitatifs de l'état de vigilance-bloc (23) Les indicateurs statiques notamment la pose de la 5 tête, ainsi que les indicateurs dynamiques, sont exploités périodiquement pour calculer des indicateurs quantitatifs et/ou qualitatifs représentatifs de l'état de vigilance ou de somnolence (micro sommeil, distraction, ...), et commander le déclenchement d'alerte et d'affichage en cas de dépassement de 10 valeurs-seuil. Ces indicateur sont également transmis, sous une forme horodatée et géolocalisée, au serveur, pour permettre des traitements globaux des informations transmises par plusieurs équipements, pendant des plages de temps étendues, 15 et fournir des données tels que les périodes ou les zones générant des niveaux de perte de vigilance de somnolence atypiques. L'équipement commande également l'affichage de l'évolution de l'état de vigilance sur un écran de 20 visualisation. Ces informations visualisées peuvent être complétées par des données externes venant du serveur, pour une prédiction de zones de pertes de vigilances en fonction des données du serveur. Les données externes sont également exploitées pour 25 paramétrer les alertes et les algorithmes de calcul des indicateurs, par exemple pour adapter le niveau de sensibilité ou la fréquence de traitement. Traitements par le serveur 30 Les données provenant de plusieurs systèmes embarqués peuvent être collectées périodiquement par un serveur, de manière asynchrone par exemple, soit forme d'ensemble de données comprenant, pour un échantillonnage 35 d'instant d'acquisition : 3038770 - 20 - - les points caractéristiques calculés en sortie du bloc (21) à partir des acquises par la caméra, - les données transmises par les capteurs additionnels (GPS, accéléromètre, luminosité, température,...) 5 - l'horodatage de ces données et l'association d'un identifiant de l'opérateur - optionnellement les données brutes acquises par la caméra, et à partir desquelles les points caractéristiques ont été calculées. 10 Ces ensembles de données sont exploités sur le serveur pour trois finalités : - l'optimisation des modèles tridimensionnels et des modèles de calcul des variables de calcul - la constitution d'une base de référence des signes 15 précurseurs de la somnolence ou de l'hypovigilance - la constitution d'une base de référence des zones temporelles et géographiques où se produisent de manière répétée des pertes de vigilance. Ces informations sont retransmises périodiquement 20 aux différents équipements embarqués : - pour actualiser les modèles et variables de calcul - pour enrichir les données traitées dans des zones géographiques et à des périodes temporelles particulières, pour déclencher des alertes et/ou pour 25 paramétrer les traitements, notamment la sensibilité des traitements. Ces informations peuvent aussi être transmises à des équipements fixes, par exemple des panneaux de signalisation, dont l'état varie en fonction des données 30 transmises par le serveur, et le cas échéant de la proximité d'équipements embarqués et des signaux transmis. Apprentissage du modèle 3038770 - 21 - La constitution du modèle déformable est réalisée à un stade initial à partir d'une collection d'image fixe de visages, prises avec des personnes de morphologies différentes, dans des conditions de prise de vue différentes, 5 et des orientations différentes. A partir de ces images, on procède à un pointage automatique ou manuel, pour chacune de ces images, de chacun des points caractéristiques reconnus, de la position de la tête et de l'expression, pour construire une base 10 d'apprentissage. Cet ensemble de données fait ensuite l'objet d'un traitement statistique de type analyse en composantes principales pour construire un gabarit moyen associé à des modes de variation avec un écart type donnés pour fournir modèle numérique de détermination automatique des points 15 caractéristiques et des orientations de la tête à partir d'une image inconnue. Boîtier multifonction 20 Selon une implémentation particulière, le système selon l'invention est intégré dans un boîtier unique comprenant en outre un circuit de télépéage autoroutier. Ce boîtier est fixé sur le pare-brise en zone centrale, ou le voile de l'habitacle, dans le cône de 25 détection des équipements de télépéage. Cette position est particulièrement adaptée pour l'acquisition du visage, car l'espace séparant le boîtier ainsi positionné du conducteur est dépourvu d'éléments susceptibles de masquer le champ optique. 30 Un tel boîtier à double fonction permet d'améliorer la sécurité de l'opérateur mais aussi des autres usagers, en offrant la possibilité d'inciter un conducteur dont le système à enregistrer un taux anormalement élevé de signaux de perte de vigilance à se reposer ou à ne pas franchir un nouveau 35 tronçon de circulation. REVENDICATIONS1 - Système de surveillance de l'état de vigilance d'un opérateur (2) comprenant : une caméra (1) munie d'un capteur sensible dans le proche infrarouge, orientée pour acquérir une image du visage occupant au moins 12% de la surface utile du capteur, un circuit de traitement en temps réel des signaux délivrés par ladite caméra (1), pour déterminer des points caractéristiques pour chacune desdites images et, par l'analyse desdits points caractéristiques, des informations relatives à une partie au moins des indicateurs comprenant : o l'inclinaison de la tête selon trois directions orthogonales, o la position de la pupille o l'ouverture de l'oeil o la configuration de la bouche un calculateur commandé par un programme déterminant l'état de vigilance en fonction desdits indicateurs et de leur évolution temporelle Caractérisée en ce qui ledit système comporte : o une première mémoire permanente pour l'enregistrement d'une pluralité de fichiers FDi obtenus par un traitement préalable sur un ensemble d'image IAi et d'indicateur de qualification de l'appartenance de chacune desdites images VAi à une classe prédéterminée [vrai visage, visage qui n'en est pas un] o une deuxième mémoire permanente pour l'enregistrement d'une pluralité de fichiers FC,_ obtenus par un traitement préalable sur un ensemble d'images de visages Vi associées à des annotations 3038770 - 23 - - ledit circuit de traitement réalisant une étape de localisation, dans l'image numérique délivrée par la caméra, des zones correspondant au visage, par application d'un traitement de détection à partir desdits 5 fichiers IAi - ledit traitement pour déterminer des points caractéristiques par application d'un traitement de détection à partir desdits fichiers Vi - les informations relatives à l'état de la tête dudit 10 opérateur (2) comprennent des indicateurs d'inclinaison de la tête selon trois directions orthogonales. 2 - Système de surveillance de l'état de vigilance d'un opérateur selon la revendication 1 caractérisé en ce que 15 ledit calculateur est en outre commandé par un programme pour la détection de la direction du regard et le calcul d'un indicateur additionnel. 3 - Système de surveillance de l'état de vigilance 20 d'un opérateur selon la revendication 1 ou 2 caractérisé en ce que la fréquence d'acquisition et de traitement est supérieure à 30 images par seconde. 4 - Système de surveillance de l'état de vigilance 25 d'un opérateur selon l'une au moins des revendications 1 à 3 caractérisé en ce que l'on procède à un enregistrement horodaté desdites indicateurs et en ce que l'évolution temporelle est calculée en fonction desdits enregistrements, sur une plage temporelle d'au moins deux secondes. 30 5 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte un moyen d'alerte commandé à distance par ledit calculateur, activant un moyen haptique. 3038770 - 24 - 6 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte un moyen d'alerte 5 commandé par ledit calculateur, activant un moyen sonore. 7 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte un moyen d'alerte 10 commandé par ledit calculateur, activant un moyen lumineux. 8 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte en outre des 15 capteurs d'environnement non liés audit opérateur délivrant un signal additionnelle pour le calcul de l'état de vigilance. 9 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications 20 précédentes caractérisées en ce qu'il comporte en outre au moins un capteur physiologique lié audit opérateur délivrant un signal additionnel pour le calcul de l'état de vigilance. 10 - Système de surveillance de l'état de vigilance 25 d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte en outre des moyens de transmission desdites indicateurs à un serveur, et des moyens de calcul d'une information générique [non liée à un opérateur donné] sur des zones à risque. 30 11 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte en outre une troisième mémoire pour l'enregistrement de données provenant 35 d'une pluralité d'équipements extérieurs et d'un serveur, pour 3038770 - 25 - l'enregistrement d'informations additionnelles pour le calcul de l'état de vigilance. 12 - Système de surveillance de l'état de vigilance 5 d'un opérateur selon la revendication 10 ou 11 caractérisé en ce que le serveur soit configuré pour recevoir en outre des données externes et pour transmettre des informations additionnelles à chaque équipement local. 10 13 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte en outre des moyens pour transmettre à un serveur d'une partie au moins des images acquises par la caméra, afin de compléter les fichiers 15 FC,_ 14 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications précédentes caractérisé en ce qu'il comporte en outre une 20 source émettant dans le proche infrarouge pour éclairer le visage de l'opérateur. 15 - Système de surveillance de l'état de vigilance d'un opérateur selon l'une au moins des revendications 25 précédentes caractérisées en ce qu'il comporte en outre un circuit de télépéage.