Brevet FR3098389A1 — publié le 20210115

Description Titre de l'invention : Dispositif et Procédé d'analyse du com- portement d'un sujet Domaine technique [0001] L'invention concerne le domaine de l'analyse du comportement, et propose un dispositif et un procédé permettant une analyse du comportement d'un sujet ou des membres d'un équipage, notamment un équipage à bord d'une plateforme aéronautique. Etat de la technique [0002] Il apparait dans de nombreux domaines industriels et en particulier dans le domaine de l'aéronautique, un besoin nouveau de pouvoir mesurer et analyser l'état et le comportement d'un sujet ou d'un équipage au cours de sa mission, non plus dans un objectif de recherche et d'expérimentation sur le comportement humain, mais dans un objectif d'amélioration de la réalisation de la mission opérationnelle - amélioration de la sécurité, adaptation à la situation opérationnelle - et pouvant également se décliner dans une utilisation pour des phases de formation et d'entraînement - sélection, mesure de l'apprentissage, adaptation de l'exercice aux réactions et comportement de l'équipage. [0003] Ce besoin n'était pas abordé jusqu'à présent avec les mêmes objectifs, il s'agissait principalement de faire des mesures sur les sujets (équipage) puis dans une phase de dépouillement postérieure à l'acquisition des mesures utilisant des capteurs physiologiques, de réaliser une analyse des états et comportements, l'approche étant plus axée sur un travail scientifique que sur une exploitation opérationnelle immédiate. Les solutions de ces approches existantes se caractérisent essentiellement par : - un traitement hors temps-réel de l'analyse du comportement, réalisé lors d'une phase de dépouillement postérieure aux acquisitions, ces dernières étant effectuées dans un contexte de recherche (à des fins d'étude) et non intégrées dans un processus opérationnel ; - une capture des données centrée sur un type de capteur et ne couvrant pas un spectre plus important de données physiologiques, rendant plus difficile la corrélation des données et limitant la robustesse de l'évaluation ainsi que le niveau de fausse-alarme ; - une captation des mesures sans processus de synchronisation intégré au niveau de l'acquisition, rendant plus difficile l'exploitation et l'analyse ; - l'absence de prise en compte de l'environnement et de contextualisation des informations physiologiques mesurées, apportant un risque accru d'erreur 2 d'interprétation ou de mauvaise compréhension de la situation, la capture et le traitement étant centrés uniquement sur les aspects physiologiques de l'équipage. [0004] Ce besoin nouveau rend nécessaire la maitrise de la mesure, du contrôle, du traitement, de la restitution (à un tiers, à un système) de l'état et du comportement de l'équipage, dans un contexte de temps-réel ou quasi-réel. La mesure doit être prise en compte dans un processus qui réagira à cet état et ce comportement qualifié et influera sur l'environnement de la mission, que celle-ci soit réelle (effective et opérationnelle) ou simulée (formation et entraînement). [0005] La difficulté consiste à concevoir un procédé et un système aptes à mesurer et traiter des données caractéristiques d'un environnement opérationnel et des données d'un équipage dans cet environnement aux fins d'une contextualisation. Le procédé et le système doivent être en mesure de fournir une restitution des résultats des traitements dans un cycle court en temps-réel ou quasi-réel, soit en circuit ouvert dit « boucle ouverte » à destination d'un tiers observateur, tel un instructeur pour des fins de formation et d'entraînement, soit en circuit fermé dit « boucle fermée » à destination d'un système de gestion de la plateforme pilotée par l'équipage, pour des fins d'aide à l'accomplissement de la mission en fonction de la situation tant de l'équipage que de son environnement. [0006] La solution attendue doit pouvoir opérer à la fois dans un contexte opérationnel réel, i.e. à bord d'une plateforme pilotée réelle, ou dans un contexte opérationnel simulé, i.e. à bord d'une simulation de la plateforme pilotée. La solution doit de plus pouvoir être modulable et évolutive pour tenir compte d'une part de l'évolution technologique - capteurs, traitements - à intégrer au fur et à mesure pour apporter une meilleure finesse (précision, segmentation) et une meilleure robustesse des résultats, et tenir compte d'autre part de l'adaptation au domaine et à l'objectif opérationnel à couvrir (choix des composants et des traitements). [0007] Les principales approches connues sont des travaux menés dans le domaine au- tomobile sur des systèmes de suivi, étudiant la fatigue, l'endormissement du conducteur, la position du véhicule sur la voie. [0008] Le document de référence WP9 « Crew Monitoring » issu du projet européen 7ePCRD ACROSS regroupe différents aspects de suivi d'équipage dans les versions suivantes : -WP9.2 "Crew status characterization for Crew Monitoring system" ACROSSWP9-DAV-TECH-DEL-0002-D9.2.1; -WP9.3 "Specifications for operational Crew Monitoring System- ACROSSWP9-DAV-TECH-DEL-0003-D9.3.1; -WP9.3 "Specifications for a Demonstration Crew Monitoring System'. ACROSSWP9-DAV-TECH-DEL-0003-D9.3.2; 3 - WP9.5 -Synthesis of evaluation / dcmonstration results ACROSSWP9-DAV-TECH-DEL-0006-D9.5-2; - WP9.5 -Recommendations for architecture and technologies" ACROSSWP9-DAV-TECH-DEL-0005-D9.5-3. [0009] Les inconvénients des solutions existantes sont entres autres : - elles ne prennent pas en compte les données d'environnement (données non physiologiques), ce qui empêche de contextualiscr ces mesures et ainsi de limiter les possibilités de détecter des incohérences, d'éliminer de mauvaises interprétations d'état et de comportement et de préciser ceux-ci, ce qui permettrait d'améliorer le taux de fausse-alarme et la robustesse des résultats obtenus ; - elles ne généralisent, ne systématisent et ne concentrent pas l'acquisition des données issues à la fois des capteurs et des plateformes pilotées et conduites au travers d'un bus d'acquisition standard offrant les services de connexion/déconnexion, de synchronisation, ce qui permettrait de connecter tout système fournissant de l'information et ainsi de rnutualiscr cette information exploitable ; - elles ne fournissent pas un cadre qui permette d'associer et d'enchaîner les traitements d'analyse et de production de restitution (vue de contrôle et d'analyse) dans une exploitation temps-réel ou quasi-réel des données, qui permette aux observateurs ou au système de réagir dans l'instant à l'état et au comportement interprété. La présente invention propose de répondre aux besoins précités et pallier les inconvénients décrits. Résumé de l'invention [0010] Un objet de la présente invention est de proposer une solution d'analyse du com- portement d'un sujet (équipier ou équipage) qui offre : - une approche multi-capteurs permettant de capturer simultanément plusieurs grandeurs physiologiques à des tins de renforcement de la robustesse et de réduction du taux de fausse-alarme ; - la prise en compte de données d'environnement (issues de la plateforme pilotée-conduite) à l'instar des données et paramètres physiologiques issus de capteurs associés au sujet (ou à l'équipage) ; - des moyens de synchroniser tous les paramètres d'acquisition de données quelle que soit leur origine (capteur, platefonne pilotée/conduite, évaluation subjective) ou leur nature (paramètre, vidéos, audios, etc.) afin de pouvoir les corréler, les superposer à des fins de contrôle, d'analyse et de traitement ; - un cadre qui permette d'intégrer, de relier, de composer, des modèles de traitement d'analyse et de restitution adaptés au besoin et à l'exploitation recherchée ; - un fonctionnement temps-réel ou quasi-réel des différents composants assurant l'acquisition, le contrôle le traitement, l'enregistrement et la restitution des données. [0011] Un autre objet de la présente invention est de proposer une solution qui permette : - la capture et la mesure de l'état et du comportement des membres d'équipage, au travers de différents capteurs, en gérant la problématique de l'interfaçage de différents capteurs, la synchronisation et la datation des données acquises, leur enregistrement et la possibilité de les rejouer de manière synchronisée ; - l'analyse de l'état et du comportement des membres d'équipage afin de détecter et de déterminer des caractéristiques physiologiques et cognitives telles que l'incapacité, la charge de travail, la conscience de la situation, le niveau d'apprentissage, etc. en gérant la contrainte fondamentale d'un fonctionnement en temps-réel ou quasi-réel permettant d'insérer le système dans une boucle de réaction en interface avec l'équipage, avec des observateurs de l'équipage, voire avec un système gérant l'environnement dans lequel évolue l'équipage. De plus la solution aborde la problématique d'adapter les modèles aux différentes exploitations possibles, de pouvoir composer les modèles et fusionner leurs résultats, de pouvoir contextualiser (prise en compte de l'environnement) les informations afin d'améliorer la robustesse et la justesse des résultats obtenus. - le suivi et la restitution des données mesurées et des résultats d'analyse en gérant la problématique de fournir en temps-réel ou quasi-réel des informations pertinentes à la réussite de la mission qu'elle soit opérationnelle (informations vers les opérateurs, vers les systèmes opérationnels) ou de formation et d'entraînement (information vers les instructeurs, formateurs, etc.). [0012] L'invention trouvera une application avantageuse dans les domaines où il est né- cessaire de suivre ou contrôler un équipage, une équipe de conduite d'une plateforme (aéronautique, terrestre, ferroviaire, énergétique, etc.) tant dans un contexte opérationnel réel (en opération), que dans un contexte opérationnel simulé (en formation ou en entraînement). [0013] Les applications privilégiées concernent l'étude et le suivi d'un équipage (« Crew Monitoring » en anglais) de plateforme (véhicule, système, etc.) tant dans un contexte simulé (simulateur) que dans un contexte réel (par exemple avion réel en vol). Ces applications permettent une exploitation pour : - la sélection des équipages car c'est un moyen d'évaluation de l'aptitude des membres d'équipage à réaliser une mission en fonction des conditions opérationnelles proposées. La sélection peut porter sur une sélection initiale de pilotes d'hélicoptère pour un opérateur de flotte, une sélection pour progression ou conversion de type des pilotes d'hélicoptère. - la formation et l'entraînement des équipages car c'est un moyen d'évaluation de la performance d'un équipage, de son niveau d'apprentissage et de sa maîtrise de la mission, ainsi que de sa marge de progression. Il peut s'agir de la formation et l'entraînement des pilotes d'hélicoptère sur simulateur, de la formation et l'entraînement des opérateurs de système de contrôle embarqué, de la formation et l'entraînement des opérateurs de contrôle aérien. - l'aide à la conception des postes de pilotage (aéronef), de conduite (véhicules), ou de commande/contrôle car c'est un moyen d'aide à l'évaluation de l'efficacité d'un design de poste de pilotage, de conduite ou de poste de commande/contrôle en fonction de la mission, des conditions de la mission et de l'aptitude des membres d'équipage. Il peut s'agir d'une aide à la conception des cockpits ou d'avionique d'hélicoptère, d'une aide à la conception des cockpits ou d'avionique d'avions de ligne et d'affaire. - l'aide à l'évaluation et à la certification de nouveaux postes de pilotage, de conduite ou de commande/contrôle ou de nouveaux équipements électroniques embarqué. Il peut s'agir de l'aide à la conception des postes de contrôle des droncs (UAV et UCAV), de l'aide à la conception des postes de contrôle aériens. - le suivi en opération d'un équipage : permet l'adaptation du système de la plateforme (véhicule, avion hélicoptère, etc.) en fonction de l'état des membres d'équipage et de la situation opérationnelle et d'environnement (reconfiguration des informations, et de leur présentation), alertes et enclenchement de procédures de sécurité en fonction de l'état des membres d'équipage et de la situation opérationnelle et d'environnement). Il peut s'agir du suivi et de l'assistance des pilotes d'avion d'arme, du suivi et de l'assistance des pilotes d'hélicoptère, du suivi et de l'assistance des pilotes d'avion de ligne et d'affaire lors des vols, du suivi et de l'assistance des opérateurs de drone (UAV et UCAV), du suivi et de l'assistance des contrôleurs aériens. - l'aide à la personnalisation des programmes de distraction et des services de communications à bord des avions de ligne. [0014] Ainsi avantageusement, l'exploitation de la solution proposée concerne poten- tiellement un grand nombre d'applications pratiques qui touchent différents acteurs industriels et opérationnels. [0015] Pour atteindre ces objectifs, l'invention généralement consiste à mettre en place une plateforme temps-réel ou quasi-réel, d'acquisition, de contrôle, d'enregistrement, de traitement et de restitution de l'état et du comportement d'un équipage. La plateforme : - est connectée à une pluralité et diversité de capteurs mesurant les paramètres physiologiques de l'équipage ; - est connectée au système piloté par l'équipage (plateforme aéronautique ou terrestre, réelle ou simulée, etc.), qui fournit des paramètres de son état, d'environnement et sur les actions effectuées par l'équipage ; - intègre des modules de traitement et d'analyse en interface des paramètres capturés (issus des capteurs ou du système piloté), mais également pouvant s'interfacer à des fins de composition de traitements; 6 - utilise un bus de données standardisé (DDS) assurant une répartition très facile des traitements sur une ou plusieurs machines connectée(s) à un même réseau local, et une connexion et déconnexion « à chaud » des capteurs et des modèles, ce qui facilite les arrêts et les relances des applications sans arrêter la session de mesure. [0016] Les données traitées par la plateforme comprennent à la fois des paramètres issus des capteurs physiques, des paramètres issus de la plateforme pilotée, des paramètres d'environnement, des actions de l'équipage sur la plateforme pilotée, des vidéos de scène, des vidéos des équipements et interfaces de pilotage ou de conduite de la plateforme pilotée, l'audio de communication entre les membres d'équipages et avec des opérateurs externes (ex. contrôleurs aériens), voire avec la plateforme pilotée, les sons en cabine, et des notes, marqueurs, annotations ou évaluations saisies via des interfaces homme-machine par des opérateurs lors de la capture ou de l'analyse ultérieure. [0017] L'ensemble de ces données est géré en temps-réel ou quasi-réel, les données sont datées et synchronisées au moment de leur capture. Elles sont archivées et stockées en temps réel ou quasi-réel. Elles sont sélectionnables pour être contrôlées lors de l'acquisition et ainsi vérifier le bon fonctionnement de l'acquisition. [0018] Elles peuvent également être marquées ou « taggécs » en positionnant des marqueurs datés supportant des informations d'intérêt. Il est possible de fonctionner soit en mode « contrôle » suivi temps-réel ou quasi-réel de l'évolution des paramètres avec audition et visualisation des audios et vidéos, soit en mode « dépouillement » avec le rejeu des données et leur visualisation. [0019] Il est également possible de sélectionner les traitements qui sont Effectivement effectués tant en mode « contrôle » qu'en mode « dépouillement ». [0020] Cette solution permet de disposer d'un environnement de capture, de traitement et de restitution dont l'ensemble des informations sont datées et synchronisées permettant ainsi : - de fournir un contrôle temps réel ou quasi-réel des données capturées (paramètres, vidéos, audios) observables ; - de fournir une restitution temps-réel ou quasi-réel des résultats des traitements de détection, identification, qualification des états et comportements d'équipage ; - la contextualisation des paramètres physiologiques à partir des données issues de la plateforme pilotée, des actions opérées par l'équipage et l'environnement, opérée par les modèles de traitement ; - d'adapter le système aux capteurs (en type et en nombre) nécessaires à l'exploitation envisagée ; - d'adapter le système aux traitements nécessaires pour analyser et élaborer les états et comportements demandés ainsi qu'à élaborer leur restitution ; 7 - d'adapter le système au besoin de restitution (contenu et forme) associé à l'exploitation qui en est faite. [0021] Pour atteindre ces objectifs, l'invention a pour objet un dispositif d'analyse et de suivi du comportement d'un sujet évoluant dans un environnement opérationnel au cours d'une mission, le dispositif comprenant : - des moyens d'acquisition synchronisée d'une pluralité de données brutes relatives au sujet, à l'environnement opérationnel et à la mission ; - des moyens de traitement croisé à la volée des données brutes acquises ; et - des moyens de génération en temps-réel de données élaborées issues des traitements croisés, fournissant des informations instantanées sur l'état et le comportement du sujet. [0022] Selon des modes de réalisation alternatifs ou combinés : - les moyens d'acquisition synchronisée comprennent des capteurs aptes à acquérir des données relatives à : - des paramètres physiologiques du sujet ; - des paramètres techniques de contextualisation de la mission ; - des paramètres subjectifs fournis par le sujet lui-même ou par des observateurs; - des données audio et vidéo relatives aux actions du sujet, ses mouvements, et ses interactions avec l'environnement opérationnel. - les moyens pour traiter les données brutes comprennent des modèles algorithmiques d'analyse fonctionnant en temps-réel. - les moyens pour générer des données élaborées comprennent des moyens pour fournir des indicateurs spécialisés, notamment des courbes, et des alertes traduisant des situations détectées au cours de la mission. - le dispositif comprend de plus des moyens de traitement différé des données brutes et des données élaborées. - le dispositif comprenant de plus des interfaces homme-machine aptes à afficher les informations instantanées sur l'état et le comportement du sujet. [0023] L'invention couvre aussi un simulateur comprenant un dispositif d'analyse et de suivi du comportement d'un sujet tel que revendiqué. [0024] L'invention s'étend à une plateforme de simulation d'aéronef comprenant un dispositif d'analyse et de suivi du comportement d'un sujet tel que revendiqué. [0025] Un autre objet de l'invention est un procédé d'analyse et de suivi du comportement d'un sujet évoluant dans un environnement opérationnel au cours d'une mission. Le procédé comprend les étapes suivantes : - acquisition synchronisée d'une pluralité de données brutes relatives au sujet, à l'environnement opérationnel et à la mission ; - traitement croisé à la volée des données brutes acquises ; et 8 - génération en temps-réel de données élaborées à partir des traitements croisés, fournissant des informations instantanées sur l'état et le comportement du sujet. [0026] Dans des modes de réalisation alternatifs ou combinés du procédé : - la pluralité de données brutes acquises comprend : - des paramètres physiologiques du sujet ; - des paramètres techniques de contextualisation de la mission ; - des paramètres subjectifs fournis par le sujet lui-même ou par des observateurs; - des données audio et vidéo relatives aux actions du sujet, ses mouvements, et ses interactions avec l'environnement opérationnel. - l'étape de générer des données élaborées consiste à fournir instantanément : - des indicateurs spécialisés, notamment des courbes ; - des alertes traduisant des situations détectées au cours de la mission. - le procédé comprend de plus une étape de traitement en différé des données brutes et des données élaborées, ledit traitement différé permettant de générer: - des indicateurs présentés de manière temporelle, dans leur durée, ou leur ponctualité datée ; - d'éventuels écarts ou déviations par rapport à un suivi conforme aux procédures qui auraient normalement dû être suivies ; - des marqueurs datés correspondant notamment à des événements détectés, déclarés - des données géographiques positionnées sur une vue cartographique, notamment une trajectoire ; - un ensemble de fenêtres spécialisées présentant des informations synthétiques, notamment le suivi du regard, les zones observées par le sujet, des statistiques ; - un ensemble de vidéos et d'audios sélectionnées parmi les enregistrements réalisés au cours du déroulement de la mission. [0027] L'invention dans un autre aspect couvre un produit programme d'ordinateur comprenant des instructions de code non transitoire permettant d'effectuer les étapes du procédé tel que revendiqué lorsque ledit programme est exécuté sur un ordinateur. Description des figures [0028] Différents aspects et avantages de l'invention vont apparaitre en appui de la des- cription d'un mode préféré d'implémentation de l'invention mais non limitatif, avec référence aux figures ci-dessous : [0029] [fig.1] illustre schématiquement le dispositif de l'invention dans un mode de réa- lisation ; [0030] [fig.24 et [0031] [fig.2b] 9 100321 Ifie.2c I [0033] [fig.2d] [0034] [fig.2e] [0035] [fig.2f] illustrent schématiquement différents modes opératoires du dispositif de l' invention ; [0036] [fig.3] illustre schématiquement un exemple d'intégration de capteurs sur un sujet ; [0037] [fig.4] illustre schématiquement un exemple d'intégration de capteurs dans l'environnement d'un sujet ; [0038] [fig.5a] et [0039] [fig.5b] illustrent des exemples de vue d'écran d'un poste de contrôle et de suivi en phase opérationnelle en temps-réel, selon un mode de réalisation de l'invention; [0040] [fig.6] illustre trois modalités pour la sélection d'un instant en phase de rejeu, selon un mode de réalisation de l'invention ; et [0041] [fig.7] illustre un exemple d'une vue affichée sur l'écran d'un poste de contrôle et de suivi en phase de débriefing selon un mode de réalisation de l'invention. Description détaillée de l'invention [0042] D'une manière générale, le dispositif de l'invention répond à la problématique de mesurer et d'évaluer l'état et le comportement d'un sujet (équipier/équipage) au cours d'une mission qu'il mène, immergé dans son environnement opérationnel (une plateforme, un système de mission), et de fournir les informations nécessaires pour agir sur le système ou la plateforme opéré(c) par le sujet et agir sur le sujet lui-même. [0043] Le dispositif proposé permet une analyse du comportement d'un sujet (équipier/équipage) au cours d'une mission, dans des conditions réelles ou restituées (simulation), et se base sur : - (1) Une acquisition synchronisée d'une pluralité de données/paramètres bruts complémentaires au cours d'une mission. Dans un mode de réalisation, quatre types de données ou paramètres sont acquis : - des paramètres physiologiques mesurant les caractéristiques personnelles du sujet au travers de capteurs ; - des paramètres techniques issus de la plateforme (exemple simulateur) apportant les éléments de contextualisation au travers de données d'état et de situation dans la mission (ex. phase de vol) ; - des paramètres subjectifs acquis par le sujet lui-même (auto-évaluation) ou par des observateurs experts (évaluation subjective) sous forme de marqueurs, d'annotation ou d'évaluation de performance, apportant la vision opérationnelle et la « réalité terrain » observée par un expert ; - des données audio et vidéo enregistrant, illustrant et visualisant les actions du sujet, ses mouvements, et les interactions avec son environnement opérationnel. [0044] Un traitement à la volée des données brutes acquises de manière simultanée, dans le but de fournir instantanément une vision de l'état et du comportement du sujet sous la forme d'une : - production d'informations élaborées restituées (et visualisées) sous la forme d'indicateurs spécialisés (courbes, échantillonnage, etc.) ; - production d'alertes s'appliquant sur les informations élaborées traduisant une situation (sujet + opération) remarquable rencontrée lors de l'exécution de la mission (passage d'un seuil défini suite à une focalisation excessive sur un instrument), à porter immédiatement à la connaissance des observateurs. [0045] Un traitement en différé des données brutes et des données élaborées au cours de la mission, dans le but de détecter et de restituer les éléments de comportement qui serviront à l'analyse et à la démarche pédagogique (débriefing), sous la forme : - d'indicateurs (paramètres bruts ou élaborés, alertes, etc.) présentés de manière temporelle, dans leur durée, ou leur ponctualité datée ; - d'éventuels écarts ou déviations par rapport à un suivi conforme aux procédures qui auraient normalement dû être suivies ; - de marqueurs datés correspondant à des événements détectés (exemple alertes), déclarés, etc. ; - de données géographiques positionnées sur une vue cartographique (exemple trajectoire de la plateforme) ; - d'un ensemble de fenêtres spécialisées présentant des informations synthétiques (par exemple le suivi du regard, les zones observées par le sujet, des statistiques, etc.) ; - d'un ensemble de vidéos et d'audios sélectionnées parmi les enregistrements réalisés au cours du déroulement de la mission. [0046] Dans la suite de la description, il est indiqué l'expression « temps-réel , pour couvrir la réalisation des fonctions en temps-réel ou quasi-réel. [0047] Le dispositif de l'invention comprend plusieurs fonctions et moyens associés, décrits en référence à la figure 1. Comme illustré sur la figure 1, le dispositif (100) de suivi d'équipage comprend les modules fonctionnels suivants : - (102) module 'environnement d'immersion' : il s'agit de l'environnement proche du sujet et du système avec lequel il est en relation physique (système ou la plateforme avec lequel le sujet interagit). Il peut s'agir d'une plateforme simulée (dans le cas (l'un simulateur), d'une plateforme réelle (dans le cas d'un aéronef ou d'un poste de travail, etc.). L'environnement d'immersion au sens de la présente invention comporte l'intégration des moyens de mesure (interface, disposition, interférence, etc.) dans la plateforme considérée et l'interface avec la plateforme réelle ou simulée afin d'en extraire les paramètres d'états et les actions du sujet. 11 -(104) module de capture : il s'agit de l'ensemble des moyens/fonctions (104-1) permettant de mesurer « objectivement » les différents paramètres personnels du sujet, à partir de capteurs physiologiques, mais également des moyens/fonctions (104-2) de mesurer « subjectivement » (par auto-évaluation, évaluation par un tiers, marquage d'événement) des éléments d'état et de comportement du sujet. Ces moyens prennent en compte des capteurs du commerce dits « COTS » (Commercial Off-The-Shelf), des dispositifs de capture composés de divers capteurs élémentaires. Sans limitation, les capteurs peuvent être des capteurs vidéo (par exemple caméras), audio (par exemple microphones), cardiaques (signaux HR/RRI - Hcart Rate! RR Interval), Electro-CardioGramme (ECG), des capteurs de température de peau (Skin T'), des capteurs NIRS (Ncar InfraRed Spectroscopy) , des Electro-EncephaloGramme (EEG), des Electro-OculoGraphy (EOG), des Electro-Dermal Activity (EDA), ainsi que des capteurs d'Oculométric et de direction du regard et des centrales inertielles (IMU). La fonction de capture est apte à gérer la problématique de la compatibilité de fonctionnement des différents moyens de capture. - (106) module de traitement et analyse : il s'agit de l'ensemble des moyens/fonctions de traitement et analyse réalisés en temps-réel, permettant d'une part d'extraire de l'information (par filtrage, corrélation, etc.) à partir des mesures effectuées par les moyens de capture, et d'autre part d'évaluer des états et des comportements du sujet à partir des éléments mesurés. La fonction de traitement et analyse est apte à fusionner les données avec la contextualisation. Les traitements sont effectués au travers de modèles algorithmiques d'analyse fonctionnant en temps-réel. - (108) module d'acquisition et d'enregistrement : il s'agit d'un dispositif interfacé d'une part avec le module de capture (104), et d'autre part avec le module 'environnement d'immersion' (102) afin d'acquérir en temps-réel l'ensemble des paramètres et données de manière synchronisée, et en assurant leur enregistrement pour restitution ou dépouillement. La fonction acquisition et enregistrement est apte à réaliser à la fois la communication entre tous les composants temps-réel ainsi que l'enregistrement et l'archivage des données enregistrées. - (110) module de contrôle : il s'agit de l'ensemble des moyens/fonctions permettant en temps-réel, de contrôler et de suivre tant les paramètres mesurés et acquis sur le sujet et sur la plateforme (ou système), que les résultats des traitements, le tout en coïncidence et de manière synchronisée. La fonction contrôle s'applique tant sur les aspects physiologiques, opérationnels, que techniques. Le module de contrôle peut être connecté au module d'exploitation (116) afin de prendre en compte les résultats dans le cadre de la réalisation de la mission menée par le sujet. - (112) module de restitution : il s'agit de l'ensemble des moyens/fonctions permettant hors temps-réel (c'est-à-dire dans des phases postérieures à l'enregistrement mais 1-> intégrées dans le processus de la mission, comme par exemple le débriefing) de fournir un bilan et une représentation des éléments mesurés (les données et paramètres enregistrés) au travers d'une analyse, de rejcu, d'annotation, d'évaluation, concernant l'état et le comportement du sujet au cours de sa mission. La mise en oeuvre de la fonction restitution peut être effectuée de manière isolée de la plateforme d'acquisition et d'enregistrement en exploitant directement des données archivées ou de manière connectée à la plateforme d'acquisition et d'enregistrement en mode rcjeu, cette dernière manière permettant également de mettre en oeuvre les fonctionnalités du module de contrôle (110). - (114) module de dépouillement : il s'agit de l'ensemble des moyens/fonctions permettant une analyse hors temps-réel (c'est-à-dire dans des phases ultérieures à l'enregistrement et déconnectée de la mission) approfondie des données enregistrées, à des fins d'étude. Cette fonction, dans une démarche d'amélioration et de maturation, peut être utilisée pour évaluer les modèles d'analyse existants, améliorer les modèles d'analyse (paramétragc, étalonnage, etc.), rechercher de nouveaux modèles (apprentissage profond, etc.). Les évolutions de modèles peuvent être réinjectées dans le module de traitement (106) ou le module de restitution (112) afin d'améliorer leur fonctionnement et leur pertinence. - (116) module d'exploitation : il s'agit de l'ensemble des moyens/fonctions qui permettent de réinjecter les résultats d'analyse temps-réel de l'état et du comportement du sujet tant dans la gestion du système ou de la plateforme réelle ou simulée opérée (par exemple au travers (l'un système de gestion de plateforme) afin d'agir sur celle-ci pour prendre en compte l'état et le comportement du sujet et opérer les actions nécessaires à la réalisation de la mission, que sur le sujet même (par exemple sous forme d'alerte, de consigne, etc.) afin qu'il puisse agir au mieux pour réaliser sa mission. La fonction d'exploitation peut coopérer avec la fonction de contrôle (110) pour fournir un suivi et une représentation de l'état et du comportement du sujet. Dans le cadre de la formation et de l'entraînement cette exploitation vers le sujet peut être opérée par l'instructeur. [0048] Dans un mode de réalisation, les transferts et échanges de données des différents modules se font via le standard de communication DDS (« Data Distribution Service » en anglais) qui est une technologie évoluée d'échanges de données, via un bus de données synchronisé autorisant le « plug-and-play » « à chaud ». [0049] Dans des modes de réalisation, selon le contexte de l'application, certaines des fonctions sont automatisées, telles que la capture, le traitement (temps-réel), l'acquisition et enregistrement, le contrôle, tandis que d'autres telles que la restitution, le dépouillement, l'exploitation, peuvent faire intervenir un traitement humain pour analyser et utiliser les informations. En effet, le concept de « Crew Monitoring » 13 s'attachant à l'observation et à l'évaluation de l'« humain », il est primordial d'identifier les différentes fonctions ou rôles joués par les différents intervenants « humains ». Les principaux rôles (humains) sont définis ci-dessous : - (120) Sujet : il s'agit de l'humain(s) faisant l'objet de l'observation et de l'évaluation durant l'exécution d'une mission (réelle ou simulée, en opération ou en formation/ entraînement). Il peut être seul (un pilote) ou représenter un groupe d'« humains » opérant ensemble (par exemple un équipage ou une équipe). Le sujet est en relation directe avec son environnement d'immersion (102) tel que le cockpit par exemple, et il (sup)porte les moyens de mesures physiologiques (104-1). L'intégration de la solution de suivi dans un système (cockpit d'aéronef par exemple) doit prendre en compte r acceptabilité par le sujet de la présence et du positionnement des capteurs qui sont en interaction avec lui et les autres équipements du poste de pilotage (cockpit). Un grand nombre de capteurs pour être efficaces doivent être positionnés directement sur le corps ou au contact du corps ou à très grande proximité du corps du sujet. La figure 3 illustre un exemple d'intégration de capteurs qui consiste à détourner des objets usuels déjà présents dans le cockpit ou l'habillement du pilote pour les équiper de capteurs afin de ne pas rajouter d'éléments perturbants et ainsi diminuer la gêne. Il peut ainsi être implémenté des capteurs sur : - (302) un bracelet en contact avec le poignet et le bras du pilote. Le bracelet peut être équipé de capteurs de rythme cardiaque, d'humidité (transpiration), température, d'accéléromètre et inertiel (IMU) ; - (304) un vêtement en contact avec la peau du pilote. Le vêtement peut supporter, intégrés dans le tissu, des capteurs de température du corps, d'électrocardiogramme ECU et rythme cardiaque, et d'accélération (IMU) ; - (306) un siège en contact avec le fessier et le dos du pilote. Le siège peut être équipé de capteurs de pression, de température ; - (308) un casque (audio) en contact avec le crane du pilote. Le casque peut en plus du micro qui est un capteur de la voix, supporter des capteurs EEG (voire EOG), accéléromètre et IMU, et une caméra faciale. [0050] [fig.4] illustre un exemple d'intégration de capteurs à distance rapprochés du sujet ou de l'équipage. Les capteurs à distance comprennent différentes caméras (caméras de scène (402), caméras faciales (404), caméras 3D (406), caméras de suivi du regard (408)), fixées (intégrées dans le tableau de bord et/ou les montants) dans le cockpit. Ces caméras sont aptes à capturer la scène (attitude du pilote, actions réalisées, etc.), d'en déduire des postures, des expressions du visage, toutes informations utiles pour l'évaluation du comportement. [0051] Revenant à la figure 1, les autres acteurs du dispositif de l'invention sont : - (122) Observateur : il s'agit de l'humain(s) opérant un suivi et une observation de la 14 mission en cours de réalisation. Il observe à la fois l'état et le comportement du sujet et la situation de la mission. Il peut être amené à commenter et à déclarer sa perception de la situation du sujet et du déroulement de la mission. Dans certains cas il peut également être amené à interagir avec le sujet (par exemple cas d'un instructeur). L'observateur peut être une personne ou un groupe de personnes. Un observateur peut aussi être un 'Evaluateur' opérant à partir de l'exploitation temps-réel des différentes informations sur le déroulement de la mission et des états et comportements du sujet et de la plateforme. Il fournit une évaluation de la situation, qui peut dans certains cas, lui permettre d'intervenir directement sur le sujet (cas par exemple d'un instructeur). L'évaluateur peut être une personne ou un groupe de personnes. - (124) Analyste : il s'agit de l'humain(s) opérant à l'issue d'une mission ou d'un ensemble de missions. Il opère un travail d'analyse, de dépouillement et de mise en forme de l'ensemble des données enregistrées. Ces travaux peuvent selon les cas avoir pour objectif l'évaluation du sujet, voire de la plateforme (dans son aspect d'interface avec le sujet), mais également servir à améliorer les connaissances facteurs humains et conduire à des améliorations des modèles d'analyse (temps-réel ou hors-temps-réel). L'analyste peut être une personne ou un groupe de personnes. [0052] Selon les contextes de mise en oeuvre, il est possible que plusieurs de ces rôles soient, dans le cas d'une application, regroupés sur une même personne (par exemple l'observateur et l'évaluateur peut représenter deux rôles tenus par un instructeur dans une application de formation ou d'entraînement. [0053] Toujours selon les contextes et/ou les phases d'une mise oeuvre, tout ou partie des modules peuvent être opérés. Différents modes opératoires sont décrits en référence aux figures 2a à 2f, où les différents modules de la plateforme qui sont activés sont représentés de manière plus contrastée que les modules non activés. [0054] [fig.24 illustre le mode opérationnel dit en boucle ouverte. Il s'agit d'un mode qui permet la capture, l'observation et l'évaluation de l'état et du comportement du sujet. Dans ce mode, les modules 'environnement d'immersion' (102), capture (104), traitement et analyse (106), acquisition et enregistrement (108) et contrôle (110) sont mis en oeuvre. Le sujet (120), l'observateur (122) et l'évaluateur (122) sont acteurs. Il est à noter que ce mode est recommandé pour le suivi d'un sujet en phase de formation ou d'entraînement (présence d'une relation évaluateur - sujet), ainsi que pour le suivi de performance et d'efficacité de l'interface homme-machine de la plateforme. [0055] [fig.5a] [Fig.5b] illustrent des exemples de vue d'écran d'un poste de contrôle et de suivi en phase opérationnelle en temps-réel selon un mode de réalisation de l'invention. Les vues sont celles affichées sur le poste de contrôle et de suivi lors de l'exécution d'une mission. La vue de la figure 5a affiche : - le canal vidéo sélectionné parmi les différents canaux vidéo disponibles affichés en miniature et sélectionnables ; - la représentation du cockpit avec affichage du point regardé, et la trace du regard sur les dernières secondes, ainsi que l'identification de l'élément du cockpit regardé ; - l'état des alertes à l'instant présent (avec changement de couleur par exemple lors de l'activation de l'alerte) ; - l'édition des paramètres d'identification du pilote ; - La pose d'évaluation datée à partir d'une liste de grandeurs évaluables ; - La pose de marqueur daté à partir d'une liste d'événements ; - La pose d'annotation libre datée à partir d'un stylet (écriture libre). [0056] La vue de la [fig.5b] reprend le même affichage à l'exception des marqueurs et an- notations qui sont remplacés par une zone de saisie d'évaluation subjective. [0057] [fig.2b] illustre le mode opérationnel dit en boucle fennec. Il s'agit d'un mode qui permet d'exploiter en temps-réel l'évaluation de l'état et du comportement d'un sujet lors d'une mission et de fournir un bouclage vers le système (par exemple un aéronef) dans lequel il évolue. Dans ce mode, les modules 'environnement d'immersion' (102), capture (104), traitement et analyse (106), acquisition et enregistrement (108), contrôle (110) et exploitation (116) sont mis en oeuvre. Ce mode fonctionne sans intervention humaine (observateur, évaluateur) autre que le sujet étudié. Il est à noter que ce mode est recommandé comme moyen d'interface homme-machine évolué. [0058] [fig.2c] illustre le mode opérationnel dit rejeu + déclaration. Il s'agit d'un mode qui permet de rejouer en temps-réel (i.e. dans les conditions du réel) une session déjà enregistrée et de pouvoir y rajouter des annotations, du marquage d'événement. Dans ce mode, les modules capture subjective (104-2), acquisition et enregistrement (108) et contrôle (110) sont mis en oeuvre. L'observateur/évaluateur (122) est acteur de ce mode rejeu + déclaration. Il est à noter que ce mode est recommandé pour les phases de « debriefing » de session. [0059] [fig.2d] illustre le mode opérationnel dit rejeu + traitement/analyse. Il s'agit d'un mode qui permet de rejouer en temps-réel (i.e. dans les conditions du réel) une session déjà enregistrée et de pouvoir y ajouter des traitements d'analyse en temps-réel. Dans ce mode, les modules traitement et analyse (106), acquisition et enregistrement (108) et contrôle (110) sont mis en oeuvre. L'évaluateur (122) est acteur de ce mode rejeu + traitement/analyse. Il est à noter que ce mode est recommandé pour la mise au point des modèles de traitement et d'analyse, mais également pour compléter et affiner les traitements d'analyse en effectuant des analyses nouvelles. [0060] [fig.2e] illustre le mode opérationnel dit restitution. Il s'agit d'un mode qui permet d'analyser les données enregistrées lors d'une session et d'y appliquer des traitements hors-temps réel (ou différé) pour produire et présenter les informations résultantes en relation avec l'application. Dans ce mode, les modules acquisition et enregistrement 16 (108), et restitution (112) sont mis en oeuvre. L'analyste (124) est acteur de ce mode restitution. Il est à noter que ce mode est recommandé pour les phases de débriefing et d'analyse après action pour préparer des rapports. L'accès aux informations enregistrées, à leur restitution et leur positionnement à un temps donné est réalisé au travers de la sélection d'un instant et du rejeu synchronisé de l'ensemble des informations sur la période de temps (séquence) désirée. L'instant sélectionné est désigné selon trois modalités complémentaires, illustrées sur la figure 6 : - à partir de la ligne de temps ; - à partir d'un marqueur daté ; - à partir d'un point de la trajectoire de la plateforme. [0061] [fig.7] illustre un exemple d'une vue affichée sur l'écran d'un poste de contrôle et de suivi en phase de débriefing selon un mode de réalisation de l'invention. La vue affiche : - la représentation du cockpit avec l'affichage du point regardé et la trace du regard sur les dernières secondes, ainsi que l'identification de l'élément du cockpit regardé ; - la cartographie de la zone de vol avec le tracé de la trajectoire de l'aéronef et la position instantanée de l'aéronef, qualifiée de sa vitesse et de son altitude, enrichie de marqueurs géolocalisés sur la trajectoire ; - une échelle de temps graduée sur toute la durée de l'exercice, comportant également une ligne de temps indiquant l'instant observé ; - le positionnement sur l'échelle de temps des différents marqueurs posés, avec l'identification du label du marqueur se trouvant sur la ligne de temps ; - le positionnement sur l'échelle de temps des différentes alertes détectées, avec l'élongation correspondant à leur activité ; -la courbe du profil (altitude) de vol sur la durée de l'exercice, enrichie de la courbe de l'altitude au sol ; - le positionnement sur l'échelle de temps des modes de pilotage (automatiques) activés, avec l'élongation con-espondant à leur activité ; - le positionnement sur l'échelle de temps des interventions du pilote sur les commandes de vol, avec l'élongation correspondant à leur activité ; - le positionnement sur l'échelle de temps des communications audio du pilote, avec l'élongation correspondant à leur activité ; - le positionnement sur l'échelle de temps de la répartition des zones regardées par le pilote, segmentée par grande catégories, moyennées sur les dernières secondes, avec l'affichage du pourcentage de cette répartition à l'instant de la ligne de temps ; - la répartition des zones regardées par le pilote, segmentée par grande catégories, moyennées sur la fenêtre temporelle sélectionnée, avec l'affichage du pourcentage de cette répartition ; 17 - l'état des alertes (représentées sous forme d'icone significatif) à l'instant de la ligne de temps ; - la liste des différents marqueurs et annotations (temporelles) classés selon l'ordre chronologique, affichés avec un label, qui permet également de filtrer leur affichage ; - le bandeau de saisie d'annotation libre, permettant de sélectionner la fenêtre temporelle de son application, de son nom et du texte associé ; - les coordonnées de l'enregistrement d'exercice affiché, associés à un moyen de sélectionner l'enregistrement dans la liste des enregistrements disponibles. [0062] [fig.2f] illustre le mode opérationnel dit dépouillement. Il s'agit d'un mode qui permet d'effectuer des traitements lourds sur les données, en exportant les données enregistrées dans des environnements de dépouillement tout en fournissant un moyen de restitution qui permettra de guider ces traitements. Dans ce mode, les modules acquisition et enregistrement (108), restitution (112) et dépouillement (114) sont mis en oeuvre. Il est à noter que ce mode est recommandé pour les traitements de suivi longitudinal, pour l'adaptation et l'émergence de modèle d'analyse temps-réel ou horstemps-réel. [0063] Par son aspect modulaire, intégré et ouvert, la solution proposée fournit une ar- chitecture ouverte de capture (mesure), d'observation, d'analyse, d'évaluation et d'enregistrement d'état et de comportement humain contextualisé. Elle résout le problème posé par : - une identification et une segmentation d'un système de mesure et d'évaluation d'états et de comportements d'un équipage en un ensemble de fonctions principales, qui pose les bases d'une architecture modulaire ouverte et adaptative aux différents besoins applicatifs envisageables ; - un mécanisme et un protocole ouvert qui permettent la connexion de capteurs et de la plateforme pilotée-conduite, des modèles de traitements et des composants de restitution, ainsi que la synchronisation des données acquises et produites (par les traitements) et leur enregistrement. Le mécanisme est basé sur des standards et offre une ouverture et une capacité d'adaptation du système permettant de connecter de nouveaux composants (qu'ils soient de capture, de traitement, de restitution) et/ou de remplacer des composants présents ; - la prise en compte de différents capteurs ainsi que la prise en compte de données contextuelles fournies par la platefonne pilotée-conduite, améliorant ainsi la qualité de l'évaluation du comportement (meilleure robustesse et moindre fausse-alarme) ; - la capacité à prendre en compte, dans les traitements, des données précédemment enregistrées et traitées dans une optique de suivi longitudinal de sujet, permettant de comparer les états et comportements d'un même sujet à différentes périodes et dans des situations répétées ou différentes et ainsi de tracer des évolutions dans son com- 18 portement et ses capacités cognitives (exemple courbe d'apprentissage) ; - la capacité à réaliser la capture, les traitements, la restitution en temps-réel (c'est-à-dire dans un temps court permettant une action ou une réaction immédiate sur le sujet, la plateforme pilotée-conduite et son environnement) permettant d'intégrer cette fonction de mesure et d'évaluation dans une boucle opérationnelle (vers le sujet directement ou via un opérateur, ou vers la plateforme directement ou via un opérateur). [0064] Pour résumer, la présente invention apporte des innovations notables sur plusieurs aspects : - l'application du temps-réel sur la mesure de l'état et du comportement d'équipage et de son exploitation ; - la capacité d'effectuer des mesures multi-capteurs physiologiques, et la possibilité d'étendre le nombre et la diversité des capteurs ; - la capacité à rejouer de manière synchronisée des données déjà acquises, mais également de les enrichir de nouvelles annotations et marquages, et de rajouter des traitements ; - la capacité de connecter et d'empiler des traitements d'analyse fonctionnant en temps-réel ou en temps différé ; - la capacité à contextualiser des données physiologiques capturées, par des informations d'environnement et des paramètres capturés en temps-réel issus de la plateforme réelle ou simulée ; - l'utilisation d'un bus de communication standardisé, synchronisé, interfaçant les capteurs, la plateforme, les modules, la restitution, et autorisant le « plug-and-play » à chaud » ; - la capacité à appliquer un suivi longitudinal sur des sujets, sur des périodes ou des occurrences définissables. [0065] La présente description illustre un mode de réalisation de l'invention, mais n'est pas limitative. L'exemple a été choisi pour permettre une bonne compréhension des principes de l'invention, et une application concrète, mais n'est pas exhaustif mais la description doit permettre à l'homme du métier d'apporter des modifications et variantes d'implémentation en gardant les mêmes principes. En particulier, des adaptations à la portée de l'homme du métier seront à considérer pour chaque application dans laquelle un personnel interagit avec un système et pour lequel son état et son comportement a une influence sur le résultat et l'accomplissement de la mission qui lui a été dévolue. Ainsi plusieurs cas d'utilisation personnalisée de la présente invention sont: - le pilotage ou la conduite de plateforme mobile (réelle ou simulée) telle qu'un aéronef (avion, hélicoptère, convertible, drone), un matériel ferroviaire, un véhicule, 19 etc. ; - le pilotage ou la conduite d'un système industriel tel qu'une centrale d'énergie ; - le pilotage ou la conduite d'un centre de contrôle tel qu'un centre de contrôle aérien, un centre de contrôle ferroviaire, un PC de circulation ; - le suivi d'équipes s'entraînant en « live » (sur le terrain) tant pour des activités civiles que militaires. [Revendication 1] [Revendication 2] [Revendication 3] [Revendication 4] [Revendication 5] [Revendication 6] [Revendication 7] REVENDICATIONSDispositif d'analyse et de suivi du comportement d'un sujet évoluant dans un environnement opérationnel au cours d'une mission, le dispositif comprenant : - des moyens d'acquisition synchronisée d'une pluralité de données brutes relatives au sujet, à l'environnement opérationnel et à la mission ; - des moyens dc traitement à la volée des données brutes acquises ; et - des moyens dc génération de données élaborées issues des traitements à la volée, fournissant des informations en temps réel sur l'état et le comportement du sujet. Le dispositif selon la revendication 1 dans lequel les moyens d'acquisition synchronisée comprennent des capteurs aptes à acquérir des données relatives à : - des paramètres physiologiques du sujet ; - des paramètres techniques de contextualisation de la mission ; - des paramètres subjectifs fournis par le sujet lui-même ou par des observateurs ; - des données audio et vidéo relatives aux actions du sujet, ses mouvements, et ses interactions avec l'environnement opérationnel. Le dispositif selon la revendication 1 ou 2 dans lequel les moyens de traitement à la volée les données brutes comprennent des moyens pour filtrer et corréler les données brutes acquises et des moyens d'analyse des données basées sur des modèles algorithmiques fonctionnant en temps-réel. Le dispositif selon l'une quelconque des revendications 1 à 3 dans lequel les moyens pour générer des données élaborées comprennent des moyens pour fournir des indicateurs spécialisés, notamment des courbes, et des alertes traduisant des situations détectées au cours de la mission. Le dispositif selon l'une quelconque des revendications 1 à 4 comprenant de plus des moyens de traitement différé des données brutes et des données élaborées. Le dispositif selon l'une quelconque des revendications 1 à 5 comprenant de plus des interfaces homme-machine aptes à afficher les informations instantanées sur l'état et le comportement du sujet. Simulateur comprenant un dispositif d'analyse et de suivi du comportement d'un sujet selon l'une quelconque des revendications 1 à 6. 21 [Revendication 8] [Revendication 9] [Revendication 10] [Revendication 11] [Revendication 12] Plateforme de simulation d'aéronef comprenant un dispositif d'analyse et de suivi du comportement d'un sujet selon l'une quelconque des revendications 1 à 6. Un procédé d'analyse et de suivi du comportement d'un sujet évoluant dans un environnement opérationnel au cours d'une mission, le procédé comprenant les étapes suivantes : - acquisition synchronisée d'une pluralité de données brutes relatives au sujet, à l'environnement opérationnel et à la mission ; - traitement à la volée des données brutes acquises ; et - génération de données élaborées à partir des traitements à la volée, fournissant des informations en temps réel sur l'état et le comportement du sujet. Le procédé selon la revendication 9 dans lequel la pluralité de données brutes acquises comprend : - des paramètres physiologiques du sujet ; - des paramètres techniques de contextualisation de la mission ; - des paramètres subjectifs fournis par le sujet lui-même ou par des observateurs ; -des données audio et vidéo relatives aux actions du sujet, ses mouvements, et ses interactions avec l'environnement opérationnel. Le procédé la revendication 9 ou 10 dans lequel l'étape de générer des données élaborées consiste à fournir instantanément : - des indicateurs spécialisés, notamment des courbes; - des alertes traduisant des situations détectées au cours de la mission. Le procédé selon l'une quelconque des revendications 9 à 11 comprenant de plus une étape de traitement en différé des données brutes et des données élaborées, ledit traitement différé permettant de générer: des indicateurs présentés de manière temporelle, dans leur durée, ou leur ponctualité datée ; - d'éventuels écarts ou déviations par rapport à un suivi conforme aux procédures qui auraient normalement dû être suivies ; - des marqueurs datés correspondant notamment à des événements détectés, déclarés ; - des données géographiques positionnées sur une vue cartographique, notamment une trajectoire ; - un ensemble de fenêtres spécialisées présentant des informations synthétiques, notamment le suivi du regard, les zones observées par le sujet, des statistiques ; - un ensemble de vidéos et d'audios sélectionnées parmi les enregistrements réalisés au cours du déroulement de la mission. [Revendication 13] Un produit programme d'ordinateur comprenant des instructions de code non transitoire permettant d'effectuer les étapes du procédé selon l'une quelconque des revendications 9 à 12, lorsque ledit programme est exécuté sur un ordinateur.