Brevet FR2875629A1 — publié le 20060324

SYSTEME D'INDEXATION DE VIDEO DE SURVEILLANCE La présente invention se rapporte au domaine de la vidéo. La présente invention concerne plus particulièrement un procédé de caractérisation et d'indexation d'images d'un flux vidéo afin de faciliter la recherche d'éléments dans un flux de vidéo de surveillance. Actuellement, les systèmes de vidéo surveillance, même numériques, sont passifs et impliquent une intervention humaine lente dans l'utilisation faite des images. Par exemple, lors d'un acte terroriste ou d'une disparition, les enquêtes nécessitent la re-visualisation manuelle de milliers d'images, issues de caméras de surveillance placées dans la ville ou de tous les enregistrements vidéo qui ont pu être réalisés dans les environs de la zone où s'est déroulée l'action recherchée. Ces manipulations sont lentes et demandent beaucoup de personnel et conduisent souvent à des délais très longs dans l'obtention de résultats qui permettent de lancer les actions réelles de terrain. Hors dans ces cas tragiques, ce sont les premières heures qui comptent. Plus le temps passe et plus la probabilité de retrouver les traces des agresseurs ou des disparus s'amenuise. On connaît déjà, dans l'état de la technique, des systèmes d'enregistrement utilisés dans les applications de vidéo surveillance. Ces systèmes permettent l'analyse des images, généralement limitée à la détection de mouvement (motion detection). Lorsque le résultat de la détection est actif, le système enregistre les images. Cette solution permet de limiter la durée des enregistrements afin d'optimiser l'espace de sauvegarde sur le média utilisé, mais présente l'inconvénient d'être rudimentaire et surtout de ne permettre aucune recherche fine dans les images. Il existe également des systèmes qui peuvent analyser dans un ensemble d'images déjà enregistrées une activité dans une zone d'intérêt, par exemple, la disparition d'un objet su une table. Cette solution nécessite des temps importants de traitements puisque le système doit analyser a posteriori. De plus, la capacité d'enregistrement se trouve limitée du fait des recherches simultanées et la bande passante disponible sur le réseau peut également s'avérer limitante. L'art antérieur connaît également, par le brevet américain US 6 646 676 (Paul DaGraca et autres), un système de surveillance et de commande. Celui-ci comprend une unité d'extraction d'élément pour extraire dynamiquement les éléments de bas niveau à partir d'un signal visuel numérique compressé, un encodeur de description, couplé à l'unité d'extraction d'élément, pour coder les éléments de bas niveau en descripteurs de contenu. Un détecteur d'événement est couplé à l'encodeur de description pour détecter des événements de sécurité des descripteurs de contenu, et un processeur de signal de commande, couplé au détecteur d'événement, pour produire des signaux de commande en réponse à la détection des événements de sécurité. Ce système réalise un traitement sur un flux déjà compressé. Ce traitement se base essentiellement sur la détection de mouvement dans l'optique d'un déclenchement d'alarme. L'art antérieur connaît également, par le brevet américain US 6 721 454 (Richard Qian et autres), un procédé pour l'extraction automatique d'événements significatifs d'une vidéo. Sémantiquement, des événements significatifs sont détectés dans la vidéo avec une technique à plusieurs niveaux. Des séquences vidéo sont analysées visuellement au premier niveau de la technique pour détecter des frontières d'une prise de vue, pour mesurer la couleur et la texture du contenu, et pour détecter des objets dans le contenu. Au deuxième niveau de la technique, des objets sont classifiés et le contenu dans chaque prise de vue est résumé. Au troisième niveau de la technique, un module d'inférence d'événement implique des événements sur la base des phénomènes temporels et spatiaux révélés dans les résumés de prises de vue. La technique peut être étendue à d'autres domaines en incorporant des processus liés à d'autres domaines aux niveaux supérieurs de la technique qui utilisent des données produites au premier niveau de la technique par les processus qui sont indépendants du domaine traité. Cette solution présente uniquement la détection du 20 mouvement d'objet à l'intérieur de séquences vidéo afin de déterminer des événements. On connaît également, par la demande de brevet américain US 6 424 370 (Jonathan D. Courtney), un procédé pour fournir une indexation vidéo automatique du mouvement d'un objet, basée sur le contenu. Les objets mobiles dans la vidéo d'une caméra de surveillance sont détectés dans la séquence vidéo par des méthodes de segmentation de mouvement par l'intermédiaire d'un segmenteur de mouvement. Les objets sont suivis au travers de données segmentées dans un traqueur d'objet. Une représentation symbolique de la vidéo est générée sous forme de graphiques annotés décrivant les objets et leur mouvement. Un analyseur de mouvement analyse les résultats du suivi d'objet et annote le mouvement de graphique avec des index décrivant plusieurs événements. Le graphique est alors classé en utilisant un schéma de classification basé sur une règle pour identifier des événements d'intérêt tels que l'apparition / disparition, le dépôt / retrait, l'entrée / sortie, et le mouvement / immobilité des objets. Des séquences de la vidéo identifiée par approche spatio-temporel, événement, et requêtes basées sur les objets sont rappelées pour regarder la vidéo désirée. Ce procédé se concentre sur l'indexation de séquences vidéo. Les mécanismes mis en uvre évoquent des images de référence, une représentation graphique des objets contenus dans les séquences. De plus, les caractérisations des scènes pertinentes au regard des critères d'apparition / disparition, etc., sont stockées de façon figée (différente d'un flux continu d'éléments caractérisants un flux vidéo) dans une base de données. L'art antérieur connaît également, par la demande de brevet PCT WO 98 / 21 688 (Sarnoff Corporation), un procédé et un appareil associé permettant de représenter complètement des informations vidéo de manière à faciliter l'indexation de ces informations vidéo. Plus particulièrement, le procédé consiste à diviser un flux continu d'images vidéo en plusieurs scènes vidéo; au moins à diviser, en une ou plusieurs couches, au moins une scène prise parmi plusieurs scènes, par analyse d'un mouvement à l'intérieur d'une scène; à représenter, en forme de mosaïque, au moins une scène prise parmi plusieurs scènes; à calculer, pour au moins une couche ou une scène, un ou plusieurs attributs de représentation en relation avec le contenu; et à mettre en mémoire, dans une base de données les attributs de représentation en relation avec le contenu ou lesdites représentations en forme de mosaïque. Cette solution propose un prétraitement vidéo avant d'effectuer une étape d'indexage. Un flux est découpé en scènes homogènes qui sont à leur tour découpées en plusieurs niveaux de scène. L'ensemble de ces niveaux permets de reconstituer la scène sous forme de mosaïque d'éléments clés. L'art antérieur ne propose pas de solution permettant une caractérisation light (légère comparée au débit important de la vidéo) d'une séquence vidéo par un flux de matrices caractérisantes. La présente invention entend remédier aux inconvénients de l'art antérieur en proposant un procédé de caractérisation des éléments d'images d'un flux vidéo par des matrices de caractérisation, ces matrices constituant un flux de données horodaté et parallèle au flux vidéo. Le procédé selon la présente invention répond particulièrement bien à la recherche et la détection d'éléments à l'intérieur d'un flux vidéo et aux contraintes temporelles qu'elles induisent. Précisément, l'invention s'applique aussi bien à une détection en temps réel par la détection d'une matrice semblable à celle recherchée qu'à la détection a posteriori en parcourant le flux de matrices caractérisantes plutôt que le flux vidéo, trop lourd. A cet effet, l'invention concerne dans son acception la plus générale un procédé de caractérisation d'images d'un 30 flux vidéo pour la recherche d'éléments, comprenant: É une première étape d'acquisition d'un flux vidéo par un capteur d'images; É une étape de numérisation dudit flux acquis par un module de numérisation, É une étape de caractérisation dudit flux vidéo numérisé par une unité de traitement; É une étape d'encodage dudit flux vidéo numérisé par une unité d'encodage, caractérisé en ce que: É lesdites étapes de caractérisation et d'encodage sont réalisées de façon parallèle et en temps réel; É ladite étape de caractérisation réalise une matrice de caractérisation de chacune des images dudit flux vidéo numérisé, et É en ce qu'il comprend, en outre, une étape d'horodatage des flux traité issu de l'étape de traitement et encodé issu de l'étape d'encodage. De préférence, ladite matrice de caractérisation comprend: É le pourcentage de différence par rapport à l'image précédente; É le pourcentage de différence par rapport à une image 20 de référence; É le nombre de cibles mobiles détectées; É la caractérisation desdites cibles. Avantageusement, ladite caractérisation des cibles 25 comprend: É la position dans l'image desdites cibles, É le vecteur de déplacement desdites cibles, É la dimension desdites cibles en rapport avec l'image globale ou à une référence, É les caractéristiques de couleur desdites cibles, É la durée de présence de ladite cible dans la scène. Selon un mode de réalisation, ledit procédé comprend, en outre, une étape de capture d'une image fixe zoomée sur une desdites cibles caractérisées. Selon une variante, ledit procédé comprend, en outre, 5 une étape d'association de ladite image fixe avec la matrice de caractérisation comprenant ladite cible zoomée. Selon un mode de mise en oeuvre, ladite capture est réalisée par un appareil photo annexe. L'invention concerne également un système pour la mise en oeuvre du procédé comprenant un capteur d'images, une mémoire de trame, une unité de numérisation, une unité de calcul, une unité d'encodage comprenant un processeur d'encodage. L'invention concerne également un procédé de recherche d'éléments dans un flux vidéo caractérisé en ce qu'il met en oeuvre le procédé de caractérisation et en ce qu'il comprend, en outre, . É une étape d'envoi d'une requête portant sur les caractéristiques desdits éléments recherchés à l'unité de traitement; É une étape de comparaison desdites caractéristiques avec ladite matrice de caractérisation générée lors de 25 l'étape de caractérisation. L'invention concerne également un procédé de recherche d'éléments dans un flux vidéo caractérisé en ce qu'il met en oeuvre le procédé de caractérisation et en ce qu'il comprend, en outre, . É une étape de transmission de ladite matrice de caractérisation générée lors de l'étape de caractérisation à un serveur distant au travers d'un réseau de communication; É une étape de comparaison sur ledit serveur distant desdites matrices de caractérisation avec des critères de recherche. De préférence, ledit procédé comprend, en outre, É une étape de récupération des caractéristiques d'une cible dans lesdites matrices; et É une étape d'affichage d'une représentation spatiale des positions géographiques desdites cibles dans la scène 10 sur un dispositif de visualisation. On comprendra mieux l'invention à l'aide de la description, faite ciaprès à titre purement explicatif, d'un mode de réalisation de l'invention, en référence aux figures annexées: - la figure 1 représente l'architecture du système selon la présente invention; - la figure 2 illustre une représentation graphique simplifiée d'une scène analysée par la présente invention. 20 L'invention concerne un procédé et un système permettant de caractériser, en temps réel, les images du flux vidéo de vidéosurveillance. Cette caractérisation est stockée sous forme de fichier de très faible taillé en comparaison du poids des images. Ces fichiers sont associés aux flux d'images par un marquage temporel et sont soit transmis en parallèle du flux vidéo soit transmis seul. Plus précisément, l'invention concerne un système pour l'analyse d'images de vidéosurveillance afin de déterminer et de retrouver des éléments clés lors de recherche, en temps réel ou a posteriori. L'intérêt du procédé de la présente invention est de permettre une analyse temps réel ou une recherche a posteriori sur ces fichiers pour rechercher de façon rapide, efficace et simplifiée des éléments caractéristiques. En référence à la figure 1, la présente invention comprend un capteur d'images (1) de type caméra numérique ou caméra de vidéo surveillance. Le capteur délivre une information analogique ou numérique contenant une suite d'images (signal vidéo par exemple). Une étape de numérisation du flux peut être nécessaire si le capteur est analogique. Une mémoire de trame permet de stocker, temporairement (le temps du traitement de la trame précédente) et en temps réel, les trames générées par le capteur d'images. L'image ainsi acquise et plus précisément la trame stockée dans la mémoire de trame, est transmise à une unité d'encodage dont le but est de compresser le signal vidéo et d'obtenir un bitstream (flux de bits) dans lequel les images sont indexées par le système d'horodatage. En même temps, la même image est transmise à l'unité de traitement dont le but est d'en tirer les caractéristiques essentielles dont le présent texte fait référence. Les matrices caractéristiques ainsi obtenues sont également horodatées individuellement de manière identique aux images compressées qu'elles caractérisent. Le flux vidéo et le flux de matrices sont alors deux flux de données distincts dont la correspondance entre matrice et image est assurée par l'horodatage de ces mêmes flux. Les traitements selon la présente invention sont réalisés, de préférence en temps réel afin de conserver les meilleures performances du système (rapidité). On entend par traitements en temps réel, des traitements qui durent au maximum l'intervalle de temps entre deux trames consécutives. Ainsi, chaque nouvelle trame est traitée avant la réception de la suivante. Le bitstream compressé et la suite de matrices caractéristiques sont ensuite stockés dans une mémoire de masse {Unité mémoire) de longueur dépendant de l'application: en général, plusieurs jours à plusieurs mois pour des applications de vidéo surveillance. Enfin une interface réseau permet de donner l'accès, soit au bitstream compressé, soit aux matrices caractéristiques. Les stations extérieures peuvent également lancer des requêtes de recherche à l'unité de traitement, ces recherches s'effectuant sur les matrices caractéristiques. Une fois trouvée la matrice correspondant aux critères de recherche (ou image de référence), il est possible grâce à l'information d'horodatage et à un jeu d'index de repérage d'accéder à l'image ou à la séquence d'images correspondante. Selon la présente invention, la caractérisation des images est réalisée en temps réel au moment où elles sont acquises, enregistrées et éventuellement transmises. Le résultat de cette caractérisation est un ensemble d'informations, que nous appellerons matrice descriptive, sous forme de fichier de petite taille comparée à la taille de l'image, même compressée, qui lui est associée. Cette association est réalisée par une méthode de marquage temporel à l'image qu'il caractérise. Certains systèmes d'association de méta-donnée, du type MPEG-7 (Motion Picture Expert Group), peuvent être utilisés pour réaliser cette association. Ce fichier est enregistré parallèlement à l'image. Il peut être exploité ou transmis seul, sans l'image qu'il caractérise. Dans une application de la présente invention, la recherche d'éléments peut être postérieure à l'enregistrement de ces données (matrices et vidéo). L'intérêt de l'invention est de permettre la recherche au travers des matrices caractéristiques et non pas des images. Ainsi, on simplifie, de façon notable, les retraitements et on les accélère. On peut déporter l'analyse des données sur des serveurs après la transmission des matrices. Enfin, les besoins de bande passante sont grandement réduits compte tenu de la faible taille des fichiers, ce qui facilite, d'ailleurs, la recherche sur un grand nombre de sources. Une autre application de la présente invention concerne la recherche en temps réel. Des caractéristiques de l'élément recherché sont envoyées au serveur de traitement en temps réel. Lors de la création des matrices, alors que le serveur reçoit le flux vidéo depuis le capteur, le serveur compare les caractéristiques de l'élément recherché avec les matrices créées en temps réel. Si les caractéristiques correspondent, une alarme peut être remontée. La matrice de caractérisation est spécifique des éléments que l'on peut être amené à surveiller (humain, voiture, objet) que l'on appelle cibles . La structure de base se compose comme suit: É pourcentage de différence par rapport à l'image précédente; É pourcentage de différence par rapport à une image de référence; É nombre de cibles mobiles détectées; É caractérisation des cibles. La partie essentielle de la matrice concerne la caractérisation des cibles puisque la recherche sera d'autant plus fine que les caractérisations auront été bien choisies et bien réalisées. Comme caractérisation des cibles, on note. É la position dans l'image, 10 É le vecteur de déplacement, É la dimension en rapport avec l'image globale ou à une référence, É les caractéristiques de couleur: trois zones haute - moyenne - basse , É la durée de présence de la cible dans la scène filmée et analysée. Les caractéristiques de couleur en trois zones sont particulièrement bien adaptées à la caractérisation et à la recherche d'individu, haute correspondant à la tête (cheveu ou chapeau), moyenne au manteau et basse au pantalon. L'information de durée de présence de la cible dans l'image permet d'effectuer des calculs sur la durée de présence et d'éventuellement établir des règles suite à une présence trop longue dans une zone de passage, par exemple. Dans un mode de réalisation plus avancé, l'invention permet également, en temps réel et à partir des coordonnées des cibles, d'effectuer des photos complémentaires aux séquences vidéo d'ensemble. Pour cela, on peut utiliser un capteur d'images, par exemple un appareil photo numérique distinct de la caméra, ou bien utiliser cette même caméra. La photo peut être réalisée soit par zoom électronique si le capteur de la caméra utilisée pour la caractérisation est suffisant, soit par une caméra mobile additionnelle qui s'orientera sur la cible avec un fort grossissement et enregistrera la photo. L'image fixe ainsi enregistrée pourra être également associée à la matrice caractéristique afin de permettre une analyse plus fine. Les photos gros plan ainsi obtenues sont stockées comme des objets avec des liens de type hypertexte permettant d'y accéder. Dans un mode de réalisation illustré par la figure 2, un dispositif d'affichage permet de visualiser une représentation graphique des éléments analysés dans la scène par la présente invention. Un tel dispositif peut être réalisé par des moyens informatiques (processeur, mémoire et logiciel permettant d'interpréter et de transcrire les matrices caractéristiques des cibles) et un écran d'affichage. La figure 2 représente l'affichage à l'aide de formes simples (rond, carré, ...) de la localisation géographique des cibles (2) dans la scène analysée. Un encart (3) renseigne du nombre de cibles présentes dans la scène (quatre dans ce cas précis) et de l'heure de l'analyse. Le dispositif permet aussi l'affichage du mouvement instantané de la cible à l'aide de flèches (6) mais également celui du trajet (4) suivi par la cible (l'historisation peut se faire par exemple par la sauvegarde des dernières positions de la cible dans la mémoire informatique). Enfin, des moyens annexes, tels une souris d'ordinateur, permettent de pointer une cible sur l'écran et d'afficher les caractéristiques associées (5) à cette cible. Une application très utile de la présente invention concerne la disparition d'un enfant dans une ville dont la surveillance est assurée par des caméras numériques ou des serveurs d'enregistrement d'images mettant en uvre le procédé de l'invention. Pour retrouver la trace de l'enfant, il suffit de décrire les caractéristiques de l'enfant: É taille, forme (humaine), É couleur de la tête, du vêtement haut, du vêtement 10 bas, É sens de déplacement. La requête peut alors être envoyée aux serveurs qui recherchent dans les matrices caractéristiques si ces critères sont retrouvés, et s'il ne le sont pas complètement, quel est le pourcentage de correspondance (matching). Il est alors possible de visualiser les images ou séquences associées pour effectuer une validation humaine permettant la prise de décision. L'invention est décrite dans ce qui précède à titre d'exemple. Il est entendu que l'homme du métier est à même de réaliser différentes variantes de l'invention sans pour autant sortir du cadre du brevet. REVENDICATIONS 1. Procédé de caractérisation d'images d'un flux vidéo pour la recherche d'éléments, comprenant: É une première étape d'acquisition d'un flux vidéo par un capteur d'images; É une étape de numérisation dudit flux acquis par un module de numérisation, É une étape de caractérisation dudit flux vidéo 10 numérisé par une unité de traitement; É une étape d'encodage dudit flux vidéo numérisé par une unité d'encodage, caractérisé en ce que. É lesdites étapes de caractérisation et d'encodage 15 sont réalisées de façon parallèle et en temps réel; É ladite étape de caractérisation réalise une matrice de caractérisation de chacune des images dudit flux vidéo numérisé, et É en ce qu'il comprend, en outre, une étape 20 d'horodatage des flux traité issu de l'étape de traitement et encodé issu de l'étape d'encodage. 2. Procédé de caractérisation selon la revendication 1, caractérisé en ce que ladite matrice de caractérisation 25 comprend: É le pourcentage de différence par rapport à l'image précédente; É le pourcentage de différence par rapport à une image de référence; É le nombre de cibles mobiles détectées; É la caractérisation desdites cibles. 3. Procédé de caractérisation selon la revendication 2 caractérisé en ce que ladite caractérisation des cibles comprend: É la position dans l'image desdites cibles, É le vecteur de déplacement desdites cibles, É la dimension desdites cibles en rapport avec l'image globale ou à une référence, É les caractéristiques de couleur desdites cibles, É la durée de présence de ladite cible dans la scène. 10 4. Procédé de caractérisation selon l'une des revendications 2 ou 3, caractérisé en ce qu'il comprend, en outre, une étape de capture d'une image fixe zoomée sur une desdites cibles caractérisées. 5. Procédé de caractérisation selon la revendication précédente, caractérisé en ce qu'il comprend, en outre, une étape d'association de ladite image fixe avec la matrice de caractérisation comprenant ladite cible zoomée. 6. Procédé de caractérisation selon l'une des revendications 4 ou 5, caractérisé en ce que ladite capture est réalisée par un appareil photo annexe. 7. Système pour la mise en uvre du procédé selon l'une quelconque des revendications précédentes comprenant un capteur d'images, une mémoire de trame, une unité de numérisation, une unité de calcul, une unité d'encodage comprenant un processeur d'encodage. 8. Procédé de recherche d'éléments dans un flux vidéo, caractérisé en ce qu'il met en uvre le procédé de caractérisation selon l'une quelconque des revendications 1 à 6 et en ce qu'il comprend, en outre, É une étape d'envoi d'une requête portant sur les caractéristiques desdits éléments recherchés à l'unité de traitement; É une étape de comparaison desdites caractéristiques 5 avec ladite matrice de caractérisation générée lors de l'étape de caractérisation. 9. Procédé de recherche d'éléments dans un flux vidéo, caractérisé en ce qu'il met en oeuvre le procédé de caractérisation selon l'une quelconque des revendications 1 à 6 et en ce qu'il comprend, en outre, . É une étape de transmission de ladite matrice de caractérisation générée lors de l'étape de caractérisation à un serveur distant au travers d'un réseau de communication; É une étape de comparaison sur ledit serveur distant desdites matrices de caractérisation avec des critères de recherche. 10. Procédé de recherche d'éléments selon l'une des 20 revendications 8 et 9, caractérisé en ce qu'il comprend, en outre, . É une étape de récupération des caractéristiques d'une cible dans lesdites matrices; et É une étape d'affichage d'une représentation spatiale 25 des positions géographiques desdites cibles dans la scène sur un dispositif de visualisation.