Brevet FR2971074A1 — publié le 20120803

Procédé et dispositif de traitement de séquences d'images d'une scène et système de surveillance d'une scène comportant un tel dispositif La présente invention concerne un procédé de traitement de séquences d'images d'une scène, acquises par au moins une caméra, du type comprenant une étape de reconstruction d'une vue panoramique de la scène à partir des séquences d'images acquises et une étape d'affichage de la vue panoramique. L'invention concerne également un dispositif associé au procédé de traitement de séquences d'images et un système de surveillance comportant un tel dispositif. En particulier, l'invention s'applique dans le domaine des systèmes de vidéosurveillance. Ces systèmes de vidéosurveillance sont de nos jours dotés de fonctionnalités de plus en plus nombreuses, riches et complexes, dans le but d'automatiser, de simplifier et de fiabiliser le travail d'un opérateur dans les centres de contrôle et commande équipés de tels systèmes de vidéosurveillance. Cependant, l'opérateur doit généralement interpréter un grand nombre de flux vidéo ainsi que des informations provenant de capteurs annexes ou d'algorithmes vidéos. L'opérateur doit alors être expert du système et connaître de façon remarquable la disposition des caméras et dispositifs tiers dans l'environnement filmé par les caméras et surveillé par le système de surveillance. Il effectue alors un effort mental considérable pour se construire une visualisation (mentale) cohérente de la situation de son environnement. Ainsi, la représentation d'informations et de données hétérogènes dans les systèmes de vidéosurveillance est alors une problématique clé. On connaît déjà dans l'état de la technique des systèmes de vidéosurveillance d'une scène comportant des outils de représentation des flux vidéos sur un mur d'écrans avec des images isolées acquises par plusieurs caméras. Dans le meilleur des cas, le numéro et/ou le libellé de chaque caméra filmant la scène ainsi que leur emplacement sont renseignés sur ce mur d'écrans. En plus de la représentation des flux vidéo sur un mur d'écrans, certains systèmes de vidéosurveillance sont équipés d'un système de cartographie utilisé comme support de représentation de données. Ce système de cartographie comporte un outil de visualisation de données globales regroupant plusieurs informations élémentaires comme la position et l'état des caméras, leur champ de vue... En outre, ce système de cartographie est aussi utilisé en tant que support d'interface homme/machine OHM) pour des fonctions opérationnelles de base dans des centres de commandement, par exemple pour la réservation de caméra. De façon générale, les systèmes de cartographie sont en deux dimensions et dissociés du flux vidéo. Néanmoins, les systèmes de vidéosurveillance actuels sont limités dans la représentation de l'information notamment les flux vidéo et les alarmes. Bien que l'utilisation de la cartographie tente de proposer une cohérence géographique des données géolocalisées, celle-ci reste insuffisante pour une vue globale de la scène et la remise dans leur contexte des flux vidéos qui restent dissociés des systèmes de cartographie. Pour répondre à la problématique de contextualisation de l'information tout en assurant, à bas coût, un rendu réaliste de l'environnement, l'utilisation d'images « réelles » devient une nécessité. Par exemple, le document WO 2010/112 604 décrit un procédé d'extension virtuelle et d'enrichissement du champ d'observation de l'image courante d'une scène décrite par une vidéo comportant plusieurs images. Le champ d'observation est étendu par une mosaïque obtenue à partir des images de la vidéo illustrant la scène à différentes résolutions. Le procédé comporte en outre une étape d'insertion dans le référentiel de l'image de données contextuelles et une étape d'enrichissement du champ de vue étendu par une information géoréférencée dans la donnée contextuelle. Le but de l'invention est de proposer un autre type de procédé permettant une contextualisation sous forme d'une vue panoramique du ou des flux d'au moins une caméra. A cet effet, l'invention a pour objet un procédé de traitement de séquences d'images d'une scène du type précité, caractérisé en ce que la vue panoramique comporte au moins une zone d'intérêt déplaçable dans la vue panoramique et rafraichie à une fréquence supérieure à celle du reste de la vue panoramique. Selon des modes particuliers de réalisation, le procédé de traitement de séquences d'images d'une scène comporte l'une ou plusieurs des caractéristiques suivantes prises seules ou en combinaison - la zone d'intérêt est rafraichie dynamiquement à la fréquence d'acquisition des séquences d'images ; - le procédé comprend une étape d'affichage d'informations contextuelles supplémentaires sur la vue panoramique affichée ; - les informations contextuelles supplémentaires appartiennent au groupe consistant en : des dispositifs géoréférencés, des unités mobiles, des évènements géoréférencés, des points d'intérêts ; - la vue panoramique est reconstruite à partir de séquences d'images acquises par au moins une caméra mobile réalisant un balayage de la scène destinée à être représentée sur la vue panoramique ; - la vue panoramique est reconstruite à partir de séquences d'images acquises par au moins deux caméras fixes ayant des champs de vue de la scène au moins contigus ; et - le procédé comprend une étape de filtrage des séquences d'images de la scène pour en retirer des informations. Selon un autre aspect, l'invention a également pour objet un dispositif de traitement de séquences d'images d'une scène, acquises par au moins une caméra, comportant des moyens de reconstruction d'une vue panoramique de la scène à partir des séquences d'images acquises et des moyens d'affichage de la vue panoramique, caractérisé en ce que le dispositif comprend en outre des moyens de définition d'une zone d'intérêt dans la vue panoramique, des moyens de déplacement de la zone d'intérêt dans la vue panoramique et des moyens de rafraichissement de la zone d'intérêt à une fréquence supérieure à celle du reste de la vue panoramique et est adapté pour mettre en oeuvre un procédé de traitement de séquences d'images tel que décrit précédemment. Selon des modes particuliers de réalisation, le dispositif de traitement de séquences d'images comporte l'une ou plusieurs des caractéristiques suivantes prises seules ou en combinaison : - les moyens de déplacement de la zone d'intérêt sont manipulables par un opérateur ; et - les moyens de déplacement de la zone d'intérêt sont choisis dans le groupe comprenant un levier de commande, un écran tactile, un pavé tactile et des boutons. Selon un autre aspect, l'invention a également pour objet un système de surveillance d'une scène, comportant au moins une caméra orientée vers la scène et acquérant des séquences d'images de la scène, caractérisé en ce qu'il comporte un dispositif de traitement de séquences d'images tel que décrit précédemment. L'invention sera mieux comprise à l'aide de la description qui va suivre, donnée uniquement à titre d'exemple et fait en se référant aux dessins annexés, sur lesquels : - la figure 1 est un schéma synoptique illustrant un système de surveillance d'une scène selon l'invention comportant un dispositif de traitement de séquences d'images de la scène, - la figure 2 est un exemple d'illustration d'une vue panoramique d'une scène obtenue par un dispositif de traitement de séquences d'images de la scène selon un mode de réalisation de l'invention, et - les figures 3 et 4 sont des schémas blocs illustrant des étapes d'un procédé de traitement de séquences d'images d'une scène mis en oeuvre par le dispositif de la figure 1. L'invention concerne un système de surveillance 10 d'une scène comme cela est illustré sur la figure 1. Ce système de surveillance 10 comporte au moins une caméra 12 orientée vers la scène et acquérant des séquences d'images de la scène et un dispositif 14 de traitement des séquences d'images de la scène. Dans la suite, les séquences d'images sont également appelées flux vidéo. La caméra ou chaque caméra 12 est du type caméra PTZ pour « Pan-Tilt-Zoom » en anglais, c'est-à-dire contrôlable à distance par un opérateur du système de surveillance 10 pour réaliser des vues panoramiques, en inclinaison ou en zoom de façon réglable. Dans ce cas, les champs de vue instantanés de chaque caméra sont distincts les uns des autres. Selon une variante, la ou chaque caméra 12 est une caméra fixe dont le champ de vue n'est réglable ni en taille, ni en inclinaison ni en zoom. Dans ce cas, les champs de vue instantanés de chaque caméra sont au moins contigus et de préférence se recouvrent partiellement de sorte à pouvoir reconstruire une vue panoramique continue à partir des images acquises par les caméras à un instant donné. Le dispositif 14 de traitement des séquences d'images de la scène comprend une unité 16 de traitement des images acquises par chaque caméra 12 et une interface homme/machine comprenant des moyens 18 d'affichage sous forme graphique des images traitées par l'unité 16 de traitement et des moyens d'entrée par un opérateur de paramètres pour réaliser et/ou contrôler la vue panoramique à afficher. L'unité 16 de traitement est apte à traiter les séquences d'images acquises par les caméras 12, à reconstruire une vue panoramique à partir des séquences d'images acquises et à commander l'affichage de cette vue panoramique sous forme graphique par les moyens 18 d'affichage. Pour cela, l'unité 16 de traitement comporte des moyens 20 de reconstruction de la vue panoramique de la scène à partir des séquences d'images acquises. Le dispositif 14 comprend en outre des moyens de définition d'une zone d'intérêt dans la vue panoramique, des moyens de déplacement de la zone d'intérêt dans la vue panoramique et des moyens de rafraichissement de la zone d'intérêt à une fréquence supérieure à celle du reste de la vue panoramique. Les moyens de déplacement de la zone d'intérêt sont manipulables par un opérateur. Ils sont choisis dans le groupe comprenant un levier de commande, un écran tactile, un pavé tactile, des boutons, etc. En outre, le dispositif 14 comporte une unité 28 de stockage de données représentatives des séquences d'images acquises et des données à afficher sous forme graphique par les moyens 18 d'affichage telles que la vue panoramique reconstruite et la zone d'intérêt. Pour cela, l'unité 28 de stockage comporte une première mémoire 30 et une seconde mémoire temporaire 32. La première mémoire 30 est adaptée pour stocker les données initiales et finales, c'est-à-dire respectivement avant et après traitement par l'unité 16 de traitement. La seconde mémoire temporaire 32 est adaptée pour stocker les données temporaires, c'est-à-dire en cours de traitement par l'unité 16 de traitement. La figure 2 illustre un exemple d'une vue panoramique 50 d'une scène reconstruite par les moyens 20 de reconstruction d'un dispositif 14 de traitement de séquences d'images de la scène tel que décrit ci-dessus. Dans cette vue panoramique 50, une zone d'intérêt 52 est définie par les moyens de définition du dispositif 14. Cette zone d'intérêt 52 est représentative du champ de vue d'une caméra 12 d'un système de surveillance selon l'invention comportant le dispositif 14. La zone d'intérêt 52 est rafraichie à une fréquence supérieure à celle du reste de la vue panoramique par les moyens de rafraichissement du dispositif 14. Ainsi, la vue panoramique est rafraichie localement par le flux vidéo provenant de la ou chaque caméra associée à une zone d'intérêt. Dans la suite de la description, la vue panoramique dynamique est formée de la zone d'intérêt rafraichie et de la vue panoramique, c'est-à-dire le fond, dite statique par rapport à une plus faible fréquence de rafraichissement que celle de la zone d'intérêt. En fonctionnement, un opérateur utilisant un système 10 de surveillance selon l'invention, entre des données via l'interface homme/machine concernant la vue panoramique qu'il souhaite afficher sur les moyens 18 d'affichage de l'interface homme-machine. En particulier, ces données concernent les dimensions du champ de vue et la résolution de la vue panoramique souhaitée. Ces données sont transmises à l'unité 16 de traitement en vue de la construction de la vue panoramique et stockées dans la mémoire temporaire 32 de l'unité de stockage 28. Le dispositif de traitement de séquences d'images met en ceuvre un procédé de traitement de séquences d'images d'une scène selon l'invention. Celui-ci est décrit dans le cas où les séquences d'images sont acquises par une seule caméra 12 afin de simplifier la description. Cette caméra 12 est de préférence une caméra mobile du type caméra PTZ. Ce procédé comporte une étape de création ou de reconstruction d'une vue panoramique de la scène à partir des séquences d'images acquises par la caméra mobile ayant réalisé un balayage de la scène. De préférence, la vue panoramique représente un champ de vue de 360°. Un exemple de réalisation de cette étape 100 est illustré sur la figure 3. Après avoir reçu une demande de l'opérateur pour la génération d'une vue panoramique en 102, l'unité de traitement 16 lit dans l'unité 28 de stockage des informations concernant la caméra à utiliser pour générer la vue panoramique souhaitée, au cours d'une étape 104. Par exemple, ces informations sont l'adresse IP de la caméra, ses coordonnées géographiques... Ensuite, en 106, l'unité 16 de traitement envoie des commandes à la caméra afin qu'elle acquiert une séquence d'images permettant de reconstruire la vue panoramique souhaitée tant en résolution qu'en champ de vue. Au cours d'une étape 108, la caméra acquiert cette séquence d'images pendant un temps défini en fonction de la résolution et du champ de vue souhaités et des paramètres d'acquisition de la caméra. Les images acquises sont transmises au dispositif 14 et enregistrées dans la mémoire temporaire 32. Puis, l'unité 16 de traitement filtre et nettoie les images de la séquence pour en retirer des informations, en 110. Par exemple, une image brute, c'est-à-dire acquise par la caméra, est nettoyée et filtrée afin de supprimer de l'image les éléments dynamiques indésirables dans la représentation de la scène illustrant la ville tels que des voitures, personnages ou autres. Cette étape est réalisée automatiquement. Pour cela, l'unité 16 de traitement met en oeuvre des méthodes d'analyse vidéo dans le but de détecter automatiquement les objets mobiles, par exemple en appliquant des méthodes de segmentation du fond et de ne garder dans l'image que le fond statique de la scène dans le but de former la vue panoramique dite statique. Les images filtrées et nettoyées sont stockées dans la mémoire temporaire 32. Ensuite, si la caméra n'a pas balayé un champ de vue suffisant pour former la vue panoramique statique désirée, le dispositif 14 effectue à nouveau les étapes 106 à 110 jusqu'à ce qu'il y ait suffisamment d'images pour former la vue panoramique statique désirée. Alors, l'unité 16 de traitement construit la vue panoramique statique à partir des images nettoyées et filtrées enregistrées dans la mémoire temporaire 32, au cours d'une étape 112. Pour cela, les images provenant de la caméra mobile, prises à différents angles (Pan et Tilt), après avoir été nettoyées et filtrées, sont juxtaposées par des techniques de traitements d'images connues de l'homme du métier permettant de les aligner et de former une image globale de toute la scène : la vue panoramique statique. Cette image est alors enregistrée dans la première mémoire 30 de l'unité de stockage 28 et transmise aux moyens 18 d'affichage. Puis, l'opérateur définit une zone d'intérêt dans la vue panoramique à l'aide des moyens de définition de cette zone, par exemple en utilisant un écran tactile, un pavé tactile et/ou des boutons des moyens d'entrée de l'interface homme-machine. Cette zone d'intérêt est rafraichie de façon dynamique à partir du flux vidéo de la caméra. L'ensemble formé par la zone d'intérêt rafraichie dans la vue panoramique est appelé par la suite une vue panoramique dynamique. La figure 4 illustre un exemple de réalisation d'une étape 200 d'affichage de la vue panoramique dynamique du procédé de traitement des séquences d'images de la caméra mise en oeuvre par le dispositif 14. Après avoir reçu la définition de la zone d'intérêt par l'opérateur, l'unité de traitement 16 lit dans l'unité 28 de stockage des informations concernant la caméra correspondant à la zone d'intérêt souhaitée, au cours d'une étape 202. Par exemple, ces informations sont l'adresse IP de la caméra, ses coordonnées géographiques... Ensuite, une étape d'incrustation du flux vidéo dans la vue panoramique est réalisée afin de relocaliser le flux vidéo dans la vue panoramique. Cette étape de déroule en deux sous-étapes : - tout d'abord, une sous-étape 204 de relocalisation globale utilisant les valeurs de positionnement de la caméra directement retournées par l'encodeur de celle-ci, en 206. Cette méthode « directe » présente l'avantage d'être robuste aux conditions de luminosité de la scène puisqu'elle ne se base que sur des valeurs mécaniques. Les coordonnées de la texture de la portion de la vue panoramique définie par la zone d'intérêt à mettre à jour sont calculées en 208. - puis une sous-étape 210 de relocalisation fine est exécutée en s'appuyant sur des techniques de traitement d'images pour affiner la localisation. De façon générale, cette sous-étape 210 de relocalisation fine est réalisée par la mise en correspondance de points d'intérêt entre la vue panoramique et les images acquises par la caméra. Ensuite, la texture de la portion de la vue panoramique correspondant à la zone d'intérêt est mise à jour, en 212, en y incrustant le flux vidéo reçu par la caméra associée à la zone d'intérêt. Ainsi, la zone d'intérêt est rafraichie à une fréquence supérieure à celle du reste de la vue panoramique. De préférence, elle est rafraichie dynamiquement à la fréquence d'acquisition du flux vidéo de la caméra associée à la zone d'intérêt. De plus, la zone d'intérêt est déplaçable dans la vue panoramique par l'opérateur à l'aide des moyens de déplacement de cette zone, par exemple en utilisant un écran tactile, un pavé tactile et/ou des boutons des moyens d'entrée de l'interface homme-machine. Dans ce cas, l'étape 200 d'affichage de la vue panoramique dynamique est alors mise en oeuvre à nouveau. L'étape 200 d'affichage de la vue panoramique est réalisée en utilisant un modèle tridimensionnel (3D) primitif comme par exemple un polyèdre (ou quad) ou de préférence une sphère. Le procédé comporte en outre une étape d'enrichissement de la vue panoramique dynamique par des informations sur l'environnement, par exemple le nom des rues visibles sur la vue panoramique, ainsi que l'état du système, par exemple des alarmes localisées. Pour cela, les paramètres intrinsèque et extrinsèque de chaque caméra sont estimés d'une manière précise afin de pouvoir intégrer ces informations d'une manière réaliste dans la vue panoramique dynamique. Au cours de cette étape, un affichage d'informations contextuelles supplémentaires sur la vue panoramique affichée est réalisé. Ces informations contextuelles supplémentaires sont choisies dans le groupe comprenant des dispositifs géoréférencés, des unités mobiles, des évènements géoréférencés, des points d'intérêts. Selon une variante, l'étape 100 de reconstruction d'une vue panoramique est répétée régulièrement afin de mettre à jour la vue panoramique statique. Cependant, la fréquence de mise à jour de la vue panoramique statique est inférieure à celle de la zone d'intérêt. Cette mise à jour assure une bonne correspondance avec la scène réelle sur une plus grande durée. Le procédé et le dispositif de traitement de séquences d'images d'une scène permettent ainsi d'obtenir une vue panoramique dynamique rafraîchie localement par la/les vidéo(s) provenant d'un ou plusieurs points d'observation qui restaure ainsi de façon réaliste le contexte d'un ou de plusieurs flux vidéo réels. Ainsi, on conçoit que le système et le dispositif selon l'invention permettent de minimiser la charge cognitive de l'opérateur en réduisant la nécessité de réajuster le cadre de référence des caméras lors du changement du point de vue. En outre, l'utilisation du contexte panoramique permet d'afficher sur un même support : le flux vidéo, le voisinage proche de la caméra de façon statique, et des informations géolocalisées comme des alarmes ou contextuelles comme le nom des rues, si elles sont visibles dans le champ de la vue panoramique, afin de compléter la perception de l'opérateur. On conçoit également que les coûts de conception d'un système de surveillance selon l'invention sont beaucoup moindres que la conception d'un environnement synthétique pour la contextualisation des flux vidéos. En effet, dans le cas d'une contextualisation des flux vidéo utilisant un modèle tridimensionnel (3D), le modèle synthétique de l'environnement à observer doit être construit de manière la plus réaliste possible. Cela nécessite des coûts de conception et de développement d'un modèle 3D de l'ordre de 10000 euros pour un environnement de 200 m x 200 m par exemple. Ainsi ce procédé comportant une étape de modélisation 3D est non envisageable surtout dans le cas de surveillance urbaine à grande échelle tandis que le procédé selon l'invention de contextualisation par l'image panoramique n'est pas coûteuse puisque l'image panoramique est construite en utilisant les images acquises sur le site et que le flux vidéo est projeté sur ce panorama. Cette reconstruction est réalisée automatiquement ne prend qu'une quinzaine de minutes environ. En outre, on comprend que le dispositif de surveillance selon l'invention permet également d'apporter de nouvelles fonctionnalités par rapport aux dispositifs de surveillance de l'état de la technique telles que le contrôle des cameras simplifiant ainsi l'usage du dispositif de vidéosurveillance. En effet, l'opérateur contrôle son visuel en utilisant par exemple un levier de commande (ou « joystick » en anglais) classique. En outre, en commandant la caméra en panorama et en inclinaison, la zone d'intérêt mise à jour se déplace en fonction des mouvements de la caméra. De plus, l'affichage des autres caméras disponibles du réseau dans le champ de vue panoramique représentées respectivement par leur zone d'intérêt associée permet à l'opérateur de choisir/basculer de la caméra en cours vers une autre caméra simplement par sélection de celle-ci dans le panorama grâce à l'interface homme-machine. Par exemple, l'opérateur sélectionne la caméra en double cliquant sur la zone d'intérêt représentative du champ de vue de la caméra dans le panorama à l'aide d'un levier de commande, d'un écran tactile ou d'une souris de l'interface homme-machine. REVENDICATIONS1.- Procédé de traitement de séquences d'images d'une scène, acquises par au moins une caméra (12), comprenant une étape de reconstruction (100) d'une vue panoramique (50) de la scène à partir des séquences d'images acquises et une étape d'affichage de la vue panoramique, caractérisé en ce que la vue panoramique (50) comporte au moins une zone d'intérêt (52) déplaçable dans la vue panoramique et rafraichie à une fréquence supérieure à celle du reste de la vue panoramique (50). 2.- Procédé de traitement de séquences d'images selon la revendication 1, caractérisé en ce que la zone d'intérêt (52) est rafraichie dynamiquement à la fréquence d'acquisition des séquences d'images. 3.- Procédé de traitement de séquences d'images selon l'une quelconque des revendications 1 et 2, caractérisé en ce qu'il comprend une étape d'affichage d'informations contextuelles supplémentaires sur la vue panoramique affichée. 4.- Procédé de traitement de séquences d'images selon la revendication 3, caractérisé en ce que les informations contextuelles supplémentaires appartiennent au groupe consistant en : des dispositifs géoréférencés, des unités mobiles, des évènements géoréférencés, des points d'intérêts. 5.- Procédé de traitement de séquences d'images selon l'une quelconque des revendications 1 à 4, caractérisé en ce que la vue panoramique (50) est reconstruite à partir de séquences d'images acquises par au moins une caméra (12) mobile réalisant un balayage de la scène destinée à être représentée sur la vue panoramique (50). 6.- Procédé de traitement de séquences d'images selon l'une quelconque des revendications 1 à 5, caractérisé en ce que la vue panoramique (50) est reconstruite à partir de séquences d'images acquises par au moins deux caméras (12) fixes ayant des champs de vue de la scène au moins contigus. 7.- Procédé de traitement de séquences d'images selon l'une quelconque des revendications 1 à 6, caractérisé en ce qu'il comprend une étape (110) de filtrage des séquences d'images de la scène pour en retirer des informations. 8.- Dispositif (14) de traitement de séquences d'images d'une scène, acquises par au moins une caméra (12), comportant des moyens (20) de reconstruction d'une vue panoramique (50) de la scène à partir des séquences d'images acquises et des moyens d'affichage (18) de la vue panoramique, caractérisé en ce que le dispositif comprend en outre des moyens de définition d'une zone d'intérêt (52) dans la vue panoramique (50), des moyens de déplacement de la zone d'intérêt (52) dans la vue panoramique et des moyens de rafraichissement de la zone d'intérêt (52) à une fréquence supérieure à celle du reste de la vue panoramique et est adapté pour mettre en oeuvre un procédé de traitement de séquences d'images selon l'une quelconque des revendications 1 à 7. 9.- Dispositif (14) de traitement de séquences d'images selon la revendication 8, caractérisé en ce que les moyens de déplacement de la zone d'intérêt sont manipulables par un opérateur. 10.- Dispositif (14) de traitement de séquences d'images selon l'une quelconque des revendications 8 et 9, caractérisé en ce que les moyens de déplacement de la zone d'intérêt sont choisis dans le groupe comprenant un levier de commande, un écran tactile, un pavé tactile et des boutons. 11.- Système (10) de surveillance d'une scène, comportant au moins une caméra (12) orientée vers la scène et acquérant des séquences d'images de la scène, caractérisé en ce qu'il comporte un dispositif (14) de traitement de séquences d'images acquises selon l'une quelconque des revendications 8 à 10.25