Brevet FR2944174A1 — publié le 20101008

PROCÉDÉ D'EXTENSION VIRTUELLE ET D'ENRICHISSEMENT DU CHAMP D'OBSERVATION D'UNE SCÈNE DESCRIPTION 5 DOMAINE TECHNIQUE L'invention se situe dans le domaine de traitement d'images et se rapporte à l'observation d'une scène à partir d'une image fixe ou d'une vidéo. Plus spécifiquement, l'invention concerne 10 un procédé d'extension virtuelle et d'enrichissement du champ d'observation de l'image courante d'une scène décrite par une vidéo comportant plusieurs images afin d'en extraire des informations pertinentes. ÉTAT DE LA TECHNIQUE ANTÉRIEURE 15 Les solutions utilisées dans l'art antérieur pour étendre et enrichir le champ d'observation d'une scène consistent généralement à exploiter des méta-données de localisation de la source d'images pour projeter l'emprise du champ de vue de 20 ladite source ou l'image elle-même sur une référence géographique (carte, ortho-image, modèle 3D, ...). Ceci permet de localiser l'image courante fournie par la source d'image sur une zone particulière à observer. Ainsi, dans le cas des applications de type 25 vidéosurveillance ou station sol de drones, les solutions connues consistent à exploiter les méta-données de localisation des caméras embarquées. Un inconvénient de cette solution provient du fait que l'opérateur doit regarder deux sources 30 d'informations (l'image et la référence géographique) 2 ce qui, en conditions de stress (opérations militaires, attaques terroristes...) nuit à l'efficacité et à la réactivité. Par ailleurs, les données auxiliaires ne sont généralement pas suffisamment précises pour permettre une localisation précise de l'image sur la référence géographique. Enfin, selon les conditions d'acquisition de l'image, et malgré la visualisation de l'empreinte, il peut être fastidieux de désigner des points de correspondance (bâtiments, rues, ...) entre l'image et la référence. Pour pallier cet inconvénient, certains systèmes, notamment de vidéosurveillance, proposent de projeter les champs de vue de chaque caméra dans une vue 3D de la scène. L'opérateur a alors accès aux vues des caméras en naviguant dans le modèle 3D enrichi en temps réel. Cette solution résout le problème de la perception de la localisation de chaque caméra mais est sujette à des problèmes potentiels de déformations des objets 3D après reprojection et présente par ailleurs l'inconvénient d'afficher à l'opérateur une image transformée (en fonction du point de vue), ce qui, d'un point de vue opérateur est généralement très mal perçu (nécessité d'avoir accès à tout instant à l'information brute issue du capteur la moins transformée possible). La problématique d'extension du champ de vue d'une scène a déjà été proposée par Honda et al (Pseudo Expansion of Field of View for Immersive Projection Displays ù K. Honda, N. Hashimoto, M. Sato ù SIGGRAPH'07) ainsi que Magjarevic et al (Non-Optical Expansion of Field of View of the Rigid Endoscope - R. 3 Magjarevic et al, World Congress on Medical Physics and Biomedical Engineering 2006). Cependant, les techniques décrites dans ces documents n'utilisent que les images récentes de la vidéo (N dernières images) dans une approche mosaïquage temps réel et ne fonctionne donc que dans des déplacements en rapprochement pour lesquels l'image courante est toujours entièrement incluse dans l'image précédente. Le but de l'invention est de pallier les 10 inconvénients de l'art antérieur décrits ci-dessus. EXPOSÉ DE L'INVENTION Ce but est atteint au moyen d'un procédé dans lequel le mosaïquage utilise potentiellement l'ensemble de la vidéo disponible et l'information 15 manquante peut être mise à jour à partir d'informations contextuelles telles qu'une image de plus grand champ disponible sur la zone, une image aérienne, un modèle 3D recalé selon le bon point de vue, une carte,... Ceci est obtenu par un procédé d'extension 20 virtuelle et d'enrichissement du champ d'observation de l'image courante d'une scène décrite par une vidéo comportant plusieurs images comportant les étapes suivantes . a- étendre ledit champ d'observation par au 25 moins une mosaïque obtenue à partir desdites images et par insertion d'au moins une donnée contextuelle dans le référentiel géographique de l'image courante de ladite scène, b- enrichir ledit champ de vue par au moins 30 une information sémantique et/ou une information asémantique référencée dans ladite donnée contextuelle. 4 Dans une première variante de réalisation, l'étape a) est obtenue par mosaïquage multi-résolution en temps réel de ladite vidéo dans un référentiel fixe. Préférentiellement, le procédé selon l'invention comporte en outre une étape consistant à compléter le champ de d'observation de l'image courante de ladite scène par des portions de mosaïque préalablement mémorisées comprises dans le champ d'observation étendu par l'étape a). Ladite mosaïque préalablement mémorisée comporte un nombre de niveaux de résolution fixe prédéfini. Dans une autre variante de réalisation, l'étape a) est obtenue par mosaïquage multi-résolution en temps différé opéré sur toutes les images de ladite vidéo. Dans ce cas, le nombre de niveaux de résolution de la mosaïque est estimé à partir des caractéristiques de ladite vidéo. Le procédé selon l'invention comporte en outre un référencement contextuel de l'image courante de ladite scène soit par recalage direct entre ladite image courante et lesdites données contextuelles, soit par recalage de la mosaïque disponible avec lesdites données contextuelles. Selon une caractéristique supplémentaire, le procédé selon l'invention comporte une étape consistant à insérer des données auxiliaires de localisation dans l'image courante telle que par exemple une image aérienne de la zone de déroulement de ladite scène, un modèle 3D texturé ou non de la zone de déroulement de ladite scène, des images de ladite scène prises selon des points de vue différents, ou une donnée contextuelle de type carte géographique. Grâce au procédé selon l'invention, l'interprétation de l'image courante est alors 5 facilitée par son inclusion dans son contexte plus global et son enrichissement sémantique. BRÈVE DESCRIPTION DES DESSINS D'autres caractéristiques et avantages ressortiront de la description qui va suivre, prise à titre d'exemple non limitatif, en référence aux figures annexées dans lesquelles : - la figure 1 illustre schématiquement l'extension du champ de vue d'une scène vidéo par utilisation combinée d'une mosaïque multi-résolution et de données contextuelles selon l'invention, - la figure 2 illustre schématiquement l'enrichissement du champ de vue de la scène de la figure 1 par transmission d'informations sémantiques référencées dans les données contextuelles. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS Le procédé selon l'invention intervient dans le contexte de l'utilisation d'images ou de vidéos pour l'observation ou la surveillance d'une scène étendue. Les applications sont multiples : surveillance de zone à partir d'une caméra fixe ou mobile, installée au sol ou à bord de tout engin volant (drone, dirigeable, avion, hélicoptère, ...), navigation dans un réseau de caméras de vidéosurveillance, retransmission sportive (tour de France, Formule 1, courses hippiques,_)".. 6 Ces applications ont pour point commun l'observation à un instant donné d'une petite partie de la scène à observer. En effet, un compromis est nécessaire entre les dimensions des objets qui peuvent être observés (résolution) et la couverture de l'observation (champ de vue). Ce compromis se traduit par la focale utilisée : une focale élevée ("zoom") correspond à une résolution fine de la scène observée mais offre un champ de vue réduit qui nuit à la perception globale de la scène et notamment à la localisation de la scène observée au sein de ladite zone. A l'inverse, une focale faible ("grand angle") permet une bonne perception de l'ensemble de la scène mais ne permet pas une observation fine des objets, véhicules, personnes, présents sur le terrain. Le procédé proposé permet d'observer une scène avec un maximum de résolution (focale élevée) tout en conservant une bonne perception de la localisation de la scène observée au sein de l'ensemble de la zone d'intérêt. A titre d'exemple la zone globale d'intérêt peut être, selon l'application une zone de combat observée par un drone, une ville observée par un réseau de caméras de vidéosurveillance, le trajet d'une étape du tour de France. La zone observée à tout moment par la vidéo est alors, respectivement, centrée sur un convoi se déplaçant dans la zone de combat, l'une des vues des caméras de vidéosurveillance, une vue centrée sur le peloton (course cycliste). Dans ces trois cas, pouvoir visualiser les vues rapprochées dans leur contexte global (zone d'intérêt globale) apporterait une information particulièrement pertinente pour 7 l'interprétation de la scène observée (de quoi se rapproche le convoi dans quelle direction se dirige la voiture observée par la caméra X, où se situe le peloton par rapport à l'arrivée...). L'objectif du mécanisme d'extension virtuelle du champ de vue est de donner la possibilité à l'opérateur de diminuer virtuellement la focale de son objectif ("dézoom virtuel") de manière à pouvoir mieux localiser la zone observée courante par rapport à la zone d'intérêt globale. En pratique, le dézoom se traduit par l'incrustation du champ de vue courant dans une image de plus grand champ dont les pixels hors champ de vue courant sont issus des informations contextuelles disponibles. La figure 1 illustre le mécanisme d'extension virtuelle du champ de vue d'une zone 2 dans scène vidéo composée de plusieurs images 4. L'étape 6 consiste à générer, à partir de ladite vidéo, une mosaïque multi-résolution 10. Le mosaïquage est multi-résolution en ce sens qu'il est construit sous la forme d'une pyramide de tuiles correspondant à des niveaux de résolution différents et permettant de prendre en compte de grandes variations de la résolution au sol de la vidéo. Ainsi, une vidéo présentant un zoom continu sur une zone (passage d'un plan large à un plan serré) conduit à une mosaïque constituée de tuiles de plus en plus résolues et de plus en plus localisées au sein de la tuile basse résolution initiale. 30 Le champ de vue réel de la zone 2 est ensuite complété, en partie par reprojection (étape 14) 25 8 de la mosaïque constituée à l'étape 6, en partie par recalage (étape 14) et reprojection d'une ou plusieurs données contextuelles 16 dans le référentiel de l'image courante. Dans le cas de la figure 1, la donnée contextuelle est une carte de la zone à observer. Cependant, elle peut être un modèle 3D texturé ou non, d'autres images prises selon des points de vue différents ou image aérienne de ladite zone. Après reprojection, on obtient un champ de vue étendu 20 comportant une image courante de la zone 2 replacée dans le contexte reconstitué à partir de la mosaïque 6 et comportant les données contextuelles 16. Dans un premier mode de réalisation, le mosaïquage multi-résolution est réalisé en temps réel, dans un référentiel fixe (typiquement référentiel géographique, référentiel de la première image,...), puis les portions de mosaïque comprises dans le champ de vue étendu sont utilisées pour compléter le champ de vue courant. L'utilisation d'un référentiel fixe pour le calcul de la mosaïque permet d'éviter de recalculer la mosaïque complète à chaque image ce qui induirait une charge de calcul inutile et une dégradation rapide de la qualité image. Par ailleurs, l'utilisation d'une mosaïque mémorisée permet d'étendre les possibilités d'expansion du champ de vue par rapport à un mosaïquage limité aux dernières images de la vidéo. Dans un deuxième mode de réalisation, le mosaïquage multi-résolution est opéré en mode différé 9 sur l'ensemble de la vidéo, puis la mosaïque multirésolution complète est utilisée à chaque visualisation différée de la vidéo. Par rapport au temps réel, les capacités d'extension du champ de vue à partir des données vidéo sont donc potentiellement accrues puisque le procédé s'appuie alors non seulement sur les images passées mais également futures. En mode temps réel, le nombre de niveaux de 10 résolution de la mosaïque est figé et défini en entrée de l'algorithme. En mode différé en revanche, le nombre de niveaux de résolution peut être estimé à partir des caractéristiques de la vidéo telles que, par exemple, 15 la variation de la résolution au sol sur l'ensemble de la vidéo à mosaïquer. Dans le cas où un seul niveau de résolution est imposé, le mosaïquage se fait dans la résolution du référentiel choisi (référentiel géographique, première 20 image,...). Le mosaïquage multi-résolution est complété dans les deux modes temps réel et différé par un référencement contextuel de l'image courante. Ce référencement utilise soit un recalage direct entre 25 l'image courante et des données contextuelles (image aérienne, image selon un autre point de vue, carte, modèle 3D,...), soit se fait par l'intermédiaire du recalage de la mosaïque disponible (mosaïque temps réel en mode temps réel ou mosaïque complète en mode 30 différé) avec les données contextuelles. 10 Dans les deux cas, le référencement peut s'aider des éventuelles données auxiliaires de localisation disponibles (cas d'un drone d'observation par exemple). L'appariement entre les données courantes et les données contextuelles est utilisé : a) Pour reprojeter les données contextuelles dans le champ de vue étendu, permettant ainsi une meilleure interprétabilité de l'image, b) En fonction du type de donnée de référence permettant d'estimer les conditions de prise de vue de la donnée courante (typiquement position et orientation 3D). Dans le cas de l'utilisation de données de référence 3D, les conditions de prise de vue estimées sont utilisées pour reprojeter le modèle 3D de manière optimale. L'intérêt d'un � dé-zoom virtuel � par rapport à un � dé-zoom réel � est de plusieurs ordres : d'une part le � dé-zoom � est potentiellement illimité : la limite n'est donnée que par l'étendue des données contextuelles disponibles. Par ailleurs, dans un cadre temps réel, le dé-zoom réel présente le risque de perdre de vue l'objet d'intérêt notamment si celui-ci est pisté par un algorithme de suivi automatique. Enfin, en mode différé (investigation, montage, ...), l'opérateur n'a plus la faculté d'influer sur les paramètres de prise de vue et donc d'opérer un dé-zoom réel. La figure 2 illustre le mécanisme d'enrichissement du champ de vue de la zone 2 pour accroître l'intelligibilité de la scène. 11 Outre les étapes décrites précédemment par référence à la figure 1, ce mécanisme comporte une étape supplémentaire consistant à enrichir la donnée contextuelle 16 d'une information sémantique ou asémantique telle que le nom de la rue 24 ou des plots de pistage 26. Ce mécanisme permet ainsi, grâce au recalage 14 permanent de l'image courante avec les données contextuelles, de transmettre, à la demande de l'opérateur, lesdites informations sémantiques ou asémantiques sur le contenu de la scène directement dans l'image observée (et le cas échéant dans le champ étendu) dans une approche de type �réalité augmentée�. Une telle approche contribue à synthétiser l'information disponible sur une scène donnée au sein d'une seule et unique visualisation, accroît considérablement l'intelligibilité de la scène observée et au final améliore l'efficacité de l'opérateur. Dans le cas d'un drone en surveillance aérienne sur zone urbaine par exemple, les informations sémantiques affichables directement dans l'image sont par exemple : • un bâtiment d'intérêt, • les noms de rues, • une cible mobile pistée par un autre moyen, Les informations asémantiques peuvent typiquement résulter du traitement de l'image courante pour la détection de changements par rapport à la mosaïque temps réel et/ou par rapport à la donnée de référence. Une telle détection de changement permet 12 d'attirer l'attention de l'opérateur sur un objet présent dans l'image courante et absent de la précédente observation par exemple. Le procédé selon l'invention s'applique dans le cas où une scène étendue est observée par un ou plusieurs senseurs. A type d'exemples, citons : • Station sol de drone de reconnaissance : l'extension virtuelle et l'enrichissement du champ de vue sont particulièrement pertinents dans un cadre de surveillance urbaine où les exigences de résolution au sol imposent un champ de vue réduit et donc une difficulté de la part de l'opérateur à localiser précisément l'image courante relativement à sa zone de surveillance (quartier, ville, ...), • Tenue de situation à partir d'un réseau de vidéosurveillance : les fonctionnalités apportées par le procédé selon l'invention permettent de faciliter le suivi multi-caméras d'un objet d'intérêt, la localisation globale d'un objet observé,... REVENDICATIONS1. Procédé d'extension virtuelle et d'enrichissement du champ d'observation de l'image courante d'une scène décrite par une vidéo comportant plusieurs images, caractérisé en ce qu'il comporte les étapes suivantes . a- étendre ledit champ d'observation par au moins une mosaïque obtenue à partir desdites images et par insertion d'au moins une donnée contextuelle dans le référentiel de l'image courante de ladite scène, b- enrichir ledit champ de vue par au moins une information référencée dans ladite donnée contextuelle. 2. Procédé selon la revendication 1, dans lequel l'étape a) est obtenue par mosaïquage multirésolution en temps réel de ladite vidéo dans un référentiel fixe. 3. Procédé selon la revendication 2, comportant en outre une étape consistant à compléter le champ de d'observation de l'image courante de ladite scène par des portions de mosaïque préalablement mémorisées comprises dans le champ d'observation étendu par l'étape a). 4. Procédé selon la revendication 1, dans lequel l'étape a) est obtenue par mosaïquage multi- résolution en temps différé opéré sur toutes les images de ladite vidéo. 14 5. Procédé selon la revendication 3, dans lequel ladite mosaïque préalablement mémorisée comporte un nombre de niveaux de résolution fixe prédéfini. 6. Procédé selon la revendication 4, dans lequel le nombre de niveaux de résolution de la mosaïque est estimé à partir des caractéristiques de ladite vidéo. 10 7. Procédé selon la revendication 2 ou la revendication 4, comportant en outre un référencement contextuel de l'image courante de ladite scène soit par recalage direct entre ladite image courante et lesdites 15 données contextuelles, soit par recalage de la mosaïque disponible avec lesdites données contextuelles. 8. Procédé selon la revendication 7, comportant en outre une étape consistant à insérer des 20 données auxiliaires de localisation dans l'image courante. 9. Procédé selon la revendication 1, dans lequel ladite donnée contextuelle est une image 25 aérienne de la zone de déroulement de ladite scène. 10. Procédé selon la revendication 1, dans lequel ladite donnée contextuelle est un modèle 3D texturé ou non de la zone de déroulement de ladite 30 scène. 5 11. Procédé selon la revendication 3, dans lequel ladite donnée contextuelle est constituée par des images de ladite scène prises selon des points de vue différents. 12. Procédé selon la revendication 1, dans lequel ladite donnée contextuelle est une carte géographique. 10