Brevet FR2952458A1 — publié le 20110513

PROCÉDÉ DE CALCUL D'UN DESCRIPTEUR MULTIMODAL POUR L'ANALYSE D'UNE IMAGE FIXE OU MOBILE DOMAINE TECHNIQUE L'invention se situe dans les domaines de la mise en correspondance d'images, de la catégorisation d'images et de la reconnaissance d'objet par traitement d'images et concerne plus spécifiquement un procédé de calcul d'un descripteur multimodal pour l'analyse d'une image fixe ou d'une image vidéo comportant les étapes suivantes : a- segmenter ladite image, b- déterminer une région invariante de l'image segmentée, c- effectuer une normalisation isotrope de ladite région. ÉTAT DE LA TECHNIQUE ANTÉRIEURE Les descripteurs locaux invariants sont désormais une base commune à de très nombreux algorithmes de traitements d'images concernant, notamment, la mise en correspondance d'images, la catégorisation de photos ou encore la reconnaissance d'objets. Les solutions actuelles de détermination des descripteurs locaux invariants comportent une détermination d'une région invariante, notamment aux changements d'échelle, translations et rotations, et aux transformations affines, une normalisation affine de cette région et un calcul d'un descripteur sur la forme finale de la région obtenue. Un inconvénient de 2 ces méthodes provient du fait qu'elles ne permettent pas une description fine de la région invariante, notamment, lorsque cette région comporte des parties transparentes (vitres, échelles, etc.) ou des objets non-convexes (mains, avions, etc.) et lorsque lesdits objets ou leur arrière-plan ont une texture caractéristique changeante. Un but de la présente invention est de permettre l'obtention d'une description plus riche et plus détaillée d'un point de vue pré-sémantique (puisqu'elle exploite l'information de segmentation et non uniquement les valeurs de l'ensemble des pixels du patch), ce qui améliore la capacité de discrimination et la mise en correspondance d'images fixes ou d'images vidéo. Un autre but de l'invention est de déterminer automatiquement la ou les partie(s) pertinente(s) d'un descripteur calculé pour caractériser des données extraites d'une image vidéo. EXPOSÉ DE L'INVENTION Ces buts sont atteints au moyen d'un procédé de calcul d'un descripteur multimodal pour l'analyse d'une image fixe ou d'une image vidéo mobile 25 comportant les étapes suivantes : a - segmenter ladite image, b - déterminer une région invariante de l'image segmentée, c - effectuer une normalisation isotrope de 30 ladite région de manière à obtenir une zone isotrope centrale.20 3 Ce procédé comporte en outre les étapes suivantes . d - extraire à partir de la région normalisée ladite zone isotrope centrale, une zone environnante définie selon l'échelle de ladite zone isotrope centrale, et un contour, e - calculer un ou plusieurs descripteurs pour la zone centrale, un ou plusieurs descripteurs pour la zone environnante et un ou plusieurs descripteurs pour le contour de manière à décrire séparément chacune desdites zones. Selon un premier mode de mise en oeuvre du procédé de l'invention, l'extraction de ladite zone isotrope est réalisée par la méthode MSER (Maximally Stable Extremal Regions). Préférentiellement, le calcul des MSER est réalisé par la méthode développée par Matas ou par la méthode développée par Nister. Dans une première variante de réalisation de l'invention, la normalisation isotrope est réalisée par détermination d'une ellipse dont les axes correspondent aux moments principaux de la région calculée. L'isotropie de la zone segmentée invariante est obtenue par transformations affines. Avantageusement, le procédé selon l'invention comporte en outre une normalisation supplémentaire en orientation selon l'orientation dominante. Dans un deuxième mode de réalisation de l'invention, l'image analysée est une séquence vidéo, 4 dans laquelle la région invariante est calculée et mise en correspondance d'une image à la suivante. Dans ce mode de réalisation, le procédé comporte en outre une étape de calcul des variances dans le temps des descripteurs calculés pour chacune des zones de ladite région invariante pour déterminer la ou les descriptions pertinentes pour effectuer l'analyse de ladite séquence. Préférentiellement, le procédé de l'invention comporte en outre une estimation de modes dominants et répétitifs lorsque la variance calculée est élevée de manière à estimer si la variabilité est déterministe, périodique ou non. Par ailleurs, dans ce mode de réalisation, le procédé comporte une estimation de fonctions d'évolutions temporelles destinées à déterminer les descriptions pertinentes pour effectuer l'analyse de ladite séquence. En outre, une description temporelle additionnelle est adjointe aux descripteurs d'une zone comportant une information variable. Selon une autre caractéristique du procédé de l'invention, on affecte à la région invariante de l'image un descripteur local unique combinant les descriptions spatiales et temporelles de la zone centrale et/ou du contour et/ou de la zone environnante. Le procédé selon l'invention est utilisé pour la mise en correspondance d'images fixes, par mise en correspondance des descripteurs locaux. Il est également utilisé pour la mise en correspondance d'objets présents dans des images vidéo, par mise en correspondance des descripteurs locaux. Il peut enfin être utilisé dans les approches par « sacs de mots ». (pour Bag of features) en anglais 5 BRÈVE DESCRIPTION DES DESSINS D'autres caractéristiques et avantages de l'invention ressortiront de la description qui va suivre, prise à titre d'exemple non limitatif, par référence aux figures annexées dans lesquelles : - la figure 1 illustre schématiquement les étapes de calcul d'un descripteur local multi-modal selon l'invention, - la figure 2 représente un exemple de régions MSER calculées sur un couple d'images stéréoscopiques par le procédé selon l'invention, - les figures 3a à 3c illustrent le résultat obtenu par les étapes de la figure 1, - les figures 4a à 4c représentent les régions environnantes, centrale et le contour calculés par le procédé selon l'invention sur les images de la figure 2, - la figure 5 représente les étapes du procédé selon l'invention avec prise en compte de plusieurs images pour enrichir la description, - la figure 6 illustre schématiquement un exemple d'application du procédé selon l'invention. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS La figure 1 illustre les étapes de calcul d'un descripteur local pour une région invariante d'une image fixe à analyser. 6 A l'étape 2, on détermine une région invariante en utilisant les méthodes de calcul de la zone d'intérêt des SIFT (pour Scale-Invariant Feature Transform) ; il s'agit alors d'un extrema local dans les différences de gaussiennes sur l'image, ou des SURF (pour Speeded-Up Robust Feature ; il s'agit alors d'un détecteur de « blob », le « fast-Hessian blob detector »), ou sur des segmentations (MSER pour Maximally Stable Extremal Regions, EBR pour Edge-Based Regions, IBR pour Intensity-Based Regions). L'étape 4 consiste à normaliser cette région selon un critère isotrope, typiquement par des calculs d'invariance affine basés sur des critères d'isotropie (Affine-Harris ou Affine-Laplace). Pour ce faire, selon la géométrie de la région choisie, on estime une forme géométrique particulière, par exemple une ellipse ou un parallélépipède, ou des moments caractéristiques, par exemple par Analyse en Composante Principale (ACP) ou par détermination des directions dominantes des gradients. On applique ensuite une procédure de normalisation à la forme choisie de sorte, par exemple, que l'ellipse devienne un cercle, le parallélépipède devienne un carré, etc. L'étape 6 consiste à calculer un descripteur sur la forme finale obtenue (carré ou cercle). Ce descripteur est typiquement celui utilisé par les SIFT (pour Scale-invariant feature transform) EOH (pour Edge Orientation Histogram), celui des SURF, ou d'autres descripteurs comme le HOG (pour Histogram of Oriented Gradients). 7 Les figures 2, 3a-3c, et 4a-4c illustrent schématiquement une application des étapes de la figure 1 à un couple d'images stéréoscopiques respectivement 10, 12. Au lieu de considérer les images 10, 12 de la figure 2 comme des entités indivisibles, on segmente ces images et on détermine sur celles-ci une région invariante 14 comportant une partie centrale 16, une partie environnante 18 définie selon l'échelle de ladite zone centrale 16 et un contour 20 représentés sur les figures 3a à 3c. On effectue ensuite une normalisation isotrope de la région 14 (passage de la figure 3b à la figure 3c), puis on en extrait la zone centrale 16, la zone environnante 18 et le contour 20. On calcule ensuite un ou plusieurs descripteurs pour la zone centrale 16, un ou plusieurs descripteurs pour la zone environnante 18 et un ou plusieurs descripteurs pour le contour 20 de manière à décrire séparément chacune desdites zones. Ainsi, au lieu de considérer chaque image comme une entité indivisible, on conserve l'information de segmentation et l'on exploite cette information pour coder séparément la zone centrale 16, la zone environnante 18 et le contour 20. Dans l'exemple de la figure 3b, la forme géométrique choisie est une ellipse transformée en cercle (figure 3c) par une procédure de normalisation consistant à calculer l'homographie qui rend les axes de l'ellipse perpendiculaires et de même longueur. Les régions MSER calculées sont ensuite extraites des images obtenues par la procédure de normalisation. 8 Les figures 4a à 4c représentent respectivement la région environnante 18, la région centrale 16 et le contour 20 calculés par le procédé selon l'invention sur les images de la figure 2. La région 14 peut alors être décrite par un sous-ensemble ou l'ensemble des descripteurs suivants : description interne, description externe et description de frontière (contours) pouvant chacune éventuellement exploiter des transformations additionnelles. La figure 5 représente les étapes du procédé selon l'invention avec prise en compte de plusieurs images pour enrichir la description. Dans ce cas, on suppose que l'on a fixé un ensemble prédéterminé de descripteurs pour chacune des parties (intérieur, extérieur et frontière). La redondance d'information permet de déterminer la variabilité de chacune de ces trois descriptions. Ainsi, si une information est stable, elle est pertinente pour la mise en correspondance, si une information est variable mais dispose de plusieurs modes, une description temporelle additionnelle peut être introduite, par exemple pour décrire ces modes ou la nature de l'évolution temporelle s'il s'agit d'une séquence ou de lois prédictives, et si une information est variable mais ne semble pas prédictive ni caractéristique, la zone correspondante sera ignorée dans la description. On dispose ainsi de descripteurs basés sur des segmentations invariantes, affines, dans la plupart des cas, capables de tirer partie de cette segmentation 9 et d'informations de redondances temporelles lorsqu'elles sont disponibles. En référence à la figure 5, l'étape 30 consiste à choisir une séquence d'images dans un nombre entier n d'images. L'étape 34 consiste à choisir une région invariante commune sur chacune desdites images après segmentation et application à la région choisie des étapes 4 et 6 décrites à la figure 1. L'étape 36 consiste à sélectionner pour la région choisie les zones pertinentes pour l'analyse ; c'est-à-dire, des zones stables ou ayant une évolution temporelle caractérisable. L'étape 38 consiste à calculer un descripteur local multi-modal avec une loi d'évolution de chaque composante retenue de ladite région invariante. La figure 6 représente les étapes du procédé selon l'invention lorsqu'il est appliqué à des données vidéo ou des données multiples, par tracking ou mises en correspondance sur requête sur un objet d'une image A dans une séquence vidéo par exemple. L'étape 40 consiste à sélectionner l'image A. L'étape 42 consiste à déterminer dans l'image A l'objet de la requête qu'on désignera par ROI (pour Region Of Interest). L'étape 43 consiste à choisir une image B de ladite vidéo dans laquelle l'objet de la requête occupe une position différente par rapport à sa position sur l'image A. 10 L'étape 44 consiste à déterminer parallèlement dans chacune des images A et B des régions invariantes. L'étape 46 consiste à calculer un descripteur multi-modal sur chacune des régions invariantes déterminées. L'étape 48 consiste à mettre en correspondance de façon unitaire des descripteurs multi-modaux calculés. Ceci peut être réalisé au moyen de la mesure d'une distance capable de gérer le multimodal. L'étape 50 consiste à réaliser une mise en correspondance avec des contraintes géométriques. Cette étape peut être mise en oeuvre par utilisation d'un algorithme de type RANSAC, par exemple, pour déterminer l'appariement 2D (homographie) ou 3D (matrice fondamentale). L'étape 52 consiste à détecter l'objet de la requête dans l'image B sous réserve que l'objet soit présent dans l'image B à une échelle et selon un point de vue suffisamment semblable pour que la segmentation soit robuste. Grâce au procédé selon l'invention, il est possible d'obtenir : une description fine qui tient compte de l'information de segmentation ; une capacité à traiter les objets dont la texture est caractéristique mais dont la silhouette change, ou inversement ; une capacité à décrire les objets comportant des parties « transparentes » (vitres, 30 11 échelles, etc.) mais également des objets non convexes (mains, avions, etc.) ; une capacité à décrire des petits objets ou des éléments dont seule la partie segmentée est coplanaire, les effets de disparité sur l'environnement sont alors supprimés par description de la partie interne uniquement ; - une capacité à déterminer automatiquement quelle(s) partie(s) du descripteur total calculé est pertinente pour la caractérisation dans le cadre de données vidéo. Le procédé selon l'invention permet ainsi d'obtenir une description plus riche et plus détaillée d'un point de vue « pré-sémantique » puisque la description exploite l'information de segmentation et non uniquement les valeurs de l'ensemble des pixels de la région analysée de l'image. Ceci favorise la capacité de discrimination et donc une mise en correspondance précise. SP34902HM REVENDICATIONS1. Procédé de calcul d'un descripteur multimodal pour l'analyse d'une image fixe ou d'une 5 image vidéo comportant les étapes suivantes a - segmenter ladite image, b - déterminer une région invariante de l'image segmentée, c - effectuer une normalisation isotrope de 10 ladite région, procédé caractérisé en ce qu'il comporte en outre les étapes suivantes : d - extraire de la région normalisée une zone isotrope comportant une zone centrale obtenue par 15 segmentation, une zone environnante définie selon l'échelle de ladite zone centrale, et un contour, e - calculer un ou plusieurs descripteurs pour la zone centrale, un ou plusieurs descripteurs pour la zone environnante et un ou plusieurs 20 descripteurs pour le contour,, de manière à décrire séparément chacune desdites zones. 2. Procédé selon la revendication 1, dans lequel l'extraction de ladite zone invariante est 25 réalisée par la méthode MSER (Maximally Stable Extremal Regions). 3 Procédé selon la revendication 2, dans lequel le calcul des MSER est réalisé par la méthode 30 développée par Matas ou par la méthode développée par Nister. SP34902HM 2952458 13 4. Procédé selon la revendication 1, dans lequel la normalisation isotrope est réalisée via la détermination d'une ellipse dont les axes correspondent 5 aux moments principaux de la région calculée. 5. Procédé selon la revendication 1 comportant en outre une normalisation supplémentaire en orientation selon l'orientation dominante. 10 6. Procédé selon la revendication 1, dans lequel l'image analysée est une séquence vidéo, dans laquelle la région invariante est calculée et pistée ou mise en correspondance d'une image à la suivante. 15 7. Procédé selon la revendication 6 comportant en outre une étape de calcul des variances dans le temps des descripteurs calculés pour chacune des zones de ladite région invariante pour déterminer 20 la ou les descriptions pertinentes pour effectuer l'analyse de ladite séquence. 8. Procédé selon la revendication 2 comportant en outre une estimation de modes dominants 25 et répétitifs lorsque la variance calculée est élevée de manière à estimer si la variabilité est déterministe, périodique ou non. 9. Procédé selon la revendication 8 30 comportant une estimation de fonctions d'évolutions temporelles destinées à déterminer les descriptions SP3490'2HM 2952458 14 pertinentes pour effectuer l'analyse de ladite séquence. 10. Procédé selon la revendication 9, dans lequel une description temporelle additionnelle est adjointe aux descripteurs d'une zone comportant une information variable. 11. Procédé selon l'une des revendications 1 à 10, selon lequel on affecte à la région invariante de l'image, un descripteur local unique concaténant combinant les descriptions spatiales et temporelles de la zone centrale, du contour et de la zone environnante. 12. Procédé selon la revendication 1, dans lequel l'isotropie de la ladite zone segmentée invariante est obtenue par transformations affines. 13. Utilisation du procédé selon la revendication 1 pour la mise en correspondance d'images, par mise en correspondance des descripteurs locaux. 14. Utilisation du procédé selon la revendication 1 pour la mise en correspondance d'objets présents dans des images fixes ou des images vidéo, par mise en correspondance des descripteurs locaux. 15. Utilisation du procédé selon la revendication 1 pour la détection d'objet, et pour déterminer automatiquement la ou les partie(s) SP34902HM 2952458 15 pertinente(s) d'un descripteur calculé pour caractériser des données extraites d'une image vidéo.