Brevet FR2969352A1 — publié le 20120622

Procédé de réalisation d'une image panoramique et appareil de mise en oeuvre. L'invention concerne la réalisation d'une image panoramique à partir d'images consécutives extraites d'une séquence vidéo, et plus particulièrement l'alignement d'images comprenant des scènes avec plusieurs niveaux de profondeur de champ. Une image panoramique est une image possédant un champ exceptionnellement large. Ces images panoramiques peuvent être créées avec un appareil photographique panoramique comprenant des objectifs à champ exceptionnellement large, ou bien à partir de l'enregistrement d'une succession d'images par un appareil de prise de vue en pivotant celui-ci selon un axe horizontal. Elles peuvent ainsi être alignées à partir d'un appareil photographique numérique et d'un logiciel permettant d'assembler plusieurs vues, ou encore à partir d'une séquence vidéo enregistrée par une caméra vidéo à partir de laquelle on utilise des images de la séquence vidéo qu'on assemble. Dans le cas d'un appareil photographique numérique dans un mode de capture photographique, on réalise plusieurs prises de vues successives avec un appareil photographique fixé sur un axe et qui tourne entre chaque prise de vue en faisant se chevaucher deux vues consécutives. Un logiciel permet ensuite d'assembler les différentes images obtenues. On élargit de cette manière artificiellement le champ de vision. Dans le cas d'une réalisation d'une image panoramique à partir d'une séquence vidéo, une séquence vidéo est tout d'abord enregistrée en réalisant un panoramique, c'est-à-dire en effectuant un mouvement de pivot autour d'un axe fixe. Les images de la séquence vidéo sont, par exemple, enregistrées à une fréquence de 25 images par seconde. Les images ainsi capturées lors de la séquence vidéo serviront pour construire une image photographique panoramique. Pour construire une image panoramique à partir d'une séquence vidéo, il faut tout d'abord estimer le déplacement existant entre deux images successives. Cette estimation de déplacement permet de déterminer un vecteur de déplacement d'une image par rapport à une image précédente. Ce vecteur de déplacement permet alors de correctement aligner les deux images successives au sein d'une image panoramique. L'estimation de déplacement est bien connue et est basée sur un procédé de concordance entre les blocs définissant l'image, qui travaille à partir de la luminance des différentes images d'entrée. Le vecteur de déplacement est ainsi déduit à partir de plusieurs vecteurs de déplacement de blocs d'une image. Ces blocs correspondent à de petites zones carrées sur l'image. Une fois que l'image en cours d'analyse est bien alignée, une partie de celle-ci est fusionnée avec l'image panoramique déjà formée à partir des images précédentes. Dans un cas général, la partie de l'image analysée qui est mixée avec l'image panoramique correspond à une zone centrale de cette image à analyser, car les distorsions sont minimes dans cette zone. En effet, les distorsions dues, par exemple, à un objectif grand angle ou à d'autres possibilités, apparaissent généralement sur les bordures de l'image. Lorsqu'une image capturée comprend plusieurs objets situés à des profondeurs de champ différentes, comme dans le cas, par exemple, d'une personne en premier plan et d'un paysage en arrière-plan, des problèmes apparaissent dans la création d'une image photographique panoramique. En effet, le mouvement de la caméra est en général modélisé par un mouvement de rotation de panorama, mais ce mouvement n'est pas applicable à toute l'image même s'il reste une très bonne approximation pour les objets à grande profondeur de champ. En présence d'un premier plan, le mouvement de la caméra comprend habituellement une translation devant la scène capturée. Dans ce cas, le premier plan a un déplacement apparent plus important que celui de l'arrière-plan. Par conséquent, les différents vecteurs de déplacement des blocs de l'image analysée, ne sont pas homogènes. Et si le premier plan occupe moins d'espace que l'arrière-plan, comme c'est généralement le cas, le vecteur de déplacement de l'image cible compensera beaucoup mieux le mouvement de l'arrière-plan que le mouvement du premier plan. De ce fait, l'objet en premier plan ne sera pas correctement aligné et apparaîtra au final avec une certaine distorsion et un désalignement de la zone de mixage sera également observé, créant un flou ou un artefact de double bordure. L'invention vise à pallier ces inconvénients en privilégiant les vecteurs de déplacement des blocs de la zone de fusion avec l'image photographique panoramique pour la détermination du vecteur de déplacement de l'image. Selon un aspect, il est proposé dans un mode de réalisation, un procédé d'alignement de deux images consécutives d'une séquence vidéo pour la réalisation d'une image panoramique. Ce procédé comprend une correction d'un vecteur de 15 déplacement d'une image cible d'une séquence vidéo, l'image cible étant composée de blocs distincts, ledit vecteur de déplacement étant déduit de plusieurs images de déplacement des blocs de l'image cible. De préférence, le procédé comprend : - une détermination d'un vecteur moyen dans lequel on calcule une moyenne des vecteurs de déplacement des blocs d'une région centrale de l'image cible ; - une comparaison du vecteur moyen au vecteur de déplacement de l'image cible ; - une modification du vecteur de déplacement de l'image cible. De préférence, le procédé peut comprendre une détermination de la variance de la moyenne des vecteurs de déplacement des blocs d'une région centrale de l'image cible. Avantageusement, la correction peut comprendre un 30 remplacement du vecteur de déplacement de l'image cible par le vecteur moyen. Le remplacement a préférentiellement lieu si la différence entre le vecteur de déplacement de l'image cible et le vecteur moyen est 20 25 inférieure à un premier seuil et si la variance de ladite moyenne est inférieure à un second seuil. La région centrale de l'image cible peut avantageusement correspondre à la région de fusion de l'image cible avec une image précédente. En l'occurrence une image précédente peut correspondre à une image panoramique déjà constituée à partir des images précédentes du panorama. Selon un autre aspect, il est proposé dans un mode de réalisation, un appareil muni de moyens de prise de vues numériques, comprenant des moyens d'alignement de deux images consécutives d'une séquence vidéo pour la réalisation d'une image panoramique. L'appareil comprend des moyens de correction d'un vecteur de déplacement d'une image cible d'une séquence vidéo, l'image cible étant composée de blocs distincts, ledit vecteur de déplacement étant déduit par des moyens d'estimation du vecteur de déplacement d'une image à partir des moyens d'estimation des vecteur de déplacement des blocs de l'image cible. De préférence, les moyens de correction comprennent - des moyens de détermination d'un vecteur moyen aptes à calculer une moyenne des vecteurs de déplacement de blocs d'une région centrale de l'image cible ; - des moyens de comparaison aptes à comparer ledit vecteur moyen au vecteur de déplacement de l'image cible ; - des moyens de modification aptes à corriger le vecteur de déplacement de l'image cible. Les moyens de correction peuvent avantageusement comprendre des moyens de détermination d'une variance aptes à déterminer la variance de la moyenne des vecteurs de déplacement de blocs d'une région centrale de l'image cible. Avantageusement, les moyens de corrections comprennent un premier module de comparaison apte à comparer la variance de ladite moyenne à un premier seuil. Les moyens de comparaison comprennent avantageusement un module de soustraction apte à calculer la différence entre le vecteur de déplacement de l'image cible et le vecteur moyen, et un second module de comparaison apte à comparer la différence à un second seuil. Les moyens de modification comprennent préférentiellement des moyens de remplacement aptes à remplacer le vecteur de déplacement de l'image cible par le vecteur moyen. D'autres avantages et caractéristiques de l'invention apparaîtront à l'examen de la description détaillée des modes de réalisation et de mise en oeuvre nullement limitatifs, et des dessins annexés, sur lesquels : - la figure 1 représente une explication schématique du problème rencontré pour la construction d'une image panoramique comprenant des objets à différentes profondeurs de champ ; - la figure 2 représente un organigramme d'un procédé d'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique selon un mode de mise en oeuvre ; et - la figure 3 représente un appareil comportant des moyens de photographie numérique comprenant des moyens d'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique selon un mode de réalisation. Sur la figure 1, est représentée une explication schématique du problème rencontré pour la réalisation d'une image panoramique à partir d'images extraites d'une séquence vidéo comprenant des objets à différentes profondeurs de champ. Sur la figure a été représenté un premier objet A en arrière-plan et un second objet P en premier plan, les deux objets étant filmés par moyen C d'enregistrement d'une séquence vidéo, tel qu'un appareil photographique numérique en mode vidéo ou une caméra, en translation au cours du temps. Le moyen C est représenté à un premier instant identifié par la référence C(ti), et à un second instant t2, identifié par la référence C(t2), ultérieur au premier instant ti. Au premier instant ti, on a repéré la position « ai » de l'objet A en arrière-plan et la position « pi » de l'objet P en premier plan sur le champ de la caméra « ci ». La caméra est alors translatée, dans cet exemple, jusqu'à une deuxième position au second instant t2. La position « a2 » de l'objet A en arrière-plan et la position « p2 » de l'objet P en premier plan ont également été relevées sur le champ « c2 » de la caméra C pour cet instant t2. On a également reporté les positions « ai » et « pi » des deux objets A et P à l'instant précédent ti sur le champ de la caméra « c2 » pour comparer le déplacement des deux objets sur le champ de la caméra entre le premier instant ti et le deuxième instant t2. On observe ainsi que le déplacement de l'objet A en arrière-plan est bien plus petit que le déplacement observé pour l'objet P en premier plan. Le vecteur de déplacement ainsi déterminé entre les deux images sera différent selon qu'il est déterminé à partir de l'objet P en premier plan ou de l'objet A en arrière-plan. L'exemple a été ici réalisé pour le cas d'une translation de la caméra, pour une question de simplification d'explication. I1 est évident que dans le cas d'une rotation de la caméra C à partir d'un axe fixe, le même problème se posera. Sur la figure 2, est représenté schématiquement un organigramme d'un mode de mise en oeuvre d'un procédé d'alignement de deux images successives d'une séquence vidéo pour la réalisation d'une image panoramique comprenant une correction d'un vecteur de déplacement d'une image cible d'une séquence vidéo. Dans une première étape 201 du procédé, on détermine une région centrale correspondant à la zone de fusion de l'image cible avec l'image photographique panoramique déjà existante. Cette zone de fusion correspond à une zone de chevauchement des deux images. Cette zone de fusion est généralement choisie au centre de l'image cible car la région centrale de l'image cible est une région présentant le moins de distorsions possibles. L'image cible est décomposée en blocs matriciels. La région centrale déterminée comprend par exemple les blocs de deux colonnes au centre de l'image cible. Dans une étape suivante 202, une moyenne des vecteurs de déplacement des blocs de la région centrale de l'image cible est déterminée. Dans une étape suivante 203, on détermine à partir de ladite moyenne un vecteur moyen correspondant au vecteur de déplacement moyen des blocs de la région centrale de l'image cible. On détermine également, dans une étape suivante 204, la variance de ladite moyenne calculée. Dans une étape suivante 205, on compare alors le résultat de la variance calculée dans l'étape précédente à un premier seuil, Seuill. Si la variance ainsi calculée est supérieure à ce seuil, on sort du procédé sans effectuer de correction de vecteur. En effet, si la variance de ladite moyenne est trop grande, cela signifie que les vecteurs de déplacement des blocs de la région centrale de l'image cible sont très différents les uns des autres, et qu'on ne peut pas s'assurer de l'exactitude du vecteur moyen déterminé à partir de ces vecteurs. En revanche, si la variance est bien inférieure au premier seuil, on calcule, dans une étape suivante 206, la différence entre le vecteur de déplacement de l'image cible n et le vecteur moyen calculé lors de l'étape 203. Le vecteur de déplacement de l'image cible n est déduit à partir des vecteurs de déplacement de tous les blocs de l'image cible. On compare ainsi le vecteur de déplacement déterminé à partir des vecteurs de déplacement des blocs de toute l'image et le vecteur de déplacement déterminé à partir des vecteurs de déplacement des blocs de la région centrale de l'image cible. Dans cette même étape 206, on compare la différence ainsi calculée à un second seuil, Seui12. Si cette différence est supérieure au second seuil, on sort également de ce procédé sans effectuer aucune modification. En effet, si le vecteur moyen déterminé à partir de vecteurs de déplacement des blocs de la région centrale de l'image cible diffère trop du vecteur de déplacement de l'image cible déterminé à partir des vecteurs de déplacement des blocs de toute l'image, alors on ne peut pas être sûr de l'exactitude du vecteur moyen. En effet, il se peut que la région centrale de l'image cible est subit une perturbation lumineuse due à un objet apparue dans cette région ou une instabilité lumineuse. En revanche, si la différence est inférieure au second seuil, on réalise alors dans une étape finale 207, le remplacement du vecteur de déplacement de l'image cible n par le vecteur moyen déterminé lors de l'étape 203. La différence étant inférieure au seuil, on considère que les deux vecteurs ne diffèrent pas trop, et on peut donc corriger le vecteur de déplacement de l'image cible n par le vecteur moyen déterminé à partir des vecteurs de déplacement des blocs de la région centrale qui offre une meilleure modélisation du déplacement de l'image. Sur la figure 3, est représenté de manière schématique un appareil A, tel qu'un appareil de téléphonie mobile, comportant des moyens P de capture d'images photographiques numériques aptes à enregistrer une séquence vidéo. Les moyens P comprennent des moyens d'alignement 1 de deux images consécutives d'une séquence vidéo pour la réalisation d'une image panoramique. Par ailleurs, les moyens d'alignement 1 comprennent des moyens 2 d'estimation du déplacement des blocs de l'image, ainsi que des moyens 9 d'estimation du déplacement de l'image aptes à estimer le vecteur de déplacement de l'image cible n à partir de l'estimation du déplacement des différents blocs de l'image. Les moyens d'alignement 1 comprennent également des moyens de correction 3 d'un vecteur de déplacement d'une image cible n d'une séquence vidéo. Les moyens de correction 3 comprennent en outre des moyens 4 de détermination d'un vecteur moyen, aptes à déterminer la moyenne des vecteurs de déplacement des blocs d'une région centrale de l'image cible et d'en déduire un vecteur moyen. Les moyens de correction 3 comprennent également des moyens 5 de détermination de la variance aptes à déterminer la variance de ladite moyenne. Les moyens de correction 3 comprennent aussi des moyens 6 de comparaison aptes à comparer ledit vecteur moyen au vecteur de déplacement de l'image cible n, et des moyens 7 de modification aptes à corriger le vecteur de déplacement de l'image cible n. Enfin, les moyens de correction 3 comprennent un premier module de comparaison 8 apte à comparer la variance de ladite moyenne déterminée par les moyens 5 à un premier seuil (Seuill). Les moyens 2 d'estimation du déplacement des blocs de l'image délivrent en sortie les coordonnées des vecteurs de déplacement des différents blocs constituant l'image cible. Chaque bloc constituant l'image représente une zone carrée de l'image cible. Pour chaque bloc ainsi défini, un vecteur de déplacement est estimé en comparant le bloc de l'image cible au bloc correspondant de l'image précédente. Les vecteurs de déplacement des blocs de l'image cible sont ainsi délivrés aux moyens 4 de détermination d'un vecteur moyen. Les moyens 4 de détermination du vecteur moyen déterminent dans un premier temps la moyenne des vecteurs de déplacement des blocs de ladite région centrale de l'image cible, et en déduisent un vecteur moyen de déplacement de l'image. Les moyens d'estimation 2 délivrent également en sortie les vecteurs de déplacement des blocs de l'image cible aux moyens 5 de détermination de la variance qui calculent la variance de ladite moyenne à partir de ces données, c'est-à-dire la variance de la moyenne des coordonnées des vecteurs de déplacement des blocs de la région centrale de l'image cible. Le vecteur moyen ainsi déterminé par les moyens 4 de détermination du vecteur moyen est alors délivré à un module de soustraction 10 compris dans les moyens 6 de comparaison. Le module 10 de soustraction reçoit également en entrée le vecteur de déplacement de l'image cible n estimé par les moyens 9 d'estimation de déplacement de l'image. Le module 10 de soustraction calcule alors la différence entre le vecteur de déplacement de l'image cible et le vecteur moyen c'est-à-dire la différence entre les coordonnées des deux vecteurs. Le résultat de la soustraction ainsi déterminée est délivré en sortie du module de soustraction 10 à un second module de comparaison 11 apte à comparer la différence à un second seuil (Seui12). Si le résultat de la soustraction est supérieur au second seuil, alors le second module de comparaison 11 délivre en sortie un signal indiquant qu'aucune modification du vecteur de déplacement de l'image cible « n » estimé par les moyens d'estimation 9 ne doit être réalisée. En revanche, si le résultat de la soustraction est supérieur au second seuil, alors le second module de comparaison 11 délivre en sortie un signal indiquant qu'une modification du vecteur de déplacement de l'image cible « n » estimé par les moyens 9 doit être réalisée. Les moyens de modification 7 reçoivent donc en entrée le signal de sortie du second module de comparaison 11 des moyens de comparaison 6, le vecteur de déplacement de l'image cible « n » estimé par les moyens d'estimation 9, le vecteur moyen déterminé par les moyens de détermination du vecteur moyen 4 et le signal de sortie du premier module de comparaison 8. Le premier module de comparaison 8 compare donc la variance déterminée par les moyens 5 à un premier seuil (Seuill). Si la variance est supérieure à ce premier seuil, alors le premier module de comparaison 8 délivre un signal en sortie indiquant qu'aucune modification du vecteur de déplacement de l'image cible « n » ne doit être effectuée. En revanche, si la variance est inférieure au premier seuil, le premier module de comparaison 8 délivre alors en sortie un signal indiquant que le vecteur de déplacement de l'image cible « n » doit être modifié. Si les moyens de modification 7 reçoivent au moins un signal indiquant qu'aucune modification du vecteur de déplacement de l'image cible « n » ne doit être effectuée, alors les moyens 7 de modification délivrent en sortie le vecteur de déplacement de l'image cible « n » non modifié. En revanche, si les moyens de modification 7 reçoivent un signal de modification du vecteur de déplacement de l'image cible « n » à la fois par le premier module de comparaison 8 et par le second module de comparaison 12, alors les moyens de modification 7 remplacent le vecteur de déplacement de l'image cible « n » par le vecteur moyen déterminé par les moyens 4 de détermination du vecteur moyen, à l'aide de moyens de remplacement 12 aptes à remplacer le vecteur de déplacement de l'image cible « n » par le vecteur moyen. Dans ce cas, les moyens de modification 7 délivrent en sortie le vecteur moyen. Cette invention propose donc de corriger le vecteur de déplacement d'une image destinée à être fusionnée avec une autre image pour la réalisation d'un panoramique en le remplaçant par le vecteur moyen correspondant à la moyenne des vecteurs de déplacement des blocs d'une région centrale de l'image correspondant à la zone de fusion de l'image avec l'autre image. Cette correction permet d'obtenir une modélisation du déplacement de l'image plus approprié aux objets situé au premier plan de l'image, et de pallier les problèmes de distorsions des objets au premier plan lors de la réalisation d'une image panoramique comprenant des objets à des profondeur de champ différentes. Cette invention permet de pallier ces problèmes de distorsions à moindre coût, de manière simple, en évitant d'utiliser une quelconque stratégie d'estimation tridimensionnelle de la profondeur. REVENDICATIONS1. Procédé d'alignement de deux images consécutives d'une séquence vidéo pour la réalisation d'une image panoramique, caractérisé en ce qu'il comprend une correction d'un vecteur de déplacement d'une image cible d'une séquence vidéo, l'image cible étant composée de blocs distincts, et ledit vecteur de déplacement étant déduit de plusieurs vecteurs de déplacement des blocs de l'image cible. 2. Procédé selon la revendication 1, caractérisé en ce que la correction comprend : - une détermination d'un vecteur moyen dans lequel on calcule une moyenne des vecteurs de déplacement des blocs d'une région centrale de l'image cible ; - une comparaison du vecteur moyen au vecteur de déplacement de l'image cible ; - une modification du vecteur de déplacement de l'image cible. 3. Procédé selon la revendication 1, caractérisé en ce qu'il comprend une détermination de la variance de la moyenne des vecteurs de déplacement des blocs d'une région centrale de l'image cible. 4. Procédé selon l'une des revendications 1 à 2, caractérisé en ce que la modification comprend un remplacement du vecteur de déplacement de l'image cible par le vecteur moyen. 5. Procédé selon la revendication 3, caractérisé en ce que le remplacement a lieu si la différence entre le vecteur de déplacement de l'image cible et le vecteur moyen est inférieure à un premier seuil et si la variance de ladite moyenne est inférieure à un second seuil. 6. Procédé selon l'une des revendications 1 à 4, caractérisé en ce que la région centrale de l'image cible correspond à la région de fusion de l'image cible avec une image précédente. 7. Appareil (A) muni de moyens (P) de prise de vues numériques, comprenant des moyens (1) d'alignement de deux imagesconsécutives d'une séquence vidéo pour la réalisation d'une image panoramique, caractérisé en ce qu'il comprend des moyens (3) de correction d'un vecteur de déplacement d'une image cible d'une séquence vidéo, l'image cible étant composée de blocs distincts, et ledit vecteur de déplacement étant déduit par des moyens (9) d'estimation du vecteur de déplacement d'une image à partir des moyens (2) d'estimation des vecteur de déplacement des blocs de l'image cible. 8. Appareil selon la revendication 7, caractérisé en ce que les moyens de correction comprennent : - des moyens (4) de détermination d'un vecteur moyen aptes à calculer une moyenne des vecteurs de déplacement de blocs d'une région centrale de l'image cible ; - des moyens (6) de comparaison aptes à comparer ledit vecteur moyen au vecteur de déplacement de l'image cible ; - des moyens (7) de modification aptes à corriger le vecteur de déplacement de l'image cible. 9. Appareil selon l'une des revendications 7 ou 8, caractérisé en ce que les moyens de correction (3) comprennent des moyens (5) de détermination d'une variance aptes à déterminer la variance de la moyenne des vecteurs de déplacement de blocs d'une région centrale de l'image cible. 10. Appareil selon l'une des revendications 7 à 1l, caractérisé en ce que les moyens (3) de corrections comprennent un premier module de comparaison (8) apte à comparer la variance de ladite moyenne à un premier seuil. 11. Appareil selon l'une des revendications 7 à 9, caractérisé en ce que les moyens de comparaison (6) comprennent un module de soustraction (10) apte à calculer la différence entre le vecteur de déplacement de l'image cible et le vecteur moyen, et un second module de comparaison (11) apte à comparer la différence à un second seuil. 12. Appareil selon l'une des revendications 7 à 10, caractérisé en ce que les moyens (7) de modification comprennent des moyens deremplacement (12) aptes à remplacer le vecteur de déplacement de l'image cible par le vecteur moyen.