Brevet FR2887731A1 — publié le 20061229

METHODE ET DISPOSITIF DE DETECTION DE FONDUS DANS UNE SEQUENCE D'IMAGES 1. Domaine de l'invention L'invention concerne un dispositif et une méthode de détection de fondus dans une séquence d'images. 2. Etat de l'art Dans le domaine du traitement d'images (e.g. compression, amélioration du contenu), les procédés appliqués aux séquences d'images, par exemple pour estimer un mouvement entre deux images ou bien pour filtrer temporellement les images de la séquence, nécessitent souvent un suivi temporel de l'information. Or une rupture de la continuité temporelle dans une séquence d'images vient perturber la mise en oeuvre de ces procédés. Cette rupture plus ou moins nette correspond à une modification (e.g. transition) plus ou moins importante du contenu entre deux images successives. Son identification est nécessaire afin de tenir compte de cette discontinuité lors de l'application de ces procédés et ainsi améliorer leur robustesse. Plus particulièrement, un plan ou plan séquence est une séquence ininterrompue d'images tournée par une caméra ou un caméscope en une seule prise de vues. Ce plan est l'unité de base utilisée pour analyser ou construire un contenu vidéo. Une séquence vidéo comprend généralement une succession de plans connectés entre eux à l'aide de méthodes d'édition de vidéo. Ces méthodes permettent notamment de créer une transition abrupte entre deux plans ou bien une transition progressive selon laquelle une image est progressivement changée en une autre image par mélange des deux images (e.g. un fondu). La détection de ces transitions permet dans le cas d'une application de codage de séquence d'images d'améliorer la qualité de codage en tenant compte de ces transitions dans les choix (par exemple structure d'un groupe d'images ou GOP en anglais ) effectués par le codeur. Cette détection permet également de retrouver les frontières de plans et des unités narratives afin de permettre notamment une navigation non-linéaire dans le contenu. 3. Résumé de l'invention 2887731 2 L'invention a pour but de détecter des transitions progressives, plus particulièrement des fondus, dans une séquence d'images. L'invention concerne un procédé de détection d'un fondu dans une séquence d'images comprenant des pixels ou points images à chacun desquels est associé au moins une valeur de luminance. Il comprend les étapes suivantes: calculer (10), pour chacune des images d'une fenêtre de longueur N images consécutives, dite fenêtre de détection, et pour l'image précédant la fenêtre de détection, un niveau de luminance à partir des valeurs de luminance associées à chacun des pixels de chacune des images; détecter (11) un fondu, pour chacune des N images de la fenêtre de détection, en se basant sur la différence entre le niveau de luminance associé à l'image courante et le niveau de luminance associé à l'image précédant l'image courante; et en déduire (12) la présence d'un fondu pour la fenêtre de détection si, pour au moins k images de la fenêtre de détection, un fondu a été détecté, avec 2 Préférentiellement, le niveau de luminance associé à une image est 20 égal à la somme des valeurs de luminance associées à chacun des pixels de l'image. Avantageusement, le procédé comprend en outre une étape supplémentaire pour valider la présence d'un fondu dans la fenêtre de détection si un niveau de mouvement associé à la fenêtre de détection est inférieur à un seuil prédéterminé. Préférentiellement, le niveau de mouvement associé à l'image courante est égal au rapport entre l'activité temporelle calculée entre l'image courante et l'image précédant l'image courante, dite image précédente, et l'activité spatiale calculée pour l'image courante. Par ailleurs, le niveau de mouvement associé à la fenêtre de décision est égal au niveau de mouvement associé à la dernière image de la fenêtre de décision. Préférentiellement, l'activité temporelle entre l'image et l'image précédente est égale à la somme des valeurs absolues des différences pixel 2887731 3 à pixel entre les valeurs de luminance associées à chaque pixel de l'image et les valeurs de luminance associées à chaque pixel de l'image précédente. En outre, l'activité spatiale de l'image est égale à la somme des valeurs absolues des valeurs de luminance associées à chaque pixel de l'image. L'invention concerne également un dispositif de détection de fondus dans une séquence d'images comprenant des pixels ou points images à chacun desquels est associé au moins une valeur de luminance. Il comprend: des moyens (32, 33, 34) de calcul pour calculer, pour chacune des images d'une fenêtre de longueur N images consécutives, dite fenêtre de détection, et pour l'image précédent la fenêtre de détection, un niveau de luminance à partir des valeurs de luminance associées à chacun des pixels de chacune des images; des moyens (32, 33, 34) de détection pour détecter un fondu, pour chacune des N images de la fenêtre de détection, en se basant sur la différence entre le niveau de luminance associé à l'image courante et le niveau de luminance associé à l'image précédant l'image courante; et des moyens pour déduire (32, 33, 34) la présence d'un fondu pour la fenêtre de détection si pour au moins k images de la fenêtre de détection un fondu a été détecté par les moyens de détection, avec 2 L'invention concerne en outre un dispositif de codage vidéo qui comprend des 25 moyens de codage et un dispositif de détection de fondus selon l'invention. L'invention concerne par ailleurs un dispositif de structuration de séquence d'images caractérisé en ce qu'il comprend des moyens d'indexations et un dispositif de détection de fondus selon l'invention. 4. Listes des figures L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en oeuvre avantageux, nullement limitatifs, en référence aux figures annexées sur lesquelles: 2887731 4 la figure 1 illustre un procédé de détection de fondus selon l'invention; la figure 2 illustre une position d'une fenêtre de décision; la figure 3 illustre un déplacement d'une fenêtre de décision; la figure 4 illustre un autre déplacement d'une fenêtre de décision; la figure 5 illustre un dispositif selon l'invention; la figure 6 illustre un dispositif de codage séquence d'images selon l'invention; et la figure 7 illustre un dispositif de structuration de séquence d'images selon l'invention. 5. Description détaillée de l'invention L'invention a pour but de détecter des fondus dans une séquence d'images, la séquence étant progressive ou entrelacée, chaque image comprenant des pixels à chacun desquels est associé notamment une valeur de luminance. Dans le cas des séquences entrelacées, chaque image comprend une trame paire ( even field en anglais) et une trame impaire ( odd field en anglais). Chaque trame comprend elle-même des pixels ou points images à chacun desquels est associée notamment une valeur de luminance. Considérant une séquence d'images s et une séquence d'images f (par exemple une séquence d'images noires ou quasiment uniformes), on appelle fondu à l'ouverture ( fade-in en anglais) un fondu de f vers s et réciproquement on appelle fondu à la fermeture ( fade-out en anglais) un fondu de s vers f. La séquence d'images comprenant le fondu de s vers fou de f vers s est définie comme suit: e(x,y,n) = (1-x(n)).s(x, y,n) + x(n).f(x,y,n) où : - x(n) est le facteur de fondu, - n est l'indice de l'image dans la séquence, et - (x,y) sont les cordonnées des pixels dans l'image. Le facteur x(n) est homogène à l'intérieur d'une image ou trame (i. e. indépendant de x et y) et est compris entre 0 et 1. On définit le niveau de luminance Le(n) pour une image ou une trame n donnée de la manière suivante: X Y X Y Le (n) = L L e(x, y, n) = L L [(1- x(n)) * s(x, y, n) + x(n) f (x, y, n)] x=0 y=0 x=0 y=0 X Y X Y Il s'ensuit que Le(n)=(1-x(n)1 Ls(x,y,n)+x(n)L Lf(x,y,n) et donc que x=0 y=0 x=0 y=0 Le (n) = (1 x(n)) * LS (n) + x(n)L f (n) . En supposant que l'image f(x,y,n) est homogène, a un niveau de luminance égal à Lf et que L f (n) = L f (n + l) , alors la différence entre le niveau de luminance associé à l'image ou trame n et le niveau de luminance associé à l'image ou trame n+1 est égal à : Le(n+1)-Le(n)=(1-x(n+1))*LS(n+1)-(1-x(n))*LS(n)+ (x(n+1)-x(n))Lf Considérant que: LS (n +1) LS (n) = ALS (n + 1), la différence de luminance est alors égale à : Le(n+1) Le(n)=ALS(n+1)*(1 x(n) ) (x(n+1) x(n))*(LS(n+1) Lf) Si le facteur de fondu x(n) est linéaire pour un fondu qui dure N images ou trames d'une image (ou trame) d'indice 0 à une image (ou trame) d'indice N alors x(n) se décompose de la manière suivante: x(n) = k k1 et k2 sont deux coefficients permettant d'exprimer le caractère linéaire du facteur de fading. Dans le cas d'un fondu à l'ouverture: x(0) = 1 et x(N)=0. Dans le cas d'un fondu à la fermeture: x(0)=O et x(N)=1. Il s'ensuit que la variation du niveau de luminance entre les images n et n+1 est égale à : Le(n+1) Le(n)=OLs(n+1)*(1 k k2 N) N *(LS(n+1) Lf) La variation du niveau de luminance entre deux images (ou trames) successives de la séquence s est généralement négligeable par rapport à la variation de luminance entre la séquence s et la séquence f, ce qui permet de simplifier l'équation ci-dessus comme suit: n N 2887731 6 Le (n+ 1) Le(n) *(LS(n+l) Lf) N En faisant l'hypothèse de la stationnarité du niveau de luminance le long de la séquence s, l'équation se simplifie de la manière suivante: Le (n+ 1) Le(n) N *(L Cette dernière hypothèse est valable la plupart du temps dans la mesure où la plupart des fondus se produisent à partir de séquence de faible mouvement. Ainsi lors d'un fondu, la variation du niveau de luminance entre deux images (ou trames) est fonction de la variation du niveau de luminance entre le début et la fin du fondu (Ls-Lf), et est inversement proportionnel à la durée (N images ou trames) du fondu. Le procédé selon l'invention est donc basé sur la détection d'une variation du niveau de luminance entre deux images successives. Cette variation est ensuite comparée à un seuil défini expérimentalement. Selon un mode de réalisation préféré, illustré par la figure 1, le procédé se décompose en 4 étapes référencées 10 à 13. Sur cette figure, les modules représentés sont des unités fonctionnelles, qui peuvent ou non correspondre à des unités physiquement distinguables. Par exemple, ces modules ou certains d'entre eux peuvent être regroupés dans un unique composant, ou constituer des fonctionnalités d'un même logiciel. A contrario, certains modules peuvent éventuellement être composés d'entités physiques séparées. Dans la suite du document pour simplifier la description le terme image est employé pour désigner soit une image composée de deux trames soit une trame seule. L'étape 10 consiste à calculer, sur une fenêtre de longueur N images, dite fenêtre de détection, un niveau de luminance pour chaque image de la fenêtre de détection et pour l'image de la séquence qui précède cette fenêtre. Comme défini précédemment, le niveau de luminance d'une image est la somme sur l'ensemble de l'image des valeurs de luminance associées à chacun des pixels de cette image. Une fenêtre de longueur N images est une portion de la séquence comprenant N images successives. 2887731 7 L'étape 11 consiste à détecter un fondu, pour chaque image de la fenêtre de détection, en comparant la variation du niveau de luminance entre cette image, dite image courante, et l'image qui la précède à un seuil. Ce seuil est un multiple de la taille de l'image en nombre de pixels. Par exemple, il est égal à 1.75 multiplié par la largeur et par la hauteur de l'image en nombre de pixels. Si la variation du niveau de luminance est supérieure à ce seuil alors un fondu est détecté pour l'image courante. Selon que l'on cherche à détecter des fondus à l'ouverture ou à la fermeture, la variation du niveau de luminance est calculée différemment. Ainsi, dans le cas d'un fondu à l'ouverture, la variation du niveau de luminance est égale à la différence entre le niveau de luminance de l'image précédant l'image courante et le niveau de luminance de l'image courante. Dans le cas d'un fondu à la fermeture, la variation du niveau de luminance est égale à la différence entre le niveau de luminance de l'image courante et le niveau de luminance de l'image la précédant. Cette étape permet de détecter, pour chaque image de la fenêtre de détection, séparément les fondus à l'ouverture et les fondus à la fermeture. Avantageusement, des seuils différents peuvent être définis pour détecter les fondus à l'ouverture et les fondus à la fermeture. L'étape 12 consiste à déduire la présence d'un fondu pour la fenêtre de détection à partir des détections effectuées à l'étape 11. Plus précisément, cette étape consiste à calculer le nombre d'images de la fenêtre de détection pour lesquelles un fondu a été détecté. Lors de cette étape, les résultats issus de l'étape précédente pour les fondus à l'ouverture et à la fermeture sont combinés ce qui permet de détecter un fondu qu'il soit à l'ouverture ou à la fermeture. A cet effet, si un fondu à l'ouverture ou à la fermeture a été détecté à l'étape 11 pour au moins k (2 Avantageusement, lors d'une étape optionnelle 13, le résultat de l'étape précédente 12 est combiné à une évaluation locale du niveau de mouvement de la fenêtre de décision. Ceci permet d'éviter des sur-détections sur des portions de séquence d'images à fort mouvement que l'on pourrait considérer à tort comme des fondus. Ce niveau de mouvement peut être 2887731 8 fourni par exemple par un module de décision de niveau image (par exemple décision du mode de codage trame/image, décision du type de l'image I, P, ou B...) d'un dispositif de codage. II peut être calculé pour une image en faisant le rapport entre l'activité temporelle calculée entre cette image et l'image la précédant ( par exemple la somme des valeurs absolues des différences, pixel à pixel, entre les valeurs de luminance associées à chaque pixel de cette image et les valeurs de luminance associées à chaque pixel de l'image la précédant) et l'activité spatiale calculée pour cette image (par exemple la somme sur l'image des valeurs absolues des valeurs de luminance associées à chaque pixel de cette image). Plus précisément, le niveau de mouvement calculé pour la dernière image de la fenêtre de décision est le niveau de mouvement associé à la fenêtre de décision. Si la présence d'un fondu a été déduite pour la fenêtre de détection à l'étape précédente 12 et si le niveau de mouvement pour cette fenêtre est inférieur à un certain seuil, alors la présence d'un fondu pour la fenêtre de détection est validée. Dans le cas, particulier d'une séquence entrelacée, il est avantageux de définir une fenêtre glissante, dite fenêtre de décision. Cette fenêtre peut par exemple avoir une taille trois trames. Cette fenêtre montrée à la figure 2 peut notamment être utilisée, dans un dispositif de codage, par un module de décision de niveau image. Sur la figure 2, la fenêtre est positionnée pour prendre une décision de niveau image pour l'image référencée Pk correspondant aux trames référencées F; _1 et Fi_2. Plus précisément, l'image Pk est soit une image constituée de l'union des deux trames F;_1 et Fi_2 ( frame picture en anglais), soit une image constituée de deux trames indépendantes F;_1 et Fi_2 ( field picture en anglais). Dans le cas de la norme MPEG-2 défini dans le document ISO/IEC 13818-2 (intitulé en anglais Information technology --Generic coding of moving pictures and associated audio information: Video ), les décisions de niveau image (par exemple décision du mode de codage frame picture / field picture , décision du type de l'image I, P, ou B. ..) s'appliquent au moins sur deux trames successives. Dans le cas particulier d'une séquence ayant subi une transformation de type ajustement 24 images ( detelecine ou 3:2 pulldown en anglais), une trame est répétée. La taille de la fenêtre de décision est donc de trois trames. Afin de caler la détection de fondus avec 2887731 9 les décisions de niveau image, la variation du niveau de luminance calculée à l'étape 11, est calculée entre la trame positionnée en F;_1 dans la fenêtre glissante et la trame à la même position dans la fenêtre glissante telle que positionnée pour prendre une décision de niveau image pour l'image précédente référencée Pk-l. Les figures 3 et 4 représentent la position de la fenêtre de décision pour l'image suivante Pk+1. En effet, si Pk est composée de l'union de F;_1 et Fi_2 et que F; n'est pas une trame répétée ou si Pk est composée de deux trames indépendantes F;_1 et Fi_2, alors la position suivante de la fenêtre de décision pour l'image Pk+1 est illustrée par la figure 3. En revanche, si Pk est composée de l'union de F;_1 et Fi_2 et que F; est une trame répétée (cas detelecine ), alors la position suivante de la fenêtre de décision pour l'image Pk+1 est illustrée par la figure 4. La présente invention concerne également un dispositif de détection de fondus, référencé 30 sur la figure 5, mettant en oeuvre le procédé décrit précédemment. Seuls les éléments essentiels du dispositif sont représentés sur la figure 5. Le dispositif 30 comprend: une mémoire vive 32 (RAM ou composant similaire), une mémoire morte 33 (disque dur ou composant similaire), une unité de traitement 34 telle qu'un microprocesseur ou un composant similaire et une interface d'entrée/sortie 35. Ces éléments sont reliés entre eux par un bus d'adresses et de données 31. La mémoire morte 33 contient les algorithmes mettant en oeuvre les étapes 10 à 12 et optionnellement l'étape 13 du procédé selon l'invention. A la mise sous tension, l'unité de traitement 34 charge et exécute les instructions de ces algorithmes. La mémoire vive 32 comprend notamment les programmes de fonctionnement de l'unité de traitement 34 chargés à la mise sous tension de l'appareil, ainsi que les images à traiter. L'interface d'entrées/sorties 35 a pour fonction de recevoir le signal d'entrée (i.e. la séquence d'images source) et sort le résultat de la détection de fondus selon les étapes 10 à 12 (ou 13) du procédé de l'invention. La présente invention s'applique au domaine de la compression de séquences d'images. En effet, le dispositif 30 de détection de fondus peut être utilisé dans un dispositif de codage référencé 40 sur la figure 6. Ce dispositif comprend notamment des moyens de codage 41 pour coder la 2887731 10 séquence d'images source 400. Les moyens de codage comprennent au moins des moyens de décision permettant de sélectionner le type d'image (e.g. intra (image I), prédites (images P), bidirectionnelles (images B)). Ce module peut par exemple mettre en oeuvre la norme de codage MPEG-2 définie notamment dans le document ISO/IEC 13818-2 (intitulé en anglais Information technology -- Generic coding of moving pictures and associated audio information: Video ). Plus généralement, il peut mettre en oeuvre toute norme de codage de séquences d'images. II utilise notamment l'information fournie par le dispositif 30 pour adapter dynamiquement le type d'image. Ceci peut permettre d'améliorer le coût de compression et la qualité des images décodées. Le dispositif 30 de détection de fondus peut également être intégré à un dispositif de structuration de séquences d'images référencé 50 sur la figure 5. Ce dispositif 50 comprend notamment des moyens d'indexation 51 permettant de créer une description 501 de la séquence d'images source 400 (e.g. marqueur temporel, time code en anglais, de début et de fin de fondus). Ce dispositif 50 permet notamment de retrouver les frontières de plans et des unités narratives afin de permettre de naviguer nonlinéairement dans la séquence ou de générer des condensés. Plus précisément, il permet de retrouver les bonnes frontières de plan lorsqu'un fondu a été introduit au montage grâce au dispositif 30 de détection de fondus et donc fournit de meilleures bases pour la structuration en unités narratives. De plus la connaissance des fondus donne des informations de haut niveau sur la structuration de la vidéo. Le dispositif 50 permet donc de structurer la séquence par exemple en chapitres et sous chapitres dans le cas de séquences d'images numériques comme sur un DVD. En effet, un fondu au noir ou fondu à la fermeture suivi par un fondu du noir ou fondu à l'ouverture dans un film indique très souvent un changement de chapitre . Par ailleurs, dans les retransmissions sportives, les ralentis - qui permettent de détecter les phases de jeu intéressantes - sont très souvent délimités par des fondus. Bien entendu, l'invention n'est pas limitée aux exemples de réalisation mentionnés ci-dessus. En particulier, l'homme du métier peut apporter toute 2887731 11 variante dans les modes de réalisation exposés et les combiner pour bénéficier de leurs différents avantages. 2887731 12 Revendications 1. Procédé de détection d'un fondu dans une séquence d'images, lesdites images comprenant des pixels ou points images à chacun desquels est associé au moins une valeur de luminance, caractérisé en ce qu'il comprend les étapes suivantes: calculer (10), pour chacune des images d'une fenêtre de longueur N images consécutives, dite fenêtre de détection, et pour l'image précédant ladite fenêtre de détection, un niveau de luminance à partir des valeurs de luminance associées à chacun desdits pixels de chacune desdites images; détecter (11) un fondu, pour chacune desdites N images de ladite fenêtre de détection, en se basant sur la différence entre le niveau de luminance associé à l'image courante et le niveau de luminance associé à l'image précédant ladite image courante; et en déduire (12) la présence d'un fondu pour ladite fenêtre de détection si, pour au moins k images de ladite fenêtre de détection, un fondu a été détecté, avec 2 2. Procédé selon la revendication 1, caractérisé en ce que le niveau de luminance associé à une image est égal à la somme des valeurs de luminance associées à chacun desdits pixels de ladite image. 3. Procédé selon l'une des revendications 1 ou 2, caractérisé en ce qu'il comprend en outre une étape supplémentaire (13) pour valider la présence d'un fondu dans la fenêtre de détection si un niveau de mouvement associé à ladite fenêtre de détection est inférieur à un seuil prédéterminé. 4. Procédé selon la revendication 3, caractérisé en ce que le niveau de mouvement associé à une image est égal au rapport entre l'activité temporelle calculée entre ladite image et l'image précédant ladite image, dite image précédente, et l'activité spatiale calculée pour ladite image et en ce que le niveau de mouvement associé à ladite fenêtre de décision est égal au 2887731 13 niveau de mouvement associé à la dernière image de ladite fenêtre de décision. 5. Procédé selon la revendication 4, caractérisé en ce que ladite activité temporelle entre ladite image et ladite image précédente est égale à la somme des valeurs absolues des différences pixel à pixel entre les valeurs de luminance associées à chaque pixel de ladite image et les valeurs de luminance associées à chaque pixel de ladite image précédente et en ce que l'activité spatiale de ladite image est égale à la somme des valeurs absolues des valeurs de luminance associées à chaque pixel de ladite image. 6. Dispositif de détection de fondus dans une séquence d'images comprenant des pixels ou points images à chacun desquels est associé au moins une valeur de luminance, caractérisé en ce qu'il comprend: des moyens (32, 33, 34) de calcul pour calculer, pour chacune des images d'une fenêtre de longueur N images consécutives, dite fenêtre de détection, et pour l'image précédent ladite fenêtre de détection, un niveau de luminance à partir des valeurs de luminance associées à chacun desdits pixels de chacune desdites images; des moyens (32, 33, 34) de détection pour détecter un fondu, pour chacune desdites N images de ladite fenêtre de détection, en se basant sur la différence entre le niveau de luminance associé à l'image courante et le niveau de luminance associé à l'image précédant ladite image courante; et des moyens pour déduire (32, 33, 34) la présence d'un fondu pour ladite fenêtre de détection si pour au moins k images de ladite fenêtre de détection un fondu a été détecté par les moyens de détection, avec 2 7. Dispositif de codage vidéo (40) caractérisé en ce qu'il comprend des moyens de codage (41) et un dispositif (30) de détection de fondus selon la revendication 6. 2887731 14 8. Dispositif de structuration (50) de séquence d'images caractérisé en ce qu'il comprend des moyens d'indexations (51) et un dispositif (30) de détection de fondus selon la revendication 6.