Brevet FR2807902A1 — publié le 20011019

L'invention concerne un procédé et dispositif de détection de changement de plan dans une succession d'images vidéo, communément appelé "cut" dans la littérature anglaise. .La nécessité de repérer de tels changements de plan dans une séquence audiovisuelle se manifeste notamment dans les applications de conversion de rythme trame où un filtrage temporel est généralement utilisé. Lorsque deux trames consécutives ne sont plus corrélées, ce filtrage n'est plus souhaitable. Une détection préalable de ce changement de plan permet ainsi faire appel à un autre type d'interpolation, exemple une répétition de trame évitant ainsi un mélange incohérent. L'extraction de paramètres d'indexation pour contenu vidéo, la segmentation par plan vidéo faisant appel à une détection préalable des transitions sont aussi des applications de l'invention. procédés connus de détection de changement plan dans une séquence vidéo s'appuient généralement sur la différence d'histogrammes de luminance entre les deux trames consécutives considérées. Le principe est donc fondé sur la variation de luminance d'un plan au suivant. Ce type de détecteur est très sensible aux variations de luminance qui peuvent intervenir indépendamment des changements de scène n'est donc pas très fiable. L'invention a pour but de pallier les inconvénients précités. Elle a pour objet un procédé de détection de changement de plan dans une succession d'images vidéo, comportant une étape de création d'histogrammes d'une image représentant les occurrences des valeurs de luminance en fonction de ces valeurs, une étape de comparaison d'un histogramme d'une image T(t) avec un histogramme d'une image précédente T(t-1), ce procédé étant caractérisé en ce que l'étape de comparaison consiste - à calculer, pour une occurrence histo lum (n, t) correspondant à une valeur de luminance n dans l'image T(t), les différences absolues de cette occurrence avec les occurrences histo lum (n+k, t-1) de l'image précédente, k variant de - K à + K, K étant un entier naturel, - à choisir la valeur minimale Min Diff (n, t) parmi ces différences, - à sommer les valeurs minimales pour l'ensemble des valeurs de luminance de l'histogramme, - à comparer la somme obtenue à un seuil. Selon une réalisation particulière, le procédé effectue, avant l'étape de comparaison, une étape de filtrage des histogrammes réalisant un moyennage d'une occurrence relative à une valeur de luminance n donnée à partir d'occurrences de valeurs de luminance voisines, l'étape de comparaison effectuant sur les histogrammes filtrés. Une application concerne un procédé d'indexation audiovisuelle pour l'extraction paramètres d'indexation de séquences, ce procédé d'indexation étant caractérisé en ce qu'il comporte une étape de détection de changement de plan selon le procédé de l'invention. Le procédé proposé, bien que s'appuyant aussi sur une différence d'histogramme, permet d'absorber des variations de luminance susceptibles d'engendrer de fausses détections. Les origines de ces variations peuvent typiquement provenir d'un zoom, d'un travelling, par exemple lors d'un passage dans une zone plus ombragée, d'un léger mouvement de caméra... Le procédé proposé est plus fiable, plus efficace et plus simple à mettre en oeuvre. Le dispositif correspondant, très économique, peut être inséré très facilement dans des appareils grand public. Il s'agit en fait d'un très bon compromis entre complexité de réalisation et efficacité. Ce procédé peut également être partie d'un système plus sophistiqué d'indexation audiovisuelle pour lequel il pourra constituer bloc algorithmique base. II pourra être complété par d'autres couches d'analyse permettant de rendre la détection encore plus robuste. Les caractéristiques et avantages de la présente invention ressortiront mieux de la description suivante donnée à titre d'exemple et en référence à la figure 1 qui représente les différentes étapes du procédé. Une première étape 1 traite les informations vidéo relatives à une trame à l'instant t, T(t). Les valeurs de luminance de chaque pixel de la trame sont ramenées à une précision de 6 bits par simple troncature des deux bits de poids faible. Un histogramme de luminance HISTO-LUM [0...63, t] est élaboré à l'étape suivante 2 sur ces valeurs de luminance de la trame à l'instant t. Cet histogramme contient 64 valeurs différentes allant de 0 à 63. L'étape suivante 3 réalise un filtrage des histogrammes de luminance. Un filtre monodimensionnel est appliqué aux éléments des histogrammes. Ce filtre contribue à compenser effets parasites engendrant des variations de luminance intempestives. Soit HISTO_LUM [n, t] le nombre d'occurrences, dans l'histogramme relatif à la trame T(t), de la valeur luminance n ou, en d'autres termes, le nombre de pixels dans la trame T(t) ayant la valeur n. Le filtrage ou lissage de l'histogramme est par exemple réalisé en moyennant l'occurrence relative a une valeur de luminance n, sur 2N+1 valeurs. Ces valeurs sont, en plus de l'occurrence considérée, les occurrences des valeurs de luminance voisines, à savoir les N valeurs avant et après n. Pour les valeurs de luminance qui se trouvent à une distance inférieure à N des valeurs extrêmes 0 et 63, la valeur filtrée peut être la valeur d'origine. En considérant par exemple une moyenne sur 5 valeurs (N=2), la valeur lissée de l'occurrence relative à la valeur de luminance n, histo lum(n,t), est égale à: La valeur N définissant la largeur filtre est supérieure ou égale à un, le filtre portant sur au moins trois éléments. Elle est d'autant plus grande que le filtrage souhaité est important. L'histogramme de luminance calculé pour chaque nouvelle trame. L'histogramme filtré de la trame courante histo lum [0...63, (t)], est mémorisé à l'étape 4. L'histogramme filtré de la trame précédente histo lum [0...63, (t -1)] qui avait été mémorisé à l'étape 4 lors du traitement de cette trame précédente T(t-1) est transmis à l'étape 5 qui reçoit également l'histogramme filtré de la trame courante T(t) provenant directement de l'étape 3. L'étape réalise alors une comparaison entre les deux histogrammes selon le procédé de l'invention, pour obtenir une différence minimale pour chaque élément n de l'histogramme. Chaque elément (ou échantillon) histo lum(n,t) de l'histogramme dans la trame courante est comparé à son homologue histo lum(n,t-1) et aux éléments voisins histo(n+k,t-1) de cet homologue dans la trame précédente pour fournir différences, la différence minimale Min Dif(n,t) étant choisie. On a ainsi, pour la différenciation des deux histogrammes: -pour +K Min- Dif (n, t) =Min @ Abs(histo_ lum(n, t) - histo_ lum(n k, t -1)) l k--K -pour n - 0+ K ou 63 - K - Min _ Dif (n, t) = Abs(histo _ lum(n, t) - histo _ lum(n, t - K est un entier naturel, Abs correspond à la valeur absolue. En d'autres termes, pour les valeurs de luminance à une distance inférieure à K des valeurs extrêmes 0 et 63, la valeur calculée Min _Dif(n,t) est la valeur absolue des différences des valeurs filtrées. L'étape suivante 6 du traitement consiste à faire sommation, sur l'ensemble des éléments de l'histogramme de la trame courante, des différences minimales obtenue Min Dif(n.t) L'étape 7 réalise une comparaison entre la valeur obtenue Sum(t) pour la trame T(t) et un seuil prédéterminé Thr cut. - Si Sum(t) >_ Thr_Cut , alors il est considéré que la trame T(t) correspond à une coupure de séquence Cut (t) =1 - Si Sum(t) - , il est alors considéré qu'il n'y a pas de coupure: Cut(t) =0 La valeur du seuil de détection Thr cut est fixée, de manière empirique, à environ 115 du nombre de points contenus dans une trame. Par exemple pour une trame SDTV de 720 x 288 pixels utiles, la valeur du seuil Thr est prise égale à 40000. Ainsi, si la somme calculée est supérieure à un seuil prédéterminé, test effectué lors de l'étape 7, un changement de plan est déclaré entre deux trames considérées et une première sortie (Y) est activée. Dans le contraire, une deuxième sortie (N) activée indique qu'il n'y a pas changement de plan. Le calcul de la valeur Min Dif est lié à une valeur prédéterminée Plus la valeur choisie pour K est importante, plus le système sera capable d'absorber des variations importantes de luminance mais cela se fera au détriment de la sensibilité du détecteur sur les vrais changements de plan, pouvant ainsi conduire à des échecs dans la détection. L'expérience a montré qu'en choisissant K=1, le système se comporte efficacement. II détecte alors 95% des changements de plan et produit environ 10% de fausses détection. Ces fausses détections qui semblent nombreuses regroupent des situations ambiguës de la scène qui sont assimilees, par les systèmes de détection automatiques, à des changements de plan. Ces situations sont en général répertoriées et facilement identifiables par des systèmes d'analyse complémentaires qui se chargent de les rejeter afin d'épurer les résultats. Ces outils annexes relatifs à la détection de ces situations typiques, c'est à dire connues, permettent ainsi d'améliorer les performances de notre procédé. changements de plan non détectés peuvent être réduits en jouant sur valeur de K mais au détriment des fausses détections qui deviendraient plus nombreuses. Selon l'application visée et aussi selon outils associés à ce détecteur, l'avantage sera donné au taux de détection ou à fausse détection. Par exemple dans le cas d'une conversion de rythme trame, il souhaitable de limiter les fausses détections car elle conduisent à une interpolation spécifique pouvant engendrer des saccades visibles. Pour une application de segmentation d'une séquence vidéo en plans, un exces de détections ne sera pas critique car le détecteur sera suivi d'analyses complémentaires permettant de rejeter le surplus de détections. filtrage effectué avant la différenciation, sur 2N+1 échantillons permet d'absorber les faibles variations de luminance qui se traduisent une propagation vers des échantillons voisins, d'une image à l'autre. II permet ainsi de mieux différencier les variations de luminance dues à une coupure de séquence et donc tout à fait aléatoires dans l'image, des variations luminance dues aux mouvements dans la scene. Ces dernières se traduisent généralement par une propagation des échantillons vers des valeurs voisines en fonction de l'évolution des surfaces des zones concernées, de l'apparition ou disparition de zones, variations de luminance, évolutions et variations se faisant généralement de manière progressive. C'est d'avantage une forme d'histogramme, donc un histogramme filtré, qui doit être prise en compte, pour être comparée à une autre, que des valeurs précises d'histogrammes. En effet, même si elles varient peu d'une image à une autre, ces valeurs peuvent fournir une somme des variations importante pouvant conduire à une fausse détection de cut. Plusieurs différences sont calculées, l'une à partir de la même valeur de luminance de l'image précédente, les autres à partir de valeurs voisines et c'est la valeur minimum qui est prise en compte. Le fait de choisir la valeur minimum dans un voisinage d'échantillons permet de s'affranchir de fausses détections. En effet, lors d'une coupure de séquence, les pics d'histogrammes changent complètement de position alors que dans les autres cas il s'agit plutôt d'une évolution lente de ces pics d'histogrammes d'une valeur de luminance à une autre. Il y a transfert des valeurs de luminance vers des échantillons voisins de l'histogramme par exemple lors de variations lentes d'éclairage, lors de travelling... Le fait de prendre en compte échantillons voisins permet de s'affranchir de ce transfert, dans une certaine mesure dépendant du nombre d'échantillons voisins. II peut également être ajouté qu'une variation majoritaire de gradient de luminance dans l'image, d'une image à l'autre, par exemple lors d'un fading ou d'une surexposition, se cumule sur un nombre important d'échantillons de luminance et donc sur la sommation qui est effectuée sur les différences Le choix d'une valeur minimum permet d'être moins sensible à de telles variations globales de luminance dans l'image. Les applications du procédé selon l'invention concernent les dispositifs de codage et de compression de l'image mais également la segmentation par plans vidéo, l'extraction de paramètres pour l'indexation de séquences. procédé permet de détecter les différentes séquences, exemple dans un film ou une succession de films, permettant alors, pour chacune d'elle et selon des procédés connus, d'extraire un ou plusieurs paramètres reconnaissance ou d'identification. Par exemple, un procedé d'indexation audiovisuelle peut comporter une étape de détection de séquences selon le procédé de l'invention. Bien évidemment, les calculs précédemment décrits peuvent être relatifs à une succession d'images, de trames et concernent tout type de standard ou codage . Un dispositif de compression de données vidéo ou de codage comportant un circuit mettant en ceuvre le procédé précédemment décrit fait également partie du domaine de l'invention. REVENDICATIONS 1 Procédé de détection de changement de plan dans une succession d'images vidéo, comportant une étape (2) de création d'histogrammes d'une image représentant les occurrences des valeurs de luminance en fonction de ces valeurs, étape de comparaison (5) d'un histogramme d'une image T(t) avec un histogramme d'une image précédente T(t-1), caractérisé en ce que l'étape comparaison (5) consiste - à calculer, pour une occurrence histo lum (n, t) correspondant à une valeur de luminance n dans l'image T(t), les différences absolues de cette occurrence avec les occurrences histo (n+k, t-1) de l'image précédente, k variant de - K à + K, K étant entier naturel, - à choisir la valeur minimale Min Diff (n, t) parmi ces différences, - à sommer (6) les valeurs minimales pour l'ensemble des valeurs de luminance de l'histogramme, - à comparer (7) la somme obtenue à un seuil. 2 Procède selon la revendication 1, caractérisé en qu'il réalise, avant l'étape de comparaison (5), une étape de filtrage des histogrammes réalisant un moyennage d'une occurrence relative à une valeur de luminance donnée à partir d'occurrences de valeurs de luminance voisines, l'étape de comparaison s'effectuant sur les histogrammes filtrés. 3 Procède selon la revendication 2, caractérisé en ce que les valeurs de luminance voisines sont les deux valeurs inférieures et les deux valeurs supérieures à la valeur de luminance n. 4 Procédé selon la revendication 2, caractérisé en ce que les occurrences correspondant à des valeurs de luminance extrêmes ne sont pas moyennées. 5 Procédé selon la revendication 1, caractérisé en ce que la valeur de seuil à laquelle est comparée la somme obtenue est sensiblement égale à 1I5 du nombre de point contenus dans une image. 6 Procédé selon la revendication 1, caractérisé en ce que qu'il effectue une troncature des valeurs de luminance avant calcul des histogrammes. Procédé selon la revendication 1, caractérisé en ce la valeur de K est égale à 1. Procédé d'indexation audiovisuelle pour l'extraction paramètres d'indexation de séquences, caractérisé en ce qu'il comporte une étape de détection de changement de plan selon le procédé de la revendication 1. 9 Dispositif de codage vidéo, caractérisé en ce qu'il comporte un circuit de détection de changement de plan mettant en ceuvre le procédé de la revendication 1.