Brevet FR2887711A1 — publié le 20061229

L'invention concerne un procédé de codage et décodage hiérarchique d'images vidéos de différents formats non proportionnels ou proportionnels en horizontal et/ou vertical d'un facteur différent de 2, plus particulièrement un codage par analyse spatiale exploitant la transformation par ondelettes or DWT selon l'acronyme de l'appellation anglaise Discrete Wavelet Transformation. Il s'agit par exemple du codage d'un signal de télévision numérique au format SD, de l'anglais Standard Definition, et au format haute définition HD. io Le domaine est celui de la compression vidéo basée sur des schémas à échelonnabilité spatiale et/ou temporelle dits aussi scalables . Il s'agit par exemple d'un codage en ondelettes 2D+t comportant un filtrage temporel compensé en mouvement. Le codage hiérarchique permet d'obtenir une couche de base, relative au format basse résolution, et des couches supérieures qui correspondent à des formats de plus grande résolution. Les codeurs vidéo à échelonnabilité spatiale sont du domaine connu. Le flux de données généré par le codeur vidéo a une structure hiérarchique permettant de transmettre ou d'extraire les données codées nécessaires au seul format de décodage. Les formats vidéo concernés par ces codeurs sont ceux pour lesquels les dimensions de la résolution haute correspondent à un multiple de 2 de celles de la résolution basse, permettant une décomposition dyadique. Ainsi, un codage compatible d'un format QCIF, de l'anglais Quarter Common Intermediate Format et de dimensions 176 x 144 et d'un format CIF, de dimensions 352 x 288, ou bien un codage compatible d'un format CIF et d'un format 4 CIF, de dimensions 704 x 576, s'obtient par une décomposition spatiale comportant des filtrages passe-haut et passe-bas et des sous-échantillonnages par deux des images filtrées. La figure 1 représente un schéma d'un codeur vidéo selon l'art antérieur. Comme dans la plupart des schémas de codage sous-bande 2D+t, tels que MCEZBC acronyme de l'anglais Motion Compensated Embedded Zero Block Context, la première étape de la chaîne de codage consiste à tirer parti de la redondance temporelle entre images successives, avant d'exploiter la redondance spatiale au sein d'une image. Le signal vidéo est transmis à un circuit d'analyse temporelle 1. Un circuit d'estimation de mouvement 2 est relié à ce premier circuit pour estimer le mouvement entre deux images. Les informations de mouvement sont transmises au circuit 1 et à un circuit 6 de codage, par exemple sous forme de champs de vecteurs mouvement. La sortie du circuit 1 est transmise à un circuit d'analyse spatiale 3 qui effectue une transformation ondelette DWT pour fournir des données par sous-bande. Ces données sont ensuite quantifiées puis codées selon un codage entropique par un codeur 4. Ce codage peut être de type VLC, acronyme de l'anglais Variable Length Coding, ou de type arithmétique. Les informations codées et celles de mouvement sont transmises à un circuit de mise en paquets ou paquetiseur 5 qui envoie les données vidéo sous forme de paquets vidéo pour constituer le flux de données vidéo. io Le circuit de paquetisation a pour fonction de découper l'information de texture et de mouvement provenant respectivement du circuit de codage entropique et du circuit de codage des champs de mouvement en sousensembles cohérents selon leur fréquence spatiale, temporelle, et leur importance, par exemple leur poids dans une approche de codage par plans de bits. Ainsi le flux binaire obtenu est échelonnable ou "scalable" indépendamment en résolution, en fréquence trame et en fidélité. Les champs de mouvement estimés correspondent à la résolution de la source ou bien aux résolutions des différents niveaux de décomposition temporelle. La figure 2 représente de manière synthétique les opérations de filtrage temporel avec compensation en mouvement, aussi connu sous l'acronyme MCTF, de l'appellation anglaise Motion Compensated Temporal Filtering, réalisées par le circuit d'analyse temporelle 1. Dans cet exemple, une décomposition à 4 niveaux est effectuée pour des groupes d'images, aussi appelés GOP ou GOF, de l'anglais Group Of Picture et Group Of Frames, comportant 16 images représentées en traits gras. Le filtrage haute fréquence et basse fréquence, reconduit pour chaque niveau de décomposition, produit respectivement, au premier niveau de décomposition temporelle, 8 images de fréquence temporelle haute (t-H) et 8 images de fréquence temporelle basse (t-L). Les images de fréquence temporelle basse sont ensuite décomposées à nouveau selon le même procédé. Le filtrage passe-haut de ces images fournit, au niveau de décomposition temporelle supérieur, 4 images de fréquence temporelle haute t-LH et le filtrage passe bas fournit 4 nouvelles images de fréquence temporelle basse t-LL. Et ainsi pour les autres niveaux. Cette décomposition permet donc une nouvelle répartition de l'énergie en générant une image utile de fréquence temporelle basse t-LLLL, qui représente une moyenne de l'ensemble du groupe d'images et dans laquelle est concentrée l'énergie, et quatre niveaux d'images de fréquence temporelle haute de faible énergie, soit 5 bandes de fréquence. Ce sont ces 16 images qui sont transmises au circuit d'analyse spatiale pour une décomposition spatiale en sous-bandes. Dans un exemple de réalisation, au lieu d'utiliser un filtrage complexe exploitant un filtre linéaire de longueur importante, le filtrage est ici effectué sur un groupe de 16 images, un filtrage appelé lifting est mis en oeuvre. Ce procédé de filtrage consiste, de manière connue, à factoriser le filtre en exploitant des filtres de longueur limitée, par exemple un filtre de type io 5/3 si l'on choisit de filtrer les échantillons à l'aide d'une fenêtre glissante impliquant 5 échantillons successifs. La scalabilité permet de générer un train binaire duquel on peut extraire des sous-trains binaires adaptés à des ensembles donnés tels que débit, résolution spatiale, fréquence temporelle... En particulier la scalabilité spatiale permet, à partir d'un seul encodage effectué à une résolution spatiale donnée, de pouvoir extraire du train binaire résultant, des sous-trains binaires correspondant à des résolutions spatiales inférieures. Par exemple, si le train binaire scalable originel a été généré à partir d'une séquence vidéo de résolution 720480 pixels, il est possible, après avoir extrait de ce train binaire les données adéquates, d'obtenir un sous-train binaire, par exemple de résolution 360*240 pixels, lui-même scalable. Le décodage de ce sous-train binaire générera une vidéo de taille 360*240 pixels. Cette scalabilité spatiale est obtenue à partir du circuit d'analyse spatiale 3 qui effectue un découpage sous-bandes par transformation en ondelettes. Par exemple, une décomposition sous-bande à un seul niveau d'un signal 4 CIF fournit un signal de plus basse fréquence LL correspondant au format CIF. Si cependant le format haute résolution n'est pas lié à un format plus basse résolution par une transformation dyadique, une partie de l'image au format haute résolution ou à un format basse résolution n'est pas exploitée pour le codage. Un but de l'invention est de pallier les inconvénients précités. L'invention a pour objet un procédé de codage hiérarchique d'une image source vidéo selon différents formats, au moins un premier format d'image de résolution supérieure et un deuxième format d'image de résolution inférieure non proportionnels ou proportionnels d'un facteur différent de 2, le procédé comprenant une étape d'analyse spatiale basée ondelettes comportant des opérations de filtrage de l'image au format de résolution supérieure et des opérations de décimation en horizontal et/ou vertical de l'image filtrée pour fournir des signaux de sous-bande, caractérisé en ce qu'une opération de décimation est effectuée selon un facteur différent d'une valeur paire et correspond au quotient des dimensions horizontales ou verticales du premier et deuxième format de manière à ce que l'image basse fréquence ainsi obtenue relative aux signaux de sous- bande basse fréquence, corresponde au deuxième format. Selon une mise en oeuvre particulière, le procédé est caractérisé io en ce qu'il comporte une étape préliminaire d'analyse temporelle de l'image source pour fournir des images de fréquence temporelle haute et basse et en ce que l'étape d'analyse spatiale est effectuée sur les dites images de fréquence temporelle. Selon une mise en oeuvre particulière, le procédé est caractérisé en ce que l'image au format de résolution supérieure est une image basse fréquence obtenue par transformation en ondelettes dyadique de l'image source. Selon une mise en oeuvre particulière, le premier format d'image correspondant à Y lignes de X pixels et le deuxième format à v lignes de U pixels, le procédé est caractérisé en ce qu'une opération de décimation est effectuée selon l'axe des X d'une valeur X /(X U) ou selon l'axe des Y d'une valeur Y/(Y-V) pour fournir des signaux de sous-bande haute fréquence (16, 17, 18). L'invention concerne également un procédé de décodage d'une image source vidéo à partir d'informations de sous-bande relatives à des images à un premier format d'image de résolution supérieure et à un deuxième format de résolution inférieure, non proportionnels ou proportionnels d'un facteur différent de 2, le procédé comprenant une étape de synthèse spatiale basée ondelettes comportant une opération de sur-échantillonnage en horizontal et/ou vertical de l'image de résolution inférieure obtenue à partir de signaux de sous-bande, et de filtrage de l'image suréchantillonnée pour fournir l'image de résolution supérieure, caractérisé en ce qu'une opération de sur-échantillonnage est effectuée selon un facteur différent d'une valeur paire et correspond au quotient des dimensions horizontales ou verticales du premier et deuxième format. Selon une mise en oeuvre particulière, le procédé est caractérisé en ce que l'image de résolution inférieure correspond aux signaux de sous-bande basse fréquence de l'image de résolution supérieure. Selon une mise en oeuvre particulière, le procédé est caractérisé en ce que l'image de résolution inférieure est obtenue par synthèse spatiale à partir des signaux de sous-bande basse et haute fréquence relatives à cette image. Grâce aux facteurs spécifiques de sous-échantillonnage, à un io filtrage anisotropique, lors du codage en ondelettes, les sous-images obtenues sont adaptées aux formats de codage échelonnables, même si ces derniers ne se déduisent pas l'un l'autre par une transformation dyadique. En contrepartie d'une légère déformation de l'image, toutes les informations de l'image haute résolution sont codées et donc exploitées pour la visualisation d'une image de plus basse résolution de dimensions non homothétiques. D'autres particularités et avantages de l'invention apparaîtront clairement dans la description suivante donnée à titre d'exemple non limitatif et faite en regard des figures annexées qui représentent: - la figure 1 un schéma de codage échelonnable selon l'art antérieur, - la figure 2, une décomposition temporelle d'un groupe d'images, - la figure 3, une analyse spatiale selon l'invention. Le circuit d'analyse spatiale 3 selon l'invention est décrit à l'aide de la figure 3. Les différents signaux de sous-bandes sont obtenus par filtrages passe-haut et passe-bas de l'image. Les filtres sont utilisés pour filtrer l'image d'abord sur les lignes puis sur les colonnes. Après chaque filtrage, le résultat est sous-échantillonné. Dans notre exemple, un seul niveau de décomposition sous-bande est réalisé correspondant à un filtrage passe-haut et passe-bas sur les lignes donnant deux images filtrées et un filtrage passe-haut et passe-bas sur les colonnes pour chacune des images filtrées. Les formats d'images à transmettre par le codeur sont par exemple le format HD et le format SD. Une image de haute résolution 7 au standard HD de 720 lignes de 1280 pixels, et correspondant à une des images hautes fréquences d'un niveau de décomposition temporelle (t-H, t-LH, t-LLH, t-LLLH) ou à l'image basse fréquence du dernier niveau de décomposition temporelle (t-LLLL) provenant du circuit d'analyse temporelle 1 est décomposée en ondelettes. Ainsi, un filtrage horizontal passe-haut et un filtrage horizontal passe- bas sont effectués sur cette image 7 pour fournir respectivement une première et deuxième image filtrée 8 et 9. L'image filtrée 9 est ensuite décimée en horizontal d'un facteur 1280/720 pour fournir une image 11 de 720 lignes de 720 pixels. L'image filtrée 8 est également décimée en horizontal d'un facteur 1280/560 pour fournir une image 10 de 720 lignes de 560 pixels. io Un filtrage vertical passe-haut et un filtrage vertical passe-bas sont effectués sur l'image 11 pour fournir respectivement une première et deuxième image filtrée 14 et 15. L'image filtrée 14 est ensuite décimée en vertical d'un facteur 720/240 pour fournir une sous-image 18 de 240 lignes de 720 pixels. L'image filtrée 15 est également décimée en vertical d'un facteur 720/480 pour fournir une sous-image 19 de 480 lignes de 720 pixels. Un filtrage vertical passe-haut et un filtrage vertical passe-bas sont effectués sur l'image 10 pour fournir respectivement une première et deuxième image filtrée 13 et 12. L'image filtrée 13 est décimée en vertical d'un facteur 240/720 pour fournir une sous-image 17 de 240 lignes de 560 pixels. L'image filtrée 12 est également décimée en vertical d'un facteur 480/720 pour fournir une sous-image 16 de 480 lignes de 560 pixels. L'image 20 représente les différents signaux de sous-bandes correspondant au regroupement des sous-images obtenues. Ainsi, le procédé de décomposition ondelettes est adapté en fonction des formats d'image échelonnables à coder. A partir du format d'image de plus haute résolution, le procédé d'analyse spatiale réalise une décimation horizontale de l'image obtenue par filtrage passe-bas en horizontal d'un facteur correspondant au rapport de la dimension horizontale du format de plus haute résolution à celle du format de résolution inférieure. L'image sous-bande ainsi obtenue subit ensuite un filtrage passe-bas en vertical puis une décimation verticale d'un facteur correspondant au rapport de la dimension verticale du format du plus haute résolution à celle du format de résolution inférieure. L'ordre de filtrage en horizontal et vertical peut être inversé. Il s'agit de filtrage anisotropique, les opérations de décimation ayant un rapport de décimation différent en horizontal et en vertical. 2887711 7 D'une manière plus générale, considérons le codage d'une image source en une image selon un premier format de haute résolution et de dimensions Y lignes de X pixels et en au moins un deuxième format de résolution inférieure et de dimensions V pixels de U lignes. U et/ou V est inférieur respectivement à x et/ou Y. Le filtrage anisotropique permet, lors des différentes étapes de filtrage puis décimation, de calculer des informations de sous-bande telles que la sous-image relative à la sous-bande basse fréquence et correspondant au io format de résolution inférieur, ait les dimensions de ce format. Les sous-images haute fréquence complémentaires permettant d'obtenir le niveau de résolution supérieur à coder ont des dimensions également complémentaires de celles de la sous-image basse fréquence pour obtenir les dimensions de ce format de résolution supérieur. Ainsi, une première décimation horizontale d'un facteur X/U est effectué sur l'image au premier format filtrée selon un filtrage passe-bas et une deuxième décimation verticale d'un facteur Y/V est effectué sur l'image ainsi décimée et ayant subi un deuxième filtrage passe-bas. La sous-image basse fréquence obtenue a alors une dimension de V lignes de U colonnes correspondant au deuxième format. Bien sûr le premier format peut être le format de l'image source ou bien un format obtenu après une ou plusieurs transformations en ondelette dyadiques de l'image source. De même pour l'image au format de résolution inférieure. Les informations de sous-bande complémentaires de celles basse fréquence sont obtenues en appliquant des décimations complémentaires. Une première image sous-bande haute fréquence est obtenue en appliquant un filtrage horizontal passe-bas sur l'image au premier format, une décimation en horizontal d'un facteur X/U, un filtrage vertical passehaut et une décimation en vertical d'un facteur Y/(V). Une deuxième image sous-bande haute fréquence est obtenue en appliquant un filtrage horizontal passe-haut sur l'image au premier format, une décimation en horizontal d'un facteur X/(X- U), un filtrage vertical passe-bas et une décimation verticale d'un facteur Y/(Y-V). Une troisième image sous-bande haute fréquence est obtenue en appliquant un filtrage horizontal passe-bas sur l'image au premier format, une décimation en horizontal d'un facteur X/(X-U), un filtrage vertical passehaut et une décimation en vertical d'un facteur Y/(Y-V). L'invention concerne également un procédé de synthèse spatiale et un dispositif de décodage exploitant un circuit de synthèse spatiale mettant en oeuvre le procédé. Le procédé réalise, à partir des signaux de sous-bande ou sous-images sélectionnés dans le flux de données et correspondant au format à décoder, les étapes inverses de celles au codage. io En reprenant l'exemple précédent et en supposant que le décodage concerne le format HD, les signaux de sous-bande traités sont les sousimages LL correspondant au format SD et les sous-images complémentaires LH, HL et LL. Les opérations de suréchantillonnage sont effectuées avec le même facteur que celui utilisé au codage lors des opérations correspondantes de souséchantillonnage ou décimation. Un suréchantillonage en vertical, d'un facteur 720/480 est effectué sur le signal LL pour fournir une image sous-bande de 720 lignes de 720 pixels. Un suréchantillonage en vertical, d'un facteur 720/240 est également effectué sur le signal LH pour fournir une image sous-bande de 720 lignes de 720 pixels. Un filtrage de synthèse passe-bas et passe-haut en vertical est ensuite appliqué respectivement sur ces deux images suréchantillonée LL et LH pour fournir une image de synthèse de 720 lignes de 720 pixels. Cette image est suréchantillonnée en horizontal d'un facteur 1280/720 pour fournir une image haute fréquence de 720 lignes de 1280 pixels. De la même manière, un suréchantillonage en vertical, d'un facteur 720/480 est effectué sur le signal HL pour fournir une image sous-bande de 720 lignes de 560 pixels. Un suréchantillonage en vertical, d'un facteur 720/240 est également effectué sur le signal HH pour fournir une image sous-bande de 720 lignes de 560 pixels. Un filtrage de synthèse passe-bas et passe-haut en vertical est ensuite appliqué respectivement sur ces deux images suréchantillonée HL et HH pour fournir une image de synthèse de 720 lignes de 560 pixels. Cette image est suréchantillonnée en horizontal d'un facteur 1280/720 pour fournir une image haute fréquence de 720 lignes de 1280 pixels. Les images haute et basse fréquence de 720 lignes de 1280 pixels sont appliquées respectivement à un filtre de synthèse passe-haut et à un filtre de synthèse passe-bas pour donner l'image haute résolution de 720 lignes de 1280 pixels. Comme précédemment, le procédé peut être généralisé à une image sousbande basse fréquence de basse résolution pour obtenir une image décodée de plus haute résolution, les facteurs de suréchantillonnage étant ceux calculés précédemment pour la décimation, les opérations de filtrage et de suréchantillonnage étant effectuées dans un ordre inverse, pour io remonter à l'image de plus haute résolution, selon l'exemple donné cidessus. L'image de résolution inférieure correspond aux signaux de sous-bande de basse fréquence relatifs à l'image de résolution supérieure. Dans le cas ou plus de deux niveaux de résolution existent et si l'image de résolution inférieure considérée n'est pas l'image de plus basse résolution, l'image de résolution inférieure est alors reconstruite à partir des signaux de sous-bande relatifs à l'image de plus basse résolution et des signaux de sous-bande haute fréquence des niveaux de résolution intermédiaires s'ils existent, qui constituent dans leur ensemble les signaux de sous-bande basse fréquence pour cette image de résolution inférieure. Le procédé de codage et de décodage précédemment décrit concerne deux formats. Il est bien sûr tout aussi envisageable, sans sortir du domaine de l'invention, d'appliquer les différentes étapes de filtrage et décimation à plusieurs formats d'image non liés par des transformations dyadiques de manière à ce que les signaux de sous-bande basse fréquence, pour les différents niveaux de décomposition sous-bande, correspondent à des sous-images avec ces formats. L'analyse spatiale est effectuée sur les images haute et basse fréquence, issues de la décomposition temporelle 1. Il est bien sûr tout aussi envisageable d'exploiter le procédé d'analyse spatiale directement sur des images source ou sur des images obtenues après tout type d'analyse temporelle. REVENDICATIONS 1 Procédé de codage hiérarchique d'une image source vidéo selon différents formats, au moins un premier format d'image de résolution supérieure (7) et un deuxième format d'image de résolution inférieure non proportionnels ou proportionnels d'un facteur différent de 2, le procédé comprenant une étape d'analyse spatiale basée ondelettes (3) comportant des opérations de filtrage de l'image au format de résolution supérieure et des io opérations de décimation en horizontal et/ou vertical de l'image filtrée (8, 9, 12, 13, 14, 15) pour fournir des signaux de sous- bande (16, 17, 18, 19), caractérisé en ce qu'une opération de décimation est effectuée selon un facteur différent d'une valeur paire et correspond au quotient des dimensions horizontales ou verticales du premier et deuxième format de manière à ce que l'image basse fréquence ainsi obtenue (19) relative aux signaux de sous-bande basse fréquence, corresponde au deuxième format. 2 Procédé selon la revendication 1, caractérisé en ce qu'il comporte une étape préliminaire d'analyse temporelle (1) de l'image source pour fournir des images de fréquence temporelle haute et basse et en ce que l'étape d'analyse spatiale (3) est effectuée sur les dites images de fréquence temporelle. 3 Procédé selon la revendication 1, caractérisé en ce que l'image au format de résolution supérieure et/ou l'image au format de résolution inférieure est une image basse fréquence obtenue par transformation en ondelettes dyadique de l'image source. 4 Procédé selon la revendication 1, le premier format d'image correspondant à Y lignes de X pixels et le deuxième format à v lignes de U pixels, caractérisé en ce qu'une opération de décimation est effectuée selon l'axe des X d'une valeur X /(X U) ou selon l'axe des Y d'une valeur Y/(Y-V) pour fournir des signaux de sous-bande haute fréquence (16, 17, 18). 5 Procédé de décodage d'une image source vidéo à partir d'informations de sous-bande relatives à des images à un premier format d'image de résolution supérieure et à un deuxième format de résolution inférieure, non proportionnels ou proportionnels d'un facteur différent de 2, le procédé comprenant une étape de synthèse spatiale basée ondelettes comportant une opération de sur-échantillonnage en horizontal et/ou vertical de l'image de résolution inférieure obtenue à partir de signaux de sous-bande, et de filtrage de l'image suréchantillonnée pour fournir l'image de résolution supérieure, caractérisé en ce qu'une opération de sur-échantillonnage est effectuée selon un facteur différent d'une valeur paire et correspond au quotient des dimensions horizontales ou verticales du premier et deuxième format. 6 Procédé de décodage selon la revendication 5, caractérisé en ce que l'image de résolution inférieure correspond aux signaux de sous-bande basse fréquence de l'image de résolution supérieure. 7 Procédé de décodage selon la revendication 5, caractérisé en ce que l'image de résolution inférieure est obtenue par synthèse spatiale à partir des signaux de sous-bande basse et haute fréquence relatives à cette image.