Brevet FR2912276A1 — publié le 20080808

Procédé et dispositif de décodage spatialement scalable La présente invention concerne un procédé de décodage spatialement scalable d'un train binaire, ledit procédé étant apte à reconstruire au moins une image à une haute résolution, dite image courante, comprenant les étapes suivantes : -reconstruire une image de référence à haute résolution et une erreur de prédiction à partir d'une partie dudit train binaire ; et - construire une image de référence à une basse résolution à partir de ladite image de référence à haute résolution. L'invention se rapporte au domaine de la compression vidéo à échelonnabilité spatiale (ou scalabilité spatiale), généralement appelé compression vidéo spatialement scalable. Il est connu des codeurs aptes à recevoir en entrée des images d'une séquence d'images, notamment une image de référence IO et une image courante BO subséquente à l'image de référence 10, à coder l'image de référence IO en mode INTRA et à coder une erreur de prédiction EO pour les transmettre à un décodeur sous la forme d'un train binaire. L'erreur de prédiction EO est le résultat de la différence entre l'image courante BO et une image de prédiction PO construite à partir de l'image de référence 10, comme illustré sur la figure 1, par exemple par compensation de mouvement MC. Le codage en mode INTRA est un codage permettant de coder une image indépendamment des autres images de la séquence. Une image codée en mode INTRA sert de référence pour coder d'autres images de la séquence. L'image courante BO est reconstruite par le décodeur à partir de l'erreur de prédiction EO et de l'image de référence IO préalablement reconstruites par ce même décodeur. Il est également connu des codeurs propres à coder et à transmettre les images d'une séquence vidéo directement selon différentes résolutions spatiales à l'aide de méthodes de codage dites spatialement scalables pour répondre aux besoins de visionnage de ces vidéos sur des écrans de différentes tailles, tels que par exemple des écrans d'ordinateur ou des écrans de téléphone portable. Actuellement, les schémas de codage spatialement scalables les plus efficaces sont les schémas de codage pyramidal multi-résolution comme par exemple ceux conformes à la nouvelle norme SVC (acronyme anglais de Scalable Video Coding ) définie dans un amendement de MPEG4 Part 10 AVC ou H.264. Lorsqu'une séquence vidéo est codée et transmise selon une méthode de codage pyramidal multi-résolution, il est nécessaire de coder et de transmettre un nombre d'erreurs de prédiction égal au nombre de résolutions à transmettre. Ces méthodes de codage conduisent donc à des données redondantes, 5 c'est-à-dire qu'une même information est codée et envoyée plusieurs fois dans les images de différentes résolutions. La méthode de codage LBC (Low-Band Correction) définie par Han dans le document référencé Han (W -J.). ù Responses of Call-for-Proposai for Scalable Video Coding. ù 1SO/!EC JTCl/SC29/WGI1 MPEG2004/M10569/S17, Muenchen, Germany, 10 March 2004 permet de supprimer la redondance des méthodes de codage pyramidal multi-résolution en emboîtant plusieurs flux représentatifs de données images à des résolutions différentes en un seul flux représentatif de données images à la plus haute résolution desdites résolutions. Selon cette méthode LBC et en référence aux figures 1 et 2, l'image de 15 référence à haute résolution IO et une erreur de prédiction particulière E sont codées par le codeur et transmises au décodeur sous la forme d'un train binaire. Dans le cas où les images de prédiction, i.e. PO, P1, nécessaires au calcul des erreurs de prédiction, i.e. E0, El, sont construites par compensation de mouvement à partir de champs de mouvement estimés par exemple par appariement de blocs, ces champs de 20 mouvement sont également codés dans le train binaire et transmis au décodeur. Dans l'exemple des figures let 2, deux niveaux de résolution sont considérés. Les images codées par le codeur et transmises au décodeur sont les suivantes : I=IO (1) E = E0 ù (U D)(E0) + U(E1) 25 dans laquelle El est une erreur de prédiction de l'image courante à basse résolution B1, l'opérateur U(.) est un opérateur de sur-échantillonnage (en anglais Upsampling ), et l'opérateur D(.) est un opérateur de sous-échantillonnage (en anglais Downsampling ) vérifiant : D o U = Id (2). L'erreur de prédiction El est le résultat de la différence entre l'image courante à basse résolution BI et une image de 30 prédiction PI construite à partir de l'image de référence à basse résolution I1, comme illustré sur la figure 1, par exemple par compensation de mouvement MC. Selon la méthode de décodage LBC, le décodeur est apte à reconstruire l'image courante à haute résolution BO et à basse résolution BI à partir de l'image de référence I, i.e. 10, et de l'erreur de prédiction E. Le décodage de l'image de référence I et de l'erreur de prédiction E pour obtenir l'image de référence à basse résolution I1, l'image de référence à haute résolution 10, l'image courante à haute résolution BO et l'image courante à basse résolution B1 est réalisé à partir des équations de reconstruction suivantes : I1= D(I) (3) B1 = C, (Il) + D(E) = Pl + D(E) = I {10 (4) B0 = Co(I)+EùU(El)+U(Bl ùD[Co(I0)D PO + E ù U(E1) + U(Bl D[POD dans laquelle Cl désigne l'opérateur de compensation en mouvement défini à partir d'un champ estimé à la résolution 1 entre l'image courante BI et l'image de référence 11, c'est-à-dire à basse résolution, Co désigne l'opérateur de compensation en mouvement défini à partir d'un champ estimé à la résolution 0 entre l'image courante BO et l'image de référence I0, c'est-à-dire à haute résolution, Pl est l'image de prédiction à basse résolution de l'image courante, PO est l'image de prédiction à haute résolution de l'image courante et I1 est l'image de référence à basse résolution. Cette méthode de décodage LBC permet un décodage de tous les niveaux de la pyramide multi-résolution utilisée à par la méthode de codage LBC, respecte l'échantillonnage critique, permet la scalabilité spatiale des images et conserve la propriété de reconstruction parfaite des images. Toutefois, cette méthode est coûteuse en calcul au niveau du décodeur puisqu'elle nécessite une opération de sous-échantillonnage, une somme sur des images à basse résolution, deux opérations de sur-échantillonnage et trois sommes ou différences sur des images à haute résolution. La présente invention a pour but de proposer un procédé de décodage permettant de reconstruire des images à différentes résolutions en effectuant un nombre de calculs réduit à partir d'un train binaire généré selon la méthode de codage LBC. A cet effet, l'invention a pour objet un procédé de décodage d'une image courante du type précité, caractérisé en ce qu'il comprend en outre les étapes suivantes : - appliquer une fonction à l'image de référence à haute résolution IO et à l'image de référence à basse résolution II pour générer respectivement une première image de prédiction PO de l'image courante à haute résolution BO et une image de prédiction P9 de l'image courante à basse résolution B1; - filtrer ladite première image de prédiction PO de l'image courante à haute résolution BO à l'aide d'une transformée en ondelettes pour extraire des bandes de 10 hautes fréquences spatiale AHF ; - filtrer ladite image de prédiction P1 de l'image courante à basse résolution B1 et lesdites bandes de haute fréquence spatiale AHF à l'aide d'une transformée en ondelettes pour reconstruire une seconde image de prédiction BO' de l'image courante à haute résolution BO ; et 15 -additionner ladite seconde image de prédiction BO' et l'erreur de prédiction E pour reconstruire l'image courante BO à haute résolution. Suivant des modes particuliers de réalisation, le procédé de décodage comporte une ou plusieurs des caractéristiques suivantes : - l'étape d'application de la fonction à l'image de référence à haute résolution 20 IO comprend une étape de compensation en mouvement de l'image de référence à haute résolution ; - l'étape d'application de la fonction à l'image de référence à basse résolution II comprend une étape de compensation en mouvement de l'image de référence à basse résolution II ; 25 - la compensation en mouvement est réalisée à partir d'une compensation en mouvement inter-image vers l'avant, vers l'arrière ou bidirectionnelle ; -la compensation en mouvement est réalisée à partir d'une compensation de mouvement intra-image inter-résolution ; et - l'étape de construction de l'image de référence à une basse résolution II à 30 partir de ladite image de référence à haute résolution IO comprend une étape de sous-échantillonnage de ladite image de référence à haute résolution 10. L'invention a également pour objet un dispositif de décodage spatialement scalable d'un train binaire T, ledit dispositif étant apte à reconstruire au moins une image à une haute résolution BO, dite image courante, ledit dispositif comprenant : - un bloc de décodage apte à reconstruire une image de référence à haute résolution IO et une erreur de prédiction E à partir d'une partie dudit train binaire T ; et - un bloc propre à construire une image de référence à une basse résolution 11 à partir de ladite image de référence à haute résolution IO ; ledit dispositif étant caractérisé en ce qu'il comprend en outre : - un bloc propre à appliquer une fonction à l'image de référence à haute résolution IO et à l'image de référence à basse résolution I1 pour générer respectivement une première image de prédiction PO de l'image courante à haute résolution BO et une image de prédiction P1 de l'image courante à basse résolution BI ; - un filtre apte à filtrer ladite première image de prédiction PO de l'image courante à haute résolution BO à l'aide d'une transformée en ondelettes pour extraire des bandes de hautes fréquences spatiale AHF ; - un filtre apte à filtrer ladite image de prédiction P1 de l'image courante à basse résolution BI et lesdites bandes de haute fréquence spatiale AHF à l'aide d'une transformée en ondelettes pour reconstruire une seconde image de prédiction BO' de l'image courante à haute résolution BO ; et - un circuit de sommation propre à additionner ladite seconde image de prédiction BO' et l'erreur de prédiction E pour reconstruire l'image courante BO à haute résolution. L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référent aux dessins, sur lesquels : - la figure 1 est un schéma illustrant un procédé de codage d'une erreur de prédiction à haute et à basse résolutions, selon l'état de la technique ; - la figure 2 est un schéma illustrant un procédé de codage d'erreurs de prédiction à haute et à basse résolutions emboîtées, selon l'état de la technique ; - la figure 3 est un schémabloc représentatif du dispositif de décodage selon l'invention ; - la figure 4 est un diagramme représentatif des étapes du procédé de décodage selon l'invention ; et - la figure 5 illustre les étapes d'analyse et de synthèse spatiale selon l'invention. Pour alléger les annotations, nous avons considéré un schéma mufti-résolutions à deux niveaux spatiaux alimentés en entrée par un groupe de deux images. Le schéma selon l'invention s'étend à un plus grand nombre de résolutions et d'images. Le dispositif de décodage 2 selon l'invention est illustré schématiquement sur la figure 3. Il est propre à recevoir un train binaire S dont une partie est représentative d'une erreur de prédiction E et d'une image de référence I codées selon la méthode LBC et définies selon la formule (1) ci-dessus. Comme indiqué ci-avant, l'image de référence I est l'image de référence à haute résolution notée 10, et l'erreur de prédiction E est définie par l'équation (1). Le dispositif de décodage 2 comprend une entrée 4, un bloc de décodage 5, un bloc de sous-échantillonnage 6 connecté au bloc de décodage 5 et un bloc de compensation en mouvement 8 relié au bloc de sous-échantillonnage 6 et au bloc de décodage 5. Le bloc de décodage 5 est apte à reconstruire l'erreur de prédiction E et l'image de référence I à partir du train binaire reçu à l'entrée 4. Le bloc de décodage 5 est également apte à reconstruire des champs de mouvement MV codés dans le train binaire T et à les transmettre au bloc 8. Le bloc de sous-échantillonnage 6 est apte à recevoir l'image de référence I0 et à la sous-échantillonner pour générer une image de référence à basse résolution notée I1. Le bloc de compensation en mouvement 8 est propre à recevoir l'image de référence à basse résolution I1, à la compenser en mouvement à partir du champ de mouvement correspondant décodé par le bloc de décodage 5 pour générer l'image de prédiction à basse résolution P1 de l'image courante. Le bloc de compensation en mouvement 8 est également adapté pour recevoir l'image de référence à haute résolution 10, à la compenser en mouvement à partir du champ de mouvement MV correspondant décodé par le bloc de décodage 5 pour générer l'image de prédiction à haute résolution PO de l'image courante. Les images de prédiction P0, P1 peuvent être obtenues par prédiction temporelle en utilisant une méthode de compensation en mouvement vers l'avant, vers l'arrière ou bidirectionnelle ou également par une compensation de mouvement inter-résolution entre images de même référence temporelle. . Le dispositif de décodage 2 comprend en outre un filtre 10 d'analyse spatiale de hautes fréquences d'une transformée en ondelettes relié au bloc de compensation en mouvement 8, et un filtre 12 de synthèse spatiale d'une transformée en ondelettes relié au bloc de compensation en mouvement 8 et au filtre d'analyse spatiale 10. Le filtre d'analyse spatiale de hautes fréquences 10 noté AH est apte à filtrer l'image de prédiction à haute résolution PO issue du bloc 8 pour extraire des bandes de haute fréquence spatiale notée AHF de l'image de prédiction à haute résolution P0. Le filtre de synthèse spatiale 12, est propre à recevoir en entrée d'une part l'image de prédiction à basse résolution P1 issue du bloc 8 et d'autre part les bandes de haute fréquence spatiale AHF générées par le filtre 10 pour reconstruire par synthèse spatiale une image de prédiction BO' de l'image à haute résolution BO. Le filtre de synthèse spatiale est 12 noté S = (SLSH), où SL est une composante de filtrage des bandes de basse fréquence et SH est une composante de filtrage des bandes de haute fréquence. Le dispositif de décodage 2 comprend en outre un circuit sommateur 14 connecté à l'entrée 4 et au filtre de synthèse spatiale 12, une sortie 16 et une dérivation 18 reliant l'entrée 4 à la sortie 16. Le circuit sommateur 14 est propre à sommer l'image BO' issues du filtre 12 et l'erreur de prédiction E issue de l'entrée 14 pour obtenir l'image courante à haute résolution BO. La dérivation 18 est apte à transmettre l'image de référence à haute résolution 10 de l'entrée 4 à la sortie 16. La sortie 16 est propre à transmettre à un dispositif annexe, tel que par exemple un téléviseur, un set-top-box ou un magnétoscope, l'image courante à haute résolution BO et l'image de référence à haute résolution 10. Le procédé de décodage selon l'invention va à présent être décrit en liaison avec la figure 4. Au cours d'une étape initiale 20, l'image de référence à haute résolution 10 et l'erreur de prédiction E, obtenues par codage selon la méthode LBC et définies à l'équation (1) ci-dessus, sont reconstruites par le dispositif de décodage 2 à partir d'un train binaire reçu par le dispositif 2. A l'étape 22, l'image de référence à haute résolution IO est sous-échantillonnée par le bloc 6 pour obtenir une image de référence à basse résolution Il effectuée par le bloc 8. A l'étape 24, le bloc 8 procède à la reconstruction d'une image de prédiction à basse résolution PI par compensation en mouvement de l'image de référence à basse résolution 11. A l'étape 28, une reconstruction d'une image de prédiction à haute résolution 5 PO par compensation en mouvement de l'image de référence à haute résolution IO est effectuée par le bloc 8. Au cours de l'étape 30, l'image de prédiction à haute résolution PO est filtrée par le filtre d'analyse spatiale 10 pour extraire les bandes de haute fréquence AHF de l'image de prédiction à haute résolution P0. 10 A l'étape 32, les bandes de haute fréquence AHF issues du filtre d'analyse spatiale 10 d'une part et l'image de prédiction à basse résolution PI issue du bloc 8 d'autre part sont introduites dans le filtre de synthèse spatiale 12 pour reconstruire par synthèse spatiale une image de prédiction BO' de l'image courante à haute résolution BO. 15 Comme illustré sur la figure 5, les basses fréquences spatiales de l'image de prédiction à haute résolution PO sont remplacées par l'image de prédiction à basse résolution P1, avant d'appliquer le filtre de synthèse spatiale 12. Au cours de l'étape 34, les images haute résolution issues du bloc 12 sont additionnées à l'erreur de prédiction E issue de l'entrée 4 pour obtenir l'image courante 20 à haute résolution BO. Cette solution repose sur les liens qu'entretiennent les opérateurs de sur-échantillonnage U() et de sous-échantillonnage D() avec la transformée en ondelettes. En effet, une opération de filtrage par analyse spatiale A= AL selon une transformée en ondelettes est un cas particulier d'une opération de sur-échantillonnage U(). De 25 même, une opération de filtrage par synthèse spatiale S selon une transformée en ondelettes est un cas particulier d'une opération de sous-échantillonnage D(). Les équations de reconstruction à haute résolution de l'image courante BO peuvent être établies mathématiquement à partir de la démonstration suivante : Comme (SoA) = (SL AL)+(SH oAH)= Id . 30 Id _(UOD)=(SH 0AH) Par conséquent : PO ù (U o DXPO) = (SH o AH )(PO) = Se (HP0) = S HPO D'autre part : U(B1) ù U(E1) = U(B1ù E1) = SL (P1) = S Rappelons que selon la méthode LBC, l'image courante BO est : 5 BO = PO + E û U(El) + U[Bl - D(PO)] L'image courante BO peut donc s'écrire : BO = (PO ù (U O DXPO)) + (U(B1) ù U(El)) + E ( 0 (Pli S +S +E `AHPO) 0 = S Pl AHPO + E O Les équations de reconstruction l'image courante à haute résolution sont donc les suivantes : 10=1 10 BOùS( O = S( Pl IF E AHPO Dans lesquelles AH est l'opérateur de filtrage d'analyse spatiale des bandes de haute fréquence ; et S = (SLSH) est l'opérateur de filtrage de synthèse spatiale comprenant une composante SL de filtrage des bandes de basse fréquence et une composante Se de 15 filtrage des bandes de haute fréquence. Ainsi, pour obtenir l'image courante à haute résolution BO, il est nécessaire de réaliser une analyse spatiale, une synthèse spatiale et une somme d'images à haute résolution. Soient les images considérées de dimensions MxN. La synthèse S et 20 l'analyse AH sont respectivement très comparables à une opération de sur-échantillonnage U(.) et de sous-échantillonnage D(.), elles comptent chacune (M + N) opérations là où une opération de sur-échantillonnage U(.) et une opération de sous- échantillonnage D(.) en comptent (M + 2 ) ou (N + 2 ). Le procédé de décodage selon l'invention permet donc de supprimer la redondance des méthodes de codage spatialement scalable sans compromettre la reconstruction parfaite du schéma de codage LBC tout en réduisant sa complexité. En effet, le procédé de décodage selon l'invention économise une somme sur des images à basse résolution, deux sommes sur des images à haute résolution et une opération de sur-échantillonnage par rapport au procédé de décodage LBC selon l'état de la technique. L'invention décrite pour deux niveaux de résolution peut être étendue à un plus grand nombre de niveaux de résolution. D'une manière générale, à la résolution k, 10 l'erreur de prédiction Etk, i.e. la différence entre l'image courante fk et son image de prédiction fk est définie par l'équation suivante : ft- 'kt =Pred({fkr}T*r)k=K-1 Ek' = k fk =Pred ({ fk }rit , fk+l k -K est le nombre total de résolutions de la vidéo, ce nombre étant supérieur 15 ou égal à 2 ; - k est la résolution courante de la vidéo, 0 20 - pour la résolution la plus basse k = K-1 : IK-, =DK-'(I) {{'t _{{'t +DK- E` JK-1 -JK-1 0 - puis, pour k allant de K- 2 à la résolution la plus haute : Ik = Dk (I) /i! =S fk+1 j+ D E \`4Hfk 25 L'image de prédiction Yi: de l'image courante à un niveau de résolution k peut être calculée à partir d'images de même niveau de résolution k que l'image courante qui ont été préalablement codées ou à partir de l'image courante à un niveau de résolution inférieur. REVENDICATIONS 1. Procédé de décodage spatialement scalable d'un train binaire (T), ledit procédé étant apte à reconstruire au moins une image à une haute résolution (BO), dite image courante, comprenant les étapes suivantes : -reconstruire (20) une image de référence à haute résolution (I0) et une erreur de prédiction (E) à partir d'une partie dudit train binaire (T) ; et - construire (22) une image de référence à une basse résolution (I1) à partir de ladite image de référence à haute résolution (l0); ledit procédé étant caractérisé en ce qu'il comprend en outre les étapes suivantes : -appliquer (24, 28) une fonction à l'image de référence à haute résolution (10) et à l'image de référence à basse résolution (I1) pour générer respectivement une première image de prédiction (PO) de l'image courante à haute résolution (BO) et une image de prédiction (P1) de l'image courante à basse résolution (B1); - filtrer (30) ladite première image de prédiction (PO) de l'image courante à haute résolution (BO) à l'aide d'une transformée en ondelettes pour extraire des bandes de hautes fréquences spatiale (AHF); - filtrer (32) ladite image de prédiction (P1) de l'image courante à basse résolution (B1) et lesdites bandes de haute fréquence spatiale (AHF) à l'aide d'une transformée en ondelettes pour reconstruire une seconde image de prédiction (BO') de l'image courante à haute résolution (BO) ; et - additionner (34) ladite seconde image de prédiction (BO') et l'erreur de prédiction (E) pour reconstruire l'image courante (BO) à haute résolution. 2. Procédé de décodage selon la revendication 1, caractérisé en ce que l'étape (28) d'application de la fonction à l'image de référence à haute résolution (I0) comprend une étape de compensation en mouvement de l'image de référence à haute résolution (I0). 3. Procédé de décodage selon l'une quelconque des revendications précédentes, caractérisé en' ce que l'étape (24) d'application de la fonction à l'image de référence à basse résolution (I1) comprend une étape (24) de compensation en mouvement de l'image de référence à basse résolution (I1). 4. Procédé de décodage selon l'une quelconque des revendications 2 et 3, caractérisé en ce que la compensation en mouvement est réalisée à partir d'une compensation en mouvement inter-image vers l'avant, vers l'arrière ou bidirectionnelle. 5. Procédé de décodage selon l'une quelconque des revendications 2 et 3, caractérisé en ce que la compensation en mouvement est réalisée à partir d'une compensation de mouvement intra-image inter-résolution. 6. Procédé de décodage selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape de construction (22) de l'image de référence à une basse résolution (I1) à partir de ladite image de référence à haute résolution (10) comprend une étape de sous-échantillonnage de ladite image de référence à haute résolution (10). 7. Dispositif de décodage (2) spatialement scalable d'un train binaire (T), ledit dispositif (2) étant apte à reconstruire au moins une image à une haute résolution (B0), dite image courante, ledit dispositif comprenant : - un bloc de décodage (5) apte à reconstruire une image de référence à haute résolution (10) et une erreur de prédiction (E) à partir d'une partie dudit train binaire (T) ; et- un bloc (6) propre à construire une image de référence à une basse résolution (I1) à partir de ladite image de référence à haute résolution (10) ; ledit dispositif étant caractérisé en ce qu'il comprend en outre : - un bloc (8) propre à appliquer une fonction à l'image de référence à haute résolution (I0) et à l'image de référence à basse résolution (I1) pour générer respectivement une première image de prédiction (P0) de l'image courante à haute résolution (BO) et une image de prédiction (P1) de l'image courante à basse résolution (BI); - un filtre (10) apte à filtrer ladite première image de prédiction (PO) de l'image courante à haute résolution (BO) à l'aide d'une transformée en ondelettes pour extraire des bandes de hautes fréquences spatiale (AHF); - un filtre (12) apte à filtrer ladite image de prédiction (P1) de l'image courante à basse résolution (BI) et lesdites bandes de haute fréquence spatiale (AHF) à l'aide d'une transformée en ondelettes pour reconstruire une seconde image de prédiction (BO') de l'image courante à haute résolution (BO) ; et - un circuit de sommation (34) propre à additionner ladite seconde image de prédiction (BO') et l'erreur de prédiction (E) pour reconstruire l'image courante (BO) à haute résolution.