(57)【要約】  ＦＧＳエントロピ符号化方法は，ＦＧＳ層における改善係数が基本階層と異なる予測値を有する。ＦＧＳ層において時間予測を用いるとき，該ＦＧＳ層が部分的に復号されるとドリフト問題が生じることがある。このようなドリフト問題は，符号化性能に大きな影響を与える。この新規なＦＧＳエントロピ符号化方法はそのようなドリフト効果を解決し，又は大幅に軽減して，したがって符号化性能を改善する。３つの異なるＦＧＳ方法を用いることができる。すなわち，空間周波数位置を用いるＦＧＳエントロピ符号化と，復号器指向２ループ構造ＦＧＳエントロピ符号化と，ブロック限定符号化パスを有するＦＧＳエントロピ符号化と，である。
2009522973.tif 000002
【特許請求の範囲】
【請求項１】
画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化方法であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスの各フレームは多数ブロックに分割された画素配列を有する方法において，
前記画像データから強化層情報を表す多数ブロックの変換係数を形成するステップと，
所定順序によって複数の符号化サイクルで前記多数ブロックの変換係数を走査するステップと，
各サイクルにおいて，前記多数ブロックのそれぞれから変換係数サブセットを選択する選択ステップと，
前記所定順序によって前記の選択された変換係数サブセットをエントロピ符号化するステップと，
を特徴とする方法。
【請求項２】
前記選択ステップは，少なくともブロック内の変換係数の空間周波数位置を用いることを特徴とする請求項１に記載の方法。
【請求項３】
各ブロックからの前記選択ステップは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するように実行することを特徴とする請求項１に記載の方法。
【請求項４】
前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，各ブロックからの前記選択ステップは，離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように実行することを特徴とする請求項１に記載の方法。
【請求項５】
画像データ内に含まれるデジタル映像シーケンスを復号する際に用いるエントロピ符号化方法であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスの各フレームは多数ブロックに分割された画素配列を有する方法において，
前記画像データから強化層情報を表す変換係数を格納する多数ブロックを形成するステップと，
所定順序によって複数の符号化サイクルで変換係数を格納する前記多数ブロックを走査するステップと，
各サイクルにおいて，前記多数ブロックのそれぞれについて復号する変換係数サブセットを選択する選択ステップと，
前記所定順序によって前記多数ブロックのそれぞれにおいて前記の選択された変換係数サブセットをエントロピ復号するステップと，
を特徴とする方法。
【請求項６】
前記選択ステップは，少なくともブロック内の各係数の空間周波数位置を用いることを特徴とする請求項５に記載の方法。
【請求項７】
各ブロックからの前記選択ステップは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するように実行することを特徴とする請求項５に記載の方法。
【請求項８】
前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，各ブロックからの前記選択ステップは，離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように実行することを特徴とする請求項５に記載の方法。
【請求項９】
画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化器であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスの各フレームは多数ブロックに分割された画素配列を有する方法において，
前記画像データから強化層情報を表す多数ブロックの変換係数を形成するモジュールと，
所定順序によって複数の符号化サイクルで前記多数ブロックの変換係数を走査するモジュールと，
各サイクルにおいて，前記多数ブロックのそれぞれから変換係数サブセットを選択する選択モジュールと，
前記所定順序によって前記の選択された変換係数サブセットをエントロピ符号化するモジュールと，
を特徴とする符号化器。
【請求項１０】
前記選択モジュールは，少なくともブロック内の変換係数の空間周波数位置を用いて前記変換係数サブセットを選択するようになっていることを特徴とする請求項９に記載の符号化器。
【請求項１１】
前記選択モジュールは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するようになっていることを特徴とする請求項９に記載の符号化器。
【請求項１２】
前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，前記選択モジュールは，離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように各ブロックから前記変換係数を選択するようになっていることを特徴とする請求項９に記載の符号化器。
【請求項１３】
画像データ内に含まれるデジタル映像シーケンスを復号する際に用いる復号器であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスの各フレームは多数ブロックに分割された画素配列を有する方法において，
前記画像データから強化層情報を表す変換係数を格納する多数ブロックを形成するモジュールと，
所定順序によって複数の符号化サイクルで変換係数を格納する前記多数ブロックを走査するモジュールと，
各サイクルにおいて，前記多数ブロックのそれぞれについて復号する変換係数サブセットを選択する選択モジュールと，
前記所定順序によって前記多数ブロックのそれぞれにおいて前記の選択された変換係数サブセットをエントロピ復号するモジュールと，
を特徴とする復号器。
【請求項１４】
前記選択モジュールは，少なくともブロック内の各係数の空間周波数位置を用いて前記変換係数を選択するようになっていることを特徴とする請求項１３に記載の復号器。
【請求項１５】
前記選択モジュールは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するように各ブロックから前記変換係数を選択するようになっていることを特徴とする請求項１３に記載の復号器。
【請求項１６】
前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，前記選択モジュールは，離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように各ブロックから前記変換係数を選択するようになっていることを特徴とする請求項１３に記載の復号器。
【請求項１７】
スケーラブル映像符号化におけるエントロピ符号化において用いるソフトウェアアプリケーションを含む計算機可読媒体を有するソフトウェアアプリケーション製品であって，前記ソフトウェアアプリケーションは請求項１に記載の方法を実行するプログラムコードを有するソフトウェアアプリケーション製品。
【請求項１８】
スケーラブル映像符号化におけるエントロピ符号化において用いるソフトウェアアプリケーションを含む計算機可読媒体を有するソフトウェアアプリケーション製品であって，前記ソフトウェアアプリケーションは請求項５に記載の方法を実行するプログラムコードを有するソフトウェアアプリケーション製品。
【請求項１９】
電子デバイスであって，
画像データ内に含まれるデジタル映像シーケンスを符号化及び復号する際に用いる符号化器及び復号器であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスの各フレームは多数ブロックに分割された画素配列を有する方法において，
前記符号化器は
前記画像データから強化層情報を表す多数ブロックの変換係数を形成するモジュールと，
所定順序によって複数の符号化サイクルで前記多数ブロックの変換係数を走査するモジュールと，
各サイクルにおいて，前記多数ブロックのそれぞれから変換係数サブセットを選択するモジュールと，
前記所定順序によって前記の選択された変換係数サブセットをエントロピ符号化するモジュールと，
を備え，
前記復号器は
前記画像データから強化層情報を表す変換係数を格納する多数ブロックを形成するモジュールと，
所定順序によって複数の符号化サイクルで変換係数を格納する前記多数ブロックを走査するモジュールと，
各サイクルにおいて，前記多数ブロックのそれぞれから復号する変換係数サブセットを選択するモジュールと，
前記所定順序によって前記多数ブロックのそれぞれにおいて前記の選択された変換係数サブセットをエントロピ復号するモジュールと，
を備えることを特徴とする電子デバイス。
【請求項２０】
移動体端末を備える請求項１９に記載の電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概略映像符号化に関し，より特定すればスケーラブル映像符号化に関する。
【背景技術】
【０００２】
映像符号化の柔軟性を高めるため，最近，ＭＰＥＧ−４  ＡＶＣ映像符号化標準に細粒度スケーラビリティ（ＦＧＳ）が追加された。ＦＧＳ符号化によれば，図１に示すとおり映像は基本層（ＢＬ）及び１又は複数の強化層，すなわちＦＧＳ層に符号化される。従来のスケーラブル映像符号化と類似して，基本品質映像を復号して表示するためには，基本層を完全に受信しなければならない。基本映像品質を改善するために強化層を完全に受信しなければならない従来のスケーラブル映像符号化と比べて，ＦＧＳ符号化によればＦＧＳ層ビットストリームは，送信前又は復号中，どこで割愛してもよい。換言すれば，ＦＧＳ層ビットストリームは各フレームについて任意に省略してもよい。したがってＦＧＳは，ＦＧＳ層から追加情報を復号することによって漸増的に映像信号品質を改善できるようにする。デバイスが低速度チャネルを介して映像ストリームを受信しているときは，復号映像は低品質であろう。デバイスが同じ映像ストリームをより高速なチャネルから受信しているときは，復号映像はより高い品質であろう。ＦＧＳ層を省略することによって，基本層より高い本質的に任意のビット速度での復号が可能になる。ビットストリームを省略すると，符号化効率に影響をおよぼすことがある。
【０００３】
映像データにおける色は，ＲＧＢ三原色の混合によって表すことができる。しかし種々の均等な色空間も可能である。多くの重要な色空間は，輝度成分（Ｙ）及び２つの色度成分（Ｕ，Ｖ）からなっている。この色空間表現に関連して省略を行うことができる。
【０００４】
いくつかのシナリオにおいて，符号化デジタル映像シーケンスをある最小の，すなわち「基本」の品質で送信し，より高品質の復号映像シーケンスを得るために，上記最小品質信号と組み合わせることができる「強化」信号を同時に送信することが望ましい。このような構成によって，同一のシーケンスについて２つの独立に符号化した版を送信することによる増加費用なしに，最小能力のある組合せに対応する任意のデバイスはシーケンスを（「基本」品質で）復号し，改善された能力を有するデバイスは同一のシーケンスの高品質版を復号することを同時に可能にする。
【０００５】
２を超える品質レベルが所望されるときは複数の「強化」信号を送信してもよく，「強化」信号はそれぞれ「基本」品質信号とすべての自分より低品質の「強化」信号とを必要とする。
【０００６】
スケーラブル映像符号化の分野においては，このような「基本」信号及び「強化」信号を「層」と呼ぶ。そして各強化層が改善する再生品質の程度は，「粒度」と呼ばれる。略号ＦＧＳは「細粒度スケーラビリティ」を指し，品質向上の漸増は小さいことを意味する。
【０００７】
ＦＧＳ強化層を生成する技法は既知であり，現行ＳＶＣ標準化においては，当初ブロックによるＦＧＳ方式が次に文書化された。２００４年１０月，Palma de Mallorca において開催されたISO/IEC JTC1/SC29/WG11(MPEG)会合における作業文書 W6716，"Scalable Video Model Version 3.0"。この符号化方式は，後に「巡回ブロック符号化」と呼ばれる改善された符号化方式によって置き換えられた。巡回ブロック符号化は，現層のＦＧＳ符号化に基本層符号化情報を効率よく利用して，符号化性能を向上させるものである。
【０００８】
巡回ブロック符号化方式によれば，予測誤差係数が，有意（significant）情報又は改善（refinement）情報の２種類の情報のうち１つとして符号化される。基本層について，係数の再構築値が零のときは，非有意係数と呼ばれる。それ以外のときは有意係数と呼ばれる。基本層において符号化された係数を用いて，第１ＦＧＳ層が符号化される。第１ＦＧＳ層符号化において，基本層の非有意係数が現ＦＧＳ層において有意（すなわち再構築値が非零）になっていないか，再度検査される。有意であれば，その強度及び正負符号が符号化される。それ以外のときは，依然として非有意に分類される。基本層の有意係数については，現ＦＧＳ層量子化パラメータ（ＱＰ）を用いて更に改善される。第１ＦＧＳ層が符号化されると，それを基本層として用いて第２ＦＧＳ層が符号化され，以降同様に処理する。ある層において係数が有意になると，後続の各高位ＦＧＳ層で改善される。
【０００９】
符号化順については，巡回ブロック符号化では一般に有意情報を最初に符号化し，改善情報が後に続く。より詳細に言えば，スライスの各ＦＧＳ層を符号化するとき，有意経路及び改善経路の２つの経路がある。有意経路においては，基本層の非有意係数だけが，現層において有意になったかどうか検査される。有意であればその強度及び正負符号を符号化する。有意経路は，基本層のすべての非有意係数が検査されると終了する。次の改善経路においては，基本層のすべての有意係数が現ＦＧＳ層ＱＰによって改善される。
【００１０】
巡回ブロック符号化のより詳細な手続は次の擬似コードを用いて説明される。
【００１１】
復号する値が残っている間
各ブロックについて
現スライスの輝度について，有意経路が完了していないとき
１つの非零輝度係数及び先行する零係数を復号
そうでなければ
次の輝度係数の改善情報を復号
現スライスの色度について，有意経路が完了していないとき
１つの非零色度係数及び先行する零係数を復号
そうでなければ
次の色度係数の改善情報を復号
【００１２】
このように各色成分（輝度及び色度）について，改善情報の前に有意情報が符号化される。
【００１３】
巡回ブロック符号化は，ＦＧＳ層を符号化する際に時間予測を用いないときはうまく動作することが分かった。図１に例を示す。この構成においては，離散（discrete）基本層は通常，動き補償を用いる非スケーラブルビットストリームに符号化される。そしてＦＧＳ層は，動き補償を用いないものの上で符号化される。図中の矢印は，予測関係を示す。各ＦＧＳ層は基本層から十分に予測されるので，現ＦＧＳ層の有意経路及び改善経路のいずれかは画像品質を改善する助けとなる追加情報を提供するだけである。
【００１４】
ＦＧＳ層符号化における符号化効率を更に向上させるために，ＦＧＳ層符号化においても時間予測を用いる種々の方法が最近提案された。これらの方法においては，新規の（又は改善した）動きベクトルを導入してもよく，ＦＧＳ層に関して分離した動き補償を実行してもよい。注意深く設計すれば，これらの方法は効果的にＦＧＳ層符号化効率を向上させることができる。しかしそれらはまた，現在用いられている巡回ブロック符号化に関係した新たな課題も生じさせる。
【００１５】
図２は，ＦＧＳ層符号化に時間予測を用いる例を示す図である。ただ１つのＦＧＳ層があるとしよう。図４において，Ｐ０及びＰ１はそれぞれ，基本層及びＦＧＳ層において動き補償によって形成された予測値である。これら２層における動きベクトルは，同一のものであってよいし，別のものであってよい。基本層において再構築した予測誤差をＤ０とすると，基本層の再構築フレームをＲ０として，Ｒ０＝Ｐ０＋Ｄ０で表すことができる。
【００１６】
上述のとおりＦＧＳ層符号化に時間予測を用いていないときは，Ｒ０がＦＧＳ層符号化における予測値として用いられる。この場合，巡回ブロック符号化はうまく動作することが分かった。しかしＦＧＳ層において時間予測を用いるときは，巡回ブロック符号化には問題がある。
【００１７】
巡回ブロック符号化においては，ＦＧＳ層は基本層上で更に符号化され，改善される。図２によれば，ＦＧＳ層において時間予測を用いるためには，フレームｎのＦＧＳ層符号化予測値はＰ１＋Ｄ０となる。次にＦＧＳ層の予測誤差Ｄ１が巡回ブロック符号化によって符号化される。符号化誤差Ｄ１の有意情報は，ＦＧＳ層における新規に発生した有意係数を示している。符号化誤差Ｄ１の改善情報は，基本層の既存有意係数を更に改善する。しかしこの場合，ＦＧＳ層における改善情報はまた，基本層の有意係数について予測値Ｐ０とＰ１との差を補償することに注意されたい。ＦＧＳ層を符号化する際にＲ０を用いるときは，このような問題は生じない。
【００１８】
上述の問題のため，巡回ブロック符号化における分離「経路」はもはや適当ではない。ＦＧＳ層のはじめにおいてすべての復号情報が有意情報であったときは，ＦＧＳ層ビットを復号すればするほど，Ｐ１の品質が次第によくなることが期待される。したがってＰ０とＰ１との差も大きくなる。しかしこの時点では，改善情報はまだ復号されていないことがある。ＦＧＳ層における改善情報がないと，基本層の有意係数に関してＰ０とＰ１との差を適切に補償できない。このためドリフト問題が生じて，部分ＦＧＳ層復号のとき符号化性能に重大な影響を与えることになる。
【００１９】
反対に改善経路が有意経路の前に符号化されたときも問題が生じる。ＦＧＳ層の復号のはじめにおいては，復号情報はすべて改善情報である。Ｐ０とＰ１との差の補償は利用できる。しかしこのような補償は，ＦＧＳ層が完全に復号されたときのためのものである。ＦＧＳ層のわずかな部分だけを復号したとき，このとき形成された時間予測Ｐ１は，画像品質に関してはＰ０に近い。したがって，復号改善情報はＰ１とＰ０との差を過補償することがある。これもまたドリフト問題を生じさせ，部分ＦＧＳ層復号のとき符号化性能に影響がある。
【００２０】
図２に示したケースは単に例である。一般にＦＧＳ層における改善係数（すなわち基本層において既に有意である係数）が基本層と異なるとき，エントロピ符号化が分離「経路」方式で実行されるときは，部分復号のときのドリフト問題は存在しない。
【００２１】
別の例は，本願と同日に出願された米国特許出願代理人事件番号944-001.177-2（以降，944-001.177-2と呼ぶ）に開示された復号器指向２ループ構造である。944-001.177-2は，２００６年１月９日出願の米国特許出願第６０／７５７，７４６号を基礎としている。図３にその構造を示す。図示した構造は，複数のＦＧＳ層を符号化する簡単で効率のよい方法を提供する。この構造によれば，第１ＦＧＳ層の予測値は，その参照フレームの第１ＦＧＳ層及び現フレームの再構築された基本層双方から形成される。
【００２２】
第２ＦＧＳ層について初期予測値Ｐ２’は，はじめ同一のＦＧＳ符号化方法によって計算されるが，離散基本層が「基本層」として用いられ，第２ＦＧＳ層が「強化層」として用いられる。そしてＰ２’は第１ＦＧＳ層の再構築された誤差Ｄ１（図３において中空矢印で示されている）が加算され，その和Ｐ２が実際の予測値として用いられる。
【００２３】
Ｐ２＝Ｐ２’  ＋  α＊Ｄ１
ここでαは０≦α≦１のパラメータである。類似して第３ＦＧＳ層について初期予測値Ｐ３’は，はじめ同一のＦＧＳ符号化方法によって計算されるが，離散基本層が「基本層」として用いられ，第３ＦＧＳ層が「強化層」として用いられる。そしてＰ３’は第１ＦＧＳ層の再構築された誤差Ｄ１と，第２ＦＧＳ層の再構築された誤差Ｄ２とが加算され，その和Ｐ３が実際の予測値として用いられる。
【００２４】
Ｐ３＝Ｐ３’  ＋  α＊Ｄ１  ＋  β＊Ｄ２
ここでβは０≦β≦１のパラメータである。βは，αと同一であってもよいし，異なっていてもよい。通常α及びβ双方とも１に設定してよい。
【００２５】
このような符号化構造によって，第２ＦＧＳ層における改善係数は（離散基本層において有意であったものを除いて），基本層の予測値とは異なる。この状況は，第３ＦＧＳ層における改善係数についても真である。このため巡回ブロック符号化は，これらのＦＧＳ層符号化には適していないことがある。
【発明の開示】
【発明が解決しようとする課題】
【００２６】
本発明は，ＦＧＳ層における改善係数が基本層と異なる予測値を有するときに適したＦＧＳエントロピ符号化方法を提供する。ＦＧＳ層符号化に時間予測を用い，ＦＧＳ層における改善係数が基本層と異なる予測値を有するとき，ＦＧＳ層を部分的に復号するとドリフト問題が生じることがある。このようなドリフト問題は，符号化性能に大きく影響する。本発明は，このようなドリフトの影響を解決又は大きく軽減し，したがって符号化性能を向上させることができる新規なＦＧＳエントロピ符号化方法を提供する。
【課題を解決するための手段】
【００２７】
３つの異なるＦＧＳ方法を用いることができる。すなわち，空間周波数配置を用いたＦＧＳエントロピ符号化と，復号器指向２ループ構造のＦＧＳエントロピ符号化と，ブロック限定符号化経路を有するＦＧＳエントロピ符号化と，である。第１方法におけるドリフト問題は，本質的に巡回ブロック符号化方法における分離「経路」符号化順によって生じる。どちらの経路を最初に符号化するかにかかわらず，ＦＧＳ層を部分的に復号するときは，ドリフト問題は避けられない。したがって上述の問題を解決するために，有意情報と改善情報とは，もはや分離「経路」によっては符号化されない。その代わり，それらはインタリーブした，すなわち混合した順で符号化される。第２方法によれば，基本層において有意となった係数は，強化層において同一の予測値を有することが保証できる。したがって，これらの係数を強化層において更に改善するとき，予測誤差の補償は含まれない。このようにこれら係数の改善情報は，ドリフトの影響をもたらさないで画像品質を改善することを補助するだけである。第３方法によれば，有意符号化経路はブロック内に限定される。あるブロックについて，そのブロック内のすべての有意情報が符号化されると，そのブロックについては，有意経路は終了したと考えることができ，したがってそのブロック内の改善情報の符号化を開始することができる。
【００２８】
このように本発明の第１態様は，画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化方法であって，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この方法は，
上記画像データから強化層情報を表す多数ブロックの変換係数を形成するステップと，
所定順序によって複数の符号化サイクルで上記多数ブロックの変換係数を走査するステップと，
各サイクルにおいて，上記多数のブロックのそれぞれから変換係数サブセットを選択する選択ステップと，
上記所定順序によって上記の選択された変換係数サブセットをエントロピ符号化するステップと，
を有する。
【００２９】
本発明の第２態様は，画像データ内に含まれるデジタル映像シーケンスを復号する際に用いるエントロピ符号化方法であって，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この方法は，
上記画像データから強化層情報を表す変換係数を格納する多数のブロックを形成するステップと，
所定順序によって複数の符号化サイクルで変換係数を格納する上記多数のブロックを走査するステップと，
各サイクルにおいて，上記多数のブロックのそれぞれについて復号する変換係数サブセットを選択する選択ステップと，
上記所定順序によって上記多数のブロックのそれぞれにおいて上記の選択された変換係数サブセットをエントロピ復号するステップと，
を有する。
【００３０】
本発明によれば，符号化又は復号における選択ステップは，少なくともブロック内の変換係数の空間周波数位置を用いるか，又は上記ブロック内の有意係数を上記ブロック内の改善係数より先に選択するように実行される。
【００３１】
本発明によれば，変換係数は離散基本層において有意であった改善係数及び誤差係数を含み，各ブロックからの上記選択ステップは，離散基本層において有意な改善係数が最初に選択され，上記誤差係数は，空間周波数位置による順序で選択するように実行される。
【００３２】
本発明の第３態様は，画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化器であって，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この符号化器は，
上記画像データから強化層情報を表す多数ブロックの変換係数を形成するモジュールと，
所定順序によって複数の符号化サイクルで上記多数ブロックの変換係数を走査するモジュールと，
各サイクルにおいて，上記多数のブロックのそれぞれから変換係数サブセットを選択する選択モジュールと，
上記所定順序によって上記の選択された変換係数サブセットをエントロピ符号化するモジュールと，
を備え，上記選択モジュールは，少なくともブロック内の変換係数の空間周波数位置を用いて上記変換係数サブセットを選択するか，上記ブロック内の有意係数を上記ブロック内の改善係数より先に選択するように各ブロックから変換係数サブセットを選択するか，離散基本層において有意な改善係数が最初に選択され，上記誤差係数は，空間周波数位置による順序で選択するように各ブロックから上記変換係数を選択するようになっている。
【００３３】
本発明の第４態様は，画像データ内に含まれるデジタル映像シーケンスを復号する際に用いる復号器であって，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この復号器は，
上記画像データから強化層情報を表す変換係数を格納する多数のブロックを形成するモジュールと，
所定順序によって複数の符号化サイクルで変換係数を格納する上記多数のブロックを走査するモジュールと，
各サイクルにおいて，上記多数のブロックのそれぞれについて復号する変換係数サブセットを選択する選択モジュールと，
上記所定順序によって上記多数のブロックのそれぞれにおいて上記の選択された変換係数サブセットをエントロピ復号するモジュールと，
を備える。
【００３４】
本発明の第５態様は，スケーラブル映像符号化におけるエントロピ符号化において用いるソフトウェアアプリケーションを含む計算機可読媒体を有するソフトウェアアプリケーション製品であって，上記ソフトウェアアプリケーションは上述の符号化方法を実行するプログラムコードを有する。
【００３５】
本発明の第６態様は，スケーラブル映像符号化におけるエントロピ復号において用いるソフトウェアアプリケーションを含む計算機可読媒体を有するソフトウェアアプリケーション製品であって，上記ソフトウェアアプリケーションは上述の復号方法を実行するプログラムコードを有する。
【００３６】
本発明の第７態様は，移動体端末のような電子デバイスであって，上述のとおり画像データ内に含まれるデジタル映像シーケンスを符号化し，復号する際に用いる符号化器及び復号器を備える。
【発明を実施するための最良の形態】
【００３７】
本発明は，ＦＧＳ層における改善係数が基本層と異なる予測値を有するときに適したＦＧＳエントロピ符号化方法を提供する。
【００３８】
次に掲げる３つの異なるＦＧＳ方法を用いることができる。
１．空間周波数配置を用いたＦＧＳエントロピ符号化
２．復号器指向２ループ構造のＦＧＳエントロピ符号化
３．ブロック限定符号化経路を有するＦＧＳエントロピ符号化
【００３９】
ＦＧＳ層符号化に時間予測を用い，ＦＧＳ層における改善係数が基本層と異なる予測値を有するとき，ＦＧＳ層を部分的に復号するとドリフト問題が生じることがある。このようなドリフト問題は，符号化性能に大きく影響する。本発明は，このようなドリフトの影響を解決又は大きく軽減し，したがって符号化性能を向上させることができる新規なＦＧＳエントロピ符号化方法を提供する。
【００４０】
＜空間周波数位置を用いたＦＧＳエントロピ符号化＞
前に説明したとおり，ドリフト問題は，本質的に巡回ブロック符号化方法における分離「経路」符号化順によって生じる。どちらの経路を最初に符号化するかにかかわらず，ＦＧＳ層を部分的に復号するときは，ドリフト問題は避けられない。
【００４１】
本発明によれば，上述の問題を解決するために，有意情報と改善情報とは，もはや分離「経路」によっては符号化されない。その代わり，それらはインタリーブした，すなわち混合した順で符号化される。例えば有意情報と改善情報とは，それらの空間周波数位置によって符号化することができる。これはまた，Ｈ．２６４に規定された係数走査順でもある。全フレーム（又はＨ．２６４のスライス）についてブロックは依然巡回方式で符号化することができる。したがって，第１ブロックの第１係数を符号化した後，第２ブロックの第１係数が符号化される。符号化は第３ブロック等へ移行する。現スライスにおける各ブロックの第１係数が符号化されると，第１ブロックに戻り第２係数を符号化し，第２ブロックの第２係数を符号化し，第３ブロック等へ移行する。各ブロック内のすべての係数が符号化されるまで，このような処理が続く。
【００４２】
現行の巡回ブロック符号化方法と比べて，本発明による方法は符号化順を変更している。どのように有意係数・非有意係数を符号化するか，又はどのように既に有意な係数を改善するかについては変更はない。現在符号化する予定の非有意係数があるとき，この係数を符号化するステップは，ブロック端（ｅｎｄ−ｏｆ−ｂｌｏｃｋ）記号又は有意係数が後に続く一連の非有意係数を符号化するステップであってもよい。どちらのときも，走査経路に沿って符号化された非有意係数及び有意係数をすべて「復号済み」と記すことによって，後で符号化する係数に既に印が付けられているときは，何も符号化しないで単に処理を次のブロックへ移行する。
【００４３】
図４は，ＦＧＳ層におけるブロックの例を示す図である。この図において矢印は走査順を示す。このブロックにおいて，それぞれ走査位置７及び１０の（走査インデクスは０から始まる），網掛けされた２つの係数は，前の層（すなわち基本層）において有意になったものである。これらは現ＦＧＳ層における改善係数である。位置１及び１１の係数は，現ＦＧＳ層において有意になる。ここでスライスの符号化には１６サイクルかかるものとし，各サイクルにおいて各ブロック内の対応する空間周波数位置にある係数が符号化される。したがって第１サイクルにおいて，位置０及び１の係数が符号化される。第２サイクルにおいては，位置１の係数は既に「復号済み」と記されているので，このブロックからはどの情報も符号化する必要はない。第３サイクルにおいて，位置２から１１の係数が符号化される。サイクル４，５，６，７においては，このブロックからはどの情報も符号化する必要はない。サイクル８において，位置７の係数が改善される。サイクル９，１０においては，このブロックについてどの情報も符号化されない。サイクル１１において，位置１０の係数が改善される。サイクル１２においては，どの情報も符号化されない。サイクル１３においてブロック端記号が符号化される。その後，サイクル１４，１５，１６においてはどの情報も符号化されない。
【００４４】
このような符号化順は，次の擬似コードによって表すことができる。
【００４５】
各輝度走査インデクス及び色度走査インデクスについて
各ブロックについて
現輝度（ｌｕｍａ）係数が復号されていないとき
現輝度係数が改善係数でないとき
非零輝度係数及び先行する零係数を復号
そうでなければ
現輝度係数の改善情報を復号
現色度（ｃｈｒｏｍａ）係数が復号されていないとき
現色度係数が改善係数でないとき
非零色度係数及び先行する零係数を復号
そうでなければ
現色度係数の改善情報を復号
【００４６】
上記擬似コードにおいて，ｌｕｍａは輝度を表し，ｃｈｒｏｍａは色度を表す。色度セクションは，実際にはＣｂ，Ｃｒそれぞれの色度成分について実行される。一方，輝度走査インデクスと，色度走査インデクスとは同期していなくてもよいことに注意されたい。現行の巡回ブロック符号化に類似して，輝度の符号化は色度の符号化より数サイクル早く始めてもよい。
【００４７】
＜復号器指向２ループ構造のＦＧＳエントロピ符号化＞
上述のとおり，復号器指向２ループ構造は944-001.177-2に開示されている。図３に示すとおりこの構造は，複数のＦＧＳ層を符号化する簡単で効率のよい解決方法を提供する。この構造によれば，第１ＦＧＳ層の予測は，その参照フレームの第１ＦＧＳ層及び原フレームの再構築された基本層双方から形成される。
【００４８】
このＦＧＳ符号化方法によれば，基本層において有意となった係数は，強化層において同一の予測値を有することが保証できる。したがって，これらの係数を強化層において更に改善するとき，予測誤差の補償は含まれない。このようにこれら係数の改善情報は，ドリフトの影響をもたらさないで画像品質を改善することを補助するだけである。
【００４９】
図３の第２ＦＧＳ層について，この層の改善係数は２つの範ちゅうに分類される。第１範ちゅうは，離散基本層において有意になった係数を含む。第２範ちゅうは，離散基本層では有意でなかったが，第１ＦＧＳ層で有意になった係数を含む。第２ＦＧＳ層の予測値は離散基本層及び第２ＦＧＳ層から形成されるので，第１範ちゅうの改善情報はドリフトの影響をおよぼさない。しかし第２範ちゅう係数の改善情報は，ドリフトの影響をおよぼすことがある。このような状況は，第３ＦＧＳ層についても真である。この場合，第１範ちゅうは，離散基本層において有意でなかった係数を依然として含む。第２範ちゅうは，離散基本層では有意でなかったが，第１ＦＧＳ層又は第２ＦＧＳ層のいずれかで有意になった係数を含む。
【００５０】
このような分析に基づいて，図３に示す符号化構造を用いるとき第２ＦＧＳ層及び第３ＦＧＳ層を符号化するための特別なＦＧＳエントロピ符号化器を設計することができる。このエントロピ符号化器は画像品質を向上させることを補助するだけであり，いかなるドリフトの影響ももたらさないので，各ブロックの第１範ちゅう係数の改善情報を最初に符号化することができ，誤差係数はそれらの空間周波数位置によって符号化される。ここでも各ブロックの情報はブロック巡回方式で符号化される。
【００５１】
このような符号化順は次の擬似コードによって表すことができる。
【００５２】
各輝度走査インデクス及び色度走査インデクスについて
各ブロックについて
現輝度係数が第１範ちゅう係数のとき
現輝度係数の改善情報を復号
現色度係数が第１範ちゅう係数のとき
現色度係数の改善情報を復号
【００５３】
各輝度走査インデクス及び色度走査インデクスについて
各ブロックについて
現輝度係数が復号されていないとき
現輝度係数が改善係数でないとき
非零輝度係数及び先行する零係数を復号
そうでないとき
現輝度係数の改善情報を復号
現色度係数が復号されていないとき
現色度係数が改善係数でないとき
非零色度係数及び先行する零係数を復号
そうでないとき
現視輝度係数の改善情報を復号
【００５４】
ここでも上記擬似コードにおいて，色度セクションは実際には，Ｃｂ色度成分及びＣｒ色度成分それぞれについて実行される。
【００５５】
＜ブロック制限符号化経路を有するＦＧＳエントロピ符号化＞
ＦＧＳエントロピ符号化は，次に掲げる擬似コードによって設計することもできる。
【００５６】
復号する値が残っている間
各ブロックについて
このブロックの輝度について，有意経路が完了していないとき
１つの非零輝度係数及び先行する零係数を復号
そうでなければ
次の輝度係数の改善情報を復号
このブロックの色度について，有意経路が完了していないとき
１つの非零色度係数及び先行する零係数を復号
そうでなければ
次の色度係数の改善情報を復号
【００５７】
擬似コードから，この方法における有意符号化経路はブロック内に制限されていることが分かる。あるブロックについて，そのブロック内のすべての有意情報が符号化されると，そのブロックについては，有意経路は終了したと考えることができ，したがってそのブロック内の改善情報の符号化を開始することができる。この方法によれば，あるブロックの改善情報を同一色成分の別のブロックの有意情報より前に符号化することができる。これと対比して巡回ブロック符号化方法においては，ある色成分の改善情報は，スライス内のすべてのブロックの有意情報が符号化されるまで符号化されない。このようにある程度まで，このようなブロック制限符号化経路を有するＦＧＳエントロピ符号化は，ＦＧＳフレーム（又はスライス）の有意情報及び改善情報のインタリーブ符号化も提供することができる。
【００５８】
＜ＦＧＳ符号化器の概要＞
図５及び６は本発明のＦＧＳ符号化器及び復号器のブロック図であって，基本層に依存して参照ブロックが形成される。これらのブロック図においてはただ１つのＦＧＳ層が示されている。１ＦＧＳ層の構造から複数ＦＧＳ層を有する構造へ拡張することは簡単であることを理解されたい。
【００５９】
ブロック図から分かるように，ＦＧＳ符号化器は追加の「参照ブロック形成モジュール」を備えた２ループ映像符号化器である。
【００６０】
図７は本発明の実施例による典型的移動体デバイスを描いた図である。図７に示す移動体デバイス１０は，セルラデータ音声通信が可能である。本発明は，複数の別個の実施例を代表するこの特定実施例に限定されるものではないことに注意されたい。移動体デバイス１０は，（主）マイクロプロセッサ又はマイクロコントローラ１００，及び移動体デバイスの動作を制御するマイクロプロセッサに関連するコンポーネントを含む。これらのコンポーネントは，ディスプレイモジュール１３５に接続したディスプレイコントローラ１３０と，不揮発性メモリ１４０と，ランダムアクセスメモリ（ＲＡＭ）のような揮発性メモリ１５０と，マイクロホン１６１，スピーカ１６２及び／又はヘッドセット１６３に接続した音声入出力（Ｉ／Ｏ）インタフェース１６０と，キーパッド１７５又はキーボードに接続したキーパッドコントローラ１７０と，任意の補助入出力（Ｉ／Ｏ）インタフェース２００と，短距離通信インタフェース１８０と，を含む。このようなデバイスはまた，１９０に一般化して示すほかのデバイスサブシステムも通常含む。
【００６１】
移動体デバイス１０は音声ネットワークを介して通信してもよいし，及び／又は例えばデジタルセルラネットワーク，特にＧＳＭ（世界移動体通信システム）又はＵＭＴＳ（はん用移動体通信システム）の形態の任意の公衆地上移動体ネットワーク（ＰＬＭＮ）のようなデータネットワークを介して同様に通信してもよい。通常，音声及び／又はデータ通信は，無線インタフェース，すなわち（上記の）更なるコンポーネントと協働して，セルラネットワーク基盤設備の無線接続ネットワーク（ＲＡＮ）の一部である基地局（ＢＳ）又はノードＢ（図示していない）との通信インタフェースサブシステムを介して運用される。図７に簡略に描いたセルラ通信インタフェースは，セルラインタフェース１１０と，デジタル信号処理装置（ＤＳＰ１２０と，受信器（ＲＸ）１２１と，送信器（ＴＸ）１２２と，１又は複数の局部発振器（ＬＯ）１２３と，を備え，１又は複数の公衆地上移動体ネットワーク（ＰＬＭＮ）との通信を可能にする。デジタル信号処理装置（ＤＳＰ）１２０は，通信信号１２４を送信器（ＴＸ）１２２へ送信し，受信器（ＲＸ）１２１から通信信号１２５を受信する。通信信号の処理に加えて，デジタル信号処理装置１２０は受信器制御信号１２６及び送信器制御信号１２７も供給する。例えば，送信信号の変調及び受信信号の復調のほかに，デジタル信号処理装置（ＤＳＰ）１２０に実装した自動利得制御アルゴリズムによって，受信器（ＲＸ）１２１及び送信器（ＴＸ）１２２において通信信号に適用する利得レベルを適応的に制御することができる。送受信器１２１，１２２のより高度な制御を提供するために，デジタル信号処理装置（ＤＳＰ）１２０にほかの送受信器制御アルゴリズムも実装することができる。ＰＬＭＮを介する移動体デバイス１０の通信が単一周波数又は近接した一組の周波数で行われるときは，送信器（ＴＸ）１２２及び受信器（ＲＸ）１２１に関連して単一の局部発振器（ＬＯ）１２３を用いてもよい。あるいは，音声通信とデータ通信，又は送信と受信で異なる周波数を用いるときは，多数の対応する周波数を発生させるために多数の局部発振器を用いてもよい。図７に描いた移動体デバイス１０は，ダイバシチアンテナシステム（図示していない）である，又はそれを用いたアンテナ１２９を用いるが，移動体デバイス１０は信号受信及び信号送信に単一アンテナ構造を用いてもよい。音声情報及びデータ情報を含む情報は，データリンクを介してセルラインタフェース１１０とデジタル信号処理装置（ＤＳＰ）１２０との間を伝送される。周波数帯域，コンポーネント選択，電力レベル，などのようなセルラインタフェース１１０の詳細設計は，移動体デバイス１０を運用しようとする無線ネットワークに依存する。
【００６２】
セルラネットワークにおける登録に必要な加入者識別情報モジュール（ＳＩＭ）２１０が関係することがある，必要なネットワーク登録又は活性化手続が完了したあと，移動体デバイス１０は無線ネットワークを介して音声信号及びデータ信号双方を含む通信信号を送信し，受信することができる。無線ネットワークからアンテナ１２９で受信した信号は受信器１２１に配信され，受信器は信号増幅と，周波数ダウンコンバートと，ろ波と，チャネル選択と，アナログデジタル変換と，のような操作を提供する。受信信号をアナログデジタル変換することによって，例えばデジタル信号処理装置（ＤＳＰ）１２０を用いて，デジタル復調及び復号のようなより複雑な通信機能が可能になる。類似した方法で，ネットワークへ送信する信号に，例えばデジタル信号処理装置（ＤＳＰ）１２０を用いて，変調及び符号化を含む処理を行い，デジタルアナログ変換と，周波数アップコンバートと，ろ波と，増幅と，アンテナ１２９を介した無線ネットワークへの送信と，のために送信器１２２へ供給する。
【００６３】
マイクロプロセッサ又はマイクロコントローラ（μＣ）１１０は，デバイスプラットホームマイクロプロセッサとも呼ばれ，移動体デバイス１０の機能を管理する。マイクロプロセッサ１１０が用いるオペレーティングシステムソフトウェア１４９は，不揮発性メモリ１４０のような永続記憶装置に記憶することが好ましい。不揮発性メモリは，例えばフラッシュメモリ，バッテリ支援ＲＡＭ，任意のほかの不揮発性記憶技術，又はそれらの任意の組合せによって実現できる。移動体デバイス１０の低レベル機能及び（グラヒックの）基本ユーザインタフェース機能を制御するオペレーティングシステム１４９に加え，不揮発性メモリ１４０は音声通信ソフトウェアアプリケーション１４２，データ通信ソフトウェアアプリケーション１４１，オーガナイザモジュール（図示していない），又は任意のほかの種類のソフトウェアモジュール（図示していない）のような多数の高レベルソフトウェアアプリケーションのプログラム又はモジュールを含む。これらのモジュールはマイクロプロセッサ１００によって実行され，移動体デバイス１０のユーザと移動体デバイス１０との間の高レベルインタフェースを提供する。通常このインタフェースは，ディスプレイコントローラ１３０が制御するディスプレイ１３５を介して提供されるグラヒックコンポーネントと，キーパッドコントローラ１７０を介してマイクロプロセッサ１００に接続したキーパッド１７５を介して提供される入出力コンポーネントと，補助入出力（Ｉ／Ｏ）インタフェース２００と，及び／又は短距離（ＳＲ）通信インタフェース１８０と，を含む。補助Ｉ／Ｏインタフェース２００は，特にＵＳＢ（はん用直列バス）インタフェースと，直列インタフェースと，ＭＭＣ（マルチメディアカード）インタフェース及び関連インタフェース技術又は標準と，任意のほかの標準又は独自のデータ通信バス技術と，を備え，一方短距離通信インタフェースの無線周波（ＲＦ）低電力インタフェースは，特にＷＬＡＮ（無線構内ネットワーク）及びＢｌｕｅｔｏｏｔｈ（登録商標）通信技術，又はＩｒＤＡ（赤外線データ協会）インタフェースを含む。ここで用いるＲＦ低電力インタフェース技術とは，特に任意のＩＥＥＥ８０１．ｘｘ標準技術を含むものと理解することが望ましい。ＩＥＥＥ８０１．ｘｘ標準技術の説明は，米国電気電子学会から取得できる。更に補助Ｉ／Ｏインタフェース２００及び短距離通信インタフェース１８０はそれぞれ，１又は複数の入出力インタフェース技術に対応する１又は複数のインタフェース及び通信インタフェース技術を表す。オペレーティングシステム，特定デバイスソフトウェアアプリケーション又はモジュール，若しくはそれらの一部は，ランダムアクセスメモリ（通常高速動作のためＤＲＡＭ（ダイナミックランダムアクセスメモリ）技術によって実現される）のような揮発性記憶装置１５０に一時的にロードしてもよい。更に受信した通信信号も，不揮発性メモリ１４０又は着脱可能であることが好ましいデータ記憶のための補助Ｉ／Ｏインタフェースを介して接続された任意の大容量記憶装置に永続的に書き込む前に，一時的に揮発性メモリ１５０に記憶してもよい。上述の各コンポーネントは，ここでは携帯電話機���形態で実現された従来の移動体デバイス１０の典型的なコンポーネントを表すものであることを理解されたい。本発明は，単に例示及び完全性のために示したこれら特定のコンポーネント及びその実装に限定されるものではない。
【００６４】
移動体デバイス１０の例示ソフトウェアアプリケーションモジュールは，電話帳管理と，カレンダと，スケジュール管理と，その類似物と，を通常含むＰＤＡ機能を提供するパーソナル情報管理アプリケーションである。このようなパーソナル情報管理アプリケーションはマイクロプロセッサ１００によって実行され，移動体デバイス１０の各コンポーネントにアクセスでき，ほかのソフトウェアアプリケーションモジュールと対話することができる。例えば，音声通信ソフトウェアアプリケーションと対話することによって，電話呼，音声メールなどを管理することができ，またデータ通信ソフトウェアアプリケーションと対話することによって，ＳＭＳ（ショートメッセージサービス）と，ＭＭＳ（マルチメディアメッセージサービス）と，電子メール通信と，ほかのデータ送信と，を管理することができる。不揮発性メモリ１４０は，特にカレンダ項目，連絡先，などを含む移動体デバイス上のデータ項目の永続記憶を実現するために，ファイルシステムを提供することが好ましい。例えばセルラインタフェース，短距離通信インタフェース又は補助Ｉ／Ｏインタフェースを介したネットワークとのデータ通信能力によって，そのようなネットワークを介したアップロードと，ダウンロードと，同期と，が可能になる。
【００６５】
アプリケーションモジュール１４１〜１４９は，プロセッサ１００が実行するように構成されたデバイス機能又はソフトウェアアプリケーションを表している。ほとんどの既知の移動体デバイスにおいては，移動体デバイスの全体動作並びにすべてのデバイス機能及びソフトウェアアプリケーションを単一プロセッサが管理制御している。このような思想は，今日の移動体デバイスにも当てはまる。強化マルチメディア機能実装は，例えば映像ストリーミングアプリケーションの再生と，デジタル画像の操作と，統合された，又は着脱可能のデジタルカメラ機能によってキャプチャされた映像シーケンスと，を含む。この実装はまた，計算能力要求条件を増加させる高度なグラヒックを有するゲームアプリケーションも含む。計算能力要求条件に対処する１つの方法は過去に追求されたものであるが，強力かつはん用のプロセッサコアを実装することによって計算能力を向上させる課題を解決するというものである。計算能力を提供するもう１つの方法は，２を超える独立プロセッサコアを実装するものであり，これは当業において周知の方法である。数個の独立プロセッサコアを用いる利点は，当業者であれば直ちに理解することができる。はん用プロセッサは，予め選択した別個のタスクに特化することなく，複数の別個のタスクを実行するように設計されているが，マルチプロセッサ構成は，１又は複数のはん用プロセッサ及び所定のタスク集合を処理するようにした１又は複数の特定プロセッサを含んでもよい。それにもかかわらず，１つのデバイス，特に移動体デバイス１０のような移動体デバイス内に数個のプロセッサを実装することは，従来はコンポーネントの完全かつ高度な再設計を必要とした。
【００６６】
以降，追加プロセッサコアを既存の処理デバイス実装に単純に統合して，高価な完全かつ高度な再設計を不要にできる本発明の思想を示す。この発明の思想を，チップ上システム（ＳｏＣ）設計に関連して説明する。ＳｏＣは，処理デバイスの少なくとも多数の（又はすべての）コンポーネントを単一の高集積チップに集積するという思想である。このようなＳｏＣは，デジタルと，アナログと，混合信号と，そしてしばしば無線周波機能と，をすべて１チップ上に含むことができる。典型的処理デバイスは，種々のタスクを実行するいくつかの集積回路を含む。これらの集積回路は，特にマイクロプロセッサと，メモリと，はん用非同期送受信器（ＵＡＲＴ）と，直列又は並列ポートと，直接メモリアクセス（ＤＭＡ）コントローラと，その類似物と，を含んでもよい。ＵＡＲＴは並列データビットと直列データビットとを変換する。最近の半導体技術における改善によって，超大規模集積回路（ＶＬＳＩ）が複雑度の大きな発展を可能にし，システムの多くのコンポーネントを単一チップに集積できるようになった。図７を参照すれば，その１又は複数のコンポーネント，例えばコントローラ１３０及び１６０と，メモリコンポーネント１５０及び１４０と，１又は複数のインタフェース２００，１８０及び１１０とを，マイクロプロセッサ１００と共に，最終的にＳｏＣを成す単一チップに集積できる。
【００６７】
更に上記移動体デバイス１０は，本発明の進歩した動作による映像データスケーラブル符号化モジュール１０５及び映像データスケーラブル復号モジュール１０６を備える。ＣＰＵ１００によって，上記モジュール１０５，１０６は個々に用いてもよい。しかし上記移動体デバイス１０は，映像データ符号化及び映像データ復号をそれぞれ実行するようになっている。上記映像データは，移動体デバイスの通信モジュールによって受信してもよいし，移動体デバイス１０内の任意の考えうる記憶手段内に記憶してもよい。
【００６８】
まとめると，本発明はＦＧＳ層における改善係数が基本層と異なる予測値を有するときに適したＦＧＳエントロピ符号化方法を提供する。ＦＧＳ層符号化に時間予測を用い，ＦＧＳ層における改善係数が基本層と異なる予測値を有するとき，ＦＧＳ層を部分的に復号するとドリフト問題が生じることがある。このようなドリフト問題は，符号化性能に大きな影響を与えることがある。本発明は，このようなドリフトの影響を解決し，又は大きく軽減して，したがって符号化性能を向上させることができる新規なＦＧＳエントロピ符号化方法を提供する。
【００６９】
３つの異なるＦＧＳ方法を用いることができる。すなわち，空間周波数配置を用いたＦＧＳエントロピ符号化と，復号器指向２ループ構造のＦＧＳエントロピ符号化と，ブロック限定符号化経路を有するＦＧＳエントロピ符号化と，である。第１方法におけるドリフト問題は，本質的に巡回ブロック符号化方法における分離「経路」符号化順によって生じる。どちらの経路を最初に符号化するかにかかわらず，ＦＧＳ層を部分的に復号するときは，ドリフト問題は避けられない。したがって上述の問題を解決するために，有意情報と改善情報とは，もはや分離「経路」によっては符号化されない。その代わり，それらはインタリーブした，すなわち混合した順で符号化される。第２方法によれば，基本層において有意となった係数は，強化層において同一の予測値を有することが保証できる。したがって，これらの係数を強化層において更に改善するとき，予測誤差の補償は含まれない。このようにこれら係数の改善情報は，ドリフトの影響をもたらさないで画像品質を改善することを補助するだけである。第３方法によれば，有意符号化経路はブロック内に限定される。あるブロックについて，そのブロック内のすべての有意情報が符号化されると，そのブロックについては，有意経路は終了したと考えることができ，したがってそのブロック内の改善情報の符号化を開始することができる。
【００７０】
したがって本発明は，画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化方法を提供し，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この方法は，
上記画像データから強化層情報を表す多数ブロックの変換係数を形成するステップと，
所定順序によって複数の符号化サイクルで上記多数ブロックの変換係数を走査するステップと，
各サイクルにおいて，上記多数のブロックのそれぞれから変換係数サブセットを選択する選択ステップと，
上記所定順序によって上記の選択された変換係数サブセットをエントロピ符号化するステップと，
を有する。
【００７１】
本発明はまた，画像データ内に含まれるデジタル映像シーケンスを復号する際に用いるエントロピ符号化方法を提供し，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この方法は，
上記画像データから強化層情報を表す変換係数を格納する多数のブロックを形成するステップと，
所定順序によって複数の符号化サイクルで変換係数を格納する上記多数のブロックを走査するステップと，
各サイクルにおいて，上記多数のブロックのそれぞれについて復号する変換係数サブセットを選択する選択ステップと，
上記所定順序によって上記多数のブロックのそれぞれにおいて上記の選択された変換係数サブセットをエントロピ復号するステップと，
を有する。
【００７２】
本発明によれば，符号化又は復号における選択ステップは，少なくともブロック内の変換係数の空間周波数位置を用いるか，又は上記ブロック内の有意係数を上記ブロック内の改善係数より先に選択するように実行される。変換係数が離散基本層において有意であった改善係数及び誤差係数を含むとき，各ブロックからの上記選択ステップは，離散基本層において有意な改善係数が最初に選択され，上記誤差係数は，空間周波数位置による順序で選択するように実行される。
【００７３】
本発明は，画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化器を提供し，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この符号化器は，
上記画像データから強化層情報を表す多数ブロックの変換係数を形成するモジュールと，
所定順序によって複数の符号化サイクルで上記多数ブロックの変換係数を走査するモジュールと，
各サイクルにおいて，上記多数のブロックのそれぞれから変換係数サブセットを選択する選択モジュールと，
上記所定順序によって上記の選択された変換係数サブセットをエントロピ符号化するモジュールと，
を備え，上記選択モジュールは，少なくともブロック内の変換係数の空間周波数位置を用いて上記変換係数サブセットを選択するか，上記ブロック内の有意係数を上記ブロック内の改善係数より先に選択するように各ブロックから変換係数サブセットを選択するか，離散基本層において有意な改善係数が最初に選択され，上記誤差係数は，空間周波数位置による順序で選択するように各ブロックから上記変換係数を選択するようになっている。
【００７４】
本発明は更に，画像データ内に含まれるデジタル映像シーケンスを復号する際に用いる復号器を提供し，上記デジタル映像シーケンスはいくつかのフレームを有し，上記デジタル映像シーケンスの各フレームは多数のブロックに分割された画素配列を有する。この復号器は，
上記画像データから強化層情報を表す変換係数を格納する多数のブロックを形成するモジュールと，
所定順序によって複数の符号化サイクルで変換係数を格納する上記多数のブロックを走査するモジュールと，
各サイクルにおいて，上記多数のブロックのそれぞれについて復号する変換係数サブセットを選択する選択モジュールと，
上記所定順序によって上記多数のブロックのそれぞれにおいて上記の選択された変換係数サブセットをエントロピ復号するモジュールと，
を備える。
【００７５】
上述の符号化方法及び復号方法は，スケーラブル映像符号化におけるエントロピ符号化において用いるソフトウェアアプリケーションを含む計算機可読媒体を有するソフトウェアアプリケーション製品において実現することができ，上記ソフトウェアアプリケーションは上述の符号化方法又は復号方法を実行するプログラムコードを有する。
【００７６】
上述の符号化器及び復号器は移動体端末のように電子デバイスにおいて実現することができる。
【００７７】
このように本発明を１又は複数の実施例に関して説明したが，当業者であれば，形態及び詳細において，上述の及び種々のほかの変更と，省略と，修正とが本発明の範囲から逸脱することなく可能であることを理解するであろう。
【図面の簡単な説明】
【００７８】
【図１】ＦＧＳ層における時間予測を伴わない細粒度スケーラビリティを示す図である。
【図２】ＦＧＳ層における時間予測を伴う細粒度スケーラビリティを示す図である。
【図３】ＦＧＳ層における時間予測を伴う細粒度スケーラビリティ（部分２ループ構造）を示す図である。
【図４】ＦＧＳ層のブロックを示す図である。
【図５】基本層依存の参照ブロック選択を有するＦＧＳ符号化器を示す図である。
【図６】基本層依存の参照ブロック選択を有するＦＧＳ復号器を示す図である。
【図７】本発明によるスケーラブル符号化器及びスケーラブル復号器のうち少なくとも１つを備える電子デバイスを示す図である。
【図１】
2009522973.tif 000003
【図２】
2009522973.tif 000004
【図３】
2009522973.tif 000005
【図４】
2009522973.tif 000006
【図５】
2009522973.tif 000007
【図６】
2009522973.tif 000008
【図７】
2009522973.tif 000009
【手続補正書】
【提出日】平成19年10月30日(2007.10.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化方法であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスのうち少なくともいくつかのフレームが，離散基本層及び少なくとも１つの強化層を含む多層になっている方法において，
前記画像データから強化層情報を表す多数ブロックの変換係数を形成するステップと，
所定順序によって複数の符号化サイクルで前記多数ブロックの変換係数を走査するステップと，
各サイクルにおいて，前記多数ブロックのそれぞれから変換係数サブセットを選択する選択ステップと，
前記所定順序によって前記の選択された変換係数サブセットをエントロピ符号化するステップと，
を特徴とする方法。
【請求項２】
前記選択ステップは，少なくともブロック内の変換係数の空間周波数位置を用いることを特徴とする請求項１に記載の方法。
【請求項３】
各ブロックからの前記選択ステップは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するように実行することを特徴とする請求項１に記載の方法。
【請求項４】
前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，各ブロックからの前記選択ステップは，前記離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように実行することを特徴とする請求項１に記載の方法。
【請求項５】
画像データ内に含まれるデジタル映像シーケンスを復号する際に用いるエントロピ符号化方法であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスのうち少なくともいくつかのフレームが，離散基本層及び少なくとも１つの強化層を含む多層になっている方法において，
前記画像データから強化層情報を表す変換係数を格納する多数ブロックを形成するステップと，
所定順序によって複数の符号化サイクルで変換係数を格納する前記多数ブロックを走査するステップと，
各サイクルにおいて，前記多数ブロックのそれぞれについて復号する変換係数サブセットを選択する選択ステップと，
前記所定順序によって前記多数ブロックのそれぞれにおいて前記の選択された変換係数サブセットをエントロピ復号するステップと，
を特徴とする方法。
【請求項６】
前記選択ステップは，少なくともブロック内の各係数の空間周波数位置を用いることを特徴とする請求項５に記載の方法。
【請求項７】
各ブロックからの前記選択ステップは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するように実行することを特徴とする請求項５に記載の方法。
【請求項８】
前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，各ブロックからの前記選択ステップは，前記離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように実行することを特徴とする請求項５に記載の方法。
【請求項９】
画像データ内に含まれるデジタル映像シーケンスを符号化する際に用いるエントロピ符号化器であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスのうち少なくともいくつかのフレームが，離散基本層及び少なくとも１つの強化層を含む多層になっている方法において，
前記画像データから強化層情報を表す多数ブロックの変換係数を形成するモジュールと，
所定順序によって複数の符号化サイクルで前記多数ブロックの変換係数を走査するモジュールと，
各サイクルにおいて，前記多数ブロックのそれぞれから変換係数サブセットを選択する選択モジュールと，
前記所定順序によって前記の選択された変換係数サブセットをエントロピ符号化するモジュールと，
を特徴とする符号化器。
【請求項１０】
前記選択モジュールは，少なくともブロック内の変換係数の空間周波数位置を用いて前記変換係数サブセットを選択するようになっていることを特徴とする請求項９に記載の符号化器。
【請求項１１】
前記選択モジュールは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するようになっていることを特徴とする請求項９に記載の符号化器。
【請求項１２】
前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，前記選択モジュールは，前記離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように各ブロックから前記変換係数を選択するようになっていることを特徴とする請求項９に記載の符号化器。
【請求項１３】
画像データ内に含まれるデジタル映像シーケンスを復号する際に用いる復号器であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスのうち少なくともいくつかのフレームが，離散基本層及び少なくとも１つの強化層を含む多層になっている方法において，
前記画像データから強化層情報を表す変換係数を格納する多数ブロックを形成するモジュールと，
所定順序によって複数の符号化サイクルで変換係数を格納する前記多数ブロックを走査するモジュールと，
各サイクルにおいて，前記多数ブロックのそれぞれについて復号する変換係数サブセットを選択する選択モジュールと，
前記所定順序によって前記多数ブロックのそれぞれにおいて前記の選択された変換係数サブセットをエントロピ復号するモジュールと，
を特徴とする復号器。
【請求項１４】
前記選択モジュールは，少なくともブロック内の各係数の空間周波数位置を用いて前記変換係数を選択するようになっていることを特徴とする請求項１３に記載の復号器。
【請求項１５】
前記選択モジュールは，前記ブロック内の有意係数を前記ブロック内の改善係数より先に選択するように各ブロックから前記変換係数を選択するようになっていることを特徴とする請求項１３に記載の復号器。
【請求項１６】
前記変換係数は離散基本層において有意な改善係数及び誤差係数を含み，前記選択モジュールは，前記離散基本層において有意な改善係数が最初に選択され，前記誤差係数は，空間周波数位置による順序で選択するように各ブロックから前記変換係数を選択するようになっていることを特徴とする請求項１３に記載の復号器。
【請求項１７】
請求項１に記載の方法を実行するプログラムコードを有する組み込みソフトウェアアプリケーションを含む計算機可読記憶媒体。
【請求項１８】
請求項５に記載の方法を実行するプログラムコードを有する組み込みソフトウェアアプリケーションを含む計算機可読記憶媒体。
【請求項１９】
装置であって，
画像データ内に含まれるデジタル映像シーケンスを符号化及び復号する際に用いる符号化器及び復号器であって，前記デジタル映像シーケンスはいくつかのフレームを有し，前記デジタル映像シーケンスのうち少なくともいくつかのフレームが，離散基本層及び少なくとも１つの強化層を含む多層になっている方法において，
前記符号化器は
前記画像データから強化層情報を表す多数ブロックの変換係数を形成するモジュールと，
所定順序によって複数の符号化サイクルで前記多数ブロックの変換係数を走査するモジュールと，
各サイクルにおいて，前記多数ブロックのそれぞれから変換係数サブセットを選択するモジュールと，
前記所定順序によって前記の選択された変換係数サブセットをエントロピ符号化するモジュールと，
を備え，
前記復号器は
前記画像データから強化層情報を表す変換係数を格納する多数ブロックを形成するモジュールと，
所定順序によって複数の符号化サイクルで変換係数を格納する前記多数ブロックを走査するモジュールと，
各サイクルにおいて，前記多数ブロックのそれぞれから復号する変換係数サブセットを選択するモジュールと，
前記所定順序によって前記多数ブロックのそれぞれにおいて前記の選択された変換係数サブセットをエントロピ復号するモジュールと，
を備えることを特徴とする装置。
【請求項２０】
移動体端末を備える請求項１９に記載の装置。
【国際調査報告】
2009522973.tif 000010
2009522973.tif 000011
2009522973.tif 000012