(57)【要約】  本発明は、スケーラブルビデオコーディングとデコーディング方法およびそのための装置に関するものである。  本発明のスケーラブルビデオコーディングアルゴリズムは、各解像度別ビデオコーディングを別に行い、コーディングされた結果を１つの解像度に結合して圧縮する。  本発明によればスケーラブルビデオコーディングで各解像度のイメージの画質を最大限保障しながらも、解像度別イメージを結合することができる。
2007520150.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスを構成する各々の元解像度のイメージを低域通過フィルタリングして前記元解像度のイメージの各々に対応する低解像度のイメージを生成し、前記元解像度のイメージおよび低解像度のイメージの時間的重複を除去して元解像度および低解像度の残余イメージを生成するステップと、
前記元解像度および低解像度の残余イメージをウェーブレット変換して、元解像度および低解像度の変換イメージを生成し、前記各々の低解像度の変換イメージを対応する元解像度の変換イメージに結合されて、結合された元解像度の変換イメージを生成するステップと、
前記結合された元解像度の変換イメージを量子化し、コーディングされたイメージ情報を生成して前記元解像度および低解像度のイメージの時間的重複を除去する時に得られた動きベクトルと前記コーディングされたイメージ情報とを含むビットストリームを生成するステップとを含むスケーラブルビデオコーディング方法。
【請求項２】
前記低域通過フィルタリングは、ウェーブレット９−７フィルタによるダウンサンプリングであることを特徴とする請求項１に記載のスケーラブルビデオコーディング方法。
【請求項３】
前記生成される低解像度のイメージは、前記各々の元解像度のイメージを低域通過フィルタリングして得た第１低解像度のイメージと前記各々の第１低解像度のイメージを低域通過フィルタリングして得た第２低解像度のイメージとを含み、前記元解像度、第１、第２低解像度のイメージは時間的重複が除去された後に元解像度、第１、第２低解像度の変換イメージになり、前記第１、第２低解像度の変換イメージは結合されて、結合された第１低解像度の変換イメージになり、前記元解像度の変換イメージと前記結合された第１低解像度の変換イメージは結合されて、結合された元解像度の変換イメージになることを特徴とする請求項１に記載のスケーラブルビデオコーディング方法。
【請求項４】
前記時間的重複除去過程は解像度別に進められ、１つの解像度における時間的重複除去過程は、
前記解像度に１つまたは複数のコーディングされたイメージの元のイメージを参照し、前記元解像度のイメージおよび前記低解像度のイメージの各々の時間的重複を除去下記するのに用いる動きベクトルを探す動き推定ステップと、
前記動き推定によって得られた動きベクトルを用いた動き補償を介して、前記元解像度のイメージおよび前記低解像度のイメージの時間的重複を除去し、前記低解像度の残余イメージおよび元解像度の残余イメージを生成するステップとを含むことを特徴とする請求項１に記載のスケーラブルビデオコーディング方法。
【請求項５】
前記参照されるコーディングされたイメージの元のイメージは、前記コーディングされたイメージをデコーディングして得たイメージであることを特徴とする請求項４に記載のスケーラブルビデオコーディング方法。
【請求項６】
前記低解像度の残余イメージおよび元解像度の残余イメージに対する時間的重複を除去する時、各残余イメージ自身を参照するステップをさらに含むことを特徴とする請求項４に記載のスケーラブルビデオコーディング方法。
【請求項７】
元解像度のイメージと前記元解像度のイメージの各々に対応する低解像度のイメージの時間的重複を除去し、元解像度および低解像度の残余イメージを生成する時間的重複除去部と、
前記元解像度および低解像度の残余イメージをウェーブレット変換して元解像度および低解像度の変換イメージを生成し、前記各々の低解像度の変換イメージを対応する元解像度の変換イメージに結合されて結合された元解像度の変換イメージを生成する空間的重複除去部と、
前記結合された元解像度の変換イメージを量子化して、コーディングされたイメージ情報を生成する量子化部と、
前記コーディングされたイメージ情報と、前記元解像度および低解像度のイメージの時間的重複を除去する過程で得られた動きベクトルを含むビットストリームを生成するビットストリーム生成部とを含むスケーラブルビデオエンコーダ。
【請求項８】
イメージに対する低域通過フィルタリングをする１つまたは複数の低域通過フィルタをさらに含み、前記低解像度のイメージは前記元解像度のイメージを低域通過フィルタリングして得られることを特徴とする請求項７に記載のスケーラブルビデオエンコーダ。
【請求項９】
前記低解像度のイメージは、前記各々の元解像度のイメージを低域通過フィルタリングして得た第１低解像度のイメージと前記各々の第１低解像度のイメージを低域通過フィルタリングして得た第２低解像度のイメージとを含み、前記元解像度、第１、第２低解像度のイメージは前記空間的重複除去部によって時間的重複が除去された後に元解像度、第１、第２低解像度の変換イメージになり、前記第１、第２低解像度の変換イメージは前記空間的重複除去部によって結合されて、結合された第１低解像度の変換イメージになり、前記元解像度の変換イメージと前記結合された第１低解像度の変換イメージは前記空間的重複除去部によって結合されて、結合された元解像度の変換イメージになることを特徴とする請求項８に記載のスケーラブルビデオエンコーダ。
【請求項１０】
前記時間的重複除去部は、前記元解像度のイメージと低解像度のイメージの各々の時間的重複を除去するが、このために、
１つまたは複数のコーディングされたイメージの元のイメージを参照して前記元解像度のイメージと低解像度のイメージの各々の時間的重複を除去するのに用いる動きベクトルを探す１つまたは複数の動き推定部と、
前記動き推定によって見つけられた動きベクトルを用いて、前記元解像度のイメージと低解像度のイメージの各々に対する動き補償をして、前記元解像度の残余イメージと前記低解像度の残余イメージを生成する１つまたは複数の動き補償部とを含むことを特徴とする請求項７に記載のスケーラブルビデオエンコーダ。
【請求項１１】
前記コーディングされたイメージをデコーディングし、元のイメージを得るためのデコーディング部をさらに含む請求項１０に記載のスケーラブルビデオエンコーダ。
【請求項１２】
前記時間的重複除去部は、前記各イメージ自身を参照し、前記元解像度のイメージと低解像度のイメージの各々に対する時間的重複を除去する１つまたは複数のイントラ予測部をさらに含むことを特徴とする請求項１０に記載のスケーラブルビデオエンコーダ。
【請求項１３】
前記空間的重複除去部は、前記元解像度および低解像度の残余イメージをウェーブレット変換し、元解像度および低解像度の変換イメージを生成する１つまたは複数のウェーブレット変換部と、
前記各々の低解像度の変換イメージを対応する元解像度の変換イメージに結合されて、結合された元解像度の変換イメージを生成する変換イメージ結合部とを含むことを特徴とする請求項７に記載のスケーラブルビデオエンコーダ。
【請求項１４】
ビットストリームからコーディングされたイメージ情報を抽出して前記コーディングされたイメージ情報を分離および逆量子化して結合された元解像度の変換イメージと前記結合された元解像度の変換イメージの各々に対応する低解像度の変換イメージを生成するステップと、
前記結合された元解像度の変換イメージおよび低解像度の変換イメージを逆ウェーブレット変換して結合された元解像度の残余イメージおよび低解像度の残余イメージを生成するステップと、
前記ビットストリームから得た低解像度の動きベクトルを用いて前記低解像度の残余イメージを逆動き補償して低解像度のイメージを復元し、前記低解像度のイメージと前記ビットストリームから得た元解像度の動きベクトルを用いて前記結合された元解像度の残余イメージから元解像度のイメージを復元するステップとを含むスケーラブルビデオデコーディング方法。
【請求項１５】
前記生成される低解像度の変換イメージは、結合された第１低解像度の変換イメージと前記結合された第１低解像度の変換イメージの各々に対応する第２低解像度の変換イメージとを含み、前記結合された第１低解像度の変換イメージおよび低解像度の変換イメージは逆ウェーブレット変換されて結合された元解像度の残余イメージおよび低解像度の残余イメージになり、前記ビットストリームから得た第２低解像度の動きベクトルを用いて前記第２低解像度の残余イメージを逆動き補償して第２低解像度のイメージを復元し、前記第２低解像度のイメージと前記ビットストリームから得た第１低解像度の動きベクトルを用いて、前記結合された第１低解像度の残余イメージから第１低解像度のイメージを復元することを特徴とする請求項１４に記載のスケーラブルビデオデコーディング方法。
【請求項１６】
前記逆動き補償する過程は、
前記低解像度の動きベクトルを用いて前記低解像度の残余イメージを逆動き補償し、低解像度のイメージを復元するステップと、
前記低解像度の残余イメージを用いて前記結合された元解像度の残余イメージから元解像度の高周波残余イメージを生成するステップと、
前記元解像度の動きベクトルを用いて元解像度の逆動き補償過程においてできる参照フレームと前記復元された低解像度のイメージを用いて元解像度の残余イメージを生成するステップと、
前記元解像度の動きベクトルを用いて前記元解像度の残余イメージを逆動き補償し、元解像度のイメージを復元するステップとを含むことを特徴とする請求項１４に記載のスケーラブルビデオデコーディング方法。
【請求項１７】
ビットストリームからコーディングされたイメージ情報を抽出し、前記コーディングされたイメージ情報を分離および逆量子化して元解像度の高周波変換イメージと前記元解像度の高周波変換イメージの各々に対応する低解像度の変換イメージを生成するステップと、
前記元解像度の高周波変換イメージおよび低解像度の変換イメージを逆ウェーブレット変換して元解像度の高周波残余イメージおよび低解像度の残余イメージを生成するステップと、
前記ビットストリームから得た低解像度の動きベクトルを用いて前記低解像度の残余イメージを逆動き補償して低解像度のイメージを復元し、前記復元された低解像度のイメージを用いて前記元解像度の高周波残余イメージから元解像度の残余イメージを生成し、前記ビットストリームから得た元解像度の動きベクトルを用いて前記元解像度の残余イメージを逆動き補償して元解像度のイメージを復元するステップとを含むスケーラブルビデオデコーディング方法。
【請求項１８】
入力されたビットストリームを解釈してコーディングされたイメージ情報と、元解像度および低解像度の動きベクトルを抽出するビットストリーム解釈部と、
前記コーディングされたイメージ情報を分離および逆量子化して結合された元解像度の変換イメージと前記結合された元解像度の変換イメージの各々に対応する低解像度の変換イメージを生成する逆量子化部と、
前記結合された元解像度の変換イメージおよび低解像度の変換イメージを逆ウェーブレット変換して結合された元解像度の残余イメージおよび低解像度の残余イメージを生成する逆空間的重複除去部と、
前記ビットストリームから得た低解像度の動きベクトルを用いて前記低解像度の残余イメージを逆動き補償して低解像度のイメージを復元し、前記復元された低解像度のイメージと前記ビットストリームから得た元解像度の動きベクトルを用いて前記結合された元解像度の残余イメージから元解像度のイメージを復元する逆時間的重複除去部とを含むスケーラブルビデオデコーダ。
【請求項１９】
前記逆時間的重複除去部は、
前記低解像度または元解像度の動きベクトルを用いて前記低解像度の残余イメージおよび前記元解像度の残余イメージの各々を逆動き補償する１つまたは複数の逆動き補償部と、
イメージの解像度を高めるための１つまたは複数の逆低域通過フィルタリング部と、
イメージの解像度を低くするための１つまたは複数の低域通過フィルタリング部とを含み、
前記低解像度の残余イメージは低解像度のイメージに復元され、前記結合された元解像度の残余イメージは逆低域通過フィルタリングを経た前記低解像度の残余イメージと比較されて元解像度の高周波残余イメージになり、前記復元された低解像度のイメージは元解像度の逆動き補償過程を介して生成される参照フレームを低域通過フィルタリングした低域通過フィルタリングされた元解像度の参照フレームと比較され、比較された結果は前記元解像度の高周波残余イメージと結合されて元解像度の残余イメージになり、前記元解像度の残余イメージは逆動き補償過程を介して元解像度のイメージに復元されることを特徴とする請求項１８に記載のスケーラブルビデオデコーダ。
【請求項２０】
入力されたビットストリームを解釈してコーディングされたイメージ情報と、元解像度および低解像度の動きベクトルを抽出するビットストリーム解釈部と、
前記コーディングされたイメージ情報を分離および逆量子化して元解像度の高周波変換イメージと前記元解像度の高周波変換イメージの各々に対応する低解像度の変換イメージを生成する逆量子化部と、
前記元解像度の高周波変換イメージおよび低解像度の変換イメージを逆ウェーブレット変換して元解像度の高周波残余イメージおよび低解像度の残余イメージを生成する逆空間的重複除去部と、
前記低解像度の動きベクトルを用いて前記低解像度の残余イメージを逆動き補償して低解像度のイメージを復元し、前記復元された低解像度の残余イメージを用いて前記元解像度の高周波残余イメージから元解像度の残余イメージを生成し、前記元解像度の動きベクトルを用いて前記元解像度の残余イメージを逆動き補償し、元解像度のイメージを復元する逆時間的重複除去部とを含むスケーラブルビデオデコーダ。
【請求項２１】
スケーラブルビデオコーディング方法を実行するためにコンピュータによって読み取ることができるプログラムが記録された記録媒体として、前記方法は、
ビデオシーケンスを構成する各々の元解像度のイメージを低域通過フィルタリングして前記元解像度のイメージの各々に対応する低解像度のイメージを生成し、前記元解像度のイメージおよび低解像度のイメージの時間的重複を除去して元解像度および低解像度の残余イメージを生成するステップと、
前記元解像度および低解像度の残余イメージをウェーブレット変換して元解像度および低解像度の変換イメージを生成して前記各々の低解像度の変換イメージを対応する元解像度の変換イメージに結合されて、結合された元解像度の変換イメージを生成するステップと、
前記結合された元解像度の変換イメージを量子化して、コーディングされたイメージ情報を生成し、前記元解像度および低解像度のイメージの時間的重複を除去する時に得られた動きベクトルと前記コーディングされたイメージ情報とを含むビットストリームを生成するステップとを含む記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブルビデオコーディング方法とデコーディング方法、およびスケーラブルビデオエンコーダとデコーダに関するものである。
【背景技術】
【０００２】
文字、映像、オーディオを含むマルチメディアデータは、その膨大な容量によってこれを伝送するためには圧縮することが必須である。
【０００３】
データを圧縮する基本的な原理は、データの重複を無くす事にある。イメージにおいて同一の色やオブジェクトが反復されるような空間的重複や、動画フレームにおいて隣接フレームがほとんど変化しない場合や、オーディオにおいて同じ音が繰り返されるような時間的重複、または人間の視覚および知覚の能力が高い周波数に鈍感であるこということ考慮した心理的な視覚重複を無くすことによってデータを圧縮することができる。データ圧縮の種類はソースデータの損失の有無と、各々のフレームに対して独立して圧縮するか否かと、圧縮と復元に必要な時間が同一か否かによって各々損失／無損失圧縮、フレーム内／フレーム間圧縮、対称／非対称圧縮に分けられる。この他にも圧縮復元遅延時間が５０ｍｓを越えない場合にはリアルタイム圧縮に分類し、フレームの解像度が多様な場合にはスケーラブル圧縮に分類する。文字データや医学用データなどの場合には無損失圧縮が用いられ、マルチメディアデータの場合には主に損失圧縮が用いられる。一方、空間的重複を除去するためにはフレーム内の圧縮が用いられ、時間的重複を除去するためにはフレーム間圧縮が用いられる。
【０００４】
ビデオ圧縮方法として、最近では柔軟なスケーラビリティを有するウェーブレット基盤のスケーラブルビデオコーディングに対する研究が活発である。スケーラブルビデオコーディングは、スケーラビリティを有するビデオコーディングを意味する。スケーラビリティとは、圧縮された１つのビットストリームから部分デコーディング、すなわち、多様なビデオを再生できる特性を意味する。スケーラビリティはビデオの解像度を調節できる性質を意味する空間的スケーラビリティと、ビデオの画質を調節できる性質を意味するＳＮＲ（信号対雑音比）スケーラビリティと、フレームレートを調節できる時間的スケーラビリティと、これら各々を組み合わせたものとを含む概念である。
【０００５】
ウェーブレット基盤のスケーラブルビデオコーディングに用いられている多くの技術の中で、Ｏｈｍによって提案され、ＣｈｏｉおよびＷｏｏｄによって改善された動き補償時間的フィルタリング（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｔｅｍｐｏｒａｌ  Ｆｉｌｔｅｒｉｎｇ；以下、ＭＣＴＦということ）は時間的重複性を除去して時間的に柔軟なスケーラブルビデオコーディングのための核心技術である。ＭＣＴＦ方式のスケーラブルビデオエンコーダに対しては図１によって説明する。
【０００６】
スケーラブルビデオエンコーダは、ビデオシーケンスを構成する複数のフレームを受け取りＧＯＰ単位で圧縮してビットストリームを生成する。このために、スケーラブルビデオエンコーダは複数のフレームの時間的重複を除去する時間的変換部１１０と空間的重複を除去する空間的変換部１２０と時間的および空間的重複が除去されて生成された変換係数を量子化する量子化部１３０と、量子化された変換係数とその他情報とを含みビットストリームを生成するビットストリーム生成部１４０とを含む。
【０００７】
時間的変換部１１０は、フレーム間の動きを補償して時間的フィルタリングをするために動き推定部１１２と時間的フィルタリング部１１４とを含む。動き推定部１２は、時間的フィルタリング過程が遂行中であるフレームの各ブロックとこれに対応する参照フレームの各ブロックとの動きベクトルを求める。動きベクトルに対する情報は時間的フィルタリング部１１４に提供され、時間的フィルタリング部１１４は動きベクトルに対する情報を用いて複数のフレームに対する時間的フィルタリングを行う。
【０００８】
時間的重複が除去されたフレーム、すなわち、時間的フィルタリングされたフレームは空間的変換部１２０を経て空間的重複が除去される。空間的変換部１２０は、空間的変換を用いて時間的フィルタリングされたフレームの空間的重複を除去するためにウェーブレット変換を用いる。ウェーブレット変換は、１つのフレームを４等分し、全体イメージとほぼ類似の１／４面積を有する縮小されたイメージ（Ｌサブバンド）を前記フレームの片方の四分面に代替し、残りの３つの四分面にはＬイメージを介して、全体イメージを復元することができるようにする情報（Ｈサブバンド）に変える。同じ方式によってＬサブバンドは、自身の１／４面積を有するＬＬサブバンドとＬイメージを復元するための情報によって代替できる。
【０００９】
時間的にフィルタリングされたフレームは、空間的変換を経て変換係数になるが、これは量子化部１３０に伝えられて量子化される。量子化部１３０は、実数型係数の変換係数を量子化して整数型変換係数に変える。量子化方式としてＭＣＴＦ方式のビデオエンコーダは、エンベデット量子化方式を用いる。スケーラブルビデオエンコーダは、エンベデット量子化方式を介して変換係数に対する量子化を行うことによって量子化によって必要な情報量を減らすことができ、エンベデット量子化によってＳＮＲスケーラビリティを得ることができる。現在知られているエンベデット量子化アルゴリズムは、ＥＺＷ、ＳＰＩＨＴ、ＥＺＢＣ、ＥＢＣＯＴなどがある。
【００１０】
ビットストリーム生成部１４０は、コーディングされたイメージ情報と動き推定部１１２から得た動きベクトルおよびその他必要な情報などを含んでビットストリームを生成する。
【００１１】
スケーラブルビデオコーディング方式には、フレームに対して先ず空間的変換（ウェーブレット変換）を行った後に時間的変換を行う方式、いわゆるインバンド方式がある。インバンド方式のスケーラブルビデオエンコーダは図２によって説明する。
【００１２】
インバンド方式のスケーラブルビデオエンコーダは、ビデオシーケンスを構成する複数のフレームに対する空間的重複を除去した後、時間的重複を除去する。
【００１３】
空間的変換部２１０は、各フレームに対してウェーブレット変換を行い、フレームの空間的重複を除去する。
【００１４】
時間的変換部２２０は、空間的重複に除去されたフレームをウェーブレット領域で時間的フィルタリングして時間的重複を除去する。これのために時間的変換部２２０は、動き推定部２２２と時間的フィルタリング部２２４とを含む。
【００１５】
フレームに対する空間的および時間的重複を除去して得た変換係数は、量子化部２３０を経て量子化される。量子化を経てコーディングされたイメージと動きベクトルは、ビットストリーム生成部２４０を介してビットストリーム化される。
【００１６】
図３は、スケーラブルコーディングアルゴリズムで時間的スケーラビリティを保持しながら、時間的重複を除去するために用いられるＭＣＴＦ過程を示す図面である。
【００１７】
図２において、Ｌフレームは低周波あるいは平均フレームを意味し、Ｈフレームは高周波あるいは差フレームを意味する。図に示すようにコーディングは低い時間的レベルにあるフレームの対を先ず時間的フィルタリングをして、低いレベルのフレームを高いレベルのＬフレームとＨフレームに切り替え、切り替えられたＬフレーム対を再び時間的フィルタリングして高い時間的レベルのフレームに切り替える。
【００１８】
エンコーダは、最も高い時間的レベルの１つのＬフレームと複数のＨフレームとを用いてウェーブレット変換を経てビットストリームを生成する。図面において濃色で表示されたフレームはウェーブレット変換の対象になるフレームを意味する。整理すれば、コーディングする順序は低いレベルのフレームから高いレベルのフレームである。
【００１９】
デコーダは、ウェーブレット逆変換を経た後に得られた濃色のフレームを高いレベルから低いレベルのフレームの順で演算してフレームを復元する。すなわち、時間的レベル３のＬフレームとＨフレームとを用いて時間的レベル２のＬフレーム２個を復元し、時間的レベルのＬフレーム２個とＨフレーム２個とを用いて時間的レベル１のＬフレーム４個を復元する。最終的に時間的レベル１のＬフレーム４個とＨフレーム４個とを用いてフレーム８個を復元する。本来のＭＣＴＦ方式のビデオコーディングは、柔軟な時間的スケーラビリティを有するが、単方向動き推定と低い時間的レートにおける悪い性能などのいくつかの短所を有していた。これに対する改善方法に対する多くの研究が成されたが、その１つが２００３年１２月本発明の共同発明者（ＷＯＯ−ＪＩＮ  ＨＡＮ）によりＩＳＯ／ＩＥＣ  ＪＴＣ  １／ＳＣ  ２９／ＷＧ  １１で発表したＳｕｃｃｅｓｓｉｖｅ  Ｔｅｍｐｏｒａｌ  Ａｐｐｒｏｘｉｍａｔｉｏｎ  ａｎｄ  Ｒｅｆｅｒｅｎｃｉｎｇ  （ＳＴＡＲ）  ｆｏｒ  ｉｍｐｒｏｖｉｎｇ  ＭＣＴＦ  ｉｎ  Ｌｏｗ  Ｅｎｄ−ｔｏ−ｅｎｄ  Ｄｅｌａｙ  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇという論文に開示される。ＳＴＡＲアルゴリズムに対しては、図４を参照して説明する。
【００２０】
図４は、ＳＴＡＲアルゴリズムで時間フィルタリング過程を説明するための図面である。図４でフレームの内部に表示された文字Ｉはフレームがイントラコーディングされたこと（他のフレームを参照しない）を表示し、文字Ｈは該当フレームが高周波サブバンドであることを表示する。高周波サブバンドは１つまたはそれ以上のフレームを参照してコーディングされるフレームを意味する。
【００２１】
ＳＴＡＲアルゴリズムは、ＭＣＴＦアルゴリズムと同様にデコーディング側で時間スケーラビリティを有するように時間重複を除去することができるようにする。しかし、ＳＴＡＲアルゴリズムは、ＭＣＴＦアルゴリズムとは異なり、コーディング順序とデコーディング順序とは、何れも時間的レベルが高いフレームから始めて時間的レベルが低いフレームで終了する。すなわち、図４を参照すれば、０、４、２、６、１、３、５、７番の順でコーディングし、デコーディングはコーディングの順序と同様に０、４、２、６、１、３、５、７番の順でデコーディングする。一方、図に示すように、ＳＴＡＲはＭＣＴＦとは異なり、多重参照機能を有する。多重参照機能を用いながら、エンコーディング側とデコーディング側の何れも時間的スケーラビリティを保持するための条件は次の通りである。
【００２２】
Ｒｋ＝｛Ｆ（ｌ）｜（Ｔ（ｌ）＞Ｔ（ｋ））ｏｒ（（Ｔ（ｌ）＝Ｔ（ｋ））ａｎｄ（ｌ＜＝ｋ））｝                                （１）
ここで、Ｆ（ｋ）はフレームインデックスがｋであるフレームを意味し、Ｔ（ｋ）はフレームインデックスがｋであるフレームの時間的レベルを意味する。Ｋは現在コーディング中であるフレームのインデックスを意味し、ｌは参照されるフレームのインデックスを意味する。
【００２３】
図４を参照すれば、フレームは自身を参照してコーディングすることもできる。これは特に速い変化があるビデオシーケンスで有用である。
【００２４】
このようなＳＴＡＲアルゴリズムを用いたエンコーディングとデコーディング過程を整理すれば次の通りである。
エンコーディング過程
１．ＧＯＰの最初のフレームをＩフレームにエンコーディングする。
２．その後、次の時間的レベルのフレームに対して動き推定をし、一般
（１）にともなう参照フレームを参照してコーディングする。同じ時間的レベルを有する場合には左側から右側に（低いフレームインデックスのフレームから高いフレームインデックスのフレームの順で）コーディング過程を行う。
３．ＧＯＰのすべてのフレームをコーディングし終わるまで２の過程を行ってから、すべてのフレームに対するコーディングが終るまでその次のＧＯＰをコーディングする。
デコーディング過程
１．ＧＯＰの最初のフレームをデコーディングする。
２．次に、時間的レベルのフレームを予めデコーディングされたフレームのうち、適当なフレームを参照してデコーディングする。同じ時間的レベルを有する場合には左側から右側に（低いフレームインデックスのフレームから高いフレームインデックスのフレームの順に）デコーディング過程を行う。
３．ＧＯＰのすべてのフレームをデコーディングし終わるまで２の過程を行ってから、すべてのフレームに対するデコーディングが終るまでその次のＧＯＰをデコーディングする。
【００２５】
ＭＣＴＦとＳＴＡＲアルゴリズムは、何れも時間的重複を除去してウェーブレット変換を経て空間的重複を除去する。時間的重複を除去するためには動き補償を用いる。動き補償を用いた時間的重複数の除去に対しては図５を参照して説明する。
【００２６】
図５は、空間的スケーラビリティを支援するためのウェーブレット基盤のビデオコーディングを説明するための図面である。
【００２７】
ウェーブレット基盤のビデオコーディングは、時間的重複を除去するために元のイメージを１つまたはそれ以上の基準になるイメージを用いて構成した参照イメージと比較し、残余イメージを生成した後に生成された残余イメージをウェーブレット変換および量子化してコーディングされたイメージを生成する。図５のように３つの空間的レイヤを支援するウェーブレット基盤のビデオエンコーダは、１つのフレームに対して３つのレイヤのコーディングされたイメージと３つのレイヤの参照イメージとを構成するための情報（動きベクトル）を含んでビットストリームを生成する。
【００２８】
これをより詳しく説明すれば、エンコーダはＬ１の元のイメージＯ１をダウンサンプリングしてＬ２の元のイメージＯ２を作る。同様に、エンコーダはＬ２の元のイメージをダウンサンプリングしてＬ３の元のイメージＯ３を作る。エンコーダは、Ｌ１の参照イメージＲ１を元のイメージＯ１を時間的フィルタリングするための基準となる１つまたはそれ以上のイメージを用いて作る。同じ方法によって、エンコーダは、Ｌ２およびＬ３の参照イメージＲ２、Ｒ３を元のイメージＯ２、Ｏ３を時間的フィルタリングするための基準となる１つまたはそれ以上のイメージを用いて作る。エンコーダは、参照イメージＲ１、Ｒ２、Ｒ３を主に元のイメージＯ１、Ｏ２、Ｏ３と時間的差異のある、基準になるイメージとの動きを、推定によって生成する。エンコーダは、元のイメージＯ１、Ｏ２、Ｏ３を参照イメージＲ１、Ｒ２、Ｒ３との差異によって残余イメージＥ１、Ｅ２、Ｅ３を作る。エンコーダは、残余イメージＥ１、Ｅ２、Ｅ３を空間変換および量子化して、各レイヤのコーディングされたイメージを作る。各レイヤのコーディングされたイメージと参照イメージとを構成するための動き推定値に対する情報（動きベクトル）は、共にビットストリームを構成する。
【００２９】
デコーダは、ビットストリームを受け取り、所望する解像度のイメージで構成されたビデオシーケンスを復元することができる。すなわち、デコーダはビットストリームを加工したり、加工されたビットストリームを受けてＬ１、Ｌ２、Ｌ３のうち所望する解像度に該当するイメージを復元することができる。しかし、このような方式によってエンコーダは３つのレイヤに対する各々のコーディングされたイメージ情報と動き推定値に対する情報を全て含んでビットストリームを生成する。すなわち、このような方式によってエンコーダは類似のイメージに対して非常に重複した情報を含んでビットストリームを生成するため、ビデオコーディングの効率が低下する。
【００３０】
ビデオコーディングの効率を上げるため、他の方式のビデオエンコーダは、ウェーブレットビデオコーディングでは基本的に高解像度を有するイメージに低解像度のイメージに対する情報を含んでいるという事実に基づき、最も高い解像度を有する参照イメージＲ１を構成するための情報と最も高い解像度のコーディングされたイメージによってビットストリームを生成する。しかし、実際に各レイヤにおける参照イメージＲ１、Ｒ２、Ｒ３を構成するための動きベクトル値は、類似するが同一ではない。したがって、このような方式でエンコーダは最も高い解像度に対する動きベクトルを用いて低い解像度のイメージに対する動きを推定するため、最適化された動き推定値を用いる場合に比較して残余イメージ（Ｅ２またはＥ３）の画質低下を招く。
【００３１】
特に、最も低い解像度の残余イメージＥ３の場合の画質低下は深刻であるが、エンコーディング過程で画質を改善するために多くのビットを割り当てればこれもまた圧縮効率の低下をもたらす。
【００３２】
一方、図２のようにインバンド方式を用いるスケーラブルビデオエンコーダは、ウェーブレット変換を経たイメージに対して動き推定および時間的フィルタリングをしてコーディングするため、低解像度のイメージに対して画質に優れた長所を有する。しかし、インバンド方式では、ウェーブレット領域で時間的フィルタリングをしなければならないため、デコーディング側で復元されるイメージの画質は、前記説明した方式に比べて落ちるという問題点を有する。
【００３３】
このような問題点を解決するための多様な方法が試みられているが、その１つは、ＮＥＣ株式会社によって２００３年７月ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１において発表された、Ｍｕｌｔｉ−Ｒｅｓｏｌｕｔｉｏｎ  ＭＣＴＦ  ｆｏｒ  ３Ｄ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ  ｉｎ  Ｈｉｇｈｌｙ  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏという題名の論文である。同論文では、エンコーディング側では低い解像度のイメージが高い解像度の低周波サブバンドの代わりに使用される。このようにすることによって、最も高い解像度のコーディングされたイメージ１つに、高い解像度から低い解像度までの情報を効果的に入れることができる。一方、動き推定値は最も高い解像度の参照イメージを構成するための動きベクトルのみビットストリームに入れる。デコーディング側ではドリフトエラー補償フィルタを用いる。しかし、このようなアルゴリズムを用いる場合に、低い解像度のコーディングされたイメージを高い解像度のコーディングされたイメージに挿入して、低い解像度の情報をある程度高い解像度のコーディングされたイメージに含ませることはあったが、動き推定値は高い解像度のものだけ用いて、考えたよりも高い性能を示すことはない。
【００３４】
したがって、情報の重複性はできるだけ減らしながらも、各解像度において均一に良い画質を有するようにするビデオコーディングアルゴリズムが必要である。
【発明の開示】
【発明が解決しようとする課題】
【００３５】
本発明は詳述した必要性によって案出されたものであり、本発明は解像度ごとにコーディングされたイメージの重複性を減らしながら、各々の解像度で良い画質を有するビデオコーディング方法およびそのための装置を提供することをその技術的課題とする。
【００３６】
前記目的を達成するために、本発明に係るスケーラブルビデオコーディング方法は、ビデオシーケンスを構成する各々の元解像度のイメージを低域通過フィルタリングして前記元解像度のイメージの各々に対応する低解像度のイメージを生成し、前記元解像度のイメージおよび低解像度のイメージの時間的重複を除去して元解像度および低解像度の残余イメージを生成する（ａ）ステップと、前記元解像度および低解像度の残余イメージをウェーブレット変換して元解像度および低解像度の変換イメージを生成し、前記各々の低解像度の変換イメージを対応する元解像度の変換イメージに結合して、結合された元解像度の変換イメージを生成する（ｂ）ステップと、前記結合された元解像度の変換イメージを量子化してコーディングされたイメージ情報を生成し、前記元解像度および低解像度のイメージの時間的重複を除去する時に得られた動きベクトルと前記コーディングされたイメージ情報とを含むビットストリームとを生成する（ｃ）ステップとを含む。前記（ａ）ステップにおいて低域通過フィルタリングは、ウェーブレット９−７フィルタによるダウンサンプリングを用いる。
【００３７】
前記生成される低解像度のイメージは、前記各々の元解像度のイメージを低域通過フィルタリングして得た第１低解像度のイメージと、前記各々の第１低解像度のイメージを低域通過フィルタリングして得た第２低解像度のイメージとを含み、前記元解像度、第１、第２低解像度のイメージは、時間的重複が除去された後に元解像度、第１、第２低解像度の変換イメージとなり、前記第１、第２低解像度の変換イメージは結合されて、結合された第１低解像度の変換イメージとなり、前記元解像度の変換イメージと前記結合された第１低解像度の変換イメージは結合されて、結合された元解像度の変換イメージになることを特徴とする。
【００３８】
前記（ａ）ステップで、前記時間的重複除去過程は解像度別に進められ、１つの解像度において時間的重複除去過程は前記解像度に１つまたは複数のコーディングされたイメージの元のイメージを参照して各イメージの時間的重複を除去するのに用いる動きベクトルを探す動き推定ステップと、前記動き推定によって得られた動きベクトルを用いた動き補償を介して前記各イメージの時間的重複を除去して残余イメージを生成するステップとを含む。前記参照されるコーディングされたイメージの元のイメージは、前記コーディングされたイメージをデコーディングして得たイメージであり得る。前記各残余イメージに対する時間的重複を除去する時、各残余イメージ自身を参照するステップをさらに含むことができる。
【００３９】
前記目的を達成するために、本発明に係るスケーラブルビデオエンコーダは、元解像度のイメージと前記元解像度のイメージの各々に対応する低解像度のイメージの時間的重複を除去して元解像度および低解像度の残余イメージを生成する時間的重複除去部と、前記元解像度および低解像度の残余イメージをウェーブレット変換して元解像度および低解像度の変換イメージを生成し、前記各々の低解像度の変換イメージを対応する元解像度の変換イメージに結合されて、結合された元解像度の変換イメージを生成する空間的重複除去部と、前記結合された元解像度の変換イメージを量子化してコーディングされたイメージ情報を生成する量子化部と、前記コーディングされたイメージ情報と前記元解像度および低解像度のイメージの時間的重複を除去する過程で得られた動きベクトルを含むビットストリームを生成するビットストリーム生成部とを含む。
【００４０】
イメージに対する低域通過フィルタリングをする１つまたは複数の低域通過フィルタをさらに含み、前記低解像度のイメージは前記元解像度のイメージを低域通過フィルタリングして得られる。
【００４１】
前記低解像度のイメージは、前記各々の元解像度のイメージを低域通過フィルタリングして得た第１低解像度のイメージと前記各々の第１低解像度のイメージを低域通過フィルタリングして得た第２低解像度のイメージとを含み、前記元解像度、第１、第２低解像度のイメージは前記空間的重複除去部によって時間的重複が除去された後に元解像度、第１、第２低解像度の変換イメージになり、前記第１、第２低解像度の変換イメージは前記空間的重複除去部によって結合されて、結合された第１低解像度の変換イメージになり、前記元解像度の変換イメージと前記結合された第１低解像度の変換イメージは前記空間的重複除去部によって結合されて、結合された元解像度の変換イメージになることを特徴とする。
【００４２】
前記時間的重複除去部は、解像度別にイメージの重複を除去するが、このために、１つまたは複数のコーディングされたイメージの元のイメージを参照して各イメージの時間的重複を除去するのに用いる動きベクトルを探す１つまたは複数の動き推定部と、前記動き推定によって見つけられた動きベクトルを用いて前記各イメージに対する動き補償をして残余イメージを生成する１つまたは複数の動き補償部とを含む。前記コーディングされたイメージをデコーディングして元のイメージは得るためのデコーディング部をさらに含み、前記参照されるコーディングされたイメージの元のイメージは、前記デコーディング部を介して前記コーディングされたイメージをデコーディングして得たイメージであり得る。また、前記時間的重複除去部は、前記各イメージ自身を参照して前記各イメージに対する時間的重複を除去する１つまたは複数のイントラ予測部をさらに含むことができる。
【００４３】
前記空間的重複除去部は、前記元解像度および低解像度の残余イメージをウェーブレット変換して元解像度および低解像度の変換イメージを生成する１つまたは複数のウェーブレット変換部と、前記各々の低解像度の変換イメージを対応する元解像度の変換イメージに結合されて、結合された元解像度の変換イメージを生成する変換イメージ結合部とを含む。
【００４４】
前記目的を達成するために、本発明に係るスケーラブルビデオデコーディング方法は、ビットストリームからコーディングされたイメージ情報を抽出して前記コーディングされたイメージ情報を分離および逆量子化して結合された元解像度の変換イメージと前記結合された元解像度の変換イメージの各々に対応する低解像度の変換イメージとを生成する（ａ）ステップと、前記結合された元解像度の変換イメージおよび低解像度の変換イメージを逆ウェーブレット変換して結合された元解像度の残余イメージおよび低解像度の残余イメージを生成する（ｂ）ステップと、前記ビットストリームから得た低解像度の動きベクトルを用いて前記低解像度の残余イメージを逆動き補償して低解像度のイメージを復元し、前記低解像度のイメージと前記ビットストリームから得た元解像度の動きベクトルを用いて前記結合された元解像度の残余イメージから元解像度のイメージを復元する（ｃ）ステップとを含む。
【００４５】
前記生成される低解像度の変換イメージは、結合された第１低解像度の変換イメージと前記結合された第１低解像度の変換イメージの各々に対応する第２低解像度の変換イメージとを含み、前記結合された第１低解像度の変換イメージおよび第２低解像度の変換イメージは逆ウェーブレット変換して結合された元解像度の残余イメージおよび低解像度の残余イメージになり、前記ビットストリームから得た第２低解像度の動きベクトルを用いて前記第２低解像度の残余イメージを逆動き補償して第２低解像度のイメージを復元し、前記第２低解像度のイメージと前記ビットストリームから得た第１低解像度の動きベクトルを用いて前記結合された第１低解像度の残余イメージから第１低解像度のイメージを復元することを特徴とする。
【００４６】
前記（ｃ）ステップは、前記低解像度の動きベクトルを用いて前記低解像度の残余イメージを逆動き補償して低解像度のイメージを復元する（ｃ１）ステップと、前記低解像度の残余イメージを用いて前記結合された元解像度の残余イメージから元解像度の高周波残余イメージを生成する（ｃ２）ステップと、前記元解像度の動きベクトルを用いて元解像度の逆動き補償過程で生じる参照フレームと前記復元された低解像度のイメージとを用いて元解像度の残余イメージを生成する（ｃ３）ステップと、前記元解像度の動きベクトルを用いて前記元解像度の残余イメージを逆動き補償して元解像度のイメージを復元する（ｃ４）ステップとを含む。
【００４７】
前記目的を達成するために、本発明に係るスケーラブルビデオデコーディング方法は、ビットストリームからコーディングされたイメージ情報を抽出して、前記コーディングされたイメージ情報を分離および逆量子化して元解像度の高周波変換イメージと前記元解像度の高周波変換イメージの各々に対応する低解像度の変換イメージとを生成する（ａ）ステップと、前記元解像度の高周波変換イメージおよび低解像度の変換イメージを逆ウェーブレット変換して元解像度の高周波残余イメージおよび低解像度の残余イメージを生成する（ｂ）ステップと、前記ビットストリームから得た低解像度の動きベクトルを用いて前記低解像度の残余イメージを逆動き補償して低解像度のイメージを復元し、前記復元された低解像度のイメージを用いて前記元解像度の高周波残余イメージから元解像度の残余イメージを生成し、前記ビットストリームから得た元解像度の動きベクトルを用いて前記元解像度の残余イメージを逆動き補償して元解像度のイメージを復元する（ｃ）ステップとを含むこともできる。
【００４８】
前記目的を達成するために、本発明に係るスケーラブルビデオデコーダは、入力されたビットストリームを解釈してコーディングされたイメージ情報と元解像度および低解像度の動きベクトルを抽出するビットストリーム解釈部と、前記コーディングされたイメージ情報を分離および逆量子化して結合された元解像度の変換イメージと前記結合された元解像度の変換イメージの各々に対応する低解像度の変換イメージを生成する逆量子化部と、前記結合された元解像度の変換イメージおよび低解像度の変換イメージを逆ウェーブレット変換して結合された元解像度の残余イメージおよび低解像度の残余イメージを生成する逆空間的重複除去部と、前記ビットストリームから得た低解像度の動きベクトルを用いて前記低解像度の残余イメージを逆動き補償して低解像度のイメージを復元し、前記復元された低解像度のイメージと前記ビットストリームから得た元解像度の動きベクトルを用いて前記結合された元解像度の残余イメージから元解像度のイメージを復元する逆時間的重複除去部とを含む。
【００４９】
前記逆時間的重複除去部は、前記低解像度または元解像度の動きベクトルを用いて各残余イメージを逆動き補償する１つまたは複数の逆動き補償部と、イメージの解像度を高めるための１つまたは複数の逆低域通過フィルタリング部と、イメージの解像度を低くするための１つまたは複数の低域通過フィルタリング部とを含み、前記低解像度の残余イメージは低解像度のイメージに復元され、前記結合された元解像度の残余イメージは逆低域通過フィルタリングを経た前記低解像度の残余イメージと比較されて元解像度の高周波残余イメージになり、前記復元された低解像度のイメージは元解像度の逆動き補償過程を介して生成される参照フレームを低域通過フィルタリングした低域通過フィルタリングされた元解像度の参照フレームと比較され、比較された結果は前記元解像度の高周波残余イメージと結合されて元解像度の残余イメージになり、前記元解像度の残余イメージは逆動き補償過程を介して元解像度のイメージに復元される。
【００５０】
前記目的を達成するために、本発明に係るスケーラブルビデオデコーダは、入力されたビットストリームを解釈してコーディングされたイメージ情報と、元解像度および低解像度の動きベクトルを抽出するビットストリーム解釈部と、前記コーディングされたイメージ情報を分離および逆量子化して、元解像度の高周波変換イメージと前記元解像度の高周波変換イメージの各々に対応する低解像度の変換イメージを生成する逆量子化部と、前記元解像度の高周波変換イメージおよび低解像度の変換イメージを逆ウェーブレット変換して、元解像度の高周波残余イメージおよび低解像度の残余イメージを生成する逆空間的重複除去部と、前記低解像度の動きベクトルを用いて前記低解像度の残余イメージを逆動き補償して低解像度のイメージを復元し、前記復元された低解像度の残余イメージを用いて前記元解像度の高周波残余イメージか元解像度の残余イメージを生成し、前記元解像度の動きベクトルを用いて前記元解像度の残余イメージを逆動き補償して元解像度のイメージを復元する逆時間的重複除去部とを含むことができる。
【発明の効果】
【００５１】
本発明によれば、スケーラブルビデオコーディングにおいて各解像度のイメージの画質を最大限に保障しながらも、解像度別イメージを結合することができる。
【００５２】
したがって、本発明によれば空間的スケーラビリティの長所を十分に生かしながらも効率的なビデオコーディングが可能である。
【発明を実施するための最良の形態】
【００５３】
以下、添付された図面を参照して、本発明の好ましい実施形態について詳細に説明する。以下の実施形態において１つのビットストリームから３つの解像度を有するビデオコーディングを行う場合を例示的に説明するが、本発明の技術的思想はこれに限定されない。便宜上レイヤ１は、最高解像度を有するイメージのコーディングおよびデコーディングに関し、レイヤ２は中間解像度を有するイメージのコーディングおよびデコーディングに関するものであって、レイヤ３は最低解像度を有するイメージのコーディングおよびデコーディングに関するものとする。一方、以下の実施形態では、コーディングされる１つのフレーム（イメージ）を中心として前記イメージのコーディングおよびデコーディング過程を説明する。
【００５４】
図６は、本発明の実施形態に係わるスケーラブルビデオエンコーダの構成を簡略化して示す機能性ブロック図である。
【００５５】
スケーラブルビデオエンコーダは、レイヤ１の元解像度のイメージＯ１からレイヤ２のイメージを抽出する低域通過フィルタ４０２２とレ次に２の元のイメージからレイヤ３の元のイメージを抽出する低域通過フィルタ４０３を用いて、低解像度のイメージＯ２、Ｏ３を得る。本実施形態において、低域通過フィルタリング方式はダウンサンプリングを使い、ダウンサンプリングはウェーブレット９−７フィルタを用いる。
【００５６】
各解像度のイメージＯ１〜Ｏ３は、時間的重複除去部を介して各解像度の残余イメージＥ１〜Ｅ３になる。各解像度別時間的重複を除去する時間的重複除去部のＳ１（４１０）、Ｓ２（４２０）、およびＳ３（４３０）は、すべて同一の構造を有し、この中１つのＳ１（４１０）のより詳しい構造については、図７を参照して後述する。
【００５７】
各解像度の残余イメージＥ１〜Ｅ３は、空間的重複除去部４４０を介して空間的重複が除去されて結合され、１つの結合された変換イメージＷ１となる。空間的重複除去部４４０のより詳しい構造については、図９を参照して後述する。
結合された変換イメージＷ１は、量子化部４５０を介してＳ量子化され、コーディングされたイメージＱ１となる。入力された各々のイメージをコーディングして得たコーディングされたイメージは、時間的重複を除去する過程から得た各解像度別動きベクトルＭＶ１、ＭＶ２、ＭＶ３と共にビットストリーム生成部４５５を介してビットストリームになる。ビットストリームは前記コーディングされたイメージに関する情報（コーディングされたイメージ情報）と動きベクトルを含みながら、その他必要なヘザー情報を含む。
【００５８】
一方、従来のＭＣＴＦ基盤のスケーラブルビデオコーディングと同じように時間的重複を除去する過程でフレームを更新し、低周波サブバンド（Ｌフレーム）を作る場合には時間的重複除去において参照されるイメージは、ビデオシーケンスを構成する元のイメージである。しかしＵＭＣＴＦ基盤のスケーラブルビデオコーディングやＳＴＡＲ基盤のスケーラブルビデオコーディングでは、イメージに対する時間的重複を除去する時に低周波サブバンドのＡまたはＩフレームを更新しない。このような継承的構造のコーディングアルゴリズムでは、時間的重複を除去する時に参照されるイメージは入力されたビデオシーケンスを構成する元のイメージであり得るが、予めコーディングされたイメージをデコーディングして得たイメージでもあり得る。特に、後者の場合はビデオエンコーダでコーディング過程とデコーディング過程とが１つのループを構成し、すべて行われるため閉ループ方式とする。
【００５９】
開ループ方式はエンコーディング側において時間的重複を除去する過程で元のイメージを参照するが、デコーディングにおいてで逆時間的重複を除去する過程ではデコーディングされたイメージを参照するため、いわゆるドリフトエラー現象が発生し得る。これに反して、閉ループ方式ではエンコーディング側とデコーディング側のすべての時間的重複を除去する過程でデコーディングされたイメージを参照するため、ドリフトエラー現象が発生しない。以下の説明で参照されるイメージは、コーディングされる前の元のイメージとなり得るが、既にコーディングされたイメージをデコーディングして得た、デコーディングされたイメージとなり得るという点を留意しなければならない。
【００６０】
図６を参照して閉ループ方式を説明する。
【００６１】
コーディングされたイメージＱ１は、逆量子化部４６０を介して分離および逆量子化され、各解像度の変換されたイメージＷ１〜Ｗ３となる。逆量子化部４６０に対するより詳しい構造は、図１１および図１５を参照して後述する。
【００６２】
各解像度の変換されたイメージＷ１〜Ｗ３は、逆空間的重複除去部４７０を経て各解像度の残余イメージＥ１〜Ｅ３となり、各解像度の残余イメージＥ１〜Ｅ３は逆時間的重複除去部４８０を介して各解像度のデコーディングされたイメージＤ１〜Ｄ３となる。デコーディングされたイメージＤ１〜Ｄ３は、バッファー４９０に保存され、他のイメージの時間的重複を除去する時に参照イメージとして提供される。逆時間的重複除去部４８０に対するより詳しい構造については、図１２および図１６を参照して後述する。
【００６３】
スケーラブルビデオコーディングにおけるビデオコーディングは、時間的スケーラビリティのためにＧＯＰ単位で行われる。従来のＭＣＴＦ方式の場合にＧＯＰを構成するすべてのイメージに対して動き補償時間的フィルタリングを行い、その結果によって１つの低周波サブバンド（Ｌイメージ）と複数の高周波サブバンド（Ｈイメージ）とを得る。一方、ＵＭＣＴＦまたはＳＴＡＲの場合には、ＧＯＰを構成するイメージ中の１つのイメージに対しては動き補償時間的フィルタリングを行わずにＡまたはＩイメージにコーディングして、残りのイメージに対して１つまたは複数のイメージを参照し、動き補償をして残余イメージを得る。時間的重複を除去する過程はイメージを構成する所定の大きさを有するブロック単位に進められる。
【００６４】
図７は、図６のＳ１の例をより詳しく示すブロック図である。
【００６５】
動き推定部５１２は、入力されたイメージＯ１と多重イメージ参照部５１１に保存されている１つまたは複数のイメージを参照して動き推定をする。動き推定によって得た動きベクトルは、動き補償部５１３に提供される。動き補償部５１３は、入力されたイメージＯ１と１つまたは複数の参照されたイメージとを用いて参照フレームＲ１を構成する。入力されたイメージＯ１は、動き補償を介して得られた参照フレームＲ１と比較部５１５で比較され、残余イメージＥ１となる。一方、入力されたイメージＯ１から残余イメージＥ１を得る時に用いられる参照フレームＲ１を構成するすべてのブロックは、動き補償部５１３を通したインター予測によって得られたブロックであり得るが、参照フレームＲ１を構成するブロック中一部または全部はイントラ予測部５１４を介して入力されたイメージＯ１自身を参照してイントラ予測されたブロックでもあり得る。残余イメージＥ１を生成するための多様な予測モードに対しては図８を参照して説明する。
【００６６】
図８は、本発明の実施形態に係わる参照映像生成のための選択できる多様なモードを示す図面である。
【００６７】
本発明に係るスケーラブルビデオエンコーダは、従来のＭＣＴＦ方式を採用したエンコーダと共に順方向予測だけを用いることもできるが、ＵＭＣＴＦまたはＳＴＡＲ方式を採用したエンコーダと共に逆方向および両方向予測を用いることもできる。また、順方向、逆方向、および両方向予測と同じインター予測以外にもＳＴＡＲ方式と同じようにイントラ予測を用いることもできる。
【００６８】
先ず、インター予測モード決定について詳しく見る。
【００６９】
本発明では複数のイメージ参照を許すため、順方向、逆方向、および両方向予測を容易に実現することができる。インター予測は、周知のＨＶＢＳＭアルゴリズムを用いることもできるが、本発明の実施形態では固定されたブロックサイズの動き推定を用いた。Ｅ（ｋ、−１）をｋ番目の順方向予測における絶対差異の計（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ；以下、ＳＡＤという）といい、Ｂ（ｋ、−１）を順方向予測の動きベクトルを量子化するのに割り当てられる総ビットとする。同じように、Ｅ（ｋ、＋１）をｋ番目の逆方向予測におけるＳＡＤといい、Ｂ（ｋ、＋１）を逆方向予測の動きベクトルを量子化するのに割り当てられる総ビットといい、Ｅ（ｋ、＊）をｋ番目の両方向予測でのＳＡＤといい、Ｂ（ｋ、＊）を両方向予測の動きベクトルを量子化するのに割り当てられる総ビットとすれば順方向、逆方向、および両方向の予測モードのためのコストは一般式（２）によって説明することができる。
【００７０】
【数１】
2007520150.tif 000003
ここで、Ｃｆ、ＣｂおよびＣｂｉは各々順方向、逆方向、両方向の予測モードのためのコストを意味する。
【００７１】
λは、ラグランジュ係数であるが、モーションとテクスチャ（イメージ）ビットの間のバランスを制御するのに用いられる。スケーラブルビデオエンコーダで最終ビットレートを知ることができないため、λは、目的アプリケーションで主に用いられるビデオシーケンスとビットレートの特性に対して最適化されなければならない。一般式（２）に定義された式によって、最小コストを計算することにより、最適化された予測モードを決定することができる。
【００７２】
次に、イントラ予測モードの決定について説明する。
【００７３】
いくつかのビデオでは、場面切り替えが非常に速く起きる。極端な場合、隣り合うフレームと全く時間的重複性を持たない１つのフレームを発見することもできる。このような問題を克服するために、本実施形態では標準ハイブリッされたコーダで用いられたイントラ予測モードの概念を導入した。一般に、開ループコーデックは予測ドリフトのために隣り合わせるブロック情報を用いることができない。反面、閉ループコーデックはイントラ予測モードを用いることができる。本実施形態では、イントラ予測モードのためにＤＣ予測を用いる。このモードにおいて、あるブロックは自身のＹ、Ｕ、およびＶコンポーネントのためのＤＣ値によってイントラ予測される。万一イントラ予測モードのコストが上記にて説明した最も良いインター予測モードでのコストより小さい場合であれば、イントラ予測モードを選択する。このような場合において、本来ピクセルとＤＣ値の差異をコーディングしながら、動きベクトルの代りに３つのＤＣ値の差異をコーディングする。イントラ予測モードのコストは一般式（３）によって定義することができる。
【００７４】
【数２】
2007520150.tif 000004
ここで、Ｅ（ｋ、０）は、ｋ番目のイントラ予測でのＳＡＤ（本来の輝度値とＤＣ値との差異のＳＡＤ）であり、Ｂ（ｋ、０）は３つのＤＣ値をコーディングするための総ビットである。
【００７５】
Ｃｉが一般式（２）によって計算された値より小さい場合であれば、イントラ予測モードによってコーディングする。
【００７６】
時間的重複に除去された各解像度の残余イメージＥ１〜Ｅ３は、空間的重複除去部４４０により空間的重複が除去される。これに対しては図９を参照して説明する。
【００７７】
図９は、本発明の実施形態に係わる空間的重複除去部をより詳しく示すブロック図である。
【００７８】
空間的重複除去部４４０は、各解像度の残余イメージＥ１〜Ｅ３をウェーブレット変換して、空間的重複を除去する第１ないし第３ウェーブレット変換部７４１〜７４３と前記第１ないし第３ウェーブレット変換部７４１〜７４３によりウェーブレット変換された各解像度の変換イメージＷＨ１、ＷＨ２、ＷＬ＋Ｈ３を結合され、結合された変換イメージＷＬ＋Ｈ１を生成する多重化部７４５を含む。空間的重複除去部４４０で結合された変換イメージを生成する過程は図１０を参照して説明する。
【００７９】
図１０は、元解像度の結合された変換イメージを生成する過程を説明するための図面である。
【００８０】
先ず、各解像度の残余イメージＥ１〜Ｅ３は、図に示すようにウェーブレット変換を経て変換イメージとなる。各変換イメージは、変換前イメージとほぼ類似の縮小されたイメージの低周波変換イメージＬと高周波変換イメージＨとを有する。変換されたイメージを得れば、先ずＬ３の変換イメージをＬ２の低周波変換イメージの代りに挿入してＬ２の結合された変換イメージを作る（Ｓ１）。その後、Ｌ２の結合された変換イメージをＬ１の低周波変換イメージの代りに挿入する（Ｓ２）。そうすれば、Ｌ１の結合された変換イメージ１つを得ることができる（Ｓ３）。もちろんＬ２の結合された変換イメージを生成するところに留まり、Ｌ１の変換イメージと共に量子化してビットストリームを生成することもできるが、このような場合には空間的重複性を有するＬ１の低周波変換イメージの部分をさらにコーディングしなければならないため、前者の場合よりも効率が悪くなる。
【００８１】
Ｌ１の結合された変換イメージは、量子化されてコーディングされたイメージとなり、ビデオシーケンスを構成する複数のイメージをコーディングしたコーディングされたイメージに対するコーディングされたイメージ情報は、ビットストリームに含まれる。
【００８２】
次にデコーダまたは閉ループ方式のエンコーダでコーディングされたイメージかデコーディングされたイメージを復元する過程について説明する。
【００８３】
先ず、第１実施形態によってコーディングされたイメージをデコーディングする過程は次の通りである。
１．先ず、Ｌ１のコーディングされたイメージＱ１からコーディングされた低周波イメージを分離してＬ１のコーディングされた高周波イメージＱＨ１とＬ２のコーディングされたイメージＱ２とを得て、Ｌ２のコーディングされたイメージＱ２を分離してＬ２のコーディングされた高周波イメージＱＨ２とＬ３のコーディングされたイメージＱ３とを得る。
２．先ず、Ｌ３のコーディングされたイメージＱ３＝ＱＬ＋Ｈ３からＬ３のデコーディングされたイメージＤ３を得る過程は一般式（４）によって説明することができる。
【００８４】
Ｄ３＝ＤＱ＿ＩＴ［ＱＬ＋Ｈ３］＋Ｒ３＝ＥＬ＋Ｈ３＋Ｒ３             （４）
ここで、ＤＱ＿ＩＴ［  ］は逆量子化および逆ウェーブレット変換関数を意味し、Ｒ３は１つまたは複数の以前にデコーディングされたイメージを参照して、動きを推定したＬ３の参照イメージを意味する。
３．そして、Ｌ２のデコーディングされたイメージＤ３を得るが、先ず、コーディング過程でＬ３の変換イメージＷ３によって置き換えられて消えたＬ２の低周波残余イメージＥＬ２を一般式（５）によって、復元する。
【００８５】
ＥＬ２＝Ｄ３−ＤＯＷＮ［Ｒ２］                        （５）
ここで、ＤＯＷＮ［  ］はダウンサンプリング関数を意味し、Ｒ２は１つまたは複数の以前にデコーディングされたイメージを参照し、動きを推定したＬ２の参照イメージを意味する。一般式（５）によって消えたＬ２の低周波残余イメージ（ＥＬ２）を復元できる理由は、ＤＯＷＮ［Ｄ２］−ＤＯＷＮ［Ｒ２］＝ＤＯＷＮ［Ｅ２］が成立し、ＤＯＷＮ［Ｄ２］はＤ３に該当して、ＤＯＷＮ［Ｅ２］はＥＬ２に該当するためである。
【００８６】
ＥＬ２を算出すれば、ＥＬ＋Ｈ２は一般式（６）によって算出される。
【００８７】
ＥＬ＋Ｈ２＝ＵＰ［ＥＬ２］＋ＥＨ２                           （６）
ここで、ＵＰ［  ］はアップサンプリング関数を意味し、ＥＬ＋Ｈ２はＬ２の残余イメージに値する。したがって、Ｌ２のデコーディングされたイメージＤ２は、一般式（７）によって算出することができる。
【００８８】
Ｄ２＝ＥＬ＋Ｈ２＋Ｒ２                                  （７）
４．同じ方式によってＬ１のデコーディングされたイメージＤ２を得ることができるが、具体的に一般式（８）〜一般式（１０）によって算出することができる。
【００８９】
ＥＬ１＝Ｄ２−ＤＯＷＮ［Ｒ１］                          （８）
一般式（８）によって消えたＬ１の低周波残余イメージＥＬ１を復元できる理由は、ＤＯＷＮ［Ｄ１］−ＤＯＷＮ［Ｒ１］＝ＤＯＷＮ［Ｅ１］が成立し、ＤＯＷＮ［Ｄ１］はＤ２に該当してＤＯＷＮ［Ｅ１］はＥＬ１に該当するためである。
【００９０】
ＥＬ１を算出すれば、ＥＬ＋Ｈ１は一般式（９）によって算出される。
【００９１】
ＥＬ＋Ｈ１＝ＵＰ［ＥＬ１］＋ＥＨ１                        （９）
ここで、ＥＬ＋Ｈ１はＬ１の残余イメージに該当する。したがって、Ｌ１のデコーディングされたイメージＤ１は最終的に一般式（１０）によって算出することができる。
【００９２】
Ｄ１＝ＥＬ＋Ｈ１＋Ｒ１                                    （１０）
本実施形態において、解像度はＬ１、Ｌ２、Ｌ３の３段階に基づいて説明したが、上記にて説明した方式で解像度のステップがさらに多い場合にも適用することができる。
【００９３】
先ず、第１実施形態によってコーディングされたイメージをデコーディングする過程は、図１１〜図１４を参照して説明する。
【００９４】
図１１は、本発明の第１実施形態に係わる逆量子化部をより詳しく示すブロック図であり、図１２は、本発明の第１実施形態に係わる逆時間的重複除去部をより詳しく示すブロック図である。
【００９５】
先ず、図１１を参照し、逆量子化部４６０はコーディングされたイメージを解像度別に分離する逆多重化部９６４と各解像度のコーディングされたイメージを逆量子化する第１ないし第３逆量子化部９６１〜９６３とを含む。
【００９６】
逆多重化部９６４は、結合されコーディングされたイメージＱにおいてＱＬ＋Ｈ３を分離し、残ったＱＨ２＋ＱＨ１をＱＨ２とＱＨ１に分離する。分離順序は、先ずＱＬ＋Ｈ３を分離してＱＨ２＋ＱＨ１を分離することもできる。だが、先ずＱＨ１を分離して、残ったＱＨ２＋ＱＬ＋Ｈ３でＱＨ２とＱＬ＋Ｈ３を分離することもできる。
【００９７】
分離したＱＬ＋Ｈ３は、Ｌ３の第３逆量子化部９６３を介してＬ３の変換イメージＷＬ＋Ｈ３になり、分離したＱＨ２はＬ２の第２逆量子化部９６２を介してＬ２の高周波変換イメージＷＨ２になり、分離したＱＨ１はＬ１の第１逆量子化部９６１を介してＬ１の高周波変換イメージＷＨ１となる。
【００９８】
各解像度の変換イメージは、図６の逆空間的重複除去部４７０を経て各解像度の残余イメージＥＨ１、ＥＨ２、ＥＬ＋Ｈ３となる。残余イメージは、逆時間的重複除去部４８０を経て各解像度のデコーディングされたイメージＤ１、Ｄ２、Ｄ３になる。
【００９９】
もう少し詳しく見れば、ＥＬ＋Ｈ３はＲ３と加えられＤ３となる。
【０１００】
算出されたＤ３は、Ｄ２を算出するのに用いられるが、具体的に見れば、先ずＥＬ２は、Ｄ３でＲ２をダウンサンプリングした結果と比較して得ることができる。ＥＬ２はアップサンプリングされてＥＨ２と加えられＥＬ＋Ｈ２となる。その後、ＥＬ＋Ｈ２はＲ２と加えられＤ２となる。
【０１０１】
算出されたＤ２はＤ１を算出するのに用いられるが、具体的に見れば先ずＥＬ１はＤ２でＲ１をダウンサンプリングした結果と比較して得ることができる。ＥＬ１はアップサンプリングされてＥＨ１と加えられＥＬ＋Ｈ１となる。その後、ＥＬ＋Ｈ１はＲ１と加えられＤ１となる。
【０１０２】
前記Ｒ１、Ｒ２、Ｒ３は各々Ｌ１、Ｌ２、Ｌ３の動きベクトルを用いた動き推定によって得る。このような方式によって、本発明は最も高い解像度のイメージ１つと各解像度の動きベクトルだけを用いて、各解像度で良い画質のイメージを得ることができる。
【０１０３】
逆量子化過程および元のイメージ（デコーディングされたイメージ）を得る過程は、各々図１３と図１４に示している。
【０１０４】
図１３は、逆量子化過程で１つに結合されコーディングされたイメージから最も低い解像度のコーディングされたイメージと残り各解像度のコーディングされた高周波イメージを分離した姿を示す。
【０１０５】
図１４は、Ｄ３を得てこれを用いてＤ２を得る過程を示す。
【０１０６】
第１実施形態によって、各解像度のコーディングされたイメージを得ることができるが、実際に結合されコーディングされたイメージＱでＱＬ＋Ｈ３を分離し、残ったＱＨ２＋ＱＨ１をＱＨ２とＱＨ１に分離する作業は容易とはいえない。このような場合には、コーディングされたイメージＱ＝Ｑ１で各々Ｑ２とＱ３を得る方式を用いることができる。このような方式が可能な理由はスケーラブルビデオストリームは、本質的に各解像度のイメージを直ちに分離できる性質を有するためである。すなわち、コーディングされた高周波イメージを別に分離することができるように生成されたビットストリームであれば第１実施形態と同じ動作が可能であるが、そうでない一般的に知らされた形態のビットストリームであればコーディングされたイメージＱ＝Ｑ１において各々Ｑ２とＱ３を得る方式を用いなければならない。これに対しては、図１５および図１６を参照して説明する。
【０１０７】
図１５は本発明の第２実施形態に係わる逆量子化部をより詳しく示すブロック図であり、図１６は本発明の第２実施形態に係わる逆時間的重複除去部をより詳しく示すブロック図である。
【０１０８】
Ｑ３を用いてＤ３は容易に得ることができる。しかし、基本的に結合されコーディングされたイメージのＱ１とＱ２を有しそのままデコーディングして、イメージを得る場合にＤ１とＤ２と類似のデコーディングされたイメージを得ることはできるが、デコーディングされたイメージＤ１、Ｄ２そのものは得られない。これはＱ１とＱ２を構成するコーディングされた低周波イメージが各々Ｌ２のコーディングされたイメージとＬ３のコーディングされたイメージから来たためである。したがって、本実施形態の基本的なアイディアはＱ１とＱ２からＥＨ１とＥＨ２とを得て第１実施形態で説明した方法によりデコーディングされたイメージＤ１、Ｄ２を得るというものである。
【０１０９】
先ず、図１５を参照して、逆量子化部４６０は結合されコーディングされたイメージで各解像度が結合されコーディングされたイメージを分離する逆多重化部１３６９と各解像度が結合されコーディングされたイメージで結合された変換イメージを生成する第１ないし第３逆量子化部１３６６、１３６７、１３６８を含む。
【０１１０】
逆量子化部４６０を介して結合されコーディングされたイメージＱ１は、結合された変換イメージＷ１、Ｗ２、Ｗ３となる。結合された変換イメージＷ１、Ｗ２、Ｗ３は、逆空間的重複除去部４７０を介してＬ３の残余イメージＥＬ＋Ｈ３とＬ２の結合された残余イメージＥＬ＋Ｈ３＋ＥＨ２およびＬ１の結合された残余イメージＥＬ＋Ｈ３＋ＥＨ２＋ＥＨ１となる。
【０１１１】
図１６を参照して、Ｌ２の結合された残余イメージＥＬ＋Ｈ３＋ＥＨ２でＬ３の残余イメージＥＬ＋Ｈ３をアップサンプリングした結果を抜いてＬ２の高周波残余イメージＥＨ２を得る。アップサンプリングをする理由は解像度を合わせるためである。
【０１１２】
同じ方式によってＬ２の結合された残余イメージＥＬ＋Ｈ３＋ＥＨ２をアップサンプリングと、アップサンプリングされた結果をＬ１の結合された残余イメージＥＬ＋Ｈ３＋ＥＨ２＋ＥＨ１から引けば、Ｌ１の高周波残余イメージＥＨ１を得ることができる。残りの過程は第１実施形態で説明した過程を介して、元のイメージ（デコーディングされたイメージ）を得ることができる。ＥＨ１とＥＨ２を得る過程は図１７に示している。
【０１１３】
図１８は、本発明の実施形態に係わるスケーラブルビデオデコーダの構成を簡略化して示す機能性ブロック図である。
【０１１４】
スケーラブルビデオデコーダは、ビットストリームを受け取りこれを解釈して結合されコーディングされたイメージ情報と各解像度の動きベクトルを抽出するビットストリーム解釈部１６１０と結合されコーディングされたイメージ情報に含まれた結合されコーディングされたイメージを逆量子化して、各解像度の変換イメージを得る逆量子化部１６２０と各解像度の変換イメージか各解像度の残余イメージを求める逆空間的重複除去部１６３０および各解像度の残余イメージと各解像度の動きベクトルを用いて、逆動き補償過程を介して、元のイメージを得る逆時間的重複除去部１６４０を含む。
【０１１５】
逆量子化部１６２０と逆空間的重複除去部１６３０および逆時間的重複除去部１６４０のより詳しい構造と動作は、先に説明したスケーラブルビデオエンコーダと同じ方式によって動作することができる。
【０１１６】
本発明が属する技術分野の通常の知識を有する者であれば、本発明がその技術的思想において必須の特徴を変更せずに、他の具体的な形態によって実施され得ることを理解できる。したがって、以上にて記述した実施形態はすべての面で例示的なものであり、限定的ではないことを理解しなければならない。本発明の範囲は、前記詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味および範囲、そして、その均等概念から導き出されるすべての変更または変形された形態が本発明の範囲に含まれると解釈されなければならない。
【図面の簡単な説明】
【０１１７】
【図１】スケーラブルビデオエンコーダの構成を簡略化して示すブロック図である。
【図２】時間的フィルタリング過程に先立ってウェーブレット変換を先ず行うスケーラブルビデオエンコーダの構成を簡略化して示すブロック図である。
【図３】ＭＣＴＦアルゴリズムを用いたスケーラブルビデオコーディングおよびデコーディング過程を示す図である。
【図４】ＳＴＡＲアルゴリズムを用いたスケーラブルビデオコーディングおよびデコーディング過程を示す図である。
【図５】空間的スケーラビリティを支援するためのウェーブレット基盤のビデオコーディングを説明するための図である。
【図６】本発明の実施形態に係わるスケーラブルビデオエンコーダの構成を簡略化して示す機能性ブロック図である。
【図７】図６のＳ１の例をより詳しく示すブロック図である。
【図８】本発明の実施形態に係わる参照映像生成のため多様なモードを示す図である。
【図９】本発明の実施形態に係わる空間的重複除去部をより詳しく示すブロック図である。
【図１０】元解像度の結合された変換イメージを生成する過程を説明するための図である。
【図１１】本発明の第１実施形態に係わる逆量子化部をより詳しく示すブロック図である。
【図１２】本発明の第１実施形態に係わる逆時間的重複除去部をより詳しく示すブロック図である。
【図１３】本発明の第１実施形態によって逆量子化過程でコーディングされたイメージを解像度別に逆多重化させる姿を見せる図である。
【図１４】本発明の第１実施形態によって元のイメージを生成する過程を示す図である。
【図１５】本発明の第２実施形態に係わる逆量子化部をより詳しく示すブロック図である。
【図１６】本発明の第２実施形態に係わる逆時間的重複除去部をより詳しく示すブロック図である。
【図１７】本発明の第２実施形態に係わる逆量子化および逆空間的重複除去を経て、高周波残余イメージを生成する過程を示す図である。
【図１８】本発明の実施形態に係わるスケーラブルビデオデコーダの構成を簡略化して示す機能性ブロック図である。
【図１】
2007520150.tif 000005
【図２】
2007520150.tif 000006
【図３】
2007520150.tif 000007
【図４】
2007520150.tif 000008
【図５】
2007520150.tif 000009
【図６】
2007520150.tif 000010
【図７】
2007520150.tif 000011
【図８】
2007520150.tif 000012
【図９】
2007520150.tif 000013
【図１０】
2007520150.tif 000014
【図１１】
2007520150.tif 000015
【図１２】
2007520150.tif 000016
【図１３】
2007520150.tif 000017
【図１４】
2007520150.tif 000018
【図１５】
2007520150.tif 000019
【図１６】
2007520150.tif 000020
【図１７】
2007520150.tif 000021
【図１８】
2007520150.tif 000022
【国際調査報告】
2007520150.tif 000023