(57)【要約】【課題】加重予測を利用したビデオコーディングおよびデコーディング方法、このための装置を提供する。【解決手段】本発明の実施形態によるビデオコーディング方法は現在ブロックの予測イメージを生成する段階、現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である加重予測因子(Weighted prediction factor)を生成する段階、予測イメージに加重予測因子を乗じて加重予測イメージ(Weighted prediction image)を生成する段階、および現在ブロックから加重予測イメージを差分した残差信号を符号化する段階を含む。【選択図】図１
2011254555.tif 000002
【特許請求の範囲】
【請求項１】
エンコーダが現在ブロックに対する予測イメージを生成する段階と、
前記エンコーダが前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を生成する段階と、
前記エンコーダが前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｉｍａｇｅ）を生成する段階と、
前記エンコーダが前記現在ブロックから前記加重予測イメージを差分し残差信号を生成する段階、および
前記エンコーダが前記残差信号を符号化する段階を含み、
前記加重予測因子を生成する段階は、
前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する段階、および
前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を計算する段階を含む
ことを特徴とするビデオコーディング方法。
【請求項２】
前記加重予測因子を生成する段階は
前記現在ブロックの各ピクセル値と前記予測イメージの各ピクセル値に前記加重予測因子を乗じた値の平均２乗誤差（Ｍｅａｎ  ｓｑｕａｒｅｄ  ｅｒｒｏｒ）が最小化されるようにする前記加重予測因子を生成する段階を含む請求項１に記載のビデオコーディング方法。
【請求項３】
前記加重予測因子を生成する段階は
前記現在ブロックに対応する基礎階層イメージと前記予測イメージの差異が最小化されるようにする前記加重予測因子を計算する段階を含む請求項１に記載のビデオコーディング方法。
【請求項４】
前記加重予測因子は
数学式
【数１】
2011254555.tif 000014
によって計算され、前記ｙ（ｉ，ｊ）は前記予測イメージのピクセル値であり、前記ｚ（ｉ，ｊ）は前記基礎階層イメージのピクセル値である請求項３に記載のビデオコーディング方法。
【請求項５】
前記加重予測因子を生成する段階は
前記現在ブロックのモーションベクタを使用して前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する段階、および
前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を計算する段階を含む請求項１に記載のビデオコーディング方法。
【請求項６】
前記加重予測因子は
前記加重予測因子を数学式
【数２】
2011254555.tif 000015
によって計算されるが、前記ｚ（ｉ，ｊ）は前記基礎階層イメージのピクセル値であり、前記ｕ（ｉ，ｊ）は前記基礎階層予測イメージのピクセル値である請求項５に記載のビデオコーディング方法。
【請求項７】
前記残差信号を符号化する段階は
前記現在ブロックに対応する基礎階層イメージから前記基礎階層イメージの予測イメージと前記加重予測因子との積を差分した値と前記現在ブロックの残差信号の差異を符号化する段階を含む請求項１に記載のビデオコーディング方法。
【請求項８】
エンコーダが現在ブロックに対する予測イメージを生成する段階と、
前記エンコーダが前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を生成する段階と、
前記エンコーダが前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｉｍａｇｅ）を生成する段階と、
前記エンコーダが前記予測イメージまたは前記加重予測イメージのうち前記現在ブロックの圧縮性能を高めるイメージを選択する段階と、
前記エンコーダが前記現在ブロックから前記選択されたイメージを差分し残差信号を生成する段階と、
前記エンコーダが前記残差信号を符号化する段階、および
前記エンコーダが前記選択結果によって加重予測の使用の可否を表す情報を挿入する段階を含み、
前記加重予測因子を生成する段階は、
前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する段階、および
前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を計算する段階を含む
ことを特徴とするビデオコーディング方法。
【請求項９】
前記現在ブロックの圧縮性能を高めるイメージを選択する段階は
前記予測イメージまたは前記加重予測イメージのうちレート歪み（Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）が小さいイメージを選択する段階を含む請求項８に記載のビデオコーディング方法。
【請求項１０】
前記加重予測の使用の可否を表す情報は
スライスのヘッダーまたはマクロブロックのヘッダーのうち少なくとも一つに挿入される請求項８に記載のビデオコーディング方法。
【請求項１１】
前記加重予測の使用の可否を表す情報は
輝度成分と色差成分別に前記加重予測の使用の可否を表す請求項８に記載のビデオコーディング方法。
【請求項１２】
現在ブロックに対する予測イメージを生成する手段と、
前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を生成する手段と、
前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｉｍａｇｅ）を生成する手段と、
前記現在ブロックから前記加重予測イメージを差分し残差信号を生成する手段、および前記残差信号を符号化する手段を含み、
前記加重予測因子を生成する手段は
前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する手段、および
前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を計算する手段を含む
ことを特徴とするビデオエンコーダ。
【請求項１３】
前記加重予測因子を生成する手段は
前記現在ブロックの各ピクセル値と前記予測イメージの各ピクセル値に前記加重予測因子を乗じた値の平均２乗誤差（Ｍｅａｎ  ｓｑｕａｒｅｄ  ｅｒｒｏｒ）が最小化されるようにする前記加重予測因子を生成する手段である請求項１２に記載のビデオエンコーダ。
【請求項１４】
前記加重予測因子を生成する手段は
前記現在ブロックに対応する基礎階層イメージと前記予測イメージの差異が最小化されるようにする前記加重予測因子を計算する手段である請求項１２に記載のビデオエンコーダ。
【請求項１５】
前記残差信号を符号化する手段は
前記現在ブロックの残差信号と、前記現在ブロックに対応する基礎階層イメージから前記基礎階層イメージの予測イメージと前記加重予測因子の積を差分した値の差分を符号化する請求項１２に記載のビデオエンコーダ。
【請求項１６】
現在ブロックに対する予測イメージを生成する手段と、
前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を生成する手段と、
前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｉｍａｇｅ）を生成する手段と、
前記予測イメージまたは前記加重予測イメージのうち前記現在ブロックの圧縮性能を高めるイメージを選択する手段と、
前記現在ブロックから前記選択されたイメージを差分し残差信号を生成する手段と、前記残差信号を符号化する手段、および
前記選択結果により加重予測の使用の可否を表す情報を挿入する手段を含み、
前記加重予測因子を生成する手段は
前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する手段、および
前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を計算する手段を含む
ことを特徴とするビデオエンコーダ。
【請求項１７】
前記現在ブロックの圧縮性能を高めるイメージを選択する手段は
前記予測イメージまたは前記加重予測イメージのうちレート歪み（Ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）が小さいイメージを選択する請求項１６に記載のビデオエンコーダ。
【請求項１８】
前記加重予測の使用の可否を表す情報は
スライスのヘッダーまたはマクロブロックのヘッダー中少なくとも一つに挿入される請求項１６に記載のビデオエンコーダ。
【請求項１９】
前記加重予測の使用の可否を表す情報は
輝度成分と色差成分のそれぞれに対する前記加重予測の使用の可否を表す請求項１６に記載のビデオエンコーダ。
【請求項２０】
ビデオコーディング方法を実行するためのコンピュータで判読可能なプログラムが記録された記録媒体において、前記ビデオコーディング方法は
前記コンピュータが、現在ブロックに対する予測イメージを生成する段階と、
前記コンピュータが、前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を生成する段階と、
前記コンピュータが、前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｉｍａｇｅ）を生成する段階と、
前記コンピュータが、前記現在ブロックから前記加重予測イメージを差分し残差信号を生成する段階、および
前記コンピュータが、前記残差信号を符号化する段階を含み、
前記加重予測因子を生成する段階は、
前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する段階、および
前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を計算する段階を含む
ことを特徴とする記録媒体。
【請求項２１】
ビデオコーディング方法を実行するためのコンピュータで判読可能なプログラムが記録された記録媒体において、前記ビデオコーディング方法は
前記コンピュータが、現在ブロックに対する予測イメージを生成する段階と、
前記コンピュータが、前記予測イメージをスケーリングする加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を生成する段階と、
前記コンピュータが、前記予測イメージに前記加重予測因子を乗じて加重予測イメージ（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｉｍａｇｅ）を生成する段階と、
前記コンピュータが、前記予測イメージまたは前記加重予測イメージのうち前記現在ブロックの圧縮性能を高めるイメージを選択する段階と、
前記コンピュータが、前記現在ブロックから前記選択されたイメージを差分し残差信号を生成する段階と、
前記残差信号を符号化する段階、および
前記コンピュータが、前記選択結果により加重予測の使用の可否を表す情報を挿入する段階を含み、
前記現在ブロックのモーションベクタを使用し、前記現在ブロックに対応する基礎階層イメージの基礎階層順方向隣接フレームまたは基礎階層逆方向隣接フレームから前記現在ブロックの予測イメージに対応する基礎階層予測イメージを生成する段階、および
前記現在ブロックに対応する基礎階層イメージと前記基礎階層予測イメージの差異が最小化されるようにする前記加重予測因子（Ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ  ｆａｃｔｏｒ）を計算する段階を含む
ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は加重予測を利用したビデオコーディングおよびデコーディング方法、このための装置に関するものであって、より詳細に圧縮しようとする現在ブロックの予測イメージに所定のスケーリング因子(Scaling factor)を乗じて加重予測イメージ(Weighted prediction image)を生成し現在ブロックから加重予測イメージを差分した残差信号を符号化することによって残差信号の量を減らす加重予測を利用したビデオコーディングおよびデコーディング方法、このための装置に関するものである。
【背景技術】
【０００２】
インターネットを含む情報通信技術が発達するのにともない文字、音声だけでなく画像通信が増加している。既存の文字中心の通信方式では消費者の多様な欲求を充足させるには不足し、これに伴い文字、映像、音楽など多様な形態の情報を受容することができるマルチメディアサービスが増加している。マルチメディアデータはその量がぼう大で、大容量の保存媒体を必要とし前記データ伝送時に広い帯域幅を必要とする。したがって文字、映像、オーディオを含んだマルチメディアデータを伝送するためには圧縮コーディング技法を使用するのが必須的である。
【０００３】
データを圧縮する基本的な原理はデータの重複(redundancy)要素を除去する過程である。イメージにおいて同一な色やオブジェクトが反復されるような空間的重複や、動画フレームで隣接フレームにほとんど変化がない場合やオーディオで同じ音が継続して反復されるような時間的重複、または人間の視覚および知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複を除去することによってデータを圧縮することができる。一般的なビデオコーディング方法において、時間的重複はモーション補償に基づいた時間的予測(temporal prediction)によって除去して、空間的重複は空間的変換(spatial transform)によって除去する。
【０００４】
図1は従来のビデオコーディングでの予測方法を示す図である。
【０００５】
MPEG-4、H．264など既存ビデオコーデックはモーション補償(Motion compensation)を基盤として隣接したフレーム間の類似性をなくすことによって圧縮効率を高める。この時、一般的に現在フレーム１１０より時間的に先んじた参照フレーム内で類似したイメージを予測することを順方向予測(Forward prediction)１２０、現在フレームより時間的に後の参照フレーム内で類似したイメージを予測することを逆方向予測(Backward prediction)１３０という。一方順方向参照フレームおよび逆方向参照フレームを共に使用する時間的予測を両方向予測(Bi-directional prediction)１４０という。
【０００６】
既存の単一階層ビデオコーデックはこのような種々のモード中、最適のモードを選択しコーディングすることによってその効率を高めることができる。一方、H．264スケーラブル拡張(あるいはMPEGスケーラブルビデオコーディング)のように多階層を有するビデオコーデックは階層間類似性をなくすために、また他の予測方法、すなわち基礎階層予測(Base-layer prediction)を使用することができる。これは基礎階層イメージで現在コーディングしようとするブロックと同じ時間的位置にあるフレーム内のイメージを使用して予測するものである。この時、階層間の解像度が異なる場合、基礎階層イメージをアップサンプリングして現在階層の解像度と合わせた後、時間的予測を遂行する。
【０００７】
各予測モード中で一つの予測モードを選択する方法は種々のものがあるだろうが、より低いコストを有するModeを選択するために各々の階層モードに対して直接符号化を遂行する。ここで、コスト(C）は種々の方式で定義され得るのが、代表的にレート歪み(rate-distortion)に基づいて、＜数式１＞のように計算される。ここで、Eは符号化されたビットをデコーディングし復元された信号と原信号との差異を意味し、Bは各方法を遂行するのに必要となるビット量を意味する。また、λはラグランジアン係数であってEとBの反映比率を調節することができる係数を意味する。
【０００８】
【数１】
2011254555.tif 000003
従来、時間的予測によるビデオコーディング方法は多数の特許文献に掲示されているが、例をあげれば、特許文献１は空間的にスケール可能な圧縮に関するもので、ベースエンコーダとエンハンスメントエンコーダを具備し、アップスケールされたベース層とエンハンスメント層の和に基づき、各フレームに対するモーションベクタを計算する過程を含み構成されるビデオコーディング方法を掲示している。
【０００９】
しかし、従来のビデオコーディング方法は基礎階層予測を除外しては基礎階層が有している多くの情報をまったく使用しないという問題点がある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】韓国特許公開第2004-047977号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明が解決しようとする課題は、圧縮しようとする現在ブロックと予測イメージの誤差を減らすことによって、ビデオコーディングの効率を高めることができる多階層ビデオコーディングおよびデコーディング方法、このための装置を提供しようとするものである。
【００１２】
本発明が解決しようとする他の技術的課題は予測イメージを生成するにおいて基礎階層の情報を活用することによってビデオコーディングの効率を高めることができる多階層ビデオコーディングおよびデコーディング方法、このための装置を提供しようとするものである。
【００１３】
本発明の目的は以上で言及した目的に制限されず、言及されていないまた他の目的は次の記載から当業者に明確に理解されるであろう。
【課題を解決するための手段】
【００１４】
前記目的を達成するために、本発明の実施形態によるビデオコーディング方法は、現在ブロックの予測イメージを生成する段階、現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である加重予測因子(Weighted prediction factor)を生成する段階、予測イメージに加重予測因子を乗じて加重予測イメージ(Weighted prediction image)を生成する段階、および現在ブロックから加重予測イメージを差分した残差信号を符号化する段階を含む。
【００１５】
一方、本発明の実施形態による多階層ビデオコーディング方法は、現在ブロックの予測イメージを生成する段階、現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である加重予測因子(Weighted prediction factor)を生成する段階、予測イメージに加重予測因子を乗じて加重予測イメージ(Weighted prediction image)を生成する段階、予測イメージまたは加重予測イメージ中、現在ブロックの圧縮性能を高めるイメージを選択する段階、現在ブロックから選択されたイメージを差分した残差信号を符号化し、選択結果によって加重予測イメージの使用の可否を表す情報を挿入する段階を含む。
【００１６】
前記目的を達成するために、本発明の実施形態による多階層ビデオデコーディング方法は、ビットストリームから復元しようとする現在ブロックの残差信号を復元する段階、ビットストリームから現在ブロックの予測イメージを復元する段階、予測イメージに加重予測因子(Weighted prediction factor)を乗じて加重予測イメージを生成する段階、および加重予測イメージに残差信号を加算して現在ブロックを復元する段階を含み、加重予測因子は現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である。
【００１７】
前記目的を達成するために、本発明の実施形態による多階層ビデオエンコーダは、現在ブロックの予測イメージを生成する手段、現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である加重予測因子(Weighted prediction factor)を生成する手段、予測イメージに加重予測因子を乗じて加重予測イメージ(Weighted prediction image)を生成する手段、および現在ブロックから加重予測イメージを差分した残差信号を符号化する手段を含む。
【００１８】
一方、本発明の実施形態による多階層ビデオエンコーダは、現在ブロックの予測イメージを生成する手段、現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である加重予測因子(Weighted prediction factor)を生成する手段、予測イメージに加重予測因子を乗じて加重予測イメージ(Weighted prediction image)を生成する手段、予測イメージまたは加重予測イメージ中、現在ブロックの圧縮性能を高めるイメージを選択する手段、および現在ブロックから選択されたイメージを差分した残差信号を符号化し、選択結果によって加重予測イメージの使用の可否を表す情報を挿入する手段を含む。
【００１９】
一方、本発明の実施形態による多階層ビデオデコーダは、ビットストリームから復元しようとする現在ブロックの残差信号を復元する手段、ビットストリームから現在ブロックの予測イメージを復元する手段、予測イメージに加重予測因子(Weighted prediction factor)を乗じて加重予測イメージを生成する手段、および加重予測イメージに残差信号を加算して現在ブロックを復元する手段を含み、加重予測因子は現在ブロックと予測イメージの差異を最小化する予測イメージのスケーリング因子(Scaling factor)である。
【００２０】
その他実施形態の具体的な事項は詳細な説明および図に含まれている。
本発明の利点および特徴、そしてそれらを達成する方法は添付される図面と共に詳細に後述されている実施形態を参照すれば明確になるだろう。しかし、本発明は以下で開示される実施形態に限定されるものではなく互いに異なる多様な形態で具現され、単に本実施形態は本発明の開示が完全なようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されているもので、本発明は請求項の範囲によってのみ定義される。明細書全体に乗じて同一参照符号は同一構成要素を指称する。
【発明の効果】
【００２１】
前記したような本発明のビデオコーディングおよびデコーディング方法によれば次のような効果が一つあるいはそれ以上ある。
【００２２】
一番目として、圧縮しようとする現在ブロックと予測イメージの誤差を減らすことによってビデオコーディングの効率を高めることができるという長所がある。
【００２３】
二番目、予測イメージを生成するにおいて基礎階層の情報を活用することによってビデオコーディングの効率を高めることができるという長所もある。
【図面の簡単な説明】
【００２４】
【図１】従来のビデオコーディングで予測方法を示す図である。
【図２】本発明の実施形態による加重予測の概念を示す図である。
【図３】本発明の実施形態による他の加重予測の概念を示す図である。
【図４】本発明の実施形態による加重予測を利用したビデオコーディング過程を示すフローチャートである。
【図５】図4に図示された加重予測を利用したビデオコーディング過程の具体的な実施形態を示すフローチャートである。
【図６】図4に図示された加重予測を利用したビデオコーディング過程のまた他の具体的な実施形態を示すフローチャートである。
【図７】本発明の実施形態によるビデオデコーディング過程を示すフローチャートである。
【図８】図5のビデオコーディング過程に対応するビデオデコーディング過程を示すフローチャートである。
【図９】図6のビデオコーディング過程に対応するビデオデコーディング過程を示すフローチャートである。
【図１０】従来の予測と本発明の実施形態による加重予測を選択的に実施するために必要な資料構造を示す図である。
【図１１】本発明の実施形態によるエンコーダの構成を示すブロック図である。
【図１２】図11のエンコーダに対応するデコーダの構成を示すブロック図である。
【図１３】本発明の実施形態による他のエンコーダの構成を示すブロック図である。
【図１４】図13のエンコーダに対応するデコーダの構成を示すブロック図である。
【図１５】本発明による加重予測を利用したビデオエンコーダのまた他の実施形態を見せるブロック図である。
【図１６】図15のエンコーダに対応するデコーダの構成を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、添付された図面を参照し、本発明の好ましい実施形態を詳細に説明することにする。
本明細書でブロックとはマクロブロックおよびマクロブロックの細部単位を含み、すべての動作はブロック単位で説明されるようにする。また、図1で前述した従来の時間的予測方法で生成されるイメージを予測イメージと表現するようにする。このような用語の定義は発明の理解を助けるためのものであり、本定義によって、本発明が限定されるものではない。
【００２６】
本発明の実施形態によるビデオコーディングでは予測イメージをそのまま使用せず圧縮しようとする現在ブロックを最適に予測するためのスケーリング因子(Scaling factor)を計算した後、予測イメージとスケーリング因子の積で現在ブロックを予測する。
【００２７】
以下明細書では説明の便宜のため予測イメージとスケーリング因子乗じた値から現在ブロックを予測することを加重予測(Weighted prediction)と表現し、予測イメージにスケーリング因子を乗じた値を加重予測イメージ(Weighted prediction)と表現する。また圧縮しようとする現在ブロックを最適に予測するためのスケーリング因子(Scaling factor)を加重予測因子(Weighted prediction factor)と表現する。このような定義は発明の説明を容易にするためのものであって発明を限定するものと解釈されない。
【００２８】
本実施形態による加重予測因子を計算する方法は次のとおりである。
現在ブロックのピクセル値をx(i,j)、予測イメージのピクセル値をy(i,j)としよう。図1に前述した従来の方法で予測が遂行される場合、現在ブロックと予測イメージの平均２乗誤差(Mean Squared Error）は次の＜数式２＞のとおりである。
【００２９】
【数２】
2011254555.tif 000004
【００３０】
本実施形態による予測方法の場合、予測イメージのピクセル値y(i,j)の代わりにy(i,j)に加重予測因子αをかけた加重予測イメージのピクセル値αx y(i,j)を使用するようになるためで平均２乗誤差は次の＜数式３＞のとおりである。
【００３１】
【数３】
2011254555.tif 000005
【００３２】
＜数式３＞の平均２乗誤差Eを最小化するために＜数式３＞をαに対して偏微分して0と置けば次の＜数式４＞を得る。
【００３３】
【数４】
2011254555.tif 000006
【００３４】
この式からαを求めれば次の＜数式５＞のとおりである。
【００３５】
【数５】
2011254555.tif 000007
【００３６】
上の＜数式５＞はx(i,j)とy(i,j)間の交差-相互関係(Cross-correlation)の形態を帯びている。本実施形態によるビデオコーディングの場合は、現在フレームのすべてのブロックごとに＜数式５＞によってαを計算し、これをデコーダ側に伝送するようになう。デコーダ端ではエンコーダから受信したαを復元された予測イメージに乗じて加重予測イメージを復元し、加重予測イメージに復元された残差信号を加算して該当ブロックを復元する。
【００３７】
一方、本発明の他の実施形態では加重予測因子αを計算するために原本フレームブロックのピクセル値x(i,j)の代わりに現在ブロックと同じ時間的位置にある基礎階層イメージのピクセル値z(i,j)を使用することによって別途にαを伝送しないこともなる。この時、αは次の＜数式６＞のように計算される。
【００３８】
【数６】
2011254555.tif 000008
【００３９】
＜数式６＞のようにαを計算すればデコーダが基礎階層イメージのピクセル値z(i,j)の値と予測イメージのピクセル値y(i,j)の値をすべて知ることができるためエンコーダからαを別途に受信しなくてもαを再計算することができる。図2は本実施形態による加重予測の概念を示している。
【００４０】
圧縮しようとする現在フレームの現在ブロック２１０に対して現在フレームと同一な階層にある順方向参照フレームのイメージ２２０、逆方向参照フレームのイメージ２３０、および基礎階層フレームのイメージ２４０のうち、少なくとも一つを利用して予測イメージ２５０を生成する。＜数式６＞によって本実施形態によるαを計算し２６０、予測イメージ２５０にαを乗じて加重予測イメージを生成270する。エンコーダは現在ブロック２１０から加重予測イメージを差分し残差信号を求めてこの残差信号を符号化してデコーダ端に伝送する。
【００４１】
予測イメージのピクセル値y(i,j)がすでに量子化を経て復元された値から生成されるビデオコーデック、すなわちクローズループ(Closed-loop)を利用するビデオコーデックの場合は図2で前述した方法だけでも充分である。しかし、予測イメージのピクセル値y(i,j)が量子化を経ていない原本フレームの値の場合、すなわちオープンループ(Open-loop)を使用するビデオコーデックの場合は予測信号y(i,j)の値がエンコーダ側とデコーダ側で異なるためエンコーダが計算したαとデコーダが再計算したαの値が非常に異なることがある。この場合、＜数式６＞のy(i,j)の代わりに基礎階層の情報を使用することによってエンコーダおよびデコーダが同一なαによるビデオコーディングおよびデコーディングをすることができる。
【００４２】
図3は予測信号y(i,j)の代わりに基礎階層の情報を使用して加重予測因子αを計算する過程を概念的に示している。
【００４３】
圧縮しようとする現在フレームの現在ブロック３１０に対して現在フレームと同一な階層にある順方向参照フレームのイメージ３２０、逆方向参照フレームのイメージ３３０、および基礎階層フレームのイメージ３４０のうち、少なくとも一つを利用して予測イメージ３５０を生成する。加重予測因子αは＜数式６＞と類似するように計算390される。ここで、現在ブロックの予測イメージ３５０のピクセル値y(i,j)は基礎階層情報によって生成された基礎階層予測イメージのピクセル値u(i,j)で代替される。基礎階層予測イメージのピクセル値u(i,j)は次の通り求められる。
【００４４】
予測イメージ３５０が現在階層の順方向参照フレーム３２０または逆方向参照フレーム３３０のうち、少なくとも一つから生成されたものである場合、現在ブロックと時間的に同一な位置にある基礎階層イメージ３４０の順方向フレームまたは逆方向フレームから現在ブロックのモーションベクタ325、335と同一なモーションベクタ365、375が示す基礎階層参照イメージ360、370を探索する。予測イメージ３５０を生成した方法と同一な方法で基礎階層参照イメージから基礎階層予測イメージ380を生成する。この時、予測イメージ３５０が基礎階層イメージ３４０から生成された場合、y(i,j)の値として基礎階層イメージ３４０のピクセル値をそのまま使用したり、基礎階層の解像度が現在階層より低い場合、基礎階層イメージをアップサンプリングして使用するようになる。新しく生成された基礎階層予測イメージ380のピクセル値u(i,j)を使用すれば、本実施形態による加重予測因子αは次の＜数式７＞のように計算される。
【００４５】
【数７】
2011254555.tif 000009
【００４６】
エンコーダは予測イメージ３５０にαを乗じて加重予測イメージを生成395する。エンコーダは現在ブロック３１０から加重予測イメージを差分し残差信号を求めてこの残差信号を符号化してデコーダ端に伝送する。
【００４７】
図2および図3に前述された実施形態は現在階層の原本フレームと基礎階層フレームが類似するほど、そして基礎階層フレームの品質が一定水準以上である場合に有用であるが、基礎階層フレームの品質が非常に低下し、原本フレームとの差異が大きい場合には有用でないことがある。したがってこの場合には加重予測因子を使用せず従来の方法による予測技法を選択することもできる。このような予測技法の選択に関する詳細な事項は図10で後述するようにする。
【００４８】
図4は本発明の実施形態による加重予測を利用したビデオコーディング過程を示すフローチャートである。
【００４９】
エンコーダは図1で前述したように従来の予測方法によって現在ブロックの予測イメージを生成(S410)する。現在ブロックと予測イメージの差異を最小化するスケーリング因子である加重予測因子を計算(S420)するが、加重予測因子を計算する方法の実施形態は＜数式５＞ないし＜数式７＞で前述したところと同様である。予測イメージに加重予測因子を乗じてより一層正確な予測を遂行するための加重予測イメージを生成(S430)した後、現在ブロックから加重予測イメージを差分し残差信号を生成(S440)し、その残差信号を符号化(S450)する。
【００５０】
図5は図4に図示された加重予測を利用したビデオコーディング過程の具体的な実施形態を示すフローチャートである。
【００５１】
図2で前述したように加重予測因子αを計算するために原本フレームの現在ブロックのピクセル値x(i,j)の代わりに現在ブロックと同じ時間的位置にある基礎階層イメージのピクセル値z(i,j)を使用することによって別途にαを伝送しないこともできる。これのために本実施形態によるエンコーダは圧縮しようとする現在ブロックの予測イメージを図1で前述した従来の予測方法によって生成(S510)し、現在フレームと同一な時間的位置にある基礎階層フレームの対応イメージのピクセル値(z(i,j))と予測イメージのピクセル値(y(i,j))を利用して加重予測因子αを計算(S520)する。
【００５２】
本実施形態で加重予測因子αを計算する方法の一実施形態は＜数式６＞と同じである。予測イメージに加重予測因子を乗じて、より一層正確な予測のための加重予測イメージを生成(S530)した後、現在ブロックから加重予測イメージを差分し残差信号を生成(S540)しその残差信号を符号化(S550)する。
【００５３】
図6は図4に図示された加重予測を利用したビデオコーディング過程のまた他の具体的な実施形態を示すフローチャートである。
【００５４】
図3で前述した通り、オープンループを使用するビデオコーデックの場合、ドリフティングエラーによってエンコーダ側とデコーダ側の予測信号y(i,j)の値が異なるため、図5に図示されたビデオコーディング方法をそのまま使用するとデコーダで計算されるαとエンコーダで計算されるαの値が異なるようになる。したがってデコーダ端で復元されるビデオブロックの値に誤差が生じるようになる。これに本実施形態によるビデオコーディング方法は加重予測因子を計算する段階を次のように遂行する。
【００５５】
圧縮しようとする現在ブロックの予測イメージが現在階層の順方向フレームまたは逆方向フレームのうち少なくとも一つを利用して生成されたものである場合(S620のいいえ)、現在ブロックと時間的に同一な位置にある基礎階層イメージの順方向フレームまたは逆方向フレームから現在ブロックのモーションベクタと同一なモーションベクタが示す領域を探索し、予測イメージを生成した方法と同一な方法で基礎階層予測イメージを生成(S630)する。現在ブロックに対応する基礎階層イメージと基礎階層予測イメージを利用し、＜数式７＞によって加重予測因子αを計算する。反面、現在ブロックの予測イメージが基礎階層イメージから生成されたものである場合(S620のはい)、現在ブロックに対応する基礎階層イメージが基礎階層予測イメージとなり、＜数式７＞でu(i,j)の代わりにz(i,j)の値を使用する。
【００５６】
予測イメージに加重予測因子を乗じてより一層正確な予測を遂行するための加重予測イメージを生成(S650)した後、現在ブロックから加重予測イメージを差分した残差信号を符号化(S660)する。
【００５７】
図7は本発明の実施形態によるビデオデコーディング過程を示すフローチャートである。
【００５８】
本実施形態によるデコーダはエンコーダによって伝送されたビットストリームから復元しようとする現在ブロックの残差信号および現在ブロックの予測イメージを復元(S710)し、ビットストリームからエンコーダによって生成され伝送された加重予測因子を抽出(S720)する。本実施形態はエンコーダが加重予測因子を計算して、これをビットストリームに挿入して伝送する場合に使用され得るデコーダである。デコーダは抽出された加重予測因子を復元された予測イメージに乗じて加重予測イメージを生成(S730)し、加重予測イメージに復元された残差信号を加えることによって現在ブロックを復元(S740)する。
【００５９】
図8は図5のビデオコーディング過程に対応するビデオデコーディング過程を示すフローチャートである。
【００６０】
本実施形態によるビデオデコーダはビットストリームから復元しようとする現在ブロックの残差信号および予測イメージを復元(S810)する。現在ブロックが位置した現在フレームと同一な時間的位置にある基礎階層フレームの対応イメージと復元された予測イメージの差異を最小化する加重予測因子を生成(S820)する。この時加重予測因子は＜数式６＞によって計算され得る。デコーダは加重予測因子を復元された予測イメージに乗じて加重予測イメージを生成(S830)し、加重予測イメージに復元された残差信号を加えることによって現在ブロックを復元(S840)する。
【００６１】
図9は図6のビデオコーディング過程に対応するビデオデコーディング過程を示すフローチャートである。
【００６２】
本実施形態によるビデオデコーダはビットストリームから復元しようとする現在ブロックの残差信号および予測イメージを復元(S910)する。予測イメージが現在階層の参照フレームから生成された場合(S920のいいえ)、現在ブロックのモーションベクタをそのまま利用して現在ブロックに対応する基礎階層イメージの順方向フレームまたは逆方向フレームで基礎階層参照イメージを探索し、探索された基礎階層参照イメージを利用して現在ブロックの予測イメージを生成した方法と同一な方法で基礎階層予測イメージを生成(S930)する。一方、予測イメージが基礎階層フレームから生成された場合(S920のはい)、現在ブロックの基礎階層イメージをそのまま、または必要によってアップサンプリングして基礎階層予測イメージを生成(S935)する。現在ブロックに対応する基礎階層イメージと基礎階層予測イメージを利用して現在ブロックと予測イメージの差異を最小化する加重予測因子を生成(S940)する。すなわち、前述した＜数式７＞によって基礎階層イメージのピクセル値z(i,j)および基礎階層予測イメージのピクセル値u(i,j)を利用して加重予測因子を計算する。デコーダは加重予測因子を復元された予測イメージに乗じて加重予測イメージを生成(S950)し、加重予測イメージに復元された残差信号を加えることによって現在ブロックを復元(S960)する。
【００６３】
図10は従来の予測と本発明の実施形態による加重予測を選択的に実施するために必要な資料構造を示す図である。
【００６４】
前述した方法は基礎階層フレームと現在フレームが大きな差異がなく、既存の方法のとおり予測がうまくいかない場合に最も効果が大きい。したがって必要により既存の予測方法と本発明による加重予測方法を混用することも可能である。既存の予測方法と加重予測方法を混用する方法としてビットストリームに加重予測方法を使用するのかの可否を表すフラッグビットを挿入する方法がある。
【００６５】
図10に図示されたようにビットストリームに加重予測使用フラッグビットを挿入し、このビットが1ならばデコーダにて加重予測方法を使用するようにし、このビットが0ならば既存の予測方法を使用するようにできる。この時、加重予測使用フラッグビットの値は加重予測使用の可否を区分できる値であれば充分である。加重予測使用フラッグビットはフレームまたはスライス単位で挿入され得、マクロブロック単位で挿入され得る。
【００６６】
一方、フレームまたはスライスのヘッダーおよびマクロブロックのヘッダーすべてにフラッグビットを挿入してこのビットの組合せで予測方法を混合して使用するようにできる。例えばスライスヘッダーのフラッグ値が0であればフレーム全体に既存の予測方法を使用し、スライスヘッダーのフラッグ値が1であればフレーム全体に加重予測方法を使用し、スライスヘッダーのフラッグ値が2であればマクロブロックのフラッグ値により既存の予測方法と加重予測方法を混合してしようするようにできる。
【００６７】
一方、Y、U、V成分別に既存の予測方法と加重予測方法のうち一つを選択することができるようにすることもできる。この場合加重予測使用フラッグを3ビットで表現し各ビットが色空間(Color space)の各成分に対する加重予測の使用の可否を表すようにすることができる。
【００６８】
前述した加重予測を利用したビデオコーディングの概念は残差予測(Residual prediction)にも適用され得る。残差予測は多階層構造で二つの階層間モーションベクタが類似する場合に二つの階層で発生する残差信号も類似するということを利用した技法であって、現在階層の原本信号をO2、現在階層の予測信号をP2、現在階層の残差信号をR2、基礎階層の原本信号をO1、基礎階層の予測信号をP1、基礎階層の残差信号をR1だとすれば、各階層の残差信号は次のように表現することができる。
R2=O2-P2
R1=O1-P1
【００６９】
この時、R1は基礎階層で量子化およびコーディングされた信号であり、現在階層ではR2の代わりにR2-R1を量子化することによって圧縮効率を向上させる。この処理はマクロブロック、あるいはサブブロック単位でその適用の可否を決定し適応的に使用することができる。
加重予測を利用したビデオコーディングの場合にはP1、P2の代わりに原本信号から加重予測因子が乗じられた値を差分した値を得るようになる。したがって各階層の残差信号は次の＜数式８＞および＜数式９＞のように表現され得る。
【００７０】
【数８】
2011254555.tif 000010
【００７１】
【数９】
2011254555.tif 000011
【００７２】
ここでα、βは各階層のブロックの加重予測因子である。
この場合R1とR2間の類似性が低下するため残差予測の性能が低下する恐れがある。したがってこの場合R2-Rの1代わりにR2と類似する信号をO1、P1、α、βを利用して生成した後、これをR2から引いた値をコーディングすることができる。すなわち、R2と類似する信号をR1'とすれば次の＜数式１０＞のように使うことができる。
【００７３】
【数１０】
2011254555.tif 000012
＜数式９＞をP1に対して整理した後、＜数式１０＞に代入すれば次の＜数式１１＞を得る。
【００７４】
【数１１】
2011254555.tif 000013
【００７５】
すなわち、現在階層ではR2-R1をコーディングする代わりに、R2-R1'=R2-((1-α/β)O1 +α/βR1)をコーディングすることができる。この場合、加重予測を使用せず既存の予測方法を使用する場合は各階層の加重予測因子がすべて1であるケースに該当するであろう。
【００７６】
図11は本発明の実施形態によるビデオエンコーダ１１００の構成を示すブロック図である。
【００７７】
本実施形態によるビデオエンコーダ１１００は単一階層エンコーダで構成され得るが、基礎階層エンコーダ１１１０と向上階層エンコーダ1150で構成された場合を中心に説明するようにする。
【００７８】
向上階層エンコーダ1150は空間的変換部1152、量子化部1154、エントロピ符号化部1156、モーション推定部1164、モーション補償部1166、選択部1168、加重予測因子生成部1170、加重予測イメージ生成部1172、逆量子化部1158、逆空間的変換部1160を含み構成され得る。
【００７９】
選択部1168は基礎階層予測、順方向予測、逆方向予測、および両方向予測のうちで有利な予測方法を選択する。このような選択はマクロブロック単位でなされるのが好ましいが、これに限られずフレーム単位、またはスライス(slice)単位でなされ得もする。これのために選択部1168は基礎階層エンコーダ１１１０のアップサンプラ1136から対応する基礎階層フレームの提供を受け、加算器1162から時間的予測によってエンコーディングされた後、復元されたフレームの提供を受ける。
【００８０】
加重予測因子生成部1170は原本フレームおよび、選択部1168から予測フレームの提供を受け＜数式５＞によって加重予測因子を生成し、加重予測因子を加重予測イメージ生成部1172およびエントロピ符号化部1156に提供する。
【００８１】
加重予測イメージ生成部1172はモーション補償部1166から提供を受けた現在ブロックの予測イメージに加重予測因子生成部1170から伝達された加重予測因子を乗じて加重予測イメージを生成する。
【００８２】
モーション推定部1164は入力ビデオフレーム中で、参照フレームを基準として現在フレームのモーション推定を遂行してモーションベクタを求める。モーション推定部1164はモーション推定結果、求められたモーションベクタ、モーションブロックの大きさ、参照フレーム番号などのモーションデータをエントロピ符号化部1156に提供する。
【００８３】
モーション補償部1166は前記入力ビデオフレームの時間的重複性を減少させる。この場合モーション補償部1166は前記モーション推定部1164で計算されたモーションベクタを利用して参照フレームに対してモーション補償(motion compensation)を遂行することによって現在フレームに対する時間的予測フレームを生成する。
【００８４】
差分器1174は現在フレームと前記時間的予測フレームを差分することによってビデオの時間的重複性を除去する。
【００８５】
空間的変換部1152は差分器1174によって、時間的重複性が除去されたフレームに対して、空間的スケーラビリティを支援する空間的変換法を使用し、空間的重複性を除去する。このような空間的変換法としては主にDCT(Discrete Cosine Transform)、ウエーブレット変換(wavelet transform)等が使用されている。
【００８６】
量子化部1154は空間的変換部1152で求めた変換係数を量子化する。量子化(quantization)とは、任意の実数値（real number）で表現される前記変換係数を一定区間で分割し、不連続的な値(discrete value)で表し、これを所定のインデックスによってマッチング(matching)させる作業を意味する。
【００８７】
エントロピ符号化部1156は量子化部1154によって量子化された変換係数と、モーション推定部1164によって提供されるモーションデータおよび加重予測因子生成部1170から提供される加重予測因子を無損失符号化して出力ビットストリームを生成する。このような無損失符号化方法としては、算術符号化(arithmetic coding)、可変長符号化(variable length coding)等が使用され得る。
【００８８】
ビデオエンコーダ１１００がエンコーダ端とデコーダ端間のドリフトエラー(drifting error)を減少させるためにクローズループビデオエンコーディングを支援する場合には、逆量子化部1158、逆空間的変換部1160等をさらに含み得る。
【００８９】
逆量子化部1158は量子化部1154で量子化された係数を逆量子化する。このような逆量子化過程は量子化過程の逆に該当する過程である。
【００９０】
逆空間的変換部1160は前記逆量子化結果を逆空間的変換してこれを加算器1162に提供する。
【００９１】
加算器1162は逆空間的変換部11166から提供される残差フレームと、モーション補償部1166から提供され、フレームバッファ(未図示)に保存された以前フレームを加算して、ビデオフレームを復元し、復元されたビデオフレームをモーション推定部1164に参照フレームとして提供する。
【００９２】
一方、基礎階層エンコーダ１１１０は空間的変換部1112、量子化部1114、エントロピ符号化部1116、モーション推定部1124、モーション補償部1126、加重予測因子生成部1128、加重予測イメージ生成部１１３０、逆量子化部1118、逆空間的変換部１１２０、ダウンサンプラ1134、およびアップサンプラ1136を含み構成され得る。アップサンプラ1136は概念上、基礎階層エンコーダ１１１０に含まれるものであったが、ビデオエンコーダ１１００内のどこに存在してもさしつかえない。
【００９３】
ダウンサンプラ1134は原入力フレームを基礎階層の解像度でダウンサンプリング(down-sampling)する。ただし、これは向上階層の解像度と基礎階層の解像度が互いに異なることを前提とするもので、もし両階層の解像度が互いに同じならばダウンサンプリング過程は省略し得る。
【００９４】
アップサンプラ1136は加算器1122から出力される信号、すなわち復元されたビデオフレームを必要時にアップサンプリングして向上階層エンコーダ1150の選択部1168に提供する。もちろん、向上階層の解像度と基礎階層の解像度が同一であればアップサンプラ1136は使用しなくともよい。
【００９５】
これ以外に空間的変換部1112、量子化部1114、エントロピ符号化部1116、モーション推定部1164、モーション補償部1166、加重予測因子生成部1168、加重予測イメージ生成部1170、逆量子化部1118、逆空間的変換部１１２０の動作は向上階層に存在する同一名称の構成要素と同様であるため重複する説明は省略する。
【００９６】
図12は図11のエンコーダに対応するデコーダ1200の構成を示すブロック図である。
【００９７】
本実施形態によるビデオデコーダ1200は単一階層デコーダで構成され得るが、基礎階層デコーダ1210と向上階層デコーダ1250で構成された場合を中心に説明する。
【００９８】
向上階層デコーダ1250はエントロピ復号化部1255、逆量子化部1260、逆空間的変換部1265、モーション補償部1270および加重予測イメージ生成部1275を含み構成され得る。
【００９９】
エントロピ復号化部1255はエントロピ符号化方式の逆に無損失復号化を遂行し、加重予測因子、モーションデータ、およびテクスチャデータを抽出する。そして、テクスチャ情報は逆量子化部1260に提供し、モーションデータはモーション補償部1270に提供し、加重予測因子は加重予測イメージ生成部1275に提供する。
【０１００】
逆量子化部1260はエントロピ復号化部1255から伝達されたテクスチャ情報を逆量子化する。逆量子化過程はエンコーダ１１００端で所定のインデックスで表現し伝達した値からこれとマッチングされる量子化された係数を探す過程である。
【０１０１】
インデックスと量子化係数間のマッチング(matching)関係を表すテーブルはエンコーダ１１００端から伝達され得、あらかじめエンコーダとデコーダ間の約束によったものであり得る。
【０１０２】
逆空間的変換部1265は空間的変換を逆に遂行し、前記逆量子化の結果、生成された係数を空間的領域での残差イメージに復元する。例えば、ビデオエンコーダ端でウエーブレット方式で空間的変換された場合には逆空間的変換部1265は逆ウエーブレット変換を遂行するもので、ビデオエンコーダ端でDCT方式で空間的変換された場合には逆DCT変換を遂行するであろう。
【０１０３】
モーション補償部1270はエントロピ復号化部1255から提供されるモーションデータを利用して既復元されたビデオフレームをモーション補償してモーション補償フレームを生成する。もちろん、このようにモーション補償過程は現在フレームがエンコーダ端で時間的予測過程によって符号化された場合に限って適用される。
【０１０４】
加重予測イメージ生成部1275はエントロピ復号化部1255から加重予測因子の提供を受け、モーション補償部1270または基礎階層のアップサンプラ1245から復元された予測フレームの提供を受け予測フレームに加重予測因子を乗じて加重予測イメージを生成する。
【０１０５】
加算器1280は逆空間的変換部で復元される残差イメージが時間的予測によって生成されたものである時には、前記残余イメージと加重予測イメージ生成部1275から提供されている加重予測イメージを加算してビデオフレームを復元する。
【０１０６】
一方、基礎階層デコーダ1210はエントロピ復号化部1215、逆量子化部1220、逆空間的変換部1225、モーション補償部1230、加重予測イメージ生成部1235、およびアップサンプラ1245を含み構成され得る。
【０１０７】
アップサンプラ1245は基礎階層デコーダ1210で復元される基礎階層イメージを向上階層の解像度でアップサンプリングして加重予測イメージ生成部1275に提供する。もちろん、基礎階層の解像度と向上階層の解像度が同じならばこのようなアップサンプリング過程は省略し得る。
【０１０８】
これ以外に、エントロピ復号化部1215、逆量子化部1220、逆空間的変換部1225、モーション補償部1230、加重予測イメージ生成部1235の動作は向上階層に存在する同一名称の構成要素と同様であるため重複する説明は省略する。
【０１０９】
図13は本発明の実施形態による他のエンコーダの構成を示すブロック図である。
【０１１０】
本実施形態によるエンコーダは図5に図示されたエンコーディング方法を遂行する手段であって、大きく分けて基礎階層エンコーダ1310および向上階層エンコーダ1350で構成され得る。
【０１１１】
向上階層エンコーダ1350は空間的変換部1352、量子化部1354、エントロピ符号化部1356、モーション推定部1364、モーション補償部1366、選択部1368、加重予測因子生成部1370、加重予測イメージ生成部1372、逆量子化部1358、逆空間的変換部1360を含み構成され得る。
【０１１２】
加重予測因子生成部1370は選択部1368から現在ブロックの予測イメージの提供を受け、基礎階層エンコーダ1310のアップサンプラ1332から現在ブロックに対応する基礎階層イメージの提供を受け＜数式６＞によって加重予測因子αを計算する。加重予測イメージ生成部1372はモーション補償部1366から提供を受けた現在ブロックの予測イメージに加重予測因子生成部1370から伝達された加重予測因子を乗じて加重予測イメージを生成する。
【０１１３】
一方、基礎階層エンコーダ1310は、空間的変換部1312、量子化部1314、エントロピ符号化部1316、モーション推定部1324、モーション補償部1326、逆量子化部1318、逆空間的変換部1320、ダウンサンプラ1330、およびアップサンプラ1332を含み構成され得る。
【０１１４】
アップサンプラ1332は加算器1322から出力される信号、すなわち復元されたビデオフレームを必要時にアップサンプリングして向上階層エンコーダ1350の選択部1368と加重予測因子生成部1370に提供する。もちろん、向上階層の解像度と基礎階層の解像度が同一であるならばアップサンプラ1332は使用されないこともある。
【０１１５】
これ以外に空間的変換部1312、1352、量子化部1314、1354、エントロピ符号化部1316、1356、モーション推定部1324、1364、モーション補償部1326、1366、加重予測イメージ生成部1170、逆量子化部1318、1358、逆空間的変換部1320、1360の動作は図11に図示されたエンコーダに存在する同一名称の構成要素と同じものであるため重複する説明は省略する。
【０１１６】
図14は図13のエンコーダに対応するデコーダの構成を示すブロック図である。
【０１１７】
本実施形態によるビデオデコーダ1400は、大きく分けて基礎階層デコーダ11415と向上階層デコーダ11430を含み構成され得る。
【０１１８】
向上階層デコーダ11430は、エントロピ復号化部1455、逆量子化部11440、逆空間的変換部1465、モーション補償部1470、加重予測因子生成部1475、および加重予測イメージ生成部1480を含み構成され得る。
【０１１９】
加重予測因子生成部1475は、図14に図示されたエンコーダの加重予測因子生成部1370と同一な方法で加重予測因子を計算する。すなわち、モーション補償部1470から復元された予測イメージの提供を受け、基礎階層デコーダ1410のアップサンプラ1440から現在ブロックに対応する基礎階層イメージの提供を受けて＜数式６＞により加重予測因子αを計算する。加重予測イメージ生成部1480は、加重予測因子生成部1475によって、モーション補償部1470から提供を受けた現在ブロックの予測イメージに加重予測因子生成部1475から提供を受けた加重予測因子を乗じて加重予測イメージを生成する。
【０１２０】
加算器1485は、逆空間的変換部1465で復元される残差イメージが時間的予測によって生成されたものである時には、残差イメージと加重予測イメージ生成部1480から提供される加重予測イメージを加算してビデオフレームを復元する。
【０１２１】
一方、基礎階層デコーダ1410はエントロピ復号化部1415、逆量子化部1420、逆空間的変換部1425、モーション補償部1430、およびアップサンプラ1440を含み構成され得る。
【０１２２】
エントロピ復号化部1415、1455、逆量子化部1420、1460、逆空間的変換部1425、1465、モーション補償部1430、1470、およびアップサンプラ1440の動作は図12に図示されたビデオデコーダに存在する同一名称の構成要素と同じものであるため重複する説明は省略する。
【０１２３】
図15は本発明による加重予測を利用したビデオエンコーダのまた他の実施形態を示すブロック図である。
【０１２４】
本実施形態によるビデオエンコーダ１５００は、図6に図示されたエンコーディング方法を遂行する一実施形態である。ビデオエンコーダ１５００は、大きく分けて基礎階層エンコーダ1510と向上階層エンコーダ1550を含む。
【０１２５】
向上階層エンコーダ1550は、空間的変換部1552、量子化部1554、エントロピ符号化部1556、モーション推定部1560、モーション補償部1562、選択部1564、加重予測イメージ生成部1566を含み構成され得る。
【０１２６】
加重予測イメージ生成部1566は、選択部1564から提供を受けた現在ブロックの予測イメージに基礎階層エンコーダ1510の加重予測因子生成部1520から伝達された加重予測因子を乗じて加重予測イメージを生成する。
【０１２７】
一方、基礎階層エンコーダ1510は空間的変換部1522、量子化部1524、エントロピ符号化部1526、モーション推定部1514、モーション補償部1516、加重予測因子生成部1520、ダウンサンプラ1512、およびアップサンプラ1528を含み構成され得る。加重予測因子生成部1520およびアップサンプラ1528は概念上、基礎階層エンコーダ1510に含まれるものとしたが、ビデオエンコーダ１５００内のどこに存在してもさしつかえない。
【０１２８】
加重予測因子生成部1520は、向上階層エンコーダ1550のモーション推定部1560からモーションベクタの提供を受けてダウンサンプラ1512から提供を受けた基礎階層フレームで基礎階層参照イメージを探索し、向上階層で生成された予測イメージと同一な方法で基礎階層参照イメージを利用して基礎階層予測イメージを生成する。加重予測因子生成部1520は基礎階層イメージと基礎階層予測イメージを利用して＜数式７＞によって加重予測因子αを計算し、加重予測因子αを向上階層エンコーダ1550の加重予測イメージ生成部1566に提供する。
【０１２９】
これ以外に空間的変換部1522、1552、量子化部1524、1554、エントロピ符号化部1526、1556、モーション推定部1514、1560、モーション補償部1516、1562、選択部1564、ダウンサンプラ1512、アップサンプラ1528の動作は図11に図示されたエンコーダに存在する同一名称の構成要素と同じものであるため重複する説明は省略する。
【０１３０】
図16は図15のエンコーダに対応するデコーダの構成を示すブロック図である。
【０１３１】
本実施形態によるビデオデコーダ1600は、大きく分けて基礎階層デコーダ1610と向上階層デコーダ1650を含み構成され得る。
【０１３２】
向上階層デコーダ1650は、エントロピ復号化部1655、逆量子化部1660、逆空間的変換部1665、モーション補償部1670、および加重予測イメージ生成部1675を含み構成され得る。
【０１３３】
加重予測イメージ生成部1675はモーション補償部1670から提供を受けた現在ブロックの復元された予測イメージに基礎階層デコーダ1610の加重予測因子生成部1640から伝達された加重予測因子を乗じて加重予測イメージを生成する。
【０１３４】
加算器1680は、逆空間的変換部で復元される残差イメージが時間的予測によって生成されたものである時には、残差イメージと加重予測イメージ生成部1675から提供を受けた加重予測イメージを加算してビデオフレームを復元する。
【０１３５】
一方、基礎階層デコーダ1610はエントロピ復号化部1615、逆量子化部1620、逆空間的変換部1625、モーション補償部1635、加重予測因子生成部1640、およびアップサンプラ1645を含み構成され得る。
【０１３６】
加重予測因子生成部1640は図15に図示されたエンコーダの加重予測因子生成部1520と同一な方法で加重予測因子を計算する。すなわち、向上階層デコーダ1650のエントロピ復号化部1655からモーションベクタの提供を受けて加算器1630から提起された復元された基礎階層フレームで基礎階層参照イメージを探索し、向上階層で生成された予測イメージと同一な方法で基礎階層参照イメージを利用して基礎階層予測イメージを生成する。加重予測因子生成部1640は基礎階層イメージと基礎階層予測イメージを利用して＜数式７＞によって加重予測因子αを計算し、加重予測因子αを向上階層エンコーダ1650の加重予測イメージ生成部1675に提供する。
【０１３７】
エントロピ復号化部1615、1655、逆量子化部1620、1660、逆空間的変換部1625、1665、モーション補償部1635、1670、およびアップサンプラ1645の動作は図12に図示されたビデオデコーダに存在する同一名称の構成要素と同じものであるため重複する説明は省略する。
【０１３８】
今まで、図11ないし図16では他の識別番号を有しつつ、同一な名称を有する構成要素が複数個存在するものとして説明したが、特定名称を有する一つの構成要素が基礎階層および向上階層での動作をすべて処理するものと説明できることは当業者には自明な事実である。
【０１３９】
また、図11ないし図16の各構成要素はソフトウェア(software)または、FPGA(field-programmable gate array)やASIC(application-specific integrated circuit)のようなハードウェア(hardware)を意味し得る。しかし、前記構成要素はソフトウェアまたはハードウェアに限定される意味ではなく、アドレッシング(addressing)できる保存媒体にあるように構成され得ることもできて、またはそれ以上のプロセッサを実行させるように構成され得る。
【０１４０】
前記構成要素中で提供されている機能はさらに細分化された構成要素によって具現され、複数の構成要素を合わせて、特定の機能を遂行するものと具現することもできる。そればかりでなく、前記構成要素はシステム内の一つまたはそれ以上のコンピュータを実行させるように具現され得る。
【０１４１】
以上添付された図面を参照し、本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者は本発明がその技術的思想や必須の特徴を変更せず、他の具体的な形態として実施され得るということを理解するはずである。
【０１４２】
したがって以上で記述した実施形態はすべての面で例示的なものであり、限定的ではないものと理解しなければならない。
【符号の説明】
【０１４３】
1300 ビデオエンコーダ
1310 基礎階層エンコーダ
1312、1352 空間的変換部
1314、1354 量子化部
1316、1356 エントロピ符号化部
1318、1358 逆量子化部
1320、1360 逆空間的変換部
1324、1364 モーション推定部
1326、1366 モーション補償部
1330 ダウンサンプラ
1332 アップサンプラ
1350 向上階層エンコーダ
1368 選択部
1370 加重予測因子生成部
1372 加重予測イメージ生成部
【図４】
2011254555.tif 000016
【図５】
2011254555.tif 000017
【図６】
2011254555.tif 000018
【図７】
2011254555.tif 000019
【図８】
2011254555.tif 000020
【図９】
2011254555.tif 000021
【図１０】
2011254555.tif 000022
【図１１】
2011254555.tif 000023
【図１２】
2011254555.tif 000024
【図１３】
2011254555.tif 000025
【図１４】
2011254555.tif 000026
【図１５】
2011254555.tif 000027
【図１６】
2011254555.tif 000028
【図１】
2011254555.tif 000029
【図２】
2011254555.tif 000030
【図３】
2011254555.tif 000031