(57)【要約】【課題】  画像を効率的に符号化／復号化する方法及び装置を提供する。【解決手段】  主参照画像を基準に現在画像の動きを推定することによって、主参照画像の動きベクトルを算出し、この動きベクトルから少なくとも一つの補助参照画像の動きベクトルを誘導し、主参照画像または補助参照画像の動きベクトルを利用して、現在画像の予測画像を生成し、現在画像と予測画像との残差画像を符号化する画像符号化方法である。【選択図】      図２
2009188990.tif 000002
【特許請求の範囲】
【請求項１】
主参照画像を基準に現在画像の動きを推定することによって、前記主参照画像の動きベクトルを算出するステップと、
前記算出された動きベクトルから少なくとも一つの補助参照画像の動きベクトルを誘導するステップと、
前記主参照画像または前記補助参照画像の動きベクトルを利用して、前記現在画像の予測画像を生成するステップと、
前記現在画像と前記生成された予測画像との残差画像を符号化するステップと、を含むことを特徴とする画像符号化方法。
【請求項２】
前記動きベクトルを誘導するステップは、前記算出された動きベクトルを線形変換することによって、前記補助参照画像の動きベクトルを誘導することを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記動きベクトルを誘導するステップは、前記主参照画像と現在画像との時間的距離と、前記補助参照画像と前記主参照画像との時間的距離との関係を利用して、前記算出された動きベクトルを線形変換することを特徴とする請求項２に記載の画像符号化方法。
【請求項４】
前記主参照画像の動きベクトルによる現在画像の圧縮率と前記補助参照画像の動きベクトルによる現在画像の圧縮率とを比較し、前記比較結果によって、前記主参照画像の動きベクトル及び前記補助参照画像の動きベクトルのうちいずれか一つを選択するステップをさらに含むことを特徴とする請求項１に記載の画像符号化方法。
【請求項５】
前記参照画像のうち、前記現在画像に時間的に最も近い参照画像を前記補助参照画像として選択するステップをさらに含むことを特徴とする請求項１に記載の画像符号化方法。
【請求項６】
前記参照画像のうち、前記主参照画像の直前または直後に位置した参照画像を前記補助参照画像として選択するステップをさらに含むことを特徴とする請求項１に記載の画像符号化方法。
【請求項７】
所定のシンタックスを有する主参照画像の動きベクトル及び補助参照画像の位置を符号化するステップをさらに含むことを特徴とする請求項１に記載の画像符号化方法。
【請求項８】
ビットストリームから現在画像と予測画像との残差画像を復元するステップと、
前記現在画像の参照画像のうち、主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導するステップと、
前記主参照画像または前記補助参照画像の動きベクトルを利用して、前記現在画像の予測画像を生成するステップと、
前記生成された予測画像に前記復元された残差画像を加算することによって、前記現在画像を復元するステップと、を含むことを特徴とする画像復号化方法。
【請求項９】
前記動きベクトルを誘導するステップは、前記算出された動きベクトルを線形変換することによって、前記補助参照画像の動きベクトルを誘導することを特徴とする請求項８に記載の画像復号化方法。
【請求項１０】
前記動きベクトルを誘導するステップは、前記主参照画像と現在画像との時間的距離と、前記補助参照画像と前記主参照画像との時間的距離との関係を利用して、前記算出された動きベクトルを線形変換することを特徴とする請求項９に記載の画像復号化方法。
【請求項１１】
前記ビットストリームから前記現在画像の符号化情報を復元するステップをさらに含み、
前記動きベクトルを誘導するステップは、前記復元された情報に含まれた補助参照画像の位置に基づいて、選択的に前記主参照画像の動きベクトルを線形変換することによって、前記補助参照画像の動きベクトルを誘導することを特徴とする請求項８に記載の画像復号化方法。
【請求項１２】
ビットストリームから現在画像の半分に該当する現在フィールドと予測フィールドとの残差フィールドを復元するステップと、
前記現在フィールドの参照フィールドのうち、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導するステップと、
前記主参照フィールドまたは前記補助参照フィールドの動きベクトルを利用して、前記現在フィールドの予測フィールドを生成するステップと、
前記生成された予測フィールドに前記復元された残差フィールドを加算することによって、前記現在フィールドを復元するステップと、を含むことを特徴とする画像復号化方法。
【請求項１３】
前記動きベクトルを誘導するステップは、前記算出された動きベクトルを線形変換することによって、前記補助参照フィールドの動きベクトルを誘導することを特徴とする請求項１２に記載の画像復号化方法。
【請求項１４】
前記動きベクトルを誘導するステップは、前記主参照フィールドと前記現在フィールドとの時間的距離と、前記補助参照フィールドと前記主参照フィールドとの時間的距離との関係及び前記主参照フィールドと前記補助参照フィールドとの極性差を利用して、前記算出された動きベクトルを線形変換することを特徴とする請求項１３に記載の画像復号化方法。
【請求項１５】
ビットストリームから原本画像の第１残差画像と予測画像間の第２残差画像とを復元するステップと、
前記第１残差画像の参照画像のうち、主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導するステップと、
前記主参照画像または前記補助参照画像の動きベクトルを利用して、前記第１残差画像の予測画像を生成するステップと、
前記生成された予測画像に前記復元された第２残差画像を加算することによって、前記第１残差画像を復元するステップと、を含むことを特徴とする画像復号化方法。
【請求項１６】
前記動きベクトルを誘導するステップは、前記算出された動きベクトルを線形変換することによって、前記補助参照画像の動きベクトルを誘導することを特徴とする請求項１５に記載の画像復号化方法。
【請求項１７】
前記動きベクトルを誘導するステップは、前記主参照画像と前記第１残差画像との時間的距離と、前記補助参照画像と前記主参照画像との時間的距離との関係を利用して、前記算出された動きベクトルを線形変換することを特徴とする請求項１６に記載の画像復号化方法。
【請求項１８】
ビットストリームから原本画像の半分に該当する原本フィールドの第１残差フィールドと予測フィールド間の第２残差フィールドとを復元するステップと、
前記第１残差フィールドの参照フィールのうち、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導するステップと、
前記主参照フィールドまたは前記補助参照フィールドの動きベクトルを利用して、前記第１残差フィールドの予測フィールドを生成するステップと、
前記生成された予測フィールドに前記復元された第２残差フィールドを加算することによって、前記第１残差フィールドを復元するステップと、を含むことを特徴とする画像復号化方法。
【請求項１９】
前記動きベクトルを誘導するステップは、前記算出された動きベクトルを線形変換することによって、前記補助参照画像の動きベクトルを誘導することを特徴とする請求項１８に記載の画像復号化方法。
【請求項２０】
前記動きベクトルを誘導するステップは、前記主参照フィールドと前記第１残差フィールドとの時間的距離と、前記補助参照フィールドと前記主参照フィールドとの時間的距離との関係及び前記主参照フィールドと前記補助参照フィールドとの極性差を利用して、前記算出された動きベクトルを線形変換することを特徴とする請求項１９に記載の画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を符号化／復号化する方法及び装置に係り、特に、画像を効率的に符号化／復号化する方法及び装置に関する。
【背景技術】
【０００２】
現在広く使用されているコーデックは、４：２：０画像またはビット深が８ビットである画像を再生しうる。一方、画像フォーマットが４：４：４または４：２：２に拡張されるか、またはビット深が１０ビットに拡張された高画質の画像を再生しうる新たなコーデックについての研究が活発に進められている。しかし、４：２：０画像またはビット深が８ビットである画像を再生しうる既存のコーデックが搭載された端末機は、４：４：４画像、４：２：２画像またはビット深が１０ビットである画像を再生できない。４：４：４画像、４：２：２画像またはビット深が１０ビットである画像が一般化されれば、既存のコーデックが搭載された端末機は、何れも無用化される。これにより、一つの単一ストリームを既存のコーデックが搭載された端末機と新たなコーデックが搭載された端末機とを共に再生可能にする技術への要求が高まりつつある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、画像の動き推定を効率的に処理できるようにして、さらに、一つの単一ストリームを既存のコーデックが搭載された端末機と新たなコーデックが搭載された端末機とを共に再生可能にする方法及び装置を提供することである。
【０００４】
また、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することである。
【０００５】
本発明が解決しようとする技術的課題は、前記課題に限定されず、他の技術的課題が存在しうる。これは、当業者ならば、下記の記載から明確に理解しうる。
【課題を解決するための手段】
【０００６】
前記課題を解決するための本発明による第１画像符号化方法は、主参照画像を基準に現在画像の動きを推定することによって、前記主参照画像の動きベクトルを算出するステップと、前記算出された動きベクトルから少なくとも一つの補助参照画像の動きベクトルを誘導するステップと、前記主参照画像または前記補助参照画像の動きベクトルを利用して、前記現在画像の予測画像を生成するステップと、前記現在画像と前記生成された予測画像との残差画像を符号化するステップと、を含む。
【０００７】
前記他の課題を解決するために、本発明は、前記第１画像符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【０００８】
前記さらに他の課題を解決するための本発明による第１画像符号化装置は、主参照画像を基準に現在画像の動きを推定することによって、前記主参照画像の動きベクトルを算出し、前記算出された動きベクトルから少なくとも一つの補助参照画像の動きベクトルを誘導する動き推定部、前記主参照画像または前記補助参照画像の動きベクトルを利用して、前記現在画像の予測画像を生成する動き補償部と、前記現在画像と前記生成された予測画像との残差画像を符号化する符号化部と、を備える。
【０００９】
前記さらに他の課題を解決するための本発明による第１画像復号化方法は、ビットストリームから現在画像と予測画像間の残差画像とを復元するステップと、前記現在画像の参照画像のうち、主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導するステップと、前記主参照画像または前記補助参照画像の動きベクトルを利用して、前記現在画像の予測画像を生成するステップと、前記生成された予測画像に前記復元された残差画像を加算することによって、前記現在画像を復元するステップと、を含む。
【００１０】
前記さらに他の課題を解決するために、本発明は、前記第１画像復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１１】
前記さらに他の課題を解決するための本発明による第１画像復号化装置は、ビットストリームから現在画像と予測画像との残差画像を復元する復号化部と、前記現在画像の参照画像のうち、主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導し、前記主参照画像または前記補助参照画像の動きベクトルを利用して、前記現在画像の予測画像を生成する動き補償部と、前記生成された予測画像に前記復元された残差画像を加算することによって、前記現在画像を復元する加算器と、を備える。
【００１２】
前記さらに他の課題を解決するための本発明による第２画像符号化方法は、主参照フィールドを基準に現在画像の半分に該当する現在フィールドの動きを推定することによって、前記主参照フィールドの動きベクトルを算出するステップと、前記算出された動きベクトルから少なくとも一つの補助参照フィールドの動きベクトルを誘導するステップと、前記主参照フィールドまたは前記補助参照フィールドの動きベクトルを利用して、前記現在フィールドの予測フィールドを生成するステップと、前記現在フィールドと前記生成された予測フィールドとの残差フィールドを符号化するステップと、を含む。
【００１３】
前記さらに他の課題を解決するために、本発明は、前記第２画像符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１４】
前記さらに他の課題を解決するための本発明による第２画像符号化装置は、主参照フィールドを基準に現在画像の半分に該当する現在フィールドの動きを推定することによって、前記主参照フィールドの動きベクトルを算出し、前記算出された動きベクトルから少なくとも一つの補助参照フィールドの動きベクトルを誘導する動き推定部と、前記主参照フィールドまたは前記補助参照フィールドの動きベクトルを利用して、前記現在フィールドの予測フィールドを生成する動き補償部と、前記現在フィールドと前記生成された予測フィールドとの残差フィールドを符号化する符号化部と、を備える。
【００１５】
前記さらに他の課題を解決するための本発明による第２画像復号化方法は、ビットストリームから現在画像の半分に該当する現在フィールドと予測フィールドとの残差フィールドを復元するステップと、前記現在フィールドの参照フィールドのうち、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導するステップと、前記主参照フィールドまたは前記補助参照フィールドの動きベクトルを利用して、前記現在フィールドの予測フィールドを生成するステップと、前記生成された予測フィールドに前記復元された残差フィールドを加算することによって、前記現在フィールドを復元するステップと、を含む。
【００１６】
前記さらに他の課題を解決するために、本発明は、前記第２画像復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００１７】
前記さらに他の課題を解決するための本発明による第２画像復号化装置は、ビットストリームから現在画像の半分に該当する現在フィールドと予測フィールドとの残差フィールドを復元する復号化部と、前記現在フィールドの参照フィールドのうち、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導し、前記主参照フィールドまたは前記補助参照フィールドの動きベクトルを利用して、前記現在フィールドの予測フィールドを生成する動き補償部と、前記生成された予測フィールドに前記復元された残差フィールドを加算することによって、前記現在フィールドを復元する加算器と、を備える。
【００１８】
前記さらに他の課題を解決するための本発明による上位階層での第１画像符号化方法は、主参照画像を基準に原本画像と基本階層からの復元画像との第１残差画像の動きを推定することによって、前記主参照画像の動きベクトルを算出するステップと、前記算出された動きベクトルから少なくとも一つの補助参照画像の動きベクトルを誘導するステップと、前記主参照画像または前記補助参照画像の動きベクトルを利用して、前記第１残差画像の予測画像を生成するステップと、前記第１残差画像と前記生成された予測画像との第２残差画像を符号化するステップと、を含む。
【００１９】
前記さらに他の課題を解決するために、本発明は、前記上位階層での第１画像符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００２０】
前記さらに他の課題を解決するための本発明による上位階層での第１画像符号化装置は、主参照画像を基準に原本画像と基本階層からの復元画像との第１残差画像の動きを推定することによって、前記主参照画像の動きベクトルを算出し、前記算出された動きベクトルから少なくとも一つの補助参照画像の動きベクトルを誘導する動き推定部と、前記主参照画像または前記補助参照画像の動きベクトルを利用して、前記第１残差画像の予測画像を生成する動き補償部と、前記第１残差画像と前記生成された予測画像との第２残差画像を符号化する符号化部と、を備える。
【００２１】
前記さらに他の課題を解決するための本発明による上位階層での第１画像復号化方法は、ビットストリームから原本画像及び基本階層からの復元画像の第１残差画像と予測画像との第２残差画像を復元するステップと、前記第１残差画像の参照画像のうち、主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導するステップと、前記主参照画像または前記補助参照画像の動きベクトルを利用して、前記第１残差画像の予測画像を生成するステップと、前記生成された予測画像に前記復元された第２残差画像を加算することによって、前記第１残差画像を復元するステップと、を含む。
【００２２】
前記さらに他の課題を解決するために、本発明は、前記上位階層での第１画像復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００２３】
前記さらに他の課題を解決するための本発明による上位階層での第１画像復号化装置は、ビットストリームから原本画像及び基本階層からの復元画像の第１残差画像と予測画像との第２残差画像を復元する復号化部と、前記第１残差画像の参照画像のうち、主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導し、前記主参照画像または前記補助参照画像の動きベクトルを利用して、前記第１残差画像の予測画像を生成する動き補償部と、前記生成された予測画像に前記復元された第２残差画像を加算することによって、前記第１残差画像を復元する加算器と、を備える。
【００２４】
前記さらに他の課題を解決するための本発明による上位階層での第２画像符号化方法は、主参照フィールドを基準に原本画像の半分に該当する原本フィールドと基本階層からの復元フィールドとの第１残差フィールドの動きを推定することによって、前記主参照フィールドの動きベクトルを算出するステップと、前記算出された動きベクトルから少なくとも一つの補助参照フィールドの動きベクトルを誘導するステップと、前記主参照フィールドまたは前記補助参照フィールドの動きベクトルを利用して、前記第１残差フィールドの予測画像を生成するステップと、前記第１残差フィールドと前記生成された予測フィールドとの第２残差フィールドを符号化するステップと、を含む。
【００２５】
前記さらに他の課題を解決するために、本発明は、前記上位階層での第２画像符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００２６】
前記さらに他の課題を解決するための本発明による上位階層での第２画像符号化装置は、主参照フィールドを基準に原本画像の半分に該当する原本フィールドと基本階層からの復元フィールドとの第１残差フィールドの動きを推定することによって、前記主参照フィールドの動きベクトルを算出し、前記算出された動きベクトルから少なくとも一つの補助参照フィールドの動きベクトルを誘導する動き推定部と、前記主参照フィールドまたは前記補助参照フィールドの動きベクトルを利用して、前記第１残差フィールドの予測画像を生成する動き補償部と、前記第１残差フィールドと前記生成された予測フィールドとの第２残差フィールドを符号化する符号化部と、を備える。
【００２７】
前記さらに他の課題を解決するための本発明による上位階層での第２画像復号化方法は、ビットストリームから原本画像の半分に該当する原本フィールド及び基本階層からの残差フィールドの第１残差フィールドと予測フィールドとの第２残差フィールドを復元するステップと、前記第１残差フィールドの参照フィールドのうち、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導するステップと、前記主参照フィールドまたは前記補助参照フィールドの動きベクトルを利用して、前記第１残差フィールドの予測フィールドを生成するステップと、前記生成された予測フィールドに前記復元された第２残差フィールドを加算することによって、前記第１残差フィールドを復元するステップと、を含む。
【００２８】
前記さらに他の課題を解決するために、本発明は、前記上位階層での第２画像復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【００２９】
前記さらに他の課題を解決するための本発明による上位階層での第２画像復号化装置は、ビットストリームから原本画像の半分に該当する原本フィールド及び基本階層からの復元フィールドの第１残差フィールドと予測フィールドとの第２残差フィールドを復元する復号化部と、前記第１残差フィールドの参照フィールドのうち、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導し、前記主参照フィールドまたは前記補助参照フィールドの動きベクトルを利用して、前記第１残差フィールドの予測フィールドを生成する動き補償部と、前記生成された予測フィールドに前記復元された第２残差フィールドを加算することによって、前記第１残差フィールドを復元する加算器と、を備える。
【発明を実施するための最良の形態】
【００３０】
以下では、図面を参照して本発明の実施形態を詳細に説明する。特に、以下に記載された“画像”という用語は、ピクチャー、フレームのような同等な意味を有する他の用語に代替されて使われることを、当業者ならば分かる。
【００３１】
図１は、本発明の実施形態が適用されるスケーラブル画像処理環境を示す図である。図１を参照するに、スケーラブル画像処理環境は、第１符号化装置１０、第１復号化装置２０、第２符号化装置３０及び第２復号化装置４０で構成される。第１符号化装置１０、第１復号化装置２０は、４：２：０画像またはビット深が８ビットである画像を再生できる既存のコーデックが搭載された装置であり、第２符号化装置３０及び第２復号化装置４０は、４：４：４画像、４：２：２画像またはビット深が１０ビットである画像を再生できる新たなコーデックが搭載された装置である。
【００３２】
したがって、第１符号化装置１０は、４：２：０画像またはビット深が８ビットである画像を符号化し、その結果に該当するビットストリームを出力する。また、第２符号化装置３０は、４：４：４画像、４：２：２画像またはビット深が１０ビットである画像を符号化し、その結果に該当するビットストリームを出力する。既存のコーデックが搭載された第１復号化装置２０が、新たなコーデックが搭載された第２符号化装置３０から出力されたビットストリームを再生できる互換性を順方向互換性という。また、新たなコーデックが搭載された第２復号化装置４０が、既存のコーデックが搭載された第１符号化装置１０から出力されたビットストリームを再生できる互換性を逆方向互換性という。特に、以下で説明される本発明の実施形態は、順方向互換性を支援する。
【００３３】
図２は、本発明の一実施形態による画像符号化装置１００の構成図である。図２を参照するに、本実施形態による画像符号化装置は、動き推定部１０１、動き補償部１０２、減算器１０３、第１変換部１０４、量子化部１０５、エントロピー符号化部１０６、ビットストリーム生成部１０７、逆量子化部１０８、逆変換部１０９、加算器１１０及びバッファ１１１で構成される。本実施形態での画像の処理単位に該当するブロックのサイズは、最も一般的な１６×１６であると仮定する。このような１６×１６のブロックをマクロブロックともいう。但し、当業者ならば、前記の１６×１６以外に、１６×８、８×１６、８×８、４×４の多様なサイズとなりうることが分かる。
【００３４】
特に、以下では、図２に示された画像符号化装置１００で、順次走査方式によって画像を符号化する場合と飛越し走査方式によって画像を符号化する場合とに分けて説明する。まず、図２に示された画像符号化装置１００で、順次走査方式によって画像を符号化する場合を説明する。順次走査方式とは、一つの画像を開始から終了まで順次に画面に表示する方式である。したがって、順次走査方式によって画像を符号化する過程で処理される多様な種類の画像は、画像符号化装置１００に入力された画像と同じ形態の完壁な画像である。
【００３５】
動き推定部１０１は、バッファ１１１に保存された参照画像のうち、主参照画像を基準に動画に該当する一連の画像のうち現在入力された画像（以下、これを“現在画像”と略す）の動きを推定することによって、主参照画像の動きベクトルを算出する。さらに詳細に説明すれば、動き推定部１０１は、バッファ１１１に保存された参照画像のうちいずれか一つを主参照画像として選択し、現在画像を構成するブロックのそれぞれに対して現在画像のブロックと最もよくマッチングされる主参照画像のブロックを決定し、このように決定された主参照画像のブロックと現在画像のブロックとの変位を表す動きベクトルを算出する。例えば、動き推定部１０１は、バッファ１１１に保存された参照画像のうち、現在画像と全体的に最もよくマッチングされる参照画像を主参照画像として選択しうる。このような主参照画像は、現在画像に時間的に最も近い参照画像ともなり、他の参照画像ともなる。
【００３６】
また、動き推定部１０１は、バッファ１１１に保存された参照画像のうち、主参照画像から一定の時間的距離以内の少なくとも一つの参照画像を補助参照画像として選択し、前記のように算出された主参照画像の動きベクトルを線形変換することによって、主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導する。さらに詳細に説明すれば、動き推定部１０１は、主参照画像と現在画像との時間的距離と、補助参照画像と主参照画像との時間的距離との関係を利用して、主参照画像の動きベクトルを線形変換することによって、補助参照画像の動きベクトルを誘導する。さらに具体的な動きベクトル誘導過程については、以下で詳細に説明する。
【００３７】
一方、従来の画像符号化方式は、バッファ１１１に保存された参照画像のそれぞれに対して現在画像の動きを推定する過程、すなわち参照画像内で現在画像のブロックと最もよくマッチングされる参照画像のブロックを一々探索する過程を通じて、参照画像のそれぞれの動きベクトルを算出したため、参照画像の数が増加するにつれて動きベクトル算出過程の複雑度が大きく上昇し、非常に非効率的であった。本実施形態によれば、前記のような参照画像探索過程は、主参照画像に対してのみ実施され、他の参照画像の動きベクトルは、主参照画像の動きベクトルから下記に例示された数式を利用して簡単に誘導されるため、多数の参照画像に対する動きベクトル獲得過程が非常に簡単であり、効率的になる。
【００３８】
図３は、本実施形態に適用される順次走査方式での主参照画像と補助参照画像との関係を示す図である。図３に示された参照画像のうち、現在画像から第５参照画像が主参照画像として選択され、補助参照画像の選択基準が主参照画像に最も近い２つの参照画像のうちいずれか一つである場合ならば、動き推定部１０１は、この第５参照画像の直前及び直後に位置した第６参照画像と第４参照画像とを補助参照画像として選択する。主参照画像が全体的に現在画像に最もよくマッチングされるため、動画の時間的連続性によって主参照画像の直前及び直後に位置した第６参照画像と第４参照画像とが現在画像によくマッチングされる可能性が非常に高い。動き推定部１０１は、このような特性を考慮して、第６参照画像と第４参照画像とを補助参照画像として選択したが、この参照画像以外の他の参照画像を補助参照画像として選択することもできる。
【００３９】
まず、図３に示された第６参照画像が補助参照画像として選択された場合、すなわち、補助参照画像が主参照画像より現在画像から時間的にさらに遠い場合、動き推定部１０１は、次の式（１）によって補助参照画像の動きベクトルを誘導しうる。次の式（１）で、“ＭＶｒｘ”は、主参照画像の動きベクトルの垂直成分であり、“ＭＶｒｙ”は、主参照画像の動きベクトルの水平成分である。また、“ＩＮＤＥＸｒｅｆ”は、主参照画像と現在画像との時間的距離であり、“Ａ”は、補助参照画像と主参照画像との時間的距離を表す。また、“１／２ＩＮＤＥＸｒｅｆ”は、式（１）の結果値を四捨五入するための値である。
【００４０】
【数１】
2009188990.tif 000003
すなわち、動き推定部１０１は、補助参照画像が主参照画像より現在画像から時間的にさらに遠い場合に、主参照画像の動きベクトルに主参照画像と現在画像との時間的距離と、補助参照画像と主参照画像との時間的距離との和及び、主参照画像と現在画像との時間的距離の比を積算することによって、補助参照画像の動きベクトルを誘導する。次いで、図３に示された第４参照画像が補助参照画像として選択された場合、すなわち、補助参照画像が主参照画像より現在画像から時間的にさらに近い場合、動き推定部１０１は、次の式（２）によって補助参照画像の動きベクトルを誘導しうる。次の式（２）で、“ＭＶｒｘ”は、主参照画像の動きベクトルの水平成分であり、“ＭＶｒｙ”は、主参照画像の動きベクトルの垂直成分である。また、“ＩＮＤＥＸｒｅｆ”は、主参照画像と現在画像との時間的距離であり、“Ｂ”は、補助参照画像と主参照画像との時間的距離を表す。また、“１／２ＩＮＤＥＸｒｅｆ”は、式（１）の結果値を四捨五入するための値である。
【００４１】
【数２】
2009188990.tif 000004
すなわち、動き推定部１０１は、補助参照画像が主参照画像より現在画像から時間的にさらに近い場合に、主参照画像の動きベクトルに主参照画像と現在画像との時間的距離と、補助参照画像と主参照画像との時間的距離との差及び、主参照画像と現在画像との時間的距離の比を積算することによって、補助参照画像の動きベクトルを誘導する。
【００４２】
図４は、本実施形態に適用される補助参照画像が一つのみ存在する場合を示す図である。図４に示された場合は、バッファ１１１の容量が二つの参照画像のみを保存しうる大きさである場合や現在画像が動画に該当する一連の画像のうち第３画像である場合に発生する。まず、バッファ１１１の容量が二つの参照画像のみを保存しうる大きさである場合には、バッファ１１１に保存された二つの参照画像のうち何れか一つは、主参照画像とならねばならないため、補助参照画像は、一つのみ存在しうる。次いで、現在画像が動画に該当する一連の画像のうち第３画像である場合には、現在本実施形態によって画像符号化過程が完了して復元された画像、すなわち参照画像が二つ以上存在できなく、これらのうち何れか一つは、主参照画像とならねばならないため、補助参照画像は、一つのみ存在しうる。
【００４３】
また、動き推定部１０１は、主参照画像の動きベクトルによる現在画像の圧縮率と補助参照画像の動きベクトルによる現在画像の圧縮率とを比較し、その比較結果によって、主参照画像の動きベクトル及び補助参照画像の動きベクトルのうち何れか一つを選択する。すなわち、動き推定部１０１は、主参照画像の動きベクトルによる現在画像の圧縮率がさらに高い場合には、主参照画像の動きベクトルを選択し、補助参照画像の動きベクトルによる現在画像の圧縮率がさらに高い場合には、補助参照画像の動きベクトルを選択する。さらに詳細に説明すれば、動き推定部１０１は、主参照画像の動きベクトルが指示する主参照画像内のブロックと現在画像のブロックとの差と、補助参照画像の動きベクトルが指示する補助参照画像内のブロックと現在画像のブロックとの差とを比較し、その差がさらに小さい側の動きベクトルを選択する。主参照画像は、全体的に現在画像に最もよくマッチングされる参照画像や、現在画像の動き推定は、ブロック単位で行われるため、現在画像を構成するブロックのうち何れかのブロックに対しては、主参照画像より他の参照画像がさらによくマッチングされうる。
【００４４】
動き補償部１０２は、動き推定部１０１によって選択された主参照画像または補助参照画像の動きベクトルを利用して、バッファ１１１に保存された参照画像のうち少なくとも一つの参照画像から現在画像の予測画像を生成する。さらに詳細に説明すれば、動き補償部１０２は、動き推定部１０１によって選択された主参照画像または補助参照画像の動きベクトルが指示する少なくとも一つの参照画像のブロックの値を現在画像のブロックの値に決定することによって、現在画像の予測画像を生成する。
【００４５】
前記の動き推定部１０１及び動き補償部１０２による画像圧縮方式は、何れか一つの動画を構成する色々な画像間の時間的な重畳性を利用して画像を圧縮する方式であって、インター符号化方式という。何れか一つの画像内の空間的な重畳性を利用して画像を圧縮する方式をイントラ符号化方式というが、本実施形態の説明の便宜上、本実施形態にインター符号化方式のみが適用されるとしたが、当業者ならば、本実施形態にイントラ符号化方式も適用されうるということが分かる。また、イントラ符号化方式は、画像符号化装置１００に入力される画像に適用されてもよく、変換部１０４によって変換された結果に適用されてもよい。
【００４６】
減算器１０３は、現在画像から動き補償部１０２によって生成された予測画像を減算することによって、現在画像と予測画像との残差画像を生成する。変換部１０４は、減算器１０３によって生成された残差画像を色空間から周波数空間に変換することによって、この残差画像の周波数係数を生成する。例えば、変換部１０４は、ＤＨＴ（Ｄｉｓｃｒｅｔｅ  Ｈａｄａｍａｒｄ  Ｔｒａｎｓｆｏｒｍ）、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を利用して、減算器１０３によって生成された残差画像を色空間から周波数空間に変換しうる。
【００４７】
量子化部１０５は、変換部１０４によって生成された周波数係数を量子化する。さらに詳細に説明すれば、量子化部１０５は、変換部１０４によって生成された周波数係数を量子化パラメータで割り、その結果を整数値に近似化する。エントロピー符号化部１０６は、量子化部１０５によって量子化された結果に該当する整数値及び現在画像の符号化情報をエントロピー符号化することによってビットストリームを生成する。例えば、エントロピー符号化部１０６は、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ−Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）、ＣＡＶＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）を利用して、量子化部１０５によって量子化された結果に該当する整数値をエントロピー符号化しうる。
【００４８】
ここで、現在画像の符号化情報は、動き推定部１０１での画像符号化過程で発生した情報であって、画像復号化装置で現在画像を復元しようとする時に必要である。このような情報には、参照画像の索引、動きベクトルが挙げられる。特に、本実施形態による画像符号化装置１００に対応する画像復号化装置では、主参照画像の動きベクトルのみを送り、補助参照画像の動きベクトルに対しては、主参照画像の動きベクトルから誘導する。したがって、前記のような一般的な情報以外に、補助参照画像の動きベクトルを誘導するための情報をさらに必要とする。
【００４９】
但し、画像符号化装置１００は、画像復号化装置に補助参照画像の動きベクトルを誘導するための情報を送らず、主参照画像と同様に、補助参照画像の索引と補助参照画像の動きベクトルとを直接送ることもできる。この場合、画像復号化装置側での補助参照画像の動きベクトル誘導過程は、不要になる。一般的に、補助参照画像の索引と補助参照画像の動きベクトルを表現するためのデータ量とが大きいため、画像符号化装置１００が画像復号化装置に補助参照画像の動きベクトルを誘導するための情報を送ることがさらに効率的である。
【００５０】
図５は、本発明の一実施形態による画像復号化情報のシンタックスを示す図である。特に、図５には、補助参照画像の動きベクトルを誘導するための情報のシンタックスが示されている。すなわち、エントロピー符号化部１０６は、図５に示されたようなシンタックスを有する主参照画像の動きベクトル及び補助参照画像の位置をエントロピー符号化する。例えば、補助参照画像と主参照画像との距離が“１”、すなわち補助参照画像が主参照画像に最も近い２つの参照画像のうち何れか一つである場合ならば、１ビットの“Ｂｏｏｌ＿ｎｅｘｔ”で補助参照画像の位置を表せる。すなわち、“Ｂｏｏｌ＿ｎｅｘｔ”＝１は、現在画像の近い側に主参照画像から１フレーム間隔の距離にある補助参照画像を表し、“Ｂｏｏｌ＿ｎｅｘｔ”＝０は、現在画像の遠い側に主参照画像から１フレーム間隔の距離にある補助参照画像を表す。特に、動き推定部１０１での圧縮率比較過程でいかなる補助参照画像の動きベクトルも選択されなかったとすれば、エントロピー符号化部１０６は、主参照画像の動きベクトルのみをエントロピー符号化する。
【００５１】
逆量子化部１０８は、量子化部１０５によって量子化された結果に該当する整数値を逆量子化することによって、現在画像と予測画像との残差画像の周波数係数を復元する。さらに詳細に説明すれば、逆量子化部１０８は、量子化部１０５によって近似化された整数値に量子化パラメータを積算することによって、現在画像と予測画像との残差画像の周波数係数を復元する。逆変換部１０９は、逆量子化部１０８によって復元された周波数係数を周波数空間から色空間に変換することによって、現在画像と予測画像との残差画像を復元する。加算器１１０は、動き補償部１０２によって生成された予測画像に逆変換部１０９によって復元された残差画像を加算することによって、現在画像の復元画像を生成し、この復元画像をバッファ１１１に保存する。バッファ１１１に現在保存された復元画像は、現在画像以後に登場する未来の画像または現在画像以前に存在した過去の画像の参照画像として使われる。
【００５２】
次いで、図２に示された画像符号化装置１００で飛越し走査方式によって画像を符号化する場合を説明する。飛越し走査方式とは、一つの画像を奇数番目のラインと偶数番目のラインと分けて画面に表示する方式である。すなわち、一つの画像は、奇数番目のラインで構成された上部フィールドと下部フィールドとに分けられる。したがって、順次走査方式によって画像を符号化する過程で処理される色々な種類の画像は、画像符号化装置１００に入力された画像の半分に該当する画像である。但し、飛越し走査方式によって画像を符号化する過程は、順次走査方式の場合に対して、一つの完全画像単位ではないフィールド単位で処理される点を除外すれば、順次走査方式の場合と類似しているため、以下では、その差のある部分についてのみ説明する。
【００５３】
動き推定部１０１は、バッファ１１１に保存された参照フィールドのうち主参照フィールドを基準に、動画に該当する一連の画像のうち現在入力された画像の半分に該当する画像（以下“現在フィールド”という）の動きを推定することによって、主参照フィールドの動きベクトルを算出する。ここで、現在フィールドは、上部フィールドまたは下部フィールドのうち何れか一つとなる。また、動き推定部１０１は、バッファ１１１に保存された参照フィールドのうち、主参照フィールドから一定の時間的距離以内の少なくとも一つの参照フィールドを補助参照フィールドとして選択し、前記のように算出された主参照フィールドの動きベクトルを線形変換することによって、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導する。
【００５４】
特に、動き推定部１０１は、ある参照画像の上部フィールドまたは下部フィールドのうち何れか一つを主参照フィールドとして選択したならば、バッファ１１１からこの主参照フィールドとその参照画像の他のフィールドとを同時に読み込み、その他のフィールドを補助参照フィールドとして選択することによって、バッファ１１１に対するアクセス回数を減らすことができる。また、動き推定部１０１は、現在入力された画像の下部フィールドが現在フィールドであれば、この画像の上部フィールドを主参照フィールドまたは補助参照フィールドとして選択しうる。飛越し走査方式は、上部フィールドを先に画面に表示し、次いで、下部フィールドを画面に表示するため、ある画像の下部フィールドが現在フィールドであれば、この画像の上部フィールドに対する符号化過程が完了して、この上部フィールドの復元フィールド、すなわち参照フィールドが生成されている。
【００５５】
但し、飛越し走査方式の場合に、順次走査方式の場合とは異なり、主参照フィールドと補助参照フィールドとが画像の垂直方向に１画素ほどずれる場合、すなわち主参照フィールドと補助参照フィールドとの極性が異なる場合が発生しうる。例えば、主参照フィールドが上部極性であり、補助参照フィールドが下部極性である場合や、主参照フィールドが下部極性であり、補助参照フィールドが上部極性である場合である。したがって、飛越し走査方式の主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導する場合には、このような主参照フィールドと補助参照フィールドとの極性差が考慮されねばならない。主参照フィールドと補助参照フィールドとの極性が同じである場合には、順次走査方式と類似した方式で主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導しうる。すなわち、動き推定部１０１は、主参照フィールドと現在フィールドとの時間的距離と、補助参照フィールドと主参照フィールドとの時間的距離との関係及び、主参照フィールドと補助参照フィールドとの極性差を利用して、主参照フィールドの動きベクトルを線形変換することによって、補助参照フィールドの動きベクトルを誘導する。さらに具体的な動きベクトル誘導過程については、以下で詳細に説明する。
【００５６】
図６は、本実施形態に適用される飛越し走査方式での現在フィールドと主参照フィールドとの極性が同じである場合を示す図である。図６に示された参照フィールドのうち、現在フィールドから第５参照フィールドが主参照フィールドとして選択され、補助参照フィールドの選択基準が主参照フィールドに最も近い２つのフィールドのうちいずれか一つである場合ならば、動き推定部１０１は、この第５参照フィールドの直前及び直後に位置した第６参照フィールドと第４参照フィールドとを補助参照フィールドとして選択しうる。
【００５７】
まず、図６に示された第６参照フィールドが補助参照フィールドとして選択された場合、すなわち、補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに遠い場合、動き推定部１０１は、次の式（３）によって、補助参照フィールドの動きベクトルを誘導しうる。次の式（３）で、“ＭＶｒｘと”は、主参照フィールドに対する動きベクトルのｘ成分であり、“ＭＶｒｙ”は、主参照フィールドに対する動きベクトルのｙ成分である。また、“ＩＮＤＥＸｒｅｆ”は、主参照フィールドと現在フィールドとの時間的距離であり、“Ａ”は、補助参照フィールドと主参照フィールドとの時間的距離を表す。また、“１／２ＩＮＤＥＸｒｅｆ”は、式（３）の結果値を反拝するための値である。
【００５８】
【数３】
2009188990.tif 000005
現在フィールドと主参照フィールドとの極性が同一であり、補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに遠い場合に、前記積算結果のうち垂直成分の積算結果を補正せねばならない。すなわち、動き推定部１０１は、現在フィールドと主参照フィールドとの極性が同一であり、補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに遠い場合に、主参照フィールドの動きベクトルに主参照フィールドと現在フィールドとの時間的距離と、補助参照フィールドと主参照フィールドとの時間的距離との和及び、主参照フィールドと現在フィールドとの時間的距離の比を積算し、その積算結果のうち垂直成分の積算結果に主参照フィールドと補助参照フィールドとの極性差を補正するオフセットを加算することによって、補助参照フィールドの動きベクトルを誘導する。
【００５９】
飛越し走査方式の画像符号化過程に使われるフィールドは、本来画像の半分に該当するため、主参照フィールドと補助参照フィールドとの極性差を補正するオフセットの大きさは、本来画像を構成する画素単位の半画素単位となる。一般的に、画像補間を通じて、画像をさらに精密に復元するために、動きベクトルは、半画素単位または１／４画素単位で表現される。もし、本実施形態での動きベクトルが半画素単位で表現されれば、前記オフセットの大きさ単位は、１となる。この場合、図６に示されたように、主参照フィールドが上部極性であり、補助参照フィールドが下部極性であれば、前記オフセットは、−１となる。図６に示されたところと異なり、主参照フィールドが下部極性であり、補助参照フィールドが上部極性であれば、前記オフセットは、＋１となる。もし、本実施形態での動きベクトルが１／４画素単位で表現されれば、前記オフセットの大きさ単位は、２となる。この場合、図６に示されたように、主参照フィールドが上部極性であり、補助参照フィールドが下部極性であれば、前記オフセットは、−２となる。図６に示されたところと異なり、主参照フィールドが下部極性であり、補助参照フィールドが上部極性であれば、前記オフセットは、＋２となる。
【００６０】
次いで、図６に示された第４参照フィールドが補助参照フィールドとして選択された場合、すなわち、補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに近い場合、動き推定部１０１は、次の式（４）によって、補助参照フィールドの動きベクトルを誘導しうる。次の式（４）で、“ＭＶｒｘ”は、主参照フィールドに対する動きベクトルのｘ成分であり、“ＭＶｒｙ”は、主参照フィールドに対する動きベクトルのｙ成分である。また、“ＩＮＤＥＸｒｅｆ”は、主参照フィールドと現在フィールドとの時間的距離であり、“Ｂ”は、補助参照フィールドと主参照フィールドとの時間的距離を表す。また、“１／２ＩＮＤＥＸｒｅｆ”は、式（４）の結果値を四捨五入するための値である。
【００６１】
【数４】
2009188990.tif 000006
現在フィールドと主参照フィールドとの極性が同一であり、補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに近い場合に、前記積算結果のうち垂直成分の積算結果を補正せねばならない。すなわち、動き推定部１０１は、現在フィールドと主参照フィールドとの極性が同一であり、補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに近い場合に、主参照フィールドの動きベクトルに主参照フィールドと現在フィールドとの時間的距離と、補助参照フィールドと主参照フィールドとの時間的距離との差及び、主参照フィールドと現在フィールドとの時間的距離の比を積算し、その積算結果のうち垂直成分の積算結果に主参照フィールドと補助参照フィールドとの極性差を補正するオフセットを加算することによって、補助参照フィールドの動きベクトルを誘導する。式（４）でのオフセット値は、式（３）でのオフセット値と同一であるので、式（４）でのオフセット値についての説明は省略する。
【００６２】
図７は、本実施形態に適用される飛越し走査方式での現在フィールドと主参照フィールドとの極性が相異なる場合を示す図である。図７に示された参照フィールドのうち、現在フィールドから第５参照フィールドが主参照フィールドとして選択され、補助参照フィールドの選択基準が主参照フィールドに最も近い２つのフィールドのうち何れか一つである場合ならば、動き推定部１０１は、この第５参照フィールドの直前及び直後に位置した第６参照フィールドと第４参照フィールドとを補助参照フィールドとして選択する。
【００６３】
まず、図７に示された第６参照フィールドが補助参照フィールドとして選択された場合、すなわち補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに遠い場合、動き推定部１０１は、次の式（５）によって、補助参照フィールドの動きベクトルを誘導しうる。次の式（５）で、“ＭＶｒｘ”は、主参照フィールドに対する動きベクトルのｘ成分であり、“ＭＶｒｙ”は、主参照フィールドに対する動きベクトルのｙ成分である。また、“ＩＮＤＥＸｒｅｆ”は、主参照フィールドと現在フィールドとの時間的距離であり、“Ａ”は、補助参照フィールドと主参照フィールドとの時間的距離を表す。また、“１／２ＩＮＤＥＸｒｅｆ”は、式（５）の結果値を四捨五入するための値である。
【００６４】
【数５】
2009188990.tif 000007
現在フィールドと主参照フィールドとの極性が相異なり、補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに遠い場合に、前記積算結果のうち垂直成分の積算結果を補正せねばならない。すなわち、動き推定部１０１は、現在フィールドと主参照フィールドとの極性が相異なり、補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに遠い場合に、主参照フィールドの動きベクトルに現在フィールドと主参照フィールドとの極性差を補正するオフセットを加算し、その加算結果に主参照フィールドと現在フィールドとの時間的距離と、補助参照フィールドと主参照フィールドとの時間的距離との和及び、主参照フィールドと現在フィールドとの時間的距離の比を積算することによって、補助参照フィールドの動きベクトルを誘導する。
【００６５】
本実施形態での動きベクトルが半画素単位で表現されれば、前記オフセットの大きさ単位は、１となる。この場合、図７に示したように、現在フィールドが上部極性であり、主参照フィールドが下部極性であれば、前記オフセットは、＋１となる。図７に示されたところと異なり、現在フィールドが下部極性であり、主参照フィールドが上部極性であれば、前記オフセットは、−１となる。もし、本実施形態での動きベクトルが１／４画素単位で表現されれば、前記オフセットの大きさ単位は、２となる。この場合、図７に示したように、現在フィールドが上部極性であり、主参照フィールドが下部極性であれば、前記オフセットは、＋２となる。図７に示されたところと異なり、現在フィールドが下部極性であり、主参照フィールドが上部極性であれば、前記オフセットは、−２となる。
【００６６】
次いで、図７に示された第４参照フィールドが補助参照フィールドとして選択された場合、すなわち、補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに近い場合、動き推定部１０１は、次の式（６）によって、補助参照フィールドの動きベクトルを誘導しうる。次の式（６）で、“ＭＶｒｘ”は、主参照フィールドに対する動きベクトルのｘ成分であり、“ＭＶｒｙ”は、主参照フィールドに対する動きベクトルのｙ成分である。また、“ＩＮＤＥＸｒｅｆ”は、主参照フィールドと現在フィールドとの時間的距離であり、“Ｂ”は、補助参照フィールドと主参照フィールドとの時間的距離を表す。また、“１／２ＩＮＤＥＸｒｅｆ”は、式（６）の結果値を四捨五入するための値である。
【００６７】
【数６】
2009188990.tif 000008
現在フィールドと主参照フィールドとの極性が相異なり、補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに近い場合に、前記積算結果のうち垂直成分の積算結果を補正せねばならない。すなわち、動き推定部１０１は、現在フィールドと主参照フィールドとの極性が異なり、補助参照フィールドが主参照フィールドより現在フィールドから時間的にさらに近い場合に、主参照フィールドの動きベクトルに現在フィールドと主参照フィールドとの極性差を補正するオフセットを加算し、その加算結果に主参照フィールドと現在フィールドとの時間的距離と、補助参照フィールドと主参照フィールドとの時間的距離との差及び、主参照フィールドと現在フィールドとの時間的距離の比を積算することによって、補助参照フィールドの動きベクトルを誘導する。式（６）でのオフセット値は、式（５）でのオフセット値と同一であるので、式（６）でのオフセット値についての説明は省略する。
【００６８】
また、動き推定部１０１は、主参照フィールドの動きベクトルによる現在フィールドの圧縮率と補助参照フィールドの動きベクトルによる現在フィールドの圧縮率とを比較し、その比較結果によって、主参照フィールドの動きベクトル及び補助参照フィールドの動きベクトルのうち何れか一つを選択する。動き補償部１０２は、動き推定部１０１によって選択された主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、バッファ１１１に保存された参照フィールドのうち少なくとも一つの参照フィールドから現在フィールドの予測フィールドを生成する。さらに詳細に説明すれば、動き補償部１０２は、動き推定部１０１によって選択された主参照フィールドまたは補助参照フィールドの動きベクトルが指示する少なくとも一つの参照フィールドのブロックの値を現在フィールドのブロックの値に決定することによって、現在フィールドの予測フィールドを生成する。
【００６９】
減算器１０３は、現在フィールドから動き補償部１０２によって生成された予測フィールドを減算することによって、現在フィールドと予測フィールドとの残差フィールドを生成する。変換部１０４は、減算器１０３によって生成された残差フィールドを色空間から周波数空間に変換することによって、この残差フィールドの周波数係数を生成する。
【００７０】
量子化部１０５は、変換部１０４によって生成された周波数係数を量子化する。さらに詳細に説明すれば、量子化部１０５は、変換部１０４によって生成された周波数係数を量子化パラメータで割り、その結果を整数値に近似化する。エントロピー符号化部１０６は、量子化部１０５によって量子化された結果に該当する整数値及び現在フィールドの符号化情報をエントロピー符号化することによって、ビットストリームを生成する。
【００７１】
逆量子化部１０８は、量子化部１０５によって量子化された結果に該当する整数値を逆量子化することによって、残差フィールドの周波数係数を復元する。さらに詳細に説明すれば、逆量子化部１０８は、量子化部１０５によって近似化された整数値に量子化パラメータを積算することによって、現在フィールドと予測フィールドとの残差フィールドの周波数係数を復元する。逆変換部１０９は、逆量子化部１０８によって復元された周波数係数を周波数空間から色空間に変換することによって、現在フィールドと予測フィールドとの残差フィールドを復元する。加算器１１０は、動き補償部１０２によって生成された予測フィールドに逆変換部１０９によって復元された残差フィールドを加算することによって、現在フィールドの復元フィールドを生成し、この復元フィールドをバッファ１１１に保存する。
【００７２】
図８は、本発明の一実施形態による画像復号化装置２００の構成図である。図８を参照するに、本実施形態による画像符号化装置は、エントロピー復号化部２０１、逆量子化部２０２、逆変換部２０３、動き補償部２０４、加算器２０５及びバッファ２０６で構成される。図８に示された画像復号化装置２００の画像復元過程は、図２に示された画像符号化装置１００の画像復元過程と同一である。したがって、以下省略された内容であっても、図２に示された画像符号化装置１００について前述された内容は、本実施形態による画像復号化装置２００にも適用される。
【００７３】
特に、以下では、図８に示された画像復号化装置２００で順次走査方式によって画像を復号化する場合と飛越し走査方式によって画像を復号化する場合とに分けて説明する。まず、図８に示された画像復号化装置２００で順次走査方式によって画像を復号化する場合を説明する。
【００７４】
エントロピー復号化部２０１は、図２に示された画像符号化装置１００から伝送されたビットストリームをエントロピー復号化することによって、現在画像と予測画像との残差画像の量子化結果に該当する整数値及び現在画像の符号化情報を復元する。逆量子化部２０２は、エントロピー復号化部２０１によって復元された整数値を逆量子化することによって、現在画像と予測画像との残差画像の周波数係数を復元する。逆変換部２０３は、逆量子化部２０２によって復元された周波数係数を周波数空間から色空間に変換することによって、現在画像と予測画像との残差画像を復元する。
【００７５】
動き補償部２０４は、エントロピー復号化部２０１によって復元された情報に含まれた補助参照画像の位置に基づいて、選択的にこの情報に含まれた主参照画像の動きベクトルを線形変換することによって、この位置に該当する補助参照画像の動きベクトルを誘導する。もし、画像符号化装置１００での動き推定過程でいかなる補助参照画像の動きベクトルも選択されなかったとすれば、画像復号化装置２００が画像符号化装置１００から受信したビットストリームのシンタックス内には、補助参照画像の位置の値は存在せず、この場合に、動き補償部２０４は、補助参照画像の動きベクトルを誘導しない。さらに詳細に説明すれば、動き補償部２０４は、主参照画像と現在画像との時間的距離及び前記位置に該当する補助参照画像と主参照画像との時間的距離の関係を利用して、選択的に主参照画像の動きベクトルを線形変換することによって、前記位置に該当する補助参照画像の動きベクトルを誘導する。前記式（１）及び式（２）を利用したさらに具体的な動きベクトル誘導過程は、前述した通りであるので、ここでは省略する。
【００７６】
また、動き補償部２０４は、主参照画像または補助参照画像の動きベクトルを利用して、バッファ２０６に保存された参照画像のうち少なくとも一つの参照画像から現在画像の予測画像を生成する。さらに詳細に説明すれば、動き補償部２０４は、エントロピー復号化部２０１に復元された情報に含まれた主参照画像の動きベクトルまたはこの動きベクトルから誘導された補助参照画像の動きベクトルが指示する少なくとも一つの参照画像のブロックの値を現在画像のブロックの値に決定することによって、現在画像の予測画像を生成する。加算器２０５は、動き補償部２０４によって生成された予測画像に逆変換部２０３によって復元された残差画像を加算することによって、現在画像の復元画像を生成し、この復元画像をバッファ２０６に保存する。
【００７７】
次いで、図８に示された画像復号化装置２００で飛越し走査方式によって画像を復号化する場合を説明する。
【００７８】
エントロピー復号化部２０１は、図２に示された画像符号化装置１００から伝送されたビットストリームをエントロピー復号化することによって、現在フィールドと予測フィールドとの残差フィールドの量子化結果に該当する整数値及び現在フィールドの符号化情報を復元する。逆量子化部２０２は、エントロピー復号化部２０１によって復元された整数値を逆量子化することによって、現在フィールドと予測フィールドとの残差フィールドの周波数係数を復元する。逆変換部２０３は、逆量子化部２０２によって復元された周波数係数を周波数空間から色空間に変換することによって、現在フィールドと予測フィールドとの残差フィールドを復元する。
【００７９】
動き補償部２０４は、エントロピー復号化部２０１によって復元された情報に含まれた補助参照フィールドの位置に基づいて、選択的にこの情報に含まれた主参照フィールドの動きベクトルを線形変換することによって、この位置に該当する補助参照フィールドの動きベクトルを誘導する。さらに詳細に説明すれば、動き補償部２０４は、主参照フィールドと現在フィールドとの時間的距離と、前記位置に該当する補助参照フィールドと主参照フィールドとの時間的距離との関係及び、主参照フィールドと補助参照フィールドとの極性差を利用して、選択的に主参照フィールドの動きベクトルを線形変換することによって、前記位置に該当する補助参照フィールドの動きベクトルを誘導する。前記式（３）及び式（４）を利用したさらに具体的な動きベクトル誘導過程は、前述した通りであるので、ここでは省略する。
【００８０】
また、動き補償部２０４は、主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、バッファ２０６に保存された参照フィールドのうち少なくとも一つの参照フィールドから現在フィールドの予測フィールドを生成する。さらに詳細に説明すれば、動き補償部２０４は、エントロピー復号化部２０１に復元された情報に含まれた主参照フィールドの動きベクトルまたはこの動きベクトルから誘導された補助参照フィールドの動きベクトルが指示する少なくとも一つの参照フィールドのブロックの値を現在フィールドのブロックの値に決定することによって、現在フィールドの予測フィールドを生成する。加算器２０５は、動き補償部２０４によって生成された予測フィールドに逆変換部２０３によって復元された残差フィールドを加算することによって、現在フィールドの復元フィールドを生成し、この復元フィールドをバッファ２０６に保存する。
【００８１】
図９は、本発明の他の実施形態による画像符号化装置３００の構成図である。図９を参照するに、本実施形態による画像符号化装置は、ダウンサンプラ３０１、第１動き推定部３０２、第１動き補償部３０３、第１減算器３０４、第１変換部３０５、第１量子化部３０６、第１エントロピー符号化部３０７、第１逆量子化部３０８、第１逆変換部３０９、第１加算器３１０、第１バッファ３１１、アップサンプラ３１２、第２減算器３１３、第２動き推定部３１４、第２動き補償部３１５、第３減算器３１６、第２変換部３１７、第２量子化部３１８、第２エントロピー符号化部３１９、第２逆量子化部３２０、第２逆変換部３２１、第２加算器３２２、第２バッファ３２３及びビットストリーム生成部３２４で構成される。
【００８２】
図９に示された画像符号化装置３００は、図２に示された画像符号化装置１００に拡張階層の画像符号化過程に関連した構成要素が追加されたことを除いては、画像符号化装置１００と同じである。したがって、以下省略された内容であっても、図２に示された画像符号化装置１００について前述された内容は、本実施形態による画像符号化装置３００にも適用される。特に、以下では、図９に示された画像符号化装置３００で順次走査方式によって画像を符号化する場合と飛越し走査方式によって画像を符号化する場合とに分けて説明する。まず、図９に示された画像符号化装置３００で順次走査方式によって画像を符号化する場合を説明する。
【００８３】
ダウンサンプラ３０１は、動画に該当する一連の原本画像のうち、画像符号化装置３００に現在入力された原本画像をダウンサンプリングすることによって基本画像を生成する。
【００８４】
第１動き推定部３０２は、第１バッファ３１１に保存された参照画像のうち、主参照画像を基準にダウンサンプラ３０１によって生成された基本画像の動きを推定することによって、主参照画像の動きベクトルを算出する。また、第１動き推定部３０２は、バッファ３１１に保存された参照画像のうち、主参照画像から一定の時間的距離以内の少なくとも一つの参照画像を補助参照画像として選択し、前記のように算出された主参照画像の動きベクトルを線形変換することによって、補助参照画像の動きベクトルを誘導する。さらに詳細に説明すれば、第１動き推定部３０２は、主参照画像と基本画像との時間的距離と、補助参照画像と主参照画像との時間的距離との関係を利用して、主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導する。式（１）及び式（２）を利用した具体的な動きベクトル誘導過程は、前述された通りであるので省略する。
【００８５】
また、第１動き推定部３０２は、主参照画像の動きベクトルによる基本画像の圧縮率と補助参照画像の動きベクトルによる基本画像の圧縮率とを比較し、その比較結果によって、主参照画像の動きベクトル及び補助参照画像の動きベクトルのうち何れか一つを選択する。第１動き補償部３０３は、第１動き推定部３０２によって選択された主参照画像または補助参照画像の動きベクトルを利用して、バッファ３１１に保存された参照画像のうち少なくとも一つの参照画像から基本画像の予測画像を生成する。
【００８６】
第１減算器３０４は、基本画像から第１動き補償部３０３によって生成された予測画像を減算することによって、基本画像と予測画像との残差画像（以下、これを“第１残差画像”と略称する）を生成する。第１変換部３０５は、第１減算器３０４によって生成された第１残差画像を色空間から周波数空間に変換することによって、第１残差画像の周波数係数を生成する。第１量子化部３０６は、第１変換部３０５によって生成された周波数係数を量子化する。第１エントロピー符号化部３０７は、量子化部３０６によって量子化された結果に該当する整数値及び基本画像の符号化情報をエントロピー符号化することによって、基本階層ビットストリームを生成する。
【００８７】
第１逆量子化部３０８は、第１量子化部３０６によって量子化された結果に該当する整数値を逆量子化することによって、第１残差画像の周波数係数を復元する。第１逆変換部３０９は、第１逆量子化部３０８によって復元された周波数係数を周波数空間から色空間に変換することによって、第１残差画像を復元する。第１加算器３１０は、第１動き補償部３０３によって生成された予測画像に逆変換部３０９によって復元された第１残差画像を加算することによって、基本画像の復元画像を生成し、この復元画像を第１バッファ３１１に保存する。
【００８８】
以下で説明される拡張階層での画像符号化過程は、基本階層で使われる画像と拡張階層で使われる画像との差を除いては、既に説明された基本階層での画像符号化過程と同じである。したがって、以下省略された内容であっても、前述された内容は、拡張階層での画像符号化過程にも適用される。
【００８９】
アップサンプラ３１２は、第１加算器３１０によって生成された復元画像をアップサンプリングする。第２減算器３１３は、画像符号化装置３００に現在入力された原本画像からアップサンプラ３１２によってアップサンプリングされた復元画像を減算することによって、原本画像とアップサンプラ３１２によってアップサンプリングされた復元画像との残差画像（以下、これを“第２残差画像”と略称する）を生成する。
【００９０】
第２動き推定部３１４は、第２バッファ３２３に保存された参照画像のうち、主参照画像を基準に第２減算器３１３によって生成された第２残差画像の動きを推定することによって、主参照画像の動きベクトルを算出する。また、第２動き推定部３１４は、第２バッファ３２３に保存された参照画像のうち、主参照画像から一定の時間的距離以内の少なくとも一つの参照画像を補助参照画像として選択し、前記のように算出された主参照画像の動きベクトルを線形変換することによって、補助参照画像の動きベクトルを誘導する。さらに詳細に説明すれば、第２動き推定部３１４は、主参照画像と第２残差画像との時間的距離と、補助参照画像と主参照画像との時間的距離との関係を利用して、主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導する。
【００９１】
また、第２動き推定部３１４は、主参照画像の動きベクトルによる基本画像の圧縮率と補助参照画像の動きベクトルによる第２残差画像の圧縮率とを比較し、その比較結果によって、主参照画像の動きベクトル及び補助参照画像の動きベクトルのうち何れか一つを選択する。第２動き補償部３１５は、第２動き推定部３１４によって選択された主参照画像または補助参照画像の動きベクトルを利用して、第２バッファ３２３に保存された参照画像のうち少なくとも一つの参照画像から第２残差画像の予測画像を生成する。
【００９２】
第３減算器３１６は、第２減算器３１３によって生成された第２残差画像から第２動き補償部３１５によって生成された予測画像を減算することによって、第２残差画像と予測画像との残差画像（以下、これを“第３残差画像”と略称する）を生成する。第２変換部３１７は、第３減算器３１６によって生成された第３残差画像を色空間から周波数空間に変換することによって、第３残差画像の周波数係数を生成する。量子化部３１８は、第２変換部３１７によって生成された周波数係数を量子化パラメータを利用して量子化する。エントロピー符号化部３１９は、量子化部３１８によって量子化された結果に該当する整数値及び画像情報をエントロピー符号化することによって、拡張階層ビットストリームを生成する。
【００９３】
第２逆量子化部３２０は、量子化部３１８によって量子化された結果に該当する整数値を逆量子化することによって、第３残差画像の周波数係数を復元する。第２逆変換部３２１は、第２逆量子化部３２０によって復元された周波数係数を周波数空間から色空間に変換することによって、第３残差画像を復元する。第２加算器３２２は、第２動き補償部３１５によって生成された予測画像に第２逆変換部３２１によって復元された第３残差画像を加算することによって、第２残差画像の復元画像を生成し、この復元画像を第２バッファ３２３に保存する。
【００９４】
ビットストリーム生成部３２４は、第１エントロピー符号化部３０７によって生成された基本階層ビットストリームと、第２エントロピー符号化部３１９によって生成された拡張階層ビットストリームとを組合わせることによって、スケーラブルビットストリームを生成する。
【００９５】
次いで、図９に示された画像符号化装置３００で飛越し走査方式によって画像を符号化する場合を説明する。
【００９６】
ダウンサンプラ３０１は、動画に該当する一連の原本画像のうち画像符号化装置３００に現在入力された原本画像の半分に該当する画像（以下、“原本フィールド”という）をダウンサンプリングすることによって、基本フィールドを生成する。
【００９７】
第１動き推定部３０２は、第１バッファ３１１に保存された参照フィールドのうち主参照フィールドを基準に、ダウンサンプラ３０１によって生成された基本フィールドの動きを推定することによって、主参照フィールドの動きベクトルを算出する。また、第１動き推定部３０２は、バッファ３１１に保存された参照フィールドのうち、主参照フィールドから一定の時間的距離以内の少なくとも一つの参照フィールドを補助参照フィールドとして選択し、前記のように算出された主参照フィールドの動きベクトルを線形変換することによって、補助参照フィールドの動きベクトルを誘導する。さらに詳細に説明すれば、第１動き推定部３０２は、主参照フィールドと基本フィールドとの時間的距離と、補助参照フィールドと主参照フィールドとの時間的距離との関係及び、主参照フィールドと補助参照フィールドとの極性差を利用して主参照フィールドの動きベクトルを線形変換することによって、補助参照フィールドの動きベクトルを誘導する。式（３）及び式（４）を利用した具体的な動きベクトル誘導過程は、前述された通りであるので省略する。
【００９８】
また、第１動き推定部３０２は、主参照フィールドの動きベクトルによる基本フィールドの圧縮率と補助参照フィールドの動きベクトルによる基本フィールドの圧縮率とを比較し、その比較結果によって、主参照画像の動きベクトル及び補助参照画像の動きベクトルのうち何れか一つを選択する。第１動き補償部３０３は、第１動き推定部３０２によって選択された主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、バッファ３１１に保存された参照フィールドのうち少なくとも一つの参照フィールドから基本フィールドの予測フィールドを生成する。
【００９９】
第１減算器３０４は、基本フィールドから第１動き補償部３０３によって生成された予測フィールドを減算することによって、基本フィールドと予測フィールドとの残差フィールド（以下、これを“第１残差フィールド”と略称する）を生成する。第１変換部３０５は、第１減算器３０４によって生成された第１残差フィールドを色空間から周波数空間に変換することによって、第１残差フィールドの周波数係数を生成する。第１量子化部３０６は、第１変換部３０５によって生成された周波数係数を量子化する。第１エントロピー符号化部３０７は、第１量子化部３０６によって量子化された結果に該当する整数値及び基本フィールドの符号化情報をエントロピー符号化することによって、基本階層ビットストリームを生成する。
【０１００】
第１逆量子化部３０８は、第１量子化部３０６によって量子化された結果に該当する整数値を逆量子化することによって、第１残差フィールドの周波数係数を復元する。第１逆変換部３０９は、第１逆量子化部３０８によって復元された周波数係数を周波数空間から色空間に変換することによって、第１残差フィールドを復元する。第１加算器３１０は、第１動き補償部３０３によって生成された予測フィールドに第１逆変換部３０９によって復元された第１残差フィールドを加算することによって、基本フィールドの復元フィールドを生成し、この復元フィールドを第１バッファ３１１に保存する。
【０１０１】
アップサンプラ３１２は、第１加算器３１０によって生成された復元フィールドをアップサンプリングする。第２減算器３１３は、画像符号化装置３００に現在入力された原本フィールドからアップサンプラ３１２によってアップサンプリングされた復元フィールドを減算することによって、原本フィールドとアップサンプラ３１２によってアップサンプリングされた復元フィールドとの残差フィールド（以下、これを“第２残差フィールド”と略称する）を生成する。
【０１０２】
第２動き推定部３１４は、第２バッファ３２３に保存された参照フィールドのうち主参照フィールドを基準に、第２減算器３１３によって生成された第２残差フィールドの動きを推定することによって、主参照フィールドの動きベクトルを算出する。また、第２動き推定部３１４は、第２バッファ３２３に保存された参照フィールドのうち、主参照フィールドから一定の時間的距離以内の少なくとも一つの参照フィールドを補助参照フィールドとして選択し、前記のように算出された主参照フィールドの動きベクトルを線形変換することによって、補助参照フィールドの動きベクトルを誘導する。さらに詳細に説明すれば、第２動き推定部３１４は、主参照フィールドと第２残差フィールドとの時間的距離と、補助参照フィールドと主参照フィールドとの時間的距離との関係及び、主参照フィールドと補助参照フィールドとの極性差を利用して、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導する。
【０１０３】
また、第２動き推定部３１４は、主参照フィールドの動きベクトルによる基本フィールドの圧縮率と補助参照フィールドの動きベクトルによる第２残差フィールドの圧縮率とを比較し、その比較結果によって、主参照画像の動きベクトル及び補助参照画像の動きベクトルのうち何れか一つを選択する。第２動き補償部３１５は、第２動き推定部３１４によって選択された主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、第２バッファ３２３に保存された参照フィールドのうち、少なくとも一つの参照フィールドから第２残差フィールドの予測フィールドを生成する。
【０１０４】
第３減算器３１６は、第２減算器３１３によって生成された第２残差フィールドから第２動き補償部３１５によって生成された予測フィールドを減算することによって、第２残差フィールドと予測フィールドとの残差フィールド（以下、これを“第３残差フィールド”と略称する）を生成する。第２変換部３１７は、第３減算器３１６によって生成された第３残差フィールドを色空間から周波数空間に変換することによって、第３残差フィールドの周波数係数を生成する。量子化部３１８は、第２変換部３１７によって生成された周波数係数を量子化パラメータを利用して量子化する。エントロピー符号化部３１９は、量子化部３１８によって量子化された結果に該当する整数値及び第２残差フィールドの符号化情報をエントロピー符号化することによって、拡張階層ビットストリームを生成する。
【０１０５】
第２逆量子化部３２０は、量子化部３１８によって量子化された結果に該当する整数値を逆量子化することによって、第３残差フィールドの拡張階層周波数係数を復元する。第２逆変換部３２１は、第２逆量子化部３２０によって復元された第１拡張階層周波数係数を周波数空間から色空間に変換することによって、第３残差フィールドを復元する。第２加算器３２２は、第２動き補償部３１５によって生成された予測フィールドに第２逆変換部３２１によって復元された第３残差フィールドを加算することによって、第２残差フィールドの復元フィールドを生成し、この復元フィールドを第２バッファ３２３に保存する。
【０１０６】
ビットストリーム生成部３２４は、第１エントロピー符号化部３０７によって生成された基本階層ビットストリームと第２エントロピー符号化部３１９によって生成された拡張階層ビットストリームとを組合わせることによって、スケーラブルビットストリームを生成する。
【０１０７】
図１０は、本発明の他の実施形態による画像復号化装置４００の構成図である。図１０は、本発明の他の実施形態による画像復号化装置４００の構成図である。図１０を参照するに、本実施形態による画像復号化装置４００は、ビットストリームパーサ４０１、第１エントロピー復号化部４０２、第１逆量子化部４０３、第１逆変換部４０４、第１動き補償部４０５、第１加算器４０６、第１バッファ４０７、アップサンプラ４０８、第２エントロピー復号化部４０９、第２逆量子化部４１０、第２逆変換部４１１、第２動き補償部４１２、第２加算器４１３、第２バッファ４１４及び第３加算器４１５で構成される。
【０１０８】
図１０に示された画像復号化装置４００は、図８に示された画像復号化装置２００に拡張階層のインター復号化に関連した構成要素が追加されたことを除いては、画像復号化装置２００と同じである。したがって、以下省略された内容であっても、図８に示された画像復号化装置２００について前述された内容は、本実施形態による画像復号化装置４００にも適用される。特に、以下では、図１０に示された画像復号化装置４００で、順次走査方式によって画像を符号化する場合と飛越し走査方式によって画像を符号化する場合とに分けて説明する。まず、図１０に示された画像復号化装置４００で、順次走査方式によって画像を符号化する場合を説明する。
【０１０９】
ビットストリームパーサ４０１は、図９に示された画像符号化装置３００から伝送されたスケーラブルビットストリームをパージングすることによって、このスケーラブルビットストリームから基本階層ビットストリームと拡張階層ビットストリームとを抽出する。第１エントロピー復号化部４０２は、ビットストリームパーサ４０１によって抽出された基本階層ビットストリームをエントロピー復号化することによって、基本画像と予測画像との残差画像（以下、これを“第１残差画像”と略称する）の量子化結果に該当する整数値及び現在画像を復号化するための情報を復元する。第１逆量子化部４０３は、第１エントロピー復号化部４０２によって復元された整数値を逆量子化することによって、第１残差画像の周波数係数を復元する。第１逆変換部４０４は、第１逆量子化部４０３によって復元された周波数係数を周波数空間から色空間に変換することによって、第１残差画像を復元する。
【０１１０】
第１動き補償部４０５は、第１エントロピー復号化部４０２によって復元された情報に含まれた補助参照画像の位置に基づいて、選択的にこの情報に含まれた主参照画像の動きベクトルを線形変換することによって、この位置に該当する補助参照画像の動きベクトルを誘導する。さらに詳細に説明すれば、第１動き補償部４０５は、主参照画像と基本画像との時間的距離と、前記位置に該当する補助参照画像と主参照画像との時間的距離との関係を利用して、選択的に主参照画像の動きベクトルを線形変換することによって、前記位置に該当する補助参照画像の動きベクトルを誘導する。前記式（１）及び式（２）を利用したさらに具体的な動きベクトル誘導過程は、前述された通りであるので、ここでは省略する。
【０１１１】
また、第１動き補償部４０５は、主参照画像または補助参照画像の動きベクトルを利用して、第１バッファ４０７に保存された参照画像のうち少なくとも一つの参照画像から基本画像の予測画像を生成する。第１加算器４０６は、第１動き補償部４０５によって生成された予測画像に第１逆変換部４０４によって復元された第１残差画像を加算することによって、基本画像の復元画像を生成し、この復元画像を第１バッファ４０７に保存する。
【０１１２】
以下で説明される拡張階層での画像復号化過程は、基本階層で使われる画像と拡張階層で使われる画像との差を除いては、既に説明された基本階層での画像復号化過程と同じである。したがって、以下省略された内容であっても、前述された内容は、拡張階層での画像復号化過程にも適用される。
【０１１３】
アップサンプラ４０８は、加算器４０６によって生成された復元画像をアップサンプリングする。第２エントロピー復号化部４０９は、ビットストリームパーサ４０１によって抽出された拡張階層ビットストリームをエントロピー符号化することによって、原本画像、アップサンプラ４０８によってアップサンプリングされた復元画像との残差画像（以下、これを“第２残差画像”と略称する）、予測画像間の残差画像（以下、これを“第３残差画像”と略称する）の量子化結果に該当する整数値及び第３残差画像の符号化情報を復元する。第２逆量子化部４１０は、第２エントロピー復号化部４０９によって復元された整数値を量子化パラメータを利用して逆量子化することによって第３残差画像の周波数係数を復元する。
【０１１４】
第２逆変換部４１１は、第２逆量子化部４１０によって復元された周波数係数を周波数空間から色空間に変換することによって、第３残差画像を復元する。第２動き補償部４１２は、第２エントロピー復号化部４０９によって復元された情報に含まれた補助参照画像の位置に基づいて、選択的にこの情報に含まれた主参照画像の動きベクトルを線形変換することによって、この位置に該当する補助参照画像の動きベクトルを誘導する。さらに詳細に説明すれば、第２動き補償部４１２は、主参照画像と第２残差画像との時間的距離と、前記位置に該当する補助参照画像と主参照画像との時間的距離との関係を利用して主参照画像の動きベクトルを線形変換することによって、前記位置に該当する補助参照画像の動きベクトルを誘導する。前記式（１）及び式（２）を利用したさらに具体的な動きベクトル誘導過程は、前述された通りであるので、ここでは省略する。
【０１１５】
また、第２動き補償部４１２は、主参照画像または補助参照画像の動きベクトルを利用して、第２バッファ４１４に保存された参照画像のうち少なくとも一つの参照画像から第２残差画像の予測画像を生成する。第２加算器４１３は、第２動き補償部４１２によって生成された予測画像に第２逆変換部４１１によって復元された第３残差画像を加算することによって、第２残差画像の復元画像を生成し、この復元画像を第２バッファ４１４に保存する。第３加算器４１５は、アップサンプラ４０８によってアップサンプリングされた復元画像に第２加算器４１３によって生成された復元画像を加算することによって、原本画像の復元画像を生成する。
【０１１６】
次いで、図１０に示された画像復号化装置４００で飛越し走査方式によって画像を復号化する場合を説明する。
【０１１７】
ビットストリームパーサ４０１は、図９に示された画像符号化装置３００から伝送されたスケーラブルビットストリームをパージングすることによって、このスケーラブルビットストリームから基本階層ビットストリームと拡張階層ビットストリームとを抽出する。第１エントロピー復号化部４０２は、ビットストリームパーサ４０１によって抽出された基本階層ビットストリームをエントロピー復号化することによって、基本フィールドと予測フィールドとの残差フィールド（以下、これを“第１残差フィールド”と略称する）の量子化結果に該当する整数値及び基本フィールドの符号化情報を復元する。第１逆量子化部４０３は、第１エントロピー復号化部４０２によって復元された整数値を逆量子化することによって、第１残差フィールドの周波数係数を復元する。第１逆変換部４０４は、第１逆量子化部４０３によって復元された周波数係数を周波数空間から色空間に変換することによって、第１残差フィールドを復元する。
【０１１８】
第１動き補償部４０５は、第１エントロピー復号化部４０２によって復元された情報に含まれた補助参照フィールドの位置に基づいて、選択的にこの情報に含まれた主参照フィールドの動きベクトルを線形変換することによって、この位置に該当する補助参照フィールドの動きベクトルを誘導する。さらに詳細に説明すれば、第１動き補償部４０５は、主参照フィールドと基本フィールドとの時間的距離と、前記位置に該当する補助参照フィールドと主参照フィールドとの時間的距離との関係及び主参照フィールドと補助参照フィールドとの極性差を利用して主参照フィールドの動きベクトルを線形変換することによって、前記位置に該当する補助参照フィールドの動きベクトルを誘導する。前記式（３）及び式（４）を利用したさらに具体的な動きベクトル誘導過程は、前述した通りであるので、ここでは省略する。
【０１１９】
また、第１動き補償部４０５は、主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、第１バッファ４０７に保存された参照フィールドのうち少なくとも一つの参照フィールドから基本フィールドの予測フィールドを生成する。第１加算器４０６は、第１動き補償部４０５によって生成された予測フィールドに第１逆変換部４０４によって復元された第１残差フィールドを加算することによって、基本フィールドの復元フィールドを生成し、この復元フィールドを第１バッファ４０７に保存する。
【０１２０】
以下で説明される拡張階層でのフィールド復号化過程は、基本階層で使われるフィールドと拡張階層で使われるフィールドとの差を除いては、既に説明された基本階層でのフィールド復号化過程と同じである。したがって、以下省略された内容であっても、前述された内容は、拡張階層でのフィールド復号化過程にも適用される。
【０１２１】
アップサンプラ４０８は、加算器４０６によって生成された復元フィールドをアップサンプリングする。第２エントロピー復号化部４０９は、ビットストリームパーサ４０１によって抽出された拡張階層ビットストリームをエントロピー符号化することによって、原本フィールドとアップサンプラ４０８によってアップサンプリングされた復元フィールドとの残差フィールド（以下、これを“第２残差フィールド”と略称する）と、予測フィールド間の残差フィールド（以下、これを“第３残差フィールド”と略称する）との量子化結果に該当する整数値及び第３残差フィールドの符号化情報を復元する。第２逆量子化部４１０は、第２エントロピー復号化部４０９によって復元された整数値を量子化パラメータを利用して逆量子化することによって、第３残差フィールドの周波数係数を復元する。
【０１２２】
第２逆変換部４１１は、第２逆量子化部４１０によって復元された周波数係数を周波数空間から色空間に変換することによって、第３残差フィールドを復元する。第２動き補償部４１２は、第２エントロピー復号化部４０９によって復元された情報に含まれた補助参照フィールドの位置に基づいて、選択的にこの情報に含まれた主参照フィールドの動きベクトルを線形変換することによって、この位置に該当する補助参照フィールドの動きベクトルを誘導する。さらに詳細に説明すれば、第２動き補償部４１２は、主参照フィールドと第２残差フィールドとの時間的距離と、前記位置に該当する補助参照フィールドと主参照フィールドとの時間的距離との関係及び、主参照フィールドと補助参照フィールドとの極性差を利用して選択的に主参照フィールドの動きベクトルを線形変換することによって、前記位置に該当する補助参照フィールドの動きベクトルを誘導する。前記式（３）及び式（４）を利用したさらに具体的な動きベクトル誘導過程は、既に説明された通りであるので、ここでは省略する。
【０１２３】
また、第２動き補償部４１２は、主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、第２バッファ４１４に保存された参照フィールドのうち少なくとも一つの参照フィールドから第２残差フィールドの予測フィールドを生成する。第２加算器４１３は、第２動き補償部４１２によって生成された予測フィールドに第２逆変換部４１１によって復元された第３残差フィールドを加算することによって、第２残差フィールドの復元フィールドを生成し、この復元フィールドを第２バッファ４１４に保存する。第３加算器４１５は、アップサンプラ４０８によってアップサンプリングされた復元フィールドに第２加算器４１３によって生成された復元フィールドを加算することによって、原本フィールドの復元フィールドを生成する。
【０１２４】
以上では、本実施形態についての説明の便宜上、拡張階層が一つのみ存在する場合について説明したが、拡張階層が複数層存在する場合にも、前述された内容が同一に適用されうることを、当業者ならば分かる。
【０１２５】
図１１は、本発明の一実施形態による画像符号化方法を示すフローチャートである。図１１を参照するに、本実施形態による画像符号化方法は、図２に示された画像符号化装置１００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図２に示された画像符号化装置１００について前述された内容は、本実施形態による画像符号化方法にも適用される。特に、図１１に示された画像符号化方法は、順次走査方式によって画像を符号化する場合である。
【０１２６】
ステップ１００１で、画像符号化装置１００は、バッファ１１１に保存された参照画像のうち主参照画像を基準に、現在画像の動きを推定することによって主参照画像の動きベクトルを算出する。ステップ１００２で、画像符号化装置１００は、ステップ１００１で算出された主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導する。ステップ１００３で、画像符号化装置１００は、主参照画像の動きベクトルによる現在画像の圧縮率と補助参照画像の動きベクトルによる現在画像の圧縮率とを比較し、その比較結果によって、主参照画像の動きベクトル及び補助参照画像の動きベクトルのうち何れか一つを選択する。
【０１２７】
ステップ１００４で、画像符号化装置１００は、ステップ１００３で選択された主参照画像または補助参照画像の動きベクトルを利用して、バッファ１１１に保存された参照画像のうち少なくとも一つの参照画像から現在画像の予測画像を生成する。ステップ１００５で、画像符号化装置１００は、現在画像からステップ１００４で生成された予測画像を減算することによって、現在画像と予測画像との残差画像を生成する。
【０１２８】
ステップ１００６で、画像符号化装置１００は、ステップ１００５で生成された残差画像を色空間から周波数空間に変換することによって、この残差画像の周波数係数を生成し、この周波数係数を量子化する。ステップ１００７で、画像符号化装置１００は、ステップ１００６で量子化された結果に該当する整数値及び現在画像の符号化情報をエントロピー符号化することによって、ビットストリームを生成する。
【０１２９】
ステップ１００８で、画像符号化装置１００は、ステップ１００６で量子化された結果に該当する整数値を逆量子化することによって、現在画像と予測画像との残差画像の周波数係数を復元し、その周波数係数を周波数空間から色空間に変換することによって、現在画像と予測画像との残差画像を復元する。ステップ１００９で、画像符号化装置１００は、ステップ１００４で生成された予測画像にステップ１００８で復元された残差画像を加算することによって、現在画像の復元画像を生成し、この復元画像をバッファ１１１に保存する。
【０１３０】
ステップ１０１０で、画像符号化装置１００は、動画に該当する一連の画像の全部に対して、前記ステップ１００１ないしステップ１００９が完了したら、終了し、完了していなければ、ステップ１００１に戻る。
【０１３１】
図１２は、本発明の他の実施形態による画像符号化方法を示すフローチャートである。図１２を参照するに、本実施形態による画像符号化方法は、図２に示された画像符号化装置１００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図２に示された画像符号化装置１００について前述された内容は、本実施形態による画像符号化方法にも適用される。特に、図１２に示された画像符号化方法は、飛越し走査方式によって画像を符号化する場合である。
【０１３２】
ステップ１１０１で、画像符号化装置１００は、バッファ１１１に保存された参照フィールドのうち主参照フィールドを基準に、動画に該当する一連の画像のうち現在入力された画像の半分に該当する現在フィールドの動きを推定することによって、主参照フィールドの動きベクトルを算出する。ステップ１１０２で、画像符号化装置１００は、ステップ１１０１で算出された主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導する。ステップ１１０３で、画像符号化装置１００は、主参照フィールドの動きベクトルによる現在フィールドの圧縮率と補助参照フィールドの動きベクトルによる現在フィールドの圧縮率とを比較し、その比較結果によって、主参照フィールドの動きベクトル及び補助参照フィールドの動きベクトルのうち何れか一つを選択する。
【０１３３】
ステップ１１０４で、画像符号化装置１００は、ステップ１１０３で選択された主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、バッファ１１１に保存された参照フィールドのうち少なくとも一つの参照フィールドから現在フィールドの予測フィールドを生成する。ステップ１１０５で、画像符号化装置１００は、現在フィールドからステップ１１０４で生成された予測フィールドを減算することによって、現在フィールドと予測フィールドとの残差フィールドを生成する。
【０１３４】
ステップ１１０６で、画像符号化装置１００は、ステップ１１０５で生成された残差フィールドを色空間から周波数空間に変換することによって、この残差フィールドの周波数係数を生成し、この周波数係数を量子化する。ステップ１１０７で、画像符号化装置１００は、ステップ１１０６で量子化された結果に該当する整数値及び現在フィールドの符号化情報をエントロピー符号化することによってビットストリームを生成する。
【０１３５】
ステップ１１０８で、画像符号化装置１００は、ステップ１１０６で量子化された結果に該当する整数値を逆量子化することによって、現在フィールドと予測フィールドとの残差フィールドの周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって、現在フィールドと予測フィールドとの残差フィールドを復元する。ステップ１１０９で、画像符号化装置１００は、ステップ１１０４で生成された予測フィールドにステップ１１０８で復元された残差フィールドを加算することによって、現在フィールドの復元フィールドを生成し、この復元フィールドをバッファ１１１に保存する。
【０１３６】
ステップ１１１０で、画像符号化装置１００は、動画に該当する一連の画像の全部に対して、前記ステップ１１０１ないしステップ１１０９が完了したならば、終了し、完了していなければ、ステップ１１０１に戻る。
【０１３７】
図１３は、本発明の一実施形態による画像復号化方法を示すフローチャートである。図１３を参照するに、本実施形態による画像復号化方法は、図８に示された画像復号化装置２００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図８に示された画像復号化装置２００に関して前述された内容は、本実施形態による画像復号化方法にも適用される。特に、図１３に示された画像復号化方法は、順次走査方式によって画像を復号化する場合である。
【０１３８】
ステップ２００１で、画像復号化装置２００は、図２に示された画像符号化装置１００から伝送されたビットストリームをエントロピー復号化することによって、現在画像と予測画像との残差画像の量子化結果に該当する整数値及び現在画像の符号化情報を復元する。ステップ２００２で、画像復号化装置２００は、ステップ２００１で復元された整数値を逆量子化することによって、現在画像と予測画像との残差画像の周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって、現在画像と予測画像との残差画像を復元する。
【０１３９】
ステップ２００３で、画像復号化装置２００は、ステップ２００１で復元された情報に含まれた補助参照画像の位置に基づいて、選択的にこの情報に含まれた主参照画像の動きベクトルから、この位置に該当する補助参照画像の動きベクトルを誘導する。ステップ２００４で、画像復号化装置２００は、主参照画像または補助参照画像の動きベクトルを利用して、バッファ２０６に保存された参照画像のうち少なくとも一つの参照画像から現在画像の予測画像を生成する。ステップ２００５で、画像復号化装置２００は、ステップ２００４で生成された予測画像にステップ２００２で復元された残差画像を加算することによって、現在画像の復元画像を生成し、この復元画像をバッファ２０６に保存する。
【０１４０】
ステップ２００６で、画像符号化装置１００は、動画に該当する一連の画像の全部に対して、前記ステップ２００１ないしステップ２００５が完了したならば、終了し、完了していなければ、ステップ２００１に戻る。
【０１４１】
図１４は、本発明の他の実施形態による画像復号化方法を示すフローチャートである。図１４を参照するに、本実施形態による画像復号化方法は、図８に示された画像復号化装置２００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図８に示された画像復号化装置２００に関して前述された内容は、本実施形態による画像復号化方法にも適用される。特に、図１４に示された画像復号化方法は、飛越し走査方式によって画像を復号化する場合である。
【０１４２】
ステップ２１０１で、画像復号化装置２００は、図２に示された画像符号化装置１００から伝送されたビットストリームをエントロピー復号化することによって、現在フィールドと予測フィールドとの残差フィールドの量子化結果に該当する整数値及び現在フィールドの符号化情報を復元する。ステップ２１０２で、画像復号化装置２００は、ステップ２１０１で復元された整数値を逆量子化することによって、現在フィールドと予測フィールドとの残差フィールドの周波数係数を復元し、その周波数係数を周波数空間から色空間に変換することによって、現在フィールドと予測フィールドとの残差フィールドを復元する。
【０１４３】
ステップ２１０３で、画像復号化装置２００は、ステップ２１０１で復元された情報に含まれた補助参照フィールドの位置に基づいて、選択的にこの情報に含まれた主参照フィールドの動きベクトルからこの位置に該当する補助参照フィールドの動きベクトルを誘導する。ステップ２１０４で、画像復号化装置２００は、主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、バッファ２０６に保存された参照フィールドのうち少なくとも一つの参照フィールドから現在フィールドの予測フィールドを生成する。ステップ２１０５で、画像復号化装置２００は、ステップ２１０４で生成された予測フィールドにステップ２１０２で復元された残差フィールドを加算することによって、現在フィールドの復元フィールドを生成し、この復元フィールドをバッファ２０６に保存する。
【０１４４】
ステップ２１０６で、画像符号化装置１００は、動画に該当する一連の画像の全部に対して前記ステップ２１０１ないしステップ２１０５が完了したならば、終了し、完了していなければ、ステップ２１０１に戻る。
【０１４５】
図１５は、本発明のさらに他の実施形態による画像符号化方法を示すフローチャートである。図１５を参照するに、本実施形態による画像符号化方法は、図９に示された画像符号化装置３００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図９に示された画像符号化装置３００に関して前述された内容は、本実施形態による画像符号化方法にも適用される。特に、図１４に示された画像符号化方法は、順次走査方式によって画像を復号化する場合である。
【０１４６】
ステップ３００１で、画像符号化装置３００は、動画に該当する一連の原本画像のうち画像符号化装置３００に現在入力された原本画像をダウンサンプリングすることによって、基本画像を生成する。
【０１４７】
ステップ３００２で、画像符号化装置３００は、第１バッファ３１１に保存された参照画像のうち、主参照画像を基準にステップ３００１で生成された基本画像の動きを推定することによって、主参照画像の動きベクトルを算出し、この主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導し、主参照画像の動きベクトルによる基本画像の圧縮率と補助参照画像の動きベクトルによる基本画像の圧縮率とを比較し、その比較結果によって、主参照画像の動きベクトル及び補助参照画像の動きベクトルのうち何れか一つを選択する。
【０１４８】
ステップ３００３で、画像符号化装置３００は、ステップ３００２で選択された主参照画像または補助参照画像の動きベクトルを利用して、バッファ３１１に保存された参照画像のうち少なくとも一つの参照画像から基本画像の予測画像を生成する。ステップ３００４で、画像符号化装置３００は、基本画像からステップ３００２で生成された予測画像を減算することによって、基本画像と予測画像との残差画像（以下、これを“第１残差画像”と略称する）を生成する。
【０１４９】
ステップ３００５で、画像符号化装置３００は、ステップ３００４で生成された第１残差画像を色空間から周波数空間に変換することによって、第１残差画像の周波数係数を生成し、この周波数係数を量子化する。ステップ３００６で、画像符号化装置３００は、ステップ３００５で量子化された結果に該当する整数値及び基本画像の符号化情報をエントロピー符号化することによって、基本階層ビットストリームを生成する。
【０１５０】
ステップ３００７で、画像符号化装置３００は、ステップ３００６で量子化された結果に該当する整数値を逆量子化することによって、第１残差画像の周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって、第１残差画像を復元する。ステップ３００８で、画像符号化装置３００は、ステップ３００３で生成された予測画像にステップ３００７で復元された第１残差画像を加算することによって、基本画像の復元画像を生成し、この復元画像を第１バッファ３１１に保存する。
【０１５１】
ステップ３００９で、画像符号化装置３００は、ステップ３００８で生成された復元画像をアップサンプリングする。
【０１５２】
ステップ３０１０で、画像符号化装置３００は、画像符号化装置３００に現在入力された原本画像からステップ３００９でアップサンプリングされた復元画像を減算することによって、原本画像とステップ３００９でアップサンプリングされた復元画像との残差画像（以下、これを“第２残差画像”と略称する）を生成する。
【０１５３】
ステップ３０１１で、画像符号化装置３００は、第２バッファ３２３に保存された参照画像のうち、主参照画像を基準にステップ３０１０で生成された第２残差画像の動きを推定することによって、主参照画像の動きベクトルを算出し、主参照画像の動きベクトルから補助参照画像の動きベクトルを誘導し、主参照画像の動きベクトルによる基本画像の圧縮率と補助参照画像の動きベクトルによる第２残差画像の圧縮率とを比較し、その比較結果によって、主参照画像の動きベクトル及び補助参照画像の動きベクトルのうち何れも一つを選択する。
【０１５４】
ステップ３０１２で、画像符号化装置３００は、ステップ３０１１で選択された主参照画像または補助参照画像の動きベクトルを利用して、第２バッファ３２３に保存された参照画像のうち少なくとも一つの参照画像から第２残差画像の予測画像を生成する。ステップ３０１３で、画像符号化装置３００は、ステップ３０１２で生成された第２残差画像からステップ３０１０で生成された予測画像を減算することによって、第２残差画像と予測画像との残差画像（以下、これを“第３残差画像”と略称する）を生成する。
【０１５５】
ステップ３０１４で、画像符号化装置３００は、ステップ３０１３で生成された第３残差画像を色空間から周波数空間に変換することによって、第３残差画像の周波数係数を生成し、この周波数係数を量子化パラメータを利用して量子化する。ステップ３０１５で、画像符号化装置３００は、ステップ３０１４で量子化された結果に該当する整数値及び画像情報をエントロピー符号化することによって、拡張階層ビットストリームを生成する。
【０１５６】
ステップ３０１６で、画像符号化装置３００は、ステップ３０１４で量子化された結果に該当する整数値を逆量子化することによって、第３残差画像の周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって、第３残差画像を復元する。ステップ３０１７で、画像符号化装置３００は、ステップ３０１２で生成された予測画像にステップ３０１６で復元された第３残差画像を加算することによって、第２残差画像の復元画像を生成し、この復元画像を第２バッファ３２３に保存する。
【０１５７】
ステップ３０１８で、画像符号化装置３００は、ステップ３００６で生成された基本階層ビットストリームとステップ３０１５で生成された拡張階層ビットストリームとを組合わせることによって、スケーラブルビットストリームを生成する。
【０１５８】
ステップ３０１９で、画像符号化装置３００は、動画に該当する一連の画像の全部に対して、前記ステップ３００１ないしステップ３０１８が完了したならば、終了し、完了していなければ、ステップ３００１に戻る。
【０１５９】
図１６は、本発明のさらに他の実施形態による画像符号化方法を示すフローチャートである。図１６を参照するに、本実施形態による画像符号化方法は、図９に示された画像符号化装置３００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図９に示された画像符号化装置３００に関して前述された内容は、本実施形態による画像符号化方法にも適用される。特に、図１５に示された画像符号化方法は、飛越し走査方式によって画像を復号化する場合である。
【０１６０】
ステップ３１０１で、画像符号化装置３００は、動画に該当する一連の原本画像のうち、画像符号化装置３００に現在入力された原本画像の半分に該当する原本フィールドをダウンサンプリングすることによって、基本フィールドを生成する。
【０１６１】
ステップ３１０２で、画像符号化装置３００は、第１バッファ３１１に保存された参照フィールドのうち主参照フィールドを基準に、ステップ３１０１で生成された基本フィールドの動きを推定することによって、主参照フィールドの動きベクトルを算出し、この主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導し、主参照フィールドの動きベクトルによる基本フィールドの圧縮率と補助参照フィールドの動きベクトルによる基本フィールドの圧縮率とを比較し、その比較結果によって、主参照フィールドの動きベクトル及び補助参照フィールドの動きベクトルのうち何れか一つを選択する。
【０１６２】
ステップ３１０３で、画像符号化装置３００は、ステップ３１０２で選択された主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、バッファ３１１に保存された参照フィールドのうち少なくとも一つの参照フィールドから基本フィールドの予測フィールドを生成する。ステップ３１０４で、画像符号化装置３００は、基本フィールドからステップ３１０３で生成された予測フィールドを減算することによって、基本フィールドと予測フィールドとの残差フィールド（以下、これを“第１残差フィールド”と略称する）を生成する。
【０１６３】
ステップ３１０５で、画像符号化装置３００は、ステップ３１０４で生成された第１残差フィールドを色空間から周波数空間に変換することによって、第１残差フィールドの周波数係数を生成し、この周波数係数を量子化する。ステップ３１０６で、画像符号化装置３００は、ステップ３１０５で量子化された結果に該当する整数値及び基本フィールドの符号化情報をエントロピー符号化することによって、基本階層ビットストリームを生成する。
【０１６４】
ステップ３１０７で、画像符号化装置３００は、ステップ３１０６で量子化された結果に該当する整数値を逆量子化することによって、第１残差フィールドの周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって、第１残差フィールドを復元する。ステップ３１０８で、画像符号化装置３００は、ステップ３１０３で生成された予測フィールドにステップ３１０８で復元された第１残差フィールドを加算することによって、基本フィールドの復元フィールドを生成し、この復元フィールドを第１バッファ３１１に保存する。
【０１６５】
ステップ３１０９で、画像符号化装置３００は、ステップ３１０８で生成された復元フィールドをアップサンプリングする。
【０１６６】
ステップ３１１０で、画像符号化装置３００は、画像符号化装置３００に現在入力された原本フィールドからステップ３１０９でアップサンプリングされた復元フィールドを減算することによって、原本フィールドとステップ３１０９でアップサンプリングされた復元フィールドとの残差フィールド（以下、これを“第２残差フィールド”と略称する）を生成する。
【０１６７】
ステップ３１１１で、画像符号化装置３００は、第２バッファ３２３に保存された参照フィールドのうち主参照フィールドを基準に、ステップ３０１０で生成された第２残差フィールドの動きを推定することによって、主参照フィールドの動きベクトルを算出し、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導し、主参照フィールドの動きベクトルによる基本フィールドの圧縮率と補助参照フィールドの動きベクトルによる第２残差フィールドの圧縮率とを比較し、その比較結果によって、主参照フィールドの動きベクトル及び補助参照フィールドの動きベクトルのうち何れか一つを選択する。
【０１６８】
ステップ３１１２で、画像符号化装置３００は、ステップ３１１１で選択された主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、第２バッファ３２３に保存された参照フィールドのうち少なくとも一つの参照フィールドから第２残差フィールドの予測フィールドを生成する。ステップ３１１３で、画像符号化装置３００は、ステップ３１１２で生成された第２残差フィールドからステップ３１１０で生成された予測フィールドを減算することによって、第２残差フィールドと予測フィールドとの残差フィールド（以下、これを“第３残差フィールド”と略称する）を生成する。
【０１６９】
ステップ３１１４で、画像符号化装置３００は、ステップ３１１３で生成された第３残差フィールドを色空間から周波数空間に変換することによって、第３残差フィールドの周波数係数を生成し、この周波数係数を量子化パラメータを利用して量子化する。ステップ３１１５で、画像符号化装置３００は、ステップ３１１４で量子化された結果に該当する整数値及びフィールド情報をエントロピー符号化することによって、拡張階層ビットストリームを生成する。
【０１７０】
ステップ３１１６で、画像符号化装置３００は、ステップ３１１４で量子化された結果に該当する整数値を逆量子化することによって、第３残差フィールドの周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって、第３残差フィールドを復元する。ステップ３１１７で、画像符号化装置３００は、ステップ３１１２で生成された予測フィールドにステップ３１１６で復元された第３残差フィールドを加算することによって、第２残差フィールドの復元フィールドを生成し、この復元フィールドを第２バッファ３２３に保存する。
【０１７１】
ステップ３１１８で、画像符号化装置３００は、ステップ３１０７で生成された基本階層ビットストリームとステップ３１１５で生成された拡張階層ビットストリームとを組合わせることによって、スケーラブルビットストリームを生成する。
【０１７２】
ステップ３１１９で、画像符号化装置３００は、動画に該当する一連の画像の全部に対して、前記ステップ３１０１ないしステップ３１１８が完了したならば終了し、完了していなければ、ステップ３１０１に戻る。
【０１７３】
図１７は、本発明のさらに他の実施形態による画像復号化方法を示すフローチャートである。図１７を参照するに、本実施形態による画像符号化方法は、図１０に示された画像復号化装置４００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図１０に示された画像復号化装置４００に関して前述された内容は、本実施形態による画像復号化方法にも適用される。特に、図１６に示された画像復号化方法は、順次走査方式によって画像を復号化する場合である。
【０１７４】
ステップ４００１で、画像復号化装置４００は、図９に示された画像符号化装置３００から伝送されたスケーラブルビットストリームをパージングすることによって、このスケーラブルビットストリームから基本階層ビットストリームと拡張階層ビットストリームとを抽出する。
【０１７５】
ステップ４００２で、画像復号化装置４００は、ステップ４００１で抽出された基本階層ビットストリームをエントロピー復号化することによって、基本画像と予測画像との残差画像（以下、これを“第１残差画像”と略称する）の量子化結果に該当する整数値及び基本画像を復号化するための情報を復元する。ステップ４００３で、画像復号化装置４００は、ステップ４００２で復元された整数値を逆量子化することによって、第１残差画像の周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって、第１残差画像を復元する。
【０１７６】
ステップ４００４で、画像復号化装置４００は、ステップ４００３で復元された情報に含まれた補助参照画像の位置に基づいて、選択的にこの情報に含まれた主参照画像の動きベクトルからこの位置に該当する補助参照画像の動きベクトルを誘導する。ステップ４００５で、画像復号化装置４００は、主参照画像または補助参照画像の動きベクトルを利用して、第１バッファ４０７に保存された参照画像のうち少なくとも一つの参照画像から基本画像の予測画像を生成する。ステップ４００６で、画像復号化装置４００は、ステップ４００５で生成された予測画像にステップ４００３で復元された第１残差画像を加算することによって、基本画像の復元画像を生成し、この復元画像を第１バッファ４０７に保存する。
【０１７７】
ステップ４００７で、画像復号化装置４００は、ステップ４００６で生成された復元画像をアップサンプリングする。
【０１７８】
ステップ４００８で、画像復号化装置４００は、ステップ４００１で抽出された拡張階層ビットストリームをエントロピー符号化することによって、原本画像とステップ４００７でアップサンプリングされた復元画像との残差画像（以下、これを“第２残差画像”と略称する）と、予測画像間の残差画像（以下、これを“第３残差画像”と略称する）との量子化結果に該当する整数値及び第３残差画像の符号化情報を復元する。ステップ４００９で、画像復号化装置４００は、ステップ４００８で復元された整数値を量子化パラメータを利用して逆量子化することによって、第３残差画像の周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって、第３残差画像を復元する。
【０１７９】
ステップ４０１０で、画像復号化装置４００は、ステップ４００８で復元された情報に含まれた補助参照画像の位置に基づいて、選択的にこの情報に含まれた主参照画像の動きベクトルからこの位置に該当する補助参照画像の動きベクトルを誘導する。ステップ４０１１で、画像復号化装置４００は、主参照画像または補助参照画像の動きベクトルを利用して、第２バッファ４１４に保存された参照画像のうち少なくとも一つの参照画像から第２残差画像の予測画像を生成する。
【０１８０】
ステップ４０１２で、画像復号化装置４００は、ステップ４０１１で生成された予測画像にステップ４００９で復元された第３残差画像を加算することによって、第２残差画像の復元画像を生成し、この復元画像を第２バッファ４１４に保存する。ステップ４０１３で、画像復号化装置４００は、ステップ４００７でアップサンプリングされた復元画像にステップ４０１２で生成された復元画像を加算することによって、原本画像の復元画像を生成する。
【０１８１】
ステップ４０１４で、画像符号化装置３００は、動画に該当する一連の画像の全部に対して、前記ステップ４００１ないしステップ４０１３が完了したならば終了し、完了していなければ、ステップ４００１に戻る。
【０１８２】
図１８は、本発明のさらに他の実施形態による画像復号化方法を示すフローチャートである。図１８を参照するに、本実施形態による画像符号化方法は、図１０に示された画像復号化装置４００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図１０に示された画像復号化装置４００に関して前述された内容は、本実施形態による画像復号化方法にも適用される。特に、図１８に示された画像符号化方法は、飛越し走査方式によって画像を復号化する場合である。
【０１８３】
ステップ４１０１で、画像復号化装置４００は、図９に示された画像符号化装置３００から伝送されたスケーラブルビットストリームをパージングすることによって、このスケーラブルビットストリームから基本階層ビットストリームと拡張階層ビットストリームとを抽出する。
【０１８４】
ステップ４１０２で、画像復号化装置４００は、ステップ４１０１で抽出された基本階層ビットストリームをエントロピー復号化することによって、基本フィールドと予測フィールドとの残差フィールド（以下、これを“第１残差フィールド”と略称する）の量子化結果に該当する整数値及び基本フィールドの符号化情報を復元する。ステップ４１０３で、画像復号化装置４００は、ステップ４１０２で復元された整数値を逆量子化することによって、第１残差フィールドの周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって、第１残差フィールドを復元する。
【０１８５】
ステップ４１０４で、画像復号化装置４００は、ステップ４１０３で復元された情報に含まれた補助参照フィールドの位置に基づいて、選択的にこの情報に含まれた主参照フィールドの動きベクトルからこの位置に該当する補助参照フィールドの動きベクトルを誘導する。ステップ４１０５で、画像復号化装置４００は、主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、第１バッファ４０７に保存された参照フィールドのうち少なくとも一つの参照フィールドから基本フィールドの予測フィールドを生成する。ステップ４１０６で、画像復号化装置４００は、ステップ４１０５で生成された予測フィールドにステップ４１０３で復元された第１残差フィールドを加算することによって、基本フィールドの復元フィールドを生成し、この復元フィールドを第１バッファ４０７に保存する。
【０１８６】
ステップ４１０７で、画像復号化装置４００は、ステップ４１０５で生成された復元フィールドをアップサンプリングする。
【０１８７】
ステップ４１０８で、画像復号化装置４００は、ステップ４１０１で抽出された拡張階層ビットストリームをエントロピー符号化することによって、原本フィールドとステップ４１０７ステップでアップサンプリングされた復元フィールドとの残差フィールド（以下、これを“第２残差フィールド”と略称する）と予測フィールド間の残差フィールド（以下、これを“第３残差フィールド”と略称する）との量子化結果に該当する整数値及び第３残差フィールドの符号化情報を復元する。ステップ４１０９で、画像復号化装置４００は、ステップ４１０８で復元された整数値を量子化パラメータを利用して逆量子化することによって、第３残差フィールドの周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって、第３残差フィールドを復元する。
【０１８８】
ステップ４１１０で、画像復号化装置４００は、ステップ４１０８で復元された情報に含まれた補助参照フィールドの位置に基づいて、選択的にこの情報に含まれた主参照フィールドの動きベクトルを線形変換することによって、この位置に該当する補助参照フィールドの動きベクトルを誘導する。ステップ４１１１で、画像復号化装置４００は、主参照フィールドまたは補助参照フィールドの動きベクトルを利用して、第２バッファ４１４に保存された参照フィールドのうち少なくとも一つの参照フィールドから第２残差フィールドの予測フィールドを生成する。
【０１８９】
ステップ４１１２で、画像復号化装置４００は、ステップ４１１１で生成された予測フィールドにステップ４１０９で復元された第３残差フィールドを加算することによって、第２残差フィールドの復元フィールドを生成し、この復元フィールドを第２バッファ４１４に保存する。ステップ４１１３で、画像復号化装置４００は、ステップ４１０７でアップサンプリングされた復元フィールドにステップ４１１２で生成された復元フィールドを加算することによって、原本フィールドの復元フィールドを生成する。
【０１９０】
ステップ４１１４で、画像符号化装置３００は、動画に該当する一連の画像の全部に対して、前記ステップ４１０１ないしステップ４１１３が完了したならば終了し、完了していなければ、ステップ４１０１に戻る。
【０１９１】
一方、前述した本発明の実施形態は、コンピュータで実行できるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用ディジタルコンピュータで具現されうる。また、前述した本発明の実施形態で使われたデータの構造は、コンピュータで読み取り可能な記録媒体に色々な手段を通じて記録される。前記コンピュータで読み取り可能な記録媒体は、マグネチック保存媒体（例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような保存媒体を含む。
【０１９２】
以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということが分かる。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【産業上の利用可能性】
【０１９３】
本発明は、ディスプレイ関連の技術分野に適用可能である。
【図面の簡単な説明】
【０１９４】
【図１】本発明の実施形態が適用されるスケーラブル画像処理環境を示す図である。
【図２】本発明の一実施形態による画像符号化装置の構成図である。
【図３】本実施形態に適用される順次走査方式での主参照画像と補助参照画像との関係を示す図である。
【図４】本実施形態に適用される補助参照画像が一つのみ存在する場合を示す図である。
【図５】本発明の一実施形態による画像復号化情報のシンタックスを示す図である。
【図６】本実施形態に適用される飛越し走査方式での現在フィールドと主参照フィールドとの極性が同じである場合を示す図である。
【図７】本実施形態に適用される飛越し走査方式での現在フィールドと主参照フィールドとの極性が異なる場合を示す図である。
【図８】本発明の一実施形態による画像復号化装置の構成図である。
【図９】本発明の他の実施形態による画像符号化装置３００の構成図である。
【図１０】本発明の他の実施形態による画像復号化装置の構成図である。
【図１１】本発明の一実施形態による画像符号化方法を示すフローチャートである。
【図１２】本発明の他の実施形態による画像符号化方法を示すフローチャートである。
【図１３】本発明の一実施形態による画像復号化方法を示すフローチャートである。
【図１４】本発明の他の実施形態による画像復号化方法を示すフローチャートである。
【図１５】本発明のさらに他の実施形態による画像符号化方法を示すフローチャートである。
【図１６】本発明のさらに他の実施形態による画像符号化方法を示すフローチャートである。
【図１７】本発明のさらに他の実施形態による画像復号化方法を示すフローチャートである。
【図１８】本発明のさらに他の実施形態による画像復号化方法を示すフローチャートである。
【符号の説明】
【０１９５】
１０    第１符号化装置
２０    第１復号化装置
３０    第２符号化装置
４０    第２復号化装置
１００、３００  画像符号化装置
１０１  動き推定部
１０２、２０４  動き補償部
１０３  減算器
１０４、３０５  第１変換部
１０５  量子化部
１０６  エントロピー符号化部
１０７  ビットストリーム生成部
１０８、２０２  逆量子化部
１０９、２０３  逆変換部
１１０  加算器
１１１、２０６  バッファ
２００、４００  画像復号化装置
２０１  エントロピー復号化部
３０１  ダウンサンプラ
３０２  第１動き推定部
３０３、４０５  第１動き補償部
３０４  第１減算器
３０６  第１量子化部
３０７  第１エントロピー符号化部
３０８、４０３  第１逆量子化部
３０９、４０４  第１逆変換部
３１０、４０６  第１加算器
３１１、４０７  第１バッファ
３１２  アップサンプラ
３１３、４０８  第２減算器
３１４  第２動き推定部
３１５、４１２  第２動き補償部
３１６  第３減算器
３１７  第２変換部
３１８  第２量子化部
３１９  第２エントロピー符号化部
３２０、４１０  第２逆量子化部
３２１、４１１  第２逆変換部
３２２、４１３  第２加算器
３２３、４１４  第２バッファ
４０１  ビットストリームパーサ
４０２  第１エントロピー復号化部
４０９  第２エントロピー復号化部
４１５  第３加算器
【図１】
2009188990.tif 000009
【図２】
2009188990.tif 000010
【図３】
2009188990.tif 000011
【図４】
2009188990.tif 000012
【図５】
2009188990.tif 000013
【図６】
2009188990.tif 000014
【図７】
2009188990.tif 000015
【図８】
2009188990.tif 000016
【図９】
2009188990.tif 000017
【図１０】
2009188990.tif 000018
【図１１】
2009188990.tif 000019
【図１２】
2009188990.tif 000020
【図１３】
2009188990.tif 000021
【図１４】
2009188990.tif 000022
【図１５】
2009188990.tif 000023
【図１６】
2009188990.tif 000024
【図１７】
2009188990.tif 000025
【図１８】
2009188990.tif 000026