(57)【要約】  本発明では、画像の符号化／復号化方法及びこのための装置が開示される。  画像を復号化する方法において、現在ピクチャーと参照ピクチャーとの性質が相違するか否かを判断するステップと、前記現在ピクチャーと前記参照ピクチャーとの性質が相違すれば、前記参照ピクチャーが前記現在ピクチャーと同じ性質を有するように変換するステップと、前記変換された参照ピクチャーを用いて前記現在ピクチャーを所定のブロック単位としてインター予測を行うステップとを含むことができる。【選択図】図１
2018533286.tif 000002
【特許請求の範囲】
【請求項１】
画像を復号化する方法において、
現在ピクチャーと参照ピクチャーとの性質が相違するか否かを判断するステップと、
前記現在ピクチャーと前記参照ピクチャーとの性質が相違すれば、前記参照ピクチャーが前記現在ピクチャーと同じ性質を有するように変換するステップと、
前記変換された参照ピクチャーを用いて前記現在ピクチャーを所定のブロック単位としてインター予測を行うステップと、
を含む、画像復号化方法。
【請求項２】
前記性質は、解像度（ｒｅｓｏｌｕｔｉｏｎ）、ビット−深度（ｂｉｔ−ｄｅｐｔｈ）、カラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）、ダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）、及び幅−対−高さ比率（ａｓｐｅｃｔ  ｒａｔｉｏ）のうち、少なくとも１つを含む、請求項１に記載の画像復号化方法。
【請求項３】
前記変換するステップは、
前記参照ピクチャーの幅（ｗｉｄｔｈ）及び／又は高さ（ｈｅｉｇｈｔ）に対する前記現在ピクチャーの幅及び／又は高さの比率が１より小さければ、前記参照ピクチャーを幅及び／又は高さ方向に前記比率の分だけダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）するステップを含む、請求項２に記載の画像復号化方法。
【請求項４】
前記変換するステップは、
前記参照ピクチャーの幅（ｗｉｄｔｈ）及び／又は高さ（ｈｅｉｇｈｔ）に対する前記現在ピクチャーの幅及び／又は高さの比率が１より大きければ、前記参照ピクチャーを幅及び／又は高さ方向に前記比率の分だけアップスケーリング（ｕｐｓｃａｌｉｎｇ）するステップを含む、請求項３に記載の画像復号化方法。
【請求項５】
前記インター予測を行うステップは、
１／ｎ分数−ペル（ｆｒａｃｔｉｏｎａｌ−ｐｅｌ）単位の動き情報が利用される場合、前記参照ピクチャーに対するダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）無しで、前記参照ピクチャーからｎ：１サブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ）を介して前記ブロックの予測サンプルを導き出すステップを含む、請求項４に記載の画像復号化方法。
【請求項６】
前記変換するステップは、
前記参照ピクチャーのダウン／アップスケーリング（ｄｏｗｎ／ｕｐｓｃａｌｉｎｇ）のスケーリング因子（ｓｃａｌｉｎｇ  ｆａｃｔｏｒ）の分だけ前記参照ピクチャーの動きベクトルをスケーリングし、
動きベクトルを有することができる最小サイズのブロック単位に、前記ブロックの左上端サンプルが含まれた前記参照ピクチャー内の予測ブロックの動きベクトルを割り当てる、請求項５に記載の画像復号化方法。
【請求項７】
前記変換するステップは、
前記参照ピクチャーと前記現在ピクチャーとの間にダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）及び／又はビット−深度（ｂｉｔ−ｄｅｐｔｈ）が相違した場合、前記参照ピクチャーのダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）及び／又はビット−深度（ｂｉｔ−ｄｅｐｔｈ）を予め決められた線形または非線形関数を用いて変換するステップを含む、請求項２に記載の画像復号化方法。
【請求項８】
前記変換するステップは、
前記参照ピクチャーと前記現在ピクチャーとの間にカラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）が相違した場合、前記参照ピクチャーの色差コンポーネント（ｃｈｒｏｍｉｎａｎｃｅ  ｃｏｍｐｏｎｅｎｔ）を水平、垂直方向にアップ／ダウンスケーリングするステップを含む、請求項２に記載の画像復号化方法。
【請求項９】
画像を復号化する装置において、
現在ピクチャーと参照ピクチャーとの性質が相違するか否かを判断する性質判断部と、
前記現在ピクチャーと前記参照ピクチャーとの性質が相違すれば、前記参照ピクチャーが前記現在ピクチャーと同じ性質を有するように変換する変換部と、
前記変換された参照ピクチャーを用いて前記現在ピクチャーを所定のブロック単位としてインター予測を行うインター予測部と、
を備える装置。
【請求項１０】
前記性質は、解像度（ｒｅｓｏｌｕｔｉｏｎ）、ビット−深度（ｂｉｔ−ｄｅｐｔｈ）、カラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）、ダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）、及び幅−対−高さ比率（ａｓｐｅｃｔ  ｒａｔｉｏ）のうち、少なくとも１つ以上を含む、請求項９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画処理方法に関し、より詳細には、画面間予測を利用して動画をエンコード／デコードする方法及びこれを支援する装置に関する。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を通信回線を介して送信したり、格納媒体に適した形態で格納するための一連の信号処理技術を意味する。画像、イメージ、音声等のメディアが圧縮符号化の対象になることができ、特に、画像を対象として圧縮符号化を行う技術をビデオ画像圧縮と称する。
【０００３】
次世代ビデオコンテンツは、高解像度（ｈｉｇｈ  ｓｐａｔｉａｌ  ｒｅｓｏｌｕｔｉｏｎ）、高フレーム率（ｈｉｇｈ  ｆｒａｍｅ  ｒａｔｅ）、及び画像表現の高次元化（ｈｉｇｈ  ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  ｏｆ  ｓｃｅｎｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）という特徴を有するようになるであろう。そのようなコンテンツを処理するためには、メモリ格納（ｍｅｍｏｒｙ  ｓｔｏｒａｇｅ）、メモリアクセス率（ｍｅｍｏｒｙ  ａｃｃｅｓｓ  ｒａｔｅ）、及び処理電力（ｐｒｏｃｅｓｓｉｎｇ  ｐｏｗｅｒ）の側面で莫大な増加を有してくるであろう。
【０００４】
したがって、次世代ビデオコンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、多重表現（ｍｕｌｔｉｐｌｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）で構成された画像を符号化／復号化するための方法を提案する。
【０００６】
また、本発明の目的は、性質の相違したピクチャー間を符号化／復号化するための方法を提案する。
【０００７】
本発明においてなそうとする技術的課題は、以上で言及した技術的課題に制限されず、言及していないさらに他の技術的課題は、下記の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解され得るであろう。
【課題を解決するための手段】
【０００８】
本発明の一態様は、画像を復号化する方法において、現在ピクチャーと参照ピクチャーとの性質が相違するか否かを判断するステップと、前記現在ピクチャーと前記参照ピクチャーとの性質が相違すれば、前記参照ピクチャーが前記現在ピクチャーと同じ性質を有するように変換するステップと、前記変換された参照ピクチャーを用いて前記現在ピクチャーを所定のブロック単位としてインター予測を行うステップを含むことができる。
【０００９】
本発明の一態様は、画像を復号化する装置において、現在ピクチャーと参照ピクチャーとの性質が相違するか否かを判断する性質判断部と、前記現在ピクチャーと前記参照ピクチャーとの性質が相違すれば、前記参照ピクチャーが前記現在ピクチャーと同じ性質を有するように変換する変換部と、前記変換された参照ピクチャーを用いて前記現在ピクチャーを所定のブロック単位としてインター予測を行うインター予測部を備えることができる。
【００１０】
好ましくは、前記性質は、解像度（ｒｅｓｏｌｕｔｉｏｎ）、ビット−深度（ｂｉｔ−ｄｅｐｔｈ）、カラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）、ダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）、及び幅−対−高さ比率（ａｓｐｅｃｔ  ｒａｔｉｏ）のうち、少なくとも１つを含むことができる。
【００１１】
好ましくは、前記参照ピクチャーの幅（ｗｉｄｔｈ）及び／又は高さ（ｈｅｉｇｈｔ）に対する前記現在ピクチャーの幅及び／又は高さの比率が１より小さければ、前記参照ピクチャーが幅及び／又は高さ方向に前記比率の分だけダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）されることができる。
【００１２】
好ましくは、前記参照ピクチャーの幅（ｗｉｄｔｈ）及び／又は高さ（ｈｅｉｇｈｔ）に対する前記現在ピクチャーの幅及び／又は高さの比率が１より大きければ、前記参照ピクチャーが幅及び／又は高さ方向に前記比率の分だけアップスケーリング（ｕｐｓｃａｌｉｎｇ）されることができる。
【００１３】
好ましくは、１／ｎ分数−ペル（ｆｒａｃｔｉｏｎａｌ−ｐｅｌ）単位の動き情報が利用される場合、前記参照ピクチャーに対するダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）無しで、前記参照ピクチャーからｎ：１サブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ）を介して前記ブロックの予測サンプルが導き出され得る。
【００１４】
好ましくは、前記参照ピクチャーのダウン／アップスケーリング（ｄｏｗｎ／ｕｐｓｃａｌｉｎｇ）のスケーリング因子（ｓｃａｌｉｎｇ  ｆａｃｔｏｒ）の分だけ前記参照ピクチャーの動きベクトルがスケーリングされ、動きベクトルを有することができる最小サイズのブロック単位に、前記ブロックの左上端サンプルが含まれた前記参照ピクチャー内の予測ブロックの動きベクトルが割り当てられ得る。
【００１５】
好ましくは、前記参照ピクチャーと前記現在ピクチャーとの間にダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）及び／又はビット−深度（ｂｉｔ−ｄｅｐｔｈ）が相違した場合、前記参照ピクチャーのダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）及び／又はビット−深度（ｂｉｔ−ｄｅｐｔｈ）が予め決められた線形または非線形関数を用いて変換されることができる。
【００１６】
好ましくは、前記参照ピクチャーと前記現在ピクチャーとの間にカラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）が相違した場合、前記参照ピクチャーの色差コンポーネント（ｃｈｒｏｍｉｎａｎｃｅ  ｃｏｍｐｏｎｅｎｔ）が水平、垂直方向にアップ／ダウンスケーリングされることができる。
【発明の効果】
【００１７】
本発明の実施形態によれば、多重表現（ｍｕｌｔｉｐｌｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）で構成された画像を円滑に復号化することができる。
【００１８】
また、本発明の実施形態によれば、性質の互いに相違したピクチャー間を円滑に復号化することができる。
【００１９】
本発明において得ることができる効果は、以上で言及した効果に制限されず、言及していないさらに他の効果は、下記の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解され得るであろう。
【図面の簡単な説明】
【００２０】
本発明に関する理解を助けるために、詳細な説明の一部として含まれる添付図面は、本発明に対する実施形態を提供し、詳細な説明とともに本発明の技術的特徴を説明する。
【図１】本発明が適用される実施形態であって、静止画または動画信号のエンコードが行われるエンコーダの概略的なブロック図を示す。
【図２】本発明が適用される実施形態であって、静止画または動画信号のエンコードが行われるデコーダの概略的なブロック図を示す。
【図３】本発明に適用され得るコーディングユニットの分割構造を説明するための図である。
【図４】本発明に適用され得る予測ユニットを説明するための図である。
【図５】本発明が適用され得る実施形態であって、インター予測の方向を例示する図である。
【図６】本発明が適用され得る実施形態であって、１／４サンプル補間のための整数及び分数サンプル位置を例示する。
【図７】本発明が適用され得る実施形態であって、空間的候補の位置を例示する。
【図８】本発明が適用される実施形態であって、インター予測方法を例示する図である。
【図９】本発明が適用され得る実施形態であって、動き補償過程を例示する図である。
【図１０】本発明が適用され得る、適応的なストリーミング（ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ）方法を例示する図である。
【図１１】本発明が適用され得る多重表現（ｍｕｌｔｉｐｌｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を利用した適応的なストリーミング（ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ）方法を例示する図である。
【図１２】本発明が適用され得る多重表現（ｍｕｌｔｉｐｌｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を利用した適応的なストリーミング（ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ）方法を例示する図である。
【図１３】本発明の一実施形態に係る現在ピクチャーと参照ピクチャーとの間の性質／特性が相違するか否かを判別する方法を例示する。
【図１４】本発明の一実施形態に係る現在ピクチャーと参照ピクチャーとの間の解像度が相違した場合、参照ピクチャー管理プロセスを例示する。
【図１５】前述した図１４の参照ピクチャー管理プロセスを図式化した図である。
【図１６】本発明の一実施形態に係るダウンサンプリングされた予測を行う方法を例示する図である。
【図１７】本発明の一実施形態に係る現在ピクチャーと参照ピクチャーとの間の解像度が相違した場合、動き情報をスケーリングする方法を例示する。
【図１８】本発明の一実施形態に係る現在ピクチャーと参照ピクチャーとの間のビット−深度またはダイナミックレンジが相違した場合、これを補正するためのホモグラフィ行列（Ｈｏｍｏｇｒａｐｈｙ  ｍａｔｒｉｘ）を例示する。
【図１９】本発明の一実施形態に係る画像復号化方法を例示する図である。
【図２０】本発明の一実施形態に係る復号化装置を例示する図である。
【発明を実施するための具体的な内容】
【００２１】
以下、本発明に係る好ましい実施形態を添付された図面を参照して詳細に説明する。添付された図面とともに以下に開示される詳細な説明は、本発明の例示的な実施形態を説明しようとするものであり、本発明が実施され得る唯一の実施形態を表そうとするものではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。しかしながら、当業者は、本発明がこのような具体的な細部事項がなくとも実施され得ることが分かる。
【００２２】
いくつかの場合、本発明の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図形式で図示されることができる。
【００２３】
合わせて、本発明で使用される用語は、なるべく現在広く使用される一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には、当該部分の詳細説明でその意味を明確に記載するので、本発明の説明で使用された用語の名称だけで単純解釈されてはならず、その当該用語の意味まで把握して解釈されなければならないことを明かしておく。
【００２４】
以下の説明で使用される特定用語等は、本発明の理解を助けるために提供されたものであって、このような特定用語の使用は、本発明の技術的思想を逸脱しない範囲で他の形態に変更されることができる。例えば、信号、データ、サンプル、ピクチャー、フレーム、ブロックなどの場合、各コーディング過程で適宜代替されて解釈され得るであろう。
【００２５】
以下、本明細書において「ブロック」または「ユニット」は、予測、変換及び／又は量子化などのようなエンコード／デコードの過程が行われる単位を意味し、サンプル（または、画素、ピクセル）の多次元配列で構成されることができる。
【００２６】
「ブロック」または「ユニット」は、輝度（ｌｕｍａ）成分に対するサンプルの多次元配列を意味することができ、色差（ｃｈｒｏｍａ）成分に対するサンプルの多次元配列を意味することもできる。また、輝度（ｌｕｍａ）成分に対するサンプルの多次元配列と色差（ｃｈｒｏｍａ）成分に対するサンプルの多次元配列とを全て含んで通称することもできる。
【００２７】
例えば、「ブロック」または「ユニット」は、エンコード／デコードの実行対象になるサンプルの配列を意味するコーディングブロック（ＣＢ：Ｃｏｄｉｎｇ  Ｂｌｏｃｋ）、複数のコーディングブロックで構成されるコーディングツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｂｌｏｃｋ）、同じ予測が適用されるサンプルの配列を意味する予測ブロック（ＰＢ：Ｐｒｅｄｉｃｔｉｏｎ  Ｂｌｏｃｋ）（または、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ））、同じ変換が適用されるサンプルの配列を意味する変換ブロック（ＴＢ：Ｔｒａｎｓｆｏｒｍ  Ｂｌｏｃｋ）（または、変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ））を全て含む意味と解釈されることができる。
【００２８】
また、本明細書で別の言及がない限り、「ブロック」または「ユニット」は、輝度（ｌｕｍａ）成分及び／又は色差（ｃｈｒｏｍａ）成分に対するサンプルの配列をエンコード／デコードする過程で利用されるシンタックス構造（ｓｙｎｔａｘ  ｓｔｒｕｃｔｕｒｅ）を含む意味と解釈されることができる。ここで、シンタックス構造は、特定の順序でビットストリーム内に存在する０またはそれ以上のシンタックス要素（ｓｙｎｔａｘ  ｅｌｅｍｅｎｔ）を意味し、シンタックス要素は、ビットストリーム内で表現されるデータの要素を意味する。
【００２９】
例えば、「ブロック」または「ユニット」は、コーディングブロックＣＢと当該コーディングブロックＣＢのエンコードのために利用されるシンタックス構造を含むコーディングユニット（ＣＵ：Ｃｏｄｉｎｇ  Ｕｎｉｔ）、複数のコーディングユニットで構成されるコーディングツリーユニット（ＣＵ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）、予測ブロックＰＢと当該予測ブロックＰＢの予測のために利用されるシンタックス構造を含む予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）、変換ブロックＴＢと当該変換ブロックＴＢの変換のために利用されるシンタックス構造を含む変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）を全て含む意味と解釈されることができる。
【００３０】
また、本明細書で「ブロック」または「ユニット」は、必ずしも正方形または長方形の形態のサンプル（または、画素、ピクセル）の配列に限定されるものではなく、３個以上の頂点を有する多角形の形態のサンプル（または、画素、ピクセル）の配列を意味することもできる。この場合、ポリゴン（Ｐｏｌｙｇｏｎ）ブロックまたはポリゴンユニットに呼ばれることもできる。
【００３１】
図１は、本発明が適用される実施形態であって、静止画または動画信号のエンコードが行われるエンコーダの概略的なブロック図を示す。
【００３２】
図１に示すように、エンコーダ１００は、画像分割部１１０、減算器１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャーバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）１７０、予測部１８０、及びエントロピーエンコード部１９０を備えて構成されることができる。そして、予測部１８０は、インター予測部１８１、イントラ予測部１８２を備えて構成されることができる。
【００３３】
画像分割部１１０は、エンコーダ１００に入力された入力画像信号（Ｉｎｐｕｔ  ｖｉｄｅｏ  ｓｉｇｎａｌ）（または、ピクチャー、フレーム）を１つ以上のブロックに分割する。
【００３４】
減算器１１５は、入力画像信号で予測部１８０（すなわち、インター予測部１８１またはイントラ予測部１８２）から出力された予測された信号（ｐｒｅｄｉｃｔｅｄ  ｓｉｇｎａｌ）（または、予測されたブロック（ｐｒｅｄｉｃｔｅｄ  ｂｌｏｃｋ））を減算して差分信号（ｒｅｓｉｄｕａｌ  ｓｉｇｎａｌ）（または、差分ブロック）を生成する。生成された差分信号（または、差分ブロック）は、変換部１２０に送信される。
【００３５】
変換部１２０は、差分信号（または、差分ブロック）に変換技法（例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ−Ｂａｓｅｄ  Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ  ｔｒａｎｓｆｏｒｍ）等）を適用して変換係数（ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。このとき、変換部１２０は、差分ブロックに適用された予測モードと差分ブロックのサイズに応じて決定された変換技法を利用して変換を行うことにより、変換係数を生成することができる。
【００３６】
量子化部１３０は、変換係数を量子化してエントロピーエンコード部１９０に送信し、エントロピーエンコード部１９０は、量子化された信号（ｑｕａｎｔｉｚｅｄ  ｓｉｇｎａｌ）をエントロピーコーディングしてビットストリームに出力する。
【００３７】
一方、量子化部１３０から出力された量子化された信号（ｑｕａｎｔｉｚｅｄ  ｓｉｇｎａｌ）は、予測信号を生成するために用いられることができる。例えば、量子化された信号（ｑｕａｎｔｉｚｅｄ  ｓｉｇｎａｌ）は、ループ内の逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することによって差分信号を復元することができる。復元された差分信号をインター予測部１８１またはイントラ予測部１８２から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）に足すことにより、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）（または、復元ブロック）が生成され得る。
【００３８】
一方、上記のような圧縮過程で隣接したブロックが互いに異なる量子化パラメータにより量子化されることで、ブロック境界が見える劣化が発生し得る。このような現象をブロッキング劣化（ｂｌｏｃｋｉｎｇ  ａｒｔｉｆａｃｔｓ）といい、これは、画質を評価する重要な要素のうちの１つである。このような劣化を減らすために、フィルタリング過程を行うことができる。このようなフィルタリング過程を介してブロッキング劣化を除去するとともに、現在ピクチャーに対する誤差を減らすことにより、画質を向上させることができるようになる。
【００３９】
フィルタリング部１６０は、復元信号にフィルタリングを適用して、これを再生装置に出力するか、復号ピクチャーバッファ１７０に送信する。復号ピクチャーバッファ１７０に送信されたフィルタリングされた信号は、インター予測部１８１で参照ピクチャーとして使用されることができる。このように、フィルタリングされたピクチャーを画面間予測モードで参照ピクチャーとして用いることにより、画質だけでなく、符号化効率も向上させることができる。
【００４０】
復号ピクチャーバッファ１７０は、フィルタリングされたピクチャーをインター予測部１８１での参照ピクチャーとして使用するために格納することができる。
【００４１】
インター予測部１８１は、復元ピクチャー（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｐｉｃｔｕｒｅ）を参照して時間的重複性及び／又は空間的重複性を除去するために、時間的予測及び／又は空間的予測を行う。
【００４２】
ここで、予測を行うために用いられる参照ピクチャーは、以前時間に符号化／復号化の際、ブロック単位に量子化と逆量子化を経て変換された信号であるから、ブロッキングアーティファクト（ｂｌｏｃｋｉｎｇ  ａｒｔｉｆａｃｔ）やリンギングアーティファクト（ｒｉｎｇｉｎｇ  ａｒｔｉｆａｃｔ）が存在し得る。
【００４３】
したがって、インター予測部１８１は、このような信号の不連続や量子化による性能低下を解決するために、ローパスフィルタ（ｌｏｗｐａｓｓ  ｆｉｌｔｅｒ）を適用することにより、ピクセル間の信号をサブ−ピクセル単位に補間することができる。ここで、サブ−ピクセルは、補間フィルタを適用して生成された仮想の画素を意味し、整数ピクセルは、復元されたピクチャーに存在する実際画素を意味する。補間方法では、線形補間、双線形補間（ｂｉ−ｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ウィーナフィルタ（ｗｉｅｎｅｒ  ｆｉｌｔｅｒ）などが適用され得る。
【００４４】
補間フィルタは、復元ピクチャー（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｐｉｃｔｕｒｅ）に適用されて、予測の精密度を向上させることができる。例えば、インター予測部１８１は、整数ピクセルに補間フィルタを適用して補間ピクセルを生成し、補間ピクセル（ｉｎｔｅｒｐｏｌａｔｅｄ  ｐｉｘｅｌｓ）で構成された補間ブロック（ｉｎｔｅｒｐｏｌａｔｅｄ  ｂｌｏｃｋ）を使用して予測を行うことができる。
【００４５】
イントラ予測部１８２は、現在符号化を進行しようとするブロックの周辺にあるサンプルを参照して現在ブロックを予測する。イントラ予測部１８２は、イントラ予測を行うために、次のような過程を行うことができる。まず、予測信号を生成するために必要な参照サンプルを用意することができる。そして、用意された参照サンプルを用いて予測された信号（予測されたブロック）を生成できる。その後、予測モードを符号化するようになる。このとき、参照サンプルは、参照サンプルパディング及び／又は参照サンプルフィルタリングを介して用意されることができる。参照サンプルは、予測及び復元過程を経たので、量子化エラーが存在し得る。したがって、このようなエラーを減らすために、イントラ予測に用いられる各予測モードに対して参照サンプルフィルタリング過程が行われ得る。
【００４６】
インター予測部１８１または前記イントラ予測部１８２を介して生成され、予測された信号（ｐｒｅｄｉｃｔｅｄ  ｓｉｇｎａｌ）（または、予測されたブロック）は、復元信号（または、復元ブロック）を生成するために用いられるか、差分信号（または、差分ブロック）を生成するために用いられることができる。
【００４７】
図２は、本発明が適用される実施形態であって、静止画または動画信号のエンコードが行われるデコーダの概略的なブロック図を示す。
【００４８】
図２に示すように、デコーダ２００は、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算器２３５、フィルタリング部２４０、復号ピクチャーバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ  Ｕｎｉｔ）２５０、予測部２６０を備えて構成されることができる。そして、予測部２６０は、インター予測部２６１及びイントラ予測部２６２を備えて構成されることができる。
【００４９】
そして、デコーダ２００を介して出力された復元画像信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｖｉｄｅｏ  ｓｉｇｎａｌ）は、再生装置を介して再生されることができる。
【００５０】
デコーダ２００は、図１のエンコーダ１００から出力された信号（すなわち、ビットストリーム）を受信し、受信された信号は、エントロピーデコード部２１０を介してエントロピーデコードされる。
【００５１】
逆量子化部２２０では、量子化ステップサイズ情報を利用してエントロピーデコードされた信号から変換係数（ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｆｉｃｉｅｎｔ）を取得する。
【００５２】
逆変換部２３０では、逆変換技法を適用して変換係数を逆変換して差分信号（ｒｅｓｉｄｕａｌ  ｓｉｇｎａｌ）（または、差分ブロック）を取得するようになる。
【００５３】
加算器２３５は、取得された差分信号（または、差分ブロック）を予測部２６０（すなわち、インター予測部２６１またはイントラ予測部２６２）から出力された予測された信号（ｐｒｅｄｉｃｔｅｄ  ｓｉｇｎａｌ）（または、予測されたブロック）に足すことにより、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）（または、復元ブロック）が生成される。
【００５４】
フィルタリング部２４０は、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）（または、復元ブロック）にフィルタリングを適用して、これを再生装置に出力するか、復号ピクチャーバッファ部２５０に送信する。復号ピクチャーバッファ部２５０に送信され、フィルタリングされた信号は、インター予測部２６１で参照ピクチャーとして使用されることができる。
【００５５】
本明細書において、エンコーダ１００のフィルタリング部１６０、インター予測部１８１、及びイントラ予測部１８２で説明された実施形態は、各々デコーダのフィルタリング部２４０、インター予測部２６１、及びイントラ予測部２６２にも同様に適用されることができる。
【００５６】
ブロック分割構造
【００５７】
一般に、静止画または動画圧縮技術（例えば、ＨＥＶＣ）では、ブロック基盤の画像圧縮方法を利用する。ブロック基盤の画像圧縮方法は、画像を特定ブロック単位に分けて処理する方法であって、メモリ使用と演算量を減少させることができる。
【００５８】
図３は、本発明に適用され得るコーディングユニットの分割構造を説明するための図である。
【００５９】
エンコーダは、１つの画像（または、ピクチャー）を四角形の形態のコーディングツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）単位に分割する。そして、ラスタースキャン順序（ｒａｓｔｅｒ  ｓｃａｎ  ｏｒｄｅｒ）にしたがって１つのＣＴＵずつ順次エンコードする。
【００６０】
ＨＥＶＣでＣＴＵのサイズは、６４×６４、３２×３２、１６×１６のうち、いずれか１つに決められることができる。エンコーダは、入力された画像の解像度または入力された画像の特性などによってＣＴＵのサイズを選択して使用することができる。ＣＴＵは、輝度（ｌｕｍａ）成分に対するコーディングツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｂｌｏｃｋ）と、これに対応する２つの色差（ｃｈｒｏｍａ）成分に対するＣＴＢを含む。
【００６１】
１つのＣＴＵは、クアッド−ツリー（Ｑｕａｄ−ｔｒｅｅ）構造に分割されることができる。すなわち、１つのＣＴＵは、正方形の形態を有しながら半分の水平サイズ（ｈａｌｆ  ｈｏｒｉｚｏｎｔａｌ  ｓｉｚｅ）及び半分の垂直サイズ（ｈａｌｆ  ｖｅｒｔｉｃａｌ  ｓｉｚｅ）を有する４個のユニットに分割されて、コーディングユニット（ＣＵ：Ｃｏｄｉｎｇ  Ｕｎｉｔ）が生成され得る。このようなクアッド−ツリー構造の分割は、再帰的に行われることができる。すなわち、ＣＵは、１つのＣＴＵからクアッド−ツリー構造で階層的に分割される。
【００６２】
ＣＵは、入力画像の処理過程、例えば、イントラ（ｉｎｔｒａ）／インター（ｉｎｔｅｒ）予測が行われるコーディングの基本単位を意味する。ＣＵは、輝度（ｌｕｍａ）成分に対するコーディングブロック（ＣＢ：Ｃｏｄｉｎｇ  Ｂｌｏｃｋ）と、これに対応する２つの色差（ｃｈｒｏｍａ）成分に対するＣＢを含む。ＨＥＶＣでＣＵのサイズは、６４×６４、３２×３２、１６×１６、８×８のうち、いずれか１つに決められることができる。
【００６３】
図３に示すように、クアッド−ツリーのルートノード（ｒｏｏｔ  ｎｏｄｅ）は、ＣＴＵと関連する。クアッド−ツリーは、リーフノード（ｌｅａｆ  ｎｏｄｅ）に到達するまで分割され、リーフノードは、ＣＵに該当する。
【００６４】
より具体的に説明すれば、ＣＴＵは、ルートノード（ｒｏｏｔ  ｎｏｄｅ）に該当し、最も小さい深さ（ｄｅｐｔｈ）（すなわち、ｄｅｐｔｈ＝０）値を有する。入力画像の特性に応じてＣＴＵが分割されないことがあり、この場合、ＣＴＵは、ＣＵに該当する。
【００６５】
ＣＴＵは、クアッドツリー形態に分割されることができ、その結果、深さ１（ｄｅｐｔｈ＝１）である下位ノードが生成される。そして、１の深さを有する下位ノードでそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードａ、ｂ及びｊに対応するＣＵ（ａ）、ＣＵ（ｂ）、ＣＵ（ｊ）は、ＣＴＵで１回分割され、１の深さを有する。
【００６６】
１の深さを有するノードのうち、少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ２（すなわち、ｄｅｐｔｈ＝２）である下位ノードが生成される。そして、２の深さを有する下位ノードでそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｃ、ｈ、及びｉに対応するＣＵ（ｃ）、ＣＵ（ｈ）、ＣＵ（ｉ）は、ＣＴＵで２回分割され、２の深さを有する。
【００６７】
また、２の深さを有するノードのうち、少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ３（すなわち、ｄｅｐｔｈ＝３）である下位ノードが生成される。そして、３の深さを有する下位ノードでそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｄ、ｅ、ｆ、ｇに対応するＣＵ（ｄ）、ＣＵ（ｅ）、ＣＵ（ｆ）、ＣＵ（ｇ）は、ＣＴＵで３回分割され、３の深さを有する。
【００６８】
エンコーダでは、ビデオ画像の特性（例えば、解像度）に応じて、あるいは符号化の効率を考慮してＣＵの最大サイズまたは最小サイズを決定できる。そして、これに関する情報またはこれを導くことができる情報がビットストリームに含まれ得る。最大サイズを有するＣＵを最大コーディングユニット（ＬＣＵ：Ｌａｒｇｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）と呼び、最小サイズを有するＣＵを最小コーディングユニット（ＳＣＵ：Ｓｍａｌｌｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）と呼ぶことができる。
【００６９】
また、ツリー構造を有するＣＵは、予め決められた最大深さ情報（または、最大レベル情報）を有して階層的に分割されることができる。そして、それぞれの分割されたＣＵは、深さ情報を有することができる。深さ情報は、ＣＵの分割された回数及び／又は程度を表すので、ＣＵのサイズに関する情報を含むこともできる。
【００７０】
ＬＣＵがクアッドツリー形態に分割されるので、ＬＣＵのサイズ及び最大深さ情報を利用すれば、ＳＣＵのサイズを求めることができる。または逆に、ＳＣＵのサイズ及びツリーの最大深さ情報を利用すれば、ＬＣＵのサイズを求めることができる。
【００７１】
１つのＣＵに対して、当該ＣＵが分割されるか否かを表す情報（例えば、分割ＣＵフラグ（ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ））がデコーダに伝達され得る。この分割モードは、ＳＣＵを除いた全てのＣＵに含まれている。例えば、分割可否を表すフラグの値が「１」であれば、当該ＣＵはさらに４個のＣＵに分けられ、分割可否を表すフラグの値が「０」であれば、当該ＣＵはそれ以上分けられず、当該ＣＵに対する処理過程が行われ得る。
【００７２】
上述のように、ＣＵは、イントラ予測またはインター予測が行われるコーディングの基本単位である。ＨＥＶＣは、入力画像をより効果的にコーディングするために、ＣＵを予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）単位に分割する。
【００７３】
ＰＵは、予測ブロックを生成する基本単位であって、１つのＣＵ内でもＰＵ単位に互いに異なるように予測ブロックを生成できる。ただし、１つのＣＵ内に属したＰＵなどは、イントラ予測とインター予測とが混合されて使用されず、１つのＣＵ内に属したＰＵなどは、同じ予測方法（すなわち、イントラ予測あるいはインター予測）によりコーディングされる。
【００７４】
ＰＵは、クアッド−ツリー構造に分割されず、１つのＣＵで予め決められた形態で１回分割される。これについて、下記の図面を参照して説明する。
【００７５】
図４は、本発明に適用され得る予測ユニットを説明するための図である。
【００７６】
ＰＵは、ＰＵが属するＣＵのコーディングモードとしてイントラ予測モードが使用されるか、インター予測モードが使用されるかによって相違して分割される。
【００７７】
図４（ａ）は、イントラ予測モードが使用される場合のＰＵを例示し、図４（ｂ）は、インター予測モードが使用される場合のＰＵを例示する。
【００７８】
図４（ａ）に示すように、１つのＣＵのサイズが２Ｎ×２Ｎ（Ｎ＝４、８、１６、３２）である場合を仮定すれば、１つのＣＵは、２つのタイプ（すなわち、２Ｎ×２ＮまたはＮ×Ｎ）に分割されることができる。
【００７９】
ここで、２Ｎ×２Ｎ形態のＰＵに分割される場合、１つのＣＵ内に１つのＰＵだけが存在することを意味する。
【００８０】
それに対し、Ｎ×Ｎ形態のＰＵに分割される場合、１つのＣＵは、４個のＰＵに分割され、各ＰＵ単位別に互いに異なる予測ブロックが生成される。ただし、このようなＰＵの分割は、ＣＵの輝度成分に対するＣＢのサイズが最小サイズである場合（すなわち、ＣＵがＳＣＵである場合）にのみ行われることができる。
【００８１】
図４（ｂ）に示すように、１つのＣＵのサイズが２Ｎ×２Ｎ（Ｎ＝４、８、１６、３２）である場合を仮定すれば、１つのＣＵは、８つのＰＵタイプ（すなわち、２Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ）に分割されることができる。
【００８２】
イントラ予測と同様に、Ｎ×Ｎ形態のＰＵ分割は、ＣＵの輝度成分に対するＣＢのサイズが最小サイズである場合（すなわち、ＣＵがＳＣＵである場合）にのみ行われることができる。
【００８３】
インター予測では、横方向に分割される２Ｎ×Ｎ形態及び縦方向に分割されるＮ×２Ｎ形態のＰＵ分割を支援する。
【００８４】
また、非対称動き分割（ＡＭＰ：Ａｓｙｍｍｅｔｒｉｃ  ＭｏｔｉｏｎＰａｒｔｉｔｉｏｎ）形態であるｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ形態のＰＵ分割を支援する。ここで、「ｎ」は、２Ｎの１／４値を意味する。ただし、ＡＭＰは、ＰＵが属したＣＵが最小サイズのＣＵである場合、使用されることができない。
【００８５】
１つのＣＴＵ内の入力画像を効率的に符号化するために、コーディングユニットＣＵ、予測ユニットＰＵ、変換ユニットＴＵの最適の分割構造は、下記のような実行過程を経て最小レート−歪み（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）値に基づいて決定されることができる。例えば、６４×６４ＣＴＵ内の最適のＣＵ分割過程を説明すれば、６４×６４サイズのＣＵから８×８サイズのＣＵまでの分割過程を経ながら、レート−歪み費用を計算できる。具体的な過程は、次のとおりである。
【００８６】
１）６４×６４サイズのＣＵに対してインター／イントラ予測、変換／量子化、逆量子化／逆変換、及びエントロピーエンコード実行を介して最小のレート−歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。
【００８７】
２）６４×６４ＣＵを３２×３２サイズのＣＵ４個に分割し、各３２×３２ＣＵに対して最小のレート−歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。
【００８８】
３）３２×３２ＣＵを１６×１６サイズのＣＵ４個に再度分割し、各１６×１６ＣＵに対して最小のレート−歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。
【００８９】
４）１６×１６ＣＵを８×８サイズのＣＵ４個に再度分割し、各８×８ＣＵに対して最小のレート−歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。
【００９０】
５）上記の３）の過程で算出した１６×１６ＣＵのレート−歪み値と、上記の４）の過程で算出した４個８×８ＣＵのレート−歪み値との合計を比較して、１６×１６ブロック内で最適のＣＵの分割構造を決定する。この過程を残りの３個の１６×１６ＣＵなどに対しても同様に行う。
【００９１】
６）上記の２）の過程で計算された３２×３２ＣＵのレート−歪み値と、上記の５）の過程で取得した４個の１６×１６ＣＵのレート−歪み値との合計を比較して、３２×３２ブロック内で最適のＣＵの分割構造を決定する。この過程を残りの３個の３２×３２ＣＵなどに対しても同様に行う。
【００９２】
７）最後に、上記の１）の過程で計算された６４×６４ＣＵのレート−歪み値と、上記の６）の過程で取得した４個の３２×３２ＣＵのレート−歪み値との合計を比較して、６４×６４ブロック内で最適のＣＵの分割構造を決定する。
【００９３】
イントラ予測モードにおいて、ＰＵ単位に予測モードが選択され、選択された予測モードに対して実際ＴＵ単位に予測と再構成が行われる。
【００９４】
ＴＵは、実際予測と再構成が行われる基本単位を意味する。ＴＵは、輝度（ｌｕｍａ）成分に対する変換ブロック（ＴＢ：Ｔｒａｎｓｆｏｒｍ  Ｂｌｏｃｋ）と、これに対応する２つの色差（ｃｈｒｏｍａ）成分に対するＴＢを含む。
【００９５】
前述した図３の例示において１つのＣＴＵがクアッド−ツリー構造に分割されてＣＵが生成されるように、ＴＵは、コーディングしようとする１つのＣＵからクアッド−ツリー構造に階層的に分割される。
【００９６】
ＴＵは、クアッド−ツリー構造に分割されるので、ＣＵから分割されたＴＵは再度より小さい下位ＴＵに分割されることができる。ＨＥＶＣでは、ＴＵのサイズは、３２×３２、１６×１６、８×８、４×４のうち、いずれか１つに決められることができる。
【００９７】
さらに、図３に示すように、クアッド−ツリーのルートノード（ｒｏｏｔ  ｎｏｄｅ）は、ＣＵと関連すると仮定する。クアッド−ツリーは、リーフノード（ｌｅａｆ  ｎｏｄｅ）に到達するまで分割され、リーフノードは、ＴＵに該当する。
【００９８】
より具体的に説明すれば、ＣＵは、ルートノード（ｒｏｏｔ  ｎｏｄｅ）に該当し、最も小さい深さ（ｄｅｐｔｈ）（すなわち、ｄｅｐｔｈ＝０）値を有する。入力画像の特性に応じてＣＵが分割されないこともあり、この場合、ＣＵは、ＴＵに該当する。
【００９９】
ＣＵは、クアッドツリー形態に分割されることができ、その結果、深さ１（ｄｅｐｔｈ＝１）である下位ノードが生成される。そして、１の深さを有する下位ノードでそれ以上分割されなかったノード（すなわち、リーフノード）は、ＴＵに該当する。例えば、図３（ｂ）においてノードａ、ｂ、及びｊに対応するＴＵ（ａ）、ＴＵ（ｂ）、ＴＵ（ｊ）は、ＣＵで１回分割され、１の深さを有する。
【０１００】
１の深さを有するノードのうち、少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ２（すなわち、ｄｅｐｔｈ＝２）である下位ノードが生成される。そして、２の深さを有する下位ノードでそれ以上分割されなかったノード（すなわち、リーフノード）は、ＴＵに該当する。例えば、図３（ｂ）においてノードｃ、ｈ、及びｉに対応するＴＵ（ｃ）、ＴＵ（ｈ）、ＴＵ（ｉ）は、ＣＵで２回分割され、２の深さを有する。
【０１０１】
また、２の深さを有するノードのうち、少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ３（すなわち、ｄｅｐｔｈ＝３）である下位ノードが生成される。そして、３の深さを有する下位ノードでそれ以上分割されなかったノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｄ、ｅ、ｆ、ｇに対応するＴＵ（ｄ）、ＴＵ（ｅ）、ＴＵ（ｆ）、ＴＵ（ｇ）は、ＣＵで３回分割され、３の深さを有する。
【０１０２】
ツリー構造を有するＴＵは、予め決められた最大深さ情報（または、最大レベル情報）を有して階層的に分割されることができる。そして、それぞれの分割されたＴＵは、深さ情報を有することができる。深さ情報は、ＴＵの分割された回数及び／又は程度を表すので、ＴＵのサイズに関する情報を含むこともできる。
【０１０３】
１つのＴＵに対して、当該ＴＵが分割されるか否かを表す情報（例えば、分割ＴＵフラグ（ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ））がデコーダに伝達され得る。この分割情報は、最小サイズのＴＵを除いた全てのＴＵに含まれている。例えば、分割可否を表すフラグの値が「１」であれば、当該ＴＵは、さらに４個のＴＵに分けられ、分割可否を表すフラグの値が「０」であれば、当該ＴＵは、それ以上分けられない。
【０１０４】
予測（ｐｒｅｄｉｃｔｉｏｎ）
【０１０５】
デコードが行われる現在ブロックを復元するために、現在ブロックが含まれた現在ピクチャーまたは他のピクチャー等のデコードされた部分を利用できる。
【０１０６】
復元に現在ピクチャーのみを用いる、すなわち、画面内予測のみを行うピクチャー（スライス）をイントラピクチャーまたはＩピクチャー（スライス）、各ブロックを予測するために、最大１つの動きベクトル及びレファレンスインデックスを用いるピクチャー（スライス）を予測ピクチャー（ｐｒｅｄｉｃｔｉｖｅ  ｐｉｃｔｕｒｅ）またはＰピクチャー（スライス）、最大２つの動きベクトル及びレファレンスインデックスを用いるピクチャー（スライス）を双予測ピクチャー（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ  ｐｉｃｔｕｒｅ）またはＢピクチャー（スライス）と呼ぶことができる。
【０１０７】
イントラ予測は、同じデコードされたピクチャー（または、スライス）のデータ要素（例えば、サンプル値など）から現在ブロックを導き出す予測方法を意味する。すなわち、現在ピクチャー内の復元された領域を参照して現在ブロックのピクセル値を予測する方法を意味する。
【０１０８】
以下、インター予測についてより詳細に説明する。
【０１０９】
インター予測（Ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）（または、画面間予測）
【０１１０】
インター予測は、現在ピクチャー以外のピクチャーのデータ要素（例えば、サンプル値または動きベクトルなど）に基づいて現在ブロックを導き出す予測方法を意味する。すなわち、現在ピクチャー以外の復元された他のピクチャー内の復元された領域を参照して現在ブロックのピクセル値を予測する方法を意味する。
【０１１１】
インター予測（または、ピクチャー間予測）は、ピクチャー間に存在する重複性を除去する技術であって、ほとんど動き推定（ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ）及び動き補償（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）を介してなされる。
【０１１２】
図５は、本発明が適用され得る実施形態であって、インター予測の方向を例示する図である。
【０１１３】
図５に示すように、インター予測は、１つのブロックに対して時間軸上で過去のピクチャーあるいは未来のピクチャーの１つだけを参照ピクチャーとして使用する単方向予測（Ｕｎｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｏｎ）と、過去と未来ピクチャーを同時に参照する双方向予測（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｏｎ）とに分けることができる。
【０１１４】
また、単方向予測（Ｕｎｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｏｎ）は、時間的に現在ピクチャー以前に表示（または、出力）される１個の参照ピクチャーを用いる順方向予測（ｆｏｒｗａｒｄ  ｄｉｒｅｃｔｉｏｎ  ｐｒｅｄｉｃｔｉｏｎ）と、時間的に現在ピクチャー以後に表示（または、出力）される１個の参照ピクチャーを用いる逆方向予測（ｂａｃｋｗａｒｄ  ｄｉｒｅｃｔｉｏｎ  ｐｒｅｄｉｃｔｉｏｎ）とに区分されることができる。
【０１１５】
インター予測過程（すなわち、単方向または双方向予測）で現在ブロックを予測するのに、ある参照領域（または、参照ブロック）が用いられるか特定するために使用される動きパラメータ（または、情報）は、インター予測モード（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ  ｍｏｄｅ）（ここで、インター予測モードは、参照方向（すなわち、単方向または双方向）と参照リスト（すなわち、Ｌ０、Ｌ１、または双方向）を指示できる）、参照インデックス（ｒｅｆｅｒｅｎｃｅ  ｉｎｄｅｘ）（または、参照ピクチャーインデックスまたは参照リストインデックス）、動きベクトル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）情報を含む。前記動きベクトル情報は、動きベクトル、動きベクトル予測子（ＭＶＰ：ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｐｒｅｄｉｃｔｏｒ）、または動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｄｉｆｆｅｒｅｎｃｅ）を含むことができる。動きベクトル差分値は、前記動きベクトルと動きベクトル予測子との間の差分値を意味する。
【０１１６】
単方向予測は、一方向に対する動きパラメータが使用される。すなわち、参照領域（または、参照ブロック）を特定するために、１個の動きパラメータが必要でありうる。
【０１１７】
双方向予測は、両方向に対する動きパラメータが使用される。双方向予測方式では、最大２個の参照領域を用いることができるが、この２個の参照領域は、同じ参照ピクチャーに存在することができ、互いに異なるピクチャーに各々存在することもできる。すなわち、双方向予測方式では、最大２個の動きパラメータが用いられ得るが、２個の動きベクトルが同じ参照ピクチャーインデックスを有することができ、互いに異なる参照ピクチャーインデックスを有することもできる。このとき、参照ピクチャー等は、時間的に現在ピクチャー以前に全て表示（または、出力）されるか、以後に全て表示（または、出力）されることができる。
【０１１８】
エンコーダは、インター予測過程で現在ブロックと最も類似した参照領域を参照ピクチャーから探す動き推定（Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）を行う。そして、エンコーダは、参照領域に対する動きパラメータをデコーダに提供することができる。
【０１１９】
エンコーダ／デコーダは、動きパラメータを用いて現在ブロックの参照領域を取得できる。前記参照領域は、前記参照インデックスを有した参照ピクチャー内に存在する。また、前記動きベクトルによって特定された参照領域のピクセル値または補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）された値が前記現在ブロックの予測値（ｐｒｅｄｉｃｔｏｒ）として用いられ得る。すなわち、動き情報を利用して、以前にデコードされたピクチャーから現在ブロックの画像を予測する動き補償（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）が行われる。
【０１２０】
動きベクトル情報と関連した送信量を減らすために、以前にコーディングされたブロック等の動き情報を利用して動きベクトル予測子（ｍｖｐ）を取得し、これに対する差分値（ｍｖｄ）のみを送信する方法を利用できる。すなわち、デコーダでは、デコードされた他のブロックの動き情報を利用して現在ブロックの動きベクトル予測子を求め、エンコーダから送信された差分値を用いて現在ブロックに対する動きベクトル値を取得するようになる。動きベクトル予測子を取得するにあって、デコーダは、既にデコードされた他のブロックの動き情報を利用して様々な動きベクトル候補値を取得し、そのうちの１つを動きベクトル予測子として取得することができる。
【０１２１】
・参照ピクチャーセット及び参照ピクチャーリスト
【０１２２】
多重の参照ピクチャーを管理するために、以前にデコードされたピクチャーのセットが、残ったピクチャーのデコードのために復号ピクチャーバッファ（ＤＰＢ）内に格納される。
【０１２３】
ＤＰＢに格納された復元されたピクチャーのうち、インター予測に用いられる復元されたピクチャーを参照ピクチャー（ｒｅｆｅｒｅｃｅ  ｐｉｃｔｕｒｅ）と呼ぶ。言い換えれば、参照ピクチャー（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ）は、デコード順序上、次のピクチャーのデコードプロセスでインター予測のために使用され得るサンプルを含むピクチャーを意味する。
【０１２４】
参照ピクチャーセット（ＲＰＳ：ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅｓｅｔ）は、ピクチャーと連関した参照ピクチャーのセットを意味し、デコード順序上、以前に連関した全てのピクチャーで構成される。参照ピクチャーセットは、連関したピクチャーまたはデコード順序上、連関したピクチャーに後続するピクチャーのインター予測に用いられ得る。すなわち、復号ピクチャーバッファ（ＤＰＢ）に維持される参照ピクチャーは、参照ピクチャーセットと呼ばれることができる。エンコーダは、シーケンスパラメータセット（ＳＰＳ：ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）（すなわち、シンタックス要素で構成されるシンタックス構造）または各スライスヘッダで参照ピクチャーセット情報をデコーダに提供することができる。
【０１２５】
参照ピクチャーリスト（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔ）は、Ｐピクチャー（または、スライス）またはＢピクチャー（または、スライス）のインター予測のために用いられる参照ピクチャーのリストを意味する。ここで、参照ピクチャーリストは、２個の参照ピクチャーリストに区分されることができ、各々参照ピクチャーリスト０（または、Ｌ０）及び参照ピクチャーリスト１（または、Ｌ１）と呼ぶことができる。また、参照ピクチャーリスト０に属した参照ピクチャーを参照ピクチャー０（または、Ｌ０参照ピクチャー）と呼び、参照ピクチャーリスト１に属した参照ピクチャーを参照ピクチャー１（または、Ｌ１参照ピクチャー）と呼ぶことができる。
【０１２６】
Ｐピクチャー（または、スライス）のデコードプロセスにおいて、１つの参照ピクチャーリスト（すなわち、参照ピクチャーリスト０）が用いられ、Ｂピクチャー（または、スライス）のデコードプロセスにおいて、２個の参照ピクチャーリスト（すなわち、参照ピクチャーリスト０及び参照ピクチャーリスト１）が用いられ得る。このような、各参照ピクチャー別に参照ピクチャーリストを区分するための情報は、参照ピクチャーセット情報を介してデコーダに提供されることができる。デコーダは、参照ピクチャーセット（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｓｅｔ）情報に基づいて参照ピクチャーを参照ピクチャーリスト０または参照ピクチャーリスト１に追加する。
【０１２７】
参照ピクチャーリスト内のいずれか１つの特定参照ピクチャーを識別するために、参照ピクチャーインデックス（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｉｎｄｅｘ）（または、参照インデックス）が用いられる。
【０１２８】
・分数サンプル補間（ｆｒａｃｔｉｏｎａｌ  ｓａｍｐｌｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）
【０１２９】
インター予測された現在ブロックに対する予測ブロックのサンプルは、参照ピクチャーインデックス（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｉｎｄｅｘ）により識別される参照ピクチャー内の当該参照領域のサンプル値から取得される。ここで、参照ピクチャー内の当該参照領域は、動きベクトルの水平要素（ｈｏｒｉｚｏｎｔａｌ  ｃｏｍｐｏｎｅｎｔ）及び垂直要素（ｖｅｒｔｉｃａｌ  ｃｏｍｐｏｎｅｎｔ）により指示される位置の領域を表す。動きベクトルが整数値を有する場合を除き、非整数（ｎｏｎｉｎｔｅｇｅｒ）サンプル座標のための予測サンプルを生成するために分数サンプル補間（ｆｒａｃｔｉｏｎａｌ  ｓａｍｐｌｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）が使用される。例えば、サンプル間の距離の１／４単位の動きベクトルが支援され得る。
【０１３０】
ＨＥＶＣの場合、輝度成分の分数サンプル補間（ｆｒａｃｔｉｏｎａｌｓａｍｐｌｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）は、８タブフィルタを横方向及び縦方向に各々適用する。そして、色差成分の分数サンプル補間（ｆｒａｃｔｉｏｎａｌ  ｓａｍｐｌｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）は、４タブフィルタを横方向及び縦方向に各々適用する。
【０１３１】
図６は、本発明が適用され得る実施形態であって、１／４サンプル補間のための整数及び分数サンプル位置を例示する。
【０１３２】
図６に示すように、大文字（ｕｐｐｅｒ−ｃａｓｅ  ｌｅｔｔｅｒ）（Ａ＿ｉ、ｊ）が記載された陰影ブロックは、整数サンプル位置を表し、小文字（ｌｏｗｅｒ−ｃａｓｅ  ｌｅｔｔｅｒ）（ｘ＿ｉ、ｊ）が記載された陰影のないブロックは、分数サンプル位置を表す。
【０１３３】
分数サンプルは、水平方向及び垂直方向に各々整数サンプル値に補間フィルタが適用されて生成される。例えば、水平方向の場合、生成しようとする分数サンプルを基準として左側の４個の整数サンプル値と右側の４個の整数サンプル値とに８タブフィルタが適用され得る。
【０１３４】
・インター予測モード
【０１３５】
ＨＥＶＣでは、動き情報の量を減らすために、マージ（Ｍｅｒｇｅ）モード、ＡＭＶＰ（Ａｄｖａｎｃｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）が用いられ得る。
【０１３６】
１）マージ（Ｍｅｒｇｅ）モード
【０１３７】
マージ（Ｍｅｒｇｅ）モードは、空間的（ｓｐａｔｉａｌｌｙ）または時間的（ｔｅｍｐｏｒａｌｌｙ）に隣り合うブロックから動きパラメータ（または、情報）を導き出す方法を意味する。
【０１３８】
マージモードで利用可能な候補のセットは、空間的に隣り合う候補（ｓｐａｔｉａｌ  ｎｅｉｇｈｂｏｒ  ｃａｎｄｉｄａｔｅｓ）、時間的候補（ｔｅｍｐｏｒａｌ  ｃａｎｄｉｄａｔｅｓ）、及び生成された候補（ｇｅｎｅｒａｔｅｄ  ｃａｎｄｉｄａｔｅｓ）で構成される。
【０１３９】
図７は、本発明が適用され得る実施形態であって、空間的候補の位置を例示する。
【０１４０】
図７（ａ）に示すように、｛Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２｝の順序にしたがって各空間的候補ブロックが利用可能であるか否かが判断される。このとき、候補ブロックがイントラ予測モードでエンコードされて動き情報が存在しない場合、または候補ブロックが現在ピクチャー（または、スライス）の外に位置する場合には、当該候補ブロックは利用できない。
【０１４１】
空間的候補の有効性の判断後、現在ブロックの候補ブロックから不要な候補ブロックを除くことにより、空間的マージ候補が構成され得る。例えば、現在予測ブロックの候補ブロックが同一コーディングブロック内の１番目の予測ブロックである場合、当該候補ブロックを除き、かつ同じ動き情報を有する候補ブロックを除くことができる。
【０１４２】
空間的マージ候補構成が完了すれば、｛Ｔ０、Ｔ１｝の順序にしたがって時間的マージ候補構成過程が進まれる。
【０１４３】
時間的候補構成において、参照ピクチャーの同一位置（ｃｏｌｌｏｃａｔｅｄ）ブロックの右下端（ｒｉｇｈｔ  ｂｏｔｔｏｍ）ブロックＴ０が利用可能な場合、当該ブロックを時間的マージ候補として構成する。同一位置（ｃｏｌｌｏｃａｔｅｄ）ブロックは、選択された参照ピクチャーで現在ブロックに対応する位置に存在するブロックを意味する。それに対し、そうでない場合、同一位置（ｃｏｌｌｏｃａｔｅｄ）ブロックの中央（ｃｅｎｔｅｒ）に位置するブロックＴ１を時間的マージ候補として構成する。
【０１４４】
マージ候補の最大個数は、スライスヘッダで特定されることができる。マージ候補の個数が最大個数より大きい場合、最大個数より小さい個数の空間的候補と時間的候補が維持される。そうでない場合、マージ候補の個数は、候補個数が最大個数になるまで現在まで追加された候補を組み合わせて追加的なマージ候補（すなわち、組み合わせられた双予測マージ候補（ｃｏｍｂｉｎｅｄ  ｂｉ−ｐｒｅｄｉｃｔｉｖｅ  ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅｓ））が生成される。
【０１４５】
エンコーダでは、上記のような方法によりマージ候補リストを構成し、動き推定（Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）を行うことにより、マージ候補リストで選択された候補ブロック情報をマージインデックス（ｍｅｒｇｅ  ｉｎｄｅｘ）（例えば、ｍｅｒｇｅ＿ｉｄｘ［ｘ０］［ｙ０］´）としてデコーダにシグナリングする。図７（ｂ）では、マージ候補リストでＢ１ブロックが選択された場合を例示しており、この場合、マージインデックス（ｍｅｒｇｅ  ｉｎｄｅｘ）として「インデックス１（Ｉｎｄｅｘ１）」がデコーダにシグナリングされ得る。
【０１４６】
デコーダでは、エンコーダと同様にマージ候補リストを構成し、マージ候補リストでエンコーダから受信したマージインデックス（ｍｅｒｇｅ  ｉｎｄｅｘ）に該当する候補ブロックの動き情報から現在ブロックに対する動き情報を導き出す。そして、デコーダは、導き出した動き情報に基づいて現在ブロックに対する予測ブロックを生成する（すなわち、動き補償）。
【０１４７】
２）ＡＭＶＰ（Ａｄｖａｎｃｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）モード
【０１４８】
ＡＭＶＰモードは、周辺ブロックから動きベクトル予測値を導く方法を意味する。したがって、水平及び垂直動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｄｉｆｆｅｒｅｎｃｅ）、参照インデックス及びインター予測モードがデコーダにシグナリングされる。水平及び垂直動きベクトル値は、導き出された動きベクトル予測値とエンコーダから提供された動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｄｉｆｆｅｒｅｎｃｅ）とを用いて計算される。
【０１４９】
すなわち、エンコーダでは、動きベクトル予測子候補リストを構成し、動き推定（Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）を行うことにより、動きベクトル予測子候補リストから選択された動きベクトル予測子フラグ（すなわち、候補ブロック情報）（例えば、ｍｖｐ＿ｌＸ＿ｆｌａｇ［ｘ０］［ｙ０］´）をデコーダにシグナリングする。デコーダでは、エンコーダと同様に、動きベクトル予測子候補リストを構成し、動きベクトル予測子候補リストでエンコーダから受信した動きベクトル予測子フラグで指示された候補ブロックの動き情報を利用して現在ブロックの動きベクトル予測子を導き出す。そして、デコーダは、導き出された動きベクトル予測子とエンコーダから送信された動きベクトル差分値とを用いて現在ブロックに対する動きベクトル値を取得するようになる。そして、デコーダは、導き出した動き情報に基づいて現在ブロックに対する予測されたブロック（すなわち、予測されたサンプル等の配列）を生成する（すなわち、動き補償）。
【０１５０】
ＡＭＶＰモードの場合、前述した図７において５個の利用可能な候補のうち、２個の空間的動き候補が選択される。１番目の空間的動き候補は、左側に位置した｛Ａ０、Ａ１｝セットから選択され、２番目の空間的動き候補は、上位に位置した｛Ｂ０、Ｂ１、Ｂ２｝セットから選択される。このとき、隣り合う候補ブロックの参照インデックスが現在予測ブロックと同じでない場合、動きベクトルがスケーリングされる。
【０１５１】
空間的動き候補の探索結果、選択された候補個数が２個であれば、候補構成を終了するが、２個未満である場合、時間的動き候補が追加される。
【０１５２】
図８は、本発明が適用される実施形態であって、インター予測方法を例示する図である。
【０１５３】
図８に示すように、デコーダ（特に、図２においてデコーダのインター予測部２６１）は、現在ブロック（例えば、予測ブロック）に対する動きパラメータを復号化する（Ｓ８０１）。
【０１５４】
例えば、現在ブロックが、マージモードが適用された場合、デコーダは、エンコーダからシグナリングされたマージインデックスを復号化できる。そして、マージインデックスで指示された候補ブロックの動きパラメータから現在ブロックの動きパラメータを導き出すことができる。
【０１５５】
また、現在ブロックが、ＡＭＶＰモードが適用された場合、デコーダは、エンコーダからシグナリングされた水平及び垂直動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｄｉｆｆｅｒｅｎｃｅ）、参照インデックス、及びインター予測モードを復号化できる。そして、動きベクトル予測子フラグから指示された候補ブロックの動きパラメータから動きベクトル予測子を導き出し、動きベクトル予測子と受信した動きベクトル差分値を用いて現在ブロックの動きベクトル値を導き出すことができる。
【０１５６】
デコーダは、復号化された動きパラメータ（または、情報）を用いて現在ブロックに対する動き補償を行う（Ｓ８０２）。
【０１５７】
すなわち、エンコーダ／デコーダでは、復号化された動きパラメータを用いて、以前にデコードされたピクチャーから現在ブロックの画像を予測（すなわち、現在単位に対する予測ブロック生成）する動き補償（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）を行う。エンコーダ／デコーダでは、言い換えれば、以前にデコードされた参照ピクチャー内の現在ブロックと対応する領域のサンプルから現在ブロックの予測されたブロック（すなわち、予測されたサンプル等の配列）を導き出すことができる。
【０１５８】
図９は、本発明が適用され得る実施形態であって、動き補償過程を例示する図である。
【０１５９】
図９では、現在ピクチャー（ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅ）で符号化しようとする現在ブロック（ｃｕｒｒｅｎｔ  ｂｌｏｃｋ）のための動きパラメータは、単方向予測、ＬＩＳＴ０、ＬＩＳＴ０内の２番目のピクチャー（ｐｉｃｔｕｒｅ）、動きベクトル（−ａ、ｂ）である場合を例示する。
【０１６０】
この場合、図９のように、現在ブロックは、ＬＩＳＴ０の２番目のピクチャーで現在ブロックと（−ａ、ｂ）だけ離れている位置の値（すなわち、参照ブロック（ｒｅｆｅｒｅｎｃｅ  ｂｌｏｃｋ）のサンプル値）などを使用して予測される。
【０１６１】
双方向予測の場合は、さらに他の参照リスト（例えば、ＬＩＳＴ１）と参照インデックス、動きベクトル差分値が送信されて、デコーダは、２つの参照ブロックを導き出し、これに基づいて現在ブロックを予測（すなわち、現在ブロックの予測されたサンプル生成）する。
【０１６２】
多重表現アプリケーション（Ｍｕｌｔｉｐｌｅ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  Ａｐｐｌｉｃａｔｉｏｎ）のための効率的な予測
【０１６３】
本発明では、多重表現（ｍｕｌｔｉｐｌｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）で構成されたコンテンツをストリーミングサービスする場合のエンコード／デコード方法を提案する。
【０１６４】
図１０は、本発明が適用され得る、適応的なストリーミング（ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ）方法を例示する図である。
【０１６５】
Ｍｕｌｔｉｐｌｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎとは、１つのコンテンツを様々な解像度（ｒｅｓｏｌｕｔｉｏｎ）及び様々な品質（ｑｕａｌｉｔｙ）など、低いビットレート（ｌｏｗ  ｂｉｔｒａｔｅ）から高いビットレート（ｈｉｇｈ  ｂｉｔｒａｔｅ）まで様々なバージョンの画像で製作したことを意味する。これは、図１０のように、ストリーミングサービスを利用するユーザが、ネットワークの状態が変わっても途切れずにサービスを利用するために使用される適応的なストリーミング（ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ）のためのコンテンツ製作方式である。
【０１６６】
このように、ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇのために製作されるｍｕｌｔｉｐｌｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎなどは、ｒｅｐｒｅｓｅｎｔａｔｉｏｎ等間のスイッチング（ｓｗｉｔｃｈｉｎｇ）のためにセグメント（ｓｅｇｍｅｎｔ）形態に分割されることができる。
【０１６７】
このとき、ｓｗｉｔｃｈｉｎｇの際、デコード問題が生じないように、一般的に１つのｓｅｇｍｅｎｔ内のピクチャー（ｐｉｃｔｕｒｅ）などは、他のｓｅｇｍｅｎｔのｐｉｃｔｕｒｅなどを参照（すなわち、インター予測の際、参照ピクチャーとして利用）できないように閉鎖されたピクチャーグループ（ｃｌｏｓｅｄ  ＧＯＰ：ｃｌｏｓｅｄ  Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）形態でエンコードされることができる。ただし、閉鎖されたＧＯＰが必須（ｍｅｎｄａｔｏｒｙ）ではないので、開放されたＧＯＰ（ｏｐｅｎ  ＧＯＰ）形態でエンコードされることもできる。
【０１６８】
仮に、互いに異なるｓｅｇｍｅｎｔが品質（ｑｕａｌｉｔｙ）のみが異なる場合であれば、わずかの画質の低下が発生するが、デコーダで正常にデコードは可能である。それに対し、互いに異なるｓｅｇｍｅｎｔのｐｉｃｔｕｒｅ等が互いに異なるｒｅｓｏｌｕｔｉｏｎを有している場合には、デコーダでデコード自体が不可能な場合もあり、または、非常に大きい画質低下の問題が生じ得る。
【０１６９】
したがって、本発明では、性質／特性（例えば、ピクチャー解像度（ｐｉｃｔｕｒｅ  ｒｅｓｏｌｕｔｉｏｎ）、ビット−深度（ｂｉｔ−ｄｅｐｔｈ）、カラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）、ダイナミックレンジ（ＤＲ：ｄｙｎａｍｉｃ  ｒａｎｇｅ）、幅−対−高さ比率（ＡＲ：ａｓｐｅｃｔ  ｒａｔｉｏ）等）が互いに異なるピクチャー等間に参照しても正常的な（または、大きい画質の低下無しで）デコードが可能なように方法を提案する。
【０１７０】
上述した適応的ストリーミング（ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ）サービスで発生する問題について、以下、より詳細に説明する。
【０１７１】
図１１及び図１２は、本発明が適用され得る多重表現（ｍｕｌｔｉｐｌｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を利用した適応的なストリーミング（ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ）方法を例示する図である。
【０１７２】
図１１では、ｃｌｏｓｅｄ  ＧＯＰの場合を例示し、図１２では、ｏｐｅｎ  ＧＯＰの場合を例示する。
【０１７３】
代表的なａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ技術であるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）  ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）を例に挙げて説明する。前述のように、一般的に全てのｓｅｇｍｅｎｔ等は、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｄｅｃｏｄｉｎｇ  Ｒｅｆｒｅｓｈ）ｐｉｃｔｕｒｅからデコードを始めるようにエンコードされているので（すなわち、ｃｌｏｓｅｄ  ＧＯＰ構造）、仮に、ｓｅｇｍｅｎｔ  Ｒ０Ｎ−１からｓｅｇｍｅｎｔ  Ｒ１Ｎにスイッチングが発生してもデコーダでは問題なくデコードが可能である。
【０１７４】
このようなｓｅｇｍｅｎｔ等は、どれほど素早くネットワークの変化に順応するかによってその長さを異にすることができる。例えば、ｓｅｇｍｅｎｔの長さを１０秒分量でエンコードする場合、ネットワークの変化が１秒毎に起っても１０秒毎にｒｅｐｒｅｓｅｎｔａｔｉｏｎの変更が可能である。
【０１７５】
それに対し、ｓｅｇｍｅｎｔの長さが５秒であれば、少なくとも５秒毎に変更が可能であり、一層細かいネットワークの変化に応じる対応が可能となる。
【０１７６】
ただし、このように、ｓｅｇｍｅｎｔの長さが短くなるほど、各ｒｅｐｒｅｓｅｎｔａｔｉｏｎの容量が急に大きくなる場合がある。これは、ＩＤＲピクチャーの増加によるものである。一般に、ＩＤＲ  ｐｉｃｔｕｒｅのサイズは、非−ＩＤＲ（ｎｏｎ−ＩＤＲ）  ｐｉｃｔｕｒｅのサイズに対して容量が少ないものは２倍、多いものは１０倍くらい大きい。また、ｓｅｇｍｅｎｔの長さが短くなると、ＧＯＰサイズが減るようになり、インターピクチャーコーディング（ｉｎｔｅｒ  ｐｉｃｔｕｒｅ  ｃｏｄｉｎｇ）の効率も落ちてｒｅｐｒｅｓｅｎｔａｔｉｏｎの容量が増加するようになる。
【０１７７】
このような問題（すなわち、コーディング効率問題等）を解決するためには、図１２のように、互いに異なるｓｅｇｍｅｎｔ間の予測（ｐｒｅｄｉｃｔｉｏｎ）を許容するのが好ましい。ただし、同じｒｅｐｒｅｓｅｎｔａｔｉｏｎ内では、ｐｒｅｄｉｃｔｉｏｎを許容しても問題が生じないが、ｓｗｉｔｃｈｉｎｇが発生して互いに異なるｒｅｐｒｅｓｅｎｔａｔｉｏｎのｓｅｇｍｅｎｔ等間にｐｒｅｄｉｃｔｉｏｎが行われる場合、ｄｅｃｏｄｉｎｇ問題（例えば、デコーダ故障（ｄｅｃｏｄｅｒ  ｃｒａｓｈ）、非常に大きい画質低下等）が生じ得る。
【０１７８】
例えば、図１２において、ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ０のピクチャーサイズが１２８０×７２０、ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  １のピクチャーサイズが１９２０×１０８０である場合を仮定する。仮に、ｓｅｇｍｅｎｔ  Ｒ０Ｎ−１−＞ｓｅｇｍｅｎｔ  Ｒ１Ｎへの変更が発生する場合、１９２０ｘ１０８０の現在ピクチャーは、ＤＰＢに格納されている１２８０×７２０の参照ピクチャーからｐｒｅｄｉｃｔｉｏｎを行うようになる。このとき、ｅｎｃｏｄｉｎｇするときと全く異なるサイズの参照ピクチャーを使用してｐｒｅｄｉｃｔｉｏｎするようになるので、画像が大きく壊れることになり、また、現在ブロックの位置がｘ＝１２８０、ｙ＝７２０の位置を外れた瞬間、参照ピクチャーに対応する画像がないため、デコーダが動作を止めるか、誤動作するようになる。
【０１７９】
このような問題は、それぞれのｒｅｐｒｅｓｅｎｔａｔｉｏｎが互いに異なるｒｅｓｏｌｕｔｉｏｎの場合だけでなく、ｂｉｔ−ｄｅｐｔｈが異なる場合、ｄｙｎａｍｉｃ  ｒａｎｇｅが異なる場合、カラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）が異なる場合、ａｓｐｅｃｔ  ｒａｔｉｏが異なる場合など、非常に様々な場合に発生し得る問題である。
【０１８０】
したがって、以下、本発明では前述したように、相違した性質／特性を有する２つのｐｉｃｔｕｒｅ間に予測が行われるとき、相違した性質／特性があることをｄｅｔｅｃｔｉｏｎする方法、そして、性質／特性が相違する場合、デコーダの誤動作や大きい画質低下無しで効率的に予測が可能なようにする様々な予測方法を提案する。
【０１８１】
以下、本発明の一実施形態として、現在ピクチャー（または、スライス）と参照ピクチャーとが互いに相違した性質／特性を有するピクチャーであるか判別（ｄｅｔｅｃｔｉｏｎ）する方法を提案する。
【０１８２】
図１３は、本発明の一実施形態に係る現在ピクチャーと参照ピクチャーとの間の性質／特性が相違するか否かを判別する方法を例示する。
【０１８３】
図１３に示すように、現在ピクチャー（または、スライス）のデコードが始まると、デコーダはまずｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間の各性質／特性別に性質／特性が相違するか否かを表す変数の値を０にセッティングする（Ｓ１３０１）。
【０１８４】
図１３では、ｒｅｓｏｌｕｔｉｏｎが相違するか否かを表す変数を「ＩｓＤｉｆｆＲｅｓｏｌｕｔｉｏｎ」、ｂｉｔ−ｄｅｐｔｈが相違するか否かを表す変数を「ＩｓＤｉｆｆＢｉｔＤｅｐｔｈ」、ｃｏｌｏｒ  ｆｏｒｍａｔが相違するか否かを表す変数を「ＩｓＤｉｆｆＣｏｌｏｒＦｏｒｍａｔ」、ｄｙｎａｍｉｃ  ｒａｎｇｅが相違するか否かを表す変数を「ＩｓＤｉｆｆＤＲ」、ａｓｐｅｃｔ  ｒａｔｉｏが相違するか否かを表す変数を「ＩｓＤｉｆｆＡＲ」に例示する。すなわち、デコーダは、上記の各変数の値を０にセッティングする。
【０１８５】
デコーダは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅの幅（ＲｅｆＰｉｃＷｉｄｔｈ）とｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅの幅（ＣｕｒＰｉｃＷｉｄｔｈ）とが同じであり、かつ、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅの高さ（ＲｅｆＰｉｃＨｅｉｇｈｔ）とｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅの高さ（ＣｕｒＰｉｃＨｅｉｇｈｔ）とが同じであるか否かを判断する（Ｓ１３０２）。
【０１８６】
すなわち、デコーダは、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間にｒｅｓｏｌｕｔｉｏｎが同じであるか否かを判断する。
【０１８７】
Ｓ１３０２ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間にｒｅｓｏｌｕｔｉｏｎが同じでない場合、デコーダは、ＩｓＤｉｆｆＲｅｓｏｌｕｔｉｏｎ値を１にセッティングする（Ｓ１３０３）。
【０１８８】
それに対し、Ｓ１３０２ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間のｒｅｓｏｌｕｔｉｏｎが同じである場合、デコーダは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｂｉｔ−ｄｅｐｔｈ（ＲｅｆＰｉｃＢｉｔＤｅｐｔｈ）とｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｂｉｔ−ｄｅｐｔｈ（ＣｕｒＰｉｃＢｉｔＤｅｐｔｈ）が同じであるか否かを判断する（Ｓ１３０４）。
【０１８９】
Ｓ１３０４ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間のｂｉｔ−ｄｅｐｔｈが同じでない場合、デコーダは、ＩｓＤｉｆｆＢｉｔＤｅｐｔｈ値を１にセッティングする（Ｓ１３０５）。
【０１９０】
それに対し、Ｓ１３０４ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間のｂｉｔ−ｄｅｐｔｈが同じである場合、デコーダは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｃｏｌｏｒ  ｆｏｒｍａｔ（ＲｅｆＰｉｃＣｏｌｏｒＦｏｒｍａｔ）とｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｃｏｌｏｒ  ｆｏｒｍａｔ（ＣｕｒＰｉｃＣｏｌｏｒＦｏｒｍａｔ）とが同じであるか否かを判断する（Ｓ１３０６）。
【０１９１】
Ｓ１３０６ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間のｃｏｌｏｒ  ｆｏｒｍａｔが同じでない場合、デコーダは、ＩｓＤｉｆｆＣｏｌｏｒＦｏｒｍａｔ値を１にセッティングする（Ｓ１３０７）。
【０１９２】
それに対し、Ｓ１３０６ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間のｃｏｌｏｒ  ｆｏｒｍａｔが同じである場合、デコーダは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｄｙｎａｍｉｃ  ｒａｎｇｅ（ＲｅｆＰｉｃＤＲ）とｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｄｙｎａｍｉｃ  ｒａｎｇｅ（ＣｕｒＰｉｃＤＲ）とが同じであるか否かを判断する（Ｓ１３０８）。
【０１９３】
Ｓ１３０８ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間のｄｙｎａｍｉｃ  ｒａｎｇｅが同じでない場合、デコーダは、ＩｓＤｉｆｆＤＲ値を１にセッティングする（Ｓ１３０９）。
【０１９４】
それに対し、Ｓ１３０８ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間のｄｙｎａｍｉｃ  ｒａｎｇｅが同じである場合、デコーダは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのａｓｐｅｃｔ  ｒａｔｉｏとｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのａｓｐｅｃｔ  ｒａｔｉｏとが同じであるか否かを判断する（Ｓ１３１０）。
【０１９５】
Ｓ１３１０ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間のａｓｐｅｃｔ  ｒａｔｉｏが同じでない場合、デコーダは、ＩｓＤｉｆｆＡＲ値を１にセッティングする（Ｓ１３１１）。
【０１９６】
それに対し、Ｓ１３１０ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間のａｓｐｅｃｔ  ｒａｔｉｏが同じである場合、デコーダは、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間にｒｅｓｏｌｕｔｉｏｎ、ｂｉｔ−ｄｅｐｔｈ、ｃｏｌｏｒ  ｆｏｒｍａｔ、ｄｙｎａｍｉｃ  ｒａｎｇｅ、ａｓｐｅｃｔ  ｒａｔｉｏが全て同じであるか（すなわち、ＩｓＤｉｆｆＲｅｓｏｌｕｔｉｏｎ、ＩｓＤｉｆｆＢｉｔＤｅｐｔｈ、ＩｓＤｉｆｆＣｏｌｏｒＦｏｒｍａｔ、ＩｓＤｉｆｆＤＲ、ＩｓＤｉｆｆＡＲの値が全て０）、そうでないか（いずれか１つでも１）判断する（Ｓ１３１２）。
【０１９７】
Ｓ１３１２ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間のいずれか１つの性質／特性でも相違した場合、デコーダは、参照ピクチャー管理プロセス（ＲＰＭＰ：ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｍａｎａｇｅｍｅｎｔ  ｐｒｏｃｅｓｓ）を行う（Ｓ１３１３）。
【０１９８】
ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｍａｎａｇｅｍｅｎｔ  ｐｒｏｃｅｓｓは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅをｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅと同じ性質を有するように変形する作業を意味し、これに対するより詳細な説明は後述する。
【０１９９】
そして、デコーダは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｍａｎａｇｅｍｅｎｔ  ｐｒｏｃｅｓｓで導き出されたｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅに基づいてｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅに対するインター予測プロセスを行う（Ｓ１３１４）。
【０２００】
それに対し、Ｓ１３１２ステップで判断した結果、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間の全ての性質／特性が同じである場合、デコーダは、インター予測プロセスを行う（Ｓ１３１４）。すなわち、この場合、デコーダは、上述したｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｍａｎａｇｅｍｅｎｔ  ｐｒｏｃｅｓｓが適用されないｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅに基づいてｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅに対するインター予測プロセスを行う。
【０２０１】
そして、デコーダは、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅを復元（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）し、それ以外の他のプロセス（例えば、フィルタリング等）を行う（Ｓ１３１５）。  
【０２０２】
一方、図１３では、ｐｉｃｔｕｒｅ間の性質／特性としてｒｅｓｏｌｕｔｉｏｎ、ｂｉｔ−ｄｅｐｔｈ、ｃｏｌｏｒ  ｆｏｒｍａｔ、ｄｙｎａｍｉｃ  ｒａｎｇｅ、ａｓｐｅｃｔ  ｒａｔｉｏを例示しているが、本発明がこれに限定されるものではなく、そのうちの一部が利用されることができ、あるいは、図１３に例示された性質／特性以外に、他の性質／特性がさらに利用されることもできる。
【０２０３】
また、図１３では、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間の性質／特性が相違するか否かをｒｅｓｏｌｕｔｉｏｎ、ｂｉｔ−ｄｅｐｔｈ、ｃｏｌｏｒ  ｆｏｒｍａｔ、ｄｙｎａｍｉｃ  ｒａｎｇｅ、ａｓｐｅｃｔ  ｒａｔｉｏの順に比較するプロセスを例示しているが、本発明がこれに限定されるものではなく、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間の性質／特性が相違するか否かは、図１３と相違した順序で判断されることができる。
【０２０４】
以下、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｍａｎａｇｅｍｅｎｔ  ｐｒｏｃｅｓｓについてより詳細に説明する。
【０２０５】
ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｍａｎａｇｅｍｅｎｔ  ｐｒｏｃｅｓｓに対する一実施形態として、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとのｒｅｓｏｌｕｔｉｏｎが異なる場合に、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅを効率的にｄｅｃｏｄｉｎｇする方法を提案する。
【０２０６】
図１４は、本発明の一実施形態に係る現在ピクチャーと参照ピクチャーとの間の解像度が相違した場合、参照ピクチャー管理プロセスを例示する。
【０２０７】
Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ間のｐｉｃｔｕｒｅ  ａｓｐｅｃｔ  ｒａｔｉｏが異なり得るので、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとの間のｒｅｓｏｌｕｔｉｏｎ差は、ｗｉｄｔｈとｈｅｉｇｈｔを別に考慮することが好ましい。
【０２０８】
図１４に示すように、デコーダは、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅの幅とｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅの幅とを利用して幅スケーリング変数（「ＷｉｄｔｈＳｃａｌｅ」）をセッティングし、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅの高さとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅの高さとを利用して高さスケーリング変数（「ＨｅｉｇｈｔＳｃａｌｅ」）をセッティングする（Ｓ１４０１）。
【０２０９】
一例として、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅの幅とｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅの幅との割合でＷｉｄｔｈＳｃａｌｅをセッティングし（ＷｉｄｔｈＳｃａｌｅ＝ＣｕｒＰｉｃＷｉｄｔｈ／ＲｅｆＰｉｃＷｉｄｔｈ）、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅの高さとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅの高さとの割合でＨｅｉｇｈｔＳｃａｌｅをセッティングできる（Ｈｅｉｇｈｔ＝ＣｕｒＰｉｃＨｅｉｇｈｔ／ＲｅｆＰｉｃＨｅｉｇｈｔ）。
【０２１０】
デコーダは、ＷｉｄｔｈＳｃａｌｅが１より小さいか否かを判断する（Ｓ１４０２）。
【０２１１】
すなわち、デコーダは、幅方向（水平方向／軸）にｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｒｅｓｏｌｕｔｉｏｎがｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｒｅｓｏｌｕｔｉｏｎより大きいか否かを判断する。
【０２１２】
Ｓ１４０２ステップで判断した結果、ＷｉｄｔｈＳｃａｌｅが１より小さければ、デコーダは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅに対して幅方向にダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）プロセスを行う（Ｓ１４０３）（すなわち、ＲｅｆＰｉｃＷｉｄｔｈ＊ＷｉｄｔｈＳｃａｌｅ）。
【０２１３】
例えば、ＷｉｄｔｈＳｃａｌｅ＝０．５であれば、デコーダは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅをｗｉｄｔｈ軸（水平軸）として１／２スケーリングを行う。
【０２１４】
それに対し、Ｓ１４０２ステップで判断した結果、ＷｉｄｔｈＳｃａｌｅが１より小さくなければ（あるいは、大きければ）、デコーダは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅに対して幅方向にアップスケーリング（ｕｐｓｃａｌｉｎｇ）プロセスを行う（Ｓ１４０４）。
【０２１５】
仮に、ｗｉｄｔｈ軸にｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｒｅｓｏｌｕｔｉｏｎがｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｒｅｓｏｌｕｔｉｏｎと同じである場合、ｕｐｓｃａｌｉｎｇ  ｐｒｏｃｅｓｓは、バイパス（ｂｙｐａｓｓ）されることができる。
【０２１６】
デコーダは、ＨｅｉｇｈＳｃａｌｅが１より小さいか否かを判断する（Ｓ１４０５）。
【０２１７】
すなわち、デコーダは、高さ方向（垂直方向／軸）にｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｒｅｓｏｌｕｔｉｏｎがｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｒｅｓｏｌｕｔｉｏｎより大きいか否かを判断する。
【０２１８】
Ｓ１４０５ステップで判断した結果、ＨｅｉｇｈＳｃａｌｅが１より小さければ、デコーダは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅに対して高さ方向にダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）プロセスを行う（Ｓ１４０６）（すなわち、ＲｅｆＰｉｃＨｅｉｇｈｔ＊ＨｅｉｇｈｔＳｃａｌｅ）。
【０２１９】
それに対し、Ｓ１４０５ステップで判断した結果、ＨｅｉｇｈＳｃａｌｅが１より小さくなければ（あるいは、大きければ）、デコーダは、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅに対して高さ方向にアップスケーリング（ｕｐｓｃａｌｉｎｇ）プロセスを行う（Ｓ４０７）。
【０２２０】
仮に、ｈｅｉｇｈｔ軸にｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｒｅｓｏｌｕｔｉｏｎがｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｒｅｓｏｌｕｔｉｏｎと同じである場合、ｕｐｓｃａｌｉｎｇ  ｐｒｏｃｅｓｓは、バイパス（ｂｙｐａｓｓ）されることができる。
【０２２１】
図１５は、前述した図１４の参照ピクチャー管理プロセスを図式化した図である。
【０２２２】
図１５では、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（１５０１）のｒｅｓｏｌｕｔｉｏｎがｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅ（１５０４）のｒｅｓｏｌｕｔｉｏｎよりｗｉｄｔｈ軸（水平軸／方向）、ｈｅｉｇｈｔ軸（垂直軸／方向）に全て大きい場合を例示する。
【０２２３】
デコーダは、幅方向（水平方向）にｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（１５０１）のｒｅｓｏｌｕｔｉｏｎがｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅ（１５０４）のｒｅｓｏｌｕｔｉｏｎより大きいか否かを判断する。
【０２２４】
図１５では、大きい場合を例示しているので、デコーダは、幅方向（水平方向）にｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（１５０１）をダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）して、幅方向にダウンスケーリングされたｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（１５０２）を生成する。
【０２２５】
デコーダは、高さ方向（垂直方向）にｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（１５０１）のｒｅｓｏｌｕｔｉｏｎがｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅ（１５０４）のｒｅｓｏｌｕｔｉｏｎより大きいか否かを判断する。
【０２２６】
図１５では、大きい場合を例示しているので、デコーダは、幅方向にダウンスケーリングされたｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（１５０２）を高さ方向（垂直方向）にダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）して、幅／高さ方向に全てダウンスケーリングされたｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（１５０３）を生成する。
【０２２７】
そして、デコーダは、参照ピクチャー管理プロセスが適用されたｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（すなわち、図１５では、幅／高さ方向に全てダウンスケーリングされたｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（１５０３））に基づいてｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅを予測する。
【０２２８】
一方、図１４及び図１５では、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとの間の幅方向にｒｅｓｏｌｕｔｉｏｎを比較した後、高さ方向にｒｅｓｏｌｕｔｉｏｎを比較する場合を例示しているが、本発明がこれに限定されるものではなく、順序が変わっても構わない。
【０２２９】
また、前述した図１４及び図１５において記述した方法の他に、ＲＰＭＰは、様々な方法によりコーデックの環境に合うように設計が可能である。
【０２３０】
図１６は、本発明の一実施形態に係るダウンサンプリングされた予測を行う方法を例示する図である。
【０２３１】
図１６のように、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（１６０１）のｒｅｓｏｌｕｔｉｏｎがｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅ（１６０２）のｒｅｓｏｌｕｔｉｏｎよりｗｉｄｔｈ、ｈｅｉｇｈｔ軸に全て２倍大きい場合（すなわち、ＷｉｄｔｈＳｃａｌｅ＝ＨｅｉｇｈｔＳｃａｌｅ＝０．５である場合）を仮定する。
【０２３２】
この場合、仮に、当該コーデックがハーフ−ペル（ｈａｌｆ−ｐｅｌ）動き情報を使用するならば、前述した図１４及び図１５のような特にｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅに対するｄｏｗｎｓｃａｌｉｎｇ  ｐｒｏｃｅｓｓを行う必要がない。すなわち、ｐｒｅｄｉｃｔｉｏｎ実行の際、現在のｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅよりｗｉｄｔｈ、ｈｅｉｇｈｔが全て２倍大きい画像）で２：１サブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ）を介して予測サンプル（ｐｒｅｄｉｃｔｉｏｎ  ｓａｍｐｌｅ）を導き出すと、ｄｏｗｎｓｃａｌｉｎｇ効果を得ることができる。
【０２３３】
これを一般化すれば、コーデックで分数−ペル（ｆｒａｃｔｉｏｎａｌ−ｐｅｌ）（１／ｎ）（例えば、ハーフ−ペル（ｈａｌｆ−ｐｅｌ）またはクォーター−ペル（ｑｕａｒｔｅｒ−ｐｅｌ）等）単位の動き情報が利用される場合、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｒｅｓｏｌｕｔｉｏｎがｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｒｅｓｏｌｕｔｉｏｎよりｍ倍大きいならば、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｄｏｗｎｓｃａｌｉｎｇを行わなくとも、ｐｒｅｄｉｃｔｉｏｎ実行の際、現在のｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅからｎ：１  ｓｕｂｓａｍｐｌｉｎｇを介して予測サンプルを導き出すことができる。
【０２３４】
以下、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｍａｎａｇｅｍｅｎｔ  ｐｒｏｃｅｓｓに対する一実施形態として、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとのｒｅｓｏｌｕｔｉｏｎが異なる場合に、時間的動きベクトル予測（ｔｅｍｐｏｒａｌ  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｐｒｅｄｉｃｔｉｏｎ）を効率的に行うための方法について説明する。
【０２３５】
すなわち、前述した図１４のｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｍａｎａｇｅｍｅｎｔ  ｐｒｏｃｅｓｓ内のｕｐ／ｄｏｗｎｓｃａｌｉｎｇ  ｐｒｏｃｅｓｓ（すなわち、Ｓ１４０３、Ｓ１４０４、Ｓ１４０６、Ｓ１４０７）でデコーダは、ｐｉｃｔｕｒｅのサイズだけでなく、ｕｐ／ｄｏｗｎｓｃａｌｉｎｇ比率（すなわち、スケーリング因子）の分だけ動き情報またスケーリングプロセス（ｓｃａｌｉｎｇ  ｐｒｏｃｅｓｓ）を行うことができる。これについて、下記の図面を参照して説明する。
【０２３６】
図１７は、本発明の一実施形態に係る現在ピクチャーと参照ピクチャーとの間の解像度が相違した場合、動き情報をスケーリングする方法を例示する。
【０２３７】
例えば、デコーダは、スケーリングされた参照ピクチャー（ｓｃａｌｅｄ  ｒｅｆ  ｐｉｃ）を求めた後、参照ピクチャー内の全ての動き（ｍｏｔｉｏｎ）情報をスケーリング因子（ｓｃａｌｉｎｇ  ｆａｃｔｏｒ）の分だけスケーリング（ｓｃａｌｉｎｇ）する。
【０２３８】
そして、デコーダは、４×４ブロック単位に同位動き（ｃｏｌｌｏｃａｔｅｄ  ｍｏｔｉｏｎ）を新しく求めることができる。これは、図１７のように、ｓｃａｌｉｎｇ  ｆａｃｔｏｒによってスケーリングされたｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅの４×４ブロック（図１０においてブロックＡまたはブロックＢ）単位とオリジナル予測ユニット（ｏｒｉｇｉｎａｌ  ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）とが整列（ａｌｉｇｎ）されないことがありうるためである。
【０２３９】
言い換えれば、現在ピクチャー内の現在ブロックの動き情報を導き出すために、参照ピクチャー内の同位ブロック（ｃｏｌｌｏｃａｔｅｄ  ｂｌｏｃｋ）の動き情報を動き情報予測子として利用しようとする場合、このとき、同位ブロックがブロックＡまたはブロックＢであるとすれば、参照ピクチャー内のどの動き情報を現在ブロックの動き情報予測子として利用しなければならないか曖昧な（ａｍｂｉｇｕｏｕｓ）場合が発生し得る。
【０２４０】
したがって、上記のように、整列（ａｌｉｇｎ）されない場合、４×４ブロックの左上端（ｔｏｐ−ｌｅｆｔ）サンプルの位置と重なる（ｏｖｅｒｌａｐ）スケーリングされた参照ピクチャーのオリジナル予測ユニット（ｏｒｉｇｉｎａｌ  ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）の動き情報を４×４ブロックの動き情報として使用することができる。
【０２４１】
図１７に示すように、ブロックＡの新しい動きベクトルは、ブロックＡの左上端サンプルの位置が予測ユニットＡに含まれるので、予測ユニットＡのスケーリングされた動きベクトルが割り当てられる。ブロックＢの新しい動きベクトルは、ブロックＢの左上端サンプルの位置が予測ユニットＢに含まれるので、予測ユニットＢのスケーリングされた動きベクトルが割り当てられる。
【０２４２】
一方、前述した説明では、スケーリングされた参照ピクチャー内の全ての予測ブロックの動きベクトルをスケーリングした後、４×４ブロック単位に各ブロックの左上端サンプルが含まれた予測ブロックの動きベクトルを当該ブロックの動きベクトルとして割り当てる方法を説明したが、本発明が４×４ブロック単位に動きベクトルを割り当てる方法に限定されるものではなく、動きベクトルを有することができる最小サイズのブロック単位に各々スケーリングされた動きベクトルが割り当てられ得る。
【０２４３】
以下、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｍａｎａｇｅｍｅｎｔ  ｐｒｏｃｅｓｓに対する一実施形態として、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとのｂｉｔ−ｄｅｐｔｈ、またはｄｙｎａｍｉｃ  ｒａｎｇｅが異なる場合に、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅを効率的にｄｅｃｏｄｉｎｇする方法を提案する。
【０２４４】
図１８は、本発明の一実施形態に係る現在ピクチャーと参照ピクチャーとの間のビット−深度またはダイナミックレンジが相違した場合、これを補正するためのホモグラフィ行列（Ｈｏｍｏｇｒａｐｈｙ  ｍａｔｒｉｘ）を例示する。
【０２４５】
例えば、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  ｒａｎｇｅ）画像または１０ビットにエンコードされた画像が含まれたｓｅｇｍｅｎｔからＳＤＲ（Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  ｒａｎｇｅ）または８ビットにエンコードされた画像が含まれたｓｅｇｍｅｎｔにスイッチング（ｓｗｉｔｃｈｉｎｇ）が発生した場合、ＨＤＲ画像をＳＤＲ画像に、または１０ビット画像を８ビット画像に変換させた後、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅとして使用しなければならない。
【０２４６】
したがって、ＲＰＭＰを介してこのような変換作業がなされ得る。例えば、図１８のように、様々なカーブ（ｃｕｒｖｅ）（すなわち、様々な線形／非線形関数）を介して、デコーダは、オリジナル参照ピクチャー（ｏｒｉｇｉｎａｌ  ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ）（図１８において１０ビット入力）を新しいｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ（図１８において８ビット出力）に変形させることができる。
【０２４７】
このとき、Ｔｏｎｅ  ｍａｐｐｉｎｇ  ｉｎｆｏｒｍａｔｉｏｎ  ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）  ｍｅｓｓａｇｅ、ｋｎｅｅ  ｆｕｎｃｔｉｏｎ  ｉｎｆｏｒｍａｔｉｏｎ  ＳＥＩ  ｍｅｓｓａｇｅ、ｃｏｌｏｒ  ｒｅｍａｐｐｉｎｇ  ｉｎｆｏｒｍａｔｉｏｎ  ＳＥＩ  ｍｅｓｓａｇｅを介して送信されるトーンマッピング（ｔｏｎｅ  ｍａｐｐｉｎｇ）及びダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）情報などを活用することにより、最適の変換が可能である。すなわち、エンコーダでデコーダに変換関数に関する情報をシグナリングすることができる。
【０２４８】
関連ＳＥＩ  ｍｅｓｓａｇｅがない場合には、デフォルト（ｄｅｆａｕｌｔ）として線形（ｌｉｎｅａｒ）変換カーブであるカーブＢを使用するか、ＶＵＩ（ｖｉｄｅｏ  ｕｓａｂｉｌｉｔｙ  ｉｎｆｏｒｍａｔｉｏｎ）の変換関数（ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ）、特性関数（ｃｈａｒａｃｔｅｒｉｓｔｉｃ  ｆｕｎｃｔｉｏｎ）、またはデフォルトカーブなどを活用して他のｄｙｎａｍｉｃ  ｒａｎｇｅでｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅを変形するなどの技術をｅｎｃｏｄｅｒとｄｅｃｏｄｅｒとが予め約束して使用することができる。
【０２４９】
以下、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｍａｎａｇｅｍｅｎｔ  ｐｒｏｃｅｓｓの一実施形態として、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅとｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのカラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）やカラー領域（ｃｏｌｏｒ  ｇａｍｕｔ）が互いに異なる場合、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅを効率的にｄｅｃｏｄｉｎｇする方法を提案する。
【０２５０】
例えば、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｃｏｌｏｒ  ｆｏｒｍａｔが４：４：４であり、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｃｏｌｏｒ  ｆｏｒｍａｔが４：２：０である場合、デコーダは、ＲＰＭＰを介してｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅの色差コンポーネント（ｃｈｒｏｍｉｎａｎｃｅ  ｃｏｍｐｏｎｅｎｔ）Ｃｒ及びＣｂを横方向（水平方向／軸）、縦方向（垂直方向／軸）に１／２でスケールダウン（ｓｃａｌｅ  ｄｏｗｎ）して新しいｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅを作ることができる。すなわち、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｃｏｌｏｒ  ｆｏｒｍａｔがｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｃｏｌｏｒ  ｆｏｒｍａｔと同一であるように、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅの色差コンポーネント（ｃｈｒｏｍｉｎａｎｃｅ  ｃｏｍｐｏｎｅｎｔ）Ｃｒ及びＣｂを横、縦方向にアップ／ダウンスケーリング（ｕｐ／ｄｏｗｎｓｃａｌｉｎｇ）する。
【０２５１】
このとき、ｃｈｒｏｍａ  ｒｅｓａｍｐｌｉｎｇ  ｆｉｌｔｅｒ  ｈｉｎｔ  ＳＥＩなどを活用するか、デフォルトサンプリングフィルタ（ｄｅｆａｕｌｔ  ｓａｍｐｌｉｎｇ  ｆｉｌｔｅｒ）などをｅｎｃｏｄｅｒとｄｅｃｏｄｅｒとが約束して使用することができる。
【０２５２】
仮に、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅのｃｏｌｏｒ  ｆｏｒｍａｔが４：０：０であり、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｃｏｌｏｒ  ｆｏｒｍａｔが４：２：０である場合のように、参照しようとする色差コンポーネント（ｃｈｒｏｍｉｎａｎｃｅ  ｃｏｍｐｏｎｅｎｔ）が存在しない場合、または、ｕｐ／ｄｏｗｎｓｃａｌｉｎｇ（または、ｕｐ／ｄｏｗｎ  ｓａｍｐｌｉｎｇ）が不可能な場合、ｅｎｃｏｄｅｒとｄｅｃｏｄｅｒとが約束したデフォルト色差コンポーネント値を使用できる。
【０２５３】
仮に、ｃｏｌｏｒ  ｇａｍｕｔが異なる場合には（例えば、ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅがＢＴ２０２０、ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅがＢＴ２０９である場合等）、ＶＵＩを介して送信されるｃｏｌｏｒ＿ｐｒｉｍａｒｉｅｓ、ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ、及びｃｏｌｏｕｒ  ｒｅｍａｐｐｉｎｇ  ｉｎｆｏ  ＳＥＩ情報を活用してＢＴ２０２０にｅｎｃｏｄｉｎｇされたｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅをｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅのｃｏｌｏｒ  ｇａｍｕｔであるＢＴ７０９に変換することができる。
【０２５４】
図１９は、本発明の一実施形態に係る画像復号化方法を例示する図である。
【０２５５】
図１９に示すように、デコーダは、現在ピクチャーと参照ピクチャーとの性質が相違するか否かを判断する（Ｓ１９０１）。
【０２５６】
このとき、現在ピクチャーと参照ピクチャーとの性質が相違するか否かを判断するために、前述した図１３を参照して説明した方法が利用され得る。
【０２５７】
ここで、性質は、解像度（ｒｅｓｏｌｕｔｉｏｎ）、ビット−深度（ｂｉｔ−ｄｅｐｔｈ）、カラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）、ダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）、及び幅−対−高さ比率（ａｓｐｅｃｔ  ｒａｔｉｏ）のうち、少なくとも１つを含むことができる。
【０２５８】
デコーダは、現在ピクチャーと参照ピクチャーとの性質が相違すれば、参照ピクチャーが現在ピクチャーと同じ性質を有するように変換する（Ｓ１９０２）。
【０２５９】
すなわち、デコーダは、前述した参照ピクチャー管理プロセス（ＲＰＭＰ）を行うことができ、前述した様々な実施形態に係る方法が利用され得る。
【０２６０】
一例として、参照ピクチャーの幅（ｗｉｄｔｈ）及び／又は高さ（ｈｅｉｇｈｔ）に対する現在ピクチャーの幅及び／又は高さの比率（すなわち、スケーリング因子）が１より小さければ、デコーダは、参照ピクチャーを幅及び／又は高さ方向に前記比率の分だけダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）することができる。
【０２６１】
また、参照ピクチャーの幅（ｗｉｄｔｈ）及び／又は高さ（ｈｅｉｇｈｔ）に対して前記現在ピクチャーの幅及び／又は高さの比率が１より大きければ、デコーダは、参照ピクチャーを幅及び／又は高さ方向に前記比率の分だけアップスケーリング（ｕｐｓｃａｌｉｎｇ）することができる。
【０２６２】
また、デコーダは、参照ピクチャーのダウン／アップスケーリング（ｄｏｗｎ／ｕｐｓｃａｌｉｎｇ）のスケーリング因子（ｓｃａｌｉｎｇ  ｆａｃｔｏｒ）の分だけ参照ピクチャーの動きベクトルをスケーリングし、動きベクトルを有することができる最小サイズのブロック単位に、ブロックの左上端サンプルが含まれた参照ピクチャー内の予測ブロックの動きベクトルを割り当てることができる。
【０２６３】
また、デコーダは、参照ピクチャーと現在ピクチャーとの間にダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）及び／又はビット−深度（ｂｉｔ−ｄｅｐｔｈ）が相違した場合、参照ピクチャーのダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）及び／又はビット−深度（ｂｉｔ−ｄｅｐｔｈ）を予め決められた線形または非線形関数を用いて変換することができる。
【０２６４】
また、デコーダは、参照ピクチャーと現在ピクチャーとの間にカラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）が相違した場合、参照ピクチャーの色差コンポーネント（ｃｈｒｏｍｉｎａｎｃｅ  ｃｏｍｐｏｎｅｎｔ）を水平、垂直方向にアップ／ダウンスケーリングすることができる。
【０２６５】
デコーダは、変換された参照ピクチャーを用いて現在ピクチャーを所定のブロック単位としてインター予測を行う（Ｓ１９０３）。
【０２６６】
このとき、１／ｎ分数−ペル（ｆｒａｃｔｉｏｎａｌ−ｐｅｌ）単位の動き情報が利用される場合、前記参照ピクチャーに対するダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）無しで、デコーダは、参照ピクチャーからｎ：１サブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ）を介してブロック単位に予測サンプルを導き出すことができる。
【０２６７】
また、インター予測を行うために、前述した図５〜図９を参照して説明した方法が利用され得る。
【０２６８】
一方、前述したＳ１９０１及びＳ１９０２ステップは、デコーダでピクチャー（または、スライス）単位に行われることができる。このとき、Ｓ１９０１及びＳ１９０２ステップは、コーディングユニットのいかなるデコードより先に行われることができる。また、ＤＰＢに参照ピクチャーが格納される前に行われることができ、参照ピクチャーが格納された後に行われることもできる。
【０２６９】
また、前述したＳ１９０１及びＳ１９０２ステップは、現在ピクチャー内の所定のブロック（例えば、予測ブロック）単位にインター予測を行う過程で動き補償を行う前に行われることもできる。
【０２７０】
図２０は、本発明の一実施形態に係る復号化装置を例示する図である。
【０２７１】
図２０に示すように、本発明に係る復号化装置は、前述した図５〜図１９において提案された機能、過程、及び／又は方法を実現する。
【０２７２】
復号化装置は、性質判断部２００１、変換部２００２、インター予測部２００３を備えて構成されることができる。図２０において例示する復号化装置は、１つの例示に過ぎず、図２０において例示されなかった構成要素（例えば、前述した図２において例示されたデコーダの構成要素）をさらに含んで実現されることもできる。
【０２７３】
性質判断部２００１は、現在ピクチャーと参照ピクチャーとの性質が相違するか否かを判断する。
【０２７４】
このとき、現在ピクチャーと参照ピクチャーとの性質が相違するか否かを判断するために、前述した図１３を参照して説明した方法が利用され得る。
【０２７５】
ここで、性質は、解像度（ｒｅｓｏｌｕｔｉｏｎ）、ビット−深度（ｂｉｔ−ｄｅｐｔｈ）、カラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）、ダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）、及び幅−対−高さ比率（ａｓｐｅｃｔ  ｒａｔｉｏ）のうち、少なくとも１つ以上を含むことができる。
【０２７６】
変換部２００２は、現在ピクチャーと参照ピクチャーとの性質が相違すれば、参照ピクチャーが現在ピクチャーと同じ性質を有するように変換する。
【０２７７】
すなわち、変換部２００２は、前述した参照ピクチャー管理プロセス（ＲＰＭＰ）を行うことができ、前述した様々な実施形態に係る方法が利用され得る。
【０２７８】
一例として、参照ピクチャーの幅（ｗｉｄｔｈ）及び／又は高さ（ｈｅｉｇｈｔ）に対する現在ピクチャーの幅及び／又は高さの比率（すなわち、スケーリング因子）が１より小さければ、変換部２００２は、参照ピクチャーを幅及び／又は高さ方向に前記比率の分だけダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）することができる。
【０２７９】
また、参照ピクチャーの幅（ｗｉｄｔｈ）及び／又は高さ（ｈｅｉｇｈｔ）に対する前記現在ピクチャーの幅及び／又は高さの比率が１より大きければ、変換部２００２は、参照ピクチャーを幅及び／又は高さ方向に前記比率の分だけアップスケーリング（ｕｐｓｃａｌｉｎｇ）することができる。
【０２８０】
また、変換部２００２は、参照ピクチャーのダウン／アップスケーリング（ｄｏｗｎ／ｕｐｓｃａｌｉｎｇ）のスケーリング因子（ｓｃａｌｉｎｇ  ｆａｃｔｏｒ）の分だけ参照ピクチャーの動きベクトルをスケーリングし、動きベクトルを有することができる最小サイズのブロック単位に、ブロックの左上端サンプルが含まれた参照ピクチャー内の予測ブロックの動きベクトルを割り当てることができる。
【０２８１】
また、変換部２００２は、参照ピクチャーと現在ピクチャーとの間にダイナミックレンジ（ｄｙｎａｍｉｃ  ｒａｎｇｅ）及び／又はビット−深度（ｂｉｔ−ｄｅｐｔｈ）が相違した場合、参照ピクチャーのダイナミックレンジ（ｄｙｎａｍｉｎｃ  ｒａｎｇｅ）及び／又はビット−深度（ｂｉｔ−ｄｅｐｔｈ）を予め決められた線形または非線形関数を用いて変換することができる。
【０２８２】
また、変換部２００２は、参照ピクチャーと現在ピクチャーとの間にカラーフォーマット（ｃｏｌｏｒ  ｆｏｒｍａｔ）が相違した場合、参照ピクチャーの色差コンポーネント（ｃｈｒｏｍｉｎａｎｃｅ  ｃｏｍｐｏｎｅｎｔ）を水平、垂直方向にアップ／ダウンスケーリングすることができる。
【０２８３】
インター予測部２００３は、変換された参照ピクチャーを用いて現在ピクチャーを所定のブロック単位としてインター予測を行う。
【０２８４】
このとき、１／ｎ分数−ペル（ｆｒａｃｔｉｏｎａｌ−ｐｅｌ）単位の動き情報が利用される場合、前記参照ピクチャーに対するダウンスケーリング（ｄｏｗｎｓｃａｌｉｎｇ）無しで、インター予測部２００３は、参照ピクチャーからｎ：１サブサンプリング（ｓｕｂｓａｍｐｌｉｎｇ）を介してブロック単位に予測サンプルを導き出すことができる。
【０２８５】
また、インター予測を行うために、前述した図５〜図９を参照して説明した方法が利用され得る。
【０２８６】
一方、性質判断部２００１、変換部２００２は、ピクチャー（または、スライス）単位に動作を行うことができ、また、現在ピクチャー内の所定のブロック（例えば、予測ブロック）単位にインター予測を行う過程で動き補償を行う前に動作を行うこともできる。
【０２８７】
以上で説明された実施形態等は、本発明の構成要素等と特徴が所定形態に結合されたものなどである。各構成要素または特徴は、別の明示的言及がない限り、選択的なことと考慮されなければならない。各構成要素または特徴は、他の構成要素や特徴と結合されなかった形態で実施されることができる。また、一部構成要素等及び／又は特徴を結合して本発明の実施形態を構成することも可能である。本発明の実施形態等で説明される動作の順序は変更されることができる。ある実施形態の一部構成や特徴は、他の実施形態に含まれることができ、または、他の実施形態の対応する構成または特徴と交替されることができる。特許請求の範囲において明示的な引用関係がない請求項等を結合して実施形態を構成したり、出願後の補正により新しい請求項として含め得ることは自明である。
【０２８８】
本発明に係る実施形態は、様々な手段、例えば、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、またはそれらの組み合わせなどにより実現されることができる。ハードウェアによる実現の場合、本発明の一実施形態は、１つまたはそれ以上のＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより実現されることができる。
【０２８９】
ファームウエアやソフトウェアによる実現の場合、本発明の一実施形態は、以上で説明された機能または動作を行うモジュール、手順、関数などの形態で実現されることができる。ソフトウェアコードは、メモリに格納されてプロセッサにより駆動されることができる。前記メモリは、前記プロセッサの内部または外部に位置し、既に公知された様々な手段により前記プロセッサとデータをやり取りすることができる。
【０２９０】
本発明は、本発明の必須的特徴を逸脱しない範囲で他の特定の形態で具体化され得ることは当業者に自明である。したがって、上述した詳細な説明は、あらゆる面で制限的に解釈されてはならず、例示的なことと考慮されなければならない。本発明の範囲は、添付された請求項の合理的解釈により決定されなければならず、本発明の等価的範囲内でのあらゆる変更は、本発明の範囲に含まれる。
【産業上利用可能性】
【０２９１】
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであって、当業者であれば、以下に添付された特許請求の範囲に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施形態の改良、変更、代替、または付加などが可能であろう。
【図１】
2018533286.tif 000003
【図２】
2018533286.tif 000004
【図３】
2018533286.tif 000005
【図４】
2018533286.tif 000006
【図５】
2018533286.tif 000007
【図６】
2018533286.tif 000008
【図７（ａ）】
2018533286.tif 000009
【図７（ｂ）】
2018533286.tif 000010
【図８】
2018533286.tif 000011
【図９】
2018533286.tif 000012
【図１０】
2018533286.tif 000013
【図１１】
2018533286.tif 000014
【図１２】
2018533286.tif 000015
【図１３】
2018533286.tif 000016
【図１４】
2018533286.tif 000017
【図１５】
2018533286.tif 000018
【図１６】
2018533286.tif 000019
【図１７】
2018533286.tif 000020
【図１８】
2018533286.tif 000021
【図１９】
2018533286.tif 000022
【図２０】
2018533286.tif 000023
【国際調査報告】
2018533286.tif 000024
2018533286.tif 000025
2018533286.tif 000026
2018533286.tif 000027
2018533286.tif 000028
2018533286.tif 000029
2018533286.tif 000030
2018533286.tif 000031