(57)【要約】  本発明においては、インター予測モードベースの画像処理方法及びそのための装置が開示される。具体的に、インター予測（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）をベースに画像を処理する方法において、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認するステップと、ここで、前記アフィンモードは、制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを利用して画素単位又はサブブロック単位で動きベクトルを誘導するモードを示し、前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記アフィン符号化ブロックの動き情報に基づいて前記現在ブロックの制御点の第１動きベクトル候補（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ）を誘導するステップとを含む。【選択図】図１７
2020529781.tif 000002
【特許請求の範囲】
【請求項１】
インター予測（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）をベースに画像を処理する方法において、
現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認するステップと、ここで、前記アフィンモードは、制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導するモードを示し、
前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記アフィン符号化ブロックの動き情報に基づいて前記現在ブロックの制御点の第１動きベクトル候補（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ）を誘導するステップとを含む、インター予測モードベースの画像処理方法。
【請求項２】
前記アフィン符号化ブロックが存在するか否かを確認するステップは、
前記現在ブロックの左下端のブロック、上右端のブロック、前記上右端のブロックの右側に隣接するブロック、前記左下端のブロックの下側に隣接するブロック及び左上端のブロックの順にアフィン符号化ブロックであるか否かを確認する、請求項１に記載のインター予測モードベースの画像処理方法。
【請求項３】
前記第１動きベクトル候補を誘導するステップは、
前記順序上、１番目のアフィン符号化ブロックの動きモデル（ｍｏｔｉｏｎ  ｍｏｄｅｌ）を利用して前記第１動きベクトル候補を誘導する、請求項２に記載のインター予測モードベース画像処理方法。
【請求項４】
前記第１動きベクトル候補は、前記アフィン符号化ブロックの幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）、前記アフィン符号化ブロックの制御点の動きベクトル及び前記現在ブロックの制御点の位置を利用して計算される、請求項１に記載のインター予測モードベースの画像処理方法。
【請求項５】
前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在しない場合、前記現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成するステップと、
前記組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順に、予め決められた個数の組み合わせ動きベクトル候補を候補リストに追加するステップをさらに含む、請求項１に記載のインター予測モードベースの画像処理方法。
【請求項６】
前記現在のブロックに対してアフィンモードが適用されるか否かを示すアフィンフラグを抽出するステップと、
前記現在ブロックに前記周辺ブロックのうちアフィンモードで符号化されたブロックが存在しない場合、前記候補リストのうち特定動きベクトル候補を示すインデックスを抽出するステップとをさらに含む、請求項５に記載のインター予測モードベースの画像処理方法。
【請求項７】
前記現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成するステップと、
前記組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順序上、１番目の第２動きベクトル候補及び２番目の第３動きベクトル候補を誘導するステップとをさらに含む、請求項１に記載のインター予測モードベースの画像処理方法。
【請求項８】
前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記第１動きベクトル候補及び前記第２動きベクトル候補を利用して候補リストを生成するステップをさらに含む、請求項７に記載のインター予測モードベースの画像処理方法。
【請求項９】
前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在しない場合、  前記第２動きベクトル候補及び前記第３動きベクトル候補を利用して候補リストを生成するステップをさらに含む、請求項７に記載のインター予測モードベースの画像処理方法。
【請求項１０】
前記第１動きベクトル候補を誘導するステップは、
周辺ブロック間に予め設定された順序上、１番目のアフィン符号化ブロックの動き情報を利用して前記第１動きベクトル候補を誘導するステップと、
前記順序上、２番目のアフィン符号化ブロックの動き情報を利用して第４動きベクトル候補を誘導するステップとを含む、請求項１に記載のインター予測モードベースの画像処理方法。
【請求項１１】
前記第１動きベクトル候補を誘導するステップは、
前記周辺ブロックのうちアフィン符号化ブロック間に重複する動き情報を除去するステップをさらに含む、請求項１０に記載のインター予測モードベースの画像処理方法。
【請求項１２】
インター予測（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）をベースに画像を処理する装置において、
現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認する周辺ブロック確認部と、ここで、前記アフィンモードは制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導するモードを示し、
前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記アフィン符号化ブロックの動き情報に基づいて前記現在ブロックの制御点の第１動きベクトル候補（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ）を誘導する制御点の動きベクトル候補決定部とを含む、インター予測モードベースの画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画又は動画の処理方法に関し、より詳細には、インター予測モード（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ  ｍｏｄｅ）ベースに静止画又は動画をエンコード／デコードする方法及びそれをサポートする装置に関する。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を通信回線を介して送信するか、格納媒体に適した形態で格納するための一連の信号処理技術を意味する。画像、イメージ、音声などのメディアが圧縮符号化の対象になることができ、特に、画像を対象として圧縮符号化を行う技術をビデオ画像圧縮と称する。
【０００３】
次世代ビデオコンテンツは、高解像度（ｈｉｇｈ  ｓｐａｔｉａｌ  ｒｅｓｏｌｕｔｉｏｎ）、高フレーム率（ｈｉｇｈ  ｆｒａｍｅ  ｒａｔｅ）、及び画像表現の高次元化（ｈｉｇｈ  ｄｉｍｅｎｓｉｏｎａｌｉｔｙ  ｏｆ  ｓｃｅｎｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）という特徴を有するようになるであろう。そのようなコンテンツを処理するためには、メモリ格納（ｍｅｍｏｒｙ  ｓｔｏｒａｇｅ）、メモリアクセス率（ｍｅｍｏｒｙ  ａｃｃｅｓｓ  ｒａｔｅ）、及び処理電力（ｐｒｏｃｅｓｓｉｎｇ  ｐｏｗｅｒ）の多大な増加をもたらすだろう。
【０００４】
従って、次世代ビデオコンテンツをより効率的に処理するためのコーディングツールをデザインする必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の静止画又は動画の圧縮技術においては、画面間の予測時の動き予測（ｍｏｔｉｏｎ  ｐｒｅｄｉｃｔｉｏｎ）は予測ブロック単位で行われる。ただし、現在ブロックのために最適の予測ブロックを見つけるために、様々なサイズの予測ブロックをサポートしても平行移動されたブロックベースの予測方法のみが適用されることにより、予測正確度が低下する問題が発生する。
【０００６】
従って、本発明は、画面間予測（すなわち、インター予測）の性能を向上させるために平行移動されたブロックベースの予測方法だけでなく、様々な画像の動きを反映したインター予測ベースの画像処理方法を提案する。
【０００７】
また、本発明の目的は、ブロック内のサブブロックや画素単位の動き情報を反映できるインター予測ベースの画像を処理する方法を提案する。
【０００８】
また、本発明の目的は、サブブロック又は画素単位の動きの情報を反映するようにして予測の正確度を高め、圧縮性能を向上させる方法を提案する。
【０００９】
また、本発明の目的は、アフィン動きモデル（ａｆｆｉｎｅ  ｍｏｔｉｏｎ  ｍｏｄｅｌ）を用いて符号化／復号化を行うアフィン動き予測方法について提案する。
【００１０】
また、本発明の目的は、アフィンモード（ａｆｆｉｎｅ  ｍｏｄｅ）で符号化された周辺ブロックのアフィン動きモデル（又は、動き情報）を用いてアフィン動き予測を行う方法を提案する。
【００１１】
本発明において達成しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及していない他の技術的課題は、以下の記載から本発明の属する技術分野において通常の知識を有する者に明確に理解されるであろう。
【課題を解決するための手段】
【００１２】
本発明の一態様は、インター予測（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）をベースに画像を処理する方法において、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認するステップと、ここで、前記アフィンモードは、制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを利用して画素単位又はサブブロック単位で動きベクトルを誘導するモードを示し、前記確認の結果、前記の周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記アフィン符号化ブロックの動き情報に基づいて前記現在ブロックの制御点の第１動きベクトル予測値（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｐｒｅｄｉｃｔｏｒ）を誘導するステップとを含む。
【００１３】
好ましくは、前記アフィン符号化ブロックが存在するか否かを確認するステップは、前記現在ブロックの左下端のブロック、上右端のブロック、前記上右端のブロックの右側に隣接するブロック、前記左下端のブロックの下側に隣接するブロック及び左上端のブロックの順序でアフィン符号化ブロックであるか否かを確認する。
【００１４】
好ましくは、前記第１動きベクトル予測値を誘導するステップは、前記順序上、１番目のアフィン符号化ブロックの動き情報を利用して前記第１動きベクトル予測値を誘導する。
【００１５】
好ましくは、前記第１動きベクトル予測値は、前記アフィン符号化ブロックの幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）、前記アフィン符号化ブロックの制御点の動きベクトル及び前記現在ブロックの制御点の位置を利用して計算される。
【００１６】
好ましくは、前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在しない場合、前記現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル予測値を生成するステップと、前記組み合わせ動きベクトル予測値のうち動きベクトルの発散程度が小さい順に、予め定められた個数の組み合わせ動きベクトル予測値を候補リストに追加するステップとをさらに含んでもよい。
【００１７】
好ましくは、前記現在ブロックに対してアフィンモードが適用されるか否かを示すアフィンフラグを抽出するステップと、前記現在ブロックに前記周辺ブロックのうちアフィンモードで符号化されたブロックが存在しない場合、前記候補リストのうち特定の動きベクトル予測値を示すインデックスを抽出するステップとをさらに含んでもよい。
【００１８】
好ましくは、前記現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル予測値を生成するステップと、前記組み合わせ動きベクトル予測値のうち動きベクトルの発散程度が小さい順序上、１番目の第２動きベクトル予測値及び２番目の第３動きベクトル予測値を候補リストに追加するステップとをさらに含んでもよい。
【００１９】
好ましくは、前記第１動きベクトル予測値を前記候補リストに追加するステップをさらに含んでもよい。
【００２０】
好ましくは、前記候補リストの第３動きベクトル予測値を前記第１動きベクトル予測値に代替し、前記候補リスト内で前記第１動きベクトル予測値に前記第２動きベクトル予測値より高い優先順位を割り当てるステップをさらに含んでもよい。
【００２１】
好ましくは、前記第１動きベクトル予測値を誘導するステップは、周辺ブロック間の予め設定された順序上、１番目のアフィン符号化ブロックの動き情報を利用して前記第１動きベクトル予測値を誘導するステップと、前記順序上、２番目のアフィン符号化ブロックの動き情報を利用して第４動きベクトル予測値を誘導するステップとを含んでもよい。
【００２２】
好ましくは、前記第１動きベクトル予測値を誘導するステップは、前記周辺ブロックのうちアフィン符号化ブロック間に重複される動き情報を除去するステップをさらに含んでもよい。
【００２３】
本発明の他の一態様は、インター予測（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）をベースに画像を処理する装置において、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認する周辺ブロック確認部と、ここで、前記アフィンモードは制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを利用して画素単位又はサブブロック単位で動きベクトルを誘導するモードを示し、前記確認の結果、前記周辺ブロックのうちアフィン符号化ブロックが存在する場合、前記アフィン符号化ブロックの動き情報に基づいて前記現在ブロックの制御点の第１動きベクトル予測値（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｐｒｅｄｉｃｔｏｒ）を誘導する制御点動きベクトル候補決定部とを含む。
【発明の効果】
【００２４】
本発明の実施形態によると、アフィン（Ａｆｆｉｎｅ）変換を用いてインター予測ベースの画像を処理することにより、画像の歪みを反映して予測の正確度を向上させることができる。
【００２５】
また、本発明の実施形態によると、予測ブロックを生成するにおいてサブブロック単位で予測ブロックを生成することにより、予測の正確度を高めるとともに、追加的な演算量やメモリアクセスを減少させることができる。
【００２６】
また、本発明の実施形態によると、周辺ブロックのアフィン動きモデルを使用することにより、動きベクトル予測値候補のうち特定の候補を示すためのインデックスシグナリングビットを節約することができ、符号化効率が向上できる。
【００２７】
本発明で得ることができる効果は、以上で言及した効果に制限されず、言及しない更に他の効果は以下の記載から本発明が属する技術分野で通常の知識を有する者に明確に理解できるはずである。
【図面の簡単な説明】
【００２８】
本発明に関する理解を助けるために詳細な説明の一部として含まれる添付図面は、本発明に対する実施形態を提供し、詳細な説明と共に本発明の技術的特徴を説明する。
【００２９】
【図１】本発明が適用される実施形態として、静止画又は動画信号のエンコードが行われるエンコーダの概略的なブロック図を示す。
【図２】本発明が適用される実施形態として、静止画又は動画信号のデコードが行われるデコーダの概略的なブロック図を示す。
【図３】本発明に適用できるコーディングユニットの分割構造を説明するための図である。
【図４】本発明に適用できる予測ユニットを説明するための図である。
【図５】は、本発明が適用できる実施形態として、インター予測の方向を例示する図である。
【図６】本発明が適用できる実施形態として、１／４サンプル補間のための整数及び分数サンプル位置を例示する。
【図７】本発明が適用できる実施形態として、空間的候補の位置を例示する。
【図８】本発明が適用される実施形態として、インター予測方法を例示する図である。
【図９】本発明が適用できる実施形態として、動き補償過程を例示する図である。
【図１０】本発明が適用できる実施形態として、アフィン動きモデル（ａｆｆｉｎｅ  ｍｏｔｉｏｎ  ｍｏｄｅｌ）を説明するための図である。
【図１１】本発明が適用できる実施形態として、制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを利用したアフィン動き予測方法を説明するための図である。
【図１２】本発明が適用できる実施形態として、制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを利用したアフィン動き予測方法を説明するための図である。
【図１３】本発明が適用できる実施形態として、制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを利用したアフィン動き予測方法を説明するための図である。
【図１４】本発明が適用される実施形態として、インター予測モードをベースにして画像を符号化する方法を例示するフローチャートである。
【図１５】本発明が適用される実施形態として、インター予測モードをベースにして画像を復号化する方法を例示するフローチャートである。
【図１６】本発明が適用される実施形態として、制御点の動きベクトル予測値候補を決定する方法を説明するための図である。
【図１７】本発明が適用される実施形態として、制御点の動きベクトル予測値候補を決定する方法を説明するための図である。
【図１８】本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を説明するための図である。
【図１９】本発明が適用できる実施形態として、周辺ブロックのアフィン動きモデルを利用して動きベクトル予測値を決定する方法を説明するための図である。
【図２０】本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。
【図２１】本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。
【図２２】本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。
【図２３】本発明の一実施形態によるインター予測ベース画像処理方法を例示する図である。
【図２４】本発明の一実施形態によるインター予測部を例示する図である。
【図２５】本発明が適用される実施形態として、コンテンツストリーミングシステム構造図を示す。
【発明を実施するための形態】
【００３０】
以下、本発明に係る好ましい実施形態を添付された図面を参照して詳細に説明する。添付された図面とともに以下に開示される詳細な説明は、本発明の例示的な実施形態を説明しようとするものであり、本発明が実施できる唯一の実施形態を表そうとするものではない。以下の詳細な説明は、本発明の完全な理解を提供するために具体的な細部事項を含む。しかしながら、当業者は、本発明がこのような具体的な細部事項がなくとも実施できることが分かる。
【００３１】
幾つかの場合、本発明の概念が曖昧になることを避けるために、公知の構造及び装置は省略されるか、各構造及び装置の核心機能を中心としたブロック図形式で図示できる。
【００３２】
合わせて、本発明で使用される用語は、なるべく現在広く使用される一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語を使用して説明する。そのような場合には、当該部分の詳細説明でその意味を明確に記載するので、本発明の説明で使用された用語の名称だけで単純解釈されてはならず、その当該用語の意味まで把握して解釈されなければならないことを明かしておく。
【００３３】
以下の説明で使用される特定用語は、本発明の理解を助けるために提供されたものであって、このような特定用語の使用は、本発明の技術的思想を逸脱しない範囲で他の形態に変更できる。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適宜代替されて解釈され得るであろう。
【００３４】
以下、本明細書において「処理ユニット」は、予測、変換、及び／又は量子化などのエンコード／デコードの処理過程が行われる単位を意味する。以下、説明の便宜のために、処理ユニットは「処理ブロック」又は「ブロック」と呼ばれることもできる。
【００３５】
処理ユニットは、輝度（ｌｕｍａ）成分に対する単位と色差（ｃｈｒｏｍａ）成分に対する単位とを含む意味として解釈することができる。例えば、処理ユニットは、コーディングツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）、コーディングユニット（ＣＵ：Ｃｏｄｉｎｇ  Ｕｎｉｔ）、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）、又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）に該当する。
【００３６】
また、処理ユニットは、輝度（ｌｕｍａ）成分に対する単位又は色差（ｃｈｒｏｍａ）成分に対する単位として解釈されることができる。例えば、処理ユニットは、輝度成分に対するコーディングツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｂｌｏｃｋ）、コーディングブロック（ＣＢ：Ｃｏｄｉｎｇ  Ｂｌｏｃｋ）、予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  Ｂｌｏｃｋ）、又は変換ブロック（ＴＢ：Ｔｒａｎｓｆｏｒｍ  Ｂｌｏｃｋ）に該当する。または、色差成分に対するコーディングツリーブロック（ＣＴＢ）、コーディングブロック（ＣＢ）、予測ブロック（ＰＵ）、又は変換ブロック（ＴＢ）に該当する。また、これに限定されるものではなく、処理ユニットは、輝度成分に対する単位と色差成分に対する単位を含む意味として解釈されることもできる。
【００３７】
さらに、処理ユニットは、必ず正方形のブロックに限定されるものではなく、３つ以上の頂点を有する多角形状で構成されることもできる。
【００３８】
図１は、本発明が適用される実施形態として、静止画又は動画信号のエンコードが行われるエンコーダの概略的なブロック図を示す。
【００３９】
図１に示すように、エンコーダ１００は、画像分割部１１０、減算器１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、フィルタリング部１６０、復号ピクチャバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）１７０、インター予測部１８０、イントラ予測部１８５及びエントロピーエンコード部１９０を含んで構成される。そして、予測部１８０は、インター予測部１８１、イントラ予測部１８２を含む。
【００４０】
画像分割部１１０は、エンコーダ１００に入力された入力画像信号（Ｉｎｐｕｔ  ｖｉｄｅｏ  ｓｉｇｎａｌ）（又は、ピクチャ、フレーム）を１つ以上の処理ユニットに分割する。
【００４１】
減算器１１５は、入力画像信号から、予測部１８０（すなわち、インター予測部１８１又はイントラ予測部１８２）から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）（又は、予測ブロック）を減算して差分信号（ｒｅｓｉｄｕａｌ  ｓｉｇｎａｌ）（又は、差分ブロック）を生成する。生成された差分信号（又は、差分ブロック）は変換部１２０に送信される。
【００４２】
変換部１２０は、差分信号（又は、差分ブロック）に変換技法（例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ−Ｂａｓｅｄ  Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ  Ｔｒａｎｓｆｏｒｍ）など）を適用して変換係数（ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。ここで、変換部１２０は、差分ブロックに適用された予測モードと差分ブロックのサイズに応じて決定された変換技法を利用して変換を行うことにより、変換係数を生成することができる。
【００４３】
量子化部１３０は、変換係数を量子化してエントロピーエンコード部１９０に送信し、エントロピーエンコード部１９０は、量子化された信号（ｑｕａｎｔｉｚｅｄ  ｓｉｇｎａｌ）をエントロピーコーディングしてビットストリームに出力する。
【００４４】
一方、量子化部１３０から出力された量子化された信号（ｑｕａｎｔｉｚｅｄ  ｓｉｇｎａｌ）は予測信号を生成するために利用できる。例えば、量子化された信号（ｑｕａｎｔｉｚｅｄ  ｓｉｇｎａｌ）は、ループ内の逆量子化部１４０及び逆変換部１５０により逆量子化及び逆変換を適用することにより差分信号を復元することができる。復元された差分信号をインター予測部１８１又はイントラ予測部１８２から出力された予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）に足すことにより復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）が生成される。
【００４５】
一方、前述したような圧縮過程で隣接したブロックが相異なる量子化パラメータにより量子化されることにより、ブロック境界が見える劣化が発生し得る。このような現象をブロッキング劣化（ｂｌｏｃｋｉｎｇ  ａｒｔｉｆａｃｔｓ）といい、これは、画質を評価する重要な要素の１つである。このような劣化を減らすためにフィルタリング過程を行う。このようなフィルタリング過程によりブロッキング劣化を除去するとともに、現在ピクチャに対する誤差を減らすことにより、画質を向上させることができる。
【００４６】
フィルタリング部１６０は、復元信号にフィルタリングを適用して、これを再生装置に出力するか、復号ピクチャバッファ１７０に送信する。復号ピクチャバッファ１７０に送信されたフィルタリングされた信号は、インター予測部１８１において参照ピクチャとして使用される。このように、フィルタリングされたピクチャを画面間予測モードにおいて参照ピクチャとして用いることにより、画質だけでなく、符号化効率も向上させることができる。
【００４７】
復号ピクチャバッファ１７０は、フィルタリングされたピクチャをインター予測部１８１での参照ピクチャとして使用するために格納する。
【００４８】
インター予測部１８１は、復元ピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｐｉｃｔｕｒｅ）を参照して時間的重複性及び／又は空間的重複性を除去するために、時間的予測及び／又は空間的予測を行う。
【００４９】
ここで、予測を行うために用いられる参照ピクチャは、以前の時間に符号化／復号化の時にブロック単位で量子化と逆量子化を経て変換された信号であるので、ブロッキングアーティファクト（ｂｌｏｃｋｉｎｇ  ａｒｔｉｆａｃｔ）やリンギングアーティファクト（ｒｉｎｇｉｎｇ  ａｒｔｉｆａｃｔ）が存在し得る。
【００５０】
従って、インター予測部１８１は、このような信号の不連続や量子化による性能低下を解決するために、ローパスフィルタ（ｌｏｗｐａｓｓ  ｆｉｌｔｅｒ）を適用することによりピクセル間の信号をサブピクセル単位に補間することができる。ここで、サブピクセルは、補間フィルタを適用して生成された仮想の画素を意味し、整数ピクセルは、復元されたピクチャに存在する実際画素を意味する。補間方法としては、線形補間、双線形補間（ｂｉ−ｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ウィーナフィルタ（ｗｉｅｎｅｒ  ｆｉｌｔｅｒ）などが適用されてもよい。
【００５１】
補間フィルタは、復元ピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｐｉｃｔｕｒｅ）に適用されて予測の精密度を向上させることができる。例えば、インター予測部１８１は、整数ピクセルに補間フィルタを適用して補間ピクセル（ｉｎｔｅｒｐｏｌａｔｅｄ  ｐｉｘｅｌｓ）を生成し、補間ピクセルで構成された補間ブロック（ｉｎｔｅｒｐｏｌａｔｅｄ  ｂｌｏｃｋ）を予測ブロック（ｐｒｅｄｉｃｔｉｏｎ  ｂｌｏｃｋ）として用いて予測を行う。
【００５２】
イントラ予測部１８２は、現在符号化を行おうとするブロックの周辺にあるサンプルを参照して現在ブロックを予測する。イントラ予測部１８２は、イントラ予測を行うために次のような過程を行う。まず、予測信号を生成するために必要な参照サンプルを用意する。そして、用意した参照サンプルを用いて予測信号を生成する。その後、予測モードを符号化する。ここで、参照サンプルは、参照サンプルパディング及び／又は参照サンプルフィルタリングにより用意される。参照サンプルは、予測及び復元過程を経たので、量子化エラーが存在する可能性がある。従って、このようなエラーを減らすために、イントラ予測に用いられる各予測モードに対して参照サンプルフィルタリング過程が行われる。
【００５３】
インター予測部１８１又はイントラ予測部１８２により生成された予測信号（ｐｒｅｄｉｃｔｉｏｎ  ｓｉｇｎａｌ）（又は、予測ブロック）は、復元信号（又は、復元ブロック）を生成するために利用されるか、差分信号（又は、差分ブロック）を生成するために利用される。
【００５４】
図２は、本発明が適用される実施形態として、静止画又は動画信号のデコードが行われるデコーダの概略的なブロック図を示す。
【００５５】
図２に示すように、デコーダ２００は、エントロピーデコード部２１０、逆量子化部２２０、逆変換部２３０、加算器２３５、フィルタリング部２４０、復号ピクチャバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ  Ｕｎｉｔ）２５０、予測部２６０を含んで構成される。そして、予測部２６０は、インター予測部２６１及びイントラ予測部２６２を含む。
【００５６】
そして、デコーダ２００を介して出力された復元画像信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｖｉｄｅｏ  ｓｉｇｎａｌ）は、再生装置により再生される。
【００５７】
デコーダ２００は、図１のエンコーダ１００から出力された信号（すなわち、ビットストリーム）を受信し、受信された信号は、エントロピーデコード部２１０によりエントロピーデコーディングされる。
【００５８】
逆量子化部２２０は、量子化ステップサイズ情報を利用してエントロピーデコーディングされた信号から変換係数（ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｆｉｃｉｅｎｔ）を取得する。
【００５９】
逆変換部２３０は、逆変換技法を適用して変換係数を逆変換して差分信号（ｒｅｓｉｄｕａｌ  ｓｉｇｎａｌ）（又は、差分ブロック）を取得する。
【００６０】
加算器２３５は、取得された差分信号（又は、差分ブロック）を予測部２６０（すなわち、インター予測部２６１又はイントラ予測部２６２）から出力された予測信号（ｐｒｅｄｉｃｔｅｄ  ｓｉｇｎａｌ）（又は、予測ブロック）に足すことにより復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）（又は、復元ブロック）が生成される。
【００６１】
フィルタリング部２４０は、復元信号（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｓｉｇｎａｌ）（又は、復元ブロック）にフィルタリングを適用して、これを再生装置に出力するか、復号ピクチャバッファ部２５０に送信する。復号ピクチャバッファ部２５０に送信されたフィルタリングされた信号は、インター予測部２６１において参照ピクチャとして使用される。
【００６２】
本明細書において、エンコーダ１００のフィルタリング部１６０、インター予測部１８１及びイントラ予測部１８２において説明された実施形態は、それぞれデコーダのフィルタリング部２４０、インター予測部２６１及びイントラ予測部２６２にも同様に適用される。
【００６３】
処理ユニット分割構造
【００６４】
一般に、静止画又は動画圧縮技術（例えば、ＨＥＶＣ）においては、ブロックベースの画像圧縮方法を利用する。ブロックベースの画像圧縮方法は、画像を特定ブロック単位に分けて処理する方法であって、メモリ使用と演算量を減少させることができる。
【００６５】
図３は、本発明に適用できるコーディングユニットの分割構造を説明するための図である。
【００６６】
エンコーダは、１つの画像（又は、ピクチャ）を四角形の形態のコーディングツリーユニット（ＣＴＵ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）単位に分割する。そして、ラスタースキャン順序（ｒａｓｔｅｒ  ｓｃａｎ  ｏｒｄｅｒ）に従って１つのＣＴＵずつ順次エンコードする。
【００６７】
ＨＥＶＣにおいてＣＴＵのサイズは、６４×６４、３２×３２、１６×１６のいずれか１つに決められる。エンコーダは、入力された画像の解像度又は入力された画像の特性などによってＣＴＵのサイズを選択して使用することができる。ＣＴＵは、輝度（ｌｕｍａ）成分に対するコーディングツリーブロック（ＣＴＢ：Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｂｌｏｃｋ）と、これに対応する２つの色差（cｈｒｏｍａ）成分に対するＣＴＢとを含む。
【００６８】
１つのＣＴＵは、クアッドツリー（Ｑｕａｄ−ｔｒｅｅ）構造に分割されることができる。すなわち、１つのＣＴＵは、正方形の形態を有しながら半分の水平サイズ（ｈａｌｆ  ｈｏｒｉｚｏｎｔａｌ  ｓｉｚｅ）及び半分の垂直サイズ（ｈａｌｆ  ｖｅｒｔｉｃａｌ  ｓｉｚｅ）を有する４個のユニットに分割されて、コーディングユニット（ＣＵ：Ｃｏｄｉｎｇ  Ｕｎｉｔ）が生成される。このようなクアッドツリー構造の分割は、再帰的に行われることができる。すなわち、ＣＵは、１つのＣＴＵからクアッドツリー構造で階層的に分割される。
【００６９】
ＣＵは、入力画像の処理過程、例えば、イントラ（ｉｎｔｒａ）／インター（ｉｎｔｅｒ）予測が行われるコーディングの基本単位を意味する。ＣＵは、輝度（ｌｕｍａ）成分に対するコーディングブロック（ＣＢ：Ｃｏｄｉｎｇ  Ｂｌｏｃｋ）と、これに対応する２つの色差（ｃｈｒｏｍａ）成分に対するＣＢとを含む。ＨＥＶＣにおいてＣＵのサイズは、６４×６４、３２×３２、１６×１６、８×８のいずれか１つに決められる。
【００７０】
図３に示すように、クアッドツリーのルートノード（ｒｏｏｔ  ｎｏｄｅ）はＣＴＵと関連する。クアッドツリーはリーフノード（ｌｅａｆ  ｎｏｄｅ）に到達するまで分割され、リーフノードはＣＵに該当する。
【００７１】
より具体的に説明すると、ＣＴＵは、ルートノード（ｒｏｏｔ  ｎｏｄｅ）に該当し、最も小さい深さ（ｄｅｐｔｈ）（すなわち、ｄｅｐｔｈ＝０）値を有する。入力画像の特性に応じてＣＴＵが分割されないこともあり、この場合、ＣＴＵはＣＵに該当する。
【００７２】
ＣＴＵは、クアッドツリー形態に分割されることができ、その結果、深さ１（ｄｅｐｔｈ＝１）である下位ノードが生成される。そして、１の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードａ、ｂ及びｊに対応するＣＵ（ａ）、ＣＵ（ｂ）、ＣＵ（ｊ）は、ＣＴＵにおいて１回分割され、１の深さを有する。
【００７３】
１の深さを有するノードの少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ2（すなわち、ｄｅｐｔｈ＝２）である下位ノードが生成される。そして、２の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｃ、ｈ、及びｉに対応するＣＵ（ｃ）、ＣＵ（ｈ）、ＣＵ（ｉ）は、ＣＴＵにおいて２回分割され、２の深さを有する。
【００７４】
また、２の深さを有するノードの少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ３（すなわち、ｄｅｐｔｈ＝３）である下位ノードが生成される。そして、３の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｄ、ｅ、ｆ、ｇに対応するＣＵ（ｄ）、ＣＵ（ｅ）、ＣＵ（ｆ）、ＣＵ（ｇ）は、ＣＴＵにおいて３回分割され、３の深さを有する。
【００７５】
エンコーダにおいては、ビデオ画像の特性（例えば、解像度）に応じて、あるいは符号化の効率を考慮してＣＵの最大サイズ又は最小サイズを決定できる。そして、これに関する情報又はこれを誘導できる情報がビットストリームに含まれることができる。最大サイズを有するＣＵを最大コーディングユニット（ＬＣＵ：Ｌａｒｇｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）といい、最小サイズを有するＣＵを最小コーディングユニット（ＳＣＵ：Ｓｍａｌｌｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）ということができる。
【００７６】
また、ツリー構造を有するＣＵは、予め決められた最大深さ情報（又は、最大レベル情報）を有して階層的に分割されることができる。そして、それぞれの分割されたＣＵは、深さ情報を有することができる。深さ情報は、ＣＵの分割された回数及び／又は程度を示すので、ＣＵのサイズに関する情報を含むこともできる。
【００７７】
ＬＣＵがクアッドツリー形態に分割されるので、ＬＣＵのサイズ及び最大深さ情報を利用すると、ＳＣＵのサイズを求めることができる。または逆に、ＳＣＵのサイズ及びツリーの最大深さ情報を利用すると、ＬＣＵのサイズを求めることができる。
【００７８】
１つのＣＵに対して、当該ＣＵが分割されるか否かを示す情報（例えば、分割ＣＵフラグ（Ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ））がデコーダに伝達される。この分割モードは、ＳＣＵを除いた全てのＣＵに含まれている。例えば、分割可否を示すフラグの値が「１」であると、当該ＣＵはさらに４個のＣＵに分けられ、分割可否を示すフラグの値が「０」であると、当該ＣＵはそれ以上分けられずに当該ＣＵに対する処理過程が行われる。
【００７９】
前述したように、ＣＵは、イントラ予測又はインター予測が行われるコーディングの基本単位である。ＨＥＶＣは、入力画像をより効果的にコーディングするために、ＣＵを予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）単位に分割する。
【００８０】
ＰＵは、予測ブロックを生成する基本単位として、１つのＣＵ内においてもＰＵ単位で相異なるように予測ブロックを生成できる。ただし、１つのＣＵ内に属するＰＵは、イントラ予測とインター予測とが混合されて使用されず、１つのＣＵ内に属するＰＵは、同一の予測方法（すなわち、イントラ予測又はインター予測）によりコーディングされる。
【００８１】
ＰＵは、クアッドツリー構造に分割されず、１つのＣＵにおいて予め決められた形態で１回分割される。これについて、下記の図面を参照して説明する。
【００８２】
図４は、本発明に適用できる予測ユニットを説明するための図である。
【００８３】
ＰＵは、ＰＵが属するＣＵのコーディングモードとしてイントラ予測モードが使用されるか、インター予測モードが使用されるかによって相異なるように分割される。
【００８４】
図４（ａ）は、イントラ予測モードが使用される場合のＰＵを例示し、図４（ｂ）は、インター予測モードが使用される場合のＰＵを例示する。
【００８５】
図４（ａ）に示すように、１つのＣＵのサイズが２Ｎ×２Ｎ（Ｎ＝４、８、１６、３２）である場合を仮定すると、１つのＣＵは、２つのタイプ（すなわち、２Ｎ×２Ｎ又はＮ×Ｎ）に分割されることができる。
【００８６】
ここで、２Ｎ×２Ｎ形態のＰＵに分割される場合、１つのＣＵ内に１つのＰＵのみが存在することを意味する。
【００８７】
それに対して、Ｎ×Ｎ形態のＰＵに分割される場合、１つのＣＵは、４個のＰＵに分割され、各ＰＵ単位別に相異なる予測ブロックが生成される。ただし、このようなＰＵの分割は、ＣＵの輝度成分に対するＣＢのサイズが最小サイズである場合（すなわち、ＣＵがＳＣＵである場合）にのみ行われることができる。
【００８８】
図４（ｂ）に示すように、１つのＣＵのサイズが２Ｎ×２Ｎ（Ｎ＝４、８、１６、３２）である場合を仮定すると、１つのＣＵは、８つのＰＵタイプ（すなわち、２Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ）に分割されることができる。
【００８９】
イントラ予測と類似して、Ｎ×Ｎ形態のＰＵ分割は、ＣＵの輝度成分に対するＣＢのサイズが最小サイズである場合（すなわち、ＣＵがＳＣＵである場合）にのみ行われることができる。
【００９０】
インター予測においては、横方向に分割される２Ｎ×Ｎ形態及び縦方向に分割されるＮ×２Ｎ形態のＰＵ分割をサポートする。
【００９１】
また、非対称動き分割（ＡＭＰ：Ａｓｙｍｍｅｔｒｉｃ  Ｍｏｔｉｏｎ  Ｐａｒｔｉｔｉｏｎ）形態であるｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ形態のＰＵ分割をサポートする。ここで、「ｎ」は、２Ｎの１／４の値を意味する。ただし、ＡＭＰは、ＰＵが属するＣＵが最小サイズのＣＵである場合、使用されることができない。
【００９２】
１つのＣＴＵ内の入力画像を効率的に符号化するために、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、変換ユニット（ＴＵ）の最適の分割構造は、下記のような実行過程を経て最小レート歪み（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）値に基づいて決定されることができる。例えば、６４×６４ＣＴＵ内の最適のＣＵ分割過程を説明すると、６４×６４サイズのＣＵから８×８サイズのＣＵまでの分割過程を経ながら、レート歪みコストを計算できる。具体的な過程は、次のようである。
【００９３】
１）６４×６４サイズのＣＵに対してインター／イントラ予測、変換／量子化、逆量子化／逆変換、及びエントロピーエンコーディング実行により最小のレート歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。
【００９４】
２）６４×６４のＣＵを３２×３２サイズのＣＵ４個に分割し、各３２×３２ＣＵに対して最小のレート歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。
【００９５】
３）３２×３２のＣＵを１６×１６サイズのＣＵ４個に再度分割し、各１６×１６ＣＵに対して最小のレート歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。
【００９６】
４）１６×１６のＣＵを８×８サイズのＣＵ４個に再度分割し、各８×８ＣＵに対して最小のレート歪み値を発生させる最適のＰＵとＴＵの分割構造を決定する。
【００９７】
５）前記の３）の過程で算出した１６×１６のＣＵのレート歪み値と、前記の４）の過程で算出した４個の８×８のＣＵのレート歪み値との合計を比較して、１６×１６ブロック内において最適のＣＵの分割構造を決定する。この過程を残りの３個の１６×１６のＣＵに対しても同様に行う。
【００９８】
６）前記の２）の過程で計算された３２×３２ＣＵのレート歪み値と、前記の５）の過程で取得した４個の１６×１６ＣＵのレート歪み値との合計を比較して、３２×３２ブロック内において最適のＣＵの分割構造を決定する。この過程を残りの３個の３２×３２ＣＵなどに対しても同様に行う。
【００９９】
７）最後に、前記の１）の過程で計算された６４×６４ＣＵのレート歪み値と、前記の６）の過程で取得した４個の３２×３２ＣＵのレート歪み値との合計を比較して、６４×６４ブロック内において最適のＣＵの分割構造を決定する。
【０１００】
イントラ予測モードにおいて、ＰＵ単位で予測モードが選択され、選択された予測モードに対して実際ＴＵ単位で予測と再構成が行われる。
【０１０１】
ＴＵは、実際予測と再構成が行われる基本単位を意味する。ＴＵは、輝度（ｌｕｍａ）成分に対する変換ブロック（ＴＢ：Ｔｒａｎｓｆｏｒｍ  Ｂｌｏｃｋ）と、これに対応する２つの色差（ｃｈｒｏｍａ）成分に対するＴＢを含む。
【０１０２】
前述した図３の例示において１つのＣＴＵがクアッドツリー構造に分割されてＣＵが生成されることのように、ＴＵは、コーディングしようとする１つのＣＵからクアッドツリー構造に階層的に分割される。
【０１０３】
ＴＵは、クアッドツリー構造に分割されるので、ＣＵから分割されたＴＵはより小さい下位ＴＵに再度分割されることができる。ＨＥＶＣにおいては、ＴＵのサイズは、３２×３２、１６×１６、８×８、４×４のいずれか１つに決められる。
【０１０４】
再び図３を参照すると、クアッドツリーのルートノード（ｒｏｏｔ  ｎｏｄｅ）は、ＣＵと関連すると仮定する。クアッドツリーは、リーフノード（ｌｅａｆ  ｎｏｄｅ）に到達するまで分割され、リーフノードは、ＴＵに該当する。
【０１０５】
より具体的に説明すると、ＣＵはルートノード（ｒｏｏｔ  ｎｏｄｅ）に該当し、最も小さい深さ（ｄｅｐｔｈ）（すなわち、ｄｅｐｔｈ＝０）値を有する。入力画像の特性に応じてＣＵが分割されないこともあり、この場合、ＣＵはＴＵに該当する。
【０１０６】
ＣＵは、クアッドツリー形態に分割されることができ、その結果、深さ１（ｄｅｐｔｈ＝１）である下位ノードが生成される。そして、１の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＴＵに該当する。例えば、図３（ｂ）においてノードａ、ｂ、及びｊに対応するＴＵ（ａ）、ＴＵ（ｂ）、ＴＵ（ｊ）は、ＣＵにおいて１回分割され、１の深さを有する。
【０１０７】
１の深さを有するノードの少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ2（すなわち、ｄｅｐｔｈ＝２）である下位ノードが生成される。そして、２の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＴＵに該当する。例えば、図３（ｂ）においてノードｃ、ｈ、及びｉに対応するＴＵ（ｃ）、ＴＵ（ｈ）、ＴＵ（ｉ）は、ＣＵにおいて２回分割され、２の深さを有する。
【０１０８】
また、２の深さを有するノードの少なくともいずれか１つは、再度クアッドツリー形態に分割されることができ、その結果、深さ３（すなわち、ｄｅｐｔｈ＝３）である下位ノードが生成される。そして、３の深さを有する下位ノードにおいてそれ以上分割されないノード（すなわち、リーフノード）は、ＣＵに該当する。例えば、図３（ｂ）においてノードｄ、ｅ、ｆ、ｇに対応するＴＵ（ｄ）、ＴＵ（ｅ）、ＴＵ（ｆ）、ＴＵ（ｇ）は、ＣＵにおいて３回分割され、３の深さを有する。
【０１０９】
ツリー構造を有するＴＵは、予め決められた最大深さ情報（又は、最大レベル情報）を有して階層的に分割されることができる。そして、それぞれの分割されたＴＵは、深さ情報を有することができる。深さ情報は、ＴＵの分割された回数及び／又は程度を示すので、ＴＵのサイズに関する情報を含むこともできる。
【０１１０】
１つのＴＵに対して、当該ＴＵが分割されるか否かを示す情報（例えば、分割ＴＵフラグ（Ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ））がデコーダに伝達される。この分割情報は、最小サイズのＴＵを除いた全てのＴＵに含まれている。例えば、分割可否を示すフラグの値が「１」であると、当該ＴＵは、さらに４個のＴＵに分けられ、分割可否を示すフラグの値が「０」であると、当該ＴＵは、それ以上分けられない。
【０１１１】
予測（ｐｒｅｄｉｃｔｉｏｎ）
【０１１２】
デコードが行われる現在処理ユニットを復元するために現在処理ユニットが含まれた現在ピクチャ又は他のピクチャのデコードされた部分を用いることができる。
【０１１３】
復元に現在ピクチャのみを用いる、すなわち、画面内予測のみを行うピクチャ（スライス）をイントラピクチャ又はＩピクチャ（スライス）、各ブロックを予測するために最大１つの動きベクトル及びレファレンスインデックスを用いるピクチャ（スライス）を予測ピクチャ（ｐｒｅｄｉｃｔｉｖｅ  ｐｉｃｔｕｒｅ）又はＰピクチャ（スライス）、最大２つの動きベクトル及びレファレンスインデックスを用いるピクチャ（スライス）を双予測ピクチャ（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ  ｐｉｃｔｕｒｅ）又はＢピクチャ（スライス）と呼ぶことができる。
【０１１４】
イントラ予測は、同一のデコードされたピクチャ（又は、スライス）のデータ要素（例えば、サンプル値など）から現在処理ブロックを導出する予測方法を意味する。すなわち、現在ピクチャ内の復元された領域を参照して現在処理ブロックのピクセル値を予測する方法を意味する。
【０１１５】
以下、インター予測についてより詳細に説明する。
【０１１６】
インター予測（Ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）（又は、画面間予測）
【０１１７】
インター予測は、現在ピクチャ以外のピクチャのデータ要素（例えば、サンプル値又は動きベクトルなど）に基づいて現在処理ブロックを導出する予測方法を意味する。すなわち、現在ピクチャ以外の復元された他のピクチャ内の復元された領域を参照して現在処理ブロックのピクセル値を予測する方法を意味する。
【０１１８】
インター予測（又は、ピクチャ間予測）は、ピクチャ間に存在する重複性を除去する技術であって、大部分は動き推定（ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ）及び動き補償（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）により行われる。
【０１１９】
図５は、本発明が適用できる実施形態として、インター予測の方向を例示する図である。
【０１２０】
図５に示すように、インター予測は、１つのブロックに対して時間軸上で過去のピクチャ又は未来のピクチャ１つのみを参照ピクチャとして用いる単方向予測（Ｕｎｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｏｎ）と、過去及び未来ピクチャを同時に参照する双方向予測（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｏｎ）とに分けられる。
【０１２１】
また、単方向予測（Ｕｎｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｏｎ）は、時間的に現在ピクチャ以前に表示（又は、出力）される１個の参照ピクチャを用いる順方向予測（ｆｏｒｗａｒｄ  ｄｉｒｅｃｔｉｏｎ  ｐｒｅｄｉｃｔｉｏｎ）と、時間的に現在ピクチャ以後に表示（又は、出力）される１個の参照ピクチャを用いる逆方向予測（ｂａｃｋｗａｒｄ  ｄｉｒｅｃｔｉｏｎ  ｐｒｅｄｉｃｔｉｏｎ）とに区分されることができる。
【０１２２】
インター予測過程（すなわち、単方向又は双方向予測）において現在ブロックを予測するのにどの参照領域（又は、参照ブロック）が用いられるかを特定するために使用される動きパラメータ（又は、情報）は、インター予測モード（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ  ｍｏｄｅ）（ここで、インター予測モードは、参照方向（すなわち、単方向又は双方向）と参照リスト（すなわち、Ｌ０、Ｌ１又は双方向）を指示できる）、参照インデックス（ｒｅｆｅｒｅｎｃｅ  ｉｎｄｅｘ）（又は、参照ピクチャインデックス又は参照リストインデックス）、動きベクトル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）情報を含む。前記動きベクトル情報は、動きベクトル、動きベクトル予測子（ＭＶＰ：ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｐｒｅｄｉｃｔｏｒ）又は動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｄｉｆｆｅｒｅｎｃｅ）を含むことができる。動きベクトル差分値は、前記動きベクトルと動きベクトル予測子との間の差分値を意味する。
【０１２３】
単方向予測は、一方向に対する動きパラメータが使用される。すなわち、参照領域（又は、参照ブロック）を特定するために、１個の動きパラメータが必要であり得る。
【０１２４】
双方向予測は、両方向に対する動きパラメータが使用される。双方向予測方式においては、最大２個の参照領域を用いることができるが、この２個の参照領域は、同一の参照ピクチャに存在してもよく、相異なるピクチャに各々存在してもよい。すなわち、双方向予測方式においては、最大２個の動きパラメータが用いられ得るが、２個の動きベクトルが同一の参照ピクチャインデックスを有してもよく、相異なる参照ピクチャインデックスを有してもよい。ここで、参照ピクチャは、時間的に現在ピクチャ以前に全て表示（又は、出力）されるか、以後に全て表示（又は、出力）されることができる。
【０１２５】
エンコーダは、インター予測過程において現在処理ブロックと最も類似した参照領域を参照ピクチャから探す動き推定（Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）を行う。また、エンコーダは、参照領域に対する動きパラメータをデコーダに提供する。
【０１２６】
エンコーダ／デコーダは、動きパラメータを用いて現在処理ブロックの参照領域を取得する。前記参照領域は、前記参照インデックスを有する参照ピクチャ内に存在する。また、前記動きベクトルにより特定された参照領域のピクセル値又は補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）された値が前記現在処理ブロックの予測値（ｐｒｅｄｉｃｔｏｒ）として用いられることができる。すなわち、動き情報を用いて、以前にデコードされたピクチャから現在処理ブロックの画像を予測する動き補償（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）が行われる。
【０１２７】
動きベクトル情報に関連した送信量を減らすために、以前にコードされたブロックの動き情報を用いて動きベクトル予測値（ｍｖｐ）を取得し、これに対する差分値（ｍｖｄ）のみを送信する方法を用いることができる。すなわち、デコーダは、デコードされた他のブロックの動き情報を用いて現在処理ブロックの動きベクトル予測値を求め、エンコーダから送信された差分値を用いて現在処理ブロックに対する動きベクトル値を取得する。動きベクトル予測値を取得するにおいて、デコーダは、既にデコードされた他のブロックの動き情報を用いて多様な動きベクトル候補値を取得し、そのうち１つを動きベクトル予測値として取得する。
【０１２８】
−参照ピクチャセット及び参照ピクチャリスト
【０１２９】
多重の参照ピクチャを管理するために、以前にデコードされたピクチャのセットが、残ったピクチャのデコードのために復号ピクチャバッファ（ＤＰＢ）内に格納される。
【０１３０】
ＤＰＢに格納された復元されたピクチャのうちインター予測に用いられる復元されたピクチャを参照ピクチャ（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ）という。言い換えると、参照ピクチャ（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ）は、デコード順序上、次のピクチャのデコードプロセスにおいてインター予測のために使用されるサンプルを含むピクチャを意味する。
【０１３１】
参照ピクチャセット（ＲＰＳ：ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｓｅｔ）は、ピクチャと関連した参照ピクチャのセットを意味し、デコード順序上、以前に関連した全てのピクチャで構成される。参照ピクチャセットは、関連したピクチャ又はデコード順序上、関連したピクチャに後続するピクチャのインター予測に用いられる。すなわち、復号ピクチャバッファ（ＤＰＢ）に維持される参照ピクチャは、参照ピクチャセットと呼ばれることができる。エンコーダは、シーケンスパラメータセット（ＳＰＳ：ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）（すなわち、シンタックス要素で構成されるシンタックス構造）又は各スライスヘッダにおいて参照ピクチャセット情報をデコーダに提供することができる。
【０１３２】
参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｌｉｓｔ）は、Ｐピクチャ（又は、スライス）又はＢピクチャ（又は、スライス）のインター予測のために用いられる参照ピクチャのリストを意味する。ここで、参照ピクチャリストは、２個の参照ピクチャリストに区分されることができ、各々参照ピクチャリスト０（又は、Ｌ０）及び参照ピクチャリスト１（又は、Ｌ１）と呼ぶことができる。また、参照ピクチャリスト０に属する参照ピクチャを参照ピクチャ０（又は、Ｌ０参照ピクチャ）といい、参照ピクチャリスト１に属する参照ピクチャを参照ピクチャ１（又は、Ｌ１参照ピクチャ）ということができる。
【０１３３】
Ｐピクチャ（又は、スライス）のデコードプロセスにおいて、１個の参照ピクチャリスト（すなわち、参照ピクチャリスト０）が用いられ、Ｂピクチャ（又は、スライス）のデコードプロセスにおいて、２個の参照ピクチャリスト（すなわち、参照ピクチャリスト０及び参照ピクチャリスト１）が用いられる。このような、各参照ピクチャ別に参照ピクチャリストを区分するための情報は、参照ピクチャセット情報を介してデコーダに提供されることができる。デコーダは、参照ピクチャセット（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｓｅｔ）情報に基づいて参照ピクチャを参照ピクチャリスト０又は参照ピクチャリスト１に追加する。
【０１３４】
参照ピクチャリスト内のいずれか１つの特定参照ピクチャを識別するために、参照ピクチャインデックス（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｉｎｄｅｘ）（又は、参照インデックス）が用いられる。
【０１３５】
−分数サンプル補間（ｆｒａｃｔｉｏｎａｌ  ｓａｍｐｌｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）
【０１３６】
インター予測された現在ブロックに対する予測ブロックのサンプルは、参照ピクチャインデックス（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ ｉｎｄｅｘ）により識別される参照ピクチャ内の当該参照領域のサンプル値から取得される。ここで、参照ピクチャ内の当該参照領域は、動きベクトルの水平要素（ｈｏｒｉｚｏｎｔａｌ  ｃｏｍｐｏｎｅｎｔ）及び垂直要素（ｖｅｒｔｉｃａｌ  ｃｏｍｐｏｎｅｎｔ）により指示される位置の領域を示す。動きベクトルが整数値を有する場合を除いて、非整数（ｎｏｎｉｎｔｅｇｅｒ）サンプル座標のための予測サンプルを生成するために分数サンプル補間（ｆｒａｃｔｉｏｎａｌ  ｓａｍｐｌｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）が使用される。例えば、サンプル間の距離の１／４単位の動きベクトルがサポートされることができる。
【０１３７】
ＨＥＶＣの場合、輝度成分の分数サンプル補間（ｆｒａｃｔｉｏｎａｌ  ｓａｍｐｌｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）は、８タップフィルタを横方向及び縦方向にそれぞれ適用する。そして、色差成分の分数サンプル補間（ｆｒａｃｔｉｏｎａｌ  ｓａｍｐｌｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）は、４タップフィルタを横方向及び縦方向にそれぞれ適用する。
【０１３８】
図６は、本発明が適用できる実施形態として、１／４サンプル補間のための整数及び分数サンプル位置を例示する。
【０１３９】
図６に示すように、大文字（ｕｐｐｅｒ−ｃａｓｅ  ｌｅｔｔｅｒ）（Ａ＿ｉ、ｊ）が記載された陰影ブロックは、整数サンプル位置を示し、小文字（ｌｏｗｅｒ−ｃａｓｅ  ｌｅｔｔｅｒ）（ｘ＿ｉ、ｊ）が記載された陰影のないブロックは、分数サンプル位置を示す。
【０１４０】
分数サンプルは、水平方向及び垂直方向にそれぞれ整数サンプル値に補間フィルタが適用されて生成される。例えば、水平方向の場合、生成しようとする分数サンプルを基準にして左側の４個の整数サンプル値と右側の４個の整数サンプル値とに８タップフィルタが適用されることができる。
【０１４１】
−インター予測モード
【０１４２】
ＨＥＶＣにおいては、動き情報の量を減らすために、マージ（Ｍｅｒｇｅ）モード、ＡＭＶＰ（Ａｄｖａｎｃｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）が用いられる。
【０１４３】
１）マージ（Ｍｅｒｇｅ）モード
【０１４４】
マージ（Ｍｅｒｇｅ）モードは、空間的（Ｓｐａｔｉａｌｌｙ）又は時間的（ｔｅｍｐｏｒａｌｌｙ）に隣り合うブロックから動きパラメータ（又は、情報）を導出する方法を意味する。
【０１４５】
マージモードにおいて利用可能な候補のセットは、空間的に隣り合う候補（Ｓｐａｔｉａｌ  ｎｅｉｇｈｂｏｒ  ｃａｎｄｉｄａｔｅｓ）、時間的候補（ｔｅｍｐｏｒａｌ  ｃａｎｄｉｄａｔｅｓ）及び生成された候補（ｇｅｎｅｒａｔｅｄ  ｃａｎｄｉｄａｔｅｓ）で構成される。
【０１４６】
図７は、本発明が適用できる実施形態として、空間的候補の位置を例示する。
【０１４７】
図７（ａ）に示すように、｛Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２｝の順序に従って各空間的候補ブロックが利用可能であるか否かが判断される。ここで、候補ブロックがイントラ予測モードでエンコードされて動き情報が存在しない場合、又は候補ブロックが現在ピクチャ（又は、スライス）の外に位置する場合は、当該候補ブロックを利用できない。
【０１４８】
空間的候補の有効性の判断後、現在ブロックの候補ブロックから不要な候補ブロックを除くことにより、空間的マージ候補が構成され得る。例えば、現在予測ブロックの候補ブロックが同一コーディングブロック内の１番目の予測ブロックである場合、当該候補ブロックを除き、また同一の動き情報を有する候補ブロックを除くことができる。
【０１４９】
空間的マージ候補構成が完了すると、｛Ｔ０、Ｔ１｝の順序に従って時間的マージ候補構成過程が進まれる。
【０１５０】
時間的候補構成において、参照ピクチャの同一位置の（ｃｏｌｌｏｃａｔｅｄ）ブロックの右下端（ｒｉｇｈｔ  ｂｏｔｔｏｍ）ブロックＴ０が利用可能である場合、当該ブロックを時間的マージ候補として構成する。同一位置の（ｃｏｌｌｏｃａｔｅｄ）ブロックは、選択された参照ピクチャにおいて現在ブロックに対応する位置に存在するブロックを意味する。それに対して、そうでない場合、同一位置の（ｃｏｌｌｏｃａｔｅｄ）ブロックの中央（ｃｅｎｔｅｒ）に位置するブロックＴ１を時間的マージ候補として構成する。
【０１５１】
マージ候補の最大個数は、スライスヘッダにおいて特定されることができる。マージ候補の個数が最大個数より大きい場合、最大個数より小さい個数の空間的候補と時間的候補が維持される。そうでない場合、マージ候補の個数は、候補個数が最大個数になるまで現在まで追加された候補を組み合わせて追加的なマージ候補（すなわち、組み合わせられた双予測マージ候補（ｃｏｍｂｉｎｅｄ  ｂｉ−ｐｒｅｄｉｃｔｉｖｅ  ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅｓ））が生成される。
【０１５２】
エンコーダにおいては、前述したような方法によりマージ候補リストを構成し、動き推定（Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）を行うことにより、マージ候補リストにおいて選択された候補ブロック情報をマージインデックス（ｍｅｒｇｅ  ｉｎｄｅｘ）（例えば、ｍｅｒｇｅ＿ｉｄｘ［ｘ０］［ｙ０］’）としてデコーダにシグナリングする。図７（ｂ）においては、マージ候補リストにおいてＢ１ブロックが選択された場合を例示しており、この場合、マージインデックス（ｍｅｒｇｅ  ｉｎｄｅｘ）として「インデックス１（Ｉｎｄｅｘ１）」がデコーダにシグナリングされることができる。
【０１５３】
デコーダにおいては、エンコーダと同様にマージ候補リストを構成し、マージ候補リストにおいてエンコーダから受信したマージインデックス（ｍｅｒｇｅ  ｉｎｄｅｘ）に該当する候補ブロックの動き情報から現在ブロックに関する動き情報を導出する。そして、デコーダは、導出した動き情報に基づいて現在ブロックに対する予測ブロックを生成する（すなわち、動き補償）。
【０１５４】
２）ＡＭＶＰ（Ａｄｖａｎｃｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）モード
【０１５５】
ＡＭＶＰモードは、周辺ブロックから動きベクトル予測値を誘導する方法を意味する。従って、水平及び垂直動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｄｉｆｆｅｒｅｎｃｅ）、参照インデックス及びインター予測モードがデコーダにシグナリングされる。水平及び垂直動きベクトル値は、誘導された動きベクトル予測値とエンコーダから提供された動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｄｉｆｆｅｒｅｎｃｅ）とを用いて計算される。
【０１５６】
すなわち、エンコーダは、動きベクトル予測値候補リストを構成し、動き推定（Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）を行うことにより動きベクトル予測値候補リストにおいて選択された動き参照フラグ（すなわち、候補ブロック情報）（例えば、ｍｖｐ＿ｌＸ＿ｆｌａｇ［ｘ０］［ｙ０］’）をデコーダにシグナリングする。デコーダは、エンコーダと同様に動きベクトル予測値候補リストを構成し、動きベクトル予測値候補リストにおいてエンコーダから受信した動き参照フラグで示された候補ブロックの動き情報を用いて現在処理ブロックの動きベクトル予測値を導出する。また、デコーダは、導出された動きベクトル予測値とエンコーダから送信された動きベクトル差分値とを用いて現在処理ブロックに対する動きベクトル値を取得する。さらに、デコーダは、導出した動き情報に基づいて現在処理ブロックに対する予測ブロックを生成する（すなわち、動き補償）。
【０１５７】
ＡＭＶＰモードの場合、前述した図７において５個の利用可能な候補のうち２個の空間的動き候補が選択される。１番目の空間的動き候補は、左側に位置した｛Ａ０、Ａ１｝セットから選択され、２番目の空間的動き候補は、上位に位置した｛Ｂ０、Ｂ１、Ｂ２｝セットから選択される。ここで、隣り合う候補ブロックの参照インデックスが現在予測ブロックと同一でない場合、動きベクトルがスケーリングされる。
【０１５８】
空間的動き候補の探索結果、選択された候補個数が２個であると、候補構成を終了するが、２個未満である場合、時間的動き候補が追加される。
【０１５９】
図８は、本発明が適用される実施形態として、インター予測方法を例示する図である。
【０１６０】
図８に示すように、デコーダ（特に、図２におけるデコーダのインター予測部２６１）は、処理ブロック（例えば、予測ユニット）に対する動きパラメータを復号化する（Ｓ８０１）。
【０１６１】
例えば、処理ブロックにマージモードが適用された場合、デコーダは、エンコーダからシグナリングされたマージインデックスを復号化することができる。そして、マージインデックスで示された候補ブロックの動きパラメータから現在処理ブロックの動きパラメータを導出することができる。
【０１６２】
さらに、処理ブロックにＡＭＶＰモードが適用された場合、デコーダは、エンコーダからシグナリングされた水平及び垂直動きベクトル差分値（ＭＶＤ：ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｄｉｆｆｅｒｅｎｃｅ）、参照インデックス、及びインター予測モードを復号化することができる。そして、動き参照フラグから示された候補ブロックの動きパラメータから動きベクトル予測値を導出し、動きベクトル予測値と受信した動きベクトル差分値とを用いて現在処理ブロックの動きベクトル値を導出することができる。
【０１６３】
デコーダは、復号化した動きパラメータ（又は、情報）を用いて予測ユニットに対する動き補償を行う（Ｓ８０２）。
【０１６４】
すなわち、エンコーダ／デコーダは、復号化された動きパラメータを用いて、以前にデコードされたピクチャから現在ユニットの画像を予測する動き補償（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）を行う。
【０１６５】
図９は、本発明が適用できる実施形態として、動き補償過程を例示する図である。
【０１６６】
図９においては、現在ピクチャ（ｃｕｒｒｅｎｔ  ｐｉｃｔｕｒｅ）において符号化しようとする現在ブロック（ｃｕｒｒｅｎｔ  ｂｌｏｃｋ）のための動きパラメータは、単方向予測、ＬＩＳＴ０、ＬＩＳＴ０内の２番目のピクチャ（ｐｉｃｔｕｒｅ）、動きベクトル（−ａ，ｂ）である場合を例示する。
【０１６７】
この場合、図９に示すように、現在ブロックは、ＬＩＳＴ０の２番目のピクチャにおいて現在ブロックと（−ａ，ｂ）の分だけ離れている位置の値（すなわち、参照ブロック(ｒｅｆｅｒｅｎｃｅ  ｂｌｏｃｋ)のサンプル値）を用いて予測される。
【０１６８】
双方向予測の場合は、また他の参照リスト（例えば、ＬＩＳＴ１）と参照インデックス、動きベクトル差分値が送信されて、デコーダは、２個の参照ブロックを導出し、これに基づいて現在ブロック値を予測する。
【０１６９】
実施形態１
【０１７０】
ＨＥＶＣを含む一般的な画像符号化技術は、符号化ブロックの動きを表現するために並進動きモデル（ｔｒａｎｓｌａｔｉｏｎ  ｍｏｔｉｏｎ  ｍｏｄｅｌ）を使用する。ここで、並進動きモデルは、平行移動されたブロックベースの予測方法を示す。すなわち、符号化ブロックの動き情報は、１個の動きベクトルを用いて表現される。しかしながら、実際の符号化ブロック内において各画素別の最適の動きベクトルは相異なる可能性がある。もし、少ない情報のみで画素別又はサブブロック単位別の最適の動きベクトルを決定できると、符号化効率を向上させることができる。
【０１７１】
従って、本発明は、画面間予測（すなわち、インター予測）の性能を向上させるために、平行移動されたブロックベースの予測方法だけでなく、画像の多様な動きを反映したインター予測ベースの画像処理方法を提案する。
【０１７２】
また、本発明は、サブブロック又は画素単位の動きの情報を反映するようにして、予測の正確度を高め、圧縮性能を向上させる方法を提案する。
【０１７３】
また、本発明は、アフィン動きモデル（ａｆｆｉｎｅ  ｍｏｔｉｏｎ  ｍｏｄｅｌ）を用いて符号化／復号化を行うアフィン動き予測方法について提案する。アフィン動きモデルは、制御点の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導する予測方法を示す。以下の図面を参照して説明する。
【０１７４】
図１０は、本発明が適用できる実施形態として、アフィン動きモデル（ａｆｆｉｎｅ  ｍｏｔｉｏｎ  ｍｏｄｅｌ）を説明するための図である。
【０１７５】
図１０に示すように、画像の歪みを動き情報として表現するために様々な方法が使用され、特に、アフィン動きモデルは、図１０に示す４個の動きを表現することができる。
【０１７６】
すなわち、アフィン動きモデルは、画像の拡大／縮小、画像の回転、画像のせん断（Ｓｈｅａｒ）だけでなく、誘発される任意の画像歪みをモデリングする方法である。
【０１７７】
アフィン動きモデルは、様々な方法で表現できるが、そのうち、本発明では、ブロックの特定基準点（又は、基準画素／サンプル）での動き情報を活用して歪みを表示（又は、識別）し、これを利用して画面間予測（すなわち、インター予測）を行う方法を提案する。ここで、基準点は、制御点（ＣＰ：Ｃｏｎｔｒｏｌ  Ｐｏｉｎｔ）（又は、制御画素／サンプル）と呼ばれてもよく、このような基準点での動きベクトルは、制御点動きベクトル（ＣＰＭＶ：Ｃｏｎｔｒｏｌ  Ｐｏｉｎｔ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）と呼ばれてもよい。このような制御点の個数に応じて表現される歪みの程度が変わることがある。
【０１７８】
アフィン動きモデルは、次の数式１のように６個のパラメータ（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）を利用して表現することができる。
【０１７９】
【数１】
2020529781.tif 000003
【０１８０】
数式１において、（ｘ、ｙ）は、符号化ブロックの左上端の位置を基準とする画素の位置を示す。そして、ｖｘ及びｖｙは（ｘ、ｙ）での動きベクトルを示す。本発明において、前記数式１のように６個のパラメータを利用するアフィン動きモデルは、ＡＦ６と呼ばれることができる。
【０１８１】
図１１は、本発明が適用できる実施形態として、制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを利用したアフィン動き予測方法を説明するための図である。
【０１８２】
図１１を参照すると、現在ブロック１１０１の左上端の制御点１１０２（以下、第１制御点と呼んでもよい）、右上端の制御点１１０３（以下、第２制御点と呼んでもよい）及び左下端の制御点１１０４（以下、第３制御点と呼んでもよい）は、それぞれ独立的な動き情報を有することができる。例えば、左上端の制御点１１０２は現在ブロックに含まれた画素に該当し、左上端の制御点１１０２、右上端の制御点１１０３及び左下端の制御点１１０４は現在ブロックに含まれていないが、現在ブロックに隣接した画素に該当し得る。
【０１８３】
前記制御点のうち１つ以上の制御点の動き情報を利用して、現在ブロック１１０１の画素別又はサブブロック別の動き情報が誘導されることができる。
【０１８４】
例えば、現在ブロック１１０１の左上端の制御点１１０２、右上端の制御点１１０３及び左下端の制御点１１０４の動きベクトルを利用したアフィン動きモデルは、次の数式２のように定義されることができる。
【０１８５】
【数２】
2020529781.tif 000004
【０１８６】
V0を左上端の制御点１１０２の動きベクトル、V1を右上端の制御点１１０３の動きベクトル、V2を左下端の制御点１１０４の動きベクトルとするとき、V0={v0x,v0y},V1={v1x,v1y},V2={v2x,v2y}と定義されることができる。そして、数式２においてｗは現在ブロック１１０１の幅（ｗｉｄｔｈ）、ｈは現在ブロック１１０１の高さ（ｈｅｉｇｈｔ）を示す。そして、 V={vx,vy} は｛ｘ、ｙ｝位置の動きベクトルを示す。
【０１８７】
また、演算複雑度を低減し、シグナリングビットを最適化するための類似（又は、簡素化）アフィンな動きモデル（Ｓｉｍｉｌａｒｉｔｙ（ｏｒ  ｓｉｍｐｌｉｆｉｅｄ）  ａｆｆｉｎｅ  ｍｏｔｉｏｎ  ｍｏｄｅｌ）が定義されることができる。前記類似アフィン動きモデルは、前記図１０で説明した動きのうち、並進、スケール、回転（ｔｒａｎｓｌａｔｉｏｎ、ｓｃａｌｅ、ｒｏｔａｔｅ）の３つの動きを表現することができる。
【０１８８】
前記類似アフィン動きモデルは、次の数式３のように４つのパラメータ（ａ、ｂ、ｃ、ｄ）を利用して表現することができる。
【０１８９】
【数３】
2020529781.tif 000005
【０１９０】
前記数式３のように４つのパラメータを利用するアフィン動きモデルは、ＡＦ４と呼ばれることができる。以下、本発明においては説明の便宜のためにＡＦ４を基準として説明しているが、本発明はこれに限定されず、ＡＦ６の場合にも同様に適用されることができる。下記の図面を参照してＡＦ４のアフィン動きモデルを説明する。
【０１９１】
図１２及び図１３は、本発明が適用できる実施形態として、制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを利用したアフィン動き予測方法を説明するための図である。
【０１９２】
図１２に示すように、V1を現在ブロック１２０１の左上端の制御点１２０２の動きベクトル、
2020529781.tif 000006
を右上端の制御点１２０３の動きベクトルとするとき、V0={v0x,v0y}, V1={v1x,v1y} と定義されることができる。ここで、ＡＦ４のアフィン動きモデルを次の数式４のように定義することができる。
【０１９３】
【数４】
2020529781.tif 000007
【０１９４】
数式４において、ｗは現在ブロック１２０１の幅（ｗｉｄｔｈ）、ｈは現在ブロック１２０１の高さ（ｈｅｉｇｈｔ）を示す。そして、V={vx,vy}は｛ｘ、ｙ｝位置の動きベクトルを示す。
【０１９５】
エンコーダ／デコーダは、ＣＰＭＶ（すなわち、左上端の制御点１２０２及び右上端の制御点１２０３の動きベクトル）を利用して各画素位置の動きベクトルを決定（又は、誘導）する。以下、本発明において、アフィン動きベクトルフィールドをアフィン動き予測により決定される動きベクトルの集合と定義する。このようなアフィンの動きベクトルフィールドは、前述した数式１ないし４を利用して決定されることができる。
【０１９６】
符号化／復号化の過程において、アフィン動き予測による動きベクトルは、画素単位又は予め定義された（又は、予め設定された）ブロック（又は、サブブロック）単位で決定される。画素単位で決定される場合は、処理ブロック内の各画素を基準に動きベクトルが誘導され、サブブロック単位で決定される場合は、現在処理ブロック内の各サブブロック単位を基準に動きベクトルが誘導される。また、サブブロック単位で決定される場合、動きベクトルは、左上側画素又は中央画素を基準に当該サブブロックの動きベクトルが誘導される。
【０１９７】
以下、本発明の説明において、説明の便宜のために、アフィン動き予測による動きベクトルが４×４サイズのブロック単位で決定される場合を中心に説明するが、本発明は、これに限定されるものではなく、本発明は、画素単位又は他のサイズのサブブロック単位で適用されることもできる。
【０１９８】
図１３に示すように、現在ブロック１３０１のサイズが１６×１６である場合を仮定する。エンコーダ／デコーダは、現在ブロック１３０１の左上端の制御点１３０２及び右上端の制御点１３０３の動きベクトルを利用して４×４サイズのサブブロック単位で動きベクトルを決定する。そして、各サブブロックの中央画素値を基準に当該サブブロックの動きベクトルが決定される。
【０１９９】
アフィン動き予測は、アフィンマージモード（以下、「ＡＦマージ」と呼んでもよい）とアフィンインターモード（以下、「ＡＦインター」と呼んでもよい）に区分されることができる。アフィンマージモードは、一般的に既存の画像符号化技術において使用されるスキップモード又はマージモードと類似して動きベクトル差分値を符号化せずに、２つの制御点動きベクトルを誘導して符号化／復号化する方法である。アフィンインターモードは、制御点動きベクトル予測値と制御点動きベクトルを決定した後、差分値に該当する制御点動きベクトル差分値をエンコーダからデコーダにシグナリングする符号化／復号化方法である。この場合、ＡＦ４の場合は２つの制御点の動きベクトル差分値の送信が要求され、ＡＦ６の場合は３つの制御点の動きベクトル差分値の送信が要求される。
【０２００】
図１４は、本発明が適用される実施形態として、インター予測モードに基づいて画像を符号化する方法を例示するフローチャートである。
【０２０１】
図１４に示すように、エンコーダは、現在処理ブロックに対してスキップモード、マージモード、インターモードを実行（又は、適用）する（Ｓ１４０１）。そして、エンコーダは、現在処理ブロック対してＡＦマージモードを実行する（Ｓ１４０２）、ＡＦインターモードを実行する（Ｓ１４０３）。ここで、前記Ｓ１４０１ないしＳ１４０３ステップの実行順序を変更してもよい。
【０２０２】
エンコーダは、前記Ｓ１４０１ないしＳ１４０３ステップで実行されたモードのうち、現在処理ブロックに適用される最適のモードを選択する（Ｓ１４０４）。この場合、エンコーダは、最小のレート歪み（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）値に基づいて最適のモードを決定することができる。
【０２０３】
図１５は、本発明が適用される実施形態として、インター予測モードに基づいて画像を復号化する方法を例示するフローチャートである。
【０２０４】
デコーダは、現在処理ブロックにＡＦマージモードが適用されるか否かを判断する（Ｓ１５０１）。Ｓ１５０１ステップで判断した結果、現在処理ブロックにＡＦマージモードが適用される場合、ＡＦマージモードに基づいて復号化を行う（Ｓ１５０２）。ＡＦマージモードが適用される場合、デコーダは、制御点動きベクトル予測値候補を生成し、エンコーダから受信されたインデックス（又は、フラグ）値に基づいて決定される候補を制御点動きベクトルとして決定する。
【０２０５】
Ｓ１５０１ステップで判断した結果、現在処理ブロックにＡＦマージモードが適用されない場合、デコーダは、ＡＦインターモードが適用されるか否かを判断する（Ｓ１５０３）。Ｓ１５０３ステップで判断した結果、現在処理ブロックにＡＦインターモードが適用される場合、デコーダは、ＡＦインターモードに基づいて復号化を行う（Ｓ１５０４）。ＡＦインターモードが適用される場合、デコーダは、制御点動きベクトル予測値候補を生成し、エンコーダから受信されたインデックス（又は、フラグ）値を利用して候補を決定した後、エンコーダから受信された動きベクトル予測値の差分値を合算して制御点動きベクトルを決定する。
【０２０６】
Ｓ１５０３ステップで判断した結果、現在処理ブロックにＡＦインターモードが適用されない場合、デコーダは、ＡＦマージ／ＡＦインターモード以外のモードに基づいて復号化を行う（Ｓ１５０５）。
【０２０７】
本発明の一実施形態においては、ＡＦインターモードで制御点動きベクトル予測値を誘導する方法を提案する。制御点動きベクトル予測値は、第１制御点及び第２制御点の２つの動きベクトル対で構成されることができ、２つの制御点動きベクトル予測値候補が構成されることができる。そして、エンコーダは、デコーダに２つの候補のうち最適の制御点動きベクトル予測値インデックスをシグナリングすることができる。下記の図面を参照して２つの制御点動きベクトル予測値候補を決定する方法を具体的に説明する。
【０２０８】
図１６及び図１７は、本発明が適用される実施形態として、制御点動きベクトル予測値候補を決定する方法を説明するための図である。
【０２０９】
図１６に示すように、エンコーダ／デコーダは、第１制御点、第２制御点及び第３制御点の動きベクトル予測値を組み合わせた組み合わせ動きベクトル予測値を生成する（Ｓ１６０１）。例えば、エンコーダ／デコーダは、制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて最大１２個の組み合わせ動きベクトル予測値を生成する。
【０２１０】
図１７に示すように、エンコーダ／デコーダは、第１制御点１７０１の左上側の隣接ブロックＡ、上側の隣接ブロックＢ、左側の隣接ブロックＣの動きベクトルを第１制御点１７０１の動きベクトル組み合わせ候補として利用することができる。そして、エンコーダ／デコーダは、第２制御点１７０２の上側の隣接ブロックＤ、右上側の隣接ブロックＥを第２制御点１７０２の動きベクトル組み合わせ候補として利用することができる。そして、エンコーダ／デコーダは、第３制御点１７０３の左側の隣接ブロックＦ、左下側の隣接ブロックＧを第３制御点１７０３の動きベクトル組み合わせ候補として利用することができる。ここで、各制御点の隣接ブロックは、４×４サイズのブロックであり得る。制御点にそれぞれ隣接する周辺ブロックの動きベクトル組み合わせは、下記の数式５のように表現することができる。
【０２１１】
【数５】
2020529781.tif 000008
【０２１２】
再び図１６を参照すると、エンコーダ／デコーダは、Ｓ１６０１ステップで生成された組み合わせ動きベクトル予測値を制御点の動きベクトルの発散程度が小さい順に並べ替え（又は、配置）する（Ｓ１６０２）。動きベクトルの発散程度が小さい値を有するほど、制御点の動きベクトルが同一又は類似の方向を示すことができる。ここで、動きベクトルの発散程度は、次の数式６を利用して決定されることができる。
【０２１３】
【数６】
2020529781.tif 000009
【０２１４】
エンコーダ／デコーダは、Ｓ１６０２ステップで並べ替えた組み合わせ動きベクトル予測値のうち上位２つを動きベクトル予測値候補リスト（以下、「候補リスト」と呼んでもよい）として決定（又は、追加）する（Ｓ１６０３）。
【０２１５】
もし、候補リストに追加された候補が２つより小さい場合、エンコーダ／デコーダは、ＡＭＶＰ候補リストの候補を候補リストに追加する（Ｓ１６０４）。具体的に、Ｓ１６０３ステップで追加された候補が０個である場合、エンコーダ／デコーダは、ＡＭＶＰ候補リストの上位２つの候補を候補リストに追加する。Ｓ１６０３ステップで追加された候補が１つである場合、エンコーダ／デコーダは、ＡＭＶＰ候補リストの１番目の候補を候補リストに追加する。そして、前記ＡＭＶＰ候補リストは、前記図７ないし図９で説明した方法を適用して生成することができる。
【０２１６】
次の表１は、本実施形態で提案する方法によるシンタックス（Ｓｙｎｔａｘ）を例示する。
【０２１７】
【表１】
2020529781.tif 000010
【０２１８】
表１において、ｍｅｒｇｅ＿ｆｌａｇは、現在処理ブロックにマージモードが適用されるか否かを示す。そして、ａｆｆｉｎｅ＿ｆｌａｇは、現在処理ブロックにアフィンモードが適用されるか否かを示す。もし、現在処理ブロックにマージモードが適用される場合、エンコーダ／デコーダは、ａｆｆｉｎｅ＿ｆｌａｇをパーシングして現在処理ブロックにＡＦマージモードが適用されるか否かを確認する。
【０２１９】
もし、現在処理ブロックにマージモードが適用されない場合、エンコーダ／デコーダは、ａｆｆｉｎｅ＿ｆｌａｇをパーシングして現在処理ブロックにＡＦインターモードが適用されるか否かを確認する。そして、現在処理ブロックにＡＦインターモードが適用される場合、２つの候補のうちどの候補を制御点動きベクトル予測値として使用するかを示すａａｍｖｐ＿ｉｄｘをパーシングする。
【０２２０】
実施形態２
【０２２１】
本発明の一実施形態において、エンコーダ／デコーダは、アフィンモードで符号化された周辺ブロックのアフィン動きモデル（又は、動き情報）を用いてアフィン動き予測を行うことができる。すなわち、エンコーダ／デコーダは、周辺ブロックのうちアフィンモードで符号化されたブロックが存在するか否かを確認し、確認結果に応じて、アフィンモードで符号化されたブロックのアフィン動きモデル（又は、動き情報）を用いて制御点の動きベクトル予測値を誘導することができる。
【０２２２】
図１８は、本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を説明するための図である。
【０２２３】
図１８に示すように、エンコーダ／デコーダは、左下端のブロックＡ、上右端のブロックＢ、前記上右端ブロックの右側に隣接するブロックＣ、前記左下端のブロックの下側に隣接するブロックＤ及び左上端のブロックＥのうちアフィンモードで符号化されたブロックが存在するか否かを確認する。
【０２２４】
隣り合うアフィン符号化ブロックが存在しない場合、エンコーダ／デコーダは、前述した実施形態１における方法を適用することができる。
【０２２５】
それに対して、隣り合うアフィン符号化ブロックが存在する場合、エンコーダ／デコーダは、左下端のブロックＡ、上右端のブロックＢ、前記上右端のブロックの右側に隣接するブロックＣ、前記左下端のブロックの下側に隣接するブロックＤ及び左上端のブロックＥの順序上、１番目の隣り合うアフィン符号化ブロックのアフィン動きモデルによって現在ブロックの制御点動きベクトル予測値を決定することができる。
【０２２６】
前述したように、隣り合うアフィン符号化ブロックが存在しない場合、エンコーダ／デコーダは、２つの制御点動きベクトル予測値候補を構成することができる。この場合、２つの制御点動きベクトル予測値候補のうち特定候補を示すインデックス送信が要求される。それに対して、隣り合うアフィン符号化ブロックが存在する場合、隣り合うアフィン符号化ブロックのアフィン動きモデルにより１つの制御点動きベクトル予測値候補のみを決定するため、インデックス送信が要求されない。
【０２２７】
従って、本発明の実施形態によると、周辺ブロックのアフィン動きモデルを使用することにより、動きベクトル予測値候補のうち特定候補を示すためのインデックスシグナリングビットを節約することができ、符号化効率が向上する。
【０２２８】
隣り合うアフィン符号化ブロックのアフィン動きモデルに基づいて動きベクトル予測値を誘導する方法を下記の図面を参照して説明する。
【０２２９】
図１９は、本発明が適用できる実施形態として、周辺ブロックのアフィン動きモデルを利用して動きベクトル予測値を決定する方法を説明するための図である。
【０２３０】
図１９に示すように、隣り合うアフィン符号化ブロックは、第１制御点１９０１、第２制御点１９０２、第３制御点１９０３の動きベクトルが決定されており、前述した数式２又は数式４によるアフィン動きモデルが決定されている可能性もある。
【０２３１】
該当数学の式において隣り合うアフィン符号化ブロックの第１制御点１９０１の座標が（０，０）であるので、前記第１制御点１９０１を基準とする現在処理ブロックの第１制御点１９０４及び第２制御点１９０５の座標値を適用して、現在処理ブロックの第１制御点１９０４及び第２制御点１９０５の動きベクトル予測値を誘導（又は、取得）することができる。
【０２３２】
図２０は、本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。
【０２３３】
図２０に示すように、エンコーダ／デコーダは、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン符号化ブロックが存在するか否かを確認する（Ｓ２００１）。ここで、アフィンモードは、制御点の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導するモードを示す。
【０２３４】
Ｓ２００１のステップで確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在する場合、エンコーダ／デコーダは、予め定められたスキャン順序上、１番目のアフィン符号化ブロックのアフィン動きモデルを利用して制御点動きベクトル予測値を誘導する（Ｓ２００２）。例えば、前記予め定められた順序は、前述した図１８の左下端のブロックＡ、上右端のブロックＢ、前記上右端のブロックの右側に隣接するブロックＣ、前記左下端のブロックの下側に隣接するブロックＤ、左上端のブロックＥ位置のブロック順序であり得る。そして、前述したように、前記数式２又は４を利用して、現在処理ブロックの制御点の動きベクトル予測値を誘導することができる。
【０２３５】
Ｓ２００１のステップで確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、エンコーダ／デコーダは、実施形態１において前述した方法を適用して動きベクトル予測値候補リストを生成することができる。具体的に、Ｓ２００３ないしＳ２００６のステップは、前述した図１６のＳ１６０１ないしＳ１６０４ステップと同様一に行われることができる。
【０２３６】
次の表２は、本実施形態で提案する方法によるシンタックス（Ｓｙｎｔａｘ）を例示する。
【０２３７】
【表２】
2020529781.tif 000011
【０２３８】
表２において、ｍｅｒｇｅ＿ｆｌａｇは、現在処理ブロックにマージモードが適用されるか否かを示す。そして、ａｆｆｉｎｅ＿ｆｌａｇは、現在処理ブロックにアフィンモードが適用されるか否かを示す。そして、ａａｍｖｐ＿ｆｌａｇは、２つの制御点動きベクトル予測値候補リストのうちどの候補を利用するかを示す。
【０２３９】
現在処理ブロックにマージモードが適用されない場合、エンコーダ／デコーダは、ａｆｆｉｎｅ＿ｆｌａｇをパーシングして現在処理ブロックにＡＦインターモードが適用されるか否かを確認する。そして、エンコーダ／デコーダは、現在ブロックの周辺ブロックのうちアフィン符号化ブロックが存在するか否かを確認して、存在する場合は、前記ａａｍｖｐ＿ｆｌａｇをパーシングせずに周辺アフィン符号化ブロックのアフィン動きモデルを用いて現在処理ブロックの制御点の動きベクトル予測値を決定し、存在しない場合は、前記ａａｍｖｐ＿ｆｌａｇをパーシングして生成された候補リスト内で現在の処理ブロックに適用される候補を決定する。
【０２４０】
実施形態３
【０２４１】
本発明の一実施形態において、エンコーダ／デコーダは、アフィンモードで符号化された周辺ブロックのアフィン動きモデル（又は、動き情報）を用いて候補リストを構成することができる。周辺アフィン符号化ブロックが存在する場合、前述した実施形態２の場合は１つのアフィン符号化ブロックのアフィン動きモデルを利用して制御点の動きベクトル予測値を生成したのに対して、本実施形態では周辺アフィン符号化ブロックが存在する場合にも２つの制御点動きベクトル予測値候補を含む候補リストを生成することができる。
【０２４２】
図２１は、本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。
【０２４３】
図２１に示すように、エンコーダ／デコーダは、前記実施形態１において説明した方法を適用して２つの制御点動きベクトル予測値候補を決定する（Ｓ２１０１）。
【０２４４】
エンコーダ／デコーダは、現在処理ブロックの周辺ブロックのうちアフィンモードで符号化されたブロックが存在するか否かを確認する（Ｓ２１０２）。
【０２４５】
Ｓ２１０１のステップで確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在する場合、エンコーダ／デコーダは、予め定められたスキャン順序上、１番目のアフィン符号化ブロックのアフィン動きモデルを利用して制御点動きベクトル予測値を決定（又は、誘導）し、決定された制御点動きベクトル予測値を候補リストの１番目の候補として決定する（Ｓ２１０３）。例えば、前記予め定められた順序は、前述した図１８の左下端のブロックＡ、上右端のブロックＢ、前記上右端のブロックの右側に隣接するブロックＣ、前記左下端のブロックの下側に隣接するブロックＤ、左上端のブロックＥ位置のブロック順序であり得る。そして、前述したように、前述した数式２又は４を利用して、現在処理ブロックの制御点の動きベクトル予測値を誘導することができる。
【０２４６】
エンコーダ／デコーダは、Ｓ２１０１ステップで決定された１番目の候補を候補リストの２番目の候補として決定する（Ｓ２１０４）。
【０２４７】
Ｓ２１０２のステップで確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、エンコーダ／デコーダは、Ｓ２１０１ステップで決定された２つの動きベクトル予測値候補を候補リストに追加して候補リストを生成する（Ｓ２１０５）。ここで、前述した図１６のＳ１６０１ないしＳ１６０４ステップが適用されることができる。
【０２４８】
本実施形態においては、隣り合うアフィンモード符号化ブロックの有無に関係なく２つの動きベクトル予測値候補を利用して候補リストが生成されることができる。従って、隣り合うアフィンモード符号化ブロックが存在する場合にも、候補リスト内で現在処理ブロックに適用される候補を示すインデックスがエンコーダからデコーダにシグナリングされることができる。従って、本実施形態で提案する方法によるシンタックスは、前述した表１と同一に決定されることができる。
【０２４９】
実施形態４
【０２５０】
本発明の一実施形態において、エンコーダ／デコーダは、アフィンモードで符号化された周辺ブロックのアフィン動きモデル（又は、動き情報）を用いて候補リストを構成することができる。周辺アフィン符号化ブロックが存在する場合、スキャン順序上、１番目のアフィン符号化ブロックを利用して制御点動きベクトル予測値の候補を決定する実施形態２及び実施形態３とは異なり、本実施形態では、全ての周辺アフィン符号化ブロックを考慮して２つの制御点動きベクトル予測値候補を決定することができる。
【０２５１】
図２２は、本発明が適用される実施形態として、周辺ブロックのアフィン動きモデルを利用してアフィン動き予測を行う方法を例示するフローチャートである。
【０２５２】
図２２に示すように、エンコーダ／デコーダは、現在処理ブロックの周辺ブロックのうちアフィンモードで符号化されたブロックが存在するか否かを確認する（Ｓ２２０１）。ここで、エンコーダ／デコーダは、周辺アフィン符号化ブロックの個数Ｎを決定することができる。
【０２５３】
エンコーダ／デコーダは、Ｎ個の制御点動きベクトル予測値候補を決定する（Ｓ２２０２）。例えば、エンコーダ／デコーダは、前述した図１８の左下端のブロックＡ、上右端のブロックＢ、前記上右端のブロックの右側に隣接するブロックＣ、前記左下端のブロックの下側に隣接するブロックＤ、左上ブロックＥ位置のスキャン順序上、ｉ番目の周辺アフィン符号化ブロックを利用してｉ番目の候補を決定することができる。この場合、エンコーダ／デコーダは、プルーニングチェック（ｐｒｕｎｉｎｇ  ｃｈｅｃｋ）により重複する動きベクトル（又は、候補）を除去する（Ｓ２２０３）。
【０２５４】
エンコーダ／デコーダは、存在する候補の個数が２つ以上であるか否かを判断する（Ｓ２２０４）。
【０２５５】
もし、２つ以上である場合、エンコーダ／デコーダは、スキャン順序上、上位２つの候補を最終制御点動きベクトル予測値候補として決定する（Ｓ２２０５）。２つの未満である場合、エンコーダ／デコーダは、前記実施形態１で説明した方法を適用して２つの制御点動きベクトル予測値候補を決定する（Ｓ２２０６）。
【０２５６】
図２３は、本発明の一実施形態によるインター予測ベースの画像処理方法を例示する図である。
【０２５７】
図２３に示すように、デコーダは、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認する（Ｓ２３０１）。ここで、アフィンモードは、制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導するモードを示す。
【０２５８】
前述したように、デコーダは、現在ブロックの左下端のブロック、上右端のブロック、前記上右端のブロックの右側に隣接するブロック、前記左下端のブロックの下側に隣接するブロック及び左上端のブロックの順にアフィン符号化ブロックであるか否かを確認できる。
【０２５９】
デコーダは、前記Ｓ２３０１のステップで確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在する場合、アフィン符号化ブロックの動き情報に基づいて現在ブロックの制御点の第１動きベクトル候補（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ）を誘導する（Ｓ２３０２）。
【０２６０】
前述したように、デコーダは、スキャン順序上、１番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して前記第１動きベクトル候補を誘導することができる。ここで、第１動きベクトル候補は、制御点の動きベクトル予測値を含む。そして、第１動きベクトル候補は、周辺アフィン符号化ブロックのアフィン動きモデルを利用して計算されることができる。例えば、第１動きベクトル候補は、前述した数式２又は数式４を利用して計算されることができる。すなわち、第１動きベクトル候補を計算するにおいて、周辺アフィン符号化ブロックの幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）、前記アフィン符号化ブロックの制御点の動きベクトル及び前記現在ブロックの制御点の位置が利用できる。
【０２６１】
前述したように、デコーダは、前記確認の結果、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、前述した実施形態１の方法を適用して制御点動きベクトル予測値候補を決定することができる。すなわち、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、デコーダは、現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成し、生成された組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順に、予め決められた個数の組み合わせ動きベクトル候補を候補リストに追加する。
【０２６２】
また、前記実施形態２で説明したように、デコーダは、現在ブロックに対してアフィンモードが適用されるか否かを示すアフィンフラグを抽出することができる。そして、前記現在ブロックに前記周辺ブロックのうちアフィンモードで符号化されたブロックが存在しない場合、デコーダは、２つ以上の候補を含む候補リストを生成することができる。デコーダは、候補リストのうち特定の動きベクトル候補を示すインデックスを抽出することができる。
【０２６３】
また、前記実施形態３で説明したように、デコーダは、前述した実施形態1の方法を適用して制御点動きベクトル予測値候補を決定することができる。すなわち、デコーダは、現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成し、生成された組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順序上、１番目の第２動きベクトル候補及び２番目の第３動きベクトル候補を候補リストに追加できる。以後、デコーダは、周辺アフィン符号化ブロックの動きモデルを利用して生成された第１動きベクトル候補を候補リストに追加できる。この場合、候補リスト上の１番目の候補として第１動きベクトル候補が決定され、２番目の候補として第２動きベクトル候補が決定されることができる。そして、第３動きベクトル候補は候補リストから除去される。すなわち、デコーダは、周辺ブロックのうちアフィン符号化ブロックが存在する場合、第１動きベクトル候補及び第２動きベクトル候補を利用して候補リストを構成することができる。
【０２６４】
一方、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、デコーダは、第２動きベクトル候補及び第３動きベクトル候補を利用して候補リストを構成することができる。
【０２６５】
また、前記実施形態４で説明したように、デコーダは、１つ以上の周辺アフィン符号化ブロックのアフィン動きモデルを利用して動きベクトル予測値候補を構成することができる。もし、周辺ブロックのうち２つ以上の周辺アフィン符号化ブロックが存在する場合、デコーダは、スキャン順序上、１番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して第１動きベクトル候補を決定し、スキャン順序上、２番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して第４動きベクトル候補を決定することができる。そして、デコーダは、候補リストから第１動きベクトル候補を一番目の候補として決定し、第４動きベクトル候補を２番目の候補として最終決定することができる。また、前述したように、デコーダは、周辺ブロックのうちアフィン符号化ブロック間の重複する動き情報を除去することができる。
【０２６６】
図２４は、本発明の一実施形態によるインター予測部を例示する図である。
【０２６７】
図２４においては、説明の便宜のために、インター予測部（図１の１８１及び図２の２６１）を１つのブロックとして示したが、インター予測部１８１、２６１は、エンコーダ及び／又はデコーダに含まれる構成として実現されてもよい。
【０２６８】
図２４に示すように、インター予測部１８１、２６１は、前記図５ないし図２０で提案された機能、過程及び／又は方法を実現する。具体的に、インター予測部１８１、２６１は、周辺ブロック確認部２４０１、制御点動きベクトル候補決定部２４０２を含んで構成される。
【０２６９】
周辺ブロック確認部２４０１は、現在ブロックの周辺ブロックのうちアフィンモードで符号化されたアフィン（ａｆｆｉｎｅ）符号化ブロックが存在するか否かを確認する。ここで、アフィンモードは、制御点（ｃｏｎｔｒｏｌ  ｐｏｉｎｔ）の動きベクトルを用いて画素単位又はサブブロック単位で動きベクトルを誘導するモードを示す。
【０２７０】
前述したように、周辺ブロック確認部２４０１は、現在ブロックの左下端のブロック、上右端のブロック、前記上右端のブロックの右側に隣接するブロック、前記左下端のブロックの下側に隣接するブロック及び左上端のブロックの順にアフィン符号化ブロックであるか否かを確認する。
【０２７１】
周辺ブロック確認部２４０１で確認した結果、周辺ブロックのうちアフィン符号化ブロックが存在する場合、制御点動きベクトル候補決定部２４０２は、アフィン符号化ブロックの動き情報に基づいて現在ブロックの制御点の第１動きベクトル候補（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ）を誘導する。
【０２７２】
前述したように、制御点動きベクトル候補決定部２４０２は、スキャン順序上、１番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して前記第１動きベクトル候補を誘導することができる。ここで、第１動きベクトル候補は、制御点の動きベクトル予測値を含むことができる。そして、第１動きベクトル候補は、周辺アフィン符号化ブロックのアフィン動きモデルを利用して計算されることができる。例えば、第１動きベクトル候補は、前述した数式２又は数式４を利用して計算される。すなわち、第１動きベクトル予測値を計算するのにおいて、周辺アフィン符号化ブロックの幅（ｗｉｄｔｈ）、高さ（ｈｅｉｇｈｔ）、前記アフィン符号化ブロックの制御点の動きベクトル及び前記現在ブロックの制御点の位置が利用できる。
【０２７３】
前述したように、制御点動きベクトル候補決定部２４０２は、前記確認の結果、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、前述した実施形態１の方法を適用して制御点動きベクトル予測値候補を決定する。すなわち、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、制御点動きベクトル候補決定部２４０２は、現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成し、生成された組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順に予め定められた数の組み合わせ動きベクトル候補を候補リストに追加する。
【０２７４】
また、前記実施形態２で説明したように、制御点動きベクトル候補決定部２４０２は、現在ブロックに対してアフィンモードが適用されるか否かを示すアフィンフラグを抽出する。そして、前記現在ブロックに前記周辺ブロックのうちアフィンモードで符号化されたブロックが存在しない場合、制御点動きベクトル候補決定部２４０２は、２つ以上の候補を含む候補リストを生成することができる。制御点動きベクトル候補決定部２４０２は、候補リストのうち特定動きベクトル候補を示すインデックスを抽出する。
【０２７５】
また、前記実施形態３で説明したように、制御点動きベクトル候補決定部２４０２は、前述した実施形態１の方法を適用して制御点動きベクトル予測値候補を決定する。すなわち、制御点動きベクトル候補決定部２４０２は、現在ブロックの制御点にそれぞれ隣接する周辺ブロックの動きベクトルを組み合わせて組み合わせ動きベクトル候補を生成し、生成された組み合わせ動きベクトル候補のうち動きベクトルの発散程度が小さい順序上、１番目の第２動きベクトル候補及び２番目の第３動きベクトル候補を候補リストに追加する。その後、制御点動きベクトル候補決定部２４０２は、周辺アフィン符号化ブロックの動きモデルを利用して生成された第１動きベクトル候補を候補リストに追加する。この場合、候補リスト上の１番目の候補として第１動きベクトル候補が決定され、２番目の候補として第２動きベクトル候補が決定されることができる。そして、第３動きベクトル候補は候補リストから削除されてもよい。言い換えると、デコーダは、周辺ブロックのうちアフィン符号化ブロックが存在する場合、第１動きベクトル候補及び第２動きベクトル候補を利用して候補リストを構成する。
【０２７６】
一方、周辺ブロックのうちアフィン符号化ブロックが存在しない場合、デコーダは、第２動きベクトル候補及び第３動きベクトル候補を利用して候補リストを構成することができる。
【０２７７】
また、前記実施形態４で説明したように、制御点動きベクトル候補決定部２４０２は、１つ以上の周辺アフィン符号化ブロックのアフィン動きモデルを利用して動きベクトル予測値候補を構成することができる。もし、周辺ブロックのうち２つ以上の周辺アフィン符号化ブロックが存在する場合、制御点動きベクトル候補決定部２４０２は、スキャン順序上、１番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して第１動きベクトル候補を決定し、スキャン順序上、２番目のアフィン符号化ブロックの動き情報（又は、動きモデル）を利用して第４動きベクトル候補を決定することができる。そして、制御点動きベクトル候補決定部２４０２は、候補リストにおいて第１動きベクトル候補を１番目の候補として決定し、第４動きベクトル候補を２番目の候補として最終決定する。また、前述したように、制御点動きベクトル候補決定部２４０２は、周辺ブロックのうちアフィン符号化ブロック間の重複される動き情報を除去することができる。
【０２７８】
図２５は、本発明が適用される実施形態として、コンテンツのストリーミングシステム構造図を示す。
【０２７９】
図２５に示すように、本発明が適用されるコンテンツストリーミングシステムは、大きくエンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置及びマルチメディア入力装置を含むことができる。
【０２８０】
前記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割を果たす。他の例として、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略されることができる。
【０２８１】
前記ビットストリームは、本発明が適用されるエンコード方法又はビットストリーム生成方法によって生成されることができ、前記ストリームサーバは前記ビットストリームを送信又は受信する過程で一時的に前記ビットストリームを格納することができる。
【０２８２】
前記ストリーミングサーバは、ウェブサーバを介するユーザリクエストに基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介としての役割を果たす。ユーザが前記ウェブサーバに希望するサービスを要求すると、前記ウェブサーバはこれをストリーミングサーバに伝達し、前記ストリーミングサーバはユーザにマルチメディアデータを送信する。ここで、前記コンテンツストリーミングシステムは、別途の制御サーバを含んでもよく、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たす。
【０２８３】
前記ストリーミングサーバは、メディア格納所及び／又はエンコードサーバからコンテンツを受信する。例えば、前記エンコードサーバからコンテンツを受信する場合、前記コンテンツをリアルタイムに受信できる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは前記ビットストリームを一定時間格納することができる。
【０２８４】
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ  ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ  ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ  ｍｕｌｔｉｍｅｄｉａ  ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ  ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ  ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ  ｄｅｖｉｃｅ、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ  ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどを有することができる。
【０２８５】
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営でき、この場合、各サーバで受信するデータは分散処理されることができる。
【０２８６】
前述したように、本発明で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われることができる。例えば、各図面に示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて行われることができる。
【０２８７】
また、本発明が適用されるデコーダ及びエンコーダは、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ  ｔｈｅ  ｔｏｐ  ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号及びデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ  ｔｈｅ  ｔｏｐ  ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などが含まれる。
【０２８８】
また、本発明が適用される処理方法は、コンピュータにより実行されるプログラムの形態で生産されることができ、コンピュータにより読み取りできる記録媒体に格納できる。本発明によるデータ構造を有するマルチメディアデータもまたコンピュータにより読み取りできる記録媒体に格納できる。前記コンピュータにより読み取りできる記録媒体は、コンピュータにより読み取りできるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータにより読み取りできる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピ（登録商標）ディスク、及び光学データ格納装置を含むことができる。また、前記コンピュータにより読み取りできる記録媒体は、搬送波（例えば、インターネットを介する送信）の形態で実現されたメディアを含む。また、エンコード方法により生成されたビットストリームがコンピュータにより読み取りできる記録媒体に格納されるか、有無線通信ネットワークを介して送信できる。
【０２８９】
また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現され、前記プログラムコードは、本発明の実施形態によりコンピュータにおいて行われる。前記プログラムコードは、コンピュータにより読み取りできるキャリア上に格納されることができる。
【０２９０】
以上で説明された実施形態は、本発明の構成要素と特徴が所定の形態に結合されたものである。各構成要素又は特徴は、別途の明示的な言及がない限り、選択的なものとして考慮されなければならない。各構成要素又は特徴は、他の構成要素や特徴と結合されない形態に実施できる。また、一部の構成要素及び／又は、特徴を結合して本発明の実施形態を構成することも可能である。本発明の実施形態で説明される動作の順序は変更できる。ある実施形態の一部の構成や特徴は他の実施形態に含まれることができ、または他の実施形態の対応する構成または特徴と取替できる。特許請求範囲で明示的な引用関係がない請求項を結合して実施形態を構成するか、または出願後の補正により新たな請求項に含めることができることは自明である。
【０２９１】
本発明による実施形態は、多様な手段、例えば、ハードウェア、ファームウエア（ｆｉｒｍｗａｒｅ）、ソフトウェア、またはそれらの結合などにより実現できる。ハードウェアによる実現の場合、本発明の一実施形態は１つまたはその以上のＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサなどにより実現できる。
【０２９２】
ファームウエアやソフトウェアによる実現の場合、本発明の一実施形態は以上で説明された機能または動作を行うモジュール、手続、関数などの形態に実現できる。ソフトウェアコードはメモリに格納されてプロセッサにより駆動できる。前記メモリは前記プロセッサの内部または外部に位置し、既に公知された多様な手段により前記プロセッサとデータをやり取りすることができる。
【０２９３】
本発明は本発明の必須的な特徴を逸脱しない範囲で他の特定の形態に具体化できることは通常の技術者に自明である。従って、前述した詳細な説明は全ての面で制限的に解析されてはならず、例示的なものとして考慮されなければならない。本発明の範囲は添付した請求項の合理的な解析により決定されなければならず、本発明の等価的な範囲内での全ての変更は本発明の範囲に含まれる。
【産業上の利用可能性】
【０２９４】
以上、前述した本発明の好ましい実施形態は、例示の目的のために開示されたものであり、当業者であれば、以下に添付された特許請求範囲に開示された本発明の技術的思想とその技術的範囲内において、様々な他の実施形態を改良、変更、代替又は付加などが可能であろう。
【図１】
2020529781.tif 000012
【図２】
2020529781.tif 000013
【図３】
2020529781.tif 000014
【図４】
2020529781.tif 000015
【図５】
2020529781.tif 000016
【図６】
2020529781.tif 000017
【図７】
2020529781.tif 000018
【図８】
2020529781.tif 000019
【図９】
2020529781.tif 000020
【図１０】
2020529781.tif 000021
【図１１】
2020529781.tif 000022
【図１２】
2020529781.tif 000023
【図１３】
2020529781.tif 000024
【図１４】
2020529781.tif 000025
【図１５】
2020529781.tif 000026
【図１６】
2020529781.tif 000027
【図１７】
2020529781.tif 000028
【図１８】
2020529781.tif 000029
【図１９】
2020529781.tif 000030
【図２０】
2020529781.tif 000031
【図２１】
2020529781.tif 000032
【図２２】
2020529781.tif 000033
【図２３】
2020529781.tif 000034
【図２４】
2020529781.tif 000035
【図２５】
2020529781.tif 000036
【国際調査報告】
2020529781.tif 000037
2020529781.tif 000038
2020529781.tif 000039
2020529781.tif 000040