(57)【要約】【課題】符号化時間の増大を抑制しつつ、動きベクトルを含む動き情報の符号化効率を向上させる。【解決手段】動きベクトル検出部１０８は、符号化対象ブロックの予測信号を取得するための動きベクトルを検出する。符号列生成部１０４は、当該予測信号を含む参照画像を特定するための情報を符号化する。予測ベクトル候補生成部は、当該動きベクトルの予測ベクトル候補を生成する。基準ベクトル決定部は、符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から基準動きベクトルを決定する。参照画像情報設定部は、スケーリング用の参照画像を特定するための情報を設定する。スケーリング部は、スケーリング用の参照画像を特定するための情報に基づいて基準動きベクトルをスケーリングする。参照画像情報設定部は、スケーリング用の参照画像を、予測信号を含む参照画像に依存せずに決定する。【選択図】図８
2013042303.tif 000002
【特許請求の範囲】
【請求項１】
動き補償予測を行う画像符号化装置であって、
符号化対象ブロックの予測信号を取得するための動きベクトルを検出する動きベクトル検出部と、
前記予測信号を含む参照画像を特定するための情報を符号化する符号列生成部と、
前記動きベクトルの予測ベクトル候補を生成する予測ベクトル候補生成部と、を備え、
前記予測ベクトル候補生成部は、
前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から基準動きベクトルを決定する基準ベクトル決定部と、
スケーリング用の参照画像を特定するための情報を設定する参照画像情報設定部と、
前記スケーリング用の参照画像を特定するための情報に基づいて前記基準動きベクトルをスケーリングするスケーリング部と、を含み、
前記参照画像情報設定部は、前記スケーリング用の参照画像を、前記予測信号を含む参照画像に依存せずに決定する、
ことを特徴とする画像符号化装置。
【請求項２】
前記参照画像情報設定部は、前記スケーリング用の参照画像を、前記符号化対象ブロックに隣接する符号化済みのブロックの動き補償に使用された参照画像をもとに決定する、
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
動き補償予測を行う画像符号化装置であって、
符号化対象ブロックの予測信号を取得するための動きベクトルを生成し、当該動きベクトルの予測ベクトルを、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から選択した動きベクトルに基づき、得る第１予測モードと、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から選択した動きベクトルに基づき動き補償に使用する動きベクトルを得て、当該動きベクトルを使用して前記符号化対象ブロックの予測信号を生成する第２予測モードとのいずれかを選択する予測モード決定部と、
前記符号化対象ブロックに隣接する符号化済みのブロックであって、前記符号化対象ブロックを含む画像と時間的に異なる画像に含まれるブロックの動きベクトルをスケーリングするスケーリング部と、を備え、
前記スケーリング部によりスケーリングされた動きベクトルは、前記第１予測モードおよび前記第２予測モードで共用される、
ことを特徴とする画像符号化装置。
【請求項４】
動き補償予測を行う画像符号化装置であって、
符号化対象ブロックに隣接する複数のブロックを第１の順序で検査して、動きベクトルを含むブロックの動きベクトルを空間予測ベクトル候補とする空間予測ベクトル候補生成部と、
前記符号化対象ブロックに隣接する複数のブロックを第２の順序で検査して、動きベクトルを含むブロックの動きベクトルをスケーリングしたスケーリング動きベクトルを空間スケーリング予測ベクトル候補とする空間スケーリング予測ベクトル候補生成部と、
少なくとも前記空間予測ベクトル候補と前記空間スケーリング予測ベクトル候補を含む候補リストを生成する候補リスト生成部と、
前記候補リストに含まれる予測ベクトル候補の中から前記符号化対象ブロックの予測ベクトルを選択する予測ベクトル選択部と、
選択された予測ベクトル候補を示す予測ベクトルを特定するための情報を符号化ストリームに符号化する符号列生成部と、
を備えることを特徴とする画像符号化装置。
【請求項５】
動き補償予測を行う画像符号化装置であって、
符号化対象ブロックの予測信号を取得するための動きベクトルを検出する動きベクトル検出部と、
前記符号化対象ブロックに隣接する複数のブロックから動きベクトルを含むブロックを選択して候補リストを生成する候補リスト生成部と、
前記候補リストに含まれる予測ベクトル候補の中から前記符号化対象ブロックの予測ベクトルを選択する予測ベクトル選択部と、
前記符号化対象ブロックの動きベクトルと前記予測ベクトルとの差分ベクトルを算出する差分ベクトル算出部と、
前記候補リスト内における前記予測ベクトルの位置を示す予測ベクトルを特定するための情報、前記差分ベクトル、および前記符号化対象ブロックの参照画像を特定するための情報を符号化ストリームに符号化する符号列生成部と、を備え、
前記符号列生成部は、前記予測ベクトルを特定するための情報が所定値である場合、前記参照画像を特定するための情報の符号化を省略する、
ことを特徴とする画像符号化装置。
【請求項６】
動き補償予測を行う画像符号化方法であって、
符号化対象ブロックの予測信号を取得するための動きベクトルを検出するステップと、
前記予測信号を含む参照画像を特定するための情報を符号化するステップと、
前記動きベクトルの予測ベクトル候補を生成するステップと、を備え、
前記予測ベクトル候補を生成するステップは、
前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から基準動きベクトルを決定するステップと、
スケーリング用の参照画像を特定するための情報を設定するステップと、
前記スケーリング用の参照画像を特定するための情報に基づいて前記基準動きベクトルをスケーリングするステップと、を含み、
前記スケーリング用の参照画像を特定するための情報を設定するステップは、前記スケーリング用の参照画像を、前記予測信号を含む参照画像に依存せずに決定する、
ことを特徴とする画像符号化方法。
【請求項７】
動き補償予測を行う画像符号化方法であって、
符号化対象ブロックの予測信号を取得するための動きベクトルを生成し、当該動きベクトルの予測ベクトルを、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から選択した動きベクトルに基づき、得る第１予測モードと、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から選択した動きベクトルに基づき動き補償に使用する動きベクトルを得て、当該動きベクトルを使用して前記符号化対象ブロックの予測信号を生成する第２予測モードとのいずれかを選択するステップと、
前記符号化対象ブロックに隣接する符号化済みのブロックであって、前記符号化対象ブロックを含む画像と時間的に異なる画像に含まれるブロックの動きベクトルをスケーリングするステップと、を備え、
スケーリングされた動きベクトルは、前記第１予測モードおよび前記第２予測モードで共用される、
ことを特徴とする画像符号化方法。
【請求項８】
動き補償予測を行う画像符号化プログラムであって、
符号化対象ブロックの予測信号を取得するための動きベクトルを検出する処理と、
前記予測信号を含む参照画像を特定するための情報を符号化する処理と、
前記動きベクトルの予測ベクトル候補を生成する処理と、をコンピュータに実行させ、
前記予測ベクトル候補を生成する処理は、
前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から基準動きベクトルを決定する処理と、
スケーリング用の参照画像を特定するための情報を設定する処理と、
前記スケーリング用の参照画像を特定するための情報に基づいて前記基準動きベクトルをスケーリングする処理と、をコンピュータに実行させ、
前記スケーリング用の参照画像を特定するための情報を設定する処理は、前記スケーリング用の参照画像を、前記予測信号を含む参照画像に依存せずに決定する、
ことを特徴とする画像符号化プログラム。
【請求項９】
動き補償予測を行う画像符号化プログラムであって、
符号化対象ブロックの予測信号を取得するための動きベクトルを生成し、当該動きベクトルの予測ベクトルを、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から選択した動きベクトルに基づき、得る第１予測モードと、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から選択した動きベクトルに基づき動き補償に使用する動きベクトルを得て、当該動きベクトルを使用して前記符号化対象ブロックの予測信号を生成する第２予測モードとのいずれかを選択する処理と、
前記符号化対象ブロックに隣接する符号化済みのブロックであって、前記符号化対象ブロックを含む画像と時間的に異なる画像に含まれるブロックの動きベクトルをスケーリングする処理と、をコンピュータに実行させ、
スケーリングされた動きベクトルは、前記第１予測モードおよび前記第２予測モードで共用される、
ことを特徴とする画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償予測を用いた動画像符号化技術に関し、特に動き補償予測で利用する動き情報を符号化する画像符号化装置、画像符号化方法および画像符号化プログラムに関する。
【背景技術】
【０００２】
一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き量に基づいて、対象画像の対象ブロックから参照画像の参照ブロックに移動した位置の信号を予測信号として生成する技術である。動き補償予測には１本の動きベクトルを利用して単予測に行うものと、２本の動きベクトルを利用して双予測に行うものがある。
【０００３】
また、動きベクトルについても、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルを予測動きベクトル（単に「予測ベクトル」ともいう）とし、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。
【０００４】
ＭＰＥＧ−４ＡＶＣでは、ＭＰＥＧ−２よりも動き補償予測のブロックサイズを細かく且つ多様にすることで動き補償予測の効率を向上させている。一方、ブロックサイズを細かくしたことで動きベクトル数が増加するため、符号化ベクトルの符号量が問題となる。
【０００５】
そのため、ＭＰＥＧ−２では単純に処理対象ブロックの左隣のブロックの動きベクトルを予測ベクトルとしていた（例えば、非特許文献１参照）が、ＭＰＥＧ−４ＡＶＣでは複数の隣接ブロックの動きベクトルの中央値を予測ベクトルとすることで予測ベクトルの精度を向上させ、符号化ベクトルの符号量の増加を抑制している（例えば、非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【非特許文献１】ISO/IEC 13818-2 Information technology -- Generic coding of moving pictures and associated audio information: Video
【非特許文献２】ISO/IEC 14496-10 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１および２のいずれに記載された方法においても、予測ベクトルは一つしか得られないため、予測精度が十分でなく、符号化効率が十分に向上しない場合がある。本発明者らは参照画像を用いて生成した予測ベクトルの候補を含む予測ベクトルの候補を複数用いて符号化効率を向上させる方法を取ることを考えた。その場合、参照画像を識別するためのインデックスを復号することが必要になり、予測ベクトルの候補を生成する時間が遅延するという課題があることを認識するに至った。
【０００８】
本発明はこうした状況に鑑みてなされたものであり、その目的は、予測ベクトルの候補の生成に要する遅延時間を抑制しつつ、動きベクトルの予測精度を向上させることのできる動画像符号化技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある態様の画像符号化装置は、動き補償予測を行う画像符号化装置であって、符号化対象ブロックの予測信号を取得するための動きベクトルを検出する動きベクトル検出部（１０８）と、前記予測信号を含む参照画像を特定するための情報を符号化する符号列生成部（１０４）と、前記動きベクトルの予測ベクトル候補を生成する予測ベクトル候補生成部（１５１、１５２）と、を備える。前記予測ベクトル候補生成部（１５１、１５２）は、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から基準動きベクトルを決定する基準ベクトル決定部（１７０、１７５）と、スケーリング用の参照画像を特定するための情報を設定する参照画像情報設定部（１７１、１７６）と、前記スケーリング用の参照画像を特定するための情報に基づいて前記基準動きベクトルをスケーリングするスケーリング部（１７２、１７７）と、を含む。前記参照画像情報設定部（１７１、１７６）は、前記スケーリング用の参照画像を、前記予測信号を含む参照画像に依存せずに決定する。「前記符号化対象ブロックに隣接する符号化済みのブロック」は、前記符号化対象ブロックに空間的に隣接するブロックでもよいし、時間的に隣接するブロックでもよい。
【００１０】
前記参照画像情報設定部（１７１、１７６）は、前記スケーリング用の参照画像を、前記符号化対象ブロックに隣接する符号化済みのブロックの動き補償に使用された参照画像をもとに決定してもよい。
【００１１】
本発明の別の態様もまた、画像符号化装置である。この装置は、動き補償予測を行う画像符号化装置であって、符号化対象ブロックの予測信号を取得するための動きベクトルを生成し、当該動きベクトルの予測ベクトルを、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から選択した動きベクトルに基づき、得る第１予測モードと、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から選択した動きベクトルに基づき動き補償に使用する動きベクトルを得て、当該動きベクトルを使用して前記符号化対象ブロックの予測信号を生成する第２予測モードとのいずれかを選択する予測モード決定部（１２２）と、前記符号化対象ブロックに隣接する符号化済みのブロックであって、前記符号化対象ブロックを含む画像と時間的に異なる画像に含まれるブロックの動きベクトルをスケーリングするスケーリング部（１７２）と、を備える。前記スケーリング部（１７２）によりスケーリングされた動きベクトルは、前記第１予測モードおよび前記第２予測モードで共用される。
【００１２】
本発明のさらに別の態様もまた、画像符号化装置である。この装置は、動き補償予測を行う画像符号化装置であって、符号化対象ブロックに隣接する複数のブロックを第１の順序で検査して、動きベクトルを含むブロックの動きベクトルを空間予測ベクトル候補とする空間予測ベクトル候補生成部（１５０）と、前記符号化対象ブロックに隣接する複数のブロックを第２の順序で検査して、動きベクトルを含むブロックの動きベクトルをスケーリングしたスケーリング動きベクトルを空間スケーリング予測ベクトル候補とする空間スケーリング予測ベクトル候補生成部（１５２）と、少なくとも前記空間予測ベクトル候補と前記空間スケーリング予測ベクトル候補を含む候補リストを生成する候補リスト生成部（１３０）と、前記候補リストに含まれる予測ベクトル候補の中から前記符号化対象ブロックの予測ベクトルを選択する予測ベクトル選択部（１３１）と、選択された予測ベクトル候補を示す予測ベクトルを特定するための情報を符号化ストリームに符号化する符号列生成部（１０４）と、を備える。
【００１３】
本発明のさらに別の態様もまた、画像符号化装置である。この装置は、動き補償予測を行う画像符号化装置であって、符号化対象ブロックの予測信号を取得するための動きベクトルを検出する動きベクトル検出部（１０８）と、前記符号化対象ブロックに隣接する複数のブロックから動きベクトルを含むブロックを選択して候補リストを生成する候補リスト生成部（１３０）と、前記候補リストに含まれる予測ベクトル候補の中から前記符号化対象ブロックの予測ベクトルを選択する予測ベクトル選択部（１３１）と、前記符号化対象ブロックの動きベクトルと前記予測ベクトルとの差分ベクトルを算出する差分ベクトル算出部（１３２）と、前記候補リスト内における前記予測ベクトルの位置を示す予測ベクトルを特定するための情報、前記差分ベクトル、および前記符号化対象ブロックの参照画像を特定するための情報を符号化ストリームに符号化する符号列生成部（１０４）と、を備える。前記符号列生成部（１０４）は、前記予測ベクトルを特定するための情報が所定値である場合、前記参照画像を特定するための情報の符号化を省略する。
【００１４】
本発明のさらに別の態様は、画像符号化方法である。この方法は、動き補償予測を行う画像符号化方法であって、符号化対象ブロックの予測信号を取得するための動きベクトルを検出するステップと、前記予測信号を含む参照画像を特定するための情報を符号化するステップと、前記動きベクトルの予測ベクトル候補を生成するステップと、を備える。前記予測ベクトル候補を生成するステップは、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から基準動きベクトルを決定するステップと、スケーリング用の参照画像を特定するための情報を設定するステップと、前記スケーリング用の参照画像を特定するための情報に基づいて前記基準動きベクトルをスケーリングするステップと、を含む。前記スケーリング用の参照画像を特定するための情報を設定するステップは、前記スケーリング用の参照画像を、前記予測信号を含む参照画像に依存せずに決定する。
【００１５】
本発明のさらに別の態様もまた、画像符号化方法である。この方法は、動き補償予測を行う画像符号化方法であって、符号化対象ブロックの予測信号を取得するための動きベクトルを生成し、当該動きベクトルの予測ベクトルを、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から選択した動きベクトルに基づき、得る第１予測モードと、前記符号化対象ブロックに隣接する符号化済みのブロックの動きベクトルの中から選択した動きベクトルに基づき動き補償に使用する動きベクトルを得て、当該動きベクトルを使用して前記符号化対象ブロックの予測信号を生成する第２予測モードとのいずれかを選択するステップと、前記符号化対象ブロックに隣接する符号化済みのブロックであって、前記符号化対象ブロックを含む画像と時間的に異なる画像に含まれるブロックの動きベクトルをスケーリングするステップと、を備える。スケーリングされた動きベクトルは、前記第１予測モードおよび前記第２予測モードで共用される。
【００１６】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１７】
本発明によれば、予測ベクトルの候補の生成に要する遅延時間を抑制しつつ、動きベクトルの予測精度を向上させることのできる動画像符号化技術を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】画像を最大符号化ブロックに分割する例を説明するための図である。
【図２】図２（ａ）、（ｂ）は、符号化ブロックを説明するための図である。
【図３】図３（ａ）〜（ｄ）は、予測ブロックを説明するための図である。
【図４】予測ブロックサイズを説明するための図である。
【図５】予測符号化モードを説明するための図である。
【図６】予測ブロックのシンタックスの一例を説明するための図である。
【図７】図７（ａ）、（ｂ）は、本発明の実施の形態によるマージインデックスと予測ベクトルインデックスの符号列を説明する図である。
【図８】本発明の実施の形態１に係る動画像符号化装置の構成を示す図である。
【図９】動画像符号化装置の動作を説明するためのフローチャートである。
【図１０】処理対象の予測ブロックサイズが１６画素×１６画素である場合の様子を示す図である。
【図１１】動き情報生成部の構成を示す図である。
【図１２】動き情報生成部の動作を説明するためのフローチャートである。
【図１３】予測ベクトルモード決定部の構成を示す図である。
【図１４】予測ベクトルモード決定部の動作を説明するためのフローチャートである。
【図１５】処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックの隣接ブロックを示す図である。
【図１６】処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上の予測ブロック内のブロックとその周辺ブロックを示す図である。
【図１７】予測ベクトル候補リスト生成部の構成を説明するための図である。
【図１８】予測ベクトル候補リスト生成部の動作を説明するためのフローチャートである。
【図１９】空間予測ベクトル候補生成部の動作を説明するためのフローチャートである。
【図２０】時間予測ベクトル候補生成部の構成を説明するための図である。
【図２１】時間予測ベクトル候補生成部の動作を説明するためのフローチャートである。
【図２２】時間予測ベクトル候補の算出手法を説明するための図である。
【図２３】空間スケーリング予測ベクトル候補生成部の構成を説明するための図である。
【図２４】空間スケーリング予測ベクトル候補生成部の動作を説明するためのフローチャートである。
【図２５】空間スケーリング予測ベクトル候補の算出手法を説明するための図である。
【図２６】予測ベクトル候補リストの確定の動作を説明するためのフローチャートである。
【図２７】マージモード決定部の構成を説明するための図である。
【図２８】マージモード決定部の動作を説明するためのフローチャートである。
【図２９】結合動き情報候補リスト生成部の構成を説明するための図である。
【図３０】結合動き情報候補リスト生成部の動作を説明するためのフローチャートである。
【図３１】空間結合動き情報候補生成部の動作を説明するためのフローチャートである。
【図３２】時間結合動き情報候補生成部の構成を説明するための図である。
【図３３】時間結合動き情報候補生成部の動作を説明するためのフローチャートである。
【図３４】空間スケーリング結合動き情報候補生成部の構成を説明するための図である。
【図３５】空間スケーリング結合動き情報候補生成部の動作を説明するためのフローチャートである。
【図３６】結合動き情報候補リストの確定の動作を説明するためのフローチャートである。
【図３７】実施の形態１の動画像復号装置を示す図である。
【図３８】動画像復号装置の動作を説明するためのフローチャートである。
【図３９】動き情報再生部の構成を示す図である。
【図４０】動きベクトル再生部の構成を示す図である。
【図４１】動きベクトル再生部の動作を説明するためのフローチャートである。
【図４２】結合動き情報再生部の構成を示す図である。
【図４３】結合動き情報再生部の動作を説明するためのフローチャートである。
【図４４】実施の形態１の変形例１における予測ベクトル候補リスト生成部の動作を説明するためのフローチャートである。
【図４５】実施の形態２の予測ブロックのシンタックスの一例を説明するための図である。
【図４６】実施の形態２の予測ベクトルモード決定部の動作を説明するためのフローチャートである。
【図４７】実施の形態２の予測ベクトル候補リスト確定部の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１９】
まず、本発明の実施の形態の前提となる技術を説明する。
【００２０】
現在、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。
【００２１】
１９９５年にはＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式が、汎用の映像圧縮符号化方式として制定され、ＤＶＤおよびＤ−ＶＨＳ（登録商標）規格のデジタルＶＴＲによる磁気テープなどの蓄積メディア、ならびにデジタル放送などのアプリケーションとして広く用いられている。
【００２２】
さらに、２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ−ＴではＨ．２６４の規格番号がつけられている。以下、これをＭＰＥＧ−４ＡＶＣと呼ぶ）が国際標準として制定された。
【００２３】
現在、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＨＥＶＣと呼ばれる符号化方式の標準化が検討されている。
【００２４】
ＨＥＶＣの標準化では、複数の隣接ブロックと復号済みの別の画像のブロックを候補ブロック群として、これら候補ブロック群から予測ブロックとして最適な候補ブロックが選択されて、選択された候補ブロックの情報が符号化および復号される技術が検討されている。
【００２５】
ＨＥＶＣでは予測ベクトルモード（動き検出モードともいう）、マージモードの導入が検討されている。予測ベクトルモード時には、選択された候補ブロックの動きベクトルがから予測ベクトルが生成され、その予測ベクトルと処理対象ブロックの差分ベクトルとが加算されて、処理対象ブロックの動きベクトルが再生される。マージモード時には、選択された候補ブロックの動き補償予測の予測方向、参照画像情報、および動きベクトル情報を含む動き情報が、処理対象ブロックの動き情報として利用される。
【００２６】
予測ベクトルモードとマージモードでは、復号済みの別の画像の候補ブロックが予測ブロックとして選択された場合、動きベクトルの再生において、処理対象画像と参照画像との画像間距離に応じたスケーリングと呼ばれる演算が行われる。しかしながら、予測ベクトルモードとマージモードではスケーリングの演算対象とする参照画像が異なっているため、予測ベクトルモードとマージモードで、異なる動きベクトルの再生が必要となり、スケーリングの演算部の共用を困難にしている。
【００２７】
また、マージモードでは予測ブロックサイズが決定した直後にスケーリングを実行できるが、予測ベクトルモードでは参照画像情報の復号が完了するまでスケーリングを実行できないため、マージモードと予測ベクトルモードのいずれかのモードが確定するまでスケーリングを実行できない制約がある。
【００２８】
さらに、予測ベクトルモードでは、隣接ブロックの、ある予測方向の動きベクトルが不足した場合に、同じ候補ブロック群から予測方向が反対方向の動きベクトルをスケーリングした動きベクトルを新たな予測ベクトル候補として利用することができる。ところが、スケーリングした動きベクトルを隣接ブロックの動きベクトルの代替候補として利用しているため、スケーリングした動きベクトルを有効に利用できていない問題がある。
【００２９】
（符号化ブロック）
本発明の実施の形態では、入力された画像信号を図１のように最大符号化ブロック単位に分割し、分割した符号化ブロックをラスタースキャン順序で処理する。図１は、画像を最大符号化ブロックに分割する例を説明するための図である。符号化ブロックは階層構造となっており、符号化効率などを考慮して順次均等に４分割することでより小さい符号化ブロックにすることができる。なお、４分割された符号化ブロックはジグザグスキャン順で符号化される。これ以上小さくすることのできない符号化ブロックを最小符号化ブロックと呼ぶ。符号化ブロックは符号化の単位となり、最大符号化ブロックも分割数が０である場合は符号化ブロックとなる。本実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とする。
【００３０】
図２（ａ）、（ｂ）は、符号化ブロックを説明するための図である。図２（ａ）の例では、符号化ブロックが１０個に分割されている。ＣＵ０、ＣＵ１およびＣＵ９は３２画素×３２画素の符号化ブロック、ＣＵ２、ＣＵ３およびＣＵ８は１６画素×１６画素の符号化ブロック、ならびにＣＵ４、ＣＵ５、ＣＵ６およびＣＵ７は８画素×８画素の符号化ブロックとなっている。図２（ｂ）の例では、符号化ブロックが１個に分割されている。
【００３１】
（予測ブロック）
本発明の実施の形態では、符号化ブロックはさらに予測ブロックに分割される。図３（ａ）〜（ｄ）は、予測ブロックを説明するための図である。図３（ａ）は符号化ブロックを分割しない２Ｎ×２Ｎ、図３（ｂ）は水平に分割する２Ｎ×Ｎ、図３（ｃ）は垂直に分割するＮ×２Ｎ、および図３（ｄ）は水平と垂直に分割するＮ×Ｎを示す。図４は、予測ブロックサイズを説明するための図である。つまり、予測ブロックサイズには、図４に示すように、ＣＵ分割数が０であって最大の予測ブロックサイズである６４画素×６４画素からＣＵ分割数が３であって最小の予測ブロックサイズである４画素×４画素までの１３の予測ブロックサイズが存在することになる。
【００３２】
本発明の実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とするが、この組み合わせに限定されない。また、予測ブロックの分割のパターンを図３（ａ）〜（ｄ）としたが、１以上に分割されればよくこれに限定されない。
【００３３】
（予測符号化モード）
本発明の実施の形態では、動き補償予測や符号化ベクトル数を予測ブロックのブロックサイズで切り替えることが可能となっている。ここで、動き補償予測と符号化ベクトル数を関連付けた予測符号化モードの一例について図５を用いて簡単に説明する。図５は、予測符号化モードを説明するための図である。
【００３４】
図５に示す予測符号化モードには、動き補償予測の予測方向が単予測（Ｌ０予測）であって符号化ベクトル数が１であるＰｒｅｄＬ０、動き補償予測の予測方向が単予測（Ｌ１予測）であって符号化ベクトル数が１であるＰｒｅｄＬ１、動き補償予測の予測方向が双予測（ＢＩ予測）であって符号化ベクトル数が２であるＰｒｅｄＢＩ、および動き補償予測の予測方向が単予測（Ｌ０予測／Ｌ１予測）または双予測（ＢＩ予測）であって符号化ベクトル数が０であるマージモード（ＭＥＲＧＥ）がある。また、動き補償予測を実施しない予測符号化モードであるイントラモード（Ｉｎｔｒａ）もある。ここで、ＰｒｅｄＬ０、ＰｒｅｄＬ１、およびＰｒｅｄＢＩが予測ベクトルモードとなる。
【００３５】
（参照インデックス）
本発明の実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照画像の中から最適な参照画像を選択することを可能とする。そのため、動き補償予測で利用した参照画像を参照画像インデックスとして符号化ベクトルとともに符号化する。動き補償予測で利用される参照画像インデックスは０以上の数値となる。動き補償予測が単予測であれば、参照インデックスは１つ利用され、動き補償予測が双予測であれば、２つの参照インデックスが利用される（図５）。
【００３６】
（参照インデックスリスト）
本発明の実施の形態では、動き補償予測で利用できる複数の参照画像を参照インデックスリスト内に登録しておき、参照インデックスリスト内に登録された参照画像を参照インデックスで示すことによって参照画像を確定させて動き補償予測で利用する。参照インデックスリストには、参照インデックスリストＬ０と参照インデックスリストＬ１がある。動き補償予測が単予測の場合は、参照インデックスリストＬ０の中の参照画像を用いたＬ０予測、または参照インデックスリストＬ１の中の参照画像を用いたＬ１予測のいずれかを利用する。双予測の場合は参照インデックスリストＬ０と参照インデックスリストＬ１の２つを利用したＢＩ予測を利用する。
【００３７】
（マージインデックス）
本発明の実施の形態では、符号化効率を向上させるために、複数の隣接ブロックおよび符号化済みの別の画像の処理対象ブロックと同一位置の周辺にあるブロックを候補ブロックとして、候補ブロックの動き情報の中から最適な動き情報を有する候補ブロックを選択し、選択した候補ブロックを示すためのマージインデックスを符号化および復号する。これは、選択されたマージインデックスの示すブロックの動き補償予測の予測方向、動きベクトル情報、参照画像情報を含む動き情報を処理対象ブロックで利用する動き補償予測技術（マージ技術）である。マージインデックスは予測符号化モードがマージモードの場合に１つ利用される（図５）。なお、動き情報が双予測であれば、動き情報にはそれぞれ２つの動きベクトル情報と参照画像情報が含まれる。マージインデックスで選択できる候補ブロックの最大数（以降、マージ候補最大数とする）は５であり、マージインデックスは０から４の整数となる。ここでは、マージ候補最大数を５としたが、２以上であればよく、これに限定されない。
【００３８】
以降、マージインデックスの対象となる候補ブロックの持つ動き情報を結合動き情報候補と呼び、結合動き情報候補の集合体を結合動き情報候補リストと呼ぶ。
【００３９】
（予測ベクトルインデックス）
本発明の実施の形態では、予測ベクトルの精度を向上させるために、複数の隣接ブロックおよび符号化済みの別の画像の処理対象ブロックと同一位置の周辺にあるブロックを候補ブロックとして、候補ブロックの動きベクトルの中から予測ベクトルとして最適な動きベクトルを持つ候補ブロックを選択し、選択した候補ブロックを示すための予測ベクトルインデックスを符号化および復号する。動き補償予測が単予測であれば、予測ベクトルインデックスは１つ利用され、動き補償予測が双予測であれば、２つの予測ベクトルインデックスが利用される（図５）。それぞれの予測ベクトルインデックスで選択できる候補ブロックの最大数（以降、予測ベクトル候補最大数とする）は２であり、予測ベクトルインデックスは０または１の整数となる。ここでは、予測ベクトル候補最大数を２としたが、２以上であればよく、これに限定されない。
【００４０】
以降、予測ベクトルインデックスの対象となる候補ブロックの動きベクトルを予測ベクトル候補と呼び、予測ベクトル候補の集合体を予測ベクトル候補リストと呼ぶ。
【００４１】
本発明の実施の形態では、マージ候補最大数を５、予測ベクトル候補最大数を２としたが、いずれかが２以上であればよく、この組み合わせに限定されない。
【００４２】
（シンタックス）
本発明の実施の形態による予測ブロックのシンタックスの一例について図６を用いて説明する。予測ブロックがイントラであるかインターであるかは上位の符号化ブロックによって指定されており、図６は予測ブロックがインターの場合の予測ブロックのシンタックスを示す。予測ブロックには、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、インター予測モード（ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅ）、参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ０とｒｅｆ＿ｉｄｘ＿ｌ１）、差分ベクトル（ｍｖｄ＿ｌ０［０］、ｍｖｄ＿ｌ０［１］、ｍｖｄ＿ｌ１［０］、ｍｖｄ＿ｌ１［１］）および予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ０およびｍｖｐ＿ｉｄｘ＿ｌ１）が設置されている。差分ベクトルの［０］は水平成分、［１］は垂直成分を示す。
【００４３】
ここで、ｒｅｆ＿ｉｄｘ＿ｌ０とｍｖｄ＿ｌ０［０］、ｍｖｄ＿ｌ０［１］、ｍｖｐ＿ｉｄｘ＿ｌ０はＬ０予測に関する情報であって、ｒｅｆ＿ｉｄｘ＿ｌ１とｍｖｄ＿ｌ１［０］、ｍｖｄ＿ｌ１［１］、ｍｖｐ＿ｉｄｘ＿ｌ１はＬ１予測に関する情報である。ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅは動き補償予測の予測方向を示し、Ｐｒｅｄ＿Ｌ０（Ｌ０予測の単予測）、Ｐｒｅｄ＿Ｌ１（Ｌ１予測の単予測）およびＰｒｅｄ＿ＢＩ（ＢＩの双予測）の３種類がある。
【００４４】
なお、本発明の実施の形態による予測ブロックのシンタックスを図６のように設定したが、本発明の実施の形態によれば予測ベクトルモードの場合に参照インデックスが含まれていればよく、これに限定されない。
【００４５】
（マージインデックスと予測ベクトルインデックスの符号列）
次に、マージインデックスと予測ベクトルインデックスの符号列について説明する。図７（ａ）、（ｂ）は、本発明の実施の形態によるマージインデックスと予測ベクトルインデックスの符号列を説明する図である。符号列としてＴｒｕｎｃａｔｅｄ  Ｕｎａｒｙ符号列を用いる。図７（ａ）はマージインデックスの符号列を、図７（ｂ）は予測ベクトルインデックスの符号列を示す。
【００４６】
図７（ａ）、（ｂ）から分かるように、小さいマージインデックスの方が符号列は短い（符号量は少ない）ため、選択率が相対的に高い候補に小さなマージインデックスを割り当てることで符号化効率を向上させることができる。
【００４７】
（ＰＯＣ）
本発明の実施の形態では、画像の時間情報（距離情報）としてＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）を用いる。ＰＯＣはＭＰＥＧ−４ＡＶＣで定義された画像の表示順序を示すカウンタである。画像の表示順序が１増加するとＰＯＣも１増加する。したがって、画像間のＰＯＣ差から画像間の時間差（距離）を取得できる。
【００４８】
以下、図面とともに本発明の好適な実施の形態に係る動画像符号化装置、動画像符号化方法および動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法および動画像復号プログラムの詳細について説明する。なお、図面の説明において同一要素には同一符号を付与して重複する説明を省略する。
【００４９】
［実施の形態１］
（動画像符号化装置１００の構成）
図８は、本発明の実施の形態１に係る動画像符号化装置１００の構成を示す。動画像符号化装置１００は、動画像信号を、動き補償予測を実施する予測ブロック単位で符号化する装置である。符号化ブロックの分割、予測ブロックサイズの決定、予測符号化モードがイントラであるかの決定は図示しない上位の符号化制御部で決定されているものとし、実施の形態１では予測符号化モードがイントラでない場合について説明する。また、実施の形態１では双予測に対応したＢピクチャについて説明するが、双予測に対応しないＰピクチャについてはＬ１予測を省略すればよい。
【００５０】
動画像符号化装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像符号化装置１００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。なお、処理対象の予測ブロックの位置情報、予測ブロックサイズおよび動き補償予測の予測方向に関しては動画像符号化装置１００内で共有していることとし、図示しない。
【００５１】
実施の形態１の動画像符号化装置１００は、予測ブロック画像取得部１０１、減算部１０２、予測誤差符号化部１０３、符号列生成部１０４、予測誤差復号部１０５、動き補償部１０６、加算部１０７、動きベクトル検出部１０８、動き情報生成部１０９、フレームメモリ１１０、および動き情報メモリ１１１を含む。
【００５２】
（動画像符号化装置１００の動作）
以下、各部の機能と動作について説明する。図９は、動画像符号化装置１００の動作を説明するためのフローチャートである。予測ブロック画像取得部１０１は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子１０より供給される画像信号から処理対象の予測ブロックの画像信号を取得し（Ｓ１００）、予測ブロックの画像信号を減算部１０２、動きベクトル検出部１０８および動き情報生成部１０９に供給する。
【００５３】
動きベクトル検出部１０８は、予測ブロック画像取得部１０１より供給される画像信号および内部に記憶している複数の参照画像に相当する画像信号から、Ｌ０予測とＬ１予測それぞれの動きベクトルと参照画像を示す参照インデックスを検出する（Ｓ１０１）。当該Ｌ０予測とＬ１予測の動きベクトル、および当該Ｌ０予測とＬ１予測の参照インデックスを動き情報生成部１０９に供給する。ここでは、Ｌ０予測とＬ１予測の参照画像の数をそれぞれ３とする。実施の形態１では、Ｌ０予測とＬ１予測の参照画像の数をそれぞれ３としたが、Ｌ０予測とＬ１予測の参照画像の数はそれぞれ１以上であればよく、これに限定されない。
【００５４】
一般的な動きベクトルの検出方法は、対象画像の画像信号と、同一位置より所定の移動量だけ移動させた参照画像の予測信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。参照画像が複数ある場合には各参照画像について動きベクトルを検出し、誤差評価値が最小となる参照画像を選択する。誤差評価値としては、絶対差分和を示すＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）や二乗誤差平均を示すＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）などを利用することが可能である。
【００５５】
動き情報生成部１０９は、動きベクトル検出部１０８より供給されるＬ０予測とＬ１予測の動きベクトルおよびＬ０予測とＬ１予測の参照インデックス、動き情報メモリ１１１より供給される候補ブロック群、フレームメモリ１１０内の参照インデックスで示される参照画像、および予測ブロック画像取得部１０１より供給される画像信号から、予測符号化モードを決定する（Ｓ１０２）。
【００５６】
決定された予測符号化モードに基づいて、マージフラグ、マージインデックス、動き補償予測の予測方向、Ｌ０予測とＬ１予測の参照インデックス、Ｌ０予測とＬ１予測の差分ベクトルおよびＬ０予測とＬ１予測の予測ベクトルインデックスを必要に応じて、符号列生成部１０４に供給する。動き補償予測の予測方向、Ｌ０予測とＬ１予測の参照インデックス、およびＬ０予測とＬ１予測の動きベクトルを動き補償部１０６および動き情報メモリ１１１に供給する。動き情報生成部１０９の詳細については後述する。
【００５７】
動き補償部１０６は、動き情報生成部１０９より供給される動き補償予測の予測方向がＬＮ予測であれば、動き情報生成部１０９より供給されるＬＮ予測の参照インデックスで示されるフレームメモリ１１０内の参照画像を、動き情報生成部１０９より供給されるＬＮ予測の動きベクトルに基づき動き補償してＬＮ予測の予測信号を生成する（Ｓ１０３）。Ｎは０または１である。なお、動き補償予測の予測方向が双予測であれば、Ｌ０予測とＬ１予測の予測信号の平均値が予測信号となる。動き補償部１０６は、当該予測信号を減算部１０２に供給する。
【００５８】
減算部１０２は、予測ブロック画像取得部１０１より供給される画像信号と動き補償部１０６より供給される予測信号を減算して予測誤差信号を算出し（Ｓ１０４）、当該予測誤差信号を予測誤差符号化部１０３に供給する。
【００５９】
予測誤差符号化部１０３は、減算部１０２より供給される予測誤差信号に対して、量子化や直交変換などの処理を行って予測誤差符号化データを生成し（Ｓ１０５）、当該予測誤差符号化データを符号列生成部１０４および予測誤差復号部１０５に供給する。
【００６０】
符号列生成部１０４は、予測誤差符号化部１０３より供給される予測誤差符号化データ、ならびに動き情報生成部１０９より供給されるマージフラグ、マージインデックス、動き補償予測の予測方向（インター予測モード）、Ｌ０予測とＬ１予測の参照インデックス、Ｌ０予測とＬ１予測の差分ベクトルおよびＬ０予測とＬ１予測の予測ベクトルインデックスをシンタックスに従ってエントロピー符号化して符号列を生成し（Ｓ１０６）、当該符号列を端子１１に供給する。エントロピー符号化は算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。
【００６１】
予測誤差復号部１０５は、予測誤差符号化部１０３より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部１０７に供給する。加算部１０７は、予測誤差復号部１０５より供給される予測誤差信号と、動き補償部１０６より供給される予測信号を加算して復号画像信号を生成し（Ｓ１０７）、当該復号画像信号をフレームメモリ１１０に供給する。
【００６２】
フレームメモリ１１０は、加算部１０７より供給される復号画像信号を記憶する（Ｓ１０８）。また、画像全体の復号が完了した復号画像については参照画像として、１以上の所定の画像数を記憶する。フレームメモリ１１０は、記憶した参照画像信号を動き補償部１０６および動き情報生成部１０９に供給する。参照画像を記憶する記憶領域はＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）方式で制御される。
【００６３】
動き情報メモリ１１１は、動き情報生成部１０９より供給される動き情報を最小の予測ブロックサイズ単位で所定の画像数、記憶する（Ｓ１０９）。処理対象の予測ブロックの隣接ブロックの動き情報を空間候補ブロック群とする。
【００６４】
また、動き情報メモリ１１１は、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上のブロックとその周辺ブロックの動き情報を時間候補ブロック群とする。動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群を候補ブロック群として動き情報生成部１０９に供給する。動き情報メモリ１１１は、フレームメモリ１１０と同期しており、ＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）方式で制御される。
【００６５】
ここで、ＣｏｌＰｉｃとは、処理対象の予測ブロックとは別の復号済みの画像であって、フレームメモリ１１０に参照画像として記憶されている画像を指す。実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像としたが、符号化済みの画像であればよく、例えば、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中で指定することも可能である。
【００６６】
ここで、動き情報メモリ１１１における動き情報の管理方法について図１０を用いて説明する。動き情報は最小の予測ブロック単位で各メモリエリアに記憶される。図１０は、処理対象の予測ブロックサイズが１６画素×１６画素である場合の様子を示している。この場合、この予測ブロックの動き情報は図１０の斜線部の１６個のメモリエリアに格納される。
【００６７】
なお、予測符号化モードがイントラモードである場合、Ｌ０予測とＬ１予測の動きベクトルとして（０，０）が記憶され、Ｌ０予測とＬ予測の参照インデックスとして「−１」が記憶される。これ以降、動きベクトルの（Ｈ、Ｖ）は、Ｈが水平成分、Ｖが垂直成分を表すこととする。なお、参照インデックスの「−１」は動き補償予測を実施しないモードであることが判定できればどのような値でもよい。これ以降は特に断らない限り単にブロックと表現する場合には、最小の予測ブロック単位のことを示すこととする。また、領域外のブロックである場合もイントラモードと同様に、Ｌ０予測とＬ１予測の動きベクトルとして（０，０）が記憶され、Ｌ０予測とＬ１予測の参照インデックスとして「−１」が記憶される。ＬＸ方向（Ｘは０または１）が有効であるとはＬＸ方向の参照インデックスが０以上であることで、ＬＸ方向が無効である（有効でない）とはＬＸ方向の参照インデックスが「−１」であることである。
【００６８】
（動き情報生成部１０９の構成）
続いて、動き情報生成部１０９の詳細な構成について説明する。図１１は、動き情報生成部１０９の構成を示す。動き情報生成部１０９は、予測ベクトルモード決定部１２０、マージモード決定部１２１および予測符号化モード決定部１２２を含む。端子１２は動き情報メモリ１１１に、端子１３は動きベクトル検出部１０８に、端子１４はフレームメモリ１１０に、端子１５は予測ブロック画像取得部１０１に、端子１６は符号列生成部１０４に、端子５０は動き補償部１０６に、および端子５１は動き情報メモリ１１１にそれぞれ接続されている。
【００６９】
（動き情報生成部１０９の動作）
以下、各部の機能と動作について説明する。図１２は、動き情報生成部１０９の動作を説明するためのフローチャートである。予測ベクトルモード決定部１２０は、端子１２より供給される候補ブロック群、端子１３より供給されるＬ０予測とＬ１予測の動きベクトルおよびＬ０予測とＬ１予測の参照インデックス、端子１４より供給される参照インデックスで示される参照画像、および端子１５より供給される画像信号から、各予測符号化モード（予測ベクトルモードＰｒｅｄＬ０、ＰｒｅｄＬ１、およびＰｒｅｄＢｉ）から１つの予測符号化モードを決定し（Ｓ１１０）、レート歪み評価値を算出する。そして、予測符号化モードに基づいた動き情報、差分ベクトル、予測ベクトルインデックス、およびレート歪み評価値を予測符号化モード決定部１２２に供給する。予測ベクトルモード決定部１２０の詳細については後述する。
【００７０】
マージモード決定部１２１は、端子１２より供給される候補ブロック群、端子１４より供給される参照画像、および端子１５より供給される画像信号から、結合動き情報候補リストを生成し、当該結合動き情報候補リストの中から１つの結合動き情報候補を選択してマージインデックスを決定し（Ｓ１１１）、レート歪み評価値を算出する。そして、当該結合動き情報候補の動き情報、当該マージインデックスおよび当該レート歪み評価値を予測符号化モード決定部１２２に供給する。マージモード決定部１２１の詳細については後述する。
【００７１】
予測符号化モード決定部１２２は、予測ベクトルモード決定部１２０より供給されるレート歪み評価値と、マージモード決定部１２１より供給されるレート歪み評価値とを比較してマージフラグを決定する（Ｓ１１２）。
【００７２】
前者が後者未満の場合は、マージフラグを「０」に設定する。予測符号化モード決定部１２２は、当該マージフラグ、各予測符号化モードに基づく動き補償予測の予測方向、予測ベクトルモード決定部１２０より供給される参照インデックス、差分ベクトルと予測ベクトルインデックスを端子１６に供給し、予測ベクトルモード決定部１２０より供給される動き情報を端子５０および端子５１に供給する。
【００７３】
後者が前者以下の場合は、マージフラグを「１」に設定する。予測符号化モード決定部１２２は、当該マージフラグおよびマージモード決定部１２１より供給されるマージインデックスを端子１６に供給し、マージモード決定部１２１より供給される動き情報を端子５０および端子５１に供給する。なお、レート歪み評価値の具体的な算出方法は本発明の主眼ではないため詳細は省略するが、レート歪み評価値が小さいほど符号化効率は高くなる特性を持つ評価値である。
【００７４】
（予測ベクトルモード決定部１２０の構成）
続いて、予測ベクトルモード決定部１２０の詳細な構成について説明する。図１３は、予測ベクトルモード決定部１２０の構成を示す。予測ベクトルモード決定部１２０は、予測ベクトル候補リスト生成部１３０、予測ベクトル決定部１３１および減算部１３２を含む。端子１７は予測符号化モード決定部１２２に接続されている。
【００７５】
予測ベクトル候補リスト生成部１３０は、実施の形態１に係る動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて矛盾のない予測ベクトル候補リストが生成される。
【００７６】
（予測ベクトルモード決定部１２０の動作）
以下、各部の機能と動作について説明する。図１４は、予測ベクトルモード決定部１２０の動作を説明するためのフローチャートである。
【００７７】
予測ベクトル候補リスト生成部１３０は、端子１２より供給される候補ブロック群から予測ベクトル候補最大数の予測ベクトル候補を含むＬ０予測の予測ベクトル候補リストを生成する（Ｓ１２０）。予測ベクトル候補リスト生成部１３０は、当該Ｌ０予測の予測ベクトル候補リストを予測ベクトル決定部１３１に供給する。
【００７８】
予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給されるＬ０予測の予測ベクトル候補リストから１つの予測ベクトル候補をＬ０予測の予測ベクトルとして選択して、Ｌ０予測の予測ベクトルインデックを決定し（Ｓ１２１）、当該Ｌ０予測の予測ベクトルを減算部１３２に供給する。
【００７９】
減算部１３２は、端子１３より供給されるＬ０予測の動きベクトルから予測ベクトル決定部１３１より供給されるＬ０予測の予測ベクトルを減算してＬ０予測の差分ベクトルを算出し（Ｓ１２２）、当該Ｌ０予測の差分ベクトルを予測ベクトル決定部１３１に供給する。
【００８０】
予測ベクトル決定部１３１は、端子１５より供給される画像信号と、端子１４より供給される参照画像を端子１３より供給されるＬ０予測の動きベクトルおよびＬ０予測の参照インデックスに基づいて動き補償予測したＬ０予測の予測信号とから予測誤差量を算出し、当該予測誤差量と、Ｌ０予測の差分ベクトル、Ｌ０予測の参照インデックス、およびＬ０予測の予測ベクトルインデックスの符号量とからＰｒｅｄ＿Ｌ０のレート歪評価値を算出する（Ｓ１２３）。
【００８１】
予測ベクトル候補リスト生成部１３０は、端子１２より供給される候補ブロック群から予測ベクトル候補最大数の予測ベクトル候補を含むＬ１予測の予測ベクトル候補リストを生成する（Ｓ１２４）。予測ベクトル候補リスト生成部１３０は、当該Ｌ１予測の予測ベクトル候補リストを予測ベクトル決定部１３１に供給する。
【００８２】
予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給されるＬ１予測の予測ベクトル候補リストから１つの予測ベクトル候補をＬ１予測の予測ベクトルとして選択してＬ１予測の予測ベクトルインデックを決定し（Ｓ１２５）、当該Ｌ１予測の予測ベクトルを減算部１３２に供給する。
【００８３】
減算部１３２は、端子１３より供給されるＬ１予測の動きベクトルから予測ベクトル決定部１３１より供給されるＬ１予測の予測ベクトルを減算してＬ１予測の差分ベクトルを算出し（Ｓ１２６）、当該Ｌ１予測の差分ベクトルを予測ベクトル決定部１３１に供給する。
【００８４】
予測ベクトル決定部１３１は、端子１５より供給される画像信号と、端子１４より供給される参照画像を端子１３より供給されるＬ１予測の動きベクトル及びＬ１予測の参照インデックスに基づいて動き補償予測したＬ１予測の予測信号とから予測誤差量を算出し、当該予測誤差量と、Ｌ１予測の差分ベクトル、Ｌ１予測の参照インデックス、およびＬ１予測の予測ベクトルインデックスの符号量とからＰｒｅｄ＿Ｌ１のレート歪評価値を算出する（Ｓ１２７）。
【００８５】
予測ベクトル決定部１３１は、端子１５より供給される画像信号と、Ｌ０予測の予測信号およびＬ１予測の予測信号を平均したＢＩ予測の予測信号とから予測誤差量を算出し、当該予測誤差量と、Ｌ０予測とＬ１予測の差分ベクトル、Ｌ０予測とＬ１予測の参照インデックス、およびＬ０予測とＬ１予測の予測ベクトルインデックスの符号量とからＰｒｅｄ＿ＢＩのレート歪評価値を算出する（Ｓ１２８）。
【００８６】
予測ベクトル決定部１３１は、Ｐｒｅｄ＿Ｌ０のレート歪評価値、Ｐｒｅｄ＿Ｌ１のレート歪評価値、およびＰｒｅｄ＿ＢＩのレート歪評価値を比較して、最小のレート歪評価値である予測符号化モードを１つ選択する（Ｓ１２９）。そして、予測符号化モードに基づいた動き情報、差分ベクトル、予測ベクトルインデックス、およびレート歪み評価値を予測符号化モード決定部１２２に供給する。なお、予測符号化モードがＰｒｅｄ＿Ｌ０であれば、Ｌ１予測の動きベクトルは（０，０）、Ｌ１予測の参照インデックスは「−１」となり、予測符号化モードがＰｒｅｄ＿Ｌ１であれば、Ｌ０予測の動きベクトルは（０，０）、Ｌ０予測の参照インデックスは「−１」となる。
【００８７】
（予測ベクトル候補リスト生成部１３０に供給される候補ブロック群）
ここで、予測ベクトル候補リスト生成部１３０に供給される候補ブロック群について図１５と図１６を用いて説明する。候補ブロック群には空間候補ブロック群と時間候補ブロック群が含まれる。
【００８８】
図１５は、処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックの隣接ブロックを示す。実施の形態１では、空間候補ブロック群として、図１５に示すブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとする。ここでは、空間候補ブロック群をブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであればよく、これらに限定されない。例えば、ブロックＡ１、ブロックＡ２、ブロックＡ３、ブロックＡ４、ブロックＢ１、ブロックＢ２、ブロックＢ３、ブロックＢ４、ブロックＣ、ブロックＤおよびブロックＥの全てを空間候補ブロックとしてもよい。
【００８９】
次に、時間候補ブロック群について図１６を用いて説明する。図１６は、処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上の予測ブロック内のブロックとその周辺ブロックを示す。実施の形態１では、時間候補ブロック群として、図１６に示すブロックＨとブロックＩ６の２ブロックとする。
【００９０】
ここでは、時間候補ブロック群をＣｏｌＰｉｃ上のブロックＨとブロックＩ６の２ブロックとしたが、時間候補ブロック群は、処理対象の予測ブロックとは別の復号済みの画像上の少なくとも１以上のブロックであればよく、これらに限定されない。例えば、ＣｏｌＰｉｃ上のブロックＩ１からブロックＩ１６、ブロックＡ１からブロックＡ４、ブロックＢ１からブロックＢ４、ブロックＣ、ブロックＤ、ブロックＥ、ブロックＦ１からブロックＦ４、ブロックＧ１からブロックＧ４およびブロックＨの全てを時間候補ブロックとしてもよい。また、ブロックＨのみとしてもよい。以降特に断らない限り、ブロックＡ４をブロックＡ、ブロックＢ４をブロックＢと表記する。以降特に断らない限り、ブロックＨとブロックＩ６のブロックを時間ブロックと表記する。
【００９１】
（予測ベクトル候補リスト生成部１３０の構成）
続いて、予測ベクトル候補リスト生成部１３０の詳細な構成について説明する。図１７は、予測ベクトル候補リスト生成部１３０の構成を説明するための図である。端子１８は予測ベクトル決定部１３１に接続されている。予測ベクトル候補リスト生成部１３０は、空間予測ベクトル候補生成部１５０、時間予測ベクトル候補生成部１５１、空間スケーリング予測ベクトル候補生成部１５２、予測ベクトル候補補充部１５３、および予測ベクトル候補リスト確定部１５４を含む。
【００９２】
時間予測ベクトル候補生成部１５１と空間スケーリング予測ベクトル候補生成部１５２は、実施の形態１による結合動き情報候補リスト生成部１４０にも設置される。
【００９３】
（予測ベクトル候補リスト生成部１３０の動作）
以下、各部の機能と動作について説明する。図１８は、予測ベクトル候補リスト生成部１３０の動作を説明するためのフローチャートである。空間予測ベクトル候補生成部１５０は、端子１２より供給される候補ブロック群から空間予測ベクトル候補を０個から２個生成し（Ｓ１４０）、当該空間予測ベクトル候補を予測ベクトル候補リスト確定部１５４に供給する。空間予測ベクトル候補生成部１５０の詳細な動作については後述する。
【００９４】
時間予測ベクトル候補生成部１５１は、端子１２より供給される候補ブロック群から時間予測ベクトル候補を０個または１個生成し（Ｓ１４１）、当該時間予測ベクトル候補を予測ベクトル候補リスト確定部１５４に供給する。時間予測ベクトル候補生成部１５１の詳細な動作については後述する。
【００９５】
空間スケーリング予測ベクトル候補生成部１５２は、端子１２より供給される候補ブロック群から空間スケーリング予測ベクトル候補を０個または１個生成し（Ｓ１４２）、当該空間スケーリング予測ベクトル候補を予測ベクトル候補リスト確定部１５４に供給する。空間スケーリング予測ベクトル候補生成部１５２の詳細な動作については後述する。
【００９６】
予測ベクトル候補リスト確定部１５４は、予測ベクトル候補最大数から空間予測ベクトル候補、時間予測ベクトル候補、および空間スケーリング予測ベクトル候補を合計した予測ベクトル候補数を減算して予測ベクトル補充候補数を算出し（Ｓ１４３）、当該予測ベクトル補充候補数を予測ベクトル候補補充部１５３に供給する。なお、算出された予測ベクトル補充候補数が０未満の場合には、予測ベクトル補充候補数は０とする。
【００９７】
予測ベクトル候補補充部１５３は、予測ベクトル候補リスト確定部１５４より供給される予測ベクトル補充候補数だけ予測ベクトル補充候補を生成し（Ｓ１４４）、当該予測ベクトル補充候補を予測ベクトル候補リスト確定部１５４に供給する。予測ベクトル補充候補は動きベクトル（０，０）とする。ここでは、予測ベクトル補充候補を動きベクトル（０，０）としたが、空間予測ベクトル候補、時間予測ベクトル候補、空間スケーリング予測ベクトル候補と異なる動きベクトルであればよく、これに限定されない。例えば、空間予測ベクトル候補の水平成分や垂直成分を＋１や−１などした動きベクトルでもよい。
【００９８】
予測ベクトル候補リスト確定部１５４は、予測ベクトル候補リストの予測ベクトル候補数が予測ベクトル候補最大数に達するまで、空間予測ベクトル候補、時間予測ベクトル候補、空間スケーリング予測ベクトル候補、予測ベクトル補充候補を順次、予測ベクトル候補リストに追加して予測ベクトル候補リストを確定する（Ｓ１４５）。予測ベクトル候補リストの確定の詳細な動作については後述する。
【００９９】
（空間予測ベクトル候補生成部１５０の詳細な動作）
引き続いて、空間予測ベクトル候補生成部１５０の詳細な動作について説明する。図１９は、空間予測ベクトル候補生成部１５０の動作を説明するためのフローチャートである。空間予測ベクトル候補生成部１５０は、動き補償予測の予測方向が単予測であれば、Ｌ０予測またはＬ１予測の空間予測ベクトル候補を０個から２個生成し、動き補償予測の予測方向が双予測であれば、Ｌ０予測およびＬ１予測のそれぞれについて空間予測ベクトル候補を０個から２個生成する。以降、空間予測ベクトル候補を生成する対象の動き補償予測の予測方向をＬＸとして説明する（Ｘは０または１）。空間予測ベクトル候補生成部１５０は、端子１２より供給される空間候補ブロック群に含まれる候補ブロックをブロックＥ、ブロックＡ１、ブロックＣ、ブロックＢ１、ブロックＤの順に以下の処理を繰り返し行う（Ｓ１５０からＳ１５５）。ここでは、処理の順序をブロックＥ、ブロックＡ１、ブロックＣ、ブロックＢ１、ブロックＤとしたが、空間候補ブロック群に含まれる候補ブロックが多くとも1回処理されればよく、これに限定されない。
【０１００】
候補ブロックのＬＸ予測がスケーリング不要であるかどうか検査する（Ｓ１５１）。候補ブロックのＬＸ予測がスケーリング不要であるとは候補ブロックのＬＸ予測の参照インデックスが０以上であることである。候補ブロックのＬＸ予測がスケーリング不要であれば（Ｓ１５１のＹ）、候補ブロックのＬＸ予測の動きベクトルが既に決定された空間予測ベクトル候補と同一でないことを検査する（Ｓ１５２）。候補ブロックのＬＸ予測がスケーリング不要でなければ（Ｓ１５１のＮ）、ステップＳ１５２からステップＳ１５４をスキップして次の候補ブロックを検査する（Ｓ１５５）。候補ブロックのＬＸ予測の動きベクトルが既に決定された空間予測ベクトル候補と同一でなければ（Ｓ１５２のＹ）、候補ブロックのＬＸ予測の動きベクトルを空間予測ベクトル候補として決定する（Ｓ１５３）。候補ブロックのＬＸ予測の動きベクトルが既に決定された空間予測ベクトル候補と同一であれば（Ｓ１５２のＮ）、ステップＳ１５３とステップＳ１５４をスキップして次の候補ブロックを検査する（Ｓ１５５）。ステップＳ１５３に続いて、空間予測ベクトル候補数が所定数であるか検査する（Ｓ１５４）。ここでは、所定数を２とする。実施の形態１では、所定数を予測ベクトル候補最大数と同じ２としたが、所定数は１以上で空間候補ブロック群に含まれる候補ブロック数以下であればよく、これに限定されない。また、Ｌ０予測とＬ１予測の所定数を異なる値に設定することもできる。決定された空間予測ベクトル候補数が所定数でなければ（Ｓ１５４のＮ）、次の候補ブロックを検査する（Ｓ１５５）。決定された空間予測ベクトル候補数が所定数であれば（Ｓ１５４のＹ）、処理を終了する。
【０１０１】
ここでは、候補ブロックのＬＸ予測がスケーリング不要である条件を候補ブロックのＬＸ予測の参照インデックスが０以上であることとしたが、スケーリング不要であればよく、これに限定されない。例えば、空間予測ベクトル候補の精度を向上させるために、端子１３より供給される符号化対象ブロックのＬＸ予測の参照インデックスを予測ベクトル候補リスト生成部１３０にも供給し、候補ブロックのＬＸ予測の参照インデックスが０以上で且つ、当該符号化対象ブロックのＬＸ予測の参照インデックスと候補ブロックのＬＸ予測の参照インデックスが同一である場合などとしてもよい。空間予測ベクトル候補の生成ではスケーリング処理が不要であり、空間スケーリング予測ベクトル候補や時間予測ベクトル候補と比較して処理が簡易である。そのため、空間予測ベクトル候補の生成において、符号化対象ブロックのＬＸ予測の参照インデックスを利用しても遅延時間を抑制することができる。また、ここでは、動き補償予測の予測方向がＬＸ予測である空間予測ベクトル候補は、候補ブロックのＬＸ予測の動きベクトルとなるようにしたが、スケーリング不要であればよく、これに限定されない。例えば、候補ブロックのＬＹ予測の参照インデックスが０以上で且つ、当該符号化対象ブロックのＬＸ予測の参照インデックスと候補ブロックのＬＹ予測の参照インデックスが同一である場合に、候補ブロックのＬＹ予測の動きベクトルが空間予測ベクトル候補となるようにしてもよい。
【０１０２】
（時間予測ベクトル候補生成部１５１の構成）
続いて、時間予測ベクトル候補生成部１５１の詳細な構成について説明する。図２０は、時間予測ベクトル候補生成部１５１の構成を説明するための図である。時間予測ベクトル候補生成部１５１は、基準ベクトル決定部１７０、参照インデックス設定部１７１、およびスケーリング部１７２を含む。端子２０は予測ベクトル候補リスト確定部１５４に接続されている。
【０１０３】
（時間予測ベクトル候補生成部１５１の詳細な動作）
以下、各部の機能と動作について説明する。図２１は、時間予測ベクトル候補生成部１５１の動作を説明するためのフローチャートである。時間予測ベクトル候補生成部１５１は、動き補償予測の予測方向が単予測であれば、Ｌ０予測またはＬ１予測の時間予測ベクトル候補を０個または１個生成し、動き補償予測の予測方向が双予測であれば、Ｌ０予測およびＬ１予測のそれぞれについて時間予測ベクトル候補を０個または１個生成する。以降、時間予測ベクトル候補を生成する対象の動き補償予測の予測方向をＬＸとして説明する（Ｘは０または１）。時間予測ベクトル候補生成部１５１は、端子１２より供給される時間候補ブロック群に含まれる候補ブロックをブロックＨ、ブロックＩ６の順に以下の処理を繰り返し行う（Ｓ１６０からＳ１６６）。ここでは、処理の順序をブロックＨ、ブロックＩ６としたが、時間候補ブロック群に含まれる候補ブロックが1度処理されればよく、これに限定されない。
【０１０４】
候補ブロックが有効であるかどうか検査する（Ｓ１６１）。候補ブロックが有効であるとは候補ブロックのＬ０予測とＬ１予測の参照インデックスの少なくとも一方が０以上であることである。候補ブロックが有効であれば（Ｓ１６１のＹ）、基準ベクトル決定部１７０は、基準動きベクトルを決定する（Ｓ１６２）。候補ブロックが有効でなければ（Ｓ１６１のＮ）、ステップＳ１６２からステップＳ１６５をスキップして次の候補ブロックを検査する（Ｓ１６６）。
【０１０５】
ここで、基準動きベクトルの決定について説明する。候補ブロックの動き補償予測の予測方向がＬ０予測もしくはＬ１予測の場合には、その動き補償予測の予測方向の動きベクトルを基準動きベクトルとして選択する。候補ブロックの動き補償予測の予測方向が双予測の場合には、Ｌ０予測或いはＬ１予測のいずれか一方の動きベクトルを基準動きベクトルとして選択する。例えば、候補ブロックのＬ０予測或いはＬ１予測のいずれかの動きベクトルが処理対象画像と交差する方を基準動きベクトルとして選択してもよいし、ＣｏｌＰｉｃと同じ時間方向の動きベクトルを基準動きベクトルとして選択してもよいし、候補ブロックのＬ０予測或いはＬ１予測の参照画像のいずれかと、処理対象画像の距離が近い方の動きベクトルを基準動きベクトルとして選択してもよい。
【０１０６】
ステップＳ１６２に続いて、参照インデックス設定部１７１は、ＬＸ予測の時間予測ベクトル候補を算出するための参照画像を示す参照インデックスを所定値Ｒｅｆ＿ｉｄｘ＿ＴＳｃａｌｅに設定する（Ｓ１６３）。所定値Ｒｅｆ＿ｉｄｘ＿ＴＳｃａｌｅは、空間候補ブロックであるブロックＣ、ブロックＤ、およびブロックＥのＬＸ予測において最も多く利用される参照インデックスとする。ここでは、Ｒｅｆ＿ｉｄｘ＿ＴＳｃａｌｅとして、空間候補ブロックであるブロックＣ、ブロックＤ、およびブロックＥのＬＸ予測において最も多く利用される参照インデックスとしたが、符号化ストリームに符号化する参照インデックスでなければよく、これに限定されない。例えば、０や１のような固定値としてもよく、空間候補ブロック群のいずれかの候補ブロック（例えば、ブロックＥ）において利用される参照インデックスとしてもよい。
【０１０７】
ステップＳ１６３に続いて、スケーリング部１７２は、基準動きベクトルをスケーリングした動きベクトルを時間予測ベクトル候補として決定する（Ｓ１６４）。ステップＳ１６４に続いて、決定された時間予測ベクトル候補数が所定数であるか検査する（Ｓ１６５）。ここでは、所定数を１とする。実施の形態１では、所定数を１としたが、所定数は１以上で時間候補ブロック群に含まれる候補ブロック数以下であればよく、これに限定されない。また、Ｌ０予測とＬ１予測の所定数を異なる値に設定することもできる。決定された時間予測ベクトル候補数が所定数でなければ（Ｓ１６５のＮ）、次の候補ブロックを検査する（Ｓ１６６）。決定された空間予測ベクトル候補数が所定数であれば（Ｓ１６５のＹ）、処理を終了する。
【０１０８】
ここで、基準動きベクトルをスケーリングして時間予測ベクトル候補を算出する方法について説明する。図２２は、時間予測ベクトル候補の算出手法を説明するための図である。ＣｏｌＰｉｃと基準動きベクトルの参照画像ＣｏｌＲｅｆＰｉｃとの画像間距離をＣｏｌＤｉｓｔとし、Ｌ０予測の時間予測ベクトル候補を算出するための参照画像ＲｅｆＰｉｃＬ０と処理対象画像ＣｕｒＰｉｃとの画像間距離をＣｕｒＬ０Ｄｉｓｔ、およびＬ１予測の時間予測ベクトル候補を算出するための参照画像ＲｅｆＰｉｃＬ１と処理対象画像ＣｕｒＰｉｃとの画像間距離をＣｕｒＬ１Ｄｉｓｔとする。
【０１０９】
下記式１に従って、ｍｖＣｏｌをＣｏｌＤｉｓｔとＣｕｒＬ０Ｄｉｓｔ、ＣｕｒＬ１Ｄｉｓｔの距離比率でスケーリングした動きベクトルを時間予測ベクトル候補とする。ｍｖＬ０ｔはＬ０予測の時間予測ベクトル候補、ｍｖＬ１ｔはＬ１予測の時間予測ベクトル候補である。ここで、画像間距離の算出はＰＯＣを用いて行われ、正負の符号を有する。なお、除算は四捨五入で行われる。
ｍｖＬ０ｔ＝ｍｖＣｏｌ×ＣｕｒＬ０Ｄｉｓｔ／ＣｏｌＤｉｓｔ
ｍｖＬ１ｔ＝ｍｖＣｏｌ×ＣｕｒＬ１Ｄｉｓｔ／ＣｏｌＤｉｓｔ    ・・・（式１）
【０１１０】
なお、図２２のＣｏｌＰｉｃ、ＣｏｌＲｅｆＰｉｃ、ＲｅｆＰｉｃＬ０、およびＲｅｆＰｉｃＬ１の時間関係は一例であってこれ以外の時間関係であってもよい。
【０１１１】
以上のように、時間予測ベクトル候補を算出するための参照画像として、符号化ストリーム中に符号化する参照インデックスに依存しない参照画像を設定することで、復号側において、参照インデックスを復号する前、より具体的には予測ブロックサイズが決定した直後に時間予測ベクトル候補を生成することが可能となる。一方、従来の技術では、特にＬ１予測に関しては、マージフラグ、マージインデックス、インター予測モード、Ｌ０予測の参照インデックス、Ｌ０予測の差分ベクトル、Ｌ０予測の予測ベクトルインデックス、Ｌ１予測の参照インデックスを全て復号してからでなければ、時間予測ベクトル候補を生成することができなかった。さらに、これらシンタックス要素が可変長符号化を含む場合には、シンタックス要素の復号を並列処理することは困難であるため、Ｌ１予測の予測ベクトル候補の生成遅延を短縮することが困難であった。なお、動き補償予測において利用される参照画像は、符号化ストリーム中に符号化する参照インデックスで示される参照画像となる。
【０１１２】
（空間スケーリング予測ベクトル候補生成部１５２の構成）
続いて、空間スケーリング予測ベクトル候補生成部１５２の詳細な構成について説明する。図２３は、空間スケーリング予測ベクトル候補生成部１５２の構成を説明するための図である。空間スケーリング予測ベクトル候補生成部１５２は、基準ベクトル決定部１７５、参照インデックス設定部１７６、およびスケーリング部１７７を含む。
【０１１３】
（空間スケーリング予測ベクトル候補生成部１５２の詳細な動作）
引き続いて、空間スケーリング予測ベクトル候補生成部１５２の詳細な動作について説明する。図２４は、空間スケーリング予測ベクトル候補生成部１５２の動作を説明するためのフローチャートである。空間スケーリング予測ベクトル候補生成部１５２は、動き補償予測の予測方向が単予測であれば、Ｌ０予測またはＬ１予測の空間スケーリング予測ベクトル候補を０個から１個生成し、動き補償予測の予測方向が双予測であれば、Ｌ０予測およびＬ１予測のそれぞれについて空間スケーリング予測ベクトル候補を０個から１個生成する。以降、空間スケーリング予測ベクトル候補を生成する対象の動き補償予測の予測方向をＬＸとして説明する（Ｘは０または１）。空間スケーリング予測ベクトル候補生成部１５２は、端子１２より供給される空間候補ブロック群に含まれる候補ブロックをブロックＡ１、ブロックＢ１、ブロックＣ、ブロックＥ、ブロックＤの順に以下の処理を繰り返し行う（Ｓ１７０からＳ１７６）。ここでは、処理の順序を後述する空間結合動き情報候補生成部１６０と同じ処理の順序であるブロックＡ１、ブロックＢ１、ブロックＣ、ブロックＥ、ブロックＤとしたが、空間予測ベクトル候補生成部１５０の処理の順序と異なっていればよく、これに限定されない。例えば、空間予測ベクトル候補生成部１５０の処理の順序の逆順としてもよい。
【０１１４】
候補ブロックのＬＹ予測がスケーリング必要であるかどうか検査する（Ｓ１７１）。Ｙは１−Ｘである。候補ブロックのＬＹ予測がスケーリング必要であるとは候補ブロックのＬＹ予測の参照インデックスが０以上であることである。候補ブロックのＬＹ予測がスケーリング必要であれば（Ｓ１７１のＹ）、基準ベクトル決定部１７５は、基準動きベクトルを決定する（Ｓ１７２）。基準動きベクトルは候補ブロックのＬＹ予測の動きベクトルとする。候補ブロックがスケーリング必要でなければ（Ｓ１７１のＮ）、ステップＳ１７２からステップＳ１７５をスキップして次の候補ブロックを検査する（Ｓ１７６）。
【０１１５】
ステップＳ１７２に続いて、参照インデックス設定部１７６は、ＬＸ予測の空間予測ベクトル候補を算出するための参照画像を示す参照インデックスを所定値Ｒｅｆ＿ｉｄｘ＿ＳＳｃａｌｅに設定する（Ｓ１７３）。所定値Ｒｅｆ＿ｉｄｘ＿ＳＳｃａｌｅは、空間候補ブロックであるブロックＣ、ブロックＤ、およびブロックＥのＬＸ予測において最も多く利用される参照インデックスとする。ここでは、Ｒｅｆ＿ｉｄｘ＿ＳＳｃａｌｅとして、空間候補ブロックであるブロックＣ、ブロックＤ、およびブロックＥのＬＸ予測において最も多く利用される参照インデックスとしたが、符号化ストリームに符号化する参照インデックスでなければよく、これに限定されない。例えば、０や１のような固定値としてもよく、空間候補ブロック群のいずれかの候補ブロック（例えば、ブロックＥ）において利用される参照インデックスとしてもよい。
【０１１６】
ステップＳ１７３に続いて、スケーリング部１７７は、基準動きベクトルをスケーリングした動きベクトルを空間スケーリング予測ベクトル候補として決定する（Ｓ１７４）。ステップＳ１７４に続いて、決定された空間スケーリング予測ベクトル候補数が所定数であるか検査する（Ｓ１７５）。ここでは、所定数を１とする。実施の形態１では、所定数を１としたが、所定数は１以上で空間候補ブロック群に含まれる候補ブロック数以下であればよく、これに限定されない。また、Ｌ０予測とＬ１予測の所定数を異なる値に設定することもできる。決定された空間スケーリング予測ベクトル候補数が所定数でなければ（Ｓ１７５のＮ）、次の候補ブロックを検査する（Ｓ１７６）。決定された空間スケーリング予測ベクトル候補数が所定数であれば（Ｓ１７５のＹ）、処理を終了する。
【０１１７】
ここでは、動き補償予測の予測方向がＬＸ予測である空間スケーリング予測ベクトル候補は、候補ブロックのＬＹ予測の動きベクトルが基準動きベクトルとなるようにしたが、基準ベクトルを決定できればよく、これに限定されない。例えば、候補ブロックのＬＸ予測の動きベクトルが基準動きベクトルとなるようにしてもよい。
【０１１８】
ここで、基準動きベクトルをスケーリングして空間スケーリング予測ベクトル候補を算出する方法について説明する。図２５は、空間スケーリング予測ベクトル候補の算出手法を説明するための図である。Ｌ０予測の基準動きベクトルｍｖＬ０ｂの参照画像ＲｅｆＰｉｃＬ０ｂと処理対象画像ＣｕｒＰｉｃとの画像間距離をｃｕｒＬ０ｂＤｉｓｔ、Ｌ０予測の空間スケーリング予測ベクトル候補を算出するための参照画像ＲｅｆＰｉｃＬ０ｓと処理対象画像ＣｕｒＰｉｃとの画像間距離をＣｕｒＬ０ｓＤｉｓｔとし、Ｌ１予測の基準動きベクトルｍｖＬ１ｂの参照画像ＲｅｆＰｉｃＬ１ｂと処理対象画像ＣｕｒＰｉｃとの画像間距離をｃｕｒＬ１ｂＤｉｓｔ、Ｌ１予測の空間スケーリング予測ベクトル候補を算出するための参照画像ＲｅｆＰｉｃＬ１ｓと処理対象画像ＣｕｒＰｉｃとの画像間距離をＣｕｒＬ１ｓＤｉｓｔとする。
【０１１９】
下記式２に従って、ｍｖＬ０ｂをｃｕｒＬ０ｂＤｉｓｔとＣｕｒＬ０ｓＤｉｓｔとの距離比率でスケーリングした動きベクトルｍｖＬ０ｓを、Ｌ０予測の空間スケーリング予測ベクトル候補とし、ｍｖＬ１ｂをｃｕｒＬ１ｂＤｉｓｔとＣｕｒＬ１ｓＤｉｓｔとの距離比率でスケーリングした動きベクトルｍｖＬ１ｓを、Ｌ１予測の空間スケーリング予測ベクトル候補とする。ここで、画像間距離の算出はＰＯＣを用いて行われ、正負の符号を有する。なお、除算は四捨五入で行われる。
ｍｖＬ０ｓ＝ｍｖＬ０ｂ×ＣｕｒＬ０ｓＤｉｓｔ／ＣｕｒＬ０ｂＤｉｓｔ
ｍｖＬ１ｓ＝ｍｖＬ１ｂ×ＣｕｒＬ１ｓＤｉｓｔ／ＣｕｒＬ１ｂＤｉｓｔ    ・・・（式２）
【０１２０】
なお、図２５のＣｕｒＰｉｃ、ＲｅｆＰｉｃＬ０ｂ、ＲｅｆＰｉｃＬ０ｓ、ＲｅｆＰｉｃＬ１ｂ、およびＲｅｆＰｉｃＬ１ｓの時間関係は一例であってこれ以外の時間関係であってもよい。
【０１２１】
以上のように、空間スケーリング予測ベクトル候補を算出するための参照画像として、符号化ストリーム中に符号化する参照インデックスに依存しない参照画像を設定することで、復号側において、参照インデックスを復号する前、より具体的には予測ブロックサイズが決定した直後に空間スケーリング予測ベクトル候補を生成することが可能となる。一方、従来の技術では、特にＬ１予測に関しては、マージフラグ、マージインデックス、インター予測モード、Ｌ０予測の参照インデックス、Ｌ０予測の差分ベクトル、Ｌ０予測の予測ベクトルインデックス、Ｌ１予測の参照インデックスを全て復号してからでなければ、空間予測ベクトル候補を生成することができなかった。さらに、これらシンタックス要素が可変長符号化を含む場合には、シンタックス要素の復号を並列処理することは困難であるため、Ｌ１予測の予測ベクトル候補の生成遅延を短縮することが困難であった。なお、動き補償予測において利用される参照画像は、符号化ストリーム中に符号化する参照インデックスで示される参照画像となる。
【０１２２】
以上のように、空間予測ベクトル候補生成部１５０の候補ブロックの処理順序と空間スケーリング予測ベクトル候補生成部１５２の候補ブロックの処理順序を異なる順序とすることで、空間スケーリング予測ベクトル候補の対象となる候補ブロックが、空間予測ベクトル候補の対象となる候補ブロックとは異なる候補ブロックとなる確率を上げることできる。そのため、例えば、等速運動しているような動画像で、予測方向が双方向である候補ブロックのＬ０予測とＬ１予測の動きベクトルが対称性を有するような場合に、空間スケーリング予測ベクトル候補と空間予測ベクトル候補が重複するのを回避して空間スケーリング予測ベクトル候補の有効性を高めることができる。一方、従来の技術では、空間予測ベクトル候補生成部１５０の候補ブロックの処理順序と空間スケーリング予測ベクトル候補生成部１５２の候補ブロックの処理順序を同一とし、空間予測ベクトル候補を空間予測ベクトル候補の代替候補として利用している。そのため一般的な動画像に見られるような等速運動の場合に、空間スケーリング予測ベクトル候補は空間予測ベクトル候補と重複する可能性があるため、図１９のステップＳ１５２を設置するなどして、空間スケーリング予測ベクトル候補と空間予測ベクトル候補が重複するのを回避する必要があった。
【０１２３】
（予測ベクトル候補リストの確定の詳細な動作）
引き続いて、予測ベクトル候補リストの確定の詳細な動作について説明する。図２６は、予測ベクトル候補リストの確定の動作を説明するためのフローチャートである。予測ベクトル候補リスト確定部１５４は、空間予測ベクトル候補を予測ベクトル候補リストに追加する（Ｓ１８０）。予測ベクトル候補リストの予測ベクトル候補数が予測ベクトル候補最大数であるか検査する（Ｓ１８１）。予測ベクトル候補リストの予測ベクトル候補数が予測ベクトル候補最大数であれば（Ｓ１８１のＹ）、予測ベクトル候補リストを確定し、ステップＳ１８２からステップＳ１８８をスキップして処理を終了する。予測ベクトル候補リストの予測ベクトル候補数が予測ベクトル候補最大数でなければ（Ｓ１８１のＮ）、時間予測ベクトル候補を予測ベクトル候補リストに追加する（Ｓ１８２）。ステップＳ１８２に続いて、予測ベクトル候補リストに同一の予測ベクトル候補が複数存在するか検査し、複数存在する場合には最初の予測ベクトル候補を残して残りを削除する（Ｓ１８３）。
【０１２４】
ステップＳ１８３に続いて、予測ベクトル候補リストの予測ベクトル候補数が予測ベクトル候補最大数であるか検査する（Ｓ１８４）。予測ベクトル候補リストの予測ベクトル候補数が予測ベクトル候補最大数であれば（Ｓ１８４のＹ）、予測ベクトル候補リストを確定し、ステップＳ１８５からステップＳ１８８をスキップして処理を終了する。予測ベクトル候補リストの予測ベクトル候補数が予測ベクトル候補最大数でなければ（Ｓ１８４のＮ）、空間スケーリング予測ベクトル候補を予測ベクトル候補リストに追加する（Ｓ１８５）。ステップＳ１８５に続いて、予測ベクトル候補リストに同一の予測ベクトル候補が複数存在するか検査し、複数存在する場合には最初の予測ベクトル候補を残して残りを削除する（Ｓ１８６）。
【０１２５】
ステップＳ１８６に続いて、予測ベクトル候補リストの予測ベクトル候補数が予測ベクトル候補最大数であるか検査する（Ｓ１８７）。予測ベクトル候補リストの予測ベクトル候補数が予測ベクトル候補最大数であれば（Ｓ１８７のＹ）、予測ベクトル候補リストを確定し、ステップＳ１８８をスキップして処理を終了する。予測ベクトル候補リストの予測ベクトル候補数が予測ベクトル候補最大数でなければ（Ｓ１８７のＮ）、予測ベクトル補充候補を予測ベクトル候補リストに追加して（Ｓ１８８）、予測ベクトル候補リストを確定して処理を終了する。
【０１２６】
一般的に空間予測ベクトル候補が有効となるのは、処理対象ブロックと空間候補ブロックが同じ動きをしている場合である。また、時間予測ベクトル候補が有効となるのは、処理対象ブロックと時間候補ブロックが静止状態に近い状態にある場合である。なお、空間スケーリング予測ベクトル候補が有効となるのは、予測方向が反対の動きベクトルの精度が高い場合に限られる。よって、一般的な動画像においては、予測ベクトル候補として信頼度の高い順序は空間予測ベクトル候補、時間予測ベクトル候補、空間スケーリング予測ベクトル候補、予測ベクトル補充候補の順となる。ところが、従来の技術では、空間予測ベクトル候補と空間スケーリング予測ベクトル候補に依存関係があるため、空間予測ベクトル候補と空間スケーリング予測ベクトル候補の順序が順不同になっていた。
【０１２７】
以上のように、空間予測ベクトル候補と空間スケーリング予測ベクトル候補の依存関係をなくし、予測ベクトル候補として相対的に選択率の高い順序である空間予測ベクトル候補、時間予測ベクトル候補、空間スケーリング予測ベクトル候補、予測ベクトル補充候補の順に予測ベクトル候補リストに追加することで、予測ベクトルインデックスの符号量を抑制することができる。
【０１２８】
（マージモード決定部１２１の構成）
続いて、マージモード決定部１２１の詳細な構成について説明する。図２７は、マージモード決定部１２１の構成を説明するための図である。マージモード決定部１２１は、結合動き情報候補リスト生成部１４０および結合動き情報選択部１４１を含む。結合動き情報候補リスト生成部１４０は、実施の形態１に係る動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて矛盾のない結合動き情報リストが生成される。
【０１２９】
（マージモード決定部１２１の動作）
以下、各部の機能と動作について説明する。図２８は、マージモード決定部１２１の動作を説明するためのフローチャートである。結合動き情報候補リスト生成部１４０は、端子１２より供給される候補ブロック群からマージ候補最大数の結合動き情報候補を含む結合動き情報候補リストを生成し（Ｓ１３０）、当該結合動き情報候補リストを結合動き情報選択部１４１に供給する。結合動き情報候補リスト生成部１４０の詳細な構成については後述する。
【０１３０】
結合動き情報選択部１４１は、結合動き情報候補リスト生成部１４０より供給される結合動き情報候補リストの中から、最適な結合動き情報候補を選択し、選択された結合動き情報候補を示す情報であるマージインデックスを決定して（Ｓ１３１）、当該マージインデックスを端子１７に供給する。
【０１３１】
ここで、最適な結合動き情報候補の選択方法について説明する。結合動き情報候補の予測方向、動きベクトルおよび参照インデックスに基づいて得られる端子１４より供給される参照画像と、端子１５より供給される画像信号とから予測誤差量が算出される。マージインデックスの符号量と、当該予測誤差量とからレート歪み評価値が算出されて、レート歪み評価値が最小となる結合動き情報候補が最適な結合動き情報候補として選択される。
【０１３２】
（結合動き情報候補リスト生成部１４０に供給される候補ブロック群）
ここで、結合動き情報候補リスト生成部１４０に供給される候補ブロック群は、予測ベクトル候補リスト生成部１３０に供給される候補ブロック群と同じとする。ここでは、結合動き情報候補リスト生成部１４０に供給される候補ブロック群は、予測ベクトル候補リスト生成部１３０に供給される候補ブロック群と同じとしたが、結合動き情報候補リスト生成部１４０に供給される空間候補ブロック群は予測ベクトル候補リスト生成部１３０に供給される空間候補ブロック群と少なくとも１以上の同じ候補ブロックを含んでいればよく、ブロックの数や位置はこれらに限定されない。また、結合動き情報候補リスト生成部１４０に供給される時間候補ブロック群は、予測ベクトル候補リスト生成部１３０に供給される時間候補ブロック群と少なくとも１以上の同じ候補ブロックを含んでいればよく、ブロックの数や位置はこれらに限定されない。
【０１３３】
（結合動き情報候補リスト生成部１４０の構成）
続いて、結合動き情報候補リスト生成部１４０の詳細な構成について説明する。図２９は、結合動き情報候補リスト生成部１４０の構成を説明するための図である。端子１９は結合動き情報選択部１４１に接続されている。結合動き情報候補リスト生成部１４０は、空間結合動き情報候補生成部１６０、時間結合動き情報候補生成部１６１、空間スケーリング結合動き情報候補生成部１６２、結合動き情報候補補充部１６３、および結合動き情報候補リスト確定部１６４を含む。
【０１３４】
（結合動き情報候補リスト生成部１４０の動作）
以下、各部の機能と動作について説明する。図３０は、結合動き情報候補リスト生成部１４０の動作を説明するためのフローチャートである。空間結合動き情報候補生成部１６０は、端子１２より供給される候補ブロック群から空間結合動き情報候補を０個から２個生成し（Ｓ１９０）、当該空間結合動き情報候補を結合動き情報候補リスト確定部１６４に供給する。空間結合動き情報候補生成部１６０の詳細な動作については後述する。
【０１３５】
時間結合動き情報候補生成部１６１は、端子１２より供給される候補ブロック群から時間結合動き情報候補を０個または１個生成し（Ｓ１９１）、当該時間結合動き情報候補を結合動き情報候補リスト確定部１６４に供給する。時間結合動き情報候補生成部１６１の詳細な動作については後述する。
【０１３６】
空間スケーリング結合動き情報候補生成部１６２は、端子１２より供給される候補ブロック群から空間スケーリング結合動き情報候補を０個または１個生成し（Ｓ１９２）、当該空間スケーリング結合動き情報候補を結合動き情報候補リスト確定部１６４に供給する。空間スケーリング結合動き情報候補生成部１６２の詳細な動作については後述する。
【０１３７】
結合動き情報候補リスト確定部１６４は、マージ候補最大数から、空間結合動き情報候補および時間結合動き情報候補を合計した結合動き情報候補数を減算して結合動き情報補充候補数を算出し（Ｓ１９３）、当該結合動き情報補充候補数、ならびに空間結合動き情報候補、時間結合動き情報候補、および空間スケーリング動き情報候補を結合動き情報候補補充部１６３に供給する。なお、算出された結合動き情報補充候補数が０未満の場合には、結合動き情報補充候補数は０とする。
【０１３８】
結合動き情報候補補充部１６３は、結合動き情報候補リスト確定部１６４より供給される空間結合動き情報候補、時間結合動き情報候補、および空間スケーリング動き情報候補から結合動き情報補充候補数だけ結合動き情報補充候補を生成し（Ｓ１９４）、当該結合動き情報補充候補を結合動き情報候補リスト確定部１６４に供給する。結合動き情報補充候補は、動き補償予測の方向が双方向、Ｌ０予測およびＬ１予測の動きベクトルが（０，０）、Ｌ０予測およびＬ１予測の参照インデックスが０である動き情報とする。ここでは、結合動き情報補充候補を動き補償予測の方向が双方向、Ｌ０予測およびＬ１予測の動きベクトルが（０，０）、Ｌ０予測およびＬ１予測の参照インデックスが０である動き情報としたが、空間結合動き情報候補、時間結合動き情報候補、空間スケーリング結合動き情報候補と異なる動き情報であればよく、これに限定されない。例えば、異なる２つの候補ブロックのＬ０予測の動き情報とＬ１予測の動き情報を組み合わせた双結合動き情報候補を追加することもできる。
【０１３９】
結合動き情報候補リスト確定部１６４は、結合動き情報候補リストの結合動き情報候補数がマージ候補最大数に達するまで、空間結合動き情報候補、時間結合動き情報候補、空間スケーリング結合動き情報候補、結合動き情報補充候補を順次、結合動き情報候補リストに追加して結合動き情報候補リストを確定する（Ｓ１９５）。結合動き情報候補リストの確定の詳細な動作については後述する。
【０１４０】
（空間結合動き情報候補生成部１６０の詳細な動作）
引き続いて、空間結合動き情報候補生成部１６０の詳細な動作について説明する。図３１は、空間結合動き情報候補生成部１６０の動作を説明するためのフローチャートである。空間結合動き情報候補生成部１６０は、空間結合動き情報候補を０個から２個生成する。空間結合動き情報候補生成部１６０は、端子１２より供給される空間候補ブロック群に含まれる候補ブロックをブロックＡ１、ブロックＢ１、ブロックＣ、ブロックＥ、ブロックＤの順に以下の処理を繰り返し行う（Ｓ２００からＳ２０４）。ここでは、処理の順序をブロックＡ１、ブロックＢ１、ブロックＣ、ブロックＥ、ブロックＤとしたが、空間候補ブロック群に含まれる候補ブロックが多くとも１回処理されればよく、これに限定されない。例えば、空間予測ベクトル候補生成部１５０の処理の順序と同一にすることもできる。
【０１４１】
候補ブロックが有効であるかどうか検査する（Ｓ２０１）。候補ブロックが有効であるとは候補ブロックのＬ０予測とＬ１予測の参照インデックスの少なくとも一方が０以上であることである。候補ブロックが有効であれば（Ｓ２０１のＹ）、候補ブロックの動き情報を空間結合動き情報候補として決定する（Ｓ２０２）。候補ブロックが有効でなければ（Ｓ２０１のＮ）、ステップＳ２０２とステップＳ２０３をスキップして次の候補ブロックを検査する（Ｓ２０４）。ステップＳ２０２に続いて、空間結合動き情報候補数が所定数であるか検査する（Ｓ２０３）。ここでは、所定数を４とする。実施の形態１では、所定数を４としたが、所定数は１以上で空間候補ブロック群に含まれる候補ブロック数以下であればよく、これに限定されない。決定された空間結合動き情報候補数が所定数でなければ（Ｓ２０３のＮ）、次の候補ブロックを検査する（Ｓ２０４）。決定された空間結合動き情報候補数が所定数であれば（Ｓ２０３のＹ）、処理を終了する。
【０１４２】
（時間結合動き情報候補生成部１６１の構成）
続いて、時間結合動き情報候補生成部１６１の詳細な構成について説明する。図３２は、時間結合動き情報候補生成部１６１の構成を説明するための図である。時間結合動き情報候補生成部１６１は、予測方向設定部１８０、時間予測ベクトル候補生成部１５１、および時間結合動き情報候補確定部１８１を含む。端子２１は結合動き情報候補リスト確定部１６４に接続されている。
【０１４３】
（時間結合動き情報候補生成部１６１の詳細な動作）
以下、各部の機能と動作について説明する。図３３は、時間結合動き情報候補生成部１６１の動作を説明するためのフローチャートである。予測方向設定部１８０は、時間結合動き情報候補の予測方向を双予測に設定する（Ｓ２１０）。次に、時間予測ベクトル候補生成部１５１は、時間結合動き情報候補のＬ０予測の動きベクトルを算出する（Ｓ２１１）。次に、時間予測ベクトル候補生成部１５１は、時間結合動き情報候補のＬ１予測の動きベクトルを算出する（Ｓ２１２）。次に、時間結合動き情報候補確定部１８１は、Ｌ０予測の参照インデックスを所定値Ｒｅｆ＿ｉｄｘ＿ＴＳｃａｌｅ、Ｌ１予測の参照インデックスを所定値Ｒｅｆ＿ｉｄｘ＿ＴＳｃａｌｅに設定して、双方向の予測方向、当該Ｌ０予測の動きベクトル、当該Ｌ１予測の動きベクトル、当該Ｌ０予測の参照インデックス、当該Ｌ１予測の参照インデックスである時間結合動き情報候補を確定し（Ｓ２１３）、当該時間結合動き情報候補を端子２１に供給する。
【０１４４】
以上のように、時間結合動き情報候補の動きベクトルの算出と時間予測ベクトル候補の動きベクトルの算出を同一にすることで、マージモードと予測ベクトルモードのスケーリングの演算部の共用を容易にすることが可能となる。スケーリングの演算部を共用した場合であっても、算出されたＬ０予測の動きベクトルとＬ１予測の動きベクトルの両方を利用するか、Ｌ０予測の動きベクトルとＬ１予測の動きベクトルのいずれか一方を利用するかによって、マージモードと予測ベクトルモードの符号化効率の高い方を選択することができる。
【０１４５】
（空間スケーリング結合動き情報候補生成部１６２の構成）
続いて、空間スケーリング結合動き情報候補生成部１６２の詳細な構成について説明する。図３４は、空間スケーリング結合動き情報候補生成部１６２の構成を説明するための図である。空間スケーリング結合動き情報候補生成部１６２は、予測方向設定部１８５、空間スケーリング予測ベクトル候補生成部１５２、および空間スケーリング結合動き情報候補確定部１８６を含む。
【０１４６】
（空間スケーリング結合動き情報候補生成部１６２の詳細な動作）
以下、各部の機能と動作について説明する。図３５は、空間スケーリング結合動き情報候補生成部１６２の動作を説明するためのフローチャートである。予測方向設定部１８５は、空間スケーリング結合動き情報候補の予測方向を双予測に設定する（Ｓ２２０）。次に、空間スケーリング予測ベクトル候補生成部１５２は、空間スケーリング結合動き情報候補のＬ０予測の動きベクトルを算出する（Ｓ２２１）。次に、空間スケーリング予測ベクトル候補生成部１５２は、空間スケーリング結合動き情報候補のＬ１予測の動きベクトルを算出する（Ｓ２２２）。次に、空間スケーリング結合動き情報候補確定部１８６は、Ｌ０予測の参照インデックスを所定値Ｒｅｆ＿ｉｄｘ＿ＳＳｃａｌｅ、Ｌ１予測の参照インデックスを所定値Ｒｅｆ＿ｉｄｘ＿ＳＳｃａｌｅに設定して、双方向の予測方向、当該Ｌ０予測の動きベクトル、当該Ｌ１予測の動きベクトル、当該Ｌ０予測の参照インデックス、当該Ｌ１予測の参照インデックスである空間スケーリング結合動き情報候補を確定し（Ｓ２２３）、当該空間スケーリング結合動き情報候補を端子２１に供給する。
【０１４７】
以上のように、空間スケーリング結合動き情報候補の動きベクトルの算出と空間スケーリング予測ベクトル候補の動きベクトルの算出を同一にすることで、マージモードと予測ベクトルモードのスケーリングの演算部の共用を容易にすることが可能となる。スケーリングの演算部を共用した場合であっても、算出されたＬ０予測の動きベクトルとＬ１予測の動きベクトルの両方を利用するか、Ｌ０予測の動きベクトルとＬ１予測の動きベクトルのいずれか一方を利用するかによって、マージモードと予測ベクトルモードの符号化効率の高い方を選択することができる。
【０１４８】
（結合動き情報候補リストの確定の詳細な動作）
引き続いて、結合動き情報候補リストの確定の詳細な動作について説明する。図３６は、結合動き情報候補リストの確定の動作を説明するためのフローチャートである。結合動き情報候補リスト確定部１６４は、空間結合動き情報候補を結合動き情報候補リストに追加する（Ｓ２３０）。次に、時間結合動き情報候補を結合動き情報候補リストに追加する（Ｓ２３１）。次に、結合動き情報候補リストに同一の結合動き情報候補が複数存在するか検査し、複数存在する場合には最初の結合動き情報候補を残して残りを削除する（Ｓ２３２）。次に、結合動き情報候補リストの結合動き情報候補数がマージ候補最大数であるか検査する（Ｓ２３３）。結合動き情報候補リストの結合動き情報候補数がマージ候補最大数であれば（Ｓ２３３のＹ）、結合動き情報候補リストを確定し、ステップＳ２３４からステップＳ２３７をスキップして処理を終了する。結合動き情報候補リストの結合動き情報候補数がマージ候補最大数でなければ（Ｓ２３３のＮ）、空間スケーリング結合動き情報候補を結合動き情報候補リストに追加する（Ｓ２３４）。ステップＳ２３４に続いて、結合動き情報候補リストに同一の結合動き情報候補が複数存在するか検査し、複数存在する場合には最初の結合動き情報候補を残して残りを削除する（Ｓ２３５）。ステップＳ２３５に続いて、結合動き情報候補リストの結合動き情報候補数がマージ候補最大数であるか検査する（Ｓ２３６）。結合動き情報候補リストの結合動き情報候補数がマージ候補最大数であれば（Ｓ２３６のＹ）、結合動き情報候補リストを確定し、ステップＳ２３７をスキップして処理を終了する。結合動き情報候補リストの結合動き情報候補数がマージ候補最大数でなければ（Ｓ２３６のＮ）、結合動き情報補充候補を結合動き情報候補リストに追加して（Ｓ２３７）、結合動き情報候補リストを確定して処理を終了する。
【０１４９】
（動画像復号装置２００の構成）
次に、実施の形態１の動画像復号装置を説明する。図３７は、実施の形態１の動画像復号装置２００を示す。動画像復号装置２００は、動画像符号化装置１００により符号化された符号列を復号して再生画像を生成する装置である。
【０１５０】
動画像復号装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像復号装置２００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。なお、復号対象の予測ブロックの位置情報、予測ブロックサイズに関しては動画像復号装置２００内で共有していることとし、図示しない。
【０１５１】
実施の形態１の動画像復号装置２００は、符号列解析部２０１、予測誤差復号部２０２、加算部２０３、動き情報再生部２０４、動き補償部２０５、フレームメモリ２０６および動き情報メモリ２０７を備える。
【０１５２】
（動画像復号装置２００の動作）
以下、各部の機能と動作について説明する。図３８は、動画像復号装置２００の動作を説明するためのフローチャートである。符号列解析部２０１は、端子３０より供給された符号列を解析して予測誤差符号化データ、マージフラグ、マージインデックス、動き補償予測の予測方向、参照インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従ってエントロピー復号する（Ｓ２９０）。エントロピー復号は算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。そして、当該予測誤差符号化データを予測誤差復号部２０２に、当該マージフラグ、当該マージインデックス、当該動き補償予測の予測方向、当該参照インデックス、当該差分ベクトル、および当該予測ベクトルインデックスを動き情報再生部２０４に供給する。
【０１５３】
動き情報再生部２０４は、符号列解析部２０１より供給されるマージフラグ、マージインデックス、動き補償予測の予測方向、参照インデックス、差分ベクトル、および予測ベクトルインデックスと、動き情報メモリ２０７より供給される候補ブロック群から、動き情報を再生し（Ｓ２９１）、当該動き情報を動き補償部２０５および動き情報メモリ２０７に供給する。動き情報再生部２０４の詳細な構成については後述する。
【０１５４】
動き補償部２０５は、動き情報再生部２０４より供給される動き情報に基づいて、フレームメモリ２０６内の参照インデックスが示す参照画像を、動きベクトルに基づき動き補償して予測信号を生成する（Ｓ２９２）。予測方向が双予測であれば、Ｌ０予測とＬ１予測の予測信号を平均したものを予測信号として生成し、当該予測信号を加算部２０３に供給する。
【０１５５】
予測誤差復号部２０２は、符号列解析部２０１より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し（Ｓ２９３）、当該予測誤差信号を加算部２０３に供給する。
【０１５６】
加算部２０３は、予測誤差復号部２０２より供給される予測誤差信号と、動き補償部２０５より供給される予測信号とを加算して復号画像信号を生成し（Ｓ２９４）、当該復号画像信号をフレームメモリ２０６および端子３１に供給する。
【０１５７】
フレームメモリ２０６および動き情報メモリ２０７は、動画像符号化装置１００のフレームメモリ１１０および動き情報メモリ１１１と同一の機能を有する。フレームメモリ２０６は、加算部２０３より供給される復号画像信号を記憶する（Ｓ２９５）。動き情報メモリ２０７は、動き情報再生部２０４より供給される動き情報を最小の予測ブロックサイズ単位で記憶する（Ｓ２９６）。
【０１５８】
（動き情報再生部２０４の詳細な構成）
続いて、動き情報再生部２０４の詳細な構成について説明する。図３９は、動き情報再生部２０４の構成を示す。動き情報再生部２０４は、符号化モード判定部２１０、動きベクトル再生部２１１および結合動き情報再生部２１２を含む。端子３２は符号列解析部２０１に、端子３３は動き情報メモリ２０７に、端子３４は動き補償部２０５にそれぞれ接続されている。
【０１５９】
（動き情報再生部２０４の詳細な動作）
以下、各部の機能と動作について説明する。符号化モード判定部２１０は、符号列解析部２０１より供給されるマージフラグが「０」であれるか「１」であるか判定する。マージフラグが「０」であれば、符号列解析部２０１より供給される動き補償予測の予測方向、参照インデックス、差分ベクトル、および予測ベクトルインデックスを動きベクトル再生部２１１に供給する。マージフラグが「１」であれば、符号列解析部２０１より供給されるマージインデックスを結合動き情報再生部２１２に供給する。
【０１６０】
動きベクトル再生部２１１は、符号化モード判定部２１０より供給される動き補償予測の予測方向、参照インデックス、差分ベクトル、および予測ベクトルインデックスと、端子３３より供給される候補ブロック群から、動き情報を再生して端子３４に供給する。動きベクトル再生部２１１の詳細については後述する。
【０１６１】
結合動き情報再生部２１２は、符号化モード判定部２１０より供給されるマージインデックスと、端子３３より供給される候補ブロック群から、動き情報を再生して端子３４に供給する。結合動き情報再生部２１２の詳細な構成については後述する。
【０１６２】
（動きベクトル再生部２１１の詳細な構成）
続いて、動きベクトル再生部２１１の詳細な構成について説明する。図４０は、動きベクトル再生部２１１の構成を示す。動きベクトル再生部２１１は、予測ベクトル候補リスト生成部２２０、予測ベクトル決定部２２１および加算部２２２を含む。端子３５は符号化モード判定部２１０に接続されている。
【０１６３】
（動きベクトル再生部２１１の詳細な動作）
以下、各部の機能と動作について説明する。図４１は、動きベクトル再生部２１１の動作を説明するためのフローチャートである。動きベクトル再生部２１１は、動き補償予測の予測方向がＬ０予測であれば、Ｌ０予測について以下の処理を行い、動き補償予測の予測方向がＬ１予測であれば、Ｌ１予測について以下の処理を行い、動き補償予測の予測方向がＢＩ予測であれば、Ｌ０予測とＬ１予測について以下の処理を行う。
【０１６４】
予測ベクトル候補リスト生成部２２０は、動画像符号化装置１００の予測ベクトル候補リスト生成部１３０と同一の機能を有し、動画像符号化装置１００の予測ベクトル候補リスト生成部１３０と同一の動作によって予測ベクトル候補リストを生成し（Ｓ３００）、当該予測ベクトル候補リストを予測ベクトル決定部２２１に供給する。
【０１６５】
予測ベクトル決定部２２１は、予測ベクトル候補リスト生成部２２０より供給される予測ベクトル候補リストの中から、端子３５より供給される予測ベクトルインデックスで示される予測ベクトル候補を選択して予測ベクトルを決定し（Ｓ３０１）、当該予測ベクトルを加算部２２２に供給する。
【０１６６】
加算部２２２は、端子３５より供給される差分ベクトルと、予測ベクトル決定部２２１より供給される予測ベクトルとを加算して動きベクトルを算出し（Ｓ３０２）、当該動きベクトルを端子３４に供給する。
【０１６７】
（結合動き情報再生部２１２の詳細な構成）
続いて、結合動き情報再生部２１２の詳細な構成について説明する。図４２は、結合動き情報再生部２１２の構成を示す。結合動き情報再生部２１２は、結合動き情報候補生成部２３０および結合動き情報選択部２３１を含む。
【０１６８】
（結合動き情報再生部２１２の詳細な動作）
以下、各部の機能と動作について説明する。図４３は、結合動き情報再生部２１２の動作を説明するためのフローチャートである。結合動き情報候補生成部２３０は動画像符号化装置１００の結合動き情報候補リスト生成部１４０と同一の機能を有し、動画像符号化装置１００の結合動き情報候補リスト生成部１４０と同一の動作によって結合動き情報候補リストを生成し（Ｓ３１０）、当該結合動き情報候補リストを結合動き情報選択部２３１に供給する。
【０１６９】
結合動き情報選択部２３１は、結合動き情報候補生成部２３０より供給される結合動き情報候補リストの中から、端子３５より供給されるマージインデックスで示される結合動き情報候補を選択して結合動き情報を決定し（Ｓ３１１）、当該結合動き情報を端子３４に供給する。
【０１７０】
（実施の形態１の変形例）
なお、実施の形態１は以下のように変形できる。
【０１７１】
実施の形態１の変形例１では、予測ベクトル候補リスト生成部１３０の動作が実施の形態１の基本例と異なる。図４４は、実施の形態１の変形例１における予測ベクトル候補リスト生成部１３０の動作を説明するためのフローチャートである。図４４のフローチャートは、図１８のフローチャートに対して、ステップＳ３２０からステップＳ３２２が追加されている。以下、ステップＳ３２０からステップＳ３２２について説明する。
【０１７２】
ステップＳ１４０に続いて、予測ベクトル候補リスト生成部１３０は、予測ブロックサイズが所定サイズより大きいか検査する（Ｓ３２０）。所定サイズを１６画素×１６画素とする。ここでは、所定サイズを１６画素×１６画素としたが、最大符号化ブロック未満であればよく、これに限定されない。予測ブロックサイズが所定サイズより大きければ（Ｓ３２０のＹ）、時間予測ベクトル候補の最大数を２とし、空間スケーリング予測ベクトル候補の最大数を０とする（Ｓ３２１）。予測ブロックサイズが所定サイズより大きくなければ（Ｓ３２０のＮ）、時間予測ベクトル候補の最大数を１とし、空間スケーリング予測ベクトル候補の最大数を１とする（Ｓ３２２）。
【０１７３】
また、予測ブロックサイズが所定サイズ以上であれば、時間予測ベクトル候補生成部１５１の動作が実施の形態１の基本例と異なり、図２１のステップＳ１６５は省略されて、時間予測ベクトル候補を２個生成する。
【０１７４】
一般的に、予測ブロックサイズが大きい場合には処理対象ブロックは空間候補ブロックまたは時間候補ブロックと相関性が高くなるため、相対的に空間スケーリング予測ベクトル候補の有効性は低下する。したがって、予測ブロックサイズが大きい場合には時間予測ベクトル候補数を増加させて、空間スケーリング予測ベクトル候補数を減少させることで、相対的に信頼度の高い空間予測ベクトル候補を予測ベクトル候補リストに追加することでき、予測ベクトルインデックスの符号化効率を向上させることができる。
【０１７５】
［実施の形態２］
最初に、実施の形態２のシンタックスについて説明する。図４５は、実施の形態２の予測ブロックのシンタックスの一例を説明するための図である。実施の形態１の予測ブロックのシンタックスとは、予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ０およびｍｖｐ＿ｉｄｘ＿ｌ１）、差分ベクトル（ｍｖｄ＿ｌ０［０］、ｍｖｄ＿ｌ０［１］、ｍｖｄ＿ｌ１［０］、ｍｖｄ＿ｌ１［１］）、および参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ０とｒｅｆ＿ｉｄｘ＿ｌ１）の並びが異なる。また、予測ベクトルインデックスが予測ベクトルインデックスの最大値の場合には参照インデックスを符号化および復号しないことが異なる。図４５のＭＡＸ＿ＭＶＰ＿ＩＤＸは予測ベクトルインデックスの最大値を示す。なお、予測ベクトル候補最大数が２である場合の予測ベクトルインデックスの最大値は１となる。
【０１７６】
次に、実施の形態２における制約について説明する。時間予測ベクトル候補生成部１５１において利用する所定値Ｒｅｆ＿ｉｄｘ＿ＴＳｃａｌｅと、空間スケーリング予測ベクトル候補生成部１５２において利用する所定値Ｒｅｆ＿ｉｄｘ＿ＳＳｃａｌｅは同一の値とする。以降、所定値をＲｅｆ＿ｉｄｘ＿ＣＳｃａｌｅとする。
【０１７７】
（実施の形態２の動画像符号化装置）
実施の形態２の動画像符号化装置の構成は、実施の形態１の動画像符号化装置１００の構成と同一である。実施の形態１の動画像符号化装置１００とは、符号列生成部１０４、予測ベクトルモード決定部１２０、および予測ベクトル候補リスト確定部１５４の機能と動作が異なる。以下、実施の形態２における符号列生成部１０４、予測ベクトルモード決定部１２０、および予測ベクトル候補リスト確定部１５４の機能と動作について実施の形態１と異なる点を説明する。
【０１７８】
（符号列生成部１０４）
符号列生成部１０４は、Ｌ０予測とＬ１予測それぞれについて予測ベクトルインデックス、差分ベクトル、および参照インデックスの順に符号列を生成する。また、予測ベクトルインデックスが予測ベクトルインデックスの最大値の場合には参照インデックスを符号化しない。
【０１７９】
（予測ベクトルモード決定部１２０）
予測ベクトルモード決定部１２０の動作について説明する。図４６は、実施の形態２の予測ベクトルモード決定部１２０の動作を説明するためのフローチャートである。図４６のフローチャートは、図１２のフローチャートに対して、ステップＳ２５０からステップＳ２５３が追加されている。
【０１８０】
ステップＳ１２０に続いて、予測ベクトル決定部１３１は、端子１３より供給されるＬ０予測の参照インデックスが所定値Ｒｅｆ＿ｉｄｘ＿ＣＳｃａｌｅであるか検査する（Ｓ２５０）。Ｌ０予測の参照インデックスが所定値Ｒｅｆ＿ｉｄｘ＿ＣＳｃａｌｅであれば（Ｓ２５０のＹ）、予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給されるＬ０予測の予測ベクトル候補リストから１つの予測ベクトル候補をＬ０予測の予測ベクトルとして選択して、Ｌ０予測の予測ベクトルインデックを決定し（Ｓ１２１）、当該Ｌ０予測の予測ベクトルを減算部１３２に供給する。
【０１８１】
Ｌ０予測の参照インデックスが所定値Ｒｅｆ＿ｉｄｘ＿ＣＳｃａｌｅでなければ（Ｓ２５０のＮ）、予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給されるＬ０予測の予測ベクトル候補リストから時間予測ベクトル候補と空間スケーリング予測ベクトル候補を除いた予測ベクトル候補の中から１つの予測ベクトル候補をＬ０予測の予測ベクトルとして選択して、Ｌ０予測の予測ベクトルインデックを決定し（Ｓ２５１）、当該Ｌ０予測の予測ベクトルを減算部１３２に供給する。
【０１８２】
ステップＳ１２４に続いて、予測ベクトル決定部１３１は、端子１３より供給されるＬ１予測の参照インデックスが所定値Ｒｅｆ＿ｉｄｘ＿ＣＳｃａｌｅであるか検査する（Ｓ２５２）。Ｌ１予測の参照インデックスが所定値Ｒｅｆ＿ｉｄｘ＿ＣＳｃａｌｅであれば（Ｓ２５２のＹ）、予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給されるＬ１予測の予測ベクトル候補リストから１つの予測ベクトル候補をＬ１予測の予測ベクトルとして選択して、Ｌ１予測の予測ベクトルインデックを決定し（Ｓ１２５）、当該Ｌ１予測の予測ベクトルを減算部１３２に供給する。
【０１８３】
Ｌ１予測の参照インデックスが所定値Ｒｅｆ＿ｉｄｘ＿ＣＳｃａｌｅでなければ（Ｓ２５２のＮ）、予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給されるＬ１予測の予測ベクトル候補リストから時間予測ベクトル候補と空間スケーリング予測ベクトル候補を除いた予測ベクトル候補の中から１つの予測ベクトル候補をＬ１予測の予測ベクトルとして選択して、Ｌ１予測の予測ベクトルインデックを決定し（Ｓ２５３）、当該Ｌ１予測の予測ベクトルを減算部１３２に供給する。
【０１８４】
以上のように、端子１３より供給される参照インデックスが所定値Ｒｅｆ＿ｉｄｘ＿ＣＳｃａｌｅでない場合には、端子１３より供給されて動き補償で利用される参照インデックスが示す参照画像とスケーリングの算出に利用する参照画像の不一致による差分ベクトルの符号量の増加から、スケーリング処理を伴う予測ベクトル候補の選択率が低下する。そのため、端子１３より供給される参照インデックスが０でない場合には、スケーリング処理を伴う時間予測ベクトル候補と空間スケーリング予測ベクトル候補を候補外とすることで、候補選択に係る処理を削減することができる。
【０１８５】
（予測ベクトル候補リスト確定部１５４）
予測ベクトル候補リスト確定部１５４の動作について説明する。図４７は、実施の形態２の予測ベクトル候補リスト確定部１５４の動作を説明するためのフローチャートである。図４７のフローチャートは、図２６のフローチャートに対して、ステップＳ２６０とステップＳ２６１が追加されている点が異なる。
【０１８６】
ステップＳ１８１に続いて、予測ベクトル候補リストの予測ベクトル候補数が「予測ベクトル候補最大数−１」であるか検査する（Ｓ２６０）。予測ベクトル候補リストの予測ベクトル候補数が「予測ベクトル候補最大数−１」であれば（Ｓ２６０のＹ）、時間予測ベクトル候補を予測ベクトル候補リストに追加する（Ｓ１８２）。予測ベクトル候補リストの予測ベクトル候補数が「予測ベクトル候補最大数−１」でなければ（Ｓ２６０のＮ）、予測ベクトル候補リストの予測ベクトル候補数が「予測ベクトル候補最大数−１」に達するまで予測ベクトル補充候補を予測ベクトル候補リストに追加する（Ｓ２６１）。
【０１８７】
以上のように、予測ベクトル候補リストの予測ベクトル候補数が「予測ベクトル候補最大数−１」でなければ、予測ベクトル候補リストの予測ベクトル候補数が「予測ベクトル候補最大数−１」に達するまで予測ベクトル補充候補を予測ベクトル候補リストに追加することで、スケーリング処理を伴う予測ベクトル候補の予測ベクトルインデックスを予測ベクトルインデックスの最大値に固定することができる。ここでは、スケーリング処理を伴う予測ベクトル候補の予測ベクトルインデックスを予測ベクトルインデックスの最大値に固定したが、所定値に固定化できればよく、これに限定されない。
【０１８８】
（実施の形態２の動画像復号装置）
実施の形態２の動画像復号装置の構成は、符号列解析部２０１の機能を除いて実施の形態１の動画像復号装置２００の構成と同一である。
【０１８９】
符号列解析部２０１は、端子３０より供給された符号列を解析して予測誤差符号化データ、マージフラグ、マージインデックス、動き補償予測の予測方向、参照インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従って復号する。当該予測ベクトルインデックスが予測ベクトルインデックスの最大値の場合には、参照インデックスを所定値Ｒｅｆ＿ｉｄｘ＿ＣＳｃａｌｅとする。そして、当該予測誤差符号化データを予測誤差復号部２０２に、当該マージフラグ、当該マージインデックス、当該動き補償予測の予測方向、当該参照インデックス、当該差分ベクトル、および当該予測ベクトルインデックスを動き情報再生部２０４に供給する。
【０１９０】
以上のように、実施の形態２の動画像復号装置において、予測ベクトルインデックスが予測ベクトルインデックスの最大値の場合には、復号されない参照インデックスを所定値Ｒｅｆ＿ｉｄｘ＿ＣＳｃａｌｅとみなして動き情報再生部２０４に供給することで、実施の形態２の動画像符号化装置と矛盾のない再生画像を生成することができる。
【０１９１】
以上のように、実施の形態２の動画像符号化装置および動画像復号装置では、予測ベクトルインデックスが予測ベクトルインデックスの最大値の場合には、参照インデックスを符号化する必要がないため動き情報の符号量を削減することができる。
【０１９２】
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
【０１９３】
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
【０１９４】
以上の符号化および復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やフラッシュメモリなどに記憶されているファームウェアや、コンピュータなどのソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータなどで読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１９５】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１９６】
１００  動画像符号化装置、  １０１  予測ブロック画像取得部、  １０２  減算部、  １０３  予測誤差符号化部、  １０４  符号列生成部、  １０５  予測誤差復号部、  １０６  動き補償部、  １０７  加算部、  １０８  動きベクトル検出部、  １０９  動き情報生成部、  １１０  フレームメモリ、  １１１  動き情報メモリ、  １２０  予測ベクトルモード決定部、  １２１  マージモード決定部、  １２２  予測符号化モード決定部、  １３０  予測ベクトル候補リスト生成部、  １３１  予測ベクトル決定部、  １３２  減算部、  １４０  結合動き情報候補リスト生成部、  １４１  結合動き情報選択部、  １５０  空間予測ベクトル候補生成部、  １５１  時間予測ベクトル候補生成部、  １５２  空間スケーリング予測ベクトル候補生成部、  １５３  予測ベクトル候補補充部、  １５４  予測ベクトル候補リスト確定部、  １６０  空間結合動き情報候補生成部、  １６１  時間結合動き情報候補生成部、  １６２  空間スケーリング結合動き情報候補生成部、  １６３  結合動き情報候補補充部、  １６４  結合動き情報候補リスト確定部、  １７０  基準ベクトル決定部、  １７１  参照インデックス設定部、  １７２  スケーリング部、  １７５  基準ベクトル決定部、  １７６  参照インデックス設定部、  １７７  スケーリング部、  １８０  予測方向設定部、  １８１  時間結合動き情報候補確定部、  １８５  予測方向設定部、  １８６  空間スケーリング結合動き情報候補確定部、  ２００  動画像復号装置、  ２０１  符号列解析部、  ２０２  予測誤差復号部、  ２０３  加算部、  ２０４  動き情報再生部、  ２０５  動き補償部、  ２０６  フレームメモリ、  ２０７  動き情報メモリ、  ２１０  符号化モード判定部、  ２１１  動きベクトル再生部、  ２１２  結合動き情報再生部、  ２２０  予測ベクトル候補リスト生成部、  ２２１  予測ベクトル決定部、  ２２２  加算部、  ２３０  結合動き情報候補生成部、  ２３１  結合動き情報選択部。
【図１】
2013042303.tif 000003
【図２】
2013042303.tif 000004
【図３】
2013042303.tif 000005
【図４】
2013042303.tif 000006
【図５】
2013042303.tif 000007
【図６】
2013042303.tif 000008
【図７】
2013042303.tif 000009
【図８】
2013042303.tif 000010
【図９】
2013042303.tif 000011
【図１０】
2013042303.tif 000012
【図１１】
2013042303.tif 000013
【図１２】
2013042303.tif 000014
【図１３】
2013042303.tif 000015
【図１４】
2013042303.tif 000016
【図１５】
2013042303.tif 000017
【図１６】
2013042303.tif 000018
【図１７】
2013042303.tif 000019
【図１８】
2013042303.tif 000020
【図１９】
2013042303.tif 000021
【図２０】
2013042303.tif 000022
【図２１】
2013042303.tif 000023
【図２２】
2013042303.tif 000024
【図２３】
2013042303.tif 000025
【図２４】
2013042303.tif 000026
【図２５】
2013042303.tif 000027
【図２６】
2013042303.tif 000028
【図２７】
2013042303.tif 000029
【図２８】
2013042303.tif 000030
【図２９】
2013042303.tif 000031
【図３０】
2013042303.tif 000032
【図３１】
2013042303.tif 000033
【図３２】
2013042303.tif 000034
【図３３】
2013042303.tif 000035
【図３４】
2013042303.tif 000036
【図３５】
2013042303.tif 000037
【図３６】
2013042303.tif 000038
【図３７】
2013042303.tif 000039
【図３８】
2013042303.tif 000040
【図３９】
2013042303.tif 000041
【図４０】
2013042303.tif 000042
【図４１】
2013042303.tif 000043
【図４２】
2013042303.tif 000044
【図４３】
2013042303.tif 000045
【図４４】
2013042303.tif 000046
【図４５】
2013042303.tif 000047
【図４６】
2013042303.tif 000048
【図４７】
2013042303.tif 000049