(57)【要約】【課題】動きベクトルを含む動き情報の符号化効率をより向上させたい。【解決手段】候補リスト生成部は、復号対象ブロックに隣接する複数の復号済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報を持つ複数のブロックを選択して候補リストを生成する。動き情報取得部は、候補リストに含まれるブロックの動き情報を取得する。スケーリング部は、動き情報取得部により取得された動き情報に含まれる第１の動きベクトルをスケーリングして第２の動きベクトルを生成する。選択候補生成部は、第１の動きベクトルを含む動き情報と第２の動きベクトルを備えた動き情報とを有する新たな選択候補を生成する。符号列解析部は、符号化側において候補リストから選択された候補を候補リスト内で特定するための候補特定情報を復号する。選択部は、復号された候補特定情報を用いて候補リストに含まれる選択候補の中から１つの候補を選択する。【選択図】図３０
2013021573.tif 000002
【特許請求の範囲】
【請求項１】
動き補償予測を行う画像復号装置であって、
復号対象ブロックに隣接する複数の復号済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報を持つ複数のブロックを選択して候補リストを生成する候補リスト生成部と、
前記候補リストに含まれるブロックの動き情報を取得する動き情報取得部と、
前記動き情報取得部により取得された動き情報に含まれる第１の動きベクトルをスケーリングして第２の動きベクトルを生成するスケーリング部と、
前記第１の動きベクトルを含む動き情報と、前記第２の動きベクトルを備えた動き情報とを有する新たな選択候補を生成する選択候補生成部と、
符号化側において候補リストから選択された候補を前記候補リスト内で特定するための候補特定情報を復号する符号列解析部と、
復号された候補特定情報を用いて、前記候補リスト生成部で生成した候補リストに含まれる選択候補の中から１つの候補を選択する選択部と、
を備えることを特徴とする画像復号装置。
【請求項２】
前記候補リストに含まれるブロック数が、設定された最大数に満たない場合、前記選択候補生成部により生成された新たな選択候補が前記候補リストに追加される、
ことを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記復号対象ブロックに隣接する複数の復号済みのブロックには、単方向の動き情報を持つ第１のタイプと、双方向の情報を持つ第２のタイプがあり、
前記動き情報取得部は、前記候補リストに含まれる複数のブロックのうち、前記第１のタイプのブロックを優先的に取得する、
ことを特徴とする請求項１または２に記載の画像復号装置。
【請求項４】
前記復号対象ブロックに隣接する複数の復号済みのブロックには、単方向の動き情報を持つ第１のタイプと、双方向の動きベクトルを持つ第２のタイプがあり、
前記動き情報取得部は、前記候補リストに含まれる複数のブロックのうち、前記第２のタイプのブロックを優先的に取得する、
ことを特徴とする請求項１または２に記載の画像復号装置。
【請求項５】
前記動き情報取得部は、前記候補リストに含まれる複数のブロックのうち、前記復号対象ブロックとの隣接度が相対的に高いブロックを優先的に取得する、
ことを特徴とする請求項１または２に記載の画像復号装置。
【請求項６】
前記スケーリング部は、前記動き情報取得部により取得された動き情報が双方向の動きベクトルを持つブロックの動き情報である場合、当該ブロックが持つ２つの動きベクトルのうち、長いほうの動きベクトルを前記第１の動きベクトルとしてスケーリングする、
ことを特徴とする請求項１から５のいずれかに記載の画像復号装置。
【請求項７】
前記スケーリング部は、前記動き情報取得部により取得された動き情報が双方向の動きベクトルを持つブロックの動き情報である場合、当該ブロックが持つ２つの動きベクトルのうち、短いほうの動きベクトルを前記第１の動きベクトルとしてスケーリングする、
ことを特徴とする請求項１から５のいずれかに記載の画像復号装置。
【請求項８】
前記スケーリング部により生成される第２の動きベクトルの参照画像を特定する参照インデックスの値をゼロに設定する参照画像設定部、
をさらに備えることを特徴とする請求項１から７のいずれかに記載の画像復号装置。
【請求項９】
前記復号対象ブロックに隣接する複数の復号済みのブロックには、前記復号対象ブロックを含む画像と時間的に異なる画像のブロックも含まれ、
前記参照画像設定部は、前記第１の動きベクトルの参照画像を特定する参照インデックスの値と前記第２の動きベクトルの参照画像を特定する参照インデックスの値が同じになった場合、前記時間的に異なる画像のブロックの動きベクトルの参照画像を特定する参照インデックスの値を、前記第２の動きベクトルの参照画像を特定する参照インデックスの値に設定する、
ことを特徴とする請求項８に記載の画像復号装置。
【請求項１０】
前記動き情報取得部は、前記候補リストに含まれる第１のブロックから第１の予測方向の動き情報と、前記候補リストに含まれる第２のブロックから第２の予測方向の動き情報を取得し、
前記選択候補生成部は、前記動き情報取得部により取得された前記第１の予測方向の動き情報と、前記第２の予測方向の動き情報をもとに、２つの動き情報を持つ新たな選択候補を生成する、
ことを特徴とする請求項１から９のいずれかに記載の画像復号装置。
【請求項１１】
前記スケーリング部は、前記動き情報取得部により取得された前記第１の予測方向の動き情報または前記第２の予測方向の動き情報が無効である場合、有効なほうの予測方向の動き情報に含まれる動きベクトルを前記第１の動きベクトルとしてスケーリングして前記第２の動きベクトルを生成する、
ことを特徴とする請求項１０に記載の画像復号装置。
【請求項１２】
動き補償予測を行う画像復号方法であって、
復号対象ブロックに隣接する複数の復号済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報を持つ複数のブロックを選択して候補リストを生成するステップと、
前記候補リストに含まれるブロックの動き情報を取得するステップと、
取得された動き情報に含まれる第１の動きベクトルをスケーリングして第２の動きベクトルを生成するステップと、
前記第１の動きベクトルを含む動き情報と、前記第２の動きベクトルを備えた動き情報とを有する新たな選択候補を生成するステップと、
符号化側において候補リストから選択された候補を前記候補リスト内で特定するための候補特定情報を復号するステップと、
復号された候補特定情報を用いて、前記候補リストに含まれる選択候補の中から１つの候補を選択するステップと、
を備えることを特徴とする画像復号方法。
【請求項１３】
動き補償予測を行う画像復号プログラムであって、
復号対象ブロックに隣接する複数の復号済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報を持つ複数のブロックを選択して候補リストを生成する処理と、
前記候補リストに含まれるブロックの動き情報を取得する処理と、
取得された動き情報に含まれる第１の動きベクトルをスケーリングして第２の動きベクトルを生成する処理と、
前記第１の動きベクトルを含む動き情報と、前記第２の動きベクトルを備えた動き情報とを有する新たな選択候補を生成する処理と、
符号化側において候補リストから選択された候補を前記候補リスト内で特定するための候補特定情報を復号する処理と、
復号された候補特定情報を用いて、前記候補リストに含まれる選択候補の中から１つの候補を選択する処理と、
をコンピュータに実行させることを特徴とする画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償予測を用いた動画像符号化技術に関し、特に動き補償予測で利用する動き情報を復号する画像復号装置、画像復号方法および画像復号プログラムに関する。
【背景技術】
【０００２】
一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き量に基いて、対象画像の対象ブロックから参照画像の参照ブロックに移動した位置の信号を予測信号として生成する技術である。動き補償予測には１本の動きベクトルを利用して単方向に行うものと、２本の動きベクトルを利用して双方向に行うものがある。
【０００３】
また、動きベクトルについても、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルを予測動きベクトル（単に「予測ベクトル」ともいう）とし、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。
【０００４】
ＭＰＥＧ−４ＡＶＣでは、ＭＰＥＧ−２よりも動き補償予測のブロックサイズを細かく且つ多様にすることで動き補償予測の効率を向上させている。一方、ブロックサイズを細かくしたことで動きベクトル数が増加するため、符号化ベクトルの符号量が問題となる。
【０００５】
そのため、ＭＰＥＧ−２では単純に処理対象ブロックの左の動きベクトルを予測ベクトルとしていたが、ＭＰＥＧ−４ＡＶＣでは複数の隣接ブロックの動きベクトルの中央値を予測ベクトルとすることで予測ベクトルの精度を向上させ、符号化ベクトルの符号量の増加を抑制している。さらに、ＭＰＥＧ−４ＡＶＣにおいてダイレクト動き補償予測が知られている。ダイレクト動き補償予測は、符号化済みの別の画像の処理対象ブロックと同一位置にあるブロックの動きベクトルを、対象画像と２つの参照画像の距離でスケーリングして新たな動きベクトルを生成し、符号化ベクトルを伝送することなく、動き補償予測を実現するものである。
【０００６】
また、処理対象ブロックに隣接するブロックの動き情報を利用して、符号化ベクトルを伝送することなく動き補償予測を実現する動き補償予測が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−２７６４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したように、符号化ベクトルを伝送しないダイレクト動き補償予測は、処理対象ブロックと符号化済みの別の画像の処理対象ブロックと同一位置にあるブロックの動きの連続性に着目している。また、特許文献１は処理対象ブロックと処理対象ブロックに隣接するブロックの動きの連続性に着目している。それにより、他のブロックの動き情報を利用することで差分ベクトルを含む動き情報を符号化ベクトルとして符号化せずに符号化効率を向上させている。
【０００９】
ところが従来の動き補償予測では、処理対象ブロックの動きが、処理対象ブロックと隣接するブロックとの動きや、符号化済みの別の画像の処理対象ブロックと同一位置周辺にあるブロックとの動きにずれがある場合、差分ベクトルを含む動き情報を符号化しなければならず、符号化効率の向上が十分に発揮されないという難しい面がある。
【００１０】
本発明はこうした状況に鑑みてなされたものであり、その目的は、動きベクトルを含む動き情報の符号化効率を、より向上させる技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある態様の画像復号装置は、動き補償予測を行う画像復号装置であって、復号対象ブロックに隣接する複数の復号済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報を持つ複数のブロックを選択して候補リストを生成する候補リスト生成部（２３０）と、前記候補リストに含まれるブロックの動き情報を取得する動き情報取得部（１５０）と、前記動き情報取得部（１５０）により取得された動き情報に含まれる第１の動きベクトルをスケーリングして第２の動きベクトルを生成するスケーリング部（１６２）と、前記第１の動きベクトルを含む動き情報と、前記第２の動きベクトルを備えた動き情報とを有する新たな選択候補を生成する選択候補生成部（１５１）と、符号化側において候補リストから選択された候補を前記候補リスト内で特定するための候補特定情報を復号する符号列解析部（２０１）と、復号された候補特定情報を用いて、前記候補リスト生成部（２３０）で生成した候補リストに含まれる選択候補の中から１つの候補を選択する選択部（２３１）と、を備える。「前記復号対象ブロックに隣接する複数の復号済みのブロックには」、前記復号対象ブロックを含む画像と時間的に異なる画像のブロックが含まれてもよい。
【００１２】
前記候補リストに含まれるブロック数が、設定された最大数に満たない場合、前記選択候補生成部（１５１）により生成された新たな選択候補が前記候補リストに追加されてもよい。
【００１３】
前記復号対象ブロックに隣接する複数の復号済みのブロックには、単方向の動き情報を持つ第１のタイプと、双方向の情報を持つ第２のタイプがあってもよい。前記動き情報取得部（１５０）は、前記候補リストに含まれる複数のブロックのうち、前記第１のタイプのブロックを優先的に取得してもよいし、前記第２のタイプのブロックを優先的に取得してもよい。
【００１４】
前記動き情報取得部（１５０）は、前記候補リストに含まれる複数のブロックのうち、前記復号対象ブロックとの隣接度が相対的に高いブロックを優先的に取得してもよい。
【００１５】
前記スケーリング部（１６２）は、前記動き情報取得部（１５０）により取得された動き情報が双方向の動きベクトルを持つブロックの動き情報である場合、当該ブロックが持つ２つの動きベクトルのうち、長いほうの動きベクトルを前記第１の動きベクトルとしてスケーリングしてもよいし、短いほうの動きベクトルを前記第１の動きベクトルとしてスケーリングしてもよい。
【００１６】
前記スケーリング部（１６２）により生成される第２の動きベクトルの参照画像を特定する参照インデックスの値をゼロに設定する参照画像設定部（１６１）をさらに備えてもよい。
【００１７】
前記参照画像設定部（１６１）は、前記第１の動きベクトルの参照画像を特定する参照インデックスの値と前記第２の動きベクトルの参照画像を特定する参照インデックスの値が同じになった場合、前記時間的に異なる画像のブロックの動きベクトルの参照画像を特定する参照インデックスの値を、前記第２の動きベクトルの参照画像を特定する参照インデックスの値に設定してもよい。前記時間的に異なる画像のブロックの動きベクトルの参照画像を特定する参照インデックスの値の代わりに１を設定してもよい。
【００１８】
前記動き情報取得部（１５０）は、前記候補リストに含まれる第１のブロックから第１の予測方向の動き情報と、前記候補リストに含まれる第２のブロックから第２の予測方向の動き情報を取得してもよい。前記選択候補生成部（１５１、１５４）は、前記動き情報取得部（１５０）により取得された前記第１の予測方向の動き情報と、前記第２の予測方向の動き情報をもとに、２つの動き情報を持つ新たな選択候補を生成してもよい。
【００１９】
前記スケーリング部（１６２）は、前記動き情報取得部（１５０）により取得された前記第１の予測方向の動き情報または前記第２の予測方向の動き情報が無効である場合、有効なほうの予測方向の動き情報に含まれる動きベクトルを前記第１の動きベクトルとしてスケーリングして前記第２の動きベクトルを生成してもよい。
【００２０】
本発明の別の態様もまた、画像復号方法である。この装置は、動き補償予測を行う画像復号方法であって、復号対象ブロックに隣接する複数の復号済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報を持つ複数のブロックを選択して候補リストを生成するステップと、前記候補リストに含まれるブロックの動き情報を取得するステップと、取得された動き情報に含まれる第１の動きベクトルをスケーリングして第２の動きベクトルを生成するステップと、前記第１の動きベクトルを含む動き情報と、前記第２の動きベクトルを備えた動き情報とを有する新たな選択候補を生成するステップと、符号化側において候補リストから選択された候補を前記候補リスト内で特定するための候補特定情報を復号するステップと、復号された候補特定情報を用いて、前記候補リストに含まれる選択候補の中から１つの候補を選択するステップと、を備える。
【００２１】
本発明の別の態様は、画像符号化装置である。この装置は、動き補償予測を行う画像符号化装置であって、符号化対象ブロックに隣接する複数の符号化済みのブロックから、動きベクトルの情報と参照画像の情報とを少なくとも含む動き情報を持つ複数のブロックを選択して候補リストを生成する候補リスト生成部（１４０）と、前記候補リストに含まれるブロックの動き情報を取得する動き情報取得部（１５０）と、前記動き情報取得部（１５０）により取得された動き情報に含まれる第１の動きベクトルをスケーリングして第２の動きベクトルを生成するスケーリング部（１６２）と、前記第１の動きベクトルを含む動き情報と、前記第２の動きベクトルを備えた動き情報とを有する新たな選択候補を生成する選択候補生成部（１５１）と、前記候補リストに含まれる複数の選択候補の中から１つを選択する選択部（１４１）と、前記選択部（１４１）により選択された候補を前記候補リスト内で特定するための候補特定情報を符号化する符号列生成部（１０４）と、を備える。「前記符号化対象ブロックに隣接する複数の符号化済みのブロックには」、前記符号化対象ブロックを含む画像と時間的に異なる画像のブロックが含まれてもよい。
【００２２】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００２３】
本発明によれば、動きベクトルを含む動き情報の符号化効率を、より向上させることができる。
【図面の簡単な説明】
【００２４】
【図１】画像を最大符号化ブロックに分割する例を説明するための図である。
【図２】図２（ａ）、（ｂ）は、符号化ブロックを説明するための図である。
【図３】図３（ａ）〜（ｄ）は、予測ブロックを説明するための図である。
【図４】予測ブロックサイズを説明するための図である。
【図５】予測符号化モードを説明するための図である。
【図６】図６（ａ）〜（ｄ）は、動き補償予測の予測方向を説明するための図である。
【図７】予測ブロックのシンタックスの一例を説明するための図である。
【図８】図８（ａ）〜（ｃ）は、マージインデックスのＴｒｕｎｃａｔｅｄ  Ｕｎａｒｙ符号列を説明するための図である。
【図９】本発明の実施の形態１に係る動画像符号化装置の構成を説明するための図である。
【図１０】図９の動き情報メモリにおける動き情報の管理方法を説明するための図である。
【図１１】図９の動き情報生成部の構成を説明するための図である。
【図１２】図９の差分ベクトル算出部の構成を説明するための図である。
【図１３】空間候補ブロック群を説明するための図である。
【図１４】時間候補ブロック群を説明するための図である。
【図１５】図１１の結合動き情報決定部の構成を説明するための図である。
【図１６】図１５の結合動き情報候補生成部の構成を説明するための図である。
【図１７】図１６のスケーリング結合動き情報候補生成部の構成を説明するための図である。
【図１８】候補番号管理テーブルを説明するための図である。
【図１９】図１９（ａ）、（ｂ）は、マージ候補番号からマージインデックスへの変換を説明するための図である。
【図２０】本発明の実施の形態１に係る動画像符号化装置の符号化の動作を説明するためのフローチャートである。
【図２１】図９の動き情報生成部の動作を説明するためのフローチャートである。
【図２２】図１１の差分ベクトル算出部の動作を説明するためのフローチャートである。
【図２３】図１１の結合動き情報決定部の動作を説明するためのフローチャートである。
【図２４】図１５の結合動き情報候補生成部の動作を説明するためのフローチャートである。
【図２５】空間結合動き情報候補リストの生成の動作を説明するためのフローチャートである。
【図２６】時間結合動き情報候補リストの生成の動作を説明するためのフローチャートである。
【図２７】時間結合動き情報候補の動きベクトルｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。
【図２８】スケーリング結合動き情報候補の生成の動作を説明するためのフローチャートである。
【図２９】スケーリング結合動き情報候補のＬＹ方向の動きベクトルの算出手法を説明するための図である。
【図３０】本発明の実施の形態１に係る動画像復号装置の構成を説明するための図である。
【図３１】図３０の動き情報再生部の構成を説明するための図である。
【図３２】図３０の動きベクトル再生部の構成を説明するための図である。
【図３３】図３１の結合動き情報再生部の構成を説明するための図である。
【図３４】本発明の実施の形態１に係る動画像復号装置の復号の動作を説明するためのフローチャートである。
【図３５】図３０の動き情報再生部の動作を説明するためのフローチャートである。
【図３６】図３１の動きベクトル再生部の動作を説明するためのフローチャートである。
【図３７】図３１の結合動き情報再生部の動作を説明するためのフローチャートである。
【図３８】図３８（ａ）、（ｂ）は実施の形態１の変形例１に係る候補番号管理テーブルを説明するための図である。
【図３９】実施の形態１の変形例１に係る別の候補番号管理テーブルの説明するための図である。
【図４０】実施の形態１の変形例３に係るスケーリング結合動き情報候補の生成の動作を説明するためのフローチャートである。
【図４１】実施の形態１の変形例５に係るスケーリング結合動き情報候補の生成の動作を説明するためのフローチャートである。
【図４２】実施の形態１の変形例５に係る別のスケーリング結合動き情報候補の生成の動作を説明するためのフローチャートである。
【図４３】処理対象画像と参照画像の関係について説明するための図である。
【図４４】実施の形態１の効果を説明するための図である。
【図４５】実施の形態２の候補番号管理テーブルを説明するための図である。
【図４６】実施の形態２の結合動き情報候補生成部の構成を説明するための図である。
【図４７】図４６の双結合動き情報候補生成部の構成を説明するための図である。
【図４８】実施の形態２の結合動き情報候補生成部の動作を説明するためのフローチャートである。
【図４９】図４６の双結合動き情報候補生成部の詳細な動作を説明するためのフローチャートである。
【図５０】図４７の基準方向動き情報決定部の動作を説明するためのフローチャートである。
【図５１】図４７の逆方向動き情報決定部の動作を説明するためのフローチャートである。
【図５２】双結合動き情報候補の予測方向の決定を説明するための図である。
【図５３】実施の形態２のスケーリング結合動き情報候補の生成の動作を説明するためのフローチャートである。
【図５４】実施の形態２の変形例４の結合動き情報候補生成部の動作を説明するためのフローチャートである。
【図５５】実施の形態２の効果を説明するための図である。
【発明を実施するための形態】
【００２５】
まず、本発明の実施の形態の前提となる技術を説明する。
【００２６】
現在、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。
【００２７】
１９９５年にはＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ １３８１８−２）符号化方式が、汎用の映像圧縮符号化方式として制定され、ＤＶＤおよびＤ−ＶＨＳ（登録商標）規格のデジタルＶＴＲによる磁気テープなどの蓄積メディア、ならびにデジタル放送などのアプリケーションとして広く用いられている。
【００２８】
さらに、２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ−ＴではＨ．２６４の規格番号がつけられている。以下、これをＭＰＥＧ−４ＡＶＣと呼ぶ）が国際標準として制定された。
【００２９】
現在、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＨＥＶＣと呼ばれる符号化方式の標準化が検討されている。
【００３０】
（符号化ブロック）
本発明の実施の形態では、入力された画像信号を図１のように最大符号化ブロック単位に分割し、分割した符号化ブロックをラスタースキャン順序で処理する。図１は、画像を最大符号化ブロックに分割する例を説明するための図である。符号化ブロックは階層構造となっており、符号化効率などを考慮して順次均等に４分割することでより小さい符号化ブロックにすることができる。なお、４分割された符号化ブロックはジグザグスキャン順で符号化される。これ以上小さくすることのできない符号化ブロックを最小符号化ブロックと呼ぶ。符号化ブロックは符号化の単位となり、最大符号化ブロックも分割数が０である場合は符号化ブロックとなる。本実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とする。
【００３１】
図２（ａ）、（ｂ）は、符号化ブロックを説明するための図である。図２（ａ）の例では、符号化ブロックが１０個に分割されている。ＣＵ０、ＣＵ１およびＣＵ９は３２画素×３２画素の符号化ブロック、ＣＵ２、ＣＵ３およびＣＵ８は１６画素×１６画素の符号化ブロック、ならびにＣＵ４、ＣＵ５、ＣＵ６およびＣＵ７は８画素×８画素の符号化ブロックとなっている。図２（ｂ）の例では、符号化ブロックが１個に分割されている。
【００３２】
（予測ブロック）
本発明の実施の形態では、符号化ブロックはさらに予測ブロックに分割される。図３（ａ）〜（ｄ）は、予測ブロックを説明するための図である。図３（ａ）は符号化ブロックを分割しない２Ｎ×２Ｎ、図３（ｂ）は水平に分割する２Ｎ×Ｎ、図３（ｃ）は垂直に分割するＮ×２Ｎ、および図３（ｄ）は水平と垂直に分割するＮ×Ｎを示す。図４は、予測ブロックサイズを説明するための図である。つまり、予測ブロックサイズには、図４に示すように、ＣＵ分割数が０であって最大の予測ブロックサイズである６４画素×６４画素からＣＵ分割数が３であって最小の予測ブロックサイズである４画素×４画素までの１３の予測ブロックサイズが存在することになる。
【００３３】
本発明の実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とするが、この組み合わせに限定されない。また、予測ブロックの分割のパターンを図３（ａ）〜（ｄ）としたが、１以上に分割されればよくこれに限定されない。
【００３４】
（予測符号化モード）
本発明の実施の形態では、動き補償予測の予測方向や符号化ベクトル数を予測ブロックのブロックサイズで切り替えることが可能となっている。ここで、動き補償予測の予測方向と符号化ベクトル数を関連付けた予測符号化モードの一例について図５を用いて簡単に説明する。図５は、予測符号化モードを説明するための図である。
【００３５】
図５に示す予測符号化モードには、動き補償予測の予測方向が単方向であって符号化ベクトル数が１である単方向モード（ＵｎｉＰｒｅｄ）、動き補償予測の予測方向が双方向であって符号化ベクトル数が２である双方向モード（ＢｉＰｒｅｄ）、および動き補償予測の予測方向が単方向または双方向であって符号化ベクトル数が０であるマージモード（ＭＥＲＧＥ）がある。また、動き補償予測を実施しない予測符号化モードであるイントラモード（Ｉｎｔｒａ）もある。
【００３６】
（参照画像インデックス）
本発明の実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照画像の中から最適な参照画像を選択することを可能とする。そのため、動き補償予測で利用した参照画像を参照画像インデックスとして符号化ベクトルとともに符号化する。動き補償予測で利用される参照画像インデックスは０以上の数値となる。
【００３７】
参照画像インデックスで選択できる複数の参照画像は参照インデックスリストで管理される。動き補償予測の予測方向が単方向であれば、参照画像インデックスは１つ符号化され、動き補償予測の予測方向が双方向であれば、それぞれの予測方向の参照画像を示す参照画像インデックスが符号化される（図５）。
【００３８】
（予測ベクトルインデックス）
ＨＥＶＣでは、予測ベクトルの精度を向上させるために、複数の予測ベクトルの候補の中から最適な予測ベクトルを選択し、選択した予測ベクトルを示すための予測ベクトルインデックスを符号化することが検討されている。本発明の実施の形態では、上記の予測ベクトルインデックスを導入する。動き補償予測の予測方向が単方向であれば、予測ベクトルインデックスは１つ符号化され、動き補償予測の予測方向が双方向であれば、それぞれの予測方向の予測ベクトルを示す予測ベクトルインデックスが符号化される（図５）。
【００３９】
（マージインデックス）
ＨＥＶＣでは、さらに符号化効率を向上させるために、複数の隣接ブロックの候補及び符号化済みの別の画像の処理対象ブロックと同一位置にあるブロックの中から最適なブロックを選択し、選択したブロックを示すマージインデックスを符号化および復号することが検討されている。これは、選択されたマージインデックスの示すブロックの動き補償予測の予測方向、動きベクトル情報、参照画像情報から成る動き情報を処理対象ブロックで利用する動き補償予測技術（マージ技術）である。本発明の実施の形態では、上記のマージインデックス（マージ技術）を導入する。図５に示すように、マージインデックスは予測符号化モードがマージモードの場合に、１つ符号化される。なお、動き情報が双方向であれば、動き情報には各予測方向の動きベクトル情報と参照画像情報が含まれる。
【００４０】
以降、マージインデックスによって示される可能性のあるブロックの持つ動き情報を結合動き情報候補と呼び、結合動き情報候補の集合体を結合動き情報候補リストと呼ぶ。
【００４１】
（予測方向）
本発明の実施の形態では、動き補償予測の予測方向としてＬ０方向とＬ１方向の２つを設定する。図６（ａ）〜（ｄ）は、動き補償予測の予測方向を説明するための図である。動き補償予測の予測方向について図６（ａ）〜（ｄ）を用いて簡単に説明する。動き補償予測の予測方向が単方向の場合はＬ０方向またはＬ１方向のいずれかを利用する。図６（ａ）は単方向であってＬ０方向の参照画像（ＲｅｆＬ０Ｐｉｃ）が符号化対象画像（ＣｕｒＰｉｃ）より前の時刻にある場合を示している。図６（ｂ）は単方向であってＬ０方向の参照画像が符号化対象画像より後の時刻にある場合を示している。図６（ａ）および図６（ｂ）のＬ０方向の参照画像をＬ１方向の参照画像（ＲｅｆＬ１Ｐｉｃ）に置き換えることもできる。
【００４２】
双方向の場合はＬ０方向とＬ１方向の２つを利用してＢＩ方向と表現する。図６（ｃ）は双方向であってＬ０方向の参照画像が符号化対象画像より前の時刻にあって、Ｌ１方向の参照画像が符号化対象画像より後の時刻にある場合を示している。図６（ｄ）は双方向であってＬ０方向の参照画像とＬ１方向の参照画像が符号化対象画像より前の時刻にある場合を示している。図６（ｃ）および図６（ｄ）のＬ０方向の参照画像をＬ１方向の参照画像（ＲｅｆＬ１Ｐｉｃ）に、Ｌ１方向の参照画像をＬ０方向の参照画像（ＲｅｆＬ０Ｐｉｃ）に置き換えることもできる。以上で説明したように、動き補償予測の予測方向であるＬ０方向とＬ１方向はそれぞれ時間的に前方向と後方向のいずれでも示すことができる。
【００４３】
また、Ｌ０方向とＬ１方向はそれぞれに複数の参照画像から予測することが可能であって、Ｌ０方向の参照画像は参照画像リストＬ０にＬ１方向の参照画像は参照画像リストＬ１に登録されて、それぞれの予測方向の参照画像インデックスによって参照画像リスト中の参照画像の位置が指定されて、参照画像が確定する。以降、予測方向がＬ０方向であるとは参照画像リストＬ０に登録された参照画像と関連づけられた動き情報を利用する予測方向であり、予測方向がＬ１方向であるとは参照画像リストＬ１に登録された参照画像と関連づけられた動き情報を利用する予測方向である。
【００４４】
（シンタックス）
本発明の実施の形態による予測ブロックのシンタックスの一例について図７を用いて説明する。予測ブロックがイントラであるかインターであるかは上位の符号化ブロックによって指定されており、図７は予測ブロックがインターの場合のシンタックスを示す。予測ブロックには、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、インター予測モード（ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅ）、参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ０とｒｅｆ＿ｉｄｘ＿ｌ１）、差分ベクトル（ｍｖｄ＿ｌ０［０］、ｍｖｄ＿ｌ０［１］、ｍｖｄ＿ｌ１［０］、ｍｖｄ＿ｌ１［１］）および予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ０およびｍｖｐ＿ｉｄｘ＿ｌ１）が設置されている。差分ベクトルの［０］は水平成分、［１］は垂直成分を示す。
【００４５】
ここで、ｒｅｆ＿ｉｄｘ＿ｌ０とｍｖｄ＿ｌ０［０］、ｍｖｄ＿ｌ０［１］、ｍｖｐ＿ｉｄｘ＿ｌ０はＬ０方向に関する情報であって、ｒｅｆ＿ｉｄｘ＿ｌ１とｍｖｄ＿ｌ１［０］、ｍｖｄ＿ｌ１［１］、ｍｖｐ＿ｉｄｘ＿ｌ１はＬ１方向に関する情報である。ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅにはＰｒｅｄ＿Ｌ０（Ｌ０方向の単方向）、Ｐｒｅｄ＿Ｌ１（Ｌ１方向の単方向）およびＰｒｅｄ＿ＢＩ（ＢＩの双方向）の３種類がある。
【００４６】
（動き情報の符号量）
図７のシンタックスからもわかるように、マージモードはマージインデックス１つで動き情報を伝送できる。したがって、マージモード（マージフラグが１）と非マージモード（マージフラグが０）の予測誤差が同程度であれば、マージモードの方が動き情報を効率よく符号化できる。すなわち、マージモードの選択率を高くすることで動き情報の符号化効率を向上させることができる。
【００４７】
なお、本発明の実施の形態による予測ブロックのシンタックスを図７のように設定したが、本発明の実施の形態によればマージモードの方が非マージモードより少ない情報で動き情報を符号化できればよく、これに限定されない。
【００４８】
（マージインデックスの特性）
図７ではマージインデックスの復号（符号化）の前段にマージの候補数を算出する関数であるＮｕｍＭｅｒｇｅＣａｎｄｓ（）が、予測ベクトルインデックスの復号（符号化）の前段に予測ベクトルの候補数を算出する関数であるＮｕｍＭｖｐＣａｎｄｓ（）が設置されている。これらは隣接ブロックの動き情報の有効性によって、マージの候補数や予測ベクトルの候補数が予測ブロック毎に変化するために、その候補数を取得するために必要な関数である。なお、隣接ブロックの動き情報が有効であるとは、その隣接ブロックが領域外のブロックやイントラモードでないことであって、隣接ブロックの動き情報が無効であるとは、その隣接ブロックが領域外のブロックやイントラモードであることである。
【００４９】
なお、マージの候補数が１である場合はマージインデックスを復号（符号化）しない。マージの候補数が１である場合は指定しなくとも一意に決定できるためである。予測ベクトルインデックスの場合も同様である。
【００５０】
また、マージインデックスの符号列について図８（ａ）〜（ｃ）を用いて説明する。本発明の実施の形態では、マージインデックスの符号列としてＴｒｕｎｃａｔｅｄ  Ｕｎａｒｙ符号列を用いる。図８（ａ）はマージの候補数が２個の場合のＴｒｕｎｃａｔｅｄ  Ｕｎａｒｙ符号列によるマージインデックスの符号列を、図８（ｂ）はマージの候補数が３個の場合のＴｒｕｎｃａｔｅｄ  Ｕｎａｒｙ符号列によるマージインデックスの符号列を、図８（ｃ）はマージの候補数が４個の場合のＴｒｕｎｃａｔｅｄ  Ｕｎａｒｙ符号列によるマージインデックスの符号列を示す。
【００５１】
図８（ａ）〜（ｃ）から同じマージインデックスの値を符号化する場合でもマージの候補数が少ないほどマージインデックスに割り当てられる符号ビット数が小さくなることがわかる。例えば、マージインデックスが１である場合、マージの候補数が２個であれば‘１’の１ビットであるが、マージの候補数が３個または４個であれば‘１０’の２ビットとなる。
【００５２】
以上のように、マージの候補数は少ないほどマージインデックスの符号化効率は向上する。すなわち、選択率が相対的に高い候補を残し、選択率が相対的に低い候補を削減することでマージインデックスの符号化効率を向上させることができる。また、候補数が同じである場合には、小さいマージインデックスの方が符号量は少なくなるため、選択率が相対的に高い候補に小さなマージインデックスを割り当てることで符号化効率を向上させることができる。
【００５３】
（ＰＯＣ）
本発明の実施の形態では、画像の時間情報（距離情報）としてＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）を用いる。ＰＯＣはＭＰＥＧ−４ＡＶＣで定義された画像の表示順序を示すカウンタである。画像の表示順序が１増加するとＰＯＣも１増加する。したがって、画像間のＰＯＣ差から画像間の時間差（距離）を取得できる。
【００５４】
（隣接ブロックの動き情報の特性）
一般的に処理対象ブロックの動き情報と処理対象ブロックに隣接するブロック（以下、隣接ブロックという）の動き情報の相関度が高いのは、処理対象ブロックと隣接ブロックが同じ動きをしている場合、例えば、処理対象ブロックと隣接ブロックを含めた領域が平行移動している場合である。また、一般的に処理対象ブロックの動き情報と隣接ブロックの動き情報の相関度は、処理対象ブロックと隣接ブロックの接している長さにも依存する。
【００５５】
（別の画像の動き情報の特性）
一方、一般的に時間ダイレクトモードや空間ダイレクトモードで利用されている復号済みの別の画像上で処理対象ブロックと同一位置にあるブロック（以下、同一位置ブロックという）と、当該処理対象ブロックとの相関度が高いのは、当該同一位置ブロックおよび当該処理対象ブロックが同じ動き情報、すなわち等速運動にある場合である。
【００５６】
以下、図面とともに本発明の好適な実施の形態に係る動画像符号化装置、動画像符号化方法および動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法および動画像復号プログラムの詳細について説明する。なお、図面の説明において同一要素には同一符号を付与して重複する説明を省略する。
【００５７】
［実施の形態１］
（動画像符号化装置１００の構成）
図９は本発明の実施の形態１に係る動画像符号化装置１００の構成を示す。動画像符号化装置１００は、動画像信号を、動き補償予測を実施する予測ブロック単位で符号化する装置である。符号化ブロックの分割、予測ブロックサイズの決定、予測符号化モードの決定は図示しない上位の符号化制御部で決定されているものとする。
【００５８】
動画像符号化装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像符号化装置１００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。なお、処理対象の予測ブロックの位置情報、予測ブロックサイズおよび動き補償予測の予測方向に関しては動画像符号化装置１００内で共有していることとし、図示しない。
【００５９】
実施の形態１の動画像符号化装置１００は、予測ブロック画像取得部１０１、減算部１０２、予測誤差符号化部１０３、符号列生成部１０４、予測誤差復号部１０５、動き補償部１０６、加算部１０７、動きベクトル検出部１０８、動き情報生成部１０９、フレームメモリ１１０、および動き情報メモリ１１１を含む。
【００６０】
（動画像符号化装置１００の機能）
以下、各部の機能について説明する。予測ブロック画像取得部１０１は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子１０より供給される画像信号から処理対象の予測ブロックの画像信号を取得し、予測ブロックの画像信号を減算部１０２、動きベクトル検出部１０８および動き情報生成部１０９に供給する。
【００６１】
減算部１０２は、予測ブロック画像取得部１０１より供給される画像信号と動き補償部１０６より供給される予測信号を減算して予測誤差信号を算出し、当該予測誤差信号を予測誤差符号化部１０３に供給する。
【００６２】
予測誤差符号化部１０３は、減算部１０２より供給される予測誤差信号に対して、量子化や直交変換などの処理を行って予測誤差符号化データを生成し、当該予測誤差符号化データを符号列生成部１０４および予測誤差復号部１０５に供給する。
【００６３】
符号列生成部１０４は、予測誤差符号化部１０３より供給される予測誤差符号化データ、ならびに動き情報生成部１０９より供給されるマージフラグ、マージ候補番号、動き補償予測の予測方向、参照画像インデックス、差分ベクトルおよび予測ベクトルインデックスを、動き補償予測の予測方向とともにシンタックスに従ってエントロピー符号化して符号列を生成し、当該符号列を端子１１に供給する。
【００６４】
ここで、マージ候補番号はマージインデックスに変換されて符号列を生成する。ここで、マージ候補番号は選択された結合動き情報候補を示す番号である。マージ候補番号からマージインデックスへの変換については後述する。なお、実施の形態１では上記のようにマージインデックスや予測ベクトルインデックスの符号化にＴｒｕｎｃａｔｅｄ  Ｕｎａｒｙ符号列を利用したが、候補数が小さいほど少ないビットで符号化できる符号列であればこれに限定されない。
【００６５】
予測誤差復号部１０５は、予測誤差符号化部１０３より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部１０７に供給する。
【００６６】
動き補償部１０６は、動き情報生成部１０９より供給される参照画像インデックスで示されるフレームメモリ１１０内の参照画像を、動き情報生成部１０９より供給される動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双方向であれば、Ｌ０方向とＬ１方向の予測信号を平均したものを予測信号とする。
【００６７】
加算部１０７は、予測誤差復号部１０５より供給される予測誤差信号と、動き補償部１０６より供給される予測信号を加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ１１０に供給する。
【００６８】
動きベクトル検出部１０８は、予測ブロック画像取得部１０１より供給される画像信号および複数の参照画像に相当する画像信号から、動きベクトルおよび参照画像を示す参照画像インデックスを検出し、当該動きベクトルおよび当該参照画像インデックスを動き情報生成部１０９に供給する。なお、予測方向が双方向であれば、Ｌ０方向とＬ１方向の動きベクトルと参照画像インデックスを検出する。
【００６９】
一般的な動きベクトルの検出方法は、対象画像の画像信号と同一位置より所定の移動量だけ移動させた参照画像に相当する画像信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、絶対差分和を示すＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）や二乗誤差平均を示すＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）などを利用することが可能である。
【００７０】
動き情報生成部１０９は、動きベクトル検出部１０８より供給される動きベクトルと参照画像インデックス、動き情報メモリ１１１より供給される候補ブロック群、およびフレームメモリ１１０内の参照画像インデックスで示される参照画像から、マージ候補番号、または差分ベクトルおよび予測ベクトルインデックスを生成し、マージフラグ、マージ候補番号、参照画像インデックス、差分ベクトルおよび予測ベクトルインデックスを必要に応じて、符号列生成部１０４、動き補償部１０６および動き情報メモリ１１１に供給する。動き情報生成部１０９の詳細な構成については後述する。
【００７１】
フレームメモリ１１０は、加算部１０７より供給される復号画像信号を記憶する。また、画像全体の復号が完了した復号画像については参照画像として、１以上の所定の画像数を記憶する。フレームメモリ１１０は、記憶した参照画像信号を動き補償部１０６および動き情報生成部１０９に供給する。参照画像を記憶する記憶領域はＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）方式で制御される。
【００７２】
動き情報メモリ１１１は、動き情報生成部１０９より供給される動き情報を最小の予測ブロックサイズ単位で所定の画像数、記憶する。処理対象の予測ブロックの隣接ブロックの動き情報を空間候補ブロック群とする。
【００７３】
また、動き情報メモリ１１１は、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上のブロックとその周辺ブロックの動き情報を時間候補ブロック群とする。動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群を候補ブロック群として動き情報生成部１０９に供給する。動き情報メモリ１１１は、フレームメモリ１１０と同期しており、ＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）方式で制御される。
【００７４】
ここで、ＣｏｌＰｉｃとは、処理対象の予測ブロックとは別の復号済みの画像であって、フレームメモリ１１０に参照画像として記憶されている画像を指す。実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像としたが、符号化済みの画像であればよく、例えば、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中で指定することも可能である。
【００７５】
ここで、動き情報メモリ１１１における動き情報の管理方法について図１０を用いて説明する。動き情報は最小の予測ブロック単位で各メモリエリアに記憶される。図１０は処理対象の予測ブロックサイズが１６画素×１６画素である場合の様子を示している。この場合、この予測ブロックの動き情報は図１０の斜線部の１６個のメモリエリアに格納される。
【００７６】
なお、予測符号化モードがイントラモードである場合、Ｌ０方向とＬ１方向の動きベクトルとして（０，０）が記憶され、Ｌ０方向とＬ１方向の参照画像インデックスとして「−１」が記憶される。なお、参照画像インデックスの「−１」は動き補償予測を実施しないモードであることが判定できればどのような値でもよい。これ以降は特に断らない限り単にブロックと表現する場合には、最小の予測ブロック単位のことを示すこととする。また、領域外のブロックである場合もイントラモードと同様に、Ｌ０方向とＬ１方向の動きベクトルとして（０，０）、Ｌ０方向とＬ１方向の参照画像インデックスとして「−１」が記憶されている。ＬＸ方向（Ｘは０または１）が有効であるとはＬＸ方向の参照画像インデックスが０以上であることで、ＬＸ方向が無効である（有効でない）とはＬＸ方向の参照画像インデックスが「−１」であることである。
【００７７】
続いて、動き情報生成部１０９の詳細な構成について図１１を用いて説明する。図１１は動き情報生成部１０９の構成を示す。動き情報生成部１０９は、差分ベクトル算出部１２０、結合動き情報決定部１２１および予測符号化モード決定部１２２を含む。端子１２は動き情報メモリ１１１に、端子１３は動きベクトル検出部１０８に、端子１４はフレームメモリ１１０に、端子１５は予測ブロック画像取得部１０１に、端子１６は符号列生成部１０４に、端子５０は動き補償部１０６に、および端子５１は動き情報メモリ１１１にそれぞれ接続されている。
【００７８】
以下、各部の機能について説明する。差分ベクトル算出部１２０は、端子１２より供給される候補ブロック群、端子１３より供給される動きベクトルと参照画像インデックス、端子１４より供給される参照画像、および端子１５より供給される画像信号から予測ベクトルインデックスを決定して、差分ベクトルおよびレート歪み評価値を算出する。そして、当該参照画像インデックス、当該動きベクトル、当該差分ベクトル、当該予測ベクトルインデックス、および当該レート歪み評価値を予測符号化モード決定部１２２に供給する。差分ベクトル算出部１２０の詳細な構成については後述する。
【００７９】
結合動き情報決定部１２１は、端子１２より供給される候補ブロック群、端子１４より供給される参照画像、および端子１５より供給される画像信号から結合動き情報候補リストを生成する。そして、結合動き情報決定部１２１は、生成した結合動き情報候補リストの中から結合動き情報候補を選択してマージ候補番号を決定すると共に、レート歪み評価値を算出して、当該結合動き情報候補の動き情報、当該マージ候補番号および当該レート歪み評価値を予測符号化モード決定部１２２に供給する。結合動き情報決定部１２１の詳細な構成については後述する。
【００８０】
予測符号化モード決定部１２２は、差分ベクトル算出部１２０より供給されるレート歪み評価値と、結合動き情報決定部１２１より供給されるレート歪み評価値とを比較する。前者の方が後者未満の場合は、マージフラグを「０」に設定する。予測符号化モード決定部１２２は、マージフラグ、および差分ベクトル算出部１２０より供給される参照画像インデックスと差分ベクトルと予測ベクトルインデックスを端子１６に供給し、差分ベクトル算出部１２０より供給される動きベクトルと参照画像インデックスを端子５０および端子５１に供給する。
【００８１】
後者が前者以下の場合は、マージフラグを１に設定する。予測符号化モード決定部１２２は、マージフラグおよび結合動き情報決定部１２１より供給されるマージ候補番号を端子１６に供給し、結合動き情報決定部１２１より供給される動き情報の動きベクトルと参照画像インデックスを端子５０および端子５１に供給する。なお、レート歪み評価値の具体的な算出方法は本発明の主眼ではないため詳細は省略するが、レート歪み評価値が小さいほど符号化効率は高くなる特性を持つ評価値である。
【００８２】
続いて、差分ベクトル算出部１２０の詳細な構成について図１２を用いて説明する。図１２は差分ベクトル算出部１２０の構成を示す。差分ベクトル算出部１２０は、予測ベクトル候補リスト生成部１３０、予測ベクトル決定部１３１および減算部１３２を含む。端子１７は予測符号化モード決定部１２２に接続されている。
【００８３】
予測ベクトル候補リスト生成部１３０は、実施の形態１による動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００（図３０）にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて矛盾のない予測ベクトル候補リストが生成される。
【００８４】
以下、各部の機能について説明する。予測ベクトル候補リスト生成部１３０は、端子１２より供給される候補ブロック群から領域外である候補ブロックや、イントラモードである候補ブロックを削除する。さらに重複している動きベクトルを持つ候補ブロックが複数存在する場合には１つの候補ブロックを残して、残りを削除する。予測ベクトル候補リスト生成部１３０は、これら削除後の候補ブロックから予測ベクトル候補リストを生成し、予測ベクトル候補リストを予測ベクトル決定部１３１に供給する。このようにして生成された予測ベクトル候補リストには重複のない予測ベクトル候補が１つ以上含まれるとする。例えば、動きベクトルを持つ候補ブロックが1つもない場合には、ベクトル（０，０）が予測ベクトル候補リストに追加される。なお、予測方向が双方向であれば、Ｌ０方向とＬ１方向について予測ベクトル候補リストを生成して供給する。
【００８５】
予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給される予測ベクトル候補リストの中から、端子１３より供給される動きベクトルに最適な予測ベクトルを選択する。予測ベクトル決定部１３１は、選択した予測ベクトルを減算部１３２に供給するとともに、参照画像インデックスおよび選択された予測ベクトルを示す情報である予測ベクトルインデックスを端子１７に供給する。なお、予測方向が双方向であれば、Ｌ０方向とＬ１方向について最適な予測ベクトルを選択して供給する。
【００８６】
ここで、予測ベクトル候補が持つ動きベクトルに基づいて、端子１４より供給される参照画像と端子１５より供給される画像信号から予測誤差量がそれぞれ算出される。そして、参照画像インデックス、差分ベクトルおよび予測ベクトルインデックスの符号量と、上述の予測誤差量とからレート歪み評価値が算出されて、レート歪み評価値が最小となる予測ベクトル候補が最適な予測ベクトルとして選択される。
【００８７】
減算部１３２は、端子１３より供給される動きベクトルから予測ベクトル決定部１３１より供給される予測ベクトルを減算して差分ベクトルを算出し、当該差分ベクトルを端子１７に供給する。なお、予測方向が双方向であれば、Ｌ０方向とＬ１方向について差分ベクトルを算出して供給する。
【００８８】
（予測ベクトル候補リスト生成部１３０に供給される候補ブロック群）
ここで、予測ベクトル候補リスト生成部１３０に供給される候補ブロック群について図１３と図１４を用いて説明する。候補ブロック群には空間候補ブロック群と時間候補ブロック群が含まれる。
【００８９】
図１３は処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックの隣接ブロックを示す。実施の形態１では、空間候補ブロック群として、図１３に示すブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとする。ここでは、空間候補ブロック群をブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであればよく、これらに限定されない。例えば、ブロックＡ１、ブロックＡ２、ブロックＡ３、ブロックＡ４、ブロックＢ１、ブロックＢ２、ブロックＢ３、ブロックＢ４、ブロックＣ、ブロックＤおよびブロックＥの全てを空間候補ブロックとしてもよい。
【００９０】
次に、時間候補ブロック群について図１４を用いて説明する。図１４は処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上の予測ブロック内のブロックとその周辺ブロックを示す。実施の形態１では、時間候補ブロック群として、図１４に示すブロックＨとブロックＩ６の２ブロックとする。
【００９１】
ここでは、時間候補ブロック群をＣｏｌＰｉｃ上のブロックＨとブロックＩ６の２ブロックとしたが、時間候補ブロック群は、処理対象の予測ブロックとは別の復号済みの画像上の少なくとも１以上のブロックであればよく、これらに限定されない。例えば、ＣｏｌＰｉｃ上のブロックＩ１からブロックＩ１６、ブロックＡ１からブロックＡ４、ブロックＢ１からブロックＢ４、ブロックＣ、ブロックＤ、ブロックＥ、ブロックＦ１からブロックＦ４、ブロックＧ１からブロックＧ４およびブロックＨの全てを時間候補ブロックとしてもよい。以降特に断らない限り、ブロックＡ４をブロックＡ、ブロックＢ４をブロックＢと表記する。以降特に断らない限り、ブロックＨとブロックＩ６のブロックを時間ブロックと表記する。
【００９２】
続いて、結合動き情報決定部１２１の詳細な構成について図１５を用いて説明する。図１５は結合動き情報決定部１２１の構成を示す。結合動き情報決定部１２１は、結合動き情報候補生成部１４０および結合動き情報選択部１４１を含む。結合動き情報候補生成部１４０は、実施の形態１による動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて矛盾のない結合動き情報リストが生成される。
【００９３】
以下、各部の機能について説明する。結合動き情報候補生成部１４０は、端子１２より供給される候補ブロック群から結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部１４１に供給する。結合動き情報候補生成部１４０の詳細な構成については後述する。
【００９４】
結合動き情報選択部１４１は、結合動き情報候補生成部１４０より供給される結合動き情報候補リストの中から、最適な結合動き情報候補を選択し、選択された結合動き情報候補を示す情報であるマージ候補番号を端子１７に供給する。
【００９５】
ここで、結合動き情報候補の予測方向、動きベクトルおよび参照画像インデックスに基づいて得られる端子１４より供給される参照画像と、端子１５より供給される画像信号とから予測誤差量が算出される。マージ候補番号の符号量と、当該予測誤差量とからレート歪み評価値が算出されて、レート歪み評価値が最小となる結合動き情報候補が最適な結合動き情報候補として選択される。
【００９６】
ここで、結合動き情報候補生成部１４０に供給される候補ブロック群について図１３と図１４を用いて説明する。候補ブロック群には空間候補ブロック群と時間候補ブロック群が含まれる。実施の形態１では、空間候補ブロック群を図１３に示すブロックＡ４、ブロックＢ４、ブロックＣおよびブロックＥの４ブロックとする。ここでは、空間候補ブロック群をブロックＡ４、ブロックＢ４、ブロックＣおよびブロックＥの４ブロックとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであればよく、ブロックの数や位置はこれらに限定されない。例えば、空間候補ブロック群をブロックＡ１、ブロックＢ１、ブロックＣ、ブロックＥおよびブロックＤの５ブロックとしてもよい。
【００９７】
次に、時間候補ブロック群について図１４を用いて説明する。実施の形態１では、時間候補ブロック群として、図１４に示すブロックＨとブロックＩ６の２ブロックとする。ここでは、時間候補ブロック群を予測ベクトル候補リスト生成部１３０に供給される時間候補ブロック群と同じとしたが、時間候補ブロック群は、処理対象の予測ブロックとは別の復号済みの画像上のブロックであればよく、ブロックの数や位置はこれらに限定されない。
【００９８】
続いて、結合動き情報候補生成部１４０の詳細な構成について図１６を用いて説明する。図１６は結合動き情報候補生成部１４０の構成を示す。端子１８は結合動き情報選択部１４１に接続されている。結合動き情報候補生成部１４０は、単結合動き情報候補リスト生成部１５０、スケーリング結合動き情報候補生成部１５１および結合動き情報候補リスト削減部１５２を含む。
【００９９】
以下、各部の機能について説明する。単結合動き情報候補リスト生成部１５０は、端子１２より供給される候補ブロック群から第１結合動き情報候補リストを生成し、当該第１結合動き情報候補リストをスケーリング結合動き情報候補生成部１５１に供給する。
【０１００】
スケーリング結合動き情報候補生成部１５１は、単結合動き情報候補リスト生成部１５０より供給される第１結合動き情報候補リストからスケーリング結合動き情報候補を生成し、当該スケーリング結合動き情報候補を第１結合動き情報候補リストに追加して第２結合動き情報候補リストを生成し、当該第２結合動き情報候補リストを結合動き情報候補リスト削減部１５２に供給する。
【０１０１】
結合動き情報候補リスト削減部１５２は、スケーリング結合動き情報候補生成部１５１より供給される第２結合動き情報候補リストから重複している動き情報を持つ結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残して、残りを削除して結合動き情報候補リストを生成し、当該結合動き情報候補リストを端子１８に供給する。
【０１０２】
ここで、単結合動き情報候補は、所謂マージ技術で利用される候補ブロックの動き情報候補のことであって１つの候補ブロックから得られる動き情報である。一方、スケーリング結合動き情報は、１つの候補ブロックの１つまたは２つの動き情報をスケーリングして得られる動き情報である。本実施の形態では候補ブロックの１つの動き情報をスケーリングして利用する。
【０１０３】
続いて、スケーリング結合動き情報候補生成部１５１の詳細な構成について図１７を用いて説明する。図１７はスケーリング結合動き情報候補生成部１５１の構成を示す。端子１９は単結合動き情報候補リスト生成部１５０に、端子２０は結合動き情報候補リスト削減部１５２にそれぞれ接続されている。スケーリング結合動き情報候補生成部１５１は、対象候補選択部１６０、参照画像設定部１６１、スケーリング部１６２およびスケーリング結合動き情報候補追加部１６３を含む。
【０１０４】
以下、各部の機能について説明する。対象候補選択部１６０は、端子１９より供給される第１結合動き情報候補リストの中からスケーリング結合動き情報候補の対象となる結合動き情報候補を選択し、対象となる結合動き情報候補の情報および第１結合動き情報候補リストを参照画像設定部１６１に供給する。
【０１０５】
参照画像設定部１６１は対象候補選択部１６０より供給される対象となる結合動き情報候補の情報および第１結合動き情報候補リストをもとに、スケーリング結合動き情報候補のＬ０方向及びＬ１方向の参照画像を設定する。参照画像設定部１６１は、当該Ｌ０方向とＬ１方向の参照画像情報、上述の対象となる結合動き情報候補の情報および第１結合動き情報候補リストをスケーリング部１６２に供給する。
【０１０６】
スケーリング部１６２は参照画像設定部１６１より供給される当該Ｌ０方向とＬ１方向の参照画像情報、上述の対象となる結合動き情報候補の情報および第１結合動き情報候補リストからスケーリング結合動き情報候補の動きベクトルをスケーリングにより算出してスケーリング結合動き情報候補を確定する。スケーリング部１６２は当該スケーリング結合動き情報候補および第１結合動き情報候補リストをスケーリング結合動き情報候補追加部１６３に供給する。
【０１０７】
スケーリング結合動き情報候補追加部１６３はスケーリング部１６２より供給されるスケーリング結合動き情報候補を第１結合動き情報候補リストに追加して第２結合動き情報候補リストを生成し、第２結合動き情報候補リストを端子２０に供給する。
【０１０８】
（候補番号管理テーブル）
ここで、実施の形態１で利用するマージ候補番号と結合動き情報候補の関係を示す候補番号管理テーブルについて図１８を用いて説明する。マージ候補番号の０から６は、それぞれ結合動き情報候補リストに含まれるブロックＡの結合動き情報候補（Ａ）、ブロックＢの結合動き情報候補（Ｂ）、時間ブロックの結合動き情報候補（ＣＯＬ）、ブロックＣの結合動き情報候補（Ｃ）、ブロックＥの結合動き情報候補（Ｅ）、第１のスケーリング結合動き情報候補（ＢＰ０）、および第２のスケーリング結合動き情報候補（ＢＰ１）を示す。また、結合動き情報候補リストに含まれる結合動き情報候補の最大数は７（マージインデックスの最大値は６）であるとする。なお、実施の形態１で利用する候補番号管理テーブルを図１８としたが、選択率が相対的に高い結合動き情報候補ほど小さいマージ候補番号が割り当てられていればよくこれに限定されない。また、実施の形態１で利用するスケーリング結合動き情報候補の最大数を２つとしたが、１つ以上であればよくこれに限定されない。
【０１０９】
ここで、候補番号管理テーブル、および結合動き情報候補リストに含まれる結合動き情報候補の最大数は動画像符号化装置１００内で共有していることとし、図示しない。以下、マージ候補番号からマージインデックスへの変換について図１９（ａ）、（ｂ）を用いて説明する。
【０１１０】
図１９（ａ）は、ブロックＡの結合動き情報候補、ブロックＢの結合動き情報候補、時間ブロックの結合動き情報候補、ブロックＣの結合動き情報候補，ブロックＥの結合動き情報候補、第１のスケーリング結合動き情報候補、および第２のスケーリング結合動き情報候補が全て有効である場合に、マージ候補番号はそのままマージインデックスとなることを示している。
【０１１１】
図１９（ｂ）は、結合動き情報候補に無効なブロックが含まれている場合、無効であるマージ候補番号を詰めてからマージ候補番号の小さい順序にマージインデックスが割り当てられる場合を示している。図１９（ｂ）のようにマージ候補番号が１のブロックＢとマージ候補番号が４のブロックＥの結合動き情報候補が無効である場合、マージインデックスの０はマージ候補番号０に、マージインデックスの１はマージ候補番号２に、マージインデックスの２はマージ候補番号３に、マージインデックスの３はマージ候補番号５に、およびマージインデックスの４はマージ候補番号６にそれぞれ変換される。
【０１１２】
実施の形態１による動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００ではマージインデックスからマージ候補番号に上記とは逆の変換が行われて、動画像符号化装置１００と動画像復号装置２００にて矛盾のない候補番号管理テーブルが生成される。
【０１１３】
（動画像符号化装置１００の動作）
続いて、図２０のフローチャートを用いて、実施の形態１の動画像符号化装置１００における符号化の動作を説明する。予測ブロック画像取得部１０１は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子１０より供給される画像信号から処理対象の予測ブロックの画像信号を取得する（Ｓ１００）。
【０１１４】
動きベクトル検出部１０８は、予測ブロック画像取得部１０１より供給される画像信号と複数の参照画像に相当する画像信号から、動きベクトルおよび参照画像を示す参照画像インデックスを検出する（Ｓ１０１）。
【０１１５】
動き情報生成部１０９は、動きベクトル検出部１０８より供給される動きベクトルと参照画像インデックス、動き情報メモリ１１１より供給される候補ブロック群のマージ候補番号或いは差分ベクトルと予測ベクトルインデックスが供給され、その中から画像の予測信号を生成するための動き情報を生成する（Ｓ１０２）。
【０１１６】
動き補償部１０６は、フレームメモリ１１０内の参照画像インデックスで示される参照画像を、動きベクトル検出部１０８より供給される動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双方向であれば、Ｌ０方向とＬ１方向の予測信号を平均したものを予測信号として生成する（Ｓ１０３）。
【０１１７】
減算部１０２は、予測ブロック画像取得部１０１より供給される画像信号と、動き補償部１０６より供給される予測信号との差分を算出して予測誤差信号を算出する（Ｓ１０４）。予測誤差符号化部１０３は、減算部１０２より供給される予測誤差信号に対して、量子化や直交変換などの処理を行って予測誤差符号化データを生成する（Ｓ１０５）。
【０１１８】
符号列生成部１０４は、予測誤差符号化部１０３より供給される予測誤差符号化データ、ならびに動き情報生成部１０９より供給されるマージフラグ、マージ候補番号、参照画像インデックス、差分ベクトルおよび予測ベクトルインデックスを、予測方向とともにシンタックスに従ってエントロピー符号化して符号列を生成する（Ｓ１０６）。
【０１１９】
加算部１０７は、予測誤差復号部１０５より供給される予測誤差信号と、動き補償部１０６より供給される予測信号とを加算して復号画像信号を生成する（Ｓ１０７）。フレームメモリ１１０は、加算部１０７より供給される復号画像信号を記憶する（Ｓ１０８）。動き情報メモリ１１１は、動きベクトル検出部１０８より供給される動きベクトルを、最小の予測ブロックサイズ単位で１画像分記憶する（Ｓ１０９）。
【０１２０】
引き続いて、図２１のフローチャートを用いて、動き情報生成部１０９の動作を説明する。差分ベクトル算出部１２０は、端子１２より供給される候補ブロック群、端子１３より供給される動きベクトルと参照画像インデックス、端子１４より供給される参照画像、および端子１５より供給される画像信号から、予測ベクトル候補リストを作成し、予測ベクトルインデックスを決定して差分ベクトルとレート歪み評価値を算出する（Ｓ１１０）。
【０１２１】
結合動き情報決定部１２１は、端子１２より供給される候補ブロック群、端子１４より供給される参照画像、および端子１５より供給される画像信号から、結合動き情報候補リストを作成し、マージ候補番号を決定してレート歪み評価値を算出する（Ｓ１１１）。
【０１２２】
予測符号化モード決定部１２２は、差分ベクトル算出部１２０より供給されるレート歪み評価値と、結合動き情報決定部１２１より供給されるレート歪み評価値を比較し、前者が後者より小さい場合はマージフラグを「０」に設定し、そうでない場合は、マージフラグを「１」に設定する（Ｓ１１２）。
【０１２３】
引き続いて、図２２のフローチャートを用いて、差分ベクトル算出部１２０の動作を説明する。予測ベクトル候補リスト生成部１３０は、端子１２より供給される候補ブロック群から領域外である候補ブロック、イントラモードである候補ブロック、および重複している動きベクトルを持つ候補ブロックを除いた候補ブロックから、予測ベクトル候補リストを生成する。予測方向が双方向であれば、Ｌ０方向とＬ１方向について予測ベクトル候補リストを生成する（Ｓ１２０）。
【０１２４】
予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給される予測ベクトル候補リストの中から、端子１３より供給される動きベクトルに最適な予測ベクトルを選択する。予測方向が双方向であれば、Ｌ０方向とＬ１方向について最適な予測ベクトルを選択する（Ｓ１２１）。減算部１３２は、端子１３より供給される動きベクトルから、予測ベクトル決定部１３１より供給される予測ベクトルを減算して差分ベクトルを算出する。予測方向が双方向であれば、Ｌ０方向とＬ１方向について差分ベクトルを算出する（Ｓ１２２）。
【０１２５】
引き続いて、図２３のフローチャートを用いて、結合動き情報決定部１２１の動作を詳細に説明する。結合動き情報候補生成部１４０は、端子１２より供給される候補ブロック群から結合動き情報候補リストを生成する（Ｓ１３０）。結合動き情報選択部１４１は、結合動き情報候補生成部１４０より供給される結合動き情報候補リストの中から、端子１３より供給される動きベクトルと参照画像インデックス、および予測方向に最適な結合動き情報を決定する（Ｓ１３１）。
【０１２６】
引き続いて、図２４のフローチャートを用いて、結合動き情報候補生成部１４０の動作を詳細に説明する。単結合動き情報候補リスト生成部１５０は、端子１２より供給される空間候補ブロック群から領域外である候補ブロックおよびイントラモードである候補ブロックを除いた候補ブロックから空間結合動き情報候補リストを生成する（Ｓ１４０）。空間結合動き情報候補リストの生成の詳細な動作は後述する。
【０１２７】
単結合動き情報候補リスト生成部１５０は、端子１２より供給される時間候補ブロック群から領域外である候補ブロックおよびイントラモードである候補ブロックを除いた候補ブロックから、時間結合動き情報候補リストを生成する（Ｓ１４１）。時間結合動き情報候補リストの生成の詳細な動作は後述する。
【０１２８】
単結合動き情報候補リスト生成部１５０は、空間結合動き情報候補リストと時間結合動き情報候補リストをマージ候補番号の順序で結合して第１結合動き情報候補リストを生成する（Ｓ１４２）。
【０１２９】
スケーリング結合動き情報候補生成部１５１は、単結合動き情報候補リスト生成部１５０より供給される第１結合動き情報候補リストからスケーリング結合動き情報候補の対象となる結合動き情報候補を選択し、スケーリング結合動き情報候補を生成する（Ｓ１４３）。スケーリング結合動き情報候補の生成の詳細な動作は後述する。
【０１３０】
スケーリング結合動き情報候補生成部１５１は、第１結合動き情報候補リストにスケーリング結合動き情報候補をマージ候補番号の順序で追加し、第２結合動き情報候補リストを生成する（Ｓ１４４）。
【０１３１】
結合動き情報候補リスト削減部１５２は、スケーリング結合動き情報候補生成部１５１より供給される第２結合動き情報候補リストから重複している動き情報を持つ結合動き情報候補が複数存在する場合には、１つの結合動き情報候補を残して、残りを削除して結合動き情報候補リストを生成する（Ｓ１４５）。
【０１３２】
引き続いて、図２５のフローチャートを用いて、空間結合動き情報候補リストの生成の詳細な動作を説明する。図２５は、空間結合動き情報候補リストの生成の詳細な動作を説明するためのフローチャートである。実施の形態１では、空間結合動き情報候補リストには４以下の候補ブロックの動き情報が含まれるとする。
【０１３３】
空間候補ブロック群に含まれる４つの候補ブロックであるブロックＡ、ブロックＢ、ブロックＣおよびブロックＥについて以下の処理を繰り返し行う（Ｓ１５０からＳ１５３）。候補ブロックの有効性を検査する（Ｓ１５１）。候補ブロックが領域外でなくイントラモードでもない場合に候補ブロックは有効となる。候補ブロックが有効であれば（Ｓ１５１のＹ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ１５２）。候補ブロックが有効でなければ（Ｓ１５１のＮ）、ステップＳ１５２はスキップされる。
【０１３４】
実施の形態１では空間結合動き情報候補リストには４以下の候補ブロックの動き情報が含まれるとしたが、候補ブロックの有効性によって空間結合動き情報候補の数が変動すればよく、これに限定されない。
【０１３５】
引き続いて、図２６のフローチャートを用いて、時間結合動き情報候補リストの生成の詳細な動作を説明する。図２６は時間結合動き情報候補リストの生成の詳細な動作を説明するフローチャートである。実施の形態１では、時間結合動き情報候補リストには１以下の候補ブロックの動き情報が含まれるとする。
【０１３６】
時間候補ブロック群に含まれる２つの候補ブロックである時間ブロックについて以下の処理を繰り返し行う（Ｓ１６０からＳ１６６）。候補ブロックの有効性を検査する（Ｓ１６１）。候補ブロックが領域外でなくイントラモードでもない場合に候補ブロックは有効となる。候補ブロックが有効であれば（Ｓ１６１のＹ）、時間結合動き情報候補が生成され、時間結合動き情報候補が時間結合動き情報候補リストに追加され（ステップＳ１６２からステップＳ１６５）、処理を終了する。候補ブロックが有効でなければ（Ｓ１６１のＮ）、次の候補ブロックを検査する（Ｓ１６６）。
【０１３７】
候補ブロックが有効であれば、時間結合動き情報候補の予測方向の決定を行う（Ｓ１６２）。実施の形態１では結合動き情報候補の予測方向を双方向とする。次に、時間結合動き情報候補のＬ０方向、Ｌ１方向の参照画像の決定を行う（Ｓ１６３）。実施の形態１ではＬ０方向の参照画像を、Ｌ０方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とし、Ｌ１方向の参照画像を、Ｌ１方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とする。ここでは、Ｌ０方向の参照画像を、Ｌ０方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とし、Ｌ１方向の参照画像を、Ｌ１方向の参照画像のうち処理対象画像に最も近い距離にある参照画像としたが、Ｌ０方向の参照画像とＬ１方向の参照画像が決定できればよく、これに限定されない。例えば、符号化ストリーム中にＬ０方向及びＬ１方向の参照画像を符号化してもよく、Ｌ０方向及びＬ１方向の参照画像インデックスを０にしてもよく、処理対象ブロックの隣接ブロックが使用しているＬ０方向の参照画像及びＬ１方向の参照画像で、最も多く使用されている参照画像をＬ０方向、Ｌ１方向のそれぞれの参照する参照画像としてもよい。
【０１３８】
次に、時間結合動き情報候補の動きベクトルを算出する（Ｓ１６４）。本実施の形態における、時間結合動き情報候補は、候補ブロックの動き情報で有効な予測方向である参照画像ＣｏｌＲｅｆＰｉｃと動きベクトルｍｖＣｏｌを基準に、双方向の動き情報を算出する。
【０１３９】
候補ブロックの予測方向がＬ０方向もしくはＬ１方向の単方向の場合には、その予測方向の参照画像と動きベクトルを基準として選択する。
【０１４０】
候補ブロックの予測方向が双方向である場合には、Ｌ０方向或いはＬ１方向のいずれか一方の参照画像と動きベクトルを基準として選択する。例えば、ＣｏｌＰｉｃと同じ時間方向に存在する参照画像と動きベクトルを基準として選択する、候補ブロックのＬ０方向或いはＬ１方向の参照画像のいずれかと、ＣｏｌＰｉｃとの画像間距離が近い方を基準として選択する、候補ブロックのＬ０方向或いはＬ１方向のいずれかの動きベクトルが処理対象画像と交差する方を基準として選択する等が挙げられる。
【０１４１】
時間結合動き情報生成の基準とする参照画像と動きベクトルが選択されたら、時間結合動き情報候補の動きベクトルを算出する。
【０１４２】
ここで、時間結合動き情報生成の基準とする動きベクトルＣｏｌＭｖと参照画像ＣｏｌＲｅｆＰｉｃからの時間結合動き情報候補の動きベクトルｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法について図２７を用いて説明する。図２７は時間結合動き情報候補の動きベクトルｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。
【０１４３】
ＣｏｌＰｉｃとＣｏｌＲｅｆＰｉｃの画像間距離をＣｏｌＤｉｓｔとし、時間結合動き情報候補のＬ０方向の参照画像ＣｏｌＬ０Ｐｉｃと処理対象画像ＣｕｒＰｉｃの画像間距離をＣｕｒＬ０Ｄｉｓｔ、時間結合動き情報候補のＬ１方向の参照画像ＣｏｌＬ１Ｐｉｃと処理対象画像ＣｕｒＰｉｃの画像間距離をＣｕｒＬ１Ｄｉｓｔとすると、ＣｏｌＭｖをＣｏｌＤｉｓｔとＣｕｒＬ０Ｄｉｓｔ、ＣｕｒＬ１Ｄｉｓｔの距離比率でスケーリングした下記式１の動きベクトルを、時間結合動き情報候補の動きベクトルとする。ここで、画像間距離の算出はＰＯＣを用いて行われ、正負の符号を有する。なお、除算は四捨五入で行われる。
ｍｖＬ０ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ０Ｄｉｓｔ／ＣｏｌＤｉｓｔ 
ｍｖＬ１ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ１Ｄｉｓｔ／ＣｏｌＤｉｓｔ    ・・・（式１）
なお、図２７のＣｏｌＰｉｃ、ＣｏｌＲｅｆＰｉｃ、ＣｏｌＬ０Ｐｉｃ、ＣｏｌＬ１Ｐｉｃは一例であってこれ以外の関係であってもよい。
【０１４４】
ここでは上記のようにして時間結合動き情報候補を生成したが、符号化済みの別の画像の動き情報を利用して双方向の動き情報が決定できればよく、これに限定されない。図２６に戻り、ステップＳ１６４で算出された時間結合動き情報候補を時間結合動き情報候補リストに追加する（Ｓ１６５）。候補ブロックが無効であれば（Ｓ１６１のＮ）、次の候補ブロックを検査する（Ｓ１６６）。
【０１４５】
ここでは時間結合動き情報候補リストには１以下の候補ブロックの動き情報が含まれるとしたが、候補ブロックの有効性によって時間結合動き情報候補の数が変動すればよく、これに限定されない。予測方向、参照画像および動きベクトルの決定方法についても同様に、これらに限定されない。
【０１４６】
（スケーリング結合動き情報候補の生成）
引き続いて、図２８のフローチャートを用いて、スケーリング結合動き情報候補の生成の詳細な動作を説明する。図２８はスケーリング結合動き情報候補の生成の詳細な動作を説明するためのフローチャートである。スケーリング結合動き情報候補生成部１５１は、第１結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）に対応する回数、以下の処理を繰り返す（Ｓ１７０からＳ１７６）。対象候補選択部１６０は、スケーリング結合動き情報候補を追加可能であるか検査する（Ｓ１７１）。具体的には、既に追加されたスケーリング結合動き情報候補の数が２未満であることを検査する。スケーリング結合動き情報候補を追加可能であれば（Ｓ１７１のＹ）、対象候補選択部１６０は、候補ブロックが有効であるか検査する（Ｓ１７２）。候補ブロックが領域外でなくイントラモードでもない場合に候補ブロックは有効となる。候補ブロックが有効であれば（Ｓ１７２のＹ）、対象候補選択部１６０は、候補ブロックの予測方向が単方向であるかを検査する（Ｓ１７３）。
【０１４７】
候補ブロックの予測方向が単方向であれば（Ｓ１７３のＹ）、有効である予測方向をＬＸ方向とし、参照画像設定部１６１は、候補ブロックの参照画像をスケーリング結合動き情報候補のＬＸ方向の参照画像とし、スケーリング結合動き情報候補のＬＹ方向の参照画像を設定する（Ｓ１７４）。ここで、ＬＸはＬ０またはＬ１のいずれかである。また、ＬＹはＬＸの反対の参照リストを表す。即ち、ＬＸがＬ０であればＬＹはＬ１となり、ＬＸがＬ１であればＬＹはＬ０となる。実施の形態１では、スケーリング結合動き情報候補のＬＹ方向の参照画像としてＬＹ方向の参照画像インデックスの０で示される参照画像とする。実施の形態１では、ＬＹ方向の参照画像としてＬＹ方向の参照画像インデックスの０で示される参照画像としたが、ＬＹ方向の参照画像を設定できればよくこれに限定されない。例えば、時間結合動き情報候補の生成におけるステップＳ１６３で決定したＬＹ方向の参照画像を設定することもできる。
【０１４８】
スケーリング部１６２は、スケーリング結合動き情報候補のＬＹ方向の動きベクトルをスケーリング結合動き情報候補のＬＸ方向の動きベクトルをスケーリングすることによって算出する（Ｓ１７５）。スケーリング結合動き情報候補を追加可能でなければ（Ｓ１７１のＮ）、処理を終了する。候補ブロックが有効でなければ（Ｓ１７２のＮ）、または候補ブロックの予測方向が単方向でなければ（Ｓ１７３のＮ）、次の候補を検査する（Ｓ１７６）。
【０１４９】
ここで、ＬＸ方向の参照画像ＲｅｆＬＸＰｉｃ、ＬＸ方向の動きベクトルｍｖＬＸ、ＬＹ方向の参照画像ＲｅｆＬＹＰｉｃからスケーリング結合動き情報候補のＬＹ方向の動きベクトルｍｖＬＹの算出手法について図２９を用いて説明する。図２９はスケーリング結合動き情報候補のＬＹ方向の動きベクトルの算出手法を説明するための図である。
【０１５０】
処理対象画像ＣｕｒＰｉｃとＬＸ方向の参照画像ＲｅｆＬＸＰｉｃの画像間距離ＣｕｒＬＸＤｉｓｔを下記式２により算出する。
ＣｕｒＬＸＤｉｓｔ＝ＣｕｒＰＯＣ−ＲｅｆＬＸＰＯＣ    ・・・（式２）
処理対象画像ＣｕｒＰｉｃとＬＹ方向の参照画像ＲｅｆＬＹＰｉｃの画像間距離をＣｕｒＬＹＤｉｓｔを下記式３により算出する。
ＣｕｒＬＹＤｉｓｔ＝ＣｕｒＰＯＣ−ＲｅｆＬＹＰＯＣ    ・・・（式３）
ここで、ＣｕｒＰＯＣは処理対象画像ＣｕｒＰｉｃのＰＯＣであり、ＲｅｆＬＸＰＯＣはＬＸ方向の参照画像ＲｅｆＬＸＰｉｃのＰＯＣであり、ＲｅｆＬＹＰＯＣはＬＹ方向の参照画像ＲｅｆＬＹＰｉｃのＰＯＣである。なお、ＣｕｒＬＸＤｉｓｔおよびＣｕｒＬＹＤｉｓｔは処理対象画像ＣｕｒＰｉｃを基準に過去の参照画像との距離を示す場合は負の値となり、未来の参照画像との距離を示す場合は正の値となる。
【０１５１】
さらに、ｍｖＬＸをＣｕｒＬＸＤｉｓｔとＣｕｒＬＹＤｉｓｔの距離比率でスケーリングした下記式４の動きベクトルを、ｍｖＬＹとする。なお、除算は四捨五入で行われる。
ｍｖＬＹ＝ｍｖＬＸ×ＣｕｒｒＬＹＤｉｓｔ／ＣｕｒｒＬＸＤｉｓｔ    ・・・（式４）
なお、図２９のＣｕｒＰｉｃ、ＲｅｆＬＸＰｉｃ、ＲｅｆＬＹＰｉｃは一例であってこれ以外の関係であってもよい。
【０１５２】
ここでは第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）に対応する回数、検査するとしたが、スケーリング結合動き情報候補が決定できればよく、これに限定されない。例えば、選択率が相対的に高い結合動き情報候補だけからスケーリング結合動き情報候補を生成する場合には検査数を２や３のような所定数に固定して処理量を削減するとともに冗長なスケーリング結合動き情報候補の生成可能性を低下させてマージインデックスの符号量を削減することもできる。また、最初から双方向である時間ブロックを検査対象からはずすこともできる。
【０１５３】
（動画像復号装置２００の構成）
次に、実施の形態１の動画像復号装置を説明する。図３０は実施の形態１の動画像復号装置２００を示す。動画像復号装置２００は、動画像符号化装置１００により符号化された符号列を復号して再生画像を生成する装置である。
【０１５４】
動画像復号装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像復号装置２００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。なお、復号対象の予測ブロックの位置情報、予測ブロックサイズに関しては動画像復号装置２００内で共有していることとし、図示しない。また、候補番号管理テーブル、および結合動き情報候補リストに含まれる結合動き情報候補の最大数は動画像復号装置２００内で共有していることとし、図示しない。
【０１５５】
実施の形態１の動画像復号装置２００は、符号列解析部２０１、予測誤差復号部２０２、加算部２０３、動き情報再生部２０４、動き補償部２０５、フレームメモリ２０６および動き情報メモリ２０７を備える。
【０１５６】
（動画像復号装置２００の機能）
以下、各部の機能について説明する。符号列解析部２０１は、端子３０より供給された符号列を復号して予測誤差符号化データ、マージフラグ、マージ候補番号、動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従って復号する。そして、当該予測誤差符号化データを予測誤差復号部２０２に、当該マージフラグ、当該マージ候補番号、当該動き補償予測の予測方向、当該参照画像インデックス、当該差分ベクトル、および当該予測ベクトルインデックスを動き情報再生部２０４に供給する。なお、マージ候補番号はマージインデックスより変換されて得られる。
【０１５７】
予測誤差復号部２０２は、符号列解析部２０１より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部２０３に供給する。
【０１５８】
加算部２０３は、予測誤差復号部２０２より供給される予測誤差信号と、動き補償部２０５より供給される予測信号とを加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ２０６および端子３１に供給する。
【０１５９】
動き情報再生部２０４は、符号列解析部２０１より供給されるマージフラグ、マージ候補番号、動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスと、動き情報メモリ２０７より供給される候補ブロック群から、動き情報を再生し、当該動き情報を動き補償部２０５に供給する。動き情報再生部２０４の詳細な構成については後述する。
【０１６０】
動き補償部２０５は、動き情報再生部２０４より供給される動き情報に基づいて、フレームメモリ２０６内の参照画像インデックスが示す参照画像を、動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双方向であれば、Ｌ０方向とＬ１方向の予測信号を平均したものを予測信号として生成し、当該予測信号を加算部２０３に供給する。
【０１６１】
フレームメモリ２０６および動き情報メモリ２０７は、動画像符号化装置１００のフレームメモリ１１０および動き情報メモリ１１１と同一の機能を有する。
【０１６２】
（動き情報再生部２０４の詳細な構成）
続いて、動き情報再生部２０４の詳細な構成について図３１を用いて説明する。図３１は動き情報再生部２０４の構成を示す。動き情報再生部２０４は、符号化モード判定部２１０、動きベクトル再生部２１１および結合動き情報再生部２１２を含む。端子３２は符号列解析部２０１に、端子３３は動き情報メモリ２０７に、端子３４は動き補償部２０５にそれぞれ接続されている。
【０１６３】
以下、各部の機能について説明する。符号化モード判定部２１０は、符号列解析部２０１より供給されるマージフラグが「０」であれば、符号列解析部２０１より供給される動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスを動きベクトル再生部２１１に供給する。マージフラグが「１」であれば、符号列解析部２０１より供給されるマージ候補番号を結合動き情報再生部２１２に供給する。
【０１６４】
動きベクトル再生部２１１は、符号化モード判定部２１０より供給される動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスと、端子３３より供給される候補ブロック群から、動き情報を再生して端子３４に供給する。動きベクトル再生部２１１の詳細な構成については後述する。
【０１６５】
結合動き情報再生部２１２は、符号化モード判定部２１０より供給されるマージ候補番号と、端子３３より供給される候補ブロック群から、動き情報を再生して端子３４に供給する。結合動き情報再生部２１２の詳細な構成については後述する。
【０１６６】
続いて、動きベクトル再生部２１１の詳細な構成について図３２を用いて説明する。図３２は動きベクトル再生部２１１の構成を示す。動きベクトル再生部２１１は、予測ベクトル候補リスト生成部２２０、予測ベクトル決定部２２１および加算部２２２を含む。端子３５は符号化モード判定部２１０に接続されている。
【０１６７】
以下、各部の機能について説明する。予測ベクトル候補リスト生成部２２０は、動画像符号化装置１００の予測ベクトル候補リスト生成部１３０と同一の機能を有する。予測ベクトル決定部２２１は、予測ベクトル候補リスト生成部２２０より供給される予測ベクトル候補リスト、および端子３５より供給される予測ベクトルインデックスから、予測ベクトルを決定して加算部２２２に供給する。
【０１６８】
加算部２２２は、端子３５より供給される差分ベクトルと、予測ベクトル決定部２２１より供給される予測ベクトルとを加算して動きベクトルを算出し、当該動きベクトルを端子３４に供給する。
【０１６９】
続いて、結合動き情報再生部２１２の詳細な構成について図３３を用いて説明する。図３３は結合動き情報再生部２１２の構成を示す。結合動き情報再生部２１２は、結合動き情報候補生成部２３０および結合動き情報選択部２３１を含む。
【０１７０】
以下、各部の機能について説明する。結合動き情報候補生成部２３０は図１５に示す結合動き情報候補生成部１４０と同一の機能を有する。結合動き情報選択部２３１は、結合動き情報候補生成部２３０より供給される結合動き情報候補リスト、および端子３５より供給されるマージ候補番号に基づいて、結合動き情報候補リストの中から動き情報を選択し、当該動き情報を端子３４に供給する。
【０１７１】
（動画像復号装置２００の動作）
続いて、図３４のフローチャートを用いて、実施の形態１の動画像復号装置２００における復号の動作を説明する。図３４は本発明の実施の形態１に係る動画像復号装置２００の復号の動作を説明するためのフローチャートである。符号列解析部２０１は、端子３０より供給される符号列を復号して予測誤差符号化データ、マージフラグ、マージ候補番号、動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従って復号する（Ｓ２１０）。
【０１７２】
動き情報再生部２０４は、符号列解析部２０１より供給されるマージフラグ、マージ候補番号、動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスと、動き情報メモリ２０７より供給される候補ブロック群から、動き情報を再生する（Ｓ２１１）。
【０１７３】
動き補償部２０５は、動き情報再生部２０４より供給される動き情報に基づいて、フレームメモリ２０６内の参照画像インデックスが示す参照画像を、動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双方向であれば、Ｌ０方向とＬ１方向の予測信号を平均したものを予測信号として生成する（Ｓ２１２）。
【０１７４】
予測誤差復号部２０２は、符号列解析部２０１より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成する（Ｓ２１３）。加算部２０３は、予測誤差復号部２０２より供給される予測誤差信号と、動き補償部２０５より供給される予測信号とを加算して復号画像信号を生成する（Ｓ２１４）。
【０１７５】
フレームメモリ２０６は、加算部２０３より供給される復号画像信号を記憶する（Ｓ２１５）。動き情報メモリ２０７は、動き情報再生部２０４より供給される動きベクトルを最小の予測ブロックサイズ単位で１画像分記憶する（Ｓ２１６）。
【０１７６】
引き続いて、図３５のフローチャートを用いて、動き情報再生部２０４の動作を説明する。図３５は動き情報再生部２０４の動作を説明するためのフローチャートである。符号化モード判定部２１０は、符号列解析部２０１より供給されるマージフラグが「０」であるか「１」であるか判定する（Ｓ２２０）。マージフラグが「１」であれば、結合動き情報再生部２１２は、符号化モード判定部２１０より供給されるマージ候補番号、および端子３３より供給される候補ブロック群から、動き情報を再生する（Ｓ２２１）。
【０１７７】
マージフラグが「０」であれば、動きベクトル再生部２１１は、符号化モード判定部２１０より供給される動き補償予測の予測方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックス、ならびに端子３３より供給される候補ブロック群から、動き情報を再生する（Ｓ２２２）。
【０１７８】
引き続いて、図３６のフローチャートを用いて、動きベクトル再生部２１１の動作を説明する。図３６は動きベクトル再生部２１１の動作を説明するためのフローチャートである。予測ベクトル候補リスト生成部２２０は、動画像符号化装置１００の予測ベクトル候補リスト生成部１３０と同一の動作によって予測ベクトル候補リストを生成する（Ｓ３００）。
【０１７９】
予測ベクトル決定部２２１は、予測ベクトル候補リスト生成部２２０より供給される予測ベクトル候補リストの中から、端子３５より供給される予測ベクトルインデックスで示される予測ベクトル候補を選択して、予測ベクトルを決定する（Ｓ３０１）。加算部２２２は、端子３５より供給される差分ベクトルと、予測ベクトル決定部２２１より供給される予測ベクトルとを加算して動きベクトルを算出する（Ｓ３０２）。
【０１８０】
引き続いて、図３７のフローチャートを用いて、結合動き情報再生部２１２の動作を説明する。図３７は結合動き情報再生部２１２の動作を説明するためのフローチャートである。結合動き情報候補生成部２３０は、動画像符号化装置１００の結合動き情報候補生成部１４０と同一の動作によって結合動き情報候補リストを生成する（Ｓ３１０）。結合動き情報選択部２３１は、結合動き情報候補生成部２３０より供給される結合動き情報候補リストの中から、端子３５より供給されるマージ候補番号で示される結合動き情報候補を選択して、結合動き情報を決定する（Ｓ３１１）。
【０１８１】
（実施の形態１の変形例）
なお、実施の形態１は以下のように変形できる。
【０１８２】
（変形例１：マージ候補番号の順序）
上述の実施の形態１では、候補番号管理テーブルの一例として図１８を挙げたが、結合動き情報候補の最大数は１以上であればよく、選択率が相対的に高い結合動き情報候補ほど小さいマージ候補番号が割り当てられていればよく、図１８に限定されない。また、結合動き情報候補リストに含まれる結合動き情報候補の最大数は７（マージインデックスの最大値は６）としたが、２以上であればよい。例えば、スケーリング結合動き情報候補の選択率が、ブロックＣとブロックＥの結合動き情報候補の選択率よりも高い場合には、図３８（ａ）や図３８（ｂ）のようにしてもよい。図３８（ａ）、（ｂ）は変形例１に係る候補番号管理テーブルを説明するための図である。また、図３９のようにスケーリング結合動き情報候補を増加させることもできる。図３９は実施の形態１の変形例１に係る別の候補番号管理テーブルの説明するための図である。
【０１８３】
以上のように、スケーリング結合動き情報候補の選択率に応じて候補番号管理テーブルの定義を変更することで、結合動き情報候補の選択率を高めて動き情報の符号化効率を向上させることができる。
【０１８４】
（変形例２：時間候補ブロックの除外）
上述の実施の形態１では、結合動き情報候補生成部１４０の動作を図２４としたが、スケーリング結合動き情報候補が生成されればよく、これに限定されない。例えば、時間候補ブロックを利用して予測方向が常に双方向でスケーリングされたベクトルを持つ結合動き情報候補である時間結合動き情報候補を生成するステップＳ１４１を削除することもできる。これにより、時間候補ブロックに依存することなくスケーリングされたベクトルを持つ結合動き情報候補を生成でき、時間候補ブロックが正しく復号できなかったような場合でもスケーリングされたベクトルを持つ結合動き情報候補を生成できる。
【０１８５】
（変形例３：スケーリング結合動き情報候補の生成停止）
上述の実施の形態１では、スケーリング結合動き情報候補の生成の動作を図２８としたが、スケーリング結合動き情報候補が生成されればよく、これに限定されない。例えば、双方向の動き補償予測に係るフィルタリング処理や平均化処理の削減を目的に、図４０のように下記のステップを追加することもできる。図４０は実施の形態１の変形例３に係るスケーリング結合動き情報候補の生成の動作を説明するためのフローチャートである。
【０１８６】
ＬＸ方向とＬＹ方向の参照画像が時間的に同一方向であるかを判定し（Ｓ１７７）、ＬＸ方向とＬＹ方向の参照画像が時間的に同一方向でなければ（Ｓ１７７のＮ）、ステップＳ１７５を行ってスケーリング結合動き情報候補を生成する。ＬＸ方向とＬＹ方向の参照画像が時間的に同一方向であれば（Ｓ１７７のＹ）、ステップＳ１７５をスキップしてスケーリング結合動き情報候補を生成しない。なお、時間方向が同一であるとはＣｕｒＬ０ＤｉｓｔとＣｕｒＬ１Ｄｉｓｔが同じ符号（プラスまたはマイナス）を持つことである。また、ステップＳ１７７は更にＬＸ方向とＬＹ方向の参照画像が同一であるかを判定するように変形できる。
【０１８７】
（変形例４：参照画像設定の拡張）
上述の実施の形態１では、スケーリング結合動き情報候補の生成の動作（図２８）の中のＬＹ方向の参照画像の設定（Ｓ１７４）を、ＬＹ方向の参照画像インデックスの０で示される参照画像を設定するとしたが、ＬＹ方向の参照画像を設定できればよくこれに限定されない。例えば、動き補償予測のフィルタリング効果などの予測効率の向上を目的に、ＬＸ方向の参照画像とＬＹ方向の参照画像インデックスの０で示される参照画像が同一である場合には、ＬＹ方向の参照画像の中でＬＸ方向の参照画像とは異なる、処理対象画像と最も距離の近い参照画像をＬＹ方向の参照画像とすることもできる。より具体的にはＬＹ方向の参照画像の中で参照画像インデックスの０で示される参照画像の次に距離が近い確率が相対的に高い、ＬＹ方向の参照画像インデックスの１で示される参照画像とすることができる。また、処理対象ブロックの隣接ブロックが使用しているＬＹ方向の参照画像で、最も多く使用されている参照画像をＬＹ方向の参照画像としてもよい。
【０１８８】
（変形例５：予測方向が双方向である候補ブロックのスケーリング）
上述の実施の形態１では、スケーリング結合動き情報候補の生成の動作を図２８のように、候補ブロックの予測方向が単方向である場合にスケーリング結合動き情報候補を生成するとしたが、スケーリング結合動き情報候補が生成されればよく、これに限定されない。例えば、図４１のように予測方向が双方向である候補ブロックについて、動きベクトルと参照画像インデックスをスケーリングしないで利用する予測方向をベース方向（基準方向ともいう）として選択し、ベース方向でない予測方向の動きベクトルと参照画像インデックスをスケーリングによって算出することによって、スケーリング結合動き情報候補を生成することもできる。
【０１８９】
図４１は実施の形態１の変形例５に係るスケーリング結合動き情報候補の生成の動作を説明するためのフローチャートである。図４１のフローチャートは、図２８のフローチャートに以下のステップが追加されている。候補ブロックの予測方向が単方向でなければ（Ｓ１７３のＮ）、ベースとなるＬＸ方向とスケーリングにより算出されるＬＹ方向を設定する（Ｓ１７８）。本変形例では、Ｌ０方向の参照画像とＬ１方向の参照画像のうち、相関性の高いと考えられる処理対象画像から距離の近い予測方向をＬＸ方向とする。相関性の高いと考えられる動きベクトルを基準としてスケーリングを行うことで、相関性の高い予測ベクトルを算出することができる。
【０１９０】
本変形例では、Ｌ０方向の参照画像とＬ１方向の参照画像のうち、処理対象画像から距離の近い予測方向をＬＸ方向としたが、ＬＸ方向が決定できればよく、これに限定されない。例えば、Ｌ０方向の参照画像とＬ１方向の参照画像のうち、相関性の高いと考えられる参照インデックスの値の小さい予測方向をＬＸ方向とすることもできる。
【０１９１】
また、Ｌ０方向の参照画像とＬ１方向の参照画像のうち、処理対象画像から距離の遠いまたは長い予測方向をＬＸ方向とし、距離の近いまたは短い予測方向をＬＹ方向とすることで、ＬＹ方向の予測ベクトルの算出精度を向上させることができる。これは、スケーリングによる算出の際には、スケーリングの倍率が小さい方が算出精度が高くなるからである。参照インデックスの値の大きい予測方向をＬＸ方向とし、参照インデックスの値の小さい予測方向をＬＹ方向としても同様の効果を得ることができる。相関性の高い動きベクトルを基準としてスケーリングを行うか、算出精度の高いスケーリングを行うかは固定で規定してもよいが、符号化側でシーケンス、ピクチャまたはスライス単位で設定し、それらの設定を識別するフラグを符号化して、復号側でそのフラグの値に応じて切り替えてもよい。
【０１９２】
続いて、ＬＹ方向の参照画像（参照インデックス）を設定する（Ｓ１８３）。その際、ＬＹ方向の参照画像（参照インデックス）をそのまま設定してもよいし、ステップＳ１７４と同様の処理によりＬＹ方向の参照画像（参照インデックス）を設定してもよい。ＬＹ方向の参照画像（参照インデックス）をそのまま設定した場合は、相関性の高い参照画像の、既存の動きベクトルと異なるＬＹ方向の動きベクトルを算出することができ、ステップＳ１７４と同様の処理によりＬＹ方向の参照画像（参照インデックス）を設定した場合は、単結合動き情報候補とは異なる値を持つスケーリング結合動き情報候補を算出する可能性が高く、選択の幅を広げることができる。
【０１９３】
また、スケーリング結合動き情報候補の生成の動作を図４２のように、双方向である候補ブロックについて、Ｌ０方向およびＬ１方向の両方をベース方向として選択し、ベース方向でない予測方向の動きベクトルと参照画像インデックスをスケーリングによって算出することによって、スケーリング結合動き情報候補を生成することもできる。
【０１９４】
図４２は実施の形態１の変形例５に係る別のスケーリング結合動き情報候補の生成の動作を説明するためのフローチャートである。図４２のフローチャートは、図２８のフローチャートに以下のステップが追加されている。候補ブロックの予測方向が単方向でなければ（Ｓ１７３のＮ）、ステップＳ１８０からステップＳ１８２の処理がＬＸ方向をＬ０方向とする場合（ｉ＝０）とＬＸ方向をＬ１方向とする場合（ｉ＝１）の２回繰り返される（Ｓ１８０からＳ１８２）。ベースとなるＬＸ方向をＬｉ方向とし、スケーリングにより算出されるＬＹ方向をＬＸ方向ではない予測方向に設定する（Ｓ１８０）。
【０１９５】
本変形例では、予測方向が単方向であるか双方向であるかは考慮しないで候補ブロックをスケーリング結合動き情報候補の対象となる結合動き情報候補としてスケーリング結合動き情報候補を生成したが、スケーリング結合動き情報候補が生成されればよく、これに限定されない。例えば、結合動き情報候補リストに追加できるスケーリング結合動き情報候補の数に制限があるような場合には、予測方向が単方向である候補ブロックを優先してスケーリング結合動き情報候補の対象となる結合動き情報候補とすることもできる。例えば、予測方向が単方向である候補ブロックのみをスケーリング結合動き情報候補の対象となる結合動き情報候補としてもよいし、予測方向が単方向である候補ブロックであって処理対象ブロックとの隣接度が相対的に高い候補ブロックをスケーリング結合動き情報候補の対象となる結合動き情報候補としてもよい。
【０１９６】
また、予測方向が双方向である候補ブロックを優先してスケーリング結合動き情報候補の対象となる結合動き情報候補とすることもできる。例えば、予測方向が双方向である候補ブロックのみをスケーリング結合動き情報候補の対象となる結合動き情報候補としてもよいし、予測方向が双方向である候補ブロックであって処理対象ブロックとの隣接度が相対的に高い候補ブロックをスケーリング結合動き情報候補の対象となる結合動き情報候補としてもよい。
【０１９７】
以上のように、予測方向が双方向である候補ブロックについてスケーリング結合動き情報候補を生成することで、結合動き情報候補の数を増加させて結合動き情報候補の選択率を高めることで動き情報の符号化効率を向上させることができる。
【０１９８】
（変形例６：スケーリングの演算）
上述の実施の形態１では、スケーリングにより算出する動きベクトルの算出式を（式４）としたが、スケーリングされた動きベクトルが算出できればよく、これに限定されない。例えば、（式４）の除算を切り捨てや切り上げにして、時間結合動き情報候補の動きベクトルの算出式である（式１）と除算の精度が異なるように設計してもよい。これにより、ベース方向であるＬＸ方向の動き情報が時間結合動き情報候補のＬＸ方向の動き情報と同じ場合でも時間結合動き情報候補とは異なる動き情報を持つスケーリング結合動き情報候補を生成し、結合動き情報候補の選択率を高めて動き情報の符号化効率を向上させることができる。
【０１９９】
（変形例７：結合動き情報候補の置換）
上述の実施の形態１では、結合動き情報候補生成部１４０の動作を図２４としたが、スケーリング結合動き情報候補が生成されればよく、これに限定されない。例えば、ステップＳ１４４を次のようにすることもできる。スケーリング結合動き情報候補生成部１５１は、第１結合動き情報候補リストの中のスケーリング結合動き情報候補の対象となる結合動き情報候補をスケーリング結合動き情報候補に置換し、第２結合動き情報候補リストを生成する（Ｓ１４４）。一般的には動きベクトルの精度が比較的高い場合には予測方向が単方向であるよりも予測方向が双方向である方が予測効率は高くなる。したがって、予測方向が単方向である単結合動き情報を、予測方向が双方向であるスケーリング結合動き情報に置換することで、予測効率の高い結合動き情報候補の選択率を高めて動き情報の符号化効率を向上させることができる。
【０２００】
（実施の形態１の効果の一例）
実施の形態１による効果の一例について図４３と図４４を用いて説明する。図４３は処理対象画像ＣｕｒＰｉｃと参照画像の関係について説明するための図である。図４３について説明する。Ｌ１方向の参照画像インデックス１で示される参照画像ＲｅｆＬ１Ｐｉｃ［１］、Ｌ１方向の参照画像インデックス０で示される参照画像ＲｅｆＬ１Ｐｉｃ［０］、処理対象画像ＣｕｒＰｉｃ、Ｌ０方向の参照画像インデックス０で示される参照画像ＲｅｆＬ０Ｐｉｃ［０］、およびＬ０方向の参照画像インデックス１で示される参照画像ＲｅｆＬ０Ｐｉｃ［１］が等間隔に並んでいるとする。また、処理対象ブロックＺにとって予測誤差が最小となる動き情報が、予測方向が双方向（ＢＩ）で、ｍｖＬ０Ｚ＝（４，４）、ｍｖＬ１Ｚ＝（−２，−２）、ｒｅｆＩｄｘＬ０Ｚ＝１、ｒｅｆＩｄｘＬ１Ｚ＝０であるとする。
【０２０１】
このとき、単結合動き情報候補が図４４のＡ、Ｂ、ＣＯＬ、Ｃ、Ｅであるとする。図４４は実施の形態１の効果を説明するための図である。これら単結合動き情報候補の中には処理対象ブロックＺにとって予測誤差が最小となる動き情報と同一の動き情報はない。したがって、これら単結合動き情報候補の中からレート歪み評価値が最小となる単結合動き情報候補を選択することになる。そして、その候補のレート歪み評価値と、差分ベクトル算出部１２０で算出されたレート歪み評価値とを比較して、前者が後者より小さくなる場合のみ符号化モードとしてマージモードが利用されることになる。
【０２０２】
符号化モードとしてマージモードが選択された場合、それは動き情報の符号化効率と予測誤差のバランスが最適なためであって、予測誤差は最適とはならない。一方、符号化モードとして非マージモードが選択された場合には、差分動きベクトルや参照画像インデックスを符号化する必要があるため動き情報の符号化効率は最適とはならない。
【０２０３】
ここで、ブロックＢとブロックＣは単方向予測であり、スケーリング結合動き情報候補の候補対象となる。第１のスケーリング結合動き情報候補（ＢＰ０）は、ブロックＢを候補対象とし、ブロックＢのＬ１方向の参照画像インデックスと動きベクトルを、下記式５に示すようにＢＰ０のＬ１方向の参照画像インデックスと動きベクトルとする。ブロックＢのＬ０方向の参照画像インデックスと動きベクトルは、下記式６に示すように参照画像設定部１６１とスケーリング部１６２によって求められる。
ｍｖＬ１ＢＰ０＝（４，４）、ｒｅｆＩｄｘＬ１ＢＰ０＝１    ・・・（式５）
ｍｖＬ０ＢＰ０＝（４，４）×−１／２＝（−２，−２）、ｒｅｆＩｄｘＬ１ＢＰ０＝０    ・・・（式６）
【０２０４】
第２のスケーリング結合動き情報候補（ＢＰ１）は、ブロックＣを候補対象とし、ブロックＣのＬ１方向の参照画像インデックスと動きベクトルを、下記式７に示すようにＢＰ１のＬ１方向の参照画像インデックスと動きベクトルとする。ブロックＢのＬ０方向の参照画像インデックスと動きベクトルは、下記式８に示すように参照画像設定部１６１とスケーリング部１６２によって求められる。
ｍｖＬ１ＢＰ１＝（−２，８）、ｒｅｆＩｄｘＬ１ＢＰ１＝０    ・・・（式７）
ｍｖＬ０ＢＰ１＝（−２，８）×−１／１＝（２，−８）、ｒｅｆＩｄｘＬ１ＢＰ１＝０    ・・・（式８）
【０２０５】
このとき、ＢＰ１は処理対象ブロックＺにとって予測誤差が最小となる動き情報と同じ動き情報を持つことがわかる。つまり、ＢＰ１を選択することで、予測誤差を最小化し、動き情報の符号化効率を最適化することができる。
【０２０６】
（実施の形態１の効果）
以上のように、処理対象ブロックの動きがＬＸ方向のいずれかの参照画像とＬＹ方向のいずれかの参照画像と等速運動をしている場合にて、符号化済みの別の画像の同一位置ブロックや当該処理対象ブロックの隣接ブロックの動き情報の中に処理対象ブロックと同一の等速運動を示す動き情報がない場合がある。その場合にて、符号化済みの別の画像の同一位置ブロックや当該処理対象ブロックの隣接ブロックの動き情報の中のＬ０方向またはＬ１方向の単方向だけが処理対象ブロックと同一の等速運動である場合がある。その場合、その単方向の動き情報をスケーリングしてスケーリング結合動き情報候補を生成することで、動き情報を符号化することなくマージインデックスのみで符号化することができる。したがって、符号化効率と予測効率を最適化できる動画像符号化装置および動画像復号装置を実現できる。
【０２０７】
（動画像復号処理の簡易化）
以上のように、処理対象ブロックの動きがＬＸ方向のいずれかの参照画像とＬＹ方向のいずれかの参照画像と等速運動をしている場合にて、符号化済みの別の画像の同一位置ブロックや当該処理対象ブロックの隣接ブロックの動き情報の中に処理対象ブロックと同一の等速運動を示す動き情報がない場合がある。その場合にて、符号化済みの別の画像の同一位置ブロックや当該処理対象ブロックの隣接ブロックの動き情報の中のＬ０方向またはＬ１方向の単方向だけが処理対象ブロックと同一の等速運動である場合がある。その場合、その単方向の動き情報をスケーリングしてスケーリング結合動き情報候補を生成することで、予測方向、参照インデックスおよび差分ベクトルの復号、予測ベクトルと差分ベクトルとの加算処理などが不要となり、動画像復号装置の処理を削減することができる。
【０２０８】
（選択率順のマージ候補番号割り当て）
以上のように、選択率が相対的に高い結合動き情報候補ほど小さいマージ候補番号を割り当てておくことで、各方向において精度の高い単方向の動き情報を利用して高精度なスケーリング結合動き情報候補を生成することができる。また、検索の処理を単純化することができ、検索の処理数を制限しても符号化効率の低下を抑制できる。
【０２０９】
（メモリリードタイム）
以上のように、単結合動き情報候補の各方向の単方向の動き情報を利用してスケーリング結合動き情報候補を生成することで、単結合動き情報候補の数を増加させることなく結合動き情報候補の数を増加させることができる。したがって、単結合動き情報候補数の増加によってメモリリード時間が長くなるような一般的なＬＳＩを使用している動画像符号化装置および動画像復号装置において、単結合動き情報候補数の増加によるメモリリード時間の増大を抑制できる。
【０２１０】
［実施の形態２］
（実施の形態２の結合動き情報候補生成部１４０の構成）
実施の形態２の動画像符号化装置の構成は、結合動き情報候補生成部１４０を除いて実施の形態１の動画像符号化装置１００の構成と同一である。図４５は実施の形態２の候補番号管理テーブルを説明するための図である。最初に、実施の形態２における候補番号管理テーブルを図４５とし、結合動き情報候補リストに含まれる結合動き情報候補の最大数は５であるとする。結合動き情報候補リストに含まれる結合動き情報候補の最大数が５であること、双結合動き情報候補にマージ候補番号が割り当てられていないことが異なる。以下、実施の形態２における結合動き情報候補生成部１４０について図４６を用いて実施の形態１との相違を説明する。図４６は実施の形態２の結合動き情報候補生成部１４０の構成を説明するための図である。
【０２１１】
図４６の結合動き情報候補生成部１４０は、図１６の結合動き情報候補生成部１４０に第１結合動き情報候補リスト削減部１５３および双結合動き情報候補生成部１５４が追加された構成である。以下、各部の機能について説明する。
【０２１２】
（実施の形態２の結合動き情報候補生成部１４０の機能）
第１結合動き情報候補リスト削減部１５３は、単結合動き情報候補リスト生成部１５０より供給される第１結合動き情報候補リストから重複している動き情報を持つ結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残して、残りを削除して第２結合動き情報候補リストを生成し、当該第２結合動き情報候補リストを双結合動き情報候補生成部１５４に供給する。
【０２１３】
双結合動き情報候補生成部１５４は、第１結合動き情報候補リスト削減部１５３より供給される第２結合動き情報候補リストから双結合動き情報候補を生成し、当該双結合動き情報候補と第２結合動き情報候補リストをスケーリング結合動き情報候補生成部１５１に供給する。また、双結合動き情報候補生成部１５４は、スケーリング結合動き情報候補の対象候補群を設定し、当該対象候補群をスケーリング結合動き情報候補生成部１５１に供給する。
【０２１４】
ここで、双結合動き情報は、２つの候補ブロックが持つそれぞれの動き情報を利用して得られる新たな動き情報である。実施の形態２では、双結合動き情報候補として最大で第１の双結合動き情報候補（ＢＤ０）と第２の双結合動き情報候補（ＢＤ１）の２つが生成されるとする。なお、双結合動き情報候補の最大数は２に限定されず、１以上であればよい。双結合動き情報候補生成部１５４の詳細な構成については後述する。
【０２１５】
スケーリング結合動き情報候補生成部１５１は、双結合動き情報候補生成部１５４より供給される第２結合動き情報候補リストと上述の対象候補群から、スケーリング結合動き情報候補を生成する。そして、上述の双結合動き情報候補と当該スケーリング結合動き情報候補を第２結合動き情報候補リストに追加し、当該第２結合動き情報候補リストを結合動き情報候補リスト削減部１５２に供給する。
【０２１６】
（双結合動き情報候補生成部１５４の構成）
続いて、双結合動き情報候補生成部１５４の詳細な構成について図４７を用いて説明する。図４７は双結合動き情報候補生成部１５４の構成を示す。端子１９は第１結合動き情報候補リスト削減部１５３に、端子２０はスケーリング結合動き情報候補生成部１５１にそれぞれ接続されている。双結合動き情報候補生成部１５４は、基準方向決定部３００、基準方向動き情報決定部３０１、逆方向動き情報決定部３０２、双結合動き情報候補決定部３０３および双結合動き情報候補追加部３０４を含む。
【０２１７】
（双結合動き情報候補生成部１５４の機能）
以下、各部の機能について説明する。基準方向決定部３００は、第１結合動き情報候補リストから双結合動き情報候補の基準方向を決定し、当該基準方向および端子１９より供給される第１結合動き情報候補リストを基準方向動き情報決定部３０１に送る。ＢＤ０の基準方向はＬ０方向となり、ＢＤ１の基準方向はＬ１方向となる。
【０２１８】
基準方向動き情報決定部３０１は、基準方向決定部３００より供給される基準方向および第１結合動き情報候補リストから、双結合動き情報候補の基準方向の動きベクトルと参照画像インデックスを決定し、当該基準方向、当該基準方向の動きベクトルと当該参照画像インデックス、および当該第１結合動き情報候補リストを逆方向動き情報決定部３０２に送る。
【０２１９】
逆方向動き情報決定部３０２は、基準方向動き情報決定部３０１より供給される基準方向、基準方向の動きベクトルと参照画像インデックス、および第１結合動き情報候補リストから、双結合動き情報候補の逆方向の動きベクトルと参照画像インデックスを決定する。逆方向動き情報決定部３０２は、当該基準方向の動きベクトルと参照画像インデックス、当該逆方向の動きベクトルと参照画像インデックス、および第１結合動き情報候補リストを双結合動き情報候補決定部３０３に送る。
【０２２０】
実施の形態２では、基準方向がＬ０方向であれば、逆方向はＬ１方向とし、基準方向がＬ１方向であれば、逆方向はＬ０方向とする。実施の形態２では、基準方向がＬ０方向であれば、逆方向はＬ１方向とし、基準方向がＬ１方向であれば、逆方向はＬ０方向とするが、逆方向が決定できればよく、これに限定されない。例えば、基準方向と逆方向を同じ予測方向とすることもできる。
【０２２１】
双結合動き情報候補決定部３０３は、逆方向動き情報決定部３０２より供給される基準方向の動きベクトルと参照画像インデックス、および逆方向の動きベクトルと参照画像インデックスから双結合動き情報候補の予測方向を決定して双結合動き情報候補を生成し、当該双結合動き情報候補追加部３０４に供給する。
【０２２２】
双結合動き情報候補追加部３０４は、双結合動き情報候補決定部３０３より供給される双結合動き情報候補を第１結合動き情報候補リストに追加し、当該第１結合動き情報候補リストを端子２０に送る。
【０２２３】
（実施の形態２の結合動き情報候補生成部１４０の動作）
引き続いて、実施の形態２の結合動き情報候補生成部１４０の動作について図４８を用いて実施の形態１との相違を説明する。図４８は実施の形態２の結合動き情報候補生成部１４０の動作を説明するためのフローチャートである。図４８のフローチャートは、図２４のフローチャートに以下のステップが追加または変更されている。
【０２２４】
第１結合動き情報候補リスト削減部１５３は、単結合動き情報候補リスト生成部１５０より供給される第１結合動き情報候補リストから重複している動き情報を持つ結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残して、残りを削除して第２結合動き情報候補リストを生成する（Ｓ１４６）。
【０２２５】
結合動き情報候補生成部１４０は、第２結合動き情報候補リストに含まれる有効な結合動き情報候補の数が所定上限数に達しているかを検査する（ステップＳ１４７）。実施の形態２では、所定上限数を結合動き情報候補リストに含まれる結合動き情報候補の最大数である５とする。第２結合動き情報候補リストに含まれる有効な結合動き情報候補の数が所定上限数に達していなければ（Ｓ１４７のＮ）、双結合動き情報候補生成部１５４は、第２結合動き情報候補リストから双結合動き情報候補を上述の所定上限数を超えない範囲で生成する（Ｓ１４８）。
【０２２６】
スケーリング結合動き情報候補生成部１５１は、双結合動き情報候補とスケーリング結合動き情報候補を第２結合動き情報候補リストに順次追加して第２結合動き情報候補リストを生成する（Ｓ１４４）。実施の形態２では、第２結合動き情報候補リストへの双結合動き情報候補とスケーリング結合動き情報候補の追加順序を双結合動き情報候補、スケーリング結合動き情報候補の順としたが、双結合動き情報候補とスケーリング結合動き情報候補が追加されればよく、これに限定されない。例えば、スケーリング結合動き情報候補、双結合動き情報候補の順でもよく、複数ある場合には任意の順序で第２結合動き情報候補リストに追加してもよい。
【０２２７】
第２結合動き情報候補リストに含まれる有効な結合動き情報候補の数が所定上限数に達していれば（Ｓ１４７のＹ）、ステップＳ１４８、ステップＳ１４３、ステップＳ１４４、ステップＳ１４５はスキップされる。なお、実施の形態２のスケーリング結合動き情報候補の生成の動作が実施の形態１とは異なるため、実施の形態２のスケーリング結合動き情報候補の生成の動作の詳細については後述する。
【０２２８】
（双結合動き情報候補生成部１５４の動作）
引き続いて、図４９のフローチャートを用いて、双結合動き情報候補生成部１５４の詳細な動作を説明する。図４９は双結合動き情報候補生成部１５４の詳細な動作を説明するためのフローチャートである。基準方向決定部３００は、第２結合動き情報候補リストから双結合動き情報候補の基準方向を決定する（Ｓ４００）。ＢＤ０の基準方向はＬ０方向となり、ＢＤ１の基準方向はＬ１方向となる。
【０２２９】
基準方向動き情報決定部３０１は、基準方向決定部３００より供給される基準方向および第２結合動き情報候補リストから、双結合動き情報候補の基準方向の動きベクトルと参照画像インデックスを決定する（Ｓ４０１）。基準方向動き情報決定部３０１の詳細な動作は後述する。
【０２３０】
逆方向動き情報決定部３０２は、基準方向動き情報決定部３０１より供給される基準方向、基準方向の動きベクトル、参照画像インデックスおよび第２結合動き情報候補リストから、双結合動き情報候補の逆方向の動きベクトルと参照画像インデックスを決定する（Ｓ４０２）。逆方向動き情報決定部３０２の詳細な動作は後述する。
【０２３１】
双結合動き情報候補決定部３０３は、逆方向動き情報決定部３０２より供給される基準方向、基準方向の動きベクトルと参照画像インデックス、および逆方向の動きベクトルと参照画像インデックスから、双結合動き情報候補の予測方向を決定して双結合動き情報候補を生成する（Ｓ４０３）。
【０２３２】
双結合動き情報候補決定部３０３は、双結合動き情報候補の予測方向が双方向（ＢＩ）であるかを検査する（Ｓ４０４）。双結合動き情報候補の予測方向が双方向であれば（Ｓ４０４のＹ）、双結合動き情報候補追加部３０４は、双結合動き情報候補を第２結合動き情報候補リストに追加する（Ｓ４０５）。双結合動き情報候補の予測方向が双方向でなければ（Ｓ４０４のＮ）、双結合動き情報候補の予測方向が単方向（Ｌ０方向またはＬ１方向）であるかを検査する（Ｓ４０６）。双結合動き情報候補の予測方向が単方向であれば（Ｓ４０６のＹ）、有効な予測方向の動きベクトルと参照インデックスを持つ候補ブロックをスケーリング結合動き情報候補の対象候補群に設定する（Ｓ４０７）。
【０２３３】
有効な予測方向の動きベクトルと参照インデックスを持つ候補ブロックとは、基準方向動き情報決定部３０１または逆方向動き情報決定部３０２において決定された動きベクトルと参照画像インデックスを持つ候補ブロックのことであって、詳細は後述する。双結合動き情報候補の予測方向が単方向でなければ（Ｓ４０６のＮ）、ステップＳ４０７はスキップされる。
【０２３４】
引き続いて、図５０のフローチャートを用いて、基準方向動き情報決定部３０１の詳細な動作を説明する。図５０は基準方向動き情報決定部３０１の動作を説明するためのフローチャートである。双結合動き情報候補の基準方向としてＬＸ方向（Ｘは０または１）が選ばれたとする。基準方向であるＬＸの有効性を「０」に設定する（Ｓ１９０）。第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）に対応する回数、以下の処理を繰り返す（Ｓ１９１からＳ１９４）。結合動き情報候補のＬＸ方向の有効性を検査する（Ｓ１９２）。結合動き情報候補のＬＸ方向（ＬＸ予測）が有効であれば（Ｓ１９２のＹ）、基準方向であるＬＸの有効性を「１」に設定し、基準方向の動きベクトルと参照インデックスを結合動き情報候補のＬＸ方向の動きベクトルと参照インデックスとして処理を終了する（Ｓ１９３）。結合動き情報候補のＬＸ方向が無効であれば（Ｓ１９２のＮ）、次の候補を検査する（Ｓ１９４）。
【０２３５】
ここでは第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）に対応する回数、検査するとしたが、双結合動き情報候補の基準方向が決定できればよく、これに限定されない。例えば、選択率が相対的に高い結合動き情報候補だけから双結合動き情報候補を生成する場合には検査数を１や２のような所定数に固定して処理量を削減するとともに冗長な双結合動き情報候補の生成可能性を低下させてマージインデックスの符号量を削減することもできる。
【０２３６】
引き続いて、図５１のフローチャートを用いて、逆方向動き情報決定部３０２の詳細な動作を説明する。図５１は逆方向動き情報決定部３０２の動作を説明するためのフローチャートである。双結合動き情報候補の逆方向として基準方向の逆方向が設定される。逆方向としてＬＹ方向（Ｙは０または１）が選ばれたとする。逆方向であるＬＹの有効性を「０」に設定する（Ｓ２００）。第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）に対応する回数、以下の処理を繰り返す（Ｓ２０１からＳ２０５）。
【０２３７】
基準方向で選択された結合動き情報候補でないことを検査する（Ｓ２０２）。基準方向で選択された結合動き情報候補でないならば（Ｓ２０２のＹ）、結合動き情報候補のＬＹ方向の有効性を検査する（Ｓ２０３）。結合動き情報候補のＬＹ方向（ＬＹ予測）が有効であれば（Ｓ２０３のＹ）、逆方向であるＬＹの有効性を「１」に設定し、逆方向の動きベクトルと参照インデックスを、結合動き情報候補のＬＹ方向の動きベクトルと参照インデックスとして処理を終了する（Ｓ２０４）。基準方向で選択された結合動き情報候補であるならば（Ｓ２０２のＮ）、または結合動き情報候補のＬＹ方向が無効であれば（Ｓ２０３のＮ）、次の候補を検査する（Ｓ２０５）。
【０２３８】
ここでは第２結合動き情報候補リストに含まれる結合動き情報候補の数（ＮＣａｎｄｓ）に対応する回数、検査するとしたが、双結合動き情報候補の基準方向が決定できればよく、これに限定されない。例えば、選択率が相対的に高い結合動き情報候補だけから双結合動き情報候補を生成する場合には検査数を２や３のような所定数に固定して処理量を削減するとともに冗長な双結合動き情報候補の生成可能性を低下させてマージインデックスの符号量を削減することもできる。また、検査を開始するブロックを基準方向で選択された結合動き情報候補の次の結合動き情報候補とすることで、ＢＤ０とＢＤ１が同一になる可能性をなくし、ステップＳ２０２を削減することができる。
【０２３９】
引き続いて、図５２の図を用いて、双結合動き情報候補の予測方向の決定の詳細な動作を説明する。図５２は双結合動き情報候補の予測方向の決定を説明するための図である。上記のように決定された双結合動き情報候補のＬＸ方向とＬＹ方向がともに有効であれば予測方向は双方向のＢＩとなり、ＬＸ方向のみが有効であれば予測方向は単方向のＬＸ方向となり、ＬＹ方向のみが有効であれば予測方向は単方向のＬＹ方向となり、ＬＸ方向とＬＹ方向がともに無効であれば予測方向は無効となる。
【０２４０】
引き続いて、実施の形態２のスケーリング結合動き情報候補の生成の動作の詳細について図５３を用いて説明する。図５３は実施の形態２のスケーリング結合動き情報候補の生成の動作を説明するためのフローチャートである。双結合動き情報候補生成部１５４より供給される対象候補群を検査対象の候補ブロックとして設定する（Ｓ３３７）。対象候補群に含まれる候補ブロックの数（ＭＣａｎｄｓ）に対応する回数、以下の処理を繰り返す（Ｓ３３８からＳ３３９）。実施の形態２における対象候補群に含まれる候補ブロックの数の最大数は２である。ステップＳ３３４およびステップＳ３３５は実施の形態１と同一である。
【０２４１】
実施の形態２の動画像復号装置の構成は、結合動き情報候補生成部１４０の機能を除いて実施の形態１の動画像復号装置２００の構成と同一である。実施の形態２の動画像復号装置の結合動き情報候補生成部１４０は実施の形態２の動画像符号化装置の結合動き情報候補生成部１４０と同一である。
【０２４２】
（実施の形態２の変形例）
なお、実施の形態２は以下のように変形できる。
【０２４３】
（変形例１：双結合動き情報候補の数）
上述の実施の形態２では、双結合動き情報候補として、Ｌ０方向で最初に有効となる動き情報を基準方向とする第1の双結合動き情報候補（ＢＤ０）とＬ１方向で最初に有効となる動き情報を基準方向とする第２の双結合動き情報候補（ＢＤ１）の２つが生成されるとしたが、１以上であればよくこれに限定されない。例えば、Ｌ０方向で２番目に有効となる動き情報を基準方向とする第３の双結合動き情報候補（ＢＤ２）やＬ１方向で２番目に有効となる動き情報を基準方向とする第４の双結合動き情報候補（ＢＤ３）などを追加することもできるし、複数の双結合動き情報候補から適応的に選択して双結合動き情報候補を１つとすることもできる。
【０２４４】
（変形例２：削除プロセス）
上述の実施の形態２では、冗長な結合動き情報候補の数を減らし、追加する双結合動き情報候補またはスケーリング結合動き情報候補の数を増加させるために図４６に示した結合動き情報候補生成部１４０に第１結合動き情報候補リスト削減部１５３を含めたが、重複している動き情報を持つ結合動き情報候補が複数存在する場合に１つの結合動き情報候補を残して、残りを削除する処理を削減する目的で、第１結合動き情報候補リスト削減部１５３を含めない構成としてもよい（図４８のステップＳ１４６）。また、同様の目的で、結合動き情報候補リスト削減部１５２を含めない構成とすることもできる（図４８のステップＳ１４５）。
【０２４５】
（変形例３：所定上限数）
上述の実施の形態２では、双結合動き情報候補を生成する条件である所定上限数を結合動き情報候補リストに含まれる結合動き情報候補の最大数である５としたが、所定上限数は結合動き情報候補リストに含まれる結合動き情報候補の最大数以下であればよく、これに限定されない。例えば、第１結合動き情報候補リスト削減部１５３で削除された結合動き情報候補の数とすることもできる。これにより、第１結合動き情報候補リスト削減部１５３の動作前にＮｕｍＭｅｒｇｅＣａｎｄｓ（）を決定でき、ｍｅｒｇｅ＿ｉｄｘを復号でき、復号処理の高速化を実現できる。
【０２４６】
（変形例４：単純連結）
上述の実施の形態２では、双結合動き情報候補の予測方向が単方向である場合にスケーリング結合動き情報候補を生成するとしたが、双結合動き情報候補とスケーリング結合動き情報候補を生成すればよく、これに限定されない。例えば、実施の形態２では、双結合動き情報候補生成部１５４の動作を図４９としたが、ステップＳ４０６、ステップＳ４０７を削除して、双結合動き情報候補の予測方向が双方向でなければ（Ｓ４０４のＮ）、ステップＳ４０５をスキップして処理を終了させて、図５４のように双結合動き情報候補とスケーリング結合動き情報候補を依存関係なく順次生成してもよい。
【０２４７】
図５４は実施の形態２の変形例４の結合動き情報候補生成部１４０の動作を説明するためのフローチャートである。図５４のフローチャートは、実施の形態２の結合動き情報候補生成部１４０の動作を説明するためのフローチャートである図４８のフローチャートに以下のステップが追加されている。
【０２４８】
結合動き情報候補生成部１４０は、第２結合動き情報候補リストに含まれる有効な結合動き情報候補の数が所定上限数に達しているかを検査する（ステップＳ３４０）。第２結合動き情報候補リストに含まれる有効な結合動き情報候補の数が所定上限数に達していなければ（Ｓ３４０のＮ）、スケーリング結合動き情報候補生成部１５１は、第２結合動き情報候補リストからスケーリング結合動き情報候補を上述の所定上限数を超えない範囲で生成する（Ｓ１４３）。第２結合動き情報候補リストに含まれる有効な結合動き情報候補の数が所定上限数に達していれば（Ｓ３４０のＹ）、ステップＳ１４３はスキップされる。なお、図５４において双結合動き情報候補の生成（ステップＳ１４３）とスケーリング結合動き情報候補の生成（ステップＳ１４８）を入れ替えることもできる。
【０２４９】
（変形例５：単純連結２）
実施の形態２の変形例４はさらに以下のように変形できる。実施の形態２では、双結合動き情報候補生成部１５４の動作を図４９としたが、ステップＳ４０７を下記のように変更する。有効でない予測方向の動きベクトルを（０，０）、参照画像インデックスを０として、有効な予測方向の動きベクトルと参照インデックスとを組み合わせることで、予測方向が双方向である双結合動き情報候補を生成し、第２結合動き情報候補リストに追加する（Ｓ４０７）。実施の形態２の変形例５では、有効でない予測方向の動きベクトルを（０，０）、参照画像インデックスを０としたが、有効でない予測方向の動きベクトルと参照画像が所定の値に設定できればよく、これに限定されない。
【０２５０】
（実施の形態２の効果の一例）
実施の形態２による効果の一例について図５５を用いて説明する。図５５は実施の形態２の効果を説明するための図である。処理対象ブロックＺにとって予測誤差が最小となる動き情報が、予測方向が双方向（ＢＩ）で、ｍｖＬ０Ｚ＝（１３，−２）、ｍｖＬ１Ｚ＝（４，４）、ｒｅｆＩｄｘＬ０Ｚ＝０、ｒｅｆＩｄｘＬ１Ｚ＝１であるとする。このとき、単結合動き情報候補が図５５のＡ、Ｂ、ＣＯＬ、Ｃ、Ｅであるとする。
【０２５１】
これら単結合動き情報候補の中には処理対象ブロックＺにとって予測誤差が最小となる動き情報と同一の動き情報はない。したがって、これら単結合動き情報候補の中からレート歪み評価値が最小となる単結合動き情報候補を選択することになる。そして、その候補のレート歪み評価値と、差分ベクトル算出部１２０で算出されたレート歪み評価値とを比較して、前者が後者より小さくなる場合のみ符号化モードとしてマージモードが利用されることになる。
【０２５２】
符号化モードとしてマージモードが選択された場合、それは動き情報の符号化効率と予測誤差のバランスが最適なためであって、予測誤差は最適とはならない。一方、符号化モードとして非マージモードが選択された場合には、差分動きベクトルや参照画像インデックスを符号化する必要があるため動き情報の符号化効率は最適とはならない。
【０２５３】
ここで、実施の形態２で生成される基準方向がＬ０方向のＢＤ０はブロックＡのＬ０方向の動きベクトルと参照画像インデックス、ブロックＣのＬ１方向の動きベクトルと参照画像インデックスを組み合わせて生成されて図５５のＢＤ０となる。また、基準方向がＬ１方向のＢＤ１はブロックＣのＬ１方向の動きベクトルと参照画像インデックスからスケーリング結合動き情報候補が生成されて図５５のＢＰ０となる。
【０２５４】
このとき、ＢＤ０は処理対象ブロックＺにとって予測誤差が最小となる動き情報と同じ動き情報を持つことがわかる。つまり、ＢＤ０を選択することで、予測誤差を最小化し、動き情報の符号化効率を最適化することができる。なお、処理対象ブロックＺにとって予測誤差が最小となる動き情報が、予測方向が双方向（ＢＩ）で、ｍｖＬ０Ｚ＝（−２，−２）、ｍｖＬ１Ｚ＝（４，４）、ｒｅｆＩｄｘＬ０Ｚ＝０、ｒｅｆＩｄｘＬ１Ｚ＝１であれば、ＢＰ０を選択することで、予測誤差を最小化し、動き情報の符号化効率を最適化することができる。
【０２５５】
（実施の形態２の効果）
以上のように、単結合動き情報候補のＬ０方向とＬ１方向の動き情報を利用して双結合動き情報候補を生成することで、処理対象ブロックの動きが、符号化済みの別の画像の同一位置ブロックや当該処理対象ブロックの隣接ブロックの動きとずれがある場合でも、動き情報を符号化することなくインデックスのみで符号化することができる。したがって、符号化効率と予測効率を最適化できる動画像符号化装置および動画像復号装置を実現できる。
【０２５６】
以上のように、双結合動き情報候補とスケーリング結合動き情報候補を組み合わせて利用することで、処理対象ブロックの動きが、符号化済みの別の画像の同一位置ブロックや当該処理対象ブロックの隣接ブロックの動きとずれがある場合に、または処理対象ブロックの動きがＬＸ方向のいずれかの参照画像とＬＹ方向のいずれかの参照画像と等速運動をしている場合であって、符号化済みの別の画像の同一位置ブロックや当該処理対象ブロックの隣接ブロックの動き情報の中に処理対象ブロックと同一の等速運動を示す動き情報がない場合であって、符号化済みの別の画像の同一位置ブロックや当該処理対象ブロックの隣接ブロックの動き情報の中のＬ０方向またはＬ１方向の単方向だけが処理対象ブロックと同一の等速運動である場合に、動き情報を符号化することなくマージインデックスのみで符号化することができる。したがって、符号化効率と予測効率を最適化できる動画像符号化装置および動画像復号装置を実現できる。
【０２５７】
以上述べた実施の形態１、２の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態１、２で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有している。当該動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【０２５８】
具体的には、双結合動き情報候補を示すマージインデックスや、候補番号管理テーブルを符号化ストリーム中に符号化している。また、双結合動き情報候補を示すマージインデックスのみを符号化ストリーム中に符号化し、候補番号管理テーブルを動画像符号装置と動画像復号装置で共有することで候補番号管理テーブルを符号化ストリーム中に符号化しなくてもよい。
【０２５９】
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
【０２６０】
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
【０２６１】
以上の符号化および復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やフラッシュメモリなどに記憶されているファームウェアや、コンピュータなどのソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータなどで読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０２６２】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０２６３】
１００  動画像符号化装置、  １０１  予測ブロック画像取得部、  １０２  減算部、  １０３  予測誤差符号化部、  １０４  符号列生成部、  １０５  予測誤差復号部、  １０６  動き補償部、  １０７  加算部、  １０８  動きベクトル検出部、  １０９  動き情報生成部、  １１０  フレームメモリ、  １１１  動き情報メモリ、  １２０  差分ベクトル算出部、  １２１  結合動き情報決定部、  １２２  予測符号化モード決定部、  １３０  予測ベクトル候補リスト生成部、  １３１  予測ベクトル決定部、  １３２  減算部、  １４０  結合動き情報候補生成部、  １４１  結合動き情報選択部、  １５０  単結合動き情報候補リスト生成部、  １５１  スケーリング結合動き情報候補生成部、  １５２  結合動き情報候補リスト削減部、  １５３  第１結合動き情報候補リスト削減部、  １５４  双結合動き情報候補生成部、  １６０  対象候補選択部、  １６１  参照画像設定部、  １６２  スケーリング部、  １６３  スケーリング結合動き情報候補追加部、  ２００  動画像復号装置、  ２０１  符号列解析部、  ２０２  予測誤差復号部、  ２０３  加算部、  ２０４  動き情報再生部、  ２０５  動き補償部、  ２０６  フレームメモリ、  ２０７  動き情報メモリ、  ２１０  符号化モード判定部、  ２１１  動きベクトル再生部、  ２１２  結合動き情報再生部、  ２２０  予測ベクトル候補リスト生成部、  ２２１  予測ベクトル決定部、  ２２２  加算部、  ２３０  結合動き情報候補生成部、  ２３１  結合動き情報選択部、  ３００  基準方向決定部、  ３０１  基準方向動き情報決定部、  ３０２  逆方向動き情報決定部、  ３０３  双結合動き情報候補決定部、  ３０４  双結合動き情報候補追加部。
【図１】
2013021573.tif 000003
【図２】
2013021573.tif 000004
【図３】
2013021573.tif 000005
【図４】
2013021573.tif 000006
【図５】
2013021573.tif 000007
【図６】
2013021573.tif 000008
【図７】
2013021573.tif 000009
【図８】
2013021573.tif 000010
【図９】
2013021573.tif 000011
【図１０】
2013021573.tif 000012
【図１１】
2013021573.tif 000013
【図１２】
2013021573.tif 000014
【図１３】
2013021573.tif 000015
【図１４】
2013021573.tif 000016
【図１５】
2013021573.tif 000017
【図１６】
2013021573.tif 000018
【図１７】
2013021573.tif 000019
【図１８】
2013021573.tif 000020
【図１９】
2013021573.tif 000021
【図２０】
2013021573.tif 000022
【図２１】
2013021573.tif 000023
【図２２】
2013021573.tif 000024
【図２３】
2013021573.tif 000025
【図２４】
2013021573.tif 000026
【図２５】
2013021573.tif 000027
【図２６】
2013021573.tif 000028
【図２７】
2013021573.tif 000029
【図２８】
2013021573.tif 000030
【図２９】
2013021573.tif 000031
【図３０】
2013021573.tif 000032
【図３１】
2013021573.tif 000033
【図３２】
2013021573.tif 000034
【図３３】
2013021573.tif 000035
【図３４】
2013021573.tif 000036
【図３５】
2013021573.tif 000037
【図３６】
2013021573.tif 000038
【図３７】
2013021573.tif 000039
【図３８】
2013021573.tif 000040
【図３９】
2013021573.tif 000041
【図４０】
2013021573.tif 000042
【図４１】
2013021573.tif 000043
【図４２】
2013021573.tif 000044
【図４３】
2013021573.tif 000045
【図４４】
2013021573.tif 000046
【図４５】
2013021573.tif 000047
【図４６】
2013021573.tif 000048
【図４７】
2013021573.tif 000049
【図４８】
2013021573.tif 000050
【図４９】
2013021573.tif 000051
【図５０】
2013021573.tif 000052
【図５１】
2013021573.tif 000053
【図５２】
2013021573.tif 000054
【図５３】
2013021573.tif 000055
【図５４】
2013021573.tif 000056
【図５５】
2013021573.tif 000057