(57)【特許請求の範囲】
【請求項１】
分割タイプに基づいて復号ブロックを１つまたは複数の予測ブロックに分割して動き補償予測を行い、動画像の符号化ストリームを復号する動画像復号装置であって、
復号対象の予測ブロックに隣接する複数の予測ブロックから、動きベクトルの情報と参照画像の情報とを含む動き情報が有効である復号済みの予測ブロックを選択し、前記選択した復号済みの予測ブロックの動き情報を結合動き情報候補とする候補導出部と、
前記結合動き情報候補を含む結合動き情報候補リストを生成する候補リスト生成部と、
前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補の位置を変更する結合動き情報候補並び替え部とを備えることを特徴とする動画像復号装置。
【請求項２】
前記結合動き情報候補並び替え部は、前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる、前記復号対象の予測ブロックのサイズよりも大きなサイズの予測ブロックで動き補償予測することが可能な前記特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補の位置を、前記結合動き情報候補リストにおける前記特定の結合動き情報候補を特定するためのインデックスが大きくなるように移動させることを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
前記結合動き情報候補並び替え部は、前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる、前記復号対象の予測ブロックと接する辺の部分が他の候補よりも長い隣接ブロックの前記特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補の位置を、前記結合動き情報候補リストにおける前記特定の結合動き情報候補を特定するためのインデックスが小さくなるように移動させることを特徴とする請求項１に記載の動画像復号装置。
【請求項４】
前記結合動き情報候補リストに含まれる結合動き情報候補を利用して新たな結合動き情報候補を生成して前記結合動き情報候補リストに追加する結合動き情報候補補充部をさらに備えることを特徴とする請求項１から３のいずれかに記載の動画像復号装置。
【請求項５】
前記結合動き情報候補並び替え部は、前記結合動き情報候補補充部によって新たな結合動き情報が補充された前記結合動き情報候補リストに含まれる前記特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補の位置を変更することを特徴とする請求項４に記載の動画像復号装置。
【請求項６】
前記結合動き情報候補補充部によって新たな結合動き情報が補充された前記結合動き情報候補リストから所定の結合動き情報候補を削除する結合動き情報候補削除部をさらに備えることを特徴とする請求項４または５に記載の動画像復号装置。
【請求項７】
分割タイプに基づいて復号ブロックを１つまたは複数の予測ブロックに分割して動き補償予測を行い、動画像の符号化ストリームを復号する動画像復号方法であって、
復号対象の予測ブロックに隣接する複数の予測ブロックから、動きベクトルの情報と参照画像の情報とを含む動き情報が有効である復号済みの予測ブロックを選択し、前記選択した復号済みの予測ブロックの動き情報を結合動き情報候補とする候補導出ステップと、
前記結合動き情報候補を含む結合動き情報候補リストを生成する候補リスト生成ステップと、
前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補の位置を変更する結合動き情報候補並び替えステップとを備えることを特徴とする動画像復号方法。
【請求項８】
分割タイプに基づいて復号ブロックを１つまたは複数の予測ブロックに分割して動き補償予測を行い、動画像の符号化ストリームを復号する動画像復号プログラムであって、
復号対象の予測ブロックに隣接する複数の予測ブロックから、動きベクトルの情報と参照画像の情報とを含む動き情報が有効である復号済みの予測ブロックを選択し、前記選択した復号済みの予測ブロックの動き情報を結合動き情報候補とする候補導出ステップと、
前記結合動き情報候補を含む結合動き情報候補リストを生成する候補リスト生成ステップと、
前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補の位置を変更する結合動き情報候補並び替えステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償予測を用いた動画像復号技術に関し、特に動き補償予測で利用する動き情報を復号する動画像復号技術に関する。
【背景技術】
【０００２】
一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き量に基づいて、対象画像の処理対象ブロックから参照画像の参照ブロックに移動した位置の信号を予測信号として生成する技術である。動き補償予測には１本の動きベクトルを利用して単予測に行うものと、２本の動きベクトルを利用して双予測に行うものがある。
【０００３】
動きベクトルについては、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルを予測動きベクトル（単に「予測ベクトル」ともいう）とし、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。
【０００４】
ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４（以下、ＭＰＥＧ−４ＡＶＣ）のような動画像圧縮符号化では、動き補償予測を行うブロックサイズを細かく且つ多様にすることで、精度の高い動き補償予測を可能としている。一方、ブロックサイズを小さくすることで、符号化ベクトルの符号量は大きくなる問題があった。
【０００５】
そこで、ＭＰＥＧ−４ＡＶＣでは、時間方向の動きの連続性に着目し、処理対象ブロックと同一位置にある参照画像のブロックが有する動きベクトルを処理対象ブロックの動きベクトルとして利用して、符号化ベクトルを伝送することなく動き補償予測を実現する時間ダイレクト動き補償予測が用いられている。
【０００６】
また、特許文献１では、空間方向の動きの連続性に着目し、処理対象ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象ブロックの動きベクトルとして利用して、符号化ベクトルを伝送することなく動き補償予測を実現する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−２７６４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載された方法においては、動き補償予測を行うブロックサイズが可変となる場合には最小のブロックサイズを基準としており、ＭＰＥＧ−ＡＶＣのように予め多様なブロックサイズが定義されているような動画像圧縮符号化に適用する場合にそのまま適用できない課題がある。
【０００９】
本発明はこうした状況に鑑みてなされたものであり、その目的は、符号化ベクトルを伝送することなく動き補償予測を高効率に実現することのできる動画像復号技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある態様の動画像復号装置は、分割タイプに基づいて復号ブロックを１つまたは複数の予測ブロックに分割して動き補償予測を行い、動画像の符号化ストリームを復号する動画像復号装置であって、復号対象の予測ブロックに隣接する複数の予測ブロックから、動きベクトルの情報と参照画像の情報とを含む動き情報が有効である復号済みの予測ブロックを選択し、前記選択した復号済みの予測ブロックの動き情報を結合動き情報候補とする候補導出部と、前記結合動き情報候補を含む結合動き情報候補リストを生成する候補リスト生成部と、前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補の位置を変更する結合動き情報候補並び替え部とを備える。
【００１１】
本発明の別の態様は、動画像復号方法である。この方法は、分割タイプに基づいて復号ブロックを１つまたは複数の予測ブロックに分割して動き補償予測を行い、動画像の符号化ストリームを復号する動画像復号方法であって、復号対象の予測ブロックに隣接する複数の予測ブロックから、動きベクトルの情報と参照画像の情報とを含む動き情報が有効である復号済みの予測ブロックを選択し、前記選択した復号済みの予測ブロックの動き情報を結合動き情報候補とする候補導出ステップと、前記結合動き情報候補を含む結合動き情報候補リストを生成する候補リスト生成ステップと、前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補の位置を変更する結合動き情報候補並び替えステップとを備える。
【００１５】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１６】
本発明によれば、符号化ベクトルを伝送することなく動き補償予測を高効率に実現することができる。
【図面の簡単な説明】
【００１７】
【図１】図１（ａ）、（ｂ）は、符号化ブロックを説明する図である。
【図２】図２（ａ）〜（ｄ）は、予測ブロックサイズタイプを説明する図である。
【図３】予測ブロックサイズタイプを説明する図である。
【図４】予測符号化モードを説明する図である。
【図５】マージインデックスと符号列の関係を説明する図である。
【図６】予測ブロックのシンタックスの一例を説明する図である。
【図７】実施の形態１に係る動画像符号化装置の構成を示す図である。
【図８】図７の動き情報生成部の構成を示す図である。
【図９】図８のマージモード決定部の構成を説明する図である。
【図１０】処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックの隣接ブロックを示す図である。
【図１１】処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上の予測ブロック内のブロックとその周辺ブロックを示す図である。
【図１２】図９の結合動き情報候補リスト生成部の構成を説明する図である。
【図１３】図９の結合動き情報候補リスト生成部の動作を説明するフローチャートである。
【図１４】図１２の空間結合動き情報候補生成部の動作を説明するフローチャートである。
【図１５】図１２の時間結合動き情報候補生成部の動作を説明するフローチャートである。
【図１６】図１２の劣性結合動き情報候補並び替え部の動作を説明するフローチャートである。
【図１７】図１７（ａ）から（ｄ）は劣性結合動き情報候補を説明する図である。
【図１８】劣性結合動き情報候補の判定処理を説明するフローチャートである。
【図１９】図１２の第１結合動き情報候補補充部の動作を説明するフローチャートである。
【図２０】図１２の第２結合動き情報候補補充部の動作を説明するフローチャートである。
【図２１】実施の形態１に係る動画像復号装置の構成を示す図である。
【図２２】図２１の動き情報再生部の構成を示す図である。
【図２３】図２２の結合動き情報再生部の構成を示す図である。
【図２４】実施の形態１による効果を説明する図である。
【図２５】実施の形態２の結合動き情報候補リスト生成部の構成を説明する図である。
【図２６】実施の形態２の結合動き情報候補リスト生成部の動作を説明する図である。
【図２７】実施の形態２による効果を説明する図である。
【図２８】実施の形態３の結合動き情報候補リスト生成部の構成を説明する図である。
【図２９】実施の形態３の結合動き情報候補リスト生成部の動作を説明する図である。
【図３０】実施の形態３の空間結合動き情報候補生成部の動作を説明する図である。
【図３１】図２８の劣性結合動き情報候補追加部の動作を説明する図である。
【図３２】実施の形態３による効果を説明する図である。
【図３３】実施の形態４の結合動き情報候補リスト生成部の構成を説明する図である。
【図３４】実施の形態４の結合動き情報候補リスト生成部の動作を説明する図である。
【図３５】図３３の劣性結合動き情報候補削除部の動作を説明する図である。
【図３６】実施の形態４の変形例における劣性結合動き情報候補削除部の動作を説明する図である。
【図３７】重複結合動き情報候補を説明する図である。
【図３８】実施の形態５の結合動き情報候補リスト生成部の構成を説明する図である。
【図３９】実施の形態５の結合動き情報候補リスト生成部の動作を説明する図である。
【図４０】図３８の優性結合動き情報候補並び替え部の動作を説明する図である
【図４１】優性結合動き情報候補を説明する図である。
【図４２】実施の形態５による効果を説明する図である。
【図４３】組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明する図である。
【発明を実施するための形態】
【００１８】
まず、本発明の実施の形態の前提となる技術を説明する。
【００１９】
現在、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、画像を複数のブロックに分割して時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。
【００２０】
２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ−ＴではＨ．２６４の規格番号がつけられている。以下、これをＭＰＥＧ−４ＡＶＣと呼ぶ）が国際標準として制定された。ＭＰＥＧ−４ＡＶＣでは、基本的に処理対象ブロックの複数の隣接ブロックの動きベクトルの中央値を予測ベクトルとする。予測ブロックサイズが正方形でない場合で処理対象ブロックの特定の隣接ブロックの参照インデックスと処理対象ブロックの参照インデックスが一致する場合には、その特定の隣接ブロックの動きベクトルを予測ベクトルとする。
【００２１】
現在、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＨＥＶＣと呼ばれる符号化方式の標準化が検討されている。
【００２２】
ＨＥＶＣの標準化では、複数の隣接ブロックと復号済みの別の画像のブロックを候補ブロック群として、これら候補ブロック群から１つの候補ブロックが選択されて、選択された候補ブロックの情報が符号化および復号されるマージモードが検討されている。
【００２３】
［実施の形態１］
（符号化ブロック）
本実施の形態では、入力された画像信号は最大符号化ブロック単位に分割され、分割された最大符号化ブロックをラスタースキャン順序で処理する。符号化ブロックは階層構造となっており、符号化効率などを考慮して順次均等に４分割することでより小さい符号化ブロックにすることができる。なお、４分割された符号化ブロックはジグザグスキャン順で符号化される。これ以上小さくすることのできない符号化ブロックを最小符号化ブロックと呼ぶ。符号化ブロックは符号化の単位となり、最大符号化ブロックも分割数が０である場合は符号化ブロックとなる。本実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とする。
【００２４】
図１（ａ）、（ｂ）は、符号化ブロックを説明するための図である。図１（ａ）の例では、符号化ブロックが１０個に分割されている。ＣＵ０、ＣＵ１およびＣＵ９は３２画素×３２画素の符号化ブロック、ＣＵ２、ＣＵ３およびＣＵ８は１６画素×１６画素の符号化ブロック、ならびにＣＵ４、ＣＵ５、ＣＵ６およびＣＵ７は８画素×８画素の符号化ブロックとなっている。図１（ｂ）の例では、符号化ブロックが１個に分割されている。
【００２５】
（予測ブロック）
本実施の形態では、符号化ブロックはさらに予測ブロックに分割される。符号化ブロックは予測ブロックサイズタイプ（「分割タイプ」ともいう）によって１以上の予測ブロックに分割される。図２（ａ）〜（ｄ）は、予測ブロックサイズタイプを説明するための図である。図２（ａ）は符号化ブロックを分割しない２Ｎ×２Ｎ、図２（ｂ）は水平に２分割する２Ｎ×Ｎ、図２（ｃ）は垂直に２分割するＮ×２Ｎ、および図２（ｄ）は水平と垂直に４分割するＮ×Ｎを示す。２Ｎ×２Ｎは１個の予測ブロック０、２Ｎ×ＮとＮ×２Ｎは２個の予測ブロック０と予測ブロック１、Ｎ×Ｎは４個の予測ブロック０、予測ブロック１、予測ブロック２、予測ブロック３からなる。
【００２６】
図３は、符号化ブロックの分割数と予測ブロックサイズタイプによる予測ブロックサイズを説明するための図である。本実施の形態における予測ブロックサイズは、ＣＵ分割数が０であって予測ブロックサイズタイプが２Ｎ×２Ｎである６４画素×６４画素からＣＵ分割数が３であって予測ブロックサイズタイプＮ×Ｎである４画素×４画素までの１３の予測ブロックサイズが存在することになる。
【００２７】
本実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とするが、この組み合わせに限定されない。また、予測ブロックの分割のパターンを図２（ａ）〜（ｄ）としたが、１以上に分割される組み合わせであればよくこれに限定されない。
【００２８】
（予測符号化モード）
本実施の形態では、動き補償予測や符号化ベクトル数を予測ブロックのブロック毎に切り替えることが可能となっている。ここで、動き補償予測と符号化ベクトル数を関連付けた予測符号化モードの一例について図４を用いて簡単に説明する。図４は、予測符号化モードを説明するための図である。
【００２９】
図４に示す予測符号化モードには、動き補償予測の予測方向が単予測（Ｌ０予測）であって符号化ベクトル数が１であるＰｒｅｄＬ０、動き補償予測の予測方向が単予測（Ｌ１予測）であって符号化ベクトル数が１であるＰｒｅｄＬ１、動き補償予測の予測方向が双予測（ＢＩ予測）であって符号化ベクトル数が２であるＰｒｅｄＢＩ、および動き補償予測の予測方向が単予測（Ｌ０予測／Ｌ１予測）または双予測（ＢＩ予測）であって符号化ベクトル数が０であるマージモード（ＭＥＲＧＥ）がある。また、動き補償予測を実施しない予測符号化モードであるイントラモード（Ｉｎｔｒａ）もある。ここで、ＰｒｅｄＬ０、ＰｒｅｄＬ１、およびＰｒｅｄＢＩが予測ベクトルモードとなる。
【００３０】
マージモードでは予測方向がＬ０予測／Ｌ１予測／ＢＩ予測のいずれにもなるが、それは、マージモードの予測方向は候補ブロック群から選択された候補ブロックの予測方向をそのまま引き継ぐか、復号済みの情報から導出されるためである。また、マージモードでは符号化ベクトルが符号化されない。これは、マージモードの符号化ベクトルは候補ブロック群から選択された候補ブロックの動きベクトルをそのまま引き継ぐか、復号済みの情報から導出されるためである。
【００３１】
（参照インデックス）
本実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照画像の中から最適な参照画像を選択することを可能とする。そのため、動き補償予測で利用した参照画像を参照画像インデックスとして符号化ベクトルとともに符号化する。動き補償予測で利用される参照画像インデックスは０以上の数値となる。動き補償予測が単予測であれば、参照インデックスは１つ利用され、動き補償予測が双予測であれば、２つの参照インデックスが利用される（図４）。
【００３２】
マージモードでは参照インデックスは符号化されない。これは、マージモードの参照インデックスは候補ブロック群から選択された候補ブロックの参照インデックスをそのまま引き継ぐか、復号済みの情報から導出されるためである。
【００３３】
（参照インデックスリスト）
本実施の形態では、動き補償予測で利用できる複数の参照画像を参照インデックスリスト内に登録しておき、参照インデックスリスト内に登録された参照画像を参照インデックスで示すことによって参照画像を確定させて動き補償予測で利用する。参照インデックスリストには、参照インデックスリストＬ０と参照インデックスリストＬ１がある。動き補償予測が単予測の場合は、参照インデックスリストＬ０の中の参照画像を用いたＬ０予測、または参照インデックスリストＬ１の中の参照画像を用いたＬ１予測のいずれかを利用する。双予測の場合は参照インデックスリストＬ０と参照インデックスリストＬ１の２つを利用したＢＩ予測を利用する。各参照インデックスリストに登録できる参照画像の最大数は１６とする。
【００３４】
（マージインデックス）
本実施の形態では、マージモードの場合には、処理対象画像内の複数の隣接ブロックおよび符号化済みの別の画像内の処理対象ブロックと同一位置の周辺にあるブロックを候補ブロック群として、候補ブロック群の中から最適な予測符号化モード、動きベクトル、及び参照インデックスを持つ候補ブロックを選択し、選択した候補ブロックを示すためのマージインデックスを符号化および復号する。マージモードのときのみマージインデックスが１つ利用される（図４）。マージインデックスの最大数（マージ候補最大数ともいう）は５であり、マージインデックスは０から４までの整数となる。ここでは、マージインデックスの最大数を５としたが、２以上であればよく、これに限定されない。
【００３５】
以降、マージインデックスの対象となる候補ブロックの動き情報を結合動き情報候補と呼び、結合動き情報候補の集合体を結合動き情報候補リストと呼ぶ。以降、動き情報とは予測方向、動きベクトル、及び参照インデックスを含む。
【００３６】
なお、マージインデックスと符号列の関係について図を用いて説明する。図５はマージインデックスと符号列の関係を説明するための図である。マージインデックスが０の場合の符号列は'０'、マージインデックスが１の場合の符号列は'１０'、マージインデックスが２の場合の符号列は'１１０'、マージインデックスが３の場合の符号列は'１１１０'、マージインデックスが４の場合の符号列は'１１１１０'となり、マージインデックスが大きくなるほど符号列を長く設定する。そのため、選択率の高い候補ブロックに小さいマージインデックスを割り当てることで、符号化効率を向上させることができる。
【００３７】
（予測ベクトルインデックス）
本実施の形態では、予測ベクトルの精度を向上させるために、複数の隣接ブロックおよび符号化済みの別の画像の処理対象ブロックと同一位置の周辺にあるブロックを候補ブロック群として、候補ブロック群から予測ベクトルとして最適な動きベクトルを持つ候補ブロックを選択し、選択した候補ブロックを示すための予測ベクトルインデックスを符号化および復号する。動き補償予測が単予測であれば、予測ベクトルインデックスは１つ利用され、動き補償予測が双予測であれば、２つの予測ベクトルインデックスが利用される（図４）。予測ベクトルインデックスの最大数（予測ベクトル候補最大数ともいう）は２であり、予測ベクトルインデックスは０または１の整数となる。ここでは、予測ベクトル候補最大数を２としたが、２以上であればよく、これに限定されない。
【００３８】
以降、予測ベクトルインデックスの対象となる候補ブロックの動きベクトルを予測ベクトル候補と呼び、予測ベクトル候補の集合体を予測ベクトル候補リストと呼ぶ。
【００３９】
（シンタックス）
本実施の形態による予測ブロックのシンタックスの一例について図６を用いて説明する。予測ブロックがイントラであるかインターであるかは上位の符号化ブロックによって指定されているものとし、図６は予測ブロックがインターの場合の予測ブロックのシンタックスだけを示す。また、予測ブロックサイズタイプについても符号化ブロックで指定されているものとする。
【００４０】
予測ブロック（図６のＰＵ）には、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、インター予測タイプ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅ）、Ｌ０予測の参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ０）、Ｌ０予測の差分ベクトル（ｍｖｄ＿ｌ０［０］、ｍｖｄ＿ｌ０［１］）、Ｌ０予測の予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ０）、Ｌ１予測の参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ１）、Ｌ１予測の差分ベクトル（ｍｖｄ＿ｌ１［０］、ｍｖｄ＿ｌ１［１］）、及びＬ１予測の予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ１）が設置されている。差分ベクトルの［０］は水平成分、［１］は垂直成分を示す。
【００４１】
ここで、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅは動き補償予測の予測方向（インター予測タイプとも呼ぶ）を示し、Ｐｒｅｄ＿Ｌ０（Ｌ０予測の単予測）、Ｐｒｅｄ＿Ｌ１（Ｌ１予測の単予測）およびＰｒｅｄ＿ＢＩ（ＢＩ予測の双予測）の３種類がある。ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅがＰｒｅｄ＿Ｌ０またはＰｒｅｄ＿ＢＩの場合は、Ｌ０予測に関する情報が設置されて、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅがＰｒｅｄ＿Ｌ１またはＰｒｅｄ＿ＢＩの場合は、Ｌ１予測に関する情報が設置される。
【００４２】
なお、本実施の形態による予測ブロックのシンタックスを図６のように設定したが、これに限定されない。
【００４３】
以下、図面とともに本発明の好適な実施の形態に係る動画像符号化装置、動画像符号化方法および動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法および動画像復号プログラムの詳細について説明する。なお、図面の説明において同一要素には同一符号を付与して重複する説明を省略する。
【００４４】
（動画像符号化装置１００の構成）
図７は、本実施の形態１に係る動画像符号化装置１００の構成を示す。動画像符号化装置１００は、動画像信号を、動き補償予測を実施する予測ブロック単位で符号化する装置である。符号化ブロックの分割、予測ブロックサイズタイプの決定、予測ブロックサイズと予測ブロックの符号化ブロック内の位置（予測ブロックの位置情報）の決定、予測符号化モードがイントラであるかの決定は図示しない上位の符号化制御部で決定されているものとし、実施の形態１では予測符号化モードがイントラでない場合について説明する。また、実施の形態１では双予測に対応したＢピクチャについて説明するが、双予測に対応しないＰピクチャについてはＬ１予測を省略すればよい。
【００４５】
動画像符号化装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像符号化装置１００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。なお、処理対象の予測ブロックの位置情報、予測ブロックサイズおよび動き補償予測の予測方向に関しては動画像符号化装置１００内で共有していることとし、図示しない。
【００４６】
実施の形態１の動画像符号化装置１００は、予測ブロック画像取得部１０１、減算部１０２、予測誤差符号化部１０３、符号列生成部１０４、予測誤差復号部１０５、動き補償部１０６、加算部１０７、動きベクトル検出部１０８、動き情報生成部１０９、フレームメモリ１１０、および動き情報メモリ１１１を含む。
【００４７】
（動画像符号化装置１００の機能と動作）
以下、各部の機能と動作について説明する。予測ブロック画像取得部１０１は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子１０より供給される画像信号から処理対象の予測ブロックの画像信号を取得し、予測ブロックの画像信号を減算部１０２、動きベクトル検出部１０８および動き情報生成部１０９に供給する。
【００４８】
動きベクトル検出部１０８は、予測ブロック画像取得部１０１より供給される画像信号および内部に記憶している複数の参照画像に相当する画像信号から、Ｌ０予測とＬ１予測それぞれの動きベクトルと参照画像を示す参照インデックスを検出する。当該Ｌ０予測とＬ１予測の動きベクトル、および当該Ｌ０予測とＬ１予測の参照インデックスを動き情報生成部１０９に供給する。ここでは、動きベクトル検出部１０８は参照画像として内部に記憶している複数の参照画像に相当する画像信号を利用するとしたが、フレームメモリ１１０に記憶されている参照画像を利用することもできる。
【００４９】
一般的な動きベクトルの検出方法は、対象画像の画像信号と、同一位置より所定の移動量だけ移動させた参照画像の予測信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。参照画像が複数ある場合には各参照画像について動きベクトルを検出し、誤差評価値が最小となる参照画像を選択する。誤差評価値としては、絶対差分和を示すＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）や二乗誤差平均を示すＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）などを利用することが可能である。また、動きベクトル符号量を誤差評価値に加算して評価することも可能である。
【００５０】
動き情報生成部１０９は、動きベクトル検出部１０８より供給されるＬ０予測とＬ１予測の動きベクトルおよびＬ０予測とＬ１予測の参照インデックス、動き情報メモリ１１１より供給される候補ブロック群、参照インデックスで示されるフレームメモリ１１０内の参照画像、および予測ブロック画像取得部１０１より供給される画像信号から、予測符号化モードを決定する。
【００５１】
決定された予測符号化モードに基づいて、マージフラグ、マージインデックス、動き補償予測の予測方向、Ｌ０予測とＬ１予測の参照インデックス、Ｌ０予測とＬ１予測の差分ベクトルおよびＬ０予測とＬ１予測の予測ベクトルインデックスを必要に応じて、符号列生成部１０４に供給する。動き補償予測の予測方向、Ｌ０予測とＬ１予測の参照インデックス、およびＬ０予測とＬ１予測の動きベクトルを動き補償部１０６および動き情報メモリ１１１に供給する。動き情報生成部１０９の詳細については後述する。
【００５２】
動き補償部１０６は、動き情報生成部１０９より供給される動き補償予測の予測方向がＬＮ予測であれば、動き情報生成部１０９より供給されるＬＮ予測の参照インデックスで示されるフレームメモリ１１０内の参照画像を、動き情報生成部１０９より供給されるＬＮ予測の動きベクトルに基づき動き補償してＬＮ予測の予測信号を生成する。Ｎは０または１である。ここで、動き補償予測の予測方向が双予測であれば、Ｌ０予測とＬ１予測の予測信号の平均値が予測信号となる。なお、Ｌ０予測とＬ１予測の予測信号を重みづけしてもよい。動き補償部１０６は、当該予測信号を減算部１０２に供給する。
【００５３】
減算部１０２は、予測ブロック画像取得部１０１より供給される画像信号と動き補償部１０６より供給される予測信号を減算して予測誤差信号を算出し、当該予測誤差信号を予測誤差符号化部１０３に供給する。
【００５４】
予測誤差符号化部１０３は、減算部１０２より供給される予測誤差信号に対して、直交変換や量子化などの処理を行って予測誤差符号化データを生成し、当該予測誤差符号化データを符号列生成部１０４および予測誤差復号部１０５に供給する。
【００５５】
符号列生成部１０４は、予測誤差符号化部１０３より供給される予測誤差符号化データ、ならびに動き情報生成部１０９より供給されるマージフラグ、マージインデックス、動き補償予測の予測方向（インター予測タイプ）、Ｌ０予測とＬ１予測の参照インデックス、Ｌ０予測とＬ１予測の差分ベクトルおよびＬ０予測とＬ１予測の予測ベクトルインデックスを図６に示すシンタックスの順序に従ってエントロピー符号化して符号列を生成し、当該符号列を端子１１に供給する。エントロピー符号化は算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。
【００５６】
予測誤差復号部１０５は、予測誤差符号化部１０３より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部１０７に供給する。加算部１０７は、予測誤差復号部１０５より供給される予測誤差信号と、動き補償部１０６より供給される予測信号を加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ１１０に供給する。
【００５７】
フレームメモリ１１０は、加算部１０７より供給される復号画像信号を記憶する。また、画像全体の復号が完了した復号画像については参照画像として、１以上の所定の画像数を記憶する。フレームメモリ１１０は、記憶した参照画像信号を動き補償部１０６および動き情報生成部１０９に供給する。参照画像を記憶する記憶領域はＦＩＦＯ（Ｆｉｒｓｔ
Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）方式で制御される。
【００５８】
動き情報メモリ１１１は、動き情報生成部１０９より供給される動き情報を最小の予測ブロックサイズ単位で所定の画像数、記憶する。処理対象の予測ブロックの隣接ブロックの動き情報を空間候補ブロック群とする。
【００５９】
また、動き情報メモリ１１１は、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上のブロックとその周辺ブロックの動き情報を時間候補ブロック群とする。動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群を候補ブロック群として動き情報生成部１０９に供給する。動き情報メモリ１１１は、フレームメモリ１１０と同期しており、ＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）方式で制御される。
【００６０】
ここで、ＣｏｌＰｉｃとは、処理対象の予測ブロックとは別の復号済みの画像であって、フレームメモリ１１０に参照画像として記憶されている。実施の形態１では、ＣｏｌＰｉｃは処理対象画像の直前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは処理対象画像の直前に復号した参照画像としたが、復号済みの画像であればよく、例えば、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中で指定することも可能である。
【００６１】
ここで、動き情報メモリ１１１における動き情報の管理方法について説明する。動き情報は最小の予測ブロック単位で各メモリエリアに記憶される。各メモリエリアには、少なくとも予測方向、Ｌ０予測の動きベクトル、Ｌ０予測の参照インデックス、Ｌ１予測の動きベクトル、およびＬ１予測の参照インデックスが記憶される。
【００６２】
なお、予測符号化モードがイントラモードである場合、Ｌ０予測とＬ１予測の動きベクトルとして（０，０）が記憶され、Ｌ０予測とＬ予測の参照インデックスとして「−１」が記憶される。これ以降、動きベクトルの（Ｈ、Ｖ）は、Ｈが水平成分、Ｖが垂直成分を表すこととする。なお、参照インデックスの「−１」は動き補償予測を実施しないモードであることが判定できればどのような値でもよい。これ以降は特に断らない限り単にブロックと表現する場合には、最小の予測ブロック単位のことを示すこととする。また、領域外のブロックである場合もイントラモードと同様に、Ｌ０予測とＬ１予測の動きベクトルとして（０，０）が記憶され、Ｌ０予測とＬ１予測の参照インデックスとして「−１」が記憶される。ＬＸ方向（Ｘは０または１）が有効であるとはＬＸ方向の参照インデックスが０以上であることで、ＬＸ方向が無効である（有効でない）とはＬＸ方向の参照インデックスが「−１」であることである。なお、領域外であるとは、一般的に処理対象の予測ブロックが属するピクチャの外の領域やスライスの外の領域を示す。
【００６３】
（動き情報生成部１０９の構成）
続いて、動き情報生成部１０９の詳細な構成について説明する。図８は、動き情報生成部１０９の構成を示す。動き情報生成部１０９は、予測ベクトルモード決定部１２０、マージモード決定部１２１および予測符号化モード決定部１２２を含む。端子１２は動き情報メモリ１１１に、端子１３は動きベクトル検出部１０８に、端子１４はフレームメモリ１１０に、端子１５は予測ブロック画像取得部１０１に、端子１６は符号列生成部１０４に、端子５０は動き補償部１０６に、および端子５１は動き情報メモリ１１１にそれぞれ接続されている。
【００６４】
（動き情報生成部１０９の機能と動作）
以下、各部の機能と動作について説明する。予測ベクトルモード決定部１２０は、端子１２より供給される候補ブロック群、端子１３より供給されるＬ０予測とＬ１予測の動きベクトルおよびＬ０予測とＬ１予測の参照インデックス、端子１４より供給される参照インデックスで示される参照画像、および端子１５より供給される画像信号から、インター予測タイプを決定し、インター予測タイプに従って、Ｌ０予測とＬ１予測の予測ベクトルインデックスを選択してＬ０予測とＬ１予測の差分ベクトルを算出するとともに、予測誤差を算出し、レート歪み評価値を算出する。そして、当該インター予測タイプに基づいた動き情報、差分ベクトル、予測ベクトルインデックス、およびレート歪み評価値を予測符号化モード決定部１２２に供給する。
【００６５】
マージモード決定部１２１は、端子１２より供給される候補ブロック群、端子１４より供給される参照画像、および端子１５より供給される画像信号から、結合動き情報候補リストを生成し、当該結合動き情報候補リストの中から１つの結合動き情報候補を選択してマージインデックスを決定し、レート歪み評価値を算出する。そして、当該結合動き情報候補の動き情報、当該マージインデックスおよび当該レート歪み評価値を予測符号化モード決定部１２２に供給する。マージモード決定部１２１の詳細については後述する。
【００６６】
予測符号化モード決定部１２２は、予測ベクトルモード決定部１２０より供給されるレート歪み評価値と、マージモード決定部１２１より供給されるレート歪み評価値とを比較してマージフラグを決定する。
【００６７】
予測ベクトルモードレート歪み評価値がマージモードレート歪み評価値未満の場合は、マージフラグを「０」に設定する。予測符号化モード決定部１２２は、当該マージフラグ、予測ベクトルモード決定部１２０より供給されるインター予測タイプ、参照インデックス、差分ベクトルと予測ベクトルインデックスを端子１６に供給し、予測ベクトルモード決定部１２０より供給される動き情報を端子５０および端子５１に供給する。
【００６８】
マージモードレート歪み評価値が予測ベクトルモードレート歪み評価値以下の場合は、マージフラグを「１」に設定する。予測符号化モード決定部１２２は、当該マージフラグおよびマージモード決定部１２１より供給されるマージインデックスを端子１６に供給し、マージモード決定部１２１より供給される動き情報を端子５０および端子５１に供給する。なお、レート歪み評価値の具体的な算出方法は本発明の主眼ではないため詳細な説明は省略するが、予測誤差と符号量から符号量当たりの予測誤差量を算出し、レート歪み評価値が小さいほど符号化効率は高くなる特性を持つ評価値である。そのため、レート歪み評価値が小さい予測符号化モードを選択することで符号化効率を向上させることができる。
【００６９】
（マージモード決定部１２１の構成）
続いて、マージモード決定部１２１の詳細な構成について説明する。図９は、マージモード決定部１２１の構成を説明するための図である。マージモード決定部１２１は、結合動き情報候補リスト生成部１４０および結合動き情報選択部１４１を含む。結合動き情報候補リスト生成部１４０は、実施の形態１に係る動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて同一の結合動き情報リストが生成される。
【００７０】
（マージモード決定部１２１の機能と動作）
以下、各部の機能と動作について説明する。結合動き情報候補リスト生成部１４０は、端子１２より供給される候補ブロック群からマージ候補最大数の結合動き情報候補を含む結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部１４１に供給する。結合動き情報候補リスト生成部１４０の詳細な構成については後述する。
【００７１】
結合動き情報選択部１４１は、結合動き情報候補リスト生成部１４０より供給される結合動き情報候補リストの中から、最適な結合動き情報候補を選択し、選択された結合動き情報候補を示す情報であるマージインデックスを決定して、当該マージインデックスを端子１７に供給する。
【００７２】
ここで、最適な結合動き情報候補の選択方法について説明する。結合動き情報候補の予測方向、動きベクトルおよび参照インデックスに基づいて動き補償予測されて得られる端子１４より供給される参照画像と、端子１５より供給される画像信号とから予測誤差量が算出される。マージインデックスの符号量と、当該予測誤差量とからレート歪み評価値が算出されて、レート歪み評価値が最小となる結合動き情報候補が最適な結合動き情報候補として選択される。
【００７３】
（結合動き情報候補リスト生成部１４０に供給される候補ブロック群）
次に、結合動き情報候補リスト生成部１４０に供給される候補ブロック群について図１０と図１１を用いて説明する。候補ブロック群には空間候補ブロック群と時間候補ブロック群が含まれる。
【００７４】
図１０は、処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックの隣接ブロックを示す。実施の形態１では、空間候補ブロック群として、図１０に示すブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとする。ここでは、空間候補ブロック群をブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであればよく、これらに限定されない。例えば、ブロックＡ１、ブロックＡ２、ブロックＡ３、ブロックＡ４、ブロックＢ１、ブロックＢ２、ブロックＢ３、ブロックＢ４、ブロックＣ、ブロックＤおよびブロックＥの全てを空間候補ブロックとしてもよい。
【００７５】
次に、時間候補ブロック群について図１１を用いて説明する。図１１は、処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上の予測ブロック内のブロックとその周辺ブロックを示す。実施の形態１では、時間候補ブロック群として、図１１に示すブロックＨとブロックＩ６の２ブロックとする。ここでは、時間候補ブロック群をＣｏｌＰｉｃ上のブロックＨとブロックＩ６の２ブロックとしたが、時間候補ブロック群は、処理対象の予測ブロックとは別の復号済みの画像上の少なくとも１以上のブロックであればよく、これらに限定されない。例えば、ブロックＨのみとしてもよい。以降、ブロックＡ４をブロックＡ、ブロックＢ４をブロックＢと表記し、ブロックI６をブロックIと表記し、ブロックＨとブロックＩ６のブロックを時間ブロックと表記する。
【００７６】
（結合動き情報候補リスト生成部１４０の構成）
続いて、結合動き情報候補リスト生成部１４０の詳細な構成について説明する。図１２は、結合動き情報候補リスト生成部１４０の構成を説明するための図である。端子１９は結合動き情報選択部１４１に接続されている。結合動き情報候補リスト生成部１４０は、空間結合動き情報候補生成部１６０、時間結合動き情報候補生成部１６１、劣性結合動き情報候補並び替え部１６２、冗長結合動き情報候補削除部１６３、第１結合動き情報候補補充部１６４、および第２結合動き情報候補補充部１６５を含む。
【００７７】
（結合動き情報候補リスト生成部１４０の機能と動作）
以下、各部の機能と動作について説明する。図１３は、結合動き情報候補リスト生成部１４０の動作を説明するためのフローチャートである。まず、結合動き情報候補リスト生成部１４０は、結合動き情報候補リストを初期化する（Ｓ１００）。初期化された結合動き情報候補リストには結合動き情報候補は存在しない。
【００７８】
次に、空間結合動き情報候補生成部１６０は、端子１２より供給される候補ブロック群から空間結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１０１）、当該結合動き情報候補リストと候補ブロック群を時間結合動き情報候補生成部１６１に供給する。空間結合動き情報候補生成部１６０の詳細な動作については後述する。
【００７９】
次に、時間結合動き情報候補生成部１６１は、空間結合動き情報候補生成部１６０より供給される候補ブロック群から時間結合動き情報候補を生成して空間結合動き情報候補生成部１６０より供給される結合動き情報候補リストに追加し（Ｓ１０２）、当該結合動き情報候補リストを劣性結合動き情報候補並び替え部１６２に供給する。時間結合動き情報候補生成部１６１の詳細な動作については後述する。
【００８０】
次に、劣性結合動き情報候補並び替え部１６２は、時間結合動き情報候補生成部１６１より供給される結合動き情報候補リストに登録されている劣性結合動き情報候補について結合動き情報候補リスト内の順序を変更し（Ｓ１０３）、当該結合動き情報候補リストを冗長結合動き情報候補削除部１６３に供給する。劣性結合動き情報候補並び替え部１６２の詳細な動作については後述する。また、劣性結合動き情報候補の詳細についても後述する。
【００８１】
次に、冗長結合動き情報候補削除部１６３は、劣性結合動き情報候補並び替え部１６２より供給される結合動き情報候補リストに登録されている結合動き情報候補を検査し、同一の動き情報を有する結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残してその他の結合動き情報候補を削除し（Ｓ１０４）、当該結合動き情報候補リストを第１結合動き情報候補補充部１６４に供給する。したがって、当該結合動き情報候補リストに登録されている結合動き情報候補は全てが異なる結合動き情報候補となる。
【００８２】
次に、第１結合動き情報候補補充部１６４は、冗長結合動き情報候補削除部１６３より供給される結合動き情報候補リストに登録された結合動き情報候補から第１補充結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１０５）、当該結合動き情報候補リストを第２結合動き情報候補補充部１６５に供給する。第１結合動き情報候補補充部１６４の詳細な動作については後述する。
【００８３】
次に、第２結合動き情報候補補充部１６５は、第１結合動き情報候補補充部１６４より供給される結合動き情報候補リストに依存しない第２補充結合動き情報候補を生成して第１結合動き情報候補補充部１６４より供給される結合動き情報候補リストに追加し（Ｓ１０６）、当該結合動き情報候補リストを端子１９に供給する。第２結合動き情報候補補充部１６５の詳細な動作については後述する。
【００８４】
（空間結合動き情報候補生成部１６０の詳細な動作）
続いて、空間結合動き情報候補生成部１６０の詳細な動作について説明する。図１４は、空間結合動き情報候補生成部１６０の動作を説明するためのフローチャートである。空間結合動き情報候補生成部１６０は、候補ブロック群の空間候補ブロック群に含まれる候補ブロックであるブロックＡ、ブロックＢ、ブロックＣ、ブロックＥ、ブロックＤの順に以下の処理を繰り返し行う（Ｓ１１０からＳ１１４）。
【００８５】
最初に、候補ブロックが有効であるか検査する（Ｓ１１１）。候補ブロックが有効であるとは、候補ブロックのＬ０予測とＬ１予測の参照インデックスの少なくとも一方が０以上であることである。候補ブロックが有効であれば（Ｓ１１１のＹ）、候補ブロックの動き情報を空間結合動き情報候補として結合動き情報候補リストに追加する（Ｓ１１２）。候補ブロックが有効でなければ（Ｓ１１１のＮ）、ステップＳ１１２とステップＳ１１３をスキップして次の候補ブロックを検査する（Ｓ１１４）。ステップＳ１１２に続いて、結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数であるか検査する（Ｓ１１３）。ここでは、空間結合動き情報候補最大数を４とする。結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数でなければ（Ｓ１１３のＮ）、次の候補ブロックを検査する（Ｓ１１４）。結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数であれば（Ｓ１１３のＹ）、処理を終了する。
【００８６】
ここでは、処理対象ブロックとの接線の長く一般的に処理対象ブロックとの相関性の高いと考えられるブロックＡとブロックＢを優先して結合動き情報候補リストに登録できるように処理の順序をブロックＡ、ブロックＢ、ブロックＣ、ブロックＥ、ブロックＤとしたが、相関性の高い順序で結合動き情報候補が結合動き情報候補リストに登録されればよく、これに限定されない。また、空間結合動き情報候補最大数を４としたが、空間結合動き情報候補最大数は１以上で空間候補ブロック群に含まれる候補ブロック数以下であればよく、これに限定されない。
【００８７】
（時間結合動き情報候補生成部１６１の詳細な動作）
続いて、時間結合動き情報候補生成部１６１の詳細な動作について説明する。図１５は、時間結合動き情報候補生成部１６１の動作を説明するためのフローチャートである。Ｌ０予測とＬ１予測の各予測方向ＬＸについて以下の処理を繰り返し行う（Ｓ１２０からＳ１２７）。ここで、Ｘは０または１である。また、候補ブロック群の時間候補ブロック群に含まれる候補ブロックであるブロックＨ、ブロックＩの順に以下の処理を繰り返し行う（Ｓ１２１からＳ１２６）。
【００８８】
時間結合動き情報候補生成部１６１は、候補ブロックのＬＮ予測が有効であるか検査する（Ｓ１２２）。ここで、Ｎは０または１である。ここでは、ＮはＸと同じであるとする。候補ブロックのＬＮ予測が有効であるとは、候補ブロックのＬＮ予測の参照インデックスが０以上であることである。候補ブロックのＬＮ予測が有効であれば（Ｓ１２２のＹ）、候補ブロックのＬＮ予測の動きベクトルを基準動きベクトルとする（Ｓ１２３）。候補ブロックのＬＮ予測が有効でなければ（Ｓ１２２のＮ）、ステップＳ１２３からステップＳ１２６をスキップして次の候補ブロックを検査する（Ｓ１２６）。
【００８９】
ステップＳ１２３に続いて、時間結合動き情報候補のＬＸ予測の参照画像を決定する（Ｓ１２４）。ここでは、時間結合動き情報候補のＬＸ予測の参照画像は、空間候補ブロック群に含まれる候補ブロックのＬＸ予測の参照画像として最もよく利用される参照画像とする。次に、基準動きベクトルを処理対象画像と時間結合動き情報候補のＬＸ予測の参照画像の距離に合うようにスケーリングしてスケーリングベクトルを算出し、当該スケーリングベクトルを時間結合動き情報候補のＬＸ予測の動きベクトルとし（Ｓ１２５）、次の予測方向を処理する（Ｓ１２７）。ここでは、スケーリングベクトルの算出式については、ＭＰＥＧ−４ＡＶＣでの時間ダイレクト動き補償予測のスケーリングベクトルの算出式と同様とする。Ｌ０予測とＬ１予測について処理が終了したステップＳ１２７に続いて、時間結合動き情報候補のＬ０予測とＬ１予測の少なくとも一方の予測が有効であるか検査する（Ｓ１２８）。時間結合動き情報候補のＬＮ予測が有効であるとは、時間結合動き情報候補のＬＮ予測の参照画像が決定していることである。時間結合動き情報候補のＬ０予測とＬ１予測の少なくとも一方の予測が有効であれば（Ｓ１２８のＹ）、時間結合動き情報候補のインター予測タイプを決定して、当該時間結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１２９）。ここでは、インター予測タイプの決定は、Ｌ０予測だけが有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿Ｌ０とし、Ｌ１予測だけが有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿Ｌ１とし、Ｌ０予測とＬ１予測の両方が有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿ＢＩとする。
【００９０】
ここでは、ＮはＸと同じであるとしたが、ＮはＸと異なっていても良く、これに限定されない。また、時間結合動き情報候補のＬＸ予測の参照画像は、空間候補ブロック群に含まれる候補ブロックのＬＸ予測の参照画像として最もよく利用される参照画像としたが、これに限定されず、参照インデックス０の参照画像に決定する等してもよい。また、インター予測タイプはＰｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１、Ｐｒｅｄ＿ＢＩのいずれかであるとしたが、Ｐｒｅｄ＿ＢＩだけでもよく、これに限定されない。
【００９１】
（劣性結合動き情報候補並び替え部１６２の詳細な動作）
続いて、劣性結合動き情報候補並び替え部１６２の詳細な動作について説明する。図１６は、劣性結合動き情報候補並び替え部１６２の動作を説明するためのフローチャートである。最初に、候補ブロックＡが劣性結合動き情報候補であるかどうかを検査する（Ｓ１４０）。劣性結合動き情報候補の詳細については後述する。候補ブロックＡが劣性結合動き情報候補であれば（Ｓ１４０のＹ）、劣性結合動き情報候補である候補ブロックＡに相当する結合動き情報候補を結合動き情報候補リストの最後尾に移動させて（Ｓ１４１）、処理を終了する。候補ブロックＡが劣性結合動き情報候補でなければ（Ｓ１４０のＮ）、候補ブロックＢが劣性結合動き情報候補であるかどうかを検査する（Ｓ１４２）。候補ブロックＢが劣性結合動き情報候補であれば（Ｓ１４２のＹ）、劣性結合動き情報候補である候補ブロックＢに相当する結合動き情報候補を結合動き情報候補リストの最後尾に移動させる（Ｓ１４３）。候補ブロックＢが劣性結合動き情報候補でなければ（Ｓ１４２のＮ）、処理を終了する。
【００９２】
（劣性結合動き情報候補について）
以下、劣性結合動き情報候補について説明する。図１７（ａ）から（ｄ）は劣性結合動き情報候補を説明するための図である。符号化ブロックは、１または２または４の予測ブロックに分割できることは上述した。図１７では符号化ブロックが１６×１６である例を示す。符号化ブロックを多数の予測ブロックに分割することで、符号化ブロックに係る予測誤差を最小化できる一方、図６で示した予測ブロックに係るシンタックスのオーバーヘッドが予測ブロックの個数分増加する。そのため、動き情報が同一であって予測誤差が同一となる複数の予測ブロックについては１つの予測ブロックにまとめて、予測ブロックの分割数を抑制することで符号化効率を向上させることができる。
【００９３】
図１７（ａ）は候補ブロックＡが劣性結合動き情報候補となる例１を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプはＮ×２Ｎとして符号化される場合の予測ブロック１の空間結合動き情報候補の位置を示している。ここで、予測ブロック０の動き情報と予測ブロック１の動き情報が同一であれば、予測ブロック０と予測ブロック１をまとめて２Ｎ×２Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。つまり、予測ブロックサイズタイプがＮ×２Ｎで且つ処理対象ブロックが予測ブロック１である場合、２Ｎ×２Ｎとして符号化される場合の候補ブロックに相当する候補ブロックＡは結合動き情報候補として選択される可能性は低い。したがって、予測ブロックサイズタイプがＮ×２Ｎで且つ処理対象ブロックが予測ブロック１である場合に、候補ブロックＡを劣性結合動き情報候補とする。
【００９４】
図１７（ｂ）は候補ブロックＡが劣性結合動き情報候補となる例２を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプはＮ×Ｎとして符号化される場合の予測ブロック３の空間結合動き情報候補の位置を示している。ここで、予測ブロック０の動き情報と予測ブロック１の動き情報が同一で且つ予測ブロック２の動き情報と予測ブロック３の動き情報が同一であれば、予測ブロック０と予測ブロック１をまとめ、さらに予測ブロック２と予測ブロック３をまとめて２Ｎ×Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。したがって、予測ブロックサイズタイプがＮ×Ｎで且つ予測ブロック０の動き情報と予測ブロック１の動き情報が同一且つ予測ブロック３である場合に、候補ブロックＡを劣性結合動き情報候補とする。
【００９５】
図１７（ｃ）は候補ブロックＢが劣性結合動き情報候補となる例１を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプは２Ｎ×Ｎとして符号化する様子を示している。ここで、予測ブロック０の動き情報と予測ブロック１の動き情報が同一であれば、予測ブロック０と予測ブロック１をまとめて２Ｎ×２Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。したがって、予測ブロックサイズタイプが２Ｎ×Ｎで且つ処理対象ブロックが予測ブロック１である場合に、候補ブロックＢを劣性結合動き情報候補とする。
【００９６】
図１７（ｄ）は候補ブロックＢが劣性結合動き情報候補となる例２を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプはＮ×Ｎとして符号化される場合の予測ブロック３の空間結合動き情報候補の位置を示している。ここで、予測ブロック０の動き情報と予測ブロック２の動き情報が同一で且つ予測ブロック１の動き情報と予測ブロック３の動き情報が同一であれば、予測ブロック０と予測ブロック２をまとめ、さらに予測ブロック１と予測ブロック３をまとめてＮ×２Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。したがって、予測ブロックサイズタイプがＮ×Ｎで且つ予測ブロック０の動き情報と予測ブロック２の動き情報が同一で且つ予測ブロック３である場合に、候補ブロックＢを劣性結合動き情報候補とする。
【００９７】
このように、劣性結合動き情報候補並び替え部１６２は、符号化対象の予測ブロックの分割タイプと符号化対象の予測ブロックの符号化ブロック内の位置とに基づいて、符号化対象の予測ブロックのサイズよりも大きなサイズの予測ブロックで動き補償予測することが符号化効率の点でより適切である結合動き情報候補を劣性結合動き情報候補として選択する。以上のように、劣性結合動き情報候補とは、より大きな予測ブロックサイズに結合された場合に、符号化効率が向上する結合動き情報候補である。
【００９８】
図１８は劣性結合動き情報候補の判定処理を説明するためのフローチャートである。
【００９９】
最初に、予測ブロックサイズタイプが２Ｎ×２Ｎであるか検査する（Ｓ１５０）。予測ブロックサイズタイプが２Ｎ×２Ｎであれば（Ｓ１５０のＹ）、処理を終了する。予測ブロックサイズタイプが２Ｎ×２Ｎでなければ（Ｓ１５０のＮ）、予測ブロックサイズタイプを検査する（Ｓ１５１）。予測ブロックサイズタイプがＮ×２Ｎであれば（Ｓ１５１のＮ×２Ｎ）、予測ブロック１であるかを検査する（Ｓ１５２）。予測ブロックサイズタイプが２Ｎ×Ｎであれば（Ｓ１５１の２Ｎ×Ｎ）、予測ブロック１であるかを検査する（Ｓ１５４）。予測ブロックサイズタイプがＮ×Ｎであれば（Ｓ１５１のＮ×Ｎ）、予測ブロック３であるかを検査する（Ｓ１５６）。予測ブロックサイズタイプがＮ×２Ｎであって、予測ブロック１であれば（Ｓ１５２のＹ）、ブロックＡを劣性結合動き情報候補とする（Ｓ１５３）。予測ブロックサイズタイプがＮ×２Ｎであって、予測ブロック１でなければ（Ｓ１５２のＮ）、処理を終了する。予測ブロックサイズタイプが２Ｎ×Ｎであって、予測ブロック１であれば（Ｓ１５４のＹ）、ブロックＢを劣性結合動き情報候補とする（Ｓ１５５）。予測ブロックサイズタイプが２Ｎ×Ｎであって、予測ブロック１でなければ（Ｓ１５４のＮ）、処理を終了する。
【０１００】
予測ブロックサイズタイプがＮ×Ｎであって、予測ブロック３であれば（Ｓ１５６のＹ）、予測ブロック０と予測ブロック２の動き情報が同じであるか検査する（Ｓ１５７）。予測ブロックサイズタイプがＮ×Ｎであって、予測ブロック３でなければ（Ｓ１５６のＮ）、処理を終了する。予測ブロック０と予測ブロック２の動き情報が同じであれば（Ｓ１５７のＹ）、ブロックＡを劣性結合動き情報候補とする（Ｓ１５８）。予測ブロック０と予測ブロック２の動き情報が同じでなければ（Ｓ１５７のＮ）、予測ブロック０と予測ブロック１の動き情報が同じであるか検査する（Ｓ１５９）。予測ブロック０と予測ブロック１の動き情報が同じであれば（Ｓ１５９のＹ）、ブロックＢを劣性結合動き情報候補とする（Ｓ１６０）。予測ブロック０と予測ブロック１の動き情報が同じでなければ（Ｓ１５９のＮ）、処理を終了する。
【０１０１】
図１８は劣性結合動き情報候補の判定処理の一例であって、少なくとも符号化ブロックの予測ブロックへの分割数と符号化ブロック内の予測ブロックの位置の両方またはいずれかを用いて劣性結合動き情報候補が判定できればよく、これに限定されない。
【０１０２】
例えば、予測ブロックタイプがＮ×Ｎである場合の条件判定簡略化のために、予測ブロック０と予測ブロック１の動き情報同一性判定（ステップＳ１５９）や予測ブロック０と予測ブロック２（ステップＳ１５７）の動き情報同一性判定を省略し、予測ブロック３では常にブロックＡとＢを劣勢結合動き情報候補とすることもできる。さらに、予測ブロック１では常にブロックＡを劣勢結合動き情報候補とし、予測ブロック２では常にブロックＢを劣勢結合動き情報候補とすることもできる。
【０１０３】
また、予測ブロックタイプがＮ×Ｎである場合の条件判定簡略化の別の手法として、予測ブロックタイプがＮ×Ｎである場合には、劣性結合動き情報候補の並び替えをしないようにすることもできる。これは、符号化ブロックの予測ブロックへの分割数に基づいて、劣性結合動き情報候補の並び替えの制御をすることとなる。
【０１０４】
一般的に、候補ブロックＡや候補ブロックＢは、他のブロックと比較して相対的に選択率の高い結合動き情報候補であるため、符号長の短いマージインデックスが割り当てられている。ところが、上記のように候補ブロックＡや候補ブロックＢが劣性結合動き情報候補の条件に該当する場合には、候補ブロックＡや候補ブロックＢはより大きな予測ブロックに結合された方が符号化効率が良いため、結合動き情報候補として選択される可能性は低い。そのため、劣性結合動き情報候補並び替え部１６２において、劣性結合動き情報候補を結合動き情報候補リストの最後尾に移動させて、相対的に選択率の高くなる劣性結合動き情報候補以外の候補ブロックに符号長の短いマージインデックスを割り当てることで符号化効率を向上させることができる。
【０１０５】
（第１結合動き情報候補補充部１６４の詳細な動作）
続いて、第１結合動き情報候補補充部１６４の詳細な動作について説明する。図１９は、第１結合動き情報候補補充部１６４の動作を説明するためのフローチャートである。最初に、冗長結合動き情報候補削除部１６３より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）とマージ候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１補充結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式１より算出する（Ｓ１７０）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; (NumCandList>0)
MaxNumGenCand=0; (NumCandList==0)                            式１
【０１０６】
次に、ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きいか検査する（Ｓ１７１）。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きくなければ（Ｓ１７１のＮ）、処理を終了する。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きければ（Ｓ１７１のＹ）、以下の処理を行う。まず、組み合わせ検査回数であるｌｏｏｐＴｉｍｅｓを決定する。ｌｏｏｐＴｉｍｅｓはＮｕｍＣａｎｄＬｉｓｔ×ＮｕｍＣａｎｄＬｉｓｔに設定する。ただし、ｌｏｏｐＴｉｍｅｓが８を超える場合にはｌｏｏｐＴｉｍｅｓは８に制限する（Ｓ１７２）。ここで、ｌｏｏｐＴｉｍｅｓは０から７までの整数となる。ｌｏｏｐＴｉｍｅｓだけ以下の処理を繰り返し行う（Ｓ１７２からＳ１８０）。結合動き情報候補Ｍと結合動き情報候補Ｎの組み合わせを決定する（Ｓ１７３）。ここで、組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係について説明する。図４３は組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明するための図である。図４３のようにＭとＮは異なる値であって、ＭとＮの合計値が小さくなる順に設定される。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であるか検査する（Ｓ１７４）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であれば（Ｓ１７４のＮ）、結合動き情報候補ＭのＬ０予測の参照画像と動きベクトルが結合動き情報候補ＮのＬ１予測の参照画像と動きベクトルと異なるか検査する（Ｓ１７５）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効でなければ（Ｓ１７４のＮ）、次の組み合わせを処理する。結合動き情報候補ＭのＬ０予測の参照画像と結合動き情報候補ＮのＬ１予測の参照画像が異なれば（Ｓ１７５のＹ）、結合動き情報候補ＭのＬ０予測の動きベクトルと参照画像を結合動き情報候補ＮのＬ１予測の動きベクトルと参照画像と組み合わせてインター予測タイプがＰｒｅｄ＿ＢＩである双結合動き情報候補を生成する（Ｓ１７６）。ここでは、第１補充結合動き情報候補として、ある結合動き情報候補のＬ０予測とそれとは異なる結合動き情報候補のＬ１予測の動き情報を組み合わせた双結合動き情報を生成する。結合動き情報候補ＭのＬ０予測の参照画像と結合動き情報候補ＮのＬ１予測の参照画像が同じであれば（Ｓ１７５のＮ）、次の組み合わせを処理する。ステップＳ１７６に続いて、双結合動き情報候補が結合動き情報候補リストに存在しないかを検査する（Ｓ１７７）。双結合動き情報候補が結合動き情報候補リストに存在しなければ（Ｓ１７７のＹ）、双結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１７８）。双結合動き情報候補が結合動き情報候補リストに存在すれば（Ｓ１７７のＮ）、ステップＳ１７８をスキップする。ステップＳ１７７またはステップＳ１７８に続いて、生成した双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであるか検査する（Ｓ１７９）。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであれば（Ｓ１７９のＹ）、処理を終了する。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄでなければ（Ｓ１７９のＮ）、次の組み合わせを処理する。
【０１０７】
ここでは、第１補充結合動き情報候補を、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルと参照画像を、別の結合動き情報候補のＬ１予測の動きベクトルと参照画像と組み合わせて、動き補償予測の方向が双方向である双結合動き情報候補としたが、これに限定されない。例えば、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルとＬ１予測の動きベクトルに＋１などのオフセット値を加えた動き補償予測の方向が双方向である結合動き情報候補、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルまたはＬ１予測の動きベクトルに＋１などのオフセット値を加えた動き補償予測の方向が単方向である結合動き情報候補としてもよいし、それらを任意に組み合わせてもよい。
【０１０８】
ここで、第１補充結合動き情報候補は、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きに微妙にずれがある場合に、結合動き情報候補リストに登録された結合動き情報候補の動き情報を修正して有効な結合動き情報候補を生成することで、符号化効率を高めることができる。
【０１０９】
以上のように、結合動き情報候補として選択される可能性の低い劣性結合動き情報候補の動き情報であっても、Ｌ０予測またはＬ１予測のいずれか一方が処理対象ブロックの動き情報と同一である場合や、処理対象ブロックの動き情報が劣性結合動き情報候補の動き情報から微小にずれているだけである可能性がある。そのため、劣性結合動き情報候補の動き情報を削除することなく、劣性結合動き情報候補の動き情報を他の結合動き情報候補の動き情報と組み合わせたり、劣性結合動き情報候補の動き情報を修正させたりして、劣性結合動き情報候補よりも相対的に選択率の高い第１補充結合動き情報候補を生成することで、符号化効率を高めることができる。特に、双結合動き情報候補を利用する場合には少なくとも２つの結合動き情報候補が必要となるため、劣性結合動き情報候補以外の結合動き情報候補が結合動き情報候補リストに１つしか登録されていない場合に、劣性結合動き情報候補の動き情報を削除することなく、劣性結合動き情報候補の動き情報を他の結合動き情報候補の動き情報と組み合わせることで、符号化効率を高めることができる。また、双結合動き情報候補を生成するための結合動き情報候補Ｍと結合動き情報候補Ｎの組み合わせが、ＭとＮの合計値が小さくなる順に設定することで、劣性結合動き情報候補以外の結合動き情報候補同士の組み合わせによる双結合動き情報候補を生成することができる。
【０１１０】
（第２結合動き情報候補補充部１６５の詳細な動作）
続いて、第２結合動き情報候補補充部１６５の詳細な動作について説明する。図２０は、第２結合動き情報候補補充部１６５の動作を説明するためのフローチャートである。最初に、第１結合動き情報候補補充部１６４より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）とマージ候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第２補充結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式２より算出する（Ｓ１９０）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; (NumCandList>0)
MaxNumGenCand=2; (NumCandList==0)                            式２
【０１１１】
次に、以下の処理をｉについてＭａｘＮｕｍＧｅｎＣａｎｄ回繰り返し行う（Ｓ１９１からＳ１９５）。ここで、ｉは０からＭａｘＮｕｍＧｅｎＣａｎｄ−１の整数となる。Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉであるインター予測タイプがＰｒｅｄ＿ＢＩである第２補充結合動き情報候補を生成する（Ｓ１９２）。第２補充結合動き情報候補が結合動き情報候補リストに存在しないかを検査する（Ｓ１９３）。第２補充結合動き情報候補が結合動き情報候補リストに存在しなければ（Ｓ１９３のＹ）、第２補充結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１９４）。第２補充結合動き情報候補が結合動き情報候補リストに存在すれば（Ｓ１９３のＮ）、次のｉについて処理する（Ｓ１９５）。
【０１１２】
ここでは、第２補充結合動き情報候補を、Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉであるインター予測タイプがＰｒｅｄ＿ＢＩである結合動き情報候補とした。これは、一般的な動画像において、Ｌ０予測の動きベクトルとＬ１予測の動きベクトルが（０，０）である結合動き情報候補の発生頻度が統計的に高いためである。結合動き情報候補リストに登録された結合動き情報候補の動き情報に依存せず、統計的に利用頻度が高い結合動き情報候補であれば、これに限定されない。例えば、Ｌ０予測やＬ１予測の動きベクトルはそれぞれ（０，０）以外のベクトル値でもよく、Ｌ０予測とＬ１予測の参照インデックスが異なるように設定してもよい。また、第２補充結合動き情報候補を符号化済みの画像や符号化済みの画像の一部の発生頻度の高い動き情報に設定することもできる。
【０１１３】
ここで、第２補充結合動き情報候補として結合動き情報候補リストに登録された結合動き情報候補に依存しない結合動き情報候補を設定することで、結合動き情報候補リストに登録された結合動き情報候補が０個である場合に、マージモードを利用することを可能とし、符号化効率を向上させることができる。また、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きが異なる場合に、結合動き情報候補リストに統計的に利用頻度の高い新たな結合動き情報候補を追加して選択肢の幅を広げることで、符号化効率を向上させることができる。
【０１１４】
（動画像復号装置２００の構成）
次に、実施の形態１の動画像復号装置を説明する。図２１は、実施の形態１に係る動画像復号装置２００の構成を示す図である。動画像復号装置２００は、動画像符号化装置１００により符号化された符号列を復号して再生画像を生成する装置である。
【０１１５】
動画像復号装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像復号装置２００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。符号化ブロックの分割、予測ブロックサイズタイプの決定、予測ブロックサイズと予測ブロックの符号化ブロック内の位置（予測ブロックの位置情報）の決定、予測符号化モードがイントラであるかの決定は図示しない上位の制御部で決定されているものとし、ここでは予測符号化モードがイントラでない場合について説明する。なお、復号対象の予測ブロックの位置情報、予測ブロックサイズに関しては動画像復号装置２００内で共有していることとし、図示しない。
【０１１６】
実施の形態１の動画像復号装置２００は、符号列解析部２０１、予測誤差復号部２０２、加算部２０３、動き情報再生部２０４、動き補償部２０５、フレームメモリ２０６および動き情報メモリ２０７を備える。
【０１１７】
（動画像復号装置２００の動作）
以下、各部の機能と動作について説明する。符号列解析部２０１は、端子３０より供給された符号列を解析して予測誤差符号化データ、マージフラグ、マージインデックス、動き補償予測の予測方向（インター予測タイプ）、参照インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従ってエントロピー復号する。エントロピー復号は算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。そして、当該予測誤差符号化データを予測誤差復号部２０２に、当該マージフラグ、当該マージインデックス、当該インター予測タイプ、当該参照インデックス、当該差分ベクトル、および当該予測ベクトルインデックスを動き情報再生部２０４に供給する。
【０１１８】
動き情報再生部２０４は、符号列解析部２０１より供給されるマージフラグ、マージインデックス、インター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスと、動き情報メモリ２０７より供給される候補ブロック群から、動き情報を再生し、当該動き情報を動き補償部２０５および動き情報メモリ２０７に供給する。動き情報再生部２０４の詳細な構成については後述する。
【０１１９】
動き補償部２０５は、動き情報再生部２０４より供給される動き情報に基づいて、フレームメモリ２０６内の参照インデックスが示す参照画像を、動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双予測であれば、Ｌ０予測とＬ１予測の予測信号を平均したものを予測信号として生成し、当該予測信号を加算部２０３に供給する。
【０１２０】
予測誤差復号部２０２は、符号列解析部２０１より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部２０３に供給する。
【０１２１】
加算部２０３は、予測誤差復号部２０２より供給される予測誤差信号と、動き補償部２０５より供給される予測信号とを加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ２０６および端子３１に供給する。
【０１２２】
フレームメモリ２０６および動き情報メモリ２０７は、動画像符号化装置１００のフレームメモリ１１０および動き情報メモリ１１１と同一の機能を有する。フレームメモリ２０６は、加算部２０３より供給される復号画像信号を記憶する。動き情報メモリ２０７は、動き情報再生部２０４より供給される動き情報を最小の予測ブロックサイズ単位で記憶する。
【０１２３】
（動き情報再生部２０４の詳細な構成）
続いて、動き情報再生部２０４の詳細な構成について説明する。図２２は、動き情報再生部２０４の構成を示す。動き情報再生部２０４は、符号化モード判定部２１０、動きベクトル再生部２１１および結合動き情報再生部２１２を含む。端子３２は符号列解析部２０１に、端子３３は動き情報メモリ２０７に、端子３４は動き補償部２０５に、端子３６は動き情報メモリ２０７にそれぞれ接続されている。
【０１２４】
（動き情報再生部２０４の詳細な動作）
以下、各部の機能と動作について説明する。符号化モード判定部２１０は、符号列解析部２０１より供給されるマージフラグが「０」であるか「１」であるか判定する。マージフラグが「０」であれば、符号列解析部２０１より供給されるインター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスを動きベクトル再生部２１１に供給する。マージフラグが「１」であれば、符号列解析部２０１より供給されるマージインデックスを結合動き情報再生部２１２に供給する。
【０１２５】
動きベクトル再生部２１１は、符号化モード判定部２１０より供給されるインター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスと、端子３３より供給される候補ブロック群から、動きベクトルを再生して動き情報を生成し、端子３４及び端子３６に供給する。
【０１２６】
結合動き情報再生部２１２は、符号化モード判定部２１０より供給されるマージインデックスと、端子３３より供給される候補ブロック群から、動き情報を再生して端子３４及び端子３６に供給する。
【０１２７】
（結合動き情報再生部２１２の詳細な構成）
続いて、結合動き情報再生部２１２の詳細な構成について説明する。図２３は、結合動き情報再生部２１２の構成を示す。結合動き情報再生部２１２は、結合動き情報候補リスト生成部２３０および結合動き情報選択部２３１を含む。端子３５は符号化モード判定部２１０に接続されている。
【０１２８】
（結合動き情報再生部２１２の詳細な動作）
以下、各部の機能と動作について説明する。結合動き情報候補リスト生成部２３０は動画像符号化装置１００の結合動き情報候補リスト生成部１４０と同一の機能を有し、動画像符号化装置１００の結合動き情報候補リスト生成部１４０と同一の動作によって結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部２３１に供給する。
【０１２９】
結合動き情報選択部２３１は、結合動き情報候補リスト生成部２３０より供給される結合動き情報候補リストの中から、端子３５より供給されるマージインデックスで示される結合動き情報候補を選択して結合動き情報を決定し、当該結合動き情報の動き情報を端子３４及び端子３６に供給する。
【０１３０】
（効果の説明）
本発明の実施の形態１による動画像符号化装置及び動画像復号装置による効果を説明する。図２４は本発明の実施の形態１による効果を説明する図である。図２４は候補ブロックＡが劣性結合動き情報候補となる場合の結合動き情報候補の並び替えによる効果を示す。ここでは、結合動き情報候補リストには、マージインデックス０（候補ブロックＡ）、マージインデックス１（候補ブロックＢ）、マージインデックス２（候補ブロックＣ）、マージインデックス３（候補ブロックＥ）、マージインデックス４（候補ブロックＴ）が登録されているとする。厳密には並び替えの前後でマージインデックスの選択確率は変動するが、ここでは説明の簡略化のため並び替えの前後でマージインデックスの選択確率は変動しないものとして説明する。以降の効果を説明する例についても同様とする。候補ブロックＡ、候補ブロックＢ、候補ブロックＣ、候補ブロックＥ、候補ブロックＴの選択確率がそれぞれ、２％、６０％、１４％、１２％、１２％であるとする。この場合、並び替え前のマージインデックスの符号長の期待値は２．６ビットとなる（式３）。一方、並び替え後のマージインデックスの符号長の期待値は１．８ビットとなる（式４）。したがって、並び替え後のマージインデックスの符号長の期待値は０．８ビット短くなり、符号化効率が向上することがわかる。
0.02x1+0.6x2+0.14x3+0.12x4+0.12x4=2.6    式３
0.6x1+0.14x2+0.12x3+0.12x4+0.02x4=1.8    式４
【０１３１】
以上のように、劣性結合動き情報候補を結合動き情報候補リストの最後尾に移動させて、相対的に選択率の高くなる劣性結合動き情報候補以外の候補ブロックに符号長の短いマージインデックスを割り当てることで符号化効率を向上させることができる。
【０１３２】
（実施の形態１の変形例１）
実施の形態１の結合動き情報候補リスト生成部１４０の構成は図１２のようにしたが、劣性結合動き情報候補並び替え部１６２を、時間結合動き情報候補生成部１６１の後ではなく、空間結合動き情報候補生成部１６０の後に設置してもよい。
【０１３３】
この場合、結合動き情報候補リストにおいて、劣性結合動き情報候補を時間結合動き情報候補よりも後ろに登録することはできないが、劣性結合動き情報候補の並び替え処理が空間結合動き情報候補生成部１６０内で完結するように構成することもできるため、空間結合動き情報候補生成部１６０と時間結合動き情報候補生成部１６１の独立性を高めることで、回路設計やソフトウェア設計を容易にすることができる。
【０１３４】
（実施の形態１の変形例２）
実施の形態１の劣性結合動き情報候補並び替え部１６２の動作は図１６としたが、ステップＳ１４１とステップＳ１４３を、以下のように変更して実施の形態１の変形例１と同一結果となるようにすることもできる。
【０１３５】
劣性結合動き情報候補である候補ブロックＡに相当する結合動き情報候補を結合動き情報候補リストの時間結合動き情報候補の直前または時間結合動き情報候補が存在しない場合は最後尾に移動させる（Ｓ１４１）。劣性結合動き情報候補である候補ブロックＢに相当する結合動き情報候補を結合動き情報候補リストの時間結合動き情報候補の直前または時間結合動き情報候補が存在しない場合は最後尾に移動させる（Ｓ１４３）。
【０１３６】
（実施の形態１の変形例３）
実施の形態１の結合動き情報候補リスト生成部１４０の構成は図１２のようにしたが、第１結合動き情報候補補充部１６４と第２結合動き情報候補補充部１６５は一方または両方がなくてもよい。
【０１３７】
［実施の形態２］
以下、実施の形態２について説明する。実施の形態１とは結合動き情報候補リスト生成部１４０の構成と動作が異なる。図２５は実施の形態２の結合動き情報候補リスト生成部１４０の構成を説明するための図である。図１２の実施の形態１の結合動き情報候補リスト生成部１４０の構成とは、劣性結合動き情報候補並び替え部１６２が時間結合動き情報候補生成部１６１の後ではなく、第１結合動き情報候補補充部１６４の後に設置されていることが異なる。
【０１３８】
図２６は実施の形態２の結合動き情報候補リスト生成部１４０の動作を説明するための図である。図１３の実施の形態１の結合動き情報候補リスト生成部１４０の動作とは、ステップＳ１０３がステップＳ１０２の後ではなく、ステップＳ１０５の後に設置されていることが異なる。
【０１３９】
第１補充結合動き情報候補は劣性結合動き情報候補よりも相対的に選択確率の高い（信頼度の高い）結合動き情報候補を利用して生成することができるため、一般的に劣性結合動き情報候補よりも相対的に選択確率は高くなる。そのため、第１補充結合動き情報候補に劣性結合動き情報候補よりも符号長の短いマージインデックスを割り当てることで、符号化効率を向上させることができる。
【０１４０】
（効果の説明）
本発明の実施の形態２による動画像符号化装置及び動画像復号装置による効果を説明する。図２７は本発明の実施の形態２による効果を説明する図である。ここでは、候補ブロック群の中で候補ブロックＡと候補ブロックＢのみが有効であって、候補ブロックＡと候補ブロックＢの動き補償予測の方向は共に双方向であるとする。また、結合動き情報候補リストには、候補ブロックＡと候補ブロックＢ、２つの双結合動き情報候補であるＢＤ０とＢＤ１、１つの第２補充結合動き情報候補であるＡＤが登録されているとする。マージインデックス０（候補ブロックＡ）、マージインデックス１（候補ブロックＢ）、マージインデックス２（双結合動き情報候補ＢＤ０）、マージインデックス３（双結合動き情報候補ＢＤ１）、マージインデックス４（第２補充結合動き情報候補ＡＤ）の選択確率がそれぞれ、４％、７０％、１２％、１２％、２％であるとする。計算式は省略するが、実施の形態２では、並び替え前のマージインデックスの符号長の期待値は２．３６ビットとなる。一方、並び替え後のマージインデックスの符号長の期待値は１．５４ビットとなる。したがって、並び替え後のマージインデックスの符号長の期待値は０．８２ビット短くなり、符号化効率が向上することがわかる。
【０１４１】
（実施の形態２の変形例）
実施の形態２の結合動き情報候補リスト生成部１４０の構成は図２５のようにしたが、劣性結合動き情報候補並び替え部１６２を、第１結合動き情報候補補充部１６４の後ではなく、第２結合動き情報候補補充部１６５の後に設置してもよい。
【０１４２】
この場合、第２補充結合動き情報候補が符号化済みの画像や符号化済みの画像の一部において発生頻度の高かった動き情報を利用して設定された場合のように、第２補充結合動き情報候補の選択確率が劣性結合動き情報候補の選択確率よりも相対的に高ければ、第２補充結合動き情報候補に劣性結合動き情報候補よりも符号長の短いマージインデックスを割り当てることで、符号化効率を向上させることができる。
【０１４３】
［実施の形態３］
以下、実施の形態３について説明する。実施の形態１とは結合動き情報候補リスト生成部１４０の構成と動作、および空間結合動き情報候補生成部１６０の動作が異なる。
【０１４４】
最初に、結合動き情報候補リスト生成部１４０の構成について説明する。図２８は実施の形態３の結合動き情報候補リスト生成部１４０の構成を説明するための図である。図１２の実施の形態１の結合動き情報候補リスト生成部１４０とは、劣性結合動き情報候補並び替え部１６２の代わりに劣性結合動き情報候補追加部１６６が設置されていることが異なる。
【０１４５】
次に、結合動き情報候補リスト生成部１４０の動作について説明する。図２９は実施の形態３の結合動き情報候補リスト生成部１４０の動作を説明するための図である。図１３の実施の形態１の結合動き情報候補リスト生成部１４０の動作とは、ステップＳ１０３の代わりにステップＳ１０７が設置されていることが異なる。以下、実施の形態３の結合動き情報候補リスト生成部１４０の動作について実施の形態１とは異なる点について説明する。
【０１４６】
劣性結合動き情報候補追加部１６６は、時間結合動き情報候補生成部１６１より供給される結合動き情報候補リストに、劣性結合動き情報候補を追加して（Ｓ１０７）、当該結合動き情報候補リストを冗長結合動き情報候補削除部１６３に供給する。
【０１４７】
次に、空間結合動き情報候補生成部１６０の動作について説明する。図３０は実施の形態３の空間結合動き情報候補生成部１６０の動作を説明するための図である。図１４の実施の形態１の空間結合動き情報候補生成部１６０の動作とは、ステップＳ１１５とステップＳ１１６が追加されていることが異なる。以下、実施の形態３の空間結合動き情報候補生成部１６０の動作について実施の形態１とは異なる点について説明する。
【０１４８】
最初に、劣性結合動き情報候補が記憶されている一時メモリを初期化する。候補ブロックが有効であれば（Ｓ１１１のＹ）、候補ブロックが劣性結合動き情報候補であるか検査する（Ｓ１１５）。ここでは、劣性結合動き情報候補の判定処理は図１８であるとするが、簡易的な処理とすることもできる。候補ブロックが劣性結合動き情報候補であれば（Ｓ１１５のＹ）、候補ブロックを劣性結合動き情報候補として一時メモリに記憶して（Ｓ１１６）、次の候補ブロックを検査する（Ｓ１１４）。候補ブロックが劣性結合動き情報候補でなければ（Ｓ１１５のＮ）、候補ブロックの動き情報を空間結合動き情報候補として結合動き情報候補リストに追加する（Ｓ１１２）。なお、一時メモリは空間結合動き情報候補生成部１６０内で共有されているとする。
【０１４９】
次に、劣性結合動き情報候補追加部１６６の動作について説明する。図３１は劣性結合動き情報候補追加部１６６の動作を説明するための図である。最初に、一時メモリに劣性結合動き情報候補が記憶されているか検査する（Ｓ２００）。劣性結合動き情報候補が記憶されていれば（Ｓ２００のＹ）、結合動き情報候補リストに登録されている空間結合動き情報候補の数が空間結合動き情報候補最大数よりも小さいか検査する（Ｓ２０１）。劣性結合動き情報候補が記憶されていなければ（Ｓ２００のＮ）、処理を終了する。結合動き情報候補リストに登録されている空間結合動き情報候補の数がマージ候補最大数よりも小さければ（Ｓ２０１のＹ）、結合動き情報候補リストの最後尾に劣性結合動き情報候補を追加して（Ｓ２０２）、処理を終了する。結合動き情報候補リストに登録されている空間結合動き情報候補の数が空間結合動き情報候補最大数よりも小さくなければ（Ｓ２０１のＮ）、処理を終了する。
【０１５０】
実施の形態３では、空間結合動き情報候補最大数よりも空間候補ブロックの数の方が大きく、全ての空間候補ブロックが有効である場合に、劣性結合動き情報候補の代わりに他の空間候補ブロック（本実施の形態の場合候補ブロックＤ）を利用することができる。そのため、劣性結合動き情報候補と比較して相対的に選択率の高い劣性結合動き情報候補ではない他の空間候補ブロックを利用することで、符号化効率を向上させることができる。
【０１５１】
（効果の説明）
本発明の実施の形態３による動画像符号化装置及び動画像復号装置による効果を説明する。図３２は本発明の実施の形態３による効果を説明する図である。ここでは、候補ブロックＡ、候補ブロックＢ、候補ブロックＣ、候補ブロックＥ、候補ブロックＤ、候補ブロックＴが全て有効であるとし、実施の形態１の効果を説明した図２４と同じ前提条件とする。そのため、並び替え前のマージインデックスの符号長の期待値は２．６ビットである。一方、計算式は省略するが、実施の形態３による劣性結合動き情報候補追加部１６６の処理後のマージインデックスの符号長の期待値は１．９ビットとなる。したがって、並び替え後のマージインデックスの符号長の期待値は０．７ビット短くなり、符号化効率が向上することがわかる。
【０１５２】
（実施の形態３の変形例）
実施の形態３の結合動き情報候補リスト生成部１４０の構成は図２８のようにしたが、劣性結合動き情報候補追加部１６６を、時間結合動き情報候補生成部１６１の後ではなく、実施の形態２のように、第１結合動き情報候補補充部１６４の後や、第２結合動き情報候補補充部１６５の後に設置してもよい。
【０１５３】
［実施の形態４］
以下、実施の形態４について説明する。実施の形態１とは結合動き情報候補リスト生成部１４０の構成と動作が異なる。
【０１５４】
最初に、結合動き情報候補リスト生成部１４０の構成について説明する。図３３は実施の形態４の結合動き情報候補リスト生成部１４０の構成を説明するための図である。図１２の実施の形態１の結合動き情報候補リスト生成部１４０とは、劣性結合動き情報候補削除部１６７が第１結合動き情報候補補充部１６４の後に追加されていることが異なる。
【０１５５】
次に、結合動き情報候補リスト生成部１４０の動作について説明する。図３４は実施の形態４の結合動き情報候補リスト生成部１４０の動作を説明するための図である。図１３の実施の形態１の結合動き情報候補リスト生成部１４０の動作とは、ステップＳ１０５に続いて、劣性結合動き情報候補削除部１６７が結合動き情報候補リストから劣性結合動き情報候補を削除するステップ（Ｓ１０８）が設置されていることが異なる。
【０１５６】
次に、劣性結合動き情報候補削除部１６７の動作について説明する。図３５は劣性結合動き情報候補削除部１６７の動作を説明するための図である。第１結合動き情報候補補充部１６４より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）分の結合動き情報候補Ｍについて以下の処理を繰り返し行う（Ｓ２１０からＳ２１３）。ここで、Ｍは０からＮｕｍＣａｎｄＬｉｓｔ−１までの整数となる。候補ブロックＭは劣性結合動き情報であるか検査する（Ｓ２１１）。候補ブロックＭが劣性結合動き情報であれば（Ｓ２１１のＹ）、結合動き情報候補リストから劣性結合動き情報候補を削除して（Ｓ２１２）、処理を終了する。候補ブロックＭが劣性結合動き情報でなければ（Ｓ２１１のＮ）、次の結合動き情報候補を処理する（Ｓ２１３）。
【０１５７】
（効果の説明）
本発明の実施の形態４による動画像符号化装置及び動画像復号装置による効果を説明する。第２補充結合動き情報候補が符号化済みの画像や符号化済みの画像の一部において発生頻度の高かった動き情報を利用して設定された場合のように、第２補充結合動き情報候補の選択確率が劣性結合動き情報候補の選択確率よりも相対的に高ければ、結合動き情報候補リストから劣性結合動き情報候補を削除し、結合動き情報候補リストに第２補充結合動き情報候補を追加することで、結合動き情報選択部１４１は劣性結合動き情報候補が含まれない結合動き情報候補リストから最適な結合動き情報候補を選択することが可能となり、符号化効率を向上させることができる。なお、ここでは結合動き情報候補リストから劣性結合動き情報候補を削除するとしたが、劣性結合動き情報候補を無効扱いとして結合動き情報選択部１４１において劣性結合動き情報候補を選択しないようにしてもよい。すなわち、劣性結合動き情報候補以外の結合動き情報候補にマージインデックスが割り当てられればよい。
【０１５８】
（実施の形態４の変形例）
実施の形態４の劣性結合動き情報候補削除部１６７の動作は図３５のように結合動き情報候補リストに登録された劣性結合動き情報候補を単純に削除するとしたが、劣性結合動き情報候補である予測ブロックの結合動き情報が重複結合動き情報候補であるか否かを判定することによって、結合動き情報候補リストに登録された劣性結合動き情報候補を削除するか否かを決定することもできる。
【０１５９】
以下、重複結合動き情報候補の判定を伴った実施の形態４の拡張例について説明する。図３６は実施の形態４の変形例における劣性結合動き情報候補削除部１６７の動作を説明するための図である。図３５とは、ステップＳ２１３が追加されている点が異なる。劣性結合動き情報候補を含む予測ブロックの結合動き情報は重複結合動き情報候補であるか検査する（ステップＳ２１３）。劣性結合動き情報候補を含む予測ブロックの結合動き情報候補が重複結合動き情報候補であれば（ステップＳ２１３のＹ）、結合動き情報候補リストから劣性結合動き情報候補を削除して（Ｓ２１２）、処理を終了する。劣性結合動き情報候補を含む予測ブロックの結合動き情報が重複結合動き情報候補でなければ（ステップＳ２１３のＮ）、処理を終了する。
【０１６０】
続いて、重複結合動き情報候補について説明する。図３７は重複結合動き情報候補を説明するための図である。図３７は符号化ブロックが１６×１６である例を示す。図３７（ａ）は予測ブロックサイズタイプがＮ×２Ｎの場合の重複結合動き情報候補を説明するための図であって、予測ブロックサイズタイプがＮ×２Ｎの場合の予測ブロック１の劣性結合動き情報候補である予測ブロック０の空間結合動き情報候補である候補ブロックＡ、候補ブロックＢ、候補ブロックＣ、候補ブロックＤ、及び候補ブロックＥを示す。図３７（ｂ）は、予測ブロックサイズタイプが２Ｎ×２Ｎの予測ブロック０の場合の空間結合動き情報候補である候補ブロックＡ、候補ブロックＢ、候補ブロックＣ、候補ブロックＤ、及び候補ブロックＥを示す。図３７（ａ）と図３７（ｂ）において、候補ブロックＡ、候補ブロックＤ、及び候補ブロックＥの位置は重複していることがわかる。これらある予測ブロックサイズタイプにおいてより大きな予測ブロックサイズタイプの候補ブロックの位置と重複している候補ブロックを重複結合動き情報候補とする。
【０１６１】
ここで、予測ブロックサイズタイプがＮ×２Ｎの場合の予測ブロック１の劣性結合動き情報候補である予測ブロック０において、これら重複結合動き情報候補が結合動き情報候補として選択されている場合、予測ブロック１において重複結合動き情報候補を選択することは、２Ｎ×２Ｎとして重複結合動き情報候補を選択した場合と等価となるため、必ず符号化効率の低下を伴う。一方、予測ブロックサイズタイプがＮ×２Ｎの場合の予測ブロック１の劣性結合動き情報候補である予測ブロック０において、これら重複結合動き情報候補でない候補ブロックＢまたは候補ブロックＣが結合動き情報候補として選択されている場合、２Ｎ×２Ｎとして選択されることはないため、予測ブロック１において候補ブロックＢまたは候補ブロックＣを選択することで符号化効率は向上する可能性がある。図３７（ｃ）は予測ブロックサイズタイプが２Ｎ×Ｎの予測ブロック０の場合の重複結合動き情報候補が候補ブロックＢ、候補ブロックＣ、及び候補ブロックＤとなることを示す図である。図３７（ｄ）は予測ブロックサイズタイプがＮ×Ｎの予測ブロック２の場合の重複結合動き情報候補が候補ブロックＡ、候補ブロックＤ、及び候補ブロックＥとなることを示す図である。図３７（ｅ）は予測ブロックサイズタイプがＮ×Ｎの予測ブロック１の場合の重複結合動き情報候補が候補ブロックＢ、候補ブロックＣ、及び候補ブロックＤとなることを示す図である。
【０１６２】
以上のように、劣性結合動き情報候補である予測ブロックの結合動き情報が重複結合動き情報候補であるか否かを判定することによって、結合動き情報候補リストに登録された劣性結合動き情報候補を削除するか否かを決定することで、符号化効率を向上させることができる。
【０１６３】
（実施の形態４の変形例２）
実施の形態４の結合動き情報候補リスト生成部１４０は図３３のように実施の形態１に適用したが、実施の形態２や実施の形態３に同様に適用することができる。実施の形態２に適用した場合、第１結合動き情報候補補充部１６４の後に、劣性結合動き情報候補並び替え部１６２と劣性結合動き情報候補削除部１６７が存在することになる。ここで、劣性結合動き情報候補並び替え部１６２で劣性結合動き情報候補を並び替えてから、劣性結合動き情報候補削除部１６７で劣性結合動き情報候補を削除しても、劣性結合動き情報候補削除部１６７で劣性結合動き情報候補を削除してから、劣性結合動き情報候補並び替え部１６２で劣性結合動き情報候補を並び替えても、同一の効果が得られるため、劣性結合動き情報候補並び替え部１６２で劣性結合動き情報候補の並び替えを省略して劣性結合動き情報候補削除部１６７で劣性結合動き情報候補を削除するだけもよい。
【０１６４】
［実施の形態５］
以下、実施の形態５について説明する。実施の形態１とは結合動き情報候補リスト生成部１４０の構成と動作が異なる。
【０１６５】
最初に、結合動き情報候補リスト生成部１４０の構成について説明する。図３８は実施の形態５の結合動き情報候補リスト生成部１４０の構成を説明するための図である。図１２の実施の形態１の結合動き情報候補リスト生成部１４０の構成とは、劣性結合動き情報候補並び替え部１６２の代わりに優性結合動き情報候補並び替え部１６８が設置されていることが異なる。
【０１６６】
次に、結合動き情報候補リスト生成部１４０の動作について説明する。図３９は実施の形態５の結合動き情報候補リスト生成部１４０の動作を説明するための図である。図１３の実施の形態１の結合動き情報候補リスト生成部１４０の動作とは、ステップＳ１０３が次のステップＳ１０９に置き換えられることが異なる。
【０１６７】
優性結合動き情報候補並び替え部１６８は、時間結合動き情報候補生成部１６１より供給される結合動き情報候補リストに登録されている優性結合動き情報候補が結合動き情報候補リストの先頭になるように順序を変更する（Ｓ１０９）。
【０１６８】
続いて、優性結合動き情報候補並び替え部１６８の動作について説明する。図４０は優性結合動き情報候補並び替え部１６８の動作を説明するための図である。最初に、予測ブロックサイズタイプが２Ｎ×Ｎであるか検査する（Ｓ２２０）。予測ブロックサイズタイプが２Ｎ×Ｎであれば（Ｓ２２０のＹ）、予測ブロック０であるか検査する（Ｓ２２１）。予測ブロックサイズタイプが２Ｎ×Ｎでなければ（Ｓ２２０のＮ）、処理を終了する。予測ブロック０であれば（Ｓ２２１のＹ）、候補ブロックＢの動き情報を優性結合動き情報候補として結合動き情報候補リストの先頭に移動させる。予測ブロック０であるか検査する（Ｓ２２１）。予測ブロック０でなければ（Ｓ２２１のＮ）、処理を終了する。
【０１６９】
優性結合動き情報候補を結合動き情報候補リストの先頭に移動させる効果について説明する。図４１は優性結合動き情報候補を説明するための図であり、候補ブロックＢが優性結合動き情報候補となる例である。図４１は符号化ブロックが１６×１６であって、予測ブロックサイズタイプが２Ｎ×Ｎの空間結合動き情報候補ブロックの位置を示す。ここで、候補ブロックＢと候補ブロックＡの予測ブロックサイズが共に４×４である場合、予測ブロック０との接線（接している辺の部分）は予測ブロックＡと予測ブロックＢで長さは等しい。一方、候補ブロックＢが予測ブロックサイズが１６×１６である予測ブロックＢ'の一部で、候補ブロックＡが予測ブロックサイズが１６×１６である予測ブロックＡ'の一部である場合、予測ブロック０との接線（接している辺の部分）は予測ブロックＢ'の方が予測ブロックＡ'よりも長くなって、予測ブロック０と候補ブロックＢの相関性は予測ブロック０と候補ブロックＡの相関性よりも高くなる。なお、予測ブロックサイズタイプが２Ｎ×Ｎであって予測ブロック０である場合、候補ブロックＢは符号化フロック外に位置するため劣性結合動き情報候補とはならない。
【０１７０】
このように、優性結合動き情報候補並び替え部１６８は、符号化対象の予測ブロックの予測ブロックサイズタイプ（分割タイプ）と符号化対象の予測ブロックの符号化ブロック内の位置とに基づいて、符号化対象の予測ブロックと接する辺の部分が他の候補よりも長い隣接ブロックの結合動き情報候補を優性結合動き情報候補として選択する。
【０１７１】
以上のように、予測ブロックサイズタイプと予測ブロックの位置に基づいて、予測ブロックとの接線が長くなる候補ブロックを優性結合動き情報候補として結合動き情報候補リストの先頭に移動させて、符号長の短いマージインデックスを割り当てることで符号化効率を向上させることができる。
【０１７２】
（効果の説明）
本発明の実施の形態５による動画像符号化装置及び動画像復号装置による効果を説明する。図４２は本発明の実施の形態５による効果を説明する図である。ここでは、結合動き情報候補リストには、候補ブロックＡ、候補ブロックＢ、候補ブロックＣ、候補ブロックＥ、及び候補ブロックＴが登録されているとする。マージインデックス０（候補ブロックＡ）、マージインデックス１（候補ブロックＢ）、マージインデックス２（候補ブロックＣ）、マージインデックス３（候補ブロックＥ）、マージインデックス４（候補ブロックＴ）の選択確率がそれぞれ、２５％、３５％、１４％、１２％、１２％であるとする。この場合、計算式は省略するが、並び替え前のマージインデックスの符号長の期待値は２．３３ビットとなる。一方、実施の形態５による優性結合動き情報候補の並び替え後のマージインデックスの符号長の期待値は２．２３ビットとなる。したがって、並び替え後のマージインデックスの符号長の期待値は０．１ビット短くなり、符号化効率が向上することがわかる。
【０１７３】
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【０１７４】
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
【０１７５】
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
【０１７６】
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１７７】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１７８】
１００  動画像符号化装置、  １０１  予測ブロック画像取得部、  １０２  減算部、  １０３  予測誤差符号化部、  １０４  符号列生成部、  １０５  予測誤差復号部、  １０６  動き補償部、  １０７  加算部、  １０８  動きベクトル検出部、  １０９  動き情報生成部、  １１０  フレームメモリ、  １１１  動き情報メモリ、  １２０  予測ベクトルモード決定部、  １２１  マージモード決定部、  １２２  予測符号化モード決定部、  １３０  予測ベクトル候補リスト生成部、  １３１  予測ベクトル決定部、  １４０  結合動き情報候補リスト生成部、  １４１  結合動き情報選択部、  １６０  空間結合動き情報候補生成部、  １６１  時間結合動き情報候補生成部、  １６２  劣性結合動き情報候補並び替え部、  １６３  冗長結合動き情報候補削除部、  １６４  第１結合動き情報候補補充部、  １６５  第２結合動き情報候補補充部、  １６６  劣性結合動き情報候補追加部、  １６７  劣性結合動き情報候補削除部、  １６８  優性結合動き情報候補並び替え部、  ２００  動画像復号装置、  ２０１  符号列解析部、  ２０２  予測誤差復号部、  ２０３  加算部、  ２０４  動き情報再生部、  ２０５  動き補償部、  ２０６  フレームメモリ、  ２０７  動き情報メモリ、  ２１０  符号化モード判定部、  ２１１  動きベクトル再生部、  ２１２  結合動き情報再生部、  ２３０  結合動き情報候補リスト生成部、  ２３１  結合動き情報選択部。
【図１】
0006256539.tif 000002
【図２】
0006256539.tif 000003
【図３】
0006256539.tif 000004
【図４】
0006256539.tif 000005
【図５】
0006256539.tif 000006
【図６】
0006256539.tif 000007
【図７】
0006256539.tif 000008
【図８】
0006256539.tif 000009
【図９】
0006256539.tif 000010
【図１０】
0006256539.tif 000011
【図１１】
0006256539.tif 000012
【図１２】
0006256539.tif 000013
【図１３】
0006256539.tif 000014
【図１４】
0006256539.tif 000015
【図１５】
0006256539.tif 000016
【図１６】
0006256539.tif 000017
【図１７】
0006256539.tif 000018
【図１８】
0006256539.tif 000019
【図１９】
0006256539.tif 000020
【図２０】
0006256539.tif 000021
【図２１】
0006256539.tif 000022
【図２２】
0006256539.tif 000023
【図２３】
0006256539.tif 000024
【図２４】
0006256539.tif 000025
【図２５】
0006256539.tif 000026
【図２６】
0006256539.tif 000027
【図２７】
0006256539.tif 000028
【図２８】
0006256539.tif 000029
【図２９】
0006256539.tif 000030
【図３０】
0006256539.tif 000031
【図３１】
0006256539.tif 000032
【図３２】
0006256539.tif 000033
【図３３】
0006256539.tif 000034
【図３４】
0006256539.tif 000035
【図３５】
0006256539.tif 000036
【図３６】
0006256539.tif 000037
【図３７】
0006256539.tif 000038
【図３８】
0006256539.tif 000039
【図３９】
0006256539.tif 000040
【図４０】
0006256539.tif 000041
【図４１】
0006256539.tif 000042
【図４２】
0006256539.tif 000043
【図４３】
0006256539.tif 000044