(57)【要約】  一実施形態に係る動画像符号化方法は、動き情報が付与されている複数のブロックを含む符号化済み領域から、第１予測動き情報及び第２予測動き情報を取得することと、第１条件が満たされる場合に、（１）前記符号化済み領域から前記第１予測動き情報及び前記第２予測動き情報とは異なる第３予測動き情報を取得し、前記第１予測動き情報及び前記第３予測動き情報の両方、（２）前記第１予測動き情報及び前記第２予測動き情報のうち、（１）又は（２）のいずれか一方を用いて符号化対象ブロックの予測画像を生成することと、を具備する。前記第１条件は、前記第１予測動き情報及び前記第２予測動き情報が参照するブロックが同一であることである。
2012172668.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を分割した複数の画素ブロックごとにインター予測を行う動画像符号化方法であって、
動き情報が付与されている複数のブロックを含む符号化済み領域から、第１予測動き情報及び第２予測動き情報を取得することと、
第１条件が満たされる場合に、（１）前記符号化済み領域から前記第１予測動き情報及び前記第２予測動き情報とは異なる第３予測動き情報を取得し、前記第１予測動き情報及び前記第３予測動き情報の両方、（２）前記第１予測動き情報及び前記第２予測動き情報のうち、（１）又は（２）のいずれか一方を用いて符号化対象ブロックの予測画像を生成することと、
を具備し、
前記第１条件は、
（Ａ）前記第１予測動き情報及び前記第２予測動き情報が参照する参照フレームが同一であること、
（Ｂ）前記第１予測動き情報及び前記第２予測動き情報が参照するブロックが同一であること、
（Ｃ）前記第１予測動き情報及び前記第２予測動き情報に含まれる参照フレーム番号が同一であること、
（Ｄ）前記第１予測動き情報及び前記第２予測動き情報に含まれる動きベクトルが同一であること、
（Ｅ）前記第１予測動き情報に含まれる動きベクトルと前記第２予測動き情報に含まれる動きベクトルとの差の絶対値が所定のしきい値以下であること
のうち少なくとも１つである動画像符号化方法。
【請求項２】
前記（２）を用いる場合に、前記第１予測動き情報及び前記第２予測動き情報のいずれか一方を用いて前記符号化対象ブロックの予測画像を生成することをさらに具備する請求項１に記載の動画像符号化方法。
【請求項３】
前記第３予測動き情報は、
（Ａ）前記第２予測動き情報が取得されたブロックが属する参照フレームと同一の参照フレーム内のブロックであって、前記第２予測動き情報が取得されたブロックの位置とは空間的に異なる位置のブロックの動き情報であること、
（Ｂ）前記第２予測動き情報が取得されたブロックが属する参照フレームとは時間的に異なる参照フレーム内のブロックの動き情報であること、
（Ｃ）前記第２予測動き情報に含まれる、参照フレームの時間位置を示す参照フレーム番号とは異なる参照フレーム番号を含む動き情報であること、及び
（Ｄ）前記第２予測動き情報に含まれる動きベクトルとは異なる動きベクトルを含む動き情報であること、
のうち少なくとも１つを満たす、請求項１に記載の動画像符号化方法。
【請求項４】
前記第１条件は、第１予測動き情報及び前記第２予測動き情報が同一ブロックを参照することである、請求項１に記載の動画像符号化方法
【請求項５】
同一の参照フレームに対して異なる重み付き予測パラメータを適用してインター予測を行う場合には、異なる重み付き予測パラメータが割り当てられている参照フレームは、異なる参照フレームとみなす、請求項１に記載の動画像符号化方法。
【請求項６】
入力画像信号を分割した複数の画素ブロックごとにインター予測を行う動画像符号化装置であって、
動き情報が付与されている複数のブロックを含む符号化済み領域から、第１予測動き情報及び第２予測動き情報を取得する予測動き情報取得部と、
第１条件が満たされる場合に、（１）前記符号化済み領域から前記第１予測動き情報及び前記第２予測動き情報とは異なる第３予測動き情報が前記予測動き情報取得部によって取得され、前記第１予測動き情報及び前記第３予測動き情報の両方、（２）前記第１予測動き情報及び前記第２予測動き情報のうち、（１）又は（２）のいずれか一方を用いて符号化対象ブロックの予測画像を生成するインター予測部と、
を具備し、
前記第１条件は、
（Ａ）前記第１予測動き情報及び前記第２予測動き情報が参照する参照フレームが同一であること、
（Ｂ）前記第１予測動き情報及び前記第２予測動き情報が参照するブロックが同一であること、
（Ｃ）前記第１予測動き情報及び前記第２予測動き情報に含まれる参照フレーム番号が同一であること、
（Ｄ）前記第１予測動き情報及び前記第２予測動き情報に含まれる動きベクトルが同一であること、
（Ｅ）前記第１予測動き情報に含まれる動きベクトルと前記第２予測動き情報に含まれる動きベクトルとの差の絶対値が所定のしきい値以下であること
のうち少なくとも１つである動画像符号化装置。
【請求項７】
入力画像信号を分割した複数の画素ブロックごとにインター予測を行う動画像復号化方法であって、
動き情報が付与されている複数のブロックを含む復号化済み領域から、第１予測動き情報及び第２予測動き情報を取得することと、
第１条件が満たされる場合に、（１）前記復号化済み領域から前記第１予測動き情報及び前記第２予測動き情報とは異なる第３予測動き情報を取得し、前記第１予測動き情報及び前記第３予測動き情報の両方、（２）前記第１予測動き情報及び前記第２予測動き情報のうち、（１）又は（２）のいずれか一方を用いて復号化対象ブロックの予測画像を生成することと、
を具備し、
前記第１条件は、
（Ａ）前記第１予測動き情報及び前記第２予測動き情報が参照する参照フレームが同一であること、
（Ｂ）前記第１予測動き情報及び前記第２予測動き情報が参照するブロックが同一であること、
（Ｃ）前記第１予測動き情報及び前記第２予測動き情報に含まれる参照フレーム番号が同一であること、
（Ｄ）前記第１予測動き情報及び前記第２予測動き情報に含まれる動きベクトルが同一であること、
（Ｅ）前記第１予測動き情報に含まれる動きベクトルと前記第２予測動き情報に含まれる動きベクトルとの差の絶対値が所定のしきい値以下であること
のうち少なくとも１つである動画像復号化方法。
【請求項８】
前記（２）を用いる場合に、前記第１予測動き情報及び前記第２予測動き情報のいずれか一方を用いて前記復号化対象ブロックの予測画像を生成することをさらに具備する請求項７に記載の動画像復号化方法。
【請求項９】
前記第３予測動き情報は、
（Ａ）前記第２予測動き情報が取得されたブロックが属する参照フレームと同一の参照フレーム内のブロックであって、前記第２予測動き情報が取得されたブロックの位置とは空間的に異なる位置のブロックの動き情報であること、
（Ｂ）前記第２予測動き情報が取得されたブロックが属する参照フレームとは時間的に異なる参照フレーム内のブロックの動き情報であること、
（Ｃ）前記第２予測動き情報に含まれる、参照フレームの時間位置を示す参照フレーム番号とは異なる参照フレーム番号を含む動き情報であること、及び
（Ｄ）前記第２予測動き情報に含まれる動きベクトルとは異なる動きベクトルを含む動き情報であること、
のうち少なくとも１つを満たす、請求項７に記載の動画像復号化方法。
【請求項１０】
前記第１条件は、第１予測動き情報及び前記第２予測動き情報が同一ブロックを参照することである、請求項７に記載の動画像復号化方法。
【請求項１１】
同一の参照フレームに対して異なる重み付き予測パラメータを適用してインター予測を行う場合には、異なる重み付き予測パラメータが割り当てられている参照フレームは、異なる参照フレームとみなす、請求項７に記載の動画像復号化方法。
【請求項１２】
入力画像信号を分割した複数の画素ブロックごとにインター予測を行う動画像復号化装置であって、
動き情報が付与されている複数のブロックを含む復号化済み領域から、第１予測動き情報及び第２予測動き情報を取得する予測動き情報取得部と、
第１条件が満たされる場合に、（１）前記復号化済み領域から前記第１予測動き情報及び前記第２予測動き情報とは異なる第３予測動き情報が前記予測動き情報取得部によって取得され、前記第１予測動き情報及び前記第３予測動き情報の両方、（２）前記第１予測動き情報及び前記第２予測動き情報のうち、（１）又は（２）のいずれか一方を用いて復号化対象ブロックの予測画像を生成するインター予測部と、
を具備し、
前記第１条件は、
（Ａ）前記第１予測動き情報及び前記第２予測動き情報が参照する参照フレームが同一であること、
（Ｂ）前記第１予測動き情報及び前記第２予測動き情報が参照するブロックが同一であること、
（Ｃ）前記第１予測動き情報及び前記第２予測動き情報に含まれる参照フレーム番号が同一であること、
（Ｄ）前記第１予測動き情報及び前記第２予測動き情報に含まれる動きベクトルが同一であること、
（Ｅ）前記第１予測動き情報に含まれる動きベクトルと前記第２予測動き情報に含まれる動きベクトルとの差の絶対値が所定のしきい値以下であること
のうち少なくとも１つである動画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、動画像符号化方法及び装置並びに動画復号化方法及び装置に関する。
【背景技術】
【０００２】
近年、大幅に符号化効率を向上させた画像符号化方法が、ITU-TとISO/IECとの共同で、ITU-T Rec. H.264及びISO/IEC 14496-10（以下、H.264という）として勧告されている。H.264では、予測処理、変換処理及びエントロピー符号化処理は、矩形ブロック単位（例えば、１６×１６画素ブロック単位、８×８画素ブロック単位等）で行われる。【０００３】
予測処理においては、符号化対象の矩形ブロック（符号化対象ブロック）に対して、既に符号化済みのフレーム（参照フレーム）を参照して、時間方向の予測を行う動き補償が行われる。このような動き補償では、符号化対象ブロックと参照フレーム内において参照されるブロックとの空間的シフト情報としての動きベクトルを含む動き情報を符号化して復号化側に送る必要がある。また、複数の参照フレームを用いて動き補償を行う場合、動き情報とともに参照フレーム番号も符号化する必要がある。このため、動き情報及び参照フレーム番号に関する符号量が増大する場合がある。【０００４】
さらに、参照フレームの動き情報メモリに格納されている動き情報を参照して、符号化対象ブロックの予測動き情報を導出する動き情報予測方法がある（特許文献１及び非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０２０７８９号
【非特許文献】
【０００６】
【非特許文献１】B. Bross et al, “BoG report of CE9: MV Coding and Skip/Merge operations”, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 Document, JCTVC-E481, March 2011.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１に開示される予測動き情報の導出方法では、双方向予測に用いる２種類の予測動き情報が同一のブロックを参照する問題がある。【０００８】
本発明が解決しようとする課題は、符号化効率を向上させることができる動画像符号化方法及び装置、並びに復号化効率を向上させることができる動画像復号化方法及び装置を提供することである。
【課題を解決するための手段】
【０００９】
一実施形態に係る動画像符号化方法は、入力画像信号を分割した複数の画素ブロックごとにインター予測を行う。この動画像符号化方法は、動き情報が付与されている複数のブロックを含む符号化済み領域から、第１予測動き情報及び第２予測動き情報を取得することと、第１条件が満たされる場合に、（１）前記符号化済み領域から前記第１予測動き情報及び前記第２予測動き情報とは異なる第３予測動き情報を取得し、前記第１予測動き情報及び前記第３予測動き情報の両方、（２）前記第１予測動き情報及び前記第２予測動き情報のうち、（１）及び（２）のいずれか一方を用いて符号化対象ブロックの予測画像を生成することと、を具備する。前記第１条件は、（Ａ）前記第１予測動き情報及び前記第２予測動き情報が参照する参照フレームが同一であること、（Ｂ）前記第１予測動き情報及び前記第２予測動き情報が参照するブロックが同一であること、（Ｃ）前記第１予測動き情報及び前記第２予測動き情報に含まれる参照フレーム番号が同一であること、（Ｄ）前記第１予測動き情報及び前記第２予測動き情報に含まれる動きベクトルが同一であること、（Ｅ）前記第１予測動き情報に含まれる動きベクトルと前記第２予測動き情報に含まれる動きベクトルとの差の絶対値が所定のしきい値以下であること、の少なくとも１つである。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る動画像符号化装置を概略的に示すブロック図である。
【図２】図１の動画像符号化装置が符号化を行う順序を示す図である。
【図３Ａ】画素ブロックのサイズの一例を示す図である。
【図３Ｂ】画素ブロックのサイズの他の例を示す図である。
【図３Ｃ】画素ブロックのサイズのさらに他の例を示す図である。
【図４Ａ】ブロックサイズが６４画素×６４画素であるコーディングツリーユニットを示す図である。
【図４Ｂ】図４Ａのコーディングツリーユニットを四分木分割する例を示す図である。
【図４Ｃ】図４Ｂに示した四分木分割後のコーディングツリーユニットの１つを示す図である。
【図４Ｄ】図４Ｃのコーディングツリーユニットを四分木分割する例を示す図である。
【図５】図１に示したエントロピー符号化部をより詳細に示すブロック図である。
【図６】図１に示した動き情報メモリをより詳細に示すブロック図である。
【図７Ａ】図１に示したインター予測部が予測画像を生成する方法の一例を示す図である。
【図７Ｂ】図１に示したインター予測部が予測画像を生成する方法の他の例を示す図である。
【図８Ａ】コーディングツリーユニットとプレディクションユニットの関係の一例を示す図である。
【図８Ｂ】コーディングツリーユニットとプレディクションユニットの関係の他の例を示す図である。
【図８Ｃ】コーディングツリーユニットとプレディクションユニットの関係のさらに他の例を示す図である。
【図８Ｄ】コーディングツリーユニットとプレディクションユニットの関係のさらにまた他の例を示す図である。
【図８Ｅ】コーディングツリーユニットとプレディクションユニットの関係の他の例を示す図である。
【図８Ｆ】コーディングツリーユニットとプレディクションユニットの関係のさらに他の例を示す図である。
【図８Ｇ】コーディングツリーユニットとプレディクションユニットの関係のさらにまた他の例を示す図である。
【図９】図１の動画像符号化装置で利用されるスキップモード、マージモード及びインターモードを説明する図である。
【図１０】図１に示した予測動き情報取得部をより詳細に示すブロック図である。
【図１１Ａ】図１０に示した参照動き情報取得部が予測動き情報候補を生成するために参照する隣接プレディクションユニットであって、空間方向に位置する隣接プレディクションユニットの位置の一例を示す図である。
【図１１Ｂ】図１０に示した参照動き情報取得部が予測動き情報候補を生成するために参照する隣接プレディクションユニットであって、空間方向に位置する隣接プレディクションユニットの位置の他の例を示す図である。
【図１２】図１０に示した参照動き情報取得部が予測動き情報候補を生成するために参照する隣接プレディクションユニットであって、時間方向に位置する隣接プレディクションユニットの位置の一例を示す図である。
【図１３Ａ】図１０に示した参照動き情報取得部が生成する予測動き情報候補のブロック位置とインデクスＭｖｐｉｄｘの関係の一例を示す図である。
【図１３Ｂ】図１０に示した参照動き情報取得部が生成する予測動き情報候補のブロック位置とインデクスＭｖｐｉｄｘの関係の他の例を示す図である。
【図１３Ｃ】図１０に示した参照動き情報取得部が生成する予測動き情報候補のブロック位置とインデクスＭｖｐｉｄｘの関係のさらに他の例を示す図である。
【図１４Ａ】符号化対象プレディクションユニットが３２×３２画素ブロックである場合における参照動き情報取得位置の一例を示す図である。
【図１４Ｂ】符号化対象プレディクションユニットが３２×１６画素ブロックである場合における参照動き情報取得位置の一例を示す図である。
【図１４Ｃ】符号化対象プレディクションユニットが１６×３２画素ブロックである場合における参照動き情報取得位置の一例を示す図である。
【図１４Ｄ】符号化対象プレディクションユニットが１６×１６画素ブロックである場合における参照動き情報取得位置の一例を示す図である。
【図１４Ｅ】符号化対象プレディクションユニットが１６×８画素ブロックである場合における参照動き情報取得位置の一例を示す図である。
【図１４Ｆ】符号化対象プレディクションユニットが８×１６画素ブロックである場合における参照動き情報取得位置の一例を示す図である。
【図１５Ａ】符号化対象プレディクションユニットが３２×３２画素ブロックである場合における参照動き情報取得位置の他の例を示す図である。
【図１５Ｂ】符号化対象プレディクションユニットが３２×１６画素ブロックである場合における参照動き情報取得位置の他の例を示す図である。
【図１５Ｃ】符号化対象プレディクションユニットが１６×３２画素ブロックである場合における参照動き情報取得位置の他の例を示す図である。
【図１５Ｄ】符号化対象プレディクションユニットが１６×１６画素ブロックである場合における参照動き情報取得位置の他の例を示す図である。
【図１５Ｅ】符号化対象プレディクションユニットが１６×８画素ブロックである場合における参照動き情報取得位置の他の例を示す図である。
【図１５Ｆ】対象プレディクションユニットが８×１６画素ブロックである場合における参照動き情報取得位置の他の例を示す図である。
【図１６Ａ】符号化対象プレディクションユニットが３２×３２画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１６Ｂ】符号化対象プレディクションユニットが３２×１６画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１６Ｃ】符号化対象プレディクションユニットが１６×３２画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１６Ｄ】符号化対象プレディクションユニットが１６×１６画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１６Ｅ】符号化対象プレディクションユニットが１６×８画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１６Ｆ】符号化対象プレディクションユニットが８×１６画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１７Ａ】符号化対象プレディクションユニットが３２×３２画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１７Ｂ】符号化対象プレディクションユニットが３２×１６画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１７Ｃ】符号化対象プレディクションユニットが１６×３２画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１７Ｄ】符号化対象プレディクションユニットが１６×１６画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１７Ｅ】符号化対象プレディクションユニットが１６×８画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１７Ｆ】符号化対象プレディクションユニットが８×１６画素ブロックである場合における参照動き情報取得位置のさらに他の例を示す図である。
【図１８】図１０に示した予測動き情報設定部の処理の一例を示すフローチャートである。
【図１９】図１０に示した予測動き情報設定部が参照フレーム番号を設定する方法を説明する図である。
【図２０】図１０に示した予測動き情報設定部の処理の他の例を示すフローチャートである。
【図２１Ａ】第１参照動き情報取得位置と第２参照動き情報取得位置の関係の一例を示す図である。
【図２１Ｂ】第１参照動き情報取得位置と第２参照動き情報取得位置の関係の他の例を示す図である。
【図２１Ｃ】第１参照動き情報取得位置と第２参照動き情報取得位置の関係のさらに他の例を示す図である。
【図２２】図１０に示した予測動き情報設定部の処理のさらに他の例を示すフローチャートである。
【図２３】図１０に示した予測動き情報設定部の処理のさらにまた他の例を示すフローチャートである。
【図２４Ａ】図１に示されるインター予測部に重み付き予測が適用される場合における参照フレームの構成の一例を示す図である。
【図２４Ｂ】図１に示されるインター予測部に重み付き予測が適用される場合における参照フレームの構成の他の例を示す図である。
【図２５】図５に示される動き情報符号化部を詳細に示すブロック図である。
【図２６】図１の動画像符号化装置が利用するシンタクスの一例を示す図である。
【図２７】図２６に示したプレディクションユニットシンタクスの一例を示す図である。
【図２８】第２の実施形態に係る動画像復号化装置を概略的に示すブロック図である。
【図２９】図２８に示したエントロピー復号化部をより詳細に示すブロック図である。
【図３０】図２９に示した動き情報復号化部をより詳細に示すブロック図である。
【図３１】図２８に示した予測動き情報取得部をより詳細に示すブロック図である。
【図３２】図３１に示した予測動き情報取得部の処理の一例を示すフローチャートである。
【図３３】図３１に示した予測動き情報取得部の処理の他の例を示すフローチャートである。
【図３４】図３１に示した予測動き情報取得部の処理のさらに他の例を示すフローチャートである。
【図３５】図３１に示した予測動き情報取得部の処理のさらにまた他の例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、必要に応じて図面を参照しながら、実施形態に係る動画像符号化方法及び装置並びに動画復号化方法及び装置を説明する。一実施形態に係る動画像符号化装置を第１の実施形態として説明し、この動画像符号化装置に対応する動画像復号化装置を第２の実施形態として説明する。なお、本明細書で使用される用語「画像」は、「映像」、「画素」、「画像信号」、「画像データ」などの用語として適宜読み替えることができる。また、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
【００１２】
（第１の実施形態）  
図１は、第１の実施形態に係る動画像符号化装置１００を概略的に示している。この動画像符号化装置１００は、図１に示されるように、減算部１０１、直交変換部１０２、量子化部１０３、逆量子化部１０４、逆直交変換部１０５、加算部１０６、参照画像メモリ１０７、インター予測部１０８、動き情報メモリ１０９、予測動き情報取得部１１０、動き検出部１１１、動き情報選択スイッチ１１２及びエントロピー符号化部１１３を含む。
【００１３】
図１の動画像符号化装置１００は、ＬＳＩ（Large-Scale Integration circuit）チップ、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実現することができる。また、動画像符号化装置１００は、コンピュータに画像符号化プログラムを実行させることによって実現することもできる。
【００１４】
動画像符号化装置１００を制御する符号化制御部１２０、及び動画像符号化装置１００から出力される符号化データ１６３を一時的に記憶する出力バッファ１３０は、通常、動画像符号化装置１００の外部に設けられる。なお、動画像符号化装置１００に符号化制御部１２０及び出力バッファ１３０が含まれてもよい。
【００１５】
符号化制御部１２０は、発生符号量のフィードバック制御、量子化制御、予測モード制御及びエントロピー符号化制御といった動画像符号化装置１００の符号化処理全般を制御する。具体的には、符号化制御部１２０は、符号化制御情報１７０を動画像符号化装置１００に与え、動画像符号化装置１００からフィードバック情報１７１を適宜受け取る。符号化制御情報１７０には、予測情報、動き情報及び量子化情報などが含まれる。予測情報は、予測モード情報及びブロックサイズ情報を含む。動き情報は、動きベクトル、参照フレーム番号及び予測方向（単方向予測、双方向予測）を含む。量子化情報は、量子化パラメータ及び量子化マトリクスを含む。フィードバック情報１７１は、動画像符号化装置１００での発生符号量に関する情報を含む。発生符合量は、例えば、量子化パラメータを決定するために使用される。
【００１６】
図１の動画像符号化装置１００には、入力画像信号１５１が外部から与えられる。入力画像信号１５１は、例えば、動画像のデータである。動画像符号化装置１００は、入力画像信号１５１を構成するフレーム（又は、フィールド、スライス）の各々を複数の画素ブロックに分割し、分割した画素ブロックごとに予測符号化を行って符号化データ１６３を生成する。具体的には、動画像符号化装置１００は、入力画像信号１５１を複数の画素ブロックに分割する分割部（図示せず）をさらに備えている。この分割部は、入力画像信号１５１を分割して得られた複数の画素ブロックを減算部１０１に所定の順序で供給する。本実施形態では、図２に示されるように、ラスタースキャン順に、即ち、符号化対象フレーム２０１の左上から右下に向かう順序で、画素ブロックに対して予測符号化を行う。ラスタースキャン順に予測符号化を行う場合、符号化対象フレーム２０１において、符号化済みの画素ブロックは、符号化対象ブロック２０２よりも左側及び上側に位置する。符号化対象ブロック２０２は、減算部１０１に供給されて符号化処理の対象になっている画素ブロックを指し、符号化対象フレームは、符号化対象ブロックが属するフレームを指す。図２では、符号化済みの画素ブロックからなる符号化済み領域２０３は、斜線を施して示されている。符号化済み領域２０３以外の領域２０４は、未符号化領域である。
【００１７】
本明細書で使用される画素ブロックは、例えば、Ｌ×Ｍサイズのブロック（Ｌ及びＭは自然数である。）、コーディングツリーユニット、マクロブロック、サブブロック、１画素などのように、画像を符号化する処理単位を指す。本実施形態では、画素ブロックをコーディングツリーユニットの意味で基本的に使用する。しかしながら、説明を適宜読み替えることにより画素ブロックを上述した意味で解釈することも可能であることに留意されたい。なお、符号化の処理単位は、コーディングツリーユニットのような画素ブロックの例に限らず、フレーム、フィールド、スライス、又はこれらの組み合わせを用いることができる。
【００１８】
典型的には、コーディングツリーユニットは、図３Ａに示される１６×１６画素ブロックである。なお、コーディングツリーユニットは、図３Ｂに示される３２×３２画素ブロック、図３Ｃに示される６４×６４画素ブロック、図示しない８×８画素ブロック、又は図示しない４×４画素ブロックなどであってもよい。また、コーディングツリーユニットは、必ずしも正方形の画素ブロックである必要はない。以下では、入力画像信号１５１の符号化対象ブロック又はコーディングツリーユニットを「予測対象ブロック」と称することもある。
【００１９】
図４Ａから図４Ｄを参照して、コーディングツリーユニットについて具体的に説明する。図４Ａは、コーディングツリーユニットの一例として、ブロックサイズが６４画素×６４画素であるコーディングツリーユニットＣＵ０を示している。コーディングツリーユニットＣＵ０は、四分木構造を持つ。即ち、コーディングツリーユニットＣＵ０は、４つの画素ブロックに再帰的に分割されることができる。本実施形態では、基準となるコーディングツリーユニットのサイズを表す自然数Ｎを導入し、四分木分割して得られる画素ブロックの各々のサイズをＮ画素×Ｎ画素と定義する。このように定義すると、四分木分割する前のコーディングツリーユニットのサイズは、２Ｎ画素×２Ｎ画素と表される。図４ＡのコーディングツリーユニットＣＵ０では、Ｎ＝３２である。
【００２０】
図４Ｂは、図４ＡのコーディングツリーユニットＣＵ０を四分木分割する例を示している。四分木分割して得られる４つの画素ブロック（コーディングツリーユニット）には、Ｚスキャン順でインデックスが付される。図４Ｂの各画素ブロック内に示される番号がＺスキャンの順番を表す。四分木分割して得られる画素ブロックの各々は、さらに四分木分割されることができる。本実施形態では、分割の深さをＤｅｐｔｈで表す。例えば、図４ＡのコーディングツリーユニットＣＵ０は、Ｄｅｐｔｈ＝０のコーディングツリーユニットである。
【００２１】
図４Ｃは、Ｄｅｐｔｈ＝１であるコーディングツリーユニットＣＵ１の１つを示す。このコーディングツリーユニットＣＵ１は、図４ＡのコーディングツリーユニットＣＵ０を四分木分割して得られる４つの画素ブロックのうちの１つに対応する。コーディングツリーユニットＣＵ１のサイズは、３２画素×３２画素である。即ち、Ｎ＝１６である。図４Ｄに示されるように、コーディングツリーユニットＣＵ１は、さらに四分木分割されることができる。このようにして、ブロックサイズが例えば８画素×８画素（Ｎ＝４）になるまで、コーディングツリーユニットは、再帰的に四分木分割されることができる。
【００２２】
このようなコーディングツリーユニットのうちの最も大きいコーディングツリーユニットをラージコーディングツリーユニット若しくはツリーブロックと称する。動画像符号化装置１００では、この単位で入力画像信号１５１がラスタースキャン順に符号化される。なお、ラージコーディングツリーユニットは、６４×６４画素ブロックの例に限らず、いかなるサイズの画素ブロックであってもよい。また、最小のコーディングツリーユニットは、８×８画素ブロックの例に限らず、ラージコーディングツリーユニットより小さければ、いかなるサイズの画素ブロックであってもよい。
【００２３】
図１の動画像符号化装置１００は、ブロックサイズ及び予測画像信号１５９の生成方法がそれぞれ異なる複数の予測モードを選択的に適用して、入力画像信号１５１を符号化する。予測画像信号１５９の生成方法は、大別すると、符号化対象フレーム内で予測を行うイントラ予測と、時間的に異なる１つ又は複数の参照フレーム（符号化済みのフレーム）を用いて予測を行うインター予測の２種類ある。
【００２４】
動画像符号化装置１００は、符号化制御部１２０から与えられる符号化パラメータに基づいて、入力画像信号１５１を分割した各画素ブロックに対してインター予測又はイントラ予測を行い、画素ブロックに対応する予測画像信号１５９を生成する。インター予測は、画面間予測、フレーム間予測、動き補償予測などとも称される。イントラ予測は、画面内予測、フレーム内予測などとも称される。具体的には、動画像符号化装置１００は、インター予測を行うインター予測部１０８又はイントラ予測を行うイントラ予測部（図示せず）を選択的に使用して、画素ブロックに対応する予測画像信号１５９を生成する。続いて、動画像符号化装置１００は、画素ブロックと予測画像信号１５９との間の差を表す予測誤差信号１５２を直交変換及び量子化して、量子化変換係数１５４を生成する。さらに、動画像符号化装置１００は、量子化変換係数１５４に対してエントロピー符号化を行い、符号化データ１６３を生成する。
【００２５】
次に、図１の動画像符号化装置１００に含まれる各要素を説明する。  
減算部１０１は、入力画像信号１５１の符号化対象ブロックから対応する予測画像信号１５９を減算して予測誤差信号１５２を生成する。減算部１０１は、予測誤差信号１５２を直交変換部１０２に出力する。
【００２６】
直交変換部１０２は、減算部１０１からの予測誤差信号１５２に対して直交変換を行い、変換係数１５３を生成する。直交変換としては、例えば、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）、アダマール変換、ウェーブレット変換、独立成分解析などを利用することができる。直交変換部１０２は、変換係数１５３を量子化部１０３に出力する。
【００２７】
量子化部１０３は、直交変換部１０２からの変換係数１５３を量子化して量子化変換係数１５４を生成する。具体的には、量子化部１０３は、量子化パラメータ及び量子化マトリクスなどを含む量子化情報に従って、変換係数１５３を量子化する。量子化に必要とされる量子化パラメータ及び量子化マトリクスは、符号化制御部１２０によって指定される。量子化パラメータは、量子化の細かさを示す。量子化マトリクスは、量子化の細かさを変換係数の成分毎に重み付けするために使用される。量子化マトリクスは、必ずしも使用する必要はない。量子化マトリクスの使用又は不使用は、実施形態の本質部分ではない。量子化部１０３は、量子化変換係数１５４をエントロピー符号化部１１３及び逆量子化部１０４に出力する。
【００２８】
エントロピー符号化部１１３は、量子化部１０３からの量子化変換係数１５４、後述する動き情報選択スイッチ１１２からの動き情報１６０、並びに符号化制御部１２０によって指定される予測情報及び量子化情報などの符号化パラメータに対してエントロピー符号化（例えば、ハフマン符号化、算術符号化など）を行う。ここで、符号化パラメータとは、復号化に必要となるパラメータであり、予測情報、動き情報１６０、変換係数に関する情報（量子化変換係数１５４）、量子化に関する情報（量子化情報）などを含む。例えば、符号化制御部１２０が内部メモリ（図示せず）を備え、このメモリに符号化パラメータが保持され、予測対象ブロックの符号化には、予測対象ブロックに隣接する符号化済みの画素ブロックに適用した符号化パラメータを利用することができる。
【００２９】
図５は、エントロピー符号化部１１３をより詳細に示している。エントロピー符号化部１１３は、図５に示されるように、パラメータ符号化部５０１、変換係数符号化部５０２、動き情報符号化部５０３及び多重化部５０４を備える。
【００３０】
パラメータ符号化部５０１は、符号化制御部１２０からの符号化制御情報１７０に含まれる符号化パラメータを符号化して符号化データ５５１を生成する。パラメータ符号化部５０１により符号化される符号化パラメータには、予測情報及び量子化情報などが含まれる。変換係数符号化部５０２は、量子化部１０３から受け取る量子化変換係数１５４を符号化して符号化データ５５２を生成する。
【００３１】
動き情報符号化部５０３は、予測動き情報取得部１１０から受け取る予測動き情報１６７と、符号化制御部１２０からの符号化制御情報１７０に含まれる予測動き情報位置とを参照して、インター予測部１０８に適用する動き情報１６０を符号化し、符号化データ５５３を生成する。動き情報符号化部５０３については後に詳細に説明する。
【００３２】
多重化部５０４は、符号化データ５５１、５５２及び５５３を多重化して符号化データ１６３を生成する。生成された符号化データ１６３は、動き情報１６０、予測情報、変換係数に関する情報（量子化変換係数１５４）、量子化情報などの復号化の際に必要になるあらゆるパラメータを含む。
【００３３】
図１に示されるように、エントロピー符号化部１１３によって生成された符号化データ１６３は、出力バッファ１３０に一時的に蓄積され、符号化制御部１２０が管理する適切な出力タイミングに従って出力される。符号化データ１６３は、例えば、図示しない蓄積系（蓄積メディア）又は伝送系（通信回線）へ送られる。
【００３４】
逆量子化部１０４は、量子化部１０３から受け取る量子化変換係数１５４を逆量子化して復元変換係数１５５を生成する。具体的には、逆量子化部１０４は、量子化部１０３において使用された量子化情報と同じ量子化情報に従って、量子化変換係数１５４を逆量子化する。逆量子化部１０４が使用する量子化情報は、符号化制御部１２０の内部メモリからロードされる。逆量子化部１０４は、復元変換係数１５５を逆直交変換部１０５に出力する。
【００３５】
逆直交変換部１０５は、逆量子化部１０４からの復元変換係数１５５に対して、直交変換部１０２において行われた直交変換に対応する逆直交変換を行い、復元予測誤差信号１５６を生成する。例えば、直交変換部１０２での直交変換が離散コサイン変換（ＤＣＴ）である場合、逆直交変換部１０５は、逆離散コサイン変換（ＩＤＣＴ：Inverse Discrete Cosine Transform）を行う。逆直交変換部１０５は、復元予測誤差信号１５６を加算部１０６に出力する。
【００３６】
加算部１０６は、復元予測誤差信号１５６と、対応する予測画像信号１５９とを加算し、局所的な復号画像信号１５７を生成する。復号画像信号１５７は、フィルタリング処理を施された後に参照画像メモリ１０７へ送られる。復号画像信号１５７のフィルタリングには、例えば、デブロッキングフィルタ又はウィナーフィルタなどが用いられる。
【００３７】
参照画像メモリ１０７は、フィルタリング処理後の復号画像信号１５７を蓄積する。参照画像メモリ１０７に保存されている復号画像信号１５７は、予測画像を生成するために、必要に応じてインター予測部１０８によって参照画像信号１５８として参照される。
【００３８】
インター予測部１０８は、参照画像メモリ１０７に保存されている参照画像信号１５８を利用してインター予測を行う。具体的には、インター予測部１０８は、予測対象ブロックと参照画像信号１５８との間の動きのズレ量を示す動き情報１６０に基づいて、動き補償（少数画素精度の動き補償が可能である場合は補間処理）を行ってインター予測画像を生成する。例えば、Ｈ．２６４では、１／４画素精度までの補間処理が可能である。
【００３９】
動き情報メモリ１０９は、動き情報１６０を参照動き情報１６６として一時的に格納する。動き情報メモリ１０９では、動き情報１６０に対してサブサンプリングなどの圧縮処理を行うことにより情報量を削減してもよい。参照動き情報１６６は、フレーム（又はスライス）単位で保持される。具体的には、図６に示されるように、動き情報メモリ１０９は、符号化対象フレームの動き情報１６０を参照動き情報１６６として格納する空間方向参照動き情報メモリ６０１と、既に符号化済みのフレームの動き情報１６０を参照動き情報１６６として格納する時間方向参照動き情報メモリ６０２とを含む。時間方向参照動き情報メモリ６０２は、符号化対象フレームの予測に用いる参照フレームの数に応じた数だけ用意されることができる。
【００４０】
なお、空間方向参照動き情報メモリ６０１及び時間方向参照動き情報メモリ６０２は、物理的に同一のメモリを論理的に区切ることにより同一のメモリ上に設けられてもよい。さらに、空間方向参照動き情報メモリ６０１は、符号化対象フレームの符号化に必要になる空間方向動き情報のみを保持し、この符号化対象フレームの符号化において参照されることがなくなった空間方向動き情報は、順次圧縮されて時間方向参照動き情報メモリ６０２に格納されてもよい。
【００４１】
参照動き情報１６６は、所定の領域単位（例えば、４×４画素ブロック単位）で空間方向参照動き情報メモリ６０１及び時間方向参照動き情報メモリ６０２に保持される。参照動き情報１６６は、その領域がインター予測及びイントラ予測のいずれを適用されたのかを示す情報をさらに含む。
【００４２】
Ｈ．２６４で規定されるスキップモード、ダイレクトモード、若しくは後述するマージモードでは、動き情報１６０内の動きベクトルの値は符号化されない。このようなモードに従って、符号化済み領域から予測若しくは取得された動き情報１６０を用いてコーディングツリーユニット（又はプレディクションユニット）がインター予測を施される場合においても、このコーディングツリーユニット（又はプレディクションユニット）の動き情報１６０は、参照動き情報１６６として保持される。
【００４３】
符号化対象フレーム又はスライスの符号化処理が終了すると、このフレームに関する参照動き情報１６６を保持する空間方向参照動き情報メモリ６０１は、次に符号化処理を行うフレームに用いる時間方向参照動き情報メモリ６０２としてその扱いが変更される。この際、時間方向参照動き情報メモリ６０２のメモリ容量を削減するために、参照動き情報１６６を圧縮し、圧縮された参照動き情報１６０を時間方向参照動き情報メモリ６０２に格納してもよい。例えば、時間方向参照動き情報メモリ６０２は、１６×１６画素ブロック単位で参照動き情報１６６を保持することができる。
【００４４】
図１に示されるように、予測動き情報取得部１１０は、動き情報メモリ１０９に保持されている参照動き情報１６６を参照して、符号化対象プレディクションユニットに用いる動き情報候補１６０Ａ、及びエントロピー符号化部１１３において動き情報の差分符号化に用いる予測動き情報１６７を生成する。予測動き情報取得部１１０については後に詳細に説明する。
【００４５】
動き検出部１１１は、予測対象ブロックと参照画像信号１５８との間でブロックマッチング等の処理を行って動きベクトルを生成し、生成した動きベクトルを含む動き情報を動き情報候補１６０Ｂとして出力する。
【００４６】
動き情報選択スイッチ１１２は、符号化制御部１２０からの符号化制御情報１７０に含まれる予測情報に従って、予測動き情報取得部１１０から出力される動き情報候補１６０Ａ及び動き検出部１１１から出力される動き情報候補１６０Ｂの一方を選択する。動き情報選択スイッチ１１２は、選択したものを動き情報１６０としてインター予測部１０８、動き情報メモリ１０９及びエントロピー符号化部１１３に出力する。
【００４７】
予測情報は、符号化制御部１２０が制御する予測モードに従っており、動き情報選択スイッチ１１２を制御するための切替情報、予測画像信号１５９の生成のためにインター予測及びイントラ予測のいずれを適用するかを示す選択情報を含む。符号化制御部１２０は、動き情報候補１６０Ａ及び動き情報候補１６０Ｂのどちらが最適であるかを判定し、この判定結果に応じた切替情報を生成する。また、符号化制御部１２０は、イントラ予測及びインター予測の複数の予測モードのうちいずれの予測モードが最適な予測モードであるかを判定し、最適な予測モードを示す選択情報を生成する。例えば、符号化制御部１２０は、次の数式（１）に示すコスト関数を用いて最適な予測モードを判定する。
【数１】
2012172668.tif 000003
【００４８】
数式（１）において、ＯＨは予測情報（例えば、動きベクトル情報、予測ブロックサイズ情報）に関する符号量を示し、ＳＡＤは予測対象ブロックと予測画像信号１５９との間の差分絶対値和（即ち、予測誤差信号１５２の絶対値の累積和）を示す。また、λは量子化情報（量子化パラメータ）の値に基づいて決定されるラグランジュ未定乗数を示し、Ｋは符号化コストを示す。
【００４９】
数式（１）を用いる場合には、符号化コスト（簡易符号化コストともいう）Ｋを最小化する予測モードが、発生符号量及び予測誤差の観点から最適な予測モードとして判断される。なお、簡易符号化コストは、数式（１）の例に限らず、符号量ＯＨのみ又は差分絶対値和ＳＡＤのみから見積もられてもよいし、差分絶対値和ＳＡＤにアダマール変換を施した値又はその近似値を利用して見積もられてもよい。
【００５０】
また、図示しない仮符号化ユニットを用いることにより最適な予測モードを判定することも可能である。例えば、符号化制御部１２０は、次の数式（２）に示すコスト関数を用いて最適な予測モードを決定する。
【数２】
2012172668.tif 000004
【００５１】
数式（２）において、Ｄは予測対象ブロックと局所復号画像との間の二乗誤差和、即ち、符号化歪を示し、Ｒは予測対象ブロックと予測モードの予測画像信号１５９との間の予測誤差について仮符号化によって見積もられた符号量を示し、Ｊは符号化コストを示す。数式（２）の符号化コスト（詳細符号化コストともいう）Ｊを算出する場合には、予測モードごとに仮符号化処理及び局部復号化処理が必要なので、回路規模又は演算量が増大する。その反面、より正確な符号化歪と符号量とに基づいて符号化コストＪが算出されるので、最適な予測モードを高精度に判定して高い符号化効率を維持することができる。
【００５２】
なお、詳細符号化コストは、数式（２）の例に限らず、符号量Ｒのみ又は符号化歪Ｄのみから見積もられてもよいし、符号量Ｒ又は符号化歪Ｄの近似値を利用して見積もられてもよい。また、これらのコスト関数を階層的に用いてもよい。例えば、符号化制御部１２０は、予測対象ブロックに関して事前に得られる情報（例えば、周囲の画素ブロックの予測モード、画像解析の結果など）に基づいて、数式（１）又は数式（２）を用いた判定を行う予測モードの候補の数を予め絞り込むことができる。
【００５３】
本実施形態の変形例として、数式（１）と数式（２）を組み合わせた二段階のモード判定を行うことで、符号化性能を維持しつつ、予測モードの候補数をさらに削減することが可能となる。ここで、数式（１）で示される簡易符号化コストは、数式（２）と異なり局部復号化処理が必要ないため、高速に演算が可能である。Ｈ．２６４と比較しても予測モード数が多い本実施形態の動画像符号化装置１００では、詳細符号化コストＪのみを用いたモード判定は、処理の遅延を生じさせる可能性がある。そこで、第１ステップにおいて、符号化制御部１２０は、画素ブロックに利用可能な予測モードに関する簡易符号化コストＫを算出し、利用可能な予測モードの中から予測モード候補を選出する。第２ステップでは、符号化制御部１２０は、予測モード候補に関して詳細符号化コストＪを算出し、詳細符号化コストＪが最小となる予測モード候補を最適な予測モードとして決定する。ここで、量子化の粗さを定める量子化パラメータの値が大きくなるほど、簡易符号化コストと詳細符号化コストとの相関が高くなる性質を利用して、予測モード候補の数を変更することができる。
【００５４】
次に、動画像符号化装置１００の予測処理について説明する。  
図１の動画像符号化装置１００には、複数の予測モードが用意されており、各予測モードでは、予測画像信号１５９の生成方法及び動き補償ブロックサイズが互いに異なる。インター予測部１０８が予測画像信号１５９を生成する方法としては、１以上の符号化済みの参照フレーム（又は参照フィールド）の参照画像信号１５８を用いて予測画像を生成するインター予測がある。
【００５５】
図７Ａを参照して、インター予測について説明する。インター予測は、典型的には、プレディクションユニットの単位で実行され、プレディクションユニット単位で異なる動き情報１６０を有することが可能である。インター予測では、図７Ａに示されるように、既に符号化済みの参照フレーム（例えば、１フレーム前の符号化済みフレーム）内の画素ブロックであって、符号化対象プレディクションユニットと同じ位置のブロック７０１から、動き情報１６０に含まれる動きベクトルに応じて空間的にシフトした位置のブロック７０２の参照画像信号１５８を使用して、予測画像信号１５９が生成される。即ち、予測画像信号１５９の生成では、符号化対象ブロックの位置（座標）及び動き情報１６０に含まれる動きベクトルで特定される参照フレーム内のブロックの参照画像信号１５８が使用される。
【００５６】
インター予測では、少数画素精度（例えば、１／２画素精度又は１／４画素精度）の動き補償が可能であり、参照画像信号１５８に対してフィルタリング処理を行うことによって補間画素の値が生成される。例えば、Ｈ．２６４では、輝度信号に対して１／４画素精度までの補間処理が可能である。この補間処理は、Ｈ．２６４で規定されるフィルタリング以外の任意のフィルタリングを用いて実行されてもよい。
【００５７】
なお、インター予測では、図７Ａに示されるような１フレーム前の参照フレームを使用する例に限らず、符号化済みであればいずれの参照フレームが使用されてもよい。例えば、図７Ｂに示されるように、符号化対象フレームより２フレーム前の参照フレームがインター予測に使用されることができる。時間位置が異なる複数の参照フレームの参照画像信号１５８が参照画像メモリ１０７に保持されている場合、どの時間位置の参照画像信号１５８から予測画像信号１５９を生成したかを示す情報は、参照フレーム番号で表わされる。参照フレーム番号は、動き情報１６０に含まれる。参照フレーム番号は、領域単位（ピクチャ、スライス、ブロック単位など）で変更することができる。即ち、プレディクションユニット毎に異なる参照フレームが使用されることができる。一例として、符号化済みの１フレーム前の参照フレームを予測に使用した場合、この領域の参照フレーム番号は、０に設定され、符号化済みの２フレーム前の参照フレームを予測に使用した場合、この領域の参照フレーム番号は、１に設定される。他の例として、１フレーム分だけの参照画像信号１５８が参照画像メモリ１０７に保持されている（保持されている参照フレームの数が１つのみである）場合、参照フレーム番号は、常に０に設定される。
【００５８】
さらに、インター予測では、予め用意される複数のプレディクションユニットのサイズの中から符号化対象ブロックに適したサイズを選択して用いることができる。例えば、図８Ａから図８Ｇに示されるように、コーディングツリーユニットを分割して得られるプレディクションユニットごとに動き補償を行うことが可能である。図８Ａから図８Ｉでは、ブロックＰＵｘ（ｘ＝０，１，２，３）がプレディクションユニットを示す。図８Ａは、プレディクションユニットとコーディングツリーユニットが同一のサイズである例を示している。この場合、コーディングツリーユニット内には１つのプレディクションユニットＰＵ０が存在する。
【００５９】
図８Ｂから図８Ｉは、コーディングツリーユニット内に複数のプレディクションユニットが存在する例をそれぞれ示している。図８Ｂ及び図８Ｃでは、コーディングツリーユニット内に２つのプレディクションユニットＰＵ０及びＰＵ１が存在する。図８Ｂでは、プレディクションユニットＰＵ０及びＰＵ１は、コーディングツリーユニットを縦方向に２分割したブロックであり、図８Ｃでは、プレディクションユニットＰＵ０及びＰＵ１は、コーディングツリーユニットを横に２分割したブロックである。図８Ｄは、プレディクションユニットがコーディングツリーユニットを４分割したブロックである例を示している。
【００６０】
なお、図８Ｅに示されるように、コーディングツリーユニット内に存在する複数のプレディクションユニットのブロックサイズが互いに異なってもよい。また、プレディクションユニットは、矩形状である例に限らず、図８Ｆ及び図８Ｇに示されるように、コーディングツリーユニットを任意の線分若しくは円弧などの曲線で分割して得られる形状のブロックであってもよい。
【００６１】
前述したように、インター予測に使用する符号化対象フレーム内の符号化済みの画素ブロック（例えば、４×４画素ブロック）の動き情報１６０は、参照動き情報１６６として動き情報メモリ１０９に保持されている。これにより、入力画像信号１５１の局所的な性質に従って、最適な動き補償ブロックの形状及び動きベクトル、参照フレーム番号を利用することができる。また、コーディングツリーユニット及びプレディクションユニットは任意に組み合わせることができる。前述したように、コーディングツリーユニットが６４×６４画素ブロックである場合、６４×６４画素ブロックを分割した４つのコーディングツリーユニット（３２×３２画素ブロック）の各々に対して、さらにコーディングツリーユニットを４つに分割することで、階層的に６４×６４画素ブロックから１６×１６画素ブロックまでの画素ブロックを利用することができる。同様にして、階層的に６４×６４画素ブロックから８×８画素ブロックまでの画素ブロックを利用することもできる。ここで、プレディクションユニットがコーディングツリーユニットを４つに分割したものであるとすれば、６４×６４画素ブロックから４×４画素ブロックまでの階層的な動き補償処理を実行することが可能となる。
【００６２】
また、インター予測では、符号化対象ブロックに対して２種類の動き補償を用いた双方向予測を実行することができる。Ｈ．２６４の双方向予測は、符号化対象ブロックに対し２種類の動き補償を行って２種類の予測画像信号を生成し、これら２種類の予測画像信号を加重平均することで、新しい予測画像信号を得る。双方向予測において２種類の動き補償をそれぞれリスト０予測及びリスト１予測と称する。
【００６３】
次に、スキップモード、マージモード、インターモードについて説明する。  
本実施形態に係る動画像符号化装置１００は、図９に示す符号化処理の異なる複数の予測モードを使用する。図９に示されるように、スキップモードは、予測動き情報位置に関するシンタクスのみを符号化し、その他のシンタクスを符号化しないモードである。マージモードは、予測動き情報位置に関するシンタクス、及び変換係数に関する情報を符号化し、その他のシンタクスを符号化しないモードである。インターモードは、予測動き情報位置に関するシンタクス、差分動き情報、変換係数に関する情報を符号化するモードである。これらのモードは、符号化制御部１２０が制御する予測情報によって切り替えられる。
【００６４】
次に、予測動き情報取得部１１０について説明する。  
図１０は、予測動き情報取得部１１０をより詳細に示している。予測動き情報取得部１１０は、図１０に示されるように、参照動き情報取得部１００１、動き情報設定部１００２−１〜１００２−Ｗ、及び予測動き情報選択スイッチ１００３を備える。ここで、Ｗは、参照動き情報取得部１００１で生成される予測動き情報候補の数を表す。
【００６５】
参照動き情報取得部１００１は、動き情報メモリ１０９から参照動き情報１６６を取得する。参照動き情報取得部１００１は、取得した参照動き情報１６６を用いて、１つ以上の予測動き情報候補１０５１−１、１０５１−２、…、１０５１−Ｗを生成する。予測動き情報候補は、予測動きベクトル候補とも称される。
【００６６】
予測動き情報設定部１００２−１〜１００２−Ｗは、参照動き情報取得部１００１から予測動き情報候補１０５１−１〜１０５１−Ｗをそれぞれ受け取り、符号化対象プレディクションユニットに適用する予測方法（単方向予測、双方向予測）及び参照フレーム番号の設定、並びに動きベクトル情報のスケーリングを行って、修正予測動き情報候補１０５２−１〜１０５２−Ｗをそれぞれ生成する。
【００６７】
予測動き情報選択スイッチ１００３は、符号化制御部１２０からの符号化制御情報１７０に含まれる指令に従って、１以上の修正予測動き情報候補１０５２−１〜１０５２−Ｗのいずれか１つを選択する。そして、予測動き情報選択スイッチ１００３は、選択したものを動き情報候補１６０Ａとして動き情報選択スイッチ１１２に出力するとともに、エントロピー符号化部１１３において動き情報の差分符号化に用いる予測動き情報１６７を出力する。典型的には、動き情報候補１６０Ａと予測動き情報１６７は、同一の動き情報を含むが、符号化制御部１２０の指示に従って、互いに異なる動き情報を含んでもよい。なお、符号化制御部１２０の代わりに予測動き情報選択スイッチ１００３が、後述する予測動き情報位置情報を出力してもよい。符号化制御部１２０は、例えば数式（１）又は数式（２）などの評価関数を用いて、修正予測動き情報候補１０５２−１〜１０５２−Ｗのいずれを選択するかを決定する。
【００６８】
また、動き情報候補１６０Ａが動き情報選択スイッチ１１２によって動き情報１６０として選択されて動き情報メモリ１０９に格納される場合、動き情報候補１６０Ａが保持するリスト０予測動き情報候補がリスト１予測動き情報候補にコピーされてもよい。この場合、リスト０予測動き情報と、このリスト０予測動き情報と同じ情報であるリスト１予測動き情報を含む参照動き情報１６６は、後続のプレディクションユニットの符号化の際に隣接プレディクションユニットの参照動き情報１６６として予測動き情報取得部１１０によって使用される。
【００６９】
以下では、予測動き情報設定部１００２−１〜１００２−Ｗ、予測動き情報候補１０５１−１〜１０５１−Ｗ、修正予測動き情報候補１０５２−１〜１０５２−Ｗの各々を特に区別せずに説明する場合には、参照符号の末尾の番号（「−１」〜「−Ｗ」）を省略して、単に予測動き情報設定部１００２、予測動き情報候補１０５１、修正予測動き情報候補１０５２と記載する。
【００７０】
次に、参照動き情報取得部１００１が予測動き情報候補１０５１を生成する方法を具体的に説明する。  
図１１Ａ、図１１Ｂ及び図１２は、参照動き情報取得部１００１が予測動き情報候補１０５１を生成するために参照する隣接プレディクションユニットの位置の例をそれぞれ示している。図１１Ａは、符号化対象プレディクションユニットに空間的に隣接しているプレディクションユニットを隣接プレディクションユニットに設定する一例を示している。ブロックＡＸ（Ｘ＝０，１，…，ｎＡ−１）は、符号化対象プレディクションユニットに対して左に隣接するプレディクションユニットを示す。ブロックＢＹ（Ｙ＝０，１，…，ｎＢ−１）は、符号化対象プレディクションユニットに対して上に隣接するプレディクションユニットを示す。ブロックＣ、ブロックＤ及びブロックＥは、符号化対象プレディクションユニットに対してそれぞれ右上、左上、左下に隣接するプレディクションユニットを示す。
【００７１】
図１１Ｂは、符号化対象プレディクションユニットに空間的に隣接しているプレディクションユニットを隣接プレディクションユニットに設定する他の例を示している。図１１Ｂでは、隣接プレディクションユニットＡ０及びＡ１はそれぞれ符号化対象プレディクションユニットの左下及び左に位置する。さらに、隣接プレディクションユニットＢ０、Ｂ１及びＢ２は、それぞれ符号化対象プレディクションユニットの右上、上及び左上に位置する。
【００７２】
図１２は、符号化対象プレディクションユニットに時間的に隣接しているプレディクションユニット（符号化済み参照フレーム内のプレディクションユニット）を隣接プレディクションユニットに設定する一例を示している。図１２に示される隣接プレディクションユニットは、符号化対象プレディクションユニットと同一座標に位置する参照フレーム内のプレディクションユニットである。この隣接プレディクションユニットの位置を位置Ｃｏｌと表す。
【００７３】
図１３Ａは、参照動き情報取得部１００１が予測動きベクトル候補１０５１を生成するために参照するブロック位置とブロック位置インデクスＭｖｐｉｄｘの関係を示すリストの一例を示している。ブロック位置Ａは、例えば図１２Ａに示されるように、空間方向に位置する隣接プレディクションユニットＡＸ（Ｘ＝０，１，…，ｎＡ−１）のいずれか１つの隣接プレディクションユニットの位置に設定される。一例として、隣接プレディクションユニットＡＸ（Ｘ＝０，１，…，ｎＡ−１）の中から、インター予測を適用されている、即ち、参照動き情報１６６を有する隣接プレディクションユニットが選定され、選定された隣接プレディクションユニットの中でＸの値が最も小さい隣接プレディクションユニットの位置がブロック位置Ａに決定される。ブロック位置インデクスＭｖｐｉｄｘが０である予測動きベクトル候補１０５１は、空間方向に位置するブロック位置Ａの隣接プレディクションユニットの参照動き情報から生成される。
【００７４】
また、ブロック位置Ｂは、例えば図１１Ａに示されるように、空間方向に位置する隣接プレディクションユニットＢＹ（Ｙ＝０，１，…，ｎＢ−１）のいずれか１つの隣接プレディクションユニットの位置に設定される。例えば、隣接プレディクションユニットＢＹ（Ｙ＝０，１，…，ｎＢ−１）の中から、インター予測を適用されている、即ち、参照動き情報１６６を有する隣接プレディクションユニットが選定され、選定された隣接プレディクションユニットの中でＹの値が最も小さい隣接プレディクションユニットの位置がブロック位置Ｂに決定される。ブロック位置インデクスＭｖｐｉｄｘが１である予測動きベクトル候補１０５１は、空間方向に位置するブロック位置Ｂの隣接プレディクションユニットの参照動き情報から生成される。
【００７５】
さらに、ブロック位置インデクスＭｖｐｉｄｘが２である予測動きベクトル候補１０５１は、参照フレーム内の位置Ｃｏｌの隣接プレディクションユニットの参照動き情報１６６から生成される。
【００７６】
参照動き情報取得部１００１が図１３Ａのリストに従って予測動きベクトル候補を生成する場合、３つの予測動きベクトル候補が生成される。この場合、インデクスＭｖｐｉｄｘが０である予測動きベクトル候補は、図１０に示される予測動きベクトル候補１０５１−１に対応する。さらに、インデクスＭｖｐｉｄｘが１である予測動きベクトル候補は、予測動きベクトル候補１０５１−２に対応し、インデクスＭｖｐｉｄｘが３である予測動きベクトル候補は、予測動きベクトル候補１０５１−３に対応する。
【００７７】
図１３Ｂは、参照動き情報取得部１００１が予測動きベクトル候補１０５１を生成するために参照するブロック位置とブロック位置インデクスＭｖｐｉｄｘの関係を示すリストの他の例を示している。参照動き情報取得部１００１が図１３Ｂのリストに従って予測動きベクトル候補を生成する場合、５つの予測動きベクトル候補が生成される。ブロック位置Ｃ及びＤは、例えば図１２Ａに示される隣接プレディクションユニットＣ及びＤの位置を指す。ブロック位置Ｃの隣接プレディクションユニットがインター予測を適用されていない場合、ブロック位置Ｄの隣接プレディクションユニットの参照動き情報１６６をブロック位置Ｃの隣接プレディクションユニットの参照動き情報１６６として置き換える。ブロック位置Ｃ及びＤの隣接プレディクションユニットがインター予測を適用されていない場合、ブロック位置Ｅの隣接プレディクションユニットの参照動き情報１６６をプレディクションユニット位置Ｃの参照動き情報１６６として置き換える。
【００７８】
さらに、図１３Ｃに示すように、時間方向に位置する複数の隣接プレディクションユニットから複数の予測動き情報候補が生成されてもよい。図１３Ｃに示されるブロック位置Ｃｏｌ（Ｃ３）は、図１４Ａから図１６Ｆを参照して後述するように、ブロック位置Ｃｏｌの隣接プレディクションユニット内の所定位置のプレディクションユニットの位置を示す。また、図１３Ｃに示されるブロック位置Ｃｏｌ（Ｈ）は、図１７Ａから図１７Ｆなどを参照して後述するように、ブロック位置Ｃｏｌの隣接プレディクションユニットの外側の所定位置のプレディクションユニットの位置を示す。
【００７９】
符号化対象プレディクションユニットのサイズが最小のプレディクションユニットのサイズ（例えば、４画素×４画素）より大きい場合には、ブロック位置Ｃｏｌの隣接プレディクションユニットは、複数の参照動き情報１６６を時間方向参照動き情報メモリ６０２に保持している可能性がある。この場合、参照動き情報取得部１００１は、予め定められた方法に従って、ブロック位置Ｃｏｌの隣接プレディクションユニットに保持されている複数の参照動き情報１６６から１つの参照動き情報１６６を取得する。本実施形態では、ブロック位置Ｃｏｌの隣接プレディクションユニット中の参照動き情報の取得位置を参照動き情報取得位置と称する。
【００８０】
図１４Ａから図１４Ｆは、参照動き情報取得位置が位置Ｃｏｌの隣接プレディクションユニットの中心付近に設定される例を示す。図１４Ａから図１４Ｆは、符号化対象プレディクションユニットが３２ｘ３２画素ブロック、３２×１６画素ブロック、１６×３２画素ブロック、１６×１６画素ブロック、１６×８画素ブロック、８×１６画素ブロックである場合にそれぞれ対応する。図１４Ａから図１４Ｆにおいて、各ブロックは、４ｘ４プレディクションユニットを示し、丸印は、参照動き情報取得位置を示す。図１４Ａから図１４Ｆの例では、丸印で示される４ｘ４プレディクションユニットの参照動き情報１６６が位置予測動き情報候補として使用される。
【００８１】
図１５Ａから図１５Ｆは、参照動き情報取得位置が位置Ｃｏｌの隣接プレディクションユニットの中心に設定される例を示す。図１５Ａから図１５Ｆは、符号化対象プレディクションユニットが３２ｘ３２画素ブロック、３２×１６画素ブロック、１６×３２画素ブロック、１６×１６画素ブロック、１６×８画素ブロック、８×１６画素ブロックである場合にそれぞれ対応する。図１５Ａから図１５Ｆにおいて、丸印で示される参照動き情報取得位置には、４ｘ４プレディクションユニットが存在しないため、参照動き情報取得部１００１は、予め定められた方式に従って、予測動き情報候補１０５１を生成する。一例として、参照動き情報取得部１００１は、参照動き情報取得位置に隣接する４つの４ｘ４プレディクションユニットの参照動き情報の平均値又はメディアン値を算出し、算出した平均値又はメディアン値を予測動き情報候補１０５１として生成する。
【００８２】
図１６Ａから図１６Ｆは、参照動き情報取得位置が位置Ｃｏｌの隣接プレディクションユニット中の左上端に設定される例を示す。図１６Ａから図１６Ｆは、符号化対象プレディクションユニットが３２ｘ３２画素ブロック、３２×１６画素ブロック、１６×３２画素ブロック、１６×１６画素ブロック、１６×８画素ブロック、８×１６画素ブロックである場合にそれぞれ対応する。図１６Ａから図１６Ｆにおいて、ブロック位置Ｃｏｌの隣接プレディクションユニットの左上端に位置する４ｘ４プレディクションユニットの参照動き情報が予測動き情報候補として使用される。
【００８３】
参照フレーム内のプレディクションユニットを参照して予測動き情報候補１０５１を生成する方法は、図１４Ａから図１６Ｆに示される方式に限定されず、予め定められた方式であればいかなる方式に従っていてもよい。例えば、図１７Ａから図１７Ｆに示されるように、ブロック位置Ｃｏｌの隣接プレディクションユニットの外側の位置が参照動き情報取得位置として設定されてもよい。図１７Ａから図１７Ｆは、符号化対象プレディクションユニットが３２ｘ３２画素ブロック、３２×１６画素ブロック、１６×３２画素ブロック、１６×１６画素ブロック、１６×８画素ブロック、８×１６画素ブロックである場合にそれぞれ対応する。図１７Ａから図１７Ｆにおいて、丸印で示される参照動き情報取得位置は、ブロック位置Ｃｏｌの隣接プレディクションユニットの右下に外接する４ｘ４プレディクションユニットの位置に設定される。この４ｘ４プレディクションユニットが画面外である若しくはインター予測を適用されていないなどとして、参照不可能である場合には、代わりに図１４Ａから図１６Ｆに示される参照動き情報取得位置のプレディクションユニットが参照されてもよい。
【００８４】
なお、隣接プレディクションユニットが参照動き情報１６６を有しない場合は、参照動き情報取得部１００１は、ゼロベクトルを有する参照動き情報を予測動き情報候補１０５１として生成する。
【００８５】
このようにして、参照動き情報取得部（予測動き情報候補生成部ともいう）１００１は、動き情報メモリ１０９を参照して、１つ以上の予測動き情報候補１０５１−１〜１０５１−Ｗを生成する。予測動き情報候補の生成のために参照された隣接プレディクションユニット、即ち、予測動き情報候補が取得若しくは出力された隣接プレディクションユニットは、参照動きブロックと称される。なお、参照動きブロックが単方向予測を適用された場合には、予測動き情報候補１０５１は、リスト０予測に用いるリスト０予測動き情報候補、及びリスト１予測に用いるリスト１予測動き情報候補のうちの一方を含む。また、参照動きブロックが双方向予測を適用された場合には、予測動き情報候補１０５１は、リスト０予測動き情報候補及びリスト１予測動き情報候補の両方を含む。
【００８６】
図１８は、予測動き情報設定部１００２の処理の一例を示している。図１８に示されるように、まず、予測動き情報設定部１００２は、予測動き情報候補１０５１が空間方向の参照動きブロックから出力されたものか、或いは、時間方向の参照動きブロックから出力されたものかを判定する（ステップＳ１８０１）。予測動き情報候補１０５１が空間方向の参照動きブロックから出力された（ステップＳ１８０１の判定がＮＯである）場合、予測動き情報設定部１００２は、予測動き情報候補１０５１を修正予測動き情報候補１０５２として出力する（ステップＳ１８１２）。
【００８７】
一方、予測動き情報候補１０５１が空間方向の参照動きブロックから出力された（ステップＳ１８０２の判定がＹＥＳである）場合、予測動き情報設定部１００２は、符号化対象プレディクションユニットに適用する予測方向及び参照フレーム番号を設定する（ステップＳ１８０２）。具体的には、符号化対象プレディクションユニットが、単方向予測のみを適用するＰスライス内の画素ブロックである場合、予測方向は、単方向予測に設定される。さらに、符号化対象プレディクションユニットが、単方向予測及び双方向予測を適用可能なＢスライス内の画素ブロックである場合、予測方向は、双方向予測に設定される。参照フレーム番号は、空間方向に位置する符号化済みの隣接プレディクションユニットを参照して設定される。
【００８８】
図１９は、参照フレーム番号を設定するために用いる隣接プレディクションユニットの位置を例示している。図１９に示されるように、隣接プレディクションユニットＦ、Ｇ及びＨは、それぞれ符号化対象プレディクションユニットに対して左、上及び右上に隣接する符号化済みのプレディクションユニットである。参照フレーム番号は、隣接プレディクションユニットＦ、Ｇ及びＨの参照フレーム番号を用いて多数決で決められる。前述したように、参照フレーム番号は、参照動き情報に含まれている。一例として、隣接プレディクションユニットＦ、Ｇ及びＨの参照フレーム番号がそれぞれ０、１及び１である場合、符号化対象プレディクションユニットの参照フレーム番号は１に設定される。
【００８９】
隣接プレディクションユニットＦ、Ｇ及びＨの参照フレーム番号が全て異なる場合、符号化対象プレディクションユニットの参照フレーム番号は、これらの参照フレーム番号の中で最も小さい参照フレーム番号に設定される。さらに、隣接プレディクションユニットＦ、Ｇ及びＨがインター予測を適用されていない場合、或いは、隣接プレディクションユニットＦ、Ｇ及びＨがフレーム又はスライスの外側に位置するために隣接プレディクションユニットＦ、Ｇ及びＨが参照不可能な場合、符号化対象プレディクションユニットの参照フレーム番号は、０に設定される。他の実施形態では、符号化対象プレディクションユニットの参照フレーム番号は、隣接プレディクションユニットＦ、Ｇ及びＨのうちの１つを用いて設定されてもよく、或いは、固定値（例えば、ゼロ）に設定されてもよい。ステップＳ１８０２の処理は、符号化対象プレディクションユニットが属するスライスがＰスライスの場合にはリスト０予測に対して行われ、Ｂスライスの場合にはリスト０予測及びリスト１予測の両方に対して行われる。
【００９０】
次に、予測動き情報設定部１００２は、符号化対象プレディクションユニットが属するスライス（符号化スライスともいう）がＢスライスであるか否かを判定する（ステップＳ１８０３）。符号化スライスがＢスライスでない、即ち、Ｐスライスである（ステップＳ１８０３の判定がＮＯである）場合、予測動き情報候補１０５１は、リスト０予測動き情報候補及びリスト１予測動き情報候補の一方を含む。この場合、予測動き情報設定部１００２は、ステップＳ１８０２で設定された参照フレーム番号を用いて、リスト０予測動き情報候補又はリスト１予測動き情報候補に含まれる動きベクトルをスケーリングする（ステップＳ１８１０）。さらに、予測動き情報設定部１００２は、スケーリングした動きベクトルを含むリスト０予測動き情報候補又はリスト１予測動き情報候補を修正予測動き情報候補１０５２として出力する（ステップＳ１８１１）。
【００９１】
符号化スライスがＢスライスである（ステップＳ１８０３の判定がＹＥＳである）場合、予測動き情報設定部１００２は、参照動きブロックが単方向予測を適用されたか否かを判定する（ステップＳ１８０４）。参照動きブロックが単方向予測を適用された（ステップＳ１８０４の判定がＹＥＳである）場合、リスト１予測動き情報候補は予測動き情報候補１０５１に存在しないため、予測動き情報設定部１００２は、リスト０予測動き情報候補をリスト１予測動き情報候補にコピーする（ステップＳ１８０５）。参照動きブロックが双方向予測を適用された（ステップＳ１８０４の判定がＮＯである）場合、処理は、ステップＳ１８０５を省略してステップＳ１８０６に進む。
【００９２】
次に、予測動き情報設定部１００２は、ステップＳ１８０２で設定された参照フレーム番号を用いて、リスト０予測動き情報候補の動きベクトル及びリスト１予測動き情報候補の動きベクトルをそれぞれスケーリングする（ステップＳ１８０６）。次に、予測動き情報設定部１００２は、リスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一であるか否かを判定する（ステップＳ１８０７）。
【００９３】
リスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一である（ステップＳ１８０７の判定がＹＥＳである）場合、双方向予測で生成される予測値（予測画像）は、単方向予測で生成される予測値（予測画像）と等価になる。このため、予測動き情報設定部１００２は、予測方向を双方向予測から単方向予測に変更し、リスト０予測動き情報候補のみを含む修正予測動き情報候補１０５２を出力する（ステップＳ１８０８）。このように、リスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一である場合には、予測方向を双方向予測から単方向予測に変更することにより、インター予測における動き補償処理及び平均処理を削減することができる。
【００９４】
リスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一でない（ステップＳ１８０７の判定がＮＯである）場合、予測動き情報設定部１００２は、予測方向を双方向予測に設定し、リスト０予測動き情報候補及びリスト１予測動き情報候補を含む修正予測動き情報候補１０５２を出力する（ステップＳ１８０９）。
【００９５】
このようにして、予測動き情報設定部１００２は、予測動き情報候補１０５１を修正して修正予測動き情報候補１０５２を生成する。
【００９６】
以上説明したように、本実施形態によれば、インター予測を行うために、符号化済みの画素ブロックの動き情報を利用して、符号化対象プレディクションユニットの動き情報を設定し、リスト０予測における動き情報が参照するブロックとリスト１予測における動き情報が参照するブロックが同一である場合には、予測方向を単方向予測に設定することにより、インター予測における動き補償処理及び平均処理を削減することができる。結果として、インター予測における処理量を削減することができる。
【００９７】
次に、予測動き情報設定部１００２の処理の他の実施形態について、図２０に示すフローチャートを用いて説明する。図２０のステップＳ２００１〜Ｓ２００６、Ｓ２０１０〜Ｓ２０１２は、図１８に示すステップＳ１８０１〜１８０６、Ｓ１８１０〜Ｓ１８１２と同一であるので説明を省略する。
【００９８】
ステップＳ２００７では、予測動き情報設定部１００２は、ステップＳ２００１〜Ｓ２００６で生成されたリスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一であるか否かを判定する。リスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一である（ステップＳ２００７の判定がＹＥＳである）場合、双方向予測で生成される予測値（予測画像）は、単方向予測で生成される予測値（予測画像）と等価になる。このため、予測動き情報設定部１００２は、リスト１予測動き情報候補を導出した参照動き情報取得位置とは空間的に異なる位置からリスト１予測動き情報候補を再度導出する（ステップＳ２００８）。以下では、図２０に示される処理の開始時点で使用した参照動き情報取得位置を第１参照動き情報取得位置と称し、ステップＳ２００８で参照動き情報を再度導出するために用いる参照動き情報取得位置を第２参照動き情報取得位置と称する。
【００９９】
典型的には、第１参照動き情報取得位置は、図１７Ａの丸印で示されるように、参照フレーム内の位置Ｃｏｌのプレディクションユニットの右下に外接する位置に設定され、第２参照動き情報取得位置は、図１４Ａの丸印で示されるように、同じ参照フレーム内の位置Ｃｏｌのプレディクションユニット内の所定の位置に設定される。或いは、第１参照動き情報取得位置及び第２参照動き情報取得位置は、図１４Ａから図１６Ｆに示される位置、或いは、図示しない位置に設定されてもよい。
【０１００】
さらに、第１参照動き情報取得位置及び第２参照動き情報取得位置は、互いに時間的に異なる参照フレームに位置してもよい。図２１Ａは、第１参照動き情報取得位置及び第２参照動き情報取得位置を時間的に異なる参照フレームに設定する例を示している。図２１Ａに示されるように、第１参照動き情報取得位置は、参照フレーム番号（ＲｅｆＩｄｘ）が０である参照フレーム内の位置Ｃｏｌのプレディクションユニットの右下の位置Ｘに設定される。さらに、第２参照動き情報取得位置Ｙは、参照フレーム番号が１である参照フレーム内の位置であって、第１参照動き情報取得位置Ｘと同じ位置に設定される。また、図２１Ｂに示されるように、第１参照動き情報取得位置及び第２参照動き情報取得位置は、時空間的に異なる位置に設定されてもよい。図２１Ｂでは、第２参照動き情報取得位置Ｙは、参照フレーム番号が１である参照フレーム内の位置であって、符号化対象プレディクションユニットと同じ座標に位置するプレディクション内の所定の位置に設定される。さらに、図２１Ｃに示されるように、第１参照動き情報取得位置が属する参照フレーム位置及び第２参照動き情報取得位置が属する参照フレーム位置は、任意の時間位置であってもよい。図２１Ｃでは、第１参照動き情報取得位置Ｘは、参照フレーム番号が０である参照フレーム上の位置に設定され、第２参照動き情報取得位置Ｙは、参照フレーム番号が２である参照フレーム内の位置であって、第１参照動き情報取得位置Ｘと同じ位置に設定される。
【０１０１】
以上説明したように、この実施形態によれば、インター予測を行うために、符号化済みの画素ブロックの動き情報を利用して、符号化対象プレディクションユニットの動き情報を設定し、リスト０予測における動き情報が参照するブロックとリスト１予測における動き情報が参照するブロックが同一である場合には、リスト１予測における動き情報をリスト０予測における動き情報の取得方法と異なる方法で取得することにより、単方向予測より予測効率の高い双方向予測を実現することができる。また、リスト１予測における動き情報の取得位置は、従来の取得位置の位置に応じて近い位置に設定することで、双方向予測に適した２種類の動き情報を取得することが可能となるため、さらに予測効率が向上する。
【０１０２】
次に、予測動き情報設定部１００２の処理のさらに他の実施形態について、図２２に示すフローチャートを用いて説明する。図２２に示されるように、まず、予測動き情報設定部１００２は、符号化済み領域から２種類の動き情報（第１予測動き情報及び第２予測動き情報）を取得する（ステップＳ２２０１）。例えば、２種類の動き情報は、上述した参照動き情報取得位置から取得されることができる。また、２種類の動き情報を取得する方法としては、これまで符号化対象プレディクションユニットに適応した動き情報の頻度を計算しておいて頻度の高い動き情報を用いてもよく、予め定められた動き情報を用いてもよい。
【０１０３】
次に、予測動き情報設定部１００２は、ステップＳ２２０１で取得した２種類の動き情報が第１条件を満たすか否かを判定する（ステップＳ２２０２）。第１条件は、下記の条件（Ａ）〜（Ｆ）の少なくとも１つを含む。  
（Ａ）２種類の動き情報が参照する参照フレームが同一である
（Ｂ）２種類の動き情報が参照する参照ブロックが同一である
（Ｃ）２種類の動き情報に含まれる参照フレーム番号が同一である
（Ｄ）２種類の動き情報に含まれる動きベクトルが同一である
（Ｅ）２種類の動き情報に含まれる動きベクトルの差の絶対値が所定のしきい値以下である
（Ｆ）リスト０予測とリスト１予測に用いる参照フレームの数及び構成が同一である
ステップＳ２２０２では、条件（Ａ）〜（Ｆ）のうちの１つ以上が満たされる場合に、２種類の動き情報が第１条件を満たすと判定される。また、第１条件は常に満たすと判定されても構わない。動画像符号化装置１００には、第２の実施形態で説明する動画像復号化装置に設定される第１条件と同一の第１条件が設定される。或いは、動画像符号化装置１００に設定される第１条件は、付加情報として動画像復号化装置に送信されてもよい。
【０１０４】
第１条件が満たされない（ステップＳ２２０２の判定がＮＯである）場合、２種類の動き情報を変更することなく、符号化対象プレディクションユニットは双方向予測を適用される（ステップＳ２１０４）。第１条件が満たされる（ステップＳ２２０２の判定がＹＥＳである）場合、予測動き情報設定部１００２は、第１対応を行う（ステップＳ２２０３）。第１対応は、下記の対応（１）〜（６）のうち１つ又は複数を含む。  
（１）予測方法を単方向予測に設定し、２種類の動き情報のいずれか一方をリスト０予測動き情報候補として出力する
（２）予測方法を双方向予測に設定し、動き情報の取得位置とは空間的に異なるブロック位置から動き情報を取得して、２種類の動き情報をリスト０予測動き情報候補及びリスト１予測動き情報候補として出力する
（３）予測方法を双方向予測に設定し、動き情報の取得位置とは時間的に異なるブロック位置から動き情報を取得して、２種類の動き情報をリスト０予測動き情報候補及びリスト１予測動き情報候補として出力する
（４）予測方法を双方向予測に設定し、動き情報に含まれる参照フレーム番号を変更して、２種類の動き情報をリスト０予測動き情報候補及びリスト１予測動き情報候補として出力する
（５）予測方法を双方向予測に設定し、動き情報に含まれる動きベクトルを変更して、２種類の動き情報をリスト０予測動き情報候補及びリスト１予測動き情報候補として出力する
対応（２）〜（５）は、２種類の動き情報のうちの一方の動き情報のみに適用してもよいし、両方の動き情報に適用してもよい。また、典型的には、対応（４）は、元の動き情報を取得した参照フレームではなく、符号化対象フレームから最も近い参照フレームを適用する。典型的には、対応（５）は、動きベクトルをある固定値だけシフトさせた動きベクトルを適用する。
【０１０５】
次に、予測動き情報設定部１００２の処理のさらにまた他の実施形態について、図２３に示すフローチャートを用いて説明する。図２３のステップＳ２３０１〜Ｓ２３０３、Ｓ２３０６は、それぞれ図２２に示すステップＳ２２０１〜Ｓ２２０３、Ｓ２２０４と同様の処理である。これらのステップについての説明は省略する。図２２のフローチャートと異なる点は、Ｓ２３０３に示される第１対応の後に、第２条件の判定（ステップＳ２３０４）及び第２対応（ステップＳ２３０５）が追加されていることである。一例として、第１条件及び第２条件に上記条件（Ｂ）を用い、第１対応に上記対応（２）、第２対応に上記対応（１）をそれぞれ用いる場合について説明する。
【０１０６】
対応（２）は、空間的に異なるブロック位置から動き情報が取得される。このため、空間的に動き情報が変化しない場合には、第１対応前後で動き情報は同一となる。このように第１対応前後で動き情報が同一となる場合には、第２対応を適用することで予測方向を単方向予測に設定する（ステップＳ２３０５）ことにより、動き補償の処理量を削減する。従って、本実施形態は、双方向予測の予測効率を向上させるとともに、空間的に動き情報が変化しない場合には動き補償の処理量を削減することができる。その結果、符号化効率を向上することができる。
【０１０７】
次に、Ｈ．２６４に示される重み付き予測（Ｗｅｉｇｈｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎ）が適用される場合について、図２２に示される予測動き情報設定部１００２の処理を例に説明する。
【０１０８】
図２３Ａ及び図２３Ｂは、重み付き予測を適用する際の参照フレームの構成が例示されている。図２３Ａ及び図２３Ｂにおいて、ｔは符号化対象フレームの時刻を示し、参照フレーム位置ｔ−１及びｔ−２は、その参照フレームが符号化対象フレームに対してそれぞれ１フレーム及び２フレーム分過去に位置することを示す。この例では、参照フレームの数は４であり、各参照フレームに参照フレーム番号が割り当てられている。
【０１０９】
図２３Ａでは、参照フレーム番号が０及び１の参照フレームはともに位置ｔ−１の参照フレームであるが、重み付き予測の有無（ｏｎ／ｏｆｆ）が異なる。この場合、参照フレーム番号０及び１の参照フレームは同一の参照フレームとして扱わない。即ち、参照フレーム番号０及び１の参照フレームは、重み付き予測の有無が異なっていれば、同じ位置の参照フレームであっても異なる参照フレームと見なす。従って、第１条件に条件（Ａ）が含まれていて、符号化済み領域から取得した２種類の動き情報がそれぞれ参照フレーム番号０及び１に対応する参照フレームを参照する場合は、２種類の動き情報ともに位置ｔ−１の参照フレームを参照するが重み付き予測の有無が異なるため、予測動き情報設定部１００２は、第１条件が満たされていないと判定する。
【０１１０】
図２３Ｂは、重み付き予測パラメータが異なる際の参照フレームの構成を例示されている。重み付き予測パラメータとは、重み付き予測に用いる重み係数（ｗｅｉｇｈｔ）ａ及びオフセット（ｏｆｆｓｅｔ）ｂであり、輝度及び色差信号に対してそれぞれ保持される。図２３Ｂにおいて参照フレーム番号０の参照フレームに対して輝度信号の重み係数ａ０及びオフセットｂ０が保持され、参照フレーム番号１の参照フレームに対して輝度信号の重み係数ａ１及びオフセットｂ１が保持されている。この場合、参照フレーム番号０、１及び２は同一の参照フレームとして扱わない。
【０１１１】
次に、図２５を参照して動き情報符号化部５０３について説明する。  
図２５は、動き情報符号化部５０３をより詳細に示している。動き情報符号化部５０３は、図２５に示されるように、減算部２５０１、差分動き情報符号化部２５０２、予測動き情報位置符号化部２５０３及び多重化部２５０４を備える。
【０１１２】
減算部２５０１は、動き情報１６０から予測動き情報１６７を減算して差分動き情報２５５１を生成する。差分動き情報符号化部２５０２は、差分動き情報２５５１を符号化して符号化データ２５５２を生成する。なお、スキップモード及びマージモードでは、差分動き情報符号化部２５０２での差分動き情報２５５１の符号化は不要となる。
【０１１３】
予測動き情報位置符号化部２５０３は、予測動き情報候補１０５１−１〜１０５１−Ｙのうちのいずれを選択したかを示す予測動き情報位置情報（図１３Ａ、図１３Ｂ又は図１３Ｃに示されるインデックスＭｐｖｉｄｘ）を符号化して符号化データ２５５３を生成する。予測動き情報位置情報は、符号化制御部１２０から与えられる符号化制御情報１７０に含まれる。予測動き情報位置情報は、予測動き情報取得部１１０において修正予測動き情報候補１０５２の総数から生成される符号表を用いて符号化（等長符号化又は可変長符号化）される。隣接ブロックとの相関を利用して予測動き情報位置情報を可変長符号化しても構わない。さらに、複数の修正予測動き情報候補１０５２で重複する情報を有する場合、重複する予測動き情報候補１０５１を削除した修正予測動き情報候補１０５２の総数から符号表を作成し、この符号表に従って予測動き情報位置情報を符号化しても構わない。また、修正予測動き情報候補の総数が１である場合、この修正予測動き情報候補が予測動き情報１６７及び動き情報候補１６０Ａと決定されるため、予測動き情報位置情報を符号化する必要はない。
【０１１４】
多重化部２５０４は、符号化データ２５５２及び符号化データ２５５３を多重化して符号化データ５５３を生成する。
【０１１５】
また、スキップモード、マージモード、インターモードそれぞれにおいて、修正予測動き情報候補１０５２の導出方法は同一である必要はなく、それぞれ独立に修正予測動き情報候補１０５２の導出方法を設定しても構わない。本実施形態では、スキップモードとマージモードの修正予測動き情報候補１０５２の導出方法は同一であり、インターモードの修正予測動き情報候補１０５２の導出方法は異なる。
【０１１６】
次に、図１の動画像符号化装置１００が利用するシンタクスについて説明する。  
シンタクスは、動画像符号化装置が動画像データを符号化する際の符号化データ（例えば、図１の符号化データ１６３）の構造を示している。この符号化データを復号化する際に、同じシンタクス構造を参照して動画像復号化装置がシンタクス解釈を行う。図１の動画像符号化装置１００が利用するシンタクス２６００を図２６に例示する。
【０１１７】
シンタクス２６００は、ハイレベルシンタクス２６０１、スライスレベルシンタクス２６０２及びコーディングツリーレベルシンタクス２６０３の３つのパートを含む。ハイレベルシンタクス２６０１は、スライスよりも上位のレイヤのシンタクス情報を含む。スライスとは、フレーム又はフィールドに含まれる矩形領域若しくは連続領域を指す。スライスレベルシンタクス２６０２は、各スライスを復号化するために必要な情報を含む。コーディングツリーレベルシンタクス２６０３は、各コーディングツリー（即ち、各コーディングツリーユニット）を復号化するために必要な情報を含む。これらパートの各々は、さらに詳細なシンタクスを含む。
【０１１８】
ハイレベルシンタクス２６０１は、シーケンスパラメータセットシンタクス２６０４及びピクチャパラメータセットシンタクス２６０５などといったシーケンス及びピクチャレベルのシンタクスを含む。スライスレベルシンタクス２６０２は、スライスヘッダーシンタクス２６０６及びスライスデータシンタクス２６０７などを含む。コーディングツリーレベルシンタクス２６０３は、コーディングツリーユニットシンタクス２６０８、トランスフォームユニットシンタクス２６０９及びプレディクションユニットシンタクス２６１０などを含む。
【０１１９】
コーディングツリーユニットシンタクス２６０８は、四分木構造を持つことができる。具体的には、コーディングツリーユニットシンタクス２６０８のシンタクス要素として、さらにコーディングツリーユニットシンタクス２６０８を再帰呼び出しすることができる。即ち、１つのコーディングツリーユニットを四分木で細分化することができる。また、コーディングツリーユニットシンタクス２６０８内にはトランスフォームユニットシンタクス２６０９及びプレディクションユニットシンタクス２６１０が含まれている。トランスフォームユニットシンタクス２６０９及びプレディクションユニットシンタクス２６１０は、四分木の最末端の各コーディングツリーユニットシンタクス２６０８において呼び出される。プレディクションユニットシンタクス２６１０は、予測に関する情報、トランスフォームユニットシンタクス２６０９は、逆直交変換及び量子化などに関する情報がそれぞれ記述されている。
【０１２０】
図２７は、プレディクションユニットシンタクスの一例を示す。図２７に示されるｓｋｉｐ＿ｆｌａｇは、プレディクションユニットシンタクスが属するコーディングツリーユニットの予測モードがスキップモードであるか否かを示すフラグである。予測モードがスキップモードである場合、ｓｋｉｐ＿ｆｌａｇは１に設定される。ｓｋｉｐ＿ｆｌａｇが１である場合、予測動き情報位置情報２５５４以外のシンタクス（コーディングツリーユニットシンタクス、プレディクションユニットシンタクス、トランスフォームユニットシンタクス）を符号化しないことを示す。ＮｕｍＭｅｒｇｅＣａｎｄｉｄａｔｅｓは、例えば図１３Ａのリストを使用して生成される修正予測動き情報候補１０５２の数を示す。修正予測動き情報候補１０５２が存在する（ＮｕｍＭｅｒｇｅＣａｎｄｉｄａｔｅｓ＞１）場合、修正予測動き情報候補１０５２のうちどのブロックからマージするかを示す予測動き情報位置情報２５５４であるｍｅｒｇｅ＿ｉｄｘが符号化される。ｍｅｒｇｅ＿ｉｄｘが符号化されない場合、その値は０に設定される。
【０１２１】
ｓｋｉｐ＿ｆｌａｇが０である場合、プレディクションユニットシンタクスが属するコーディングツリーユニットの予測モードがスキップモードではないことを示す。ＮｕｍＭｅｒｇｅＣａｎｄｉｄａｔｅｓは、例えば図１３Ａのリストを使用して生成される修正予測動き情報候補１０５２の数を示す。まず、後述するｍｅｒｇｅ＿ｆｌａｇを符号化するか否かを示すＩｎｆｅｒｒｅｄＭｅｒｇｅＦｌａｇがＦＡＬＳＥの場合に、プレディクションユニットの予測モードがマージモードであるか否かを示すフラグであるｍｅｒｇｅ＿ｆｌａｇが符号化される。ｍｅｒｇｅ＿ｆｌａｇの値が１である場合、プレディクションユニットの予測モードがマージモードであることを示す。ｍｅｒｇｅ＿ｆｌａｇの値が０である場合、プレディクションユニットにインターモードを適用することを示す。ｍｅｒｇｅ＿ｆｌａｇが符号化されない場合、ｍｅｒｇｅ＿ｆｌａｇの値は１に設定される。
【０１２２】
ｍｅｒｇｅ＿ｆｌａｇが１であり且つ修正予測動き情報候補１０５２が２つ以上存在する（ＮｕｍＭｅｒｇｅＣａｎｄｉｄａｔｅｓ＞１）場合、修正予測動き情報候補１０５２のうちどのブロックからマージするかを示す予測動き情報位置情報２５５４であるｍｅｒｇｅ＿ｉｄｘが符号化される。
【０１２３】
ｍｅｒｇｅ＿ｆｌａｇが１である場合、ｍｅｒｇｅ＿ｆｌａｇ、ｍｅｒｇｅ＿ｉｄｘ以外のプレディクションユニットシンタクスを符号化する必要はない。
【０１２４】
ｍｅｒｇｅ＿ｆｌａｇが０である場合、プレディクションユニットの予測モードがインターモードであることを示す。インターモードでは、差分動き情報２５５１に含まれる差分動きベクトル情報を示すｍｖｄ＿ｌＸ（Ｘ＝０若しくは１）及び参照フレーム番号ｒｅｆ＿ｉｄｘ＿ｌＸが符号化される。さらに、プレディクションユニットがＢスライス内の画素ブロックである場合、プレディクションユニットが単方向予測（リスト０若しくはリスト１）であるか双方向予測であるかを示すｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃが符号化される。また、ＮｕｍＭＶＰＣａｎｄ（Ｌ０）、ＮｕｍＭＶＰＣａｎｄ（Ｌ１）を取得する。ＮｕｍＭＶＰＣａｎｄ（Ｌ０）、ＮｕｍＭＶＰＣａｎｄ（Ｌ１）は、それぞれリスト０予測、リスト１予測における修正予測動き情報候補１０５２の数を示す。修正予測動き情報候補１０５２が存在する（ＮｕｍＭＶＰＣａｎｄ（ＬＸ）＞０、Ｘ＝０若しくは１）場合、予測動き情報位置情報２５５４を示すｍｖｐ＿ｉｄｘ＿ｌＸが符号化される。
【０１２５】
以上が、本実施形態に係るシンタクス構成である。
【０１２６】
以上のように、本実施形態に係る動画像符号化装置は、インター予測を行うために、符号化済みの画素ブロックの動き情報を利用して、符号化対象プレディクションユニットの動き情報を設定し、リスト０予測における動き情報が参照するブロックとリスト１予測における動き情報が参照するブロックが同一である場合には、予測方向を単方向予測に設定することにより、インター予測における動き補償処理及び平均処理を削減することができる。結果として、インター予測における処理量を削減することができ、符号化効率が向上される。
【０１２７】
（第２の実施形態）  
第２の実施形態では、第１の実施形態の動画像符号化装置１００に対応する動画像復号化装置について説明する。本実施形態に係る動画像復号化装置は、例えば第１の実施形態に係る動画像符号化装置１００によって生成された符号化データを復号化する。
【０１２８】
図２８は、第２の実施形態に係る動画像復号化装置２８００を概略的に示している。この動画像復号化装置２８００には、符号化データ２８５０が、例えば図１の動画像符号化装置１００などから図示しない蓄積系又は伝送系を経て入力される。動画像復号化装置２８００は、受け取った符号化データ２８５０を復号化して復号画像信号２８５４を生成する。生成された復号画像信号２８５４は、出力バッファ２８３０に一時的に記憶されて出力画像として送出される。具体的には、動画像復号化装置２８００は、図２８に示されるように、エントロピー復号化部２８０１、逆量子化部２８０２、逆直交変換部２８０３、加算部２８０４、参照画像メモリ２８０５、インター予測部２８０６、参照動き情報メモリ２８０７、予測動き情報取得部２８０８、動き情報選択スイッチ２８０９及び復号化制御部２８２０を備える。さらに、動画像復号化装置２８００は、図示しないイントラ予測部を備えることができる。
【０１２９】
図２８の動画像復号化装置２８００は、ＬＳＩ（Large-Scale Integration circuit）チップ、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実現することができる。また、動画像復号化装置２８００は、コンピュータに画像復号化プログラムを実行させることによって実現することもできる。
【０１３０】
エントロピー復号化部２８０１は、符号化データ２８５０を復号化するために、シンタクスに基づいて解読を行う。エントロピー復号化部２８０１は、各シンタクスの符号列を順次にエントロピー復号化し、動き情報２８５９Ａ、予測情報２８６０、量子化変換係数２８５１などの復号化対象ブロックに関する符号化パラメータを再生する。符号化パラメータとは、予測情報、変換係数に関する情報、量子化に関する情報などの復号に必要となるパラメータである。
【０１３１】
具体的には、エントロピー復号化部２８０１は、図２９に示すように、分離部２９０１、パラメータ復号化部２９０２、変換係数復号化部２９０３、及び動き情報復号化部２９０４を備える。分離部２９０１は、符号化データ２８５０をパラメータに関する符号化データ２９５１、変換係数に関する符号化データ２９５２、及び動き情報に関する符号化データ２９５３に分離する。分離部２９０１は、パラメータに関する符号化データ２９５１をパラメータ復号化部２９０２に、変換係数に関する符号化データ２９５２を変換係数復号化部２９０３に、動き情報に関する符号化データ２９５３を動き情報復号化部２９０４にそれぞれ出力する。
【０１３２】
パラメータ復号化部２９０２は、パラメータに関する符号化データ２９５１を復号化して予測情報２８６０などの符号化パラメータ２８７０を得る。パラメータ復号化部２９０２は、符号化パラメータ２８７０を復号化制御部２８２０に出力する。予測情報２８６０は、復号化対象プレディクションユニットにインター予測及びイントラ予測のいずれを適用するかを切り替えるために、また、動き情報復号化部２９０４から出力される動き情報候補２８５９Ａと、予測動き情報取得部２８０８から出力される動き情報候補２８５９Ｂとのいずれを用いるかを動き情報選択スイッチ２８０９で切り替えるために使用される。
【０１３３】
変換係数復号化部２９０３は、符号化データ２９５２を復号化して量子化変換係数２８５１を得る。変換係数復号化部２９０３は、量子化変換係数２８５１を逆量子化部２８０２に出力する。
【０１３４】
動き情報復号化部２９０４は、分離部２９０１から符号化データ２９５３を復号化し、予測動き情報位置情報２８６１及び動き情報２８５９Ａを生成する。具体的には、動き情報復号化部２９０４は、図３０に示すように、分離部３００１、差分動き情報復号化部３００２、予測動き情報位置復号化部３００３及び加算部３００４を備える。
【０１３５】
動き情報復号化部２９０４において、動き情報に関する符号化データ２９５３は分離部３００１に入力される。分離部３００１は、符号化データ２９５３を、差分動き情報に関する符号化データ３０５１及び予測動き情報位置に関する符号化データ３０５２に分離する。
【０１３６】
差分動き情報復号化部３００２は、差分動き情報に関する符号化データ３０５１を復号化して差分動き情報３０５３を得る。なお、スキップモード及びマージモードでは、差分動き情報符号化部３００２での差分動き情報３０５３の復号化は不要となる。
【０１３７】
加算部３００４は、差分動き情報３０５３を予測動き情報取得部２８０８からの予測動き情報２８６２と加算して動き情報２８５９Ａを生成する。動き情報２８５９Ａは、動き情報選択スイッチ２８０９に送出される。
【０１３８】
予測動き情報位置復号化部３００３は、予測動き情報位置に関する符号化データ３０５２を復号化して予測動き情報位置情報２８６１を得る。予測動き情報位置情報２８６１は、予測動き情報取得部２８０８に送出される。
【０１３９】
予測動き情報位置情報２８６１は、修正予測動き情報候補３０５２の総数から生成される符号表を用いて復号化（等長復号化又は可変長復号化）される。隣接ブロックとの相関を利用して予測動き情報位置情報２８６１を可変長復号化しても構わない。さらに、複数の修正予測動き情報候補１０５２が重複する場合、重複を削除した修正予測動き情報候補１０５２の総数から生成される復号表に従って予測動き情報位置情報２８６１を復号化しても構わない。また、修正予測動き情報候補１０５２の総数が１種類である場合、この修正予測動き情報候補１０５２が予測動き情報候補２８５９Ｂと決定されるため、予測動き情報位置情報２８６１を復号化する必要はない。
【０１４０】
図２８に示される逆量子化部２８０２は、エントロピー復号化部２８０１からの量子化変換係数２８５１を逆量子化して、復元変換係数２８５２を得る。具体的には、逆量子化部２８０２は、エントロピー復号化部２８０１によって得られた量子化情報に従って逆量子化処理を行う。逆量子化部２８０２は、復元変換係数２８５２を逆直交変換部２８０３に出力する。
【０１４１】
逆直交変換部２８０３は、逆量子化部２８０２からの復元変換係数２８５２に対して、符号化側において行われた直交変換に対応する逆直交変換を行い、復元予測誤差信号２８５３を得る。例えば、図１の直交変換部１０２での直交変換がＤＣＴである場合、逆直交変換部２８０３は、ＩＤＣＴを行う。逆直交変換部２８０３は、復元予測誤差信号２８５３を加算部２８０４に出力する。
【０１４２】
加算部２８０４は、復元予測誤差信号２８５３と、対応する予測画像信号２８５６とを加算し、復号画像信号２８５４を生成する。復号画像信号２８５４は、フィルタリング処理を施された後に、出力画像信号として出力バッファ２８３０に一時的に蓄積される。出力バッファ２８３０に蓄積されている復号画像信号２８５４は、復号化制御部２８２０によって管理される出力タイミングに従って出力される。復号画像信号２８５４のフィルタリングには、例えば、デブロッキングフィルタ又はウィナーフィルタなどが用いられる。
【０１４３】
さらに、フィルタリング処理後の復号画像信号２８５４は、参照画像信号２８５５として参照画像メモリ２８０５にも保存される。参照画像メモリ２８０５に保存されている参照画像信号２８５５は、インター予測部２８０６によって必要に応じてフレーム単位又はフィールド単位で参照される。
【０１４４】
インター予測部２８０６は、参照画像メモリ２８０５に保存されている参照画像信号２８５５を利用してインター予測を行う。具体的には、インター予測部２８０６は、予測対象ブロックと参照画像信号２８５５との間の動きのズレ量（動きベクトル）を含む動き情報２８５９を動き情報選択スイッチ２８０９から受け取り、この動きベクトルに基づいて補間処理（動き補償）を行ってインター予測画像を生成する。インター予測画像の生成に関しては、第１の実施形態と同一であるので、詳細な説明を省略する。
【０１４５】
動き情報メモリ２８０７は、インター予測部２８０６でのインター予測に用いられた動き情報２８５９を参照動き情報２８５８として一時的に格納する。動き情報メモリ２８０７は、第１の実施形態に示す動き情報メモリ１０９と同一の機能を有するので、重複する説明を適宜省略する。参照動き情報２８５８は、フレーム（又はスライス）単位で保持される。具体的には、動き情報メモリ２８０７は、復号対象フレームの動き情報２８５９を参照動き情報２８５８として格納する空間方向参照動き情報メモリと、既に復号化済みのフレームの動き情報２８５９を参照動き情報２８５８として格納する時間方向参照動き情報メモリとを含む。時間方向参照動き情報メモリは、復号化対象フレームの予測に用いる参照フレームの数に応じた数だけ用意されることができる。
【０１４６】
参照動き情報２８５８は、所定の領域単位（例えば、４×４画素ブロック単位）で空間方向参照動き情報メモリ及び時間方向参照動き情報メモリに保持される。参照動き情報２８５８は、その領域がインター予測及びイントラ予測のいずれを適用されたのかを示す情報をさらに含む。
【０１４７】
予測動き情報取得部２８０８は、動き情報メモリ２８０７に格納されている参照動き情報２８５８を参照して、復号化対象プレディクションユニットに用いる動き情報候補２８５９Ｂ、及びエントロピー復号化部２８０１において動き情報の差分符号化に用いる予測動き情報２８６２を生成する。
【０１４８】
復号化制御部２８２０は、図２８の動画像復号化装置２８００の各要素を制御する。具体的には、復号化制御部２８２０は、エントロピー復号化部２８０１からの符号化パラメータ２８７０を含む情報を動画像復号化装置２８００から受け取り、動画像復号化装置２８００に復号化制御情報２８７１を与えて復号化処理のための種々の制御を行う。
【０１４９】
本実施形態に係る動画像復号化装置２８００は、図９を参照して説明した符号化処理と同様に、復号化処理の異なる複数の予測モードを使用する。スキップモードは、予測動き情報位置情報２８６１に関するシンタクスのみを復号化し、その他のシンタクスを復号化しないモードである。マージモードは、予測動き情報位置情報２８６１に関するシンタクス、及び変換係数に関する情報を復号化し、その他のシンタクスを復号化しないモードである。インターモードは、予測動き情報位置情報２８６１に関するシンタクス、差分動き情報、及び変換係数に関する情報を復号化するモードである。これらのモードは、復号化制御部２８２０が制御する予測情報によって切り替えられる。
【０１５０】
図３１は、予測動き情報取得部２８０８をより詳細に示している。予測動き情報取得部２８０８は、図１０に示されるような動画像符号化装置の予測動き情報取得部１１０と同じ構成を有するので、予測動き情報取得部２８０８についての詳細な説明は省略する。
【０１５１】
図３１に示される予測動き情報取得部２８０８は、参照動き情報取得部３１０１、動き情報設定部３１０２−１〜３１０２−Ｗ、及び予測動き情報選択スイッチ３１０３を備える。ここで、Ｗは、参照動き情報取得部３１０１で生成される予測動き情報候補の数を表す。
【０１５２】
参照動き情報取得部３１０１は、動き情報メモリ２８０７から参照動き情報２８５８を取得する。参照動き情報取得部３１０１は、取得した参照動き情報２８５８を用いて、１つ以上の予測動き情報候補３１５１−１、３１５１−２、…、３１５１−Ｗを生成する。予測動き情報候補は、予測動きベクトル候補とも称される。
【０１５３】
予測動き情報設定部３１０２−１〜３１０２−Ｗは、参照動き情報取得部３１０１から予測動き情報候補３１５１−１〜３１５１−Ｗをそれぞれ受け取り、復号化対象プレディクションユニットに適用する予測方法（単方向予測、双方向予測）及び参照フレーム番号の設定、並びに動きベクトル情報のスケーリングを行って、修正予測動き情報候補３１５２−１〜３１５２−Ｗをそれぞれ生成する。
【０１５４】
予測動き情報選択スイッチ３１０３は、復号化制御部２８２０からの符号化制御情報２８７１に含まれる指令に従って、１以上の修正予測動き情報候補３１５２−１〜３１５２−Ｗのいずれか１つを選択する。そして、予測動き情報選択スイッチ３１０３は、選択したものを動き情報候補２８５９Ｂとして動き情報選択スイッチ２８０９に出力するとともに、エントロピー復号化部２８０１において動き情報の差分復号化に用いる予測動き情報２８６２を出力する。典型的には、動き情報候補２８５９Ｂと予測動き情報２８６２は、同一の動き情報を含むが、復号化制御部２８２０の指示に従って、互いに異なる動き情報を含んでもよい。なお、復号化制御部２８２０の代わりに予測動き情報選択スイッチ３１０３が予測動き情報位置情報を出力してもよい。復号化制御部２８２０は、例えば上述した数式（１）又は数式（２）などの評価関数を用いて、修正予測動き情報候補３１５２−１〜３１５２−Ｗのいずれを選択するかを決定する。
【０１５５】
また、動き情報候補２８５９Ｂが動き情報選択スイッチ２８０９によって動き情報２８５９として選択されて動き情報メモリ２８０７に格納される場合、動き情報候補２８５９Ｂが保持するリスト０予測動き情報候補がリスト１予測動き情報候補にコピーされてもよい。この場合、リスト０予測動き情報と、このリスト０予測動き情報と同じ情報であるリスト１予測動き情報を含む参照動き情報２８５８は、後続のプレディクションユニットの復号化の際に隣接プレディクションユニットの参照動き情報２８５８として予測動き情報取得部２８０８によって使用される。
【０１５６】
以下では、予測動き情報設定部３１０２−１〜３１０２−Ｗ、予測動き情報候補３１５１−１〜３１５１−Ｗ、修正予測動き情報候補３１５２−１〜３１５２−Ｗの各々を特に区別せずに説明する場合には、参照符号の末尾の番号（「−１」〜「−Ｗ」）を省略して、単に予測動き情報設定部３１０２、予測動き情報候補３１５１、修正予測動き情報候補３１５２と記載する。
【０１５７】
予測動き情報設定部３１０２は、例えば図１０に示される動画像符号化装置１００の予測動き情報候補１００１と同様の方法で、１つ以上の予測動き情報候補３１５１を生成する。予測動き情報候補３１５１の生成方法については、図１１Ａから図１７Ｆを参照して動画像符号化装置に関して説明したものと同様であるので、詳細な説明は省略する。
【０１５８】
一例として、参照動き情報取得部３１０１が図１３Ａのリストに従って予測動き情報候補３１５１を生成する方法を簡単に説明する。図１３Ａのリストによれば、復号化対象プレディクションユニットに空間的に隣接するプレディクションユニットを参照して２つの予測動き情報候補３１５１−１及び３１５１−２が生成され、復号化対象プレディクションユニットに時間的に隣接するプレディクションユニットを参照して１つの動き情報候補３１５１−３が生成される。
【０１５９】
例えば、図１１Ａに示されるように、隣接プレディクションユニットＡＸ（Ｘ＝０，１，…，ｎＡ−１）の中から、インター予測を適用されている隣接プレディクションユニットが選定され、選定された隣接プレディクションユニットの中でＸの値が最も小さい隣接プレディクションユニットの位置がブロック位置Ａに決定される。インデックスＭｖｐｉｄｘが０である予測動き情報候補３１５１−１は、空間方向に位置するブロック位置Ａの隣接プレディクションユニットの参照動き情報から生成される。
【０１６０】
また、例えば図１１Ａに示されるように、隣接プレディクションユニットＢＹ（Ｙ＝０，１，…，ｎＢ−１）の中から、インター予測を適用されている隣接プレディクションユニットが選定され、選定された隣接プレディクションユニットの中でＹの値が最も小さい隣接プレディクションユニットの位置がブロック位置Ｂに決定される。インデクスＭｖｐｉｄｘが１である予測動きベクトル候補３１５１−２は、空間方向に位置するブロック位置Ｂの隣接プレディクションユニットの参照動き情報から生成される。
【０１６１】
さらに、インデクスＭｖｐｉｄｘが２である予測動きベクトル候補３１５１−３は、参照フレーム内の位置Ｃｏｌの隣接プレディクションユニットの参照動き情報から生成される。
【０１６２】
このようにして、参照動き情報取得部（予測動き情報候補生成部ともいう）３１０１は、動き情報メモリ２８０７を参照して、１つ以上の予測動き情報候補３１５１−１〜３１５１−Ｗを生成する。予測動き情報候補３１５１の生成のために参照されたプレディクションユニット、即ち、予測動き情報候補が取得若しくは出力されたプレディクションユニットは、参照動きブロックと称される。なお、参照動きブロックが単方向予測を適用された場合には、予測動き情報候補３１５１は、リスト０予測に用いるリスト０予測動き情報候補、及びリスト１予測に用いるリスト１予測動き情報候補のうちの一方を含む。また、参照動きブロックが双方向予測を適用された場合には、予測動き情報候補３１５１は、リスト０予測動き情報候補及びリスト１予測動き情報候補の両方を含む。
【０１６３】
図３２は、予測動き情報設定部３１０２の処理の一例を示している。図３２に示される予測動き情報設定部３１０２は、図１０に示される動画像符号化装置１００の予測動き情報設定部１００２と同様の機能を有する。図３２の処理手順は、図１８の処理手順の説明において「符号化」を「復号化」と読み替えることにより理解されることができるので、その詳細な説明を適宜省略する。
【０１６４】
図３２に示されるように、まず、予測動き情報設定部３１０２は、予測動き情報候補３１５１が空間方向の参照動きブロックから出力されたものか、或いは、時間方向の参照動きブロックから出力されたものかを判定する（ステップＳ３２０１）。予測動き情報候補３１５１が空間方向の参照動きブロックから出力された（ステップＳ３１０１の判定がＮＯである）場合、予測動き情報設定部３１０２は、予測動き情報候補３１５１を修正予測動き情報候補３１５２として出力する（ステップＳ３２１２）。
【０１６５】
予測動き情報候補３１５１が空間方向の参照動きブロックから出力された（ステップＳ３２０２の判定がＹＥＳである）場合、予測動き情報設定部３１０２は、復号化対象プレディクションユニットに適用する予測方向及び参照フレーム番号を設定する（ステップＳ３２０２）。具体的には、復号化対象プレディクションユニットが、単方向予測のみを適用するＰスライス内の画素ブロックである場合、予測方向は、単方向予測に設定される。さらに、復号化対象プレディクションユニットが、単方向予測及び双方向予測を適用可能なＢスライス内の画素ブロックである場合、予測方向は、双方向予測に設定される。参照フレーム番号は、空間方向に位置する復号化済みのプレディクションユニットを参照して設定される。例えば、参照フレーム番号は、復号化対象プレディクションユニットに隣接する所定位置のプレディクションユニットの参照フレーム番号を用いて多数決で決められる。
【０１６６】
次に、予測動き情報設定部３１０２は、復号化対象プレディクションユニットが属するスライス（復号化スライスともいう）がＢスライスであるか否かを判定する（ステップＳ３２０３）。復号化スライスがＰスライスである（ステップＳ３２０３の判定がＮＯである）場合、予測動き情報候補３１５１は、リスト０予測動き情報候補及びリスト１予測動き情報候補の一方を含む。この場合、予測動き情報設定部３１０２は、ステップＳ３２０２で設定された参照フレーム番号を用いて、リスト０予測動き情報候補又はリスト１予測動き情報候補に含まれる動きベクトルをスケーリングする（ステップＳ３２１０）。さらに、予測動き情報設定部３１０２は、スケーリングした動きベクトルを含むリスト０予測動き情報候補又はリスト１予測動き情報候補を修正予測動き情報候補３１５２として出力する（ステップＳ３２１１）。
【０１６７】
復号化スライスがＢスライスである（ステップＳ３２０３の判定がＹＥＳである）場合、予測動き情報設定部３１０２は、参照動きブロックが単方向予測を適用されたか否かを判定する（ステップＳ３２０４）。参照動きブロックが単方向予測を適用された（ステップＳ３２０４の判定がＹＥＳである）場合、リスト１予測動き情報候補は予測動き情報候補３１５１に存在しないため、予測動き情報設定部３１０２は、リスト０予測動き情報候補をリスト１予測動き情報候補にコピーする（ステップＳ３２０５）。参照動きブロックが双方向予測を適用された（ステップＳ３２０４の判定がＮＯである）場合、処理は、ステップＳ３２０５を省略してステップＳ３２０６に進む。
【０１６８】
次に、予測動き情報設定部３１０２は、ステップＳ３２０２で設定された参照フレーム番号を用いて、リスト０予測動き情報候補の動きベクトル及びリスト１予測動き情報候補の動きベクトルをそれぞれスケーリングする（ステップＳ３２０６）。次に、予測動き情報設定部３１０２は、リスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一であるか否かを判定する（ステップＳ３２０７）。
【０１６９】
リスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一である（ステップＳ３２０７の判定がＹＥＳである）場合、双方向予測で生成される予測値（予測画像）は、単方向予測で生成される予測値（予測画像）と等価になる。このため、予測動き情報設定部３１０２は、予測方向を双方向予測から単方向予測に変更し、リスト０予測動き情報候補のみを含む修正予測動き情報候補３１５２を出力する（ステップＳ３２０８）。このように、リスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一である場合には、予測方向を双方向予測から単方向予測に変更することにより、インター予測における動き補償処理及び平均処理を削減することができる。
【０１７０】
リスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一でない（ステップＳ３２０７の判定がＮＯである）場合、予測動き情報設定部３１０２は、予測方向を双方向予測に設定し、リスト０予測動き情報候補及びリスト１予測動き情報候補を含む修正予測動き情報候補３１５２を出力する（ステップＳ３２０９）。
【０１７１】
以上説明したように、本実施形態によれば、インター予測を行うために、復号化済みの画素ブロックの動き情報を利用して、復号化対象プレディクションユニットの動き情報を設定し、リスト０予測における動き情報が参照するブロックとリスト１予測における動き情報が参照するブロックが同一である場合には、予測方向を単方向予測に設定することにより、インター予測における動き補償処理及び平均処理を削減することができる。結果として、インター予測における処理量を削減することができる。
【０１７２】
次に、予測動き情報設定部３１０２の処理の他の実施形態について、図３３に示すフローチャートを用いて説明する。図３３の処理手順は、図２０の処理手順の説明において「符号化」を「復号化」と読み替えることにより理解されることができるので、詳細な説明を適宜省略する。また、図３３のステップＳ３３０１〜Ｓ３３０６、Ｓ３３１０〜Ｓ３３１２は、図３２に示すステップＳ３２０１〜３２０６、Ｓ３２１０〜Ｓ３２１２と同一であるので説明を省略する。
【０１７３】
ステップＳ３３０７では、予測動き情報設定部３１０２は、ステップＳ３３０１〜Ｓ３３０６で生成されたリスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一であるか否かを判定する。リスト０予測動き情報候補が参照するブロックとリスト１予測動き情報候補が参照するブロックが同一である（ステップＳ３３０７の判定がＹＥＳである）場合、双方向予測で生成される予測値（予測画像）は、単方向予測で生成される予測値（予測画像）と等価になる。このため、予測動き情報設定部１００２は、リスト１予測動き情報候補を導出した参照動き情報取得位置とは空間的に異なる位置からリスト１予測動き情報候補を再度導出する（ステップＳ３３０８）。以下では、図３３に示される処理の開始時点で使用した参照動き情報取得位置を第１参照動き情報取得位置と称し、ステップＳ３３０８で参照動き情報を再度導出するために用いる参照動き情報取得位置を第２参照動き情報取得位置と称する。
【０１７４】
典型的には、第１参照動き情報取得位置は、図１７Ａの丸印で示されるように、参照フレーム内の位置Ｃｏｌのプレディクションユニットの右下に外接する位置に設定され、第２参照動き情報取得位置は、図１４Ａの丸印で示されるように、同じ参照フレームの位置Ｃｏｌのプレディクションユニット内の所定の位置に設定される。なお、第１参照動き情報取得位置及び第２参照動き情報取得位置は、互いに時間的に異なる参照フレームに位置してもよく、時空間的に異なる位置に設定されてもよい。
【０１７５】
以上説明したように、この実施形態によれば、インター予測を行うために、復号化済みの画素ブロックの動き情報を利用して、復号化対象プレディクションユニットの動き情報を設定し、リスト０予測における動き情報が参照するブロックとリスト１予測における動き情報が参照するブロックが同一である場合には、リスト１予測における動き情報をリスト０予測における動き情報の取得方法と異なる方法で取得することにより、単方向予測より予測効率の高い双方向予測を実現することができる。また、リスト１予測における動き情報の取得位置は、従来の取得位置の位置に応じて近い位置に設定することで、双方向予測に適した２種類の動き情報を取得することが可能となるため、さらに予測効率が向上する。
【０１７６】
次に、予測動き情報設定部３１０２の処理のさらに他の実施形態について、図３４に示すフローチャートを用いて説明する。図３４の処理手順は、図２２の処理手順の説明において「符号化」を「復号化」と読み替えることにより理解されることができる。
【０１７７】
図３４に示されるように、まず、予測動き情報設定部３１０２は、復号化済み領域から２種類の動き情報（第１予測動き情報及び第２予測動き情報）を取得する（ステップＳ３４０１）。例えば、２種類の動き情報は、上述した参照動き情報取得位置から取得されることができる。また、２種類の動き情報を取得する方法としては、これまで復号化対象プレディクションユニットに適応した動き情報の頻度を計算しておいて頻度の高い動き情報を用いてもよく、予め定められた動き情報を用いてもよい。
【０１７８】
次に、予測動き情報設定部３１０２は、ステップＳ３４０１で取得した２種類の動き情報が第１条件を満たすか否かを判定する（ステップＳ３４０２）。第１条件は、下記の条件（Ａ）〜（Ｆ）の少なくとも１つを含む。  
（Ａ）２種類の動き情報が参照する参照フレームが同一である
（Ｂ）２種類の動き情報が参照する参照ブロックが同一である
（Ｃ）２種類の動き情報に含まれる参照フレーム番号が同一である
（Ｄ）２種類の動き情報に含まれる動きベクトルが同一である
（Ｅ）２種類の動き情報に含まれる動きベクトルの差の絶対値が所定のしきい値以下である
（Ｆ）リスト０予測とリスト1予測に用いる参照フレームの数及び構成が同一である
ステップＳ３４０２では、条件（Ａ）〜（Ｆ）のうちの１つ以上が満たされる場合に、２種類の動き情報が第１条件を満たすと判定される。また、第１条件は常に満たすと判定されても構わない。動画像復号化装置２８００には、第１の実施形態で説明した動画像復号化装置１００に設定される第１条件と同一の第１条件が設定される。或いは、動画像復号化装置２８００は、動画像符号化装置１００から第１条件に関する情報を付加情報として受け取ってもよい。
【０１７９】
第１条件が満たされない（ステップＳ３４０２の判定がＮＯである）場合、２種類の動き情報を変更することなく、復号化対象プレディクションユニットは双方向予測を適用される（ステップＳ３４０４）。第１条件が満たされる（ステップＳ３４０２の判定がＹＥＳである）場合、予測動き情報設定部３１０２は、第１対応を行う（ステップＳ３４０３）。第１対応は、下記の対応（１）〜（６）のうち１つ又は複数を含む。  
（１）予測方法を単方向予測に設定し、２種類の動き情報のいずれか一方をリスト０予測動き情報候補として出力する
（２）予測方法を双方向予測に設定し、動き情報の取得位置とは空間的に異なるブロック位置から動き情報を取得して、２種類の動き情報をリスト０予測動き情報候補及びリスト１予測動き情報候補として出力する
（３）予測方法を双方向予測に設定し、動き情報の取得位置とは時間的に異なるブロック位置から動き情報を取得して、２種類の動き情報をリスト０予測動き情報候補及びリスト１予測動き情報候補として出力する
（４）予測方法を双方向予測に設定し、動き情報に含まれる参照フレーム番号を変更して、２種類の動き情報をリスト０予測動き情報候補及びリスト１予測動き情報候補として出力する
（５）予測方法を双方向予測に設定し、動き情報に含まれる動きベクトルを変更して、２種類の動き情報をリスト０予測動き情報候補及びリスト１予測動き情報候補として出力する
対応（２）〜（５）は、２種類の動き情報のうちの一方の動き情報のみに適用してもよいし、両方の動き情報に適用してもよい。また、典型的には、対応（４）は、元の動き情報を取得した参照フレームではなく、復号化対象フレームから最も近い参照フレームを適用する。典型的には、対応（５）は、動きベクトルをある固定値だけシフトさせた動きベクトルを適用する。
【０１８０】
次に、予測動き情報設定部３１０２の処理のさらにまた他の実施形態について、図３５に示すフローチャートを用いて説明する。図３５のステップＳ３５０１〜Ｓ３５０３、Ｓ３５０６は、それぞれ図３４に示すステップＳ３４０１〜Ｓ３４０３、Ｓ３４０４と同様の処理であるので、これらのステップについての説明は省略する。図３４の処理手順と異なる点は、Ｓ３５０３に示される第１対応の後に、第２条件の判定（ステップＳ３５０４）及び第２対応（ステップＳ３５０５）が追加されていることである。一例として、第１条件及び第２条件に上記条件（Ｂ）を用い、第１対応に上記対応（２）、第２対応に上記対応（１）をそれぞれ用いる場合について説明する。
【０１８１】
対応（２）は、空間的に異なるブロック位置から動き情報が取得される。このため、空間的に動き情報が変化しない場合には、第１対応前後で動き情報は同一となる。このように第１対応前後で動き情報が同一となる場合には、第２対応を適用することで予測方向を単方向予測に設定する（ステップＳ３５０５）ことにより、動き補償の処理量を削減する。従って、本実施形態は、双方向予測の予測効率を向上させるとともに、空間的に動き情報が変化しない場合には動き補償の処理量を削減することができる。
【０１８２】
本実施形態では、Ｈ．２６４に示される重み付き予測（Ｗｅｉｇｈｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎ）が適用されてもよい。図２３Ａに示されるように、参照フレーム番号が０及び１の参照フレームはともに位置ｔ−１の参照フレームであるが、重み付き予測の有無（ｏｎ／ｏｆｆ）が異なる場合、参照フレーム番号０及び１の参照フレームは同一の参照フレームとして扱わない。即ち、参照フレーム番号０及び１の参照フレームは、重み付き予測の有無が異なっていれば、同じ位置の参照フレームであっても異なる参照フレームと見なす。従って、第１条件に条件（Ａ）が含まれていて、復号化済み領域から取得した２種類の動き情報がそれぞれ参照フレーム番号０及び１に対応する参照フレームを参照する場合は、２種類の動き情報ともに位置ｔ−１の参照フレームを参照するが重み付き予測の有無が異なるため、予測動き情報設定部３１０２は、第１条件が満たされていないと判定する。
【０１８３】
また、図２３Ｂ示されるように、参照フレーム番号０の参照フレームに対して輝度信号の重み係数ａ０及びオフセットｂ０が保持され、参照フレーム番号１の参照フレームに対して輝度信号の重み係数ａ１及びオフセットｂ１が保持されている場合、参照フレーム番号０、１及び２は同一の参照フレームとして扱わない。
【０１８４】
図２８の動画像復号化装置２８００は、図２６を参照して説明したシンタクスと同一又は類似のシンタクスを利用することができるので、その詳細な説明を省略する。
【０１８５】
以上のように、本実施形態に係る動画像復号化装置は、インター予測を行うために、復号化済みの画素ブロックの動き情報を利用して、復号化対象プレディクションユニットの動き情報を設定し、リスト０予測における動き情報が参照するブロックとリスト１予測における動き情報が参照するブロックが同一である場合には、予測方向を単方向予測に設定することにより、インター予測における動き補償処理及び平均処理を削減することができる。結果として、インター予測における処理量を削減することができ、復号化効率が向上される。
【０１８６】
以下に、各実施形態の変形例を列挙して紹介する。  
第１及び第２の実施形態において、入力画像信号を構成する各フレームを１６×１６画素サイズなどの矩形ブロックに分割し、図２に示されるように、画面左上のブロックから右下に向かって順に符号化／復号化を行う例について説明している。しかしながら、符号化順序及び復号化順序はこの例に限定されない。例えば、右下から左上に向かって順に符号化及び復号化が行われてもよいし、画面中央から画面端に向かって渦巻を描くように符号化及び復号化が行われてもよい。さらに、右上から左下に向かって順に符号化及び復号化が行われてもよいし、画面端から画面中央に向かって渦巻きを描くように符号化及び復号化が行われてもよい。
【０１８７】
また、第１及び第２の実施形態において、４×４画素ブロック、８×８画素ブロック、１６×１６画素ブロックなどの予測対象ブロックサイズを例示して説明を行ったが、予測対象ブロックは均一なブロック形状でなくてもよい。例えば、予測対象ブロック（プレディクションユニット）のサイズは、１６×８画素ブロック、８×１６画素ブロック、８×４画素ブロック、４×８画素ブロックなどであってもよい。また、１つのコーディングツリーユニット内で全てのブロックサイズを統一させる必要はなく、複数の異なるブロックサイズを混在させてもよい。１つのコーディングツリーユニット内で複数の異なるブロックサイズを混在させる場合、分割数の増加に伴って分割情報を符号化または復号化するための符号量も増加する。そこで、分割情報の符号量と局部復号画像または復号画像の品質との間のバランスを考慮して、ブロックサイズを選択することが望ましい。
【０１８８】
さらに、第１及び第２の実施形態において、簡単化のために、輝度信号と色差信号とを区別せず、色信号成分に関して包括的な説明を記述した。しかしながら、予測処理が輝度信号と色差信号との間で異なる場合には、同一または異なる予測方法が用いられてよい。輝度信号と色差信号との間で異なる予測方法が用いられる場合、色差信号に対して選択した予測方法を輝度信号と同様の方法で符号化又は復号化できる。
【０１８９】
第１及び第２までの実施形態において、シンタクス構成に示す表の行間には、実施形態で規定していないシンタクス要素が挿入されることも可能であるし、それ以外の条件分岐に関する記述が含まれていても構わない。或いは、シンタクステーブルを複数のテーブルに分割、統合することも可能である。また、必ずしも同一の用語を用いる必要は無く、利用する形態によって任意に変更しても構わない。
【０１９０】
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の動画像符号化装置及び動画像復号化装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の動画像符号化装置及び動画像復号化装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。  
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。  
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。  
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【０１９１】
なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。  
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
【０１９２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【図１】
2012172668.tif 000005
【図２】
2012172668.tif 000006
【図３Ａ】
2012172668.tif 000007
【図３Ｂ】
2012172668.tif 000008
【図３Ｃ】
2012172668.tif 000009
【図４Ａ】
2012172668.tif 000010
【図４Ｂ】
2012172668.tif 000011
【図４Ｃ】
2012172668.tif 000012
【図４Ｄ】
2012172668.tif 000013
【図５】
2012172668.tif 000014
【図６】
2012172668.tif 000015
【図７Ａ】
2012172668.tif 000016
【図７Ｂ】
2012172668.tif 000017
【図８Ａ】
2012172668.tif 000018
【図８Ｂ】
2012172668.tif 000019
【図８Ｃ】
2012172668.tif 000020
【図８Ｄ】
2012172668.tif 000021
【図８Ｅ】
2012172668.tif 000022
【図８Ｆ】
2012172668.tif 000023
【図８Ｇ】
2012172668.tif 000024
【図９】
2012172668.tif 000025
【図１０】
2012172668.tif 000026
【図１１Ａ】
2012172668.tif 000027
【図１１Ｂ】
2012172668.tif 000028
【図１２】
2012172668.tif 000029
【図１３Ａ】
2012172668.tif 000030
【図１３Ｂ】
2012172668.tif 000031
【図１３Ｃ】
2012172668.tif 000032
【図１４Ａ】
2012172668.tif 000033
【図１４Ｂ】
2012172668.tif 000034
【図１４Ｃ】
2012172668.tif 000035
【図１４Ｄ】
2012172668.tif 000036
【図１４Ｅ】
2012172668.tif 000037
【図１４Ｆ】
2012172668.tif 000038
【図１５Ａ】
2012172668.tif 000039
【図１５Ｂ】
2012172668.tif 000040
【図１５Ｃ】
2012172668.tif 000041
【図１５Ｄ】
2012172668.tif 000042
【図１５Ｅ】
2012172668.tif 000043
【図１５Ｆ】
2012172668.tif 000044
【図１６Ａ】
2012172668.tif 000045
【図１６Ｂ】
2012172668.tif 000046
【図１６Ｃ】
2012172668.tif 000047
【図１６Ｄ】
2012172668.tif 000048
【図１６Ｅ】
2012172668.tif 000049
【図１６Ｆ】
2012172668.tif 000050
【図１７Ａ】
2012172668.tif 000051
【図１７Ｂ】
2012172668.tif 000052
【図１７Ｃ】
2012172668.tif 000053
【図１７Ｄ】
2012172668.tif 000054
【図１７Ｅ】
2012172668.tif 000055
【図１７Ｆ】
2012172668.tif 000056
【図１８】
2012172668.tif 000057
【図１９】
2012172668.tif 000058
【図２０】
2012172668.tif 000059
【図２１Ａ】
2012172668.tif 000060
【図２１Ｂ】
2012172668.tif 000061
【図２１Ｃ】
2012172668.tif 000062
【図２２】
2012172668.tif 000063
【図２３】
2012172668.tif 000064
【図２４Ａ】
2012172668.tif 000065
【図２４Ｂ】
2012172668.tif 000066
【図２５】
2012172668.tif 000067
【図２６】
2012172668.tif 000068
【図２７】
2012172668.tif 000069
【図２８】
2012172668.tif 000070
【図２９】
2012172668.tif 000071
【図３０】
2012172668.tif 000072
【図３１】
2012172668.tif 000073
【図３２】
2012172668.tif 000074
【図３３】
2012172668.tif 000075
【図３４】
2012172668.tif 000076
【図３５】
2012172668.tif 000077
【国際調査報告】
2012172668.tif 000078
2012172668.tif 000079
2012172668.tif 000080
2012172668.tif 000081