(57)【特許請求の範囲】
【請求項１】
処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて復号処理を行う動画像復号装置であって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、及び該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報を記憶する予測情報記憶部と、
前記周辺ブロックの予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成する第１の予測情報候補生成部と、
前記予測情報候補の数が所定数に満たない場合、前記予測情報候補のうちの２つの予測情報の参照ピクチャ識別子が同一のピクチャを示すとき、前記２つの予測情報に含まれる２つの動きベクトルを平均した動きベクトルを含む予測情報を、前記予測情報候補に追加する第２の予測情報候補生成部と
を備え、
前記第２の予測情報候補生成部は、
前記予測情報候補のうち、２つの予測情報を取得する予測情報取得部と、
前記２つの予測情報の参照ピクチャ識別子が、同一のピクチャを示すか否かを判定する第１の処理判定部と、
前記第１の処理判定部により同一のピクチャを示すと判定された場合、前記２つの予測情報に含まれる２つの動きベクトルを平均し、平均した動きベクトルを含む予測情報を生成する平均予測情報生成部と、
前記平均予測情報生成部に生成された予測情報を、前記予測情報候補に追加する追加部と、
を備え、
前記予測情報は、参照するピクチャに対して第１リスト及び第２リストがある場合、各リストに対応する２つの動きベクトル及び参照ピクチャ識別子を含み、
前記第１の処理判定部は、
前記２つの予測情報の前記第１リスト又は前記第２リストの参照ピクチャ識別子が有効であり、かつ該参照ピクチャ識別子が同一のピクチャを示すときに予測情報の平均処理を行うと判定し、
前記平均予測情報生成部は、
前記第１リスト及び前記第２リストそれぞれに対し、前記２つの予測情報のピクチャ識別子が同一のピクチャを示すかを判定する第２の処理判定部と、
前記第２の処理判定部により所定リストで同一のピクチャを示すと判定された場合、前記所定リストの２つの動きベクトルを平均した平均ベクトルを含む予測情報を、前記所定リストの予測情報にする平均処理部と、
前記第２の処理判定部により所定リストで同一のピクチャではないと判定された場合、前記所定リストの２つの動きベクトル及び参照ピクチャ識別子のいずれか１つの動きベクトル及び参照ピクチャ識別子を選択して、前記所定リストの予測情報にする予測情報選択部と、
を備える動画像復号装置。
【請求項２】
前記予測情報選択部は、
前記参照ピクチャ識別子の大きさに基づいて、１つの動きベクトル及び参照ピクチャ識別子を選択する請求項１記載の動画像復号装置。
【請求項３】
前記予測情報選択部は、
前記参照ピクチャ識別子が示すピクチャの表示時間に基づいて、１つの動きベクトル及び参照ピクチャ識別子を選択する請求項１記載の動画像復号装置。
【請求項４】
入力画像が分割された処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて符号化処理を行う動画像符号化装置であって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、及び該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報を記憶する予測情報記憶部と、
前記周辺ブロックの予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成する第１の予測情報候補生成部と、
前記予測情報候補が所定数に満たない場合、前記予測情報候補のうちの２つの予測情報の参照ピクチャ識別子が同一のピクチャを示すとき、前記２つの予測情報に含まれる２つの動きベクトルを平均した動きベクトルを含む予測情報を、前記予測情報候補に追加する第２の予測情報候補生成部と
を備え、
前記第２の予測情報候補生成部は、
前記予測情報候補のうち、２つの予測情報を取得する予測情報取得部と、
前記２つの予測情報の参照ピクチャ識別子が、同一のピクチャを示すか否かを判定する第１の処理判定部と、
前記第１の処理判定部により同一のピクチャを示すと判定された場合、前記２つの予測情報に含まれる２つの動きベクトルを平均し、平均した動きベクトルを含む予測情報を生成する平均予測情報生成部と、
前記平均予測情報生成部に生成された予測情報を、前記予測情報候補に追加する追加部と、
を備え、
前記予測情報は、参照するピクチャに対して第１リスト及び第２リストがある場合、各リストに対応する２つの動きベクトル及び参照ピクチャ識別子を含み、
前記第１の処理判定部は、
前記２つの予測情報の前記第１リスト又は前記第２リストの参照ピクチャ識別子が有効であり、かつ該参照ピクチャ識別子が同一のピクチャを示すときに予測情報の平均処理を行うと判定し、
前記平均予測情報生成部は、
前記第１リスト及び前記第２リストそれぞれに対し、前記２つの予測情報のピクチャ識別子が同一のピクチャを示すかを判定する第２の処理判定部と、
前記第２の処理判定部により所定リストで同一のピクチャを示すと判定された場合、前記所定リストの２つの動きベクトルを平均した平均ベクトルを含む予測情報を、前記所定リストの予測情報にする平均処理部と、
前記第２の処理判定部により所定リストで同一のピクチャではないと判定された場合、前記所定リストの２つの動きベクトル及び参照ピクチャ識別子のいずれか１つの動きベクトル及び参照ピクチャ識別子を選択して、前記所定リストの予測情報にする予測情報選択部と、
を備える動画像符号化装置。
【請求項５】
処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて復号処理を行う動画像復号装置が実行する動画像復号方法であって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、及び該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記周辺ブロックの予測情報を記憶する予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成し、
前記予測情報候補が所定数に満たない場合、前記予測情報候補のうち、２つの予測情報を取得し、
前記２つの予測情報の参照ピクチャ識別子が、同一のピクチャを示すか否かを判定し、
同一のピクチャを示すと判定された場合、前記２つの予測情報に含まれる２つの動きベクトルを平均し、平均した動きベクトルを含む予測情報を生成し、
生成された予測情報を、前記予測情報候補に追加し、
前記予測情報は、参照するピクチャに対して第１リスト及び第２リストがある場合、各リストに対応する２つの動きベクトル及び参照ピクチャ識別子を含み、
前記同一のピクチャを示すか否かの判定は、
前記２つの予測情報の前記第１リスト又は前記第２リストの参照ピクチャ識別子が有効であり、かつ該参照ピクチャ識別子が同一のピクチャを示すときに予測情報の平均処理を行うと判定し、
前記平均した動きベクトルを含む予測情報の生成は、
前記第１リスト及び前記第２リストそれぞれに対し、前記２つの予測情報のピクチャ識別子が同一のピクチャを示すかを判定し、
所定リストで同一のピクチャを示すと判定された場合、前記所定リストの２つの動きベクトルを平均した平均ベクトルを含む予測情報を、前記所定リストの予測情報にし、
前記所定リストで同一のピクチャではないと判定された場合、前記所定リストの２つの動きベクトル及び参照ピクチャ識別子のいずれか１つの動きベクトル及び参照ピクチャ識別子を選択して、前記所定リストの予測情報にする処理を有する動画像復号方法。
【請求項６】
入力画像が分割された処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて符号化処理を行う動画像符号化装置が実行する動画像符号化方法であって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、及び該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記周辺ブロックの予測情報を記憶する予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成し、
前記予測情報候補が所定数に満たない場合、前記予測情報候補のうち、２つの予測情報を取得し、
前記２つの予測情報の参照ピクチャ識別子が、同一のピクチャを示すか否かを判定し、
同一のピクチャを示すと判定された場合、前記２つの予測情報に含まれる２つの動きベクトルを平均し、平均した動きベクトルを含む予測情報を生成し、
生成された予測情報を、前記予測情報候補に追加し、
前記予測情報は、参照するピクチャに対して第１リスト及び第２リストがある場合、各リストに対応する２つの動きベクトル及び参照ピクチャ識別子を含み、
前記同一のピクチャを示すか否かの判定は、
前記２つの予測情報の前記第１リスト又は前記第２リストの参照ピクチャ識別子が有効であり、かつ該参照ピクチャ識別子が同一のピクチャを示すときに予測情報の平均処理を行うと判定し、
前記平均した動きベクトルを含む予測情報の生成は、
前記第１リスト及び前記第２リストそれぞれに対し、前記２つの予測情報のピクチャ識別子が同一のピクチャを示すかを判定し、
所定リストで同一のピクチャを示すと判定された場合、前記所定リストの２つの動きベクトルを平均した平均ベクトルを含む予測情報を、前記所定リストの予測情報にし、
前記所定リストで同一のピクチャではないと判定された場合、前記所定リストの２つの動きベクトル及び参照ピクチャ識別子のいずれか１つの動きベクトル及び参照ピクチャ識別子を選択して、前記所定リストの予測情報にする処理を有する動画像符号化方法。
【請求項７】
処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて復号処理を行う動画像復号装置に実行させるための動画像復号プログラムであって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記周辺ブロックの予測情報を記憶する予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成し、
前記予測情報候補が所定数に満たない場合、前記２つの予測情報の参照ピクチャ識別子が、同一のピクチャを示すか否かを判定し、
同一のピクチャを示すと判定された場合、前記２つの予測情報に含まれる２つの動きベクトルを平均し、平均した動きベクトルを含む予測情報を生成し、
生成された予測情報を、前記予測情報候補に追加し、
前記予測情報は、参照するピクチャに対して第１リスト及び第２リストがある場合、各リストに対応する２つの動きベクトル及び参照ピクチャ識別子を含み、
前記同一のピクチャを示すか否かの判定は、
前記２つの予測情報の前記第１リスト又は前記第２リストの参照ピクチャ識別子が有効であり、かつ該参照ピクチャ識別子が同一のピクチャを示すときに予測情報の平均処理を行うと判定し、
前記平均した動きベクトルを含む予測情報の生成は、
前記第１リスト及び前記第２リストそれぞれに対し、前記２つの予測情報のピクチャ識別子が同一のピクチャを示すかを判定し、
所定リストで同一のピクチャを示すと判定された場合、前記所定リストの２つの動きベクトルを平均した平均ベクトルを含む予測情報を、前記所定リストの予測情報にし、
前記所定リストで同一のピクチャではないと判定された場合、前記所定リストの２つの動きベクトル及び参照ピクチャ識別子のいずれか１つの動きベクトル及び参照ピクチャ識別子を選択して、前記所定リストの予測情報にする処理を有する動画像復号プログラム。
【請求項８】
入力画像が分割された処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて符号化処理を行う動画像符号化装置に実行させるための動画像符号化プログラムであって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報と同一の予測情報を使用して前記処理ブロックが動き補償を行う場合、前記周辺ブロックの予測情報を記憶する予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成し、
前記予測情報候補が所定数に満たない場合、前記予測情報候補のうち、２つの予測情報を取得し、
前記２つの予測情報の参照ピクチャ識別子が、同一のピクチャを示すか否かを判定し、
同一のピクチャを示すと判定された場合、前記２つの予測情報に含まれる２つの動きベクトルを平均し、平均した動きベクトルを含む予測情報を生成し、
生成された予測情報を、前記予測情報候補に追加し、
前記予測情報は、参照するピクチャに対して第１リスト及び第２リストがある場合、各リストに対応する２つの動きベクトル及び参照ピクチャ識別子を含み、
前記同一のピクチャを示すか否かの判定は、
前記２つの予測情報の前記第１リスト又は前記第２リストの参照ピクチャ識別子が有効であり、かつ該参照ピクチャ識別子が同一のピクチャを示すときに予測情報の平均処理を行うと判定し、
前記平均した動きベクトルを含む予測情報の生成は、
前記第１リスト及び前記第２リストそれぞれに対し、前記２つの予測情報のピクチャ識別子が同一のピクチャを示すかを判定し、
所定リストで同一のピクチャを示すと判定された場合、前記所定リストの２つの動きベクトルを平均した平均ベクトルを含む予測情報を、前記所定リストの予測情報にし、
前記所定リストで同一のピクチャではないと判定された場合、前記所定リストの２つの動きベクトル及び参照ピクチャ識別子のいずれか１つの動きベクトル及び参照ピクチャ識別子を選択して、前記所定リストの予測情報に
する処理を有する動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各ピクチャを複数のブロックに分割してブロックごとに動き補償する動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラムに関する。
【背景技術】
【０００２】
近年の動画像符号化では、画像をブロックに分割し、ブロックに含まれる画素を予測して予測差分を符号化することで高い圧縮率を達成している。符号化対象のピクチャ内の画素から予測画素を構成する予測モードをイントラ予測といい、動き補償と呼ばれる過去に符号化した参照画像から予測画素を構成する予測モードをインター予測という。
【０００３】
動画像符号化装置において、インター予測では、予測画素として参照する領域を動きベクトルという水平成分・垂直成分の２次元座標データで表現し、動きベクトルと画素の予測差分データを符号化する。動きベクトルは、その符号量を抑えるため、符号化対象ブロックに隣接するブロックの動きベクトルから予測ベクトルを生成し、動きベクトルと予測ベクトルとの差分ベクトルを符号化する。小さい差分ベクトルほど符号量を小さく割り当てることで、動きベクトルの符号量を削減することができ、符号効率を向上させることができる。
【０００４】
また、一般に、あるブロックの動きは、その周囲のブロックの動きと全く同一であることが多い。そのため、周辺のブロックの動きベクトルを予測ベクトルとし、差分ベクトルを０とみなしてそのまま継承し、どの周辺ブロックの動きベクトルを継承するかを示すインデックス情報を符号化することで、動きベクトルの符号量を減少させることもできる。
【０００５】
動画像復号装置は、各ブロックで動画像符号化装置と同一の予測ベクトルを決定し、符号化された差分ベクトルと予測ベクトルを加算することによって動きベクトルを復元する。そのため、動画像符号化装置と動画像復号装置とは、同一の動きベクトル予測部を備える。
【０００６】
動画像復号装置において、各ブロックは、一般には画像の左上から右下に向かってラスタースキャンやｚスキャンの順序で復号される。そのため、動画像符号化装置及び動画像復号装置における動きベクトル予測部が、予測に利用できる周辺ブロックの動きベクトルは、動画像復号装置にて処理ブロックを復号するときに既に復号済みとなる左や上に隣接するブロックの動きベクトルとなる。
【０００７】
さらに、ＭＰＥＧ（Moving Picture Experts Group）−４ ＡＶＣ／Ｈ．２６４（以下、Ｈ．２６４ともいう）では、処理対象ピクチャではなく、過去に符号化、復号処理した参照ピクチャの動きベクトルを用いて予測ベクトルを決定することもある。
【０００８】
予測ベクトル決定方法の従来技術として、国際標準化団体ＩＳＯ／ＩＥＣとＩＴＵ−Ｔが共同に標準化を検討している動画像符号化方式ＨＥＶＣ（High Efficiency Video Coding）の技術が開示されている。また、参照ソフトウェアとしてはＨＭ Ｓｏｆｔｗａｒｅ（Version 4.0）が開示されている。
【０００９】
以下に、ＨＥＶＣに関する概要説明を行う。ＨＥＶＣでは、参照可能なピクチャのリスト（以下、参照ピクチャリストとも呼ぶ）として、Ｌ０と、Ｌ１という２つのリストを持つ。各ブロックは、Ｌ０とＬ１それぞれに対応する動きベクトルによって、最大２つの参照ピクチャの領域をインター予測に使用することができる。
【００１０】
Ｌ０とＬ１とは一般には、表示時間の方向に対応し、Ｌ０は処理対象ピクチャに対して過去のピクチャの参照リストであり、Ｌ１は未来のピクチャの参照リストである。参照ピクチャリストの各エントリは、画素データの記憶位置、及びそのピクチャの表示時間情報ＰＯＣ（Picture Order Count）値を含む情報を有する。
【００１１】
ＰＯＣとは、各ピクチャの表示順序と相対的な表示時間を表す整数値である。ＰＯＣ値が０となるピクチャの表示時間を０としたときに、あるピクチャの表示時間は、そのピクチャのＰＯＣ値の定数倍で表すことができる。
【００１２】
例えば、フレームの表示周期（Ｈｚ）をｆｒ、ＰＯＣ値がｐであるピクチャの表示時間は、式（１）で表すことができる。これにより、ＰＯＣはある定数（秒）を単位とした表示時間と見なすことができる。
表示時間＝p×（ｆｒ／２）  ・・・式（１）
１つの参照ピクチャリストのエントリ数が２以上であった場合、各動きベクトルは、参照ピクチャリスト内のインデックス番号（以下、参照インデックスとも呼ぶ）によって、どの参照ピクチャを参照するかを指定する。特に参照ピクチャリストのエントリ数が１ピクチャしか含まない場合、そのリストに対応する動きベクトルの参照インデックスは自動的に０番となるため、明示的に参照インデックスを指定する必要はない。
【００１３】
すなわち、ブロックの動きベクトルは、Ｌ０／Ｌ１リスト識別子と、参照インデックスと、ベクトルデータ（Ｖｘ，Ｖｙ）とを含む。Ｌ０／Ｌ１リスト識別子と、参照インデックスとにより参照ピクチャが指定される。参照ピクチャ内の領域は、（Ｖｘ，Ｖｙ）で指定される。ＶｘとＶｙとは、それぞれ水平方向と垂直方向における参照領域の座標と処理ブロック（現ブロックともいう）の座標の差であり、例えば１／４画素単位で表現される。Ｌ０／Ｌ１リスト識別子と、参照インデックスとを参照ピクチャ識別子と呼び、（Ｖｘ，Ｖｙ）をベクトルデータと呼び、（０，０）のベクトルを０ベクトルと呼ぶ。
【００１４】
ここで、ＨＥＶＣにおけるマージモードについて説明する。まず、ＨＥＶＣにおけるマージモードの決定方法について説明する。ＨＥＶＣにおいては、予測ベクトルの決定方法は２つのモードが存在し、それぞれマージモード、ＭＶＰモードと呼ばれる。以下では、特にマージモードについて説明する。
【００１５】
マージモードでは、処理ブロックに対して空間方向、または時間方向に近接するブロックが有する、Ｌ０、Ｌ１それぞれの有効・無効を表す予測フラグ、Ｌ０、Ｌ１それぞれの参照インデックス、Ｌ０、Ｌ１それぞれの動きベクトルを含む予測情報のセットをそのまま使用する。
【００１６】
ここで、Ｌ０の予測フラグが有効であり、かつＬ１の予測フラグが無効であれば、Ｌ０の片予測を意味し、Ｌ０の予測フラグが無効であり、かつＬ１の予測フラグが有効であれば、Ｌ１の片予測を意味し、Ｌ０とＬ１の予測フラグがともに有効であれば、両予測を意味する。
【００１７】
また、Ｌ０とＬ１との予測フラグがともに無効であれば、イントラ予測ブロックであることを意味する。あるいは、予測フラグを用いず、参照ピクチャ識別子が、参照ピクチャリストの範囲外のインデックスであれば、無効を表現し、範囲内のインデックスであれば、有効を表現するようにしてもよい。
【００１８】
予測情報の候補リスト（以下、予測情報候補リストとも呼ぶ）を生成し、どの予測情報を使用するかについては、候補リスト内のインデックスで指定する。これにより、処理ブロックが周辺ブロックと同一の予測情報を使用して動き補償を行うことができる。よって、動きベクトルなどを符号化せずに、リスト内のインデックスを符号化するだけで、処理ブロックにおいて用いる予測情報を復号装置に通知することができるため、符号量を削減できる。マージモードが有効か否かはマージフラグというフラグで示し、予測情報候補リスト内のインデックスは、マージインデックスというインデックス情報で示す。
【００１９】
図１は、処理ブロックと周辺ブロックの位置関係の一例を示す図である。周辺ブロックは、処理ブロックに時間方向、又は空間方向で隣接するブロックをいう。図１に示す例では、ブロックＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２は、処理ブロックと同一のピクチャに含まれるブロックで、空間方向に隣接している。ブロックＣｏｌは、処理ピクチャの過去に処理したピクチャに含まれるブロックであり、空間方向に隣接しているブロックである。
【００２０】
ＨＭ４では、この６個の周辺ブロックから、予測情報候補リストとして、候補数５個までを列挙する。周辺ブロックのうち、イントラ予測ブロックであった場合、そのブロックは、予測情報候補リストには含めない。さらに、参照ピクチャ識別子や動きベクトル情報などが全て一致した予測情報が複数存在した場合、冗長であるため、重複した予測情報は削除される。
【００２１】
冗長候補の削減が行われることで、候補数が変わると符号の割り当て方法が変わってしまう。図２は、候補数による符号割当の一例を示す図である。図２に示すように、候補数が「５」から「３」へ削減されることで、割り当てられる符号やビット数が異なる。
【００２２】
このとき、データが壊れるなどして、所定のピクチャでエラーが起きてベクトル値が正しく復号できない場合を考える。この場合、所定のピクチャをＣｏｌピクチャとして、そのピクチャのブロックを時間方向に隣接するブロックとして参照するピクチャでも、時間方向の隣接ベクトル値が正しく復号されない。
【００２３】
よって、符号化器と復号器で冗長な候補を削減することでミスマッチが発生し、候補数が符号化器と復号器との間で不一致となる。そのため、エラーが起きたピクチャをＣｏｌピクチャとするピクチャでも、候補数が不一致となることで、正しくインデックスを復号できなかったブロックから、データを正しく復号できずに、エラーが伝搬してしまう。よって、候補数は固定として符号の割当を変えないか、または、そのピクチャの符号化情報のみで、導出できることが望ましい。
【００２４】
ただし、候補数を固定として、予測情報候補リストの有効な候補数が所定の候補数に満たない場合に、所定の候補数を最大値として符号の割り当てを行うと、無効で使われないインデックスに符号を割り当ててしまい、冗長性が発生し、符号化効率が低下する。
【００２５】
ＨＥＶＣでは、候補数を固定しても冗長性が極力発生しないようにするため、予測情報候補リストが候補数に満たない場合には、以下の３つの処理で、すでに列挙した予測情報から候補を生成し、予測情報候補リストに追加する。
【００２６】
＜Ｃｏｍｂｉｎｅｄ Ｂｉｒｅｐｒｅｄｉｃｔｉｖｅ Ｍｅｒｇｅ＞
（１）列挙済みの２つの予測情報候補から、両予測となる予測情報候補を生成する。図３は、Ｃｏｍｂｉｎｅｄ Ｂｉｒｅｐｒｅｄｉｃｔｉｖｅ Ｍｅｒｇｅを説明するための図である。
【００２７】
図３に示す例では、まず、生成元となる２つの予測情報候補が、列挙済み予測情報候補リストから選択される。２つの予測情報候補をそれぞれＡとＢとする。ＡのＬ０予測フラグが有効かつＢのＬ１予測フラグが有効の場合、生成する予測情報候補を次のようにする。
生成する予測情報候補のＬ０の参照インデックス＝Ａの有するＬ０の参照インデックス
生成する予測情報候補のＬ０の動きベクトルｍｖＬ０Ｃａｎｄ＝Ａの有する動きベクトルｍｖＬ０［Ａ］
生成する予測情報候補のＬ１の参照インデックス＝Ｂの有するＬ１の参照インデックス
生成する予測情報候補のＬ１の動きベクトルｍｖＬ１Ｃａｎｄ＝Ｂの有するＬ１の動きベクトルｍｖＬ１［Ｂ］
生成された予測情報候補が、予測情報候補リストに含まれていない場合は、候補リストに追加される。
【００２８】
予測情報候補を１つ生成しても所定の候補数に満たない場合、同様にして、参照リストを入れ替えてＡのＬ１や、ＢのＬ０から新しい予測情報候補が生成される。それでも、所定の候補数に満たない場合は、予測情報候補リストの中から選択する２つの予測情報候補の組み合わせを変更して、同様の処理を繰り返して、所定の候補数になるまで予測情報候補が生成される。
【００２９】
＜Ｎｏｎ Ｓｃａｌｅｄ Ｐｒｅｄｉｃｔｉｖｅ Ｍｅｒｇｅ＞
（２）列挙済みの１つの予測情報候補から、両予測となる予測情報候補を生成する。図４は、ＮｏｎＳｃａｌｅｄＢｉｒｅｐｒｅｄｉｃｔｉｖｅ Ｍｅｒｇｅを説明するための図である。
【００３０】
図４に示す例では、まず、生成元となる１つの予測情報候補を列挙済み予測情報候補リストから選択する。それをＡとする。リストＸ（Ｘ＝０、１）に関してＡのＬＸの予測フラグが有効の場合、次の処理を行う。
【００３１】
ＬＹをＬＸとは異なる方の参照リスト（すなわちＹ＝１−Ｘ）とする。処理ブロックを含む処理ピクチャとＡのＬＸの参照インデックスが示すＬＸの参照ピクチャの表示時間との差Ｔと、処理ピクチャとＡのＬＸの参照インデックスが示すＬＹの参照ピクチャの表示時間との差Ｔ'が等しい場合、生成する予測情報候補を次のようにする。
生成する予測情報候補のＬＸの参照インデックス＝ＡのＬＸの参照インデックス
生成する予測情報候補のＬＸの動きベクトルｍｖＬＸＣａｎｄ＝ＡのＬＸの動きベクトルｍｖＬＸ［Ａ］
生成する予測情報候補のＬＹの参照インデックス＝ＡのＬＸの参照インデックス
生成する予測情報候補のＬＹの動きベクトルｍｖＬＹＣａｎｄ＝ＡのＬＸの−１×動きベクトル（−ｍｖＬＸ［Ａ］）
生成された予測情報候補が、予測情報候補リストに含まれていない場合は、候補リストに追加される。
【００３２】
予測情報候補を１つ生成しても所定の候補数に満たない場合、生成元となる予測情報候補を変更して、同様の処理を繰り返して、所定の候補数になるまで予測情報候補が生成される。
【００３３】
＜ゼロベクトル追加処理＞
上記の２つの処理で予測情報候補リストが所定の候補数まで埋まらなかった場合、Ｌ０とＬ１の参照インデックスを１つずつ大きくしながら、ゼロベクトルを追加する。
【先行技術文献】
【非特許文献】
【００３４】
【非特許文献１】ISO/IEC 14496-10 (MPEG-4 Part 10) ／ ITU-T Rec.H.264
【非特許文献２】Thomas Wiegand、Woo-Jin Han、Benjamin Bross、Jens-Rainer Ohm、Gary J. Sullivan、"WD4: Working Draft 4 of High-Efficiency Video Coding" JCTVC-F803, JCT-VC 6th Meeting, 2011年7月
【発明の概要】
【発明が解決しようとする課題】
【００３５】
ＨＥＶＣの従来技術では、マージ候補が所定の候補数に満たない場合に、候補リストを充填するために、新しく予測情報候補を生成する処理において、（３）ゼロベクトル追加処理を除く２つの処理は、両予測ベクトルしか生成しない。そのため、Ｌ０のベクトルのみに限定されるＰピクチャの場合には、０ベクトル以外の候補を追加することができないという問題点があった。
【００３６】
そこで、開示の技術は、マージモードの予測情報候補数を固定する場合に、符号化効率をさらに向上させることを目的とする。
【課題を解決するための手段】
【００３７】
開示の一態様における動画像復号装置は、処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて復号処理を行う動画像復号装置であって、前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報を記憶する予測情報記憶部と、前記周辺ブロックの予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成する第１の予測情報候補生成部と、前記予測情報候補の数が所定数に満たない場合、前記予測情報候補のうちの２つの予測情報の参照ピクチャ識別子が同一のピクチャを示すとき、前記２つの予測情報に含まれる２つの動きベクトルを平均した動きベクトルを含む予測情報を、前記予測情報候補に追加する第２の予測情報候補生成部とを備え、前記第２の予測情報候補生成部は、前記予測情報候補のうち、２つの予測情報を取得する予測情報取得部と、前記２つの予測情報の参照ピクチャ識別子が、同一のピクチャを示すか否かを判定する第１の処理判定部と、前記第１の処理判定部により同一のピクチャを示すと判定された場合、前記２つの予測情報に含まれる２つの動きベクトルを平均し、平均した動きベクトルを含む予測情報を生成する平均予測情報生成部と、前記平均予測情報生成部に生成された予測情報を、前記予測情報候補に追加する追加部と、を備え、前記予測情報は、参照するピクチャに対して第１リスト及び第２リストがある場合、各リストに対応する２つの動きベクトル及び参照ピクチャ識別子を含み、前記第１の処理判定部は、前記２つの予測情報の前記第１リスト又は前記第２リストの参照ピクチャ識別子が有効であり、かつ該参照ピクチャ識別子が同一のピクチャを示すときに予測情報の平均処理を行うと判定し、前記平均予測情報生成部は、前記第１リスト及び前記第２リストそれぞれに対し、前記２つの予測情報のピクチャ識別子が同一のピクチャを示すかを判定する第２の処理判定部と、前記第２の処理判定部により所定リストで同一のピクチャを示すと判定された場合、前記所定リストの２つの動きベクトルを平均した平均ベクトルを含む予測情報を、前記所定リストの予測情報にする平均処理部と、前記第２の処理判定部により所定リストで同一のピクチャではないと判定された場合、前記所定リストの２つの動きベクトル及び参照ピクチャ識別子のいずれか１つの動きベクトル及び参照ピクチャ識別子を選択して、前記所定リストの予測情報にする予測情報選択部と、を備える。
【００３８】
また、他の態様における動画像符号化装置は、入力画像が分割された処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて符号化処理を行う動画像符号化装置であって、前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報を記憶する予測情報記憶部と、前記周辺ブロックの予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成する第１の予測情報候補生成部と、前記予測情報候補が所定数に満たない場合、前記予測情報候補のうちの２つの予測情報の参照ピクチャ識別子が同一のピクチャを示すとき、前記２つの予測情報に含まれる２つの動きベクトルを平均した動きベクトルを含む予測情報を、前記予測情報候補に追加する第２の予測情報候補生成部とを備え、前記第２の予測情報候補生成部は、前記予測情報候補のうち、２つの予測情報を取得する予測情報取得部と、前記２つの予測情報の参照ピクチャ識別子が、同一のピクチャを示すか否かを判定する第１の処理判定部と、前記第１の処理判定部により同一のピクチャを示すと判定された場合、前記２つの予測情報に含まれる２つの動きベクトルを平均し、平均した動きベクトルを含む予測情報を生成する平均予測情報生成部と、前記平均予測情報生成部に生成された予測情報を、前記予測情報候補に追加する追加部と、を備え、前記予測情報は、参照するピクチャに対して第１リスト及び第２リストがある場合、各リストに対応する２つの動きベクトル及び参照ピクチャ識別子を含み、前記第１の処理判定部は、前記２つの予測情報の前記第１リスト又は前記第２リストの参照ピクチャ識別子が有効であり、かつ該参照ピクチャ識別子が同一のピクチャを示すときに予測情報の平均処理を行うと判定し、前記平均予測情報生成部は、前記第１リスト及び前記第２リストそれぞれに対し、前記２つの予測情報のピクチャ識別子が同一のピクチャを示すかを判定する第２の処理判定部と、前記第２の処理判定部により所定リストで同一のピクチャを示すと判定された場合、前記所定リストの２つの動きベクトルを平均した平均ベクトルを含む予測情報を、前記所定リストの予測情報にする平均処理部と、前記第２の処理判定部により所定リストで同一のピクチャではないと判定された場合、前記所定リストの２つの動きベクトル及び参照ピクチャ識別子のいずれか１つの動きベクトル及び参照ピクチャ識別子を選択して、前記所定リストの予測情報にする予測情報選択部と、を備える。
【発明の効果】
【００３９】
開示の技術によれば、マージモードの予測情報候補数を固定する場合に、符号化効率をさらに向上させることができる。
【図面の簡単な説明】
【００４０】
【図１】処理ブロックと周辺ブロックの位置関係の一例を示す図。
【図２】候補数による符号割当の一例を示す図。
【図３】Ｃｏｍｂｉｎｅｄ Ｂｉｒｅｐｒｅｄｉｃｔｉｖｅ Ｍｅｒｇｅを説明するための図。
【図４】ＮｏｎＳｃａｌｅｄＢｉｒｅｐｒｅｄｉｃｔｉｖｅ Ｍｅｒｇｅを説明するための図。
【図５】実施例１における動画像復号装置の構成の一例を示すブロック図。
【図６】実施例１における候補リスト生成部（その１）の構成の一例を示すブロック図。
【図７】実施例１における候補リスト生成部（その２）の構成の一例を示すブロック図。
【図８】実施例１における平均候補生成部（その１）の構成の一例を示すブロック図。
【図９】平均ベクトル生成（その１）の一例を示す図。
【図１０】実施例１における平均候補生成部（その２）の構成の一例を示すブロック図。
【図１１】平均ベクトル生成（その２）の一例を示す図。
【図１２】実施例１における動画像復号装置の処理の一例を示すフローチャート。
【図１３】実施例１における候補リスト生成処理の一例を示すフローチャート。
【図１４】実施例１における片予測ピクチャでの平均ベクトルの候補生成処理の一例を示すフローチャート。
【図１５Ａ】実施例１における両予測ピクチャでの平均ベクトルの候補生成処理（その１）の一例を示すフローチャート。
【図１５Ｂ】実施例１における両予測ピクチャでの平均ベクトルの候補生成処理（その２）の一例を示すフローチャート。
【図１６】実施例２における動画像符号化装置の構成の一例を示すブロック図。
【図１７】実施例２における動画像符号化装置の処理の一例を示すフローチャート。
【図１８】実施例３における画像処理装置の構成の一例を示すブロック図。
【発明を実施するための形態】
【００４１】
以下、添付図面を参照しながら各実施例について詳細に説明する。
【００４２】
［実施例１］
＜構成＞
図５は、実施例１における動画像復号装置１００の構成の一例を示すブロック図である。図５に示す動画像復号装置１００は、エントロピー復号部１０１、参照ピクチャリスト記憶部１０２、予測情報記憶部１０３、予測ベクトル生成部１０４、候補リスト生成部１０５、動きベクトル復元部１０６、予測信号生成部１０７、逆量子化部１０８、逆直交変換部１０９、復号画素生成部１１０、復号画像記憶部１１１を有する。
【００４３】
エントロピー復号部１０１は、圧縮されたストリームに対してエントロピー復号を行い、マージフラグに応じてマージインデックス、又は処理ブロックのＬ０とＬ１の予測フラグ、参照インデックス、差分ベクトル、予測候補インデックス、及び直交変換係数などを復号する。
【００４４】
例えば、エントロピー復号部１０１は、復号したマージフラグが有効であれば、マージインデックスを復号する。また、エントロピー復号部１０１は、復号したマージフラグが無効であれば、Ｌ０とＬ１の予測フラグ情報を復号する。
【００４５】
ここで、Ｌ０の予測フラグが有効であれば、Ｌ０の参照インデックス、差分ベクトル情報及び予測候補インデックスが復号され、Ｌ１の予測フラグが有効であれば、Ｌ１の参照インデックス、差分ベクトル情報及び予測候補インデックスが復号される。
【００４６】
参照ピクチャリスト記憶部１０２は、処理ブロックが参照可能なピクチャのＰＯＣを含むピクチャ情報や画像データの記憶位置などを記憶する。
【００４７】
予測情報記憶部１０３は、処理ブロックの時間方向又は空間方向に隣接する周辺ブロックの動きベクトル、この動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報を記憶する。これらの予測情報に含まれる動きベクトルの情報は、動きベクトル復元部１０６により生成される。
【００４８】
予測ベクトル生成部１０４は、マージフラグが無効であれば、Ｌ０とＬ１との予測フラグ、参照インデックスなどを取得し、処理ブロックの動きベクトルに対する予測ベクトルの候補リストを生成する。予測ベクトル生成部１０４は、例えば非特許文献２に記載されているＨＥＶＣの技術を用いて、周辺ブロックの予測情報から予測ベクトルの候補を生成すればよい。
【００４９】
候補リスト生成部１０５は、マージフラグが有効であれば、予測ベクトルの候補リストを生成する。このリストは、予測情報候補リストとも呼ばれる。マージフラグが有効であるとは、処理ブロックが周辺ブロックの予測情報と同一の予測情報を使用して動き補償を行うことを示す。なお、候補リスト生成部１０５の処理については、後述する。
【００５０】
動きベクトル復元部１０６は、エントロピー復号部１０１から取得されたＬ０とＬ１との予測フラグが有効であれば、予測候補インデックスが示す予測ベクトル候補と差分ベクトルとを加算して動きベクトルを復元する。
【００５１】
また、動きベクトル復元部１０６は、候補リスト生成部１０５から取得した予測情報候補リストから、マージインデックスで指定される予測情報を取得し、Ｌ０、Ｌ１の参照インデックスや動きベクトルを復元する。
【００５２】
予測信号生成部１０７は、復元されたＬ０、Ｌ１の予測フラグ、参照インデックス、動きベクトルと復号画像記憶部１１１に記憶される復号画像とを用いて予測画素信号を生成する。
【００５３】
逆量子化部１０８は、エントロピー復号部１０１から取得した直交変換係数に対して逆量子化処理を行う。逆直交変換部１０９は、逆量子化された出力信号に対して逆直交変換処理を行い、予測誤差信号を生成する。予測誤差信号は復号画素生成部１１０に出力される。
【００５４】
復号画素生成部１１０は、予測画素信号と予測誤差信号とを加算して復号画素を生成する。
【００５５】
復号画像記憶部１１１は、復号画素生成部１１０により生成された復号画素を含む復号画像を記憶する。復号画像記憶部１１１に記憶された復号画像は、ディスプレイなどの表示部に出力される。
【００５６】
＜候補リスト生成部の構成＞
次に、候補リスト生成部１０５の構成について説明する。図６は、実施例１における候補リスト生成部（その１）の構成の一例を示すブロック図である。図６に示す候補リスト生成部１０５は、第１の予測情報候補生成部２０１及び第２の予測情報候補生成部２０２を有する。
【００５７】
まず、候補リスト生成部１０５は、周辺ブロックの予測情報に基づいて、処理ブロックの予測情報の候補となる予測情報候補リストを生成する。処理ブロックの予測情報は、予測情報候補リストの要素で、エントロピー復号部１０１で復号したマージインデックスで指定される予測情報となる。
【００５８】
予測情報とは、少なくともＬ０リスト及びＬ１リストそれぞれの予測フラグ、参照インデックス、動きベクトルを含むインター予測画素を生成するために必要なパラメータである。
【００５９】
第１の予測情報候補生成部２０１は、予測情報記憶部１０３から、処理ブロックに隣接した周辺ブロック（図１参照）が有する予測情報を例えば５個取得して、予測情報候補リストに列挙する。以下、予測情報候補に含まれる予測情報を予測情報候補とも呼ぶ。
【００６０】
周辺ブロックのうち、未処理のブロックや、画面外に位置しているブロック、イントラ予測が使われているブロックは予測情報候補リストに列挙されない。第１の予測情報候補生成部２０１は、列挙された予測情報候補リストのうち、重複した要素を削除する。
【００６１】
第２の予測情報候補生成部２０２は、第１の予測情報候補生成部２０１が生成した予測情報候補リストの候補数が所定数未満の場合には、追加の予測情報候補を生成する。所定数は例えば５である。
【００６２】
第２の予測情報候補生成部２０２は、追加の予測情報候補を生成する場合、平均ベクトル生成処理を行い、予測情報候補リストに含まれる２つ予測情報の平均ベクトルを生成する。第２の予測情報候補生成部２０２は、生成した平均ベクトルを含む予測情報を追加の予測情報候補として生成する。
【００６３】
なお、平均ベクトル生成処理で追加の予測情報候補を生成しても、候補数が所定数に満たない場合、別の候補生成処理を行っても良い。
【００６４】
図７は、実施例１における候補リスト生成部（その２）の構成の一例を示すブロック図である。図７に示す候補リスト生成部１０５は、平均候補生成部２２１及び第２の候補生成部３１１を含む第２の予測情報候補生成部３０１を有する。
【００６５】
第２の候補生成部３１１は、平均候補生成部２２１とは異なる別の候補生成処理を行う。第２の候補生成部３１１は、例えば、前述した並び替え両予測マージ候補処理（Ｃｏｍｂｉｎｅｄ Ｂｉｒｅｐｒｅｄｉｃｔｉｖｅ Ｍｅｒｇｅ）や非スケール両予測マージ処理（Ｎｏｎ Ｓｃａｌｅｄ Ｐｒｅｄｉｃｔｉｖｅ Ｍｅｒｇｅ）を行う。
【００６６】
なお、図７に示す例では、平均候補生成部２２１、第２の候補生成部３１１の順に処理しているが、先に第２の候補生成部３１１を行って、平均候補生成部２２１の処理を行うようにしてもよい。
【００６７】
図６、７に示すように、第２の予測情報候補生成部は少なくとも、平均ベクトルの生成処理を行う平均候補生成部を備えればよい。以下では、第２の予測情報候補生成部は、図７に示す例を用いて説明する。
【００６８】
＜＜平均候補生成部の構成＞＞
次に、平均候補生成部２２１について詳しく説明する。平均候補生成部２２１は、方予測ピクチャと両予測ピクチャとを処理する場合があるが、まずは片予測ピクチャを処理する場合を説明する。
【００６９】
（片予測ピクチャの処理）
図８は、実施例１における平均候補生成部（その１）の構成の一例を示すブロック図である。図８に示す平均候補生成部２２１は、予測情報取得部４０１、平均予測情報処理判定部４０２、平均予測情報生成部４０３及び候補追加部４０４を有する。
【００７０】
まず、平均候補生成部２２１の処理の概要について説明する。平均候補生成部２２１は、予め設定された所定数を確認し、予測情報候補の候補数が所定数未満であれば、後述する平均処理を繰り返す。平均候補生成部２２１は、繰り返し回数が所定の回数以上になるか、候補数が所定数になるまで、新しい候補を生成する。所定数は、例えば５とする。
【００７１】
次に、平均候補生成部２２１の各部の処理について説明する。予測情報取得部４０１は、生成元となる２つの予測情報候補を取得する。予測情報取得部４０１は、２つの予測情報候補を、すでに列挙した予測情報候補リストから取得してもよいし、予測情報記憶部１０３から取得してもよい。ここでは、２つの予測情報候補は、予測情報候補リストから取得することとする。なお、予測情報候補リストから取得した２つの予測情報候補をそれぞれＡとＢとする。
【００７２】
平均予測情報処理判定部４０２は、ＡとＢとのＬ０の予測フラグが有効かつＡとＢとのＬ０の参照ピクチャが等しいか否かを判定する。平均予測情報処理判定部４０２は、この条件を満たすとき、平均処理を行うと判定する。
【００７３】
ここで、参照ピクチャが等しいことを判定する方法として、平均予測情報処理判定部４０２は、参照インデックスが等しいことで判定してもよいし、参照ピクチャの表示時間が等しいことで判定してもよい。
【００７４】
平均処理を行うと判定された場合、平均予測情報生成部４０３は、２つの予測情報候補から、追加する予測情報候補を生成する。平均処理を行わないと判定した場合、予測情報取得部４０１は、次の２つの予測情報候補を取得する。以降の処理は、同様の処理が繰り返される。
【００７５】
平均予測情報生成部４０３は、例えば予測情報の平均処理を行う。平均処理は、予測情報Ｃａｎｄを出力するとする。図９は、平均ベクトル生成（その１）の一例を示す図である。平均ベクトルは、平均処理で生成される。
【００７６】
図９に示す例では、Ａの動きベクトルをｍｖＬ０［Ａ］とし、Ｂの動きベクトルをｍｖＬ０［Ｂ］とし、予測情報Ｃａｎｄの動きベクトルをｍｖＣａｎｄＬ０とすれば、以下の式（２）で、予測情報Ｃａｎｄの動きベクトルが求められる。
ｍｖＣａｎｄＬ０ ＝ （ｍｖＬ０［Ａ］＋ｍｖＬ０［Ｂ］）／２  ・・・式（２）
平均予測情報生成部４０３は、式（２）により、２つの予測情報に含まれる動きベクトルの平均を計算し、平均ベクトルを求めることができる。
【００７７】
図８に戻り、平均予測情報生成部４０３は、予測情報Ｃａｎｄの参照インデックスを求める。例えば、Ａの参照インデックスをＲｅｆＩｄｘＬ０［Ａ］とし、予測情報Ｃａｎｄの参照インデックスをＲｅｆＩｄｘＣａｎｄＬ０とすれば、次の式（３）により、予測情報Ｃａｎｄの参照インデックスは求められる。
ＲｅｆＩｄｘＣａｎｄＬ０ ＝ＲｅｆＩｄｘＬ０［Ａ］  ・・・式（３）
平均予測情報生成部４０３は、予測情報ＣａｎｄのＬ０の予測フラグＰｒｅｄＦｌａｇＣａｎｄＬ０を有効とする。
【００７８】
また、平均処理は、右シフト処理で実現してもよい。端数を０方向に丸めるために、以下の式（４）（５）が用いられる。
ｍｖＣａｎｄＬ０ ＝ （ｍｖＬ０［Ａ］＋ｍｖＬ０［Ｂ］ ）＞＞１（ｍｖＬ０［Ａ］＋ｍｖＬ１［Ｂ］≧０の場合）  ・・・式（４）
ｍｖＣａｎｄＬ０ ＝ （ｍｖＬ０［Ａ］＋ｍｖＬ０［Ｂ］ ＋１）＞＞１（それ以外）  ・・・式（５）
候補追加部４０４は、ＰｒｅｄＦｌａｇＬ０と、ＲｅｆＩｄｘＣａｎｄＬ０と、式（２）により求めたｍｖＣａｎｄＬ０とを有する予測情報Ｃａｎｄと同一の予測情報候補が予測情報候補リストに含まれているか否かを判定する。
【００７９】
予測情報Ｃａｎｄが、予測情報候補リストに含まれていなければ、候補追加部４０４は、予測情報Ｃａｎｄを予測情報候補リストに追加する。これにより、片予測ピクチャでも、予測効率を高めるような予測情報候補を予測情報候補リストに追加することができる。
【００８０】
（両予測ピクチャの処理）
図１０は、実施例１における平均候補生成部（その２）の構成の一例を示すブロック図である。図１０に示す平均候補生成部２２１は、予測情報取得部４０１、平均予測情報処理判定部５０１、平均予測情報生成部５０２及び候補追加部４０４を有する。図１０に示す構成で、図８に示す構成と同様のものは同じ符号を付し、その説明を省略する。
【００８１】
図１０に示す平均予測情報生成部５０２は、両予測ピクチャを処理するため、平均処理判定部５２１、平均処理部５２２及び予測情報選択部５２３を有する。
【００８２】
平均予測情報処理判定部５０１は、予測情報候補リストから取得された２つの予測情報ＡとＢとの双方のＬ０の予測フラグが有効であり、かつＡとＢのＬ０の参照ピクチャが等しいかを判定する。または、平均予測情報処理判定部５０１は、ＡとＢの双方のＬ１の予測フラグが有効であり、かつＡとＢのＬ１の参照ピクチャが等しいかを判定する。いずれかの条件を満たすとき、平均予測情報処理判定部５０１は、平均処理を行うと判定する。
【００８３】
つまり、平均予測情報処理判定部５０１は、Ｌ０、Ｌ１のどちらかでも平均処理が可能であれば、平均ベクトルの生成を行うと判定する。
【００８４】
平均処理を行うと判定された場合、平均予測情報生成部５０２は、平均処理を行う。平均処理を行わないと判定された場合、予測情報取得部４０１は、次の２つの予測情報候補を取得する。以降の処理は、同様の処理が繰り返される。
【００８５】
平均処理判定部５２１は、ＡとＢとのＬ０の参照インデックスが等しいかどうかで、Ｌ０の動きベクトルが平均処理可能かどうかを判定する。例えば、平均処理判定部５２１は、ＡとＢ双方のＬ０予測フラグが有効であり、かつ参照インデックスが等しければ、平均処理を行うと判定する。また、平均処理判定部５２１は、この条件を満たさなければ、予測情報選択処理を行うと判定する。
【００８６】
また、平均処理判定部５２１は、ＡとＢとのＬ１の参照インデックスが等しいかどうかで、Ｌ１の動きベクトルが平均処理可能かどうかを判定する。例えば、平均処理判定部５２１は、ＡとＢ双方のＬ１予測フラグが有効であり、かつ参照インデックスが等しければ、平均処理を行うと判定する。また、平均処理判定部５２１は、この条件を満たさなければ、予測情報選択処理を行うと判定する。
【００８７】
平均処理部５２２は、平均処理判定部５２１で平均処理可能と判定された所定リストで、平均処理を行う。平均処理は、平均予測情報生成部４０３で説明した処理と、Ｌ０を所定リストＬＸ（Ｘ＝０ｏｒ１）にすれば同様であるため、説明を省略する。
【００８８】
予測情報選択部５２３は、平均処理判定部５２１で平均処理不可能と判定された所定リストで、ＡかＢかを選択して、選択した予測情報を予測情報Ｃａｎｄとして出力する。ただし、予測情報選択部５２３は、ＡとＢ双方の予測フラグが無効であれば、予測情報ＣａｎｄもＬＸの予測フラグＰｒｅｄＦｌａｇＣａｎｄＬＸを無効に設定する。
【００８９】
ここで、Ａの動きベクトルをｍｖＬＸ［Ａ］とし、Ｂの動きベクトルをｍｖＬＸ［Ｂ］とし、Ｃａｎｄの動きベクトルをｍｖＣａｎｄＬＸとする。このとき、もし、Ｂの予測フラグが無効であり、または、Ａの予測フラグが有効であり、かつＡの参照インデックスがＢの参照インデックス以下であれば、予測情報選択部５２３は、以下の式（６）によりＬＸの動きベクトルを決定する。
ｍｖＣａｎｄＬＸ ＝ ｍｖＬＸ［Ａ］  ・・・式（６）
さらに、Ａの参照インデックスＲｅｆＩｄｘＬＸ［Ａ］とし、予測情報Ｃａｎｄの参照インデックスをＲｅｆＩｄｘＣａｎｄＬＸとすれば、予測情報選択部５２３は、以下の式（７）によりＬＸの参照インデックスを決定する。
ＲｅｆＩｄｘＣａｎｄＬＸ  ＝ＲｅｆＩｄｘＬＸ［Ａ］  ・・・式（７）
さらに、予測情報選択部５２３は、予測情報ＣａｎｄのＬＸの予測フラグＰｒｅｄＦｌａｇＣａｎｄＬＸを有効とする。
【００９０】
また、上記以外の場合（Ａの予測フラグが無効であり、または、Ａの参照インデックスがＢの参照インデックスよりも大きい）であれば、予測情報選択部５２３は、以下の式（８）を用いてＬＸの動きベクトルを決定する。
ｍｖＣａｎｄＬＸ ＝ ｍｖＬＸ［Ｂ］  ・・・式（８）
さらに、Ｂの参照インデックスＲｅｆＩｄｘＬＸ［Ｂ］とし、予測情報Ｃａｎｄの参照インデックスをＲｅｆＩｄｘＣａｎｄＬＸとすれば、予測情報選択部５２３は、以下の式（９）を用いてＬＸの参照インデックスを決定する。
ＲｅｆＩｄｘＣａｎｄＬＸ ＝ＲｅｆＩｄｘＬＸ［Ｂ］  ・・・式（９）
さらに、予測情報選択部５２３は、予測情報ＣａｎｄのＬＸの予測フラグＰｒｅｄＦｌａｇＣａｎｄＬＸを有効とする。
【００９１】
ここでは、予測情報選択部５２３は、ＡとＢとに対し、参照インデックスが小さい方を選択する方法について説明したが、この選択方法に限られない。例えば、予測情報選択部５２３は、参照インデックスが示す参照ピクチャの表示時間を参照ピクチャリスト記憶部１０２から取得する。次に、予測情報選択部５２３は、現処理ピクチャの表示時間との差分を算出し、現処理ピクチャと表示時間が近い参照ピクチャを指す参照インデックスを有する方の予測情報を選択するようにしてもよい。
【００９２】
図１１は、平均ベクトル生成（その２）の一例を示す図である。図１１に示す例では、処理ブロックが両予測ピクチャに含まれており、Ｌ０リストで平均処理可能、Ｌ１リストで平均処理不可能と判定された場合を示す。図１１に示す例では、平均処理部５２２で、
ｍｖＣａｎｄＬ０＝（ｍｖＬ０［Ａ］＋ｍｖＬ０［Ｂ］）／２
が計算され、予測情報選択部５２３で、ｍｖＬ１［Ｂ］が選択されている。
【００９３】
これにより、平均ベクトルを含む予測情報を予測情報候補リストに追加することができる。実施例１の候補リスト生成部１０５によれば、処理ブロックが片予測ピクチャ（Ｐピクチャ）に属する場合（図９参照）や、周辺ブロックにＬ０またはＬ１の予測情報しか存在しない場合であっても、平均ベクトルを有する予測情報候補を追加することができる。
【００９４】
また、処理ブロックが両予測ピクチャ（Ｂピクチャ）に属していて、周辺ブロックに両予測ブロックが存在すれば、図１１に示す動きベクトルを有する予測情報候補を追加することができる。
【００９５】
なお、前記したように、本処理による平均ベクトルを追加する処理を行う前や、行った後に、別の予測情報を生成する処理を行って予測情報候補を追加してもよい。別の予測情報候補追加処理とは、例えば非特許文献２のＨＥＶＣで記載されているＣｏｍｂｉｎｅｄ Ｂｉｐｒｅｄｉｖｔｉｖｅ Ｍｅｒｇｉｎｇ Ｃａｎ ｄｉｄａｔｅｓ処理や、Ｎｏｎ Ｓｃａｌｅｄ Ｍｅｒｇｉｎｇ Ｃａｎｄｉｄａｔｅｓ処理が挙げられる。
【００９６】
＜動作＞
次に、実施例１における動画像復号装置１００の動作について説明する。図１２は、実施例１における動画像復号装置の処理の一例を示すフローチャートである。
【００９７】
ステップＳ１０１で、エントロピー復号部１０１で、入力されたストリームデータをエントロピー復号する。エントロピー復号部１０１は、マージフラグを復号し、マージフラグが有効であれば、マージインデックスを復号する。
【００９８】
また、エントロピー復号部１０１は、マージフラグが無効であれば、Ｌ０とＬ１の予測フラグ情報を復号し、予測フラグ情報が有効であれば、参照インデックスと差分ベクトル、予測候補インデックス、直交変換係数などを復号する。
【００９９】
ステップＳ１０２で、マージフラグが無効の場合、予測ベクトル生成部１０４は、復号されたＬ０とＬ１との予測フラグと、参照インデックス、動きベクトル情報などを用いて、Ｌ０とＬ１の予測ベクトル候補のリストを算出する。予測ベクトル候補のリストは、例えばＨＥＶＣと同様にして周辺ブロックの予測情報から生成すればよい。
【０１００】
ステップＳ１０３で、マージフラグが有効の場合、候補リスト生成部１０５は、予測情報候補リストを生成する。予測情報候補リストの生成については、図６や図７を用いて説明した通りである。なお、このステップＳ１０３の処理で、候補数が所定数に満たない場合、片予測ピクチャや両予測ピクチャに処理ブロックが属していても、平均ベクトルを算出して予測情報候補として追加することができる。
【０１０１】
ステップＳ１０４で、マージフラグが無効の場合、動きベクトル復元部１０６は、エントロピー復号部１０１で復号されたＬ０とＬ１の予測候補インデックスと差分ベクトル情報を取得する。動きベクトル復元部１０６は、予測ベクトル候補リストの中から予測候補インデックスによって識別される予測ベクトルをＬ０とＬ１それぞれ算出する。動きベクトル復元部１０６は、予測ベクトルと差分ベクトルとを加算することによりＬ０とＬ１それぞれの動きベクトルを復元する。
【０１０２】
また、マージフラグが有効の場合、動きベクトル復元部１０６は、候補リスト生成部１０５から予測情報候補リストを取得し、マージインデックスで指定される予測情報に基づいて、Ｌ０，Ｌ１の参照インデックスや動きベクトルを復元する。
【０１０３】
ステップＳ１０５で、動きベクトル復元部１０６は、復元したＬ０とＬ１の予測フラグ、参照インデックスと、動きベクトルの情報とを予測情報記憶部１０３に記憶する。これらの情報は、以降のブロックの復号処理で用いられる。
【０１０４】
ステップＳ１０６で、予測信号生成部１０７は、Ｌ０とＬ１の予測フラグ、参照インデックス、及び動きベクトルを取得し、復号画像記憶部１１１から動きベクトルが参照する領域の画素データを取得し、予測画素信号を生成する。
【０１０５】
ステップＳ１０７で、逆量子化部１０８は、エントロピー復号部１０１で復号された直交変換係数を取得し、逆量子化処理を行う。
【０１０６】
ステップＳ１０８で、逆直交変換部１０９で、逆量子化された信号に対し、逆直交変換処理を行う。逆直交変換処理の決定、予測誤差信号が生成される。
【０１０７】
なお、ステップＳ１０２〜Ｓ１０６の処理と、ステップＳ１０７、Ｓ１０８の処理とは、並列で行われ、順不同である。
【０１０８】
ステップＳ１０９で、復号画素生成部１１０は、予測画素信号と予測誤差信号とを加算し、復号画素を生成する。
【０１０９】
ステップＳ１１０で、復号画像記憶部１１１は、復号画素を含む復号画像を記憶する。以上で、ブロックの復号処理が終了し、次のブロックの復号処理に移行する。
【０１１０】
（候補リスト生成処理）
次に、候補リスト生成部１０５の動作について説明する。図１３は、実施例１における候補リスト生成処理の一例を示すフローチャートである。図１３に示すステップＳ２０１で、第１の予測情報候補生成部２０１は、予測情報記憶部１０３から、処理ブロックに隣接した周辺ブロックが有する予測情報を例えば５個取得する。このうち、未処理のブロックや、画面外に位置するブロック、イントラブロックは取得されない。さらに、第１の予測情報候補生成部２０１は、取得した予測情報候補リストのうち、重複した要素は削除する。
【０１１１】
ステップＳ２０２〜Ｓ２０４で、第２の予測情報候補生成部３０１は、第１の予測情報候補生成部２０１が生成した予測情報候補リストの候補数が所定数未満の場合には、追加の予測情報候補を生成する。所定の候補数はたとえば５である。
【０１１２】
ステップＳ２０２で、平均候補生成部２２１は、平均ベクトルの生成処理を行い、平均ベクトルを含む予測情報を予測情報候補リストに追加する。
【０１１３】
ステップＳ２０３、Ｓ２０４で、第２の候補生成部３１１は、平均ベクトル生成処理で予測情報候補を追加しても、候補数が所定数に満たない場合、別の候補生成処理を行って、予測情報候補を追加する。ここでは、ステップＳ２０３で、並び替え両予測マージ候補処理、ステップＳ２０４で非スケール両予測マージ候補処理が行われる。なお、逆に、先に別の候補生成処理を行ってから、平均ベクトル生成処理を行ってもよい。
【０１１４】
（片予測ピクチャでの平均ベクトルの候補生成処理）
次に、図８の平均候補生成部２２１を用いて、片予測ピクチャの平均ベクトル生成処理について説明する。図１４は、実施例１における片予測ピクチャでの平均ベクトルの候補生成処理の一例を示すフローチャートである。
【０１１５】
ステップＳ３０１で、予測情報取得部４０１は、候補数が所定数未満、又は繰り返し回数が所定の回数以上になるかを判定する。この条件を満たす場合（ステップＳ３０１−ＹＥＳ）処理を終了し、この条件を満たさない場合（ステップＳ３０１−ＮＯ）ステップＳ３０１に進む。
【０１１６】
ステップＳ３０２で、予測情報取得部４０１は、生成元となる２つの予測情報候補を取得する。予測情報候補は、予測情報候補リストから取得してもよいし、予測情報記憶部１０３から取得してもよい。予測情報取得部４０１で取得された２つの予測情報候補をそれぞれＡとＢとする。
【０１１７】
ステップＳ３０２で、平均予測情報処理判定部４０２は、ＡとＢのＬ０の予測フラグが有効かつＡとＢのＬ０の参照ピクチャが等しいか否かを判定する。この条件を満たす場合（ステップＳ３０２−ＹＥＳ）ステップＳ３０４に進み、この条件を満たさない場合（ステップＳ３０２−ＮＯ）ステップＳ３０１に戻る。
【０１１８】
ステップＳ３０４で、平均予測情報生成部４０３は、予測情報の平均処理を行う。平均処理は、式（２）、（３）又は（４）、（５）などを用いて平均ベクトルなどが算出される。平均予測情報生成部４０３は、算出した平均ベクトルを含む予測情報Ｃａｎｄを出力する。
【０１１９】
ステップＳ３０５で、候補追加部４０４は、生成された予測情報Ｃａｎｄと同一の予測情報候補が予測情報候補リストに含まれているか否かを判定し、含まれていなければ候補リストに予測情報Ｃａｎｄを追加する。これにより、片予測ピクチャでも予測情報候補を追加することができる。
【０１２０】
（両予測ピクチャでの平均ベクトルの候補生成処理）
次に、図１０の平均候補生成部２２１を用いて、両予測ピクチャでの平均ベクトルの候補生成処理について説明する。なお、説明のため、片予測ピクチャと、両予測ピクチャでの処理を分けて説明するが、動画像復号装置１００には、処理ピクチャのタイプに応じて両方の処理を行うことができるように実装される。
【０１２１】
図１５Ａは、実施例１における両予測ピクチャでの平均ベクトルの候補生成処理（その１）の一例を示すフローチャートである。図１５Ｂは、実施例１における両予測ピクチャでの平均ベクトルの候補生成処理（その２）の一例を示すフローチャートである。
【０１２２】
ステップＳ４０１、Ｓ４０２の処理は、図１４に示すステップＳ３０１、Ｓ３０２の処理と同様であるため、その説明を省略する。
【０１２３】
ステップＳ４０３で、平均予測情報処理判定部５０１は、ＡとＢの双方のＬ０の予測フラグが有効であり、かつＡとＢのＬ０の参照ピクチャが等しいか、または、ＡとＢの双方のＬ１の予測フラグが有効であり、かつＡとＢのＬ１の参照ピクチャが等しいかを判定する。この条件を満たす場合（ステップＳ４０３−ＹＥＳ）ステップＳ４０４に進み、この条件を満たさない場合（ステップＳ４０３−ＮＯ）ステップＳ４０１に戻る。
【０１２４】
ステップＳ４０４で、平均処理判定部５２１は、ＡとＢのＬ０の参照インデックスが等しいかどうかで、Ｌ０の動きベクトルが平均処理可能かどうかを判定する。この条件を満たす場合（ステップＳ４０４−ＹＥＳ）、ステップＳ４０５に進み、この条件を満たさない場合（ステップＳ４０４−ＮＯ）ステップＳ４０６に進む。
【０１２５】
ステップＳ４０５で、平均処理部５２２は、予測情報の平均処理を行う。平均処理は、式（６）〜（９）のＬＸをＬ０として計算すればよい。例えば以下のようになる。
ｍｖＣａｎｄＬ０ ＝ （ｍｖＬ０［Ａ］＋ＭＶＬ０［Ｂ］）／２
ＲｅｆＩｄｘＣａｎｄＬ０ ＝ＲｅｆＩｄｘＬ０［Ａ］
ＰｒｅｄＦｌａｇＣａｎｄＬ０＝有効
ステップＳ４０６で、予測情報選択部５２３は、ＡかＢのどちらを予測情報ＣａｎｄのＬ０の情報とするかを選択する。そのため、まず、予測情報選択部５２３は、ＡとＢのＬ０の予測フラグはどちらか有効であるか否かを判定する。どちらかが有効であれば（ステップＳ４０６−ＹＥＳ）ステップＳ４０７に進み、どちらも無効であれば（ステップＳ４０６−ＮＯ）ステップＳ４１０に進む。
【０１２６】
ステップＳ４０７で、予測情報選択部５２３は、ＢのＬ０予測フラグが無効、または、ＡのＬ０予測フラグが有効であり、かつＡのＬ０参照インデックスがＢのＬ０参照インデックス以下であるかを判定する。この条件を満たす場合（ステップＳ４０７−ＹＥＳ）ステップＳ４０８に進み、この条件を満たさない場合（ステップＳ４０７−ＮＯ）ステップＳ４０９に進む。
【０１２７】
ステップＳ４０８で、予測情報選択部５２３は、以下のようにＬ０の予測情報を決定する。
ｍｖＣａｎｄＬ０ ＝ ｍｖＬ０［Ａ］
ＲｅｆＩｄｘＣａｎｄＬ０ ＝ＲｅｆＩｄｘＬ０［Ａ］
ＰｒｅｄＦｌａｇＣａｎｄＬ０＝有効
ステップＳ４０９で、予測情報選択部５２３は、Ａの予測フラグが無効であり、または、ＡのＬ０参照インデックスがＢのＬ０参照インデックスより大きければ、以下のようにＬ０の予測情報を決定する。
ｍｖＣａｎｄＬ０ ＝ ｍｖＬ０［Ｂ］
ＲｅｆＩｄｘＣａｎｄＬ０ ＝ＲｅｆＩｄｘＬ０［Ｂ］
ＰｒｅｄＦｌａｇＣａｎｄＬ０＝有効
ステップＳ４１０で、予測情報選択部５２３は、予測情報Ｃａｎｄの予測フラグＰｒｅｄＦｌａｇＣａｎｄＬ０を無効に設定する。
【０１２８】
ステップＳ４０５、Ｓ４０８〜４１０のいずれかの処理が終わると、図１５Ｂに示すステップＳ４１１に進む。
【０１２９】
ステップＳ４１１で、平均処理判定部５２１は、ＡとＢのＬ１の参照インデックスが等しいかどうかで、Ｌ１の動きベクトルが平均処理可能かどうかを判定する。この条件を満たす場合（ステップＳ４１１−ＹＥＳ）、ステップＳ４１２に進み、この条件を満たさない場合（ステップＳ４１１−ＮＯ）ステップＳ４１３に進む。
【０１３０】
ステップＳ４１２で、平均処理部５２２は、予測情報の平均処理を行う。平均処理は、式（６）〜（９）のＬＸをＬ１として計算すればよい。例えば以下のようになる。
ｍｖＣａｎｄＬ１ ＝ （ｍｖＬ１[Ａ]＋ｍｖＬ１［Ｂ］）／２
ＲｅｆＩｄｘＣａｎｄＬ１＝ＲｅｆＩｄｘＬ１［Ａ］
ＰｒｅｄＦｌａｇＣａｎｄＬ１＝有効
ステップＳ４１３で、予測情報選択部５２３は、ＡかＢのどちらを予測情報ＣａｎｄのＬ１の情報とするかを選択する。そのため、まず、予測情報選択部５２３は、ＡとＢのＬ１の予測フラグはどちらか有効であるか否かを判定する。どちらかが有効であれば（ステップＳ４１３−ＹＥＳ）ステップＳ４１４に進み、どちらも無効であれば（ステップＳ４１３−ＮＯ）ステップＳ４１７に進む。
【０１３１】
ステップＳ４１４で、予測情報選択部５２３は、ＢのＬ１予測フラグが無効、または、ＡのＬ１予測フラグが有効であり、かつＡのＬ１参照インデックスがＢのＬ１参照インデックス以下であるかを判定する。この条件を満たす場合（ステップＳ４１４−ＹＥＳ）ステップＳ４１５に進み、この条件を満たさない場合（ステップＳ４１４−ＮＯ）ステップＳ４１６に進む。
【０１３２】
ステップＳ４１５で、予測情報選択部５２３は、以下のようにＬ１の予測情報を決定する。
ｍｖＣａｎｄＬ１ ＝ ｍｖＬ１［Ａ］
ＲｅｆＩｄｘＣａｎｄＬ１ ＝ＲｅｆＩｄｘＬ１［Ａ］
ＰｒｅｄＦｌａｇＣａｎｄＬ１＝有効
ステップＳ４１６で、予測情報選択部５２３は、Ａの予測フラグが無効であり、または、ＡのＬ１参照インデックスがＢのＬ１参照インデックスより大きければ、以下のようにＬ１の予測情報を決定する。
ｍｖＣａｎｄＬ１ ＝ ｍｖＬ１［Ｂ］
ＲｅｆＩｄｘＣａｎｄＬ１ ＝ＲｅｆＩｄｘＬ１［Ｂ］
ＰｒｅｄＦｌａｇＣａｎｄＬ１＝有効
ステップＳ４１７で、予測情報選択部５２３は、予測情報Ｃａｎｄの予測フラグＰｒｅｄＦｌａｇＣａｎｄＬ１を無効に設定する。
【０１３３】
ステップＳ４１２、Ｓ４１５〜４１７のいずれかの処理が終わると、ステップＳ４１８に進む。
【０１３４】
ステップＳ４１８で、候補追加部４０４は、ＰｒｅｄＦｌａｇＬ０と、ＲｅｆＩｄｘＣａｎｄＬ０と、ｍｖＣａｎｄＬ０と、ＰｒｅｄＦｌａｇＬ１と、ＲｅｆＩｄｘＣａｎｄＬ１と、ｍｖＣａｎｄＬ１とを有する、生成された予測情報Ｃａｎｄと同一の予測情報候補が予測情報候補リストに含まれているか判定し、含まれていなければ予測情報候補リストに予測情報Ｃａｎｄを追加する。ステップＳ４１８の処理が終わると、ステップＳ４０１に戻る。
【０１３５】
以上の処理により、片予測ピクチャ及び両予測ピクチャの場合でも、適切な平均ベクトルを予測情報候補に追加することができる。
【０１３６】
以上、実施例１によれば、マージモードの予測情報候補数を固定する場合に、符号化効率をさらに向上させることができる。
【０１３７】
［実施例２］
次に、実施例２における動画像符号化装置について説明する。実施例２における動画像符号化装置は、実施例１の候補リスト生成部を有する動画像符号化装置である。
【０１３８】
＜構成＞
図１６は、実施例２における動画像符号化装置６００の構成の一例を示すブロック図である。図１６に示す動画像符号化装置６００は、動き検出部６０１、参照ピクチャリスト記憶部６０２、復号画像記憶部６０３、予測情報記憶部６０４、予測ベクトル生成部６０５、差分ベクトル算出部６０６、候補リスト生成部６０７、マージ判定部６０９を有する。
【０１３９】
また、動画像符号化装置６００は、予測信号生成部６０９、予測誤差生成部６１０、直交変換部６１１、量子化部６１２、逆量子化部６１３、逆直交変換部６１４、復号画素生成部６１５、エントロピー符号化部６１６を有する。
【０１４０】
動き検出部６０１は、原画像を取得し、参照ピクチャリスト記憶部６０２から参照ピクチャの記憶位置を取得し、復号画像記憶部６０３から参照ピクチャの画素データを取得する。動き検出部６０１は、Ｌ０、Ｌ１の予測フラグと参照インデックスと動きベクトルとを検出する。動き検出部６０１は、検出された動きベクトルが参照する参照画像の領域位置情報を予測信号生成部６０９に出力する。
【０１４１】
参照ピクチャリスト記憶部６０２は、参照ピクチャの記憶位置と、処理ブロックが参照可能なピクチャのＰＯＣ情報を含むピクチャ情報を記憶する。
【０１４２】
復号画像記憶部６０３は、動き補償の参照ピクチャとして利用するため、過去に符号化処理し、動画像符号化装置内で局所復号処理されたピクチャを記憶する。
【０１４３】
予測情報記憶部６０４は、動き検出部６０１で検出された動きベクトル及びＬ０とＬ１の予測フラグ、参照インデックス情報を含む動きベクトル情報を記憶する。予測情報記憶部６０４は、例えば、処理ブロックに対して空間的及び時間的に隣接するブロックの動きベクトル、この動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む動きベクトル情報を記憶する。
【０１４４】
予測ベクトル生成部６０５は、Ｌ０とＬ１との予測フラグと参照インデックスとを用いて、Ｌ０とＬ１との予測ベクトル候補リストを生成する。予測ベクトル候補を生成する処理は、例えば、非特許文献２に記載のＨＥＶＣなどの従来技術と同様でよい。
【０１４５】
差分ベクトル算出部６０６は、動きベクトル検出部６０１からＬ０とＬ１の動きベクトルを取得し、予測ベクトル生成部６０５からＬ０とＬ１の予測フラグ、参照インデックス、及び予測ベクトル候補リストを取得し、それぞれの差分ベクトルを算出する。
【０１４６】
例えば、差分ベクトル算出部６０６は、Ｌ０とＬ１の動きベクトルに最も近い予測ベクトルを予測ベクトル候補リストの中からそれぞれ選択し、Ｌ０とＬ１について予測フラグが有効であれば、予測ベクトルと予測ベクトル候補インデックスをそれぞれ決定する。
【０１４７】
さらに、差分ベクトル算出部６０６は、Ｌ０の動きベクトルからＬ０の予測ベクトルを減算してＬ０の差分ベクトルを生成し、Ｌ１の動きベクトルからＬ１の予測ベクトルを減算してＬ１の差分ベクトルを生成する。
【０１４８】
候補リスト生成部６０７は、実施例１と同様にして予測情報候補リストを生成し、生成対した予測情報候補リストをマージ判定部６０８に出力する。
【０１４９】
マージ判定部６０８は、差分ベクトル算出部６０６からＬ０，Ｌ１の参照インデックス、動きベクトル、差分ベクトルなどを取得し、候補リスト生成部６０７から予測情報候補リストを取得する。マージ判定部６０８は、参照インデックスと動きベクトルとを含む予測情報が、予測情報候補リストに存在すれば、マージフラグを有効とし、予測情報候補リスト内のインデックスをマージインデックスとする。マージ判定部６０８は、マージの有効、無効を示すマージフラグと、マージインデックスとをエントロピー符号化部６１６に出力する。
【０１５０】
マージ判定部６０８は、参照インデックスと動きベクトルとを含む予測情報が、予測情報候補リストに存在しなければ、マージフラグを無効とし、差分ベクトル算出部６０６から取得したＬ０、Ｌ１の参照インデックス、差分ベクトル、予測候補インデックスをエントロピー符号化部６１６に出力する。
【０１５１】
予測信号生成部６０９は、入力された参照画像の領域位置情報に基づいて、復号画像記憶部６０３から参照画素を取得し、予測画素信号を生成する。
【０１５２】
予測誤差生成部６１０は、原画像と予測画素信号とを取得し、原画像と予測画素信号の差分を算出することで予測誤差信号を生成する。
【０１５３】
直交変換部６１１は、予測誤差信号に離散コサイン変換などの直交変換処理を行い、直交変換係数を量子化部６１２に出力する。量子化部６１２は、直交変換係数を量子化する。
【０１５４】
逆量子化部６１３は、量子化された直交変換係数に対し、逆量子化処理を行う。逆直交変換部６１４は、逆量子化された係数に対し、逆直交変換処理を行う。
【０１５５】
復号画素生成部６１５は、予測誤差信号と予測画素信号とを加算することで、復号画素を生成する。生成された復号画素を含む復号画像は、復号画像記憶部６０３に記憶される。
【０１５６】
エントロピー符号化部６１６は、入力されたマージフラグとマージインデックス、Ｌ０参照インデックス、Ｌ０差分ベクトル、Ｌ０予測ベクトル候補インデックス、Ｌ１参照インデックス、Ｌ１差分ベクトル、Ｌ１予測ベクトル候補インデックス、および、量子化された直交変換係数情報をエントロピー符号化してストリームデータとして出力する。
【０１５７】
エントロピー符号化部６１６は、インターの予測モードに関するパラメータの符号化方法に関して、まず、マージフラグを符号化し、マージフラグが有効であれば、マージインデックスを符号化する。
【０１５８】
エントロピー符号化部６１６は、マージフラグが無効であれば、マージインデックスは符号化せずに、Ｌ０とＬ１の予測フラグ情報を符号化する。また、エントロピー符号化部６１６は、Ｌ０の予測フラグが有効であればＬ０参照インデックス、Ｌ０差分ベクトル、Ｌ０予測ベクトル候補インデックスを符号化し、Ｌ１の予測フラグが有効であれば、Ｌ１参照インデックス、Ｌ１差分ベクトル、Ｌ１予測ベクトル候補インデックスを符号化する。
【０１５９】
＜動作＞
次に、実施例２における動画像符号化装置６００の動作について説明する。図１７は、動画像符号化装置の処理の一例を示すフローチャートである。
【０１６０】
ステップＳ５０１で、動きベクトル検出部６０１は、原画像を取得し、参照ピクチャの画素データを取得し、Ｌ０、Ｌ１の予測フラグと参照インデックスと動きベクトルとを検出する。
【０１６１】
ステップＳ５０２で、予測ベクトル生成部６０５は、Ｌ０とＬ１の予測ベクトル候補リストをそれぞれ算出する。このとき、予測ベクトル生成部６０５は、例えば、非特許文献２に記載の予測ベクトル生成処理を用いればよい。
【０１６２】
ステップＳ５０３で、差分ベクトル算出部６０６は、Ｌ０とＬ１の動きベクトルに最も近い予測ベクトルを予測ベクトル候補リストの中からそれぞれ選択し、Ｌ０とＬ１について予測フラグが有効であれば、予測ベクトルと予測候補インデックスをそれぞれ決定する。
【０１６３】
さらに、差分ベクトル算出部６０６は、Ｌ０の動きベクトルからＬ０の予測ベクトルを減算してＬ０の差分ベクトルを生成し、Ｌ１の動きベクトルからＬ１の予測ベクトルを減算してＬ１の差分ベクトルを生成する。
【０１６４】
ステップＳ５０４で、候補リスト生成部６０７は、前述した通り、平均ベクトルを追加可能として、予測情報候補リストを生成し、生成した予測情報候補リストをマージ判定部６０８に出力する。
【０１６５】
ステップＳ５０５で、予測情報記憶部６０４は、動きベクトル検出部６０１から出力されたＬ０とＬ１の予測フラグと参照インデックス情報と動きベクトルとを含む動きベクトル情報を記憶する。これらの情報は、次のブロックの符号化に利用される。
【０１６６】
ステップＳ５０６で、マージ判定部６０８は、前述した通り、マージフラグを有効にするか無効にするかを判定する。マージ判定部６０８は、マージフラグを有効と判定した場合、マージフラグとマージインデックスをエントロピー符号化部６１６に出力する。マージ判定部６０８は、マージフラグを無効とした場合、マージフラグとＬ０，Ｌ１の予測フラグ、参照インデックス、差分ベクトル、予測候補インデックスをエントロピー符号化部６１６に出力する。
【０１６７】
ステップＳ５０７で、予測信号生成部６０９は、入力された参照画像の領域位置情報に基づいて、復号画像記憶部６０３から参照画素を取得し、予測画素信号を生成する。
【０１６８】
ステップＳ５０８で、予測誤差生成部６１０は、原画像と予測画素信号が入力され、原画像と予測画素信号の差分を算出することで予測誤差信号を生成する。
【０１６９】
ステップＳ６０９で、直交変換部６１１は、予測誤差信号に対して直交変換処理を行い、直交変換係数を生成する。
【０１７０】
ステップＳ６１０で、量子化部６１２は、直交変換係数に対して、量子化処理を行い、量子化後の直交変換係数を生成する。
【０１７１】
なお、ステップＳ５０２〜Ｓ５０３、ステップＳ５０４、ステップＳ５０５、ステップＳ５０７〜Ｓ５１０の各処理は、並列して行われ、順不同である。
【０１７２】
ステップＳ５１１で、逆量子化部６１３は、量子化された直交変換係数に対し、逆量子化処理を行い、直交変換係数を生成する。次に、逆直交変換部６１４は、直交変換係数に対し、逆直交変換処理を行い、予測誤差信号を生成する。
【０１７３】
ステップＳ５１２で、復号画素生成部６１５は、予測誤差信号と予測画素信号とを加算し、復号画素を生成する。
【０１７４】
ステップＳ５１３で、復号画像記憶部６０３は、復号画素を含む復号画像を記憶する。この復号画像は、以降のブロックの符号化処理に用いられる。
【０１７５】
ステップＳ５１４で、エントロピー符号化部６１６は、マージフラグの有効、無効に応じて、各情報をエントロピー符号化し、ストリームとして出力する。
【０１７６】
以上、実施例２によれば、マージモードの予測情報候補数を固定する場合に、符号化効率をさらに向上させることができる。なお、動画像符号化装置６００の候補リスト生成部６０７について、当該業者においては、実施例１の候補リスト生成部１０５を用いることができることは自明である。
【０１７７】
［変形例］
図１８は、画像処理装置８００の構成の一例を示すブロック図である。画像処理装置８００は、各実施例で説明した動画像符号化装置、又は動画像復号装置の一例である。図１８に示すように、画像処理装置８００は、制御部８０１、主記憶部８０２、補助記憶部８０３、ドライブ装置８０４、ネットワークＩ／Ｆ部８０６、入力部８０７、表示部８０８を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【０１７８】
制御部８０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部８０１は、主記憶部８０２や補助記憶部８０３に記憶されたプログラムを実行する演算装置であり、入力部８０７や記憶装置からデータを受け取り、演算、加工した上で、表示部８０８や記憶装置などに出力する。
【０１７９】
主記憶部８０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部８０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０１８０】
補助記憶部８０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【０１８１】
ドライブ装置８０４は、記録媒体８０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
【０１８２】
また、記録媒体８０５は、所定のプログラムを格納する。この記録媒体８０５に格納されたプログラムは、ドライブ装置８０４を介して画像処理装置８００にインストールされる。インストールされた所定のプログラムは、画像処理装置８００により実行可能となる。
【０１８３】
ネットワークＩ／Ｆ部８０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置８００とのインターフェースである。
【０１８４】
入力部８０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部８０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部８０７は、ユーザが制御部８０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
【０１８５】
表示部８０８は、ＬＣＤ（Liquid Crystal Display）等を有し、制御部８０１から入力される表示データに応じた表示が行われる。なお、表示部８０８は、外部に設けられてもよく、その場合は、画像処理装置８００は、表示制御部を有する。
【０１８６】
このように、前述した実施例で説明した動画像符号化処理又は動画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した動画像符号化処理又は動画像復号処理を実現することができる。
【０１８７】
また、この動画像符号化プログラム又は動画像復号プログラムを記録媒体８０５に記録し、このプログラムが記録された記録媒体８０５をコンピュータや携帯端末に読み取らせて、前述した動画像符号化処理又は動画像復号処理を実現させることも可能である。
【０１８８】
なお、記録媒体８０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。なお、記録媒体８０５には、搬送波は含まれない。
【０１８９】
画像処理装置８００で実行されるプログラムは、各実施例で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部８０１が補助記憶部８０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部８０２上にロードされ、１又は複数の各部が主記憶部８０２上に生成されるようになっている。
【０１９０】
また、前述した各実施例で説明した動画像符号化処理又は動画像復号処理は、１つ又は複数の集積回路に実装してもよい。
【０１９１】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【０１９２】
なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて復号処理を行う動画像復号装置であって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報を記憶する予測情報記憶部と、
前記周辺ブロックの予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成する第１の予測情報候補生成部と、
前記予測情報候補の数が所定数に満たない場合、前記予測情報候補のうちの２つの予測情報の参照ピクチャ識別子が同一のピクチャを示すとき、前記２つの予測情報に含まれる２つの動きベクトルを平均した動きベクトルを含む予測情報を、前記予測情報候補に追加する第２の予測情報候補生成部と
を備える動画像復号装置。
（付記２）
前記第２の予測情報候補生成部は、
前記予測情報候補のうち、２つの予測情報を取得する予測情報取得部と、
前記２つの予測情報の参照ピクチャ識別子が、同一のピクチャを示すか否かを判定する第１の処理判定部と、
前記第１の処理判定部により同一のピクチャを示すと判定された場合、前記２つの予測情報に含まれる２つの動きベクトルを平均し、平均した動きベクトルを含む予測情報を生成する平均予測情報生成部と、
前記平均予測情報生成部に生成された予測情報を、前記予測情報候補に追加する追加部と、
を備える付記１記載の動画像復号装置。
（付記３）
前記予測情報は、参照するピクチャに対して第１リスト及び第２リストがある場合、各リストに対応する２つの動きベクトル及び参照ピクチャ識別子を含み、
前記第１の処理判定部は、
前記２つの予測情報の前記第１リスト又は前記第２リストの参照ピクチャ識別子が有効であり、かつ該参照ピクチャ識別子が同一のピクチャを示すときに予測情報の平均処理を行うと判定し、
前記平均予測情報生成部は、
前記第１リスト及び前記第２リストそれぞれに対し、前記２つの予測情報のピクチャ識別子が同一のピクチャを示すかを判定する第２の処理判定部と、
前記第２の処理判定部により所定リストで同一のピクチャを示すと判定された場合、前記所定リストの２つの動きベクトルを平均した平均ベクトルを含む予測情報を、前記所定リストの予測情報にする平均処理部と、
前記第２の処理判定部により所定リストで同一のピクチャではないと判定された場合、前記所定リストの２つの動きベクトル及び参照ピクチャ識別子のいずれか１つを選択して、前記所定リストの予測情報にする予測情報選択部と、
を備える付記２記載の動画像復号装置。
（付記４）
前記予測情報選択部は、
前記参照ピクチャ識別子の大きさに基づいて、１つの動きベクトル及び参照ピクチャ識別子を選択する付記３記載の動画像復号装置。
（付記５）
前記予測情報選択部は、
前記参照ピクチャ識別子が示すピクチャの表示時間に基づいて、１つの動きベクトル及び参照ピクチャ識別子を選択する付記３記載の動画像復号装置。
（付記６）
入力画像が分割された処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて符号化処理を行う動画像符号化装置であって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報を記憶する予測情報記憶部と、
前記周辺ブロックの予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成する第１の予測情報候補生成部と、
前記予測情報候補が所定数に満たない場合、前記予測情報候補のうちの２つの予測情報の参照ピクチャ識別子が同一のピクチャを示すとき、前記２つの予測情報に含まれる２つの動きベクトルを平均した動きベクトルを含む予測情報を、前記予測情報候補に追加する第２の予測情報候補生成部と
を備える動画像符号化装置。
（付記７）
処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて復号処理を行う動画像復号装置が実行する動画像復号方法であって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記周辺ブロックの予測情報を記憶する予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成し、
前記予測情報候補が所定数に満たない場合、前記予測情報候補のうちの２つの予測情報の参照ピクチャ識別子が同一のピクチャを示すとき、前記２つの予測情報に含まれる２つの動きベクトルを平均した動きベクトルを含む予測情報を、前記予測情報候補に追加する処理を有する動画像復号方法。
（付記８）
入力画像が分割された処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて符号化処理を行う動画像符号化装置が実行する動画像符号化方法であって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記周辺ブロックの予測情報を記憶する予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成し、
前記予測情報候補が所定数に満たない場合、前記予測情報候補のうちの２つの予測情報の参照ピクチャ識別子が同一のピクチャを示すとき、前記２つの予測情報に含まれる２つの動きベクトルを平均した動きベクトルを含む予測情報を、前記予測情報候補に追加する処理を有する動画像符号化方法。
（付記９）
処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて復号処理を行う動画像復号装置に実行させるための動画像復号プログラムであって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記周辺ブロックの予測情報を記憶する予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成し、
前記予測情報候補が所定数に満たない場合、前記予測情報候補のうちの２つの予測情報の参照ピクチャ識別子が同一のピクチャを示すとき、前記２つの予測情報に含まれる２つの動きベクトルを平均した動きベクトルを含む予測情報を、前記予測情報候補に追加する処理を有する動画像復号プログラム。
（付記１０）
入力画像が分割された処理ブロックごとに、該処理ブロックの動きベクトルと該動きベクトルの予測情報候補とを用いて符号化処理を行う動画像符号化装置に実行させるための動画像符号化プログラムであって、
前記処理ブロックに対して空間方向又は時間方向に隣接するブロックを示す周辺ブロックの動きベクトル、該動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む予測情報と同一の予測情報を使用して前記処理ブロックの動き補償を行う場合、前記周辺ブロックの予測情報を記憶する予測情報記憶部から前記周辺ブロックの予測情報を取得して前記予測情報候補を生成し、
前記予測情報候補が所定数に満たない場合、前記予測情報候補のうちの２つの予測情報の参照ピクチャ識別子が同一のピクチャを示すとき、前記２つの予測情報に含まれる２つの動きベクトルを平均した動きベクトルを含む予測情報を、前記予測情報候補に追加する処理を有する動画像符号化プログラム。
【符号の説明】
【０１９３】
１００  動画像復号装置
１０１  エントロピー復号部
１０２  参照ピクチャリスト記憶部
１０３  予測情報記憶部
１０４  予測ベクトル生成部
１０５  候補リスト生成部
１０６  動きベクトル復元部
１０７  予測画素生成部
１０８  逆量子化部
１０９  逆直交変換部
１１０  復号画素生成部
１１１  復号画像記憶部
２０１  第１の予測情報候補生成部
２０２、３０１  第２の予測情報候補生成部
２２１  平均候補生成部
３１１  第２の候補生成部
４０１  予測情報取得部
４０２  平均予測情報処理判定部
４０３  平均予測情報生成部
４０４  候補追加部
５２１  平均処理判定部
５２２  平均処理部
５２３  予測情報選択部
６００  動画像符号化装置
６０１  動き検出部
６０２  参照ピクチャリスト記憶部
６０３  復号画像記憶部
６０４  予測情報記憶部
６０５  予測ベクトル生成部
６０６  差分ベクトル算出部
６０７  候補リスト生成部
６０８  マージ判定部
６０９  予測画素生成部
６１０  予測誤差生成部
６１１  直交変換部
６１２  量子化部
６１３  逆量子化部
６１４  逆直交変換部
６１５  復号画素生成部
６１６  エントロピー符号化部
８０１  制御部
【図１】
0005768662.tif 000002
【図２】
0005768662.tif 000003
【図３】
0005768662.tif 000004
【図４】
0005768662.tif 000005
【図５】
0005768662.tif 000006
【図６】
0005768662.tif 000007
【図７】
0005768662.tif 000008
【図８】
0005768662.tif 000009
【図９】
0005768662.tif 000010
【図１０】
0005768662.tif 000011
【図１１】
0005768662.tif 000012
【図１２】
0005768662.tif 000013
【図１３】
0005768662.tif 000014
【図１４】
0005768662.tif 000015
【図１５Ａ】
0005768662.tif 000016
【図１５Ｂ】
0005768662.tif 000017
【図１６】
0005768662.tif 000018
【図１７】
0005768662.tif 000019
【図１８】
0005768662.tif 000020