"動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出部と、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成部とを備え、前記参照インデックス導出部は、前記符号化対象の予測ブロックの左辺に隣接する予測ブロックの参照インデックス情報と、前記符号化対象の予測ブロックの上辺に隣接する予測ブロックの参照インデックス情報の値の小さい方を時間マージ候補の参照インデックス情報に設定することを特徴とする動画像符号化装置。動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出部と、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成部とを備え、前記参照インデックス導出部は、i前記符号化対象の予測ブロックの左辺または上辺のいずれか一方の辺に隣接する予測ブロックが導出対象の参照リストを用いてインター予測されている場合、前記いずれか一方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、ii前記いずれか一方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されていない場合であって、前記いずれか一方の辺に対しての他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されている場合、前記他方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定することを特徴とする動画像符号化装置。動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出部と、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成部とを備え、前記参照インデックス導出部は、i前記符号化対象の予測ブロックの左辺または上辺のいずれか一方の辺に隣接する予測ブロックがインター予測されている場合において、前記いずれか一方の辺に隣接する予測ブロックが導出対象の参照リストを用いてインター予測されている場合、前記いずれか一方の辺に隣接する予測ブロックの導出対象の参照リストの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、前記いずれか一方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いずにインター予測されている場合は、時間マージ候補の前記導出対象の参照リストの参照インデックス情報をデフォルト値に設定し、ii前記いずれか一方の辺に隣接する予測ブロックがインター予測されておらず、前記いずれか一方の辺に対しての他方の辺に隣接する予測ブロックがインター予測されている場合において、前記他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されている場合、前記他方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、前記他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いずにインター予測されている場合は、時間マージ候補の前記導出対象の参照リストの参照インデックス情報をデフォルト値に設定することを特徴とする動画像符号化装置。動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出部と、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成部とを備え、前記参照インデックス導出部は、前記符号化対象の予測ブロックの左辺に隣接する予測ブロックまたは前記符号化対象の予測ブロックの上辺に隣接する予測ブロックのいずれか一方を優先する優先順位で、いずれかの前記隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の参照インデックス情報に設定することを特徴とする動画像符号化装置。動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化方法であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとを備え、前記参照インデックス導出ステップは、前記符号化対象の予測ブロックの左辺に隣接する予測ブロックの参照インデックス情報と、前記符号化対象の予測ブロックの上辺に隣接する予測ブロックの参照インデックス情報の値の小さい方を時間マージ候補の参照インデックス情報に設定することを特徴とする動画像符号化方法。動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化方法であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとを備え、前記参照インデックス導出ステップは、i前記符号化対象の予測ブロックの左辺または上辺のいずれか一方の辺に隣接する予測ブロックが導出対象の参照リストを用いてインター予測されている場合、前記いずれか一方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、ii前記いずれか一方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されていない場合であって、前記いずれか一方の辺に対しての他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されている場合、前記他方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定することを特徴とする動画像符号化方法。動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化方法であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとを備え、前記参照インデックス導出ステップは、i前記符号化対象の予測ブロックの左辺または上辺のいずれか一方の辺に隣接する予測ブロックがインター予測されている場合において、前記いずれか一方の辺に隣接する予測ブロックが導出対象の参照リストを用いてインター予測されている場合、前記いずれか一方の辺に隣接する予測ブロックの導出対象の参照リストの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、前記いずれか一方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いずにインター予測されている場合は、時間マージ候補の前記導出対象の参照リストの参照インデックス情報をデフォルト値に設定し、ii前記いずれか一方の辺に隣接する予測ブロックがインター予測されておらず、前記いずれか一方の辺に対しての他方の辺に隣接する予測ブロックがインター予測されている場合において、前記他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されている場合、前記他方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、前記他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いずにインター予測されている場合は、時間マージ候補の前記導出対象の参照リストの参照インデックス情報をデフォルト値に設定することを特徴とする動画像符号化方法。動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化方法であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとを備え、前記参照インデックス導出ステップは、前記符号化対象の予測ブロックの左辺に隣接する予測ブロックまたは前記符号化対象の予測ブロックの上辺に隣接する予測ブロックのいずれか一方を優先する優先順位で、いずれかの前記隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の参照インデックス情報に設定することを特徴とする動画像符号化方法。動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化プログラムであって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとをコンピュータに実行させ、前記参照インデックス導出ステップは、前記符号化対象の予測ブロックの左辺に隣接する予測ブロックの参照インデックス情報と、前記符号化対象の予測ブロックの上辺に隣接する予測ブロックの参照インデックス情報の値の小さい方を時間マージ候補の参照インデックス情報に設定することを特徴とする動画像符号化プログラム。動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化プログラムであって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとをコンピュータに実行させ、前記参照インデックス導出ステップは、i前記符号化対象の予測ブロックの左辺または上辺のいずれか一方の辺に隣接する予測ブロックが導出対象の参照リストを用いてインター予測されている場合、前記いずれか一方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、ii前記いずれか一方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されていない場合であって、前記いずれか一方の辺に対しての他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されている場合、前記他方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定することを特徴とする動画像符号化プログラム。動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化プログラムであって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとをコンピュータに実行させ、前記参照インデックス導出ステップは、i前記符号化対象の予測ブロックの左辺または上辺のいずれか一方の辺に隣接する予測ブロックがインター予測されている場合において、前記いずれか一方の辺に隣接する予測ブロックが導出対象の参照リストを用いてインター予測されている場合、前記いずれか一方の辺に隣接する予測ブロックの導出対象の参照リストの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、前記いずれか一方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いずにインター予測されている場合は、時間マージ候補の前記導出対象の参照リストの参照インデックス情報をデフォルト値に設定し、ii前記いずれか一方の辺に隣接する予測ブロックがインター予測されておらず、前記いずれか一方の辺に対しての他方の辺に隣接する予測ブロックがインター予測されている場合において、前記他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されている場合、前記他方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、前記他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いずにインター予測されている場合は、時間マージ候補の前記導出対象の参照リストの参照インデックス情報をデフォルト値に設定することを特徴とする動画像符号化プログラム。動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化プログラムであって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとをコンピュータに実行させ、前記参照インデックス導出ステップは、前記符号化対象の予測ブロックの左辺に隣接する予測ブロックまたは前記符号化対象の予測ブロックの上辺に隣接する予測ブロックのいずれか一方を優先する優先順位で、いずれかの前記隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の参照インデックス情報に設定することを特徴とする動画像符号化プログラム。しかし、従来の方法では、符号化/復号対象のブロックにとって、時間ダイレクトでの参照ピクチャとして必ずしも適しているものが利用できるとは言い難く、符号化効率が良くならない場合もあった。より具体的に言えば、上述の時間ダイレクトモードでは、時間ダイレクトモードのL0の参照ピクチャが符号化/復号対象のピクチャと異なる基準ピクチャの基準ブロックのL0の参照ピクチャとなるため、また、L1の参照ピクチャが固定的にL1の参照インデックスが0に登録されているピクチャとなるため、必ずしも最適な参照ピクチャが得られることは限らない。このような状況下、本発明者らは、動き補償予測を使用する動画像符号化方式において、符号化情報をより一層圧縮し、全体の符号量を削減する必要性を認識するに至った。本発明はこうした状況に鑑みてなされたものであり、その目的は、符号化情報の候補を算出することにより、符号化情報の符号量の削減を図って符号化効率を向上させる動画像符号化技術を提供することにある。上記課題を解決するために、本発明のある態様の動画像符号化装置は、動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出部131と、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成部132とを備える。前記参照インデックス導出部131は、前記符号化対象の予測ブロックの左辺に隣接する予測ブロックの参照インデックス情報と、前記符号化対象の予測ブロックの上辺に隣接する予測ブロックの参照インデックス情報の値の小さい方を時間マージ候補の参照インデックス情報に設定する。本発明の別の態様もまた、動画像符号化装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出部131と、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成部132とを備える。前記参照インデックス導出部131は、i前記符号化対象の予測ブロックの左辺または上辺のいずれか一方の辺に隣接する予測ブロックが導出対象の参照リストを用いてインター予測されている場合、前記いずれか一方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、ii前記いずれか一方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されていない場合であって、前記いずれか一方の辺に対しての他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されている場合、前記他方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定する。本発明のさらに別の態様もまた、動画像符号化装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出部131と、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成部132とを備える。前記参照インデックス導出部131は、i前記符号化対象の予測ブロックの左辺または上辺のいずれか一方の辺に隣接する予測ブロックがインター予測されている場合において、前記いずれか一方の辺に隣接する予測ブロックが導出対象の参照リストを用いてインター予測されている場合、前記いずれか一方の辺に隣接する予測ブロックの導出対象の参照リストの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、前記いずれか一方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いずにインター予測されている場合は、時間マージ候補の前記導出対象の参照リストの参照インデックス情報をデフォルト値に設定し、ii前記いずれか一方の辺に隣接する予測ブロックがインター予測されておらず、前記いずれか一方の辺に対しての他方の辺に隣接する予測ブロックがインター予測されている場合において、前記他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されている場合、前記他方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、前記他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いずにインター予測されている場合は、時間マージ候補の前記導出対象の参照リストの参照インデックス情報をデフォルト値に設定する。本発明のさらに別の態様もまた、動画像符号化装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出部131と、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成部132とを備える。前記参照インデックス導出部131は、前記符号化対象の予測ブロックの左辺に隣接する予測ブロックまたは前記符号化対象の予測ブロックの上辺に隣接する予測ブロックのいずれか一方を優先する優先順位で、いずれかの前記隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の参照インデックス情報に設定する。本発明のさらに別の態様は、動画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化方法であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとを備える。前記参照インデックス導出ステップは、前記符号化対象の予測ブロックの左辺に隣接する予測ブロックの参照インデックス情報と、前記符号化対象の予測ブロックの上辺に隣接する予測ブロックの参照インデックス情報の値の小さい方を時間マージ候補の参照インデックス情報に設定する。本発明のさらに別の態様もまた、動画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化方法であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとを備える。前記参照インデックス導出ステップは、i前記符号化対象の予測ブロックの左辺または上辺のいずれか一方の辺に隣接する予測ブロックが導出対象の参照リストを用いてインター予測されている場合、前記いずれか一方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、ii前記いずれか一方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されていない場合であって、前記いずれか一方の辺に対しての他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されている場合、前記他方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定する。本発明のさらに別の態様もまた、動画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化方法であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとを備える。前記参照インデックス導出ステップは、i前記符号化対象の予測ブロックの左辺または上辺のいずれか一方の辺に隣接する予測ブロックがインター予測されている場合において、前記いずれか一方の辺に隣接する予測ブロックが導出対象の参照リストを用いてインター予測されている場合、前記いずれか一方の辺に隣接する予測ブロックの導出対象の参照リストの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、前記いずれか一方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いずにインター予測されている場合は、時間マージ候補の前記導出対象の参照リストの参照インデックス情報をデフォルト値に設定し、ii前記いずれか一方の辺に隣接する予測ブロックがインター予測されておらず、前記いずれか一方の辺に対しての他方の辺に隣接する予測ブロックがインター予測されている場合において、前記他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いてインター予測されている場合、前記他方の辺に隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の前記導出対象の参照リストの参照インデックス情報に設定し、前記他方の辺に隣接する予測ブロックが前記導出対象の参照リストを用いずにインター予測されている場合は、時間マージ候補の前記導出対象の参照リストの参照インデックス情報をデフォルト値に設定する。本発明のさらに別の態様もまた、動画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償を用いて前記動画像を符号化する動画像符号化方法であって、符号化対象の予測ブロックと時間的に異なる符号化済みのピクチャにおける、前記符号化対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックのインター予測情報から、時間マージ候補となるインター予測情報を導出し、その導出したインター予測情報により前記符号化対象の予測ブロックのインター予測を行うマージモードにおいて、前記符号化対象の予測ブロックで用いられる参照ピクチャを特定する参照インデックス情報を、時間マージ候補の参照インデックス情報として導出する参照インデックス導出ステップと、導出された前記参照インデックス情報に基づいた時間マージ候補のインター予測情報を導出する時間マージ候補生成ステップとを備える。前記参照インデックス導出ステップは、前記符号化対象の予測ブロックの左辺に隣接する予測ブロックまたは前記符号化対象の予測ブロックの上辺に隣接する予測ブロックのいずれか一方を優先する優先順位で、いずれかの前記隣接する予測ブロックの参照インデックス情報の値を時間マージ候補の参照インデックス情報に設定する。なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。本発明によれば、伝送する符号化情報の発生符号量を削減させて、符号化効率を向上させることができる。本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形ブロックに分割し、ピクチャ間でブロック単位に動き補償を行う動画像符号化における符号化効率を向上させる為に、符号化対象ブロックに隣接するブロックまたは符号化済みのピクチャのブロックの動きベクトルから複数の予測動きベクトルを導出し、符号化対象のブロックの動きベクトルと選択された予測動きベクトルとの差分ベクトルを算出して符号化することによって符号量を削減する。あるいは、符号化対象ブロックに隣接するブロックまたは符号化済みのピクチャのブロックの符号化情報を利用することにより、符号化対象ブロックの符号化情報を導出することによって符号量を削減する。また、動画像の復号の場合は、復号対象ブロックに隣接するブロックまたは復号済みのピクチャのブロックの動きベクトルから複数の予測動きベクトルを算出し、符号化ストリームから復号された差分ベクトルと選択された予測動きベクトルとから復号対象のブロックの動きベクトルを算出して復号する。あるいは、復号対象ブロックに隣接するブロックまたは復号済みのピクチャのブロックの符号化情報を利用することにより、復号対象ブロックの符号化情報を導出する。まず、本実施の形態において使用する技術、及び技術用語を定義する。ツリーブロック、符号化ブロックについて実施の形態では、図3に示されるように、ピクチャ内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、ピクチャ内での符号化/復号対象ブロック符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは1つの輝度信号と2つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて、2のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を階層的に4分割縦横に2分割ずつして、ブロックサイズの小さいブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも1つの輝度信号と2つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、2のべき乗のサイズで自由に設定することができる。図3においては、符号化ブロックAは、ツリーブロックを分割せず、1つの符号化ブロックとしたものである。符号化ブロックBは、ツリーブロックを4分割してできた符号化ブロックである。符号化ブロックCは、ツリーブロックを4分割してできたブロックをさらに4分割してできた符号化ブロックである。符号化ブロックDは、ツリーブロックを4分割してできたブロックをさらに階層的に2度4分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。予測モードについて符号化ブロック単位で、符号化/復号済み符号化処理においては符号化した信号を復号したピクチャ、予測ブロック、画像信号等に用い、復号処理においては復号したピクチャ、予測ブロック、画像信号等に用いる。以下、断りのない限り、この意味で用いる。の周囲の画像信号から予測を行うイントラ予測MODEINTRA、及び符号化/復号済みのピクチャの画像信号から予測を行うインター予測MODEINTERを切り替える。このイントラ予測MODEINTRAとインター予測MODEINTERを識別するモードを予測モードPredModeと定義する。予測モードPredModeはイントラ予測MODEINTRA、またはインター予測MODEINTERを値として持ち、選択して符号化できる。分割モード、予測ブロック、予測ユニットについてピクチャ内をブロックに分割してイントラ予測MODEINTRA及びインター予測MODEINTERを行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モードPartModeと定義する。さらに、この分割されたブロックを予測ブロックと定義する。図4に示すように、符号化ブロックの輝度信号の分割方法に応じて4種類の分割モードPartModeを定義する。符号化ブロックの輝度信号を分割せず1つの予測ブロックとみなしたもの図4aの分割モードPartModeを2N×2N分割PART2Nx2N、符号化ブロックの輝度信号を水平方向に2分割し、2つの予測ブロックとしたもの図4bの分割モードPartModeを2N×N分割PART2NxN、符号化ブロックの輝度信号を垂直方向に分割し、符号化ブロックを2つの予測ブロックとしたもの図4cの分割モードPartModeをN×2N分割PARTNx2N、符号化ブロックの輝度信号を水平と垂直の均等分割により4つの予測ブロックとしたもの図4dの分割モードPartModeをN×N分割PARTNxNとそれぞれ定義する。なお、イントラ予測MODEINTRAのN×N分割PARTNxNを除き、各分割モードPartMode毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。符号化ブロック内部において、各予測ブロックを特定する為に、0から開始する番号を、符号化順序で、符号化ブロック内部に存在する予測ブロックに対して割り当てる。この番号を分割インデックスPartIdxと定義する。図4の符号化ブロックの各予測ブロックの中に記述された数字は、その予測ブロックの分割インデックスPartIdxを表す。図4bに示す2N×N分割PART2NxNでは上の予測ブロックの分割インデックスPartIdxを0とし、下の予測ブロックの分割インデックスPartIdxを1とする。図4cに示すN×2N分割PARTNx2Nでは左の予測ブロックの分割インデックスPartIdxを0とし、右の予測ブロックの分割インデックスPartIdxを1とする。図4dに示すN×N分割PARTNxNでは、左上の予測ブロックの分割インデックスPartIdxを0とし、右上の予測ブロックの分割インデックスPartIdxを1とし、左下の予測ブロックの分割インデックスPartIdxを2とし、右下の予測ブロックの分割インデックスPartIdxを3とする。予測モードPredModeがインター予測MODEINTERでは、最小の符号化ブロックである符号化ブロックD以外では、分割モードPartModeは2N×2N分割PART2Nx2N、2N×N分割PART2NxN、及びN×2N分割PARTNx2Nを定義し、最小の符号化ブロックである符号化ブロックDのみ、分割モードPartModeは2N×2N分割PART2Nx2N、2N×N分割PART2NxN、及びN×2N分割PARTNx2Nに加えてN×N分割PARTNxNを定義する。なお、最小の符号化ブロック以外にN×N分割PARTNxNを定義しない理由は最小の符号化ブロック以外では、符号化ブロックを4分割して小さな符号化ブロックを表現できるからである。ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号の画面の一番左上の輝度信号の画素の位置を原点0,0とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置をx,yの二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の1画素単位である。輝度信号と色差信号で画像サイズ画素数が同じである色差フォーマットが4:4:4の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ画素数が異なる色差フォーマットが4:2:0、4:2:2の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の1画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。インター予測モード、参照リストについて本発明の実施の形態においては、符号化/復号済みのピクチャの画像信号から予測を行うインター予測では、複数の復号済みのピクチャを参照ピクチャとして用いることができる。複数の参照ピクチャから選択された参照ピクチャを特定するため、予測ブロック毎に参照インデックスを付ける。Bスライスでは予測ブロック毎に任意の2枚の参照ピクチャを選択してインター予測ことができ、インター予測モードとしてL0予測PredL0、L1予測PredL1、双予測PredBIがある。参照ピクチャはリスト構造のL0参照リスト0とL1参照リスト1で管理され、L0またはL1の参照インデックスを指定することにより参照ピクチャを特定することができる。L0予測PredL0はL0で管理されている参照ピクチャを参照するインター予測であり、L1予測PredL1はL1で管理されている参照ピクチャを参照するインター予測であり、双予測PredBIはL0予測とL1予測が共に行われ、L0とL1のそれぞれで管理されている1つずつの参照ピクチャを参照するインター予測である。Pスライスのインター予測ではL0予測のみが使用でき、Bスライスのインター予測ではL0予測、L1予測、L0予測とL1予測を平均または重み付け加算する双予測PredBIが使用できる。以降の処理において出力に添え字LXが付いている定数、変数に関しては、L0、L1ごとに処理が行われることを前提とする。マージモード、マージ候補マージモードとは、符号化/復号対象の予測ブロックの予測モード、参照インデックス、動きベクトル等のインター予測情報を符号化/復号するのではなく、符号化/復号対象の予測ブロックと同一ピクチャ内でその符号化/復号対象の予測ブロックに隣接する予測ブロック、あるいは符号化/復号対象の予測ブロックと時間的に異なる符号化/復号済みのピクチャの符号化/復号対象の予測ブロックと同一位置あるいはその付近近傍の位置に存在する予測ブロックのインター予測情報から符号化/復号対象の予測ブロックのインター予測情報を導出することによりインター予測を行うモードである。符号化/復号対象の予測ブロックと同一ピクチャ内でその符号化/復号対象の予測ブロックに隣接する予測ブロック及びその予測ブロックのインター予測情報を空間マージ候補、符号化/復号対象の予測ブロックと時間的に異なる符号化/復号済みのピクチャの符号化/復号対象の予測ブロックと同一位置あるいはその付近近傍の位置に存在する予測ブロック及びその予測ブロックのインター予測情報から導出されるインター予測情報を時間マージ候補とする。それぞれのマージ候補はマージ候補リストに登録され、マージインデックスによりインター予測で用いるマージ候補を特定する。隣接する予測ブロックについて図5、図6、図7及び図8は符号化/復号対象の予測ブロックと同一ピクチャ内でその符号化/復号対象の予測ブロックに隣接する予測ブロックを説明する図である。図9は符号化/復号対象の予測ブロックと時間的に異なる符号化/復号済みのピクチャにおいて、符号化/復号対象の予測ブロックと同一位置あるいはその付近に存在する既に符号化/復号済みの予測ブロックを説明する図である。図5、図6、図7、図8及び図9を用いて符号化/復号対象の予測ブロックの空間方向に隣接する予測ブロック、及び異なる時間の同一位置の予測ブロックについて説明する。図5に示すように、符号化/復号対象の予測ブロックと同一ピクチャ内でその符号化/復号対象の予測ブロックの左側の辺に隣接する予測ブロックA、上側の辺に隣接する予測ブロックB、右上の頂点に隣接する予測ブロックC、左下の頂点に隣接する予測ブロックD、および左上の頂点に隣接する予測ブロックEを空間方向に隣接する予測ブロックと定義する。なお、図6に示すように、符号化/復号対象の予測ブロックの左側の辺に隣接する予測ブロックのサイズが符号化/復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては左側の辺に隣接する予測ブロックの中で最も下の予測ブロックA10だけを左側の辺に隣接する予測ブロックAとする。同様に、符号化/復号対象の予測ブロックの上側の辺に隣接する予測ブロックのサイズが符号化/復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては左側の辺に隣接する予測ブロックの中で最も右の予測ブロックB10だけを上側の辺に隣接する予測ブロックB1とする。なお、図7に示すように、符号化/復号対象の予測ブロックの左側に隣接する予測ブロックFのサイズが符号化/復号対象の予測ブロックより大きい場合にも、前記条件に従い、左側に隣接する予測ブロックFがその符号化/復号対象の予測ブロックの左側の辺に隣接していれば予測ブロックAとし、符号化/復号対象の予測ブロックの左下の頂点に隣接していれば予測ブロックDとし、符号化/復号対象の予測ブロックの左上の頂点に隣接していれば予測ブロックEとする。図6の例では、予測ブロックA、予測ブロックE及び予測ブロックEは同一の予測ブロックとなる。なお、図8に示すように、符号化/復号対象の予測ブロックの上側に隣接する予測ブロックGのサイズが符号化/復号対象の予測ブロックより大きい場合にも、前記条件に従い、上側に隣接する予測ブロックGがその符号化/復号対象の予測ブロックの上側の辺に隣接していれば予測ブロックBとし、符号化/復号対象の予測ブロックの右上の頂点に隣接していれば予測ブロックCとし、符号化/復号対象の予測ブロックの左上の頂点に隣接していれば予測ブロックEとする。図8の例では、予測ブロックB、予測ブロックC及び予測ブロックEは同一の予測ブロックとなる。図9に示すように、符号化/復号対象の予測ブロックと時間的に異なる符号化/復号済みのピクチャにおいて、符号化/復号対象の予測ブロックと同一位置あるいはその付近に存在する既に符号化/復号済みの予測ブロックT0およびT1を異なる時間の同一位置の予測ブロックと定義する。POCについてPOCは符号化されるピクチャに関連付けられる変数とし、ピクチャの出力/表示順序で1ずつ増加する値が設定される。POCの値によって、同じピクチャであるかを判別したり、出力/表示順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりすることができる。例えば、2つのピクチャのPOCが同じ値を持つ場合、同一のピクチャであると判断できる。2つのピクチャのPOCが違う値を持つ場合、POCの値が小さいピクチャのほうが、先に出力/表示されるピクチャであると判断でき、2つのピクチャのPOCの差が時間軸方向でのピクチャ間距離を示す。以下、図面と共に本発明の実施の形態を説明する。図1は本発明の実施の形態に係る動画像符号化装置の構成を示すブロック図である。実施の形態の動画像符号化装置は、画像メモリ101、動きベクトル検出部102、差分動きベクトル算出部103、インター予測情報導出部104、動き補償予測部105、イントラ予測部106、予測方法決定部107、残差信号生成部108、直交変換量子化部109、第1の符号化ビット列生成部110、第2の符号化ビット列生成部111、多重化部112、逆量子化逆直交変換部113、復号画像信号重畳部114、符号化情報格納メモリ115、および復号画像メモリ116を備える。画像メモリ101は、撮影/表示時間順に供給された符号化対象のピクチャの画像信号を一時格納する。画像メモリ101は、格納された符号化対象のピクチャの画像信号を、所定の画素ブロック単位で、動きベクトル検出部102、予測方法決定部107、および残差信号生成部108に供給する。その際、撮影/表示時間順に格納されたピクチャの画像信号は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ101から出力される。動きベクトル検出部102は、画像メモリ101から供給される画像信号と復号画像メモリ116から供給される参照ピクチャ間でブロックマッチング等により各予測ブロックサイズ、各予測モードのそれぞれの動きベクトルを各予測ブロック単位で検出し、検出された動きベクトルを動き補償予測部105、差分動きベクトル算出部103、および予測方法決定部107に供給する。差分動きベクトル算出部103は、符号化情報格納メモリ115に記憶されている既に符号化された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を算出して予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から最適な予測動きベクトルを選択し、動きベクトル検出部102が検出した動きベクトルと予測動きベクトルから差分動きベクトルを算出し、算出された差分動きベクトルを予測方法決定部107に供給する。さらに、予測動きベクトルリストに登録された予測動きベクトルの候補から選択された予測動きベクトルを特定する予測動きベクトルインデックスを予測方法決定部107に供給する。インター予測情報導出部104は、マージモードでのマージ候補を導出する。符号化情報格納メモリ115に記憶されている既に符号化された予測ブロックの符号化情報を用いて、複数のマージ候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から適したマージ候補を選択し、選択されたマージ候補の各予測ブロックのL0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0xPyPpredFlagL1xPyP、参照インデックスrefIdxL0xPyPrefIdxL1xPyP、動きベクトルmvL0xPyPmvL1xPyP等のインター予測情報を動き補償予測部105に供給するとともに、選択されたマージ候補を特定するマージインデックスを予測方法決定部107に供給する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報導出部104の詳細な構成と動作は後述する。動き補償予測部105は、動きベクトル検出部102およびインター予測情報導出部104により検出された動きベクトルを用いて参照ピクチャからインター予測動き補償予測により予測画像信号を生成し、予測画像信号を予測方法決定部107に供給する。なお、L0予測、及びL1予測では、片方向の予測を行う。双予測PredBIの場合は、双方向の予測を行い、L0予測、L1予測のそれぞれのインター予測された信号に適応的に重み係数を掛け算し、オフセット値を加算して重畳し、最終的な予測画像信号を生成する。イントラ予測部106は、各イントラ予測モードについてイントラ予測を行う。復号画像メモリ211に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、複数のイントラ予測モードの中から適したイントラ予測モードを選択し、選択されたイントラ予測モード、及び選択されたイントラ予測モードに応じた予測画像信号を予測方法決定部107に供給する。予測方法決定部107は符号化情報及び残差信号の符号量、予測画像信号と画像信号との間の歪量等を評価することにより、複数の予測方法の中から、最適な符号化ブロック単位でインター予測PREDINTERかイントラ予測PREDINTRAかを判別する予測モードPredMode、分割モードPartModeを決定し、インター予測PREDINTERでは予測ブロック単位でマージモードか否かを決定し、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、L0、L1の参照インデックス、差分動きベクトル等を決定して、決定に応じた符号化情報を第1の符号化ビット列生成部110に供給する。さらに、予測方法決定部107は、決定された予測方法を示す情報、及び決定された予測方法に応じた動きベクトル等を含む符号化情報を符号化情報格納メモリ115に格納する。ここで格納する符号化情報は、各符号化ブロックの予測モードPredMode、分割モードPartMode、各予測ブロックのL0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0xPyPpredFlagL1xPyP、L0、L1の参照インデックスrefIdxL0xPyPrefIdxL1xPyP、L0、L1の動きベクトルmvL0xPyPmvL1xPyP等である。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。なお、予測モードPredModeがインター予測MODEINTERの場合、L0予測を利用するかどうかを示すフラグpredFlagL0xPyP、L1予測を利用するかどうかを示すフラグpredFlagL1xPyPは共に0である。一方、予測モードPredModeがインター予測MODEINTERで、インター予測モードがL0予測PredL0の場合、L0予測を利用するかどうかを示すフラグpredFlagL0xPyPは1L1予測を利用するかどうかを示すフラグpredFlagL1xPyPは0である。インター予測モードがL1予測PredL1の場合、L0予測を利用するかどうかを示すフラグpredFlagL0xPyPは0L1予測を利用するかどうかを示すフラグpredFlagL1xPyPは1である。インター予測モードが双予測PredBIの場合、L0予測を利用するかどうかを示すフラグpredFlagL0xPyP、L1予測を利用するかどうかを示すフラグpredFlagL1xPyPは共に1である。予測方法決定部107は、決定された予測モードに応じた予測画像信号を残差信号生成部108と復号画像信号重畳部114に供給する。残差信号生成部108は、符号化する画像信号と予測画像信号との減算を行うことにより残差信号を生成し、直交変換量子化部109に供給する。直交変換量子化部109は、残差信号に対して量子化パラメータに応じて直交変換及び量子化を行い直交変換量子化された残差信号を生成し、第2の符号化ビット列生成部111と逆量子化逆直交変換部113に供給する。さらに、直交変換量子化部109は、量子化パラメータを符号化情報格納メモリ115に格納する。第1の符号化ビット列生成部110は、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報に加えて、符号化ブロック及び予測ブロック毎に予測方法決定部107によって決定された予測方法に応じた符号化情報を符号化する。具体的には、符号化ブロック毎の予測モードPredMode、分割モードPartMode、インター予測PREDINTERの場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトルに関する情報等の符号化情報を後述する規定のシンタックス規則に従って符号化して第1の符号化ビット列を生成し、多重化部112に供給する。第2の符号化ビット列生成部111は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第2の符号化ビット列を生成し、多重化部112に供給する。多重化部112で、第1の符号化ビット列と第2の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。逆量子化逆直交変換部113は、直交変換量子化部109から供給された直交変換量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部114に供給する。復号画像信号重畳部114は、予測方法決定部107による決定に応じた予測画像信号と逆量子化逆直交変換部113で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ116に格納する。なお、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、復号画像メモリ116に格納されることもある。図2は図1の動画像符号化装置に対応した本発明の実施の形態に係る動画像復号装置の構成を示すブロックである。実施の形態の動画像復号装置は、分離部201、第1符号化ビット列復号部202、第2符号化ビット列復号部203、動きベクトル算出部204、インター予測情報導出部205、動き補償予測部206、イントラ予測部207、逆量子化逆直交変換部208、復号画像信号重畳部209、符号化情報格納メモリ210、および復号画像メモリ211を備える。図2の動画像復号装置の復号処理は、図1の動画像符号化装置の内部に設けられている復号処理に対応するものであるから、図2の動き補償予測部206、逆量子化逆直交変換部208、復号画像信号重畳部209、符号化情報格納メモリ210、および復号画像メモリ211の各構成は、図1の動画像符号化装置の動き補償予測部105、逆量子化逆直交変換部113、復号画像信号重畳部114、符号化情報格納メモリ115、および復号画像メモリ116の各構成とそれぞれ対応する機能を有する。分離部201に供給されるビットストリームは規定のシンタックスの規則に従って分離し、分離された符号化ビット列が第1符号化ビット列復号部202、第2符号化ビット列復号部203に供給される。第1符号化ビット列復号部202は、供給された符号化ビット列を復号して、シーケンス、ピクチャ、スライス、符号化ブロック単位の情報、及び、予測ブロック単位の符号化情報を得る。具体的には、符号化ブロック単位でインター予測PREDINTERかイントラ予測PREDINTRAかを判別する予測モードPredMode、分割モードPartMode、インター予測PREDINTERの場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトル等に関する符号化情報を後述する規定のシンタックス規則に従って復号し、符号化情報を動きベクトル算出部204、インター予測情報導出部205またはイントラ予測部207に供給する。第2符号化ビット列復号部203は、供給された符号化ビット列を復号して直交変換量子化された残差信号を算出し、直交変換量子化された残差信号を逆量子化逆直交変換部208に供給する。動きベクトル算出部204は、復号対象の予測ブロックの予測モードPredModeがインター予測PREDINTERでマージモードでない時に、符号化情報格納メモリ210に記憶されている既に復号された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を導出して後述する予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から、第1符号化ビット列復号部202で復号され供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、第1符号化ビット列復号部202で復号された差分ベクトルと選択された予測動きベクトルから動きベクトルを算出し、他の符号化情報とともに動き補償予測部206に供給するとともに、符号化情報格納メモリ210に格納する。ここで供給格納する予測ブロックの符号化情報は、予測モードPredMode、分割モードPartMode、L0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0xPyPpredFlagL1xPyP、L0、L1の参照インデックスrefIdxL0xPyPrefIdxL1xPyP、L0、L1の動きベクトルmvL0xPyPmvL1xPyP等である。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。予測モードPredModeがインター予測MODEINTERで、インター予測モードがL0予測PredL0の場合、L0予測を利用するかどうかを示すフラグpredFlagL0は1L1予測を利用するかどうかを示すフラグpredFlagL1は0である。インター予測モードがL1予測PredL1の場合、L0予測を利用するかどうかを示すフラグpredFlagL0は0L1予測を利用するかどうかを示すフラグpredFlagL1は1である。インター予測モードが双予測PredBIの場合、L0予測を利用するかどうかを示すフラグpredFlagL0、L1予測を利用するかどうかを示すフラグpredFlagL1は共に1である。インター予測情報導出部205は、復号対象の予測ブロックの予測モードPredModeがインター予測PREDINTERでマージモードの時に、マージ候補を導出する。符号化情報格納メモリ115に記憶されている既に復号された予測ブロックの符号化情報を用いて、複数のマージの候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から第1符号化ビット列復号部202で復号され供給されるマージインデックスに対応したマージ候補を選択し、選択されたマージ候補のL0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0xPyPpredFlagL1xPyP、L0、L1の参照インデックスrefIdxL0xPyPrefIdxL1xPyP、L0、L1の動きベクトルmvL0xPyPmvL1xPyP等のインター予測情報を動き補償予測部206に供給するとともに、符号化情報格納メモリ210に格納する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報導出部205の詳細な構成と動作は後述する。動き補償予測部206は、動きベクトル算出部204またはインター予測情報導出部205で算出されたインター予測情報を用いて復号画像メモリ211に格納されている参照ピクチャからインター予測動き補償予測により予測画像信号を生成し、予測画像信号を復号画像信号重畳部209に供給する。なお、双予測PredBIの場合は、L0予測、L1予測の2つの動き補償予測画像信号に適応的に重み係数を掛け算して重畳し、最終的な予測画像信号を生成する。イントラ予測部207は、復号対象の予測ブロックの予測モードPredModeがイントラ予測PREDINTRAの時に、イントラ予測を行う。第1符号化ビット列復号部で復号された符号化情報にはイントラ予測モードが含まれており、イントラ予測モードに応じて、復号画像メモリ211に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、予測画像信号を復号画像信号重畳部209に供給する。L0予測、及びL1予測を利用するかどうかを示すフラグpredFlagL0xPyPpredFlagL1xPyPを共に0に設定し、符号化情報格納メモリ210に格納する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。逆量子化逆直交変換部208は、第1符号化ビット列復号部202で復号された直交変換量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換逆量子化された残差信号を得る。復号画像信号重畳部209は、動き補償予測部206でインター予測された予測画像信号、またはイントラ予測部207でイントラ予測された予測画像信号と、逆量子化逆直交変換部208により逆直交変換逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、復号画像メモリ211に格納する。復号画像メモリ211に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ211に格納されることもある。シンタックスについて次に、本実施の形態に係る動きベクトルの予測方法を備える動画像符号化装置により符号化され、復号装置により復号される動画像のビットストリームの符号化および復号の共通規則であるシンタックスについて説明する。図10は本実施の形態により生成されるビットストリームのスライス単位でスライスヘッダーに記述される第1のシンタックス構造を示す。ただし、本実施の形態に関係のあるシンタックス要素のみを示している。スライスタイプがBスライスの場合は、時間方向の予測動きベクトルの候補、またはマージ候補を導出する際に用いる異なる時間のピクチャcolPicが処理対象の予測ブロックが含まれるピクチャのL0の参照リスト或いはL1の参照リストのどちらに登録されている参照ピクチャを使用するかを示すフラグcollocatedfroml0flagが設置される。フラグcollocatedfroml0flagの詳細については後述する。なお、以上のシンタックス要素はピクチャ単位で設定されるシンタックス要素を記述するピクチャパラメータセットに設置してもよい。図11は予測ブロック単位に記述されるシンタックスパターンを示す。予測ブロックの予測モードPredModeの値がインター予測MODEINTERの場合、マージモードかどうかを示すmergeflagx0y0が設置される。ここで、x0、y0は輝度信号のピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、mergeflagx0y0はピクチャ内のに位置する予測ブロックのマージモードかどうかを示すフラグである。次に、mergeflagx0y0が1の場合、マージモードであることを示し、参照するマージ候補のリストであるマージリストのインデックスのシンタックス要素mergeidxx0y0が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、mergeidxx0y0はピクチャ内のに位置する予測ブロックのマージインデックスである。図12はマージインデックスのシンタックス要素mergeidxx0y0のエントロピー符号の一例である。本発明の本実施の形態においてはマージの候補数を5と設定する。マージインデックスが01234の時、マージインデックスのシンタックス要素mergeidxx0y0の符号はそれぞれ0、10、110、1110、1111となる。一方、mergeflagx0y0が0の場合、マージモードでないことを示し、スライスタイプがBスライスの場合、インター予測モードを識別するシンタックス要素interpredflagx0y0が設置され、このシンタックス要素でL0予測PredL0、L1予測PredL1、双予測PredBIを識別する。L0、L1ごとに、参照ピクチャを特定するための参照インデックスのシンタックス要素refidxl0x0y0、refidxl1x0y0、動きベクトル検出にて求められた予測ブロックの動きベクトルと予測動きベクトルとの差分である差分動きベクトルのシンタックス要素mvdl0x0y0j、mvdl1x0y0jが設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、refidxl0x0y0、mvdl0x0y0jはそれぞれピクチャ内のに位置する予測ブロックのL0の参照インデックス、及び差分動きベクトルであり、refidxl1x0y0、mvdl1x0y0jはそれぞれピクチャ内のに位置する予測ブロックのL1の参照インデックス、及び差分動きベクトルである。また、jは差分動きベクトルの成分を表し、jが0はx成分を、jが1はy成分を表す。次に、参照する予測動きベクトルの候補のリストである予測動きベクトルリストのインデックスのシンタックス要素mvpidxl0x0y0、mvpidxl1x0y0が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、mvpidxl0x0y0、mvpidxl1x0y0はピクチャ内のに位置する予測ブロックのL0、L1の予測動きベクトルインデックスである。本発明の本実施の形態においてはこれらの候補数の値を2と設定する。実施の形態に係るインター予測情報導出方法は、図1の動画像符号化装置のインター予測情報導出部104及び図2の動画像復号装置のインター予測情報導出部205において実施される。実施の形態に係るインター予測情報導出方法を図面を用いて説明する。動きベクトルの予測方法は、符号化ブロックを構成する予測ブロック単位に、符号化及び復号の処理の何れでも実施される。予測ブロックの予測モードPredModeがインター予測MODEINTERで、マージモードの場合に、符号化の場合、符号化済みの予測ブロックの予測モード、参照インデックス、動きベクトルを利用して符号化対象の予測ブロックの予測モード、参照インデックス、動きベクトルを導出する際、復号の場合、復号済みの予測ブロックの予測モード、参照インデックス、動きベクトルを利用して復号対象の予測ブロックの予測モード、参照インデックス、動きベクトルを導出する際に実施される。マージモードは図5、図6、図7及び図8を用いて説明した左に隣接する予測ブロックA、上に隣接する予測ブロックB、右上に隣接する予測ブロックC、左下に隣接する予測ブロックD、左上に隣接する予測ブロックEに加えて、図9を用いて説明した異なる時間の同一位置あるいはその付近に存在する予測ブロックColT0、T1のいずれかの5つの予測ブロックを候補とする。動画像符号化装置のインター予測情報導出部104、及び動画像復号装置のインター予測情報導出部205はそれらの候補を符号化側と復号側で共通の規定の順序でマージ候補リストに登録し、動画像符号化装置のインター予測情報導出部104がマージ候補リストの要素を特定するマージインデックスを決定して第1の符号化ビット列生成部を経由して符号化し、動画像復号装置のインター予測情報導出部205は第1符号化ビット列復号部202で復号されたマージインデックスが供給されて、そのマージインデックスに応じた予測ブロックをマージ候補リストから選択し、その選択されたマージ候補の予測モード、参照インデックス、動きベクトル等のインター予測情報を用いて、動き補償予測を行う。図13は、図1の動画像符号化装置のインター予測情報導出部104の詳細な構成を示す図である。また、図14は、図2の動画像復号装置のインター予測情報導出部205の詳細な構成を示す図である。図13及び図14の太枠線で囲まれる部分はそれぞれ、インター予測情報導出部104及びインター予測情報導出部205を示している。更に、それらの内部の太点線で囲まれる部分は後述するインター予測情報導出方法の動作部を示しており、実施の形態の動画像符号化装置と対応する動画像復号装置にも同様に設置され、符号化と復号で矛盾しない同一の判定結果を得られるようにしている。インター予測情報導出部104は、空間マージ候補生成部130、時間マージ候補の参照インデックス導出部131、時間マージ候補生成部132、マージ候補登録部133、マージ候補同一判定部134、マージ候補補充部135、および符号化情報選択部136を含む。インター予測情報導出部205は、空間マージ候補生成部230、時間マージ候補の参照インデックス導出部231、時間マージ候補生成部232、マージ候補登録部233、マージ候補同一判定部234、マージ候補補充部235、および符号化情報選択部236を含む。図15は本発明の実施の形態による動画像符号化装置のインター予測情報導出部104及び動画像復号装置のインター予測情報導出部205とで共通する機能を有するマージ候補の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートである。以下、諸過程を順を追って説明する。なお、以下の説明においては特に断りのない限りスライスタイプslicetypeがBスライスの場合について説明するが、Pスライスの場合にも適用できる。ただし、スライスタイプslicetypeがPスライスの場合、インター予測モードとしてL0予測PredL0だけがあり、L1予測PredL1、双予測PredBIがないので、L1に纏わる処理を省略することができる。動画像符号化装置のインター予測情報導出部104の空間マージ候補生成部130及び動画像復号装置のインター予測情報導出部205の空間マージ候補生成部230では、符号化/復号対象ブロックに隣接するそれぞれの予測ブロックA,B,C,D,Eからの空間マージ候補A,B,C,D,Eを導出する。ここで、A,B,C,D,EまたはColのいずれかを示すNを定義する。予測ブロックNのインター予測情報がマージ候補Nとして利用できるかどうかを示すフラグavailableFlagN、L0の参照インデックスrefIdxL0N及びL1の参照インデックスrefIdxL1N、L0予測が行われるかどうかを示すL0予測フラグpredFlagL0NおよびL1予測が行われるかどうかを示すL1予測フラグpredFlagL1N、L0の動きベクトルmvL0N、L1の動きベクトルmvL1Nを出力するステップS101。ステップS101の詳細な処理手順については図16のフローチャートを用いて後ほど詳細に説明する。続いて、動画像符号化装置のインター予測情報導出部104の時間マージ候補の参照インデックス導出部131及び動画像復号装置のインター予測情報導出部205の時間マージ候補の参照インデックス導出部231では、符号化/復号対象ブロックに隣接する予測ブロックから時間マージ候補の参照インデックスを導出するステップS102。スライスタイプslicetypeがPスライスで時間マージ候補のインター予測情報を用いてインター予測を行う場合は、L0予測PredL0を行うために、L0の参照インデックスだけを導出し、スライスタイプslicetypeがBスライスで時間マージ候補のインター予測情報を用いてインター予測を行う場合は、双予測PredBIを行うために、L0とL1のそれぞれの参照インデックスを導出する。ステップS102の詳細な処理手順については図17のフローチャートを用いて後ほど詳細に説明する。続いて、動画像符号化装置のインター予測情報導出部104の時間マージ候補生成部132及び動画像復号装置のインター予測情報導出部205の時間マージ候補生成部232では、異なる時間のピクチャからの時間マージ候補を導出し、利用できるかどうかを示すフラグavailableFlagCol、L0予測が行われるかどうかを示すL0予測フラグpredFlagL0ColおよびL1予測が行われるかどうかを示すL1予測フラグpredFlagL1Col、及びL0の動きベクトルmvL0N、L1の動きベクトルmvL1Nを出力するステップS103。ステップS103の詳細な処理手順については図22のフローチャートを用いて後ほど詳細に説明する。続いて、動画像符号化装置のインター予測情報導出部104のマージ候補登録部133及び動画像復号装置のインター予測情報導出部205のマージ候補登録部233では、マージ候補リストmergeCandListを作成し、予測ベクトルの候補A,B,C,D,E,Colを追加するステップS104。ステップS104の詳細な処理手順については図43のフローチャートを用いて後ほど詳細に説明する。続いて、動画像符号化装置のインター予測情報導出部104のマージ候補同一判定部134及び動画像復号装置のインター予測情報導出部205のマージ候補同一判定部234では、マージ候補リストmergeCandList内で、マージ候補が同じ参照インデックスの動きベクトルが同じ値を持っている場合に、最も小さい順番のマージ候補を除いてそのマージ候補を取り除くステップS105。続いて、動画像符号化装置のインター予測情報導出部104のマージ候補補充部135及び動画像復号装置のインター予測情報導出部205のマージ候補補充部235では、マージ候補リストmergeCandList内に登録されているマージ候補の数が規定数となるようにマージ候補を補充するステップS106。なお、本実施の形態ではマージ候補の数を5と規定する。マージ候補リストmergeCandList内に登録されるマージ候補の数が5を上限として、すでに登録されているマージ候補同士のL0予測とL1予測の組み合わせを変更した予測モードが双予測PredBIのマージ候補や異なる参照インデックスで動きベクトルが0,0の値を持つ予測モードが双予測PredBIのマージ候補を追加する。次に、図15のステップS101の処理手順である符号化/復号対象ブロックに隣接する予測ブロックNからのマージ候補Nの導出方法について詳細に説明する。図16は図15のステップS101の空間マージ候補導出処理手順を説明するフローチャートである。Nには隣接する予測ブロックの領域を表すA左側、B上側、C右上、D左下またはE左上が入る。なお、本実施の形態においては、隣接する5つの予測ブロックから最大4つの空間マージ候補を導出する。図15で、変数NをAとして符号化/復号対象の予測ブロックの左側に隣接する予測ブロックAの符号化情報を調べてマージ候補Aを導出し、変数NをBとして上側に隣接する予測ブロックBの符号化情報を調べてマージ候補Bを導出し、変数NをCとして右上側に隣接する予測ブロックCの符号化情報を調べてマージ候補Cを導出し、変数NをDとして左下側に隣接する予測ブロックDの符号化情報を調べてマージ候補Dを導出し、変数NをEとして左上側に隣接する予測ブロックEの符号化情報を調べてマージ候補Eを導出するステップS1101~ステップS1112。まず、変数NがEで、フラグavailableFlagAavailableFlagBavailableFlagCavailableFlagDの値を加算して合計が4の場合ステップS1102のYES、すなわち4つの空間マージ候補が導出された場合、マージ候補EのフラグavailableFlagEを0に設定しステップS1105、マージ候補Eの動きベクトルmvL0EmvL1Eの値を共に0,0に設定しステップS1106、マージ候補EのフラグpredFlagL0E、predFlagL1Eの値を共に0に設定しステップS1107、本空間マージ候補導出処理を終了する。本実施の形態においては、隣接する予測ブロックから4つのマージ候補を導出するので、既に4つの空間マージ候補が導出された場合はそれ以上の空間マージ候補の導出処理を行う必要がない。一方、変数NがEでないか、フラグavailableFlagAavailableFlagBavailableFlagCavailableFlagDの値を加算して合計が4でない場合ステップS1102のNO、符号化/復号対象の予測ブロックに隣接する予測ブロックNを特定し、それぞれの予測ブロックNが利用できる場合は符号化情報格納メモリ115または210から予測ブロックNの符号化情報を取得するステップS1103。隣接する予測ブロックNが利用できないか、予測ブロックNの予測モードPredModeがイントラ予測MODEINTRAである場合ステップS1104のNO、マージ候補NのフラグavailableFlagNの値を0に設定しステップS1105、マージ候補Nの動きベクトルmvL0NmvL1Nの値を共に0,0に設定しステップS1106、マージ候補NのフラグpredFlagL0N、predFlagL1Nの値を共に0に設定するステップS1107。一方、隣接する予測ブロックNが利用でき、予測ブロックNの予測モードPredModeがイントラ予測MODEINTRAでない場合ステップS1104のYES、予測ブロックNのインター予測情報をマージ候補Nのインター予測情報とする。マージ候補NのフラグavailableFlagNの値を1に設定しステップS1108、マージ候補Nの動きベクトルmvL0NmvL1Nをそれぞれ予測ブロックNの動きベクトルmvL0NxNyNmvL1NxNyNと同じ値に設定しステップS1109、マージ候補Nの参照インデックスrefIdxL0NrefIdxL1Nをそれぞれ予測ブロックNの参照インデックスrefIdxL0xNyNrefIdxL1xNyNと同じ値に設定しステップS1110、マージ候補NのフラグpredFlagL0NpredFlagL1Nをそれぞれ予測ブロックNのフラグpredFlagL0xNyNpredFlagL1xNyNに設定するステップS1111。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すインデックスである。以上のステップS1102~ステップS1111の処理をN=A,B,C,D,Eについてそれぞれ繰り返すステップS1101~ステップS1112。次に、図15のS102の時間マージ候補の参照インデックスを導出する方法について詳細に説明する。時間マージ候補のL0とL1のそれぞれの参照インデックスを導出する。本実施の形態においては、空間マージ候補の参照インデックス、即ち符号化/復号対象ブロックに隣接する予測ブロックで利用された参照インデックスを利用して時間マージ候補の参照インデックスを導出する。これは、時間マージ候補が選択される場合において、符号化/復号対象の予測ブロックの参照インデックスは空間マージ候補となる符号化/復号対象ブロックに隣接する予測ブロックの参照インデックスと高い相関を持つからである。特に、本実施の形態においては、符号化/復号対象の予測ブロックの左の辺に隣接する予測ブロックA、及び上の辺に隣接する予測ブロックBの参照インデックスだけを利用する。なぜなら、空間マージ候補でもある隣接する予測ブロックA,B,C,D,Eの中でも符号化/復号対象の予測ブロックの辺に接している予測ブロックA,Bは、符号化/復号対象の予測ブロックの頂点のみに接している予測ブロックC,D,Eよりも相関が高いからである。相対的に相関の低い予測ブロックC,D,Eを利用せずに、利用する予測ブロックを予測ブロックA,Bに限定することで、時間マージ候補の参照インデックスの導出による符号化効率の改善効果を得るとともに、時間マージ候補の参照インデックス導出処理に関する演算量及びメモリアクセス量を削減する。以下、本実施の形態をいくつかの実施例に分けて説明する。まず、本実施の形態の実施例1について説明する。本実施の形態の実施例1では、予測ブロックA、予測ブロックBが共にLX予測L0またはL1で、時間マージ候補の参照インデックスの導出対象のリストをLXとし、LXを用いた予測をLX予測とする。以下、断りのない限り、この意味で用いる。を行う場合は予測ブロックA、予測ブロックBのLXの参照インデックスの値の小さい方を時間マージ候補のLXの参照インデックスの値として採用する。ただし、予測ブロックA、予測ブロックBのいずれか一方しかLX予測を行わない場合はLX予測を行う方の予測ブロックのLXの参照インデックスの値を時間マージ候補のLXの参照インデックスの値として採用し、予測ブロックA、予測ブロックBが共にLX予測を行わない場合は時間マージ候補のLXの参照インデックスの値をデフォルト値の0とする。予測ブロックA、予測ブロックBが共にLX予測を行わない場合に時間マージ候補のLXの参照インデックスのデフォルト値を0とする理由は、インター予測において参照インデックスの値が0に対応する参照ピクチャが最も選択される確率が高いからである。ただし、これに限定されず、参照インデックスのデフォルト値を0以外の値1、2などとしても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。図17は本実施の形態の実施例1の方法による図15のステップS102の時間マージ候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、符号化情報格納メモリ115または210から左に隣接する予測ブロックAの符号化情報、及び予測ブロックBの符号化情報を取得するステップS2101、ステップS2102。続くステップS2104からステップS2110までの処理をL0,L1それぞれにおいて行うステップS2103~S2111。なお、時間マージ候補のL0の参照インデックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際にはLXはL1に設定される。ただし、スライスタイプslicetypeがPスライスの場合、インター予測モードとしてL0予測PredL0だけがあり、L1予測PredL1、双予測PredBIがないので、L1に纏わる処理を省略することができる。予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLXxAyAと予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLXxByBが共に0でない場合ステップS2104のYES、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックAのLXの参照インデックスrefIdxLXxAyAと予測ブロックBのLXの参照インデックスrefIdxLXxByBの値の小さい方と同じ値に設定するステップS2105。ここで、xA、yAはピクチャ内での予測ブロックAの左上の画素の位置を示すインデックスである。ここで、xB、yBはピクチャ内での予測ブロックBの左上の画素の位置を示すインデックスである。なお、本実施の形態においては、予測ブロックNN=A,Bにおいて、予測ブロックNが符号化/復号対象のスライス外で利用できない場合や予測ブロックNが符号化/復号順序で符号化/復号対象の予測ブロックよりも後のために符号化/復号されておらず利用できない場合や予測ブロックNの予測モードPredModeがインター予測MODEINTERの場合、L0予測を利用するかどうかを示すフラグpredFlagL0xNyN、予測ブロックNのL1予測を利用するかどうかを示すフラグpredFlagL1xNyNは共に0である。ここで、xN、yNはピクチャ内での予測ブロックNの左上の画素の位置を示すインデックスである。予測ブロックNの予測モードPredModeがインター予測MODEINTERで、インター予測モードがL0予測PredL0の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFlagL0xNyNは1L1予測を利用するかどうかを示すフラグpredFlagL1xNyNは0である。予測ブロックNのインター予測モードがL1予測PredL1の場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFlagL0xNyNは0L1予測を利用するかどうかを示すフラグpredFlagL1xNyNは1である。予測ブロックNのインター予測モードが双予測PredBIの場合、予測ブロックNのL0予測を利用するかどうかを示すフラグpredFlagL0xNyN、L1予測を利用するかどうかを示すフラグpredFlagL1xNyNは共に1である。予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLXxAyAが0でなく、予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLXxByBが0である場合ステップS2104のNOで、ステップS2106のYES、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックAのLXの参照インデックスrefIdxLXxAyAと同じ値に設定するステップS2107。ここで、xA、yAはピクチャ内での予測ブロックAの左上の画素の位置を示すインデックスであり、xB、yBはピクチャ内での予測ブロックBの左上の画素の位置を示すインデックスである。予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLXxAyAが0であり、予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLXxByBが0でない場合ステップS2104のNOで、ステップS2106のNOで、ステップS2108のYES、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックBのLXの参照インデックスpredFlagLXxByBと同じ値に設定するステップS2109。予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLXxAyAと予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLXxByBが共に0である場合ステップS2104のNOで、ステップS2106のNOで、ステップS2108のNO、時間マージ候補のLXの参照インデックスrefIdxLXColをデフォルト値の0に設定するステップS2110。L0,L1それぞれにおいて行うステップS2104からステップS2110までの処理を行いステップS2103~S2111、本参照インデックス導出処理を終了する。次に、本実施の形態の実施例1の変形例である実施例2について説明する。本実施の形態の実施例2は実施例1と処理手順は異なるが同一の結果が得られる。実施例2においても、実施例1と同様に左の辺に隣接する予測ブロックA、及び上の辺に隣接する予測ブロックBの参照インデックスを利用し、予測ブロックA、予測ブロックBのLXの参照インデックスの値の小さい方を時間マージ候補のLXの参照インデックスの値として採用する。ただし、予測ブロックA、予測ブロックBでLX予測を行わない場合は予測ブロックのLXの参照インデックスの値を大きな値に設定しておく点が異なる。これにより、LX予測を行う場合とLX予測を行わない場合とを区別せずに条件判定を行うことができ、より小さい参照インデックスの値を取得すればLX予測を行う参照インデックスの値を取得することができるため、処理を簡略化できる。図18は本実施の形態の実施例2の方法による図15のステップS102の時間マージ候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、符号化情報格納メモリ115または210から左に隣接する予測ブロックAの符号化情報、及び予測ブロックBの符号化情報を取得するステップS2201、ステップS2202。続くステップS2204からステップS2210までの処理をL0,L1それぞれにおいて行うステップS2203~S2211。なお、時間マージ候補のL0の参照インデックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際にはLXはL1に設定される。ただし、スライスタイプslicetypeがPスライスの場合、インター予測モードとしてL0予測PredL0だけがあり、L1予測PredL1、双予測PredBIがないので、L1に纏わる処理を省略することができる。予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLXxAyAが0でない場合ステップS2204のYES、ステップS2206に進み、フラグpredFlagLXxAyAが0である場合ステップS2204のNO、予測ブロックAのLXの参照インデックスrefIdxLXxAyAを規定値MAXREFIDXに設定するステップS2205。続いて、予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLXxByBが0でない場合ステップS2206のYES、ステップS2208に進み、フラグpredFlagLXxByBが0である場合ステップS2206のNO、予測ブロックBのLXの参照インデックスrefIdxLXxByBを規定値MAXREFIDXに設定するステップS2207。続いて、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックAのLXの参照インデックスrefIdxLXxAyAと予測ブロックBのLXの参照インデックスrefIdxLXxByBの値の小さい方と同じ値に設定するステップS2208。続いて、時間マージ候補のLXの参照インデックスrefIdxLXColが規定値MAXREFIDX野場合ステップS2209のYES、時間マージ候補のLXの参照インデックスrefIdxLXColをデフォルト値の0に設定するステップS2210。ただし、実施例1と同様に参照インデックスのデフォルト値を0以外の値1、2などとしても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。L0,L1それぞれにおいて行うステップS2204からステップS2210までの処理を行いステップS2203~S2211、本参照インデックス導出処理を終了する。次に、本実施の形態の実施例3について説明する。本実施の形態の実施例3においても、実施例1、実施例2と同様に左の辺に隣接する予測ブロックA、及び上の辺に隣接する予測ブロックBの参照インデックスを利用して時間マージ候補の参照インデックスを導出する。実施例1に対して、図17のステップS2104、ステップS2105の処理を省略し、予測ブロックA、予測ブロックBの順序で、LX予測を行うかどうかを判定して、最初に見つかったLX予測を行う予測ブロックの参照インデックスを採用することでさらに処理量を削減する点が異なる。予測ブロックAがLX予測を行う場合は予測ブロックAのLXの参照インデックスを時間マージ候補のLXの参照インデックスの値として採用し、予測ブロックAがLX予測を行わず、予測ブロックBがLX予測を行う場合は予測ブロックBのLXの参照インデックスを時間マージ候補のLXの参照インデックスの値として採用する。予測ブロックA、予測ブロックBが共にLX予測を行わない場合は時間マージ候補のLXの参照インデックスの値をデフォルト値の0とする。ただし、実施例1、実施例2と同様に実施例3においても参照インデックスのデフォルト値を0以外の値1、2などとしても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。図19は本実施の形態の実施例3の方法による図15のステップS102の時間マージ候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、符号化情報格納メモリ115または210から左に隣接する予測ブロックAの符号化情報、及び予測ブロックBの符号化情報を取得するステップS2301、ステップS2302。続くステップS2304からステップS2308までの処理をL0,L1それぞれにおいて行うステップS2303~S2309。なお、時間マージ候補のL0の参照インデックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際にはLXはL1に設定される。ただし、スライスタイプslicetypeがPスライスの場合、インター予測モードとしてL0予測PredL0だけがあり、L1予測PredL1、双予測PredBIがないので、L1に纏わる処理を省略することができる。予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLXxAyAが0でない場合ステップS2304のYES、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックAのLXの参照インデックスrefIdxLXxAyAと同じ値に設定するステップS2305。予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLXxAyAが0であり、予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLXxByBが0でない場合ステップS2304のNOで、ステップS2306のYES、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックBのLXの参照インデックスpredFlagLXxByBと同じ値に設定するステップS2307。予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLXxAyAと予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLXxByBがともに0である場合ステップS2304のNOで、ステップS2306のNO、時間マージ候補のLXの参照インデックスrefIdxLXColをデフォルト値の0に設定するステップS2308。L0,L1それぞれにおいて行うステップS2304からステップS2308までの処理を行いステップS2303~S2309、本参照インデックス導出処理を終了する。本実施の形態の実施例3においては、最初に見つかったLX予測を行う予測ブロックの参照インデックスを時間マージ候補の参照インデックスとして採用するため、実施例1や実施例2のように複数の予測ブロックの参照インデックスの大小比較を行う必要がなく、演算量が削減できる。なお、本実施の形態の実施例3においては、左の辺に隣接する予測ブロックA、上の辺に隣接する予測ブロックBの順序でLX予測を行うかどうかを判定して、最初に見つかったLX予測を行う予測ブロックの参照インデックスを時間マージ候補の参照インデックスとして採用するものとして説明したが、予測ブロックB、予測ブロックAの順序でLX予測を行うかどうかを判定して、最初に見つかった予測インデックスを採用することもできる。次に、本実施の形態の実施例4について説明する。本実施の形態の実施例4においても、実施例1、実施例2、実施例3と同様に左の辺に隣接する予測ブロックA、及び上の辺に隣接する予測ブロックBの参照インデックスを利用して時間マージ候補の参照インデックスを導出する。実施例3に対して、予測ブロックA、予測ブロックBの順序で、インター予測を行うかどうかを判定して、最初に見つかったインター予測を行う予測ブロックの予測インデックスを採用することでさらに処理量を削減する点が異なる。予測ブロックAの予測モードPredModeがインター予測MODEINTERの場合は予測ブロックAのLXの参照インデックスを時間マージ候補のLXの参照インデックスの値として採用する。その際、予測ブロックAがLX予測を行わない場合は時間マージ候補のLXの参照インデックスをデフォルト値の0とする。予測ブロックAの予測モードPredModeがインター予測MODEINTERでなく、予測ブロックBの予測モードPredModeがインター予測MODEINTERの場合は予測ブロックBのLXの参照インデックスを時間マージ候補のLXの参照インデックスの値として採用する。その際、予測ブロックBがLX予測を行わない場合は時間マージ候補のLXの参照インデックスをデフォルト値の0とする。予測ブロックA、予測ブロックBの予測モードPredModeが共にインター予測MODEINTERでない場合は時間マージ候補のLXの参照インデックスの値をデフォルト値の0とする。ただし、実施例1、実施例2、実施例3と同様に実施例4においても参照インデックスのデフォルト値を0以外の値1、2などとしても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。図20は本実施の形態の実施例4の方法による図15のステップS102の時間マージ候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、符号化情報格納メモリ115または210から左に隣接する予測ブロックAの符号化情報、及び予測ブロックBの符号化情報を取得するステップS2401、ステップS2402。続いて、予測ブロックAが利用でき、予測ブロックAの予測モードPredModeがイントラ予測MODEINTRAの場合ステップS2403のYES、即ち、予測ブロックAの予測モードPredModeがインター予測MODEINTERの場合、ステップS2404に進み、予測ブロックAの予測モードPredModeがインター予測MODEINTERでない場合、ステップS2409に進む。続くステップS2405からステップS2407までの処理をL0,L1それぞれにおいて行うステップS2404~S2408。なお、時間マージ候補のL0の参照インデックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際にはLXはL1に設定される。ただし、スライスタイプslicetypeがPスライスの場合、インター予測モードとしてL0予測PredL0だけがあり、L1予測PredL1、双予測PredBIがないので、L1に纏わる処理を省略することができる。予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLXxAyAが0でない場合ステップS2405のYES、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックAのLXの参照インデックスrefIdxLXxAyAと同じ値に設定しステップS2406、フラグpredFlagLXxAyAが0である場合ステップS2405のNO、時間マージ候補のLXの参照インデックスrefIdxLXColを0に設定するステップS2407。L0,L1それぞれにおいて行うステップS2405からステップS2407までの処理を行いステップS2404~S2408、本参照インデックス導出処理を終了する。一方、ステップS2409では、予測ブロックBが利用でき、予測ブロックBの予測モードPredModeがイントラ予測MODEINTRAの場合ステップS2409のYES、即ち、予測ブロックBの予測モードPredModeがインター予測MODEINTERの場合、ステップS2410に進み、予測ブロックAの予測モードPredModeがインター予測MODEINTERでない場合、ステップS2415に進む。続くステップS2411からステップS2413までの処理をL0,L1それぞれにおいて行うステップS2410~S2414。なお、時間マージ候補のL0の参照インデックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際にはLXはL1に設定される。ただし、スライスタイプslicetypeがPスライスの場合、インター予測モードとしてL0予測PredL0だけがあり、L1予測PredL1、双予測PredBIがないので、L1に纏わる処理を省略することができる。予測ブロックBのLX予測を行うかどうかを示すフラグpredFlagLXxByBが0でない場合ステップS2411のYES、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックBのLXの参照インデックスrefIdxLXxByBと同じ値に設定しステップS2412、フラグpredFlagLXxByBが0である場合ステップS2411のNO、時間マージ候補のLXの参照インデックスrefIdxLXColを0に設定するステップS2413。L0,L1それぞれにおいて行うステップS2410からステップS2413までの処理を行いステップS2409~S2414、本参照インデックス導出処理を終了する。一方、ステップS2415~S2417では、時間マージ候補のL0の参照インデックスrefIdxL0Col、L1の参照インデックスrefIdxL1Colを共に0に設定しステップS2416、本参照インデックス導出処理を終了する。本実施の形態の実施例4においては、時間マージ候補のL0及びL1の参照インデックスを1つの予測ブロックから導出できるため、時間マージ候補の参照インデックスを管理しやすく、時間マージ候補の符号化/復号処理が簡略化できる。なお、本実施の形態の実施例4においては、左の辺に隣接する予測ブロックA、上の辺に隣接する予測ブロックBの順序でインター予測を行うかどうかを判定して、最初に見つかったインター予測を行う予測ブロックの参照インデックスを採用するものとして説明したが、予測ブロックB、予測ブロックAの順序でインター予測を行うかどうかを判定して、最初に見つかったインター予測を行う予測ブロックの予測インデックスを採用することもできる。次に、本実施の形態の実施例5について説明する。本実施の形態の実施例5においては、左の辺に隣接する予測ブロックAの参照インデックスを利用して時間マージ候補の参照インデックスを導出する。実施例3に対して、図19のステップS2302、S2306、S2307の処理を省略することでさらに処理量を削減する点が異なる。予測ブロックAがLX予測LXは参照インデックスを導出対象のリストを行う場合は予測ブロックAのLXの参照インデックスを時間マージ候補のLXの参照インデックスの値として採用し、予測ブロックAがLX予測を行わない場合は時間マージ候補のLXの参照インデックスの値をデフォルト値の0とする。ただし、実施例1、実施例2、実施例3、実施例4と同様に実施例5においても予測ブロックAがLX予測を行わない場合に参照インデックスのデフォルト値を0以外の値1、2などとしても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。図21は本実施の形態の実施例5の方法による図15のステップS102の時間マージ候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、符号化情報格納メモリ115または210から左に隣接する予測ブロックAの符号化情報を取得するステップS2501。続くステップS2503からステップS2505までの処理をL0,L1それぞれにおいて行うステップS2502~S2506。なお、時間マージ候補のL0の参照インデックスを導出する際にはLXはL0に設定され、L1の参照インデックスを導出する際にはLXはL1に設定される。ただし、スライスタイプslicetypeがPスライスの場合、インター予測モードとしてL0予測PredL0だけがあり、L1予測PredL1、双予測PredBIがないので、L1に纏わる処理を省略することができる。予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLXxAyAが0でない場合ステップS2503のYES、時間マージ候補のLXの参照インデックスrefIdxLXColを予測ブロックAのLXの参照インデックスrefIdxLXxAyAと同じ値に設定するステップS2504。予測ブロックAのLX予測を行うかどうかを示すフラグpredFlagLXxAyAが0である場合ステップS2503のNO、時間マージ候補のLXの参照インデックスrefIdxLXColを0に設定するステップS2505。L0,L1それぞれにおいて行うステップS2503からステップS2505までの処理を行いステップS2502~S2506、本参照インデックス導出処理を終了する。なお、本実施の形態の実施例5においては、左の辺に隣接する予測ブロックAの参照インデックスを利用して時間マージ候補の参照インデックスを導出するものとして説明したが、左の辺に隣接する予測ブロックAの代わりに、上の辺に隣接する予測ブロックBを利用して時間マージ候補の参照インデックスを導出することもできる。次に、図15のS103の異なる時間のマージ候補の導出方法について詳細に説明する。図22は図15のステップS103の時間マージ候補導出処理手順を説明するフローチャートである。まず、スライスタイプslicetypeと前述のフラグcollocatedfroml0flagにより、異なる時間のピクチャcolPicを導出するステップS3101。図23は図22のステップS3101の異なる時間のピクチャcolPicの導出処理手順を説明するフローチャートである。スライスタイプslicetypeがBスライスで、前述のフラグcollocatedfroml0flagが0の場合ステップS3201のYES、ステップS3202のYES、RefPicList10、すなわち参照リストL1の参照インデックスが0のピクチャが異なる時間のピクチャcolPicとなるステップS3203。そうでない場合、すなわちスライスタイプslicetypeがBスライスで前述のフラグcollocatedfroml0flagが1の場合ステップS3201のYES、ステップS3202のNO、またはスライスタイプslicetypeがPスライスの場合ステップS3201のNO、S3204のYES、RefPicList00、すなわち参照リストL0の参照インデックスが0のピクチャが異なる時間のピクチャcolPicとなるステップS3205。次に、図22のフローチャートに戻り、異なる時間の予測ブロックcolPUを導出し、符号化情報を取得するステップS3102。図24は図22のステップS3102の異なる時間のピクチャcolPicの予測ブロックcolPUの導出処理手順を説明するフローチャートである。まず、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の右下外側に位置する予測ブロックを異なる時間の予測ブロックcolPUとするステップS3301。この予測ブロックは図9の予測ブロックT0に相当する。次に、異なる時間の予測ブロックcolPUの符号化情報を取得するステップS3302。異なる時間の予測ブロックcolPUのPredModeが利用できないか、異なる時間の予測ブロックcolPUの予測モードPredModeがイントラ予測MODEINTRAである場合ステップS3303のYES、ステップS3304のYES、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の中央左上に位置する予測ブロックを異なる時間の予測ブロックcolPUとするステップS3305。この予測ブロックは図9の予測ブロックT1に相当する。次に、図22のフローチャートに戻り、符号化/復号対象の予測ブロックと同位置の他ピクチャの予測ブロックから導出されるL0の予測動きベクトルmvL0Colと時間マージ候補Colが有効か否かを示すフラグavailableFlagL0Colを導出するとともにステップS3103、L1の予測動きベクトルmvL1Colと時間マージ候補Colが有効か否かを示すフラグavailableFlagL1Colを導出する。さらに、フラグavailableFlagL0ColまたはフラグavailableFlagL1Colが1の場合に、時間マージ候補Colが有効か否かを示すフラグavailableFlagColを1に設定する。図25は図22のステップS3103、ステップS3104の時間マージ候補のインター予測情報の導出処理手順を説明するフローチャートである。L0またはL1で、時間マージ候補の導出対象のリストをLXとし、LXを用いた予測をLX予測とする。以下、断りのない限り、この意味で用いる。時間マージ候補のL0の導出処理であるステップS3103として呼び出される際には、LXがL0となり、時間マージ候補のL1の導出処理であるステップS3104として呼び出される際には、LXがL1となる。異なる時間の予測ブロックcolPUの予測モードPredModeがイントラ予測MODEINTRAか、利用できない場合ステップS3401のNO、ステップS3402のNO、フラグavailableFlagLXColとフラグpredFlagLXColを共に0としステップS3403、動きベクトルmvLXColを0,0としてステップS3404、本時間マージ候補のインター予測情報の導出処理を終了する。予測ブロックcolPUが利用できて予測モードPredModeがイントラ予測MODEINTRAでない場合ステップS3401のYES、ステップS3402のYES、以下の手順でmvColとrefIdxColとavailableFlagColを導出する。予測ブロックcolPUのL0予測が利用されているかどうかを示すフラグPredFlagL0xPColyPColが0の場合ステップS3405のYES、予測ブロックcolPUの予測モードはPredL1であるので、動きベクトルmvColが予測ブロックcolPUのL1の動きベクトルであるMvL1xPColyPColと同じ値に設定されステップS3406、参照インデックスrefIdxColがL1の参照インデックスRefIdxL1xPColyPColと同じ値に設定されステップS3407、リストListColがL1に設定されるステップS3408。ここで、xPCol、yPColは異なる時間のピクチャcolPic内での予測ブロックcolPUの左上の画素の位置を示すインデックスである。一方、予測ブロックcolPUのL0予測フラグPredFlagL0xPColyPColが0でない場合図25のステップS3405のNO、予測ブロックcolPUのL1予測フラグPredFlagL1xPColyPColが0かどうかを判定する。予測ブロックcolPUのL1予測フラグPredFlagL1xPColyPColが0の場合ステップS3409のYES、動きベクトルmvColが予測ブロックcolPUのL0の動きベクトルであるMvL0xPColyPColと同じ値に設定されステップS3410、参照インデックスrefIdxColがL0の参照インデックスRefIdxL0xPColyPColと同じ値に設定されステップS3411、リストListColがL0に設定されるステップS3412。予測ブロックcolPUのL0予測フラグPredFlagL0xPColyPColと予測ブロックcolPUのL1予測フラグPredFlagL1xPColyPColが共に0でない場合ステップS3405のNO、ステップS3409のNO、予測ブロックcolPUのインター予測モードは双予測PredBIであるので、L0、L1の2つの動きベクトルから、一方を選択するステップS3413。図26は予測ブロックcolPUのインター予測モードが双予測PredBIのときの時間マージ候補のインター予測情報の導出処理手順を示すフローチャートである。まず、すべての参照リストに登録されているすべてのピクチャのPOCが現在の符号化/復号対象ピクチャのPOCより小さいかどうかを判定しステップS3501、予測ブロックcolPUのすべての参照リストであるL0及びL1に登録されているすべてのピクチャのPOCが現在の符号化/復号対象ピクチャのPOCより小さい場合でステップS3501のYES、LXがL0、即ち符号化/復号対象ピクチャのL0の動きベクトルの予測ベクトル候補を導出している場合ステップS3502のYES、予測ブロックcolPUのL0の方のインター予測情報を選択し、LXがL1、即ち符号化/復号対象ピクチャのL1の動きベクトルの予測ベクトル候補を導出している場合ステップS3502のNO、予測ブロックcolPUのL1の方のインター予測情報を選択する。一方、予測ブロックcolPUのすべての参照リストL0及びL1に登録されているピクチャのPOCの少なくとも1つが現在の符号化/復号対象ピクチャのPOCより大きい場合でステップS3501のNO、フラグcollocatedfroml0flagが0の場合ステップS3503のYES、予測ブロックcolPUのL0の方のインター予測情報を選択し、フラグcollocatedfroml0flagが1の場合ステップS3503のNO、予測ブロックcolPUのL1の方のインター予測情報を選択する。予測ブロックcolPUのL0の方のインター予測情報を選択する場合ステップのYES、ステップS3503のYES、動きベクトルmvColがMvL0xPColyPColと同じ値に設定されステップS3504、参照インデックスrefIdxColがRefIdxL0xPColyPColと同じ値に設定されステップS3505、リストListColがL0に設定されるステップS3506。予測ブロックcolPUのL1の方のインター予測情報を選択する場合ステップS2502のNO、ステップS3503のNO、動きベクトルmvColがMvL1xPColyPColと同じ値に設定されステップS3507、参照インデックスrefIdxColがRefIdxL1xPColyPColと同じ値に設定されステップS3508、リストListColがL1に設定されるステップS3509。図25に戻り、予測ブロックcolPUからインター予測情報が取得できたらフラグavailableFlagLXColとフラグpredFlagLXColを共に1とするステップS3414。続いて、動きベクトルmvColをスケーリングして時間マージ候補のLXの動きベクトルmvLXColとするステップS3415。この動きベクトルのスケーリング演算処理手順を図27及び図28を用いて説明する。図27は図22のステップS3105の動きベクトルのスケーリング演算処理手順を示すフローチャートである。異なる時間のピクチャcolPicのPOCから、予測ブロックcolPUのリストListColで参照する参照インデックスrefIdxColに対応する参照ピクチャのPOCを減算してピクチャ間距離tdを導出するステップS3601。なお、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのPOCの方が表示順序で前の場合、ピクチャ間距離tdは正の値となり、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのPOCの方が表示順序で後の場合、ピクチャ間距離tdは負の値となる。td=異なる時間のピクチャcolPicのPOC-予測ブロックcolPUのリストListColで参照する参照ピクチャのPOC現在の符号化/復号対象ピクチャのPOCから図15のステップS102で導出された時間マージ候補のLXの参照インデックスに対応する参照ピクチャのPOCを減算してピクチャ間距離tbを導出するステップS3602。なお、現在の符号化/復号対象ピクチャよりも現在の符号化/復号対象ピクチャのリストLXで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離tbは正の値となり、現在の符号化/復号対象ピクチャのリストLXで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離tbは負の値となる。tb=現在の符号化/復号対象ピクチャのPOC-時間マージ候補のLXの参照インデックスに対応する参照ピクチャのPOC続いて、ピクチャ間距離tdとtbを比較しステップS3603、ピクチャ間距離tdとtbが等しい場合ステップS3603のYES、時間マージ候補のLXの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定してステップS3604、本スケーリング演算処理を終了する。mvLXCol=mvCol一方、ピクチャ間距離tdとtbが等しくない場合ステップS3603のNO、次式によりmvColにスケーリング係数tb/tdを乗じることでスケーリング演算処理を行いステップS3605、スケーリングされた時間マージ候補のLXの動きベクトルmvLXColを得る。mvLXCol=tbtdmvColまた、ステップS3605のスケーリング演算を整数精度の演算で行う場合の例を図28に示す。図28のステップS3606~ステップS3608の処理が、図27のステップS3605の処理に相当する。まず、図27のフローチャートと同様に、ピクチャ間距離tdとピクチャ間距離tbを導出するステップS3601、ステップS3602。続いて、ピクチャ間距離tdとtbを比較しステップS3603、ピクチャ間距離tdとtbが等しい場合ステップS3603のYES、図27のフローチャートと同様に、時間マージ候補のLXの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定してステップS3604、本スケーリング演算処理を終了する。mvLXCol=mvCol一方、ピクチャ間距離tdとtbが等しくない場合ステップS3603のNO、次式により変数txを導出するステップS3606。txtd続いて、次式によりスケーリング係数DistScaleFactorを導出するステップS3607。DistScaleFactor6続いて、次式により、スケーリングされた時間マージ候補のLXの動きベクトルmvLXColを得るステップS3608。mvLXColClipMv1278次に、図15のステップS104のマージ候補をマージ候補リストに登録する方法について詳細に説明する。図29はマージ候補リストへのマージ候補の登録処理手順を示すフローチャートである。本方式では、優先順位をつけて、優先順位の高いものからマージ候補リストmergeCandListに予測動きベクトルの候補を登録することで、マージインデックスmergeidxx0y0の符号量を削減する。優先順位の高い要素をマージ候補リストの前方に配置することで、符号量を削減する。例えば、マージ候補リストmergeCandListの要素が5個の場合、マージ候補リストのインデックス0を0、インデックス1を10、インデックス2を110、インデックス3を1110、インデックス4を11110とすることで、インデックス0を表す符号量が1ビットとなり、インデックス0に発生頻度が高いと考えられる要素を登録することで、符号量を削減する。マージ候補リストmergeCandListはリスト構造を成し、マージ候補リスト内部の所在を示すマージインデックスと、インデックスに対応するマージ候補を要素として格納する記憶領域が設けられている。マージインデックスの数字は0から開始され、マージ候補リストmergeCandListの記憶領域に、マージ候補が格納される。以降の処理では、マージ候補リストmergeCandListに登録されたマージインデックスiのマージ候補となる予測ブロックは、mergeCandListiで表すこととし、マージ候補リストmergeCandListとは配列表記をすることで区別することとする。まず、availableFlagAが1の場合ステップS4101のYES、マージ候補リストmergeCandListの先頭にマージ候補Aを登録するステップS4102。続いて、availableFlagBが1の場合ステップS4103のYES、マージ候補リストmergeCandListの最後にマージ候補Bを登録するステップS4104。続いて、availableFlagCが1の場合ステップS4105のYES、マージ候補リストmergeCandListの最後にマージ候補Cを登録するステップS4106。続いて、availableFlagDが1の場合ステップS4107のYES、マージ候補リストmergeCandListの最後にマージ候補Dを登録するステップS4108。続いて、availableFlagEが1の場合ステップS4109のYES、マージ候補リストmergeCandListの最後にマージ候補Eを登録するステップS4110。続いて、availableFlagColが1の場合ステップS4109のYES、マージ候補リストmergeCandListの最後にマージ候補Colを登録するステップS4110。なお、マージモードにおいて、左に隣接する予測ブロックA及び上に隣接する予測ブロックBは符号化/復号対象の予測ブロックと一体となる動きになることが多いので、予測ブロックA、Bのインター予測情報が取得できる場合には、マージ候補A、Bを他のマージ候補C,D,E,Colよりも優先的にマージ候補リストの前方に登録する。図13において、動画像符号化装置のインター予測情報導出部104の符号化情報選択部136では、マージ候補リストに登録されているマージ候補の中から、マージ候補を選択し、マージインデックスおよびマージインデックスに対応するマージ候補のインター予測情報を動き補償予測部105に供給する。マージ候補の選択においては、予測方法決定部107と同様の方法を用いることができる。それぞれのマージ候補ごとに符号化情報及び残差信号の符号量と予測画像信号と画像信号との間の符号化歪を導出し、最も少ない発生符号量と符号化歪となるマージ候補が決定される。それぞれのマージ候補毎にマージモードの符号化情報であるマージインデックスのシンタックス要素mergeidxのエントロピー符号化を行い、符号化情報の符号量を算出する。さらに、それぞれのマージ候補毎に動き補償予測部105と同様の方法で各マージ候補のインター予測情報に応じて動き補償した予測画像信号と、画像メモリ101から供給される符号化対象の画像信号との予測残差信号を符号化した予測残差信号の符号量を算出する。符号化情報、即ちマージインデックスの符号量と予測残差信号の符号量とが加算された総発生符号量を算出し評価値とする。また、こうした予測残差信号を符号化後に、歪量評価の為に復号し、符号化により生じる元の画像信号との誤差を表す比率として符号化歪が算出される。これら総発生符号量と符号化歪とをマージ候補毎に比較することで、少ない発生符号量と符号化歪となる符号化情報が決定される。決定された符号化情報に対応するマージインデックスが、予測ブロック単位の第2のシンタックスパターンで表されるフラグmergeidxとして符号化される。尚、ここで算出される発生符号量は、符号化過程をシミュレートしたものであることが望ましいが、簡便に近似したり、概算することも可能である。一方、図14において、動画像符号化装置のインター予測情報導出部205の符号化情報選択部236では、マージ候補リストに登録されているマージ候補の中から、供給されたマージインデックスに対応するマージ候補を選択し、マージ候補のインター予測情報を動き補償予測部206に供給するとともに、符号化情報格納メモリ210に格納する。以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ROMリードオンリメモリやフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。"