"多視点動画像の符号化データを復号する動画像復号方法であって、復号対象ブロックが時間ダイレクトモードで符号化されている場合、前記復号対象ブロックに対する時間ダイレクトモードの基準となるピクチャの同位置ブロックが他視点のブロックを参照する視差ベクトルを有するかを判定し、前記同位置ブロックが前記視差ベクトルを有する場合、前記視差ベクトルが参照する他視点のブロックが有する動きベクトルを用いて、前記復号対象ブロックの動きベクトルを算出し、算出された動きベクトルを用いて前記復号対象ブロックを復号する動画像復号方法。前記動きベクトルを算出する場合、前記視差ベクトルが参照する他視点のブロックが複数のブロックの領域を含むとき、前記複数のブロックが有する動きベクトルに基づく所定の動きベクトルを用いる請求項1記載の動画像復号方法。前記所定の動きベクトルは、前記他視点のブロックの中心位置を含むブロックの動きベクトルである請求項2記載の動画像復号方法。前記所定の動きベクトルは、前記複数のブロックの各動きベクトルに対し、前記他視点のブロックに含まれる前記複数のブロックの領域の大きさに応じて加重平均した動きベクトルである請求項2記載の動画像復号方法。前記複数のブロックの各ブロックを符号化するときに用いた量子化スケール、差分係数の大きさ及び個数を含む統計情報を取得し、前記所定の動きベクトルは、前記複数のブロックの各動きベクトルに対し、前記各ブロックの統計情報を用いて判定した各ブロックの信頼度に応じて加重平均した動きベクトルである請求項2記載の動画像復号方法。前記動きベクトルを算出する場合、前記視差ベクトルが参照する他視点のブロックに動きベクトルがない場合、前記他視点のブロックを参照する動きベクトルを用いる請求項1記載の動画像復号方法。前記動きベクトルを算出する場合、前記視差ベクトルが参照する他視点のブロックに動きベクトルが複数ある場合、前方向の動きベクトルを優先して用いる請求項1記載の動画像復号方法。多視点動画像の符号化を行う動画像符号化方法であって、符号化対象ブロックを時間ダイレクトモードで符号化する場合、前記符号化対象ブロックに対する時間ダイレクトモードの基準となるピクチャの同位置ブロックが他視点のブロックを参照する視差ベクトルを有するとき、前記視差ベクトルが参照する他視点のブロックが有する動きベクトルを用いて、前記符号化対象ブロックの動きベクトルを算出し、算出された動きベクトルを用いて前記符号化対象ブロックを符号化する動画像符号化方法。多視点動画像の符号化データを復号する動画像復号装置であって、復号対象ブロックが時間ダイレクトモードで符号化されている場合、前記復号対象ブロックに対する時間ダイレクトモードの基準となるピクチャの同位置ブロックが他視点のブロックを参照する視差ベクトルを有するかを判定する判定部と、前記同位置ブロックが前記視差ベクトルを有する場合、前記視差ベクトルが参照する他視点のブロックが有する動きベクトルを用いて、前記復号対象ブロックの動きベクトルを算出する算出部と、算出された動きベクトルを用いて前記復号対象ブロックを復号する復号部と、を備える動画像復号装置。多視点動画像の符号化データを復号する動画像復号プログラムであって、復号対象ブロックが時間ダイレクトモードで符号化されている場合、前記復号対象ブロックに対する時間ダイレクトモードの基準となるピクチャの同位置ブロックが他視点のブロックを参照する視差ベクトルを有するかを判定し、前記同位置ブロックが前記視差ベクトルを有する場合、前記視差ベクトルが参照する他視点のブロックが有する動きベクトルを用いて、前記復号対象ブロックの動きベクトルを算出し、算出された動きベクトルを用いて前記復号対象ブロックを復号する、処理をコンピュータに実行させるための動画像復号プログラム。多視点動画像符号化において、ダイレクトモードを考えると、時間ダイレクトモードでは、mvColがinterview予測である場合は、POCの差が0となる為に、スケーリングによって時間ダイレクトベクトルを求めることができない。実際にH264規格書のH743にも示されているように、colPic内にinterview予測を指すブロックが存在する場合には、ダイレクトモードは空間ダイレクトモード固定でなければならない。これは、interview予測を用いる場合は、時間方向の概念が意味をなさないからと言われている。しかしながら、ダイレクトモードについて、単純に周辺ブロックの動きベクトルを使用する空間ダイレクトモードより、前後のピクチャを含めて動きベクトルの時間方向の連続性を保つ事を考慮している時間ダイレクトモードは効果が大きい。よって、符号化対象ブロックがinterview予測である場合、時間ダイレクトモードが使用できず、符号化効率が良くないという問題点があった。そこで、開示の技術は、上記課題に鑑みてなされたものであり、多視点動画像符号化/復号処理において、interview予測で時間ダイレクトモードを使用し、符号化効率を上げることを目的とする。開示の一態様における動画像復号方法は、多視点動画像の符号化データを復号する動画像復号方法であって、復号対象ブロックが時間ダイレクトモードで符号化されている場合、前記復号対象ブロックに対する時間ダイレクトモードの基準となるピクチャの同位置ブロックが他視点のブロックを参照する視差ベクトルを有するかを判定し、前記同位置ブロックが前記視差ベクトルを有する場合、前記視差ベクトルが参照する他視点のブロックが有する動きベクトルを用いて、前記復号対象ブロックの動きベクトルを算出し、算出された動きベクトルを用いて前記復号対象ブロックを復号する。また、他の態様における動画像符号化方法は、多視点動画像の符号化を行う動画像符号化方法であって、符号化対象ブロックを時間ダイレクトモードで符号化する場合、前記符号化対象ブロックに対する時間ダイレクトモードの基準となるピクチャの同位置ブロックが他視点のブロックを参照する視差ベクトルを有するとき、前記視差ベクトルが参照する他視点のブロックが有する動きベクトルを用いて、前記符号化対象ブロックの動きベクトルを算出し、算出された動きベクトルを用いて前記符号化対象ブロックを符号化する。開示の技術によれば、多視点動画像符号化/復号処理において、interview予測で時間ダイレクトモードを使用し、符号化効率を上げることができる。以下、添付図面を参照しながら実施例について詳細に説明する。[実施例1]<構成>図3は、実施例1における動画像符号化装置100の構成の一例を示すブロック図である。図3に示す動画像符号化装置100は、BaseViewの動画像を符号化するため、予測誤差生成部101、直交変換量子化部102、可変長符号化部103、逆直交変換逆量子化部104、復号画像生成部105、フレームメモリ106を備える。また、動画像符号化装置100は、動き補償部107、動きベクトル検出部108、基準ベクトル読出し部109、ダイレクトベクトル計算部110、モード判定部111、動きベクトルメモリ112を備える。また、動画像符号化装置100は、非BaseViewの動画像を符号化するため、予測誤差生成部151、直交変換量子化部152、可変長符号化部153、逆直交変換逆量子化部154、復号画像生成部155、フレームメモリ156を備える。また、動画像符号化装置100は、動き補償部157、動きベクトル検出部158、基準ベクトル判定部159、基準ベクトル変更部160、ダイレクトベクトル計算部161、モード判定部162、動きベクトルメモリ163を備える。各部についての概略を以下に説明する。BaseViewまず、BaseView側の動画像を符号化する処理について説明する。予測誤差生成部101は、入力された動画像データの符号化対象画像が16×16ピクセル画素のブロックMBに分割されたマクロブロックデータ以降、MBデータともいうを取得する。予測誤差生成部101は、そのMBデータと、動き補償部107から出力される予測画像のMBデータとにより、予測誤差データを生成する。予測誤差生成部101は、生成された予測誤差データを直交変換量子化部102に出力する。直交変換量子化部102は、入力された予測誤差データを8×8単位や4×4単位で直交変換処理する。直交変換処理は、DCTDiscreteCosineTransform変換やアダマールHadamard変換などがある。直交変換量子化部102は、直交変換処理によって水平及び垂直方向の周波数成分に分離されたデータを取得する。これは、画像の空間相関性により、周波数成分に変換する事により低周波成分にデータが集まり情報量圧縮を行う事が可能となるからである。直交変換量子化部102は、直交変換されたデータを量子化することによって、データの符号量を低減し、この量子化された値を可変長符号化部103及び逆直交変換逆量子化部104に出力する。可変長符号化部103は、直交変換量子化部102から出力されたデータを可変長符号化して出力する。可変長符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。可変長符号化部103は、例えば、基本的には出現頻度の高い係数の組合せにはより短い符号を、出現頻度の低い係数組合せにはより長い符号を割当てる。これにより、全体的に符号長を短くしようとする。H264では、CAVLCContextAdaptiveVariableLengthCodingやCABACContextAdaptiveBinaryArithmeticCodingと呼ばれる方式の可変長符号を選択することができる。逆直交変換逆量子化部104は、直交変換量子化部102から出力されたデータを逆量子化してから逆直交変換する。逆直交変換逆量子化部104は、逆直交変換を行って、周波数成分から画素成分へ変換し、変換後のデータを復号画像生成部105に出力する。この逆直交変換逆量子化部104によって復号化処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。復号画像生成部105は、動き補償部107で動き補償された画像のMBデータと、逆直交変換逆量子化部104により復号処理された予測誤差データとを加算する。これにより、復号化側と同等の処理画像を符号化側でも生成することができる。符号化側で生成された画像を局所復号画像と呼び、符号化側に復号化側と同一の処理画像を生成することにより、次ピクチャ以降の差分符号化を行うことが可能となる。復号画像生成部105は、加算して生成した局所復号画像のMBデータを、フレームメモリ106に出力する。なお、局所復号画像のMBデータに対し、デブロックフィルタをかけてもよい。局所復号画像は、参照画像となりうる。フレームメモリ106は、入力したMBデータを新たな参照画像のデータとして記憶する。参照画像は、動き補償部107、動きベクトル検出部108及び動きベクトル検出部158により読み出される。動き補償部107は、フレームメモリ106から取得した参照画像のデータを動きベクトルメモリ112から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのMBデータが生成される。動きベクトル検出部108は、符号化対象ピクチャにおけるMBデータと、フレームメモリ106から取得する符号化済みの参照画像のMBデータとを用いて動き探索を行い、適切な動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像から符号化対象画像に最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。動き探索は、例えば、画素の差分絶対値和の大きさのみでなく、動きベクトルの評価値も付加することが一般的である。動きベクトルの符号化は、成分そのものでなく周辺MBの動きベクトルとの差分ベクトルを符号化する。よって、動きベクトル検出部108は、差分ベクトルを求め、その成分の大きさにより、動きベクトル符号長相当の評価値を出力する。動き探索の評価値をcost、差分絶対値をSADcost、動きベクトルの符号量相当の評価値をMVcostとすると、動きベクトル検出部108は、次の式により、costを最小とする動きベクトルの位置を検出する。costSADcostMVcost動きベクトル検出部108は、検出した動きベクトルをモード判定部111に出力する。基準ベクトル読出し部109は、符号化対象のMBが双方向予測である場合、colPicの同位置ブロックの動きベクトル基準ベクトルを動きベクトルメモリ112から読み出す。基準ベクトル読出し部109は、読み出した基準ベクトルをダイレクトベクトル計算部110に出力する。ダイレクトベクトル計算部110は、取得した基準ベクトルを時間配分でスケーリングし、符号化対象のMBの動きベクトルダイレクトベクトルを算出する図1参照。ダイレクトベクトル計算部110は、算出したダイレクトベクトルをモード判定部111に出力する。モード判定部111は、前述した5つの符号化予測モードのうち、符号化コストが最も低い符号化モードを選択する。モード判定部111は、例えば、ダイレクトベクトルを用いた動き予測を行う場合と、通常の動きベクトルの予測を行う場合前方向、後方向、双方向、イントラとで、最適な予測モードを選択する。具体的には、モード判定部111は、予測モード毎に以下のような評価値を計算する。costdirectSADcostforwardSADMVCOSTcostbackwardSADMVCOSTcostbidirectionSADMVCOSTcostintraACTここで、モード判定部111は、SADについて、MB内の画素差分絶対値和を求め、この場合、原画MBorgと参照画MBrefの16×16画素の差分絶対値和を次の式により求める。SADΣorg-refH264符号化などでは、MBは、1MB内に複数のサブブロックに分割することが可能である。そこで、MBが、例えば8×8のサブブロックの4つに分かれている場合は、8×8=64画素の差分絶対値和の4つの集まりが、SAD評価値となる。なお、サブブロックには、16×16、8×8の他にも、8×16、16×8、4×8、8×4、4×4と様々な大きさが存在可能である。IntraMBの場合は、差分画像でなく原画像そのものを符号化するので、アクティビティという別の評価値を用いる。Intra符号化の場合は、原画MBそのものを直交変換する。よって、ACTは、MBの各画素のMB平均値からの隔たり等により次の式により求められる。ACTΣorg-AveMBMVCOSTは、動きベクトルの符号量に比例した評価値である。動きベクトルmvは、成分そのものではなくて、周辺MBに基づく予測ベクトルprevmvとの差分ベクトルを符号化するので、その絶対値の大きさにより評価値が決定される。重み定数λが使用され、MVCOSTの全体cost評価値に対する影響度を変更することも一般的に行われている。MVCOSTλここで、Tableは、ベクトル差分の大きさを符号量相当に変換するテーブルである。なお、実際に重み付けを行う方法は、様々な方法がある。例えば、以下に2つの例を挙げる。costdirectW上記式により、固定値を付加して評価値を大きくしてもよい。costdirectα上記式により、評価値を定数倍してもよい。モード判定部111は、例えば、次の式により最小の評価costを求め、その最小の評価costに対応するMBTypeを、符号化に使用するMBTypeと決定する。mincostminダイレクトモードは、MVCOSTが存在しない分、予測が当たっていてSAD評価値が全てのモードで等しく、かつ低い場合などに選択されやすくなる。モード判定部111は、選択した符号化モードで用いた動きベクトルを動きベクトルメモリ112に記憶し、選択した符号化モードを動き補償部107に通知する。動きベクトルメモリ112は、符号化に用いられた動きベクトルを記憶する。動きベクトルメモリ112で記憶する動きベクトルは、動き補償部107により読み出されたり、基準ベクトル変更部160により読み出されたりする。これにより、BaseView側の動画像は、所定の符号化方式で独立して符号化される。非BaseView次に、非BaseView側の動画像を符号化する場合について説明する。予測誤差生成部151は、BaseView側と同様にして、符号化対象のMBデータと、動き補償部107から出力される予測画像のMBデータとにより、予測誤差データを生成する。予測誤差生成部151は、生成された予測誤差データを直交変換量子化部152に出力する。直交変換量子化部152は、入力された予測誤差データを直交変換処理する。直交変換量子化部152は、直交変換処理によって水平及び垂直方向の周波数成分に分離されたデータを取得する。直交変換量子化部152は、直交変換されたデータを量子化することによって、データの符号量を低減し、この量子化されたデータを可変長符号化部153及び逆直交変換逆量子化部154に出力する。可変長符号化部153は、直交変換量子化部152から出力されたデータを可変長符号化して出力する。可変長符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。逆直交変換逆量子化部154は、直交変換量子化部152から出力されたデータを逆量子化してから逆直交変換する。逆直交変換逆量子化部154は、逆直交変換したデータを復号画像生成部155に出力する。この逆直交変換逆量子化部154によって復号化処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。復号画像生成部155は、動き補償部157で動き補償された画像のMBデータと、逆直交変換逆量子化部154により復号処理された予測誤差データとを加算する。復号画像生成部155は、加算して生成した復号画像のMBデータを、フレームメモリ156に出力する。なお、復号画像のMBデータに対し、デブロックフィルタをかけてもよい。フレームメモリ156は、入力したMBデータを新たな参照画像のデータとして記憶し、動き補償部157及び動きベクトル検出部158に出力する。動き補償部157は、フレームメモリ156から取得した参照画像のデータを動きベクトルメモリ163から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのMBデータが生成される。動きベクトル検出部158は、符号化対象ピクチャにおけるMBデータと、フレームメモリ156から取得する符号化済みの参照画像のMBデータを用いて、動きベクトルを求める。なお、動きベクトル検出部158は、他視点の参照画像を用いることができるときは、フレームメモリ106から取得した参照画像のブロックに対し、ブロックマッチングを行う。動きベクトル検出部158は、同視点の参照画像及び/他視点の参照画像に対して検出した動きベクトルをモード判定部162に出力する。基準ベクトル判定部159は、符号化対象のMBが双方向予測である場合、colPicの同位置ブロックの動きベクトル基準ベクトルを動きベクトルメモリ163から読み出す。このとき、基準ベクトル判定部159は、同位置ブロックが他視点のピクチャのブロックを参照する指し示す視差ベクトルを有するか否かを判定する。視差ベクトルは、他視点のブロックを参照するベクトルである。基準ベクトル判定部159は、同位置ブロックが同視点のブロックを参照する動きベクトルを有する場合、同位置ブロックの動きベクトルをモード判定部162に出力する。一方、基準ベクトル判定部159は、同位置ブロックが他視点のブロックを参照する視差ベクトルを有する場合、その他視点のブロックを示す情報を基準ベクトル変更部160に出力する。基準ベクトル変更部160は、基準ベクトル判定部159から取得した他視点のブロックに対し、この他視点のブロックが有する動きベクトルを動きベクトルメモリ112から取得する。基準ベクトル変更部160は、取得した動きベクトルを、時間ダイレクトモードの基準ベクトルとし、ダイレクトベクトル計算部161に出力する。基準ベクトルの変更の仕方は後述する。ダイレクトベクトル計算部161は、取得した基準ベクトルを時間配分でスケーリングし、符号化対象のMBの動きベクトルダイレクトベクトルを算出する図1参照。ダイレクトベクトル計算部161は、算出したダイレクトベクトルをモード判定部162に出力する。モード判定部162は、前述した5つの符号化モードのうち、符号化コストが最も低い符号化モードを選択する。モード判定部162は、選択した符号化モードで用いた動きベクトルを動きベクトルメモリ163に記憶し、選択した符号化モードを動き補償部157に通知する。動きベクトルメモリ163は、符号化に用いられた動きベクトルを記憶する。動きベクトルメモリ163で記憶する動きベクトルは、動き補償部157などにより読み出される。これにより、非BaseView側の動画像が符号化される際、interview予測であっても、時間ダイレクトモードを適用することが可能にある。<interview予測の基準ベクトル>次に、interview予測の基準ベクトルについて説明する。本実施例では、非BaseViewの符号化を行う際に、図4に示すように、基準となるベクトルが、interview予測の視差ベクトルであっても、時間ダイレクトモードを適切に選択可能にする。視差ベクトルの参照先がPピクチャの場合図4は、interview予測の基準ベクトルその1を説明するための図である。視差視点間の情報を用いる非BaseView入力側の符号化についてのみ、interview予測が用いられる。よって、ダイレクトベクトルの基準ベクトルの変更については、非BaseView入力側のみを考慮すればよい。基準ベクトル判定部159は、図4に示すcolPicP5の同位置ブロックのベクトルが、視差ベクトルであるかを判定する。同位置ブロックのベクトルがinterview予測の視差ベクトルiMVであった場合1、基準ベクトル変更部160は、そのinterview予測のiMVが参照するブロックiMBが持つ同一視点BaseView側内の時間方向の動きベクトルbasemvColを求める2。基準ベクトル変更部160は、求めた動きベクトルbasemvColを符号化対象のMBの時間ダイレクトモードの基準ベクトルmvColとする3。ダイレクトベクトル計算部161は、基準ベクトルmvColに対しスケーリングを行うことで、ダイレクトベクトルmvL0、mvL1を算出する4。これにより、立体動画像の非BaseView画像においても、適切なダイレクトベクトルmvL0、mvL1を計算することが可能となり、効率の良いダイレクトモードを実現することが可能となる。図5は、動画像の一例を示す図である。図5に示す多視点の動画像は、左右2眼のカメラで、画面左から右へ横切る車を撮影した動画像である。図5の左側の画像がBaseViewの画像とし、右側の画像が非BaseViewの画像とする。図5に示す画像の時間軸は、図5の上から下に時間が進むようになっている。図5に示す楕円で囲んだ画像が同一時間の画像である。画像の中央手前の車の右前タイヤが、ブロックの代表例であるとする。図5では、分かりやすくするため、右前タイヤを含むブロックがcolPicの同位置ブロックとして説明する。非BaseViewのB3が符号化対象ピクチャとする。非BaseViewのP5colPicの同位置ブロックb11を示すため、実線で同位置の位置を示している。基準ベクトル判定部159は、P5colPicの視点間の視差ベクトルmv11を求め、BaseView内の視点間の視差ベクトルmv11だけずれたブロックb12を、基準ベクトル変更部160に通知する。基準ベクトル変更部160は、ブロックb12が有する同一視点内のI2-P5間の動きベクトルmv12を取得する。よって、非BaseViewの所定のブロックがinterview予測で、そのブロックに時間方向の動きベクトルが存在しない場合でも、視点間の視差ベクトルの参照先のBaseViewブロックが有する時間方向の動きベクトルを求めることできる。基準ベクトル変更部160は、求めたベクトルmv12を非BaseViewのブロックb11の時間方向の動きベクトルmv13とみなすことで、時間方向の動きベクトルmv13=時間ダイレクトモードの基準ベクトルを生成することができる。基準ベクトル変更部160は、BaseViewの画像側のbasemvColを非BaseViewの画像側のmvColとみなす。ダイレクトベクトル計算部161は、基準ベクトルmvColを取得すると、公知の技術を用いて基準ベクトルmvColをスケーリングすることで、ダイレクトベクトルを求めることができる。図6は、図5に示す画像の概要をモノクロ2値化で表現した図である。図6に示す1~4は、図4に示す1~4に対応するものである。図6に示す例では、車のタイヤを丸で表現している。図6に示すように、まず、同位置ブロックの視差ベクトルが求められ1、視差ベクトルが参照するBaseViewのブロックの動きベクトルが求められる2。次に、この動きベクトルが基準ベクトルとされ3、基準ベクトルがスケーリングされてダイレクトベクトルが求められる4。視差ベクトルの参照先がBピクチャの場合図7は、interview予測の基準ベクトルその2を説明するための図である。図7は、colPicrB5の参照先ピクチャがBピクチャの場合を示す。図7は、B0rB1B2I3B4rB5B6P7という参照Bピクチャを持つピクチャ構造となっている。rB1rB5が参照Bピクチャであり、参照Bピクチャは、他のピクチャの参照ピクチャになり得る。図7に示す例では、各Viewの符号化処理順は、I3rB1B0B2P7rB5B4B6の順になる。図7に示す1~4は、図4に示す1~4と同様、ダイレクトベクトルの算出手順を示す。基準ベクトル判定部159は、図7に示すcolPicrB5の同位置ブロックのベクトルが、視差ベクトルであるかを判定する。同位置ブロックのベクトルが、interview予測の視差ベクトルiMVであった場合1、基準ベクトル変更部160は、そのinterview予測のiMVが参照するブロックiMBが持つ同一視点BaseView側内の時間方向の動きベクトルbasemvColを求める2。例えば、iMBが参照Bピクチャの場合、動きベクトルが2つある。このとき、基準ベクトル変更部160は、iMBの持つ動きベクトルが前方向予測や両方向予測の動きベクトルである場合、前方向の動きベクトルを優先的にbasemvColとする。これにより、前方向の動きベクトルをbasemvColとした場合、iMBがPピクチャの場合と同様の処理を行うことができる。基準ベクトル変更部160は、iMBが後方向予測の動きベクトルしか持たない場合、図7に示す処理を行う。図7に示すように、基準ベクトル変更部160は、後方向予測の動きベクトルをbasemvColとする2。基準ベクトル変更部160は、求めた動きベクトルbasemvColを符号化対象のMBの時間ダイレクトモードの基準ベクトルmvColとする3。ダイレクトベクトル計算部161は、基準ベクトルmvColに対しスケーリングを行うことで、ダイレクトベクトルmvL0、mvL1を算出する4。例えば、図7に示すように、後方向の動きベクトルを基準ベクトルとする場合、時間ダイレクトの考え方で、colPicrB5とrefPicColP7の時間的距離をtd、currPicrB5とrefPicColP7の時間的距離をtbとする。図7に示すように、ダイレクトベクトル計算部161は、時間ダイレクトベクトルmvL0mvL1を以下の式により求める。mvL0=tb/td×mvColmvL1=mvL0-mvColこれにより、同位置ブロックのベクトルが参照する他視点のブロックが双方向予測であっても、適切なダイレクトベクトルmvL0、mvL1を計算することが可能となり、効率の良いダイレクトモードを実現することが可能となる。視差ベクトルの参照先がIピクチャの場合図8は、interview予測の基準ベクトルその3を説明するための図である。図8は、colPicP5の参照先ピクチャがIピクチャの場合を示す。iMVが参照するiMBが決定した時に、iMBを含むピクチャがIピクチャであれば、iMVは動きベクトルを持たないので、既に符号化/復号化の処理済であるピクチャの動きベクトルから、basemvColを求める。図8に示す例では、各Viewの符号化処理順は、P2B0B1I5B3B4の順になる。図8に示す1~4は、図4に示す1~4と同様、ダイレクトベクトルの算出手順を示す。基準ベクトル判定部159は、図8に示すcolPicP5の同位置ブロックのベクトルが、視差ベクトルであるかを判定する。同位置ブロックのベクトルが、interview予測の視差ベクトルiMVであった場合1、基準ベクトル変更部160は、そのinterview予測のiMVが参照するブロックiMBが動きベクトルを有するかを判定する。基準ベクトル変更部160は、iMBがイントラ予測で動きベクトルを持たない場合、iMBを参照するブロックを、符号化済みピクチャから探す。図8に示すように、iMBを参照する動きベクトルをbmvとし、このbmvを有するブロックが他の動きベクトルを有する場合、この他の動きベクトルをfmvとする。このとき、基準ベクトル変更部160は、動きベクトルbasemvColを次の式により求める2。basemvCol=fmv-bmvまた、iMBを参照する動きベクトルbmvを有するブロックが、他の動きベクトルを有さない場合、基準ベクトル変更部160は、時間比率でbasemvColを以下の式により求める2。basemvCol=-td/td-tb×bmv図8は、B4の動きベクトルを用いてbasemvColを求める例を示す。符号化対象ピクチャがB4である場合には、B4のピクチャは符号化/復号化の処理済である。B4のピクチャが処理済でないと、そのピクチャで視点間参照を行う事はできないので、B4の動きベクトルは、計算済である。動きベクトルが計算済であるとすると、計算済の動きベクトルを1ピクチャ分動きベクトルメモリ112に蓄え記憶しておく。基準ベクトル変更部160は、記憶された動きベクトルの中から、iMBを参照先とする動きベクトルを求める。この動きベクトルが存在する場合に、基準ベクトル変更部160は、片方向予測よりも両方向予測の動きベクトルを優先度高く選択する、また、前方向予測の動きベクトルを優先度高く選択する、iMBと重なる面積の大きい動きベクトルを優先度高く選択するなどを行い。基準ベクトル変更部160は、求めた動きベクトルが両方向予測でfmvbmvである場合や、後方向予測でbmvである場合でも、前述した式により求めることができる。基準ベクトル変更部160は、求めた動きベクトルbasemvColを符号化対象のMBの時間ダイレクトモードの基準ベクトルmvColとする3。ダイレクトベクトル計算部161は、基準ベクトルmvColに対しスケーリングを行うことで、ダイレクトベクトルmvL0、mvL1を算出する4。図8では、基準ベクトル変更部160が、B4の動きベクトルを用いる例を示したが、これは過去に処理済のピクチャであるB3の動きベクトルを用いてもよい。もし、iMBを参照先とする動きベクトルが存在しない場合には、基準ベクトル変更部160は、時間ダイレクトベクトルの計算を行わない。時間ダイレクトベクトルの計算を行わない場合、basemvColを0ベクトルとして、時間ダイレクトモードの計算を行う方法や、そのブロックだけ空間ダイレクトモードの計算に切り替えるなど、バリエーションはいくつか考えられる。以上をまとめると、実施例1では、動画像符号化装置100は、以下の構成、機能を持つ。mvColの初期値は、従来同様colPicの現MBと同位置ブロックの持つベクトルとする。mvColがinterview予測を示す場合は、時間差が0であるので時間配分のスケーリング処理ができない。しかし、interview予測の参照先のピクチャが、BaseViewであれば、そのBaseViewのピクチャは、同一視点内の時間方向の参照を行っているという点に着目する。interview予測の視差ベクトルをiMV、iMVの参照先のBaseViewピクチャ内のブロックをiMBとする。iMBの位置は、後述する実施例2に示すように、符号化単位のブロック境界からずれる場合がほとんどであるが、一意に求めることができる。iMBをmvColの動きベクトルを求めるための候補ブロック位置とし、iMBを参照元としてBaseView内で時間方向の参照を行う動きベクトルを求める。iMBと重なる部分があるブロックのMV情報を用い、求めた動きベクトルをbasemvColとする。basemvColを基準ベクトルmvColに変更する。求めた基準ベクトルmvColに対して、時間ダイレクトベクトルを計算する。<動作>次に、実施例1における動画像符号化装置100の動作について説明する。図9は、実施例1における符号化処理の一例を示すフローチャートである。図9に示す処理は、多視点動画像の符号化処理であり、非baseview側の双方向の符号化処理を示す。ステップS101で、基準ベクトル判定部159は、符号化対象ブロックの同位置ブロックが有するベクトルが視差ベクトルであるか視点間参照を行っているかを判定する。視点間の参照であればステップS101-YesステップS102に進み、同視点の参照であればステップS101-NoステップS104に進む。ステップS102で、基準ベクトル変更部160は、同位置ブロックが有する視差ベクトルが指し示すブロックのbasemvColを取得する。ステップS103で、ダイレクトベクトル計算部161は、基準ベクトルを用いて時間差でスケーリングを行い、ダイレクトベクトルmvL0、mvL1を算出する。ステップS104で、モード判定部162は、ダイレクトモードを含む複数の符号化モードの中で、符号化コストが最小となる符号化モードを選択する。ステップS105で、予測誤差生成部151、直行変換量子化部152、可変長符号化部153は、選択された符号化モードによって符号化対象ブロックの符号化を行う。これにより、1MB分の符号化処理が終了する。時間ダイレクトモード以外の符号化処理は従来の符号化処理と同様である。以上、実施例1によれば、多視点動画像符号化処理において、interview予測で時間ダイレクトモードを使用し、符号化効率を上げることができる。[実施例2]次に、実施例2における動画像符号化装置200について説明する。実施例2では、同位置ブロックの視差ベクトルが参照するブロックiMBが、BaseViewの符号化単位のブロック境界からずれる場合でも、基準ベクトルを求めることができる。<構成>図10は、実施例2における動画像符号化装置200の構成の一例を示すブロック図である。図10に示す構成で、図3に示す構成と同様のものは同じ符号を付し、その説明を省略する。統計情報取得部201は、BaseView符号化の統計情報を取得する。統計情報は、例えば、符号化ブロックを量子化した際のqP値量子化スケール値、差分有効係数の個数を含む。統計情報取得部201は、多視点の動画像の符号化として、非BaseView動画像を符号化処理する際には、同一時刻のBaseView動画像の符号化処理は完了済であるので、BaseView動画像の符号化統計情報を取得することができる。基準ベクトル変更部202は、視差ベクトルが参照するブロックiMBと重なる複数のブロックの動きベクトルに基づき、基準ベクトルを算出する。基準ベクトル変更部202は、必要に応じて、統計情報取得部201からiMBと重なるブロックの符号化時の統計情報を取得する。この場合の基準ベクトルの算出方法は複数あるので、以下に順に説明する。基準ベクトルの算出方法1基準ベクトル変更部202は、iMBと重なる複数のブロックがある場合、各ブロックのうち、代表となる動きベクトルを選択し、基準ベクトルとする。基準ベクトル変更部202は、例えば、iMBの中心位置を含むブロック重なる面積が一番大きいブロックの動きベクトルを基準ベクトルとする。図11は、iMBの中心位置を含むブロックを示す図である。図11に示す例では、ブロックiMBは4つのブロックの領域にまたがる。ここで、非BaseViewの同位置ブロックMB又はサブブロックの持つ視差ベクトルiMV=xyの参照先は、BaseViewピクチャ内のブロックiMBb21とする。参照先ピクチャのMB又はサブブロックサイズはN×Mとする。このとき、視差ベクトル分だけ移動したブロックb21は、領域b22~25の4つの領域にまたがる。それぞれの領域の面積numxi:横の長さ、numyi:縦の長さは、領域b25領域b24領域b23領域b22となる。基準ベクトル変更部202は、各領域の面積を求め、各面積の大小比較を行うことで、一番面積が大きい領域を含むブロックの動きベクトルを基準ベクトルとする。図11に示す場合は、領域b25を含むブロックb20の動きベクトルが基準ベクトルとなる。また、基準ベクトル変更部202は、ブロックiMBの中心位置c11を含むブロックb20の動きベクトルを基準ベクトルとしてもよい。この場合、iMB又はサブブロックの中心位置c11abから、iMV=xyだけずれたaxbyの位置を含むBaseView内のブロックb20が一意に求まる。よって、基準ベクトル変更部202は、そのブロックb20を符号化する際に用いた動きベクトルを基準ベクトルbasemvColとすればよい。基準ベクトルの算出方法2基準ベクトル変更部202は、iMBと重なる複数のブロック又はサブブロックがある場合、重なる面積の大きさで各ブロックの動きベクトルを加重平均し、この加重平均された動きベクトルを基準ベクトルとする。以下では、面積を画素数に対応させて考える。図12は、サブブロックがある場合の一例を示す図である。図12に示す例では、同位置MB又はサブブロックの視差ベクトルをiMViとする。また、同位置MBの左上画素のピクチャ内位置をMBxMBy、同位置MB内の各サブブロックの中心画素に対するMBの左上画素からの位置のずれをblkxiblkyiとする。また、各サブブロックの水平垂直サイズを2×blksizexi2×blksizeyiとする。よって、各サブブロックの大きさは、左上を、右下をとする長方形となる。基準ベクトル変更部202は、この長方形ブロックに関して、refPicCol内のどのサブブロックの領域を何画素分含むかを計算する。refPicCol内のサブブロックは、上記の式と同様に記載すると、左上を、右下をとする。これは、動きベクトルを取り除いた形で表せるので、基準ベクトル変更部202は、サブブロックの大小関係を基に、サブブロックをrefPicCol内のサブブロック相当で分割して行く。図13は、refPicCol内の参照サブブロックの一例を示す図である。図13に示す例では、簡単の為に、colPicが参照するrefPicCol内の参照サブブロックをLUx1LUy1-RLx1RLy1、refPicCol内のサブブロックをLUx2LUy2-RLx2RLy2とする。refPicCol内の参照サブブロックは、以下の通りである。LUx1LUy1=MBxblkxj-blksizexjMByblkyi-blksizeyjRLx1RLy1=MBxblkxjblksizexj1MByblkyjblksizeyj1refPicCol内のサブブロックは、以下の通りである。LUx2LUy2=MBxblkxk-blksizexkMByblkyk-blksizeykRLx2RLy2=MBxblkxkblksizexk1MByblkykblksizeyk1説明を簡単にするため、水平成分、垂直成分を分けて説明した。説明した内容は、ブロックb31の左上端、右下端の水平成分の2点と、ブロックb32の左上端、右下端の水平成分の2点の計4点の位置関係によって、重なる水平画素の数numxが求められる。水平成分を垂直成分に変更すると、重なる垂直画素の数numyが求められる。ブロック参照ブロックb31が、符号化のブロックとずれると、複数のブロックと重なりを持つので、基準ベクトル変更部202は、数回、重なり判定を行う事になる。基準ベクトル変更部202は、以下の式で、refPicColのサブブロック毎に含まれる参照サブブロックの画素数面積に相当を求める。水平成分の画素数ifnumx0elseififnumxRLx2LUx1elsenumxRLx1LUx1elseifnumxRLx2‐Lux2elsenumxRLx1‐Lux2垂直方向の画素数ifnumy0elseififnumyRLy2LUy1elsenumyRLy1LUy1elseifnumyRLy2‐LUy2elsenumyRLy1‐LUy2基準ベクトル変更部202は、求めたnumxとnumyを乗算すると、refPicCol内のサブブロック内に含まれる参照サブブロックの画素数となる。参照サブブロックのサイズの最大値はMBサイズであり、参照サブブロックの左上画素位置は、refPicCol内のいずれかのMBに含まれる。そのMBをMBluとすると、前述した計算は、最大でもMBluとMBluの右隣MB、MBluの下MB、MBluの下右MBの4MBで行えばよい。基準ベクトル変更部202は、動きベクトルの重み付き平均として、basemvColを以下の式により算出する。これにより、基準ベクトル変更部202は、重なる領域の画素数に比例した加重平均のbasemvColを求めることができる。また、基準ベクトル変更部202は、重なる領域の画素数に重み係数Kを乗算して評価値を求め、評価値に応じてbasemvColを算出してもよい。このときの算出方法を以下に示す。K:重み係数Costxyi:評価値これにより、基準ベクトル変更部202は、評価値に応じた各ブロックの平均ベクトルを求め、この平均ベクトルを基準ベクトルbasemvColとすることができる。基準ベクトルの算出方法3基準ベクトル変更部202は、視差ベクトルiMBと重なる複数のブロック又はサブブロックがある場合、重なる面積の大きさや符号化時の統計情報で各ブロックの信頼度を算出し、この信頼度で加重平均された動きベクトルを基準ベクトルとする。基準ベクトル変更部202は、iMBと重なる複数のブロック例えば図11に示すブロックb22~25の符号化時の統計情報を、統計情報取得部201から取得する。統計情報は、例えば、qP値量子化スケール値、差分有効係数の個数である。基準ベクトル変更部202は、iMBと重なるブロックの面積の大きさ、各ブロックのqP値量子化スケール値、及び差分有効係数の個数により信頼度を算出する。基準ベクトル変更部202は、この信頼度に基づき各ブロックの動きベクトルの重みづけを行う。例えば、符号化に用いた差分有効係数の個数や成分の絶対値が小さければ、そのブロックの予測はより適切に当たっていると判断できる。また、差分有効係数が同程度であれば、使用したqP値が小さい方がより差分は小さく、予測が当たっていると判断できる。この考えに基づき、信頼度は、例えば、以下の式により算出される。Confixyi:信頼度qPi:qP値numCoefi:差分有効係数の数α0≦α≦1:画素数に対する重み係数β0≦β≦1:qP値に対する重み係数γ0≦γ≦1:有効係数の数に対する重み係数各重み係数は、例えば、α=0.3、β=0.7、γ=0.2とするが、この値は、実験などにより適切な値が設定されればよい。基準ベクトル変更部202は、信頼度に応じて各ブロックの平均ベクトルを求め、この平均ベクトルを基準ベクトルbasemvColとする。基準ベクトルは、例えば以下の式により求められる。これにより、基準ベクトル変更部202は、各ブロックの信頼度に応じて各ブロックの平均ベクトルを求め、この平均ベクトルを基準ベクトルbasemvColとすることができる。基準ベクトル変更部202は、前述した複数の基準ベクトルの算出方法のうち、いずれかの算出方法を予め設定しておけばよい。<動作>次に、実施例2における動画像符号化装置200の動作について説明する。図14は、実施例2における基準ベクトルの算出処理の一例を示すフローチャートである。図14に示すステップS201で、基準ベクトル変更部202は、mvColnが視点間の参照を行っているか視差ベクトルを有するかを判定する。視点間の参照であればステップS201-YesステップS203に進み、同視点の参照であればステップS201-NoステップS202に進む。ステップS202で、基準ベクトル変更部202は、読み出されたmvColnを基準ベクトルとして使用する。このとき、基準ベクトル判定部159は、動きベクトルメモリ163から読み出したmvColを全て基準ベクトル変更部202に出力するようにしておけばよい。ステップS203で、基準ベクトル変更部202は、mvColが視点間予測で参照する参照先領域iMBと、参照先ピクチャの符号化ブロックの重なりを算出する。ステップS204で、基準ベクトル変更部203は、代表ベクトルを選択する設定がなされているかを判定する。代表ベクトルを選択する設定であればステップS204-YesステップS205に進み、代表ベクトルを選択しない設定であればステップS204-NoステップS206に進む。ステップS205で、基準ベクトル変更部202は、iMBの中心座標を含むサブブロックの動きベクトルを基準ベクトルとする。ステップS206で、基準ベクトル変更部202は、iMBと重なるサブブロックの符号化時の統計情報を、統計情報取得部201から取得する。ステップS207で、基準ベクトル変更部202は、iMBと重なるサブブロックの動きベクトルを、サブブロックの面積、又はサブブロックの面積及び符号化時の統計情報に基づく信頼度に応じて加重平均し、この平均動きベクトルを基準ベクトルとする。ステップS208で、基準ベクトル変更部202は、同位置ブロックのサブブロック数分処理したかを判定する。サブブロック数分処理していればステップS208-Yesこの算出処理を終了し、サブブロック数分処理していなければステップS208-NoステップS201に戻る。これにより、基準ベクトル変更部202は、視差間参照を行う場合でも、時間ダイレクトモードを使用することができ、適切な基準ベクトルを用いることができる。図15は、iMBと重なるサブブロックの面積を計算する処理の一例を示すフローチャートである。図15に示すステップS301で、基準ベクトル変更部202は、colPicの同位置MBに対し、サブブロックの位置を決定する。ステップS302で、基準ベクトル変更部202は、サブブロックを視差ベクトル分移動させ、そのブロックの左上画素からrefPicCol内のMBの位置を決定する。refPicColは、視差ベクトルが参照するBaseViewの参照先ピクチャである。ステップS303で、基準ベクトル変更部202は、refPicCol内のMBのサブブロック単位毎に面積numx×numyを計算する。ステップS304で、基準ベクトル変更部202は、refPicCol内のMBのMB分割数に達したかを判定する。MB分割数に達していればステップS304-YesステップS306に進み、MB分割数に達していなければステップS304-NoステップS305に進む。ステップS305で、基準ベクトル変更部202は、refPicColのサブブロックの位置を変更する。ステップS305の処理後、ステップS303に戻る。ステップS306で、基準ベクトル変更部202は、refPicCol内のMB位置変更数に達したかを判定する。MB位置変更数に達していればステップS306-YesステップS308に進み、MB位置変更数に達していなければステップS306-NoステップS307に進む。MB位置変更数は、例えば3右、下、右下である。ステップS307で、基準ベクトル変更部202は、refPicCol内のMBの位置を変更する。例えば、右、下、右下の順に位置を変更する。ステップS307の処理後、ステップS303に戻る。ステップS308で、基準ベクトル変更部202は、colPicの同位置MBの分割数に達したかを判定する。同位置MBの分割数に達していればステップS308-Yesこの面積算出処理を終了し、分割数に達していなければステップS308-NoステップS301に戻る。同位置MBの分割数は、例えば、同位置MBのサブブロック数である。以上、実施例2によれば、同位置ブロックの視差ベクトルが参照するブロックiMBが、BaseViewの符号化単位のブロック境界からずれる場合でも、適切な基準ベクトルを求めることができる。なお、実施例1、2において、基準ベクトルが画面外をさす場合もあり得る。MPEG4以降の画像符号化では、画面外参照も可能であるので、求めた動きベクトルが画面外参照を指す場合は、符号化方式に従って計算を行う。例えば、画面の上側及び/又は下側を超える場合には同一水平位置の画面の最上画素及び/又は最下画素を繰り返した画素を用いる。また、左側及び/又は右側を超える場合には同一垂直位置の、最左画素及び/又は最右画素を繰り返した画素を用いる。画面の水平も垂直も画面参照外の場合、つまり画面の左上側、左下側、右上側、右下側を超えた場合には、画面の最左上側、最左下側、最右上側、最右下側の画素を繰り返した画素を用いる。この様にして作成したブロックを用いて動きベクトル演算、画像符号化演算を行う。[実施例3]次に、実施例3における動画像復号装置300について説明する。実施例3では、実施例1又は2における動画像符号化装置により符号化されたビットストリームに対して復号処理を行う。<構成>図16は、実施例3における動画像復号装置300の構成の一例を示すブロック図である。図16に示す動画像復号装置300は、BaseViewのビットストリーム入力0を復号するため、可変長復号部301、逆直交変換逆量子化部302、予測モード判定部303、基準ダイレクト読出し部304、ダイレクトベクトル計算部305を備える。また、動画像復号装置300は、動きベクトル読込み部306、イントラ予測部307、動きベクトルメモリ308、動き補償部309、復号画像生成部310、フレームメモリ311を備える。また、動画像復号装置300は、非BaseViewの符号化されたビットストリーム入力1を復号するため、可変長復号部351、逆直交変換逆量子化部352、予測モード判定部353、基準ダイレクト判定部354、基準ダイレクト変更部355を備える。また、動画像復号装置300は、ダイレクトベクトル計算部356、動きベクトル読込み部357、イントラ予測部358、動きベクトルメモリ359、動き補償部360、復号画像生成部361、フレームメモリ362を備える。復号処理は、基本的には符号化処理の逆の処理を行えばよい。BaseView可変長復号部301は、BaseView側のビットストリームが入力されると、動画像符号化装置の可変長符号化に対応する可変長復号を行う。可変長復号部301により復号された予測誤差信号などは逆直行変換逆量子化部302に出力される。復号されるデータは、SPSやPPS等の各種ヘッダー情報と、ピクチャ内のMB毎の、予測モードや動きベクトル、差分係数情報のデータ等である。逆直交変換逆量子化部302は、可変長復号部301からの出力信号に対して逆量子化処理を行う。逆直交変換逆量子化部302は、逆量子化された出力信号に対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部310に出力される。予測モード判定部303は、MB毎に、フレーム内符号化、前方向予測符号化、後方向予測符号化、双方向予測符号化、ダイレクトモードの何れの予測モードが使われているかを読込み判定する。実際には、ブロック分割サイズ等も、この予測モードの中に含まれている。MBの予測モードが決まると、予測モードに応じた復号処理が行われる。フレーム内符号化の場合は、イントラ予測部307は、イントラ予測のモードを読込み、イントラ予測を行う。前方向、後方向、双方向のフレーム間予測の場合、動きベクトル読込み部306は、動きベクトル情報を復号されたビットストリームから読み込む。ダイレクトモードの場合、基準ベクトル読出し部304は、復号済のcolPicの復号処理で蓄積された動きベクトルメモリ308の中から、動きベクトルmvColを読み出す。ダイレクトベクトル計算部305は、mvColに対してスケーリングを行ってダイレクトベクトルを計算する。動き補償部309は、ダイレクトベクトル計算部305により計算されたダイレクトベクトル、又は動きベクトル読込み部306により読み込まれた動きベクトルと、フレームメモリ311から取得した参照画像に基づいて動き補償を行う。復号画像生成部310は、イントラ予測部307又は動き補償部309から出力される予測画像と、逆直交変換逆量子化部302から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像は表示部に表示されたり、フレームメモリ311に出力されたりする。統計情報取得部312は、復号されたビットストリームからMB毎にqP値や差分有効係数の個数などの符号化時の統計情報を取得する。なお、統計情報が必要なのは、実施例2の基準ベクトルの算出方法3の場合のみである。非BaseView可変長復号部351は、BaseView側のビットストリームが入力されると、動画像符号化装置の可変長符号化に対応する可変長復号を行う。可変長復号部351により復号された予測誤差信号などは逆直行変換逆量子化部352に出力される。逆直交変換逆量子化部352は、可変長復号部351からの出力信号に対して逆量子化処理を行う。逆直交変換逆量子化部352は、逆量子化された出力信号に対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部361に出力される。予測モード判定部353は、MB毎に、フレーム内符号化、前方向予測符号化、後方向予測符号化、双方向予測符号化、ダイレクトモードの何れの予測モードが使われているかを読込む。実際には、ブロック分割サイズ等も、この予測モードの中に含まれている。MBの予測モードが決まると、予測モードに応じた復号処理が行われる。フレーム内符号化の場合は、イントラ予測部358は、イントラ予測のモードを読込み、イントラ予測を行う。前方向、後方向、双方向のフレーム間予測の場合、動きベクトル読込み部357は、動きベクトル情報を復号されたビットストリームから読み込む。ダイレクトモードの場合、基準ベクトル判定部354は、復号済のcolPicの復号処理で蓄積された動きベクトルメモリ308の中から、動きベクトルmvColを読み出す。このとき、基準ベクトル判定部354は、動きベクトルmvColが視点間参照であるか視差ベクトルであるかを判定する。これは、参照先のピクチャインデックスにより判断できる。参照先のピクチャインデックスが他視点のピクチャを示す場合は、視点間参照となる。基準ベクトル判定部354は、視点間参照の場合に動きベクトルと参照先ピクチャを基準ベクトル変更部355に出力し、同視点参照の場合は動きベクトルを基準ベクトル変更部355に出力する。基準ベクトル変更部355は、符号化装置で処理した内容と同じ処理を行う。例えば、基準ベクトル変更部355は、iMBと重なるブロックの動きベクトルを基準ベクトルとする。また、基準ベクトル変更部355は、iMBと重なるブロックが複数ある場合は、iMBの中心位置を含むブロックの動きベクトルを取得したり、各ブロックの面積で動きベクトルを重み付けたりする。これにより、求められた動きベクトルが基準ベクトルとなる。基準ベクトル変更部355は、符号時に、統計情報を用いて基準ベクトルを算出している場合は、統計情報取得部312から統計情報を取得し、統計情報に基づいて基準ベクトルを算出する。ダイレクトベクトル計算部356は、mvColに対してスケーリングを行ってダイレクトベクトルを計算する。動き補償部360は、ダイレクトベクトル計算部356により計算されたダイレクトベクトル、又は動きベクトル読込み部357により読み込まれた動きベクトルと、フレームメモリ362から取得した参照画像に基づいて動き補償を行う。復号画像生成部361は、イントラ予測部358又は動き補償部360から出力される予測画像と、逆直交変換逆量子化部352から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像は表示部に表示されたり、フレームメモリ362に出力されたりする。これにより、各実施例の動画像符号化装置と同様の基準ベクトル変更処理を行うことで、符号化で生成されたビットストリームを復号することが可能となる。<動作>次に、実施例3における動画像復号装置300の動作について説明する。図17は、実施例3における復号処理の一例を示すフローチャートである。図17に示す処理は、復号対象のブロックが、ダイレクトモードで符号化されていたときの復号処理の例を示す。図17に示すステップS401で、基準ベクトル判定部354は、復号対象ブロックに対する時間ダイレクトモードの基準となるピクチャcolPicの同位置ブロックが有するベクトルが視差ベクトルであるか視点間参照を行っているかを判定する。視点間の参照であればステップS401-YesステップS402に進み、同視点の参照であればステップS401-NoステップS403に進む。ステップS402で、基準ベクトル変更部355は、同位置ブロックが有する視差ベクトルの参照先のブロックの動きベクトルに基づいてbasemvColを算出する。この算出方法は、符号化時の基準ベクトルの算出方法と同じである。ステップS403で、基準ベクトル変更部355は、同位置ブロックのmvColをbasemvColとする。ステップS404で、ダイレクトベクトル計算部356は、基準ベクトルを用いて時間差でスケーリングを行い、ダイレクトベクトルmvL0、mvL1を算出する。ステップS405で、動き補償部360、復号画像生成部361などは、復号対象MBの復号処理を行う。これにより、1MB分の復号処理が終了する。時間ダイレクトモード以外の復号処理は従来の復号処理と同様である。以上、実施例3によれば、interview予測で時間ダイレクトモードが用いられたとしても、動画像符号化装置と同様の基準ベクトル変更処理を行うことで、実施例1や2の動画像符号化装置で生成されたビットストリームを復号することが可能となる。<シンタックス>現在、H264の多視点動画像符号化としては、colPic内にinterview予測を指すブロックが存在する場合には、ダイレクトモードは空間ダイレクトモード固定でなければならない。と規定されている。つまり、この場合、時間ダイレクトモードの定義がなされていない。本実施例では、interview予測の場合に他視点の動きベクトルから計算により時間ダイレクトモードの基準ベクトルを求め、時間ダイレクトベクトルの計算を行う。よって、本実施例のシンタックスは、従来のものと同様のものを使用可能である。時間ダイレクトモードか否かは、SliceHeaderに存在する、directspatialmvpredflagによって決定される。図18は、SliceHeaderの例を示す図である。図18に示すdirectspatialmvpredflagが0なら時間ダイレクトモード、directspatialmvpredflagが1なら空間ダイレクトモードを示す。計算により算出されるダイレクトモードの動きベクトル、mvColbasemvColmvL0mvL1などは、符号化シンタックス上には含まれない。よって、符号化シンタックスは、従来と変わらずに本実施例を適用することができる。[実施例4]図19は、画像処理装置400の構成の一例を示す図である。画像処理装置400は、実施例で説明した動画像符号化装置、又は動画像復号装置の一例である。図19に示すように、画像処理装置400は、制御部401、主記憶部402、補助記憶部403、ドライブ装置404、ネットワークI/F部406、入力部407、表示部408を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。制御部401は、コンピュータの中で、各装置の制御やデータの演算、加工を行うCPUである。また、制御部401は、主記憶部402や補助記憶部403に記憶されたプログラムを実行する演算装置であり、入力部407や記憶装置からデータを受け取り、演算、加工した上で、表示部408や記憶装置などに出力する。主記憶部402は、ROMReadOnlyMemoryやRAMRandomAccessMemoryなどであり、制御部401が実行する基本ソフトウェアであるOSやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。補助記憶部403は、HDDHardDiskDriveなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。ドライブ装置404は、記録媒体405、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。また、記録媒体405に、所定のプログラムを格納し、この記録媒体405に格納されたプログラムはドライブ装置404を介して画像処理装置400にインストールされる。インストールされた所定のプログラムは、画像処理装置400により実行可能となる。ネットワークI/F部406は、有線及び/又は無線回線などのデータ伝送路により構築されたLANLocalAreaNetwork、WANWideAreaNetworkなどのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置400とのインターフェースである。入力部407は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部408の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部407は、ユーザが制御部401に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。表示部408は、CRTCathodeRayTubeやLCDLiquidCrystalDisplay等により構成され、制御部401から入力される表示データに応じた表示が行われる。このように、前述した実施例で説明した動画像符号化処理又は動画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した画像符号化処理又は画像復号処理を実現することができる。また、このプログラムを記録媒体405に記録し、このプログラムが記録された記録媒体405をコンピュータや携帯端末に読み取らせて、前述した画像符号化処理又は画像復号処理を実現させることも可能である。なお、記録媒体405は、CD-ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、前述した各実施例で説明した画像符号化処理又は画像復号処理は、1つ又は複数の集積回路に実装してもよい。実施例では、2視点の立体映像であるステレオ立体視対応の符号化方法/復号方法に関して説明してきたが、3視点以上の多眼映像の場合であっても、基本的に考え方は同じである。よって、視点間参照を行うピクチャにおいて、視点間参照予測を行う場合でも、そのブロックの時間ダイレクトモードの基準ベクトルをその参照先のピクチャ内の動きベクトルから生成する。これにより、interview予測の場合でも時間ダイレクトモードを用いることができる。視点間参照先のブロックが、更に視点間参照を行っていた場合も同様の考えで時間ダイレクトモードの基準ベクトルを生成することができる。以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。なお、以上の実施例に関し、さらに以下の付記を開示する。付記1多視点動画像の符号化データを復号する動画像復号方法であって、復号対象ブロックが時間ダイレクトモードで符号化されている場合、前記復号対象ブロックに対する時間ダイレクトモードの基準となるピクチャの同位置ブロックが他視点のブロックを参照する視差ベクトルを有するかを判定し、前記同位置ブロックが前記視差ベクトルを有する場合、前記視差ベクトルが参照する他視点のブロックが有する動きベクトルを用いて、前記復号対象ブロックの動きベクトルを算出し、算出された動きベクトルを用いて前記復号対象ブロックを復号する動画像復号方法。付記2前記動きベクトルを算出する場合、前記視差ベクトルが参照する他視点のブロックが複数のブロックの領域を含むとき、前記複数のブロックが有する動きベクトルに基づく所定の動きベクトルを用いる付記1記載の動画像復号方法。付記3前記所定の動きベクトルは、前記他視点のブロックの中心位置を含むブロックの動きベクトルである付記2記載の動画像復号方法。付記4前記所定の動きベクトルは、前記複数のブロックの各動きベクトルに対し、前記他視点のブロックに含まれる前記複数のブロックの領域の大きさに応じて加重平均した動きベクトルである付記2記載の動画像復号方法。付記5前記複数のブロックの各ブロックを符号化するときに用いた量子化スケール、差分係数の大きさ及び個数を含む統計情報を取得し、前記所定の動きベクトルは、前記複数のブロックの各動きベクトルに対し、前記各ブロックの統計情報を用いて判定した各ブロックの信頼度に応じて加重平均した動きベクトルである付記2記載の動画像復号方法。付記6前記動きベクトルを算出する場合、前記視差ベクトルが参照する他視点のブロックに動きベクトルがない場合、前記他視点のブロックを参照する動きベクトルを用いる付記1記載の動画像復号方法。付記7前記動きベクトルを算出する場合、前記視差ベクトルが参照する他視点のブロックに動きベクトルが複数ある場合、前方向の動きベクトルを優先して用いる付記1記載の動画像復号方法。付記8多視点動画像の符号化を行う動画像符号化方法であって、符号化対象ブロックを時間ダイレクトモードで符号化する場合、前記符号化対象ブロックに対する時間ダイレクトモードの基準となるピクチャの同位置ブロックが他視点のブロックを参照する視差ベクトルを有するとき、前記視差ベクトルが参照する他視点のブロックが有する動きベクトルを用いて、前記符号化対象ブロックの動きベクトルを算出し、算出された動きベクトルを用いて前記符号化対象ブロックを符号化する動画像符号化方法。付記9多視点動画像の符号化データを復号する動画像復号装置であって、復号対象ブロックが時間ダイレクトモードで符号化されている場合、前記復号対象ブロックに対する時間ダイレクトモードの基準となるピクチャの同位置ブロックが他視点のブロックを参照する視差ベクトルを有するかを判定する判定部と、前記同位置ブロックが前記視差ベクトルを有する場合、前記視差ベクトルが参照する他視点のブロックが有する動きベクトルを用いて、前記復号対象ブロックの動きベクトルを算出する算出部と、算出された動きベクトルを用いて前記復号対象ブロックを復号する復号部と、を備える動画像復号装置。付記10多視点動画像の符号化データを復号する動画像復号プログラムであって、復号対象ブロックが時間ダイレクトモードで符号化されている場合、前記復号対象ブロックに対する時間ダイレクトモードの基準となるピクチャの同位置ブロックが他視点のブロックを参照する視差ベクトルを有するかを判定し、前記同位置ブロックが前記視差ベクトルを有する場合、前記視差ベクトルが参照する他視点のブロックが有する動きベクトルを用いて、前記復号対象ブロックの動きベクトルを算出し、算出された動きベクトルを用いて前記復号対象ブロックを復号する、処理をコンピュータに実行させるための動画像復号プログラム。付記11多視点動画像の符号化を行う動画像符号化プログラムであって、符号化対象ブロックを時間ダイレクトモードで符号化する場合、前記符号化対象ブロックに対する時間ダイレクトモードの基準となるピクチャの同位置ブロックが他視点のブロックを参照する視差ベクトルを有するとき、前記視差ベクトルが参照する他視点のブロックが有する動きベクトルを用いて、前記符号化対象ブロックの動きベクトルを算出し、算出された動きベクトルを用いて前記符号化対象ブロックを符号化する、処理をコンピュータに実行させるための動画像符号化プログラム。"