"多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における視点合成画像を生成する視点合成画像生成ステップと、前記処理画像を用いずに、前記処理画像上の処理領域に該当する前記視点合成画像上の画像信号を用いて、前記処理カメラで撮影された参照画像における対応領域を探索することで、動きベクトルを推定する対応領域推定ステップとを含む動きベクトル推定方法。前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記対応領域推定ステップは、前記信頼度に基づいて前記対応領域を探索する際のマッチングコストに重みを付ける、請求項1に記載の動きベクトル推定方法。多視点映像の予測符号化を行う多視点映像符号化方法であって、前記多視点映像のある符号化対象視点とは異なる参照視点で、符号化対象フレームと同時刻に撮影された既に符号化済みの参照視点フレームから、前記符号化対象視点における視点合成画像を生成する視点合成画像生成ステップと、前記視点合成画像の各符号化単位ブロックに対して、前記符号化対象視点における既に符号化済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定ステップと、前記推定された動きベクトルと前記参照フレームとを用いて、前記符号化対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成ステップと、前記符号化対象フレームと前記動き補償予測画像との差分信号を符号化する残差符号化ステップとを含む多視点映像符号化方法。前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記動きベクトル推定ステップは、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付ける、請求項3に記載多視点映像符号化方法。前記符号化対象フレームの各符号化単位ブロックに対して、前記参照フレームとの間で対応領域を探索することで最適な動きベクトルを生成する動き探索ステップと、前記動きベクトルと前記最適な動きベクトルとの差ベクトルを符号化する差ベクトル符号化ステップとを更に含み、前記動き補償予測画像生成ステップは、前記最適な動きベクトルと前記参照フレームとを用いて前記動き補償予測画像を生成する、請求項3または4に記載の多視点映像符号化方法。前記動きベクトルと、符号化対象領域に隣接する領域で使用された最適な動きベクトル群とを用いて、予測ベクトルを生成する予測ベクトル生成ステップを更に含み、前記差ベクトル符号化ステップは、前記予測ベクトルと前記最適な動きベクトルの差ベクトルを符号化する、請求項5に記載の多視点映像符号化方法。多視点映像のある視点に対する映像の符号化データを復号する多視点映像復号方法であって、復号対象視点とは異なる参照視点で、復号対象フレームと同時刻に撮影された参照視点フレームから、前記復号対象視点における視点合成画像を生成する視点合成画像生成ステップと、前記視点合成画像の各復号単位ブロックに対して、前記復号対象視点における既に復号済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定ステップと、前記推定された動きベクトルと前記参照フレームとを用いて、前記復号対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成ステップと、前記動き補償予測画像を予測信号として用いて、予測符号化されている前記復号対象フレームを前記符号化データから復号する画像復号ステップとを含む多視点映像復号方法。前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記動きベクトル推定ステップは、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付ける、請求項7に記載の多視点映像復号方法。前記動きベクトルを予測ベクトルとして用いて、予測符号化されている最適な動きベクトルを前記符号化データから復号するベクトル復号ステップを更に含み、前記動き補償予測画像生成ステップは、前記最適な動きベクトルと前記参照フレームとを用いて前記動き補償予測画像を生成する、請求項7または8に記載の多視点映像復号方法。前記動きベクトルと、復号対象領域に隣接する領域で使用された最適な動きベクトル群とを用いて、推定予測ベクトルを生成する予測ベクトル生成ステップを更に含み、前記ベクトル復号ステップは、前記推定予測ベクトルを前記予測ベクトルとして用いて、前記最適な動きベクトルを復号する、請求項9に記載の多視点映像復号方法。多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における視点合成画像を生成する視点合成画像生成手段と、前記処理画像を用いずに、前記処理画像上の処理領域に該当する前記視点合成画像上の画像信号を用いて、前記処理カメラで撮影された参照画像における対応領域を探索することで、動きベクトルを推定する対応領域推定手段とを備える動きベクトル推定装置。前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に備え、前記対応領域推定手段は、前記信頼度に基づいて前記対応領域を探索する際のマッチングコストに重みを付ける、請求項11に記載の動きベクトル推定装置。多視点映像の予測符号化を行う多視点映像符号化装置であって、前記多視点映像のある符号化対象視点とは異なる参照視点で、符号化対象フレームと同時刻に撮影された既に符号化済みの参照視点フレームから、前記符号化対象視点における視点合成画像を生成する視点合成画像生成手段と、前記視点合成画像の各符号化単位ブロックに対して、前記符号化対象視点における既に符号化済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定手段と、前記推定された動きベクトルと前記参照フレームとを用いて、前記符号化対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成手段と、前記符号化対象フレームと前記動き補償予測画像との差分信号を符号化する残差符号化手段とを備える多視点映像符号化装置。前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に含み、前記動きベクトル推定手段は、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付ける、請求項13に記載多視点映像符号化装置。多視点映像のある視点に対する映像の符号化データを復号する多視点映像復号装置であって、復号対象視点とは異なる参照視点で、復号対象フレームと同時刻に撮影された参照視点フレームから、前記復号対象視点における視点合成画像を生成する視点合成画像生成手段と、前記視点合成画像の各復号単位ブロックに対して、前記復号対象視点における既に復号済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定手段と、前記推定された動きベクトルと前記参照フレームとを用いて、前記復号対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成手段と、前記動き補償予測画像を予測信号として用いて、予測符号化されている前記復号対象フレームを前記符号化データから復号する画像復号手段とを備える多視点映像復号装置。前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に含み、前記動きベクトル推定手段は、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付ける、請求項15に記載の多視点映像復号装置。動きベクトル推定装置のコンピュータに、多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における視点合成画像を生成する視点合成画像生成機能、前記処理画像を用いずに、前記処理画像上の処理領域に該当する前記視点合成画像上の画像信号を用いて、前記処理カメラで撮影された参照画像における対応領域を探索することで、動きベクトルを推定する対応領域推定機能を実行させる動きベクトル推定プログラム。多視点映像の予測符号化を行う多視点映像符号化装置のコンピュータに、前記多視点映像のある符号化対象視点とは異なる参照視点で、符号化対象フレームと同時刻に撮影された既に符号化済みの参照視点フレームから、前記符号化対象視点における視点合成画像を生成する視点合成画像生成機能、前記視点合成画像の各符号化単位ブロックに対して、前記符号化対象視点における既に符号化済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定機能、前記推定された動きベクトルと前記参照フレームとを用いて、前記符号化対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成機能、前記符号化対象フレームと前記動き補償予測画像との差分信号を符号化する残差符号化機能を実行させる多視点映像符号化プログラム。多視点映像のある視点に対する映像の符号化データを復号する多視点映像復号装置のコンピュータに、復号対象視点とは異なる参照視点で、復号対象フレームと同時刻に撮影された参照視点フレームから、前記復号対象視点における視点合成画像を生成する視点合成画像生成機能、前記視点合成画像の各復号単位ブロックに対して、前記復号対象視点における既に復号済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定機能、前記推定された動きベクトルと前記参照フレームとを用いて、前記復号対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成機能、前記動き補償予測画像を予測信号として用いて、予測符号化されている前記復号対象フレームを前記符号化データから復号する画像復号機能を実行させる多視点映像復号プログラム。上述した従来技術では、視差補償予測や視点合成予測を用いることで、カメラ間の映像信号の冗長性を取り除くことができる。このため、それぞれのカメラで撮影した映像を独立に符号化する場合に比べて、多視点映像を高効率に圧縮符号化することができる。しかしながら、多視点映像では、カメラ間相関と時間相関との両方が同時に存在する。そのため、視差補償予測や視点合成予測のみを用いた場合には、時間相関を利用して時間的な冗長性を取り除くことができないため、効率的な符号化を実現することができない。非特許文献1では、ブロック毎に動き補償予測と視差補償予測との適応選択を導入することで、カメラ間相関と時間相関との両方を利用しようとしている。この方法を用いることで、どちらか一方の相関しか使用しない場合に比べて効率的な符号化を実現できる。しかしながら、ブロック毎にどちらか一方を選択するということは、ブロック毎により強い相関を示したものを利用することで、より多くの冗長性を削減しているだけで、カメラ間、および、異なる時刻に撮影されたフレーム間で同時に存在している冗長性まで削減できるわけではない。この課題に対する解決策として、動き補償予測などの時間相関を利用した手法によって生成された予測画像と、視差補償予測や視点合成予測などのカメラ間相関を利用した手法によって生成された予測映像との重み付け平均を用いる方法が容易に類推可能である。この手法を用いることで、ある程度の符号化効率改善の効果が得られる。しかしながら、重み付け平均を用いて予測画像を生成することは、時間相関とカメラ間相関との間で、その相関を利用する比率を分配しているに過ぎない。つまり、2つの相関を同時に利用しているのではなく、どちらの相関を利用するかをより柔軟に行っているに過ぎないため、同時に存在している冗長性を削減するものではない。本発明は、このような事情を考慮してなされたものであり、その目的は、処理画像が得られない状況においても、精度よく動きベクトルを推定することができ、映像信号予測において時間相関を利用することで、2つの相関を同時に利用して、効率的な多視点映像符号化を実現することができる動きベクトル推定方法、多視点映像符号化方法、多視点映像復号方法、動きベクトル推定装置、多視点映像符号化装置、多視点映像復号装置、動きベクトル推定プログラム、多視点映像符号化プログラム、及び多視点映像復号プログラムを提供することにある。上述した課題を解決するために、本発明の第1の観点は、多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における視点合成画像を生成する視点合成画像生成ステップと、前記処理画像を用いずに、前記処理画像上の処理領域に該当する前記視点合成画像上の画像信号を用いて、前記処理カメラで撮影された参照画像における対応領域を探索することで、動きベクトルを推定する対応領域推定ステップとを含む動きベクトル推定方法である。本発明の第1の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記対応領域推定ステップは、前記信頼度に基づいて前記対応領域を探索する際のマッチングコストに重みを付けるようにしてもよい。また、上述した課題を解決するために、本発明の第2の観点は、多視点映像の予測符号化を行う多視点映像符号化方法であって、前記多視点映像のある符号化対象視点とは異なる参照視点で、符号化対象フレームと同時刻に撮影された既に符号化済みの参照視点フレームから、前記符号化対象視点における視点合成画像を生成する視点合成画像生成ステップと、前記視点合成画像の各符号化単位ブロックに対して、前記符号化対象視点における既に符号化済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定ステップと、前記推定された動きベクトルと前記参照フレームとを用いて、前記符号化対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成ステップと、前記符号化対象フレームと前記動き補償予測画像との差分信号を符号化する残差符号化ステップとを含む多視点映像符号化方法である。本発明の第2の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記動きベクトル推定ステップは、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付けるようにしてもよい。本発明の第2の観点において、前記符号化対象フレームの各符号化単位ブロックに対して、前記参照フレームとの間で対応領域を探索することで最適な動きベクトルを生成する動き探索ステップと、前記動きベクトルと前記最適な動きベクトルとの差ベクトルを符号化する差ベクトル符号化ステップとを更に含み、前記動き補償予測画像生成ステップは、前記最適な動きベクトルと前記参照フレームとを用いて前記動き補償予測画像を生成するようにしてもよい。本発明の第2の観点において、前記動きベクトルと、符号化対象領域に隣接する領域で使用された最適な動きベクトル群とを用いて、予測ベクトルを生成する予測ベクトル生成ステップを更に含み、前記差ベクトル符号化ステップは、前記予測ベクトルと前記最適な動きベクトルの差ベクトルを符号化するようにしてもよい。また、上述した課題を解決するために、本発明の第3の観点は、多視点映像のある視点に対する映像の符号化データを復号する多視点映像復号方法であって、復号対象視点とは異なる参照視点で、復号対象フレームと同時刻に撮影された参照視点フレームから、前記復号対象視点における視点合成画像を生成する視点合成画像生成ステップと、前記視点合成画像の各復号単位ブロックに対して、前記復号対象視点における既に復号済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定ステップと、前記推定された動きベクトルと前記参照フレームとを用いて、前記復号対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成ステップと、前記動き補償予測画像を予測信号として用いて、予測符号化されている前記復号対象フレームを前記符号化データから復号する画像復号ステップとを含む多視点映像復号方法である。本発明の第3の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記動きベクトル推定ステップは、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付けるようにしてもよい。本発明の第3の観点において、前記動きベクトルを予測ベクトルとして用いて、予測符号化されている最適な動きベクトルを前記符号化データから復号するベクトル復号ステップを更に含み、前記動き補償予測画像生成ステップは、前記最適な動きベクトルと前記参照フレームとを用いて前記動き補償予測画像を生成するようにしてもよい。本発明の第3の観点において、前記動きベクトルと、復号対象領域に隣接する領域で使用された最適な動きベクトル群とを用いて、推定予測ベクトルを生成する予測ベクトル生成ステップを更に含み、前記ベクトル復号ステップは、前記推定予測ベクトルを前記予測ベクトルとして用いて、前記最適な動きベクトルを復号するようにしてもよい。また、上述した課題を解決するために、本発明の第4の観点は、多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された時刻における視点合成画像を生成する視点合成画像生成手段と、前記処理画像を用いずに、前記処理画像上の処理領域に該当する前記視点合成画像上の画像信号を用いて、前記処理カメラで撮影された参照画像における対応領域を探索することで、動きベクトルを推定する対応領域推定手段とを備える動きベクトル推定装置である。本発明の第4の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に備え、前記対応領域推定手段は、前記信頼度に基づいて前記対応領域を探索する際のマッチングコストに重みを付けるようにしてもよい。また、上述した課題を解決するために、本発明の第5の観点は、多視点映像の予測符号化を行う多視点映像符号化装置であって、前記多視点映像のある符号化対象視点とは異なる参照視点で、符号化対象フレームと同時刻に撮影された既に符号化済みの参照視点フレームから、前記符号化対象視点における視点合成画像を生成する視点合成画像生成手段と、前記視点合成画像の各符号化単位ブロックに対して、前記符号化対象視点における既に符号化済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定手段と、前記推定された動きベクトルと前記参照フレームとを用いて、前記符号化対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成手段と、前記符号化対象フレームと前記動き補償予測画像との差分信号を符号化する残差符号化手段とを備える多視点映像符号化装置である。本発明の第5の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に含み、前記動きベクトル推定手段は、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付けるようにしてもよい。また、上述した課題を解決するために、本発明の第6の観点は、多視点映像のある視点に対する映像の符号化データを復号する多視点映像復号装置であって、復号対象視点とは異なる参照視点で、復号対象フレームと同時刻に撮影された参照視点フレームから、前記復号対象視点における視点合成画像を生成する視点合成画像生成手段と、前記視点合成画像の各復号単位ブロックに対して、前記復号対象視点における既に復号済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定手段と、前記推定された動きベクトルと前記参照フレームとを用いて、前記復号対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成手段と、前記動き補償予測画像を予測信号として用いて、予測符号化されている前記復号対象フレームを前記符号化データから復号する画像復号手段とを備える多視点映像復号装置である。本発明の第6の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に含み、前記動きベクトル推定手段は、前記信頼度に基づいて前記対応領域を探索する際の各画素のマッチングコストに重みを付けるようにしてもよい。また、上述した課題を解決するために、本発明の第7の観点は、動きベクトル推定装置のコンピュータに、多視点映像に含まれる処理画像を撮影した処理カメラとは別のカメラで撮影された参照カメラ映像から、前記処理カメラと同じ設定に従って、前記処理画像が撮影された同じにおける視点合成画像を生成する視点合成画像生成機能、前記処理画像を用いずに、前記処理画像上の処理領域に該当する前記視点合成画像上の画像信号を用いて、前記処理カメラで撮影された参照画像における対応領域を探索することで、動きベクトルを推定する対応領域推定機能を実行させる動きベクトル推定プログラムである。また、上述した課題を解決するために、本発明の第8の観点は、多視点映像の予測符号化を行う多視点映像符号化装置のコンピュータに、前記多視点映像のある符号化対象視点とは異なる参照視点で、符号化対象フレームと同時刻に撮影された既に符号化済みの参照視点フレームから、前記符号化対象視点における視点合成画像を生成する視点合成画像生成機能、前記視点合成画像の各符号化単位ブロックに対して、前記符号化対象視点における既に符号化済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定機能、前記推定された動きベクトルと前記参照フレームとを用いて、前記符号化対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成機能、前記符号化対象フレームと前記動き補償予測画像との差分信号を符号化する残差符号化機能を実行させる多視点映像符号化プログラムである。また、上述した課題を解決するために、本発明の第9の観点は、多視点映像のある視点に対する映像の符号化データを復号する多視点映像復号装置のコンピュータに、復号対象視点とは異なる参照視点で、復号対象フレームと同時刻に撮影された参照視点フレームから、前記復号対象視点における視点合成画像を生成する視点合成画像生成機能、前記視点合成画像の各復号単位ブロックに対して、前記復号対象視点における既に復号済みの参照フレーム上の対応領域を探索することで動きベクトルを推定する動きベクトル推定機能、前記推定された動きベクトルと前記参照フレームとを用いて、前記復号対象フレームに対する動き補償予測画像を生成する動き補償予測画像生成機能、前記動き補償予測画像を予測信号として用いて、予測符号化されている前記復号対象フレームを前記符号化データから復号する画像復号機能を実行させる多視点映像復号プログラムである。この発明によれば、処理画像が得られない状況においても、精度よく動きベクトルを推定することができ、映像信号予測において時間相関を利用することで、2つの相関すなわち、カメラ間相関および時間相関を同時に利用して、効率的な多視点映像符号化を実現することができる。以下、本発明の一実施形態を、図面を参照して説明する。従来技術では、符号化対象の入力画像の画像信号を用いて、参照画像上の対応領域を求めることで動き補償予測を実現していた。この場合、復号側では入力画像が得られないため、対応領域を示す動きベクトル情報を符号化する必要がある。本発明の実施形態では、別のカメラで撮影された映像を用いて符号化対象画像に対応する合成画像を生成し後述するステップSa2、その合成画像の画像信号を用いて、参照画像上の対応領域を求める後述するステップSa5。この合成画像は、復号側で同じものを生成することが可能であるため、符号化側と同様の探索を復号側で行うことで動きベクトルが得られる。この結果、本発明の実施形態は、動き補償予測を行うにも関わらず、動きベクトルを符号化する必要がなくなり、その分の符号量を削減することができるという効果が得られる。なお、以下の説明では、記号で挟まれた位置を特定可能な情報座標値、座標値に対応付け可能なインデックス、領域、領域に対応付け可能なインデックスを、映像フレームに付加することで、その位置の画素やその領域に対する映像信号を示すものとする。A.第1実施形態まず、本発明の第1実施形態について説明する。図1は、本第1実施形態に係る多視点映像符号化装置の構成を示すブロック図である。図1に示すように、多視点映像符号化装置100は、符号化対象フレーム入力部101、符号化対象画像メモリ102、参照視点フレーム入力部103、参照視点画像メモリ104、視点合成部105、視点合成画像メモリ106、信頼度設定部107、対応領域探索部108、動き補償予測部109、予測残差符号化部110、予測残差復号部111、復号画像メモリ112、予測残差算出部113、及び復号画像算出部114を備えている。符号化対象フレーム入力部101は、符号化対象となる映像フレーム符号化対象フレームを入力する。符号化対象画像メモリ102は、入力された符号化対象フレームを蓄積する。参照視点フレーム入力部103は、符号化対象フレームとは別の視点参照視点に対する映像フレーム参照視点フレームを入力する。参照視点画像メモリ104は、入力された参照視点フレームを蓄積する。視点合成部105は、参照視点フレームを用いて符号化対象フレームに対する視点合成画像を生成する。視点合成画像メモリ106は、生成された視点合成画像を蓄積する。信頼度設定部107は、生成された視点合成画像の画素ごとの信頼度を設定する。対応領域探索部108は、視点合成画像の符号化単位ブロック毎に、動き補償予測の参照フレームとなり、符号化対象フレームと同じ視点で撮影され、既に符号化済みのフレームにおける対応ブロックを示す動きベクトルを、信頼度を用いながら探索する。すなわち、対応領域探索を行う際のマッチングコストに信頼度に基づいて重みを付けることで、視点合成時の誤差に引きずられることなく、精度よく合成できた画素を重視し、高精度な動きベクトル推定を実現する。動き補償予測部109は、決定した対応ブロックに従って参照フレームを用いて動き補償予測画像を生成する。予測残差算出部113は、符号化対象フレームと動き補償予測画像の差予測残差信号を算出する。予測残差符号化部110は予測残差信号を符号化する。予測残差復号部111は、予測残差信号の符号化データを復号する。復号画像算出部114は、復号された予測残差信号と動き補償予測画像とを足し合わせて符号化対象フレームの復号画像を算出する。復号画像メモリ112は、復号画像を蓄積する。図2は、本第1実施形態による多視点映像符号化装置100の動作を説明するフローチャートである。このフローチャートに従って、第1実施形態による多視点映像符号化装置100が実行する処理について詳細に説明する。まず、符号化対象フレーム入力部101より符号化対象フレームOrgが入力され、符号化対象画像メモリ102に格納されるステップSa1。また、参照視点フレーム入力部103より符号化対象フレームOrgと同時刻に参照視点で撮影された参照視点フレームRefnが入力されn=1,2,...,N、参照視点画像メモリ104に蓄積されるステップSa1。ここで入力される参照視点フレームは、既に符号化済みの画像を復号したものとする。これは、復号装置で得られる情報と同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。但し、これらの符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されても構わない。なお、nは、参照視点を示すインデックスであり、Nは、ここで利用可能な参照視点の数である。次に、視点合成部105で、参照視点フレームの情報から、符号化対象フレームと同時刻に同じ視点で撮影された画像を合成し、生成された視点合成画像Synを視点合成画像メモリ106に蓄積するステップSa2。この視点合成画像の生成法には、どのような方法を用いても構わない。例えば、参照視点フレームの映像情報以外に参照視点フレームに対するデプス情報が与えられるのであれば、非特許文献2や、非特許文献3YMoriNFukushimaTFujiiandMTanimotoViewGenerationwith3DWarpingUsingDepthInformationforFTVProceedingsof3DTVCON2008pp229232May2008などに記載されている手法を用いることができる。また、符号化対象フレームに対するデプス情報が得られた場合には、非特許文献4SYeaandAVetroViewSynthesisPredictionforRateOverheadReductioninFTVProceedingsof3DTVCON2008pp145148May2008などに記載されている手法を用いることも可能である。全くデプス情報が得られない場合では、非特許文献5JSunNZhengandHShumStereoMatchingUsingBeliefPropagationIEEETransactionsonPatternAnalysisandMachineIntelligenceVol25No7pp787800July2003などに記載のステレオ法やデプス推定法と呼ばれる手法を用いて、参照視点フレームもしくは符号化対象フレームに対するデプス情報を作成した後に、前述のような手法を適用して視点合成画像を生成することができる非特許文献6:SShimizuYTonomuraHKimataandYOhtaniImprovedViewInterpolationPredictionforSideInformationinMultiviewDistributedVideoCodingProceedingsofICDSC2009August2009。デプス情報を明には生成せずに参照視点フレームから視点合成画像を直接生成する方法もある非特許文献7:KYamamotoMKitaharaHKimataTYendoTFujiiMTanimotoSShimizuKKamikuraandYYashimaMultiviewVideoCodingUsingViewInterpolationandColorCorrectionIEEETransactionsonCircuitsandSystemforVideoTechnologyVol17No11pp14361449November2007。なお、これらの手法を用いるには基本的にカメラの位置関係やカメラによる投影プロセスを示すカメラパラメータが必要となる。これらのカメラパラメータも参照視点フレームから推定することも可能である。なお、デプス情報やカメラパラメータなどを復号側で推定しない場合、符号化装置内で使用したそれらの情報を別途符号化して伝送する必要がある。次に、信頼度設定部107において、視点合成画像の各画素に対して、その画素に対する合成がどれぐらいの確からしさで実現できたかを示す信頼度ρを生成するステップSa3。本第1実施形態では、信頼度ρは、0~1までの実数とするが、0以上で大きな値がより信頼度が高いとするような定義のものであれば、どのように信頼度を表現しても構わない。例えば、1以上の8ビット整数で信頼度を表現しても構わない。信頼度ρは、上述した通り、合成がどれぐらい正確に行われたかを示すことができればどのようなものでも構わない。例えば、最も簡単なものとしては、視点合成画像の各画素が対応する参照視点フレーム上の画素の画素値の分散値を用いる方法がある。対応画素間で画素値が近いほど同じ被写体を同定して正しく視点合成できたことを示すので、分散が小さいほど信頼度が高いことを示す。つまり、信頼度は分散の逆数を用いて表現される。視点合成画像Syn[p]を合成するのに使用した各参照視点フレームの画素をRefn[pn]で表すとすると、次の数式1や数式2を用いて信頼度を表すことが可能である。分散の最小値が0であることから、関数maxを用いて信頼度を定義する必要がある。なお、maxは、与えられた集合に対する最大値を返す関数である。また、その他の関数は、次の数式3で表現されるものである。分散以外にも、次の数式4で表される、対応する参照視点フレームの画素の最大値と最小値との差diffpを用いる方法もある。また、分数の逆数ではなく、次の数式4’のように指数関数を用いた信頼度を定義しても構わない。なお、関数fは上述のvar1,var2,diffのいずれでも構わない。この場合、関数fの値域に0が含まれていても信頼度を定義することが可能である。これらの方法は、単純であるが、オクルージョンの発生を考慮していないため、常に最適な信頼度が得られるとは限らない。そこで、オクルージョンの発生を考慮して、参照視点フレームを対応画素の画素値によってクラスタリングし、最も大きいクラスタに属する参照視点フレームの対応画素の画素値に対して、分散値や、最大値と最小値との差を計算して用いても構わない。更に別の方法としては、視点間の対応点における誤差が正規分布や、ラプラス分布に従うと仮定し、分布の平均値や、分散値をパラメータとして、上記数式4のdiffなどで求められる各画素の誤差量に対応する確率の値を用いて信頼度を定義しても構わない。その際に分布のモデルや、その平均値や、分散値は、予め定められたものを用いても構わないし、使用したモデルの情報を符号化して伝送しても構わない。一般に、被写体が完全拡散反射しているのであれば、理論的に分布の平均値は0と考えることができるため、モデルを簡略化してもよい。また、視点合成画像を生成した際の対応点が得られるデプス付近で、対応画素の画素値の誤差量が最小であると仮定すると、デプスを微小に変化させたときの誤差量の変化から誤差分布モデルを推定し、その誤差分布モデルそのものや、その誤差分布モデルと視点合成画像生成時の参照視点フレーム上の対応画素の画素値とに基づいた値を用いて信頼度を定義する方法を用いても構わない。誤差分布モデルのみを用いた定義としては、誤差の発生確率がその誤差分布に従う際に、誤差が一定の範囲内に収まる確率を信頼度とする方法がある。誤差分布モデルと視点合成画像生成時の参照視点フレーム上の対応画素の画素値とを用いた定義としては、誤差の発生確率が推定した誤差分布に従うとした場合に、視点合成画像生成時の参照視点フレーム上の対応画素の画素値で表される状況が発生する確率を信頼度とする方法がある。更に別な方法として、視点合成を行う際に必要となる視差デプスを推定する際に、BeliefPropagationと呼ばれる手法上述した非特許文献5を用いた際に得られる、視差デプスに対する確率の値を信頼度としても構わない。BeliefPropagation以外でも、視点合成画像の各画素について、解の確からしさを内部的に計算するデプス推定アルゴリズムであれば、その情報を信頼度として用いることが可能である。視点合成画像生成時に、対応点探索やステレオ法、デプス推定を行う場合には、対応点の情報やデプス情報を求める処理の一部が信頼度計算の一部と同じになることがある。そのような場合においては、視点合成画像生成と信頼度計算とを同時に行うことで、演算量を削減することが可能である。信頼度ρの計算が終了したら、符号化対象フレームをブロックに分割し、その領域毎に対応点探索や予測画像生成をしながら、符号化対象フレームの映像信号を符号化するステップSa4~Sa12。つまり、符号化対象ブロックインデックスをblk、総符号化対象ブロック数をnumBlksで表すとすると、blkを0で初期化した後ステップSa4、blkに1を加算しながらステップSa11、blkがnumBlksになるまでステップSa12、以下の処理ステップSa5~Sa10を繰り返す。なお、上記視点合成画像の生成や信頼度ρの計算を符号化対象ブロック毎に行うことが可能であれば、それらの処理も、符号化対象ブロック毎に繰り返す処理の一部として行うことが可能である。例えば、符号化対象ブロックに対するデプス情報が与えられている場合が該当する。符号化対象ブロック毎に繰り返される処理では、まず、対応領域探索部108で、視点合成画像を用いてブロックblkに対応する参照フレーム上の対応ブロックを見つけるステップSa5。ここで、参照フレームとは、既に符号化処理が終了したデータを復号して得られるローカルデコード画像のことである。このローカルデコード画像のデータは、復号画像メモリ112に蓄積されるデータである。なお、ローカルデコード画像を使用するのは、復号側で同じタイミングで取得可能なデータと同じものを使うことで、ドリフトと呼ばれる符号化歪みの発生を防ぐためである。そのような符号化歪みの発生を許すのであれば、ローカルデコード画像ではなく、符号化対象フレームより先に符号化された入力フレームを使っても構わない。なお、本第1実施形態では、符号化対象フレームと同じカメラで撮影され、符号化対象フレームとは別の時刻に撮影された画像を用いる。しかし、符号化対象フレームとは別のカメラで撮影されたフレームであっても、符号化対象フレームより先に処理をされたフレームであれば、どのようなフレームを用いても構わない。対応ブロックを求める処理は、視点合成画像Syn[blk]をテンプレートとして、適合度を最大化もしくは乖離度を最小化する対応ブロックを、復号画像メモリ112に蓄積されているローカルデコード画像上で求める処理である。本第1実施形態では、乖離度を示すマッチングコストを用いるものとする。乖離度を示すマッチングコストの具体例としては次の数式5や数式6などがある。ここで、vecは、対応ブロック間のベクトルであり、tは、復号画像メモリ112に蓄積されているローカルデコード画像Decの1つを示すインデックス値とする。これら以外に、視点合成画像とローカルデコード画像との間の差分値をDCTDiscreteCosineTransform:離散コサイン変換やアダマール変換などを用いて変換した値を用いた方法がある。その変換を行列Aで表すと、次の数式7や数式8で表すことができる。なお、Xは、Xのノルムを表す。つまり、これらのマッチングコストを最小化するブロックを求める処理は、次の数式9で表されるbest_vec,best_tの組を求めることになる。ここで、argminは、与えられた関数を最小化するパラメータを求める処理を示す。導出するパラメータの集合はargminの下部で与えられる集合である。探索するフレーム数、探索範囲、及び探索の順序や打ち切りを決定する方法には、任意の方法を用いても構わない。但し、正確に復号するためには、復号側で用いるものと同様のものを用いる必要がある。なお、探索範囲や打ち切り方法は、演算コストに大きな影響を与える。より少ない探索範囲で高いマッチング精度を出すための1つの方法として、探索中心を適切に設定する方法がある。1つの例としては、参照視点フレーム上の対応領域で使用されていた動きベクトルで表される対応点を探索中心にする方法がある。また、復号側の探索にかかる演算コストを削減する方法として、探索を行う対象のフレームを限定する方法がある。予め探索対象のフレーム決定法を決めても構わない。例えば、最も直前に符号化が終了したフレームを探索対象とする方法がこれにあたる。また、別の方法として、どのフレームを対象とするかを示す情報を符号化して復号側に通知する方法もある。この場合、復号側は探索対象フレームを示すインデックス値などの情報を復号し、それを元に探索対象フレームを決定する機構を持つ必要がある。対応ブロックが決定したら、動き補償予測部109でブロックblkに対する予測画像Predを生成するステップSa6。最も単純な方法は、対応するブロックの画素値を予測画像とする方法であり、数式10で表される。別の方法としては、オーバラップMCMC:動き補償やデブロッキングフィルタと呼ばれる手法を用いて隣接ブロックとの連続性を考慮して予測画像を生成する。この場合、ブロック毎に予測画像を生成することができないため、ブロック毎に対応領域探索を繰り返した後、予測画像を生成し、その後に残差生成、及び符号化等の処理を、再度、ブロック毎に繰り返す。ブロックblkに対する予測画像の生成が完了したら、符号化対象フレームOrgと予測画像Predの差分で表される残差信号Resを予測残差算出部113で生成し、その残差信号を予測残差符号化部110で符号化するステップSa7。符号化の結果出力される符号化データは、多視点映像符号化装置100の出力となると共に、予測残差復号部111へ送られる。予測残差の符号化には、どのような方法を用いても構わない。例えば、非特許文献1に記載のH.264では、DCT等の周波数変換、量子化、2値化、エントロピー符号化を順に施すことで符号化を行う。予測残差復号部111では、入力された符号化データを復号し復号予測残差DecResを得るステップSa8。なお、復号には、符号化で使われた手法で得られる符号化データを復号するための方法が使われる。H.264の場合であれば、エントロピー復号、逆2値化、逆量子化、IDCTInverseDiscreteCosineTransform:逆離散コサイン変換等の逆周波数変換の順に処理を施すことで復号予測残差を得る。復号画像算出部114は、数式11で示される通り、得られた復号予測残差DecResに予測信号Predを加算して、ローカルデコード画像Deccur[blk]を生成するステップSa9。生成されたローカルデコード画像は、今後の予測に使用するために、復号画像メモリ112に蓄積するステップSa10。本第1実施形態では、ステップSa5の対応ブロック探索において、1つの対応ブロックを決定した。しかし、予め定められた方法で複数のブロックを選択し、ステップSa6で動き補償予測信号を生成する際に、複数のブロックに対して平均値や中央値など予め定められた処理を施すことで予測信号を生成することもできる。ブロックの数を予め定める方法としては、直接個数を指定する方法と、マッチングコストに関する条件を定め、その条件を満たすブロックを全て選択する方法と、その両者を組み合せた方法が考えられる。両者を組み合せた方法とは、例えば、マッチングコストが閾値未満のもので、その値が小さいものから順に予め定められた個数までのものを選択する方法がある。また、個数を予め定めない場合において、その個数を示す情報を符号化して復号側へ伝える方法も考えられる。複数の候補から予測信号を生成する方法についても、予め1つに定めても構わないし、どの方法を用いるかを示す情報を符号化して伝えても構わない。また、本第1実施形態では、探索対象のフレームに符号化対象フレームと同時刻のフレームを含めていないが、既に復号済みの領域を探索対象としても構わない。上述した第1実施形態によれば、視点合成予測や視点補間予測と同様の方法によって処理画像に対応する視点合成画像を生成し、その視点合成画像を用いて参照画像との対応点を探索することで、動きベクトルを推定する。これによって、処理画像が得られない状況においても、精度よく動きベクトルを推定することができる。なお、処理画像が存在しないような状況で動きベクトルを推定する従来方式には、被写体が等速直線運動をすると仮定して、処理画像以外の複数の時刻の異なるフレーム間で求めた動きベクトルから処理画像の動きベクトルを推定する方法がある非特許文献8:JAscensoCBritesandFPereiraImprovingframeinterpolationwithspatialmotionsmoothingforpixeldomaindistributedvideocodinginthe5thEURASIPConferenceonSpeechandImageProcessingMultimediaCommunicationsandServicesJuly2005。なお、この概念は非特許文献1に記載のH.264において、時間ダイレクトモードとして用いられている。フレーム間の時間間隔が非常に短い場合や、被写体が規則的な動きをしている場合などにおいては、このような被写体の動きを仮定した方法でもある程度の精度で動きベクトル推定を行うことができる。しかしながら、一般に被写体の動きは非線形でありモデル化することは困難なため、このような手法では高精度に動きベクトルを推定することは困難である。また、被写体の動きを仮定せずに、動きベクトルの空間的な連続性を用いて動きベクトルを推定する方法もある。非特許文献9SKampMEvertzandMWienDecodersidemotionvectorderivationforinterframevideocodingICIP2008pp11201123October2008には、処理領域の隣接領域においては処理画像が得られている場合に、その隣接領域の対応領域を求めることで、処理領域の動きベクトルを推定する方法が記載されている。動きは被写体に依存するものであり、隣接する領域には同じ被写体が写っていることが多いので、この手法を用いることである程度の精度で動きベクトルを推定することができる。しかしながら、隣接領域の画像が必要になるだけではなく、隣接領域に同じ被写体が写ってない場合は正しい動きベクトルを推定できない。また、同じ被写体であっても異なる動きを持っている場合もあるため、限定された状況以外では高精度な動きベクトル推定を実現することはできない。このような従来手法とは異なり、本実施形態の手法では、動きを求めたい領域の映像信号を視点間相関を利用して合成し、その合成結果を用いて対応領域探索を行う。このため、動きについて時間的な規則性や空間的な類似性を仮定する必要がなく、どのような映像に対しても高精度な動きベクトル推定を行うことが可能となる。また、上述した第1実施形態によれば、視点合成画像の画素ごとに視点合成画像の確からしさを示す信頼度を設定し、その信頼度に基づいて画素毎にマッチングコストを重み付けする。カメラ間相関を利用して合成する視点合成画像に誤差が発生することがある。そのような誤差が含まれるテンプレートを用いて対応領域探索を行った場合、その誤差の影響を受けて動きベクトルの推定精度が低下してしまう。そこで、本第1実施形態では、視点合成画像の画素ごとに合成画像の確からしさを示す信頼度を設定し、その信頼度に基づいて画素ごとにマッチングコストを重み付けする。そうすることで、視点合成時の誤差に引きずられることなく、精度よく合成できた画素を重視し、高精度な動きベクトル推定が可能となる。信頼度を設定するために必要な合成の確からしさを表す情報としては、ある画素を合成する際に用いた参照カメラ映像参照カメラで撮影した映像上の対応画素群に対する画素値の分散や差分値を使うことが可能である。また、視点合成を行う際に必要となる視差やデプスを推定する際にBeliefPropagationと呼ばれる手法非特許文献5を用いた場合、各画素に対して、視差やデプスの確率分布が得られるため、その情報を用いても構わない。また、BeliefPropagationを使わない場合でも、デプス値を変化させた際の参照カメラ映像上の対応画素群の画素値の誤差量や分散値の変化を正規分布やラプラス分布でモデル化し、その分散値に基づいて信頼度を設定する方法がある。B.第2実施形態次に、本発明の第2実施形態について説明する。図3は、本第2実施形態による多視点映像符号化装置の構成を示すブロック図である。図3に示すように、多視点映像符号化装置200は、符号化対象フレーム入力部201、符号化対象画像メモリ202、参照視点フレーム入力部203、視点合成部204、視点合成画像メモリ205、動き推定部206、動き補償予測部207、画像符号化部208、画像復号部209、復号画像メモリ210、対応領域探索部211、予測ベクトル生成部212、ベクトル情報符号化部213、及び動きベクトルメモリ214を備えている。符号化対象フレーム入力部201は、符号化対象となる映像フレームを入力する。符号化対象画像メモリ202は、入力された符号化対象フレームを蓄積する。参照視点フレーム入力部203は、符号化対象フレームとは別の視点に対する映像フレームを入力する。視点合成部204は、入力された参照視点フレームを用いて符号化対象フレームに対する視点合成画像を生成する。視点合成画像メモリ205は、生成された視点合成画像を蓄積する。動き推定部206は、符号化対象フレームの符号化単位ブロック毎に、符号化対象フレームと参照フレームとの間の動きを推定する。動き補償予測部207は、動き推定の結果に基づいて動き補償予測画像を生成する。画像符号化部208は、動き補償予測画像を受け取り、符号化対象フレームを予測符号化して符号化データを出力する。画像復号部209は、動き補償予測画像と符号化データを受け取り、符号化対象フレームを復号して復号画像を出力する。復号画像メモリ210は、符号化対象フレームの復号画像を蓄積する。対応領域探索部211は、視点合成画像の符号化単位ブロック毎に、動き補償予測の参照フレームにおける対応ブロックを示す推定ベクトルを探索する。予測ベクトル生成部212は、符号化対象ブロックの隣接ブロックにおいて動き補償に使われた動きベクトルと推定ベクトルとから、符号化対象ブロックの動きベクトルに対する予測ベクトルを生成する。ベクトル情報符号化部213は、生成された予測ベクトルを用いて、動きベクトルを予測符号化する。動きベクトルメモリ214は、動きベクトルを蓄積する。図4は、本第2実施形態による多視点映像符号化装置200の動作を説明するフローチャートである。このフローチャートに従って、第2実施形態による多視点映像符号化装置200が実行する処理について詳細に説明する。まず、符号化対象フレーム入力部201より符号化対象フレームOrgが入力され、符号化対象画像メモリ202に格納されるステップSb1。また、参照視点フレーム入力部203より符号化対象フレームOrgと同時刻に参照視点で撮影された参照視点フレームRefnn=1,2,...,Nが入力されるステップSb1。ここで入力される参照視点フレームは、既に符号化済みの画像を復号したものとする。これは、復号装置で得られる情報と同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。但し、これらの符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されても構わない。なお、nは、参照視点を示すインデックスであり、Nは、ここで利用可能な参照視点の数である。次に、視点合成部204で、参照視点フレームを用いて、符号化対象フレームと同時刻に同じ視点で撮影された画像を合成し、生成された視点合成画像Synを視点合成画像メモリ205に蓄積するステップSb2。ここで行われる処理は、第1実施形態のステップSa2と同様のものである。符号化対象フレームに対する視点合成画像が生成されたら、符号化対象フレームをブロックに分割し、その領域毎に対応点探索や予測画像生成をしながら、符号化対象フレームの映像信号を符号化するステップSb3~Sb14。つまり、符号化対象ブロックインデックスをblk、総符号化対象ブロック数をnumBlksで表すとすると、blkを0で初期化した後ステップSb3、blkに1を加算しながらステップSb13、blkがnumBlksになるまでステップSb14、以下の処理ステップSb4~Sb12を繰り返す。なお、視点合成画像の生成を符号化対象ブロック毎に行うことが可能であれば、それらの処理も符号化対象ブロック毎に繰り返す処理の一部として行うことが可能である。例えば、符号化対象ブロックに対するデプス情報が与えられている場合が該当する。符号化対象ブロック毎に繰り返される処理では、まず、動き推定部206で、符号化対象ブロックOrg[blk]に対応する参照フレーム上のブロックを見つけるステップSb4。この処理は動き予測と呼ばれ、任意の方法を用いることが可能である。対応ブロックを表すために用いられるブロックblkとの変位を示す2次元ベクトルを動きベクトルと呼び、本第2実施形態では、mvと表す。動きベクトルmvは、後のブロックの処理で用いるために、動きベクトルメモリ214に蓄えられる。動き推定が終了したら、動き補償予測部207にて符号化対象ブロックOrg[blk]に対する動き補償予測信号Pred[blk]を次の数式12で示されるように生成するステップSb5。なお、refは、参照フレームを示すインデックスである。また、本第2実施形態では、参照フレームを1枚のみ使う予測方法の例を示したが、H.264などで使われる双予測などのように、複数の参照フレームを用いた方式に拡張することも可能である。2つの参照フレームを用いる場合には、それぞれの参照フレームに対して動き推定を行い、その平均値で予測信号を生成する。動き補償予測信号が得られたら、画像符号化部208にて、動き補償予測信号Pred[blk]を用いて、符号化対象ブロックOrg[blk]を予測符号化する。具体的には、符号化対象ブロックOrgと動き補償予測信号Predの差分で表される残差信号Resを求めて符号化するステップSb6。残差信号の符号化には、どのような方法を用いても構わない。例えば、非特許文献1に記載のH.264では、DCT等の周波数変換、量子化、2値化、エントロピー符号化を順に施すことで符号化を行う。この符号化結果のデータは、本第2実施形態による多視点映像符号化装置200の出力の一部となる。符号化結果のデータは、その後のフレームを符号化する際の予測に用いるために、画像復号部209で復号される。復号は、まず、符号化されている予測残差信号を復号しステップSb7、得られた復号予測残差信号DecResに動き補償予測信号Predを加えることで、ローカルデコード画像Deccur[blk]を生成するステップSb8。得られたローカルデコード画像は、復号画像メモリ210に蓄積されるステップSb9。なお、復号には、符号化で使われた手法で得られる符号化データを復号するための方法が使われる。H.264の場合であれば、エントロピー復号、逆2値化、逆量子化、IDCT等の逆周波数変換の順に処理を施すことで復号予測残差信号を得る。次に、ステップSb4の動き推定で求められ、ステップSb5の動き補償予測で使われた動きベクトルmvの符号化を行う。そのために、まず、対応領域探索部211で、視点合成画像Syn[blk]に対応する参照フレーム上の対応ブロックを見つけるステップSb10。その対応ブロックを表すためのブロックblkとの変位を示す2次元ベクトルを、本第2実施形態では、推定ベクトルvecと呼ぶ。ここでの処理は、第1実施形態のステップSa5と同じである。但し、本第2実施形態は、信頼度ρを用いない例を示しているため、ρは全て1であり、ρの掛け算は省略することができる。もちろん、第1実施形態のように信頼度を設定して用いても構わない。推定ベクトルvecが得られたら、予測ベクトル生成部212において、動きベクトルメモリ214に蓄積されている符号化対象ブロックの隣接ブロックで用いられた動きベクトルと、推定ベクトルとを用いて、符号化対象ブロックの動きベクトルmvに対する予測ベクトルpmvを生成するステップSb11。隣接領域で実際に使用された最適な動きベクトルは、視点合成画像を用いて推定された動きベクトルすなわち、推定ベクトルよりも、その隣接領域においては精度の高いベクトルである。そのため、空間的な類似性がある場合は、それらのベクトルを用いて予測ベクトルを生成することで、符号化が必要となる差ベクトルの量を減らすことができる。しかし、隣接領域と空間的な類似性がない場合は、逆に差ベクトルの量を増やす結果になる場合がある。そこで、本実施形態では視点合成画像を用いて推定した動きベクトルを用いて、空間的な類似性があるかどうかを判断し、空間的な類似性があると判断される場合には、隣接領域の最適ベクトル群を用いた予測ベクトルを生成し、そうでない場合は視点合成画像を用いて推定した動きベクトルを使う。そうすることで、常に符号化する差ベクトルの量を減らし、効率的な多視点映像符号化を達成する。視点合成画像を用いて推定された動きベクトルと、隣接領域で使用された最適な動きベクトル群とから、予測ベクトルを生成する方法としては、ベクトル成分ごとに平均値や中央値を取る方法を用いることができる。また、隣接領域で使用された最適な動きベクトル群の中で、視点合成画像を用いて推定された動きベクトルとの差が最も少ないベクトルを予測ベクトルとする方法もある。また別の予測ベクトル生成方法として、隣接領域で使用された最適な動きベクトル群だけを対象として、ベクトル成分ごとに平均値や中央値を取ってベクトルを生成し、そのベクトルと視点合成画像を用いて推定された動きベクトルとを比較し、その差が別途定められた閾値以上であれば、視点合成画像を用いて推定された動きベクトルを予測ベクトルとし、その差が閾値未満であれば生成されたベクトルを予測ベクトルとする方法もある。逆に、その差が閾値以上の場合に生成されたベクトルを予測ベクトルとし、その差が閾値未満の場合に視点合成画像を用いて推定された動きベクトルを予測ベクトルとする方法もある。この2つの方法は視点合成画像がどの程度の精度で生成できたのかに依存するものである。そのため、視点合成画像が高精度で出来た場合には、前者のアルゴリズムで予測ベクトルを決定し、そうでない場合に後者のアルゴリズムで予測ベクトルを決定するという方法を用いても構わない。すなわち、予測ベクトルの生成には、復号側で用いる方法と同じであれば、様々な方法を用いることができる。例えば、隣接ブロックの動きベクトルは用いずに、推定ベクトルvecを予測ベクトルpmvとしても構わないし、推定ベクトルvecに最も近い隣接ブロックの動きベクトルを予測ベクトルpmvとしても構わない。また、推定ベクトルと隣接ブロックの動きベクトルの中央値や平均値を成分毎に取って予測ベクトルpmvを生成しても構わない。更に別の方法としては、隣接ブロックの動きベクトルの中央値や平均値でベクトルpmv’を生成し、ベクトルpmv’と推定ベクトルvecとの差に応じて予測ベクトルpmvを決定する方法もある。予測ベクトルの生成が終了したら、動きベクトルmvをベクトル情報符号化部213で予測符号化するステップSb12。つまり、動きベクトルmvと予測ベクトルpmvの差で表される予測残差ベクトルを符号化する。符号化結果は、多視点映像符号化装置200の出力の1つとなる。本第2実施形態では、参照フレームに関しては、予め定められているか、H.264と同様に使用した参照フレームを示す情報を符号化することで、復号側と参照フレームの選択を一致させる。しかし、ステップSb10を、ステップSb4よりも先に行い、複数の候補の中からマッチングコストを最小にする復号済みフレームを決定し、決定されたフレームを参照フレームとして用いても構わない。また、H.264と同様に使用した参照フレームを示す情報を符号化する際にも、マッチングコストを最小とするフレームを示す情報の符号量が少なくなるように符号テーブルを切り替えることで符号量を削減することも可能である。上述した第2実施形態によれば、カメラ間相関を利用した視点合成によって得られた符号化対象視点の画像を用いて、時間相関を利用するための動きベクトルを予測する。これによって動き補償予測に必要な動きベクトルの符号量を削減することができるため、効率的な多視点映像符号化を実現することが可能となる。なお、本実施形態によると、動きベクトル生成においてカメラ間相関を利用し、映像信号予測において時間相関を利用するため、2つの相関を同時に利用することが可能となる。ところで、カメラ間相関を利用して合成する視点合成画像に誤差が発生することがある。そのような誤差が含まれるテンプレートを用いて対応領域探索を行った場合、その誤差の影響を受けて動きベクトルの推定精度が低下してしまう。そこで、本第2実施形態において、視点合成画像の画素ごとに合成画像の確からしさを示す信頼度を設定し、その信頼度に基づいて画素ごとにマッチングコストを重み付けする方法がある。そうすることで、視点合成時の誤差に引きずられることなく、精度よく合成できた画素を重視し、適切に動きベクトルを予測することが可能となる。また、視点合成画像が高精度に生成できる場合、第1実施形態によって、動き補償予測に必要な動きベクトルを生成することが可能である。しかしながら、視点合成画像が常に高精度に生成できるとは限らない。そのため、誤りを含んだ視点合成画像を用いた対応領域探索では、符号化効率の観点で最適な動きベクトルをサブピクセル精度で発見できるとは限らない。そして、適切な動きベクトルを設定できない場合、動き補償予測の結果をもとに符号化しなくてはならない残差の量が増えてしまい効率的な圧縮符号化を実現できなくなる。一方、符号化対象フレームを用いた対応領域探索では、常に符号化効率の観点で最適な対応領域を任意の精度で発見することが可能である。そこで、符号化対象フレームを用いた対応領域探索で見つかった最適な動きベクトルを用いて予測画像を生成し、最適な動きベクトルを符号化する際に、視点合成画像を用いて一定レベルの精度で推定できた動きベクトルとの差分を用いて符号化する。そうすることで、符号化しなくてはならない残差の量の増加を防ぎながら、最適な動きベクトルの符号化に必要な符号量も削減することが可能となる。つまり、本第2実施形態によれば、視点合成画像に誤差が発生する場合においても、適切な動きベクトルを用いた動き補償予測を行いながら、動きベクトルの符号量を削減することが可能になる。そのため、より頑健に効率的な圧縮符号化を実現することが可能となる。なお、動き探索ステップステップSb4では、対応領域間の画素値の違いをマッチングコストとして用いても構わないし、差ベクトル符号化で必要となる符号量と、符号化対象となる動き補償予測残差の量とを統合して評価可能なレート歪みコストを用いて、対応領域探索をしても構わない。一般に後者のコスト関数を用いたほうが、多視点映像符号化の符号化効率は高くなる。ただし、レート歪みコストを用いる場合は、本第2実施形態のステップSb4より前に、ステップSb10とステップSb11とを行う必要がある。この2つのステップはステップSb4~Sb9の処理とは独立なため、順序を入れ替えても構わない。なお、非特許文献1では、動きベクトルを符号化する際に、空間的な類似性を利用して、隣接領域における動きベクトルから推定した予測ベクトルと動きベクトルとの差分で符号化を行うことで、効率的な符号化を実現している。しかしながら、隣接領域と異なる被写体が処理中のブロックに写っている場合などでは、空間的な類似性を仮定して生成した予測ベクトルと動きベクトルとの差は大きなものとなり、効率的な符号化が実現できない。本実施形態では、処理中のブロックに対する映像信号をカメラ間での予測により得て、それを元に推定したベクトルを予測ベクトルとして利用する。そうすることで、空間的な類似性がない場合においても、より動きベクトルに近い予測ベクトルを生成できる。C.第3実施形態次に、本発明の第3実施形態について説明する。図5は、本第3実施形態による多視点映像復号装置の構成を示すブロック図である。図5に示すように、多視点映像復号装置300は、符号化データ入力部301、符号化データメモリ302、参照視点フレーム入力部303、参照視点画像メモリ304、視点合成部305、視点合成画像メモリ306、信頼度設定部307、対応領域探索部308、動き補償予測部309、予測残差復号部310、復号画像メモリ311、及び復号画像算出部312を備えている。符号化データ入力部301は、復号対象となる映像フレームの符号化データを入力する。符号化データメモリ302は、入力された符号化データを蓄積する。参照視点フレーム入力部303は、復号対象フレームが撮影された視点復号対象視点とは別の視点参照視点に対する映像フレーム参照視点フレームを入力する。参照視点画像メモリ304は、入力された参照視点フレームを蓄積する。視点合成部305は、参照視点フレームを用いて復号対象フレームに対する視点合成画像を生成する。視点合成画像メモリ306は、生成された視点合成画像を蓄積する。信頼度設定部307は、生成された視点合成画像の画素ごとの信頼度を設定する。対応領域探索部308は、視点合成画像の符号化単位ブロック毎に、動き補償予測の参照フレームとなり、復号対象フレームと同じ視点で撮影され、既に復号済みのフレームにおける対応ブロックを示す動きベクトルを、信頼度を用いながら、探索する。動き補償予測部309は、決定した対応ブロックに従って参照フレームを用いて動き補償予測画像を生成する。予測残差復号部310は、符号化データから予測残差信号を復号する。復号画像算出部312は、復号された予測残差信号と動き補償予測画像とを足し合わせて復号対象フレームの復号画像を算出する。復号画像メモリ311は、復号画像を蓄積する。図6は、本第3実施形態による多視点映像復号装置300の動作を説明するフローチャートである。このフローチャートに従って、第3実施形態による多視点映像復号装置300が実行する処理について詳細に説明する。まず、符号化データ入力部301より復号対象フレームの符号化データが入力され、符号化データメモリ302に格納されるステップSc1。また、参照視点フレーム入力部303より復号対象フレームと同時刻に参照視点で撮影された参照視点フレームRefnが入力されn=1,2,...,N、参照視点画像メモリ304に蓄積されるステップSc1。nは、参照視点を示すインデックスであり、Nは、ここで利用可能な参照視点の数である。次に、視点合成部305で、参照視点フレームの情報から、復号対象フレームと同時刻に同じ視点で撮影された画像を合成し、生成された視点合成画像Synを視点合成画像メモリ306に蓄積するステップSc2。ここでの処理は、第1実施形態のステップSa2と同じである。そして、信頼度設定部307において、視点合成画像の各画素に対して、その画素に対する合成がどれぐらいの確からしさで実現できたかを示す信頼度ρを生成するステップSc3。ここでの処理は、第1実施形態のステップSa3と同じである。第1実施形態と同様に、視点合成画像生成時に対応点探索やステレオ法、デプス推定を行う場合には、対応点の情報やデプス情報を求める処理の一部が信頼度計算の一部と同じになることがある。そのような場合においては、視点合成画像生成と信頼度計算とを同時に行うことで、演算量を削減することが可能である。信頼度の計算が終了したら、予め定められたブロック毎に、対応点探索や予測画像生成をしながら、復号対象フレームの映像信号を復号するステップSc4~Sc10。つまり、復号対象ブロックインデックスをblk、総復号対象ブロック数をnumBlksで表すとすると、blkを0で初期化した後ステップSc4、blkに1を加算しながらステップSc9、blkがnumBlksになるまでステップSc10、以下の処理ステップSc5~Sc8を繰り返す。なお、上記視点合成画像の生成や信頼度の計算を復号対象ブロック毎に行うことが可能であれば、それらの処理も復号対象ブロック毎に繰り返す処理の一部として行うことが可能である。例えば、復号対象ブロックに対するデプス情報が与えられている場合が該当する。復号対象ブロック毎に繰り返される処理では、まず、対応領域探索部308で、視点合成画像を用いてブロックblkに対応する参照フレーム上の対応ブロックを見つけるステップSc5。この処理は、第1実施形態のステップSa5と同じであり、マッチングコスト、及び探索範囲等は、符号化側で用いたものと同様のものを用いる。なお、参照フレームとは、既に復号処理が終了して得られているデコード画像のことである。このデータは、復号画像メモリ311に蓄積されるデータである。なお、本第3実施形態では、復号対象フレームと同じカメラで撮影され、復号対象フレームとは別の時刻に撮影された画像を用いる。しかし、復号対象フレームとは別のカメラで撮影されたフレームであっても、復号対象フレームより先に処理をされたフレームであれば、どのようなフレームを用いても構わない。対応ブロックが決定したら、第1実施形態のステップSa6と同様の方法で、動き補償予測部309においてブロックblkに対する予測画像Predを生成するステップSc6。そして、予測残差復号部310で、入力された符号化データから予測残差を復号して復号予測残差DecResを得るステップSc7。この処理は、第1実施形態のステップSa8と同じであり、符号化側で予測残差を符号化するのに使用した方法の逆処理で復号を行う。そして、第1実施形態のステップSa9と同様に、復号画像算出部312は、得られた復号予測残差DecResに予測信号Predを加算して、ブロックblkに対するデコード画像Deccur[blk]を生成するステップSc8。生成されたデコード画像は、多視点映像復号装置300の出力となると共に、以降のフレームにおいて予測に使用するために、復号画像メモリ311に蓄積する。D.第4実施形態次に、本発明の第4実施形態について説明する。図7は、本第4実施形態による多視点映像復号装置の構成を示すブロック図である。図7において、多視点映像復号装置400は、符号化データ入力部401、符号化データメモリ402、参照視点フレーム入力部403、視点合成部404、視点合成画像メモリ405、対応領域探索部406、予測ベクトル生成部407、動きベクトル復号部408、動きベクトルメモリ409、動き補償予測部410、画像復号部411、及び復号画像メモリ412を備えている。符号化データ入力部401は、復号対象となる映像フレームの符号化データを入力する。符号化データメモリ402は、入力された符号化データを蓄積する。参照視点フレーム入力部403は、復号対象フレームとは別の視点に対する映像フレームを入力する。視点合成部404は、入力された参照視点フレームを用いて復号対象フレームに対する視点合成画像を生成する。視点合成画像メモリ405は、生成された視点合成画像を蓄積する。対応領域探索部406は、視点合成画像の復号単位ブロック毎に、動き補償予測の参照フレームにおける対応ブロックを示す推定ベクトルを探索する。予測ベクトル生成部407は、復号対象ブロックの隣接ブロックにおいて動き補償に使われた動きベクトルと推定ベクトルとから、復号対象ブロックの動きベクトルに対する予測ベクトルを生成する。動きベクトル復号部408は、生成された予測ベクトルを用いて、予測符号化されている動きベクトルを符号化データから復号する。動きベクトルメモリ409は、動きベクトルを蓄積する。動き補償予測部410は、復号された動きベクトルに基づいて動き補償予測画像を生成する。画像復号部411は、動き補償予測画像を受け取って予測符号化されている復号対象フレームを復号し、復号画像を出力する。復号画像メモリ412は、復号画像を蓄積する。図8は、本第4実施形態による多視点映像復号装置400の動作を説明するフローチャートである。このフローチャートに従って、第4実施形態による多視点映像復号装置400が実行する処理について詳細に説明する。まず、符号化データ入力部401より復号対象フレームの符号化データが入力され、符号化データメモリ402に格納されるステップSd1。また、参照視点フレーム入力部403より復号対象フレームと同時刻に参照視点で撮影された参照視点フレームRefnn=1,2,...,Nが入力されるステップSd1。nは、参照視点を示すインデックスであり、Nは、ここで利用可能な参照視点の数である。なお、符号化データには、映像信号の予測残差と映像予測に用いた動きベクトルの予測残差の少なくとも2種類のデータが含まれている。次に、視点合成部404で、参照視点フレームを用いて、復号対象フレームと同時刻に同じ視点で撮影された画像を合成し、生成された視点合成画像Synを視点合成画像メモリ405に蓄積するステップSd2。ここで行われる処理は、第2実施形態のステップSb2と同様のものである。復号対象フレームに対する視点合成画像が生成されたら、予め定められたブロック毎に、対応点探索や予測画像生成をしながら、復号対象フレームの映像信号、及び動きベクトルを復号するステップSd3~Sd11。つまり、復号対象ブロックインデックスをblk、総復号対象ブロック数をnumBlksで表すとすると、blkを0で初期化した後ステップSd3、blkに1を加算しながらステップSd10、blkがnumBlksになるまでステップSd11、以下の処理ステップSd4~Sd9を繰り返す。なお、視点合成画像の生成を復号対象ブロック毎に行うことが可能であれば、それらの処理も復号対象ブロック毎に繰り返す処理の一部として行うことが可能である。例えば、復号対象フレームに対するデプス情報が与えられている場合が該当する。復号対象ブロック毎に繰り返される処理では、まず、対応領域探索部406で、視点合成画像Syn[blk]に対応する参照フレーム上の対応ブロックを見つけるステップSd4。その対応ブロックを表すためのブロックblkとの変位を示す2次元ベクトルを、本第4実施形態では、推定ベクトルvecと呼ぶ。ここでの処理は、第2実施形態のステップSb10と同じである。但し、本第4実施形態は、信頼度を用いない例を示している。第3実施形態のように信頼度を設定して用いても構わない。推定ベクトルvecが得られたら、予測ベクトル生成部407において、動きベクトルメモリ409に蓄積されている復号対象ブロックの隣接ブロックで用いられた動きベクトルと、推定ベクトルとを用いて、復号対象ブロックの動きベクトルmvに対する予測ベクトルpmvを生成するステップSd5。ここでの処理は、第2実施形態のステップSb11と同じである。予測ベクトルの生成が終了したら、動きベクトル復号部408で、復号対象ブロックblkにおける動きベクトルmvを符号化データから復号するステップSd6。動きベクトルmvは、予測ベクトルpmvを用いて予測符号化されており、符号化データから予測残差ベクトルdmvを復号し、予測残差ベクトルdmvに予測ベクトルpmvを加えることで動きベクトルmvを得る。復号された動きベクトルmvは、動き補償予測部410へ送られると共に、動きベクトルメモリ409に蓄積し、以降の復号対象ブロックの動きベクトルを復号する際に利用される。復号対象ブロックに対する動きベクトルが得られたら、動き補償予測部410にて復号対象ブロックに対する動き補償予測信号Pred[blk]を生成するステップSd7。この処理は、第2実施形態のステップSb5と同じである。動き補償予測信号が得られたら、画像復号部411にて、予測符号化されている復号対象フレームを復号する。具体的には、符号化データから予測残差信号DecResを復号しステップSd8、得られた復号予測残差DecResに動き補償予測信号Predを加算して、ブロックblkに対するデコード画像Deccur[blk]を生成する。生成されたデコード画像は、多視点映像復号装置400の出力となると共に、以降のフレームにおいて予測に使用するために、復号画像メモリ412に蓄積する。上述した第1から第4実施形態では、視点合成画像や参照フレームをそのまま用いているが、視点合成画像や参照フレームにフィルムグレインや符号化歪みなどのノイズが発生している場合、その影響を受けて対応領域探索の精度が低下する可能性がある。これらのノイズは高周波成分であると仮定できるため、対応領域探索に用いるフレーム視点合成画像や参照フレームに対してローパスフィルタをかけてから探索を行うことで、その影響を小さくすることができる。また、別の方法として、動きベクトルが空間的に相関を持つことを利用して、ブロック毎に推定した動きベクトルに対して平均値フィルタやメディアンフィルタをかけることで、ノイズによって誤った動きベクトルが推定されるのを防ぐことが可能である。E.第5実施形態次に、本発明の第5実施形態について説明する。図9は、本第5実施形態による動きベクトル推定装置の構成を示すブロック図である。図9に示すように、動きベクトル推定装置500は、参照視点映像入力部501、カメラ情報入力部502、視点合成部503、ローパスフィルタ部504、対応領域探索部505、及び動きベクトル平滑化部506を備えている。参照視点映像入力部501は、動きベクトルを求めるフレームを撮影した処理対象視点とは別の視点参照視点で撮影された映像フレームを入力する。カメラ情報入力部502は、処理対象視点及び参照視点のカメラの焦点距離等を示す内部パラメータや、位置や向きを示す外部パラメータを入力する。視点合成部503は、参照視点映像を用いて処理対象視点に対する視点合成映像を生成する。ローパスフィルタ部504は、ローパスフィルタをかけて視点合成映像に含まれるノイズを低減する。対応領域探索部505は、視点合成映像のあるフレームの動き推定単位ブロック毎に、視点合成映像の別のフレームにおける対応ブロックを示す動きベクトルを探索する。動きベクトル平滑化部506は、動きベクトルの空間相関が高まるように動きベクトルを空間的に平滑化する。図10は、本第5実施形態による動きベクトル推定装置500の動作を説明するフローチャートである。このフローチャートに従って、第5実施形態による動きベクトル推定装置500が実行する処理について詳細に説明する。まず、参照視点画像入力部501より参照視点で撮影された参照視点フレームRefn,tが入力され、視点合成部503に送られるn=1,2,...,N,t=T1,T2ステップSe1。また、カメラ情報入力部502より処理対象視点と参照視点のカメラの焦点距離等を示す内部パラメータ及び位置や向きを示す外部パラメータが入力され、視点合成部503に送られるステップSe1。nは、参照視点を示すインデックスであり、Nは、ここで利用可能な参照視点の数である。tは、フレームの撮影時刻を示すインデックスであり、本実施形態では時刻T2のフレームのブロック毎に時刻T1のフレームのブロックとの間の動きベクトルを推定する例を説明する。次に、視点合成部503で、参照視点フレームとカメラ情報とを用いて、処理対象視点で撮影された画像を撮影時刻ごとに合成するステップSe2。ここでの処理は、第1実施形態のステップSa2と同じである。ただし、ここでは時刻T1とT2それぞれのフレームに対する視点合成画像Syntを合成する。視点合成画像Syntの合成が終了したら、視点合成画像に対してローパスフィルタ部504でローパスフィルタがかけられ、ノイズの低減された視点合成画像LPFSyntが生成されるステップSe3。なお、ローパスフィルタにはどのようなものを用いても構わないが、代表的なものとして平均値フィルタがある。平均値フィルタは、ある画素の画素信号を隣接する画素の画像信号の平均値で置き換えるフィルタである。ローパスフィルタ処理が終了したら、対応領域探索部505において、動きベクトルを推定する対象の視点合成画像LPFSynT2をブロックに分割し、その領域ごとに対応領域探索を行い、動きベクトルを生成するステップSe4~Se7。つまり、動き推定単位ブロックインデックスをblk、総動き推定単位ブロック数をnumBlksで表すとすると、blkを0で初期化した後ステップSe4、blkに1を加算しながらステップSe6、blkがnumBlksになるまでステップSe7、視点合成画像LPFSynT2[blk]に対応するブロックを視点合成画像LPFSynT1上で探索する処理ステップSe5を繰り返す。対応領域探索処理ステップSe5は、使用するフレームが異なるだけで、第1実施形態のステップSa5と同じである。つまり、数式5~8において、SynをLPFSynT2に、DectをLPFSynT1に置き換えたマッチングコストを用いて、数式9で表されるbest_vec,best_tの組を求める処理である。ただし、本実施形態ではtの探索範囲はT1のみであるため、best_tはT1となる。全てのブロックにおいて動きベクトルが得られたら、動きベクトル平滑化部506で、得られた動きベクトル集合MVblkを空間相関が高まるように平滑化するステップSe8。平滑化されたベクトルの集合が動きベクトル推定装置500の出力となる。動きベクトルの平滑化には、どのような方法を用いても構わないが、例えば平均値フィルタをかける方法がある。ここでいう平均値フィルタ処理は、ブロックblkの動きベクトルを、そのブロックblkに隣接するブロックの動きベクトルの平均値で表されるベクトルとする処理である。なお、ここでの動きベクトルは2次元情報であるため、それぞれの次元で平均値を求める処理を行う。別の具体例としてはベクトルメディアンフィルタをかける方法がある。ベクトルメディアンフィルタでは、ブロックblkに対して、まず、周辺のブロックの動きベクトルの集合X={MVk}を生成する。そして、ブロックblkに対する平滑化されたベクトルを次の数式13で得られるMV’blkとする。なお、∥v∥はvのノルムを表す。ノルムにはどのようなものを用いても構わないが、代表的なノルムとしてL1ノルムとL2ノルムがある。L1ノルムはvの各成分の絶対値和であり、L2ノルムはvの各成分の二乗和である。wiは重みでありどのように設定しても構わない。例えば次の数式14によって定められる値を用いてもよい。なお、第5実施形態では、視点合成画像の信頼度を計算しなかったが、第1実施形態のように視点合成画像の信頼度を計算して用いても構わない。図11は、この場合における動きベクトル推定装置500aの構成を示すブロック図である。動きベクトル推定装置500aは、図9に示した動きベクトル推定装置500の備える構成要素に加えて、信頼度設定部507を備えている。信頼度設定部507の構成は、例えば、図1に示した信頼度設定部107の構成と同様である。ただし、動きベクトル推定装置500aではフレーム画像ではなく映像が入力される点が動きベクトル推定装置500と異なっている。また、第5実施形態では対応領域を探索するフレームも視点合成画像であるため、探索空間となる視点合成画像に対しても信頼度を計算して用いても構わない。更に、それぞれの画像に対して信頼度を計算して同時に用いても構わない。信頼度を同時に用いる場合、数式5~8に対応するマッチングコストを計算するための数式は、次の数式15~18となる。なお、ξは探索空間となる視点対象画像に対する信頼度である。F.第6実施形態次に、本発明の第6実施形態について説明する。図12は、本第6実施形態に係る多視点映像符号化装置の構成示すブロック図である。図12に示すように、多視点映像符号化装置600は、符号化対象フレーム入力部601、符号化対象画像メモリ602、参照視点フレーム入力部603、参照視点画像メモリ604、視点合成部605、ローパスフィルタ部606、視点合成画像メモリ607、信頼度設定部608、対応領域探索部609、動きベクトル平滑化部610、動き補償予測部611、画像符号化部612、画像復号部613、及び復号画像メモリ614を備えている。符号化対象フレーム入力部601は、符号化対象となる映像フレームを入力する。符号化対象画像メモリ602は、入力された符号化対象フレームを蓄積する。参照視点フレーム入力部603は、符号化対象フレームとは別の視点に対する映像フレームを入力する。参照視点画像メモリ604は、入力された参照視点フレームを蓄積する。視点合成部605は、参照視点フレームを用いて符号化対象フレームと参照フレームに対する視点合成画像を生成する。ローパスフィルタ部606は、ローパスフィルタをかけて視点合成映像に含まれるノイズを低減する。視点合成画像メモリ607は、ローパスフィルタ処理された視点合成画像を蓄積する。信頼度設定部608は、生成された視点合成画像の画素ごとの信頼度を設定する。対応領域探索部609は、視点合成画像の符号化単位ブロック毎に、動き補償予測の参照フレームとなり、符号化対象フレームと同じ視点で撮影され、既に符号化済みのフレーム上の対応ブロックを示す動きベクトルを、参照フレームに対して生成されローパスフィルタ処理された視点合成画像と信頼度とを用いながら探索する。すなわち、対応領域探索を行う際のマッチングコストに信頼度に基づいて重みを付けることで、視点合成時の誤差に引きずられることなく、精度よく合成できた画素を重視し、高精度な動きベクトル推定を実現する。動きベクトル平滑化部610は、動きベクトルの空間相関が高まるように動きベクトルを空間的に平滑化する。動き補償予測部611は、決定した対応ブロックに従って参照フレームを用いて動き補償予測画像を生成する。画像符号化部612は、動き補償予測画像を受け取って符号化対象フレームを予測符号化し、符号化データを出力する。画像復号部613は、動き補償予測画像と符号化データを受け取り、符号化対象フレームを復号して復号画像を出力する。復号画像メモリ614は符号化対象フレームの復号画像を蓄積する。図13は、本第6実施形態による多視点映像符号化装置600の動作を説明するフローチャートである。このフローチャートに従って、第6実施形態による多視点映像符号化装置600が実行する処理について詳細に説明する。まず、符号化対象フレーム入力部601より符号化対象フレームOrgが入力され、符号化対象画像メモリ602に格納されるステップSf1。また、参照視点フレーム入力部603より参照視点で撮影された参照視点フレームRefn,tが入力されn=1,2,...,N、参照視点画像メモリ604に蓄積されるステップSf1。ここで入力される参照視点フレームは、既に符号化済みの画像を復号したものとする。これは、復号装置で得られる情報と同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。但し、これらの符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されても構わない。なお、nは、参照視点を示すインデックスであり、Nは、ここで利用可能な参照視点の数である。tは、フレームの撮影時刻を示すインデックスであり、符号化対象フレームOrgの撮影時刻Tと参照フレームの撮影時刻T1,T2,...,Tmのいずれかを示す。ここでmは参照フレームの枚数を示す。次に、視点合成部605で、参照視点フレームの情報を用いて、符号化対象フレームと同じ視点で撮影された画像を撮影時刻ごとに合成するステップSf2。ここでの処理は、第1実施形態のステップSa2と同じである。ただし、ここでは時刻T,T1,T2,...,Tmそれぞれのフレームに対する視点合成画像Syntを合成する。視点合成画像Syntの合成が終了したら、ローパスフィルタ部606で、視点合成画像にローパスフィルタがかけられ、ノイズの低減された視点合成画像LPFSyntが生成され、視点合成画像メモリ607に蓄積されるステップSf3。なお、ローパスフィルタにはどのようなものを用いても構わないが、代表的なものとして平均値フィルタがある。平均値フィルタは、ある画素の出力画素信号を隣接する画素の入力画像信号の平均値とするフィルタである。次に、信頼度設定部608において、視点合成画像の各画素に対して、その画素に対する合成がどれぐらいの確からしさで実現できたかを示す信頼度ρを生成するステップSf4。ここでの処理は、第1実施形態のステップSa3と同じである。第1実施形態と同様に、視点合成画像生成時に対応点探索やステレオ法、デプス推定を行う場合には、対応点の情報やデプス情報を求める処理の一部が信頼度計算の一部と同じになることがある。そのような場合においては、視点合成画像生成と信頼度計算とを同時に行うことで、演算量を削減することが可能である。信頼度の計算が終了したら、符号化対象フレームをブロックに分割し、その領域毎に対応領域探索部609で対応領域探索を行うステップSf5。以下では分割したブロックのインデックスをblkと表す。対応領域探索処理ステップSf5は、使用するフレームが異なるだけで、第1実施形態のステップSa5と同じである。つまり、数式5~8において、SynをLPFSynTに置き換え、DecをLPFSynに置き換えたマッチングコストを用いて、数式9で表されるbest_vec,best_tの組を求める処理である。ただし、本実施形態ではtの探索範囲はT1~Tmである。全てのブロックにおいて動きベクトルが得られたら、動きベクトル平滑化部610で、得られた動きベクトル集合MVblkを空間相関が高まるように平滑化するステップSf6。ここでの処理は第5実施形態のステップSe8と同じである。ただし、複数の参照フレームが存在する場合、選ばれた参照フレームによって動きベクトルが表現している被写体の運動が生じた時間や時間方向が異なる。運動の時間方向は、符号化対象フレームを起点として、過去の運動か未来の運動かを意味する。このため、平均値処理やメディアン処理を行う際に、参照フレームが同じ動きベクトルだけを用いて計算を行う必要がある。つまり、平均値フィルタ処理の場合は、隣接するブロックの動きベクトルで、かつ、参照フレームが同じ動きベクトルのみを用いて平均値を計算する。ベクトルメディアンフィルタの例では、動きベクトルの集合Xを、周辺のブロックの動きベクトルで、動きベクトルMVblkと同じ参照フレームを用いているベクトルの集合で定義する必要がある。動きベクトルの平滑化が終了したら、得られた動きベクトルにしたがって、動き補償予測部611で動き補償予測信号Predを生成するステップSf7。ここでの処理は第1実施形態のステップSa6と同じである。なお、ここでは全てのブロックについて動きベクトルが得られているため、フレーム全体の動き補償予測信号を生成する。動き補償予測信号が得られたら、画像符号化部612にて、動き補償予測信号Predを用いて、符号化対象フレームOrgを予測符号化する。具体的には、符号化対象フレームOrgと動き補償予測信号Predの差分で表される残差信号Resを求めて符号化するステップSf8。残差信号の符号化には、どのような方法を用いても構わない。例えば、非特許文献1に記載のH.264では、DCT等の周波数変換、量子化、2値化、エントロピー符号化を順に施すことで符号化を行う。この符号化結果のデータは、本第6実施形態による多視点映像符号化装置600の出力となる。符号化結果のデータは、その後のフレームを符号化する際の予測に用いるために、画像復号部613で復号される。復号は、まず、符号化されている予測残差信号を復号しステップSf9、得られた復号予測残差信号DecResに動き補償予測信号Predを加えることで、ローカルデコード画像Deccurを生成するステップSf10。得られたローカルデコード画像は、復号画像メモリ614に蓄積される。なお、復号には、符号化で使われた手法で得られる符号化データを復号するための方法が使われる。H.264の場合であれば、エントロピー復号、逆2値化、逆量子化、IDCT等の逆周波数変換の順に処理を施すことで復号予測残差信号を得る。なお、符号化処理や復号処理はフレーム全体で行っても構わないし、H.264のようにブロックごとに行っても構わない。これらの処理をブロックごとに行う場合は、ステップSf7、ステップSf8、ステップSf9、ステップSf10を、ブロック毎に繰り返し行うことで動き補償予測信号を蓄積するための一時メモリの量を削減することができる。本実施形態は、上述の第1から第4の実施形態と異なり、参照フレーム上の対応領域を求めるために、参照フレームそのものを使用せずに、その参照フレームに対して生成された視点合成画像を用いて対応領域を求めている。視点合成処理が高精度に行える場合は、視点合成画像Synとデコード画像Decはほぼ等しいと考えられるため、視点合成画像Synを用いた場合でも、本実施形態の効果が同様に得られる。この場合は、参照フレームと同時刻に撮影された参照視点フレームを入力し、参照フレームに対する視点合成画像を生成し蓄積する必要がある。本実施形態による符号化及び復号処理が連続して複数のフレームに適応される場合、復号画像メモリに処理済みフレームが蓄積されている間、視点合成画像メモリに視点合成画像を蓄積し続けることで、参照フレームに対する視点合成画像を符号化対象フレームごとに合成することを回避することが可能である。なお、参照フレームに対する視点合成画像を用いる場合、対応領域探索において復号画像メモリに蓄積された処理済フレームを必要としないため、対応領域探索の処理は符号化処理や復号処理と同期して行う必要はなくなる。その結果、並列演算等が可能となり、全体の演算時間を削減できるという効果が得られる。G.第7実施形態次に、本発明の第7実施形態について説明する。図14は、本第7実施形態による多視点映像符号化装置の構成を示すブロック図である。図7に示すように、多視点映像符号化装置700は、符号化対象フレーム入力部701、符号化対象画像メモリ702、動き推定部703、動き補償予測部704、画像符号化部705、画像復号部706、復号画像メモリ707、参照視点フレーム入力部708、視点合成部709、ローパスフィルタ部710、視点合成画像メモリ711、対応領域探索部712、ベクトル平滑化部713、予測ベクトル生成部714、ベクトル情報符号化部715、及び動きベクトルメモリ716を備えている。符号化対象フレーム入力部701は、符号化対象となる映像フレームを入力する。符号化対象画像メモリ702は、入力された符号化対象フレームを蓄積する。動き推定部703は、符号化対象フレームの符号化単位ブロック毎に、符号化対象フレームと参照フレームとの間の動きを推定する。動き補償予測部704は、動き推定の結果に基づいて動き補償予測画像を生成する。画像符号化部705は、動き補償予測画像を受け取って符号化対象フレームを予測符号化し、符号化データを出力する。画像復号部706は、動き補償予測画像と符号化データを受け取り、符号化対象フレームを復号して復号画像を出力する。復号画像メモリ707は、符号化対象フレームの復号画像を蓄積する。参照視点フレーム入力部708は、符号化対象フレームとは別の視点に対する映像フレームを入力する。視点合成部709は、参照視点フレームを用いて符号化対象フレームと参照フレームに対する視点合成画像を生成する。ローパスフィルタ部710は、ローパスフィルタをかけて視点合成映像に含まれるノイズを低減する。視点合成画像メモリ711は、ローパスフィルタ処理された視点合成画像を蓄積する。対応領域探索部712は、視点合成画像の符号化単位ブロック毎に、動き補償予測の参照フレームとなり、符号化対象フレームと同じ視点で撮影され、既に符号化済みのフレーム上の対応ブロックを示すベクトルを、参照フレームに対して生成されローパスフィルタ処理された視点合成画像を用いながら探索する。ベクトル平滑化部713は、得られたベクトルの空間相関が高まるようにベクトルを空間的に平滑化し推定ベクトルを生成する。予測ベクトル生成部714は、隣接ブロックにおいて動き補償に使われた動きベクトルと推定ベクトルとから、符号化対象ブロックの動きベクトルに対する予測ベクトルを生成する。ベクトル情報符号化部715は、生成された予測ベクトルを用いて、動きベクトルを予測符号化する。動きベクトルメモリ716は、動きベクトルを蓄積する。図15は、本第7実施形態による多視点映像符号化装置700の動作を説明するフローチャートである。このフローチャートに従って、第7実施形態による多視点映像符号化装置700が実行する処理について詳細に説明する。まず、符号化対象フレーム入力部701より符号化対象フレームOrgが入力され、符号化対象画像メモリ702に格納されるステップSg1。次に、符号化対象フレームをブロックに分割し、その領域毎に動き補償予測を行いながら、符号化対象フレームの映像信号を符号化するステップSg2~Sg5。以下では符号化対象ブロックインデックスをblkで表す。符号化処理において、まず、動き推定部703で、ブロックblkごとに、符号化対象ブロックOrg[blk]に対応する参照フレーム上のブロックを見つけるステップSg2。この処理は動き予測と呼ばれ、第2実施形態のステップSb4と同じである。対応ブロックを表すために用いられるブロックblkとの変位を示す2次元ベクトルを動きベクトルと呼び、本第7実施形態では、mvと表す。動きベクトルmvは、後のブロックの処理で用いるために、動きベクトルメモリ716に蓄えられる。なお、H.264のように、ブロック毎に参照フレームを選択する場合、選択された参照フレームを示す情報も動きベクトルメモリ716に蓄えられる。動き推定が終了したら、動き補償予測部704にて符号化対象フレームOrgに対する動き補償予測信号Predを生成するステップSg3。ここでの処理は第2実施形態のステップSb5と同じである。動き補償予測信号が得られたら、画像符号化部705にて、動き補償予測信号Predを用いて、符号化対象フレームを予測符号化するステップSg4。ここでの処理は第2実施形態のステップSb6と同じである。この符号化結果のデータは、本第7実施形態による多視点映像符号化装置700の出力の一部となる。符号化結果のデータは、その後のフレームを符号化する際の予測に用いるために、画像復号部706で復号されるステップSg5。ここでの処理は第2実施形態のステップSb7とステップSb8の処理と同じである。復号されたローカルデコード画像Deccurは、復号画像メモリ707に蓄積される。なお、図15で示したフローチャートではステップSg3~Sg5の処理をフレーム単位で行う例で示したが、ブロック毎にステップSg3~Sg5を繰り返すように実施しても構わない。その場合、動き補償予測信号はブロック単位で保持すればよいため、一時的に使用するメモリ量を削減することが可能である。符号化対象フレームの画像信号の符号化が終了したら、その符号化を行う際に用いた動き補償予測信号を生成するための動きベクトルmvの符号化を行う。そのために、まず、参照視点フレーム入力部708より参照視点で撮影された参照視点フレームRefn,tを入力するn=1,2,...,NステップSg6。ここで入力される参照視点フレームは、既に符号化済みの画像を復号したものとする。これは、復号装置で得られる情報と同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。但し、これらの符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されても構わない。なお、nは、参照視点を示すインデックスであり、Nは、ここで利用可能な参照視点の数である。tは、フレームの撮影時刻を示すインデックスであり、符号化対象フレームOrgの撮影時刻Tと参照フレームの撮影時刻T1,T2,...,Tmのいずれかを示す。ここでmは参照フレームの枚数を示す。次に、視点合成部709で、参照視点フレームの情報を用いて、符号化対象フレームと同じ視点で撮影された画像を撮影時刻ごとに合成するステップSg7。ここでの処理は、第6実施形態のステップSf2と同じである。視点合成画像Syntの合成が終了したら、ローパスフィルタ部710で、視点合成画像にローパスフィルタがかけられ、ノイズの低減された視点合成画像LPFSyntが生成され、視点合成画像メモリ711に蓄積されるステップSg8。ここでの処理は、第6実施形態のステップSf3と同じである。ローパスフィルタ処理が終了したら、符号化対象フレームに対して生成された視点合成画像LPFSynTをブロックに分割し、その領域毎に対応領域探索部712で対応領域探索を行うステップSg9。なお、視点合成画像LPFSynTをブロックに分割する際は、ステップSg3において動き補償予測を行うブロックと同じブロック位置とサイズで分割を行う。ここでの処理は分割されたブロック毎に、数式5~8において、SynをLPFSynTに置き換え、DecをLPFSynに置き換えたマッチングコストを用いて、数式9を満たすbest_vec,best_tの組を求める処理である。ただし、本実施形態ではtとしてT1~Tmのそれぞれに対してbest_vecを求める。つまりブロック毎にbest_vecの集合が得られる。なお、本実施形態は視点合成の信頼度を使用していないが、第6実施形態で示したように信頼度を計算して用いても構わない。全てのブロックにおいてベクトルが得られたら、動きベクトル平滑化部713で、得られたベクトル集合MVblkを空間相関が高まるように平滑化することで、推定ベクトルの集合{vecblk,t}を生成するステップSg10。ここでの処理は第5実施形態のステップSe8と同じである。なお、平滑化処理は参照フレームの撮影時刻ごとに行われる。推定ベクトルの集合が得られたら、予測ベクトル生成部714において、ブロック毎に、動きベクトルメモリ716に蓄積されている処理ブロックの隣接ブロックで用いられた動きベクトルと、処理ブロックの推定ベクトルとを用いて、符号化対象ブロックの動きベクトルmvに対する予測ベクトルpmvを生成するステップSg11。なお、ここでの処理は第2実施形態のステップSb11と同じである。ただし、本実施形態では複数の参照フレームから、ブロック毎に最適なフレームを選択して動きベクトルを生成しているため、各ベクトルの参照フレームを考慮した予測ベクトル生成法を用いても構わない。ベクトルの参照フレームを考慮した予測ベクトル生成法としては、次の方法を用いても構わない。まず、処理ブロックの動きベクトルの参照フレームと、処理ブロックの隣接ブロックで用いられた動きベクトルの参照フレームを比較し、隣接ブロックで用いられた動きベクトルのうち参照フレームが処理ブロックの動きベクトルの参照フレームと一致した動きベクトルを予測ベクトル候補として設定する。予測ベクトル候補が見つからなかった場合は、処理ブロックで参照フレームの一致する推定ベクトルを予測ベクトルとする。予測ベクトル候補が見つかった場合は、その中から処理ブロックで参照フレームの一致する推定ベクトルに最も近いベクトルを予測ベクトルとする。その際に、処理ブロックで参照フレームの一致する推定ベクトルと一定以上離れたベクトルは除外しても構わない。なお、除外処理により予測ベクトル候補がなくなった場合は、処理ブロックで参照フレームの一致する推定ベクトルを予測ベクトルとする。また、ベクトルの参照フレームを考慮した予測ベクトル生成法として次の方法を用いても構わない。まず、処理ブロックの周辺ブロックにおいて、参照フレームが同じブロックからなる集合を定義する。この集合が空集合の場合、処理ブロックで参照フレームの一致する推定ベクトルを予測ベクトルとする。この集合が空集合ではない場合、集合に含まれるブロック毎に、そのブロックで参照フレームの一致する推定ベクトルと処理ブロックで参照フレームの一致する推定ベクトルとの類似度を計算する。そして、最も高い類似度を持つブロックの動きベクトルを予測ベクトルとする。なお、全てのブロックに対して類似度が一定未満の場合は、処理ブロックで参照フレームの一致する推定ベクトルを予測ベクトルとしても構わない。また一定以上の類似度のブロックが複数存在する場合は、それらのブロックに対する動きベクトルの平均ベクトルを予測ベクトルとしても構わない。予測ベクトルの生成が終了したら、ブロックごとに、動きベクトルmvをベクトル情報符号化部715で予測符号化するステップSg12。ここでの処理は第2実施形態のステップSb12と同じである。符号化結果は、多視点映像符号化装置700の出力の1つとなる。図15で示したフローチャートではステップSg11とステップSg12をフレーム単位で行う例で示した。この場合、ステップSg11で予測ベクトルを生成する際に、ステップSg12での符号化順序を考慮して、隣接ブロックとして符号化済みブロックのみを使用するように制限を行わなくてはならない。これは復号時に復号前の情報が必要となり復号できなくなることを防ぐためである。なお、ステップSg11とステップSg12はブロック毎に交互に実施しても構わない。その場合、符号化順序を考慮することなく符号化済みの隣接領域を同定することが可能となる。また、予測ベクトルをブロック単位で保持すればよくなるため、一時的に使用するメモリ量を削減することが可能となる。また、本実施形態では、ステップSg9において、参照フレームごとにベクトルを生成した。しかし、処理ブロックに対する動きベクトルの参照フレームに対してのみベクトルを生成することにしても構わないし、処理ブロックまたは処理ブロックの周辺ブロックのいずれかに対する動きベクトルの参照フレームに対してのみベクトルを生成することにしても構わない。このようにすることでステップSg9の演算コストを削減することができる。ただし、この場合、ステップSg10におけるベクトル平滑化は、第6実施形態のステップSf6と同様に、参照フレームが同じ動きベクトルだけを用いて処理を行う必要がある。H.第8実施形態次に、本発明の第8実施形態について説明する。図16は、本第8実施形態による多視点映像復号装置の構成を示すブロック図である。図16に示すように、多視点映像復号装置800は、符号化データ入力部801、符号化データメモリ802、参照視点フレーム入力部803、参照視点画像メモリ804、視点合成部805、ローパスフィルタ部806、視点合成画像メモリ807、信頼度設定部808、対応領域探索部809、動きベクトル平滑化部810、動き補償予測部811、画像復号部812、及び復号画像メモリ813を備えている。符号化データ入力部801は、復号対象となる映像フレームの符号化データを入力する。符号化データメモリ802は、入力された符号化データを蓄積する。参照視点フレーム入力部803は、復号対象フレームとは別の視点に対する映像フレームを入力する。参照視点画像メモリ804は、入力された参照視点フレームを蓄積する。視点合成部805は、参照視点フレームを用いて復号対象フレームと参照フレームに対する視点合成画像を生成する。ローパスフィルタ部806は、ローパスフィルタをかけて視点合成映像に含まれるノイズを低減する。視点合成画像メモリ807は、ローパスフィルタ処理された視点合成画像を蓄積する。信頼度設定部808は、生成された視点合成画像の画素ごとの信頼度を設定する。対応領域探索部809は、視点合成画像の復号単位ブロック毎に、動き補償予測の参照フレームとなり、復号対象フレームと同じ視点で撮影され、既に復号済みのフレーム上の対応ブロックを示す動きベクトルを、参照フレームに対して生成されローパスフィルタ処理された視点合成画像と信頼度とを用いながら探索する。すなわち、対応領域探索を行う際のマッチングコストに信頼度に基づいて重みを付けることで、視点合成時の誤差に引きずられることなく、精度よく合成できた画素を重視し、高精度な動きベクトル推定を実現する。動きベクトル平滑化部810は、動きベクトルの空間相関が高まるように動きベクトルを空間的に平滑化する。動き補償予測部811は、決定した対応ブロックに従って参照フレームを用いて動き補償予測画像を生成する。画像復号部812は、動き補償予測画像と符号化データを受け取り、復号対象フレームを復号して復号画像を出力する。復号画像メモリ813は復号対象フレームの復号画像を蓄積する。図17は、本第8実施形態による多視点映像復号装置800の動作を説明するフローチャートである。このフローチャートに従って、第8実施形態による多視点映像復号装置800が実行する処理について詳細に説明する。まず、符号化データ入力部801より復号対象フレームの符号化データが入力され、符号化データメモリ802に格納されるステップSh1。また、参照視点フレーム入力部803より参照視点で撮影された参照視点フレームRefn,tが入力されn=1,2,...,N、参照視点画像メモリ804に蓄積されるステップSh1。nは、参照視点を示すインデックスであり、Nは、ここで利用可能な参照視点の数である。tは、フレームの撮影時刻を示すインデックスであり、復号対象フレームDeccurの撮影時刻Tと参照フレームの撮影時刻T1,T2,...,Tmのいずれかを示す。ここでmは参照フレームの枚数を示す。次に、視点合成部805で、参照視点フレームの情報を用いて、復号対象フレームと同じ視点で撮影された画像を撮影時刻ごとに合成するステップSh2。ここでの処理は、第6実施形態のステップSf2と同じである。すなわち、ここでは時刻T,T1,T2,...,Tmそれぞれのフレームに対する視点合成画像Syntを合成する。視点合成画像Syntの合成が終了したら、ローパスフィルタ部806で、視点合成画像にローパスフィルタをかけ、ノイズの低減された視点合成画像LPFSyntを視点合成画像メモリ807に蓄積するステップSh3。ここでの処理は、第6実施形態のステップSf3と同じである。なお、ローパスフィルタにはどのようなものを用いても構わないが、代表的なものとして平均値フィルタがある。平均値フィルタは、ある画素の出力画素信号を隣接する画素の入力画像信号の平均値とするフィルタである。次に、信頼度設定部808において、視点合成画像の各画素に対して、その画素に対する合成がどれぐらいの確からしさで実現できたかを示す信頼度ρを生成するステップSh4。ここでの処理は、第6実施形態のステップSf4と同じである。第6実施形態と同様に、視点合成画像生成時に対応点探索やステレオ法、デプス推定を行う場合には、対応点の情報やデプス情報を求める処理の一部が信頼度計算の一部と同じになることがある。そのような場合においては、視点合成画像生成と信頼度計算とを同時に行うことで、演算量を削減することが可能である。信頼度の計算が終了したら、予め定められたブロック毎に、対応領域探索部809で対応領域探索を行うステップSh5。以下ではブロックのインデックスをblkと表す。ここでの処理は、第6実施形態のステップSf5と同じである。全てのブロックにおいて動きベクトルが得られたら、動きベクトル平滑化部810で、得られた動きベクトル集合MVblkを空間相関が高まるように平滑化するステップSh6。ここでの処理は第6実施形態のステップSf6と同じである。動きベクトルの平滑化が終了したら、得られた動きベクトルにしたがって、動き補償予測部811で動き補償予測信号Predを生成するステップSh7。ここでの処理は第6実施形態のステップSf7と同じである。動き補償予測信号が得られたら、画像復号部812において、動き補償予測信号Predを用いて、入力された符号化データから復号対象フレームデコード画像Deccurを復号するステップSh8。ここでの処理は第6実施形態のステップSf9とステップSf10をあわせたものと同じであり、符号化に使用した方法で行われる処理の逆処理で復号を行う。生成されたデコード画像は、多視点映像復号装置800の出力となると共に、以降のフレームにおいて予測に使用するために、復号画像メモリ813に蓄積する。なお、復号処理はフレーム全体で行っても構わないし、H.264のようにブロックごとに行っても構わない。復号処理をブロックごとに行う場合は、ステップSh7とステップSh8とをブロック毎に交互に行うことで動き補償予測信号を蓄積するための一時メモリの量を削減することができる。I.第9実施形態次に、本発明の第9実施形態について説明する。図18は、本第9実施形態による多視点映像復号装置の構成を示すブロック図である。図9において、多視点映像復号装置900は、符号化データ入力部901、符号化データメモリ902、参照視点フレーム入力部903、視点合成部904、ローパスフィルタ部905、視点合成画像メモリ906、対応領域探索部907、ベクトル平滑化部908、予測ベクトル生成部909、動きベクトル復号部910、動きベクトルメモリ911、動き補償予測部912、画像復号部913、及び復号画像メモリ914を備えている。符号化データ入力部901は、復号対象となる映像フレームの符号化データを入力する。符号化データメモリ902は、入力された符号化データを蓄積する。参照視点フレーム入力部903は、復号対象フレームとは別の参照視点に対する映像フレームを入力する。視点合成部904は、参照視点フレームを用いて復号対象フレームと参照フレームに対する視点合成画像を生成する。ローパスフィルタ部905は、ローパスフィルタをかけて視点合成映像に含まれるノイズを低減する。視点合成画像メモリ906は、ローパスフィルタ処理された視点合成画像を蓄積する。対応領域探索部907は、視点合成画像の復号単位ブロック毎に、動き補償予測の参照フレームとなり、復号対象フレームと同じ視点で撮影され、既に復号済みのフレーム上の対応ブロックを示すベクトルを、参照フレームに対して生成されローパスフィルタ処理された視点合成画像を用いながら探索する。ベクトル平滑化部908は、得られたベクトルの空間相関が高まるようにベクトルを空間的に平滑化し推定ベクトルを生成する。予測ベクトル生成部909は、復号対象ブロックの隣接ブロックにおいて動き補償に使われた動きベクトルと推定ベクトルとから、復号対象ブロックの動きベクトルに対する予測ベクトルを生成する。動きベクトル復号部910は、生成された予測ベクトルを用いて、予測符号化されている動きベクトルを符号化データから復号する。動きベクトルメモリ911は、復号された動きベクトルを蓄積する。動き補償予測部912は、復号された動きベクトルに基づいて動き補償予測画像を生成する。画像復号部913は、動き補償予測画像を受け取って予測符号化されている復号対象フレームを復号し、復号画像を出力する。復号画像メモリ914は、復号画像を蓄積する。図19は、本第9実施形態による多視点映像復号装置900の動作を説明するフローチャートである。このフローチャートに従って、第9実施形態による多視点映像復号装置900が実行する処理について詳細に説明する。まず、符号化データ入力部901より復号対象フレームの符号化データが入力され、符号化データメモリ902に格納されるステップSi1。また、参照視点フレーム入力部903より参照視点で撮影された参照視点フレームRefn,tを入力するn=1,2,...,NステップSi1。nは、参照視点を示すインデックスであり、Nは、ここで利用可能な参照視点の数である。tは、フレームの撮影時刻を示すインデックスであり、復号対象フレームDeccurの撮影時刻Tと参照フレームの撮影時刻T1,T2,...,Tmのいずれかを示す。ここでmは参照フレームの枚数を示す。なお、符号化データには、映像信号の予測残差と映像予測に用いた動きベクトルの予測残差の少なくとも2種類のデータが含まれている。次に、視点合成部904で、参照視点フレームの情報を用いて、復号対象フレームと同じ視点で撮影された画像を撮影時刻ごとに合成するステップSi2。ここでの処理は、第7実施形態のステップSg7と同じである。視点合成画像Syntの合成が終了したら、ローパスフィルタ部905で、視点合成画像にローパスフィルタがかけられ、ノイズの低減された視点合成画像LPFSyntが生成され、視点合成画像メモリ906に蓄積されるステップSi3。ここでの処理は、第7実施形態のステップSg8と同じである。ローパスフィルタ処理が終了したら、復号対象フレームに対して生成された視点合成画像LPFSynTをブロックに分割し、その領域毎に対応領域探索部907で対応領域探索を行うステップSi4。ここでの処理は、第7実施形態のステップSg9と同じである。なお、本実施形態は視点合成の信頼度を使用していないが、第6実施形態で示したように信頼度を計算して用いても構わない。全てのブロックにおいてベクトルが得られたら、動きベクトル平滑化部908で、得られたベクトル集合MVblkを空間相関が高まるように平滑化することで、推定ベクトルの集合{vecblk,t}を生成するステップSi5。ここでの処理は第7実施形態のステップSg10と同じである。なお、平滑化処理は参照フレームの撮影時刻ごとに行われる。推定ベクトルの集合が得られたら、予め定められたブロック毎に、復号対象フレームの映像信号、及び動きベクトルを復号するステップSi6~Si13。つまり、復号対象ブロックインデックスをblk、総復号対象ブロック数をnumBlksで表すとすると、blkを0で初期化した後ステップSi6、blkに1を加算しながらステップSi12、blkがnumBlksになるまでステップSi13、以下の処理ステップSi7~Si11を繰り返す。復号対象ブロック毎に繰り返される処理では、まず、予測ベクトル生成部909において、動きベクトルメモリ911に蓄積されている復号対象ブロックの隣接ブロックで用いられた動きベクトルと、推定ベクトルとを用いて、復号対象ブロックの動きベクトルmvに対する予測ベクトルpmvを生成するステップSi7。ここでの処理は、第7実施形態のステップSg11と同じである。ただし、本実施形態ではフレーム全体ではなく、ブロックblkに対してのみ、予測ベクトルの生成を行う。予測ベクトルの生成には符号化時に行われた方法と同じ方法を用いる。予測ベクトルの生成が終了したら、動きベクトル復号部910で、復号対象ブロックblkにおける動きベクトルmvを符号化データから復号するステップSi8。動きベクトルmvは、予測ベクトルpmvを用いて予測符号化されており、符号化データから予測残差ベクトルdmvを復号し、予測残差ベクトルdmvに予測ベクトルpmvを加えることで動きベクトルmvを得る。復号された動きベクトルmvは、動き補償予測部912へ送られると共に、動きベクトルメモリ911に蓄積し、以降の復号対象ブロックの動きベクトルを復号する際に利用される。復号対象ブロックに対する動きベクトルが得られたら、動き補償予測部912にて復号対象ブロックに対する動き補償予測信号Pred[blk]を生成するステップSi9。この処理は、第7実施形態のステップSg3と同じである。動き補償予測信号が得られたら、画像復号部913にて、予測符号化されている復号対象フレームを復号する。具体的には、符号化データから予測残差信号DecResを復号しステップSi10、得られた復号予測残差DecResに動き補償予測信号Predを加算して、ブロックblkに対するデコード画像Deccur[blk]を生成する。生成されたデコード画像は、多視点映像復号装置900の出力となると共に、以降のフレームにおいて予測に使用するために、復号画像メモリ914に蓄積する。上述した第5から第9実施形態では、視点合成画像に対するローパスフィルタ処理、および、動きベクトル平滑化処理によって、参照視点フレームにおけるフィルムグレインや符号化歪み、および、視点合成における合成歪みなどのノイズによって、対応領域探索の精度が低下することを防いでいる。しかしながら、これらのノイズの量が少ない場合は、ローパスフィルタ処理や動きベクトル平滑化処理を行わなくても対応領域を高精度に求めることが可能である。そのような場合、上述した第5から第9実施形態のローパスフィルタ処理や動きベクトル平滑化処理を省略することで、トータルの演算量を削減することが可能である。上述した第1から第4実施形態及び第6から第9実施形態では、符号化単位ブロックや復号単位ブロックが動き補償予測ブロックと同じ大きさである場合で説明した。しかし、H.264のように、符号化単位ブロックや復号単位ブロックと動き補償予測ブロックとが異なるサイズの場合に拡張することも容易に類推可能である。上述した第1から第9実施形態では、動き補償予測について説明したが、本発明の思想は全てのフレーム間予測に適用することができる。つまり、参照フレームが別のカメラで撮影されたフレームであれば、対応領域探索では視差を推定することになる。また、参照フレームが異なるカメラで異なる時刻に撮影されたフレームであれば、動きと視差の両方が含まれるベクトルを推定することになる。更に、フラクタル符号化のように、フレーム内で参照領域を決定する場合においても適応可能である。また、上述した第1から第4実施形態及び第6から第9実施形態では、フレーム間予測を用いて全てのブロックを符号化するとして記載したが、H.264などのようにブロック毎に異なる予測方式を用いて符号化しても構わない。その場合、本発明は、フレーム間予測を用いるブロックに対してのみ適用される。フレーム間予測を行うブロックについても、従来の方式を用いるか、本発明の方式を用いるかを切り替えながら符号化することも可能である。その場合には、どちらの方式を用いたかを示す情報を何らかの方法で復号側へ伝える必要がある。以上説明した処理は、コンピュータとソフトウェアプログラムとによっても実現することができる。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。また、上述した実施形態では、多視点映像符号化装置、及び多視点映像復号装置を中心に説明したが、これら多視点映像符号化装置、及び多視点映像復号装置の各部の動作に対応したステップによって本発明の多視点映像符号化方法、及び多視点映像復号方法を実現することができる。以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は、本発明の例示に過ぎず、本発明が上記実施形態に限定されるものでないことは明らかである。したがって、本発明の精神、及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。"