"多視点映像を符号化する多視点映像符号化方法であって、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成ステップと、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定ステップと、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化ステップとを含む多視点映像符号化方法。前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記参照領域推定ステップは、前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつける請求項1に記載の多視点映像符号化方法。前記補正パラメータ推定ステップは、前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける請求項2に記載の多視点映像符号化方法。前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定ステップを更に含み、前記補正パラメータ推定ステップは、前記推定精度、および前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける請求項2に記載の多視点映像符号化方法。多視点映像を復号する多視点映像復号方法であって、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成ステップと、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定ステップと、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、前記補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号ステップとを含む多視点映像復号方法。前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記参照領域推定ステップは、前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつける請求項5に記載の多視点映像復号方法。前記補正パラメータ推定ステップは、前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける請求項6に記載の多視点映像復号方法。前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定ステップを更に含み、前記補正パラメータ推定ステップは、前記推定精度、および前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける請求項6に記載の多視点映像復号方法。多視点映像を符号化する多視点映像符号化装置であって、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定手段と、前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定手段と、前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、前記視点合成画像補正手段により補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化手段とを備える多視点映像符号化装置。前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に備え、前記参照領域推定手段は、前記信頼度設定手段により設定された前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつける請求項9に記載の多視点映像符号化装置。前記補正パラメータ推定手段は、前記信頼度設定手段により設定された前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける請求項10に記載の多視点映像符号化装置。前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定手段を更に備え、前記補正パラメータ推定手段は、前記推定精度設定手段により設定された前記推定精度、および前記信頼度設定手段により設定された前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつける請求項10に記載の多視点映像符号化装置。多視点映像を復号する多視点映像復号装置であって、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定手段と、前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定手段と、前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、前記視点合成画像補正手段により補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号手段とを有する多視点映像復号装置。多視点映像を符号化する多視点映像符号化装置のコンピュータに、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成機能、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定機能、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定機能、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正機能、前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化機能を実行させるプログラム。多視点映像を復号する多視点映像復号装置のコンピュータに、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成機能、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定機能、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定機能、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正機能、前記補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号機能を実行させるプログラム。上述した従来技術では、復号時に参照可能な隣接ブロックの情報を用いて補正パラメータを推定することで、補正パラメータを符号化することなく、カメラ間のミスマッチを補正することが可能となる。このため、多視点映像の効率的な圧縮符号化を実現することが可能である。しかしながら、隣接ブロックにおいて処理対象ブロックとは異なる被写体が写っていた場合、得られる補正パラメータは、処理対象ブロックに写っている被写体に対するミスマッチを適切に補正することができないという問題がある。また、ミスマッチを適切に補正できないだけでなく、逆にミスマッチを増幅させ、符号化効率を悪化させてしまう可能性もある。この課題に対する解決策として、ブロック毎に補正を行うかどうかを示すフラグを符号化する方法が容易に考えられる。しかしながら、この方法では、ミスマッチの増加を防ぐことは可能であるが、フラグを符号化する必要が生じるため、符号化効率を大きく改善することは不可能である。本発明は、このような事情を考慮してなされたものであり、その目的は、カメラ間で局所的な輝度や、色のミスマッチを伴うような多視点映像においても、補正パラメータを別途符号化/復号することなく、効率的に多視点画像や多視点動画像の符号化/復号を実現できる多視点映像符号化方法、多視点映像復号方法、多視点映像符号化装置、多視点映像復号装置、及びプログラムを提供することにある。上述した課題を解決するために、本発明の第1の観点は、多視点映像を符号化する多視点映像符号化方法であって、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成ステップと、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定ステップと、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化ステップとを含む多視点映像符号化方法である。本発明の第1の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記参照領域推定ステップは、前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつけるようにしてもよい。本発明の第1の観点において、前記補正パラメータ推定ステップは、前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。本発明の第1の観点において、前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定ステップを更に含み、前記補正パラメータ推定ステップは、前記推定精度、および前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。また、上述した課題を解決するために、本発明の第2の観点は、多視点映像を復号する多視点映像復号方法であって、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成ステップと、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定ステップと、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定ステップと、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正ステップと、前記補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号ステップとを含む多視点映像復号方法である。本発明の第2の観点において、前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定ステップを更に含み、前記参照領域推定ステップは、前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつけるようにしてもよい。本発明の第2の観点において、前記補正パラメータ推定ステップは、前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。本発明の第2の観点において、前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定ステップを更に含み、前記補正パラメータ推定ステップは、前記推定精度、および前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。また、上述した課題を解決するために、本発明の第3の観点は、多視点映像を符号化する多視点映像符号化装置であって、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定手段と、前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定手段と、前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、前記視点合成画像補正手段により補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化手段とを備える多視点映像符号化装置である。本発明の第3の観点において、前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記視点合成画像の確からしさを示す信頼度を設定する信頼度設定手段を更に備え、前記参照領域推定手段は、前記信頼度設定手段により設定された前記信頼度に基づいて、前記視点合成画像に対応する、前記参照フレーム上の前記参照領域を探索する際の各画素のマッチングコストに重みをつけるようにしてもよい。本発明の第3の観点において、前記補正パラメータ推定手段は、前記信頼度設定手段により設定された前記信頼度に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。本発明の第3の観点において、前記視点合成画像生成手段により合成された前記視点合成画像の各画素について、前記参照領域が正しく推定できたかどうかを示す推定精度を設定する推定精度設定手段を更に備え、前記補正パラメータ推定手段は、前記推定精度設定手段により設定された前記推定精度、および前記信頼度設定手段により設定された前記信頼度のいずれか一方、または双方に基づいて、前記補正パラメータを推定する際の各画素のマッチングコストに重みをつけるようにしてもよい。また、上述した課題を解決するために、本発明の第4の観点は、多視点映像を復号する多視点映像復号装置であって、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成手段と、予め定められた大きさの処理単位領域毎に、前記視点合成画像生成手段により合成された前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定手段と、前記処理単位領域に対する前記視点合成画像と前記参照領域推定手段により探索された前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定手段と、前記補正パラメータ推定手段により推定された前記補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正手段と、前記視点合成画像補正手段により補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号手段とを有する多視点映像復号装置である。また、上述した課題を解決するために、本発明の第5の観点は、多視点映像を符号化する多視点映像符号化装置のコンピュータに、前記多視点映像の符号化対象視点における符号化対象フレームと同時刻に撮影された、前記符号化対象視点とは異なる参照視点における既に符号化済みの参照視点フレームから、前記符号化対象視点の前記符号化対象フレームに対応する視点合成画像を合成する視点合成画像生成機能、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記符号化対象視点における既に符号化済みの参照フレーム上の参照領域を探索する参照領域推定機能、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定機能、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正機能、前記補正された視点合成画像を用いて、前記符号化対象視点の映像を予測符号化する画像符号化機能を実行させるプログラムである。また、上述した課題を解決するために、本発明の第6の観点は、多視点映像を復号する多視点映像復号装置のコンピュータに、前記多視点映像の復号対象視点における復号対象フレームと同時刻に撮影された、前記復号対象視点とは異なる参照視点における参照視点フレームから、前記復号対象視点の前記復号対象フレームに対応する視点合成画像を合成する視点合成画像生成機能、予め定められた大きさの処理単位領域毎に、前記視点合成画像に対応する、前記復号対象視点における既に復号済みの参照フレーム上の参照領域を探索する参照領域推定機能、前記処理単位領域に対する前記視点合成画像と前記参照領域に対する前記参照フレームとから、カメラ間ミスマッチを補正する補正パラメータを推定する補正パラメータ推定機能、前記推定された補正パラメータを用いて、前記処理単位領域に対する前記視点合成画像を補正する視点合成画像補正機能、前記補正された視点合成画像を予測信号として用いて、前記復号対象視点における予測符号化されている復号対象フレームを、前記復号対象視点に対する映像の符号化データから復号する画像復号機能を実行させるプログラムである。この発明によれば、カメラ間の輝度や色のミスマッチが局所的に生じている場合においても、補正パラメータを別途符号化/復号することなく、効率的な多視点画像や多視点動画像の符号化/復号を実現することができる。本発明の実施形態では、生成した視点合成画像を用いて、処理中の領域に対する、既に符号化済みのフレーム上の対応領域を求め、符号化済みフレームにおける対応領域の映像信号をリファレンスとして、視点合成画像の輝度や色の補正を行う。本発明の実施形態では、従来手法が利用した隣接領域には同じ被写体が写っているという仮定ではなく、被写体に依存する色や輝度のミスマッチが時間的には大きく変化しないという仮定を用いて補正パラメータを求める。一般に、フレーム内には複数の被写体が含まれているため、従来の仮定が外れる領域は必ず存在する。一方、シーンチェンジ等で急激にシーンが変化しない限り、時間的にミスマッチは変化しないため、本発明の実施形態が有効に機能する。つまり、従来の手法が補正に失敗していた領域においても、ミスマッチを減少させる補正を行うことが可能となり、効率的な多視点映像符号化を実現することが可能となる。以下、本発明の実施形態を、図面を参照して説明する。なお、以下の説明では、映像フレームに記号で挟まれた位置を特定可能な情報座標値、もしくは座標値に対応付け可能なインデックスを付加することで、その位置の画素に関してサンプリングされた映像信号を示すものとする。A.第1実施形態まず、本発明の第1実施形態について説明する。図1は、本発明の第1実施形態による多視点映像符号化装置の構成を示すブロック図である。図1において、多視点映像符号化装置100は、符号化対象フレーム入力部101、符号化対象画像メモリ102、参照視点フレーム入力部103、参照視点画像メモリ104、視点合成部105、視点合成画像メモリ106、信頼度設定部107、視点合成画像補正部108、予測残差符号化部109、予測残差復号部110、復号画像メモリ111、予測残差算出部112、及び復号画像算出部113を備えている。符号化対象フレーム入力部101は、符号化対象となる映像フレーム符号化対象フレームを入力する。符号化対象画像メモリ102は、入力された符号化対象フレームを蓄積する。参照視点フレーム入力部103は、符号化対象フレームとは別の視点参照視点に対する参照映像フレーム参照視点フレームを入力する。参照視点画像メモリ104は、入力された参照視点フレームを蓄積する。視点合成部105は、参照視点フレームを用いて符号化対象フレームに対する視点合成画像を生成する。視点合成画像メモリ106は、生成された視点合成画像を蓄積する。信頼度設定部107は、生成された視点合成画像の画素毎の信頼度を設定する。視点合成画像補正部108は、視点合成画像のカメラ間ミスマッチを補正し、補正視点合成画像を出力する。予測残差算出部112は、符号化対象フレームと補正視点合成画像との差予測残差信号を生成する。予測残差符号化部109は、生成された予測残差信号を符号化して符号化データを出力する。予測残差復号部110は、予測残差信号の符号化データを復号する。復号画像算出部113は、復号された予測残差信号と補正視点合成画像とを足し合わせて符号化対象フレームの復号画像を生成する。復号画像メモリ111は、生成された復号画像を蓄積する。図2は、本第1実施形態による多視点映像符号化装置100の視点合成画像補正部108の構成を示すブロック図である。図2において、本第1実施形態の視点合成画像補正部108は、視点合成画像を用いて符号化対象ブロックに対応する参照フレーム上のブロックを参照領域として探索する参照領域設定部1081と、参照領域の画素毎に対応領域が正しく設定できたかどうかを示す推定精度を設定する推定精度設定部1082と、視点合成画像におけるカメラ間ミスマッチを補正するためのパラメータを推定する補正パラメータ推定部1083と、求められた補正パラメータに従って視点合成画像を補正する画像補正部1084とを備える。図3は、本第1実施形態による多視点映像符号化装置100の動作を説明するためのフローチャートである。このフローチャートに従って、多視点映像符号化装置100の実行する処理について詳細に説明する。まず、符号化対象フレーム入力部101より符号化対象フレームOrgが入力され、符号化対象画像メモリ102に格納されるステップSa1。また、参照視点フレーム入力部103より符号化対象フレームOrgと同時刻に参照視点で撮影された参照視点フレームRefnが入力されn=1,2,...,N、参照視点画像メモリ104に蓄積されるステップSa1。ここで入力される参照視点フレームは、既に符号化済みの画像を復号したものとする。これは、復号装置で得られる情報と同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。但し、これらの符号化ノイズの発生を許容する場合には、符号化前のオリジナルのものが入力されても構わない。なお、nは、参照視点を示すインデックスであり、Nは、ここで利用可能な参照視点の数である。次に、視点合成部105で、参照視点フレームの情報から、符号化対象フレームと同時刻に同じ視点で撮影された画像を合成し、生成された視点合成画像Synを視点合成画像メモリ106に蓄積するステップSa2。この視点合成画像Synの生成法には、どのような方法を用いても構わない。例えば、参照視点フレームの映像情報以外に参照視点フレームに対するデプス情報が与えられるのであれば、前述した非特許文献2や、非特許文献5YMoriNFukushimaTFujiiandMTanimotoViewGenerationwith3DWarpingUsingDepthInformationforFTVProceedingsof3DTVCON2008pp229232May2008などに記載されている手法を用いることができる。また、符号化対象フレームに対するデプス情報が得られた場合には、非特許文献6SYeaandAVetroViewSynthesisPredictionforRateOverheadReductioninFTVProceedingsof3DTVCON2008pp145148May2008などに記載されている手法を用いることも可能である。全くデプス情報が得られない場合では、非特許文献7JSunNZhengandHShumStereoMatchingUsingBeliefPropagationIEEETransactionsonPatternAnalysisandMachineIntelligenceVol25No7pp787800July2003などに記載のステレオ法や、デプス推定法と呼ばれる手法を用いて、参照視点フレーム、もしくは符号化対象フレームに対するデプス情報を作成した後に、前述のような手法を適用して視点合成画像を生成することができる非特許文献8:SShimizuYTonomuraHKimataandYOhtaniImprovedViewInterpolationPredictionforSideInformationinMultiviewDistributedVideoCodingProceedingsofICDSC2009August2009。デプス情報を明には生成せずに、参照視点フレームから視点合成画像を直接生成する方法もある前述した非特許文献3参照。なお、これらの手法を用いるには、基本的にカメラの位置関係や、カメラによる投影プロセスを示すカメラパラメータが必要となる。これらのカメラパラメータも参照視点フレームから推定することが可能である。なお、デプス情報や、カメラパラメータなどを復号側で推定しない場合、符号化装置内で使用したそれらの情報を別途符号化して伝送する必要がある。次に、信頼度設定部107において、視点合成画像の各画素に対して、その画素に対する合成がどれぐらいの確からしさで実現できたかを示す信頼度ρを生成するステップSa3。本第1実施形態では、信頼度ρは、0~1までの実数とするが、大きな値ほど信頼度が高いとするような定義のものであれば、どのように信頼度を表現しても構わない。例えば、1以上の8ビット整数で信頼度を表現しても構わない。信頼度ρは、上述した通り、合成がどれぐらい正確に行われたかを示すことができればどのようなものでも構わない。例えば、最も簡単なものとしては、視点合成画像の各画素が対応する参照視点フレーム上の画素の画素値の分散値を用いる方法がある。対応画素間で画素値が近いほど同じ被写体を同定して正しく視点合成できたことを示すので、分散が小さいほど信頼度が高いことを示す。つまり、信頼度は分散の逆数を用いて表現される。視点合成画像Syn[p]を合成するのに使用した各参照視点フレームの画素をRefn[pn]で表すとすると、次の数式1や数式2を用いて信頼度を表すことが可能である。分散の最小値が0であることから、関数maxを用いて信頼度を定義する必要がある。なお、maxは、与えられた集合に対する最大値を返す関数である。また、その他の関数は、次の数式3で表現されるものである。分散以外にも、次の数式4で表される、対応する参照視点フレームの画素の最大値と最小値との差diffpを用いる方法もある。また、分散の逆数ではなく、次の数式4’のように指数関数を用いた信頼度を定義しても構わない。なお、関数fは上述のvar1,var2,diffのいずれでも構わない。この場合、関数fの値域に0が含まれていても信頼度を定義することが可能である。これらの方法は、単純であるが、オクルージョンの発生を考慮していないため、常に最適な信頼度が得られるとは限らない。そこで、オクルージョンの発生を考慮して、参照視点フレームを対応画素の画素値によってクラスタリングし、最も大きいクラスタに属する参照視点フレームの対応画素の画素値に対して、分散値や、最大値と最小値との差を計算して用いても構わない。更に別の方法としては、視点間の対応点における誤差が正規分布や、ラプラス分布に従うと仮定し、分布の平均値や、分散値をパラメータとして、上記数式4のdiffなどで求められる各画素の誤差量に対応する確率の値を用いて信頼度を定義しても構わない。その際に分布のモデルや、その平均値や、分散値は、予め定められたものを用いても構わないし、使用したモデルの情報を符号化して伝送しても構わない。一般に、被写体が完全拡散反射しているのであれば、理論的に分布の平均値は0と考えることができるため、モデルを簡略化してもよい。また、視点合成画像を生成した際の対応点が得られるデプス付近で、対応画素の画素値の誤差量が最小であると仮定すると、デプスを微小に変化させたときの誤差量の変化から誤差分布モデルを推定し、その誤差分布モデルそのものや、その誤差分布モデルと視点合成画像生成時の参照視点フレーム上の対応画素の画素値とに基づいた値を用いて信頼度を定義する方法を用いても構わない。誤差分布モデルのみを用いた定義としては、誤差の発生確率がその誤差分布に従う際に、誤差が一定の範囲内に収まる確率を信頼度とする方法がある。誤差分布モデルと視点合成画像生成時の参照視点フレーム上の対応画素の画素値とを用いた定義としては、誤差の発生確率が推定した誤差分布に従うとした場合に、視点合成画像生成時の参照視点フレーム上の対応画素の画素値で表される状況が発生する確率を信頼度とする方法がある。更に別な方法として、視点合成を行う際に必要となる視差デプスを推定する際に、BeliefPropagationと呼ばれる手法上述した非特許文献7を用いた際に得られる、視差デプスに対する確率の値を信頼度としても構わない。BeliefPropagation以外でも、視点合成画像の各画素について、解の確からしさを内部的に計算するデプス推定アルゴリズムであれば、その情報を信頼度として用いることが可能である。視点合成画像生成時に、対応点探索や、ステレオ法、デプス推定を行う場合には、対応点の情報やデプス情報を求める処理の一部が信頼度計算の一部と同じになることがある。そのような場合においては、視点合成画像生成と信頼度計算とを同時に行うことで、演算量を削減することが可能である。信頼度の計算が終了したら、符号化対象フレームをブロックに分割し、その領域毎に、視点合成画像補正部108で、視点合成画像のカメラ間ミスマッチを補正しながら、符号化対象フレームの映像信号を符号化するステップSa4~Sa12。つまり、符号化対象ブロックインデックスをblk、総符号化対象ブロック数をnumBlksで表すとすると、blkを0で初期化しステップSa4、その後、blkに1を加算しながらステップSa11、blkがnumBlksになるまでステップSa12、以下の処理ステップSa5~Sa10を繰り返す。なお、視点合成画像の生成や、信頼度の計算を符号化対象ブロック毎に行うことが可能であれば、それらの処理も、符号化対象ブロック毎に繰り返す処理の一部として行うことが可能である。例えば、符号化対象ブロックに対するデプス情報が与えられている場合が該当する。符号化対象ブロック毎に繰り返される処理では、まず、参照領域設定部1081で、視点合成画像を用いて、ブロックblkに対応する参照フレーム上のブロックであるところの参照領域を見つけるステップSa5。ここで、参照フレームとは、既に符号化処理が終了したデータを復号して得られるローカルデコード画像のことである。このローカルデコード画像のデータは、復号画像メモリ111に蓄積されるデータである。なお、ローカルデコード画像を使用するのは、復号側で同じタイミングで取得可能なデータと同じものを用いることで、ドリフトと呼ばれる符号化歪みの発生を防ぐためである。そのような符号化歪みの発生を許すのであれば、ローカルデコード画像ではなく、符号化対象フレームより先に符号化された入力フレームを用いても構わない。参照領域を求める処理は、視点合成画像Syn[blk]をテンプレートとして、適合度を最大化もしくは乖離度を最小化する対応ブロックを、復号画像メモリ111に蓄積されているローカルデコード画像上で求める処理である。本第1実施形態では、乖離度を示すマッチングコストを用いるものとする。乖離度を示すマッチングコストの具体例としては、次の数式5や、数式6などがある。ここで、vecは、対応ブロック間のベクトルであり、tは、復号画像メモリ111に蓄積されているローカルデコード画像Decの1つを示すインデックス値とする。これら以外に、視点合成画像とローカルデコード画像との間の差分値をDCTDiscreteCosineTransform:離散コサイン変換や、アダマール変換などを用いて変換した値を用いた方法がある。その変換を行列Aで表すと、次の数式7や、数式8で表すことができる。なお、Xは、Xのノルムを表す。つまり、これらのマッチングコストを最小化するブロックを求める処理は、次の数式9で表されるbest_vec,best_tの組を求めることになる。ここで、argminは、与えられた関数を最小化するパラメータを求める処理を示す。導出するパラメータの集合はargminの下部で与えられる集合である。探索するフレーム数、探索範囲、及び探索の順序や打ち切りを決定する方法には、任意の方法を用いても構わない。但し、正確に復号するためには、復号側で用いるものと同様のものを用いる必要がある。なお、探索範囲や、打ち切り方法は、演算コストに大きな影響を与える。より少ない探索範囲で高いマッチング精度を出すための1つの方法として、探索中心を適切に設定する方法がある。1つの例としては、参照視点フレーム上の対応領域で使用されていた動きベクトルで表される対応点を探索中心にする方法がある。また、復号側の探索にかかる演算コストを削減する別の方法として、探索を行う対象のフレームを限定する方法がある。予め探索対象のフレーム決定法を決めても構わない。例えば、最も直前に符号化が終了したフレームを探索対象とする方法がこれに相当する。また、探索対象フレームを限定する別の方法として、どのフレームを対象とするかを示す情報を符号化して復号側に通知する方法もある。この場合、復号側では、探索対象フレームを示すインデックス値などの情報を復号し、それに基づいて探索対象フレームを決定する機構を備える必要がある。本第1実施形態では、符号化対象ブロックblkに対応するブロックを1つだけ求めている。しかし、必要なデータは、時間的に異なるフレームの映像信号を用いて表現された符号化対象ブロックの映像信号の予測値である。このため、符号化対象ブロックblk内の各画素に対して、対応画素を求めて、それらをブロック状に並べて作られる映像信号を参照領域としても構わない。また、符号化対象ブロックblkに対応するブロックを複数設定し、その複数ブロックにおける映像信号の平均値で表される映像信号を参照領域としても構わない。このようにすることで、探索対象フレームにノイズが重畳している場合や、探索精度が低い場合に、それらの影響を低減させ、よりロバストに参照領域を設定することが可能となる。参照領域Ref[blk]=Dect[blkvec]が決定したら、推定精度設定部1082で、参照領域Ref[blk]の画素毎に、参照領域がどれぐらい正しく得られたかを示す推定精度ψを設定するステップSa6。推定精度には、どのような値を用いても構わないが、視点合成画像および参照フレームにおける対応画素間の誤差量に依存した値を用いることが可能である。例えば、数式10や、数式11で表される二乗誤差や、絶対値誤差の逆数や、数式12や、数式13で表される二乗誤差や、絶対値誤差にマイナスを乗じた値などがある。また、別の例としては、誤差がラプラス分布などに従うと仮定して、得られた対応画素間の画像信号の差分に対応する確率を推定精度として用いても構わない。ラプラス分布などのパラメータは、別途与えても構わないし、参照領域推定時に計算する誤差の分布から推定しても構わない。数式14が平均を0とするラプラス分布を用いる場合の例であり、φはパラメータとなる。推定精度の設定が終了したら、補正パラメータ推定部1083において、視点合成画像Syn[blk]を補正するための補正パラメータを推定するステップSa7。補正方法や、補正パラメータ推定には、どのような方法を用いても構わないが、復号側で使用されるものと同じ方法を用いる必要がある。補正方法の例としては、オフセット値による補正、1次関数による補正、ガンマ補正などがある。それぞれ補正前の値をin、補正後の値をoutとすると、以下の数式15、16、17で表すことが可能である。これらの例では、それぞれ、offset、α,β、γ,a,bが補正パラメータである。符号化対象ブロックblkに写っている被写体の画像信号が時間的に変化しないと仮定すると、補正前の値が視点合成画像の画像信号であり、理想的な補正後の値が参照領域の画像信号となる。つまり、この2つの画像信号の乖離度で表されるマッチングコストが小さくなるように、補正パラメータを求めることで、精度の高い補正が行えることになる。なお、マッチングコストを2つの画像信号の適合度で表す場合は、マッチングコストを最大化するようにパラメータを求めることになる。つまり、補正処理を表す関数をFとし、2つの画像信号の乖離度を表すマッチングコスト関数をCとすると、補正パラメータを求める処理は、次の数式18で表すことができる。ここで、parFは、補正方法Fの補正パラメータの集合を示し、argminは、与えられた関数を最小化するパラメータを求める処理を示す。導出するパラメータの集合はargminの下部で与えられる集合である。マッチングコストにはどのようなものを用いても構わないが、例えば、2つの信号の差の二乗を用いることができる。また、マッチングコストにおいて、視点合成画像の信頼度や、参照領域の推定精度や、その両方を用いて画素ごとに重み付けを行っても構わない。次の数式19,20,21,22は、2つの信号の差の二乗を乖離度とする際に、それぞれ、全く重み付けを行わない場合、視点合成画像の信頼度で重み付けを行う場合、参照領域の推定精度で重み付けを行う場合、視点合成画像の信頼度と参照領域の推定精度の両方で重み付けを行う場合のマッチングコスト関数の例を示す。例えば、オフセット値による補正では、マッチングコスト関数として数式22を用いた場合は、次の数式23を用いて、offsetを求めることが可能である。一次関数による補正を行う場合には、最小二乗法を用いて、二乗誤差を最小化するパラメータを導出することが可能である。なお、これらの補正パラメータは、輝度や、色差信号毎に求めても良いし、RGBなどの色チャンネル毎に求めても構わない。また、各チャンネルを細分化して、一定のレンジ毎に異なる補正を行うことも可能である例えば、Rチャンネルの0~127と128~255とで別の補正パラメータを用いた補正を行う。補正パラメータの推定が終了したら、画像補正部1084で、ブロックblkに対する視点合成画像を補正パラメータに従って補正し、補正視点合成画像Predを生成するステップSa8。ここでの処理は、補正パラメータを代入した補正モデルに視点合成画像を入力すればよい。例えば、オフセット値を用いた補正を行う場合には、以下の数式24に従って補正視点合成画像Predが生成される。ブロックblkの視点合成画像の補正が完了したら、補正視点合成画像Predを予測画像として用いて符号化対象フレームOrg[blk]を予測符号化するステップSa9。つまり、符号化対象フレームOrg[blk]と補正視点合成画像Predの差分を予測残差として予測残差算出部112で生成し、その予測残差を予測残差符号化部109で符号化する。どのような符号化方法を用いても構わないが、H.264などの一般的な符号化手法では、予測残差に対して、DCT量子化2値化エントロピー符号化を施すことによって符号化を行う。符号化結果のビットストリームは、多視点映像符号化装置100の出力となると共に、ブロック毎に予測残差復号部110で復号され、復号結果と補正視点合成画像Predとを復号画像算出部113で足し合わせてローカルデコード画像Deccur[blk]を構築する。構築されたローカルデコード画像は、今後の予測に使用するために、復号画像メモリ111に蓄積するステップSa10。B.第2実施形態次に、本発明の第2実施形態について説明する。図4は、本第2実施形態による多視点映像復号装置の構成を示すブロック図である。図4において、多視点映像復号装置200は、符号化データ入力部201、符号化データメモリ202、参照視点フレーム入力部203、参照視点画像メモリ204、視点合成部205、視点合成画像メモリ206、信頼度設定部207、視点合成画像補正部208、予測残差復号部210、復号画像メモリ211及び復号画像算出部212を備えている。符号化データ入力部201は、復号対象となる映像フレーム復号対象フレームに対する符号化データを入力する。符号化データメモリ202は、入力された符号化データを蓄積する。参照視点フレーム入力部203は、復号対象フレームとは別の視点に対する映像フレームである参照視点フレームを入力する。参照視点画像メモリ204は、入力された参照視点フレームを蓄積する。視点合成部205は、参照視点フレームを用いて復号対象フレームに対する視点合成画像を生成する。視点合成画像メモリ206は、生成された視点合成画像を蓄積する。信頼度設定部207は、生成された視点合成画像の画素毎の信頼度を設定する。視点合成画像補正部208は、視点合成画像のカメラ間ミスマッチを補正し、補正視点合成画像を出力する。予測残差復号部210は、符号化データから復号対象フレームと補正視点合成画像との差を予測残差信号として復号する。復号画像メモリ211は、復号された予測残差信号と補正視点合成画像とを復号画像算出部212で足し合わせて得られる復号対象フレームの復号画像を蓄積する。なお、上述した多視点映像復号装置200の構成において、参照視点フレーム入力部203、参照視点画像メモリ204、視点合成部205、視点合成画像メモリ206、信頼度設定部207、視点合成画像補正部208、予測誤差復号部210、及び復号画像メモリ211は、各々、第1実施形態による多視点映像符号化装置100における、参照視点フレーム入力部103、参照視点画像メモリ104、視点合成部105、視点合成画像メモリ106、信頼度設定部107、視点合成画像補正部108、予測誤差復号部110、及び復号画像メモリ111と同じである。また、視点合成画像補正部208の構成は、上述した第1実施形態よる多視点映像符号化装置100の視点合成画像補正部108図2と同一である。但し、以下の説明では、図5に示すように、参照領域設定部2081、推定精度設定部2082、補正パラメータ推定部2083、画像補正部2084として説明する。図6は、本第2実施形態による多視点映像復号装置200の動作を説明するためのフローチャートである。このフローチャートに従って、多視点映像復号装置200の実行する処理について詳細に説明する。まず、符号化データ入力部201より、復号対象フレームに対する符号化データが入力され、符号化データメモリ202に格納されるステップSb1。また、参照視点フレーム入力部203より、復号対象フレームと同時刻に参照視点で撮影された参照視点フレームRefnが入力されn=1,2,...,N、参照視点画像メモリ204に蓄積されるステップSb1。ここで入力される参照視点フレームは、別途復号された画像とする。ドリフトと呼ばれる符号化ノイズの発生を防ぐためには、符号化装置で使用したものと同一のものが入力される必要がある。しかし、それらの符号化ノイズの発生を許容する場合には、符号化装置で使用されたものと別のものが入力されても構わない。なお、nは、参照視点を示すインデックスであり、Nは、ここで利用可能な参照視点の数である。次に、視点合成部205で、参照視点フレームの情報から、復号対象フレームと同時刻に同じ視点で撮影された画像を合成し、生成された視点合成画像Synを視点合成画像メモリ206に蓄積するステップSb2。そして、信頼度設定部207において、視点合成画像の各画素に対して、その画素に対する合成がどれぐらいの確からしさで実現できたかを示す信頼度ρを生成するステップSb3。これらの処理は、それぞれ、第1実施形態のステップSa2、及びステップSa3と同じである。信頼度の計算が終了したら、予め定められたブロック毎に、視点合成画像補正部208で視点合成画像のカメラ間ミスマッチを補正しながら、復号対象フレームの映像信号を復号するステップSb4~Sb12。つまり、復号対象ブロックインデックスをblk、総復号対象ブロック数をnumBlksで表すとすると、blkを0で初期化しステップSb4、その後、blkに1を加算しながらステップSb11、blkがnumBlksになるまでステップSb12、以下の処理ステップSb5~Sb10を繰り返す。なお、視点合成画像の生成や、信頼度の計算を、復号対象ブロック毎に行うことが可能であれば、それらの処理も復号対象ブロック毎に繰り返す処理の一部として行うことが可能である。例えば、復号対象ブロックに対するデプス情報が与えられている場合が該当する。また、後述のステップSb9は、ブロック毎に行わず、事前に全部のブロックに対して行い、その結果を蓄積して利用しても構わない。但し、その場合には、復号予測残差信号を蓄積するメモリが必要となる。復号対象ブロック毎に繰り返される処理では、まず、参照領域設定部2081≒参照領域設定部1081で、視点合成画像を用いて、ブロックblkに対応する参照フレーム上のブロックであるところの参照領域Ref[blk]を見つけるステップSb5。なお、参照フレームとは、既に復号処理が終了して、復号画像メモリ211に蓄積されているデータである。この処理は、第1実施形態のステップSa5と同じである。探索のためのマッチングコスト探索対象フレームの決定法参照領域に対する映像信号の生成法などは、符号化装置で用いられた方法と同一のものを使うことで、ノイズの発生を防ぐことが可能である。参照領域Ref[blk]=Dect[blkvec]が決定したら、推定精度設定部2082≒推定精度設定部1082で、参照領域Ref[blk]の画素毎に、参照領域がどれぐらい正しく得られたかを示す推定精度ψを設定するステップSb6。その後、補正パラメータ推定部2083≒補正パラメータ推定部1083において、視点合成画像Syn[blk]を補正するための補正パラメータを推定するステップSb7。次に、画像補正部2084≒画像補正部1084で、ブロックblkに対する視点合成画像を補正パラメータに従って補正し、補正視点合成画像Predを生成するステップSb8。これらの処理は、それぞれ、第1実施形態のステップSa6、Sa7、Sa8と同じである。ブロックblkの視点合成画像の補正が完了したら、予測誤差復号部210により、符号化データよりブロックblkに対する予測残差信号を復号するステップSb9。ここでの復号処理は、符号化手法に対応した処理となる。例えば、H.264などの一般的な符号化手法で符号化されている場合には、IDCTInverseDiscreteCosineTransform:逆離散コサイン変換逆量子化多値化エントロピー復号などを施すことによって復号を行う。最後に、得られた復号予測残差信号DecResと補正視点合成画像Predとを復号画像算出部212で足し合わせて復号対象フレームDeccur[blk]を構築する。構築された復号対象フレームは、今後の予測に使用するために、復号画像メモリ211に蓄積すると共に、多視点映像復号装置200の出力となるステップSb10。上述した第1、第2実施形態によれば、生成した視点合成画像を用いて、処理中の領域に対する、既に符号化済みのフレーム上の対応領域を求め、符号化済みフレームにおける対応領域の映像信号をリファレンスとして、視点合成画像の輝度や色の補正を行う。これにより、ミスマッチを減少させる補正を行うことが可能となり、効率的な多視点映像符号化を実現することができる。また、視点合成画像の画素毎に、合成処理の確からしさを示す信頼度を設定し、その信頼度に基づいて画素毎にマッチングコストを重み付けする。そうすることで、視点合成時の誤差に引きずられることなく、精度よく合成できた画素を重視し、適切な対応領域を設定することが可能となる。また、上述した第1実施形態のステップSa5と第2実施形態のステップSb5では、処理対象フレーム符号化対象フレームまたは復号対象フレームの視点合成画像Syn[blk]に対応する参照フレーム上の対応ブロックを、参照フレームDecを用いて求めている。しかし、参照フレームの視点合成画像RefSynが得られる場合は、参照フレームDecの代わりに視点合成画像RefSynを用いて対応ブロックを求めても構わない。つまり、数式5~8において、DecをRefSynに置き換えたマッチングコストを用いて、数式9で示されるbest_vec,best_tの組を求めることで、参照フレーム上の対応ブロックを求めても構わない。ただし、この場合でも、参照領域Refは参照フレームDecを用いて生成する。視点合成処理が高精度に行える場合、視点合成画像RefSynと参照フレームDecは等しいと考えられるため、このように視点合成画像RefSynを用いて対応ブロックを探索しても、本発明の実施形態の効果が同様に得られる。視点合成画像RefSynを用いる場合、参照フレームと同時刻に撮影された参照視点フレームを入力し、参照フレームの視点合成画像を生成して、蓄積する必要がある。ただし、上記実施形態による符号化及び復号処理が連続して複数のフレームに適用される場合、復号画像メモリに処理済フレームが蓄積されている間、視点合成画像メモリに視点合成画像を蓄積し続けることで、参照フレームの視点合成画像を処理対象フレームごとに繰り返し合成することを回避することが可能である。なお、視点合成画像RefSynを用いる場合、対応領域探索第1実施形態のステップSa5と第2実施形態のステップSb5において復号画像メモリに蓄積された処理済フレームを必要としないため、対応領域探索の処理は符号化処理や復号処理と同期して行う必要はなくなる。その結果、並列演算等が可能となり、全体の演算時間を削減できるという効果が得られる。上述した第1、第2実施形態では、視点合成画像や参照フレームをそのまま用いている。しかし、視点合成画像や参照フレームに発生するフィルムグレインや符号化歪みなどのノイズの影響を受けて、対応領域探索の精度が低下する。これらのノイズは特定の周波数成分特に高周波成分であるため、対応領域探索に用いるフレーム画像に対して、バンドパスフィルタノイズを高周波とする場合は、ローパスフィルタをかけてから探索を行うことで、ノイズの影響を小さくすることが可能である。また、ノイズ等の影響を受けて対応領域探索の精度が低下した場合、対応領域を示すベクトルの空間相関が低下する。しかしながら、通常の映像では、隣接領域には同じ被写体が写っているため、領域間のベクトルはほぼ等しいと考えられ、対応領域を示すベクトルの空間相関は非常に高い。そこで、ブロックごとに推定した動きベクトルに対して平均値フィルタや中央値フィルタを施して、空間相関を高めることで、対応領域探索の精度を向上しても構わない。上述した第1、第2実施形態では、処理対象ブロックが、対応領域探索のブロックと同じ大きさである場合で説明したが、それらが同じ大きさである必要がないことは明らかである。映像の時間変化は非線形であるため、より小さなブロック毎に対応領域を見つけたほうが、より正確に映像信号の変化を予測することができる。しかしながら、小さなブロックを用いる場合は、演算量が増加するだけでなく、映像信号に含まれるノイズの影響も大きくなる。この問題に対処するために、小さな領域に対する対応領域を探索する際に、小さな領域の周り数画素も探索に用いてノイズの影響を減らすことも容易に類推可能な範囲の処理である。なお、上述した第1、第2実施形態では、1つのカメラの1フレームを、符号化、または復号する処理を説明したが、この処理をフレーム毎に繰り返すことで、多視点動画像の符号化、または復号を実現することが可能である。さらに、カメラ毎に処理を繰り返すことで、複数のカメラの多視点動画像の符号化、または復号を実現することが可能である。上述した通り、本発明の実施形態では、被写体に依存する色や輝度のミスマッチが時間的には大きく変化しないという仮定を用いて補正パラメータを求める。そのため、シーンチェンジ等で急激にシーンが変化する場合は、時間的にミスマッチが変化する。このような場合、本発明の実施形態では、適切な補正パラメータが推定できず、補正によって視点合成画像と処理対象フレームの差を増大させてしまう可能性がある。そこで、シーンチェンジ等の急激な変化の有無を判定して、そのような急激な映像の変化がないと判定された場合にだけ、視点合成画像を補正するようにしても構わない。なお、そのような急激な映像変化を判定する方法として、対応領域探索の結果として得られた対応領域の乖離度の値をチェックし、乖離度が一定以上の場合には、急激な映像変化が発生したと判定する方法を用いても構わない。以上説明した処理は、コンピュータとソフトウェアプログラムとによっても実現することができる。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。また、以上の実施の形態では、多視点映像符号化装置、及び多視点映像復号装置を中心に説明した。しかし、これら多視点映像符号化装置、及び多視点映像復号装置の各部の動作に対応したステップによって本発明の多視点映像符号化方法及び多視点映像復号方法を実現することができる。以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は、本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものでないことは明らかである。したがって、本発明の精神及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。"