(57)【要約】【課題】一部又は全ての多視点画像についてオクルージョン領域のテクスチャを再現することができる自由視点画像生成方法、装置及びプログラムを提供する。【解決手段】カメラｃ１が時刻ｔ０に撮影した画像座標と、カメラｃ０が時刻ｔ０に撮影した画像座標との間の第１の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ１を算出し、カメラｃ１が時刻ｔ１に撮影した画像座標と、カメラｃ１が時刻ｔ０に撮影した画像座標との間の第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１を算出し、第１の行列Ｈｔ０ｃ０ｔ０ｃ１と第２の行列Ｈｔ０ｃ１ｔ１ｃ１とを乗算し、カメラｃ１が時刻ｔ１に撮影した画像座標と、カメラｃ０が時刻ｔ０に撮影した画像座標との間の第３の平面射影変換行列を算出する。第３の平面射影変換行列を用いてカメラｃ１が時刻ｔ１に被写体を撮影した第１の参照画像から、仮想視点としたカメラｃ０が時刻ｔ０に撮影できる第０の画像の当該領域を生成する。【選択図】図７
2013196160.tif 000002
【特許請求の範囲】
【請求項１】
第１のカメラｃ１及び第２のカメラｃ２が、被写体に対して配置されており、第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像と、第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像とを用いて、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像を生成する装置における自由視点画像生成方法であって、
カメラ毎に、内部パラメータ行列Ａと、主点の位置ベクトルＴと、向きの回転行列Ｒとが予め設定されており、
第０の画像における任意の領域について、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第１のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第１の平面射影変換(Homography)行列Ｈｔ０ｃ０ｔ０ｃ１を算出する第１のステップと、
被写体の当該領域の法線ベクトルｎＴと、第１の時刻から第０の時刻に被写体の相対的な回転運動Ｒｔ１−ｔ０及び並進運動（ｔ１−ｔ０）Ｔとを用いて、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第１のカメラが第０の時刻ｔ０に撮影した画像座標との間の第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１を算出する第２のステップと、
第１の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ１と第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１とを乗算し、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第３の平面射影変換行列を算出する第３のステップと、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第２のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２を算出する第４のステップと、
被写体の当該領域の法線ベクトルｎＴと、第０の時刻から第２の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ２及び並進運動（ｔ０−ｔ２）Ｔとを用いて、第２のカメラが第２の時刻ｔ２に撮影した画像座標と、第２のカメラが第０の時刻ｔ０に撮影した画像座標との間の第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２を算出する第５のステップと、
第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２と第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２とを乗算し、第０のカメラが第０の時刻ｔ０に撮影した画像座標と、第２のカメラが第２の時刻ｔ２に撮影した画像座標との間の第６の平面射影変換行列を算出する第６のステップと、
第３の平面射影変換行列を用いて第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像から、及び／又は、第６の平面射影変換行列とを用いて第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像から、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像の当該領域を生成する第７のステップと
を有することを特徴とする自由視点画像生成方法。
【請求項２】
前記回転運動Ｒは、第１のカメラが第１の時刻ｔ１に撮影した画像の第１の法線ベクトルｎｔ１と、第２のカメラが第２の時刻ｔ２に撮影した画像の第２の法線ベクトルｎｔ２とを用いて算出され、
前記並進ベクトルＴは、第０の時刻から第１の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ１と、第０の時刻から第２の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ２と、第２のカメラが第２の時刻に撮影した画像座標と、第１のカメラが第１の時刻に撮影した画像座標とを用いて算出される
ことを特徴とする請求項１に記載の自由視点画像生成方法。
【請求項３】
第７のステップについて、第１の参照画像から第３の平面射影変換行列を用いて生成した当該領域と、第２の参照画像から第６の平面射影変換行列を用いて生成した当該領域とを、時刻ｔ０と時刻ｔ１又は時刻ｔ２との差に応じた内挿補間によって、第０の画像の当該領域を生成することを特徴とする請求項１又は２に記載の自由視点画像生成方法。
【請求項４】
第０の画像における任意の領域を更に異なる領域を選択し、
第１の参照画像及び第２の参照画像から、前記領域に対応する参照領域を選択し、
第１のステップから第７のステップを繰り返すことによって、最終的に、任意の仮想視点となる第０のカメラの第０の画像の全ての部分を再現する
ことを特徴とする請求項１から３のいずれか１項に記載の自由視点画像生成方法。
【請求項５】
第１のステップについて、第０のカメラの前記Ａｃ０，Ｔｃ０及びＲｃ０と、第１のカメラの前記Ａｃ１，Ｔｃ１及びＲｃ１とを更に用いて、第１の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ１を算出し、
第２のステップについて、第１のカメラの前記Ａｃ１，Ｔｃ１及びＲｃ１を更に用いて、第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１を算出し、
第４のステップについて、第０のカメラの前記Ａｃ０，Ｔｃ０及びＲｃ０と、第２のカメラの前記Ａｃ２，Ｔｃ２及びＲｃ２とを更に用いて、第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２を算出し、
第５のステップについて、第２のカメラの前記Ａｃ２，Ｔｃ２及びＲｃ２を更に用いて、第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２を算出する
ことを特徴とする請求項１から４のいずれか１項に記載の自由視点画像生成方法。
【請求項６】
第０のカメラが第０の時刻ｔ０に撮影した画像と、第１のカメラが第１の時刻ｔ０に撮影した画像と、第２のカメラが第２の時刻ｔ０に撮影した画像との全てついて、所定領域にオクルージョン領域が存在する場合、当該オクルージョン領域に近傍の非オクルージョン領域について、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第０のカメラが第０の時刻ｔ０に撮影した画像座標と、第３のカメラが第０の時刻ｔ０に撮影した画像座標との間の第７の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ３を算出するステップと、
被写体の当該領域の法線ベクトルｎＴと、第３の時刻から第０の時刻に被写体の相対的な回転運動Ｒｔ３−ｔ０及び並進運動（ｔ３−ｔ０）Ｔとを用いて、第３のカメラが第０の時刻ｔ０に撮影した画像座標と、第３のカメラが第３の時刻ｔ３に撮影した画像座標との間の第８の平面射影変換行列Ｈｔ０ｃ３ｔ３ｃ３を算出するステップと、
第７の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ３と第８の平面射影変換行列Ｈｔ０ｃ３ｔ３ｃ３とを乗算し、第３のカメラが第３の時刻ｔ３に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第９の平面射影変換行列を算出するステップと、
第９の平面射影変換行列を用いて、前記オクルージョン領域を変換し、当該オクルージョン領域を再現するステップと
を更に有することを特徴とする請求項１から５のいずれか１項に記載の自由視点画像生成方法。
【請求項７】
第０のカメラｃ０が実在しており、第０のカメラｃ０で撮影された映像を、送信装置から受信装置へ符号化伝送する場合、
送信装置が、第７のステップによって予測された第０の画像の当該領域と、実際に撮影された画像の当該領域との間の差分のみを、受信装置へ送信し、
受信装置が、第７のステップによって予測された第０の画像の当該領域に、前記送信装置から受信した差分を展開して、第０の画像の当該領域を再現する
ことを特徴とする請求項１から６のいずれか１項に記載の自由視点画像生成方法。
【請求項８】
第１のカメラｃ１及び第２のカメラｃ２が、被写体に対して配置されており、第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像と、第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像とを用いて、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像を生成するようにコンピュータを実行させる自由視点画像生成プログラムであって、
カメラ毎に、内部パラメータ行列Ａと、主点の位置ベクトルＴと、向きの回転行列Ｒとが予め設定されており、
第０の画像における任意の領域について、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第１のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第１の平面射影変換(Homography)行列Ｈｔ０ｃ０ｔ０ｃ１を算出する第１のステップと、
被写体の当該領域の法線ベクトルｎＴと、第１の時刻から第０の時刻に被写体の相対的な回転運動Ｒｔ１−ｔ０及び並進運動（ｔ１−ｔ０）Ｔとを用いて、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第１のカメラが第０の時刻ｔ０に撮影した画像座標との間の第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１を算出する第２のステップと、
第１の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ１と第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１とを乗算し、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第３の平面射影変換行列を算出する第３のステップと、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第２のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２を算出する第４のステップと、
被写体の当該領域の法線ベクトルｎＴと、第０の時刻から第２の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ２及び並進運動（ｔ０−ｔ２）Ｔとを用いて、第２のカメラが第２の時刻ｔ２に撮影した画像座標と、第２のカメラが第０の時刻ｔ０に撮影した画像座標との間の第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２を算出する第５のステップと、
第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２と第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２とを乗算し、第０のカメラが第０の時刻ｔ０に撮影した画像座標と、第２のカメラが第２の時刻ｔ２に撮影した画像座標との間の第６の平面射影変換行列を算出する第６のステップと、
第３の平面射影変換行列を用いて第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像から、及び／又は、第６の平面射影変換行列とを用いて第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像から、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像の当該領域を生成する第７のステップと
をコンピュータに実行させることを特徴とする自由視点画像生成方法。
【請求項９】
第１のカメラｃ１及び第２のカメラｃ２が、被写体に対して配置されており、第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像と、第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像とを用いて、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像を生成する自由視点画像生成装置であって、
カメラ毎に、内部パラメータ行列Ａと、主点の位置ベクトルＴと、向きの回転行列Ｒとが予め設定されており、
第０の画像における任意の領域について、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第１のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第１の平面射影変換(Homography)行列Ｈｔ０ｃ０ｔ０ｃ１を算出する第１の変換行列算出手段と、
被写体の当該領域の法線ベクトルｎＴと、第１の時刻から第０の時刻に被写体の相対的な回転運動Ｒｔ１−ｔ０及び並進運動（ｔ１−ｔ０）Ｔとを用いて、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第１のカメラが第０の時刻ｔ０に撮影した画像座標との間の第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１を算出する第２の変換行列算出手段と、
第１の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ１と第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１とを乗算し、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第３の平面射影変換行列を算出する第３の変換行列算出手段と、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第２のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２を算出する第４の変換行列算出手段と、
被写体の当該領域の法線ベクトルｎＴと、第０の時刻から第２の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ２及び並進運動（ｔ０−ｔ２）Ｔとを用いて、第２のカメラが第２の時刻ｔ２に撮影した画像座標と、第２のカメラが第０の時刻ｔ０に撮影した画像座標との間の第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２を算出する第５の変換行列算出手段と、
第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２と第５の平面射影変換行列Ｈｔ０ｃ２ｔ１ｃ２とを乗算し、第０のカメラが第０の時刻ｔ０に撮影した画像座標と、第２のカメラが第２の時刻ｔ２に撮影した画像座標との間の第６の平面射影変換行列を算出する第６の変換行列算出手段と、
第３の平面射影変換行列を用いて第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像から、及び／又は、第６の平面射影変換行列とを用いて第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像から、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像の当該領域を生成する自由視点画像生成手段と
を有することを特徴とする自由視点画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像を用いた自由視点画像生成方法、装置及びプログラムに関する。
【背景技術】
【０００２】
従来、視聴者が視点位置又は視線方向を自由に選択できる「自由視点映像」という技術がある。自由視点映像は、被写体を、複数のカメラによって撮影した「多視点映像」によって生成される。カメラによって撮影されない視点からの画像は、視差ベクトルを用いた画像間の補間によって生成される。このために、多視点画像間の対応点探索問題を解く必要がある。勿論、カメラの間隔を密にするほど、高品質の自由視点映像が得られる。
【０００３】
多視点画像間の対応点探索問題を解く代表的な方法として、「ブロックマッチング」がある。「ブロックマッチング」を用いた視差ベクトルの検出は、以下のようにしてなされる。
【０００４】
第１のカメラ（第１の視点）によって撮影された第１の参照画像を、小さなブロック（矩形領域）に分割する。第１の参照画像の第１のブロックの各々を、第２のカメラ（他の視点）の第２の参照画像の中で平行移動させて、最も類似度が高い領域を探索する。具体的には、第１の参照画像の第１のブロックに対して、絶対値誤差又は２乗誤差が最小となる第２の参照画像の第２のブロックを探索する。そして、探索された第２のブロックと第１のブロックとの距離量を、視差ベクトルとして算出する。第１のカメラと第２のカメラとを直線で結ぶ線上に、任意の視点が選択された場合、任意の視点と第１及び第２のカメラとの距離の内分比に応じて、その視差ベクトルを調整する。調整された視差ベクトルに応じて、第１のカメラの第１の参照画像を補間することによって、その任意の視点の画像を生成することができる。
【０００５】
しかしながら、複数のカメラから見て、被写体の表面が、そのカメラの光軸に垂直となる場合にしか、完全なブロックマッチングをさせることができない。複数のカメラの光軸に対して、被写体の表面が傾いている場合には、その被写体の面も異なって見える。即ち、第１の参照画像の第１のブロックを、第２の参照画像の中で平行移動させても、第１のブロックと完全にマッチングした第２のブロックを探索することはできない。第１の参照画像の中の被写体の形状は、第２の参照画像の中の被写体の形状と異なって射影されたものとなるからである。
【０００６】
これに対し、複数のカメラの光軸に対して、被写体の表面が傾いている場合であっても、ブロックマッチングによって視差ベクトルを検出し、その視差ベクトルを用いて任意の視点の画像を生成することができる技術がある（例えば本願と同一出願人に基づく特許文献１及び２参照）。具体的には、少なくとも２つのカメラの光軸が、それらカメラを結ぶ同一平面に対して垂直となるように、第１の参照画像に同一の回転変換を加える。即ち、第１の参照画像の第１のブロックを、任意点の奥行き距離Ｚと、任意点における単位法線ベクトルの向きｎとに基づいて移動及び変形をさせながら、最も類似する第２の参照画像の第２のブロックを探索する。第１の参照画像の第１のブロックを、奥行き距離に基づく視差ベクトルで対応させ、奥行き距離及び単位法線ベクトルに基づく一次変換行列で変形させる。任意の視点の位置に応じて、視差ベクトル及び一次変換行列を調整することによって、第１の参照画像の第１のブロックから、現実に近い任意の視点の画像を生成することができる。そして、２つのカメラを結ぶ直線上の任意の視点の内分比に応じて、任意の視点からの画像の対応する領域を生成する。
【０００７】
【特許文献１】特開２００７−３３４５８３号公報
【特許文献２】特開２００８−０２１２１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載された技術によれば、同一時刻における異なるカメラによって撮影された多視点映像・多視点奥行き情報・法線情報を参照して、自由視点映像を生成している。従って、時間方向には、同一時刻の画像のみを用いて独立に同じ処理を実行することとなる。確かに、静止物体又は静止背景のみを含む領域であれば、法線情報も不変であるために、問題は生じない。
【０００９】
しかしながら、被写体自体が、時間経過と共に位置及び向きを変えることも一般的なことである。このとき、被写体同士又は被写体と背景との間で、オクルージョンを生じる場合がある。「オクルージョン」とは、手前の物体に遮られて、奥の物体が見えなくなっている状態をいう。例えば、建物の外壁が、歩道の街路樹によって見えないような場合がある。このような場合、フレーム毎の奥行き情報の変動によって、生成された自由視点映像に、ちらつきが生じる可能性がある。また、全てのカメラについて、オクルージョンとなる領域については、一般に補完することができない。
【００１０】
例えば、その時刻ｔに、全てのカメラの画像について手前の物体に隠蔽されている領域（オクルージョン領域）のテクスチャは、従来技術における自由視点映像では、再現することができなかった。
【００１１】
そこで、本発明は、一部又は全ての多視点画像についてオクルージョン領域となっている場合であっても、そのオクルージョン領域のテクスチャを再現することができる自由視点画像生成方法、装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明によれば、第１のカメラｃ１及び第２のカメラｃ２が、被写体に対して配置されており、第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像と、第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像とを用いて、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像を生成する装置における自由視点画像生成方法であって、
カメラ毎に、内部パラメータ行列Ａと、主点の位置ベクトルＴと、向きの回転行列Ｒとが予め設定されており、
第０の画像における任意の領域について、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第１のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第１の平面射影変換(Homography)行列Ｈｔ０ｃ０ｔ０ｃ１を算出する第１のステップと、
被写体の当該領域の法線ベクトルｎＴと、第１の時刻から第０の時刻に被写体の相対的な回転運動Ｒｔ１−ｔ０及び並進運動（ｔ１−ｔ０）Ｔとを用いて、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第１のカメラが第０の時刻ｔ０に撮影した画像座標との間の第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１を算出する第２のステップと、
第１の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ１と第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１とを乗算し、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第３の平面射影変換行列を算出する第３のステップと、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第２のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２を算出する第４のステップと、
被写体の当該領域の法線ベクトルｎＴと、第０の時刻から第２の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ２及び並進運動（ｔ０−ｔ２）Ｔとを用いて、第２のカメラが第２の時刻ｔ２に撮影した画像座標と、第２のカメラが第０の時刻ｔ０に撮影した画像座標との間の第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２を算出する第５のステップと、
第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２と第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２とを乗算し、第０のカメラが第０の時刻ｔ０に撮影した画像座標と、第２のカメラが第２の時刻ｔ２に撮影した画像座標との間の第６の平面射影変換行列を算出する第６のステップと、
第３の平面射影変換行列を用いて第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像から、及び／又は、第６の平面射影変換行列とを用いて第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像から、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像の当該領域を生成する第７のステップと
を有することを特徴とする。
【００１３】
本発明の自由視点画像生成方法における他の実施形態によれば、
回転運動Ｒは、第１のカメラが第１の時刻ｔ１に撮影した画像の第１の法線ベクトルｎｔ１と、第２のカメラが第２の時刻ｔ２に撮影した画像の第２の法線ベクトルｎｔ２とを用いて算出され、
並進ベクトルＴは、第０の時刻から第１の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ１と、第０の時刻から第２の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ２と、第２のカメラが第２の時刻に撮影した画像座標と、第１のカメラが第１の時刻に撮影した画像座標とを用いて算出されることも好ましい。
【００１４】
本発明の自由視点画像生成方法における他の実施形態によれば、
第７のステップについて、第１の参照画像から第３の平面射影変換行列を用いて生成した当該領域と、第２の参照画像から第６の平面射影変換行列を用いて生成した当該領域とを、時刻ｔ０と時刻ｔ１又は時刻ｔ２との差に応じた内挿補間によって、第０の画像の当該領域を生成することも好ましい。
【００１５】
本発明の自由視点画像生成方法における他の実施形態によれば、
第０の画像における任意の領域を更に異なる領域を選択し、
第１の参照画像及び第２の参照画像から、領域に対応する参照領域を選択し、
第１のステップから第７のステップを繰り返すことによって、最終的に、任意の仮想視点となる第０のカメラの第０の画像の全ての部分を再現することも好ましい。
【００１６】
本発明の自由視点画像生成方法における他の実施形態によれば、
第１のステップについて、第０のカメラのＡｃ０，Ｔｃ０及びＲｃ０と、第１のカメラのＡｃ１，Ｔｃ１及びＲｃ１とを更に用いて、第１の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ１を算出し、
第２のステップについて、第１のカメラのＡｃ１，Ｔｃ１及びＲｃ１を更に用いて、第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１を算出し、
第４のステップについて、第０のカメラのＡｃ０，Ｔｃ０及びＲｃ０と、第２のカメラのＡｃ２，Ｔｃ２及びＲｃ２とを更に用いて、第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２を算出し、
第５のステップについて、第２のカメラのＡｃ２，Ｔｃ２及びＲｃ２を更に用いて、第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２を算出することも好ましい。
【００１７】
本発明の自由視点画像生成方法における他の実施形態によれば、
第０のカメラが第０の時刻ｔ０に撮影した画像と、第１のカメラが第１の時刻ｔ０に撮影した画像と、第２のカメラが第２の時刻ｔ０に撮影した画像との全てついて、所定領域にオクルージョン領域が存在する場合、当該オクルージョン領域に近傍の非オクルージョン領域について、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第０のカメラが第０の時刻ｔ０に撮影した画像座標と、第３のカメラが第０の時刻ｔ０に撮影した画像座標との間の第７の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ３を算出するステップと、
被写体の当該領域の法線ベクトルｎＴと、第３の時刻から第０の時刻に被写体の相対的な回転運動Ｒｔ３−ｔ０及び並進運動（ｔ３−ｔ０）Ｔとを用いて、第３のカメラが第０の時刻ｔ０に撮影した画像座標と、第３のカメラが第３の時刻ｔ３に撮影した画像座標との間の第８の平面射影変換行列Ｈｔ０ｃ３ｔ３ｃ３を算出するステップと、
第７の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ３と第８の平面射影変換行列Ｈｔ０ｃ３ｔ３ｃ３とを乗算し、第３のカメラが第３の時刻ｔ３に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第９の平面射影変換行列を算出するステップと、
第９の平面射影変換行列を用いて、オクルージョン領域を変換し、当該オクルージョン領域を再現するステップと
を更に有することも好ましい。
【００１８】
本発明の自由視点画像生成方法における他の実施形態によれば、
第０のカメラｃ０が実在しており、第０のカメラｃ０で撮影された映像を、送信装置から受信装置へ符号化伝送する場合、
送信装置が、第７のステップによって予測された第０の画像の当該領域と、実際に撮影された画像の当該領域との間の差分のみを、受信装置へ送信し、
受信装置が、第７のステップによって予測された第０の画像の当該領域に、送信装置から受信した差分を展開して、第０の画像の当該領域を再現する
ことも好ましい。
【００１９】
本発明によれば、第１のカメラｃ１及び第２のカメラｃ２が、被写体に対して配置されており、第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像と、第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像とを用いて、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像を生成するようにコンピュータを実行させる自由視点画像生成プログラムであって、
カメラ毎に、内部パラメータ行列Ａと、主点の位置ベクトルＴと、向きの回転行列Ｒとが予め設定されており、
第０の画像における任意の領域について、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第１のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第１の平面射影変換(Homography)行列Ｈｔ０ｃ０ｔ０ｃ１を算出する第１のステップと、
被写体の当該領域の法線ベクトルｎＴと、第１の時刻から第０の時刻に被写体の相対的な回転運動Ｒｔ１−ｔ０及び並進運動（ｔ１−ｔ０）Ｔとを用いて、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第１のカメラが第０の時刻ｔ０に撮影した画像座標との間の第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１を算出する第２のステップと、
第１の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ１と第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１とを乗算し、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第３の平面射影変換行列を算出する第３のステップと、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第２のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２を算出する第４のステップと、
被写体の当該領域の法線ベクトルｎＴと、第０の時刻から第２の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ２及び並進運動（ｔ０−ｔ２）Ｔとを用いて、第２のカメラが第２の時刻ｔ２に撮影した画像座標と、第２のカメラが第０の時刻ｔ０に撮影した画像座標との間の第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２を算出する第５のステップと、
第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２と第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２とを乗算し、第０のカメラが第０の時刻ｔ０に撮影した画像座標と、第２のカメラが第２の時刻ｔ２に撮影した画像座標との間の第６の平面射影変換行列を算出する第６のステップと、
第３の平面射影変換行列を用いて第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像から、及び／又は、第６の平面射影変換行列とを用いて第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像から、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像の当該領域を生成する第７のステップと
をコンピュータに実行させることを特徴とする。
【００２０】
本発明によれば、第１のカメラｃ１及び第２のカメラｃ２が、被写体に対して配置されており、第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像と、第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像とを用いて、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像を生成する自由視点画像生成装置であって、
カメラ毎に、内部パラメータ行列Ａと、主点の位置ベクトルＴと、向きの回転行列Ｒとが予め設定されており、
第０の画像における任意の領域について、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第１のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第１の平面射影変換(Homography)行列Ｈｔ０ｃ０ｔ０ｃ１を算出する第１の変換行列算出手段と、
被写体の当該領域の法線ベクトルｎＴと、第１の時刻から第０の時刻に被写体の相対的な回転運動Ｒｔ１−ｔ０及び並進運動（ｔ１−ｔ０）Ｔとを用いて、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第１のカメラが第０の時刻ｔ０に撮影した画像座標との間の第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１を算出する第２の変換行列算出手段と、
第１の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ１と第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１とを乗算し、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第３の平面射影変換行列を算出する第３の変換行列算出手段と、
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第２のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２を算出する第４の変換行列算出手段と、
被写体の当該領域の法線ベクトルｎＴと、第０の時刻から第２の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ２及び並進運動（ｔ０−ｔ２）Ｔとを用いて、第２のカメラが第２の時刻ｔ２に撮影した画像座標と、第２のカメラが第０の時刻ｔ０に撮影した画像座標との間の第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２を算出する第５の変換行列算出手段と、
第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２と第５の平面射影変換行列Ｈｔ０ｃ２ｔ１ｃ２とを乗算し、第０のカメラが第０の時刻ｔ０に撮影した画像座標と、第２のカメラが第２の時刻ｔ２に撮影した画像座標との間の第６の平面射影変換行列を算出する第６の変換行列算出手段と、
第３の平面射影変換行列を用いて第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像から、及び／又は、第６の平面射影変換行列とを用いて第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像から、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像の当該領域を生成する自由視点画像生成手段と
を有することを特徴とする。
【発明の効果】
【００２１】
本発明の自由視点画像生成方法、装置及びプログラムによれば、異なる時刻における多視点画像を用いることによって、ある時刻における一部又は全ての多視点画像についてオクルージョン領域となっている場合であっても、そのオクルージョン領域のテクスチャを再現することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明におけるシステム構成図である。
【図２】図１の構成について、複数のカメラを正面から見た配置図である。
【図３】被写体の表面を横方向斜めに傾けた場合に、各カメラから撮影した画像である。
【図４】被写体の表面を上下方向斜めに傾けた場合に、各カメラから撮影した画像である。
【図５】被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。
【図６】２つのカメラの位置関係に対する法線ベクトルｎ及び距離Ｄを表す説明図である。
【図７】本発明における自由視点画像生成装置のフローチャートである。
【図８】本発明における自由視点画像生成装置の機能構成図である。
【図９】本発明における実施例２に基づくフローチャートである。
【発明を実施するための形態】
【００２３】
以下では、図面を用いて、本発明を実施するための形態について詳細に説明する。
【００２４】
図１は、本発明におけるシステム構成図である。
【００２５】
図１によれば、異なる位置に配置された３台のカメラｃ１〜ｃ３が、台形状立体の被写体３を撮影している。また、被写体３は、時間経過に応じて並進移動している。各カメラによって撮影された画像は、見る角度によって異なると共に、時間経過に応じても変化することとなる。少なくとも２つのカメラによって撮影された多視点画像は、自由視点画像生成装置１へ送信される。
【００２６】
また、カメラ毎に、内部パラメータ行列Ａと、主点の位置ベクトルＴと、向きの回転行列Ｒとが予め設定されている。移動可能な各カメラは、これら情報も、自由視点画像生成装置１へ送信する。勿論、自由視点画像生成装置１が、これら情報を予め記憶しているものであってもよい。
【００２７】
図２は、図１の構成について、複数のカメラを正面から見た配置図である。
【００２８】
時刻ｔ０では、被写体３は、カメラｃ１の正面に位置する。このとき、カメラｃ２から見ると、被写体の左側が拡大し、右側が縮小して見える。また、被写体の上側が縮小し、下側が拡大して見える。
【００２９】
次に、時間経過によって時刻ｔ１では、被写体３が、並進移動によって、下方向へ移動したとする。カメラｃ１から見ると、時刻ｔ０で撮影した画像と比較して、被写体の上側が拡大し、下側が縮小して見える。一方で、カメラｃ２から見ると、時刻ｔ０で撮影した画像と比較して、被写体の上側及び下側が均等に見える。
【００３０】
このような場合、本発明によれば、任意に設定可能な仮想視点となるカメラｃ０の映像を生成することができる。カメラｃ０は、任意に設定することができる。自由視点画像生成装置１は、第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像と、第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像とを用いて、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像（自由視点映像）を生成することができる。
【００３１】
図３〜図５には、被写体の表面の傾きによって、各カメラによって撮影される画像を表している。
【００３２】
図３は、被写体の表面が横方向斜めにある場合に、各カメラから撮影した画像である。
【００３３】
被写体は、左側が奥に、右側が手前にある。このとき、カメラｃ１の画像よりも、その左側のカメラｃ２の画像の方が、平面が広がって見える。そして、仮想視点となるカメラｃ０の画像は、カメラｃ１の画像及びカメラｃ２の画像との間の内挿補間によって生成できる。
【００３４】
図４は、被写体の表面が上下方向斜めにある場合に、各カメラから撮影した画像である。
【００３５】
被写体は、上側が奥に、下側が手前にある。このとき、カメラｃ１の画像よりも、その下側のカメラｃ２の画像の方が、平面が縮小して見える。そして、仮想視点となるカメラｃ０の画像は、カメラｃ１の画像及びカメラｃ２の画像との間の内挿補間によって生成できる。
【００３６】
図５は、被写体の表面を横方向斜めに傾けて、且つ、上下方向斜めに傾けた場合に、各カメラから撮影した画像である。即ち、図３の傾きと図４の傾きとを合わせたものである。
【００３７】
図３〜図５に表されたように、このような見え方の差異は、複数のカメラの光軸に対して、被写体の台形状立体の側面が傾いているために生じる。
【００３８】
図６は、２つのカメラの位置関係に対する法線ベクトルｎ及び距離Ｄを表す説明図である。
【００３９】
図６によれば、一般に、被写体は平面ではないため、ブロックの変形も非線形になる。しかしながら、充分に小さなブロックに着目すると、ブロック内の被写体の面は平面に近似できる。本発明は、カメラ毎に、その近似平面から被写体の任意点までの奥行き距離Ｄと、その近似平面の向き（単位法線ベクトル）ｎとをパラメータとして用いる。これらは、被写体の回転及び並進移動によって異なっていく。
【００４０】
図７は、本発明における自由視点画像生成装置のフローチャートである。
図８は、本発明における自由視点画像生成装置の機能構成図である。
【００４１】
図８によれば、自由視点画像生成装置１は、カメラ映像取得部１０と、第１の変換行列算出部１１と、第２の変換行列算出部１２と、第３の変換行列算出部１３と、第４の変換行列算出部１４と、第５の変換行列算出部１５と、第６の変換行列算出部１６と、自由視点画像生成部１７とを有する。これら機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現できる。尚、以下では、図７のフローチャートに沿って、図８の機能構成部を参照しつつ説明する。
【００４２】
［ステップＳ７０、カメラ映像取得部１０］
自由視点画像生成装置１は、全てのカメラから、時間経過に応じて撮影された画像を受信する。その際に、各カメラから、内部パラメータ行列Ａｃ、位置ベクトルＴｃ及び回転行列Ｒｃのパラメータも受信する。各カメラが移動可能なものであっても、カメラ自体が、例えばＧＰＳ等の測位機能を備えている場合、その位置情報も受信することができる。尚、カメラが固定されたものであれば、自由視点画像生成装置１は、これらパラメータは予め登録しているものであってもよい。
【００４３】
［カメラｃの内部パラメータ行列Ａｃ］
カメラｃの内部パラメータは、以下の内部パラメータ行列Ａｃで表される。この値は、既知であるとする。
【数１】
2013196160.tif 000003
ｆｋｃｕ  ：  水平方向の焦点距離（画素に換算した値）
ｆｋｃｖ  ：  垂直方向の焦点距離（画素に換算した値）
（ｕｃ０，ｖｃ０）Ｔ  ：  光軸点の座標
θｃ  ：  スキュー歪みの角度
【００４４】
［カメラｃの位置ベクトルＴｃ］
カメラｃの主点の位置は、以下の位置ベクトルＴｃで表される。この値は、既知であるとする。
Ｔｃ＝（Ｘｃ，Ｙｃ，Ｚｃ）Ｔ
【００４５】
［カメラｃの回転行列Ｒｃ］
カメラｃの向きは、以下の回転行列Ｒｃで表される。この値は、既知であるとする。
【数２】
2013196160.tif 000004
【００４６】
時刻ｔのフレームについて、以下の式（０１）の射影変換が成立する。
実空間中の点                      ：Ｍｔ＝（Ｘｔ，Ｙｔ，Ｚｔ）Ｔ
実空間中の点が画像上に射影された点：ｍｔｃ＝（ｕｔｃ，ｖｔｃ）Ｔ
奥行き値                          ：ｄｔｃ
ｍｔｃの斉次座標                  ：ｍｔｃ〜＝（ｕｔｃ，ｖｔｃ，１）Ｔ
【数３】
2013196160.tif 000005
【００４７】
＜実施例１＞
時刻ｔ０のフレームのカメラｃ０の画像のオクルージョン領域の画素値を、異なる時刻ｔ１及びｔ２の２フレームの画像の参照領域を参照して再現することを目的とする。
【００４８】
（時刻ｔ０のフレームのカメラｃ０の画像のオクルージョン領域）
代表点のディジタル画像座標：ｍｔ０ｃ０＝（ｕｔ０ｃ０，ｖｔ０ｃ０）Ｔ 
奥行き値（距離）          ：ｄｔ０ｃ０
法線ベクトル              ：ｎｔ０＝（ｎｔ０ｘ，ｎｔ０ｙ，ｎｔ０ｚ）Ｔ
（時刻ｔ１のフレームのカメラｃ１の画像中の参照領域：既知）
代表点のディジタル画像座標：ｍｔ１ｃ１＝（ｕｔ１ｃ１，ｖｔ１ｃ１）Ｔ
奥行き値                  ：ｄｔ１ｃ１
法線ベクトル              ：ｎｔ１＝（ｎｔ１ｘ，ｎｔ１ｙ，ｎｔ１ｚ）Ｔ
（時刻ｔ２のフレームのカメラｃ２の画像中の参照領域：既知）
代表点のディジタル画像座標：ｍｔ２ｃ２＝（ｕｔ２ｃ２，ｖｔ２ｃ２）Ｔ
奥行き値                  ：ｄｔ２ｃ２
法線ベクトル              ：ｎｔ２＝（ｎｔ２ｘ，ｎｔ２ｙ，ｎｔ２ｚ）Ｔ
即ち、既知のパラメータｍｔ１ｃ１・ｄｔ１ｃ１・ｎｔ１・ｍｔ２ｃ２・ｄｔ２ｃ２・ｎｔ２から、未知のパラメータｍｔ０ｃ０・ｄｔ０ｃ０・ｎｔ０を算出できれば、公知の技術を用いて目的の領域の画素値を求めることができる。
【００４９】
以下のように、式（０１）によって、式（０２）・式（０３）・式（０４）が成立する。
時刻ｔ０の点ｍｔ０ｃ０に対応する実空間中の点の位置
：Ｍｔ０＝（Ｘｔ０，Ｙｔ０，Ｚｔ０）Ｔ
時刻ｔ１の点ｍｔ１ｃ１に対応する実空間中の点の位置
：Ｍｔ１＝（Ｘｔ１，Ｙｔ１，Ｚｔ１）Ｔ
時刻ｔ２の点ｍｔ２ｃ２に対応する実空間中の点の位置
：Ｍｔ２＝（Ｘｔ２，Ｙｔ２，Ｚｔ２）Ｔ
【数４】
2013196160.tif 000006
【００５０】
次に、式（０３）及び式（０４）を変形した式（０５）及び式（０６）によって、Ｍｔ１及びＭｔ２が得られる。
【数５】
2013196160.tif 000007
【００５１】
ここで、被写体は、時刻ｔ０・時刻ｔ１・時刻ｔ２の間で、等速直線運動と等角速度回転運動のみを行ったと仮定すると、実空間中の位置及び法線ベクトルの間に、以下のように、式（０７）・式（０８）及び式（０９）・式（１０）の関係が成立する。
１フレーム当たりの回転行列    ：Ｒ
１フレーム当たりの並進ベクトル：Ｔ
【数６】
2013196160.tif 000008
【００５２】
まず、式（０７）及び式（０８）からｎｔ０を求める。しかし、これら２つの式からは、Ｒが一意に決まらないため、ｎｔ０も一意に決まらない。そこで、ｎｔ０、ｎｔ１、ｎｔ２の間は最小の回転を行ったと仮定し、以下のように、式（１１）の球面線形補間を行ってもよい。
【数７】
2013196160.tif 000009
【００５３】
ここで、ωは、１フレームあたりの回転角度であり、以下のように式（１２）で求められる。
【数８】
2013196160.tif 000010
【００５４】
Ｒは、以下のように式（１３）で与えられる。
【数９】
2013196160.tif 000011
このように、回転運動Ｒは、第１のカメラが第１の時刻ｔ１に撮影した画像の第１の法線ベクトルｎｔ１と、第２のカメラが第２の時刻ｔ２に撮影した画像の第２の法線ベクトルｎｔ２とを用いて算出される。
【００５５】
ここで、［ｒ］×は、ｒの外積行列であり、ｒ＝（ｒｘ，ｒｙ，ｒｚ）Ｔは、以下のように式（１４）で与えられる。
【数１０】
2013196160.tif 000012
【００５６】
式（０９）及び式（１０）を連立してＴを消去すると、以下のように式（１５）が得られ、Ｍｔ０が求まる。
【数１１】
2013196160.tif 000013
【００５７】
ここで、Ｍｔ１及びＭｔ２は、式（０５）及び式（０６）から得られる。式（１５）を式（０２）に代入すれば、ｍｔ０ｃ０及びｄｔ０ｃ０が得られる。
【００５８】
式（０９）及び式（１０）を連立してＭｔ０を消去すると、以下のように式（１６）が得られ、Ｔが求まる。
【数１２】
2013196160.tif 000014
【００５９】
ここで、Ｍｔ１及びＭｔ２は式（０５）及び式（０６）から得られる。
【００６０】
得られたＭｔ０及びｎｔ０とＴ及びＲに基づき平面射影変換を行う。
【００６１】
式（１６）で表わされる平面に着目する。
ｎ：平面の法線ベクトル
Ｄ：平面と原点との距離
ｎＴＭ＝Ｄ                                                        （１７）
【００６２】
一般に、カメラ１（内部パラメータ行列Ａ１、位置ベクトルＴ１、回転行列Ｒ１）と、カメラ２（内部パラメータ行列Ａ２、位置ベクトルＴ２、回転行列Ｒ２）とで、この平面上の点を撮影すると、カメラ１で撮影されたディジタル画像座標ｍ１と、カメラ２で撮影されたディジタル画像座標ｍ２とには、以下のような式（１８）で表わされる平面射影変換が成立する。
λｍ２〜＝Ｈｍ１〜
Ｈ＝Ａ２Ｒ２[Ｉ＋{(Ｔ１−Ｔ２)ｎＴ}／(Ｄ−ｎＴＴ１)]Ｒ１ＴＡ１−１（１８）
【００６３】
ここで、Ｄは、式（１１）で求められたｎｔ０が式（１７）の平面の法線ベクトルであることと、式（１５）で求められたＭｔ０が式（１７）の平面上に存在する条件を用いて、以下のような式（１９）で得られる。
Ｄ＝ｎｔ０ＴＭｔ０                                                （１９）
【００６４】
［第１のステップＳ７１、第１の平面射影変換行列算出部８１］
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第１のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第１の平面射影変換(Homography)行列Ｈｔ０ｃ０ｔ０ｃ１を、以下の式（２０）で算出する。
λｔ０ｃ１ｍｔ０ｃ１〜＝Ｈｔ０ｃ０ｔ０ｃ１ｍｔ０ｃ０〜            （２０）
Ｈｔ０ｃ０ｔ０ｃ１
＝Ａｃ１Ｒｃ１[Ｉ＋{(Ｔｃ０−Ｔｃ１)ｎｔ０Ｔ}／(Ｄ−ｎｔ０ＴＴｃ０)]
Ｒｃ０ＴＡｃ０−１
即ち、第０のカメラのＡｃ０，Ｔｃ０及びＲｃ０と、第１のカメラのＡｃ１，Ｔｃ１及びＲｃ１とを更に用いて、第１の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ１を算出する。
【００６５】
［第２のステップＳ７１、第２の平面射影変換行列算出部８２］
また、被写体の当該領域の法線ベクトルｎＴと、第１の時刻から第０の時刻に被写体の相対的な回転運動Ｒｔ１−ｔ０及び並進運動（ｔ１−ｔ０）Ｔとを用いて、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第１のカメラが第０の時刻ｔ０に撮影した画像座標との間の第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１を、以下の式（２１）で算出する。これは、カメラｃ１が、式（１６）の平面に対して相対的にＲｔ１−ｔ０の回転運動をし、（ｔ１−ｔ０）Ｔの並進運動をしたとみなせるためである。
λｔ１ｃ１ｍｔ１ｃ１〜＝Ｈｔ０ｃ１ｔ１ｃ１ｍｔ０ｃ１〜            （２１）
Ｈｔ０ｃ１ｔ１ｃ１
＝Ａｃ１Ｒｃ１Ｒｔ１−ｔ０[Ｉ＋{{Ｔｃ１−Ｒｔ０−ｔ１Ｔｃ１−
(ｔ０−ｔ１)Ｔ}ｎｔ０Ｔ}／(Ｄ−ｎｔ０ＴＴｃ１)］Ｒｃ１ＴＡｃ１−１
即ち、第１のカメラのＡｃ１，Ｔｃ１及びＲｃ１を更に用いて、第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１を算出する。
【００６６】
［第３のステップＳ７３、第３の平面射影変換行列算出部８３］
式（２０）及び式（２１）によって、第１の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ１と第２の平面射影変換行列Ｈｔ０ｃ１ｔ１ｃ１とを乗算し、第１のカメラが第１の時刻ｔ１に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第３の平面射影変換行列を、以下の式（２２）で算出する。
λ１ｍｔ１ｃ１〜＝Ｈｔ０ｃ１ｔ１ｃ１Ｈｔ０ｃ０ｔ０ｃ１ｍｔ０ｃ０〜（２２）
ここで、λｔ０ｃ１・λｔ１ｃ１・λ１は定数倍の不定性を表すスカラーである。
【００６７】
［第４のステップＳ７４、第４の平面射影変換行列算出部８４］
被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第２のカメラが第０の時刻ｔ０に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２を、以下の式（２３）で算出する。
λｔ０ｃ２ｍｔ０ｃ２〜＝Ｈｔ０ｃ０ｔ０ｃ２ｍｔ０ｃ０〜            （２３）
Ｈｔ０ｃ０ｔ０ｃ２
＝Ａｃ２Ｒｃ２[Ｉ＋{(Ｔｃ０−Ｔｃ２)ｎｔ０Ｔ}／(Ｄ−ｎｔ０ＴＴｃ０)]
Ｒｃ０ＴＡｃ０−１
即ち、第０のカメラのＡｃ０，Ｔｃ０及びＲｃ０と、第２のカメラのＡｃ２，Ｔｃ２及びＲｃ２とを更に用いて、第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２を算出する。
【００６８】
［第５のステップＳ７５、第５の平面射影変換行列算出部８５］
また、被写体の当該領域の法線ベクトルｎＴと、第０の時刻から第２の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ２及び並進運動（ｔ０−ｔ２）Ｔとを用いて、第２のカメラが第２の時刻ｔ２に撮影した画像座標と、第２のカメラが第０の時刻ｔ０に撮影した画像座標との間の第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２を、以下の式（２４）で算出する。
λｔ２ｃ２ｍｔ２ｃ２〜＝Ｈｔ０ｃ２ｔ２ｃ２ｍｔ０ｃ２〜            （２４）
Ｈｔ０ｃ２ｔ２ｃ２
＝Ａｃ２Ｒｃ２Ｒｔ２−ｔ０[Ｉ＋{Ｔｃ２−Ｒｔ０−ｔ２Ｔｃ２−
(ｔ０−ｔ２)Ｔ}ｎｔ０Ｔ}／(Ｄ−ｎｔ０ＴＴｃ２)]Ｒｃ２ＴＡｃ２−１
即ち、第２のカメラのＡｃ２，Ｔｃ２及びＲｃ２を更に用いて、第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２を算出する。
【００６９】
［第６のステップＳ７６、第６の平面射影変換行列算出部８６］
式（２３）及び式（２４）によって、第４の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ２と第５の平面射影変換行列Ｈｔ０ｃ２ｔ２ｃ２とを乗算し、第０のカメラが第０の時刻ｔ０に撮影した画像座標と、第２のカメラが第２の時刻ｔ２に撮影した画像座標との間の第６の平面射影変換行列を、以下の式（２５）で算出する
λ２ｍｔ２ｃ２〜＝Ｈｔ０ｃ２ｔ２ｃ２Ｈｔ０ｃ０ｔ０ｃ２ｍｔ０ｃ０〜（２５）
ここで、λｔ０ｃ２・λｔ２ｃ２・λ２は定数倍の不定性を表すスカラーである。
【００７０】
［第７のステップＳ７７、自由視点画像生成部８７］
第３の平面射影変換行列を用いて第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像から、及び／又は、第６の平面射影変換行列とを用いて第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像から、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像の当該領域を生成する。
【００７１】
自由視点映像を生成する際には、式（２２）で求めたディジタル画像座標ｍｔ１ｃ１の点の画素値と、式（２５）で求めたディジタル画像座標ｍｔ２ｃ２の点の画素値とを内挿補間することによって、ディジタル画像座標ｍｔ０ｃ０の点の画素値を求める。内挿補間の方法としては、例えば、（ｔ０−ｔ１）と（ｔ２−ｔ０）との比に基づき線形補間をしてもよい。即ち、第１の参照画像から第３の平面射影変換行列を用いて生成した当該領域と、第２の参照画像から第６の平面射影変換行列を用いて生成した当該領域とを、時刻ｔ０と時刻ｔ１又は時刻ｔ２との差に応じた内挿補間によって、第０の画像の当該領域を生成する。
【００７２】
前述したＳ７１〜Ｓ７７の処理を終了した後、第０の画像における任意の領域について、次に異なる領域を選択する。そして、再度、Ｓ７１〜Ｓ７７の処理を繰り返す。これによって、最終的に、任意の仮想視点となる第０のカメラの第０の画像の全ての部分を再現することができる。
【００７３】
［符号化伝送方法］
符号化する際には、一方の参照領域から他方の参照領域を予測し、予測した画素値との差分のみを符号化することによって、圧縮効率を高める。例えば、時刻ｔ１のフレームのカメラｃ１の画像の参照領域を用いて、時刻ｔ２のフレームのカメラｃ２の画像の参照領域を予測することができる。式（２２）及び式（２５）によって、両参照領域の間には、式（２６）の平面射影変換が成立する。
λｍｔ２ｃ２〜＝Ｈｔ０ｃ２ｔ２ｃ２Ｈｔ０ｃ０ｔ０ｃ２Ｈｔ０ｃ０ｔ０ｃ１−１
Ｈｔ０ｃ１ｔ１ｃ１−１ｍｔ１ｃ１〜          （２６）
ここで、λは定数倍の不定性を表すスカラーである。
【００７４】
式（２０）・式（２１）・式（２３）・式（２４）における平面射影変換行列の算出式を見ると、カメラの内部パラメータ行列や回転行列は予め与えられている。そのために、Ｄ・ｎｔ０・Ｒ・Ｔの４つのパラメータのみ算出できれば、式（２６）の平面射影変換行列は求まることになる。また、Ｄは式（１９）を、ｎｔ０は式（１１）を、Ｒは式（１３）を、Ｔは式（１６）を用いて算出できるので、式（２６）の平面射影変換行列が得られ、予測が可能となる。
【００７５】
式（２６）によって、時刻ｔ１のフレームのカメラｃ１の画像のディジタル画像座標ｍｔ１ｃ１の点の画素値を用いて、時刻ｔ２のフレームのカメラｃ２の画像のディジタル画像座標ｍｔ２ｃ２の点の画素値を予測することができる。
【００７６】
Ｔ＝０及びＲ＝０の場合（被写体が動かない場合）は、特許文献２に記載の技術に帰着する。更に、Ｒｃ０＝Ｒｃ１＝Ｒｃ２＝Ｉの場合（光軸が平行の場合）は、特許文献１に記載の技術に帰着する。
【００７７】
具体的には、第０のカメラｃ０が実在しており、第０のカメラｃ０で撮影された映像を、送信装置から受信装置へ符号化伝送する場合を想定する。
送信装置は、Ｓ７７（自由視点画像生成部８７）によって予測された第０の画像の当該領域と、実際に撮影された画像の当該領域との間の差分のみを、受信装置へ送信する。
これに対し、受信装置は、Ｓ７７（自由視点画像生成部８７）によって予測された第０の画像の当該領域に、送信装置から受信した差分を展開して、第０の画像の当該領域を再現する。
【００７８】
以下では、前述した式に、具体的に数値を入れて説明する。
ｆｋｃｕ＝８１０．８
ｆｋｃｖ＝８１０．８
ｕｃ０  ＝３１９．５
ｖｃ０  ＝２３９．５
θ    ＝π／２
【００７９】
カメラ０・カメラ１・カメラ２の主点の位置ベクトルＴｃ０・Ｔｃ１・Ｔｃ２は、以下の値とする。
Ｔｃ０＝（  ０．０００，  ０．０００，  ０．０００）Ｔ
Ｔｃ１＝（  １．７２７，  ０．０００，  ０．０００）Ｔ
Ｔｃ２＝（−１．７２７，  ０．０００，  ０．０００）Ｔ
【００８０】
カメラ０・カメラ１・カメラ２の向きを表わす回転行列Ｒｃ０・Ｒｃ１・Ｒｃ２は、以下の値とする。
【数１３】
2013196160.tif 000015
【００８１】
その他の既知のパラメータを、以下のようにする。
ｔ０  ＝  ０．０
ｔ１  ＝−１．０
ｔ２  ＝  １．０
ｍｔ１ｃ１＝（５８５．６，１７１．４）Ｔ
ｄｔ１ｃ１＝６．６７０
ｎｔ１   ＝（−０．９３２，−０．０３８，０．３６１）Ｔ
ｍｔ２ｃ２＝（５１０．１，３３３．３）Ｔ
ｄｔ２ｃ２＝９．６１２
ｎｔ２   ＝（−０．９３２，０．０３８，０．３６１）Ｔ
【００８２】
式（０５）及び式（０６）によって、Ｍｔ１及びＭｔ２が得られる。
Ｍｔ１＝（２．４８２,−０．５６０,６．９８０）Ｔ
Ｍｔ２＝（２．４８２,１．１１３,８．９３３）Ｔ
【００８３】
式（１１）の球面線形補間によって、ｎｔ０が得られる。
ｎｔ０＝（−０．９３２，０．０００，０．３６３）Ｔ
【００８４】
式（１３）によって、Ｒが与えられる。
【数１４】
2013196160.tif 000016
【００８５】
式（１５）によって、Ｍｔ０が求まる。
Ｍｔ０＝（２．４８２，０．１７３，８．０００）Ｔ
【００８６】
式（０２）に代入すれば、ｍｔ０ｃ０及びｄｔ０ｃ０が得られる。
ｍｔ０ｃ０＝（５７１．０，２５７．０）
ｄｔ０ｃ０＝８．０００
【００８７】
式（１６）によって、Ｔが求まる。
Ｔ＝（０．０００，０．０００，１．０００）Ｔ
【００８８】
式（２０）・式（２１）・式（２２）・式（２３）の平面射影変換行列はそれぞれ、以下のとおりである。
【数１５】
2013196160.tif 000017
【００８９】
＜実施例２＞
時刻ｔ０のフレームのカメラｃ０の画像のオクルージョン領域の画素値を、近傍の非オクルージョン領域のｔ０とは異なる時刻のフレームの画像の参照先の情報を利用して再現することを目的とする。
【００９０】
（時刻ｔ０のフレームのカメラｃ０の画像のオクルージョン領域）
代表点のディジタル画像座標：ｍｔ０ｃ０＝（ｕｔ０ｃ０，ｖｔ０ｃ０）Ｔ
奥行き値                  ：ｄｔ０ｃ０
法線ベクトル              ：ｎｔ０＝（ｎｔ０ｘ，ｎｔ０ｙ，ｎｔ０ｚ）Ｔ
（ディジタル画像座標ｍｔ０ｃ０の点が時刻ｔ３のフレームのカメラｃ３の画像について参照している点）
参照点のディジタル画像座標：ｍｔ３ｃ３＝（ｕｔ３ｃ３，ｖｔ３ｃ３）Ｔ
奥行き値                  ：ｄｔ３ｃ３
法線ベクトル              ：ｎｔ１＝（ｎｔ３ｘ’，ｎｔ３ｙ’，ｎｔ３ｚ’）Ｔ
（この領域の近傍にある別の領域の代表点の時刻ｔ１のフレームのカメラｃ１の画像）
代表点のディジタル画像座標：ｍｔ１ｃ１＝（ｕｔ１ｃ１，ｖｔ１ｃ１）Ｔ
奥行き値                  ：ｄｔ１ｃ１
法線ベクトル              ：ｎｔ１＝（ｎｔ０ｘ’，ｎｔ０ｙ’，ｎｔ０ｚ’）Ｔ
（同じ点の時刻ｔ２のフレームのカメラｃ２の画像におけるディジタル画像座標）
ディジタル画像座標        ：ｍｔ２ｃ２＝（ｕｔ２ｃ２，ｖｔ２ｃ２）Ｔ
奥行き値                  ：ｄｔ２ｃ２
法線ベクトル              ：ｎｔ２＝（ｎｔ２ｘ’，ｎｔ２ｙ’，ｎｔ２ｚ’）Ｔ
【００９１】
既知のパラメータｍｔ１ｃ１・ｄｔ１ｃ１・ｎｔ１・ｍｔ２ｃ２・ｄｔ２ｃ２・ｎｔ２・ｍｔ３ｃ３・ｄｔ３ｃ３・ｎｔ３から、未知のパラメータｍｔ０ｃ０・ｄｔ０ｃ０・ｎｔ０を算出できれば、公知の技術を用いて目的の領域の画素値を求めることができる。
【００９２】
点ｍｔ０ｃ０・点ｍｔ１ｃ１・点ｍｔ２ｃ２・点ｍｔ３ｃ３に対応する実空間中の点の位置がそれぞれ、以下のようにあったとする。
Ｍｔ０＝（Ｘｔ０，Ｙｔ０，Ｚｔ０）Ｔ
Ｍｔ１＝（Ｘｔ１，Ｙｔ１，Ｚｔ１）Ｔ
Ｍｔ２＝（Ｘｔ２，Ｙｔ２，Ｚｔ２）Ｔ
Ｍｔ３＝（Ｘｔ３，Ｙｔ３，Ｚｔ３）Ｔ
このとき、式（０１）によって、式（２７）・式（２８）・式（２９）・式（３０）が成立する。
【数１６】
2013196160.tif 000018
【００９３】
式（２８）・式（２９）・式（３０）を変形した式（３１）・式（３２）・式（３３）によって、Ｍｔ１・Ｍｔ２・Ｍｔ３が得られる。
【数１７】
2013196160.tif 000019
【００９４】
被写体は、剛体運動をしており、且つ、時刻ｔ０・時刻ｔ１・時刻ｔ２・時刻ｔ３の間で、等速直線運動と等角速度回転運動のみをしたと仮定する。この場合、実空間中の位置及び法線ベクトルの間に、式（３４）・式（３５）及び式（３６）・式（３７）の関係が成立する。
【数１８】
2013196160.tif 000020
Ｒ：前述の剛体運動における１フレーム当たりの回転変換
Ｔ：前述の剛体運動における１フレーム当たりの並進ベクトル
【００９５】
まず、式（３５）からＲを求める。しかし、式（３５）からはＲが一意に決まらないため、ｎｔ１とｎｔ２の間は最小の回転を行ったと仮定すると、Ｒは、式（３８）で与えられる。
【数１９】
2013196160.tif 000021
【００９６】
ここで、ωは、１フレームあたりの回転角度であり、式（３９）で求められる。
【数２０】
2013196160.tif 000022
【００９７】
ここで、［ｒ］×はｒの外積行列であり、ｒ＝（ｒｘ，ｒｙ，ｒｚ）Ｔは式（４０）で与えられる。
【数２１】
2013196160.tif 000023
【００９８】
式（３８）を式（３７）に代入し、式（４１）によって、Ｔを求める。
【数２２】
2013196160.tif 000024
【００９９】
このように、並進ベクトルＴは、第０の時刻から第１の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ１と、第０の時刻から第２の時刻に被写体の相対的な回転運動Ｒｔ０−ｔ２と、第２のカメラが第２の時刻に撮影した画像座標と、第１のカメラが第１の時刻に撮影した画像座標とを用いて算出される。
【０１００】
ｎｔ３が既知なのでＲの値を式（３４）に代入すれば、ｎｔ０が得られる。また、Ｍｔ３が既知なのでＲ及びＴの値を式（３６）に代入すれば、Ｍｔ０が得られる。また、Ｍｔ０を式（０２）に代入すれば、ｍｔ０ｃ０及びｄｔ０ｃ０が得られる。
【０１０１】
そして、得られたＭｔ０及びｎｔ０とＴ及びＲに基づき平面射影変換を行う。
【０１０２】
式（１６）で表わされる平面に着目すると、式（１８）で表わされる平面射影変換が成立する。式（１８）のＤは、ｎｔ０が式（１７）の平面の法線ベクトルであることと、Ｍｔ０が式（１７）の平面上に存在する条件を用いて、式（１９）で得られる。
【０１０３】
＜実施例１＞と同様の議論によって、時刻ｔ０のフレームのカメラｃ０の画像の求める領域のディジタル画像座標と、同一時刻ｔ３のフレームのカメラｃ３の画像の参照領域のディジタル画像座標とには、式（４２）の平面射影変換が成立する。
λｍｔ３ｃ３〜＝Ｈｔ０ｃ３ｔ３ｃ３Ｈｔ０ｃ０ｔ０ｃ３ｍｔ０ｃ０〜  （４２）
Ｈｔ０ｃ０ｔ０ｃ３
＝Ａｃ３Ｒｃ３[Ｉ＋{(Ｔｃ０−Ｔｃ３)ｎｔ０Ｔ}／(Ｄ−ｎｔ０ＴＴｃ０)]
Ｒｃ０ＴＡｃ０−１
Ｈｔ０ｃ３ｔ３ｃ３
＝Ａｃ３Ｒｃ３Ｒｔ３−ｔ０[Ｉ＋{Ｔｃ３−Ｒｔ０−ｔ３Ｔｃ３−
(ｔ０−ｔ３)Ｔ}ｎｔ０Ｔ}／（Ｄ−ｎｔ０ＴＴｃ３）］Ｒｃ３ＴＡｃ３−１
ここで、λは定数倍の不定性を表すスカラーである。
【０１０４】
自由視点映像を生成する際には、式（４２）の平面射影変換に基づき、ディジタル画像座標ｍｔ３ｃ３の点の画素値に基づきディジタル画像座標ｍｔ０ｃ０の点の画素値を求めればよい。
【０１０５】
符号化する際には、一方の参照領域から他方の参照領域を予測し、予測した画素値との差分のみを符号化することにより圧縮効率を高める。例えば、＜実施例１＞と同様に、時刻ｔ１のフレームのカメラｃ１の画像の参照領域を用いて、時刻ｔ２のフレームのカメラｃ２の画像の参照領域を予測することができる。
【０１０６】
同様に、カメラの内部パラメータ行列や回転行列は予め与えられているので、Ｄ・ｎ・Ｒ・Ｔの４つのパラメータのみ算出できれば、平面射影変換行列は求まることになる。また、Ｄは式（１９）を、ｎｔ０は式（３４）を、Ｒは式（３８）を、Ｔは式（４１）を用いて算出できるので、平面射影変換行列が得られ、予測が可能となる。即ち、時刻ｔ１のフレームのカメラｃ１の画像のディジタル画像座標ｍｔ１ｃ１の点の画素値を用いて、時刻ｔ２のフレームのカメラｃ２の画像のディジタル画像座標ｍｔ２ｃ２の点の画素値を予測することができる。
【０１０７】
図９は、本発明における実施例２に基づくフローチャートである。
【０１０８】
図９によれば、図７におけるＳ７７の処理を表す。
（Ｓ７７１）第１のカメラｃ１が第１の時刻ｔ１に被写体を撮影した第１の参照画像から、及び／又は、第２のカメラｃ２が第２の時刻ｔ２に被写体を撮影した第２の参照画像から、仮想視点とした第０のカメラｃ０が第０の時刻ｔ０に撮影できるであろう第０の画像の当該領域を生成する。
（Ｓ７７２）ここで、第１の参照画像及び第２の参照画像の両方に、オクルージョン領域が発生しているとする。
（Ｓ７７３）このとき、当該オクルージョン領域に近傍の非オクルージョン領域を抽出する。
（Ｓ７７４）被写体の当該領域の法線ベクトルｎＴと、該法線ベクトルｎＴ及び被写体の当該領域の位置座標Ｍｔ０から得られる平面−原点距離Ｄとを用いて、第０のカメラが第０の時刻ｔ０に撮影した画像座標と、第３のカメラが第０の時刻ｔ０に撮影した画像座標との間の第７の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ３を算出する。
（Ｓ７７５）被写体の当該領域の法線ベクトルｎＴと、第３の時刻から第０の時刻に被写体の相対的な回転運動Ｒｔ３−ｔ０及び並進運動（ｔ３−ｔ０）Ｔとを用いて、第３のカメラが第０の時刻ｔ０に撮影した画像座標と、第３のカメラが第３の時刻ｔ３に撮影した画像座標との間の第８の平面射影変換行列Ｈｔ０ｃ３ｔ３ｃ３を算出する。
（Ｓ７７６）第７の平面射影変換行列Ｈｔ０ｃ０ｔ０ｃ３と第８の平面射影変換行列Ｈｔ０ｃ３ｔ３ｃ３とを乗算し、第３のカメラが第３の時刻ｔ３に撮影した画像座標と、第０のカメラが第０の時刻ｔ０に撮影した画像座標との間の第９の平面射影変換行列を算出する。
（Ｓ７７７）そして、第９の平面射影変換行列を用いて、オクルージョン領域を変換し、当該オクルージョン領域を再現する。
【０１０９】
以下では、前述した式に、具体的に数値を入れて説明する。
ｆｋｃｕ＝８１０．８
ｆｋｃｖ＝８１０．８
ｕｃ０＝３１９．５
ｖｃ０＝２３９．５
θ＝π／２
【０１１０】
カメラ０・カメラ１・カメラ２・カメラ３の主点の位置ベクトルＴｃ０・Ｔｃ１・Ｔｃ２・Ｔｃ３は、以下の値とする。
Ｔｃ０＝（  ０．０００，  ０．０００，  ０．０００）Ｔ
Ｔｃ１＝（  １．７２７，  ０．０００，  ０．０００）Ｔ
Ｔｃ２＝（−１．７２７，  ０．０００，  ０．０００）Ｔ
Ｔｃ３＝（  １．７２７，  ０．０００，  ０．０００）Ｔ
カメラ０・カメラ１・カメラ２・カメラ３の向きを表わす回転行列Ｒｃ０・Ｒｃ１・Ｒｃ２・Ｒｃ３は、以下の値とする。
【数２３】
2013196160.tif 000025
【０１１１】
その他の既知のパラメータを、以下のようにする。
ｔ０   ＝０．０
ｔ１   ＝−１．０
ｔ２   ＝  １．０
ｔ３   ＝−１．０
ｍｔ１ｃ１＝（５９６．７,１８３．０）Ｔ
ｄｔ１ｃ１＝６．７５７
ｎｔ１   ＝（−０．９３２，−０．０３８，０．３６１）Ｔ
ｍｔ２ｃ２＝（５１４．６,３４１．５）Ｔ
ｄｔ２ｃ２＝９．７２０
ｎｔ２   ＝（−０．９３２，０．０３８，０．３６１）Ｔ
ｍｔ３ｃ３＝（５８５．６，１７１．４）Ｔ
ｄｔ３ｃ３＝６．６７０
ｎｔ３   ＝（−０．９３２，−０．０３８，０．３６１）Ｔ
【０１１２】
式（３１）・式（３２）・式（３３）によって、Ｍｔ１・Ｍｔ２・Ｍｔ３が得られる。
Ｍｔ１＝（２．５８２,−０．４７１,７．０９０）Ｔ
Ｍｔ２＝（２．５８２,１．２２２,９．０２２）Ｔ
Ｍｔ３＝（２．４８２,−０．５６０,６．９８０）Ｔ
【０１１３】
式（３８）よりＲが与えられる。
【数２４】
2013196160.tif 000026
【０１１４】
式（４１）よりＴが求まる。
Ｔ＝（０．０００，０．０００，１．０００）Ｔ
【０１１５】
式（３４）及び式（３６）に代入すれば、ｎｔ０及びＭｔ０が得られる。
ｎｔ０＝（−０．９３２，０．０００，０．３６３）Ｔ
Ｍｔ０＝（２．４８２，０．１７３，８．０００）Ｔ
【０１１６】
式（０２）に代入すれば、ｍｔ０ｃ０及びｄｔ０ｃ０が得られる。
ｍｔ０ｃ０＝（５７１．０，２５７．０）
ｄｔ０ｃ０＝８．０００
【０１１７】
式（４２）の平面射影変換行列はそれぞれ、以下の通りである。
【数２５】
2013196160.tif 000027
【０１１８】
以上、詳細に説明したように、本発明の自由視点画像生成方法、装置及びプログラムによれば、一部又は全ての多視点画像についてオクルージョン領域となっている場合であっても、そのオクルージョン領域のテクスチャを再現することができる。
【０１１９】
特に、本発明によれば、異なる時刻の異なる視点のフレームに対しても、自由視点映像を生成できる。また、被写体が時間と共に位置及び向きを変えても、平面射影変換によって、滑らかな画像を生成することができ、ちらつきを軽減することができる（実施例１参照）。また、同一時刻のフレームについて、背景とのオクルージョン関係が変化して、全てのカメラについてオクルージョンとなる領域が発生しても、異なる時刻のフレームを参照することによって、高精度に補完することができる（実施例２参照）。剛体近似（Ｅｕｃｌｉｄ変換）をすることによって、異なる時刻のフレームの画像情報も、自由視点映像の生成に利用することができる。
【０１２０】
前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１２１】
１  自由視点画像生成装置
１０  カメラ映像取得部
１１  第１の変換行列算出部
１２  第２の変換行列算出部
１３  第３の変換行列算出部
１４  第４の変換行列算出部
１５  第５の変換行列算出部
１６  第６の変換行列算出部
１７  自由視点画像生成部
２  カメラ
３  被写体
【図１】
2013196160.tif 000028
【図２】
2013196160.tif 000029
【図３】
2013196160.tif 000030
【図４】
2013196160.tif 000031
【図５】
2013196160.tif 000032
【図６】
2013196160.tif 000033
【図７】
2013196160.tif 000034
【図８】
2013196160.tif 000035
【図９】
2013196160.tif 000036