(57)【要約】      （修正有）【課題】被写体を上から見下ろすような視点からの自由視点映像を合成することができる３次元移動の自由視点映像生成方法を提供する。【解決手段】同一平面上にある複数のカメラ１〜５と、該平面上にないカメラ６とを併用して多視点映像を撮影する工程と、目的の視点１１と方位角が等しい前記平面上にある視点１２の映像を、前記平面上のカメラの多視点映像から生成する工程と、目的の視点１１の映像を、前記平面上にないカメラ６の映像と前記目的の視点と方位角が等しく前記平面上にある視点の映像１２とから生成する工程とからなる。【選択図】図１
2010039501.tif 000002
【特許請求の範囲】
【請求項１】
実際に撮影した多視点映像を基にして、任意の視点の映像を生成する３次元移動の自由視点映像生成方法において、
同一平面上にある複数のカメラと該平面上にないカメラとを併用して多視点映像を撮影する工程と、
目的の視点と方位角が等しい前記平面上にある視点の映像を、前記平面上のカメラの多視点映像から生成する工程と、
目的の視点の映像を、前記平面上にないカメラの映像と前記目的の視点と方位角が等しく前記平面上にある視点の映像とから生成する工程とを具備し、
前記平面に垂直な方向（前記平面が水平面であれば縦方向）の視差の情報を記録しなくても該方向の視差を再現できるようにしたことを特徴とする３次元移動の自由視点映像生成方法。
【請求項２】
実際に撮影した多視点映像を基にして、光線空間を用いて任意の視点の映像を生成する３次元移動の自由視点映像生成方法において、
同一平面上にある複数のカメラと該平面上にないカメラとを併用して多視点映像を撮影する工程と、
光線空間を用いて、目的の視点と方位角が等しく前記平面上にある視点の映像を、前記平面上のカメラの多視点映像から生成する工程と、
光線空間を用いて、目的の視点の映像を、前記平面上にないカメラの映像と前記目的の視点と方位角が等しく前記平面上にある視点の映像とから生成する工程とを具備し、
光線空間に前記平面に垂直な方向（前記平面が水平面であれば縦方向）の視差の情報を記録しなくても該方向の視差を再現できるようにしたことを特徴とする３次元移動の自由視点映像生成方法。
【請求項３】
請求項２に記載の３次元移動の自由視点映像生成方法において、
前記光線空間として、平面記録光線空間を用いることを特徴とする３次元移動の自由視点映像生成方法。
【請求項４】
請求項２に記載の３次元移動の自由視点映像生成方法において、
前記光線空間として、円筒記録光線空間、あるいは球面記録光線空間を用いることを特徴とする３次元移動の自由視点映像生成方法。
【請求項５】
請求項４に記載の３次元移動の自由視点映像生成方法において、
前記光線空間として、局所領域分割型光線空間を用いることを特徴とする３次元移動の自由視点映像生成方法。
【請求項６】
請求項５に記載の３次元移動の自由視点映像生成方法において、
前記局所領域において、視点の位置に応じて最終的に合成される前記自由視点映像内における該局所領域の視点画像の位置を移動させる処理、または視点の位置に応じて読み取る光線の情報の位置を移動させる処理をすることを特徴とする３次元移動の自由視点映像の生成方法。
【請求項７】
請求項１または２に記載の３次元移動の自由視点映像生成方法において、
前記目的の視点の映像を生成する工程は、前記平面上にないカメラ（仰角Φｖ）の映像の対応画素Ｇｖと前記目的の視点と方位角が等しく前記平面上にある視点（仰角Φｈ）の映像の対応画素Ｇｈとから、下記の式を用いて生成することを特徴とする３次元移動の自由視点映像生成方法。
Ｇｆ＝（ΦｖＧｈ＋ΦｈＧｖ）／（Φｈ＋Φｖ）
【請求項８】
コンピュータに、
同一平面上にある複数のカメラと該平面上にないカメラとを併用して多視点映像を撮影する工程と、
目的の視点と方位角が等しい前記平面上にある視点の映像を、前記平面上のカメラの多視点映像から生成する工程と、
目的の視点の映像を、前記平面上にないカメラの映像と前記目的の視点と方位角が等しく前記平面上にある視点の映像とから生成する工程と、
を実現するためのプログラムを記録したコンピュータ読取り可能な記録媒体。
【請求項９】
コンピュータに、
同一平面上にある複数のカメラと該平面上にないカメラとを併用して多視点映像を撮影する工程と、
光線空間を用いて、目的の視点と方位角が等しく前記平面上にある視点の映像を、前記平面上のカメラの多視点映像から生成する工程と、
光線空間を用いて、目的の視点の映像を、前記平面上にないカメラの映像と前記目的の視点と方位角が等しく前記平面上にある視点の映像とから生成する工程と、
を実現するためのプログラムを記録したコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３次元移動の自由視点映像生成方法および記録媒体に関し、特に、同一水平面上に被写体を取り囲むように複数のビデオカメラ（以下、単にカメラと呼ぶ）を配置すると共に天頂にカメラを配置し、これらのカメラにより撮影した被写体の画像を用いて３次元移動の自由視点映像を生成する方法および該方法のプログラムを記録する記録媒体に関する。 
【背景技術】
【０００２】
従来、複数の視点位置で撮像された実写映像群を用いて、任意の視点位置における映像を生成・表示する場合、該実写映像群のデータをメモリ上に読み込んでおき、各映像データは３次元空間中を飛来する光線の集合であると考える光線空間の概念に基づいて、各画素の輝度値を計算して、任意の視点位置の映像を生成する方法が提案されている。
【０００３】
ここで、光線空間の概念について説明する。３次元空間内には、光源や物体の反射光により光線が発せられている。３次元空間内のある１点を横切る光線は、その位置（Ｘ，Ｙ，Ｚ）と方向（θ，φ）と時刻ｔを表す６個の変数により一意に定められる。簡単のため、ある時間ｔ＝０に着目すると、この光線の光強度を表す関数をＦと定義すると、３次元空間内の光線群データはＦ（Ｘ，Ｙ，Ｚ，θ，φ）と表され、３次元空間内の光線群は５次元のパラメータ空間として記述される。このパラメータ空間およびその部分空間が光線空間と呼ばれている。
【０００４】
最初に、平面記録光線空間を用いる場合を、図７を参照して説明する。
【０００５】
いま、Ｚ＝Ｚｃという平面を通過する光線群に着目する。この面を基準面と呼び、この基準面上に２次元座標系（Ｐ，Ｑ）を定義する。ここで、２次元座標系（Ｐ，Ｑ）はＺ軸との交点を原点として、Ｐ軸はＸ軸に平行に、Ｑ軸はＹ軸に平行にとる。Ｙ軸に垂直な水平面（ＸＺ平面）を考え、上下方向の視差を考慮しないことにすると（Ｙ＝０，φ＝０）、実空間は図７に示すようになる。基準面から発せられる光線群は、位置Ｐと角度θの２変数でＦ（Ｐ，θ）と記述される。従って、実空間中のある１点（Ｘｃ，Ｚｃ）を通過する光線群には、次の関係が成り立つ。
【０００６】
Ｐ＝Ｘｃ―Ｚｃｔａｎθ  （１）
【０００７】
ここで、ｕ＝ｔａｎθという変数を定義すると、式（１）は、次のようになる。
【０００８】
Ｐ＝Ｘｃ―ｕＺｃ  （２）
【０００９】
従って、平面記録光線空間上では、実空間内の１本の光線が１点として写像され、そこに光強度すなわち色情報が記録される。また、式（２）から、実空間内のある１点を通過する光線群は、Ｐ−ｕ空間上で直線に写像されることがわかる。
【００１０】
図８には、実空間内の（Ｘｃ，Ｚｃ）の視点位置で観察された光線がＰ−ｕ空間に写像された様子を示す。なお、Ｐ−ｕ空間は、前に述べた５次元の光線空間の部分空間をなすものである。以上のことは、下記の特許文献１、２にも示されている。
【００１１】
次に、円筒記録光線空間を用いる場合を、図９を参照して説明する。なお、円筒記録光線空間については、本出願人による特許出願である下記の特許文献３に開示されている。
【００１２】
いま、ある時間ｔ＝０においてθ＝θｃの方位角に伝播する光線群に着目する。Ｙ軸を通りこの光線群の伝播する方向に垂直な面を基準面と呼び、この基準面上に２次元座標系（Ｐ，Ｑ）を定義する。ここで、２次元座標系（Ｐ，Ｑ）は世界座標系の原点を原点として、Ｑ軸はＹ軸に平行に、Ｐ軸は光線群の伝播する方向とＱ軸の両方に対して垂直にとる。Ｙ軸に垂直な水平面（ＸＺ平面）を考え、上下方向の視差を考慮しないことにすると（Ｙ＝０，φ＝０）、実空間は図９に示すようになる。基準面に対して垂直な方向に伝播する光線群は、位置Ｐと角度θの２変数でＦ（Ｐ，θ）と記述される。従って、実空間中のある１点（Ｘｃ，Ｚｃ）を通過する光線群には、次の関係が成り立つ。
【００１３】
Ｐ＝Ｘｃｃｏｓθ―Ｚｃｓｉｎθ  （３）
【００１４】
従って、円筒記録光線空間上では、実空間内の１本の光線が１点として写像され、そこに光強度すなわち色情報が記録される。また、式（３）から、実空間内のある１点を通過する光線群は、Ｐ−θ空間上で正弦曲線に写像されることがわかる。
【００１５】
図１０には、実空間内の（Ｘｃ，Ｚｃ）の視点位置で観察された光線がＰ−θ空間に写像された様子を示す。なお、Ｐ−θ空間は、前に述べた５次元の光線空間の部分空間をなすものである。
【００１６】
この光線空間から任意の視点位置の画像を精度よく再構成するためには、本来はＱ軸方向すなわち、上下方向の次元も必要である。しかし、その場合、光線空間データは少なくともＰ−Ｑ−θ−φという４次元空間を形成しなければならず、非常に大きなデータ量を持つことになる。そこで、今までは、光線空間の部分空間であるＰ−θ空間（Ｐ−ｕ空間）のみを考えていた。またさらに、光線空間の座標全体に色情報を持たせることは、非常に冗長であると考えられる。なぜなら、たとえＰ−θ空間（Ｐ−ｕ空間）だけを考えるとしても、画像を再構成するためにはＱ軸方向の画素情報が必要となるため、光線空間は３次元となり、そこに各光線の光強度を記録しなければならないからである。そこで、再構成する画像の全ての画素について光線空間演算を行い、メモリ上に読み込んだ多視点画像（複数の異なる視点位置から撮像した画像）から輝度値を得る方法があった。なお、光線空間演算とは、多視点画像を基に任意の視点位置の画像を再構成するために、Ｐ−θ空間（Ｐ−ｕ空間）で式（２）および式（３）に基づいて行う計算のことである。
【００１７】
上記従来例では、操作者の動きに応じてリアルタイムに、任意の視点位置における画像を生成・表示するためには、高速な光線空間演算を行わなければならない。その演算を行うためには、多視点画像にランダムにアクセスし、画素データを読み込む操作を行わなければならない。すなわち、多視点画像への高速なランダムアクセスが要求される。そこで上記の例では、Ｐ−θ空間（Ｐ−ｕ空間）と多視点画像を演算前にメモリ上に読み込んでおく、という手法をとっていた。
【特許文献１】特開平１０−１１１９５１号公報
【特許文献２】特開２００４−２５８７７５号公報
【特許文献３】特開２００８−１５７５６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、従来手法は縦方向の視差の情報が得られていないため、被写体を上から見下ろすような視点からの映像を合成すること等はできなかった。
【００１９】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、縦方向の視差の情報を記録しなくても縦方向の視差を再現できるようにする３次元移動の自由視点映像生成方法および記録媒体を提供することにある。また、他の目的は、被写体を上から見下ろすような視点からの自由視点映像を合成することができる３次元移動の自由視点映像生成方法および記録媒体を提供することにある。
【課題を解決するための手段】
【００２０】
前記した目的を達成するために、本発明は、実際に撮影した多視点映像を基にして、任意の視点の映像を生成する３次元移動の自由視点映像生成方法において、同一平面上にある複数のカメラと該平面上にないカメラとを併用して多視点映像を撮影する工程と、目的の視点と方位角が等しい前記平面上にある視点の映像を、前記平面上のカメラの多視点映像から生成する工程と、目的の視点の映像を、前記平面上にないカメラの映像と前記目的の視点と方位角が等しく前記平面上にある視点の映像とから生成する工程とを具備した点に特徴がある。
【発明の効果】
【００２１】
本発明によれば、水平面上に配置されたカメラに天頂カメラを加えた多視点映像を基に、被写体を上から見下ろすような視点からの自由視点映像を合成することができるようになる。また、縦方向の視差の情報を記録しなくても縦方向の視差を再現できるようになる。すなわち、従来の自由視点映像合成のデータそのままに天頂カメラのデータを追加するだけで、３次元的な視点移動を実現することが可能になる。
【発明を実施するための最良の形態】
【００２２】
以下に、図面を参照して、本発明を詳細に説明する。本発明の原理は、水平面上に配置された複数のカメラに、該水平面上にないカメラ例えば天頂カメラを加えた多視点映像を基に、被写体を上から見下ろすような視点からの自由視点映像を合成するものである。近年、天井から吊り下げられたテレビカメラ（以下、天頂カメラ）で撮影を行う機会が増えている。このように、同一平面上にないカメラを併用することにより、視点を３次元的に移動させることが可能になる。
【００２３】
図１は、本発明の前記原理の概略の説明図である。図１には、複数の水平配置カメラ１，２，３，４，５と１台の天頂カメラ６とで、被写体１０を取り囲んで撮影する場合の例が示されている。本発明では、目的の視点であるある仮想カメラ(1)１１からの自由視点画像（見下ろし画像）を得るために、前記仮想カメラ(1)１１と方位角が等しい前記水平面上にある視点の画像、すなわちを、仮想カメラ(2)１２からの自由視点画像を、従来手法を用いて、前記水平配置カメラ１，２，３，４，５からの画像を用いて生成する。そして、該自由視点画像と前記天頂カメラ６で撮影した画像とを例えば線形補間して、前記仮想カメラ(2)１２と天頂カメラ６を含む平面内にある仮想カメラ(1)１１からの自由視点画像（見下ろし画像）を得ようとするものである。
【００２４】
以下に、本発明の一実施形態を詳細に説明する。図１は、被写体１０およびその周囲および天頂に配置されたカメラ１〜６を横から見た図であり、図２は、図１を真上から見た図である。なお、図１、２は、説明を簡単化するために、複数の水平配置カメラと１台の天頂カメラで被写体を取り囲んで撮影した場合を示すが、本発明はこれに限定されるものではない。
【００２５】
いま、被写体１０上の一点（Ｘｓ，Ｙｓ，Ｚｓ）に着目する。また、目的とする視点（仮想カメラ(1)１１）の位置を（Ｘｆ，Ｙｆ，Ｚｆ）、方位角をΘｆ、仰角をΦｆとし、該仮想カメラ(1)１１に対応する仮想カメラ(2)１２の位置を（Ｘｈ，Ｙｈ，Ｚｈ）とし、天頂カメラ６の位置を（Ｘｖ，Ｙｖ、Ｚｖ）とする。
【００２６】
本実施形態では、まず、水平配置カメラによる多視点映像から従来手法（例えば、光線空間法）を用いて、位置（Ｘｈ，０，Ｚｈ）・方位角Θｆの視点からの自由視点画像（仮想カメラ(2)１２の画像）を合成する。その際、その自由視点画像を構成する各画素の奥行き値も算出しておく。
【００２７】
一方、図３に示されているように、下式(4)の射影変換を用いて、被写体表面の点（Ｘｓ，Ｙｓ，Ｚｓ）が仮想カメラ(2)１２による画像のどの画素に対応するかを求める。ここで、（Ｕｈ，Ｖｈ）は仮想カメラ(2)１２による画像の画素座標、Ｐｈは仮想カメラ(2)１２の射影行列である。
【００２８】
ｓｈ（Ｕｈ，Ｖｈ，１）Ｔ＝Ｐｈ（Ｘｓ，Ｙｓ，Ｚｓ，１）Ｔ  ・・・(4)
また、図４に示されているように、下式(5)の射影変換を用いて、被写体表面の点（Ｘｓ，Ｙｓ，Ｚｓ）が天頂カメラ６による画像のどの画素に対応するかを求める。ここで、（Ｕｖ，Ｖｖ）は天頂カメラ６による画像の画素座標、Ｐｖは天頂カメラ６の射影行列である。
【００２９】
ｓｖ（Ｕｖ，Ｖｖ，１）Ｔ＝Ｐｖ（Ｘｓ，Ｙｓ，Ｚｓ，１）Ｔ  ・・・(5)
【００３０】
さらに、図５に示されているように、下式(6)の射影変換を用いて、被写体表面の点（Ｘｓ，Ｙｓ，Ｚｓ）が目的とする視点による画像（仮想カメラ(1)１１の画像）のどの画素に対応するかを求められる。ここで、（Ｕｆ，Ｖｆ）は仮想カメラ(1)１１による画像の画素座標、Ｐｆは仮想カメラ(1)１１の射影行列である。
【００３１】
ｓｆ（Ｕｆ，Ｖｆ，１）Ｔ＝Ｐｆ（Ｘｓ，Ｙｓ，Ｚｓ，１）Ｔ  ・・・(6)
【００３２】
そこで、仮想カメラ(1)１１による画像の画素座標（Ｕｆ，Ｖｆ）に対応する天頂カメラ６の（Ｕｖ，Ｖｖ）の画素値Ｇｖと、前記画素座標（Ｕｆ，Ｖｆ）に対応する仮想カメラ(2)１２の（Ｕｈ，Ｖｈ）の画素値Ｇｈとを内挿補間して、前記画素座標（Ｕｆ，Ｖｆ）の画素値Ｇｆに代入することにより、目的とする視点からの画像が得られる。
【００３３】
すなわち、仮想カメラ(1)１１の画素値Ｇｆは、下式(7)に基づき仮想視点(2)１２と天頂カメラ６の仰角（それぞれΦｈおよびΦｖとする）に応じた線形補間を行うことにより、算出することができる。この線形補間は、例えば光線空間を用いて行うことができる。
【００３４】
Ｇｆ＝（ΦｖＧｈ＋ΦｈＧｖ）／（Φｈ＋Φｖ）・・・(7)
【００３５】
以上では、被写体１０上の一点（Ｘｓ，Ｙｓ，Ｚｓ）に着目して仮想カメラ(1)１１の画素値Ｇｆを求める方法を説明したが、上記と同様にして被写体１０上の全ての点につき仮想カメラ(1)１１の画素値Ｇｆを求めることにより、仮想カメラ(1)１１からみた被写体画像が得られることは明らかである。また、上記の実施形態では、天頂カメラを用いて説明したが、本発明は天頂カメラに限定されず、天頂以外の他の位置の平面上にないカメラであってもよいことは勿論である。
【００３６】
なお、前記光線空間として、平面記録光線空間、円筒記録光線空間、球面記録光線空間、あるいは局所領域分割型光線空間を用いることができる。
次に、本発明の３次元移動の自由視点映像生成方法を実現するシステム構成の概略を、図６を参照して説明する。図示されているように、本システムは、前記複数のカメラ１〜５および天頂カメラ６からの画像を入力するカメラ画像入力装置２１と、該カメラのカメラ内パラメータや実空間の複数の位置データなどが入力されるキーボードやマウスなどの入力装置２２と、本発明の要部である３次元移動の自由視点映像生成プログラムなどが格納されているメモリ２３（ＲＯＭ、ハードディスクなど）と、該メモリ２３に格納されているプログラムに従って処理手順を実行するＣＰＵ２４と、該ＣＰＵ２４の処理により作成された３次元移動の自由視点画像などを蓄積する画像データ記憶装置２５と、ディスプレイ装置（ＣＲＴ，液晶ディスプレイなど）の画像出力装置２６と、前記したそれぞれの構成要素を結合するバス２７から構成されている。なお、前記３次元移動の自由視点映像生成プログラムは、ＣＤ−ＲＯＭなどの外部記憶装置に記憶させておき、処理の実行時に該外部記憶装置を図示されていないデータ読み込み装置にセットして、ＣＰＵ２４などに供給するようにしてもよい。
【００３７】
前記３次元移動の自由視点映像生成プログラムは、同一平面上にある複数のカメラと該平面上にないカメラとを併用して多視点映像を撮影する工程と、目的の視点と方位角が等しい前記平面上にある視点の映像を、前記平面上のカメラの多視点映像から生成する工程と、目的の視点の映像を、前記平面上にないカメラの映像と前記目的の視点と方位角が等しく前記平面上にある視点の映像とから生成する工程とからなる。
【００３８】
また、他の３次元移動の自由視点映像生成プログラムは、同一平面上にある複数のカメラと該平面上にないカメラとを併用して多視点映像を撮影する工程と、光線空間を用いて、目的の視点と方位角が等しく前記平面上にある視点の映像を、前記平面上のカメラの多視点映像から生成する工程と、光線空間を用いて、目的の視点の映像を、前記平面上にないカメラの映像と前記目的の視点と方位角が等しく前記平面上にある視点の映像とから生成する工程とからなる。
【図面の簡単な説明】
【００３９】
【図１】本発明の概略の構成を示す説明図である。
【図２】図１を真上から見た場合の説明図である。
【図３】仮想カメラ(2)の画像の説明図である。
【図４】天頂カメラの画像の説明図である。
【図５】仮想カメラ(1)の画像の説明図である。
【図６】本発明の３次元移動の自由視点映像生成方法を実現するシステム例のブロック図である。
【図７】平面記録光線空間の説明図である。
【図８】実空間内の（Ｘｃ，Ｚｃ）の視点位置で観察された光線をＰ−ｕ空間に写像された様子を示す図である。
【図９】円筒記録光線空間の説明図である。
【図１０】実空間内の（Ｘｃ，Ｚｃ）の視点位置で観察された光線をＰ−θ空間に写像された様子を示す図である。
【符号の説明】
【００４０】
１〜５・・・水平配置カメラ、６・・・天頂カメラ、１０・・・被写体、１１・・・仮想カメラ(1)、１２・・・仮想カメラ(2)
【図１】
2010039501.tif 000003
【図２】
2010039501.tif 000004
【図３】
2010039501.tif 000005
【図４】
2010039501.tif 000006
【図５】
2010039501.tif 000007
【図６】
2010039501.tif 000008
【図７】
2010039501.tif 000009
【図８】
2010039501.tif 000010
【図９】
2010039501.tif 000011
【図１０】
2010039501.tif 000012