(57)【要約】【課題】被写体の影等の所定の映像特徴を有する領域を適切に合成することで、一層自然な仮想視点映像を生成する。【解決手段】仮想視点変換装置１の第二被写体抽出部１２は、入力映像Ｉから第二被写体を抽出し、キー映像Ｆを生成する。合成部１３は、背景映像Ｂに対し、キー映像Ｆに基づくキーイングにより入力映像Ｉを合成し、合成あり背景映像Ａを生成する。第一射影変換部１４は、合成あり背景映像Ａをカメラパラメータに応じて射影変換し、背景の仮想視点映像Ｌを生成する。第二射影変換部１６は、入力映像Ｉ及びキー映像Ｋを、ビルボード及びカメラパラメータを用いて射影変換し、前景の仮想視点映像Ｍi及びキーの仮想視点映像Ｎiを生成する。合成部１７は、キーの仮想視点映像Ｎiに基づいて、背景の仮想視点映像Ｌ及び前景の仮想視点映像Ｍiを合成し、仮想視点映像Ｊを生成して出力する。【選択図】図１
2020173726.tif 000002
【特許請求の範囲】
【請求項１】
撮影時の入力映像を、前記撮影時とは異なる視点の映像に仮想的に変換することで、仮想視点映像を生成する仮想視点変換装置において、
前記入力映像から背景映像を生成する背景生成部と、
前記入力映像から第一被写体の領域を抽出し、前記第一被写体の形状及び所定の画素値を有する第一キー映像を生成する第一被写体抽出部と、
前記入力映像から所定の映像特徴を有する第二被写体の領域を抽出し、前記第二被写体の形状及び所定の画素値を有する第二キー映像を生成する第二被写体抽出部と、
前記第二キー映像の示す前記入力映像の部分を第二被写体映像とし、当該第二被写体映像に対し、前記入力映像のカメラパラメータ及び前記仮想視点映像のカメラパラメータを用いて第一の射影変換を行い、前記第二被写体の仮想視点映像を生成する第一射影変換部と、
前記第一被写体抽出部により生成された前記第一キー映像、及び前記入力映像のカメラパラメータに基づいて、ビルボードを設定するビルボード設定部と、
前記入力映像及び前記第一被写体抽出部により生成された前記第一キー映像に対し、前記入力映像のカメラパラメータ、前記仮想視点映像のカメラパラメータ及び前記ビルボード設定部により設定された前記ビルボードを用いて第二の射影変換を行い、前記第一被写体の仮想視点映像を生成すると共に、前記第一被写体の形状及び前記所定の画素値を有する第一キーの仮想視点映像を生成する第二射影変換部と、
前記第二射影変換部により生成された前記第一キーの仮想視点映像に基づいて、前記第一射影変換部により生成された前記第二被写体の仮想視点映像、及び前記第二射影変換部により生成された前記第一被写体の仮想視点映像を合成することで、前記仮想視点映像を生成する合成部と、
を備えたことを特徴とする仮想視点変換装置。
【請求項２】
撮影時の入力映像を、前記撮影時とは異なる視点の映像に仮想的に変換することで、仮想視点映像を生成する仮想視点変換装置において、
前記入力映像から背景映像を生成する背景生成部と、
前記入力映像から第一被写体の領域を抽出し、前記第一被写体の形状及び所定の画素値を有する第一キー映像を生成する第一被写体抽出部と、
前記入力映像から所定の映像特徴を有する第二被写体の領域を抽出し、前記第二被写体及び所定の画素値を有する第二キー映像を生成する第二被写体抽出部と、
前記背景生成部により生成された前記背景映像に対し、前記第二被写体抽出部により生成された前記第二キー映像の示す前記入力映像の部分を合成することで、合成あり背景映像を生成する背景合成部と、
前記背景合成部により生成された前記合成あり背景映像に対し、前記入力映像のカメラパラメータ及び前記仮想視点映像のカメラパラメータを用いて第一の射影変換を行い、背景の仮想視点映像を生成する第一射影変換部と、
前記第一被写体抽出部により生成された前記第一キー映像、及び前記入力映像のカメラパラメータに基づいて、ビルボードを設定するビルボード設定部と、
前記入力映像及び前記第一被写体抽出部により生成された前記第一キー映像に対し、前記入力映像のカメラパラメータ、前記仮想視点映像のカメラパラメータ及び前記ビルボード設定部により設定された前記ビルボードを用いて第二の射影変換を行い、前記第一被写体の仮想視点映像を生成すると共に、前記第一被写体の形状及び前記所定の画素値を有する第一キーの仮想視点映像を生成する第二射影変換部と、
前記第二射影変換部により生成された前記第一キーの仮想視点映像に基づいて、前記第一射影変換部により生成された前記背景の仮想視点映像、及び前記第二射影変換部により生成された前記第一被写体の仮想視点映像を合成することで、前記仮想視点映像を生成する合成部と、
を備えたことを特徴とする仮想視点変換装置。
【請求項３】
請求項１または２に記載の仮想視点変換装置において、
前記背景生成部は、
前記入力映像の複数フレームから前記背景映像を生成し、
前記第二被写体抽出部は、
前記入力映像の単一フレームにおける所定の画素値特徴を有する領域を前記第二被写体の領域として抽出する、ことを特徴とする仮想視点変換装置。
【請求項４】
コンピュータを、請求項１から３までのいずれか一項に記載の仮想視点変換装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像の撮影時とは異なる視点の映像を仮想的に生成する仮想視点変換装置及びプログラムに関する。
【背景技術】
【０００２】
従来、撮影時の入力映像を、撮影時とは異なる視点の映像に仮想的に変換し、仮想視点映像を生成する手法が知られている。例えば、ビデオゲームにおいては、被写体データの容量及び演算コストを削減するため、カメラの方向を指向する部分平面にて被写体を表現するビルボードモデルが用いられることがある（例えば、特許文献１〜３を参照）。
【０００３】
また、実写映像に基づく仮想空間描画方法として、演算の高速化を実現するため、仮想空間内の仮想物体の実写画像に基づく空間データをビルボード画像データとして扱うものがある（例えば、特許文献４を参照）。
【０００４】
前述の特許文献１〜３の手法におけるビルボードモデルは、ビデオゲームのように、予め被写体情報をデータ化しておくことが可能な場合に多用される。また、前述の特許文献４の手法は、実写映像に適用するものであるが、ビルボード画像は、予め内部メモリに格納されていることが前提となっており、ビルボード画像自体の生成方法については言及されていない。
【０００５】
そこで、仮想視点映像を生成する場合に、予め被写体情報をデータ化しておく必要がなく、かつ、予めビルボート画像を内部メモリに格納しておく必要のない手法が提案されている（例えば、非特許文献１を参照）。
【０００６】
非特許文献１の手法は、複数のカメラで撮影された入力映像から被写体領域をそれぞれ抽出し、複数の被写体領域の対応付けを行い、フィールド平面上の２次元座標に基づくビルボードモデルを生成し、３次元ＣＧ空間を生成するものである。
【０００７】
これにより、撮影時点とは異なる視点位置から仮想的に撮影した映像を生成することができ、実写ベースのレンダリングによる写実的な仮想視点移動を実現することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第６４４１８４３号公報
【特許文献２】特許第６３５１６４７号公報
【特許文献３】特許第４５９２０８７号公報
【特許文献４】特許第３４８６５７９号公報
【非特許文献】
【０００９】
【非特許文献１】三巧浩嗣、内藤整、“選手領域の抽出と追跡によるサッカーの自由視点映像生成”、映像情報メディア学会誌、Vol.68、No.3、pp.J125−J134（2014）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述の非特許文献１の手法は、背景差分法にて入力映像から被写体映像及び背景映像を抽出し、ビルボードモデルを用いて射影変換し、撮影時点とは異なる視点位置から仮想的に撮影した映像（仮想視点映像）を得るものである。
【００１１】
例えば入力映像が日中に撮影された場合には、被写体に影が存在することとなり、被写体に影が付加された仮想視点映像が生成される。しかし、影はＣＧ処理により被写体に後付けしたり、背景差分法をそのまま用いたりすることで、結果として、影に違和感のある仮想視点映像が生成されてしまうという問題があった。
【００１２】
例えば背景差分法をそのまま用いると、入力映像から影を含む被写体映像が抽出され、影が被写体と同様に射影変換されることから、影が正しい位置に反映されず、違和感のある影となってしまうからである。
【００１３】
このため、被写体の影のような所定の映像特徴を有する領域を、仮想視点映像内の正しい位置に反映させることで、ユーザにとって違和感のない仮想視点映像を得ることが所望されていた。
【００１４】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、撮影時の入力映像を、撮影時とは異なる視点の映像に仮想的に変換する際に、被写体の影等の所定の映像特徴を有する領域を適切に合成することで、一層自然な仮想視点映像を生成可能な仮想視点変換装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
前記課題を解決するために、請求項１の仮想視点変換装置は、撮影時の入力映像を、前記撮影時とは異なる視点の映像に仮想的に変換することで、仮想視点映像を生成する仮想視点変換装置において、前記入力映像から背景映像を生成する背景生成部と、前記入力映像から第一被写体の領域を抽出し、前記第一被写体の形状及び所定の画素値を有する第一キー映像を生成する第一被写体抽出部と、前記入力映像から所定の映像特徴を有する第二被写体の領域を抽出し、前記第二被写体の形状及び所定の画素値を有する第二キー映像を生成する第二被写体抽出部と、前記第二キー映像の示す前記入力映像の部分を第二被写体映像とし、当該第二被写体映像に対し、前記入力映像のカメラパラメータ及び前記仮想視点映像のカメラパラメータを用いて第一の射影変換を行い、前記第二被写体の仮想視点映像を生成する第一射影変換部と、前記第一被写体抽出部により生成された前記第一キー映像、及び前記入力映像のカメラパラメータに基づいて、ビルボードを設定するビルボード設定部と、前記入力映像及び前記第一被写体抽出部により生成された前記第一キー映像に対し、前記入力映像のカメラパラメータ、前記仮想視点映像のカメラパラメータ及び前記ビルボード設定部により設定された前記ビルボードを用いて第二の射影変換を行い、前記第一被写体の仮想視点映像を生成すると共に、前記第一被写体の形状及び前記所定の画素値を有する第一キーの仮想視点映像を生成する第二射影変換部と、前記第二射影変換部により生成された前記第一キーの仮想視点映像に基づいて、前記第一射影変換部により生成された前記第二被写体の仮想視点映像、及び前記第二射影変換部により生成された前記第一被写体の仮想視点映像を合成することで、前記仮想視点映像を生成する合成部と、を備えたことを特徴とする。
【００１６】
また、請求項２の仮想視点変換装置は、撮影時の入力映像を、前記撮影時とは異なる視点の映像に仮想的に変換することで、仮想視点映像を生成する仮想視点変換装置において、前記入力映像から背景映像を生成する背景生成部と、前記入力映像から第一被写体の領域を抽出し、前記第一被写体の形状及び所定の画素値を有する第一キー映像を生成する第一被写体抽出部と、前記入力映像から所定の映像特徴を有する第二被写体の領域を抽出し、前記第二被写体及び所定の画素値を有する第二キー映像を生成する第二被写体抽出部と、前記背景生成部により生成された前記背景映像に対し、前記第二被写体抽出部により生成された前記第二キー映像の示す前記入力映像の部分を合成することで、合成あり背景映像を生成する背景合成部と、前記背景合成部により生成された前記合成あり背景映像に対し、前記入力映像のカメラパラメータ及び前記仮想視点映像のカメラパラメータを用いて第一の射影変換を行い、背景の仮想視点映像を生成する第一射影変換部と、前記第一被写体抽出部により生成された前記第一キー映像、及び前記入力映像のカメラパラメータに基づいて、ビルボードを設定するビルボード設定部と、前記入力映像及び前記第一被写体抽出部により生成された前記第一キー映像に対し、前記入力映像のカメラパラメータ、前記仮想視点映像のカメラパラメータ及び前記ビルボード設定部により設定された前記ビルボードを用いて第二の射影変換を行い、前記第一被写体の仮想視点映像を生成すると共に、前記第一被写体の形状及び前記所定の画素値を有する第一キーの仮想視点映像を生成する第二射影変換部と、前記第二射影変換部により生成された前記第一キーの仮想視点映像に基づいて、前記第一射影変換部により生成された前記背景の仮想視点映像、及び前記第二射影変換部により生成された前記第一被写体の仮想視点映像を合成することで、前記仮想視点映像を生成する合成部と、を備えたことを特徴とする。
【００１７】
また、請求項３の仮想視点変換装置は、請求項１または２に記載の仮想視点変換装置において、前記背景生成部が、前記入力映像の複数フレームから前記背景映像を生成し、前記第二被写体抽出部が、前記入力映像の単一フレームにおける所定の画素値特徴を有する領域を前記第二被写体の領域として抽出する、ことを特徴とする。
【００１８】
さらに、請求項４のプログラムは、コンピュータを、請求項１から３までのいずれか一項に記載の仮想視点変換装置として機能させることを特徴とする。
【発明の効果】
【００１９】
以上のように、本発明によれば、撮影時の入力映像を、撮影時とは異なる視点の映像に仮想的に変換する際に、被写体の影等の所定の映像特徴を有する領域を適切に合成することで、一層自然な仮想視点映像を生成することが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態による仮想視点変換装置の構成例を示すブロック図である。
【図２】仮想視点変換装置の処理例を示すフローチャートである。
【図３】第一射影変換部の構成例を示すブロック図である。
【図４】第一射影変換部の動作を説明する図である。
【図５】ビルボード設定部の動作を説明する図である。
【図６】第二射影変換部の動作を説明する図である。
【図７】第二射影変換部の構成例を示すブロック図である。
【図８】本発明の他の実施形態による仮想視点変換装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、第一被写体と、第一被写体の影等の所定の映像特徴を有する第二被写体とをそれぞれ抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、異なる視点から見た映像を仮想的に生成することを特徴とする。
【００２２】
これにより、撮影時の入力映像を、撮影時とは異なる視点の映像に仮想的に変換する際に、第二被写体を適切に合成することができ、一層自然な仮想視点映像を生成することが可能となる。
【００２３】
〔仮想視点変換装置〕
以下、本発明の実施形態による仮想視点変換装置について説明する。図１は、本発明の実施形態による仮想視点変換装置の構成例を示すブロック図である。この仮想視点変換装置１は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、合成部（背景合成部）１３、第一射影変換部１４、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている。
【００２４】
仮想視点変換装置１は、入力映像Ｉ、入力映像Ｉのカメラパラメータ及び仮想視点映像Ｊのカメラパラメータに基づいて、入力映像Ｉを幾何学的に変換する際に、被写体（第一被写体）の影（第二被写体）を背景映像Ｂに合成し、仮想視点映像Ｊを生成する。
【００２５】
カメラパラメータは、カメラの光学主点に関する視点位置情報を含むものとする。尚、カメラパラメータは、さらに、姿勢（例えば、パン、チルト及びロールの各角度）、画角（またはレンズの焦点距離）、レンズひずみ、露出値（アイリス、シャッター速度、感度等）、色補正値等の一部または全部を含むようにしてもよい。
【００２６】
以下、時刻ｔ及び画像座標（ｘ，ｙ）における映像の画素値は、映像を表す文字の後に（ｔ；ｘ，ｙ）を付して示すものとする。例えば、入力映像Ｉの時刻ｔ及び画像座標（ｘ，ｙ）における画素値をＩ（ｔ；ｘ，ｙ）と記す。尚、画素値はスカラー量（例えば、モノクロ映像の場合）であってもよいし、ベクトル量（例えば、カラー映像の場合、赤、緑及び青の３成分からなるベクトル値）であってもよい。
【００２７】
図２は、仮想視点変換装置１の処理例を示すフローチャートである。以下、図１及び図２を参照して、仮想視点変換装置１の各構成部について説明する。
【００２８】
（背景生成部１０）
背景生成部１０は、時系列の入力映像Ｉ（入力映像Ｉの複数フレーム）から、動物体を除去した背景映像Ｂを生成し（ステップＳ２０１）、背景映像Ｂを第一被写体抽出部１１及び合成部１３に出力する。背景映像Ｂの生成処理は既知であり、例えば背景差分法を用いることができる。背景差分法の詳細については、例えば特許第５２２７２２６号公報の段落４４及び数式８を参照されたい。
【００２９】
（第一被写体抽出部１１）
第一被写体抽出部１１は、背景生成部１０から背景映像Ｂを入力する。そして、第一被写体抽出部１１は、入力映像Ｉ、及び背景生成部１０により入力映像Ｉの複数フレームから生成された背景映像Ｂに基づいて、被写体（第一被写体）とそれ以外の箇所（背景映像Ｂ）とを区別して被写体の領域を抽出し、被写体の形状を表し、かつ当該被写体の領域と他の領域とを区別する画素値を有するキー映像Ｋを生成する（ステップＳ２０２）。そして、第一被写体抽出部１１は、キー映像Ｋをビルボード設定部１５及び第二射影変換部１６に出力する。以下、被写体は第一被写体を示すものとする。
【００３０】
キー映像Ｋは２値映像であってもよいし（例えば、被写体に属する画素の画素値を１とし、それ以外の画素の画素値を０とする）、多値映像であってもよい（例えば、被写体に属する画素の画素値を１とし、それ以外の画素の画素値を０とするが、被写体の境界部については０より大きく１未満の数値とする）。
【００３１】
例えば第一被写体抽出部１１は、以下の式にて、背景生成部１０により生成された背景映像Ｂと入力映像Ｉとを比較することで、キー映像Ｋを生成する。
【数１】
2020173726.tif 000003
関数φ（ｐ，ｑ）は、画素値ｐと画素値ｑとの差異に応じて被写体か否かを判定する関数である。
【００３２】
例えば関数φとして、以下の式のように、画素値ｐと画素値ｑとの間の差に対するノルム値（例えばユークリッド距離、マンハッタン距離、チェビシェフ距離）に応じて出力値を決定する関数が用いられる。この場合のφ（ｐ，ｑ）は、１（画素値ｐと画素値ｑとの間の差の絶対値が予め設定された閾値θよりも大きい場合）または０（画素値ｐと画素値ｑとの間の差の絶対値が閾値θ以下である場合）のいずれかの値となる。
【数２】
2020173726.tif 000004
【００３３】
（第二被写体抽出部１２）
第二被写体抽出部１２は、入力映像Ｉの単一フレームから、所定の映像特徴を有する領域（第二被写体の領域）を抽出し、当該領域の形状を表し、かつ当該領域と他の領域とを区別する画素値を有するキー映像Ｆを生成し（ステップＳ２０３）、キー映像Ｆを合成部１３に出力する。
【００３４】
所定の映像特徴を有する領域とは、第一被写体抽出部１１により抽出される第一被写体に関連する物の領域であり、例えば、第一被写体と共に動く第一被写体の影の領域である。
【００３５】
第二被写体抽出部１２は、例えば、映像特徴として色ベクトルに関する情報を用いるクロマキー技術またはルミナンスキー技術を用いて、キー映像Ｆを生成する。
【００３６】
例えば、以下の式が用いられる。
【数３】
2020173726.tif 000005
ここで、画素値が離散的である場合には、関数Ψの代わりに、３次元ルックアップテーブルが用いられる。関数Ψはキー映像Ｆの画素値を定める関数であり、例えば、第二被写体としたい色ベクトルｃ1に対し、Ψ（ｃ1）＝１とする。一方、第二被写体としたくない色ベクトルｃ0に対し、Ψ（ｃ0）＝０とする。
【００３７】
例えば第二被写体抽出部１２は、入力映像Ｉの各画素が緑色であるか否か（芝生であるか否か）を判定する。そして、第二被写体抽出部１２は、緑色である（芝生である）場合、キー映像Ｆの当該画素の画素値を０に設定し、緑色以外である（芝生でない）場合、キー映像Ｆの当該画素の画素値を１に設定する。
【００３８】
関数Ψは、画素が色ベクトルｃ＝［ｃ(r)  ｃ(g)  ｃ(b)］Ｔ（上付きのＴは、行列またはベクトルの転置を表す）なる３次元のベクトルで表される場合、以下の式が用いられる。
【数４】
2020173726.tif 000006
θ0(r)，θ1(r)，θ0(g)，θ1(g)，θ0(b)，θ1(b)は、予め設定された閾値である。
【００３９】
尚、第二被写体抽出部１２は、クロマキー技術またはルミナンスキー技術を用いて、キー映像Ｆの画素値を２値以上の多値としてもよい。例えば、キー映像Ｆの画素値を０以上かつ１以下とし、画素値が大きいほど「第二被写体らしい」ものと定義するようにしてもよい。
【００４０】
（合成部１３）
合成部１３は、背景生成部１０から背景映像Ｂを入力すると共に、第二被写体抽出部１２からキー映像Ｆを入力する。そして、合成部１３は、背景映像Ｂに対し、キー映像Ｆに基づくキーイングにより入力映像Ｉの画素値を合成し、合成あり背景映像Ａ（第二被写体が合成された背景映像Ａ）を生成する（ステップＳ２０４）。合成部１３は、合成あり背景映像Ａを第一射影変換部１４に出力する。
【００４１】
例えば、第二被写体抽出部１２により、第二被写体である影の部分の色をＦ（ｔ；ｘ，ｙ）＝１、それ以外をＦ（ｔ；ｘ，ｙ）＝０としてキー映像Ｆが生成された場合を想定する。この場合、合成部１３は、例えば以下の式にて、背景映像Ｂに対し、キー映像Ｆの示す映像（キー映像Ｆの示す入力映像Ｉの部分）を合成した合成あり背景映像Ａを生成する。
【数５】
2020173726.tif 000007
前記式（５）において、右辺の第一項は、入力映像Ｉにおけるキー映像Ｆの示す影の領域の映像を示し、第二項は、背景映像Ｂにおけるキー映像Ｆの示す影以外の領域の映像を示す。
【００４２】
尚、合成部１３は、背景映像Ｂに対し、キー映像Ｆ及びキー映像Ｋに基づくキーイングにより入力映像Ｉの画素値を合成し、合成あり背景映像Ａを生成するようにしてもよい。
【００４３】
例えば、第二被写体抽出部１２により、第二被写体である日向の背景色（例えば、日向の芝生）をＦ（ｔ；ｘ，ｙ）＝０、それ以外をＦ（ｔ；ｘ，ｙ）＝１としてキー映像Ｆが生成された場合を想定する。この場合、合成部１３は、例えば以下の式にて、合成あり背景映像Ａを生成する。
【数６】
2020173726.tif 000008
【００４４】
前記式（６）において、Ｆ（ｔ；ｘ，ｙ）＝１の部分には日陰の背景領域及び前景（背景領域における影及び被写体領域における影）が含まれ、Ｋ（ｔ；ｘ，ｙ）＝１の部分には前景（被写体）が含まれる。したがって、右辺のＦ（ｔ；ｘ，ｙ）・（１−Ｋ（ｔ；ｘ，ｙ））＝１の部分には、日陰の背景領域（背景領域における影）のみが含まれることとなる。その結果、合成あり背景映像Ａは、背景映像Ｂに対し、影の映像のみを合成した絵柄となる。
【００４５】
例えば、影の色が被写体の色と同じ場合には、影のみが反映されるべきキー映像Ｆは、被写体を含んでしまい、合成あり背景映像Ａは、被写体の映像も含んでしまう。前記式（６）を用いることにより、合成あり背景映像Ａから被写体の映像を除外することができる。
【００４６】
（第一射影変換部１４）
第一射影変換部１４は、合成部１３から合成あり背景映像Ａを入力すると共に、予め設定された入力映像Ｉのカメラパラメータ及び仮想視点映像Ｊのカメラパラメータを入力する。
【００４７】
第一射影変換部１４は、合成あり背景映像Ａの各画素値が、被写界における所定の面内（例えば、地上高０の平面内、実空間上の面Ｇ内）の一点（または部分領域）を入力映像Ｉのカメラパラメータに応じて投影して撮像されたものと仮定する。そして、第一射影変換部１４は、被写界における所定の面内の一点（または部分領域）を、仮想視点（仮想視点映像Ｊ）のカメラパラメータに応じて、仮想視点映像Ｊの平面上に投影することで、背景の仮想視点映像Ｌを生成する（ステップＳ２０５）。
【００４８】
すなわち、第一射影変換部１４は、合成あり背景映像Ａの各画素値が、被写界における所定の面内に存在することを仮定した射影変換を実行し、背景の仮想視点映像Ｌを生成する。第一射影変換部１４は、背景の仮想視点映像Ｌを合成部１７に出力する。
【００４９】
実装上は、第一射影変換部１４は、仮想視点映像Ｊの画像座標から入力映像Ｉの画像座標へと光線を逆にたどることで、仮想視点映像Ｊの平面上に投影された合成あり背景映像Ａの画素値を決定し、背景の仮想視点映像Ｌを生成する。
【００５０】
図３は、第一射影変換部１４の構成例を示すブロック図であり、図４は、第一射影変換部１４の動作を説明する図である。第一射影変換部１４は、フレームメモリ２０，２４、走査部２１、第一逆投影部２２及び第一投影部２３を備えている。
【００５１】
走査部２１は、仮想視点映像Ｊのフレーム内の各画素を所定の順序で選択することで、画素の画像座標ＰJを走査し、画素の画像座標ＰJを第一逆投影部２２及びフレームメモリ２４に出力する。走査部２１は、例えばラスタ走査により、画素を順次選択する。
【００５２】
第一逆投影部２２は、走査部２１から仮想視点映像Ｊの画素の画像座標ＰJを入力すると共に、仮想視点映像Ｊのカメラパラメータを入力する。そして、第一逆投影部２２は、仮想視点映像Ｊのカメラパラメータに基づいて、画像座標ＰJを、被写界における所定の面である実空間上の面Ｇに逆投影し、逆投影像の点ＰGを設定し、点ＰGの位置情報を第一投影部２３に出力する。すなわち、第一逆投影部２２は、画像座標ＰJが実空間上の面Ｇのどこに対応するかを求め、対応する点ＰGを設定する。
【００５３】
具体的には、第一逆投影部２２は、仮想視点映像Ｊの光学主点ＯJから画像座標ＰJの点を通る半直線を、画像座標ＰJの点方向へ伸ばし、その半直線が面Ｇと交わる点（複数の交わる点を有する場合には、光学主点ＯJに最も近い点）を求め、点ＰGを設定する。
【００５４】
尚、面Ｇは平面であってもよいし、曲面であってもよい。面Ｇは、例えば被写界における地面、壁面、天井面（測量の結果得られる曲面であってもよいし、それを近似した平面であってもよい）とする。
【００５５】
第一投影部２３は、第一逆投影部２２から点ＰGの位置情報を入力すると共に、入力映像Ｉのカメラパラメータを入力する。そして、第一投影部２３は、入力映像Ｉのカメラパラメータに基づいて、点ＰGを入力映像Ｉの平面上に投影し、投影像の画像座標ＰIを設定し、画像座標ＰIをフレームメモリ２０に出力する。すなわち、第一投影部２３は、点ＰGが入力映像Ｉの平面のどこに対応するかを求め、対応する画像座標ＰIを設定する。
【００５６】
具体的には、第一投影部２３は、点ＰGと入力映像Ｉを撮影したカメラの光学主点ＯIとを結ぶ線分が、入力映像Ｉの平面と交わる点を求め、これを画像座標ＰIに設定する。
【００５７】
フレームメモリ２０は、合成部１３から合成あり背景映像Ａを入力し、合成あり背景映像Ａを格納する。これにより、フレームメモリ２０には、合成あり背景映像Ａの画素値が保持される。フレームメモリ２０は、第一投影部２３から画像座標ＰIを入力する。そして、フレームメモリ２０は、画像座標ＰI（その水平及び垂直成分をそれぞれＰI(x)及びＰI(y)とする）における合成あり背景映像Ａの画素値、すなわち入力映像Ｉの画素値Ｉ（ｔ；ＰI(x)，ＰI(y)）をフレームメモリ２４に出力する。
【００５８】
つまり、第一射影変換部１４により、フレームメモリ２０から、第一投影部２３にて設定された画像座標ＰIにおける画素値Ｉ（ｔ；ＰI(x)，ＰI(y)）が読み出され、フレームメモリ２４に出力される。
【００５９】
フレームメモリ２４は、走査部２１から画像座標ＰJを入力すると共に、フレームメモリ２０から画素値Ｉ（ｔ；ＰI(x)，ＰI(y)）を入力する。そして、フレームメモリ２４は、以下の式に示すように、画像座標ＰJ（その水平及び垂直成分をそれぞれＰJ(x)及びＰJ(y)とする）の位置に、画素値Ｉ（ｔ；ＰI(x)，ＰI(y)）を背景の仮想視点映像Ｌの画素値として格納する。フレームメモリ２４は、背景の仮想視点映像Ｌを合成部１７に出力する。
【数７】
2020173726.tif 000009
【００６０】
つまり、第一射影変換部１４により、フレームメモリ２４から、走査部２１にて設定された画像座標ＰJの位置に画素値Ｉ（ｔ；ＰI(x)，ＰI(y)）が格納され、背景の仮想視点映像Ｌとして読み出され、合成部１７に出力される。
【００６１】
（ビルボード設定部１５）
図１及び図２に戻って、ビルボード設定部１５は、第一被写体抽出部１１からキー映像Ｋを入力すると共に、予め設定された入力映像Ｉのカメラパラメータを入力する。そして、ビルボード設定部１５は、キー映像Ｋの示す被写体領域（例えば、Ｋ（ｔ；ｘ，ｙ）＝１を満たす領域）の各連結領域Ｃi（ｉは、連結領域の個々を区別するためのインデックスとする。）に対して、それぞれ所定のモデルによるビルボードの面Πiを設定する（ステップＳ２０６）。所定のモデルによるビルボードの面Πiとは、例えば、平面、円筒面または球面とする。
【００６２】
ビルボード設定部１５は、ビルボードの面Πiのパラメータ（例えば、面の方程式の各係数）をビルボードパラメータとして設定し、ビルボードパラメータを第二射影変換部１６に出力する。ここでは、ビルボード設定部１５は、連結領域Ｃiの総数（Ｄ個とする）のビルボードパラメータを出力するものとする。
【００６３】
図５は、ビルボード設定部１５の動作を説明する図である。ビルボード設定部１５は、所定のモデルによるビルボードの面Πiを平面とする場合には、例えば、以下の（ａ）、（ｂ）及び（ｃ）の全ての条件を満たすように、ビルボードの面Πiを設定する。
【００６４】
以下、図５を参照して説明する。
（ａ）面Πiは、連結領域Ｃiの代表点（例えば、連結領域Ｃi（図５に示す黒塗りの領域）のバウンディングボックスの底辺の中点）を面Ｇ上に逆投影した点Ｘ（入力映像Ｉを撮影したカメラの光学主点ＯIを始点とし、入力映像Ｉの平面上の前記代表点を通る半直線が面Ｇと交差する点Ｘ）を含む。
【００６５】
（ｂ）面Πiの法線ベクトルは、点Ｘにおける面Ｇの法線ベクトルと直交する。
（ｃ）面Πiは、前記（ａ）及び（ｂ）を満たす平面のうち、点Ｘから光学主点ＯIへのベクトルと、当該面Πiの法線ベクトルとの間の成す角が最小となるものである。
【００６６】
尚、ビルボード設定部１５は、前記（ｃ）の代わりに、以下の（ｄ）または（ｅ）の条件を満たすように、ビルボードの面Πiを設定するようにしてもよい。
（ｄ）面Πiは、前記（ａ）及び（ｂ）を満たす平面のうち、点Ｘから仮想視点映像Ｊの光学主点ＯJへのベクトルと、当該面Πiの法線ベクトルとの間の成す角が最小となるものである。
（ｅ）点Ｘから光学主点ＯIへのベクトルをｖIとし、点Ｘから光学主点ＯJへのベクトルをｖJとする。面Πiは、前記（ａ）及び（ｂ）を満たす平面のうち、ベクトル（αｖI＋（１−α）ｖJ）と、当該面Πiの法線ベクトルとの間の成す角が最小となるものである。パラメータαは、０＜α＜１を満たす実数とする（例えばα＝０．５）。
【００６７】
前記（ｅ）の条件を満たすように面Πiが設定されることにより、後述する合成部１７にて生成される仮想視点映像Ｊに含まれる被写体は、前記（ｃ）または前記（ｄ）を満たす場合に比べ、実際に近い形態で表現することができる。
【００６８】
このようにして設定されたビルボードの面Πiのパラメータは、連結領域Ｃiの総数をＤ個とした場合、Ｄ個のビルボードパラメータとして第二射影変換部１６へ出力される。
【００６９】
（第二射影変換部１６）
図１及び図２に戻って、第二射影変換部１６は、予め設定された入力映像Ｉのカメラパラメータ及び仮想視点映像Ｊのカメラパラメータを入力する。また、第二射影変換部１６は、第一被写体抽出部１１からキー映像Ｋを入力すると共に、ビルボード設定部１５からＤ個のビルボードパラメータを入力する。
【００７０】
第二射影変換部１６は、入力映像Ｉ及びキー映像Ｋの各画素がビルボード（Ｄ個のビルボードパラメータが示す面Πi）上にあるという仮定の下で、入力映像Ｉのカメラパラメータ、仮想視点映像Ｊのカメラパラメータ及びビルボードを用いて射影変換を実行する。
【００７１】
第二射影変換部１６は、前景の仮想視点映像（第一被写体の仮想視点映像）Ｍ1〜ＭD及びキーの仮想視点映像（第一キーの仮想視点映像）Ｎ1〜ＮDを生成する（ステップＳ２０７）。第二射影変換部１６は、前景の仮想視点映像Ｍ1〜ＭD及びキーの仮想視点映像Ｎ1〜ＮDを合成部１７に出力する。ここで、キーの仮想視点映像Ｎ1〜ＮDは、第一被写体の形状を表し、かつ当該第一被写体の領域と他の領域とを区別する画素値を有するキー映像である。
【００７２】
以下、各ビルボードの法線の向きは、ビルボード設定部１５により設定されたビルボードの面Πiの各法線ベクトルの方向のまま固定する場合で説明する。尚、各ビルボードの法線の向きは、各ビルボードを例えば仮想視点映像Ｊの光学主点ＯJに指向させる等、その法線方向に修正を加えるものであってもよい。
【００７３】
図６は、第二射影変換部１６の動作を説明する図である。Ｄ個のビルボードパラメータのそれぞれについて、射影変換が実行される。以下、Ｄ個のビルボードパラメータのうちｉ番目のビルボードパラメータについての射影変換について説明する。仮想視点映像Ｊの平面上のある注目画素の画像座標をＰJとし、画像座標ＰJに対応する入力映像Ｉの平面上にある画素の画像座標をＲiとする。
【００７４】
第二射影変換部１６は、仮想視点映像Ｊの光学主点ＯJを始点として、始点から注目画素の画像座標ＰJを通る半直線が、ｉ番目のビルボードの面Πiと交わる点Ｑiを求める。そして、第二射影変換部１６は、点Ｑiを入力映像Ｉの平面上に投影し、その像の画像座標Ｒiを求める。
【００７５】
具体的には、第二射影変換部１６は、点Ｑiと入力映像Ｉの光学主点ＯIとを結ぶ線分が入力映像Ｉの平面と交差する点の画像座標を求め、これを画像座標Ｒiに設定する。第二射影変換部１６は、画像座標Ｒiにおける入力映像Ｉの画素値を、仮想視点映像Ｊの平面上の注目画素の画像座標ＰJにおける画素値に設定する。また、第二射影変換部１６は、画像座標Ｒiにおけるキー映像Ｋの画素値を、仮想視点映像Ｊの平面上の注目画素の画像座標ＰJにおけるキー値に設定する。
【００７６】
図７は、第二射影変換部１６の構成例を示すブロック図である。この第二射影変換部１６は、走査部３０，３４、ビルボード選択部３１、フレームメモリ３２，３３，３７，３８、第二逆投影部３５及び第二投影部３６を備えている。
【００７７】
走査部３０は、Ｄ個のビルボードパラメータの示すビルボードを所定の順序で選択することで、ビルボードのインデックスｉ（選択したビルボードを識別するためのインデックス）を走査する。走査部３０は、インデックスｉをビルボード選択部３１に出力する。
【００７８】
尚、走査部３０は、Ｄ個のビルボードから１つを選択する際に、仮想視点映像Ｊの光学主点ＯJからの距離が遠いもの（光学主点ＯJからビルボードの面Πの代表点（例えば重心座標）までの距離（例えばユークリッド距離）が遠いもの）ほど先に選択するようにしてもよい。
【００７９】
これにより、後述する合成部１７において、複数のビルボードによる映像が重なり合う場合に、この順番で映像が合成されることで、近くの画素を優先することができ、遠くのビルボードを近くのビルボードで隠すいわゆる陰面処理を実現することができる。
【００８０】
ビルボード選択部３１は、ビルボード設定部１５からＤ個のビルボードパラメータを入力すると共に、走査部３０からインデックスｉを入力する。そして、ビルボード選択部３１は、Ｄ個のビルボードパラメータのうち、インデックスｉの示すビルボードパラメータを選択し、選択したビルボードパラメータを第二逆投影部３５に出力する。
【００８１】
走査部３４は、出力すべき前景の仮想視点映像Ｍ及びキーの仮想視点映像Ｎの平面上において画素位置を走査することで、各画素を所定の順序で選択し、画素の画像座標ＰJを第二逆投影部３５及びフレームメモリ３７，３８に出力する。走査部３４は、例えばラスタ走査により、画素を順次選択する。
【００８２】
第二逆投影部３５は、走査部３４から、前景の仮想視点映像Ｍ及びキーの仮想視点映像Ｎにおける画素の画像座標ＰJを入力すると共に、ビルボード選択部３１からビルボードパラメータを入力する。また、第二逆投影部３５は、予め設定された仮想視点映像Ｊのカメラパラメータを入力する。
【００８３】
第二逆投影部３５は、仮想視点映像Ｊのカメラパラメータに基づいて、画像座標ＰJを、ビルボードパラメータの示すビルボードの面Πiに逆投影し、逆投影像の点Ｑiを設定し、点Ｑiの位置情報を第二投影部３６に出力する。すなわち、第二逆投影部３５は、画像座標ＰJがビルボードの面Πiのどこに対応するかを求め、対応する点Ｑiを設定する。
【００８４】
具体的には、第二逆投影部３５は、仮想視点映像Ｊの光学主点ＯJから画像座標ＰJの点を通る半直線を、画像座標ＰJの点方向へ伸ばし、その半直線がビルボードの面Πiと交わる点（複数の交わる点を有する場合には、光学主点ＯJに最も近い点）を求め、点Ｑiを設定する。
【００８５】
第二投影部３６は、第二逆投影部３５から点Ｑiの位置情報を入力すると共に、入力映像Ｉのカメラパラメータを入力する。そして、第二投影部３６は、入力映像Ｉのカメラパラメータに基づいて、点Ｑiを入力映像Ｉの平面上に投影し、投影像の画像座標Ｒiを設定し、画像座標Ｒiをフレームメモリ３２，３３に出力する。すなわち、第二投影部３６は、点Ｑiが入力映像Ｉの平面のどこに対応するかを求め、対応する画像座標Ｒiを設定する。
【００８６】
具体的には、第二投影部３６は、点Ｑiと入力映像Ｉを撮影したカメラの光学主点ＯIとを結ぶ線分が、入力映像Ｉの平面と交わる点を求め、これを画像座標Ｒiに設定する。
【００８７】
フレームメモリ３２は、入力映像Ｉを格納する。これにより、フレームメモリ３２には、入力映像Ｉの画素値が保持される。フレームメモリ３２は、第二投影部３６から画像座標Ｒiを入力する。そして、フレームメモリ３２は、画像座標Ｒi（その水平及び垂直成分をそれぞれＲi(x)及びＲi(y)とする）における入力映像Ｉの画素値Ｉ（ｔ；Ｒi(x)，Ｒi(y)）をフレームメモリ３７に出力する。
【００８８】
つまり、第二射影変換部１６により、フレームメモリ３２から、第二投影部３６にて設定された画像座標Ｒiにおける画素値Ｉ（ｔ；Ｒi(x)，Ｒi(y)）が読み出され、フレームメモリ３７に出力される。
【００８９】
フレームメモリ３７は、走査部３４から画像座標ＰJを入力すると共に、フレームメモリ３２から画素値Ｉ（ｔ；Ｒi(x)，Ｒi(y)）を入力する。そして、フレームメモリ３７は、以下の式に示すように、画像座標ＰJ（その水平及び垂直成分をそれぞれＰJ(x)及びＰJ(y)とする）の位置に、画素値Ｉ（ｔ；Ｒi(x)，Ｒi(y)）を格納し、これを前景の仮想視点映像Ｍiの画素値Ｍi（ｔ；ＰJ(x)，ＰJ(y)）とする。
【数８】
2020173726.tif 000010
【００９０】
つまり、第二射影変換部１６により、フレームメモリ３７において、走査部３４にて設定された画像座標ＰJの位置に、画素値Ｉ（ｔ；Ｒi(x)，Ｒi(y)）が前景の仮想視点映像Ｍiの画素値Ｍi（ｔ；ＰJ(x)，ＰJ(y)）として格納される。
【００９１】
走査部３０により全てのインデックスｉが走査され、全てのインデックスｉについての画素値Ｉ（ｔ；Ｒi(x)，Ｒi(y)）が前景の仮想視点映像Ｍiの画素値Ｍi（ｔ；ＰJ(x)，ＰJ(y)）として、フレームメモリ３７に格納される。
【００９２】
フレームメモリ３７は、全てのインデックスｉ（ｉ＝１〜Ｄ）について格納した前景の仮想視点映像Ｍ1〜ＭDを、合成部１７に出力する。
【００９３】
つまり、第二射影変換部１６により、フレームメモリ３７から前景の仮想視点映像Ｍ1〜ＭDが読み出され、合成部１７に出力される。
【００９４】
フレームメモリ３３は、第一被写体抽出部１１からキー映像Ｋを入力して格納する。これにより、フレームメモリ３３には、キー映像Ｋの画素値が保持される。フレームメモリ３３は、第二投影部３６から画像座標Ｒiを入力する。そして、フレームメモリ３３は、画像座標Ｒi（その水平及び垂直成分をそれぞれＲi(x)及びＲi(y)とする）におけるキー映像Ｋの画素値Ｋ（ｔ；Ｒi(x)，Ｒi(y)）をフレームメモリ３８に出力する。
【００９５】
つまり、第二射影変換部１６により、フレームメモリ３３から、第二投影部３６にて設定された画像座標Ｒiにおける画素値Ｋ（ｔ；Ｒi(x)，Ｒi(y)）が読み出され、フレームメモリ３８に出力される。
【００９６】
フレームメモリ３８は、走査部３４から画像座標ＰJを入力すると共に、フレームメモリ３３から画素値Ｋ（ｔ；Ｒi(x)，Ｒi(y)）を入力する。そして、フレームメモリ３８は、以下の式に示すように、画像座標ＰJ（その水平及び垂直成分をそれぞれＰJ(x)及びＰJ(y)とする）の位置に、画素値Ｋ（ｔ；Ｒi(x)，Ｒi(y)）を格納し、これをキーの仮想視点映像Ｎiの画素値Ｎi（ｔ；ＰJ(x)，ＰJ(y)）とする。
【数９】
2020173726.tif 000011
【００９７】
つまり、第二射影変換部１６により、フレームメモリ３８において、走査部３４にて設定された画像座標ＰJの位置に、画素値Ｋ（ｔ；Ｒi(x)，Ｒi(y)）がキーの仮想視点映像Ｎiの画素値Ｎi（ｔ；ＰJ(x)，ＰJ(y)）として格納される。
【００９８】
走査部３０により全てのインデックスｉが走査され、全てのインデックスｉについての画素値Ｋ（ｔ；Ｒi(x)，Ｒi(y)）がキーの仮想視点映像Ｎiの画素値Ｎi（ｔ；ＰJ(x)，ＰJ(y)）として、フレームメモリ３８に格納される。
【００９９】
フレームメモリ３８は、全てのインデックスｉ（ｉ＝１〜Ｄ）について格納したキーの仮想視点映像Ｎ1〜ＮDを、合成部１７に出力する。
【０１００】
つまり、第二射影変換部１６により、フレームメモリ３８からキーの仮想視点映像Ｎ1〜ＮDが読み出され、合成部１７に出力される。
【０１０１】
（合成部１７）
図１及び図２に戻って、合成部１７は、第一射影変換部１４から背景の仮想視点映像Ｌを入力すると共に、第二射影変換部１６から前景の仮想視点映像Ｍ1〜ＭD及びキーの仮想視点映像Ｎ1〜ＮDを入力する。そして、合成部１７は、キーの仮想視点映像Ｎ1〜ＮDに基づいて、背景の仮想視点映像Ｌ及び前景の仮想視点映像Ｍ1〜ＭDを合成し、仮想視点映像Ｊを生成して出力する（ステップＳ２０８）。
【０１０２】
合成部１７は、背景の仮想視点映像Ｌ及び前景の仮想視点映像Ｍ1〜ＭDを合成する際に、例えば以下の式で表す処理を行う。具体的には、合成部１７は、キーの仮想視点映像Ｎ1〜ＮDにおける当該画素位置の画素値を参照し、ｉ＝１〜Ｄの順番に、その画素値が大きいほど、前景の仮想視点映像Ｍ1〜ＭDを低い透明度で重畳し、その画素値が小さいほど、前景の仮想視点映像Ｍ1〜ＭDを高い透明度で重畳することで、仮想視点映像Ｊを生成する。
【数１０】
2020173726.tif 000012
【０１０３】
尚、合成部１７は、キーの仮想視点映像Ｎ1〜ＮDを用いることなく、背景の仮想視点映像Ｌを下地として、その上に前景の仮想視点映像Ｍ1〜ＭDを画素位置毎に重畳し、仮想視点映像Ｊを生成するようにしてもよい。
【０１０４】
また、合成部１７は、仮想視点映像Ｊの各画素について、当該画素の各ビルボード上の対応点Ｑiと光学主点ＯJとの間の距離を算出し、全ビルボード中最も距離の短いビルボードの画素値を特定し、この画素値を用いて仮想視点映像Ｊを生成するようにしてもよい。
【０１０５】
以上のように、本発明の実施形態の仮想視点変換装置１によれば、背景生成部１０は、入力映像Ｉの複数フレームから背景映像Ｂを生成し、第一被写体抽出部１１は、入力映像Ｉの複数フレーム及び背景映像Ｂに基づいて第一被写体の領域を抽出し、キー映像Ｋを生成する。
【０１０６】
第二被写体抽出部１２は、入力映像Ｉの単一フレームから所定の映像特徴を有する第二被写体の領域を抽出し、キー映像Ｆを生成する。合成部１３は、背景映像Ｂに対し、キー映像Ｆに基づくキーイングにより入力映像Ｉの画素値を合成し、合成あり背景映像Ａを生成する。
【０１０７】
第一射影変換部１４は、合成あり背景映像Ａの各画素値が、被写界における面Ｇ内の一点を入力映像Ｉのカメラパラメータに応じて投影して撮像されたものと仮定し、面Ｇ内の一点を、仮想視点映像Ｊのカメラパラメータに応じて、仮想視点映像Ｊの平面上に投影することで、背景の仮想視点映像Ｌを生成する。
【０１０８】
ビルボード設定部１５は、キー映像Ｋの示す被写体領域の各連結領域Ｃiに対し、それぞれ所定のモデルによるビルボードの面Πiを設定し、Ｄ個のビルボードパラメータを設定する。
【０１０９】
第二射影変換部１６は、入力映像Ｉ及びキー映像Ｋの各画素がビルボード（Ｄ個のビルボードパラメータが示す面Πi）上にあるという仮定の下で、射影変換を実行し、前景の仮想視点映像Ｍ1〜ＭD及びキーの仮想視点映像Ｎ1〜ＮDを生成する。
【０１１０】
合成部１７は、キーの仮想視点映像Ｎ1〜ＮDに基づいて、背景の仮想視点映像Ｌ及び前景の仮想視点映像Ｍ1〜ＭDを合成し、仮想視点映像Ｊを生成して出力する。
【０１１１】
これにより、入力映像Ｉに含まれる背景及び第一被写体である前景に対し、異なる射影変換を適用することで、異なる視点から見た仮想視点映像Ｊを仮想的に生成することができる。この場合、背景映像Ｂにおいて欠落してしまう影等の第二被写体を第二被写体抽出部１２にて抽出し、合成部１３にて背景映像Ｂに合成するようにしたから、合成部１７において、より自然な仮想視点映像Ｊを得ることができる。
【０１１２】
したがって、撮影時の入力映像Ｉを、撮影時とは異なる視点の映像に仮想的に変換する際に、第一被写体の影等の第二被写体を有する領域を適切に合成することができ、一層自然な仮想視点映像Ｊを生成することが可能となる。
【０１１３】
〔他の実施形態〕
次に、仮想視点変換装置１について他の実施形態を説明する。図８は、本発明の他の実施形態による仮想視点変換装置の構成例を示すブロック図である。この仮想視点変換装置２は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、ビルボード設定部１５、第二射影変換部１６、合成部１７及び第一射影変換部１８を備えている。
【０１１４】
図１に示した仮想視点変換装置１とこの仮想視点変換装置２とを比較すると、両仮想視点変換装置１，２は、背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、ビルボード設定部１５、第二射影変換部１６及び合成部１７を備えている点で共通する。一方、仮想視点変換装置２は、合成部１３を備えておらず、第一射影変換部１４の代わりに第一射影変換部１８を備えている点で、合成部１３及び第一射影変換部１４を備えている仮想視点変換装置１と相違する。
【０１１５】
第一射影変換部１８は、第二被写体（例えば影）が合成された合成あり背景映像Ａを入力する代わりに、第二被写体抽出部１２から第二被写体の形状等を表すキー映像Ｆを入力する。また、第一射影変換部１８は、入力映像Ｉを入力し、予め設定された入力映像Ｉのカメラパラメータ及び仮想視点映像Ｊのカメラパラメータを入力する。
【０１１６】
第一射影変換部１８は、入力映像Ｉからキー映像Ｆの示す映像を抽出し、第二被写体映像を生成する。つまり、第一射影変換部１８は、キー映像Ｆの示す入力映像Ｉの部分を第二被写体映像として生成し、第二被写体映像に対し、第一射影変換部１４と同様の処理を行い、第二被写体の仮想視点映像Ｌ’を生成する。
【０１１７】
具体的には、第一射影変換部１８は、第二被写体映像の各画素値が、実空間上の面Ｇ内の一点（または部分領域）を入力映像Ｉのカメラパラメータに応じて投影して撮像されたものと仮定する。そして、第一射影変換部１８は、面Ｇ内の一点（または部分領域）を、仮想視点映像Ｊのカメラパラメータに応じて、仮想視点映像Ｊの平面上に投影することで、第二被写体の仮想視点映像Ｌ’を生成する。
【０１１８】
すなわち、第一射影変換部１８は、第二被写体映像の各画素値が、面Ｇ内に存在することを仮定した射影変換を実行し、第二被写体の仮想視点映像Ｌ’を生成し、第二被写体の仮想視点映像Ｌ’を合成部１７に出力する。
【０１１９】
合成部１７は、背景の仮想視点映像Ｌの代わりに、第一射影変換部１８から第二被写体の仮想視点映像Ｌ’を入力し、前述した処理を行う。すなわち、合成部１７は、キーの仮想視点映像Ｎ1〜ＮDに基づいて、第二被写体の仮想視点映像Ｌ’及び前景の仮想視点映像Ｍ1〜ＭDを合成し、仮想視点映像Ｊを生成して出力する。
【０１２０】
以上のように、本発明の他の実施形態の仮想視点変換装置２によれば、背景生成部１０は、背景映像Ｂを生成し、第一被写体抽出部１１は、キー映像Ｋを生成し、第二被写体抽出部１２は、キー映像Ｆを生成する。
【０１２１】
第一射影変換部１８は、キー映像Ｆの示す入力映像Ｉの部分を第二被写体映像として生成する。そして、第一射影変換部１８は、第二被写体映像の各画素値が、実空間上の面Ｇ内の一点を入力映像Ｉのカメラパラメータに応じて投影して撮像されたものと仮定し、面Ｇ内の一点を、仮想視点映像Ｊのカメラパラメータに応じて、仮想視点映像Ｊの平面上に投影することで、第二被写体の仮想視点映像Ｌ’を生成する。
【０１２２】
ビルボード設定部１５は、Ｄ個のビルボードパラメータを設定し、第二射影変換部１６は、前景の仮想視点映像Ｍ1〜ＭD及びキーの仮想視点映像Ｎ1〜ＮDを生成する。
【０１２３】
合成部１７は、キーの仮想視点映像Ｎ1〜ＮDに基づいて、第二被写体の仮想視点映像Ｌ’及び前景の仮想視点映像Ｍ1〜ＭDを合成し、仮想視点映像Ｊを生成して出力する。
【０１２４】
これにより、入力映像Ｉに含まれる第一被写体及び第二被写体に対し、異なる射影変換を適用することで、異なる視点から見た仮想視点映像Ｊを仮想的に生成することができる。この場合、第二被写体抽出部１２にて第二被写体の領域を抽出し、第一射影変換部１８にて第二被写体の仮想視点映像Ｌ’を生成するようにしたから、合成部１７において、より自然な仮想視点映像Ｊを得ることができる。
【０１２５】
したがって、撮影時の入力映像Ｉを、撮影時とは異なる視点の映像に仮想的に変換する際に、第一被写体の影等の第二被写体を有する領域を適切に合成することができ、一層自然な仮想視点映像Ｊを生成することが可能となる。
【０１２６】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【０１２７】
尚、本発明の実施形態による仮想視点変換装置１，２のハードウェア構成としては、通常のコンピュータを使用することができる。仮想視点変換装置１，２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【０１２８】
仮想視点変換装置１に備えた背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、合成部１３，１７、第一射影変換部１４、ビルボード設定部１５及び第二射影変換部１６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０１２９】
また、仮想視点変換装置２に備えた背景生成部１０、第一被写体抽出部１１、第二被写体抽出部１２、ビルボード設定部１５、第二射影変換部１６、合成部１７及び第一射影変換部１８の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０１３０】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【０１３１】
１，２  仮想視点変換装置
１０  背景生成部
１１  第一被写体抽出部
１２  第二被写体抽出部
１３  合成部（背景合成部）
１４，１８  第一射影変換部
１５  ビルボード設定部
１６  第二射影変換部
１７  合成部
２０，２４，３２，３３，３７，３８  フレームメモリ
２１，３０，３４  走査部
２２  第一逆投影部
２３  第一投影部
３１  ビルボード選択部
３５  第二逆投影部
３６  第二投影部
Ｉ  入力映像
Ｋ，Ｆ  キー映像
Ａ  合成あり背景映像
Ｂ  背景映像
Ｃi  連結領域
Ｌ  背景の仮想視点映像
Ｌ’  第二被写体の仮想視点映像
Ｊ  仮想視点映像
Ｍ1〜ＭD  前景の仮想視点映像（第一被写体の仮想視点映像）
Ｎ1〜ＮD  キーの仮想視点映像（第一キーの仮想視点映像）
ＯI，ＯJ  光学主点
Ｇ  実空間上の面
【図１】
2020173726.tif 000013
【図２】
2020173726.tif 000014
【図３】
2020173726.tif 000015
【図４】
2020173726.tif 000016
【図５】
2020173726.tif 000017
【図６】
2020173726.tif 000018
【図７】
2020173726.tif 000019
【図８】
2020173726.tif 000020