(57)【要約】【課題】一様ではない照明環境下における撮影空間の照明モデルを容易に作成することができる照明モデル作成装置を提供する。【解決手段】ビデオカメラ１１〜１Ｋは、撮影空間の所定位置に固定され、撮影空間内で移動されるマーカーを撮影し、照明モデル作成部２３は、ビデオカメラ１１〜１Ｋの各々の位置及び姿勢と、ビデオカメラ１１〜１Ｋにより撮影されたマーカーの各撮影時点の位置とから、ビデオカメラ１１〜１Ｋにより撮影された画像に含まれるマーカー観測画素に対応するマーカー面上の法線ベクトルを決定し、決定した法線ベクトルと、撮影されたマーカーの画素値とを用いて、撮影空間中における照明条件の位置による変化を表す照明モデルを作成する。【選択図】図１
2009031941.tif 000002
【特許請求の範囲】
【請求項１】
撮影空間の照明モデルを作成する照明モデル作成装置であって、
撮影空間の所定位置に固定され、撮影空間内で移動されるマーカーを撮影する複数の撮影手段と、
前記複数の撮影手段の各々の位置及び姿勢と、前記複数の撮影手段により撮影されたマーカーの各撮影時点の位置とから、前記複数の撮影手段により撮影された画像に含まれるマーカー観測画素に対応するマーカー面上の法線ベクトルを決定し、決定した法線ベクトルと、前記複数の撮影手段により撮影されたマーカーの画素値とを用いて、撮影空間中における照明条件の位置による変化を表す照明モデルを作成する作成手段とを備えることを特徴とする照明モデル作成装置。
【請求項２】
前記複数の撮影手段によりマーカーを撮影した複数の画像から画像上のマーカーの座標を抽出し、抽出したマーカーの座標を基に、再投影誤差の和を最小化するバンドル調整法を用いて、前記複数の撮影手段の各々の位置及び姿勢と、マーカーの各撮影時点の位置とを求める校正手段をさらに備え、
前記作成手段は、前記校正手段により求められた前記複数の撮影手段の各々の位置及び姿勢と、マーカーの各撮影時点の位置とを用いて、前記照明モデルを作成することを特徴とする請求項１記載の照明モデル作成装置。
【請求項３】
前記作成手段は、撮影空間内に各表面が矩形領域に分割された仮想立方体を配置し、前記矩形領域のうち床面に対応する底面領域は、自発光せず且つ入射される光を反射し、前記底面領域以外の側面領域及び上面領域は、入射される光を反射せず且つ自発光し、領域ｆｉから領域ｆｊに注ぐ光量をｖｉｊとし、前記マーカー上の点Ｘに照射される光量の割合αｉｊＸを光量ｖｉｊと前記法線ベクトルＮＸとの関数で表し、点Ｘに対する全照射光量μＸを割合αｉｊＸと光量ｖｉｊとの関数で表し、当該関数から導かれる連立方程式を解くことにより光量ｖｉｊを求め、求められた光量ｖｉｊから照明モデルを作成することを特徴とする請求項１又は２記載の照明モデル作成装置。
【請求項４】
前記マーカーは、球状体部材を備え、前記球状体部材は、操作者によって撮影空間内で移動され、
前記作成手段は、前記操作者と反対側の前記球状体部材の半球面上の画素値を用いて、前記照明モデルを作成することを特徴とする請求項１〜３のいずれかに記載の照明モデル作成装置。
【請求項５】
撮影空間の所定位置に固定された複数の撮影手段と、作成手段とを備える照明モデル作成装置を用いて、撮影空間の照明モデルを作成する照明モデル作成方法であって、
前記複数の撮影手段が、撮影空間内で移動されるマーカーを撮影するステップと、
前記作成手段が、前記複数の撮影手段の各々の位置及び姿勢と、前記複数の撮影手段により撮影されたマーカーの各撮影時点の位置とから、前記複数の撮影手段により撮影された画像に含まれるマーカー観測画素に対応するマーカー面上の法線ベクトルを決定し、決定した法線ベクトルと、前記複数の撮影手段により撮影されたマーカーの画素値とを用いて、撮影空間中における照明条件の位置による変化を表す照明モデルを作成するステップとを含むことを特徴とする照明モデル作成方法。
【請求項６】
撮影空間の照明モデルを作成するための照明モデル作成プログラムであって、
撮影空間の所定位置に固定された複数の撮影手段により撮影された、撮影空間内で移動されるマーカーの画像を取得する取得手段と、
前記複数の撮影手段の各々の位置及び姿勢と、前記複数の撮影手段により撮影されたマーカーの各撮影時点の位置とから、前記複数の撮影手段により撮影された画像に含まれるマーカー観測画素に対応するマーカー面上の法線ベクトルを決定し、決定した法線ベクトルと、前記複数の撮影手段により撮影されたマーカーの画素値とを用いて、撮影空間中における照明条件の位置による変化を表す照明モデルを作成する作成手段としてコンピュータを機能させることを特徴とする照明モデル作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一様ではない照明環境下における撮影空間の照明モデルを作成する照明モデル作成装置、照明モデル作成方法及び照明モデル作成プログラムに関するものである。
【背景技術】
【０００２】
ＣＧモデルの生成において重要となる物体表面の反射パラメータを精度良く推定するには照明状況について詳しく知る必要がある。照明状況の簡便なキャリブレーション法として、魚眼レンズを用いたり、鏡面性の球体をシーン中に配置する方法が知られている。これらの手法は、シーン内の照明条件が一様であることを仮定しているが、実際の撮影シーンにおいては、特に、人物像を対象とするなど被写体が比較的大きい場合、シーン内の照明条件は一様とはいえないことが多い。
【０００３】
前述の手法で一様ではない照明環境を校正するには、シーン内をそれらの装置を移動させながら、複数回観測を繰り返す必要が生じるが、その場合、装置自身が照明状況を変化させてしまうという問題がある。これらの問題を避けるため、撮影対象を含むシーンの全ての物体を撮影した画像からラジオシティ法の逆問題として各部の反射率を計算する手法が提案されている（例えば、非特許文献１参照）。
【非特許文献１】ティ  マチダ（T. Machida）他２名、「相互反射を用いた実体物の表面反射率のモデリング」（Surface reflectance modeling of real objects with interreflections）、Ｐｒｏｃ．ｏｆ  Ｎｉｎｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｖｏｌ．１，ｐｐ．１７０−１７７、２００３年.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のラジオシティ法は、一般に、計算量が多く、静止環境以外に適用することは、事実上困難であるため、一様ではない照明環境下における撮影空間の照明モデルを容易に作成することはできない。
【０００５】
本発明の目的は、一様ではない照明環境下における撮影空間の照明モデルを容易に作成することができる照明モデル作成装置、照明モデル作成方法及び照明モデル作成プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る照明モデル作成装置は、撮影空間の照明モデルを作成する照明モデル作成装置であって、撮影空間の所定位置に固定され、撮影空間内で移動されるマーカーを撮影する複数の撮影手段と、前記複数の撮影手段の各々の位置及び姿勢と、前記複数の撮影手段により撮影されたマーカーの各撮影時点の位置とから、前記複数の撮影手段により撮影された画像に含まれるマーカー観測画素に対応するマーカー面上の法線ベクトルを決定し、決定した法線ベクトルと、前記複数の撮影手段により撮影されたマーカーの画素値とを用いて、撮影空間中における照明条件の位置による変化を表す照明モデルを作成する作成手段とを備えるものである。
【０００７】
本発明に係る照明モデル作成装置においては、撮影空間の所定位置に固定された複数の撮影手段により撮影空間内で移動されるマーカーが撮影され、複数の撮影手段の各々の位置及び姿勢と、撮影されたマーカーの各撮影時点の位置とから、撮影された画像に含まれるマーカー観測画素に対応するマーカー面上の法線ベクトルが決定され、決定された法線ベクトルと、マーカーの画素値とを用いて、撮影空間中における照明条件の位置による変化を表す照明モデルが作成されるので、一様ではない照明環境下における撮影空間の照明モデルを容易に作成することができる。
【０００８】
前記照明モデル作成装置は、前記複数の撮影手段によりマーカーを撮影した複数の画像から画像上のマーカーの座標を抽出し、抽出したマーカーの座標を基に、再投影誤差の和を最小化するバンドル調整法を用いて、前記複数の撮影手段の各々の位置及び姿勢と、マーカーの各撮影時点の位置とを求める校正手段をさらに備え、前記作成手段は、前記校正手段により求められた前記複数の撮影手段の各々の位置及び姿勢と、マーカーの各撮影時点の位置とを用いて、前記照明モデルを作成することが好ましい。
【０００９】
この場合、バンドル調整法を用いて、マーカーを撮影した複数の画像から複数の撮影手段の各々の位置及び姿勢と、マーカーの各撮影時点の位置とを簡易に求めることができ、これらのパラメータを用いて照明モデルを容易に作成することができる。
【００１０】
前記作成手段は、撮影空間内に各表面が矩形領域に分割された仮想立方体を配置し、前記矩形領域のうち床面に対応する底面領域は、自発光せず且つ入射される光を反射し、前記底面領域以外の側面領域及び上面領域は、入射される光を反射せず且つ自発光し、領域ｆｉから領域ｆｊに注ぐ光量をｖｉｊとし、前記マーカー上の点Ｘに照射される光量の割合αｉｊＸを光量ｖｉｊと前記法線ベクトルＮＸとの関数で表し、点Ｘに対する全照射光量μＸを割合αｉｊＸと光量ｖｉｊとの関数で表し、この関数から導かれる連立方程式を解くことにより光量ｖｉｊを求め、求められた光量ｖｉｊから照明モデルを作成することが好ましい。この場合、少ない計算量で、高精度な照明モデルを容易に作成することができる。
【００１１】
前記マーカーは、球状体部材からなり、前記球状体部材は、操作者によって撮影空間内で移動され、前記作成手段は、前記操作者と反対側の前記球状体部材の半球面上の画素値を用いて、前記照明モデルを作成することが好ましい。この場合、遮蔽物である操作者による影響を抑制して、高精度な照明モデルを容易に作成することができる。
【００１２】
本発明に係る照明モデル作成方法は、撮影空間の所定位置に固定された複数の撮影手段と、作成手段とを備える照明モデル作成装置を用いて、撮影空間の照明モデルを作成する照明モデル作成方法であって、前記複数の撮影手段が、撮影空間内で移動されるマーカーを撮影するステップと、前記作成手段が、前記複数の撮影手段の各々の位置及び姿勢と、前記複数の撮影手段により撮影されたマーカーの各撮影時点の位置とから、前記複数の撮影手段により撮影された画像に含まれるマーカー観測画素に対応するマーカー面上の法線ベクトルを決定し、決定した法線ベクトルと、前記複数の撮影手段により撮影されたマーカーの画素値とを用いて、撮影空間中における照明条件の位置による変化を表す照明モデルを作成するステップとを含むものである。
【００１３】
本発明に係る照明モデル作成プログラムは、撮影空間の照明モデルを作成するための照明モデル作成プログラムであって、撮影空間の所定位置に固定された複数の撮影手段により撮影された、撮影空間内で移動されるマーカーの画像を取得する取得手段と、前記複数の撮影手段の各々の位置及び姿勢と、前記複数の撮影手段により撮影されたマーカーの各撮影時点の位置とから、前記複数の撮影手段により撮影された画像に含まれるマーカー観測画素に対応するマーカー面上の法線ベクトルを決定し、決定した法線ベクトルと、前記複数の撮影手段により撮影されたマーカーの画素値とを用いて、撮影空間中における照明条件の位置による変化を表す照明モデルを作成する作成手段としてコンピュータを機能させるものである。
【発明の効果】
【００１４】
本発明によれば、撮影空間の所定位置に固定された複数の撮影手段により撮影空間内で移動されるマーカーが撮影され、複数の撮影手段の各々の位置及び姿勢と、撮影されたマーカーの各撮影時点の位置とから、撮影された画像に含まれるマーカー観測画素に対応するマーカー面上の法線ベクトルが決定され、決定された法線ベクトルと、マーカーの画素値とを用いて、撮影空間中における照明条件の位置による変化を表す照明モデルが作成されるので、一様ではない照明環境下における撮影空間の照明モデルを容易に作成することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施の形態による照明モデル作成装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による照明モデル作成装置の構成を示すブロック図である。
【００１６】
図１に示す照明モデル作成装置は、複数のビデオカメラ１１〜１Ｋ、画像取得部２１、幾何校正部２２、照明モデル作成部２３、隠蔽関係記述部２４、局所照明モデル算出部２５及びＣＧ作成部２６を備える。
【００１７】
Ｋ台（Ｋは２以上の整数）のビデオカメラ１１〜１Ｋは、撮影空間を取り囲むように円状に所定間隔で配置され、操作者が操作するマーカーを互いに異なる複数のカメラ視点から撮影したマーカー画像を画像取得部２１へ出力する。例えば、ビデオカメラ１１〜１Ｋとして、４０台のビデオカメラを用い、撮影されたカラー動画像が各ビデオカメラからフレーム単位で画像取得部２１へ出力される。
【００１８】
画像取得部２１、幾何校正部２２、照明モデル作成部２３、隠蔽関係記述部２４、局所照明モデル算出部２５及びＣＧ作成部２６は、入力装置、表示装置、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、画像Ｉ／Ｆ（インターフェース）部及び外部記憶装置等を備えるコンピュータを用いて、ＲＯＭ又は外部記憶装置に予め記憶されている、後述する照明モデル作成処理を行うための照明モデル作成プログラムをＣＰＵ等で実行することにより実現される。
【００１９】
なお、幾何校正部２２、照明モデル作成部２３、隠蔽関係記述部２４、局所照明モデル算出部２５及びＣＧ作成部２６の構成例は、上記の例に特に限定されず、各ブロックを専用のハードウエアから構成したり、一部のブロック又はブロック内の一部の処理のみを専用のハードウエアで構成したりする等の種々の変更が可能である。また、マーカー画像等を所定のネットワークを介してコンピュータへ送信し、後述する画像処理のみをコンピュータで実行するようにしてもよい。
【００２０】
画像取得部２１は、互いに異なる複数のカメラ視点からマーカーを撮影した複数（Ｋ枚）のマーカー画像を取得し、取得した複数のマーカー画像をフレーム単位で（撮影時間毎に）一次的に記憶するとともに、複数のマーカー画像を幾何校正部２２及び照明モデル作成部２３へ出力する。ここで、マーカーは、先端から３箇所の所定位置に球状体が取り付けられた棒体から構成され、操作者が棒体を把持して撮影空間内で球状体を移動させ、先端の球状体がマーカーとして検出され、他の２つの球状体は、先端の球状体の検出時のノイズを除去するために使用される。
【００２１】
幾何校正部２２は、複数のマーカー画像から画像上のマーカーの座標（先端の球状体の中心位置）を抽出し、抽出したマーカーの座標を基に、再投影誤差の和を最小化するバンドル調整法を用いて、各ビデオカメラ１１〜１Ｋの位置及び姿勢と、マーカーの各撮影時点の位置とを求め、照明モデル作成部２３へ出力する。
【００２２】
照明モデル作成部２３は、幾何校正部２２により求められた各ビデオカメラ１１〜１Ｋの位置及び姿勢と、マーカーの各撮影時点の位置と、画像取得部２１からの複数のマーカー画像とを用いて、マーカー画像に含まれるマーカー観測画素に対応するマーカー面上の法線ベクトルを決定し、決定した法線ベクトルと、マーカー画像のマーカーの画素値とを用いて、撮影空間中における照明条件の位置による変化を表す照明モデル（大域照明モデル）を作成して隠蔽関係記述部２４へ出力する。
【００２３】
また、ビデオカメラ１１〜１Ｋは、被写体、例えば、人物を撮影した被写体画像を画像取得部２１へ出力し、画像取得部２１は、被写体画像を隠蔽関係記述部２４へ出力する。隠蔽関係記述部２４は、撮影空間内に被写体（物体等）が位置する場合に、被写体画像を用いて公知の視体積交差法等により被写体の形状を特定し、特定した被写体の形状による照明の隠蔽による影響を考慮した照明モデルを、照明モデル作成部２３により作成された照明モデルから作成して局所照明モデル算出部２５へ出力する。局所照明モデル算出部２５は、被写体の隠蔽による影響を考慮した照明モデルをコンピュータグラフィクスでよく利用される球面調和関数による展開係数を用いた表現に変換した局所照明モデルを算出してＣＧ作成部２６へ出力する。
【００２４】
ＣＧ作成部２６は、被写体の３次元モデルをＣＧ環境内の仮想シーンに配置し、局所照明モデルを用いて、撮影空間の一様ではない照明環境下における３次元モデルのＣＧ画像を作成する。例えば、被写体が能の演者である場合、舞台や他の演者などの別途用意したＣＧオブジェクトとともに、能の演者の３次元モデルが配置され、撮影空間の一様ではない照明環境を反映したＣＧ画像がレンダリングされる。
【００２５】
このようにして、本実施の形態では、撮影空間の所定位置に固定されたビデオカメラ１１〜１Ｋにより撮影空間内で移動されるマーカーが撮影され、ビデオカメラ１１〜１Ｋの各々の位置及び姿勢と、撮影されたマーカーの各撮影時点の位置とから、撮影された画像に含まれるマーカー観測画素に対応するマーカー面上の法線ベクトルが決定され、決定された法線ベクトルと、マーカーの画素値とを用いて、撮影空間中における照明条件の位置による変化を表す照明モデルが作成されるので、一様ではない照明環境下における撮影空間の照明モデルを容易に作成することができる。
【００２６】
本実施の形態では、ビデオカメラ１１〜１Ｋが複数の撮影手段の一例に相当し、照明モデル作成部２３が作成手段の一例に相当し、幾何校正部２２が校正手段の一例に相当し、画像取得部２１が取得手段の一例に相当する。
【００２７】
次に、上記のように構成された照明モデル作成装置により、撮影空間の照明モデルを作成する照明モデル作成処理について説明する。図２は、図１に示す照明モデル作成装置による照明モデル作成処理を説明するためのフローチャートである。
【００２８】
図２を参照して、まず、ステップＳ１１において、幾何校正部２２は、ビデオカメラ１１〜１Ｋのカメラパラメータを初期化する。具体的には、幾何校正部２２は、例えば、「R. Tsai，“A versatile camera calibration technique for highaccuracy 3D machine vision metrology using off-the shelf tv cameras and lenses”，IEEE J. Robotics and Automation, 3,4, pp. 323-344 (1987)」に記載される方法によりマーカーを利用した校正を行い、全てのビデオカメラ１１〜１Ｋの内部パラメータ及び外部パラメータ（位置及び姿勢）の初期値を得る。
【００２９】
次に、ステップＳ１２において、各ビデオカメラ１１〜１Ｋは、操作者が操作するマーカーを撮影したマーカー画像を画像取得部２１を介して幾何校正部２２へ出力し、幾何校正部２２は、各マーカー画像からクロマキーと３つの球状体（マーカー）間の幾何関係を基にマーカー領域を特定し、マーカー中心座標を抽出する。
【００３０】
図３は、ビデオカメラ１１〜１Ｋの取り付け状態の一例を示す図であり、図４は、マーカーの抽出例を示す図である。図３に示すように、撮影空間を取り囲むように円状に所定間隔で配置されたビデオカメラ１１〜１Ｋにより、操作者により操作されるマーカーが撮影され、図４に示す×印の位置のうち先端の×印の位置がマーカー中心座標として抽出される。
【００３１】
次に、ステップＳ１３において、幾何校正部２２は、バンドル調整法を用いて、２次元投影誤差を最小化することにより、各ビデオカメラ１１〜１Ｋの位置及び姿勢と、マーカーの各撮影時点の位置とを推定する。ここで、時刻ｔにＮ台のビデオカメラＣ１，…，ＣＮでマーカーを観測し、それぞれのカメラ画像上でマーカー座標ｘ１，ｔ，…，ｘＮ，ｔを観測したとする。また、時刻ｔにおけるマーカーの３次元位置の推定値をＸｔとすると、ビデオカメラＣｊにおける投影位置は、次式で計算できる。ここで、Ｒｊ、Ｔｊ、Ａｊは、ビデオカメラＣｊの回転行列、位置、内部パラメータをそれぞれ示す。
【００３２】
【数１】
2009031941.tif 000003
【００３３】
このとき、全観測に対する再投影誤差の総和Ｊａｌｌは、次式で計算できる。
【００３４】
【数２】
2009031941.tif 000004
【００３５】
再投影誤差の総和Ｊａｌｌを最小化するビデオカメラの位置、姿勢及び内部パラメータ(焦点距離)、並びに各撮影時刻のマーカーの３次元位置は、Levenberg-Marquardt法などの非線型最適化アルゴリズムを利用して、次式により決定される。
【００３６】
【数３】
2009031941.tif 000005
【００３７】
図５は、マーカー画像及びマーカー座標の一例を示す図である。図５の（ａ）に示すような約３００フレームの観測画像を用い、図５の（ｂ）に示すマーカー座標を入力データとして、バンドル調整による幾何校正を行い、４０台分のビデオカメラの位置及び姿勢を求めた結果、最終投影誤差は、１観測あたり１．１画素となった。
【００３８】
次に、ステップＳ１４において、照明モデル作成部２３は、各ビデオカメラ１１〜１Ｋの位置及び姿勢と、マーカーの各撮影時点の位置とを幾何校正部２２から取得するとともに、マーカーの各撮影時点のマーカー画像を画像取得部２１から取得する。
【００３９】
次に、ステップＳ１５において、照明モデル作成部２３は、取得した各ビデオカメラ１１〜１Ｋの位置及び姿勢と、マーカーの各撮影時点の位置と、マーカーの各撮影時点のマーカー画像を用いて、撮影空間中における照明条件の位置による変化を表す照明モデルを作成する。すなわち、観測環境内で操作者がマーカーを移動させながら、複数回の撮影を行い、マーカーと操作者、マーカー及び操作者と周囲環境の１次反射のみを考慮し、２次反射以降を環境光として近似することで、マーカー及び操作者の影響を取り除いた撮影環境固有の照明状況を推定する。これにより、シーン内に新たな被写体が追加された場合でも、光源状況を考慮した反射パラメータの推定が可能になる。
【００４０】
ここで、上記の照明モデルの作成処理について詳細に説明する。まず、照明モデル作成部２３は、コンピュータグラフィクスにおけるレンダリング法の一種であるラジオシティ法で用いられるHemicube法と同様に、図６に示すように、撮影環境の周囲を取り囲む仮想立方体を仮定し、仮想立方体の各面を矩形領域ＲＡに分割し、複数の領域ｆ１，…，ｆＮを設定する。次に、領域ｆｉから領域ｆｊに注ぐ光量（光線密度）をｖｃｉｊで表すと（ここで、ｃはカラーチャネルであり、ｃ∈｛Ｒ，Ｇ，Ｂ｝）、撮影環境全体の照明状況は、Ｆ＝｛ｖｃｉｊ，１≦ｉ，ｊ≦Ｎ，ｃ∈｛Ｒ，Ｇ，Ｂ｝｝で表され、ｖｃｉｊは、次式で表され、右辺の第１項の領域ｆｉの自発光成分と、第２項の反射成分とからなる。
【００４１】
【数４】
2009031941.tif 000006
【００４２】
ここで、ｒｃｉは領域ｆｉの拡散反射係数であり、鏡面反射成分は考慮せず、簡単のため、被写体周囲及び上部の仮想面（複数の矩形領域のうち底面領域以外の側面領域及び上面領域）については、ｒｃｉ＝０、床面（底面領域）については、ｅｃｉｊ＝０とする。また、図７は、マーカーの観測モデルの一例を示す模式図であり、図７に示すように、Ｎｉは領域ｆｉの法線ベクトル、Ｌｉｊは領域ｆｉから領域ｆｊに向かうベクトルをそれぞれ示す。
【００４３】
上記の照明状況Ｆを大局的な照明モデルとして、照明モデル作成部２３は、以下のようにして求める。まず、照明モデルＦを獲得するため、マーカーを用いた簡易なサンプリング法を用いる。マーカーは、棒の先端に鏡面性をほとんど持たない素材で作られた球状体であり、操作者が棒を手に持って、このマーカーを撮影環境中で動かし、その際、マーカーをできるだけ体から離れるようにし、棒の先端方向の撮影画素のみを計算に利用するようにする。すなわち、照明モデル作成部２３は、操作者と反対側の球状体の半球面上の画素値を用いて照明モデルＦを作成する。
【００４４】
ここで、照明モデルＦの作成に用いるマーカーの画素範囲について詳細に説明する。マーカー画像の取得においては、遮蔽物である人体の影響を低減するために、できるだけマーカーを人体から離して撮影し、撮影された画像の中で人体による遮蔽の影響が少ない画素を選択的に利用することでさらに推定精度の向上を図る。
【００４５】
図８は、マーカー画像の中から照明モデルＦの作成に用いるマーカーの画素の選択方法を説明するための模式図である。図８に示すように、マーカー上の点をＸとし、点Ｘにおけるマーカー表面の法線ベクトルＮＸ、人体上の点Ｈからマーカーに向かうベクトルＶＸの水平成分をそれぞれＮ’Ｘ、Ｖ’Ｘとする。本実施の形態では、床面以外の微小面は反射成分を持たないと仮定しているため、人体上の任意の点について、次式が成り立つ点Ｘを選択すれば、これらの微小面からマーカーに入射する光線に対する遮蔽の影響は無視できる。
【００４６】
ＮＸ・ＶＸ＞０  …  （５）
一方、床面については拡散反射を仮定しているため、人体による反射及び遮蔽による床面への入射光強度の変化を考慮する必要があり、人体上の点Ｈにおいて拡散反射した光線の床面ｆｉへの入射強度は距離ｘの増加に伴い、距離ｘの自乗の逆数と床面に対する入射角余弦の積Ｘ・（Ｘｆｉ−Ｈ）／ｘ２に比例して減少する。例えば、高さ１ｍの点Ｈにおいて、等方的に拡散した光線の水平距離２ｍの床面への入射強度は、点Ｈ直下の点を１とすると、約０．０９となる。また、人体による遮蔽の影響も、床面に対する入射角余弦に比例して減少する。したがって、各撮影フレームにおいて、人体から一定距離ｌｔｈ以内にある床面領域を計算から除外することで、遮蔽の影響を相当程度回避できる。人体位置から距離ｌｔｈ以内にある床面領域からの反射光の影響を受けないマーカー上の点Ｘは、以下の条件を満たす。
【００４７】
ｌｃｏｓθ＝ｌ（Ｖ’Ｘ・Ｎ’Ｘ）＜ｌｔｈ  …  （６）
以上より、照明モデル作成部２３は、式（５）及び式（６）の条件を満たすマーカー上の点の観測画素をサンプル点として利用する。
【００４８】
次に、位置Ｘにある点は、位置Ｔ、向き位置（姿勢）Ｒに置かれたビデオカメラの画像面上の位置ｘ に、以下のように投影される。ここで、Ａはビデオカメラの内部パラメータを表す。
【００４９】
【数５】
2009031941.tif 000007
【００５０】
ビデオカメラの幾何は予め校正されているため、マーカー中心の３次元位置Ｘｃは、容易に知ることができ、ビデオカメラにより観測されるマーカー表面上の点をＸ、マーカの半径をｓとすると、次式が成り立つ。
【００５１】
（Ｘ−Ｘｃ）’（Ｘ−Ｘｃ）＝ｓ２  …  （８）
式（７）及び（８）からＸが得られ、このとき、点Ｘにおけるマーカー表面の法線ベクトルＮＸは、次式で表される。
【００５２】
ＮＸ＝Ｘ−Ｘｃ  …  （９）
領域ｆｉの中心位置Ｘｆｉから領域ｆｊの中心位置Ｘｆｊに向かうベクトルをＬｉｊ（Ｘｆｊ−Ｘｆｉ）とすると、領域ｆｉから領域ｆｊに向かう光線密度ｖｃｉｊのうち点Ｘに照射される割合αｃｉｊＸは、以下で計算できる。ここで、ｄ（Ｘｆｉ，Ｘｆｊ，Ｐ）は点Ｘｆｉ，Ｘｆｊを通る線分と点Ｐとの距離を表し、Ｄは領域ｆｊの平均半径を表す。
【００５３】
【数６】
2009031941.tif 000008
【００５４】
このとき、点Ｘに対する全照射光強度μｃＸは次式で表される。
【００５５】
【数７】
2009031941.tif 000009
【００５６】
ここで、マーカーを撮影した全Ｋ画素を考えると、以下の式が成り立ち、各領域の反射条件を考慮しながら、次式を解くことで照明モデルＦを求めることができる。
【００５７】
【数８】
2009031941.tif 000010
【００５８】
すなわち、照明モデル作成部２３は、撮影空間内に各表面が矩形領域に分割された仮想立方体を配置し、矩形領域のうち床面に対応する底面領域は、自発光せず且つ入射される光を反射し、底面領域以外の側面領域及び上面領域は、入射される光を反射せず且つ自発光し、領域ｆｉから領域ｆｊに注ぐ光量をｖｉｊとし、照明モデルをＦ＝｛ｖｃｉｊ，１≦ｉ，ｊ≦Ｎ，ｃ∈｛Ｒ，Ｇ，Ｂ｝｝としたときに、各ビデオカメラ１１〜１Ｋの位置及び姿勢と、マーカーの各撮影時点の位置とから式（７）及び（８）に従ってＸを求め、式（９）からマーカー観測画素に対応するマーカー面上の法線ベクトルＮＸを決定し、マーカー上の点Ｘに照射される光量の割合αｃｉｊＸを光量ｖｃｉｊと前記法線ベクトルＮＸとの関数である式（１０）及び（１１）で表し、点Ｘに対する全照射光量μｃＸを割合αｃｉｊＸと光量ｖｃｉｊとの関数である式（１２）で表し、式（１２）から導かれる連立方程式（１３）を解くことにより光量ｖｃｉｊを求め、求められた光量ｖｃｉｊから照明モデルＦを作成する。
【００５９】
次に、ステップＳ１６において、ビデオカメラ１１〜１Ｋは、被写体、例えば、人物を撮影した被写体画像を画像取得部２１を介して隠蔽関係記述部２４へ出力し、隠蔽関係記述部２４は、撮影空間内に被写体（物体等）が位置する場合に、被写体画像を用いて公知の視体積交差法等により被写体の形状を特定し、特定した被写体の形状による照明の隠蔽による影響を考慮した照明モデルを上記照明モデルＦから作成する。
【００６０】
ここで、上記の物体による隠蔽関係の記述に関して詳細に説明する。上記の大域照明モデルＦは、撮影空間内に物体が存在しない場合の光線状況を表しているが、実際の撮影時には当然被写体(対象物体)自身による隠蔽が生じる。本実施の形態では、視体積交差法等により対象物体の形状Ｓを求め、対象物体による隠蔽の影響を考慮する。但し、２次反射以降の影響を考慮しない。すなわち、対象物体の隠蔽による床面輝度の変化は考慮するが、対象物体に反射された光が床面で再度反射され対象物体にあたるといった場合は、計算に含めず、誤差として扱う。
【００６１】
上記の仮想立方体の各面を拡散反射面とし、特に床面以外では反射係数をゼロとすると、床面の反射係数ｒｉは、以下のように算出できる。
【００６２】
【数９】
2009031941.tif 000011
【００６３】
領域ｆｉ上の点Ｘｆｉから領域ｆｊ上の点Ｘｆｊに向かう光線が物体Ｓに交差するか否かを検査する。
【００６４】
【数１０】
2009031941.tif 000012
【００６５】
このとき、領域ｆｊから領域ｆｉへの入射光量は、次式で計算できる。
【００６６】
【数１１】
2009031941.tif 000013
【００６７】
ここで、Ｘｆｉ，Ｘｆｊは、領域ｆｉ、ｆｊをそれぞれｎｉ個、ｎｊ個に均等分割した微小領域の中心座標を示し、物体が存在する条件下での領域ｆｉからの放射光量ｖ’ｉｊは、次のようにして計算できる。
【００６８】
【数１２】
2009031941.tif 000014
【００６９】
上記のようにして、隠蔽関係記述部２４は、撮影空間内に被写体（物体等）が位置する場合に、被写体画像を用いて公知の視体積交差法等により被写体の形状を特定し、式（１７）等を用いて、特定した被写体の形状による照明の隠蔽による影響を反映した照明モデルを上記照明モデルＦから作成する。
【００７０】
次に、ステップＳ１７において、局所照明モデル算出部２５は、被写体の隠蔽による影響を反映した照明モデルをコンピュータグラフィクスでよく利用される球面調和関数による展開係数を用いた表現に変換した局所照明モデルを算出してＣＧ作成部２６へ出力する。
【００７１】
ここで、上記の球面調和関数による展開係数を用いた表現に変換した局所照明モデルの算出方法に関して詳細に説明する。上記の照明モデルは、撮影空間内の任意の位置の光線状況を表しているが、撮影環境の周囲に考えた仮想立方体面上のラジアンスとして表現しているため、仮想立方体面との距離によって物体表面との角度関係が変化する。このため、物体表面の法線方向を基準として、コンピュータグラフィクスでよく利用される球面調和関数による展開係数を用いた表現に変換する。照明環境は、天球面（半球面）上を張る一価関数であり、以下の球面調和級数を利用して任意の精度で表現できる。
【００７２】
【数１３】
2009031941.tif 000015
【００７３】
ここで、Ｙｌｍ（θ，φ）はｌ次の球面調和関数であり、照明環境の記述として、５次程度までを考慮する。したがって、ステップＳ１６で得た光線空間ｖ’ｉｊを位置Ｘにおいて、天頂を面の法線方向Ｎに一致させた球面調和級数表現に変換できる。
【００７４】
【数１４】
2009031941.tif 000016
【００７５】
上式を用いて、局所照明モデル算出部２５は、被写体の隠蔽による影響を反映した照明モデルを球面調和関数による展開係数を用いた表現に変換した局所照明モデルを算出してＣＧ作成部２６へ出力する。
【００７６】
最後に、ステップＳ１８において、ＣＧ作成部２６は、被写体の３次元モデルをＣＧ環境内の仮想シーンに配置し、局所照明モデルを用いて、撮影空間の一様ではない照明環境下における３次元モデルのＣＧ画像を作成し、処理を終了する。このようにして、マーカーの画素値から撮影空間中における照明条件の位置による変化を表す照明モデルを得ることができ、得られた照明モデルを用いることで、撮影時の照明環境の影響を取り除き、物体固有の表面反射パラメータを得ることができる。
【００７７】
次に、図１に示す照明モデル作成装置を用いて照明モデルを作成した結果について説明する。まず、７００×７００×７００ｍｍの小型の撮影環境を準備し、その周囲に４台のビデオカメラを設置し、撮影環境の周囲及び底面には青色布を張り付け、上方から白色蛍光灯により照明した。この撮影環境内を直径約２０ｍｍの拡散反射性の白色マーカーを移動させ、約４００フレームの撮影を行なった。図９に撮影画像の一部を、図１０にマーカーの３次元位置の分布をそれぞれ示す。
【００７８】
次に、マーカー移動領域を中心として、４００×４００×４００ｍｍの仮想立方体を設定し、立方体各面を４つの小領域に分割して照明環境を復元した。復元結果において、床面及び天井面の中央付近における法線軸方向の色成分は、それぞれ（Ｒ，Ｇ，Ｂ）＝（０．３１０，０．３２３，０．３７４）及び（Ｒ，Ｇ，Ｂ）＝（０．３２１，０．３３０，０．３５０）であり、天井付近に対して床面付近では、シーン背景色である青色の強度が高くなっていることがわかる。
【００７９】
最後に、復元された照明環境において、床面付近及び天井面付近にある白色の仮想球体をレンダリングした結果を図１１に示す。図１１の（ａ）は、床面＋５０ｍｍの位置に仮想球体をレンダリングした結果を示し、図１１の（ｂ）は、床面＋３００ｍｍの位置に仮想球体をレンダリングした結果を示している。図１１から、照明環境及び床面からの反射を高精度に再現することができることがわかった。
【図面の簡単な説明】
【００８０】
【図１】本発明の一実施の形態による照明モデル作成装置の構成を示すブロック図である。
【図２】図１に示す照明モデル作成装置による照明モデル作成処理を説明するためのフローチャートである。
【図３】ビデオカメラの取り付け状態の一例を示す図である。
【図４】マーカーの抽出例を示す図である。
【図５】マーカー画像及びマーカー座標の一例を示す図である。
【図６】撮影環境の周囲を取り囲む仮想立方体の一例を示す図である。
【図７】マーカーの観測モデルの一例を示す模式図である。
【図８】マーカー画像の中から照明モデルの作成に用いるマーカーの画素の選択方法を説明するための模式図である。
【図９】撮影画像の一部を示す図である。
【図１０】マーカーの３次元位置の分布を示す図である。
【図１１】白色の仮想球体をレンダリングした結果を示す図である。
【符号の説明】
【００８１】
１１〜１Ｋ  ビデオカメラ
２１  画像取得部
２２  幾何校正部
２３  照明モデル作成部
２４  隠蔽関係記述部
２５  局所照明モデル算出部
２６  ＣＧ作成部
【図１】
2009031941.tif 000017
【図２】
2009031941.tif 000018
【図６】
2009031941.tif 000019
【図７】
2009031941.tif 000020
【図８】
2009031941.tif 000021
【図１０】
2009031941.tif 000022
【図３】
2009031941.tif 000023
【図４】
2009031941.tif 000024
【図５】
2009031941.tif 000025
【図９】
2009031941.tif 000026
【図１１】
2009031941.tif 000027