(57)【要約】【課題】光源の分布をリアルタイムで簡便に推定できる光源分布推定装置及び光源分布推定プログラムを提供すること。【解決手段】光源分布推定装置１は、互いに異なる位置に配置された複数のセンサーカメラによる複数の撮像画像それぞれから、光源画像を抽出する光源画像抽出部１１と、複数の撮像画像から１つずつ選択した光源画像の組み合わせそれぞれについて、当該光源画像の位置に基づいて、複数のセンサーカメラそれぞれを起点とする空間内の光源の方向及び距離を算出する光源位置算出部１２と、光源画像の組み合わせそれぞれについて、方向及び距離によって複数のカメラ毎に特定される空間内の光源の位置の誤差距離を評価した誤差評価値を算出する評価値算出部１３と、誤差評価値の総和が最小となる光源画像の組み合わせを算出する組み合わせ算出部１４と、を備える。【選択図】図１
2015210623.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる位置に配置された複数のカメラによる複数の撮像画像それぞれから、光源画像を抽出する光源画像抽出部と、
前記複数の撮像画像から１つずつ選択した光源画像の組み合わせそれぞれについて、当該光源画像の位置に基づいて、前記複数のカメラそれぞれを起点とする空間内の光源の方向及び距離を算出する光源位置算出部と、
前記光源画像の組み合わせそれぞれについて、前記方向及び距離によって前記複数のカメラ毎に特定される前記空間内の光源の位置の誤差距離を評価した誤差評価値を算出する評価値算出部と、
前記誤差評価値の総和が最小となる前記光源画像の組み合わせを算出する組み合わせ算出部と、を備える光源分布推定装置。
【請求項２】
前記光源位置算出部は、前記誤差距離が最小となるように前記距離を算出する請求項１に記載の光源分布推定装置。
【請求項３】
前記光源画像抽出部は、前記光源画像の領域から重心を算出し、
前記光源位置算出部は、前記撮像画像における前記重心の位置に基づいて、前記方向を算出する請求項１又は請求項２に記載の光源分布推定装置。
【請求項４】
前記評価値算出部は、前記誤差距離を、前記距離に基づいて正規化して前記誤差評価値を算出する請求項１から請求項３のいずれかに記載の光源分布推定装置。
【請求項５】
互いに異なる位置に配置された複数のカメラによる複数の撮像画像に基づいて、コンピュータに空間内の光源の分布を推定させるための光源分布推定プログラムであって、前記コンピュータの制御部に、
前記複数の撮像画像それぞれから、光源画像を抽出する光源画像抽出ステップと、
前記複数の撮像画像から１つずつ選択した光源画像の組み合わせそれぞれについて、当該光源画像の位置に基づいて、前記複数のカメラそれぞれを起点とする空間内の光源の方向及び距離を算出する光源位置算出ステップと、
前記光源画像の組み合わせそれぞれについて、前記方向及び距離によって前記複数のカメラ毎に特定される前記空間内の光源の位置の誤差距離を評価した誤差評価値を算出する評価値算出ステップと、
前記誤差評価値の総和が最小となる前記光源画像の組み合わせを算出する組み合わせ算出ステップと、を実行させるための光源分布推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間内の光源の分布を推定する光源分布推定装置及び光源分布推定プログラムに関する。
【背景技術】
【０００２】
従来、ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）オブジェクトと実写映像（動画像）とを合成する際に、ＣＧオブジェクトに対して現実の照明効果と類似した違和感のない自然なライティングを行う手法が望まれている。
【０００３】
周囲の環境から情報を取得してＣＧオブジェクトに自然な照明を当てる手法は今まで多くのものが提案されている。例えば、非特許文献１では、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）の画像を使用してＩＢＬ（Ｉｍａｇｅ  Ｂａｓｅｄ  Ｌｉｇｈｔｉｎｇ）によりレンダリングを行う手法が提案されている。この手法は、ＣＧオブジェクトが配置される箇所に予め鏡面球を置いて球画像をＨＤＲで撮影することにより、当該場所に影響する光源情報を撮影画像から取得してレンダリング過程でＣＧオブジェクトに反映するものである。
【０００４】
また、非特許文献２では、実際の光源位置を計算する実光源計測手法が提案されている。この実光源計測手法では、まず、２台の魚眼カメラをセンサーカメラとして光源方向に向け、光源の分布を撮影する。次に、撮影された画像からコントラストの高い部分を特徴点として抽出し、この特徴点に対して三角測量の原理を用いて３次元空間内の特徴点位置を計算する。さらに、特徴点の輝度を計算し、光源分布の情報を、三角メッシュをつなぎ合わせたモデルで近似的に得ることで光源環境を再構成する。
【０００５】
また、特許文献１では、マーカーを撮影空間内で移動させ、このマーカー上の法線ベクトルと、撮影されたマーカーの画素値とを用いて照明モデルを作成する手法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−３１９４１号公報
【非特許文献】
【０００７】
【非特許文献１】Ｐ．  Ｄｅｂｅｖｅｃ  ：  Ｒｅｎｄｅｒｉｎｇ  Ｓｙｎｔｈｅｔｉｃ  Ｏｂｊｅｃｔｓ  ｉｎｔｏ  Ｒｅａｌ  Ｓｃｅｎｅｓ  ：  Ｂｒｉｄｇｉｎｇ  Ｔｒａｄｉｔｉｏｎａｌ  ａｎｄ  Ｉｍａｇｅ−ｂａｓｅｄ  Ｇｒａｐｈｉｃｓ  ｗｉｔｈ  Ｇｌｏｂａｌ  Ｉｌｌｕｍｉｎａｔｉｏｎ  ａｎｄ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｐｈｏｔｏｇｒａｐｈｙ，  Ｐｒｏｃ．  ＡＣＭ  ＳＩＧＧＲＡＰＨ  ９８，  ｐｐ．１８９−１９８，  １９９８
【非特許文献２】佐藤いまり，  佐藤洋一，  池内克史  ：  全方位ステレオによる実光源環境の計測とそれに基づく仮想物体の実環境への重ね込み，  電子情報通信学会論文誌（Ｄ−ＩＩ），  Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．５，  ｐｐ．８６１−８７１，  １９９８
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の手法は、いずれも静的な光源環境であることを前提としており、リアルタイムで変化する光源環境を想定していない。例えば、ＨＤＲを用いたＩＢＬでは、光源情報が静的でＨＤＲ画像が撮影された状態から変化しないことが前提となる。また、ＨＤＲを撮影するために用いられる鏡面球は、ＣＧオブジェクトが合成される位置の近傍に置かなければならないという制約があるため、映像制作の現場で使用することは困難だった。
【０００９】
本発明は、光源の分布をリアルタイムで簡便に推定できる光源分布推定装置及び光源分布推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る光源分布推定装置は、互いに異なる位置に配置された複数のカメラによる複数の撮像画像それぞれから、光源画像を抽出する光源画像抽出部と、前記複数の撮像画像から１つずつ選択した光源画像の組み合わせそれぞれについて、当該光源画像の位置に基づいて、前記複数のカメラそれぞれを起点とする空間内の光源の方向及び距離を算出する光源位置算出部と、前記光源画像の組み合わせそれぞれについて、前記方向及び距離によって前記複数のカメラ毎に特定される前記空間内の光源の位置の誤差距離を評価した誤差評価値を算出する評価値算出部と、前記誤差評価値の総和が最小となる前記光源画像の組み合わせを算出する組み合わせ算出部と、を備える。
【００１１】
この構成によれば、光源分布推定装置は、複数台のカメラを用いて三角測量の原理で周囲の環境内の光源位置情報を取得する。光源分布推定装置は、撮像画像内の複数の光源画像について、カメラ間の対応関係を、誤差距離を評価することにより容易に取得できるので、複数の光源の分布をリアルタイムで簡便に推定できる。
これにより、光源分布推定装置は、リアルタイムに変化する動的な光源位置情報を迅速かつ安定的に取得することができる。また、カメラをＣＧオブジェクトが配置される場所の近傍に置く必要がなく、カメラから離れた位置の光源情報も再現することができる。
【００１２】
前記光源位置算出部は、前記誤差距離が最小となるように前記距離を算出してもよい。
【００１３】
この構成によれば、光源分布推定装置は、複数のセンサーカメラから３次元空間の光源位置へ向かうベクトルを、誤差距離が最小となるように算出するので、光源画像の組み合わせに対して、より確からしい光源の位置を推定できる。
さらに、光源分布推定装置は、この誤差距離を評価することにより組み合わせの正誤を精度良く推定できる。
【００１４】
前記光源画像抽出部は、前記光源画像の領域から重心を算出し、前記光源位置算出部は、前記撮像画像における前記重心の位置に基づいて、前記方向を算出してもよい。
【００１５】
この構成によれば、光源分布推定装置は、光源画像の領域から重心を算出し、この重心の位置に基づいてベクトルを算出するので、光源画像の組み合わせに対して、対応する１点ずつを簡便に決定し、確からしい光源の位置を推定できる。
【００１６】
前記評価値算出部は、前記誤差距離を、前記距離に基づいて正規化して前記誤差評価値を算出してもよい。
【００１７】
この構成によれば、光源分布推定装置は、誤差距離をベクトルの長さに基づいて正規化するので、３次元空間における光源のカメラからの距離によらず、適切に誤差評価値を算出できる。したがって、光源分布推定装置は、光源画像の組み合わせの正誤を精度良く推定できる。
【００１８】
本発明に係る光源分布推定プログラムは、互いに異なる位置に配置された複数のカメラによる複数の撮像画像に基づいて、コンピュータに空間内の光源の分布を推定させるためのプログラムであって、前記コンピュータの制御部に、前記複数の撮像画像それぞれから、光源画像を抽出する光源画像抽出ステップと、前記複数の撮像画像から１つずつ選択した光源画像の組み合わせそれぞれについて、当該光源画像の位置に基づいて、前記複数のカメラそれぞれを起点とする空間内の光源の方向及び距離を算出する光源位置算出ステップと、前記光源画像の組み合わせそれぞれについて、前記方向及び距離によって前記複数のカメラ毎に特定される前記空間内の光源の位置の誤差距離を評価した誤差評価値を算出する評価値算出ステップと、前記誤差評価値の総和が最小となる前記光源画像の組み合わせを算出する組み合わせ算出ステップと、を実行させる。
【発明の効果】
【００１９】
本発明によれば、光源の分布をリアルタイムで簡便に推定できる。
【図面の簡単な説明】
【００２０】
【図１】実施形態に係る光源分布推定装置の機能構成を示す図である。
【図２】実施形態に係るセンサーカメラを使用した位置計測の概念図である。
【図３】実施形態に係る光源分布推定処理の流れを示すフローチャートである。
【図４】実施形態に係る組み合わせ算出処理を示すフローチャートである。
【図５】実施形態に係る評価関数・誤差行列出力処理を示すフローチャートである。
【図６】実施形態に係る評価関数・誤差行列出力処理による計算例を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態の一例について説明する。
本実施形態に係る光源分布推定装置１は、映像制作に利用されるＣＧオブジェクトと実写映像とを合成する際に、ＣＧオブジェクトに現実の照明効果と類似した違和感のない自然なシェーディングをするための光源分布の推定を、リアルタイムで簡便に行うものである。
光源分布推定装置１は、複数のセンサーカメラで撮影した映像を入力として、映像から光源領域の重心情報を抽出して、両眼立体視で用いられる三角測量の原理で３次元空間内の光源の対応関係と位置を計算することにより、リアルタイムに複数の光源の位置を推定する。本実施形態では、一例として、センサーカメラの台数を２台として説明する。
【００２２】
図１は、本実施形態に係る光源分布推定装置１の機能構成を示す図である。
光源分布推定装置１は、光源画像抽出部１１と、光源位置算出部１２と、評価値算出部１３と、組み合わせ算出部１４とを備える。
【００２３】
光源画像抽出部１１は、互いに異なる位置に配置された２台のセンサーカメラによる複数の撮像画像それぞれから、光源画像を抽出する。このとき、光源画像抽出部１１は、所定の閾値により画像を２値化し、明るい領域を光源画像として抽出する。
また、光源画像抽出部１１は、抽出した光源画像の領域から重心を算出し、この重心を撮像画像中の光源画像の位置として用いる。
【００２４】
光源位置算出部１２は、複数の撮像画像から１つずつ選択した光源画像の組み合わせそれぞれについて、撮像画像中の光源画像の位置に基づいて、２台のセンサーカメラそれぞれを起点とする空間内の光源の方向及び距離を算出する。具体的には、光源位置算出部１２は、２台のセンサーカメラを始点とする２つのベクトルを算出する。
【００２５】
このとき、光源位置算出部１２は、２つのベクトルの終点間の誤差距離が最小となるようにベクトルの長さを算出する。
また、光源位置算出部１２は、算出された光源画像の重心を撮像画像中の光源画像の位置として用いることにより、ベクトルの向きを算出する。
【００２６】
図２は本実施形態に係るセンサーカメラを使用した位置計測の概念図である。
２つのセンサーカメラそれぞれによって複数の光源が撮像されると、センサーカメラから見た光源の方向が互いに異なるために、撮像画像中には、それぞれ異なる位置に光源画像が配置される。
したがって、例えば、２つの撮像画像それぞれから６つずつ抽出される光源画像の、何番と何番とが対応しているかは、画像情報のみからは判別できない。
【００２７】
光源位置算出部１２は、この撮像画像中の光源画像の重心位置に基づいて、センサーカメラを始点とする光源方向へ向かうベクトルを求める。
計算されたベクトルをｕ、ｖとする。これらのベクトルは、それぞれパラメータｓ、ｔによって長さが制御されるものとする。３次元空間内では一般的にｕとｖは交点を持たないので、最近傍点を終点とするベクトルｕ（ｓ）、ｖ（ｔ）を、次式によって算出する。なお、ｗは、２台のセンサーカメラ間を結ぶベクトルである。
【数１】
2015210623.tif 000003
【００２８】
評価値算出部１３は、光源画像の組み合わせそれぞれについて、ベクトルの向き及び長さによって２台のカメラ毎に特定される空間内の光源の位置の誤差距離を評価した誤差評価値を算出する。
具体的には、評価値算出部１３は、誤差距離を、ベクトルの長さに基づいて正規化して、誤差評価値を算出する。
【００２９】
前述のベクトルｕ（ｓ）及びｖ（ｔ）において、最近傍点を与えるｓ、ｔを、ｓＰ、ｔＰとすると、ｕ（ｓ）とｖ（ｔ）との誤差距離ｄ、及び誤差評価値ｅは、次式によって定義される。
【数２】
2015210623.tif 000004
【００３０】
評価値算出部１３は、この誤差評価値ｅを、２つのセンサーカメラそれぞれの撮像画像に投影された各光源の組み合わせで求め、例えば２つの撮像画像から６個ずつの光源画像が抽出された場合には、次式に示す誤差評価行列Ｅを作成する。
【数３】
2015210623.tif 000005
【００３１】
組み合わせ算出部１４は、誤差評価値の総和が最小となる光源画像の組み合わせを算出する。
２つのセンサーカメラの撮像画像から現実の光源の位置を計算する場合、２つの撮像画像上に映った光源の対応関係を求めなければならない。組み合わせ算出部１４は、誤差評価行列Ｅの各要素の組み合わせの中で最も適切な組み合わせを計算し、高速かつ安定的に結果を求める。
【００３２】
具体的には、組み合わせ算出部１４は、誤差評価行列Ｅの各要素を次の制約条件の元に組み合わせる。制約条件として、撮像画像間で光源が１対１に対応している必要があるので、各行及び各列では必ず１つの要素のみが組み合わせ候補として選ばれる。
ｍ行ｎ列の誤差評価行列Ｅにおいて、行ｉで選択される列ｊをｊ＝σ（ｉ）とする。σは行ｉの選択候補の中で誤差評価値ｅが最小値となる列番号ｊを返す関数である。組み合わせ算出部１４は、選択された候補の誤差評価値ｅの合計値Ｓを評価関数とし、次式の評価関数の最小値を求めることで最も誤差の少ない適切な組み合わせ（ｉ，σ（ｉ））を算出する。
【数４】
2015210623.tif 000006
【００３３】
図３は、本実施形態に係る光源分布推定処理の流れを示すフローチャートである。
ステップＳ１において、光源画像抽出部１１は、センサーカメラから入力された撮像画像について、所定の閾値によって２値化を行う。
【００３４】
ステップＳ２において、光源画像抽出部１１は、２値化された撮像画像から、白色の領域を光源画像として抽出する。
【００３５】
ステップＳ３において、光源画像抽出部１１は、抽出した光源画像の領域から重心を算出する。この重心の位置は、２次元の撮像画像上に映された各光源領域の重心位置である。
【００３６】
ステップＳ４において、光源位置算出部１２は、得られた各重心位置から、センサーカメラから見た光源の方向を求め、三角測量の原理で３次元空間内の光源の位置を示すベクトルを算出する。
【００３７】
ステップＳ５において、評価値算出部１３は、光源画像の組み合わせ毎に誤差距離ｄに基づく誤差評価値ｅを算出し、誤差評価行列Ｅを作成する。
【００３８】
ステップＳ６において、組み合わせ算出部１４は、誤差評価値ｅの総和、すなわち評価関数Ｓを最小にする光源画像の組み合わせを算出する。
具体的には、組み合わせ算出部１４は、例えば、以下の手順により、光源画像の組み合わせを算出する。
【００３９】
図４は、本実施形態に係る組み合わせ算出処理を示すフローチャートである。
なお、本処理は、光源分布推定処理（図３）のステップＳ６に相当する。
【００４０】
ステップＳ１１において、組み合わせ算出部１４は、誤差評価行列Ｅの入力を受け付ける。
【００４１】
ステップＳ１２において、組み合わせ算出部１４は、誤差評価行列Ｅの行数が列数よりも多いか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ１３に移り、判定がＮＯの場合、処理はステップＳ１４に移る。
【００４２】
ステップＳ１３において、組み合わせ算出部１４は、誤差評価行列Ｅの行と列とを転置し、行数が列数以下となるようにする。すなわち、組み合わせ算出部１４は、誤差評価行列Ｅの各行に対して１つの列の要素が組み合わされるようにするため、Ｅが正方行列でない場合、行数が列数以下となるように、必要に応じて行列の転置を行う。
【００４３】
ステップＳ１４において、組み合わせ算出部１４は、初期値として、誤差評価行列の行番号ｉ＝０、評価関数Ｓ＝計算機内の最大値等の十分に大きな値、Ｓｔｅｍｐ（０）＝０、Ｅｔｅｍｐ（０）＝Ｅを設定する。
【００４４】
ステップＳ１５において、組み合わせ算出部１４は、評価関数Ｓの最小値と、Ｓが最小となる場合の光源画像の組み合わせを表現した誤差評価行列を出力する。
【００４５】
図５は、本実施形態に係る評価関数・誤差行列出力処理を示すフローチャートである。
なお、本処理は、組み合わせ算出処理（図４）のステップＳ１５に相当する。
【００４６】
ステップＳ２１において、組み合わせ算出部１４は、ｉに１を加算し、誤差評価行列Ｅのｉ行目から以下のステップを実行する。
【００４７】
ステップＳ２２において、組み合わせ算出部１４は、ｉがＥの最終行か否かを判定する。この判定がＹＥＳの場合、処理はステップＳ２３に移り、判定がＮＯの場合、処理はステップＳ２８に移る。
【００４８】
ステップＳ２３において、組み合わせ算出部１４は、Ｅｔｅｍｐ（ｉ）をＥｔｅｍｐ（ｉ−１）で初期化し、Ｅｔｅｍｐ（ｉ）を以下のステップにより更新する。
【００４９】
ステップＳ２４において、組み合わせ算出部１４は、Ｅｔｅｍｐ（ｉ）の最終行の列要素のうち正の最小の列要素を、Ｓｔｅｍｐ（ｉ−１）に加算してＳｔｅｍｐ（ｉ）とする。
【００５０】
ステップＳ２５において、組み合わせ算出部１４は、Ｅｔｅｍｐ（ｉ）の最終行について、ステップＳ２４で選択した正の最小の列要素以外の要素を−１で埋め、選択対象外とする。
【００５１】
ステップＳ２６において、組み合わせ算出部１４は、Ｓｔｅｍｐ（ｉ）が、今までに算出された最小の評価関数Ｓよりも小さいか否かを判定する。この判定がＹＥＳの場合、処理はステップＳ２７に移り、判定がＮＯの場合、処理はステップＳ３５に移る。
【００５２】
ステップＳ２７において、組み合わせ算出部１４は、評価関数ＳをＳｔｅｍｐ（ｉ）で更新し、誤差評価行列ＥをＥｔｅｍｐ（ｉ）で更新する。
【００５３】
ステップＳ２８において、組み合わせ算出部１４は、Ｅｔｅｍｐ（ｉ）のｉ行目について、各列要素（ｊ列）を順に選択してループ処理を行う。
【００５４】
ステップＳ２９において、組み合わせ算出部１４は、Ｅｔｅｍｐ（ｉ）をＥｔｅｍｐ（ｉ−１）で初期化し、Ｅｔｅｍｐ（ｉ）を以下のステップにより更新する。
【００５５】
ステップＳ３０において、組み合わせ算出部１４は、選択された列の要素ｅｉｊが−１であるか否かを判定する。この判定がＹＥＳの場合、選択された列は対象外であるため、処理はステップＳ３５に移る。一方、判定がＮＯの場合、処理はステップＳ３１に移る。
【００５６】
ステップＳ３１において、組み合わせ算出部１４は、Ｅｔｅｍｐ（ｉ）の選択された要素と同じ行又は列に所属する要素を−１で埋め、選択対象外とする。
【００５７】
ステップＳ３２において、組み合わせ算出部１４は、選択された列要素ｅｉｊを、Ｓｔｅｍｐ（ｉ−１）に加算してＳｔｅｍｐ（ｉ）とする。
【００５８】
ステップＳ３３において、組み合わせ算出部１４は、更新されたＥｔｅｍｐ（ｉ）のｉ＋１行目以下について、評価関数Ｓの最小値と、Ｓが最小となる場合の誤差評価行列Ｅを出力する。
【００５９】
ステップＳ３４において、組み合わせ算出部１４は、最終列を処理するまではステップＳ２８に戻って、Ｅｔｅｍｐ（ｉ）のｉ行目の列ループ処理を継続する。
【００６０】
ステップＳ３５において、組み合わせ算出部１４は、これまでのステップにより更新された評価関数Ｓの最小値と、Ｓが最小となる場合の誤差評価行列Ｅを出力する。
【００６１】
図６は、本実施形態に係る評価関数・誤差行列出力処理による計算例を示す図である。
この例では、３行４列の誤差評価行列Ｅを対象としている。
【００６２】
まず、Ｅｔｅｍｐ（０）にＥがコピーされ、Ｓｔｅｍｐ（０）が０に初期化された後、Ｅｔｅｍｐ（０）の１行目の列要素を順に選択した場合のＥｔｅｍｐ（１）及びＳｔｅｍｐ（１）を算出する。
次に、Ｅｔｅｍｐ（１）のそれぞれについて、２行目の列要素を順に選択した場合のＥｔｅｍｐ（２）及びＳｔｅｍｐ（２）を算出する。３行目は最終行のため、正の最小値が自動的に選択され、Ｅｔｅｍｐ（３）及びＳｔｅｍｐ（３）が算出される。
算出されたＳｔｅｍｐ（３）の最小値＝１２、及びこのときのＥｔｅｍｐ（３）が処理結果として出力される。
【００６３】
このように、組み合わせ算出部１４は、誤差評価行列Ｅの各行において、１つの列要素ｅｉｊを選択し、評価関数Ｓに加算していく。このとき、行ｉにおいて列ｊが選択された場合、これ以降の行では列ｊは選択候補から除外される。全ての行で列要素が選択されると、１つの組み合わせの候補に対して評価関数Ｓが求まる。
全ての組み合わせに対して評価関数Ｓが求まると、組み合わせ算出部１４は、評価関数Ｓが最小となる光源画像の組み合わせを表す誤差評価行列Ｅを出力する。
【００６４】
なお、Ｅｔｅｍｐ（０）の要素ｅｉｊが「−１」の場合、ｓＰ又はｔＰがマイナスであり、選択された光源画像の組み合わせでは、センサーカメラの撮影可能領域に光源位置が求まらないため、この要素は選択候補から除外される。
【００６５】
本実施形態によれば、光源分布推定装置１は、複数台のセンサーカメラを用いて三角測量の原理で周囲の環境内の光源位置情報を取得する。この情報を元にＣＧ内で実環境と近い位置に光源を作成できる。光源分布推定装置１は、撮像画像内の複数の光源画像について、センサーカメラ間の対応関係を、誤差距離を評価することにより容易に取得できるので、複数の光源の分布をリアルタイムで簡便に推定できる。
【００６６】
これにより、光源分布推定装置１は、リアルタイムに変化する動的な光源位置情報を迅速かつ安定的に取得することができる。また、センサーカメラをＣＧオブジェクトが配置される場所の近傍に置く必要がなく、センサーカメラから離れた位置の光源情報も再現することができる。
本実施形態の光源分布推定方法は、映像制作現場で実写画像とＣＧを合成する際に、ＣＧオブジェクトをリアルタイムで自然にライティングするために光源分布の推定を行う簡便な手法である。
【００６７】
また、光源分布推定装置１は、複数のセンサーカメラから３次元空間の光源位置へ向かうベクトルを、誤差距離が最小となるように算出するので、光源画像の組み合わせに対して、より確からしい光源の位置を推定できる。
さらに、光源分布推定装置１は、この誤差距離を評価することにより組み合わせの正誤を精度良く推定できる。
【００６８】
また、光源分布推定装置１は、光源画像の領域から重心を算出し、この重心の位置に基づいてベクトルを算出するので、光源画像の組み合わせに対して、対応する１点ずつを簡便に決定し、確からしい光源の位置を推定できる。
【００６９】
また、光源分布推定装置１は、誤差距離をベクトルの長さに基づいて正規化するので、３次元空間における光源のセンサーカメラからの距離によらず、適切に誤差評価値を算出できる。したがって、光源分布推定装置１は、光源画像の組み合わせの正誤を精度良く推定できる。
【００７０】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【００７１】
本実施形態では、主に光源分布推定装置の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、光源の分布を推定するための方法、又はプログラムとして構成されてもよい。
【００７２】
さらに、光源分布推定装置の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【００７３】
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００７４】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【００７５】
１  光源分布推定装置
１１  光源画像抽出部
１２  光源位置算出部
１３  評価値算出部
１４  組み合わせ算出部
【図１】
2015210623.tif 000007
【図２】
2015210623.tif 000008
【図３】
2015210623.tif 000009
【図４】
2015210623.tif 000010
【図５】
2015210623.tif 000011
【図６】
2015210623.tif 000012