(57)【要約】【課題】高精度に光源の分布を推定できる光源分布推定装置、及び光源分布推定プログラムを提供すること。【解決手段】光源分布推定装置１は、複数の光源を全て点灯した場合の撮影画像を基準画像として取得し、輝度値に対する所定のフィルタ関数に基づいて、基準画像の各画素に対する重みを決定するフィルタリング部１０と、複数の光源のそれぞれを単独で点灯した場合の撮影画像を基底画像として取得し、基底画像それぞれの各画素に対して重み付けをする基底情報生成部２０と、センサカメラ４からの入力画像の各画素に対して重み付けをし、重み付け後の入力画像を、重み付け後の基底画像の線型結合と仮定し、複数の光源それぞれの強度を算出する強度算出部３０と、を備え、フィルタ関数は、輝度値の取り得る値の範囲において、所定の輝度値に対する重みを最大値として、当該最大値よりも小さい複数の重みを設定する関数である。【選択図】図２
2017116983.tif 000002
【特許請求の範囲】
【請求項１】
カメラから、複数の光源を全て点灯した場合の撮影画像を基準画像として取得し、輝度値に対する所定のフィルタ関数に基づいて、前記基準画像の各画素に対する重みを決定するフィルタリング部と、
前記複数の光源のそれぞれを単独で点灯した場合の撮影画像を基底画像として取得し、当該基底画像それぞれの各画素に対して、前記基準画像における同一座標の画素と同一の重み付けをする基底情報生成部と、
前記カメラからの入力画像の各画素に対して、前記基準画像における同一座標の画素と同一の重み付けをし、当該重み付け後の入力画像を、重み付け後の前記基底画像の線型結合と仮定し、当該基底画像に対応する前記複数の光源それぞれの強度を算出する強度算出部と、を備え、
前記フィルタ関数は、輝度値の取り得る値の範囲において、所定の輝度値に対する重みを最大値として、当該最大値よりも小さい複数の重みを設定する関数である光源分布推定装置。
【請求項２】
前記フィルタリング部は、前記基準画像の輝度値からなる基準画像ベクトルの各要素を、所定のフィルタ関数に基づいて重み付けするための対角行列を生成し、
前記基底情報生成部は、前記基底画像の輝度値からなる基底画像ベクトルを要素とする変換行列について、当該変換行列に前記対角行列を乗じた重み付き変換行列の擬似逆行列を算出し、
前記強度算出部は、前記入力画像の輝度値からなる入力画像ベクトルに前記対角行列、及び前記擬似逆行列を乗じ、前記複数の光源それぞれの強度を示す強度ベクトルを算出する請求項１に記載の光源分布推定装置。
【請求項３】
前記フィルタ関数は、第１閾値に満たない輝度値、及び第２閾値を超える輝度値に対して重みをゼロとする関数である請求項１又は請求項２に記載の光源分布推定装置。
【請求項４】
前記フィルタ関数は、前記所定の輝度値から上限及び下限に向かって線型に減少する関数である請求項１から請求項３のいずれかに記載の光源分布推定装置。
【請求項５】
前記所定の輝度値は、前記基準画像における輝度値の平均である請求項１から請求項４のいずれかに記載の光源分布推定装置。
【請求項６】
前記カメラは、複数の光源を同時に撮影する広角のカメラである請求項１から請求項５のいずれかに記載の光源分布推定装置。
【請求項７】
コンピュータを、請求項１から請求項６のいずれかに記載の光源分布推定装置として機能させるための光源分布推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の光源の分布を推定する装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）オブジェクトと実写映像（動画像）とを合成した映像が制作されている。ＣＧオブジェクトと実写映像とを合成する際に、ＣＧオブジェクトに対して自然な光を当ててライティングする手法は演出表現上有効でありながら、従来の手法には制約があるため、時間的又は空間的に変化する光源に対して簡便に実現することは難しい。
【０００３】
周囲の環境から光源情報を取得してＣＧオブジェクトに光を当てる手法として、例えば、ＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）の画像を使用してＩＢＬ（Ｉｍａｇｅ  Ｂａｓｅｄ  Ｌｉｇｈｔｉｎｇ）によりレンダリングを行う手法が提案されている（例えば、非特許文献１参照）。この手法は、ＣＧオブジェクトが配置される場所に、予めライトプローブ（Ｌｉｇｈｔ  Ｐｒｏｂｅ）と呼ばれる鏡面球を置き、球画像をＨＤＲで撮影することで、当該場所に影響する光源情報を画像から取得し、レンダリング過程でＣＧオブジェクトに反映するというものである。
ところが、このＨＤＲを使用する手法は、光源情報が静的でＨＤＲ画像を撮影した時点から外部環境が変化しないことが前提であるため、時間的制約があり、リアルタイムに変化する環境情報を反映することはできない。また、ライトプローブをＣＧオブジェクトが合成される場所に配置する必要があるため、空間的制約があり、この場所から外れた場合の光源分布情報は得られ難い。
【０００４】
このような状況において、時間的及び空間的に変化する光源情報を推定する手法が提案されている（例えば、非特許文献２参照）。この手法は、スタジオの照明を対象にしたもので、センサカメラを用いて撮影した周囲の画像から各照明の強度を計算するものである。具体的には、推定装置は、図１の概要図に示すように、複数ある照明に対して、一灯ずつ照明を点灯させた場合の画像を基底照明画像として取得しておく。そして、推定装置は、未知の照明が点灯している画像が入力された際に、明るさの線型性を利用し、入力画像が各基底照明の線型結合であると仮定して基底照明それぞれの強さを計算する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｐ．  Ｄｅｂｅｖｅｃ：  Ｒｅｎｄｅｒｉｎｇ  Ｓｙｎｔｈｅｔｉｃ  Ｏｂｊｅｃｔｓ  ｉｎｔｏ  Ｒｅａｌ  Ｓｃｅｎｅｓ：  Ｂｒｉｄｇｉｎｇ  Ｔｒａｄｉｔｉｏｎａｌ  ａｎｄ  Ｉｍａｇｅ−ｂａｓｅｄ  Ｇｒａｐｈｉｃｓ  ｗｉｔｈ  Ｇｌｏｂａｌ  Ｉｌｌｕｍｉｎａｔｉｏｎ  ａｎｄ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｐｈｏｔｏｇｒａｐｈｙ，  Ｐｒｏｃ．  ＡＣＭ  ＳＩＧＧＲＡＰＨ  ９８，  ｐｐ．１８９−１９８，  １９９８
【非特許文献２】盛岡寛史，  大久保英彦，  三ツ峰秀樹：  “映像合成のためのカラーセンサカメラによるリアルタイム照明推定手法，”  映像情報メディア学会年次大会講演予稿集，  １１−３，  ２０１４年８月１０日発行
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、明るさの線型性を利用する手法の場合、輝度値が最大値に飽和しているピクセルでは、この線型性が成立しなくなる。また、輝度値が低いピクセルでは、暗電流等によるノイズの影響で計算精度が低下していた。
【０００７】
本発明は、高精度に光源の分布を推定できる光源分布推定装置、及び光源分布推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る光源分布推定装置は、カメラから、複数の光源を全て点灯した場合の撮影画像を基準画像として取得し、輝度値に対する所定のフィルタ関数に基づいて、前記基準画像の各画素に対する重みを決定するフィルタリング部と、前記複数の光源のそれぞれを単独で点灯した場合の撮影画像を基底画像として取得し、当該基底画像それぞれの各画素に対して、前記基準画像における同一座標の画素と同一の重み付けをする基底情報生成部と、前記カメラからの入力画像の各画素に対して、前記基準画像における同一座標の画素と同一の重み付けをし、当該重み付け後の入力画像を、重み付け後の前記基底画像の線型結合と仮定し、当該基底画像に対応する前記複数の光源それぞれの強度を算出する強度算出部と、を備え、前記フィルタ関数は、輝度値の取り得る値の範囲において、所定の輝度値に対する重みを最大値として、当該最大値よりも小さい複数の重みを設定する関数である。
【０００９】
前記フィルタリング部は、前記基準画像の輝度値からなる基準画像ベクトルの各要素を、所定のフィルタ関数に基づいて重み付けするための対角行列を生成し、前記基底情報生成部は、前記基底画像の輝度値からなる基底画像ベクトルを要素とする変換行列について、当該変換行列に前記対角行列を乗じた重み付き変換行列の擬似逆行列を算出し、前記強度算出部は、前記入力画像の輝度値からなる入力画像ベクトルに前記対角行列、及び前記擬似逆行列を乗じ、前記複数の光源それぞれの強度を示す強度ベクトルを算出してもよい。
【００１０】
前記フィルタ関数は、第１閾値に満たない輝度値、及び第２閾値を超える輝度値に対して重みをゼロとする関数であってもよい。
【００１１】
前記フィルタ関数は、前記所定の輝度値から上限及び下限に向かって線型に減少する関数であってもよい。
【００１２】
前記所定の輝度値は、前記基準画像における輝度値の平均であってもよい。
【００１３】
前記カメラは、複数の光源を同時に撮影する広角のカメラであってもよい。
【００１４】
本発明に係る光源分布推定プログラムは、コンピュータを、前記光源分布推定装置として機能させるためのプログラムである。
【発明の効果】
【００１５】
本発明によれば、高精度に光源の分布を推定できる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係る映像合成システムの構成を示すブロック図である。
【図２】実施形態に係る光源分布推定装置の機能構成を示すブロック図である。
【図３】実施形態に係る第１のフィルタ関数を示すグラフである。
【図４】実施形態に係る第２のフィルタ関数を示すグラフである。
【図５】実施形態に係る光源分布推定方法を示す概要図である。
【図６】実験に用いた光源分布のパターンを示す図である。
【図７】実験における推定結果の誤差を示すグラフである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態の一例について説明する。
図１は、本実施形態に係る光源分布推定装置１を含む映像合成システム１００の構成を示すブロック図である。
【００１８】
映像合成システム１００は、主に映像制作の現場、例えば制作スタジオ又は制作プロダクションにて、ＣＧオブジェクトと実写映像とを合成する際に利用され、光源分布推定装置１は、実写映像に適合した自然なライティングをＣＧオブジェクトに与える手段として利用される。
【００１９】
映像合成システム１００は、光源分布推定装置１と、ＣＧ合成装置２と、映像合成装置３と、センサカメラ４と、撮影カメラ５とを備える。
ここで、センサカメラ４及び撮影カメラ５は、共にスタジオを撮影するカメラであるが、センサカメラ４は、スタジオに設置された複数の照明（光源）を同時に撮影する広角のセンサカメラであり、撮影カメラ５は、ＣＧオブジェクトと合成するための実写映像を撮影するビデオカメラである。
【００２０】
光源分布推定装置１は、センサカメラ４から取得した光源画像に基づいて、複数の光源それぞれの強度を算出し、ＣＧ合成装置２へ提供する。
なお、光源分布推定装置１は、取得した画像のフォーマットに応じた各成分（例えばＲＧＢ画像におけるＲ、Ｇ及びＢの各成分）に対して、それぞれ独立に強度を算出する。
【００２１】
ＣＧ合成装置２は、実写映像に合成するための素材ＣＧに対して、算出された各光源の強度に応じたライティングを施し、レンダリングを行う。
映像合成装置３は、撮影カメラ５から取得した実写映像とライティングが施されたＣＧ画像とを合成して出力する。
【００２２】
なお、光源分布推定装置１及びＣＧ合成装置２は、情報処理装置６（コンピュータ）に含まれる機能部として実装されてもよい。また、情報処理装置６は、映像合成装置３の機能をさらに含んでもよい。
【００２３】
図２は、本実施形態に係る光源分布推定装置１の機能構成を示すブロック図である。
光源分布推定装置１は、フィルタリング部１０と、基底情報生成部２０と、強度算出部３０とを備える。
【００２４】
フィルタリング部１０は、センサカメラ４から、複数の光源を全て点灯した場合の撮影画像を基準画像（全点灯画像）として取得し、輝度値に対する所定のフィルタ関数に基づいて、基準画像の各画素に対する重みを決定する。
フィルタリング部１０は、画像ベクトル生成部１１と、対角行列生成部１２とを備える。
【００２５】
画像ベクトル生成部１１は、基準画像における各画素の輝度値を要素とする基準画像ベクトルｐを生成する。なお、基準画像ベクトルの要素数は、基準画像の全体又は部分の画素数と同一でよい。あるいは、後述のフィルタ関数によって重みゼロとなる画素が除かれてもよい。
【００２６】
対角行列生成部１２は、基準画像ベクトルｐの各要素を、フィルタ関数に基づいて重み付けするための対角行列Ａを生成する。対角行列Ａにおける対角の要素は、それぞれ基準画像の各画素に対する、輝度に応じた重みである。
【００２７】
図３は、本実施形態に係る第１のフィルタ関数を示すグラフである。
第１のフィルタ関数ｆ１では、輝度値の取り得る値の範囲（０〜２５５）のうち、「０〜Ｌｌ」及び「Ｌｈ〜２５５」が重みゼロとなり、「Ｌｌ〜Ｌｈ」が一定の重みとなる。この場合、ノイズ又は飽和等により明るさの線型性が崩れる極度に暗い又は明るい画素が演算対象から除外される。
なお、重みがゼロで打ち切られる輝度の閾値Ｌｌ（第１閾値）及びＬｈ（第２閾値）は、手動で適宜設定されてもよいし、所定の演算により自動的に算出されてもよい。例えば、輝度レンジの所定割合、又は画素の所定割合が重みゼロとして設定される。
【００２８】
図４は、本実施形態に係る第２のフィルタ関数を示すグラフである。
第１のフィルタ関数ｆ２では、輝度値の取り得る値の範囲、例えば８ビット画像なら「０〜２５５」のうち、「０〜Ｌｌ」及び「Ｌｈ〜２５５」が重みゼロとなり、「Ｌｌ〜Ｌｈ」の範囲は、輝度の中心値Ｌｃを最大に、輝度値の下限「０」及び上限「２５５」に向かって線型に重みが減少する。
【００２９】
具体的には、フィルタ関数ｆ２は、８ビット画像の輝度値Ｌに対して、次の式で表される。
【数１】
2017116983.tif 000003
【００３０】
この場合、輝度値がＬｃの付近の重みが大きいので、後述の演算に対する影響がより大きくなる。撮影画像の輝度値は、高い値及び低い値よりも中間の値に密集している傾向があるので、中間の値に大きな重みを付けることは、高精度化とロバスト化に貢献する。
なお、中心値は、手動で適宜設定されてもよいし、所定の統計演算により自動的に算出されてもよい。例えば、全点灯画像における輝度の平均値が中心値として設定される。
【００３１】
基底情報生成部２０は、複数の光源のそれぞれを単独で点灯した場合の撮影画像を基底画像として取得し、この基底画像それぞれの各画素に対して、フィルタリング部１０により決定された重み付けをする。
基底情報生成部２０は、画像ベクトル生成部２１と、変換行列生成部２２と、重み付け部２３と、擬似逆行列生成部２４とを備える。
【００３２】
画像ベクトル生成部２１は、基底画像における各画素の輝度値を要素とする基底画像ベクトルｐ１，・・・，ｐｎを生成する。なお、基底画像ベクトルの各要素は、基準画像と同一の座標の画素に対応する。
【００３３】
変換行列生成部２２は、基底画像ベクトルｐ１，・・・，ｐｎを要素とする、変換行列Ｆ＝［ｐ１，・・・，ｐｎ］を生成する。
【００３４】
重み付け部２３は、対角行列Ａと変換行列Ｆとを乗じることにより、変換行列Ｆに含まれる基底画像の各要素に対して、基準画像における同一座標の画素と同一の重み付けをする。
【００３５】
擬似逆行列生成部２４は、重み付き変換行列（ＡＦ）の擬似逆行列（ＡＦ）＋を算出し、強度算出部３０へ提供する。
【００３６】
強度算出部３０は、センサカメラ４からリアルタイムで取得する入力画像の各画素に対して、フィルタリング部１０により決定された重み付けをし、この重み付け後の入力画像を、重み付け後の基底画像の線型結合と仮定し、基底画像に対応する複数の光源それぞれの強度を算出する。
強度算出部３０は、画像ベクトル生成部３１と、重み付け部３２と、強度ベクトル生成部３３とを備える。
【００３７】
画像ベクトル生成部３１は、入力画像における各画素の輝度値を要素とする入力画像ベクトルｐｉｎを生成する。なお、入力画像ベクトルの各要素は、基準画像と同一の座標の画素に対応する。
【００３８】
重み付け部３２は、対角行列Ａと入力画像ベクトルｐｉｎとを乗じることにより、入力画像ベクトルｐｉｎの各要素に対して、基準画像における同一座標の画素と同一の重み付けをする。
【００３９】
強度ベクトル生成部３３は、擬似逆行列（ＡＦ）＋と重み付き入力画像ベクトルＡｐｉｎとを乗じることにより、光源毎の強度を要素とする強度ベクトルｋ＝（ＡＦ）＋Ａｐｉｎを算出する。
【００４０】
図５は、本実施形態に係る光源分布推定装置１による光源分布推定方法を示す概要図である。
ここでは、一例として、３つの照明が設けられている場合を示している。
【００４１】
３つの照明それぞれを単独で点灯した場合の基底画像から、基底画像ベクトルｐ１，ｐ２，ｐ３が生成され、変換行列Ｆは、Ｆ＝［ｐ１，ｐ２，ｐ３］となる。
ここで、入力画像ベクトルとして、例えばｐ２が入力された場合、
ｐ２＝［ｐ１，ｐ２，ｐ３］［０，１，０］Ｔ＝Ｆｋ
という関係式が成り立ち、強度ベクトルｋ＝［０，１，０］Ｔが求められる。
【００４２】
この光源分布推定方法を、ｎ個の光源について一般化すると、まず、変換行列Ｆと強度ベクトルｋとは、基底画像ベクトルをｐｉ（ｉ＝１，・・・，ｎ）として、次のように定義される。
【数２】
2017116983.tif 000004
【００４３】
次に、入力画像ベクトルｐｉｎが入力された場合、このｐｉｎが基底画像ベクトルの線型結合で表されると仮定すると、次の関係式が成り立つ。
【数３】
2017116983.tif 000005
【００４４】
したがって、強度ベクトルｋは、擬似逆行列Ｆ＋を用いて、次のように算出される。
【数４】
2017116983.tif 000006
【００４５】
ここでは、前述の重み付けを省略して説明したが、さらにフィルタ関数による重み付けをすると、擬似逆行列Ｆ＋及び入力画像ベクトルｐｉｎは、それぞれ次の式のように、重み付き擬似逆行列（ＡＦ）＋及び重み付き入力画像ベクトルＡｐｉｎに置き換わる。
【数５】
2017116983.tif 000007
【００４６】
なお、変換行列Ｆ及び重み付き変換行列ＡＦは、一般に行数（画素数）が列数（光源の数）より大きく正方行列にならないため、正方行列の場合の逆行列を一般化した擬似逆行列が用いられる。
【００４７】
＜実験結果＞
光源分布推定装置１による光源分布の推定精度についての実験結果を示す。
【００４８】
図６は、実験に用いた光源分布のパターンを示す図である。
ここでは、光源として１３個の照明を用い、各照明について、４段階（１００％、５０％、２５％、０％）の強度を設定した。
実験では、９種類の異なる照明パターンについて、それぞれ、前述の第１のフィルタ関数及び第２のフィルタ関数を用いた強度算出処理を行った。
【００４９】
図７は、複数の光源分布パターンそれぞれに対する推定結果の誤差を示すグラフである。
横軸は、異なる光源条件を示している。
縦軸は、９種類の照明パターンそれぞれについて、重み付けを含まない第１のフィルタ関数を用いた処理と、重み付けを含む第２のフィルタ関数を用いた処理とを比較しつつ、強度算出処理結果の真値からの平均誤差を示している。
【００５０】
このように、これら複数の光源条件において、重み付けを含むフィルタリングを施した手法が重みなしの手法に対して誤差を低減していることが確認された。また、異なる光源条件に対する誤差の変動も抑えられていることが分かる。
【００５１】
本実施形態によれば、光源分布推定装置１は、基底画像及び入力画像の各画素に対して、全点灯の基準画像における輝度値に基づいて、輝度の中心値を最大にした重み付けを行った。光源分布推定装置１は、重み付け後の入力画像を重み付け後の基底画像の線型結合として光源強度を算出するので、信頼性の高い画素データをより大きく反映させることによって、高精度かつロバストに安定して光源の分布を推定できる。
【００５２】
光源分布推定装置１は、画像ベクトル及び強度ベクトルを導入した。光源分布推定装置１は、予め基準画像から重み付けの対角行列を求めておき、さらに、重み付きの変換行列の擬似逆行列を予め求めておくので、入力画像ベクトルに対角行列及び擬似逆行列を乗じるという行列計算によって、リアルタイムで容易に光源強度を算出できる。
【００５３】
したがって、光源分布推定装置１は、映像制作においてＣＧオブジェクトと実写映像とを合成する際に、現実世界の高精度な光源情報をＣＧ世界内の光源に受け渡すことができる。この結果、映像合成システム１００は、広範な位置に配置されるＣＧオブジェクトに対して動的に変化する現実の光源効果と類似した違和感のない自然なライティングを行い、多様なＣＧ演出表現をすることができる。
【００５４】
また、光源分布推定装置１は、第１閾値に満たない輝度値、及び第２閾値を超える輝度値に対して重みをゼロとするフィルタリングを行った。したがって、光源分布推定装置１は、ノイズの影響が大きいこと、又は輝度値の飽和等によって明るさの線型性が崩れやすい輝度値の領域を除外して、高精度かつロバストに光源の分布を推定できる。
【００５５】
さらに、光源分布推定装置１は、所定の輝度値から上限及び下限に向かって線型に減少するフィルタリングを行った。したがって、光源分布推定装置１は、簡易な演算によって効率的に重み付けを行える。
【００５６】
また、光源分布推定装置１は、基準画像における輝度値の平均等、所定の統計演算によって自動的に輝度の中心値を決定できるので、利便性が向上する。
【００５７】
また、光源分布推定装置１は、複数の光源を同時に撮影する広角のカメラから画像を取得することにより、光源そのものを含む画像を用いることができる。したがって、輝度値の分布の偏りが抑制されると共に、光源分布の変化が画像に明瞭に表れるので、推定精度が向上する。
【００５８】
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【００５９】
本実施形態では、重み付けにおいて線型のフィルタ関数が用いられたが、図４に例示したフィルタ関数の形状はこれには限られず、所定の輝度値に対する重みを最大値として、この他の輝度値に対して最大値よりも小さい複数の重みがそれぞれ設定される。
【００６０】
本実施形態では、主に光源分布推定装置の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、光源の分布を推定するための方法、又はプログラムとして構成されてもよい。
【００６１】
さらに、光源分布推定装置の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【００６２】
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６３】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【００６４】
１  光源分布推定装置
２  ＣＧ合成装置
３  映像合成装置
４  センサカメラ
５  撮影カメラ
６  情報処理装置
１０  フィルタリング部
１１  画像ベクトル生成部
１２  対角行列生成部
２０  基底情報生成部
２１  画像ベクトル生成部
２２  変換行列生成部
２３  重み付け部
２４  擬似逆行列生成部
３０  強度算出部
３１  画像ベクトル生成部
３２  重み付け部
３３  強度ベクトル生成部
１００  映像合成システム
【図１】
2017116983.tif 000008
【図２】
2017116983.tif 000009
【図３】
2017116983.tif 000010
【図４】
2017116983.tif 000011
【図５】
2017116983.tif 000012
【図６】
2017116983.tif 000013
【図７】
2017116983.tif 000014