(57)【要約】【課題】光源が直接的に映っていない映像から高精度に光源方向または光源位置を求める。【解決手段】映像入力部１は、シーンが撮像された映像を入力し、映像・データ蓄積部３に書き込む。距離情報入力部２は、シーンに含まれる被写体と撮像位置との距離を示す距離データを入力し、映像内の画素と対応付けて映像・データ蓄積部３に書き込む。領域選択部４は、映像・データ蓄積部３に記憶されている映像における被写体領域を選択し、曲面領域判定部６は、この選択された被写体領域の距離データを映像・データ蓄積部３から読み出し、読み出した距離データに基づいて被写体領域が凸領域であるか否かを判定する。光源推定部７は、曲面領域判定部６により曲面領域と判定された被写体領域の映像から光源の方向を推定し、複数の推定された光源の方向から光源の位置を推定する。【選択図】図１
2014010806.tif 000002
【特許請求の範囲】
【請求項１】
シーンを撮像した映像を記憶するとともに、前記シーンに含まれる被写体と撮像位置との距離を示す距離データを前記映像内における位置と対応付けて記憶する蓄積部と、
前記蓄積部に記憶された前記映像における被写体領域を選択する領域選択部と、
前記領域選択部により選択された前記被写体領域に対応した距離データを前記蓄積部から読み出し、読み出した前記距離データに基づいて前記被写体領域が凸領域であるか否かを判定する曲面領域判定部と、
前記曲面領域判定部により前記被写体領域が凸領域と判定された場合に当該被写体領域の映像の輝度に基づいて光源の方向を推定し、あるいはさらに、複数の推定された前記光源の方向の交点から前記光源の位置を推定する光源推定部と、
を備えることを特徴とする光源情報抽出装置。
【請求項２】
シーンを撮像した映像を記憶するとともに、前記シーンに含まれる被写体と撮像位置との距離を示す距離データを前記映像内における位置と対応付けて記憶する蓄積部と、
前記蓄積部に記憶された前記距離データに基づいて凸領域を抽出する凸領域抽出部と、
前記蓄積部に記憶されている前記映像から前記凸領域抽出部によって抽出された前記凸領域に対応した領域を特定し、特定した前記映像の領域のうち被写体領域とする前記領域を選択する領域選択部と、
前記領域選択部により選択された前記被写体領域の映像の輝度に基づいて光源の方向を推定し、あるいはさらに、複数の推定された前記光源の方向の交点から前記光源の位置を推定する光源推定部と、
を備えることを特徴とする光源情報抽出装置。
【請求項３】
前記距離データに対しノイズによる影響を抑制する平滑化処理を行う平滑化部をさらに備える、
ことを特徴とする請求項１または請求項２に記載の光源情報抽出装置。
【請求項４】
光源情報抽出装置が実行する光源情報抽出方法であって、
領域選択部が、シーンを撮像した映像を記憶するとともに、前記シーンに含まれる被写体と撮像位置との距離を示す距離データを前記映像内における位置と対応付けて記憶する蓄積部に記憶された前記映像における被写体領域を選択する領域選択ステップと、
判定部が、前記領域選択ステップにより選択された前記被写体領域に対応した距離データを前記蓄積部から読み出し、読み出した前記距離データに基づいて前記被写体領域が凸領域であるか否かを判定する曲面領域判定ステップと、
光源推定部が、前記曲面領域判定ステップにより前記被写体領域が凸領域と判定された場合に当該被写体領域の映像の輝度に基づいて光源の方向を推定し、あるいはさらに、複数の推定された前記光源の方向の交点から前記光源の位置を推定する光源推定ステップと、
を有することを特徴とする光源情報抽出方法。
【請求項５】
光源情報抽出装置が実行する光源情報抽出方法であって、
凸領域抽出部が、シーンを撮像した映像を記憶するとともに、前記シーンに含まれる被写体と撮像位置との距離を示す距離データを前記映像内における位置と対応付けて記憶する蓄積部に記憶された前記距離データに基づいて凸領域を抽出する凸領域抽出ステップと、
領域選択部が、前記蓄積部に記憶されている前記映像から前記凸領域抽出ステップによって抽出された前記凸領域に対応した領域を特定し、特定した前記映像の領域のうち被写体領域とする前記領域を選択する領域選択ステップと、
光源推定部が、前記領域選択ステップにより選択された前記被写体領域の映像の輝度に基づいて光源の方向を推定し、あるいはさらに、複数の推定された前記光源の方向の交点から前記光源の位置を推定する光源推定ステップと、
を有することを特徴とする光源情報抽出方法。
【請求項６】
平滑化部が、前記距離データに対しノイズによる影響を抑制する平滑化処理を行う平滑化ステップをさらに有する、
ことを特徴とする請求項４または請求項５に記載の光源情報抽出方法。
【請求項７】
コンピュータを、
請求項１から請求項３のいずれか１項に記載の光源情報抽出装置の各部として機能させる光源情報抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光源環境の異なる被写体が撮像された複数の映像から、光学的整合性のある映像を合成するために光源方向や位置を推定する光源情報抽出装置、光源情報抽出方法、および光源情報抽出プログラムに関する。
【背景技術】
【０００２】
光源方向が異なるシーンの映像を合成すると、シーン中の被写体に対する光の当たり方に矛盾が生じ、違和感のある映像になる。そこで、光学的に整合性のある映像を得ることを目的として、映像から光源方向や光源位置を推定する手法が提案されている。
【０００３】
上記手法には、カメラ等の撮像系に特殊なデバイスを利用したり、シーン中に参照物体を配置し、直接的もしくは間接的に光源を撮像することによって、光源位置や光源方向を推定する手法と、上述のような特殊な機器や参照物体を用いずに１枚の画像のみから光源位置や光源方向を推定する手法がある。
【０００４】
前者の手法には、魚眼レンズや全方位カメラを用いて映像中に被写体と光源の両方が含まれるように撮像することで相対的な光源位置を推定する手法（例えば、非特許文献１参照。）や、被写体と同じシーン中に金属球を配置し、金属球に映った光源から光源位置を推定する手法（例えば、非特許文献２参照。）がある。
【０００５】
一方、後者の手法には、球面上のハイライト（鏡面反射している部分）が光源の方向に対応することを利用し、映像中の球面領域から光源方向や光源位置を推定する手法がある。
【０００６】
図８は、球面上のハイライトの方向が光源方向を表すことを説明する図である。図８（ａ）は、ハイライトのある球面の映像を示し、図８（ｂ）は、映像上の線分Ａ−Ｂにおける輝度分布を示す。同図に示すように、輝度分布の高い位置に相当する球面上の位置が光源方向（図８（ａ）の破線で示す矢印の方向）を表す。
【０００７】
また、映像のみから光源方向や位置を推定する技術もある（非特許文献３参照。）
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】大蔵、川上、池内，“光源環境と対象物の同時撮影による屋外物体の拡散反射率推定とその評価”，情報処理学会論文誌  コンピュータビジョンとイメージメディア, vol.2, no.1, pp.32-41(2009).
【非特許文献２】Debevec, P.E.，“Rendering Synthetic Objects into Real Scenes: Bridging Traditional and Image-based Graphics with Global Illumination and High Dynamic Range Photography”, Proceedings of SIGGRAPH 98,pp.189-198(1998).
【非特許文献３】Jorge Lopez-Moreno, Sunil Hadap, Erik Reinhard, Diego Gutierrez, “Composing images through light source detection”, Computers & Graphics, vol.34, no.6, pp.698-707 (2010).
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述の非特許文献１、２に記載した方法は、撮像系に特殊な機器（魚眼レンズや全方位カメラ等）を必要としたり、シーン中に特殊な物体（金属球）を配置する必要がある。さらには、映像中に光源が映るように複雑なキャリブレーションも事前に必要である。そのため、映像取得時に上述のような特殊な機器や物体を準備する手間があるという問題や、一般的な撮像系で既に取得した映像を対象にすることができないという問題がある。
【００１０】
一方、非特許文献３に記載の方法は、上記技術とは異なり映像のみから光源方向や位置を推定する技術であるが、球面領域を手動で指定する必要があるため煩雑であるという問題や、さらには、被写体の局所的な窪みによるハイライト位置のずれによって光源方向の推定に誤差が生じるという問題もある。上述の状況を、図９を用いて説明する。
【００１１】
図９は、映像のみから光源方向や位置を推定する技術の問題を説明するための図である。図９（ａ）はリンゴを被写体とした映像を示し、図９（ｂ）は、図９（ａ）の線分Ａ−Ｂ上の輝度分布を示す。図９（ａ）に示す映像では、芯を中心に球面が窪みとなっており、その周辺にハイライトが生じている。このような場合、図９（ｂ）に示すように、線分Ａ−Ｂ上の輝度分布は２つのピークが生じるため、光源方向を正確に求めることができない。
【００１２】
本発明は上述のような事情に鑑みてなされたもので、複雑なキャリブレーションや特殊なデバイスを必要とせず、光源が直接的に映っていない映像から精度よく光源方向または光源位置を推定する光源情報抽出装置、光源情報抽出方法、および光源情報抽出プログラムを提供する。
【課題を解決するための手段】
【００１３】
上述した課題を解決するために、本発明は、シーンを撮像した映像を記憶するとともに、前記シーンに含まれる被写体と撮像位置との距離を示す距離データを前記映像内における位置と対応付けて記憶する蓄積部と、前記蓄積部に記憶された前記映像における被写体領域を選択する領域選択部と、前記領域選択部により選択された前記被写体領域に対応した距離データを前記蓄積部から読み出し、読み出した前記距離データに基づいて前記被写体領域が凸領域であるか否かを判定する曲面領域判定部と、前記曲面領域判定部により前記被写体領域が凸領域と判定された場合に当該被写体領域の映像の輝度に基づいて光源の方向を推定し、あるいはさらに、複数の推定された前記光源の方向の交点から前記光源の位置を推定する光源推定部と、を備えることを特徴とする光源情報抽出装置である。
【００１４】
また本発明は、シーンを撮像した映像を記憶するとともに、前記シーンに含まれる被写体と撮像位置との距離を示す距離データを前記映像内における位置と対応付けて記憶する蓄積部と、前記蓄積部に記憶された前記距離データに基づいて凸領域を抽出する凸領域抽出部と、前記蓄積部に記憶されている前記映像から前記凸領域抽出部によって抽出された前記凸領域に対応した領域を特定し、特定した前記映像の領域のうち被写体領域とする前記領域を選択する領域選択部と、前記領域選択部により選択された前記被写体領域の映像の輝度に基づいて光源の方向を推定し、あるいはさらに、複数の推定された前記光源の方向の交点から前記光源の位置を推定する光源推定部と、を備えることを特徴とする光源情報抽出装置である。
【００１５】
また本発明は、上述した光源情報抽出装置であって、前記距離データに対しノイズによる影響を抑制する平滑化処理を行う平滑化部をさらに備える、ことを特徴とする。
【００１６】
また本発明は、光源情報抽出装置が実行する光源情報抽出方法であって、領域選択部が、シーンを撮像した映像を記憶するとともに、前記シーンに含まれる被写体と撮像位置との距離を示す距離データを前記映像内における位置と対応付けて記憶する蓄積部に記憶された前記映像における被写体領域を選択する領域選択ステップと、判定部が、前記領域選択ステップにより選択された前記被写体領域に対応した距離データを前記蓄積部から読み出し、読み出した前記距離データに基づいて前記被写体領域が凸領域であるか否かを判定する曲面領域判定ステップと、光源推定部が、前記曲面領域判定ステップにより前記被写体領域が凸領域と判定された場合に当該被写体領域の映像の輝度に基づいて光源の方向を推定し、あるいはさらに、複数の推定された前記光源の方向の交点から前記光源の位置を推定する光源推定ステップと、を有することを特徴とする光源情報抽出方法である。
【００１７】
また本発明は、光源情報抽出装置が実行する光源情報抽出方法であって、凸領域抽出部が、シーンを撮像した映像を記憶するとともに、前記シーンに含まれる被写体と撮像位置との距離を示す距離データを前記映像内における位置と対応付けて記憶する蓄積部に記憶された前記距離データに基づいて凸領域を抽出する凸領域抽出ステップと、領域選択部が、前記蓄積部に記憶されている前記映像から前記凸領域抽出ステップによって抽出された前記凸領域に対応した領域を特定し、特定した前記映像の領域のうち被写体領域とする前記領域を選択する領域選択ステップと、光源推定部が、前記領域選択ステップにより選択された前記被写体領域の映像の輝度に基づいて光源の方向を推定し、あるいはさらに、複数の推定された前記光源の方向の交点から前記光源の位置を推定する光源推定ステップと、を有することを特徴とする光源情報抽出方法である。
【００１８】
また本発明は、上述した光源情報抽出方法であって、平滑化部が、前記距離データに対しノイズによる影響を抑制する平滑化処理を行う平滑化ステップをさらに有する、ことを特徴とする。
【００１９】
また本発明は、コンピュータを、上述した光源情報抽出装置の各部として機能させる光源情報抽出プログラムである。
【発明の効果】
【００２０】
本発明によれば、複雑なキャリブレーションや特殊なデバイスを必要とせずに、光源が直接的に映っていない映像から高精度に光源方向または光源位置を求めることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態による光源情報抽出装置の構成例を示すブロック図である。
【図２】同実施形態による平滑化部における平滑化処理を説明するための図である。
【図３】同実施形態による曲面領域判定部における曲面領域の判定処理を説明するための図である。
【図４】同実施形態による光源情報抽出装置における光源情報抽出処理の動作例を示すフローチャートである。
【図５】本発明の第２の実施形態による光源情報抽出装置の構成例を示すブロック図である。
【図６】同実施形態による凸領域抽出部における凸領域の抽出処理を説明するための図である。
【図７】同実施形態による光源情報抽出装置における光源情報抽出処理の動作例を示すフローチャートである。
【図８】球面上のハイライトの方向が光源方向を表すことを説明するための図である。
【図９】従来技術の問題を説明するための図である。
【発明を実施するための形態】
【００２２】
以下、本発明の一実施形態について、図面を参照して説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態による光源情報抽出装置１０の構成を示すブロック図である。光源情報抽出装置１０は、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する際に、被写体が撮像された映像から光源方向を推定するコンピュータである。同図に示すように、光源情報抽出装置１０は、映像入力部１、距離情報入力部２、映像・データ蓄積部３（蓄積部）、領域選択部４、平滑化部５、曲面領域判定部６、及び光源推定部７を備えて構成される。
【００２４】
映像入力部１は、屋外や屋内のシーンを撮像したデータである映像を、カメラ等の入力機器を介して入力し、映像・データ蓄積部３に記憶させる。
距離情報入力部２は、撮像位置からシーン中の被写体までの距離を２次元配列で示す距離データを入力し、距離データ内の２次元配列と映像入力部１から入力された映像における各画素との対応をつけて映像・データ蓄積部３に記憶させる。距離情報入力部２は、距離情報のみを取得するデバイスにより構成しても構わないし、カメラ等の入力機器を２つ以上用いたステレオ視によって間接的に距離データを求める構成としても構わない。
【００２５】
映像・データ蓄積部３は、光源情報抽出装置１０における各処理に用いられるデータを記憶する。例えば、映像入力部１によって入力された映像や、距離情報入力部２によって入力された距離データ、さらには、領域選択部４、平滑化部５および曲面領域判定部６等によって得られた各種データや処理途中の映像が記憶される。映像・データ蓄積部３は、例えば、光源情報抽出装置１０がパーソナルコンピュータであれば、メモリやハードディスクに対応する。
【００２６】
領域選択部４は、映像入力部１から入力され、映像・データ蓄積部３に記憶された入力映像を読み出し、この映像中から被写体領域を複数選択して映像・データ蓄積部３に記憶させる。被写体領域の選択は、例えば、マウスやデジタイザ等の外部入力機器を用いて被写体の輪郭部分あるいは被写体の一部を指定することでも構わないし、事前に設定した被写体の輪郭部分あるいは被写体の一部の形状とのパターンマッチング等による照合を行うことで被写体領域を選択しても構わない。
【００２７】
平滑化部５は、領域選択部４によって選択された領域に対応する距離データを映像・データ蓄積部３から取得し、空間的な変化を滑らかにする平滑化処理を行った結果を映像・データ蓄積部３に記憶させる。この平滑化処理により、距離情報入力部２におけるノイズによる影響を抑制する。
【００２８】
曲面領域判定部６は、領域選択部４によって選択された領域に対応する距離データより得られる３次元形状が手前に凸であるか否かを判定する。曲面領域判定部６は、この判定に、平滑化部５により平滑化処理された距離データを用いる。
【００２９】
光源推定部７は、曲面領域判定部６において選択された領域が凸領域と判定された場合にその領域から光源の方向を推定し、複数の推定した光源の方向に基づいて光源の位置を推定する。
【００３０】
次に、平滑化部５における平滑化処理の一例を説明する。ここでは、平滑化処理の一例としてメディアンフィルタとスムージングについて説明するが、空間的に滑らかになる効果をもたらすものであればどのような処理でも構わない。
【００３１】
図２は、平滑化部５における平滑化処理を説明するための図である。図２（ａ）は、平滑化処理対象の距離データの２次元配列であり、２次元配列の各マスは、映像の画素に対応しており、被写体と撮像位置との距離を示す。ここでは、平滑化の際に用いるフィルタのサイズを３×３として説明するが、５×５や、７×７であっても構わない。
【００３２】
まずメディアンフィルタについて説明する。メディアンフィルタとは、注目画素を中心とする３×３の領域に着目し、その領域内の画素値の中央値（５番目に大きい値）で注目画素を置き換えるものであり、特にゴマ塩状のノイズの除去に有効である。図２（ａ）に示す２次元配列において、注目画素を中央の画素ｐ０（画素値“１５０”）とする。３×３のメディアンフィルタでは、注目画素を含む３×３の領域、即ち、図２（ａ）に示す太枠内の領域Ｒ１に含まれる画素ｐ０〜ｐ８の画素値を昇順に並べた結果５０，７０，８０，９０，９０，１００，１２０，１２０，１５０の中から、中央値“９０”を得、注目画素である画素ｐ０の値とする。
平滑化部５は、平滑化処理対象の距離データの２次元配列において、着目する３×３の領域を移動させながら上記の処理を行い、平滑化された距離データを生成する。
【００３３】
一方、スムージングとは、図２（ｂ）に示すウィンドウを用いて図２（ａ）に示す画素値と畳み込み積分を行う処理である。図２（ｂ）に示す３×３のウィンドウの各マスのａ０〜ａ８にはフィルタの数値が設定される。
【００３４】
図２（ａ）に示す２次元配列における注目画素である画素ｐ０に、図２（ｂ）のウィンドウの中心の画素ａ０を対応させると、２次元配列における画素ｐ１、ｐ２、…、ｐ８は、フィルタの数値がａ１、ａ２、…、ａ８のウィンドウ内のマスに対応する。同図に示すように、画素ｐ０、ｐ１、ｐ２、…、ｐ８の画素値はそれぞれ、１５０、９０、１００、…、１２０である。ここで、例えば、ａ０＝０．２、ａ１＝ａ２＝…＝ａ８＝０．１とすると、平滑化後の注目画素の画素値は、１５０×０．２＋（９０＋１００＋…＋５０＋１２０）×０．１＝１０１となる。
平滑化部５は、平滑化処理対象の距離データの２次元配列において、ウィンドウを移動させながら上記の処理を行い、平滑化された距離データを生成する。なお、スムージングに用いるフィルタの数値の組み合わせは、ウィンドウ内の画素ａ０〜ａ８の数値の合計が１である条件を満たせば無限に存在する。そこで、例えば使用するフィルタの数値を予め映像・データ蓄積部３に記憶させておき、平滑化部５は、このフィルタの数値を読み出して使用する。
【００３５】
続いて、曲面領域判定部６における曲面領域の判定処理を説明する。
図３は、曲面領域判定部６による曲面領域の判定処理を説明するための図であり、距離データの一水平方向上の距離の値（距離情報）を模式的に示したものである。同図に示すように、距離の値は点Ｐを中心に下に凸になっている、即ち、点Ｐにおいて撮像系（カメラ等）と被写体との距離が最短となり、周辺にいくにしたがって段階的に距離が遠くなっている。この場合に、曲面領域判定部６は、点Ｐを中心に被写体が手前に飛び出しているとみなし、凸領域と判定する。
【００３６】
同図では、一水平方向の場合について説明したが、実際には、曲面領域判定部６は、上述の傾向が近傍にある複数の水平方向の距離データについても同様の傾向があり、さらに、垂直方向においても同様の傾向がみられる場合に、凸領域と判定する。また、曲面領域判定部６は、水平および垂直方向の二次微分が正である場合に凸領域と判定しても構わない。
【００３７】
その他にも、距離データの局所的なガウス曲率と平均曲率の符号から凸領域か否かを判定する手法もある。この手法では、曲面領域判定部６は、２次元配列の距離データを、例えば８×８からなる小領域に分割し、小領域内の６４個の距離データＺ（ｘ，ｙ）に対し、以下の式（１）で近似される二次曲面関数の係数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇを求める。なお、（ｘ，ｙ）は、小領域における水平・垂直方向の位置を表す。
【００３８】
【数１】
2014010806.tif 000003
【００３９】
上式に基づいて、曲面領域判定部６は、ガウス曲率Ｋおよび平均曲率Ｈを、以下の式（２）、（３）を用いて求める。
【００４０】
【数２】
2014010806.tif 000004
【００４１】
【数３】
2014010806.tif 000005
【００４２】
曲面領域判定部６は、ガウス曲率が正（即ち、Ｋ＞０）、かつ、平均曲率が負（即ち、Ｈ＜０）である場合に凸であると判定する。なお、上記の説明では、局所的な凹凸の判定を行う小領域を８×８としたが、小領域内の画素数が６画素以上あれば、どのような矩形領域でも構わない。
【００４３】
以上、凹凸の判定手法の一例を示したが、凸か否かを判定する手法であればどのようなものであっても構わないことは自明である。
【００４４】
次に、光源推定部７における光源の方向及び位置の推定処理を説明する。
光源推定部７は、曲面領域判定部６において選択領域が凸領域と判定された場合に該当領域から光源の方向を推定する。このとき、凸領域上においては光源方向に対応してハイライト領域が生成されることから、光源推定部７は、凸領域上のハイライトのもっとも輝度の高い位置を探索し、光源方向として推定する。ｘ軸を映像面上の水平方向、ｙ軸を映像面上の垂直方向、ｚ軸を映像面と垂直な方向とすると、光源方向は、映像面（ｙｚ平面）から手前側である場合、ｘ軸方向の回転の角度φと、ｚ軸方向の回転の角度θとの組み合わせによって示される。
【００４５】
ｚ軸方向の回転の角度φは、ｘｙ平面に射影した光源方向であり、ｙ軸方向の回転の角度θは、映像面より手前側のｘｚ平面に射影した光源方向である。具体的には、光源推定部７は、被写体領域の輪郭画素の輝度を基にクラスタリング（例えば、Ｆｕｚｚｙ  Ｋ−ｍｅａｎｓ）を行い、輝度のピークのある方向をｘｙ面上の光源方向の角度φとして算出する。また、光源推定部７は、凸領域の映像面上における光源方向上の画素値分布のピーク位置に相当する角度を、光源方向の角度θとして算出する。なお、選択領域にハイライトが複数ある場合などでは、同じ領域から複数の光源の方向を推定しうる。
【００４６】
光源推定部７は、画像内の複数の被写体領域のうち、曲面領域判定部６において凸領域と判定された領域に対して同様に光源方向を推定し、それらの交点として光源の位置を求める。しかし、光源方向が３以上の場合、必ずしも交点は１つにならない。その場合、光源推定部７は、２つの光源方向の全ての組みを生成し、生成した光源方向の組みそれぞれから交点を求め、それらの交点の平均を光源位置として求める。
【００４７】
次に、本実施形態による光源情報抽出装置１０の動作例を説明する。
【００４８】
図４は、光源情報抽出装置１０が備える各部の動作例を示すフローチャートである。
まず、映像入力部１は、シーンを撮像した映像の入力を受け、映像・データ蓄積部３に格納する（ステップＳ１）。同時に、距離情報入力部２は、撮像位置からシーン中の被写体までの距離の２次元配列データである距離データを取得し、同様に、映像・データ蓄積部３に格納する（ステップＳ２）。なお、このとき、距離情報入力部２は、距離データに、当該距離データが示す２次元配列の位置と、映像入力部１に入力された映像内における位置（画素）との対応関係を付加して映像・データ蓄積部３に書き込む。
【００４９】
次に、領域選択部４は、映像・データ蓄積部３に記憶されている映像中の被写体領域を選択する（ステップＳ３）。領域選択部４は、このとき既に選択された被写体領域があれば、異なる被写体領域を選択する。例えば、シーンの中に被写体αが含まれている場合、被写体αの全領域を１つの被写体領域としてもよく、被写体αの一部を１つの被写体領域としてもよい。
【００５０】
続いて、平滑化部５は、領域選択部４により選択された被写体領域に対応した距離データを映像・データ蓄積部３から読み出し、読み出した距離データに対して平滑化を行う（ステップＳ４）。曲面領域判定部６は、平滑化部５により平滑化された距離データに基づいて、被写体領域の曲面の凹凸を判定する（ステップＳ５）。曲面領域判定部６において凸と判定された場合に（ステップＳ５：ＹＥＳ）、光源推定部７は、該当被写体領域の映像からハイライトのもっとも輝度の高い位置を探索して光源方向を推定する（ステップＳ６）。
【００５１】
一方、曲面領域判定部６において、凸領域と判定されなかった場合には（ステップＳ５：ＮＯ）、再度、ステップＳ３の処理に戻り、領域選択部４は既に上記処理を行った被写体領域とは別の被写体領域を選択する。
【００５２】
上述のように、光源情報抽出装置１０は、すべての被写体領域について光源方向の推定が終了するまで（ステップＳ７：ＮＯ）、ステップＳ３からの処理を繰り返し、領域選択部４によって選択された被写体領域に対して曲面領域判定部６が曲面の凹凸を判定し、凸と判定された場合に光源推定部７が光源方向の推定を行う。
【００５３】
すべての被写体領域について処理を終えると（ステップＳ７：ＹＥＳ）、光源推定部７は、凸領域と判定された各被写体領域からステップＳ６において推定された光源方向の交点から光源位置を求める（ステップＳ８）。
【００５４】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
図５は、本実施形態の光源情報抽出装置１０ａの構成を示すブロック図であり、同図において、図１に示す第１の実施形態による光源情報抽出装置１０と同一の部分には同一の符号を付し、その説明を省略する。本実施形態の光源情報抽出装置１０ａは、第１の実施形態の光源情報抽出装置１０の映像・データ蓄積部３、領域選択部４、平滑化部５、曲面領域判定部６をそれぞれ、映像・データ蓄積部３ａ、領域選択部４ａ、平滑化部５ａ、凸領域抽出部８に置き換えた構成である。
【００５５】
映像・データ蓄積部３ａは、光源情報抽出装置１０ａにおける各処理に用いられるデータを記憶する。
平滑化部５ａは、距離情報入力部２により入力され、映像・データ蓄積部３ａに記憶された距離データの全領域に対して、第１の実施形態の平滑化部５と同様の平滑化処理を行う。
凸領域抽出部８は、平滑化部５ａにより平滑化された距離データから凸領域を抽出する。
領域選択部４ａは、凸領域抽出部８により抽出された凸領域に対応した映像の中から、第１の実施形態の領域選択部４と同様の選択処理により、被写体領域を複数選択する。
【００５６】
図６は、凸領域抽出部８における凸領域抽出処理を説明するための図である。
凸領域の抽出では、２次元配列として表現されている距離データに対し、同図に示す処理対象の領域Ｒ２（例えば、１０×１０画素分）内で凹凸を判定し、凸と判定された領域を抽出する。このような操作を、対象領域を距離データが示す２次元配列の左上から右下まで順に動かしながら全ての領域に対して繰り返す。なお、凹凸の判定は、第１の実施形態と同様に、例えば、水平・垂直方向の距離データが下に凸の形状になっている場合や、水平・垂直方向の二次微分が正である場合に、該当領域を凸領域と判定する。
上記の説明では処理対象の領域を１０×１０画素分としたが、これに限定されることなく、また、複数種類のサイズを対象領域として判定しても構わない。
【００５７】
図７は、本実施形態による光源情報抽出装置１０ａが備える各部の動作例を示すフローチャートである。同図において、図４に示すフローチャートと同一の処理には同一の符号を付している。
【００５８】
まず、映像入力部１は映像の入力を受け、映像・データ蓄積部３ａに格納する（ステップＳ１）。同時に、距離情報入力部２は、距離データを入力し、同様に、映像・データ蓄積部３ａに格納する（ステップＳ２）。このとき、距離情報入力部２は、距離データに、当該距離データが示す２次元配列の位置と、映像入力部１に入力された映像内における位置（画素）との対応関係を付加して映像・データ蓄積部３ａに書き込む。
【００５９】
次に、平滑化部５ａは、映像・データ蓄積部３ａに格納されている距離データを読み出し、読み出した距離データの全領域に対して平滑化を行い、映像・データ蓄積部３ａに書き込む（ステップＳ１１）。凸領域抽出部８は、映像・データ蓄積部３ａからステップＳ１１において平滑化された距離データを読み出し、読み出した距離データから凸領域を抽出し、抽出した凸領域の座標を映像・データ蓄積部３ａに格納する（ステップＳ１２）。
【００６０】
領域選択部４ａは、映像・データ蓄積部３ａからステップＳ１２において抽出された凸領域の座標を読み出し、読み出した座標に対応した映像をさらに読み出す。領域選択部４ａは、読み出した映像のうち、光源の方向及び位置を推定するための被写体領域として用いる映像を選択する（ステップＳ１３）。領域選択部４ａは、このとき既に選択された映像があれば、異なる映像を選択する。光源推定部７は、ステップＳ１３において選択された被写体領域に対して、その被写体領域の映像からハイライトのもっとも輝度の高い位置を探索して光源方向を推定する（ステップＳ６）。
【００６１】
光源推定部７は、全ての被写体領域について光源方向の推定が終了するまで（ステップＳ７：ＮＯ）、ステップＳ１３からの処理を繰り返す。光源推定部７ａは、全ての被写体領域について光源方向の推定が終了すると（ステップＳ７：ＹＥＳ）、ステップＳ６において得られた複数の光源方向の交点から光源位置を求める（ステップＳ８）。
【００６２】
本実施形態によれば、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する際に光源方向や位置を推定する光源情報抽出装置は、入力された入力映像に含まれる複数の被写体領域を選択し、選択した被写体領域が凸領域であるか否かを距離データを用いて判定する。そして、凸領域であると判定された被写体領域から光源方向を算出し、複数の算出した光源方向から光源位置を算出する。これにより、複雑なキャリブレーションや特殊なデバイスを必要とせずに、光源が直接的に映っていない映像から高精度に光源方向および位置を求めることができる。
【００６３】
上述した光源情報抽出装置１０、１０ａは、内部にコンピュータシステムを有している。そして、本実施形態の光源情報抽出装置１０、１０ａが備える各部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。なお、ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００６４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００６５】
１…映像入力部、２…距離情報入力部、３、３ａ…映像・データ蓄積部（蓄積部）、４、４ａ…領域選択部、５、５ａ…平滑化部、６…曲面領域判定部、７…光源推定部、８…凸領域抽出部、１０、１０ａ…光源情報抽出装置
【図１】
2014010806.tif 000006
【図２】
2014010806.tif 000007
【図３】
2014010806.tif 000008
【図４】
2014010806.tif 000009
【図５】
2014010806.tif 000010
【図６】
2014010806.tif 000011
【図７】
2014010806.tif 000012
【図８】
2014010806.tif 000013
【図９】
2014010806.tif 000014