(57)【要約】【課題】マーカや物体の表面反射特性等の情報を用いずに簡易に物体に照射されている光を発する光源の位置を推定することができる光源方向推定装置を提供する。【解決手段】所定のシーンを撮像した画像から光源の方向を推定する光源方向推定装置であって、画像の画像データと、画像に映っている被写体の３次元データと、画像に映っている影の領域を示す影領域データとを取得するデータ取得手段と、光源の候補となる候補光源の位置を設定する候補光源設定手段と、候補光源から発せられた光によってできる被写体の影の領域の候補である候補影領域を算出する候補影領域算出手段と、候補影領域と、取得した影領域データとから候補光源の尤度を算出する尤度算出手段と、尤度を混合分布でモデル化することにより光源の数と、光源の方向を推定する光源方向推定手段とを備えた。【選択図】図１
2016126385.tif 000002
【特許請求の範囲】
【請求項１】
所定のシーンを撮像した画像から光源の方向を推定する光源方向推定装置であって、
前記画像の画像データと、前記画像に映っている被写体の３次元データと、前記画像に映っている影の領域を示す影領域データとを取得するデータ取得手段と、
前記光源の候補となる候補光源の位置を設定する候補光源設定手段と、
前記候補光源から発せられた光によってできる前記被写体の影の領域の候補である候補影領域を算出する候補影領域算出手段と、
前記候補影領域と、取得した前記影領域データとから前記候補光源の尤度を算出する尤度算出手段と、
前記尤度を混合分布でモデル化することにより前記光源の数と、前記光源の方向を推定する光源方向推定手段と
を備えたことを特徴とする光源方向推定装置。
【請求項２】
所定のシーンを撮像した画像から光源の方向を推定する光源方向推定装置が行う光源方向推定方法であって、
前記画像の画像データと、前記画像に映っている被写体の３次元データと、前記画像に映っている影の領域を示す影領域データとを取得するデータ取得ステップと、
前記光源の候補となる候補光源の位置を設定する候補光源設定ステップと、
前記候補光源から発せられた光によってできる前記被写体の影の領域の候補である候補影領域を算出する候補影領域算出ステップと、
前記候補影領域と、取得した前記影領域データとから前記候補光源の尤度を算出する尤度算出ステップと、
前記尤度を混合分布でモデル化することにより前記光源の数と、前記光源の方向を推定する光源方向推定ステップと
を有することを特徴とする光源方向推定方法。
【請求項３】
コンピュータを、請求項１に記載の光源方向推定装置として機能させるための光源方向推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から光源の位置を推定する光源方向推定装置、光源方向推定方法及び光源方向推定プログラムに関する。
【背景技術】
【０００２】
近年、人が知覚する現実環境をコンピュータにより拡張する技術であるＡＲ（Augmented Reality：拡張現実）や、現実空間と仮想空間を混合し、現実のモノと仮想的なモノがリアルタイムで影響しあう新たな空間を構築する技術であるＭＲ（Mixed Reality：複合現実）が注目されている。ＡＲやＭＲ等においては、現実のシーンや映像に対して違和感のない映像の合成表示が求められている。そのための要素の一つとして物体の影を付与する問題がある。画像中の物体の影を付与するためには、その画像が取得されたときの光源の位置を推定することが必要となる（例えば、非特許文献１、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】P.Supan, I.Stuppacher, M .Haller,"lmage Based Shadewing in RealTime Augmented Reality."The Interrnational Journal of Virtual Reality,5( 3);1-7,2006 .
【非特許文献２】I.Sato,Y .Sato and K .lkeuchi,"Acquiring a Radiance Distribution to Su-perimpose Viretual Objects onto a Real Scene ,"IEEE Trans .on Visualization and Colnputer Graphics, 1999 .
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来から提案されている非特許文献１の光源位置推定の手法にあっては、シーンに球面上のマーカを設置する必要があり、手間がかかるという問題がある。また、非特許文献２の光源位置推定の手法にあっては、撮影するシーンに存在する物体の反射特性が既知であるという制約があり、画像中の物体の反射特性をすべて既知にすることは現実的でないという問題もある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、マーカ及び物体の表面反射特性の情報を用いずに物体に照射されている光を発する光源の位置を推定することができる光源方向推定装置、光源方向推定方法及び光源方向推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、所定のシーンを撮像した画像から光源の方向を推定する光源方向推定装置であって、前記画像の画像データと、前記画像に映っている被写体の３次元データと、前記画像に映っている影の領域を示す影領域データとを取得するデータ取得手段と、前記光源の候補となる候補光源の位置を設定する候補光源設定手段と、前記候補光源から発せられた光によってできる前記被写体の影の領域の候補である候補影領域を算出する候補影領域算出手段と、前記候補影領域と、取得した前記影領域データとから前記候補光源の尤度を算出する尤度算出手段と、前記尤度を混合分布でモデル化することにより前記光源の数と、前記光源の方向を推定する光源方向推定手段とを備えたことを特徴とする。
【０００７】
本発明は、所定のシーンを撮像した画像から光源の方向を推定する光源方向推定装置が行う光源方向推定方法であって、前記画像の画像データと、前記画像に映っている被写体の３次元データと、前記画像に映っている影の領域を示す影領域データとを取得するデータ取得ステップと、前記光源の候補となる候補光源の位置を設定する候補光源設定ステップと、前記候補光源から発せられた光によってできる前記被写体の影の領域の候補である候補影領域を算出する候補影領域算出ステップと、前記候補影領域と、取得した前記影領域データとから前記候補光源の尤度を算出する尤度算出ステップと、前記尤度を混合分布でモデル化することにより前記光源の数と、前記光源の方向を推定する光源方向推定ステップとを有することを特徴とする。
【０００８】
本発明は、コンピュータを、前記光源方向推定装置として機能させるための光源方向推定プログラムである。
【発明の効果】
【０００９】
本発明によれば、マーカ及び物体の表面反射特性情報を用いずに、画像中の物体に照射されている光を発する光源の位置を推定することが可能になるという効果が得られる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す光源位置推定部の１０５の動作を示すフローチャートである。
【図３】本発明の一実施形態に係る候補光源と影領域を示す概念図である。
【図４】本発明一の実施形態に係る混合分布による光源位置モデル化の概念図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の一実施形態による光源方向推定装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号Ａは、対象被写体となる物体である。符号１００は、物体Ａの画像と３次元データとを取得する画像取得装置であり、例えば、ＲＧＢ−Ｄカメラ（カラー画像と奥行き画像とを得ることができるカメラ）や多視点カメラで構成することができる。
【００１２】
符号１は、コンピュータ装置で構成する光源方向推定装置である。図１においては省略しているが、実際には、キーボードやマウス等の入力装置、画面表示を行う表示装置も備えている。符号１０１は、画像取得装置１００から所定のシーンの画像と３次元データ（奥行き画像等）を入力する画像入力部である。画像入力部１０１は、画像取得装置１００とオンラインでリアルタイムに画像を入力する構成である必要はない。また、画像取得装置１００によって取得した画像を記憶装置に記憶しておき、この記憶装置から画像を読み込む構成であってもよい。
【００１３】
符号１０２は、画像入力部１０１におい入力した生の３次元データから特定の物体（ここでは、物体Ａ）の３次元データとその物体が接する面（影ができる対象）の３次元データに分離を行うシーン３次元情報取得部である。この生の３次元データから特定の物体（ここでは、物体Ａ）の３次元データとその物体が接する面（影ができる対象）の３次元データに分離を行う処理は、一般的なクラスタリングなどで実現してもよいし、またはユーザが表示装置に表示された画像を見ながら入力装置を操作して手動で領域指定するようにしてもよい。
【００１４】
符号１０３は、シーン３次元情報取得部１０２により取得した特定の物体Ａの３次元データとこの物体Ａが接する面の３次元データの記憶を行うデータ記憶部であり、記憶装置によって構成する。データ記憶部１０３は、光源方向推定装置１の外部の記憶装置であってもよい。また、データ記憶部１０３は、特別に記憶装置を設ける構成でなくてもよく、コンピュータ装置に実装されているメモリにデータを記憶する構成であってもよい。
【００１５】
符号１０４は、シーン３次元情報取得部１０２で求めた面上で物体Ａの影の領域を検出する影領域検出部である。影領域検出部１０４は、画像の輝度を用いたクラスタリングを行うことによってシーン３次元情報取得部１０２で求めた面上で影の領域の検出を実現する。また、影領域検出部１０４は、ユーザが表示装置に表示された画像を見ながら入力装置を操作して手動で領域指定するようにしてもよい。このとき、影が複数ある場合は、それぞれの影について検出する。
【００１６】
符号１０５は、データ記憶部１０３に記憶されている情報、対象である物体Ａと平面の３次元位置情報、影領域の座標を用いて、物体Ａを照射している光を発する光源の位置の推定を行う光源位置推定部である。光源が複数あればそれぞれの光源位置の推定を行う。すなわち、画像からこの画像を撮像した時の光源数とそれぞれの光源の方向を推定する。
【００１７】
次に、図２を参照して、図１に示す光源位置推定部１０５の処理動作を説明する。図２は、図１に示す光源位置推定部１０５の処理動作を示すフローチャートである。この処理動作を行う前に、既にシーン３次元情報取得部１０２、影領域検出部１０４が実行されて、データ記憶部１０３には、対象である物体Ａと平面の３次元位置情報、影領域の座標が記憶されているものとする。また、光源は、点光源とみなすことができる程度に物体Ａから十分離れているものとする。
【００１８】
まず、光源位置推定部１０５は、光源位置の候補の設定を行う（ステップＳ２０１）。ここで、図３を参照して光源を点光源とする場合の説明を行う。シーン３次元情報取得部１０２と影領域検出部１０４とで取得した物体Ａの表面上の点の３次元位置（ｘｊ，ｙｊ，ｚｊ）、物体Ａの接する平面Ｃと平面Ｃにできる影領域Ｄの情報があるとき、物体Ａが面Ｃに接する領域の重心を原点とした球面Ｂ上の点（Ｓｉ＝θｉ，φｉ）に候補点光源を配置する。
【００１９】
このとき、光源の間隔は任意に設定する。候補点光源の位置は、方位角θと、仰角φで表す。また、平面Ｃの下側（裏側）の球面Ｂ上に候補点光源を設定することは意味を持たないため、候補点光源を配置する必要はない。
【００２０】
次に、光源位置推定部１０５は、ステップＳ２０１で設定した候補点光源位置Ｓｉから候補影領域の計算を行う（ステップＳ２０２）。光源が点光源の場合、光源位置をＬｉ、物体Ａ上の３次元点をＰｊとし、その時の影の位置をＳｉｊとすると、影の位置Ｓｉｊは（１）式のベクトル演算で求められる。
【数１】
2016126385.tif 000003
【００２１】
このとき、ｔは→Ｓｉｊ（→はＳの頭に付く）のＺ座標値が０になる条件をつけることで求めることが可能である。これを、全ての物体Ａ上の点Ｐｊ（１，．．．，Ｊ）について行うことで、光源位置Ｌｉ（候補点光源位置Ｓｉ）に対する影領域Ｓｉｊを求めることが可能である。
【００２２】
次に、光源位置推定部１０５は、ステップＳ２０２で求めた影領域Ｓｉｊの尤度を計算する（ステップＳ２０３）。これは、影領域検出部１０４で取得した正解の影領域（影領域委検出部１０４で検出した影領域）に対して求めた候補影領域がどれくらい近いかを計算することで可能である。この計算は、例えば、候補影領域Ｓｉｊについて、正解影領域の中で最も近い点との距離を求め、それをその点の距離ｄｉｓｔｉｊとする。さらに、これを（２）式のような尤度で示すことが可能である。
【数２】
2016126385.tif 000004
【００２３】
これを全ての光源位置Ｌｉ（１，．．．，Ｉ）について行うことで、各光源位置の尤度を求めることが可能である。
【００２４】
次に、光源位置推定部１０５は、光源位置の尤度を混合分布でモデル化することで、光源数と光源位置を推定する（ステップＳ２０４）。図４は、混合分布によるモデリングの概念図である。ステップＳ２０３で求めた光源位置の尤度は図４のように示すことができる。
【００２５】
ここでは、光源位置の方位角方向（θ）のみ表示しているが、実際には仰角方向（φ）の成分をもつ。このグラフでは、尤度が平均μ１，分散１の正規分布と平均μ２，分散２の正規分布の二つの分布の混合により構成されていることを示している。混合分布のうち、正規分布を仮定すれば、混合正規分布は（３）式で示すことができる。
【数３】
2016126385.tif 000005
【００２６】
このとき、πｍ≧０（ｍ＝１，．．．，Ｍ），ΣＭｍ＝１πｍ＝１であり、混合分布の推定とは、パラメータθ＝πｍ，μｍ，Σｍ；ｍ＝１，．．．，Ｍを推定することである。これは、混合数（光源数）が既知の場合には、ＥＭアルゴリズム（確率モデルのパラメータを最尤法に基づいて推定する手法）などにより推定可能である。また、赤池情報量規準（統計モデルの良さを評価するための指標）等を用いることで混合数の推定も可能である。このように推定した平均値を光源位置の推定値とすることが可能である。これらにより、複数の光源数が未知の光源に対して光源位置の推定が可能となる。
【００２７】
このように、シーンに存在する物体と影の３次元位置を取得し、その位置関係から統計的に光源の位置の推定を行うようにした。そして、統計解析を行う際に、混合分布を用いることで、複数の光源が合った場合にもその混合数を求めることで位置の推定が可能となる。
【００２８】
以上説明したように、画像から光源位置を推定する際に、画像から被写体（物体）の３次元形状とその影領域を得て、光源位置の候補を決め、候補位置から光が被写体にあたってできると計算上の影と実際の影領域とから、候補位置の尤度が得る。その尤度から、混合分布を用いて光源位置を推定するようにした。特に、混合分布を用いて光源位置をモデリングすることにより、光源位置が未知の場合にも、その位置と個数の推定が可能となる。
【００２９】
前述した実施形態における光源方向推定装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００３０】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００３１】
マーカや物体の表面反射特性等の情報を用いずに簡易に物体に照射されている光を発する光源の位置を推定することが不可欠な用途に適用できる。
【符号の説明】
【００３２】
Ａ・・・物体、１００・・・画像取得装置、１０１・・・画像入力部、１０２・・・シーン３次元情報取得部、１０３・・・データ記憶部、１０４・・・影領域検出部、１０５・・・光源位置推定部
【図１】
2016126385.tif 000006
【図２】
2016126385.tif 000007
【図３】
2016126385.tif 000008
【図４】
2016126385.tif 000009