(57)【要約】【課題】物体の特性を正確に取得することが可能な情報処理方法を提供する。【解決手段】情報処理方法は、照明光の空間分布情報（Ｂｉ（λ，ωｉ））と物体の向き情報（θｉ）とに基づいて、物体を照明する物体照明光に関する情報（Ｅｉ（λ））を算出するステップと、物体照明光に関する情報（Ｅｉ（λ））と物体の反射光に関する情報（Ｒ（λ））とに基づいて、物体照明光の影響を低減するように反射光に関する情報を補正するステップとを有する。【選択図】図１
2018151832.tif 000002
【特許請求の範囲】
【請求項１】
照明光の空間分布情報と物体の向き情報とに基づいて、該物体を照明する物体照明光に関する情報を算出するステップと、
前記物体照明光に関する情報と前記物体の反射光に関する情報とに基づいて、前記物体照明光の影響を低減するように該反射光に関する情報を補正するステップと、を有することを特徴とする情報処理方法。
【請求項２】
前記反射光に関する情報を補正するステップは、前記物体照明光に関する情報と前記物体の反射光に関する情報と前記反射光の向き情報とに基づいて、前記物体の反射特性を算出するステップを含むことを特徴とする請求項１に記載の情報処理方法。
【請求項３】
前記反射光に関する情報を補正するステップは、前記照明光の下における前記物体の反射光を、前記照明光とは異なる照明光の下における該物体の反射光に変換するステップを含むことを特徴とする請求項１に記載の情報処理方法。
【請求項４】
前記物体の向き情報は、該物体の面法線ベクトル、物体面の方位角および仰角、または、該物体面の２方向の傾きであることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理方法。
【請求項５】
前記物体の向き情報は、複数の局所的物体を１つの物体とみなして得られる情報であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理方法。
【請求項６】
前記物体の向き情報は、局所的な向き情報を平均化して得られることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理方法。
【請求項７】
前記反射光の向き情報は、前記物体の向き情報を基準とした該反射光の単位ベクトルであることを特徴とする請求項２に記載の情報処理方法。
【請求項８】
前記照明光の前記空間分布情報を少なくとも３バンドのマルチバンド画像を用いて取得するステップを更に有することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理方法。
【請求項９】
前記マルチバンド画像は、全方位に対して１８０度以上の画角を有することを特徴とする請求項８に記載の情報処理方法。
【請求項１０】
前記マルチバンド画像の射影は等立体角射影であることを特徴とする請求項８または９に記載の情報処理方法。
【請求項１１】
前記物体の向き情報を該物体の三次元計測情報に基づいて算出するステップを更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理方法。
【請求項１２】
照明光の空間分布情報を入力する照明情報入力部と、 
物体の向き情報を入力する物体向き情報入力部と、
前記照明光の前記空間分布情報と前記物体の向き情報とに基づいて、前記物体を照明する物体照明光に関する情報を算出する物体照明光算出部と、
前記物体の反射光に関する情報を入力する反射光情報入力部と、
前記物体照明光に関する情報と前記物体の反射光に関する情報とに基づいて、前記物体照明光の影響を低減するように該反射光に関する情報を補正する反射光補正部と、を有することを特徴とする情報処理装置。
【請求項１３】
前記反射光の向き情報を入力する反射光向き情報入力部を更に有し、
前記反射光補正部は、前記物体照明光に関する情報と前記物体の反射光に関する情報と該反射光の向き情報とに基づいて、該反射光に関する情報を補正することを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記照明光の空間分布情報を取得する照明情報取得部を更に有し、
前記照明情報入力部は、前記照明情報取得部により取得された前記照明光の空間分布情報を入力することを特徴とする請求項１２または１３に記載の情報処理装置。
【請求項１５】
前記照明情報取得部は、
少なくとも３バンドのマルチバンド画像を取得する照明光撮像部と、
前記マルチバンド画像に基づいて前記照明光を推定する照明光推定部と、を有することを特徴とする請求項１４に記載の情報処理装置。
【請求項１６】
前記照明光撮像部は光学系を有し、
前記光学系は、全方位に対して１８０度以上の画角を有することを特徴とする請求項１５に記載の情報処理装置。
【請求項１７】
前記光学系の射影は等立体角射影であることを特徴とする請求項１６に記載の情報処理装置。
【請求項１８】
前記物体の向き情報を取得する物体向き情報取得部を更に有し、
前記物体向き情報入力部は、前記物体向き情報取得部により取得された前記物体の向き情報を入力することを特徴とする請求項１２乃至１７のいずれか１項に記載の情報処理装置。
【請求項１９】
前記物体向き情報取得部は、
前記物体の三次元計測を行う三次元計測部と、
前記三次元計測部から出力される三次元計測情報に基づいて前記物体の向き情報を算出する物体向き情報算出部と、を有することを特徴とする請求項１８に記載の情報処理装置。
【請求項２０】
前記物体の反射光に関する情報を取得する反射光情報取得部を更に有し、
前記反射光情報入力部は、前記反射光情報取得部により取得された前記物体の反射光に関する情報を入力することを特徴とする請求項１２乃至１９のいずれか１項に記載の情報処理装置。
【請求項２１】
照明光の空間分布情報と物体の向き情報とに基づいて、該物体を照明する物体照明光に関する情報を算出するステップと、
前記物体照明光に関する情報と前記物体の反射光に関する情報とに基づいて、該物体照明光の影響を低減するように該反射光に関する情報を補正するステップと、をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照明光に応じて物体の反射光に関する情報を補正する情報処理装置に関する。
【背景技術】
【０００２】
物体の反射光は、照明光が物体の表面で反射・拡散された光である。そのため、反射・拡散特性が同一の物体であっても、照明光が異なると反射光が変化する。このように照明光の変化に応じて反射光が変化するため、物体の反射・拡散特性を正確に取得することは困難である。このことは、マルチバンド画像やハイパースペクトラル画像を用いたリモートセンシングにおいて重要な課題となっている。この課題を解決するには、照明光を推定し、その影響を低減する必要がある。
【０００３】
特許文献１には、照明光を推定する方法として、撮影時の天候情報に基づいて決定された重み係数を用いて自然光の直達光成分と散乱光成分とを合成する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５９５０１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されている方法では、天候情報としての曇り度合いや、オブジェクトによる直達光成分の遮蔽の有無を用いることにより、晴天のみならず曇天や日陰などの撮影環境下においても照明光を推定することが可能である。しかしながら、曇り度合いに関して、雲の濃さは異なり、同じ雲量でも雲が太陽を遮っているか否かなどの状況に応じて照明光は変化する。このため、特許文献１に開示されている方法では、正確に照明光を推定することは困難である。
【０００６】
また屋外撮影の際に、物体は空の各方向から到達する光により照明されるが、それらの照明光は各々異なるため、物体の向きに応じて照明光は異なる。しかしながら、特許文献１に開示されている方法では、物体の向きに応じた照明光を推定することは困難である。
【０００７】
そこで本発明は、物体の特性を正確に取得することが可能な情報処理方法、情報処理装置、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面としての情報処理方法は、照明光の空間分布情報と物体の向き情報とに基づいて、該物体を照明する物体照明光に関する情報を算出するステップと、前記物体照明光に関する情報と前記物体の反射光に関する情報とに基づいて、前記物体照明光の影響を低減するように該反射光に関する情報を補正するステップとを有する。
【０００９】
本発明の他の側面としての情報処理装置は、照明光の空間分布情報を入力する照明情報入力部と、物体の向き情報を入力する物体向き情報入力部と、前記照明光の前記空間分布情報と前記物体の向き情報とに基づいて、前記物体を照明する物体照明光に関する情報を算出する物体照明光算出部と、前記物体の反射光に関する情報を入力する反射光情報入力部と、前記物体照明光に関する情報と前記物体の反射光に関する情報とに基づいて、前記物体照明光の影響を低減するように該反射光に関する情報を補正する反射光補正部とを有する。
【００１０】
本発明の他の側面としてのプログラムは、照明光の空間分布情報と物体の向き情報とに基づいて、該物体を照明する物体照明光に関する情報を算出するステップと、前記物体照明光に関する情報と前記物体の反射光に関する情報とに基づいて、該物体照明光の影響を低減するように該反射光に関する情報を補正するステップとをコンピュータに実行させる。
【００１１】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１２】
本発明によれば、物体の特性を正確に取得することが可能な情報処理方法、情報処理装置、および、プログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１における情報処理方法のフローチャートである。
【図２】実施例１における照明光の推定方法の説明図である。
【図３】実施例１における物体照明光の算出方法の説明図である。
【図４】実施例２における物体照明光の算出方法の説明図である。
【図５】実施例３における情報処理装置のブロックである。
【図６】実施例４における情報処理装置の構成図である。
【図７】各実施例における物体による照明光の反射のモデル図である。
【図８】各実施例における光線の単位ベクトルの算出方法の説明図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。本実施形態の情報処理方法は、照明光の空間分布情報と物体の向き情報とに基づいて物体照明光に関する情報を算出する処理と、物体照明光に関する情報と物体の反射光に関する情報とに基づいて反射光に関する情報を補正する処理とを有する。以下、各処理について詳述する。
【００１５】
（物体照明光の算出方法）
まず、図７を参照して、物体を照明する物体照明光の算出方法について説明する。図７は、物体による照明光の反射のモデル図である。
【００１６】
照明光の空間分布情報と、その照明光下にある物体の向き情報とがそれぞれ既知の場合、物体を照明する物体照明光Ｅｉ（λ）は、以下の式（１）のように算出される。
【００１７】
【数１】
2018151832.tif 000003
【００１８】
式（１）において、Ωｉは物体が置かれた半球空間、ｄΩｉは半球空間Ωｉ内の微小立体角、Ｂｉ（λ，ωｉ）は物体に入射する照明光の角度ωｉの方向の微小立体角ｄΩｉから物体に到達する光の放射輝度、θｉは角度ωｉと物体の面法線とが為す角度である。照明光の空間分布情報が既知であることは放射輝度Ｂｉ（λ，ωｉ）が既知であることを意味する。物体の向き情報が既知であることは、角度θｉが既知であることを意味する。従って、照明光の空間分布情報と物体の向き情報とに基づいて、物体の向きに応じた物体照明光Ｅｉ（λ）（物体照明光に関する情報）を算出することができる。
【００１９】
（物体照明光による影響の補正方法）
物体照明光Ｅｉ（λ）により照明された物体の反射光Ｒ（λ）は、以下の式（２）のように表される。
【００２０】
【数２】
2018151832.tif 000004
【００２１】
式（２）において、ＢＲＤＦ（ωｉ→ωｒ）は角度ωｉの方向から物体へ入射する光の照度に対する角度ωｒの方向への物体の反射・散乱光の輝度の比である双方向反射率分布関数である。また、ｄΩｒは計測した反射・散乱光の微小立体角、θｒは角度ωｒ（物体の反射光の角度情報）と物体の面法線とが為す角度である。
【００２２】
式（２）に示されるように、反射光Ｒ（λ）は、放射輝度Ｂｉ（λ，ωｉ）、すなわち物体照明光Ｅｉ（λ）の影響を受ける。従って、物体照明光Ｅｉ（λ）の影響を低減するように補正して物体そのものの反射率を求めるには、式（２）で表される反射光Ｒ（λ）を物体照明光Ｅｉ（λ）で徐算する必要がある。物体照明光Ｅｉ（λ）の影響を補正した物体の真の反射率特性（反射特性）をＳ（λ）とすると、反射率特性Ｓ（λ）は、以下の式（３）のように算出される。
【００２３】
【数３】
2018151832.tif 000005
【００２４】
式（３）において、ＢＲＤＦｉｄｅａｌ（ωｉ→ωｒ）は、反射・散乱特性の角度特性の形状がＢＲＤＦ（ωｉ→ωｒ）と等しく、かつ、反射率が１である理想物体の双方向反射率分布関数である。通常、物体のＢＲＤＦ（ωｉ→ωｒ）は未知であるため、ＢＲＤＦｉｄｅａｌ（ωｉ→ωｒ）を求めることは困難である。しかし、物体が完全拡散面である場合、ＢＲＤＦｉｄｅａｌ（ωｉ→ωｒ）＝１／πとなるため、式（３）は以下の式（４）のように表すことができる。
【００２５】
【数４】
2018151832.tif 000006
【００２６】
従って、物体照明光Ｅｉ（λ）と角度θｒ（反射光の向き情報）とを用いて、物体照明光Ｅｉ（λ）の影響を低減するように補正した物体の反射率特性Ｓ（λ）（物体の真の反射光に関する情報）を求めることができる。
【００２７】
また、物体の反射光がマルチバンドカメラにより取得される場合、以下のようにして物体照明光の影響を補正した物体の反射率特性（反射特性）を求めることができる。まず、ｎ個のバンドを有するマルチバンドカメラの各バンド輝度値Ｉｋは、以下の式（５）のように表される。
【００２８】
【数５】
2018151832.tif 000007
【００２９】
式（５）において、Ｃは比例定数、Ｒ（λ）は式（２）に示す反射光、Ｌ（λ）は撮影に使用した光学系の分光透過率である。また、φｋ（ｋ＝１、２、・・、ｎ）は撮影に使用したマルチバンドカメラのｋ番目のバンドの分光感度特性、λｋ１、λｋ２（ｋ＝１、２、・・、ｎ）はそれぞれ、マルチバンドカメラのｋ番目のバンドの分光感度特性の最小波長と最大波長である。
【００３０】
式（５）中の反射光Ｒ（λ）は、式（２）より、照明光の放射輝度Ｂｉ（λ，ωｉ）の影響を受ける。このとき、照明光の影響を補正した物体の反射率特性（反射特性）をＳｋとすると、反射率特性Ｓｋは、以下の式（６）のように表される。
【００３１】
【数６】
2018151832.tif 000008
【００３２】
式（６）では、式（４）と同様に、物体が完全拡散面であるという前提を用いている。式（６）を用いることにより、物体照明光の影響を低減するように補正した物体の反射率特性Ｓｋを求めることができる。式（４）、（６）により、照明光（Ｅｉ（λ））の下で取得された物体の反射光から、物体の絶対反射率を得ることができる。
【００３３】
一方、照明光（Ｅｉ（λ））の下で取得された物体の反射光（R（λ）, Ｉｋ）から、別の照明光（Ｅ’ｉ（λ））の下で取得された物体の反射光（R’（λ）, Ｉ’ｋ）への変換は、以下の式（７）、（８）のように表される。
【００３４】
【数７】
2018151832.tif 000009
【００３５】
この場合、反射光の向き情報（角度θｒ）を用いなくてもよい。
【００３６】
（照明光の空間分布情報の取得方法）
次に、照明光の空間分布情報の取得方法について説明する。ここでは、空の半天球画像から照明光の空間分布情報を取得する方法について説明する。
【００３７】
まず、前提条件として、自然光Ｂ（λ）は、以下の式（９）のように近似することができる。
【００３８】
【数８】
2018151832.tif 000010
【００３９】
式（９）において、Ｆ（λ）は大気外太陽放射スペクトル、Ｔ（λ）は大気分光透過率、λは波長、λ０は基準波長である。また、ａ０は直達光成分を表す係数、ａ１は大気分子によるレイリー散乱成分を表す係数、ａ２は大気エアロゾル粒子によるミー散乱成分を表す係数である。Ｆ（λ）、Ｔ（λ）については事前観測結果を用いることができるため、自然光Ｂ（λ）はａ０、ａ１、ａ２の三つの変数により決定される。なお、自然光Ｂ（λ）は、太陽位置、気象条件、大気状態などに応じて変化するが、係数ａ０、ａ１、ａ２の値を変化させることにより、これらの影響を受けた自然光Ｂ（λ）を表現することが可能である。
【００４０】
次に、空の半天球画像から照明光の空間分布情報を取得する方法について説明する。本実施形態ではＲＧＢ３バンドの画像を用いた例を説明するが、これに限定されるものではなく、少なくとも３バンドのマルチバンド画像を用いることができる。空を撮影した場合のＲＧＢ値は、以下の式（１０）のように表される。
【００４１】
【数９】
2018151832.tif 000011
【００４２】
式（１０）において、Ｌ（λ）は撮影に使用した光学系の分光透過率、φｋ（ｋ＝Ｒ、Ｇ、Ｂ）は撮影に使用したカメラの分光感度特性、λｋ１、λｋ２（ｋ＝Ｒ、Ｇ、Ｂ）はそれぞれ、カメラの分光感度特性の最小波長と最大波長である。また、Ｃは比例定数である。
【００４３】
式（１０）に式（９）を代入すると、以下の式（１１）のようにまとめることができる。式（１１）中のＩ０ｋ、Ｉ１ｋ、Ｉ２ｋは、以下の式（１２）のように定義される。また、式（１１）のｂ０、ｂ１、ｂ２は、以下の式（１３）のように定義される。
【００４４】
【数１０】
2018151832.tif 000012
【００４５】
式（１２）の値は、事前に算出することが可能である。従って、係数ａ０、ａ１、ａ２は、ＲＧＢ値を用いて、以下の式（１４）により求めることができる。
【００４６】
【数１１】
2018151832.tif 000013
【００４７】
以上より、求められた係数ａ０、ａ１、ａ２を式（９）に代入することにより、空の特定領域からの照明光を取得することができる。空の半天球画像からは、画像内の各点について係数ａ０、ａ１、ａ２を求めることができる。従って、空の半天球画像から照明光の空間分布情報を得ることが可能である。
【００４８】
なお、ここでは３バンドの画像を用いているが、自然光近似モデルの変数の数と同数以上のバンド数であればこれに限定されるものではない。例えば、４バンド画像でもよく、その場合、式（１４）に代えて最小二乗法などにより変数を求めればよい。また、ここではＲＧＢ画像を用いているが、式（１４）に示されるような逆行列の階数が自然光近似モデルの変数の数と同数以上であれば、ＲＧＢバンドに限定されるものではない。例えば、可視域赤波長帯Ｒに代えて、近赤外波長帯ＩＲを用いてもよい。また、式（９）の近似モデルにより求められる自然光は可視波長帯域に限定されるものではなく、紫外線（３００ｎｍ）から近赤外領域（２．５μｍ）まで利用可能である。また、式（９）以外の近似モデルを用いてもよい。
【００４９】
（物体の向き情報の取得方法）
本実施形態における物体の向き情報は、物体の面法線ベクトル、物体面の方位角と仰角、または、物体面の２方向の傾きのいずれかに相当するが、これらに限定されるものではない。物体の向き情報は、ユーザが手入力で行うことができる。また、三次元計測情報に基づいて、物体の面法線ベクトルなどを算出してもよい。三次元計測情報の取得方法としては、ステレオ法、アクティブステレオ法、光レーザー法などを用いればよい。
【００５０】
なお、対象とする物体が複数の物体で構成されている場合、複数の物体（複数の局所的物体）を１つの物体とみなして物体の向き情報を求めてもよい。例えば、稲が植えられた水田では、水田内に生えた複数の稲の全体を１つの物体とみなし、物体の向き情報を求めてもよい。また、物体が表面構造を有している場合、物体の向き情報は表面構造の向き情報（局所的な向き情報）を平均化して求めてもよい。
【００５１】
以下、本発明に関し、各実施例において具体的に説明する。
【実施例１】
【００５２】
まず、図１乃至図３を参照して、本発明の実施例における情報処理方法について説明する。図１は、本実施例における情報処理方法のフローチャートである。図１の各ステップは、例えば実施例３または実施例４の情報処理装置（計測システム）により実行される。図２は、図１のステップＳ１１における照明光の推定方法の説明図である。図３は、図１のステップＳ１２における物体照明光の算出方法の説明図である。
【００５３】
まず、図１のステップＳ１１において、情報処理装置は、照明光の空間分布情報を推定する。ステップＳ１１において、情報処理装置は、例えば全画角１８０度の円周魚眼画像（魚眼レンズを用いて撮影した画像）を用いて照明光の空間分布情報を推定する。全画角１８０度以上の円周魚眼画像を用いると、空の各点から物体に入射する各照明光の空間分布情報を取得することができる。なお、本実施例ではＲＧＢ画像を用いているが、これに限定されるものではない。
【００５４】
図２の上段には、空の円周魚眼画像（撮影画像）が示されている。本実施例ではＲＧＢの３バンド画像が用いられており、Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）はそれぞれＲバンド画像、Ｇバンド画像、Ｂバンド画像をそれぞれ示している。ここで、ｉ，ｊはそれぞれ水平方向および垂直方向のそれぞれの画素番号を示しており、水平方向および垂直方向の画素数をそれぞれＮｈ、Ｎｖとするとき、１≦ｉ≦Ｎｈ、１≦ｊ≦Ｎｖの範囲内の値を採る。
【００５５】
なお、より正確に照明光を推定するには、入射光に対して線形の感度特性を有するイメージセンサにより取得された光電変換値を有する画像データを用いることが好ましい。また、晴天時の太陽を含む空を撮影する場合、光電変換値が飽和して入射光に対する出力値の線形性が失われるが、このような場合には露出を変化させて撮影した複数の画像を合成した、所謂、高ダイナミックレンジ画像を用いることが好ましい。また、画像データを用いて照明光を推定する前処理として、光学系やセンサにより発生したシェーディングを補正するシェーディング補正や、光学系により生じる歪曲を補正する歪曲補正を実施すると、照明光をより正確に推定できるため好ましい。また、式（９）を用いる場合、空領域以外の領域ではマルチバンド画像から照明光を推定することができない。その場合には、画像内の空領域以外の領域をマスキングするマスキング処理を行うことが好ましい。
【００５６】
図２の中段に示される画像は、直達光成分係数ａ０（ｉ，ｊ）、レイリー散乱成分係数ａ１（ｉ，ｊ）、ミー散乱成分係数ａ２（ｉ，ｊ）を可視化した図である。ａ０（ｉ，ｊ）、ａ１（ｉ，ｊ）、ａ２（ｉ，ｊ）の各値は式（１４）を用いて算出することができる。図２の下段に示される画像は、空の各点の放射輝度Ｂ（ｉ，ｊ，ｋ）を可視化した画像である。ここで、ｋは波長分割数であり、波長数をＮＬとするとき、１≦ｋ≦ＮＬの範囲内の値を採る。放射輝度Ｂ（ｉ，ｊ，ｋ）は、ｋ番目の波長λｋにおける放射輝度の空間分布を表している。以上により、ＲＧＢ画像から照明光の空間分布情報を得ることができる（照明スペクトル推定）。
【００５７】
続いて、ステップＳ１２において、情報処理装置は、ステップＳ１１にて推定された照明光の空間分布情報と、物体の面法線情報（物体の向き情報）とに基づいて、物体を照明する物体照明光Ｅｉ（λ）を算出する。
【００５８】
図３（ａ）は、照明光下における物体の配置を示す図である。図３（ａ）において、Ｎ、Ｅ、Ｓ、Ｗはそれぞれ方角（北、東、南、西）を示しており、物体反射面ＯＰは真上を向いている。ここで、ｎｏｂｊは物体反射面ＯＰの面法線ベクトルを表している。また、ｎｌａｙは角度ωｉの方向から物体反射面ＯＰに入射する光線の単位ベクトルを表しており、その向きは光線の進行方向と逆向きに定義される。単位ベクトルｎｌａｙは、画像の射影方式を用いて算出することができる。本実施例では、等立体角射影の光学系により撮像した画像が用いられる。この場合、単位ベクトルｎｌａｙは、図８に示される関係を用いて、以下の式（１５）〜（１７）のように表すことができる。
【００５９】
【数１２】
2018151832.tif 000014
【００６０】
式（１５）〜（１７）において、ｆは光学系の焦点距離、ｘ（ｉ，ｊ）、ｙ（ｉ，ｊ）は画素（ｉ，ｊ）におけるイメージセンサ上でのｘ方向およびｙ方向のそれぞれの距離である。
【００６１】
図３（ｂ）は、角度ωｉの方向の微小立体角ｄΩｉから物体に到達するｋ番目の波長λｋの放射輝度Ｂ（ｉ，ｊ，ｋ）を可視化した図である。図３（ｃ）は、式（１）のｃｏｓθの分布を可視化した図である。ｃｏｓθ（ｉ，ｊ）は、面法線ベクトルｎｏｂｊと単位ベクトルｎｌａｙとの内積を算出することにより求めることができる。図３（ｄ）は、式（１）に基づき、図３（ｂ）、（ｃ）を用いて物体照明光Ｅｉ（λ）を算出した結果である。図３（ｄ）の横軸は波長、縦軸は放射照度をそれぞれ示している。なお、光学系の射影方式が等立体角射影の場合、画像の各画素に対応する立体角が等しくなるため、微小立体角ｄΩｉを一定とすることができ、簡易に積分を算出することが可能である。以上により、撮影時の物体照明光を正確に算出することが可能となる。
【００６２】
最後に、ステップＳ１３において、情報処理装置は、物体の照明光の影響を低減するように、照明光下で計測された反射光に関する情報（カメラで取得されたデータ）を補正する。具体的には、情報処理装置は、ステップＳ１２にて算出された物体照明光（物体照明光に関する情報）と、照明光下で計測された物体の反射光（反射光に関する情報）と、反射光の向き情報とに基づいて、反射光に関する情報を補正する。情報処理装置は、例えば式（４）で表されるように、反射光に関する情報を補正して物体の反射率特性を算出する。
【実施例２】
【００６３】
次に、図４を参照して、本発明の実施例２における情報処理方法について説明する。図４は、図１のステップＳ１２（物体照明光の算出）の説明図である。本実施例の情報処理方法は、物体反射面ＯＰの面法線ベクトルｎｏｂｊがＳ（南）の方角を向いている点で、面法線ベクトルｎｏｂｊが真上を向いている実施例１とは異なる。その他に関して、本実施例の情報処理方法は図１を参照して説明した実施例１と同様であるため、それらの説明を省略する。
【００６４】
図４（ａ）は照明光下における物体の配置を示している。図４（ａ）において、物体反射面ＯＰは真横（Ｓ（南）の方角）を向いている。図４（ｂ）は、角度ωｉの方向の微小立体角ｄΩｉから物体に到達するｋ番目の波長λｋの放射輝度Ｂ（ｉ，ｊ，ｋ）を可視化した図であり、図３（ｂ）と同じ値となっている。図４（ｃ）は、式（１）のｃｏｓθの分布を可視化した図である。物体反射面の面法線ベクトルが異なるため、実施例１とは異なる分布を有する。図４（ｄ）は、式（１）に基づいて、図４（ｂ）、（ｃ）を用いて物体照明光Ｅｉ（λ）を算出した結果である。
【００６５】
以上のように、本実施例では、予め照明光の空間分布情報を有しているため、物体向きに応じた物体照明光を高精度に算出することが可能となっている。
【実施例３】
【００６６】
次に、図５を参照して、本発明の実施例３における情報処理装置（計測システム）について説明する。図５は、情報処理装置１００のブロック図である。情報処理装置１００は、情報処理部１０、照明情報取得部２１、物体向き情報取得部３１、および、反射光情報取得部４１を備えて構成される。
【００６７】
情報処理部１０は、例えば実施例１または実施例２の情報処理方法を実行する。また情報処理部１０は、照明情報入力部（第１の入力部）１１、物体向き情報入力部（第２の入力部）１２、物体照明光算出部１３、反射光情報入力部（第３の入力部）１４、反射光向き情報入力部（第４の入力部）１５、および、反射光補正部１６を有する。照明情報取得部（第１の取得部）２１は、照明光撮像部２２および照明光推定部２３を有する。物体向き情報取得部（第２の取得部）３１は、三次元計測部３２および物体向き情報算出部３３を有する。
【００６８】
照明光撮像部（撮像部）２２は、空の半球画像を撮影する。照明光推定部２３は、照明光撮像部２２により撮影された画像（例えば、魚眼レンズで撮影した画像データ）を用いて、照明光（照明光の空間分布情報）を推定する。推定された照明光の空間分布情報は、照明情報入力部１１に入力される。三次元計測部（計測部）３２は、物体の三次元情報を計測する。物体向き情報算出部（第２の算出部）３３は、三次元計測部３２により計測された三次元情報（三次元計測情報）に基づいて、物体の向き情報である面法線情報（面法線ベクトルｎｏｂｊ）を算出する。物体向き情報算出部３３により算出された物体の面法線情報は、物体向き情報入力部１２に入力される。物体照明光算出部（第１の算出部）１３は、例えば式（１）に基づいて、照明情報入力部１１に入力された照明光の空間分布情報と、物体向き情報入力部１２に入力された物体の面法線情報とを用いて物体照明光Ｅｉ（λ）を算出する。
【００６９】
反射光情報取得部（第３の取得部）４１は、例えばカメラであり、半球画像が撮影された照明光下での物体の反射光に関する情報（カメラにより取得されたデータ）を取得する。反射光情報取得部４１により取得された物体の反射光に関する情報は、反射光情報入力部１４に入力される。反射光向き情報入力部１５には、反射光の向き情報が入力される。ここで反射光の向き情報とは、角度ωｒ（反射光の角度）と物体の面法線とが為す角度θｒに関する情報である。本実施例において、反射光の向き情報は、反射光情報取得部４１に取り付けられた角度センサからの情報に基づいて取得される。
【００７０】
反射光補正部１６は、例えば式（４）、（６）に基づいて、物体の反射光に関する情報を補正する。すなわち反射光補正部１６は、物体照明光算出部１３で算出された物体照明光に関する情報と、反射光情報入力部１４に入力された物体の反射光に関する情報と、反射光向き情報入力部１５に入力された反射光の向き情報とを用いて、反射光に関する情報を補正する。その他、反射光補正部１６は、式（７）、（８）に基づいて、物体照明光算出部１３により算出された物体照明光に関する情報と、反射光情報入力部１４に入力された物体の反射光に関する情報とを用いて、物体の反射光に関する情報を補正する。
反射光補正部１６により補正された反射光に関する情報（補正後の反射光に関する情報）は、例えば、外部装置に出力され、情報処理装置１００の記憶部に記憶され、または表示部に表示される。
【実施例４】
【００７１】
次に、図６を参照して、本実施例における情報処理装置（計測システム）について説明する。本実施例の情報処理装置は、図５を参照して説明した実施例３の情報処理装置１００と同様の構成を有する。図６には、照明光撮像部２２および反射光情報取得部４１が示されている。照明光撮像部２２は、全方位に対して全画角２θｐが１８０度以上の画角を有する全周魚眼レンズ（光学系）を備えている。従って、本実施例の情報処理装置は、周囲に障害物があるような撮影環境でもより高い位置で撮影することができ、空全体の照明情報を取得することが可能となる。
【００７２】
本実施例の照明光撮像部２２および反射光情報取得部４１はそれぞれ、共通の分光感度特性を有するＲＧＢの３バンドのマルチバンドカメラを有する。また、照明光撮像部２２の光学系の分光透過率Ｌ（λ）と反射光情報取得部４１の光学系の分光透過率Ｌ（λ）とが互いに略等しくなるように、各光学系が設定されている。このため、本実施例の情報処理装置（情報処理装置）を用いて物体の反射光から物体照明光の影響を除去または低減した反射特性を算出する場合、式（５）は反射光情報取得部４１で取得したＲＧＢ値に等しい。また、式（６）の右辺分母の値は、式（１）のＢ（ｉ，ｊ）を照明光撮像部２２で取得したＲ（ｉ，ｊ）、Ｇ（ｉ，ｊ）Ｂ（ｉ，ｊ）値に置き換えて積分した値と等しい。
【００７３】
従って、照明光撮像部２２および反射光情報取得部４１に関して、光学系の分光透過率とマルチバンドカメラの分光感度特性それぞれ互いに等しい場合、照明光推定処理を行うことなく物体照明光の影響を除去または低減した反射特性を算出することが可能である。加えて、この場合、式（９）で示される近似モデルを用いず、実測値を用いて物体照明光を算出しているため、より正確に物体照明光を算出できるという利点がある。また、式（９）に示される近似モデルを用いていないため、空領域以外の領域から物体に入射する照明光の影響も考慮することができる。例えば、構造物で反射された照明光は構造物領域のマルチバンド画像の積分値によって正確に表現することができる。この場合、図２に示されるマスキング処理が不要となる。なお本実施例では、１つの照明光撮像部２２に対して１つの反射光情報取得部４１を有しているが、照明光撮像部２２で撮像した空のマルチバンド画像は、近い地域では略同一であるため、１つの照明光撮像部２２を複数の反射光情報取得部４１で共有してもよい。
【００７４】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７５】
各実施例によれば、日射条件、天候、物体の向きに依らず、照明光を高精度に推定し、物体の反射光から照明光の影響を補正することができる。このため各実施例によれば、物体の特性を正確に取得することが可能な情報処理方法、情報処理装置、および、プログラムを提供することができる。
【００７６】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００７７】
１１  照明情報入力部
１２  物体向き情報入力部
１３  物体照明光算出部
１４  反射光情報入力部
１５  反射光向き情報入力部
１６  反射光補正部
１００  情報処理装置
【図１】
2018151832.tif 000015
【図２】
2018151832.tif 000016
【図３】
2018151832.tif 000017
【図４】
2018151832.tif 000018
【図５】
2018151832.tif 000019
【図６】
2018151832.tif 000020
【図７】
2018151832.tif 000021
【図８】
2018151832.tif 000022