(57)【要約】【課題】取得された法線情報の精度についてユーザが容易に判断できるようにする。【解決手段】画像処理装置１０４は、被写体を撮像することで生成された撮影画像を用いて被写体の表面の法線情報を取得する。該装置は、撮影画像として、第１の撮像画角において被写体に対する照明条件を互いに異ならせた撮像により生成された複数の第１の画像および第１の撮像画角よりも狭い第２の撮像画角において照明条件を互いに異ならせた撮像により生成された複数の第２の画像を取得する画像取得手段と、法線情報として、複数の第１の画像における輝度情報の変化に基づいて第１の法線情報を取得するとともに、複数の第２の画像における輝度情報の変化に基づいて第２の法線情報を取得する法線取得手段１０４ａと、第１の法線情報と第２の法線情報とを比較することにより第１の法線情報の信頼度を判定する信頼度判定手段１０４ｃとを有する。【選択図】図１
2017135528.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像することで生成された撮影画像を用いて前記被写体の表面の法線情報を取得する画像処理装置であって、
前記撮影画像として、第１の撮像画角において前記被写体に対する照明条件を互いに異ならせた撮像により生成された複数の第１の画像および前記第１の撮像画角よりも狭い第２の撮像画角において前記照明条件を互いに異ならせた撮像により生成された複数の第２の画像を取得する画像取得手段と、
前記法線情報として、前記複数の第１の画像における輝度情報の変化に基づいて第１の法線情報を取得するとともに、前記複数の第２の画像における輝度情報の変化に基づいて第２の法線情報を取得する法線取得手段と、
前記第１の法線情報と前記第２の法線情報とを比較することにより前記第１の法線情報の信頼度を判定する信頼度判定手段とを有することを特徴とする画像処理装置。
【請求項２】
前記信頼度判定手段は、前記第１の法線情報と前記第２の法線情報との差異が大きいほど前記第１の法線情報の信頼度がより低いと判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の第１の画像および前記複数の第２の画像はそれぞれ、前記被写体を互いに異なる位置から照明する３つ以上の光源を用いて前記照明条件を互いに異ならせた撮像により生成された画像であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記複数の第１の画像および前記複数の第２の画像はそれぞれ、前記被写体を照明する偏光の状態を変化させることで前記照明条件を互いに異ならせた撮像により生成された画像であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記第１の撮像画角が前記第２の撮像画角の整数倍であることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記複数の第２の画像は、前記複数の第１の画像を得るための撮像と同じ絞り値および撮像時間での撮像により生成された画像であることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記複数の第２の画像は、前記複数の第１の画像を得るための撮像と同じ照明光量での撮像により生成された画像であることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記信頼度判定手段により判定された前記第１の法線情報の信頼度に応じて、該信頼度に関する表示情報を生成する表示情報生成手段を有することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
請求項１から８のいずれか一項に記載の画像処理装置と、
前記第１および第２の画像を生成するための撮像を行う撮像手段とを有することを特徴とする撮像装置。
【請求項１０】
請求項３に記載の画像処理装置と、
前記第１および第２の画像を生成するための撮像を行う撮像手段と、
前記３つ以上の光源とを有することを特徴とする撮像装置。
【請求項１１】
請求項４に記載の画像処理装置と、
前記第１および第２の画像を生成するための撮像を行う撮像手段と、
前記偏光の状態を変化させる偏光状態制御素子とを有することを特徴とする撮像装置。
【請求項１２】
コンピュータに、被写体を撮像することで生成された撮影画像を用いて前記被写体の表面の法線情報を取得する画像処理プログラムであって、
前記コンピュータに、
前記撮影画像として、第１の撮像画角において前記被写体に対する照明条件を互いに異ならせた撮像により生成された複数の第１の画像および前記第１の撮像画角よりも狭い第２の撮像画角において前記照明条件を互いに異ならせた撮像により生成された複数の第２の画像を取得させ、
前記法線情報として、前記複数の第１の画像における輝度情報の変化に基づいて第１の法線情報を取得するとともに、前記複数の第２の画像における輝度情報の変化に基づいて第２の法線情報を取得させ、
前記第１の法線情報と前記第２の法線情報とを比較することにより前記第１の法線情報の信頼度を判定させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により得られた画像を用いて被写体の法線情報を取得する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置で被写体を撮像して得られた画像から、被写体の形状情報として面法線の情報（以下、法線情報という）を取得する方法が知られている。面法線情報を取得する方法としては、レーザ光を用いた三角測量や２眼ステレオ法等の方法で取得した距離情報から求めた三次元形状を面法線情報に変換する方法や、非特許文献１にて開示された照度差ステレオ法や、偏光情報から法線情報を推定する方法がある。
【０００３】
照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性とから面法線を決定する方法である。被写体の反射特性としてはランバートの余弦則に従うランバート反射モデルが用いられることが多い。
【０００４】
一般に、物体での反射には、鏡面反射と拡散反射とがある。鏡面反射は、物体表面での正反射であり、物体表面（界面）においてフレネルの式に従うフレネル反射である。拡散反射は、被写体の表面を透過した後に物体内部で散乱されて光が返ってくる反射である。鏡面反射した光は上述のランバートの余弦則では表せず、撮像装置で観測される被写体からの反射光に鏡面反射光が含まれていると、照度差ステレオ法では面法線が正確に求まらない。光源からの光が当たらない陰影部においても仮定した反射モデルからのずれが生じ、被写体の面法線情報を正確に取得することができない。例えば、特許文献１には、４つ以上の光源を使用して得られた複数の面法線候補から真の面法線を求める方法が開示されている。
【０００５】
法線情報を偏光情報から推定する方法では、偏光情報として偏光度と偏光方位を用いる方法が知られている。特許文献２には、視点位置が異なる複数の偏光画像から被写体の法線情報を取得する方法が開示されている。特許文献２では、それぞれの視点位置ごとに偏光方位から面法線の１自由度を推定することで法線情報を推定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１２２１５８号公報
【特許文献２】特許第４４３５８６７号公報
【非特許文献】
【０００７】
【非特許文献１】松下康之、“照度差ステレオ”、情報処理学会研究報告、Ｖｏｌ．２０１１−ＣＶＩＭ−１７７、Ｎｏ．２９、ｐｐ．１−１２、２０１１
【発明の概要】
【発明が解決しようとする課題】
【０００８】
照度差ステレオ法や偏光情報から推定する方法により被写体の法線情報を取得するためには、輝度情報（つまりは撮像時の照明条件）が異なる複数の撮影画像が必要となる。つまり複数の撮影画像から得られる輝度情報の変化から被写体の法線情報を算出するため、法線情報取得の最小単位は撮影画像の画素サイズとなる。このため、撮影画像における１つの画素内に複数の面法線を持つ、いわゆる画素内テクスチャーがある場合には、取得された法線情報が真の法線情報とは異なるものとなる。
【０００９】
しかしながら、表面形状が複雑な被写体に対して取得された法線情報の精度について、ユーザが判断することは困難である。また、非特許文献１、特許文献１および特許文献２には、画素内テクスチャーに対する対応方法については開示されていない。
【００１０】
本発明は、取得された法線情報の精度についてユーザが容易に判断することができるようにした画像処理装置および撮像装置等を提供する。
【課題を解決するための手段】
【００１１】
本発明の一側面としての画像処理装置は、被写体を撮像することで生成された撮影画像を用いて被写体の表面の法線情報を取得する。該画像処理装置は、撮影画像として、第１の撮像画角において被写体に対する照明条件を互いに異ならせた撮像により生成された複数の第１の画像および第１の撮像画角よりも狭い第２の撮像画角において照明条件を互いに異ならせた撮像により生成された複数の第２の画像を取得する画像取得手段と、法線情報として、複数の第１の画像における輝度情報の変化に基づいて第１の法線情報を取得するとともに、複数の第２の画像における輝度情報の変化に基づいて第２の法線情報を取得する法線取得手段と、第１の法線情報と第２の法線情報とを比較することにより第１の法線情報の信頼度を判定する信頼度判定手段とを有することを特徴とする。
【００１２】
なお、上記画像処理装置と、第１および第２の画像を得るための撮像を行う撮像手段とを有する撮像装置も、本発明の他の一側面を構成する。
【００１３】
また、コンピュータに上記画像処理装置としての動作を行わせるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。
【発明の効果】
【００１４】
本発明によれば、取得された法線情報の信頼度（精度）をユーザに提示することが可能となり、該信頼度をユーザが容易に判断することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施例１である撮像装置の外観図。
【図２】実施例１の撮像装置の構成を示すブロック図。
【図３】実施例１における画像処理を示すフローチャート。
【図４】実施例１における法線情報の信頼度評価を説明する図。
【図５】実施例１における法線情報の信頼度評価を説明する別の図。
【図６】実施例１における信頼度評価結果を表示する様子を示す図。
【図７】本発明の実施例２である撮像装置の外観図。
【図８】実施例２における撮像装置の構成を示すブロック図。
【図９】実施例２における信頼度評価結果を表示する様子を示す図。
【図１０】本発明の実施例３である撮像装置の外観図。
【図１１】実施例３の撮像装置の構成を示すブロック図。
【図１２】実施例３における画像処理を示すフローチャート。
【図１３】実施例３における偏光情報を取得する方法を示す図。
【図１４】実施例３における偏光方位と入射面との関係を示す図。
【図１５】実施例３における偏光度と視線と面法線のなす角との関係を示す図。
【図１６】（Ａ）鏡面反射成分の偏光度と、（Ｂ）拡散反射成分の偏光度を示す図。
【図１７】Torrance-Sparrowモデルを示す図。
【発明を実施するための形態】
【００１６】
以下、本発明の実施例について図面を参照しながら説明する。
【００１７】
まず具体的な実施例の説明に先立って、各実施例に共通する事項について説明する。各実施例は、被写体の表面の面法線に関する情報である法線情報を取得するために用いられる撮像装置であり、取得された法線情報の精度（信頼度）についてユーザが容易に判断できるようにすることを目的とする。
【００１８】
法線情報（面法線情報）とは、面法線の１自由度の候補を少なくとも１つ以上決定する情報、面法線の複数の解候補から真の解を選択するための情報および求めた面法線の妥当性に関する情報である。
【００１９】
まず、「偏光情報」について説明する。一般に光の偏光状態は４つのパラメタで表現でき、例えばストークスパラメタがある。このストークスパラメタのように光の偏光状態を示す情報を各実施例では偏光情報という。また、後に説明する偏光度や偏光方位、または偏光状態の測定誤差等、偏光情報から２次的に決まる量も偏光情報に含まれる。
【００２０】
一般に偏光情報を取得するには、独立な４つの偏光成分を測定すればよい。しかし、自然界においては、円偏光成分が現れることは少なく、被写体の偏光情報としては直線偏光成分のみで十分な場合も多い。つまり、無偏光と円偏光を区別しないで取得することとなる。この場合、少なくとも３つの異なる直線偏光成分の強度や輝度を取得すればよい。偏光子を透過した光は偏光主軸方向に偏光した直線偏光光となるため、偏光主軸角の異なる３以上の条件下で偏光子を透過した光の強度や輝度を測定すればよい。
【００２１】
図１３には、偏光情報の取得方法を示している。図１３中の１２１〜１２４は偏光主軸角が０度、４５度、９０度、１３５度の４つの偏光子をそれぞれ透過した光の輝度であり、正弦関数カーブに従って変化する。この関係は、反射光の輝度をＩとし、偏光子の主軸角をνとして、次のように表される。
【００２２】
【数１】
2017135528.tif 000003
【００２３】
このときの定数Ａ、Ｂ、Ｃを定めることで偏光情報を知ることができる。Ａ，Ｂ，Ｃは正の定数であり、Ｂは余弦関数の周期性から０°から１８０°までの値で表すことができる。
【００２４】
偏光子の主軸角３つに対して輝度を測定した場合、未知の定数もＡ，Ｂ，Ｃの３つであり、Ａ，Ｂ，Ｃを一意に求めることができる。一方４以上の偏光条件で輝度を測定した場合はフィッティングでＡ，Ｂ，Ｃを求める。フィッティングの方法としては、ｉ番目の条件から得られる観測値（νｉ，Ｉｉ）と（１）式で表される理論値との差分を評価関数として用いればよく、最小二乗法等の既知の方法でフィッティングすることができる。なお、撮像装置を用いて取得する場合は、実際の光の輝度値と撮像系を介して生成された出力信号がリニアになるように、出力信号を補正することが望ましい。
【００２５】
以上の方法により求めたＡ，Ｂ，Ｃのパラメタから以下の様々な偏光情報が得られる。
・偏光主軸角に対する輝度の振幅Ａ
・偏光主軸角に対する平均輝度値Ｉａｖｅ
Ｉａｖｅ＝Ｃ  （２）
・偏光の最大輝度Ｉｍａｘ
Ｉｍａｘ＝Ａ＋Ｃ  （３）
・偏光の最小輝度Ｉｍｉｎ（輝度値の非偏光成分）
Ｉｍｉｎ＝Ｃ−Ａ  （４）
・偏光方位ψ（偏光輝度が最大となる偏光子の位相角）
ψ＝Ｂ  （５）
・偏光度ρ
ρ＝（Ｉｍａｘ−Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ）＝Ａ／Ｃ  （６）
・偏光推定誤差Ｅｐ
【００２６】
【数２】
2017135528.tif 000004
【００２７】
ここでＩｍ，ｉはi番目の偏光状態における輝度である。
【００２８】
次に、偏光情報に基づいて被写体の法線情報を取得する方法について説明する。被写体の単位面法線ベクトルは２自由度を有する。上述の偏光情報からはその２自由度が満たす条件式を得ることができる。
【００２９】
図１４に示すように、偏光方位からは入射面または出射面の角度情報が得られる。被写体からの反射光が偏光する主な理由は、ｓ偏光とｐ偏光に対するフレネル反射率が異なるためである。鏡面反射した光（以下、鏡面反射成分という）ではｓ偏光で反射率が大きくなるため、偏光方位は入射面と直交する。なお、鏡面反射では入射面と出射面が等しい。一方、拡散反射した光（以下、鏡面反射成分という）では、物体内部で散乱した光が外へ出てくる時の透過率がｐ偏光で大きくなり、偏光方位が出射面と一致する。すなわち、撮像装置の視線方向ベクトルに直交する面内で、面法線の方位角φが満たす下記の条件式が得られる。
φ＝ψ＋π／２  （鏡面反射成分）
φ＝ψ          （拡散反射成分）    （８）
ただし、φは１８０度の不定性を持つ。
【００３０】
図１５に示すように、偏光度からは面法線と撮像装置の視線方向ベクトルがなす角θが求まる。図１６（Ａ）に鏡面反射成分の偏光度の入射角依存性を、図１６（Ｂ）に拡散反射成分の偏光度の出射角依存性を示す。鏡面反射成分では、入射角は被写体の面法線と撮像装置の視線方向ベクトルがなす角に等しいが、１つの偏光度に対して２つの入射角をとりうる。つまり、解の候補が２つに絞られる。拡散反射成分では、偏光度と出射角が１対１の関係にある。被写体の面法線と撮像装置の視線方向ベクトルがなす角は出射角そのものであるため、偏光度から求まる。
【００３１】
以上のように、偏光情報から被写体の面法線が満たす条件を得ることができる。この条件を複数組み合わせることで、面法線を推定することができる。例えば、特許文献２にあるように、異なる複数視点から見た偏光方位から被写体の面法線を推定できる。２以上の視点の各々に対して入射面が求まると、その入射面の交線が面法線となる。実際には測定誤差があるため、面法線推定に用いる視点条件の組み合わせを変えながら、それぞれの方法で求まった面法線の平均方向として面法線を決定するとよい。また、異なる視点からみた入射面が一致する場合は面法線が一意に定まらない。このようなときは、さらに異なる視点に対応した偏光方位が必要となる。
【００３２】
他にも、単視点からの偏光方位と偏光度を組み合わせても面法線を推定できる。例えば、図１５の右図に示すように拡散反射成分が観測されている場合、偏光方位から面法線の方位角が決まり、偏光度から面法線の天頂角θが１つ求まる。このとき方位角がφとφ＋１８０°の不定性を持つため、面法線の解が２つ得られる。観測された反射光が鏡面反射成分の場合は、偏光度から面法線の天頂角が２つ求まる。この場合は方位角の不定性と合わせて面法線の解の候補が４つ求まる。観測された反射光が拡散反射成分と鏡面反射成分かその混合かを特定しない場合は、偏光方位と入射面の関係に９０°の不定性が生じ、さらに解の候補が増える。このように解の候補が複数求まる場合は、後述の方法で解を選択するとよい。
【００３３】
光源位置による輝度情報の変化に基づいて被写体の面法線情報を取得する方法としては照度差ステレオ法を用いるとよい。照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と仮定した反射特性から面法線を決定する方法である。仮定する反射特性はある面法線と光源位置が与えられたときに反射率が一意に定まればよいが、被写体の反射特性が未知の場合はランバートの余弦則に従うランバート反射モデルで近似すればよい。また、鏡面反射成分は図１７に示した光源ベクトルｓと視線方向ベクトルｖの２等分線と面法線ｎのなす角に反射率が依存する。したがって、前述した反射特性は視線方向にも基づく特性としてもよい。照度差ステレオ法に用いる輝度情報は、既知の光源が点灯している場合と消灯している場合のそれぞれの画像を撮像し、これらの差分をとることで環境光等、既知の光源以外の光源による影響を除いてもよい。以下では、ランバート反射モデルを仮定した場合を説明する。
【００３４】
反射光の輝度をｉとは、物体のランバート拡散反射率をρｄとし、入射光の強さをＥとし、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓとし、物体の単位面法線ベクトルをｎとする。このとき、ランバートの余弦則から、
【００３５】
【数３】
2017135528.tif 000005
【００３６】
と表せる。ここで異なるＭ個（Ｍ≧３）の光源方向ｓ１，ｓ２，・・・，ｓＭで得られた輝度値ｉ１，ｉ２，・・・ｉＭとすると（９）式から以下のように表せる。
【００３７】
【数４】
2017135528.tif 000006
【００３８】
ここで左辺はＭ行１列の輝度ベクトルであり、右辺の［ｓ１Ｔ,・・・,ｓＭＴ］はＭ行３列の光源方向を示す入射光行列Ｓである。また、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は入射光行列Ｓの逆行列を左から乗じることで、Ｅρｄｎが下記のように求まる。
【００３９】
【数５】
2017135528.tif 000007
【００４０】
左辺のベクトルのノルムがＥとρｄの積であり、正規化したベクトルが物体の面法線ベクトルとして求まる。ここから分かるように、Ｅとρｄは積の形でのみ条件式に現れるので、Ｅρｄで１つの変数として見ると、単位面法線ベクトルの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。よって、３つの光源条件（照明条件）で輝度情報を取得することで方程式が３つ得られ、解を決定することができる。なお、入射光行列Ｓが正則でない場合は逆行列が存在しないため、光源方向ｓ１〜ｓ３をＳが正則となるように選択する必要がある。つまり、ｓ３をｓ１とｓ２に対して線形独立に選ぶことが望ましい。
【００４１】
一方、Ｍ＞３の場合は求める未知変数より多い条件式が得られる。このときは任意に選択した３つの条件式から上記と同様の方法で面法線ベクトルを求めることができる。４つ以上の条件式を用いる場合は入射光行列Ｓが正方行列ではなくなるため、例えば、Moore-Penrose疑似逆行列を使って近似解を求めればよい。
【００４２】
また、行列計算を用いなくとも、既知のフィッティング手法や最適化手法によって解を求めてもよい。被写体の反射特性をランバート反射モデル以外のモデルで仮定した場合は、条件式が単位面法線ベクトルｎの各成分に対する線形方程式でなくなることがある。この場合でも、未知変数に対して未知変数以上の方程式が得られれば、既知のフィッティング手法や最適化手法を用いることができる。さらに、Ｍ＞３の場合には、３以上Ｍ−１以下の条件式の組み合わせが複数得られるため、複数の面法線候補を求めることもできる。この場合は、特許文献１の方法や後述の方法によって解を選択するとよい。
【００４３】
面法線ベクトルの解の候補が複数求まる場合、さらに別の条件から解を選択するとよい。例えば、面法線ベクトルの連続性を条件として用いることができる。面法線を撮像装置の１画素ごとに算出する場合、画素（ｘ，ｙ）での面法線ｎ（ｘ，ｙ）として、ｎ（ｘ−１，ｙ）が既知であれば評価関数である、
【００４４】
【数６】
2017135528.tif 000008
【００４５】
が最小となる解を選択するとよい。ｎ（ｘ＋１，ｙ）やｎ（ｘ，ｙ±１）も既知であれば、
【００４６】
【数７】
2017135528.tif 000009
【００４７】
が最小となるような解を選択するとよい。既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、全画素での総和である、
【００４８】
【数８】
2017135528.tif 000010
【００４９】
が最小となるように解を選択してもよい。
【００５０】
上記は一例であり、注目画素の最近傍以外の画素での面法線情報を用いたり、注目画素の位置からの距離に応じて重みをつけた評価関数としたりしてもよい。
【００５１】
複数候補から解を選択する場合には、奥行き情報を利用してもよい。奥行き情報は前述のレーザ光を用いた三角測量や２眼ステレオなどの方法で取得できる。奥行き情報から求めた三次元形状を面法線情報へ変換することで面法線ベクトルが算出できる。前述したように、この方法で求めた面法線ベクトルは精度が十分ではない。しかし、複数の面法線ベクトルの解候補が既に求まっている場合は、１つの解に決定するための参考情報とすることができる。すなわち、複数の面法線ベクトルの解候補のうち、奥行き情報により求めた面法線ベクトルに最も近い候補を選択するとよい。
【００５２】
また、偏光度を利用してもよい。図１６（ａ），（ｂ）から分かるように、偏光度が小さいとき、鏡面反射成分では入射角が０°または９０°付近、拡散反射成分では出射角が０°付近である。このため、例えば偏光度が０．１より小さい場合は、面法線ベクトルの複数の候補のうち、視線方向に近い候補を選択することができる。鏡面反射の場合は視線方向または視線方向の垂直方向に最も近い候補を選択してもよい。
【００５３】
また、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、面法線ベクトルと光源方向が近いほど反射光の輝度が大きくなる。このため、複数の光源方向での輝度値から、輝度が大きい方向により近くなるような面法線ベクトルを選択することができる。また、鏡面反射モデルでは物体からカメラへの方向の単位ベクトル（カメラの視線方向ベクトル）をｖとして
【００５４】
【数９】
2017135528.tif 000011
【００５５】
が滑らかな表面では成り立つ。このため、光源方向ベクトルｓとカメラの視線方向ベクトルｖとが既知であれば、面法線ｎを算出することができる。表面に粗さがある一般の場合は鏡面反射も出射角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解候補から最も平滑面に対する解に近い候補を選択することができる。また、複数の解候補の平均によって真の解を決めてもよい。
【実施例１】
【００５６】
図１には、本発明の実施例１である撮像装置１の外観を示す。図２は、本実施例の撮像装置１の構成を示す。
【００５７】
撮像装置１は、不図示の被写体を撮像する撮像部１００と、その周囲を囲むように配置された８つの光源部２００とを備えている。８つの光源部２００はそれぞれ、被写体を照明する照明光を互いに独立に発することができる。光源２００の数は、照度差ステレオ法を実施する際は最低３つの光源が必要であるため３つ以上であれば８つでなくてもよい。図２では、光源部２００としてまとめて示している。撮像装置１は、さらにＡＦ（オートフォーカス）や撮像を開始させるためのレリーズボタン３００を備える。
【００５８】
撮像光学系１０１は、不図示の被写体からの光（被写体像）を撮像素子１０２上に結像させる。撮像光学系１０１と撮像素子１０２とにより撮像部（撮像手段）が構成される。撮像光学系１０１は絞り１０１ａを含む。また、撮像光学系１０１は、複数のレンズ群を光軸方向に移動させることにより撮像倍率を変えることができる変倍光学系である。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を光電変換する。
【００５９】
撮像素子１０２での光電変換により生成されたアナログ電気信号はＡ／Ｄコンバータ１０３でデジタル信号に変換され、該デジタル信号は画像処理装置としての画像処理部１０４に入力される。
【００６０】
画像処理部１０４は、デジタル信号に対して一般に行われる画像処理と併せて、被写体の法線情報を推定する処理を行う。画像処理部１０４は、上記デジタル信号としての撮影画像を取得する画像取得手段として機能するとともに、法線情報を算出する法線算出部１０４ａと、取得された面法線情報の信頼度を評価（判定）する信頼度評価部（信頼度判定手段）１０４ｃを有する。画像処理部１０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録部１１０に保存される。また、出力画像を、表示部１０５に表示してもよい。画像処理部１０４は、信頼度評価部１０４ｃの結果に基づいて表示部１０５に表示する表示用情報としての追加情報を付加する情報追加処理部（表示情報生成手段）１０４ｂを有する。
【００６１】
情報入力部１０８は、ユーザが所望の撮像条件、例えば焦点距離、絞り値および露出時間（撮像時間）を選択して入力した情報を検知してシステムコントローラ１１１にそのデータを供給する。撮像制御部１０７は、システムコントローラ１１１からの情報に基づいて、撮像光学系１０１内の不図示のフォーカスレンズや変倍レンズを移動させ、また絞り値、露出時間、波長選択性撮像フィルタおよび撮像素子１０２を制御する。これにより、必要な撮影画像を取得する。
【００６２】
照射光源制御部１０６は、システムコントローラ１１１の制御指示に応じて光源部２００の発光状態を制御する。具体的には、８つの光源部２００のうち点灯させる光源部を選択したりその発光量（照明光量）を制御したりする。なお、撮像光学系１０１は、撮像装置１と一体に設けられていてもよいし、一眼レフカメラのように撮像装置１に対して交換可能であってもよい。
【００６３】
図３のフローチャートには、上述した法線情報を推定し、その信頼度を評価する画像処理の流れを示す。この画像処理は、それぞれコンピュータであるシステムコントローラ１１１および画像処理部１０４が、コンピュータプログラムとしての画像処理プログラムに従って実行する。このことは、後述する他の実施例でも同じである。
【００６４】
ステップＳ１０１では、システムコントローラ１１１は、ユーザによる情報入力部１０８からの入力に応じて第１撮像条件（絞り値露出時間および焦点距離等）を設定する。
【００６５】
次にステップＳ１０２では、システムコントローラ１１１は、ユーザによりレリーズボタン３００が半押し操作されたか否かを判定する。半押し操作された場合は撮影準備動作（ＡＦ、測光等）を行う。
【００６６】
次にステップＳ１０３では、システムコントローラ１１１は、ステップＳ１０１で設定された第１撮像条件に基づいて第２撮像条件を決定する。本実施例では、第２撮像条件として、第１撮像条件よりも撮像倍率が高くなる（撮像画角が狭くなる）ように設定する。
【００６７】
ここで、上記のように第２撮像条件を設定する理由について簡単に説明する。上述したように、照度差ステレオ法や偏光情報から推定する方法によって被写体の法線情報を取得するためには、輝度情報（つまりは撮像時の照明条件）が異なる複数の撮影画像が必要となる。つまり、複数の撮影画像の輝度変化から被写体の面法線を算出するため、面法線取得の最小単位は画素サイズとなる。このため、図４に示すように撮影画像の１画素内に複数の面法線を持つ画素内テクスチャーがある場合には真の面法線を取得することができない。図４は複雑な面形状を有する被写体の断面を第１撮像条件で撮像する場合を模式的に示している。図４中の１３１，１４１はそれぞれ、第１撮像条件での撮像装置の１画素（撮影画像の１画素）に対応する撮像領域である。
【００６８】
撮像領域１４１では面形状が均一であるため、図４における面１４２の真の面法線は矢印１４４が示す０度方向であり、面１４３の真の面法線も矢印１４５が示す０度方向である。撮像領域１４１では２つの面１４２，１４３のそれぞれの面法線１４４，１４５が混合して得られることとなるが、これら２つの面１４２，１４３が同一方向を向いているため、面法線の算出結果としては、矢印１４６が示す０度方向という真の面法線と同じになる。
【００６９】
しかし、図４中の撮像領域１３１では２つの面１３２，１３３が異なる方向を向いており、面１３２の真の面法線は矢印１３４が示す−４５度方向であり、面１３３の真の面法線は矢印１３５が示す＋４５度方向である。撮像領域１３１ではこれら２つの面１３２，１３３の面法線１３４，１３５が混合して得られることとなり、面法線の算出結果としては、例えば矢印１３６が示す０度方向という真の面法線とは異なるものとなる。つまり、画素内テクスチャーがある被写体に対しては、第１撮像条件による撮像だけでは、信頼度が低い法線情報が得られる可能性がある。しかし、ユーザにとっては、このような信頼度が低い法線情報が得られていることを認識することは困難である。
【００７０】
そこで、本実施例では、第２撮像条件において、第１撮像条件よりも撮像倍率が高くなる（撮像画角が狭くなる）ように設定する。
【００７１】
図５には、図４と同じ被写体の断面を第２撮像条件（ここでは２倍の撮像倍率）で撮像する場合を模式的に示している。図５中の１３１ａ，１３１ｂ，１４１ａ，１４１ｂはそれぞれ、第２撮像条件での撮像装置の１画素（撮影画像の１画素）に対応する撮像領域である。撮像倍率を２倍にして撮像することにより、それぞれの撮像領域１３１ａ，１３１ｂ，１４１ａ，１４１ｂは、図４中の撮像領域１３１，１４１の半分となる。
【００７２】
このため、図５に示す第２撮像条件では、面１３２の面法線として矢印１３４が示す−４５度方向が算出され、面１３３の面法線は矢印１３５が示す＋４５度方向が算出される。このとき、図４に示す第１撮像条件にて算出された撮像領域１３１での面法線の向きは矢印１３６が示す方向である。これに対し、図５に示す第２撮像条件にて算出された撮像領域１３１と同一の撮像領域１３１ａ，１３１ｂでの面法線の向きは、矢印１３６が示す方向とは異なる矢印１３４，１３５が示す方向となる。したがって、第１および第２撮像条件でのこれら撮像領域１３１および１３１ａ，１３１ｂでの面法線の算出結果を比較することで、これら算出結果に画素内テクスチャーに起因した差異が発生していることを容易に判定することができる。
【００７３】
一方、図４に示す第１撮像条件にて算出された撮像領域１４１での面法線の向きは矢印１４６が示す方向であり、図５に示す第２撮像条件にて算出された撮像領域１４１と同一の撮像領域１４１ａ，１４１ｂでの面法線の向きは矢印１４４，１４５が示す方向である。矢印１４４，１４５が示す方向は、矢印１４６が示す方向と同じである。したがって、第１および第２撮像条件でのこれら撮像領域１４１および１４１ａ，１４１ｂでの面法線の算出結果を比較することで、これら算出結果に画素内テクスチャーに起因した差異が発生していないことを容易に判定することができる。
【００７４】
このように、互いに異なる撮像倍率（撮像画角）である第１および第２撮像条件でそれぞれ算出された法線情報を比較することで、第１撮像条件において画素内テクスチャーが存在しているか否かを判定することができる。言い換えれば、第１および第２撮像条件で被写体の同一領域の面法線情報を比較し、その差異が大きいほど第１撮像条件での面法線算出結果の信頼度はより低く、差異が小さいほど信頼度がより高いと判定することができる。
【００７５】
本実施例では、第２撮像条件として、撮像領域の対応が取り易い整数倍（例えば２倍）の拡大倍率とした。しかし、第１および第２撮像条件の面法線の算出結果の差異が判定されれば十分に信頼度を判定することが可能であるため、２倍以外の任意の撮像倍率の差でよい。また、撮像倍率を異ならせると、撮像光学系の焦点距離が変動して被写界深度が変動するため、第１および第２撮像条件の被写界深度がほぼ等しくなるように、絞り値（開口絞り径）を制御してもよい。さらに、撮像時の絞り値の制御により、第１および第２撮像条件間での撮像光量が変化するため、露出時間や光源の発光量を増加させることで同一撮像光量となるように制御してもよい。同一撮像光量となることで、第１および第２撮像条件間でのノイズ量がほぼ等しくなるため、面法線の算出結果の比較がより容易となる。
【００７６】
ステップＳ１０４では、システムコントローラ１１１は、ユーザによりレリーズボタン３００が全押し操作されたかどうかを判定する。全押し操作された場合は、撮像装置は撮像動作を開始する。
【００７７】
次にステップＳ１０５では、システムコントローラ１１１は、第１撮像条件に従って撮像制御部１０７および照射光源制御部１０６を通じて撮像部および光源部２００を制御して、照明条件として点灯する光源部２００の位置（光源位置）が互いに異なる撮像を行う。これにより、画像処理部１０４は、撮像素子１０２から出力されてＡ／Ｄコンバータ１０３にてＡ／Ｄ変換されたデジタル信号を用いて、互いに異なる照明条件での撮影画像としての複数の第１の画像を取得する。
【００７８】
次にステップＳ１０６では、システムコントローラ１１１は、第２撮像条件に従って撮像制御部１０７および照射光源制御部１０６を通じて撮像部および光源部２００を制御して、同様に照明条件として光源位置が互いに異なる撮像を行う。これにより、画像処理部１０４は、撮像素子１０２から出力されてＡ／Ｄコンバータ１０３にてＡ／Ｄ変換されたデジタル信号を用いて、互いに異なる照明条件での撮影画像としての複数の第２の画像を取得する。
【００７９】
次にステップＳ１０７では、画像処理部１０４は、複数の第１の画像から得られる輝度情報の変化に基づいて被写体の面法線を示す第１の法線情報を推定する。また、複数の第２の画像から得られる輝度情報の変化に基づいて同被写体の面法線を示す第２の法線情報を推定する。ここで、画像処理部１０４は、第１および第２の画像のうち少なくとも１つの画像に対して出力画像を生成するための通常の現像処理や各種画像補正処理を行ってもよい。法線情報の推定は、法線算出部１０４ａが上述した照度差ステレオ法を用いて、第１撮像条件と第２撮像条件のそれぞれの光源位置に応じた輝度情報の変化に基づいて行う。
【００８０】
次にステップＳ１０８では、画像処理部１０４の信頼度評価部１０４ｃは、ステップＳ１０７で推定された第１の法線情報と第２の法線情報とを比較して第１の法線情報の信頼度を評価（判定）する。具体的には、前述したように第１撮像条件と第２撮像条件とで被写体の同一撮像領域で得られた第１の法線情報と第２の法線情報とを比較する。そして、これら第１および第２の法線情報の差異が大きければ第１の法線情報の信頼度は低いと判定する。一方、差異が小さければ第１の法線情報の信頼度は高いと判定する。
【００８１】
また、第１撮像条件と第２撮像条件とでは撮像倍率が異なるため、画像上の被写体位置が異なる場合がある。このような場合は、撮像倍率の変化量に基づいた２次元空間上の幾何補正や、既存のブロックマッチング法等の対応点抽出方法により同一撮像領域を特定することができる。
【００８２】
次にステップＳ１０４ｃでは、画像処理部１０４の情報追加処理部１０４ｂは、ステップＳ１０８で評価された信頼度の結果に基づいて、出力画像または法線情報に信頼度に関する表示情報を追加する。本実施例では、表示部１０５に表示する出力画像に対して、図６に示す警告表示１００１を表示情報として付加する。警告表示１００１が表示された部分は画素内テクスチャーが存在し、法線情報の信頼度が低いことを表している。なお、警告表示に代えて、信頼度そのものを表示してもよい。
【００８３】
このように、表示画像上に法線情報の信頼度の情報を追加表示することで、ユーザは第１撮像条件における面法線の算出結果の信頼度を容易に判断することが可能となる。
【００８４】
信頼度が低いと判定された場合には、ユーザは第１撮像条件を変更して第１の画像を再取得することで、より信頼度の高い法線情報を得ることが可能となる。
【実施例２】
【００８５】
図７には、本発明の実施例２である撮像装置２の外観を示している。撮像装置２は、不図示の被写体を撮像する２つの撮像部４００，５００と、その周囲を囲むように配置された８つの光源部２００と備えている。８つの光源部２００はそれぞれ、被写体を照明する照明光を互いに独立に発することができる。本実施例でも、光源２００の数は、照度差ステレオ法を実施するための３つ以上であればよい。なお、本実施例では２つの撮像部を備えた撮像装置を示しているが、焦点距離（撮像倍率）が互いに異なる３つ以上の複数の撮像部を備えてもよい。さらに、複数の撮像部の撮像光学系を変倍光学系として構成することもできる。撮像装置２は、さらにＡＦや撮像を開始させるためのレリーズボタン３００を備える。
【００８６】
図８には、２つの撮像部４００,５００の構成を示す。撮像部４００において、撮像光学系４０１は、不図示の被写体からの光（被写体像）を撮像素子４０２上に結像させる。撮像部５００において、撮像光学系５０１は、不図示の被写体からの光を撮像素子５０２上に結像させる。各撮像素子は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を光電変換する。撮像光学系４０１，５０１は互いに焦点距離（つまりは撮像画角）が異なる。具体的には、撮像光学系４０１よりも撮像光学系５０１の方が高い撮像倍率（つまりは狭い撮像画角）を有する。
【００８７】
撮像部４００，５００および光源部２００以外の構成は実施例１（図２）に示した構成と同じであり、実施例１と共通する構成要素には実施例１と同符号を付す。
【００８８】
また、法線情報を推定および評価する画像処理についても、実施例１（図３）にて説明したものとほぼ同じである。ここでは、実施例１との相違点について図３を再び用いて説明する。
【００８９】
ステップＳ１０１，Ｓ１０２での処理の後、システムコントローラ１１１は、ステップＳ１０３において、ステップＳ１０１で設定された第１撮像条件に基づいて第２撮像条件を決定する。本実施例では、第１撮像条件を撮像光学系４０１の焦点距離とし、第２撮像条件を撮像光学系５０１の焦点距離とする。第２の撮像光学系５０１の焦点距離は、第１の撮像光学系４０１の焦点距離に対して、第２の撮像光学系５０１の撮像倍率の方が第１の撮像光学系４０１よりも高く（撮像画角が狭く）なるように設定されている。また実施例１と同様に、絞り値、露出時間および光源部２００の発光量を第１撮像条件と第２撮像条件で異なるように制御することもできる。
【００９０】
ステップＳ１０４からステップＳ１０７の処理は、実施例１と同じである。ステップＳ１０８では、信頼度評価部１０４ｃはステップＳ１０７で推定された第１撮像条件にて推定された第１の法線情報と第２撮像条件にて推定された第２の法線情報を比較し、第１の法線情報の信頼度を評価する。評価方法は実施例１と同じである。
【００９１】
次にステップＳ１０４ｃでは、情報追加処理部１０４ｂは、ステップＳ１０８で評価された信頼度の結果に基づいて、出力画像または法線情報に信頼度に関する表示情報を追加する。本実施例では、表示部１０５に表示する出力画像に対して、図９に示すガイダンス表示１００２を付加する。ガイダンス表示１００２は、現在の撮像条件では法線情報の信頼度が低いために撮像距離が短くなる（撮像倍率を上げる）ように変更することを促す、つまりは信頼度を増加させるための撮像条件を示す表示情報である。
【００９２】
このように表示画像上に法線情報の信頼度を増加させるためのガイダンス表示を追加することで、ユーザは法線情報の信頼度を容易に判断することができるとともに、該信頼度をより向上させるように再設定した第１撮像条件で再度撮像を行うことができる。
【実施例３】
【００９３】
図１０には、本発明の実施例３である撮像装置３の外観を示している。図１１には、本実施例の撮像装置３の構成を示している。
【００９４】
撮像装置３は、不図示の被写体を撮像する撮像部６００を備えている。さらに、さらにＡＦや撮像を開始させるためのレリーズボタン３００を備える。
【００９５】
撮像部６００の撮像光学系６０１は、不図示の被写体からの光（被写体像）を撮像素子１０２上に結像させる。撮像光学系６０１は絞り６０１ａを含む。また、撮像光学系６０１は複数のレンズ群を光軸方向に移動させることにより撮像倍率を変えることができる変倍光学系である。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を光電変換する。
【００９６】
また、撮像部は、輝度情報としての偏光情報を取得するために、偏光子（偏光状態制御素子）２０１を備えている。偏光情報を含む撮影画像は、偏光制御部２０２からの制御によって偏光子２０１の主軸角方向を変えながら（つまりは照明条件を変更しながら）撮像することにより取得する。本実施例では、撮像光学系６０１よりも被写体側に偏光子２０１を配置しているが、撮像光学系６０１よりも像側または撮像光学系６０１の内部に偏光子を挿入してもよい。撮像部６００の構成が異なることおよび光源部を有さないこと以外の構成は実施例１（図２）に示した構成と同じであり、実施例１と共通する構成要素には実施例１と同符号を付す。
【００９７】
また、法線情報を推定および評価する画像処理についても、実施例１（図３）にて説明したものとほぼ同じである。ここでは、実施例１との相違点について図１２のフローチャートを用いて説明する。
【００９８】
ステップＳ３０１からＳ３０４までは、実施例１のステップＳ１０１とＳ１０４と同じてあるため、説明を省略する。
【００９９】
ステップＳ３０５では、システムコントローラ１１１は、第１撮像条件に従って撮像制御部１０７と偏光制御部２０２により撮像部６００と偏光子２０１を制御して複数の偏光状態（照明条件）での被写体の撮像を行う。これにより、画像処理部１０４は、互いに異なる照明条件での撮影画像としての複数の第１の画像を取得する。
【０１００】
ステップＳ３０６では、システムコントローラ１１１は、第２撮像条件に従って撮像制御部１０７と偏光制御部２０２により撮像部６００と偏光子２０１を制御して複数の偏光状態（照明条件）での被写体の撮像を行う。これにより、画像処理部１０４は、互いに異なる照明条件での撮影画像としての複数の第２の画像を取得する。
【０１０１】
ステップＳ３０７では、画像処理部１０４は、複数の第１の画像から得られる輝度情報の変化に基づいて被写体の面法線を示す第１の法線情報を推定する。また、複数の第２の画像から得られる輝度情報の変化に基づいて同被写体の面法線を示す第２の法線情報を推定する。ここで、画像処理部１０４は、第１および第２の画像のうち少なくとも１つの画像に対して出力画像を生成するための通常の現像処理や各種画像補正処理を行ってもよい。法線情報の推定は、法線算出部１０４ａが上述した偏光情報から推定する方法を用いて、第１撮像条件と第２撮像条件のそれぞれの偏光状態に応じた輝度情報の変化に基づいて行う。
【０１０２】
ステップＳ３０８とＳ３０９は、実施例１のステップＳ１０８とＳ１０４ｃと同じであるため、説明を省略する。
【０１０３】
本実施例によれば、偏光情報から推定する方法を用いる場合でも、ユーザが容易に法線算出結果の信頼度を判断することが可能となる。ユーザは第１撮像条件を変更して再度撮像を行うことで、より信頼度の高い法線情報を得ることができる。
【０１０４】
上記各実施例では、画像処理装置としての画像処理部１０４が撮像装置に内蔵されている場合について説明したが、パーソナルコンピュータ等の撮像装置とは別装置としての画像処理装置でも各実施例で説明した画像処理を行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【０１０５】
１，２，３  撮像装置
１００，４００，５００，６００  撮像部
２００  光源部
１０４  画像処理部
２０１  偏光子
【図１】
2017135528.tif 000012
【図２】
2017135528.tif 000013
【図３】
2017135528.tif 000014
【図４】
2017135528.tif 000015
【図５】
2017135528.tif 000016
【図６】
2017135528.tif 000017
【図７】
2017135528.tif 000018
【図８】
2017135528.tif 000019
【図９】
2017135528.tif 000020
【図１０】
2017135528.tif 000021
【図１１】
2017135528.tif 000022
【図１２】
2017135528.tif 000023
【図１３】
2017135528.tif 000024
【図１４】
2017135528.tif 000025
【図１５】
2017135528.tif 000026
【図１６】
2017135528.tif 000027
【図１７】
2017135528.tif 000028