(57)【要約】【課題】人物に対する防眩効果を向上させると共に人物以外の被写体に対する面法線精度を維持すること【解決手段】３つ以上の互いに異なる複数の位置から光を被写体に順次照射させ、各照射時に前記被写体を撮像させるシステムコントローラ１１１は、前記複数の位置から前記光を照射させる前に、前記被写体の顔が検出されたかどうかを判定し、前記被写体の顔が検出された場合には、照射させる光として、可視光を選択せずに不可視光を選択し、前記被写体の顔が検出されなかった場合には、前記照射させる光として、前記可視光を選択する。【選択図】図３
2017103578.tif 000002
【特許請求の範囲】
【請求項１】
３つ以上の互いに異なる複数の位置から光を被写体に順次照射させ、各照射時に前記被写体を撮像させる制御装置であって、
前記複数の位置から前記光を照射させる前に、前記被写体の顔が検出されたかどうかを判定し、
前記顔が検出された場合には、照射させる光として、可視光を選択せずに不可視光を選択し、
前記顔が検出されなかった場合には、前記照射させる光として、前記可視光を選択することを特徴とする制御装置。
【請求項２】
前記制御装置は、前記被写体の顔が検出されなかった場合には、前記照射させる光として、前記不可視光を更に選択することを特徴とする請求項１に記載の制御装置。
【請求項３】
３つ以上の互いに異なる複数の位置から光を被写体に順次照射し、各照射時に前記被写体を撮像する撮像装置であって、
可視光および不可視光のそれぞれを、３つ以上の互いに異なる複数の位置から照射する光源手段と、
前記可視光と前記不可視光の照射を手動で切り替えることを可能にする操作手段と、
を有することを特徴とする撮像装置。
【請求項４】
被写体を撮像する撮像素子と、
該撮像素子によって得られた前記被写体の撮像画像において顔を検出する顔検出手段と、
３つ以上の互いに異なる複数の位置から光を前記被写体に順次照射させ、各照射時に前記被写体を前記撮像素子に撮像させる制御手段と、
を有し、
前記制御手段は、
前記複数の位置から前記光を照射させる前に、前記顔検出手段が前記被写体の顔を検出したかどうかを判定し、
前記顔検出手段が前記顔を検出した場合には、照射させる光として、可視光を選択せずに不可視光を選択し、
前記顔検出手段が前記顔を検出しなかった場合には、前記照射させる光として、前記可視光を選択することを特徴とすることを特徴とする撮像装置。
【請求項５】
前記可視光と前記不可視光のそれぞれを、３つ以上の互いに異なる複数の位置から照射する光源手段を有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記光源手段は、前記可視光を照射する可視光光源手段と、当該可視光光源手段とは異なる位置に設けられ、前記不可視光を照射する不可視光光源手段と、を備えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記不可視光光源手段は、前記可視光光源手段の外側に設けられていることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記被写体の光学像を形成する光学系を有し、該光学系は前記不可視光の透過率を変化させる手段を備え、
前記制御手段は、前記不可視光を照射させる場合には、前記可視光を照射させる場合よりも前記光学系における前記不可視光の透過率を高くすることを特徴とする請求項４乃至７のうちいずれか１項に記載の撮像装置。
【請求項９】
前記光学系は、
前記不可視光の透過率を低下させるフィルターと、
前記フィルターを前記光学系の光路に対して挿抜可能に移動させる移動手段と、
を有し、
前記制御手段は、前記可視光を照射させる場合には前記フィルターを前記光路に挿入させ、前記不可視光を照射させる場合には前記フィルターを前記光路から退避させるように、前記移動手段を制御することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記光学系は、前記不可視光の透過率を変化させるフィルターを備え、
前記制御手段は、前記可視光を照射させる場合と前記不可視光を照射させる場合との間で、前記フィルターによる前記不可視光の透過率または反射率を電気的制御によって変化させることを特徴とする請求項８に記載の撮像装置。
【請求項１１】
前記撮像素子は、前記可視光に感度を有さず前記不可視光に感度を有する画素を備えることを特徴とする請求項４乃至７のうちいずれか１項に記載の撮像装置。
【請求項１２】
前記光源手段は、前記複数の位置のそれぞれから前記可視光と前記不可視光を照射する広帯域光源を有することを特徴とする請求項５に記載の撮像装置。
【請求項１３】
前記光源手段は、
前記不可視光の透過率を低下させるフィルターと、
前記フィルターを前記光源手段の光路に対して挿抜可能に移動させる移動手段と、
を有し、
前記制御手段は、前記可視光を照射させる場合には前記フィルターを前記光路に挿入させ、前記不可視光を照射させる場合には前記フィルターを前記光路から退避させるように、前記移動手段を制御することを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記光源手段は、波長６２０ｎｍ〜７５０ｎｍの光、波長４９５ｎｍ〜５７０ｎｍの光、波長４３０ｎｍ〜４９５ｎｍの光、及び前記不可視光のそれぞれの発光部を備えていることを特徴とする請求項１２に記載の撮像装置。
【請求項１５】
前記被写体の光学像を形成する第１の光学系と、
前記第１の光学系よりも前記不可視光の透過率が高く、前記被写体の光学像を形成する第２の光学系と、
を更に有し、
前記撮像素子は、
前記第１の光学系が形成した前記光学像を光電変換する第１の撮像素子と、
前記第２の光学系が形成した前記光学像を光電変換する第２の撮像素子と、
を備えることを特徴とする請求項４乃至７、および１２乃至１４のうちいずれか１項に記載の撮像装置。
【請求項１６】
前記被写体の撮像画像から得られる輝度情報に基づいて、前記被写体の表面の法線情報を取得する法線情報取得手段を有することを特徴とする請求項４乃至１５のうちいずれか１項に記載の撮像装置。
【請求項１７】
前記不可視光による前記被写体の反射特性モデルを記憶する記憶手段を有し、
前記法線情報取得手段は、前記顔検出手段が前記顔を検出した場合には、前記記憶手段に記憶された前記反射特性モデルに基づいて前記法線情報を取得することを特徴とする請求項１６に記載の撮像装置。
【請求項１８】
３つ以上の互いに異なる複数の位置から不可視光を被写体に順次照射させ、各照射時に前記被写体を撮像させる撮像装置であって、
前記不可視光による前記被写体の反射特性モデルを記憶する記憶手段と、
前記被写体の撮像画像から得られる輝度情報と前記記憶手段に記憶された前記反射特性モデルに基づいて、前記被写体の表面の法線情報を取得する法線情報取得手段と、
を有することを特徴とする撮像装置。
【請求項１９】
請求項４に記載の撮像装置と、
前記可視光と前記不可視光のそれぞれを、３つ以上の互いに異なる複数の位置から照射する光源装置と、
を有することを特徴とする撮像システム。
【請求項２０】
前記被写体の光学像を形成し、前記撮像装置に装着可能なレンズ装置を有することを特徴とする請求項１９に記載の撮像システム。
【請求項２１】
前記レンズ装置は、前記不可視光の透過率を変化させる手段を備え、
前記制御手段は、前記不可視光を照射させる場合には、前記可視光を照射させる場合よりも前記被写体の光学像を形成する光学系における前記不可視光の透過率を上昇させることを特徴とする請求項２０に記載の撮像システム。
【請求項２２】
請求項４乃至１４のうちいずれか１項に記載の撮像装置と、
前記被写体の撮像画像から得られる輝度情報に基づいて、前記被写体の表面の法線情報を取得する法線情報取得装置と、
を有することを特徴とする法線情報取得システム。
【請求項２３】
請求項１９乃至２１に記載の撮像システムと、
前記被写体の撮像画像から得られる輝度情報に基づいて、前記被写体の表面の法線情報を取得する法線情報取得装置と、
を有することを特徴とする法線情報取得システム。
【請求項２４】
被写体の光学像を形成し、請求項４に記載の撮像装置に装着可能なレンズ装置であって、
該レンズ装置は、前記可視光と前記不可視光のそれぞれを、３つ以上の互いに異なる複数の位置から照射する光源手段を有することを特徴とするレンズ装置。
【請求項２５】
被写体の撮像画像から前記被写体の表面の法線情報を取得する画像処理装置であって、
不可視光による前記被写体の反射特性モデルを記憶する記憶手段と、
前記撮像画像から得られる輝度情報と前記記憶手段に記憶された前記反射特性モデルに基づいて、前記被写体の表面の法線情報を取得する法線情報取得手段と、
を有することを特徴とする画像処理装置。
【請求項２６】
３つ以上の互いに異なる複数の位置から光を被写体に順次照射させ、各照射時に前記被写体を撮像させる制御方法であって、
前記複数の位置から前記光を照射させる前に、前記被写体の顔が検出されたかどうかを判定するステップと、
前記被写体の顔が検出された場合には、照射させる光として、可視光を選択せずに不可視光を選択するステップと、
前記被写体の顔が検出されなかった場合には、前記照射させる光として、前記可視光を選択するステップと、
を有することを特徴とする制御方法。
【請求項２７】
コンピュータに請求項２６に記載の制御方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、撮像装置、撮像システム、法線情報取得システム、画像処理装置、制御方法およびプログラムに関する。
【背景技術】
【０００２】
非特許文献１は、被写体の局所面の法線情報を取得する照度差ステレオ法において、複数の波長域の光源を設け、反射特性が最もランバート反射モデルに近くなる波長域の光源を選択する方法を提案している。特許文献１は、照度差ステレオ法に用いる３つ以上の光源の波長を夫々異ならせることで、人体の頭頸部表面の面法線を取得すると共に、被験者の眩しさを低減させるために、３以上の光源に赤外光を用いる方法を提案している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−３１６５０号公報
【非特許文献】
【０００４】
【非特許文献１】高谷剛志、“多波長画像を用いた照度差ステレオ法の精度向上”、情報処理学会研究報告、Ｖｏｌ．２０１２−ＣＶＩＭ−１８３、Ｎｏ．１２、ｐｐ．１−８、２０１２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
照度差ステレオ法では、被写体が人物である場合、可視光を用いると当該人物は眩しいと感じてしまう（不快感を抱く）が、非特許文献１はかかる問題を考慮していない。そこで、特許文献１を適用して全ての被写体に対して赤外光光源を使用することが考えられるが、人物以外の被写体に対して取得する法線情報の精度が低下するおそれが生じる。
【０００６】
本発明は、人物に対する防眩効果を向上させると共に人物以外の被写体に対する面法線精度を維持することが可能な制御装置、撮像装置、撮像システム、法線情報取得システム、画像処理装置、制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の制御装置は、３つ以上の互いに異なる複数の位置から光を被写体に順次照射させ、各照射時に前記被写体を撮像させる制御装置であって、前記複数の位置から前記光を照射させる前に、前記被写体の顔が検出されたかどうかを判定し、前記顔が検出された場合には、照射させる光として、可視光を選択せずに不可視光を選択し、前記顔が検出されなかった場合には、前記照射させる光として、前記可視光を選択することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、人物に対する防眩効果を向上させると共に人物以外の被写体に対して取得する法線情報の精度を維持することが可能な制御装置、撮像装置、撮像システム、法線情報取得システム、画像処理装置、制御方法およびプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る撮像装置の外観斜視図である。（実施例１）
【図２】図１に示す撮像装置のブロック図である。（実施例１）
【図３】図２に示すシステムコントローラが実行する画像処理方法（法線推定方法）を示すフローチャートである。
【図４】図３に示すＳ１０３の顔検出を説明するための図である。
【図５】本発明に係る撮像装置の外観斜視図である。（実施例２）
【図６】図５に示す撮像部の構成を示す概略図である。（実施例２）
【図７】図５に示す光源手段の構成を示す概略図である。（実施例２）
【図８】図２に示すシステムコントローラが実行する画像処理方法（法線推定方法）を示すフローチャートである。（実施例２）
【図９】簡略化されたＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルを示す図である。
【発明を実施するための形態】
【００１０】
撮像装置で被写体を撮像（静止画撮影）する際に、輝度情報と共に、被写体の形状情報、特に、面法線情報を取得することによって、撮像後の画像処理において、例えば、被写体の見えを変更した画像を生成することが可能となる。被写体の見えは、被写体の形状情報、被写体の反射率情報、光源情報などの要素で決定されるが、形状情報としては３次元形状ではなく面法線情報を用いることが特に有効である。なぜなら、光源から出た光が被写体によって反射される際の反射光の物理的な振る舞いは、局所的な面法線に依存するからである。
【００１１】
面法線情報を取得する一方法である照度差ステレオ法は、レーザ光を用いた三角測量や２眼ステレオなどの方法で距離情報を取得し、距離情報から求めた三次元形状を面法線情報へ変換する方法よりも、装置が小型になり、取得する法線情報の精度も高くなる。照度差ステレオ法は、被写体の面法線と光源方向に基づいた反射特性を仮定し、複数の光源位置での被写体の輝度情報と、仮定した反射特性から面法線を決定する。被写体の反射特性としてはランバートの余弦則に従うランバート反射モデルが用いられることが多い。仮定する反射特性はある面法線と光源位置が与えられたときに反射率が一意に定まればよいが、被写体の反射特性が未知の場合はランバートの余弦則に従うランバート反射モデルで近似すればよい。
【００１２】
図９は、簡略化されたＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルを示す図である。鏡面反射成分の反射率は、光源ベクトルｓと視線方向ベクトルｖの２等分線と面法線ｎのなす角αに依存するため、反射特性は視線方向に基づく。照度差ステレオ法では、既知の光源が点灯している場合と消灯している場合のそれぞれの画像を撮像し、これらの差分をとることで環境光等、既知の光源以外の光源による影響を除いてもよい。以下では、ランバート反射モデルを仮定した場合について説明する。
【００１３】
反射光の輝度をｉ、物体のランバート拡散反射率をρｄ、入射光の強さをＥ、物体から光源への方向を示す単位ベクトル(光源方向ベクトル)をｓ、物体の単位面法線ベクトルをｎとする。このとき、ランバートの余弦則から、次式が成立する。
【００１４】
【数１】
2017103578.tif 000003
【００１５】
ここで、異なるＭ個（Ｍは３以上（Ｍ≧３））の光源方向ｓ１、ｓ２、・・・、ｓＭで得られた輝度値をｉ１、ｉ２、・・・ｉＭとすると（１）式から次式が成立する。
【００１６】
【数２】
2017103578.tif 000004
【００１７】
ここで、左辺はＭ行１列の輝度ベクトル、右辺の［ｓ１Ｔ、・・・ｓＭＴ］はＭ行３列の光源方向を示す入射光行列Ｓ、ｎは３行１列の単位面法線ベクトルである。Ｍ＝３の場合は入射光行列Ｓの逆行列を左からかけることでＥρｄｎが下記のように求まる。
【００１８】
【数３】
2017103578.tif 000005
【００１９】
左辺のベクトルのノルムがＥとρｄの積であり、正規化したベクトルが物体の面法線ベクトルとして求まる。Ｅとρｄは積の形でのみ条件式に現れるので、Ｅρｄを１つの変数として見ると、単位面法線ベクトルの２自由度と合わせて未知の３変数を決定する連立方程式とみなせる。よって３つの光源条件で輝度情報を取得することで方程式が３つ得られ、解を決定することができる。
【００２０】
入射光行列Ｓが正則でない場合は逆行列が存在しないため、光源方向ｓ１〜ｓ３をＳが正則となるように選択する必要がある。つまり、ｓ３をｓ１とｓ２に対して線形独立に選ぶことが望ましい。一方、Ｍ＞３の場合は求める未知変数より多い条件式が得られる。このときは任意に選択した３つの条件式から上記と同様の方法で面法線ベクトルを求めることができる。４つ以上の条件式を用いる場合は入射光行列Ｓが正方行列ではなくなるため、例えば、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ疑似逆行列を使って近似解を求めればよい。また、行列計算を用いなくとも、既知のフィッティング手法や最適化手法によって解を求めてもよい。
【００２１】
被写体の反射特性をランバート反射モデル以外のモデルで仮定した場合は条件式が単位面法線ベクトルｎの各成分に対する線形方程式でなくなることがある。その場合でも、未知変数に対して未知変数以上の方程式が得られれば、既知のフィッティング手法や最適化手法を用いることができる。また、Ｍ＞３の場合には３以上Ｍ−１以下の条件式の組み合わせが複数得られるため、複数の面法線候補を求めることもできる。この場合は、後述の方法によって解を選択するとよい。
【００２２】
面法線ベクトルの解の候補が複数求まる場合、更に別の条件から解を選択してもよい。例えば、面法線ベクトルの連続性を条件として用いることができる。面法線を撮像装置の１画素ごとに算出する場合、画素（ｘ、ｙ）での面法線ｎ（ｘ、ｙ）として、ｎ（ｘ−１、ｙ）が既知であれば、次式で表される評価関数が最小となる解を選択すればよい。
【００２３】
【数４】
2017103578.tif 000006
【００２４】
ｎ（ｘ＋１、ｙ）やｎ（ｘ、ｙ±１）も既知であれば、次式で表される評価関数が最小となる解を選択すればよい。
【００２５】
【数５】
2017103578.tif 000007
【００２６】
既知の面法線がなく、全画素位置で面法線の不定性があるとすれば、次式で表される全画素での総和が最小となるように解を選択してもよい。
【００２７】
【数６】
2017103578.tif 000008
【００２８】
上記は一例であり、最近傍以外の画素での面法線情報を用いたり、注目する画素位置からの距離に応じて重みをつけた評価関数としたりしてもよい。
【００２９】
また、任意の光源位置での輝度情報を用いてもよい。ランバート反射モデルに代表される拡散反射モデルでは、面法線ベクトルと光源方向が近いほど反射光の輝度が大きくなる。よって、複数の光源方向での輝度値から、輝度が大きい方向により近くなるような面法線ベクトルを選択することができる。また、鏡面反射モデルでは物体からカメラへの方向の単位ベクトル(カメラの視線ベクトル)をvとして滑らかな表面では次式が成り立つ。
【００３０】
【数７】
2017103578.tif 000009
【００３１】
このため、光源方向ベクトルｓとカメラの視線ベクトルｖが既知であれば、面法線ｎを算出できる。表面に粗さがある一般の場合は鏡面反射も射出角の広がりを持つが、平滑面として求めた解の付近に広がるため、複数の解候補から最も平滑面に対する解に近い候補を選択することができる。
【００３２】
また、複数の解候補の平均によって真の解を決めてもよい。
【実施例１】
【００３３】
図１は、本発明の実施例１に係る撮像装置１の外観斜視図である。撮像装置１は、デジタルカメラ、テレビカメラなどを含む。また、撮像装置１は、レンズ一体型であってもよいし、一眼レフカメラやノンリフレックスカメラ（ミラーレスカメラ）のようなレンズ交換式であってもよい。
【００３４】
撮像装置１は、撮像部１００、光源手段２００、レリーズボタン３００を有する。
【００３５】
撮像部１００は、不図示の被写体を撮像する。
【００３６】
光源手段２００は、可視光と不可視光のそれぞれを、３つ以上の互いに異なる複数の位置から照射する。光源手段２００は、人の目で見える可視光を照射する可視光光源手段２１０と、可視光光源手段２１０とは異なる位置に設けられ、人の目では見えない不可視光である近赤外光を照射する不可視光光源手段２２０と、を有する。可視光光源手段２１０は、それぞれが可視光を照射する８つの可視光光源２１２を備える。不可視光光源手段２２０は、それぞれが不可視光を照射する８つの不可視光光源２２２を備える。可視光光源２１２と不可視光光源２２２は、夫々同じ大きさを有し、撮像部１００の周りに同心円状に設けられている。
【００３７】
可視光光源手段２１０の外側に不可視光光源手段２２０が設けられ、対応する可視光光源２１２と不可視光光源２２２は、撮像光軸に垂直な面において撮像光軸から放射方向に延びる線上に位置している。撮像光軸から光源手段２００を離せば離すほど被写体の表面の面法線取得精度（推定精度）が高くなる。また、光源手段２００の光量が高いほど、または、撮像素子の感度が高いほど、被写体の表面の法線情報取得精度が高くなる。不可視光に対する撮像素子の感度は可視光に対するそれよりも低いので、図１に示すように、不可視光光源手段２２０を可視光光源手段２１０の外側に配置している。
【００３８】
本実施例及び後述する実施例においては、可視光の波長は、４００ｎｍ以上７００ｎｍ以下として説明する。不可視光光源は、近赤外光（波長７００ｎｍ〜２５００ｎｍ）、赤外光（波長２５００ｎｍ〜１ｍｍ）、紫外光（波長２５０ｎｍ〜４００ｎｍ）を含む。また、本実施例及び後述する実施例においては、不可視光を近赤外光の一例として説明する。
【００３９】
また、光源数は夫々８個に限定されず、照度差ステレオ法に必要な、３つ以上の互いに異なる複数の位置に光源が設けられていれば足りる。撮像装置がレンズ交換式の場合、撮像装置本体と、被写体の光学像を形成し、撮像装置本体に装着可能なレンズ装置は撮像システム（カメラシステム）を構成する。
【００４０】
この場合、可視光と不可視光のそれぞれを、３つ以上の互いに異なる複数の位置から照射する光源手段２００は、撮像装置本体に設けられてもよいし、レンズ装置に設けられてもよい。また、光源手段２００は、撮像装置とは別体の光源装置として設けられてもよい。この場合、光源装置は、撮像装置と、有線または無線を介して、通信可能に接続されていて、撮像装置によって制御される。
【００４１】
レリーズボタン３００は、ユーザによる半押しに応じてＳＷ１信号を後述するシステムコントローラ１１１に送信し、ユーザによる全押しに応じてＳＷ２信号をシステムコントローラ１１１に送信する。レリーズボタン３００は、撮影準備および撮影を指示する指示手段として機能する。本実施例では、レリーズボタン３００の半押しは撮影準備の指示に相当し、レリーズボタン３００の全押しは撮影の指示に相当する。
【００４２】
図２は、撮像装置１のブロック図である。撮像装置１は、撮像部１００、Ａ／Ｄコンバータ１０３、画像処理手段１０４、表示手段１０５、光源制御手段１０６、撮像制御手段１０７、情報入力手段１０８、反射特性モデル記録手段１０９、画像記録手段１１０、システムコントローラ１１１を有する。また、上述したように、撮像装置１は、光源手段２００を有する。
【００４３】
本実施例では、撮像部１００は、撮像光学系１０１、撮像素子１０２及び各種の駆動手段（または移動手段）を有する。
【００４４】
撮像光学系１０１は、撮像素子１０２の撮像面に被写体の光学像（被写体像）を形成し、ズームレンズ（変倍レンズ）１０１ａ、絞り１０１ｂ、フォーカスレンズ１０１ｃ、波長選択性撮像フィルターＦＬ１０１ｄを有する。なお、図２における楕円は、これらのレンズのいずれかを概略的に示すものであり、これは後述する実施例でも同様である。
【００４５】
ズームレンズ（変倍レンズ）１０１ａは、不図示の駆動手段によって光軸方向に移動されて焦点距離を変更する。絞り１０１ｂは、撮像光学系１０１の射出瞳位置に配置され、不図示の駆動手段によって駆動され、撮像素子１０２に入射する光量を調節する。フォーカスレンズ１０１ｃは、不図示の駆動手段によって光軸方向に移動されて焦点調節を行う。波長選択性撮像フィルターＦＬ１０１ｄは、不可視光の透過率を変化（低下）させる手段として機能し、移動手段１０１ｅによって撮像光学系１０１の光路に挿抜可能に移動される。システムコントローラ１１１は、可視光を照射させる場合には波長選択性撮像フィルターＦＬ１０１ｄを光路に挿入させ、不可視光を照射させる場合には光路から退避させるように、撮像制御手段１０７を介して移動手段１０１ｅを制御する。即ち、不可視光を照射させる場合には可視光を照射させる場合よりも不可視光の透過率を上昇させる。
【００４６】
撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、撮像光学系１０１が形成した光学像を光電変換することによって被写体を撮像する。撮像素子１０２は、例えば、ベイヤー配列を有するカラーフィルタを光電変換素子群上に備えているが、カラーフィルタの配列はこれに限定されるものではない。ベイヤー配列では、２×２の４画素にＲ（赤）１画素、Ｇ（緑）２画素、Ｂ（青）１画素を１セットにして規則的に並べたものである。２つのＧ画素は対角方向に配置され、Ｒ画素とＢ画素はこれに直交する対角方向に設けられている。
【００４７】
本発明の法線情報取得方法では、３つ以上の位置が異なる複数の光源から順次光を被写体に照射することによって被写体を撮像し、輝度情報を取得する。被写体は撮像素子１０２によって撮像されて撮像画像となるが、輝度情報の取得は、画像処理手段１０４によって被写体の撮像画像から取得される。ここで、「輝度情報」とは、ＲＧＢの各画素の画素値（輝度値）である。
【００４８】
本発明では、光源として、可視光光源手段と不可視光光源手段を使用するが、ＲＧＢの各画素は、不可視光（例えば、近赤外光）にも感度を有する。照度差ステレオ方式では、輝度情報自体ではなく複数の位置における輝度情報の変化（輝度差）が必要であるため、撮像素子１０２が不可視光のみに感度を有する専用画素を備えなくても照度差ステレオ方式で必要とされる輝度情報を取得することができる。もちろん、撮像素子１０２は、可視光に感度を有さず不可視光に感度を有する画素を備えてもよい。
【００４９】
本発明は、撮影後の画像処理において、被写体の見えを変更した画像を生成することを可能にする。このためには、被写体の表面の法線情報を取得するだけでなく、可視光に対する被写体の撮像画像を取得する必要がある。撮像素子１０２が通常のベイヤー配列のカラーフィルタを有する場合に近赤外光のみを用いて被写体を照明すると、ＲＧＢの各画素は、近赤外光にも感度を有するため、撮影画像は赤みがかった画像となってしまう。撮像素子１０２が、近赤外光にのみ感度を有する専用画素を備えている場合、当該専用画素の画素値をＲＧＢ画素の各画素値から引くことによって被写体画像を補正することができる。もちろん、後述するように、この方法を使用しなくてもよい。
【００５０】
Ａ／Ｄコンバータ１０３は、撮像素子１０２によって生成されたアナログ電気信号を、デジタル信号に変換して画像処理手段１０４に出力する。
【００５１】
画像処理手段１０４は、デジタル信号に対して色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。また、画像処理手段１０４は、被写体の局所面の法線情報を推定（取得）する。画像処理手段１０４は、撮像素子１０２によって得られた被写体の撮像画像において顔を検出する顔検出手段１０４ａと、被写体の撮像画像から得られる輝度情報に基づいて、被写体の表面の法線情報を取得する法線情報取得手段１０４ｂと、を有する。
【００５２】
法線情報取得手段１０４ｂは、画像処理手段１０４に設けられずに、独立した専用画像処理装置（法線情報取得装置）またはパーソナルコンピュータ（ＰＣ）として構成されてもよい。この場合、ＰＣには、本発明の法線情報取得方法や画像の見せを変更する画像処理方法を実行するソフトウェアがインストールされる。このソフトウェアは、コンピュータにこれらの方法を実行させるためのプログラムとして具現化が可能であり、このようなプログラムは、記憶手段（例えば、非一時的なコンピュータ可読記憶媒体）に記憶可能である。
【００５３】
撮像装置または上述した撮像システムと、法線情報取得装置と、は法線情報取得システムを構成する。
【００５４】
表示手段１０５は、画像処理手段１０４で処理された出力画像、各種の制御情報、法線情報、見えが変更される前後の画像を表示し、液晶ディスプレイ、各種ランプ等から構成される。光源制御手段１０６は、システムコントローラ１１１からの情報に基づいて、光源手段２００の発光制御（発光のオンオフと発光量）を行う。
【００５５】
撮像制御手段１０７は、システムコントローラ１１１からの情報に基づいて、撮像光学系１０１と撮像素子１０２の動作を制御する。より具体的には、撮像制御手段１０７は、フォーカスレンズや変倍レンズの移動、絞り１０１ｂによる絞り値、露出時間、移動手段１０１ｅによる波長選択性撮像フィルターＦＬ１０１ｄの挿脱、撮像素子１０２への通電などを制御する。なお、撮像光学系１０１がレンズ装置に設けられる場合には、レンズ装置のレンズ制御手段が撮像制御手段１０７の一部の機能を有することになり、レンズ制御手段は、撮像装置本体のカメラ制御手段によって制御される。
【００５６】
情報入力手段１０８は、ユーザが所望の撮影条件（絞り値や露出時間、焦点距離など）を選択して入力する情報を表すデータをシステムコントローラ１１１に出力スイッチ、ダイヤル、ボタン、レバー、タッチスクリーンなどを含む入力手段である。
【００５７】
本実施例では、システムコントローラ１１１が光源手段２００の発光を自動的に切り替えているが、本発明はユーザが手動で切り替えることも許容する。この場合、３つ以上の互いに異なる複数の位置から光を被写体に順次照射し、各照射時に前記被写体を撮像する撮像装置は、可視光および不可視光のそれぞれを、３つ以上の互いに異なる複数の位置から照射する光源手段２００と、情報入力手段１０８を有する。そして、情報入力手段１０８は、ユーザが、可視光と不可視光の照射を手動で切り替えることを可能にする操作手段として機能する。
【００５８】
反射特性モデル記録手段１０９は、不可視光による被写体の反射特性モデルデータや上述したランバート反射モデルを記憶する記憶手段であり、半導体メモリや光ディスク等から構成される。
【００５９】
画像記録手段１１０は、画像処理手段１０４で処理された出力画像、面法線情報、輝度情報などの各種の情報を記録する記憶手段であり、半導体メモリや光ディスク等から構成される。
【００６０】
システムコントローラ１１１は、撮像装置１の各部の動作を制御する制御手段であり、マイクロコンピュータから構成される。特に、システムコントローラ１１１は、３つ以上の互いに異なる複数の位置から光を被写体に順次照射させ、各照射時に被写体を撮像させる制御装置として機能する。システムコントローラ１１１は、レリーズボタン３００によって生成されるＳＷ１信号に応じて、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理、顔検出等の撮影準備動作を開始する。また、システムコントローラ１１１は、レリーズボタン３００によって生成されるＳＷ２信号に応じて、不図示のシャッター駆動回路を駆動し、撮影光束を撮像素子１０２に導き、露光（撮影）を行う。また、システムコントローラ１１１は、ＳＷ２信号に応じて、撮像素子１０２からの信号読み出しから画像記録手段１１０に画像データを書き込むまでの一連の撮影処理の動作を制御する。また、システムコントローラ１１１は、図３に示す制御方法を実行する。
【００６１】
図３は、システムコントローラ１１１が実行する画像処理方法（法線推定方法）を示すフローチャートであり、「Ｓ」はステップ（工程）を表している。図３に示すフローチャートは、コンピュータに各ステップの処理を実行させるためのプログラムと具現化が可能であり、このようなプログラムは、画像記録手段１１０やその他の記憶手段（例えば、非一時的なコンピュータ可読記憶媒体）に記憶可能である。Ｙは「はい（Ｙｅｓ）」を表し、Ｎは「いいえ（Ｎｏ）」を表している。
【００６２】
Ｓ１０１では、システムコントローラ１１１は、使用者が情報入力手段１０８から入力した所望の撮影条件（絞り値や露出時間、焦点距離など）を設定する。
【００６３】
Ｓ１０２では、システムコントローラ１１１は、レリーズボタン３００が半押しされたかどうかを、ＳＷ１信号を受信したかどうかに基づいて判定する。半押しされた場合は、撮像装置は撮影準備状態となり、プリ撮影を行い、画像記録手段１１０または不図示の記憶手段に、プリ撮影画像を保存する。プリ撮影では、可視光光源手段２１０と不可視光光源手段２２０のいずれも発光させない状態で被写体を撮像することによって被写体の撮像画像を取得する。撮像素子１０２が、不可視光のみに感度を有する画素（つまり、可視光に感度を有さず不可視光に感度を有する画素）を有しない場合、画像処理手段１０４は、このときのＲＧＢ画素の各画素値を画像記録手段１１０に記録しておく。この情報は、被写体に顔が含まれる場合の画像を補正するのに使用することができる。
【００６４】
Ｓ１０３では、システムコントローラ１１１は、と顔検出手段１０４ａの検出結果に基づいて、Ｓ１０２で得られたプリ撮影画像に被写体の顔が検出されたかどうかを判定する。顔検出手段１０４ａは、プリ撮影画像データに対して水平方向バンドパスフィルタ処理を行い、水平方向バンドパスフィルタ処理された画像データに対して垂直方向バンドパスフィルタ処理を行う。これにより、画像データからエッジ成分が検出される。
【００６５】
次に、顔検出手段１０４ａは、検出されたエッジ成分に関してパターンマッチングを行って、目、鼻、口および耳の候補群を抽出する。次に、顔検出手段１０４ａは、抽出された目の候補群の中から予め設定された条件（例えば、２つの目の距離および傾きなどの条件）を満たす候補を目の対と判定し、目の対をなさない候補群を除外して目の候補群を絞り込む。
【００６６】
次に、顔検出手段１０４ａは、絞り込んだ目の候補群と当該目に対応して顔を形成する他のパーツ（鼻、口、耳）とを対応づけて顔領域候補を決定し、顔領域候補に対して予め設定された非顔条件フィルター処理を行う。顔検出手段１０４ａは、顔条件を満たさないと判定した顔領域候補を除外し、残りの顔領域候補を顔領域として検出し、顔領域の検出結果を示す顔情報をシステムコントローラ１１１に出力する。
【００６７】
図４は、検出された人物の顔領域１００１の一例を示す図である。システムコントローラ１１１は、顔情報を、画像記録手段１１０または不図示の記憶手段に記憶する。顔検出手段１０４ａにより顔が検出されなかった場合にはフローはＳ１０４へ、顔が検出された場合にはフローはＳ１０５へ移行する。
【００６８】
Ｓ１０４では、システムコントローラ１１１は、光源制御手段１０６に、照射させる光として（照度差ステレオ法を実施する光源として）全光源（可視光光源手段２１０と不可視光光源手段２２０の計１６個）を選択するように命令する。Ｓ１０４では、可視光光源手段２１０のみを選択して不可視光光源手段２２０を選択しなくてもよいが、可視光光源手段２１０を選択せずに不可視光光源手段２２０を選択することはない。後者の場合には、法線情報取得精度が低下するおそれがあるからである。両方を選択する理由は、選択される光源数が増加するほど、法線情報取得精度は向上するからである。
【００６９】
Ｓ１０５では、システムコントローラ１１１は、光源制御手段１０６に、照射させる光として可視光光源手段２１０を選択せずに不可視光光源手段２２０を選択するように命令する。顔が検出された場合、被写体に人物が含まれており、可視光光源手段２１０を点灯させると人物は眩しいと感じてしまう（不快感を抱いてしまう）からである。これにより、被写体人物の法線情報を推定する際に眩しさによる不快感を低減させることができる。
【００７０】
Ｓ１０６では、システムコントローラ１１１は、レリーズボタン３００が全押しされたかどうかを、ＳＷ２信号を受信したかどうかに基づいて判定する。全押しされた場合は、撮像装置１は撮影状態となり、本撮影を開始する。
【００７１】
Ｓ１０７では、システムコントローラ１１１は、撮像制御手段１０７と光源制御手段１０６を制御することによって、３つ以上の異なる複数の位置にある光源を順次発光させることによって被写体を撮像して複数の撮像画像を取得する。
【００７２】
Ｓ１０４からＳ１０７のフローを経た場合には、１６個の光源が順次発光し、Ｓ１０５からＳ１０７のフローを経た場合には、８個の光源が順次発光する。各発光に同期して、撮像素子１０２は、被写体を撮像して複数の撮像画像を生成し、画像処理手段１０４は各撮像画像について輝度情報を取得する。そのタイミングに合わせて撮像素子１０２に撮像させることによって複数の光源位置で被写体を撮像させる。
【００７３】
不可視光光源手段２２０が点灯される場合、撮像制御手段１０７は、波長選択性撮像フィルターＦＬ１０１ｄを退避させることで撮像素子１０２へ不可視光を透過させる。つまり、システムコントローラ１１１は、可視光を照射させる場合には前記フィルターを光路に挿入させ、不可視光を照射させる場合には前記フィルターを光路から退避させるように、撮像制御手段１０７を介して移動手段１０１ｅを制御する。
【００７４】
本実施例は、波長選択性撮像フィルターＦＬ１０１ｄを移動させているが、電気的制御によってフィルターの組成を変化させて透過率や反射率を低下させて撮像素子１０２へ不可視光の透過を調節してもよい。また、撮像素子１０２が、近赤外光にのみ感度を有する画素を備える場合、解像度は低下するが、波長選択性フィルターを用いずに波長分離して（近赤外光による赤みを補正によって除去することによって）適正な被写体の画像を得ることも可能である。
【００７５】
Ｓ１０８では、システムコントローラ１１１は、画像処理手段１０４の法線情報取得手段１０４ｂに、撮像素子１０２から出力されてＡ／Ｄコンバータ１０３にてＡ／Ｄ変換されたデジタル信号を用いて、法線情報を推定（取得）させる。このとき、画像処理手段１０４は、画像生成のために、通常の現像処理や各種の画像補正処理を実施してもよい。法線情報取得手段１０４ｂは、照度差ステレオ法を用いて、光源位置による輝度情報の変化に基づいて法線を推定する。
【００７６】
Ｓ１０４からＳ１０７のフローを経た場合には、一般被写体の反射特性を反射特性モデル記録手段１０９に記録されたランバート反射モデルと仮定し、各波長域の輝度情報の変化に基づいて照度差ステレオ法により個別に面法線を算出する。非特許文献１に示されているように、被写体の材質や色により反射特性が照射する波長によって異なるため、各波長域で算出された面法線は誤差を含み異なっているが、その平均値をとることで誤差を軽減することができる。また、非特許文献１に示される手法により、反射特性が最もランバート反射モデルに近くなる波長域の光源を判定し選択することで面法線取得精度を向上させることも可能である。このように、一般的な被写体（人物以外の被写体）を対象とする場合にも、複数の波長域での輝度情報の変化に基づくことで面法線の取得精度の低下を抑制することが可能となる。
【００７７】
Ｓ１０５からＳ１０７のフローを経た場合には、不可視光領域の人物の顔や肌の反射特性はランバート反射モデルとは異なっているため、ランバート反射モデルを仮定して人物の法線情報を推定すると大きな推定誤差が生じ得る。そこで、本実施例では、事前に不可視光に対する人物の反射特性データを取得しておき、その反射特性データに基づいて人物用反射特性モデルを作成し、反射特性モデル記録手段１０９に保存しておく。この人物用反射特性モデルと照度差ステレオ法に基づいて人物の法線情報を推定することにより、人物の面法線を精度良く算出することが可能となる。
【００７８】
本実施例によれば、顔が検出された場合に、可視光光源手段２１０を選択せずに不可視光光源手段２２０を選択することによって、人物の法線情報を推定する際の眩しさを低減することができる。更に、照度差ステレオ法に使用する不可視光に対する人物用反射特性モデルを備えることによって、人物の面法線を精度良く推定することが可能となる。また、一般被写体に対しては複数の波長領域の光源を使用することで、一般のより広範囲の被写体に対してロバストな法線情報の推定を行うことができる。
【実施例２】
【００７９】
図５は、本発明の実施例２に係る撮像装置２の外観斜視図である。撮像装置２は、レリーズボタン３００、被写体を撮像する２つの撮像部４００、５００、８つの光源手段６００を有する。光源手段６００は、複数の位置のそれぞれから可視光と不可視光を照射することが可能な広帯域光源である。
【００８０】
図６（ａ）は、撮像部４００の構成を示す概略図である。撮像部４００は、可視光領域撮影用の撮像部であり、被写体の光学像を形成する第１の撮像光学系４０１と、第１の撮像光学系４０１が形成した被写体の光学像を光電変換する第１の撮像素子４０２と、を有する。第１の撮像光学系４０１は、可視光領域の波長の光を透過させ、第１の撮像素子４０２上に結像させるが、不可視光を透過させない。第１の撮像光学系４０１は、ズームレンズ（変倍レンズ）４０１ａ、絞り４０１ｂ、フォーカスレンズ４０１ｃ、波長選択性撮像フィルターＦＬ４０１ｄを有し、これらの機能は実施例１と同様である。
【００８１】
図６（ｂ）は、撮像部５００の構成を示す概略図である。撮像部５００は、被写体の光学像を形成する第２の撮像光学系５０１と、第２の撮像光学系４０２が形成した被写体の光学像を光電変換する第２の撮像素子５０２と、を有する。第２の撮像光学系５０１は、ズームレンズ（変倍レンズ）５０１ａ、絞り５０１ｂ、フォーカスレンズ５０１ｃを有し、これらの機能は実施例１と同様であるが、波長選択性撮像フィルターを備えていない。つまり、第２の撮像光学系５０１は、可視光領域の波長の光と不可視光を透過させ、第２の撮像素子５０２上に結像させる。即ち、第２の撮像光学系５０１は、第１の撮像光学系４０１よりも不可視光の透過率が高い。このため、撮像部５００は、不可視光領域撮影用の撮像部として機能する。
【００８２】
図７は、光源手段６００の構成を示す概略図である。光源手段６００は、発光部６１０の撮像素子側に配置された、不可視光の透過を低下させる波長選択性光源フィルターＦＬ６２０と、該フィルターを光軸に着脱可能に移動させる移動手段６３０と、を備えている。移動手段６３０による駆動は、光源制御手段１０６によって制御される。システムコントローラ１１１は、可視光を照射させる場合には波長選択性光源フィルターＦＬ６２０を光路に挿入させ、不可視光を照射させる場合にはフィルターを光路から退避させるように、光源制御手段１０６を介して移動手段６３０を制御する。
【００８３】
なお、各光源手段の発光部の数は１つに限定されない。ＬＥＤ光源のようにＲ（波長６２０ｎｍ〜７５０ｎｍ、例えば、７００ｎｍ）、Ｇ（波長４９５ｎｍ〜５７０ｎｍ、例えば、５４６．１ｎｍ）Ｂ（波長４３０ｎｍ〜４９５ｎｍ、例えば、４３５．８ｎｍ）、近赤外の発光部を複数備えたものでもよい。その場合、発光部６１０を選択することで照射波長を選択することができるため、波長選択性光源フィルターＦＬ６２０を用いなくても照射波長の制御が可能となる。撮像部４００、５００、光源手段６００の構成以外は実施例１の図２に示すブロック図と同様の構成であるため説明を省略する。
【００８４】
図８は、システムコントローラ１１１が実行する画像処理方法（法線推定方法）を示すフローチャートであり、「Ｓ」はステップ（工程）を表している。図３に示すフローチャートは、コンピュータに各ステップの処理を実行させるためのプログラムと具現化が可能であり、このようなプログラムは、画像記録手段１１０やその他の記憶手段（例えば、非一時的なコンピュータ可読記憶媒体）に記憶可能である。Ｙは「はい（Ｙｅｓ）」を表し、Ｎは「いいえ（Ｎｏ）」を表している。以下、図３と異なるステップについてのみ説明する。
【００８５】
Ｓ２０１からＳ２０３まではＳ１０１からＳ１０３と同様である。Ｓ２０４では、システムコントローラ１１１は、光源制御手段１０６に、Ｓ１０３において顔が検出されなかった場合に、照射させる光として（照度差ステレオ法を実施する光源として）全波長領域の光を選択させる。「全波長領域」とは、光源手段６００が照射可能な全波長領域を意味する。これに応答して、光源制御手段１０６は、不図示の駆動手段を制御して、波長選択性光源フィルターＦＬ６２０を光路から退避させる。
【００８６】
Ｓ２０５では、システムコントローラ１１１は、Ｓ１０３において顔が検出された場合に、光源制御手段１０６に、照射させる光として不可視光（近赤外光）を選択させ、可視光を選択させない。これに応答して、光源制御手段１０６は、不図示の駆動手段を制御して、波長選択性光源フィルターＦＬ６２０を光路に挿入させる。顔が検出された場合、被写体に人物が含まれており、可視光を照射すると人物は眩しいと感じてしまうからである。これにより、被写体人物の法線情報を推定する際に眩しさによる不快感を低減させることができる。
【００８７】
なお、波長選択性光源フィルターＦＬ６２０を挿脱させる代わりに、電気的制御によってフィルターの組成を変化させ、透過率や反射率を変化させて照射する波長を制御する構成としてもよい。
【００８８】
Ｓ２０６はＳ１０６と同様である。Ｓ２０７では、システムコントローラ１１１は、撮像制御手段１０７と光源制御手段１０６を制御することによって、複数の光源位置において被写体を撮像し、画像処理手段１０４に輝度情報を取得させる。特に、不可視光が照射される場合は、撮像制御手段１０７は、不可視光撮影用の撮像部５００を制御し、輝度情報を取得させる。本実施例では撮像部を可視光用、不可視光用の２つの光学系で構成することによって、波長選択性撮像フィルターを退避させることなしに、両波長域での輝度情報の取得を同時に実行することができ、制御の簡易化を実現することができる。Ｓ２０８はＳ１０８と同様である。
【００８９】
本実施例によれば、顔が検出された場合に、可視光を選択せずに不可視光を選択することによって、人物の法線情報を推定する際の眩しさを低減することができる。更に、照度差ステレオ法に使用する不可視光に対する人物用反射特性モデルを備えることによって、人物の面法線を精度良く推定することが可能である。また、一般被写体に対しては複数の波長領域の光源を使用することで、一般のより広範囲の被写体に対してロバストな法線情報の推定を行うことができる。
【００９０】
以上、本発明の実施例について説明したが、本発明はその要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【産業上の利用可能性】
【００９１】
本発明は、法線情報を取得する方法、装置、システムなどに適用することができる。
【符号の説明】
【００９２】
１１１…システムコントローラ（制御手段、制御装置）、２１０…可視光光源手段、２２０…不可視光光源手段
【図１】
2017103578.tif 000010
【図２】
2017103578.tif 000011
【図３】
2017103578.tif 000012
【図４】
2017103578.tif 000013
【図５】
2017103578.tif 000014
【図６】
2017103578.tif 000015
【図７】
2017103578.tif 000016
【図８】
2017103578.tif 000017
【図９】
2017103578.tif 000018