(57)【要約】【課題】被写体の画像から高精度な法線情報を取得することができる画像処理装置を提供すること。【解決手段】撮像手段と照明手段とを有する撮像装置を用いて、被写体の法線情報を取得する画像処理装置であって、画像処理装置は、前記被写体の表面の反射特性に基づいて前記被写体からの反射光の強度が所定値以上になる波長で、前記照明手段から前記被写体に光を照射させる照射手段と、前記被写体からの反射光を、前記波長に応じた感度で前記撮像手段に記録させて画像データを生成させる生成手段と、前記反射特性、前記波長および前記感度の少なくとも１つと、前記生成手段により生成される画像データとに基づいて、前記被写体の表面の法線情報を算出する算出手段と、を備える。【選択図】  図２
2018073122.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と照明手段とを有する撮像装置を用いて、被写体の法線情報を取得する画像処理装置であって、
前記被写体の表面の反射特性に基づいて前記被写体からの反射光の強度が所定値以上になる波長で、前記照明手段から前記被写体に光を照射させる照射手段と、
前記被写体からの反射光を、前記波長に応じた感度で前記撮像手段に記録させて画像データを生成させる生成手段と、
前記反射特性、前記波長および前記感度の少なくとも１つと、前記生成手段により生成される画像データとに基づいて、前記被写体の表面の法線情報を算出する算出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記照明手段は異なる位置に複数備えられており、前記照射手段は、前記複数の照明手段から同時に複数の光を前記被写体に照射させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体の表面は所定の厚みを有する半透明体であり、前記光は前記半透明体の内部において所定量以上の光吸収を生じさせる波長帯域を有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記波長が複数ある場合、前記照射手段は前記複数の波長の光を所定の透過率で前記照明手段から照射させ、前記生成手段は前記複数の波長の反射光に応じて前記撮像手段により前記画像データを複数生成させることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記照射手段は、前記被写体の表面において発生する内部散乱光成分が、前記反射光に含まれないようにする波長で、前記光を照射させることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記生成手段は、前記反射特性と前記透過率と前記感度とに基づいて、前記画像データを補正し、前記算出手段は、当該補正された画像データを用いて法線情報を算出することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記波長が第１の波長と第２の波長である場合、前記生成手段は、前記第１の波長による画像データから得られるパラメータに基づいて、前記第２の波長による画像データをフィルタリングすることにより前記補正を行なうことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第１の波長は４２０ｎｍであり、前記第２の波長は５９０ｎｍであることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記反射特性は、前記被写体の表面を構成する分子の吸光モル係数であることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記照射手段は、前記透過率により前記複数の波長の光の輝度を調整することを特徴とする請求項４、６、７または８に記載の画像処理装置。
【請求項１１】
前記撮像手段が複数のカラーフィルタを有する場合、前記感度は前記複数のカラーフィルタの面積比であることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１２】
前記算出手段は、前記反射特性、前記感度および前記透過率に基づいて重み係数を算出して、算出した重み係数に基づいて前記法線情報を算出することを特徴とする請求項４、６、７、８または１０に記載の画像処理装置。
【請求項１３】
前記画像データを用いた統計的な解析の結果に応じて、前記透過率を補正する補正手段をさらに有することを特徴とする請求項４、６、７、８、１０または１２に記載の撮像装置ないし請求項１記載の画像処理装置。
【請求項１４】
前記補正手段は、前記被写体の表面における光の吸収に関する統計的な解析の結果に応じて、前記透過率を補正することを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
前記波長が第１の波長と第２の波長である場合、前記補正手段は、前記第１の波長による画像データの強度と、前記第２の波長による画像データの強度との比の変動に基づいて、前記透過率を補正することを特徴とする請求項１３または１４に記載の画像処理装置。
【請求項１６】
被写体に光を照射する照射手段と、
前記被写体からの反射光を記録する撮像手段と、
請求項１から１５のいずれか１項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項１７】
撮像手段と照明手段とを有する撮像装置を用いて、被写体の法線情報を取得する画像処理方法であって、
前記被写体の表面の反射特性に基づいて前記被写体からの反射光の強度が所定値以上になる波長で、前記照明手段から前記被写体に光を照射させるステップと、
前記被写体からの反射光を、前記波長に応じた感度で前記撮像手段に記録させて画像データを生成させるステップと、
前記反射特性、前記波長および前記感度の少なくとも１つと、生成された前記画像データとに基づいて、前記被写体の表面の法線情報を算出するステップと、
を備えることを特徴とする画像処理方法。
【請求項１８】
コンピュータを、請求項１から１５のいずれか１項に記載の画像処理装置の手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
被写体表面の形状情報の一種である法線情報を取得する技術として、照度差ステレオ法技術が知られている。また、人の顔形状に対して高精度に法線情報を取得する照度差ステレオ法として、勾配照明法技術が知られている（特許文献１）。勾配照明法技術は、同時に所定数の白色光照明を制御（点滅・調光）して、異なる照明条件で照射された被写体の画像を複数取得し、取得された複数の被写体画像に基づいて法線情報を取得している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第８１３４５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、被写体の分光反射率が相対的に高い波長帯域において、照明の分光放射輝度が相対的に低く、且つ、カメラの分光感度が相対的に低いため、記録される被写体像の画質が低かった（Ｓ／Ｎ比が低い）。このため、特許文献１の技術では、高精度な法線情報を取得することが困難であった。
上記課題に鑑み、本発明は、被写体の画像から高精度な法線情報を取得することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の一態様による画像処理装置は、撮像手段と照明手段とを有する撮像装置を用いて、被写体の法線情報を取得する画像処理装置であって、前記被写体の表面の反射特性に基づいて前記被写体からの反射光の強度が所定値以上になる波長で、前記照明手段から前記被写体に光を照射させる照射手段と、前記被写体からの反射光を、前記波長に応じた感度で前記撮像手段に記録させて画像データを生成させる生成手段と、前記反射特性、前記波長および前記感度の少なくとも１つと、前記生成手段により生成される画像データとに基づいて、前記被写体の表面の法線情報を算出する算出手段と、を備える。
【発明の効果】
【０００６】
本発明により、高精度な被写体法線情報を取得することができる。
【図面の簡単な説明】
【０００７】
【図１】実施形態１の撮像装置の概略模式図である。
【図２】図１の撮像装置の主要構成要素の詳細を示す図である。
【図３】本発明の基本的技術思想を説明するための図である。
【図４】実施形態１における画像処理部の機能ブロック図である。
【図５】組成の異なる半透明物体における反射の性質を示す模式図である。
【図６】実施形態１の画像処理部における処理のフローチャートである。
【図７】実施形態２の画像処理部の機能ブロック図である。
【図８】実施形態２の画像処理部における処理のフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の撮像装置の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
実施形態１
本実施形態では、被写体の分光反射特性が既知の場合において、高精度に被写体の法線情報を取得することができる撮像装置を説明する。本実施形態では、被写体は人物であり、本撮影装置を用いることで、人物の肌（人肌）について高精度に法線情報を取得することができる。
【０００９】
（撮像装置の概要）
図１は、実施形態１の撮像装置１００の概略模式図である。図１に示されているように、撮像装置１００は、中央制御部１０１、撮像部（カメラ）１０２〜１０５、照明ユニット１０６〜１１７およびフレーム１１８を有する。中央制御部１０１によって撮像部１０２〜１０５と照明ユニット１０６〜１１７を制御して、被写体１１９を撮影（撮像）する。フレーム１１８は、撮像部１０２〜１０５および照明ユニット１０６〜１１７を固定する。撮像部１０２〜１０５および照明ユニット１０６〜１１７を固定することで、各撮像部１０２〜１０５および各照明ユニット１０６〜１１７の位置や姿勢を撮影中に固定することが可能となる。なお、撮像装置１００は、データ通信制御部（図示せず）や電源（図示せず）を有しているが、本実施形態を説明するにあたっては重要ではないので説明を省略する。 
【００１０】
中央制御部１０１は、撮像部１０２〜１０５と照明ユニット１０６〜１１７を制御する。また、中央制御部１０１は、撮像部１０２〜１０５から受信される画像データを処理して被写体１１９の法線情報を算出する画像処理部２１０を有する。中央制御部１０１と撮像部１０２〜１０５との間の制御信号及び画像データの通信には、ＵＳＢ３．０規格によるシリアルポート通信が適用される。これに伴い、ＵＳＢハブを用いて、複数の撮像部１０２〜１０５の接続を可能とする。中央制御部１０１と照明ユニット１０６〜１１７との間の制御信号の通信には、Ｅｔｈｅｒｎｅｔ規格によるＴＣＰ／ＩＰ通信が適用される。これに伴い、Ｅｈｔｅｒｎｅｔハブを用いて、複数の照明ユニット１０６〜１１７の接続を可能とする。なお、機器間接続規格は上記した規格に限定されない。たとえば、ＩＥＥＥ１３９４、ＣａｍｅｒａＬｉｎｋ、ＣｏａＸＰｒｅｓｓ、ＤＭＸ、ＤＡＬＩを適用することが可能である。ＴＣＰ／ＩＰは、Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌの略である。 
【００１１】
撮像部１０２〜１０５は、被写体１１９を撮影して画像データを記録する。記録された画像データは直ちに、撮像部１０２〜１０５から中央制御部１０１に転送される。各撮像部１０２〜１０５は中央制御部１０１によって同期制御されており、露光のタイミングを合わせることが可能である。
照明ユニット１０６〜１１７は、被写体１１９に光を照射する。各照明ユニット１０６〜１１７は発光・調光・調色・偏光を制御可能である（詳細は図２で説明する）。各照明ユニット１０６〜１１７は中央制御部１０１によって同期制御されており、発光（照射）タイミングを合わせることが可能である。本実施形態では、撮像装置１００は照明ユニットを複数備えている。 
【００１２】
フレーム１１８は、各撮像部１０２〜１０５および各照明ユニット１０６〜１１７を固定する。フレーム１１８の形状は、各撮像部１０２〜１０５および各照明ユニット１０６〜１１７の被写体１１９に対する距離が概略等しくなるように撮像部および照明ユニットを配置できるような形状であることが望ましい。このため本実施形態では、フレーム１１８の形状として、球形の形状を採用する。フレーム１１８に球形の形状を与えるために以下のような機構を用いる。地球に模して説明するなら、任意に定義した北極と南極を結ぶように、円状の鉄パイプを複数配管することで緯度を定義して、更に複数の経度において円状の鉄パイプを配管する。このように鉄パイプを配管することで球形のフレームが実現される。図１ではフレーム１１８は２次元に示されているが、本実施形態ではフレーム１１８は３次元の形状を有し、撮像部１０２〜１０５と照明ユニット１０６〜１１７も３次元に配置されている。
【００１３】
なお、フレーム１１８にフレキシブルアーム（図示せず）を設けてもよい。フレキシブルアームを設けることで、フレーム１１８を用いた照明ユニット間の角度分解能はたとえば１°以下で設定可能となる。
また、フレーム１１８の形状は上記した形状に限定されない。たとえば、フレーム１８は、半球状の形状を有してもよいし、複数の直管の鉄パイプを複数立てることで円筒状にしてもよい。また、フレーム１１８の素材は、鉄パイプに限定されない。フレーム１１８は、球形を形成できるならば任意の素材を用いてよい。そのような素材として、たとえば発泡スチロール、針金、木材、硬化樹脂などがあげられる。
被写体１１９は、本実施形態では人物である。なお、被写体１１９は、人物に限定されず、人物以外の物体（動物を含む）でもよい。
【００１４】
（撮像装置の主要構成要素の説明）
図２は撮像装置１００の中央制御部１０１と撮像部１０２と照明ユニット１０６の詳細を示すブロック図である。
（中央制御部）
図２に基づいて、まず、中央制御部１０１の構成を説明する。中央制御部１０１は、中央処理装置（ＣＰＵ）２０１、ＲＡＭ２０２、ＲＯＭ２０３、補助記憶Ｉ／Ｆ２０４、補助記憶部２０５、汎用入出力Ｉ／Ｆ２０６および汎用入出力部２０７を有する。中央制御部１０１はさらに、表示Ｉ／Ｆ２０８、表示部２０９、画像処理部２１０、撮影Ｉ／Ｆ２１１、照明Ｉ／Ｆ２１２およびバス２１３を有する。ＣＰＵはＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略である。ＲＡＭはＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略である。ＲＯＭはＲｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略である。Ｉ／ＦはＩｎｔｅｒｆａｃｅ（インタフェース）の略である。
【００１５】
ＣＰＵ２０１は、以下に述べる各部を統括的に制御する。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プログラム等を格納している。補助記憶Ｉ／Ｆ２０４は、後述する補助記憶部２０５と中央制御部１０１内の他の構成要素との間のデジタルデータの搬送路として機能する。本実施形態において、補助記憶Ｉ／Ｆ２０４は、シリアルＡＴＡ準拠のデバイスであるとする。なお、後述する補助記憶部２０５の装置規格に応じて、他の規格に準拠したデバイスを補助記憶Ｉ／Ｆ２０４として採用してもよい。ＡＴＡは、Ａｄｖａｎｃｅｄ  ｔｅｃｈｎｏｌｏｇｙ  ａｔｔａｃｈｍｅｎｔの略である。
【００１６】
補助記憶部２０５は、制御プログラムや画像データ等を保存する。補助記憶部２０５は、停電時においてもデータが保持される不揮発性デバイスであり、一般的にはＲＡＭ２０２よりも大きい記憶容量を有して、ＲＡＭ２０２の記憶容量を補完する。本実施形態において、補助記憶部２０５はＨＤＤ（ハードディスクドライブ）である。なお、補助記憶部２０５は他の規格を適用してもよい（ＨＤＤ以外の記憶装置を採用してもよい）。そのような規格として、たとえばＳＳＤ（ソリッドステートドライブ）、ＣＦ（コンパクトフラッシュ（登録商標））、ＳＤメモリーカード、ｍｉｎｉＳＤカード、ｍｉｃｒｏＳＤカードがあげられる。
【００１７】
汎用入出力Ｉ／Ｆ２０６は、後述する汎用入出力部２０７と中央制御部１０１内の他の構成要素との間のデジタルデータの搬送路として機能する。本実施形態において、汎用入出力Ｉ／Ｆ２０６は、ＵＳＢ準拠のデバイスであるとする。なお、後述する汎用入出力部２０７の装置規格に応じて、他の規格に準拠するデバイスを汎用入出力Ｉ／Ｆ２０６として採用してもよい。そのような規格として、ＰＳ／２があげられる。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ  ｓｅｒｉａｌ  ｂｕｓの略である。
汎用入出力部２０７は、ユーザにより入力される入力情報を取得する。本実施形態において、汎用入出力部２０７は、キーボードであるとする。なお、汎用入出力部２０７として、キーボードにマウスを追加してもよい。
汎用入出力部２０７は、キーボードやマウスに限定されない。たとえば、汎用入出力部２０７は、タッチパネル、赤外線センサ、アイトラッカー、脳波センサにより構成されてもよい。
【００１８】
表示Ｉ／Ｆ２０８は、後述する表示部２０９と中央制御部１０１内の他の構成要素との間のデジタルデータの搬送路として機能する。本実施形態において、表示Ｉ／Ｆ２０８は、ＤＶＩ準拠のデバイスであるとする。なお、後述する表示部２０９の装置規格に応じて、他の規格に準拠するデバイスを表示Ｉ／Ｆ２０８として採用してもよい。表示部２０９は、視覚的なユーザーインフェースである。本実施形態において、表示部２０９は、液晶型ディスプレイであるとする。ＤＶＩは、Ｄｉｇｉｔａｌ  ｖｉｓｕａｌ  ｉｎｔｅｒｆａｃｅの略である。
なお、表示部２０９は液晶型ディスプレイに限定されない。たとえば、表示部２０９は、ブラウン管型ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ＬＣＯＳ方式プロジェクタ、またはＤＬＰ方式プロジェクタであってもよい。ＬＣＯＳは、Ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｏｎ  ｓｉｌｉｃｏｎの略である。ＤＬＰは、Ｄｉｇｉｔａｌ  ｌｉｇｈｔ  ｐｒｏｃｅｓｓｉｎｇの略である。
【００１９】
画像処理部２１０は、画像処理のための専用デバイスである。画像処理部２１０は、画像処理回路としてＨＷ（ハードウェア）に実装されており、画像処理回路（画像処理部２１０）は高速に処理を行なうことができる。本実施形態において、画像処理部２１０はＦＰＧＡボードである。撮像Ｉ／Ｆ２１１は、撮像部１０２〜１０５と中央制御部１０１内の他の構成要素との間のデジタルデータの搬送路として機能する。本実施形態において、撮像Ｉ／Ｆ２１１は、ＵＳＢ３．０規格によるデバイスである。ＦＰＧＡはＦｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙの略である。なお、後述する撮像部１０２〜１０５の装置規格に応じて、他の規格に準拠するデバイスを撮像Ｉ／Ｆ２１１として採用することもできる。そのような規格として、ＩＥＥＥ１３９４、ＣａｍｅｒａＬｉｎｋ、ＣｏａＸＰｒｅｓｓ、ＧｉｇＥがあげられる。
【００２０】
照明Ｉ／Ｆ２１２は、照明ユニット１０６〜１１７と中央制御部１０１内の他の構成要素との間のデジタルデータの搬送路として機能する。本実施形態において、照明Ｉ／Ｆ２１２は、Ｅｔｈｅｒｎｅｔ規格によるデバイスであるとする。なお、後述する照明ユニット１０６〜１１７の装置規格に応じて、他の規格に準拠するデバイスを照明Ｉ／Ｆ２１２として採用することもできる。そのような規格として、ＤＭＸ、ＤＡＬＩがあげられる。バス２１３は、各種データの転送経路として機能する。
以上が中央制御部１０１の主な構成要素であるが、構成要素は上記のものに限定されない。また、上記した構成要素のいずれかを省略した構成を採ってもよい。なお、中央制御部１０１の構成要素は上記以外にも存在するが、本実施形態の実施に必須なものではないので、説明を省略する。
【００２１】
（撮像部の構成）
次に、撮像部１０２の構成を説明する。撮像部１０３〜１０５は、撮像部１０２と同じ構成を有するので、撮像部１０２のみを説明し、撮像部１０３〜１０５の説明は省略する。
撮像部１０２は、直線偏光フィルタ２２１、レンズ２２２、ＮＤフィルタ２２３、絞り２２４、シャッタ２２５、光学ローパスフィルタ２２６およびＩＲカットフィルタ２２７を有する。撮像部１０２はさらに、カラーフィルタ２２８、センサ２２９、Ａ／Ｄ変換部２３０およびカメラ制御部２３１を有する。ＮＤはＮｅｕｒａｌ  ｄｅｎｓｉｔｙの略であり、ＩＲはＩｎｆｒａｒｅｄの略であり、Ａ／ＤはＡｎａｌｏｇ／ｄｉｇｉｔａｌの略である。撮像部１０２は、本実施形態ではカメラであるので、撮像部１０２の制御部をカメラ制御部２３１と称する。
直線偏光フィルタ２２１は、入射される無偏光の被写体の光学像から、所定の偏光主軸方向を有する電界ベクトル成分のみを抽出ことで直線偏光の被写体の光学像を得る機能を有する。
レンズ２２２はフォーカスレンズである。本実施形態では焦点距離５０ｍｍとなるフォーカスレンズを用いる。ＮＤフィルタ２２３は、フォーカス結像された被写体の光学像に対して適用する光学的なフィルタであり、被写体の光学像の輝度を減光する機能を有する。
【００２２】
絞り２２４は、撮像部１０２の開口を制御する。本実施形態では、絞り２２４は絞り羽根によって構成されている。
シャッタ２２５は、撮像部１０２の露光を制御する。本実施形態では、シャッタ２２５はグローバルシャッタであるとする。なお、グローバルシャッタ以外のシャッタを、シャッタ２２５として採用してもよい。たとえば、ローリングシャッタをシャッタ２２５として採用してよい。
光学ローパスフィルタ２２６は、フォーカス結像された被写体の光学像に対して適用する光学的なローパスフィルタであり、被写体光学像の空間周波数の高周波成分を遮断する。これにより、後述するセンサ２２９の空間解像度と被写体光学像の空間周波数のミスマッチによって発生するモアレを低減する。
【００２３】
ＩＲカットフィルタ２２７は、フォーカス結像された被写体の光学像に対して適用する光学的なフィルタであり、被写体光学像の分光波長成分のうち、近赤外帯域の波長成分を遮断する。これにより、後述するセンサ２２９が感応する分光波長成分を可視光帯域に限定することができ、近赤外成分による色調の違和感を低減することができる。
カラーフィルタ２２８は、フォーカス結像された被写体の光学像に対して適用する光学的なフィルタであり、被写体光学像の分光波長成分のうち、所定の可視光帯域の波長成分のみをフィルタリングする。これにより、後述するセンサ２２９が感応する分光波長成分を所定の可視光帯域の波長成分のみに限定することができる。カラーフィルタの分光波長は複数種類あり、それぞれＲ＝７００ｎｍ、Ｇ＝５４６ｎｍ、Ｂ＝４３６ｎｍにおいて相対的に多く濾波（フィルタリング）する。これにより、３刺激値を用いた色の表現が可能となる。なお、カラーフィルタの分光波長は上記した値に限定されず、可視光の範囲であれば中心波長や帯域幅に任意の特性値を有するフィルタを適用できる。
【００２４】
センサ２２９は、たとえばＣＭＯＳやＣＣＤなどのセンサであり、各レンズ２２２でフォーカス結像された被写体の光学像を電気信号に変換することで光量を検知する。検知の際に、カラーフィルタ２２８によって構成されるベイヤ配列パターンによってセンサ２２９を構成するフォトダイオードは、所定の可視光帯域の波長成分に感度を有する。検知された光量は、アナログ値としてセンサ２２９からＡ／Ｄ変換部２３０に出力される。Ａ／Ｄ変換部２３０は、当該アナログ値にＡ／Ｄ変換を行ない、デジタル値を生成する。当該デジタル値（デジタルデータ）はカメラ制御部２３１に出力される。カメラ制御部２３１は、フォーカスを合わせる、シャッタを開く、シャッタを閉じる、絞りを調節するなどの機能を、撮像部１０２の他の構成要素を制御することで実現する。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。ＣＣＤは、Ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅの略である。
以上が撮像部１０２の構成であるが、構成要素は上記に限定されず、上記の構成要素のいずれかを省略してもよい。また、撮像部１０２の構成要素は上記以外にも存在するが、本実施形態の実施に必須なものではないので、説明を省略する。
【００２５】
（照明ユニットの構成）
次に、照明ユニット１０６構成を説明する。照明ユニット１０７〜１１７は、照明ユニット１０６と同じ構成を有するので、照明ユニット１０６のみを説明し、照明ユニット１０７〜１１７の説明は省略する。
照明ユニット１０６は、照明ユニット制御部２４１、定電流源・調光制御部２４２、発光部２４３、カラーフィルタ２４４および直線偏光フィルタ２４５で構成される。
照明ユニット制御部２４１は、発光を指示する、調光を指示する、調色を指示する、直線偏光の偏光主軸方向を指示するなどの機能を、照明ユニット１０６の他の構成要素を制御することで実現する。照明ユニット制御部２４１の構成は、中央制御部１０１の構成に準じており、中央制御部１０１のＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、補助記憶Ｉ／Ｆ２０４、補助記憶部２０５、汎用入出力Ｉ／Ｆ２０６および表示Ｉ／Ｆ２０８と同じ機能を有する。照明ユニット制御部２４１は、中央制御部１０１に準ずる構成を有しているが、中央制御部１０１より小型で軽量である。照明ユニット制御部２４１の汎用入出力Ｉ／Ｆ２４１１は、本実施形態ではＵＳＢ準拠のデバイスであるとする。照明ユニット制御部２４１の汎用入出力Ｉ／Ｆ２４１２は、ＰＷＭ（パスル幅変調）信号を発信する機能を有する。ＰＷＭ信号は、汎用的に用いられるデバイスの制御信号である。照明ユニット制御部２４１は、中央制御部１０１から照明Ｉ／Ｆ２１２を介して入力される制御信号に基づいて、ＰＷＭ信号のデューティー比を調節する機能を有する。ＰＷＭは、Ｐｕｌｓｅ  ｗｉｄｔｈ  ｍｏｄｕｌａｔｉｏｎの略である。
【００２６】
定電流源・調光制御部２４２には、不図示の定電圧直流電源から電力が入力されると共に、照明ユニット制御部２４１からＰＷＭ信号が入力される。定電流源・調光制御部２４２は、入力された電力を定電流の電力に変換すると共に、入力されたＰＷＭ信号に基づいて断続的に定電流電力のオン・オフを切り換える機能を有する。定電流源・調光制御部２４２は、抵抗素子とトランジスタを含む電子部品で構成される電子回路である。
発光部２４３には、定電流源・調光制御部２４２から定電流電力が入力される。発光部２４３は、入力された定電流電力から、光電変換により光を発する機能（発光機能）を有する。発光機能を有するデバイスとして、発光ダイオード（以下、「ＬＥＤ」と記す）があげられる。ＬＥＤはＬｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅの略である。
【００２７】
本実施形態において、照明ユニット１０６（〜１１７）が発する光の明るさは、撮像部１０２（〜１０５）によって結像される被写体の光学像のＳ／Ｎ比を向上させるためにより明るい方がよい。このため、ＬＥＤ（発光部２４３）は順方向最大許容電流値が数百ｍＡ規模のパワーＬＥＤに分類されるものを採用する。本実施形態ではＰＷＭ制御方式により、デューティー比と発光輝度の線形性が高いＬＥＤの調光機能を実現する。本実施形態において、発光部２４３は調色性能が高いことが重要である。このため、演色性の高いＬＥＤデバイスを用いる。なお、特定の分光波長に強度が集中している白色ＬＥＤを発光部２４３として採用してもよい。
【００２８】
カラーフィルタ２４４は、発光部２４３から発せられる光に対して適用する光学的なフィルタであり、所定の可視光帯域の波長成分のみを濾波（フィルタリング）する。本実施形態では、カラーフィルタ２４４として、バンド幅可変液晶チューナブルフィルタを採用する。中央制御部１０１はカラーフィルタ２４４のバンド幅を制御することが可能である。なお、カラーフィルタ２４４はバンド幅が固定のフィルタを適用してもよい。
直線偏光フィルタ２４５は、発光部２４３から発せられる光に対して適用する光学的なフィルタであり、所定の偏光主軸方向を有する電界ベクトル成分のみを抽出することで直線偏光を発する機能を有する。
【００２９】
なお、照明ユニット１０６は、定電流源・調光制御部２４２、発光部２４３、カラーフィルタ２４４および直線偏光フィルタ２４５のいずれか、または全部を、複数有してもよい。その場合、輝度、色度、偏光主軸方向の異なる光を同時発光（複数生成）する機能を更に有することができる。
以上が照明ユニット１０６の構成であるが、構成要素は上記したものに限定されず、上記の構成要素のいずれかを省略した構成を採ってもよい。また、照明ユニット１０６は上記した以外の構成要素も有するが、本実施形態の実施に必須ではないので、説明を省略する。
【００３０】
（本実施形態の基本的な技術思想）
図３を用いて本発明の基本的技術思想の概要を説明する。図３（ａ）は横一列に並べられた４つのグラフからなり、従来の（たとえば、国際特許出願公開ＷＯ２００７／８８７０９公報の）撮像装置の分光伝達特性を示している。Ａ／Ｄ変換により被写体の光学像から画像データ（Ｉｍａｇｅ）を生成する過程において、撮像装置は３つ分光伝達特性の影響を受ける。３つ分光伝達特性とは、照明の分光伝達特性、被写体の分光伝達特性およびカメラの分光伝達特性である。図３（ａ）のＬｉｇｈｔは照明の分光伝達特性を示すグラフであり、Ｏｂｊｅｃｔは被写体の分光伝達特性を示すグラフであり、Ｃａｍｅｒａはカメラの分光伝達特性を示すグラフであり、Ｉｍａｇｅは撮像装置が生成した画像データを示すグラフである。各グラフの縦軸は信号強度ＲＩを示し、横軸は波長λを示す。
【００３１】
画像データの信号強度ＲＩは、式１に示すように、照明の分光分布特性λＬと被写体の分光反射率特性λＯとカメラのカラーフィルタの分光フィルタ特性λＣの伝達特性の積λＩの積分値で表される。
ＲＩ＝∫λＩｄλ
λＩ＝λＬ・λＯ・λＣ      （式１）
照明の分光ピーク（輝度ピーク）波長λｌ、被写体の分光反射ピーク波長λｏおよびカメラのカラーフィルタの分光ピーク（感度ピーク）波長λｃは、一般的には異なる（λｌ≠λｏ、λｃ≠λｏ）。このため、図３のＩｍａｇｅに示すように、波長λｏの値によっては、画像データの信号強度ＲＩは相対的に低くなっていた（図３（ａ）の値ｒ１）。
【００３２】
図３（ｂ）は本実施形態の撮像装置１００の分光伝達特性を示している。本実施形態では、照明の分光ピーク波長λｌとカメラ（撮像部）のカラーフィルタの分光ピーク波長λｃは、被写体の分光反射ピーク波長λｏと同じである。この波長の関係（３つの波長がほぼ等しいという関係）を実現する照明とカメラを用いることで信号強度ＲＩを相対的に高めることが可能になる（図３（ｂ）の値ｒ２）。本実施形態の撮像装置１００では、信号強度ＲＩを高めることができるので、Ｓ／Ｎ比が高い画像データを取得することが可能になる。
【００３３】
（画像処理部の機能）
図４を用いて、実施形態１の画像処理部２１０について説明する。図４に示されるように、画像処理部２１０は、設定値取得機能部４０１、発光制御機能部４０２、画像データ生成機能部４０３、および法線情報算出機能部４０４で構成される。図４は、機能ブロック図である。
設定値取得機能部４０１は、所定の設定値を取得する。すなわち、設定値取得機能部４０１は、照明の分光パラメータと、被写体の分光パラメータと、カメラの分光パラメータとを取得する。
本実施形態において、照明の分光パラメータは、照明輝度制御パラメータａ、ｂである。パラメータａは第１の透過率であり、中心波長４２０ｎｍの光の輝度を制御する制御パラメータである。パラメータｂは第２の透過率であり、中心波長５９０ｎｍの光の輝度を制御する制御パラメータである。パラメータａおよびｂが取り得る値の範囲は、それぞれ０％から１００％である。
【００３４】
被写体の分光パラメータは、被写体表面を組成（構成）する分子の分光吸収モル係数（吸光モル係数）Ｒｂ、Ｒｇである。本実施形態において、Ｒｂはヘモグロビン分子の４２０ｎｍにおける分光吸収モル係数であり、Ｒｇはヘモグロビン分子の５９０ｎｍにおける分光吸収モル係数である。
カメラの分光パラメータは、撮像センサの感度面積（カラーフィルタの面積比）である。本実施形態では撮像センサの分光フィルタの相対面積と同じであり、赤色の感度面積Ｓｒ＝１、緑色の感度面積Ｓｇ＝２、青色の感度面積Ｓｂ＝１である。
発光制御機能部４０２は、中央制御部１０１から照明ユニット１０６〜１１７へ送られる発光制御情報（発光を制御する情報）を生成する。そして、発光制御機能部４０２は、照明Ｉ／Ｆ２１２のＥｔｈｅｒｎｅｔによるＴＣＰ／ＩＰを用いて、照明ユニット制御部２４１へ発光制御情報（発光制御信号）を送信する。
【００３５】
照明ユニット制御部２４１は、受信した発光制御情報をＰＷＭ信号に変換する。つまり、照明ユニット制御部２４１は、発光制御信号からＰＷＭ信号を生成する。より具体的には、受信した発光制御信号がＰＷＭの信号のデューティー比に対応しており、発光制御信号が発光輝度の最大値に対して５０％の出力を指示するのであれば、照明ユニット制御部２４１はデューティー比５０％のＰＷＭ信号を生成する。発光制御信号が発光輝度の最大値に対して１００％の出力を指示するのであれば、照明ユニット制御部２４１は、デューティー比１００％のＰＷＭ信号を生成する。このＰＷＭ信号は、照明ユニット制御部２４１から定電流源・調光制御部２４２に送信される。
【００３６】
定電流源・調光制御部２４２は受信したＰＷＭ信号に基づいて、断続的に定電流電力をオン・オフする。発光部２４３は給電される定電流電力を用いて光電変換を行い、光を発する。実施形態１においては、発光制御機能部４０２は、カラーフィルタ２４４のバンド幅可変液晶チューナブルフィルタにより、中心波長４２０ｎｍと５９０ｎｍにピーク波長を持つ２つの分光を発光させる。この際、発光制御機能部４０２は、設定値取得機能部４０１から第１の透過率ａおよび第２の透過率ｂを取得して、分光感度特性を調節する。
【００３７】
画像データ生成機能部４０３は、中央制御部１０１から撮像部１０２〜１０５へ送信する撮影制御信号（撮影を指示する情報）を生成する。そして、画像データ生成機能部４０３は、撮像Ｉ／Ｆ２１１のＵＳＢによるシリアル通信を用いてカメラ制御部２３１へ撮影を指示する撮影制御信号を送信する。カメラ制御部２３１は、受信した撮影制御信号に基づき、シャッタ２２５の露光制御機能を実行する。シャッタ２２５の露光制御機能の実行に伴い、被写体の光学像がＡＤ変換されることで、カメラ制御部２３１は画像データを取得する。取得した画像データは、撮像Ｉ／Ｆ２１１のＵＳＢによるシリアル通信を用いて、カメラ制御部２３１から中央制御部１０１へ転送される。転送された画像データは、ＲＡＭ２０２に記憶される。なお、転送された画像データは、補助記憶部２０５に記憶されてもよい。
【００３８】
レンズ２２２のＦ値、合焦面、開口制御、露光時間制御および撮影感度は、予め撮像部１０２〜１０５に記憶されているカメラ設定情報に基づいて決定される。また、中央制御部１０１は撮像部１０２〜１０５へ撮影を指示する情報として、カメラ設定情報を利用することができる。
これにより、中心波長４２０ｎｍと５９０ｎｍにピーク波長を持つ２つの分光による被写体画像が、それぞれ個別に画像データとして取得される。なお、以下の説明では、中心波長４２０ｎｍにピーク波長を持つ光源の光を照射することで得られる被写体画像をＩｍｇ４２０と表記し、中心波長５９０ｎｍにピーク波長を持つ光源の光を照射することで得られる被写体画像をＩｍｇ５９０と表記する。
【００３９】
画像データ生成機能部４０３は、さらに、取得した画像データに対して補正処理を行なう。この補正処理については、図６のＳ６０４で説明する。画像データ生成機能部４０３は、画像データの取得と補正を行なうことにより、画像データを生成する。画像データ生成機能部４０３は、画像データを複数生成する。                  
法線情報算出機能部４０４は、照明ユニット１０６〜１１７の各々に異なる調光を行なうことで取得された、照明条件の異なる複数の画像データを用いて被写体の法線情報を算出する。また、所定の分光特性を持つ複数の画像データから法線情報を取得して、取得した分光特性の異なる複数の法線情報を適応的に重み付け加算することで、法線情報の高精度化を図る。
【００４０】
（半透明物体の反射）
図５を参照して、人物肌のように組成の異なる半透明物体における反射の性質について概要を説明する。半透明物体の被写体の法線情報を算出するには、反射光成分を分解して、各反射光成分ごとに画像データとして記録することが重要である。人肌からの反射光（Ｒｅｆ）は、人肌への入射光の入射角と等しい反射角において反射強度が高い正反射光成分（Ｓｐｅｃ）、偏角特性を有さない表面拡散光成分（Ｄｉｆｆ）、偏角特性を有するが解析が難しい内部散乱光成分（Ｓｃａｔ）によって構成される。つまり、Ｒｅｆは式２のように表すことができる。
Ｒｅｆ  ＝  Ｓｐｅｃ  ＋  Ｄｉｆｆ  ＋  Ｓｃａｔ （式２）
正反射光成分とそれ以外（表面拡散光成分と内部散乱光成分）を分解して画像データに記録するには、たとえば、特許文献１に開示されている偏光技術を用いる。以下では、表面拡散光成分と内部散乱光成分を分解して画像データに記録する方法の原理について説明する。
【００４１】
（人肌表面における光の反射）
図５（ａ）および図５（ｂ）は人肌表面における光の反射を示す模式図である。より詳しくは、図５（ａ）は人肌の表面拡散光の一例を示し、図５（ｂ）は内部拡散光の一例を示している。人肌のように組成の異なる半透明体から高精度な法線情報を得るためには、物体の組成が異なることを利用して表面拡散光と内部散乱光を分離することが有効な手段である。
人肌は、大別すると、表皮層と真皮層によって構成される。表皮層の厚さは０．１ｍｍ程度であり、真皮層の厚さは３ｍｍ程度であることが知られている。発色に影響する色素として、表皮層においてはメラニンがあげられ、真皮層においてはヘモグロビンがあげられる。なお、肌には他の色素も存在するが分子存在数が相対的に少ないため、本実施形態では説明を省略する。図５（ａ）と図５（ｂ）のｘ軸は、人肌に平行な軸で、真皮層の下面に沿った軸である。ｚ軸は人肌に垂直な軸である。
表皮層と真皮層の厚みの比（差）により、人肌の内部散乱光は、真皮層における乱反射が支配的な発生要因であることがわかる（図５（ｂ））。 
【００４２】
図５（ｃ）は、可視光帯域（４００−７２０ｎｍ）およびその近傍の紫外・赤外帯域における肌色素の波長−分光吸収特性を示している。図５（ｃ）の左縦軸は吸光モル係数（分光吸収モル係数）を示し、横軸は波長を示し、右縦軸は吸光係数を示している。このような波長−分光吸収特性は、たとえば国際特許出願公開公報ＷＯ２００７／０８８７０９号の図３に示されている。
図５（ｃ）から分かるように、ヘモグロビン（酸化ヘモグロビン、還元ヘモグロビン）の分光吸収特性は、可視光帯域の特に７００ｎｍ近傍において、吸光モル係数が小さくなる。このため、人肌に７００ｎｍのスペクトル成分を含む演色性の高い白色光を照射すると、反射光のうち内部散乱光の割合が多くなる。
【００４３】
また、図５（ｃ）に示されているように、ヘモグロビンは４２０ｎｍで最大の吸光モル係数を持ち、５９０ｎｍ付近においても高い吸光モル係数を取る。これらの周波数帯の光は、真皮において乱反射を繰り返す過程でヘモグロビンによって吸収されて、皮膚外に発光されないことがわかる。
以上より、組成の異なる半透明体における反射においては、半透明体の波長−分光吸収特性を活用することにより、表面拡散光と内部散乱光を分離することが可能である。特に、人肌から効率的に表面拡散光を取得（分離）するためには、ヘモグロビンの分光吸収モル係数（吸光モル係数）が大きい波長帯域の光を照射してカメラに記録するとよい。 
【００４４】
次に、４２０ｎｍと５９０ｎｍを中心波長に持つ光を用いることで、人種が既知の場合に最適となる光源を設定する方法について説明する。
人肌表面の表皮層には、肌の発色において支配的な色素であるメラニンが含有されている。図５（ｃ）に示されているように、メラニン（ユーメラニン）の分光吸収特性は、光の波長が長くなる程、吸光モル係数が小さくなる。これは人肌表面の表皮層においては、青い光よりも緑の光の方がより強く反射し、緑の光よりも赤い光の方がより強く反射することを示している。
【００４５】
一般に、表皮層におけるメラニンの含有量は、人種によって異なることが知られている。一方で真皮層におけるヘモグロビンの含有量は、人種によらず不変であることが知られている。白人の肌の色素は、表皮層における相対的に含有量が少ないメラニンと、真皮層における一定の含有量を有するヘモグロビンによって構成される。黒人の肌の色素は、表皮層における相対的に含有量が多いメラニンと、真皮層における一定の含有量を有するヘモグロビンによって構成される。アジア人の肌は、白人と黒人の中間的な性質を有しており、表皮層における相対的に含有量が中程度のメラニンと、真皮層における一定の含有量を有するヘモグロビンによって構成される。
３つの人種を比較することで、照明に中心波長が波長４２０ｎｍの光のみを用いると、人種によって表皮層における反射光強度が異なるため、カメラに記録される際のＳ／Ｎ比が低下する可能性があることがわかる。
【００４６】
図５（ｃ）のメラニン（ユーメラニン）の分光吸収特性から、メラニンの分光吸収モル係数は、４２０ｎｍにおいて約２×１０３ｃｍ−１Ｍ−１であり、５９０ｎｍにおいて約１×１０３ｃｍ−１Ｍ−１である。このことから、５９０ｎｍの光は、４２０ｎｍの光に比べて、表皮層から２倍の光量の反射光を得られることが分かる。
図５（ｃ）のヘモグロビンの分光吸収特性から、ヘモグロビンの分光吸収モル係数は、４２０ｎｍにおいて約５×１０５ｃｍ−１Ｍ−１であり、５９０ｎｍにおいて約５×１０４ｃｍ−１Ｍ−１である。このことから、５９０ｎｍの光は、４２０ｎｍの光に比べて、真皮層から５倍の光量の反射光を得られることが分かる。
また、メラニンとヘモグロビンの分光吸収モル係数比は、４２０ｎｍでは１：２５０であり、５９０ｎｍでは１：５０であることがわかる。このことから、輝度が同じ場合、５９０ｎｍの光は、４２０ｎｍの光に比べて、表皮層からの反射光量が２倍多くなり、真皮層からの反射光量が５倍多くなる。
【００４７】
ある人種Ａの表皮層におけるメラニン含有量が、別の人種Ｂの表皮層におけるメラニン含有量よりも２．５倍多い場合を考えてみる。この場合、照明に４２０ｎｍの光よりも５９０ｎｍの光を用いた方が、表皮層からの反射光が相対的に多くなるため、記録される被写体の光学像のＳ／Ｎ比が高くなる。
上記したように、人物肌のように組成の異なる半透明体においては、組成によって色素が異なるため分光吸収特性が変わり、分光波長によって反射の性質が変わるという特徴がある。この特徴を人肌に適用する場合、人種に応じて４２０ｎｍの光と５９０ｎｍの光を適用的に用いて被写体（人物）を照射することが、カメラに記録される拡散光成分のＳ／Ｎ比を向上させるために有効な手段となることがわかる。４２０ｎｍの光も５９０ｎｍの光も、所定量以上の光吸収を生じさせる波長帯域の光である。
【００４８】
（画像処理プログラムの処理）
図６を用いて、本実施形態における画像処理プログラムの処理フローチャートを説明する。本実施形態において、画像処理プログラムは、以下のように２つの実装形態を有し得る。いずれかの実装形態を採用すればよいものとする。
（１）画像処理プログラムは、画像処理部２１０にＨＷとして実装されており、撮像装置１００の駆動に応じて、画像処理部２１０が実行される（画像処理部２１０が画像処理プログラムを実行する）。
（２）画像処理プログラムは、ＲＯＭ２０３ないし補助記憶部２０５に常時記憶されており、撮像装置１００の駆動に応じて、画像処理プログラムがＲＡＭ２０２に転送される。転送後に中央処理装置（ＣＰＵ）２０１によって画像処理プログラムが実行される。
【００４９】
次に、図６を参照して、画像処理部２１０の処理フローを説明する（つまり、（１）の場合を説明する）。なお、図７は図６に対応する機能ブロック図である。
Ｓ６０１において、発光制御機能部４０２が発光を制御する。具体的には、カラーフィルタ２４４のバンド幅可変液晶チューナブルフィルタにより、中心波長４２０ｎｍと５９０ｎｍの帯域成分を通過させる。バンド幅可変液晶チューナブルフィルタの分光感度特性は以下の式３で表される。
ＬＥ  ＝  ａ  ・  Ｌ４２０  ＋  ｂ  ・  Ｌ５９０ （式３）
式３において、ＬＥはバンド幅可変液晶チューナブルフィルタの分光感度特性である。Ｌ４２０は、中心波長４２０ｎｍにおける通過帯域特性である。Ｌ５９０は、中心波長５９０ｎｍにおける通過帯域特性である。ａは第１の透過率であり、ｂは第２の透過率である。式３はバンド幅可変液晶チューナブルフィルタの分光感度特性が、中心波長４２０ｎｍのバンドパスフィルタと中心波長５９０ｎｍのバンドパスフィルタの重み付け線形和であることを示している。
【００５０】
発光制御機能部４０２は、被写体の表面の反射特性に基づいて被写体からの反射光の強度が所定値以上になる波長で、照明ユニットから被写体に光を照射させている。
なお、発光制御機能部４０２が式３を実現するために、照明ユニット１０６は以下のような構成を有してもよい。つまり、照明ユニット１０６は、定電流源・調光制御部２４２、発光部２４３およびカラーフィルタ２４４を複数有してよい。そして、照明ユニット１０６は、中心波長４２０ｎｍと中心波長５９０ｎｍのバンド幅固定のフィルタを２つ用いて、中心波長４２０ｎｍと５９０ｎｍの光を同時発光するように構成してもよい。また、発光制御機能部４０２が式３を実現するために、照明ユニット１０６は、特定の分光波長に強度が集中しているＬＥＤを有してもよい。
【００５１】
Ｓ６０２において、画像処理部２１０（発光制御機能部４０２）は、設定値取得機能部４０１を用いて、式３における（式３で用いる）第１の透過率ａおよび第２の透過率ｂを取得する。第１の透過率ａおよび第２の透過率ｂはＲＡＭ２０２から画像処理部２１０に入力される。つまり、設定値取得機能部４０１は透過率ａおよびｂをＲＡＭ２０２から取得し、発光制御機能部４０２は透過率ａおよびｂを設定値取得機能部４０１から取得する。第１の透過率ａおよび第２の透過率ｂは設定値であると言えるので、図６のＳ６０２では設定値を取得すると記載してある。なお、設定値は他にもある（後述する）ので、Ｓ６０２では「取得する」の後ろに「マル１（○の中に１）」を付している。
画像処理部２１０は、ＲＯＭ２０３、補助記憶部２０５または汎用入出力部２０７から第１の透過率ａおよび第２の透過率ｂを取得してもよい。また、第１の透過率ａおよび第２の透過率ｂは、人種だけに基づいて設定するのではなく、年齢や肌の色に基づいて設定してもよい。なぜなら、年齢や肌の色も、人肌表皮層におけるメラニン含有量と相関があるからである。
【００５２】
Ｓ６０３において、画像処理部２１０（画像データ生成機能部４０３）は画像データを取得する。画像処理部２１０が画像データを取得するには、まず、画像データ（Ｉｍｇ４２０とＩｍｇ５９０）が撮像部１０２からＲＡＭ２０２に転送され、その後、画像処理部２１０が、ＲＡＭ２０２から画像データを取得する。カラーフィルタ２２８は、中心波長４２０ｎｍと中心波長５９０ｎｍの２つのフィルタで構成されている。センサ２２９は、カラーフィルタ２２８の分光機能により、Ｉｍｇ４２０とＩｍｇ５９０を分解して記録することができる。このようにして撮像部１０２に記録されたＩｍｇ４２０とＩｍｇ５９０がＲＡＭ２０２に転送される。
Ｓ６０４において、画像処理部２１０（画像データ生成機能部４０３）は、画像データの補正処理を行なう。Ｓ６０４では、実際に補正処理を行なう前に、画像データ生成機能部４０３は、まず、照明輝度制御パラメータと撮像センサの感度面積を用いて、画像データの補正を行なうか判定を行なう。具体的には、照明輝度制御パラメータと撮像センサの感度面積を用いて、以下の閾値ｔｈを算出する。
ｔｈ＝ａ・（Ｒｂ−１）・Ｓｂ／ｂ・（Ｒｇ−１）・Ｓｇ    （式４）
【００５３】
ここで、分光吸収モル係数ＲｂとＲｇの逆数を適用することで、人肌の真皮層からの分光反射率を近似している。このためｔｈは、分光間における、照明の相対強度と被写体の分光反射率とカメラの分光感度の積の比の形になっている。ｔｈ＞＞１の場合、Ｉｍｇ４２０が、Ｉｍｇ５９０に比べて相対的に被写体像のＳ／Ｎ比が高いと判定する。この場合、Ｉｍｇ４２０を特徴量として用いて、Ｉｍｇ５９０を補正する。これにより、相対的に解像度が高いＩｍｇ５９０に対して、Ｓ／Ｎ比の高いＩｍｇ４２０を用いて、被写体像のＳ／Ｎ比が高くなるように補正をすることが可能になる。
本実施形態において、ｔｈ＞２の場合、下記の補正処理を行なう。ｔｈ＜２の場合、下記の補正処理を行なわず、Ｓ６０６へ処理を進める。なお、補正処理を行なうかどうかはｔｈと２の大小関係で決定しているが、ｔｈと２以外の数値との大小関係で補正処理を行なうかどうかを決定してもよい。
【００５４】
次に、補正処理の説明を行なう。Ｉｍｇ４２０とＩｍｇ５９０を分解して記録した画像データを用いて、以下のフィルタ処理を適用する。フィルタ処理を適用することで、中心波長５９０ｎｍの反射光による被写体光学像を記録した画像データのＳ／Ｎ比が向上する。フィルタ処理は具体的には以下の式５に従い行われる（算出される）。
【数１】
2018073122.tif 000003
（式５）
【００５５】
式５において、ＩｍｇＦｉｌｔｅｒは、フィルタ処理の出力として得られるフィルタ画像を表す。ｈはフィルタ処理を行なう当該画素を中心とするパッチ内の各画素の重み係数を表す。σｓはｈの分布を決める第１のパラメータを表す。σｒはｈの分布を決める第２のパラメータを表す。式５で示されるフィルタ処理は、ジョイントバイラテラルフィルタを用いた処理である。ジョイントバイラテラルフィルタは、たとえば、文献「Ｐｅｔｓｃｈｎｉｇｇ，  Ｇｅｏｒｇ，  ｅｔ  ａｌ．  ”Ｄｉｇｉｔａｌ  ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ｆｌａｓｈ  ａｎｄ  ｎｏ−ｆｌａｓｈ  ｉｍａｇｅ  ｐａｉｒｓ．”  ＡＣＭ  ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ｇｒａｐｈｉｃｓ  （ＴＯＧ）．  Ｖｏｌ．  ２３．  Ｎｏ．  ３．  ＡＣＭ，  ２００４．」に記載されている。   
【００５６】
式５では、重み係数ｈがＩｍｇ４２０の画素値に基づく関数になっていることと、算出された重み係数ｈとＩｍｇ４２０とは異なるＩｍｇ５９０との畳み込みを行なうことが特徴である。また、重み係数ｈは第１の透過率ａの関数になっている。このため、人種による肌のメラニン含有量に応じて、重み係数ｈを変えることが可能である。
なお、画像データ生成機能部４０３において、バイラテラルフィルタに類似する、複数枚の画像データを用いて、補正を試みる画像データに対してフィルタ処理を行なうフィルタを用いてもよい。そのようなフィルタとして、ガイディッドフィルタがあげられる。
【００５７】
Ｓ６０５では、画像処理部２１０（画像データ生成機能部４０３）は、設定値取得機能部４０１を用いて、所定の設定値（（ａ）照明の分光パラメータ、（ｂ）被写体の分光パラメータおよび（ｃ）カメラの分光パラメータ）を取得する。当該所定の設定値の取得は、画像データ生成機能部４０３からの参照（要求）に応じて、設定値取得機能部４０１（画像処理部２１０）がＲＡＭ２０２から所定の設定値を読み出すことにより行われる。Ｓ６０５で取得する設定値は、Ｓ６０４の画像データ補正で使用する。
【００５８】
Ｓ６０６では、画像処理部２１０（法線情報算出機能部４０４）は、入力される複数枚のＩｍｇ４２０から第一の法線情報Ｎｏｒｍａｌ４２０と、入力される複数枚のＩｍｇ５９０から第二の法線情報Ｎｏｒｍａｌ５９０とを取得する。Ｉｍｇ４２０とＩｍｇ５９０は、人肌の真皮層において、内部散乱光が吸収されるため、相対的に人肌表皮層からの表面拡散光を多く含んでいる。このため、高精度に法線情報を取得することが可能である。また、式５により生成したフィルタ画像ＩｍｇＦｉｌｔｅｒを用いて第三の法線情報ＮｏｒｍａｌＦｉｌｔｅｒを取得してもよい。
【００５９】
Ｓ６０６において第一の法線情報Ｎｏｒｍａｌ４２０と、第二の法線情報Ｎｏｒｍａｌ５９０を取得する際には、たとえば、照度差ステレオ法を用いる。照度差ステレオ法は、文献「Ｗｏｏｄｈａｍ，  Ｒｏｂｅｒｔ  Ｊ．  ”Ｐｈｏｔｏｍｅｔｒｉｃ  ｍｅｔｈｏｄ  ｆｏｒ  ｄｅｔｅｒｍｉｎｉｎｇ  ｓｕｒｆａｃｅ  ｏｒｉｅｎｔａｔｉｏｎ  ｆｒｏｍ  ｍｕｌｔｉｐｌｅ  ｉｍａｇｅｓ．”  Ｏｐｔｉｃａｌ  ｅｎｇｉｎｅｅｒｉｎｇ  １９．１  （１９８０）：  １９１１３９−１９１１３９．」に記載されている。
【００６０】
ここで、被写体の法線情報の所得方法について説明する。Ｓｈａｐｅ  ｆｒｏｍ  Ｓｈａｄｉｎｇ法を用いると、以下の式６に従い、照明方向Ｌと法線Ｎの成す角度が算出される。
ｉ＝ρｄＮ・Ｌ＝ρｄｃｏｓ（θ）          （式６）
Ｓｈａｐｅ  ｆｒｏｍ  Ｓｈａｄｉｎｇ法は、文献「Ｌｅｅ，  Ｋｙｏｕｎｇ  Ｍｕ，  ａｎｄ  Ｃ．  Ｃ．  Ｋｕｏ．  ”Ｓｈａｐｅ  ｆｒｏｍ  ｓｈａｄｉｎｇ  ｗｉｔｈ  ａ  ｌｉｎｅａｒ  ｔｒｉａｎｇｕｌａｒ  ｅｌｅｍｅｎｔ  ｓｕｒｆａｃｅ  ｍｏｄｅｌ．”  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  １５．８  （１９９３）：  ８１５−８２２．」に記載されている。
式６において、ｉは相対輝度値を表し、ρｄは被写体表面の拡散反射率（ディフューズアルベド）を表している。画像データに式６を適用する場合、単一の画像データから一意に法線情報を特定するのは困難であるという課題（Ｓｈａｐｅ  ｆｒｏｍ  Ｓｈａｄｉｎｇ法の課題）がある。これは、画像データは２方位（縦・横）あるので、法線の取り得る値は２自由度あること、および、これに絶対値の判定が加わることによる。
【００６１】
Ｓｈａｐｅ  ｆｒｏｍ  Ｓｈａｄｉｎｇ法の課題の解決を図る方法として、照度差ステレオ法においては、照明方向の異なる複数の画像データを用いることで法線情報を取得している。ｎ通りの照明条件で複数回にわたって撮影して画像データを取得するとき、入射光の方向ベクトルをＬ１〜Ｌｎとし、光源照度をａ１〜ａｎとする。画像からＲ画素を取得して、各画素の法線ベクトルをＮ１〜ＮＲとし、反射率をρｄ１〜ρｄｎとする。照度差ステレオ法においても、被写体表面からρｄ（拡散反射率：ディフューズアルベド）に基づいて法線を算出する。観測データは、照明条件数ｎと画素数Ｒの組み合わせにより、Ｉ１１〜ＩｎＲのｎＲ個が得られ、これを行列として扱うと、観測行列Ｉは以下の式７のように表すことができる。
【数２】
2018073122.tif 000004
（式７）
【００６２】
式７において、Ｓは光源の方位と照度を示しており、全ての光源の方位と照度が既知である（つまりＳが与えられている）とすると、法線と反射率の情報を含む行列Ｎは、式８のように表すことができる。
Ｎ＝Ｓ＋Ｉ    Ｓ＋＝（ＳＴＳ）−１ＳＴ                  （式８）
ＮはＲ行３列の行列であるため、式８は、ｎ＝３のときに連立方程式として解かれ、ｎ＞３のときに最小二乗法として解が得られる。
以上のように、Ｓｈａｐｅ  ｆｒｏｍ  Ｓｈａｄｉｎｇ法や照度差ステレオ法において、ρｄ（拡散反射率：ディフューズアルベド）を仮定して、被写体の法線を取得していることが分かる。このため、これらの手法で高精度に法線情報を取得するためには、被写体の反射特性において、表面拡散光成分以外の反射光成分（正反射光成分・内部散乱光成分）を除去することが重要であることがわかる。
【００６３】
Ｓ６０６において、法線情報算出機能部４０４は、取得した第一の法線情報Ｎｏｒｍａｌ４２０と、第二の法線情報Ｎｏｒｍａｌ５９０に対して、以下のように補正（最終的な法線情報であるＮｏｒｍａｌＣを得るための計算）を行なう。
ＮｏｒｍａｌＣ＝
ａ／（ａ＋ｂ）・Ｎｏｒｍａｌ４２０＋ｂ／（ａ＋ｂ）・Ｎｏｒｍａｌ５９０       （式９）
また、被写体の分光反射率を用いて以下の式１０ように補正を行なうことも可能である。
ＮｏｒｍａｌＣ＝
（Ｒｂ−１）／｛（Ｒｂ−１）＋（Ｒｇ−１）｝・Ｎｏｒｍａｌ４２０
＋（Ｒｇ−１）／｛（Ｒｂ−１）＋（Ｒｇ−１）｝・Ｎｏｒｍａｌ５９０    
（式１０）
また、以下の式１１のように、照明輝度制御パラメータ、被写体の分光反射率、撮像センサの感度面積を用いて補正を行なうことも可能である。
ＮｏｒｍａｌＣ＝
Ａ／（Ａ＋Ｂ）・Ｎｏｒｍａｌ４２０＋Ｂ／（Ａ＋Ｂ）・Ｎｏｒｍａｌ５９０
Ａ＝ａ・（Ｒｂ−１）・Ｓｂ  、  Ｂ＝ｂ・（Ｒｇ−１）・Ｓｇ            
（式１１）
【００６４】
このように、本実施形態では、照明ユニットの分光特性に応じた重み（ａ，ｂ）、被写体の分光反射率に応じた重み（Ｒｂ−１，Ｒｇ−１）、撮像センサの感度特性に応じた重み（Ｓｂ，Ｓｇ）の３つの伝達特性の積を最適化させている。この最適化により、取得する法線情報のＳ／Ｎ比を向上している。
Ｓ６０７では、画像処理部２１０（法線情報算出機能部４０４）は、設定値取得機能部４０１を用いて、所定の設定値（（ａ）照明の分光パラメータ、（ｂ）被写体の分光パラメータおよび（ｃ）カメラの分光パラメータ）を取得する。当該所定の設定値の取得は、法線情報算出機能部４０４からの参照（要求）に応じて行われる。所定の設定値は、Ｓ６０６の法線情報算出に使用される。
【００６５】
（実施形態１の効果）
実施形態１によれば、照明ユニットの分光分布特性、およびカメラの分光フィルタ特性を調節することで、照明の分光ピーク波長λｌとカメラのカラーフィルタの分光ピーク波長λｃを被写体の分光反射ピーク波長λｏと同じにすることができる（図３（ｂ））。これにより、撮像される被写体画像のＳ／Ｎ比が高まる（所定値以上になる）ため、高精度に法線情報を取得することが可能になる。
また、本実施形態の撮像装置１００は、被写体の分光反射特性が既知の場合、高精度に被写体の法線情報を取得することができる。被写体は、具体的は、人物であり、撮像装置１００により、人物の肌について高精度に法線情報を取得することが可能である。
なお、特許文献１の偏光を用いた手法により、人肌からの正反射光成分と表面拡散光成分・内部散乱光成分を分離した上で、本実施形態で実施する表面拡散光と内部散乱光を分離してもよい。この場合、表面拡散光成分を用いて法線情報を取得する処理において、正反射光成分の影響を排除できるので、より高精度な法線情報の算出が可能となる。
【００６６】
（変形例）
なお、実施形態１では被写体１１９は人物であるとしたが、被写体１１９は人物に限定されない。被写体は、撮像装置１００のフレーム１１８に収まる寸法を有するものであればよい。
また、実施形態１では、フレーム１１８により撮像部１０２〜１０５と照明ユニット１０６〜１１７を固定するとしたが、フレーム以外の構造物や機構を用いて撮像部１０２〜１０５と照明ユニット１０６〜１１７を固定してもよい。
実施形態１では、中央制御部１０１が汎用入出力部２０７と表示部２０９を含むとしたが、汎用入出力部２０７と表示部２０９は中央制御部１０１の外に設けてもよい。また、撮像部の数や照明ユニットの数も図示されたものに限定されない。
【００６７】
実施形態１では、中央制御部１０１が撮像装置１００に含まれるとしたが、中央制御部１０１は撮像装置１００に含まれなくてもよい。この場合、中央制御部１０１は、たとえば画像処理装置として、撮像装置とは別個に設けられる。
図４に示す機能ブロックの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてＧａｔｅ  Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
【００６８】
実施形態２
実施形態１では、被写体となる人物の肌に、メラニン要因部（ほくろ・しみ・そばかす）が有意に存在しない（メラニン要因部を考慮しない）として撮像装置１００を説明した。実施形態２では、人物の肌に、メラニン要因部が有意に存在する場合において、高精度に法線情報を取得することができる撮像装置を説明する。そのため、実施形態２の撮像装置は、被写体の画像データから統計的に解析を行なって第１の透過率ａおよび第２の透過率ｂに補正を加えることで、表面反射光による画像データを高精度に取得している。メラニン要因部とは、メラニンが要因（原因）となり肌に発生したほくろ等を指す。
以下の説明では、実施形態１との相違点を主に説明することとし、実施形態１と同じ構成の処理部・処理フローについては説明を省略する。実施形態１と同様な構成要素については同じ参照符号を付している。実施形態２の撮像装置１００の構成は、図１および図２（実施形態１）と同様であるが、画像処理部２１０の機能が実施形態１と異なる。図７および図８を用いて、実施形態２の画像処理部２１０の説明をする。
【００６９】
（画像処理部２１０の構成）
図７において、画像処理部２１０は、設定値取得機能部４０１、発光制御機能部４０２、画像データ生成機能部４０３、法線情報算出機能部４０４および設定値補正機能部７０１で構成される。図７の画像処理部２１０を図４の画像処理部２１０と比較すると、図７の画像処理部２１０には設定値補正機能部７０１が追加されている。
設定値補正機能部７０１は、第１の透過率ａに対する補正値である第１の補正透過率ａ＋と、第２の透過率ｂに対する補正値である第２の補正透過率ｂ＋とを算出する。
人肌の皮膚の表面積に対して、メラニン要因部（ほくろ・しみ・そばかす）の表面積が有意な場合、メラニン要因部において光の吸収が多くなる。その結果、Ｉｍｇ４２０とＩｍｇ５９０の比率は、メラニン要因部の領域とそれ以外の領域（メラニン要因部の内と外）では、値が異なる。そのため、皮膚の表面積において当該比率の分散値（差）はメラニン要因部の表面積が大きくなる程、大きい値を取る。
メラニン要因部の表面積が大きい場合、メラニン色素の分光吸収モル係数が比較的小さい５９０ｎｍの光を多めに発光させるように第１の透過率ａと第２の透過率ｂに補正を加えることで、注目する肌の表面積に対して安定して拡散反射光成分が取得できる。
【００７０】
発光制御機能部４０２は、設定値補正機能部７０１で算出された第１の補正透過率ａ＋と第２の補正透過率ｂ＋を設定値取得機能部４０１から取得して、式３に示されるａにａ＋を適用し、ｂにｂ＋を適用することでＬＥを再算出する。上記したように、ＬＥはバンド幅可変液晶チューナブルフィルタの分光感度特性である。なお、ａ＋およびｂ＋の算出方法は、図８および式１３を用いて後述する。
画像データ生成機能部４０３は、式４において、ａにａ＋を適用して、ｂにｂ＋を適用することで、閾値ｔｈを算出する。ｔｈの算出結果に基づいて、式５における重み関数（係数）ｈの算出、およびジョイントバイラテラルフィルタ処理が実行される。
法線情報算出機能部４０４は、式９または式１１において、ａにａ＋を適用して、ｂにｂ＋を適用することで、ＮｏｒｍａｌＣを算出する。
【００７１】
（画像処理部２１０の処理フロー）
図８を用いて、実施形態２の画像処理部２１０の処理フローを説明する。Ｓ６０１〜Ｓ６０５まで、および、Ｓ６０６〜Ｓ６０７は実施形態１（図６）と同じである。
図８のＳ８０１において、画像処理部２１０（設定値補正機能部７０１）は、以下の処理を行なう。より詳しくは、Ｉｍｇ４２０とＩｍｇ５９０の注目被写体領域において、式１２に示される特徴量ｄを算出する。
ｄ＝Ｖａｒ（Ｉｍｇ４２０／Ｉｍｇ５９０）    （式１２）
式１２において、Ｖａｒ（ｘ）は入力値ｘの分散値（Ｉｍｇ４２０／Ｉｍｇ５９０の分散値）を表している。入力値ｘは、波長４２０ｎｍ（第１の波長）による画像データ（Ｉｍｇ４２０）の強度と、波長５９０ｎｍ（第２の波長）による画像データ（Ｉｍｇ５９０）の強度との比である。
【００７２】
｜ｄ｜＞＞１の場合、分光画像間における反射光の差異となるメラニン要因部の内と外における光の吸収の差（変動）が顕著であることを示している。｜ｄ｜＞＞１の場合は、設定値補正機能部７０１は第１の透過率ａと第２の透過率ｂを補正（調整）する処理を行なう（式１３）。
｜ｄ｜≒１あるいは｜ｄ｜＜１の場合、補正値（第１の透過率ａと第２の透過率ｂ）の設定を終了してＳ６０６へ処理を進める。
設定値補正機能部７０１は、式１２により、算出された特徴量ｄを用いて、以下の式１３に示される第１の透過率ａと第２の透過率ｂに対する第１の補正透過率ａ＋と第２の補正透過率ｂ＋を算出する。
ａ＋＝ａ・（１−ｄ） ｂ＋＝ｂ・ｄ  （式１３）
なお、式１３において、特徴量ｄは計算を簡単にするために、正規化処理を施してよい。
【００７３】
Ｓ８０１で設定値を補正したならば、設定値補正機能部７０１は、補正後の設定値を設定値取得機能部４０１に送る。そして、Ｓ６０２、Ｓ６０５およびＳ６０７の「設定値を取得する」という処理において、補正後の設定値が取得される。図８のＳ８０１から右に出る矢印はこのことを示している。
（実施形態２の効果）
実施形態２によれば、被写体となる人物の肌にメラニン要因部（ほくろ・しみ・そばかす）による特徴が有意に存在している場合、高精度に法線情報を取得することが可能になる。
【００７４】
（変形例）
図７では設定値補正機能部７０１が画像処理部２１０に含まれるとしたが、設定値補正機能部７０１は、たとえば、設定値補正部として、画像処理装置２１０とは別個に設けてもよい。
（他の実施形態）
本発明は、上記した実施形態の画像処理部の１以上の機能を実現するプログラム（コンピュータプログラム）を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（たとえば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７５】
１０１…中央制御部、１０２〜１０５…撮像部、１０６〜１１７…照明ユニット、２１０…画像処理部、４０１…設定値取得機能部、４０２…発光制御機能部、４０３…画像データ生成機能部、４０４…法線情報算出機能部
【図１】
2018073122.tif 000005
【図２】
2018073122.tif 000006
【図３】
2018073122.tif 000007
【図４】
2018073122.tif 000008
【図５】
2018073122.tif 000009
【図６】
2018073122.tif 000010
【図７】
2018073122.tif 000011
【図８】
2018073122.tif 000012