(57)【要約】【課題】フィルタ部の各フィルタ領域に対応する画像内の位置を正確に特定することができる撮像装置、調整装置および調整方法を提供する。【解決手段】撮像装置１０は、フィルタ部２と、受光素子アレイ４と、フィルタ部２の各フィルタ領域に対応する位置情報を記憶する記憶部４５と、この位置情報に基づいて被写体からの光がフィルタ部２に入射した際に得られる画像から各フィルタ領域に対応する画像領域を検出する領域検出部４３と、検出された画像領域の出力値に基づいて被写体の色を検出する色検出部４４とを備える。フィルタ部２の各フィルタ領域に対応する位置情報は、単色性を有する検査光の波長を順次変化させてフィルタ部２に入射させた際に得られる画像のセットをもとに算出される各画素の分光応答度と所望の波長選択性との一致度を用いて特定される受光素子アレイ４上の位置を示す情報である。【選択図】図７
2015170869.tif 000002
【特許請求の範囲】
【請求項１】
各々が異なる波長選択性を持つ複数のフィルタ領域を有するフィルタ部と、
前記フィルタ部を透過した光を受光して画像を出力する受光素子アレイと、
前記フィルタ部の複数のフィルタ領域ごとに、各フィルタ領域を透過した光を受光する前記受光素子アレイ上の位置を示す位置情報を記憶する記憶部と、
前記位置情報に基づいて、被写体からの光が前記フィルタ部に入射した際に前記受光素子アレイが出力する画像から、前記フィルタ部の各フィルタ領域を透過した光に対応する画像領域を検出する領域検出部と、
検出された前記画像領域の出力値に基づいて、前記被写体の色を検出する色検出部と、を備え、
前記フィルタ部の各フィルタ領域に対応する前記位置情報は、単色性を有する検査光の波長を順次変化させて前記フィルタ部に入射させた際に前記受光素子アレイが出力する画像のセットをもとに算出される各画素の分光応答度と所望の波長選択性との一致度を表す分光応答一致度を用いて特定される前記受光素子アレイ上の位置を示す情報であることを特徴とする撮像装置。
【請求項２】
前記各画素の分光応答一致度を算出する処理を行う分光応答一致度算出部と、
前記分光応答一致度を用いて、前記フィルタ部の各フィルタ領域を透過した光を受光する前記受光素子アレイ上の位置をそれぞれ特定し、特定した位置を示す位置情報を、前記フィルタ部の各フィルタ領域に対応する前記位置情報として前記記憶部に格納する位置特定部と、をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記分光応答一致度は、分光応答度と所望の波長選択性との内積であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記フィルタ部は、等色関数に基づいた分光透過率を持つ少なくとも３つのフィルタ領域を有することを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
【請求項５】
各々が異なる波長選択性を持つ複数のフィルタ領域を有するフィルタ部と、
前記フィルタ部を透過した光を受光して画像を出力する受光素子アレイと、
前記フィルタ部の複数のフィルタ領域ごとに、各フィルタ領域を透過した光を受光する前記受光素子アレイ上の位置を示す位置情報を記憶する記憶部と、を備える撮像装置の調整を行う調整装置であって、
単色性を有する検査光の波長を順次変化させて前記フィルタ部に入射させる検査光生成部と、
前記検査光が前記フィルタ部に入射した際に前記受光素子アレイが出力する画像のセットをもとに各画素の分光応答度を算出し、その分光応答度と所望の波長選択性との一致度を表す分光応答一致度を算出する分光一致度算出部と、
得られた分光応答一致度を用いて、前記フィルタ部の各フィルタ領域を透過した光を受光する前記受光素子アレイ上の位置をそれぞれ特定し、特定した位置を示す位置情報を、前記フィルタ部の各フィルタ領域に対応する前記位置情報として前記記憶部に格納する位置特定部と、を備えることを特徴とする調整装置。
【請求項６】
前記検査光生成部は、
光源と、
前記光源から出射された光を透過して前記検査光とする分光手段と、を備えることを特徴とする請求項５に記載の調整装置。
【請求項７】
前記分光手段は、
前記光源から出射された光を波長ごとの光に分光する回折格子と、
前記回折格子により分光された波長ごとの光を選択的に透過するスリットと、
前記回折格子に対する前記スリットの位置を変化させて該スリットを透過する光の波長を変化させる移動手段と、を備えることを特徴とする請求項６に記載の調整装置。
【請求項８】
前記分光手段は、色素を用いた吸収型フィルタまたは誘電体多層膜を用いた干渉型フィルタであることを特徴とする請求項６に記載の調整装置。
【請求項９】
前記光源は、キセノンランプ、ハロゲンランプ、発光ダイオードのいずれかであることを特徴とする請求項６に記載の調整装置。
【請求項１０】
各々が異なる波長選択性を持つ複数のフィルタ領域を有するフィルタ部と、
前記フィルタ部を透過した光を受光して画像を出力する受光素子アレイと、
前記フィルタ部の複数のフィルタ領域ごとに、各フィルタ領域を透過した光を受光する前記受光素子アレイ上の位置を示す位置情報を記憶する記憶部と、を備える撮像装置の調整方法であって、
単色性を有する検査光の波長を順次変化させて前記フィルタ部に入射させる工程と、
前記検査光が前記フィルタ部に入射した際に前記受光素子アレイが出力する画像のセットをもとに各画素の分光応答度を算出し、その分光応答度と所望の波長選択性との一致度を表す分光応答一致度を算出する工程と、
得られた分光応答一致度を用いて、前記フィルタ部の各フィルタ領域を透過した光を受光する前記受光素子アレイ上の位置をそれぞれ特定し、特定した位置を示す位置情報を、前記フィルタ部の各フィルタ領域に対応する前記位置情報として前記記憶部に格納する工程と、を含むことを特徴とする調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の色を検出する機能を持つ撮像装置、撮像装置の調整を行う調整装置および調整方法に関する。
【背景技術】
【０００２】
従来、被写体からの光を、異なる波長特性を持つ複数の光に空間的に分離して受光し、分離された光に対応する複数の領域を含む画像を出力する撮像装置が知られている（例えば、特許文献１参照）。特許文献１に記載の撮像装置は、プレノプティックカメラの構成において、マイクロレンズアレイの前段に、各々が異なる波長選択性を持つ複数のフィルタ領域を有するフィルタ部を配置している。そして、フィルタ部およびマイクロレンズアレイを順次透過した光を受光素子アレイで受光して、マイクロレンズアレイを構成する各マイクロレンズに対応する部分画像（以下、マクロピクセルという。）が整列したライトフィールド画像を出力する。
【０００３】
ライトフィールド画像内の各マクロピクセルは、それぞれ、フィルタ部の複数のフィルタ領域に対応する複数の画像領域を持つ。これらのマクロピクセルから、同じフィルタ領域に対応する画像領域の出力値をそれぞれ取り出して再配置することにより、各フィルタ領域を透過した光の強度に応じた複数の画像を生成することができる。これら複数の画像は、例えば、被写体の色を検出する用途などで利用することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の撮像装置では、ライトフィールド画像内の各マクロピクセルにおいて、どの位置がどのフィルタ領域に対応しているのかを正確に特定することが困難であり、例えば、被写体の色の検出などに支障をきたす懸念がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、フィルタ部の各フィルタ領域に対応する画像内の位置を正確に特定することができる撮像装置、調整装置および調整方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、各々が異なる波長選択性を持つ複数のフィルタ領域を有するフィルタ部と、前記フィルタ部を透過した光を受光して画像を出力する受光素子アレイと、前記フィルタ部の複数のフィルタ領域ごとに、各フィルタ領域を透過した光を受光する前記受光素子アレイ上の位置を示す位置情報を記憶する記憶部と、前記位置情報に基づいて、被写体からの光が前記フィルタ部に入射した際に前記受光素子アレイが出力する画像から、前記フィルタ部の各フィルタ領域を透過した光に対応する画像領域を検出する領域検出部と、検出された前記画像領域の出力値に基づいて、前記被写体の色を検出する色検出部と、を備え、前記フィルタ部の各フィルタ領域に対応する前記位置情報は、単色性を有する検査光の波長を順次変化させて前記フィルタ部に入射させた際に前記受光素子アレイが出力する画像のセットをもとに算出される各画素の分光応答度と所望の波長選択性との一致度を表す分光応答一致度を用いて特定される前記受光素子アレイ上の位置を示す情報であることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、フィルタ部の各フィルタ領域に対応する画像内の位置を正確に特定することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態の撮像装置における光学系の概念図である。
【図２】図２は、フィルタ部の幾何学的設計例を示す図である。
【図３】図３は、フィルタ部の分光透過率を示す図である。
【図４】図４は、マイクロレンズアレイを光軸に沿った方向から見た平面図である。
【図５】図５は、撮像装置により撮像されたライトフィールド画像を示す図である。
【図６】図６は、マクロピクセルを拡大して示す図である。
【図７】図７は、第１実施形態の撮像装置の具体的な構成例を示す図である。
【図８】図８は、検査光生成部の構成例を示す図である。
【図９】図９は、光の単色性の定義について説明する図である。
【図１０】図１０は、ある画素の分光応答度とＸＹＺ表色系のＸについての等色関数との関係を示す図である。
【図１１】図１１は、演算処理装置のハードウェア構成の一例を示す図である。
【図１２】図１２は、第２実施形態の撮像装置の具体的な構成例を示す図である。
【図１３】図１３は、撮像装置に対する調整を行う際の調整装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、この発明に係る撮像装置、調整装置および調整方法の実施形態を詳細に説明する。なお、以下で説明する実施形態は、プレノプティックカメラの構成を有する撮像装置に対して本発明を適用した例であるが、適用可能な撮像装置はこれに限らない。本発明は、被写体からの光を、異なる波長特性を持つ複数の光に空間的に分離して受光し、分離された光に対応する複数の領域を含む画像を出力する撮像装置に対して広く適用可能である。
【００１０】
＜第１実施形態＞
図１は、本実施形態の撮像装置における光学系の概念図である。図１では、説明を分かり易くするために、撮像レンズとして機能するメインレンズ１を単レンズで示し、メインレンズ１の絞り位置を単レンズの中心としている。
【００１１】
メインレンズ１の絞り位置には、フィルタ部２が配置されている。なお、図１では、単レンズで示したメインレンズ１内にフィルタ部２が配置されるように図示されているが、実際にはレンズの内部にフィルタ部２が配置されることはない。
【００１２】
フィルタ部２は、各々が異なる波長選択性を持つ複数のフィルタ領域を有している。本実施形態では、フィルタ部２として、ＣＩＥにより定められたＸＹＺ表色系の等色関数に基づいた分光透過率を持つ色の三刺激値に対応したカラーフィルタを用いる。
【００１３】
図２は、本実施形態のフィルタ部２の幾何学的設計例を示す図である。本実施形態のフィルタ部２は、図２に示すように、ＸＹＺ表色系の等色関数に基づいて設計された３つのフィルタ領域ＦＸ，ＦＹ，ＦＺを有する。
【００１４】
図３は、本実施形態のフィルタ部２の分光透過率を示す図である。図３中の実線はフィルタ領域ＦＸの分光透過率ＴＸ（λ）を示し、一点鎖線はフィルタ領域ＦＹの分光透過率ＴＹ（λ）を示し、破線はフィルタ領域ＦＺの分光透過率ＴＺ（λ）を示している。これらＴＸ（λ），ＴＹ（λ），ＴＺ（λ）は、ＸＹＺ表色系の等色関数を透過率に置換したものである。このように、フィルタ部２の各フィルタ領域ＦＸ，ＦＹ，ＦＺは、各々が異なる波長選択性を持つ。なお、図２および図３に示すフィルタ部２は一例であり、これに限定されるものではない。フィルタ部２は、異なる波長選択性を持つ複数のフィルタ領域を有する構成であればよく、フィルタ領域の数は２つであってもよし、４つ以上であってもよい。
【００１５】
メインレンズ１の集光位置付近には、複数のマイクロレンズ（小レンズ）から構成されるマイクロレンズアレイ３が配置されている。また、光学系のイメージ面には、フィルタ部２およびマイクロレンズアレイ３を透過した光を受光して画像を出力する受光素子アレイ４が配置されている。受光素子アレイ４は、画素ごとのカラーフィルタが実装されていないモノクロセンサであり、各受光素子が画像の１画素に対応する。マイクロレンズアレイ３を構成する各マイクロレンズの径と、受光素子アレイ４を構成する各受光素子の大きさは、おおよそ３０：１〜２：１の比率の関係にある。
【００１６】
図４は、マイクロレンズアレイ３を光軸Ｐ（図１参照）に沿った方向から見た平面図である。図４中の白で示した部分が各マイクロレンズであり、黒で示した部分が遮光部である。遮光部は、曲率を持たない平坦部や、曲率が製造的に設計値仕様を満たさない領域である。これらの領域からの光は、設計上意図しない光線を受光素子まで届けるおそれがあるため、遮光することで設計から想定される電気信号が得られるようにしている。このことは、正確な測定値を得るために重要である。
【００１７】
本実施形態の撮像装置では、物体（被写体）Ｏｂから発する光のうち、メインレンズ１の開口に入射して絞りを通過する光束が、マイクロレンズアレイ３を透過して受光素子アレイ４により受光される。メインレンズ１に入射した光束は無数の光線の集合であり、それぞれの光線はメインレンズ１の絞りの異なる位置を通過する。本実施形態の撮像装置では、メインレンズ１の絞り位置に、３つのフィルタ領域ＦＸ，ＦＹ，ＦＺを有するフィルタ部２が配置されている。したがって、メインレンズ１の絞りの異なる位置を通過する各光線は、それぞれ、異なる分光透過率（波長選択性）を持つ３つのフィルタ領域ＦＸ，ＦＹ，ＦＺを透過することで、波長特性が異なる３種類の光線となる。
【００１８】
フィルタ部２を透過した光線はマイクロレンズアレイ３付近で一旦結像するが、その後、マイクロレンズアレイ２の作用によって拡散され、フィルタ部２の３つのフィルタ領域ＦＸ，ＦＹ，ＦＺを透過した光線が、それぞれ受光素子アレイ４の別々の位置に到達する。すなわち、メインレンズ１の絞り位置を通過する光線は、フィルタ部２の３つのフィルタ領域ＦＸ，ＦＹ，ＦＺのうちのいずれのフィルタ領域を透過したかに応じて、受光素子アレイ４のセンサ面における受光位置が異なる。このため、本実施形態の撮像装置では、物体（被写体）Ｏｂのある一点から発した光を、波長的に三刺激値Ｘ，Ｙ，Ｚに分解した値を測定することができる。
【００１９】
図５は、本実施形態の撮像装置により撮像されたライトフィールド画像を示す図である。本実施形態の撮像装置で画像を撮像すると、図５に示すように、小さな円の部分画像が並んだライトフィールド画像が得られる。ライトフィールド画像に含まれる部分画像が円になるのは、メインレンズ１の絞り形状が円であるためである。ライトフィールド画像に含まれるそれぞれの小さな円の部分画像を「マクロピクセル」と呼ぶ。各マクロピクセルは、マイクロレンズアレイ３を構成する各マイクロレンズの直下に形成される。
【００２０】
図６は、マクロピクセルを拡大して示す図である。マクロピクセルの内部構造は、メインレンズ１の絞り位置に配置されたフィルタ部２の構造（図２参照）に対応したものとなる。すなわち、本実施形態の撮像装置により撮像されたライトフィールド画像に含まれる各マクロピクセルは、図６に示すように、フィルタ部２のフィルタ領域ＦＸに対応する画像領域ＭＸと、フィルタ領域ＦＹに対応する画像領域ＭＹと、フィルタ領域ＦＺに対応する画像領域ＭＺとを有する。マクロピクセルにおける各画像領域ＭＸ，ＭＹ，ＭＺは、それぞれフィルタ部２のフィルタ領域ＦＸ，ＦＹ，ＦＺを透過した光を受光することで得られる。なお、図６に示すマクロピクセルの内部構造が図２に示したフィルタ部２の構造に対して上下反転しているのは、光学系を通過してきたためである。ただし、この対応関係は光学系に依存するため、この例に限ったものではない。
【００２１】
本実施形態の撮像装置では、マクロピクセルの各画像領域ＭＸ，ＭＹ，ＭＺの出力値から、そのマクロピクセルに対応する物体位置の分光エネルギを測定することができる。マクロピクセルの各画像領域ＭＸ，ＭＹ，ＭＺの出力値をｖ＝［ｖＸ，ｖＹ，ｖＺ］ｔとする。ｔは行列の転置を意味する。出力値のとりかたは、画像領域ＭＸ，ＭＹ，ＭＺごとの受光素子の出力の平均値をとってもよいし、画像領域ＭＸ，ＭＹ，ＭＺごとに受光素子ひとつを選択してその出力値を代表値として採用してもよい。ただし、画像領域ＭＸ，ＭＹ，ＭＺごとの受光素子の出力の平均値を各画像領域ＭＸ，ＭＹ，ＭＺの出力値とすることで、電気的なランダムノイズの影響を抑制し、ノイズに対して頑健な信号を得ることができる。
【００２２】
マクロピクセルの各画像領域ＭＸ，ＭＹ，ＭＺの出力値は、物体（被写体）Ｏｂから発した光を、波長的に三刺激値Ｘ，Ｙ，Ｚに分解した値に、受光素子アレイ４の分光感度を乗じたものとなる。受光素子アレイ４の分光感度は設計時に既知なので、上記の出力値を受光素子アレイ４の分光感度で除算することで、物体（被写体）Ｏｂから発した光の三刺激値Ｘ，Ｙ，Ｚを求めることができる。そして、この三刺激値Ｘ，Ｙ，Ｚから、物体（被写体）Ｏｂの色（ＸＹＺ色空間における表色値）を検出することができる。
【００２３】
ここで、本実施形態の撮像装置では、マクロピクセルの各画像領域ＭＸ，ＭＹ，ＭＺの出力値から物体（被写体）Ｏｂの色を検出するために、実際に製造した実機で、受光素子アレイ４のどの受光素子がマクロピクセルの各画像領域ＭＸ，ＭＹ，ＭＺに対応しているかを特定する必要がある。すなわち、実機では、例えば光学系のアライメント誤差などの製造誤差があるため、マクロピクセルの各画像領域ＭＸ，ＭＹ，ＭＺに対応する受光素子アレイ４の受光素子が、個体ごとに異なる場合がある。
【００２４】
そこで、本実施形態の撮像装置では、マクロピクセルの各画像領域ＭＸ，ＭＹ，ＭＺに対応する受光素子アレイ４の受光素子の位置、つまり、フィルタ部２の各フィルタ領域ＦＸ，ＦＹ，ＦＺを透過した光を受光する受光素子アレイ４上の位置を後述する方法によって特定し、その位置を示す位置情報を記憶部に格納している。そして、この記憶部に格納された位置情報を用いて、受光素子アレイ４が出力するライトフィールド画像からマクロピクセルの各画像領域ＭＸ，ＭＹ，ＭＺを検出し、検出した各画像領域ＭＸ，ＭＹ，ＭＺの出力値に基づいて、物体（被写体）Ｏｂの色を検出するようにしている。
【００２５】
図７は、本実施形態の撮像装置の具体的な構成例を示す図である。図７に示す撮像装置１０は、レンズモジュール２０と、カメラ部３０と、演算処理装置４０とを備える。
【００２６】
レンズモジュール２０は、第１レンズ１ａおよび第２レンズ１ｂと、上述したフィルタ部２とを有している。第１レンズ１ａおよび第２レンズ１ｂは、上述したメインレンズ１を構成する。ただし、この構成は一例であり、メインレンズ１を構成する光学素子の絞り位置にフィルタ部２が配置された構成であればよい。
【００２７】
カメラ部３０は、上述したマイクロレンズアレイ３と、上述した受光素子アレイ４と、フレームメモリ３１とを有している。フレームメモリ３１は、受光素子アレイ４が出力するライトフィールド画像を一時的に保持する。
【００２８】
演算処理装置４０は、カメラ部３０により取得された画像に対して各種演算処理を行うものであり、図７に示すように、分光応答一致度算出部４１、位置特定部４２、領域検出部４３、および色検出部４４の各処理機能を備える。また、演算処理装置４０は、上述した位置情報を記憶する不揮発ＲＡＭよりなる記憶部４５を備える。記憶部４５は、後述の位置特定部４２によって特定された位置情報を、例えば、ルックアップテーブルのかたちで保持することができる。なお、記憶部４５は、演算処理装置４０の外部に設ける構成であってもよい。
【００２９】
演算処理装置４０の各処理機能のうち、分光応答一致度算出部４１および位置特定部４２は、上述した位置情報を記憶部４５に格納するための処理機能であり、例えば、実機を出荷する前、あるいは出荷後の任意のタイミングで実施される調整時に、調整作業者による所定の操作に応じて呼び出される。一方、領域検出部４３および色検出部４４は、実際にライトフィールド画像を用いて被写体の色を検出するための機能構成であり、被写体の撮像時に受光素子アレイ４がライトフィールド画像を出力するたびに呼び出される。
【００３０】
分光応答一致度算出部４１は、単色性を有する検査光の波長を順次変化させて光学系のフィルタ部２に入射させた際に受光素子アレイ４が出力するライトフィールド画像のセットをもとに、ライトフィールド画像を構成する各画素の分光応答度を算出し、その分光応答度と所望の波長選択性との一致度を表す分光応答一致度を算出する処理を行う。
【００３１】
検査光は、図７に示す検査光生成部６０によって生成される。図８は、検査光生成部６０の構成例を示す図である。検査光生成部６０は、例えばキセノンランプなどの光源６１と、この光源６１から出射された光を透過して単色性を有する検査光とする分光手段６２とを備える。分光手段６２は、例えば図８に示すように、光源６１から出射された光を波長ごとの光に分光する回折格子６３と、この回折格子６３により分光された波長ごとの光を選択的に透過するスリット６４と、回折格子６３に対するスリット６４の位置を変化させてスリット６４を透過する光の波長を変化させる移動手段６５と、を備える。
【００３２】
図８に示す構成の検査光生成部６０では、光源６１から発した光が回折格子６３により波長ごとに分光される。回折格子６３により分光された光から特定の波長の光を得るために、回折格子６３の前方（光源６１とは逆側）に、細い間隙のあるスリット６４が配置されている。このスリット６４の位置を移動手段６５によって変化させることで、波長の異なる単色光（検査光）を撮像装置１０に順次入射させることができる。
【００３３】
図９は、光の単色性の定義について説明する図である。本実施形態では、図９に示すように、半値幅（ＦＷＨＭ：Full  Width  at  Half  Max）が４０ｎｍ以下である光を、単色性を持つ光とする。半値幅が大きくなると狙いの波長に対する分光応答度の正確さが劣化するため、半値幅は狭いことが好ましい。ただし、そのトレードオフとして信号が少なくなるため、十分な信号雑音比が得られる範囲で半値幅が狭い光を検査光として用いることが望ましい。
【００３４】
撮像装置１０の調整時には、以上のような検査光生成部６０を用いて、例えば４００ｎｍから７００ｎｍまで５ｎｍ刻みの単色光を順次光学系に入射させ、各波長についてライトフィールド画像を撮影する。この作業により、６１枚のライトフィールド画像のセットが得られる。
【００３５】
分光応答一致度算出部４１は、まず、このように得られた画像セットから、ライトフィールド画像を構成する各画素の分光応答度を算出する。すなわち、ある画素に注目し、同じ位置の画素の値を６１枚の画像セットから抜き出すことで、その画素の分光応答度を得ることができる。分光応答一致度算出部４１は、ライトフィールド画像を構成する各画素のそれぞれに対してこの処理を行って、各画素の分光応答度を算出する。
【００３６】
そして、分光応答一致度算出部４１は、ライトフィールド画像を構成する各画素のそれぞれについて、以上のように求めた分光応答度と所望の波長選択性（等色関数に相当）との一致度を表す分光応答一致度を算出する。
【００３７】
図１０は、ある画素の分光応答度とＸＹＺ表色系のＸについての等色関数との関係を示す図である。図中の実線がＸについての等色関数を表し、黒塗りの三角でプロットした点の集合が、ある画素の分光応答度を表している。図１０に示すように、ある画素の分光応答度は等色関数と完全一致していないことが分かる。
【００３８】
分光応答一致度算出部４１は、例えば、以下に示す方法によって分光応答一致度を算出することができる。
【００３９】
等色関数の４００ｎｍから７００ｎｍまでの５ｎｍごとの値をもとに、等色関数を下記式（１）のように６１次元のベクトルｘで表す。
ｘ＝［ｘ４００，ｘ４０５，・・・，ｘ７００］  ・・・（１）
同様に、ある画素の分光応答度を、下記式（２）のように６１次元のベクトルｋで表す。
ｋ＝［ｋ４００，ｋ４０５，・・・，ｋ７００］  ・・・（２）
いま、撮像装置１０で撮像したライトフィールド画像を構成する画素の分光応答度が所望の波長選択性（等色関数）にどれだけ近いかを知りたいので、ベクトルｘとベクトルｋの内積Ｓ＝ｘ・ｋを算出し、これを分光応答一致度とする。分光応答一致度算出部４１は、ライトフィールド画像を構成する各画素のそれぞれに対してこの処理を行って、各画素の分光応答一致度を算出する。
【００４０】
位置特定部４２は、分光応答一致度算出部４１での処理によって得られた各画素の分光応答一致度を用いて、フィルタ部２の各フィルタ域ＦＸ，ＦＹ，ＦＺに対応するマクロピクセル内の各画像領域ＭＸ，ＭＹ，ＭＺの位置をそれぞれ特定し、その位置情報を記憶部４５に格納する。
【００４１】
位置特定部４２がマクロピクセル内の画像領域ＭＸ，ＭＹ，ＭＺの位置を特定する方法としては、いくつかの方法が考えられる。例えば、マクロピクセルを構成する画素のうち、Ｘの等色関数に対する分光応答一致度が最大となるひとつの画素を画像領域ＭＸ内の画素とし、その位置情報を格納する方法が挙げられる。この方法は、後述の色検出部４４で色検出を行う際の正確さを高めることができるが、ばらつきが大きくなる。
【００４２】
また、マクロピクセルを構成する画素のうち、Ｘの等色関数に対する分光応答一致度が最大となる画素とその周辺画素を画像領域ＭＸ内の画素とし、その位置情報を格納する方法が挙げられる。この方法は、上記の方法に比べて色検出の際の正確さは低下するが、平均化の効果によりばらつきを抑制することができ、さらに、周辺画素の範囲を調整することで、正確さとばらつきのバランスをとることができるといったメリットがある。
【００４３】
また、Ｘの等色関数に対する分光応答一致度に対して予め閾値を定めておき、マクロピクセルを構成する画素のうち、Ｘの等色関数に対する分光応答一致度が閾値以上となる画素を画像領域ＭＸ内の画素とし、その位置情報を格納する方法が挙げられる。この方法ならば、色検出の際に一定以上の正確さの性能を保証することができる。
【００４４】
なお、以上では画像領域ＭＸの位置を特定する場合を例に説明したが、画像領域ＭＹ，ＭＺの位置についても同様の方法により特定することができる。
【００４５】
領域検出部４３は、記憶部４５が記憶する位置情報に基づいて、被写体の撮像時、つまり、被写体からの光がフィルタ部２に入射した際に受光素子アレイ４が出力するライトフィールド画像から、各マクロピクセルの画像領域ＭＸ，ＭＹ，ＭＺをそれぞれ検出する。また、本実施形態の領域検出部４３は、検出した各画像領域ＭＸ，ＭＹ，ＭＺの出力値をマクロピクセルの位置に応じて再配置することにより、中間画像を生成する。
【００４６】
具体的には、領域検出部４３は、ライトフィールド画像に含まれる各マクロピクセル内の画像領域ＭＸを検出し、検出した画像領域ＭＸの出力値（例えば、画像領域ＭＸを構成する画素の平均値）を各マクロピクセルの位置ｉ，ｊに従って再配置することにより、フィルタ部２のフィルタ領域ＦＸに対応する中間画像を生成する。すなわち、（ｉ，ｊ）＝（１，１）ならば、ライトフィールド画像の例えば左上端のマクロピクセル内の画像領域ＭＸの出力値を中間画像の左上端の画素の値とする。この処理を、ライトフィールド画像に含まれるすべてのマクロピクセルについて行うことで、フィルタ部２のフィルタ領域ＦＸを透過した光で形成された二次元画像である中間画像を生成することができる。
【００４７】
また、領域検出部４３は、ライトフィールド画像に含まれる各マクロピクセル内の画像領域ＭＹ，ＭＺについても同様の処理を行うことで、フィルタ部２のフィルタ領域ＦＹに対応する中間画像や、フィルタ領域ＦＺに対応する中間画像も生成することができる。
【００４８】
色検出部４４は、領域検出部４３が検出した各画像領域ＭＸ，ＭＹ，ＭＺの出力値に基づいて、上述した方法により被写体の色を検出する。本実施形態の色検出部４４は、領域検出部４３が生成した３つの中間画像（フィルタ部２のフィルタ領域ＦＸ，ＦＹ，ＦＺに各々対応する３つの中間画像）を用いることにより、被写体の異なる位置の色を個別に検出することができる。
【００４９】
なお、領域検出部４３は、３つの画像領域ＭＸ，ＭＹ，ＭＺに各々対応する中間画像を生成する代わりに、３つの画像領域ＭＸ，ＭＹ，ＭＺの代表的な出力値を取得する構成であってもよい。この場合、色検出部４４は、３つの画像領域ＭＸ，ＭＹ，ＭＺの代表的な出力値に基づいて、被写体の色を検出する。
【００５０】
以上のように、本実施形態の撮像装置１０では、調整時にライトフィールド画像の各画素についての分光応答一致度を算出し、この分光応答一致度を用いて、フィルタ部２の各フィルタ域ＦＸ，ＦＹ，ＦＺに対応する各画像領域ＭＸ，ＭＹ，ＭＺの位置をそれぞれ特定し、その位置情報を記憶部４５に格納する。そして、撮像装置１０を用いて実際に被写体を撮像して被写体の色を検出する際には、記憶部４５が記憶する位置情報を用いて、被写体の撮像により得られるライトフィールド画像から、各マクロピクセルの画像領域ＭＸ，ＭＹ，ＭＺを正しく検出することができる。そして、検出した画像領域ＭＸ，ＭＹ，ＭＺの出力値に基づいて、被写体の色を適切に検出することができる。
【００５１】
図１１は、演算処理装置４０のハードウェア構成の一例を示す図である。演算処理装置４０は、例えば図１１に示すように、ＣＰＵ（Central  Processing  Unit）５１と、ＣＰＵ５１を動作させるためのプログラムを格納するＲＯＭ（Read  Only  Memory）５２と、ＣＰＵ５１がプログラムを実行する際のワークメモリとして利用されるＲＡＭ（Random  Access  Memory）５３と、上述した記憶部４５として利用される不揮発ＲＡＭ５４と、カメラ部３０からの画像データを一時的に記憶する画像用ＲＡＭ５５とを備えている。
【００５２】
図７に示した演算処理装置４０の各処理機能（分光応答一致度算出部４１、位置特定部４２、領域検出部４３および色検出部４４）は、例えば、ＣＰＵ５１がＲＡＭ５３を利用してＲＯＭ５２に格納されたプログラムを読み出して実行することによって実現される。なお、上述した演算処理装置４０の各処理機能の一部あるいは全部を、例えばＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field-Programmable  Gate  Array）などの専用のハードウェアを用いて実現することもできる。
【００５３】
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の撮像装置１０によれば、フィルタ部２の各フィルタ領域ＦＸ，ＦＹ，ＦＺに対応する画像内の位置を正確に特定し、被写体の色の検出などを適切に行うことができる。
【００５４】
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態では、調整時にライトフィールド画像を構成する各画素についての分光応答一致度を算出する処理と、分光応答一致度を用いて画像領域ＭＸ，ＭＹ，ＭＺの位置を特定して位置情報を記憶部４５に格納する処理とを、調整装置が行う。以下、第１実施形態と同様の構成要素については同一の符号を付して重複した説明を適宜省略し、第２実施形態の特徴点のみを説明する。
【００５５】
図１２は、第２実施形態の撮像装置の具体的な構成例を示す図である。図１２に示す撮像装置７０は、レンズモジュール２０と、カメラ部３０と、演算処理装置８０とを備える。レンズモジュール２０およびカメラ部３０は、第１実施形態と同様である。演算処理装置８０は、第１実施形態の演算処理装置４０と異なり、領域検出部４３および色検出部４４のみを備え、分光応答一致度算出部４１および位置特定部４２は設けられていない。
【００５６】
第２実施形態では、撮像装置７０の調整時に、図１２に示す調整装置９０を用いる。この調整装置９０は、第１実施形態と同様の検査光生成部６０のほかに、演算処理装置１００を備える。この調整装置９０の演算処理装置１００に、第１実施形態の分光応答一致度算出部４１と同様の分光応答一致度算出部１０１と、第１実施形態の位置特定部４２と同様の位置特定部１０２とが設けられている。
【００５７】
調整装置９０は、撮像装置７０の調整時に、検査光生成部６０を動作させ、単色性を有する検査光の波長を順次変化させながら撮像装置７０のフィルタ部２に入射させる。そして、各波長の検査光がフィルタ部２に入射するたびに受光素子アレイ４が出力するライトフィールド画像のセットを、撮像装置７０から取得して演算処理装置１００に入力する。
【００５８】
演算装置１００の分光応答一致度算出部１０１は、第１実施形態の分光応答一致度算出部４１と同様に、撮像装置７０から取得したライトフィールド画像のセットをもとに、ライトフィールド画像を構成する各画素の分光応答度を算出し、その分光応答度と所望の波長選択性との一致度を表す分光応答一致度を算出する。
【００５９】
演算装置１００の位置特定部１０２は、第１実施形態の位置特定部４２と同様に、分光応答一致度算出部１０１での処理によって得られた各画素の分光応答一致度を用いて、フィルタ部２の各フィルタ域ＦＸ，ＦＹ，ＦＺに対応するマクロピクセル内の各画像領域ＭＸ，ＭＹ，ＭＺの位置をそれぞれ特定し、その位置情報を記憶部４５に格納する。
【００６０】
図１３は、撮像装置７０に対する調整を行う際の調整装置９０の処理手順を示すフローチャートである。なお、この図１３のフローチャートで示すステップＳ１０１〜ステップＳ１０５の処理手順は、第１実施形態の撮像装置１０に対する調整時にも適用できる。
【００６１】
撮像装置７０に対する調整を行う際、調整装置９０は、まず検査光生成部６０を動作させ、単色性を有する検査光の波長を順次変化させながら撮像装置７０のフィルタ部２に入射させる（ステップＳ１０１）。
【００６２】
次に、調整装置９０の分光応答一致度算出部１０１が、撮像装置７０の受光素子アレイ４が出力するライトフィールド画像のセットを取得し（ステップＳ１０２）、このライトフィールド画像のセットをもとに、ライトフィールド画像を構成する各画素の分光応答度を算出する（ステップＳ１０３）。
【００６３】
次に、分光応答一致度算出部１０１は、ライトフィールド画像を構成する各画素について、ステップＳ１０３で算出した分光応答度と所望の波長選択性との一致度を表す分光応答一致度をそれぞれ算出する（ステップＳ１０４）。
【００６４】
次に、調整装置９０の位置特定部１０２が、分光応答一致度算出部１０１での処理によって得られた各画素の分光応答一致度を用いて、フィルタ部２の各フィルタ域ＦＸ，ＦＹ，ＦＺに対応するマクロピクセル内の各画像領域ＭＸ，ＭＹ，ＭＺの位置をそれぞれ特定し、その位置情報を記憶部４５に格納し（ステップＳ１０５）、撮像装置７０の調整を終了する。
【００６５】
以上説明したように、第２実施形態では、ライトフィールド画像の各画素について分光応答一致度を算出する処理と、この分光応答一致度を用いて画像領域ＭＸ，ＭＹ，ＭＺの位置を特定して位置情報を記憶部４５に格納する処理とを、調整装置９０が行うようにしている。したがって、撮像装置７０での処理負荷を低減しながら、第１実施形態と同様の効果を得ることができる。
【００６６】
以上、本発明の具体的な実施形態について説明したが、本発明は上記の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々の変形を加えながら具体化することができる。例えば、以下のような変形例が考えられる。
【００６７】
（変形例１）
上述した第１実施形態および第２実施形態では、検査光生成部６０の分光手段６２を、回折格子６３と、スリット６４と、移動手段６５とで構成した。しかし、分光手段６２はこの例に限らず、例えば、色素を用いた吸収型フィルタや、誘電体多層膜を用いた干渉型フィルタを分光手段６２として用いてもよい。
【００６８】
（変形例２）
上述した第１実施形態および第２実施形態では、検査光生成部６０の光源６１として、キセノンランプを用いた。しかし、光源６１としては、キセノンランプに限らず、例えば、ハロゲンランプや発光ダイオードなどを用いるようにしてもよい。ハロゲンランプは、短波長側の光強度がキセノンランプよりも低いが、キセノンランプと同様に広い波長域にわたって強度を持つので、光源６１として用いることが可能である。また、発光ダイオードは、一般的に波長帯域はキセノンランプやハロゲンランプに比べて狭いが、光源６１として用いることは可能である。
【符号の説明】
【００６９】
１  メインレンズ
２  フィルタ部
３  マイクロレンズアレイ
４  受光素子アレイ
１０  撮像装置
４１  分光応答一致度算出部
４２  位置特定部
４３  領域検出部
４４  色検出部
４５  記憶部
６０  検査光生成部
６１  光源
６２  分光手段
６３  回折格子
６４  スリット
６５  移動手段
７０  撮像装置
９０  調整装置
１０１  分光応答一致度算出部
１０２  位置特定部
【先行技術文献】
【特許文献】
【００７０】
【特許文献１】特開２０１３−２１４９５０号公報
【図１】
2015170869.tif 000003
【図２】
2015170869.tif 000004
【図３】
2015170869.tif 000005
【図４】
2015170869.tif 000006
【図５】
2015170869.tif 000007
【図６】
2015170869.tif 000008
【図７】
2015170869.tif 000009
【図８】
2015170869.tif 000010
【図９】
2015170869.tif 000011
【図１０】
2015170869.tif 000012
【図１１】
2015170869.tif 000013
【図１２】
2015170869.tif 000014
【図１３】
2015170869.tif 000015