(57)【要約】【課題】物体の二次元の分光エネルギを同時且つ正確に測定できる撮像装置を提供する。【解決手段】メインレンズ２４の中心には、２つの分光特性を持つフィルタ２６が配置されている。フィルタ２６は、分光特性が異なる２つの光学的バンドパスフィルタ２６ａ、２６ｂから構成されている。メインレンズ２４の集光位置付近には、複数のマイクロレンズ（小レンズ）から構成されるＭＬＡ３が配置されている。イメージ面６には、メインレンズ２４により集光された光情報を電子情報に変換する受光手段としての受光素子アレイが配置されている。２つのバンドパスフィルタ２６ａ、２６ｂは、物体からの光に対し、入射角度依存性が無いかあるいはほぼ無い状態とする入射角度依存性低減構成を有している。入射角度依存性低減構成は、フィルタ基材に色素を含むことによりなされている。【選択図】図１
2014206494.tif 000002
【特許請求の範囲】
【請求項１】
光学系と、
前記光学系により集光された光情報を電子情報に変換する受光手段と、
を備え、
物体からの分光情報を取得する撮像装置において、
前記光学系の絞り付近には、複数の分光特性を有するフィルタが配置され、
前記光学系と、前記受光手段との間には、前記受光手段の二次元平面方向に略平行に複数のレンズが並んだレンズアレイが配置され、
前記フィルタは、物体からの光に対し、入射角度依存性が無いかあるいはほぼ無い状態とする入射角度依存性低減構成を有していることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記入射角度依存性低減構成が、色素を含むことによりなされていることを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記フィルタがガラスで構成され、前記入射角度依存性低減構成が、前記ガラス中に色素を分散させてなることを特徴とする撮像装置。
【請求項４】
請求項２に記載の撮像装置において、
前記フィルタがプラスチックで構成され、前記入射角度依存性低減構成が、前記プラスチック中に色素を分散させてなることを特徴とする撮像装置。
【請求項５】
請求項２に記載の撮像装置において、
前記入射角度依存性低減構成が、色素を含んだフィルムを貼り付けてなることを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記フィルタがガラスで構成され、前記ガラスに前記フィルムを貼り付けてなることを特徴とする撮像装置。
【請求項７】
請求項５に記載の撮像装置において、
前記フィルタがプラスチックで構成され、前記プラスチックに前記フィルムを貼り付けてなることを特徴とする撮像装置。
【請求項８】
請求項１〜７のいずれか１つに記載の撮像装置において、
前記フィルタの分光特性が異なる境界面において光が吸収されることを特徴とする撮像装置。
【請求項９】
請求項８に記載の撮像装置において、
前記境界面が光を吸収する接着剤で接着されていることを特徴とする撮像装置。
【請求項１０】
請求項８に記載の撮像装置において、
前記境界面が光を吸収する素材で覆われていることを特徴とする撮像装置。
【請求項１１】
物体からの分光情報を取得する撮像装置と、
前記撮像装置により取得された分光情報に基づいて複数種類の分光画像を生成する分光画像生成手段と、
を有する撮像システムにおいて、
前記撮像装置が、請求項１〜１０のいずれか１つに記載のものであることを特徴とする撮像システム。
【請求項１２】
請求項１１に記載の撮像システムにおいて、
前記撮像装置によって取得した低次元の分光情報から高次元の分光情報を推定する手段を有していることを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体からの分光情報を取得する撮像装置、該撮像装置を備えた撮像システムに関し、詳しくは、プレノプティックカメラの構成を基本構成とした撮像装置に関する。
【背景技術】
【０００２】
従来、物体から発する光の分光エネルギを測定する装置（撮像装置）として、各種の光学装置が知られている。
例えば、特許文献１には、振動可能な回折格子を備えた２次元分光分布測定光学装置が開示されている。
これは、回折格子を振動させて特定の波長の被写体像を得ることを特徴とするものである。回折格子を僅かに振動させることにより、順次、時分割で異なった特定の波長の被写体像が得られる。
【０００３】
刻々変化する環境条件等を考慮すると、撮像精度を上げるためには２次元の分光エネルギを同時に測定することが要求される。特に物体（被写体）が動くものである場合には同時測定でないと撮像精度が低下する。
しかしながら、特許文献１に記載の方式では、２次元の分光エネルギを同時に測定することはできない。
回折格子を振動させて２次元情報を得るため、２次元の分光エネルギを同時には測定していないからである。回折格子の振動速度をいかに速くしても時分割となることに変わりはない。
【０００４】
特許文献２には、物体から発する光を分光特性が異なる複数のバンドパスフィルタに通し、複数のレンズで集光して複数の２次元像を形成し、これらの２次元像を一括して撮像する２次元分光特性測定装置が開示されている。
この構成によれば、２次元の分光特性を同時に測定することができる。
【０００５】
この種のバンドパスフィルタは、一般的に、ガラス等の基材の表面を光学薄膜で被覆した構成となっている。
薄膜の光透過特性（分光特性）を変えることにより、複数の分光特性を得ることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、図２（ａ）に示すように、光学薄膜によるバンドパスフィルタは、分光透過率に関して入射角度依存性を有する。
これは、薄膜内での光路長が物体からの光の入射角度により変化し、干渉が生じる波長にも変化が生じるためである。
したがって、特許文献２に記載の構成では、２次元の分光特性を同時に測定することはできるものの、バンドパスフィルタが入射角度依存性を有するため、分光特性の測定精度が低下することを避けられなかった。
【０００７】
本発明は、このような現状に鑑みて創案されたもので、物体の二次元の分光エネルギを同時且つ正確に測定できる撮像装置の提供を、その主な目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は、光学系と、前記光学系により集光された光情報を電子情報に変換する受光手段と、を備え、物体からの分光情報を取得する撮像装置において、前記光学系の絞り付近には、複数の分光特性を有するフィルタが配置され、前記光学系と、前記受光手段との間には、前記受光手段の二次元平面方向に略平行に複数のレンズが並んだレンズアレイが配置され、前記フィルタは、物体からの光に対し、入射角度依存性が無いかあるいはほぼ無い状態とする入射角度依存性低減構成を有していることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、物体の二次元の分光スペクトルを同時かつ正確に測定することができ、撮像精度の向上に寄与することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る撮像装置の原理を説明するための模式図である。
【図２】バンドパスフィルタの入射角度依存性を示す特性図で、（ａ）は従来の光学薄膜を用いたバンドパスフィルタの特性図、（ｂ）は本発明のバンドパスフィルタの特性図である。
【図３】フィルタの斜視図である。
【図４】図１の構成で撮影された画像の平面図である。
【図５】図４の画像を構成する１つのマクロピクセルの拡大図である。
【図６】撮像システムの概要構成図で、（ａ）は正面図、（ｂ）は側面図である。
【図７】第２の実施形態におけるフィルタの斜視図である。
【図８】第３の実施形態におけるフィルタの斜視図である。
【図９】第４の実施形態におけるフィルタの斜視図である。
【図１０】第５の実施形態におけるフィルタの正面図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図を参照して説明する。
図１乃至図６に基づいて第１の実施形態を説明する。本実施形態に係る撮像装置及び撮像システムの具体的構成を説明する前に、図１に基づいて本実施形態に係る撮像装置の原理を説明する。
ここでは、分かり易く説明するために、光学系としてのメインレンズ２４は単レンズで示し、メインレンズ２４の絞り位置Ｓを単レンズの中心としている。
【００１２】
メインレンズ２４の中心には、複数（ここでは２つ）の分光特性（分光透過率）を持つフィルタ２６が配置されている。
フィルタ２６は、分光特性が異なる２つの光学的バンドパスフィルタ２６ａ、２６ｂから構成されている。
実際には、レンズ内にフィルタが位置することはない。
フィルタ２６は、メインレンズ２４の絞り付近に配置される。「絞り付近」とは、絞り位置を含み、種々の画角の光線が通過できる部位を意味する。
【００１３】
メインレンズ２４の集光位置付近には、複数のマイクロレンズ（小レンズ）から構成されるレンズアレイとしてのＭＬＡ３が配置されている。
イメージ面６には、メインレンズ２４により集光された光情報を電子情報に変換する受光手段としての受光素子アレイが配置されている。
受光素子アレイは複数の受光素子（センサ）からなる。以下においては、符号６を受光素子アレイとして表記する。
ＭＬＡ３のマイクロレンズの径と、受光素子アレイ６を構成する各受光素子とは、おおよそ３０：１〜２：１の比率の関係にある。
【００１４】
受光素子アレイ６は、画素ごとのカラーフィルタが実装されていないモノクロセンサである。以下、受光素子アレイを「モノクロセンサ」ともいう。
物体１から発する光のうち、メインレンズ２４の開口に入射する光束が分光エネルギ測定の対象となる。
メインレンズ２４に入射した光束は無数の光線の集合であり、それぞれの光線はメインレンズ２４の絞りの異なる位置を通過する。
【００１５】
ここでは、メインレンズ２４の絞り位置に２つのバンドパスフィルタ２６ａ、２６ｂを配置しているので、各光線は異なる分光透過率を持つ２つのバンドパスフィルタを通過することになる。
このとき、フィルタ面に入射する光線の角度は物体高さにより異なる。
これは図１中のＰ（光軸上）、Ｑ（軸外）で示す物体上の点から発した光束の主光線が異なる角度でメインレンズ２４の絞り面を通過することからもわかる。
【００１６】
フィルタ２６を構成する２つのバンドパスフィルタ２６ａ、２６ｂは、物体からの光に対し、入射角度依存性が無いかあるいはほぼ無い状態とする入射角度依存性低減構成を有している。その具体的構成については後述する。
図２にバンドパスフィルタの分光透過率の入射角度依存性の一例を示す。それぞれ、入射角度が０度、１５度、２５度について示している。
図２（ａ）は入射角度依存性のある場合、図２（ｂ）は入射角度依存性のほぼ無い場合である。
図２（ａ）に示すような特性は光学薄膜を用いた場合に一般的である。すなわち、ガラス等の基材の表面を光学薄膜で被覆した従来のバンドパスフィルタの特性を示している。
図２（ｂ）に示す特性は、本実施形態に係るフィルタ２６の特性を示している。
【００１７】
光学薄膜は光の干渉により、図２（ａ）に示すような特性となる。光学薄膜で入射角度依存性が明らかに現れるのは、薄膜内での光路長が入射角度により変化し、干渉が生じる波長にも変化が生じるためである。
図２（ｂ）に示すように、本実施形態に係るフィルタ２６では入射角度依存性は無いかあるいはほぼ無いに等しい。
バンドパスフィルタ２６ａ、２６ｂの分光透過率は入射角度依存性のほぼ無いものなので、物体高さによらず物体から発した光をほぼ一定の分光エネルギに分解することとなる。
フィルタ２６を通過した光線は、ＭＬＡ３付近で一旦結像するが、その後ＭＬＡ３により、それぞれセンサの別位置に到達する。
すなわち、センサ面の位置は光線が通過したフィルタ位置に対応するため、物体のある一点から発した光の分光エネルギを同時に測定することができる。
【００１８】
図３に基づいて、フィルタ２６の入射角度依存性低減構成を説明する。なお図３では分かりやすくするためにフィルタの厚みを誇張表示している（以下の他の実施形態において同じ）。
異なる透過帯域を持つバンドパスフィルタ２６ａ、２６ｂは、ガラスやプラスチックを基材としており、基材中に色素を分散させている。
バンドパスフィルタ２６ａ、２６ｂはそれぞれ色素の種類が異なることにより分光特性が異なる。
換言すれば、フィルタ２６は、異なる色素を含有したフィルタを組み合わせて構成されている。
バンドパス特性は光学薄膜でも実現することができるが、薄膜を用いると光線の入射角度により図２（ａ）で示したように分光透過率がシフトする。
【００１９】
これに対し、色素を用いると、図２（ｂ）で示したように入射角度による分光透過率の変化はほぼ無い。
これは色素によるバンドパス特性は電荷と光子の相互作用の結果だからである。つまり、色素分子のエネルギ準位によって吸収される光の波長が異なるためである。
よって、図１に示すように物体高さによりバンドパスフィルタへの光線の入射角度が変化する場合にも一定の分光透過率により光を分解できる。
入射角度依存性の無いあるいはほぼ無い状態は、色素を用いることによりなされる。
本実施形態では、バンドパスフィルタ２６ａ、２６ｂは直方体のものを上下に２つ並べた構成としているが、数量についてはさらに数を増やしてもよく、それぞれの形状についても、必ずしも直方体である必要はない。
【００２０】
二次元の分光エネルギを測定する手順を具体的に述べる。
図１の構成で撮影された画像は、図４に示すような小さな円が並んだものとなる。円になるのはメインレンズ２４の絞り形状が円であるためである。
それぞれの小さな円をここでは「マクロピクセル」と呼ぶこととする。各マクロピクセルはＭＬＡ３を構成する各小レンズの直下に形成される。
マクロピクセルの上半分には２つのバンドパスフィルタのうち、下側のバンドパスフィルタ２６ｂを通過してきた光線が到達し、下半分には上側のバンドパスフィルタ２６ａを通過してきた光線が到達する。
マクロピクセルの一つを拡大したものを図５に示す。
【００２１】
マクロピクセルの上半分と下半分それぞれの受光素子の出力値から、そのマクロピクセルに対応する物体位置の分光エネルギを測定することができる。
出力値は被写体（物体）から発した光のうちそれぞれのバンドパスフィルタを透過してきた光線の分光エネルギに受光素子の分光感度の積を乗じたものの総和に比例する。
受光素子の分光感度は設計時に既知なので、出力値を分光感度で除することで分光エネルギを求めることができる。
出力値のとりかたは各受光素子の平均値をとってもよいし、受光素子一つを選択してその出力値を代表値として採用してもよい。
【００２２】
図６に本実施形態に係る撮像システムの構成を示す。
撮像システム１０は、物体からの分光情報を取得する撮像装置１２と、撮像装置１２により取得された分光情報に基づいて複数種類の分光画像を生成する分光画像生成手段としてのＦＰＧＡ（Field-Programmable Gate Array）１４とを有している。
また、撮像システム１０は、生成された分光画像から画素毎の分光反射率を算出する制御部１６を有している。
制御部１６は、図示しない中央演算装置（ＣＰＵ）、記憶装置などから構成され、ＣＰＵにより実行されるソフトウェアにより分光反射率の計算を行う。
【００２３】
撮像装置１２は、レンズモジュール１８と、カメラ部２０とから構成されており、ＦＰＧＡ１４はカメラ部２０に内蔵されている。
レンズモジュール１８は、鏡筒２２と、該鏡筒２２内に設けられたメインレンズ２４と、フィルタ２６と、レンズ２８とを有している。
【００２４】
カメラ部２０は、その内部にＭＬＡ３と、モノクロセンサ６と、ＦＰＧＡ１４とを有している。
ＭＬＡ３は、メインレンズ２４の光軸と直交する方向に複数のマイクロレンズを配置した構成を有している。
換言すれば、ＭＬＡ３は、受光素子アレイ６の二次元平面方向に略平行に配置されている。
鏡筒２２の先端部には、光源としてのＬＥＤ３０が周方向に等間隔に埋設状態で複数設けられている。ＬＥＤ３０を光源とすることにより、撮影環境条件に左右されず安定した分光情報を取得することができる。
【００２５】
図７に基づいて第２の実施形態を説明する。上記実施形態と同一部分は同一符号で示し、特に必要がない限り既にした構成上及び機能上の説明は省略して要部のみ説明する（以下の他の実施形態において同じ）。
本実施形態では、色素を含んだフィルムをフィルタの基材に貼り付けた入射角度依存性低減構成を特徴とする。
図７に示すように、本実施形態に係るフィルタ２６Ｂは、ガラスやプラスチックなどで形成された基材２６Ｂｃの表面に、色素を含んだフィルム２６Ｂａと、フィルム２６Ｂｂとを貼り付けて構成されている。
【００２６】
本実施形態では、フィルタ基材に色素を含んだフィルム（バンドパスフィルム）を貼り付けるだけで分光特性が異なる複数のフィルタを容易且つ安価に作製することができる。
第１の実施形態では、分光特性が異なる複数のフィルタを結合して１つのフィルタ２６を構成したが、本実施形態では、１つの基材上に色素を含んだフィルムを領域を分けて貼り付けている。
すなわち、本発明における「複数の分光特性を有するフィルタ」とは、分光特性が異なるフィルタを複数組み合わせる場合と、一つのフィルタ上で領域毎に分光特性を異ならせる場合の双方の概念を含む。
【００２７】
図８に第３の実施形態を示す。
本実施形態では、色素と光学薄膜とを組み合わせた構成を特徴としている。
本実施形態におけるフィルタ２６Ｃは、色素を含むガラスやプラスチックからなるフィルタ本体２６Ｃｃと、フィルタ本体２６Ｃｃの表面に被覆された光学薄膜２６Ｃａ、２６Ｃｂとから構成されている。
色素と光学薄膜を両方用いることにより光学薄膜単体でバンドパス特性を実現した場合よりも分光透過率の入射角度依存性を低減し、分光エネルギ測定の正確さを向上させることができる。
【００２８】
すなわち、本実施形態では、光学薄膜単体の場合の分光透過率のシフト特性をフィルタ本体の色素によって低減するものである。
分かりやすくするために、薄膜コーティング（光学薄膜）には厚みを付けてあるが、実際は見た目では厚みを確認できるような厚さではなく数ｎｍから数百ｎｍである。
【００２９】
図９に第４の実施形態を示す。
本実施形態では、複数のバンドパスフィルタを結合する構成における境界面のクロストークの問題を解消することを目的としている。
第１の実施形態で示した構成において、バンドパスフィルタ同士の境界面を光をほぼ吸収する接着剤２６ｃで接着したものである。
境界面における散乱を無くすことで、マクロピクセルにおける光線のクロストークが無くなり正確性が向上する。
【００３０】
境界面におけるクロストーク対策としては、境界面を印刷などの方法により光を吸収する素材で覆うことでも同様の効果が期待できる。
その場合はフィルタの表裏両面を覆うことが好ましい。
【００３１】
次に第５の実施形態について説明する。
本実施形態では、低次元の分光情報から高次元の分光情報を推定する手段を有していることを特徴とする。
すなわち、バンドパスフィルタの数が少なくても、それによって得られた分光情報から高次元の分光情報を推定し、分光エネルギの測定精度を高めようとするものである。
このようにすれば、簡易且つ安価な構成でバンドパスフィルタの数を多くした場合と同等の分光エネルギ測定精度を得ることができる。
【００３２】
従来より、波長的に離散的な複数のバンドの出力から連続的な分光スペクトルを推定する方法が知られている。
図１０に、本実施形態に係るフィルタ３２を示す。フィルタ３２は、６つの扇形のバンドパスフィルタを並べて円板としたものである。
このようなバンドパスフィルタを組み込んだ構成とすると各マクロピクセルからは６つの出力値を得ることができる。出力値のとりかたは上述した通りである。
各マクロピクセルについて６バンドのデータを取得することで２次元の６バンド出力値を１枚の画像データから同時に取得することができる。
低次元情報（ここでは６バンド出力値）から高次元の分光情報（ここでは連続的な分光スペクトル）を推定する手法は、非特許文献１に開示されている方法を用いることができる。
【００３３】
以下に、照明を備えた構成として被写体の分光反射率を求める手法について述べる。
本実施形態における低次元の分光情報から高次元の分光情報を推定する手段は、制御部１６で実行されるソフトウェアである。
まず、分光反射率推定問題の定式化を行う。分光反射率推定問題は式（1）のように表される。
【００３４】
【数１】
2014206494.tif 000003
【００３５】
式（１）における各符号の意味は以下の通りである。
ｇ：各バンドデータを表すｍ×１の列ベクトル
ｒ：対象物の分光反射率を表すｌ×１の列ベクトル
Ｓ：ｌ×ｍの行列で、Ｉ番目の列はＩ番目のバンドの分光感度特性を表す。右上の添字ｔは行列の転置を表す。
Ｅ：ｌ×ｌの対角行列で、対角成分は、照明の分光エネルギ分布を表す。
本実施例の場合は、ｍ＝６である。ｌは求めたい分光反射率の波長方向のサンプリング数（例えば３０）である。
【００３６】
そうすると、式（１）は次に示す線形システムの形にまとめることができる。
【００３７】
【数２】
2014206494.tif 000004
【００３８】
式（２）において、Ｈをシステムマトリクスと呼ぶ。
バンドデータｇから対象物の分光反射率ｒを求めるが、本実施例のようにｍ＜ｌの場合、式（２）を満足する解が無数に存在して一意に定まらないようになる。
このような問題は一般的に不良設定問題と呼ばれる。不良設定問題でしばしば選択される解の一つに最小ノルム解がある。
式（２）でノイズを無視できる場合、最小ノルム解は下式で表される。
【００３９】
【数３】
2014206494.tif 000005
【００４０】
式（３）で求めた最小ノルム解が連続的な分光反射率である。
不良設定問題には最小ノルム解のほかにも主成分分析を用いる方法や、ウィナー推定を用いる方法なども既に非特許文献１に提案されており、これらの方法を用いてもよい。
分光反射率推定精度の観点からはウィナー推定を用いることが好ましい。
本実施形態では被写体の分光反射率を求める方法を述べたが、分光感度特性と照明の分光エネルギ分布を一体とみなすことで被写体から発した光の分光エネルギを測定することができる。
【００４１】
上記各実施形態では、入射角度依存性を低減する構成を具体化する手段として色素を例示したが、本発明はこれに限定される趣旨ではない。
入射角度依存性を低減する機能を有する材料であればこれを色素に代えて用いることにより、入射角度依存性低減構成を実現することができる。
【符号の説明】
【００４２】
３  レンズアレイとしてのＭＬＡ
６  受光手段としてのモノクロセンサ
１２  撮像装置
１４  分光画像生成手段としてのＦＰＧＡ
１６  分光情報を推定する手段としてのソフトウェア
２４  光学系としてのメインレンズ
２６  フィルタ
２６Ｂａ、２６Ｂｂ  フィルム
２６ｃ  接着剤
【先行技術文献】
【特許文献】
【００４３】
【特許文献１】特開平８−５００５７号公報
【特許文献２】特開平１１−２０１８１９号公報
【非特許文献】
【００４４】
【非特許文献１】［分光画像処理入門（2006）、三宅洋一、東京大学出版会］の第４章
【図１】
2014206494.tif 000006
【図２】
2014206494.tif 000007
【図３】
2014206494.tif 000008
【図４】
2014206494.tif 000009
【図５】
2014206494.tif 000010
【図６】
2014206494.tif 000011
【図７】
2014206494.tif 000012
【図８】
2014206494.tif 000013
【図９】
2014206494.tif 000014
【図１０】
2014206494.tif 000015