(57)【要約】【課題】新規な構造を備えたマルチスペクトル撮像装置を提供する。【解決手段】マルチスペクトル撮像装置は、撮像素子と、各々が所定の波長帯域において透過率のピークまたはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数とを合わせた総ピーク数が異なる第１から第Ｎの光学フィルタと、撮像用光源と、前記第１から第Ｎの光学フィルタを順次介して撮像することによって前記撮像素子における特定の色フィルタが配置された特定の光感知セルから順次出力された第１から第Ｎの光電変換信号を処理する信号処理回路と、を備える。前記所定の波長帯域は、前記色フィルタの透過波長帯域を含む。前記信号処理回路は、前記第１から第Ｎの光電変換信号に基づいて、前記透過波長帯域における被写体の分光反射特性を算出する。【選択図】図１
2018085679.tif 000002
【特許請求の範囲】
【請求項１】
複数の光感知セル、および前記複数の光感知セルの少なくとも一部に対向する特定の色の光を透過させる色フィルタを含む画素単位が撮像面に１次元的あるいは２次元的に配列された撮像素子であって、前記画素単位の各光感知セルは受光量に応じた光電変換信号を出力する、撮像素子と、
第１から第Ｎ（Ｎは２以上の整数）の光学フィルタであって、各々が所定の波長帯域において透過率のピークまたはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数とを合わせた総ピーク数が異なる第１から第Ｎの光学フィルタと、
撮像用光源と、
前記第１から第Ｎの光学フィルタを順次介して撮像することによって前記撮像素子における前記色フィルタが配置された光感知セルからそれぞれ出力された第１から第Ｎの光電変換信号を処理する信号処理回路と、
を備え、
前記第１から第Ｎの光学フィルタは、前記撮像用光源からの光が被写体で反射されて前記撮像素子に入射する迄の経路のいずれかの位置に配置され、
前記所定の波長帯域は、前記色フィルタの透過波長帯域を含み、
前記信号処理回路は、前記第１から第Ｎの光電変換信号に基づいて、前記透過波長帯域における被写体の分光反射特性を算出する、
マルチスペクトル撮像装置。
【請求項２】
前記第１から第Ｎの光学フィルタの各々の透過率Ｙは、前記所定の波長帯域における波長λと関係付けられた変数Ｚの変化に対して周期的に変化し、
前記信号処理回路は、少なくとも前記第１から第Ｎの光電変換信号と、独立変数を前記変数ＺとするＮ種類の周期関数と、前記波長λの微小変化に対する前記変数Ｚの変化値とを用いて、前記分光特性帯域における撮像画像の分光特性を算出する、
請求項１のマルチスペクトル撮像装置。
【請求項３】
前記第１から第Ｎの光学フィルタにおけるピークとアンダーピークの中間の透過率を有する平均化光学フィルタを備え、
前記平均化光学フィルタを介して撮像することによって前記色フィルタが配置された前記光感知セルから得られる第（Ｎ＋１）の光電変換信号をさらに用いて、前記透過波長帯域における被写体の分光反射特性を算出する、請求項１または２に記載のマルチスペクトル撮像装置。
【請求項４】
前記信号処理回路は、前記第１から第Ｎの光学フィルタを介さずに撮像することによって前記色フィルタが配置された前記光感知セルから得られる第（Ｎ＋１）の光電変換信号をさらに用いて、前記透過波長帯域における被写体の分光反射特性を算出する、請求項１または２に記載のマルチスペクトル撮像装置。
【請求項５】
前記信号処理回路は、前記第１から第Ｎの光電変換信号の平均値から前記第（Ｎ＋１）の光電変換信号を減算して得られる信号を生成する、請求項３に記載のマルチスペクトル撮像装置。
【請求項６】
前記信号処理回路は、前記撮像素子を含む前記マルチスペクトル撮像装置全体の分光感度特性を示すデータと、他の光学フィルタの分光透過特性を示すデータとを有し、
算出した前記透過波長帯域における前記被写体の分光反射特性を示す信号を用いて、前記他の光学フィルタを透過し光電変換される光の信号量を算出し、前記画素単位の各光電変換信号から前記信号量を減算し、新たな画像信号を生成する、
請求項１から５のいずれかに記載のマルチスペクトル撮像装置。
【請求項７】
前記色フィルタは、赤の波長帯域の光を透過させる、請求項１から６のいずれかに記載のマルチスペクトル撮像装置。
【請求項８】
前記他の光学フィルタは近赤外光を透過させる特性を有する、請求項７に記載のマルチスペクトル撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像することによって取得した画像から画素単位で被写体の反射分光特性を計測できるマルチスペクトル技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の撮像素子を用いたデジタルカメラの高機能化や高性能化には目を見張るものがある。特に、半導体製造技術の急速な進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の多画素化および駆動回路の高集積化が図られ、撮像素子の画質が大幅に改善されている。また、撮像素子の超小型化も実現されている。
【０００３】
最近では、カラー画質の改善も著しい。通常の赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３原色フィルタを用いたカラー撮像以外に、多数の色フィルタを用いて撮像することにより、被写体のカラー画像の品質を向上させることが行われている。例えば、特許文献１の中で紹介されているマルチスペクトルカメラは、ＣＣＤの前に分光特性が異なる多数の光学フィルタを装備し、各光学フィルタを機械的に入れ替えながら撮像する。これにより、撮像によって取得した各画像から被写体の詳細な色情報やスペクトル情報を得ることができる。
【０００４】
また、特許文献２は、光学フィルタを最適設計することにより、用いる光学フィルタの数を削減できるマルチスペクトルカメラを紹介している。
【０００５】
特許文献３は、１次元の撮像素子と、レンズを通して入射した光を分光するビームスプリッタと、任意の波長帯域の光を選択して透過させるチューナブルフィルタとを用いることにより、光学フィルタを入れ替える機構を用いずとも様々な波長帯域における画像が得られる技術を紹介している。
【０００６】
さらに特許文献４は、標準的なＲＧＢの色フィルタとそれら以外の色フィルタとを備える単板式のカラー撮像素子を用いて品質の良いカラー画像を得る技術を紹介している。
【０００７】
また特許文献５は、透過率のピーク数とアンダーピーク数を合わせた総ピーク数が異なる第１〜第Ｎ（Ｎは２以上の整数）の光学フィルタを撮像素子に有し、それらの分光特性を利用し、被写体からの反射分光特性を算出する技術を紹介している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−１８１０３８号公報
【特許文献２】特開２０１０−１２２０８０号公報
【特許文献３】特開２０１２−１３８６５２号公報
【特許文献４】特開２００８−１３６２５１号公報
【特許文献５】国際公開第２０１６／０３１９２２号
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１および特許文献２に開示されている従来技術では、複数の光学フィルタを入れ替える機械的な機構が必要である。そのため、撮像装置のサイズが大きくなり、また機械部分を定期的に保守しなければならないという課題がある。特許文献３に開示されている従来技術では、１次元の撮像素子を用いているため、２次元画像を得るには１次元の撮像素子を画素配列方向に対して垂直方向に移動（スキャン）させる機械的な機構が必要である。さらに、被写体が静止していなければ、撮像結果がブレを有する２次元画像になるという課題がある。また、特許文献４に開示されている従来技術では、使用される標準的なＲＧＢの色フィルタとそれら以外の色フィルタとが、各々特定の１つの（狭い）波長帯域の光のみを透過させるため、さらなる感度向上は期待できないという課題がある。特許文献５に開示されている従来技術は上記課題を解決するが、撮像素子における複数の画素上に複数の光学フィルタ（第１〜第Ｎの光学フィルタ）をそれぞれ配置しなければならないため、撮像素子の製造コストが高くなるという課題がある。
【００１０】
本発明は、特許文献５に開示されている従来技術を改善するものであり、第１〜第Ｎの光学フィルタを撮像素子の複数の画素上に直接配置しなくても被写体の反射分光特性を算出できる上、カラー撮像素子にも対応し、赤外カットフィルタも不要な低コストのカラー撮像システムを提供する。
【課題を解決するための手段】
【００１１】
本開示の一態様に係るマルチスペクトル撮像装置は、複数の光感知セル、および前記複数の光感知セルの少なくとも一部に対向する特定の色の光を透過させる色フィルタを含む画素単位が撮像面に１次元的あるいは２次元的に配列された撮像素子であって、前記画素単位の各光感知セルは受光量に応じた光電変換信号を出力する、撮像素子と、第１から第Ｎ（Ｎは２以上の整数）の光学フィルタであって、各々が所定の波長帯域において透過率のピークまたはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数とを合わせた総ピーク数が異なる第１から第Ｎの光学フィルタと、撮像用光源と、前記第１から第Ｎの光学フィルタを順次介して撮像することによって前記撮像素子における前記色フィルタが配置された光感知セルからそれぞれ出力された第１から第Ｎの光電変換信号を処理する信号処理回路と、を備える。前記第１から第Ｎの光学フィルタは、前記撮像用光源からの光が被写体で反射されて前記撮像素子に入射する迄の経路のいずれかの位置に配置されている。前記所定の波長帯域は、前記色フィルタの透過波長帯域を含む。前記信号処理回路は、前記第１から第Ｎの光電変換信号に基づいて、前記透過波長帯域における被写体の分光反射特性を算出する。
【００１２】
上記の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、記録媒体、またはこれらの任意の組み合わせで実現されてもよい。
【発明の効果】
【００１３】
本発明の一態様に係るマルチスペクトル撮像装置によれば、第１〜第Ｎの光学フィルタを撮像素子の複数の画素上に直接配置していないため、低コストの撮像システムが実現できる。また、第１から第Ｎの光学フィルタの所定の波長帯域が、複数の色フィルタのうちの特定の色フィルタの透過波長帯域を含むべく設定されているため、特定の色フィルタを透過して光電変換された光の信号から、特定の色フィルタの透過波長帯域における撮像画像の分光特性を算出できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態１におけるマルチスペクトル撮像装置の構成図である。
【図２】本発明の実施形態１における照明光制御液晶パネルの平面図である。
【図３】本発明の実施形態１における１ａ〜１ｈの８種類の光学フィルタとＮＤフィルタの分光特性図である。
【図４】本発明の実施形態１におけるカラー撮像素子のＲ画素、Ｇ画素、Ｂ画素の分光特性図である。
【図５Ａ】本発明の実施形態１におけるおよそ７４０ｎｍ（０．７４μｍ）に反射ピークを有する被写体の反射分光特性図である。
【図５Ｂ】シミュレーションにより当該被写体を撮像し、その反射分光を算出した結果を示す分光特性図である。
【図６Ａ】およそ６２０ｎｍ（０．６２μｍ）と、およそ９００ｎｍ（０．９μｍ）に反射ピークを有する被写体の反射分光特性図である。
【図６Ｂ】シミュレーションにより当該被写体を撮像し、その反射分光を算出した分光特性図である。
【図７】本発明の実施形態１における８種類の光学フィルタ各々を２枚重ねた場合の分光透過特性とその場合のＤＣフィルタの分光透過特性図である。
【図８】本発明の実施形態２における近赤外透過フィルタの分光特性図である。
【図９】図３に示す光学フィルタ１ａ〜１ｈの分光透過特性を合算平均した特性を示す図である。
【図１０】光学フィルタの分光特性の一例を示す図である。
【発明を実施するための形態】
【００１５】
（実施形態１）
本発明の第１の実施形態におけるマルチスペクトル撮像装置は、赤（Ｒ）の色フィルタ（およそ６００ｎｍ以上の光に対して高い透過率を有する）を含むカラー撮像素子と、Ｎ＋１個（Ｎは２以上の整数）の光学フィルタを含む照明装置と、を有する。マルチスペクトル撮像装置は、Ｎ＋１個の光学フィルタを順次切り替えて、個々の光学フィルタを介した光を照明光として被写体に照射し、その度に撮像する。Ｎ＋１個の光学フィルタのうちＮ個の光学フィルタの各々は、所定の波長帯域（例えば、５５０ｎｍ〜１０６０ｎｍであり、赤の色フィルタの光透過帯域を含む）において透過率のピークあるいはアンダーピークを１つ以上有する。Ｎ個の光学フィルタにおける透過率のピークの数とアンダーピークの数とを合わせた総ピーク数は、互いに異なる。残りの１個の光学フィルタは、透過率のピークとアンダーピークのほぼ中間の透過率を有する平均化光学フィルタ（「ＤＣフィルタ」と称することもある）である。本実施形態では、平均化光学フィルタの一例として、ＮＤ（Neutral Density）フィルタが用いられる。本実施形態では、Ｎ＝８であり、８種類の光学フィルタと１つのＮＤフィルタを用いる。
【００１６】
本明細書において、「ピーク」とは、上記所定の波長帯域のうち、透過率がその波長帯域における平均値を超える１つの連続した部分帯域内（その中では透過率が平均値以下になることはない）で透過率が最大になる点を意味する。一方、「アンダーピーク」とは、透過率が上記平均値を下回る１つの連続した部分帯域内（その中では透過率が平均値以上になることはない）で透過率が最小になる点を意味する。また、本明細書では画素を光感知セルと呼ぶこともある。
【００１７】
撮像画像から被写体の反射分光特性を算出する原理に関しては、特許文献５に開示された原理と同様である。すなわち、本実施形態の構成は、特許文献５に開示された構成とは異なるものの、利用するＮ個の光学フィルタの特徴と信号処理自体は同様である。具体的には、特許文献５では、所定の波長帯域が比較的広帯域（例えば、３８０ｎｍ〜７６０ｎｍ）であるＮ個の光学フィルタが配置されたＮ個の画素と、光学フィルタが配置されていない１個の画素とを１つの画素単位として、複数の画素単位が２次元状に隣接して配置される。それらの光電変換信号をＥ（ｉ）（ｉ＝１〜Ｎ、具体的にはＮ＝８）およびＥ（０）とし、これらの信号を用いた演算により、被写体の反射分光特性が算出される。これに対し、本実施形態では、所定の波長帯域が赤及びそれ以上の波長領域（近赤外の波長帯域）であるＮ個（上記したように具体的にはＮ＝８）の光学フィルタが利用される。そして、赤（Ｒ）の色フィルタが配置された画素（以下、Ｒ画素と称する）のみを対象として、同一のＲ画素に関して、Ｎ個の光学フィルタを切り替えて撮像した場合の画素信号をＥ（ｉ）（ｉ＝１〜Ｎ）とし、ＮＤフィルタを介して（あるいはＮＤフィルタを外して）撮像した場合の画素信号をＥ（０）とする。画素信号Ｅ（０）とＥ（ｉ）を用いて被写体の反射分光特性を算出することができる。以下、本実施形態における反射分光特性を算出する処理の基本原理を説明する。
【００１８】
Ｎ個の光学フィルタは、例えば所定の波長帯域の下限波長でピークを有し、所定の波長帯域の上限波長でピークまたはアンダーピークを有する。例えば、Ｎ個の光学フィルタのうち、第１の光学フィルタは所定波長帯域においてピークおよびアンダーピークを１つずつ有する総ピーク数が２つの光学フィルタであり得る。第２の光学フィルタは所定波長帯域において２つのピークおよび１つのアンダーピークを有する総ピーク数が３つの光学フィルタであり得る。第３の光学フィルタは所定波長帯域において２つのピークおよび２つのアンダーピークを有する総ピーク数が４つの光学フィルタであり得る。以下、同様に、第ｉ（ｉは１以上でＮ以下の整数）の光学フィルタの総ピーク数はｉ＋１である。このように、Ｎ個の光学フィルタは、その符番数の増加と共に総ピーク数が１つずつ増加する特徴がある。各光学フィルタの光透過特性は、波長に対して変動性を有する。
【００１９】
以上のＮ個の光学フィルタを光源の前に配置し、光学フィルタを切り替えながら、Ｎ＋１回の撮像が行われる。Ｎ＋１回の撮像には、ＮＤフィルタが配置された状態、またはいずれの光学フィルタも配置されていない状態で行われる撮像も含まれる。撮像素子は、典型的には赤、緑、青の色フィルタが複数の画素に対向して配置された一般的なカラー撮像素子であり得る。本実施形態における信号処理では、赤の色フィルタが配置された複数の画素からの信号のみが利用される。よって、撮像素子は、少なくとも赤または近赤外の波長域の光を透過させる色フィルタが配置された複数の画素を有していればよい。言い換えれば、撮像素子は、緑および青の色フィルタが配置された複数の画素を有していなくてもよい。
【００２０】
いずれの光学フィルタも配置されない状態、またはＮＤフィルタが配置された状態で撮像した場合、各Ｒ画素は、所定波長帯域の光を光電変換した信号を発生する。第１の光学フィルタが配置された状態で撮像した場合、各Ｒ画素は、所定波長帯域の全ての光成分のうちの１つの特定の（比較的狭い）波長帯域の光成分を特に多く含む光を光電変換した信号を発生する。第２の光学フィルタが配置された状態で撮像した場合、各Ｒ画素は、所定波長帯域の全ての光成分のうちの２つの特定の（比較的狭い）波長帯域の光成分を特に多く含む光を光電変換した信号を発生する。以下同様に、第ｉの光学フィルタが配置された状態で撮像した場合、各Ｒ画素は、所定波長帯域の全ての光成分のうちのｉ個の特定の（比較的狭い）波長帯域の光成分を特に多く含む光を光電変換した信号を発生する。
【００２１】
波長を独立変数、被写体の光反射率を従属変数とした関数を考えた場合、所定波長帯域において、光学フィルタを配置していない状態で取得された信号は、被写体の光反射率の直流成分を有すると考えられる。一方、第１〜第Ｎの光学フィルタが配置された状態で取得された信号は、上記直流成分の一部と被写体の光反射率分布におけるＮ個の交流成分を有すると考えられる。従って、それらの信号を用いると、被写体の光反射率を有限のフーリエ級数の形式で近似させることが可能である。この近似手法が本実施形態のアプローチである。
【００２２】
被写体のある１点からの反射光エネルギーを表す波長の関数が、所定の波長帯域λ１〜λ２（但しλ２−λ１＝Ｗ）で存在するとして、その関数を波長λ１からのシフト波長Ｘ（０≦Ｘ≦Ｗ）を用いてＦ（Ｘ）で表す。Ｆ（Ｘ）は、０≦Ｘ≦Ｗの範囲でのみ定義される関数であるが、以下の説明ではＦ（Ｘ）が偶関数であるものと仮定して、フーリエ余弦級数で展開することを考える。すると、Ｆ（Ｘ）は式１で示される有限のフーリエ余弦級数で近似できる。なお、シフト波長Ｘを、以下では単に波長Ｘと表現する場合がある。
【数１】
2018085679.tif 000003
但し、式１におけるａ（ｉ）は下記の式２で表され、ｉは０から予め設定された最大自然数Ｍまでの整数である。また、式２における積分範囲はＸ＝０〜Ｗである。
【数２】
2018085679.tif 000004
【００２３】
式２で示すａ（ｉ）が撮像素子の画素信号から作り出すことができれば、被写体の反射分光特性を近似的に算出できる。しかしながら、そのためには、各光学フィルタが、波長の変化に対して余弦的に変化する分光特性を有する必要がある。そのような光学フィルタはかなり特殊な光学フィルタと言える。本実施形態は、このような光学フィルタの特殊性を緩和するものでもあり、用いる光学フィルタの分光特性が波長の変化に対して必ずしも余弦的に変化するものでなくても良い。
【００２４】
例えば、光学フィルタの１つが図１０の実線で示される分光特性を有していたとして、その特性がＧ（Ｘ）で表されるとする。Ｇ（Ｘ）は、光透過率の最大値を１とした場合の透過比率（以下では「透過率」とも呼ぶ）が平均的にＫａであり、さらに波長によって透過率が変動し、その変動成分（交流成分とも言う）をその極大値と極小値との差ＰＰを用いて（ＰＰ／２）×ＡＣ（Ｘ）で表されるとする。すなわち、Ｇ（Ｘ）＝Ｋａ＋（ＰＰ／２）ＡＣ（Ｘ）で表現される。また、光学フィルタを配置していない状態では、撮像素子の表面の光反射等によって受光量が若干低下し、透過比率はＫｄであるとする。参考までに、図１０ではその特性を破線で表している。
【００２５】
被写体からの光が１００％光電変換されるとすると、光学フィルタを配置していない状態で取得された信号Ｓｄは以下の式３で表され、光学フィルタを配置した画素の信号Ｓａは式４で表される。
【数３】
2018085679.tif 000005
【数４】
2018085679.tif 000006
【００２６】
式３、式４から、式５が導かれる。被写体からの反射光が光学フィルタの交流成分によって減衰した場合の光の強度が画素信号の演算によって求められることがわかる。
【数５】
2018085679.tif 000007
【００２７】
いずれの光学フィルタのＡＣ（Ｘ）も余弦関数であれば、式２に示すフーリエ係数を求めることができ、その結果を用いて式１から被写体の反射分光特性Ｆ（Ｘ）を算出でき得る。しかし、各光学フィルタの分光特性が図１０のような変動性はあっても余弦関数でない交流成分を有している場合、式２及び式１を利用することは出来ない。
【００２８】
本実施形態はこの問題を解決したものであり、ある条件を満たせば光学フィルタの分光特性における変動が余弦関数で表されなくとも、被写体の反射分光特性を算出できる。そのある条件とは、いずれの光学フィルタにおいても、分光特性の交流成分ＡＣ（Ｘ）が波長Ｘと関係付けられた変数Ｚの変化に対して、余弦関数に近くなるということである。もしこの条件が成立すれば、式５の左辺は、
【数６】
2018085679.tif 000008
と近似できる。Ｚ'＝ｄＺ／ｄＸとすると、式５は式７で表される。
【数７】
2018085679.tif 000009
【００２９】
式７は、（Ｆ（Ｚ）／Ｚ'）のフーリエ係数を画素信号ＳａおよびＳｄを用いた演算で求められることを意味している。これにより、（Ｆ（Ｚ）／Ｚ'）を有限のフーリエ級数に展開した結果が得られ、その展開結果にＺ'を乗算し、さらにＦ（Ｚ）をＦ（Ｘ）に変換することにより、被写体の反射分光特性を求めることができる。
【００３０】
以上が本実施形態の基本原理である。以下、その基本原理をもとに本実施形態の具体例を説明する。
【００３１】
まず本実施形態におけるマルチスペクトル撮像装置の構成について説明する。図１は本実施形態におけるマルチスペクトル撮像装置の構成図である。このマルチスペクトル撮像装置は、結像レンズ１と、広帯域光学フィルタ９と、カラー撮像素子３と、信号発生／受信部４と、画像処理部６と、画像メモリー７と、信号出力部８と、被写体への照明用の光源１０と、照明光制御液晶パネル２と、液晶コントローラ５とを備えている。
【００３２】
結像レンズ１は、図１では単一のレンズとして描かれているが、複数のレンズの組み合わせであってもよい。広帯域光学フィルタ９は、本実施形態では波長４００ｎｍ〜１０６０ｎｍの光のみ透過させるように設計されている。カラー撮像素子３は本実施形態では赤緑青の色フィルタを用いたベイヤー配列のＣＭＯＳ型撮像素子であるが、赤系統の色フィルタを有したＣＣＤなどの他の種類のカラー撮像素子でもよい。信号発生／受信部４は、カラー撮像素子３からの画像信号を受信すると共にカラー撮像素子３を駆動するための信号をカラー撮像素子３に送る。加えて照明光を制御するための信号を液晶コントローラ５に送る。
【００３３】
信号発生／受信部４は、例えばＣＭＯＳドライバなどのＬＳＩから構成され得る。画像処理部６は信号発生／受信部４からの画像信号を画像メモリー７に送信すると共に画像メモリー７からの画像信号を読み出して処理する。画像処理部６は、例えば公知のデジタル信号処理プロセッサ（ＤＳＰ）などの信号処理回路と、本実施形態における画像処理を実行するソフトウェアとの組合せによって実現され得る。あるいは、画像処理部６は、専用のハードウェアから構成されていてもよい。本実施形態における信号処理は、画像処理部６における信号処理回路によって実行される。画像メモリー７は、例えばＤＲＡＭやＳＲＡＭなどの公知の半導体メモリーによって構成され得る。信号出力部８は画像処理部６からの信号を外部に出力する。具体的には、撮像画像や算出した反射分光特性データ等を出力する。
【００３４】
光源１０は被写体への照明用光源であり、本実施形態では色温度４０００Ｋのハロゲン光源である。光源１０は発光の分光特性が既知であれば、他の種類の光源、例えば、蛍光灯、ＬＥＤ、またはＬＥＤアレイでも構わない。照明光制御液晶パネル２は光源１０からの光を受け、被写体へ照明としての光特性を切り替えるものであり、８個の光学フィルタと１つのＮＤフィルタが同一平面上に隣接して配置された複合光学フィルタ２ａと、それに接合された透過光量調整用の液晶パネル２ｂとを含む。
【００３５】
図２は、照明光制御液晶パネル２における複合光学フィルタ２ａの構成を示す平面図である。透過率のピークおよびアンダーピークの数が少ない順に１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈと付番された８個の光学フィルタと、ＮＤフィルタとが同一平面上に配列されている。複合光学フィルタ２ａの背面に、液晶パネル２ｂが接合されている。但し、各フィルタの配置は図示されている配置に限ったものではなく、別な配置でも問題はない。
【００３６】
図３は、８個の光学フィルタ１ａ〜１ｈとＮＤフィルタの分光特性（透過率の波長依存性）を示す図である。光学フィルタ１ａ〜１ｈは、その順に所定の波長帯域内での透過率におけるピークおよびアンダーピークの数が増加する。同図で縦軸は相対透過比率を表し、横軸は波長を表し、横軸の単位はマイクロメートル（μｍ）である。なお、本実施形態における「所定の波長帯域」は、５５０ｎｍ〜１０６０ｎｍである。８個の光学フィルタ１ａ〜１ｈは、例えば屈折率２．３のチタン系酸化膜を用い、透明ガラス基板上にその厚さを変えて蒸着することにより作製され得る。本実施形態では、波長帯域５５０ｎｍ〜１０６０ｎｍでは、８個の光学フィルタ１ａ〜１ｈは、５５０ｎｍでピークを有し、１０６０ｎｍではピークまたはアンダーピークを有する。波長帯域５５０ｎｍ〜１０６０ｎｍにおける透過率のピークとアンダーピークとを合わせた総数は、光学フィルタ１ａについては２つ、光学フィルタ１ｂについては３つ、光学フィルタ１ｃについては４つ、光学フィルタ１ｄについては５つ、光学フィルタ１ｅについては６つ、光学フィルタ１ｆについては７つ、光学フィルタ１ｇについては８つ、光学フィルタについて１ｈは９つである。
【００３７】
各光学フィルタの透過率は、波長の増加と共に繰り返し変動するが、それらの周期は一定ではない。しかしながら、波長と関係付けた他の変数に対しては一定周期になり得る。本実施形態では、波長をＸ、各光学フィルタの透過率をＹとし、例えば次の式８、９で示すＸの２次関数で表したＺを独立変数とすると、透過率Ｙの変動成分は余弦関数で近似できる。
【数８】
2018085679.tif 000010
【数９】
2018085679.tif 000011
【００３８】
なお、本明細書においては、近似的に周期関数のように変化することを「周期的に変化する」と表現する。本明細書における周期的な変化は、必ずしも厳密な意味での周期的変化を意味しない。
【００３９】
図４は、カラー撮像素子３のＲ画素、Ｇ画素（緑の色フィルタが配置された画素）、Ｂ画素（青の色フィルタが配置された画素）の分光特性（フィルタの透過率の波長依存性）を示す図である。図４における縦軸は相対透過比率を表し、横軸は波長を表し、横軸の単位はナノメートル（ｎｍ）である。本実施形態では、Ｒ画素の光電変換信号を用いて被写体の反射分光特性が算出される。このため、図４において実線で示されているＲ画素の透過率が高くなる波長帯域（およそ６００ｎｍ以上の波長帯域）が検出対象とされる。本実施形態では、特に近赤外の波長帯域におけるスペクトル解析が行える点が特徴の１つである。
【００４０】
次に本実施形態におけるマルチスペクトル撮像装置の撮像動作について説明する。光源１０を点灯後、光学フィルタ１ａ〜１ｈとＮＤフィルタの背後にある９個の液晶領域の光透過率を順番に高くして光を透過させるように信号発生／受信部４が液晶コントローラ５に指示（制御信号）を送る。液晶コントローラ５は、その指示に従い液晶パネル２ｂを制御する。例えば、光学フィルタ１ａの背後にある液晶領域は光を透過させる状態にし、その他の液晶領域は光を遮断する状態にする。そうすると、光学フィルタ１ａを透過した光のみが照明光となる。撮像は、光を透過させる光学フィルタが切り換わる毎に行われ、９回の撮像で１つの撮影が完了する。以下の説明において、ＮＤフィルタに対向する液晶領域が透過状態にあるときにＲ画素から得られる光電変換信号（画素信号）をＥ（０）と表し、第１から第８の光学フィルタ１ａ〜１ｈに対向する液晶領域が透過状態にあるときにＲ画素から得られる光電変換信号を、それぞれＥ（１）〜Ｅ（８）と表す。
【００４１】
次に本実施形態におけるマルチスペクトル撮像装置の信号処理について説明する。本実施形態における画像処理部６は、画素信号Ｅ（ｉ）（ｉ＝０〜８）からフーリエ係数ａ（ｉ）（ｉ＝０〜８）を算出しフーリエ級数展開を用いて被写体の反射分光特性を算出する。より具体的には、特許文献５に開示されているように、画像処理部６は、以下の処理を行う。
【００４２】
以下の説明において、光学フィルタ１ａ〜１ｈおよびＮＤフィルタの特性に関して、図１０に記した記号をそのまま用いる。ただし、以下の説明では、シフト波長ではなく実際の波長をＸと表す。波長帯域５５０ｎｍ〜１０６０ｎｍにおいて、波長Ｘと被写体の反射分光特性を示す関数Ｆ（Ｘ）とを用いて、画素信号Ｅ（０）、Ｅ（１）〜Ｅ（８）を表すと、以下の式１０、式１１で表される。
【数１０】
2018085679.tif 000012
【数１１】
2018085679.tif 000013
但し、ＡＣ（ｉ，Ｘ）の入力変数について、ｉは色フィルタ１ａ〜１ｈの順に付番した数値（１〜８）で、Ｘは上記の波長である。
【００４３】
式１０及び式１１から、次の式１２が得られる。
【００４４】
【数１２】
2018085679.tif 000014
【００４５】
ＡＣ（ｉ，Ｘ）は、余弦関数で近似できる。よって、式１２は次の式１３で表すことができる。
【数１３】
2018085679.tif 000015
【００４６】
Ｚ'＝ｄＺ／ｄＸとすると、式１３は次の式１４で表される。
【数１４】
2018085679.tif 000016
【００４７】
Ｆ（Ｚ）／Ｚ'のフーリエ係数について、ａ（０）は（２／Ｗ）∫（Ｆ（Ｚ）／Ｚ'）ｄＺであるが、それは（２／Ｗ）∫Ｆ（Ｘ）ｄＸと同じである。このため、ａ（０）は、式１０を用いて次の式１５で表される。
【数１５】
2018085679.tif 000017
【００４８】
一方、ｉ≧１におけるａ（ｉ）は、式２より、式１４を用いて次の式１６で表される。
【数１６】
2018085679.tif 000018
【００４９】
式１５、式１６から得られるフーリエ係数を用いて、Ｆ（Ｚ）／Ｚ'は、次の式１７に示すフーリエ級数で近似的に展開できる。
【数１７】
2018085679.tif 000019
【００５０】
なお、式１７においては、式１におけるシフト波長Ｘに相当する値は（Ｘ−５５０）である。この結果にＺ'の値を乗算すれば、Ｆ（Ｚ（Ｘ））すなわちＦ（Ｘ）が求まる。
【００５１】
以上のように、撮像素子の画素信号を用いてフーリエ係数を算出し、それらを用いて、式１のフーリエ級数展開とＺ'の乗算により被写体の反射分光特性を近似的に算出できる。
【００５２】
本実施形態の場合、上記の式において、Ｗは所定の波長帯域（５５０〜１０６０ｎｍ）の波長幅である５１０ｎｍであるが、式１５及び式１６ではその波長幅を固定値πとする。ＫｄはＮＤフィルタの平均透過比率で例えば０．７９７、Ｋａは光学フィルタ１ａ〜１ｈ全体の平均透過比率で同じく例えば０．７９７、ＰＰは光学フィルタ１ａ〜１ｈ全体の透過比率ピークとアンダーピークの平均的な差で例えば０．２５５である。また、式１７におけるＸは所定の波長帯域における波長であり、その範囲は５５０〜１０６０ｎｍである。式１７におけるＺは波長Ｘと関係付けられた従属波長値であり、それらの関係式は式８と式９で表される。Ｚ’はＺをＸで微分した結果であり、波長Ｘにより決定される。なお、式１７では被写体の反射分光特性がＦ（Ｚ）で表現されているが、Ｚは波長Ｘで表されるので、Ｆ（Ｘ）と表現しても良い。
【００５３】
前述したように１回の撮影は照明光のスペクトルを変えながら９回の撮像で完了する。各々の画像はカラー撮像素子３で光電変換され電気信号になり、信号発生／受信部４、画像処理部６を介して画像メモリー７に記録される。画像処理部６は画像メモリー７に記録された９個の画像情報（Ｒ画素信号のみ）を１画像ずつ読み出し、１つのＲ画素位置において信号値Ｅ（０）〜Ｅ（８）を決定し、式１５から式１７までの信号処理を行い、さらにそれらの処理を全画面にわたって行う。
【００５４】
以下、被写体の反射分光特性を算出したシミュレーションの結果を説明する。但し、シミュレーション条件として、光源は色温度４０００Ｋのハロゲン灯とし、光学フィルタは図３に示す分光特性を有し、カラー撮像素子のＲ画素は図４の実線で示す分光特性（感度）を有するものとする。さらに、画素信号の調整として、Ｅ（１）〜Ｅ（８）の信号を1.025倍してその後の処理を実施する。
【００５５】
図５Ａは、およそ７４０ｎｍ（０．７４μｍ）に反射率のピークを有する被写体の反射分光特性を示している。図５Ｂは、当該被写体を撮像し、その反射分光特性を算出したシミュレーションの結果を示している。また、図６Ａは、およそ６２０ｎｍ（０．６２μｍ）およびおよそ９００ｎｍ（０．９μｍ）に反射率のピークを有する被写体の反射分光特性を示している。図６Ｂは、当該被写体を撮像し、その反射分光特性を算出したシミュレーションの結果を示すものである。いずれの結果も実際の分光特性とシミュレーションによる分光特性は完全に一致するものではないが、大局的には類似していることがわかる。
【００５６】
以上のように本実施形態のマルチスペクトル撮像装置は、赤の色フィルタを含むカラー撮像素子と、９個の光学フィルタを含む照明装置とを有している。９個の光学フィルタのうちの１個はＮＤフィルタであり、残り８個の光学フィルタの各々は、その光透過帯域が、上記赤の色フィルタの光透過帯域を含み、所定の波長帯域において透過率のピークあるいはアンダーピークを１つ以上有し、透過率のピークの数とアンダーピークの数とを合わせた総ピーク数が異なる。撮像装置は、９個の光学フィルタを順次切り替えて、個々の光学フィルタを介した光を照明光として被写体に照射し、その度に撮像する。撮像した画像群からＲ画素の信号によって形成される画像のみを取り出し、上記式８〜式１０を用いて赤色〜近赤外の波長領域における被写体の反射分光特性を算出できる。このことは、照明を工夫することにより、特殊な撮像素子を用いたカメラでなく通常のカラーカメラを用いても、人間の視覚では捉えられない近赤外帯域のスペクトル解析を実現できることを意味している。その実用的効果には大なるものがある。
【００５７】
なお、本実施形態では光学フィルタを９個としたが、これに限定されるものではなく、むしろ個数を多くした方がスペクトル解析の精度が向上する。また、本実施形態では、ＮＤフィルタを用いたが、その他の光学フィルタにおけるピークとアンダーピークの中間の透過率を有する他の種類の光学フィルタ（ＤＣフィルタ）を用いても同様の効果は得られる。さらに複合光学フィルタの８個の光学フィルタでは、チタン系酸化膜を蒸着させた透明ガラス基板を１枚ずつ用いたが、同種の光学フィルタを複数枚重ねても問題はない。そのような構成では光透過率は若干低下するが、透過率のピークとアンダーピークの差が広がるためスペクトル解析精度は向上する。参考までに、８個の光学フィルタ１ａ〜１ｈの各々を２枚重ねた場合の分光透過特性とその場合のＤＣフィルタの分光透過特性を図７に示す。
【００５８】
さらに本実施形態では、照明光制御液晶パネル２を光源１０の前に配置したが、これに限定するものではない。例えば小型化が必要ではあるものの、照明光制御液晶パネル２をカメラレンズの瞳部分に配置しても問題はない。すなわち、光源から被写体までの間、あるいは被写体から撮像装置の撮像部の間のどこかにＮ＋１個の光学フィルタが配置され、それらの光学フィルタの各々を介して撮像できれば、上記処理により同様な結果を得ることができる。また、本実施形態では、波長４００ｎｍ〜１０６０ｎｍの光のみを透過させる広帯域光学フィルタ９を用いたが、通常のＣＣＤやＣＭＯＳのイメージセンサーでは当該領域以外の波長帯域で感度特性が極めて低いので、広帯域光学フィルタ９を用いずとも問題はない。また、カラー撮像素子３の画素単位の中でＲ画素の分光感度特性をターゲットとしてＮ＋１個の光学フィルタの分光特性が設計されたが、黄色の色フィルタを有する画素でも赤および近赤外波長を透過させるため、当該画素をターゲットとしてＮ＋１個の光学フィルタを設計しても良い。さらに赤および近赤外波長帯域を対象としたスペクトル解析だけでなく、例えば青や紫外波長帯域を対象としたスペクトル解析ができるよう色フィルタを選定し、Ｎ＋１個の光学フィルタを設計しても良い。
【００５９】
（実施形態２）
次に本発明の第２の実施形態を説明する。本実施形態では、上記第１の実施形態と装置構成および信号処理は同じであるが、画像処理部に予め登録した他の光学フィルタ（以下、「特殊光学フィルタ」と称する。）の分光特性データ、撮像素子の分光感度データと撮像装置全体の光学系の分光透過特性データ等を有し、それらの分光特性データを用いた信号処理が追加される。具体的には、特殊光学フィルタは近赤外光を透過させるフィルタ（以下、近赤外透過フィルタとも称する）である。
【００６０】
本実施形態の目的は、通常のカラーカメラでは不可欠な赤外カットフィルタを除去しても正常なカラー画像が得られるようにすることである。そのためにはカラーカメラにおいて赤外カットフィルタを実装することにより近赤外光成分が信号としてどの程度除去されるか調べる必要がある。本実施形態では、その近赤外光成分の信号量を推定するため、画像処理部に特殊光学フィルタとして近赤外透過フィルタの分光特性データを予め登録しておく。撮像画像から赤の波長帯域以上の波長帯域における分光特性を算出すれば、近赤外透過フィルタの分光特性と撮像装置全体の各種分光特性等から近赤外光成分の信号量が算出できる。
【００６１】
以下、上記の近赤外光成分の算出について説明する。但し、実施形態１と同様な信号処理を行い、被写体画像の（赤の波長帯域以上の波長帯域における）分光特性を算出したとして、その後の処理について説明する。
【００６２】
被写体画像の分光特性が算出され、その透過比率をＯ（Ｘ）と表す。ここで、Ｘは波長であり、Ｒ画素の光透過波長帯域から被写体画像の分光特性が算出されるため、Ｏ（Ｘ）は赤より短い波長帯域では、その値は殆ど０と考えられる。
【００６３】
本実施形態では、実施形態１と同じくベイヤー配列のカラー撮像素子を用いており、Ｎ＋１個の光学フィルタの中でＮＤフィルタを用いて撮像した場合、被写体画像の正確なＲＧＢ信号（以下では、それぞれＲo、Ｇo、Ｂoと表記する）が得られる。一方で、算出された被写体画像の分光特性とカラー撮像素子を含む撮像装置全ての分光特性を用いて、赤（Ｒ）信号に関しては以下の式１３により算出できる。但し、カラー撮像素子を除く撮像装置全ての分光特性をＳ（Ｘ）、カラー撮像素子のＲ画素の分光感度特性をＲ（Ｘ）とし、算出されるＲ信号をＲcと表記する。撮像により得られる信号Ｒoと算出された信号Ｒcは数値としては異なるが、本来同じ値であると考えられる。そこでその比率Ｒo／Ｒcを計算する。
【数１８】
2018085679.tif 000020
【００６４】
次に赤信号Ｒoの中の近赤外光成分の信号量を推定するため、近赤外透過フィルタを用いた場合の信号量を以下の式１９により算出する。但し、近赤外透過フィルタの分光特性をＩＲ（Ｘ）とし、算出される近赤外光成分の信号をＲirと表記する。ここで、近赤外透過フィルタの分光特性の１例を図８に示す。なお、同図で縦軸は相対透過比率、横軸は波長で単位はナノメートル（ｎｍ）である。
【数１９】
2018085679.tif 000021
【００６５】
算出された近赤外光成分の信号Ｒirと比率Ｒo／Ｒcから、それらを乗算することにより、すなわちＲir×（Ｒo／Ｒc）の演算により、赤信号Ｒoの中の近赤外光成分の信号量Ｒo_irを算出できる。Ｒo_irが求まれば、赤信号ＲoからＲo_irを減算することにより、近赤外光を除去した赤信号を生成できる。
【００６６】
次に緑（Ｇ）信号および青（Ｂ）信号における近赤外光成分の算出処理について説明する。本実施形態では、カラー撮像素子のＲ画素だけでなくＧ画素およびＢ画素の分光感度特性を有し（具体的には図４に示されている）、それらの特性から赤の波長帯域以上の波長帯域におけるＧ信号、Ｂ信号を算出できる。さらに近赤外透過フィルタを用いた場合の信号量も以下の式２０と式２１により算出できる。なお、両式においてＧ（Ｘ）、Ｂ（Ｘ）は、カラー撮像素子のＧ画素、Ｂ画素の分光感度特性をそれぞれ表しており、算出される近赤外光成分の信号をそれぞれＧir、Ｂirと表記する。
【数２０】
2018085679.tif 000022
【数２１】
2018085679.tif 000023
【００６７】
ここで、赤の波長帯域およびそれよりも長い波長帯域でＲ画素における近赤外光成分を算出したが、同じ波長帯域であれば、その帯域における分光特性が変わろうとも算出された信号と実際に出力された信号は同じものと考えられる。すなわちそれらの比率は一定と考えられ、比率Ｒo／ＲcがＧ画素およびＢ画素における近赤外光成分の算出の場合にも適用できる。
【００６８】
そこで、緑信号Ｇoの中の近赤外光成分の信号量Ｇo_irをＧir×（Ｒo／Ｒc）の演算により算出し、青信号Ｂoの中の近赤外光成分の信号量Ｂo_irをＢir×（Ｒo／Ｒc）の演算により算出する。Ｇo_ir、Ｂo_irが求まれば、緑信号Ｇo、青信号ＢoからそれぞれＧo_ir、Ｂo_irを減算することにより、近赤外光を除去した緑信号、青信号を生成できる。
【００６９】
以上のように、本実施形態のマルチスペクトル撮像装置は、ＮＤフィルタを用いて撮像した場合のＲＧＢの画像信号と、算出された被写体画像の（赤の波長帯域およびそれよりも長い波長帯域における）分光特性と、予め特殊光学フィルタとして登録した近赤外透過フィルタの分光特性データと、撮像素子の分光感度データと、撮像装置全体の光学系の分光透過特性データとを用いて、近赤外透過フィルタを用いた場合の画素信号を算出する。当該信号を撮像により得られたＲＧＢ信号から減算することにより、赤外カットフィルタを用いずとも正常なカラー画像を得ることができる。
【００７０】
なお、本実施形態では、近赤外透過フィルタに関してその分光特性を図８に示したが、これはあくまで１例であり、近赤外光を透過させるものであれば、その他の分光特性でも良い。また、画像処理部に近赤外透過フィルタの分光特性を予め登録したが、その他赤外カットフィルタと透明フィルタの分光特性を登録しておき、それらの差分処理により近赤外透過フィルタの分光特性を算出してもよい。
【００７１】
本実施形態では、Ｒ、Ｇ、Ｂの全ての画素を有するカラー撮像素子が用いられているが、必ずしもカラー撮像素子を用いる必要はない。例えば、Ｇ画素を有しない撮像素子を用いることもできる。以下、そのような撮像素子を用いて被写体の緑の波長の情報を取得する方法を説明する。
【００７２】
上記の実施形態における８個の光学フィルタ１ａ〜１ｈにおける分光透過特性を合算平均した分光特性は、特定のバンドパスフィルタの分光透過特性と同等になる。例えば、図３に示す光学フィルタ１ａ〜１ｈの分光透過特性を合算平均すると、図９に示すような特性になる。そこで、画素信号Ｅ（１）〜Ｅ（８）の合算平均値から、ＮＤフィルタ（平均化フィルタ）を介した撮像によって得られる画素信号Ｅ（０）を減算することにより、ピーク波長がおよそ０．５５μｍ（５５０ｎｍ）である緑（Ｇ）フィルタを介して得られる画像信号と同様の信号が得られる。すなわち、緑フィルタが配置されたＧ画素がなくても、緑の信号を作れるというメリットがある。
【００７３】
仮に撮像素子の分光感度が、青色の光について極めて低い場合、緑の信号を作れるということは、赤（Ｒ）フィルタがなくても、作り出した緑信号を各画素信号から減算すれば、各画素はＲ画素の信号に相当する信号を作り出せることを意味する。このことから、赤フィルタを省略することも可能であり、すなわち色フィルタは不要になる。
【００７４】
さらに、光学フィルタ１ａ〜１ｈに関して、上記「所定の波長帯域」の設計値を、例えば４７０ｎｍ〜９００ｎｍ弱にすると、各光学フィルタの合算平均値から、ピーク波長がおよそ４７０ｎｍである青（Ｂ）フィルタを介して得られる画像信号と同様の信号（Ｂ信号と呼ぶ）を作り出すことができる。この信号を各画素信号から減算すると、緑の波長以上の成分の信号が得られる。すなわち、光学フィルタ１ａ〜１ｈを用いて、緑の波長から９００ｎｍ弱の波長までをスペクトル解析できる。言い換えれば、Ｇ信号およびＲ信号を作り出すことができ、上記のＢ信号と合わせると、ＲＧＢのカラー信号も作り出すことができる。撮像素子によっては、およそ８５０ｎｍ以上は分光感度がかなり低く、また、青の波長以下の光の分光感度が低いため、広帯域フィルタも赤外カットフィルタも用いることなく、カラー情報を取得可能なマルチスペクトルカメラを実現できる。
【００７５】
このように、信号処理回路は、第１から第Ｎの光学フィルタを介して撮像することによって得られる第１から第Ｎの光電変換信号の平均値から、平均化光学フィルタを介して撮像することによって得られる第（Ｎ＋１）の光電変換信号を減算して得られる信号を生成してもよい。これにより、特定の色に対応した画素がない場合でも、その色の情報を取得し得る。
【００７６】
以上のように、本開示は、以下の項目に記載のマルチスペクトル撮像装置を含む。
【００７７】
［項目１］
複数の光感知セル、および前記複数の光感知セルの少なくとも一部に対向する特定の色の光を透過させる色フィルタを含む画素単位が撮像面に１次元的あるいは２次元的に配列された撮像素子であって、前記画素単位の各光感知セルは受光量に応じた光電変換信号を出力する、撮像素子と、
第１から第Ｎ（Ｎは２以上の整数）の光学フィルタであって、各々が所定の波長帯域において透過率のピークまたはアンダーピークを１つ以上有し、且つ前記ピークの数と前記アンダーピークの数とを合わせた総ピーク数が異なる第１から第Ｎの光学フィルタと、
撮像用光源と、
前記第１から第Ｎの光学フィルタを順次介して撮像することによって前記撮像素子における前記色フィルタが配置された光感知セルからそれぞれ出力された第１から第Ｎの光電変換信号を処理する信号処理回路と、
を備え、
前記第１から第Ｎの光学フィルタは、前記撮像用光源からの光が被写体で反射されて前記撮像素子に入射する迄の経路のいずれかの位置に配置され、
前記所定の波長帯域は、前記色フィルタの透過波長帯域を含み、
前記信号処理回路は、前記第１から第Ｎの光電変換信号に基づいて、前記透過波長帯域における被写体の分光反射特性を算出する、
マルチスペクトル撮像装置。
【００７８】
［項目２］
前記第１から第Ｎの光学フィルタの各々の透過率Ｙは、前記所定の波長帯域における波長λと関係付けられた変数Ｚの変化に対して周期的に変化し、
前記信号処理回路は、少なくとも前記第１から第Ｎの光電変換信号と、独立変数を前記変数ＺとするＮ種類の周期関数と、前記波長λの微小変化に対する前記変数Ｚの変化値とを用いて、前記分光特性帯域における撮像画像の分光特性を算出する、
項目１のマルチスペクトル撮像装置。
【００７９】
［項目３］
前記第１から第Ｎの光学フィルタにおけるピークとアンダーピークの中間の透過率を有する平均化光学フィルタを備え、
前記平均化光学フィルタを介して撮像することによって前記色フィルタが配置された前記光感知セルから得られる第（Ｎ＋１）の光電変換信号をさらに用いて、前記透過波長帯域における被写体の分光反射特性を算出する、項目１または２に記載のマルチスペクトル撮像装置。
【００８０】
［項目４］
前記信号処理回路は、前記第１から第Ｎの光学フィルタを介さずに撮像することによって前記色フィルタが配置された前記光感知セルから得られる第（Ｎ＋１）の光電変換信号をさらに用いて、前記透過波長帯域における被写体の分光反射特性を算出する、項目１または２に記載のマルチスペクトル撮像装置。
【００８１】
［項目５］
前記信号処理回路は、前記第１から第Ｎの光電変換信号の平均値から前記第（Ｎ＋１）の光電変換信号を減算して得られる信号を生成する、項目３に記載のマルチスペクトル撮像装置。
【００８２】
［項目６］
前記信号処理回路は、前記撮像素子を含む前記マルチスペクトル撮像装置全体の分光感度特性を示すデータと、他の光学フィルタの分光透過特性を示すデータとを有し、
算出した前記透過波長帯域における前記被写体の分光反射特性を示す信号を用いて、前記他の光学フィルタを透過し光電変換される光の信号量を算出し、前記画素単位の各光電変換信号から前記信号量を減算し、新たな画像信号を生成する、
項目１から５のいずれかに記載のマルチスペクトル撮像装置。
【００８３】
［項目７］
前記色フィルタは、赤の波長帯域の光を透過させる、項目１から６のいずれかに記載のマルチスペクトル撮像装置。
【００８４】
［項目８］
前記他の光学フィルタは近赤外光を透過させる特性を有する、項目７に記載のマルチスペクトル撮像装置。
【産業上の利用可能性】
【００８５】
本発明のマルチスペクトル撮像装置は、主に固体撮像素子を用いた固体カメラの全てに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラ等の民生用カメラや産業用の監視カメラ等に利用可能である。
【符号の説明】
【００８６】
１  結像レンズ
２  照明光制御液晶パネル
２ａ  複合光学フィルタ
２ｂ  液晶パネル
３  カラー撮像素子
４  信号発生／受信部
５  液晶コントローラ
６  画像処理部
７  画像メモリー
８  信号出力部
９  広帯域光学フィルタ
１０  光源
１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈ、ＮＤ、ＤＣ  光学フィルタ
【図１】
2018085679.tif 000024
【図２】
2018085679.tif 000025
【図３】
2018085679.tif 000026
【図４】
2018085679.tif 000027
【図５Ａ】
2018085679.tif 000028
【図５Ｂ】
2018085679.tif 000029
【図６Ａ】
2018085679.tif 000030
【図６Ｂ】
2018085679.tif 000031
【図７】
2018085679.tif 000032
【図８】
2018085679.tif 000033
【図９】
2018085679.tif 000034
【図１０】
2018085679.tif 000035