(57)【要約】【課題】カラー画像データが容易に取得することのできる撮像装置を提供する。【解決手段】画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部と、を有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数であって、被写体を撮像する際、前記被写体からの光は前記入射光制限部を介し、前記撮像部に入射するものであることを特徴とする撮像装置を提供することにより上記課題を解決する。【選択図】  図１１
2013104789.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像するための複数の光電変換画素を有する撮像部と、
開口部及び遮光部を有する入射光制限部と、
を有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数であって、被写体を撮像する際、前記被写体からの光は前記入射光制限部を介し、前記撮像部に入射するものであることを特徴とする撮像装置。
【請求項２】
校正データに基づき前記画像データを校正することにより得られる複数の波長の異なる分光画像データを算出するための校正部と、
前記校正データが格納された校正データ格納部と、
を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記被写体からの光は、前記入射光制限部において、回折及び干渉するものであることを特徴とする請求項１又は２に記載の撮像素子。
【請求項４】
前記撮像部は、前記光電変換画素が２次元的に配列されているものであることを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記撮像部は、前記光電変換画素が３次元的に配列されているものであることを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項６】
画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部とを有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数である撮像装置の撮像方法において、
被写体からの光を、前記入射光制限部を介して前記撮像部に入射させて撮像することにより、画像データを取得する工程と、
前記画像データに対し校正データに基づく校正を行なうことにより、異なる波長の複数の分光画像データを算出する工程と、
を有することを特徴とする撮像方法。
【請求項７】
前記校正データは、
複数の波長の光を順次、前記入射光制限部を介して前記撮像部に入射させて撮像し各々の波長における校正データを取得する工程により取得されるものであることを特徴とする請求項６に記載の撮像方法。
【請求項８】
画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部とを有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数である撮像装置の撮像方法において、
複数の波長の光を順次、前記入射光制限部を介して前記撮像部に入射させて撮像することにより、各々の波長における校正データを取得する工程と、
前記校正データを保存する工程と、
を有し、
被写体からの光を、前記入射光制限部を介して前記撮像部に入射させて撮像し画像データについて、前記校正データに基づく校正を行なうことにより、異なる波長の複数の分光画像データを算出することができるものであることを特徴とする撮像方法。
【請求項９】
前記校正データは、所定の波長を入射させた場合における各々の光電変換画素における出力と、前記所定の波長における光強度であることを特徴とする請求項６から８のいずれかに記載の撮像方法。
【請求項１０】
前記校正データに基づき、前記所定の波長における光強度に対する前記所定の波長を入射させた場合における各々の光電変換画素における出力の係数を算出し、
前記算出された係数の逆行列を算出し、
前記校正は、前記画像データに前記逆行列を乗ずることによりなされるものであることを特徴とする請求項６から９のいずれかに記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来、一般的な撮像装置として、一つの分光感度を有するモノクロ撮像装置と、人間の色感度に近いカラー画像をえることのできるカラー撮像装置がある。カラー撮像装置は、ＲＧＢやＣｙ・Ｙ・Ｍｅ・Ｇ等の分光透過率の異なるカラーフィルタを撮像素子の各々の画素の上に配置し、異なる分光感度の撮像画像を得ることができるものである。
【０００３】
一方、これらの３又は４種類の分光感度を有する一般的なカラー撮像装置に対し、より多くの分光感度において撮像を行なうマルチバンド撮像装置についても開示されている。例えば、特許文献１には撮像光学系前面に分光透過率の異なるフィルタを設け、これを切換えて撮像するものが開示されており、特許文献２にはスリットを用いたものが開示されており、特許文献３にはプリズム等を用いたものが開示されている。また、特許文献４には、通常のカラーフィルタに代えて分光素子を画素前面に設置した構造のものが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１〜３に開示されているマルチバンド撮像装置は、通常のカラー撮像装置よりも多くの分光感度で撮像することができるが、複数の分光感度の情報を取得するためには、複数回撮像する必要があり、この間撮像される被写体を静止させておく必要がある。また、特許文献４に開示されている撮像素子は、一般的なカラー撮像装置と同様に、固定された分光感度、固定されたバンド幅（波長帯域幅）の分光画像を得るものである。
【０００５】
本発明は、上記に鑑みなされたものであり、被写体が動いている場合においても撮像可能であり、複数の分光感度の撮像画像を一回の撮像で得ることができ、また、必要に応じて異なる波長、異なるバンド幅における分光画像を得ることのできる撮像装置及び撮像方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明は、画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部と、を有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数であって、被写体を撮像する際、前記被写体からの光は前記入射光制限部を介し、前記撮像部に入射するものであることを特徴とする。
【０００７】
また、本発明は、画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部とを有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数である撮像装置の撮像方法において、被写体からの光を、前記入射光制限部を介して前記撮像部に入射させて撮像することにより、画像データを取得する工程と、前記画像データに対し校正データに基づく校正を行なうことにより、異なる波長の複数の分光画像データを算出する工程と、を有することを特徴とする。
【０００８】
また、本発明は、画像を撮像するための複数の光電変換画素を有する撮像部と、開口部及び遮光部を有する入射光制限部とを有し、前記開口部または前記遮光部のうち、いずれか一方または双方は複数である撮像装置の撮像方法において、複数の波長の光を順次、前記入射光制限部を介して前記撮像部に入射させて撮像することにより、各々の波長における校正データを取得する工程と、前記校正データを保存する工程と、を有し、被写体からの光を、前記入射光制限部を介して前記撮像部に入射させて撮像し画像データについて、前記校正データに基づく校正を行なうことにより、異なる波長の複数の分光画像データを算出することができるものであることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、被写体が動いている場合においても撮像可能であり、複数の分光感度の撮像画像を一回の撮像で得ることができ、また、必要に応じて異なる波長、異なるバンド幅における分光画像を得ることのできる撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】ホイヘンス−フレネルの原理の説明図（１）
【図２】ホイヘンス−フレネルの原理の説明図（２）
【図３】ホイヘンス−フレネルの原理の説明図（３）
【図４】ホイヘンス−フレネルの原理の説明図（４）
【図５】２つの波長の光における干渉の説明図（１）
【図６】波長λ１の光の強度分布のパターンの説明図
【図７】波長λ２の光の強度分布のパターンの説明図
【図８】２つの波長の光における干渉の説明図（２）
【図９】波長λ１の光の強度分布の説明図
【図１０】波長λ２の光の強度分布の説明図
【図１１】本実施の形態における撮像装置の構造図（１）
【図１２】撮像部の構造図
【図１３】入射光制限部の構造図
【図１４】撮像部と入射光制限部との位置関係の説明図
【図１５】他の入射光制限部の構造図（１）
【図１６】他の入射光制限部の構造図（２）
【図１７】他の入射光制限部の構造図（３）
【図１８】他の入射光制限部の構造図（４）
【図１９】他の入射光制限部の構造図（５）
【図２０】他の入射光制限部の構造図（６）
【図２１】他の入射光制限部の構造図（７）
【図２２】図２１に示す他の入射光制限部の説明図
【図２３】他の撮像部の構造図
【図２４】本実施の形態における撮像装置の構造図（２）
【図２５】光学ローパスフィルタの説明図（１）
【図２６】光学ローパスフィルタの説明図（２）
【図２７】本実施の形態における撮像装置の説明図
【図２８】校正の工程において入射させる光の波長と強度の相関図
【図２９】本実施の形態における撮像装置の校正の説明図
【図３０】本実施の形態における撮像方法における校正の工程の説明図
【図３１】本実施の形態における撮像方法における校正の工程のフローチャート
【図３２】校正工程により得られる校正データの説明図
【図３３】本実施の形態における撮像方法における被写体撮像の工程の説明図
【図３４】本実施の形態における撮像方法における被写体撮像の工程のフローチャート
【図３５】撮像部における光電変換画素の配置の説明図
【図３６】本実施の形態における撮像装置であるデジタルカメラの説明図
【図３７】本実施の形態における撮像装置であるデジタルカメラの校正の説明図
【図３８】校正に用いられる光の波長と強度の相関図（１）
【図３９】校正に用いられる光の波長と強度の相関図（２）
【図４０】本実施の形態における撮像装置であるデジタルカメラの他の校正の説明図
【発明を実施するための形態】
【００１１】
本発明を実施するための形態について、以下に説明する。尚、同じ部材等については、同一の符号を付して説明を省略する。
【００１２】
ところで、図１に示すように、開口部９１２を有するスリット９１１に光を入射させると、光は波としての性質を示し、スリット９１１の裏側に回り込む回折現象が生じることは、一般的にも知られている。また、図２に示すように、この光を球面波としてとらえた場合には、各々の点で球面波同士が干渉し、図３に示すような強度分布を有する干渉縞が観察されることも知られている。このようにホイヘンス−フレネルの原理では、光を球面波として扱うことにより、回折や干渉等の現象を説明することができる。
【００１３】
ここで、図４に示すように、スリット９１１における開口部９１２の幅がｄであり、波長λの光を入射させた場合において、波長λの光が干渉して弱め合う角度θを得ようとすると、図面において開口部９１２の左側端部の点Ａを中心とする球面波と、開口部９１２の中点である点Ｂを中心とする球面波とが、点Ｃにおいてλ／２ずれて干渉した場合、（ｄ／２）・ｓｉｎθ＝ｍ・（λ／２）（ｍ＝１、２、３、・・・）となり、ｓｉｎθ＝ｍ・λ／ｄとなる。
【００１４】
このように、光の波長λが長いほど角度θが大きくなり光の回り込みが大きくなり、幅ｄが狭いほど光の回り込みは大きくなる。よって、異なる波長の波長λ１の光と波長λ２の光とを開口部９１２を有するスリット９１１に入射させた場合には、図５に示すように、異なる位置に干渉縞が生じ、図６及び図７に示すように波長λ１の光の干渉縞の強度分布と、波長λ２の光の干渉縞の強度分布は異なるパターンとなる。尚、図６は波長λ１の光の干渉縞の強度分布を示し、図７は波長λ２の光の干渉縞の強度分布を示す。
【００１５】
従って、図８に示すように、スリット９１１の開口部９１２を通過した光を検出する複数の光電変換画素（光電変換素子からなる画素）を有する光検出素子９１３を設置した場合、光検出素子９１３における各々の光電変換画素により検出される光の強度は、図９及び図１０に示されるように、波長λ１の光と波長λ２の光とでは異なる。尚、図９及び図１０は、光検出素子９１３に５つの光電変換画素が設けられている場合について説明するものであり、図９は、５つの光電変換画素を有する光検出素子９１３により波長λ１の光が検出される強度を示し、図１０は、５つの光電変換画素を有する光検出素子９１３により波長λ２の光が検出される強度を示す。
【００１６】
ここで、光検出素子９１３における光電変換画素ｎに強度Iの光を入射させた場合、光電変換画素における出力が光の強度Iに比例するものとすると、光電変換画素における光電変換出力Ｓｎは、光の強度Ｉに各々の波長に依存した比例係数ｋｎ（λ）を掛けたものとなる。即ち、Ｓｎ＝ｋｎ（λ）・Ｉとなる。尚、Ｓｎ：光電変換画素ｎにおける出力、ｋｎ（λ）：光電変換画素ｎにおける波長λに依存した比例係数、Ｉ：入射する光の強度である。
【００１７】
以上、単一波長の光を別々に入射させた場合について説明したが、複数の波長の光が含まれる白色光を入射させた場合には、白色光における各々の異なる波長の光は交じり合うことはないので、各々の波長の光の重ね合わせとして考えればよく、入射する光の波長λ１、λ２、λ３、・・・・・の各々の強度をＩλ１、Ｉλ２、Ｉλ３、・・・・・とすると、その光電変換出力Ｓｎは、数１に示す式で表わされる。
【００１８】
【数１】
2013104789.tif 000003
次に、２つの光電変換画素に着目し、２つの波長の光、即ち、波長λ１光と、波長λ２の光を入射させた場合では、２つの光電変換画素における光電変換出力Ｓ１及びＳ２は、数２に示す式で表わされる。
【００１９】
【数２】
2013104789.tif 000004
式を簡便にするため、Ｋ１＝ｋ１（λ１）、Ｋ２＝ｋ１（λ２）、Ｋ３＝ｋ２（λ１）、Ｋ４＝ｋ２（λ２）、Ｉ１＝Ｉλ１、Ｉ２＝Ｉλ２とし、２×２の行列で表わすと、数３に示される式となる。
【００２０】
【数３】
2013104789.tif 000005
また、数３に示される２×２の行列の比例係数をＭとし、その逆行列をＭ−１とすると、数４に示される式となる。
【００２１】
【数４】
2013104789.tif 000006
このように、比例係数Ｍの逆行列を算出することによって、数４に示される式より、各々の光電変換画素における光電変換出力Ｓ１及びＳ２より、各々の波長λ１及びλ２における光の強度Ｉ１及びＩ２を算出することができる。
【００２２】
一方、数３に示される式において、複数の波長の光を入射させるのではなく、光の強度がＩである単一波長の光を入射させた場合について考える。この場合において、Ｉ１＝Ｉ、Ｉ２＝０である場合には、光電変換画素１の光電変換出力Ｓ１＝Ｋ１・Ｉとなり、光電変換画素２の光電変換出力Ｓ２＝Ｋ３・Ｉとなる。また、Ｉ１＝０、Ｉ２＝Ｉである場合には、光電変換画素１の光電変換出力Ｓ１＝Ｋ２・Ｉとなり、光電変換画素２の光電変換出力Ｓ２＝Ｋ４・Ｉとなる。
【００２３】
よって、光電変換画素１及び光電変換画素２の２つの光電変換画素における２つの条件の光電変換出力Ｓ１及びＳ２より、強度Ｉの光における４つの比例係数、即ち、比例係数Ｋ１、Ｋ２、Ｋ３、Ｋ４を得ることができる。また、この波長に依存する各々の各々の比例係数Ｋ１、Ｋ２、Ｋ３、Ｋ４は、光の強度に依存しないため、絶対的な各々の波長における強度が不要な場合には、事前に開口部９１２を有するスリット９１１に、同じ強度で複数の波長の光を入射させ、その出力結果の逆行列を算出することにより、数４に示す式に基づき開口部９１２を有するスリット９１１に未知の混合比の光を入射させた場合における混合比を得ることができる。
【００２４】
以上は、説明の便宜上、光電変換画素が２つの場合について説明したが、画像変換画素がｐ個の場合においては、ｐ×ｐの行列の比例係数の逆行列を算出し、ｐ種類の波長の光の光電変換出力に、算出した逆行列を乗ずることにより、ｐ種類の波長の混合比を得ることができる。
【００２５】
（撮像装置）
次に、本実施の形態における撮像装置について説明する。
【００２６】
本実施の形態における撮像装置は、図１１に示すように、撮像部１０の前段に、入射光制限部２０を有している。撮像部１０は、図１２に示すように、複数の光電変換画素１１が２次元状に配列されているものである。また、入射光制限部２０は、光を透過する開口部２１と光を遮光する遮光部２２とを有しており、開口部２１及び遮光部２２は、様々な形状で形成されており、例えば、図１３に示すように、各々が不規則な形状で形成されている。本実施の形態では、入射光制限部２０に入射した光は、開口部２１を通過した光が回折及び干渉し、この回折及び干渉した光を撮像部１０において検出し、電気信号に変換する。
【００２７】
ところで、図１４（ａ）に示すように、撮像部１０における光電変換画素１１ａ、１１ｂ、１１ｃ、１１ｄは、入射光制限部２０ａにおける開口部２１ａとは相対的に異なる位置にあるため、前述した場合と同様に、光電変換画素１１ａ、１１ｂ、１１ｃ、１１ｄにおいて検出される分光感度は、異なる分光感度となる。尚、図１４（ｂ）は、入射光制限部２０ａの全体を示すものであり、開口部２１ａの周囲は遮光部２２ａとなっている。また、この入射光制限部２０等における開口部２１及び遮光部２２等の形状は、検出される波長範囲、検出される波長数、バンド幅等に応じて所望の形状で形成されている。
【００２８】
また、開口部２１は、光を入射させるため、検出される光のうち、最も短い波長の回折限界よりも大きくなるように形成されている。開口部２１等の形状や形成される位置は、離散的であればある程、干渉が生じ、検出される波長の分別率が上がり、滑らかになればなる程、分別率は下がるものの、連続的に波長の検出を行なうことができる。具体的には、入射光制限部２０における開口部２１等の形状は、検出される波長の範囲、検出される波長の数及び検出される波長のバンド幅に基づき、ホイヘンス−フレネルの原理等により、実際の干渉度合いを求めて設計した形状で形成される。
【００２９】
入射光制限部２０は、例えば、図１５に示されるように、丸い開口部２１ｂと、この開口部２１ｂの周囲に遮光部２２ｂが形成されている入射光制限部２０ｂであってもよく、図１６に示されるように、丸い遮光部２２ｃと、この遮光部２２ｃの周囲に開口部２１ｃが形成されている入射光制限部２０ｃであってもよい。また、図１７に示されるように、四角い開口部２１ｄと、この開口部２１ｄの周囲に遮光部２２ｄが形成されている入射光制限部２０ｄであってもよく、図１８に示されるように、四角い遮光部２２ｅと、この遮光部２２ｅの周囲に開口部２１ｅが形成されている入射光制限部２０ｅであってもよい。また、更に、図１９に示されるように、スリット形状の開口部２１ｆと、この開口部２１ｆの周囲に遮光部２２ｆが形成されている入射光制限部２０ｆであってもよい。このように、開口部２１ｆをスリット形状となるように形成することにより、スリット形状の開口部２１ｆを通った光同士が干渉し合うため、よりはっきりした干渉縞が生じるため分別率を高くすることができる。また、図２０に示されるように、開口部２１ｇの形状、即ち、開口部２１ｇと遮光部２２ｇとの境界部分は、滑らかではなく、階段状に形成されたものであってもよい。尚、本願明細書においては、上述した入射光制限部２０ａ〜２０ｇは入射光制限部２０に代表されるものとし、開口部２１ａ〜２１ｇは開口部２１に代表される者とし、遮光部２２ａ〜２２ｇは遮光部２２に代表されるものとする。
【００３０】
以上、０次光の像も一緒に撮像部１０に入射する場合について説明したが、図２１（ａ）に示すように、入射光制限部２０ｈに用いられる透明な基板２３の表面と裏面において、開口部と遮光部とが反転するような形状で形成したものであってもよい。即ち、透明な基板２３の表面がポジだとすれば裏面がネガとなるように形成したものであってもよい。具体的には、透明な基板２３の表面に開口部２４ａと遮光部２５ａを形成し、透明な基板２３の裏面には、表面に開口部２４ａが形成されていた領域に遮光部２５ｂを形成し、遮光部２５ａが形成されていた領域に開口部２４ｂを形成する。これにより、図２２に示すように、入射する光の０次光をカットすることができ、回折光のみを撮像部１０に入射させることができるため、各々の波長における分別率を向上させることができる。尚、図２１（ａ）は、入射光制限部２０ｈの断面構造を示し、図２１（ｂ）は、入射光制限部２０ｈの上面における要部を示す。
【００３１】
尚、モノクロ画像を主体に撮像したい場合には、０次光を積極的に用いて撮像する場合があるため、図２１とは異なり、一方の面のみ開口部２１と遮光部２２が形成されたものを用いてもよい。
【００３２】
更に、図２３に示すように、撮像部１０ａは、３次元的に光電変換画素１２ａ、１２ｂ、１２ｃ、１２ｄを有するものであってもよい。このような撮像部１０ａにおいては、光電変換画素１２ａ、１２ｂ、１２ｃ、１２ｄは、入射光制限部２０からの距離が異なるため、様々な分光感度における撮像を行なうことができる。
【００３３】
また、入射光制限部２０において、開口部２１等を周期的に形成してもよいが、周期的に開口部２１等を形成した場合、被写体に周期的なパターンが合った場合にはモワレ縞が生じるため、あまり好ましくはない。これに対し、図２４に示されるように、入射光制限部２０の前段に、光学ローパスフィルタ３０を設置することにより、モワレ縞の発生を抑制することができる。尚、この光学ローパスフィルタ３０は、複屈折材料等により形成されているものであり、所定の空間周波数以下の光の明暗を制限することができるものである。また、本実施の形態においては、所定の波長範囲において、各々の波長における光の強度を検出するものであるため、予め、入射する波長範囲を制限しておく方が好ましい。よって、入射光制限部２０及び撮像部１０に所定の波長範囲の光を入射させることができるように、光学ローパスフィルタ３０の表面等には、更に、図２５に示すような透過率特性を有するフィルタを設けてもよい。更に、実際に用いられる光学部材においては、短波長となる紫外光領域の光は透過しないため、長波長領域における光をカットする図２６に示すような透過率特性を有するフィルタを設けてもよい。
【００３４】
（撮像方法）
次に、本実施の形態における撮像方法について説明する。本実施の形態における撮像方法は、図２７に示すように、撮像部１０、入射光制限部２０、校正部４０、校正データ保持部５０等を有する撮像装置を用いた撮像方法である。尚、校正部４０は、入射光制限部２０を介し撮像部１０において撮像された画像データを校正するためのものであり、校正データ保持部５０は、この校正に用いられる校正データを保持するためのものである。この撮像装置では、入射光制限部２０により入射光を回折及び干渉させることにより形成された光の分布のパターンを撮像部１０において撮像し、光電変換により電気信号である画像信号を出力し、更に、量子化された画像データを出力する。校正データ保持部５０では、校正の工程における画像データを校正データとして記録保持し、校正部４０では、被写体の撮像時における画像データと校正データに基づき分光画像データ（分光画像情報）を算出する。
【００３５】
各々の波長における画像データの集まりである分光画像データは、前述のとおり、校正を行なった後、被写体の撮像を行なうことにより得ることができる。よって、校正の工程と被写体撮像の工程とを分けて説明する。
【００３６】
最初に、校正の工程について説明する。校正の工程では、図２８に示すような多波長光源より出射された複数の波長の光を入射光制限部２０に入射させる。このような多波長光源としては、様々なものがあり、例えば、公知なものとしては、プログラマブル多波長光源や、白熱灯のような連続した波長分布の光を出射する光源をバンドパスフィルタにより帯域を制限し、分光プリズムや回折格子を用いて特定の波長の光を得ることができるようにしたもの等が挙げられる。本実施の形態においては、所定の複数の波長を含む光を出射することができる光源であれば、他の光源を用いることも可能である。
【００３７】
また、校正の工程は、被写体像を撮像するためのカメラとして用いる場合には、図２９（ａ）に示すように、入射光制限部２０の前段に多波長光源６０を設置した状態において校正を行ってもよく、また、図２９（ｂ）に示すように、入射光制限部２０と多波長光源６０との間に結像光学系７０を設置した状態において校正を行ってもよい。尚、図２９（ｂ）に示すように、結像光学系７０を設置することにより、結像光学系７０における分光透過率等も考慮した校正を行なうことができる。
【００３８】
校正の工程では、図３０に示されるように、最初に、多波長光源６０より出射された所定の波長の校正光を、入射光制限部２０に入射させ、撮像部１０において撮像し、撮像部１０において撮像された画像データを校正データ保持部５０において保持する。この工程を校正光となる各々の波長の光について繰り返し行なう。具体的には、図３１に示されるように、ステップ１０２（Ｓ１０２）において、校正光を決定し、ステップ１０４（Ｓ１０４）において、決定した校正光を入射光制限部２０に入射させ、ステップ１０６（Ｓ１０６）において、撮像部１０において撮像し画像情報（画像データ）を取得し、ステップ（Ｓ１０８）において、取得された画像情報（画像データ）を校正データとして校正データ保持部５０に保持させる。ステップ１１０（Ｓ１１０）では、すべての校正光において、校正データの取得が終了したか否かが判断される。校正データの取得が終了していないものと判断された場合、即ち、校正光となる波長の光の照射が全て終了していない場合には、ステップ１０２に移行して、新たな校正光が設定される。また、校正データの取得が終了したものと判断された場合には、そのまま終了する。これにより、校正データ保持部５０には、図３２に示されるように所定の校正光に対応した校正データが保持される。尚、図３２においては、校正光の波長をλ１、λ２、λ３、・・・・、λｎとしたものである。このような校正の工程は、この撮像装置を使用する前に行なうものであるため、このような撮像装置を製造販売する者が行ってもよく、製造販売する者より購入して使用する者が行なってもよい。このような校正の工程により、撮像時における画像情報の校正を行なうことができるため、撮像装置の製造時において、入射光制限部２０と撮像部１０との正確な位置合せを行なう必要がない。
【００３９】
次に、被写体撮像の工程について説明する。被写体撮像の工程では、上述した校正の工程において得られた校正データを用いて、被写体の分光画像情報を算出する。最初に、図３３に示すように、入射した被写体光を入射光制限部２０に入射させて撮像部１０において撮像する。この後、校正部４０において、撮像部１０において撮像された画像データについて、校正データ保持部５０に保持されている校正データを用いて校正し、分光画像データを算出する。具体的には、図３４に示されるように、ステップ２０２（Ｓ２０２）において、撮像部１０により被写体からの光線による画像を撮像する。具体的には、図３５に示されるように、撮像部１０は、光電変換画素Ｐ００、Ｐ０１、Ｐ０２、Ｐ０３、Ｐ１０、Ｐ１１、Ｐ１２、Ｐ１３、Ｐ２０、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ３０、Ｐ３１、Ｐ３２、Ｐ３３、・・・が２次元的に配列されている。この撮像部１０をもちいて撮像がなされる。
【００４０】
次に、ステップ２０４（Ｓ２０４）において、計算に用いる光電変換画素の領域を決定する。即ち、撮像部１０において２次元的に配列されている光電変換画素のうち、計算に用いられる光電変換画素の領域を決定する。尚、本実施の形態における説明では、計算に用いられる光電変換画素が９（３×３）画素の場合について説明する。よって、光電変換画素の領域として、１行１列の光電変換画素Ｐ１１を中心とする３×３の画素、即ち、光電変換画素Ｐ００、Ｐ０１、Ｐ０２、Ｐ１０、Ｐ１１、Ｐ１２、Ｐ２０、Ｐ２１、Ｐ２２を決定し、これらの光電変換画素において検出された画像データを取得する。
【００４１】
次に、ステップ２０６（Ｓ２０６）において、校正データ保持手段５０より光電変換画素Ｐ００、Ｐ０１、Ｐ０２、Ｐ１０、Ｐ１１、Ｐ１２、Ｐ２０、Ｐ２１、Ｐ２２における校正データを取得し、ステップ２０８（Ｓ２０８）において、この校正データにおける９×９の逆行列を算出する。ここで、逆行列の算出方法としては、掃きだし法等の一般的な逆行列の算出方法を用いることができる。
【００４２】
次に、ステップ２１０（Ｓ２１０）において、ステップ２０２において取得した３×３の画像情報（画像データ）にステップ２０８において算出した逆行列を乗じ、各々の波長における計算結果を求め、ステップ２１２（Ｓ２１２）において、この計算結果を保存する。
【００４３】
次に、ステップ２１２（Ｓ２１２）において、計算結果の算出が終了したか否かが判断される。具体的には、水平画素数ｎｘ、垂直画素数ｎｙとした場合に、撮像部１０における１行１列の光電変換画素の領域Ｐ１１を中心とする領域から、（ｎｘ−１）行（ｎｙ−１）列の光電変換画素の領域を中心とする領域までの計算結果が算出されているか否かが判断される。計算結果がすべて算出されていないもの判断された場合には、ステップ２０２に移行し、次の光電変換画素の領域、例えば、光電変換画素の領域Ｐ１２を中心とする３×３の領域について計算結果の算出が行なわれる。このようにして、順次、所定の光電変換画素の領域を中心とする３×３の領域等の計算結果の算出がなされる。尚、すべての計算結果が算出されているものと判断された場合には終了する。これにより、（ｎｘ−２）×（ｎｙ−２）個の９組の分光画像情報（分光画像データ）を取得することができる。尚、本実施の形態では、ステップ２０８において校正データの逆行列を算出する場合について説明したが、校正データを取得した際に逆行列を算出しておき、校正データ保持手段５０に保持させておくことにより、被写体撮像の工程において校正データの逆行列の算出が不要となるため、高速で分光画像情報を取得することができる。
【００４４】
また、校正データの逆行列の算出を不図示の外部の計算手段を用いて行なうことにより、校正手段４０を簡単で単純な構成にすることも可能である。尚、このように事前に校正データの逆行列を算出しておくことにより、行列の固有値が０になる等の数値的に逆行列の算出をすることができない場合には、再度、校正光を照射しなおすことにより逆行列を計算できない部分をなくすことができる。
【００４５】
以上のように、本実施の形態における撮像装置及び撮像方法により、複数の波長の分光画像情報を得ることができる。
【００４６】
次に、より具体的に、図３６に基づき本実施の形態における撮像装置であるデジタルカメラについて説明する。このデジタルカメラは、結像光学系７０、入射光制限部２０、撮像部１０等を有している。入射光制限部２０は、図１３に示されるように、開口部２１と遮光部２２とを有しており、具体的には、光を透過するガラス等の基板の表面において、遮光部２２にはアルミニウム等の金属膜が形成されているものである。尚、開口部２１には金属膜は形成されていないため光は通ることができる。
【００４７】
このような入射光制限部２０の形成方法は、光を透過するガラス等の基板の表面に、アルミニウム等の金属膜を蒸着等により成膜し、金属膜上にフォトレジストを塗布し、露光装置による露光、現像を行なうことにより、開口部２１となる領域に開口を有するレジストパターンを形成する。次に、エッチングによりレジストパターンが形成されていない領域の金属膜を除去し、更に、レジストパターンを除去することにより形成することができる。また、他の形成方法としては、光を透過するガラス等の基板の表面にフォトレジストを塗布し、露光装置による露光、現像を行なうことにより、遮光部２２となる領域に開口を有するレジストパターンを形成する。この後、アルミニウム等の金属膜を蒸着等により成膜し、有機溶剤等に浸漬させることにより、レジストパターンの上に成膜された金属膜を有機溶剤とともにリフトオフにより除去することにより、形成することができる。遮光部２２を形成する材料としては、光の遮光するものであればよいが、金属等の光を反射する材料よりも光を吸収する材料の方が好ましく、例えば、遮光部２２はカーボン等により形成されているものが好ましい。
【００４８】
次に、このような入射光制限部２０において回折し、干渉した光を撮像部１０において撮像する。撮像部１０は、ＣＣＤ（Charge Coupled Device）撮像素子により形成されているものであってもよく、また、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子により形成されているものであってもよい。撮像部１０はコントロールＩＣ等の制御部１１０により制御され、撮像部１０を適切な撮像時間で撮像し、画像データを取得する。得られた画像データは、バスを介してＲＡＭ１２１に格納される。尚、このデジタルカメラにおいては、バスには汎用のＣＰＵ（Central Processing Unit）１２２、ＲＯＭ（Read Only Memory）１２３、Ｆ−ＲＯＭ（flash-Read Only Memory）１２４、ＮＩＣ（Network Interface Card）１２５等が接続されている。ＣＰＵ１２２は、制御部１１０の制御や校正の工程を行なうためのものであり、ＲＯＭ１２３は、ＣＰＵ１２２において実行されるプログラムが格納されており、Ｆ−ＲＯＭ１２４には、校正データ等の各種設定情報が保持されており、ＮＩＣ１２５は、外部との通信を行なうためのネットワークに接続するためのものである。
【００４９】
このデジタルカメラでは、図３１に示す工程により校正データを取得し、図３４に示す工程により分光画像情報を取得する。図３１に示す校正の工程では、図２９に示すように、入射光制御部２０及び撮像部１０を設置した状態において、図２８に示すような校正光を照射し、ＣＰＵ１２２により制御部１１０を制御することにより、撮像部１０において画像データを取得し、ＲＡＭ１２１に保存した後、更に、ＲＡＭ１２１に保存されたデータをＦ−ＲＯＭ１２４に保存する。次に、被写体撮像の工程では、被写体光を撮像部１０において撮像することにより画像データを取得し、ＲＡＭ１２１に一時的に保存した後、Ｆ−ＲＯＭ１２４に保存されている校正データよりＣＰＵ１２２が逆行列を算出し、ＲＡＭ１２１に一時的に保存されている画像データに逆行列を乗じ、校正を行なうことにより得られた計算結果である分光画像情報をＲＡＭ１２１に保存、又は、ＮＩＣ１２５に接続されているネットワークを介し外部に出力することができる。
【００５０】
上記においては、逆行列をＣＰＵ１２２において算出する場合について説明したが、図３７に示されるように、本実施の形態における撮像装置１００に外部の情報処理装置１４０を接続し、前述した場合と同様に、校正の工程において取得した画像情報を外部の情報処理装置１４０にネットワークを介して送信し、外部の情報処理装置１４０において逆行列の算出を行ない、算出された逆行列のデータを外部の情報処理装置１４０よりＮＩＣ１２５を介し入力し、Ｆ−ＲＯＭ１２４に保存する方法であってもよい。このように、逆行列のデータをＦ−ＲＯＭ１２４に保存しておくことにより、被写体撮像の工程において、校正は取得された画像データに逆行列を乗ずるだけでよいため、短時間に簡単に分光画像情報を得ることができる。
【００５１】
また、校正の工程においては、狭い波長帯域の光を入射させて、数１に示す式における各々の比例係数を検出することにより、分光画像情報を得ることについて説明したが、本実施の形態は、入射光制限部２０による回折及び干渉によって、撮像部１０における各々の光電変換画素における分光感度が異なるという性質を用いているため、特定の波長に依存するものではなく、図３８に示すようなブロードなＲＧＢの光により校正してもよく、図３９に示すような複数の波長帯域幅の狭い輝線スペクトルとなる光により校正してもよい。
【００５２】
即ち、図４０に示すように、校正の際に入射光を均一に分布させるため、すりガラスやオパールガラスのような被写体光を拡散透過させる拡散透過板１５０を本実施の形態における撮像装置の前段に設置し、蛍光灯やネオンランプ、白熱灯、太陽光等の様々な光源で校正することにより、撮影される被写体をこれらの光源の分光画像情報としてとらえることができるので、光源を検出することが可能となる。つまり、従来のカラーカメラや分光撮像装置のように固定された分光分布の光の混合比を検出するのではなく、必要な分光分布の組を決定し、その分光分布の組の混合比を検出することが可能となる。また、本実施の形態では、動く被写体を撮像するために、撮像部１０には、２次元の光電変換画素が配列されている場合について説明したが、被写体が静止物である場合には、主走査方向に複数の光電変換画素が配列されているラインセンサを副走査方向に機械的に走査する方法であってもよい。
【００５３】
このように、撮像部１０の前に入射光制限部２０を設置し、入射光制限部２０を介した光を撮像し、校正部４０において校正することにより、複数の異なる波長分布の光に対応した分光画像情報を得ることができる。尚、波長分布及び波長数は校正方式を変えることにより、任意に設定することができ、入射光制限部２０や撮像部１０に依存することはない。
【００５４】
以上、本発明の実施に係る形態について説明したが、上記内容は、発明の内容を限定するものではない。
【符号の説明】
【００５５】
１０        撮像部
１１        光電変換画素
２０        入射光制限部
２１        開口部
２２        遮光部
３０        光学ローパスフィルタ
４０        校正部
５０        校正データ保持部
６０        多波長光源
７０        結像光学系
１００      撮像装置
１１０      制御部
１２１      ＲＡＭ
１２２      ＣＰＵ
１２３      ＲＯＭ
１２４      Ｆ−ＲＯＭ
１２５      ＮＩＣ
１４０      外部の情報処理装置
【先行技術文献】
【特許文献】
【００５６】
【特許文献１】特開２００３−２９８９１３号公報
【特許文献２】特開２００８−１３９０６２号公報
【特許文献３】特開２００３−３０９７４７号公報
【特許文献４】特許第３７４２７７５号公報
【特許文献５】特開２０１１−１３６３０号公報
【図１】
2013104789.tif 000007
【図２】
2013104789.tif 000008
【図３】
2013104789.tif 000009
【図４】
2013104789.tif 000010
【図５】
2013104789.tif 000011
【図６】
2013104789.tif 000012
【図７】
2013104789.tif 000013
【図８】
2013104789.tif 000014
【図９】
2013104789.tif 000015
【図１０】
2013104789.tif 000016
【図１２】
2013104789.tif 000017
【図１３】
2013104789.tif 000018
【図２０】
2013104789.tif 000019
【図２２】
2013104789.tif 000020
【図２３】
2013104789.tif 000021
【図２５】
2013104789.tif 000022
【図２６】
2013104789.tif 000023
【図２７】
2013104789.tif 000024
【図２８】
2013104789.tif 000025
【図２９】
2013104789.tif 000026
【図３０】
2013104789.tif 000027
【図３１】
2013104789.tif 000028
【図３２】
2013104789.tif 000029
【図３３】
2013104789.tif 000030
【図３４】
2013104789.tif 000031
【図３６】
2013104789.tif 000032
【図３７】
2013104789.tif 000033
【図３８】
2013104789.tif 000034
【図３９】
2013104789.tif 000035
【図４０】
2013104789.tif 000036
【図１１】
2013104789.tif 000037
【図１４】
2013104789.tif 000038
【図１５】
2013104789.tif 000039
【図１６】
2013104789.tif 000040
【図１７】
2013104789.tif 000041
【図１８】
2013104789.tif 000042
【図１９】
2013104789.tif 000043
【図２１】
2013104789.tif 000044
【図２４】
2013104789.tif 000045
【図３５】
2013104789.tif 000046