(57)【特許請求の範囲】
【請求項１】
光を電気信号に変換する撮像素子と、前記撮像素子よりも光の入力側に配置された領域分割フィルタと、前記撮像素子の出力信号を処理する画像処理部と、を有する撮像装置において、
前記領域分割フィルタは、特定波長の光に対し透過率が異なることで、隣接した単位画素間に輝度差を生じさせる２つ以上の領域が所定のパターンで配列されており、
第一の特定波長に対し各撮像素子が出力した第一の出力信号、及び、第二の特定波長に対し各撮像素子が出力した第二の出力信号から生成された、光が前記撮像素子に入射した場合の第一の特定波長成分及び第二の特定波長成分を抽出する第一のリファレンスデータと、
第二の特定波長に対し各撮像素子が出力した第二の出力信号、及び、第三の特定波長に対し各撮像素子が出力した第三の出力信号から生成された、光が前記撮像素子に入射した場合の第二の特定波長成分及び第三の特定波長成分を抽出する第二のリファレンスデータと、を有し、
前記画像処理部は、光が前記撮像素子に入射した際の単位画素の各出力信号に、前記第一のリファレンスデータを適用して第一の特定波長成分及び第二の特定波長成分を生成し、前記第二のリファレンスデータを適用して第二の特定波長成分及び第三の特定波長成分を生成し、
前記第一のリファレンスデータにより生成された前記第一の特定波長成分及び前記第二の特定波長成分、並びに、前記第二のリファレンスデータにより生成された前記第二の特定波長成分及び前記第三の特定波長成分を合成する、ことを特徴とする撮像装置。
【請求項２】
前記画像処理部は、隣接する単位画素間で第一の特定波長成分に対する第二の特定波長成分の第一の差、及び、第一の特定波長成分と第二の特定波長成分の第一の和、
並びに、隣接する単位画素間で第二の特定波長成分に対する第三の特定波長成分の第二の差、及び、第二の特定波長成分と第三の特定波長成分の第二の和、を算出し、
前記第一の差を前記第一の和で割った値と算出回数を対応づけて出力し、前記第二の差を前記第二の和で割った値と算出回数を対応づけて出力する、
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記画像処理部は、前記第一の差を前記第一の和で割った値、及び、前記第二の差を前記第二の和で割った値を、所定範囲ごとにカウントアップした頻度値を出力する、
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記画像処理部は、前記第一の差を前記第一の和で割った値、及び、前記第二の差を前記第二の和で割った値に、予め既知の前記第一の特定波長の値、前記第二の特定波長の値、及び、前記第三の特定波長の値、を対応づけて前記頻度値とともに出力する、
ことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記領域分割フィルタには、遮光膜が形成された部分と形成されていない部分により、隣接した単位画素間に輝度差を生じさせる特定波長に対し透過率が異なる２つ以上の領域が形成されている、ことを特徴とする請求項１〜４いずれか１項記載の撮像装置。
【請求項６】
前記領域分割フィルタには、特定波長を透過する誘電体多層膜が形成された部分と形成されていない部分により、隣接した単位画素間に輝度差を生じさせる特定波長に対し透過率が異なる２つ以上の領域が形成されている、
ことを特徴とする請求項１〜４いずれか１項記載の撮像装置。
【請求項７】
光を電気信号に変換する撮像素子と、前記撮像素子よりも光の入力側に配置された領域分割フィルタと、前記撮像素子の出力信号を処理する画像処理部と、を有する撮像装置の分光情報作成方法において、
前記領域分割フィルタは、特定波長の光に対し透過率が異なることで、隣接した単位画素間に輝度差を生じさせる２つ以上の領域が所定のパターンで配列されており、
第一の特定波長に対し各撮像素子が出力した第一の出力信号、及び、第二の特定波長に対し各撮像素子が出力した第二の出力信号から生成された、光が前記撮像素子に入射した場合の第一の特定波長成分及び第二の特定波長成分を抽出する第一のリファレンスデータと、
第二の特定波長に対し各撮像素子が出力した第二の出力信号、及び、第三の特定波長に対し各撮像素子が出力した第三の出力信号から生成された、光が前記撮像素子に入射した場合の第二の特定波長成分及び第三の特定波長成分を抽出する第二のリファレンスデータと、を用いて、
前記画像処理部が、光が前記撮像素子に入射した際の単位画素の各出力信号に、前記第一のリファレンスデータを適用して第一の特定波長成分及び第二の特定波長成分を生成し、前記第二のリファレンスデータを適用して第二の特定波長成分及び第三の特定波長成分を生成し、
前記第一のリファレンスデータにより生成された前記第一の特定波長成分及び前記第二の特定波長成分、並びに、前記第二のリファレンスデータにより生成された前記第二の特定波長成分及び前記第三の特定波長成分を合成する、ことを特徴とする分光情報作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
光を電気信号に変換する撮像素子と、撮像素子よりも光の入力側に配置された領域分割フィルタと、前記撮像素子の出力信号を処理する画像処理部と、を有する撮像装置に関する。
【背景技術】
【０００２】
撮像システムに対し、２次元画像情報だけでなく分光情報（スペクトル情報）を取得する試みが行われている。スペクトル情報を取得する装置として分光器が広く利用されている。分光器は、プリズムや回折格子を用いて受光素子に入射される光を複数の波長成分に分解して取得するため、空間的な情報（光の入射方向）は得られない。これに対し、近年、スペクトル情報の２次元的な分布を利用する技術が注目されており、様々な方式を用いてスペクトル情報を取得可能な画像撮影装置が提供されている（例えば、特許文献１〜３参照。）。
【０００３】
特許文献１には、波長選択フィルタ（バンドパスフィルタ、ローパス・ハイパスフィルタ）を用い、波長選択フィルタを切り替える、微小領域に波長選択フィルタを配列する、又は、波長選択フィルタとして液晶波長チューナブルフィルタを利用し動的に透過波長を切り替えるなどにより、所望する波長の光強度を取得する分光カメラヘッドが記載されている。
【０００４】
特許文献２には、入射光線を２つの光路（または偏光成分）に分割し、一方に位相差を与えて干渉させて得られる検出強度信号を計算機上でフーリエ変換することにより、スペクトル情報を得る分光装置が開示されている。このようにフーリエ分光法を用いる場合には、２次元（または１次元）的に検出位置を走査するか、２つの直交する偏光成分に異なる位相差を動的に与え時系列で画像データを取得する必要がある。
【０００５】
特許文献３には、入射光のスペクトルを空間的に分離することにより、１次元空間情報とスペクトル情報を２次元イメージセンサで取得し、さらに１次元空間情報を直交する方向に走査することにより２次元（画像）スペクトル情報を取得する技術が記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されている波長選択フィルタを用いる方式では、スペクトルを得るために帯域の狭いフィルタを用いる必要があり、信号の検出強度が低下する、長い露光時間が必要となる、及び、強い入射角特性が現れるため平行な光を入射しなければならないといった課題がある。また、複数波長で信号を取得するために、複数回の波長選択フィルタの切換を要するためリアルタイムでの高速撮影が困難である。さらに、液晶チューナブルフィルタなどのアクティブデバイスが必要であるため、耐候性、耐振動性などの信頼性の面での制約が従来の輝度カメラと比べて多い。
【０００７】
また、特許文献２に記載されたフーリエ分光を用いる方式では、２本の光路に分割し位相差を与えるために、極力平行な光線を作る必要があり、狭いスリットや小さな開口が必要となり、光量が大きく取れない、角度依存性が大きいといった課題がある。また、特許文献１の課題と同様に、液晶位相シフタなどのアクティブデバイスが必要であるため、耐候性、耐振動性などの信頼性面での制約が従来の輝度カメラと比べて多い。
【０００８】
また、特許文献３に記載されている分散素子を用いる方式では、フーリエ分光を用いる場合と同様に、スペクトル分解能を得るために狭いスリットを透過させる必要があり光量が低下してしまう、という課題がある。また、走査機構が必要であり、測定時間を要するほか、装置のサイズを小さくすることが困難であるといった課題がある。
【０００９】
本発明は、上記課題に鑑み、光量の低下を抑制し、また、特定のアクティブデバイスを用いることなく分光情報を高精度に検出できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、光を電気信号に変換する撮像素子と、前記撮像素子よりも光の入力側に配置された領域分割フィルタと、前記撮像素子の出力信号を処理する画像処理部と、を有する撮像装置において、前記領域分割フィルタは、特定波長の光に対し透過率が異なることで、隣接した単位画素間に輝度差を生じさせる２つ以上の領域が所定のパターンで配列されており、第一の特定波長に対し各撮像素子が出力した第一の出力信号、及び、第二の特定波長に対し各撮像素子が出力した第二の出力信号から生成された、光が前記撮像素子に入射した場合の第一の特定波長成分及び第二の特定波長成分を抽出する第一のリファレンスデータと、第二の特定波長に対し各撮像素子が出力した第二の出力信号、及び、第三の特定波長に対し各撮像素子が出力した第三の出力信号から生成された、光が前記撮像素子に入射した場合の第二の特定波長成分及び第三の特定波長成分を抽出する第二のリファレンスデータと、を有し、前記画像処理部は、光が前記撮像素子に入射した際の単位画素の各出力信号に、前記第一のリファレンスデータを適用して第一の特定波長成分及び第二の特定波長成分を生成し、前記第二のリファレンスデータを適用して第二の特定波長成分及び第三の特定波長成分を生成し、前記第一のリファレンスデータにより生成された前記第一の特定波長成分及び前記第二の特定波長成分、並びに、前記第二のリファレンスデータにより生成された前記第二の特定波長成分及び前記第三の特定波長成分を合成する、ことを特徴とする。
【発明の効果】
【００１１】
光量の低下を抑制し、また、特定のアクティブデバイスを用いることなく分光情報を高精度に検出できる撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態の撮像装置の概略構成図の一例である。
【図２】領域分割フィルタの構成を説明する図の一例である。
【図３】領域分割フィルタの構成を説明する図の別の一例である。
【図４】領域分割フィルタの構成を説明する図の別の一例である。
【図５】領域分割フィルタの構成を説明する図の別の一例である。
【図６】領域分割フィルタの構成を説明する図の別の一例である。
【図７】特定波長λ1、λ2と、リファレンスデータ１を模式的に説明する図の一例である。
【図８】入力光λ１と出力分光情報を説明する図の一例である。
【図９】入力光λ２と出力分光情報を説明する図の一例である。
【図１０】入力光λ３と出力分光情報を説明する図の一例である。
【図１１】キャリブレーションに用いた特定波長２つを重ねた入力光波長λ1と入力光波長λ2が入力された場合の出力分光情報を説明する図の一例である。
【図１２】特定波長λ1、λ2、λ３と、リファレンスデータ１、２を模式的に説明する図の一例である。
【図１３】入力光λ１とリファレンスデータ１による出力分光情報を説明する図の一例である。
【図１４】入力光λ２とリファレンスデータ２による出力分光情報を説明する図の一例である。
【図１５】入力光λ３とリファレンスデータ１，２による出力分光情報を説明する図の一例である。
【図１６】キャリブレーションに用いた特定波長２つを重ねた入力光波長λ1と入力光波長λ2が入力された場合の出力分光情報を説明する図の一例である。
【図１７】キャリブレーションにおける特定波長に対する撮像素子のRAW画像（一部）を示す図の一例である。
【図１８】単一波長に対するセンサ画素値（輝度）のヒストグラムを示す図の一例である。
【図１９】コントラストI(x)を波長に対しプロットした、コントラストの波長依存性を示す図の一例である。
【図２０】生成されたスペクトル光のスペクトルを示す図の一例である。
【図２１】キャリブレーションデータ１による分光画像の一例を示す図である。
【図２２】キャリブレーションデータ２による分光画像の一例を示す図である。
【図２３】２つの分光情報出力を合成した図の一例である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について説明する。
【００１４】
〔構成例〕
図１は、本実施形態の撮像装置の概略構成図の一例を示す。撮像装置１００は、撮像レンズ１１、撮像素子１３、撮像素子１３よりも撮像レンズ１１側に配置される領域分割フィルタ１２、及び、撮像素子１３からの信号を出力分光情報へと変換出力する画像処理部１４とを有する。なお、撮像素子１３の撮像結果を分光画像情報といい、画像処理部１４の処理結果を出力分光情報という。
【００１５】
撮像レンズ１１の画角（焦点距離）やＦ値などは用途により様々であり、これらのレンズの仕様はセンサ感度、撮影対象物の明るさ、被写体深度に影響する。本実施形態の撮像装置１００は後述する画像処理におけるキャリブレーションを実施することで様々な仕様の撮像レンズ１１に対応可能である。
【００１６】
撮像レンズ１１としては、例えば、産業用途、車載用途（ＬＤＷ（Lane Departure Warning），ＡＤＢ（画像データから先行車両・対向車両の位置を検知し、これらの車両の運転者を眩惑しないように自車両の前照灯をロービームに切り替える機能）など）において一般的に用いられているレンズ（画角±20〜40°、Ｆ1.4〜2.0）を使用できる。また、計測用途において用いられているマクロレンズなどの拡大系のレンズなども使用できる。ただし、撮像装置１００の用途をこれらに限るものではない。
【００１７】
撮像素子１３は光信号を電気信号に変換する電子部品であり、ＣＣＤやＣＭＯＳなどの一般的なイメージセンサを使用できる。
【００１８】
画像処理部１４は２つ以上の特定波長に対応した複数のリファレンスデータを予め有している。これらのリファレンスデータを用いて、撮像素子１３の隣接画素の差分画像を生成して画像出力する。リファレンスデータの生成方法については後述する。画像処理部１４は、メモリ、演算回路、入出力部、等を有し、領域分割フィルタ１２を透過して撮像素子１３の各画素が受光する輝度情報を出力分光情報へと変換出力する。
【００１９】
領域分割フィルタ１２は、特定波長に対応して撮像素子１３の隣接画素へ輝度差を生じさせる２つ以上の透過率の異なる領域を有している。
【００２０】
〔領域分割フィルタ〕
図２は、領域分割フィルタ１２の構成を説明する図の一例である。図２の領域分割フィルタ１２は、波長に応じて光の透過率が異なる４つの領域が縦横に配列された構造を有している。図では、４つの領域の頂点が接するように配置されている。この４つの領域を１つのブロック領域と称する。各領域はλ1,λ2,λ3,λ4の波長の光の透過率が異なり、具体的には各波長の光を選択的に透過させる。
【００２１】
領域分割フィルタ１２の１つの領域は、撮像素子１３の１つの画素に対応して配置される。このため、ブロック領域を通過した光が入射された撮像素子１３は、異なる４つの分光情報を取得する。ブロック領域を通過した光が入射された撮像素子１３は、それを１つの分光画像情報として取得する。
【００２２】
図２では、製造上生じうるずれなどを除けば、１つの領域が、１つの画素の全体を被覆するように配置されているが、１つの領域が、１つの画素の一部を被覆するように配置されていてもよい。また、１つの領域が、２以上の画素の全体を被覆するように配置することを制限するものではない。すなわち、１つの領域が、整数個の素子を被覆することができる。
【００２３】
図３は、領域分割フィルタ１２の構成を説明する図の別の一例である。図３では、波長に応じて光の透過率が異なる２つの領域が縦横に配列された構造を有している。２つの領域は、λ1,λ2の２波長で透過率が異なる。領域分割フィルタ１２の矩形領域の２つ分で１つのブロック領域を構成しており、領域分割フィルタ１２の１つの領域は、撮像素子１３の１つの画素に対応して配置される。
【００２４】
ブロック領域を通過した光が入射された撮像素子１３は、それを１つの分光画像情報として取得する。図３では２つのブロック領域に対応して分光画像情報１、２が図示されている。
【００２５】
図３ではλ1の透過率に対応した領域が横方向に一列に配置され、λ２の透過率に対応した領域が横方向に一列に配置され、λ1の透過率に対応した領域とλ２の透過率に対応した領域が上下方向に交互に配置されている。このような配置パターンを横ストライプパターンと称す。
【００２６】
図４は、領域分割フィルタ１２の構成を説明する図の別の一例である。図３と同様に、波長に応じて光の透過率が異なる２つの領域が縦横に配列された構造を有している。図４ではλ1の透過率に対応した領域が縦方向に一列に配置され、λ２の透過率に対応した領域が縦方向に一列に配置され、λ1の透過率に対応した領域とλ２の透過率に対応した領域が左右方向に交互に配置されている。このような配置パターンを縦ストライプパターンと称す。
【００２７】
図５は、領域分割フィルタ１２の構成を説明する図の別の一例である。図３と同様に、波長に応じて光の透過率が異なる２つの領域が縦横に配列された構造を有している。図５では、λ1の透過率に対応した領域と、λ２の透過率に対応した領域とが、縦・横いずれにも交互に配置されている。すなわち、λ1の透過率に対応した領域と、λ２の透過率に対応した領域は横方向に交互に配置され、上下方向にも交互に配置されている。このような配置パターンをチェカーパターンと称す。
【００２８】
図６は、領域分割フィルタ１２の構成を説明する図の別の一例である。図６では、波長に応じて光の透過率が異なる２つの領域が配列されているが、領域の形状が長方形とはなっていない。λ1の透過率に対応した領域は、撮像素子１３の列方向及び行方向に対し、斜めの傾きをもって配置される。λ２の透過率に対応した領域も同様であり、λ1の透過率に対応した領域とλ２の透過率に対応した領域は斜めストライプというべき構造を形成している。ストライプの傾きは、撮像素子１３の画素の幅寸法１個分に対し、画素の縦寸法２個分である。すなわち、画素が正方形であれば、傾きは２となる。なお、傾きは２に限られるものではない。
【００２９】
図６のような領域分割フィルタ１２では、λ1の透過率に対応した領域が画素を被覆する面積、及び、λ２の透過率に対応した領域が画素を被覆する面積が、隣接した４つの画素ブロックで等しくなる。４つの画素ブロックに対応する領域分割フィルタ１２の領域がブロック領域である。したがって、図示する４つの画素が出力する分光画像情報を１つの分光画像情報とすることができる。
【００３０】
なお、図２〜図６のいずれの領域分割パターンも、パターンピッチは撮像素子１３の各画素の大きさと同程度である。すなわち、領域分割パターンの１つの領域の（波長に対し透過率が異なる方向の）縦横の長さは、撮像素子１３の各画素と同程度である。
【００３１】
〔領域分割フィルタ１２の構造〕
領域分割フィルタ１２は、光の透過を遮断または調光するＡＬやＣｒなどの遮光膜が形成された部分と形成されていない部分からなる。または、調光のバランスによっては透過率の異なる遮光膜がパターン化されていてもよい。ここで、遮光膜として金属膜を挙げているが、光の透過を遮断および調光できればよく、顔料染料を含んだレジストなどの有機膜でもよい。
【００３２】
また、フォトリソグラフィプロセスや干渉露光プロセスで形成可能なワイヤーグリッド偏光子やオートクローニング法で形成されるフォトニック結晶偏光子も使用できる。
【００３３】
さらに、特定波長に対して光の透過率を調整するためには誘電体多層膜を用いて領域分割したフィルタがよく、このようなフィルタは耐環境性に優れる。
【００３４】
〔リファレンスデータ〕
画像処理のリファレンスデータの生成について説明する。リファレンスデータを生成することを撮像素子１３のキャリブレーションという。キャリブレーションでは、領域分割フィルタ１２を通過した特定波長の光が撮像素子１３に到達した際の分光画像情報から、各成分の比率を計測する処理が行われる。これを複数の特定波長の光に対して行う。
【００３５】
キャリブレーションは、開発者等がマニュアルで行うこともできるし、不図示のキャリブレーション装置が行うこともできる。本実施形態では、キャリブレーション装置が行うとして説明する。
【００３６】
キャリブレーション装置は、まず、例えば特定波長のみを透過する誘電体バンドパスフィルタに対し、均一な明るさの平板照明を照射することで特定波長を生成する。特定波長の光を領域分割フィルタ１２を装着した撮像素子１３に入射する。少なくとも２つの特定波長λ１，λ２を生成する。特定波長を入射するためにバンドパスフィルタを用いる以外に、特定波長を入射できる他の手段をもちいてもよい。例えば、白色光を分光素子などで分光および合成して、特定波長（任意スペクトル形状も含む）を入射するような、多波長光源システムなども使用できる。
【００３７】
キャリブレーション装置は、撮像素子１３の全体に一様な強度の特定波長λ1の光を照射し、そのときの撮像素子１３の各画素の出力データを参照画像データ１として記録する。次に、同様に一様な強度の特定波長λ2の光を照射し、参照画像データ２として記録する。
【００３８】
各画素について、参照画像データ１と参照画像データ２の画素値そのものが、その画素位置でのλ1成分およびλ2成分の感度に比例していると考えることができ、各画素に入射する光のうち、λ1とλ2の感度の比率を計測したことになる。
【００３９】
この比率に基づき、波長λ1成分および波長λ2成分だけからなる画像データを生成する方法を説明する。
【００４０】
入射光の波長λ1成分をＬ（λ1）、波長λ2成分をＬ（λ2）、受光画素iでの波長λ1成分の感度をa（λ1）i、波長λ2成分の感度をa（λ2）iとする。領域分割フィルタ１２を透過して各画素iに入射する光の強度Ｉｉは、以下の式（１）で表せる。すなわち、波長λ１，λ２それぞれにおける、感度と強度の積の合計となる。
【００４１】
【数１】
0005929338.tif 000002
ここで、図２のように、隣接する2×2個の画素位置に同じ光が入射するものとすると、それら4つの画素（0から3）について（1）式が成り立つので、まとめて以下の式（２）、式（３）のように表せる。
【００４２】
【数２】
0005929338.tif 000003
【００４３】
【数３】
0005929338.tif 000004
ここで、入射強度（Ｉｉ）は各画素の出力する画像信号として取得でき、また各画素の波長λ1、λ2に対する成分感度（a（λ1）i、a（λ2）i）は計測した値（参照画像データ）を利用すれば既知であり、入射光の波長λ1、λ2成分であるＬ（λ1）、Ｌ（λ2）だけが未知量となる。
【００４４】
式（３）では未知量Ｌ（λ1）、Ｌ（λ2）の個数が「２」であるのに対し、制約条件の数が「４」個の連立方程式であり、Mが正方行列でない。このため、このままではMの逆行列が得られないので、行列Mの疑似逆行列Ｍ+を利用する。
【００４５】
【数４】
0005929338.tif 000005
注目画素位置によっては参照する2×2画素の領域内に、領域分割フィルタ１２のカバー率（被覆面積）が小さいものも存在するが、疑似逆行列により誤差を最小化する解が得られる。
【００４６】
感度ａ（λ１）i、  感度ａ（λ２）iは既知なので、全ての画素位置について、それぞれ参照画像データの2×2個画素値から上記の疑似逆行列Ｍ+をあらかじめ計算しておくことができる。そして、撮像装置１００における画像処理部１４内の不揮発メモリなどに記録しておけば、式（４）を用いて、2×2個の画素のそれぞれの画素位置の画像信号[Ｉ＝（I0,I1,I2,I3）]と疑似逆行列の各成分の単純な加重和の演算だけで、全画素位置の波長λ1、λ2成分Ｌ＝[Ｌ（λ1），Ｌ（λ2）]を求めることができる。よって、成分感度（a（λ1）i、a（λ2）i）、又は、成分感度（a（λ1）i、a（λ2）i）から求められた疑似逆行列がリファレンスデータである。換言すると、式（４）は、リファレンスデータの生成元となった特定波長の感度を用いて、入力画像における特定波長の成分を求める式になっている。特定波長の成分は単位画素に対応付けて記録されるので、ＲＡＷ画像と同様に画像処理が可能になる。
【００４７】
したがって、入力画像の波長のピークが２つの特定波長λ１，λ２の間にない場合、成分Ｌはほぼゼロになる。逆に、入力画像の波長のピークが２つの特定波長λ１，λ２の間にある場合、成分Ｌ[Ｌ（λ1），Ｌ（λ2）]に強制的に分解するおそれがある。
【００４８】
疑似逆行列を求める式（５）の演算は多少複雑だが、この処理は撮像装置１００の製造時に撮像装置外部の計算機（例えばキャリブレーション装置）などで一回だけ実行して結果だけ記録しておけばよく、撮影時の処理時間には影響しない。
【００４９】
この方法では実際の特定波長の光の撮像画像に基づいて入射光成分の比率を決定している。したがって、リファレンスデータは領域分割フィルタ１２の波長特性や、フィルタ分割境界での光もれなど面積カバー率以外の要素も含み、本実施形態の補正処理はこれらの特性の補正も同時に実行する意味をもつ。
【００５０】
また、この方法にて求めた波長成分（分光情報）はリファレンス波長がどれだけ含まれているかの度合いを示すものであるため、実際の明るさ情報は撮像素子１３のＲＡＷ画像データから得ることができる。
【００５１】
〔出力分光情報の取得〕
リファレンスデータを用いた出力分光情報の取得について説明する。
(i)  リファレンスデータを一つ有する場合（比較のためであって本実施形態の好適例ではない）
ａ１．キャリブレーション装置は、図７に示すように特定波長λ1、λ2を生成し、分光情報を得るために特定波長λ1、λ2からそれぞれ分光画像情報を計測する（キャリブレーションを行う）。
ａ２．キャリブレーションの結果からリファレンスデータ１を生成する。すなわち、キャリブレーション装置は、a（λ1）i、a（λ2）iから疑似逆行列を生成し、リファレンスデータ１として画像処理部１４のメモリに記録する。
ａ３．撮像装置１００が、図８（ａ）のような入力光波長λ1となる被写体を撮像した場合、式（４）の疑似逆行列M＋（リファレンスデータ）と画像信号により、画像処理部１４が信号処理を行う。図８（ｂ）は、画像処理部１４の信号処理結果を模式的に示している。出力結果により波長λ1を検出することができる。
ａ４．図９（ａ）（ｂ）は、入力光波長λ2に対し画像処理部１４が信号処理した結果を示している。この場合も画像処理部１４は波長λ2を検出することができる。
【００５２】
次に、撮像装置１００がキャリブレーションに用いた特定波長とは異なる、図１０（ａ）の入力光波長λ3の被写体を撮像した場合を考える。この場合、特定波長λ１、λ２と入力光波長λ3の波長の違いに応じて、図１０(b)のようなλ1とλ2に相関関係にある波長λ3を検出することができる。例えば、入力光波長λ3がλ１とλ２の中央値の波長の場合、λ１とλ２それぞれに半分程度の感度があるものとして、入力光波長λ3の出力分光情報が得られる。実際にはＬ（λ1）成分とＬ（λ2）成分として出力される。
【００５３】
しかし、図１１（ａ）のように、キャリブレーションに用いた２つの特定波長（入力光波長λ1と入力光波長λ2）が同じ強度となる、被写体を撮像した場合を考える。図１１（ｂ）に示すように、強度によっては入力光波長λ3が入力した場合の検出結果と同じになってしまう。実際にはＬ（λ1）成分とＬ（λ2）成分がそれぞれ検出される。つまり、入力光波長λ1と入力光波長λ2の強度が図１０（ａ）と比べて小さいので、図１０（ｂ）の入力光波長λ3と同程度の出力結果になってしまう。
【００５４】
このように２つの特定波長に対応したリファレンスデータを一つ有する場合だけでは、入力光の波長（スペクトル形状）によっては間違った出力結果を出す場合があり、十分な分光情報の検出精度が得られない。
【００５５】
(ii)  リファレンスデータを２つ有する場合
そこで、本実施形態では、前述したキャリブレーションによりリファレンスデータを複数生成する。
ｂ１．キャリブレーション装置は、図１２に示すように特定波長λ1、λ2、λ３（λ１＜λ３＜λ２）を生成し、分光情報を得るために特定波長λ1、λ３からリファレンスデータ1を生成し、特定波長λ２、λ３からリファレンスデータ２を生成する。
ａ２．キャリブレーションの結果からリファレンスデータ１、２を生成する。リファレンスデータ１は、a（λ1）i、a（λ３）iから生成された疑似逆行列であり、リファレンスデータ２は、a（λ３）i、a（λ２）iから生成された疑似逆行列である。キャリブレーション装置は、リファレンスデータ１、２を画像処理部１４のメモリに記録する。
ａ３．撮像装置１００が、図１３（ａ）のような入力光波長λ1となる被写体を撮像し、画像処理部１４は画像信号とリファレンスデータ１とを式（４）に適用して信号処理を行う。
【００５６】
図１３（ｂ）は、画像処理部１４の信号処理結果を模式的に示している。図１３（ｂ）の上段はリファレンスデータ１による信号処理結果を示し、図１３（ｂ）の下段はリファレンスデータ２による信号処理結果を示している。リファレンスデータ１は特定波長λ１とλ３から生成されているが、リファレンスデータ２は特定波長λ３とλ２から生成されているので、リファレンスデータ２から波長λ１は検出されない。すなわち、リファレンスデータ1のみから波長λ1が検出される。このため、波長λ1を検出することができる。
【００５７】
図１４（a）のような入力光波長λ2となる被写体を撮像した場合も略同様になる。リファレンスデータ１は特定波長λ１とλ３から生成されているが、リファレンスデータ２は特定波長λ３とλ２から生成されているので、リファレンスデータ１から波長λ２は検出されない。すなわち、リファレンスデータ２のみから波長λ２が検出される。このため、波長λ２を検出することができる。
【００５８】
図１５（a）のような入力光波長λ３となる被写体を撮像した場合も略同様になる。リファレンスデータ１は特定波長λ１とλ３から生成され、リファレンスデータ２は特定波長λ３とλ２から生成されているので、リファレンスデータ１、２の両方から波長λ３が検出される。このため、波長λ３を検出することができる。
【００５９】
そして、図１６（ａ）のようなキャリブレーションに用いた特定波長のうち２つが重ねあわされた入力光波長λ1と入力光波長λ2が同じ強度となる被写体を撮像した場合は、次のようになる。リファレンスデータ１は特定波長λ１とλ３から生成されているので、入力光波長λ1と入力光波長λ2のうち入力光波長λ1を検出できる。リファレンスデータ２は特定波長λ３とλ２から生成されているので、入力光波長λ1と入力光波長λ2のうち入力光波長λ２を検出できる。
【００６０】
したがって、図１６（ｂ）のような出力結果が得られ、図１１（ｂ）と異なり、波長λ3を検出することなく、波長λ1および波長λ2をそれぞれ検出することができる。
【００６１】
図１２では、３つの特定波長λ１〜λ３に対応したリファレンスデータ（画像）を２つ生成したが、リファレンスデータに用いる特定波長を増やすことで、リファレンスデータが多くなり、分光情報の分解能を大きくすることができる。
【００６２】
このように、２つ以上の特定波長に対応したリファレンスデータを複数有することで、入力光の波長（スペクトル形状）によらず高精度な分光情報を出力することができる。すなわち、領域分割フィルタ１２を有する撮像装置１００における分光情報の検出精度を向上させることができる。
【００６３】
また、複数の各リファレンスデータから得られた出力分光情報を合成することで、分光情報量の多い分光画像が出力可能な撮像装置１００を提供できる。
【００６４】
〔装置への適用例〕
これまで説明した、撮像装置１００の適用例について説明する。
撮像素子１３は、ＦＰＣ基板にセンサダイ実装およびワイヤーボンディングして、例えばＣＭＯＳイメージセンサ基板として作成される。領域分割フィルタ１２は、ガラス基板上へＡＬを（数百nm）蒸着後、フォトリソプロセスにより図５のようなチェッカーパターンを形成することで作成される。つまり、チェッカーパターンにしたがって、ＡＬ遮光膜の有る矩形領域とない矩形領域が縦横に形成される。
【００６５】
領域分割フィルタ１２は、撮像素子１３とフィルタパターンが１対１に対応するように固着され、撮像レンズ１１、センサ駆動基板および制御ＰＣ（Personal  Computer）と装着接続することで画像情報を表示可能とした。出願人は、実験的に、本実施形態の撮像装置１００における画像処理部１４を、センサ駆動基板と制御ＰＣとで実現した。撮像装置１００として出荷するなどの場合は、ＦＰＧＡなどを用いて実現できる。
【００６６】
図１７は分光画像の生成に必要なキャリブレーションにおける特定波長に対する撮像素子１３のＲＡＷ画像（一部）を示したものである。キャリブレーションに用いる特定波長は、図１７の左から波長４５０ｎｍ、５５０ｎｍ、６５０ｎｍの単一波長とした。これらの単一波長の光はハロゲンランプとバンドパスフィルタを用いて作成される。
【００６７】
まず、波長４５０nmと波長５５０nmでキャリブレーション装置がキャリブレーションを実施し、リファレンスデータ１を作成する。次に波長５５０nmと波長６５０nmでキャリブレーションを実施し、リファレンスデータ２を作成する。リファレンスデータ１，２は制御ＰＣに記憶される。
【００６８】
領域分割フィルタ１２の各矩形領域（ＡＬ遮光膜の無領域とＡＬ遮光膜の有領域のパターン）は撮像素子１３の各画素に対応して配置されているため、フィルタパターンに対応した明暗パターン（ＡＬ遮光膜の無領域とＡＬ遮光膜の有領域のパターン）画像が出力されている。ここでは領域分割フィルタ１２がチェッカーパターンの場合を示しているが、ストライプパターンでも同様にしてフィルタパターンに対応した明暗パターン画像が出力される。
【００６９】
図１７のＲＡＷ画像（一部）に示すように、明暗パターンのコントラストは波長によって変化している（図では分かりにくいが、波長が大きいほどコントラストが低下する）。これは、フィルタパターンおよび構成配置に起因する光学特性に依存するものである。光学特性としてはフィルタの分光透過率や散乱、パターンに起因する回折現象の影響を受ける。
【００７０】
図１８は単一波長に対するセンサ画素値（輝度）のヒストグラムを示したものである。図１８の輝度ヒストグラムは各波長において２つのピークを示している。この２つのピークは、図１７（ａ）〜（ｃ）の明部と暗部にそれぞれ対応する。また、図１８（ａ）〜（ｃ）を比較すると、２つのピーク差（ピークの間隔）が波長によって変化していることがわかる（特定波長が長いほどピーク差が小さい）。
【００７１】
高輝度側のピークは明パターンの輝度情報、低輝度側のピークは暗パターンの暗輝度情報である。ここでは複数画素（数百から数千）におけるヒストグラムを示しているが、一画素単位の明暗輝度情報においても同様に２つのピークが得られる。
【００７２】
明パターンの輝度値をIb、暗パターンの輝度値をIdすると、明暗パターン輝度値のコントラスト（差分）I(x)=(Ib-Id)/(Id+Id)は以下のようになる。
４５０ｎｍ：I(x)＝（６３−４１）／（６３＋４１）＝約０．２１２
５５０ｎｍ：I(x)＝（６０−４２）／（６０＋４２）＝約０．１７６
６５０ｎｍ：I(x)＝（５７−４７）／（５７＋４７）＝約０．０９６
図１９はI(x)を波長に対しプロットした、コントラストの波長依存性である。
【００７３】
すなわち、明暗パターンにおける隣接画素の輝度値の差分を演算することで隣接画素の分光情報を得ることができる。例えば、撮像装置１００が単一波長を撮影して明暗パターンのＲＡＷデータを得た場合、明暗パターン輝度値のコントラストI(x)を算出し、４５０、５５０、６５０ｎｍの既知のI（x）のいずれに近いかより、単一波長を推定できる。
【００７４】
次に、本実施形態の撮像装置１００で、強度が同じ波長４５０nmと波長６５０nmの単一波長の２つのピークをもつスペクトル光が照射された標準白色板を撮影した。スペクトル光の生成には波長可変光源ＥＬＳ（ニコン製）を用いた。
【００７５】
図２０は生成されたスペクトル光のスペクトルを、図２１（ａ）は、キャリブレーションデータ１による分光画像の一例を、図２２（ａ）はキャリブレーションデータ２による分光画像の一例を、それぞれ示す図である。キャリブレーションデータ１は、波長４５０ｎｍと５５０ｎｍの単一波長から生成され、キャリブレーションデータ２は、波長５５０ｎｍと６５０ｎｍの単一波長から生成されている。このため、図１６（ｂ）にて説明したように、キャリブレーションデータ１による出力分光情報では、波長６５０ｎｍの光の出力分光情報が得られない。キャリブレーションデータ２による出力分光情報では、波長４５０ｎｍの光の出力分光情報が得られない。
【００７６】
図２１（ａ）では、リファレンスデータ１により１つの画素ブロック（この場合は隣接した２つの単位画素）毎にL（λ:450ｎｍ）とL（λ:550ｎｍ）の２つの波長成分が得られている。ただし、５５０ｎｍの波長成分はほぼゼロである。図２２（ａ）では、リファレンスデータ２により１つの画素ブロック（この場合は隣接した２つの単位画素）毎にL（λ:550ｎｍ）とL（λ:650ｎｍ）の２つの波長成分が得られている。ただし、L（λ:550ｎｍ）の波長成分はほぼゼロである。
【００７７】
図２１（b）は、図２１（a）の破線で囲った領域の分光情報出力結果を示す。破線で囲った領域の隣接した画素について画像処理部１４が、
〔Ｌ（λ:450ｎｍ）−Ｌ（λ:550ｎｍ）〕／〔Ｌ（λ:450ｎｍ）＋Ｌ（λ:550ｎｍ）〕
を計算する。この計算結果をX軸に取り、計算結果（算出回数）に対応する頻度をカウントする。図示するように、約０．９に頻度のピークが得られている。つまり、計算結果がある範囲に入る場合にその範囲のカウント数を１つ大きくすることで頻度としている。
【００７８】
図２２（b）は、図２２（a）の破線で囲った領域の分光情報結果を示す。破線で囲った領域の隣接した画素について画像処理部１４が、
〔Ｌ（λ:550ｎｍ）−Ｌ（λ:650ｎｍ）〕／〔Ｌ（λ:550ｎｍ）＋Ｌ（λ:650ｎｍ）〕
を計算する。この計算結果をX軸に取り、計算結果に対応する頻度をカウントする。図示するように、約−０．９に頻度のピークが得られている。
【００７９】
リファレンスに使用したスペクトル光は、強度のピークが波長４５０nmと波長６５０nmであることがわかっているので、図２１（ｂ）のピークは波長４５０ｎｍに対応し、図２２（ｂ）のピークは波長６５０ｎｍに対応する。したがって、分光情報出力結果は波長の抽出を可能とする。予め図２１、２２の分光情報出力結果を得ておくことで、未知のスペクトルの分光情報が得られる。
【００８０】
図２３は、図２１（b）、図２２（b）の分光情報を合成したものである。図２３を図２０と比較すると、今回撮影した４５０と６５０にそれぞれピークをもつ入射スペクトルと同じ結果が得られている。
【００８１】
なお、図２１（b）、図２２（b）中の横軸は−１〜１で表記されているが、実際の画像出力としては例えば２５６階調で表示されるものであり、例えば、＋１を黒（０）、−１を白（２５５）のグレースケールで表現することにより容易に分光状態を可視情報として提示することができる。または、分光波長に応じたカラーテーブルで表示してもよい。
【００８２】
以上説明したように、本実施形態の領域分割フィルタ１２を有する撮像装置１００は、２つ以上の特定波長に対応したリファレンスデータを複数用意し、領域分割フィルタ１２を介して撮影された画像の明暗パターンをリファレンスデータを用いて演算し、隣接画素の輝度値の差分を取り出すことで、高精度に分光情報を検出することができる。
【符号の説明】
【００８３】
１１    撮像レンズ
１２    領域分割フィルタ
１３    撮像素子
１４    画像処理部
１００  撮像装置
【先行技術文献】
【特許文献】
【００８４】
【特許文献１】特開２００５−０５７５４１号公報
【特許文献２】特開２００５−３１００７号公報
【非特許文献】
【００８５】
【非特許文献１】光アライアンス  1999.11  p4-9
【図１】
0005929338.tif 000006
【図２】
0005929338.tif 000007
【図３】
0005929338.tif 000008
【図４】
0005929338.tif 000009
【図５】
0005929338.tif 000010
【図６】
0005929338.tif 000011
【図７】
0005929338.tif 000012
【図８】
0005929338.tif 000013
【図９】
0005929338.tif 000014
【図１０】
0005929338.tif 000015
【図１１】
0005929338.tif 000016
【図１２】
0005929338.tif 000017
【図１３】
0005929338.tif 000018
【図１４】
0005929338.tif 000019
【図１５】
0005929338.tif 000020
【図１６】
0005929338.tif 000021
【図１８】
0005929338.tif 000022
【図１９】
0005929338.tif 000023
【図２０】
0005929338.tif 000024
【図２３】
0005929338.tif 000025
【図１７】
0005929338.tif 000026
【図２１】
0005929338.tif 000027
【図２２】
0005929338.tif 000028