(57)【要約】【課題】分光画像を得るまでに要する処理時間を短くするとともに、ノイズの少ない分光画像を得ることを課題とする。【解決手段】所定の撮像領域からの光を、光学フィルタ２を介して、２次元配置された画素アレイを有する画像センサ４で検出し、その検出結果を出力する分光画像撮像装置において、上記光学フィルタとして、画像センサ上における１つの画素に対応した格子パターンを有する回析格子を用い、その回析格子を通過した光の回析角度に応じた画像センサ上の干渉地点の違いにより、隣接する２つの画素間における輝度Ｉ１，Ｉ２の差分値が異なるように構成されている。そして、当該隣接する２つの画素間における輝度差分値に基づくコントラスト指標値Ｉｃ＝（Ｉ１−Ｉ２）／（Ｉ１＋Ｉ２）を算出し、各コントラスト指標値の違いを階調の違いで表現した画像を分光画像として生成し、その分光画像からノイズ成分を除去する。【選択図】図２
2012093248.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るために、該所定の撮像領域からの光を、光学フィルタを介して、２次元配置された画素アレイを有する画像センサで検出し、その検出結果を出力する分光画像撮像装置であって、
上記光学フィルタとして、上記画像センサ上における１つの画素又は２以上の画素群で構成される単位領域に対応した格子パターンを有する回析格子を用い、
該回析格子を通過した光の回析角度に応じた上記画像センサ上の干渉地点の違いにより、隣接する２つの単位領域間における受光量の差分値が異なるように構成し、
隣接する２つの単位領域間における受光量の差分値を上記画像センサの検出結果に基づいて算出し、算出した各差分値に基づく差分値画像を生成する差分値画像生成手段と、
該差分値画像生成手段が生成した差分値画像に対し、ノイズ除去用パラメータを用いて該差分値画像中に含まれるノイズ成分を除去するノイズ除去処理を行うノイズ除去処理手段とを設けたことを特徴とする分光画像撮像装置。
【請求項２】
請求項１の分光画像撮像装置において、
予め決められた互いに異なる複数の波長ごとに、上記差分値画像生成手段が生成した差分値画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータを記憶するパラメータ記憶手段を有し、
上記ノイズ除去処理手段は、上記差分値画像生成手段が生成した差分値画像中のノイズ除去対象領域における波長に対応するノイズ除去用パラメータを上記パラメータ記憶手段から読み出し、該ノイズ除去用パラメータを用いて該ノイズ除去対象領域に対するノイズ除去処理を行うことを特徴とする分光画像撮像装置。
【請求項３】
請求項１の分光画像撮像装置において、
上記ノイズ除去用パラメータは、上記差分値画像生成手段が生成した差分値画像中の各差分値がノイズ成分であるか否かを判断するための閾値であり、
上記ノイズ除去処理は、上記差分値画像中の注目単位領域と該注目単位領域の周辺に位置する周辺単位領域との間の差分値の差が上記ノイズ除去用パラメータにより特定される閾値を超えるとき、当該周辺単位領域の差分値がノイズ成分であると判断して除外するインパルスノイズ除去処理を含むものであることを特徴とする分光画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るための分光画像撮像装置に関するものである。
【背景技術】
【０００２】
従来、分光スペクトルを取得する装置として分光器が広く利用されている。一般的な分光器は、入射光をプリズムや回折格子を用いて複数の波長成分に分解し、各波長成分の光強度を受光素子で検出する。このような一般的な分光器では、入射光の分光スペクトルをその入射光の位置情報と対応付けて得ることはできない。近年、所定の撮像領域内における各地点からの光の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を撮像できる分光画像撮像装置が注目されている。この分光画像は、撮像領域内における各地点の波長成分の２次元分布を表現した画像であり、撮像領域内における各地点の波長成分を例えば階調の違いによって表現したものが挙げられる。分光スペクトルを取得する方式は、主として、波長選択フィルタ（バンドパスフィルタ、ローパス・ハイパスフィルタ）を用いる方式、プリズムや回折格子などの分散素子を用いる方式、フーリエ分光法を用いる方式の３つの方式に大別できる。従来、これらの方式をそれぞれ利用した分光画像撮像装置が提案されている。
【０００３】
波長選択フィルタを用いる方式を利用して分光画像を撮像可能な装置としては、例えば、特許文献１に記載された分光カメラヘッドが知られている。この分光カメラヘッドでは、波長選択フィルタを介して被写体からの入射光を２次元撮像素子で受光することにより、その波長選択フィルタに対応した波長成分の分光画像を得る。この分光カメラヘッドは、波長選択フィルタとして液晶波長チューナブルフィルタを利用することにより、動的に透過波長を切り替えることができる。よって、波長選択フィルタの透過波長を切り替えながら撮像することで、互いに異なる波長成分で撮像された複数の画像が得られる。これらの画像を合成することにより、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得ることができる。
【０００４】
分散素子を用いる方式を利用して分光画像を撮像可能な装置としては、例えば、非特許文献１に記載された平面分光測定器が知られている。この平面分光測定器は、直線状に並んだ各地点の位置情報の測定とスペクトル情報を同時に測定可能なイメージング分光器を用いる。このイメージング分光器を当該各地点の並び方向に対して直交する方向へ走査しながら撮像することにより、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得ることができる。
【０００５】
フーリエ分光法を用いる方式を利用した撮像装置としては、例えば、特許文献２に記載された分光装置が知られている。この分光装置は、入射光を２つの光路又は２つの偏光成分に分け、一方に位相差を与えることによって互いを干渉させる。そして、これにより得られる検出信号を計算機上でフーリエ変換することにより、分光スペクトルを得ることができる。この分光装置を用いて分光画像を得る場合には、例えば、互いに直交する２つの光路又は２つの偏光成分に与える位相差を変化させながら検出を行うことで、所定の波長範囲にわたる分光スペクトルの２次元分布を得ることが可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した各方式で分光画像を得る場合、いずれも分光画像を得るまでに要する処理時間が長いので、分光画像をリアルタイムで高速に撮像する用途には適用することが困難であるという問題があった。
具体的には、波長選択フィルタを用いる方式においては、１回の撮像動作では１つの波長成分について２次元分布しか得られない。そのため、分光画像を得るには、互いに異なる波長成分で撮像された複数の画像を撮像し、これらの画像を合成する必要がある。そのため、複数回の撮像動作や複数の画像を合成する処理に時間がかかるので、分光画像を得るのに要する処理時間が長い。
また、分散素子を用いる方式において、分光画像を得るには、上記イメージング分光器を走査しながら撮像する必要があるため、その走査時間が必要な分だけ分光画像を得るのに要する処理時間が長くなる。
また、フーリエ分光法を用いる方式において、分光画像を得るには、２つの光路又は２つの偏光成分に与える位相差を変化させながら検出を行う必要があり、その検出に時間がかかる結果、分光画像を得るのに時間を要する。
【０００７】
そこで、本出願人は、分光画像を得るまでに要する処理時間を短くすべく、画像センサ上における１つの画素又は２以上の画素群で構成される単位領域に対応した格子パターンを有する回析格子を用いた分光画像撮像装置を提案した。この分光画像撮像装置では、回析格子を通過した光の回析角度に応じた画像センサ上の干渉地点の違いにより、隣接する２つの単位領域間における受光量の差分値に違いが生じる。光の回析角度は波長依存性があるので、当該差分値の２次元分布を作成すれば、その２次元分布は、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけたものとなる。したがって、この２次元分布を、例えば差分値の違いを階調の違いで表現した差分値画像として示せば、その画像を分光画像として用いることができる。
【０００８】
ところが、一般に、撮像画像にはノイズ成分が含まれるが、本出願人が提案した分光画像撮像装置で撮像した分光画像（差分値画像）にもノイズ成分が含まれる。例えば、この分光画像が隣接する２つの単位領域間における差分値の違いを階調の違いで表現したものである場合、当該隣接する２つの単位領域間における受光量の差分値が隣の差分値と比較して大きく異なる値であるときは、通常、その差分値はノイズである。なぜなら、隣接する２つの差分値は、撮像領域内の互いに隣り合う地点からの受光量に基づくものであるので、大幅な違いが出ることは通常あり得ないからである。このようなノイズが分光画像中に含まれていると、その分光画像を利用した後処理工程において、適切な処理を行うことができないおそれがある。例えば、その分光画像中のエッジ部分を物体の輪郭として認識する処理を含む物体識別処理を行う場合、その分光画像中のノイズをエッジ部分として抽出してしまって、物体の識別精度が落ちるおそれがある。
【０００９】
本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、本出願人が提案した上記分光画像撮像装置においてノイズの少ない分光画像を得ることが可能な分光画像撮像装置を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、請求項１の発明は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るために、該所定の撮像領域からの光を、光学フィルタを介して、２次元配置された画素アレイを有する画像センサで検出し、その検出結果を出力する分光画像撮像装置であって、上記光学フィルタとして、上記画像センサ上における１つの画素又は２以上の画素群で構成される単位領域に対応した格子パターンを有する回析格子を用い、該回析格子を通過した光の回析角度に応じた上記画像センサ上の干渉地点の違いにより、隣接する２つの単位領域間における受光量の差分値が異なるように構成し、隣接する２つの単位領域間における受光量の差分値を上記画像センサの検出結果に基づいて算出し、算出した各差分値に基づく差分値画像を生成する差分値画像生成手段と、該差分値画像生成手段が生成した差分値画像に対し、ノイズ除去用パラメータを用いて該差分値画像中に含まれるノイズ成分を除去するノイズ除去処理を行うノイズ除去処理手段とを設けたことを特徴とするものである。
また、請求項２の発明は、請求項１の分光画像撮像装置において、予め決められた互いに異なる複数の波長ごとに、上記差分値画像生成手段が生成した差分値画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータを記憶するパラメータ記憶手段を有し、上記ノイズ除去処理手段は、上記差分値画像生成手段が生成した差分値画像中のノイズ除去対象領域における波長に対応するノイズ除去用パラメータを上記パラメータ記憶手段から読み出し、該ノイズ除去用パラメータを用いて該ノイズ除去対象領域に対するノイズ除去処理を行うことを特徴とするものである。
また、請求項３の発明は、請求項１の分光画像撮像装置において、上記ノイズ除去用パラメータは、上記差分値画像生成手段が生成した差分値画像中の各差分値がノイズ成分であるか否かを判断するための閾値であり、上記ノイズ除去処理は、上記差分値画像中の注目単位領域と該注目単位領域の周辺に位置する周辺単位領域との間の差分値の差が上記ノイズ除去用パラメータにより特定される閾値を超えるとき、当該周辺単位領域の差分値がノイズ成分であると判断して除外するインパルスノイズ除去処理を含むものであることを特徴とするものである。
【００１１】
回析格子を通過した光が回析する際、その光の波長に応じて回析角度が変わってくるので、画像センサ上の干渉地点の位置も変わってくる。回析格子で回析させる光は、偏光でも非偏光でもよい。非偏光の場合は、例えば、非偏光を全透過させる領域と非偏光を全遮光させる領域とを交互に配置した格子パターンを有する回析格子を利用すればよい。一方、偏光の場合は、例えば、特定の偏光成分を透過する領域と当該特定の偏光成分を遮光する領域とを交互に配置した格子パターンを有する回析格子を利用すればよい。本発明においては、回析格子を通過して光の回析によって生じる干渉地点の違いが、隣接する２つの単位領域間における受光量の差に現れるように構成されている。よって、本発明において、隣接する２つの単位領域間における受光量の差分値（輝度値の差）から、当該隣接する２つの単位領域に対応した撮像領域内の地点からの光の波長成分を特定することができる。したがって、当該各差分値に基づく差分値画像は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像として用いることができる。なお、差分値画像は、当該各差分値の違いを、その差分値画像の画素ごとに、例えば、階調の違いで表したり、色の違いで表したりしたものが挙げられる。また、差分値画像は、当該差分値をそのまま階調の違いや色の違いで表したものでもよいが、例えば、当該差分値を、当該隣接する２つの単位領域の受光量の合計値で割った指標値を階調の違いや色の違いで表したものでもよい。
本発明によれば、１回の撮像動作で、分光画像として用いることができる差分値画像を得ることができるので、波長選択フィルタを用いる方式を利用した従来の分光画像撮像装置と比較して、分光画像を得るのに要する処理時間が短い。また、その撮像動作に際して、分散素子を用いる方式を利用した従来の分光画像撮像装置のように機器を走査したり、フーリエ分光法を用いる方式を利用した従来の分光画像撮像装置のように２つの光路又は２つの偏光成分に与える位相差を変化させながら検出を行ったりする必要がないので、これらの従来装置と比較しても分光画像を得るのに要する処理時間が短い。
そして、本発明においては、ノイズ除去処理手段により、分光画像として用いられる差分値画像中に含まれるノイズ成分を除去することができるので、ノイズの少ない分光画像を得ることができる。
【発明の効果】
【００１２】
以上、本発明によれば、分光画像撮像装置において分光画像を得るまでに要する処理時間を短くすることができるとともに、ノイズの少ない分光画像を得ることができるという優れた効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る運転者支援システムの機能ブロック図である。
【図２】同運転者支援システムに用いられる光学フィルタ付きカメラの概略構成を示す説明図である。
【図３】同光学フィルタ付きカメラにおける光学フィルタと画像センサとを示す拡大図である。
【図４】同光学フィルタの格子パターンと同画像センサの画素との対応関係を示す説明図である。
【図５】同光学フィルタの偏光領域として利用可能なワイヤグリッド偏光子の拡大写真である。
【図６】構成例１における光学フィルタの説明図である。
【図７】同光学フィルタに、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。
【図８】構成例２における光学フィルタの説明図である。
【図９】同光学フィルタの斜視拡大図である。
【図１０】同光学フィルタに、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。
【図１１】構成例３における光学フィルタの偏光領域を、画像センサ上に重ねて示した説明図である。
【図１２】同光学フィルタに、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。
【図１３】（ａ）〜（ｃ）は、分光画像生成方法１において、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときに信号処理部から出力される撮像画像を示した拡大写真である。
【図１４】（ａ）〜（ｃ）は、分光画像生成方法１において、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときの画像センサ上の各画素の受光量（輝度値）のヒストグラムである。
【図１５】分光画像生成方法１において、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射して得られる撮像画像のコントラスト指標値Ｉｃをプロットしたグラフである。
【図１６】（ａ）〜（ｃ）は、分光画像生成方法２において、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときに信号処理部５から出力される撮像画像の全体を示した写真である。
【図１７】図１６（ａ）〜（ｃ）中の破線で囲った部分について、コントラスト指標値ＳＰｃの分布を計測した結果を示すヒストグラムである。
【図１８】市販されているカラーチャートを撮影し、コントラスト指標値ＳＰｃに基づいて得られた分光画像である。
【図１９】図１７中のＲで示す箇所、Ｇで示す箇所、Ｂで示す箇所について、コントラスト指標値ＳＰｃの分布を計測した結果を示すヒストグラムである。
【図２０】εフィルタを用いたノイズ除去方法におけるフィルタ領域を示すノイズ除去処理の説明図である。
【図２１】運転者支援システムの光学フィルタ付きカメラが搭載された車両の先行車両の背面部を含む撮像領域を夜間に撮像した撮像画像である。
【図２２】図２１の撮像画像と同じ撮像領域を光学フィルタ付きカメラで撮像して得た分光画像（ノイズ除去処理無し）である。
【図２３】（ａ）は、図２２に示す分光画像に示される片側のテールランプを拡大表示した拡大図であり、（ｂ）は、同図（ａ）に対応する差分値（Ｉ１−Ｉ２）のヒストグラムである。
【図２４】（ａ）は、図２２に示す分光画像に対して本実施形態のノイズ除去処理を施した場合における片側のテールランプを拡大表示した拡大図であり、（ｂ）は、同図（ａ）に対応する差分値（Ｉ１−Ｉ２）のヒストグラムである。
【図２５】運転者支援システムの光学フィルタ付きカメラが搭載された路端に置かれた自動販売機を含む撮像領域を夜間に撮像した撮像画像である。
【図２６】図２５の撮像画像と同じ撮像領域を光学フィルタ付きカメラで撮像して得た分光画像（ノイズ除去処理無し）である。
【図２７】（ａ）は、図２６に示す分光画像に示される自動販売機の部分を拡大表示した拡大図であり、（ｂ）は、同図（ａ）に対応する差分値（Ｉ１−Ｉ２）のヒストグラムである。
【図２８】（ａ）は、図２６に示す分光画像に対して本実施形態のノイズ除去処理を施した場合における自動販売機の部分を拡大表示した拡大図であり、（ｂ）は、同図（ａ）に対応する差分値（Ｉ１−Ｉ２）のヒストグラムである。
【発明を実施するための形態】
【００１４】
以下、本発明に係る物体識別装置を用いて、各種物体をそこから発せられる光の波長の違いによって識別するために用いる分光画像を高速に取得し、その分光画像に基づく物体識別精度を高めるために当該分光画像に適したノイズ除去用パラメータを用いてノイズ除去処理を行う。
以下に説明する実施形態においては、分光画像に基づく識別結果を用いて車両の運転者（ドライバー）の運転負荷を軽減させるための運転者支援システムに適用した例について説明するが、本発明はこの例に限定されることはない。
また、以下の説明では、前方の先行車両のテールランプ及び対向車のヘッドランプからの光の波長と、路端の自動販売機や街灯などからの光の波長との違いから、それらの物体を区別して識別する場合を具体例として説明する。
【００１５】
図１は、本実施形態に係る運転者支援システムの機能ブロック図である。
図示しない車両に搭載された撮像手段としての光学フィルタ付きカメラ１０により、移動体である車両が走行する路面上における自車周囲の風景を撮影し、画素（処理領域）ごとの輝度情報としてＲＡＷ画像データを取得する。この光学フィルタ付きカメラ１０で撮像される撮像画像（ＲＡＷ画像データが示す画像）は、詳しくは後述するが、そのカメラ１０の画像センサ上で互いに隣接する２つの画素が明部と暗部となって、明暗が２次元方向へ周期的に繰り返される画像となる。ＲＡＷ画像データに含まれる明部に対応する画素の輝度値のデータ（明部輝度データ）は明部画像メモリ１１に格納され、ＲＡＷ画像データに含まれる暗部に対応する画素の輝度値のデータ（暗部輝度データ）は暗部画像メモリ１２に格納される。以下、撮像画像全域の明部輝度データからなるデータ群を明部画像データとし、撮像画像全域の暗部輝度データからなるデータ群を暗部画像データとする。明部画像データ及び暗部画像データは、いずれも、モノクロ画像処理部２１と分光画像処理部２２とに送られる。
【００１６】
以下、光学フィルタ付きカメラ１０の構成及び動作について詳述する。
図２は、本実施形態における光学フィルタ付きカメラ１０の概略構成を示す説明図である。
この光学フィルタ付きカメラ１０は、主に、撮像レンズ１と、光学フィルタ２と、２次元配置された画素アレイを有する画像センサ４を含んだセンサ基板３と、センサ基板３から出力されるアナログ電気信号をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部５とから構成されている。被写体（被検物）を含む撮像領域からの光は、撮像レンズ１を通り、光学フィルタ２を透過して、画像センサ４でその光強度に応じた電気信号に変換される。信号処理部５では、画像センサ４から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、画像センサ４上における各画素の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに、明部画像メモリ１１及び暗部画像メモリ１２へ出力される。そして、明部画像データについては明部画像メモリ１１に格納され、暗部画像データについては暗部画像メモリ１２に格納される。
【００１７】
図３は、光学フィルタ２と画像センサ４とを示す拡大図である。
画像センサ４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード４ａを用いている。フォトダイオード４ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード４ａの集光効率を上げるために、各フォトダイオード４ａの入射側にはマイクロレンズ４ｂが設けられている。この画像センサ４がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板３が形成されている。画像センサ４のマイクロレンズ４ｂ側の面には、光学フィルタ２が近接配置されている。光学フィルタ２の画像センサ４側の面には、図４に示すように、光を透過する透過領域２ａと光を遮蔽する遮光領域２ｂとが２次元方向で交互に隣接するように格子状に配置されて市松状に領域分割された格子パターン（領域分割パターン）を有している。個々の透過領域２ａ及び遮光領域２ｂは、図４に示すように、それぞれ、画像センサ４上の一画素（１つのフォトダイオード４ａ）に対応するように配置されている。
【００１８】
本実施形態において、光学フィルタ２の透過領域２ａを通過した光は遮光領域２ｂの背面側に回り込むように回析する。回折現象は波長依存性を有するものであり、長い波長ほど回折角は大きくなる（光束が広がる）。本実施形態は、後述するとおり、波長に応じた回折角の違いを利用して、分光画像を得るものである。
【００１９】
本実施形態の光学フィルタ２は、透過領域と遮光領域とをガラス平板上に形成したものを用いることができる。なお、本実施形態の狙いの回折を生じさせるためには、その格子パターンの周期が１波長から１０波長程度とするのが好ましい。画像センサ４の画素サイズが数μｍである場合、格子パターンの周期はその一画素分のサイズに形成すればよい。もちろん、格子パターンの格子幅と画像センサ４の画素サイズの幅とは１対１で対応していなくてもよく、例えば、１対Ｍ、すなわち、１つの格子幅が画素Ｍ個分の幅に対応したものであってもよい。また、光学フィルタ２の格子パターンは、２次元の周期構造である必要はなく、例えば、１次元の周期構造のものであってもよい。
【００２０】
また、光学フィルタ２は、透過領域２ａと遮光領域２ｂを格子状に配置したものに限らず、例えば、光を完全に遮光する遮光領域２ｂに代えて特定の偏光成分のみを遮光する偏光領域を用いてもよい。このような偏光領域の一例としては、Ｐ偏光成分は透過するがＳ偏光成分は遮光するような偏光子として機能する偏光領域が挙げられる。仮に、本実施形態の光学フィルタ２において、遮光領域２ｂに代えて偏光領域を形成した場合、光学フィルタ２を透過する光のうちのＳ偏光成分は、偏光領域では遮光され、透過領域では回折する。一方、Ｐ偏光成分は、光学フィルタ２の全領域において全透過することになる。なお、ここでは、偏光成分として、互いに直交する２つの偏光成分（Ｐ偏光成分とＳ偏光成分）を例に挙げているが、偏光方向が互いに異なる偏光成分であれば同様である。
【００２１】
透過領域と偏光領域とからなる光学フィルタ２の場合、その偏光領域としては、例えば、液晶ディスプレイなどに用いられるヨウ素や染料を利用した有機系材料による偏光子を用いてもよいし、耐久性に優れたワイヤグリッド偏光子を用いてもよい。ワイヤグリッド偏光子は、図５に示すように、アルミニウムなどの金属で構成された導電体線が特定のピッチで格子状に配列されたものである。ワイヤグリッド偏光子のピッチが入射光（例えば可視光の波長である４００〜８００ｎｍ）に比べて十分に短いピッチ（例えば入射光の１／２以下）であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させることができるので、単一偏光を作り出す偏光子として使用できる。
【００２２】
ワイヤグリッド偏光子は、よく知られる半導体プロセス、すなわちアルミニウム薄膜を蒸着した後にパターニングを行い、メタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成することで、製造することができる。なお、本実施形態のような格子パターンを形成するにあたっては、一様なワイヤグリッド層から上述した格子パターンに応じてワイヤグリッド部を除く方法と、一様にアルミニウムを蒸着した後に、格子パターンとワイヤグリッドの凹部形成を一括で作製する手法とが考えられる。後者の方が、工程数が少なくて済む。
【００２３】
なお、ワイヤグリッド偏光子を用いる場合の留意事項としては、金属ワイヤの断面積が増加すると消光比が増加してしまうことが挙げられる。また、周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少してしまうことが挙げられる。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高い消光比特性を示してしまうことが挙げられる。金属ワイヤが配置されている面の耐擦傷性や防汚性を高めるために樹脂などで封止するのが好ましい。
【００２４】
〔構成例１〕
以下、本実施形態における光学フィルタ２の一構成例（以下、本構成例を「構成例１」という。）について説明する。
図６は、本構成例１における光学フィルタ２の説明図である。
本構成例１に係る光学フィルタ２は、Ｐ偏光成分もＳ偏光成分も透過する透過領域２ａと、Ｐ偏光成分は透過するがＳ偏光成分は遮光する偏光領域２ｃとが、２次元方向で交互に隣接するように格子状に配置されて市松状に領域分割された格子パターンを有している。格子パターンの周期（格子幅）は、画像センサ４の画素ピッチに合わせて形成されている。
【００２５】
図７は、本発明者らが試作した本構成例１における光学フィルタ２に、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。試作した光学フィルタ２は、一つの格子サイズが約６μｍとなるように、ワイヤグリッドがある領域とワイヤグリッドがない領域とをガラス平板上に形成したものであり、前者の領域が偏光領域２ｃとなり、後者の領域が透過領域２ａとなっている。測定は、当該光学フィルタ２の裏面（出射面）にモノクロ輝度カメラを取り付け、当該光学フィルタ２に対してＳ偏光成分の光を照射し、当該光学フィルタ２を通過した光を当該モノクロ輝度カメラで撮影して行った。図７に示すように、黒くなっている部分は遮光されていることを示すものであり、Ｓ偏光成分の光はワイヤグリッドが形成されている偏光領域２ｃでは良好にカットされていることが確認できる。
【００２６】
〔構成例２〕
以下、本実施形態における光学フィルタ２の他の構成例（以下、本構成例を「構成例２」という。）について説明する。
図８は、本構成例２における光学フィルタ２の説明図である。
本構成例２に係る光学フィルタ２は、Ｐ偏光成分もＳ偏光成分も透過する透過領域２ａと、Ｐ偏光成分は透過するがＳ偏光成分は遮光する偏光領域２ｃとが、１次元方向で交互に隣接するように格子状に配置されてストライプ状に領域分割された格子パターンを有している。格子パターンの周期（格子幅）は、画像センサ４の画素ピッチに合わせて形成されている。このようなストライプ状の格子パターンを有する光学フィルタ２であれば、画像センサ４との位置調整を行うにあたって、Ｘ方向のみの位置調整を行えばよく、市松状の格子パターンを有する光学フィルタ２と比べて、実装精度が緩和されるという利点がある。
【００２７】
図９は、本構成例２における光学フィルタ２の斜視拡大図である。
本構成例２における光学フィルタ２は、ガラス平板上にワイヤグリッドが形成された凹凸の周期構造を有するものであり、凸部はワイヤグリッドのサブ波長凹凸構造が形成されてなる。
【００２８】
図１０は、本発明者らが試作した本構成例２における光学フィルタ２に、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。試作した光学フィルタ２は、ストライプ幅が約６μｍとなるように、ワイヤグリッドがある領域とワイヤグリッドがない領域とをガラス平板上に形成したものであり、前者の領域が偏光領域２ｃとなり、後者の領域が透過領域２ａとなっている。測定は、上記構成例１の場合と同様である。図１０に示すように、黒くなっている部分は遮光されていることを示すものであり、Ｓ偏光成分の光はワイヤグリッドが形成されている偏光領域２ｃでは良好にカットされていることが確認できる。
【００２９】
〔構成例３〕
以下、本実施形態における光学フィルタ２の更に他の構成例（以下、本構成例を「構成例３」という。）について説明する。
図１１は、本構成例３における光学フィルタ２の偏光領域２ｃを、画像センサ４上に重ねて示した説明図である。
本構成例３に係る光学フィルタ２は、透過領域２ａと偏光領域２ｃとが１次元方向で交互に隣接するように格子状に配置されてストライプ状に領域分割された格子パターンを有している点で上記構成例２と同様である。しかしながら、上記構成例２では、偏光領域２ｃの長尺方向がＹ方向に並ぶ画素列の列方向と一致していたのに対し、本構成例３では、偏光領域２ｃの長尺方向が、Ｙ方向に並ぶ画素列の列方向にもＸ方向に並ぶ画素列の列方向にも一致していない点で異なっている。
【００３０】
本構成例３の光学フィルタ２において、偏光領域２ｃは、図１１に示すように、Ｘ方向に画像センサ４の一画素分の幅をもち、Ｙ方向に画像センサ４の二画素分の幅を持っており、Ｘ方向一画素分についてＹ方向二画素分変位するように、画像センサ４上のＸ方向及びＹ方向に対して斜めに配置される。このような特殊な格子パターンと信号処理を組み合わせることによって、画像センサ４の画素配列と光学フィルタ２とを接合する際の位置合せの精度が悪くても、画面全体で光学フィルタの透過画像を再現することを可能とし、低コストを実現できる。
【００３１】
図１２は、本発明者らが試作した本構成例３における光学フィルタ２に、Ｓ偏光成分の光を入射させたときの測定結果を示す画像である。試作した光学フィルタ２は、ストライプ幅が約６μｍとなるように、ワイヤグリッドがある領域とワイヤグリッドがない領域とをガラス平板上に形成したものであり、前者の領域が偏光領域２ｃとなり、後者の領域が透過領域２ａとなっている。測定は、上記構成例１の場合と同様である。図１２に示すように、黒くなっている部分は遮光されていることを示すものであり、Ｓ偏光成分の光はワイヤグリッドが形成されている偏光領域２ｃでは良好にカットされていることが確認できる。
【００３２】
これらの構成例１〜３を含む本実施形態の光学フィルタ２は、画像センサ４の前段に設置される。その設置方法は、光学フィルタ２の凹凸構造面を画像センサ４の受光面と対向するような向きで近接配置の上、固定する。固定方法としては、画像センサ４の受光面周辺にスペーサを配置して光学フィルタ２を保持する方法や、光学フィルタ２の凹凸構造面と画像センサ４との間に接着剤を充填して接着する方法などが挙げられる。後者の方法の場合、光学フィルタ２と画像センサ４との間に接着剤が充填されるため、これらの間が空気層である場合と同程度の透過率性能を得るためには、高アスペクト比の構造とする必要があり、製造が難しくなる。この点で、前者の方法の方が好ましい。
【００３３】
光学フィルタ２を画像センサ４に取り付ける方法としては、画像センサ４をワイヤボンディングなどの手法によりＰＷＢ上に設置したセンサ基板３に、光学フィルタ２を後から固定（ＡＳＳＹ）する方法と、光学フィルタ２と画像センサ４を予め固着したものをＰＷＢ上に実装する方法とが考えられる。より望ましくは、画像センサ４のウエハと光学フィルタ２が形成されたウエハとを接着したものをダイシング加工することで低コストに作製することができる。
【００３４】
以上のような光学フィルタ付きカメラ１０から出力されるＲＡＷ画像データは、明部画像データと暗部画像データに分けられて明部画像メモリ１１１及び暗部画像メモリ１２に格納される。そして、これらの明部画像データ及び暗部画像データがモノクロ画像処理部２１へ送られると、モノクロ画像処理部２１は、その明部輝度データ及び暗部輝度データから、互いに隣り合う２つの画素で構成される単位処理領域ごとに、当該単位処理領域の明部輝度値Ｉ１と暗部輝度値Ｉ２とを加算してモノクロ輝度（Ｉ１＋Ｉ２）を算出する。モノクロ画像処理部２１が算出したモノクロ輝度データの一群（以下「モノクロ画像データ」という。）は、後段の機器に送られ、例えば可視情報としてディスプレイなどの表示手段へ出力したり、物体識別処理に利用されたりする。本実施形態では、モノクロ画像データは、後述する物体識別部２７において物体識別処理に利用される。
【００３５】
明部画像メモリ１１１及び暗部画像メモリ１２に格納された明部画像データ及び暗部画像データは、分光画像処理部２２にも送られる。分光画像処理部２２は、その明部輝度データ及び暗部輝度データから、単位処理領域ごとに、当該単位処理領域の明部と暗部のコントラストの強さを示すコントラスト指標値を算出する。本実施形態では、詳しくは後述するが、当該単位処理領域におけるコントラスト指標値と当該単位処理領域に照射される光の波長との相関関係を利用して、例えばコントラスト指標値の違いを階調の違いで表現可能な分光画像データ（差分値画像データ）を生成する。コントラスト指標値を用いて分光画像データを生成する方法を、以下の分光画像生成例１及び分光画像生成例２にて説明する。
【００３６】
〔分光画像生成例１〕
以下、本実施形態における分光画像の生成方法の一例（以下「分光画像生成例１」という。）について説明する。
ここでは、透過領域２ａと遮光領域２ｂとが２次元方向で交互に隣接するように格子状に配置された市松状の格子パターンを有する光学フィルタ２を用いた場合を例に挙げて説明する。
【００３７】
図１３（ａ）〜（ｃ）は、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときに信号処理部５から出力される撮像画像の（ＲＡＷ画像）の一部を示した拡大写真である。
この光学フィルタ２は、格子状に領域分割された各領域（透過領域２ａと遮光領域２ｂ）が画像センサ４の各画素に１対１で対応しているため、撮像画像中の明暗パターンは画素単位の繰り返しパターンである。図１３（ａ）〜（ｃ）に示すように、撮像画像の明暗パターンのコントラストは、入射光の波長によって変化していることが確認できる。なお、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光は、白色光を、市販されているバンドパスフィルタに白色光を通過させて得たものである。これらのバンドパスフィルタは、６５０ｎｍ、５５０ｎｍ、４５０ｎｍをそれぞれ中心波長とするものであり、いずれも透過波長幅は±４０ｎｍである。
【００３８】
入射光の波長によって撮像画像の明暗パターンのコントラストに違いが出るのは、光学フィルタ２の格子パターンの種類や、光学フィルタ２及び画像センサ４の配置等に起因する光学特性に依存するものである。ここでいう光学特性は、光学フィルタ２の分光透過率や散乱など様々な因子に起因するものであるが、主として、光学フィルタ２の格子パターンに起因した回折現象の影響を強く受ける。この回析現象の影響で、ある透過領域２ａを通過した光束は、その透過領域２ａに対応する画素だけでなく、これに隣接する画素にまで広がって受光される。そして、回折現象は波長依存性を有しており、長い波長ほど回折角が大きくなる傾向があるので、透過領域２ａを通過した光の波長が長いほど、隣接画素に受光される光量が増え、逆に当該透過領域２ａに対応する画素に受光される光量が減る。よって、透過領域２ａを通過した光の波長が長いほど、透過領域２ａに対応する画素とこれに隣接する遮光領域２ｂに対応する画素との間の受光量（輝度値）の差が小さくなり、コントラストが低くなる。
【００３９】
図１４（ａ）〜（ｃ）は、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときの画像センサ４上の各画素の受光量（輝度値）のヒストグラムである。
図１４（ａ）〜（ｃ）に示すように、いずれも、遮光領域２ｂに対応する画素（暗部の画素）の輝度値（低い方の輝度値）と、透過領域２ａに対応する画素（明部の画素）の輝度値（高い方の輝度値）とで、ピークを示している。しかしながら、これらのピーク間における輝度差は、光学フィルタ２を通過した光の波長ごとに異なっている。具体的には、透過領域２ａを通過した光の波長が長いほど、２つのピーク間の輝度差が小さくなっていることがわかる。
【００４０】
明部の輝度値をＩ１、暗部の輝度値をＩ２としたとき、明部と暗部のコントラストを示す指標値としては、明部の輝度値Ｉ１と暗部の輝度値Ｉ２との差分値（Ｉ１−Ｉ２）を用いることができるが、ここでは、この差分値を輝度合計値（Ｉ１＋Ｉ２）で割った下記式（１）に示すコントラスト指標値Ｉｃを用いる。すなわち、当該単位処理領域の明部と暗部のコントラストの強さを示すコントラスト指標値Ｉｃは、明部輝度Ｉ１と暗部輝度Ｉ２との合計値（輝度合計値）に対する明部輝度Ｉ１と暗部輝度Ｉ２との差分値の比率である。また、このコントラスト指標値Ｉｃは、輝度合計値（Ｉ１＋Ｉ２）に対する明部輝度Ｉ１の比率と輝度合計値（Ｉ１＋Ｉ２）に対する暗部輝度Ｉ２の比率との差分値であると言い換えることもできる。
Ｉｃ  ＝  （Ｉ１−Ｉ２）／（Ｉ１＋Ｉ２）  ・・・（１）
【００４１】
図１５は、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射して得られる撮像画像のコントラスト指標値Ｉｃをプロットしたグラフである。
図１５に示すように、コントラスト指標値Ｉｃは、波長依存性を示していることが確認できる。したがって、明部に対応する画素と暗部に対応する画素との間の輝度差分値を示すコントラスト指標値Ｉｃを演算することでこれらの画素に向けて入射している光の波長を算出することができる。
【００４２】
本実施形態では、隣接する２つの画素はそれぞれ明部と暗部に対応しているので、隣接する２つの画素のコントラスト指標値Ｉｃを算出することで、当該隣接する２つの画素に入射する光の波長を把握することができる。したがって、撮像画像全体について、隣接する２つの画素のコントラスト指標値Ｉｃを算出し、当該隣接する２つの画素に対応する位置に当該コントラスト指標値Ｉｃを配置してコントラスト指標値Ｉｃの２次元分布を作成すれば、その２次元分布は、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけたものとなる。したがって、この２次元分布を、例えばコントラスト指標値Ｉｃの違いを階調の違いで表現した画像（差分値画像）で示せば、その画像を分光画像として用いることができる。
【００４３】
〔分光画像生成例２〕
次に、本実施形態における分光画像の生成方法の他の例（以下「分光画像生成例２」という。）について説明する。
ここでは、透過領域２ａと偏光領域２ｃとが２次元方向で交互に隣接するように格子状に配置された市松状の格子パターンを有する光学フィルタ２を用いた場合を例に挙げて説明する。
【００４４】
上述した分光画像生成例１では、コントラスト指標値として、上記式（１）に示したようにＩｃ＝（Ｉ１−Ｉ２）／（Ｉ１＋Ｉ２）を用いた場合であるが、本分光画像生成例２では、コントラスト指標値として、ＳＰｃ＝（Ｓ−Ｐ）／（Ｓ＋Ｐ）を用いる。ここで、「Ｐ」は、「Ｐ」はＰ偏光成分の透過強度であり、具体的には、Ｐ偏光成分は透過するがＳ偏光成分は遮光する偏光領域２ｃに対応する画素の輝度値である。一方、「Ｓ」は、Ｓ偏光成分の透過強度であり、透過領域２ａに対応する画素の輝度値から、偏光領域２ｃに対応する画素の輝度値であるＰを差し引いた値を用いている。
【００４５】
図１６（ａ）〜（ｃ）は、３種類の単一波長（４５０ｎｍ、５５０ｎｍ、６５０ｎｍ）の光を入射したときに信号処理部５から出力される撮像画像（ＲＡＷ画像の一部）の全体を示した写真である。
図１７は、図１６（ａ）〜（ｃ）中の破線で囲った部分について、コントラスト指標値ＳＰｃ＝（Ｓ−Ｐ）／（Ｓ＋Ｐ）の分布を計測した結果を示すヒストグラムである。
図１７に示すように、コントラスト指標値ＳＰｃは、波長依存性を有しており、具体的には、長い波長ほどコントラスト指標値ＳＰｃがマイナス方向へシフトする傾向がある。したがって、隣接する２つの画素の輝度値を利用してコントラスト指標値ＳＰｃを算出することにより、当該隣接する２つの画素に入射する光の波長を把握することができる。したがって、撮像画像全体について、隣接する２つの画素のコントラスト指標値ＳＰｃを算出し、当該隣接する２つの画素に対応する位置に当該コントラスト指標値ＳＰｃを配置してコントラスト指標値ＳＰｃの２次元分布を作成すれば、その２次元分布は、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけたものとなる。したがって、この２次元分布を、例えばコントラスト指標値ＳＰｃの違いを階調の違いで表現した画像（差分値画像）で示せば、その画像を分光画像として用いることができる。
【００４６】
なお、図１７に示すヒストグラムでは、コントラスト指標値ＳＰｃを−１以上＋１以下の範囲で標記しているが、実際の画像出力として例えば２５６階調の階調の違いで表現する場合、例えば、同ヒストグラムの＋１を黒とし−１を白として階調表現すれば、２５６階調のグレースケールの分光画像を得ることができる。このような分光画像をみれば、撮像領域の分光状態（波長の２次元分布）を可視情報として認識することができる。もちろん、すでに述べたとおり、波長に応じたカラーテーブルで表現してもよい。
【００４７】
図１８は、本実施形態の光学フィルタ付きカメラ１０を用いて市販されているカラーチャートを撮影し、コントラスト指標値ＳＰｃに基づいて得られた分光画像である。図１８中符号Ｒで示す箇所は赤色箇所であり、図１８中符号Ｇで示す箇所は緑色箇所であり、図１８中符号Ｂで示す箇所は青色箇所である。
図１９は、図１８中のＲで示す箇所、Ｇで示す箇所、Ｂで示す箇所について、コントラスト指標値ＳＰｃ＝（Ｓ−Ｐ）／（Ｓ＋Ｐ）の分布を計測した結果を示すヒストグラムである。
図１８に示す分光画像上では、色の違い（波長の違い）が階調の違いによって現れていることが確認できる。また、図１９に示すヒストグラムを見ても、色の違い（波長の違い）によってコントラスト指標値ＳＰｃが異なっていることがわかる。したがって、隣接する２つの画素の輝度値を利用してコントラスト指標値ＳＰｃを算出し、そのコントラスト指標値ＳＰｃの違いを階調の違いで表現した図１８に示す画像は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像として用いることができる。
【００４８】
以上のような分光画像処理を行う分光画像処理部２２により得られたコントラスト指標値のデータ群（以下「分光画像データ」という。）は、波長情報取得部２３に送られる。波長情報取得部２３は、入力された分光画像データに基づき、撮像領域内の各箇所がどのような分光状態なのかすなわちどのような波長の光を発しているのかという分光情報を取得する処理を行う。この分光情報は、ノイズパラメータ推定部２５に送られ、ノイズパラメータ推定部２５において、分光画像中における特定の領域あるいは全領域を対象にどのようなノイズ除去用パラメータが適しているかを判断するために用いられる。
【００４９】
パラメータ記憶部２４は、予め決められた互いに異なる複数の波長ごとに、分光画像中における当該波長に対応する画像領域のノイズ成分を高精度で除去可能なノイズ除去用パラメータを記憶している。本実施形態では、後述するように、εフィルタを用いたノイズ除去方法を採用してノイズ成分の除去を行うので、ノイズ除去用パラメータはε値である。本実施形態では、各波長とその波長に適したε値とが互いに関連付けられたデータテーブルがパラメータ記憶部に記憶されている。各波長に適したε値は、事前に、各波長で撮像したサンプル分光画像をそれぞれ例えば１００枚程度、ノイズ除去フィルタ（εフィルタ）にかけることで決めることができる。
【００５０】
ノイズパラメータ推定部２５は、パラメータ記憶部２４のデータテーブルを検索して、波長情報取得部２３で処理された分光情報に基づき、当該分光画像に含まれるノイズ成分を除去するのに適したノイズ除去用パラメータ（ε値）を読み出す処理を行う。読み出したノイズ除去用パラメータは、ノイズ除去処理手段を構成するノイズ除去部２６に出力される。
【００５１】
ノイズ除去部２６は、分光画像処理部２２で生成された分光画像データのノイズ成分を除去する処理を行う。本実施形態では、一例として、５×５画素のεフィルタを用いたノイズ除去方法について説明する。
εフィルタとは、図２０に示すように注目画素を中心としたウィンドウ内にある周辺画素の中で、注目画素と周辺画素との差の絶対値が閾値の範囲内と判別した周辺画素のみを集めて平均化処理を行うノイズ除去方法である。注目画素と周辺画素との差の絶対値が閾値の範囲外であれば、当該周辺画素がノイズであると判断し、平均化処理の対象としない。このように、εフィルタは、注目画素から値が大きく外れた画素をノイズと判断し除去するノイズ除去方法である。ノイズを含む差分画像のノイズ除去処理において、閾値を高く設定した場合には、ノイズを多く除去することができる。一方、閾値を高く設定した場合には、ノイズを多く除去してしまうため、画像のエッジ成分を保存する割合が減少する。このため、ノイズ除去処理を実行する場合には、ノイズ成分とエッジ成分とを考慮して、適切な閾値を設定する必要がある。
【００５２】
なお、バイラテラルフィルタ、ウェーブレット変換等のεフィルタ以外のノイズ除去方法においても、それぞれのノイズ除去処理に用いられるノイズ除去用パラメータの決定が重要である。本明細書において、「ノイズ除去処理」とは、ノイズを含む分光画像データについて、そのノイズを軽減または除去する画像処理を意味する。つまり、本明細書において、「ノイズ除去」は、ノイズを含む分光画像データから完全にノイズを除去することを意味するだけではなく、ノイズを軽減することも含む意味である。
【００５３】
物体識別部２６は、モノクロ画像処理部２１から出力されるモノクロ画像データと、ノイズ除去部２６でノイズ成分が除去された分光画像データとを用いて、撮像領域内における物体の識別処理を行う。物体識別処理とは、本実施形態の運転者支援システムでは、車両に搭載した光学フィルタ付きカメラ１０で当該車両の進行方向前方を撮像し、これにより得た分光画像に基づいて、対向車や先行車を認識したり路肩の障害物などを認識したりする処理であるが、本発明が適用されるシステムの違いによりその識別する対象はさまざまである。例えば、本発明をＦＡに適用した場合、工場ラインを流れるパーツを光学フィルタ付きカメラ１０で撮像し、これにより得た分光画像に基づいて、流れてくるパーツをピッキングする処理を行うシステムにも利用できる。特に、本実施形態においては、モノクロ画像に加え分光画像を利用して物体の識別処理を行うことができるので、物体の反射波長（色）の情報を利用した物体識別が可能となり、モノクロ画像のみで物体識別を行う場合よりも識別精度が高い。しかも、その分光画像はノイズ成分が除去されたものであるため、より高い認識精度で物体識別を行うことが可能となっている。
【００５４】
次に、本実施形態におけるノイズ除去部２６によって行ったノイズ除去処理の結果についての一例を説明する。
図２１は、運転者支援システムの光学フィルタ付きカメラ１０が搭載された車両の先行車両の背面部を含む撮像領域を夜間に撮像した撮像画像である。
図２２は、図２１の撮像画像と同じ撮像領域を光学フィルタ付きカメラ１０で撮像して得た分光画像である。図２２に示す分光画像では、露光調整を行うことで、先行車両のテールランプ部分だけが抽出されている。
図２３（ａ）は、図２２に示す分光画像に示される片側のテールランプを拡大表示した拡大図であり、図２３（ｂ）は、図２３（ａ）に対応する差分値（Ｉ１−Ｉ２）のヒストグラムである。
ただし、図２２並びに図２３（ａ）及び（ｂ）は、ノイズ除去を行っていない場合のものである。
【００５５】
図２４（ａ）は、図２２に示す分光画像に対して本実施形態のノイズ除去処理を施した場合における片側のテールランプを拡大表示した拡大図であり、図２４（ｂ）は、図２４（ａ）に対応する差分値（Ｉ１−Ｉ２）のヒストグラムである。
図２４（ｂ）に示すように、本実施形態のノイズ除去処理を施した場合、このノイズ除去処理を施していない図２３（ｂ）に示すヒストグラムよりも、差分値（Ｉ１−Ｉ２）の分布幅が狭くなっている。よって、本実施形態のノイズ除去処理により分光画像からノイズが適切に除去されていることがわかる。
【００５６】
次に、本実施形態におけるノイズ除去部２６によって行ったノイズ除去処理の結果についての他の例を説明する。
図２５は、運転者支援システムの光学フィルタ付きカメラ１０が搭載された路端に置かれた自動販売機を含む撮像領域を夜間に撮像した撮像画像である。
図２６は、図２５の撮像画像と同じ撮像領域を光学フィルタ付きカメラ１０で撮像して得た分光画像である。図２６に示す分光画像では、露光調整を行うことで、自動販売機の部分だけが抽出されている。
図２７（ａ）は、図２６に示す分光画像に示される自動販売機の部分を拡大表示した拡大図であり、図２７（ｂ）は、図２７（ａ）に対応する差分値（Ｉ１−Ｉ２）のヒストグラムである。
ただし、図２６並びに図２７（ａ）及び（ｂ）は、ノイズ除去を行っていない場合のものである。
【００５７】
図２８（ａ）は、図２６に示す分光画像に対して本実施形態のノイズ除去処理を施した場合における自動販売機の部分を拡大表示した拡大図であり、図２８（ｂ）は、図２８（ａ）に対応する差分値（Ｉ１−Ｉ２）のヒストグラムである。
図２８（ｂ）に示すように、本実施形態のノイズ除去処理を施した場合、このノイズ除去処理を施していない図２７（ｂ）に示すヒストグラムよりも、差分値（Ｉ１−Ｉ２）の分布幅が狭くなっている。よって、本実施形態のノイズ除去処理により分光画像からノイズが適切に除去されていることがわかる。
【００５８】
本実施形態における運転者支援システムのように分光画像を用いた物体識別処理を行うことにより、先行車両のテールランプや自動販売機などからの光をその波長の違いによって識別することができる。その結果、本実施形態の物体識別結果を例えば自車のヘッドランプの配光制御に用いる場合、それぞれの物体を識別して、例えば対向車や先行車にはヘッドランプを当てず、それ以外の物体に対してヘッドランプを当てるというような制御を適切に行うことが可能となる。
【００５９】
そして、ノイズ除去を行ってない場合、図２３（ｂ）に示したヒストグラムと図２７（ｂ）に示したヒストグラムとを見ると、その分布が互いに重複していることがわかる。そのため、先行車のテールランプと路端の自動販売機との識別精度が低いものとなる。これに対し、ノイズ除去を行った場合、図２４（ｂ）に示したヒストグラムと図２８（ｂ）に示したヒストグラムとを見ると、その分布の重複が解消されていることがわかる。そのため、先行車のテールランプと路端の自動販売機とを高い精度で識別できる。
【００６０】
以上、本実施形態に係る分光画像撮像装置は、所定の撮像領域内における各地点の波長成分をそれぞれの地点に対応づけて２次元表現した分光画像を得るために、当該所定の撮像領域からの光を、光学フィルタ２を介して、２次元配置された画素アレイを有する画像センサ４で検出し、その検出結果を出力する。この分光画像撮像装置の光学フィルタ２は、画像センサ４上における１つの画素又は２以上の画素群（Ｙ方向に直線状に並んだ多数の画素群や、斜め方向に直線状に並んだ多数の画素群）で構成される単位領域に対応した格子パターンを有する回析格子が用いられており、その回析格子を通過した光の回析角度に応じた画像センサ４上の干渉地点の違いにより、隣接する２つの単位領域間における受光量Ｉ１，Ｉ２の差分値（輝度差分値）が異なるように、格子幅や光学フィルタ２と画像センサ４との距離などが設定されている。本分光画像撮像装置によれば、隣接する２つの単位領域間における輝度差分値に相当するコントラスト指標値Ｉｃ＝（Ｉ１−Ｉ２）／（Ｉ１＋Ｉ２）を、画像センサの検出結果に基づいて算出し、そのコントラスト指標値Ｉｃに基づく差分値画像（当該隣接する２つの単位領域のコントラスト指標値Ｉｃの違いを階調の違いで表現した画像）を分光画像処理部２２により生成する。よって、上記分光画像生成方法１で説明したとおり、生成された差分値画像において、コントラスト指標値Ｉｃの２次元分布は、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけたものであるため、例えばコントラスト指標値Ｉｃの違いを階調の違いで表現した差分値画像は、分光画像として用いることができる。
また、光学フィルタ２として、所定の偏光成分であるＳ偏光成分を遮光する偏光領域２ｃとＳ偏光成分を透過する透過領域２ａとを交互に配置した格子パターンを有する回析格子を用いてもよい。この場合、偏光領域２ｃに対応した単位領域で受光したＰ偏光成分についての受光量Ｐと、これに隣接する単位領域で受光した受光量から得られるＳ偏光成分についての受光量Ｓとの差分値に相当するコントラスト指標値ＳＰｃ＝（Ｓ−Ｐ）／（Ｓ＋Ｐ）を、画像センサ４の検出結果に基づいて算出し、算出したコントラスト指標値ＳＰｃに基づく差分値画像（当該隣接する２つの単位領域のコントラスト指標値ＳＰｃの違いを階調の違いで表現した画像）を生成する。上記分光画像生成方法２で説明したとおり、生成された差分値画像において、コントラスト指標値ＳＰｃの２次元分布は、撮像領域内における各地点の波長成分をそれぞれの地点に対応づけたものであるため、例えばコントラスト指標値ＳＰｃの違いを階調の違いで表現した差分値画像は、分光画像として用いることができる。
そして、本実施形態では、生成した差分値画像に対し、ノイズ除去用パラメータであるεフィルタを用いて当該差分値画像中に含まれるノイズ成分を除去するノイズ除去処理を行うノイズ除去処理手段としてのノイズ除去部２６が設けられている。これにより、分光画像として用いられる差分値画像中に含まれるノイズ成分を除去できるので、ノイズの少ない分光画像を得ることができる。その結果、その差分値画像を利用した後処理工程、本実施形態では物体識別処理を行う場合に、その差分値画像中のノイズにより物体の識別精度が落ちることがなくなる。
ここで、従来の一般的なノイズ除去方法を利用して分光画像中のノイズ成分を除去しようとしても、その分光画像中からノイズ成分を適切に除去できない場合がある。これは、従来のノイズ除去方法では、分光画像からノイズ成分を抽出するための基準となる閾値あるいは演算パラメータなどのノイズ除去用パラメータが一定であったため、分光画像に反映されている波長によっては当該ノイズ除去用パラメータが不適切であったため、ノイズを適切に除去できないことに起因する。そして、分光画像に反映され得る全波長に対して適切なノイズ除去が可能な単一のノイズ除去用パラメータを得ることは困難である。
そこで、本実施形態においては、予め決められた互いに異なる複数の波長ごとに、分光画像処理部２２が生成した差分値画像中に含まれるノイズ成分を高精度で除去可能なノイズ除去用パラメータ（ε値）を記憶するパラメータ記憶手段としてのパラメータ記憶部２４を有し、ノイズ除去部２６は、分光画像処理部２２が生成した差分値画像中のノイズ除去対象領域における波長に対応するε値をパラメータ記憶部２４から読み出し、そのε値を用いて当該ノイズ除去対象領域に対するノイズ除去処理を行う。これにより、その差分値画像に反映されている波長に適合したε値を用いてノイズ除去できるので、その差分値画像中に含まれるノイズ成分を適切に除去できる。
特に、本実施形態において、ノイズ除去用パラメータは、分光画像処理部２２が生成した差分値画像中の各差分値がノイズ成分であるか否かを判断するための閾値であるε値であり、ノイズ除去処理は、当該差分値画像中の注目単位領域（注目画素）とその注目画素の周辺に位置する周辺単位領域（周辺画素）との間の差分値の差がε値を超えるとき、当該周辺画素の差分値がノイズ成分であると判断して除外するインパルスノイズ除去処理を含んでいる。これにより、簡易な処理でインパルスノイズを適切に除去できる。
【００６１】
なお、本実施形態に係る運転者支援システムは、そのシステム全体が車両に搭載されているが、必ずしもシステム全体が車両に搭載されている必要はない。したがって、例えば、光学フィルタ付きカメラ１０のみを自車に搭載して、残りのシステム構成要素を自車とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。
【符号の説明】
【００６２】
１  撮像レンズ
２  光学フィルタ
２ａ  透過領域
２ｂ  遮光領域
２ｃ  偏光領域
３  センサ基板
４  画像センサ
４ａ  フォトダイオード
４ｂ  マイクロレンズ
５  信号処理部
２１  モノクロ画像処理部
２２  分光画像処理部
２３  波長情報取得部
２４  パラメータ記憶部
２５  ノイズパラメータ推定部
２６  ノイズ除去部
２７  物体識別部
Ｉｃ，ＳＰｃ  コントラスト指標値
【先行技術文献】
【特許文献】
【００６３】
【特許文献１】特開２００５−５７５４１号公報
【特許文献２】特開２００５−３１００７号公報
【非特許文献】
【００６４】
【非特許文献１】「光アライアンス」，日本工業出版，１９９９年１１月，ｐ．４−９
【図１】
2012093248.tif 000003
【図２】
2012093248.tif 000004
【図３】
2012093248.tif 000005
【図４】
2012093248.tif 000006
【図６】
2012093248.tif 000007
【図８】
2012093248.tif 000008
【図９】
2012093248.tif 000009
【図１１】
2012093248.tif 000010
【図１４】
2012093248.tif 000011
【図１５】
2012093248.tif 000012
【図１７】
2012093248.tif 000013
【図１９】
2012093248.tif 000014
【図２０】
2012093248.tif 000015
【図５】
2012093248.tif 000016
【図７】
2012093248.tif 000017
【図１０】
2012093248.tif 000018
【図１２】
2012093248.tif 000019
【図１３】
2012093248.tif 000020
【図１６】
2012093248.tif 000021
【図１８】
2012093248.tif 000022
【図２１】
2012093248.tif 000023
【図２２】
2012093248.tif 000024
【図２３】
2012093248.tif 000025
【図２４】
2012093248.tif 000026
【図２５】
2012093248.tif 000027
【図２６】
2012093248.tif 000028
【図２７】
2012093248.tif 000029
【図２８】
2012093248.tif 000030