(57)【要約】【課題】環境要因に左右されにくい撮像技術を提供する。【解決手段】本願のある実施形態に係る撮像装置Ａは、第１から第３の光学領域Ｄ１、Ｄ２、Ｄ３を有するレンズ光学系Ｌと、レンズ光学系Ｌを通過した光を受けるように配置された複数の第１から第３の画素を有する撮像素子Ｎと、レンズ光学系Ｌと撮像素子Ｎとの間に配置されたアレイ状光学素子Ｋとを備える。第１の領域Ｄ１は可視光を透過させ、第２の領域Ｄ２は赤光および近赤外線を透過させ、第３の領域Ｄ３は特定の偏光軸の方向に振動する光を透過させるように構成されている。アレイ状光学素子Ｋは、第１の光学領域Ｄ１を透過した光を前記複数の第１の画素に入射させ、第２の光学領域Ｄ２を透過した光を前記複数の第２の画素に入射させ、第３の光学領域Ｄ３を透過した光を前記複数の第３の画素に入射させる。【選択図】図１
2015194388.tif 000002
【特許請求の範囲】
【請求項１】
第１の光学領域、第２の光学領域、および第３の光学領域を有するレンズ光学系と、
前記レンズ光学系を通過した光を受けるように配置された複数の第１の画素、複数の第２の画素、および複数の第３の画素を有する撮像素子と、
前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子と、
を備え、
前記第１から第３の光学領域は、可視光を透過させる領域、赤光および近赤外線を透過させる領域、特定の偏光軸の方向に振動する光を透過させる領域、および可視光を所定の割合で減衰させて透過させる領域の４つの領域から選択された３つの領域であり、
前記アレイ状光学素子は、前記第１の光学領域を透過した光を前記複数の第１の画素に入射させ、前記第２の光学領域を透過した光を前記複数の第２の画素に入射させ、前記第３の光学領域を透過した光を前記複数の第３の画素に入射させるように構成されている、
撮像装置。
【請求項２】
前記第１から第３の光学領域は、前記レンズ光学系の光軸方向に垂直な第１の方向に配列されており、
前記アレイ状光学素子は、前記第１の方向に複数のシリンドリカルレンズが配列されたレンチキュラレンズである、
請求項１に記載の撮像装置。
【請求項３】
前記第１の光学領域は、赤光および近赤外線を透過させるように構成され、
前記第２の光学領域は、可視光を透過させるように構成され、
前記第３の光学領域は、特定の偏光軸の方向に振動する光を透過させるように構成されている、
請求項１または２に記載の撮像装置。
【請求項４】
前記レンズ光学系は、可視光を所定の割合で減衰させて透過させる第４の光学領域をさらに有し、
前記撮像素子は、複数の第４の画素をさらに有し、
前記アレイ状光学素子は、さらに、前記第４の光学領域を透過した光を前記複数の第４の画素に入射させるように構成されている、
請求項３に記載の撮像装置。
【請求項５】
前記第１から第４の光学領域は、前記レンズ光学系の光軸方向に垂直な第１の方向に配列されており、
前記アレイ状光学素子は、前記第１の方向に複数のシリンドリカルレンズが配列されたレンチキュラレンズである、
請求項４に記載の撮像装置。
【請求項６】
前記アレイ状光学素子と前記撮像素子とが一体化されている、請求項１から５のいずれかに記載の撮像装置。
【請求項７】
各々が請求項１から６のいずれかに記載の撮像装置である２つの撮像装置と、
前記２つの撮像装置から出力された信号に基づいて、被写体の距離情報を生成する距離演算回路と、
を備える測距装置。
【請求項８】
前記２つの撮像装置の各々は、前記複数の第１の画素、前記複数の第２の画素、および前記複数の第３の画素から出力された信号に基づく合成画像を生成して出力し、
前記距離演算回路は、前記２つの撮像装置から出力された２つの画像間でパターンマッチングを行うことにより、前記距離情報を生成する、
請求項７に記載の測距装置。
【請求項９】
前記２つの撮像装置の各々は、請求項４または５に記載の撮像装置であり、前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素から出力された信号に基づく合成画像を生成して出力し、
前記距離演算回路は、前記２つの撮像装置から出力された２つの画像間でパターンマッチングを行うことにより、前記距離情報を生成する、
請求項８に記載の測距装置。
【請求項１０】
請求項１から６のいずれかに記載の撮像装置であって、前記レンズ光学系が赤光および近赤外線を透過させるように構成された光学領域を有する撮像装置と、
近赤外線を出射する照明装置と、
を備える撮像システム。
【請求項１１】
請求項１から６のいずれかに記載の撮像装置、請求項７から９のいずれかに記載の測距装置、および請求項１０に記載の撮像システムの少なくとも１つを備える車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は撮像装置および撮像システムに関する。
【背景技術】
【０００２】
車載カメラの分野において、路面の状態や車線を検知するため、複眼カメラの光路中に撮像素子毎に偏光軸の方向が異なる偏光子を設けた撮像装置が知られている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２５９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、夜間、西日、雨天などの環境要因によって適切な画像を取得できない場合があるという課題がある。
【０００５】
本開示は、そのような環境要因に左右されにくい撮像技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る撮像装置は、第１の光学領域、第２の光学領域、および第３の光学領域を有するレンズ光学系と、前記レンズ光学系を通過した光を受けるように配置された複数の第１の画素、複数の第２の画素、および複数の第３の画素を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子とを備える。前記第１から第３の光学領域は、可視光を透過させる領域、赤光および近赤外線を透過させる領域、特定の偏光軸の方向に振動する光を透過させる領域、および可視光を所定の割合で減衰させて透過させる領域の４つの領域から選択された３つの領域である。前記アレイ状光学素子は、前記第１の光学領域を透過した光を前記複数の第１の画素に入射させ、前記第２の光学領域を透過した光を前記複数の第２の画素に入射させ、前記第３の光学領域を透過した光を前記複数の第３の画素に入射させるように構成されている。
【発明の効果】
【０００７】
本発明の一態様にかかる撮像装置によれば、夜間、西日、雨天などの環境要因に左右されにくい撮像が可能になる。
【図面の簡単な説明】
【０００８】
【図１】本開示の実施の形態１の撮像装置Ａを示す模式図である。
【図２】第１から第３の光学領域Ｄ１〜Ｄ３を被写体側から見たときの正面図である。
【図３】レンチキュラレンズＫの構造を示す斜視図である。
【図４】（ａ）は、図１に示すレンチキュラレンズＫおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、撮像面Ｎｉ上の画素の配列を示す図である。
【図５】本開示の実施の形態１の撮像装置Ａを搭載した車両Ｖｅの一例を示す図である。
【図６】第１の画像情報と第２の画像情報とを活用したブレーキランプや赤信号の認識の例を説明するための図である。
【図７】本開示の実施の形態２の撮像装置Ａを示す模式図である。
【図８】第１から第４の光学領域Ｄ１〜Ｄ４を被写体側から見たときの正面図である。
【図９】（ａ）は、図７に示すレンチキュラレンズＫおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、撮像面Ｎｉ上の画素の配列を示す図である。
【図１０】撮像装置を２つ用いた測距装置の概略図である。
【図１１】信号処理部Ｃによる第１から第３の画像情報の合成処理の一例を示すフローチャートである。
【図１２】ＳＡＤ演算を説明するための図である。
【図１３】（ａ）および（ｂ）は、レンチキュラレンズと撮像素子Ｎとを一体化した例を示す図である。
【図１４】レンチキュラレンズの代わりにマイクロレンズアレイを用いた場合の構成例を示す図である。（ａ）は光学素子の構成を示し、（ｂ）はマイクロレンズアレイＫ’の構成を示している。
【図１５】図１４の構成における撮像面Ｎｉ上の画素配列を示す図である。
【発明を実施するための形態】
【０００９】
本開示の実施の形態の概要は以下の通りである。
【００１０】
（１）本発明の一態様に係る撮像装置は、第１の光学領域、第２の光学領域、および第３の光学領域を有するレンズ光学系と、前記レンズ光学系を通過した光を受けるように配置された複数の第１の画素、複数の第２の画素、および複数の第３の画素を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置されたアレイ状光学素子とを備える。前記第１から第３の光学領域は、可視光を透過させる領域、赤光および近赤外線を透過させる領域、特定の偏光軸の方向に振動する光を透過させる領域、および可視光を所定の割合で減衰させて透過させる領域の４つの領域から選択された３つの領域である。前記アレイ状光学素子は、前記第１の光学領域を透過した光を前記複数の第１の画素に入射させ、前記第２の光学領域を透過した光を前記複数の第２の画素に入射させ、前記第３の光学領域を透過した光を前記複数の第３の画素に入射させるように構成されている。
【００１１】
（２）ある実施形態において、前記第１から第３の光学領域は、前記レンズ光学系の光軸方向に垂直な第１の方向に配列されており、前記アレイ状光学素子は、前記第１の方向に複数のシリンドリカルレンズが配列されたレンチキュラレンズである。
【００１２】
（３）ある実施形態において、前記第１の光学領域は、赤光および近赤外線を透過させるように構成され、前記第２の光学領域は、可視光を透過させるように構成され、前記第３の光学領域は、特定の偏光軸の方向に振動する光を透過させるように構成されている。
【００１３】
（４）ある実施形態において、前記レンズ光学系は、可視光を所定の割合で減衰させて透過させる第４の光学領域をさらに有し、前記撮像素子は、複数の第４の画素をさらに有し、前記アレイ状光学素子は、さらに、前記第４の光学領域を透過した光を前記複数の第４の画素に入射させるように構成されている。
【００１４】
（５）ある実施形態において、前記第１から第４の光学領域は、前記レンズ光学系の光軸方向に垂直な第１の方向に配列されており、前記アレイ状光学素子は、前記第１の方向に複数のシリンドリカルレンズが配列されたレンチキュラレンズである。
【００１５】
（６）ある実施形態において、前記アレイ状光学素子と前記撮像素子とが一体化されている。
【００１６】
（７）本発明の他の態様に係る測距装置は、各々が上記（１）から（６）のいずれかに記載の撮像装置である２つの撮像装置と、前記２つの撮像装置から出力された信号に基づいて、被写体の距離情報を生成する距離演算回路とを備える。
【００１７】
（８）ある実施形態において、前記２つの撮像装置の各々は、前記複数の第１の画素、前記複数の第２の画素、および前記複数の第３の画素から出力された信号に基づく合成画像を生成して出力し、前記距離演算回路は、前記２つの撮像装置から出力された２つの画像間でパターンマッチングを行うことにより、前記距離情報を生成する。
【００１８】
（９）ある実施形態において、前記２つの撮像装置の各々は、上記（４）または（５）に記載の撮像装置であり、前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素から出力された信号に基づく合成画像を生成して出力し、前記距離演算回路は、前記２つの撮像装置から出力された２つの画像間でパターンマッチングを行うことにより、前記距離情報を生成する。
【００１９】
（１０）本発明の他の態様に係る撮像システムは、上記（１）から（６）のいずれかに記載の撮像装置のうち、前記レンズ光学系が赤光および近赤外線を透過させるように構成された光学領域を有する撮像装置と、近赤外線を出射する照明装置とを備える。
【００２０】
（１１）本発明の他の態様に係る車両は、上記（１）から（６）のいずれかに記載の撮像装置、上記（７）から（９）のいずれかに記載の測距装置、および上記（１０）に記載の撮像システムの少なくとも１つを備える。
【００２１】
以下、図面を参照しながら、本開示のより具体的な実施の形態を説明する。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。
【００２２】
（実施の形態１）
図１は、実施の形態１の撮像装置Ａを示す模式図である。本実施の形態の撮像装置Ａは、光軸Ｖを有するレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたレンチキュラレンズＫと、撮像素子Ｎと、信号処理部Ｃとを備える。
【００２３】
レンズ光学系Ｌは、被写体（図示せず）からの光が入射する絞りＳと、絞りＳを通過した光が入射するように配置された光学素子Ｌ１と、光学素子Ｌ１を通過した光が入射するように配置されたレンズＬ２とを有している。レンズ光学系Ｌは、第１の光学領域Ｄ１、第２の光学領域Ｄ２、および第３の光学領域Ｄ３を有する。
【００２４】
レンズＬ２は、一枚のレンズで構成されていてもよいし、複数枚のレンズで構成されていてもよい。また、絞りＳの前または前後に複数枚に分かれて配置された構成であってもよい。図１では、絞りＳの後ろに一枚だけ配置された構成例を示している。
【００２５】
光学素子Ｌ１は、絞りＳの近傍に配置され、第１の光学領域Ｄ１に位置する部分と第２の光学領域Ｄ２に位置する部分と第３の光学領域Ｄ３に位置する部分とによって構成される。第１の光学領域Ｄ１には、赤色の波長域の光（以下、「赤光」と称する。）と近赤外領域の波長を有する光（近赤外線）とを透過させる分光フィルタが配置されている。第２の光学領域Ｄ２には、可視光を透過させる分光フィルタが配置されている。第３の光学領域Ｄ３には、特定の偏光軸（透過軸）の方向に電場が振動する光を透過させる偏光フィルタが配置されている。ここで、「赤光」は、例えば６００ｎｍから７００ｎｍの範囲内の波長を有する光であり、近赤外線は、概ね７００ｎｍから２．５μｍの範囲内の波長を有する光（電磁波）である。
【００２６】
本実施の形態では、３つの光学領域Ｄ１、Ｄ２、Ｄ３を通過した光は、レンズＬ２を通過した後、レンチキュラレンズＫに入射する。レンチキュラレンズＫは、光学領域Ｄ１を通過した光を撮像素子Ｎにおける複数の画素Ｐ１に、光学領域Ｄ２を通過した光を撮像素子Ｎにおける複数の画素Ｐ２に、光学領域Ｄ３を通過した光を撮像素子Ｎにおける複数の画素Ｐ３に入射させるように設計されている。撮像素子Ｎは、画素Ｐ１、Ｐ２、Ｐ３に入射した光をその強度に応じた画素信号に変換する。ここで「画素信号」とは、各画素Ｐ１、Ｐ２、Ｐ３において、光電変換によって生成された輝度値（画素値）を示す信号をいう。信号処理部Ｃは、撮像素子Ｎから画素信号を受け取り、画素Ｐ１の画素群の輝度情報から、赤光および近赤外線による画像の画像情報を生成して出力する。また、画素Ｐ２の画素群の輝度情報から、可視光による画像の画像情報を生成して出力する。さらに、画素Ｐ３の画素群の輝度情報から、特定の偏光軸の方向に電場が振動する偏光光による画像の画像情報を生成して出力する。信号処理部Ｃは、デジタルシグナルプロセッサ（ＤＳＰ）などの電子回路によって構成されていてもよいし、ＣＰＵなどの演算装置とプログラムを格納したメモリとの組み合わせによって構成されていてもよい。
【００２７】
図１において、光束Ｂ１、Ｂ２、Ｂ３は、光学素子Ｌ１上の第１から第３の光学領域Ｄ１、Ｄ２、Ｄ３をそれぞれ通過する光束（ｌｉｇｈｔ  ｂｅａｍ）である。光束Ｂ１、Ｂ２、Ｂ３は、絞りＳ、光学素子Ｌ１、レンズＬ２、レンチキュラレンズＫをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図４に示す）に到達する。
【００２８】
図２は、第１から第３の光学領域Ｄ１〜Ｄ３を被写体側から見たときの正面図である。光学素子Ｌ１における第１から第３の光学領域Ｄ１〜Ｄ３は、全て同じ面積であり、光軸Ｖに垂直な方向（図２におけるｙ方向）に配列されている。図２において、破線ｓは、絞りＳの開口領域を示している。図２に示すｘ方向およびｙ方向は、撮像装置が使用されるときの水平方向および垂直方向にそれぞれ対応する。また、光学領域Ｄ１〜Ｄ３の形状は全て同一である必要はなく、光学領域Ｄ１〜Ｄ３の並び方が図２の例とは異なっていてもよい。
【００２９】
図３は、レンチキュラレンズＫの構造を示す斜視図である。本実施の形態では、レンチキュラレンズＫをアレイ状光学素子として用いる。レンチキュラレンズＫは、複数のシリンドリカルレンズＭ１を有する。各シリンドリカルレンズＭ１はｘ方向に伸びた形状を有し、複数のシリンドリカルレンズＭ１がｙ方向に配列されている。それぞれのシリンドリカルレンズＭ１のｘ方向に垂直な断面は、撮像素子Ｎ側に突出した曲面の形状を有する。本実施の形態では、ｘ方向およびｙ方向は互いに直交している。
【００３０】
図１に示すように、レンチキュラレンズＫは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。
【００３１】
図４（ａ）は、図１に示すレンチキュラレンズＫおよび撮像素子Ｎを拡大して示す図であり、図４（ｂ）は、撮像面Ｎｉ上の画素の配列を示す図である。上述のように、レンチキュラレンズＫは、シリンドリカルレンズＭ１が形成された面が撮像面Ｎｉ側に向くように配置されている。
【００３２】
撮像素子Ｎは、撮像面Ｎｉと複数の画素Ｐとを含む。図４（ｂ）に示すように、複数の画素Ｐは、ｘ方向およびｙ方向に２次元的に配列されている。ｙ方向およびｘ方向への配列をそれぞれ行および列と呼ぶとき、複数の画素は、撮像面Ｎｉ上において、例えば、ｍ行ｌ列（ｌ、ｍは２以上の整数）に配置されている。つまり、ｘ方向にｌ個の画素が配列した一行の画素群が、ｙ方向に１からｍ行目までのｍ行に配列されている。
【００３３】
複数の画素Ｐは、それぞれｘ方向に配列され、行を構成する複数の画素Ｐ１、複数の画素Ｐ２、および複数の画素Ｐ３に分けられる。ｙ方向において、画素Ｐ１の行、画素Ｐ２の行、および画素Ｐ３の行は、この順で繰り返し配置されている。レンチキュラレンズＫは、そのシリンドリカルレンズＭ１の１つが、撮像面Ｎｉ上における画素Ｐ１〜Ｐ３の３行の画素群に対応するように配置されている。撮像面Ｎｉ上には、複数の画素Ｐ１〜Ｐ３の各々を覆うようにマイクロレンズＭｓが設けられている。
【００３４】
本実施の形態において、複数の画素Ｐ１〜Ｐ３は、いずれも同じ形状を有している。例えば、複数の第１の画素Ｐ１、複数の第２の画素Ｐ２、および複数の第３の画素Ｐ３は同じ矩形形状を有しており、面積も互いに等しい。
【００３５】
画素Ｐ１、Ｐ２、Ｐ３の各々は、光電変換によって受けた光の強度に応じた電気信号を出力する光検知セル（例えばフォトダイオード）を有する。各光検知セルの出力は信号処理部Ｃに送られ、画像情報を生成するために用いられる。本実施の形態では、各光検知セルに対向する位置に光を選択的に透過させる光学フィルタのような素子は設けられていない。しかし、複数の画素Ｐ１の各々に光学領域Ｄ１と同等の透過特性を有する光学フィルタを設け、複数の画素Ｐ２の各々に光学領域Ｄ２と同等の透過特性を有する光学フィルタを設け、複数の画素Ｐ３の各々に光学領域Ｄ３と同等の透過特性を有する光学フィルタを設けてもよい。これにより、各画素に不要な光が入射することを防ぐことができる。
【００３６】
レンチキュラレンズＫは、光学素子Ｌ１上の光学領域Ｄ１（図１、図２に示す）を通過した光束Ｂ１の大部分が撮像面Ｎｉ上の画素Ｐ１に到達し、光学領域Ｄ２を通過した光束Ｂ２の大部分が撮像面Ｎｉ上の画素Ｐ２に到達し、光学領域Ｄ３を透過した光束Ｂ３の大部分が撮像面Ｎｉ上の画素Ｐ３に到達するように設計されている。具体的には、レンチキュラレンズＫの屈折率、撮像面Ｎｉからの距離及びシリンドリカルレンズＭ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。
【００３７】
図１においては、絞りＳを通過した光が直接（他の光学部材を介することなく）、光学素子Ｌ１に入射するように各構成要素が配置されている。図１に示す構成に限らず、光学素子Ｌ１は、絞りＳよりも被写体側に設けられていてもよい。この場合、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する。
【００３８】
レンチキュラレンズＫは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された第１から第３の光学領域Ｄ１、Ｄ２、Ｄ３に対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。
【００３９】
以上の構成により、画素Ｐ１、Ｐ２、Ｐ３の各画素群の輝度情報を用いて、赤光および近赤外線の強度情報を有する第１の画像情報と、可視光の強度情報を有する第２の画像情報と、特定の偏光軸（透過軸）の方向に振動する偏光の強度情報を有する第３の画像情報とを同時に取得することができる。
【００４０】
本実施の形態の撮像装置は、例えば車載カメラとして好適に利用することができる。図５は、本実施の形態の撮像装置Ａを搭載した車両Ｖｅの一例を示す図である。この車両Ｖｅは、撮像装置Ａと可視光および近赤外線を出射する照明装置（ヘッドライト）Ｌｉとを備えている。照明装置Ｌｉは、可視光（ロービーム）を比較的低い角度で出射し、近赤外線（ハイビーム）を比較的高い角度で出射するように構成されている。図５に示すように、ロービームによって照射される範囲、ハイビームによって照射される範囲、および撮像装置Ａの撮影可能範囲（カメラ視野）は全て異なっている。
【００４１】
本実施の形態の撮像装置Ａを車載カメラとして適用した場合、第２の画像情報によって可視光のモノクロ画像が得られるため、車線の判別などの画像認識に活用できる。また、第１の画像情報によって前方の対象物から反射した近赤外線を認識することができるため、夜間に遠方の人物や障害物を検出することができる。第１の画像情報と第２の画像情報とを用いることにより、赤い光を認識することができるため、先行車のブレーキランプや赤信号を検出することもできる。さらに、第３の画像情報を用いることにより、路面による光の反射を抑制した画像を得たり、第２の画像情報と組み合わせてハイダイナミックレンジ（ＨＤＲ）合成を行うことができる。以下、これらの活用例を説明する。
【００４２】
図６は、第１の画像情報と第２の画像情報とを活用したブレーキランプや赤信号の認識の例を説明するための図である。図６（ａ）および（ｂ）は、ブレーキランプが消灯し、かつ信号が青である場合に、第１および第２の画像情報からそれぞれ得られる画像の例を示している。図６（ｃ）および（ｄ）は、ブレーキランプが点灯し、かつ信号が赤である場合に、第１および第２の画像情報からそれぞれ得られる画像の例を示している。
【００４３】
先行車Ｏｂ１のブレーキランプが消灯している場合や信号機Ｏｂ２が赤色でない場合は、図６（ａ）および（ｂ）に示すように、先行車Ｏｂ１のブレーキランプに対応する箇所と信号機Ｏｂ２の赤に相当する箇所は、第１の画像情報および第２の画像情報共に暗い状態となる。これに対し、先行車のブレーキランプが点灯している場合や信号機が赤色の場合は、図６（ｃ）および（ｄ）に示すように、先行車のブレーキランプに対応する箇所と信号の赤に相当する箇所は、第１の画像情報および第２の画像情報共に明るい状態となる。したがって、先行車や信号機を画像認識した上で、第１の画像情報と第２の画像情報とを比較することにより、先行車のブレーキランプや信号機が赤く発光しているか否かを判別することができる。これらが赤色に発光しているか否かを判別することができれば、その判別結果をブレーキ制動などの運転補助に活用することができる。
【００４４】
第１の画像情報は近赤外の情報を含んでいるため、図５に示すようにヘッドライトＬｉにハイビームの近赤外投光器を搭載することにより、第１の画像情報を用いて夜間に遠方にいる障害物や人物を検出することが可能となる。これにより、障害物や人物が遠方にいる場合に、音声や表示等でドライバーにいち早く注意を促したりすることができる。
【００４５】
第２の画像情報は、可視光帯域の情報を含んでいるため、昼間の画像認識用や夜間のロービームの照射領域の画像認識用として常用することができる。
【００４６】
第３の画像情報は、偏光フィルタ越しに撮影した画像の情報であるため、入射光の特定の偏光成分が除去された画像に相当する。したがって、第３の光学領域Ｄ３の偏光透過軸を路面に垂直な方向に設定することにより、雨天時や積雪時、西日に正対したときの路面での光の反射や、水面での光の反射の影響を抑制した画像を取得することができる。第３の画像情報により、雨天や西日などの条件下でも道路の車線を判別しやすくなるため、車線を判別する運転支援、例えば車線の逸脱に対する注意喚起やステアリングの制動等について機能不全に陥りにくくすることができる。また、撮像装置Ａを車両のフロントガラスの内側に設置した場合、ダッシュボードの映り込みを低減することができ、画像認識に好適な映像を得ることができる。
【００４７】
さらに、第３の画像情報は、偏光フィルタ越しに撮影した画像情報であるため、第２の画像情報に比べて露光量が半減された画像を取得できる。したがって、第２の画像情報と第３の画像情報とを合成することにより、ダイナミックレンジの広い画像を生成することができる。例えば、第２の画像情報において、輝度値が上限値（８ビットの場合は２５５）に達している画素を、第３の画像情報における対応画素の輝度値をゲイン調整した値で置換することによってダイナミックレンジの広い合成画像を生成することができる。ゲイン調整は、第２の光学領域Ｄ２における光の透過率に対する第３の光学領域Ｄ３における光の透過率の割合をｒ（例えば０．４）とするとき、１／ｒを乗じればよい。ＨＤＲ合成は、この方法に限らず、公知の方法を広く適用できる。ＨＤＲ合成により、トンネルの出入り口付近における先行車や道路の車線の白飛びや黒つぶれの発生を抑制することができる。
【００４８】
以上のように、本実施の形態では、昼夜や天候状況に影響されにくい撮像が可能である。このため、画像認識を用いた安全運転支援の信頼性を高めることができる。
【００４９】
なお、本実施の形態では、第１の光学領域Ｄ１は、赤光および近赤外線を透過させるように構成され、第２の光学領域Ｄ２は、可視光を透過させるように構成され、第３の光学領域Ｄ３は、特定の偏光軸の方向に振動する光を透過させるように構成されているが、必ずしもこのような構成である必要はない。例えば、第１から第３の光学領域Ｄ１、Ｄ２、Ｄ３のいずれかが、可視光を所定の割合で減衰させて透過させる領域であってもよい。そのような領域は、例えば本実施の形態における偏光フィルタよりも可視光の透過率の低いＮＤ（Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ）フィルタを用いて実現できる。そのようなＮＤフィルタを用いることにより、ダイナミックレンジをさらに広くすることができる。このように、本実施の形態のように３つの光学領域を光学素子に設ける場合、第１から第３の光学領域は、可視光を透過させる領域、赤光および近赤外線を透過させる領域、特定の偏光軸の方向に振動する光を透過させる領域、および可視光を所定の割合で減衰させて透過させる領域の４つの領域から選択された３つの領域であればよい。
【００５０】
（実施の形態２）
本実施の形態２は、光学領域の分割数が４分割である点、およびレンチキュラレンズＫにおける１つのシリンドリカルレンズＭ１に４行の画素が対応している点において実施の形態１と異なる。以下、実施の形態１と異なる点を中心に説明し、同様の内容についての詳細な説明は省略する。
【００５１】
図７は、本実施の形態の撮像装置Ａを示す模式図である。本実施の形態では、レンズ光学系Ｌにおける光学素子Ｌ１は、第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４を有している。第１から第３の光学領域Ｄ１、Ｄ２、Ｄ３は、実施の形態１におけるものと同一である。第４の光学領域Ｄ４は、可視光を所定の割合で減衰させて透過させるＮＤフィルタである。以下の説明では、ＮＤフィルタの透過率を１２．５％とするが、この透過率は必要に応じて変更してもよい。
【００５２】
本実施の形態では、４つの光学領域Ｄ１〜Ｄ４を通過した光は、レンズＬ２を通過した後、レンチキュラレンズＫに入射する。レンチキュラレンズＫは、光学領域Ｄ１を通過した光を撮像素子Ｎにおける複数の画素Ｐ１に、光学領域Ｄ２を通過した光を撮像素子Ｎにおける複数の画素Ｐ２に、光学領域Ｄ３を通過した光を撮像素子Ｎにおける複数の画素Ｐ３に、光学領域Ｄ４を通過した光を撮像素子Ｎにおける複数の画素Ｐ４に入射させるように設計されている。撮像素子Ｎは、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４に入射した光をその強度に応じた画素信号に変換する。信号処理部Ｃは、撮像素子Ｎから画素信号を受け取り、画素Ｐ１の画素群の輝度情報から、赤光および近赤外線による画像の画像情報を生成して出力する。画素Ｐ２の画素群の輝度情報から、可視光による画像の画像情報を生成して出力する。画素Ｐ３の画素群の輝度情報から、特定の偏光軸の方向に電場が振動する偏光光による画像の画像情報を生成して出力する。さらに、画素Ｐ４の画素群の輝度情報から、ＮＤフィルタによって減衰された可視光による画像の画像情報を生成して出力する。
【００５３】
図７において、光束Ｂ１、Ｂ２、Ｂ３、Ｂ４は、光学素子Ｌ１上の第１から第４の光学領域Ｄ１〜Ｄ４をそれぞれ通過する光束である。光束Ｂ１〜Ｂ４は、絞りＳ、光学素子Ｌ１、レンズＬ２、レンチキュラレンズＫをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図９に示す）に到達する。
【００５４】
図８は、第１から第４の光学領域Ｄ１〜Ｄ４を被写体側から見たときの正面図である。光学素子Ｌ１における第１から第４の光学領域Ｄ１〜Ｄ４は、長方形状であり、光軸Ｖに垂直な方向（図８におけるｙ方向）に配列されている。光学領域Ｄ１〜Ｄ４の形状や面積は全て同一である必要はない。光学領域Ｄ１〜Ｄ４の並び方が図８の例とは異なっていてもよい。
【００５５】
図９（ａ）は、図７に示すレンチキュラレンズＫおよび撮像素子Ｎを拡大して示す図であり、図９（ｂ）は、撮像面Ｎｉ上の画素の配列を示す図である。複数の画素Ｐは、それぞれｘ方向に配列され、行を構成する複数の画素Ｐ１、複数の画素Ｐ２、複数の画素Ｐ３、および複数の画素Ｐ４に分けられる。ｙ方向において、画素Ｐ１の行、画素Ｐ２の行、画素Ｐ３の行、および画素Ｐ４の行は、この順で繰り返し配置されている。レンチキュラレンズＫは、そのシリンドリカルレンズＭ１の１つが、撮像面Ｎｉ上における画素Ｐ１〜Ｐ４の４行の画素群に対応するように配置されている。撮像面Ｎｉ上には、複数の画素Ｐ１〜Ｐ４の各々を覆うようにマイクロレンズＭｓが設けられている。
【００５６】
画素Ｐ１〜Ｐ４の各々は、光電変換によって受けた光の強度に応じた電気信号を出力する光検知セルを有する。各光検知セルの出力は信号処理部Ｃに送られ、画像情報を生成するために用いられる。本実施の形態では、各光検知セルに対向する位置に光を選択的に透過させる光学フィルタのような素子は設けられていない。しかし、複数の画素Ｐ１の各々に光学領域Ｄ１と同等の透過特性を有する光学フィルタを設け、複数の画素Ｐ２の各々に光学領域Ｄ２と同等の透過特性を有する光学フィルタを設け、複数の画素Ｐ３の各々に光学領域Ｄ３と同等の透過特性を有する光学フィルタを設け、複数の画素Ｐ４の各々に光学領域Ｄ４と同等の透過特性を有する光学フィルタを設けてもよい。これにより、各画素に不要な光が入射することを防ぐことができる。
【００５７】
レンチキュラレンズＫは、光学素子Ｌ１上の光学領域Ｄ１を通過した光束Ｂ１の大部分が撮像面Ｎｉ上の画素Ｐ１に到達し、光学領域Ｄ２を通過した光束Ｂ２の大部分が撮像面Ｎｉ上の画素Ｐ２に到達し、光学領域Ｄ３を透過した光束Ｂ３の大部分が撮像面Ｎｉ上の画素Ｐ３に到達し、光学領域Ｄ４を透過した光束Ｂ４の大部分が撮像面Ｎｉ上の画素Ｐ４に到達するように設計されている。具体的には、レンチキュラレンズＫの屈折率、撮像面Ｎｉからの距離及びシリンドリカルレンズＭ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。
【００５８】
以上の構成により、実施の形態１において説明した第１から第３の画像情報に加え、画素Ｐ４の画素群の輝度情報に基づく第４の画像情報を同時に取得することができる。第４の画像情報は、露光量が第２の画像情報に対して１２．５％の画像に相当する。実施の形態１では、第２の画像情報と第３の画像情報とを用いてダイナミックレンジの広い画像を生成することができるが、本実施の形態では、さらにダイナミックレンジを広げることができる。偏光フィルタの透過率は４０％程度であるため、第２の画像情報と第３の画像情報との露光量比は１：０．４程度である。これに対し、本実施の形態では、第２の画像情報と第４の画像情報との露光量比が１：０．１２５となるため、実施の形態１よりもダイナミックレンジの広い画像を取得することができる。これにより、トンネルの出入り口や西日に正対した場合においても、白飛びや黒つぶれをより少なくすることができるため、画像認識を用いた安全運転支援の信頼性をさらに高めることができる。
【００５９】
なお、透過率が０．１２５のＮＤフィルタの代わりに特定の偏光軸の方向に振動する光の透過率が約０．２５の偏光フィルタを第４の光学領域Ｄ４に設けてもよい。そのような構成であっても、第４の光学領域Ｄ４の光の透過率が０．１２５程度になるため、本実施の形態と同様の効果を得ることができる。
【００６０】
（実施の形態３）
本実施の形態３は、実施の形態１の撮像装置を複数用いた測距装置に関する。図１０は撮像装置を２つ用いた測距装置の概略図である。この測距装置は、２つの撮像装置Ａと、被写体の距離情報を生成して出力する距離演算回路Ｃ２とを備えている。距離演算回路Ｃ２は、２つの撮像装置Ａによって生成された２つの画像間でパターンマッチングを行うことによって視差を求め、求めた視差に基づいて三角測量の原理に基づく演算によって被写体までの距離を算出する。距離演算回路Ｃ２は、ＤＳＰなどの電子回路によって構成されていてもよいし、ＣＰＵなどの演算装置とプログラムを格納したメモリとの組み合わせによって構成されていてもよい。本実施の形態では、測距装置の基線方向Ｂに対して各撮像装置のレンチキュラレンズＫにおけるシリンドリカルレンズの配列方向Ｅを直交させている。このため、測距装置の基線方向Ｂに対してレンチキュラのシリンドリカルレンズの配列方向Ｅを同一にした場合に比べて、視差算出の分解能を上げることができる。
【００６１】
本実施の形態における各撮像装置Ａにおける信号処理部Ｃ（図１）は、第１から第３の光学領域Ｄ１〜Ｄ３をそれぞれ透過した光による第１から第３の画像情報を合成して新たな画像情報（「合成画像情報」と呼ぶ。）として出力する。各合成画像情報が示す画像は、昼夜や天候状況に関わらず、対象物をしっかり捕らえた画像である。距離演算回路Ｃ２は、出力されたそれらの合成画像情報に基づいてパターンマッチングを行うことによって視差情報を生成し、その視差情報から三角測量の原理に基づく演算によって対象物までの距離情報を生成する。ここで、「距離情報」とは、距離そのものの値を示す情報に限らず、対象物の座標情報のように、測距装置と対象物との相対的な位置関係を示す情報であればよい。
【００６２】
以上のような構成により、 昼夜や天候状況に関わらず対象物までの距離を取得することが可能な測距装置を実現できる。
【００６３】
以下、各撮像装置Ａの信号処理部Ｃによる第１から第３の画像情報の合成方法の一例を説明する。以下の説明において、第１の画像情報に基づく画像を「近赤外画像」、第２の画像情報に基づく画像を「可視画像」、第３の画像情報に基づく画像を「偏光画像」と称する。
【００６４】
図１１は、各撮像装置Ａの信号処理部Ｃによる第１から第３の画像情報の合成処理の一例を示すフローチャートである。信号処理部Ｃは、ステップＳ１００において、撮影時点の環境が昼間なのか夜間なのかを判定する。この判定は、例えばヘッドライトのスイッチがオンであるかオフであるかに基づいて行うことができる。あるいは、可視画像の平均輝度や、可視画像と近赤外画像との輝度比、時刻情報といった他の情報に基づいて行ってもよい。信号処理部Ｃは、撮影時点が昼間であると判定した場合、ステップＳ１０１〜Ｓ１０４の処理を実行し、夜間であると判定した場合、ステップＳ１１１、Ｓ１１２の処理を実行する。
【００６５】
まず、ステップＳ１００において昼間であると判定した場合の処理を説明する。
【００６６】
ステップＳ１０１では、偏光画像を光学領域Ｄ３における偏光フィルタの透過率で除算することにより、新たな偏光画像（「ゲイン調整した偏光画像」と呼ぶ。）を生成する。
【００６７】
ステップＳ１０２では、「可視画像」と「ゲイン調整した偏光画像」とを画素ごとに比較し、輝度値の低い方をその画素の輝度値とする画像（「合成画像１」と呼ぶ。）を生成する。合成画像１は、路面による光の反射の影響やフロントガラスへのダッシュボードの映り込みを抑制した画像である。
【００６８】
ステップＳ１０３では、「合成画像１」と「偏光画像」とをＨＤＲ合成することによって新たな合成画像（「合成画像２」と呼ぶ。）を生成する。ＨＤＲ合成の方法は、例えば実施の形態１で説明した方法または他の公知の方法である。
【００６９】
ステップＳ１０４では、生成した合成画像２を、距離演算回路Ｃ２に送出する。
【００７０】
以上の処理により、距離演算回路Ｃ２は、２つの撮像装置Ａからそれぞれ送出された２つの合成画像２を用いてパターンマッチングを行い、視差情報および距離情報を算出することができる。
【００７１】
続いて、ステップＳ１００において夜間であると判定した場合の処理を説明する。
【００７２】
ステップＳ１１１では、「可視画像」と「近赤外画像」とを画素ごとに加算平均することによって合成画像（「合成画像３」と呼ぶ。）を生成する。
【００７３】
ステップＳ１１２では、「合成画像３」を距離算出回路に送出する。
【００７４】
以上の処理により、距離演算回路Ｃ２は、２つの撮像装置Ａからそれぞれ送出された２つの合成画像３を用いてパターンマッチングを行い、視差情報および距離情報を算出することができる。
【００７５】
なお、上記の合成方法は一例であり、本開示は上記の合成方法に限定されない。
【００７６】
次に、距離演算回路Ｃ２による視差演算方法の一例を説明する。距離演算回路Ｃ２は、まず、比較する２つの合成画像の一方における所定の画像ブロック（基準画像）と、他方における所定の画像ブロック（参照画像）との間に生じる画像のズレをパターンマッチングにより抽出する。パターンマッチングの相関度は、例えば基準画像と参照画像との間の各画素の輝度の差分（絶対値）の総和である評価関数ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）によって求めることができる。ここで、演算ブロックサイズをｍ×ｎ画素とすると、ＳＡＤは（数１）によって求めることができる。
【数１】
2015194388.tif 000003
【００７７】
（数１）において、ｘ、ｙは撮像面の座標であり、Ｉ０、Ｉ１はそれぞれ括弧内で示した座標における基準画像の輝度値と参照画像の輝度値である。図１２はＳＡＤ演算を説明するための図である。ＳＡＤ演算では、基準画像の基準ブロック領域に対して参照画像の探索ブロック領域の位置を図１２のように基線方向にｄｘだけずらしながら演算し、ＳＡＤが極小値となるｄｘが視差Ｐｘとなる。ＳＡＤは任意の座標で演算できるので、撮像視野内の全領域の視差を抽出することができる。視野の特定の被写体の視差を抽出する場合には、領域を限定すればよい。距離演算回路Ｃ２は、例えば、被写体の所定領域に対応する領域の視差Ｐｘを抽出する。
【００７８】
なお、ここではＳＡＤを評価関数として用いたが、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）などの他の評価関数を用いて視差を計算してもよい。
【００７９】
距離演算回路Ｃ２は、このようにして求めた視差情報から、三角測量の原理に基づく演算を行うことにより、測距装置から対象物までの距離を示す情報を生成する。これにより、昼夜を問わず、対象物の距離情報を得ることができるため、前方監視が可能な車載用の測距装置を実現することができる。
【００８０】
なお、本実施の形態では、実施の形態１における撮像装置Ａを２台用いたが、代わりに実施の形態２における撮像装置Ａを２台用いてもよい。また、実施の形態１における撮像装置Ａにおける第１から第３の光学領域Ｄ１〜Ｄ３のいずれかをＮＤフィルタに置換した構成を採用してもよい。以下、これらの構成における信号処理部Ｃによる合成処理の例を説明する。
【００８１】
＜例１＞
まず、第１から第３の光学領域Ｄ１〜Ｄ３が、可視光を透過させる領域（例えば近赤外カットフィルタ）、可視光を所定の割合で減衰させて透過させる領域（例えば透過率２５％のＮＤフィルタ）、および特定の偏光軸の方向に振動する光を透過させる領域（例えば偏光フィルタ）の組み合わせからなる場合の例を説明する。以下の説明において、ＮＤフィルタを透過した光による画像を「ＮＤフィルタ画像」と称する。この例では、信号処理回路Ｃは、晴天時と雨天時とで異なる処理を実行する。
【００８２】
晴天時には、信号処理回路Ｃは、「可視画像」と「ＮＤフィルタ画像」とをＨＤＲ合成することによって生成した画像（「合成画像４」と呼ぶ。）を距離演算回路Ｃ２に送出する。これにより、距離演算回路Ｃ２は、２つの撮像装置から送出された２つの合成画像４を用いて視差情報および距離情報を生成することができる。
【００８３】
雨天時には、信号処理回路Ｃは、まず、偏光画像を偏光フィルタの透過率で除算することによって「ゲイン調整した偏光画像」を生成する。次に、「可視画像」と「ゲイン調整した偏光画像」とを画素ごとに比較し、輝度値の低い方をその画素の輝度値とする「合成画像５」を生成して距離演算回路Ｃ２に送出する。これにより、距離演算回路Ｃ２は、２つの撮像装置から送出された２つの合成画像５を用いて視差情報および距離情報を生成することができる。
【００８４】
ここで、撮影時の天候が晴天であるか雨天であるかは、例えば、ワイパーのスイッチがオンであるかオフであるかに基づいて決定できる。あるいは、画像の特性に基づいて天候を判断してもよい。例えば、「可視画像」と「ゲイン調整した偏光画像」との差分に基づいて路面が濡れていると推定される場合には雨天であると判定してもよい。
【００８５】
＜例２＞
次に、実施の形態２のように、４つの光学領域Ｄ４が、可視光を透過させる領域（例えば近赤外カットフィルタ）、赤光および近赤外光を透過させる領域（例えば分光フィルタ）、可視光を所定の割合で減衰させて透過させる領域（例えば透過率２５％のＮＤフィルタ）、および特定の偏光軸の方向に振動する光を透過させる領域（例えば偏光フィルタ）の組み合わせからなる場合の例を説明する。この例では、信号処理回路Ｃは、天候が晴天であるか雨天であるか、および昼間であるか夜間であるかに応じて異なる処理を実行する。
【００８６】
雨天時の夜間には、信号処理回路Ｃは、前述の「合成画像５」と「近赤外画像」とを画素ごとに加算平均することによって「合成画像６」を生成し、距離演算回路Ｃ２に送出する。これにより、距離演算回路Ｃ２は、２つの撮像装置から送出された「合成画像６」を用いて視差情報および距離情報を生成することができる。
【００８７】
雨天時の昼間には、信号処理回路Ｃは、前述の「合成画像５」を生成して距離演算回路Ｃ２に送出する。これにより、距離演算回路Ｃ２は、２つの撮像装置から送出された「合成画像５」を用いて視差情報および距離情報を生成することができる。
【００８８】
晴天時の昼間には、信号処理回路Ｃは、前述の「合成画像４」を生成して距離演算回路Ｃ２に送出する。これにより、距離演算回路Ｃ２は、２つの撮像装置から送出された「合成画像４」を用いて視差情報および距離情報を生成することができる。
【００８９】
晴天時の夜間には、信号処理回路Ｃは、前述の「合成画像３」を生成して距離演算回路Ｃ２に送出する。これにより、距離演算回路Ｃ２は、２つの撮像装置から送出された「合成画像３」を用いて視差情報および距離情報を生成することができる。
【００９０】
なお、撮影時の天候が晴天であるか雨天であるか、および昼間であるか夜間であるかは、上述したいずれかの方法で判定できる。
【００９１】
（他の実施の形態）
以上、実施の形態１から３を説明した。しかし、本開示の技術はこれらの実施の形態に限らず、各種の変形を施したり、異なる実施の形態を組み合わせて新たな実施の形態としてもよい。以下、他の実施の形態を例示する。
【００９２】
図１３は、レンチキュラレンズと撮像素子Ｎとを一体化した例を示す図である。図１３（ａ）および（ｂ）は、レンチキュラレンズＫおよび撮像素子Ｎをそれぞれ拡大して示す図であり、１つの光学領域を通過した光線のみ図示している。本実施の形態では、レンチキュラレンズＭｄ１が、撮像素子Ｎの撮像面Ｎｉ上に形成されている。撮像面Ｎｉには、実施の形態１等と同様、画素Ｐが行列状に配置されている。これら複数の画素Ｐのうち、光学領域の分割数に応じた行数の画素群に対して１つのレンチキュラレンズＭｄ１のシリンドリカルレンズが対応している。
【００９３】
図１３（ｂ）に示す構成では、画素Ｐを覆うようにレンチキュラレンズＭｄ２（または、マイクロレンズ）が形成され、レンチキュラレンズＭｄ２（または、マイクロレンズ）の表面上に低屈折率層Ｗを介してレンチキュラレンズＭｄ１が積層されている。図１３（ｂ）に示す構成では、図１３（ａ）の構成よりも集光効率を高めることができる。レンチキュラレンズＭｄ２を用いる場合には、画素群の１行ごとに１つのレンチキュラレンズＭｄ２のシリンドリカルレンズが対応して配置される。また、マイクロレンズを用いる場合、１つのマイクロレンズに対して、１つの画素が対応するように配置される。
【００９４】
実施の形態１のようにレンチキュラレンズＫが撮像素子Ｎと分離していると、レンチキュラレンズＫと撮像素子Ｎとの位置合せが難しくなるが、本実施の形態のように、レンチキュラレンズＭｄ１を撮像素子Ｎ上に形成する構成にすることにより、ウエハプロセスによって位置合せが可能になるため、位置合せが容易となり、位置合せ精度を向上させることができる。
【００９５】
また、本実施の形態において、撮像素子Ｎの各行の画素上に設けられるレンチキュラレンズＭｄ２または各画素上に設けられるマイクロレンズの代わりに、他の形状の光学素子を撮像素子に設けてもよい。例えば、特開２００８−１０７７３号公報に開示されているような、屈折率の異なる材料の分布によって光を集光させる屈折率分布素子を用いてもよい。特開２００８−１０７７３号公報の開示内容全体を本願明細書に援用する。このような構造を有する回折光学素子は、例えば半導体フォトリソグラフィ技術を用いて製造することができる。従来のレンズ面を有するマイクロレンズは、例えば、樹脂を熱変形させて製造するため、撮像素子の複数の画素状に設けられる複数のマイクロレンズ間で、レンズ面の曲面を異ならせることは困難であった。これに対し、回折光学素子を用いる場合、撮像素子の複数の画素間で、上述の光学部材の寸法を異ならせることにより、光学特性を変えることができる。よって、光学系ＬやレンチキュラレンズＫによって、斜めから光線が撮像素子Ｎの画素に入射する場合でも、効率よく画素に光を集光させることができる。
【００９６】
上記の各実施の形態におけるレンチキュラレンズの代わりにマイクロレンズアレイをアレイ状光学素子として用いてもよい。図１４は、そのような構成例を示す図である。
【００９７】
図１４（ａ）に示す例では、光学素子Ｌ１ｐは、第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４を備える。第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４は、光軸Ｖを通り、水平方向Ｈ（撮像素子の撮像面Ｎｉにおけるｙ方向）および水平方向に垂直な方向にそれぞれ平行な境界線で区切られる４つの領域である。この例における第１から第４の光学領域Ｄ１〜Ｄ４は、実施の形態２における対応する領域と同一である。
【００９８】
図１４（ｂ）は、マイクロレンズアレイＫ’の斜視図である。マイクロレンズアレイＫ’はｘ方向およびｙ方向に配列された複数のマイクロレンズＭ２を含む。それぞれのマイクロレンズＭ２の断面（ｘ方向およびｙ方向に垂直なそれぞれの断面）は曲面形状であり、撮像素子Ｎ側に突出している。各マイクロレンズＭ２は、撮像素子Ｎの撮像面Ｎｉにおいてｘ方向およびｙ方向に配列された複数の画素のうち、ｘ方向およびｙ方向に複数配列された画素に対応して配置される。
【００９９】
図１５（ａ）は、本構成例における撮像面Ｎｉ上の画素配列を示す図である。図１５（ａ）に示すように、撮像面Ｎｉに配列されている複数の画素は、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４を含む。マイクロレンズアレイＫ’の各マイクロレンズＭ２は、第１の光学領域Ｄ１を通過した光を画素Ｐ１に入射させ、第２の光学領域Ｄ２を通過した光を画素Ｐ２に入射させ、第３の光学領域Ｄ３を通過した光を画素Ｐ３に入射させ、第４の光学領域Ｄ４を通過した光を画素Ｐ４に入射させる。
【０１００】
したがって、第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４のそれぞれを透過した光は、画素Ｐ１〜Ｐ４で検出される。これにより、実施の形態２と同様の信号処理が可能である。
【０１０１】
なお、この構成例では、実施の形態２の光学領域の組み合わせを用いたが、実施の形態１の光学領域の組み合わせを用いてもよい。その場合、第１から第３の光学領域のいずれかと同一の特性を有する光学領域を上記の光学領域Ｄ４の代わりに配置してもよい。
【０１０２】
図１５（ｂ）は、別の構成例における撮像面Ｎｉ上の画素配列を示す図である。図１５（ｂ）に示すように、撮像面Ｎｉに配列されている複数の画素は、ｘ方向およびｙ方向に２個ずつ配列される４つの画素を１組とした画素群をそれぞれ含む複数の画素Ｐ１、複数の画素Ｐ２、複数の画素Ｐ３、複数の画素Ｐ４を含む。このとき、図１４に示す第１から第４の光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４には、それぞれ近赤外の帯域の光を透過させるフィルタ、可視光の帯域の光を透過させるフィルタ、特定の偏光軸（透過軸）の方向に電場が振動する光を透過させる偏光フィルタ、および透過率が１２．５％のＮＤフィルタが配置されている。
【０１０３】
複数の画素Ｐ１は分光フィルタが備えられていない４つの画素で構成され、複数の画素Ｐ２、Ｐ３、およびＰ４には、赤色の帯域の光を主に透過する分光フィルタが備えられた画素Ｒが１つ、緑色の帯域の光を主に透過する分光フィルタが備えられた画素Ｇが２つ、青色の帯域の光を主に透過する分光フィルタが備えられた画素Ｂが１つの合計４つの画素で構成されている。
【０１０４】
マイクロレンズアレイＫ’の各マイクロレンズＭ２は、第１の光学領域Ｄ１を通過した光を対応する単位領域（図において実線で囲まれた１６画素を含む領域）内の画素Ｐ１の画素群に入射させ、第２の光学領域Ｄ２を通過した光を対応する単位領域内の複数の画素Ｐ２の画素群に入射させ、第３の光学領域Ｄ３を通過した光を対応する単位領域内の複数の画素Ｐ３の画素群に入射させ、第４の光学領域Ｄ４を通過した光を対応する単位領域内の複数の画素Ｐ４の画素群に入射させる。
【０１０５】
したがって、第１の光学領域Ｄ１、第２の光学領域Ｄ２、第３の光学領域Ｄ３、第４の光学領域Ｄ４のそれぞれを透過した光は、画素Ｐ１〜Ｐ４で検出される。
【０１０６】
なお、この構成例の複数の画素Ｐ２において、分光フィルタが備えられていない画素４つで構成したが、近赤外の帯域の光を透過する分光フィルタが備えられた画素４つで構成してもよい。
【０１０７】
以上のような構成により、近赤外線の強度情報を有する第１の画像情報と、可視光の強度情報を有する第２の画像情報と、特定の偏光軸（透過軸）の方向に振動する偏光の強度情報を有する第３の画像情報と、露光量が第２の画像情報に対して１２．５％の第４の画像情報を同時に取得することができる。ここで、画素群Ｐ２、Ｐ３、およびＰ４にはＲＧＢのカラーフィルタが備えられているため、第２、第３、および第４の画像情報にはそれぞれカラー情報が含まれる。従って、これらの画像情報を用いた合成画像をカラー化することができ、標識などの情報を認識できるだけでなく、動画を記憶する装置を付加すれば、カラー画像を記録するドライブレコーダとして利用することもできる。
【０１０８】
また、実施の形態１および２において画素Ｐ２、Ｐ３、Ｐ４のそれぞれにカラーフィルタを備えた構成とすれば、本構成と同様の効果を得ることができる。
【産業上の利用可能性】
【０１０９】
本願に開示された撮像装置は、デジタルスチルカメラ、デジタルビデオカメラ、車載カメラ、監視カメラ、肌診断カメラ、および内視鏡カメラ、カプセル内視鏡等の撮像装置として利用できる。また、マイクロスコープや電子ミラーなどの撮像システムに応用することができる。
【符号の説明】
【０１１０】
Ａ                          撮像装置
Ｌ                          レンズ光学系
Ｌ１                        光学素子
Ｌ２                        レンズ
Ｄ１〜Ｄ４                  光学領域
Ｓ                          絞り
Ｋ                          レンチキュラレンズ
Ｌｉ                        照明装置
Ｎ                          撮像素子
Ｎｉ                        撮像面
Ｍ１、Ｍｄ１                シリンドリカルレンズ
Ｍｄ２                      画素上のレンチキュラレンズ（もしくはマイクロレンズ）
Ｍｓ                        画素上のマイクロレンズ
Ｐ１〜Ｐ４                  撮像素子上の画素
Ｃ                          信号処理部
Ｃ２                        距離演算回路
Ｖｅ                        車両
【図１】
2015194388.tif 000004
【図２】
2015194388.tif 000005
【図３】
2015194388.tif 000006
【図４】
2015194388.tif 000007
【図５】
2015194388.tif 000008
【図６】
2015194388.tif 000009
【図７】
2015194388.tif 000010
【図８】
2015194388.tif 000011
【図９】
2015194388.tif 000012
【図１０】
2015194388.tif 000013
【図１１】
2015194388.tif 000014
【図１２】
2015194388.tif 000015
【図１３】
2015194388.tif 000016
【図１４】
2015194388.tif 000017
【図１５】
2015194388.tif 000018