(57)【要約】【課題】従来の技術では、障害物または人物を検出する精度のさらなる向上が求められていた。【解決手段】運転者監視システム１００は、異なる光学特性を示す光の情報を有する複数の画像信号を生成する撮像装置と、複数の画像信号の少なくとも１つの画像信号に基づいて、画像中の障害物または人物を検出し、撮像装置と障害物または人物との間の距離情報を算出して、距離情報に基づいて障害物または人物に衝突する危険性を判定する信号処理部２０とを備える。【選択図】図１
2015195489.tif 000002
【特許請求の範囲】
【請求項１】
障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止システムであって、
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置と、
前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出して、前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定する信号処理部と、
を備えた、衝突防止システム。
【請求項２】
前記複数の画像信号は、近赤外光の情報を有する複数の第１の画像信号および可視光の情報を有する複数の第２の画像信号を含み、
前記信号処理部は、前記複数の第１の画像信号からいずれか１つの第３の画像信号を選択し、第２の画像信号からいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出する、請求項１に記載の衝突防止システム。
【請求項３】
前記複数の画像信号は、近赤外光の情報を有する複数の第１の画像信号および可視光の情報を有する複数の第２の画像信号を含み、
前記信号処理部は、前記複数の第１の画像信号を合成して第３の画像信号を生成し、前記複数の第２の画像信号を合成して第４の画像信号を生成し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出する、請求項１に記載の衝突防止システム。
【請求項４】
前記少なくとも２つの光学領域は、第１の透過率特性および近赤外光を透過させて可視光を透過させない第１の分光特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性および前記第１の分光特性を有する第２の光学領域、前記第２の透過率特性および前記可視光を透過させて前記近赤外光を透過させない第２の分光特性を有する第３の光学領域、ならびに前記第１の透過率特性および前記第２の分光特性を有する第４の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号および前記第２の撮像領域から取得された第６の画像信号のいずれか１つの第３の画像信号を選択し、前記第３の撮像領域から取得された第７の画像信号および前記第４の撮像領域から取得された第８の画像信号のいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出する、請求項２に記載の衝突防止システム。
【請求項５】
前記少なくとも２つの光学領域は、第１の透過率特性および近赤外光を透過させて可視光を透過させない第１の分光特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性および前記第１の分光特性を有する第２の光学領域、前記第２の透過率特性および前記可視光を透過させて前記近赤外光を透過させない第２の分光特性を有する第３の光学領域、ならびに前記第１の透過率特性および前記第２の分光特性を有する第４の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号および前記第２の撮像領域から取得された第６の画像信号を合成して第３の画像信号を生成し、前記第３の撮像領域から取得された第７の画像信号および前記第４の撮像領域から取得された第８の画像信号を合成して第４の画像信号を生成し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出する、請求項３に記載の衝突防止システム。
【請求項６】
前記少なくとも２つの光学領域は、第１の偏光軸の方向に振動する光を透過させる第１の偏光特性および近赤外光を透過させて可視光を透過させない第１の分光特性を有する第１の光学領域、前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に振動する光を透過させる第２の偏光特性および前記第１の分光特性を有する第２の光学領域、前記第２の偏光特性および前記可視光を透過させて前記近赤外光を透過させない第２の分光特性を有する第３の光学領域、ならびに前記第１の偏光特性および前記第２の分光特性を有する第４の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号または前記第２の撮像領域から取得された第６の画像信号のいずれか１つの第３の画像信号を選択し、前記第３の撮像領域から取得された第７の画像信号または前記第４の撮像領域から取得された第８の画像信号のいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出する、請求項２に記載の衝突防止システム。
【請求項７】
前記第３および第４の撮像領域では、赤色の光を透過させる第１のフィルタを有する第１の画素と、緑色の光を透過させる第２のフィルタを有する第２の画素と、青色の光を透過させる第３のフィルタを有する第３の画素とがベイヤー配列されている、請求項４から６のいずれかに記載の衝突防止システム。
【請求項８】
前記第３および第４の撮像領域は、赤色の光を透過させる第１のフィルタを有する第１の画素から形成されている、請求項４から６のいずれかに記載の衝突防止システム。
【請求項９】
前記距離情報に応じて、前記障害物または人物に衝突する危険性があることを運転者に警告する警告装置をさらに備えた、請求項１から８のいずれかに記載の衝突防止システム。
【請求項１０】
速度を減速させるように前記距離情報に応じてブレーキを制御するブレーキ制御部をさらに備えた、請求項１から９のいずれかに記載の衝突防止システム。
【請求項１１】
障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止システムであって、
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する第１および第２の撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から得られる複数の画像信号を出力する第１および第２の撮像装置と、
前記第１の撮像装置から出力される前記複数の画像信号の少なくとも１つの画像信号と、前記第２の撮像装置から出力される前記複数の画像信号の少なくとも１つの画像信号とから得られる視差量を用いて、前記撮像装置と前記障害物または人物との間の距離情報を算出する信号処理部と、
を備えた、衝突防止システム。
【請求項１２】
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置を用いて障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止方法であって、
前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出するステップと、
前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定するステップと
を包含する、衝突防止方法。
【請求項１３】
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置を用いて障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止システムにおいて用いられるコンピュータプログラムであって、前記衝突防止システムのコンピュータに、
前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出するステップと、
前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定するステップと
を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、障害物または人物との衝突を防止する衝突防止システムに関する。
【背景技術】
【０００２】
車の進行方向に向けて取り付けたカメラを利用した車載センシングが知られている。このセンシングによれば、車の進行方向に存在する障害物または人物（以下、「被写体」と称する場合がある。）が撮影画像を解析することによって検出される。例えば、障害物とは、走行中または停止中の車およびバイクである。一方で、ミリ波レーダーを用いた車載センシングが知られている。ミリ波レーダーによって物体間の距離が計測される。カメラを利用した車載センシングには、ミリ波レーダーによる車載センシングでは得られない効果がある。例えば、被写体の形状を認識することが容易であり、被写体の形状から車や人物を認識することができる。
【０００３】
被写体までの距離情報は、画像中の被写体の大きさと、画像中の被写体に対応した画素の位置情報とを用いて取得する方法が知られている。カメラの正面に位置する被写体にカメラが近づくと、画像中の被写体のサイズが大きくなるだけでなく、被写体の位置が画像の中央から下方にずれる。この画素の位置情報（画素のずれ量）を画像中の被写体の大きさを示す情報と併せて用いることにより、被写体までの距離を精度よく測定することができる。運転者への警告装置（例えば、ブザー）、またはブレーキ制御システム等に被写体までの距離情報を送信することによって、障害物との衝突を回避することができる。
【０００４】
特許文献１は、ステレオカメラを備えた物体検出装置を開示している。この物体検出装置では、ステレオカメラにより物体を撮像して左右の画像が取得される。この左右の画像から物体の特徴点を取得して、特徴点に基づいて物体の位置が検出される。この特徴点は、画像中の横エッジおよび非横エッジから取得される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２５０６４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した従来の技術では、障害物または人物を検出する精度のさらなる向上が求められていた。本願の、限定的ではない例示的なある実施形態は、障害物または人物を検出する精度を向上させることが可能な衝突防止システムを提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一態様は、障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止システムであって、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置と、前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出して、前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定する信号処理部とを備えた、衝突防止システムを含む。
【０００８】
上述の一般的かつ特定の態様は、方法およびコンピュータプログラムを用いて実装され、または方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
【発明の効果】
【０００９】
本発明の一態様にかかる衝突防止システムによれば、単一のカメラを用いて、より精度よく障害物または人物を検出することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１による衝突防止システム１００の構成図である。
【図２】（ａ）は、光学素子Ｌ２ａを被写体側から見た正面図であり、（ｂ）は、光学素子Ｌ２ｂを被写体側から見た正面図である。
【図３】光学素子Ｌ２ａおよびＬ２ｂを重ねた状態で被写体側から見たときの光学素子Ｌ２の正面図である。
【図４】アレイ状光学素子Ｋの斜視図である。
【図５】（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。
【図６】実施の形態１による衝突防止システム１００の動作の一例を示すフローチャートである。
【図７】（ａ）および（ｂ）は、実施の形態１の他の変形例による撮像素子Ｎの撮像面Ｎｉ上に形成されたアレイ状光学素子の断面図である。
【図８】実施の形態２による衝突防止システム２００の構成図である。
【図９】実施の形態１の変形例によるアレイ状光学素子Ｋの斜視図である。
【発明を実施するための形態】
【００１１】
本願発明者は、従来の衝突防止システムの構成を詳細に検討し、以下に示すような問題を見出した。
【００１２】
車載センシングにおいてはカラー画像を取得してそれを解析することができる。その場合、モノクロ画像を解析する場合と比べて、前方車両のブレーキランプ、道路標識および信号などをより精度よく認識できる。また、色情報を用いて人物をより精度よく認識できる。しかしながら、カラー画像を取得するカメラを用いた撮影では、夜間になると画像の輝度、色情報が減少してしまう。その結果、被写体の検知、認識精度、および被写体までの距離を測定する精度が著しく低下してしまうという問題があった。
【００１３】
一方、近赤外光を車の進行方向に照射し、夜間に見えにくい歩行者、車、道路などを近赤外光カメラにより撮影して近赤外画像を取得することが実用化されている。これによれば、夜間においても、例えば、カメラから１００ｍ以上離れた人物を検知できる。衣服は近赤外波長に対して比較的高い反射率を有するので、遠距離であっても人物を検知することができる。可視光から赤外光までの波長スペクトルを有するハロゲンライトが車のヘッドライトとして従来から広く用いられている。可視光をカットするフィルタ、または赤外光だけを透過させるフィルタをヘッドライトの一部に設ける。これにより、ヘッドライトの一部は近赤外光を照射する照明として機能する。または、専用の近赤外ＬＥＤをヘッドライトとして車のフロント部分に別途設置することができる。
【００１４】
このように、従来の車載センシングにおいては、昼夜での衝突防止を行うために、カラー画像を取得するカメラと、近赤外画像を取得するカメラとが別々に独立して設ける必要があった。この結果、衝突防止システムの規模が増大してしまう問題があった。
【００１５】
また、カメラを利用した車載センシングでは、車を取り巻く周辺環境が大きく変化することが頻繁に起こり得る。例えば、西日や直射日光によってカメラに強い光が入射する。または、トンネルの出口や逆光下など急激に明るさが変化する環境では、画像中の画素が飽和してしまう可能性が高くなり、障害物の検知ができなくなってしまう。従来の衝突防止システムは、撮影環境に対して高いロバスト性を有しているとは言い難い。
【００１６】
このような従来技術の課題に鑑み、本願発明者は、新規な構成を有する衝突防止システムに想到した。本発明の一態様の概要は以下のとおりである。
【００１７】
本発明の一態様である衝突防止システムは、障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止システムであって、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置と、前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出して、前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定する信号処理部と、を備える。
【００１８】
ある態様において、前記複数の画像信号は、近赤外光の情報を有する複数の第１の画像信号および可視光の情報を有する複数の第２の画像信号を含み、前記信号処理部は、前記複数の第１の画像信号からいずれか１つの第３の画像信号を選択し、第２の画像信号からいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出してもよい。
【００１９】
ある態様において、前記複数の画像信号は、近赤外光の情報を有する複数の第１の画像信号および可視光の情報を有する複数の第２の画像信号を含み、前記信号処理部は、前記複数の第１の画像信号を合成して第３の画像信号を生成し、前記複数の第２の画像信号を合成して第４の画像信号を生成し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出してもよい。
【００２０】
ある態様において、前記少なくとも２つの光学領域は、第１の透過率特性および近赤外光を透過させて可視光を透過させない第１の分光特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性および前記第１の分光特性を有する第２の光学領域、前記第２の透過率特性および前記可視光を透過させて前記近赤外光を透過させない第２の分光特性を有する第３の光学領域、ならびに前記第１の透過率特性および前記第２の分光特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号および前記第２の撮像領域から取得された第６の画像信号のいずれか１つの第３の画像信号を選択し、前記第３の撮像領域から取得された第７の画像信号および前記第４の撮像領域から取得された第８の画像信号のいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出してもよい。
【００２１】
ある態様において、前記少なくとも２つの光学領域は、第１の透過率特性および近赤外光を透過させて可視光を透過させない第１の分光特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性および前記第１の分光特性を有する第２の光学領域、前記第２の透過率特性および前記可視光を透過させて前記近赤外光を透過させない第２の分光特性を有する第３の光学領域、ならびに前記第１の透過率特性および前記第２の分光特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号および前記第２の撮像領域から取得された第６の画像信号を合成して第３の画像信号を生成し、前記第３の撮像領域から取得された第７の画像信号および前記第４の撮像領域から取得された第８の画像信号を合成して第４の画像信号を生成し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出してもよい。
【００２２】
ある態様において、前記少なくとも２つの光学領域は、第１の偏光軸の方向に振動する光を透過させる第１の偏光特性および近赤外光を透過させて可視光を透過させない第１の分光特性を有する第１の光学領域、前記第１の偏光軸の方向とは異なる第２の偏光軸の方向に振動する光を透過させる第２の偏光特性および前記第１の分光特性を有する第２の光学領域、前記第２の偏光特性および前記可視光を透過させて前記近赤外光を透過させない第２の分光特性を有する第３の光学領域、ならびに前記第１の偏光特性および前記第２の分光特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記信号処理部は、前記第１の撮像領域から取得された第５の画像信号または前記第２の撮像領域から取得された第６の画像信号のいずれか１つの第３の画像信号を選択し、前記第３の撮像領域から取得された第７の画像信号または前記第４の撮像領域から取得された第８の画像信号のいずれか１つの第４の画像信号を選択し、前記第３および／または第４の画像信号に基づいて前記距離情報を算出してもよい。
【００２３】
ある態様において、前記第３および第４の撮像領域では、赤色の光を透過させる第１のフィルタを有する第１の画素と、緑色の光を透過させる第２のフィルタを有する第２の画素と、青色の光を透過させる第３のフィルタを有する第３の画素とがベイヤー配列されていてもよい。
【００２４】
ある態様において、前記第３および第４の撮像領域は、赤色の光を透過させる第１のフィルタを有する第１の画素から形成されていてもよい。
【００２５】
ある態様において、前記距離情報に応じて、前記障害物または人物に衝突する危険性があることを運転者に警告する警告装置をさらに備えていてもよい。
【００２６】
ある態様において、速度を減速させるように前記距離情報に応じてブレーキを制御するブレーキ制御部をさらに備えていてもよい。
【００２７】
本発明の他の一態様である衝突防止システムは、障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止システムであって、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する第１および第２の撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から得られる複数の画像信号を出力する第１および第２の撮像装置と、前記第１の撮像装置から出力される前記複数の画像信号の少なくとも１つの画像信号と、前記第２の撮像装置から出力される前記複数の画像信号の少なくとも１つの画像信号とから得られる視差量を用いて、前記撮像装置と前記障害物または人物との間の距離情報を算出する信号処理部とを備える。
【００２８】
本発明の他の一態様である方法は、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置を用いて障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止方法であって、前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出するステップと、前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定するステップとを包含する。
【００２９】
本発明の他の一態様であるコンピュータプログラムは、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置を用いて障害物または人物を撮影した画像を解析することによって、前記障害物または人物との衝突を防止する衝突防止システムにおいて用いられるコンピュータプログラムであって、前記衝突防止システムのコンピュータに、前記複数の画像信号の少なくとも１つの画像信号に基づいて、前記画像に含まれる前記障害物または人物を検出し、前記撮像装置と前記障害物または人物との間の距離情報を算出するステップと、前記距離情報に基づいて前記障害物または人物に衝突する危険性を判定するステップとを実行させる。
【００３０】
上記態様による衝突防止システムによれば、光学領域の光学特性を様々に設定することにより、単一の撮像装置を用いて、例えば、互いに露光量が異なる複数のカラー画像および互いに露光量が異なる複数の近赤外画像を同時に取得できる。これらの画像を用いてハイダイナミックレンジ（以降、「ＨＤＲ」と称する。）の画像を取得できる。ＨＤＲの画像を解析することにより、障害物または人物の検出精度を向上させることができる。また、衝突防止システムの規模およびコストの増大を抑制できる。
【００３１】
以下、図面を参照しながら、本発明による衝突防止システムの実施の形態を説明する。
【００３２】
（実施の形態１）
まず、図１〜７を参照して、本実施の形態による衝突防止システム１００の構成および機能を説明する。
【００３３】
図１は、本実施の形態による衝突防止システム１００の構成図である。衝突防止システム１００は、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、コントローラ１０と、信号処理部２０と、警告装置３０とを備える。衝突防止システム１００は、オプションとして、ブレーキ制御部４０をさらに備えていてもよい。レンズ光学系Ｌと、アレイ状光学素子Ｋと、撮像素子Ｎとによって撮像装置（不図示）が構成される。なお、警告装置３０は、衝突防止システム１００の構成要素でなくてもよく、衝突防止システム１００に接続される外部機器であってもよい。本願明細書では、警告装置３０は、衝突防止システム１００の構成要素の一部であるとして説明する。
【００３４】
撮像素子Ｎは、例えばＣＭＯＳセンサやＣＣＤセンサである。
【００３５】
レンズ光学系Ｌは、レンズＬ１、絞りＳおよび光学素子Ｌ２ａおよびＬ２ｂを含む。被写体（不図示）から入射した光束Ｂの光線方向は、レンズＬ１により屈曲され、絞りＳで不要な光線が排除される。レンズＬ１は、一枚のレンズで構成されていてもよいし、複数枚のレンズ（レンズ群）で構成されていてもよい。光学素子Ｌ２ａおよびＬ２ｂは、絞りＳ近傍に配置される。
【００３６】
図２（ａ）は、光学素子Ｌ２ａを被写体側から見た正面図である。図２（ａ）に示すように絞りＳ近傍に配置している光学素子Ｌ２ａは異なる光学領域Ａ１およびＡ２を有している。光学領域Ａ１およびＡ２は、光軸Ｖに垂直な平面を、光軸Ｖと交わる直線ｌ１によって２分割した領域である。原則として、光学領域Ａ１およびＡ２は、等しい面積を有している。ただし、光学領域Ａ１およびＡ２は異なる面積を有していてもよい。
【００３７】
光学素子Ｌ２ａはガラスを基板として形成される。光学領域Ａ１は光線Ｂを略１００％透過させる第１の透過率特性を有している。透過率略２５％のニュートラルデンシティ（ＮＤ）フィルタが光学領域Ａ２には設けられている。光学領域Ａ２は光線Ｂを略２５％透過させ第２の透過率特性を有している。
【００３８】
図２（ｂ）は、光学素子Ｌ２ｂを被写体側から見た正面図である。図２（ｂ）に示すように、光学素子Ｌ２ｂは異なる光学領域Ｂ１およびＢ２を有している。光学領域Ｂ１およびＢ２は、光軸Ｖに垂直な平面を、光軸Ｖと交わる直線ｌ２によって２分割した領域である。図２（ａ）の直線ｌ１と直線ｌ２とは、光軸Ｖに垂直な平面において、互いに垂直に交わっている。原則として、光学領域Ｂ１およびＢ２は、等しい面積を有している。ただし、光学領域Ｂ１およびＢ２は異なる面積を有していてもよい。
【００３９】
光学素子Ｌ２ｂはガラスを基板として形成される。光学領域Ｂ１には赤外光（ＩＲ）を透過させて、可視光をカットするフィルタが設けられている。領域Ｂ２には可視光を透過させて、ＩＲをカットするフィルタが設けられている。
【００４０】
図３は、光学素子Ｌ２ａおよびＬ２ｂを重ねた状態で被写体側から見たときの光学素子Ｌ２の正面図である。光学素子Ｌ２ａおよびＬ２ｂを重ねることにより、異なる光学特性を有する光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４が形成される。光学領域Ｄ１は、第１の透過率特性（透過率１００％）および近赤外光を透過させて可視光を透過させない第１の分光特性を有する。光学領域Ｄ２は、第２の透過率特性（透過率２５％）および第１の分光特性を有する。光学領域Ｄ３は、第１の透過率特性および可視光を透過させて近赤外光を透過させない第２の分光特性を有する。光学領域Ｄ４は、第２の透過率特性および２第２の分光特性を有する。
【００４１】
光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４において、光の透過率は、それぞれ、１００％、２５％、２５％、および１００％である。すなわち、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の透過率の比は、４：１：１：４である。なお、本発明はこれに限定されず、例えば、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の透過率の比は、１６：１：１：１６であってもよい。
【００４２】
図４は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ２が格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は曲面であり、それぞれの光学要素Ｍ２は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ２はマイクロレンズであり、アレイ状光学素子Ｋは、マイクロレンズアレイとなっている。
【００４３】
図５（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図５（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、撮像面Ｎｉ上の画素ＰにはマイクロレンズＭｓが設けられている。
【００４４】
また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側を向くように配置されている。１つのマイクロレンズＭ２は、撮像面Ｎｉ上の画素Ｐ１〜Ｐ４の４つの画素に対応するように構成されている。
【００４５】
撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは、画素Ｐ１、Ｐ２、Ｐ３およびＰ４に区別できる。上述したマイクロレンズＭ２の構成により、図３に示した光学素子Ｌ２上の光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４をそれぞれ通過した光束の大部分は、図５（ｂ）に示すように、撮像面Ｎｉ上の画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達する。図５（ｂ）において、画素Ｐ１Ａ、Ｐ１Ｂ、・・・は、画素Ｐ１に分類され、第１の撮像領域Ｃ１を形成する。画素Ｐ２Ａ、Ｐ２Ｂ、・・・は、画素Ｐ２に分類され、第２の撮像領域Ｃ２を形成する。画素Ｐ３Ａ、Ｐ３Ｂ、・・・は、画素Ｐ３に分類され、第３の撮像領域Ｃ３を形成する。画素Ｐ４Ａ、Ｐ４Ｂ、・・・は、画素Ｐ４に分類され、第４の撮像領域Ｃ４を形成する。
【００４６】
アレイ状光学素子Ｋは、光学領域Ｄ１を通過した光を、光学領域Ｄ１に対応した第１の撮像領域Ｃ１内の画素Ｐ１に入射させ、光学領域Ｄ２を通過した光を、光学領域Ｄ２に対応した第２の撮像領域Ｃ２内の画素Ｐ２に入射させ、光学領域Ｄ３を通過した光を、光学領域Ｄ３に対応した第３の撮像領域Ｃ３内の画素Ｐ３に入射させ、光学領域Ｄ４を通過した光を、光学領域Ｄ４に対応した第４の撮像領域Ｃ４内の画素Ｐ４に入射させる。
【００４７】
画素Ｐ１、画素Ｐ２は、ＩＲを透過させるフィルタが設けられた受光部を有する。画素Ｐ１には光学領域Ｄ１を通過したＩＲ光が入射し、画素Ｐ２には光学領域Ｄ２を通過したＩＲ光が入射する。また、画素Ｐ３、画素Ｐ４は、可視光である赤色（Ｒ）の光、緑色（Ｇ）の光および青色（Ｂ）の光のいずれかを透過させるフィルタが設けられている。同じマイクロレンズＭ２に属する画素Ｐ３、画素Ｐ４には、同じ色のカラーフィルタが設けられている。画素Ｐ３には光学領域Ｄ３を通過した赤色の光、緑色の光および青色の光のいずれかが入射し、画素Ｐ４には光学領域Ｄ４を通過した赤色の光、緑色の光および青色の光のいずれかが入射する。
【００４８】
図５（ｂ）に示すとおり、撮像領域Ｃ３およびＣ４では、赤色の光を透過させるフィルタを有する画素と、緑色の光を透過させるフィルタを有する画素と、青色の光を透過させるフィルタを有する画素とがベイヤー配列されている。
【００４９】
撮像素子Ｎは、撮像領域Ｃ１に入射した光の量に応じて第１の画像信号Ｉ１を生成し、第２の撮像領域Ｃ２に入射した光の量に応じて第２の画像信号Ｉ２を生成し、撮像領域Ｃ３に入射した光の量に応じて第３の画像信号Ｉ３を生成し、撮像領域Ｃ４に入射した光の量に応じて第４の画像信号Ｉ４を生成する。撮像素子Ｎは、生成した各画像信号を後段の信号処理部２０に出力する。なお、撮像素子Ｎから出力される画像信号はＲＡＷデータに限らず、輝度および色差データであってもよい。
【００５０】
なお、光学領域を４分割にする例を示したが、光学領域は、２分割または８分割にされていてもよい。光学領域の構造は、設計仕様等を考慮して適宜決定することができる。
【００５１】
コントローラ１０は、衝突防止システム１００全体を制御する。コントローラ１０は、半導体素子などにより構成される。コントローラ１０は、典型的にはマイクロコンピュータによって実現される。コントローラ１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
【００５２】
信号処理部２０は、半導体素子などにより構成される。信号処理部２０は、典型的にはイメージシグナルプロセッサ（ＩＳＰ）によって実現され得る。信号処理部２０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
【００５３】
なお、本実施の形態では、信号処理部２０とコントローラ１０とは、それぞれ独立した回路として、衝突防止システム１００内に実装される例を示すが、本発明はこれに限定されない。例えば、信号処理部２０およびコントローラ１０の機能が、１チップの集積回路に実装されていても構わない。例えば、この集積回路は、汎用のプロセッサによって実現され得る。プロセッサ内部のメモリに、各構成要素の機能を発揮するコンピュータプログラムが実装されており、プロセッサが逐次コンピュータプログラムを実行することにより、各構成要素の機能が実現されてもよい。
【００５４】
例えば、撮像装置、コントローラ１０および信号処理部２０は、衝突防止装置として一体的に形成されていてもよい。または、信号処理部２０は、車内のカーナビゲーションシステム（不図示）の装置内に設けられていてもよい。この場合、撮像装置とカーナビゲーションシステムとの間で、有線または無線の通信が双方向で行われる。または、信号処理部２０の機能がスマートフォン（不図示）に実装されており、撮像装置とスマートフォンとの間で、有線または無線の通信が双方向で行われ得る。スマートフォンは警告装置として機能し、スマートフォンの画面上に警告が表示されてもよい。
【００５５】
上述したように、画素Ｐ３および画素Ｐ４には、Ｒ、ＧおよびＢの色情報が混在している。また、撮像領域Ｃ３およびＣ４をそれぞれ構成し、Ｒ、ＧおよびＢの各フィルタを有する各画素はベイヤー配列されている。信号処理部２０は、公知の色補間手法を用いて（デモザイク処理により）、第３および第４の画像信号からカラー画像をそれぞれ生成する。
【００５６】
このように、光学素子Ｌ２の光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性は互いに異なっているので、衝突防止システム１００は、異なる光学特性を示す光の情報を有する４つの画像信号を撮像素子Ｎから同時に取得することができる。具体的には、露光量が互いに異なるカラー画像および露光量が互いに異なる近赤外画像の４つの画像を、画素単位で互いにずれのない画像として取得できる。
【００５７】
信号処理部２０は、撮像素子Ｎから出力される複数の画像信号の少なくとも１つの画像信号に基づいて、画像に含まれる障害物または人物を検出し、撮像装置と障害物または人物との間の距離情報を算出する。信号処理部２０は、距離情報に基づいて障害物または人物に衝突する危険性を判定する。具体的には、信号処理部２０は、画素の位置情報および被写体の大きさを示す情報を用いて撮像装置から障害物までの距離情報を算出する。
【００５８】
まず、ＨＤＲの画像を解析して被写体までの距離情報を算出する例を説明する。
【００５９】
信号処理部２０は、第１および第２の画像信号を合成して近赤外光の情報を有する合成画像信号を生成し、第３および第４の画像信号を合成して可視光の情報を有する合成画像信号を生成してもよい。信号処理部２０は、近赤外光の情報を有する合成画像信号および／または可視光の情報を有する合成画像信号に基づいて距離情報を算出することができる。
【００６０】
例えば、信号処理部２０は、露光量が互いに異なるカラー画像を示す第３の画像信号および第４の画像信号のそれぞれの輝度信号を合成することにより、ＨＤＲの画像情報を生成することができる。画像の合成には、ＨＤＲに関する公知の技術を広く用いることができる。その結果、白飛びや黒潰れが抑制され、適切な輝度情報を有した合成画像情報が得られる。つまり、衝突防止システム１００では、可視光に対してＨＤＲ撮影を行うことが可能となる。
【００６１】
また、近赤外画像については、対向車に搭載された近赤外照明などにより、画像が飽和することがあり得る。このような場合、信号処理部２０は、露光の互いに異なる近赤外画像を示す第１の画像信号および第２の画像信号のそれぞれの輝度信号を合成することにより、ＨＤＲの画像情報を生成することができる。その結果、カラー画像と同様に、白飛びや黒潰れが抑制され、適切な輝度情報を有した合成画像情報が得られる。つまり、衝突防止システム１００では、近赤外光に対してもＨＤＲ撮影を行うことが可能となる。
【００６２】
後述する、遠距離にある被写体を認識するときは、信号処理部２０は、近赤外光の情報を有する合成画像信号および可視光の情報を有する合成画像信号に基づいて距離情報を算出することが好ましい。
【００６３】
次に、取得された画像から条件に合った画像を選択して、その選択画像を解析することにより被写体までの距離情報を算出する例を説明する。
【００６４】
信号処理部２０は、第１または第２の画像信号のいずれか１つの画像信号を選択し、第３または第４の画像信号のいずれか１つの画像信号を選択してもよい。信号処理部２０は、選択した両方の画像信号または一方の画像信号に基づいて距離情報を算出することができる。
【００６５】
例えば、信号処理部２０は、露光量が互いに異なるカラー画像を示す第３の画像信号または第４の画像信号のいずれかの画像信号を選択する。選択に用いる条件を、例えば、画像中の全画素数に対する所定の条件を満たす画素の数の比率とすることができる。画素値を１２ビットで表すと、所定の条件とは、例えば、画素値が下限値２００から上限値３０００の範囲にあることである。第４の画像信号から構成される画像に白飛びがより多く発生しているような場合、信号処理部２０は、第３の画像信号を選択画像信号として選択すればよい。
【００６６】
また、近赤外画像については、対向車に搭載された近赤外照明などにより、画像が飽和することがあり得る。このような場合においても、信号処理部２０は、露光の互いに異なる近赤外画像を示す第１の画像信号または第２の画像信号のいずれか１つを選択画像として選択すればよい。第１の画像信号から構成される画像に白飛びが発生しているような場合、信号処理部２０は、第２の画像信号を選択画像信号として選択すればよい。
【００６７】
警告装置３０は、例えば、警告メッセージを表示するモニターおよび／または警告音を発するスピーカから構成され得る。警告装置３０は、距離情報に応じて、障害物または人物に衝突する危険性があることを運転者に警告する。
【００６８】
上述したように、衝突防止システム１００は、オプションとして、ブレーキ制御部４０を備えていてもよい。この場合、ブレーキ制御部４０は、速度を減速させるように距離情報に応じてブレーキを制御する。これにより、速度を減速させるためにブレーキを自動制御することが可能となり、障害物との衝突を回避することができる。
【００６９】
本実施の形態の衝突防止システム１００によれば、カラー画像と近赤外画像とは、光学系が共用化されているので、各画像の倍率は同一となり、視差ずれ、画素ずれなく各画像を取得できる。その際に、カラー画像と近赤外画像とにおいて、被写体のサイズ合わせ、位置合わせの補正を行わなくてもよい。従って、同じアルゴリズムを用いて障害物の距離を演算することができる。特に、遠距離にある被写体を認識するときは、カラー画像と近赤外画像とを厳格に合わせ込むことが求められる。このような場合においても、厳格な合わせ込みをしなくてもよい。
【００７０】
従来、近赤外光は障害物のセンシングに用いるだけでなく、例えば、車に搭載されたディスプレイに人物や車などの近赤外画像を表示し、運転者に視覚的に注意を促すことがなされている。しかしながら、近赤外画像はモノクロであり、目視での視認性が悪かった。
【００７１】
夜間であっても、道路環境において可視光を検知できない状況はまれである。車のテールランプは赤く点灯しており、道路標識および信号は夜間でも明るく表示されている。このため、カラー画像と近赤外画像とをディスプレイに重ねて表示すれば、視認性を向上させることができる。これにより、運転者は視覚的に容易に障害物を認識することができる。また、これ以外に、夜間のテールランプ、道路標識、信号を認識するときにカラー画像を利用することが有利であることは言うまでもない。
【００７２】
また、近赤外光を照射して近赤外画像を取得することは昼間実施しても構わない。近赤外光に対する衣服の反射率が高いので、人物を検知して認識する精度を向上させることができる。
【００７３】
本実施の形態の衝突防止システム１００によれば、単体の撮像装置を用いて、互いに光学特性が異なる光の情報を有した画像を当時に取得できる。その結果、システムに搭載するカメラ台数を削減することができる。また、昼夜を問わず、障害物または人物の認識精度が向上する。さらに、ディスプレイ上の表示画像の視認性が向上する。
【００７４】
図６は、本実施の形態による衝突防止システム１００の処理フローの一例を示している。
【００７５】
まず、メモリ（不図示）に保持していた、最新よりも以前に取得したフレーム画像（参照画像）を読み出す（ステップＳ１１）。
【００７６】
次に、信号処理部２０は、撮像装置から最新の画像信号を取得する（ステップＳ１２）。
【００７７】
次に、信号処理部２０は、取得した画像信号から画像中の被写体を認識し、その大きさを検出する。例えば、信号処理部２０は、車のタイヤ形状、およびテールの４隅の形状を認識して、障害物が車であることを認識する。信号処理部２０は、車および人物の形状に関するバックデータからパターンマッチング用のテンプレートを作成する。信号処理部２０は、そのテンプレートを用いて車および人物を認識し、その大きさを検出する（ステップＳ１３）。なお、上記の説明は一例であり、障害物および人物の検出には、公知の方法を広く用いることができる。
【００７８】
次に、信号処理部２０は、障害物が位置する画像中の画素位置を抽出する（ステップＳ１４）。
【００７９】
次に、信号処理部２０は、物体間の距離について予めキャリブレーションをしている基準画素と障害物の画素位置との関係および障害物の大きさの情報から撮像装置から障害物までの距離情報を算出する（ステップＳ１５）。
【００８０】
次に、信号処理部２０は、算出した距離情報に基づいて障害物に衝突する危険性を判定する（ステップＳ１６）。信号処理部２０は、衝突する危険性があると判定した場合、その判定結果を警告装置３０に送信する。警告装置３０は、衝突する危険性があることを運転者に警告する。または、ブレーキ制御部４０は、速度を減速させるように距離情報に応じてブレーキを制御してもよい。この結果、障害物との衝突が回避される（ステップＳ１６のＹｅｓ）。
【００８１】
信号処理部２０は、衝突する危険性がないと判定した場合、最新のフレーム画像をメモリ内に書き込み、メモリ内の参照画像を更新する（ステップＳ１６のＮｏ）。
【００８２】
このように、昼夜を問わず、カラー画像情報と近赤外画像情報を撮像装置から同時に得ることで、信頼性の高い障害物検知、危険回避が可能となる。
【００８３】
次に、本実施の形態の変形例を説明する。
【００８４】
上述した実施の形態では、撮像装置はカラー画像と近赤外画像とを取得する。しかしながら、光の波長帯としては別の組み合わせでもよい。例えば、画素Ｐ３およびＰ４に設けられたフィルタは、Ｒ、ＧおよびＢの３つのカラーフィルタでなくてもよく、Ｒのみフィルタであってもよい。車のテールランプ、道路標識および信号など危険を示すものから取得される画像情報は赤色の光の情報を多く含んでいるためである。テールランプに特定波長の光を発するＬＥＤを用いて、この波長を有する光のみを透過させるフィルタを撮像装置に設けてもよい。
【００８５】
また、上述した実施の形態では、絞りＳと、その近傍の光学素子Ｌ２ａおよびＬ２ｂとは、レンズ光学系Ｌと撮像素子Ｎとの間に配置されている。絞りＳは、レンズ間に配置されていてもよく、絞りＳの位置は特に限定されるものではない。光学素子Ｌ２ａおよびＬ２ｂは光学系Ｌ内に両方配置されていていなくてもよい。光学素子Ｌ２ａおよびＬ２ｂの一方のみが配置されていても構わない。
【００８６】
また、上述した実施の形態では、光学素子Ｌ２ａおよびＬ２ｂをそれぞれ２分割し、それらを重ね合せることによって、光学素子Ｌ２の光学領域を４つに分割する例を示した。本発明は、これに限定されず、例えば、光学素子Ｌ２の光学領域を８分割にしてもよい。特に、光学素子Ｌ２の光学領域を２分割にする場合、マイクロレンズＭ２の代わりにレンチキュラレンズを用いることができる。
【００８７】
図９は、この変形例によるアレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光軸Ｖに垂直な面内で横方向に細長い複数の光学要素Ｍ１が縦方向に配置されている。それぞれの光学要素Ｍ１の断面（縦方向および横方向それぞれの断面）は、撮像素子Ｎ側に突出した円弧状の形状を有している。このように、アレイ状光学素子Ｋはレンチキュラレンズの構成を有している。
【００８８】
また、上述した実施の形態では、光学領域がＮＤフィルタとして機能する例を示した。本発明はこれに限定されず、例えば、ＮＤフィルタを偏光フィルタに交換すれば偏光した光の情報を有する画像を簡単に取得することもできる。偏光フィルタを用いた撮像を行うことによって、自車および前方車両のフロントガラスまたはリアガラスでの不要な映り込み、または濡れた路面での反射光をカットすることができる。また、ＮＤフィルタと偏光フィルタとから光学素子Ｌ２を形成することにより、ＨＤＲの画像および偏光した光の情報を有する画像を同時に取得することができる。
【００８９】
再び、図２（ａ）を参照する。図２（ａ）に示すＮＤフィルタを偏光フィルタに交換する。その場合、光学領域Ａ１は、第１の偏光軸の方向に振動する光を透過させる第１の偏光特性を有する。第１の偏光軸の方向は、例えば、垂直（鉛直）方向である。また、光学領域Ａ２は、第１の偏光軸の方向とは異なる第２の偏光軸の方向に振動する光を透過させる第２の偏光特性を有する。第２の偏光軸の方向は、例えば、第１の偏光軸の方向に直交する方向、つまり水平方向である。本願明細書では、垂直方向に振動する光の偏光を垂直偏光と称し、水平方向に振動する光の偏光を水平偏光と称する。
【００９０】
光学素子Ｌ２は、垂直偏光の光を透過させる第１の偏光特性および近赤外光を透過させて可視光を透過させない第１の分光特性を有する光学領域Ｄ１、水平偏光の光を透過させる第２の偏光特性および第１の分光特性を有する光学領域Ｄ２、第２の偏光特性および可視光を透過させて近赤外光を透過させない第２の分光特性を有する光学領域Ｄ４、ならびに第１の偏光特性および第２の分光特性を有する光学領域Ｄ４を含んでいる。
【００９１】
光学領域Ｄ１を透過した光が撮像領域Ｃ１に入射し、光学領域Ｄ２を透過した光が撮像領域Ｃ２に入射し、光学領域Ｄ３を透過した光が撮像領域Ｃ３に入射し、光学領域Ｄ４を透過した光が撮像領域Ｃ４に入射する。
【００９２】
信号処理部２０は、撮像領域Ｃ１から取得された第１の画像信号または撮像領域Ｃ２から取得された第２の画像信号のいずれか１つの画像信号を選択し、撮像領域Ｃ３から取得された第３の画像信号または撮像領域Ｃ４から取得された第４の画像信号のいずれか１つの画像信号を選択する。このように、互いに偏光特性が異なるカラー画像および互いに偏光特性が異なる近赤外画像を同時に取得することができる。信号処理部２０は、互いに偏光特性が異なるカラー画像から画素が飽和していない一方を選択すればよいし、互いに偏光特性が異なる近赤外画像から画素が飽和していない一方を選択すればよい。その選択の条件は、上述したとおりである。
【００９３】
信号処理部２０は、それぞれ選択した画像信号の一方に基づいて距離情報を算出する。例えば、テールランプを認識するときは、信号処理部２０は、互いに偏光特性が異なるカラー画像から選択した一方に基づいて距離情報を算出すればよい。また、遠距離にある被写体を認識するときは、信号処理部２０は、選択したカラー画像および近赤外画像に基づいて距離情報を算出することができる。
【００９４】
次に、図７（ａ）および（ｂ）を参照しながら、本実施の形態の他の変形例を説明する。
【００９５】
図７（ａ）および（ｂ）は、撮像素子Ｎの撮像面Ｎｉ上に形成されたアレイ状光学素子の断面図である。この変形例は、アレイ状光学素子Ｋ上に形成されたマイクロレンズアレイを撮像素子に形成したという点で、本実施の形態はと異なる。
【００９６】
１つのマイクロレンズＭｄが複数の画素Ｐに対応している。このような構成であっても、本実施の形態と同様に、光学素子Ｌ２ａおよびＬ２ｂ上の異なる光学領域を通過した光束を、それぞれの光学領域に対応した撮像領域（画素）に導くことができる。また、図７（ｂ）に示す例では、マイクロレンズＭｄとマイクロレンズＭｓとが積層された構成である。このような構成にすることにより、図７（ａ）に示す構成と比べて光の集光効率を向上させることができる。特に車載においては種々の要因から振動が発生するので、堅牢な撮像装置が求められる。その場合、この変形例の撮像素子Ｎの構成は特に有用である。
【００９７】
（実施の形態２）
図８を参照しながら、本実施の形態を説明する。
【００９８】
本実施の形態は、実施の形態１による撮像装置を対にしたステレオカメラを用いて衝突防止システムを構築する点において、実施の形態１とは異なる。
【００９９】
図８は、本実施の形態による衝突防止システム２００の構成図である。実施の形態１による衝突防止システムの構成要素と同一のものには同じ参照符号を付している。衝突防止システム１００と共通の構成要素については、詳細な説明は省略する。
【０１００】
衝突防止システム２００は、撮像装置２０１および２０２と、画像信号演算部５０と、警告装置３０とを備えている。撮像装置２０１および２０２は、実施の形態１による撮像装置の構成と同じ構成を有している。なお、衝突防止システム２００は、オプションとして、ブレーキ制御部４０をさらに備えていてもよい。
【０１０１】
撮像装置２０１および２０２は、それぞれの光軸Ｖの間隔を距離Ｄだけ離して衝突防止システム２００内に配置されている。撮像装置２０１および２０２はそれぞれ、互いに露光量が異なる第１および第２の画像信号（カラー画像）と、互いに露光量が異なる第３および第４の画像信号（近赤外画像画像）とを出力する。信号演算部５０は、撮像装置２０１および２０２から出力されたこれらの画像信号を処理する。
【０１０２】
画像信号演算部５０は、三角測量法等を用いて、撮像装置２０１および２０２によって取得された同一波長の光の情報を有する画像信号から構成される画像間のずれ（視差量）を、両者の画像を比較することにより検出する。
【０１０３】
例えば、画像信号演算部５０は、撮像装置２０１から出力された第１の画像信号と撮像装置２０２から出力された第１の画像信号とに基づいて視差量を求め、下記の式１に従って被写体までの距離ｄを演算する。第１の画像信号は、近赤外光を透過させ、光の透過率が１００％である光学領域Ｄ１を通過して得られた光の情報を有している。なお、画像信号演算部５０は、撮像装置２０１から出力された第２の画像信号と撮像装置２０２から出力された第２の画像信号とに基づいて視差量を求めてもよい。画像信号演算部５０は、例えば、画素の飽和が発生していない画像に基づいて処理を行えばよい。
距離：ｄ＝ｌ×ｆ／（ｚ×ｐ）      （式１）
ここで、ｌ（ｍｍ）は、Ｄ方向における基線の長さであり、ｆ（ｍｍ）は、レンズ光学系Ｌの焦点距離であり、ｐ（ｍｍ／画素）は、撮像素子Ｎの画素ピッチであり、ｚ（ｍｍ）は、視差量である。被写体までの距離ｄは、検出した視差量に反比例する。
【０１０４】
画像信号演算部５０で得た各画像の距離情報と各画像の情報を用いて障害物検知を行う。
【０１０５】
画像信号演算部５０は、算出した距離情報および各画像情報に基づいて障害物に衝突する危険性を判定する。画像信号演算部５０は、衝突する危険性があると判定した場合、その判定結果を警告装置３０に送信する。警告装置３０は、衝突する危険性があることを運転者に警告する。または、ブレーキ制御部４０は、速度を減速させるように距離情報に応じてブレーキを制御してもよい。この結果、障害物との衝突が回避される。
【０１０６】
撮像装置２０１のから取得されるカラー画像と近赤外画像とには画素ずれがない。撮像装置２０２についても同様である。従って、ステレオカメラを用いて視差量を抽出する演算では、カラー画像および近赤外画像の演算アルゴリズムを共有化することができる。また、視差量と絶対距離との相関を確保するために実行するキャリブレーションも同時に行うことができる。
【０１０７】
従来、ステレオカメラを昼夜で作動させるためには、２つのカラーカメラと、２つの近赤外カメラとが必要であった。
【０１０８】
本実施の形態によれば、衝突防止システムを２つの撮像装置によって構成できるだけでなく、演算処理、キャリブレーションの簡素化が図れる。また、変動するパラメータ数の削減によりロバスト性の高い衝突防止システムを構築することができる。
【０１０９】
なお、ステレオカメラにおいては近距離の障害物の距離を検知するとき、視差量が大きくなり、その検出精度が高くなる。一方、単一のカメラにおいては、障害物が近づくと、画像中の障害物のサイズ、および画素の位置が短時間で変動してしまう。このため、遠方にある障害物の距離を検知するときには単一のカメラを用いて撮影を行った方がよい。このように、両者は互いに補完し合う関係にある。障害物の距離を検出するときは、単一カメラを用いた撮影とステレオカメラを用いた撮影とを障害物までの距離に応じて切り替えることが好適である。
【０１１０】
本発明の技術はさらに、上述の衝突の危険性を判定する処理を規定するソフトウェア（プログラム）にも適用され得る。そのようなプログラムに規定される動作は、例えば図６に示すとおりである。このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。コンピュータに内蔵されたプロセッサがこのようなプログラムを実行することにより、上記の実施の形態で説明した各種動作を実現することができる。
【産業上の利用可能性】
【０１１１】
本願に開示された衝突防止システムは、自動車、および電車などの乗り物に搭載されるシステムに利用できる。
【符号の説明】
【０１１２】
１０      ：コントローラ
２０      ：信号処理部
３０      ：警告装置
４０      ：ブレーキ制御部
５０      ：画像信号演算部
１００、２００      ：衝突防止システム
２０１，２０１      ：撮像装置
Ｋ        ：アレイ状光学素子
Ｌ        ：レンズ光学系
Ｌ１      ：レンズ
Ｌ２、Ｌ２ａ、Ｌ２ｂ      ：光学素子
Ｍ１、Ｍ２      ：光学要素
Ｍ２Ｉ    ：単位領域
Ｍｓ      ：マイクロレンズ
Ｎ        ：撮像素子
Ｎｉ      ：撮像面
Ｐ        ：画素
Ｓ        ：絞り
Ｖ        ：光軸
【図１】
2015195489.tif 000003
【図２】
2015195489.tif 000004
【図３】
2015195489.tif 000005
【図４】
2015195489.tif 000006
【図５】
2015195489.tif 000007
【図６】
2015195489.tif 000008
【図７】
2015195489.tif 000009
【図８】
2015195489.tif 000010
【図９】
2015195489.tif 000011