(57)【要約】【課題】１台のカメラでドライバの視野における視認性を高めることを可能とする視覚支援装置、及び視覚支援装置に供される視認不可能領域抽出装置を提供する。【解決手段】可視光カットフィルタと近赤外光カットフィルタとが交互に配置されたフィルタを介して被写体を撮像し、該被写体を示す画像データを生成し、生成された前記画像データから、前記可視光カットフィルタを介して取得された赤外光画像データを生成し、前記画像データから、前記近赤外光カットフィルタを介して取得された可視光画像データを生成し、前記可視光画像データと、前記赤外光画像データとから、可視光輝度が第１の閾値未満であって、赤外光輝度が第２の閾値以上である画素を視認不可能領域として抽出する。【選択図】図９
2007263704.tif 000002
【特許請求の範囲】
【請求項１】
可視光カットフィルタと近赤外光カットフィルタとが交互に配置されたフィルタを介して被写体を撮像し、該被写体を示す画像データを生成する撮像手段と、
前記撮像手段により生成された前記画像データから、前記可視光カットフィルタを介して取得された赤外光画像データを生成する赤外光画像データ生成手段と、
前記撮像手段により生成された前記画像データから、前記近赤外光カットフィルタを介して取得された可視光画像データを生成する可視光画像データ生成手段と、
前記可視光画像データ生成手段により生成された可視光画像データと、前記赤外光画像データ生成手段により生成された赤外光画像データとから、可視光輝度が第１の閾値未満であって、赤外光輝度が第２の閾値以上である画素を視認不可能領域として抽出する視認不可能領域抽出手段と、
を有する視認不可能領域抽出装置。
【請求項２】
請求項１に記載の視認不可能領域抽出装置と、
前記視認不可能領域抽出装置によって抽出された視認不可能領域に対応する被写体に可視光を照射する照射手段と、
を有する視覚支援装置。
【請求項３】
前記視認不可能領域抽出装置によって抽出された視認不可能領域内の障害物の検出をする障害物検出手段を更に有し、
前記照射手段は、前記障害物検出手段によって障害物が検出された場合に、可視光を照射する請求項２に記載の視覚支援装置。
【請求項４】
前記可視光照射手段は可視光を所定時間以上照射した後、消灯する請求項２または請求項３に記載の視覚支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視認不可能領域抽出装置及び視覚支援装置に係り、特にドライバが視認できない領域を抽出する視認不可能領域抽出装置、及び視認不可能領域を照射することでドライバの視覚を支援する視覚支援装置に関する。
【背景技術】
【０００２】
従来より、車両を運転するドライバの視覚を支援する様々な装置が提案されている。特許文献１には、照射範囲を予め設定しておき、赤外線を用いて得られた画像に照射範囲を示す境界線を付加して表示する技術が開示されている。また、特許文献２には、赤外線を用いて得られた画像から、予め設定された領域の画像のみを液晶に表示する技術が開示されている。
【０００３】
さらに特許文献３には、可視画像に対応する赤外画像の画素の輝度を低下させることで、目視できない物体の画像のみを選択的に得る技術が開示されている。また、特許文献４には、赤外線カメラで撮影された赤外線画像から、可視光線カメラで撮影された可視光線画像を差し引いた画像がディスプレイに表示される技術が開示されている。
【０００４】
また、特許文献５には、赤外線ステレオカメラと可視光ステレオカメラを用いて障害物を検出し、その障害物が前照灯照射範囲外であれば、その障害物に対して照明する技術が開示されている。
【特許文献１】特開平１１−１４６３８９号公報
【特許文献２】特開２００４−２５４０４４号公報
【特許文献３】特開２００３−１８９２９７号公報
【特許文献４】特開２０００−１９２５９号公報
【特許文献５】特開２０００−３１８５１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１〜４に開示された技術は、いずれもドライバが視認困難なものを液晶などのディスプレイなどに表示するのみであり、実際にドライバの視野における視認性を高めるものではない。
【０００６】
また、特許文献５に開示された技術は、複数台のカメラが必要なため、コスト及び搭載性に関する問題がある。また、複数のカメラのカメラ特性をあわせておかなければならない。
【０００７】
以上のように、従来技術では、１台のカメラでドライバの視野における視認性を高めることができなかった。
【０００８】
本発明は上記問題点に鑑み、１台のカメラでドライバの視野における視認性を高めることを可能とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために請求項１の発明は、可視光カットフィルタと近赤外光カットフィルタとが交互に配置されたフィルタを介して被写体を撮像し、該被写体を示す画像データを生成する撮像手段と、前記撮像手段により生成された前記画像データから、前記可視光カットフィルタを介して取得された赤外光画像データを生成する赤外光画像データ生成手段と、前記撮像手段により生成された前記画像データから、前記近赤外光カットフィルタを介して取得された可視光画像データを生成する可視光画像データ生成手段と、前記可視光画像データ生成手段により生成された可視光画像データと、前記赤外光画像データ生成手段により生成された赤外光画像データとから、可視光輝度が第１の閾値未満であって、赤外光輝度が第２の閾値以上である画素を視認不可能領域として抽出する視認不可能領域抽出手段と、を有する。
【００１０】
ここで、請求項１に記載の発明では、可視光カットフィルタと近赤外光カットフィルタとが交互に配置されたフィルタを介して被写体を撮像し、該被写体を示す画像データを生成し、生成された前記画像データから、前記可視光カットフィルタを介して取得された赤外光画像データを生成し、前記画像データから、前記近赤外光カットフィルタを介して取得された可視光画像データを生成し、前記可視光画像データと、前記赤外光画像データとから、可視光輝度が第１の閾値未満であって、赤外光輝度が第２の閾値以上である画素を視認不可能領域として抽出するので、１台のカメラで、ドライバの視野における視認性を高めることを可能とする視覚支援装置に供される視認不可能領域抽出装置を提供することができる。
【００１１】
また、請求項２の発明は、請求項１に記載の視認不可能領域抽出装置と、前記視認不可能領域抽出装置によって抽出された視認不可能領域に対応する被写体に可視光を照射する照射手段と、を有する。
【００１２】
ここで、請求項２の発明によれば、１台のカメラで、ドライバの視野における視認性を高めることを可能とする視覚支援装置を提供することができる。
【００１３】
請求項３の発明は、前記視認不可能領域抽出装置によって抽出された視認不可能領域内の障害物の検出をする障害物検出手段を更に有し、前記照射手段は、前記障害物検出手段によって障害物が検出された場合に、可視光を照射する。
【００１４】
ここで、請求項３の発明によれば、視認不可能領域に障害物があった場合に可視光を照射することができる。
【００１５】
請求項４の発明は、前記可視光照射手段は可視光を所定時間以上照射した後、消灯する。
【００１６】
ここで、請求項４の発明によれば、刻一刻と変化する走路周辺状況に対応することが可能となる。
【発明の効果】
【００１７】
本発明によれば、１台のカメラでドライバの視野における視認性を高めることを可能とする視覚支援装置、及び視覚支援装置に供される視認不可能領域抽出装置を提供することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００１９】
図１は、本実施の形態に係る視覚支援装置の構成を示す図である。
【００２０】
視覚支援装置１０の撮像部４２は、後述する可視光カットフィルタと近赤外光カットフィルタとが交互に配置されたフィルタを含んで構成された光学ユニット２２と、光学ユニット２２の光軸後方に配設されたＣＣＤイメージセンサ（以下、「ＣＣＤ」という。）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部２６と、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部３０と、を含んで構成されている。なお、撮像部４２は、ＣＭＯＳカメラであっても良い。
【００２１】
なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力された画像データをメモリ４８の所定領域に直接記憶させる制御も行う。
【００２２】
ＣＣＤ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＣＤ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタルデータである画像データに変換された後にデジタル信号処理部３０に入力される。
【００２３】
以上説明したように、撮像部４２は、可視光カットフィルタと近赤外光カットフィルタとが交互に配置されたフィルタを介して被写体を撮像し、その被写体を示す画像データを生成するようになっている。
【００２４】
一方、視覚支援装置１０は、視覚支援装置１０全体の動作を司るＣＰＵ（中央処理装置）４０と、撮影により得られたデジタル画像データ等を記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行うメモリインタフェース４６と、可視光ライト３８と、を含んで構成されている。
【００２５】
なお、本実施の形態の視覚支援装置１０では、メモリ４８としてＶＲＡＭ（Video RAM）並びにＲＯＭが用いられている。ＲＯＭには、ＯＳや後述するプログラムが記憶されている。
【００２６】
デジタル信号処理部３０、ＣＰＵ４０、及びメモリインタフェース４６はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０の作動の制御、メモリ４８へのメモリインタフェース４６を介したアクセスを各々行うことができる。メモリ４８へアクセスすることにより、画像データから可視光カットフィルタを介して取得された赤外光画像データを生成したり、画像データから、近赤外光カットフィルタを介して取得された可視光画像データを生成する。また、ＣＰＵ４０は、後述するように可視光ライト３８の制御も行う。
【００２７】
なお、本実施の形態における視認不可能領域とは、可視光画像データと、赤外光画像データとから、可視光輝度が第１の閾値未満であって、赤外光輝度が第２の閾値以上である画素を示している。具体的には、ドライバには見えないが、近赤外光で視認できるものが存在する領域が視認不可能領域である。なお、上記第１、２の閾値などの詳細は後述する。
【００２８】
次に、図２を用いて、フィルタについて説明する。本実施の形態で用いるフィルタは、図２に示されるように、可視光カットフィルタ５０と近赤外光カットフィルタ５２とが交互に配置されたフィルタである。そして、各カットフィルタはそれぞれ１画素に対応している。この場合、近赤外光カットフィルタ５２から得られる画像データは、可視光カットフィルタ５０に対応する画素の部分が抜けた画像データとなるが、抜けているデータは、周辺、例えば縦横に隣接する画素データから線形補完などで得ることができる。可視光カットフィルタ５０から得られる画像データも同様にして抜けているデータを補完する。
【００２９】
このように、可視光カットフィルタと近赤外光カットフィルタとが交互に配置されたフィルタを用いることで、時間ずれを生じることなく、同一の視野角を持つ可視光画像と赤外光画像を取得することができる。また、同一の視野角を持つために、画像間の画素対応も容易となる。
【００３０】
次に、図３を用いて可視光ライト３８について説明する。可視光ライト３８は、図３に示されるように、前照灯用ＬＥＤ５８と共に配置されるＬＥＤである。図では分かりやすくするために、前照灯用ＬＥＤ５８を円形で表わし、可視光ライト３８を矩形で表わしているが、普通は円形である。
【００３１】
前照灯用ＬＥＤ５８は、ドライバがスイッチなどで指示すると点灯する通常の前照灯である。可視光ライト３８は、後述する視認不可能領域に対応する被写体を照射するライトである。複数の可視光ライト３８は、それぞれ照射する領域が被写体を撮像して生成された画像データが示す画像の領域に対応して予め定められている。具体的に例えば被写体の最も右側に視認不可能領域がある場合、最も右側に配置された可視光ライト３８が被写体を照射するようになっている。あるいは、可視光ライト３８の構成として、複数のＬＥＤ群を機械的に動かすような構成としても良い。例えば、ＬＥＤ群の後方にアクチュエータなどの駆動部を設けると、任意の照射方向にライトを制御することが可能となる。
【００３２】
このように可視光ライト３８を配置することで、可視光ライト３８は、視認不可能領域に対応する被写体を照射することができる。
【００３３】
次に、上述した構成で実行される２つの実施形態について説明する。第１の実施形態は、視認不可能領域に対応する被写体を可視光ライト３８が照射する形態であり、第２の実施形態は、視認不可能領域に障害物を検出した場合に視認不可能領域に対応する被写体を可視光ライト３８が照射する形態である。
［第１の実施形態］
図４は、第１の実施形態における視覚支援装置１０のプログラム構成を示す図である。視覚支援装置１０には、画像生成部６２と、領域抽出部６４と、可視光ライト制御部６６とが搭載される。
【００３４】
画像生成部６２は、撮像部４２により生成された画像データから、可視光カットフィルタを介して取得された赤外光画像データを生成したり、撮像部４２により生成された画像データから、近赤外光カットフィルタを介して取得された可視光画像データを生成する。
【００３５】
領域抽出部６４は、可視光画像データと、赤外光画像データとから、可視光輝度が第１の閾値未満であって、赤外光輝度が第２の閾値以上である画素を視認不可能領域として抽出する。
【００３６】
可視光ライト制御部６６は、視認不可能領域に対応する可視光ライト３８を照射させたり、可視光ライト３８の消灯など、可視光ライト３８の制御を行う。なお、可視光ライト３８の消灯とは、可視光を所定時間以上照射した後、消灯することを意味する。視認不可能領域に可視光を照射した場合、照射されている領域は視認不可能領域として検出されなくなるが、走路周辺状況は刻一刻と変化するため、照射している領域がそのまま視認不可能領域であるとは限らない。従って、可視光ライト３８を一時的に消灯することにより、照射していた領域が視認不可能領域であるかどうか判断することができる。
【００３７】
次に、図５を用いて、ＣＰＵ４０により実行される視覚支援処理について説明する。なお、以下の説明では、赤外光画像データ及び可視光画像データを、それぞれ単に赤外画像、可視画像と表現する。
【００３８】
ステップ１０１で、画像生成部６２は、可視画像及び赤外画像を生成する。次に、ステップ１０２で、領域抽出部６４は、視認不可能領域を抽出する領域抽出処理を行う。この領域抽出処理の詳細は後述する。
【００３９】
ステップ１０３で、可視光ライト制御部６６は、領域抽出部６４によって抽出された視認不可能領域に対応する被写体に可視光を照射するように可視光ライト３８を制御する。
【００４０】
次のステップ１０４で、照射タイマがセットされる。この照射タイマとは、上述した消灯するまでの時間を計測するタイマである。ステップ１０５で、タイムアウトと判定されると、ステップ１０６で、可視光ライト制御部６６は、可視光ライト３８を消灯する。
【００４１】
次のステップ１０７で、消灯タイマがセットされる。この消灯タイマとは、上述した消灯の時間を計測するタイマである。ステップ１０８で、タイムアウトと判定されると、再びステップ１０１の処理が行われる。
【００４２】
以上説明した処理は、前照灯が消灯されるまで実行される。次に、上記ステップ１０２の領域抽出処理を、図６のフローチャートを用いて説明する。なお、このフローチャートでは、画像データの画素の数をＭとしている。
【００４３】
ステップ２０１で、領域抽出部６４は、画素数をカウントするカウンタｋを初期化する。ステップ２０２で、領域抽出部６４は、画素Ｄ（ｋ）における可視光輝度Ｖを算出する。次のステップ２０３で、領域抽出部６４は、ＶがＴｖ以上かどうか判断する。このＴｖは、第１の閾値であり、その画素Ｄ（ｋ）が示す領域が、ドライバが視認可能な明るさであるかどうかを判断するための閾値である。
【００４４】
ステップ２０３で、肯定判断されると、その画素は、ドライバが視認可能であることを示しているので、ステップ２０４で、領域抽出部６４は、Ｄ（ｋ）を視認可能領域とする。
【００４５】
ステップ２０３で、否定判断（ＶがＴｖ未満）された場合、次のステップ２０５で、領域抽出部６４は、画素Ｄ（ｋ）における赤外光輝度Ｉｒを算出する。そして、次のステップ２０６で、領域抽出部６４は、ＩｒがＴｉ以上かどうか判断する。このＴｉは、第２の閾値であり、その画素Ｄ（ｋ）が示す領域が近赤外光で視認可能かどうかを判断するための閾値である。
【００４６】
ステップ２０６で、否定判断されると、その画素は、近赤外光で視認不可能で、かつドライバも視認不可能であることを示しているので、ステップ２０７で、領域抽出部６４は、Ｄ（ｋ）を不可視領域とする。
【００４７】
ステップ２０６で、肯定判断されると、その画素は、近赤外光で視認可能で、かつドライバが視認不可能であることを示しているので、ステップ２０８で、領域抽出部６４は、Ｄ（ｋ）を視認不可能領域とする。このように、視認不可能領域は、ドライバには見えないが、近赤外光で視認できるものが存在する領域である。
【００４８】
次に、ステップ２０９でｋを１つ増分する。そして、ステップ２１０で、ｋ＜Ｍかどうか判断する。この判断は、全ての画素に対して領域を定める処理を実行したかどうかの判断である。肯定判断の場合は、まだ領域を定めていない画素が存在するため、再びステップ２０２の処理が実行される。否定判断の場合は、全ての画素に対して領域を定めたことを示しているので処理は終了する。
【００４９】
以上のように領域抽出部６４は、画素毎に視認可能領域、不可視領域、視認不可能領域を定めることにより、視認不可能領域を抽出する。このように抽出された視認不可能領域に対して、可視光ライト３８は可視光を照射する（図５、ステップ１０６参照）。
【００５０】
また、視認可能領域と判断される領域として、何らかの発光体自身を示す領域や、その発光体により照射されている領域がある。従って、対向車や自転車の前照灯を示す領域も視認領域であり、この領域は視認不可能領域とはならないので、対向車や自転車の運転者に可視光ライトが照射されることを自動的に防ぐことができる。
［第２の実施形態］
次に、第２の実施形態について説明する。第２の実施形態は、上述したように、視認不可能領域に障害物を検出した場合に可視光を照射する形態である。以下の説明において、第１の実施形態で説明した符号についての説明は省略する。
【００５１】
図７は、第２の実施形態における視覚支援装置１０のプログラム構成を示す図である。視覚支援装置１０には、画像生成部６２と、領域抽出部６４と、障害物検出部６８と、可視光ライト制御部６６とが搭載される。
【００５２】
障害物検出部６８は、領域抽出部６４で抽出された視認不可能領域内の障害物の検出をする。ここで、障害物とは、単なる物体の他に、人や動物を含むものである。この障害物の検出は、従来より用いられているパターン認識などを用いて行うことができる。
【００５３】
次に、図８を用いて、ＣＰＵ４０により実行される視覚支援処理について説明する。
【００５４】
ステップ３０１で、画像生成部６２は、可視画像及び赤外画像を生成する。次に、ステップ３０２で、領域抽出部６４は視認不可能領域を抽出する。この領域抽出処理は、図６で説明した通りである。
【００５５】
次のステップ３０３で、障害物検出部６８は、領域抽出部６４で抽出された視認不可能領域内の障害物の検出をする。そして、ステップ３０４で、障害物検出部６８は、障害物を検出したかどうか判断する。否定判断の場合、障害物が検出されなかったことを示しているので、可視光ライト３８を照射せず、再びステップ３０１の処理が行われる。
【００５６】
肯定判断の場合、ステップ３０５で、可視光ライト制御部６６は、上記ステップ３０３で検出された障害物に可視光を照射するように可視光ライト３８を制御する。
【００５７】
次のステップ３０６で、照射タイマがセットされる。この照射タイマとは、図５で説明した照射タイマと同じものである。ステップ３０７で、タイムアウトと判定されると、ステップ３０８で、可視光ライト制御部６６は可視光ライト３８を消灯する。
【００５８】
次のステップ３０９で、消灯タイマがセットされる。この消灯タイマとは、図５で説明した消灯タイマと同じものである。ステップ３１０で、タイムアウトと判定されると、再びステップ３０１の処理が実行される。
【００５９】
以上説明した処理は、前照灯が消灯されるまで実行される。また、ステップ３０３の障害物検出処理では、領域抽出処理により抽出された視認不可能領域のみで障害物の検出を行えばよいので、画像全体で検出する処理と比較して演算処理を低減させることができる。
【００６０】
次に、図９、図１０を用いて、上述した第１の実施形態及び第２の実施形態での処理により実行される可視光ライト３８の照射状況の一例について説明する。
【００６１】
図９、図１０は、外灯がない道路で歩行者を可視光ライト３８が照射する一例を示している。また、図９、図１０には、対向車７０と、自車７２と、歩行者８０と、前照灯照射範囲７４と、可視光ライト照射範囲７６とが示されている。そして、図９は、照射状況を上面から見た場合の図であり、図１０は、照射状況を側面から見た場合の図である。
【００６２】
この図の場合、歩行者８０は、前照灯の照射範囲に含まれない。従って、撮像した画像において、歩行者８０が撮像された領域は、可視光での視認可能領域とはならず、近赤外光での視認可能領域となる。よって、歩行者８０が撮像された領域は、視認不可能領域となる。従って、歩行者８０は、可視光ライト照射範囲７６に示されるように、可視光ライト３８から照射される。このようにすることで、本実施の形態における視覚支援装置１０は、ドライバの視覚を支援することを可能している。
【図面の簡単な説明】
【００６３】
【図１】本実施の形態に係る視覚支援装置の構成を示す図である。
【図２】フィルタを示す図である。
【図３】可視光ライトを示す図である。
【図４】第１の実施形態におけるプログラム構成を示す図である。
【図５】第１の実施形態における視覚支援処理を示すフローチャートである。
【図６】領域抽出処理を示すフローチャートである。
【図７】第２の実施形態におけるプログラム構成を示す図である。
【図８】第２の実施形態における視覚支援処理を示すフローチャートである。
【図９】可視光ライトの照射状況を示す図である。
【図１０】可視光ライトの照射状況を示す図である。
【符号の説明】
【００６４】
１０  視覚支援装置
２２  光学ユニット
２４  ＣＣＤ
２６  アナログ信号処理部
２８  ＡＤＣ
３０  デジタル信号処理部
３８  可視光ライト
４２  撮像部
４６  メモリインタフェース
４８  メモリ
５０  可視光カットフィルタ
５２  近赤外光カットフィルタ
５８  前照灯用ＬＥＤ
６２  画像生成部
６４  領域抽出部
６６  可視光ライト制御部
６８  障害物検出部
７０  対向車
７２  自車
７４  前照灯照射範囲
７６  可視光ライト照射範囲
８０  歩行者
【図１】
2007263704.tif 000003
【図２】
2007263704.tif 000004
【図３】
2007263704.tif 000005
【図４】
2007263704.tif 000006
【図５】
2007263704.tif 000007
【図６】
2007263704.tif 000008
【図７】
2007263704.tif 000009
【図８】
2007263704.tif 000010
【図９】
2007263704.tif 000011
【図１０】
2007263704.tif 000012