(57)【要約】【課題】  車両が走行する環境の温度に関わらずドライバの視認性を向上することができる車両用視覚支援装置を提供する。【解決手段】  車両に赤外線カメラ４と可視カメラ２とを備え、赤外線カメラ画像と可視カメラ画像とを合成した画像を車両に備えた表示装置９に表示する車両用視覚支援装置１である。前記赤外線カメラ４には、撮像した赤外線カメラ画像をネガ画像とポジ画像とに外部入力により切り替えて出力可能な切替出力手段７を設け、前記可視カメラ２で撮像した可視カメラ画像を前記ネガ画像またはポジ画像と合成する画像合成装置８を備えた。【選択図】    図１
2005303442.tif 000002
【特許請求の範囲】
【請求項１】
車両に赤外線カメラと可視カメラとを備え、赤外線カメラ画像と可視カメラ画像とを合成した画像を車両に備えた表示装置に表示する車両用視覚支援装置において、
前記赤外線カメラには、撮像した赤外線カメラ画像をネガ画像とポジ画像とに外部入力により切り替えて出力可能な切替出力手段を設け、前記可視カメラで撮像した可視カメラ画像を前記ネガ画像またはポジ画像と合成する画像合成装置を備えたことを特徴とする車両用視覚支援装置。
【請求項２】
前記赤外線カメラで撮像した赤外線カメラ画像の輝度を解析する画像解析装置と、
該画像解析装置による前記赤外線カメラ画像の輝度の解析結果に基づいて、前記赤外線カメラに送信する信号を、前記ネガ画像の出力信号と前記ポジ画像の出力信号との間で切り替える画像切替装置と、を備えたことを特徴とする請求項１に記載の車両用視覚支援装置。
【請求項３】
前記赤外線カメラ画像を前記ネガ画像または前記ポジ画像に切り替える切替スイッチを設け、該切替スイッチからの切替信号を前記赤外線カメラに送信することを特徴とする請求項１に記載の車両用視覚支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２種類以上のカメラを車両に備え、これらのカメラで撮像した画像を用いてドライバの視覚を支援する車両用視覚支援装置に関するものである。
【背景技術】
【０００２】
近年、夜間等の視界が良好でない環境下においても、ドライバの視認性を向上するための視覚支援装置が提案されている。
例えば、特許文献１には、赤外線結像装置と可視光結像装置の出力信号を混合し、それに依存した合成像を発生するカラーモニターを備えることで、夜間の視認性を向上させる技術が提案されている。
【特許文献１】特開昭６２−４９３１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の技術では、以下のような問題がある。すなわち、従来技術においては、赤外カメラで撮像した画像データを、暖かい物体は暗く、冷たい物体は明るく出力するモード（ネガ出力）で可視映像と合成している。ところが、夏場のように背景の温度と注目したい物体の温度との差が小さい場合には、上述のモードで可視映像と合成しても画面全体が暗くなってしまう。その結果として、画面のコントラスト比も小さくなってしまうため、ドライバの視認性をほとんど向上できなくなるいう問題が生ずる。
【０００４】
従って、本発明は、車両が走行する環境の温度に関わらずドライバの視認性を向上することができる車両用視覚支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に係る発明は、車両に赤外線カメラ（例えば、実施の形態における遠赤外線カメラ４）と可視カメラ（例えば、実施の形態における可視カメラ２）とを備え、赤外線カメラ画像（例えば、実施の形態における遠赤外線カメラ画像データ１１）と可視カメラ画像（例えば、実施の形態における可視カメラ画像データ１３）とを合成した画像（例えば、実施の形態における合成画像データ１４）を車両に備えた表示装置（例えば、実施の形態における表示装置９）に表示する車両用視覚支援装置（例えば、実施の形態における車両用視覚支援装置１）において、前記赤外線カメラには、撮像した赤外線カメラ画像をネガ画像（例えば、実施の形態におけるネガ画像１１ａ）とポジ画像とに外部入力により切り替えて出力可能な切替出力手段（例えば、実施の形態における遠赤外線カメラ映像モード切替スイッチ７）を設け、前記可視カメラで撮像した可視カメラ画像を前記ネガ画像またはポジ画像と合成する画像合成装置（例えば、実施の形態における画像合成フレームメモリ８）を備えたことを特徴とする。
【０００６】
この発明によれば、前記可視カメラで撮像した可視カメラ画像と、前記赤外線カメラで撮像した赤外線カメラ画像とを合成するときに、前記切換出力手段により前記赤外線カメラ画像をネガ画像またはポジ画像に切り替えて、前記画像合成装置により前記可視カメラ画像と合成するため、前記赤外線カメラ画像を環境の温度に応じてより視認性の良い方の画像に切り替えることができる。従って、環境の温度に関わらず、視認性の良い合成画像を得ることができ、ドライバの視認性を向上することができる。
【０００７】
請求項２に係る発明は、請求項１に記載のものであって、前記赤外線カメラで撮像した赤外線カメラ画像の輝度を解析する画像解析装置（例えば、実施の形態におけるＣＰＵ６のステップＳ２６の処理）と、該画像解析装置による前記赤外線カメラ画像の輝度の解析結果に基づいて、前記赤外線カメラに送信する信号を、前記ネガ画像の出力信号と前記ポジ画像の出力信号との間で切り替える画像切替装置（例えば、実施の形態におけるＣＰＵ６のステップＳ２８の処理）と、を備えたことを特徴とする。
【０００８】
この発明によれば、前記画像解析装置により前記赤外線カメラ画像の輝度を解析して、この解析結果に基づいて前記画像切替装置により前記赤外線カメラに送信する信号を前記ネガ画像の出力信号と前記ポジ画像の出力信号との間で切り替えるので、前記ポジ画像と前記ネガ画像とのうちで視認性の良い方を前記可視カメラ画像と合成することができ、環境の温度に関わらず、自動的にドライバの視認性を向上することができる。
【０００９】
請求項３に係る発明は、請求項１に記載のものであって、前記赤外線カメラ画像を前記ネガ画像または前記ポジ画像に切り替える切替スイッチを設け、該切替スイッチからの切替信号を前記赤外線カメラに送信することを特徴とする。
【００１０】
この発明によれば、前記切替スイッチを操作することにより、車両周囲の環境の温度に応じて前記赤外線カメラを前記ネガ画像または前記ポジ画像に切り替えることができるので、ドライバが状況に応じてより視認性の良い合成画像を選択することができるため、ドライバによる細かい調整が可能となる。
【発明の効果】
【００１１】
請求項１に係る発明によれば、赤外線カメラ画像を環境の温度に応じてより視認性の良い方の画像に切り替えることができるため、環境の温度に関わらず、視認性の良い合成画像を得ることができ、ドライバの視認性を向上することができる。
【００１２】
請求項２に係る発明によれば、環境の温度に関わらず、自動的にドライバの視認性を向上することができる。
請求項３に係る発明によれば、ドライバが状況に応じてより視認性の良い合成画像を選択することができ、ドライバによる細かい調整が可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、この発明の実施の形態における車両用視覚支援装置を図面と共に説明する。
図１は本発明の実施の形態における車両用視覚支援装置のブロック図である。同図に示す車両には、可視光領域で撮像可能な可視カメラ２と、遠赤外領域で撮像可能な遠赤外線カメラ４とが搭載されている。遠赤外線カメラ４は、後述するＣＰＵ６からの切替信号に応じて、ポジ出力モードまたはネガ出力モードに切り替えられる。
【００１４】
可視カメラ２と遠赤外線カメラ４とは、可視映像フレームメモリ３、赤外映像フレームメモリ５にそれぞれ接続されている。可視映像フレームメモリ３、赤外映像フレームメモリ５は、可視カメラ２や遠赤外線カメラ４により撮像された可視カメラ画像データ１３や遠赤外線カメラ画像データ１１（図３参照）を一時的に格納しておくためのものである。
【００１５】
これらのメモリ３、５はＣＰＵ６にそれぞれ接続されており、前記メモリ３、５に格納された画像データ１３、１１をＣＰＵ６に送信する。ＣＰＵ６は、合成映像フレームメモリ８に接続され、前記メモリ３、５から送信された画像データ１３、１１を合成して、前記メモリ８に送信する。
【００１６】
また、ＣＰＵ６は、遠赤外線カメラ映像モード切替スイッチ７（切替スイッチ７）に接続され、前記切替スイッチ７からの切替信号に応じて、遠赤外線カメラ４の遠赤外線カメラ画像データ１１をポジ画像１１ａまたはネガ画像１１ｂにのいずれかに切り変える。
【００１７】
合成映像フレームメモリ８では、ＣＰＵ６で合成された合成画像データ１４を格納する。また、前記メモリ８は、車両に搭載されたＨＵＤ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）等の表示装置９に接続され、メモリ８に保持した合成画像データ１４を表示装置９に出力して表示させる。表示装置９は、表示装置輝度調整スイッチ１０（輝度調整スイッチ１０）に接続されている。このスイッチ１０を操作することで、表示装置９に表示される合成画像データ１４の輝度を調整することができる。
【００１８】
上述のように構成された車両用視覚支援装置１の作用について説明する。図２は図１に示す車両用視覚支援装置の画像合成処理を示すフローチャートである。まず、ステップＳ１２で、可視カメラ２で撮像した可視カメラ画像データ１３を可視映像フレームメモリ３に取り込んで格納する。ステップＳ１４で、遠赤外線カメラ４で撮像した遠赤外線カメラ画像データ１１を赤外映像フレームメモリ５に取り込んで格納する。
【００１９】
ステップＳ１６で、モード切替スイッチ７が選択している入力モード（ＡＵＴＯ／ポジ／ネガ）を読みこむ。そして、ステップＳ１８で、モード切替スイッチ７が「ＡＵＴＯ」を選択しているか否かを判定し、判定結果がＹＥＳである場合（「ＡＵＴＯ」の場合）はステップＳ２６に進み、判定結果がＮＯである場合（「ポジ」「ネガ」の場合）はステップＳ２０に進む。
【００２０】
ステップＳ２０では、モード切替スイッチ７が「ネガ」を選択しているか否かを判定する。この判定結果がＹＥＳである場合（「ネガ」の場合）はステップＳ３０に進み、判定結果がＮＯである場合（「ポジ」の場合）はステップＳ２２に進む。
ステップＳ２２では、遠赤外線カメラ４の画像データ１１としてポジ画像１１ａ（図３参照）を選択する。すなわち、画像データ１１が、暖かい物体は明るく、冷たい物体は暗く出力するモード（ポジ出力）のポジ画像１１ａとなるように、遠赤外線カメラ４を設定する。ステップＳ２４では、ポジ画像１１ａと可視カメラ画像データ１３とを合成した合成画像データ１４ａ（図３参照）を作成し、この合成画像データ１４ａを表示装置９に表示出力して、最初の処理に戻る。
【００２１】
ステップＳ３０では、遠赤外線カメラ４の画像データ１１としてネガ画像１１ｂを選択（図３参照）する。すなわち、画像データ１１が、暖かい物体は暗く、冷たい物体は明るく出力するモード（ポジ出力）のネガ画像１１ｂとなるように、遠赤外線カメラ４を設定する。ステップＳ３２では、ネガ画像１１ｂと可視カメラ画像データ１３とを合成した合成画像データ１４ｂ（図３参照）を作成し、この合成画像データ１４ｂを表示装置９に表示出力して、最初の処理に戻る。
【００２２】
このように、切替スイッチ７で「ネガ」や「ポジ」のモードを選択する場合には、車両周囲の環境の温度に応じて遠赤外線カメラ４をネガ画像１１ｂまたはポジ画像１１ａに切り替えることができる。よって、ドライバが状況に応じてより視認性の良い合成画像データ１４ａ、１４ｂを選択することができ、ドライバによる細かい調整が可能となる。
【００２３】
一方、ステップＳ１８の判定結果がＹＥＳの場合（「ＡＵＴＯ」の場合）には、ステップＳ２６で遠赤外線カメラ画像１１の輝度についてのヒストグラムを算出する。これについて、図３〜図５を用いて説明する。
【００２４】
図３は可視カメラと遠赤外線カメラの撮像データの合成処理内を示す説明図である。図４、図５は遠赤外線カメラの撮像データについての、輝度と度数の関係を示すグラフ図である。ステップＳ２６では、遠赤外線カメラ４で撮像したポジ画像１１ａまたはネガ画像１１ｂの輝度についてのグラフを作成する（図４、図５参照）。この遠赤外線画像データにおけるヒストグラムを作成する領域については、自車の推定軌跡を中心とした設定幅の領域や、ヘッドライトのＨｉビームの照射範囲の領域、検出された道路領域、検出された白線などの自車レーンの領域、等に基づいて設定することができる。
【００２５】
そして、ステップＳ２８では、算出されたヒストグラムにおいて、輝度の平均値が設定しきい値以上かどうかを判定する（図４、図５参照）。この判定結果がＹＥＳの場合には、ステップＳ２２に進んでポジ画像を選択する。このような場合には、注目すべき物体（例えば、他の車両や人）の温度がその背景の温度よりも一定以上の温度差があると考えられ、映像全体が明るく注目すべき物体とのコントラスト比が高いので、このような物体をドライバは容易に発見して認識することができる。ステップＳ２２の後は、上述した一連の処理を行う。
【００２６】
ステップＳ２８の判定結果がＮＯの場合は、ステップＳ３０に進んでネガ画像を選択する。このような場合には、映像全体が暗く注目すべき物体とのコントラスト比が低いので、このような物体をドライバが発見して認識することが困難となる（図３のポジ画像１１ａ参照）。従って、ステップＳ３０のようにネガ画像を選択することで、映像全体を明るくして注目すべき物体とのコントラスト比を高くすることができる。
【００２７】
例えば、図３に示すように、輝度の平均値がしきい値よりも低いポジ画像１１ａをネガ画像１１ｂに反転することで、ポジ画像１１ａを可視カメラ画像データ１３と合成して得られる合成画像データ１４ａよりも、ネガ画像１１ｂを可視カメラ画像データ１３と合成して得られるより視認性の良い合成画像データ１４ｂを得ることができる。そして、ステップＳ３０の後は、上述した一連の処理を行う。
【００２８】
このように、前記ポジ画像１１ａと前記ネガ画像１１ｂとのうちで視認性の良い方を前記可視カメラ画像データ１３と合成することができ、環境の温度に関わらず、自動的にドライバの視認性を向上することができる。
【００２９】
なお、本発明の内容は上述の実施の形態のみに限られるものでないことはもちろんである。例えば、実施の形態では、遠赤外線カメラ４を用いたが、これに限らず、中赤外線カメラであっても近赤外線カメラであってもよい。また、ポジ画像１１ａとネガ画像１１ｂとを切り替えるしきい値をドライバの操作により変更できるようにしてもよい。また、ポジ画像１１ａとネガ画像１１ｂとの切替の判定手法としては、しきい値を平均値と比較する場合に限られず、偏差値やメジアン、またはモードを用いて判定を行ってもよい。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態における車両用視覚支援装置のブロック図である。
【図２】図１に示す車両用視覚支援装置の画像合成処理を示すフローチャートである。
【図３】可視カメラと遠赤外線カメラの撮像データの合成処理内を示す説明図である。
【図４】遠赤外線カメラの撮像データについての、輝度と度数の関係を示すグラフ図である。
【図５】遠赤外線カメラの撮像データについての、輝度と度数の関係を示すグラフ図である。
【符号の説明】
【００３１】
１…車両用視覚支援装置
２…可視カメラ
４…遠赤外線カメラ
７…遠赤外線カメラ映像モード切替スイッチ（切替出力手段）
８…画像合成フレームメモリ（画像合成装置）
９…表示装置
１１…遠赤外線カメラ画像データ（赤外線カメラ画像）
１１ａ…ポジ画像
１１ｂ…ネガ画像
１３…可視カメラ画像データ（可視カメラ画像）
１４…合成画像
【図１】
2005303442.tif 000003
【図２】
2005303442.tif 000004
【図３】
2005303442.tif 000005
【図４】
2005303442.tif 000006
【図５】
2005303442.tif 000007