(57)【要約】【課題】撮像素子に入射される光の輝度が高い場合にもピントの合った映像を得ることができる車両用周辺監視装置を提供することを目的とする。【解決手段】車両周辺の映像を取得する映像取得部と、前記映像取得部の取得した映像を処理する信号処理部と、を有する車両用周辺監視装置であって、前記映像取得部は、第１の波長領域の光が選択的に入射される第１の撮像素子と、前記第１の波長領域よりも長波長の第２の波長領域の光が選択的に入射される第２の撮像素子と、を有し、前記信号処理部は、前記車両周辺の輝度を判定する輝度判定手段と、前記第１の撮像素子で撮像された第１の映像と、前記第２の撮像素子で撮像された第２の映像とを合成する映像合成手段と、を有し、前記映像合成手段は、前記輝度判定手段の判定結果に基いて、前記第１の映像及び前記第２の映像を所定の重みを付けて合成することを特徴とする。【選択図】図１
2009253857.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺の映像を取得する映像取得部と、前記映像取得部の取得した映像を処理する信号処理部と、を有する車両用周辺監視装置であって、
前記映像取得部は、第１の波長領域の光が選択的に入射される第１の撮像素子と、前記第１の波長領域よりも長波長の第２の波長領域の光が選択的に入射される第２の撮像素子と、を有し、
前記信号処理部は、前記車両周辺の輝度を判定する輝度判定手段と、前記第１の撮像素子で撮像された第１の映像と、前記第２の撮像素子で撮像された第２の映像とを合成する映像合成手段と、を有し、前記映像合成手段は、前記輝度判定手段の判定結果に基いて、前記第１の映像及び前記第２の映像を所定の重みを付けて合成することを特徴とする車両用周辺監視装置。
【請求項２】
前記第１の撮像素子は、前記第１の波長領域の光に感度を持ち、前記第２の撮像素子は、前記第２の波長領域の光に感度を持つことを特徴とする請求項１記載の車両用周辺監視装置。
【請求項３】
前記第１の波長領域は可視光線領域を含み、前記第２の波長領域は近赤外線領域を含むことを特徴とする請求項１又は２記載の車両用周辺監視装置。
【請求項４】
前記映像合成手段は、前記輝度判定手段が判定した前記車両周辺の輝度が高いほど、前記第２の映像の重みを小さくすることを特徴とする請求項１乃至３の何れか一項記載の車両用周辺監視装置。
【請求項５】
前記輝度判定手段は、前記映像取得部が取得した前記映像の輝度を判定する映像輝度判定手段を含むことを特徴とする請求項１乃至４の何れか一項記載の車両用周辺監視装置。
【請求項６】
前記輝度判定手段は、前記映像取得部が取得した前記映像の中の歩行者の有無を判定する歩行者判定手段を含むことを特徴とする請求項１乃至４の何れか一項記載の車両用周辺監視装置。
【請求項７】
前記輝度判定手段は、車両が車両周辺の輝度が高い所を走行中か否かを判定する走行状況判定手段を含むことを特徴とする請求項１乃至４の何れか一項記載の車両用周辺監視装置。
【請求項８】
前記走行状況判定手段は、コンライトセンサからの情報、車速センサからの情報、操舵角センサからの情報、傾斜センサからの情報、ＧＰＳからの情報のうちの何れか一つの情報、又は、これらのうちの複数の情報に基づいて、車両が車両周辺の輝度が高い所を走行中か否かを判定することを特徴とする請求項７記載の車両用周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の映像を取得する映像取得部と、映像取得部の取得した映像を処理する信号処理部とを有する車両用周辺監視装置に関する。
【背景技術】
【０００２】
従来から、車両にカメラ等の映像取得部を搭載し、カメラ等の映像取得部により取得された車両周辺の映像を、車両内部の運転者が視認可能な位置に備えられたディスプレイに表示して、運転者の視界を補助するための車両用周辺監視装置が提案されている。
【０００３】
このような、車両用周辺監視装置としては、例えば、可視光線領域の光学像及び近赤外線領域の光学像を撮像するとともに、被写体までの距離を検出する手段を搭載し、被写体までの距離の検出結果に基いて、これらの光学像に重みをつけて合成しディスプレイに表示するものがある（例えば、特許文献１参照）。
【特許文献１】特開２００７−２２８２０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、車両用周辺監視装置の映像取得部には、半導体から構成される撮像素子が用いられているが、半導体から構成される撮像素子の特性として、入射される光の波長が長くなるほど、撮像素子の光電変換部の深部で光電変換が行われるため、隣のピクセルと干渉しやすく、ピントの合っていないボケた映像になる。特に、入射される光の輝度が高い場合にその傾向が顕著である。又、半導体として可視光線領域から近赤外線領域に感度を持つシリコンを用いる場合、可視光線領域から近赤外線領域に行くほど感度が低下し、明るい（輝度が高い）環境では分解能が落ちる。
【０００５】
従って、被写体までの距離を検出する手段を搭載し、被写体までの距離の検出結果に基いて、可視光線領域の光学像及び近赤外線領域の光学像に重みをつけて合成しディスプレイに表示しても、特に撮像素子に入射される光の輝度が高い場合には、ピントの合った映像を得ることが困難であるという問題があった。
【０００６】
本発明は上記の点に鑑みてなされたもので、撮像素子に入射される光の輝度が高い場合にもピントの合った映像を得ることができる車両用周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、第１の発明は、車両周辺の映像を取得する映像取得部と、前記映像取得部の取得した映像を処理する信号処理部と、を有する車両用周辺監視装置であって、前記映像取得部は、第１の波長領域の光が選択的に入射される第１の撮像素子と、前記第１の波長領域よりも長波長の第２の波長領域の光が選択的に入射される第２の撮像素子と、を有し、前記信号処理部は、前記車両周辺の輝度を判定する輝度判定手段と、前記第１の撮像素子で撮像された第１の映像と、前記第２の撮像素子で撮像された第２の映像とを合成する映像合成手段と、を有し、前記映像合成手段は、前記輝度判定手段の判定結果に基いて、前記第１の映像及び前記第２の映像を所定の重みを付けて合成することを特徴とする。
【０００８】
第２の発明は、第１の発明に係る車両用周辺監視装置において、前記第１の撮像素子は、前記第１の波長領域の光に感度を持ち、前記第２の撮像素子は、前記第２の波長領域の光に感度を持つことを特徴とする。
【０００９】
第３の発明は、第１又は第２の発明に係る車両用周辺監視装置において、前記第１の波長領域は可視光線領域を含み、前記第２の波長領域は近赤外線領域を含むことを特徴とする。
【００１０】
第４の発明は、第１乃至第３の何れか一の発明に係る車両用周辺監視装置において、前記映像合成手段は、前記輝度判定手段が判定した前記車両周辺の輝度が高いほど、前記第２の映像の重みを小さくすることを特徴とする。
【００１１】
第５の発明は、第１乃至第４の何れか一の発明に係る車両用周辺監視装置において、前記輝度判定手段は、前記映像取得部が取得した前記映像の輝度を判定する映像輝度判定手段を含むことを特徴とする。
【００１２】
第６の発明は、第１乃至第４の何れか一の発明に係る車両用周辺監視装置において、前記輝度判定手段は、前記映像取得部が取得した前記映像の中の歩行者の有無を判定する歩行者判定手段を含むことを特徴とする。
【００１３】
第７の発明は、第１乃至第４の何れか一の発明に係る車両用周辺監視装置において、前記輝度判定手段は、車両が車両周辺の輝度が高い所を走行中か否かを判定する走行状況判定手段を含むことを特徴とする。
【００１４】
第８の発明は、第７の発明に係る車両用周辺監視装置において、前記走行状況判定手段は、コンライトセンサからの情報、車速センサからの情報、操舵角センサからの情報、傾斜センサからの情報、ＧＰＳからの情報のうちの何れか一つの情報、又は、これらのうちの複数の情報に基づいて、車両が車両周辺の輝度が高い所を走行中か否かを判定することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、撮像素子に入射される光量が多い場合にもピントの合った映像を得ることが可能な車両用周辺監視装置を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【００１７】
〈第１の実施の形態〉
図１は本発明の第１の実施の形態に係る車両用周辺監視装置１０の概略の構成を例示する図である。図１を参照するに、車両用周辺監視装置１０は、映像取得部２０と、信号処理部３０と、センサ部４０とを有する。５０は、車両用周辺監視装置１０から出力される映像信号を表示する表示部である。
【００１８】
映像取得部２０は、レンズ２１と、第１のプリズム２２と、第２のプリズム２３と、第１の撮像素子２４と、第２の撮像素子２５とを有する。信号処理部３０は、基準信号生成手段３１と、第１の入力信号処理手段３２と、第２の入力信号処理手段３３と、輝度判定手段３４と、映像合成手段３５と、図示しないＣＰＵ（中央演算装置）や記憶手段（メモリ）等を有する。輝度判定手段３４は、映像輝度判定手段３４ａと、歩行者判定手段３４ｂと、走行状況判定手段３４ｃとを有する。センサ部４０は、コンライトセンサ４１と、車速センサ４２と、操舵角センサ４３とを有する。
【００１９】
映像取得部２０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ
Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ等であり、車両周辺の映像を取得する機能を有する。レンズ２１は、例えば、魚眼レンズ等であり、被写体から放射される光を結像する機能を有する。
【００２０】
第１のプリズム２２及び第２のプリズム２３は、例えば、ガラスや水晶等から構成されており、レンズ２１から入射する光のうち第１の波長領域の光を直進させ、第１の撮像素子２４に選択的に入射する機能を有する。又、第１のプリズム２２及び第２のプリズム２３は、レンズ２１から入射する光のうち第１の波長領域の光よりも長波長の第２の波長領域の光を、第１のプリズム２２と第２のプリズム２３との境界面で反射し、第２の撮像素子２５に選択的に入射する機能を有する。
【００２１】
ここで、第１の波長領域は可視光線領域を含む波長領域であり、第２の波長領域は近赤外線領域を含む波長領域である。すなわち、第１の波長領域は、例えば、可視光線領域のみでもよいし、可視光線領域に近赤外線領域等を加えた波長領域でも構わない。又、第２の波長領域は、例えば、近赤外線領域のみでもよいし、近赤外線領域に赤外線領域等を加えた波長領域でも構わない。
【００２２】
第１の撮像素子２４及び第２の撮像素子２５は、例えば、ＣＣＤやＣＭＯＳ等の半導体から構成されており、入射する被写体の光学像を電気信号に変換する機能を有する。第１の撮像素子２４及び第２の撮像素子２５は、同じ波長領域の光に感度を持つものでも構わないが、第１の撮像素子２４は、第１の波長領域の光に感度を持ち、第２の撮像素子２５は、第２の波長領域の光に感度を持つことが好ましい。第１の撮像素子２４及び第２の撮像素子２５で変換された電気信号は、信号処理部３０の第１の入力信号処理手段３２及び第２の入力信号処理手段３３に入力される。
【００２３】
信号処理部３０は、映像取得部２０から入力された信号に所定の信号処理を施し、表示部５０に出力する機能を有する。信号処理部３０は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ  ）内に設けられている。基準信号生成手段３１は、基準信号を生成する発振器を含む回路である。基準信号生成手段３１で生成された基準信号は、第１の入力信号処理手段３２及び第２の入力信号処理手段３３に入力される。
【００２４】
第１の入力信号処理手段３２及び第２の入力信号処理手段３３は、基準信号生成手段３１で生成された基準信号に基いて駆動信号を生成し、第１の撮像素子２４及び第２の撮像素子２５を駆動する。又、第１の入力信号処理手段３２及び第２の入力信号処理手段３３は、第１の撮像素子２４及び第２の撮像素子２５から入力された電気信号に所定の信号処理を施し、映像合成手段３５、並びに、輝度判定手段３４を構成する映像輝度判定手段３４ａ及び歩行者判定手段３４ｂに入力する。
【００２５】
所定の信号処理とは、例えば、信号のノイズを低減するＣＤＳ（相関２重サンプリング）、信号を正規化するＡＧＣ（オートゲインコントロール）、アナログ−ディジタル変換、ディジタル信号処理（色空間変換、輪郭強調補正、ガンマ補正処理等）等を指し、所定の信号処理を施された電気信号は、コンポジットビデオやＹＵＶ等の映像信号となる。
【００２６】
以降、第１の入力信号処理手段３２で所定の処理を施され、第１の入力信号処理手段３２から出力される信号を第１の映像信号と、第２の入力信号処理手段３３で所定の処理を施され、第２の入力信号処理手段３３から出力される信号を第２の映像信号という。又、第１の映像信号により表示されるべき映像を第１の映像と、第２の映像信号により表示されるべき映像を第２の映像という。すなわち、第１の映像信号は、可視光線領域を含む光による映像信号であり、第２の映像信号は、近赤外線領域を含む光による映像信号である。又、第１の映像は、可視光線領域を含む光により表示されるべき映像であり、第２の映像は、近赤外線領域を含む光により表示されるべき映像である。
【００２７】
輝度判定手段３４は、車両周辺の輝度を判定する機能を有する。輝度判定手段３４を構成する映像輝度判定手段３４ａは、第１の映像信号及び／又は第２の映像信号に基いて、映像取得部２０が取得した映像の輝度を判定する。以降、映像取得部２０が取得した映像の輝度を映像輝度という場合がある。映像輝度判定手段３４ａによる映像の輝度の判定結果は、映像合成手段３５に入力される。
【００２８】
輝度判定手段３４を構成する歩行者判定手段３４ｂは、第１の映像信号及び／又は第２の映像信号に基いて、映像取得部２０が取得した映像の中の歩行者の有無を判定する。歩行者の有無は、例えば、パターンマッチング方式を用いて判定する。一例を挙げると、歩行者の画像パターンを予め認識して記憶手段（メモリ）に記憶しておき、第１の映像信号及び／又は第２の映像信号と予め記憶していた歩行者の画像パターンとを比較し、両者が一致したら歩行者有りと判定するが如くである。歩行者判定手段３４ｂによる歩行者の有無の判定結果は、映像合成手段３５に入力される。
【００２９】
センサ部４０は、車両や車両周辺の情報を取得する機能を有する。コンライトセンサ４１は、例えば、車体外部に取り付けられており、車両周辺の輝度（明るさ）を検出し、検出結果に応じた信号を走行状況判定手段３４ｃに出力する。車速センサ４２は、例えば、車両の車輪等に取り付けられており、車輪の回転速度を検出し、検出結果に応じた信号を走行状況判定手段３４ｃに出力する。
【００３０】
操舵角センサ４３は、例えば、車両のステアリングシャフトに取り付けられており、ステアリングの回転角を検出し、検出結果に応じた信号を走行状況判定手段３４ｃに出力する。輝度判定手段３４を構成する走行状況判定手段３４ｃは、センサ部４０から入力されるこれらの信号に基いて、車両の走行状況を判定する。走行状況判定手段３４ｃによる車両の走行状況の判定結果は、映像合成手段３５に入力される。
【００３１】
映像合成手段３５は、第１の入力信号処理手段３２及び第２の入力信号処理手段３３から入力される第１の映像信号及び第２の映像信号に所定の重みを付けた後に、それらを合成した映像信号を生成し、表示部５０に出力する。所定の重みは、輝度判定手段３４を構成する映像輝度判定手段３４ａ、歩行者判定手段３４ｂ及び走行状況判定手段３４ｃの判定結果のうちの一部又は全てに基いて行われる。表示部５０は、例えば、液晶ディスプレイ等であり、映像合成手段３５で合成された映像信号を映像として表示する機能を有する。
【００３２】
続いて、図２を参照しながら、車両用周辺監視装置１０で行われる処理について更に詳しく説明する。図２は、本発明の第１の実施の形態に係る車両用周辺監視装置１０で行われる動作のフローチャートを例示する図である。
【００３３】
ステップ１００において、映像取得部２０は、車両周辺の映像を取得し、第１の撮像素子２４に第１の波長領域の光学像を結像する。又、第２の撮像素子２５に第２の波長領域の光学像を結像する（Ｓ１００）。ここで、第１の波長領域は可視光線領域を含む波長領域であり、第２の波長領域は近赤外線領域を含む波長領域である。すなわち、第１の波長領域は、例えば、可視光線領域のみでもよいし、可視光線領域に近赤外線領域等を加えた波長領域でも構わない。又、第２の波長領域は、例えば、近赤外線領域のみでもよいし、近赤外線領域に赤外線領域等を加えた波長領域でも構わない。
【００３４】
ステップ１０１において、第１の撮像素子２４は、第１の波長領域の光学像を電気信号に変換し、第１の入力信号処理手段３２に入力する。又、第２の撮像素子２５は、第２の波長領域の光学像を電気信号に変換し、第２の入力信号処理手段３３に入力する（Ｓ１０１）。
【００３５】
ステップ１０２において、第１の入力信号処理手段３２及び第２の入力信号処理手段３３は、入力された電気信号に所定の信号処理を施した第１の映像信号及び第２の映像信号を、映像合成手段３５、並びに、輝度判定手段３４を構成する映像輝度判定手段３４ａ及び歩行者判定手段３４ｂに入力する（Ｓ１０２）。
【００３６】
ステップ１０３において、映像輝度判定手段３４ａは、第１の映像信号及び／又は第２の映像信号に基いて、映像取得部２０が取得した映像の輝度（映像輝度）を判定する（Ｓ１０３）。一例を挙げると、映像輝度判定手段３４ａは、例えば、映像輝度を０〜４の予め５段階に分類しておき、第１の映像信号及び／又は第２の映像信号に基いて、映像取得部２０が取得した映像の輝度が０〜４の何れの段階に属するかを判定する。映像輝度判定手段３４ａによる映像の輝度の判定結果は、映像合成手段３５に入力される。
【００３７】
ステップ１０４において、歩行者判定手段３４ｂは、第１の映像信号及び／又は第２の映像信号に基いて、映像取得部２０が取得した映像の中の歩行者の有無を判定する（Ｓ１０４）。歩行者の有無は、例えば、前述のパターンマッチング方式を用いて判定する。歩行者判定手段３４ｂによる歩行者の有無の判定結果は、映像合成手段３５に入力される。
【００３８】
ステップ１０５において、映像合成手段３５は、第１の入力信号処理手段３２及び第２の入力信号処理手段３３から入力される第１の映像信号及び第２の映像信号に所定の重みをつける。具体的には、第２の映像信号（近赤外線領域を含む光による映像信号）の重み係数Ｋを決定する（Ｓ１０５）。第１の映像信号の重みは（１−Ｋ）とする。なお、重み係数Ｋは、映像輝度判定手段３４ａ及び歩行者判定手段３４ｂの判定結果に基いて決定する。
【００３９】
例えば、表１に示すように映像輝度判定手段３４ａの映像輝度の判定結果と歩行者判定手段３４ｂの歩行者の有無の判定結果と重み係数Ｋとの関係を予め記憶手段に記憶しておき、入力された映像輝度判定手段３４ａ及び歩行者判定手段３４ｂの判定結果から対応する重み係数Ｋを決定する。表１において、映像輝度は０が最も輝度が低く（暗い）、４に近づくほど輝度が高くなる（明るい）ことを示している。又、重み係数Ｋは、第２の映像信号（近赤外線領域を含む光による映像信号）の重みを示している。
【００４０】
【表１】
2009253857.tif 000003
なお、表１において、映像輝度が高いほど重み係数Ｋを小さくしているのは、第１の撮像素子２４及び第２の撮像素子２５の特性を考慮したためである。ＣＣＤやＣＭＯＳ等の半導体から構成される第１の撮像素子２４及び第２の撮像素子２５の特性として、入射される光の波長が長くなるほど、撮像素子の光電変換部の深部で光電変換が行われるため、隣のピクセルと干渉しやすくピントの合っていないボケた映像になる。特に、入射される光の輝度が高い場合にその傾向が顕著である。又、半導体として可視光線領域から近赤外線領域に感度を持つシリコンを用いる場合、可視光線領域から近赤外線領域に行くほど感度が低下し、明るい（輝度が高い）環境では分解能が落ちる。
【００４１】
すなわち、映像取得部２０が取得した映像の輝度（映像輝度）が高い場合には、第１の映像（可視光線領域を含む光による映像）よりも波長の長い光による第２の映像（近赤外線領域を含む光による映像）の方が、ピントの合っていないボケた映像になりやすい。図３及び図４に一例を示す。
【００４２】
図３は、映像取得部２０が取得した映像輝度が低い場合の近赤外線映像を例示する図である。図４は、映像取得部２０が取得した映像輝度が高い場合の近赤外線映像を例示する図である。図３に示す映像は、中心部のみ明るいが周辺部が極端に暗いため、全体としては映像輝度が低い。図４に示す映像は、全体的に明るいため映像輝度が高い。
【００４３】
図３及び図４を参照すると、図３に示す映像輝度が低い場合よりも、図４に示す映像輝度が高い場合の方が、ピントの合っていないボケた映像になりやすいことがわかる。そこで、輝度判定手段３４を構成する映像輝度判定手段３４ａにより、映像取得部２０が取得した映像の輝度（映像輝度）を判定する。そして、映像輝度が高い場合には、第２の映像（近赤外線領域を含む光による映像）の重み係数Ｋを小さくし、第１の映像（可視光線領域を含む光による映像）の重みを大きくする。これにより、ピントの合った映像を得ることができる。又、第１の映像（可視光線領域を含む光による映像）の重みを大きくすることにより、カラー映像表示が可能となる。
【００４４】
又、表１において、映像輝度が同じ場合には、歩行者有の場合の重み係数Ｋを、歩行者無の場合の重み係数Ｋよりも小さくしている。これは、図３に示すように、近赤外線領域の光の場合には歩行者の服から反射される光量が大きくなるため、全体としては映像輝度が低い場合でも、歩行者の部分の輝度が高くなり、その部分がボケるからである。このことは図３において確認することができる。従って、輝度判定手段３４を構成する歩行者判定手段３４ｂにより歩行者の有無を判定し、映像輝度が同じ場合には、歩行者有の場合の重み係数Ｋを、歩行者無の場合よりも小さくすることにより、歩行者の部分についてもピントの合った映像を得ることができる。
【００４５】
図２に戻り、ステップ１０６において、映像合成手段３５は、ステップ１０５で決定した重み係数Ｋを用いて、第１の映像信号（可視光線領域を含む光による映像信号）と第２の映像信号（近赤外線領域を含む光による映像）とを合成する（Ｓ１０６）。合成した映像信号は、合成した映像信号＝第１の映像信号（可視光線領域を含む光による映像信号）×（１−Ｋ）＋第２の映像信号（近赤外線領域を含む光による映像）×Ｋとなる。
【００４６】
ステップ１０７において、映像合成手段３５は、ステップ１０６で合成した映像信号を表示部５０に出力する（Ｓ１０７）。合成した映像信号は、表示部５０に表示される。なお、ステップ１００からステップ１０７の動作は、所定の周期で繰り返される。
【００４７】
本発明の第１の実施の形態によれば、映像取得部２０が取得した映像の輝度（映像輝度）を判定し、映像輝度が高い場合には、第２の映像（近赤外線領域を含む光による映像）の重み係数Ｋを小さくし、第１の映像（可視光線領域を含む光による映像）の重みを大きくして、第１の映像（可視光線領域を含む光による映像）と第２の映像（近赤外線領域を含む光による映像）とを合成する。又、歩行者の有無を判定し、映像輝度が同じ場合には、歩行者有と判定された場合の第２の映像（近赤外線領域を含む光による映像）の重み係数Ｋを、歩行者無と判定された場合の第２の映像（近赤外線領域を含む光による映像）の重み係数Ｋよりも小さくして、第１の映像（可視光線領域を含む光による映像）と第２の映像（近赤外線領域を含む光による映像）とを合成する。
【００４８】
すなわち、映像取得部２０が取得した映像の輝度（映像輝度）及び映像の一部分の輝度（歩行者の部分）が高いことを判定し、輝度が高いと判定した場合には、第１の映像（可視光線領域を含む光による映像）よりも波長が長く、ピントの合っていないボケた映像になりやすい第２の映像（近赤外線領域を含む光による映像）の重みを低くして、第１の映像（可視光線領域を含む光による映像）と第２の映像（近赤外線領域を含む光による映像）とを合成する。
【００４９】
その結果、撮像素子に入射される光量が多い場合（輝度が高い場合）にもピントの合った映像を得ることができる。又、第１の映像（可視光線領域を含む光による映像）の重みを大きくすることにより、カラー映像表示が可能となる。
【００５０】
〈第２の実施の形態〉
本発明の第２の実施の形態に係る車両用周辺監視装置の概略の構成は、図１に示す車両用周辺監視装置１０と同様であるため、その説明は省略する。図５は、本発明の第２の実施の形態に係る車両用周辺監視装置１０で行われる動作のフローチャートを例示する図である。図５において、図２と同一部分については同一符号を付し、その説明は省略する場合がある。図５に示すフローチャートが、図２に示すフローチャートと異なる部分は、ステップ２００（Ｓ２００）及びステップ２０１（Ｓ２０１）のみである。
【００５１】
図２に示すフローチャートのステップ１００からステップ１０４までと同様の動作を行った後、ステップ２００において、輝度判定手段３４を構成する走行状況判定手段３４ｃは、センサ部４０のコンライトセンサ４１、車速センサ４２及び操舵角センサ４３から入力される信号に基いて、車両の走行状況を判定する（Ｓ２００）。
【００５２】
ここで、コンライトセンサ４１から入力される信号は、走行状況判定手段３４ｃが、現在車両が走行している所が、車両周辺の輝度が高い所であるか否かの判断をするために用いられる。車速センサ４２及び操舵角センサ４３から入力される信号は、走行状況判定手段３４ｃが、現在車両が走行している所が、市街地であるか郊外であるかの判断をするために用いられる。
【００５３】
一般に、市街地では、車速は遅く、操舵角の変化する頻度は高い。一方、郊外では、車速は速く、操舵角の変化する頻度は低い。従って、車速センサ４２及び操舵角センサ４３から入力される信号に基いて、走行状況判定手段３４ｃは、現在車両が走行している所が、市街地であるか郊外であるかの判断をすることができる。又、一般に、市街地は車両周辺の輝度が高い場合が多く、郊外は車両周辺の輝度が低い場合が多いため、市街地であるか郊外であるかにより、車両が車両周辺の輝度が高い所を走行中か否かを判定することができる。
【００５４】
このように、走行状況判定手段３４ｃは、コンライトセンサ４１から得られる車両周辺の輝度の情報と、車速センサ４２及び操舵角センサ４３から得られる、現在車両が走行している所が、市街地であるか郊外であるかの情報とを総合して、車両が車両周辺の輝度が高い所を走行中か否かを判定する。
【００５５】
ステップ２０１において、映像合成手段３５は、第１の入力信号処理手段３２及び第２の入力信号処理手段３３から入力される第１の映像信号及び第２の映像信号に所定の重みをつける。具体的には、第２の映像信号（近赤外線領域を含む光による映像信号）の重み係数Ｋを決定する（Ｓ２０１）。第１の映像信号の重みは（１−Ｋ）とする。なお、重み係数Ｋは、映像輝度判定手段３４ａ、歩行者判定手段３４ｂ及び走行状況判定手段３４ｃの判定結果に基いて決定する。
【００５６】
例えば、表２に示すように映像輝度判定手段３４ａの映像輝度の判定結果と歩行者判定手段３４ｂの歩行者の有無の判定結果と走行状況判定手段３４ｃの車両周辺の輝度の判定結果と重み係数Ｋとの関係を予め記憶手段に記憶しておき、入力された映像輝度判定手段３４ａ、歩行者判定手段３４ｂ及び走行状況判定手段３４ｃの判定結果から対応する重み係数Ｋを決定する。表２において、映像輝度は０が最も輝度が低く（暗い）、４に近づくほど輝度が高くなる（明るい）ことを示している。車両周辺の輝度は０は輝度が低く（暗い）、１は輝度が高い（明るい）ことを示している。又、重み係数Ｋは、第２の映像（近赤外線領域を含む光による映像）の重みを示している。
【００５７】
【表２】
2009253857.tif 000004
表２において、映像輝度が同じ場合の、歩行者有の場合及び歩行者無の場合のそれぞれについて、更に、車両周辺の輝度に基いた重み係数Ｋを設定している。これにより、第２の実施の形態では、第１の実施の形態と比較して、更に、重み係数Ｋを微調整することが可能となり、よりピントの合った映像を得ることができる。
【００５８】
次いで、図２に示すフローチャートのステップ１０６及びステップ１０７と同様の動作を行い、映像合成手段３５は、ステップ１０６で合成した映像信号を表示部５０に出力し、合成した映像信号は表示部５０に表示される。なお、ステップ２００及びステップ２０１を含むステップ１００からステップ１０７の動作は、所定の周期で繰り返される。
【００５９】
本発明の第２の実施の形態によれば、本発明の第１の実施の形態の場合と同様に、映像取得部２０が取得した映像の輝度（映像輝度）を判定し、映像輝度が高い場合には、第２の映像（近赤外線領域を含む光による映像）の重み係数Ｋを小さくし、第１の映像（可視光線領域を含む光による映像）の重みを大きくして、第１の映像（可視光線領域を含む光による映像）と第２の映像（近赤外線領域を含む光による映像）とを合成する。又、歩行者の有無を判定し、映像輝度が同じ場合には、歩行者有と判定された場合の第２の映像（近赤外線領域を含む光による映像）の重み係数Ｋを、歩行者無と判定された場合の第２の映像（近赤外線領域を含む光による映像）の重み係数Ｋよりも小さくして、第１の映像（可視光線領域を含む光による映像）と第２の映像（近赤外線領域を含む光による映像）とを合成する。
【００６０】
すなわち、映像取得部２０が取得した映像の輝度（映像輝度）及び映像の一部分の輝度（歩行者の部分）が高いことを判定し、輝度が高いと判定した場合には、第１の映像（可視光線領域を含む光による映像）よりも波長が長く、ピントの合っていないボケた映像になりやすい第２の映像（近赤外線領域を含む光による映像）の重みを低くして、第１の映像（可視光線領域を含む光による映像）と第２の映像（近赤外線領域を含む光による映像）とを合成する。
【００６１】
その結果、撮像素子に入射される光量が多い場合（輝度が高い場合）にもピントの合った映像を得ることができる。又、第１の映像（可視光線領域を含む光による映像）の重みを大きくすることにより、カラー映像表示が可能となる。
【００６２】
又、本発明の第２の実施の形態によれば、走行状況判定手段３４ｃにより車両周辺の輝度を判定し、判定結果に基いて重み係数Ｋを微調整することにより、よりピントの合った映像を得ることができる。
【００６３】
以上、本発明の好ましい実施の形態について詳説したが、本発明は、上述した実施の形態に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。
【００６４】
例えば、本発明の第２の実施の形態では、コンライトセンサ４１、車速センサ４２及び操舵角センサ４３から得られる情報を総合し、車両周辺の輝度（明るさ）を判定する例を示したが、これらのセンサに代えて、又は、これらのセンサに加えて、他のセンサの情報を用いて車両周辺の輝度（明るさ）を判定しても構わない。他のセンサの例としては、例えば、傾斜センサやＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等を挙げることができる。傾斜センサやＧＰＳを用いることにより、車両の走行状況（現在車両が走行している所が、市街地であるか郊外であるか等）を容易に判断することができる。
【００６５】
又、本発明の第１の実施の形態では、重み係数Ｋを映像輝度判定手段３４ａ及び歩行者判定手段３４ｂの判定結果に基いて決定する例を示し、本発明の第２の実施の形態では、重み係数Ｋを映像輝度判定手段３４ａ、歩行者判定手段３４ｂ及び走行状況判定手段３４ｃの判定結果に基いて決定する例を示した。しかし、重み係数Ｋは、映像輝度判定手段３４ａ、歩行者判定手段３４ｂ及び走行状況判定手段３４ｃのうちの何れか一つの判定結果のみに基いて決定しても構わない。
【００６６】
又、本発明の第１の実施の形態における表１、及び、本発明の第２の実施の形態における表２には、具体的な数値を示したが、本発明はこれらの数値に限定されるものではない。
【図面の簡単な説明】
【００６７】
【図１】本発明の第１の実施の形態に係る車両用周辺監視装置１０の概略の構成を例示する図である。
【図２】本発明の第１の実施の形態に係る車両用周辺監視装置１０で行われる動作のフローチャートを例示する図である。
【図３】映像取得部２０が取得した映像輝度が低い場合の近赤外線映像を例示する図である。
【図４】映像取得部２０が取得した映像輝度が高い場合の近赤外線映像を例示する図である。
【図５】本発明の第２の実施の形態に係る車両用周辺監視装置１０で行われる動作のフローチャートを例示する図である。
【符号の説明】
【００６８】
１０  車両用周辺監視装置
２０  映像取得部
２１  レンズ
２２  第１のプリズム
２３  第２のプリズム
２４  第１の撮像素子
２５  第２の撮像素子
３０  信号処理部
３１  基準信号生成手段
３２  第１の入力信号処理手段
３３  第２の入力信号処理手段
３４  輝度判定手段
３４ａ  映像輝度判定手段
３４ｂ  歩行者判定手段
３４ｃ  走行状況判定手段
３５  映像合成手段
４０  センサ部
４１  コンライトセンサ
４２  車速センサ
４３  操舵角センサ
５０  表示部
【図１】
2009253857.tif 000005
【図２】
2009253857.tif 000006
【図５】
2009253857.tif 000007
【図３】
2009253857.tif 000008
【図４】
2009253857.tif 000009