(57)【要約】【課題】車両周辺の状況に応じて車両周辺の対象物を適切に検出することができる車両周辺監視装置を提供すること。【解決手段】車両周辺が撮像されている撮像画像を画像処理して対象物を検出する車両周辺監視装置において、車両周辺の他車両の存在を検出する他車両検出手段１５と、他車両検出手段１５の検出結果に応じて撮像画像中の画像処理の対象となる画像領域を変更する変更手段１６とを備える。【選択図】図３
2010128768.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺が撮像されている撮像画像を画像処理して対象物を検出する車両周辺監視装置において、
車両周辺の他車両の存在を検出する他車両検出手段と、
前記他車両検出手段の検出結果に応じて、前記撮像画像中の画像処理の対象となる画像領域を変更する変更手段とを備える車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺が撮像されている撮像画像を画像処理して対象物を検出する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来から、車両周辺が撮像されている撮像画像を画像処理して対象物を検出する車両周辺監視装置として、撮像画像を複数の画像領域に区分し、先行車両を検出する目的で撮像画像の中央の画像領域を画像処理し、歩行者を検出する目的で撮像画像の左端及び右端の２つの画像領域を画像処理するものが知られている（例えば、特許文献１参照）。上記特許文献１記載の車両周辺監視装置は、目的毎に所定の画像領域を画像処理することで、カメラの画角の調節を不要とし、処理時間の短縮を図るものである。
【特許文献１】特開２００８−６０８７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１記載の車両周辺監視装置は、目的毎に画像処理の対象となる画像領域を変更することについて説明するが、同一目的で画像処理の対象となる画像領域を変更することについて言及がない。このため、車両周辺の状況によっては、画像処理の対象となる画像領域が適切ではなく、対象物を適切に検出できないことが考えられる。
【０００４】
本発明は、上記に鑑みてなされたものであって、車両周辺の状況に応じて車両周辺の対象物を適切に検出することができる車両周辺監視装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
前記目的を達成するため、本発明は、車両周辺が撮像されている撮像画像を画像処理して対象物を検出する車両周辺監視装置において、
車両周辺の他車両の存在を検出する他車両検出手段と、
前記他車両検出手段の検出結果に応じて、前記撮像画像中の画像処理の対象となる画像領域を変更する変更手段とを備える。
【発明の効果】
【０００６】
本発明によれば、車両周辺の状況に応じて車両周辺の対象物を適切に検出することができる車両周辺監視装置が得られる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【０００８】
図１は、本発明に係る車両周辺監視装置の一実施例を示すブロック図である。図２は、車両周辺監視装置の車両搭載状態の一例を示す側面図である。図１に示すように、車両周辺監視装置は、車両周辺が撮像されている撮像画像を画像処理して歩行者等の対象物を検出する電子制御ユニット（以下、「車両周辺監視ＥＣＵ」と称する）１０を中心に構成される。車両周辺監視ＥＣＵ１０は、図示しないバスを介して互いに接続されたＣＰＵ、ＲＯＭ、及びＲＡＭ等からなるマイクロコンピュータとして構成されている。ＲＯＭには、ＣＰＵが実行するプログラムやデータが格納されている。
【０００９】
車両周辺監視ＥＣＵ１０には、ＣＡＮやＬＩＮ等の車載ネットワークを介して、赤外線ランプ２０、赤外線カメラ３０、画像表示装置４０、車両周辺監視スイッチ５０、光センサ６０が接続されている。
【００１０】
赤外線ランプ２０は、車両周辺に赤外線を照射するものであって、例えば可視光をカットするフィルタにより赤外線のみを車両前方に照射する。赤外線ランプ２０から照射される赤外光は、人の目に感じない領域の波長を有しており、例えば夜間走行時に対向車の運転者がまぶしく感じることがないので、対向車の運行に支障を与えることなく、車両の前方に照射できる。また、赤外線は、可視光に比べて波長が長く、散乱しにくい性質があるため、雨や霧で視界が開けないときも、車両前方の対象物の画像を撮像しやすい。
【００１１】
赤外線カメラ３０は、車両周辺を撮像するものであって、車両周辺からの赤外線を受光して画像信号を出力する。例えば、赤外線カメラ３０は、赤外線を照射された対象物から反射した赤外線の反射率の差により対象物を撮像する。具体的には、赤外線カメラ３０は、レンズ部がフロントガラスの内側から車両の前方に向けて取り付けられており、車両前方からの近赤外線を受光するように車両の天井付近に設けられている。
【００１２】
画像表示装置４０は、赤外線カメラ３０が出力する画像信号を画像として表示する。例えば、画像表示装置４０は、ヘッドアップディスプレイを用いる。ヘッドアップディスプレイは、運転席の前のメータ上面に取り付けられており、赤外線カメラ３０が出力する画像信号から得られた画像（以下、「撮像画像」と称する）をフロントガラス２の内面に投影して表示する。
【００１３】
車両周辺監視スイッチ５０は、常態でオフに設定されており、ユーザによる操作に応じてオン信号を出力する。車両周辺監視装置は、車両周辺監視スイッチ５０がユーザによってオンに操作されると、車両周辺監視ＥＣＵ１０、赤外線ランプ２０、赤外線カメラ３０、画像表示装置４０を駆動して、運転者の運転操作を支援する。
【００１４】
夜間走行する場合等、運転者は、ヘッドランプ４からの可視光が照射される領域を目視により確認すると共に、画像表示装置４０により投影された撮像画像をフロントガラス２の位置で見ながら車両を運行する。
【００１５】
光センサ６０は、車両周辺からの光を受光して光量に応じた信号を出力するセンサである。例えば、光センサ６０は、先行車両のテールランプ（赤色灯）からの光を受光して光量に応じた信号を出力する先行車両用光センサ６２と、対向車両のヘッドランプからの光を受光して光量に応じた信号を出力する対向車両用光センサ６４とを備える。
【００１６】
先行車両用光センサ６２は、自車線上の所定範囲（例えば、車両前方５０ｍ以内の範囲）からの光を受光するように設けられている。先行車両用光センサ６２は、受光部がフロントガラスの内側から車両の前方に向けて取り付けられており、先行車両のテールランプ（赤色灯）からの光を受光するようにインストルメントパネル部の上面に設けられている。
【００１７】
対向車両用光センサ６４は、対向車線上の所定範囲（走行道路が左側通行の場合、例えば車両右前方５０ｍ以内の範囲、走行道路が右側通行の場合、例えば車両左前方５０ｍ以内の範囲）からの光を受光するように設けられている。対向車両用光センサ６４は、受光部がフロントガラスの内側から車両の斜め前方に向けて取り付けられており、対向車両のヘッドランプからの光を受光するようにインストルメントパネル部の上面に設けられている。
【００１８】
図３は、車両周辺監視ＥＣＵ１０の主要機能を示す機能ブロック図である。車両周辺監視ＥＣＵ１０は、画像作成手段１１と、対象物検出手段１２と、制御手段１３と、強調手段１４と、他車両検出手段１５と、変更手段１６とを備える。車両周辺監視ＥＣＵ１０は、各種手段１１〜１６に対応する制御プログラムをＲＯＭ等に格納し、それらの制御プログラムをＣＰＵに実行させることで各種機能を実現する。
【００１９】
画像作成手段１１は、赤外線カメラ３０が出力した画像信号から撮像画像を作成する手段である。
【００２０】
対象物検出手段１２は、画像作成手段１１が作成した撮像画像を画像処理して、車両周辺の歩行者等の対象物を検出する手段である。例えば、エッジ処理、ガンマ補正、二値化処理等の画像処理を行い、ＲＯＭ等に登録済みの画像データによるマッチング処理を行う方法がある。これにより、対象物の有無を検出する他、対象物の種別（歩行者、道路標識、建物等の種別）を判別してもよいし、対象物に対応する画像領域を抽出してもよい。
【００２１】
制御手段１３は、対象物検出手段１２の検出結果が歩行者等の生体の存在を示すものである場合、画像表示装置４０やスピーカ等の出力装置を駆動し、歩行者等の生体の存在を運転者に対して報知する。これにより、運転者の注意を喚起する。
【００２２】
強調手段１４は、画像作成手段１１が作成した撮像画像を画像処理（加工）して、対象物検出手段１２が検出、判別、抽出した歩行者等の生体の画像領域を強調する手段である。例えば、撮像画像中の歩行者の画像領域を所定色（例えば、白色）で塗りつぶして強調を行う方法や、撮像画像中の歩行者の画像領域を所定色（例えば、白色）の枠で囲むことで強調を行う方法がある。
【００２３】
また、強調手段１４は、自車両から歩行者等の生体までの距離に応じて強調度を変更してもよい。具体的には、自車両から近い歩行者ほど強調する。
【００２４】
制御手段１３は、画像表示装置４０を駆動して、強調手段１４が画像処理（加工）した撮像画像を動画として表示する。これにより、運転者には歩行者等の生体が強調表示されて見える。また、運転者には距離が近く注目すべき生体が強調表示されて見えるので、注目すべき優先度を知ることができる。
【００２５】
他車両検出手段１５は、車両周辺の他車両の存在（他車両のランプの点灯）を検出する手段である。例えば、他車両検出手段１５は、先行車両用光センサ６２が出力する信号を入力して、先行車両の有無を検出する。また、他車両検出手段１５は、対向車両用光センサ６４が出力する信号を入力して、対向車両の有無を検出する。他車両検出手段１５は、これらの検出結果を変更手段１６に出力する。出力される検出結果には、先行車両の有無、対向車両の有無を示す情報が含まれている。
【００２６】
尚、本実施例の他車両検出手段１５は、光センサ６２、６４が出力する信号を入力して車両周辺の他車両の存在を検出するとしたが、レーザレーダやミリ波レーダ、超音波センサ等を用いて車両周辺に電波等を送信しその反射波を受信することで車両周辺の他車両の存在を検出してもよく、車両周辺の他車両の存在を検出する検出方法に制限はない。
【００２７】
尚、光センサ６２、６４を用いる場合、レーザレーダやミリ波レーダ、超音波センサ等を用いる場合に比較して、安価な構成で車両周辺の他車両の存在を検出することができる。一方、レーザレーダ等を用いる場合、光センサ６２、６４を用いる場合に比較して、他車両との車間距離及び相対速度を検出することができるので、例えば車両前方の他車両が先行車両か対向車両かを正確に判別することができる。
【００２８】
変更手段１６は、他車両検出手段１５の検出結果に応じて、撮像画像中の画像処理の対象となる画像領域を変更する手段である。即ち、変更手段１６は、車両周辺に他車両が存在する場合、他車両のヘッドランプによって自車両のヘッドランプの照射領域外が照明されており運転者が目視で確認できる範囲が変化することに着目して、撮像画像中の画像処理の対象となる画像領域を変更するものである。
【００２９】
図４は、画像作成手段１１が作成した撮像画像、及び撮像画像中の画像処理の対象となる画像領域の一例を示す模式図であり、（Ａ）は対向車両が有り且つ先行車両が無い場合の模式図、（Ｂ）は対向車両が無く且つ先行車両が有る場合の模式図、（Ｃ）は対向車両及び先行車両のいずれも無い場合の模式図である。
【００３０】
赤外線カメラ３０が撮像した撮像画像は、例えば、図４に示すように、車両前方の方向を撮像したものであって、自車線Ｌ１や対向車線Ｌ２等の車道と、歩道や建物等の車道両脇とを含んでいる。尚、図４において、走行道路は左側通行である。
【００３１】
図４（Ａ）に示す例では、車両前方の所定範囲（例えば、５０ｍ以内の範囲）に対向車両Ｃ１が存在するので、対向車両Ｃ１のヘッドランプによって対向車線Ｌ２が照明されている。従って、運転者は、対向車線Ｌ２上の対象物を目視で確認でき、画像表示装置４０が投影する撮像画像で確認する必要がない。
【００３２】
そこで、変更手段１６は、他車両検出手段１５の検出結果が対向車両Ｃ１の存在を示すものである場合、画像処理の対象となる画像領域を撮像画像Ｐ１中の画像領域Ａ１（図４（Ａ）参照）に設定する。画像領域Ａ１は、自車線Ｌ１に対応する領域Ａ１−１と、自車線Ｌ１を基準として対向車線Ｌ２と反対側（左側通行では自車線Ｌ１より左側、右側通行では自車線Ｌ１より右側）に対応する領域Ａ１−２とを含む。
【００３３】
このように、画像処理の対象となる画像領域を撮像画像Ｐ１中の特定の画像領域Ａ１に設定することで、対象物検出手段１２や強調手段１４の画像処理の速度を向上することができる。これにより、例えば、歩行者等の生体の存在を運転者に対して比較的に早期に報知することができる。また、特定の画像領域Ａ１の歩行者等の生体の画像領域が強調されるので、注目すべき優先度を運転者に提示することができる。
【００３４】
図４（Ｂ）に示す例では、車両前方の所定範囲（例えば、５０ｍ以内の範囲）に先行車両Ｃ２が存在するので、先行車両Ｃ２のヘッドランプによって自車線Ｌ１上の遠方が照明されている。従って、運転者は、自車線Ｌ１上の遠方の対象物を目視で確認でき、画像表示装置４０が投影する撮像画像で確認する必要がない。
【００３５】
そこで、変更手段１６は、他車両検出手段１５の検出結果が先行車両Ｃ２の存在を示すものである場合、画像処理の対象となる画像領域を撮像画像Ｐ２中の画像領域Ａ２（図４（Ｂ）参照）に設定する。画像領域Ａ２は、自車線Ｌ１より左側に対応する領域Ａ２−１と、自車線Ｌ１より右側に対応する領域Ａ２−２とを含む。
【００３６】
このように、画像処理の対象となる画像領域を撮像画像Ｐ２中の特定の画像領域Ａ２に設定することで、対象物検出手段１２や強調手段１４の画像処理の速度を向上することができる。これにより、例えば、歩行者等の生体の存在を運転者に対して比較的に早期に報知することができる。また、特定の画像領域Ａ２の歩行者等の生体の画像領域が強調されるので、注目すべき優先度を運転者に提示することができる。
【００３７】
図４（Ｃ）に示す例では、車両前方の所定範囲に対向車両及び先行車両が存在しないので、運転者が対向車線Ｌ２上の対象物や自車線Ｌ１上の遠方の対象物を目視で確認することは困難である。
【００３８】
そこで、変更手段１６は、他車両検出手段１５の検出結果が対向車両及び先行車両の不在を示すものである場合、画像処理の対象となる画像領域を撮像画像Ｐ３中の画像領域Ａ３（図４（Ｃ）参照）に設定する。画像領域Ａ３は、上述の画像領域Ａ１及びＡ２を含み、撮像画像Ｐ３の車幅方向全域に及ぶ。
【００３９】
このように、画像処理の対象となる画像領域を撮像画像Ｐ３中の画像領域Ａ３に設定することで、自車両のヘッドランプの照射領域外に潜在する、歩行者等の対象物の存在を確実に検出することができる。
【００４０】
ここで、車両監視ＥＣＵ１０が実行する処理の一例について図５を参照して説明する。図５は、車両監視ＥＣＵ１０が実行する処理の一例を示すフローチャートである。尚、図５において、走行道路は左側通行である。
【００４１】
車両監視ＥＣＵ１０は、車両周辺監視スイッチ５０がオンに操作されてから、オフに操作されるまでの間、所定時間毎に図５のＳ１００以降の処理を行う。
【００４２】
先ず、画像作成手段１１が、赤外線カメラ３０から出力された画像信号を用いて撮像画像を作成する（Ｓ１００）。続いて、他車両検出手段１５が、光センサ６２、６４から出力された信号を入力して、車両前方の所定範囲の対向車両の有無、及び先行車両の有無を検出する（Ｓ１０２）。
【００４３】
対向車両及び先行車両が存在する場合（Ｓ１０４、ＹＥＳ）、変更手段１６が、画像処理の対象となる画像領域を、自車線Ｌ１を基準として対向車線Ｌ２と反対側に対応する画像領域Ａ１−２に設定し（Ｓ１０６）、Ｓ１１８に進む。
【００４４】
また、対向車両のみ存在する場合（Ｓ１０８、ＹＥＳ）、変更手段１６が、画像処理の対象となる画像領域を、自車線Ｌ１に対応する画像領域Ａ１−１、及び自車線Ｌ１を基準として対向車線Ｌ２と反対側に対応する画像領域Ａ１−２に設定し（Ｓ１１０）、Ｓ１１８に進む。
【００４５】
或いは、先行車両のみ存在する場合（Ｓ１１２、ＹＥＳ）、変更手段１６が、画像処理の対象となる画像領域を、自車線Ｌ１より左側に対応する画像領域Ａ２−１、及び自車線Ｌ１より右側に対応する画像領域Ａ２−２に設定し（Ｓ１１４）、Ｓ１１８に進む。
【００４６】
一方、対向車両及び先行車両のいずれも不在の場合（Ｓ１１２、ＮＯ）、変更手段１６が、画像処理の対象となる画像領域を、画像領域Ａ１及びＡ２を含み、撮像画像の車幅方向全域に及ぶ画像領域Ａ３に設定し（Ｓ１１６）、Ｓ１１８に進む。
【００４７】
Ｓ１１８では、対象物検出手段１２が、変更手段１６によって設定された画像領域を画像処理して、歩行者等の対象物の有無を検出する。続いて、強調手段１４が、画像作成手段１１によって作成された撮像画像を画像処理（加工）して、対象物検出手段１２によって検出、判別、抽出された歩行者等の生体の画像領域を強調する（Ｓ１２０）。最後に、制御手段１３が、画像表示装置４０を駆動して、強調手段１４によって画像処理（加工）された撮像画像を表示し（Ｓ１２２）、今回の処理を終了する。
【００４８】
以上説明したように、本実施例の車両周辺監視装置によれば、車両周辺の他車両の検出結果に応じて、撮像画像中の画像処理の対象となる画像領域を変更するので、車両周辺の状況に応じて対象物を適切に検出することができ、且つ、処理速度を向上することができる。
【００４９】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【００５０】
例えば、上述した実施例において、車両周辺監視ＥＣＵ１０は強調手段１４を備えるとしたが、強調手段１４を備えずともよく、この場合、制御手段１３は画像表示装置４０を駆動して画像作成手段１１が作成した撮像画像を動画として表示する。
【００５１】
また、上述した実施例において、変更手段１６は、対象物検出手段１２及び強調手段１４が画像処理する画像領域を変更するとしたが、本発明はこれに限定されない。例えば、変更手段１６は、対象物検出手段１２又は強調手段１４のいずれか一方が画像処理する画像領域を変更してもよい。この場合も、車両周辺の状況に応じて対象物を適切に検出することができ、且つ、画像処理速度を向上することができる。
【００５２】
また、上述した実施例において、変更手段１６は、他車両検出手段１５の検出結果に応じて、撮像画像中の画像処理の対象となる画像領域を車幅方向（画像横方向）について切り替えたが、本発明はこれに限定されない。例えば、車両前後方向（画像縦方向）について切り替えてもよい。具体的には、対向車両及び／又は先行車両の存在が検出された場合に自車両遠方に対応する画像領域を画像処理の対象とし、対向車両及び先行車両の不在が検出された場合に自車両近傍に対応する画像領域を画像処理の対象とする。或いは、撮像画像中の画像処理の対象となる画像領域を車幅方向及び車両前後方向の両方向について切り替えてもよい。いずれの場合であっても、車両周辺の状況に応じて対象物を適切に検出することができ、且つ、画像処理速度を向上することができる。
【００５３】
また、上述した実施例において、制御手段１３は、他車両検出手段１５の検出結果に応じて、ヘッドランプ４からの可視光が照射される領域を近傍、遠方に切り替えてもよい。
【００５４】
また、上述した実施例において、強調手段１４は、自車両から近い歩行者ほど強調するとしたが、他車両検出手段１５の検出結果に応じて、強調の仕方を変更してもよい。例えば、対向車両及び／又は先行車両が存在する場合に遠方の歩行者の画像領域を強調し、対向車両及び先行車両が不在の場合に近傍の歩行者の画像領域を強調してもよい。
【図面の簡単な説明】
【００５５】
【図１】本発明に係る車両周辺監視装置の一実施例を示すブロック図である。
【図２】車両周辺監視装置の車両搭載状態の一例を示す斜視図である。
【図３】車両周辺監視ＥＣＵ１０の主要機能を示す機能ブロック図である。
【図４】画像作成手段１１が作成した撮像画像、及び撮像画像中の画像処理の対象となる画像領域の一例を示す模式図である。
【図５】車両周辺監視ＥＣＵ１０が実行する処理の一例を示すフローチャートである。
【符号の説明】
【００５６】
１０    車両周辺監視ＥＣＵ
１１    画像作成手段
１２    対象物検出手段
１３    制御手段
１４    強調手段
１５    他車両検出手段
１６    変更手段
２０    赤外線ランプ
３０    赤外線カメラ
４０    画像表示装置
６０    光センサ
６２    先行車両用光センサ
６４    対向車両用光センサ
【図１】
2010128768.tif 000003
【図２】
2010128768.tif 000004
【図３】
2010128768.tif 000005
【図４】
2010128768.tif 000006
【図５】
2010128768.tif 000007