(57)【要約】【課題】  対象物の種類を車両の乗員に認識させるようにその対象物の存在を通報することができる車両周辺監視装置を提供する。【解決手段】  本発明の車両周辺監視装置１によれば、たとえばＨＵＤ７に表示される車両周辺画像における対象物の存在の表示形態の相違に応じて、この対象物の存在に加えてその種類を車両１０の乗員に視覚を通じて通報することができる。ＨＵＤ７に表示される第１マークＭ１および第２マークＭ２のデザインの相違、または、第１フレームＦ１および第２フレームＦ２のデザインの相違に応じて、対象物が人間および四足動物のうちいずれに該当するかを車両１０の運転者に認識させることができる。【選択図】図４
2010108507.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されている撮像装置により得られた撮像画像を用いて、前記車両と対象物との接触可能性が高い場合に前記対象物の存在を通報装置により前記車両の乗員に対して通報する車両周辺監視装置であって、前記撮像画像から前記対象物に相当する画像領域を対象物領域として抽出する対象物抽出手段と、前記対象物抽出手段により抽出された前記対象物領域の形状およびサイズに基づいて前記対象物が人間および四足動物のうちいずれであるかを判定する対象物種類判定手段と、前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させる通報制御手段を備える車両周辺監視装置において、
前記車両と前記対象物との距離を測定する距離測定手段をさらに備え、
前記対象物種類判定手段は、前記距離測定手段により測定された前記距離が基準距離以下であることを要件として前記対象物種別の判定を行ない、前記通報制御手段は、前記対象物の種類が人間であると判断された場合には第１通報処理によって前記対象物の存在を前記通報装置に通報させる一方、前記対象物の種類が四足動物であると判断された場合は前記第１通報処理とは異なる第２通報処理によって前記対象物の存在を前記通報装置に通報させ、
前記対象物種類判定手段は、前記距離が基準距離よりも長いことを要件として前記対象物種別の判定を行わず、前記通報制御手段は、前記第１通報処理および前記第２通報処理のそれぞれとは異なる第３通報処理によって前記対象物の存在を前記通報装置に通報させることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記車両の速度を測定する車速測定手段を備え、
前記通報制御手段は、前記対象物種類判定手段により判定された前記対象物の種類の相違に加えて、前記車速測定手段により測定された前記車両の速度の高低に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させることを特徴とする車両周辺監視装置。
【請求項３】
請求項１記載の車両周辺監視装置において、
前記通報装置として前記車両の周辺画像を表示する画像表示装置を備え、
前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記画像表示装置に異なる形態で表示させることを特徴とする車両周辺監視装置。
【請求項４】
請求項１記載の車両周辺監視装置において、
前記通報装置として前記対象物の存在を示す音声を出力する音声出力装置を備え、
前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記音声出力装置に異なる形態の音声を出力させることを特徴とする車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されている撮像装置により得られた撮像画像を用いて、前記車両と対象物との接触可能性が高い場合に前記対象物の存在を通報装置により前記車両の乗員に対して通報する車両周辺監視装置に関する。
【背景技術】
【０００２】
車両の周辺に存在する動物等の対象物の時系列的な位置データに基づいてその対象物の実空間における移動ベクトルを算出し、この移動ベクトルに基づいて車両と対象物との接触可能性の高低を判定し、当該接触可能性が高いと判定した場合にはその旨を運転者に通報する車両周辺監視装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−００６０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、対象物が歩行者もしくは自転車乗員等の人間である、または、鹿もしくは犬等の四足動物である等、対象物の種類を認識することが車両の運転者にとって有用な情報であるにもかかわらず、単なる通報だけでは対象物の種類を運転者に認識させることができない。
【０００５】
そこで、本発明は、対象物の種類を車両の乗員に認識させるようにその対象物の存在を通報することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、車両に搭載されている撮像装置により得られた撮像画像を用いて、前記車両と対象物との接触可能性が高い場合に前記対象物の存在を通報装置により前記車両の乗員に対して通報する車両周辺監視装置であって、前記撮像画像から前記対象物に相当する画像領域を対象物領域として抽出する対象物抽出手段と、前記対象物抽出手段により抽出された前記対象物領域の形状およびサイズに基づいて前記対象物が人間および四足動物のうちいずれであるかを判定する対象物種類判定手段と、前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させる通報制御手段を備える車両周辺監視装置に関する。
【０００７】
前記課題を解決するための本発明の車両周辺監視装置は、前記車両と前記対象物との距離を測定する距離測定手段をさらに備え、前記対象物種類判定手段は、前記距離測定手段により測定された前記距離が基準距離以下であることを要件として前記対象物種別の判定を行ない、前記通報制御手段は、前記対象物の種類が人間であると判断された場合には第１通報処理によって前記対象物の存在を前記通報装置に通報させる一方、前記対象物の種類が四足動物であると判断された場合は前記第１通報処理とは異なる第２通報処理によって前記対象物の存在を前記通報装置に通報させ、前記対象物種類判定手段は、前記距離が基準距離よりも長いことを要件として前記対象物種別の判定を行わず、前記通報制御手段は、前記第１通報処理および前記第２通報処理のそれぞれとは異なる第３通報処理によって前記対象物の存在を前記通報装置に通報させることを特徴とする。
【０００８】
本発明の車両周辺監視装置によれば、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在に加えてその種類を車両の乗員に認識させることができる。なお「撮像画像」は撮像された原画像そのもののほか、この原画像が画像処理されることにより得られる加工画像をも含む概念である。また、対象物が車両から遠くにあるほどこの対象物の種類判定精度が低くなることに鑑みて、当該判定精度がある程度高い状態においてのみ、対象物の種類の相違に応じて異なる形態でこの対象物の存在が車両の運転者に通報される。このため、車両周辺監視装置による対象物の種類の誤判定によって、誤った形態でこの対象物の存在が通報される事態が回避されうる。さらに、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在およびその種類に加えて、車両とこの対象物との距離の長短を車両の乗員に認識させることができる。
【０００９】
前記車両周辺監視装置が前記車両の速度を測定する車速測定手段を備え、前記通報制御手段が、前記対象物種類判定手段により判定された前記対象物の種類の相違に加えて、前記車速測定手段により測定された前記車両の速度の高低に応じて、前記対象物の存在を前記通報装置に異なる形態で通報させてもよい。
【００１０】
当該構成の車両周辺監視装置によれば、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在およびその種類に加えて、車両の速度の高低を車両の乗員に認識させることができる。
【００１１】
前記通報装置として前記車両の周辺画像を表示する画像表示装置を備え、前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記画像表示装置に異なる形態で表示させてもよい。
【００１２】
当該構成の車両周辺監視装置によれば、車両周辺画像における対象物の存在の表示形態の相違に応じて、この対象物の存在に加えてその種類を車両の乗員に視覚を通じて通報することができる。
【００１３】
前記車両周辺監視装置が前記通報装置として前記対象物の存在を示す音声を出力する音声出力装置を備え、前記対象物種類判定手段により判定された前記対象物の種類の相違に応じて、前記対象物の存在を前記音声出力装置に異なる形態の音声を出力させてもよい。
【００１４】
当該構成の車両周辺監視装置によれば、対象物の存在を表わす音声の出力形態の相違に応じて、この対象物の存在に加えてその種類を車両の乗員に聴覚を通じて認識させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の車両周辺監視装置の構成説明図
【図２】車両周辺監視装置が搭載されている車両に関する説明図
【図３】車両周辺監視装置の機能を示すフローチャート
【図４】異なる通報処理に関する説明図
【発明を実施するための形態】
【００１６】
本発明の車両周辺監視装置の実施形態について説明する。
【００１７】
まず、本実施形態の車両周辺監視装置の構成について説明する。
【００１８】
車両周辺監視装置は図１および図２に示されている画像処理ユニット１を備えている。画像処理ユニット１には、車両１０の前方を撮像する左右一対の赤外線カメラ（本発明の「撮像装置」に該当する。）２Ｒ，２Ｌが接続されるとともに、車両１０の走行状態を検出するセンサとして、車両１０のヨーレートを検出するヨーレートセンサ３、車両１０の走行速度（車速）を検出する車速センサ４および車両１０のブレーキ操作の有無を検出するブレーキセンサ５が接続されている。
【００１９】
さらに、画像処理ユニット１には、音声などによる聴覚的な通報情報を出力するためのスピーカ（本発明の「音声出力装置」に該当する。）６および赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な通報情報を表示するためにフロントウィンドウ付近に配置されているＨＵＤ（ヘッド・アップ・ディスプレイ。本願発明の「画像表示装置」に該当する。）７が接続されている。
【００２０】
なお、対象物との距離がレーダーにより測定される場合、１台の赤外線カメラのみが車両１０に搭載されてもよい。ＨＵＤに代えてまたは加えて、車両１０の車速などの走行状態を表示するディスプレイ、あるいは、車載ナビゲーション装置が有するディスプレイが画像表示装置として採用されてもよい。
【００２１】
画像処理ユニット１は、Ａ／Ｄ変換回路、ＣＰＵ、ＲＡＭ、ＲＯＭ等のメモリ、Ｉ／Ｏ回路およびこれらを接続するバスなどにより構成されているＥＣＵ（電子制御ユニット）により構成されている。画像処理ユニット１（詳細にはメモリまたは記憶装置に格納されているプログラムにしたがって演算処理を実行するＣＰＵ）が、本発明の「対象物抽出手段」「対象物種類判定手段」および「通報制御手段」を構成する。
【００２２】
赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４およびブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化され、ＣＰＵによりデジタル化されたデータに基づき、人間（歩行者または自転車もしくは二輪自動車の乗員など）または四足動物（鹿、馬または犬など）等の対象物を検出し、検出した対象物が所定の通報要件を満たす場合にスピーカ６やＨＵＤ７を通じて対象物の存在、または、車両１０と対象物との接触可能性の高低を運転者に通報する。
【００２３】
図２に示されているように、赤外線カメラ２Ｒ，２Ｌは、車両１０の前方を撮像するために車両１０の前部（図ではフロントグリルの部分）に取り付けられている。右側の赤外線カメラ２Ｒは車両１０の車幅方向の中心よりも右寄りの位置に配置され、左側の赤外線カメラ２Lは車両１０の車幅方向の中心よりも左寄りの位置に配置されている。それらの位置は車両１０の車幅方向の中心に対して左右対称である。
【００２４】
赤外線カメラ２Ｒ，２Ｌは光軸が互いに平行に車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。
【００２５】
次に、前記構成の車両周辺監視装置の機能について説明する。なお、画像処理の詳細は特開２００１−００６０９６号公報および特開２００７−３１０７０５号公報に開示されているので簡単に説明する。まず、赤外線カメラ２Ｒ、２Ｌの赤外画像信号が画像処理ユニット１に入力され、赤外画像信号がＡ／Ｄ変換され、Ａ／Ｄ変換された赤外画像信号に基づいてグレースケール画像が生成され、基準となるグレースケール画像（右画像）が２値化される。その上で、２値化画像において対象物が存在する領域が対象物領域Ｓとして抽出される（図３／ＳＴＥＰ００２）。
【００２６】
具体的には、２値化画像の高輝度領域を構成する画素群がランレングスデータに変換され、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）が付され、ライン群のそれぞれが対象物領域Ｓとして抽出される。これにより、図４（ａ）〜（ｃ）に斜線付きで示されているようなひとまとまりの高輝度画素（画素値＝１の画素）により構成される高輝度領域が対象物領域Ｓとして抽出される。
【００２７】
続いて、各対象物の重心の位置（基準画像上での位置）、面積および外接四角形の縦横比が算定される。また、対象物の時刻間追跡が実行され、画像処理ユニット１の演算処理周期毎の対象物の同一性が判定される。さらに、車速センサ４およびヨーレートセンサ５の出力（車速の検出値及びヨーレートの検出値）が読み込まれる。また、外接四角形の縦横比算出および対象物の時刻間追跡と並行して、基準画像のうち、各対象物に対応する領域（たとえば対象物の外接四角形の領域）が探索画像として抽出される。さらに、相関演算が実行されることにより左画像中から探索画像に対応する画像（対応画像）が探索かつ抽出される。
【００２８】
また、車両１０から対象物までの実空間距離（車両１０の前後方向における距離）ｚが算定される（図３／ＳＴＥＰ００４）。
【００２９】
また、各対象物の実空間位置（車両１０に対する相対位置）が算定される。さらに、対象物の実空間位置（Ｘ，Ｙ，Ｚ）（図２参照）のうちのＸ成分が回頭角の時系列データに応じて補正される。また、車両１０に対する対象物の相対移動ベクトルが算定される（図３／ＳＴＥＰ００６）。
【００３０】
さらに、車両１０と対象物との接触可能性の高低が判定される（図３／ＳＴＥＰ００８）。
【００３１】
この判定手法についても特開２００１−００６０９６号公報および特開２００７−３１０７０５号公報に開示されているので簡単に説明する。まず、対象物の実空間距離ｚが相対速度Ｖｓと余裕時間Ｔとの乗算値以下であるか否かが判定される。また、実空間距離ｚが当該値以下であると判定された場合、対象物が接近判定領域に存在するか否かが判定される（第１の接触判定処理）。接近判定領域は車両１０の前方において車両１０の左右方向に対称に広がり、車両１０の幅にオフセット値を加えた幅を有している。第１の接触判定処理における判定結果が肯定的である場合、対象物が車両１０と接触する可能性が高いと判定される。
【００３２】
一方、第１の接触判定処理における判定結果が否定的である場合、対象物が接近判定領域の外側にある進入判定領域に存在し、かつ、対象物の相対移動ベクトルが接近判定領域に向かっているか否かがさらに判定される（第２の接触判定処理）。第２の接触判定処理における判定結果が肯定的である場合、対象物が車両１０と接触する可能性が高いと判定される。
【００３３】
車両１０と対象物との接触可能性が高いと判定された場合（第１または第２の接触判定処理における判定結果が肯定的である場合）（図３／ＳＴＥＰ００８‥ＹＥＳ）、対象物が人工構造物等、その存在の通報の必要性が低い物体に該当するか否かが判定される（図３／ＳＴＥＰ０１０）。
【００３４】
たとえば、対象物が歩行者または四足動物には該当し得ないような外形上の特徴がこの対象物において検知された場合、この対象物が人工構造物に該当すると判定される。車両１０と対象物との接触可能性が低いと判定された場合（第１および第２の接触判定処理における判定結果が否定的である場合）（図３／ＳＴＥＰ００８‥ＮＯ）、または、対象物が通報対象に該当しないと判定された場合（図３／ＳＴＥＰ０１０‥ＮＯ）、後述の通報処理が実行されることなく対象物領域Ｓの抽出以降の処理が繰り返される（図３／ＳＴＥＰ００２等参照）。
【００３５】
対象物が人工構造物等に該当しないと判定された場合（図３／ＳＴＥＰ０１０‥ＹＥＳ）、対象物の実空間距離ｚが閾値ｚｔｈ以下であるか否かが判定される（図３／ＳＴＥＰ０１２）。閾値ｚｔｈは対象物の種類判定精度の高低の観点から設定される。
【００３６】
対象物の実空間距離ｚが閾値ｚｔｈ以下であると判定された場合（図３／ＳＴＥＰ０１２‥ＹＥＳ）、この対象物が歩行者または自転車乗員等の人間に該当するか否かが判定される（図３／ＳＴＥＰ０１４）。
【００３７】
また、対象物が人間に該当しないと判定された場合（図３／ＳＴＥＰ０１４‥ＮＯ）、この対象物が鹿、馬または犬等の四足動物に該当するか否かが判定される（図３／ＳＴＥＰ０１６）。具体的には、グレースケール画像上で対象物領域Ｓの形状もしくはサイズ、または、輝度分布等の特徴量に基づき、対象物が人間または四足動物に該当するか否かが判定される。
【００３８】
そして、対象物が人間に該当すると判定された場合（図３／ＳＴＥＰ０１４‥ＹＥＳ）、「第１通報処理」が実行される（図３／ＳＴＥＰ０２２）。これにより、スピーカ６から「ピピピ」というように短い音声が３回にわたり続けて出力される。また、図４（ａ）に示されているように対象物を囲む矩形状の第１フレームＦ１と、対象物が人間であることを示す第１マークＭ１とがＨＵＤ７に表示される。
【００３９】
また、対象物が四足動物に該当すると判定された場合（図３／ＳＴＥＰ０１６‥ＹＥＳ）、「第２通報処理」が実行される（図３／ＳＴＥＰ０２４）。これにより、スピーカ６から「ピピ」というように短い音声が２回にわたり続けて出力される。また、図４（ｂ）に示されているように対象物を囲む八角形状の第２フレームＦ２と、対象物が四足動物であることを示す第２マークＭ２とがＨＵＤ７に表示される。
【００４０】
さらに、対象物の実空間距離ｚが閾値ｚｔｈを超えていると判定された場合（図３／ＳＴＥＰ０１２‥ＮＯ）、「第３通報処理」が実行される（図３／ＳＴＥＰ０２６）。これにより、スピーカ６から「ピ」というように短い音声が１回だけ出力される。また、図４（ｃ）に示されているように対象物を囲む円形状の第３フレームＦ３と、対象物が車両１０と接触可能性が高い人間または四足動物等の物体であることを示す第３マークＭ３とがＨＵＤ７に表示される。
【００４１】
第１フレームＦ１〜第３フレームＦ３のそれぞれのデザイン（形状、色彩もしくは模様またはこれらの組み合わせを意味する。）は相違している。第１マークＭ１〜第３マークＭ３のそれぞれのデザインも相違している。各通報処理に際して出力される音声も相違している。なお、各通報処理においてマークおよびフレームのうち一方のみが表示されてもよく、画像および音声のうち両方ではなく一方のみが出力されてもよい。
【００４２】
前記機能を発揮する車両周辺監視装置によれば、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在に加えてその種類を車両１０の乗員に認識させることができる（図３／ＳＴＥＰ０２２、ＳＴＥＰ０２４参照）。
【００４３】
すなわち、スピーカ６から出力される対象物の存在を表わす音声の出力形態の相違に応じて、この対象物の存在に加えてその種類を車両の乗員に聴覚を通じて認識させることができる。たとえば、スピーカ６からの出力音声の相違に応じて、対象物が人間および四足動物のうちいずれに該当するかを車両１０の運転者に認識させることができる。
【００４４】
また、ＨＵＤ７に表示される車両周辺画像における対象物の存在の表示形態の相違に応じて、この対象物の存在に加えてその種類を車両１０の乗員に視覚を通じて通報することができる。たとえば、ＨＵＤ７に表示される第１マークＭ１および第２マークＭ２のデザインの相違、または、第１フレームＦ１および第２フレームＦ２のデザインの相違に応じて、対象物が人間および四足動物のうちいずれに該当するかを車両１０の運転者に認識させることができる（図４（ａ）（ｂ）参照）。
【００４５】
さらに、対象物が車両１０から遠くにあるほどこの対象物の種類判定精度が低くなることに鑑みて、当該判定精度がある程度高い状態、すなわち、対象物の実空間距離ｚが閾値ｚｔｈ以下である場合においてのみ、対象物の種類の相違に応じて異なる形態でこの対象物の存在が車両１０の運転者に通報される（図３／ＳＴＥＰ０１２、図４（ａ）〜（ｃ）参照）。
【００４６】
このため、車両周辺監視装置１による対象物の種類の誤判定によって、誤った形態でこの対象物の存在が通報される事態が回避されうる。ただし、対象物の実空間距離ｚが閾値ｚｔｈを超えている場合も、この対象物の存在が通報されるので（図３／ＳＴＥＰ０２６，図４（ｃ）参照）、この対象物に対する運転者の注意を喚起することができる。
【００４７】
なお、対象物の種類の相違に加えて、実空間距離ｚの長短に応じて、対象物の存在が異なる形態で通報されてもよい。対象物の実空間距離ｚが閾値ｚｔｈを超えている場合もこの対象物の種類が判定されてもよい。閾値ｚｔｈに代えてこれよりも小さい第２の閾値以下であるか否かに応じて車両１０から対象物までの距離の長短が判定されてもよい。
【００４８】
たとえば、対象物が人間に該当すると判定された一方（図３／ＳＴＥＰ０１４参照）、この対象物の実空間距離ｚが短い場合と、この対象物の実空間距離ｚが長い場合とのそれぞれにおいてデザインが異なるマークがＨＵＤ７に表示されてもよい。
【００４９】
当該構成によれば、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在およびその種類に加えて、車両１０とこの対象物との距離の長短を運転者に認識させることができる。
【００５０】
また、対象物までの距離に代えて、撮像画像における対象物の大きさが所定閾値を超えていることを条件として対象物の種類の相違に応じて、当該対象物の存在が異なる形態で運転者に通報されてもよい。
【００５１】
さらに、対象物の種類の相違に加えて、車速センサ４の出力信号により測定された車両１０の速度の高低に応じて、対象物の存在が異なる形態で通報されてもよい。当該構成によれば、対象物の存在を表わす通報の形態の相違に応じて、この対象物の存在およびその種類に加えて、車両１０の速度の高低を運転者に認識させることができる。
【符号の説明】
【００５２】
１‥画像処理ユニット（対象物領域抽出手段、対象物分類手段）、２Ｒ，２Ｌ‥赤外線カメラ（撮像装置）
【図１】
2010108507.tif 000003
【図２】
2010108507.tif 000004
【図３】
2010108507.tif 000005
【図４】
2010108507.tif 000006