(57)【特許請求の範囲】
【請求項１】
車両の周囲の１又は２以上の障害物に関する障害物情報を取得する車外状況解析部と、
前記車外状況解析部により、前記車両の周囲に２以上の障害物が検知された際に、検知された障害物に対し注意喚起の優先度を決定する情報提示制御部と、
前記検知された障害物に対し、前記情報提示制御部で決定された優先度に応じた強調を行うための強調画像を生成して画像表示部に表示させる表示制御部とを備え、
前記情報提示制御部は、前記２以上の障害物のうち、一部が他の障害物に隠されている障害物についての優先度を高くし、
前記一部が他の障害物に隠されていると判定される障害物について、隠されている部分のサイズに基づいて前記優先度を決定し、
前記情報提示制御部は、前記隠されている部分のサイズの、当該障害物の全体のサイズに対する比に基づいて当該障害物の優先度を決定する
ことを特徴とする運転支援制御装置。
【請求項２】
前記情報提示制御部は、車両の周囲を撮像することで得られる撮像画像において、一部が他の障害物に隠されていると判定される障害物についての優先度を高くする
ことを特徴とする請求項１に記載の運転支援制御装置。
【請求項３】
前記撮像画像は、運転者の視点から車両の周囲を見たときの画像である
ことを特徴とする請求項２に記載の運転支援制御装置。
【請求項４】
前記情報提示制御部は、前記一部が隠されている障害物の色と、前記他の障害物との色とに基づいて、前記一部が隠されている障害物の優先度を決定する
ことを特徴とする請求項１から３のいずれか１項に記載の運転支援制御装置。
【請求項５】
前記情報提示制御部は、前記一部が隠されている障害物の色と、前記他の障害物との色との相違度が閾値よりも小さい場合に、前記優先度を高くする
ことを特徴とする請求項４に記載の運転支援制御装置。
【請求項６】
前記情報提示制御部は、前記一部が隠されている障害物と、前記他の障害物との相対速度にも基づいて、前記一部が隠されている障害物の優先度を決定する
ことを特徴とする請求項１から５のいずれか１項に記載の運転支援制御装置。
【請求項７】
前記相対速度は、車両の周囲を撮像することで得られた撮像画像における、前記一部が隠されている障害物と、前記他の障害物との相対速度である
ことを特徴とする請求項６に記載の運転支援制御装置。
【請求項８】
前記情報提示制御部は、前記相対速度が閾値よりも小さい場合に、前記優先度を高くする
ことを特徴とする請求項６又は７に記載の運転支援制御装置。
【請求項９】
前記情報提示制御部は、運転者が発する音声を検知することで得られた音声情報に基づいて、前記検知された障害物についての優先度を決定する
ことを特徴とする請求項１から８のいずれか１項に記載の運転支援制御装置。
【請求項１０】
前記情報提示制御部は、前記音声情報から、運転者が気付いていないと推定される障害物についての優先度を高くする
ことを特徴とする請求項９に記載の運転支援制御装置。
【請求項１１】
前記情報提示制御部で決定された優先度に応じて注意喚起のための音声を音声出力部に出力させる音声制御部をさらに備える
ことを特徴とする請求項１から１０のいずれか１項に記載の運転支援制御装置。
【請求項１２】
前記表示制御部は、車両の周囲を撮像することで得られる撮像画像に、前記強調画像を重畳した画像を前記画像表示部に表示させる
ことを特徴とする請求項１から１１のいずれか１項に記載の運転支援制御装置。
【請求項１３】
前記画像表示部がＨＵＤであり、前記表示制御部は、前記強調画像を実風景に重畳して表示させる
ことを特徴とする請求項１から１１のいずれか１項に記載の運転支援制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援制御装置に関する。
【背景技術】
【０００２】
車両の運転支援のため、カメラ、レーダー等によって、他の車両、歩行者等の障害物を検出し、検出した障害物の画像をディスプレイ等に表示し、それらの危険度に応じた強調表示をする画像表示制御装置が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−４０１０７号公報（段落００２４、００２８等）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術には、障害物の一部が他の障害物に隠されている場合に、認識が遅れることがあるという問題があった。【０００５】
この発明は上記のような問題を解決するためになされたもので、障害物の一部が他の障害物に隠されている場合にも、当該障害物に対する認識が遅れないようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の運転支援制御装置は、
車両の周囲の１又は２以上の障害物に関する障害物情報を取得する車外状況解析部と、
前記車外状況解析部により、前記車両の周囲に２以上の障害物が検知された際に、検知された障害物に対し注意喚起の優先度を決定する情報提示制御部と、
前記検知された障害物に対し、前記情報提示制御部で決定された優先度に応じた強調を行うための強調画像を生成して画像表示部に表示させる表示制御部とを備え、
前記情報提示制御部は、前記２以上の障害物のうち、一部が他の障害物に隠されている障害物についての優先度を高くし、
前記一部が他の障害物に隠されていると判定される障害物について、隠されている部分のサイズに基づいて前記優先度を決定し、
前記情報提示制御部は、前記隠されている部分のサイズの、当該障害物の全体のサイズに対する比に基づいて当該障害物の優先度を決定する。
【発明の効果】
【０００７】
本発明によれば、障害物の一部が他の障害物に隠されている場合にも、当該障害物に対する認識が遅れないようにすることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１の運転支援制御装置を備えた運転支援装置の構成を示す機能ブロック図である。
【図２】運転支援装置が搭載された車両を示す概略図である。
【図３】図１に示される車外状況検知部の構成例を示す機能ブロック図である。
【図４】撮像画像中で検出される障害物、及び当該障害物で占められる障害物領域の例を示す図である。
【図５】自車両とその周囲の障害物の位置関係の一例を示す図である。
【図６】自車両とその周囲の障害物の位置関係の他の例における、自車両と障害物との距離を示す図である。
【図７】自車両とその周囲の障害物の位置関係のさらに他の例における、自車両と障害物との距離を示す図である。
【図８】障害物が自車両に対して図６に示される位置関係にあるときの前方風景を示す図である。
【図９】障害物が自車両に対して図７に示される位置関係にあるときの前方風景を示す図である。
【図１０】図８に示される前方風景を撮像した場合に得られる、撮像画像中の障害物、及び障害物領域を示す図である。
【図１１】図９に示される前方風景を撮像した場合に得られる、撮像画像中の障害物、及び障害物領域を示す図である。
【図１２】図１０に示される３つの障害物についての障害物領域を示す図である。
【図１３】図１１に示される障害物領域についての水平方向の重なり及び垂直方向の重なりを示す図である。
【図１４】図１０に示される障害物領域についての水平方向の重なり及び垂直方向の重なりを示す図である。
【図１５】実施の形態１において、車外状況解析部で生成される障害物情報の組の一例を示す図である。
【図１６】実施の形態１における情報提示制御の処理の手順を示すフローチャートである。
【図１７】図１５の障害物情報の組に対して、並び替えを行なった結果生成される障害物情報の組の一例を示す図である。
【図１８】障害物が自車両に対して図６に示される位置関係にあるときの、距離判定結果、重なり度、視認困難度判定結果、及び優先度を付加した障害物情報の組の一例を示す図である。
【図１９】前方風景が図９に示す如くである場合の、距離判定結果、重なり度、視認困難度判定結果、及び優先度を付加した障害物情報の組の一例を示す図である。
【図２０】図１６の並び替えの処理の手順の一例を示すフローチャートである。
【図２１】図１６の距離及び視認困難度についての判定の処理の手順の一例を示すフローチャートである。
【図２２】図２１の重なり度算出の処理の手順の一例を示すフローチャートである。
【図２３】障害物が自車両に対して図６に示される位置関係にあるときに生成される強調表示画像の一例を示す図である。
【図２４】障害物が自車両に対して図７に示される位置関係にあるときに生成される強調表示画像の一例を示す図である。
【図２５】障害物の大部分が隠されている場合に見られる風景の一例を示す図である。
【図２６】本発明の実施の形態２の運転支援制御装置を備えた運転支援装置の構成を示す機能ブロック図である。
【図２７】実施の形態２における情報提示制御の処理の手順を示すフローチャートである。
【図２８】図２７の距離及び視認困難度についての判定の処理の手順を示すフローチャートである。
【図２９】本発明の実施の形態３の運転支援制御装置を備えた運転支援装置の構成を示す機能ブロック図である。
【図３０】実施の形態３における情報提示制御の処理の手順を示すフローチャートである。
【図３１】図３０の距離及び視認困難度についての判定の処理の手順を示すフローチャートである。
【図３２】本発明の実施の形態４の運転支援制御装置を備えた運転支援装置の構成を示す機能ブロック図である。
【図３３】図３２に示される内部状況検出部の構成例を示す機能ブロック図である。
【図３４】実施の形態４における情報提示制御の処理の手順を示すフローチャートである。
【図３５】本発明の実施の形態５の運転支援制御装置を備えた運転支援装置の構成を示す機能ブロック図である。
【図３６】図３５に示される内部状況検出部の構成例を示す機能ブロック図である。
【図３７】図１に示される運転支援制御装置の機能をソフトウェアで実現するために用いられるコンピュータの構成例を示す機能ブロック図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、本発明の実施の形態１の運転支援制御装置４を備えた運転支援装置１の構成を示す構成図である。
図１に示される運転支援装置１は、図２に示されるように車両１０２に搭載されるものであり、運転支援制御装置４に加えて、車外状況検知部２、画像表示部５、及び音声出力部６を備える。
【００１０】
車外状況検知部２は、車両の外部の状況を検知して、車両の周囲に位置する障害物についての検知情報Ｄａを出力する。
【００１１】
ここでいう、障害物は、運転の際に衝突を回避する必要のある対象（注意対象）であり、他の車両、歩行者を含む。他の車両には、自動四輪車（乗用車、トラック、バス等）、自動二輪車、自転車が含まれる。他の車両との区別のため、運転支援制御装置４が搭載されている車両を、「自車両」と言うことがある。
【００１２】
車外状況検知部２は、例えば、図３に示されるように、撮像部２１と、検知部２２と、通信器２３と、検知信号処理部２４とを有する。
撮像部２１は、車両の周囲を撮像することで、周囲の風景を表す画像（周囲画像）を生成して、画像信号を出力する。
撮像部２１は、１又は２以上のカメラを備える。
【００１３】
検知部２２は、ミリ波レーダー、ライダー（ＬＩＤＡＲ：Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）、超音波センサのうちの一つ以上を含み、検知信号を出力する。
【００１４】
通信器２３は、車両１０２の外部から提供される、他の車両に関する情報を受信する。他の車両に関する情報は、当該他の車両の位置並びに移動の方向及び速度を示す情報を含んでいても良い。車両１０２の外部からの提供は、他の車両からの直接の通信による提供であっても良く、基地局を介しての通信による提供であっても良い。
【００１５】
検知信号処理部２４は、撮像部２１からの画像信号、検知部２２からの検知信号、及び通信器２３で受信した情報に基づいて、検知情報Ｄａを生成して、出力する。
検知信号処理部２４から検知情報Ｄａには、障害物を含む画像情報のほか、自車両から障害物までの距離を示す情報及び障害物の空間位置を示す情報の少なくとも一方が含まれる。
【００１６】
検知部２２による、自車両から障害物までの距離の測定には、車両用の測距技術として公知のもののいずれを用いても良い。例えば、ミリ波レーダー、ライダー（ＬＩＤＡＲ）、超音波センサ等が利用可能である。また、単眼カメラによるＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）、複数カメラを用いた三角測量（ステレオ視）等の技術を用いても良い。
【００１７】
運転支援制御装置４は、車外状況検知部２からの検知情報Ｄａに基づいて、画像表示部５及び音声出力部６を制御する。
【００１８】
運転支援制御装置４は、車外状況解析部４１と、情報提示制御部４３と、表示制御部４４と、音声制御部４５とを有する。
【００１９】
車外状況解析部４１は、車外状況検知部２からの検知情報Ｄａを受信し、受信した検知情報Ｄａを元に車外状況情報を生成する。車外状況情報は、各障害物についての障害物情報と、検知された障害物の数を示す情報とを含む。
【００２０】
各障害物についての障害物情報は、例えば、撮像により得られた画像中において当該障害物が占める領域（障害物領域）、当該障害物の位置及びサイズを示す情報、当該障害物の種類を示す情報、当該障害物までの距離を示す情報、当該障害物についての障害物ＩＤ、当該障害物についての障害物情報ＩＤを含む。
【００２１】
例えば、車外状況解析部４１は、受信した検知情報Ｄａに含まれる画像情報で表される画像中の１又は２以上の障害物を認識し、各障害物を内包する矩形の領域を障害物領域として検出する。
【００２２】
各障害物を内包する矩形の領域は、画像中における当該障害物の最も下に位置する点を通過する水平方向の線分、最も上に位置する点を通過する水平方向の線分、最も左に位置する点を通過する垂直方向の線分、及び最も右に位置する点を通過する垂直方向の線分を辺とする矩形の領域である。
例えば、図４に示すように、画像中に障害物ＢＪを認識した場合、それを内包する矩形の領域ＢＲを検出する。
【００２３】
車外状況解析部４１は、認識した障害物ＢＪについて撮像画像上でのサイズを検出する。各障害物ＢＪのサイズとしては、各障害物ＢＪを内包する矩形の領域（障害物領域）ＢＲの高さ（垂直方向寸法）ｈ及び幅（水平方向寸法）ｗを検出する。
【００２４】
車外状況解析部４１はさらに、撮像画像（画像フレーム）の基準点、例えば左上隅を原点として、各障害物領域ＢＲの特定の位置、例えば左上隅の、上記原点に対する相対位置を、当該障害物領域の位置として検出する。原点に対する相対位置は二次元座標（ｘ，ｙ）で表される。
各障害物領域の位置は、当該障害物の位置を表すものとして用いられる。
各障害物領域のサイズ及び位置は、例えば画素数で表される。
【００２５】
障害物の種類を示す情報は、例えば、障害物が車両、人等のいずれであるか、車両についてはさらに、自動四輪車、自動二輪車、自転車のいずれであるか、自動四輪車についてはさらに、乗用車、トラック、バス等のいずれであるか、及び小型、中型、大型のいずれであるかを示す情報であっても良い。
障害物の種類は、画像中の障害物に対する画像認識によって特定することができる。
【００２６】
各障害物までの距離は、上記のように、ミリ波レーダー、ライダー、超音波センサ等で検出された値、単眼カメラによるＴＯＦで測定された値、或いは複数カメラによる三角測量で得られた値を用いることができる。
【００２７】
障害物ＩＤは、検出された各障害物を識別する情報である。
障害物情報ＩＤは、各障害物についての障害物情報を識別する情報である。
障害物の数を示す情報は、画像中で認識された障害物の数を数えることで得られる。
【００２８】
車外状況解析部４１で生成された車外状況情報は、情報提示制御部４３及び表示制御部４４に供給される。
【００２９】
情報提示制御部４３は、車外状況解析部４１から得られた車外状況情報から、障害物の報知、即ち障害物に対する注意喚起についての優先度を決定し、決定した優先度を表す情報（優先度情報）を出力する。優先度は、本実施の形態では、自車両からの距離、及び運転者にとっての視認困難度に基づいて定められる。
【００３０】
表示制御部４４は、情報提示制御部４３からの優先度情報と、車外状況解析部４１からの障害物情報（特に、各障害物の位置及びサイズを示す情報）とを元に注意喚起のための強調表示画像を生成する。具体的には、各障害物について、優先度情報で表される優先度に応じた強調画像を生成し、撮像部２１での撮像で得られた周囲画像に、強調画像を重畳することで強調表示画像Ｄｃを生成して画像表示部５に表示させる。
【００３１】
各障害物についての強調画像は、例えば、画像中の当該障害物を囲む円、画像中の当該障害物を囲む矩形、画像中の当該障害物の上、下、左又は右に引かれた線、画像中の当該障害物以外の部分をぼかすための画像、画像中の当該障害物に注意を喚起するためのアイコン、画像中の当該障害物又は当該障害物以外の部分に対する色付けのための画像等である。強調画像として、注意喚起のための字幕を生成することとしても良い。強調画像としては、ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）で生成したものを用いても良い。
【００３２】
以下では、各障害物についての強調画像として、画像中の当該障害物を囲む、角が丸められている矩形を用いるものとする。
【００３３】
各障害物を囲む矩形で構成される強調画像を生成するには、画像中の当該障害物の位置及びサイズを示す情報が必要である。このような情報は、本実施の形態では、車外状況解析部４１から障害物情報の一部として供給される。
【００３４】
画像表示部５は、表示デバイスで構成される。表示デバイスは、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ（ＯＬＥＤ、即ちＯｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）である。
【００３５】
音声制御部４５は、情報提示制御部４３からの優先度情報と、車外状況解析部４１からの障害物情報（特に、優先度が最も高い障害物の種類、位置及びサイズを示す情報）とを元に注意喚起のための音声メッセージ（警告メッセージ）を生成する。例えば、優先度が最も高い障害物に対する注意を喚起するための音声メッセージを生成する。
【００３６】
音声制御部４５は、生成した警告メッセージを表す音声信号Ｄｄを音声出力部６に供給する。音声出力部６は、供給された音声信号Ｄｄに応じて音声を出力する。音声出力部６は、例えば、スピーカである。複数のスピーカで構成されても良い。
【００３７】
以下、車外状況の具体例に関して、運転支援制御装置４の動作をより詳しく説明する。
図５は、自車両とその周囲の障害物の位置関係の一例を示す図である。
図５では、道路ＲＤ上を走行中の自車両２００の周囲に３つの障害物として、車両２０１、２０２、２０３が存在する場合を想定している。車両２０１は、道路ＲＤ上において自車両の前方を走行している。車両２０２、２０３は、左側の駐車場ＰＬから道路ＲＤに進入しようとしている。以下では、車両２０１を前方車両と言い、車両２０２、２０３を左側方車両と言う。図５には、運転者が正面よりもやや左寄りに視線を向けたときの視認範囲が２００ａで示されている。
【００３８】
以下に詳しく述べるように、本実施の形態の装置は、運転者から見て、障害物が重なっているか否か、即ちある障害物の一部が他の障害物に隠されている否かを判断して、判断結果に応じた処理を行う。
【００３９】
図６及び図７は、図５と同様の図であるが、車両の位置が異なる。即ち、図６では、運転者から見て車両２０１、２０２、２０３が重なっておらず、運転者の視点から見た風景は図８に示す如くとなる。一方、図７では、運転者から見て車両２０２の一部が車両２０３に隠されており、運転者の視点から見た風景は、図９に示す如くとなる。
【００４０】
車外状況検知部２のカメラで、運転者視点から、前方（より正確には、正面よりもやや左寄りの方向）を撮像方向とし、視認範囲２００ａを撮像範囲として撮像を行うことで、図８或いは図９と同様の画像を得ることができる。なおこの場合の「運転者視点」は、平均的な運転者の視点を意味する。
【００４１】
図１０は、図８に示される前方風景を撮像した場合に得られる、撮像画像を示し、図１１は、図９に示される前方風景を撮像した場合に得られる、撮像画像を示す。図１０及び図１１には、撮像画像中の障害物（具体的には車両）のみならず、障害物で占められる障害物領域が示されている。
これらの図及び以下で参照する他の図において、画像中の障害物（車両）も、実際の障害物（車両）と同じ符号２０１、２０２、２０３で示す。
【００４２】
図１０及び図１１に示される画像が得られた場合、車外状況解析部４１は、障害物として、車両２０１、２０２、２０３を検出し、それぞれの障害物領域として、領域２０１ａ、２０２ａ、２０３ａを検出する。
図１２には、図１０の障害物領域２０１ａ、２０２ａ、２０３ａのみが示され、図１３には、図１１の障害物領域２０１ａ、２０２ａ、２０３ａのみが示されている。
【００４３】
図１０及び図１２では、領域２０１ａ、２０２ａ、２０３ａは互いに重なっていない。一方、図１１及び図１３では、領域２０２ａと、領域２０３ａとが重なっている。なお、図１１及び図１３でも領域２０１ａは、領域２０２ａ、２０３ａのいずれとも重なっていない。
図１３には、領域２０２ａと領域２０３ａとの水平方向の重なりがＸ１２で示されており、領域２０２ａと領域２０３ａとの垂直方向の重なりがＹ１２で示されている。
【００４４】
図１４は、図１２と同様の図であるが、領域２０２ａと領域２０３ａとの水平方向の重なりがＸ１２で示され、領域２０２ａと領域２０３ａとの垂直方向の重なりがないことが、「Ｙ１２＝０」で表されている。
領域が互いに水平方向及び垂直方向の一方において重なっていても（同じ範囲を占めていても）、他の方向においてずれた位置にあれば、「領域の重なり」はないと言える。
本願で、「重なり度」と言うのは領域の重なりの度合いを意味する。
【００４５】
図６及び図７には、自車両２００から、車両２０１、２０２、２０３までの距離がそれぞれ、ｄ１、ｄ２、ｄ３で示されている。以下では、例としてｄ１＝３０ｍ、ｄ２＝１０ｍ、ｄ３＝５ｍであり、ｄ１＞ｄ２＞ｄ３の関係が満たされるものとする。
車外状況検知部２から出力される検知情報には、距離ｄ１、ｄ２、ｄ３を表す情報が含まれる。
【００４６】
車外状況解析部４１は、車外状況検知部２から受信した、自車両から車両２０１、２０２、２０３までの距離ｄ１、ｄ２、ｄ３を表す情報（障害物距離情報）を、それぞれ障害物情報の一部として出力する。
【００４７】
図１５は、車外状況解析部４１で生成される３つの車両についての障害物情報の組を表形式で示す。
図１５に示す例では、３つの障害物ＩＤが、２０１、２０２、２０３であり、障害物情報ＩＤが、Ｄ４１ａ−１、Ｄ４１ａ−２、Ｄ４１ａ−３であり、種類が、「中型のトラック」、「小型の乗用車」、「小型の乗用車」である。また、画面位置(ｘ，ｙ)が、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）で示され、サイズ（ｗ，ｈ）が、（ｗ１，ｈ１）、（ｗ２，ｈ２）、（ｗ３，ｈ３）で示され、距離ｄが、ｄ１、ｄ２、ｄ３で示されている。
【００４８】
車外状況解析部４１は、障害物情報の組を、例えば図１５に示される表の形式の情報として出力しても良い。
【００４９】
情報提示制御部４３は、車外状況解析部４１から出力された車外状況情報（障害物情報及び障害物の数を表す情報）から、各障害物についての注意喚起に関する優先度を決定する。
優先度の決定に当たっては、原則として自車両に近い（自車両からの距離が短い）障害物ほど優先度を高くする。但し、一部が他の障害物に隠されており、認識し難い障害物については、その点を考慮して優先度を高くする。例えば、そのような認識し難い障害物の優先度は、最も近い障害物の優先度よりも高くする。
【００５０】
以下、情報提示制御部４３における処理の手順を、フローチャートを参照して説明する。
図１６は、実施の形態１の情報提示制御の処理の手順を示す。図１６に示される処理は、運転支援装置が動作している間、繰り返し実行される。例えば、図１６のステップＳＴ１〜ＳＴ４の処理が行われて「終了」に至ると、直ちに再び「開始」されて、ステップＳＴ１〜ＳＴ４の処理が繰り返される。代わりに、予め定められた時間毎に、或いは予め定められたイベントの発生毎に図１６の処理が開始されるようにしても良い。
【００５１】
情報提示制御部４３は、まず自車両から各障害物までの距離ｄを用いて、障害物の処理順を決める。そして、それぞれの障害物についての障害物情報を、定められた処理順となるように並び替える（ＳＴ１）。処理順は、例えば、距離の長いものほど先になるように定められる。
【００５２】
例えば、障害物情報の組が図１５に示されるように表形式にして供給された場合、処理順に障害物情報を並び替えて、図１７に示される表形式の情報の組を生成する。この際、障害物情報に対して処理順を示す処理順ＩＤを付加する。図１７に示される情報の組は、図１５に示される情報の組と同じ項目を含むが、障害物情報が距離順に並び替えられ、さらに処理順ＩＤが付加されている。処理順ＩＤの値ｉとしては、「０」、「１」、「２」が付与されている。
【００５３】
ステップＳＴ１の次に、各障害物について距離及び視認困難度についての判定を行なう（ＳＴ２）。視認困難度は、運転者にとって視認のし難さの程度であり、本実施の形態では、各障害物についての重なり度に基づいて判定される。各障害物についての重なり度は、運転者から見て当該障害物よりも手前に位置する他の障害物との重なりの度合い、即ち手前に位置する他の障害物によって隠されている度合いである。距離についての判定は、自車両からの距離が閾値よりも短いか否かの判定である。本実施の形態では、距離が閾値以上であれば、視認困難度を考慮する必要がないと判断する。
【００５４】
ステップＳＴ２の次に、各障害物について注意喚起の優先度を決定する（ＳＴ３）。優先度は、各障害物についての距離及び視認困難度を元に決定される。距離及び視認困難度についての判定で、いずれかの障害物について距離が閾値よりも短く、かつ視認し難い（視認困難度が大きい）と判定された場合には、重なり度と距離とに基づいて優先度が決定される。距離及び視認困難度についての判定で、いずれの障害物についても距離が閾値以上であると判定され、又は視認し易い（視認困難度が小さい）と判定された場合には、距離に基づいて優先度が決定される。例えば、距離の短いものほど優先度が高くされる。
【００５５】
ステップＳＴ３の次に、情報提示制御部４３は、決定された優先度を、表示制御部４４及び音声制御部４５に通知する（ＳＴ４）。即ち、優先度を示す情報を表示制御部４４及び音声制御部４５に供給する。
【００５６】
表示制御部４４は、各障害物について、優先度情報と、障害物情報（特に、障害物の位置及びサイズを示す情報）とを元に強調画像を生成し、撮像部２１での撮像で得られた周囲画像に、強調画像を重畳することで強調表示画像Ｄｃを生成して画像表示部５に表示させる。
【００５７】
音声制御部４５は、優先度情報と、障害物情報（特に、優先度が最も高い障害物の種類、位置及びサイズを示す情報）とを元に注意喚起の警告メッセージを生成し、警告メッセージを表す音声信号Ｄｄを音声出力部６に供給して、音声出力部６に警告メッセージを表す音声を出力させる。
【００５８】
以上のように、本実施の形態では、各障害物は、重なり度が大きいほど、認識し難いと推定し、当該障害物についての優先度をより高くし、画像中で当該障害物がより目立つように強調を施すこととしている。
【００５９】
図１７に示される障害物情報の組に対して、距離及び視認困難度についての判定の結果を付加した障害物情報の組の、互いに異なる例を図１８及び図１９に示す。図１８及び図１９には、距離判定の結果、重なり度、視認困難度判定結果、及び優先度が示されている。優先度は、順位を示すものであり、高いほどより小さい数値が与えられている。
【００６０】
情報提示制御部４３は、図１８又は図１９に示される障害物情報の組を表示制御部４４及び音声制御部４５に供給する。
【００６１】
図２０は、図１６の並び替え（ＳＴ１）の処理の手順の一例を示す。
最初に、障害物情報の組を取得する（ＳＴ１１）。
次に、初期値設定を行う（ＳＴ１２）。選択されるべき障害物の番号（処理順ＩＤ）ｉを、初期値としての０に設定し、ｉの最大値ｉｍａｘをＮ−１に設定する。
Ｎは障害物の数である。障害物の数Ｎを示す情報は、障害物情報の組とともに、車外状況情報の一部として、車外状況解析部４１から情報提示制御部４３に供給される。
なお、障害物の数Ｎは、障害物情報の組に含まれる障害物情報の数を数えることで得ることとしても良い。
図１７に示す例では、Ｎが３であるので、ｉｍａｘが２に設定される。
【００６２】
続いて、障害物の距離に基づいて、対応する障害物情報を並び替える（ＳＴ１３、ＳＴ１４、ＳＴ１５）。例えば、距離の長い順に並び変えられる。
例えば図１７に示す例では、ｄ１＞ｄ２＞ｄ３であるので、障害物情報がＤ４１ａ−１、Ｄ４１ａ−２、Ｄ４１ａ−３の順に並び変えられる。
【００６３】
図２１は、図１６の距離及び視認困難度についての判定（ＳＴ２）の処理手順の一例を示す。
距離及び視認困難度についての判定では、各障害物について、自車両からの距離が閾値よりも短いか否かの判定、及び当該障害物の一部が他の障害物によって隠されているか否かを判定し、判定結果に基づいて、当該障害物が、自車両からの距離が短く、かつ視認し難いか否かを判定する。
【００６４】
距離及び視認困難度についての判定は、障害物を距離の長い順に選択し、選択されている障害物について、距離が閾値よりも短いかを判定し、距離が閾値よりも短かければ、当該障害物よりも距離（自車両からの距離）が短い障害物と重なっているか否かの判定（即ち、選択されている障害物の一部が他の障害物に隠されているか否かの判定）を行う。図１６の並び替え処理により、距離の長い順に一致するように処理順が定められ、処理順ＩＤが付加されているので、処理順ＩＤを参照して、障害物情報を順に選択して、処理を行う。
【００６５】
まず初期値設定を行う（ＳＴ２１）。即ち、選択されるべき障害物の処理順ＩＤの値ｉを初期値としての０に設定し、ｉの最大値ｉｍａｘをＮ−１（Ｎは障害物の数）と設定する。
図１７の例では、Ｎが３であるので、ｉｍａｘとして２が設定される。
【００６６】
続いて、選択されている障害物までの距離ｄが閾値Ｄｔｈよりも短いか否かを判定する（ＳＴ２２）。ここでは閾値Ｄｔｈ＝１５ｍと設定されているものとする。
【００６７】
車両２０１（ｉ＝０）が選択されている場合には、距離ｄ１が閾値Ｄｔｈよりも短いか否かの判定を行う（ＳＴ２２）。想定している例では、ｄ１＝３０ｍであり、閾値Ｄｔｈ＝１５ｍであるので、ステップＳＴ２２での判定結果はＮｏとなり、ステップＳＴ２６に進む。ステップＳＴ２６では、「距離が長い」との判定を行なう。
【００６８】
ステップＳＴ２６の次にステップＳＴ２８で、障害物の処理順ＩＤの値ｉに１を加算し、次の、ステップＳＴ２９で、ｉがｉｍａｘ以下であるか否かの判定を行ない、Ｙｅｓであれば、ステップＳＴ２２に戻る。
ステップＳＴ２８の処理の結果ｉ＝１となった場合には、障害物処理順ＩＤの値ｉが１である車両２０２が選択される。
【００６９】
この場合、ステップＳＴ２２では、ｄ２＝１０ｍが閾値Ｄｔｈ（＝１５ｍ）よりも短いので、ステップＳＴ２３に進み、重なり度Ｚｉｊの算出を行う。重なり度Ｚｉｊの算出の具体例については、後に図２２を参照して説明する。
【００７０】
ステップＳＴ２４では、算出された重なり度Ｚｉｊが閾値Ｚｔｈよりも大きいか否かの判定を行なう。閾値Ｚｔｈよりも大きい場合には、ステップＳＴ２５に進み、「距離が短く、かつ視認し難い」との判定を行ない、小さい場合には、ステップＳＴ２７に進み、「視認し易い」との判定を行なう。
閾値Ｚｔｈは、隠されている度合い（面積）と視認困難度との関係を考慮して定められる。例えば、実験、シミュレーション、経験等に基づいて定められる。
【００７１】
重なり度は上記のように運転者から見て各障害物が手前に位置する他の障害物によって隠されている程度を意味するが、運転者の視点に位置するカメラでの撮像で得られた画像中での重なりの度合いを重なり度として用いることが可能である。
本実施の形態では、障害物領域の重なり度が障害物の重なり度として用いられる。
より具体的には、各障害物領域について、それより手前の他の障害物の障害物領域と重なり合う部分の面積を、重なり度として算出する。面積は画素数で表される。
【００７２】
障害物領域は上記のように矩形の領域であり、その基準点（左上隅）の座標、その幅、及び高さによって表される。
２つの矩形の領域の重なり度は、それぞれの領域の基準点（左上隅）の座標、その幅、及び高さに基づいて算出される。
例えば、水平方向の重なり長と垂直方向の重なり長とを算出し、水平方向の重なり長と垂直方向との重なり長とを掛けることで、領域の重なり度を算出する。
また、以下に述べる例では、水平方向の重なり長と垂直方向の重なり長を算出し、各々が、閾値を超えているか否かの判定を行い、いずれかの重なり長が閾値を超えていない場合には、領域の重なり度をゼロと見なすこととしている。
【００７３】
図２２は、図２１の重なり度Ｚｉｊの算出処理（ＳＴ２３）の一例の詳細を示す。
重なり度は、各障害物（注目障害物）と、当該障害物よりも距離が短い１又は２以上の他の障害物の各々（比較障害物）との組合せについて算出される。
注目障害物をｉ番目の障害物（処理順ＩＤの値がｉである障害物）とし、比較障害物をｊ番目（ｊ＞ｉ）の障害物（処理順ＩＤの値がｊである障害物）とし、ｉ番目の障害物について、ｊ番目の障害物との重なり度Ｚｉｊが算出される。
【００７４】
最初に初期値設定を行う（ＳＴ２３１）。比較障害物の番号（処理順ＩＤ）ｊを初期値としてのｉ＋１に設定する。例えば、ｉ＝１である場合、ｊ＝２となる。
また、比較障害物の処理順ＩＤの最大値ｊｍａｘをＮ−１に設定する。
図１８或いは図１９の例では、ｊｍａｘとして２が設定される。
【００７５】
まず、水平方向の重なり長を算出する（ＳＴ２３２）。
具体的には、車両２０２及び２０３の障害物領域の水平方向の位置（ｘ２、ｘ３）及びサイズ（ｗ２、ｗ３）を取得し、取得した値から、水平方向の重なり長Ｘｉｊ＝Ｘ１２を算出する。
次に、水平方向の重なり長Ｘ１２が閾値Ｘｔｈを超えているか否かを判定する（ＳＴ２３３）。閾値Ｘｔｈは例えばｗ２の半分と定められる。
閾値Ｘｔｈを超えていれば、ステップＳＴ２３４に進み、閾値Ｘｔｈを超えていなければステップＳＴ２３７に進む。
【００７６】
ステップＳＴ２３４では、垂直方向の重なり長Ｙ１２を算出する。具体的には、車両２０２、２０３の障害物領域の垂直方向の位置（ｙ２、ｙ３）及びサイズ（ｈ２、ｈ３）から、垂直方向の重なり長Ｙ１２を算出する。
次に垂直方向の重なり長Ｙ１２が閾値Ｙｔｈよりも大きいか否かを判定する（ＳＴ２３５）。閾値Ｙｔｈは、例えばｈ２の半分と定められる。
閾値Ｙｔｈを超えていればステップＳＴ２３６に進み、閾値Ｙｔｈを超えていなければステップＳＴ２３７に進む。
【００７７】
ステップＳＴ２３６では、水平方向の重なり長Ｘ１２と垂直方向の重なり長Ｙ１２から領域の重なり度Ｚ１２を算出する。例えば、水平方向の重なり長Ｘ１２と垂直方向の重なり長Ｙ１２とを掛けることで領域の重なり度Ｚ１２を求める。
ステップＳＴ２３７では、領域の重なり度Ｚ１２は０と判定する。
【００７８】
ステップＳＴ２３６又はＳＴ２３７の次に、ステップＳＴ２３８でｊに１を加算し、次のステップＳＴ２３９で、ｊがｊｍａｘ以下かどうかの判定を行い、ｊｍａｘ以下であればステップＳＴ２３２に戻り、ｊｍａｘよりも大きければ処理を終了する。このようにすることで、ステップＳＴ２３２〜ＳＴ２３７の処理は、ｉより大きいｊのすべてについて繰り返され、ｊがｊｍａｘよりも大きくなったら、終了する。
【００７９】
上記のように、図６、図８、図１０、図１２、図１４に示す例では、障害物である車両２０１、車両２０２、車両２０３は、相互に重なっておらず、一方、図７、図９、図１１、図１３に示す例では、障害物である車両２０２と車両２０３とが重なっている。
【００８０】
まず、障害物間で重なりがない場合（図６、図８、図１０、図１２、図１４の場合）について、車両２０２に注目し、車両２０３との重なりを例に説明する。
【００８１】
図２２の水平方向の重なり長の算出（ＳＴ２３２）においては、車両２０２及び車両２０３の水平方向の障害物領域の位置（ｘ２、ｘ３）及びサイズ（ｗ２、ｗ３）から、水平方向の重なり長Ｘ１２が算出される。例えば、図１４の例で、ｗ２＝５００ピクセルであり、水平方向の重なり長Ｘ１２＝３００ピクセルが算出される。さらに、閾値Ｘｔｈがｗ２の半分である、２５０ピクセルと設定される。
この場合、ステップＳＴ２３３で、重なり長Ｘ１２が閾値Ｘｔｈを超えていると判定され、ステップＳＴ２３４に進む。
【００８２】
ステップＳＴ２３４では、垂直方向の障害物領域の位置（ｙ２、ｙ３）及びサイズ（ｈ２、ｈ３）から、垂直方向の重なり長Ｙ１２が算出される。図１４の例では、垂直方向の重なりがないため、垂直方向の重なり長Ｙ１２＝０と算出される。また、閾値Ｙｔｈがｈ２の半分に定められる。この場合、ステップＳＴ２３５で、垂直方向の重なり長Ｙ１２が閾値Ｙｔｈ以下であると判定され、ステップＳＴ２３７に進み、領域の重なり度Ｚ１２は０と判定される。
【００８３】
図２２の処理が終わると、図２１のステップＳＴ２４に進む。
上記のように、重なり度Ｚ１２が０と算出された場合、重なり度Ｚ１２が閾値Ｚｔｈ（０より大きい値、例えば４０，０００に定められている）より小さいため、「視認し易い」と判定される（ＳＴ２７）。
すべての障害物について距離及び視認困難度についての判定を終えたら、処理を終了し（ＳＴ２８、ＳＴ２９）、図１６のステップＳＴ３に移行する。
【００８４】
障害物間に重なりがないと判定された場合には、情報提示制御部４３は、自車両２００からの距離ｄに基づいて優先度を決定する。図１８はそのようにして決定された優先度の一例を示す。図１８に示す例では、距離ｄが近い障害物に対してより高い優先度が決定されている。即ち、車両２０３の優先度が「１」とされ（最も先の順位とされ）、続いて車両２０２の優先度が「２」、車両２０１の優先度が「３」と決定されている。
【００８５】
表示制御部４４は、撮像部２１による撮像で得られた周囲画像に、情報提示制御部４３からの優先度情報と、車外状況解析部４１からの障害物情報（特に、各障害物の位置及びサイズを示す情報）とに従って生成した強調画像２０１ｂ、２０２ｂ、２０３ｂを重畳することで強調表示画像Ｄ４４を生成して、画像表示部５に表示させる。
【００８６】
図２３は、表示制御部４４によって生成される強調表示画像の例を示したものである。
図示の例では、優先度が１の車両２０３については、車両２０３を囲む太い実線を強調画像２０３ｂとして生成する。優先度が２の車両２０２については、車両２０２を囲む中程度の太さの破線を強調画像２０２ｂとして生成する。優先度が３の車両２０１については、車両２０１を囲む細い点線を強調画像２０１ｂとして生成する。
【００８７】
このようにして生成した強調画像を、撮像で得られた周囲画像に重畳することで、強調表示画像を生成する。強調表示画像においては、車両２０３が太い実線で囲まれ、車両２０２が中程度の太さの破線で囲まれ、車両２０１が細い点線で囲まれている。このような強調表示を行う結果、注意喚起の度合いは、車両２０３が最大であり、車両２０２が次に大きく、車両２０１は最小である。
【００８８】
強調画像は、優先度が最も高い障害物に対する注意喚起のための字幕を含むものであっても良い。字幕は、例えば「左手前の車両に注意！」と言う文字列を含むものであっても良い。
この場合、表示制御部４４は、車外状況解析部４１から、障害物の種類を示す情報をも取得し、優先度が最も高い障害物の種類、位置及びサイズを示す情報から、注意を要する障害物が「左手前の車両」であるとの判断をし、該判断に基づいて上記の字幕を生成することとしても良い。
【００８９】
なお、車外状況解析部４１から出力される情報の中の、各障害物の種類、位置及びサイズを示す情報は、障害物ＩＤ又は障害物情報ＩＤを参照することで特定することができる。
【００９０】
音声制御部４５は、情報提示制御部４３からの優先度情報と、車外状況解析部４１からの障害物情報（特に、優先度が最も高い障害物の種類、位置及びサイズを示す情報）とを元に、優先度が最も高い障害物の車両２０３について注意喚起の警告メッセージを生成し、音声出力部６に音声を発生させる。例えば、「左側方の手前の車両に注意して下さい」と言う音声を発生させる。
音声制御部４５は、優先度が最も高い障害物の種類、位置及びサイズを示す情報から、注意を要する障害物が「左側方の手前の車両」であるとの判断をし、該判断に基づいて上記のメッセージを生成することとしても良い。
【００９１】
なお、車外状況解析部４１から出力される情報の中の、各障害物の種類、位置及びサイズを示す情報は、障害物ＩＤ又は障害物情報ＩＤを参照することで特定することができる。
【００９２】
次に、障害物間に重なりがある場合、具体的には、車両２０２と車両２０３が重なっている場合（図７、図９、図１１、図１３の場合）について、車両２０２に注目し、車両２０３との重なりを例に説明する。
【００９３】
図２２の水平方向の重なり長の算出（ＳＴ２３２）においては、車両２０２及び車両２０３の水平方向の障害物領域の位置（ｘ２、ｘ３）及びサイズ（ｗ２、ｗ３）から、水平方向の重なり長Ｘ１２が算出される。例えば、図１３の例で、ｗ２＝５００ピクセルであり、水平方向の重なり長Ｘ１２＝３００ピクセルが算出される。さらに閾値Ｘｔｈがｗ２の半分である、２５０ピクセルに設定されたとする。
この場合、ステップＳＴ２３３で、重なり長Ｘ１２が閾値Ｘｔｈを超えていると判定され、ステップＳＴ２３４に進む。
【００９４】
ステップＳＴ２３４では、垂直方向の障害物領域の位置（ｙ２、ｙ３）及びサイズ（ｈ２、ｈ３）から、垂直方向の重なり長Ｙ１２が算出される。図１３の例では、ｈ２＝４００ピクセルであり、垂直方向の重なり長Ｙ１２が３００ピクセルと算出される。さらに、閾値Ｙｔｈがｈ２の半分の２００ピクセルに設定される。
この場合、ステップＳＴ２３５で、重なり長Ｙ１２が閾値Ｙｔｈを超えていると判定され、ステップＳＴ２３６に進む。
ステップＳＴ２３６では、重なり長Ｘ１２＝３００と重なり長Ｙ１２＝３００とを掛けることで、領域の重なり度（重なり面積）Ｚ１２が
Ｚ１２＝３００×３００＝９０,０００
と算出される。
【００９５】
図２２の処理が終わると、図２１のステップＳＴ２４に進む。
上記のように、重なり度Ｚ１２が０以外の値（上記の例では９０,０００）と算出された場合、当該組み合わせについて、ステップＳＴ２４では、算出した重なり度Ｚ１２が閾値Ｚｔｈよりも大きいか否かが判定される。
上記のように、図２２に詳細を示すステップＳＴ２３（図２１）で重なり度Ｚ１２が９０,０００と算出された場合、重なり度Ｚ１２が閾値Ｚｔｈ＝４０,０００より大きいので、「距離が短く、かつ視認し難い」と判定される（ＳＴ２５）。
すべての障害物について距離及び視認困難度についての判定を終えたら、処理を終了し（ＳＴ２８、ＳＴ２９）、図１６のステップＳＴ３に移行する。
【００９６】
障害物間に重なりがあると判定された場合には、情報提示制御部４３は、自車両２００からの距離ｄと、視認困難度とに基づいて優先度を決定する。図１９は、そのようにして決定された優先度の一例を示す。図１９に示す例では、車両２０２の優先度が１となっている。これは車両２０２の一部が車両２０１に隠されており、重なり度が閾値よりも大きい（従って、視認し難い）と判定されたためである。残りの車両２０１、２０３に対しては距離の短い順に優先度が定められている。
【００９７】
表示制御部４４は、撮像部２１による撮像で得られた周囲画像に、情報提示制御部４３からの優先度情報と、車外状況解析部４１からの障害物情報（特に、各障害物の位置及びサイズを示す情報）とに従って生成した強調画像２０１ｂ、２０２ｂ、２０３ｂを重畳することで強調表示画像Ｄ４４を生成して、画像表示部５に表示させる。
【００９８】
図２４は、表示制御部４４によって生成される強調表示画像の例を示したものである。
図示の例では、優先度が１の車両２０２については、車両２０２を囲む太い実線を強調画像２０２ｂとして生成する。優先度が２の車両２０３については、車両２０３を囲む中程度の太さの破線を強調画像２０３ｂとして生成する。優先度が３の車両２０１については、車両２０１を囲む細い点線を強調画像２０１ｂとして生成する。
【００９９】
このようにして生成した強調画像を、撮像で得られた周囲画像に重畳することで、強調表示画像を生成する。強調表示画像においては、車両２０２が太い実線で囲まれ、車両２０３が中程度の太さの破線で囲まれ、車両２０１が細い点線で囲まれている。このような強調表示を行う結果、注意喚起の度合いは、車両２０２が最大であり、車両２０３が次に大きく、車両２０１は最小である。
【０１００】
強調画像は、優先度が最も高い障害物に対する注意喚起のための字幕を含むものであっても良い。字幕は、例えば、「左側方の２台目の車両に注意！」と言う文字列を含むものであっても良い。
この場合、表示制御部４４は、車外状況解析部４１から、障害物の種類を示す情報をも取得し、優先度が最も高い障害物の種類、位置及びサイズを示す情報から、注意を要する障害物が「左側方の２台目の車両」であるとの判断をし、該判断に基づいて上記の字幕を生成することとしても良い。
【０１０１】
なお、車外状況解析部４１から出力される情報の中の、各障害物の種類、位置及びサイズを示す情報は、障害物ＩＤ又は障害物情報ＩＤを参照することで特定することができる。
【０１０２】
音声制御部４５は、情報提示制御部４３からの優先度情報と、車外状況解析部４１からの障害物情報（特に、優先度が最も高い障害物についての種類、位置及びサイズを示す情報）とを元に、優先度が最も高い障害物の車両２０２について注意喚起の警告メッセージを生成し、音声出力部６に音声を発生させる。例えば、「左側方の２台目の車両に注意して下さい」と言う音声を発生させる。
【０１０３】
音声制御部４５は、優先度が最も高い障害物の種類、位置及びサイズを示す情報から、注意を要する障害物が「左側方の２台目の車両」であるとの判断をし、該判断に基づいて上記のメッセージを生成することとしても良い。
【０１０４】
なお、車外状況解析部４１から出力される情報の中の、各障害物の種類、位置及びサイズを示す情報は、障害物ＩＤ又は障害物情報ＩＤを参照することで特定することができる。
【０１０５】
上記の例では、水平方向の重なり長Ｘｉｊに対する閾値Ｘｔｈを、一部が隠されている障害物の幅の半分としているが、半分でなくても良い。要するに、一部が隠されている障害物の幅に対して予め定められた、１より小さい係数を掛けた値と定めれば良い。また、一部が隠されている障害物の幅に対して予め定められた、１より小さい係数を掛けた値に限定されず、要するに、一部が隠されている障害物の幅に基づいて定められた値であれば良い。さらにまた、一部が隠されている障害物の幅に基づいて定められた値の代わりに、予め定められた値を用いても良い。
垂直方向の重なり長Ｙｉｊに対する閾値Ｙｔｈについても同様である。
【０１０６】
上記の構成では、図１８又は図１９に示される障害物情報の組が情報提示制御部４３から表示制御部４４及び音声制御部４５に供給され、車外状況解析部４１で取得した障害物情報が車外状況解析部４１から表示制御部４４に供給される。代わりに、位置及びサイズを示す情報をも含む情報の組（図１８又は図１９に示される情報の組に、位置及びサイズを示す情報を追加した情報の組）を、情報提示制御部４３から表示制御部４４及び音声制御部４５に供給するようにしても良い。
また、各障害物についての障害物情報の諸項目（図１７〜図１９に示される諸項目）をすべて、図示しない記憶部に記憶させた後、表示制御部４４及び音声制御部４５に供給するようにしても良い。
【０１０７】
図２１、図２２では一つの障害物に対して他の一つの障害物が重なる場合を想定している。一つの障害物に対して他の二つ以上の障害物が重なる場合には、当該一つの障害物（の障害物領域）のうち、それより手前の障害物（の障害物領域）のうちの少なくとも一つと重なる部分の面積を重なり度として用いても良い。
【０１０８】
上記の例では、一部が隠された障害物の数が１である場合を想定して説明したが、一部が隠された障害物の数が２以上である場合には、一部が隠された障害物相互間では距離が短いほど優先度をより高くすることとしても良い。
代わりに、重なり度と、距離の逆数とを重みづけ加算することで、注意喚起の必要性を表す指標を生成し、生成した指標が大きいほど優先度を高くすることとしても良い。
【０１０９】
上記の例では、障害物の一部が他の障害物に隠されている場合、隠されていない部分のうちの最も下に位置する点を通過する水平方向の線分、最も上に位置する点を通過する水平方向の線分、最も左に位置する点を通過する垂直方向の線分、及び最も右に位置する点を通過する垂直方向の線分を辺とする矩形の領域を障害物領域としている。
例えば、図２５に示すように、障害物２０２の大部分が比較的大きな障害物２０４に隠されており、本来の高さ又は幅（隠されていない場合に検出される高さ又は幅）が検出できない場合に、上記の処理で障害物領域の検出を行うと、障害物のうちの隠されている部分を全く考慮しないで障害物領域を検出することになる。即ち、本来の障害物領域２０２ａのうち、障害物２０４の障害物領域２０４ａと重ならない部分のみを、障害物２０２の障害物領域として検出することになる。その場合、重なり度がゼロと判定されてしまう。
【０１１０】
そこで、そのような場合を考慮し、障害物２０２のうちの見えている部分から、障害物領域２０２ａの全体の大きさを推定することとしても良い。例えば、見えている部分から、障害物２０２の種類を特定し、特定した種類の障害物の一般的な大きさから、障害物領域２０２ａのサイズを推定する。例えば、見えている部分から小型の乗用車と判定したときは、障害物領域のサイズを小型の乗用車の一般的な大きさと推定し、見えている部分から中型のトラックと判定したときは、障害物領域のサイズを中型のトラックの一般的な大きさと推定することとすれば良い。
【０１１１】
上記の例では、各障害物のうちの隠されている部分、即ち障害物領域のうちの、距離のより短い他の障害物の障害物領域と重なっている部分の面積（車両２０２については、Ｘｉｊ×Ｙｉｊ）を、重なり度とした。代わりに、上記の重なっている部分の面積の、当該障害物領域の全体の面積（車両２０２についてはｗ２×ｈ２）に対する比を重なり度として用いても良い。
【０１１２】
また、上記の重なっている部分の面積（Ｘｉｊ×Ｙｉｊ）の、上記の他の障害物（隠している障害物：上記の例では車両２０３）の障害物領域の面積（ｗ３×ｈ３）に対する比を重なり度として用いても良い。
このようにするのは、上記の他の障害物（隠している障害物）が小さい場合には、一部が隠されている障害物は比較的視認し易く、上記の他の障害物（隠している障害物）が大きい場合には、一部が隠されている障害物は比較的視認し難くなる傾向があるからである。
【０１１３】
上記の例では、各障害物のうちの隠されている部分、即ち障害物領域のうちの、距離のより短い他の障害物の障害物領域と重なっている部分の面積（車両２０２については、Ｘｉｊ×Ｙｉｊ）を、重なり度とした。代わりに、上記の重なっていない部分（隠されていない部分）の面積を、重なり度として用いても良い。この場合、隠されていない部分の面積が閾値Ｚｔｈ以下であれば、「視認し難い」と判定する。
また、隠されていない部分の、当該障害物の障害物領域の全体の面積に対する比を、重なり度として用いても良い。
さらに、隠されていない部分の、隠している障害物の全体のサイズに対する比を、重なり度として用いても良い。
【０１１４】
以上のように、障害物の重なり度に基づいて優先度を決定し、決定した優先度に応じて強調表示を行うので、視認しにくい障害物に注意を喚起することができ、安全運転に資することができる。
【０１１５】
実施の形態２．
図２６は、本発明の実施の形態２の運転支援制御装置４ｂを備えた運転支援装置１ｂを示す。
運転支援制御装置４ｂは、図１の運転支援制御装置４と概して同じであるが、情報提示制御部４３の代わりに、情報提示制御部４３ｂが設けられている点で異なる。
情報提示制御部４３ｂは、図１の情報提示制御部４３と概して同じであるが、情報提示制御の処理の内容が異なる。即ち、情報提示制御部４３ｂにおける処理においては、障害物の色に応じた処理が追加されている。
【０１１６】
図１の情報提示制御部４３では、２つの障害物が重なっている場合、重なり度Ｚｉｊを考慮に入れて優先度を決定している。しかるに、重なり度Ｚｉｊが小さい場合でも、重なっている障害物相互間で、色が類似している場合には、障害物を視認し難い場合がある。そこで本実施の形態では、重なっている障害物相互間の色の相違度をも考慮に入れて優先度を決定する。
【０１１７】
図２７は、情報提示制御部４３ｂにおける情報提示制御の処理の手順を示す。図２７の処理は、図１６の処理と概して同じであるが、図１６の距離及び視認困難度についての判定として、ステップＳＴ２の処理代わりに、ステップＳＴ２ｂの処理が行われる。
ステップＳＴ２ｂでは、距離についての判定を行なうとともに、重なり度と色の相違度とに基づいて視認困難度を判定する。
【０１１８】
図２８は、図２７の距離及び視認困難度についての判定（ＳＴ２ｂ）の詳細を示す。
図２８の処理は、図２１の処理と概して同じであるが、ステップＳＴ２４の代わりに、ステップＳＴ２４ｂの処理が行われ、ステップＳＴ３１及びＳＴ３２が追加されている。
【０１１９】
ステップＳＴ２４ｂでは、第１の閾値Ｚｔｈ１を用いて重なり度Ｚｉｊの比較を行う。
第１の閾値Ｚｔｈ１は、実施の形態１における閾値Ｚｔｈと同じ値に定められていても良い。
ステップＳＴ２４ｂで第１の閾値Ｚｔｈ１以下であれば、ステップＳＴ３１に進む。
【０１２０】
ステップＳＴ３１では、重なり度Ｚｉｊを第２の閾値Ｚｔｈ２と比較する。第２の閾値Ｚｔｈ２は第１の閾値Ｚｔｈ１よりも小さい値に定められる。
重なり度Ｚｉｊが第２の閾値Ｚｔｈ２以下であれば、ステップＳＴ２７に進む。
重なり度Ｚｉｊが第２の閾値Ｚｔｈ２よりも大きければステップＳＴ３２に進む。
【０１２１】
ステップＳＴ３２では、障害物相互間の色の相違度Ｃｉｊが閾値Ｃｔｈよりも小さいか否かの判定を行なう。色の相違度としては色空間における距離を用いても良い。色の相違度は、例えば同系色であれば、小さくなる。撮像画像が、複数の色成分で表される場合には、色成分毎の差の絶対値の合計又は色成分毎の差の２乗の合計を、色の相違度として用いても良く、
障害物が全体として同じ色ではなく、部分によって色が異なる場合には、最も大きな面積を占める部分の色を用いても良い。また、色ヒストグラムの相違度を色の相違度として用いても良い。
【０１２２】
ステップＳＴ３２で色の相違度Ｃｉｊが閾値Ｃｔｈ以上であれば、ステップＳＴ２７に進む。色の相違度Ｃｉｊが閾値Ｃｔｈよりも小さければ、ステップＳＴ２５に進む。
【０１２３】
以上の処理を行う結果、重なり度Ｚｉｊが第１の閾値Ｚｔｈ１を超えていなくても、第２の閾値Ｚｔｈ２を超えており、かつ色の相違度Ｃｉｊが閾値Ｃｔｈよりも小さい場合には、「視認し難い」と判断され、優先度が高くされる。
【０１２４】
なお、部分的に隠されている障害物（上記の例の車両２０２）が、外光の影響で、輝度が増加又は減少して、視認しにくい場合もある。そのような輝度の変化によって、色の相違度が小さくなって、視認し難くなっている場合にも、上記の色の相違度の判断を行うことで、色の相違度が小さいとの判断が得られ、該判断の結果から、優先度を高くすることで、注意を喚起することができる。
【０１２５】
以上のように、障害物の重なり度と色の相違度とに基づいて優先度を決定し、決定した優先度に応じて強調表示を行うので、視認しにくい障害物に注意を喚起することができ、安全運転に資することができる。
【０１２６】
実施の形態３．
図２９は、本発明の実施の形態３の運転支援制御装置４ｃを備えた運転支援装置１ｃを示す。
運転支援制御装置４ｃは、図１の運転支援制御装置４と概して同じであるが、情報提示制御部４３の代わりに、情報提示制御部４３ｃが設けられている点で異なる。
情報提示制御部４３ｃは、図１の情報提示制御部４３と概して同じであるが、情報提示制御の処理の内容が異なる。即ち、情報提示制御部４３ｃにおける処理においては、障害物の動きに応じた処理が追加されている。
【０１２７】
図１の情報提示制御部４３では、２つの障害物が重なっている場合、重なり度Ｚｉｊを考慮に入れて優先度を決定している。しかるに、重なり度Ｚｉｊが小さい場合でも、重なっている障害物相互間で、相対速度が小さい場合には、障害物を視認し難い場合がある。そこで本実施の形態では、重なっている障害物相互間の相対速度をも考慮に入れて優先度を決定する。
【０１２８】
図３０は、情報提示制御部４３ｃにおける情報提示制御の処理の手順を示す。図３０の処理は、図２７の処理と概して同じであるが、図２７の距離及び視認困難度についての判定として、ステップＳＴ２ｂの処理の代わりに、ステップＳＴ２ｃの処理が行われる。
ステップＳＴ２ｃでは、距離についての判定を行なうとともに、重なり度と相対速度とに基づいて視認困難度を判定する。
【０１２９】
図３１は、図３０の距離及び視認困難度についての判定（ＳＴ２ｃ）の処理手順を示す。
図３１の処理は、図２８の処理と概して同じであるが、ステップＳＴ３２の代わりに、ステップＳＴ３３の処理が行われる。
【０１３０】
ステップＳＴ３３では、障害物相互間の相対速度Ｍｉｊが閾値Ｍｔｈよりも小さいか否かの判定を行なう。ここで言う相対速度（動きの差）は、撮像画像中での相対速度であっても良い。
ステップＳＴ３３で相対速度Ｍｉｊが閾値Ｍｔｈ以上であれば、ステップＳＴ２７に進む。相対速度Ｍｉｊが閾値Ｍｔｈよりも小さければステップＳＴ２５に進む。
【０１３１】
以上の処理を行う結果、重なり度Ｚｉｊが第１の閾値Ｚｔｈ１を超えていなくても、第２の閾値Ｚｔｈ２を超えており、かつ相対速度Ｍｉｊが閾値Ｍｔｈよりも小さい場合には、「視認し難い」と判断され、優先度が高くされる。
【０１３２】
以上のように、障害物の重なり度と相対速度とに基づいて優先度を決定し、決定した優先度に応じて強調表示を行うので、視認しにくい障害物に注意を喚起することができ、安全運転に資することができる。
【０１３３】
実施の形態４．
図３２は、本発明の実施の形態４の運転支援制御装置４ｄを備えた運転支援装置１ｄを示す。
図３２に示される運転支援装置１ｄには、車内状況検知部３が付加されている。
【０１３４】
車内状況検知部３は、自車両の内部の状況を検知して、運転者に関する検知情報Ｄｂを出力する。車内状況検知部３は、例えば、図３３に示されるように、音声検知部３１と、撮像部３２と、検知信号処理部３３とを有する。
【０１３５】
音声検知部３１は、運転者が発する音声を検知して音声信号を出力する。
音声検知部３１は、１つのマイクで構成されていても良く、複数のマイクを含むものであっても良い。複数のマイクは運転席からの声だけを検知するように構成されたマイクアレイを構成するものであっても良い。
【０１３６】
撮像部３２は、車両の内部、特に運転席にいる運転者を撮像して画像信号を出力する。撮像部３２は、１又は２以上のカメラを有する。
【０１３７】
カメラは、例えば、インストルメントパネルの計器類の近傍、センターディスプレイの近傍、バックミラーの近傍等、運転者の顔を撮像できる場所に設置される。
【０１３８】
カメラは、レンズ、ミラー等から構成される光学機構と、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサ（いずれも図示せず）とを備えている。カメラはカラー画像を出力するものであっても良い。
また、カメラとして、車内が暗くても撮影が可能なように、赤外線センサを備えたもの、或いは照明用の発光素子を備えたものを用いても良い。
【０１３９】
検知信号処理部３３は、音声検知部３１からの音声信号と、撮像部３２からの画像信号とに基づいて、検知情報Ｄｂを生成して出力する。
検知信号処理部３３は音声検知部３１から出力される音声信号に対して、ノイズ除去、エコーキャンセル等の音声分離処理を行う。検知信号処理部３３から出力される検知情報Ｄｂには、音声分離処理を受けた音声信号が含まれる。検知信号処理部３３から出力される検知情報Ｄｂにはさらに、撮像部３２からの画像信号が含まれる。
【０１４０】
運転支援制御装置４ｄは、図１の運転支援制御装置４と概して同じであるが、車内状況解析部４２が付加されており、情報提示制御部４３、表示制御部４４、及び音声制御部４５の代わりに情報提示制御部４３ｄ、表示制御部４４ｄ、及び音声制御部４５ｄが設けられている点で異なる。
【０１４１】
車内状況解析部４２は、車内状況検知部３からの検知情報Ｄｂを元に、搭乗者情報を生成する。例えば、車内状況検知部３からの検知情報Ｄｂに含まれる音声信号のうち、運転者が発する音声を表す音声信号のみを抽出して、音声認識を行なって音声で表現されている内容の把握乃至特定を行い、特定された内容を示す音声情報を生成して、搭乗者情報の一部として出力する。
【０１４２】
運転者が発する音声を表す音声信号のみを抽出する必要があるのは、車内状況検知部３で、運転者が発する音声のみを検知しようとしても、運転者以外の搭乗者が発した音声も検知されてしまう場合があるためである。
運転者が発する音声であるかどうかの判断には、撮像部３２で得られた画像信号を参照しても良い。例えば、画像信号により運転者が口を動かしていると判断されるときに検知された音声は、運転者によるものであると判断する。
【０１４３】
なお、撮像部３２で運転者以外の搭乗者（同乗者）の顔をも撮像し、車内状況解析部４２で同乗者の顔をも認識することとし、同乗者が口を動かしているか否かをも参照しても良い。例えば、運転者の口の動きと、同乗者の口の動きと、音声の検知とのタイミング関係に基づいて、検知された音声が運転者によるものか否かの判断をしても良い。
【０１４４】
情報提示制御部４３ｄは、図１の情報提示制御部４３と概して同じであるが、情報提示制御の処理の内容が異なる。即ち、情報提示制御部４３ｄは、車内状況解析部４２で取得した搭乗者情報に含まれる音声情報を考慮して優先度の決定を行う。決定した優先度を表す優先度情報は、表示制御部４４及び音声制御部４５に出力される。
情報提示制御部４３ｄはまた、車外状況検知部２で検出された障害物の中に、危険度が高いものがあると認定した場合、認定された、危険度が高い障害物を示す情報を出力する。例えば、自車両からの距離が予め定められた値以下の障害物は、危険度が高い障害物と認定される。
【０１４５】
表示制御部４４ｄは、車外状況解析部４１からの障害物情報（特に、各障害物の位置及びサイズを示す情報）、及び情報提示制御部４３ｄで決定された優先度に基づいて、強調画像を生成する。
表示制御部４４ｄはまた、情報提示制御部４３ｄで認定された危険度が高い障害物を示す情報に基づいて、警告メッセージを表す字幕を生成する。字幕の生成のため、表示制御部４４ｄは、車外状況解析部４１から、警告メッセージで注意喚起をしようとしている障害物について、その種類、位置及びサイズを示す情報を取得する。
表示制御部４４ｄは、生成した字幕と、強調画像とを撮像部２１での撮像で得られた画像に重畳して強調表示画像を生成する。
表示制御部４４ｄは、生成した強調表示画像を画像表示部５に表示させる。
【０１４６】
音声制御部４５ｄは、情報提示制御部４３ｄで認定された危険度が高い障害物を示す情報に基づいて、警告メッセージを表す音声信号を生成して、音声出力部６に供給する。音声信号の生成のため、音声制御部４５ｄは、車外状況解析部４１から、警告メッセージで注意喚起をしようとしている障害物について、その種類、位置及びサイズを示す情報を取得する。
音声出力部６は、供給された音声信号に応じた音声を出力する。
【０１４７】
情報提示制御部４３ｄで認識された危険度が高い障害物を示す情報に基づいて表示制御部４４ｄ及び音声制御部４５ｄが生成する警告メッセージは、例えば、危険度が高い障害物に対する注意を喚起するメッセージである。
【０１４８】
図３４は、情報提示制御部４３ｄにおける情報提示制御の処理の手順を示す。図３４の処理の手順は、図１６の処理の手順と概して同じであるが、ステップＳＴ５〜ＳＴ９が追加されている。
【０１４９】
ステップＳＴ５では、情報提示制御部４３ｄは、障害物情報を取得し、取得した障害物情報に基づいて、障害物の中に危険度が高い障害物があるか否かの判定を行ない、危険度が高いと判定された障害物について、警告の必要があることを表示制御部４４ｄ及び音声制御部４５ｄに通知する。警告は、例えば、危険度が高い、１又は２以上の障害物に対する注意を喚起するものであっても良い。
【０１５０】
表示制御部４４ｄは、情報提示制御部４３ｄから通知（警告の指示）を受けると、警告のためのメッセージ（警告メッセージ）を表す字幕を生成する。
表示制御部４４ｄはまた、情報提示制御部４３ｄですでに優先度が決定されている場合には、決定された優先度に基づいて強調画像を生成する。図３４に示される処理は繰り返し実行されるので、前の実行サイクルにおけるステップＳＴ３、あるいはステップＳＴ８（後述する）で、優先度が決定されている可能性がある。
【０１５１】
表示制御部４４ｄは、撮像で得られる周囲画像に、上記の字幕（又は強調画像及び字幕）を重畳することで強調表示画像を生成し、画像表示部５に表示させる。表示される強調表示画像は、上記の字幕を含むものとなる。
【０１５２】
音声制御部４５ｄは、情報提示制御部４３ｄから通知（警告の指示）を受けると、警告のためのメッセージ（警告メッセージ）を表す音声信号を、音声出力部６に出力する。音声出力部６は、警告メッセージを表す音声を出力する。
【０１５３】
ステップＳＴ６では、情報提示制御部４３ｄは、車内状況解析部４２からの搭乗者情報に含まれる音声情報に基づいて、障害物の各々についての運転者の認識を確認する。
【０１５４】
例えば、運転者が、画像表示部５に表示された字幕による警告メッセージを見て、或いは、音声出力部６からの音声による警告メッセージを聞いて、該警告メッセージに対する応答として、障害物に対する認識に基づく発話を行うことがある。
その場合、運転者による発話は、車内状況検知部３で検知され、車内状況解析部４２における音声認識で発話の内容が特定される。特定された発話の内容に基づき、情報提示制御部４３ｄは、運転者が警告メッセージで注意を喚起された障害物の各々を認識しているか否かを判定する。
この判定の結果は、認識確認の結果として出力される。
【０１５５】
ステップＳＴ７では、ステップＳＴ６による、認識確認の結果が出力されているか否かの判定が行われ、出力されていなければステップＳＴ３に進み、出力されていればステップＳＴ８に進む。
ステップＳＴ３及びＳＴ４は、実施の形態１で説明したのと同様である。
【０１５６】
ステップＳＴ８では、情報提示制御部４３ｄが、ステップＳＴ２での距離及び視認困難度についての判定の結果のみならずステップＳＴ６での認識確認の結果にも基づいて優先度を決定する。
【０１５７】
ステップＳＴ９では、情報提示制御部４３ｄが、ステップＳＴ８で決定された優先度を表示制御部４４ｄ及び音声制御部４５ｄに通知する。
ステップＳＴ９ではまた、情報提示制御部４３ｄが、ステップＳＴ６で運転者が認識していないと判定された障害物についての警告をする必要があることを表示制御部４４ｄ及び音声制御部４５ｄに通知する。
【０１５８】
表示制御部４４ｄは、通知された優先度に基づいて強調画像を生成する。
表示制御部４４ｄはまた、情報提示制御部４３ｄからの、警告の必要があるとの通知に応じて、警告メッセージを表す字幕を生成する。
【０１５９】
音声制御部４５ｄは、情報提示制御部４３ｄからの、警告の必要があるとの通知に応じて、警告メッセージを生成して、音声出力部６に、警告メッセージを表す音声を発生させる。
【０１６０】
以下、図１１に示すように、車外状況検知部２により、障害物として、車両２０１、２０２及び２０３が検出されている場合について、図３４の各ステップでの処理をより詳しく説明する。ここで、車両２０２、２０３は距離が閾値Ｄｔｈよりも短く、車両２０２が赤い色であり、車両２０３が青い色であるとする。
【０１６１】
ステップＳＴ５では、２つの車両２０２、２０３が危険度の高い障害物として認定され、車両２０２、２０３について警告の必要があることが情報提示制御部４３ｄから表示制御部４４ｄ及び音声制御部４５ｄに通知される。
【０１６２】
このような通知を受けると、表示制御部４４ｄは、車両２０２、２０３（左側方の２台の車両）に対する注意を喚起する警告メッセージを表す字幕、例えば、「左側方の２台の車に注意！」と言う字幕を生成する。
【０１６３】
表示制御部４４ｄはまた、情報提示制御部４３ｄですでに優先度が決定されている場合には、決定された優先度に基づいて強調画像を生成する。
表示制御部４４ｄは、撮像で得られる周囲画像に、上記の字幕（又は強調画像及び字幕）を重畳することで強調表示画像を生成し、画像表示部５に表示させる。表示される強調表示画像は、上記の字幕を含むものとなる。
【０１６４】
音声制御部４５ｄは、情報提示制御部４３ｄからの警告の通知を受けると、例えば、車両２０２、２０３に対する注意を喚起する警告メッセージ、例えば「左側方の２台の車に注意して下さい。」と言う警告メッセージを表す音声信号を、音声出力部６に出力する。音声出力部６は、警告メッセージを表す音声を出力する。
【０１６５】
このように画像表示部５により警告メッセージが表示され、音声出力部６により警告メッセージが出力されると、運転者は、画像表示部５に表示された字幕による警告メッセージ又は音声出力部６からの音声による警告メッセージに対する応答として、車両２０２を視認し、「赤い車？」と発話することがある。
そのような発話は車内状況検知部３で検知されて、車内状況解析部４２における音声認識で発話の内容が特定される。特定された発話の内容に基づき、情報提示制御部４３ｄは、運転者が左側方の２台の車両のうち、赤い色の車両２０２に気付いているが、青い車両２０３には気付いていないと判定する（ＳＴ６）。
このような判定結果は、認識確認の結果として出力される。
【０１６６】
このような認識確認の結果が出力されると、図３４のステップＳＴ７における判定の結果がＹｅｓとなり、ステップＳＴ８に進むことになる。
【０１６７】
この場合、ステップＳＴ８では、情報提示制御部４３ｄは、ステップＳＴ２における距離及び視認困難度についての判定の結果、及びステップＳＴ６の認識確認の結果に基づいて、優先度を決定する。
例えば、実施の形態１と同様に距離と視認困難度に基づいて優先度を決定すると、車両２０２の優先度が最も高くなるが、上記のように認識確認の結果から、車両２０２には気付いているが、車両２０３に気付いていないと判定された場合、車両２０３の優先度が最も高くされる。
【０１６８】
ステップＳＴ９では、情報提示制御部４３ｄは、表示制御部４４ｄ及び音声制御部４５ｄに優先度を通知するとともに、ステップＳＴ６で運転者が気付いていないと判定された車両２０３についての警告の必要性を表示制御部４４ｄ及び音声制御部４５ｄに通知する。
【０１６９】
表示制御部４４ｄは、通知された優先度に基づいて強調画像を生成する。
表示制御部４４ｄはまた、情報提示制御部４３ｄからの、警告の必要性の通知に応じて、警告メッセージを表す字幕を生成する。例えば、「青い車にも注意！」という字幕を生成する。
表示制御部４４ｄは、生成した強調画像と字幕とを撮像画像に重畳して強調表示画像を生成し、画像表示部５に表示させる。
【０１７０】
音声制御部４５ｄは、情報提示制御部４３ｄからの、警告の必要性の通知に応じて、警告メッセージを生成して、音声出力部６に、警告メッセージを表す音声を発生させる。例えば、音声制御部４５ｄが、例えば、「青い車にも注意して下さい」という警告メッセージを生成し、音声出力部６が警告メッセージを表す音声を出力する。
【０１７１】
以上のように、運転者が発する音声に基づいて優先度を決定し、決定した優先度に応じて強調表示を行うので、運転者が気付いていないと推定される障害物に対して注意を喚起することができ、安全運転に資することができる。
【０１７２】
上記の例では、ステップＳＴ５で、距離が短い障害物を危険度の高い障害物とし判断して、これらの障害物に対する注意を喚起する警告メッセージを発しているが、ステップＳＴ２で、視認し難いと判断された障害物に関してのみ警告メッセージを発するようにしても良い。この場合には、ステップＳＴ２が終わった後に、ステップＳＴ５を行なうこととすれば良い。
【０１７３】
上記の例では、警告メッセージを画像表示部５と音声出力部６の双方で提示するようにしているが、画像表示部５と音声出力部６の一方のみで、警告メッセージの提示を行うこととしても良い。
【０１７４】
実施の形態５．
図３５は、本発明の実施の形態５の運転支援制御装置４ｅを備えた運転支援装置１ｅを示す。
図３５に示される運転支援装置１ｅは、実施の形態４の運転支援装置１ｄと概して同じであるが、車内状況検知部３、運転支援制御装置４ｄ、及び画像表示部５の代わりに、車内状況検知部３ｅ、運転支援制御装置４ｅ、及び画像表示部５ｅが付加されている点で異なる。画像表示部５ｅは、ＨＵＤ（ヘッドアップディスプレイ：Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）で構成されている。
【０１７５】
ＨＵＤは、画像を表示する表示デバイスと、光学的な歪補正及び拡大を行う凹面ミラー、凸面ミラー、平面ミラー等で構成され、表示デバイスに表示された画像を風防ガラス（ウインドシールド）に投影するものである。この場合、表示デバイスには、撮像画像を表示せず、強調画像等のみを表示し、風防ガラスに投影された強調画像が実風景に重なって見えるようにしても良い。
【０１７６】
車内状況検知部３ｅは、例えば、図３６に示されるように、撮像部３２と、検知信号処理部３３ｅとを有する。
【０１７７】
撮像部３２としては、例えば図３３に示されるものを用いることができる。
検知信号処理部３３ｅは、撮像部３２からの画像信号に基づいて、検知情報Ｄｂを生成して出力する。
【０１７８】
検知信号処理部３３ｅは、例えば、撮像部３２から出力される画像信号に基づき、運転者の顔の画像の解析を行い、空間内における視点の位置を検出する。
【０１７９】
視点の位置の検出には、複数のカメラを用いた三角測量（ステレオ視）、単眼カメラによるＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）等の技術のいずれを用いても良い。
【０１８０】
検知信号処理部３３ｅから出力される検知情報Ｄｂには、空間内における運転者の視点の位置を示す情報が含まれる。
【０１８１】
運転支援制御装置４ｅは、図１の運転支援制御装置４と概して同じであるが、車内状況解析部４２ｅが付加されており、車内状況解析部４２及び表示制御部４４ｄの代わりに、車内状況解析部４２ｅ及び表示制御部４４ｅが設けられている点で異なる。
【０１８２】
車内状況解析部４２ｅは、車内状況検知部３からの検知情報Ｄｂを元に、搭乗者情報を生成する。例えば、撮像部３２での撮像で得られた画像から、運転者の視点の位置を示す情報を生成して、搭乗者情報の一部として出力する。
【０１８３】
表示制御部４４ｅは、車内状況解析部４２ｅからの搭乗者情報に含まれる、運転者の視点の位置を示す情報に基づいて、強調画像の調整を行う。即ち、空間内における運転者の視点の位置に基づいて、強調画像を調整する。そして、調整された強調画像を画像表示部５ｅに供給する。この調整には、視点の位置に応じたビュー変換が含まれる。
【０１８４】
画像表示部５ｅは、供給された強調画像を、運転者の視点から見た実風景（実際の障害物）に重ねて表示する。
このような調整を行うことで、ＨＵＤで構成される画像表示部５ｅにより表示される強調画像を、視点の移動に拘わらず、実風景に対し位置ずれが生じないように表示することが可能である。
従って、画像表示部がＨＵＤで構成される場合にも、視認し難い障害物に対して注意を喚起することができ、安全運転に資することができる。
【０１８５】
上記の実施の形態１〜５では、検知信号処理部２４が車外状況検知部２の一部であるとして説明したが、運転支援制御装置４、４ｂ、４ｃ、４ｄ又は４ｅの一部として構成しても良い。
同様に、上記の実施の形態４では、検知信号処理部３３が車内状況検知部３の一部であるとして説明したが、運転支援制御装置４ｄの一部として構成しても良い。
同様に、上記の実施の形態５では、検知信号処理部３３ｅが車内状況検知部３ｅの一部であるとして説明したが、運転支援制御装置４ｅの一部として構成しても良い。
【０１８６】
上記の運転支援制御装置４、４ｂ、４ｃ、４ｄ及び４ｅは、１又は２以上の処理回路により構成される。
各処理回路は、専用のハードウェアで構成されていても良く、図３７に示すように、プロセッサ４０１とプログラムメモリ４０２とで構成されていても良い。
【０１８７】
専用のハードウェアで構成されている場合、各処理回路は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はこれらの組み合わせであっても良い。
【０１８８】
プロセッサとプログラムメモリとで構成される場合、各処理回路は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現されていても良い。ソフトウェア又はファームウェアはプログラムとして記述され、プログラムメモリ４０２に格納される。プロセッサ４０１は、プログラムメモリ４０２に記憶されたプログラムを読み出して実行することにより、各処理回路の機能を実現する。
【０１８９】
ここで、プロセッサ４０１とは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、演算装置、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）と呼ばれるものであっても良い。
プログラムメモリ４０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリであってもよいし、ハードディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等の光ディスクであってもよい。
【０１９０】
運転支援制御装置の諸機能は、その一部を専用のハードウェアで実現し、他の一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、運転支援制御装置は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上記の各機能を実現することができる。
【０１９１】
以上、本発明に係る運転支援制御装置について説明したが、運転支援制御装置で実施される運転支援制御方法も本発明の一部を成す。また、これらの装置又は方法における処理をコンピュータに実行させるためのプログラム、及びそのようなプログラムを記録したコンピュータで読取可能な記録媒体も本発明の一部を成す。
【符号の説明】
【０１９２】
１，１ｂ，１ｃ，１ｄ，１ｅ  運転支援装置、  ２  車外状況検知部、  ３，３ｅ  車内状況検知部、  ４，４ｂ，４ｃ，４ｄ，４ｅ  運転支援制御装置、  ５  画像表示部、  ６  音声出力部、  ２１  撮像部、  ２２  検知部、  ２３  通信器、  ２４  検知信号処理部、  ３１  音声検知部、  ３２  撮像部、  ３３，３３ｅ  検知信号処理部、  ４１  車外状況解析部、  ４２，４２ｅ  車内状況解析部、  ４３，４３ｂ，４３ｃ，４３ｄ  情報提示制御部、  ４４，４４ｄ，４４ｅ  表示制御部、  ４５，４５ｄ  音声制御部。
【図１】
0006821104.tif 000002
【図２】
0006821104.tif 000003
【図３】
0006821104.tif 000004
【図４】
0006821104.tif 000005
【図５】
0006821104.tif 000006
【図６】
0006821104.tif 000007
【図７】
0006821104.tif 000008
【図８】
0006821104.tif 000009
【図９】
0006821104.tif 000010
【図１０】
0006821104.tif 000011
【図１１】
0006821104.tif 000012
【図１２】
0006821104.tif 000013
【図１３】
0006821104.tif 000014
【図１４】
0006821104.tif 000015
【図１５】
0006821104.tif 000016
【図１６】
0006821104.tif 000017
【図１７】
0006821104.tif 000018
【図１８】
0006821104.tif 000019
【図１９】
0006821104.tif 000020
【図２０】
0006821104.tif 000021
【図２１】
0006821104.tif 000022
【図２２】
0006821104.tif 000023
【図２３】
0006821104.tif 000024
【図２４】
0006821104.tif 000025
【図２５】
0006821104.tif 000026
【図２６】
0006821104.tif 000027
【図２７】
0006821104.tif 000028
【図２８】
0006821104.tif 000029
【図２９】
0006821104.tif 000030
【図３０】
0006821104.tif 000031
【図３１】
0006821104.tif 000032
【図３２】
0006821104.tif 000033
【図３３】
0006821104.tif 000034
【図３４】
0006821104.tif 000035
【図３５】
0006821104.tif 000036
【図３６】
0006821104.tif 000037
【図３７】
0006821104.tif 000038