(57)【特許請求の範囲】
【請求項１】
車両に設置された撮像手段からの画像データに基づいて車両の周辺を監視する車両周辺監視装置において、
前記画像データから障害物を検出する障害物検出手段と、
前記障害物検出手段により検出された障害物の位置情報を取得する障害物位置取得手段と、
前記車両の走行状態を示す走行状態情報を検出し出力する走行状態情報出力手段と、
前記走行状態情報と前記障害物の位置情報とに基づいて、前記車両の移動に伴う、前記検出された障害物の前記車両との相対位置を予測する障害物位置予測手段と、
前記障害物位置予測手段により予測された前記障害物の前記車両との相対位置を運転者に告知する告知手段とを有することを特徴とする車両周辺監視装置。
【請求項２】
前記障害物位置予測手段は、前記障害物が前記撮像手段による撮像範囲から消滅した場合に、当該消滅した障害物の前記車両との相対位置の予測を行い、
前記告知手段は、前記消滅した障害物についての予測された前記車両との相対位置を告知することを特徴とする請求項１記載の車両周辺監視装置。
【請求項３】
前記障害物位置取得手段は、前記障害物が前記撮像手段による撮像範囲から外れて消滅した際に、当該消滅した障害物に関する情報を範囲外障害物情報として取得するとともに当該取得した範囲外障害物情報を範囲外障害物情報保持手段に保持させ、
前記障害物位置予測手段は、前記範囲外障害物情報に基づき消滅した障害物の前記車両との相対位置の予測を行うことを特徴とする請求項１または２記載の車両周辺監視装置。
【請求項４】
前記障害物位置取得手段は、前記障害物の前記撮像手段による撮像範囲内における位置情報を範囲内障害物情報として取得し、
前記障害物位置予測手段は、前記範囲内障害物情報に基づき障害物の前記車両との相対位置の予測を行うとともに当該予測した障害物の前記車両との相対位置を範囲内障害物移動位置保持手段に格納し、
前記告知手段は、前記障害物が前記撮像手段による撮像範囲内にて消滅した際に、当該消滅した障害物について、予測された障害物の前記車両との相対位置を告知することを特徴とする請求項１記載の車両周辺監視装置。
【請求項５】
前記障害物位置取得手段は、前記範囲内障害物情報を周期的に取得し、
前記障害物位置予測手段は、前記周期毎に、前記範囲内障害物情報と走行状態情報とに基づいて前記障害物の前記車両との相対位置を予測するとともに当該予測した障害物の前記車両との相対位置を範囲内障害物移動位置保持手段に格納することを特徴とする請求項４記載の車両周辺監視装置。
【請求項６】
前記車両の進路を予測する車両進路予測手段を有し、
前記告知手段は、前記車両進路予測手段により予測された車両の進路と前記障害物位置予測手段により予測された障害物の前記車両との相対位置とを運転者に告知することを特徴とする請求項３〜５の何れかに記載の車両周辺監視装置。
【請求項７】
前記車両進路予測手段は、前記撮像手段からの画像情報に基づいて車両の転回方向を認識するとともに当該認識した転回方向に基づいて車両の進路を予測することを特徴とする請求項６記載の車両周辺監視装置。
【請求項８】
前記車両進路予測手段は、前記撮像手段からの画像信号を保持する画像保持手段内における着目画素の移動方向及び移動量に基づいて車両の転回方向を認識することを特徴とする請求項７記載の車両周辺監視装置。
【請求項９】
前記車両進路予測手段は、前記走行状態情報に基づいて前記車両の進路を予測することを特徴とする請求項６記載の車両周辺監視装置。
【請求項１０】
前記走行状態情報出力手段は、前記車両の走行距離を検出する走行距離検出手段と、前記車両の転回方向を検出するとともに検出した転回方向を転回情報として出力する転回方向検出手段とを有することを特徴とする請求項１〜９の何れかに記載の車両周辺監視装置。
【請求項１１】
前記転回方向検出手段が、ハンドル舵角を検出するハンドル舵角センサ、操舵輪の操舵角を検出する操舵角センサのいずれかであることを特徴とする請求項１０記載の車両周辺監視装置。
【請求項１２】
前記車両進路予測手段により予測された車両進路と前記障害物位置予測手段により予測された障害物の前記車両との相対位置とに基づいて、前記車両と前記障害物との衝突を予測する衝突予測手段を有し、
前記告知手段は、前記衝突予測手段が衝突を予測した場合に、当該衝突を告知することを特徴とする請求項６〜１１の何れかに記載の車両周辺監視装置。
【請求項１３】
前記告知手段は、車両と障害物との相対距離及びメッセージを表示する表示手段、あるいは、ブザー音や音声を発生する音声指示手段の少なくとも一方であることを特徴とする請求項１〜１２の何れかに記載の車両周辺監視装置。
【請求項１４】
前記撮像手段は、前記車両の後方に当該車両の後方領域を撮像するように取り付けられていることを特徴とする請求項１〜１３の何れかに記載の車両周辺監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は車両周辺監視装置にかかり、より詳細には、自動車などの車両の周辺を監視して車両運転における運転者の安全確認を支援するのに有効に適用される車両周辺監視装置に関するものである。
【０００２】
【従来の技術】
従来、自動車などの車両の周辺を監視する装置として、図１４に示す構成を有するものがあった。同図において、１は車両周辺を撮像する撮像部、２１はハンドルの舵角あるいは操舵輪の操舵角を検出し転回情報を出力する舵角検出部、３は撮像部１から得られる画像信号あるいは車両の形状情報等が保持された記憶部、４は予め格納されたプログラムに従って動作するコンピュータによって構成されるデータ処理部、５はディスプレイ装置５１を備えた表示部、６は警報音あるいは音声ガイダンスを発生する音声指示部である。
【０００３】
舵角検出部２１はハンドル舵角を検出するハンドル舵角センサあるいは操舵輪の操舵角を検出する操舵角検出センサ（いずれも図示せず）を備え、車両の転回情報を出力している。そしてこの舵角検出部２１には入力信号をデジタル変換して出力するＡ／Ｄコンバータ２１ａが付設されており、データ処理部４に対してデジタル変換された舵角情報を出力している。
【０００４】
上記記憶部３は、撮像部１から得られる画像信号を一時的に蓄えるフレームメモリ３１と、障害物がない平坦な地面の場合の画像データを参照データとして予め保持した参照データメモリ３２と、車両の現在位置データ、車両の２次元あるいは３次元の形状データ及び車両内における撮像部１の取り付け位置である車両基準位置データを車両情報として保持する車両データメモリ３３とを有している。
【０００５】
上記データ処理部４は、動作プログラムが格納されたＲＯＭ４２と、この動作プログラムに従って動作するＣＰＵ４１と、ＣＰＵ４１の動作時において必要な情報を一時格納するＲＡＭ４３とを有している。
上記表示部５は、ＣＰＵ４１から出力された表示画像信号に基づいて、物体の車両との相対位置を表示したり、運転者に対するメッセージを表示したりする。
上記音声指示部６は、スピーカ６１と、ＣＰＵ４１からの制御信号に基づいてブザー信号あるいは音声信号を生成し、この音声信号をスピーカ６１に出力する駆動回路６２とを有している。
【０００６】
そして、上記撮像部１は、例えばレーザ光を利用したものあるいはステレオ式のものがある。
レーザ光を利用したものは、図１５（ａ）に示すように、レーザ光源１２と、レーザ光源１２を駆動するレーザ光源駆動装置１１と、レーザ光源１２からレーザ光を入力し、この入力したレーザ光により監視領域に輝点マトリクス１３ａを投影するパターン光投影素子１３と、一旦監視領域に投影された輝点マトリクス１３ｂを撮像するＣＣＤカメラ１４とを有している。
【０００７】
この構成においては、ＣＣＤカメラ１４に撮像された画像すなわち監視領域内において障害物などによって乱された輝点マトリクス１３ｂを画像情報としてフレームメモリ３１に一時的に保持させる。そしてデータ処理部４は、このフレームメモリ３１に保持された画像情報と上記参照データメモリ３２に保持された参照データとを対比することにより、障害物の形状及び撮像部１との相対位置情報を取得する。
【０００８】
一方、ステレオ式のものは、図１５（ｂ）に示すように、互いに所定距離ｄｘａだけ離間して配設された右側ＣＣＤカメラ１４Ｒ及び左側ＣＣＤカメラ１４Ｌの２つのＣＣＤカメラを有している。これに伴い、フレームメモリは右側フレームメモリ３１Ｒと左側フレームメモリ３１Ｌとの２つ設けられている。
【０００９】
この構成においては、右側ＣＣＤカメラ１４Ｒに撮像された画像を右側画像情報として右側フレームメモリ３１Ｒに蓄え、左側ＣＣＤカメラ１４Ｌに撮像された画像を左側画像情報として左側フレームメモリ３１Ｌに蓄える。
そしてデータ処理部４は、例えば、フレームメモリ３１Ｌに格納された左側画像情報の水平方向の微分を行い、得られた障害物などの物体のエッジを検出し、このエッジ点をきっかけ点すなわち基準点として、他方のフレームメモリ３１Ｒに格納された右側画像情報の中から、上記エッジ点に対応するエッジ点を取得する。そして、このようにして取得した左右画像のエッジ点の画素上における位置の差、すなわち視差により物体の位置を検出する。
【００１０】
このような撮像部１は、例えば図１６に示すように、車両１００の後側上方のほぼ中央部に地面の法線に対し角度θで取り付けられている。
これによりこの撮像部１は、車両１００の後方、より詳細には同図に示すように後方近傍領域の監視領域１００ａ内における障害物等を検出する。
そしてこの撮像部１の取付位置が、上述した車両位置基準情報として車両データメモリ３３に格納されている。
【００１１】
データ処理部４は、以上のように認識した障害物情報と車両データメモリ３３に格納された車両の現在位置データ、車両の形状データ及び車両基準位置データといった車両情報とに基づいて車両と障害物との相対位置を算出するとともに算出した相対位置に基づいて車両と障害物の位置関係を表示部５のディスプレイ装置５１に表示する。
また、データ処理部４は舵角検出部２から出力された転回情報に基づいて車両の進路を予測し、検出された障害物と車両とが衝突すると予測された場合は、音声指示手段６に音声信号を出力する。音声指示手段６はデータ処理部４から出力された音声信号に基づき、運転者に衝突を事前に知らせるブザー音や音声ガイダンスといった警報を発する。
【００１２】
【発明が解決しようとする課題】
上記した従来装置では、図１６にて説明したように、その監視領域１００ａ内の障害物を検出し、そして監視領域１００ａ内に存在している障害物に対して車両との衝突などを予測している。
従ってこの従来装置は、障害物がこの監視領域１００ａ内に存在している限りにおいては、車両と障害物との相対位置を把握することができ有効である。
【００１３】
しかしながら、障害物が一旦この監視領域１００ａから外れた場合においては、この監視領域外となった障害物については何等考慮されておらず、衝突などを予測することができないという問題点があった。
【００１４】
例えば、車両１００が大きくハンドルを切った状態すなわち操舵輪（前輪）の舵角が比較的大きい状態のまま後退した場合には、例えば図１７に示すように、位置Ｐ１（図中点線にて示す）においてその監視領域１００ａ（Ｐ１）内に存在していた障害物２００は、車両１００が舵角θ1 で後退して矢印で示す軌跡に沿って位置Ｐ２（図中一点鎖線にて示す位置）まで移動すると、この位置Ｐ２にて監視領域１００ａ（Ｐ２）から外れる。これによりデータ処理部４はこの障害物２００を監視対象から除外する。そして車両１００がさらに後退することにより位置Ｐ３（図中実線にて示す位置）まで達すると、この障害物２００は車両１００の右前方側面部に位置して操舵輪と衝突してしまう。
このとき、データ処理部４は既にこの障害物２００を監視対象から除外してしまっているので、衝突などの危険性があるにも関わらず警報は発せられない。
【００１５】
また、車両１００の側面部に障害物２００が位置し、この状態から車両１００が転回しながら後退した場合は、例えば図１８に示すように、位置Ｐ４（図中点線にて示す位置）においてその監視領域１００ａ（Ｐ４）内に存在していた障害物２００は車両１００の後退に伴ってその監視領域から外れ、車両１００がさらに後退して位置Ｐ５（図中実線にて示す位置）に達すると障害物２００は車両１００の右側面部に位置する。
【００１６】
この状態からハンドル操作により操舵輪の舵角をθ2 とした状態で車両１００を後退させると、車両１００は図中矢印で示す軌跡に沿って移動し、障害物２００がその右前方側面部に衝突する。この場合においても、データ処理部４は、障害物２００が監視領域１００ａから外れた時点で、この障害物２００をその監視対象から外してしまうので、衝突などの危険性があるにも関わらず警報は発せられない。
【００１７】
また、障害物が非常に小さいものであり、この障害物がＣＣＤカメラ１４（１４Ｒ、１４Ｌ）を構成するＣＣＤセンサ（図示せず）の検出線同士の隙間に位置した場合には、障害物を検出することができず、障害物が監視領域１００ａ内に存在するにも関わらず、この障害物の検出及び消滅が繰り返され、視認性が損なわれてしまうという問題点があった。
【００１８】
なお、上述した問題点は、ＣＣＤカメラ１４に限るものではなくビデオカメラ（図示せず）を用いた場合にも生じるものである。すなわち、障害物がビデオカメラの撮像領域から外れた場合においてはいうまでもなく、障害物が非常に小さいものであった場合においては、この障害物がビデオカメラの走査線同士の間に位置した場合に、障害物の検出及び消滅が繰り返されてしまう。
【００１９】
よって本発明は、上述した従来の問題点に鑑み、障害物として認識したものについては監視領域外にあるものであってもその位置を知ることができ、車両との衝突といった危険性があれば、それを運転手に告知し、衝突等を未然に回避できるようにした使い勝手並びに安全性を向上させた車両周辺監視装置を提供することを課題とする。
また、監視領域内にて消滅した障害物についても車両との相対位置を認識可能とし、視認性の向上を図り使い勝手を向上させた車両周辺監視装置を提供することを他の課題とする。
【００２０】
【課題を解決するための手段】
前記課題を解決するため本発明によりなされた車両周辺監視装置は、図１の基本構成図に示すように、車両に設置された撮像手段（１）からの画像データに基づいて車両の周辺を監視する車両周辺監視装置において、前記画像データから障害物を検出する障害物検出手段（４１ａ）と、前記障害物検出手段（４１ａ）により検出された障害物の位置情報を取得する障害物位置取得手段（４１ｂ）と、前記車両の走行状態を示す走行状態情報を検出し出力する走行状態情報出力手段（２）と、前記走行状態情報と前記障害物の位置情報とに基づいて、前記車両の移動に伴う、前記検出された障害物の前記車両との相対位置を予測する障害物位置予測手段（４１ｃ）と、前記障害物位置予測手段（４１ｃ）により予測された前記障害物の前記車両との相対位置を運転者に告知する告知手段（７）とを有することを特徴としている。（請求項１）
【００２１】
上記請求項１の構成において、撮像手段は、車両周辺の画像を画像データとして取得し、障害物検出手段は、前記画像データから障害物を検出する。障害物位置取得手段は、検出された障害物の位置情報を取得し、障害物位置予測手段は、走行状態情報出力手段からの車両の走行状態を示す走行状態情報を取得するとともにこの走行状態情報と前記障害物位置取得手段により取得された障害物の位置情報とに基づいて、前記車両の移動に伴う、障害物の前記車両との相対位置を予測する。告知手段は、前記障害物位置予測手段により予測された前記車両との相対位置にて障害物の表示を行う。
【００２２】
すなわち、この請求項１の構成においては、車両の走行状態情報に基づいて検出された障害物の車両との相対位置を予測するとともにこの予測された車両との相対位置にて障害物の表示を行うように構成したので、予測された車両との相対位置に基づく制御を行うことができ、使い勝手のよい車両周辺監視装置を提供することができる。
【００２３】
また、前記障害物位置予測手段（４１ｃ）は、前記障害物が前記撮像手段（１）による撮像範囲から消滅した場合に、当該消滅した障害物に対する前記車両との相対位置の予測を行い、前記告知手段（７）は、前記消滅した障害物についての予測された前記車両との相対位置を告知することを特徴としている。（請求項２）
【００２４】
上記請求項２の構成において、障害物位置予測手段及び告知手段が対象とする障害物は、撮像手段による撮像範囲から消滅した障害物とされる。
よって、この請求項２の構成においては、撮像範囲から消滅した障害物についての車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【００２５】
また、前記障害物位置取得手段（４１ｂ）は、前記障害物が前記撮像手段（１）による撮像範囲から外れて消滅した際に、当該消滅した障害物に関する情報を範囲外障害物情報として取得するとともに当該取得した範囲外障害物情報を範囲外障害物情報保持手段（３４）に保持させ、前記障害物位置予測手段（４１ｃ）は、前記範囲外障害物情報に基づき消滅した障害物の前記車両との相対位置の予測を行うことを特徴としている。（請求項３）
【００２６】
上記請求項３の構成において、障害物位置取得手段が取得する障害物の位置情報は、撮像手段の範囲外に移動することにより消滅した障害物とされ、この障害物の位置情報は、範囲外障害物情報として範囲外障害物情報保持手段に保持される。障害物位置予測手段は、範囲外障害物情報に基づき、消滅した障害物の車両との相対位置を予測する。
よって、この請求項３の構成においては、撮像手段による撮像範囲外に移動して消滅した障害物についても車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【００２７】
また、前記障害物位置取得手段（４１ｂ）は、前記障害物の前記撮像手段（１）による撮像範囲内における位置情報を範囲内障害物情報として取得し、前記障害物位置予測手段（４１ｃ）は、前記範囲内障害物情報に基づき障害物の前記車両との相対位置の予測を行うとともに当該予測した障害物の前記車両との相対位置を範囲内障害物移動位置保持手段（３５）に格納し、前記告知手段（７）は、前記障害物が前記撮像手段（１）による撮像範囲内にて消滅した際に、当該消滅した障害物について、予測された障害物の前記車両との相対位置を告知することを特徴としている。（請求項４）
【００２８】
上記請求項４の構成において、障害物位置取得手段が取得する障害物の位置情報は、撮像手段の撮像範囲内に存在する障害物の位置情報とされ、障害物位置予測手段は、この撮像範囲内に存在する障害物の位置情報と走行状態情報とに基づいて、障害物の車両との相対位置を予測する。告知手段は、撮像範囲内にて消滅した障害物に関し、障害物位置予測手段により予測された車両との相対位置を運転者に告知する。  よって、この請求項４の構成においては、撮像手段による撮像範囲内にて消滅した障害物についても車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【００２９】
また、前記障害物位置取得手段（４１ｂ）は、前記範囲内障害物情報を周期的に取得し、前記障害物位置予測手段（４１ｃ）は、前記周期毎に、前記範囲内障害物情報と走行状態情報とに基づいて前記障害物の前記車両との相対位置を予測するとともに当該予測した障害物の前記車両との相対位置を範囲内障害物移動位置保持手段（３５）に格納することを特徴としている。（請求項５）
【００３０】
上記請求項５の構成において、障害物位置取得手段は、撮像手段の撮像範囲内に存在する障害物の位置情報（範囲内障害物情報）を周期的に取得する。障害物位置予測手段は、周期毎に、取得した障害物の車両との相対位置を予測し、この予測した障害物の車両との相対位置を範囲内障害物移動位置保持手段に格納する。そして、告知手段は、撮像範囲内にて消滅した障害物に関し、障害物位置予測手段により予測された車両との相対位置を運転者に告知する。
よって、この請求項５の構成によれば、撮像手段による撮像範囲内にて消滅した障害物について、直ちに車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【００３１】
また、前記車両の進路を予測する車両進路予測手段（４１ｄ）を有し、前記告知手段（７）は、前記車両進路予測手段（４１ｄ）により予測された車両の進路と前記障害物位置予測手段により予測された障害物の前記車両との相対位置とを運転者に告知することを特徴としている。（請求項６）
【００３２】
上記請求項６の構成において、告知手段は、車両進路予測手段により予測された車両の進路と障害物位置予測手段により予測された障害物の車両との相対位置とを運転者に告知するので、車両がこれから走行することが予測される進路上における障害物の存在を、撮像範囲から消滅した障害物についても知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【００３３】
また、前記車両進路予測手段（４１ｄ）は、前記撮像手段（１）からの画像情報に基づいて車両の転回方向を認識するとともに当該認識した転回方向に基づいて車両の進路を予測することを特徴としている。（請求項７）
【００３４】
上記請求項７の構成において、車両進路予測手段は、撮像手段からの画像情報に基づいて車両の転回方向を認識するとともに認識した転回方向とから車両の進路を予測するので、特別な装置が不要となり装置の構成を簡単にすることができる。
【００３５】
また、前記車両進路予測手段（４１ｄ）は、前記撮像手段（１）からの画像信号を保持する画像保持手段（３１）内における着目画素の移動方向及び移動量に基づいて車両の転回方向を認識することを特徴としている。（請求項８）
【００３６】
上記請求項８の構成において、車両進路予測手段は、撮像手段からの画像情報を保持する画像保持手段に保持された画像情報を参照し、この画像情報内における着目画素の移動方向及び移動量を検出する。そして、この検出された移動方向及び移動量に基づいて車両の移動方向を認識するとともに認識した移動方向から車両の進路を予測する。
よって、この構成によれば、車両の進路を予測する場合において、着目点についてのみ処理を行えば良いので、処理に要する演算ステップを簡略化できる。
【００３７】
また、前記車両進路予測手段（４１ｄ）は、前記走行状態情報に基づいて前記車両の進路を予測することを特徴としている。（請求項９）
【００３８】
上記請求項９の構成において、車両進路予測手段は、前記走行状態情報に基づいて車両の進路を予測するので、車両の進路の予測と障害物の車両との相対位置の予測とを共通の情報により行うことができ、装置構成を簡単にすることができる。
【００３９】
また、前記走行状態情報出力手段（２）は、前記車両の走行距離を検出する走行距離検出手段（２４）と、前記車両の転回方向を検出するとともに検出した転回方向を転回情報として出力する転回方向検出手段（２１）とを有することを特徴としている。（請求項１０）
【００４０】
上記請求項１０の構成において、走行状態情報出力手段は、車両の走行距離を検出する走行距離検出手段からの走行距離情報と車両に設けられた転回方向検出手段からの転回方向の情報とを走行状態情報として出力する。これらの走行距離情報と転回方向情報とは車両から直接読み取ることができるので、車両の進路を予測する場合において、処理を高速に行うことができる。
【００４１】
また、前記転回方向検出手段（２１）が、ハンドル舵角を検出するハンドル舵角センサ（２２）、操舵輪の操舵角を検出する操舵角センサ（２３）のいずれかであることを特徴としている。（請求項１１）
【００４２】
上記請求項１１の構成において、転回方向検出手段は、ハンドル舵角を検出するハンドル舵角センサあるいは操舵輪の操舵角を検出する操舵角センサとして構成されているので、車両の転回方向の情報を確実に把握することができる。
【００４３】
また、前記車両進路予測手段（４１ｄ）により予測された車両進路と前記障害物位置予測手段により予測された障害物の前記車両との相対位置とに基づいて、前記車両と前記障害物との衝突を予測する衝突予測手段（４１ｅ）を有し、前記告知手段（７）は、前記衝突予測手段（４１ｅ）が衝突を予測した場合に、当該衝突を告知することを特徴としている。（請求項１２）
【００４４】
上記請求項１２の構成において、衝突予測手段は、予測された車両進路と予測された障害物の車両との相対位置とに基づいて車両が障害物に衝突するか否かを予測し、衝突すると予測された場合に告知手段が衝突の旨を告知する。
よって、この構成によれば、運転者は車両が現在の状態で移動した場合における車両と障害物との衝突可能性を事前に知ることができ、衝突を未然に防ぐことができ、より安全性を高めた車両周辺監視装置を提供することができる。
【００４５】
また、前記告知手段（７）は、車両と障害物との相対距離及びメッセージを表示する表示手段（５）、あるいは、ブザー音や音声を発生する音声指示手段（６）の少なくとも一方であることを特徴としている。（請求項１３）
【００４６】
上記請求項１３の構成において、告知手段は、車両と障害物との相対距離及びメッセージを表示する表示手段、あるいは、ブザー音や音声を発生する音声指示手段の一方あるいは双方であるので、運転者の視覚あるいは聴覚により車両と障害物との位置関係を伝達することができる。とりわけ、運転者に衝突などの危険を告知する場合には、双方を動作させることにより一層明確にその旨を告げることができる。
【００４７】
また、前記撮像手段（１）は、前記車両の後方に当該車両の後方領域を撮像するように取り付けられていることを特徴としている。（請求項１４）
【００４８】
上記請求項１４の構成において、撮像手段は、車両の後方に車両の後方領域を撮像するように取り付けられているので、運転者が視認し難い車両の後方近傍領域の障害物を運転者に認識させることができる。
【００４９】
【発明の実施の形態】
以下、本発明の実施の形態の具体例を図面を参照して説明する。まず、本発明が適用された車両周辺監視装置の第１実施形態について説明する。
図２は本発明による車両周辺監視装置の構成を説明するブロック図で、同図において、先に説明したものと同一部には同一符号を付して示している。すなわち、１は撮像部、２は舵角検出部２１を有する検出部、３は記憶部、４はデータ処理部、７は表示部５と音声指示部６とからなる告知部である。
【００５０】
撮像部１は、撮像手段として機能し、図１５（ａ）にて説明したレーザ光を利用したもの、あるいは、図１５（ｂ）にて説明したステレオ式のもののいずれかが適宜選択されて用いられている。この撮像部１については従来と同様なものであるので、その説明を省略する。
なお、上述したように、この撮像部１については、ＣＣＤカメラの他にビデオカメラも適用することができる。
【００５１】
検出部２は、舵角検出部２１と、走行距離検出部２４とから構成されている。
舵角検出部２１は、ハンドル舵角センサ２２あるいは操舵角センサ２３のいずれか一方あるいは双方が用いられている。これらのハンドル舵角センサ２２及び操舵角センサ２３は、車両１００を操舵するステアリング機構に取り付けられている。
【００５２】
図３（ａ）はハンドル舵角センサ２２の取り付け態様を例示する図であり、１１０はステアリング機構、１２０はホイール（但しホイールの外周面のみを図示する）である。
このステアリング機構１１０は、運転者によって回転操作されるハンドル１１１と、このハンドル１１１の中心部にその上端が取り付けられたメインシャフト１１２と、このメインシャフト１１２の下端にジョイント１１８ａを介して取り付けられた中間シャフト１１３と、その周面に歯面が形成されるとともに中間シャフト１１３の下端にジョイント１１８ｂを介して接続されたピニオン１１４と、このピニオン１１４と噛合する歯面が形成されたラック１１５と、このラック１１５の両端部（図では右端部だけを示す）にジョイント１１８ｃを介して接合された中間アーム１１６と、この中間アーム１１６の外側端部にジョイント１１８ｄを介して接合されたナックルアーム１１７とを有している。
そしてホイール１２０は、このナックルアーム１１７の外側端部の支持部１１７ａにて回転自在に支持されている。
【００５３】
このようなステアリング機構１１０においては、運転者がハンドル１１１を回転操作するとこのハンドル１１１の回転がメインシャフト１１２、中間シャフト１１３と順次伝達され、これによりピニオン１１４が回転する。そしてピニオン１１４の回転に伴い、このピニオン１１４と噛合しているラック１１５がその延長方向（図中左右方向）に移動する。
このラック１１５の移動は、中間アーム１１６及びナックルアーム１１７に伝達される。そしてナックルアーム１１７は転舵中心Ｃを支点に回転して、その支持部１１７ａにて支持されたホイール１２０を実線と点線で示す角度に回転させる。
【００５４】
ハンドル舵角センサ２２は、例えば上記ピニオン１１４のように、ハンドル１１１の回転操作に伴って回転する部材に取り付けられている。同図にて例示したハンドル舵角センサ２２は、図示しない発光受光素子対を２組備えた光センサ２２ａとその周面に反射面及び非反射面が交互に形成されたドラム部材２２ｂとから構成されている。
ドラム部材２２ｂはピニオン１１４に対しこのピニオン１１４とともに回転するように取り付けられている。光センサ２２ａはこのドラム部材２２ｂの周面に対向するとともに発光受光素子対の各組がドラム部材２２ｂの回転方向に対して僅かにずらされて配設されている。
【００５５】
そして運転者がハンドル１１１を回転操作してピニオン１１４が回転するとドラム部材２２ｂも回転する。このドラム部材２２ｂの回転に伴って光センサ２２ａの目前を反射面及び非反射面が次々と通過し、光センサ２２ａはこの回転に応じたパルス信号を出力する。このとき光センサ２２ａの発光受光素子対の各組は僅かに位置をずらされているので、この光センサ２２ａからは位相がずれたパルス信号が出力される。そしてこのパルス信号における位相のずれ状態はドラム部材２２ｂの回転方向によって異なる。
従って、このハンドル舵角センサ２２は、光センサ２２ａからのパルス信号のパルス数を計数することによりハンドル１１１の操作量（回転量）を把握し、位相のずれ状態からハンドル１１１の回転方向すなわち車両の転回方向を把握する。
【００５６】
操舵角センサ２３は、例えば図３（ｂ）に示すように、ステアリング機構１１０〔図３（ａ）参照〕のナックルアーム１１７に取り付けられている。この操舵角センサ２３は、ローラ部材２３ａと、このローラ部材２３ａの回転に基づいてパルス信号を生成するパルス生成部２３ｂとから構成されている。
そしてローラ部材２３ａは、ナックルアーム１１７の転舵中心Ｃに接するよう配設され、そしてローラ部材２３はこのナックルアーム１１７の転舵中心Ｃが回転することにより自らも回転する構成となっている。パルス生成部２３ｂは、例えば、ローラ部材２３ａとともに回転するスリット板とこのスリット板に配設された発光受光素子対とからなるいわゆるフォトインタラプタ（いずれも図示せず）として構成されており、ローラ部材２３ａの回転に応じてパルス信号を出力する構成となっている。
この操舵角センサ２３においても、このパルス信号に基づいてハンドル１１１の操作量及び回転方向を把握する。
【００５７】
そしてこれらのハンドル舵角センサ２２あるいは操舵角センサ２３からのパルス信号は、転回情報としてデータ処理部４のＣＰＵ４１に供給される。
なお、ここではハンドル舵角センサ２２あるいは操舵角センサ２３として光センサを使用したものについて例示したが、これらの舵角センサ２２、２３については、例示したものに限るものではなくハンドル１１１の舵角あるいは操舵輪（ホイール１２０）の操舵角を検出するものであれば何でも良い。
【００５８】
走行距離検出部２４は、車両の走行距離を検出する機構で、車両のトランスミッションシャフト等に取付けられている。この走行距離検出部２４は、例えば、トランスミッションシャフトに取付けられた磁石と、この磁石に隣接して配置されたホール素子と、このホール素子からの出力に応じて可変する比較電圧がその一方の端子（例えば＋端子）に供給され、他方の端子（例えば−端子）に基準電圧が供給されたコンパレータとを備えている。
【００５９】
このような走行検出部２４においては、磁石は、トランスミッションシャフトが回転することにより回転し、ホール素子にＮ，Ｓ，Ｎ，Ｓ，…と磁界を加える。これによりホール素子は加えられた磁界に応じて所定の電圧を誘起し、そしてコンパレータの一方の端子に供給する比較電圧を増減する。コンパレータは、一方の端子に供給された比較電圧が他方の端子に供給された基準電圧より低い場合は「Ｈ」を、また高い場合は「Ｌ」なる電圧を出力する。従って、コンパレータ１は、磁石の回転に対応して「Ｈ」，「Ｌ」となる走行パルスを出力する。
すなわち、この走行検出部２４は、単位距離走行する毎にパルス信号を出力するように構成されている。
【００６０】
記憶部３は、従来装置で説明した撮像部１からの画像信号を蓄えるフレームメモリ３１、障害物がない平坦な地面の場合の画像データを保持する参照データメモリ３２及び車両の形状データなどを保持する車両データメモリ３３の他に、撮像部１の監視領域１００ａの範囲外となった障害物に関するデータを範囲外障害物データとして保持する範囲外障害物メモリ３４を有している。
【００６１】
データ処理部４は、従来装置と同様に、動作プログラムが格納されたＲＯＭ４２と、この動作プログラムに従って動作するＣＰＵ４１と、ＣＰＵ４１の動作時において必要な情報を一時格納するＲＡＭ４３とを有している。
また、表示部５及び音声指示部６からなる告知部７についても従来装置と構成上の大きな差はない。ただし表示部５に関し、撮像部１が撮像した画像とデータ処理部によって生成した画像とを切換表示するためのスイッチ５２が設けられている。
【００６２】
次に、上述した構成を有する第１実施形態の動作について説明する。
本実施形態において、データ処理部４は、図４に示すフローチャートの処理を実行することにより、車両と障害物との相対位置の算出動作及び衝突回避のための警報動作を行う。
【００６３】
まず、ステップＳ１１０において、この計測動作すなわちこのフローチャートの処理が初回であるか否かを判定する。このステップＳ１１０で初回の処理と判定された場合には、障害物が撮像手段１の監視領域１００ａの範囲外に移動したかを判定する必要はないので、ステップＳ１２０に移行する。
そして、このステップＳ１１０で初回でないと判定された場合には、ステップＳ１１１に移行する。
【００６４】
ステップＳ１１１では、車両の移動位置の算出、すなわち前回の計測動作から今回の計測動作の期間内における車両の移動距離及びその移動方向といった車両の移動量を算出する。
このステップＳ１１１では、上記走行検出部２４からのパルス信号に基づいて車両の走行距離を取得し、図３にて説明したハンドル舵角センサ２２あるいは操舵角センサ２３からの転回情報に基づいて車両の移動方向を取得する。そしてこれらの走行距離情報および転回情報を車両の相対移動量として保持（ＲＡＭ４３に格納）する。
【００６５】
このステップＳ１１１では、走行検出部８からの走行距離情報及びハンドル舵角センサ２２（操舵角センサ２３）からの転回情報に基づいて、車両の相対移動量を算出するものを例示したが、これを図５に示すように、撮像部１からの画像情報を用いて算出するように構成することもできる。
【００６６】
すなわち、図５（ａ）に示すように、フレームメモリ３１に蓄えられた画像情報中に任意の指標物Ｂを設定し、この指標物Ｂにおける着目点の座標Ｂ1 を取得する。そしてこの着目点の座標が車両の移動に伴い、図５（ｂ）に示すように座標Ｂ2 へ移動し、さらなる車両の移動により図５（ｃ）に示すように座標Ｂ3 へと移動する。
【００６７】
そしてこの着目点が座標Ｂ1 、座標Ｂ2 、座標Ｂ3 へ移動する際のフレームメモリ３１における移動量ｄｘ1 及びｄｙ1 や移動量ｄｘ2 及びｄｙ2 に基づいて車両の相対移動量を算出するように構成してもよい。
この場合、三次元位置計算により着目点の高さを既知とし、この高さ既知の着目点に基づき上述した演算を実行する。
【００６８】
また、他には、車両の速度を検出する車速センサを用い、この車速センサにて検出された車速と前回の計測動作から今回の計測動作までの経過時間とを積算して車両の移動距離を算出し、この移動距離情報に、ハンドル舵角センサ２２などからの転回情報を加味して車両の相対移動量を取得するように構成してもよい。
【００６９】
このステップＳ１１１における車両の相対移動量の算出は、図６の模式図にて示すように、車両１００の撮像手段１の取付位置Ｐ１００（ｘ１００，ｙ１００）を基準点として、この基準点の移動量として処理すると処理が高速化できて都合がよい。  この場合、後述する衝突予測ステップにおいては、記憶部３の車両データメモリ３３に保持された車両情報すなわち、基準点Ｐ１００、右側後端点Ｐ１００ａ、左側後端点Ｐ１００ｂ、右側前端点Ｐ１００ｃ及び左側前端点Ｐ１００ｄの各データをこの基準点Ｐ１００に重畳することにより車両の位置及び形状を把握し衝突を予測する。
【００７０】
このようにステップＳ１１１にて車両の相対移動量を算出すると、次いでステップＳ１１２に移行する。
このステップＳ１１２では、ステップＳ１１１にて算出した車両の相対移動量に基づき、前回までに検出された障害物について今回の計測動作時点における障害物の位置を推定する。これは、障害物が静止しているものとみなして、前回の計測動作時点での障害物の位置座標にステップＳ１１１にて算出した車両の相対移動量を加算することにより行われる。
【００７１】
このステップＳ１１２における障害物の位置推定動作も、図６に示すように、障害物２００の重心を基準点Ｐ２００とし、この基準点Ｐ２００の移動座標値として処理すると、処理を高速化することができる。
そしてこのように基準点を用いた場合、先の車両データのときと同様に後述する衝突予測ステップにおいては、障害物２００の形状データＰ２００ｒをこの基準点Ｐ２００に重畳することにより、障害物の位置及び形状を把握し衝突を予測する。
【００７２】
そして引き続くステップＳ１１３では、ステップＳ１１２で推定した障害物が、監視領域１００ａの範囲内であるか範囲外であるかを判定する。この判定は監視領域１００ａ内にある障害物のそれぞれについて行う。そして「範囲外」と判定された障害物については、記憶部３の範囲外障害物メモリ４３にその位置情報及び形状情報を格納する。
このステップＳ１１３における「範囲内」あるいは「範囲外」の判定は、障害物の重心を基準点として、この基準点が監視領域１００ａ内にあるか否かを判定するように構成すると処理を高速化できる。
【００７３】
すなわち、図６の模式図に示すように、障害物２００の重心が前回の計測動作時点において基準点Ｐ２００の位置にあって、そして車両１００が移動したことによりその重心が基準点Ｐ２００ａまで移動した場合は、障害物２００がＰ２００  の位置にあるときはその重心が監視領域１００ａ内にあるので、障害物２００は「範囲内」と判定される。そして障害物２００がＰ２００ａの位置にあるときはその重心が監視領域１００ａより外側に位置しているので障害物２００は「範囲外」と判定される。
このように障害物２００の重心を判定の基準とすることにより、演算処理を簡単にすることができる。
【００７４】
以上のステップＳ１１１〜ステップＳ１１３により障害物が監視領域１００ａ内にあるか否かを判定し、そして監視領域１００ａの範囲外と判定した障害物についてはその位置情報及び形状情報を記憶部３の範囲外障害物メモリ４３に保持する。そしてステップＳ１２０に移行する。
【００７５】
このステップＳ１２０では、今回計測時における車両位置での障害物の検出が行われる。すなわちこのステップＳ１２０では、撮像部１（図１５参照）により、この時点における監視領域１００ａ内に存在する障害物の有無の検出が行われる。
そしてステップＳ１２１では、上記ステップＳ１２０にて検出された障害物のそれぞれについて、２次元形状あるいは３次元形状といった形状情報の取得動作及び撮像部１との相対位置情報が算出される。このステップＳ１２１の相対位置情報の算出は、例えば、障害物の形状情報に基づいて当該障害物の重心を算出し、この重心と撮像部１との相対位置を算出することが行われる。
【００７６】
そしてステップＳ１２２では、上記ステップＳ１２１で算出された障害物の相対位置情報及び形状情報を記憶する。これらの相対位置情報及び形状情報は、データ処理部４のＲＡＭ４３に保持される。
以上のステップＳ１２０〜ステップＳ１２２の処理により、監視領域１００ａ内における障害物が検出されるとともに検出された障害物と車両（撮像部１）との相対位置が算出される。
【００７７】
次いでステップＳ１３０に移行する。このステップＳ１３０では、車両の進路が予測される。すなわち、このステップＳ１３０では、図３で説明した舵角検出部２１（ハンドル舵角センサ２２、操舵角センサ２３）からの転回情報に基づいて車両の転回角度を算出するとともにこの転回角度に基づいて車両の予測進路を算出する。
【００７８】
なお、このステップＳ１３０の処理に関し、上述したステップＳ１１１と同様に車両の進路をフレームメモリ３１に記憶されたデータに対する画像処理にて算出できるのは、いうまでもない。
【００７９】
そして引き続くステップＳ１３１では、上記ステップＳ１１３にて記憶した「範囲外」の障害物に関する位置情報及び形状情報と、上記ステップＳ１２２にて記憶した監視領域１００ａ内（「範囲内」）の障害物に関する位置情報及び形状情報と、上記ステップＳ１３１にて算出した車両の予測進路とに基づき、「範囲内」及び「範囲外」の障害物と、予測進路上における車両との相対位置を算出するとともにこの算出した相対位置に基づいて障害物と車両とが衝突する（衝突の危険性がある）か否かを判定する。
【００８０】
次のステップＳ１４０では上記ステップＳ１３１の判定結果に基づいて警報を発生するか否かがの判定が行われる。すなわち、上記ステップＳ１３１で「衝突しない」と判定された場合には上記ステップＳ１１０に移行して次の計測動作を行う。一方、上記ステップＳ１３１で「衝突する（危険性あり）」と判定された場合には引き続くステップＳ１５０に移行する。
【００８１】
このステップＳ１５０では、上記ＣＰＵ４１は表示部５のディスプレイ装置５１に対して「衝突する」旨のメッセージを表示するよう駆動信号を送出し、音声指示部６の駆動回路６２に対して「衝突する」旨を知らせる音声ガイダンスあるいはブザー音を生成するための音声信号を送出する。ＣＰＵ４１からの駆動信号あるいは音声信号により、表示部５のディスプレイ装置はメッセージを表示し、音声指示部６のスピーカ６１は音声あるいはブザー音を発生する。
【００８２】
なお、このステップＳ１４０〜ステップＳ１５０においては、障害物と車両とが衝突する危険性がある場合に警告メッセージや警告音（音声ガイダンス、ブザー音）を発生する構成を例示したが、これを「範囲内」及び「範囲外」の障害物を常時ディスプレイ装置５１に表示させておくようにし、運転者に車両との相対距離を認識させるよう構成してもよい。
【００８３】
次に、上述した各ステップに基づく実際の処理について図１８を参照して説明する。
車両１００が位置Ｐ４（図中点線にて示す）にある場合においては、障害物２００は車両１００の監視領域１００ａ内に存在している。従ってこの位置Ｐ４では障害物２００は「範囲内」のものとして扱われる。そして車両１００における撮像部１の取付位置Ｐ１００（Ｐ４）と障害物２００の重心Ｐ２００との相対距離ＳＰ（Ｐ４）と、両者の位置関係を示すＤＸ（Ｐ４）及びＤＹ（Ｐ４）とが算出され、これらが相対位置データとして記憶される。
【００８４】
この位置Ｐ４において車両の操舵輪（前輪）の操舵角は車両１００の側面に平行な操舵角θ0 であるので、車両１００はそのまま直進して後退する。ＣＰＵ４３は車両１００の車両データとこの障害物２００の形状データとを加味して車両１００と障害物２００とが衝突するか否かを判定する。この場合、図からも明らかなように両者は衝突しないので警報は発せられない。
【００８５】
そして車両が位置Ｐ５（図中実線にて示す）まで移動した場合には、障害物２００は監視領域１００ａから外れている。従ってこの位置Ｐ５においては障害物２００は「範囲外」のものとして扱われ、その位置情報及び形状情報は記憶部３の範囲外障害物メモリ３４に保持されている。そして車両１００における撮像部１の取付位置Ｐ１００（Ｐ５）と障害物２００の重心Ｐ２００との相対距離ＳＰ（Ｐ５）と、両者の位置関係を示すＤＸ（Ｐ５）及びＤＹ（Ｐ５）とが算出され、これらが相対位置データとして記憶される。
【００８６】
この位置Ｐ５において車両の操舵輪（前輪）の操舵角は操舵角θ2 であるので、車両１００は図中矢印で示す軌跡の上を弧を描いて後退する。ＣＰＵ４３は車両１００の車両データとこの障害物２００の形状データとを加味して車両１００と障害物２００とが衝突するか否かを判定する。この場合、図からも明らかなようにこの障害物２００は車両１００の右前端部Ｐ１００ｃの軌跡の範囲内に存在するので、この場合ＣＰＵ４３は告知部７に対して警報を発生するよう信号を送出する。
このように本実施形態においては、監視領域１００ａの範囲外となった障害物についても車両との相対位置を算出するので、監視範囲外にある障害物であっても車両との衝突といった危険性があれば、それを運転手に告知する。
【００８７】
以上説明した第１実施形態では、ＣＣＤカメラ１４の撮像範囲内で検出された障害物が車両との相対移動により監視領域から外れた場合においても移動位置を知ることができる。
次に、ＣＣＤカメラ１４の撮像範囲内で検出及び消滅を繰り返すような比較的小さい障害物について、移動位置を知ることができるように構成した第２実施形態について説明する。
【００８８】
図７は、この第２実施形態の構成を説明するブロック図で、同図において、先に説明したものと同一部には同一符号を付して示している。この第２実施形態では、記憶部３に範囲内障害物移動位置メモリ３５が設けられている点に構成上の相違がある。この範囲内障害物移動位置メモリ３５は、第１実施形態における範囲外障害物メモリ３４に代えて設けられている。
【００８９】
また、この第２実施形態における撮像部１としては、一対のビデオカメラにより構成されたステレオ式（図１５（ｂ）参照）のものとされ、フレームメモリ３１もまた左右一対設けられている。これにより、左右画像の視差から路面画像を消去することができるとともに高さのある画像（すなわち物体）のエッジ画像を取得することができる。
なお、この第２実施形態における他の構成については、先に説明した第１実施形態にて説明した構成と同様であるので、その説明を省略する。
【００９０】
そして、範囲内障害物移動位置メモリ３５は、図８に示すように、３つの保持領域すなわち第１保持領域３５ａ、第２保持領域３５ｂ及び第３保持領域３５ｃから構成されている。
【００９１】
これらの保持領域の内、第１保持領域３５ａは、撮像部１による撮像画像、すなわち監視領域中に存在する障害物について、全ての特徴点の３次元位置データを記憶する領域とされている。
【００９２】
そして、第２保持領域３５ｂは、所定時間が経過した時点における障害物の特徴点の３次元位置データを記憶する領域とされている。
この第２保持領域３５ｂに格納されるデータは、第１保持領域３５ａに格納された障害物の特徴点の３次元位置データと、走行距離検出部２４から出力されるパルス信号の送出間隔に基づいて検出された車両の走行速度情報と、舵角検出部２１により検出された車両の転回情報とに基づいて予測された、所定時間が経過した時点に存在すると予測される障害物の特徴点の３次元位置データとされる。
【００９３】
また、第３保持領域３５ｃには、第２保持領域３５ｂに格納された障害物の特徴点の３次元位置データと、車両の走行速度情報と、車両の転回情報とに基づいて予測された、さらに所定時間が経過した時点に存在すると予測される障害物の特徴点の３次元位置データとされる。
【００９４】
次に、上述した構成を有する第２実施形態の動作について説明する。
本実施形態において、データ処理部４は、図９に示すフローチャートの処理を実行することにより、車両と障害物との相対位置の算出動作及び衝突回避のための警報動作を行う。
【００９５】
まず、ステップＳ２００において、範囲内障害物移動位置メモリ３５の第１保持領域３５ａ、第２保持領域３５ｂ及び第３保持領域３５ｃの保持内容をリセットする。
ステップＳ２０１では、周期カウンタのリセットを行う。この周期カウンタは、装置の動作周期を計時するものとされ、データ処理部４のＲＡＭ４３に設定される。なお、本実施形態における周期カウンタの計時時間は、１フレームの画像を処理するのに要する時間として規定される。
そして、ステップＳ２０２では、周期カウンタによるカウント動作をスタートする。
【００９６】
ステップＳ２１０では、撮像部１により撮像された監視領域１００ａ（図１６参照）内の画像をフレームメモリ３１に取り込む。
ステップＳ２１１では、舵角検出部２１からのハンドル舵角情報、及び、走行距離検出部２４から出力されるパルス信号の送出間隔すなわち車速情報を取り込む。
【００９７】
ステップＳ２１２では、障害物検出処理を行う。この障害物検出処理は、上記ステップＳ２１０にて取り込まれた撮像画像に対してなされる処理である。
この処理では、まず、路面画像（すなわち高さ「０」の画像）を除去し、この路面画像が除去された画像に対して水平方向及び垂直方向あるいは何れか一方向の微分処理を行なうことにより、物体の外観を表すエッジ画像を取得する。
【００９８】
そして、取得したエッジ画像より、監視領域１００ａ内に存在する物体（すなわち障害物）の形状を示す特徴点の３次元座標データを障害物のデータとして取得する。
ステップＳ２１３では、上記ステップＳ２１２で取得した特徴点の３次元座標データ（検出結果）を範囲内障害物移動位置メモリ３５の第１保持領域３５ａに記憶させる。
【００９９】
ステップＳ２２０では、範囲内障害物移動位置メモリ３５の第２保持領域３５ｂの保持内容を参照し、この第２保持領域３５ｂ内にデータが記憶されているか否かを判定する。そして、データが記憶されている場合（Ｙ）にはステップＳ２２１に移行し、データが記憶されていない場合（Ｎ）には、ステップＳ２２５に移行する。
【０１００】
ステップＳ２２１では、範囲内障害物移動位置メモリ３５の第３保持領域３５ｃの保持内容を参照し、この第３保持領域３５ｃ内にデータが記憶されているか否かを判定する。そして、データが記憶されている場合（Ｙ）にはステップＳ２２２に移行し、データが記憶されていない場合（Ｎ）には、ステップＳ２２４に移行する。
【０１０１】
ステップＳ２２２では、範囲内障害物移動位置メモリ３５の第１保持領域３５ａ、第２保持領域３５ｂ及び第３保持領域３５ｃに記憶されたデータを表示部５のディスプレイ装置５１にて表示する。
【０１０２】
より詳細には、現動作周期にて撮像した画像から取得した障害物の特徴点の３次元位置データ（第１保持領域３５ａ）、１動作周期前にて取得した障害物の特徴点の３次元位置データから予測した障害物の３次元位置データ（第２保持領域３５ｂ）、２動作周期前にて取得した障害物の３次元位置データから予測した障害物の３次元位置データ（第３保持領域３５ｃ）の表示を行う。
そして、このステップＳ２２２の処理が終了するとステップＳ２２３に移行して上述した周期カウンタのカウント値が規定時間に達しストップするまで待機する。
【０１０３】
一方、範囲内障害物移動位置メモリ３５の第３保持領域３５ｃにデータが記憶されておらず（Ｓ２２１で「Ｎ」）ステップＳ２２４に移行した場合には、このステップＳ２２４にて範囲内障害物移動位置メモリ３５の第１保持領域３５ａ（現動作周期のデータ）及び第２保持領域３５ｂ（１動作周期前のデータより予測されたデータ）をディスプレイ装置５１にて表示する。
そして、ステップＳ２２３に移行して上述した周期カウンタのカウント値が規定時間に達しストップするまで待機する。
【０１０４】
また、範囲内障害物移動位置メモリ３５の第２保持領域３５ｃにデータが記憶されておらず（Ｓ２２０で「Ｎ」）ステップＳ２２５に移行した場合には、このステップＳ２２５にて範囲内障害物移動位置メモリ３５の第１保持領域３５ａ（現動作周期のデータ）のみをディスプレイ装置５１にて表示する。そして、ステップＳ２２６に移行して上述した周期カウンタのカウントをストップした後にステップＳ２３２に移行する。
【０１０５】
そして、上記ステップＳ２２３の処理が終了しステップＳ２３０に移行した場合には、このステップＳ２３０にて次動作周期における障害物の位置予測を行う。
すなわち、このステップＳ２３０では、舵角検出部２１からのハンドル舵角情報、走行距離検出部２４からの車速情報及び周期カウンタ（ＲＡＭ４３）により規定された動作周期に基づき、次の動作周期時点の車両の相対移動量を算出するとともに範囲内障害物移動位置メモリ３５の第２保持領域３５ｂに記憶されたデータについて、次の動作周期時点における障害物（特徴点の３次元座標データ）の移動位置を算出（予測）する。
【０１０６】
引き続くステップＳ２３１では、上記ステップＳ２３０にて算出した障害物の移動位置を範囲内障害物移動位置メモリ３５の第３保持領域３５ｃに記憶させる。
【０１０７】
ステップＳ２３２では、現動作周期にて取得された障害物について次動作周期における障害物の位置予測を行う。
すなわち、このステップＳ２３２では、上記ステップＳ２３０の動作を範囲内障害物移動位置メモリ３５の第１保持領域３５ａに記憶されたデータに対して行う。
引き続くステップＳ２３３では、上記ステップＳ２３２にて算出した障害物の移動位置を範囲内障害物移動位置メモリ３５の第２保持領域３５ｂに記憶させる。
そして、このステップＳ２３３の処理が終了すると、ステップＳ２０１に移行して、次周期における動作を実行する。
【０１０８】
次に、上述した各ステップに基づく実際の処理について図１０〜図１３を参照して説明する。図１０は範囲内障害物移動位置メモリ３５内の記憶内容を示す模式図、図１１は車両１００と障害物２００Ａの相対位置関係を説明する模式図、図１２は撮像部１を構成するビデオカメラの走査線と、このビデオカメラにより撮像された障害物の関係を説明する模式図、図１３は障害物２００Ａがディスプレイ装置５１により表示される様子を説明する模式図である。
【０１０９】
図１１に示すように、動作周期ｔ１時点において停車中にある車両１００（ｔ１）が、この動作周期ｔ１経過直後に後方へ移動を開始し、所定の動作周期ｔが経過した動作周期ｔ２時点（符号１００（ｔ２）で示す位置に相当）にて画像を取得した場合について考える。
【０１１０】
この場合、まず、動作周期ｔ１以前の停車時点において、範囲内障害物移動位置メモリ３５の記憶内容をリセットする（Ｓ２００）。そして、周期カウンタのカウント値をリセットし、周期カウンタによるカウントをスタートする（Ｓ２０１、Ｓ２０２）。
そして、撮像部１により監視領域１００ａ内を撮像し、この画像データを動作周期ｔ１時点の画像データとしてフレームメモリ３１に取り込み（Ｓ２１０）、同時に、舵角検出部２１からのハンドル舵角情報、及び、走行距離検出部２４から出力されるパルス信号の送出間隔すなわち車速情報をＲＡＭ４３に取り込む（Ｓ２１１）。なお、この時点における障害物２００Ａは、図１２に示すように、ビデオカメラの走査線上に存在し、このビデオカメラによる検出が可能な状態となっている。
【０１１１】
続いて、フレームメモリ３１に取り込まれた画像データより障害物の検出すなわち高さのある物体のエッジ画像の作成並びにこのエッジ画像に基づく特徴点（３次元位置座標データ、以下特徴点データという）の取得を行う（Ｓ２１２）。
そして、例示しているように、監視領域１００ａ内に障害物２００Ａのみが存在する場合には、この障害物２００Ａの特徴点データが取得される。また、多数の障害物が存在した場合には、存在した全ての障害物の特徴点データが取得される。
【０１１２】
この取得した特徴点データは、範囲内障害物移動位置メモリ３５の第１保持領域３５ａに記憶される（Ｓ２１３）。この場合、初回の動作周期であるので、取得した特徴点データは、図１０における動作周期ｔ１に示すように、第１保持領域３５ａに特徴点データＰ11として記憶される。
【０１１３】
続いて、範囲内障害物移動位置メモリ３５の第２保持領域３５ｂ及び第３保持領域３５ｃに過去分の特徴点データが記憶されているか否かを判定する（Ｓ２２０、Ｓ２２１）。
この場合には、第１保持領域３５ａのみに特徴点データが記憶されているので（Ｓ２２０で「Ｎ」）、この第１保持領域３５ａに記憶された特徴点データに基づく障害物をディスプレイ装置５１にて表示する（Ｓ２２５、図１３（ａ）参照）。
【０１１４】
そして、動作周期カウンタのカウント値が規定時間に達するまで待機し（Ｓ２２６）、ハンドル舵角情報及び車速情報を用いた演算動作により第１保持領域３５ａに記憶された特徴点データの次動作周期時点における移動位置を予測し（Ｓ２３２）、この予測した移動位置を第２保持領域３５ｂに特徴点データＰ12として記憶させる（Ｓ２３３、図１０における動作周期ｔ２参照）。
【０１１５】
続いて、周期カウンタをリセットするとともに再度カウントをスタートし（Ｓ２０１、Ｓ２０２）、動作周期ｔ２時点の画像、ハンドル舵角並びに車速を取り込む（Ｓ２１０、Ｓ２１１）。なお、この動作周期ｔ２時点における障害物２００Ａは、図１２に点線で示すように、ビデオカメラの走査線間に存在し、検出できない（消滅した）状態となっている。
【０１１６】
続いて、取り込まれた画像データより障害物の特徴点データの取得を行い（Ｓ２１２）、この取得した特徴点データＰ21を範囲内障害物移動位置メモリ３５の第１保持領域３５ａに記憶させる（Ｓ２１３、図１０の動作周期ｔ２参照）。
【０１１７】
続いて、範囲内障害物移動位置メモリ３５の第２保持領域３５ｂ及び第３保持領域３５ｃに過去分の特徴点データが記憶されているか否かを判定（Ｓ２２０、Ｓ２２１）する。
この場合には、第１保持領域３５ａ及び第２保持領域３５ｂに特徴点データが記憶されているので（Ｓ２２１で「Ｎ」）、これらの第１保持領域３５ａ及び第２保持領域３５ｂに記憶された特徴点データに基づく障害物をディスプレイ装置５１にて表示する（Ｓ２２４）。
【０１１８】
このとき、この障害物２００Ａ（ｔ２）は、上述したように撮像画像上においては消滅しているが、第２保持領域３５ｂに保持された特徴点データに基づいて表示を行うことができる（図１３（ｂ）参照）
【０１１９】
そして、動作周期カウンタのカウント値が規定時間に達するまで待機し（Ｓ２２３）、ハンドル舵角情報及び車速情報を用いた演算動作により第２保持領域３５ｂに記憶された特徴点データＰ12の次動作周期時点における移動位置を予測し（Ｓ２３０）、この予測した移動位置を第３保持領域３５ｃに特徴点データＰ13として記憶させる（Ｓ２２１、図１０における動作周期ｔ３参照）。
【０１２０】
さらに、同様な移動位置の予測動作を第１保持領域３５ａに記憶された特徴点データＰ21に対して行い（Ｓ２３２）、この予測した移動位置を第２保持領域３５ｂに特徴点データＰ22として記憶させる（Ｓ２３３）。
その後、動作周期ｔ３移行の処理を繰り返し実行する。
【０１２１】
そして、このような処理を継続して実行することにより、図１０に示すように、範囲内障害物移動位置メモリ３５には、撮像画像（現動作周期）に基づく特徴点データＰ11、Ｐ21、Ｐ31・・・、１動作周期前の撮像画像に基づく特徴点データＰ12、Ｐ22、Ｐ32・・・、及び、２動作周期前の撮像画像に基づく特徴点データＰ13、Ｐ23、Ｐ33・・・が記憶されるので、例示したように、障害物がビデオカメラの撮像画像にて検出、消滅を繰り返す場合においても、この障害物を連続して捕捉することができる。
【０１２２】
なお、以上説明した本実施形態においても、上述した第１実施形態の如く、車両の転回方向をフレームメモリ３１内に記憶された画像の着目画素の移動量に基づいて検出してもよい。
同様に、障害物と車両の相対距離に基づき、両者が衝突する危険性がある場合に、その旨を告知手段を介して運転者に告知するように構成してもよい。
【０１２３】
また、本発明の基本構成と本実施形態とは、次の対応関係を有する。
すなわち、本発明の基本構成における撮像手段は本実施形態における撮像部１に対応し、走行状態情報出力手段は検出部２に対応し、告知手段は告知部７に対応している。転回方向検出手段は舵角検出部２１に対応し、表示手段は表示部５に、音声指示手段は音声指示部６に対応している。範囲外障害物情報保持手段は範囲外障害物メモリ３４に対応し、範囲内障害物移動位置保持手段は範囲内障害物移動位置メモリ３５に対応し、画像保持手段はフレームメモリ３１に対応している。
【０１２４】
また、障害物検出手段４１ａはフローチャートにおけるステップＳ１２０（第１実施形態）と、ステップＳ２１２（第２実施形態）とに対応し、障害物位置取得手段（４１ｂ）はステップＳ１２１（第１実施形態）と、ステップＳ２１２（第２実施形態）とに対応している。障害物位置予測手段４１ｃはステップＳ１３０（第１実施形態）と、ステップＳ２３０及びＳ２３２（第１実施形態）とに対応している。車両進路予測手段４１ｄは、ステップＳ１３０（第１実施形態）に対応している。
【０１２５】
【発明の効果】
以上詳細に説明したように、本発明によれば、次の効果を奏する。
すなわち、車両の走行状態情報に基づいて検出された障害物の車両との相対位置を予測するとともにこの予測された車両との相対位置にて障害物の表示を行うように構成したので、予測された車両との相対位置に基づく制御を行うことができ、使い勝手のよい車両周辺監視装置を提供することができる。
【０１２６】
また、障害物位置予測手段及び告知手段が対象とする障害物を撮像手段による撮像範囲から消滅した障害物としたので、撮像範囲から消滅した障害物についての車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【０１２７】
また、障害物位置取得手段が取得する障害物の位置情報を撮像手段の範囲外に移動することにより消滅した障害物とし、障害物位置予測手段は、この障害物の情報（範囲外障害物情報）に基づき、消滅した障害物の車両との相対位置を予測するので、撮像手段による撮像範囲外に移動して消滅した障害物についても車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【０１２８】
また、障害物位置取得手段が取得する障害物の位置情報を撮像手段の撮像範囲内に存在する障害物の位置情報とし、障害物位置予測手段は、この障害物の位置情報と走行状態情報とに基づいて、障害物の車両との相対位置を予測し、告知手段は、撮像範囲内にて消滅した障害物に関し、障害物位置予測手段により予測された車両との相対位置を運転者に告知するので、撮像手段による撮像範囲内にて消滅した障害物についても車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【０１２９】
また、障害物位置取得手段は、撮像手段の撮像範囲内に存在する障害物の位置情報（範囲内障害物情報）を周期的に取得し、障害物位置予測手段は、周期毎に、取得した障害物の車両との相対位置を予測し、この予測した障害物の車両との相対位置を範囲内障害物移動位置保持手段に格納し、告知手段は、撮像範囲内にて消滅した障害物に関し、障害物位置予測手段により予測された車両との相対位置を運転者に告知するので、撮像手段による撮像範囲内にて消滅した障害物について、直ちに車両との相対位置を知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【０１３０】
また、告知手段は、車両進路予測手段により予測された車両の進路と障害物位置予測手段により予測された障害物の車両との相対位置とを運転者に告知するので、車両がこれから走行することが予測される進路上における障害物の存在を、撮像範囲から消滅した障害物についても知ることができ、安全性を高めた使い勝手のよい車両周辺監視装置を提供することができる。
【０１３１】
また、車両進路予測手段は、撮像手段からの画像情報に基づいて車両の転回方向を認識するとともに認識した転回方向とから車両の進路を予測するので、特別な装置が不要となり装置の構成を簡単にすることができる。
【０１３２】
また、車両進路予測手段は、撮像手段からの画像情報を保持する画像保持手段に保持された画像情報を参照し、この画像情報内における着目画素の移動方向及び移動量を検出する。そして、この検出された移動方向及び移動量に基づいて車両の移動方向を認識するとともに認識した移動方向から車両の進路を予測するので、車両の進路を予測する場合において、着目点についてのみ処理を行えば良いので、処理に要する演算ステップを簡略化できる。
【０１３３】
また、車両進路予測手段は、前記走行状態情報に基づいて車両の進路を予測するので、車両の進路の予測と障害物の車両との相対位置の予測とを共通の情報により行うことができ、装置構成を簡単にすることができる。
【０１３４】
また、走行状態情報出力手段は、車両の走行距離を検出する走行距離検出手段からの走行距離情報と車両に設けられた転回方向検出手段からの転回方向の情報とを走行状態情報として出力するので、走行距離情報と転回方向情報とが車両から直接読み取ることができ、車両の進路を予測する場合において、処理を高速に行うことができる。
【０１３５】
また、転回方向検出手段は、ハンドル舵角を検出するハンドル舵角センサあるいは操舵輪の操舵角を検出する操舵角センサとして構成されているので、車両の転回方向の情報を確実に把握することができる。
【０１３６】
また、衝突予測手段は、予測された車両進路と予測された障害物の車両との相対位置とに基づいて車両が障害物に衝突するか否かを予測し、衝突すると予測された場合に告知手段が衝突の旨を告知するので、運転者は車両が現在の状態で移動した場合における車両と障害物との衝突可能性を事前に知ることができ、衝突を未然に防ぐことができ、より安全性を高めた車両周辺監視装置を提供することができる。
【０１３７】
また、告知手段は、車両と障害物との相対距離及びメッセージを表示する表示手段、あるいは、ブザー音や音声を発生する音声指示手段の一方あるいは双方であるので、運転者の視覚あるいは聴覚により車両と障害物との位置関係を伝達することができる。
【図面の簡単な説明】
【図１】本発明の基本構成図である。
【図２】第１実施形態の構成を説明するブロック図である。
【図３】舵角検出部２１を説明する図である。
【図４】第１実施形態の動作を説明するフローチャートである。
【図５】フレームメモリ３１に蓄えられた画像情報から車両の相対移動量を算出する方法を説明する図である。
【図６】障害物の位置を推定する動作、障害物の存在領域を判定する動作を説明する模式図である。
【図７】第２実施形態の構成を説明するブロック図である。
【図８】範囲内障害物移動位置メモリ３５の構成を説明する図である。
【図９】第２実施形態の動作を説明するフローチャートである。
【図１０】範囲内障害物移動位置メモリ３５内の記憶内容を示す模式図である。
【図１１】車両１００と障害物２００Ａの相対位置関係を説明する模式図である。
【図１２】撮像部１を構成するビデオカメラの走査線と、このビデオカメラにより撮像された障害物の関係を説明する模式図である。
【図１３】障害物２００Ａがディスプレイ装置５１により表示される様子を説明する模式図である。
【図１４】従来装置の構成を説明するブロック図である。
【図１５】撮像部１の構成を説明する図である。
【図１６】撮像部１の取り付け態様を説明する図である。
【図１７】車両１００の動きと障害物２００の関係を説明する図である。
【図１８】車両１００の動きと障害物２００の関係を説明する図である。
【符号の説明】
１            撮像部
２            検出部
２１          蛇角検出部
２４          走行距離検出部
３            記憶部
３１          フレームメモリ
３４          範囲外障害物メモリ
３５          範囲内障害物移動位置メモリ
４            データ処理部
４１          ＣＰＵ
４２          ＲＯＭ
４３          ＲＡＭ
５            表示部
６            音声指示部
７            告知部
１００        車両
２００、２００Ａ    障害物
【図１】
0003661957.tif 000002
【図２】
0003661957.tif 000003
【図３】
0003661957.tif 000004
【図４】
0003661957.tif 000005
【図５】
0003661957.tif 000006
【図６】
0003661957.tif 000007
【図７】
0003661957.tif 000008
【図８】
0003661957.tif 000009
【図９】
0003661957.tif 000010
【図１０】
0003661957.tif 000011
【図１１】
0003661957.tif 000012
【図１２】
0003661957.tif 000013
【図１３】
0003661957.tif 000014
【図１４】
0003661957.tif 000015
【図１５】
0003661957.tif 000016
【図１６】
0003661957.tif 000017
【図１７】
0003661957.tif 000018
【図１８】
0003661957.tif 000019