(57)【特許請求の範囲】
【請求項１】
車両の周辺を監視するシステムであって、
車載の撮像装置により定常的に取り込まれた映像に基づいて前記車両の周辺にある物体の位置を逐次測定し、前記物体の時系列的な測定位置を第１記憶部に保存する第１処理部と、
前記車両が曲がる可能性の有無を判定し、前記車両が曲がる可能性があると判定した場合、前記第１記憶部に保存されている前記物体の時系列的な測定位置に基づいて前記車両が曲がるときの前記物体との接触可能性を評価し、前記車両と前記物体との接触可能性の高低に応じて車載機器の動作を異なる形で制御する第２処理部とを備え、
前記第２処理部が、前記撮像装置により撮像された前記車両の前方の画像を表示する車載の情報出力装置に表示された第１物体と、前記情報出力装置の表示範囲から前記第１物体が外れた後に前記情報出力装置に表示された第２物体とが同一の物体であるか異なる物体であるかを判定し、前記第１物体と前記第２物体とが同一の物体であると判定した場合、前記車両と前記第１物体との接触可能性が低いと判定する一方、前記第１物体と前記第２物体とが異なる物体であると判定した場合、前記車両と前記第１物体との接触可能性が高いと判定することを特徴とする車両周辺監視システム。
【請求項２】
請求項１記載の車両周辺監視システムにおいて、
前記第２処理部が、前記撮像装置により撮像された前記第１物体および前記第２物体のそれぞれの重心位置、面積および外接四辺形の縦横比のうち一部または全部の変化パターンを対比することにより、前記第１物体と前記第２物体とが異なる物体であるか同一の物体であるかを判定することを特徴とする車両周辺監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を監視するシステムに関する。
【背景技術】
【０００２】
車両が右左折する際に歩行者や二輪車等の物体と接触することを回避するため、交差点手前で車載カメラにより取り込まれた映像に基づき、その交差点に車両が進入するときにこの車両と接触する可能性がある物体の存在を運転者に知らせる技術が提案されている（たとえば、特許文献１参照）。この技術によれば、車両が交差点に接近したことが判明した後で車載カメラによりわずかな時間差をもって撮影された２カットの映像を用いて、この車両と接触する可能性がある物体の有無が判定される。
【特許文献１】特開２００４−０５１００６号公報  第００２４段落〜第００３１段落、図２
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、車両に対する物体の相対的挙動は一様ではない。このため、前記技術によれば、車両が交差点に接近することが判明する前はカメラの撮影範囲にあった一方、その後でこの範囲から外れた物体については、車両との接触可能性を評価することはできない。
【０００４】
そこで、本発明は、車両が右左折等するときに物体と接触する可能性をより高い精度で評価して、この評価に応じて車載機器が適当に制御されうるように車両の周辺を監視しうるシステムを提供することを解決課題とする。
【課題を解決するための手段】
【０００５】
本発明の車両周辺監視システムは、車載の撮像装置により定常的に取り込まれた映像に基づいて前記車両の周辺にある物体の位置を逐次測定し、前記物体の時系列的な測定位置を第１記憶部に保存する第１処理部と、前記車両が曲がる可能性の有無を判定し、前記車両が曲がる可能性があると判定した場合、前記第１記憶部に保存されている前記物体の時系列的な測定位置に基づいて前記車両が曲がるときの前記物体との接触可能性を評価し、前記車両と前記物体との接触可能性の高低に応じて車載機器の動作を異なる形で制御する第２処理部とを備え、前記第２処理部が、前記撮像装置により撮像された前記車両の前方の画像を表示する車載の情報出力装置に表示された第１物体と、前記情報出力装置の表示範囲から前記第１物体が外れた後に前記情報出力装置に表示された第２物体とが同一の物体であるか異なる物体であるかを判定し、前記第１物体と前記第２物体とが同一の物体であると判定した場合、前記車両と前記第１物体との接触可能性が低いと判定する一方、前記第１物体と前記第２物体とが異なる物体であると判定した場合、前記車両と前記第１物体との接触可能性が高いと判定することを特徴とする。
【０００６】
前記第２処理部が、前記撮像装置により撮像された前記第１物体および前記第２物体のそれぞれの重心位置、面積および外接四辺形の縦横比のうち一部または全部の変化パターンを対比することにより、前記第１物体と前記第２物体とが異なる物体であるか同一の物体であるかを判定してもよい。
【発明を実施するための最良の形態】
【００２２】
本発明の車両周辺監視システムの実施形態について図面を用いて説明する。まず、本発明の車両周辺監視システムの構成について図１および図２を用いて説明する。図１に示されているように車両１には、車両周辺監視システム１０と、ナビゲーションシステム（以下「ナビシステム」という。）２０とが搭載されている。車両１の前部には、車幅方向中心部に対してほぼ対称に左右一対の赤外線カメラ１０２が配置されている。２つの赤外線カメラ１０２の光軸は路面からの高さが等しく、かつ、相互に平行となるように調節されている。車両１のフロントウィンドウにはＨＵＤ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ）１２２が、運転者の視界を妨げないように配置されている。ＨＵＤ１２２には、赤外線カメラ１０２を通じて取得された、図４（ａ）に示されているような車両１の前方の映像（画像）が表示される。また、図２に示されているように車両１には、そのヨーレートに応じた信号を出力するヨーレートセンサ１０４と、その速度に応じた信号を出力する速度センサ１０６と、方向指示器の出力に応じた信号を出力する方向指示器センサ１０８等、種々のセンサが搭載されている。
【００２３】
ナビシステム２０はＣＰＵ、ＲＯＭ、ＲＡＭ等のメモリ、信号入力回路、信号出力回路等により構成されている。ナビシステム２０はユーザにより設定された目的地までのルートを設定し、車両１のコンソールに配置されたナビディスプレイ２０２に、図４（ｂ）に示されているようなルートＲを表示させる。また、ナビシステム２０は、ナビディスプレイ２０２に、ＧＰＳにより測定された車両１の現在位置およびヨーレートセンサ１０４の出力に応じた車両１の進行方向を表す、図４（ｂ）に示されているようなアイコンＣを表示させる。
【００２４】
車両周辺監視システム１０は、車両１に搭載されたコンピュータ（ＣＰＵ、ＲＯＭ、ＲＡＭ、信号入力回路、信号出力回路等により構成されている。）と、メモリ等に格納され、当該コンピュータに諸機能を付与する本発明の「車両周辺監視プログラム」とにより構成されている。車両周辺監視プログラムは最初から車載コンピュータのメモリに格納されていてもよいが、その一部または全部が運転手または車載コンピュータからのリクエストがあったとき等、任意のタイミングで所定のサーバからダウンロードされてもよい。また、図２に示されているように車両周辺監視システム１０は、第１処理部１１と、第１記憶部１１１と、第２記憶部１１２と、第２処理部１２とを備えている。
【００２５】
第１処理部１１は、赤外線カメラ１０２により定常的に取り込まれた映像に基づいて車両１の周辺にある物体の位置を逐次測定し、最近の第１時系列的な物体の測定位置を第１記憶部１１１に保存する。また、第１処理部は、赤外線カメラ１０２により取り込まれた、最近の第２時系列的な車両１の周辺映像を第２記憶部１１２に保存する。
【００２６】
第２処理部１２は、ナビシステム２０により車両１が曲がる可能性の有無を判定し、かつ、曲がる方向を推定する。また、第２処理部１２は方向指示器センサ１０８の出力やナビシステム２０により設定されたルートの形状等に基づいて車両１が曲がる方向を推定する。さらに、第２処理部１２は第１記憶部１１１に保存されている物体の時系列的な測定位置のうち当該推定方向側における時系列的な測定位置に基づき、車両１が曲がるときの物体との接触可能性を示す情報をＨＵＤ１２２およびナビディスプレイ２０２に出力させる。また、第２処理部１２は第２記憶部１１２に保存されている過去の映像をＨＵＤ１２２に表示させる。
【００２７】
前記構成の車両周辺監視システム１０の機能について図３〜図５を用いて説明する。まず、制御サイクルを表す指数ｋが１に設定される（図３／Ｓ００２）。第１処理部１１が、一対の赤外線カメラ１０２により取り込まれた映像に基づき、この映像に含まれる物体の実空間位置Ｐkを測定する（図３／Ｓ１０２）。実空間位置Ｐkとは、図１に示されているように一対のカメラ１０２の取り付け位置の中点を原点Ｏとし、水平方向、鉛直方向および前後方向をそれぞれＸ、ＹおよびＺ軸とする座標系における位置を意味する。
【００２８】
物体の実空間位置Ｐkの測定方法としては特開２００１−６０９６号公報、特開２００３−１５７４９８号公報等に開示されている方法が採用されるので、本願明細書ではその詳細な説明を省略する。この測定方法には、赤外線画像、グレースケール画像、２値化画像、探索画像等の処理が含まれ、第１処理部１１は実空間位置Ｐkの測定に伴って、ＨＵＤ１２２に表示される映像Ｉkを取得する（図３／Ｓ１０４）。この映像Ｉkにおいては、車両１と接触する可能性のある物体が強調表示されうる。
【００２９】
また、第１処理部１１は第１記憶部１１１により記憶されている時系列的な実空間位置｛Ｐk｝の総数Ｎ｛Ｐk｝が第１所定数Ｎ1未満であるか否かを判定する（図３／Ｓ１１２）。当該判定結果が肯定的であった場合（図３／Ｓ１１２‥ＹＥＳ）、第１処理部１１は今回測定した実空間位置Ｐkを第１記憶部１１１に保存（または格納）する（図３／Ｓ１１６）。一方、当該判定結果が否定的であった場合（図３／Ｓ１１２‥ＮＯ）、第１処理部１１は、今回からＮ1回だけ先の制御サイクルにおいて測定した実空間位置Ｐk-N1を第１記憶部１１１から消去した上で（図３／Ｓ１１４）、今回測定した実空間位置Ｐkを第１記憶部１１１に保存する（図３／Ｓ１１６）。これにより、第１記憶部１１１には、Ｎ1個の時系列的な実空間位置Ｐkが格納されうる。
【００３０】
さらに、第１処理部１１は第２記憶部１１２により記憶されている時系列的な映像｛Ｉk｝の総数Ｎ｛Ｉk｝が第２所定数Ｎ2未満であるか否かを判定する（図３／Ｓ１２２）。当該判定結果が肯定的であった場合（図３／Ｓ１２２‥ＹＥＳ）、第１処理部１１は今回取得した映像Ｉkを第２記憶部１１２に保存する（図３／Ｓ１２６）。一方、当該判定結果が否定的であった場合（図３／Ｓ１２２‥ＮＯ）、第１処理部１１は、今回からＮ2回だけ先の制御サイクルにおいて取得した映像Ｉk-N2を第２記憶部１１２から消去した上で（図３／Ｓ１２４）、今回取得した映像Ｉkを第２記憶部１１２に保存する（図３／Ｓ１２６）。これにより、第２記憶部１１２には、Ｎ2個の時系列的な映像Ｉkが格納されうる。なお、第１所定数Ｎ1および第２所定数Ｎ2は等しくてもよい。
【００３１】
また、第２処理部１２は車両１が曲がる可能性の有無を判定する（図３／Ｓ２０２）。たとえば、方向指示器センサ１０８の出力に基づき、方向指示器による左右いずれかの指示の有無に応じて車両１が曲がる可能性の有無が判定される。また、ＧＰＳにより測定された車両１の現在位置が、ナビシステム２０により設定された案内ルートにおける左折点または右折点（交差点や分岐路（三叉路）等が含まれる。）に近づいているか否かに応じて、車両１が曲がる可能性の有無が判定される。さらに、ヨーレートセンサ１０４の出力および車速センサ１０６の出力のうち一方または両方に基づいて車両１が曲がる可能性の有無が判定されてもよい。
【００３２】
さらに、第２処理部１２は車両１が曲がる可能性があると判定した場合（図３／Ｓ２０２‥ＹＥＳ）、その曲がる方向を推定する（図３／Ｓ２０４）。たとえば、方向指示器センサ１０８の出力に基づき、方向指示器による左右いずれかの指示の有無に応じて車両１が曲がる方向が推定される。また、車両１がナビシステム２０により設定されたルートにおける右折点（または左折点）に近づいているときは車両１が曲がる方向は右（または左）であると推定される。
【００３３】
また、この場合、第２処理部１２は車両１が曲がるときに物体と接触する可能性の有無について判定する（図３／Ｓ２０６）。具体的には、ＧＰＳにより測定される車両１の現在位置から、ナビシステム２０により設定されたルートに含まれる交差点までの距離が算出される。また、この算出距離と、速度センサ１０６の出力とに基づき、車両１がこの交差点に到達するまでの時間が予測される。さらに、第１記憶部１１１に保存されている時系列的な実空間位置Ｐkに基づいて、車両１に対する物体の相対移動ベクトルが算出される。相対移動ベクトルの算出方法は、実空間位置の測定方法と同様、前記公報に開示されているのでその詳細な説明を省略する。また、到達予測時間および相対移動ベクトルに基づき、車両１がその交差点に到達したときの物体の実空間位置が推定される。そして、車両１が左に曲がると推定された場合、当該予測位置のＸ座標が［−β−，０］（β−≧α（車幅の半分））に含まれ、かつ、Ｚ座標が［−γ，＋δ］（γ≧Ｌ（車両長さ））に含まれている場合、車両１が左に曲がるときに当該物体と接触する可能性があると判定する。また、車両１が右に曲がると推定された場合、当該予測位置のＸ座標が［０，＋β＋］（β＋＞β−）に含まれ、かつ、Ｚ座標が［−γ，＋δ］に含まれている場合、車両１が右に曲がるときに当該物体と接触する可能性があると判定する。このように、曲がる方向の別に応じて、接触可能性の判定基準となる領域が別のものとされている。なお、当該領域には車高を考慮に入れてＹ方向にも一定の範囲が設けられていてもよい。
そして、第２処理部１２は車両１および物体の接触可能性があると判定した場合（図３／Ｓ２０６‥ＹＥＳ）、この接触可能性を示す情報をＨＵＤ１２２およびナビディスプレイ２０２に表示させる（図３／Ｓ２０８）。
【００３４】
ここで、次のような例を考える。すなわち、図４（ａ）に示されているようにＨＵＤ１２２の左側に二輪車に乗った人間ｑが表示（または強調表示）され、その後、車両１がこの人間ｑを追い越し、図５（ａ）に示されているようにＨＵＤ１２２に人間ｑが表示されなくなったとする。また、図４（ａ）に示されているようにＨＵＤ１２２の左側に人間ｑが表示されていたとき、図４（ｂ）に示されているように交差点で左折するルートＲと、交差点の手前にある車両１の位置および移動方向を表すアイコンＣとが表示されていたとする。
【００３５】
この場合、ＨＵＤ１２２には、第２記憶部１１２に保存されている図４（ａ）に示されているような過去の画像（過去にＨＵＤ１２２に表示されていた画像）が表示される。また、ナビディスプレイ２０２には、図５（ｂ）に示されているように人間の推定位置を表すアイコンＱが表示される。これらの画像表示に加えて「左折時、車両の左側に注意してください」等、運転者の注意を促す音声がナビシステム２０２のスピーカ（図示略）等から出力されてもよい。
【００３６】
なお、第２処理部１２により車両１が曲がる可能性がないと判定された場合（図３／Ｓ２０２‥ＮＯ）、または車両１および物体の接触可能性がないと判定された場合（図３／Ｓ２０６‥ＮＯ）、指数ｋが１だけ増加させられて（図３／Ｓ００４）、実空間位置Ｐkの測定（図３／Ｓ１０２）等の処理が繰り返される。
【００３７】
前記機能を発揮する本発明の車両周辺監視システム１０によれば、車載の一対の赤外線カメラ（撮像装置）１０２により定常的に取り込まれた映像に基づいて車両１の周辺にある二輪車や歩行者等の物体（移動物体）の位置が逐次測定される（図３／Ｓ１０２）。また、物体時系列的な測定位置に基づき、車両１が曲がるときに、この車両１と物体とが接触する可能性の有無が判定される（図３／Ｓ２０６）。
【００３８】
これにより、赤外線カメラ１０２の撮像範囲から早期に外れた物体についても、その時系列的な挙動に基づいて車両１との接触可能性の有無を高い精度で判定することが可能となる。したがって、この判定結果に応じた画像がＨＵＤ１２２およびナビディスプレイ２０２に表示されることで、車両１が右左折等するときに接触する可能性がある物体の存在を確実に運転者に知らせることができる。
【００３９】
また、車両１が左に曲がると推定された場合、車両１の左側にある物体と接触する可能性が高い等、車両１の曲がり方向と、車両１がその方向に曲がるときの物体の推定位置との関係に鑑みて両者の接触可能性の有無が適切に判定されうる。
【００４０】
さらに、車両１の周辺の過去の風景を示すことで、その時点で撮像されていた物体、ひいては接触可能性のある物体の存在を運転者に認識させることができる（図４（ａ）参照）。
【００４１】
なお、前記実施形態では物体の１次状態に基づく車両１と当該物体とが接触する可能性があるという判定結果に応じて、接触可能性を示す情報が出力されたが（図３／Ｓ２０６‥ＹＥＳ，Ｓ２０８）、他の実施形態として同様の判定結果に応じてこの物体との接触を回避しうるように車両１の挙動が車両挙動を制御するＥＣＵ、ブレーキ機構やステアリング機構等の車載機器によって制御されてもよい。また、評価された接触可能性の高低に応じて異なる形態で車両挙動が制御されてもよい。
【００４２】
さらに、当該判定結果に応じて、車載ライトの方向が物体の存在する領域に向けられる（ライトのスイブル制御）等、あらゆる車載機器の動作が制御されてもよい。また、評価された接触可能性の高低に応じてライトの照明の明度が差別化される等、車載機器の動作が異なる形態で制御されてもよい。
【００４３】
さらに、撮像装置として、遠赤外線を感知する赤外線カメラ１０２に代えて、可視光および近赤外線を感知するＣＣＤカメラ等が採用されてもよい。
【００４４】
また、ＨＵＤ１２２に表示される物体ｑ（図４（ａ）参照）の色彩と、ナビディスプレイ２０２に表示される当該物体ｑを表すアイコンＱ（図５（ｂ）参照）の色彩とが共通化されてもよい。これにより、複数のアイコンＱがナビディスプレイ２０２に表示されたとき、それぞれのアイコンＱとＨＵＤ１２２に表示される物体ｑとの対応関係を運転者に認識させることができる。
【００４５】
第２処理部１２が、第１記憶部１１１に記憶されている物体の時系列的な測定位置｛Ｐk｝に基づいてこの物体の移動軌跡を予測し、かつ、物体の予測移動軌跡をＨＵＤ１２２またはナビディスプレイ２０２に表示させてもよい。また、交差点周辺の鳥瞰図とともにこの予測移動軌跡がナビディスプレイ２０２に表示されてもよい。このように物体の予測移動軌跡を運転者に認識させることで、当該物体との接触可能性を示す情報をこの運転者に認識させることができる。
【００４６】
車両１が曲がるときの接触可能性（確率）の高低が、車両１の曲がり方向に鑑みて設定された領域に含まれるか否か、さらには前記推定された実空間位置を表すベクトルの長短等によって評価されてもよい。そして、この接触可能性の高低に応じてナビディスプレイ２０２に表示される物体を表すアイコンＱ（図５（ｂ）参照）の表示態様（色彩、形状、大きさ等）が区別されてもよい。これにより、車両１と物体との接触可能性の評価に応じた情報の区分を通じて、当該接触可能性の高低を運転者に認識させることができる。そして、車両１と物体との接触可能性の高低に鑑みて、当該物体への適度な注意を運転者に促すことができる。また、前記のように複数のアイコンＱが表示されたとき、どのアイコンＱに対応する物体ｑを優先的に注意すべきかを運転者に認識させることができる。
【００４７】
本発明の車両周辺監視機能のさらなる機能について図６を用いて説明する。図４（ａ）に示されているように物体ｑがＨＵＤ１２２に表示されていたが、その後物体ｑがＨＵＤ１２２の左に外れ、さらにその後で図６（ａ）に示されているように交差点付近において左から現れた物体ｑ’がＨＵＤ１２２に表示された場合、時間をおいてＨＵＤ１２２に出現した物体ｑおよびｑ’が同じ物体であるか否かが問題となる。すなわち、物体ｑおよびｑ’が同じ物体であれば、図６（ａ）に示されているように車両１を左側から追い越した物体ｑ’（物体ｑ）を車両１がこの交差点で左折する際に巻き込むことはない。その一方、物体ｑおよびｑ’が異なる物体であれば、物体ｑは車両１の左側にあってこの交差点で左折する際に巻き込む可能性が残されている。
【００４８】
そこで、第２処理部１２が物体ｑおよびｑ’が同じ物体であるか否かを判定する。具体的には、物体ｑの重心位置、面積および外接四角形の縦横比のうちの一部または全部の変化パターンが記憶部に保存され（特開２００１−６０９６号公報／第００２３段落〜第００２５段落参照）、物体ｑ’の重心位置、面積および外接四角形の縦横比のうちの一部または全部の変化パターンが記憶部に保存され、両パターンの対比に基づいて物体ｑおよびｑ’が同じ物体であるか否かが判定されてもよい。なお、この判定に際して、ＣＣＤカメラにより撮像された画像が利用されてもよい。たとえば、ＣＣＤカメラにより撮像された物体ｑおよびｑ’の画像に基づき、両物体の色彩や形状の類似の程度が評価され、この評価に応じて両物体が同じ物体であるか否かが判定されてもよい。
【００４９】
そして、第２処理部１２は物体ｑおよびｑ’が同じ物体であると判定した場合、車両１と物体ｑとが接触する可能性が低いと判定する（図３／Ｓ２０６‥ＮＯ参照）。また、この場合、第２処理部１２は図６（ｂ）に示されているように車両アイコンＣの左斜め上に物体アイコンＱが配置されている画像をナビディスプレイ２０２に表示させる。さらに、第２処理部１２は車両１と物体ｑが接触する可能性がある旨の情報出力処理を省略する。これにより、運転者に物体ｑと接触する可能性が消滅したことを認識させる、あるいは運転者に不要な注意を促す事態を回避することができる。
【００５０】
その一方、第２処理部１２は物体ｑおよびｑ’が異なる物体であると判定した場合、または当該判定が不調に終わった場合、車両１と物体ｑとが接触する可能性が高い（または残っている）と判定する（図３／Ｓ２０６‥ＹＥＳ参照）。また、この場合、第２処理部１２は図６（ｃ）に示されているように車両アイコンＣの左斜め上に物体ｑ’を表すアイコンＱ２が配置され、かつ、車両アイコンＣの左側に物体ｑを表すアイコンＱ１が表示されている画像をナビディスプレイ２０２に表示させる。さらに、第２処理部１２は車両１と物体ｑが接触する可能性がある旨の情報出力処理を実行する（図３／Ｓ２０８参照）。これにより、車両１が当該交差点で左折する際に物体ｑと接触する可能性が残されていることを運転者に認識させることができる。
【図面の簡単な説明】
【００５１】
【図１】本発明の車両周辺監視システムの構成例示図
【図２】本発明の車両周辺監視システムの構成例示図
【図３】本発明の車両周辺監視システムの機能例示図
【図４】本発明の車両周辺監視システムの機能例示図
【図５】本発明の車両周辺監視システムの機能例示図
【図６】本発明の車両周辺監視システムの機能例示図
【符号の説明】
【００５２】
１‥車両、１０‥車両周辺監視システム、１０２‥赤外線カメラ（撮像装置）、１０４‥ヨーレートセンサ、１０６‥速度センサ、１０８‥方向指示器センサ、１１‥第１処理部、１１１‥第１記憶部、１１２‥第２記憶部、１２‥第２処理部、１２２‥ＨＵＤ（情報出力装置）、２０‥ナビシステム、２０２‥ナビディスプレイ（情報出力装置）
【図１】
0004800078.tif 000002
【図２】
0004800078.tif 000003
【図３】
0004800078.tif 000004
【図４】
0004800078.tif 000005
【図５】
0004800078.tif 000006
【図６】
0004800078.tif 000007