(57)【特許請求の範囲】
【請求項１】
自車両の側周囲画像を撮影する撮影手段と、
前記側周囲画像に含まれる他車両を検出する検出手段と、
前記自車両と前記他車両との間の距離を算出する距離算出手段と、
予め記憶されている前記自車両の全長を示す自車長情報と、前記算出された前記他車両までの距離とに基づいて、道路方向の長さが前記自車長情報の長さである画像の連なりからなる重畳画像を生成する重畳画像生成手段と、
前記側周囲画像と、前記重畳画像とを合成して表示画像を生成する表示画像生成手段と、
生成された前記表示画像を表示する表示手段と、
を備える運転支援システム。
【請求項２】
自車両の側周囲画像を撮影する撮影手段と、前記側周囲画像に含まれる他車両を検出する検出手段と、前記自車両と前記他車両との間の距離を算出する距離算出手段と、生成された表示画像を表示する表示手段と、を含む運転支援システムにおける情報表示装置であって、
予め記憶されている前記自車両の全長を示す自車長情報と、前記算出された前記他車両までの距離とに基づいて、道路方向の長さが前記自車長情報の長さである画像の連なりからなる重畳画像を生成する重畳画像生成手段と、
前記側周囲画像と、前記重畳画像とを合成して前記表示画像を生成する表示画像生成手段と、
を備える情報表示装置。
【請求項３】
前記重畳画像生成手段は、
少なくとも前記自車両と前記他車両との間の範囲においては、道路の幅方向に平行な線分と、道路方向に平行な線分とを含む枠の連なりからなる重畳画像を生成する、
請求項２記載の情報表示装置。
【請求項４】
前記重畳画像生成手段は、
前記側周囲画像中の自車両後端の位置を起点とし、後方に向かって所定数だけ連なる前記枠の連なりからなる重畳画像を生成する、
請求項２記載の情報表示装置。
【請求項５】
前記重畳画像生成手段は、
前記自車両と前記他車両との間の範囲においては、道路の幅方向に平行な線分と、道路方向に平行な線分とを含む連なりからなる重畳画像を生成し、前記自車両に対して前記他車両より遠い範囲においては、少なくとも道路の幅方向に平行な線分を含む連なりからなる重畳画像を生成する、
請求項３記載の情報表示装置。
【請求項６】
前記重畳画像生成手段は、
自車長単位の長さの区切りを有し、かつ車両横方向からみた線分と、前記線分上にシンボル表示される自車両及び他車両とからなる重畳画像を生成する、
請求項２記載の情報表示装置。
【請求項７】
前記重畳画像生成手段は、
前記他車両の前端が前記自車両の後端より前方にある場合には、前記他車両のシンボルを表示せず、かつ前記自車両のシンボルを強調表示する重畳画像を生成する、
請求項６記載の情報表示装置。
【請求項８】
自車両の側周囲画像を撮影する撮影手段と、前記側周囲画像に含まれる他車両を検出する検出手段と、前記自車両と前記他車両との間の距離を算出する距離算出手段と、表示手段と、を含む運転支援システムにおける情報表示装置のコンピュータに実行させる情報表示プログラムであって、
前記コンピュータに対して、
前記側周囲画像に前記他車両が検出された場合、予め記憶されている前記自車両の全長を示す自車長情報と、前記算出された前記他車両までの距離とに基づいて、道路方向の長さが前記自車長情報の長さである画像の連なりからなる重畳画像を生成する重畳画像生成処理と、
前記側周囲画像と、前記重畳画像とを合成して表示画像を生成する表示画像生成処理と、
前記表示手段に前記表示画像を表示させる表示処理と、
を実行させる情報表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援システム、情報表示装置、及び情報表示プログラムに係り、詳細には、カメラによって撮影した車両の側後方領域の画像をドライバーに対して提示する運転支援システム、情報表示装置、及び情報表示プログラムに関する。
【背景技術】
【０００２】
近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。特に、車両の駐車支援システムでは、広角レンズ搭載のカメラを搭載することにより、運転席からは直接見ることのできない後方の死角領域を含む領域をドライバーが確認しながら駐車が可能である。
【０００３】
特許文献１には、車両の進行方向（後退方向）の車幅のガイド線を引き、ガイド線を所定の距離おきに結んだはしご状の図形を重畳表示する駐車補助装置が記載されている。特許文献１記載の装置は、例えばステアリングセンサによって検出されたステアリング角度に応じて走行予想軌跡を重畳表示する。
【０００４】
特許文献２には、車線変更時の運転支援として、距離、又は相対速度に基づいて決定された路面上の危険領域、注意領域、安全領域の境界位置にガイド線（モニタを横断する横線）を重畳表示する運転支援装置が記載されている。
【０００５】
ところで、車載カメラを活用した他のシステムとして、電子ミラーシステムがある。電子ミラーシステムは、従来はサイドミラーや目視によって確認していた側方から後方にかけての領域（以降、側後方と称する）の状況を、カメラで撮影した側後方画像を車内のモニタに表示する。電子ミラーシステムは、従来はドライバーにとって首や腰を回す角度の大きかったサイドミラー確認と側後方の目視確認が、運転席近傍の表示を確認するだけで可能になる。また、広角のレンズの使用と前方視界近傍へのモニタ配置とすることで、車線変更時にも、前方視界近傍の電子ミラーを確認するだけで側後方の安全確認が可能になる。
【０００６】
しかし、電子ミラーシステムにおいて、モニタに表示された側後方の画像は、サイドミラー介して見た側後方の虚像と比較すると立体感に乏しく、単に撮影した画像を表示するだけでは隣接車線上の車両との距離が測りにくい。車線変更時には、隣接車線に存在する車両の有無と、他車との距離、相対速度を瞬時に把握できる必要がある。
【０００７】
特許文献３には、側後方画像上にドライバーの視点で自車両から危険度を示す目印、所定距離後方の位置に目印を表示して、ドライバーの距離判断を支援する運転支援装置が記載されている。特許文献３記載の装置は、側後方画像を見たときに、画像内に映っている他車両の付近に重畳表示されている目印を読み取ることにより、自車両から他車両までの距離をほぼ正確に知ることができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１４２７４１号公報
【特許文献２】特開２００６−５１８５０号公報
【特許文献３】特開２００７−３３４５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、このような従来の運転支援装置にあっては、以下のような課題がある。
【００１０】
（１）特許文献１記載の装置では、走行時の車線変更に適用した場合、単純に一定の距離おきのはしご状図形の表示を行っただけでは他車との距離が直感的に把握できない。例えば、３ｍおきのはしご状表示の５〜６本目の間に車両の存在が分かった場合、ドライバーは、３ｍ／本×４本＝１２ｍというような距離の換算が必要である。また、自車後端からある程度以上の距離にある遠方の車両は、重畳表示の図形により隠されてしまい、車両の存在に気付きにくくなる。
【００１１】
（２）特許文献２記載の装置では、広角で撮影した側後方の画像は車線が斜め方向に走るため、横一直線状のガイド線では画像中の車両とガイド線の位置関係が分からず、他車との距離を直感的に把握することが困難である。
【００１２】
（３）特許文献３記載の装置では、自車両から他車両までの距離をメートル単位で表示するため、ドライバーにとって直感的に分かりにくいという課題があった。例えば、車線変更を行う際に、画面上で距離が１０ｍと表示されても、その１０ｍという距離が自車両のすぐ後ろで車線変更できない距離なのか、ある程度余裕があって車線変更が可能な距離なのかを判断するのは直感的には難しい。
【００１３】
いずれにしても、電子ミラーシステムは、広角の映像によって死角がなくなるという利点に引き換え、画像の歪みが大きく、距離感が掴みにくいという課題がある。例えば、高速道路を走行中、ドライバーが車線変更をする場合、電子ミラーシステムによって表示された側後方画像を見て車線変更が可能であるかを判断し、行動する必要がある。このとき、側後方画像の中に車両が映っている場合でも、単なる側後方画像の表示では、他車両が自車両からどの程度後方に離れているか、どの程度の速さで接近しているかを瞬時に認識することは困難である。
【００１４】
本発明の目的は、ドライバーが周囲の他車両までの距離をより直感的に正しく判断することができる運転支援システム、情報表示装置、及び情報表示プログラムを提供することである。
【課題を解決するための手段】
【００１５】
本発明の一態様に係る運転支援装置は、自車両の周囲画像を撮影する撮影手段と、撮影された画像中の他車両を検出する車両検出手段と、自車両と前記他車両の距離を検出する距離検出手段と、自車両の全長を自車長情報として記憶する自車長情報記憶手段と、前記自車長情報記憶手段に記憶されている自車長情報と前記距離検出手段により検出された前記他車両までの距離に基づいて、自車長単位の距離を算出し、かつ算出した距離を基に重畳画像を生成する重畳画像生成手段と、前記撮影された周囲画像上に、前記重畳画像生成手段により生成された重畳画像を合成して表示画像を生成する表示画像生成手段と、自車両に設置され、かつ前記表示画像生成手段により生成された表示画像を表示する表示手段と、を備える構成を採る。
【００１６】
本発明の一態様に係る運転支援方法は、自車両の周囲画像を撮影するステップと、撮影された画像中の他車両を検出するステップと、自車両と前記他車両の距離を検出するステップと、自車両の全長を自車長情報として予め記憶するステップと、前記自車長情報と検出された前記他車両までの距離に基づいて、自車長単位の距離を算出し、かつ算出した距離を基に重畳画像を生成するステップと、前記撮影された周囲画像上に、生成された前記重畳画像を合成して表示画像を生成するステップと、生成された前記表示画像を表示するステップとを有する。
【００１７】
また他の観点から、本発明の一態様は、上記運転支援方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１８】
本発明によれば、画像中に存在する他車両との距離を、自車長を長さの基準単位とした距離情報を視覚化することにより、ドライバーはより直感的に他車両との距離を把握することができる。これにより、ドライバーは車線変更時の距離、相対速度把握をより直感的に、早く確実に行うことができる。また、ドライバーは側後方の状況を確認すると同時に他車両までの距離を直感的に把握することができ、車線変更の動作をより正確に行えるようになる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態１に係る運転支援装置の構成を示すブロック図
【図２】上記実施の形態１に係る運転支援装置を搭載した自車周辺の状況を示す図
【図３】上記実施の形態１に係る運転支援装置の動作を示すフロー図
【図４】上記実施の形態１に係る運転支援装置の表示画像生成部により合成された表示画像の一例を示す図
【図５】上記実施の形態１に係る運転支援装置の重畳画像の作成過程を示す図
【図６】上記実施の形態１に係る運転支援装置の重畳画像の作成過程を示す図
【図７】本発明の実施の形態２に係る運転支援装置の重畳画像の作成過程を示す図
【図８】上記実施の形態２に係る運転支援装置の重畳画像の例を示す図
【図９】本発明の実施の形態３に係る運転支援装置の動作を示すフロー図
【図１０】上記実施の形態２に係る運転支援装置の車両検出部により複数台の車両が検出されている場合の例を示す図
【図１１】本発明の実施の形態４に係る運転支援装置の動作を示すフロー図
【図１２】本発明の実施の形態５に係る運転支援装置の構成を示すブロック図
【図１３】上記実施の形態５に係る運転支援装置の動作を示すフロー図
【図１４】上記実施の形態５に係る運転支援装置の撮像部に対応した画像生成処理を示すフロー図
【図１５】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図１６】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図１７】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図１８】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図１９】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図２０】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図２１】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図２２】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図２３】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図２４】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図２５】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図２６】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図２７】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【図２８】上記実施の形態５に係る運転支援装置の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に係る運転支援装置の構成を示すブロック図である。本実施の形態は、カメラによって撮影した車両の側後方領域の画像をドライバーに対して提示する電子ミラーシステムに適用した例である。
【００２２】
図１に示すように、運転支援装置１００は、撮像部１１０、距離測定部１２０、車両検出部１３０、重畳画像生成部１４０、自車長情報記憶部１５０、表示画像生成部１６０、及び表示部１７０を備えて構成される。
【００２３】
撮像部１１０は、車両周辺の画像を取得するための可視光又は赤外光用のステレオのカメラである。撮像部１１０は、撮影した画像を、側後方画像については左右反転した上で、電子ミラーシステムのベース画像として使用するために表示画像生成部１４０と距離測定部１２０へ転送する。撮像方式は主にＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサが用いられる。また、特に広角のレンズを使用した場合、撮影した画像に歪みが発生することがある。撮像部１１０では、そのような歪みの補正も行う。撮像部はステレオカメラであるため、１つの撮像部につき２枚の画像が存在するが、表示生成部へ転送する画像はそのどちらか１枚でよい。
【００２４】
距離測定部１２０は、撮像部１１０によって撮影された２枚からなるステレオ画像を基にして、画像内の各画素の距離を算出する。ステレオ画像による測距アルゴリズムとしてはＳＡＤ（Sum of Absolute Difference）やＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross-Correlation）などを使用する。
【００２５】
車両検出部１３０は、距離測定部１２０によって生成される距離画像の中に存在する他車両を、物体検出アルゴリズムを用いて検出する。ステレオカメラであれば、視差を利用した方式や平面投影ステレオ法など、公知のアルゴリズムが存在するため、それらを使用することが可能である。車両検出部１３０は、このような物体検出アルゴリズムを利用して車両を検出する。
【００２６】
重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と、他車両までの距離から、自車長単位の距離を算出し、算出した距離を基に重畳画像を生成する。重畳画像は、ドライバーの距離把握を支援するために側後方画像を含む周囲画像上又はその近傍に配置して表示する画像である。
【００２７】
自車長情報記憶部１５０は、車種ごとに固有で持っている自車長情報を記憶している。自車長情報は、自車の車長を基準にした情報であり、予め固定的に記憶されていてもよいし、入力インタフェースを介して外部からの入力により適宜設定されもよい。牽引を行っている場合などは、牽引物を含めて自車長と見做すことも可能である。
【００２８】
表示画像生成部１６０は、撮像部１１０から転送された、ベースとなる側後方画像の上に、重畳画像生成部１４０により生成された重畳画像を合成することにより、表示部１７に表示して最終的にドライバーに見せる画像を生成する。
【００２９】
表示部１７０は、車両に設置されたディスプレイなどであり、表示画像生成部１６０により生成された画像を表示する。表示部１７０は、ドライバーの前方視界を妨げない位置に設置される。ディスプレイの種類は、液晶ディスプレイ、有機ＥＬ（Organic Electro-Luminescence）などの自発光ディスプレイ、蛍光管ディスプレイ、レーザーディスプレイ、又はそれらに光学系とコンバイナ（仮想と実画像を同一の距離に表示するスクリーン）を組み合わせたＨＵＤ（Head-Up Display）でもよい。
【００３０】
上記各部の機能は、マイクロコンピュータが、制御プログラムを実行して実現する。すなわち、運転支援装置１００は、制御部であるＣＰＵ、制御プログラムが記録されたＲＯＭ、及びプログラム実行用のＲＡＭ等、撮像装置であるカメラ、表示・警報装置である表示部を有し、この制御部が運転支援装置１００の各部の動作を制御する。図１の各部は、制御部が実行する運転支援処理を行うブロックとして明示したものである。
【００３１】
以下、上述のように構成された運転支援装置１００の動作を説明する。
【００３２】
図２は、運転支援装置１００を搭載した自車周辺の状況を示す図である。
【００３３】
図２に示すように、自車両１１１は、サイドミラー上部に側後方を向いてカメラ１１２Ｌ，１１２Ｒが設置される。カメラ１１２Ｌ，１１２Ｒは、運転支援装置１００の撮像部１１０に対応する。カメラ１１２Ｌ，１１２Ｒは、カメラによる視界１１３Ｌ，１１３Ｒ内の画像を撮影する。カメラによる視界１１３Ｌ，１１３Ｒ内には、他車両１１４が撮影されている。
【００３４】
自車両１１１は、サイドミラー位置にカメラ１１２Ｌ，１１２Ｒが設置された状態で３車線道路の真ん中の車線を走行しており、カメラ１１２Ｌ，１１２Ｒによってリアルタイム（例えば３０ｆｐｓ）で画像が撮影されている。カメラ１１２Ｌ，１１２Ｒにより撮影された画像は、撮像部１１０内の信号処理回路（図示略）においてフレーム単位で処理され、表示画像生成部１６０を経由して、運転席近傍の表示部１７０によってドライバーに提示される。このような状態での一連の流れを、図３を参照しながら説明する。
【００３５】
図３は、運転支援装置１００の動作を示すフローチャートである。図中Ｓはフローの各ステップを示す。
【００３６】
ステップＳ１では、カメラ１１２Ｌ，１１２Ｒすなわち撮像部１１０は、設定されたタイミングでステレオ画像を取得し、距離測定部１２０と表示画像生成部１６０に転送する。その際、撮像部１１０の視界の明るさに応じたゲインのコントロールを行っている。また、特に広角レンズを用いている場合には画像の歪みが大きくなるため、撮像部１１０の設置位置、画角、向きなどに応じた歪みの補正を行ってもよい。
【００３７】
ステップＳ２では、距離測定部１２０は、ステレオ画像から距離画像を生成することで距離を測定する。
【００３８】
ステップＳ３では、車両検出部１３０は、距離測定結果を基に車両（他車両）を検出し、車両検出か否かをチェックする。
【００３９】
画像中に他車両が検出されない場合には、ステップＳ６で重畳画像生成部１４０は、重畳画像としては何も生成せずにステップＳ７に進む。
【００４０】
ステップＳ７では、表示画像生成部１６０は、側後方画像に重畳画像を合成し、表示画像を生成する。ここでは、重畳画像生成部１４０は、重畳画像としては何も生成していない。表示画像生成部１６０は、何も生成しなかった重畳画像生成部１４０の出力と側後方画像とを合成する。その結果は側後方画像そのものである。
【００４１】
ステップＳ８では、表示部１７０は、側後方画像そのものの画像を表示して本フローを終了する。
【００４２】
次に、図２においてドライバーが右の隣接車線へ車線変更しようとしているときに、隣接車線上に他車両１１４が徐々に接近してきている場合の動作について説明する。
【００４３】
この場合にも、ステップＳ１で撮像部１１０は、ステレオ画像を取得し、距離測定部１２０と表示画像生成部１６０に転送する。ステップＳ２で距離測定部１２０は、距離を測定し、ステップＳ３で車両検出部１３０は、車両を検出する。この場合、車両検出部１３０は、図２に示す他車両１１４を検出してステップＳ４に進む。
【００４４】
ステップＳ４では、重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と、他車両までの距離から、自車長単位の距離を算出する。例えば、カメラ１１２Ｒから車両後端までの距離をｄ１[ｍ]、他車両までの距離をｄ２[ｍ]、自車長をＬ[ｍ]、自車長を単位とした自車両後端から他車両までのおおよその距離Ｄは、次式（１）のように表される。
【００４５】
Ｄ＝（ｄ２−ｄ１）／Ｌ  …（１）
ステップＳ５では、重畳画像生成部１４０は、距離Ｄを用いて重畳画像を生成する。具体的には、自車後端の基準線を含めた（[Ｎ]＋１）本までのラインを用いた重畳画面を生成する。
【００４６】
ステップＳ７では、表示画像生成部１６０は、撮像部１１０から転送された側後方画像に重畳画像生成部１４０により生成された重畳画像を合成し、表示画像を生成する。
【００４７】
ステップＳ８では、表示部１７０は、側後方画像に重畳画像を合成した表示画像を表示して本フローを終了する。
【００４８】
図４は、表示画像生成部１６０により合成された表示画像の一例を示す図である。
【００４９】
図４に示すように、表示部１７０（図１）の表示画面２００には、自車両から右側後方を見た場合の側後方画像２１０と、側後方画像２１０中の他車両１１４と、重畳画像２２０とが合成して表示される。
【００５０】
重畳画像２２０は、自車長を距離の基準単位とする枠の連なりで表示される。より具体的には、重畳画像２２０は、道路の幅方向に平行な線分２２１と、道路方向に平行な線分２２２とから構成される少なくとも一つ以上の枠の連なりである。重畳画像２２０は、枠の連なりで表示される場合、ドライバー視点で側後方画像２１０上の自車線に隣接する車線の路面上に表示される。また、重畳画像２２０は、側後方画像２１０中の自車両後端の位置を起点とし、ドライバー視点で後方に向かって所定数（図４では５）だけ連なる。
【００５１】
ここで、重畳画像２２０は、他車両１１４までの距離が、枠の連なりによって表される
距離内に含まれる場合にのみ、枠の連なりを表示してもよく、ドライバー視点で前記他車両までの距離より手前に存在する枠のみを表示してもよい。
【００５２】
また、図４に示すように、ドライバー視点で他車両までの距離より手前に存在する枠を表示し、以遠の枠については、道路の幅方向に平行で、自車線に近い側の線分と、この線分に接続する垂直な線分の接続部分付近のみを重畳画像とする。この重畳画像２２０は、他車両１１４までの距離が直感的に把握することができ、かつ他車両１１４より以遠は、自車長線分が表示されつつも簡略化されていることにより視認性を向上させることができる。
【００５３】
次に、重畳画像の具体的な生成方法及び表示方法について説明する。
【００５４】
図５及び図６は、重畳画像の作成過程を示す図である。
【００５５】
図５に示すように、自車両１１１の走行する自車線の右に隣接する車線上、右側後方を写すカメラ１１２Ｒの視界１１３Ｒの中に、自車両後端のライン１２１を基準として後方に向けて連なった枠２２０ａを想定する。この場合、この枠２２０ａが重畳画像２２０（図４参照）である。ここでは、枠２２０ａの連なりを自車両の５台分遠方までの奥行きとし、枠２２０ａは自車両に対する内側の線分１２２−１，１２２−２，…，１２２−５、外側の線分１２３−１，１２３−２，…，１２３−５、自車長を単位として等距離に並んだ距離ライン１２４−０，１２４−１，…，１２４−５から構成される。
【００５６】
このように想定した枠２２０ａの連なりに対して、ある時点で図６に示すように、自車長を単位として自車両後端から１．１台分の距離に他車両１１４が検出されたとする。この場合、他車両１１４より後方の外側の線分すなわち図５の１２３−２，１２３−３，１２３−４，１２３−５は重畳画像には使用しない。また、他車両１１４より後方の距離ラインすなわち図５の１２４−２，１２４−３，１２４−４，１２４−５は、内側の線分に接続する一部を除いて使用しない。これを平面上で具体的に表すと、重畳画像２２０の支援情報２２３となる。
【００５７】
上記支援情報２２３を、カメラ１１２Ｒからの視点の画像に変換し、側後方画像２１０（図４参照）に重畳する重畳画像２２０とする。距離測定部１２０は、画像上の各画素に対応する距離を算出する。重畳画像生成部１４０は、測定距離を基に、隣接車線上の路面上に支援情報２２３に対応する画像を生成する。図４に示すような表示画像２２０が生成される。
【００５８】
以上詳細に説明したように、本実施の形態の運転支援装置１００は、自車両の側後方画像を撮影する撮像部１１０と、自車両と他車両の距離を測定する距離測定部１２０と、撮影された画像中の他車両を検出する車両検出部１３０とを備え、重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と距離測定部１２０により検出された他車両までの距離に基づいて、自車長単位の距離を算出し、かつ算出した距離を基に重畳画像を生成する。表示画像生成部１６０は、撮像部１１０により撮影された側後方画像を含む周囲画像上に、重畳画像生成部１４０により生成された重畳画像を合成して、ドライバーの前方視界を妨げない位置に設置された表示部１７０に表示する。
【００５９】
この構成により、ドライバーは、自車長を距離の基準単位とする重畳画像が合成された側後方画像を視認することができ、より直感的に他車両との距離を把握することが可能となる。すなわち、ドライバーは、他車両が自車両からどの程度後方に離れているか、どの程度の速さで接近しているかを、自車長単位として、例えば自車長の２．５倍分離れているなど、直感的に認識することができる。特に、電子ミラーシステムに適用した場合、電
子ミラーシステムの利点（広角の映像によって死角がなくなるという利点）を活かしたまま、距離感が掴みにくいという課題を解決することができる。自車長と他車両との距離を瞬時に認識することが可能になるため、高速走行時などの距離見誤りをなくすことができ、事故の可能性を未然に防止することができる。
【００６０】
また、側後方の状況を確認すると同時に他車両までの距離を直感的に把握することができ、車線変更の動作をより正確に行えるようになる。
【００６１】
また、本実施の形態では、重畳画像生成部１４０は、道路の幅方向に平行な線分と、道路方向に平行な線分とから構成される少なくとも一つ以上の枠の連なりを重畳画像として生成する。枠の連なりは、側後方画像上の自車線に隣接する車線の路面上に描かれたように認識可能である。この構成により、重畳画面が側後方画像と同じ遠近感を持って視認できるため、より直感的に他車両の距離を把握することが可能になる。
【００６２】
また、枠の連なりは、側後方画像中の自車両後端の位置を起点とし、側後方画像中の後方に向かって所定数だけ連なる。これにより、自車両後端からの距離が分かるため、車線変更時の他車両との距離把握をより確実に行うことが可能になる。
【００６３】
また、図４に示すように、他車両までの距離が、枠の連なりによって表される距離内に含まれる場合にのみ、枠の連なりを表示する。これにより、他車両が所定の距離まで接近しなければ枠の連なりを表示しないため、注意すべき接近車両の有無が分かりやすくなる効果がある。
【００６４】
また、図４に示すように、他車両までの距離より側後方画像上手前に存在する枠のみを重畳画像として生成する。これにより、側後方画像内の接近車両上にはラインがかからないため、接近車両が存在するときに接近車両の存在を容易に見分けることが可能になる。
【００６５】
また、図４に示すように、他車両までの距離より側後方画像上手前に存在する枠を表示し、以遠の枠については、道路の幅方向に平行で、自車線に近い側の線分と、前記線分に接続する垂直な線分の接続部分付近のみを重畳画像とする。これにより、複数の車両が連なっているときに、最も接近している車両以外の車両までのおおよその距離を測ることが可能になる。
【００６６】
なお、本実施の形態において、路面に対する車両の上下運動を検出し、側後方画像上の重畳画像の位置が振動しないよう画像の表示位置を制御してもよい。
【００６７】
また、自車速に対する他車両の相対速度を算出する相対速度算出部をさらに備え、重畳画像生成部１４０は、相対速度を示す重畳画像を生成する。例えば、相対速度の大きさによって、相対速度の大きさを示す矢印などの画像を追加表示してもよい。このように構成すれば、距離と同時に相対速度も視認可能であるため、車線変更などの動作を行うかどうかの判断をより短時間で行うことが可能になる。
【００６８】
また、本実施の形態において、画像内の白線や路面の幅を検出することにより隣接車線の有無を検出し、隣接車線の存在する場合にのみ車両を検出するようにしてもよい。
【００６９】
また、重畳画像生成部１４０が生成する重畳画像と共に、メートル単位の表示を併用してもよい。直感的な距離の把握に加えて、メートル単位による正確な距離の把握が可能になる。
【００７０】
（実施の形態２）
図７は、本発明の実施の形態２に係る運転支援装置の重畳画像の作成過程を示す図である。図８は、上記運転支援装置の重畳画像の例を示す図である。
【００７１】
ハード的構成は図１の運転支援装置１００と同様である。本実施の形態では、重畳画像生成部１４０は、重畳画像生成の動作が異なる。
【００７２】
図７に示すように、自車両１１１の走行する自車線の右に隣接する車線上、右側後方を写すカメラ１１２Ｒの視界１１３Ｒの中に、自車両後端のライン１２１を基準とし自車長を単位として後方に向け等距離に区切った距離ライン１２５−１，１２５−２，…，１２５−５を想定する。この場合、距離ライン１２５−１，１２５−２，…，１２５−５が重畳画像である。
【００７３】
このように想定した距離ライン１２５−１，１２５−２，…，１２５−５に対して、ある時点で自車長を単位として自車両後端から例えば１．１台分の距離に他車両１１４が検出されたとする。重畳画像生成部１４０は、自車両１１１を先頭とし、路面を走行する自車両１１１と他車両１１４を側面から見た簡易画像を生成する。図８は、側面から見た自車両１１１及び他車両１１４の簡易画像と、自車長ごとの格子２２０ｂで示される重畳画像を示す図である。
【００７４】
上述したように、重畳画像は、自車両を示すシンボルを先頭とし、自車長を単位とした、例えば５台分後方までの他車両を表示する画像である。自車両を示すシンボルは、自車両の車種（例えば乗用車）に対応するシンボルである。自車両シンボルの後方には、自車両後端を基準として自車長ごとに格子２２０ｂが表示されており、検出された他車両との実際の距離が変化すると、距離の変化に比例して重畳画像中の他車両は格子２２０ｂの中を移動する。重畳画像において、自車両の向きは右向き（左カメラ画像の場合には左向き）である。
【００７５】
他車両１１４がさらに自車両１１１に近く、自車両後端よりも近付いた場合には他車両シンボルを自車両シンボルの上に重ねた形で表示する。この場合は、他車両１１４が自車両１１１に対して追い越しをかける状況である。
【００７６】
図７の表示と図８の表示は、同時に表示することが好ましい。図７の表示と図８の表示を切替えて表示する態様でもよい。
【００７７】
このように、本実施の形態によれば、重畳画像生成部１４０は、自車長単位の長さの区切りを有し、かつ車両横方向からみた線分と、線分上にシンボル表示される自車両及び他車両とからなる重畳画像を生成する。すなわち、重畳画像生成部１４０は、自車両シンボルを最前部として、後方の空間を自車長の長さで区切り、隣接車線上の他車両までの距離に応じて他車両のシンボルを生成する。この構成により、進行方向に対して車両の位置関係を横方向から視覚的に把握できるため、車両間の距離把握がより直感的に行えるようになる。
【００７８】
また、図７に示すように、重畳画像生成部１４０は、自車両後端の位置を起点とし、自車両シンボル後端からの長さに比例させて他車両までの距離を示す重畳画像を生成するので、自車両シンボルと他車両シンボル間の相対距離のリアルタイムな変化を視覚的に捉えることができるため、位置関係の変化をより直感的に把握することができる。
【００７９】
また、他車両の前端が前記自車両の後端より前方にある場合には、他車両のシンボルを表示せず、自車両のシンボルを強調表示させるようにしてもよい。このようにすれば、他車両シンボルを表示しないため、単に自車両と他車両を重ねて表示する場合と比べて、ド
ライバーに、より一層注意を喚起することができ、危険を伝えることができる。
【００８０】
また、前方方向を、側後方画像を撮影する撮像部の向きと同じ方向に採ることで、対応する他車両の動きが略同一方向になるため、自車両と他車両の位置関係をより直感的に把握することが可能になる。
【００８１】
また、自車両と他車両をシンボル表示とすることで、自車両と他車両の位置関係をより直感的に把握することが可能になる。
【００８２】
なお、本実施の形態において、他車両が自車両後端よりも近付いた場合には、他車両のイメージ画像に点滅や着色などの強調表示を行ってもよい。
【００８３】
また、本実施の形態において、複数の他車両が同時に検出される場合には、複数の他車両について他車両シンボルを表示してもよい。また、他車両のボディの色を検知し、対応する他車両シンボルのボディの色を検知された色で着色してもよい。
【００８４】
また、自車、他車両を上方向から見たときの位置関係を示す重畳画像として表示することも可能である。
【００８５】
さらに、自車両と他車両の重畳画像を横方向ではなく縦方向の画像として生成することも可能である。
【００８６】
（実施の形態３）
図９は、本発明の実施の形態３に係る運転支援装置の動作を示すフローチャートであり、複数台の車両の検出を考慮した処理フローを示す。図３と同一処理ステップには同一符号を付している。
【００８７】
ハード的構成は図１の運転支援装置１００と同様である。本実施の形態では、車両検出部１３０は、距離測定結果を基に複数台の他車両を検出する。重畳画像生成部１４０は、さらに最も接近している車両に対して重畳画像を生成する。
【００８８】
ステップＳ１では、カメラ１１２Ｌ，１１２Ｒすなわち撮像部１１０は、設定されたタイミングでステレオ画像を取得し、距離測定部１２０と表示画像生成部１６０に転送する。撮像部はステレオカメラであるため、１つの撮像部につき２枚の画像が存在するが、表示画像生成部へ転送する画像はそのどちらか１枚でよい。
【００８９】
ステップＳ２では、距離測定部１２０は、ステレオ画像から距離画像を生成することで距離を測定する。
【００９０】
ステップＳ３では、車両検出部１３０は、距離測定結果を基に車両（他車両）を検出し、車両検出か否かをチェックする。
【００９１】
画像中に他車両が検出されない場合には、ステップＳ６で重畳画像生成部１４０は、重畳画像としては何も生成せずにステップＳ７に進む。
【００９２】
ステップＳ７では、表示画像生成部１６０は、側後方画像に重畳画像を合成し、表示画像を生成する。ここでは、重畳画像生成部１４０は、重畳画像としては何も生成していない。表示画像生成部１６０は、何も生成しなかった重畳画像生成部１４０の出力と側後方画像とを合成する。その結果は側後方画像そのものである。
【００９３】
ステップＳ８では、表示部１７０は、側後方画像そのものの画像を表示して本フローを終了する。
【００９４】
一方、上記ステップＳ３で車両検出部１３０は、車両（他車両）を検出した場合、ステップＳ１１に進む。
【００９５】
ステップＳ１１では、重畳画像生成部１４０は、検出した車両の台数が１台（検出車両の台数＝１）か否かを判別する。
【００９６】
検出車両の台数が複数台の場合は、ステップＳ１２で重畳画像生成部１４０は、検出車両のうち、距離測定結果を基に自車両に最も接近している車両を選択してステップＳ４に進む。例えば、後述する図１０に示すように、検出車両１１４Ａ，１１４Ｂのうち、自車両に最も接近している他車両１１４Ａを選択する。検出車両の台数が１台の場合は、そのままステップＳ４に進む。
【００９７】
ステップＳ４では、重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と、他車両までの距離から、自車長単位の距離を算出する。例えば、カメラ１１２Ｒから車両後端までの距離をｄ１[ｍ]、他車両までの距離をｄ２[ｍ]、自車長をＬ[ｍ]、自車長を単位とした自車両後端から他車両までのおおよその距離Ｄは、前記式（１）のように表される。
【００９８】
ステップＳ５では、重畳画像生成部１４０は、距離Ｄを用いて重畳画像を生成する。具体的には、自車後端の基準線を含めた（[Ｎ]＋１）本までのラインを用いた重畳画面を生成する。
【００９９】
ステップＳ７では、表示画像生成部１６０は、撮像部１１０から転送された側後方画像に重畳画像生成部１４０により生成された重畳画像を合成し、表示画像を生成する。
【０１００】
ステップＳ８では、表示部１７０は、側後方画像に重畳画像を合成した表示画像を表示して本フローを終了する。
【０１０１】
図１０は、車両検出部１３０により複数台の車両が検出されている場合の例を示す図である。図１０は、図４に対応する図である。
【０１０２】
図１０に示すように、表示部１７０（図１）の表示画面２００には、自車両から左側後方を見た場合の側後方画像２１０と、側後方画像２１０中の他車両１１４Ａ，１１４Ｂと、重畳画像２２０とが合成して表示される。
【０１０３】
重畳画像２２０は、自車長を距離の基準単位とする枠の連なりで表示される。より具体的には、重畳画像２２０は、道路の幅方向に平行な線分２２１と、道路方向に平行な線分２２２とから構成される少なくとも一つ以上の枠の連なりである。重畳画像２２０は、枠の連なりで表示される場合、ドライバー視点で側後方画像２１０上の自車線に隣接する車線の路面上に表示される。また、重畳画像２２０は、側後方画像２１０中の自車両後端の位置を起点とし、ドライバー視点で後方に向かって所定数（図４では５）だけ連なる。
【０１０４】
ここで、重畳画像２２０は、自車両に最も接近している他車両１１４Ａまでの距離が、枠の連なりによって表される距離内に含まれる場合にのみ、枠の連なりを表示してもよく、ドライバー視点で前記他車両までの距離より手前に存在する枠のみを表示してもよい。
【０１０５】
また、図１０に示すように、ドライバー視点で他車両までの距離より手前に存在する枠
を表示し、以遠の枠については、道路の幅方向に平行で、自車線に近い側の線分と、この線分に接続する垂直な線分の接続部分付近のみを重畳画像とする。この重畳画像２２０は、自車両に最も接近している他車両１１４Ａまでの距離が直感的に把握することができ、かつ他車両１１４Ａより以遠は、自車長線分が表示されつつも簡略化されていることにより視認性を向上させることができる。
【０１０６】
このように、本実施の形態によれば、複数の他車両が同時に検出される場合には、最も近い車両を対象として重畳画像を生成する。これにより、例えば隣接車線上の車両より手前に別の車両が割り込んできた場合にも、対応可能となる。
【０１０７】
（実施の形態４）
図１１は、本発明の実施の形態４に係る運転支援装置の動作を示すフローチャートであり、複数台の車両検出及び自車後端より近い車両を考慮した処理フローを示す。図９と同一処理ステップには同一符号を付している。
【０１０８】
ハード的構成は図１の運転支援装置１００と同様である。本実施の形態では、車両検出部１３０は、距離測定結果を基に複数台の他車両を検出する。重畳画像生成部１４０は、さらに自車後端より遠い車両に対して重畳画像を生成する。
【０１０９】
ステップＳ１では、カメラ１１２Ｌ，１１２Ｒすなわち撮像部１１０は、設定されたタイミングでステレオ画像を取得し、距離測定部１２０と表示画像生成部１６０に転送する。撮像部はステレオカメラであるため、１つの撮像部につき２枚の画像が存在するが、表示画像生成部へ転送する画像はそのどちらか１枚でよい。
【０１１０】
ステップＳ２では、距離測定部１２０は、ステレオ画像から距離画像を生成することで距離を測定する。
【０１１１】
ステップＳ３では、車両検出部１３０は、距離測定結果を基に車両（他車両）を検出し、車両検出か否かをチェックする。
【０１１２】
画像中に他車両が検出されない場合には、ステップＳ６で重畳画像生成部１４０は、重畳画像としては何も生成せずにステップＳ２１に進む。
【０１１３】
上記ステップＳ３で車両検出部１３０は、車両（他車両）を検出した場合、ステップＳ１１に進む。
【０１１４】
ステップＳ１１では、重畳画像生成部１４０は、検出した車両の台数が１台（検出車両の台数＝１）か否かを判別する。
【０１１５】
検出車両の台数が複数台の場合は、ステップＳ１２で重畳画像生成部１４０は、検出車両のうち、距離測定結果を基に自車両に最も接近している車両を選択してステップＳ４に進む。例えば、図１０に示すように、検出車両１１４Ａ，１１４Ｂのうち、自車両に最も接近している他車両１１４Ａを選択する。検出車両の台数が１台の場合は、そのままステップＳ４に進む。
【０１１６】
ステップＳ４では、重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と、他車両までの距離から、自車長単位の距離を算出する。例えば、カメラ１１２Ｒから車両後端までの距離をｄ１[ｍ]、他車両までの距離をｄ２[ｍ]、自車長をＬ[ｍ]、自車長を単位とした自車両後端から他車両までのおおよその距離Ｄは、前記式（１）のように表される。
【０１１７】
上記ステップＳ６で重畳画像を生成しなかった場合、あるいは上記ステップＳ４で自車長単位の距離を算出した場合は、ステップＳ２１に進む。
【０１１８】
ステップＳ２１では、重畳画像生成部１４０は、自車両に接近している他車両が自車後端より遠いか否かを判別する。
【０１１９】
自車両に接近している他車両が自車後端より近い、すなわち他車両が自車両を追い越している状況の場合は、ステップＳ２２で重畳画像生成部１４０は、重畳画像を生成せずにステップＳ５に進む。上記ステップＳ２１で自車両に接近している他車両が自車後端より遠い場合は、そのままステップＳ５に進む。
【０１２０】
ステップＳ５では、重畳画像生成部１４０は、距離Ｄを用いて重畳画像を生成する。具体的には、自車後端の基準線を含めた（[Ｎ]＋１）本までのラインを用いた重畳画面を生成する。
【０１２１】
ステップＳ７では、表示画像生成部１６０は、撮像部１１０から転送された側後方画像に重畳画像生成部１４０により生成された重畳画像を合成し、表示画像を生成する。
【０１２２】
ステップＳ８では、表示部１７０は、側後方画像に重畳画像を合成した表示画像を表示して本フローを終了する。
【０１２３】
このように、本実施の形態によれば、他車両が自車後端より近い場合には、重畳画像を生成しない。これにより、例えば他車両が自車両を追い越している状況の場合にも、対応可能となる。
【０１２４】
（実施の形態５）
上記各実施の形態１乃至４は、自車両の周囲画像の一例として、側後方画像を例に採り説明した。自車両の周囲画像であればよく、側前方画像も同様の手法で実現可能である。また、側後方画像と側前方画像が組み合わされてもよい。以下、実施の形態５により説明する。
【０１２５】
図１２は、本発明の実施の形態５に係る運転支援装置の構成を示すブロック図である。図１と同一構成部分には同一番号を付して重複箇所の説明を省略する。
【０１２６】
図１２に示すように、運転支援装置３００は、撮像部３１０、距離測定部３２０、車両検出部１３０、重畳画像生成部１４０、自車長情報記憶部１５０、車線変更検出部３３０、表示画像選択部３４０、表示画像生成部１６０、及び表示部１７０を備えて構成される。
【０１２７】
撮像部３１０は、車両周辺の複数の画像を取得するための可視光又は赤外光用のステレオのカメラである。撮像部１１０は、撮影した複数の画像のうち、側後方画像については左右反転した上で、それ以外の画像については左右反転を行わずに、電子ミラーシステムのベース画像として使用するために表示画像選択部３４０と距離測定部３２０へ転送する。撮像部はステレオカメラであるため、１つの撮像部につき２枚の画像が存在するが、表示選択部へ転送する画像はそのどちらか１枚でよい。また、撮像部３１０は、車両周辺の複数の画像を取得する構成であればどのような構成でもよい。例えば、第１の構成として、撮像部３１０は、複数のカメラを、車両の前後、左右、及び／又はバックミラー等に設置する。第２の構成として、撮像部３１０は、車両周辺を１又は複数のカメラで広範囲で撮影し、広範囲撮影した画像から車両の側後方・前方の所定領域を切り出して車両周辺の
複数の画像を取得する。上記第１の構成と第２の構成とを併用してもよい。
【０１２８】
距離測定部３２０は、撮像部３１０によって撮影された２枚からなるステレオ画像を基にして、複数の画像内の各画素の距離を算出する。ステレオ画像による測距アルゴリズムとしてはＳＡＤやＳＳＤ、ＮＣＣなどを使用する。
【０１２９】
車両検出部１３０は、距離測定部３２０によって生成される距離画像の中に存在する他車両を、物体検出アルゴリズムを用いて検出する。ステレオカメラであれば、視差を利用した方式や平面投影ステレオ法など、公知のアルゴリズムが存在するため、それらを使用することが可能である。
【０１３０】
車線変更検出部３３０は、自車両が車線変更する車線変更の意図を検出する。具体的には、車線変更検出部３３０は、車両の走行制御部（図示略）から、追い越しのための方向指示器のウィンカ信号を入力する。車線変更検出部３３０は、車両走行中に車両の走行制御部（図示略）からウィンカ信号が入力されると、車線変更の意図があると判断する。その他の方法として、車線変更検出部３３０は、ナビゲーションシステム（図示略）の経路案内に基づいて、その経路案内情報を解析するか、予め策定されている経路案内情報内のタグを入力して、車両がその経路案内に沿って走行することを想定して車線変更の意図があると判断する。
【０１３１】
表示画像選択部３４０は、撮像部３１０が撮像した複数の画像から、表示する画像を選択する。詳細については、後述する。
【０１３２】
上記各部の機能は、マイクロコンピュータが、制御プログラムを実行して実現する。すなわち、運転支援装置３００は、制御部であるＣＰＵ、制御プログラムが記録されたＲＯＭ、及びプログラム実行用のＲＡＭ等、撮像装置であるカメラ、表示・警報装置である表示部を有し、この制御部が運転支援装置３００の各部の動作を制御する。図１２の各部は、制御部が実行する運転支援処理を行うブロックとして明示したものである。
【０１３３】
以下、上述のように構成された運転支援装置３００の動作を説明する。
【０１３４】
本実施の形態の運転支援装置３００は、撮像部３１０に含まれるカメラが複数設けられ、車線変更検出部３３０と、表示画像選択部３４０と有する点に特徴がある。
【０１３５】
表示画像選択部３４０は、撮像部３１０に含まれる複数のカメラが取得した画像から表示する画像を選択する。
【０１３６】
表示画像選択部３４０の動作について説明する。
【０１３７】
本実施の形態のシステムは、車線変更動作の有無によって、表示の動作が変わる。車線変更動作の有無は、車線変更検出部３３０が、方向指示器もしくはナビの経路案内に基づいて判断する。車線変更動作のない場合、運転支援装置３００は、注意判定条件を満たす車両の存在する全画像を表示する。注意判定条件は、自車からの距離、接近速度、もしくはＴＴＣ（Time To Collision）、又はそれらの組み合わせに基づいて判定する。なお、最も注意の必要な画像のみを選択表示してもよい。
【０１３８】
一方、車線変更動作のある場合、運転支援装置３００は、車線変更先車線に注意判定条件を満たす車両を検知したとき、より深く注意すべき車両の画像のみを表示する。なお、最も注意の必要な画像のみを選択表示してもよい。
【０１３９】
図１３は、運転支援装置３００の動作を示すフローチャートである。図１４は、図１３のフローの撮像部３１０に対応した画像生成処理を示すフローチャートである。図３と同一処理ステップには同一符号を付している。
【０１４０】
ステップＳ３１では、運転支援装置３００は、撮像部３１０が撮影した車両周辺の複数の画像について、図１４に示す画像生成処理を実行する。例えば、撮像部３１０は、複数のカメラ（各撮像部１，２，…，ｎ）により撮影した車両周辺の複数の画像について画像を生成する。
【０１４１】
ステップＳ３２では、表示画像生成部１６０は、各重畳画像に対応する表示画像を生成する。詳細には、表示画像生成部１６０は、側後方画像に重畳画像を合成し、表示画像を生成する。車両検出部１３０において車両が検出されない場合には、重畳画像生成部１４０は、重畳画像としては何も生成しない。その場合、表示画像生成部１６０は、何も生成しなかった重畳画像生成部１４０の出力と側後方画像とを合成する。その結果は側後方画像そのものである。
【０１４２】
ステップＳ３３では、表示画像選択部３４０は、画像１，２，…，ｎのうち最も注意を必要とする車両のある画像はどれかを判別する。
【０１４３】
詳細には、表示画像選択部３４０が、撮像部３１０から転送された車両周囲画像の中で、選択条件に合致する画像を選択画像として選択する。例えば、自車両周辺が図１５乃至図２８のような状況であり、表示画像選択条件が「自車両からの距離が最も小さい車両を表示する」である場合には、前方右の車両の距離が最も小さいため、画像１（前方右方向の車両の映った画像を画像１とする）が選択される。表示画像選択部３４０による判断条件例は、下記がある。
【０１４４】
例１）  自車からの距離が１０ｍ未満の車両
例２）  自車からの距離が２０ｍ未満の車両、かつ、自車に対して相対速度が２ｍ／ｓ以上接近の車両又は自車からの距離が５ｍ未満の車両
例３）  ＴＴＣが５ｓ以下の車両又は自車からの距離が自車長の３台分以下の車両
ステップＳ３４では、表示部１７０は、表示画像選択部３４０により選択された最も注意を必要とする車両のある画像を表示して本フローを終了する。
【０１４５】
ここで、車線変更時を条件とする場合には、上記ステップ３４の中で車線変更検出部３３０の検出結果に基づいて画像を選択する。
【０１４６】
上記ステップＳ３１の画像生成処理の詳細を、図１４に示す。
【０１４７】
図１４に示すように、ステップＳ１では、撮像部３１０は、設定されたタイミングでステレオ画像を取得し、距離測定部３２０と表示画像選択部３４０に転送する。その際、撮像部３１０の視界の明るさに応じたゲインのコントロールを行っている。また、特に広角レンズを用いている場合には画像の歪みが大きくなるため、撮像部３１０の設置位置、画角、向きなどに応じた歪みの補正を行ってもよい。
【０１４８】
ステップＳ２では、距離測定部３２０は、ステレオ画像から距離画像を生成することで距離を測定する。
【０１４９】
ステップＳ３では、車両検出部１３０は、距離測定結果を基に車両（他車両）を検出し、車両検出か否かをチェックする。
【０１５０】
車両を検出した場合、ステップＳ４で重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と、他車両までの距離から、自車長単位の距離を算出する。
【０１５１】
ステップＳ５では、重畳画像生成部１４０は、自車後端の基準線を含めた（[Ｎ]＋１）本までのラインを用いた重畳画面を生成して図１３のステップＳ３２に戻る。
【０１５２】
上記ステップＳ３で画像中に他車両が検出されない場合、ステップＳ６で重畳画像生成部１４０は、重畳画像としては何も生成せずに図１３のステップＳ３２に戻る。
【０１５３】
上述したように、自車両の側後方画像のみならず、自車両の周囲の車両の検出を考慮した処理フローとなっている。
【０１５４】
図１５乃至図２８は、運転支援装置３００の重畳画像の作成過程及び自車長を距離の基準単位とする重畳画像が合成された画像の表示例を示す図である。
【０１５５】
図１５Ａ乃至図２８Ａは、運転支援装置３００を搭載した自車周辺の状況を示す図である。図１５Ｂ乃至図２８Ｂは、運転支援装置３００の重畳画像の例を示す図である。図１５Ｃ乃至図２８Ｃは、運転支援装置３００の表示画像生成部１６０により合成された表示画像の一例を示す図である。
【０１５６】
図１５及び図１６は、自車両の左後方右位置に車両が存在する場合の例である。
【０１５７】
図１７は、自車両の前方右位置に車両が存在する場合の例である。
【０１５８】
図１８は、自車両の左方位置に車両が存在する場合の例である。
【０１５９】
図１９は、自車両の前方左右位置に車両が存在し、前方左位置の車両が最も接近した場合の例である。
【０１６０】
図２０は、自車両の前方左右位置に車両が存在し、前方右位置の車両が最も接近した場合の例である。
【０１６１】
図２１は、自車両の右前後位置に車両が存在し、後方左位置の車両が最も接近した場合の例である。
【０１６２】
図２２は、自車両の右前後位置に車両が存在し、前方右位置の車両が最も接近した場合の例である。
【０１６３】
図２３は、自車両の左前後位置に車両が存在し、後方左位置の車両が最も接近した場合の例である。
【０１６４】
図２４は、自車両の左前後位置に車両が存在し、前方左位置の車両が最も接近した場合の例である。
【０１６５】
図２５は、自車両の左右前後位置に車両が存在し、後方左位置の車両が最も接近した場合の例である。
【０１６６】
図２６は、自車両の左右前後位置に車両が存在し、後方右位置の車両が最も接近した場合の例である。
【０１６７】
図２７は、自車両の左右前後位置に車両が存在し、前方左位置の車両が最も接近した場合の例である。
【０１６８】
図２８は、自車両の左右前後位置に車両が存在し、前方右位置の車両が最も接近した場合の例である。
【０１６９】
例えば、図２８において、自車両１１１の左右前後位置に他車両Ａ，Ｂ，Ｃ，Ｄが存在している場合、撮像部３１０は、自車両１１１周辺の複数の画像を取得すると、車両検出部１３０は、距離測定部３２０によって生成される距離画像の中に存在する他車両Ａ，Ｂ，Ｃ，Ｄを検出する。
【０１７０】
重畳画像生成部１４０は、自車長情報記憶部１５０に記憶されている自車長情報と距離測定部３２０により検出された他車両Ａ，Ｂ，Ｃ，Ｄまでの距離に基づいて、自車長単位の距離を算出し、かつ算出した距離を基に重畳画像を生成する。
【０１７１】
表示画像選択部３４０は、撮像部３１０から転送された車両周囲画像の中で、選択条件に合致する画像を選択画像として選択する。例えば、自車両１１１周辺が図２８のような状況であり、表示画像選択条件が「自車両からの距離が最も小さい車両を表示する」である場合には、前方右の他車両Ａの距離が最も小さいため、図２８Ｂに示す重畳画像が作成され、図２８Ｃに示す合成画像が表示される。
【０１７２】
本実施の形態は、上記各実施の形態１乃至４と同様の効果、すなわち、ドライバーは、他車両が自車両からどの程度後方に離れているか、どの程度の速さで接近しているかを、自車長単位として、直感的に認識することができる。自車長と他車両との距離を瞬時に認識することが可能になるため、高速走行時などの距離見誤りをなくすことができ、事故の可能性を低減することができる。
【０１７３】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【０１７４】
例えば、上記各実施の形態では、距離を測定するのにステレオカメラを使用しているが、ステレオカメラに限定するものではなく、単眼カメラ、ミリ波など、他の距離測定手段と車両検出手段を組み合わせてシステムを構成してもよい。
【０１７５】
また、上記各実施の形態において、ドライバーのウィンカ動作タイミングに合わせて、ＯＮになったウィンカの方向の側後方画像を表示したり、側後方画像に重畳画像を重畳表示させるようにしてもよい。
【０１７６】
また、上記各実施の形態において、他車両まで距離に応じて、例えば距離が近付くにつれて青〜黄〜赤などの色で重畳画像の色を順次変化させてもよい。また、他車両の距離の時間変化から他車両の相対速度を算出し、他車両の相対速度に応じて、例えば相対速度が大きくなるに従って青〜黄〜赤などの色で重畳画像の色を順次変化させてもよい。また、距離と相対速度の組み合わせによって同様に重畳画像の色を変化させたりすることにより切迫度合いを伝えることも可能である。
【０１７７】
また、上記各実施の形態において、他車両の相対速度の大きさによって、表示される枠の最大数を変化させることも可能である。例えば、自車速を基準とした他車両の相対速度が１０ｋｍ／ｈ未満の場合には最大５つの枠、相対速度が１０ｋｍ／ｈ以上３０ｋｍ／ｈ未満では最大７つの枠、などとしてもよい。
【０１７８】
さらに、上記各実施の携帯において、他の情報提示手段、例えば音や音声情報、振動などと組み合わせた提示を行うことも可能である。また、メートル表示を併用可能である。
【０１７９】
また、本実施の形態では、運転支援装置及び運転支援方法という名称を用いたが、これは説明の便宜上であり、装置は運転支援システム、電子ミラーシステム、方法は車両情報表示方法等であってもよい。
【０１８０】
さらに、上記運転支援装置を構成する各構成部、例えば距離測定部の種類、車両検出部の車両検出方法など、さらには重畳画像生成部の重畳画像生成方法などは前述した実施の形態に限られない。
【０１８１】
以上説明した運転支援方法は、この運転支援方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。
【０１８２】
２００９年４月２３日出願の特願２００９−１０５３０５の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
【産業上の利用可能性】
【０１８３】
本発明に係る運転支援システム、情報表示装置、及び情報表示プログラムは、カメラによって撮影した車両の側後方領域の画像をドライバーに対して提示する電子ミラーシステムとして有用である。また、あらゆる車両の運転支援装置などの用途にも応用することができる。
【符号の説明】
【０１８４】
１００，３００  運転支援装置
１１０，３１０  撮像部
１２０，３２０  距離測定部
１３０  車両検出部
１４０  重畳画像生成部
１５０  自車長情報記憶部
１６０  表示画像生成部
１７０  表示部
３３０  車線変更検出部
３４０  表示画像選択部
【図１】
0005523448.tif 000002
【図２】
0005523448.tif 000003
【図３】
0005523448.tif 000004
【図４】
0005523448.tif 000005
【図５】
0005523448.tif 000006
【図６】
0005523448.tif 000007
【図７】
0005523448.tif 000008
【図８】
0005523448.tif 000009
【図９】
0005523448.tif 000010
【図１０】
0005523448.tif 000011
【図１１】
0005523448.tif 000012
【図１２】
0005523448.tif 000013
【図１３】
0005523448.tif 000014
【図１４】
0005523448.tif 000015
【図１５】
0005523448.tif 000016
【図１６】
0005523448.tif 000017
【図１７】
0005523448.tif 000018
【図１８】
0005523448.tif 000019
【図１９】
0005523448.tif 000020
【図２０】
0005523448.tif 000021
【図２１】
0005523448.tif 000022
【図２２】
0005523448.tif 000023
【図２３】
0005523448.tif 000024
【図２４】
0005523448.tif 000025
【図２５】
0005523448.tif 000026
【図２６】
0005523448.tif 000027
【図２７】
0005523448.tif 000028
【図２８】
0005523448.tif 000029