(57)【特許請求の範囲】
【請求項１】
車両の周辺を表示するモニタを備えた周辺監視装置であって、
前記車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得部と、
前記車両の側方に存在する直線形状を対象地物とし、前記画像情報に含まれる前記対象地物の画像認識処理を行う画像認識部と、
前記車両が、前記対象地物に接近する場合に、前記モニタに表示する表示画像を前記車両の側方に係るサイド画像に切り替えるか否かを判定する画面切替判定部と、
前記画面切替判定部の判定結果に応じて、前記モニタの表示を前記サイド画像に切り替える画像切替部と、を備え、
前記サイド画像への切り替えが、前記車両の前進時に、前記車両の速度が所定速度以下であり、且つ、前記車両のハンドルの舵角が所定角度以上である場合に行われる周辺監視装置。
【請求項２】
車両の周辺を表示するモニタを備えた周辺監視装置であって、
前記車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得部と、
前記車両の側方に存在する直線形状を対象地物とし、前記画像情報に含まれる前記対象地物の画像認識処理を行う画像認識部と、
前記車両が、前記対象地物に接近する場合に、前記モニタに表示する表示画像を前記車両の側方に係るサイド画像に切り替えるか否かを判定する画面切替判定部と、
前記画面切替判定部の判定結果に応じて、前記モニタの表示を前記サイド画像に切り替える画像切替部と、を備え、
前記サイド画像への切り替えが、前記車両の前進時に、前記直線形状または前記直線形状に沿って延長された直線形状延長線のいずれか一方と、前記車両の車幅に沿って延長した車幅延長線とが交差する交差位置が前記車両から所定距離以内である場合に行われる周辺監視装置。
【請求項３】
車両の周辺を表示するモニタを備えた周辺監視装置であって、
前記車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得部と、
前記車両の側方に存在する直線形状を対象地物とし、前記画像情報に含まれる前記対象地物の画像認識処理を行う画像認識部と、
前記車両が、前記対象地物に接近する場合に、前記モニタに表示する表示画像を前記車両の側方に係るサイド画像に切り替えるか否かを判定する画面切替判定部と、
前記画面切替判定部の判定結果に応じて、前記モニタの表示を前記サイド画像に切り替える画像切替部と、を備え、
前記サイド画像への切り替えが、前記車両の後退時に、前記直線形状または前記直線形状に沿って延長された直線形状延長線のいずれか一方と、前記車両の車幅に沿って延長した車幅延長線とが交差する交差位置が前記車両から所定距離以内である場合に行われる周辺監視装置。
【請求項４】
前記撮像装置として、前記車両の側方を撮像するサイドカメラを備え、
前記画像認識処理が、前記サイドカメラにより撮像された画像情報を用いて行われると共に、
前記サイド画像が前記サイドカメラにより撮像された画像情報に基づく画像である請求項１から３のいずれか一項に記載の周辺監視装置。
【請求項５】
前記撮像装置として、前記車両の側方を撮像するサイドカメラと前記車両の後方を撮像するバックカメラとを備え、
前記画像認識処理が、前記バックカメラにより撮像された画像情報を用いて行われると共に、
前記サイド画像が前記サイドカメラにより撮像された画像情報に基づく画像である請求項１から３のいずれか一項に記載の周辺監視装置。
【請求項６】
前記サイド画像への切り替えが、前記直線形状または前記直線形状に沿って延長された直線形状延長線のいずれか一方と、前記車両の車幅に沿って延長した車幅延長線とが交差する交差角度が所定角度以内である場合に行われる請求項１から５のいずれか一項に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺を監視する周辺監視装置に関する。
【背景技術】
【０００２】
近年、車両の運転を安全に、且つ、円滑に行うべく、車両の運転を支援する様々な運転支援装置が提案されている。この種の運転支援装置の中には、車両に備えられる複数のカメラにより撮像された車両の周囲の映像を切り替えて、ディスプレイに表示する画像切替装置がある（例えば、特許文献１）。
【０００３】
特許文献１に記載の画像切替装置は、車両が停止状態にあるか否かを検出する停止状態検出手段により車両が停止状態にあると判断された場合に、ハンドルの操舵状態を検出する。そして、当該操舵状態の検出結果に基づいて、複数のカメラにより撮像された車両の周囲の映像の中から、ディスプレイに表示させるカメラの映像を決定し、ディスプレイの表示を当該カメラの映像に切り替える。
【０００４】
【特許文献１】特開２００３−２２４８４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の画像切替装置は、ハンドルの操舵状態、即ちハンドルの操舵に応じて計数されるカウント値に基づいて、車両の周囲の映像を撮像するカメラ映像を切り替えて表示する。したがって、例えばディスプレイをカーナビゲーションシステムの経路案内用のディスプレイと兼用している場合や、或いは車載テレビのモニタとして兼用している場合等に、ハンドルの操作状況によっては車両の運転者が必要としていなくても、カメラの映像に切り替えられてしまう可能性がある。
【０００６】
本発明は、上記の問題に鑑みてなされたものであり、その目的は、車両の走行状態に応じて、適切に車両の周囲を表示することが可能な周辺監視装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明に係る周辺監視装置の特徴構成は、車両の周辺を表示するモニタを備え、前記車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得部と、前記車両の側方に存在する直線形状を対象地物とし、前記画像情報に含まれる前記対象地物の画像認識処理を行う画像認識部と、前記車両が、前記対象地物に接近する場合に、前記モニタに表示する表示画像を前記車両の側方に係るサイド画像に切り替えるか否かを判定する画面切替判定部と、前記画面切替判定部の判定結果に応じて、前記モニタの表示を前記サイド画像に切り替える画像切替部と、を備える点にある。
【０００８】
このような特徴構成とすれば、車両が対象地物に接近した場合に、画面切替判定部が判定を行って当該判定の結果に応じて、車両の側方を含むサイド画像をモニタに表示するので、車両の運転者が、車両の周囲を注力視したい時のみ、モニタの表示をサイド画像に切り替えることができる。したがって、適切に車両の周囲を表示することが可能となる。
【０００９】
また、前記撮像装置として、前記車両の側方を撮像するサイドカメラを備え、前記画像認識処理が、前記サイドカメラにより撮像された画像情報を用いて行われると共に、前記サイド画像が前記サイドカメラにより撮像された画像情報に基づく画像であると好適である。
【００１０】
このような構成とすれば、撮像装置としてサイドカメラのみ備えている場合であっても、適切に車両の周囲を表示することが可能となる。
【００１１】
或いは、前記撮像装置として、前記車両の側方を撮像するサイドカメラと前記車両の後方を撮像するバックカメラとを備え、前記画像認識処理が、前記バックカメラにより撮像された画像情報を用いて行われると共に、前記サイド画像が前記サイドカメラにより撮像された画像情報に基づく画像であっても良い。
【００１２】
このような構成とすれば、バックカメラで撮像した撮像画像に基づいて、車両が車両の後方に位置する地物に近づいていることを特定し、車両の周囲を表示することができる。
【００１３】
また、前記サイド画像への切り替えが、前記直線形状または前記直線形状に沿って延長された直線形状延長線のいずれか一方と、前記車両の車幅に沿って延長した車幅延長線とが交差する交差角度が所定角度以内である場合に行われると好適である。
【００１４】
このような構成とすれば、例えば車両を駐車スペースに駐車させる際に、車両が、駐車スペースに描かれた区画線の直線形状に対して接近しているか否かを特定し、接近していると判定された場合にモニタの表示をサイド画像に切り替えることが可能となる。したがって、車両の運転者は、車両の周囲を容易に監視することができる。
【００１５】
また、前記サイド画像への切り替えが、前記車両の前進時に、前記車両の速度が所定速度以下であり、且つ、前記車両のハンドルの舵角が所定角度以上である場合に行われると好適である。
【００１６】
このような構成とすれば、車両が前進して駐車スペースに駐車する際の車両の操作に応じて、モニタにサイド画像を表示することが可能となる。また、車両が左折する際にも、サイド画像を表示することが可能となる。したがって、車両を適切に駐車スペースに駐車させたり、左折時の巻き込みを防止したりすることが可能となる。
【００１７】
また、前記サイド画像への切り替えが、前記車両の前進時に、前記直線形状または前記直線形状に沿って延長された直線形状延長線のいずれか一方と、前記車両の車幅に沿って延長した車幅延長線とが交差する交差位置が前記車両から所定距離以内である場合に行われると好適である。
【００１８】
このような構成とすれば、車両の運転者が区画線に近づく意思をもって、車両を操作している場合に、モニタに適切にサイド画像を切り替えることが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態について図面に基づいて説明する。図１は、本発明に係る周辺監視装置１の概略構成を模式的に示したブロック図である。本周辺監視装置１は、車両１００の周辺を表示するモニタ２４を備え、当該車両１００の周囲を適切に監視するために、車両１００の状態に応じてモニタ２４の表示を切り替える機能を備えている。
【００２０】
周辺監視装置１は、サイドカメラ１０、バックカメラ１１、画像情報取得部１２、画像認識部１３、開始条件格納部１４、開始条件判定部１５、シフト情報取得部１６、車速情報取得部１７、交差位置検出部１８、交差角度検出部１９、舵角情報取得部２０、画像切替部２１、画面切替判定部２２、切替条件格納部２３、モニタ２４、解除条件格納部２５から構成される。ここで、本周辺監視装置１は、ＣＰＵを中核部材として車両１００の周辺を監視する種々の処理を行うための上述の機能部をハードウェア又はソフトウェア或いはその両方で構築されている。以下、本周辺監視装置１の各部の構成について説明する。
【００２１】
サイドカメラ１０は、車両１００の側方を撮像する撮像装置として機能する。本実施形態においては、車両１００の側方には、少なくとも車両１００の左側方が含まれる。このため、当該サイドカメラ１０は、車両１００の左側方の路面や、左側方に存在する対象地物ｏａ（図２−図４参照）を撮像することが可能な位置に配設されると好適である。ここで、路面とは、車両１００が走行する道路の路面である。また、対象地物ｏａとは、車両１００の側方に存在する直線形状であり、例えば、道路の路面にペイントされた道路標示（ペイント標示）が相当する。具体的には、例えば、道路の車線や駐車場の駐車位置を区分けするための区画線である。また、このような道路標示の他に、道路脇に配設される縁石、側溝、生垣等も対象地物ｏａに含まれる。
【００２２】
当該サイドカメラ１０は、車両１００の左側方に存在する対象地物ｏａを撮像するために、例えば、車両１００のフロントフェンダ内、又はフロントバンパの側面等に備えると好適である。本実施形態では、図２に示されるように、サイドカメラ１０はフロントフェンダ内に備えられるとして説明する。このような位置にサイドカメラ１０を備えることにより、図２において破線で囲まれた左側方領域ＳＲを撮像することが可能となる。
【００２３】
バックカメラ１１は、車両１００の後方を撮像する撮像装置として機能する。当該バックカメラ１１は、少なくとも車両１００の後方の路面や、後方に存在する対象地物ｏａを撮像することが可能な位置に配設されると好適である。このため、バックカメラ１１は、例えば車両１００のリヤウィンドウ付近やリヤバンパ付近等に備えられると好適である。本実施形態では、図２に示されるように、バックカメラ１１はリヤウィンドウ付近に備えられるとして説明する。このような位置にバックカメラ１１を備えることにより、図２において破線で囲まれた後方領域ＢＲを撮像することが可能となる。
【００２４】
画像情報取得部１２は、車両１００に搭載された撮像装置により撮像された画像情報を取得する。本実施形態においては、撮像装置は、上述のようにサイドカメラ１０及びバックカメラ１１である。このため、撮像された画像情報とは、サイドカメラ１０及びバックカメラ１１により撮像された撮像画像が該当する。したがって、画像情報取得部１２は、車両１００に搭載されたサイドカメラ１０及びバックカメラ１１により撮像された車両１００の周辺の画像情報を取得する。画像情報取得部１２で取得された画像情報は、後述の画像認識部１３及び画像切替部２１へ伝達される。
【００２５】
上述のように、サイドカメラ１０及びバックカメラ１１の主要機能は、夫々、車両１００の左側方及び後方（以下、車両１００の周囲）の撮像である。このような車両１００の周囲の撮像を行う場合には、サイドカメラ１０及びバックカメラ１１の結像機能を有する撮像部（図示しない）を通じて撮像される。当該撮像部にて撮像された画像は、画像情報取得部１２にて画像データに変換される。つまり、撮像部を通じて得られた撮像画像をＣＣＤ等の光電変換素子によって、デジタルデータ化して撮像画像の画像データが得られ、更に、この画像データによってモニタ２４に撮像画像を表示することができる。但し、本発明では、特に区別する必要がない限り、車両１００の周囲の撮影によって各段階で得られる撮像画像や画像データを「撮像画像」という語句で総称する。
【００２６】
シフト情報取得部１６は、車両１００のシフト情報を取得する。シフト情報とは、車両１００が備える変速機の現在のギヤ段を示す情報である。変速機とは、車両１００のエンジンから伝達される回転動力を車両１００の走行に適した回転数やトルク等に変換する変速制御手段である。このような変速機には、手動で変速制御を行う手動変速機（ＭＴ：Manual transmission）や、自動で変速制御が行われる自動変速機（ＡＴ：Automatic Transmission）がある。いずれの変速機であっても、車両１００の運転者により行われるシフトレバーの操作に基づいて変速制御が行われる。したがって、当該シフトレバーの現在位置を取得することにより、現在のギヤ段を特定することが可能である。このため、シフト情報取得部１６は、シフトレバーの現在位置を特定するポジションセンサ等により構成されると好適である。
【００２７】
ここで、本発明に係る周辺監視装置１においては、現在のギヤ段が、車両１００を前進させる前進用のギヤ段であるか、或いは車両１００を後退させる後退用のギヤ段であるかを特定することができれば良い。したがって、シフト情報には、前進用のギヤ段であるか、或いは後退用のギヤ段であるかを示す情報が示されるものとして説明する。シフト情報取得部１６により取得されたシフト情報は、開始条件判定部１５及び画面切替判定部２２に伝達される。
【００２８】
車速情報取得部１７は、車両１００の車速情報を取得する。車速情報とは、車両１００の速度を示す情報である。したがって、車速情報取得部１７は、車両１００が備えるスピードメータから車速情報を取得しても良いし、図示しない角速度検出部により検出された車両１００のドライブシャフト等の角速度を示す角速度情報に基づいて車速を算出しても良い。車速情報取得部１７により取得された車速情報は、開始条件判定部１５及び画面切替判定部２２に伝達される。
【００２９】
開始条件判定部１５は、シフト情報と車速情報とに基づいて車両状態を特定し、当該車両状態が、画像認識部１３が画像認識処理を開始する開始条件を具備するか否かを判定する。シフト状態は、上述のようにシフト情報取得部１６から伝達される。また、車速情報は、車速情報取得部１７から伝達される。開始条件判定部１５は、これらの情報に基づいて、現在の車両１００の状態を示す車両状態を特定する。開始条件とは、後述の画像認識部１３が画像認識処理を開始する条件である。即ち、車両状態が、当該開始条件を具備した場合に画像認識部１３が画像認識処理を開始する。この開始条件は、後述の開始条件格納部１４に格納されている。開始条件判定部１５は、開始条件格納部１４に格納されている開始条件を参照し、現在の車両状態が、当該開始条件を具備するか否かを判定する。この判定結果は、画像認識部１３に伝達される。
【００３０】
開始条件格納部１４は、画像認識部１３が画像認識処理を開始する開始条件が格納される。この開始条件は、車両１００のギヤ段及び車速に基づいて規定される。具体的には、例えば、車両１００の変速機が前進用のギヤ段であり、且つ、車速が１０ｋｍ／ｈ以下であるというような条件や、或いは車両１００の変速機が後退用のギヤ段であり、且つ、車速が１０ｋｍ／ｈ以下であるというような条件として規定される。このような開始条件は、予め開始条件格納部１４に格納される構成であっても良いし、必要に応じてユーザにより開始条件を設定する構成であっても良い。また、変速機が後退用のギヤ段である場合には、車速に拘らず、画像認識部１３が画像認識処理を開始するように規定することも可能である。
【００３１】
画像認識部１３は、車両１００の側方に存在する直線形状を対象地物ｏａとし、画像情報に含まれる対象地物ｏａの画像認識処理を行う。本実施形態では、画像認識処理は、サイドカメラ１０により撮像された画像情報を用いて行われる。直線形状とは、車両１００が走行する路面に位置する直線形状である。具体的には、路面にペイントされる区画線や縁石や側溝等が該当する。また、建築物の壁や生垣等も含まれる。更には、完全な直線のみに限定されるものではなく、点線上の区画線や、ロードコーン等も含まれる。画像認識部１３は、このような直線形状を対象地物ｏａとして画像認識処理を行う。ここで、本実施形態においては、画像認識処理は、サイドカメラ１０により撮像された画像情報を用いて行われることから、画像認識部１３には、画像情報取得部１２からサイドカメラ１０により撮像された画像情報が伝達される。
【００３２】
また、上述のように、画像認識部１３は、車両状態が開始条件格納部１４に格納される開始条件を具備した際に画像認識処理を行う。車両状態が、開始条件を具備したか否かの判定は、上述の開始条件判定部１５により行われ、その判定結果が、当該画像認識部１３に伝達される。画像認識部１３は、開始条件を具備したことを示す判定結果が伝達された場合に、画像情報取得部１２から伝達される画像情報の画像認識処理を開始する。したがって、開始条件を具備していない場合には、画像情報取得部１２から伝達される画像情報は、画像認識処理が行われることなく消去されることとなる。
【００３３】
なお、画像認識処理が行われない場合の画像情報は消去することなく、図示しない画像情報格納部に格納しておくことも可能である。そして、画像情報格納部に格納された画像情報は、予め設定された所定時間の経過に応じて消去するように構成することも可能であるし、画像情報格納部の格納可能領域に応じて、所謂「先入れ先出し処理」（格納可能領域が少なくなった場合に、最も古く格納された画像情報を削除して、格納可能領域を確保する処理）で削除するように構成しても良い。
【００３４】
画像認識部１３が行う画像認識処理は、対象地物ｏａの種別に適した認識ロジックを用いて行われる。具体的には、画像認識部１３は、まず、画像情報取得部１２で取得された画像情報が入力される。そして、対象地物ｏａの画像認識を行うために、対象地物ｏａの種別に適した認識ロジックを用いて画像認識処理を行う。なお、画像認識処理に用いられる認識ロジックは、図示しない認識ロジック格納部に格納される構成としても良いし、画像認識部１３内に別途設けられたメモリ等からなる格納部に格納されても良い。
【００３５】
画像認識部１３が行う画像認識処理は、具体的には以下のように行われる。なお、本実施形態においては、対象地物ｏａとして白線からなる区画線が設定された場合の例として説明する。まず、白線の検出を容易に行うために、白線を強調するフィルタを用いる。ここで、道路の区画線（白線）の幅は、法令や省令等により規定される。また、駐車場の駐車位置を区分けするための区画線の幅は、当該駐車場の所有者の意図により設定される。したがって、区画線が設けられる場所により、その幅が異なる。そのため、フィルタ長はサイドカメラ１０で撮像された撮影画像に含まれる画像の白線の幅に応じて決定される。このフィルタを適用することで、画像情報に含まれる白線部分及び路面のアスファルト部分の輝度値の差の強調を行い、２値化処理のための閾値設定が容易となる。２値化処理後、白のライン及び黒のラインの長さから白線の有無を判断する。この判断は、例えば、白のラインの長さと黒のラインの長さとが一致するか否かを判定し、一致すれば白線であると判断すると良い。このようにして、画像認識部１３は区画線（白線）の画像認識処理を行う。なお、この画像認識方法は、一例であり、その他の公知技術により、画像認識を行うことも可能である。
【００３６】
また、上記画像認識処理では、２値化された白のラインの長さと黒のラインの長さとが一致するか否かにより判定するとしたが、一致するとは完全一致のみを示すものではなく、白のライン及び黒のラインのうち、例えば５０％が一致すれば白線であると判定するようにすることも好適である。もちろん、上記５０％に限定されるものではなく、予め別の割合に設定しておくことは可能である。このような割合を定めて画像認識処理を行うことにより、掠れた区画線等であっても画像認識を行うことが可能となる。このようにして、画像認識部１３により画像認識処理が行われた画像認識処理結果は、交差位置検出部１８、交差角度検出部１９、画面切替判定部２２に伝達される。
【００３７】
交差位置検出部１８は、画像認識部１３による画像認識処理結果に基づいて、対象地物ｏａの直線形状または直線形状に沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差位置ｃｐの検出を行う。上述のように本実施形態では、対象地物ｏａは白線である。したがって、直線形状は白線の直線部分ｏｌが該当し、交差位置検出部１８は、画像認識部１３による画像認識処理結果に基づいて、対象地物ｏａの直線部分ｏｌまたは直線部分ｏｌに沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差位置ｃｐの検出を行う。また、交差位置ｃｐは、車両１００からの距離で表す形態であると好適である。
【００３８】
以下に、具体的に図を用いて説明する。図３及び図４は、白線を対象地物ｏａとした場合における対象地物ｏａと車両１００との位置関係を示す図である。図３の場合には、車両１００の車幅延長線ＣＷは、白線に対して反時計方向に回転している状態を図示している。図３において、白線の直線形状、即ち直線部分ｏｌとは、白線の長手方向を示す車両１００に近い側の線及び車両１００から遠い側の線のうち、一方の線が該当する。本実施形態では、車両１００に近い側の線を示すこととする。交差位置検出部１８は、直線部分ｏｌまたは直線部分ｏｌに沿って延長された直線形状延長線ｏｒのいずれか一方と、車幅延長線ＣＷとが交差する交差位置ｃｐの検出を行う。一方、図４の場合には、車両１００の車幅延長線ＣＷは、白線に対して時計方向に回転している状態を図示している。図４の場合も同様、交差位置検出部１８は、直線部分ｏｌまたは直線部分ｏｌに沿って延長された直線形状延長線ｏｒのいずれか一方と、車幅延長線ＣＷとが交差する交差位置ｃｐの検出を行う。
【００３９】
なお、以降の説明では特に断りがない限り、交差位置ｃｐに関して、図３のような車両１００に対して、例えば前方２ｍの位置に交差位置ｃｐがある場合には、前方２ｍとして表現し、図４のような車両１００に対して、例えば後方２ｍの位置に交差位置ｃｐがある場合には、後方２ｍとして表現する。交差位置検出部１８により検出された交差位置ｃｐは、交差位置情報として画面切替判定部２２に伝達される。
【００４０】
交差角度検出部１９は、画像認識部１３による画像認識処理結果に基づいて、直線形状または直線形状に沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差角度θの検出を行う。上述のように、本実施形態では、直線形状とは白線の直線部分ｏｌである。したがって、交差角度検出部１９は、画像認識部１３による画像認識処理結果に基づいて、対象地物ｏａの直線部分ｏｌまたは直線部分ｏｌに沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差角度θの検出を行う。
【００４１】
以下に、図３及び図４を用いて具体的に説明する。図３の場合には、交差角度検出部１９は、直線部分ｏｌに沿って延長された直線形状延長線ｏｒと、車幅延長線ＣＷとが交差する交差角度θの検出を行う。一方、図４の場合には、交差角度検出部１９は、直線部分ｏｌと、車幅延長線ＣＷとが交差する交差角度θの検出を行う。
【００４２】
なお、以降の説明では特に断りがない限り、交差角度θに関して、図３のような反時計方向の交差角度θも、図４のような時計方向の交差角度θも同様に扱って説明する。即ち、直線部分ｏｌまたは直線形状延長線ｏｒのいずれか一方と車幅延長線ＣＷとの交差角度θが８度以内と記載した場合には、反時計方向に対する交差角度θも、時計方向に対する交差角度θも８度以内であることを示すものとする。交差角度検出部１９により検出された交差角度θは、交差角度情報として画面切替判定部２２に伝達される。
【００４３】
舵角情報取得部２０は、車両１００のハンドルの舵角を示す舵角情報を取得する。ハンドルの舵角とは、運転者により操舵されたハンドルの切り角である。したがって、舵角情報取得部２０は、例えば、ハンドルの回転軸の回転角を検出する回転角検出センサから構成されると好適である。また、ハンドルの回転は、周知のように中立位置から時計方向の回転、或いは反時計方向の回転を行う。本実施形態においては、時計方向の回転及び反時計方向の回転を同様に説明する。即ち、舵角が３０度以上と記載した場合には、時計方向に対する舵角が３０度以上であることと、反時計方向に対する舵角が３０度以上であることとを含んで示すものとする。舵角情報取得部２０により取得された舵角情報は、画面切替判定部２２に伝達される。
【００４４】
画面切替判定部２２は、車両１００が、対象地物ｏａに接近する場合に、モニタ２４に表示する表示画像を車両１００の側方に係るサイド画像に切り替えるか否かを判定する。車両１００の側方に係るサイド画像とは、詳細は後述するが、車両１００の側方が含まれる画像であり、サイドカメラ１０により撮像された画像情報に基づく画像である。画像情報に基づく画像には、リアル画像及びバーチャル画像が含まれる。リアル画像とは、サイドカメラ１０により撮像された画像であり、バーチャル画像とは、サイドカメラ１０により撮像された画像を用いて生成された上視観図等のように視点変更が行われた画像である。また、バーチャル画像を生成する際、サイドカメラ１０により撮像された画像の他に、バックカメラ１１により撮像された画像を用いることも可能である。画面切替判定部２２は、上述の判定を予め設定された表示画面切替条件に基づいて判定する。本実施形態の場合、対象地物ｏａは白線である。このため、車両１００が、対象地物ｏａに接近するとは、車両１００が白線に接近していることを示す。したがって、画面切替判定部２２は、車両１００が、白線に接近する場合に、予め設定された表示画面切替条件を具備するか否かの判定を行う。
【００４５】
車両１００が、白線に接近するか否かの特定は、画像認識部１３から伝達される画像認識処理結果に基づいて行われる。上述のように、画像認識部１３は、開始条件を具備した場合に画像認識処理を開始し、画面切替判定部２２に画像認識処理結果を伝達する。したがって、現在の画像認識処理結果と所定時間前の画像認識処理結果とを比較することにより、車両１００が、白線に接近しているか否かを容易に特定することが可能である。画面切替判定部２２は、車両１００が、白線に接近していると特定した場合に、予め設定された表示画面切替条件を具備するか否かの判定を行う。
【００４６】
表示画面切替条件とは、後述の画像切替部２１が車両１００のモニタ２４に表示する表示画面を車両１００の側方に係るサイド画像に切り替える条件である。この表示画面切替条件は、後述の切替条件格納部２３に予め格納されている。また、表示画面切替条件は、詳細は後述するが、車両１００のシフト状態、車両１００の車速、白線の直線部分ｏｌまたは直線部分延長線ｏｒのいずれか一方と車幅延長線ＣＷとの交差位置ｃｐ、白線の直線部分ｏｌまたは直線部分延長線ｏｒのいずれか一方と車幅延長線ＣＷとの交差角度θ、ハンドルの舵角により規定されている。
【００４７】
上述のように、車両１００のシフト状態は、シフト情報取得部１６から伝達されるシフト情報に含まれている。また、車両１００の車速は、車速情報取得部１７から伝達される車速情報に含まれている。そして、白線の直線部分ｏｌまたは直線部分延長線ｏｒのいずれか一方と車幅延長線ＣＷとの交差位置ｃｐは、交差位置検出部１８から伝達される交差位置情報に含まれる。また、白線の直線部分ｏｌまたは直線部分延長線ｏｒのいずれか一方と車幅延長線ＣＷとの交差角度θは、交差角度検出部１９から伝達される交差角度情報に含まれている。更に、ハンドルの舵角は、舵角情報取得部２０から伝達される舵角情報に含まれている。
【００４８】
画面切替判定部２２は、切替条件格納部２３に格納されている表示画面切替条件を参照し、上述の各種情報に基づいて、表示画面切替条件を具備するか否かを判定する。この判定結果は、画像切替部２１に伝達される。
【００４９】
切替条件格納部２３は、画像切替部２１がモニタ２４に表示される表示画像の切り替えを行う表示画面切替条件が格納される。この表示画面切替条件は、上述のように、シフト状態、車速、交差位置ｃｐ、交差角度θ、ハンドルの舵角に基づいて決定される。具体的には、直線形状または直線形状に沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差角度θに応じて規定される。また、車両１００の前進時における表示画面切替条件として、車両１００の速度と車両１００のハンドルの舵角とに応じて規定される。或いは、車両１００の前進時における他の表示画面切替条件として、直線形状または直線形状に沿って延長された直線形状延長線ｏｒのいずれか一方と、車両１００の車幅に沿って延長した車幅延長線ＣＷとが交差する交差位置ｃｐに応じて規定される。このようにして規定された表示画面切替条件の一例を図５に示す。
【００５０】
例えば、「Ｎｏ．１」で示された表示画面切替条件は「シフト状態が前進用のギヤ段」であり、且つ「交差位置ｃｐが前方１．５ｍ以内」であることを規定している。また、「Ｎｏ．２」で示された表示画面切替条件は「シフト状態が前進用のギヤ段」と「車速が３ｋｍ／ｈ以下」と「交差角度θが４度以内」と「舵角が９０度以上」とからなることを規定している。そして、「Ｎｏ．３」で示された表示画面切替条件は「シフト状態が後退用のギヤ段」であり、且つ「交差角度θが４度以内」であることを規定している。このような表示画面切替条件は、予め切替条件格納部２３に格納されているような構成であっても良いし、必要に応じてユーザにより表示画面切替条件を設定する構成であっても良い。そして、このような条件を具備した場合に、画像切替部２１により、サイド画像への切り替えが行われる。
【００５１】
画像切替部２１は、画面切替判定部２２の判定結果に応じて、モニタ２４の表示をサイド画像に切り替える。画像切替部２１には、画像情報取得部１２を介してサイドカメラ１０により撮像された画像情報と、バックカメラ１１により撮像された画像情報とが伝達される。更に、図示はしないが、画像切替部２１には、車両１００が備えるカーナビゲーションシステムの経路案内に係る画像情報や、テレビ放送の受信画像も画像情報として伝達される。画像切替部２１は、これらの画像情報を表示画像として、状況に応じて切り替えてモニタ２４に表示する。更には、シフト状態が後退用のギヤ段である場合には、車両１００が後退する可能性が高いことから、モニタ２４に図６（ａ）に示されるようなバックカメラ１１で撮像された撮像情報を表示させることも可能である。
【００５２】
画像切替部２１は、表示画面切替条件を具備した場合に、車両１００のモニタ２４に車両１００の側方を含むサイド画像を表示する。表示画面切替条件を具備するか否かの判定は画面切替判定部２２により行われ、判定結果は画像切替部２１に伝達される。サイド画像とは、本実施形態では、車両１００の側方を含む画像であり、サイドカメラ１０により撮像された画像情報に基づく画像である。したがって、画像切替部２１は、表示画面切替条件を具備した場合に、車両１００のモニタ２４にサイドカメラ１０により撮像された画像情報に基づく画像を表示する。なお、画像切替部２１により表示されるサイド画像は、モニタ２４の全面に表示する構成としても良いし、モニタ２４に元々表示されていた画像情報と共に、サイド画像を表示する構成としても良い。即ち、モニタ２４に元々バックカメラ１１で撮像された図６（ａ）のような車両１００の後方の撮像情報を表示していた場合に、当該撮像情報と共に、図６（ｂ）で示されるように、サイドカメラ１０で撮像されたサイド画像を表示することが可能である。
【００５３】
なお、画像切替部２１は、表示画面切替条件が具備したことを示す判定結果が伝達されない場合には、既に表示されている表示画像（例えば、カーナビゲーションシステムの経路案内に係る画像情報や、テレビ放送の受信画像の画像情報等）を継続してモニタ２４に表示するように決定する。このようにして、本周辺監視装置１は、車両１００の走行状態に応じて、適切に車両１００の周囲を表示することが可能となる。
【００５４】
このように、画像切替部２１は、表示画面切替条件を具備した場合にモニタ２４に車両１００の側方を含むサイド画像を表示する。画像切替部２１は、モニタ２４にサイド画像が表示されている状態を解除し、他の画像情報（例えば、カーナビゲーションシステムの経路案内に係る画像情報や、テレビ放送の受信画像に係る画像情報等）をモニタ２４に表示する切り替えも行う。この切り替えは、シフト状態、車速、交差位置ｃｐ、交差角度θ、ハンドルの舵角が、後述の解除条件格納部２５に格納される解除条件を具備するか否かを判定することにより行われる。この判定は、上述の画面切替判定部２２により行われる。
【００５５】
解除条件格納部２５は、解除条件が格納される。この解除条件は、上述のように、シフト状態、車速、交差位置ｃｐ、交差角度θ、ハンドルの舵角に基づいて決定される。具体的には、例えば、表示画面切替条件として、「シフト状態が前進用のギヤ段」を要件としている場合には、「シフト状態が後退用のギヤ段」に切り替えられたことを示すシフト情報がシフト情報取得部１６から伝達された際に、サイド画像の表示を解除する規定であると好適である。同様に、「シフト状態が後退用のギヤ段」を要件としている場合には、「シフト状態が前進用のギヤ段」に切り替えられたことをシフト情報がシフト情報取得部１６から伝達された際に、サイド画像の表示を解除する規定とすることも可能である。
【００５６】
或いは、「車速が２０ｋｍ／ｈより速い」ことを示す車速情報が車速情報取得部１７により伝達された場合に、サイド画像の表示を解除する構成とすることも可能である。このような表示画像をサイド画像から他の画像情報に切り替える解除条件を、解除条件格納部２５に格納しておき、切替条件判定部２２が解除条件格納部２５の解除条件を参照する構成とすると好適である。
【００５７】
画面切替判定部２２により、車両１００のシフト状態、車速、交差位置ｃｐ、交差角度θ、ハンドルの舵角が、解除条件格納部２５に格納される解除条件を具備すると判定された場合には、画面切替判定部２２は、画像切替部２１に対して判定結果を伝達する。画像切替部２１は、当該判定結果を受けて、モニタ２４に表示しているサイド画像を解除し、元々モニタ２４に表示していた画像情報のみを表示するように決定する。このようにして、画像切替部２１は、モニタ２４の表示をサイド画像から他の画像情報に切り替えることが可能となる。
【００５８】
次に、本周辺監視装置１により行われる制御に関してフローチャートを用いて説明する。図７は、当該周辺監視装置１の制御に関するフローチャートである。まず、画像情報取得部１２が画像情報の取得を開始する（ステップ＃０１）。以降の処理においては、処理が終了するまで、継続して画像情報の取得が行われる。そして、シフト情報取得部１６及び車速情報取得部１７により、夫々、シフト情報及び車速情報が取得される（ステップ＃０２）。これらのシフト情報及び車速情報は、開始条件判定部１５に伝達される。
【００５９】
次に、開始条件判定部１５が、シフト情報及び車速情報に基づいて、開始条件を具備するか否かの判定を行う。開始条件を具備しない場合には（ステップ＃０３：Ｎｏ）、ステップ＃０２に戻り、継続してシフト情報及び車速情報の取得が行われる（ステップ＃０２）。なお、この開始条件は、開始条件格納部１４に格納される。
【００６０】
ステップ＃０３において、シフト情報及び車速情報が開始条件を具備すると判定された場合には（ステップ＃０３：Ｙｅｓ）、画像認識部１３が画像情報取得部１２から伝達される画像情報に対して、画像認識処理を開始する（ステップ＃０４）。
【００６１】
そして、シフト情報取得部１６、車速情報取得部１７、交差位置検出部１８、交差角度検出部１９、舵角情報取得部２０により、夫々、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報が取得される（ステップ＃０５）。これらのシフト情報、車速情報、交差位置情報、交差角度情報、舵角情報は、画面切替判定部２２に伝達される。
【００６２】
次に、画面切替判定部２２が、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報に基づいて、表示画面切替条件を具備するか否かの判定を行う。表示画面切替条件を具備しない場合には（ステップ＃０６：Ｎｏ）、ステップ＃０５に戻り、継続してシフト情報、車速情報、交差位置情報、交差角度情報、舵角情報の取得が行われる（ステップ＃０５）。なお、この表示画面切替条件は、切替条件格納部２３に格納される。
【００６３】
ステップ＃０６において、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報が表示画面切替条件を具備すると判定された場合には（ステップ＃０６：Ｙｅｓ）、画像切替部２１がモニタ２４に車両１００の側方を含むサイド画像を表示する（ステップ＃０７）。
【００６４】
そして、当該サイド画像をモニタ２４に表示しつつ、シフト情報取得部１６、車速情報取得部１７、交差位置検出部１８、交差角度検出部１９、舵角情報取得部２０により、夫々、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報が取得される（ステップ＃０８）。
【００６５】
次に、画面切替判定部２２が、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報に基づいて、解除条件を具備するか否かの判定を行う。解除条件を具備しない場合には（ステップ＃０９：Ｎｏ）、ステップ＃０７に戻り、継続してモニタ２４にサイド画像が表示される（ステップ＃０７）。なお、この解除条件は、解除条件格納部２５に格納される。
【００６６】
ステップ＃０９において、シフト情報、車速情報、交差位置情報、交差角度情報、舵角情報が解除条件を具備すると判定された場合には（ステップ＃０９：Ｙｅｓ）、画像切替部２１がモニタ２４の表示を車両１００の側方を含むサイド画像から、他の表示画像に切り替える（ステップ＃１０）。他の画像とは、例えば、車両１００が備えるカーナビゲーションシステムの経路案内に係る画像情報や、テレビ放送の受信画像に係る画像情報等であると好適である。そして、ステップ＃０２に戻り、処理が継続される。このように本周辺監視装置１は、車両１００の走行状態に応じて、適切に車両１００の周囲を表示することが可能となる。
【００６７】
〔その他の実施形態〕
上記実施形態では、サイド画像が、サイドカメラ１０により撮像された画像情報に基づく画像であるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、画像認識部１３が行う画像認識処理を、バックカメラ１１により撮像された画像情報を用いて行われると共に、画像切替部２１により切り替えられるサイド画像が、サイドカメラ１０により撮像された画像情報に基づく画像とすることも可能である。このような構成とすれば、バックカメラ１１により撮像された画像情報に基づいて、交差位置ｃｐや交差角度θの検出を行うことも可能である。
【００６８】
上記実施形態では、サイド画像への切り替えが、車両１００の前進時に、交差位置ｃｐが車両１００から所定距離以内である場合に行われるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。車両１００の後退時に、交差位置ｃｐが車両１００から所定距離以内である場合に、サイド画像への切り替えを行う構成とすることも当然に可能である。
【００６９】
上記実施形態では、画像切替部２１により切り替えられるサイド画像は、サイドカメラ１０により撮像された画像情報であるとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、サイド画像を、バックカメラ１１により撮像された車両１００の側方を含む画像情報とすることも可能である。また、サイド画像として、サイドカメラ１０やバックカメラ１１により撮像された画像情報に基づいて生成された、少なくとも車両１００の周囲が含まれる画像情報とすることも可能である。
【００７０】
上記実施形態では、開始条件格納部１４に格納される開始条件、切替条件格納部２３に格納される表示画面切替条件、及び解除条件格納部２５に格納される解除条件に関して、具体的数値を記載して説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。上述の具体的数値は、単なる一例であり、車両１００の大きさや高さやユーザの希望等に応じて、各条件を他の数値で規定することは、当然に可能である。
【００７１】
上記実施形態では、画像切替部２１が、モニタ２４に表示される表示画像を、元々モニタ２４に表示されていた画像情報と共に、車両１００の側方を含むサイド画像を表示するとして説明した。しかしながら、本発明の適用範囲は、これに限定されるものではない。例えば、画像切替部２１は、モニタ２４に元々表示されていた画像情報に代えて、車両１００の側方を含むサイド画像を表示するようにしても良い。
【産業上の利用可能性】
【００７２】
本発明によれば、車両の走行状態に応じて、適切に車両の周囲を表示することが可能となる。したがって、車庫入れや縦列駐車を行う場合や、道路の端に車両を寄せる場合等の安全確認の用に供するものに利用することが可能である。また、車両の左折時の巻き込み防止の用に供するものに利用することも可能である。
【図面の簡単な説明】
【００７３】
【図１】本発明に係る周辺監視装置の概略構成を模式的に示すブロック図
【図２】車両に搭載される撮像装置と、当該撮像装置の撮像領域と、車幅延長線を示す図
【図３】対象地物を白線とした場合の対象地物と車両との位置関係を示す図
【図４】対象地物を白線とした場合の対象地物と車両との位置関係を示す図
【図５】表示画面切替条件の一例を示すテーブル
【図６】モニタの表示をサイド画像を含む画像に切り替えた場合の例を示す図
【図７】周辺監視装置の制御に関するフローチャート
【符号の説明】
【００７４】
１：周辺監視装置
１０：サイドカメラ（撮像装置）
１１：バックカメラ（撮像装置）
１２：画像情報取得部
１３：画像認識部
１４：開始条件格納部
１５：開始条件判定部
１６：シフト情報取得部
１７：車速情報取得部
１８：交差位置検出部
１９：交差角度検出部
２０：舵角情報取得部
２１：画像切替部
２２：画面切替判定部
２３：切替条件格納部
２４：モニタ
２５：解除条件格納部
【図１】
0004716139.tif 000002
【図２】
0004716139.tif 000003
【図３】
0004716139.tif 000004
【図４】
0004716139.tif 000005
【図５】
0004716139.tif 000006
【図６】
0004716139.tif 000007
【図７】
0004716139.tif 000008