(57)【要約】【課題】車両周辺表示装置の表示によって、車両後退時に外輪差によって車両が障害物に当たる可能性を容易に確認できるようにする。【解決手段】車両周辺装置が、車両周辺の画像を撮影するカメラと、画像を表示する車載モニタとを備え、更にカメラにより撮影された画像が鳥瞰図に変換されたたものを前記表示手段に表示させる処理（ステップ１１０）と、車両の後退時ならば外輪差を生じる部分の予測進路を推定する処理（ステップ１２０、１４０、１５０）と、前記鳥瞰図に重ねるように、推定したこの予測進路を車載モニタ３に表示させる処理（１６０）とを備える。【選択図】        図３
2004252837.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺の画像を撮影する撮影手段（２）により撮影された画像を処理したものを、画像を表示する表示手段（３）に表示させる撮像表示処理手段（１１０）と、
当該車両の外輪差を生じる部分の予測進路を推定する推定手段（１２０、１４０、１５０）と、
前記撮像表示処理手段が前記表示手段に表示させる前記画像に重ねるように、前記推定手段が推定した前記予測進路を前記表示手段に表示させる予測進路表示処理手段（１６０）と、を備えた車両周辺表示装置。
【請求項２】
前記表示処理手段は、長さの限定された前記予測進路を前記表示手段に表示させることを特徴とする請求項１に記載の車両周辺装置。
【請求項３】
前記推定手段は、当該車両の全体としての予測進路を推定する全体進路推定手段（１２０）と、前記全体進路推定手段の推定する前記全体としての予測進路に基づいて、当該車両の外輪差を生じる部分を特定することを特徴とする外輪差部特定手段（１４０）と、を備えたことを特徴とする請求項１または２に記載の車両周辺表示装置。
【請求項４】
コンピュータを、
車両周辺の画像を撮影する撮影手段（２）により撮影された画像を処理したものを画像を表示する表示手段（３）に表示させる撮像表示処理手段（１１０）、当該車両の外輪差を生じる部分の予測進路を推定する推定手段（１２０、１４０、１５０）、および
前記撮像表示処理手段が前記表示手段に表示させる前記画像に重ねるように、前記推定手段が推定した前記予測進路を前記表示手段に表示させる予測進路表示処理手段（１６０）、として機能させるための車両周辺表示プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両の周辺を撮影して車両周辺画像をモニタに表示する車両周辺表示装置、および車両周辺表示プログラムに関するものである。
【０００２】
【従来の技術】
従来、車両の後方の様子を表示する装置として、車両の後部に取り付けたカメラの画像を処理し、これにより車両の周辺部を鳥瞰図としてモニタに表示する技術が、特許文献１に開示されている。さらにこの特許文献には、この鳥瞰図に当該車両の予測進路を描画する技術が開示されており、これによって駐車を容易に行うことができる。また、トヨタ社製のバックガイドモニタも同様な技術を開示している。
【０００３】
【特許文献１】
特開２００２−２８３９１３号公報
【０００４】
【発明が解決しようとする課題】
しかし、これらの予測進路は、図９に示す車両ｃおよびその周辺を鳥瞰図で示した画像中の点線ＤＬの様に、車両の後端を起点として表示されるようになっている。そのため、車両の後端の進路は容易に把握することができるが、車両前端の進路は把握できず、外輪差によって車両前端が他の障害物に当たる可能性を予想することは困難であった。
【０００５】
車両がカーブして後退する時には、外側の前輪が外側の後輪よりも大回りになる。このときの、外側の前輪と外側の後輪とが描く軌跡の位置の差が外輪差である。図１０に、車両ｃがハンドルを左に切って後退するときの、右前輪ＦＲ、右後輪ＲＲの軌跡を示す。外輪差とは、この図に示した２つの軌跡の位置の差である。この場合、車両ｃの外側前端部（図１０においては右前輪部周辺）は外輪差を生じる部分であると言える。
【０００６】
本発明は上記点に鑑みて、車両周辺表示装置の表示によって、車両後退時に外輪差によって車両が障害物に当たる可能性を容易に確認できるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するための請求項１に記載の発明は、車両周辺の画像を撮影する撮影手段（２）により撮影された画像を処理したものを、画像を表示する表示手段（３）に表示させる撮像表示処理手段（１１０）と、当該車両の外輪差を生じる部分の予測進路を推定する推定手段（１２０、１４０、１５０）と、前記撮像表示処理手段が前記表示手段に表示させる前記画像に重ねるように、前記推定手段が推定した前記予測進路を前記表示手段に表示させる予測進路表示処理手段（１６０）と、を備えた車両周辺表示装置である。
【０００８】
これによって、推定手段が推定した、当該車両の外輪差を生じる部分の予測進路を、予測進路表示処理手段が、撮影手段により撮影された画像を処理したものに重ねて表示させるので、当該車両の乗員は外輪差を生じる部分の予測進路と他の障害物等の関係を表示手段によって直接確認することができる。したがって、車両周辺表示装置の表示によって、車両後退時に外輪差によって車両が障害物に当たる可能性を容易に確認できる。
【０００９】
また請求項２に記載の発明は、請求項１に記載の車両周辺装置において、前記表示処理手段は、長さの限定された前記予測進路を前記表示手段に表示させることを特徴とする。
【００１０】
外輪差を生じる部分の予測進路の表示は、後退時の外輪差による車両の前部の動きを確認するためのものであるから、ハンドルの角度を変えることで実際と大きく異なる可能性が高い車両の後方にまで予測進路を無制限に延長すれば、当該車両のユーザにとって紛らわしい表示となってしまうが、この請求項２の発明のように予測進路の長さに制限を設けることによって、この紛らわしさを解消することができる。
【００１１】
また、請求項３に記載の発明は、請求項１または２に記載の車両周辺表示装置において、前記推定手段は、当該車両の全体としての予測進路を推定する全体進路推定手段（１２０）と、前記全体進路推定手段の推定する前記全体としての予測進路に基づいて、当該外輪差を生じる部分を特定することを特徴とする外輪差部特定手段（１４０）と、を備えたことを特徴とする。
【００１２】
また、請求項４に記載の発明は、コンピュータを、車両周辺の画像を撮影する撮影手段（２）により撮影された画像を処理したものを画像を表示する表示手段（３）に表示させる撮像表示処理手段（１１０）、当該車両の外輪差を生じる部分の予測進路を推定する推定手段（１２０、１４０、１５０）、および前記撮像表示処理手段が前記表示手段に表示させる前記画像に重ねるように、前記推定手段が推定した前記予測進路を前記表示手段に表示させる予測進路表示処理手段（１６０）、として機能させるための車両周辺表示プログラムである。
【００１３】
これによって、請求項１に記載の発明をプログラムとして実現することができる。
【００１４】
なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
【００１５】
【発明の実施の形態】
以下に、本発明を適用した車両周辺表示装置１の一実施形態を説明する。本実施形態の基本的なシステム構成を図１に示す。車両周辺表示装置１は、前輪操舵の自動車（以下、車両ｃという）の後部に配置されたカメラ２（例えばＣＣＤカメラ）および画像取り込み装置７と、車内のダッシュボード等に配置された車載モニタ３（例えば液晶ディスプレイ）およびスピーカ４と、画像処理を行う画像処理ユニット５と、車両周辺表示装置１の電源のオン／オフ等の切り替え入力を行うことのできる操作スイッチ群６を備えている。
【００１６】
図２に、画像処理ユニット５の当該車両ｃに搭載された装置との入出力関係をブロック図として示す。
【００１７】
カメラ２は、車両後方の映像を電気信号に変換して画像取り込み装置７に出力する。
【００１８】
画像取り込み装置７は、カメラ２から入力された信号をデジタル画像データにし、一定時間間隔で画像処理ユニット５にこの画像データを出力する。
【００１９】
ジャイロスコープ８は、車両ｃの回転角速度を検知し、それを信号として画像処理ユニット５に出力する。
【００２０】
車速センサ９は、車速パルス信号を画像処理ユニット５に出力する。
【００２１】
シフト位置センサ１０は、車両のシフト位置、あるいは車両のドライブレンジ（Ｌ、Ｄ、Ｒ、Ｎ、Ｐ等）の状態を検知し、それぞれの状態に基づいた信号を画像処理ユニット５に出力する。
【００２２】
画像処理ユニット５は、ＥＣＵを主要部とする画像データの処理を行う装置である。この画像処理ユニット５は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭを有し、ＣＰＵがＲＯＭから所定のプログラムを読み出して実行することで動作し、その動作の必要に応じてＲＯＭ、ＲＡＭから情報を読み出し、またＲＡＭに対して情報を書き込む。また画像処理ユニット５は、その動作中に操作スイッチ群６、画像取り込み装置７、ジャイロスコープ８、車速センサ９、およびシフト位置センサ１０から信号の入力を受け、また必要に応じて車載モニタ３およびスピーカ４に信号を出力する。
【００２３】
次に、本実施形態において画像処理ユニット５がＲＯＭから読み出して実行する車両周辺表示プログラムについて説明する。図３に、このプログラムのフローチャートを示す。画像処理ユニット５は、操作スイッチ群６に対するユーザの電源オンの操作に基づいて起動し、その後このプログラムを読み出して実行する。
【００２４】
まず、ステップ１００にて、シフト位置がバック（またはドライブレンジがＲ）であるか否かを判定する。ここで肯定と判断されると処理はステップ１１０に進み、一方否定と判断されると処理はステップ１７０に進む。尚、シフト位置は、シフト位置センサ１０からの信号により検出することができる。
【００２５】
ステップ１１０では、画像取り込み装置７から入力された画像を鳥瞰図（トップビュー）画像に変換して、その変換された画像データを車載モニタ３に出力する。この鳥瞰図画像への変換は、具体的には図４に示すように、地上の画像の位置データを地上からの高さＨにあるカメラ位置Ｒからの焦点距離ｆにあるスクリーン平面Ｔに投影する変換の逆変換である。すなわち、鳥瞰図画像への変換は、カメラ２によって撮影した画像の、カメラ２を視点として投影した地上面座標系のデータへの座標変換である。この変換の技術は、例えば特開平１４−０８７１６０号公報、特開平１０−２１１８４９号公報に開示されている。
【００２６】
また、車載モニタ３に出力する画像には、カメラ２の視野の内から外に出た部分についても、その部分の位置を推定して含めるようにする。具体的には、ステップ１００〜１６０の繰り返し処理において画像取り込み装置７から取得する時間的に連続した２つの鳥瞰図画像の間で一致する領域を抽出し、それに基づいて現在のカメラ１の視野から外れる移動領域を抽出する。そして、この一致する領域の鳥瞰図中における移動量だけ、鳥瞰図中のカメラ２の視野以外の部分の画像をずらし、その後移動領域の画像を描画する（合成画像を作成する）。更に、自車両及び視野角を示す逆Ｖ字状の線の描画を行う。
【００２７】
以上のステップ１１０の処理によって、図５の左側の図に示すような地上に引かれた駐車マス用ライン４１を含む画像データが画像取り込み装置７から入力された場合、その画像が図５右側の図に示すような車両ｃ及び逆Ｖ字形状４３を更に含む鳥瞰図に変換され、車載モニタ３に表示される。
【００２８】
次にステップ１２０では、車両ｃの全体としての予測進路を算出する。具体的には、連続する鳥瞰図画像間の画素の輝度差を利用して、画像中の物体の移動ベクトルを算出する技術であるブロックマッチング法を用いて、複数の時間的に連続する鳥瞰図画像から、その画像中の車両ｃ以外の物体の移動量を算出し、その移動量に基づいて車両ｃの移動ベクトルを算出する。また、ジャイロスコープ８、車速センサ９からの信号に基づいて、車両ｃの移動量および向き変化を検出することで、車両ｃの移動ベクトルを算出する。そして、これら２つの方法で得た移動ベクトルのうち、より精度が高いと推定される方の複数の移動ベクトルから、この車両ｃの移動がある回転中心の回りの円運動であるという拘束条件に基づいて、移動の回転中心Ｏ、すなわち車両の移動の回転中心Ｏを算出する。
【００２９】
なお、上記したブロックマッチング法による複数の移動ベクトルの算出の技術、および複数の移動ベクトルから移動の回転中心を算出する技術は、特開平１４−２８３９１３号公報に開示されている。また、上記した２つの方法によって算出された移動ベクトルの精度については、その算出の際に画像データ、ジャイロスコープ８、車速センサ９等から得られる情報に基づいて算出される。図６に、上方から見た場合の車両ｃと回転中心等との位置関係を示す。
続いてステップ１３０では、この回転中心Ｏから車両の右後端までの距離ｒ１、および回転中心Ｏから車両の左後端までの距離ｒ２を算出する。そして、車両ｃの右後端を起点として車両ｃの後方に伸びる中心Ｏ、半径ｒ１の円弧を、ステップ１１０で描画した画像に重ねた画像データを車載モニタ３に出力し、車両ｃの左後端を起点として車両ｃの後方に伸びる中心Ｏ、半径ｒ２の円弧を、ステップ１１０で描画した画像に重ねた画像データを車載モニタ３に出力する。この車両ｃの左後端から伸びる円弧が図６中の予想進路ａ１に相当し、右後端から伸びる円弧が図６中の予想進路ａ２に相当する。
【００３０】
次にステップ１４０で、車両が後退時に外輪差を生じる部分の端部を特定する。具体的には、車両ｃの右前端部ＦＲおよび左前端部ＦＬのうち、回転中心Ｏから遠い方を、当該外輪差を生じる部分の端部であると特定する。図６においては、右前端部ＦＲがこれに該当する。
【００３１】
次にステップ１５０で、当該特定した外輪差を生じる部分の端部の予測進路を推定する。具体的には、回転中心Ｏから当該外輪差を生じる部分の端部までの距離Ｒを算出し、当該端部を起点として車両ｃの後方に伸びる中心Ｏ、半径Ｒの円弧を、描画すべき予測進路であるとする。
【００３２】
次にステップ１６０では、ステップ１５０で推定した予測進路を描画する。すなわち、この予測進路をステップ１１０で描画した画像に重ねた画像データを車載モニタ３に出力する。ただし、予測進路は表示画面いっぱいに伸ばすのではなく、長さを制限したものを描画するものとする。より具体的には、当該外輪差を生じる部分の端部から、車両ｃの後端付近までの長さの予測進路を描画する。そして処理はステップ１００に戻る。
【００３３】
なお、上記したステップ１００〜１６０のくり返し処理時において、画像処理ユニット５はスピーカ４に対して、例えば「周囲を確認してください」等の、注意を促すメッセージの音声信号を繰り返し出力する。
【００３４】
ステップ１７０では、以前に描画したカメラ２の視野外の領域の画像を消去し、すなわち、現在のカメラの画像（鳥瞰図画像）のみを表示し、ステップ１００に戻る。
【００３５】
以上のような画像処理ユニット５の処理によって、ステップ１５０で推定した車両ｃの後退時ならば外輪差を生じる部分の前端の予測進路を、ステップ１６０の処理によって車載モニタ３が、撮影された画像が鳥瞰図に変換されたものに重ねて表示するので、外輪差を生じる部分の予測進路と他の障害物等の関係を表示手段によって確認することができる。
【００３６】
図７、図８に、車両ｃを駐車場に停める場合の、車載モニタ３の表示画像の例を示す。両図において、矩形５５の内部が車載モニタ３の表示する鳥瞰図である。なお、両図の車両前端部から伸びる点線は、実際に描画される線ではなく、以下の説明の便宜のための線である。
【００３７】
図７は、車両ｃを並列駐車で駐車マス５０に停める場合の図である。ステップ１３０の処理によって、車両右後端部および左後端部から予測進路が車載モニタ３の画面いっぱいに伸び、これによって楕円５１、５２で囲まれた部分において車両後部が正しく駐車マスに入るか否かを確認することができる。また、ステップ１２０、１４０、１５０の処理によって、車両右前端部から伸びる予測進路が車両後部まで伸び、これによって楕円５３で囲まれた部分において、外輪差によって車両ｃの右前端部が車両５６に接触するか否かを確認することができる。
【００３８】
図８は、車両ｃを縦列駐車で車両５６の後ろに停める場合の図である。ステップ１３０の処理によって、車両右後端部および左後端部から予測進路が車載モニタ３の画面いっぱいに伸び、これによって楕円６１で囲まれた部分において車両後部が路側に接触するか否かを確認することができる。また、ステップ１２０、１４０、１５０の処理によって、車両左前端部から伸びる予測進路が車両後部まで伸び、これによって円６３で囲まれた部分において、外輪差によって車両ｃの右前端部が車両５６に接触するか否かを確認することができる。
【００３９】
このように、車両周辺表示装置の表示によって、車両後退時に外輪差によって車両が障害物に当たる可能性を容易に確認できる。なお、外輪差とは、車両後退時において、前輪が後輪の外側をトレースすることである。
【００４０】
また、外輪差を生じる部分の予測進路の表示は、後退時の外輪差による車両の前部の動きを確認するためのものであるから、ハンドルの角度を変えることで実際と大きく異なる可能性が高い車両の後方にまで、図７、８の点線の様に予測進路を無制限に延長すれば、当該車両のユーザにとって紛らわしい表示となってしまうが、ステップ１６０において描画させる予測進路の長さに制限を設けることによって、この紛らわしさを解消することができる。
【００４１】
（他の実施形態）
なお、上記した実施形態において、図３のステップ１２０で車両全体の予測進路の算出のために、複数の時間的に連続する鳥瞰図を用いたブロックマッチング法、およびジャイロスコープ８と車速センサ９を用いた算出方法を用い、そのうち精度の高い方を採用するという相補的な手法を用いているが、必ずしもこのようになっている必要はなく、ブロックマッチング法のみを用いていてもよいし、推測航法のみを用いてもよい。あるいは、画像処理ユニット５に車両ｃのハンドルの切れ角を検出するセンサからこの切れ角を示す信号が入力され、その信号により車両全体の予測進路の算出を行ってもよい。
【００４２】
また、車両の後退時ならば外輪差を生じる部分の予測進路の描画の長さは、車両の後端までに制限するようになっているが、この長さの制限は当該外輪差を生じる部分から２ｍ程度としてもいいし、車両の大きさに合わせて調整してもよいし、同じ車両でも車速に基づいて変化するようになっていてもよい。
【００４３】
また、本実施形態においては専用の車両周辺表示装置１として本発明を実現しているが、例えば車載の後方カメラから映像信号の入力を受けるカーナビゲーション装置の一機能として、車両周辺表示装置１の上記した機能が実現されていてもよい。
【００４４】
また、上記した実施形態においては、車両ｃは前輪操舵車であるとしたが、例えば四輪操舵車であっても、外輪差を生じるものであればよい。
【００４５】
また、上記した実施形態においては、撮像表示処理手段は鳥瞰図を表示するようになっているが、必ずしも鳥瞰図に限る必要はなく。例えば斜視図であってもよいし、３次元的表示であってもよい。すなわち、撮像表示処理手段が表示手段に表示させるのは、車両の外輪差を生じる部分の予測進路を重ねて描画でき、それによって車両が障害物に当たる可能性を容易に確認できるようになる画像であれば足りる。
【図面の簡単な説明】
【図１】本発明の実施形態における主要なシステム構成を示す図である。
【図２】画像処理ユニット５の当該車両ｃに搭載された装置との入出力関係を示すブロック図である。
【図３】車両周辺表示プログラムのフローチャートである。
【図４】図３のステップ１１０における鳥瞰図画像への変換を説明する図である。
【図５】図３のステップ１１０における鳥瞰図画像への変換前後の画像の一例を示す図である。
【図６】上方から見た場合の車両ｃと回転中心等との位置関係を示す図である。
【図７】車両ｃを駐車場に並列駐車で停める場合の、車載モニタ３の表示画像の例を示す図である。
【図８】車両ｃを駐車場に縦列駐車で停める場合の、車載モニタ３の表示画像の例を示す図である。
【図９】従来技術において、車両ｃおよびその周辺を鳥瞰図で示した画像を示す図である。
【図１０】車両ｃがハンドルを左に切って後退するときの、右前輪ＦＲ、右後輪ＲＲの軌跡を示す鳥瞰図である。
【符号の説明】
１…車両周辺表示装置、２…カメラ、３…車載モニタ、４…スピーカ、
５…画像処理ユニット、６…操作スイッチ群、７…画像取り込み装置、
８…ジャイロスコープ、９…車速センサ、１０…シフト位置センサ。
【図１】
2004252837.tif 000003
【図２】
2004252837.tif 000004
【図３】
2004252837.tif 000005
【図４】
2004252837.tif 000006
【図５】
2004252837.tif 000007
【図６】
2004252837.tif 000008
【図７】
2004252837.tif 000009
【図８】
2004252837.tif 000010
【図９】
2004252837.tif 000011
【図１０】
2004252837.tif 000012