(57)【要約】  ユーザが車室内から車両端部位置等をより直感的に把握することを可能とした運転補助装置を提供する。  本発明にかかる運転補助装置は、車室内に備えられた表示装置に、車両に備えた撮像装置により取得した車両周辺画像と自車両の占める領域（ＩＭ）とを重ね合わせて表示することにより運転者の運転操作を補助する。ここで、画像中の車両周辺画像と自車両領域（ＩＭ）との間の領域である撮像装置にとって死角となる死角領域（ＩＤ）上に、運転支援のガイドライン（Ｌ１）を重畳表示する。
2012056528.tif 000002
【特許請求の範囲】
【請求項１】
車室内に備えられた表示装置に、車両に備えた撮像装置により取得した車両周辺画像と自車両の占める領域とを表示することにより運転者の運転操作を補助する運転補助装置において、
該画像中の車両周辺画像と自車両領域との間の領域上に、運転支援のガイドを重畳表示する運転補助装置。
【請求項２】
前記ガイドは、車両周辺画像と自車両領域との間の領域から車両周辺画像を表示している領域まで延長されて表示される請求項１記載の運転補助装置。
【請求項３】
前記ガイドは、車両の端部延長線である請求項１または２に記載の運転補助装置。
【請求項４】
前記ガイドは、運転支援中の車両の端部予想軌跡である請求項１または２に記載の運転補助装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺の画像を表示することにより運転者の運転を補助する運転補助装置に関する。
【背景技術】
【０００２】
従来より、車両に周辺の画像を取得するカメラ（撮像装置）を配置し、その取得画像を車室内に配置したモニタ（表示装置）に表示することで、運転者や他の乗員などのユーザの利便性を高める技術がある。さらに、取得した生の画像を表示するのではなく、複数のカメラで取得した画像に基づいて画像処理によって車両の上から見た俯瞰画像に変換して表示する手法が知られている（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３４１６４１号公報
【特許文献２】特開２００９−２３９６７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
こうした俯瞰画像の生成に使われるカメラには、画角の広い超広角レンズや魚眼レンズが用いられている。しかしながら、車両においてはカメラの設置可能位置が限定されること、車両の前後には、緩衝用のバンパーが張り出していることなどから、車両周辺にカメラから見ることのできない死角が生じるのは避けられず、画像処理により生成された俯瞰画像と車両との間に撮像されない空白領域が生じてしまう。そのため、こうした俯瞰画像を利用しても、車室内から車両端部位置等を把握しづらいという問題があった。【０００５】
そこで本発明は、ユーザが車室内から車両端部位置等をより直感的に把握することを可能とした運転補助装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明にかかる運転補助装置は、車室内に備えられた表示装置に、車両に備えた撮像装置により取得した車両周辺画像と自車両の占める領域とを表示することにより運転者の運転操作を補助する運転補助装置において、この画像中の車両周辺画像と自車両領域との間の領域上に、運転支援のガイドを重畳表示するものである。【０００７】
このガイドは、車両周辺画像と自車両領域との間の領域から車両周辺画像を表示している領域まで延長されて表示されるとよい。このガイドは、車両の端部延長線、または、運転支援中の車両の端部予想軌跡であるとよい。
【発明の効果】
【０００８】
本発明にかかる運転補助装置は、撮像装置で取得した画像と自車両の占める領域とを重ね合わせて表示する。このとき、前述した死角の存在により、俯瞰画像の表示領域と自車両領域との間には空白領域が生じる。この空白領域上に運転支援のガイドを表示することで、ユーザはガイド位置をより直感的に把握することが可能となる。【０００９】
特に、ガイドを空白領域内から車両周辺画像中まで延長することで、ユーザから見える領域とガイドとを対応づけることが可能となり、その延長線として空白領域（死角内）のガイド位置を把握することが容易になる。
【図面の簡単な説明】
【００１０】
【図１】本発明にかかる運転補助装置の実施形態の構成を示すブロック図である。
【図２】車両におけるカメラの設置位置およびカメラからの撮像範囲を平面視する模式図である。
【図３】車両搭載カメラで撮像した際に発生する死角領域を説明する図である。
【図４】従来の手法による表示例を説明する図である。
【図５】本発明にかかる運転補助装置による表示の一例を示す図である。
【図６】本発明にかかる運転補助装置による表示の別の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１２】
図１に示すように、本実施形態における画像処理装置１は、撮像装置であるカメラ２Ｆ、２Ｒ、２Ｌ、２Ｂから入力された画像を処理して、所定の画像を表示装置であるモニタ３に出力するものであり、センサ情報取込部１１、前左カメラ処理部１２、前右カメラ処理部１３、後左カメラ処理部１４、後右カメラ処理部１５、俯瞰図作成部１６、およびガイドライン生成部１７を備えている。さらに画像処理装置１には、駐車支援装置などの運転支援ＥＣＵ５の出力が入力されており、運転支援ＥＣＵ５には、車速や舵角等の各種の車両状態量を検出する車両センサ６の出力が入力されている。
【００１３】
前方カメラ２Ｆは、図２に示すように、車両Ｍの前方中央のフロントグリル部分に取り付けられており、車両Ｍの前方を撮像している。また、右方カメラ２Ｒは、車両Ｍの右ドア位置、左方カメラ２Ｌは車両Ｍの左ドア、後方カメラ２Ｂは車両Ｍのリアトランクカバーにそれぞれ取り付けられて、車両Ｍの右方、左方、および後方をそれぞれ撮像している。カメラ２Ｆ、２Ｒ、２Ｌ、２Ｂは、それぞれいわゆる魚眼カメラなどの広視野カメラからなり、それぞれのカメラ２Ｆ、２Ｒ、２Ｌ、２Ｂで撮像領域ＥＦ、ＥＲ、ＥＬ、ＥＢを撮像可能なように配置されている。カメラ２Ｆ、２Ｒ、２Ｌ、２Ｂは、それぞれ撮像して得られた画像を画像処理装置１におけるセンサ情報取込部１１に出力する。
【００１４】
例えば、前方カメラ２Ｆの場合、車両前部には前輪ＷＦの前方にバンパーＢが存在し、その上のフロントグリル部ＦＧに配置されることになるが、車両の意匠上、フロントグリル部ＦＧからの突出量には制約がある。このため、画角αの広いカメラを用いた場合でも、車両に近い部分は、カメラの死角となってしまう。図中ａＤで示される領域が、地面Ｇ上における死角領域である。
【００１５】
画像処理装置１におけるセンサ情報取込部１１では、カメラ２Ｆ、２Ｒ、２Ｌ、２Ｂから出力された画像（車両周辺画像）を取り込む。このうちの前方カメラ２Ｆおよび左方カメラ２Ｌから出力された前方画像および左方画像を前左カメラ処理部１２に出力する。また、前方カメラ２Ｆおよび右方カメラ２Ｒから出力された前方画像および右方画像を前右カメラ処理部１３に出力する。さらに、後方カメラ２Ｂおよび左方カメラ２Ｌから出力された後方画像および左方画像を後左カメラ処理部１４に出力する。そして、後方カメラ２Ｂおよび右方カメラ２Ｒから出力された前方画像および左方画像を後右カメラ処理部１５に出力する。
【００１６】
各カメラ処理部１２〜１５は、隣接する２つのカメラ（例えば前方カメラ２Ｆおよび左方カメラ２Ｌ）から出力された各画像に基づいて共通する画像の被写体位置を求め、俯瞰図作成部１６に出力する。運転支援ＥＣＵ５は、車両センサ６の出力に基づいて必要な運転支援操作情報をガイドライン生成部１７へと出力する。俯瞰図作成部１６は、入力した情報に基づいて車両周辺画像を俯瞰図へと変換し、これに車両位置情報、ガイドライン情報を重ね合わせてモニタ３に出力する。切替スイッチ４はモニタ３における表示内容を切り換える機能を有している。
【００１７】
次に、この装置による表示例を例示して説明する。図４は、従来の手法による表示例である。左側には、生成された俯瞰図上に、自車両像ＩＭが表示される。この自車両像ＩＭは予め自車両と同一または類似する車種画像を上面から撮影した画像データを画像処理装置１内または、それに接続された記憶装置内に格納しておいて、これを俯瞰図上に重ね合わせて表示することにより、自車両が占める領域を表示するものである。あるいは、自車両が占める領域に、自車両をモデル化したアイコンを表示してもよい。自車両像ＩＭの周囲の図３に示される死角領域ａＤに対応する部分が死角領域像ＩＤとして表示される。死角領域像ＩＤは、俯瞰図画像と自車両像ＩＭとの間の領域に表示される。画像の右側には、カメラ取得画像から歪みを除去して展開して合成した画像が表示されている。
【００１８】
図５は、駐車支援時や駐車位置から出て発進する場合の支援処理の場合の画像表示例を示している。ここでは、左方向にハンドルを切って後退もしくは前進する場合の運転支援を例示する。運転支援ＥＣＵ５は、車両センサ６で取得した車両状態量や運転者が図示していない入力装置等で設定した目標駐車位置、目標発進方向等から支援軌跡を算出する。この支援軌跡は、例えば、走行距離に対するそのときの舵角として設定される。ガイドライン生成部１７は、受信した支援軌跡に基づいて、例えば、車両左前端部の予想移動軌跡Ｌ１を算出して俯瞰図作成部１６に通知する。俯瞰図作成部１６は、上述した自車両像ＩＭ、死角領域像ＩＤが俯瞰図上に表示されている画面上にこのガイドラインＬ１を重畳表示する。このとき、ガイドラインＬ１は、死角領域像ＩＤ部分を含み、その外側の俯瞰図画像まで延長されて表示されていることが好ましい。
【００１９】
このように、俯瞰図画像部分までガイドラインＬ１が表示されていることで、運転者は目視している周辺物体と俯瞰図画像とを対応づけることにより、ガイドラインＬ１の延長方向を直感的に把握することができ、その結果、俯瞰図画像中でも死角となってしまう死角領域像ＩＤ部分におけるガイドラインＬ１位置を容易に推定することができる。
【００２０】
図６は、例えば、縦列駐車時の支援処理における画像表示例を示している。ここでは、前方車両との近接判断を容易にするため、車両前端部を表すガイドラインＬ２を自車両像ＩＭ、死角領域像ＩＤが俯瞰図上に表示されている画面上に重畳表示している。ここで、ガイドラインＬ２は、上述したガイドラインＬ１と同様に、死角領域像ＩＤ部分を含み、その外側の俯瞰図画像まで延長されて表示されていることが好ましい。
【００２１】
この場合も、ガイドラインＬ２の死角領域像ＩＤ部分における位置を容易に把握することができるため、車室内からは把握の難しい車両前端位置を把握して、前方車両との接触を防ぐことができる。
【００２２】
本発明によれば、ガイドライン表示から死角領域における車両位置や死角領域を含めた車両挙動を直感的に把握することができるので、各種の運転支援を効果的に行うことができる。
【００２３】
以上の説明では、カメラで取得した画像を画像処理して車両を上から見た俯瞰図画像に変換して表示する場合を例に説明してきたが、カメラで取得した生の画像やその歪みを除去した画像に対して、自車両を示す領域や死角領域、ガイドラインを表示するようにしてもよい。特定の方向、例えば、後方や側方のみについて他車両や障害物との接近状況を把握する場合には、俯瞰図画像よりも、その方向のカメラ画像のみを拡大して表示するほうが効果的に把握できる場合がある。また、ガイドとしてはガイドラインを表示する例を説明したが、ガイドとしてはライン以外に、領域等を表示してもよい。
【００２４】
さらに他の車両や障害物との余裕距離を考慮してその分外側にガイドラインを表示するようにしてもよい。このようにガイドライン自体が余裕距離を含んだ表示となっていると、死角領域におけるガイドラインの位置を精度よく推定することができなくても他車両や障害物との距離を保つことができるので、ユーザが負担を感じることがなく、支援の際の安心感が向上する。
【産業上の利用可能性】
【００２５】
本発明は、乗用車のほか、各種の車両の運転支援に好適に適用できる。
【符号の説明】
【００２６】
１…画像処理装置、２Ｂ…後方カメラ、２Ｆ…前方カメラ、２Ｌ…左方カメラ、２Ｒ…右方カメラ、３…モニタ、４…切替スイッチ、５…運転支援ＥＣＵ、６…車両センサ、１１…センサ情報取込部、１２…前左カメラ処理部、１３…前右カメラ処理部、１４…後左カメラ処理部、１５…後右カメラ処理部、１６…俯瞰図作成部、１７…ガイドライン生成部、ａＤ…死角領域、Ｂ…バンパー、ＥＦ…撮像領域、ＦＧ…フロントグリル部、Ｇ…地面、ＩＤ…死角領域像、ＩＭ…自車両像、Ｌ１、Ｌ２…ガイドライン、Ｍ…車両、ＷＦ…前輪。
【図１】
2012056528.tif 000003
【図２】
2012056528.tif 000004
【図３】
2012056528.tif 000005
【図４】
2012056528.tif 000006
【図５】
2012056528.tif 000007
【図６】
2012056528.tif 000008
【手続補正書】
【提出日】平成23年10月26日(2011.10.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車室内に備えられた表示装置に、車両に備えた撮像装置により取得した車両周辺画像と自車両の占める領域とを表示することにより運転者の運転操作を補助する運転補助装置において、
前記撮像装置により取得した車両周辺画像を俯瞰図へと変換し、これに、自車両および自車両周囲の前記撮像装置の死角領域像を重ね合わせた俯瞰図画像を作成する俯瞰図作成部と、
前記俯瞰図画像に重畳表示するガイドラインを作成するガイドライン作成部と、を備え、
前記ガイドラインは、少なくとも前記俯瞰図中の前記死角領域から前記撮像装置で取得した車両周辺画像に基づく画像領域まで延長されて表示されている運転補助装置。
【請求項２】
（削除）
【請求項３】
前記ガイドは、車両の端部延長線である請求項１に記載の運転補助装置。
【請求項４】
前記ガイドは、運転支援中の車両の端部予想軌跡である請求項１に記載の運転補助装置。
【手続補正書】
【提出日】平成24年10月1日(2012.10.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車室内に備えられた表示装置に、車両に備えた撮像装置により取得した車両周辺画像と自車両の占める領域とを表示することにより運転者の運転操作を補助する運転補助装置において、
前記撮像装置により取得した車両周辺画像を俯瞰図へと変換し、これに、自車両および自車両周囲の前記撮像装置の死角領域像を重ね合わせた俯瞰図画像を作成する俯瞰図作成部と、
前記俯瞰図画像に重畳表示するガイドラインを作成するガイドライン作成部と、を備え、
前記ガイドラインは、少なくとも前記俯瞰図中の前記死角領域から前記撮像装置で取得した車両周辺画像に基づく画像領域まで延長されて表示されている運転補助装置。
【請求項２】
前記ガイドラインは、車両の端部延長線である請求項１に記載の運転補助装置。
【請求項３】
前記ガイドラインは、運転支援中の車両の端部予想軌跡である請求項１に記載の運転補助装置。
【国際調査報告】
2012056528.tif 000009
2012056528.tif 000010