(57)【要約】【課題】  自車両周辺の状態をユーザにわかりやすく提示できる運転支援装置を提供する。【解決手段】  車両の周囲の全方位を分担して広角撮影するように配置された複数のカメラ１０1〜１０4と、複数のカメラで広角撮影することにより得られた複数の広角画像を歪みのない複数の平面画像に変換するパノラマ変換部１１と、パノラマ変換部で変換することにより得られた複数の平面画像の視差に基づき被写体までの距離を反映した視差画像を生成する視差計測部１２と、視差計測部で生成された視差画像に基づき車両およびその周囲を上空から見た空間地図を生成する空間地図生成部１３と、空間地図生成部で生成された空間地図を表示する表示部２１、２２とを備えている。【選択図】        図１
2006054662.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲の全方位を分担して広角撮影するように配置される複数のカメラと、
前記複数のカメラで広角撮影することにより得られた複数の広角画像を歪みのない複数の平面画像に変換するパノラマ変換部と、
前記パノラマ変換部で変換することにより得られた複数の平面画像の視差に基づき被写体までの距離を反映した視差画像を生成する視差計測部と、
前記視差計測部で生成された視差画像に基づき前記車両およびその周囲を上空から見た空間地図を生成する空間地図生成部と、
前記空間地図生成部で生成された空間地図を表示する表示部
とを備えた運転支援装置。
【請求項２】
パノラマ変換部で変換することにより得られた複数の平面画像を統合して車両の周囲の全方位のパノラマ画像を生成する画像統合部と、
車両の運転状態を表す車両運転情報を取得する車両運転情報取得部と、
前記画像統合部で生成されたパノラマ画像の一部を、前記車両運転情報取得部で取得された車両運転情報に基づいて決定される視点に対応する位置で切り出す画像切出部とを備え、
表示部は、前記画像切出部で切り出された画像を表示することを特徴とする請求項１記載の運転支援装置。
【請求項３】
表示部は、画像統合部で生成されたパノラマ画像を表示する
ことを特徴とする請求項２記載の運転支援装置。
【請求項４】
パノラマ画像を切り出す視点を指示する視点指示部を備え、
画像切出部は、画像統合部で生成されたパノラマ画像の一部を、前記視点指示部によって指示された視点で切り出すことを特徴とする請求項３記載の運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の運転を支援するための情報をユーザに提供する運転支援装置に関し、特に車両の周囲の状況を表示によって運転者に伝える技術に関する。
【背景技術】
【０００２】
従来、車両の運転を支援する運転支援装置の１つとして、車両に搭載されて運転を支援するための情報をユーザに提供するカーナビゲーション装置が知られている。このカーナビゲーション装置では、予め記憶された地図情報に基づいてディスプレイに地図が表示される。運転者は、このディスプレイに表示された地図を見ることにより自車両の位置を確認しながら運転を行うことができるので、道に迷うことなく、目的地に確実且つ短時間で到着できる。
【０００３】
近年は、このような運転支援装置として、カメラによって撮像した車外画像を車内のモニタに表示する車載カメラ装置が開発されている（例えば、特許文献１参照）。この車載カメラ装置は、魚眼カメラで撮影することにより得られた画像の歪みを補正し、かつ、補正した画像の一部を車両の走行状態に応じて切り出して拡大表示する。具体的には、魚眼カメラが画像コントローラに接続される。画像コントローラは座標変換回路、画像切出し回路および画像伸長回路を備えている。魚眼カメラからの歪画像信号は座標変換回路によって正画像信号に変換される。画像切出し回路は車両の走行状態を検出するための状態検出部を接続しており、歪み補正した画像中の任意の領域を状態検出部からの入力信号に応じて切り出す。画像伸長回路は切り出した画像を伸長し、モニタの表示画面の全面に表示する。
【０００４】
また、他の運転支援装置として、カメラの死角による映像欠落範囲を補完した駐車場映像を表示する駐車支援装置が知られている（例えば、特許文献２参照）。この駐車支援装置は、車載の駐車場撮像手段により目標駐車場を撮像するとともに、車載の車両周囲撮像手段により車両の周囲を撮像し、車両周囲の映像の中で車体の死角になって映像が欠落している範囲の映像を目標駐車場の映像から切り出し、車両周囲の映像を補完して表示する。これにより、カメラの死角による映像欠落部分の少ない車両周囲の映像を表示することができ、駐車範囲を区分する白線や停車目標となる車止めなどがはっきりと映し出されて駐車場と自車との位置関係が把握しやすくなる。
【０００５】
さらに他の運転支援装置として、自車両の進行路上に存在する障害物を検出して衝突判断を行う車両の衝突防止装置が知られている（例えば、特許文献３参照）。この衝突防止装置は、ステレオ光学系で撮像した１対の画像を画像処理部で処理して画像全体に渡る３次元の距離分布を算出し、その距離分布情報から道路形状や立体物の３次元位置を高速で検出すると、衝突判断部でこの画像処理部で検出された道路形状、車速センサ、ヨーレートセンサ、舵角センサからの入力データに基づいて自車両の走行領域を設定し、この走行領域内あるいはこの走行領域に係る全ての車両や障害物を画像処理部で検出された複数の車両や障害物の中から抽出し、抽出した全ての車両や障害物について、自車両の衝突可能性の評価値として衝突危険度を算出し、この衝突危険度の高いものが１つでもある場合はディスプレイに表示して運転者に警告を発する。
【０００６】
【特許文献１】特開平９−２０２１８０号公報
【特許文献２】特開２００２−２９３１４号公報
【特許文献３】特開平１０−２８３５９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところが、上述した従来の運転支援装置では、駐車場にカメラを設置しなければならず、また、基本的には自車両を中心とした周囲の画像を映し出すだけである。従って、ユーザは自車の状態を直感的に把握できないという課題がある。
【０００８】
この発明は、上述した課題を解消するためになされたものであり、自車両周辺の状態をユーザにわかりやすく提示できる運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る運転支援装置は、車両の周囲の全方位を分担して、複数のカメラで得られた複数の広角画像を歪みのない複数の平面画像に変換するパノラマ変換部と、パノラマ変換部で変換することにより得られた複数の平面画像の視差に基づき被写体までの距離を反映した視差画像を生成する視差計測部と、視差計測部で生成された視差画像に基づき車両およびその周囲を上空から見た空間地図を生成する空間地図生成部とを備え、表示部は空間地図生成部で生成された空間地図を表示する。
【発明の効果】
【００１０】
この発明に係る運転支援装置によれば、車両の周囲の全方位を分担して広角撮影した複数のカメラからの画像に基づいて、車両およびその周囲を上空から見た空間地図を生成して表示部に表示するようにしたので、表示部に表示された空間地図は、停車や車線変更の障害となる障害物や駐車車両、走行車両を区分する目標となり、自車との位置関係が把握しやすくなる。その結果、自車両周辺の状態をユーザにわかりやすく提示できるので、ユーザの駐車や車線変更を支援することができる。
【発明を実施するための最良の形態】
【００１１】
以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る運転支援装置の構成を示すブロック図である。この運転支援装置は、魚眼カメラ１０1〜１０4、パノラマ変換部１１、視差計測部１２、空間地図生成部１３、画像統合部１４、ポジション検出部１５、ターン検出部１６、ブレーキ検出部１７、車速検出部１８、ハンドル角検出部１９、画像切出部２０およびナビゲーション装置２１から構成されている。ポジション検出部１５、ターン検出部１６、ブレーキ検出部１７、車速検出部１８およびハンドル角検出部１９は、この発明の車両運転情報取得部に対応する。
【００１２】
魚眼カメラ１０1〜１０4は、この発明の複数のカメラに対応する。魚眼カメラ１０1〜１０4の各々は、魚眼レンズとＣＣＤ素子（いずれも図示せず）とを備えており、魚眼レンズを介して入射された光がＣＣＤ素子の表面に結像することによって歪みを含む魚眼画像が形成される。このＣＣＤ素子の表面に形成された魚眼画像は、パノラマ変換部１１に送られる。
【００１３】
４台の魚眼カメラ１０1〜１０4は、例えば図２に示すように、車両１の四隅に搭載されており、撮像方向が車両１の対角方向になるように設置されている。魚眼カメラ１０1〜１０4の各々は、略１８０度の画角を有する。従って、魚眼カメラ１０1では、図３（ａ）に示すような被写体ａおよびｂを含む魚眼画像が得られる。同様に、魚眼カメラ１０2では、図３（ｂ）に示すような被写体ｂおよびｃを含む魚眼画像が得られ、魚眼カメラ１０3では、図３（ｃ）に示すような被写体ｃおよびｄを含む魚眼画像が得られ、魚眼カメラ１０4では、図３（ｄ）に示すような被写体ｄおよびａを含む魚眼画像が得られる。なお、この実施の形態１に係る運転支援装置では、４台の魚眼カメラを使用しているが、車両の周囲を全方位にわたって撮影できる構成であれば、魚眼カメラの台数は任意であり、また、魚眼カメラの代わりに広角カメラを使用することもできる。
【００１４】
パノラマ変換部１１は、魚眼カメラ１０1〜１０4から送られてくる４枚の魚眼画像の各々に所定の演算処理を施すことにより、４枚の歪みのない平面画像に変換する。このパノラマ変換部１１で得られた４枚の平面画像は、視差計測部１２および画像統合部１４に送られる。
【００１５】
視差計測部１２は、パノラマ変換部１１から送られてくる４枚の平面画像にステレオ法を用いて視差を計測し、この計測した視差に基づき、被写体までの距離を反映した視差画像（距離分布画像）を生成する。この視差画像は、後述するパノラマ画像と同様に、３６０度の水平画角を有する。視差計測部１２で得られた視差画像は、空間地図生成部１３に送られる。
【００１６】
空間地図生成部１３は、視差計測部１２から送られてくる視差画像に基づいて、空間地図を生成する。ここで、空間地図とは、車両１およびその周辺を上空から撮影することによって得られるような地図をいう。空間地図生成部１３は、視差画像から例えば障害物までの距離を取得し、その障害物を描画する。これにより、例えば図４に示すような、自車両１の周囲に存在する障害物２が含まれた空間地図が得られる。この空間地図生成部１３で生成された空間地図は、ナビゲーション装置２１に送られる。
【００１７】
画像統合部１４は、パノラマ変換部１１から送られてくる４枚の平面画像を統合し、図５に示すような、３６０度の水平画角を有するパノラマ画像を生成する。この画像統合部１４で生成されたパノラマ画像は、画像切出部２０に送られる。
【００１８】
ポジション検出部１５は、車両１の図示しないシフトレバーのセット位置を検出する。このポジション検出部１５で検出されたシフトレバーのセット位置は、ポジション信号として画像切出部２０に送られる。ターン検出部１６は、図示しない方向指示器のセット状態を検出する。このターン検出部１６で検出された方向指示器のセット状態は、ターン信号として画像切出部２０に送られる。
【００１９】
ブレーキ検出部１７は、図示しないブレーキの踏み込み状態を検出する。このブレーキ検出部１７で検出されたブレーキの踏み込み状態は、ブレーキ信号として画像切出部２０に送られる。車速検出部１８は、車両１の移動速度を検出する。この車速検出部１８で検出された車両の移動速度は、速度信号として画像切出部２０に送られる。ハンドル角検出部１９は、図示しないハンドルが回転した角度を検出する。このハンドル角検出部１９で検出されたハンドルの回転角度は、ハンドル角信号として画像切出部２０に送られる。
【００２０】
画像切出部２０は、画像統合部１４から送られてきたパノラマ画像を、ポジション検出部１５からのポジション信号、ターン検出部１６からのターン信号、ブレーキ検出部１７からのブレーキ信号、車速検出部１８からの速度信号およびハンドル角検出部１９からのハンドル角信号（これらの各信号を「車両運転情報」という）に基づいて決定される視点に対応する位置で切り出す。この画像切出部２０によって切り出された画像は、ナビゲーション装置２１に送られる。
【００２１】
ナビゲーション装置２１は、ディスプレイ２２およびタッチパネル２３を備えている。この発明の表示部は、ディスプレイ２２によって構成され、視点指示部は、タッチパネル２３によって構成されている。このナビゲーション装置２１は、通常のナビゲーション機能である自車両１の周辺の地図をディスプレイ２２に表示する機能の他に、空間地図生成部１３から送られてくる空間地図および画像切出部２０から送られてくる画像を、ディスプレイ２２に表示する機能を有する。
【００２２】
次に、上記のように構成される、この発明の実施の形態１に係る運転支援装置の動作を、図６〜図８に示すフローチャートを参照しながら説明する。
【００２３】
まず、ナビゲーション装置２１は、図９（ａ）に示すように、地図３０および空間地図ボタン３１をディスプレイ２２に表示させる（ステップＳＴ１０）。次いで、ナビゲーション装置２１は、空間地図ボタン３１が押下されたかどうかを調べる（ステップＳＴ１１）。ここで、空間地図ボタン３１が押下されていないことが判断されると、シーケンスはステップＳＴ１０に戻り、上述した処理が繰り返される。これにより、ディスプレイ２２に表示される地図３０が順次更新され、所謂ナビゲーションが行われる。
【００２４】
上記ステップＳＴ１１において、空間地図ボタン３１が押下されたことが判断されると、次いで、空間地図生成処理が行われる（ステップＳＴ１２）。図７は、この空間地図生成処理の詳細を示すフローチャートである。空間地図生成処理では、まず、魚眼カメラ１０1〜１０4から魚眼画像が入力される（ステップＳＴ２０）。次いで、魚眼カメラ１０1〜１０4から入力された４枚の魚眼画像が、パノラマ変換部１１によって、歪みのない４枚の平面画像に変換される（ステップＳＴ２１）。次いで、パノラマ変換部１１によって得られた４枚の平面画像から、視差計測部１２によって、３６０度の水平画角を有する視差画像が生成される（ステップＳＴ２２）。次いで、空間地図生成部１３によって、視差計測部１２で生成された視差画像から空間地図が生成される（ステップＳＴ２３）。次いで、ステップＳＴ２３で生成された空間地図がナビゲーション装置２１に送られる（ステップＳＴ２４）。その後、シーケンスは、図６のフローチャートで示す処理に戻る。
【００２５】
空間地図生成処理が完了すると、次いで、パノラマ画像の切出処理が行われる（ステップＳＴ１３）。図８は、このパノラマ画像の切出処理の詳細を示すフローチャートである。パノラマ画像の切出処理では、まず、魚眼カメラ１０1〜１０4から魚眼画像が入力される（ステップＳＴ３０）。次いで、魚眼カメラ１０1〜１０4から入力された４枚の魚眼画像が、パノラマ変換部１１によって、歪みのない４枚の平面画像に変換される（ステップＳＴ３１）。次いで、パノラマ変換部１１によって得られた４枚の平面画像が、画像統合部１４によって統合され、３６０度の水平画角を有するパノラマ画像が生成される（ステップＳＴ３２）。次いで、画像切出部２０によって、ポジション検出部１５、ターン検出部１６、ブレーキ検出部１７、車速検出部１８およびハンドル角検出部１９からの車両運転情報に従って、最適視点が決定される（ステップＳＴ３３）。次いで、ステップＳＴ３３で決定された最適視点に対応する位置からパノラマ画像の一部が切り出される（ステップＳＴ３４）。そして、このステップＳＴ３４で切り出された画像が、切出画像としてナビゲーション装置２１に送られる（ステップＳＴ３５）。その後、シーケンスは、図６のフローチャートで示す処理に戻る。
【００２６】
パノラマ画像の切出処理が完了すると、次いで、図９（ｂ）に示すように、地図３０、空間地図３２、切出画像３３およびカメラボタン３４がディスプレイ２２に表示される（ステップＳＴ１４）。次いで、カメラボタン３４が押下されたかどうかが調べられる（ステップＳＴ１５）。ここで、カメラボタン３４が押下されていないことが判断されると、シーケンスはステップＳＴ１２に戻り、上述した処理が繰り返される。これにより、ディスプレイ２２に表示される地図３０、空間地図３２および切出画像３３が順次更新されるとともに、所謂ナビゲーションが行われる。
【００２７】
上記ステップＳＴ１５において、カメラボタン３４が押下されたことが判断されると、図９（ｃ）に示すように、空間地図３２、切出画像３３およびパノラマ画像３５がディスプレイ２２に表示される（ステップＳＴ１６）。パノラマ画像３５は、画像統合部１４からナビゲーション装置２１に直接に入力される。この表示の際、パノラマ画像３５のうちの切出画像３３に対応する部分は、枠３６で表示される。ユーザは、枠３６にタッチした状態で左右（図示矢印方向）に動かすことにより、視点、つまりパノラマ画像３５から切り出す位置を任意に変更できる。
【００２８】
次いで、視点の変更がなされたかどうかが調べられる（ステップＳＴ１７）。ここで、視点の変更がなされていないことが判断されると、シーケンスはステップＳＴ１６に戻り、上述した処理が繰り返される。一方、視点の変更がなされたことが判断されると、切出画像の更新が行われる（ステップＳＴ１８）。即ち、枠３６が移動された位置の画像が切出画像３３として表示される。次いで、終了であるかどうかが調べられる（ステップＳＴ１９）。これは、例えばナビゲーション装置２１の所定のボタンが押されたかどうかを調べることにより行われる。ここで、終了でないことが判断されると、シーケンスはステップＳＴ１６に戻り、上述した処理が繰り返される。一方、終了であることが判断されると、この運転支援装置の動作は終了する。
【００２９】
上記のように構成される、この発明の実施の形態１に係る運転支援装置によれば、以下のような利用が可能である。
【００３０】
今、この運転支援装置の１つの利用例として、車両１の走行中に右車線に変更する場合を考える。この場合、ナビゲーション装置２１のディスプレイ２２には、図１０（ａ）に示すような画面が表示されているものとする。この状態において空間地図ボタン３１が押下されると、図１０（ｂ）に示すように、ナビゲーション装置２１のディスプレイ２２には、地図３０、空間地図３２、切出画像３３およびカメラボタン３４が表示される。この場合、ターン検出部１６からのターン信号により方向指示器が右にセットされており、ポジション検出部１５からのポジション信号が前進を示しており、車速検出部１８からの車速信号が前方に移動中であることを示していることを条件に、切出画像３３として右斜め後方の画像が自動的に表示される。これにより、運転者は、右車線への変更の可否を容易に判断することができる。
【００３１】
また、この運転支援装置の他の利用例として、車両１を駐車する場合を考える。この場合、ナビゲーション装置２１のディスプレイ２２には、図１１（ａ）に示すような画面が表示されているものとする。この状態において空間地図ボタン３１が押下されると、図１１（ｂ）に示すように、ナビゲーション装置２１のディスプレイ２２には、地図３０、空間地図３２、切出画像３３およびカメラボタン３４が表示される。この場合、ターン検出部１６からのターン信号により方向指示器が左右点灯にセットされており、ポジション検出部１５からのポジション信号が後進を示しており、車速検出部１８からの車速信号が後方に移動中であることを示していることを条件に、切出画像３３としては右斜め後方の画像が最適であると自動的に判断されて、ディスプレイ２２に表示される。この状態で、さらにカメラボタン３４が押されると、パノラマ画像３５が枠３６とともに表示される。
【００３２】
以上説明したように、この発明の実施の形態１に係る運転支援装置によれば、車両１の周囲の全方位を分担して広角撮影した魚眼カメラ１０1〜１０4からの画像に基づいて、車両１およびその周囲を上空から見た空間地図を生成してナビゲーション装置２１のディスプレイ２２に表示するようにしたので、ディスプレイ２２に表示された空間地図は、停車や車線変更の障害となる障害物や駐車車両、走行車両を区分する目標となり、自車との位置関係が把握しやすくなる。その結果、自車両周辺の状態をユーザにわかりやすく提示できるので、ユーザの駐車や車線変更を支援することができる。
【００３３】
また、魚眼カメラ１０1〜１０4からの画像に基づいてパノラマ画像が生成され、このパノラマ画像の視点切換えは、車両運転情報に基づいて自動的に行われる。従って、ユーザが車両１を運転中に注意を要する画像が自動的に表示されることになるので、ユーザは、自車両１の状態を直感的に把握することができる。
【００３４】
また、ユーザは、確認したい視点がある場合は、マニュアル操作によってパノラマ画像の枠３６を移動させることにより切り出し位置を変更することができるので、ユーザの死角となる部分や感覚的に認識し易い情報をユーザに提供できるため、駐車や車線変更等を支援することができる。
【図面の簡単な説明】
【００３５】
【図１】この発明の実施の形態１に係る運転支援装置の構成を示すブロック図である。
【図２】この発明の実施の形態１に係る運転支援装置に搭載される魚眼カメラの配置を説明するための図である。
【図３】この発明の実施の形態１に係る運転支援装置に搭載される魚眼カメラの各々で撮影可能な魚眼画像を説明するための図である。
【図４】この発明の実施の形態１に係る運転支援装置で得られる空間地図を説明するための図である。
【図５】この発明の実施の形態１に係る運転支援装置で得られるパノラマ画像を説明するための図である。
【図６】この発明の実施の形態１に係る運転支援装置の動作を説明するためのフローチャートである。
【図７】図６に示す空間地図生成処理の詳細を示すフローチャートである。
【図８】図６に示すパノラマ画像の切出処理の詳細を示すフローチャートである。
【図９】この発明の実施の形態１に係る運転支援装置における表示画面の変遷を説明するための図である。
【図１０】この発明の実施の形態１に係る運転支援装置の１つの利用例を説明するための図である。
【図１１】この発明の実施の形態１に係る運転支援装置の他の利用例を説明するための図である。
【符号の説明】
【００３６】
１０1〜１０4  魚眼カメラ、１１  パノラマ変換部、１２  視差計測部、１３  空間地図生成部、１４  画像統合部、１５  ポジション検出部、１６  ターン検出部、１７  ブレーキ検出部、１８  車速検出部、１９  ハンドル角検出部、２０  画像切出部、２１  ナビゲーション装置、２２  ディスプレイ、２３  タッチパネル。
【図１】
2006054662.tif 000003
【図２】
2006054662.tif 000004
【図３】
2006054662.tif 000005
【図４】
2006054662.tif 000006
【図５】
2006054662.tif 000007
【図６】
2006054662.tif 000008
【図７】
2006054662.tif 000009
【図８】
2006054662.tif 000010
【図９】
2006054662.tif 000011
【図１０】
2006054662.tif 000012
【図１１】
2006054662.tif 000013