(57)【要約】【課題】運転手に最適の駐車位置を提供するＡＶＭトップビュー基盤の駐車支援システムを提供することを目的とする。【解決手段】本発明の駐車支援システムは、アラウンドビューモニターと、アラウンドビューモニターを利用して車両周辺の映像を定期的に撮影し、取得した映像をトップビュー映像に変換して順次に送信するカメラ部と、受信した複数のトップビュー映像から映像認識技術を利用して駐車空間を認識する駐車空間認識部と、車両の各センサからの車両走行情報に基づいて駐車空間に対して最適駐車経路を算出する制御部と、車両の操向情報に対応して最適駐車経路を変換して表示する駐車支援部と、を有することを特徴とする。【選択図】図１
2013133098.tif 000002
【特許請求の範囲】
【請求項１】
アラウンドビューモニターを利用した駐車支援システムであって、
アラウンドビューモニターと、
前記アラウンドビューモニターを利用して車両周辺の映像を定期的に撮影し、取得した映像を変換及び合成してトップビュー映像を生成し、前記トップビュー映像を順次に送信するカメラ部と、
前記トップビュー映像を受信し、受信した複数の前記トップビュー映像を映像認識技術を利用し順次に比較して駐車空間を認識する駐車空間認識部と、
車両の各センサから車両走行情報を受信し、前記車両走行情報に基づいて前記駐車空間に対し最適駐車経路を算出して生成する制御部と、
車両の操向情報を受信し、前記操向情報に対応するように前記最適駐車経路を計算して表示する駐車支援部と、
を有することを特徴とするアラウンドビューモニタートップビュー基盤の駐車支援システム。
【請求項２】
超音波センサを備えて前記超音波センサによって駐車空間を認識するデータを生成する超音波センサ部を更に有し、
前記超音波センサ部は、前記駐車空間認識部と連動し、
前記駐車空間認識部は、前記超音波センサ部のデータを更に利用して駐車空間を認識することを特徴とする請求項１に記載のアラウンドビューモニタートップビュー基盤の駐車支援システム。
【請求項３】
前記駐車空間認識部は、映像認識技術を利用して前記連続した映像の特徴点を抽出し、連続した２つの映像の特徴点をマッチングし、不整合な特徴点を削除し、有効特徴点を整合することにより、前記駐車空間を認識することを特徴とする請求項１に記載のアラウンドビューモニタートップビュー基盤の駐車支援システム。
【請求項４】
前記制御部は、前記駐車空間認識部で認識された前記駐車空間に対して前記車両走行情報をマッチングし、駐車軌跡及び前後進移動回数を考慮して最適駐車可能位置を算出することを特徴とする請求項１に記載のアラウンドビューモニタートップビュー基盤の駐車支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、アラウンドビューモニター（Ａｒｏｕｎｄ  Ｖｉｅｗ  Ｍｏｎｉｔｏｒｉｎｇ、以後ＡＶＭと略す）トップビュー基盤の駐車支援システムに係り、より詳しくは、車両の前後左右に装着されたＡＶＭカメラを利用して車両周辺の映像を撮影してトップビューモードに変換し、トップビュー映像を利用して車両周辺の駐車区画表示を認識し、駐車可能な駐車空間を認識し、運転手に最適な駐車位置を提供するＡＶＭトップビュー基盤の駐車支援システムに関する。
【背景技術】
【０００２】
一般的に、車両の内部に搭乗する運転手の視界は主に前方を向くようになっている。一方、運転手の左右と後方の視界は、大部分が車体によって隠されるため、極めて限定されたものとなる。
【０００３】
このような問題を解決するために、通常、運転手の限定された視界を補完するミラーを含む視界補助手段（例えば、サイドミラーなど）が用いられている。最近では、車両の外部の映像を撮影して運転手に提供するカメラ手段を含む技術が車両に適用されている（例えば特許文献１を参照）。
【０００４】
カメラ手段を含む映像提供技術のうちに、車両周囲に複数のカメラを設置し、車両周辺の３６０゜全方向の映像を示すことができるＡＶＭシステムがある。この公知の技術は、車両周辺を撮影するカメラを複数台設置し、複数台のカメラによって撮影された車両周辺の全方向映像を運転手に提供することにより、車両周辺の視界の死角を解消するように構成される。
【０００５】
しかし駐車をする時は、ＡＶＭシステムは単に車両周辺の映像を運転手に示すという機能のみなので、運転手はＡＶＭシステムを通じて提供される映像から駐車状況を判断しなければならないため、ＡＶＭシステムは駐車するのにたいして役に立たないという問題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１０９６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上述したような問題を解決するためになされたものであって、車両の前後左右に装着された４台のカメラを利用して車両周囲の映像を取得し、取得した映像をトップビュー映像に変換して駐車環境で周辺駐車区画表示を認識し、駐車可用な駐車空間を認識し、駐車軌跡を考慮して運転手に最適の駐車位置を提供するＡＶＭトップビュー基盤の駐車支援システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述したような目的を達成するための本発明のアラウンドビューモニタートップビュー基盤の駐車支援システムは、アラウンドビューモニターと、アラウンドビューモニターを利用して車両周辺の映像を定期的に撮影し、取得した映像を変換及び合成してトップビュー映像を生成し、トップビュー映像を順次に送信するカメラ部と、トップビュー映像を受信し、受信した複数のトップビュー映像を映像認識技術を利用し順次に比較して駐車空間を認識する駐車空間認識部と、車両の各センサから車両走行情報を受信し、車両走行情報に基づいて駐車空間に対し最適駐車経路を算出して生成する制御部と、車両の操向情報を受信し、操向情報に対応するように最適駐車経路を計算して表示する駐車支援部と、を有することを特徴とする。
【０００９】
また本発明の駐車空間認識部は、超音波センサを備えて前記超音波センサによって駐車空間を認識するデータを生成する超音波センサ部を更に有し、超音波センサ部は駐車空間認識部と連動し、駐車空間認識部は、超音波センサ部のデータを更に利用して駐車空間を認識することを特徴とする。
【００１０】
また本発明の駐車空間認識部は、映像認識技術を利用して連続した映像の特徴点を抽出し、連続した２つの映像の特徴点をマッチングし、不整合な特徴点を削除し、有効特徴点を整合することにより駐車空間を認識することを特徴とする。
また本発明の制御部は、駐車空間認識部で認識された駐車空間に対して車両走行情報をマッチングし、駐車軌跡及び前後進移動回数を考慮して最適駐車可能位置を算出することを特徴とする。
【発明の効果】
【００１１】
上述したような構成を有する本発明は、ＡＶＭシステムを利用して車両周辺の映像を取得してトップビュー映像に変換して用いることにより、車両周辺の状況をリアルタイムで認識することができる効果があり、車両周囲のどんな方向でも駐車可能な駐車空間を認識することができる。
【００１２】
また、車両周辺の映像を連続的に撮影して登録し、連続した映像を順次に比較して駐車空間及び駐車線を認識し、これに基づいて車両の通過経路を示して最適駐車空間を表示することにより、駐車時の運転支援情報の正確度と信頼度を向上させる効果がある。
また、トップビュー基盤の映像を運転手に提供し、駐車過程を視覚化して提供することにより、駐車支援システムに対する安定感を向上させる効果がある。
【図面の簡単な説明】
【００１３】
【図１】本発明のＡＶＭトップビュー基盤の駐車支援システムの好ましい実施形態を示すシステム構成を示すブロック図である。
【図２】ＡＶＭから撮影された車両周辺の映像である。
【図３】車両周辺映像をトップビュー形式の映像に変換する仮想のモデリングを示す模式図である。
【図４】仮想カメラモデリングによって変換及び合成されて取得されたトップビュー形式の映像を示す図である。
【図５】駐車空間認識部の駐車空間認識過程を示す映像である。
【図６】駐車空間認識部の駐車空間認識過程を示す映像である。
【図７】駐車空間認識部の駐車空間認識過程を示す映像である。
【図８】駐車空間認識部の駐車空間認識過程を示す映像である。
【図９】上述したような段階を繰り返して駐車空間を探索及び設定する構造を示す平面図である。
【図１０】図９の駐車空間探索及び設定の実施形態を示す映像である。
【図１１】本発明の他の実施形態を示す図である。
【発明を実施するための形態】
【００１４】
以下に、添付図面を参照しながら、本発明の好ましい実施形態を詳細に説明する。
図１は、本発明のＡＶＭトップビュー基盤の駐車支援システムの１実施形態に係るシステム構成を示すブロック図であり、図２は、ＡＶＭから撮影された車両周辺の映像である。
図１に示すように、本発明の駐車支援システムは、車両周辺の駐車空間認識のためにカメラ部１０を有し、カメラ部１０はＡＶＭを備える。
【００１５】
図２に示すように、ＡＶＭは、車両の周辺を撮影して映像を取得するカメラ手段を車両の全方向に向かって複数台設置し、複数台のカメラ手段によって撮影された映像を運転手に提供することにより、運転手の車両周辺の視野を確保し、死角を解消する公知の手段である。
本発明において、ＡＶＭは、好ましくは、公知の広角カメラを含むことができる。したがって、ＡＶＭによって車両周辺の映像を車両を中心に３６０゜全方向で撮影することができる。
【００１６】
図３は、車両周辺映像をトップビュー形式の映像に変換する仮想のモデリングを示す模式図であり、図４は、仮想カメラモデリングによって変換及び合成されて取得されたトップビュー形式の映像を示す図である。
図３に示すように、ＡＶＭによって撮影された車両周辺の映像は、ＡＶＭを制御する制御部３０によって仮想のカメラモデリングが行われ、トップビュー（Ｔｏｐ  Ｖｉｅｗ）、即ち、バーズアイビュー（Ｂｉｒｄ’ｓ  Ｅｙｅ  Ｖｉｅｗ）に変換及び合成され、図４に示すような２次元（２Ｄ）平面映像に変換される。なお、ＡＶＭを制御する制御部３０はＡＶＭ内に含まれることがある。
【００１７】
したがって、制御部３０は、車両周辺の映像を上述したような映像処理を経ることにより、車両の上部から見たものと同じ視野のトップビュー形態の映像を得ることができる。
【００１８】
本発明の駐車支援システムは、得られたトップビュー形態の映像を利用して駐車位置を認識し、駐車支援を行う。
カメラ部１０によって車両周辺のトップビュー映像が得られれば、駐車空間認識部２０は、トップビュー映像によって駐車空間を認識する。
【００１９】
図５〜８は、駐車空間認識部の駐車空間認識過程を示す映像である。
図５に示すように、制御部３０は、ＡＶＭによって撮影された映像をトップビュー形態に変換し、車両周辺のトップビュー映像を連続的及び定期的に得る。また、制御部３０は、上述したようにして得た車両周辺のトップビュー映像を互いに比較する。
このとき、駐車空間認識部２０は、定期的に入力される映像から順次に連続した映像を比較し、駐車空間を認識して車両軌跡を認識する。ここに公知の映像認識技術が用いられる。
【００２０】
上述したような連続した２つの映像の比較のために、公知のコーナー検出（Ｃｏｒｎｅｒ  Ｄｅｔｅｃｔｉｏｎ）技術が用いられる。コーナー検出技術は、映像認識において、映像内に含まれたオブジェクト（ｏｂｊｅｃｔ）のコーナーを抽出して認識する公知の技術であり、連続した映像の差を判断するために用いられる。
【００２１】
映像処理及び認識分野において、コーナー情報は、形状（Ｓｈａｐｅ）や移動物体の追跡（Ｔｒａｃｋｉｎｇ）などの分野において重要な基準点となる。本発明においても、連続撮影されたトップビュー形式の車両周辺映像の認識のために、上述したようなコーナー検出技術を用いて主要特徴点を抽出する。
本発明において、上述したようなコーナー検出技術のうち、例えば、最も代表的なヘリス（Ｈａｒｒｉｓ）コーナー検出技術を用いることができる。しかし、コーナー検出技術はこれに限定される訳ではない。
【００２２】
図６に示すように、連続した２つの映像の主要特徴点が抽出されれば、制御部３０は、連続した２つの映像の特徴点を互いにマッチングして比較する。
連続した２つの映像の特徴点マッチングは、公知のＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）技術が用いられる。
【００２３】
ＮＣＣ技術は、互いに比較しなければならない条件の変化によって変化した２枚の映像を互いに比較するために正規化する技術である。本発明の制御部３０は、車両が移動したことによって異なった、連続した２つの映像を正規化して比較するために、ＮＣＣ技術を用いる。このとき、制御部３０は、連続した２つの映像の特徴点周辺の７×７正方形領域ピクセルの輝度値を特徴点の説明因子として用い、ＮＣＣ技術を利用して正規化し、各特徴点を互いにマッチングして類似度を測定する。
【００２４】
図７に示すように、正規化された連続した２つの映像の各特徴点が互いにマッチングされれば不整合な特徴点を削除する段階が行われる。
このとき、類似変換（ｓｉｍｉｌａｒｉｔｙ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ）モデルによって連続した２つの映像間の変位差と角度差を抽出し、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）技術によって有効な特徴点のみを比較できるように、不整合な特徴点が削除される。
【００２５】
ＲＡＮＳＡＣ技術は、偽りの情報（本発明において不整合な特徴点）を含む一連のデータ集合から、数学的モデルの因子を、繰り返される作業によって予測する公知の技術であって、本発明の制御部３０は、ＲＡＮＳＡＣ技術によって不整合な特徴点を認識して削除する。
【００２６】
図８に示すように、不整合な特徴点が削除され、有効特徴点が選択されれば、推定された有効特徴点に基づいて映像を整合する段階を経る。即ち、図５〜７の段階を連続して経た後、連続する映像を車両の移動にしたがって継続して整合させることにより、車両の移動軌跡を認識し、車両の位置を推定することができる。
【００２７】
図９は、上述したような段階を繰り返して駐車空間を探索及び設定する構造を示す平面図であり、図１０は、図９の駐車空間探索及び設定の実施形態を示す映像である。
本発明のＡＶＭトップビュー基盤の駐車支援システムが適用された車両は、駐車場を移動してリアルタイムでトップビュー方式の映像を撮影し、連続した映像を比較することによって駐車空間を認識する。
【００２８】
図９に示すように、駐車空間が車両のトップビュー映像範囲内に認識された場合は、駐車空間認識部２０は、連続的に登録される映像に基づいて車線を認識し、道路幅及び駐車可能領域を算出する。
【００２９】
このとき、制御部３０は、駐車軌跡生成のために車両に備えられた各種センサから車両走行情報を受信する。このとき受信する情報は、例えば、車速、ホイールパスル、ＳＡＳなどである。
【００３０】
図９のように撮影された映像が連続的に登録されれば、図１０に示すように、車両移動軌跡にしたがった映像が登録され、この映像に基づいて駐車空間認識部２０が車線を認識し、制御部３０が駐車可能領域を算出する。このとき、差映像（ｄｉｆｆｅｒｅｎｃｅ  ｉｍａｇｅ）を用いて駐車空間内の障害物を判断することが好ましい。
【００３１】
制御部３０は、車両の位置と認識された駐車空間の相対的な位置を考慮して適合する駐車空間を選択し、最適な駐車可能位置を表示して運転手に提供する。即ち、制御部３０は、駐車可能空間として選択された候補駐車空間のうちから駐車軌跡及び前後進移動回数を考慮して最適駐車可能位置を算出し、これを後述する駐車支援部４０を通じて運転手に表示して提供することにより、運転手の駐車を支援する。
【００３２】
図１に示す駐車支援部４０は、制御部３０から設定された駐車経路をＨＭＩ（Ｈｕｍａｎ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）を通じて運転手に提供する。
即ち、図１に示すように、駐車支援部４０は、車両の各種走行情報、即ち、ギアポジション、速度、ＭＤＰＳトルク、ＳＰＡＳスイッチなどの情報の入力を受け、制御部３０から設定された駐車経路を走行情報に対応するように変換して表示する。
駐車支援部４０は、制御部３０で算出された駐車経路によって現在の車両の位置から最適駐車空間までの車両移動軌跡、即ち、駐車経路を表示して運転手に提供する。
【００３３】
図１１は、本発明の他の実施形態を示す図である。
図１１に示すように、本発明の他の実施形態では、駐車空間認識部２０は公知の超音波センサを用いたＳＰＡＳシステムを含む超音波センサ部５０を備え、連動が可能なように構成される。即ち、駐車空間認識部２０は、超音波センサ部との連動し、超音波センサ部のデータによる可用駐車区画を併用して障害物を認識するのに用いることにより、駐車空間探索及び駐車空間内の障害物の認識の正確性及び迅速性を向上させる。本実施形態において、制御部３０及び駐車支援部４０は、上述した図１の制御部３０及び駐車支援部４０と同じ機能を行う。
【００３４】
以上、本発明に関する好ましい実施形態を説明したが、本発明は前記実施形態に限定されず、本発明の属する技術範囲を逸脱しない範囲での全ての変更が含まれる。
【符号の説明】
【００３５】
１０      カメラ部
２０      駐車空間認識部
３０      制御部
４０      駐車支援部
５０      超音波センサ部
【図１】
2013133098.tif 000003
【図２】
2013133098.tif 000004
【図３】
2013133098.tif 000005
【図４】
2013133098.tif 000006
【図５】
2013133098.tif 000007
【図６】
2013133098.tif 000008
【図７】
2013133098.tif 000009
【図８】
2013133098.tif 000010
【図９】
2013133098.tif 000011
【図１０】
2013133098.tif 000012
【図１１】
2013133098.tif 000013