(57)【要約】【課題】処理負担が軽く、簡易な手法によって、適切な駐車位置への案内が可能な駐車支援装置、駐車支援方法及び駐車支援プログラムを提供する。【解決手段】駐車場における駐車位置の画像を、参照画像として記憶する参照画像記憶部３１と、車両に設置されたカメラ１が撮像した現画像と参照画像との相関を検出する相関検出部３３と、相関検出部３３により検出された相関に基づいて、現画像と参照画像とのずれを判定する判定部３４と、判定部３４により判定されたずれに基づいて、音声ガイドを発生する音声ガイド発生部３５とを有する。【選択図】図１
2010188744.tif 000002
【特許請求の範囲】
【請求項１】
駐車場における駐車位置の画像を、参照画像として記憶する参照画像記憶部と、
車両に設置された撮像部が撮像した現画像と、前記画像記憶部に記憶された参照画像との相関を検出する相関検出部と、
前記相関検出部により検出された相関に基づいて、現画像と参照画像とのずれを判定する判定部と、
前記判定部により判定されたずれに基づいて、音声ガイドを発生する音声ガイド発生部と、
を有することを特徴とする駐車支援装置。
【請求項２】
前記相関検出部は、オプティカルフローを生成するオプティカルフロー生成部であり、
前記判定部は、前記オプティカルフローに基づいて、ベクトルの方向を判定するベクトル判定部であることを特徴とする請求項１記載の駐車支援装置。
【請求項３】
異なる駐車位置に応じて、複数の参照画像を有し、
前記複数の参照画像のいずれかを選択する入力部を有することを特徴とする請求項１又は請求項２記載の駐車支援装置。
【請求項４】
異なる駐車位置に応じて、複数の参照画像を有し、
車両の現在位置を算出する現在位置算出部と、
前記現在位置算出部により算出された現在位置に基づいて、前記複数の参照画像のいずれかを選択する選択部を有することを特徴とする請求項１又は請求項２記載の駐車支援装置。
【請求項５】
コンピュータ又は電子回路が、参照画像記憶部、相関検出部、判定部、音声ガイド発生部を有し、
前記参照画像記憶部が、駐車場における駐車位置の画像を、参照画像として記憶する処理と、
前記相関検出部が、車両に設置された撮像部が撮像した現画像と、前記画像記憶部に記憶された参照画像との相関を検出する処理と、
前記判定部が、前記相関検出部により検出された相関に基づいて、現画像と参照画像とのずれを判定する処理と、
前記音声ガイド発生部が、前記判定部により判定されたずれに基づいて、音声ガイドを発生する処理と、
を実行することを特徴とする駐車支援方法。
【請求項６】
コンピュータにより実行可能なプログラムであって、
前記コンピュータに、
駐車場における駐車位置の画像を、参照画像として記憶する処理と、
車両に設置された撮像部が撮像した現画像と、参照画像との相関を検出する処理と、
検出された相関に基づいて、現画像と参照画像とのずれを判定する処理と、
判定されたずれに基づいて、音声ガイドを発生する処理と、
を実行させることを特徴とする駐車支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、車両に設置した撮像部により撮像された画像に基づいて、車両の駐車を支援する駐車支援装置、駐車支援方法及び駐車支援プログラムに関するものである。
【背景技術】
【０００２】
近年、自動車の一般化と情報処理技術の発達にともない、車載用の電子機器が急速に普及している。その中でも、車両に設置したカメラにより撮像した画像を、ナビゲーション装置のディスプレイに表示させて運転を支援するシステムは、ナビゲーション装置の普及とともに、一般的に装備されるようになった。
【０００３】
例えば、特許文献１には、駐車の際に、車両が最適な位置となるように、運転者に適切な報知を行う駐車補助装置が開示されている。この装置は、車両の後部に設置したカメラによって、車両の後方を撮像し、撮像した画像と走行予想軌跡をディスプレイに表示しながら、所定のウィンドウ内における白線の位置と方向から駐車区画を検証して、運転者に音声メッセージを出力するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−７９８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記のような従来技術においては、駐車場に実際に駐車するたびに、走行予想軌跡の算出、駐車区画の検証、これに基づくガイドラインの表示等、複雑な演算をおこなわなければならず、装置の処理負担が大きくなる。一方、勤務先、スーパーマーケット、コンビニエンスストア等、ユーザが日常的に頻繁に行く駐車場は限られており、そのような駐車場であれば、高度な案内は不要である場合が多い。
【０００６】
本発明は、上記のような従来技術の問題点を解決するものであり、その目的は、処理負担が軽く、簡易な手法によって、適切な駐車位置への案内が可能な駐車支援装置、駐車支援方法及び駐車支援プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、請求項１の発明は、駐車場における駐車位置の画像を、参照画像として記憶する参照画像記憶部と、車両に設置された撮像部が撮像した現画像と、前記画像記憶部に記憶された参照画像との相関を検出する相関検出部と、前記相関検出部により検出された相関に基づいて、現画像と参照画像とのずれを判定する判定部と、前記判定部により判定されたずれに基づいて、音声ガイドを発生する音声ガイド発生部と、を有することを特徴とする。
【０００８】
請求項５の駐車支援方法は、請求項１の発明を方法の観点から捉えたものであり、請求項６の駐車支援プログラムは、請求項１及び５の発明をコンピュータプログラムの観点から捉えたものである。
【０００９】
以上のような請求項１、５及び６の発明では、音声ガイドを発生するための駐車すべき位置からの車両のずれの把握を、あらかじめ記憶された参照画像と現画像との相関に基づいて行う。このように、２画像の相関を求めることは、走行予想軌跡の算出、駐車区画の検証、これに基づくガイドラインの表示等に比べて、処理負担が軽くて済む。特に、日頃から頻繁に行く場所の駐車場については、ユーザは熟知しているため、参照画像と現画像とのずれに基づく簡易な案内であっても、十分に役立つ。
【００１０】
請求項２の発明は、請求項１の駐車支援装置において、前記相関検出部は、オプティカルフローを生成するオプティカルフロー生成部であり、前記判定部は、前記オプティカルフローに基づいて、ベクトルの方向を判定するベクトル判定部であることを特徴とする。
以上のような請求項２の発明では、オプティカルフローの生成とベクトル判定という簡易な手法によって、駐車支援を行うことができる。
【００１１】
請求項３の発明は、請求項１又は請求項２の駐車支援装置において、異なる駐車位置に応じて、複数の参照画像を有し、前記複数の参照画像のいずれかを選択する入力部を有することを特徴とする。
以上のような請求項３の発明では、ユーザが入力部を用いることによって、あらかじめ記憶された参照画像のうち、現在、車両を駐車しようとしている駐車場に適した所望の画像を選択することができる。
【００１２】
請求項４の発明は、請求項１又は請求項２の駐車支援装置において、異なる駐車位置に応じて、複数の参照画像を有し、車両の現在位置を算出する現在位置算出部と、前記現在位置算出部により算出された現在位置に基づいて、前記複数の参照画像のいずれかを選択する選択部を有することを特徴とする。
以上のような請求項４の発明では、現在、車両が存在する位置に基づいて、駐車しようとしている駐車場を判断して、その駐車場に対応した参照画像が自動的に選択されるので、ユーザが参照画像を選択する手間が省ける。
【発明の効果】
【００１３】
以上のような本発明によれば、処理負担が軽く、簡易な手法によって、適切な駐車位置への案内が可能な駐車支援装置、駐車支援方法及び駐車支援プログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態の構成を示す機能ブロック図。
【図２】図１の実施形態における処理手順を示すフローチャート。
【図３】本発明の実施形態における車両のベストポジションでの駐車例を示す説明図。
【図４】図３に対応する表示画面例を示す説明図。
【図５】本発明の実施形態における車両の左にずれた駐車例を示す説明図。
【図６】図５に対応する現画像の表示画面例を示す説明図。
【図７】図５に対応する現画像と参照画像との比較画像の表示画面例を示す説明図。
【図８】図７の比較画像にオプティカルフローを表示した説明図。
【図９】本発明の実施形態において、車止めを抽出して検出されたベクトルの例を示す説明図。
【図１０】本発明の他の実施形態において、参照画像を選択する際の表示画面例を示す説明図。
【発明を実施するための形態】
【００１５】
次に、本発明を実施するための最良の形態（以下「実施形態」と呼ぶ）について、図面を参照して具体的に説明する。なお、本実施形態は、周辺装置を備えたコンピュータをプログラムで制御することで実現できるが、この場合のハードウェアやプログラムの実現態様は各種変更可能である。従って、以下の説明では、本発明及び本実施形態の各機能を実現する仮想的回路ブロックを用いる。また、本発明は、駐車支援装置及び支援方法に加え、上記のようなプログラム、そのようなプログラムを記憶したコンピュータ読取可能な記憶媒体としても把握できる。
【００１６】
〔１．構成〕
〔１−１．全体構成〕
まず、本実施形態における駐車支援装置（以下「本装置」と呼ぶ）は、図１のブロック図に示すように、カメラ１、シャッタースイッチ２、制御部３、モニター４及びスピーカ５等を備えている。
【００１７】
カメラ１は、車両の後方を撮像可能となるように、車両の後部に設置された撮像部である。一般的な車載用のカメラを用いることができる。シャッタースイッチ２は、カメラ１により撮像された画像を、参照（リファレンス）画像として取り込むための入力部である。このシャッタースイッチ２は、本装置の筐体に設けられたものであっても、コードを介して遠隔配置されたものであっても、リモコンに組み込まれたものであってもよい。なお、モニター４に構成されたタッチパネルを、シャッタースイッチ２とすることも可能である。
【００１８】
制御部３は、本装置全体を制御するＣＰＵ及びその周辺回路であり、その詳細は後述する。モニター４は、カメラ１が撮像した画像、制御部３に記憶された画像、これらの対比画像（加工、変形されたもの、矢印、ライン、操作メニュー等の各種インタフェースを含む）等を表示する表示部である。
【００１９】
モニター４の表示内容の切り替え、選択等は、図示しない入力部によって行うことができる。この入力部としては、本装置の筐体に設けられたスイッチ、コードを介して遠隔配置されたスイッチ、遠隔操作用のリモコン、モニター４に構成されたタッチパネル等が考えられる。
【００２０】
本実施形態においては、入力部を操作することにより、参照画像記憶部３１に記憶された参照画像の識別情報（名称、番号等）をリスト表示させ、そのいずれかを選択すると、選択された参照画像が表示されるように構成されている。スピーカ５は、制御部３から出力されたガイド音声を再生する手段である。
【００２１】
〔１−２．制御部の構成〕
制御部３は、参照画像記憶部３１、画像比較部３２、相関検出部３３、判定部３２、音声ガイド発生部３５、切替部３６等を有している。参照画像記憶部３１は、カメラ１によって撮像した画像を、参照画像として記憶する手段である。参照画像としては、過去にユーザが、駐車場の駐車スペースにおいて、当該車両を後進しながら駐車させた際に、最適な位置において撮像した画像が用いられる。
【００２２】
画像比較部３２は、カメラ１が現在撮像している現画像と、参照画像とを比較する手段である。この画像比較部３２による比較は、現画像と参照画像とを対比して、共通する特徴点を抽出することにより行われる。例えば、背後の車止め（縁石等）やガイドライン（白線等）の輪郭を抽出すること等が考えられる。このような輪郭の抽出方法は、種々考えられるが、周知技術であるため、説明は省略する。
【００２３】
相関検出部３３は、現画像と参照画像の特徴点から、相関検出を行う手段である。この相関検出は、比較される画像の差分（ずれ）に応じたベクトルを算出することによって行う。これは、一般的なオプティカルフロー生成の技術を用いることによって実現できる。判定部３４は、算出されたベクトルの方向と大きさを判定する手段である。
【００２４】
音声ガイド発生部３５は、判定部３４によって判定されたベクトルの方向と大きさに応じて、所定の音声ガイドを出力する手段である。なお、メモリ等の記憶部には、ガイド内容のテキスト、ベクトルの方向及び大きさとテキストとの対応関係を記述したテーブル等が登録されており、これに従って、音声ガイド発生部３５が音声合成を行う。
【００２５】
切替部３６は、モニター４に表示させる画像を、カメラ１によって撮像されている現画像、参照画像と現画像の合成画像、原画像とベクトル（矢印）の合成画像等に切り替える手段である。いずれの画像に切り替えるかは、ユーザが、入力部を操作することにより選択できる。
【００２６】
なお、上記の画像、テキスト、テーブル、インタフェース等、本実施形態において使用される情報の記憶部としては、メモリ、ハードディスク等、現在又は将来において、利用可能なあらゆる記憶媒体において、実現可能である。
【００２７】
〔２．作用〕
以上のような本実施形態による処理の一例を、図２のフローチャート、図３〜９の説明図を参照して説明する。なお、図３〜９において、６は車両、７は車止め、８はガイドライン、９は壁面である。すなわち、ユーザが、車両６を駐車場の駐車スペースに合わせて後進させる際に、カメラ１によって撮像された車両の後方の画像が、制御部３に入力され（ステップ２０１）、モニター４に表示される（ステップ２０２）。
【００２８】
当該駐車場に対応する参照画像が未だ存在しない場合には（ステップ２０３）、駐車した際のベストポジションにおいて、ユーザがシャッタースイッチ２を操作することにより、撮像する（ステップ２１０）。撮像された画像は制御部３に入力され（ステップ２１１）、参照画像記憶部３１に記憶される（ステップ２１２）。そして、駐車完了後、車両のエンジンを切る等により電源が落ちると、表示が終了する（ステップ２１３）。
【００２９】
例えば、図３は、車両が駐車スペースにおいて後方に移動する時の俯瞰図であり、図４（ａ）は、車両が手前側にある場合のモニター４の画面例、図４（ｂ）は、車両が後側にある場合のモニター４の画面例である。この図４（ｂ）が、駐車の際のベストポジションであったとすると、ユーザがこの時点でシャッタースイッチ２を操作することにより、参照画像が保存される。このとき、デフォルトで、識別情報（例えば、００１、００２等）が付される。ユーザが、入力部からの入力により、所望の番号、名称等を付すことができるようにしてもよい。
【００３０】
その後、同じ駐車場に駐車する機会があった場合、ユーザが車両６を駐車スペースに合わせて後進する際に、上記と同様に、カメラ１によって撮像された車両の後方の画像が、制御部３に入力され（ステップ２０１）、モニター４に表示される（ステップ２０２）。
【００３１】
ユーザは、入力部を用いて、モニター４に参照画像の識別情報のリストを表示させて、対応する駐車場の参照画像を選択する（ステップ２０３）。すると、画像比較部３２が、選択された参照画像と、現在、撮像されている現画像とを比較して、特徴点が抽出される（ステップ２０４）。また、切替部３６は、参照画像と現画像とを比較した画像を、モニター４に表示させる（ステップ２０５）。
【００３２】
例えば、図５は、車両が、駐車スペースにおいて、左側にずれている時の俯瞰図であり、図６は、その時の車両が後側にある場合のモニター４の画面例（現画像）、図７は、同位置におけるモニター４の画面例（比較画像）である。図５のように車両が左側にずれている場合、図６の原画像における車止め７及びガイドライン８は、右にずれた表示となる。この場合、ずれた位置の現画像と、参照画像との比較画像は、参照画像を実線、原画像を点線で表わすと、図７のようになる。
【００３３】
次に、抽出された特徴点に基づいて、相関検出部３３が、オプティカルフローを生成する（ステップ２０６）。そして、判定部３４は、生成されたオプティカルフローから、ベクトルの方向と大きさを判定する（ステップ２０７）。
【００３４】
例えば、図７に示すような参照画像と現画像との相関検出を行うと、ずれ量の大きさと方向に応じたベクトルを生成することができる。図８は、このベクトルを画面に表示させた例であり、このベクトルの方向と大きさを判定することにより、目的の駐車位置を知ることができる。
【００３５】
そして、判定されたベクトルの方向と大きさに応じて、音声ガイド発生部３５が、音声ガイドを生成し（ステップ２０８）、これがスピーカ５において再生される（ステップ２０９）。例えば、図９は、車止め７を抽出して検出されたベクトルの例を示し、これに対してどのような音声ガイドをするのかの一例を示す。
【００３６】
すなわち、図９（ａ）に示すように、ベクトルが真上だった場合には、この車両の方向が所望の停止位置に向かって真っ直ぐに向かっていることを意味している。この場合には、例えば、「このまま真っ直ぐ下がると、ベストの駐車位置です」という音声ガイドを出力することが考えられる。図９（ｂ）に示すように、車の方向が真上から見て左側に逸れて駐車しようとしている場合には、例えば、「駐車位置よりも右側にずれています」という音声ガイドを出力することが考えられる。
【００３７】
また、図９（ｃ）に示すように、奥行き方向で車両の位置が正規の駐車位置近くに来た場合には、例えば、「あと数ｃｍでベストの駐車位置です」という音声ガイドを出力することが考えられる。さらに、図９（ｄ）に示すように、所望の位置に対して、わずかに左側にずれて停止した場合には、例えば、「駐車位置よりも数ｃｍ右側にずれています。おしい！」という音声ガイドを出力することが考えられる。
【００３８】
正規の駐車位置に、ぴったりと駐車できた場合には、ベクトルが０になる。この場合、例えば、「ベストの位置に駐車できました」という音声ガイドを出力することが考えられる。このように駐車した後、車両のエンジンを切る等により電源が落ちると、表示が終了する（ステップ２１２）。
【００３９】
〔３．効果〕
以上のような本実施形態によれば、駐車すべき位置からの車両６のずれを、あらかじめ記憶された参照画像と現画像との相関に基づいて把握して、適切な音声ガイドを発生させることにより、駐車を支援することができる。特に、本実施形態では、２画像の相関をオプティカルフローの生成により求め、ずれの把握をベクトル判定によって行っている。したがって、駐車場に実際に行くたびに、走行予想軌跡の算出、駐車区画の検証、これに基づくガイドラインの表示等を行うよりも、処理負担を大幅に軽減できる。
【００４０】
このように、参照画像とのずれに基づく案内をするだけでも、日頃から頻繁に行く場所の駐車場については、ユーザは熟知しているために、十分に役に立つ。また、ユーザは、モニター４にリスト表示された参照画像を選択することにより、現在、車両を駐車しようとしている駐車場に適した所望の参照画像を、簡単に得ることができる。
【００４１】
〔４．他の実施形態〕
なお、本発明は上記の実施形態に限定されるものではない。上記の実施形態の各部は、ナビゲーション装置と兼用させることもできる。例えば、参照画像記憶部３１、その他の記憶部を構成する記憶媒体としては、ナビゲーション装置のメモリ、ハードディスク等と兼用させることもできる。シャッタースイッチ２、その他の入力部としては、ナビゲーション装置のフロントパネルに設けられたスイッチやタッチセンサ、遠隔操作可能なリモコンユニット等によって構成することもできる。なお、音声認識部を備え、マイクからの音声入力に応じて、シャッタースイッチ２、その他の入力部と同様の操作ができるようにしてもよい。
【００４２】
モニター４は、ナビゲーション装置のディスプレイと兼用させてもよいし、別体として構成してもよい。ナビゲーション装置のディスプレイのタッチパネルを、上記のシャッタースイッチ２、その他の入力部として構成することもできる。スピーカ５についても、ナビゲーション装置と兼用させてもよい。
【００４３】
参照画像を選択するためのインタフェースも、自由である。例えば、図１０に示すように、複数のアイコン表示をした参照画像の中から、ユーザが入力部によって選択できるようにしてもよい。
【００４４】
参照画像の選択についても、次のような態様が考えられる。すなわち、駐車場において参照画像を記憶する際に、ナビゲーション装置におけるロケータ若しくは別途設けたロケータ等の現在位置検出部によって、現在位置を検出し、この位置情報を、参照画像と関連付けて参照画像記憶部３１に記憶しておく。
【００４５】
次に、制御部３に設定された選択部が、当該駐車場において駐車する際に、現在位置検出部から得られる現在位置に対して、一致若しくは所定の距離内にある位置情報を持つ参照画像を、画像比較部３２による比較対象として、参照画像記憶部３１から選択する。これにより、現画像との比較に適した参照画像が自動的に選択されるので、ユーザの選択の手間が省ける。
【００４６】
なお、ロケータは、ＧＰＳチューナにおいて受信した信号に基づいて、ＧＰＳ測位により、車両の現在位置（自車位置）を演算する手段であり、加速度センサやジャイロスコープからの検出データにより補正し、道路地図データとのマップマッチングをとることにより、正確さを担保できるものであるが、周知技術であるため説明は省略する。
【００４７】
また、例えば、車止め７や壁面９等の外部の対象物に対する距離を検出可能なセンサ等の距離検出部を設けることも考えられる。この場合、駐車場スペースに駐車する際に、車両の対象物に対する距離が変化するに従って、所定の距離毎に参照画像とその距離とを関連付けて、参照画像記憶部３１に記憶しておく。
【００４８】
次に、制御部３に設定された選択部が、当該駐車場において駐車する際に、距離検出部から得られる距離に対して、一致若しくは所定の距離内にある参照画像を、画像比較部３２による比較対象として、参照画像記憶部３１から選択する。これにより、車両と駐車スペースの位置関係に応じて、現画像との比較に適した参照画像が自動的に選択されるので、より正確な案内が可能となる。
【００４９】
なお、距離検出部としては、外部の対象物との距離を検出できるものであればよい。一般的には、送信した光学的信号が、対象物に反射して受信されるまでの時間に基づいて距離を算出するセンサが考えられるが、これには限定されない。参照画像と現画像における同一対象物の大きさの比等から、距離を判定するものであってもよい。
【００５０】
相関検出の手法も周知のあらゆる技術を適用可能である。ベクトルの方向のみ若しくは大きさのみを判定して、ずれの修正方向のみ若しくはずれの修正距離のみを音声ガイドで指示することにより、処理を簡略化することもできる。駐車スペースを認識するための対象物も、上記の実施形態で例示したものには限定されない。
【００５１】
撮像部の設置位置も、車両のどの位置であってもよい。例えば、縦列駐車用に横方向を撮像可能としてもよい。音声ガイドの生成、出力方法についても、周知のあらゆる技術を適用可能である。例えば、あらかじめメモリ等の記憶部に記憶された音声データのいずれかを選択して、出力するようにしてもよい。
【符号の説明】
【００５２】
１…カメラ
２…シャッタースイッチ
３…制御部
４…モニター
５…スピーカ
６…車両
７…車止め
９…壁面
３１…参照画像記憶部
３２…画像比較部
３３…相関検出部
３４…判定部
３５…音声ガイド発生部
３６…切替部
【図１】
2010188744.tif 000003
【図２】
2010188744.tif 000004
【図３】
2010188744.tif 000005
【図４】
2010188744.tif 000006
【図５】
2010188744.tif 000007
【図６】
2010188744.tif 000008
【図７】
2010188744.tif 000009
【図８】
2010188744.tif 000010
【図９】
2010188744.tif 000011
【図１０】
2010188744.tif 000012