(57)【要約】【課題】所定の駐車スペースに駐車する場合であって、かつ、運転者が必要とする場合にだけ利用可能な簡易的な駐車支援機能を提供する。【解決手段】  画像突合せ部１１６は、内蔵カメラ１１４Ａ、１１４Ｂのそれぞれを通じて取り込んだそれぞれの画像と、３Ｄ空間メモリ１０５の３Ｄオブジェクトデータに基づいて形成される画像とのマッチング処理を行い、所定の駐車スペース近傍における自機の位置を特定する。画像合成部１１７は、特定された自機の位置や自車に関する情報に基づき、３Ｄ空間メモリ１０５の３Ｄオブジェクトデータに基づいて形成される画像に、自車に対応する自動車の画像を合成して表示部１１０Ｄに表示する。アシスト音声形成部は、自車の位置と障害物等の位置関係に基づき、運転者をアシストするガイダンスを形成して出力する。【選択図】図１
2015116899.tif 000002
【特許請求の範囲】
【請求項１】
表示手段と、前記表示手段の表示画面の背面が向けられた方向の画像を撮影する第１のカメラ手段と、前記表示手段の表示画面が向けられた方向の画像を撮影する第２のカメラ手段とを備え、自動車の所定の位置であって、前記第１のカメラ手段で前方の画像を取り込むことができ、前記第２のカメラ手段で後方の画像を取り込むことができ、運転者が前記表示手段の表示画面を観視可能な位置に装着される簡易型駐車アシスト装置であって、
所定の駐車スペースに自車を駐車する場合に自車が位置することになる３次元空間を構成する３Ｄオブジェクトデータを記憶保持する３次元情報記憶手段と、
自車に関する情報を記憶保持する自車情報記憶手段と、
自機が装着された自動車を前記駐車スペースに駐車する場合に、前記第１のカメラ手段を通じて取り込んだ画像と前記第２のカメラ手段を通じて取り込んだ画像のそれぞれと、前記３次元情報記憶手段の前記３Ｄオブジェクトデータに基づいて形成される画像とのマッチング処理を行い、自機の位置を特定する画像突合せ手段と、
前記画像突合せ手段により特定された自機の位置と、前記自車情報記憶手段の前記自車に関する情報とに基づいて、前記３次元情報記憶手段の前記３Ｄオブジェクトデータに基づいて形成される画像中に、自車に対応する自動車の画像を合成して前記表示手段に表示する画像合成手段と、
前記第１、第２のカメラ手段を通じて取得される画像情報による画像に基づいて、運転者をアシストするガイダンスを形成して出力するアシスト形成手段と
を備えることを特徴とする簡易型駐車アシスト装置。
【請求項２】
請求項１に記載の簡易型駐車アシスト装置であって、
前記３次元情報記憶手段に記憶保持される前記３Ｄオブジェクトデータは、前記駐車スペースを含む３次元空間の種々の位置から種々の方向を撮影することにより得た多数の画像情報とこれに付随する情報とに基づいて形成されるものであることを特徴とする簡易型駐車アシスト装置。
【請求項３】
請求項１または請求項２のいずれかに記載の簡易型駐車アシスト装置であって、
前記自車情報記憶手段の前記自車に関する情報は、自車の全長、全幅、全高、形状、タイヤ位置、最小回転半径を含むことを特徴とする簡易型駐車アシスト装置。
【請求項４】
請求項１、請求項２または請求項３のいずれかに記載の簡易型駐車アシスト装置であって、
自機の姿勢、向き、動きに関する情報を検出するセンサ手段を備え、
前記画像突合せ手段は、前記センサ手段からの検出出力をも考慮して、前記駐車スペースに対する自機の位置を特定することを特徴とする簡易型駐車アシスト装置。
【請求項５】
表示手段と、前記表示手段の表示画面の背面が向けられた方向の画像を撮影する第１のカメラ手段と、前記表示手段の表示画面が向けられた方向の画像を撮影する第２のカメラ手段とを備え、自動車の所定の位置であって、前記第１のカメラ手段で前方の画像を取り込むことができ、前記第２のカメラ手段で後方の画像を取り込むことができ、運転者が前記表示手段の表示画面を観視可能な位置に装着される簡易型駐車アシスト装置で用いられる駐車アシスト方法であって、
前記簡易型駐車アシスト装置は、所定の駐車スペースに自車を駐車する場合に自車が位置することになる３次元空間を構成する３Ｄオブジェクトデータを記憶保持する３次元情報記憶手段と、自車に関する情報を記憶保持する自車情報記憶手段とを備えており、
画像突合せ手段が、自機が装着された自動車を前記駐車スペースに駐車する場合に、前記第１のカメラ手段を通じて取り込んだ画像と前記第２のカメラ手段を通じて取り込んだ画像のそれぞれと、前記３次元情報記憶手段の前記３Ｄオブジェクトデータに基づいて形成される画像とのマッチング処理を行い、自機の位置を特定する画像突合せ工程と、
前記画像突合せ工程において特定した自機の位置と、前記自車情報記憶手段の前記自車に関する情報とに基づいて、画像合成手段が、前記３次元情報記憶手段の前記３Ｄオブジェクトデータに基づいて形成される画像中に、自車に対応する自動車の画像を合成して前記表示手段に表示する画像合成工程と、
前記第１、第２のカメラ手段を通じて取得される画像情報による画像に基づいて、アシスト形成手段が運転者をアシストするガイダンスを形成して出力するアシスト形成工程と
を有することを特徴とする駐車アシスト方法。
【請求項６】
表示手段と、前記表示手段の表示画面の背面が向けられた方向の画像を撮影する第１のカメラ手段と、前記表示手段の表示画面が向けられた方向の画像を撮影する第２のカメラ手段とを備え、自動車の所定の位置であって、前記第１のカメラ手段で前方の画像を取り込むことができ、前記第２のカメラ手段で後方の画像を取り込むことができ、運転者が前記表示手段の表示画面を観視可能な位置に装着される簡易型駐車アシスト装置に搭載されたコンピュータで実行される駐車アシストプログラムあって、
前記簡易型駐車アシスト装置は、所定の駐車スペースに自車を駐車する場合に自車が位置することになる３次元空間を構成する３Ｄオブジェクトデータを記憶保持する３次元情報記憶手段と、自車に関する情報を記憶保持する自車情報記憶手段とを備えており、
画像突合せ手段が、自機が装着された自動車を前記駐車スペースに駐車する場合に、前記第１のカメラ手段を通じて取り込んだ画像と前記第２のカメラ手段を通じて取り込んだ画像のそれぞれと、前記３次元情報記憶手段の前記３Ｄオブジェクトデータに基づいて形成される画像とのマッチング処理を行い、自機の位置を特定する画像突合せステップと、
前記画像突合せステップにおいて特定した自機の位置と、前記自車情報記憶手段の前記自車に関する情報とに基づいて、画像合成手段が、前記３次元情報記憶手段の前記３Ｄオブジェクトデータに基づいて形成される画像中に、自車に対応する自動車の画像を合成して前記表示手段に表示する画像合成ステップと、
前記第１、第２のカメラ手段を通じて取得される画像情報による画像に基づいて、アシスト形成手段が運転者をアシストするガイダンスを形成して出力するアシスト形成ステップと
を前記コンピュータが実行することを特徴とする駐車アシストプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、自宅の駐車スペースなどの所定の場所に自動車を駐車する場合において、自動車の運転をアシスト（支援）するための装置、方法、プログラムに関する。
【背景技術】
【０００２】
現在の市販車の場合、タクシー以外ではドアミラーばかりでボンネットミラーがなく、前輪の位置を掴みにくい。また、現在の市販車の場合、燃費向上のために空気抵抗を減らす目的で、運転席からボンネットが全く見えない自動車が多く、同様の目的で車体の後部をシェイプしてしまっているために後輪の位置の把握が難しい自動車も多い。従って、運転席から自動車の外縁（外形）や前輪、後輪の位置が把握しにくいために、自動車の運転に不慣れな者にとって、車庫入れや縦列駐車は難しい。このため、車庫入れや縦列駐車を行う場合に、自動車を障害物でこすってしまうといったことは非常に多く発生する。現在の市販車はダンパーの付属したバンパーがないため、自動車をこすってしまうと、多額の修理代が必要になる場合も少なくない。
【０００３】
このため、従来から自動車の車庫入れ時や縦列駐車時の駐車支援機能を実現する装置に関する種々の発明がなされている。例えば、後に記す特許文献１には、車庫入れや縦列駐車など自動車を狭い空間に進入させる場合に、その進入の可否を識別できる干渉シミュレーション装置に関する発明が開示されている。この特許文献１に記載の発明は、ステレオカメラを通じて取り込む画像データを用いてステレオカメラから見た車庫形状の３次元データを生成し、この車庫形状の時間的な変化に基づいて自動車の動きベクトルを算出する。そして、車庫の３次元形状と自動車の３次元形状との干渉を調べて自動車が車庫や障害物に接触するかどうかを識別して警告を出力するものである。
【０００４】
この他にも、駐車支援機能に関する発明には、後に記す特許文献２、３など種々のものが存在しており、いずれも自動車にカメラを搭載し、このカメラを通じて取得する画像情報を利用して、駐車支援機能を実現している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−２９５４１５号公報
【特許文献２】特開２００４−１１４９７７号公報
【特許文献３】特開２００５−１０４４０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１〜３に記載の技術は、専用のカメラや当該カメラで撮影した画像を処理するための高性能の画像処理装置やＬＣＤ（Liquid Crystal Display）などの表示素子など、種々の装置を自動車に搭載しなければならない。このため、自動車の価格が高くなる。近年においては、排気量が大きく、種々の機能が搭載されたいわゆる高級車よりも、軽自動車やコンパクトカーなどと呼ばれるいわゆる低価格車の人気が高い。軽自動車やコンパクトカーに駐車支援機能を搭載することはもちろん可能であるが、当該機能を搭載することによりその価格が高くなってしまうというデメリットがある。
【０００７】
また、駐車支援機能は、運転に慣れてくると不要な機能になってしまう場合もある。一般に、駐車支援機能が最も必要になるのは、自動車の運転免許証を取りたてのドライバが、日常的に必ず利用しなければならない駐車スペースであって、周囲にフェンス、ポスト、家屋などの障害物の多い駐車スペースに自動車を駐車する場合である。日常的に必ず利用しなければならない駐車スペースには、自宅の駐車場や勤務先の駐車場などがある。自宅や勤務先の駐車場には、慣れてくればスムーズに自動車を駐車させることができるようになる。しかし、慣れるまでの間に、自動車にキズを付けてしまうといったことがよく発生する。
【０００８】
以上のことに鑑み、この発明は、駐車支援のための専用のカメラ、画像処理装置、表示素子などを自動車に搭載することなく、所定の駐車スペースに駐車する場合において、運転者を支援する駐車支援機能を実現することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１に記載の発明の簡易型駐車アシスト装置は、
表示手段と、前記表示手段の表示画面の背面が向けられた方向の画像を撮影する第１のカメラ手段と、前記表示手段の表示画面が向けられた方向の画像を撮影する第２のカメラ手段とを備え、自動車の所定の位置であって、前記第１のカメラ手段で前方の画像を取り込むことができ、前記第２のカメラ手段で後方の画像を取り込むことができ、運転者が前記表示手段の表示画面を観視可能な位置に装着される簡易型駐車アシスト装置であって、
所定の駐車スペースに自車を駐車する場合に自車が位置することになる３次元空間を構成する３Ｄオブジェクトデータを記憶保持する３次元情報記憶手段と、
自車に関する情報を記憶保持する自車情報記憶手段と、
自機が装着された自動車を前記駐車スペースに駐車する場合に、前記第１のカメラ手段を通じて取り込んだ画像と前記第２のカメラ手段を通じて取り込んだ画像のそれぞれと、前記３次元情報記憶手段の前記３Ｄオブジェクトデータに基づいて形成される画像とのマッチング処理を行い、自機の位置を特定する画像突合せ手段と、
前記画像突合せ手段により特定された自機の位置と、前記自車情報記憶手段の前記自車に関する情報とに基づいて、前記３次元情報記憶手段の前記３Ｄオブジェクトデータに基づいて形成される画像中に、自車に対応する自動車の画像を合成して前記表示手段に表示する画像合成手段と、
前記第１、第２のカメラ手段を通じて取得される画像情報による画像に基づいて、運転者をアシストするガイダンスを形成して出力するアシスト形成手段と
を備えることを特徴とする。
【００１０】
この請求項１に記載の発明の簡易型駐車アシスト装置によれば、当該簡易型駐車アシスト装置は、表示手段と第１のカメラ手段（いわゆるアウトカメラ）と第２のカメラ手段（いわゆるインカメラ）とを備えたものである。当該簡易型駐車アシスト装置は、第１のカメラ手段で自動車の前方を、第２のカメラ手段で自動車の後方を撮影可能な位置であって、運転者が表示手段の表示画面を観視可能である自動車内の所定の位置に装着されて利用される。
【００１１】
当該簡易型駐車アシスト装置は、３次元情報記憶手段で所定の駐車スペースに自車を駐車する場合に自車が位置することになる３次元空間を構成する３Ｄオブジェクトデータを記憶保持し、自車情報記憶手段で自車に関する情報を記憶保持する。自車に関する情報は、自車の大きさや形状を示す情報を含む。当該簡易型駐車アシスト装置がさらに備える画像突合せ手段と、画像合成手段と、アシスト形成手段とは、当該簡易型駐車アシスト装置が装着された自動車を当該所定の駐車スペースに駐車する場合に機能する。
【００１２】
画像突合せ手段は、第１、第２のカメラ手段のそれぞれを通じて取り込んだそれぞれの画像と、３次元情報記憶手段の３Ｄオブジェクトデータに基づいて形成される画像とのマッチング処理を行い、当該３次元空間における自機の位置を特定する。画像合成手段は、特定された自機の位置と、自車情報記憶手段の自車に関する情報とに基づき、３次元情報記憶手段の３Ｄオブジェクトデータに基づいて形成される３次元画像中に、自車に対応する自動車の画像を合成して表示手段に表示する。アシスト形成手段は、第１、第２のカメラ手段を通じて取得される画像情報による画像に基づいて、運転者をアシストするガイダンスを形成して出力する。
【００１３】
これにより、ユーザーは、自分が運転する自動車が目的する駐車スペースに対して、あるいは、その近傍において、どのような状況にあるのかを表示される画像を通じて認識できる。また、出力されるガイダンスによっても、駐車時の運転がアシストされる。従って、運転する自動車を障害物にぶつけたり、こすったりするといった不都合を防止できる。
【発明の効果】
【００１４】
この発明によれば、駐車支援のための専用のカメラ、画像処理装置、表示素子などを自動車に搭載することなく、所定の駐車スペースに駐車する場合において、運転者を支援する駐車支援機能を提供できる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態の簡易型駐車アシスト装置（携帯端末１）の構成例を説明するためのブロック図である。
【図２】携帯端末１の自動車への装着位置の一例を説明するための図である。
【図３】３Ｄ空間メモリ１０５の格納データの例を説明するための図である。
【図４】３Ｄ空間形成部１１５において行われる処理を説明するための図である。
【図５】３Ｄ空間形成部１１５において行われる処理を説明するための図である。
【図６】３Ｄ空間形成部１１５において行われる処理を説明するための図である。
【図７】自動車５００の画像を合成して形成した３次元画像の例を示す図である。
【図８】図４に示した例の自宅の駐車スペースを上方から俯瞰した場合の拡大図である。
【図９】駐車アシスト機能が実行されたときの処理を説明するためのフローチャートである。
【図１０】図９に続くフローチャートである。
【図１１】駐車アシスト機能が実行された場合に用いられる表示画面の一例を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、図を参照しながら、この発明の装置、方法、プログラムの一実施の形態について説明する。
【００１７】
［簡易型駐車アシスト装置の概要］
図１は、この実施の形態の簡易型駐車アシスト装置の構成例を説明するためのブロック図である。この実施の形態の駐車アシスト装置は、広く用いられるようになったスマートフォンなどと呼ばれる高機能携帯電話端末（以下、携帯端末と略称する）１により実現される。また、図２は、携帯端末１が簡易型駐車アシスト装置として利用される場合の自動車への装着位置の一例を説明するための図である。この実施の形態の携帯端末１は、後述もするが、車庫入れ、車庫出しのいずれの場合にも利用でき、自動車の向きも、頭から（前方から）の場合とバック（後方から）の場合のいずれにも対応でき、また、種々の車種にも対応できるものである。
【００１８】
図２に示すように、この実施の形態の携帯端末１を簡易型駐車アシスト装置として用いる場合には、自動車内のフロントガラス２０１の中央上部に設けられているルームミラー２０２の近傍に装着する。この場合、図２に示すように、携帯端末１の表示部１１０Ｄの表示画面が自動車の後方に向き、当該表示画面を運転者が観視できるように携帯端末１を自動車に装着する。なお、装着に際しては、例えば、専用の保持具を用いることにより、簡単に装着できるようになっている。
【００１９】
次に、この実施の形態の携帯端末１の構成例について説明する。図１に示す携帯端末１おいて、無線通信部１０１、送受信アンテナ１０１Ａ、制御部１０２、記憶装置１０３、操作部１０４は、通信機能や情報処理機能などの携帯端末１の基本的な機能を実現する。
【００２０】
この実施の形態において、記憶装置１０３が備える不揮発性メモリには、図１にも示したように、自機のカメラ機能に関する性能情報（カメラ性能情報）や携帯端末１のユーザーが運転する自動車に関する情報（自車情報）なども記憶保持されている。ここで、カメラ性能情報は、レンズの焦点距離、画角、口径比（Ｆ値）、ＣＣＤ（Charge Coupled Devices）などの撮像素子の大きさや画素数などの種々の情報を含む。また、自車情報は、携帯端末１のユーザーが運転する自動車の全長、全幅、全高、形状、タイヤ位置、最小回転半径などの種々の情報を含む。
【００２１】
３Ｄ空間メモリ１０５は、自宅の駐車場などの所定の駐車スペースに自車を駐車する場合に自車が位置することになる３次元空間を構成する３Ｄオブジェクトデータを記憶保持する。当該３Ｄオブジェクトデータは、当該３次元空間を複数地点から撮影することにより得た画像と、焦点距離などの撮影時に取得される付随する情報から生成されるものであり、具体的には、テクスチャー画像やポリゴンデータである。なお、この明細書において「３Ｄ」との文言は、３次元を意味する「three-dimensional」あるいは「three dimensions」の略称として用いている。
【００２２】
図３は、３Ｄ空間メモリ１０５の格納データの例を説明するための図である。図３に示すように、３Ｄ空間メモリ１０５には、例えば、ファイル単位に、所定の３次元空間から生成されたテクスチャー画像やポリゴンデータが記憶保持される。各ファイルには、図３に示すように、ファイル名や、テクスチャー画像やポリゴンデータについての種々のメタ情報も格納される。
【００２３】
ファイル名は、各ファイルを特定する識別情報であり、当該ファイルの作成時において、制御部１０２により自動的に付与される。このファイル名はユーザーが変更できる。テクスチャー画像やポリゴンデータについてのメタ情報は、タイトル、位置情報、作成日の他、例えば、テクスチャー画像やポリゴンデータを作成するために画像を撮影したときの焦点距離などの撮影条件やその他の種々の情報が含まれる。
【００２４】
タイトルは、例えば、「自宅駐車場」といった、当該ファイルに格納されたテクスチャー画像やポリゴンデータにより表現される３次元空間が、どこの３次元空間であるのかを示す情報であり、ソフトウェアキーボードなどを通じてユーザーにより入力される。位置情報は、当該ファイルに格納されたテクスチャー画像やポリゴンデータにより表現される３次元空間の所在地を示す情報である。当該位置情報は、当該テクスチャー画像やポリゴンデータの形成時、すなわち、目的とする３次元空間の画像の撮影時において、ＧＰＳ部１０９や無線ＬＡＮ部１０８の機能により特定される現在位置を示す経度緯度である。
【００２５】
この実施の形態の携帯端末１においては、いわゆるディファレンシャルＧＰＳ機能が利用され、正確な現在位置を特定できる。また、現在位置を含む地図を後述する表示部に表示し、当該地図上において、現在位置を指定したり、また、修正したりできる。また、住所情報を入力することにより、当該住所情報から位置情報として用いる現在位置を特定することも可能である。作成日は、当該３次元空間を表現するテクスチャー画像やポリゴンデータが形成された日時を特定する情報であり、図１には図示しなかったが、携帯端末１が備える時刻情報提供部から提供される当該３次元空間の撮影時の現在日時情報が用いられる。
【００２６】
また、当該メタ情報には、駐車スペースなどの３次元空間の撮影時の撮影条件等のその他の情報も含まれる。例えばＥｘｉｆ規格の画像ファイルの場合と同様に、当該３次元空間を表現するテクスチャー画像やポリゴンデータの生成元となった撮影画像についての画素数、圧縮モード、焦点距離、撮影方向、撮影位置などの種々の情報も含まれる。このような情報により、当該３次元空間内において、所定の位置からの各方向の当該３次元空間に含まれる対象物（オブジェクト）までの距離などが特定可能とされる。これらの種々のメタ情報は、３次元空間を生成するために用いる画像の撮影時において、制御部１０２が機能し、後述するカメラ部１１４、センサ部１０７、ＧＰＳ部１０９などから取得し、３Ｄ空間メモリ１０５に形成される各ファイルに付加される。
【００２７】
実画像メモリ１０６は、詳しくは後述するカメラ部を通じて取り込んでいる被写体の画像を形成する画像情報を、一定時間ごとに取り込み直すようにして、カメラ部が捉えている被写体の最新の画像を形成する画像情報を記憶保持する。なお、この実施の形態の携帯端末１のカメラ部は、いわゆるアウトカメラとインカメラの２つのカメラを備えており、実画像メモリ１０６は、そのそれぞれからの画像情報を保持するために、少なくとも２画面分（２フレーム分）の記憶領域を有するものである。
【００２８】
センサ部１０７は、いわゆる６軸センサ（３軸加速度センサと３軸地磁気センサ）からなる。センサ部１０７からの検出出力は、後述する駐車アシスト機能の実行時において、携帯端末１の向きや位置を特定するための情報として利用できる。センサ部１０７からの検出出力を用いることにより、駐車アシスト機能の精度を向上させることができる。
【００２９】
無線ＬＡＮ部１０８および無線ＬＡＮアンテナ１０８Ａは、例えば、Ｗｉ−Ｆｉ（登録商標）規格の無線ＬＡＮに対応し、近隣のＡＰ（アクセスポイント）を通じた通信を可能にする。ＧＰＳ部１０９およびＧＰＳアンテナ１０９Ａは、自機の現在位置を測位する。表示部１１０Ｄとタッチパッド１１０Ｐとはタッチパネル１１１を構成し、画像や映像の表示機能と操作入力の受付機能とを実現する。音声出力部１１２とスピーカ１１３とは、音声の出力機能を実現する。
【００３０】
カメラ部１１４は、表示部１１０Ｄの表示画面の背面が向けられた方向の画像を撮影するいわゆるアウトカメラ１１４Ａと、表示部１１０Ｄの表示画面が向けられた方向の画像を撮影するいわゆるインカメラ１１４Ｂとを備える。通常、アウトカメラ１１４Ａが主カメラとなり、風景など撮影者（ユーザー）の前方などに位置する被写体の画像を撮影する場合には、アウトカメラ１１４Ａで捉えた画像を表示部１１０Ｄに表示して撮影者が確認しながら撮影を行う。
【００３１】
また、撮影者（ユーザー）が自分自身を撮影する場合には、インカメラ１１４Ｂで捉えた画像を表示部１１０Ｄに表示して確認しながら撮影者が撮影を行う。また、テレビ電話機能を用いる場合にも、インカメラ１１４Ｂで捉えたユーザーの画像を相手先に送信し、相手先の画像を表示部１１０Ｄに表示して確認しながら通話を行うことができる。このように、アウトカメラ１１４Ａとインカメラ１１４Ｂとは、それぞれ反対方向にある被写体の画像の撮影を行うことができるものである。
【００３２】
したがって、図２に示した態様で携帯端末１を自動車に装着した場合には、アウトカメラ１１４Ａが当該自動車の前方の画像を撮影し、インカメラ１１４Ｂが当該自動車の後方の画像を撮影する。そして、アウトカメラ１１４Ａとインカメラ１１４Ｂとにより、携帯端末１が装着された自動車の前方と後方の画像を同時に撮影できるようになっている。
【００３３】
３Ｄ空間形成部１１５は、駐車アシスト機能のために必要になる自宅の駐車場などの所定の駐車スペースに自車を駐車する場合に、自車が位置することになる３次元空間を構成する３Ｄオブジェクトデータを形成して３Ｄ空間メモリ１０５に記録する処理を行う。なお、この明細書において「自車」との文言は、携帯端末１のユーザーが運転する自動車を意味している。
【００３４】
図４〜図６は、３Ｄ空間形成部１１５において行われる処理を説明するための図である。具体的に、図４は自宅の駐車場の例を示す斜視図であり、図５は当該自宅の駐車場部分を上方から俯瞰した場合の図である。また、図６は３Ｄ空間メモリ１０５に格納される画像情報の生成方法の一例について説明するための図である。
【００３５】
図４に示す例の自宅の駐車スペース３０１の場合、当該図に向って、右側にはポスト３０２や建物３０３が、左側にはフェンス３０４が、正面奥には２本の植木３０５が存在している。すなわち、駐車スペース３０１の出入口方向を除く３方向には、障害物が存在している。なお、当該駐車スペースの出入口側には、例えば道幅が６ｍ程度の道路があるものとする。このように、出入口方向を除く３方向に障害物がある駐車スペース３０１に自動車を駐車することは、自動車の運転に不慣れなユーザーにとっては難しい。
【００３６】
そこで、携帯端末１の駐車アシスト機能を利用可能にするため、駐車スペース３０１に自車を駐車させる場合に自車が位置することになる３次元空間を構成する３Ｄオブジェクトデータを３Ｄ空間メモリ１０５に記録しておく必要がある。当該３Ｄオブジェクトデータは、駐車スペース３０１に自車を駐車させる場合に自車が位置することになる３次元空間を複数地点から撮影することにより得た画像から形成されるテクスチャー画像やポリゴンデータからなる。
【００３７】
すなわち、携帯端末１のユーザーは、携帯端末１において３次元空間形成処理を実行させ、アウトカメラ１１４Ａを通じて、駐車スペースを含む３次元空間の複数地点から、重なる部分を設けながら種々の方向の画像を撮影する。具体的には、図５において多数の点と、当該多数の点のそれぞれから放射状に伸びる矢印で示したように、複数ヶ所のそれぞれから、撮影方向を替えて、複数の画像を撮影する。この場合、図６に示すように、点線で示した長方形状のエリアが１枚の画像として撮影されるエリアであるとすると、当該長方形上のエリアの一部（４０％〜５０％）が重なり合うようにして、隣接するエリアについて順次に画像を撮影して行く。
【００３８】
３次元空間を構成する３Ｄオブジェクトデータを生成する場合、基本的に１つのオブジェクト（対象物）については、撮影位置や撮影角度が異なる３枚以上の画像を撮影することが望ましい。そして、次元空間を構成するテクスチャー画像やポリゴンデータを生成するためには、当該３次元空間において、撮影位置や撮影角度を替えて撮影した５０枚〜２５０枚程度の画像が必要である。
【００３９】
このように、携帯端末１のユーザーは、隣接するエリアの画像を、アウトカメラ１１４Ａを通じて連続して撮影する。３Ｄ空間形成部１１５は、撮影された隣接するエリアの画像（画像情報）について、それらの重なり合う部分を利用し、撮影時の焦点距離を用いて正確に焦点距離を計算しながら、目的とする３次元空間を表現するテクスチャー画像やポリゴンデータを生成する。そして、３Ｄ空間形成部１１５は、生成したテクスチャー画像やポリゴンデータからなる３Ｄオブジェクトデータを、例えば図３に示した態様で３Ｄ空間メモリ１０５に格納する。
【００４０】
このようにして、目的とする３次元空間を撮影することにより得た画像情報を処理することにより、３次元空間を表現するテクスチャー画像やポリゴンデータからなる３Ｄオブジェクトデータが生成できる。そして、当該３Ｄオブジェクトデータを用いることにより、当該３次元空間において、仮想的な視点位置を種々の方向に移動させ、その視点位置から種々の方向を見た場合に見える画像（２次元画像）を形成して利用できる。
【００４１】
なお、ここで説明した３次元空間を表現する３Ｄオブジェクトデータの形成の仕方は一例である。従って、図５に示した撮影位置や撮影方向も一例であり、目的とする３次元空間内において、種々の位置から種々の方向を撮影すればよい。また、撮影した画像を用いて３次元空間を構成する３Ｄオブジェクトデータを形成する方法も種々の方法を用いることができる。また、静止画像ではなく、動画像を撮影し、この動画像を処理することによって３次元空間を構成する３Ｄオブジェクトデータを形成することも可能である。
【００４２】
なお、３次元空間を表現する３Ｄオブジェクトデータの形成の仕方としては、例えば、米国のマイクロソフト社が提供するソフトウェアである「Photosynth（登録商標）」を利用してもよい。また、米国のＡｕｔｏｄｅｓｋ社の静止画像から３次元空間を構成する３Ｄオブジェクトデータを形成するソフトウェアである「Autodesk 123D Catch」（１２３Ｄは登録商標）など、撮影画像から３次元空間を構成する３Ｄオブジェクトデータを形成する種々のソフトウェアが提供されており、これらを利用して３次元空間を構成する３Ｄオブジェクトデータを形成してもよい。
【００４３】
画像突合せ部１１６は、アウトカメラ１１４Ａ、インカメラ１１４Ｂのそれぞれが捉えている画像と、３Ｄ空間メモリ１０５に格納されている目的とする当該駐車スペース部分の３次元空間を構成する３Ｄオブジェクトデータに基づいて形成される画像との突合せ処理を行う。この突合せ処理により、当該駐車スペースに対する携帯端末１の位置と向きとを特定する。画像突合せ部１１６における処理の詳細は後述する。
【００４４】
画像合成部１１７は、画像突合せ部１１６により特定された携帯端末１の位置と記憶装置１０３に記憶保持されている自車情報とを利用して、３Ｄ空間メモリ１０５の３Ｄオブジェクトデータに基づいて形成される画像中に、自車に対応する自動車の画像を合成する。このように、画像合成部１１７は、自車（携帯端末１が装着された自動車）の画像を合成した当該３次元空間に対応する画像を形成し、これを表示部１１０Ｄに表示する。これにより、当該駐車スペースに対する自車位置を明確にユーザーに示し、駐車時における運転をアシスト（支援）する。
【００４５】
図７は、表示部１１０Ｄに画像合成部１１７の機能により表示部１１０Ｄ表示される画像（２次元画像）の例を示している。当該画像は、３Ｄ空間メモリ１０５の３Ｄオブジェクトデータに基づいて形成される当該駐車スペースを含む３次元空間に対応するエリアの２次元画像中に、自車の画像を合成して形成したものである。この例の場合には、例えば、自車の中央部分の上方の所定の位置を視点位置とした自車画像を含む当該駐車スペース部分の２次元画像である。
【００４６】
画像合成部１１７は、３Ｄ空間メモリ１０５に記憶保持されている３Ｄオブジェクトデータに基づいて形成される当該３次元空間に対応する画像中に自車がどのような位置関係で存在しているかを特定して、自車の画像を合成する。この場合の位置関係の特定は、画像突合せ部１１６からの携帯端末１の位置、アウトカメラ１１４Ａとインカメラ１１４Ｂの向き、記憶装置１０３の自車情報などに基づいて行われる。
【００４７】
これにより、所定の駐車スペースに自車を駐車する場合に、自車が位置することになる３次元空間内において、自車がどのような位置（状況）にあるのかを、表示部１１０Ｄに表示される２次元合成画像によりユーザーに通知できる。すなわち、表示部１１０Ｄに表示される２次元画像（合成画像）によって、携帯端末１のユーザーは、自分が運転する自動車（自車）が、当該駐車スペースの近傍において、周辺の障害物などとどのような位置関係にあるのかを客観的に把握できる。
【００４８】
アシスト音声形成部１１８は、アウトカメラ１１４Ａとインカメラ１１４Ｂとが捉える画像を解析することにより、自車と周囲の障害物などとの位置関係を把握し、必要な音声メッセージを形成し、これを音声出力部１１２に供給してアシスト音声を出力する。例えば、自動車の外縁が周囲の障害物に対して所定距離以上に近づいている場合には、「ストップ。左後部が障害物に接近。」などといった音声メッセージが放音される。また、当該駐車スペースに対して、自動車が進入してくる角度が大きく、自動車のハンドルを更に切る（回転させる）必要がある場合には、「進入角度が足りませ。ハンドルを右に大きく切ってください。」といった音声メッセージが放音される。
【００４９】
なお、ここでは、アウトカメラ１１４Ａとインカメラ１１４Ｂとが捉える画像を解析することにより、自車と周囲の障害物などとの位置関係を把握するものとしたが、これに限るものではない。３Ｄ空間メモリ１０５の３Ｄオブジェクトにより構成される３次元区間内における携帯端末１の現在位置と、自車情報とに基づいて、当該３次元空間内における自車と周囲の障害物との位置関係を把握して、これに基づき音声メッセージ等を出力することもできる。
【００５０】
このように、携帯端末１においては、制御部１０２の制御の下、アウトカメラ１１４Ａと３Ｄ空間形成部１１５とが機能して、所定の駐車スペースの周囲の３次元空間を構成する３Ｄオブジェクトを生成し、これを３Ｄ空間メモリ１０５に格納する。この３Ｄ空間メモリ１０５に記憶保持された３Ｄオブジェクトデータに基づいて形成される画像と、アウトカメラ１１４Ａ、インカメラ１１４Ｂが捉える画像との突合せを行って、携帯端末１の現在位置を特定する。
【００５１】
この携帯端末１の現在位置と、アウトカメラ１１４Ａ、インカメラ１１４Ｂの向き、自車情報などを考慮して、駐車スペースを含む３次元空間における自車位置を特定して、駐車スペースへの駐車時における運転を映像と音声とによりアシストする。この一連の処理を、制御部１０２の制御の下、画像突合せ部１１６と画像合成部１１７とアシスト音声形成部１１８とが機能して駐車アシスト機能を実現する。
【００５２】
なお、携帯端末１は、現在日時情報を提供する時刻情報提供部や通話機能を実現するための受話器、送話器、通話処理部などをも備えるものである。しかし、説明を簡単にするため、この発明と直接に関連しない部分については、図１において省略し、それらの部分についての説明も省略した。
【００５３】
［画像突合せ処理の詳細］
次に、画像突合せ部１１６と画像合成部１１７とアシスト音声形成部１１８とにおける処理について具体的に説明する。図８は、図４に示した例の自宅の駐車スペースを上方から俯瞰した場合の拡大図であり、画像突合せ部１１６と画像合成部１１７とアシスト音声形成部１１８とにおける処理の具体例について説明するための図である。ここでは、ユーザーが自動車を後ろから（バックで）駐車スペース３０１に入れて駐車する場合を例にして説明する。
【００５４】
図８に示すように、駐車スペース３０１に対して、向って右側にはポスト３０２と建物３０３が、向って左側にはフェンス３０４が、正面の駐車スペース３０１の奥には２本の植木３０５があることは上述した通りである。そして、駐車スペース３０１の出入口側には、道幅が例えば６ｍ程度の道路４００があり、道路４００に沿っては、フェンス３０６が設けられている状態を示している。そして、図８において、ユーザーの運転する自動車５００を実線の長方形と点線の長方形で示している。これらは、点線矢印ｘが示すように、自動車５００はバックしながらハンドルを徐々に右に切って移動することにより、位置が変わっていることを示している。
【００５５】
上述もしたように、３Ｄ空間メモリ１０５に記憶保持されているテクスチャー画像やポリゴンデータなどからなる３Ｄオブジェクトデータは、３Ｄ空間形成部１１５の機能により生成されたものであり、３次元空間を構成（表現）することができるものである。このため、仮想的な視点位置を設定すると、当該３次元空間内において、その仮想的な視点位置から見える画像を、３Ｄ空間メモリ１０５の３Ｄオブジェクトデータに基づいて形成して表示できる。
【００５６】
そこで、画像突合せ部１１６は、仮想的な視点位置を順次に変え、この仮想的な視点位置からアウトカメラ１１４Ａとインカメラ１１４Ｂのそれぞれが捉えるであろう画像を特定する。この画像は、３Ｄ空間メモリ１０５に記憶保持されている３次元空間を構成する３Ｄオブジェクトデータに基づいて形成されるものであり、当該仮想的な視点位置からアウトカメラ１１４Ａとインカメラ１１４Ｂのそれぞれが捉えるであろう方向の画像である。
【００５７】
画像突合せ部１１６は、仮想的な視点位置を順次に変えるごとに特定される画像（３Ｄ空間メモリ１０５の３Ｄオブジェクトデータに基づいて形成される画像）と、アウトカメラ１１４Ａとインカメラ１１４Ｂのそれぞれを通じて実際に取り込まれている実画像メモリ１０６の各画像との突合せを行う。そして、画像突合せ部１１６は、対応する画像同士が最も類似する仮想的な視点位置を携帯端末１の現在位置として特定する。
【００５８】
画像突合せ部１１６における画像の突合せの方法（マッチング方法）は種々のものを用いることが可能である。ここでは、比較的に処理が簡単な一例について、図８を参照しながら具体的に説明する。
【００５９】
図８に示した例の場合には、矢印Ｂｋ１、Ｂｋ２が示す方向が自動車５００の後方方向であり、矢印Ｆｔ１、Ｆｔ２が自動車５００の前方方向である。そして、図２を用いて説明したように、自動車５００のルームミラーの近傍に表示部１１０Ｄの表示画面を運転者が観視できるように携帯端末１が設置される。この場合、携帯端末１のアウトカメラ１１４Ａを通じては自動車５００の前方方向の画像が、また、インカメラ１１４Ｂを通じては自動車５００の後方方向の画像が取り込まれる。
【００６０】
図８において、実線の自動車５００が示すように、当初、自動車５００がその後方から（バックで）駐車スペース３０１の所在する方向に道路４００上を侵入してきたとする。この場合、自動車５００に設置された携帯端末１のアウトカメラ１１４Ａ、インカメラ１１４Ｂのそれぞれがどちらの方向を向いているのかは、携帯端末１のセンサ部１０７において検知できる。
【００６１】
画像突合せ部１１６は、センサ部１０７の検出出力に基づき、アウトカメラ１１４Ａとインカメラ１１４Ｂとが向いている方向（Ｂｋ１−Ｆｔ１方向）に対して直交する方向を特定する。画像突合せ部１１６は、Ｂｋ１−Ｆｔ１方向に対して直交する方向に、当該駐車スペース３０１を含む３次元空間内における道路４００の例えば左端上の所定位置から右端に向うように仮想的な視点位置Ｐを順次にずらすようにする。
【００６２】
そして、３Ｄ空間メモリ１０５に記憶保持されている３Ｄオブジェクトデータに基づいて形成される画像であって、当該仮想的な視点位置からアウトカメラ１１４Ａが捉えるであろう画像とインカメラ１１４Ｂが捉えるであろう画像とを順次に特定する。なお、この場合、地面から仮想的な視点位置までの高さは、携帯端末１を自動車５００に設置したときの地面から携帯端末１までの高さとする。
【００６３】
画像突合せ部１１６では、仮想的な視点位置からアウトカメラ１１４Ａが捉えるであろう画像とアウトカメラ１１４Ａを通じて実際に取り込まれている画像情報による画像とを突合せて、それらの類似度を求める。同様に、仮想的な視点位置からインカメラ１１４Ｂが捉えるであろう画像とインカメラ１１４Ｂを通じて実際に取り込まれている画像情報による画像とを突合せて、それらの類似度を求める。そして、比較対象の画像同士の類似度が一番高くなる位置Ｐ１を特定する。
【００６４】
次に、画像突合せ部１１６は、特定した位置Ｐ１から仮想的な視点位置を、アウトカメラ１１４Ａとインカメラ１１４Ｂとが向いている方向に沿った方向（Ｂｋ１−Ｆｔ１方向上）に順次にずらすようにする。そして、３Ｄ空間メモリ１０５に記憶保持されている画像情報により形成される画像であって、当該仮想的な視点位置からアウトカメラ１１４Ａが捉えるであろう画像とインカメラ１１４Ｂが捉えるであろう画像とを順次に特定する。なお、この場合においても、地面から仮想的な視点位置までの高さは、携帯端末１を自動車５００に設置したときの地面から携帯端末１までの高さとする。
【００６５】
そして、当該仮想的な視点位置からアウトカメラ１１４Ａが捉えるであろう画像と、アウトカメラ１１４Ａを通じて実際に取り込まれている画像情報による画像とを突合せて、それらの類似度を求める。同様に、仮想的な視点位置からインカメラ１１４Ｂが捉えるであろう画像とインカメラ１１４Ｂを通じて実際に取り込まれている画像情報による画像とを突合せて、それらの類似度を求める。
【００６６】
この場合、最初に、Ｆｋ１方向と、Ｂｋ１方向とのそれぞれの方向に仮想的な視点位置をずらして画像の突合せを行い、より類似度が高くなる方向を特定した後に、その特定した方向に仮想的な視点位置をずらしていくなどの方法を用いることができる。そして、両方向の画像のそれぞれが一番類似する仮想的な視点位置を位置Ｐ２として特定する。
【００６７】
また、画像突合せ部１１６は、最初に特定した位置Ｐ１からずらすようにする仮想的な視点位置をＢｋ１−Ｆｔ１方向に対して直交する方向（左右方向）と重力方向（上下方向）とにある程度の幅を持たせてずらすようにする。これにより、仮想的な視点位置をある程度の範囲内で移動させるようにして画像の突合せ対象とする画像を特定できる。そして、Ｂｋ１−Ｆｔ１方向に沿う方向であって、比較対象の画像同士の類似度が高くなる方向に、最初に特定した位置Ｐ１から仮想的な視点位置をずらすようにして、３Ｄ空間メモリ１０５の画像情報により形成される画像であって、比較対象となる画像を順次に変更し、アウトカメラ１１４Ａ、インカメラ１１４Ｂが捉えている画像との突合せを繰り返す。
【００６８】
これにより、両方向の画像のそれぞれが一番類似する仮想的な視点位置である位置Ｐ２が特定できる。このようにして特定した位置Ｐ２が、自動車５００に設置されている携帯端末１の現在位置となる。このように、アウトカメラ１１４Ａとインカメラ１１４Ｂとのそれぞれが捉えている画像とのマッチング（両方向の画像のマッチング）を行うことにより、精度よく、迅速に携帯端末１の現在位置を特定できる。
【００６９】
画像合成部１１７は、画像突合せ部１１６により特定された携帯端末１の現在位置を基準として用いて、目的とする３次元空間中に自動車５００の画像を合成した画像情報を形成し、これを表示部１１０Ｄに供給する。これにより、図７を用いて説明したように、自動車５００の画像を含む３次元画像が表示部１１０Ｄに表示される。なお、画像合成部１１７は、記憶装置に記憶されている自車情報と３Ｄ空間メモリ１０５の３Ｄオブジェクトデータとを用いることにより、自動車５００の画像を含む駐車スペース３０１近傍の３次元空間を表現する画像情報を形成できる。
【００７０】
すなわち、携帯端末１の自動車５００における設置位置はルームミラー近傍の所定位置と決められており、また、自動車５００の大きさや形状などは車種情報により分かる。このため、携帯端末１の現在位置と、アウトカメラ１１４Ａとインカメラ１１４Ｂの向きが分かれば、３Ｄ空間メモリ１０５の画像情報により形成される３次元空間の画像中における自動車５００の位置も正確に特定できる。これにより、画像合成部１１７は、自動車５００が位置する実際の３次元空間に対応するように、３次元空間を表現した２次元画像を合成により形成できるのである。
【００７１】
なお、自動車５００の画像を形成するための画像情報は、上述もしたように、自車の形状を示す情報として、記憶装置１０３に予め記憶されているものとする。すなわち、自動車５００の自車情報や自動車５００の画像を形成するための画像情報は、例えば、所定のサーバーから予めダウンロードして、記憶装置１０３に記憶保持しておく。
【００７２】
そして、図８を用いて説明したように、携帯端末１の現在位置Ｐ２が特定できた後においては、制御部１０２、センサ部１０７、画像突合せ部１１６が機能し、いわゆる自動キャリブレーション処理を実行し、携帯端末１の現在位置を自動車５００の動きに追従するようにして特定できる。すなわち、アウトカメラ１１４Ａとインカメラ１１４Ｂの向きと、おおよその移動方向が分かれば、携帯端末１の現在位置はある程度予測できる。そして、アウトカメラ１１４Ａとインカメラ１１４Ｂの向きは、上述もしたようにセンサ部１０７において検知できる。また、移動方向は、センサ部１０７により加速度がかかっている方向が検出できるので、その検出結果に基づいて判別可能である。
【００７３】
画像突合せ部１１６は、センサ部１０７からの検出出力に基づく制御部１０２の制御の下、位置Ｐ２から仮想的な視点位置を自動車５００の移動方向に順次にずらすようにする。そして、画像突合せ部１１６は、上述したように、仮想的な視点位置において、アウトカメラ１１４Ａとインカメラ１１４Ｂとが捉えるであろう画像と、アウトカメラ１１４Ａとインカメラ１１４Ｂとのそれぞれが実際に捉えている画像との突合せを行って、携帯端末１の現在位置を正確に特定していく。このようにして、画像突合せ部１１６は、自動車５００の移動に伴って刻々と変化する携帯端末１の現在位置を画像突合せ処理に基づいて順次に特定していく。
【００７４】
そして、図８に示すように、実線で示した自動車５００が徐々にバックし、ハンドルを徐々に右にきって行くと、点線の自動車５００が示すように、自動車５００は、後部側から駐車スペース３０１に入っていく。この場合、アウトカメラ１１４Ａとインカメラ１１４Ｂとが捉える方向も、図８において矢印Ｆｔ２、Ｂｋ２が示すように徐々に変化して行くことになる。
【００７５】
一方、画像合成部１１７は、画像突合せ部１１６の画像突合せ処理により特定される携帯端末１の現在位置に応じて、駐車スペース３０１を含む３次元空間における自動車５００の位置を順次に変えた２次元画像を合成し、これを表示部１１０Ｄに表示する。この場合においても、アウトカメラ１１４Ａとインカメラ１１４Ｂとの向き、自動車５００の車種情報、３Ｄ空間メモリ１０５の画像情報が用いられ自動車５００の画像が合成された２次元画像を形成する画像情報が形成される。
【００７６】
このように、画像合成部１１７は、自動車５００の移動状況に応じて、当該３次元空間における自動車５００の位置を変化させて、実際の３次元空間における実際の自動車５００の位置に合致した２次元画像を合成により形成できる。そして、自動車５００の位置を変化させた２次元画像を表示部１１０Ｄに表示させることにより、現実の３次元空間における現実の自動車５００の位置を、合成された２次元画像によってユーザーに通知できる。
【００７７】
アシスト音声形成部１１８は、アウトカメラ１１４Ａとインカメラ１１４Ｂのそれぞれが捉えている画像中に存在する障害物と自動車５００との位置関係を把握する。上述したように、携帯端末１の現在位置は、画像突合せ部１１６により特定される。携帯端末１の自動車５００への設置位置は決まっており、また、自動車の大きさや形状は記憶装置１０３の自車情報により把握できる。アウトカメラ１１４Ａとインカメラ１１４Ｂのそれぞれ画角や焦点距離は、記憶装置１０３に記憶保持されているカメラ性能情報やカメラ部１１４の動作状態に応じて特定できる。
【００７８】
アシスト音声形成部１１８は、上述したように把握される情報とアウトカメラ１１４Ａとインカメラ１１４Ｂのそれぞれが捉えている画像に基づいて、自車である自動車５００の外縁と周囲の障害物との間の距離を把握する。この場合、３次元空間を構成する３Ｄオブジェクトデータにより形成される当該３次元空間において、自動車５００とその周囲の障害物との位置関係を把握することも可能である。
【００７９】
ここで、障害物は、アウトカメラ１１４Ａとインカメラ１１４Ｂのそれぞれが捉えている画像に含まれるポスト３０２、建物３０３、フェンス３０４、３０６、植木３０５などである。そして、アシスト音声形成部１１８は、自車の形状の外縁と障害物との距離に応じて、駐車時の運転をアシストするための音声メッセージを形成して出力する。
【００８０】
アシスト音声形成部１１８は、例えば、「自動車左後方が障害物に近づいています。」、「自動車左前方が障害物に近づいています。」などといったメッセージを形成し、放音できる。また、アシスト音声形成部１１８は、自動車５００と障害物等との距離関係と、車種情報の内の最小回転半径を示す情報から、「右へのハンドルの切りすぎです。」、「右にハンドルを切って下さい。」などの音声メッセージなどを形成して、放音できる。
【００８１】
なお、ここでは、自動車５００をバックで駐車スペース３０１に駐車する場合を例にしたため、最初の仮想的な視点位置Ｐは、道路４００の左端側の所定位置とした。しかし、これに限るものではない。例えば、駐車スペース３０１に駐車している自動車を出庫する場合には、最初の仮想的な視点位置Ｐは、駐車スペース３０１の左端側の所定位置とするなど、入庫時と出庫時とで、最初の仮想的な視点位置を変えることができる。また、携帯端末１のＧＰＳ部１０９などを通じて特定する携帯端末１の現在位置を、最初の仮想的な視点位置Ｐとするなど、車庫入れか車庫出しかなどのモードなどに応じて、最初の仮想的な視点位置Ｐは種々の位置とすることができる。この他にも、画像の突合せを利用した携帯端末１の現在位置の種々の特定方法を用いることも可能である。
【００８２】
［携帯端末１における駐車アシスト機能の実行時の処理］
次に、この実施の形態の携帯端末１の駐車アシスト機能の実行時の処理についてまとめる。図９、図１０は、携帯端末１において、駐車アシスト機能が実行されたときの処理を説明するためのフローチャートである。また、図１１は、駐車アシスト機能が実行された場合に用いられる表示画面の一例を説明するための図である。
【００８３】
この実施の形態の携帯端末１においては、表示部１１０Ｄに表示される所定のメニューから、駐車アシスト機能に対応する項目を、例えばタッチパネル１１１を通じて選択すると、制御部１０２は、図９、図１０に示す処理を実行する。制御部１０２は、まず、駐車アシスト機能についての初期画面を表示し（ステップＳ１０１）、モードや車種の選択入力を受け付ける（ステップＳ１０２）。
【００８４】
ステップＳ１０１では、図１１（Ａ）に示すように、入庫（車庫入れ）か出庫（車庫出し）かの区別と、自動車の向き（頭から（前から））か（バックで（後ろから））かの区別と、車種（自分が運転している自動車）の区別との選択ができるようになっている。図１１（Ａ）に示した例においては、ステップＳ１０２において、モードとして、入庫（車庫入れ）が選択され、向きとして、バックで（後ろから）が選択され、車種として、軽自動車Ａが選択された場合を示している。
【００８５】
なお、車種については、図１１（Ａ）では、軽自動車Ａ、ミニバンＢ、セダンＣのように示しているが、実際にはユーザーが運転する自動車の車名が表示される。このように、複数の自動車の選択を可能にするのは、ユーザーが複数台の自動車を所有していたり、家族で複数台の自動車を所有していたりするなどの場合には、１人のユーザーが異なる車種の自動車を運転する可能性があるためである。
【００８６】
そして、複数の自動車を運転する可能性のあるユーザーは、予め所定のサイトにアクセスし、自分が運転する可能性のある複数の自動車のそれぞれに関する情報（自車情報）をダウンロードしておく。これにより、図１１（Ａ）に示したように、複数の車種の中から、実際にユーザーが運転している自動車を選択できるようになる。なお、ユーザーが運転する自動車が１台だけである場合には、当該自動車に関する情報だけを登録しておくことにとり、車種の選択をすることなく当該自動車が選択される。
【００８７】
また、会社で使用する自動車や友人や知人の所有する自動車、さらにはレンタカーなどを運転する可能性がある場合には、その運転する可能性のある複数の自動車に関する情報をダウンロードしておくこともできる。このように、運転する可能性のある自動車が多数ある場合には、例えば、プルダウンメニューやプルアップメニューなどのインターフェースを介して、実際に運転する自動車の選択ができる。
【００８８】
ステップＳ１０２の処理の後、制御部１０２は、必要な項目の全てが選択された後、図１１（Ａ）の初期画面の右下端部に設けられている「ＯＫ」ボタンが操作されたか否かを判別する（ステップＳ１０３）。ステップＳ１０３の判別処理において、「ＯＫ」ボタンは操作されていないと判別したときには、図１１（Ａ）の初期画面の右下端部に設けられている「終了」ボタンが操作されたか否かを判別する（ステップＳ１０４）。
【００８９】
ステップＳ１０４の判別処理において、「終了」ボタンは操作されていないと判別したときには、ステップＳ１０２からの処理を繰り返し、モードや車種の選択の受け付け処理は継続される。また、ステップＳ１０４の判別処理において、「終了」ボタンが操作されたと判別したときには、図１１（Ａ）に示した初期画面を消去し、駐車アシスト機能が実行される前の表示画面に戻すなどの所定の終了処理を行う（ステップＳ１０５）。そして、この図９、図１０に示す駐車アシスト処理が終了する。
【００９０】
一方、ステップＳ１０３の判別処理において、必要な項目の全てが選択された後、「ＯＫ」ボタンが操作されたと判別した場合には、制御部１０２は、ＧＰＳ部１０９などを通じて自機の現在位置を取得する（ステップＳ１０６）。この場合、制御部１０２は、ＧＰＳ部１０９だけでなく、無線ＬＡＮ部１０８を通じて取得する近隣のアクセスポイントのＳＳＩＤや受信強度を利用した現在位置の問い合わせやディファレンシャルＧＰＳ機能が用いられ、精度のよい現在位置を取得する。
【００９１】
制御部１０２は、例えば、「現在位置、３Ｄ画像検証中」というメッセージを表示部１１０Ｄに表示する（ステップＳ１０７）。そして、制御部１０２は、ステップＳ１０６で取得した現在位置に基づいて、３Ｄ空間メモリ１０５に格納されているファイルのメタ情報を確認し、当該現在位置の近隣を位置情報として有する画像情報ファイルが存在するか否かを判別する（ステップＳ１０８）。
【００９２】
具体的には、ステップＳ１０６で取得した現在位置を中心として、例えば、半径１０ｍの範囲内の位置情報を有する画像情報ファイルが３Ｄ空間メモリ１０５に存在するか否かを判別する。なお、ここでは一例として半径１０ｍとしたが、取得される現在位置の精度に応じて、半径５ｍの範囲としたり、半径３０ｍの範囲としたりするなどのことも可能である。
【００９３】
ステップＳ１０８の判別処理において、現在位置の近隣の位置情報を有する画像情報ファイルが３Ｄ空間メモリ１０５に存在しないと判別したとする。この場合、駐車アシスト機能を実行する場合に必須となる現在位置の近傍の３次元空間を表現する画像情報が用意されていない可能性があるため、必要な画像情報が存在しない可能性がある旨のメッセージを出力する（ステップＳ１０９）。
【００９４】
ステップＳ１０９では、例えば、図１１（Ｂ）に示すように、「＊駐車アシスト＊」というタイトルや「現在位置、３Ｄ画像検証中」という処理内容を示す表示がなされる表示画面に、必要な画像情報が３Ｄ空間メモリ１０５に存在しない可能性がある旨のメッセージを表示する。当該メッセージが表示された表示画面には、タッチパネル１１１を通じて操作可能な「終了」ボタンも設けられている。
【００９５】
制御部１０２は、タッチパネル１１１を通じて「終了」ボタンに対する操作入力を受け付けるようにし（ステップＳ１１０）、終了ボタンが操作されたか否かを判別する（ステップＳ１１１）。ステップＳ１１１の判別処理において、「終了」ボタンが操作されたと判別したときには、図１１（Ｂ）に示した初期画面を消去し、駐車アシスト機能が実行される前の画面表示に戻すなどの所定の終了処理を実行する（ステップＳ１１２）。この後、図９、図１０に示す処理が終了する。
【００９６】
一方、ステップＳ１０８の判別処理において、現在位置の近隣の位置情報を有する画像情報ファイルが３Ｄ空間メモリ１０５に存在すると判別したとする。この場合、制御部１０２は、図１１（Ｃ）に示すように、駐車アシストを実施する旨、及び、携帯端末１をルームミラー近傍に設置（装着）すること促すメッセージを表示する（ステップＳ１１３）。
【００９７】
この後、制御部１０２は、センサ部１０７の方位センサからの検出出力に基づいて、アウトカメラ１１４Ａ、インカメラ１１４Ｂの向きを検知（特定）し（ステップＳ１１４）、アウトカメラ１１４Ａとインカメラ１１４Ｂとを起動させる（ステップＳ１１５）。これにより、アウトカメラ１１４Ａとインカメラ１１４Ｂとのそれぞれが捉えた画像が、所定のタイミング毎に実画像メモリ１０６に記録される。
【００９８】
この後、制御部１０２は、図１０の処理に進み、画像突合せ部１１６を制御し、上述したように、画像の突合せ処理を実行し、自車に設置された携帯端末１の現在位置を順次に特定する処理を開始する（ステップＳ１１６）。また、制御部１０２は、画像合成部１１７を制御し、上述したように、画像突合せ部１１６が特定した携帯端末１の現在位置に基づき、３次元空間における実際の自車位置に対応して自車の画像を合成した３次元画像を形成し、これを表示部１１０Ｄに表示する処理を開始する（ステップＳ１１７）。
【００９９】
また、制御部１０２は、アシスト音声形成部１１８を制御し、上述したように、音声ガイダンス情報を形成し、これを音声出力部１１２に供給して、音声ガイダンスを放音する処理を開始する（ステップＳ１１８）。このステップＳ１１８において、アシスト音声形成部１１８は、アウトカメラ１１４Ａとインカメラ１１４Ｂのそれぞれが捉えている画像中に存在する障害物と自車との位置関係を把握し、これに応じた音声メッセージを形成して、音声出力部１１２に供給する。
【０１００】
この後、制御部１０２は、ユーザーからの操作入力を受け付け（ステップＳ１１９）、所定の終了操作を受け付けたか否かを判別する（ステップＳ１２０）。ステップＳ１１９においては、図１１（Ｃ）に示したように、表示部１１０Ｄに表示された「終了」ボタンに対する操作入力や操作部１０４に設けられている操作キーの内、所定の終了キーに対する操作入力が受け付けられる。
【０１０１】
ステップＳ１２０の判別処理において、所定の終了操作を受け付けたと判別したときには、所定の終了処理を実行し（ステップＳ１２１）、図９、図１０に示す処理を終了する。なお、所定の終了処理は、画像突合せ部１１６、画像合成部１１７、アシスト音声形成部１１８での処理を終了させたり、現在表示中の駐車アシスト機能に関する表示画面を消去して、駐車アシスト機能の実行前の表示画面に戻したりするなどの処理である。
【０１０２】
また、ステップＳ１２０の判別処理において、所定の終了操作を受け付けていないと判別したときには、画像突合せ部１１６、画像合成部１１７、アシスト音声形成部１１８での処理を継続させ、ステップＳ１１９からの処理を繰り返す。このようにして、携帯端末１においてアシスト機能を実行することにより、所定の駐車スペースに自車を駐車させる場合の運転者をアシスト（支援）できる。
【０１０３】
なお、ここでは、図１１（Ａ）に示したように、ステップＳ１０２において、モードとして、「入庫（車庫入れ）」が選択され、向きとして、「バックで（後ろから）」が選択され、車種として、「軽自動車Ａ」が選択された場合を例にして説明した。車庫入れ、車庫出しのいずれが選択されても、また、自動車の向きとして、頭から、バックでのいずれが選択された場合であっても、また、どのような車種が選択されても、基本的な処理内容は変わらない。
【０１０４】
すなわち、「車庫入れ」、「車庫出し」の選択は、画像マッチングを行う場合の最初の仮想的な視点位置を特定するための情報となる。また、自動車の向きである「頭から」、「バックで」の選択は、カメラの向きを特定する補助情報となる。また、車種の選択は、用いる自車情報の特定のために用いられる。そして、「車庫入れ」、「車庫出し」のいずれであっても、また、自動車の向きが「頭から」、「バックで」のいずれであっても、また、どのような自動車であっても、上述したように、簡単かつ適切に駐車時のアシストを行うことができる。
【０１０５】
［実施の形態の効果］
上述した実施の形態の携帯端末１は、いつも駐車する自宅の駐車場や職場の駐車場などについて、その場所の３次元空間を表現する画像情報を予め作成して登録しておけば、駐車アシスト機能を実行し、駐車時の運転をアシストできる。この場合、携帯端末１は、実際の３次元空間における自車位置に対応して、自車の画像を合成した２次元画像やアシスト音声により、駐車時の運転をアシストできる。
【０１０６】
これにより、運転者は、携帯端末１の表示部１１０Ｄに表示される２次元画像とアシスト音声と実際の目視とによって、確実かつ安全に自動車を目的とする駐車スペースに駐車させることができる。
【０１０７】
そして、アシスト機能は携帯端末１の機能として実現できる。このため、駐車アシスト機能を実現するために、複数の専用カメラや複数の専用カメラを通じて撮影した画像を処理する専用の画像処理装置等を自車に常設する必要もない。従って、自動車の運転に慣れれば必要なくなる駐車アシスト機能のために、多くのコストが掛かってしまうという問題も生じさせない。
【０１０８】
また、アウトカメラ１１４Ａとインカメラ１１４Ｂが捉えている２つの画像を用いた画像の突合せ（画像マッチング）により、精度よく、かつ、迅速に、所定の３次元空間における携帯端末１の現在位置を特定し、駐車時のアシストを行うことができる。
【０１０９】
また、近年においては、販売台数を伸ばしている軽自動車などのいわゆる低価格車においても、携帯端末を利用した駐車アシスト機能であるため手軽に利用できる。また、ユーザーは、自分が運転する自動車の自車情報（自動車の全長、全幅、全高、形状、タイヤ位置、最小回転半径などの種々の情報）を携帯端末１にダウンロードしておけばよい。このため、自動車の大きさや車種に関係なく、この駐車アシスト機能を使用できる。
【０１１０】
［変形例など］
なお、上述した実施の形態では、例えば、自宅の駐車場や職場の駐車場など、必ず自動車を駐車させる必要のある駐車場とその近隣の３次元空間を表現する画像情報を予め形成して記憶しておくものとして説明した。しかし、これに限るものではない。例えば、自動車で初めて訪れた場所に駐車する場合に、当該場所の駐車スペースが狭かったり、周囲に障害物が多かったりする場合もよくある。
【０１１１】
このような場合には、自動車を安全な場所に一時的に止め、携帯端末１を用いて、当該駐車スペースを含む周囲の３次元空間の画像を撮影して、３次元空間を形成する画像情報を形成して、３Ｄ空間メモリ１０５に記憶保持する。このように、初めて使用する駐車場の場合には、その場で３次元空間を撮影して３次元空間を表現する画像情報を形成する。この後は、その画像情報を利用して、携帯端末１が実現する駐車アシスト機能を利用できる。そして、不要になった３次元空間を表現する画像情報は、削除してしまえば、３Ｄ空間メモリ１０５の記憶容量を圧迫することもない。
【０１１２】
また、例えば、１台分ずつの駐車スペースに自動車を止め、リフトにより自動車を上層階に移動させる立体駐車場を備えた店舗などの施設の場合には、当該駐車スペースを含む周囲の３次元空間を表現する画像情報を施設側で用意し、これをダウンロード可能にしておく。そして、自動車の運転に慣れていない人が、当該施設を利用する場合には、予め当該画像情報を自分の携帯端末にダウンロードしておく。これにより、当該施設を訪れたユーザーは、自分の携帯端末において駐車アシスト機能を実行させ、当該立体駐車場に自車を駐車する場合にアシストを受けることができる。すなわち、３次元空間を表現する画像情報は、携帯端末１のユーザーが作成したものに限られず、他者によって作成されたものを利用することも可能である。
【０１１３】
なお、上述した実施の形態では、携帯端末１のセンサ部１０７の検出出力をも利用した。センサ部１０７の検出出力をも利用することにより、携帯端末１の現在位置を迅速かつ正確に特定し、駐車時のアシスト（支援）をより適切に行うことができる。しかし、これに限るものではない。
【０１１４】
３Ｄ空間メモリ１０５の３Ｄオブジェクトデータに基づいて形成される画像とアウトカメラ１１４Ａとインカメラ１１４Ｂが捉えている画像との突合せ処理だけでも、携帯端末１の現在位置を正確に特定できる。この場合、アウトカメラ１１４Ａとインカメラ１１４Ｂとが実際に捉えている画像と、３Ｄ空間メモリ１０５の３Ｄオブジェクトデータに基づいて形成される画像との突合せ処理による携帯端末１の現在位置の検出に若干の時間が必要になる可能性がある。しかし、駐車アシスト機能の起動時において、例えば、アウトカメラ１１４Ａの向きだけをユーザーが入力すれば、インカメラの向きはその反対方向となるので、３次元画像の比較対象となる画像領域も特定し易くなり、画像の突合せによる携帯端末１の現在位置の検出も迅速に行うことができる。
【０１１５】
また、センサ部１０７の検出出力の内、回転方向を示す検出出力をも利用できる。そして、携帯端末１の向きの変化（回転方向の変化）から自車の移動方向が変えられた場合をも検知して、周囲の障害物の状況から、ハンドルを回転させすぎたり、逆にハンドルの回転が少なすぎたりする場合を判別して、これを報知することもできる。この場合には、自車情報に含まれる最小回転半径や自車形状におけるタイヤの位置を考慮することにより、適切なメッセージを形成して出力できる。
【０１１６】
また、上述した実施の形態では、２次元画像（自動車の画像を合成した合成画像）とアシスト音声との両方を用いるようにしたが、これに限るものではない。いずれか一方だけでもよい。また、上述したように、音声は用いずに、２次元画像に必要なアシスト画像をさらに合成して、駐車時のアシストを行うようにしてもよい。
【０１１７】
すなわち、図７に示した自車の画像を合成した２次元画像の表示例は一例であり、種々の変形も可能である。例えば、２次元画像に含まれる障害物の輪郭を強調して表示することもできる。また、アシスト音声形成部１１８での解析結果に基づいて、自車と障害物との間の距離を示す情報を表示することもできる。この場合、アシスト音声形成部１１８での解析結果に基づいて、制御部１０２が、２次元画像に合成すべき画像情報を形成し、当該画像情報とこれを合成すべき２次元画像上の位置を指示する情報とを画像合成部１１７に提供する。
【０１１８】
例えば、自動車の右後部が障害物に対して所定距離よりも接近していることがアシスト音声形成部１１８で検知されたとする。この場合、制御部１０２は、２次元画像に合成する自車の画像の右後部を強調して表示する指示と、必要な場合には合成すべき画像情報を画像合成部１１７に供給する。この場合、画像合成部１１７は、合成する自車の画像について、右後部を光らせたり、あるいは、右後部に強調する画像を付加したりした画像を形成し、これを３Ｄ空間メモリ１０５の３Ｄオブジェクトデータに基づいて形成される２次元画像に合成する。
【０１１９】
これにより、自車の右後部が障害物に接近していることを、表示部１１０Ｄに表示される２次元画像によって、ユーザーは視覚を通じて直感的に認識できる。また、アシスト音声形成部１１８や制御部１０２や画像合成部１１７の機能により、自動車の移動経路を示す矢印情報等を表示して、移動経路を指示することも可能である。
【０１２０】
このように、アシスト音声形成部１１８と制御部１０２と画像合成部１１７とが協働し、アシスト画像形成部としての機能を実現することもできる。もちろん、別個にアシスト画像形成部を設けることも可能である。また、アシスト情報形成部を設け、ここで、アシスト音声情報とアシスト画像情報とを形成し、アシスト音声情報は音声出力部１１２に供給し、アシスト画像情報は画像合成部１１７に供給する構成とすることもできる。
【０１２１】
なお、上述した実施の形態では、携帯端末１の表示部１１０Ｄに表示する画像は、２次元画像であるものとして説明したが、これに限るものではない。平面上において立体感のある画像として表現される３次元画像を表示するように構成することも可能である。
【０１２２】
［その他］
上述した実施の形態の説明からも分かるように、簡易型駐車アシスト装置の表示手段、第１のカメラ手段、第２のカメラ手段の機能は、携帯端末１の表示部１１０Ｄ、アウトカメラ１１４Ａ、インカメラ１１４Ｂが実現している。また、簡易型駐車アシスト装置の３次元情報記憶手段、自車情報記憶手段の機能は、携帯端末１の３Ｄ空間メモリ１０５、記憶装置１０３が実現している。また、簡易型駐車アシスト装置の画像突合せ手段、画像合成手段、アシスト形成手段の機能は、携帯端末１の画像突合せ部１１６、画像合成部１１７、アシスト音声形成部１１８が実現している。また、簡易型駐車アシスト装置のセンサ手段の機能は、携帯端末１のセンサ部１０７が実現している。
【０１２３】
また、図９、図１０に示したフローチャートの処理が、この発明による駐車アシスト方法の一実施の形態に対応している。また、図９、図１０に示したフローチャートの処理を実行するプログラムが、この発明による駐車アシストプログラムの一実施の形態に対応している。
【符号の説明】
【０１２４】
１…携帯端末、１０１…無線通信部、１０１Ａ…送受信アンテナ、１０２…制御部、１０３…記憶装置、１０４…操作部、１０５…３Ｄ空間メモリ、１０６…実画像メモリ、１０７…センサ部、１０８…無線ＬＡＮ部、１０８Ａ…無線ＬＡＮアンテナ、１０９…ＧＰＳ部、１０９Ａ…ＧＰＳアンテナ、１１０Ｄ…表示部、１１０Ｐ…タッチパッド、１１１…タッチパネル、１１２…音声出力部、１１３…スピーカ、１１４…カメラ部、１１４Ａ…アウトカメラ、１１４Ｂ…インカメラ、１１５…３Ｄ画像形成部、１１６…画像突合せ部、１１７…画像合成部、１１８…アシスト音声形成部
【図１】
2015116899.tif 000003
【図２】
2015116899.tif 000004
【図３】
2015116899.tif 000005
【図４】
2015116899.tif 000006
【図５】
2015116899.tif 000007
【図６】
2015116899.tif 000008
【図７】
2015116899.tif 000009
【図８】
2015116899.tif 000010
【図９】
2015116899.tif 000011
【図１０】
2015116899.tif 000012
【図１１】
2015116899.tif 000013