(57)【要約】【課題】  運転者あるいは人に目的物、ランドマークを瞬時に認識させ、走行予定経路を的確に運転者に伝えることができ、特に地図が読めない運転者であっても安心してナビゲーションにしたがって運転できる位置表示システムを提供すること。【解決手段】  地図データベースと、走行開始位置から目的地に至る走行予定経路情報を地図データベースから取得する手段と、移動体自身の現在位置を検出する手段と、順次検出される現在位置情報に基づき移動体自身の進行方向を検出する手段と、走行中の移動体自身の前方視界の画像を撮影するカメラと、走行予定経路情報のうち移動体自身の現在位置から前方所定区間の情報を平面座標系の走行予定経路鳥瞰画像に変換する手段と、変換された平面座標系の走行予定経路鳥瞰画像を進行方向に応じて補正し、カメラにより撮影した画像とを合成する手段と、合成された画像を表示する手段とを備える。【選択図】        図１
2005233712.tif 000002
【特許請求の範囲】
【請求項１】
地図データを格納した地図データベースと、
走行開始位置から目的地に至る２次元または３次元座標データで構成された走行予定経路情報を前記地図データベースから取得する第１の手段と、
移動体自身の現在位置を検出する第２の手段と、
該第２の手段によって順次検出される現在位置情報に基づき移動体自身の進行方向を検出する第３の手段と、
走行中の移動体自身の前方視界の画像を撮影するカメラと、
前記走行予定経路情報のうち移動体自身の現在位置から前方所定区間の情報を平面座標系の走行予定経路鳥瞰画像に変換する第４の手段と、
変換された平面座標系の走行予定経路鳥瞰画像を前記第３の手段が検出した進行方向に基づき補正し、前記カメラにより撮影した画像とを合成する第５の手段と、
合成された画像を表示する第６の手段とを備えることを特徴とする位置表示システム。
【請求項２】
走行予定経路の上り下りに応じた移動体自身の傾斜を検知する第７の手段と、該第７の手段によって検知した移動体自身の傾斜角度に基づき前記平面座標系の走行予定経路鳥瞰画像を補正する第８の手段をさらに備えることを特徴とする請求項１に記載の位置表示システム。
【請求項３】
前記第６の手段は、前記第５の手段によって合成された画像を移動体自身の操縦位置前面のガラス面に表示するものであることを特徴とする請求項１または２に記載の位置表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置表示システムに係わり、特に自動車、船舶、人などの移動体の前方視野の画像を撮影できるカメラを装備した位置表示システムに関する。
【背景技術】
【０００２】
従来、車両の運転者に走行経路情報や道路交通情報などを提供する車載用ナビゲーションシステムでは、情報を音声やディスプレイ装置に表示する画像により搭乗者に伝えていた。ディスプレイ装置に表示する画像には、通常、地図が表示される。しかしながら、運転中に地図を瞬時に読み取り、運転するには限界がある。このため、より分かりやすい表示が求められていた。
【０００３】
地図情報を平面的な表示に代えて３次元的鳥瞰図として表示する方法として、下記特許文献１に記載のものがある。この方法によれば、官公庁、駅、病院、図書館、コンビニエンスストアなど特定施設が、平面的記号ではなく、予め定められた立体的建物として表示される。これは、平面的な地図に比べ直感的に把握できる点で有用である。
また、下記特許文献２に記載のものは、建物等の形状や位置、階数などのデータを利用して、より実際の概観に近い表示にしている。表示に必要な情報量が多いために、メモリの利用に工夫が必要であり、高解像度テクスチャマッピング用画像と低解像度テクスチャマッピング用画像を用意して建物の壁面に貼り付けることをしている。これにより、精度は高くないものの、建物が高さを持って表示されるため、直感的に把握できるようになるという利点を有している。
下記特許文献３の方法によれば、自車の傾きを傾斜センサにより取得、利用するため、車両が坂道を走行中であってもより実際の景観に近い画像が得られている。
【特許文献１】特開２００３−２４１６５５号公報
【特許文献２】特開２００３−２９４４５７号公報
【特許文献３】特開２００３−３０２２３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の技術は、図書館、コンビニエンスストアのような特定施設が立体的に表示はされるが、システムで予め規定された形状であって実際の建物外観と異なる。このために、運転中に目的物、ランドマークとして瞬時に認識するには問題がある。
また、上記特許文献２に記載の技術によれば、システム規定の形状を利用せずに建物形状と階数情報により建物形状を立体的に作成、さらに外壁にテクスチャマップを貼り付けているので概観がより実際の建物に近くなっている。しかしながら、テクスチャマップは実際の建物外壁と同じとは限らない。建物の高さも推定である。むしろ高さ、外壁ともに違っている場合がほとんどである。このため、やはり運転中に目的物、ランドマークとして瞬時に認識するには問題がある。ここで、実際の建物外壁と同じテクスチャマップを使用することも可能ではあるが、全ての現存する建物についてこれを保存しておくことは、データベースの容量から考えて非現実的である。
上記特許文献３に記載の技術によれば、車両が坂道を走行中であっても、車両の運転席から見た視界に近い画像がディスプレイ装置に表示できる。しかしながら、表示される画像は、建物の色、高さなどの情報は擬似的な情報であって実際の建物外観とは違った形で描画されている。運転中に目的物、ランドマークとして瞬時に認識させるためには、やはり問題がある。
本発明の目的は、車両や船舶の運転者あるいは搭乗者、または歩行している人間に目的物、ランドマークを瞬時に認識させ、走行予定経路を的確に伝えることができ、特に地図が読めない運転者あるいは人であっても安心してナビゲーションにしたがって走行できる位置表示システムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は、地図データを格納した地図データベースと、
走行開始位置から目的地に至る２次元または３次元座標データで構成された走行予定経路情報を前記地図データベースから取得する第１の手段と、移動体自身の現在位置を検出する第２の手段と、該第２の手段によって順次検出される現在位置情報に基づき移動体自身の進行方向を検出する第３の手段と、走行中の移動体自身の前方視界の画像を撮影するカメラと、前記走行予定経路情報のうち移動体自身の現在位置から前方所定区間の情報を平面座標系の走行予定経路鳥瞰画像に変換する第４の手段と、変換された平面座標系の走行予定経路鳥瞰画像を前記第３の手段が検出した進行方向に基づき補正し、前記カメラにより撮影した画像とを合成する第５の手段と、合成された画像を表示する第６の手段とを備えることを特徴とする。
また、走行予定経路の上り下りに応じた移動体自身の傾斜を検知する第７の手段と、該第７の手段によって検知した移動体自身の傾斜角度に基づき前記平面座標系の走行予定経路鳥瞰画像を補正する第８の手段をさらに備えることを特徴とする。
また、前記第６の手段は、前記第５の手段によって合成された画像を移動体自身の操縦位置前面のガラス面に表示するものであることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、例えば自動車によって目的地に向かって走行する場合、表示される画像は、平面座標系に変換した走行予定経路の現在位置の鳥瞰画像に対し、車載のカメラで撮影した現在位置の前方視界の画像を重ね合わせたものであるため、運転席からみえる建物等と画面に表示される画面上の建物等との比較が不要となって、運転席から見える建物と道路との関係を的確に把握することが可能になり、建物等を擬似的に描画した従来のシステムに比べ、走行位置を把握するのが容易になる。
また、自車の上り下りに応じた傾斜角度を検出し、その検出結果に応じて、走行予定経路の現在位置の鳥瞰画像の傾きを補正することにより、運転席から見える建物と道路との関係がさらに精密に整合されるので、建物と道路との関係をさらに的確に把握することが可能になる。
また、合成した画像を自車のフロントガラス面に投影表示することにより、運転者は前方から視線を外すことなく、走行位置を把握することが可能になる。
また、建物等の３次元鳥瞰図を作成する必要がなくなるため、建物の描画に際して高解像度用テクスチャマッピング、低解像度用テクスチャマッピングをそれぞれ用意するといった技術も不要となるという効果がある。
また、地図が読めない運転者または搭乗者であっても、画面の指示に従うだけで確実に目的地に達することができる、という効果がある。
【発明を実施するための最良の形態】
【０００７】
以下、本発明を実施する場合の一形態を図面を参照して具体的に説明する。
図１は、本発明を車載用の位置表示システムに適用した場合の実施の一形態を示すシステム構成図である。
図１に示す車載用の位置表示システムは、目的地等情報入力部１と、走行予定経路作成部２と、地図データベース３と、自車位置検出手段としてのＧＰＳ受信機４と、自車の傾斜を検知し、傾斜角度を測る傾斜センサ５と、車両走行中の視界を撮影するカメラ６と、走行予定経路とカメラ６により撮影した画像とを重ね合わせた合成画像を作成する画像合成部７とからなっている。
情報入力部１から入力する目的地などの情報は、目的地を名称や電話番号などから検索して指定させてもよいし、地図を画面上に表示させ、そこでポインタデバイス等により入力してもよい。入力された目的地、走行開始位置地点等の情報は、３次元の座標として走行予定経路作成部２に渡される。
走行予定経路作成部２は、情報入力部１により入力された目的地および自車の走行開始地点の情報に基づき、走行開始地点からスタートし、入力された目的地まで到達する最適な経路を地図データベース３から探索する。ここで得られる走行予定経路情報は、好ましくは３次元の折れ線データである。走行予定経路情報の座標系は、緯度・経度のような測地座標系、または測量法に定められる平面直角座標系であってもよいし、本発明のシステムで利用する地図データベースが独自の座標系であるならば、その座標系であってもよい。
地図データベース３は、道路の地図情報を保持している。車両が坂道を走行する場合、あるいは坂のある山間部などを走行する場合の表示誤差を最小に抑えるためには、地図データベース３は３次元の座標データを持つ道路地図データベースであることが好ましい。
【０００８】
画像合成部７は、走行予定経路作成部２が取得した走行予定経路情報のうち自車の現在位置から前方所定区間の情報を平面座標系の走行予定経路鳥瞰画像に変換し、この変換画像を自車の進行方向と傾斜角度に応じて補正し、その補正画像に対しカメラ６により撮影した画像を重ね合わせた画像を作成することを目的とするものである。
カメラ４は静止画用のカメラでもよいが、好ましくは動画を撮影できるビデオカメラである。静止画用のカメラである場合には、一定の間隔で画像を再作成することで、表示される情報を更新することが好ましい。画像の合成にあたっては、カメラ６により撮影された画像を背景画像とし、走行予定経路作成部２が取得した走行予定経路情報（３次元折れ線データ）を平面座標系の走行予定経路鳥瞰画像に変換したものと合成し、フロントガラス面などに投影表示させる。
３次元座標データで構成される走行予定経路情報を平面座標系の走行予定経路鳥瞰画像へ変換するに際しては、カメラ６の光学的属性と傾斜センサ５により得られる自車の傾斜角を用い、カメラ６により撮影される画像と座標系が重なるように変換して投影を行う。
画像合成部７により得られた画像は、表示装置８に送られ、運転者もしくは同乗者に走行予定経路を提示する。
表示装置８は、ブラウン管によるディスプレイ、液晶ディスプレイなどの表示装置であってもよいが、フロントガラスに投影する形として、実際に運転席から見える視野に近づけ、運転者が視野を前方から外すことなく現在の走行位置を確認できるようにするのが望ましい。
【０００９】
図２は、走行予定経路を表示する際の処理手順の詳細を示したフローチャートである。
ここで、示す処理は情報入力部１と走行予定経路作成部２および画像合成部７で行われる処理をあわせて記載したものである。
まず、ステップ２０１によりカメラ６の属性を取得する。ここで言う属性とは、カメラ６のＸ、Ｙ、Ｚ軸の向きを表す単位ベクトル（Ｘ、Ｙ、Ｚ）、カメラ６の位置、焦点距離などである。これらの情報により、走行予定経路作成部２で取得した走行予定経路情報（３次元折れ線データ）を、平面座標系の鳥瞰画像に投影するための演算が可能となる。
次に、ステップ２０２により、走行開始地点を変数Ｓに設定する。走行開始地点は、ＧＰＳ受信機４により取得する。
次に、ステップ２０３により目的地をユーザに情報入力部１から入力させて取得する。目的地などの情報は、目的地を名称や電話番号などから検索して指定させてもよいし、地図を画面上に表示させるなどし、そこでポインタデバイス等により入力してもよい。目的地点はステップ２０４で変数Ｅに設定される。
ステップ２０５では、地点Ｓから地点Ｅまでの走行予定経路情報を取得する。走行予定経路情報は走行予定経路作成部２が地図データベース３から取得する。結果は２次元、もしくは３次元の折れ線データとして取得する。車両が坂道を走行する場合、あるいは坂のある山間部などを走行する場合の表示誤差を最小に抑えるために、ここで得られる算出結果は３次元の座標データによる折れ線データであることが好ましい。
次に、ステップ２０６でＧＰＳ受信機４から自車位置の取得を行う。車が実際に走行している場合には、自車位置は前回の位置とは異なっているはずである。
ステップ２０７では、地点Ｓに自車位置を上書きしている。こうすることで、車が走行予定の経路を外れた場合でも走行予定経路の見直しができるようになる。
【００１０】
ステップ２０８では、走行予定の経路上を走行しているかどうかを判定している。判定の方法は、走行予定経路を示す３次元折れ線上に、地点Ｓがあるかどうかを計算すればよい。走行予定経路上を問題なく走行している場合は、走行予定経路の再算出は不要となる。この場合はそのままステップ２０９に進む。もしも、走行予定経路から外れていた場合には、走行予定経路の再算出が必要となる。経路は新しく設定した地点Ｓから地点Ｅまでの経路である。
ステップ２０９では、車両の傾斜角度を傾斜センサ５から取得している。傾斜角度は、次のステップで走行予定経路の情報を平面座標系の鳥瞰画像に投影変換する際にパラメタとして必要となる。
【００１１】
ステップ２１０では、走行予定経路を表す３次元折れ線のデータを平面座標系の鳥瞰画像へ投影変換する。投影変換にあたっては、まず、前回から今回までの自車位置の差分ベクトルから、自車の進行方向を求める。
次に、カメラ４の属性である焦点距離を用い、走行予定経路を表す３次元折れ線データを平面座標系の走行予定経路鳥瞰画像へ投影変換する。投影変換の方法としては、図学や透視学で知られる、変換行列による計算が利用できる。行列変換としては、例えば次の参考文献に開示された方法が利用できる。
参考文献
http://www.ke.ics.saitama-u.ac.jp/kondo/Geomap/CADCGHTML/Chap5/Chap504.html
この投影変換に際しては、自車の進行方向とステップ２０９で検出した傾斜角度をパラメータとして用い、３次元折れ線データを平面座標系の走行予定経路鳥瞰画像へ投影変換した画像がカメラ座標系に整合するように補正し、投影変換した画像がカメラ４で撮影している画像に見えるように補正する。すなわち、上記参考文献ではユーザは水平な面に立っており、位置ベクトルｄの方向を向いてカメラを構えているという前提になっているので、車両にカメラを搭載した場合、自車の進行方向と傾斜角度に応じて投影変換した画像を補正する必要がある。
この補正によって、投影変換した画像はカメラ４で撮影している画像に見えるようになる。なお、傾斜角度による補正は、傾斜角度によって表示画像の見え方に誤差が生じるので、この誤差を補正するものであるから、誤差を無視する簡易な構成を採用する場合には不要である。
ステップ２１１では、表示装置８へカメラ６で撮影した画像を出力する。
ステップ２１２では、ステップ２１１で表示したカメラ撮影画像の上に、ステップ２１０で走行予定経路を平面座標系の走行予定経路鳥瞰画像に投影変換した結果を重ねて描画する。
表示に際しては、特定の色を付けたり、線の幅や種類を変更したりしてもよい。また、道路は面であるので、面として塗りつぶしを行ってもよい。背景となるカメラ６で撮影した画像は、運転者が認識するために非常に重要な意味を持っているため、好ましくは、半透明の折れ線、もしくはハッチングされた面とし、背景が透けて見える表示がよい。また、必要に応じて進行方向を示す矢印などの符号を付与してもよい。
ステップ２１３では、地点Ｓと地点Ｅが同じであるか、判定している。これは車両が目的地に達したかどうかを判定するものである。目的地に達している場合には、ナビゲーションは終了となる。達していない場合はステップ２０６に戻り、自車位置の取得から処理を繰り返すことになる。
以上により、走行予定経路情報の表示を行う処理を説明したが、上記は目的地までのナビゲーションを行う場合の処理である。実際に、目的地まで１つまたは複数の経由地を経由して最終目的地まで向かう場合、図２に示した目的地までの処理を各経由地までに代え、処理を繰り返すことで、１つまたは複数の経由地を経由して最終目的地まで向かうナビゲーションを同様に実現できる。
【００１２】
次に、図３を用いて、本発明の一実施の形態の車載用表示装置における表示装置８で表示される画像について説明する。
本発明で表示される画像は、カメラ６により撮影された進行方向前方の画像を利用しているため、運転者が実際に運転席から見ている視野に近い。このため、車両のダッシュボードなどにナビゲーション装置を組み込む方法も適用できるが、フロントガラスに直接投影する方法がより好ましい。
図３は、フロントガラスに本発明による表示装置８を組み込んだ例である。３０１はフロントガラス、３０２は本発明による表示装置７の表示部、３０３はハンドルである。
図４は、走行予定経路情報として地図データベース３から取得されるデータを説明する図である。
走行予定経路情報は、データヘッダ部分ＨＥＡＤ、データ点数ｎ、走行予定経路データＤＡＴＡから成る。ＤＡＴＡは、ｎ点の折線座標の集まりである。ＤＡＴＡは、第１座標（Ｘ０、Ｙ０、Ｚ０）、第２座標（Ｘ１、Ｙ１、Ｚ１）の順に並んでおり、最終の第ｎ座標（Ｘｎ−１、Ｙｎ−１、Ｚｎ−１）で終っている。
図５は、３次元折れ線データで構成される走行予定経路情報を平面座標系の走行予定経路鳥瞰画像に変換し、その変換画像とカメラ６で撮影した進行方向前方の画像とを合成する処理の概要を示したものであり、平面座標系に変換された鳥瞰画像は進行方向と車両の傾きに応じて補正される。そして、カメラ６の撮影画像と合成される。
【００１３】
なお、走行予定経路の鳥瞰画像を表示させるに際しては、走行速度に応じて表示する区間長を変えるようにした方が望ましい。すなわち、高速走行の場合には長い区間が見えるように表示するようにした方が望ましい。
また、走行速度が早い場合、カメラ４で撮影した動画像のフレームを間引いて合成するようにしても良い。これにより、画像合成処理に係る負荷が軽減する。
なお、上記実施例では、本発明を車載用に適用した例を説明したが、船舶についても適用することができる。船舶の場合には、走行経路は航行経路という表現に置き換わる。
また、地図データベースについては、３次元データでなく、２次元データでよい。
さらに、車両、船舶に代えて、人間が携帯して持ち歩く携帯電話機などの携帯端末にも適用することができる。すなわち、最近では、ＧＰＳ機能、カメラ機能を備えた携帯電話機があるので、この２つの機能を備えた携帯端末にも同様に適用することができる。
人間が持ち歩く携帯端末に適用した場合、走行経路は歩行経路という表現に置き換わる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態の車載用表示装置の概略構成を示すブロック図である。
【図２】走行予定経路情報の表示処理手順を示すフローチャートである。
【図３】表示装置に表示される画像の例を示す図である。
【図４】走行予定経路情報としてネットワーク経由で取得される情報の構成例を示すデータ構成図である。
【図５】３次元折れ線データで構成される走行予定経路情報を平面座標系の走行予定経路鳥瞰画像に変換し、その変換画像とカメラ４で撮影した進行方向前方の画像とを合成する処理の概要を示す図である。
【符号の説明】
【００１５】
１…目的地等の情報入力部
２…走行予定経路作成部
３…地図データベース
４…ＧＰＳ受信機
５…傾斜センサ
６…カメラ
７…画像合成部
８…表示装置
【図１】
2005233712.tif 000003
【図２】
2005233712.tif 000004
【図３】
2005233712.tif 000005
【図４】
2005233712.tif 000006
【図５】
2005233712.tif 000007