(57)【要約】【課題】  低コストで最新の走行予定経路を移動体の搭乗者に伝えることができる位置表示システムを提供すること。【解決手段】  走行開始位置から目的地に至る２次元または３次元座標データで構成された走行予定経路情報を該走行予定経路情報の記憶手段から取得する第１の手段と、移動体自身の現在位置を検出する第２の手段と、順次検出される現在位置情報に基づき移動体自身の進行方向を検出する第３の手段と、車両走行中の移動体自身の前方視界の画像を撮影するカメラと、前記走行予定経路情報のうち移動体自身の現在位置から前方所定区間の情報を平面座標系の走行予定経路鳥瞰画像に変換する第４の手段と、変換された平面座標系の走行予定経路鳥瞰画像を前記第３の手段が検出した進行方向に基づき補正し、前記カメラにより撮影した画像とを合成する第５の手段と、合成された画像を表示する第６の手段とを備えることを特徴とする。【選択図】      図１
2005233710.tif 000002
【特許請求の範囲】
【請求項１】
走行開始位置から目的地に至る２次元または３次元座標データで構成された走行予定経路情報を該走行予定経路情報の記憶手段から取得する第１の手段と、
移動体自身の現在位置を検出する第２の手段と、
該第２の手段によって順次検出される現在位置情報に基づき移動体自身の進行方向を検出する第３の手段と、
走行中の移動体自身の前方視界の画像を撮影するカメラと、
前記走行予定経路情報のうち移動体自身の現在位置から前方所定区間の情報を平面座標系の走行予定経路鳥瞰画像に変換する第４の手段と、
変換された平面座標系の走行予定経路鳥瞰画像を前記第３の手段が検出した進行方向に基づき補正し、前記カメラにより撮影した画像とを合成する第５の手段と、
合成された画像を表示する第６の手段とを備えることを特徴とする位置表示システム。
【請求項２】
走行予定経路の上り下りに応じた移動体自身の傾斜を検知する第７の手段と、該第７の手段によって検知した移動体自身の傾斜角度に基づき前記平面座標系の走行予定経路鳥瞰画像を補正する第８の手段をさらに備えることを特徴とする請求項１に記載の位置表示システム。
【請求項３】
前記第６の手段は、前記第５の手段によって合成された画像を移動体自身の操縦位置前面のガラス面に表示するものであることを特徴とする請求項１または２に記載の位置表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置表示システムに係わり、特に自動車、船舶、人などの移動体の前方視野の画像を撮影できるカメラを装備した位置表示システムに関する。
【背景技術】
【０００２】
従来、車両の運転者に走行予定経路情報や道路交通情報などを提供する車載用表示システムであるナビゲーションシステムでは、情報を音声やディスプレイ装置に表示する画像により搭乗者に伝えていた。ディスプレイ装置に表示する画像には、通常、地図が表示される。地図は日々更新されるものであるため、最新の地図が必要となる場合には、ＣＤ−ＲＯＭやＤＶＤ−Ｒなどの記憶媒体を最新のものに交換したり、インターネットに接続して最新の情報をディスクドライブなどにダウンロードしたりする方法がとられていた。
しかしながら、地図の情報量は小さいものではないため、インターネット経由でダウンロードするためには時間やコスト、レスポンスの問題があった。また、ＣＤやＤＶＤの作成にコストがかかるため、最終ユーザのコスト的な負担や更新時期の管理の問題があった。このため、より手軽に最新の情報を取得する方法が求められていた。
【０００３】
そこで、車載用ナビゲーションシステムが保持する地図データの更新日付と、サーバが保有する地図データの更新日付により自車の地図データの更新が必要であるかどうかを判断するシステムとして下記特許文献１に記載のものがある。
この特許文献１に開示された方法によれば、地図データの更新があったかどうかが問い合わせの時点で把握でき、必要に応じてダウンロードすることができる。
一方、車載用ナビゲーションシステムが保持する地図データを区画単位に管理し、それぞれ更新が必要であるかどうかをサーバに問い合わせるシステムとして下記特許文献２に記載のものがある。
この特許文献２に開示された方法によれば、地図データの更新があったかどうかが問い合わせの時点で区画単位に把握でき、必要に応じて区画単位データをダウンロードすることができる。
【特許文献１】特開２００３−１９４５４６号公報
【特許文献２】特開２００３−１３０６５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の技術は、問い合わせの時点で判明した更新が必要な地図データをすべて自車側のデータベースにダウンロードしなければ、データベースが最新とならない。場合によっては、更新が必要なデータが多いことも考えられ、通信のコストが嵩んでしまうという問題があった。
また、上記特許文献２に記載の技術によれば、区画単位に更新が必要な地図データを取捨できるものの、単位あたりの地図情報量がやはり多い場合が考えられ、前記特許文献１に開示された技術と同様に、自車の地図データベースの保守に通信コストがかかってしまうという問題があった。
【０００５】
本発明の目的は、低コストで最新の走行予定経路を自動車の運転者、船舶の操舵者、あるいは歩行している人に伝えることができる位置表示システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、走行開始位置から目的地に至る２次元または３次元座標データで構成された走行予定経路情報を該走行予定経路情報の記憶手段から取得する第１の手段と、移動体自身の現在位置を検出する第２の手段と、該第２の手段によって順次検出される現在位置情報に基づき移動体自身の進行方向を検出する第３の手段と、走行中の移動体自身の前方視界の画像を撮影するカメラと、前記走行予定経路情報のうち移動体自身の現在位置から前方所定区間の情報を平面座標系の走行予定経路鳥瞰画像に変換する第４の手段と、変換された平面座標系の走行予定経路鳥瞰画像を前記第３の手段が検出した進行方向に基づき補正し、前記カメラにより撮影した画像とを合成する第５の手段と、合成された画像を表示する第６の手段とを備えることを特徴とする。
また、走行予定経路の上り下りに応じた移動体自身の傾斜を検知する第７の手段と、該第７の手段によって検知した移動体自身の傾斜角度に基づき前記平面座標系の走行予定経路鳥瞰画像を補正する第８の手段をさらに備えることを特徴とする。
また、前記第６の手段は、前記第５の手段によって合成された画像を移動体自身の操縦位置前面のガラス面に表示するものであることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、例えば自動車によって目的地に向かって走行する場合、走行開始位置から目的地に至る３次元座標データで構成された走行予定経路情報を該走行予定経路情報を記憶した記憶手段から取得する。例えば、車両がネットワークに接続できる環境にある場合には、ネットワーク経由で地図データベースにアクセスし、２点間の走行予定経路情報を取得する。ネットワークに接続できない環境であれば、ネットワーク上の地図データベースから２点間の走行予定経路情報を取得し、これをメモリカード等の記憶媒体に格納し、この記録媒体から取得する。
これにより、車両側に地図データベースを持たなくてもよくなる。これは地図データベースの保守を車両側で行わないことを意味する。このため、地図データの保守コストが不要となるという効果がある。
また、地図情報が地図データベース側で一元管理されるので、地図情報自体の保守が不要になる効果がある。
さらに、地図データベース側で常に最新の地図情報を保持する運用とすることで、該地図データベースから取得する走行予定経路情報は最新の経路情報であって、車両側で利用する走行予定経路情報が常に最新であることが地図データベースによって保障されるという効果がある。
また、ネットワーク環境で地図データベースと車両が通信するデータの内容は、地図データのような大がかりなものではなく、２点間の走行予定経路情報であるため、地図データベースを更新するようなシステムに較べ、通信コストを低く抑えることができるという効果がある。
さらに、表示される画像は、平面座標系に変換した走行予定経路の現在位置の鳥瞰画像に対し、車載のカメラで撮影した現在位置の前方視界の画像を重ね合わせたものであるため、運転席から見える建物と道路との関係を的確に把握することが可能になり、建物等を擬似的に描画した従来のシステムに比べ、走行位置を把握するのが容易になる。
また、自車の上り下りに応じた傾斜角度を検出し、その検出結果に応じて、走行予定経路の現在位置の鳥瞰画像の傾きを補正することにより、運転席から見える建物と道路との関係がさらに精密に整合されるので、建物と道路との関係をさらに的確に把握することが可能になる。
また、合成した画像を自車のフロントガラス面に投影表示することにより、運転者は前方から視線を外すことなく、走行位置を把握することが可能になる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明を実施する場合の一形態を図面を参照して具体的に説明する。
図１は、本発明を車載用の位置表示システムに適用した場合の実施の一形態を示すシステム構成図である。
図１に示す車載用表示システムは、目的地等の情報の入力を受け付けるための入力部６と、自車位置検出手段としてのＧＰＳ受信機３と、自車の前方視野の画像を撮影するカメラ４と、道路の上り下りに応じた車両の傾斜度を測定する傾斜センサ５、およびこれらの構成部からの情報を合成して画像に変換する画像合成部８、さらにそこで合成された画像を表示するための表示装置７からなる。
目的地等情報入力部６は、ネットワーク２に常時もしくは必要に応じて接続しており、ネットワーク２に接続しているサーバ１の走行予定経路作成部１０が地図データベース１１から取得した２点間の走行予定経路情報を受け取ることができるようになっている。
ここで、走行予定経路作成部１０は地図データベース１１を管理するサーバ１内に設けられ、情報入力部６から走行開始位置と目的地とから成る２点の位置情報を受信した場合には、開始位置から目的地に至る最適な走行予定経路を探索し、その２点間を結ぶ走行予定経路の情報を地図データベース１１に登録された区間単位で情報入力部６に返す。
目的地等の情報入力部６では、目的地を入力して経路情報を受け取る。目的地は名称や電話番号などから検索して指定もしくは、地図を画面上に表示させ、その表示画面内でポインタデバイス等により入力するようにしてもよい。現在地はＧＰＳ受信機３により取得する。入力された目的地、走行開始位置地点としての現在地等の情報は、３次元の座標としてネットワーク２を通じて走行予定経路の問い合わせに使われる。サーバ１では、現在地等の情報と目的地の情報から走行予定経路を地図データベース１１から探索し、要求元である車両に走行予路情報を返す。
走行開始前に走行予定を計画しておくような場合は、メモリカード等を利用する方法が適している。１つまたは複数の走行予定経路等の情報をサーバ１より取得しておき、その情報をメモリカード等に保存しておく。運転を行う車両では、メモリカード等より走行予定経路の一覧を表示し、一覧から選択することで走行予定経路を特定する。
【０００９】
サーバ１の走行予定経路作成部１０は、目的地等情報入力部６により入力された情報および自車の走行開始地点の情報に基づき、最適な走行予定経路を探索することを目的としている処理部であり、走行開始地点からスタートし、入力された目的地まで到達する好ましい経路を地図データベース１１より探索する。ここで得られる経路は、２次元、好ましくは３次元の折れ線データである。走行予定経路の座標系は、緯度・経度のような測地座標系、または測量法に定められる平面直角座標系であってもよいし、本発明のシステムで利用する地図データベースが独自の座標系であるならば、その座標系であってもよい。地図データベース１１は、道路情報を保持している。車両が坂道を走行する場合、あるいは坂のある山間部などを走行する場合の表示誤差を最小に抑えるためには、地図データベース１１は３次元の座標データを持つ道路地図データベースであることが好ましい。
【００１０】
画像合成部８は、走行予定経路作成部１０で作成した走行予定経路情報のうち自車の現在位置から前方所定区間の情報を平面座標系の走行予定経路鳥瞰画像に変換し、この変換画像を自車の進行方向と傾斜角度に応じて補正し、その補正画像に対しカメラ４により撮影した画像を重ね合わせた画像を作成することを目的とするものである。
カメラ４は静止画用のカメラでもよいが、好ましくは動画を撮影できるビデオカメラである。静止画用のカメラである場合には、一定の間隔で画像を再作成することで、表示される情報を更新することが好ましい。画像の合成にあたっては、カメラ４により撮影された画像を背景画像とし、走行予定経路作成部１０で作成した走行予定経路情報（３次元折れ線データ）を平面座標系の走行予定経路鳥瞰画像に変換したものと合成し、フロントガラス面などに投影表示させる。
３次元座標データで構成される走行予定経路情報を平面座標系の走行予定経路鳥瞰画像へ変換するに際しては、カメラ４の光学的属性と傾斜センサ５により得られる自車の傾斜角を用い、カメラ４により撮影される画像と座標系が重なるように変換して投影を行う。
画像合成部８により得られた画像は、表示装置７に送られ、運転者もしくは同乗者に走行予定経路を提示する。
表示装置７は、ブラウン管によるディスプレイ、液晶ディスプレイなどの表示装置であってもよいが、フロントガラスに投影する形として、実際に運転席から見える視野に近づけ、運転者が視野を前方から外すことなく現在の走行位置を確認できるようにするのが望ましい。
【００１１】
図２は、走行予定経路を表示する際の処理手順の詳細を示したフローチャートである。
ここで、示す処理は情報入力部６と画像合成部８で行われる処理をあわせて記載したものである。
まず、ステップ２０１によりカメラ４の属性を取得する。ここで言う属性とは、カメラのＸ、Ｙ、Ｚ軸の向きを表す単位ベクトル（Ｘ、Ｙ、Ｚ）、カメラの位置、焦点距離などである。これらの情報により、走行予定経路作成部１０で算出した走行予定経路情報（３次元折れ線データ）を、平面座標系の鳥瞰画像に投影するための演算が可能となる。
次に、ステップ２０２により、走行開始地点を変数Ｓに設定する。走行開始地点は、ＧＰＳ受信装置３により取得する。
次に、ステップ２０３により目的地を取得する。目的地などの情報は、目的地を名称や電話番号などから検索して指定させてもよいし、地図を画面上に表示させるなどし、そこでポインタデバイス等により入力してもよい。目的地点はステップ２０４で変数Ｅに設定される。
ステップ２０５では、地点Ｓから地点Ｅまでの走行予定経路情報を取得する。走行予定経路情報はネットワーク２を通じてサーバ１から取得する。結果は２次元、もしくは３次元の折れ線データとして取得する。車両が坂道を走行する場合、あるいは坂のある山間部などを走行する場合の表示誤差を最小に抑えるために、ここで得られる算出結果は３次元の座標データによる折れ線データであることが好ましい。
次に、ステップ２０６でＧＰＳ受信機３から自車位置の取得を行う。車が実際に走行している場合には、自車位置は前回の位置とは異なっているはずである。
ステップ２０７では、地点Ｓに自車位置を上書きしている。こうすることで、車が走行予定の経路を外れた場合でも走行予定経路の見直しができるようになる。
【００１２】
ステップ２０８では、走行予定の経路上を走行しているかどうかを判定している。判定の方法は、走行予定経路を示す３次元折れ線上に、地点Ｓがあるかどうかを計算すればよい。走行予定経路上を問題なく走行している場合は、走行予定経路の再算出は不要となる。この場合はそのままステップ２０９に進む。もしも、走行予定経路から外れていた場合には、走行予定経路の再算出が必要となる。経路は新しく設定した地点Ｓから地点Ｅまでの経路である。
ステップ２０９では、車両の傾斜角度を傾斜センサ５から取得している。傾斜角度は、次のステップで走行予定経路の情報を平面座標系の鳥瞰画像に投影変換する際にパラメタとして必要となる。
【００１３】
ステップ２１０では、走行予定経路を表す３次元折れ線のデータを平面座標系の鳥瞰画像へ投影変換を行う。投影変換にあたっては、まず、前回から今回までの自車位置の差分ベクトルから、自車の進行方向を求める。
次に、カメラ４の属性である焦点距離を用い、走行予定経路を表す３次元折れ線データを平面座標系の走行予定経路鳥瞰画像へ投影変換する。投影変換の方法としては、図学や透視学で知られる、変換行列による計算が利用できる。行列変換としては、例えば次の参考文献に開示された方法が利用できる。
参考文献
http://www.ke.ics.saitama-u.ac.jp/kondo/Geomap/CADCGHTML/Chap5/Chap504.html
この投影変換に際しては、自車の進行方向とステップ２０９で検出した傾斜角度をパラメータとして用い、３次元折れ線データを平面座標系の走行予定経路鳥瞰画像へ投影変換した画像がカメラ座標系に整合するように補正し、投影変換した画像がカメラ４で撮影している画像に見えるように補正する。すなわち、上記参考文献ではユーザは水平な面に立っており、位置ベクトルｄの方向を向いてカメラを構えているという前提になっているので、車両にカメラを搭載した場合、自車の進行方向と傾斜角度に応じて投影変換した画像を補正する必要がある。
この補正によって、投影変換した画像はカメラ４で撮影している画像に見えるようになる。なお、傾斜角度による補正は、傾斜角度によって表示画像の見え方に誤差が生じるので、この誤差を補正するものであるから、誤差を無視する簡易な構成を採用する場合には不要である。
ステップ２１１では、表示装置７へカメラ４で撮影した画像を出力する。
ステップ２１２では、ステップ２１１で表示したカメラ撮影画像の上に、ステップ２１０で走行予定経路を平面座標系の走行予定経路鳥瞰画像に投影変換した結果を重ねて描画する。
表示に際しては、特定の色を付けたり、線の幅や種類を変更したりしてもよい。また、道路は面であるので、面として塗りつぶしを行ってもよい。背景となるカメラ４で撮影した画像は、運転者が認識するために非常に重要な意味を持っているため、好ましくは、半透明の折れ線、もしくはハッチングされた面とし、背景が透けて見える表示がよい。また、必要に応じて進行方向を示す矢印などの符号を付与してもよい。
【００１４】
ステップ２１３では、地点Ｓと地点Ｅが同じであるか、判定している。これは車両が目的地に達したかどうかを判定するものである。目的地に達している場合には、ナビゲーションは終了となる。達していない場合はステップ２０６に戻り、自車位置の取得から処理を繰り返すことになる。
以上により、走行予定経路情報の表示を行う処理を説明したが、上記は目的地までのナビゲーションを行う場合の処理である。実際に、目的地まで１つまたは複数の経由地を経由して最終目的地まで向かう場合、図２に示した目的地までの処理を各経由地までに代え、処理を繰り返すことで、１つまたは複数の経由地を経由して最終目的地まで向かうナビゲーションを同様に実現できる。
【００１５】
次に、図３を用いて、本発明の一実施の形態の車載用表示装置における表示装置７で表示される画像について説明する。
本発明で表示される画像は、カメラ４により撮影された進行方向前方の画像を利用しているため、運転者が実際に運転席から見ている視野に近い。このため、車両のダッシュボードなどにナビゲーション装置を組み込む方法も適用できるが、フロントガラスに直接投影する方法がより好ましい。
図３は、フロントガラスに本発明による表示装置７を組み込んだ例である。３０１はフロントガラス、３０２は本発明による表示装置７の表示部、３０３はハンドルである。
図４は、走行予定経路情報としてネットワーク経由で取得されるデータを説明する図である。
走行予定経路情報は、データヘッダ部分ＨＥＡＤ、データ点数ｎ、走行予定経路データＤＡＴＡから成る。ＤＡＴＡは、ｎ点の折線座標の集まりである。ＤＡＴＡは、第１座標（Ｘ０、Ｙ０、Ｚ０）、第２座標（Ｘ１、Ｙ１、Ｚ１）の順に並んでおり、最終の第ｎ座標（Ｘｎ−１、Ｙｎ−１、Ｚｎ−１）で終っている。
図５は、３次元折れ線データで構成される走行予定経路情報を平面座標系の走行予定経路鳥瞰画像に変換し、その変換画像とカメラ４で撮影した進行方向前方の画像とを合成する処理の概要を示したものであり、平面座標系に変換された鳥瞰画像は進行方向と車両の傾きに応じて補正される。カメラの撮影画像と合成される。
【００１６】
なお、走行予定経路の鳥瞰画像を表示させるに際しては、走行速度に応じて表示する区間長を変えるようにした方が望ましい。すなわち、高速走行の場合には長い区間が見えるように表示するようにした方が望ましい。
また、走行速度が早い場合、カメラ４で撮影した動画像のフレームを間引いて合成するようにしても良い。これにより、画像合成処理に係る負荷が軽減する。
なお、上記実施例では、本発明を車載用に適用した例を説明したが、船舶についても適用することができる。船舶の場合には、走行経路は航行経路という表現に置き換わる。
また、地図データベースについては、３次元データでなく、２次元データでよい。
さらに、車両、船舶に代えて、人間が携帯して持ち歩く携帯電話機などの携帯端末にも適用することができる。すなわち、最近では、ＧＰＳ機能、カメラ機能を備えた携帯電話機があるので、この２つの機能を備えた携帯端末にも同様に適用することができる。
人間が持ち歩く携帯端末に適用した場合、走行経路は歩行経路という表現に置き換わる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施の形態の位置表示システムの概略構成を示すブロック図である。
【図２】走行予定経路情報の表示処理手順を示すフローチャートである。
【図３】表示装置に表示される画像の例を示す図である。
【図４】走行予定経路情報としてネットワーク経由で取得される情報の構成例を示すデータ構成図である。
【図５】３次元折れ線データで構成される走行予定経路情報を平面座標系の走行予定経路鳥瞰画像に変換し、その変換画像とカメラ４で撮影した進行方向前方の画像とを合成する処理の概要を示す図である。
【符号の説明】
【００１８】
１…走行予定経路作成部
２…ネットワーク
３…ＧＰＳ受信機
４…カメラ
５…傾斜センサ
６…目的地等の情報入力部
７…表示装置
８…画像合成部
【図１】
2005233710.tif 000003
【図２】
2005233710.tif 000004
【図３】
2005233710.tif 000005
【図４】
2005233710.tif 000006
【図５】
2005233710.tif 000007