(57)【要約】  本発明は、ナビゲーションデバイス（１０）に関する。ナビゲーションデバイス（１０）は、ナビゲーションディレクション（３、４、５）をディスプレイ（１８）上に表示するように構成される。ナビゲーションデバイス（１０）は、カメラ（２４）から出力を受信するように更に構成される。ナビゲーションデバイス（１０）は、カメラ（２４）からの出力のカメラ画像とナビゲーションディレクション（３、４、５）との組合せをディスプレイ（１８）上に表示するように更に構成される。
2008542746.tif 000002
【特許請求の範囲】
【請求項１】
ナビゲーションディレクション（３、４、５）をディスプレイ（１８）上に表示するように構成されるナビゲーションデバイス（１０）であって、
前記ナビゲーションデバイス（１０）は、カメラ（２４）から出力を受信するように更に構成され、前記ナビゲーションデバイス（１０）は、前記カメラ（２４）からの出力のカメラ画像と前記ディスプレイ（１８）上の前記ナビゲーションディレクション（３、４、５）との組合せを表示するように構成される
ことを特徴とするナビゲーションデバイス。
【請求項２】
前記カメラは、前記ナビゲーションデバイスと一体構成される
請求項１記載のナビゲーションデバイス。
【請求項３】
前記ナビゲーションディレクションは、ハードディスク（１２）、読み出し専用メモリ（１３）、電気的消去可能プログラマブルＲＯＭ（１４）及びランダムアクセスメモリ（１５）等の少なくとも１つの記憶装置に格納される位置矢印（３）、ルート（４）、矢印（５）、興味のある場所（名所）、道路、建物、ベクトルデータ等の地図データのうちの１つ以上である
請求項１又は２記載のナビゲーションデバイス。
【請求項４】
前記ナビゲーションディレクション（３、４、５）の位置が前記カメラ画像の対応する部分に対して所定の空間関係になるように、前記カメラ画像上に前記ナビゲーションディレクション（３、４、５）を重ね合わせるように更に構成される
請求項１から３のいずれか１項に記載のナビゲーションデバイス。
【請求項５】
前記ナビゲーションデバイス（１０）は、処理ユニット（１１）、位置決め装置（２３）及び姿勢センサ（２３、２７、２８）を具備し、前記位置決め装置（２３）及び前記姿勢センサ（２７、２８）は、前記処理ユニット（１１）と通信するように構成され、
前記処理ユニット（１１）は、前記カメラ（２４）及び／又は前記ナビゲーションデバイス（１０）の位置及び姿勢を計算するために、前記位置決め装置（２３）及び前記姿勢センサ（２３、２７、２８）からの読み取り値を使用するように構成され、
前記カメラ（２４）及び／又は前記ナビゲーションデバイス（１０）の位置及び姿勢は、前記ディスプレイ（１８）上の前記ナビゲーションディレクションの位置に基づき前記処理ユニットにより計算される
請求項１から４のいずれか１項に記載のナビゲーションデバイス。
【請求項６】
前記位置決め装置（２３）は、ＧＰＳ、欧州のガリレオシステム又は任意の他のグローバルナビゲーションサテライトシステム等の位置検知技術、あるいは地上ビーコンに基づく位置検知技術を使用して地理的な場所を判定する
請求項５記載のナビゲーションデバイス。
【請求項７】
前記処理ユニット（１１）は、時間的に連続するポイントにおいて前記位置決め装置（２３）により判定される前記カメラ（２４）及び／又は前記ナビゲーションデバイス（１０）の前記位置を比較することにより、使用中に略垂直である第１の回転軸（Ｃ）に対する前記カメラ（２４）の前記姿勢を計算する
請求項５又は６記載のナビゲーションデバイス。
【請求項８】
前記ナビゲーションデバイス（１０）は、コンパスの読み取り値を前記処理ユニット（１１）に提供するコンパスを具備し、
前記処理ユニット（１１）は、前記コンパスの読み取り値に基づいて使用中に略垂直である第１の回転軸（Ｃ）に対する前記カメラ（２４）の前記姿勢を計算するように構成される
請求項５又は６記載のナビゲーションデバイス。
【請求項９】
前記姿勢センサは、第２の回転軸及び第３の回転軸に対する前記カメラ（２４）の前記姿勢を判定するための傾斜センサ（２７、２８）を具備し、前記第２の回転軸及び前記第３の回転軸は、使用中に略水平である
請求項５から８のいずれか１項に記載のナビゲーションデバイス。
【請求項１０】
前記処理ユニット（１１）は、前記ナビゲーションディレクション（３、４、５）の前記位置が前記カメラ画像の対応する部分に対して所定の空間関係になるように前記カメラ画像上に前記ナビゲーションディレクション（３、４、５）を重ね合わせるためにパターン認識技術を使用する
請求項１から９のいずれか１項に記載のナビゲーションデバイス。
【請求項１１】
前記ナビゲーションデバイスは、前記パターン認識技術のための入力として地図データを使用する
請求項１０記載のナビゲーションデバイス。
【請求項１２】
前記処理ユニット（１１）は、カメラ出力における振動を補償するためにステディカム技術を使用する
請求項１から１１のいずれか１項に記載のナビゲーションデバイス。
【請求項１３】
前記ナビゲーションデバイス（１０）は、校正修正を受信し、それら校正修正を格納し、前記ナビゲーションディレクション（３、４、５）及び前記カメラ画像を組み合わせる時に前記校正修正を適用するように構成される
請求項１から１２のいずれか１項に記載のナビゲーションデバイス。
【請求項１４】
前記ナビゲーションデバイスは、カメラ設定を受信又は読み込み且つ前記カメラ設定を使用して前記ディスプレイ（１８）上の前記ナビゲーションディレクション（３、４、５）の前記位置を計算するように構成される
請求項１から１３のいずれか１項に記載のナビゲーションデバイス。
【請求項１５】
前記ナビゲーションデバイス（１０）は、２つ以上のカメラ（２４）から出力を受信するように更に構成され、
前記ナビゲーションデバイス（１０）は、前記ディスプレイ（１８）上に表示される前記出力の１つを選択するように構成される
請求項１から１４のいずれか１項に記載のナビゲーションデバイス。
【請求項１６】
前記カメラ（２４）は、人間の目に可視である電磁スペクトルの範囲外の電磁放射を感知可能である
請求項１から１５のいずれか１項に記載のナビゲーションデバイス。
【請求項１７】
前記カメラ（２４）は、赤外線カメラである
請求項１６記載のナビゲーションデバイス。
【請求項１８】
前記カメラ（２４）は、ズームイン及び／又はズームアウトするように構成される
請求項１から１７のいずれか１項に記載のナビゲーションデバイス。
【請求項１９】
前記カメラは、前記ナビゲーションデバイス／車両の速度に依存してズームイン又はズームアウトするように
構成される請求項１８記載のナビゲーションデバイス。
【請求項２０】
請求項１から１９のいずれか１項に記載のナビゲーションデバイス（１０）を具備するダッシュボード。
【請求項２１】
請求項１から２０のいずれか１項に記載のナビゲーションデバイス（１０）を具備する車両。
【請求項２２】
前記車両は、前記車両の傾斜を判定するために車両傾斜センサ（３０）を具備し、前記ナビゲーションデバイス（１０）に車両傾斜読み取り値を提供する
請求項２１記載の車両。
【請求項２３】
ナビゲーションディレクション（３、４、５）をディスプレイ（１８）上に表示することを含むナビゲーションディレクションの提供方法であって、
−カメラ（２４）から出力を受信することと、
−前記カメラ（２４）からの出力のカメラ画像と前記ナビゲーションディレクション（３、４、５）との組合せを前記ディスプレイ（１８）上に表示することと
を含むことを特徴とする方法。
【請求項２４】
コンピュータ構成にロードされた時に請求項２３記載の方法を実行するように構成されるコンピュータプログラム。
【請求項２５】
請求項２４記載のコンピュータプログラムを含むデータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ナビゲーションディレクション（Navigation directions）をディスプレイ上に表示するように構成されるナビゲーションデバイスに関する。
【０００２】
また、本発明は、そのようなナビゲーションデバイスを具備する車両及びナビゲーションディレクションを提供する方法に関する。更に本発明は、コンピュータプログラム及びデータ記憶媒体に関する。
【背景技術】
【０００３】
ＧＰＳ（Global Positioning System）に基づく従来のナビゲーションデバイスは周知であり、車載ナビゲーションシステムとして広く採用されている。そのようなＧＰＳに基づくナビゲーションデバイスは、自身の地球上における位置を測定する能力を有する外部（又は内部）のＧＰＳ受信機と通信を行う機能を含む演算装置に関係する。更に、演算装置は、出発地の住所と目的地の住所との間のルートを判定する能力を有する。出発地の住所と目的地の住所は、演算装置のユーザにより入力される。通常、演算装置は、地図データベースから出発地の住所の場所と目的地の住所の場所との間の「最善」又は「最適」なルートを計算することがソフトウェアにより可能になる。「最善」又は「最適」なルートは、所定の基準に基づいて決められ、必ずしも最速又は最短のルートである必要はない。
【０００４】
ナビゲーションデバイスは、通常は車両のダッシュボードに搭載されるが、車両に搭載されたコンピュータ又は自動車のラジオの一部として構成されてもよい。ナビゲーションデバイスは、ＰＤＡ等の携帯型のシステム（の一部）であってもよい。
【０００５】
ＧＰＳ受信機から得られる位置情報を使用することにより、演算装置は、定期的に自装置の位置を判定し、車両の現在の位置をユーザに対して表示できる。ナビゲーションデバイスは、地図データを格納するメモリ素子及び地図データの選択部分を表示するディスプレイを具備してもよい。
【０００６】
更にナビゲーションデバイスは、ディスプレイ上に表示され且つ／又はスピーカからの可聴信号として生成される適切なナビゲーション指示により判定されたルートの案内の方法を指示できる（例えば、「１００ｍ先を左折する」）。達成される動作を示す図形（例えば、前方を左折することを示す左矢印）は、ステータスバーに表示され、地図自体には該当する分岐点／曲がり角等に重ね合わされる。
【０００７】
運転者がナビゲーションシステムにより計算されたルートに沿って自動車を運転している時に、運転者によりルートの再計算が開始されることを許容する車載ナビゲーションシステムが知られている。これは、車両が建築工事又は交通渋滞に直面した場合に有用である。
【０００８】
ナビゲーションデバイスにより展開されるルート計算アルゴリズムの種類をユーザが選択できることが周知であり、例えば、「通常」モード及び「高速」モード（最短時間でルートを計算するが、通常モード程多くの代替ルートを調査しない）から選択する。
【０００９】
また、ユーザが規定した基準でルートを計算できることが周知である。例えば、ユーザは、景色のよいルートがデバイスにより計算されることを好む。デバイスのソフトウェアは、種々のルートを計算し、例えば、景色が美しい所としてタグ付けされる興味のある場所（名所（ＰＯＩ）として知られた場所）をルートに沿って最も多く含むルートを更に有利に重み付けする。
【００１０】
従来技術において、ナビゲーションデバイスは、殆どの地図がそうであるように、実世界の高度に様式化された表現又は概略的な表現である地図を表示する。多くの人は、実世界の非常に抽象的な表現を容易に認識及び理解できるものとして解釈することが困難であることが分かる。ナビゲーションデバイスは、車両の上方及び／又は後方から見られるように、地図の（半）３次元投影を表示することが周知である。これは、表示された地図データを実世界のユーザの視覚に対応するようにしてユーザに更に容易に解釈させるために行なわれる。しかし、そのような（半）遠近図は、様式化された表現又は概略的な表現であり、ユーザによる解釈が依然として比較的に困難である。
【００１１】
人がディスプレイ上に示される方向に容易に且つ迅速に従うことを可能にする必要性は、車載ナビゲーションシステムとして使用できるようなパーソナルナビゲーションシステムにおいて特に重大である。車両の運転者は、主に道路及び交通に注意を向けるべきであり、表示される地図データを見て解釈する時間は可能な限り少なくする必要があることは理解される。
【特許文献１】米国特許第５，６２７，９１５号公報
【特許文献２】米国特許出願公開第２００１／００４３７１７号
【発明の開示】
【発明が解決しようとする課題】
【００１２】
従って、本発明の目的は、上述の問題のうち少なくとも１つを克服し且つ容易な解釈を可能にする指示をユーザに対して表示するナビゲーションデバイスを提供することである。
【課題を解決するための手段】
【００１３】
この目的を達成するために、本発明は、上述に従うナビゲーションデバイスを提供する。ナビゲーションデバイスは、カメラから出力を受信するように更に構成され、ナビゲーションデバイスは、カメラからの出力のカメラ画像とナビゲーションディレクションとの組合せをディスプレイ上に表示するように構成されることを特徴とする。
【００１４】
ナビゲーションディレクションをカメラ画像上に重ね合わせるか又は組み合わせることにより、使用し易いビューが運転者に提示され、容易で迅速な解釈を可能にする。ユーザにより見られるように、カメラ画像が現実のビューの１対１の表現であるため、ユーザは実世界の抽象的な表現を解釈する必要がない。カメラからの出力とナビゲーションディレクションとの組合せは、一方を他方に重ね合わせたもの等の全ての種類の組合せであり、ディスプレイの異なる部分に同時に示す。しかし、組合せは時間的な組合せであってもよい。すなわち、カメラ出力及びナビゲーションディレクションを交互に示す。これは、所定の時間間隔（例えば、５秒）後に変更されてもよく、あるいはユーザによる入力の結果として変更されてもよい。
【００１５】
更なる実施形態によると、本発明は、カメラがナビゲーションデバイスと一体的に構成されるナビゲーションデバイスに関する。そのようなナビゲーションデバイスは、外部のカメラ出力を要求しない。ナビゲーションデバイスは、カメラが正面の画面を通して画像を提供するように、例えば単純に車両のダッシュボードに搭載される。
【００１６】
更なる実施形態によると、本発明は、ナビゲーションディレクションがハードディスク、読み出し専用メモリ、電気的消去可能プログラマブルＲＯＭ及びランダムアクセスメモリ等の少なくとも１つの記憶装置に格納される位置矢印、ルート、矢印、興味のある場所、道路、建物、ベクトルデータ等の地図データのうちの１つ以上であるナビゲーションデバイスに関する。全ての種類のナビゲーションディレクションが表示される。尚、それらのナビゲーションディレクションは、ナビゲーション（ルートを見つけること）に本質的に必要でない情報を提供してもよく、追加の情報をユーザに更に提供してもよい。
【００１７】
更なる実施形態によると、本発明は、ナビゲーションディレクションの位置がカメラ画像の対応する部分に対して所定の空間関係になるように、カメラ画像上にナビゲーションディレクションを重ね合わせるように更に構成されるナビゲーションデバイスに関する。全てのナビゲーションディレクションがカメラ画像の対応する項目の実際の位置と一致するように表示されるため、これによりユーザは非常に容易に解釈される画像を提供される。例えば、右折を示す矢印は、カメラ画像において可視である曲がり角と一致するように、カメラ画像上に重ね合わされてもよい。
【００１８】
更なる実施形態によると、本発明は、処理ユニット、位置決め装置及び姿勢センサを具備するナビゲーションデバイスに関する。位置決め装置及び姿勢センサは、処理ユニットと通信するように構成される。処理ユニットは、カメラ２４及び／又はナビゲーションデバイスの位置及び姿勢を計算するために、位置決め装置及び姿勢センサからの読み取り値を使用するように構成される。カメラ及び／又はナビゲーションデバイスの位置及び姿勢は、ディスプレイ上のナビゲーションディレクションの位置に基づき処理ユニットにより計算される。カメラ及び／又はナビゲーションデバイスの正確な位置及び姿勢を知ることにより、カメラ出力へのナビゲーションディレクションのより正確な重ね合わせが可能になる。
【００１９】
更なる実施形態によると、本発明は、位置決め装置がＧＰＳ、欧州のガリレオシステム又は任意の他のグローバルナビゲーションサテライトシステム等の位置検知技術、あるいは地上ビーコンに基づく位置検知技術を使用して地理的な場所を判定するナビゲーションデバイスに関する。
【００２０】
更なる実施形態によると、本発明は、処理ユニットが時間的に連続するポイントにおいて位置決め装置により判定されるカメラ及び／又はナビゲーションデバイスの位置を比較することにより、使用中に略垂直である第１の回転軸に対するカメラの姿勢を計算するナビゲーションデバイスに関する。時間的に連続するポイントにおけるカメラ及び／又はナビゲーションデバイスの位置を比較することにより、カメラ及び／又はナビゲーションデバイスの移動方向が計算される。これにより、カメラの姿勢及び姿勢の変化が計算される。
【００２１】
更なる実施形態によると、本発明は、コンパスの読み取り値を処理ユニットに提供するコンパスを具備するナビゲーションデバイスに関する。処理ユニットは、コンパスの読み取り値に基づいて使用中に略垂直である第１の回転軸に対するカメラの姿勢を計算するように構成される。コンパスは、カメラの姿勢を判定する容易で有利な方法を提供する。
【００２２】
更なる実施形態によると、本発明は、姿勢センサが第２の回転軸及び第３の回転軸に対するカメラの姿勢を判定する傾斜センサを具備するナビゲーションデバイスに関する。第２の回転軸及び第３の回転軸は、使用中に略水平である。カメラ画像に対してナビゲーションディレクションをより正確に組み合わせるか又は重ね合わせるために、カメラの回転姿勢は第２の方向及び／又は第３の方向に対して測定される。
【００２３】
更なる実施形態によると、本発明は、ナビゲーションディレクションの位置がカメラ画像の対応する部分に対して所定の空間関係になるようにナビゲーションディレクションをカメラ画像上に重ね合わせるために、処理ユニットがパターン認識技術を使用するナビゲーションデバイスに関する。パターン認識技術を使用することにより、ナビゲーションディレクションは、カメラの正確な姿勢を知ることなくカメラ出力上に組み合わされるか且つ／又は重ね合わされる。表示されるカメラ画像上のナビゲーションディレクションの位置は、パターン認識技術を単独で使用することにより判定されてもよいが、パターン認識技術は、カメラの判定された姿勢と組み合わされて使用されてもよく、それにより正確度は向上する。
【００２４】
更なる実施形態によると、本発明は、ナビゲーションデバイスがパターン認識技術に対する入力として地図データを使用するナビゲーションデバイスに関する。例えば道路のおおよその位置が地図データから分かる場合、その道路を認識するのが更に容易なので、パターン認識技術は地図データを使用することにより簡単化されてもよい。これにより、パターン認識はより正確になり且つ／又は計算時間が節約される。
【００２５】
更なる実施形態によると、本発明は、校正修正を受信し、それら校正修正を格納し且つナビゲーションディレクション及びカメラ画像を組み合わせる時に校正修正を適用するように構成されるナビゲーションデバイスに関する。これは、ナビゲーションディレクションがカメラ画像上に重ね合わされてカメラ画像に対して所定の空間関係を有するように、ナビゲーションディレクションが組み合わされる場合に特に有利である。校正修正は、オフセット誤差を除去するために使用されてもよい。
【００２６】
更なる実施形態によると、本発明は、カメラ設定を受信するか又は読み込み且つカメラ設定を使用してディスプレイ上のナビゲーションディレクションの位置を計算するように構成されるナビゲーションデバイスに関する。種々のカメラ設定の結果、種々のカメラ出力が得られてもよい。ナビゲーションデバイスにそれらカメラ設定を提供することにより、ナビゲーションディレクションとカメラ画像との組合せの正確度が更に向上する。
【００２７】
更なる実施形態によると、本発明は、２つ以上のカメラから出力を受信し且つディスプレイ上に表示される出力の１つを選択するように構成されるナビゲーションデバイスに関する。異なる遠近図を提供する２つ以上のカメラ出力は、例えば数学を使用してパターン認識の品質を向上するためにパターン認識技術により使用されてもよい。２つ以上のカメラは、異なるカメラアングルから選択するオプションをユーザに提供するために使用されてもよい。
【００２８】
更なる実施形態によると、本発明は、カメラが人間の目に可視である電磁スペクトルの範囲外の電磁放射を感知可能であるナビゲーションデバイスに関する。
【００２９】
更なる実施形態によると、本発明は、カメラが赤外線カメラであるナビゲーションデバイスに関する。そのようなカメラにより、夜間のナビゲーションデバイスの使用が可能になる。
【００３０】
更なる実施形態によると、本発明は、カメラがズームイン及び／又はズームアウトするように構成されるナビゲーションデバイスに関する。これにより、ユーザは好みによってカメラビューを調整できる。
【００３１】
更なる実施形態によると、本発明は、カメラが例えばナビゲーションデバイス／車両の速度に応じてズームイン又はズームアウトするように構成されるナビゲーションデバイスに関する。これにより、ナビゲーションデバイスの速度に対して自動的に調整されるカメラ出力が提供される。従って、ナビゲーションデバイスの速度が相対的に速い場合、カメラは更に前方のより適切なビューをユーザに与えるためにズームインしてもよい。
【００３２】
更なる面によると、本発明は、上述によるナビゲーションデバイスを具備するダッシュボードに関する。
【００３３】
更なる面によると、本発明は、上述によるナビゲーションデバイスを具備する車両に関する。
【００３４】
更なる面によると、本発明は、車両の傾斜を判定する車両傾斜センサを具備し、車両傾斜読み取り値をナビゲーションデバイスに提供する車両に関する。これは、車両の傾斜を測定する有利な方法である。
【００３５】
更なる面によると、本発明は、ナビゲーションディレクションを提供する方法に関する。方法は、
−ディスプレイ上にナビゲーションディレクションを表示することから成り、
−カメラから出力を受信することと、
−カメラからの出力のカメラ画像とカメラ画像上のナビゲーションディレクションとの組合せをディスプレイ上に表示することとを含むことを特徴する。
【００３６】
更なる面によると、本発明は、コンピュータ構成にロードされた時に上記方法を実行するように構成されるコンピュータプログラムに関する。
【００３７】
更なる面によると、本発明は、上述のようなコンピュータプログラムを含むデータ記憶媒体に関する。
【発明を実施するための最良の形態】
【００３８】
添付の概略図を参照して、本発明の実施形態を例として説明する。図中、対応する図中符号は対応する部分を示す。
【００３９】
図１は、算術演算を行なうプロセッサユニット１１を具備するナビゲーションデバイス１０の一実施形態を示す概略ブロック図である。プロセッサユニット１１は、ハードディスク１２、読み出し専用メモリ（ＲＯＭ）１３、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）１４及びランダムアクセスメモリ（ＲＡＭ）１５等の命令及びデータを格納する記憶装置と通信するように構成される。記憶装置は、地図データを含んでもよい。この地図データは、２次元地図データ（緯度及び経度）であってもよいが、第３の次元（高度）を含んでもよい。地図データは、ガソリンスタンド、興味のある場所に関する情報等の追加の情報を更に含んでもよい。また、地図データは、道路沿いの建物及び物体の形状に関する情報を含んでもよい。
【００４０】
プロセッサユニット１１は、キーボード１６及びマウス１７等の１つ以上の入力装置と通信するように構成されてもよい。キーボード１６は、例えば、タッチスクリーンであるディスプレイ１８に提供される仮想キーボードであってもよい。プロセッサユニット１１は、例えば、フロッピディスク２０又はＣＤ ＲＯＭ２１を読み取るために、ディスプレイ１８、スピーカ２９及び１つ以上の読み取り装置１９等の１つ以上の出力装置と通信するように更に構成されてもよい。ディスプレイ１８は、従来のコンピュータディスプレイ（例えば、ＬＣＤ）であってもよく、あるいは計測データを自動車のフロントガラスに投影するために使用されるヘッドアップディスプレイ等の投影型ディスプレイであってもよい。ディスプレイ１８は、タッチスクリーンとして機能するように構成されるディスプレイであってもよい。タッチスクリーンは、ユーザが指でディスプレイ１８に触れることにより命令及び／又は情報を入力することを可能にする。
【００４１】
プロセッサユニット１１は、入出力装置２５を使用して他の演算装置又は通信装置と通信するように更に構成されてもよい。入出力装置２５は、ネットワーク２７を介して通信を行なえるように構成されて示される。
【００４２】
スピーカ２９は、ナビゲーションデバイス１０の一部として構成されてもよい。ナビゲーションデバイス１０が車載ナビゲーションデバイスとして使用される場合、ナビゲーションデバイス１０は、自動車のラジオ及びボードコンピュータ等のスピーカを使用してもよい。
【００４３】
プロセッサユニット１１は、ナビゲーションデバイス１０の位置に関する情報を提供するＧＰＳ受信機等の位置決め装置２３と通信するように更に構成されてもよい。本実施形態によると、位置決め装置２３はＧＰＳに基づく位置決め装置２３である。しかし、ナビゲーションデバイス１０には、任意の種類の位置検知技術を実装してもよく、ＧＰＳに限定されないと理解されるであろう。従って、ナビゲーションデバイス１０は、欧州のガリレオシステム等の他の種類のＧＮＳＳ（global navigation satellite system：グローバルナビゲーションサテライトシステム）を使用して実現することもできる。同様に、ナビゲーションデバイス１０は、衛星を使用する位置／速度システムに限定されず、地上ビーコン又はデバイスが地理的な場所を判定することを可能にする任意の他の種類のシステムを使用しても同様に展開される。
【００４４】
しかし、当業者に周知の更なる及び／又は他の記憶装置、入力装置及び読み取り装置が提供されてもよいことが理解されるべきである。更に、それら装置のうち１つ以上の装置は、必要に応じてプロセッサユニット１１から物理的に遠く離れて配置されてもよい。プロセッサユニット１１は１つのボックスで示されるが、当業者には周知であるように、互いに遠く離れて配置され且つ１つの主プロセッサにより制御されるか又は同時に機能するいくつかの処理ユニットを含んでもよい。
【００４５】
ナビゲーションデバイス１０は、コンピュータシステムとして示されるが、本明細書で説明される機能を実行するように構成されるアナログ及び／又はデジタル及び／又はソフトウェア技術を使用する任意の信号処理システムであってもよい。図１に示すナビゲーションデバイス１０は、複数の構成要素から構成されるものとして示すが、単一のデバイスとして構成されてもよいことが理解されるであろう。
【００４６】
ナビゲーションデバイス１０は、Ｎａｖｉｇａｔｏｒと呼ばれるＴｏｍＴｏｍ  Ｂ．Ｖ．のナビゲーションソフトウェア等のナビゲーションソフトウェアを使用してもよい。ナビゲータソフトウェアは、Ｃｏｍｐａｑ  ｉＰａｑ等のタッチスクリーンの（すなわち、スタイラスで制御される）ＰｏｃｋｅｔＰＣ搭載ＰＤＡデバイス、並びに一体型ＧＰＳ受信機２３を有するデバイス上で実行してもよい。組み合わされたＰＤＡ及びＧＰＳ受信機システムは、車載ナビゲーションシステムとして使用されるものとして設計される。本発明は、一体型ＧＰＳ受信機／コンピュータ／ディスプレイを有するデバイス、あるいは車両以外による使用（例えば、歩行者）又は自動車以外の車両（例えば、航空機）に対して設計されたデバイス等のナビゲーションデバイス１０の任意の他の構成で実現されてもよい。
【００４７】
図２は、上述のようなナビゲーションデバイス１０を示す。
【００４８】
ナビゲータソフトウェアは、ナビゲーションデバイス１０上で実行する場合、図２に示すようにディスプレイ１８に通常のナビゲーションモード画面をナビゲーションデバイス１０に表示させる。このビューは、テキスト、記号、音声ガイダンス及び動画地図の組合せを使用して運転指示を提供してもよい。重要なユーザインタフェース要素は、３Ｄ地図が画面の殆どを占有することである。尚、その地図は２Ｄ地図として示されてもよい。
【００４９】
地図は、ナビゲーションデバイス１０が動く方向が常に「上姿勢」になるように回転されたナビゲーションデバイス１０の位置及びその周囲を示す。ステータスバー２は、画面の下１／４に渡ってもよい。ナビゲーションデバイス１０の現在の場所（ナビゲーションデバイス１０自体が従来のＧＰＳ位置探索を使用して判定する）及びその姿勢（移動する方向から推測される）は、位置矢印３により示される。デバイスにより計算されたルート４（メモリ素子１１、１２、１３、１４、１５の地図データベースに格納された地図データに適用されるメモリ素子１１、１２、１３、１４、１５に格納されたルート計算アルゴリズムを使用して）は、陰影をつけた経路で示される。ルート４において、全ての主な動作（例えば、角、交差点、ロータリー等を曲がる）は、ルート４に重なる矢印５により概略的に示される。ステータスバー２は、左側に次の動作６（ここでは、右折）を示す概略的なアイコンを更に含む。ステータスバー２は、デバイスにより計算されたルート全体のデータベース（すなわち、選択されるルートを規定する全ての道路及び関連する動作のリスト）から抽出される次の動作までの距離（すなわち、右折−ここでは距離は１９０メートル）を更に示す。ステータスバー２は、現在の道路名８、到着までの推定時間９（ここでは、３５分）、実際の推定到着時間２５（４：５０ｐｍ）及び目的地までの距離２６（３１．６Ｋｍ）を更に示す。ステータスバー２は、移動電話と同様の信号強度指標でＧＰＳ信号強度等の追加の情報を更に示してもよい。
【００５０】
上述したように、ナビゲーションデバイスは、ユーザがナビゲーションメニュー（不図示）を呼び出すことを可能にするタッチスクリーン等の入力装置を具備してもよい。このメニューから、他のナビゲーション機能は開始又は制御される。非常に容易に呼び出される（例えば、地図の表示からメニュー画面まで１ステップである）メニュー画面からナビゲーション機能を選択することを可能にすることにより、ユーザ対話が非常に簡単化されて高速且つ容易になる。ナビゲーションメニューは、ユーザが目的地を入力するオプションを含む。
【００５１】
ナビゲーションデバイス１０自体の実際の物理的な構造は、一体型ＧＰＳ受信機２３又は外部ＧＰＳ受信機からのＧＰＳデータ出力以外は任意の従来の携帯型のコンピュータと基本的に異ならない。従って、メモリ素子１２、１３、１４、１５は、ルート計算アルゴリズム、地図データベース及びユーザインタフェースソフトウェアを格納する。プロセッサユニット１２は、ユーザ入力を解釈及び処理し（例えば、出発地及び目的地の住所を入力するためのタッチスクリーン、並びに全ての他の制御入力を使用して）、最適なルートを計算するルート計算アルゴリズムを展開する。「最適」は、最短時間又は最短距離、あるいは他のユーザに関係する要素等の基準を示してもよい。
【００５２】
更に詳細には、ユーザは、タッチスクリーン１８、キーボード１６等の提供された入力装置を使用して、ナビゲーションデバイス１０上で実行するナビゲーションソフトウェアにユーザの出発位置及び要求する目的地を入力する。ユーザは、移動ルートを計算する方法を選択する。ルートを非常に迅速に計算するがルートが最短ではない可能性のある「高速」モード；全ての可能なルートを調べ且つ最短のルートを見つけるが計算時間がより長い「フル」モード等の種々のモードが提供される。例えば、特に美しい景色としてマーク付けされた殆どの名所（興味のある位置）を通過するか又は子供が興味を持つ可能性のある殆どの名所を通過する景色のよいルート、あるいは分岐点が最も少ないルートをユーザが規定する等、他のオプションが可能である。
【００５３】
道路自体は、ナビゲーションデバイス１０上で実行するナビゲーションソフトウェアの一部である（又は、ナビゲーションソフトウェアによりアクセスされる）地図データベースにおいて線−すなわちベクトル（例えば、道路の始点、終点、方向であり、道路全体は、各々が始点／終点方向パラメータにより一意に規定される数百の部分から構成される）として記述される。地図は、そのような道路ベクトル、興味のある場所（名所）、道路名、公園の境界や川の境界等の他の地理的特徴の集合であり、それらはベクトルに関して規定される。全ての地図の特徴（例えば、道路ベクトル、名所等）は、ＧＰＳ座標系に対応するか又は関連する座標系で規定され、ＧＰＳシステムを介して判定されるデバイスの位置を地図に示される該当の道路に配置することを可能にする。
【００５４】
ルート計算は、ナビゲーションソフトウェアの一部である複雑なアルゴリズムを使用する。アルゴリズムは、大量の潜在的に異なるルートに点数をつけるために適用される。ナビゲーションソフトウェアは、景色のよいルート、歴史博物館及びスピードカメラなしとユーザが規定したフルモードスキャン等の基準（又はデバイスのデフォルト）に対してそれらルートを評価する。規定された基準に最もよく適合するルートは、プロセッサユニット１１により計算され、ベクトル、道路名及びベクトルの終点で行なわれる動作のシーケンス（例えば、１００メートル先でｘ通りを左折する等、ルートの各道路に沿う所定の距離に対応する）としてメモリ素子１２、１３、１４、１５のデータベースに格納される。
【００５５】
図３は、本発明によるナビゲーションデバイス１０を示す概略ブロック図である。図中、図１及び図２と同様に、対応する図中符号は対応する部分を示す。
【００５６】
本発明によると、カメラ２４は、プロセッサユニット１１にリアルタイム出力を提供するように構成されて提供される。カメラ２４は、使用中、ユーザの前方の道路を記録するように位置付けられる。自動車に位置付けられる場合、カメラ２４は車両の前方の道路を記録するように位置付けられる。カメラ２４は、ナビゲーションデバイス１０と一体化されてもよく、あるいはナビゲーションデバイス１０とは物理的に別個であってもよい。別個である場合、カメラ２４はケーブル又は無線接続を介してプロセッサユニット１１に接続されてもよい。カメラ２４は、例えばヘッドライトに近接して車両の前面に又は車両の屋根に位置付けられてもよい。
【００５７】
ナビゲーションデバイス１０は、ユーザが異なるカメラアングル間で切り替えられるように２つ以上のカメラ２４を提供されてもよい。リヤビューカメラが更に提供されてもよい。カメラは、デジタルカメラ又はアナログカメラ等の任意の種類のカメラであってもよい。カメラ２４により記録される画像は、ディスプレイ１８に表示される。
【００５８】
カメラ２４は、人間の目に可視である電磁スペクトルの範囲外の電磁放射を感知可能であるカメラであってもよい。カメラは、夜間の使用を可能にする赤外線カメラであってもよい。
【００５９】
図４は、自動車のダッシュボードに位置付けられるナビゲーションデバイス１０の一例を示す。ナビゲーションデバイス１０は、自動車の前方の道路に向けられるカメラ２４を具備する。図４は、ディスプレイ１８がユーザに面していることを更に示す。
【００６０】
本発明によると、ナビゲーションデバイス１０は、カメラからのリアルタイム出力をディスプレイ１８上に表示し、１つ以上のナビゲーションディレクションを組み合わせるか又は重ね合わせるように構成される。ナビゲーションディレクションは、位置矢印３、ルート４、矢印５、興味のある場所、道路、建物及びナビゲーションデバイス１０に格納される全ての更なるナビゲーションディレクションのうちの１つ以上であってもよい。これは、道路を記述するベクトルデータ等の地図データ自体を含んでもよい。これが達成される方法を以下に更に詳細に説明する。
【００６１】
カメラ２４により提供される画像は、道路の凹凸、エンジンによる車両の振動等により安定しない。従って、ナビゲーションデバイス１０には、安定した画像を提供するためにそれらの不要な振動を除去するソフトウェアを提供されてもよい。カメラ２４により提供される画像の不要な振動を除去するソフトウェアは、ビデオカメラにおいて広く使用される。ビデオカメラにおいて、そのソフトウェアはステディカムという名前で使用される。これは当業者には周知である。
【００６２】
カメラ２４からの出力は更に処理され、画質が向上されてもよい。この処理は、輝度、コントラストを調整することを含んでもよいが、任意の適切なフィルタであってもよい。フィルタは、雨の状況における画質を向上させるために使用されてもよい。
【００６３】
カメラ２４からの出力は、リアルタイムでディスプレイ上に表示されるが、例えば０．５秒毎等のある特定の時点で更新される静止画として表示されてもよい。連続する更新の間の適切な時間間隔は、ナビゲーションデバイス１０の車両の速度、移動方向の変化（曲がる）に依存して判定されてもよい。
【００６４】
また、ナビゲーションデバイスは、例えば、ナビゲーションデバイス／車両の速度に依存してズームイン又はズームアウトを実行するように構成されてもよい。このズーム動作は、ズーム動作を実行するように指示を与える制御信号をカメラ２４に送出することにより実行されてもよい。しかし、ズーム動作は、ディスプレイ１８において受信カメラ出力の一部を拡大して表示することにより実行されてもよい。
【００６５】
（第１の実施形態）
図５は、本発明の第１の例を示す。図５は、ナビゲーションデバイス１０により表示されるカメラ２４により記録された画像の静止画を示す。図示されるように、右折を示す矢印５はプロセッサユニット１１により重ね合わされる。本実施形態によると、使用し易い画像がユーザに対して表示され、容易に解釈できる。本実施形態は、複雑な数学的処理及びデータ処理が必要ないという利点を有する。
【００６６】
図５に示すナビゲーションディレクションの代わりに、遠近形状の矢印等の遠近形状のナビゲーションディレクションを含む上述のような他のナビゲーションディレクションが表示されてもよい。
【００６７】
（第２の実施形態）
図６は、カメラ２４により記録された画像の別の静止画を示す。この例によると、ナビゲーションデバイス１０はルート４及び矢印５を重ね合わせる。ルート４及び矢印５は、ディスプレイ１８上でのそれらの位置がカメラ２４により提供される画像と一致するように重ね合わされる。図６は、ルート４がディスプレイ１８に示される道路と一致するように表示されることを明確に示す。また、矢印５は、カメラ２４により提供される画像において右折を正確に示すように表示される。
【００６８】
図５に示す実施形態は、カメラ２４により提供される画像と例えば矢印５であるナビゲーションディレクションとを重ね合わせるか又は組み合わせることにより容易に達成されることが理解されるであろう。しかし、図６に提供される画像を作成するため、カメラ２４により提供される画像とナビゲーションディレクションとを合致させるには、更に複雑なデータ処理が必要とされる。これを以下に更に詳細に説明する。
【００６９】
カメラ画像の対応する部分に対して所定の空間関係を有するようにナビゲーションディレクションを重ね合わせるために、正確なカメラの位置、方向及びカメラ設定を知る必要がある。この全ての情報が分かる場合、処理ユニット１１は、例えばディスプレイ１８上の道路の位置を計算し、ルート４を重ね合わせる。
【００７０】
第１に、カメラ２４の位置が判定される必要がある。これは、処理ユニット１１及び／又は位置決め装置２３により判定されるＧＰＳ情報を使用することにより単純に行なわれてもよい。ナビゲーションデバイス１０及びカメラ２４の位置情報は、従来の用途に従ってナビゲーションデバイス１０において既に利用可能である。
【００７１】
第２に、カメラ２４の姿勢が判定される必要がある。これは、処理ユニット１１と通信するように構成された姿勢センサを使用して行なわれる。姿勢センサは、位置決め装置２３及び傾斜センサ２７、２８であってもよい。傾斜センサ２７、２８はジャイロスコープであってもよい。
【００７２】
図７は、本発明の一実施形態によるカメラ２４を示す。図７に示すように、第１の回転方向は、軸Ｃに対して判定される必要がある。また、これは、処理ユニット１１及び／又は位置決め装置２３により判定されるＧＰＳ情報を使用して単純に行なわれてもよい。時間的に連続するポイントにおけるナビゲーションデバイス１０の位置を比較することにより、ナビゲーションデバイス１０の動く方向が判定される。この情報は、従来の用途に従ってナビゲーションデバイス１０において既に利用可能である。カメラ２４がナビゲーションデバイス１０の移動の方向を向いていると仮定する。しかし、更に以下に説明するように、必ずしも上記仮定に当てはまる必要はない。
【００７３】
カメラ２４の第１の回転方向Ｃは、ナビゲーションデバイス又はカメラ２４により構成される（電子）コンパスを使用して判定されてもよい。コンパスは、電子コンパスでもよく又はアナログコンパスでもよい。コンパスが提供するコンパス読み取り値は、処理ユニット１１に通信される。処理ユニット１１は、コンパス読み取り値に基づいてカメラ２４の第１の回転方向を判定する。
【００７４】
カメラ２４の姿勢を更に判定するために、図７に示すように、カメラ２４は傾斜センサ２７、２８を提供されてもよい。傾斜センサ２７、２８は、カメラ２４の傾斜を測定するように構成される。第１の傾斜センサ２７は、図７の曲線の矢印Ａにより示される第２の回転方向への傾斜、すなわち図の表面に対して略垂直な軸を中心とする回転を測定するように構成される。第２の回転方向への傾斜は、ディスプレイ１８上に表示されるカメラ画像における水平線の高さを判定する。表示されるカメラ画像に対するそのような回転の影響を図８ａに概略的に示す。
【００７５】
第２の傾斜センサ２８は、点線Ｂにより図７に示されるカメラ２４の中心軸である第３の回転軸を中心とする回転の結果として生じる傾斜を測定するように構成される。表示されるカメラ画像に対するそのような回転の影響を図８ｂに概略的に示す。
【００７６】
使用中、第１の回転軸は略垂直であり、第２の回転軸及び第３の回転軸は、第１の回転軸に対して及び互いに対して略垂直である。
【００７７】
傾斜センサ２７、２８により判定される傾斜値は、プロセッサユニット１１に通信される。傾斜センサ２７及び２８は、単一の一体型傾斜センサとして構成されてもよい。
【００７８】
また、カメラ設定、特にカメラ２４のレンズのズーム係数、カメラアングル、焦点距離等は、プロセッサユニット１１に通信されてもよい。
【００７９】
カメラ２４の位置、方向及び設定を記述するためにプロセッサユニット１１が入手可能である情報に基づいて、プロセッサユニット１１は、メモリ素子１１、１２、１３、１４、１５に格納される地図データに対応する道路、踏み切り、分岐、興味のある場所等がディスプレイ１８に表示される位置を判定する。
【００８０】
その情報に基づいて、プロセッサユニット１１は、ルート４、矢印５、興味のある場所（名所）等のナビゲーションディレクションがカメラビューと一致するように、プロセッサユニット１１により表示されるカメラ画像上にそれらナビゲーションディレクションを重ね合わせてもよい。ナビゲーションディレクションが道路表面上に浮かんで見えるように、あるいは道路表面に対して他の所定の空間関係を有するように、ナビゲーションディレクションを重ね合わせることは有用である。
【００８１】
ナビゲーションデバイス１０が分岐点又は曲がり角（あるいは他の方向変化）までの距離を計算するため、ナビゲーションデバイス１０は、ディスプレイ１８上に表示されるナビゲーションディレクションの形成方法と、カメラ２４からの出力に示される方向が変化する実際の場所に対応するようにナビゲーションディレクションが位置付けられるべき場所とをほぼ正確に算出できる。
【００８２】
しかし、いくつかの理由により誤差が発生する可能性がある。第１の場所において、ナビゲーションデバイス１０は、多くの方法で車両のダッシュボードに搭載される。例えば、時間的に連続するポイントにおけるナビゲーションデバイス１０の位置を比較することにより軸Ｃに対するカメラ２４の第１の回転方向を判定する場合、カメラ２４は直進方向に向けられると仮定される。しかし、カメラ２４が車両と完璧に位置合わせされない場合、重ね合わされたナビゲーションディレクションの不一致が発生する恐れがある。
【００８３】
上述のように、カメラ２４が内蔵のコンパスを提供される場合、軸Ｃに対するカメラの第１の回転姿勢は、ナビゲーションデバイス１０の判定された移動方向とコンパスの読み取り値とを比較することにより計算される。しかし、誤差は依然として存在し、その結果、重ね合わされたナビゲーションディレクションとカメラ出力との間の不一致が生じる恐れがある。
【００８４】
また、傾斜センサ２７、２８は、絶対傾斜ではなく相対傾斜のみを測定できてもよい。これは、カメラ画像上のナビゲーションディレクションの正確な位置付けを可能にするために、ナビゲーションデバイス１０が校正される必要があることを意味する。
【００８５】
それら誤差を補償するために、ナビゲーションデバイス１０は、ユーザが表示されたカメラ画像に対して表示された画像の相対位置を調整することを可能にするメニューオプションを提供してもよい。この調整は、ナビゲーションディレクションが表示される位置を変更することにより及び／又はカメラ画像が表示される位置を変更することにより及び／又はカメラ２４の姿勢を変更することにより、ナビゲーションデバイス１０により実行されてもよい。最後のオプションとして、カメラ２４はその姿勢を変更するために動作装置を提供されてもよい。カメラ２４は、ナビゲーションデバイス１０に依存せずに動作されてもよい。カメラ２４がナビゲーションデバイス１０と一体形成される場合、動作装置は、ナビゲーションデバイス１０の姿勢又はナビゲーションデバイス１０に対するカメラ２４の姿勢を変更してもよい。
【００８６】
ユーザは、ナビゲーションディレクションをカメラ画像と合致させるために、ナビゲーションディレクションの位置を校正するのに矢印キーを単純に使用してもよい。例えば、図７に示すように、カメラ２４が軸Ｃを中心に左に傾斜するように位置付けられる場合、ナビゲーションディレクションは、カメラ画像の対応する部分より右側になる。ユーザは、ナビゲーションディレクションを左方向にドラッグするために左矢印キーを使用することによりこの誤差を修正できる。ナビゲーションデバイス１０は、表示されるカメラ画像に対して重ね合わされたナビゲーションディレクションの表示される回転姿勢を調整するオプションをユーザに提供するように更に構成されてもよい。
【００８７】
ナビゲーションデバイス１０は、例えば、カメラ２４の異なる高さにより生じる遠近図の不一致を修正するオプションをユーザに提供するように更に構成されてもよい。自動車の上部に位置付けられるカメラ２４は、ダッシュボード上に又は車両のヘッドライト間に位置付けられるカメラ２４とは異なる道路のビュー（異なる遠近形状）を提供する。３Ｄ方向（例えば、３Ｄ矢印）又は道路のベクトル表現等のナビゲーションディレクションをカメラビューに適合させるために、ナビゲーションディレクションの遠近変形が適用される必要がある。この遠近変形は、カメラ２４の高さ、カメラ設定及び図７に示す矢印Ａの方向のカメラ２４の第２の回転方向に依存する。
【００８８】
プロセッサユニット１１は、入力された校正修正を格納し、同様の校正修正を更に表示される全ての画像に適用する。カメラ２４の測定された位置、方向及び姿勢の全ての更なる変更は、プロセッサユニット１１により処理され、ナビゲーションディレクションの正確な重ね合わせを継続して保証する。これにより、車両の方向の変化によるカメラの動き、あるいは速度ランプ、急な曲がり角、加速、ブレーキ等及びカメラ２４の姿勢に影響を与える他の原因によるカメラの動きを正確に補償することが可能になる。
【００８９】
図９は、本発明の第２の実施形態によるナビゲーションデバイス１０の機能性を示すフローチャートである。フローチャートに示すステップは、処理ユニット１１により実行されてもよい。尚、目的地の住所の入力、ルートの選択等に関する全てのステップは従来技術において周知であるため、図９においては省略される。
【００９０】
第１のステップ１０１において、ナビゲーションデバイス１０の電源が投入され、ユーザはカメラ様式を選択する。これは、図９において「開始」で示される。
【００９１】
第２のステップ１０２において、処理ユニット１１は、ナビゲーションデバイス１０の位置を判定する。これは、上述のように、ＧＰＳデバイス等の位置決め装置２３からの入力を使用して行なわれる。
【００９２】
次のステップ１０３において、処理ユニット１１は、ナビゲーションデバイス１０の移動の方向を判定する。これに対しても、位置決め装置２３からの入力が使用される。
【００９３】
次のステップ１０４において、カメラ２４の姿勢及びカメラ設定が処理ユニット１１により判定される。位置決め装置２３からの入力が使用される。また、カメラ２４の姿勢を判定するために、傾斜センサ２７、２８からの入力が使用される。
【００９４】
ステップ１０５によると、カメラ画像は、処理ユニット１１によりディスプレイ１８上に表示される。ステップ１０６において、処理ユニット１１は、選択された数のナビゲーションディレクション（位置矢印３、ルート４、矢印５、興味のある場所、道路、地図データ等）を重ね合わせる。これを行なうために、収集された全ての情報が使用され、表示されるナビゲーションディレクションの位置及び形状を計算する。必要に応じて、ユーザは重ね合わされたナビゲーションディレクションの位置及び／又は形状を調整することによりその計算値を校正してもよい。このオプションのステップは、ステップ１０７により示される。
【００９５】
ステップ１０２〜１０７は、使用中に必要な回数又は所望の回数だけ繰り返されてもよい。
【００９６】
方向の矢印５に加えて他の種類の仮想記号は、メモリ素子１２、１３、１４、１５に格納されてもよい。例えば、メモリ素子１２、１３、１４、１５に格納された道路名、交通標識、制限速度、スピードカメラ又は興味のある場所に関連するアイコンが格納されてもよい。それら全ては、仮想記号が関連する実世界の特徴に対応する、表示されるカメラ画像における空間位置を使用してカメラ２４からの出力上に重ね合わされる。従って、処理ユニット１１は、実世界の特徴に対する位置データを含んだ２Ｄ地図データをナビゲーションソフトウェアから取得でき、ビデオ出力において重ね合わされる場合に正確に配置されるようにする幾何学的変換を適用できる。
【００９７】
例えば、ナビゲーションデバイス１０を載せた車両が坂道を上る又は下る場合、傾斜センサ２７、２８は、図７に示される矢印Ａの方向への傾斜を検出する。しかし、ナビゲーションディレクションがカメラ画像と一致するようにナビゲーションディレクションをカメラ画像上に正確に重ね合わせるために、その傾斜は修正されるべきではない。これは、高度情報を含む地図データをナビゲーションデバイスに提供することにより構成される。地図の高度データに基づいて、ナビゲーションデバイス１０は、車両が移動している道路の姿勢に一致するカメラ２４の傾斜を計算する。この予測した傾斜は、傾斜センサ２７、２８により検出された傾斜と比較される。予測した傾斜と検出した傾斜との差は、重ね合わされたナビゲーションディレクションの位置を調整するために使用される。
【００９８】
地図データが高度情報を含まない場合、車両は、車両傾斜センサ３０を提供されてもよい。車両傾斜センサ３０は、車両傾斜読み取り値を処理ユニット１１に提供するように構成される。車両傾斜センサ３０の読み取り値は、傾斜センサ２７、２８の読み取り値と比較され、不要な振動による差は、重ね合わされたナビゲーションディレクションの位置を調整するために使用される。
【００９９】
先に説明し且つ示した例に対する全ての種類の変形例が考慮されることが理解されるであろう。
【０１００】
図１０は、地図データが建物等の道路沿いの物体を記述するデータを含む一例を示す。この例によると、建物上に重ね合わされるナビゲーションディレクション３、４、５は、破線又は点滅する線により示される。これにより、それら線で示さなければ建物により視界を遮られる地図データ、ルート４及び矢印５をユーザは視認できる。
【０１０１】
（第３の実施形態）
第３の実施形態によると、ナビゲーションディレクションは、パターン認識技術を使用することによりカメラ画像上に重ね合わされる。
【０１０２】
近年、ビデオ出力における実際の物体を識別するための画像フレーム（例えば、カメラ２４により提供されるようなビデオ出力）のリアルタイム解析の分野は非常に進歩している。文献は、この分野において非常に広範囲にわたる。例えば、米国特許第５，６２７，９１５号公報（Princeton Video Image Inc.）を参照してもよい。この特許文献において、スポーツ競技場等のシーンからの映像はパターン認識ソフトウェアにより解析され、オペレータは競技場のコントラストの高い領域を手動で示し（例えば、競技場にマーク付けされた線、競技場の端、掲示板）、ソフトウェアはそれらコントラストの高いランドマークを使用して競技場全体の幾何学モデルを構築する。ソフトウェアは、それらのランドマークを探すリアルタイムビデオ出力を解析できる。その後、ソフトウェアはコンピュータが生成した格納された画像（例えば、掲示板の広告）を取得でき、画像合成技術を使用して幾何学モデルを参照して規定された場所においてビデオ出力に挿入される場合に、画像が映像の閲覧者にとって全体的に自然なシーンの一部に見えるように、格納された画像に幾何学的変換を適用する。
【０１０３】
Ｆａｃｅｔ  Ｔｅｃｈｎｏｌｏｇｙの米国特許出願公開第２００１／００４３７１７号を参照すると、道路標識を認識するために移動中の車両から得られる映像を解析できるシステムが開示される。
【０１０４】
一般的に、実世界の特徴を認識するためのリアルタイム映像の解析に適用されるパターン認識技術は、十分に確立された広範な分野である。
【０１０５】
一実現例において、ナビゲーションデバイス１０は、カメラ２４からのビデオ出力において実世界の特徴を認識するためにパターン認識ソフトウェアを展開し、ビデオ出力において認識された実世界の特徴に対して所定の空間関係でナビゲーションディレクション（矢印５等）をディスプレイ１８上に表示する。例えば、ビデオ出力は、ナビゲーションデバイス１０が移動している現在の道路を示してもよく、ナビゲーションディレクションは、その道路に重ね合わされる３Ｄ方向（例えば、３Ｄ矢印）である。道路の曲がり角及び他の特徴は、グラフィカルに表されるか又はアイコンで表され、それらが関連する実世界の特徴に重なるように位置付けられる。
【０１０６】
処理ユニット１１は、高い視覚コントラストを有し且つ所定の道路と関連付けられる特徴を認識できるようにプログラムされてもよい。特徴は、一貫した方向に動く車両であってもよく又は道路標示（例えば、外側線、中央線等）であってもよい。
【０１０７】
尚、ナビゲーションデバイス１０は、高い視覚コントラストを有し且つ道路と関連付けられる特徴を認識できるようにプログラムされる。例えば、特徴は一貫した方向に動く車両であってもよく又は道路標示であってもよい。
【０１０８】
例えば、ナビゲーションデバイス１０は、前方の道路の幾何学モデルによりプログラムされる。モデルは単に２本の線である。モデルは、上述のように、地図データを形成するために格納されたベクトルデータであってもよい。
【０１０９】
使用中、パターン認識ソフトウェアは、格納された幾何学モデル（例えば、２本の線）に対応するカメラ２４により提供されたリアルタイムビデオストリームにおいて視覚的特徴を探す。パターン認識ソフトウェアは、それら特徴を見つけると、前方の道路を事実上認識したことになる。通常、これは、格納されたモデルに合致するように、迅速な移動及び変換がビデオ出力（例えば、２本の線）において認識された特徴に適用されることを要求する。移動は、認識された特徴を格納されたモデルと略位置合わせするためのｘ−ｙ移動である。変換は、異なるカメラの高さ及び２つの線の間の相対的な姿勢に対応し、異なるカメラのビューアングル及びカメラと道路との間の相対的な角度に対応するように短縮法で描くことを含む。同様に、変換は、認識された特徴に対して格納されたモデルを位置合わせし且つ形成するために適用される。
【０１１０】
パターン認識アルゴリズムが、入力として地図データを有することが有利であることは、当業者によって理解されるであろう。アルゴリズムが認識するパターンに関する知識を事前に有している場合、パターンの認識は容易且つ迅速に行なわれる。この知識は、入手可能な地図データから容易に取得される。
【０１１１】
変換が分かれば、任意のビデオフレームにおける道路の遠近、形状或いは姿勢に対応するように、事前に格納された矢印アイコンの遠近、形状或いは姿勢を形成することは比較的簡単な問題である（種々の幾何学的変換がこれに適する）。従来の画像合成を使用してディスプレイに示される道路上に方向を示す矢印を重ね合わせる。矢印が道路表面上に浮かんで見えるように、あるいは道路表面に対して他の所定の空間関係を有するように、矢印を重ね合わせることは有用である。
【０１１２】
ナビゲーションデバイス１０が分岐点又は曲がり角（あるいは他の方向の変化）までの距離を計算するため、ナビゲーションデバイス１０は、ビデオ出力に示される方向の変化の実際の場所に対応するように、ディスプレイ１８に表示されるナビゲーションディレクションが形成される方法をほぼ正確に算出できる。
【０１１３】
ナビゲーションデバイス１０は、上述の実施形態の組合せを使用してもよいことが理解されるであろう。例えば、ナビゲーションデバイスは、ディスプレイ１８上のナビゲーションディレクションのおおよその位置を判定するために姿勢及び位置の測定値を使用してもよく、また、ディスプレイ１８上のナビゲーションディレクションの位置を判定するためにパターン認識技術を使用してもよい。
【０１１４】
上述の実施形態に対する多くの代替例及び変形例が考慮されることが理解されるであろう。例えば、別の特徴は、デバイスのメモリ１２、１３、１４、１５に格納された道路名、交通標識（例えば、一方通行、進入禁止、出口番号、地名等）、制限速度、スピードカメラ及び興味のある場所の指示がビデオ出力上に重ね合わされることである。すなわち、ビデオフレームにおけるこの「仮想記号」の空間位置は、その仮想記号が関連する実世界の特徴に対応する。従って、制限速度（例えば、テキスト「３０ｍｐｈ」）は、制限速度が３０ｍｐｈの道路の道路表面に重なって見えるか又は道路表面の一部として見えるように重ね合わされる。特定の種類の交通標識を表すアイコンは、実世界の標識が有益な場所に現れるようにビデオストリーム上に重ね合わされる。
【０１１５】
方向の矢印５に加えて他の種類の仮想記号は、メモリ素子１２、１３、１４、１５に格納されてもよい。例えば、道路名、交通標識、制限速度、スピードカメラ、バス停、博物館、番地又は興味のある場所に関連するアイコンは、メモリ素子１２、１３、１４、１５に格納されてもよい。これら全ては、仮想記号が関連する実世界の特徴に対応する表示される映像における空間位置を使用してビデオ出力上に重ね合わされる。従って、ソフトウェアは、実世界の特徴に対する位置データを含んだ２Ｄ地図データをナビゲーションソフトウェアから取得でき、ビデオ出力において重ね合わされる場合に正確に配置されるようにする幾何学的変換を適用できる。
【０１１６】
更に別の例によると、パターン認識技術は、例えば他の車両又はトラック等の道路上の物体を認識するように更に構成されてもよい。そのようなオブジェクトが認識される場合、表示されるルート４は、図１１に示すように点線で示されてもよい。これにより、ユーザが更に容易に解釈する画像が提供される。
【０１１７】
（第４の実施形態）
第４の実施形態によると、カメラ２４からの出力、並びに位置矢印３、ルート４、矢印５、興味のある場所（名所）、道路、建物、例えばベクトルデータである地図データ等のナビゲーションディレクションは、重ね合わされないが組み合わされてディスプレイ１８に示される。
【０１１８】
この組み合わせは、カメラ出力を表示する第１の部分と、ナビゲーションディレクションを表示する第２の部分とにディスプレイを分割することにより達成されてもよい。しかし、組み合わせが時間で実行されてもよい。すなわち、ナビゲーションデバイスは、カメラ出力及びナビゲーションディレクションを順に連続的に示すように構成されてもよい。これは、第１の期間に（例えば、２秒間）カメラ出力を示し、次に第２の期間に（例えば、２秒間）ナビゲーションディレクションを示すことにより達成されてもよい。しかし、ナビゲーションデバイスは、ユーザの要望に応じてカメラ出力とナビゲーションディレクションとを切り替えるオプションをユーザに提供してもよい。
【０１１９】
当然、２つ以上のカメラが使用されてもよい。ユーザは、第１のカメラ出力から第２のカメラ出力へ切り替えるオプションを提供されてもよい。ユーザは、ディスプレイ１８上に２つ以上のカメラ出力を同時に表示することを選択してもよい。
【０１２０】
更に別の例によると、ユーザはズームイン又はズームアウトしてもよい。ズームアウトする場合、更に多くのナビゲーションデバイス１０の環境がディスプレイ１８上に表示されるようになる。ユーザは、例えば、図２に示すようなナビゲーションデバイス１０の位置を含むヘリコプタービューを選択してもよいことが理解されるであろう。そのようなビューは、背後から見られるナビゲーションデバイス１０（又は車両）の画像を提供する。当然、そのようなビューは、ナビゲーションデバイス１０又は車両上に固定されたカメラにより提供されない。従って、ナビゲーションデバイス１０は、図１２に示すような画像の一部のみが地図データ及びナビゲーションディレクションにより囲まれたカメラビューである画像を提供してもよい。
【０１２１】
本発明の特定の実施形態を説明したが、本発明は上述した以外の方法で実現されてもよいことが理解されるであろう。例えば、本発明は、先に開示された方法を記述する機械可読命令の１つ以上のシーケンスを含むコンピュータプログラムの形態をとってもよく、あるいはそのようなコンピュータプログラムを格納したデータ記憶媒体（例えば、半導体メモリ、磁気ディスク又は光ディスク）の形態をとってもよい。任意のソフトウェアコンポーネントがハードウェアコンポーネントとして形成されてもよいことは、当業者には理解されるであろう。
【０１２２】
上記説明は、例示することを意図しており、限定することを意図しない。従って、以下の請求の範囲から逸脱せずに、説明された本発明に対して変形が行なわれてもよいことが当業者には明らかとなるであろう。
【図面の簡単な説明】
【０１２３】
【図１】ナビゲーションデバイスを概略的に示す概略ブロック図である。
【図２】ナビゲーションデバイスを概略的に示す概略図である。
【図３】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す概略ブロック図である。
【図４】本発明の一実施形態に関わるナビゲーションデバイスを具備する車両を概略的に示す図である。
【図５】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す図である。
【図６】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す図である。
【図７】本発明の一実施形態に関わるカメラを概略的に示す図である。
【図８ａ】カメラの異なる傾斜の結果として生じるディスプレイ上でのカメラ画像の異なる動きを概略的に示す図である。
【図８ｂ】カメラの異なる傾斜の結果として生じるディスプレイ上でのカメラ画像の異なる動きを概略的に示す図である。
【図９】本発明の一実施形態に関わるナビゲーションデバイス１０の機能性を概略的に示すフローチャートである。
【図１０】本発明の一実施形態に関わるナビゲーションデバイスを概略的に示す図である。
【図１１】本発明の一実施形態に関わるナビゲーションデバイスを示す図である。
【図１２】本発明の更なる実施形態に関わるナビゲーションデバイスを示す図である。
【図１】
2008542746.tif 000003
【図２】
2008542746.tif 000004
【図３】
2008542746.tif 000005
【図４】
2008542746.tif 000006
【図７】
2008542746.tif 000007
【図８ａ】
2008542746.tif 000008
【図８ｂ】
2008542746.tif 000009
【図９】
2008542746.tif 000010
【図５】
2008542746.tif 000011
【図６】
2008542746.tif 000012
【図１０】
2008542746.tif 000013
【図１１】
2008542746.tif 000014
【図１２】
2008542746.tif 000015
【国際調査報告】
2008542746.tif 000016
2008542746.tif 000017