(57)【要約】【課題】  地図データには含まれていない車両などの物体を含めて自車位置周辺の平面図を表示する。【課題手段】  車載用ナビゲーション装置の記憶装置には、地図データと、物体（例えば、車両、バイク、人、建物）の画像データ（例えば、３Ｄポリゴンデータ）とが記憶されている。そして、カメラにより取得した映像を用いて、車両の周辺に存在する物体に対応する画像データを選択し、選択した画像データから生成される物体の画像（ポリゴン）を、車両周辺の地図上に配置した後、天頂方向からの平面図に変換し表示する。【選択図】図１
2007010515.tif 000002
【特許請求の範囲】
【請求項１】
車両のナビゲーション装置であって、
地図データと物体の画像データとを記憶する記憶手段と、
前記車両の周辺の映像を取得する周辺映像取得手段と、
前記周辺映像取得手段により取得した映像を用いて、前記車両の周辺に存在する物体に対応する画像データを選択する選択手段と、
前記選択手段により選択した画像データから生成される物体の画像を、前記車両周辺の地図上に配置して表示する表示手段と
を備えることを特徴とするナビゲーション装置。
【請求項２】
車両のナビゲーション装置であって、
地図データと、物体の三次元データを含む物体三次元データとを記憶する記憶手段と、
前記車両の周辺の映像を取得する周辺映像取得手段と、
前記周辺映像取得手段により取得した映像を用いて、前記車両の周辺に存在する物体に対応する三次元データを前記物体三次元データの中から選択する選択手段と、
前記選択手段により選択した三次元データから生成される物体の画像を、前記車両の周辺の地図上に配置させて表示する表示手段と
を備えることを特徴とするナビゲーション装置。
【請求項３】
請求項２において、
前記表示手段は、
前記選択手段により選択した三次元データから生成される物体の三次元画像を、前記車両の周辺の地図上に配置させ、天頂方向から見た前記車両周辺の平面図を表示する
ことを特徴とするナビゲーション装置。
【請求項４】
請求項２において、
前記表示手段は、
前記選択手段により選択した三次元データから生成される物体の三次元画像に、前記周辺映像取得手段により取得した画像を用いてテクスチャーマッピングし、当該テクスチャーマッピングした三次元画像を、前記車両の周辺の地図上に配置させて表示する
ことを特徴とするナビゲーション装置。
【請求項５】
請求項２において、
前記表示手段は、
前記選択手段により選択した三次元データから生成される物体の三次元画像について、前記周辺映像取得手段により取得した当該物体の画像に対応する部分には、当該取得した画像を用いてテクスチャーマッピングし、当該周辺映像取得手段により取得した当該物体の画像に対応しない部分には、予め定めた色をマッピングし、
当該マッピングした物体の三次元画像を、前記車両の周辺の地図上に配置させて表示する
ことを特徴とするナビゲーション装置。
【請求項６】
請求項２において、
前記周辺画像取得手段は、
撮像装置と、
前記撮像装置のレンズに複数方向の映像を同時に入射させるプリズムと、
少なくも前記プリズムを回動させる手段と
を備える
ことを特徴とするナビゲーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ナビゲーション装置に関し、特に車載用ナビゲーション装置の表示技術に関する。
【背景技術】
【０００２】
特許文献１には、自車周辺の様子を監視するために、車両に設置されたカメラで撮影した映像をディスプレイに表示する車載用ナビゲーション装置が記載されている。
【０００３】
【特許文献１】特開２００１−０３３２６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、ユーザが自車位置周辺の様子を知りたい場合、カメラで撮影した映像そのものより、例えば、天頂方向から観た自車位置周辺の様子が表示された方が良いことがある。特許文献１の技術では、視点方向を変えて表示することはできないので、このニーズに答えられない。また、単なる天頂方向からの平面図は、地図データを用いて表示することはできるが、地図データに含まれていない車両などの物体をその平面図に含ませることはできない。
【０００５】
本発明の目的は、地図データには含まれていない車両などの物体を含めて自車位置周辺の平面図を表示することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決すべく、本発明の車両のナビゲーション装置は、車両に設置されたカメラから取得した映像を基に、天頂方向からの平面図を生成し表示する。
【０００７】
例えば、本発明の車両のナビゲーション装置は、地図データと物体の画像データとを記憶する記憶手段と、前記車両の周辺の映像を取得する周辺映像取得手段と、前記周辺映像取得手段により取得した映像を用いて、前記車両の周辺に存在する物体に対応する画像データを選択する選択手段と、前記選択手段により選択した画像データから生成される物体の画像を、前記車両周辺の地図上に配置して表示する表示手段とを備えている。
【０００８】
また、前記ナビゲーション装置は、地図データと、物体の三次元データ（例えば、３Ｄポリゴンデータ）を含む物体三次元データとを記憶する記憶手段と、前記車両の周辺の映像を取得する周辺映像取得手段と、前記周辺映像取得手段により取得した映像を用いて、前記車両の周辺に存在する物体に対応する三次元データを、前記物体三次元データの中から選択する選択手段と、前記選択手段により選択した三次元データから生成される物体の画像を前記車両の周辺の地図上に配置させて表示する表示手段とを備えていてもよい。
【発明を実施するための最良の形態】
【０００９】
以下に、本発明の一実施形態について、図面を参照して説明する。
【００１０】
図１は、車載用ナビゲーション装置１００の概略構成図である。図示するように、車載用ナビゲーション装置１００は、演算処理部１と、ディスプレイ２と、記憶装置３と、音声入出力装置４と、入力装置５と、車輪速センサ６と、地磁気センサ７と、ジャイロセンサ８と、ＧＰＳ(Global Positioning System)受信装置９と、カメラ１０とを備えている。
【００１１】
演算処理部１は、様々な処理を行う中心的ユニットである。例えば各種センサ６〜８やＧＰＳ受信装置９から出力される情報を基にして現在地を検出する。また、得られた現在地情報に基づいて、表示に必要な地図データを記憶装置３から読み出す。また、読み出した地図データをグラフィックス展開し、そこに現在地を示すマークを重ねてディスプレイ２へ表示する。また、記憶装置３に記憶されている地図データを用いて、ユーザから指示された目的地と現在地（出発地）とを結ぶ最適な経路（推奨経路）を探索する。また、音声入出力装置４やディスプレイ２を用いてユーザを誘導する。
【００１２】
ディスプレイ２は、演算処理部１で生成されたグラフィックス情報を表示するユニットである。ディスプレイ２は、ＣＲＴや液晶ディスプレイなどで構成される。演算処理部１とディスプレイ２との間の信号Ｓ１は、ＲＧＢ信号やＮＴＳＣ（National Television System Committee）信号で接続するのが一般的である。
【００１３】
記憶装置３は、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭやＨＤＤやＩＣカードといった記憶媒体で構成されている。この記憶媒体には、地図データが記憶されている。
【００１４】
地図データは、地図上の区画された領域であるメッシュの識別コード（メッシュＩＤ）ごとに、そのメッシュ領域に含まれる道路を構成する各リンクのリンクデータを含む。リンクデータは、リンクＩＤごとに、リンクを構成する２つのノード（開始ノード、終了ノード）の座標情報、リンクを含む道路の種別情報、リンクの長さを示すリンク長情報、リンク旅行時間、２つのノードにそれぞれ接続するリンクのリンクＩＤ（接続リンクＩＤ）などを含んでいる。なお、ここでは、リンクを構成する２つのノードについて開始ノードと終了ノードとを区別することで、同じ道路の上り方向と下り方向とを、それぞれ別のリンクとして管理するようにしている。
【００１５】
また、地図データには、対応するメッシュ領域に含まれている道路以外の地図構成物（建物、街路樹、ガードレールなど）の情報（位置、大きさなど）も含まれている。
【００１６】
記憶装置３には、さらに、車、バイク、自転車、人などの移動するもの（動体）の３次元データである動体ポリゴンデータ３１０と、建物、街路樹、中央分離帯、ガードレールなどの静止物の３次元データである静止物ポリゴンデータとが記憶されている。
【００１７】
図２は、動体ポリゴンデータ３１０の構成を示す図である。動体ポリゴンデータ３１０は、ポリゴンの名称３１１、実際の大きさ３１２、３Ｄポリゴンデータ３１３などを含んでいる。名称３１１は、車両の場合は、車種、型式などを含んでいる。実際の大きさ３１２は、車両の場合、幅、長さ、高さなどを含んでいる。ポリゴンファイル３１３は、３Ｄポリゴンを構成する面の情報、その配色などを含んでいる。
【００１８】
図３は、静止物ポリゴンデータ３２０の構成を示す図である。静止物ポリゴンデータ３２０は、動体ポリゴンデータ３２０と同様に、ポリゴンの名称３２１、実際の大きさ３２２、３Ｄポリゴンデータ３２３などを含んでいる。
【００１９】
図１に戻って説明する。
【００２０】
音声入出力装置４は、演算処理部１で生成したユーザへのメッセージを音声信号に変換し出力する。また、ユーザが発した声を認識し演算処理部１にその内容を転送する処理を行う。
【００２１】
入力装置５は、ユーザからの指示を受け付けるユニットである。入力装置５は、スクロールキー、縮尺変更キーなどのハードスイッチ、ジョイスティック、ディスプレイ上に貼られたタッチパネルなどで構成される。
【００２２】
センサ６〜８およびＧＰＳ受信装置９は、車載用ナビゲーション装置１００で現在地（自車位置）を検出するために使用されるものである。車輪速センサ６は、車輪の円周と計測される車輪の回転数の積から距離を測定し、さらに対となる車輪の回転数の差から移動体が曲がった角度を計測する。地磁気センサ７は、地球が保持している磁場を検知し、移動体が向いている方角を検出する。ジャイロ８は、光ファイバジャイロや振動ジャイロ等で構成され、移動体が回転した角度を検出するものである。ＧＰＳ受信装置９は、ＧＰＳ衛星からの信号を受信し移動体とＧＰＳ衛星間の距離と距離の変化率を３個以上の衛星に対して測定することで移動体の現在位置、進行速度および進行方位を測定する。
【００２３】
カメラ１０は、車載用ナビゲーション装置１００が搭載されている車両の周辺の映像を取得するための撮像装置である。
【００２４】
図４は、カメラ１０の概略構成図である。カメラ１０は、鉛直方向に上から、プリズム１０１と、ＣＣＤカメラなどの小型カメラ１０３と、ステッピングモータ１０４とで構成されている。プリズム１０１は、１つのカメラで複数方向の像（本実施形態では、相反する２つの方向の像）を同時に撮像するためにある。プリズム１０１は、テーパ形状をなしており、その底面１０１ｃはカメラレンズ１０２に対向している。２つの斜面１０１ａ，ｂの傾斜角度は、相反する２つの水平方向の像が一度にカメラレンズ１０２に入射するように調整されている。
【００２５】
小型カメラ１０３は、プリズム１０１とともに、ステッピングモータ１０４により、回動制御される。小型カメラ１０３は、プリズム１０１とともに回動することにより、周囲３６０°の映像を撮影可能である。回動方向は、一定でもよいし、反転可能としてもよい。回動制御は、演算処理部１からの指示でなされる。
【００２６】
図５は、カメラ１０の設置位置を説明する図である。図５（ａ）は車両の前面、（ｂ）は左側面、（ｃ）は天頂から観た上面、（ｄ）は右側面、（ｅ）は後面である。本実施形態の車載用ナビゲーション装置１００は、複数のカメラ１０を備えている。図示するように、車両１５の前後左右の角に、Ｆ〜Ｉの４つのカメラ１０が設置されている。設置位置は、死角を減らし、より広範囲の映像が取得できるように調整されている。
【００２７】
図６は、図５で示したようにカメラ１０を設置した場合の撮影範囲を示す。上述したように、カメラ１０は、プリズム１０１により、２つの方向を同時に撮影可能であり、またステッピングモータ１０４により回転するので、カメラ１０を中心とした範囲１６を撮像することができる。
【００２８】
図７は、演算処理部１の機能ブロック図である。
【００２９】
図示するように、演算処理部１は、ユーザ操作解析部４１と、経路探索部４２と、経路誘導部４３と、現在位置算出部４４と、情報記憶部４５、画像処理部４６と、表示処理部４７とを備えている。
【００３０】
ユーザ操作解析部４１は、入力装置５に入力されたユーザからの要求を受け、その要求内容を解析して、その要求内容に対応する処理が実行されるように演算処理部１の各部を制御する。例えば、ユーザが推奨経路の探索を要求したときは、目的地を設定するため、地図をディスプレイ２に表示する処理を表示処理部４７に要求する。また、現在地（出発地）から目的地までの経路を演算する処理を経路探索部４２に要求する。
【００３１】
現在位置算出部４４は、車輪速センサ６で計測される距離パルスデータＳ５およびジャイロ８で計測される角加速度データＳ７を各々積分した結果得られる距離データおよび角度データを用い、そのデータを時間軸で積分していくことにより、初期位置（Ｘ，Ｙ）から自車走行後の位置である仮想現在地（Ｘ′，Ｙ′）を定期的に演算する。また、仮想現在位置を、地図データを用いて、マップマッチ処理することにより、形状の相関が最も高い道路（リンク）上に、現在位置を合わせ込む。こうして求めた現在位置が、地図上の表示位置（カーマークの位置）となる。
【００３２】
経路探索部４２は、ダイクストラ法等を用いて、指定された２地点（現在地、目的地）間を結ぶ経路のコスト（例えば、旅行時間）が最少となる経路を探索する。
【００３３】
経路誘導部４３は、経路探索部４２で探索された経路を用いて経路誘導を行う。例えば、経路の情報と、現在地の情報とを比較し、交差点等を通過する前に直進すべきか、右左折すべきかを音声出入力装置４を用いて音声でユーザに知らせる。また、経路誘導部４３は、ディスプレイ２に表示された地図上に進行すべき方向を表示して、ユーザに推奨経路を通知する。
【００３４】
画像処理部４６は、カメラ１０で自車周辺を撮像して得た画像データを解析し、自車周辺に存在する物体に対応するポリゴンを特定し、特定したポリゴンを自車位置周辺の地図に配置する。そして、特定方向からみた画像を生成する。
【００３５】
表示処理部４７は、画像処理部４６で生成された画像をもとに、描画コマンドを生成する。そして、生成したコマンドを、ディスプレイ２に送信する。
【００３６】
図８は、演算処理部１のハードウェア構成例を示す図である。
【００３７】
図示するように、演算処理部１は、各デバイス間をバス３２で接続した構成としてある。演算処理部１は、数値演算及び各デバイスを制御するといった様々な処理を実行するＣＰＵ(Central Processing Unit)２１と、記憶装置３から読み出した地図データ、演算データなどを格納するＲＡＭ(Random Access Memory)２２と、プログラムやデータを格納するＲＯＭ(Read Only Memory)２３と、メモリ間およびメモリと各デバイスとの間のデータ転送を実行するＤＭＡ（Direct Memory Access）２４と、グラフィックス描画を実行し且つ表示制御を行う描画コントローラ２５と、グラフィックスイメージデータを蓄えるＶＲＡＭ(Video Random Access Memory)２６と、イメージデータをＲＧＢ信号に変換するカラーパレット２７と、アナログ信号をデジタル信号に変換するＡ/Ｄ変換器２８と、シリアル信号をバスに同期したパラレル信号に変換するＳＣＩ(Serial Communication Interface)２９と、パラレル信号をバスに同期させてバス上にのせるＰＩＯ(Parallel Input/Output)３０と、パルス信号を積分するカウンタ３１と、カメラ１０のステッピングモータに制御命令を送信して撮影方向を制御するとともに、撮像して得たアナログ信号を画像データに変換するカメラ制御装置３３とを有する。
【００３８】
［動作の説明］次に、上記構成の車載用ナビゲーション装置１００の動作について説明する。
【００３９】
本実施形態の車載用ナビゲーション装置１００は、撮像した画像を用いて、自車位置周辺の様子をディスプレイ２に表示する機能を備えている。この機能を達成するための処理について説明する。
【００４０】
なお、自車両の車種、色、大きさなどの自車情報と、カメラの設置位置に関する情報は、予め、情報記憶部４５に記憶されているものとする。
【００４１】
まず、撮像処理について説明する。図９は、かかる撮像処理のフロー図である。画像処理部４６は、カメラ１０のステッピングモータ１０４を制御して、カメラ１０の撮影方向を定める。さらに、画像処理部４６は、カメラ１０で撮像して得た画像データを、画像ファイルとして情報記憶部４５に保存する。このとき、画像処理部４６は、自車状態（座標位置、車両方位）を、現在位置算出部４４から取得する。また、撮像して得た画像には、相反する２方向の画像が含まれているので、画像を二つに分割し、それぞれの画像について画像ファイルを生成する。また、撮影時のプリズムの向き（ＣＣＤカメラ１０３の回転角）から、それぞれの画像の撮影方向を求める。画像処理部４６は、こうして得た画像ファイルを、撮影日時と、撮影したときの自車状態（座標位置、車両方向）と、カメラの設置位置（例えば、前方右など）、撮影方向（カメラ撮影方位）とに対応させて保存する（Ｓ１１０）。
【００４２】
次に、画像処理部４６は、ステッピングモータ１０１を制御して、ＣＣＤカメラをプリズムとともに予め定めた角度だけ回動させ、撮影方向を変える（Ｓ１１２）。そして、再び、カメラ１０で撮像して得た画像データを保存する（Ｓ１１０）。こうして、情報記憶部４５には、画像ファイルが蓄積される。
【００４３】
図１０は、こうして蓄積されたカメラ画像データ４５０の構成を示す図である。図示するように、カメラ画像データ４５０には、撮影日時４５１と、撮影したときの車両位置４５２と、車両方位４５３と、カメラ位置４５４と、カメラ撮影方位４５５と、画像ファイル４５６とが含まれている。
【００４４】
次に、カメラ１０で得た画像データをもとに、天頂から見た自車位置周辺の平面図を表示する処理について説明する。
【００４５】
図１１は、かかる自車位置周辺の平面図の表示処理のフロー図である。
【００４６】
まず、画像処理部４６は、自車位置周辺の画像を用いて、自車位置周辺に存在する物体に対応する３Ｄポリゴンを検索（選択）する（Ｓ２１０）。
【００４７】
図１２は、かかる３Ｄポリゴン検索処理のフロー図である。
【００４８】
画像処理部４６は、情報記憶部４５から、自車位置周辺のカメラ画像データ４５０を取得する。カメラ画像データ４５０に含まれている各画像ファイル４５６は、２次元画像データである。そこで、画像処理部４６は、同一時刻（若しくは所定時間内）に撮影された画像で、かつ、撮影位置や撮影方向が異なる２次元画像データを用いて、３次元変換処理により、３次元画像データを得る。３次元画像データへの変換方法は、トーイン撮影法や並行撮影法による２次元データから３次元データへ変換する方法を用いることができる。
【００４９】
こうして、画像処理部４６は、自車位置を中心とした周囲３６０°の３次元画像データを取得する（Ｓ２１１０）。
【００５０】
次に、画像処理部４６は、動体ポリゴンデータ３１０の中から、ポリゴンを一つ抽出する。ここで、抽出したポリゴンを候補ポリゴンと呼ぶ（Ｓ２１１２）。
【００５１】
次に、画像処理部４６は、Ｓ２１１０で取得した自車周辺３Ｄ画像の中に、候補ポリゴンと一致する画像があるか否か判定する。この判定は、候補ポリゴンを特定の視線方向から見たときの画像をテンプレートとして、パターンマッチングの手法により行う（Ｓ２１１３）。
【００５２】
候補ポリゴンと一致する画像がない場合（Ｓ２１１３でＮｏ）、画像処理部４６は、候補ポリゴンの全ての視点方向からみた画像についてＳ２１１３の判定を行ったか否か判定する（Ｓ２１１４）。全ての視線方向からみた画像について判定をしていない場合は、画像処理部４６は、視線方向を変えて（Ｓ２１１５）、その視線方向から見た候補ポリゴンの画像について、Ｓ２１１３の判定を再度行う。
【００５３】
一方、候補ポリゴンの全ての視線方向からみた画像についてＳ２１１３の判定を行った場合（Ｓ２１１４でＹｅｓ）、画像処理部４６は、後述するＳ２１１７に処理を移行する。
【００５４】
ここで、Ｓ２１１０〜Ｓ２１１５の処理を、図１３を用いて説明する。
【００５５】
画像処理部４６は、Ｓ２１１０において、自車周辺の３Ｄ画像を取得する（図１３（ａ）参照）。Ｓ２１１２において、動体ポリゴンデータ３１０から候補ポリゴンを一つ抽出する（図１３（ｂ）参照）。次に、Ｓ２１１３において、抽出したポリゴンをある視線方向から見た場合の画像をテンプレートとして、自車周辺３Ｄ画像の中にマッチングする画像があるか否か調べる（図１３（ｃ）参照）。一致する画像がない場合、Ｓ２１１５において、候補ポリゴンの視線方向を変える（図１３（ｄ）参照）。そして、Ｓ２１１３に戻り、その視線方向から見た候補ポリゴンの画像をテンプレートとして、自車周辺３Ｄ画像の中にマッチングする画像があるか調べ直す（図１３（ｅ）参照）。かかる処理を、動体ポリゴンデータに含まれているポリゴンの全てについて行う。
【００５６】
図１２に戻って説明する。
【００５７】
自車周辺３Ｄ画像の中に、候補ポリゴンの画像と一致する画像がある場合（Ｓ２１１３でＹｅｓ）、画像処理部４６は、その候補ポリゴンを自車周辺に存在する動体のポリゴンとして登録する。このとき、画像処理部４６は、自車周辺３Ｄ画像の中の、候補ポリゴンに対応する画像の位置及び大きさに基づいて、候補ポリゴンに対応する物体の地図上の座標位置を算出する。そして、算出した座標位置を、候補ポリゴンに対応させて情報記憶部４５に記憶する。
【００５８】
図１４は、自車周辺３Ｄ画像を用いて、その中に含まれている物体の地図上の座標位置を算出する方法を説明するための図である。
【００５９】
画像処理部５６は、自車の座標位置Ｏを、現在位置算出部４４から取得する。また、カメラの設置位置Ｑ、撮影方向Ｌ１を、カメラ画像データ４５０から取得する。
【００６０】
図示するように、カメラの視野Ｒは、カメラの設置位置（基点）から離れるほど広がる。カメラの設置位置の関係から、視野には地面が含まれている。地面上の点は、近距離に位置するものほど、視野の下部に位置することになる。すなわち、撮像して得た画像Ｋの端の点ｐ１、ｐ２，ｐ３は、視野Ｒの端の地図上の座標位置Ｐ１、Ｐ２，Ｐ３に対応する。また、画像Ｋの縦中央線上の点ｐ４、ｐ５、ｐ６は、Ｌ１方向上の地図上の座標位置Ｐ４，Ｐ５，Ｐ６に対応する。車両などの物体は、地面上に存在するので、物体と地面との接点の位置が、その物体の地図上の座標位置となる。なお、動体ポリゴンデータ３１０には、車両などの物体の実際の大きさに関するデータ３１２が含まれているので、自車周辺３Ｄ画像中のその物体（車両）の大きさから、三角測量の原理により、自車位置とその物体（車両）までの距離を算出することができる。画像処理部４６は、この距離を用いて、その物体（車両）の地図上の座標位置を算出してもよい。
【００６１】
図１２に戻って説明する。
【００６２】
ポリゴンの登録後（Ｓ２１１６）、画像処理部４６は、処理をＳ２１１７に移行する。
【００６３】
上記Ｓ２１１４でＹｅｓの場合、若しくはＳ２１１６の処理の後、画像処理部４６は、動体ポリゴンデータ３１０の中に、Ｓ２１１２で未抽出のポリゴンがあるか否か判定する（Ｓ２１１７）。未抽出のポリゴンがある場合（Ｓ２１１７でＮｏ）、画像処理部４６は、Ｓ２１１２に戻り、未抽出のポリゴンの中から一つのポリゴンを抽出し、候補ポリゴンに設定し、Ｓ２１１３以降の処理を行う。
【００６４】
一方、動体ポリゴンデータ３１０の中にＳ２１１２で未抽出のポリゴンがない場合（Ｓ２１１７でＹｅｓ）、画像処理部４６は、ポリゴン検索処理を終了する。
【００６５】
以上、カメラ１０により取得したカメラ画像データ４５０を用いて、自車位置周辺に存在する物体に対応する３Ｄポリゴンを検索する処理（Ｓ２１０）について説明した。
【００６６】
図１１に戻って、Ｓ２２０以降の処理について説明する。
【００６７】
画像処理部４６は、地図データから、現在位置周辺の地図を取得する（Ｓ２２０）。
【００６８】
次に、画像処理部４６は、現在位置周辺の地図上における、Ｓ２１０で検索し登録されている３Ｄポリゴンの配置を決定する（２３０）。３Ｄポリゴンに対応する物体の座標位置は、ポリゴンの登録（Ｓ２１１６）の際に、既に求められているので、この座標位置を用いて、地図上の配置を決定する。
【００６９】
次に、画像処理部４６は、登録されている現在位置周辺の３Ｄポリゴンに、撮像した画像を用いて、テクスチャーマッピングを行う（Ｓ２４０）。具体的には、画像処理部４６は、撮像して得た画像を、３Ｄポリゴンのその画像に対応する面に貼り付ける。例えば、カメラ１０が前方車両を撮像した場合、前方車両の後部のみの画像が取得され、その画像から前方車両のポリゴンが特定される。かかる場合、画像処理部４６は、車両のポリゴンの後部に対応する面に、撮像した画像（車両後部の画像）を貼り付ける。一方、前方車両の前面部、側面部などは、撮像した画像がないので、これらの面に対応するポリゴンの面には、撮像した画像によるテクスチャーマッピングを行わない。
【００７０】
次に、画像処理部４６は、Ｓ２４０でテクスチャーマッピングがなされなかった面、すなわちカメラの陰部分に対応するポリゴンの面について補正を行う（Ｓ２５０）。具体的には、画像処理部４６は、カメラの陰部分の面について、暗めの色や、ぼやかした色を割り当てる。また、ポリゴンの一部が、Ｓ２４０でテクスチャーマッピングされている場合で、ポリゴンが単色である場合は、陰の部分についても、テクスチャーマッピングした画像をマッピングするようにしてもよい。こうして、自車周辺の物体のポリゴンの描画の際の配色が決定される。
【００７１】
次に、画像処理部４６は、天頂から見た自車位置周辺の平面図を生成する（Ｓ２６０）。具体的には、画像処理部４６は、まず、自車情報（色、大きさ、車種）から、自車に対応するポリゴンを動体ポリゴンデータ３１０から検索する。そして、Ｓ２２０で取得した自車位置周辺の地図に、自車のポリゴンを配置する。つぎに、画像処理部４６は、Ｓ２１０で検索し、Ｓ２４０及びＳ２６０で配色を決めたポリゴンを、Ｓ２３０で特定した位置に配置する。さらに、地図に含まれている静止物（ガードレールなど）のポリゴンを、静止物ポリゴンデータ３２０から検索し、地図上に配置する。そして、こうして得た３次元画像データを、天頂方向から見た２次元画像データに変換し平面図とする。
【００７２】
表示処理部４７は、画像処理部４６で生成された２次元画像データからなる平面図を、ディスプレイ２に表示する（Ｓ２７０）。
【００７３】
図１５は、こうして表示された平面図の例を示す。自車両は、駐車場にあるとする。表示画面５００には、現在位置周辺の地図５０１上に、自車両のイメージ５０２と、他の車両のイメージ５０３、５０４が表示されている。他の車両のイメージ５０３、５０４のうち、カメラの撮影範囲（視野）にある部分５０３ａ、５０４ａは、撮影して得た画像がテクスチャーマッピングされている。一方、カメラの陰の部分５０３ｂ、５０４ｂの色は補正されたものであり、暗めの色が配色されている。
【００７４】
以上、本発明の一実施形態について説明した。
【００７５】
本実施形態によれば、地図データにあるものは、そのまま表示し、地図データになく、かつ撮像した画像に含まれる物体については、イメージを貼り付けて表示する。したがって、車両に設置されたカメラで撮影された画像に基づいて、カメラの視点とは異なる、天頂方向からの自車周辺の平面図を表示することができる。
【００７６】
また、本実施形態では、プリズム付きのカメラを回転させて周囲の映像を取得する。例えば、広角レンズ固定カメラによる車の全周囲監視では、少ない個数で全周囲をカバーできるが、広角のため、車の近くしか監視できない。また、前方、後方の固定監視カメラでは、特定方向の監視、１００ｍ前後の監視しかできない。これに対して、本実施形態では、広角である必要がなく、遠距離まで撮影可能である。また、特定方向の撮影に限定されない。
【００７７】
＜変形例＞  本発明は、上記実施形態に制限されない。上記実施形態は、本発明の要旨の範囲内で様々な変形が可能である。
【００７８】
例えば、カメラ１０の構成は、図４で示したものに限定されない。図１６に示すようにカメラ１０を構成してもよい。このカメラ１０は、図４で示したカメラを逆向きにした構造となっている。すなわち、鉛直方向に上から、ステッピングモータ１０４、ＣＣＤカメラ１０３、プリズム１０１とで構成されている。
【００７９】
また、カメラ１０の設置位置は、図５で示したものに限定されない。例えば、図１６で示したカメラ１０を、図１７に示すように車両１５に設置してもよい。図１７では、前方中央、両側面中央、後方中央に、Ｂ〜Ｅの４つのカメラが設置されている。また、車両の下も撮影可能な位置に設置している。図１８は、カメラをかかる位置に設置した場合の撮影範囲１６を示す。
【００８０】
図１６で示したカメラを、図１７に示すように設置すると、車両の下も撮影可能となる。そして、車両の下の物体、例えば、猫などの生物の存在を監視できるようになる。
【００８１】
かかる場合、記憶装置３には、予め、車両の下を撮影した場合に撮像画像に含まれることになる、タイヤ、スプリング、車軸などの車両自身の構成物のポリゴンデータが記憶してある。
【００８２】
そして、画像処理部４６は、撮像した画像の中の、車両の下に対応する画像の部分に、これらの構成物が存在するか否かを、パターンマッチングの手法で判定し、これらの構成物が存在する場合、表示画面に表示する対象から除外する。そして、これらの構成物以外の物体が撮像した画像に含まれている場合、その存在を表示する。若しくは、音声入出力装置４を介して、存在を知らせる警告メッセージを出力してもよい。また、その物体に動きがある場合、動物がいることを知らせるようにしてもよい。また、車両の下の画像を表示するようにしてもよい。
【００８３】
図１９は、かかる場合の表示画面５００の表示例である。表示画面５００には、動物がいることを示す情報５０５と、車両の下の画像５０６が表示されている。また、人の存在も表示している。
【００８４】
上記実施形態では、個々の物体ごとにポリゴンデータを記憶しているが、これに限定されない。物体の構成物ごとにポリゴンデータを記憶していてもよい。例えば、車両ごとでなく、車体、ヘッドライト、ウインカ等の車両の構成物ごとにポリゴンデータと、これらの構成物を紐付けするためのデータとを記憶していてもよい。そして、画像処理部４６は、車両の構成物のポリゴンデータを組み合わせることにより、特定の車両のポリゴンデータとして使用するようにする。こうすれば、データ量を減らすことができる。
【００８５】
また、上記実施形態では、三次元画像データとして、多角形の面の集合で構成されるポリゴンを用いる例について説明したが、これに限定されない。三次元画像を表すデータであれば、ポリゴンデータでなくてもよい。
【００８６】
また、上記実施形態では、地図上にポリゴンを配置し、天頂から見た平面図を表示することしたが、表示する平面図は、三次元表示でなくてもよい。地図上に、二次元画像を配置して平面図としてもよい。例えば、記憶装置３に、予め、物体（例えば、車両）の天頂から見た上面の画像を保持しておく。画像処理部４６は、カメラの撮像した画像から、物体の種類（例えば、車両の車種）を特定すると、その物体（車両）に対応する天頂方向から見た上面画像を記憶装置３から検索する。そして、検索した画像を、現在地周辺の地図上に配置して平面図とする。こうすれば、簡易な方法で、平面図の表示が可能となる。
【００８７】
また、画像処理部４６は、自車位置周辺の画像を取得すると、まず、その画像の中から、地図データにない物体を特定した後、その特定した物体について、対応するポリゴンを検索するようにしてもよい。もしくは、撮像画像の中から、地図データにある物体を除外した後、残りの部分について候補ポリゴンを検索するようにしてもよい。そして、検索したポリゴンを、自車位置周辺の地図に配置するようにしてもよい。例えば、撮像して得た画像に、ガードレールが含まれている場合、ガードレールの存在は、地図データから判定できる。そこで、撮像した画像中のガードレールの像の部分に関しては、候補ポリゴンとのパターンマッチングの対象としない。残りの部分について、候補ポリゴンとのパターンマッチングを試みるようにする。こうすれば、ポリゴン検索の処理を迅速化できる。
【００８８】
また、ポリゴン検索を効率的に行うために、候補ポリゴンを絞り込む処理を行ってもよい。例えば、画像処理部４６は、撮像した画像の中に、ナンバープレートを認識した場合、車両のポリゴンのみを検索の対象とするようにする。また、ナンバープレートを認識した場合、車両の前方若しくは後方の画像であるとして、その向きのポリゴンとの一致を確かめることにより、ポリゴンを検索するようにする。
【００８９】
また、ポリゴン検索の前に、予め記憶している一般的な車両のテンプレート画像により、車両位置周辺の画像の中から車両画像の領域を求めるようにしてもよい。そして、ポリゴン検索を効率的に行うために、その領域の画像から、候補ポリゴンの車種及び色を絞り込むようにしてもよい。例えば、予め記憶している一般的な車両のテンプレート画像により、自車位置周辺の画像の中から車両画像の領域を求める。求めたその領域の画像から、車種（セダン、ワゴン、軽など）と色を仮決めする。そして、その車種及び色のポリゴンを検索対象とすることで、候補ポリゴンを絞り込む。また、ポリゴンの検索処理を行っても、その領域の画像にマッチングするポリゴンが検索されなかった場合、予め記憶している一般的な車種（セダン、ワゴン、軽など）のポリゴンをその領域の画像のポリゴンとして登録するようにしてもよい。
【００９０】
また、前方の物体との距離は、図１４で説明した算出方法に限定されない。前方の物体との距離を測定する距離センサを備えていてもよい。
【００９１】
また、自車周辺画像の中に、地図データになく、ポリゴン検索もできない物体の像が含まれている場合、非認識の物体の存在を知らせるように表示するようにしてもよい。情報記憶部４５は、非認識の物体の表示のための画像を、予め、保持していてもよい。
【００９２】
また、カメラは、赤外線カメラで構成し、夜間でも撮影可能としてもよい。
【００９３】
また、上記実施形態では、地図上にポリゴンを配置して、天頂方向から観た平面図を表示するようにしたが、他の方向から見た画像に変換し出力してもよい。例えば、視線方向の指定を、ユーザから受け付け、受け付けた視線方向からの画像を表示するようにしてもよい。
【００９４】
また、ポリゴンの配置（マッピング）の順番は、ポリゴンに割り当てられた優先順位の低いものからマッピングするようにしてもよい。こうすれば、優先順位の高い物が、上書きされていき、最終的に表示される。また、撮影日時が最近の画像から検索されたポリゴンほど、優先順位を高くしてもよい。また、設置位置が高いカメラの画像から検索されたポリゴンほど、優先順位を高くしてもよい。
【００９５】
また、上記の実施形態では、本発明を車載用ナビゲーション装置に適用した例について説明したが、本発明は車載用以外のナビゲーション装置にも適用することができる。
【図面の簡単な説明】
【００９６】
【図１】図１は、車載用ナビゲーション装置の概略構成図である。
【図２】図２は、動体ポリゴンデータの構成を示す図である。
【図３】図３は、静止物ポリゴンデータの構成を示す図である。
【図４】図４は、カメラの概略構成図である。
【図５】図５は、カメラの設置位置を示す図である。
【図６】図６は、カメラの視野範囲を示す図である。
【図７】図７は、演算処理部１の機能構成を示す図である。
【図８】図８は、演算処理部１のハードウェア構成を示す図である。
【図９】図９は、撮影処理のフロー図である。
【図１０】図１０は、カメラ画像データの構成を示す図である。
【図１１】図１１は、表示処理のフロー図である。
【図１２】図１２は、３Ｄポリゴン検索処理（Ｓ２１０）のフロー図である。
【図１３】図１３は、Ｓ２１１０〜Ｓ２１１５の処理を説明するための図である。
【図１４】図１４は、取得画像から座標位置を算出する方法を説明するための図である。
【図１５】図１５は、表示例である。
【図１６】図１６は、カメラの概略構成図である。
【図１７】図１７は、カメラの設置位置を示す図である。
【図１８】図１８は、カメラの視野範囲を示す図である。
【図１９】図１９は、表示例である。
【符号の説明】
【００９７】
１００…車載用ナビゲーション装置、
１…演算処理部、２…ディスプレイ、３…記憶装置、４…音声出入力装置、５…入力装置、６…車輪速センサ、７…地磁気センサ、８…ジャイロ、９…ＧＰＳ受信機、１０…カメラ、２１…ＣＰＵ、２２…ＲＡＭ、２３…ＲＯＭ、２４…ＤＭＡ、２５…描画コントローラ、２６…ＶＲＡＭ、２７…カラーパレット、２８…Ａ/Ｄ変換器、２９…ＳＣＩ、３０…ＰＩＯ、３１…カウンタ、３３…カメラ制御装置、４１…ユーザ操作解析部、４２…経路探索部、４３…経路誘導部、４４…現在位置算出部、４５…情報記憶部、４６…画像処理部、４７…表示処理部
【図１】
2007010515.tif 000003
【図２】
2007010515.tif 000004
【図３】
2007010515.tif 000005
【図４】
2007010515.tif 000006
【図５】
2007010515.tif 000007
【図６】
2007010515.tif 000008
【図７】
2007010515.tif 000009
【図８】
2007010515.tif 000010
【図９】
2007010515.tif 000011
【図１０】
2007010515.tif 000012
【図１１】
2007010515.tif 000013
【図１２】
2007010515.tif 000014
【図１３】
2007010515.tif 000015
【図１４】
2007010515.tif 000016
【図１５】
2007010515.tif 000017
【図１６】
2007010515.tif 000018
【図１７】
2007010515.tif 000019
【図１８】
2007010515.tif 000020
【図１９】
2007010515.tif 000021