(57)【特許請求の範囲】
【請求項１】
実写映像を撮像する撮像手段と、
実写映像中の情報の中の案内に寄与する案内寄与情報をＣＧ画像として生成するＣＧ画像生成手段と、
前記撮像手段にて撮像された実写映像と前記ＣＧ画像生成手段にて生成されたＣＧ画像とを合成して案内画像を生成する画像合成手段とを備えており、
前記ＣＧ画像生成手段は、
前記撮像手段にて撮像された実写映像から、前記案内寄与情報に対応する領域の輪郭となる幾何学情報を抽出する幾何学情報抽出手段と、
前記案内寄与情報を３次元モデルとしてモデル化したモデル情報を格納するモデル格納手段と、
前記モデル格納手段から前記モデル情報を読み出すモデル情報読出手段と、
前記幾何学情報抽出手段により抽出された幾何学情報，および，前記モデル情報読出手段により読み出されたモデル情報をＣＧ化して前記ＣＧ画像を生成するＣＧ化手段とを備えていること
を特徴とする案内画像生成装置。
【請求項２】
請求項１に記載の案内画像生成装置において、
前記幾何学情報抽出手段は、前記モデル格納手段に格納された前記モデル情報の格納状態に基づき、前記幾何学情報を抽出すること
を特徴とする案内画像生成装置。
【請求項３】
請求項１または請求項２に記載の案内画像生成装置において、
前記モデル情報読出手段は、地図情報及び位置関連情報に基づいて前記モデル情報を読み出すこと
を特徴とする案内画像生成装置。
【請求項４】
請求項１〜３のいずれかに記載の案内画像生成装置において、
前記ＣＧ化手段は、地図情報及び位置関連情報に基づいて前記モデル情報を色分けしてＣＧ化すること
を特徴とする案内画像生成装置。
【請求項５】
請求項１〜４のいずれかに記載の案内画像生成装置において、
前記モデル情報は、建造物をモデル化した建物モデル情報であること
を特徴とする案内画像生成装置。
【請求項６】
請求項５に記載の案内画像生成装置において、
前記建物モデル情報とは、前記建造物を直方体を用いて表現したものであること
を特徴とする案内画像生成装置。
【請求項７】
請求項５又は６に記載の案内画像生成装置において、
前記ＣＧ化手段は、前記建物モデル情報を建造物の種類に応じて色分けしてＣＧ化すること
を特徴とする案内画像生成装置。
【請求項８】
請求項５〜７のいずれかに記載の案内画像生成装置において、
前記ＣＧ化手段は、前記建物モデル情報に基づき、建造物の輪郭を強調してＣＧ化すること
を特徴とする案内画像生成装置。
【請求項９】
請求項１〜８のいずれかに記載の案内画像生成装置において、
前記ＣＧ画像生成手段は、
前記モデル情報をＣＧ化するための視点の補正を行うモデル位置照合手段を備え、
前記ＣＧ化手段は、前記モデル位置照合手段にて補正された視点でモデル情報をＣＧ化すること
を特徴とする案内画像生成装置。
【請求項１０】
請求項９に記載の案内画像生成装置において、
前記モデル位置照合手段は、撮像条件に基づいて、前記ＣＧ化のための視点を補正すること
を特徴とする案内画像生成装置。
【請求項１１】
請求項１〜１０のいずれかに記載の案内画像生成装置において、
さらに、視点を変更して前記案内画像を生成するための視点変更手段を備えていること
を特徴とする案内画像生成装置。
【請求項１２】
請求項１〜１１のいずれかに記載の案内画像生成装置において、
前記画像合成手段は、前記実写映像と前記ＣＧ画像との合成割合を変更可能であること
を特徴とする案内画像生成装置。
【請求項１３】
請求項１〜１２のいずれかに記載の案内画像生成装置において、
前記画像合成手段は、前記実写映像に対し画像処理を施した後、前記ＣＧ画像と合成すること
を特徴とする案内画像生成装置。
【請求項１４】
請求項１３に記載の案内画像生成装置において、
前記画像処理は、階調処理であること
を特徴とする案内画像生成装置。
【請求項１５】
請求項１３又は１４に記載の案内画像生成装置において、
前記画像処理は、減色処理であること
を特徴とする案内画像生成装置。
【請求項１６】
請求項１３〜１５のいずれかに記載の案内画像生成装置において、
前記画像処理は、実写映像における領域の統合・分割処理であること
を特徴とする案内画像生成装置。
【請求項１７】
請求項１〜１６のいずれかに記載の案内画像生成装置において、
さらに、前記案内画像中に案内情報をスーパーインポーズするスーパーインポーズ手段を備えていること
を特徴とする案内画像生成装置。
【請求項１８】
請求項１７に記載の案内画像生成装置において、
前記案内情報は、道路上に存在する標識や行き先案内の情報を含むこと
を特徴とする案内画像生成装置。
【請求項１９】
請求項１８に記載の案内画像生成装置において、
前記標識や行き先案内の情報を、地図情報及び位置関連情報に基づく適切なタイミングでスーパーインポーズすること
を特徴とする案内画像生成装置。
【請求項２０】
請求項１８又は１９に記載の案内画像生成装置において、
前記標識や行き先案内の情報を、前記案内画像中の道路に対応付けてスーパーインポーズすること
を特徴とする案内画像生成装置。
【請求項２１】
請求項１７〜２０のいずれかに記載の案内画像生成装置において、
前記案内情報は、ユーザに対する操作案内の情報を含むこと
を特徴とする案内画像生成装置。
【請求項２２】
請求項２１に記載の案内画像生成装置において、
前記操作案内の情報を、画面下方にスーパーインポーズすること
を特徴とする案内画像生成装置。
【請求項２３】
請求項１７〜２２のいずれかに記載の案内画像生成装置において、
前記案内情報は、案内手段によるルート案内の情報を含むこと
を特徴とする案内画像生成装置。
【請求項２４】
請求項２３に記載の案内画像生成装置において、
前記ルート案内の情報を、案内手段による案内タイミングでスーパーインポーズすること
を特徴とする案内画像生成装置。
【請求項２５】
請求項２３又は２４に記載の案内画像生成装置において、
前記ルート案内の情報には、案内経路の方向を示す矢印画像が含まれており、当該矢印画像を前記案内画像中の道路上にスーパーインポーズすること
を特徴とする案内画像生成装置。
【請求項２６】
請求項２５に記載の案内画像生成装置において、
前記矢印画像を、交差点における直進、右折、左折をユーザが認識できるよう道路に対応付けてスーパーインポーズすること
を特徴とする案内画像生成装置。
【請求項２７】
請求項１〜２６のいずれかに記載の案内画像生成装置において、
さらに、位置関連情報が入力されない場合、前記撮像手段にて撮像された実写映像に基づいて、位置関連情報を推定する推定手段を備えていること
を特徴とする案内画像生成装置。
【請求項２８】
請求項２７に記載の案内画像生成装置において、
本装置が車両に搭載されることを前提として、
前記推定手段は、車速又はステアリング角度を少なくとも含む走行関連情報に基づき、前記位置関連情報を推定すること
を特徴とする案内画像生成装置。
【請求項２９】
請求項１〜２８のいずれかに記載の案内画像生成装置において、
前記画像合成手段は、案内手段によるルート案内が行われているときに、必要に応じて前記実写映像と前記ＣＧ画像とを合成して前記案内画像を生成すること
を特徴とする案内画像生成装置。
【請求項３０】
請求項１〜２９のいずれかに記載の案内画像生成装置と、
前記案内画像を表示する表示手段とを備えること
を特徴とする案内画像表示装置。
【請求項３１】
請求項３０に記載の案内画像表示装置と、
地図情報を格納する地図格納手段と、
現在位置を特定するための情報を少なくとも含む位置関連情報を検出する検出手段と、
設定された目的地までの経路を生成してルート案内を行う案内手段とを備えていること
を特徴とするナビゲーション装置。
【請求項３２】
請求項３１に記載のナビゲーション装置において、
さらに、データ通信を行うための通信手段を備え、
前記通信手段を介したデータ通信によって、前記地図格納手段に格納される地図情報を更新可能であること
を特徴とするナビゲーション装置。
【請求項３３】
請求項１〜２９のいずれかに記載の案内画像生成装置の少なくともＣＧ画像生成手段及び画像合成手段として、コンピュータを機能させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両などの適切な誘導に寄与する技術に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
従来より、カーナビゲーション装置は、液晶やＣＲＴなどで構成された表示画面を備えており、この表示画面に車両周辺の平面地図を表示し、この平面地図上に車両位置を重ねて表示する。これによって、目的地までの経路に従ったルート案内だけでなく、ルート案内を行っていない場合にも、ユーザは、自分の現在位置を確認することができて便利である。
【０００３】
しかし、平面地図上での位置が確認できても、実際の走行では右左折すべき交差点を通り過ぎてしまったり、間違った交差点で右左折してしまったりすることは往々にしてある。これは、ナビ画面に表示される地図上の位置と、実際にフロントガラスなどを通して見える景色（道路や建造物）との対応付けが容易でないことに起因する。
【０００４】
そのため、最近では、建造物などを立体的に表示できるナビゲーション装置が開発され、実際に見える景色との対応付けが盛んに行われている。
例えば、建造物の面積や高さを地図情報として用意しておきＣＧ化して表示したり、建造物に対応する３次元モデル情報を予め作成しておき、この３次元モデル情報をＣＧ化して表示したりするという具合である。なお、本明細書中では、いわゆるコンピュータ・グラフィックスを「ＣＧ」と表現することにする。
【０００５】
ところが、このようにして表示される建造物は、例えばビルであれば単なる直方体として表示されるのが一般的であり、実際に見える建造物とはやはり異なる。そのため、平面地図に比べて対応付けが容易にはなっているものの、依然として、景色との短時間での対応付けは困難であると言える。もちろん、詳細なＣＧ画像を生成できれば、このような問題は解決できるのであるが、全国各地の建造物を詳細に表示しようとすれば、そのデータ量は膨大なものとなり、また、ＣＧ画像の表示処理にも相当の時間を要することになるため、現実的でない。
【０００６】
このような問題を解決するものとして、特開平１１−１０８６８４号公報には、自動車の進行方向の景色を撮像し、撮像された実写映像を用いる技術が開示されている。この技術は、実写映像に対し、自車位置を示すマークや進行方向を示す矢印を重ねて表示するというものである。
【０００７】
この技術は、実際に見える景色との対応付けという面で優れたものであるが、案内を行うという面では、次に示すような問題を残す。
それは、実写映像には、余分な情報が多すぎることである。例えば、案内に必要のない街路樹なども道路や建造物と共に映ってしまう。また、建造物などの陰影や微妙な色の変化なども映ってしまう。したがって、実写映像に対して進行方向を示す矢印を表示しても、曲がるべき交差点などが確認し難いという事態を招く可能性が高い。つまり、実写映像を直接的に用いると、対応付けが容易であったとしても、案内に必要のない情報によって、適切な案内が阻害されてしまうという事態を招くのである。
【０００８】
本発明は、このような問題を解決するためになされたものであり、実際に見える景色との対応付けが容易であって、しかも、適切な案内を実現する案内画像の生成を目的とする。
【０００９】
【課題を解決するための手段及び発明の効果】
上述した目的を達成するためになされた本発明の案内画像生成装置では、実写映像中の情報の中で案内に寄与する案内寄与情報をＣＧ画像として生成し、これを実写映像に合成して案内画像を生成する。つまり、実写映像中には案内に寄与する情報とそうでない情報とが混在しているという点に着目し、案内に寄与する情報のみをＣＧ画像として合成することにより、案内に寄与しない情報から区別して認識できるようにしたのである。
【００１０】
このような案内画像を用いれば、ベースが実写映像であるため、実際に見える景色との対応付けが容易になると共に、案内寄与情報が他の情報から区別して認識されるため、適切な案内を実現できる。
なお、本発明は、例えば車両に搭載して用いることが考えられる。この場合、ナビゲーション装置が搭載されることを前提に、ナビゲーション装置の備える表示手段に案内画像を表示させればよい。また、携帯電話機やハンドトップ・ラップトップといったモバイル機器に適用することもできる。
【００１１】
ＣＧ画像を生成するＣＧ画像生成手段は、幾何学情報抽出手段とＣＧ化手段とを備える構成とすることが考えられる。このとき、幾何学情報抽出手段が、撮像手段にて撮像された実写映像から案内寄与情報に対応する幾何学情報を抽出し、ＣＧ化手段が幾何学情報をＣＧ化してＣＧ画像を生成する。
【００１２】
例えば幾何学情報抽出手段は、地図情報及び位置関連情報に基づいて幾何学情報を抽出することが考えられる。地図情報は、道路や建造物の情報を含むものであり、ＤＶＤ−ＲＯＭなどの地図情報格納手段から取得することが考えられる。一方、位置関連情報は、本装置の位置や移動方向を特定するための情報を含むものであり、例えばＧＰＳ受信機を用いて構成される検出手段から取得することが考えられる。以下の説明にいう地図情報、位置関連情報も同様である。なお、地図情報や位置関連情報を外部から取得する構成とすれば、特にこれらの手段を本装置が備える必要はない。
【００１３】
案内寄与情報をＣＧ画像として生成する場合、ＣＧ化手段は、地図情報及び位置関連情報に基づき、幾何学情報を色分けしてＣＧ化するとよい。ＣＧ画像として表示される複数の情報を区別し易くなるからである。
ところで、案内寄与情報に対応する幾何学情報は、一例として、道路のエッジ、センターライン、レーン、横断歩道のいずれかを少なくとも含む走行路情報とすることが考えられる。このような走行路情報の抽出は、例えば、実写映像中で画素値などの変化が大きくなる部分をまず検索し、この部分が道路のエッジなのか、センターラインなのか、レーンなのか、横断歩道なのかを、走行路情報を含む地図情報及び、位置関連情報に基づく地図上の位置を用いて特定することにより実現できる。このとき、ＣＧ化手段は、走行路情報としての各種情報を色分けしてＣＧ化するとよい。このようにすれば、走行路情報としての各種情報の区別がユーザにとって容易になり、より適切な案内が実現できる。
【００１４】
また、案内寄与情報に対応する幾何学情報は、建造物の輪郭を示す建物情報とすることが考えられる。この場合も、走行路情報と同様に、地図情報及び位置関連情報を用いて抽出する。そして、ＣＧ化手段は、建物情報を建造物の種類に応じて色分けしてＣＧ化するとよい。建造物の種類とは、ビル、歩道橋、信号機といった機能別の種類とすることが考えられる。このような観点での色分けは、建造物を案内のための目印として利用することを容易にする。ただし、案内面の充実という観点からは、建造物の種類に、ホテル、レストラン、スポーツセンターといった施設種類まで含め、この施設種類に応じた色分けをするのが有効である。
【００１５】
なお、実写映像から幾何学情報を抽出することを考えると、場合によっては適切に幾何学情報が抽出されないことも考えられる。例えば、道路のエッジの一部が、道路脇の植え込みなどに遮られて抽出されないことも想定される。
そこで、上述したＣＧ画像生成手段が、さらに、幾何学情報抽出手段にて抽出された幾何学情報を補正する幾何学情報補正手段を備えるようにするとよい。このとき、ＣＧ化手段は、幾何学情報補正手段にて補正された幾何学情報をＣＧ化する。具体的に、幾何学情報補正手段は、地図情報及び位置関連情報に基づいて幾何学情報を補正するようにすることが考えられる。また、撮像条件に基づいて幾何学情報を補正してもよい。撮像条件とは、例えばビデオカメラとして具体化される撮像手段の取り付け位置や角度、あるいは露出などをいう。
【００１６】
このような補正を行えば、実写映像から繰り返し抽出される幾何学情報が安定したものとなり、適切なＣＧ画像の生成及び、適切な案内画像の合成が可能になる。
以上は実写映像から幾何学情報を抽出することによるＣＧ画像の生成について説明したが、次に示すようにＣＧ画像生成手段を構成することも考えられる。
【００１７】
すなわち、ＣＧ画像生成手段が、モデル格納手段、モデル情報読出手段、ＣＧ化手段を備える構成である。モデル格納手段は、上述の案内寄与情報を３次元モデルとしてモデル化したモデル情報を格納しており、モデル情報読出手段が、モデル格納手段からモデル情報を読み出す。そして、ＣＧ化手段によって、読み出されたモデル情報がＣＧ化されてＣＧ画像が生成される（請求項１）。これは、例えば建造物などに対応するモデル情報を予め格納しておき、このモデル情報からＣＧ画像を生成して案内画像を生成しようとする技術思想である。
【００１８】
もちろん、上述した幾何学情報の抽出構成とともに、このようなモデル情報からのＣＧ画像生成を行う構成を採用してもよい。その場合、ＣＧ化手段は、幾何学情報及びモデル情報をＣＧ化してＣＧ画像を生成する。この構成においては、幾何学情報抽出手段は、モデル格納手段へのモデル情報の格納状態に基づき、必要に応じて幾何学情報を抽出することが考えられる。例えば、地図情報に対応するモデル情報がない場合に、幾何学情報を抽出するという具合である。また例えば、簡単なモデル情報しかない場合にも、幾何学情報を抽出するようにしてもよい。詳細なモデル情報があれば、詳細なＣＧ画像が生成できるため、わざわざ幾何学情報を抽出する必要はないが、例えば単なる直方体といった簡単なモデル情報しかない場合、幾何学情報をも取り出してＣＧ化することにより、ＣＧ画像をより詳細なものにできる可能性が高くなるからである。
【００１９】
なお、モデル情報読出手段は、地図情報及び位置関連情報に基づいて、モデル情報を読み出すことが考えられる（請求項３）。このとき、ＣＧ化手段は、地図情報及び位置関連情報に基づいてモデル情報を色分けしてＣＧ化するとよい（請求項４）。ＣＧ画像として表示される複数の情報を区別し易くなるからである。
【００２０】
ところで、案内寄与情報に対応するモデル情報は、一例として、建造物をモデル化した建物モデル情報とすることが考えられる（請求項５）。この建物モデル情報は、建造物を詳細にモデル化した情報とすることが考えられる。あるいは、建造物を直方体を用いて表現したものとしてもよい（請求項６）。後者のような建物モデル情報を用いれば、モデル情報のデータ量を抑えることができるという点で有利である。このとき、ＣＧ化手段は、建物モデル情報を建造物の種類に応じて色分けしてＣＧ化するとよい（請求項７）。このような建造物の種類による色分けについては既に述べた通り、建造物を案内のための目印として利用するためのビル、歩道橋、信号機といった機能別の種類による色分けや、ホテル、レストラン、スポーツセンターといった施設種類による色分けが考えられる。また、建造物を案内のための目印として利用するという観点では、建造物の外形を認識し易くすることも重要である。そこで、ＣＧ化手段が、建物モデル情報に基づき、建造物の輪郭を強調してＣＧ化するようにしてもよい（請求項８）。
【００２１】
ここでは建物モデル情報について言及したが、例えば道路などについても、３次元平面モデルとしてモデル化して格納しておき、上述の建物モデル情報と同様に、ＣＧ画像として生成することも、もちろん可能である。
なお、ＣＧ画像生成手段が、ＣＧ化のための視点を補正するモデル位置照合手段を備える構成にするとよい（請求項９）。このとき、ＣＧ化手段は、モデル位置照合手段にて補正された視点でモデル情報をＣＧ化する。例えば、撮像条件に基づいて、ＣＧ化のための視点を補正するという具合である（請求項１０）。ここでいう撮像条件は、主として撮像手段の取り付け位置や角度を意味する。
【００２２】
これによって、案内寄与情報を示すＣＧ画像をドライバーズビューに合わせて実写映像に合成することができる。その結果、実際に見える景色との対応付けがさらに容易になり、適切な案内に寄与する。
ところで、案内画像は、例えば車体に取り付けられる撮像手段からの実写映像に基づくものであり、ドライバーズビューに対応するものとなっている。実際に見える景色と対応付けを主眼としているからである。ただし、必要に応じて視点変更できる構成であれば、さらに便利であることは言うまでもない。
【００２３】
そこで、さらに、視点を変更して案内画像を生成するための視点変更手段を備える構成とすることが考えられる（請求項１１）。視点変更手段は、例えば、複数台のビデオカメラで構成された撮像手段からの複数の実写映像を用い、あるいは、時間的に前後して撮像手段から出力される複数の実写映像を用い、視点変更を行う。つまり、２次元情報としての実写映像が複数枚あれば、３次元情報を構成することができ、視点の変更が可能になるのである。
【００２４】
なお、案内画像を生成するにあたり、画像合成手段が、実写映像とＣＧ画像との合成割合を変更できる構成（請求項１２）としたり、実写映像に対し画像処理を施した後、ＣＧ画像と合成する構成（請求項１３）としたりすることも有用である。
【００２５】
合成割合の変更は、いわゆる画素値のブレンディングの割合を変更することで実現される。また、画像処理としては、階調処理、減色処理、実写映像における領域の統合・分割処理が挙げられる（請求項１４，１５，１６）。画像処理の目的は、微妙な色変化など、実写映像に含まれる不要情報の除去にある。すなわち、案内寄与情報という必要情報を強調して不要情報を目立たなくすることに加え、ここでは、不要情報を積極的に排除しようとするのである。
【００２６】
これらの構成を採用することにより、ユーザにとって見やすい案内画像の提供が可能になる。
ここまでは、実写映像中に存在する案内寄与情報をＣＧ画像として合成することによってなされる案内について説明した。つまり、実写映像中に存在する案内寄与情報をユーザに認識させることが一種の案内になるのである。
【００２７】
そして、さらに有用な案内を実現するために、積極的に作成される案内情報を提示する構成を採用することが考えられる。
すなわち、さらに、スーパーインポーズ手段を備える構成とし、このスーパーインポーズ手段が、案内画像中に案内情報をスーパーインポーズするようにしてもよい（請求項１７）。ここでいう案内情報は、本装置において生成してもよいし、あるいは、外部から取得されるものとしてもよい。
【００２８】
案内情報は、道路上に存在する標識や行き先案内の情報を含むものとすることが考えられる（請求項１８）。このような情報は、地図情報として取得することが考えられる。そして、地図情報及び位置関連情報に基づく適切なタイミングでスーパーインポーズすることが考えられる（請求項１９）。適切なタイミングとは、例えば標識に近づいた時や、その行き先案内に対応する交差点に近づいた時とすることが考えられる。また、標識や行き先案内の情報を、案内画像中の道路に対応付けてスーパーインポーズするとよい（請求項２０）。例えば標識を道路の側方にスーパーインポーズしたり、行き先案内の矢印を道路上にスーパーインポーズしたりするという具合である。このようにすれば、情報提示の実効性が確保できる。
【００２９】
また、案内情報は、ユーザに対する操作案内の情報を含むものとすることが考えられる（請求項２１）。ここでいう操作案内の情報には、表示画面をタッチパネルとして利用する場合のスイッチやメニューなどが含まれる。このような情報は、画面下方にスーパーインポーズするとよい（請求項２２）。ドライバーズビューに対応して表示される案内画面では、進行方向前方に対応する画面上方画像の重要性が高いからである。
【００３０】
さらにまた、案内情報は、案内手段によるルート案内の情報を含むものとすることが考えられる（請求項２３）。本装置自身が案内手段を備える構成としてルート案内の情報を生成してもよいが、例えば外部のナビゲーション装置から取得するようにしてもよい。このようなルート案内の情報は、案内手段による案内タイミングでスーパーインポーズすることが考えられる（請求項２４）。
【００３１】
具体的に、ルート案内の情報には、案内経路の方向を示す矢印画像を含むものとすることが考えられる。このときは、当該矢印画像を案内画像中の道路上にスーパーインポーズするとよい（請求項２５）。例えば、矢印画像を、交差点における直進、右折、左折をユーザが認識できるよう道路に対応付けてスーパーインポーズするという具合である（請求項２６）。このようにすれば、ルート案内の実効性が確保される。
【００３２】
ところで、地図情報が古いものである場合には、実写映像に地図情報にない建造物や道路が映し出されることも考えられる。そこで、ＣＧ画像生成手段は、撮像手段にて撮像された実写映像が地図情報と異なる場合、当該実写映像に基づいてＣＧ画像を生成するようにすることが望ましい。実際に見える景色に対応する案内画像となり、景色との対応付けが容易になるためである。そしてこのときは、さらに、更新手段を備える構成とし、この更新手段が、地図情報を更新するようにしてもよい。もちろん、この場合、地図情報格納手段には、書き換え可能な記録媒体を用いることが必要になる。
【００３３】
また、位置関連情報を用いてＣＧ画像が生成されることは既に述べた。しかし、例えば車両に搭載した場合、トンネルなどを走行するときにＧＰＳからの電波が届かず、位置関連情報が入力されない事態となることがある。そこで、推定手段を備える構成とし、推定手段が、位置関連情報が入力されない場合、撮像手段にて撮像された実写映像に基づいて、位置関連情報を推定するようにしてもよい（請求項２７）。例えば自車位置や進行方向を推定するという具合である。また、車両に搭載することを前提として、車速やステアリング角度を含む走行関連情報に基づき、位置関連情報を推定してもよい（請求項２８）。これらの構成は、ナビゲーション装置との併用時に、ナビ情報を補完可能とするものである。
【００３４】
なお、ルート案内の情報をスーパーインポーズする構成について既に述べたが、このようなルート案内を前提とし、画像合成手段は、案内手段によるルート案内が行われているときに、必要に応じて実写映像とＣＧ画像とを合成して前記案内画像を生成するようにしてもよい（請求項２９）。実際に見える景色との対応付けを容易にする本発明は、特にルート案内中の自車位置の確認に極めて優れた効果を発揮するからである。例えば通常はＣＧ画像（２次元画像やバードビュー）を表示しておき、ルート案内中の必要なときにだけ実写を合成するのである。必要なときとは、利用者にとって案内経路の認識が困難だと想定される場合などが挙げられる。例えば、交差点や立体交差道路、特に入り組んだ交差点、高速道路のインターチェンジやジャンクションなどである。また、目的地周辺への到着時に実写映像を合成してもよい。目的とする建物などとの対応付けが容易になるからである。
【００３５】
以上は案内画像生成装置の発明として説明してきたが、上述した案内画像生成装置と、案内画像を表示する表示手段とを備える案内画像表示装置として実現することもできる（請求項３０）。また、このような案内画像表示装置と、地図格納手段、検出手段、案内手段とを備えたナビゲーション装置の発明として実現することもできる（請求項３１）。そしてこの場合、さらに、データ通信を行うための通信手段を備える構成とし、通信手段を介したデータ通信によって、地図格納手段に格納される地図情報を更新可能な構成とするとよい（請求項３２）。また、この通信手段を介したデータ通信によって、モデル格納手段を備える構成においては、モデル格納手段に格納されるモデル情報を更新可能にすることも考えられる。これによって、古くなった地図情報やモデル情報を簡単に最新のものとすることができ、適切な案内画像の生成が期待できる。
【００３６】
なお、上述した案内画像生成装置の少なくともＣＧ画像生成手段及び画像合成手段としてコンピュータを機能させるプログラムの発明として実現することもできる（請求項３３）。少なくともとしたのは、視点変更手段、スーパーインポーズ手段、更新手段、推定手段などもコンピュータの機能として実現できるからである。
【００３７】
このようなプログラムの場合、例えば、ＦＤ、ＭＯ、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして起動することにより用いることができる。この他、ＲＯＭやバックアップＲＡＭをコンピュータ読み取り可能な記録媒体としてこのようなプログラムを記録しておき、このＲＯＭあるいはバックアップＲＡＭをコンピュータに組み込んで用いてもよい。
【００３８】
【発明の実施の形態】
以下、本発明を具体化した一実施例を図面を参照して説明する。
図１は、実施例のナビゲーション装置１の全体構成を示すブロック図である。ナビゲーション装置１は、位置検出器２２、地図データ入力器２４、操作スイッチ群２６、表示装置２８、スピーカ３０、メモリ３２、通信装置３４、ビデオカメラ３６、及び、電子制御装置（ＥＣＵ）３８を備えている
位置検出器２２は、周知のジャイロスコープ４０、車速センサ４２、および衛星からの電波に基づいて車両の位置を検出するＧＰＳ（GlobalPositioning System）のためのＧＰＳ受信機４４を有している。これらのセンサ等４０，４２，４４は各々が性質の異なる誤差を持っているため、複数のセンサにより補間しながら使用するように構成されている。なお、精度によっては上述した内の一部で構成してもよく、さらに、地磁気センサ、ステアリングの回転センサや各転動輪の車輪センサ等を用いてもよい。位置検出器２２によって、車両の現在位置及び移動方向を含む位置関連情報としての位置データが検出される。したがって、この位置検出器２２が「検出手段」に相当する。
【００３９】
地図データ入力器２４は、記録媒体で構成され、この記録媒体に格納された地図データを入力する。なお、地図データには、ナビゲート機能のためのマップ情報に加え、道路幅、車線数、交差点、横断歩道の有無、建造物情報、標識、行き先案内などの情報が含まれる。ところで、地図データが格納される記録媒体としては、そのデータ量から近年ＤＶＤ−ＲＯＭを用いるのが一般的であるが、本実施例では、後述するような地図データの更新のため、書き換え可能な記録媒体としてハードディスク装置を用いている。この地図データ入力器２４が「地図情報格納手段」に相当する。
【００４０】
操作スイッチ群２６は、ナビゲーション装置１を操作するための各種スイッチから構成され、各種情報をユーザが入力するための構成である。本実施例では、操作スイッチ群２６を構成する各種スイッチとしては、表示装置２８と一体に構成されたタッチスイッチと、表示装置２８とは別のメカニカルなスイッチとを併用している。なお、車両後部座席からの操作を可能にするため、リモートコントロール端末からの受信部を備えるようにしてもよい。また、音声認識機能を設け、音声による操作を可能にしてもよい。
【００４１】
表示装置２８は、カラー表示装置であり、その表示画面には、位置検出器２２から入力された車両現在位置マークと、地図データ入力器２４より入力された平面地図データとを重ねて表示することができる。また、本実施例では特に、後述するような案内画像を表示することができる。したがって、この表示装置２８が「表示手段」に相当する。
【００４２】
スピーカ３０は、情報を音声にて利用者に報知することができるよう構成されている。これによって、表示装置２８による表示とスピーカ３０からの音声出力との両方で、利用者にルート案内を行う。
メモリ３２は、計算された経路や地図上のメモリ地点を記憶する。また、案内寄与情報を３次元モデルとしてモデル化したモデル情報を格納している。案内寄与情報は実写映像に映る案内に寄与する情報であり、具体的には、ビル、歩道橋、信号機といった建造物の３次元モデルや、さらに、道路、横断歩道などの３次元平面モデルも格納している。建造物の３次元モデルは、データ量を削減するため、直方体などでモデル化してある。したがって、このメモリ３２が「モデル格納手段」に相当する。また、ビデオカメラ３６の取り付け位置や角度などを含むカメラパラメータを記憶している。なお、メモリ３２は、例えばハードディスク装置や半導体メモリ装置として実現することが考えられる。
【００４３】
通信装置３４は、移動体通信機器である自動車電話機や携帯電話機を用いて構成されており、この通信装置３４を介して外部のセンタ５０との間でデータ通信可能となっている。これによって、地図データ入力器２４に格納された地図データやメモリ３２に格納されたモデル情報は、例えばユーザからのリクエストによって更新できるようになっている。したがって、ユーザは地図データやモデル情報を簡単に最新のものに置き換えることができる。この通信装置３４が「通信手段」に相当する。
【００４４】
ビデオカメラ３６としては、計３台のカメラが車体に取り付けられており、車両進行方向を撮像する。具体的には、フロントバンパーの両端部分に２台が取り付けられ、ルームミラーの取付部分に残りの１台が取り付けられている。ビデオカメラ３６からの実写映像は、案内画像生成時には連続して電子制御装置３８に入力される。したがって、このビデオカメラ３６が「撮像手段」に相当する。
【００４５】
電子制御装置３８は通常のコンピュータとして構成されており、内部には、周知のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏおよびこれらの構成を接続するバスラインが備えられている。
このように構成された本実施例のナビゲーション装置１は、一般的なルート案内機能に加え、実写映像を用いた案内画像表示を可能としたことを特徴としている。
【００４６】
そこで次に、この案内画像を生成する電子制御装置３８の動作について、図２の機能ブロック図を用いて説明する。
図２に示すように、電子制御装置３８の機能は、モデル情報読出ブロック５１、幾何学情報抽出ブロック５２、照合・補正ブロック５３、視点変更ブロック５４、ＣＧ化ブロック５５、画像処理ブロック５６、画像合成ブロック５７、及び、スーパーインポーズブロック５８として示すことができる。各ブロック５１〜５７は、プログラムに基づくコンピュータシステムの機能を便宜的に示すものである。以下各ブロック５１〜５８の機能を分説する。
【００４７】
モデル情報読出ブロック５１は、メモリ３２に格納されたモデル情報としての３次元モデルを、地図データ及び位置データに基づいて読み出す。メモリ３２には、上述したような３次元モデルが格納されている。したがって、地図データ及び位置データに基づき、地図上の自車位置を特定し、自車の移動方向の所定範囲に存在する３次元モデルを読み出す。ここで読み出された３次元モデルは、照合・補正ブロック５３へ出力される。
【００４８】
幾何学情報抽出ブロック５２には、ビデオカメラ３６からの実写映像が入力される。幾何学情報抽出ブロック５２は、地図データに対応する３次元モデルがメモリ３２に格納されておらず、モデル情報読出ブロック５１にて３次元モデルが読み出せなかった場合に機能する。この幾何学情報抽出ブロック５２では、実写映像中で画素値の変化が大きくなる部分をまず検索し、さらに、地図データ及び位置データに基づき、道路のエッジ、センターライン、レーン、横断歩道、建造物の輪郭を幾何学情報として抽出する。そして、抽出した幾何学情報を、照合・補正ブロック５３へ出力する。
【００４９】
照合・補正ブロック５３は、モデル情報読出ブロック５１から３次元モデルが出力されると、メモリ３２からカメラパラメータを読み出し、地図データ及び位置データに基づき、ドライバーズビューに合わせた視点補正を３次元モデルに対して行う。つまり、カメラパラメータによってビデオカメラ３６の取り付け位置や角度が分かるため、３次元モデルをＣＧ画像とした場合に、ユーザがフロントガラス越しに見る実際の建造物などと対応させるよう、ＣＧ化のための視点を補正するのである。これは実写映像に対してＣＧ画像を精度よく照合させるための前処理として位置付けられる。
【００５０】
また、照合・補正ブロック５３は、幾何学情報抽出ブロック５２から幾何学情報が出力されると、メモリ３２からカメラパラメータを読み出し、地図データ及び位置データに基づき、幾何学情報を補正する。幾何学情報は実写映像に基づいて抽出されるため、場合によっては、適切な抽出ができなくなることが考えられる。例えば道路のエッジが植え込みなどに遮られて部分的に抽出できない場合も考えられる。そこで、照合・補正ブロック５３において、実写映像以外の情報を用いて幾何学情報を補正する。
【００５１】
このようにして補正された３次元モデルや幾何学情報は、視点変更ブロック５４へ出力される。なお、以下の説明では、３次元モデル及び幾何学情報をまとめて３次元データと呼ぶことにする。
視点変更ブロック５４には、実写映像及び、照合・補正ブロック５３からの３次元データが入力される。そして、視点変更ブロック５４では、視点変更処理を行う。このような視点変更が可能となるのは、車両のフロントバンパーの両端及びルームミラー取付部に計３台のビデオカメラ３６が設けられており、２次元の実写映像から３次元の空間情報を得ることができるからである。なお、ビデオカメラ３６を１台だけ備える構成であっても、車両走行中にビデオカメラ３６から連続して入力される時間的に前後する実写映像に基づけば、やはり２次元の実写映像から３次元の空間情報を得ることができ、視点を変更できる。
【００５２】
視点変更ブロック５４は、２次元の実写映像を、取得した３次元空間情報に基づき、再構成して視点を変えた映像を生成する。なお、この視点を変えた映像も便宜上実写映像と呼ぶことにする。この視点はユーザによる設定が可能となっている。例えば視点変更が可能な範囲でユーザが任意に設定できる構成としてもよいし、いくつかの視点を用意しておき、その中からユーザが選択的に設定できる構成としてもよい。また、視点変更ブロック５４は、入力された３次元データについても、実写映像に合わせた視点変更を行う。視点変更後の実写映像は画像処理ブロック５６へ出力され、３次元データはＣＧ化ブロック５５へ出力される。なお、ユーザによる視点変更設定がなされていない場合、視点変更ブロック５４は、実写映像及び３次元データをそのまま出力することになる。
【００５３】
ＣＧ化ブロック５５は、３次元データから２次元のＣＧ画像を生成する。このとき、ＣＧ化ブロック５５は、地図データ及び位置データに基づいて、３次元データの種類を特定することにより、色分けしてＣＧ画像を生成する。
３次元モデルとしての建造物や幾何学情報としての建造物の輪郭は、その建造物の種類にしたがって色分けされる。例えば、ビル、歩道橋、信号機といった建造物の機能による色分けはもちろん、ホテル、レストラン、スポーツセンターといった施設種類による色分けもなされる。また、道路のエッジ、センターライン、レーン、横断歩道なども、色分けされてＣＧ化される。
【００５４】
また、ＣＧ化ブロック５５は、３次元モデルの輪郭を強調してＣＧ画像を生成することもできる。このような輪郭の強調を行うか否かは、ユーザ設定に基づいて判断する。
画像処理ブロック５６は、入力された実写映像に画像処理を施すための構成である。画像処理には、階調処理、減色処理、領域の分割・統合処理が含まれる。ユーザは、メニューなどからこれらの処理の実行を選択できるものとする。特に、画像処理の実行が指示されない場合、画像処理ブロック５６は、そのままの実写映像を出力する。ここで、階調処理は、例えばコントラストを低減させる処理とすることが考えられる。また、減色処理は、例えば実写映像を２５６色や１６色にする処理であり、これによって、微妙な色の変化が取り除かれる。領域の分割・統合処理は、例えばカットアウトなどのフィルタ操作によって、実写映像中の細かな領域を大きな領域にまとめる処理であることが考えられる。つまり、案内に寄与しない不要情報を積極的に目立たなくするための処理を施すことが可能となっているのである。
【００５５】
画像合成ブロック５７は、ＣＧ化ブロック５５からのＣＧ画像と、画像処理ブロック５６からの実写映像とを合成して案内画像を生成する。画像合成ブロック５７は、ユーザによる設定に基づき、ＣＧ画像と実写映像との合成割合を決定して画像合成を行う。
【００５６】
ここで画面表示例を参照して画像合成ブロック５７による画像合成について説明する。
図３（ａ）は、メモリ３２から読み出された３次元モデルに基づき、ＣＧ化ブロック５５にて生成されたＣＧ画像の一例である。一方、図３（ｂ）は、画像処理ブロック５６から出力される実写映像の一例である。この実写映像には、上述したような画像処理は施されていない。このとき、画像合成ブロック５７は、図３（ａ）及び（ｂ）に示されるような２つの画像を合成し、図４に示した案内画像を生成する。
【００５７】
また、画像合成ブロック５７が、ユーザによる設定に基づき、ＣＧ画像と実写映像との合成割合を決定することは既に述べた。具体的には、画素値のブレンディングの割合を変えることで合成割合を変更する。例えば実写映像の合成割合が比較的高いと、図５（ａ）に示す如くとなる。一方、ＣＧ画像の合成割合が比較的高いと、図５（ｂ）に示す如くとなる。
【００５８】
さらにまた、ＣＧ化ブロック５５では３次元モデルの輪郭を強調してＣＧ画像を生成できるが、このように輪郭が強調されたＣＧ画像と合成された案内画像を示すのが図６である。
ところで、本実施例では、メモリ３２に、地図データに対応する３次元モデルが格納されていない場合に、幾何学情報抽出ブロック５２が、幾何学情報として、道路のエッジ、センターライン、レーン、横断歩道、及び、建造物の輪郭を抽出する。
【００５９】
このような幾何学情報から生成されたＣＧ画像と実写映像との合成画像を、図７に示した。この場合に、画像処理ブロック５６にて、階調処理を施しコントラストを低減させた実写映像を出力すれば、合成画像は、図８に示す如くとなる。
ここで再び図２に示す機能ブロック図の説明に戻る。
【００６０】
スーパーインポーズブロック５８は、画像合成ブロック５７から出力される案内画像に対し、案内情報をスーパーインポーズする。案内情報には、地図データに基づく標識や行き先案内、ユーザに対する操作案内、及び、ルート案内のための情報が含まれる。このスーパーインポーズブロック５８から出力される画像が、表示装置２８を介して出力されることになる。
【００６１】
例えば、上述の図４に示した案内画像に対し、案内情報がスーパーインポーズされた様子を図９に示した。
図９では、画面の上方に行き先案内が表示されている。そして、本実施例では、行き先案内に対応する交差点に近づいたときに、このような行き先案内がスーパーインポーズされる。
【００６２】
また図９では、画面のほぼ中央に、ルート案内のための矢印が表示されている。このような矢印は、ナビゲーション装置１のルート案内機能による案内タイミングでスーパーインポーズされる。本実施例では、このような矢印を案内画像の道路上に表示するようにしている。
【００６３】
さらに図９では、画面の下端部に、ユーザに対する操作案内としての操作パネルが表示されている。操作パネルには「自宅」、「特別メモリ」、「１」、「２」と示されるボタン表示がなされており、上述したタッチパネルとしての操作スイッチ群２６に対応する。具体的には、画面上をユーザが指で触れることにより、該当するボタンが押下されたものと判断されて、所定の機能が実現される。このような操作パネル表示は、案内画像の下方に常にスーパーインポーズされるようにしてもよいし、あるいは、ユーザ操作があったときにはじめてスーパーインポーズされるようにしてもよい。
【００６４】
なお、モデル情報読出ブロック５１が「モデル情報読出手段」に相当し、幾何学情報抽出ブロック５２が「幾何学情報抽出手段」に相当し、照合・補正ブロック５３が「幾何学情報補正手段」及び「モデル位置照合手段」に相当し、視点変更ブロック５４が「視点変更手段」に相当し、ＣＧ化ブロック５５が「ＣＧ化手段」に相当し、及び画像処理ブロック５６及び画像合成ブロック５７が「画像合成手段」に相当し、スーパーインポーズブロック５８が「スーパーインポーズ手段」に相当する。そして、上記ブロック５１、５２、５３、５５、５６、５７が「ＣＧ画像生成手段」に相当する。
【００６５】
次に、本実施例のナビゲーション装置１が発揮する効果について説明する。
本実施例のナビゲーション装置１では、図２に示すように、モデル情報読出ブロック５１によって地図データに対応するモデル情報が読み出され、あるいは、地図データに対応するモデル情報がなければ、幾何学情報抽出ブロック５２によって幾何学情報が実写映像から抽出される。そしてこれら３次元モデル又は幾何学情報がＣＧ化ブロック５５にてＣＧ画像として生成され、画像合成ブロック５７で合成されて案内画像が生成される。
【００６６】
図３（ａ）に示すようなＣＧ画像をそのまま案内画像として用いた場合、建造物などが簡略化して示されているため、図３（ｂ）に示す実写映像のような実際に見える景色との対応付けが困難となる。一方、図３（ｂ）に示すような実写映像を直接的に用いると、こんどは逆に、案内に必要でない情報が多くなってしまい、適切な案内を阻害する可能性が高くなる。例えば記号Ａで示した中央分離帯（センターライン）の植え込みや、記号Ｂで示す街路樹などは、実際の景色との対応付けという意味では必要な情報であるが、案内を行うという意味では不要な情報といえる。
【００６７】
そこで、本実施例では、画像を合成して図４に示すような案内画像を生成する。この案内画像は、実写映像をベースとしているため、実際の景色との対応付けが容易になる。一方で、ＣＧ画像の合成により、案内寄与情報である建造物や道路が認識し易くなり、案内に寄与しない不要情報と区別できる。特に図４に示す案内画像では、ＣＧ画像の合成により、不要情報が目立たなくなっている。例えば、記号Ｃで示した植え込みや記号Ｄで示した街路樹が目立たなくなっていることが分かる。これによって、適切な案内が実現できる。
【００６８】
また、本実施例では、画像合成ブロック５７による、ＣＧ画像と実写映像との合成割合の変更が可能となっている。これによって、図５（ａ）に示すような実写映像に近い案内画像を生成することも、あるいは、図５（ｂ）に示すような３次元モデルに基づくＣＧ画像に近い案内画像を生成することもできる。前者においては、実際の景色との対応付けが容易になるという効果が比較的大きくなり、後者においては、適切な案内を阻害する不要情報が目立たなくなるという効果が比較的大きくなる。
【００６９】
ところで、本実施例では、地図データに対応する３次元モデルがメモリ３２に格納されていない場合、実写映像から幾何学情報を抽出してＣＧ画像を生成する。この幾何学情報に基づくＣＧ画像を合成した案内画像は、図７に示す如くである。この場合も、建物の輪郭、道路のエッジ、レーン、センターライン、横断歩道がＣＧ画像として合成されるため、実写映像の中の案内寄与情報の認識が容易になり、実際に見える景色との対応付けが容易になると共に、適切な案内が実現される。
【００７０】
このように幾何学情報を抽出することによってもＣＧ画像が作成できるため、３次元モデルが用意されていない地域を走行する場合にも適切な案内がなされることになる。逆に言えば、全国各地の３次元モデルをメモリ３２に格納しておく必要はない。したがって、データ量の削減が図られる。さらに、本実施例では、建造物に関して直方体などを用いた簡易なモデルで構成しているため、この点でもデータ量の削減が図られる。
【００７１】
また、本実施例では、画像処理ブロック５６が、ユーザ設定に応じて、実写映像に対し画像処理を施す。この画像処理は、案内に寄与しない不要情報を目立たないようにするための処理であり、実写映像に映る不要情報を積極的に排除することが可能となる。例えば図７を例に挙げて説明すると、合成する実写映像のコントラストを低減させることによって、図８に示すように、不要情報が目立たなくなり、抽出した幾何学情報に基づくＣＧ画像がはっきりする。したがって、適切な案内が可能になる。
【００７２】
さらにまた、本実施例では、ＣＧ化ブロック５５が、案内寄与情報を色分けしてＣＧ化する。これによって実写映像中の案内寄与情報が容易に認識でき、また、複数の案内寄与情報を簡単に区別して認識することができる。具体的には、ビル、歩道橋、信号機といった建造物の機能による色分けがなされるため、走行中に目印となる建造物をはっきり認識できる。また、ホテル、レストラン、スポーツセンターといった施設種類による色分けもなされるため、ユーザが目的とする施設を案内画面で探し、実際にどの建物が目的の建物かを瞬時に把握できる。さらに、道路のエッジ、センターライン、レーン、横断歩道なども色分けされるため、走行中にセンターラインやレーン、横断歩道などを瞬時に認識できるため、安全運転にも寄与できる。また、３次元モデルに基づくＣＧ化を行う際、ＣＧ化ブロック５５は、３次元モデルの輪郭を強調してＣＧ画像を生成することもできる。この場合、例えば目印となる建造物の輪郭が強調されることになり（図６参照）、さらに適切な案内を実現できる。
【００７３】
また、本実施例では、照合・補正ブロック５３が、ＣＧ画像作成のため３次元モデルに対する視点補正を行う。これによって３次元モデルに基づくＣＧ画像がドライバーズビューに対応するものとでき、ＣＧ画像の実際の景色との対応、すなわち、実写映像との照合が正確なものとなるため、実際の景色との対応付けを瞬時に行える可能性が高くなる。また、照合・補正ブロック５３は、幾何学情報の一部が例えば植え込みなどに隠れて抽出されなかった場合など、抽出された幾何学情報を適切に補正する。これによって、実写映像からであっても建造物の輪郭などが確実に抽出でき、適切な案内が実現できる。
【００７４】
さらにまた、本実施例では、視点変更ブロック５４により、ドライバーズビューに対応する案内画像だけでなく、別の視点からの案内画像を生成することができる。したがって、例えば交差点の多い市街地などにおいて右左折道路を把握する場合など、鳥瞰図に相当するような案内画像を表示することもでき、ユーザにとって便利である。
【００７５】
また、本実施例では、スーパーインポーズブロック５８が案内画像に対して案内情報をスーパーインポーズする。具体的には、図９に示すように、行き先案内やルート案内のための矢印、操作パネルがスーパーインポーズされる。
標識や行き先案内については、その標識に近づいた時や、その行き先案内に対応する交差点に近づいた時にスーパーインポーズされるため、実際の道路との対応を容易に把握できる。
【００７６】
また、ルート案内のための矢印は、ルート案内機能による案内タイミングで、案内画像の道路上にスーパーインポーズされる。したがって、ルート案内の実効性が確保される。
さらに、操作パネルは画面の下端部にスーパーインポーズされるため、案内を阻害することがない。車両に一番近い部分を示す案内画面の下端部には重要な情報がないからである。
【００７７】
以上、本発明はこのような実施例に何等限定されるものではなく、本発明の主旨を逸脱しない範囲において種々なる形態で実施し得る。
（イ）上記実施例では、地図データに対応する３次元モデルがない場合に、幾何学情報抽出ブロック５２が実写映像から幾何学情報を抽出する構成であったが、３次元モデルが存在する場合にも幾何学情報を抽出し、３次元モデルと幾何学情報との両方から、ＣＧ化ブロック５５がＣＧ画像を生成するようにしてもよい。特に３次元モデルが本実施例のような簡易モデルで構成されている場合には、幾何学情報をも取り出してＣＧ化することにより、ＣＧ画像の輪郭が強調されて適切な案内画像となるからである。
【００７８】
もちろん、幾何学情報抽出ブロック５２を備えない構成として、３次元モデルのみからＣＧ画像を生成する構成にすることもできる。反対に、モデル情報読出ブロック５１を備えない構成として、幾何学情報のみからＣＧ画像を生成する構成にすることもできる。
【００７９】
（ロ）上記実施例では、ルート案内のための矢印を案内画像の道路上に表示する。このとき、交差点における直進、右折、左折をユーザが認識できるように道路に対応付けてスーパーインポーズするとよい。例えば図１０（ａ）に示すように、直進を示す場合には、交差点を跨ぐような矢印（記号Ｙ１で示した）を表示することが考えられる。また例えば図１０（ｂ）に示すように、左折を示す場合には、交差点で折れ曲がる矢印（記号Ｙ２で示した）を表示することが考えられる。このようにすれば、より適切なルート案内が可能になる。
【００８０】
また、上記実施例では、行き先案内をスーパーインポーズしている（図９参照）。このような行き先案内の表示も、上述したルート案内のための矢印表示と同様に、交差点に対応させて行うことが考えられる。例えば図１０（ｃ）に示す如くである。このようにすれば、確実な行き先案内がなされることになる。
【００８１】
（ハ）ところで、ユーザのリクエストによって、地図データ入力器２４の地図データを、通信装置３４を介したセンタ５０とのデータ通信により更新できることは既に述べた。
しかしながら、このような更新を行われず、地図データが古いものになると、実写映像に、地図データにない建造物や道路が映ったり、地図データにある建造物や道路が映らなかったりすることが考えられる。このときは、実写映像を優先的に用い、ＣＧ画像を生成するようにするればよい。実際に見える景色に対応する案内画像となり、景色との対応付けが容易になるためである。さらに、このような場合は、実写映像に基づいて、地図データ入力器２４の地図データを自動的に更新するようにしてもよい。この場合、電子制御装置３８が「更新手段」に相当する。
【００８２】
（ニ）また、車両がトンネルを走行する場合など、位置検出器２２のＧＰＳ受信機４４が衛星からの信号を受信できない場合も考えられる。そこで、実写映像に基づいて、上述した位置データを推定するような構成とすることも考えられる。あるいは、車速センサ４２からの車速や、さらに、ステアリングセンサを備える構成とし、このステアリングセンサからのステアリング角度を用いて、位置データを推定するようにしてもよい。これによって、ナビ情報が補間され、結果として、適切な案内を行うことができる。この場合、電子制御装置３８が「推定手段」に相当する。
【００８３】
（ホ）上記実施例では、一般的なルート案内機能に加え、実写映像を用いた案内画像表示を可能とした。この実写映像を用いた案内画像表示は、ナビゲーション装置１によってルート案内が行われているときに、必要に応じてなされるようにしてもよい。実際に見える景色との対応付けを容易にする、実写映像を用いた案内画像表示は、特にルート案内中の自車位置の確認に極めて優れた効果を発揮するからである。例えば通常走行時はＣＧ画像（２次元画像やバードビュー）を表示しておき、ルート案内中の必要なときにだけ実写を合成する構成を採用することが考えられる。必要なときとは、利用者にとって案内経路の認識が困難だと想定される場合が挙げられる。例えば、交差点や立体交差道路、特に入り組んだ交差点、高速道路のインターチェンジやジャンクションなどである。また、目的地周辺への到着時に実写映像を合成してもよい。目的とする建物などとの対応付けが容易になるからである。
【図面の簡単な説明】
【図１】実施例のナビゲーション装置の全体構成を示すブロック図である。
【図２】電子制御装置の機能ブロック図である。
【図３】（ａ）は３次元モデルに基づくＣＧ画像を示す説明図であり、（ｂ）は実写映像を示す説明図である。
【図４】３次元モデルに基づくＣＧ画像を用いて生成した案内画像を示す説明図である。
【図５】合成割合を変えた場合の案内画像を示す説明図である。
【図６】３次元モデルに基づくＣＧ画像の輪郭を強調した場合の案内画像を示す説明図である。
【図７】幾何学情報に基づくＣＧ画像を用いて生成した案内画像を示す説明図である。
【図８】実写映像に階調処理を施し生成した案内画像を示す説明図である。
【図９】案内情報をスーパーインポーズした案内画像を示す説明図である。
【図１０】交差点に対応させた案内情報表示を示す説明図である。
【符号の説明】
１…ナビゲーション装置
２２…位置検出器
２４…地図データ入力器
２６…操作スイッチ群
２８…表示装置
３０…スピーカ
３２…メモリ
３４…通信装置
３６…ビデオカメラ
３８…電子制御装置
４０…ジャイロスコープ
４２…車速センサ
４４…ＧＰＳ受信機
５０…センタ
５１…モデル情報読出ブロック
５２…幾何学情報抽出ブロック
５３…照合・補正ブロック
５４…視点変更ブロック
５５…ＣＧ化ブロック
５６…画像処理ブロック
５７…画像合成ブロック
５８…スーパーインポーズブロック
【図１】
0003876972.tif 000002
【図２】
0003876972.tif 000003
【図３】
0003876972.tif 000004
【図４】
0003876972.tif 000005
【図５】
0003876972.tif 000006
【図６】
0003876972.tif 000007
【図７】
0003876972.tif 000008
【図８】
0003876972.tif 000009
【図９】
0003876972.tif 000010
【図１０】
0003876972.tif 000011