(57)【要約】【課題】実画像に含まれる各施設に情報を付加して表示する場合に各施設と情報との対応関係をわかりやすくすることができる情報表示装置を提供すること。【解決手段】ナビゲーション装置は、周囲の施設を含む実画像を撮像によって取得するカメラ８と、実画像に含まれる施設画像を抽出する施設抽出部３２と、施設抽出部３２によって抽出された施設画像に対応する施設に対応する施設情報を取得する施設情報取得部３４と、実画像内において互いに対応する施設画像と施設情報とを関連づけて描画する画像合成部３６とを備える。【選択図】図１
2014153095.tif 000002
【特許請求の範囲】
【請求項１】
周囲の施設を含む実画像を撮像によって取得する撮像手段と、
前記実画像に含まれる施設画像を抽出する施設抽出手段と、
前記施設抽出手段によって抽出された施設画像に対応する施設に対応する施設情報を取得する施設情報取得手段と、
前記実画像内において互いに対応する前記施設画像と前記施設情報とを関連づけて描画する画像合成手段と、
を備えることを特徴とする情報表示装置。
【請求項２】
請求項１において、
前記施設抽出手段は、前記施設画像を建物毎に抽出することを特徴とする情報表示装置。
【請求項３】
請求項２において、
前記施設抽出手段は、実画像に対して画像認識処理を行って前記施設画像を抽出することを特徴とする情報表示装置。
【請求項４】
請求項１〜３のいずれかにおいて、
前記撮像手段による撮像位置を検出する位置検出手段をさらに備え、
前記施設情報取得手段は、前記位置検出手段によって検出された撮像位置と、前記施設抽出手段によって抽出された各施設画像の実画像内での位置とに基づいて各施設の位置を特定し、この特定した位置に対応する施設情報を取得することを特徴とする情報表示装置。
【請求項５】
請求項４において、
施設情報を施設位置とともに格納する施設情報格納手段をさらに備え、
前記施設情報取得手段は、前記施設情報格納手段に格納された施設情報の中から、特定した施設位置に対応する施設情報を取得することを特徴とする情報表示装置。
【請求項６】
請求項１〜５のいずれかにおいて、
前記画像合成手段は、互いに関連づける前記施設画像と前記施設情報との間に前記施設情報を前記施設画像から引き出す補助画像を付加することを特徴とする情報表示装置。
【請求項７】
請求項１〜６のいずれかにおいて、
前記画像合成手段は、互いに関連づける前記施設画像と前記施設情報に同じ着色を付加することを特徴とする情報表示装置。
【請求項８】
請求項１〜７のいずれかにおいて、
前記画像合成手段は、前記施設抽出手段によって抽出された前記施設画像の最外形部分を強調する枠画像を付加することを特徴とする情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを用いて撮像された画像に含まれる施設に対応する情報を表示する情報表示装置に関する。
【背景技術】
【０００２】
従来から、カメラによる実画像に所定の情報を付加して提供する情報提供装置が知られている（例えば、特許文献１参照。）。この情報提供装置では、実際に撮影された市街地風景に、３次元コンピュータ・グラフィックス技術を利用して、建物に対して広告看板などのサービス情報が貼り付けられたり、あるいは、道路には道案内用の矢印が付加されて、ユーザに提供されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２１６９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した特許文献１の情報提供装置では、実画像に含まれる複数の建物（施設）のそれぞれに重ねてあるいは建物の近傍にサービス情報等が貼り付けられており、建物の数が多くなってそれらが密集した場合に各建物と情報との対応関係がわかりづらくなるという問題があった。例えば、隣接した複数の建物があったときに、付加する情報の位置が、対応する建物からはみ出さないようにできれば対応関係がわかりづらくならないが、実画像内での建物の面積が小さくなれば必ず情報の位置が建物からはみ出すことになる。
【０００５】
本発明は、このような点に鑑みて創作されたものであり、その目的は、実画像に含まれる各施設に情報を付加して表示する場合に各施設と情報との対応関係をわかりやすくすることができる情報表示装置を提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の情報表示装置は、周囲の施設を含む実画像を撮像によって取得する撮像手段と、実画像に含まれる施設画像を抽出する施設抽出手段と、施設抽出手段によって抽出された施設画像に対応する施設に対応する施設情報を取得する施設情報取得手段と、実画像内において、互いに対応する施設画像と施設情報とを関連づけて描画する画像合成手段とを備えている。実画像に含まれる各施設画像に施設情報を付加して表示する際に、対応する施設画像と施設情報とを関連づけて表示することにより、各施設と施設情報との対応関係をわかりやすくすることができる。
【０００７】
また、上述した施設抽出手段は、施設画像を建物毎に抽出することが望ましい。実画像に含まれる施設画像を建物単位で抽出することにより、施設情報の付加対象となる施設の範囲を把握しやすくすることが可能になる。
【０００８】
また、上述した施設抽出手段は、実画像に対して画像認識処理を行って施設画像を抽出することが望ましい。画像認識処理によって建物毎の境界を検出することができ、実画像に含まれる各施設画像の抽出を確実に行うことができる。
【０００９】
また、上述した撮像手段による撮像位置を検出する位置検出手段をさらに備え、施設情報取得手段は、位置検出手段によって検出された撮像位置と、施設抽出手段によって抽出された各施設画像の実画像内での位置とに基づいて各施設の位置を特定し、この特定した位置に対応する施設情報を取得することが望ましい。撮像位置と実画像内における各施設画像の位置とに基づいて各施設を特定することができ、各施設に対応する施設情報を取得することが容易となる。
【００１０】
また、上述した施設情報を施設位置とともに格納する施設情報格納手段をさらに備え、施設情報取得手段は、施設情報格納手段に格納された施設情報の中から、特定した施設位置に対応する施設情報を取得することが望ましい。これにより、施設位置に基づいて施設情報を確実に取得することができる。
【００１１】
また、上述した画像合成手段は、互いに関連づける施設画像と施設情報との間に施設情報を施設画像から引き出す補助画像を付加することが望ましい。あるいは、上述した画像合成手段は、互いに関連づける施設画像と施設情報に同じ着色を付加することが望ましい。これにより、施設情報が付加された施設画像の把握が容易となり、施設情報と施設画像との対応関係をわかりやすくすることができる。
【００１２】
また、上述した画像合成手段は、施設抽出手段によって抽出された施設画像の最外形部分を強調する枠画像を付加することが望ましい。これにより、施設情報が付加された施設の範囲が視覚的に明らかになり、紐付けられた施設情報に対応する施設画像の範囲をわかりやすくすることができる。
【図面の簡単な説明】
【００１３】
【図１】一実施形態のナビゲーション装置の構成を示す図である。
【図２】実画像に含まれる各施設画像に施設情報を紐付けして表示する動作手順を示す流れ図である。
【図３】実画像の一例を示す図である。
【図４】実画像内で抽出された複数の施設画像を示す図である。
【図５】各施設画像毎に着色と施設情報とが付加された実画像を示す図である。
【図６】選択された施設に詳細施設情報が付加された実画像を示す図である。
【図７】変形例の構成を示す図である。
【図８】変形例の構成を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の情報表示装置を適用した一実施形態のナビゲーション装置について、図面を参照しながら説明する。
【００１５】
図１は、一実施形態のナビゲーション装置の構成を示す図である。図１に示すナビゲーション装置は、ナビゲーションコントローラ１、地図データ記憶装置３、操作部４、車両位置検出部５、表示装置６、カメラ８を含んで構成されている。このナビゲーション装置は、車両に搭載されている。
【００１６】
ナビゲーションコントローラ１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて所定の動作プログラムを実行することにより、自車位置周辺の地図画像表示動作や施設検索動作、経路探索・誘導動作、本発明の情報表示装置としての動作などの各種機能を実現する。ナビゲーションコントローラ１の詳細構成や動作の具体例については後述する。
【００１７】
地図データ記憶装置３は、地図表示、施設検索、経路探索などに必要な地図データが格納されている記憶媒体およびその読み取り装置である。この地図データ記憶装置３には、経度および緯度で適当な大きさに区切られた矩形形状の図葉を単位とした地図データが格納されている。各図葉の地図データは、図葉番号を指定することにより特定され、読み出すことが可能となる。地図データ記憶装置３は、ハードディスク装置や半導体メモリによって、あるいは、ＤＶＤとその読み取り装置によって実現される。また、地図データ記憶装置３を通信装置に置き換えて、外部の地図配信サーバ（図示せず）から地図データを取得するようにしてもよい。
【００１８】
操作部４は、利用者の指示（操作）を受け付けるためのものであり、各種の操作ボタンや操作つまみ類を備えている。また、操作部４は、表示装置６の画面に取り付けられたタッチパネルを含んでおり、画面上の一部を直接利用者が指等で指し示すことにより、操作指示を行うことができるようになっている。車両位置検出部５は、例えば、ＧＰＳ受信機、方位センサ、距離センサなどを備えており、所定のタイミングで車両位置（経度、緯度）の検出を行い、検出結果を出力する。
【００１９】
表示装置６は、例えばＬＣＤ（液晶表示装置）によって構成されており、ナビゲーションコントローラ１から出力される映像信号に基づいて自車位置周辺の地図画像や交差点案内画像、あるいは、カメラ８によって撮像された実画像やこの実画像に施設情報を付加した画像などを表示する。カメラ８は、車両のフロント側の所定位置（例えば中央位置）に取り付けられ、車両前方の所定範囲を所定の解像度で撮像する。なお、このカメラ８は、他の用途のために備わっているもの（例えば、ドライブレコーダ用）を用いるようにしてもよい。あるいは、車載のカメラ８を用いて取得した画像を用いる代わりに、利用者（運転者や同乗者）が車両前方をデジタルカメラで撮影した画像を取り込んで用いるようにしてもよい。
【００２０】
次に、ナビゲーションコントローラ１の詳細構成について説明する。図１に示すナビゲーションコントローラ１は、地図バッファ１０、地図読出制御部１２、地図描画部１４、車両位置計算部２０、画像格納部３０、施設抽出部３２、施設情報取得部３４、画像合成部３６、入力処理部５０、表示処理部６０を含んで構成されている。
【００２１】
地図バッファ１０は、地図データ記憶装置３から読み出された地図データを一時的に格納する。この地図データには、本発明の情報表示装置としての動作に必要な施設情報も含まれる。この施設情報には、各施設の全体情報とともに複数階の建物の場合には各階毎のテナント等の詳細施設情報が施設位置とともに含まれている。地図読出制御部１２は、車両位置計算部２０により算出される車両位置や利用者が操作部４を操作して指定した位置に応じて、所定範囲の地図データの読み出し要求を地図データ記憶装置３に出力する。地図描画部１４は、地図バッファ１０に格納された地図データに基づいて、表示装置６に地図画像を表示するために必要な描画処理を行って地図画像描画データを作成する。
【００２２】
車両位置計算部２０は、車両位置検出部５から出力される検出データに基づいて自車位置を計算するとともに、計算した自車位置が地図データの道路上にない場合には、自車位置を修正するマップマッチング処理を行う。
【００２３】
画像格納部３０は、カメラ８による撮像によって得られた実画像を格納する。施設抽出部３２は、画像格納部３０に格納された実画像に対して画像認識処理を行って施設画像を抽出する。この抽出処理において、施設画像が建物単位で認識され、隣接する建物であっても互いに異なる建物として区分けされる。
【００２４】
施設情報取得部３４は、施設抽出部３２によって抽出された施設画像に対応する施設に対応する施設情報を取得する。地図バッファ１０には、各施設の施設情報が施設位置とともに格納されている。施設情報取得部３４は、施設抽出部３２によって抽出された各施設画像の実画像内での位置を特定するとともに、撮像位置（車両位置計算部２０によって計算された車両位置）とこの特定した各施設画像の位置とに基づいて各施設の位置（絶対位置）を特定し、この特定した絶対位置に対応する施設情報を地図バッファ１０から読み出す。
【００２５】
画像合成部３６は、施設抽出部３２によって抽出された各施設画像が互いに識別可能なようにそれぞれの施設画像に着色を付加するとともに、各施設画像の近傍に各施設画像の施設に対応する施設情報を重ねて描画する。また、各施設情報には、それぞれの施設情報がどの施設画像に対応するものであるかを明確にするために、対応する施設画像と同じ色が付されるとともに、対応する施設画像から施設情報を引き出して紐付けするための補助画像が付加される。画像合成部３６による表示の具体例については後述する。
【００２６】
入力処理部５０は、操作部４の操作内容（入力内容）を検出し、入力待ち状態になっている構成に向けて入力内容に応じた指示を出力する。表示処理部６０は、地図描画部１４によって描画処理された地図画像、あるいは、画像合成部３６によって施設情報が重ねて描画された実画像を選択的に表示する。なお、選択的に表示する代わりに、１画面内で分割表示するようにしてもよい。
【００２７】
上述したカメラ８が撮像手段に、施設抽出部３２が施設抽出手段に、施設情報取得部３４が施設情報取得手段に、画像合成部３６が画像合成手段に、車両位置検出部５、車両位置計算部２０が位置検出手段に、地図バッファ１０が施設情報格納手段にそれぞれ対応する。
【００２８】
本実施形態のナビゲーション装置はこのような構成を有しており、次に、カメラ８による撮像によって得られた実画像に施設情報を付加して表示する動作について説明する。
【００２９】
図２は、実画像に含まれる各施設画像に施設情報を紐付けして表示する動作手順を示す流れ図である。利用者による操作指示に応じてカメラ８による撮像が行われる（ステップ１００）。得られた実画像の画像データは画像格納部３０に格納される。また、施設抽出部３２は、画像格納部３０に格納された画像データに基づいて、実画像に対して画像認識処理を行って実画像に含まれる一あるいは複数の施設画像を建物単位で抽出する（ステップ１０２）。図３は、実画像の一例を示す図である。また、図４は実画像内で抽出された複数の施設画像を示す図である。図４において、符号Ａ〜Ｉが付された部分画像が施設画像であり、建物（この例ではビルディング）単位で、実画像内において見えている部分が抽出されている。
【００３０】
次に、施設情報取得部３４は、施設抽出部３２によって抽出された一の施設画像に着目し、この施設画像に対応する施設情報を地図バッファ１０から読み出して取得する（ステップ１０４）。その後、施設情報取得部３４は、未処理の施設画像があるか否かを判定し（ステップ１０６）、ある場合には肯定判断を行ってステップ１０４に戻り、次の施設画像に着目して施設情報を取得する。また、全ての施設画像（図４に示した例では、Ａ〜Ｉの符号が付された施設画像）について施設情報の取得が終了すると、ステップ１０６の判定において否定判断が行われる。
【００３１】
次に、画像合成部３６は、実画像に施設画像単位で着色を付すとともに、各施設画像の近傍に、対応する施設情報を紐付けした状態で付加する描画処理を行う（ステップ１０８）。また、表示処理部６０は、画像合成部３６によって描画された着色や施設情報が付された状態で描画された実画像を表示装置６に表示する（ステップ１１０）。
【００３２】
図５は、各施設画像毎に着色と施設情報とが付加された実画像を示す図である。図５では、着色の様子がわかりづらいが、図４に示した符号Ａ〜Ｉのそれぞれが付された各施設画像が互いに識別可能な色分けで着色が施されている。また、図５に示す例では、各施設画像から吹き出し（吹き出し全体あるいは吹き出しを施設画像から引き出した紐付け部分が補助画像に対応する）を出してその中に施設情報（施設情報の詳細についてはこの図の中では省略されている）を含ませている。このような施設情報は、「エアタグ」と称される概念も包含するものである。なお、この施設情報が存在しない施設については、施設情報の付加は省略される。また、施設情報は、施設単位で１つあるいは２つ程度の各施設の全体情報とすることが視認性確保の観点からは好ましいが、３つ以上あってもよい。
【００３３】
次に、施設抽出部３２は、利用者が操作部４を操作していずれかの施設（施設画像）が選択されたか否かを判定する（ステップ１１２）。選択されていない場合には否定判断が行われ、ステップ１１０に戻って表示動作が継続される。また、いずれかの施設が利用者によって選択された場合にはステップ１１２の判定において肯定判断が行われる。
【００３４】
次に、施設情報取得部３４は、選択された施設の詳細施設情報を取得する（ステップ１１４）。また、画像合成部３６は、実画像に施設画像単位で着色を付すとともに（あるいは、ステップ１０８において付された着色を残した状態で）、選択された施設の施設画像の近傍に、対応する詳細施設情報を紐付けした状態で付加する描画処理を行う（ステップ１１６）。また、表示処理部６０は、画像合成部３６によって描画された着色や施設情報が付された状態で描画された実画像を表示装置６に表示する（ステップ１１８）。
【００３５】
図６は、選択された施設に詳細施設情報が付加された実画像を示す図である。詳細施設情報は、３つ以上であってもよいが、あまり多い場合には、一度に実画像に重ねて表示する数を制限し、再度施設を指し示す等の操作が行われる毎に表示対象となる詳細施設情報の内容を更新するようにしてもよい。
【００３６】
このように、本実施形態のナビゲーション装置では、実画像に含まれる各施設画像に施設情報を付加して表示する際に、対応する施設画像と施設情報とを関連づけて表示することにより、各施設と施設情報との対応関係をわかりやすくすることができる。また、実画像に含まれる施設画像を建物単位で抽出することにより、施設情報の付加対象となる施設の範囲を把握しやすくすることが可能になる。さらに、実画像に対して画像認識処理を行って施設画像を抽出するにより、建物毎の境界を検出することができ、実画像に含まれる各施設画像の抽出を確実に行うことができる。
【００３７】
また、互いに関連づける施設画像と施設情報との間に施設情報を施設画像から引き出す補助画像を付加したり、互いに関連づける施設画像と施設情報に同じ着色を付加することにより、施設情報が付加された施設画像の把握が容易となり、施設情報と施設画像との対応関係をわかりやすくすることができる。
【００３８】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、抽出された複数の施設画像のそれぞれに異なる色を付したが、着色する代わりに、各施設画像の最外形部分を強調する枠画像を付加するようにしてもよい。これにより、施設情報が付加された施設の範囲が視覚的に明らかになり、紐付けられた施設情報に対応する施設画像の範囲をわかりやすくすることができる。
【００３９】
また、上述した実施形態では、ナビゲーション装置に本発明の情報表示装置の構成を組み込んだが、図７に示すように、ナビゲーション装置１００とは別に情報表示装置２００を構成し、必要な情報を適宜ナビゲーション装置との間で入出力するようにしてもよい。この情報表示装置２００には、図１に示した画像格納部３０、施設抽出部３２、施設情報取得部３４、画像合成部３６が少なくとも含まれている。
【００４０】
また、図８に示すように、ナビゲーション装置から施設情報を取得する代わりにネットワーク３００を介してサーバ４００から施設情報を取得したり、ＧＰＳ機能付きのカメラ８Ａ（あるいはＧＰＳ機能付きのカメラ付き携帯電話等でもよい）から撮像位置付きの実画像を取得するようにしてもよい。あるいは、位置情報付きの実画像をネットワーク３００経由で取得するようにしてもよい。特に、サーバ４００等から施設情報を取得する場合には、その都度最新の施設情報を取得することができるようになるため、新しい施設情報を優先的に表示させたり、有効期間内のキャンペーン情報などの施設情報を優先的に表示させることもできる。
【産業上の利用可能性】
【００４１】
上述したように、本発明によれば、実画像に含まれる各施設画像に施設情報を付加して表示する際に、対応する施設画像と施設情報とを関連づけて表示することにより、各施設と施設情報との対応関係をわかりやすくすることができる。
【符号の説明】
【００４２】
１  ナビゲーションコントローラ
３  地図データ記憶装置
４  操作部
５  車両位置検出部
６  表示装置
８  カメラ
１０  地図バッファ
１２  地図読出制御部
１４  地図描画部
２０  車両位置計算部
３０  画像格納部
３２  施設抽出部
３４  施設情報取得部
３６  画像合成部
５０  入力処理部
６０  表示処理部
【図１】
2014153095.tif 000003
【図２】
2014153095.tif 000004
【図３】
2014153095.tif 000005
【図４】
2014153095.tif 000006
【図５】
2014153095.tif 000007
【図６】
2014153095.tif 000008
【図７】
2014153095.tif 000009
【図８】
2014153095.tif 000010