(57)【要約】【課題】従来の情報表示装置は、景観画像中の複数の対象地物が近接している場合、表示された地物情報がどの対象地物に対応づけられているか分りにくい。又、情報表示の対象地物が山の向こう側で、景観画像に写っていない場合、その地物の存在場所が分りにくい。【解決手段】カメラでの撮影景観画像を入力する景観画像入力手段と、景観画像に重畳する地物情報を入力する地物情報入力手段と、地物情報をＣＧモデルに表示視覚化する地物情報視覚化手段と、指標算出手段で算出された対象地物以外の地物と対象地物の前後関係判定用指標に基づき景観画像中の対象地物以外の地物と対象地物の前後関係を前後関係判定手段で判定、結果により景観画像中の対象地物以外の地物の遠近感を遠近感強調手段で強調した景観画像に、地物情報のＣＧモデルを合成し、表示信号を出力する合成表示手段を備える。【選択図】図１
2014191375.tif 000002
【特許請求の範囲】
【請求項１】
山や川や土地および建造物などの地物の名称を含む地物情報を実風景画像である景観画像中の対象とする地物に対応付けて前記景観画像に重畳表示する情報表示装置において、
カメラで撮影された景観画像を入力する景観画像入力手段と、
前記景観画像に重畳する地物情報を入力する地物情報入力手段と、
前記地物情報をＣＧ（コンピュータグラフィックス）モデルとして表示し視覚化する地物情報視覚化手段と、
前記景観画像中の前記対象地物以外の他の地物の各領域と前記対象地物の前後関係を判定する指標を算出する指標算出手段と、
前記指標に基づき前記景観画像中の前記対象地物以外の他の地物の各領域と前記対象地物の前後関係を判定する前後関係判定手段と、
判定した前後関係に応じて前記景観画像中の前記対象地物以外の他の地物の各領域の遠近感を強調する遠近感強調手段と、
前記地物情報視覚化手段により前記視覚化された地物情報を前記遠近感強調手段により遠近感が強調された景観画像に合成し、表示信号を出力する合成表示手段とを備えることを特徴とする情報表示装置。
【請求項２】
前記指標算出手段は、前記対象地物と前記対象地物以外の各領域の動きベクトルの大きさを指標として算出することを特徴とする請求項１に記載の情報表示装置。
【請求項３】
前記指標算出手段は、対象地物の景観画像上での見かけの大きさと実際の大きさの比および対象地物以外の他の地物の領域に存在する大きさの判明している被写体の景観画像上での見かけの大きさと実際の大きさの比をそれぞれの地物の指標として算出することを特徴とする請求項１に記載の情報表示装置。
【請求項４】
前記指標算出手段は、同一実風景を異なる位置に備えられた別個のカメラにより撮影された異なる２つの景観画像間の地物の視差を指標として算出することを特徴とする請求項１に記載の情報表示装置。
【請求項５】
前記遠近感強調手段は、前記前後関係判定手段により判定された前後関係に応じて前記対象地物以外の他の地物の各領域の色調を変化させることを特徴とする請求項１乃至請求項４の何れか１項に記載の情報表示装置。
【請求項６】
前記遠近感強調手段は、前記前後関係判定手段により判定された前後関係に応じて前記対象地物以外の他の地物の各領域の鮮明度を変化させることを特徴とする請求項１乃至請求項４の何れか１項に記載の情報表示装置。
【請求項７】
前記遠近感強調手段は、前記前後関係判定手段により判定された前後関係に応じて前記対象地物以外の他の地物の各領域の透明度を変化させることを特徴とする請求項１乃至請求項４の何れか１項に記載の情報表示装置。
【請求項８】
前記遠近感強調手段は、各領域の遠近感を強調する際に基準とする基準の地物を、ユーザの操作により切り替えることを特徴とする請求項１乃至請求項４の何れか１項に記載の情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、山や川や土地および建物や橋などの建造物等の地物の名称を含む地物情報を実風景の画像である景観画像の対象とする地物に対応付けして重畳表示することにより景観画像中の対象地物に関する情報をわかりやすく利用者に提示する情報表示装置に関する。
【背景技術】
【０００２】
地物情報を景観画像の対象地物に対応付けして重畳表示する従来の情報表示装置には、例えば特開平11-86035号公報（特許文献１）に示すように、地物情報から生成したＣＧ（Computer Graphics）画像を景観画像と照合することによって景観画像中の対象地物と地物情報を対応づけ、景観画像中の対象地物の近くに地物の名称などの属性情報を表したラベルを重畳表示するように構成されたものがあった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平11-86035号公報「距離参照型景観ラベリング装置およびシステム」
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の情報表示装置は上記のように構成されていた。このため、景観画像中の複数の対象地物が画像上で近接している場合、重畳表示された地物情報が景観画像中のどの対象地物に対応づけられているかわかりにくいという問題があった。また、情報を重畳した対象地物が山の向こう側にあるような場合は、景観画像中に対象地物が写っていないため、その地物がどこにあるのかわかりにくいという問題もあった。
【０００５】
この発明は上記のような問題点を解決するためになされたもので、景観画像に重畳表示された地物情報と景観画像に写っている対象地物の対応を容易に把握できる情報表示装置を得ることを目的とする。また、景観画像中で他の地物の陰に隠れた対象地物の情報を重畳表示した場合にも、その対象地物の位置を容易に把握することができる情報表示装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る情報表示装置は、山や川や土地および建造物等の地物の名称を含む地物情報を実風景画像である景観画像中の対象とする地物に対応付けて景観画像に重畳表示する情報表示装置において、
カメラで撮影された景観画像を入力する景観画像入力手段と、
景観画像に重畳する地物情報を入力する地物情報入力手段と、
地物情報をＣＧモデルとして表示し視覚化する地物情報視覚化手段と、
景観画像中の各領域と対象地物の前後関係を判定する指標を算出する指標算出手段と、
前記指標に基づき景観画像中の各領域と対象地物の前後関係を判定する前後関係判定手段と、
判定した前後関係に応じて景観画像各領域の遠近感を強調する遠近感強調手段と、
前記地物情報視覚化手段により視覚化された地物情報を前記遠近感強調手段により遠近感が強調された景観画像に合成し、表示信号を出力する合成表示手段とを備える。
【発明の効果】
【０００７】
この発明に係る情報表示装置によれば、
基準とする対象地物と景観画像中の対象地物以外の他の地物の領域との前後関係を判定する前後関係判定手段の判定結果による前後関係に基づき、遠近感強調手段によって景観画像の各地物の遠近感を強調するので、地物情報が重畳された対象地物と景観画像中の他の地物との位置関係の把握が容易で、その結果、重畳した地物情報がどの対象地物に対応づけられたものかわかりやすい情報表示装置を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１による情報表示装置におけるシステム構成例を示す図である。
【図２】この発明の実施の形態１による情報表示装置の機能ブロック図である。
【図３】この発明の実施の形態１による情報表示装置の処理の流れを示すフローチャートである。
【図４】カメラ制御用コンピュータに取り込まれた景観画像図である。
【図５】地物情報の内容の具体例を示す図である。
【図６】地物情報の視覚化処理結果を示す図である。
【図７】前後関係判定用の景観画像の領域抽出結果の説明図である。
【図８】抽出領域と基準地物の前後関係判定結果の説明図である。
【図９】遠近感強調処理前と処理後の例を示す景観画像図である。
【図１０】地物情報の視覚化結果と遠近感強調結果の合成景観画像の作成説明図である。
【図１１】対象地物が山の陰に隠れ、景観画像中に写っていない場合を示す景観画像図である。
【図１２】実施の形態２による地物情報の内容の具体例を示す図である。
【図１３】実施の形態２による地物情報の視覚化処理結果を示す図である。
【図１４】実施の形態２による景観画像の前後関係判定用領域抽出結果の説明図である。
【図１５】実施の形態２による抽出領域と基準地物の前後関係判定結果の説明図である。
【図１６】実施の形態２による合成景観画像図である。
【図１７】遠近感強調表示による対象地物の各種透過表示方法を示す景観画像図である。
【図１８】２台のカメラによる撮像対象地物の視差の説明図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
（システム構成）
図１はこの発明の情報表示装置に用いられるシステムの構成例を示した図である。以下に各構成要素について説明する。
カメラ１は景観を撮影し景観画像を入力する。位置センサー２は、ＧＰＳ (Global Positioning System)などの測位技術を援用し、カメラ１の位置を示す緯度・経度・高度などの座標値を出力する。姿勢センサー３は、慣性計測の原理などによりカメラ１の姿勢を計測し、その計測値を出力する。姿勢センサー３によるカメラ１の姿勢は例えばロール、ピッチ、ヨーの３つの角度の組み合わせにより表される。カメラ制御用コンピュータ４は、カメラ１と位置センサー２および姿勢センサー３を制御し、所定時間毎に景観を撮影し、その撮影した景観画像と位置センサー２のカメラ１の位置情報および姿勢センサー３のカメラ１の姿勢情報の出力を関連づけて取り込む。
【００１０】
表示用コンピュータ５は、ネットワークによりカメラ制御用コンピュータ４に接続され、カメラ制御用コンピュータ４が取り込んだ景観画像とこの景観画像に関連づけられたカメラ１の位置情報および姿勢情報を取得し、景観画像に地物情報を重畳する処理を行う。補助記憶装置６は、表示用コンピュータ５に接続され、景観画像に重畳する地物情報が予め蓄えられ記憶される。表示装置７は、表示用コンピュータ５に接続され、表示用コンピュータ５が処理した景観画像に地物情報を重畳した結果を表示する。
【００１１】
次に、この情報表示装置に用いられるシステムの動作について説明する。図２に機能ブロック図を、図３に処理のフローチャートを示し、以下に、各ステップについて説明する。
なお、図２の機能ブロックである景観画像入力手段４１はカメラ制御用コンピュータ４の動作を、地物情報入力手段５１、地物情報視覚化手段５２、指標算出手段５３、前後関係判定手段５４、遠近感強調手段５５および合成表示手段５６は、表示用コンピュータ５の動作を制御するプログラムのモジュールに従って便宜的に分割したものである。
【００１２】
ステップＳ１：景観画像の入力処理
カメラ制御用コンピュータ４の景観画像入力手段４１はカメラ１と位置センサー２および姿勢センサー３を制御し、カメラ１が撮影した景観画像を位置センサー２の出力、姿勢センサー３の出力とともに定期的に取り込む。このデータをネットワークを経由して表示用コンピュータ５に転送する。
図４にカメラ制御用コンピュータ４が取り込んだ景観画像の例を示す。景観画像を構成する各画素は、カメラ１の画角内の所定方向から入射した光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色に分解し、濃淡をそれぞれ三原色毎に例えば２５６階調で表したものである。
【００１３】
ステップＳ２：地物情報の入力処理
補助記憶装置６に予め蓄えられた景観画像に重畳される地物情報を表示用コンピュータ５の地物情報入力手段５１が取得する。地物情報は、その地物の位置を示す緯度、経度、高度から成る座標値と、その名称などの属性情報から構成される。ここでは、山や建物など、通常地図に記載される地物に加え、航空機や船など、景観画像中で位置を持つものはすべて地物と考える。
図５に地物情報の例を示す。この例では、気球の現在の位置が緯度、経度、高度により示され、さらに、その属性として「気球Ｎｏ．１５」という文字列が設定されている。
【００１４】
ステップＳ３：地物情報の視覚化処理
カメラ制御用コンピュータ４から送られてきたカメラ１の位置情報、姿勢情報によって決まるカメラパラメータに基づき、表示用コンピュータ５の地物情報視覚化手段５２で補助記憶装置６から取得した地物情報を視覚化する。情報を重畳する対象地物の位置は補助記憶装置６に予め蓄えられ、図５に示すように、緯度、経度、高度により与えられる。一方、カメラ１の位置情報（緯度、経度、高度）、姿勢情報（ロール、ピッチ、ヨー）は位置センサー２および姿勢センサー３により与えられ、カメラ制御用コンピュータ４により取得されて、ネットワークによって、表示用コンピュータ５に送付される。
これらのカメラパラメータおよび情報を重畳する対象地物の位置パラメータが与えられれば、表示用コンピュータ５の地物情報視覚化手段５２は既知の変換式を適用することにより景観画像中での対象地物、この実施の形態においては気球Ｎｏ１５の画像座標（Ｘ0，Ｙ0）を計算することができる。
画像座標（Ｘ0，Ｙ0）が得られれば、この点を基準点として文字列「気球Ｎｏ．１５」を描画した図６に示すＣＧモデルの画像を生成する。これが視覚化した地物情報となる。
【００１５】
ステップＳ４：指標算出処理
景観画像中での対象地物を基準の地物とし、この基準地物と景観画像中の他の地物の領域との前後関係を判定するための指標を表示用コンピュータ５の指標算出手段５３で算出する。ここでは指標として動きベクトルの大きさを用いた例を示す。この例では、カメラ１が移動し、景観画像中の対象地物、即ち気球Ｎｏ．１５は静止しているものとする。このとき、景観画像中の対象地物は画像中でカメラ１の移動と逆方向に移動しているように見える。さらに、この見かけの移動速度はカメラ１から近い対象地物は速く、カメラ１から遠い対象地物は遅くなるという性質が知られている。この性質を利用して景観画像中の対象地物と各領域の前後関係を判定する。
そのため、まず基準地物、即ち、対象地物である「気球Ｎｏ．１５」について、動きベクトルの大きさを基準の指標として求める。
時刻ｔにおけるある特定された地物の画像中の位置をＰ0、時刻ｔ＋Δｔにおける当該地物の画像中の位置をＰ1とすると、動きベクトルの大きさＶは一般に式（１）により定義される。
【００１６】
【数１】
2014191375.tif 000003
【００１７】
時刻ｔおよび時刻ｔ＋Δｔにおけるカメラ１の位置と姿勢の情報はカメラ１が景観を撮影する際に位置センサー２および姿勢センサー３により与えられて、カメラ制御用コンピュータ４により景観画像と共に所定時間毎に取り込まれ、ネットワークによって、表示用コンピュータ５に転送される。
基準の地物とした地物情報を重畳する対象地物の緯度、経度、高度は地物情報入力手段５２により補助記憶装置６より取得され、指標算出手段５３に送信される。カメラ１の位置と姿勢の情報および基準の地物の緯度、経度、高度の情報を用いると、基準の地物の時刻ｔにおける画像座標Ｐ0および時刻ｔ＋Δｔにおける画像座標Ｐ1が計算できる。これを上記式（１）に適用すると、対象地物の動きベクトルの大きさＶが得られる。これを基準の指標として出力する。
【００１８】
ステップＳ５：前後関係判定処理
前記指標に基づき基準の地物と景観画像中の基準の地物以外の他の地物の各領域、即ち富士山や大山、空等との前後関係を表示用コンピュータ５の前後関係判定手段５４で判定する。
まず、景観画像を構成する画像を解析し、各地物の領域を抽出する。領域は、輝度や色が連続的に変化する範囲を１つの領域として抽出する。図７に抽出した地物の領域の例を示す。この例では、空、富士山、大山、気球の４つの地物の領域が抽出されている。
次に、抽出された地物の各領域について、前後関係を判定するための指標を求める。景観画像をいくつかのブロックにわけ、ブロックごとに動きベクトルを求める。動きベクトルを求める方法としては、例えば、時刻ｔおよび時刻ｔ＋Δｔにおける画像を照合することにより求めるブロックマッチング法が知られている。次に各領域に含まれるブロックについて、その動きベクトルの平均をとることにより地物の領域の動きベクトルを求め、その大きさを指標として算出する。
【００１９】
次に、求めた地物の各領域の指標をステップＳ４で求めた基準の指標Ｖと比較することにより基準の地物に対する前後関係を判定する。図８に前後関係判定結果の例を示す。地物ｎの領域に対する指標をＶnとするとき、次のルールにより各地物における領域の、基準の地物に対する前後関係を判定する。
【００２０】
もし  ｜Ｖn - Ｖ｜  ＜  ε  ならば  地物ｎの領域は基準の地物と同等の位置  と判定する。
それ以外で、
もし  Ｖn - Ｖ  ＜  ０  ならば  地物ｎの領域は基準の地物より奥の位置  と判定する。
もし  Ｖn - Ｖ  ＞  ０  ならば  地物ｎの領域は基準の地物より手前の位置  と判定する。
ここでεは、この値より指標の差が小さい場合は同等と判定するよう予め定めた正の値である。
【００２１】
ステップＳ６：遠近感強調処理
ステップＳ５で判定処理した前後関係に応じて景観画像の遠近感を強調する。一般に、遠方の地物を撮影すると距離が遠くなるほど彩度が低く明度が高くなることが知られている。そこで、ステップＳ５の前後関係判定処理で求めた前後関係の判定結果に基づき、表示用コンピュータ５の遠近感強調手段５５で各領域の色調を前後関係に応じて変化させる。
そのため、景観画像を構成する画素毎に以下の処理を行い、遠近感を強調した景観画像を得る。
【００２２】
（ｉ）赤、緑、青の３原色の濃淡値で表現された画素値（Ｒi, Ｇi, Ｂi）を、既知の変換式により変換し、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の３つの成分により表現する。得られた３成分の色表現を色相（Ｈi）、彩度（Ｓi）、明度（Ｖi）とする。ここで、色相（Ｈ）は0から360までの数値、彩度（Ｓ）および明度（Ｖ）は０から１までの数値で表現するものとする。
（ii）画素が景観画像のどの領域に属するかを判定し、その領域の、情報を重畳する対象地物に対する前後関係を前記ステップＳ５の前後関係判定処理の処理結果から得る。
（iii）得られた前後関係に応じて、次の式（２）、（３）、（４）により遠近感強調を行い、色表現の３成分（Ｈo, Ｓo, Ｖo）を得る。
【００２３】
【数２】
2014191375.tif 000004
【００２４】
ここで、α、β、γ、δはα＞１、β＞１、γ＞１、δ＞１となるように設定した定数である。このように設定すれば、基準の地物より奥の領域では彩度が減少し明度は増加する。また、基準の地物より手前の領域では彩度が増加し明度は減少する。
【００２５】
（iv）次に、既知の変換式により３成分（Ｈo, Ｓo, Ｖo）よりなる色から赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の濃淡値に変換した色表現（Ｒo, Ｇo, Ｂo）を得る。
図９に、遠近感強調処理前と遠近感強調処理結果の景観画像例を示す。
【００２６】
ステップＳ７：合成表示処理
ステップＳ３で地物情報視覚化手段５２により視覚化された地物情報を、ステップＳ６により遠近感強調手段５５で遠近感が強調された景観画像に表示用コンピュータ５の合成表示手段５６が合成して表示装置７で表示できる信号にする。具体的には、上記ステップＳ６の遠近感強調処理において遠近感を強調した画像に上記ステップＳ３の地物情報の視覚化処理で得られた画像を重畳し、得られた画像を表示装置７に表示する。図１０に視覚化された地物情報と遠近感強調後の景観画像と画像表示装置７に表示された合成表示結果の景観画像の例を示す。
【００２７】
（実施の形態１における効果）
この発明による実施の形態１の情報表示装置は以上のように構成される。
このような構成によれば、前後関係判定手段５４は基準の対象地物と景観画像中の他の地物（富士山や大山等の領域）との前後関係を判定し、遠近感強調手段５５は前後関係判定手段５４の判定結果による前後関係に基づき景観画像の遠近感を強調するので、地物情報が重畳された対象地物と景観画像中の他の地物との位置関係の把握が容易で、その結果、重畳した地物情報がどの対象地物に対応づけられたものかわかりやすい情報表示装置を得ることができる。
【００２８】
（他の実施例）
１．指標算出の他の実施例
上記の説明では、基準の対象地物と景観画像中の他の地物との前後関係を判定するための指標として動きベクトルの大きさを用いたが、指標としては、下記のような別の指標を用いることもできる。
（１）対象地物の景観画像上での見かけの大きさと実際の大きさの比および大きさが判明している対象地物以外の地物の領域に存在する被写体の景観画像上での見かけの大きさと実際の大きさの比
景観画像上での被写体としての大きさを特定可能な地物の見かけの大きさは奥行きが深くなるほど小さくなる。そこで、景観画像上での特定可能な地物である被写体の大きさをs、実際のこの被写体の大きさをＳとし、これらの比s/Sを指標として用いる。
他の地物の領域に対する指標は、その領域中の実際の大きさが判明している地物である被写体を検出することにより算出する。例えば、道路上の自動車や土地上に建造されているビルの１階分の高さなどは一般的な大きさが決まっている。これらの地物を景観画像中で検出し、検出した被写体の画像上での大きさを実際の被写体の大きさで除算することにより指標s/Sを算出し、その道路や土地の指標とする。
【００２９】
（２）カメラ間の視差
図１８に示すように、異なる位置にそれぞれカメラを設置して同一の対象地物を観測した場合、それぞれのカメラから見た対象地物の方向が異なるために、景観画像上の対象地物の位置に差が生じる。これは一般に視差と呼ばれる。視差（｜P1-P2｜）は奥行きが深くなるほど小さくなるので、これを指標として用いる。
各領域に対する指標は、２つの景観画像の間のパターンマッチング等により対応点の組を求め、領域に含まれる対応点の組ごとに求めた視差の値を平均し、得られた値を指標とする。
上記の方法は、２つのカメラの光軸が平行であることを前提としている。そうでない場合、視差と奥行きの間に上記の関係が成り立たなくなる。その場合はカメラの光軸の相対的な関係に基づき１つのカメラの画像を変換し、別のカメラと光軸が平行な画像を作成する。その上で上記と同様に視差の値を求め、指標とすれば良い。カメラの光軸の相対的な関係はカメラにつけたセンサーにより求めても良いし、上記の対応点の情報をもとに既知の手法により推定しても良い。
【００３０】
２．遠近感強調処理の他の実施例
（１）指標の比に基づくパラメータ設定
上記の説明では、景観画像を構成する各領域を、地物情報を重畳する対象地物より奥の領域、同等の奥行きの領域、手前の領域の３種類に分類し、それぞれに対して遠近感強調のためのパラメータを設定した。
この分類は更に細かくしても良く、その際は、基準の指標と対象地物以外の地物の各領域の指標の比に応じたパラメータの設定を行う。以下式（５）に計算式の例を示す。
【００３１】
【数３】
2014191375.tif 000005
【００３２】
ここで、d0は基準とする指標、ｄは対象地物以外の地物の各領域の指標である。このように設定すれば、基準の地物から前後に離れた領域ほど遠近感強調の効果が強く反映されることになる。
【００３３】
（２）鮮明度の変化による遠近感強調
上記の例では色調の変化による遠近感強調について示した。ここでは鮮明度の変化による遠近感強調の方法を示す。画像の鮮明度を落とすための画像処理フィルターとして、ガウシアンフィルターが知られている。ガウシアンフィルターはパラメータとして与える半径が大きくなるほど強いぼかし効果が得られることが知られている。
そこで、景観画像中で基準の指標と対象地物以外の地物の各領域の指標の比をとり、比が１から離れる程パラメータを大きく設定しガウシアンフィルターをかける。そうすると、基準の地物は鮮明に表示され、その奥または手前の対象はぼけて表示される。
地物情報を重畳する対象地物を基準の地物とすれば、その地物の近辺が景観画像中で鮮明に表示されるため、人間の視覚において注目する部分に焦点があってそこだけが鮮明に見えるのと同様な表示となり、重畳した地物情報との対応がわかり易い表示が可能となる。
【００３４】
実施の形態２．
この実施の形態２では、地物情報を重畳すべき対象地物が山の陰に隠れるなどのため景観画像中に写っていない場合を考える。以下に示すこの実施の形態によれば、このような場合にも、山の陰に対象地物が存在し、その対象地物に関する地物情報が表示されていることを利用者が認識することができる。
システム構成は実施の形態１と同じく図１および図２に示す構成である。また、処理は実施の形態１と同じく図３に示す流れとなる。以下に各ステップについて説明する。
【００３５】
ステップＳ１：景観画像の入力処理
実施の形態１と同じ処理手順であるが、この実施の形態２の場合は気球が山の陰に隠れているため、得られる景観画像は図１１に示すようなものとなる。
ステップＳ２：地物情報の入力処理
実施の形態１と同様に、表示用コンピュータ５の地物情報入力手段５１は対象地物の位置を示す緯度、経度、高度から成る座標値と、その名称などの属性情報を補助記憶装置６から入力する。属性情報としては、実施の形態１と同様に文字列を記述するのに加え、地物が山の陰などに隠れた場合に存在を示すためのＣＧ（コンピュータグラフィックス）モデルを用意し、その識別子（ＩＤＮo）を記述する。図１２にその例を示す。
ＣＧモデルは、多角形を組み合わせて立体を表現したポリゴンモデルでも良いし、対象地物を撮影した写真であってもよい。後者の場合、座標値として対象地物の緯度、経度、高度または撮影地点の緯度・経度・高度、および撮影方向を入力する。また、属性にＣＧモデルの座標で示される大きさと実空間における大きさとのスケール比を記録してもよい。ＣＧモデルが写真である場合は、写真の画素座標空間における大きさと、実空間における大きさとのスケール比を記録してもよい。さらに、地物情報は、例えば別の地点で撮影した写真の撮影位置、方向情報をリアルタイムにネットワークを経由して取得して記録したデータであってもよく、この場合、地物情報の座標値や属性は時々刻々と変化する。
【００３６】
ステップＳ３：地物情報の視覚化処理
実施の形態１と同様に、カメラの位置情報、姿勢情報によって決まるカメラパラメータに基づき、表示用コンピュータ５の地物情報視覚化手段５２が地物情報を視覚化する。具体的には、対象地物の位置を示す緯度、経度、高度からなる座標を既知の変換式に基づき景観画像の画面と同一仕様の別画面上の位置（Ｘ0，Ｙ0）を得る。図１３に示すように、この点（Ｘ0，Ｙ0）を基準点として、文字列「気球Ｎｏ．１５」を描画する。さらに、ＣＧモデルを仮想的に地物情報が示す緯度、経度、高度の位置に置き、位置センサー２および姿勢センサー３によって得られるカメラ１の位置および姿勢の情報を与えてＣＧモデルを描画する。その結果、例えば図１３に示すように地物情報が視覚化される。
ＣＧモデルを描画する大きさは、予め定めた一定の大きさで表示してもよく、スケール比、撮影地点と対象地物の距離、およびカメラの画角と撮像画素数とから求めて、実際に対象地物が地物情報で示される場所に存在した場合に景観画像に写る大きさにＣＧモデルを拡大縮小して描画してもよい。また、地物情報に方位が示されている場合は、方位の方向を示すＣＧモデルを描画してもよく、方位を示す方向を向いた矩形のＣＧモデルの表面に写真の画像データを貼り付けて描画してもよい。また、別の地点で撮影した写真データをリアルタイムにネットワークを経由して取得して記録したデータを描画する場合は、写真が描画される景観画像中の位置が時々刻々変化する。
【００３７】
ステップＳ４：指標算出処理
実施の形態１と同じ処理手順であり、説明を省略する。
ステップＳ５：前後関係判定処理
実施の形態１と同じであるが、図１１に示すように景観画像に対しては気球の領域は抽出されないので、抽出される領域は図１４に示すようになる。抽出された領域に対して前後関係を判定した結果の例を図１５に示す。
【００３８】
ステップＳ６：遠近感強調処理
実施の形態１と同様に、景観画像に対し、遠近感を強調する。加えて、ＣＧモデルによる描画と、それに重畳する景観画像中の領域との前後関係がわかり易いよう、各領域に透明度を設定する。具体的には、実施の形態１で示した３原色Ｒ，Ｇ，Ｂによる色表現に、混合率を示す成分Ａを加えて（Ｒ，Ｇ，Ｂ，Ａ）により各画素の色を表すことにする。混合率Ａは、例えば、地物情報を重畳する対象地物の奥行きを基準として、それより奥と判定した領域は混合率1、手前と判定した領域は混合率0.5とする。景観画像の領域に対して設定した混合率は、視覚化した地物情報を混合する割合を意味する。
【００３９】
ステップＳ７：合成表示処理
合成表示手段５６で地物情報を遠近感が強調された景観画像に合成し、合成表示画像信号を得て、表示装置７にて表示する。具体的には、前記ステップＳ６の遠近感強調処理において遠近感が強調された画像に前記ステップＳ３の地物情報の視覚化処理で得られた画像を重畳し、表示装置７に表示する合成表示画像信号を得、表示装置７に送信し表示装置７で表示する。合成の際に、上記で各領域に設定した混合率を反映して視覚化した地物情報と景観画像をブレンドして画像を重畳する。
図１６に合成表示の例を示す。この例では大山の領域は対象地物である気球より手前にあると判定されるため、この領域の混合率は0.5と設定される。これを反映し、図１３に示されるＣＧモデルと大山の画像をブレンドして重畳を行う。これにより、大山が透けてその先の気球が見えているような表示となり、大山の向こう側の対象地物とその地物情報が表示されていることを認識しやすい。
一方、仮に気球が富士山の領域と重なる位置にある場合は、図１５に示される地物情報より、気球は富士山よりも手前にあるため、富士山の領域の混合率は1と設定される。この場合はＣＧモデルと富士山の画像のブレンドは行われず、単に2つの画像を合成することで、気球が富士山よりも手前にあることがわかり易い表示となる。
遠近感強調後の景観画像を(Ｒ0 ，Ｇ0  ，Ｂ0  ，Ａ0 ）、視覚化した地物情報を(Ｒg ，Ｇg ，Ｂg  ，Ａg ）とし、合成後の画像を(Ｒ，Ｇ ，Ｂ）とすると、合成処理は例えば次の式（６）により記述できる。
【００４０】
【数４】
2014191375.tif 000006
【００４１】
ここで、Ａ0は景観画像の各領域に対して設定された混合率、Ａgは視覚化した地物情報の各画素に対して設定された混合率である。ここでは、ＣＧモデルおよび文字列が描画された画素に対しては1、その他の画素に対しては0を設定する。
【００４２】
（実施の形態２における効果）
この発明における実施の形態２の情報表示装置は以上のように構成される。
この実施の形態２の構成によれば、前後関係判定手段は基準の地物と景観画像中の各領域との前後関係を判定し、遠近感強調手段は前後関係に基づき景観画像の各領域に透明度を設定するので、情報を重畳する地物が他の対象の陰に隠れている場合でも、その地物の位置の把握が容易な情報表示装置を得ることができる。
【００４３】
（他の実施例）
１．遠近感強調の他の実施例（ユーザによる切り替え）
（１）透明度の変化
上記の実施の形態では、予め設定したルールに従って各領域に透明度を設定した。しかし、ユーザが合成された画像を見ながら透明度の設定を切り替えられると前後関係の把握がさらに容易になる。
図１７に、(a)、(b)、(c)の３通りのルールに従って透明度の設定を切り替えた例を示す。(a)は上記の実施の形態２で提示したものと同様の設定である。(b)は、基準の地物より奥と判定された領域を１００％透明に設定した例である。従って富士山は表示されない。(c)は、基準の地物より手前と判定された領域を１００％透明に設定した例である。従って大山は表示されない。これらの表示方法を切り替えることにより前後関係の把握が容易になる。
【００４４】
（２）基準の地物の切り替え
ここまでの説明では、情報を重畳すべき対象地物が１つの場合を例にとり、その対象地物を基準の地物として対象地物以外の他の地物の各領域との前後関係を判定する方法を示した。仮に情報を重畳すべき対象地物が２つ以上ある場合は、どちらかの対象地物を基準の奥行きとすることになるが、ユーザの指示により基準の地物を切り替えられることが望ましい。また、仮に情報を重畳すべき対象地物が１つであっても、対象地物以外の他の地物の別の領域を基準とする方が遠近感を強調した景観画像が見易くなることも考えられる。その場合はユーザの指示により基準の地物を切り替えられることが望ましい。
ユーザの指示により基準の地物を切り替える方法は下記のようにいくつかの方法が考えられる。
【００４５】
(a) 画面上で領域を指示する方法
ユーザがカーソルなどを動かして、画面上で領域を選択して指示する。選択された領域に対応する地物を基準の地物とする。
(b) ボタンなどで基準の地物を前後に移動する方法
基準の地物を選択するためのボタンとして、「手前」ボタンと「奥」ボタンを用意する。「手前」ボタンが押されると、各領域に対して求めた、基準の地物に対する相対的な前後関係に基づき、基準の地物のすぐ手前にある領域が新たな基準の地物として選択される。「奥」ボタンが押されると、基準の地物のすぐ奥にある領域が新たな基準の地物として選択される。
以上の様にすれば、ユーザの操作により基準の地物を自由に切り替えることができ、それによって表示される画像が変化するため、各領域の前後関係の把握が容易になる。
【産業上の利用可能性】
【００４６】
この発明は実写画像である景観画像と地物情報のＣＧ画像との合成画像を生成するための画像処理装置に適用される。従って、本発明はカーナビゲーションや観光のガイド用表示装置において好適に利用し得る。
【符号の説明】
【００４７】
１；カメラ、２；位置センサー、３；姿勢センサー、４；カメラ制御用コンピュータ、５；表示用コンピュータ、６；補助記憶装置、７；表示装置、４１；景観画像入力手段、５１；地物情報入力手段、５２；地物情報視覚化手段、５３；指標算出手段、５４；前後関係判定手段、５５；遠近感強調手段、５６；合成表示手段。
【図１】
2014191375.tif 000007
【図２】
2014191375.tif 000008
【図３】
2014191375.tif 000009
【図４】
2014191375.tif 000010
【図５】
2014191375.tif 000011
【図６】
2014191375.tif 000012
【図７】
2014191375.tif 000013
【図８】
2014191375.tif 000014
【図９】
2014191375.tif 000015
【図１０】
2014191375.tif 000016
【図１１】
2014191375.tif 000017
【図１２】
2014191375.tif 000018
【図１３】
2014191375.tif 000019
【図１４】
2014191375.tif 000020
【図１５】
2014191375.tif 000021
【図１６】
2014191375.tif 000022
【図１７】
2014191375.tif 000023
【図１８】
2014191375.tif 000024