(57)【特許請求の範囲】
【請求項１】
地上付近に存在する１以上の対象物を含む画像を表示装置上に表示可能な情報提示方法であって、
前記画像の表示に係る視点情報を取得する視点情報取得工程と、
前記画像の表示に係る視線情報を取得する視線情報取得工程と、
前記画像の表示に係る姿勢情報を取得する姿勢情報取得工程と、
前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得工程と、
演算手段によって、前記視線情報に基づいて前記画像内の地平線情報を算出する地平線情報算出工程と、
演算手段によって、前記地平線情報及び前記姿勢情報に基づいて前記画像上の基準線を決定する基準線決定工程と、
演算手段によって、前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出工程と、
演算手段によって、前記画像内における前記付加情報の表示位置を前記視点位置から前記対象物までの距離が大きくなるにつれて前記基準線からの距離が近づくように決定するとともに、前記距離情報に基づいて前記画像内における前記付加情報の表示態様並びに前記付加情報の表示属性を決定する表示属性決定工程と、
前記表示装置上で前記画像を表示する際に、前記付加情報を、前記対象物との関係が分かるように、前記表示態様に基づいて提示する付加情報提示工程と、
を有することを特徴とする情報提示方法。
【請求項２】
前記視点情報、前記視線情報、及び前記姿勢情報は、位置・姿勢検出機能及び撮影機能を有し地図データ提供手段を利用可能な可動型情報処理装置において、前記位置・姿勢検出機能に基づき検出されるものであり、
前記画像は、可動型情報処理装置において、前記撮影機能に基づき取得されるものであり、
前記付加情報は、可動型情報処理装置において、キー情報に基づき前記地図データ提供手段から提供されるものである、
ことを特徴とする請求項１に記載の情報提示方法。
【請求項３】
前記可動型情報処理装置は、前記撮影機能の撮影対象領域に関連する不可情報を前記地図データ提供手段に要求し、
前記撮影対象領域は、前記視点情報及び前記視線情報に基づいて推定されたものである、
ことを特徴とする請求項２に記載の情報提示方法。
【請求項４】
前記表示態様は、前記画像内で提示する前記付加情報の大きさ又は文字フォントのサイズを含む、
ことを特徴とする請求項１に記載の情報提示方法。
【請求項５】
地上付近に存在する１以上の対象物を撮影することができるカメラ撮影部で撮影された撮影画像を取得する画像取得部と、
前記撮影画像を表示可能な表示部と、
前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得部と、
前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得部と、
前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得部と、
前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得手段と、
前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定手段と、
前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出手段と、
前記画像内における前記付加情報の表示位置を前記視点位置から前記対象物までの距離が大きくなるにつれて前記基準線からの距離が近づくように決定するとともに、前記距離情報に基づいて前記画像内における前記付加情報の表示態様を決定する表示属性決定手段と、
前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示手段と、
を具備することを特徴とする情報提示装置。
【請求項６】
前記表示属性決定手段は、前記表示態様として、前記撮影画像内における前記付加情報の表示サイズを前記距離情報に基づいて決定する、
ことを特徴とする請求項５に記載の情報提示装置。
【請求項７】
建物又はその他の周辺スポットに関する付加情報を対応する建物又はその他の周辺スポットの位置情報と関連付けて提供する地図データ提供手段を利用可能であり、
前記付加情報取得手段は、前記視点情報及び前記視線情報に基づいて前記カメラ撮影部が撮影する撮影対象領域を推定し、該推定された撮影対象領域に関連する付加情報を、位置情報をキーにして前記地図データ提供手段を要求する、
ことを特徴とする請求項５に記載の情報提示装置。
【請求項８】
地上付近に存在する１以上の対象物を撮影することができるカメラ撮影部で撮影された画像を取得するが画像取得ステップと、
前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得ステップと、
前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得ステップと、
前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得ステップと、
前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得ステップと、
前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定ステップと、
前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出ステップと、
前記撮影画像内における前記付加情報の表示位置を前記視点位置から前記対象物までの距離が大きくなるにつれて前記基準線からの距離が近づくように決定するとともに、前記距離情報に基づいて前記撮影画像内における前記付加情報の表示態様を決定する表示属性決定ステップと、
前記画像取得ステップで取得した撮影画像を表示するための画面上で、前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示ステップと、
を有することを特徴とする情報提示方法。
【請求項９】
地上付近に存在する１以上の対象物を撮影することができる撮像装置であって、
カメラ撮影部と、
前記カメラ撮影部で撮影された撮影画像を表示可能な表示部と、
前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得部と、
前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得部と、
前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得部と、
前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得手段と、
前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定手段と、
前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出手段と、
前記撮影画像内における前記付加情報の表示位置を前記視点位置から前記対象物までの距離が大きくなるにつれて前記基準線からの距離が近づくように決定するとともに、前記距離情報に基づいて前記撮影画像内における前記付加情報の表示態様を決定する表示属性決定手段と、
前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示手段と、
を具備することを特徴とする撮像装置。
【請求項１０】
画像を通じてユーザに情報を提示するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
地上付近に存在する１以上の対象物を撮影することができるカメラ撮影部で撮影された画像を取得するが画像取得手順と、
前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得手順と、
前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得手順と、
前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得手順と、
前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得手順と、
前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定手順と、
前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出手順と、
前記撮影画像内における前記付加情報の表示位置を前記視点位置から前記対象物までの距離が大きくなるにつれて前記基準線からの距離が近づくように決定するとともに、前記距離情報に基づいて前記撮影画像内における前記付加情報の表示態様を決定する表示属性決定手順と、
前記画像取得手順で取得した撮影画像を表示するための画面上で、前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示手順と、
を実行させるためのコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルビデオカメラやデジタルスチルカメラで撮影された画像情報を処理する情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムに係り、特に、撮影画像やスルー画像に対して付加的な情報を重畳して表示する情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、撮影画像やスルー画像に映る建物や周辺スポットの名称などの情報を提示する情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムに係り、特に、撮影画像やスルー画像に対して建物や周辺スポットなどの情報を被写体への距離感を直感的に理解し易く提示する情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
最近、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｎｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で捕捉した画像をデジタル化するデジタルカメラ（スチルカメラ並びにビデオカメラを含むものとする）が広範に普及している。デジタルカメラによれば、デジタル符号化された画像をメモリに記憶し、コンピュータによる画像処理や画像管理を行なうことができる。また、従来のフィルムや感光板を使って撮影する銀塩カメラに対し、メディアの寿命の問題がないという利点もある。
【０００４】
多くのデジタルカメラは、比較的大画面のビュー・ファインダを備えており、スルー画像やメニュー画面を表示したり、記録画像を再生出力したりするために利用することができる。また、デジタルカメラは、他の携帯機器と同様に、デジタル情報の処理能力を備えていることから、内蔵センサの検出出力や外部インターフェース経由で取得したデータを基に、ユーザに有益となるさまざまな情報を、ファインダ画面を介して提示することができる。
【０００５】
例えば、撮影画像や被写体としてファインダに表示されている風景画像に対して、建物や周辺スポットの名称といった情報を重畳して表示することができれば、ナビゲーションなどの機能を実現することができ、便利である。最近のカメラはＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）などの位置センサを搭載する製品モデルもあり、撮影位置や撮影方向、対象位置、対象情報といった、周辺スポット情報を重畳表示するために必要な情報をさまざまな方法で取得することができる。
【０００６】
例えば、レンズを介して観察される対象物の近傍に、その対象物の名称も見えるようにする情報表示装置について提案がなされている（例えば、特許文献１を参照のこと）。
【０００７】
また、カメラの立体位置に基づいて撮影された実画像に含まれる各建物の建物データを取得する。そして、強調したい対象物とその他の周辺の建物を重ねるように表示フレーム上に投影して陰面処理を行ない、強調部分にある画素に対しては輝度を高くする強調フィルタを作成して実画像に適用することによって、位置情報を利用して目標とする建物が分かり易く表示された実画像を提供する情報提供装置について提案がなされている（例えば、特許文献２を参照のこと）。
【０００８】
しかしながら、ファインダ画像に対して複数の情報を重畳表示しようとすると、文字が重なったり、手前の物体の奥に対象物があったりして、見えづらくなることがある。また、情報提示を行なう対象（被写体）が１つであったとしても、現在の撮影位置からその対象への距離などを、撮影画像やスルー画像を見てすぐは分かり難く、画像から得られる距離感が直感的ではない。
【０００９】
【特許文献１】特開平１１−２１１９９３号公報
【特許文献２】特開２００３−２１６９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、例えばデジタルビデオカメラやデジタルスチルカメラで撮影された撮影画像やスルー画像に対して付加的な情報を好適に重畳表示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
【００１１】
本発明のさらなる目的は、撮影画像やスルー画像に映る建物や周辺スポットの名称などの情報を好適に提示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
【００１２】
本発明のさらなる目的は、撮影画像やスルー画像に対して建物や周辺スポットなどの情報を被写体への距離感を直感的に理解し易く提示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、地上付近に存在する１以上の対象物を撮影することができるカメラ撮影部で撮影された撮影画像を取得する画像取得部と、
前記撮影画像を表示可能な表示部と、
前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得部と、
前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得部と、
前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得部と、
前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得手段と、
前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定手段と、
前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出手段と、
前記距離情報に基づいて、前記撮影画像内での前記付加情報の表示態様、並びに、前記撮影画像内における前記付加情報の前記基準線に対する表示位置を含む表示属性を決定する表示属性決定手段と、
前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示手段と、
を具備することを特徴とする情報提示装置である。但し、基準線決定手段は、視線情報及び姿勢情報、あるいは、視線情報又は姿勢情報のうち一方を利用して、基準線を決定するものとする（本願の各請求項において「Ａ又はＢ」と言うときは、基本的に、Ａ及びＢ、あるいは、Ａ又はＢのうち一方、の双方の意味を持つものとする）。
【００１４】
例えば、建物や周辺スポットなどの１以上の対象物が被写体となってファインダに表示されている風景画像に対して、建物や周辺スポットの名称といった付加的な情報を重畳して表示することができれば、ナビゲーションなどの機能を実現することができる。
【００１５】
しかしながら、ファインダ画像に対して複数の付加情報を重畳表示しようとすると、文字が重なったり、手前の物体の奥に対象物があったりして、見えづらくなることがある。また、情報提示を行なう対象が１つであったとしても、カメラで撮影を行なった視点位置から対象物までの距離を、撮影画像やスルー画像を見てすぐは分かり難く、画像から得られる距離感が直感的ではない。
【００１６】
これに対し、本発明に係る情報提示装置では、スルー画像上で被写体として写されている対象物に関連した付加情報を重畳して提示する際に、カメラで撮影を行なった視点位置から対象物までの距離情報、撮影を行なった際のカメラの視線情報並びに姿勢情報に基づいて、画面上での付加情報の表示位置や表示態様（文字の大きさなど）といった表示属性を決定するようになっている。したがって、ユーザは、建物や周辺スポットに関する付加情報の表示属性に基づいて、被写体となる対象物への距離感を直感的に理解し易くなる。
【００１７】
地上の視点位置から地上付近に存在する対象物を眺める際、通常は上からの目線、すなわち下向きであるが、視点位置から対象物が遠のくに従って視線方向は地平線に近づき、スルー画面上での対象物に対応する観察点の位置も上昇していく。すなわち、画面上では、視点位置から近い対象物ほど下に写り、遠い対象物ほど上に写る。
【００１８】
カメラの視線方向が水平位置のときに、地平線位置はスルー画像上の中心付近を通る線になる。また、地平線の位置は、カメラで対象物を撮影する際における視線方向に関する視線情報と、カメラで対象物を撮影する際の姿勢に関する姿勢情報に基づいて、幾何学的計算などを通じて決定することができる。そこで、本発明に係る情報提示装置では、スルー画像内における地平線を計算するとともに、この地平線に基づいてスルー画像における基準線の位置を決定する。そして、スルー画像上における付加情報の基準線に対する表示位置を、カメラの視点位置から当該対象物までの距離情報に応じて決定する。例えば、カメラの視線がほぼ水平を向くときには、カメラで対象物を撮影する際の視点位置から近い対象物ほどスルー画像の画面の下にその付加情報が配置し、遠い対象物ほどスルー画像上の基準線に近くにその付加情報を配置するようにする。これは、地面上に複数の物体がさまざまな距離で配置されている際に、実際に人から見えるような配置となることから、ユーザにとって付加情報が関連付けられた対象物への距離を直感的に理解しやすいものとなる。
【００１９】
また、対象物を撮影するカメラ撮影部における姿勢（すなわち、ロール角、ピッチ角、又はヨー角のうち少なくとも１つ）が変化したときには、その撮影対象領域や、スルー画像内における基準線の位置が変化して、これに伴って、付加情報の表示位置も変化する。そこで、情報提示装置は、姿勢の変化したことを検出したときには、その度に、カメラの視点情報、視線情報、姿勢情報などを再取得してから、スルー画像上における地平線の位置を再計算するとともに基準線を再決定して、付加情報の表示位置を更新するようにする。
【００２０】
また、本発明に係る情報提示装置では、カメラが対象物を撮影する視点位置と対象物の位置情報との距離に応じて、付加情報の表示態様を変化させる。具体的には、距離が大きくなるにつれて、付加情報を構成する文字フォントのサイズを変更する。すなわち、カメラの視点位置から近い物体ほどその付加情報の文字を大きく表示し、遠くなるにつれて文字を小さく表示するようにする。
【００２１】
このように、スルー画像に含まれる対象物に関連する付加情報を、カメラで対象物を撮影した視点位置から対象物が近いのか遠いのかという位置関係に基づいて、重畳表示する際の表示位置や文字の大きさを決定するので、ユーザにとって、提示された付加情報に対応する対象物への距離感を直感的に理解し易くなるであろう。
【００２２】
なお、本発明に係る情報提示装置は、建物又はその他の周辺スポットに関する付加情報を対応する建物又はその他の周辺スポットの位置情報と関連付けて提供する地図データ提供手段を利用可能であるとする。かかる地図データ提供手段は、当該装置内で付加情報を蓄積する地図データ記憶部として構成することが狩野であるが、勿論、インターネットなどの高域ネットワーク上で地図データを有償又は無償で提供する地図情報データベース・サーバなどでもよい。いずれの形態で地図データが提供されるにせよ、付加情報取得手段は、前記視点情報及び前記視線情報に基づいて前記カメラ撮影部が撮影する撮影対象領域を推定し、該推定された撮影対象領域に関連する付加情報を、位置情報をキーにして（すなわち、撮影対象領域に位置情報が収容される付加情報を）前記地図データ提供手段を要求することができる。
【００２３】
また、本発明の第２の側面は、画像を通じてユーザに情報を提示するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
地上付近に存在する１以上の対象物を撮影することができるカメラ撮影部で撮影された画像を取得するが画像取得手順と、
前記カメラ撮影部が前記対象物を撮影する際の視点位置に関する視点情報を取得する視点情報取得手順と、
前記カメラ撮影部が前記対象物を撮影する際の視線方向に関する視線情報を取得する視線情報取得手順と、
前記カメラ撮影部が前記対象物を撮影する際の姿勢に関する姿勢情報を取得する姿勢情報取得手順と、
前記対象物の付加情報を前記対象物の位置情報と関連させて取得する付加情報取得手順と、
前記視線情報又は前記姿勢情報から前記撮影画像内の地平線情報を算出し、前記撮影画像内に前記付加情報を表示する際に用いる基準線を前記地平線情報に基づいて決定する基準線決定手順と、
前記位置情報と前記視点情報に基づいて、前記視点位置から前記対象物までの距離情報を算出する距離情報算出手順と、
前記距離情報に基づいて、前記撮影画像内での前記付加情報の表示態様、並びに、前記撮影画像内における前記付加情報の前記基準線に対する表示位置を含む表示属性を決定する表示属性決定手順と、
前記画像取得ステップで取得した撮影画像を表示するための画面上で、前記表示属性に基づいて前記撮影画像上で前記付加情報を提示する付加情報提示手順と、
を実行させるためのコンピュータ・プログラムである。
【００２４】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る情報提示装置と同様の作用効果を得ることができる。
【発明の効果】
【００２５】
本発明によれば、例えばデジタルビデオカメラやデジタルスチルカメラで撮影された撮影画像やスルー画像に対して付加的な情報を好適に重畳表示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。
【００２６】
また、本発明によれば、撮影画像やスルー画像に映る建物や周辺スポットの名称などの情報を好適に提示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。
【００２７】
また、本発明によれば、撮影画像やスルー画像に対して建物や周辺スポットなどの情報を被写体への距離感を直感的に理解し易く提示することができる、優れた情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラムを提供することができる。
【００２８】
本発明に係る情報提示装置は、スルー画像上で被写体に関連した付加情報を重畳して提示する際に、カメラの現在位置から対応する被写体までの距離に基づいて、画面上での付加情報の表示位置や大きさを決定するので、ユーザは被写体と付加情報とを直感的な位置関係で見ることができる。例えば２つの奥行き方向に建物が重なっていたときなど、単純に２つの情報が表示されるより、どちらが手前にある物なのかが分かる。しかも、それとは同時に、隠れていて見えないものが存在した場合も、それが分かる。
【００２９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３１】
図１には、本発明の一実施形態に係る情報提示装置１０の機能的構成を模式的に示している。図示の情報提示装置１０は、例えばデジタルビデオカメラやデジタルスチルカメラを用いて構成され、カメラ撮影部１１の他に、カメラ位置検出部１２、カメラ姿勢検出部１３、公衆無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）サービスのアクセスポイントなどに接続する無線通信部１４、地図データ記憶部１５、装置全体の動作を統括的に制御する制御部１６、並びに、スルー画像の表示機能なども備えたファインダ１７を備えている。
【００３２】
本実施形態に係る情報提示装置１０は、カメラ撮影部１１で撮影した画像をファインダ１７上にスルー画像として画面出力する。さらに、このファインダ１７に表示されている風景画像に対して、建物や周辺スポットの名称といった付加情報を重畳して表示する機能を備えている。また、当該機能を実現するために、撮影位置や撮影方向、対象位置、対象情報といった、周辺スポット情報を重畳表示するために必要な情報を取得できる構成となっている。
【００３３】
カメラ撮影部１１は、ＣＣＤやＣＭＯＳなどからなる撮像素子と、撮像素子の撮影面に被写体像を結像するための１以上のレンズの組み合わせからなる光学系と、ホワイトバランス調整など画像信号に対する処理を行なうカメラ信号処理部を備えている。本実施形態では、カメラ撮影部１１は、カメラの視野を検出する機能を備えている。なお、通常のデジタルカメラは、画像信号の符号化・復号化を行なうコーデックや画像記録を行なう大容量記憶デバイスを備えているが、本発明の用紙には直接関連しないので、図１中では省略している。
【００３４】
カメラ位置検出部１２は、例えばＧＰＳ信号や、公衆無線ＬＡＮサービスのアクセスポイントなどからの受信電波状況を利用して、現在位置の緯度並びに経度などからなる、カメラ撮影部１１の視点位置に関する視点情報を取得することができる。
【００３５】
また、カメラ姿勢検出部１３は、例えば地磁気センサ、ジャイロ、加速度センサ、重力センサなどいずれかのセンサを用いて構成され、カメラ撮影部１１の自己姿勢と向いている方位、すなわちカメラ撮影部の視線方向に関する視線情報を取得することができる。カメラ撮影部１１の姿勢が水平位置となる場合のみを想定すると、ピッチ軸回りの姿勢を検出することができれば十分であるが、本実施形態ではロール軸回りの姿勢も検出できるものとする。
【００３６】
地図データ記憶部１５は、例えば各地に散在する建物などに関連する周辺スポット情報を、周辺スポット毎の付加情報として蓄積し、地図データとしての付加情報を地図データ提供手段として振る舞うことができる。各付加情報は、対応する周辺スポットの位置情報と関連付けられており、例えば、ある領域内の周辺スポットの付加情報を、周辺スポット名や位置情報をキーとして検索することができる。但し、付加情報を蓄積、管理するためのデータ・フォーマットは任意とする。また、情報提供装置１０は、地図データ記憶部１５に蓄積された付加情報以外にも、地図データを有償又は無償で提供する地図情報データベース・サーバ（仮称）から周辺スポットの付加情報を取得したり、地図データ記憶部１５にダウンロードしたりしてもよいものとする。地図情報データベース・サーバは、例えばインターネットのような広域ネットワーク上に構築されており、情報提供装置１０は、無線通信部１４によりアクセスされる公衆無線ＬＡＮサービスを通じて、この種のサーバにアクセスすることができる。
【００３７】
本実施形態に係る情報提示装置１０は、撮影画像やスルー画像に対して建物やランドマークなどの周辺スポットからなる対象物が被写体となった際に、これらの対象物に関する付加情報を、対象物までの距離感を直感的に理解し易く提示する点に主な特徴がある。具体的には、スルー画像上に写されている対象物に関連した付加情報を重畳して提示する際に、カメラの現在位置から対応する被写体までの距離に基づいて、画面上での付加情報の表示位置や大きさを決定するので、ユーザは被写体と付加情報とを直感的な位置関係で見ることができる。以下では、関連した付加情報を重畳して提示する方法について詳解する。
【００３８】
まず、被写体についての付加情報を表示する位置について説明する。
【００３９】
図２には、撮影者から近くと遠くの位置にそれぞれ対象物が存在するときに、撮影者の地点（すなわちカメラ撮影部１１の視点位置）から見たスルー画像の一例を示している。同図から、画面上では、近い対象物ほど下に写り、逆に遠い対象物ほど上に写ることが分かる。これは、図３に示すように、地上に配設された視点位置から地上に存在する各対象物を眺めるときの視線は基本的に下向きであるが、視点位置からほど近くに設置された被写体１から遠くに設置された対象物２、…、Ｎに進むにつれ、同じ視点から眺める視線の方向が地平線に近づいていき、視線と表示面との交点すなわちスルー画面上での観察点の位置も上昇していくからである。
【００４０】
例えば、カメラ撮影部１１の姿勢が水平位置のときには、この地平線位置はスルー画像上の中心付近を通る線になる。本実施形態では、スルー画像上では地平線を、周辺スポットなどの対象物に関する付加情報を表示する位置を決定する際の基準線として用いることにしている。すなわち、スルー画像上で提示する付加情報の基準線からの表示位置を、カメラ撮影部１１の視点位置から対象物までの距離に応じて決定する。そして、カメラ撮影部１１の視線がほぼ水平を向くときには、視点位置から近い物体ほどスルー画像の画面の下に、遠い物体ほどスルー画像上の基準線に近くに付加情報を配置するようにする。また、カメラ撮影部１１の視点位置と付加情報を表示する物体の位置から、物体までの方向も同時に計算する。これらの情報を併せて、スルー画像上で付加情報をどこに配置するかを計算し、スルー画像上に重畳表示する。
【００４１】
図４には、カメラ撮影部１１の視点位置と被写体となる対象物との距離並びに視線方向に応じて決定された位置及び大きさで付加情報が重畳表示されたスルー画像の一例を示している。地平線に相当する基準線はカメラ撮影部１１自体の姿勢によって変化するが、カメラ撮影部１１の姿勢角を検出することによって、さまざまな姿勢での地平線位置を修正することができる。カメラ撮影部１１の姿勢が変化したことを検出したときには、その度にスルー画像上の基準線の位置を再計算し、付加情報の基準線からの表示位置を更新する。これは、地面上に複数の対象物がさまざまな距離で配置されている際において、実際に人から見えるような配置であり、直感的である。
【００４２】
続いて、被写体についての付加情報の表示サイズについて説明する。
【００４３】
付加情報は、例えば建物の名称や周辺スポット情報などを記述した文字情報からなる。文字フォントのサイズで最も大切なことは、近ければ大きく、遠ければ小さい、ということである。基本的には、カメラ撮影部１１の視点位置から被写体となる対象物までの距離に応じて、対応する付加情報を構成する文字フォントのサイズを変更する。すなわち、カメラ撮影部１１の視点位置から近い対象物ほどその付加情報の文字を大きく表示し、遠くなるにつれて文字を小さく表示するようにする。但し、通常は表示可能な文字フォントのサイズは上限並びに下限があるとともに離散的な値をとることから、距離と単純に比例させて付加情報のサイズを決定する必要はない。
【００４４】
具体的には、以下の手順で文字フォントのサイズを決定する。
【００４５】
（１）まず、最も近い位置と遠い位置はユーザに提示したい対象物によって決定する。
（２）次に、最小並びに最大のフォント・サイズは、画角やディスプレイ解像度（若しくはディスプレイのサイズ）など、カメラ撮影部１１がカメラとして持つ性能によって決定する。
【００４６】
かかる決定手順には、スルー画像内に表示される対象物の最も近い距離と最も遠い距離、並びに、表示する対象の最小フォントと最大フォントを決定する必要がある。
【００４７】
付加情報の文字フォント・サイズを、対応する周辺スポットまでの距離に応じて決定することができる。例えば、山などの風景を被写体となる対象物とし、視野内にある最も近い対象物までの距離が５ｋｍ、最も遠い対象物までの距離が１０ｋｍであるとする。他方、ディスプレイの解像度により、フォント・サイズの下限が５ポイント、上限が２０ポイントであるとすると、付加情報を表示するフォント・サイズは例えば距離に応じて下表のように割り当てることができる。
【００４８】
【表１】
0004600515.tif 000002
【００４９】
被写体となる対象物の最小距離をｄ、最大距離をＤとし、文字の最小フォント・サイズをｆ、最大フォント・サイズをＦとすると、表示フォント・サイズｓｉｚｅは下式により決定することができる。
【００５０】
【数１】
0004600515.tif 000003
【００５１】
また、他の方法として、視野内に複数の対象物が被写体として存在する場合には、カメラ撮影部１１の視点位置からの距離の順序に応じて、近い方から順に大きなフォント・サイズを割り当てていくようにしてもよい。例えば、表示すべき情報の最大数が分かっている場合などは、下表に示すように最も近い対象物から順に等幅でフォント・サイズを振り分けていく。これは、距離に比例させるのではなく、互いの距離の順序情報を提供することとなる。
【００５２】
【表２】
0004600515.tif 000004
【００５３】
スルー画像内で付加情報を表示すべき対象物の最大数をＮとすると、ｎ番目に近い対象物についての付加情報のフォント・サイズｓｉｚｅは、下式により決定することができる。
【００５４】
【数２】
0004600515.tif 000005
【００５５】
図５には、カメラ撮影部１１の視点位置から対象物までの距離に応じて、各対象物について表示する付加情報の文字フォントのサイズを調整して提示した様子を示している。
【００５６】
図４並びに図５から分かるように、スルー画像に含まれる各対象物に関連する付加情報を、カメラ撮影部１１の視点位置（言い換えればユーザ）から近いのか遠いのかという位置関係に基づいて、重畳表示する付加情報の位置や大きさを決定するので、ユーザは、提示された付加情報に対応する被写体への距離感を直感的に理解し易くなるであろう。
【００５７】
図６には、情報提示装置１０において、スルー画像上に対象物の付加情報を重畳表示するための処理手順をフローチャートの形式で示している。かかる処理は、実際には、制御部１６が所定のプログラム・コードを実行するという形態で実現される。
【００５８】
まず、カメラ位置検出部１２を用いて、ＧＰＳや無線ＬＡＮの受信電波状況などに基づいて、現在のカメラ撮影部１１の視点位置すなわち撮影画像の視点情報、並びに、現在のカメラ撮影部１１の視線方向すなわち撮影画像の視線情報を取得する（ステップＳ１）。
【００５９】
次いで、取得したカメラ撮影部１１の視点情報並びに視線情報を基に、撮影画像に写されている対象物、すなわち視野内の建物やランドマークといった周辺スポットに関連する付加情報を、各対象物の位置情報と関連付けて取得する（ステップＳ２）。
【００６０】
具体的には、図７Ａに示すような元の地図に対して、図７Ｂに示すように、カメラ撮影部１１の視点位置並びに視線方向を基に、図中のほぼ扇形の斜線領域で示すような、スルー画像がカバーする撮影対象領域を推定する。一方、地図データ記憶部１５に蓄積される付加情報は、対象物（建物、周辺スポット）の位置情報と対応付けられている。また、同図中では、付加情報を有する建物をブロック矢印で示している。そして、周辺スポット名や撮影対象領域の位置情報をキーにして検索すれば、スルー画像に含まれている建物などの各周辺スポットに関する付加情報を、地図データ記憶部１５（前述）から取得することができる。あるいは、付加情報は、地図データ記憶部１５ではなく、無線通信部１４を公衆無線ＬＡＮサービスに接続させて、必要な付加情報をインターネット上の地図情報データベース・サーバから逐次的に取得するようにしてもよい。
【００６１】
次いで、ステップＳ１で取得したカメラ撮影部１１の視点位置と、ステップＳ２で取得した対象物の位置情報を基に、視点位置から周辺スポットなどの対象物までの距離及び方向、すなわち相対関係を算出する（ステップＳ３）。
【００６２】
次いで、カメラ姿勢検出部１３から、カメラ撮影部１１の姿勢（例えば、ピッチ軸回り）の計測結果を取得する（ステップＳ４）。
【００６３】
カメラの視線が水平位置のときに地平線位置はスルー画像上の中心付近を通る線になる。本実施形態では、ステップＳ４において取得されたカメラ撮影部１１の姿勢に基づいて、幾何学計算などを通じてスルー画像上の地平線の位置を算出する（ステップＳ５）。そして、この地平線を、付加情報の表示位置を決定する際の基準線として用いる（前述）。
【００６４】
次いで、ステップＳ３において求められたカメラ撮影部１１と対象物との相対関係に基づいて、対象物についての付加情報のスルー画像上での表示態様を決定する（ステップＳ６）。ここで言う、付加情報の「表示態様」とは、スルー画像内での付加情報の表示位置とフォント・サイズのことである。表示位置の計算に併せて、カメラ撮影部１１の視点位置から対象物までの距離に応じて、その付加情報の表示サイズを決定するようにする。
【００６５】
具体的には、カメラ撮影部１１の視線がほぼ水平を向く場合には、視点位置から近い周辺スポットほどその付加情報をスルー画像の画面のより下方に配置し、他方、視点位置から遠い物体ほどスルー画像上の基準線に近くに付加情報を配置するようにする。
【００６６】
そして、ステップＳ６で計算された表示位置及びフォント・サイズにて、それぞれの付加情報をスルー画像上に重畳して表示する（ステップＳ７）。重畳表示した様子は、図４、図５に示した通りである。
【００６７】
図２を参照しながら既に説明したように、スルー画像上では、カメラ撮影部１１の視点位置から近い対象物ほど下に写り、逆に遠い対象物ほど上に写るという性質がある。したがって、上記のような付加情報の配置に従えば、ユーザは、提示された付加情報に対応する被写体への距離感を直感的に理解し易くなる。
【００６８】
このとき、カメラ撮影部１１の姿勢が変化したことを検出した場合には、その度に図６に示した処理を起動して、スルー画像上の基準線を引き直し、付加情報の配置を再計算し、スルー画像の付加情報表示を更新する。
【００６９】
図８には、情報提示装置１０において、スルー画像上に被写体として写る対象物についての付加情報を重畳表示するための処理手順の変形例をフローチャートの形式で示している。かかる処理は、実際には、制御部１６が所定のプログラム・コードを実行するという形態で実現される。
【００７０】
図６に示した処理手順との主な相違点の１つは、付加情報の表示中にカメラ撮影部１１の姿勢すなわちピッチ角又はロール角のうち少なくとも一方が変化したときには（ステップＳ１８のＹｅｓ）、ステップＳ１４に戻って、地平線の再計算を行なって基準線を改めて決定して、付加情報の表示位置を更新したスルー画像の表示を行なうことである。
【００７１】
また、図６に示した処理手順との他の相違点は、カメラ撮影部１１の視点位置が変化したときや、カメラ撮影部１１の視線方向（若しくはヨー角）が変化したときには（ステップＳ１９のＹｅｓ）、ステップＳ１１に戻って、カメラ撮影部１１の視点位置を再度取得し、視野内の周辺スポットに関連する付加情報を再検索するとともに、基準線となる地平線の計算を経て、付加情報の表示位置を更新したスルー画像の表示を行なうことである。
【００７２】
なお、図１に示した実施形態では、カメラ撮影部１１を備えた情報提示装置１０上でスルー画像上に対象物の付加情報を重畳表示する、すなわち、画像の撮影と撮影画像のスルー表示を単一の装置上でともに行なうように構成されているが、本発明の要旨はこれに限定されるものではなく、画像の撮影と撮影画像の表示を異なる装置でそれぞれ行なうことも可能である。
【００７３】
例えば、デジタルカメラ用の画像ファイルの規格のフォーマットとしてＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）が知られている。この種のフォーマットで用意されているユーザ領域内に、撮影時におけるカメラ撮影部１１の視点位置に関する視点情報及び視線方向に関する視線情報、並びにカメラ撮影部１１の姿勢に関する姿勢情報を、画像データとともに記録しておく。そして、画像の撮影を行なったものと同一又は異なる装置上で、記録メディアから画像データ・ファイルを読み出した際には、撮影時におけるカメラ撮影部１１の視点情報、視線情報、並びに姿勢情報を併せて取得することで、図６に示したものと同様の処理手順を実施することができ、図４、図５に示したような、ユーザにとって対象物までの距離感を直感的に理解し易い形式で付加価値情報の提示を行なうことができる。
【００７４】
これまでの説明では、カメラ撮影部１１の姿勢が水平位置となる場合に限定して説明してきた（図４、図５を参照のこと）。これは、カメラ撮影部１１がピッチ軸回りにのみ姿勢がθyだけ変化することに相当する。このような場合、例えば図９Ａ並びに図９Ｂに示すように、付加情報の表示位置を決める基準線となる地平線は、スルー画像上ではピッチ軸回りの回転量に応じて上下に変動するのみで、地平線の角度が変化することはない。
【００７５】
実際には、ユーザがカメラ撮影部１１をマニュアルで操作すると、ロール軸回りにも姿勢がθxだけ変化し、図９Ｃに示すように地平線はスルー画像上でロール軸回りの回転量に応じて地平線の角度が変化することになる。
【００７６】
カメラ姿勢検出部１３は、ピッチ軸、ロール軸双方の軸回りの姿勢を検出するように構成されている（前述）。勿論、ジャイロセンサなどのカメラ姿勢検出部１３により、カメラ撮影部１１のヨー軸回りの姿勢変化も検出することができる。この場合、図９Ｄに示すように地平線の位置は変化しないが、ヨー軸回りの回転量θzに応じた分だけ各対象物体が水平方向に移動する。なお、ヨー軸回りの姿勢変化は、カメラ撮影部１１の視線方向の変化として扱うことができるので、カメラ姿勢検出部１３はヨー軸回りの姿勢を検出する必要はない。
【００７７】
ピッチ、ロール、ヨーの各軸回りの回転量θy、θx、θzは、ジャイロセンサなどのカメラ姿勢検出部１３により検出することができる。付加情報をスルー画像に表示する場合、このようなカメラ撮影部１１の視線方向の角度変化当たり、付加情報の表示位置が移動するピクセル数を決定する必要がある。
【００７８】
カメラ撮影部１１の画角を、図１０に示すように横方向αとし、縦方向をβとする。また、その際のスルー画像の画面の縦並びに横のピクセル・サイズを、図１１に示すようにそれぞれｉｍａｇｅＸ、ｉｍａｇｅＹとする。この場合、横方向で角度α［ｄｅｇ］でｉｍａｇｅＸ［ｐｉｘｅｌ］だけずれ、縦方向で角度β［ｄｅｇ］でｉｍａｇｅＹ［ｐｉｘｅｌ］だけずれる。このことから、単位角度１［ｄｅｇ］当たりが何ピクセルに相当するのかを導き出すことができる。縦方向に関しては、１ｄｅｇ当たりα／ｉｍａｇｅＸ［ｄｅｇ／ｐｉｘｅｌ］、横方向に関しては、１ｄｅｇ当たりβ／ｉｍａｇｅＹ［ｄｅｇ／ｐｉｘｅｌ］と言うことができる。
【００７９】
続いて、スルー画像における地平線の表示位置の導出方法について、図１２、図１３を参照しながら説明する。
【００８０】
図１２には、カメラ撮影部１１の視線方向若しくはピッチ軸回りの姿勢がピッチ角θyだけ変化したときの様子を示している。地平線は、カメラ撮影部１１の自己姿勢に応じて見え方が変化する。カメラ撮影部１１の視線方向が水平方向を向くとともに、重力方向が真下を向くときには、スルー画像内の地平線は、水平に画面中心の基準点を通る線となる。ここで、カメラ撮影部１１の視線方向若しくはピッチ軸回りの姿勢がピッチ角θyだけ変化したときの地平線のずれ量をｄｘhとすると、このずれ量ｄｘhは、上述した、縦方向の角度単位当たりのずれ量となる。すなわち、下式のように表される。このときの地平線のずれ量は、元の地平線に対して垂直方向となる。
【００８１】
【数３】
0004600515.tif 000006
【００８２】
続いて、カメラ撮影部１１のロール軸回りの姿勢がロール角θxだけ変化したときの地平線の変化について、図１３を参照しながら説明する。このときの地平線ずれ量も、上述と同様に、地平線に対し垂直となる。地平線は、θxだけ傾きながら、中心線を通ることになる。さらに、ピッチ角θyに応じた地平線ずれ量ｄｘhになるが、このときもｄｘhは地平線に対して垂直となる。
【００８３】
続いて、スルー画像内に被写体として写されている対象物に対する付加情報の表示位置の決定方法について説明する。
【００８４】
ここで、スルー画像内には、図１４に示すように、視線方向に対しγ1の方向にある対象１と、カメラ撮影部１１の視線方向に対しγ1の方向にある対象２の２つの被写体が存在することを想定する。また、図１５に示すように、スルー画像の地平線の基準点に原点を、横方向にＸ、縦方向にＹとなるよう、座標系を設定する。
【００８５】
まず、横方向成分ｄＸについて説明する。図１６に示すように、スルー画像内写されている対象物に対する付加情報の表示位置の横方向成分をｄＸ［ｐｉｘｅｌ］とする。ｄＸは、カメラ撮影部１１の視線方向に対する相対角度γに依存する。図１４に示した例では、対象１の付加情報を表示するとき、視線方向に対する相対角度はγ1となる。横方向で角度単位当たりのずれ量がα／ｉｍａｇｅＸ［ｄｅｇ／ｐｉｘｅｌ］であることから（前述）、Ｘ軸方向へのずれ量は、下式のように表される。
【００８６】
【数４】
0004600515.tif 000007
【００８７】
よって、その横方向の表示位置ｘは下式の通りとなる。
【００８８】
【数５】
0004600515.tif 000008
【００８９】
続いて、縦方向成分ｄＹについて説明する。図１７に示すように、スルー画像内に写されている対象物に対する付加情報の表示位置の縦方向成分をｄＹ［ｐｉｘｅｌ］とする。また、図１８に示すように、カメラ撮影部１１の高さをｈ［ｍ］とし、カメラ撮影部１１の視点位置から対象物までの距離をｄ［ｍ］とする。また、カメラ画角βから求まる水平時のスルー画像内の最低撮影距離をＤ［ｍ］とすると、Ｄは下式の通りとなる。
【００９０】
【数６】
0004600515.tif 000009
【００９１】
以上を用いて、地平線位置から縦差分ｄＹ［ｍ］を求めると、下式のように表される。
【００９２】
【数７】
0004600515.tif 000010
【００９３】
ここで、ｉｍａｇｅＹは、スルー画像内の縦方向総ピクセル数である。よって、その縦方向の表示位置ｙは、下式の通りとなる。
【００９４】
【数８】
0004600515.tif 000011
【００９５】
以上から、基準線となる地平線からの付加情報の表示位置ｄＸ並びにｄＹを求める。各対象物の付加情報を表示位置に付加情報を表示することによって、ユーザには、複数の対象物の付加情報とその距離感を直感的に理解できるように提示することができる。
【００９６】
図１９には、図６に示したフローチャート中のステップＳ６で実行される、付加情報の表示方法を決定するための詳細な処理手順をフローチャートの形式で示している。かかる処理は、実際には、制御部１６が所定のプログラム・コードを実行するという形態で実現される。
【００９７】
まず、カメラ撮影部１１における現在のレンズのズーム・レベルを基に、画角の計算を行なう（ステップＳ２１）。
【００９８】
次いで、ステップＳ２１で求められた画角から、スルー画像を表示出力するファインダ１７の画面内に入る最も近い距離を求める（ステップＳ２２）。
【００９９】
次いで、近辺の対象物の位置情報を得ると、カメラ撮影部１１の現在の視点位置に対する対象物の相対距離並びに相対角度を計算する（ステップＳ２３）。地図データ記憶部１５に蓄積される付加情報は、対応する対象物（建物、周辺スポット）の位置情報と対応付けられており、カメラ撮影部１１の現在の視点位置（視点位置から撮影されるカバー領域）をキーに付加情報を検索した際に、対象物の位置情報も併せて取得することができるものとする。
【０１００】
次いで、被写体までの相対距離を基に、付加情報を表示するフォント・サイズを計算する（ステップＳ２４）。
【０１０１】
次いで、カメラ姿勢検出部１３で検出されたカメラ撮影部１１の姿勢に基づいて、付加情報の表示位置を決定する際の基準線となる地平線の位置を計算する（ステップＳ２５）。
【０１０２】
そして、得られた基準線に従って、スルー画像上における付加情報の表示位置を導き出す（ステップＳ２６）。このようにして得られた表示位置及びフォント・サイズにて、それぞれの付加情報をスルー画像上に重畳して表示する。
【０１０３】
以下では、各ステップＳ２１〜Ｓ２６で実施される計算方法についてそれぞれ説明する。
【０１０４】
図２０には、ステップＳ２１における画角の計算方法をフローチャートの形式で示している。
【０１０５】
画角の計算を行なうために、カメラ撮影部１１の光学系の焦点距離ｘと、スルー画像の横及び縦のピクセル・サイズｉｍａｇｅＸ、ｉｍａｇｅＹを入力として用いる。ここで、焦点距離ｘ（３５ｍｍ換算）はカメラ本体から検出可能であり、スルー画像のピクセル・サイズｉｍａｇｅＸ、ｉｍａｇｅＹはカメラ機体に依存する定数である。
【０１０６】
そして、横方向画角α並びに縦方向画角βを下式から求めることができ、これを画角の計算結果として出力する。
【０１０７】
【数９】
0004600515.tif 000012
【０１０８】
但し、カメラ撮影部１１の焦点距離と画角の関係は、上記の式から求めてもよいが、広角よりでは誤差が大きくなることと機体特有で一度求めたら変わらないことから、あらかじめ計算した結果を記述したテーブルをＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に格納しておくようにしてもよい。
【０１０９】
図２１には、ステップＳ２２における画面内最近距離の計算方法をフローチャートの形式で示している。
【０１１０】
画面内最近距離を計算するために、カメラ高さｈ［ｍ］と、縦横行画角の計算値β［ｒａｄ］を入力として用いる。ここで、カメラ高さｈ［ｍ］は、気圧計（図示しない）などから求めることができる。また、縦方向画角βは、先行するステップＳ２１で求められる。
【０１１１】
そして、水平方向を向いたときにスルー画像内に写る最近距離Ｄ［ｍ］を下式から求めることができ、これを画面内最近距離の計算結果として出力する。
【０１１２】
【数１０】
0004600515.tif 000013
【０１１３】
図２２には、ステップＳ２３におけるカメラ撮影部１１の視点位置と付加情報を表示する対象物との相対関係の計算方法をフローチャートの形式で示している。
【０１１４】
付加情報を表示する対象物との相対位置関係を計算するために、カメラ撮影部１１の現在位置座標ｐ0と、被写体の位置座標ｐkを入力として用いる。ここで、カメラ撮影部１１の現在位置座標ｐ0は、カメラ位置検出部１２が例えばＧＰＳ信号や、公衆無線ＬＡＮサービスのアクセスポイントなどからの受信電波状況を利用して計測することができる。また、被写体の位置座標ｐkは、例えば地図データ記憶部１５で付加情報を検索した際に併せて取得される。
【０１１５】
そして、カメラ撮影部１１の視点位置から対象物の相対距離ｄｉｓｔと、相対角度γをそれぞれ下式から求めることができ、これを相対位置関係の計算結果として出力する。
【０１１６】
【数１１】
0004600515.tif 000014
【０１１７】
図２３には、ステップＳ２４における付加情報を表示するフォント・サイズの計算方法をフローチャートの形式で示している。
【０１１８】
付加情報の表示フォント・サイズを計算するために、カメラ撮影部１１の視点位置から対象物までの距離ｄｉｓｔと、最大フォント・サイズＦと、最小フォント・サイズｆと、表示する最も遠い距離ｄinfと、スルー画像内の最近距離の計算値Ｄを入力として用いる。ここで、最大フォント・サイズＦと、最小フォント・サイズｆと、表示する最も遠い距離ｄinfは、情報提示装置１０に搭載されているディスプレイやアプリケーションによって変化する定数である。また、被写体までの距離ｄｉｓｔ並びに最近距離Ｄは、先行するステップＳ２３並びにＳ２２の計算結果をそれぞれ用いることができる。
【０１１９】
そして、付加情報の表示フォント・サイズｓｉｚｅを下式から求めることができ、これを距離に依ったフォント・サイズとして計算結果として出力する。
【０１２０】
【数１２】
0004600515.tif 000015
【０１２１】
図２４には、ステップＳ２５における付加情報の表示位置を決定する基準線となる地平線の位置の計算方法をフローチャートの形式で示している。
【０１２２】
スルー画像内の地平線の位置を計算するために、カメラ姿勢検出部１３で計測される、カメラ撮影部１１のロール角θx、ピッチ角θy、及びヨー角θzを入力として用いる。
【０１２３】
そして、地平線の傾きは、カメラ撮影部１１の姿勢のロール角θxに等しくなる。また、地平線位置のずれ量ｄｘhは下式で求められる。ここで、同式中の縦方向画角βと縦方向スルー画像のピクセル・サイズｉｍａｇｅＹは、先行するステップＳ２１の計算結果を代入すればよい。
【０１２４】
【数１３】
0004600515.tif 000016
【０１２５】
図２５には、ステップＳ２６における付加情報の表示位置の計算方法をフローチャートの形式で示している。
【０１２６】
付加情報の表示位置を計算するために、カメラ撮影部１１の地表からの高さの計測値ｈ［ｍ］と、スルー画像の縦及び横の各方向のピクセル・サイズｉｍａｇｅＸ並びにｉｍａｇｅＹと、付加情報に対応する対象物の相対距離ｄｉｓｔ並びに相対角度γと、縦方向の画角αと、スルー画像内の最近距離の計算値Ｄを入力として用いる。ここで、カメラ高さｈ［ｍ］は、気圧計などのセンサ入力を利用すればよい（前述）。また、スルー画像の縦及び横の各方向のピクセル・サイズｉｍａｇｅＸ並びにｉｍａｇｅＹは機体の特性値、被写体の相対距離ｄｉｓｔ並びに相対角度γは先行するステップＳ２３の計算結果、縦方向の画角αは先行するステップＳ２１の計算結果、スルー画像内の最近距離Ｄは先行するステップＳ２２の計算結果である。
【０１２７】
そして、スルー画像内での付加情報の表示位置座標（ｘ，ｙ）を下式から求めることができ、これを計算結果として出力する。また、付加情報の表示の際には、先行するステップＳ２４で求められたフォント・サイズｓｉｚｅで表示を行なう。
【０１２８】
【数１４】
0004600515.tif 000017
【産業上の利用可能性】
【０１２９】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１３０】
本明細書では、デジタルビデオカメラやデジタルスチルカメラのスルー画像上で各被写体に関連する付加情報を重畳表示する実施形態を衷心に説明してきたが、本発明の要旨はこれに限定されるものではなく、１以上の被写体を含んだ画像情報を処理するさまざまなシステムに対して本発明を適用することができる。
【０１３１】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【０１３２】
【図１】図１は、本発明の一実施形態に係る情報提示装置１０の機能的構成を模式的に示した図である。
【図２】図２は、撮影者から近くと遠くの位置にそれぞれ物体があるときに、撮影者の地点から見たスルー画像の一例を示した図である。
【図３】図３は、地上に配設された視点位置から地面に設置された物体を眺める視線の方向が視点から物体までの距離に応じて変化し、スルー画面上での観察点も変換する様子を示した図である。
【図４】図４は、カメラ撮影部１１の視点位置と物体との距離並びに視線方向に応じて決定された位置及び大きさで付加情報が重畳表示されたスルー画像の一例を示した図である。
【図５】図５は、カメラ撮影部１１の視点位置と物体との距離に応じて、各物体について表示する付加情報のサイズを調整して提示した様子を示した図である。
【図６】図６は、情報提示装置１０において、スルー画像上に被写体の付加情報を重畳表示するための処理手順を示したフローチャートである。
【図７Ａ】図７Ａは、カメラ撮影部１１の視点位置周辺の地図を示した図である。
【図７Ｂ】図７Ｂは、カメラ撮影部１１の視点位置並びに視線方向を基に周辺スポット情報を取得する様子を示した図である。
【図８】図８は、情報提示装置１０において、スルー画像上に被写体の付加情報を重畳表示するための処理手順の変形例を示したフローチャートである。
【図９Ａ】図９Ａは、カメラ撮影部１１の姿勢変化に伴ってスルー画像の水平位置が変化する様子を説明するための図である。
【図９Ｂ】図９Ｂは、カメラ撮影部１１の姿勢変化に伴ってスルー画像の水平位置が変化する様子を説明するための図であり、具体的には、図９Ａからカメラ撮影部１１がピッチ軸回りに回転したときのスルー画像を示した図である。
【図９Ｃ】図９Ｃは、カメラ撮影部１１の姿勢変化に伴ってスルー画像の水平位置が変化する様子を説明するための図であり、具体的には、図９Ａからカメラ撮影部１１がロール軸回りに回転したときのスルー画像を示した図である。
【図９Ｄ】図９Ｄは、カメラ撮影部１１の姿勢変化に伴ってスルー画像の水平位置が変化する様子を説明するための図であり、具体的には、図９Ａからカメラ撮影部１１がロール軸回りに回転したときのスルー画像を示した図である。
【図１０】図１０は、カメラ撮影部１１の視線方向の角度変化当たりのピクセル数を決定する方法を説明するための図である。
【図１１】図１１は、スルー画像における地平線の表示位置の導出方法を説明するための図である。
【図１２】図１２は、スルー画像における地平線の表示位置の導出方法を説明するための図である。
【図１３】図１３は、スルー画像における地平線の表示位置の導出方法を説明するための図である。
【図１４】図１４は、スルー画像内に写されている被写体に対する付加情報の表示位置の決定方法を説明するための図である。
【図１５】図１５は、スルー画像内に写されている被写体に対する付加情報の表示位置の決定方法を説明するための図である。
【図１６】図１６は、スルー画像内に写されている被写体に対する付加情報の表示位置の決定方法を説明するための図である。
【図１７】図１７は、スルー画像内に写されている被写体に対する付加情報の表示位置の決定方法を説明するための図である。
【図１８】図１８は、スルー画像内に写されている被写体に対する付加情報の表示位置の決定方法を説明するための図である。
【図１９】図１９は、図６に示したフローチャート中のステップＳ６で実行される、付加情報の表示位置を計算するための詳細な処理手順を示したフローチャートである。
【図２０】図２０は、ステップＳ２１における画角の計算方法を示したフローチャートである。
【図２１】図２１は、ステップＳ２２における画面内最近距離の計算方法を示したフローチャートである。
【図２２】図２２は、ステップＳ２３におけるカメラ撮影部１１の視点位置と付加情報を表示する被写体との相対関係の計算方法を示したフローチャートである。
【図２３】図２３は、ステップＳ２４における付加情報を表示するフォント・サイズの計算方法を示したフローチャートである。
【図２４】図２４は、ステップＳ２５における付加情報の表示位置を決定する基準線となる地平線の位置の計算方法を示したフローチャートである。
【図２５】図２５は、ステップＳ２６における付加情報の表示位置の計算方法を示したフローチャートである。
【符号の説明】
【０１３３】
１０…情報提示装置
１１…カメラ撮影部
１２…カメラ位置検出部
１３…カメラ姿勢検出部
１４…無線通信部
１５…地図データ記憶部
１６…制御部
１７…ファインダ
【図１】
0004600515.tif 000018
【図６】
0004600515.tif 000019
【図７Ａ】
0004600515.tif 000020
【図７Ｂ】
0004600515.tif 000021
【図８】
0004600515.tif 000022
【図１９】
0004600515.tif 000023
【図２０】
0004600515.tif 000024
【図２１】
0004600515.tif 000025
【図２２】
0004600515.tif 000026
【図２３】
0004600515.tif 000027
【図２４】
0004600515.tif 000028
【図２５】
0004600515.tif 000029
【図２】
0004600515.tif 000030
【図３】
0004600515.tif 000031
【図４】
0004600515.tif 000032
【図５】
0004600515.tif 000033
【図９Ａ】
0004600515.tif 000034
【図９Ｂ】
0004600515.tif 000035
【図９Ｃ】
0004600515.tif 000036
【図９Ｄ】
0004600515.tif 000037
【図１０】
0004600515.tif 000038
【図１１】
0004600515.tif 000039
【図１２】
0004600515.tif 000040
【図１３】
0004600515.tif 000041
【図１４】
0004600515.tif 000042
【図１５】
0004600515.tif 000043
【図１６】
0004600515.tif 000044
【図１７】
0004600515.tif 000045
【図１８】
0004600515.tif 000046