(57)【特許請求の範囲】
【請求項１】
カメラの位置および向きを検知する検知部、
前記検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する取得部、
前記カメラの位置および向きにより定められる視野領域を前記カメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、前記取得された目標物の位置が、所定の投影変換により前記投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する生成部、
前記生成された表示画像を画面に表示する表示部
を備え、
前記報告領域は、前記写真領域を含み、
前記調査領域は、前記視野領域に含まれない部分を有し、
前記視野領域は、錐体により定められ、
前記調査領域は、二次曲面により定められ、
前記錐体の軸と、前記二次曲面の軸のいずれかとは、重なる
ことを特徴とする表示装置。
【請求項２】
請求項１に記載の表示装置であって、
前記調査領域は、前記カメラの位置の近傍で前記視野領域を含む
ことを特徴とする表示装置。
【請求項３】
請求項１または２に記載の表示装置であって、
前記所定の投影変換は、前記視野領域を前記写真領域に投影する投影変換に一致する
ことを特徴とする表示装置。
【請求項４】
検知部、取得部、生成部、表示部を備える表示装置が実行する表示方法であって、
前記検知部が、カメラの位置および向きを検知する検知工程、
前記取得部が、前記検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する取得工程、
前記生成部が、前記カメラの位置および向きにより定められる視野領域を前記カメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、前記取得された目標物の位置が、所定の投影変換により前記投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する生成工程、
前記表示部が、前記生成された表示画像を画面に表示する表示工程
を備え、
前記報告領域は、前記写真領域を含み、
前記調査領域は、前記視野領域に含まれない部分を有し、
前記視野領域は、錐体により定められ、
前記調査領域は、二次曲面により定められ、
前記錐体の軸と、前記二次曲面の軸のいずれかとは、重なる
ことを特徴とする表示方法。
【請求項５】
コンピュータを、
カメラの位置および向きを検知する検知部、
前記検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する取得部、
前記カメラの位置および向きにより定められる視野領域を前記カメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、前記取得された目標物の位置が、所定の投影変換により前記投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する生成部、
前記生成された表示画像を画面に表示する表示部
として機能させ、
前記報告領域は、前記写真領域を含み、
前記調査領域は、前記視野領域に含まれない部分を有し、
前記視野領域は、錐体により定められ、
前記調査領域は、二次曲面により定められ、
前記錐体の軸と、前記二次曲面の軸のいずれかとは、重なる
ように機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの視野の外側にある目標物の位置を、効果的に画面に表示するのに好適な表示装置、表示方法、ならびに、プログラムに関する。
【背景技術】
【０００２】
近年、カメラによって撮影された現実世界の画像上に仮想物体を重畳させる拡張現実（ＡＲ：Augmented Reality）の表示技術が開発され、ゲームやコミュニケーションツール等として実用化が進められている。例えば、特許文献１には、ＡＲ技術を利用して仮想物体を現実世界の画像の中に重畳させる際に、仮想物体の色を現実世界の画像に合わせて補正することにより、現実世界と調和した仮想物体を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７０３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のようなＡＲ技術では、通常、撮影された画像内の対象、すなわちカメラの視野内に収まった対象について、仮想物体が重畳されることで、当該視野内の対象についての種々の情報が付加提示されるものであった。しかし一方で、カメラの視野内に収まった対象だけでなく、視野外に位置する対象についても、仮想物体を対応付けて表示させ、情報を得たい場合がある。例えば、付近にある建物等の情報を得たい場合に、その建物がカメラの視野に収まるようにカメラの向きを調整しなければ情報が得られないのでは、ユーザの手間がかかるだけでなく、ユーザがその建物の正確な位置を知らない場合等に対応できないことになる。
【０００５】
本発明は、上記のような課題を解決するもので、カメラの視野の外側にある目標物の位置を、効果的に画面に表示するのに好適な表示装置、表示方法、ならびに、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る表示装置は、検知部、取得部、生成部、表示部を備える表示装置であって、以下のように構成する。
【０００７】
検知部は、カメラの位置および向きを検知する。
【０００８】
すなわち、表示装置は、現実世界を撮影するカメラを備え、検知部が、当該カメラの位置および向きを検知する。例えば、ユーザが携帯可能な機器にカメラが搭載されている場合には、当該カメラの位置と向きは、ユーザの移動や操作に伴って様々に変化しうる。この場合、検知部は、カメラの位置と向きが様々に変化するたびに、カメラの現在の位置と現在の向きを検知する。
【０００９】
ここで、「カメラの位置」とは、現実世界におけるカメラの位置であり、例えば、緯度・経度によって表される。そして、「カメラの向き」とは、上記「カメラの位置」におけるカメラの視線の向きであり、例えば、東西南北を基準とした方位角によって表される。なお、「カメラの位置」は、三次元空間における鉛直方向の位置も含め、例えば、緯度・経度に加えてさらに高度によって表されてもよい。また、「カメラの向き」は、三次元空間における鉛直方向の向きも含め、例えば、東西南北を基準とした方位角に加えてさらに水平面を基準とした仰角によって表されてもよい。
【００１０】
なお、カメラは、表示装置と一体となっていることが典型的であるが、表示装置から分離されてもよい。例えば、カメラと、当該カメラが撮影した画像を表示する表示部とが、別の装置に分けられていてもよい。
【００１１】
取得部は、検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する。
【００１２】
ここで、「調査領域」とは、現実世界の三次元空間内における領域であって、上記検知部が検知したカメラの位置および向きに基づいて定められる領域である。例えば、調査領域として、カメラの位置を頂点とし、カメラの向きに開いた角錐や円錐等の立体によって囲まれた領域、カメラの位置を含む球状の立体によって囲まれた領域、カメラの位置からカメラの向きに所定の距離だけ離れた位置にある所定の立体によって囲まれた領域、等が挙げられる。取得部は、このような調査領域内にある目標物の位置を取得する。
【００１３】
ここで、「目標物」とは、現実世界に存在する建物、施設、設備等であって、ユーザがその位置を知りたいと考えるものである。例えば、目標物として、ゲームセンター、コンビニエンスストア、自動販売機、バス停、等が挙げられる。取得部は、このような目標物のうち、上記のような調査領域内にある目標物についての位置の情報を取得する。
【００１４】
生成部は、カメラの位置および向きにより定められる視野領域をカメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、取得された目標物の位置が、所定の投影変換により投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する。
【００１５】
すなわち、生成部は、仮想の投影面を用意し、カメラによる現実世界の撮影画像と、目標物を表すマークと、をこの投影面に描画することで、後述する表示部が表示装置の画面に表示するための表示画像を生成する。ここで、投影面内における二次元領域のうち、カメラによる現実世界の撮影画像が描画される領域を写真領域といい、目標物を表すマークが描画される領域を報告領域というものとする。
【００１６】
このうち、カメラによる現実世界の撮影画像は、カメラの位置および向きにより定められる視野領域をカメラが撮影することにより得られる。ここで、「視野領域」とは、カメラの視野を定める三次元空間内における領域であって、例えば典型的には、カメラの位置を頂点とし、カメラの向きに開いた四角錐状の立体により定められる。このような視野領域内に収まった現実世界の建物や施設等が、仮想の投影面内の写真領域に投影されることで、カメラによる撮影画像として描画される。
【００１７】
一方、カメラによる撮影画像に加えて投影面に描画される目標物を表すマークは、上記取得部によって取得された調査領域内にある目標物の位置が、所定の投影変換により投影されることにより得られる。ここで、「所定の投影変換」とは、三次元の調査領域内の任意の位置を、投影面内の二次元の報告領域内のいずれかの位置に対応付けるものである。この投影変換によって、調査領域内にある目標物の位置が投影面に投影され、投影された位置にこの目標物を表すマークが描画される。
【００１８】
表示部は、生成された表示画像を画面に表示する。
【００１９】
すなわち、表示部は、上記生成部が生成した表示画像を、表示装置に備えられたモニタ等の画面に表示する。表示画像には、カメラによる撮影画像と目標物を表すマークが描画されているため、ユーザは、どこに目標物があるのかを、撮影画像を基準として、知ることができる。
【００２０】
そして、報告領域は、写真領域を含む。
【００２１】
すなわち、目標物を表すマークが描画される報告領域は、カメラによる撮影画像が描画される写真領域を包含するように、投影面内の二次元領域を占める。報告領域として写真領域より広い領域がとられることで、生成部は、カメラの視野よりも広い範囲についての目標物の位置を表示画像として生成することができるようになる。例えばカメラの視野内に位置する目標物については、そのマークはカメラによる撮影画像に重ねて描画され、カメラの視野外に位置する目標物については、そのマークはカメラによる撮影画像から外れた領域に描画される、ということが典型的である。
【００２２】
また、調査領域は、視野領域に含まれない部分を有する。
【００２３】
すなわち、上記取得部によって目標物の位置が取得される調査領域は、カメラの視野領域に含まれない部分、すなわちカメラの視野外の三次元空間を有する。例えば、カメラの視野領域が四角錐状の立体により定められる場合には、調査領域は、この四角錐状の立体には含まれない外側の領域を有することになる。
【００２４】
このような構成により、本発明の表示装置は、カメラの視野領域に含まれない領域についても目標物の位置を取得し、カメラによる撮影画像と共に表示画像に表示する。これにより、目標物がカメラの視野から外れていたとしても、その目標物が、カメラの撮影画像を基準としてどのあたりの位置にあるのかを、ユーザに認識させることができる。
【００２５】
また、本発明の表示装置において、
調査領域は、カメラの位置の近傍で視野領域を含む
ように構成することができる。
【００２６】
すなわち、調査領域は、上述したように視野領域に含まれない部分を有するが、ここではより具体的に、調査領域は、カメラの位置の近傍で視野領域を含むように、視野領域に含まれない部分を有する。ここで、「カメラの位置の近傍で視野領域を含む」とは、カメラの位置からの距離が所定の距離以内に収まるような近傍の範囲において、調査領域が視野領域を包含する、ということである。すなわち、調査領域は、カメラの位置から遠方では必ずしも視野領域を包含しなくてもよいが、カメラの位置から所定の距離以内の近傍では視野領域を包含するような三次元空間内の領域となる。表示装置は、このようなカメラの位置からの距離が所定の距離以内の範囲においては、カメラの視野領域の外側に位置する目標物の位置も取得し、その目標物を表すマークをカメラによる撮影画像と共に表示画像として画面に表示する。
【００２７】
このような構成により、本発明の表示装置は、カメラの位置の近傍で視野領域を含むように調査領域をとる。これにより、目標物がユーザの近傍にあるにもかかわらず、カメラの視野に入っていないためにその位置を取得し逃しまう、ということをなるべく防ぐことができ、より効果的に目標物の位置をユーザに提供することができる。
【００２８】
また、本発明の表示装置において、
所定の投影変換は、視野領域を写真領域に投影する投影変換に一致する
ように構成することができる。
【００２９】
すなわち、生成部は、調査領域にある目標物の位置を投影面内の報告領域に投影する際の所定の投影変換として、カメラによる撮影画像を描画する際の、カメラの視野領域を投影面内の写真領域に投影する投影変換と同じ投影変換を用いる。同じ投影変換が用いられることで、生成部は、カメラの視野内の目標物については、カメラによる撮影画像に重ねてその位置を示すことができ、さらにカメラの視野から外れた位置にある目標物についても、カメラによる撮影画像を基準としてどの位置にあるのかを示す表示画像を生成することができるようになる。
【００３０】
例えば、カメラの視野から左側へ外れた位置にある目標物は、表示画像内において、撮影画像の描画位置に対し、視野から外れた分だけ左側へ外れた位置に描画され、カメラの視野から右側へ外れた位置にある目標物は、表示画像内において、撮影画像の描画位置に対し、視野から外れた分だけ右側へ外れた位置に描画される。
【００３１】
このような構成により、本発明の表示装置は、カメラの視野内の建物等の撮影に用いた投影変換と同じ投影変換を用いて、カメラの視野外の目標物の位置も表示画像内に表示する。これにより、カメラの視野内の目標物については、撮影された建物等に対応させてその位置をユーザに提供でき、さらにカメラの視野から外れた目標物についても、カメラの撮影画像を基準としてどの位置にあるのかをユーザに認識させることができる。
【００３２】
また、本発明の表示装置において、
視野領域は、第１の錐体により定められ、
調査領域は、第２の錐体により定められ、
第１の錐体の軸と、第２の錐体の軸とは、重なり、
第２の錐体は、第１の錐体を包含する
ように構成することができる。
【００３３】
すなわち、カメラの視野領域と目標物の位置が取得される調査領域とは、それぞれ第１の錐体と第２の錐体という、２つの錐体（四角錐、円錐等の錐状の三次元立体）よって定められる。まず、カメラの視野領域を定める第１の錐体は、カメラの位置を頂点とし、カメラの向きへ伸びる直線を軸とする錐体であって、錐体の頂角はカメラの画角（視野角）に対応したものとなる。一般的に、カメラの視野は、水平画角と垂直画角の２つの画角を有する四角錐によって定められる場合が多いが、必ずしも四角錐に限らず、カメラの視野領域を定める第１の錐体は、四角錐以外の角錐、円錐、または、楕円錐等であってもよい。
【００３４】
また、目標物の位置が取得される調査領域を定める第２の錐体は、第１の錐体と共通の軸を有する錐体であって、第１の錐体を包含するように、すなわちカメラの視野領域全体に覆い被さるように、配置される。すなわち、調査領域としてカメラの視野領域よりも広い領域がとられることになり、カメラの視野領域の外側にある目標物についても、その位置が取得され、表示画像に含まれるようになる。
【００３５】
このような構成により、本発明の表示装置は、カメラの視野領域を定める第１の錐体を包含するような第２の錐体により調査領域を定め、当該調査領域内にある目標物の位置を取得する。これにより、カメラの視野外にある目標物の位置についても表示画像に表示され、あたかもカメラの視野を実際の視野よりも広げて撮影したかのように、実際のカメラの視野から外れた位置にある目標物の位置も、ユーザに認識させることができる。
【００３６】
また、本発明の表示装置において、
視野領域は、錐体により定められ、
調査領域は、二次曲面により定められ、
錐体の軸と、二次曲面の軸のいずれかとは、重なる
ように構成することができる。
【００３７】
すなわち、カメラの視野領域は、上記と同様に、カメラの位置を頂点とし、カメラの向きへ伸びる直線を軸とする錐体（四角錐、円錐等の錐状の三次元立体）よって定められる。一方で、目標物の位置が取得される調査領域は、上記のように第２の錐体として定められるのではなく、カメラの視野領域を定める錐体と共通の軸をそのいずれかの軸として有する二次曲面によって定められる。
【００３８】
ここで二次曲面とは、例えば、球面、楕円面、放物面、双曲面等のような三次元空間内の曲面であり、二次曲面の軸のいずれかとは、例えば楕円面であれば３つの対称軸のいずれかをいい、あるいは放物面であればその中心軸のことをいう。このような二次曲面により定められる調査領域内にある目標物の位置が、取得部によって取得され、取得された目標物の位置を表すマークが描画された表示画像が生成されることになる。
【００３９】
このような構成により、本発明の表示装置は、目標物の位置を取得する調査領域として、二次曲面により定められる領域をとる。これにより、例えば上記第２の錐体により定めた調査領域に比べて、表示画像として表示する対象とすべき目標物の位置を、より柔軟に取得することができるようになる。
【００４０】
上記目的を達成するため、本発明の第２の観点に係る表示方法は、検知部、取得部、生成部、表示部を備える表示装置が実行する表示方法であって、検知工程、取得工程、生成工程、表示工程を備える。
【００４１】
検知工程では、検知部が、カメラの位置および向きを検知する。
取得工程では、取得部が、検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する。
生成工程では、生成部が、カメラの位置および向きにより定められる視野領域をカメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、取得された目標物の位置が、所定の投影変換により投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する。
表示工程では、表示部が、生成された表示画像を画面に表示する。
そして、報告領域は、写真領域を含む。
また、調査領域は、視野領域に含まれない部分を有する。
【００４２】
上記目的を達成するため、本発明の第３の観点に係るプログラムは、コンピュータを、上記の表示装置として機能させ、コンピュータに、上記の表示方法の各工程を実行させるように構成する。
【００４３】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読み取り可能な情報記憶媒体に記録することができる。
【００４４】
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配付・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配付・販売することができる。
【発明の効果】
【００４５】
本発明によれば、カメラの視野の外側にある目標物の位置を、効果的に画面に表示するのに好適な表示装置、表示方法、ならびに、プログラムを提供することができる。
【図面の簡単な説明】
【００４６】
【図１】本発明の表示装置が実現される典型的な情報処理装置の概要構成を示す図である。
【図２】（ａ），（ｂ）共に、本発明の表示装置が実現される典型的な情報処理装置の外観図である。
【図３】本発明の表示装置の機能構成を示す図である。
【図４】表示装置をもったユーザが現実世界の市街地にいる様子を示す図である。
【図５】カメラの視野領域を示す図である。
【図６】実施形態１において、カメラの視野領域を包含する調査領域を示す図である。
【図７】実施形態１において、カメラの視野領域内の位置と調査領域内の目標物の位置とを仮想の投影面に投影する様子を示す図である。
【図８】実施形態１において、表示画像を示す図である。
【図９】本発明の実施形態に係る表示装置の処理の流れを示すフローチャートである。
【図１０】実施形態２において、放物面により定められる調査領域を示す図である。
【図１１】実施形態２において、調査領域内の目標物の位置を仮想の投影面に投影する様子を示す図である。
【図１２】実施形態３において、ユーザを包含する放物面により定められる調査領域を示す図である。
【発明を実施するための形態】
【００４７】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、携帯ゲーム機型の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素を均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００４８】
本発明に係る表示装置が実現されうる情報処理装置として、例えば、携帯ゲーム機の他、携帯型の電話機、携帯型のカメラやスマートフォン等の電子機器等、その他の様々な情報処理装置が挙げられる。
【００４９】
（実施形態１）
図１は、本発明の実施形態に係る表示装置が実現される典型的な情報処理装置の概要構成を示す模式図である。以下、図１を参照して説明する。
【００５０】
情報処理装置１は、処理制御部１０、コネクタ１１、カートリッジ１２、無線通信部１３、通信コントローラ１４、サウンドアンプ１５、スピーカ１６、操作キー１７、ＧＰＳ処理部１８、カメラ１９、第１の表示部２０、第２の表示部２１、タッチパネル２２を備える。
【００５１】
処理制御部１０は、ＣＰＵ（Central Processing Unit）コア１０ａと、画像処理部１０ｂと、ＶＲＡＭ（Video Random Access Memory）１０ｃと、ＷＲＡＭ（Work RAM）１０ｄと、ＬＣＤ（Liquid Crystal Display）コントローラ１０ｅと、タッチパネルコントローラ１０ｆとを備える。
【００５２】
ＣＰＵコア１０ａは、情報処理装置１全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。具体的には、カートリッジ１２がコネクタ１１に装着された状態で、カートリッジ１２内のＲＯＭ（Read Only Memory）１２ａに記憶されたプログラムやデータを読み出して、所定の処理を実行する。
【００５３】
画像処理部１０ｂは、カートリッジ１２内のＲＯＭ １２ａから読み出されたデータや、ＣＰＵコア１０ａにて処理されたデータを加工処理した後、これをＶＲＡＭ  １０ｃに格納する。
【００５４】
ＶＲＡＭ  １０ｃは、表示用の情報を記憶するフレームメモリであり、画像処理部１０ｂ等により加工された画像情報を記憶する。
【００５５】
ＷＲＡＭ  １０ｄは、ＣＰＵコア１０ａがプログラムに従った各種処理を実行する際に必要となるワークデータ等を記憶する。
【００５６】
ＬＣＤコントローラ１０ｅは、画像表示部２０を制御し、所定の表示用画像を表示させる。例えば、ＬＣＤコントローラ１０ｅは、ＶＲＡＭ  １０ｃに記憶された画像情報を、所定の同期タイミングで表示信号に変換し、画像表示部２０に出力する。また、ＬＣＤコントローラ１０ｅは、画像表示部２０に所定の指示アイコン等を表示する。
【００５７】
タッチパネルコントローラ１０ｆは、タッチペンやユーザの指によるタッチパネル２２への接触（タッチ）を検出する。例えば、画像表示部２０に所定の指示アイコン等が表示されている状態で、タッチパネル２２上の接触や解放（離れること）の検知、およびそれらの位置を検出する。
【００５８】
コネクタ１１は、カートリッジ１２と脱着自在に接続可能な端子であり、カートリッジ１２が接続された際に、カートリッジ１２との間で所定のデータを送受信する。
【００５９】
カートリッジ１２は、ＲＯＭ（Read Only Memory）１２ａと、ＲＡＭ（Random Access Memory）１２ｂと、を備える。
ＲＯＭ １２ａには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データ等が記録される。
ＲＡＭ １２ｂには、ゲームの進行状況等を示す種々のデータが記憶される。
【００６０】
無線通信部１３は、他の情報処理装置の無線通信部との間で、無線通信を行うユニットであり、図示せぬアンテナ（内蔵アンテナ等）を介して所定のデータを送受信する。なお、無線通信部１３は、所定のアクセスポイントとの間で、無線ＬＡＮ通信を行うこともできる。また、無線通信部１３には、固有のＭＡＣ（Media Access Control）アドレスが採番されている。
【００６１】
通信コントローラ１４は、無線通信部１３を制御し、所定のプロトコルに沿って、処理制御部１０と他の情報処理装置の処理制御部との間で行われる通信の仲立ちをする。また、情報処理装置１を、近傍の無線アクセスポイント等を介してインターネットに接続する場合には、無線ＬＡＮ（Local Area Network）に準拠したプロトコルに従って、処理制御部１０と無線アクセスポイント等との間で行われる無線通信の仲立ちをする。
【００６２】
サウンドアンプ１５は、処理制御部１０にて生成された音声信号を増幅し、スピーカ１６に供給する。また、スピーカ１６は、たとえば、ステレオスピーカ等からなり、サウンドアンプ１５で増幅された音声信号に従って、所定の効果音や楽曲音等を出力する。
【００６３】
操作キー１７は、情報処理装置１に適宜配置されたキースイッチ等から構成され、ユーザの操作に従って、所定の指示入力を受け付ける。操作キー１７には、音量を調節するためのボタンや、つまみ等も含まれる。各操作キー１７には、圧力センサが配備され、いずれのキーが押圧操作されているかを検知することができる。ユーザは、このような操作キー１７を押圧操作することで、情報処理装置１への各種操作指示を入力する。
【００６４】
ＧＰＳ処理部１８は、ＧＰＳ（Global Positioning System）衛星と情報のやり取りを行い、情報処理装置１の位置座標（例えば緯度・経度や高度）の情報を取得する。また、ＧＰＳ処理部１８は、コンパス等の方位センサを備え、情報処理装置１の向き（例えば東西南北を基準とした方位角）の情報を取得する。さらに、ＧＰＳ処理部１８は、重力センサ等によって重力方向を検知し、情報処理装置１が重力方向に対してどの程度傾いているかというような、傾きの情報も取得する。
【００６５】
カメラ１９は、情報処理装置１の上部シャーシに組み込まれており、第１の表示部２０の背面方向を撮影する。例えば、カメラ１９は、第１の表示部２０に表示するための風景画像を撮影する。なお、カメラ１９は、一例として、単焦点のレンズ及び、所定画素数の撮像素子（ＣＭＯＳやＣＣＤ等）を含んで構成され、所定の焦点距離（画角α）にて、その光軸方向を中心とした画像を撮影する。
【００６６】
第１の表示部２０および、第２の表示部２１は、ＬＣＤ等からなり、ＬＣＤコントローラ１０ｅの制御によって、画像データを適宜表示する。また、第２の表示部２１は、ユーザ等がタッチパネル２２に接触することで選択指示を入力するのに必要な選択ボタン（アイコン）等を適宜表示する。
【００６７】
タッチパネル２２は、第２の表示部２１の前面に重畳して配置され、タッチペンやプレイヤの指による入力を検出する。例えば、タッチパネル２２は、抵抗膜方式のタッチセンサパネル等からなり、タッチペン等による押圧（押下）を検知し、その座標に応じた情報（信号等）を出力する。あるいは、タッチパネル２２は、感圧式のタッチセンサパネルからなり、タッチペン等の圧力を検知するものであってもよい。
【００６８】
図２は、本発明の実施の形態に係る表示装置が実現される典型的な情報処理装置１の外観を示す模式図である。この情報処理装置１は、一例として、携帯型のゲーム機器であり、図２（ａ）に示すように、上部シャーシＪｓと下部シャーシＫｓに各部位がそれぞれ組み込まれている。上部シャーシＪｓと下部シャーシＫｓとは、接合部が軸支されており、通常のノート型のパソコン等のように、開閉可能となっている。
【００６９】
例えば、上部シャーシＪｓには、第１の表示部２０等が組み込まれている。一方、下部シャーシＫｓには、第２の表示部２１やタッチパネル２２等が組み込まれている。また、図２（ｂ）に示すように、上部シャーシＪｓの裏面側には、カメラ１９が組み込まれている。カメラ１９は、上部シャーシＪｓを開いた状態で、第１の表示部２０の背面方向を撮影する。なお、カメラ１９は、一例として、単焦点のレンズを備え、人間の視角（注視した際の視角）よりもある程度広い画角αの範囲を撮影可能となっている。
【００７０】
図３は、情報処理装置１を用いて実現される本発明の表示装置の機能構成を表す図である。表示装置３００は、検知部３０１、取得部３０２、生成部３０３、表示部３０４を備える。
【００７１】
なお、表示装置３００は、記憶部等も適宜備えてもよい。ここで記憶部は、例えば各種ＲＡＭ等の機能によって実現され、現在時刻、ユーザが行った入力の内容や入力の時刻等、表示装置の動作に必要な種々のデータを記憶する。
【００７２】
検知部３０１は、カメラ１９の位置および向きを検知する。すなわち、検知部３０１は、ＧＰＳ衛星とのやり取りを行うことにより、現実世界におけるカメラ１９の位置を検知し、さらに、方位センサの機能を用いることで、当該検知した位置におけるカメラ１９の向きを検知する。そして、検知部３０１は、検知したカメラ１９の位置および向きを取得部３０２へ供給する。このような検知部３０１は、例えばＣＰＵコア１０ａの制御のもと、ＧＰＳ処理部１８やＷＲＡＭ  １０ｄ等の各部が協働することによって実現される。
【００７３】
取得部３０２は、検知されたカメラ１９の位置および向きにより定められる調査領域内にある目標物の位置を取得する。すなわち、取得部３０２は、検知部３０１によって検知されたカメラ１９の位置および向きの情報を受け取り、当該位置および向きによって定められる三次元の調査領域内にある目標物の位置を取得する。そして、取得部３０２は、取得した目標物の位置を生成部３０３へ供給する。このような取得部３０２は、例えばＣＰＵコア１０ａがＷＲＡＭ  １０ｄ等の各部と協働することで実現される。
【００７４】
生成部３０３は、カメラ１９の位置および向きにより定められる視野領域をカメラ１９が撮影することにより得られる撮影画像を投影面内の写真領域に描画し、取得された目標物の位置が、所定の投影変換により投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する。すなわち、生成部３０３は、取得部３０２によって取得された目標物の位置を受け取り、カメラ１９による撮影画像と共に、目標物の位置を所定の投影変換により投影面に投影することで、カメラ１９の撮影画像と当該目標物を表すマークとを組み合わせた表示画像を生成する。そして、生成部３０３は、生成した表示画像を表示部３０４へ供給する。このような生成部３０３は、例えばＣＰＵコア１０ａの制御のもと、画像処理部１０ｂやＶＲＡＭ  １０ｃ等の各部が協働することによって実現される。
【００７５】
表示部３０４は、生成された表示画像を画面に表示する。すなわち、表示部３０４は、生成部３０３によって生成された表示画像を受け取り、第１の表示部２０に表示画像を表示する。このような表示部３０４は、例えばＣＰＵコア１０ａの制御のもと、ＬＣＤコントローラ１０ｅやＶＲＡＭ  １０ｃ等の各部が協働することによって実現される。
【００７６】
以下、表示装置３００が目標物の位置を取得し、その位置を画面に表示する様子を具体的に説明する。ここで、具体的に目標物は、ユーザがプレイしたいと考えるゲーム機が備えられたゲームセンターであるとする。すなわち、ユーザが、あるゲームをプレイしたいと思い、そのゲーム機が設置されたゲームセンターがどこにあるのかについての情報を、表示装置３００を用いて得る場合について、以下説明する。
【００７７】
図４は、表示装置３００をもったユーザが現実世界の市街地にいる様子を示す図である。この市街地には、複数の建物が中央の通りに面して並んで立てられており、建物の脇には、樹木や車がある。ユーザ４００は、この通りの中央の位置４０１に立っており、表示装置３００のカメラ１９が通りの奥の向き４０２へと向くように、表示装置３００を把持している。このユーザ４００の位置４０１は、上空を周回しているＧＰＳ衛星４２０の機能により、ユーザ４００が把持する表示装置３００の位置４０１として検知される。
【００７８】
この通りに面した建物のうち、ビル４０５ａとビル４０５ｂには、ユーザ４００がプレイしたいと考えているゲーム機が設置されたゲームセンター、すなわち目標物４１０ａ，４１０ｂがある。一方で、ユーザ４００は、そのゲームをプレイできるゲームセンター、すなわち目標物４１０ａ，４１０ｂが、どの建物に入っているかについては知らないものとする。
【００７９】
このとき、ユーザ４００が、目標物４１０の位置を知りたいと思い、その旨の指示を、タッチパネル２２等の入力装置を用いて表示装置３００に入力すると、まず表示装置３００の検知部３０１が、ＧＰＳ処理部１８の機能により、カメラ１９の位置４０１と向き４０２を検知する。具体的に、検知部３０１は、ＧＰＳ衛星４２０と情報のやり取りを行い、カメラ１９の現在の位置４０１を検知する。また、検知部３０１は、ＧＰＳ処理部１８に備えられた方位センサと重力センサによって、カメラ１９の向き４０２、すなわち表示装置３００が現在どの方位に向けられ、重力方向からどの程度傾けられているか、を検知する。このとき、検知部３０１は、カメラ１９の位置４０１として、緯度・経度・高度の情報を取得し、カメラ１９の向き４０２として、東西南北を基準とした方位角情報および水平面を基準とした仰角の情報を取得する。
【００８０】
図５は、ユーザ４００の真上から見たときの、検知されたカメラ１９の位置４０１および向き４０２により定められるカメラ１９の視野領域を示す図である。ユーザ４００が把持する表示装置３００に備えられたカメラ１９の視野領域５００は、カメラ１９の位置４０１からカメラ１９の向き４０２へ、カメラ１９の画角αの範囲に放射状に伸びる視線によって形作られる。すなわち、図５の斜線で示した部分のように、視野領域５００は、頂点であるカメラ１９の位置４０１からカメラ１９の向き４０２へ伸びる直線を軸とし、カメラ１９の画角αに対応する頂角をもつ四角錐５１０により定められる。
【００８１】
このとき、ユーザ４００の周囲に存在している２つの目標物４１０ａ，４１０ｂのうち、ビル４０５ａ内にある目標物４１０ａは視野領域５００内に入っているが、ビル４０５ｂ内にある目標物４１０ｂは視野領域５００内には入っていない。すなわち、ユーザ４００が通りの奥の向き４０２へカメラ１９を向けているため、通りの奥に位置している目標物４１０ａは視野領域５００内に収まっているが、ユーザ４００のすぐ左横にある目標物４１０ｂは、視野領域５００から外れてしまっている。
【００８２】
そのため、ユーザ４００により近い位置にあるにもかかわらず、目標物４１０ｂが視野領域５００に入るようにカメラ１９の向き４０２を向けていないため、カメラ１９による撮影画像には、目標物４１０ｂが入ったビル４０５ｂは映し出されないことになり、ユーザ４００は、撮影画像に表示された建物の中からは、より遠方にある目標物４１０ａの位置しか知ることができないことになる。そこで、本実施形態の表示装置３００は、より近くにある目標物４１０ｂを見逃してしまうことをなるべく避けるため、カメラ１９の視野領域５００から外れた目標物４１０の位置についても、その位置を画面に表示し、ユーザ４００に提供できるようにする。
【００８３】
図６は、ユーザ４００の真上から見たときの、カメラ１９の視野領域５００を包含する調査領域を示す図である。この調査領域６００は、カメラ１９の視野領域５００を定める四角錐５１０と同じく、カメラ１９の位置４０１を頂点およびカメラ１９の向き４０２へ伸びる直線を軸とし、四角錐５１０を包含するような別の四角錐６１０により定められる。すなわち、図６の斜線で示した部分のように、調査領域６００は、視野領域５００を定める第１の四角錐５１０を包含する第２の四角錐６１０により定められる三次元空間内の領域となり、画角αにより定められるカメラ１９の視野領域５００に対し、あたかもカメラ１９の画角をさらに広げたような領域となる。
【００８４】
表示装置３００の取得部３０２は、視野領域５００内にある目標物４１０ａの位置に加え、このようなカメラ１９の視野領域５００の外側にまで及ぶ調査領域６００内にある目標物４１０ｂの位置も取得する。すなわち、検知部３０１によってカメラ１９の位置４０１および向き４０２が検知されると、取得部３０２は、検知されたカメラ１９の位置４０１および向き４０２により定められる調査領域６００が占める空間を求め、それぞれの目標物４１０の位置が、この調査領域６００内に収まっているか否かを判断し、収まっていると判断した目標物４１０の位置を取得する。
【００８５】
具体的に図６では、ユーザ４００の左横にある目標物４１０ｂは、カメラ１９の視野領域５００からは外れているが、調査領域６００内には収まっているため、視野領域５００内の目標物４１０ａと共に、取得部３０２によってその位置が取得されることになる。
【００８６】
なお、調査領域６００内に収まっているか否かの判断に用いられるそれぞれの目標物４１０の位置の情報は、あらかじめ表示装置３００内の各種記憶部に記憶され、必要に応じて取得部３０２に読み出されてもよいし、あるいは、外部のサーバ等に記憶されており、例えばゲームＡをプレイしたいユーザ４００にはゲームＡのゲーム機が設置されたゲームセンターの位置情報が、またゲームＢをプレイしたいユーザ４００にはゲームＢのゲーム機が設置されたゲームセンターの位置情報が、必要に応じて無線通信部１３を通じて取得されるものであってもよい。
【００８７】
このようにして調査領域６００内にある目標物４１０の位置が取得されると、次に表示装置３００の生成部３０３が、取得された目標物４１０の位置を表示するための表示画像を、カメラ１９による撮影画像に対応させて生成する。
【００８８】
図７は、カメラ１９の視野領域５００内の位置と調査領域６００内の目標物の位置とを仮想の投影面に投影する様子を示す図である。この図７は、図６と同様、カメラ１９の視野領域５００とこれを包含する調査領域６００について、ユーザ４００の真上から見たときの様子を示している。
【００８９】
表示画像を生成するため、生成部３０３は、仮想の投影面７００を、ＶＲＡＭ  １０ｃ等の記憶部に用意する。具体的には図７に示すように、生成部３０３は、ユーザ４００（カメラ１９）の位置４０１を原点（＝（０，０，０））とし、向き４０２の方向をｚ軸とする三次元座標をとり、位置４０１からｚ方向に距離ａだけ離れた位置、すなわちｚ＝ａの位置に投影面７００をとる。そして、投影面７００内には、カメラ１９による撮影画像が描画される写真領域７０１と、この写真領域７０１を包含するように、取得された目標物４１０を表すマークが描画される報告領域７０２と、が用意される。
【００９０】
ここで、写真領域７０１は、カメラ１９による撮影画像（いわゆる写真）を描画するための二次元領域である。生成部３０３は、この写真領域７０１に、カメラ１９の視野領域５００内に収められた建物や樹木等の位置を投影することで、カメラ１９による撮影画像を描画する。すなわち、生成部３０３は、原点であるカメラ１９の位置４０１から画角αの範囲で放射状に伸びる視線を投影線とし、この投影線に沿って、視野領域５００内の位置を投影面７００に投影する。具体的に座標を用いて説明すると、三次元座標が（ｘ，ｙ，ｚ）で表される視野領域５００内の任意の位置が、ｚ＝ａの投影面７００上では、ｘｙ座標が（ｘ（ａ／ｚ），ｙ（ａ／ｚ））で表される位置に投影されることになる。
【００９１】
一方、報告領域７０２は、調査領域６００内に位置する目標物４１０について、対応するマークを描画することでその位置をユーザ４００に報告するための二次元領域であり、写真領域７０１を包含するように、投影面７００内のより広い二次元領域がとられる。生成部３０３は、この報告領域７０２に、取得部３０２によって取得された目標物４１０ａ，４１０ｂの位置を、視野領域５００内の建物や樹木等を投影した際と同じ投影変換を用いて、投影する。すなわち、目標物４１０ａ，４１０ｂの位置は、原点であるカメラ１９の位置４０１から放射状に伸びる投影線に沿って、投影面７００内の報告領域７０２に投影される。
【００９２】
具体的に、三次元座標が（ｘ１，ｙ１，ｚ１）で表される位置にある目標物４１０ａは、投影線７０５ａに沿って、ｘｙ座標が（ｘ１（ａ／ｚ１），ｙ１（ａ／ｚ１））で表される投影面７００内の位置に投影される。同様に、三次元座標が（ｘ２，ｙ２，ｚ２）で表される位置にある目標物４１０ｂは、投影線７０５ｂに沿って、ｘｙ座標が（ｘ２（ａ／ｚ２），ｙ２（ａ／ｚ２））で表される投影面７００内の位置に投影される。
【００９３】
そして、生成部３０３は、投影された目標物４１０ａ，４１０ｂの位置に、目標物４１０ａ，４１０ｂを表すマーク７１０ａ，７１０ｂを描画し、写真領域７０１に描画した撮影画像とあわせることで、表示画像を生成する。
【００９４】
図８は、生成された表示画像を示す図である。この図８に示すように、表示画像８００は、投影面７００内の写真領域７０１に描画されたカメラ１９による撮影画像８１０と、投影面７００内の報告領域７０２に描画された目標物４１０ａ，４１０ｂを表すマーク７１０ａ，７１０ｂ（具体的に図８では星形のマーク）と、から構成される。表示装置３００の表示部３０４は、このような表示画像８００を、第１の表示部２０等の画面に表示する。
【００９５】
すなわち、表示画像８００には、撮影画像８１０として、カメラ１９の視野領域５００内に収められた建物、樹木、車等が、ユーザ４００の位置４０１から見たような様子で描画され、そこに目標物４１０ａ，４１０ｂを表すマーク７１０ａ，７１０ｂが重ねて描画されることで、表示画像８００を見たユーザ４００は、撮影画像８１０を基準として目標物４１０ａ，４１０ｂがどこの位置にあるのかを認識することができるようになる。
【００９６】
具体的に、図８に示すように、カメラ１９の視野領域５００内に位置する目標物４１０ａを表すマーク７１０ａは、この目標物４１０ａが入っているビル４０５ａが描画された撮影画像８１０内の位置に描画される。一方で、カメラ１９の視野領域５００の外側に位置する目標物４１０ｂを表すマーク７１０ｂは、この目標物４１０ｂが入っているビル４０５ｂが撮影画像８１０内に描画されていないため、撮影画像８１０内には描画されず、撮影画像８１０の範囲から左側に外れた位置に描画される。
【００９７】
これにより、ユーザ４００は、カメラ１９の視野領域５００内に位置する目標物４１０ａについて、撮影画像８１０を見ながら、撮影されたビル４０５ａ内にあるということを知ることができる。さらに、ユーザ４００は、カメラ１９の視野領域５００外に位置する目標物４１０ｂについても、どの建物の中に入っているまでは知ることができないが、現在の位置４０１と向き４０２を基準としてどの辺りにあるのかについては知ることができる。そのため、ユーザ４００は、より近い位置にある目標物４１０ｂの位置を見逃すことなく得ることができる。
【００９８】
すなわち、所望のゲームをプレイできるゲームセンターを探しているユーザ４００は、たまたまカメラ１９をそちらの方向に向けていなかったから等の理由によって、より近いゲームセンター（目標物４１０ｂ）の位置の情報を見逃すことなく得ることができ、わざわざ遠方にあるゲームセンター（目標物４１０ａ）にまで行く必要がなくなる。
【００９９】
図９は、本実施形態の表示装置３００に係る処理の流れを示すフローチャートである。ここまで説明してきた本実施形態において実現される処理の流れまとめて、以下に説明する。
【０１００】
表示装置３００の処理が開始されると、各種初期化処理を行った後、まず表示装置３００は、ユーザ４００から目標物４１０の位置を表示する旨の指示を受け付けたか否かを判定する（ステップＳ９０１）。すなわち、表示装置３００は、目標物４１０の位置を知りたいと思ったユーザ４００からの目標物４１０の位置を表示させるための指示が、タッチパネル２２等の入力装置を介して入力されたか否かを判定する。
【０１０１】
ユーザ４００からの指示を受け付けていない場合（ステップＳ９０１；ＮＯ）、処理はステップＳ９０１に留まり、ユーザ４００からの指示を受け付けるまで待機する。
【０１０２】
一方、ユーザ４００からの指示を受け付けると（ステップＳ９０１；ＹＥＳ）、次に検知部３０１が、カメラ１９の位置４０１および向き４０２を検知する（ステップＳ９０２）。すなわち、検知部３０１は、ＧＰＳ衛星４２０と交信を行うことでカメラ１９の現在の位置４０１を求め、また方位センサによってカメラ１９の現在の向き４０２を求める。
【０１０３】
カメラ１９の位置４０１および向き４０２が検知されると、次に、取得部３０２が、調査領域６００内にある目標物４１０の位置を取得する（ステップＳ９０３）。
【０１０４】
すなわち、取得部３０２は、検知されたカメラ１９の現在の位置４０１および向き４０２により定められる調査領域６００を求め、これらの中に位置する目標物４１０の位置を取得する。具体的には図６に示したように、調査領域６００は、カメラ１９の視野領域５００を定める四角錐５１０を包含する第２の四角錐６１０として定められる。そして、この調査領域６００内に位置する目標物４１０の位置が取得される。
【０１０５】
目標物４１０の位置が取得されると、次に、生成部３０３が、カメラ１９の視野領域５００を投影し（ステップＳ９０４）、さらに取得された目標物４１０の位置を投影面７００に投影することで（ステップＳ９０５）、表示画像８００を生成する。
【０１０６】
すなわち、生成部３０３は、図７に示したように、カメラ１９の視野領域５００内の位置を投影面７００内の写真領域７０１に投影して撮影画像８１０を描画し、これと同じ投影変換を用いて、取得された調査領域６００内の目標物４１０の位置を投影面７００内の報告領域７０２に投影する。そして、投影された位置に目標物４１０を表すマーク７１０を撮影画像８１０に重ねて描画することで、図８に示したような表示画像８００を生成する。
【０１０７】
表示画像８００が生成されると、次に、表示部３０４が、表示画像８００が画面に出力されるべき所定の同期タイミングを待って、生成された表示画像８００を画面に表示する（ステップＳ９０６）。すなわち、表示部３０４は、生成された表示画像８００を第１の表示部２０等の画面に表示することで、ユーザ４００に目標物４１０の位置の情報を提供する。
【０１０８】
その後、処理はステップＳ９０１へと戻り、再びユーザ４００から目標物４１０の位置を表示する旨の指示を受け付けるまで待機する。
【０１０９】
このような構成によって、本実施形態に係る表示装置３００は、カメラ１９による撮影画像８１０と共に、カメラ１９の視野領域５００を投影したものと同じ投影変換を用いて、カメラ１９の視野領域５００を包含する調査領域６００内の目標物４１０の位置を表示画像８００内に表示する。その結果、カメラ１９の視野内にある目標物４１０については、その位置がカメラ１９の撮影画像８１０に重ねられて表示されるため、撮影された建物等に対応させて目標物４１０の位置をユーザ４００に提供でき、さらにカメラ１９の視野から外れた目標物４１０についても、カメラの撮影画像８１０を基準としてどの位置にあるのかをユーザ４００に認識させることができる。
【０１１０】
（実施形態２）
次に、本発明の実施形態２について説明する。上記実施形態１での表示装置３００は、目標物４１０の位置が取得される調査領域６００を、カメラ１９の視野領域５００を定める第１の四角錐５１０を包含する第２の四角錐６１０により定めた。それに対して本実施形態での表示装置３００は、調査領域を、カメラ１９の視野領域５００を定める四角錐５１０と共通な軸を有する放物面により定める。以下、説明する。
【０１１１】
図１０は、本実施形態において、放物面により定められる調査領域を示す図である。この図１０は、実施形態１における図６と同様に、現実世界の市街地にいるユーザ４００が、通りの真ん中の位置４０１から、通りの奥の向き４０２へ、表示装置３００のカメラ１９を向けている様子を示している。そして、図６と同様に、カメラ１９の視野領域５００は、カメラ１９の位置４０１を頂点とし、向き４０２へ伸びる直線を軸とする四角錐５１０により定められる。
【０１１２】
一方、本実施形態における取得部３０２が目標物４１０の位置を取得するべき調査領域１０００は、図６のような第２の四角錐６１０ではなく、図１０の斜線で示した部分のように、二次曲面である放物面１０１０により定められる。具体的にこの放物面１０１０は、視野領域５００を定める四角錐５１０と同じくカメラ１９の位置４０１を頂点とし、視野領域５００を定める四角錐５１０と共通の軸、すなわちカメラ１９の向き４０２へ伸びる直線をその回転軸とする回転放物面となる。
【０１１３】
取得部３０２は、検知部３０１によってカメラ１９の位置４０１および向き４０２が検知されると、このような放物面１０１０により定められる調査領域１０００が占める三次元空間を求め、それぞれの目標物４１０の位置が、この調査領域１０００内に収まっているか否かを判断し、収まっていると判断した目標物４１０の位置を取得する。
【０１１４】
具体的に図１０では、ユーザ４００の左横にある目標物４１０ｂは、カメラ１９の視野領域５００からは外れているが、放物面１０１０により定められる調査領域１０００内には収まっているため、視野領域５００内の目標物４１０ａと共に、取得部３０２によってその位置が取得されることになる。
【０１１５】
調査領域１０００に放物面１０１０を用いることで、第２の四角錐６１０を用いたときに比べ、調査領域１０００は、特にカメラ１９の位置４０１の近傍においてより十分に、視野領域５００よりも広い領域を占めることになる。その結果、本実施形態における表示装置３００は、目標物４１０ｂのように、ユーザ４００の近くにあるにもかかわらずカメラ１９の視野領域５００から外れてしまった目標物４１０について、その位置が取得され逃されてしまうということを、より効果的に防ぐことができるようになる。
【０１１６】
このようにして放物面１０１０により定められる調査領域１０００内にある目標物４１０の位置が取得されると、次に表示装置３００の生成部３０３が、取得された目標物４１０の位置を表示するための表示画像を、カメラ１９による撮影画像に対応させて生成する。
【０１１７】
図１１は、調査領域１０００内の目標物の位置を仮想の投影面７００に投影する様子を示す図である。この図１１は、図１０と同様、視野領域５００と調査領域１０００について、ユーザ４００の真上から見たときの様子を示している。
【０１１８】
表示画像を生成するため、生成部３０３は、実施形態１における図７と同様に、ユーザ４００（カメラ１９）の位置４０１を原点（＝（０，０，０））とし、向き４０２の方向をｚ軸とする三次元座標をとり、位置４０１からｚ方向に距離ａだけ離れた位置、すなわちｚ＝ａの位置に仮想の投影面７００をとる。そして、投影面７００内に、カメラ１９による撮影画像が描画される写真領域７０１と、この写真領域７０１を包含するように、取得された目標物４１０を表すマークが描画される報告領域７０２と、を用意する。
【０１１９】
ここで、投影面７００内の写真領域７０１には、実施形態１と同様に、視野領域５００内に収められた建物や樹木等の位置がカメラ１９の視線に沿って投影されることで、カメラ１９による撮影画像が描画される。一方で、投影面７００内の報告領域７０２には、調査領域１０００内に位置する目標物４１０について、その位置が投影され、投影された位置に目標物４１０を表すマークが描画されるが、このとき、実施形態１ではカメラ１９による撮影画像の描画と同じ投影変換が用いられたのに対し、本実施形態では、放物線を投影線とする投影変換が用いられる。
【０１２０】
具体的には図１１に示すように、原点であるカメラ１９の位置４０１を頂点とし、カメラ１９の向き４０２へ伸びる直線を軸とする放物線を投影線とする。そして、調査領域１０００内の任意の位置が、この投影線に沿って、ｚ＝ａの位置にある投影面７００に投影される。具体的に座標を用いて説明すると、三次元座標が（ｘ，ｙ，ｚ）で表される調査領域１０００内の任意の位置が、ｚ＝ａの投影面７００上では、ｘｙ座標が（ｘ√（ａ／ｚ），ｙ√（ａ／ｚ））で表される位置に投影されることになる。
【０１２１】
すなわち、三次元座標が（ｘ１，ｙ１，ｚ１）で表される位置にある目標物４１０ａは、投影線１１０５ａに沿って、ｘｙ座標が（ｘ１√（ａ／ｚ１），ｙ１√（ａ／ｚ１））で表される投影面７００内の位置に投影される。同様に、三次元座標が（ｘ２，ｙ２，ｚ２）で表される位置にある目標物４１０ｂは、投影線１１０５ｂに沿って、ｘｙ座標が（ｘ２√（ａ／ｚ２），ｙ２√（ａ／ｚ２））で表される投影面７００内の位置に投影される。
【０１２２】
そして、生成部３０３は、投影された目標物４１０ａ，４１０ｂの位置に、目標物４１０ａ，４１０ｂを表すマーク７１０ａ，７１０ｂを描画し、写真領域７０１に描画した撮影画像とあわせることで、表示画像を生成する。生成された表示画像は、表示部３０４によって表示装置３００の画面に表示される。これにより、ユーザ４００は、カメラ１９による撮影画像を基準として、目標物４１０ａ，４１０ｂがどのあたりの位置にあるのかを認識することができる。
【０１２３】
なお、このように放物線を投影線とする投影変換により目標物４１０の位置が投影面７００に投影されることにより、投影された目標物４１０の位置は、カメラ１９の視線を投影線として投影された撮影画像の描画位置に対し、ずれが生じるものとなる。すなわち、例えばカメラ１９の視野領域５００内にある目標物４１０ａは、実際にはビル４０５ａ内にあるにもかかわらず、描画された撮影画像内のビル４０５ａの位置からずれた位置に投影されることになる。しかし、撮影画像の中心付近では、投影線として用いられた放物線は直線形状に近くなるため、投影された目標物４１０の位置と撮影画像の描画位置とのずれは小さくなるし、そもそも検知部３０１によって検知されるカメラ１９の位置４０１や向き４０２、さらには取得部３０２によって取得される目標物４１０の位置にも一定の誤差が含まれうる。そのため、本実施形態の表示装置３００は、投影された目標物４１０の位置と撮影画像の描画位置とのずれをユーザ４００にそれほど感じさせることなく、目標物４１０の位置を提供できる。
【０１２４】
このような構成によって、本実施形態に係る表示装置３００は、目標物４１０の位置を取得する調査領域１０００として、放物面１０１０により定められる領域をとる。そして、取得した目標物４１０の位置を、放物線を投影線とする投影変換を用いて投影面７００に投影し、カメラ１９による撮影画像と共に表示画像として画面に表示する。その結果、特にカメラ１９の位置４０１の近傍において、目標物４１０の位置を取得する調査領域１０００を広くとることができ、ユーザ４００の近くにある目標物４１０の位置を取得し逃すことを効果的に防ぎつつ、その位置の情報をユーザ４００に提供することができる。
【０１２５】
（実施形態３）
次に、本発明の実施形態３について説明する。上記実施形態２での表示装置３００は、目標物４１０の位置が取得される調査領域１０００を、ユーザ４００（カメラ１９）の位置４０１を頂点とする放物面１０１０により定めた。それに対して本実施形態での表示装置３００は、調査領域を、ユーザ４００の後方の位置を頂点とし、ユーザ４００を包含するような放物面により定める。以下、説明する。
【０１２６】
図１２は、ユーザ４００を包含する放物面により定められる調査領域を示す図である。この図１２は、実施形態２における図１０と同様に、現実世界の市街地にいるユーザ４００が、通りの真ん中の位置４０１から、通りの奥の向き４０２へ、表示装置３００のカメラ１９を向けている様子を示している。このときのカメラ１９の視野領域５００は、図１０と同様に、カメラ１９の位置４０１を頂点とし、向き４０２へ伸びる直線を軸とする四角錐５１０により定められる。
【０１２７】
一方、本実施形態における取得部３０２が目標物４１０の位置を取得するべき調査領域１２００は、図１２の斜線で示した部分のように、ユーザ４００を包含するような放物面１２１０により定められる。具体的にこの放物面１２１０は、ユーザ４００（カメラ１９）の位置から距離ｂだけ後方の位置を頂点とし、視野領域５００を定める四角錐５１０と共通の軸、すなわちカメラ１９の向き４０２へ伸びる直線をその回転軸とする回転放物面となる。
【０１２８】
このようにカメラ１９の向き４０２に対し後方の領域にまで調査領域１２００をとることで、カメラ１９の前方だけでなく、後方に位置する目標物４１０の位置が取得されることになる。具体的に図１２において、ビル４０５ｃ内にある目標物４１０ｃは、ユーザ４００の右側後方にあり、カメラ１９の視野領域５００からは外れているが、放物面１２１０により定められる調査領域１２００内には収まっているため、他の目標物４１０ａ，４１０ｂと共に、取得部３０２によってその位置が取得されることになる。
【０１２９】
取得された目標物４１０ａ，４１０ｂ，４１０ｃの位置は、実施形態２と同様に、放物線の投影線に沿って仮想の投影面に投影される。投影される位置について具体的に座標を用いて説明すると、実施形態２における図１１と同様に、ユーザ４００（カメラ１９）の位置４０１を原点（＝（０，０，０））とし、向き４０２の方向をｚ軸とする三次元座標をとり、位置４０１からｚ方向に距離ａだけ離れた位置に仮想の投影面をとった場合、三次元座標が（ｘ，ｙ，ｚ）で表される調査領域１２００内の任意の位置が、投影面上では、ｘｙ座標が（ｘ√（ａ＋ｂ）／√（ｚ＋ｂ），ｙ√（ａ＋ｂ）／√（ｚ＋ｂ））で表される位置に投影されることになる。
【０１３０】
そして、投影面に投影された目標物４１０ａ，４１０ｂ，４１０ｃの位置に、目標物４１０ａ，４１０ｂ，４１０ｃを表すマークが描画され、カメラ１９による撮影画像と共に表示画像として画面に表示される。これにより、ユーザ４００は、カメラ１９による撮影画像を基準として、目標物４１０ａ，４１０ｂ，４１０ｃがどのあたりの位置にあるのかについての情報を得ることができる。
【０１３１】
このような構成によって、本実施形態に係る表示装置３００は、目標物４１０の位置を取得する調査領域１２００として、ユーザ４００を包含するような放物面１２１０により定める。その結果、特にカメラ１９の位置４０１の近傍において、ユーザ４００の後方にまで目標物４１０の位置を取得する調査領域１２００をとることができ、ユーザ４００の後方にある目標物４１０についても、その位置の情報をユーザ４００に提供することができる。
【０１３２】
（他の実施形態）
以上、本発明の実施の形態について説明したが、本発明は、上述した実施形態に限定されず、種々の変形および応用が可能である。また、上述した実施形態の各構成要素を自由に組み合わせることも可能である。
【０１３３】
例えば、上記実施形態では、取得部３０２に取得される目標物４１０は、ユーザがプレイしたいと考えるゲーム機が備えられたゲームセンターであるとして説明したが、これに限らず、ユーザがその位置を知りたいと考える建物、施設、設備等であれば、例えばコンビニエンスストア、自動販売機、バス停、等のようなものでもよい。
【０１３４】
また、上記実施形態では、表示装置３００の検知部３０１は、カメラ１９の位置４０１として、緯度・経度・高度の情報を取得し、カメラ１９の向き４０２として、東西南北を基準とした方位角情報および水平面を基準とした仰角の情報を取得した。しかしこれに限らず、緯度・経度以外の座標系によってカメラ１９の位置４０１を取得してもよいし、東西南北を基準とした方位角以外の情報によってカメラ１９の向き４０２を取得してもよい。
【０１３５】
また、検知部３０１は、カメラ１９の位置４０１や向き４０２として、鉛直方向の情報、すなわち高度や仰角を取得せず、水平方向の情報、すなわち緯度・経度や方位角のみを検知するようにしてもよい。検知する情報から鉛直方向の情報を省略することで、表示画像に表示される目標物４１０の位置の鉛直方向の精度、すなわち目標物４１０がどれくらいの高さの位置にあるのかの情報が低下することになるが、ユーザ４００が目標物４１０の位置を知るためには、水平方向の位置情報を認識できればよい場合も多い。そのため、検知する情報から鉛直方向の情報を省略することで、より簡略化された表示装置３００の構成によって、カメラの外側にある目標物４１０の位置をユーザ４００に提供することが可能になる。
【０１３６】
また、上記実施形態２，３では、目標物４１０の位置が取得される調査領域１０００，１２００は、カメラ１９の視野領域５００を定める四角錐５１０と共通の軸を回転軸として有する回転放物面１０１０，１２１０により定められた。しかし回転放物面に限らず、調査領域は、その他の二次曲面により定められてもよい。例えば、放物面に限らず、球面、楕円面、双曲面、円錐面により定められてもよいし、放物面であっても、回転放物面のような回転対称なものに限らず、放物線を鉛直方向に柱状に伸ばした放物線柱面のような立体形状により定められてもよい。本発明の表示装置３００は、このような種々の二次曲面を、目標物４１０の位置を取得したい領域に応じて、柔軟に設計することができる。
【産業上の利用可能性】
【０１３７】
以上説明したように、本発明によれば、カメラの視野の外側にある目標物の位置を、効果的に画面に表示するのに好適な表示装置、表示方法、ならびに、プログラムを提供することができる。
【符号の説明】
【０１３８】
１  情報処理装置
１０  処理制御部
１０ａ  ＣＰＵコア
１０ｂ  画像処理部
１０ｃ  ＶＲＡＭ
１０ｄ  ＷＲＡＭ
１０ｅ  ＬＣＤコントローラ
１０ｆ  タッチパネルコントローラ
１１  コネクタ
１２  カートリッジ
１２ａ  ＲＯＭ
１２ｂ  ＲＡＭ
１３  無線通信部
１４  通信コントローラ
１５  サウンドアンプ
１６  スピーカ
１７  操作キー
１８  ＧＰＳ処理部
１９  カメラ
２０  第１の表示部
２１  第２の表示部
２２  タッチパネル
３００  表示装置
３０１  検知部
３０２  取得部
３０３  生成部
３０４  表示部
４００  ユーザ
４０１  （カメラの）位置
４０２  （カメラの）向き
４０５ａ，４０５ｂ，４０５ｃ  ビル
４１０ａ，４１０ｂ，４１０ｃ  目標物
４２０  ＧＰＳ衛星
５００  視野領域
５１０  四角錐
６００，１０００，１２００  調査領域
６１０  第２の四角錐
７００  投影面
７０１  写真領域
７０２  報告領域
７０５ａ，７０５ｂ，１１０５ａ，１１０５ｂ  投影線
７１０ａ，７１０ｂ  マーク
８００  表示画像
８１０  撮影画像
１０１０，１２１０  放物面
【要約】
【課題】カメラの視野の外側にある目標物の位置を、効果的に画面に表示するのに好適な表示装置等を提供する。
【解決手段】表示装置３００において、検知部３０１は、カメラの位置および向きを検知する。取得部３０２は、検知されたカメラの位置および向きにより定められる調査領域内にある目標物の位置を取得する。生成部３０３は、カメラの位置および向きにより定められる視野領域をカメラが撮影することにより得られる撮影画像を投影面内の写真領域に描画し、取得された目標物の位置が、所定の投影変換により投影面内の報告領域内に投影される位置に当該目標物を表すマークを描画することにより、表示画像を生成する。表示部３０４は、生成された表示画像を画面に表示する。
【選択図】図３【図１】
0005189673.tif 000002
【図２】
0005189673.tif 000003
【図３】
0005189673.tif 000004
【図４】
0005189673.tif 000005
【図５】
0005189673.tif 000006
【図６】
0005189673.tif 000007
【図７】
0005189673.tif 000008
【図８】
0005189673.tif 000009
【図９】
0005189673.tif 000010
【図１０】
0005189673.tif 000011
【図１１】
0005189673.tif 000012
【図１２】
0005189673.tif 000013