(57)【要約】【課題】現在の位置から見えない監視対象物の画像に、監視対象物に対応する付加情報を付加して表示する。【解決手段】サーバ装置１４は、ユーザが携帯する画像表示装置の位置および方向に対応する監視対象物の監視対象画像を、重畳画像データベース１５に記憶されている簡易的な監視対象画像の３次元モデルから生成する。また、サーバ装置１４は、画像表示装置の位置および方向に対応する、監視対象物の視認の障害となる障害物の白塗り画像を生成する。そして、サーバ装置１４は、画像表示装置の位置および方向に対応するように、障害物の白塗り画像上に監視対象画像を視認可能となるように重畳すると共に、監視対象物に対応する付加情報を重畳して重畳画像を生成し、この重畳画像を画像表示装置に送信して表示させる。【選択図】図６
2015011539.tif 000002
【特許請求の範囲】
【請求項１】
画像表示装置の位置および方向に対応する監視対象物の監視対象画像を生成する対象画像生成手段と、
前記画像表示装置の位置および方向に対応する、前記監視対象物の視認の障害となる障害物の障害物画像を生成する障害物画像生成手段と、
前記画像表示装置の位置および方向に対応するように、前記障害物画像上に前記監視対象画像を視認可能となるように重畳すると共に、前記監視対象物に対応する付加情報を重畳して重畳画像を生成する重畳画像生成手段と、
前記重畳画像を前記画像表示装置に送信する送信手段と
を有する情報処理装置。
【請求項２】
前記対象画像生成手段は、複数の監視対象物のうち、前記画像表示装置を介して指定された監視対象物の前記監視対象画像を生成し、
前記重畳画像生成手段は、前記画像表示装置を介して指定された監視対象物に対応する付加情報を重畳した前記重畳画像を生成すること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記監視対象画像を表示する大きさを調整するための拡大縮小調整手段と、
前記障害物画像の縮尺を調整する縮尺調整手段と、をさらに備えたこと
を特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記重畳画像生成手段は、前記画像表示装置側で撮像された実風景画像内の前記障害物に、前記監視対象画像の表示に適した大きさの表示領域を生成し、前記表示領域に前記監視対象画像を重畳すること
を特徴とする請求項１から請求項３のうち、いずれか一項に記載の情報処理装置。
【請求項５】
前記重畳画像生成手段は、前記画像表示装置の位置から前記画像表示装置および前記監視対象物の相対距離が所定以下の距離となったことを検出した際に、前記重畳画像の生成を停止して前記付加情報のみを生成し、
前記送信手段は、前記付加情報のみを前記画像表示装置に送信すること
を特徴とする請求項１から請求項４のうち、いずれか一項に記載の情報処理装置。
【請求項６】
前記重畳画像生成手段は、前記画像表示装置および前記監視対象物の相対距離に応じた頻度で前記重畳画像を生成すること
を特徴とする請求項１から請求項５のうち、いずれか一項に記載の情報処理装置。
【請求項７】
位置および方向を示す情報を送信すると共に、受信した重畳画像を表示する画像表示装置と、
監視対象物の監視対象画像が記憶された画像記憶手段と、
前記画像記憶手段から読み出した前記監視対象画像を用いて、前記画像表示装置から受信した位置および方向を示す情報に対応する前記監視対象物の監視対象画像を生成する対象画像生成手段と、前記画像表示装置の位置および方向に対応する、前記監視対象物の視認の障害となる障害物の障害物画像を生成する障害物画像生成手段と、前記画像表示装置の位置および方向に対応するように、前記障害物画像上に前記監視対象画像を視認可能となるように重畳すると共に、前記監視対象物に対応する付加情報を重畳して前記重畳画像を生成する重畳画像生成手段と、前記重畳画像を前記画像表示装置に送信する送信手段とを備えたサーバ装置と
を有する情報処理システム。
【請求項８】
前記画像表示装置は、実風景画像を撮像する実風景撮像手段を、さらに備え、前記監視対象物との間の相対距離が、一定の距離以下となった際に、それまで表示していた重畳画像を前記実風景画像に切り替えて表示すること
と特徴とする請求項７に記載の情報処理システム。
【請求項９】
コンピュータを、
画像表示装置の位置および方向に対応する監視対象物の監視対象画像を生成する対象画像生成手段と、
前記画像表示装置の位置および方向に対応する、前記監視対象物の視認の障害となる障害物の障害物画像を生成する障害物画像生成手段と、
前記画像表示装置の位置および方向に対応するように、前記障害物画像上に前記監視対象画像を視認可能となるように重畳すると共に、前記監視対象物に対応する付加情報を重畳して重畳画像を生成する重畳画像生成手段と、
前記重畳画像を前記画像表示装置に送信するように送信手段を制御する送信制御手段として機能させること
を特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、および情報処理プログラムに関する。
【背景技術】
【０００２】
今日において、現実の環境から知覚に与えられる情報に、コンピュータ装置等で生成した情報を重ね合わせ、補足的な情報を与える拡張現実感（ＡＲ：Augmented  Reality）と呼ばれる技術が知られている。この拡張現実感に関しては、例えば特許文献１（特開２００７−２２８３１５号公報）に、建屋内における構造物の建設工事及び点検支援装置として、静止物の位置と画像の合成に関する基本的な技術が開示されている。
【０００３】
拡張現実感を提供する場合、例えばヘッドマウントディスプレイ（ＨＭＤ：Head  Mounted  Display）等が用いられる。この場合、動画撮像装置で撮像した現実空間の画像に、動画撮像装置の位置及び姿勢に応じて生成した仮想空間の画像を重畳してＨＭＤに表示する。仮想空間の画像は、例えばコンピュータグラフィックスにより描画された仮想物体または文字情報等である。
【０００４】
このような情報処理装置は、患者の体表面に体内の様子を重畳表示する手術支援に応用されている。また、情報処理装置は、市街地を撮像することで得られる現実空間の画像中に含まれる著名な建造物等の名称または案内を、仮想空間画像として重畳表示するナビゲーションシステムに応用されている。また、情報処理装置は、特許文献２（特開２００４−１４５６５７号公報）に開示されているように、当時の建築物等の仮想空間を現実空間に重ね合わせて表示するバーチャル博物館システムにも応用されている。
【０００５】
また、情報処理装置は、特許文献３（特開２００９−２８９０３５号公報）に開示されている、現実空間の中で移動する物体を認識し、この移動する物体に虚像を重ねてリアルタイムに表示する画像表示システムに応用されている。この画像表示システムは、例えば見学した遺跡に現存している礎石に対して、当時の建造物を画像合成する。また、画像表示システムは、周囲の観光客の画像に対して、当時の衣装を画像合成する。これにより、当時の建築物および当時の人々が行き交う様子等を仮想的に再現可能となっている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、このように特許文献１〜特許文献３等に応用されている従来の情報処理装置は、ユーザが現実に見えている監視対象物（視界に入っているもの）に対して虚像（付加情報）を重畳する技術である。このため、天井、壁、または他の建築物等の障害物、さらには距離等の影響で、現在の位置から見えない監視対象物に対しては、付加情報の重畳が困難となる問題があった。
【０００７】
本発明は、上述の課題に鑑みてなされたものであり、現在の位置から見えない監視対象物に対する付加情報を表示する情報処理装置、情報処理システム、および情報処理プログラムの提供を目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、画像表示装置の位置および方向に対応する監視対象物の監視対象画像を生成する対象画像生成手段と、画像表示装置の位置および方向に対応する、監視対象物の視認の障害となる障害物の障害物画像を生成する障害物画像生成手段と、画像表示装置の位置および方向に対応するように、障害物画像上に監視対象画像を視認可能となるように重畳すると共に、監視対象物に対応する付加情報を重畳して重畳画像を生成する重畳画像生成手段と、重畳画像を画像表示装置に送信する送信手段とを有する。
【発明の効果】
【０００９】
本発明によれば、現在の位置から見えない監視対象物に対する付加情報を表示することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、ユーザが希望する店舗である監視対象物、および監視対象物の前面に存在する他の店舗等の障害物を、斜め上から見ている様子を示す図である。
【図２】図２は、障害物の角部を正面とする視点から、ユーザが障害物を見ている様子を示す図である。
【図３】図３は、第１の実施の形態の情報処理システムの重畳画像の表示例を示す図である。
【図４】図４は、第１の実施の形態の情報処理システムのシステム構成図である。
【図５】図５は、実施の形態の情報処理システムの各部の処理を説明するためのタイムチャートである。
【図６】図６は、第１の実施の形態の情報処理システムの各部の処理を説明するための模式図である。
【図７】図７は、第１の実施の形態の情報処理システムに設けられている画像表示装置の動作を示すフローチャートである。
【図８】図８は、第１の実施の形態の情報処理システムに設けられているサーバ装置の動作を示すフローチャートである。
【図９】図９は、第１の実施の形態の情報処理システムに設けられている監視装置の動作を示すフローチャートである。
【図１０】図１０は、第２の実施の形態の情報処理システムのシステム構成図である。
【図１１】図１１は、第２の実施の形態の情報処理システムの重畳画像の表示例を示す図である。
【図１２】図１２は、第２の実施の形態の情報処理システムに設けられている画像表示装置の動作を示すフローチャートである。
【図１３】図１３は、第２の実施の形態の情報処理システムに設けられているサーバ装置の動作を示すフローチャートである。
【図１４】図１４は、第２の実施の形態の情報処理システムに設けられている監視対象選択部の動作を示すフローチャートである。
【図１５】図１５は、第２の実施の形態の情報処理システムに設けられている監視装置の動作を示すフローチャートである。
【図１６】図１６は、第３の実施の形態の情報処理システムのシステム構成図である。
【図１７】図１７は、監視対象物に対する相対距離と相対角度の関係を説明するための図である。
【図１８】図１８は、第３の実施の形態の情報処理システムに設けられている画像表示装置の動作を示すフローチャートである。
【図１９】図１９は、第３の実施の形態の情報処理システムに設けられているサーバ装置の動作を示すフローチャートである。
【図２０】図２０は、第３の実施の形態の情報処理システムに設けられている監視装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、情報処理装置、情報処理システム、および情報処理プログラムの実施の形態を詳細に説明する。
【００１２】
（第１の実施の形態）
第１の実施の形態の情報処理システムは、現実空間には存在するが、障害物等の影響で現在の位置から見えない監視対象物１の画像に対して付加情報を付加して表示する。具体的には、例えばユーザが、複数の店舗が混在するデパートメントストアの建物の１階に居る状態において、気になる店舗は複数あるが、床、壁、および他の店舗が障害物となり、また、距離が遠いことにより、どの店舗も現在の位置からは視認できないとする。この場合、ユーザは、店舗を視認できない位置に居ることから、店舗の混雑度および商品の在庫等の店舗の現状を把握することは困難となる。
【００１３】
このような状況において、第１の実施の形態の情報処理システムは、現在位置と希望する店舗との間に存在する障害物を仮想的に取り除くことで見える状態とした希望する店舗の画像を、携帯型のウェアラブルな表示装置に表示する。また、情報処理システムは、例えば現時点からの距離および方角を示す情報、店舗の現在の状況を示す情報、推薦品を示す情報等の付加情報を、店舗の画像に重畳して表示する。
【００１４】
すなわち、第１の実施の形態の情報処理システムは、サーバ装置、携帯型のウェアラブルな表示装置および判定装置を、ネットワークを介して相互に接続する。判定装置は、ユーザの現在位置から視認困難な監視対象物１を監視し、リアルタイムで監視対象物１の位置および混雑度等を判定して付加情報として提供する。また、サーバ装置は、監視対象物１との間の障害物を仮想的に取り除き、データベースに登録された監視対象物１のモデルに付加情報を重畳して、携帯型のウェアラブルな表示装置に送信する。
【００１５】
この第１の実施の形態の情報処理システムの場合、ある程度の方向がわかる精度で監視対象物１の画像および付加情報を表示すればよい。このため、一般的な拡張現実感（ＡＲ：Augmented  Reality）の技術で求められる表示精度は、それほど必要ない。このため、ＡＲマーカまたは建物の特徴点を検出するために必要な、ユーザが現在見ている光景を撮像する撮像部も不要とすることができる。
【００１６】
以下、第１の実施の形態の情報処理システムについて詳細に説明する。図１は、例えばユーザが希望する店舗である監視対象物１、および監視対象物１の前面に存在する他の店舗等の障害物２を、斜め上の視点Ａから見ている様子を示している。また、図２は、障害物２の角部を正面とする視点Ｂから、ユーザが障害物２を見ている様子を示している。図１からわかるように、この場合、監視対象物１および障害物２は、略々同じ高さとなっている。また、障害物２に隠れて、円柱状の監視対象物１が存在している。また、この例において、ユーザが希望する店舗である監視対象物１は、付加情報の付加対象となっている。
【００１７】
図２の視点Ｂの場合、ユーザと監視対象物１との間に、同じ高さの障害物２が存在し、ユーザから監視対象物１が見えない状況となる。監視対象物１が見えない状況としては、例えばショッピングセンターで、この場合の監視対象物１となる、希望する店舗が他の店舗および壁等の障害物を挟んだ先に存在する場合がある。また、この場合の監視対象物１となる、希望する店舗が、床という障害物を挟んで、現在位置に対応する階とは異なる階に存在する場合がある。さらに、自分の目線より高い石垣に囲まれた狭い路地を自転車で走行しており、数メートル先に十字路があるが、進行方向に対して垂直な方向を走る車や歩行者（＝この場合の監視対象物１）が、石垣等の障害物で見えない場合がある。
【００１８】
このような場合に、実施の形態の情報処理システムは、例えば図３に示すように監視対象物１との間の障害物２を透視し、または、取り除き、障害物２の先の監視対象物１を表示する。また、情報処理システムは、監視対象物１に対応する文字および画像等の付加情報を監視対象物１に重畳させて表示する。これにより、ユーザの現在位置から視認困難な位置に存在する監視対象物１を視認可能とすると共に、監視対象物１の現状（付加情報）を把握可能とすることができる。このように、実施の形態の情報処理システムは、現在位置からは、視認困難な監視対象物１に対する情報の表示を可能とする。
【００１９】
図４に、第１の実施の形態の情報処理システムのシステム構成図を示す。図４に示すように、情報処理システムは、画像表示装置１１および情報提供装置１２を、例えば無線通信回線等のネットワーク（ＮＷ）１３を介して相互に接続することで構成されている。
【００２０】
情報提供装置１２は、サーバ装置１４、重畳画像データベース１５、および監視装置１６を有している。サーバ装置１４は、重畳画像抽出部１７、表示用画像送信部１８、重畳画像調整部１９、画像合成部２０および付加情報受信部２１を有している。重畳画像抽出部１７は、対象画像生成手段の一例である。重畳画像調整部１９は、障害物画像生成手段および重畳画像生成手段の一例である。表示用画像送信部１８は、送信手段の一例である。重畳画像データベース１５は、簡易３Ｄ（Three  Dimensions）モデルデータ蓄積部２２を有している。監視装置１６は、ＣＰＵ、ハードディスクドライブ、ＲＯＭ、ＲＡＭ等の記憶部を備える他、付加情報記憶部２４、監視位置保持部２５、付加情報送信部２６、付加情報生成部２７、対象物監視部２８、相対位置計算部２９、および測位データ受信部３０を有している。
【００２１】
画像表示装置１１は、付加情報を付加した画像を表示する。画像表示装置１１は、位置・方向取得部３１、測位データ送信部３２、表示用画像受信部３３、および画像出力部３４等を有している。
【００２２】
なお、画像表示装置１１、サーバ装置１４、重畳画像データベース１５、および監視装置１６の各部は、後述する情報処理プログラム等によりソフトウェア的に実現してもよいし、全部または一部をハードウェアで実現してもよい。
【００２３】
画像表示装置１１は、ユーザが携帯可能な大きさで、できればＨＭＤ（Head  Mounted  Display)や網膜操作ディスプレイ等のウェアラブルであることが望ましい。また、いわゆるタブレット端末装置、携帯ゲーム機等のように、表示部および通信機能を備える携帯型の端末装置でもよい。
【００２４】
位置・方向取得部３１は、例えばＧＰＳセンサ、および６軸のジャイロセンサを有しており、画像表示装置１１の現在の位置と方向（＝ユーザの現在位置と視線方向）を示す測位データを生成する。ＧＰＳは、「Global  Positioning  System」の略記である。測位データ送信部３２は、位置・方向取得部３１によって取得された測位データを、ネットワーク１３を介して監視装置１６にリアルタイムに送信する。表示用画像受信部３３は、サーバ装置１４によって生成された付加情報を含んだ重畳画像を受信する。
【００２５】
画像出力部３４は、表示用画像受信部３３で受信した重畳画像をリアルタイムに表示する、例えば液晶ディスプレイ装置のような表示装置となっている。画像の表示は、基本的に置換合成でも透過合成でもよい。ただし、透過合成の場合は透過率０％で出力することを前提とする。置換合成は、実際の画像の一部を除去し、同じ位置に合成後の画像で置き換える合成方法である。透過合成は、実際の画像の一部をそのまま残し、合成後の画像を重ね合わせる合成方法である。透過合成の場合は、実際の画像の一部が、一定の比率（以下、「透過率」）で透けて見える表示法である。ここでいう、透過率が０％とは、「置換合成」と同義である。なお光学的手段を利用した画像表示装置では透過合成が前提となる。
【００２６】
監視装置１６の測位データ受信部３０は、画像表示装置１１から送信される測位データを受信する。対象物監視部２８は、ユーザの現在位置から視認は困難であるが、付加情報を表示したい監視対象物１を撮像しデジタルデータ化する。対象物監視部２８としては、防犯用等に多数設置されている監視カメラ装置等を用いることができる。
【００２７】
監視位置保持部２５は、監視対象物１に対する対象物監視部２８の相対位置、角度、絶対位置情報を保持する。なお、一例ではあるが、相対位置、角度、絶対位置の各情報は、それぞれ固定値となっている。相対位置計算部２９は、画像表示装置１１から送信される測位データと、監視位置保持部２５が保持している相対位置、角度、絶対位置の各情報より、監視対象物１からの相対位置と、画像表示装置１１が監視対象物１の方向を向いているかを計算する。
【００２８】
付加情報生成部２７は、リアルタイムの撮像情報や測位データ、予め設定したその他、推薦情報等を元にリアルタイムの混雑度や監視対象物１の方向や距離、監視対象物１の推薦情報の付加情報等を画像として生成する。付加情報記憶部２４は、付加情報画像生成のために使用した付加情報を記憶する。付加情報送信部２６は、生成された付加情報と計算された相対位置情報をサーバ装置１４に送信する。
【００２９】
重畳画像データベース１５の簡易３Ｄモデルデータ蓄積部２２は、付加情報を提供したい監視対象物１の３Ｄモデルやその他文字、画像情報等を蓄積している。監視対象物１の３Ｄモデル等は、いつでも取り出し、編集可能となっている。
【００３０】
サーバ装置１４の重畳画像抽出部１７は、重畳画像データベース１５から監視対象物１の３Ｄモデルを取得する。付加情報受信部２１は、監視装置１６から送信された付加情報および相対位置情報を受信して蓄積する。重畳画像調整部１９は、監視装置１６から受信した相対位置情報を元に、蓄積画像データベース１５から抽出した３Ｄモデル（重畳画像）の角度をユーザからの視点に調整し、２次元画像に変換する。
【００３１】
画像合成部２０は、デフォルトとして持っている監視対象物１との間の障害物２を仮想的に消去するための白塗り画像と、重畳画像調整部１９にて調整された重畳画像と、監視装置１６で生成された付加情報とを合成する。表示用画像送信部１８は、画像表示装置１１の測位データから画像表示装置１１が監視対象物１の方向を向いているかという情報と、画像合成部２０にて生成された重畳画像を送信する機能を持つ。第１の実施の形態の情報処理システムは、このような構成により、障害物２の影響で見えない監視対象物１の情報をユーザに提供する。
【００３２】
図５に、実施の形態の情報処理システムの各部の処理を説明するためのタイムチャートを示す。また、図６に、実施の形態の情報処理システムの各部の処理を説明するための模式図を示す。まず、図５のタイムチャートのステップＳ１では、画像表示装置１１の位置・方向取得部３１が、画像表示装置１１の現在の位置や方向等をリアルタイムで計測して測位データを生成する。そして、図５および図６のステップＳ２において、測位データ送信部３２が、監視装置１６に測位データを送信する。
【００３３】
監視装置１６の測位データ受信部３０は、ステップＳ３で測位データを受信する。監視装置１６は、ステップＳ４において、対象物監視部２８で撮像された監視対象物１の撮像画像の現在の状況を解析する。また、監視装置１６は、ステップＳ５において、相対位置計算部２９が、受信した測位データから、画像表示装置１１と監視対象物１との相対位置を計算する。また、監視装置１６は、ステップＳ６において、対象物監視部２８で撮像された監視対象物１のリアルタイムの状況および推薦情報等の付加情報の画像を生成する。付加情報としては、一例として、図６に示すように画像表示装置１１から監視対象物１までの距離（残り○ｍ）、監視対象物１の現在の状況を示す情報（混雑度□％）、および監視対象物１の推薦情報（タイムセール中）が生成される。そして、図５および図６のステップＳ７において、このような付加情報が、相対位置計算部２９で計算された相対位置情報と共にサーバ装置１４に送信される。
【００３４】
サーバ装置１４の付加情報受信部２１は、ステップＳ８において、監視装置１６から送信された付加情報および相対位置情報を受信する。図５および図６のステップＳ９では、重畳画像抽出部１７が、重畳画像データベース１５に予め登録されている監視対象物１の簡易３Ｄモデルデータを取得する。
【００３５】
サーバ装置１４の重畳画像調整部１９は、ステップＳ１０において、監視装置１６から付加情報と共に受信した相対位置情報で示されるユーザの視点の方向から、仮想世界において監視対象物１の３Ｄモデルを見たときの見え方を計算し、２Ｄ平面の画像に変換する。そして、重畳画像調整部１９は、画像表示装置１１の表示領域内における監視対象物１の２Ｄ画像の表示位置を調整する。なお、重畳画像調整部１９は、画像表示装置１１と監視対象物１との間の障害物２は透視でき、かつ、監視対象物１の簡易３Ｄモデルの見える大きさも一定という前提で、上述の表示位置の調整を行う。
【００３６】
次に、サーバ装置１４の画像合成部２０は、ステップＳ１１において、予めデフォルトで持っている画面全体の背景になる白塗り画像と、２Ｄ平面画像に変換した監視対象物１の画像と、監視装置１６から受信した付加情報とを、１画面の画像データとなるように合成処理して重畳画像データを生成する。サーバ装置１４の表示用画像送信部１８は、図５および図６のステップＳ１２において、この重畳画像データを、無線通信網等のネットワーク１３を介して画像表示装置１１に送信する。
【００３７】
画像表示装置１１の表示用画像受信部３３は、ステップＳ１３において、重畳画像データを受信する。そして、液晶ディスプレイ装置等の画像出力部３４が、ステップＳ１４において、受信した重畳画像データに対応する画像を表示画面に表示する。これにより、例えば図３または図６に示すように、障害物２が白塗り画像の背景となり、この障害物２が透けた状態で監視対象物１が明確に表示されると共に、監視対象物１に対応する付加情報が表示された画像が画像表示装置１１に表示される。
【００３８】
図７は、上述の画像表示装置１１の動作を示すフローチャートである。この図７のフローチャートに示す各処理を可能とする情報処理プログラムは、画像表示装置１１内のＲＯＭ等の記憶手段に記憶されている。画像表示装置１１のＣＰＵは、この情報処理プログラムに従って、以下の各処理を実行する。
【００３９】
なお、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。ＤＶＤは、「Digital  Versatile  Disk」の略記である。
【００４０】
さらに、情報処理プログラムを、インターネット等のネットワーク１３に接続されたコンピュータ装置上に格納し、ネットワーク１３経由でダウンロードさせて提供してもよい。また、情報処理プログラムを、インターネット等のネットワーク１３経由で提供または配布するように構成してもよい。
【００４１】
図７のフローチャートにおいて、画像表示装置１１は、画像表示装置１１のメイン電源がオンになると（ステップＳ２１：Ｙｅｓ）、現在位置・方向の取得を行う（ステップＳ２２）。次に、画像表示装置１１は、取得した測位データを監視装置１６へ送信する（ステップＳ２３）。その後、画像表示装置１１は、サーバ装置１４から表示画像情報（重畳画像）を受信すると（ステップＳ２４：Ｙｅｓ）、受け取った画像を出力部から出力する（ステップＳ２５）。
【００４２】
一方、画像表示装置１１は、表示画像情報（重畳画像）を受信せず（ステップＳ２４：Ｎｏ）、監視対象物フラグがＯＮになった場合（ステップＳ２７：Ｙｅｓ）、画像の更新はせずに、以前の画像をそのまま表示し続ける。なお、監視対象物フラグは、画像表示装置１１が監視対象物１の方向を向いていると監視装置１６で判断された場合にＯＮとなるフラグである。
【００４３】
これに対して、画像表示装置１１が監視対象物１の方向を向いていないと監視装置１６で判断され、監視対象物フラグがＯＦＦになった場合（ステップＳ２７：Ｎｏ）、重畳画像を表示する必要がなくなる。このため、画像表示装置１１は、ユーザが現実にみている光景をそのまま透過画像としてみせるようにする（ステップＳ２８）。画像表示装置１１は、ステップＳ２６において、画像表示装置１１のメイン電源がオフされたものと判別されるまでの間（ステップＳ２６：Ｎｏ）、上述の各ステップの処理を繰り返し実行する。
【００４４】
図８は、上述のサーバ装置１４の動作を示すフローチャートである。この図８のフローチャートに示す各処理を可能とする情報処理プログラムは、サーバ装置１４内のＲＯＭ等の記憶手段に記憶されている。サーバ装置１４のＣＰＵは、この情報処理プログラムに従って、以下の各処理を実行する。
【００４５】
なお、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４６】
さらに、情報処理プログラムを、インターネット等のネットワーク１３に接続されたコンピュータ装置上に格納し、ネットワーク１３経由でダウンロードさせて提供してもよい。また、情報処理プログラムを、インターネット等のネットワーク１３経由で提供または配布するように構成してもよい。
【００４７】
図８のフローチャートにおいて、サーバ装置１４は、監視装置１６で作成された付加情報画像を受信すると（ステップＳ３１：Ｙｅｓ）、重畳画像データベース１５より監視対象物１の簡易３Ｄモデルデータを取得する（ステップＳ３２）。サーバ装置１４は、監視装置１６にて計算された相対位置情報の視点の方向から、仮想世界において監視対象物１の簡易３Ｄモデルを見たときの見え方を計算し（ステップＳ３３）、２Ｄ画像中のどこに配置するかを調整する（ステップＳ３４）。その後、作成された２Ｄ画像と付加情報と背景の白塗り画像を合成し（ステップＳ３５）、その結果生成された重畳画像データを画像表示装置１１へ送信する（ステップＳ３６）。
【００４８】
一方、監視装置１６で作成された付加情報を受信せずに（ステップＳ３１：Ｎｏ）、上述のフラグ情報のみを受信した場合（ステップＳ３７：Ｙｅｓ）、受信したフラグ情報（監視対象物フラグ）を画像表示装置に送信する（ステップＳ３８）。
【００４９】
図９は、上述の監視装置１６の動作を示すフローチャートである。この図９のフローチャートに示す各処理を可能とする情報処理プログラムは、監視装置１６内のＲＯＭ等の記憶手段に記憶されている。監視装置１６のＣＰＵは、この情報処理プログラムに従って、以下の各処理を実行する。
【００５０】
なお、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００５１】
さらに、情報処理プログラムを、インターネット等のネットワーク１３に接続されたコンピュータ装置上に格納し、ネットワーク１３経由でダウンロードさせて提供してもよい。また、情報処理プログラムを、インターネット等のネットワーク１３経由で提供または配布するように構成してもよい。
【００５２】
図９のフローチャートにおいて、監視装置１６は、メイン電源が投入されると（ステップＳ４１：Ｙｅｓ）、監視対象物１の撮像を開始する（ステップＳ４２）。監視装置１６は、画像表示装置１１より測位データを受信すると（ステップＳ４３：Ｙｅｓ）、監視対象物１からの相対位置を計算する（ステップＳ４４）。ここで画像表示装置１１が監視対象物１の方向を向いてないと判断された場合（ステップＳ４５：Ｎｏ）、監視装置１６は、監視対象物フラグをオフにし（ステップＳ５４）、サーバ装置１４へフラグ情報を送信する（ステップＳ５５）。
【００５３】
これに対して、画像表示装置１１が監視対象物１の方向を向いていると判断された場合（ステップＳ４５：Ｙｅｓ）、監視装置１６は、監視対象物フラグをオンにし（ステップＳ４６）、撮像情報をデジタル化する（ステップＳ４７）。
【００５４】
次に、監視装置１６は、監視対象物１の撮像データを解析し（ステップＳ４８）、必要なリアルタイム情報を抽出して前回の抽出結果と比較する（ステップＳ４９）。前回抽出した結果と状況（相対位置またはリアルタイム状況）が大きく変わった場合（ステップＳ５０：Ｙｅｓ）、新しい付加情報を画像として生成し（ステップＳ５１）、サーバ装置１４へ送信する（ステップＳ５２）。なお、前回抽出した結果とそれほど変わらない場合（ステップＳ５０：Ｎｏ）、監視対象物フラグ情報（ＯＮ）のみをサーバ装置に送信する（ステップＳ５５）。監視装置１６は、ステップＳ５３において、監視装置１６のメイン電源がオフされたものと判別されるまでの間、上述の各ステップの処理を繰り返し実行する。
【００５５】
以上の説明から明らかなように、第１の実施の形態の情報処理システムは、現実空間としては存在するが、障害物２等の影響で現在の位置から見えない監視対象物１の画像に対して、直感的に理解可能な付加情報を付加して表示することができる。
【００５６】
また、第１の実施の形態の情報処理システムは、現実には見えない対象（障害物や遠い場所にある）に対して付加情報を重畳できるため、一般的なＡＲ技術等の重畳場所の精度は必要なく、ある程度の方向がわかる精度で重畳を行えばよい。このため、ＡＲマーカや建物の特徴点を検出するために必要な現在ユーザが見ている光景を撮像する撮像部を不用とすることができる。
【００５７】
（第２の実施の形態）
次に、第２の実施の形態の情報処理システムの説明をする。第２の実施の形態の情報処理システムは、上述の第１の実施の形態の情報処理システムの構成に、以下の各部を加えた構成となっている。なお、以下の第２の実施の形態の情報処理システムの説明では、上述の第１の実施の形態の情報処理システムとの差異となる箇所の説明のみ行い、重複説明は省略する。
【００５８】
図１０に、第２の実施の形態の情報処理システムのシステム構成図を示す。図１０に示すように、第２の実施の形態の情報処理システムの画像表示装置１１は、位置・方向取得部３１〜画像出力部３４に加え、撮像データ送信部４１、実風景撮像部４２、情報抽出対象選択部４３、および拡大縮小調整部４４を有している。
【００５９】
実風景撮像部４２は、ユーザが、現在、見ている景色を撮像する。撮像データ送信部４１は、実風景撮像部４２で撮像された撮像データをサーバ装置１４に送信する。情報抽出対象選択部４３は、付加情報を抽出したい監視対象物１を切り替える。拡大縮小調整部４４は、重畳するデータの表示の大きさを調整する。
【００６０】
情報提供装置１２は、サーバ装置１４、重畳画像データベース１５、第１の監視装置１６（第１の実施の形態では監視装置１６に相当）と共に、監視対象選択装置５０、および第２、第３の監視装置５２、５３を有している。第２、第３の監視装置５２、５３は、それぞれ第１の監視装置１６と同じ構成を有している。第１〜第３の監視装置１６、５２、５３は、それぞれ異なる監視対象物を監視している。監視対象選択装置５０は、ユーザにより選択された監視対象物を監視しているいずれかの監視装置１６、５２、５３の出力を選択する。各監視装置１６、５２、５３には、その監視装置が選択されたか否かを判定する監視対象判定部４９が設けられている。
【００６１】
重畳画像データベース１５には、各監視対象物の簡易３Ｄモデルデータが蓄積された簡易３Ｄモデルデータ蓄積部２２、およびユーザが選択した監視装置に対応する簡易３Ｄモデルデータを選択する重畳画像選択部４８が設けられている。
【００６２】
サーバ装置１４は、データ受信部４５、重畳画像の縮尺を調整する機能が追加された重畳画像調整部１９を有している。また、サーバ装置１４は、実風景画像から障害物の大きさを判定し、背景の白塗り画像範囲を計算する白塗り範囲計算部４６、計算された大きさ、場所の白塗り画像を生成する白塗り画像生成部４７を有する。
【００６３】
なお、画像表示装置１１、サーバ装置１４、重畳画像データベース１５、監視装置１６、５２、５３、および監視対象選択部５０の各部は、後述する情報処理プログラム等によりソフトウェア的に実現してもよいし、全部または一部をハードウェアで実現してもよい。
【００６４】
第２の実施の形態の情報処理システムの場合、これら各部を追加した構成とすることで、監視対象物（付加情報を得たい対象）をユーザが選択可能とすることができるうえ、重畳画像の縮尺比率も調整可能とすることができる。また、ユーザが携帯している画像表示装置１１で撮像された実風景の画像を取得することで、ある範囲だけ障害物２を白塗りにし監視対象物を見せることが可能となる。上述の第１の実施の形態の場合、画像表示装置１１の画面全体が白塗りとなるため、周囲の風景が見えないかたち（ＶＲに近い光景）となる。この第２の実施の形態の情報処理システムの場合、現実に見えている風景の一部を塗りつぶして監視対象物を表示するかたち（ＡＲ）となる。
【００６５】
図２および図３を用いて説明したように、障害物２の角部を正面とする視点Ｂから監視対象物１を見た場合、画像表示装置１１の画面全体に白塗り背景があり、この白塗り背景の上に、障害物２の先に存在する監視対象物１および付加情報が表示される。
【００６６】
これに対して、第２の実施の形態の情報処理システムの場合、画像表示装置１１側でも実風景を撮像しているため、監視対象物を見せるには、どれくらいの範囲の障害物を見えなくすればよいかの検討がつく。このため、サーバ装置１４側で、白塗り画像とする範囲を計算し、この計算結果に応じた白塗り画像の重畳画像を生成する。これにより、図１１に示すように、障害物２の実風景画像の一部のみを消して、この実風景画像を消した箇所に、監視対象物１および付加情報を表示できる。
【００６７】
図１２は、上述の画像表示装置１１の動作を示すフローチャートである。この図１２のフローチャートに示す各処理を可能とする情報処理プログラムは、画像表示装置１１内のＲＯＭ等の記憶手段に記憶されている。画像表示装置１１のＣＰＵは、この情報処理プログラムに従って、以下の各処理を実行する。
【００６８】
なお、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。ＤＶＤは、「Digital  Versatile  Disk」の略記である。
【００６９】
さらに、情報処理プログラムを、インターネット等のネットワーク１３に接続されたコンピュータ装置上に格納し、ネットワーク１３経由でダウンロードさせて提供してもよい。また、情報処理プログラムを、インターネット等のネットワーク１３経由で提供または配布するように構成してもよい。
【００７０】
図１２のフローチャートにおいて、ステップＳ６１〜ステップＳ６５が、図７のフローチャートに対して新たに追加された処理である。第２の実施の形態の情報処理システムに設けられている画像表示装置１１の場合、風景のリアルタイムな撮像開始後（ステップＳ６１）、付加情報を得たい情報取得対象の選択と（ステップＳ６２）、予め設定した監視対象物を表示する大きさの縮尺情報(拡大縮小データ)を取得する（ステップＳ６３）。その後、測位データと情報取得対象情報を監視装置へ送信する（ステップＳ６４）。また、画像表示装置１１側のリアルタイムな実風景画像データと縮尺情報をサーバ装置１４へ送信する（ステップＳ６５）。
【００７１】
図１３は、上述のサーバ装置１４の動作を示すフローチャートである。この図１３のフローチャートに示す各処理を可能とする情報処理プログラムは、サーバ装置１４内のＲＯＭ等の記憶手段に記憶されている。サーバ装置１４のＣＰＵは、この情報処理プログラムに従って、以下の各処理を実行する。
【００７２】
なお、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００７３】
さらに、情報処理プログラムを、インターネット等のネットワーク１３に接続されたコンピュータ装置上に格納し、ネットワーク１３経由でダウンロードさせて提供してもよい。また、情報処理プログラムを、インターネット等のネットワーク１３経由で提供または配布するように構成してもよい。
【００７４】
図１３のフローチャートにおいて、ステップＳ７１〜ステップＳ７５が、図８のフローチャートに対して新たに追加された処理である。第２の実施の形態の情報処理システムに設けられているサーバ装置１４の場合、画像表示装置１１から取得した縮尺情報を元に、簡易３Ｄモデルの２Ｄ変換を行う前に、縮尺に応じた大きさにモデルを変換する（ステップＳ７１およびステップＳ７２）。
【００７５】
また、第２の実施の形態の情報処理システムに設けられているサーバ装置１４の場合、前回の画像から受信したリアルタイムな画像表示装置１１側の実風景画像データ、またはいずれかの監視装置１６、５２、５３から取得した付加情報が大幅に変わった場合に（ステップＳ７３：Ｙｅｓ）、背景の白塗り範囲を再計算し（ステップＳ７４）、この再計算した範囲の白塗り画像を再度、生成する（ステップＳ７５）。
【００７６】
図１４は、監視対象選択部５０の動作を示すフローチャートである。この図１４のフローチャートに示す各処理を可能とする情報処理プログラムは、監視対象選択部５０内のＲＯＭ等の記憶手段に記憶されている。監視対象選択部５０のＣＰＵは、この情報処理プログラムに従って、以下の各処理を実行する。
【００７７】
なお、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００７８】
さらに、情報処理プログラムを、インターネット等のネットワーク１３に接続されたコンピュータ装置上に格納し、ネットワーク１３経由でダウンロードさせて提供してもよい。また、情報処理プログラムを、インターネット等のネットワーク１３経由で提供または配布するように構成してもよい。
【００７９】
第２の実施の形態の情報処理システムに設けられている監視対象選択部５０は、複数の監視対象物を監視することで追加された機構である。監視対象選択部５０は、画像表示装置１１から監視選択対象の変更を通知する対象選択データを受信すると（ステップＳ８１：Ｙｅｓ）、画像表示装置１１からの測位データを供給する監視装置を切り替える（ステップＳ８２）。そして、監視対象選択部５０は、画像表示装置１１からの測位データを、切り替え先となる監視装置に供給する（ステップＳ８３）。
【００８０】
図１５は、上述の監視装置１６、５２、５３の動作を示すフローチャートである。この図１５のフローチャートに示す各処理を可能とする情報処理プログラムは、各監視装置１６、５２、５３内のＲＯＭ等の記憶手段に記憶されている。各監視装置１６、５２、５３のＣＰＵは、この情報処理プログラムに従って、以下の各処理を実行する。
【００８１】
なお、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００８２】
さらに、情報処理プログラムを、インターネット等のネットワーク１３に接続されたコンピュータ装置上に格納し、ネットワーク１３経由でダウンロードさせて提供してもよい。また、情報処理プログラムを、インターネット等のネットワーク１３経由で提供または配布するように構成してもよい。
【００８３】
図１５のフローチャートにおいて、ステップＳ９１およびステップＳ９２が、図９のフローチャートに対して新たに追加された処理である。第２の実施の形態の情報処理システムに設けられている監視装置１６、５２、５３の場合、図１０に示した監視対象判定部４９で、それぞれ自機が監視対象として選択されているか否かを判別する。この監視対象判定部４９により、自機が監視対象として選択されたものと判別した場合（ステップＳ９１：Ｙｅｓ）、重畳画像データベース１５側に、自機で監視している監視対象物の簡易３Ｄモデルデータの選択を指示する（ステップＳ９２）。これにより、重畳画像データベース１５から出力される簡易３Ｄモデルデータが一義的に決定されるため、サーバ装置１４は、簡易３Ｄモデルデータの取得要求を行うだけで、現在、選択されている監視装置が監視している監視対象物の簡易３Ｄモデルデータを取得することができる。
【００８４】
以上の説明から明らかなように、第２の実施の形態の情報処理システムは、それぞれ異なる監視対象物を監視する複数の監視装置１６、５２、５３を設けることで、所望の監視装置に自由に切り替えて、ユーザが希望する監視対象物の付加情報を得ることができる。また、画像表示装置１１側で重畳画像の縮尺を調整し、サーバ装置１４が、画像表示装置１１側で調整された縮尺の重畳画像を生成して、画像表示装置１１に送信する。これにより、画像表示装置１１に表示される重畳画像の縮尺比率を調整可能とすることができる。
【００８５】
また、画像表示装置１１の表示画面全体ではなく、障害物２の実風景画像を部分的に白塗り画像とし、この白塗り画像の部分に、重畳画像を表示する。これにより、実風景画像と重畳画像との融合を可能とすることができる他、上述の第１の実施の形態と同様の効果を得ることができる。
【００８６】
（第３の実施の形態）
次に、第３の実施の形態の情報処理システムの説明をする。この第３の実施の形態の情報処理システムは、上述の第２の実施の形態の情報処理システムの構成に加えて、画像表示装置１１が、以下の各部を有する。すなわち、画像表示装置１１は、ユーザが実際に見ている光景において一番近くにある障害物２との相対距離を検出する障害物相対距離検出部６１を有する。また、画像表示装置１１は、障害物相対距離検出部６１の値が一定以下の距離になった場合に、表示中の付加情報重畳画像から、通常の実風景画像に自動的に切り替え、ユーザが障害物２に接触する不都合を防止するための出力画像切り替え部６２を有する。
【００８７】
各監視装置１６、５２、５３は、現実の世界においてユーザから監視対象物が見える範囲を示す数値情報が各監視対象物毎に予め記憶してある対象物検出範囲記憶部６５を有する。また、各監視装置１６、５２、５３は、ユーザ（画像表示装置）がその範囲に入ったと判断された場合に、サーバ装置１４から画像表示装置１１側に送信される重畳画像が付加情報のみとなるように制御を行う対象物検出部６６を有する。
【００８８】
サーバ装置１４は、付加情報の付加対象となっている監視対象物との距離に応じて、表示する重畳画像の更新頻度を変化させる更新頻度調整部６４を有する。
【００８９】
なお、画像表示装置１１、サーバ装置１４、重畳画像データベース１５、監視装置１６、５２、５３、および監視対象選択部５０の各部は、後述する情報処理プログラム等によりソフトウェア的に実現してもよいし、全部または一部をハードウェアで実現してもよい。
【００９０】
図１７は、監視対象物１とユーザ（画像表示装置１１）との間の距離に応じた、監視対象物１の見え方の違いを説明するための図である。図１７において、ユーザの現在位置が、位置Ｄから位置Ｃに移動した場合、位置Ｃおよび位置Ｄは、監視対象物１から遠い距離にあるため、監視対象物１とユーザの相対角度も、それほど大きくは変わらない。すなわち、監視対象物１と位置Ｃに位置するユーザの相対角度θＣと、監視対象物１と位置Ｄに位置するユーザの相対角度θＤとの角度差θＣ−θＤは小さい。このため、監視対象物１の見え方も、位置Ｃと位置Ｄとでは、それほど変わらない。
【００９１】
しかし、図１７において、ユーザの現在位置が、位置Ｂから位置Ａに移動した場合、位置Ａおよび位置Ｂは、監視対象物１から近い距離にあるため、監視対象物１とユーザの相対角度も大きくなる。すなわち、監視対象物１と位置Ａに位置するユーザの相対角度θＡと、監視対象物１と位置Ｂに位置するユーザの相対角度θＢとの角度差θＡ−θＢは大きくなる。このため、監視対象物１の見え方も、位置Ａと位置Ｂとでは、大きく変化する。
【００９２】
この第３の実施の形態の情報処理システムは、監視対象物１およびユーザの相対角度、または相対距離に応じて、重畳画像の更新頻度を調整する。また、第３の実施の形態の情報処理システムは、監視対象物１およびユーザの距離が所定の距離以下となった場合に、画像表示装置１１に表示する画像を重畳画像から実風景画像に切り替え、監視対象物１にユーザが接触する不都合を防止する。
【００９３】
図１８は、上述の画像表示装置１１の動作を示すフローチャートである。この図１８のフローチャートに示す各処理を可能とする情報処理プログラムは、画像表示装置１１内のＲＯＭ等の記憶手段に記憶されている。画像表示装置１１のＣＰＵは、この情報処理プログラムに従って、以下の各処理を実行する。
【００９４】
なお、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。ＤＶＤは、「Digital  Versatile  Disk」の略記である。
【００９５】
さらに、情報処理プログラムを、インターネット等のネットワーク１３に接続されたコンピュータ装置上に格納し、ネットワーク１３経由でダウンロードさせて提供してもよい。また、情報処理プログラムを、インターネット等のネットワーク１３経由で提供または配布するように構成してもよい。
【００９６】
図１８のフローチャートにおいて、ステップＳ１０１〜ステップＳ１０７が、図１２のフローチャートに対して新たに追加された処理である。画像表示装置１１は、画像表示装置１１の位置および方向（測位データ）と共に、目の前の障害物２との相対距離を検出する（ステップＳ１０１）。障害物２との相対距離が一定以下だった場合（ステップＳ１０２：Ｙｅｓ）、障害物フラグをＯＮにし（ステップＳ１０５）、現在、選択されている監視装置に障害物フラグを送信する（ステップＳ１０６）。そして、出力画像切り替え部６２が、それまで表示していた重畳画像を、実風景撮像部４２で撮像された実風景画像（透過画像）に切り替える（ステップＳ１０７）。これにより、ユーザが障害物２に近づいていることを、的確に認知させることができる。
【００９７】
一方、障害物２との相対距離が一定以下だった場合（ステップＳ１０２：Ｎｏ）、画像表示装置１１は、障害物フラグをＯＦＦにし（ステップＳ１０３）、測位データ、対象選択データと共に障害物フラグ情報を、現在、選択されている監視装置へ送信する（ステップＳ１０４）。
【００９８】
図１９は、上述のサーバ装置１４の動作を示すフローチャートである。この図１９のフローチャートに示す各処理を可能とする情報処理プログラムは、サーバ装置１４内のＲＯＭ等の記憶手段に記憶されている。サーバ装置１４のＣＰＵは、この情報処理プログラムに従って、以下の各処理を実行する。
【００９９】
なお、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【０１００】
さらに、情報処理プログラムを、インターネット等のネットワーク１３に接続されたコンピュータ装置上に格納し、ネットワーク１３経由でダウンロードさせて提供してもよい。また、情報処理プログラムを、インターネット等のネットワーク１３経由で提供または配布するように構成してもよい。
【０１０１】
図１９のフローチャートにおいて、ステップＳ１１１〜ステップＳ１１３が、図１３のフローチャートに対して新たに追加された処理である。この第３の実施の形態の情報処理システムの場合、ユーザが監視対象物１を直接見える範囲に存在するか否かを示す対象物検出フラグが、現在、選択中の監視装置から送信される。具体的には、ユーザが監視対象物１を直接見える範囲に存在する場合、ＯＮとされた対象物検出フラグが送信され、ユーザが監視対象物１を直接見える範囲に存在しない場合、ＯＦＦとされた対象物検出フラグが送信される。
【０１０２】
対象物検出フラグがＯＮの場合（ステップＳ１１１：Ｙｅｓ）、ユーザが監視対象物１が直接見える範囲に存在することを意味する。そして、この場合、無理に簡易３Ｄモデルを表示せず、監視対象物１そのものを見せればよい。このため、サーバ装置１４は、現在選択中の監視装置で生成された付加情報のみを画像表示装置１１側に送信する（ステップＳ１１３）。
【０１０３】
また、サーバ装置１４は、画像表示装置１１の測位結果（相対距離、相対角度）と、前回、重畳画像を画像表示装置１１側に送信したときの相対距離および相対角度とを比較する。この比較結果が所定の閾値以下であった場合（ステップＳ１１２：Ｙｅｓ）、画像表示装置１１側で表示している重畳画像も変更する必要がないため、ステップＳ３１に処理を戻す。また、比較結果が所定の閾値を越える場合（ステップＳ１１２：Ｎｏ）、上述のように計算した範囲が白塗りとされた実風景画像に付加情報を重畳した重畳画像を生成し、これを画像表示装置１１に送信する。これにより、監視対象物１に対する相対距離および相対角度に対応する重畳画像が画像表示装置１１に表示される。
【０１０４】
図２０は、上述の監視装置１６、５２、５３の動作を示すフローチャートである。この図２０のフローチャートに示す各処理を可能とする情報処理プログラムは、各監視装置１６、５２、５３内のＲＯＭ等の記憶手段に記憶されている。各監視装置１６、５２、５３のＣＰＵは、この情報処理プログラムに従って、以下の各処理を実行する。
【０１０５】
なお、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルで、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【０１０６】
さらに、情報処理プログラムを、インターネット等のネットワーク１３に接続されたコンピュータ装置上に格納し、ネットワーク１３経由でダウンロードさせて提供してもよい。また、情報処理プログラムを、インターネット等のネットワーク１３経由で提供または配布するように構成してもよい。
【０１０７】
図２０のフローチャートにおいて、ステップＳ１２１〜ステップＳ１２５が、図１５のフローチャートに対して新たに追加された処理である。第３の実施の形態の情報処理システムに設けられている監視装置１６、５２、５３は、画像表示装置１１と障害物２との相対距離が一定以下であることを示すＯＮの障害物フラグを受信した場合（ステップＳ１２１：Ｙｅｓ）、これは、以下のことを意味する。すなわち、この場合、画像表示装置１１側では、重畳画像から実風景画像に表示画像の切り替えを行う（図１８のステップＳ１０７参照）。このため、サーバ装置１４側で重畳画像を生成する必要がないため、サーバ装置１４側に障害物フラグを送信する（ステップＳ１２２）。これにより、画像表示装置１１と障害物２との相対距離が一定以下となった際に、サーバ装置１４が画像表示装置１１側で表示されることのない重畳画像を生成し続ける不都合を防止することができる。
【０１０８】
また、監視装置１６、５２、５３は、監視対象物１が見える範囲に画像表示装置１１が存在していることが、監視装置の計算結果から検出された場合（ステップＳ１２３：Ｙｅｓ）、対象物検出範囲フラグをＯＮに切り替える（ステップＳ１２４）。そして、監視装置１６、５２、５３は、ＯＮとした対象物検出範囲フラグを、付加情報と共にサーバ装置１４へ情報を送信する（ステップＳ５２）。なお、監視装置１６、５２、５３は、監視対象物１が見える範囲に画像表示装置１１が存在していないことが、監視装置の計算結果から検出された場合（ステップＳ１２３：Ｎｏ）、対象物検出範囲フラグをＯＦＦに切り替える（ステップＳ１２５）。そして、監視装置１６、５２、５３は、ＯＦＦとした対象物検出範囲フラグを、付加情報と共にサーバ装置１４へ情報を送信する（ステップＳ５２）。
【０１０９】
以上の説明から明らかなように、第３の実施の形態の情報処理システムは、ユーザが、障害物２に接近した際に、画像表示装置１１で表示している画像を重畳画像から実風景画像に切り替える。これにより、ユーザが、必要以上に障害物２に近づいて、障害物２に接触する不都合を防止することができ、ユーザの安全性向上を図ることができる。また、仮想世界と現実世界とのスムーズな切り替えを可能とすることができる。また、重畳画像の更新頻度が調整可能であるため、通信データ効率のパフォーマンスの向上を図ることができる。
【０１１０】
上述の各実施の形態は、例として提供したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。各実施の形態および各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１１】
１  監視対象物
２  障害物
１１  画像表示装置
１２  情報提供装置
１３  ネットワーク
１４  サーバ装置
１５  重畳画像データベース
１６  監視装置（第１の監視装置）
１７  重畳画像抽出部
１８  表示用画像送信部
１９  重畳画像調整部
２０  画像合成部
２１  付加情報受信部
２２  簡易３Ｄモデルデータ蓄積部
２４  付加情報記憶部
２５  監視位置保持部
２６  付加情報送信部
２７  付加情報生成部
２８  対象物監視装置
２９  相対位置計算部
３０  測位データ受信部
３１  位置・方向取得部
３２  測位データ送信部
３３  表示用画像受信部
３４  画像出力部
４１  撮像データ送信部
４２  実風景撮像部
４３  情報抽出対象選択部
４４  拡大縮小調整部
４５  データ受信部
４６  白塗り範囲計算部
４７  白塗り画像生成部
４８  重畳画像選択部
４９  監視対象判定部
５０  監視対象選択部
５２  第２の監視装置
５３  第３の監視装置
６１  障害物相対距離検出部
６２  出力画像切り替え部
６４  更新頻度調整部
６５  対象物検出範囲記憶部
６６  対象物検出部
【先行技術文献】
【特許文献】
【０１１２】
【特許文献１】特開２００７−２２８３１５号公報
【特許文献２】特開２００４−１４５６５７号公報
【特許文献３】特開２００９−２８９０３５号公報
【図１】
2015011539.tif 000003
【図２】
2015011539.tif 000004
【図３】
2015011539.tif 000005
【図４】
2015011539.tif 000006
【図５】
2015011539.tif 000007
【図６】
2015011539.tif 000008
【図７】
2015011539.tif 000009
【図８】
2015011539.tif 000010
【図９】
2015011539.tif 000011
【図１０】
2015011539.tif 000012
【図１１】
2015011539.tif 000013
【図１２】
2015011539.tif 000014
【図１３】
2015011539.tif 000015
【図１４】
2015011539.tif 000016
【図１５】
2015011539.tif 000017
【図１６】
2015011539.tif 000018
【図１７】
2015011539.tif 000019
【図１８】
2015011539.tif 000020
【図１９】
2015011539.tif 000021
【図２０】
2015011539.tif 000022