(57)【要約】【課題】障害物、距離等の影響により視認が困難な対象物の現在、又は現在に近い情報を含む表示画像を、利用者の視点に近い形で表示手段に表示可能にする情報処理装置を提供する。【解決手段】情報処理装置は、表示対象となる対象物の予め記録された複数の画像データの中から表示手段の位置に係る情報に基づいて少なくとも一の画像データを抽出する抽出手段と、前記対象物の更新されたデータを受信する受信手段と、前記少なくとも一の画像データ及び前記更新されたデータに基づいて、前記表示手段に表示させる表示画像を生成する生成手段と、を有する。【選択図】図２
2015121851.tif 000002
【特許請求の範囲】
【請求項１】
表示対象となる対象物の予め記録された複数の画像データの中から、表示手段の位置に係る情報に基づいて少なくとも一の画像データを抽出する抽出手段と、
前記対象物に係る更新されたデータを受信する受信手段と、
前記少なくとも一の画像データ及び前記更新されたデータに基づいて、前記表示手段に表示させる表示画像を生成する生成手段と、
を有する情報処理装置。
【請求項２】
前記更新されたデータは、撮像手段によって継続的に撮像される前記対象物の撮像データを含む請求項１に記載の情報処理装置。
【請求項３】
前記更新されたデータは、前記表示手段又は前記対象物の位置に係る情報を含む請求項１又は２に記載の情報処理装置。
【請求項４】
前記表示手段の位置に係る情報を取得する取得手段を有する請求項１又は２に記載の情報処理装置。
【請求項５】
前記表示手段が、予め定められた前記対象物を視認できる範囲内にある場合、前記表示画像の前記表示手段への表示を中断又は終了させる請求項１乃至４のいずれか一項に記載の情報処理装置。
【請求項６】
前記対象物の更新されたデータに基づいて前記対象物に係る情報を生成する付加情報生成手段を有し、
前記対象物に係る情報を前記表示手段に表示させる請求項１乃至５のいずれか一項に記載の情報処理装置。
【請求項７】
前記対象物と前記表示手段との距離に応じて前記表示手段に表示させる前記表示画像の更新頻度を調整する更新調整手段を有する請求項１乃至６のいずれか一項に記載の情報処理装置。
【請求項８】
前記表示手段は、人体装着型の表示装置であって、
前記表示装置が前記対象物の方向を向いたときに前記表示画像を表示させる請求項１乃至７のいずれか一項に記載の情報処理装置。
【請求項９】
請求項１乃至８のいずれか一項に記載の情報処理装置と、
複数の対象物を撮像する複数の撮像手段と、
前記複数の対象物の中から表示対象となる一の対象物を選択する手段と、
を有する情報処理システム。
【請求項１０】
表示対象となる対象物の更新されたデータを受信するステップと、
前記対象物の予め記憶された複数の画像データの中から、表示手段の位置に係る情報に基づいて、少なくとも一の画像データを抽出するステップと、
前記少なくとも一の画像データ及び前記更新されたデータに基づいて、前記表示手段に表示させる表示画像を生成するステップと、
を有する情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、及び情報処理方法に関する。
【背景技術】
【０００２】
実像に、現実の空間には存在しない虚像を重畳させて表示させる拡張現実感（Augmented Reality）の技術が知られている。拡張現実感の提示を行う画像表示装置として、例えば、頭部装着型表示装置（Head Mounted Display）等を用いることができる。このような画像表示装置は、例えば、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想空間の画像（コンピュータグラフィックにより描画された仮想物体や、文字情報等）を表示することができる。
【０００３】
また、リアルタイムに変化する実像に虚像を重ね合わせて表示する携帯型表示装置が知られている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された技術は、実際の風景の中の移動物にコンテンツを合成して表示させるものであり、例えば、障害物、距離等の影響等により、視認が困難な実在する対象物の現在、又は現在に近い情報を含む表示画像を表示させることは困難である。
【０００５】
本発明の実施の形態は、上記問題点に鑑みてなされたものであって、障害物、距離等の影響により視認が困難な対象物の現在、又は現在に近い情報を含む表示画像を、利用者の視点に近い形で表示手段に表示可能にする情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、一実施の形態に係る情報処理装置は、表示対象となる対象物の予め記録された複数の画像データの中から表示手段の位置に係る情報に基づいて少なくとも一の画像データを抽出する抽出手段と、前記対象物の更新されたデータを受信する受信手段と、前記少なくとも一の画像データ及び前記更新されたデータに基づいて、前記表示手段に表示させる表示画像を生成する生成手段と、を有する。
【発明の効果】
【０００７】
本実施の形態によれば、障害物、距離等の影響により視認が困難な対象物の現在、又は現在に近い情報を含む表示画像を、利用者の視点に近い形で表示手段に表示可能にする情報処理装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】一実施形態に係る情報処理システムの構成例を示す図である。
【図２】第１の実施形態に係る情報処理システムの機能構成の例を示す図である。
【図３】一実施形態に係る監視装置による撮像の例を示す図である。
【図４】一実施形態に係る対象物画像データベースに記憶される画像の例を示す図である。
【図５】一実施形態に係る設定に応じた画像生成方法の例を説明するための図である。
【図６】第１の実施形態に係る情報処理システムの処理の流れを示すシーケンスチャートである。
【図７】第１の実施形態に係る画像表示装置の処理の流れを示すフローチャートである。
【図８】第１の実施形態に係る監視装置の処理の流れを示すフローチャートである。
【図９】第１の実施形態に係るサーバ装置の処理の流れを示すフローチャートである。
【図１０】一実施形態に係る手段Ａの処理の流れを示すフローチャートである。
【図１１】一実施形態に係る手段Ｂの処理の流れを示すフローチャートである。
【図１２】一実施形態に係る手段Ｃの処理の流れを示すフローチャートである。
【図１３】第２の実施形態に係る情報処理システム１００の機能構成の例を示す図である。
【図１４】第２の実施形態に係る画像表示装置の処理の流れを示すフローチャートである。
【図１５】第２の実施形態に係る監視対象選択手段の処理の流れを示すフローチャートである。
【図１６】第２の実施形態に係る監視装置の処理の流れを示すフローチャートである。
【図１７】第２の実施形態に係るサーバ装置の処理の流れを示すフローチャートである。
【図１８】第３の実施形態に係る情報処理システムの機能構成の例を示す図である。
【図１９】第３の実施形態に係る画像表示装置１０１の処理の流れを示すフローチャートである。
【図２０】第３の実施形態に係る対象物制御手段の処理の流れを示すフローチャートである。
【図２１】第３の実施形態に係る監視装置の処理の流れを示すフローチャートである。
【図２２】第３の実施形態に係るサーバ装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
【００１０】
＜システム構成＞
図１は、一実施形態に係る情報処理システムの構成例を示す図である。情報処理システム１００は、例えば、インターネット、ＬＡＮ（Local Area Network）等のネットワーク１０５に接続された画像表示装置１０１、及び情報提供装置（情報提供システム）１０６を有する。
【００１１】
画像表示装置１０１は、例えば、無線通信回線等を介して、ネットワーク１０５に接続可能な情報処理装置であり、情報提供装置１０６から受信した表示画像を表示することができる。また、画像表示装置１０１は、画像表示装置１０１の位置、方向等の情報を取得し、取得した情報をネットワーク１０５を介して情報提供装置１０６に送信することができる。
【００１２】
画像表示装置１０１は、好ましくは、携帯可能な大きさであり、例えば、ＨＭＤ（Head Mounted Display）や、網膜操作ディスプレイ等のウェアラブルな端末（人体装着型の端末）であることが望ましい。或いは、画像表示装置１０１は、タブレット端末、スマートフォン、携帯ゲーム機、ナビゲーション装置等であっても良い。或いは、画像表示装置１０１は、カーナビゲーションシステム等の車載機器であっても良い。
【００１３】
情報提供装置１０６は、表示対象となる対象物の表示画像を生成し、生成した画像を、ネットワーク１０５を介して画像表示装置１０１に送信する。情報提供装置１０６は、例えば、サーバ装置１０２、対象物画像ＤＢ１０３、監視装置１０４等を含む。尚、情報提供装置１０６は、本発明に係る情報処理システムの一例である。
【００１４】
監視装置１０４は、表示対象となる対象物の画像（例えば、動画）を撮像する手段を有しており、撮像した対象物の撮像データをサーバ装置１０２に送信する。
【００１５】
対象物画像ＤＢ１０３には、表示対象となる対象物の複数の画像データが予め記録されている。予め記録された複数の画像データは、例えば、対象物を複数の異なる方向から撮像した画像データ等である。
【００１６】
サーバ装置１０２は、画像表示装置１０１の位置に係る情報等に基づいて、対象物画像ＤＢ１０３に予め記録された複数の対象物の画像データの中から、少なくとも一の画像データを抽出する。例えば、画像表示装置１０１は、対象物及び表示手段の位置情報から算出された相対位置情報等に応じて、画像表示装置１０１から対象物を見たときの角度に対応する画像データを対象物画像ＤＢ１０３から抽出する。尚、サーバ装置１０２は、本発明に係る情報処理装置の一例である。
【００１７】
また、サーバ装置１０２は、抽出された画像データと監視装置１０４から受信した撮像データに基づいて、画像表示装置１０１に表示させる表示画像を生成する。例えば、サーバ装置１０２は、抽出された画像データと、受信した撮像データとを用いて、画像表示装置１０１の方向から見た対象物の表示画像を生成する。尚、生成された表示画像は、監視装置１０４から受信した現在の撮像データに基づいているので、対象物の現在の状況に係る情報、例えば、明るさ、天候、色、人混み等を含むことができる。また、サーバ装置１０２は、抽出された画像データに、対象物、及び／又は対象物の周囲に係る情報、例えば、対象物までの距離、到達時間、混雑度等を付加情報として、対象物の画像に重畳させて画像表示装置１０１に表示させることができる。
【００１８】
上記構成により、情報処理システム１００は、天井、壁、他の建築物等の障害物、または距離等の影響により、現在の位置からは見え難い対象物の現在の状況に係る情報を含む表示画像を、利用者の視点に近い形で画像表示装置１０１に表示させることができる。また、画像表示装置１０１に表示する対象物の画像に、対象物、対象物の周囲等に係る付加情報を重畳して表示することができる。
【００１９】
すなわち、上記構成によれば、障害物、距離等の影響により視認が困難な対象物の現在の状況に係る情報を含む表示画像を、利用者の視点に近い形で表示できるようにする情報処理システム１００を提供することができる。
【００２０】
＜機能構成＞
［第１の実施形態］
図２は、第１の実施形態に係る情報処理システムの機能構成の例を示す図である。
【００２１】
（画像表示装置の機能構成）
画像表示装置１０１は、取得手段２０１、送信手段２０２、受信手段２０３、表示手段２０４、及び設定手段２０５等を有する。
【００２２】
取得手段２０１は、画像表示装置１０１又は表示手段２０４の位置、方向（向き）等の情報を取得する。取得手段２０１は、例えば、６軸のジャイロセンサ、及び／又はＧＰＳ（Global Positioning System）、方位センサ等のセンサを用いて、画像表示装置１０１又は表示手段２０４の位置、方向（向き）等の情報を測位する。
【００２３】
送信手段２０２は、取得手段２０１が取得した位置、方向等の情報を、ネットワーク１０５を介して、情報提供装置１０６の監視装置１０４へ、例えば、リアルタイムに送信する。尚、位置、方向等の情報の取得、及び監視装置１０４への送信は、例えば、所定の時間毎に行われるものであっても良い。受信手段２０３は、ネットワーク１０５を介して、情報提供装置１０６から表示画像を受信する。
【００２４】
表示手段２０４は、受信手段２０３が受信した表示画像を表示する。表示手段２０４は、例えば、液晶ディスプレイ等のような表示デバイスと表示制御部を含む。表示手段２０４は、表示画像を、例えば、置換合成、又は透過合成により表示する。但し、透過合成の場合は、透過率０％で表示することを前提とする。置換合成は、実際の画像の一部を除去し、同じ位置に合成後の画像を置き換える合成方法である。また、透過合成は、実際の画像の一部が一定の比率（以下、透過率と称す）で透けて見える表示方法である。ここでいう、透過率が０％とは、「置換合成」と同義である。尚、光学的手段を利用した画像表示装置では透過合成が前提となる。
【００２５】
設定手段２０５は、後述する情報提供装置１０６の画像生成方法を選択（設定）する手段である。例えば、設定手段２０５は、設定画面を表示手段２０４に表示させて、利用者の操作に応じて、画像生成方法の設定を行う。
【００２６】
上記構成により、画像表示装置１０１は、画像表示装置１０１又は表示手段２０４の位置に係る情報を取得し、情報提供装置１０６へ送信する。また、情報提供装置１０６から受信した表示画像を表示する。
【００２７】
尚、画像表示装置１０１は、例えば、コンピュータの構成を有し、取得手段２０１、送信手段２０２、受信手段２０３、表示手段２０４、及び設定手段２０５等は、画像表示装置１０１で動作するプログラムによって実現されるものであっても良い。また、上記各手段のうちの少なくとも一部は、ハードウェアによって実現されるものであっても良い。
【００２８】
（監視装置の機能構成）
監視装置１０４は、撮像手段２１９、記憶手段２２０、計算手段２２３、受信手段２２４、送信手段２２５等を有する。
【００２９】
撮像手段２１９は、監視（表示）対象となる対象物を撮像しデジタルデータ化する。撮像手段２１９には、例えば、一般のショッピング施設等に設置されている防犯用の監視カメラ等を用いても良い。尚、本実施の形態では、デジタルデータ化された撮像データとして動画データを想定しているが、撮像データは、例えば、所定の時間間隔及び／又は状態の変化等に応じて更新される静止画データ等であっても良い。また、撮像データは、音声データを含んでいても良いし、含んでいなくても良い。
【００３０】
図３は、一実施形態に係る監視装置による撮像の例を示す図である。図３の例では、例えば、天井に取り付けられた１台の監視カメラ等を撮像手段２１９として用いて、対象物の撮像データを取得している。尚、撮像手段は、複数台設けられていても良いし、天井以外の場所に設けられていても良い。
【００３１】
図２に戻って説明を続ける。監視装置１０４の記憶手段２２０は、例えば、撮像手段２１９により撮像された撮像データ２２１、対象物に対する撮像手段の相対位置、角度、絶対位置等の監視位置情報２２２等を記憶する。尚、一例ではあるが、監視位置情報２２２は、固定値であっても良い。
【００３２】
計算手段２２３は、画像表示装置１０１から受信した、位置、方向等の情報と、記憶手段２２０に記憶された監視位置情報２２２とを用いて、対象物に対する画像表示装置１０１の相対位置、及び向きを計算する。計算手段２２３の計算結果により、情報提供装置１０６は、対象物に対する画像表示装置１０１の相対位置と、画像表示装置１０１が対象物の方向を向いているか否かを判断することができる。
【００３３】
受信手段２２４は、画像表示装置１０１が送信する、画像表示装置１０１の位置、方向等の情報を受信する。送信手段２２５は、撮像手段２１９が撮像した撮像データと、計算手段２２３が計算した画像表示装置１０１の相対位置、向き等の情報をサーバ装置１０２に送信する。
【００３４】
上記構成により、監視装置１０４は、対象物の撮像データと、画像表示装置１０１の相対位置、向き等の情報とを計算又は取得し、サーバ装置１０２へ送信する。
【００３５】
尚、監視装置１０４は、例えば、コンピュータの構成を有し、撮像手段２１９、記憶手段２２０、計算手段２２３、受信手段２２４、送信手段２２５等は、監視装置１０４で動作するプログラムによって実現されるものであっても良い。また、上記各手段のうちの少なくとも一部は、ハードウェアによって実現されるものであっても良い。
【００３６】
（対象物画像ＤＢの機能構成）
対象物画像ＤＢ１０３は、画像データ蓄積手段２１８を有する。画像データ蓄積手段２１８は、監視（表示）対象となる対象物を複数の異なる方向から撮像した複数の画像データ（カラー画像、２値画像等）を予め記憶し、データの取り出しや、編集が可能なデータベースである。
【００３７】
図４は、一実施形態に係る対象物画像データベースに記憶される画像の例を示す図である。対象物画像ＤＢ１０３に記録される対象物の複数の画像データは、例えば、図４の視点１〜４等のように、複数の異なる角度（視点）から対象物を撮像した画像データである。このとき、対象物に対する複数の撮像ポイントの距離と、高さは、一定であることが望ましい。また、撮像ポイントの数（角度の間隔）は任意で良いが、例えば、前後左右等、あらゆる角度から撮像したデータであることが望ましい。また、各画像データは、カラー画像と２値画像の２つを用意しておくと良い。尚、カラー画像と２値画像の利用方法については後述する。
【００３８】
尚、対象物画像ＤＢ１０３は、例えば、コンピュータの構成を有し、画像データ蓄積手段２１８は、対象物画像ＤＢ１０３で動作するプログラムによって実現されるものであっても良い。また、画像データ蓄積手段２１８の少なくとも一部は、ハードウェアによって実現されるものであっても良い。
【００３９】
（サーバ装置の機能構成）
図２において、サーバ装置１０２は、抽出手段２０６、生成手段２０７、記憶手段２１１、送信手段２１６、受信手段２１７等を有する。
【００４０】
抽出手段２０６は、対象物画像ＤＢ１０３に記録された表示（監視）対象となる対象物の複数の画像データの中から、少なくとも一つの画像データを抽出する。抽出手段２０６は、例えば、監視装置１０４から受信した、対象物に対する画像表示装置１０１の相対位置の情報に基づいて、画像表示装置１０１から対象物を見た場合の角度に近い画像データを、複数の画像データの中から抽出する。また、後述する複数の表示画像の生成方法に合わせて、カラー画像、又は２値画像のデータを抽出する。
【００４１】
生成手段２０７は、抽出手段２０６が抽出した画像データに基づいて、画像表示装置１０１に表示させる表示画像を生成する。例えば、生成手段２０７は、監視装置１０４から受信した現在の対象物の撮像データと、抽出手段２０６が抽出した画像データとを用いて、表示画像を生成する。生成手段２０７は、例えば、マッチング部２０８、色情報追加部２０９、付加情報生成部２１０等を含む。
【００４２】
生成手段２０７のマッチング部２０８は、監視装置１０４の撮像手段２１９で撮像されるリアルタイムの撮像映像と、抽出手段２０６によって抽出されたデータベースの画像との特徴点のマッチングを行う。
【００４３】
生成手段２０７の色情報追加部２０９は、データベースの２値の画像データから表示画像を生成する場合、マッチング部２０８の処理結果に基づいて、リアルタイムの撮像映像の色情報を２値の画像へテクスチャマッピングする。
【００４４】
生成手段２０７の付加情報生成部２１０は、例えば、リアルタイムの撮像情報、画像表示装置１０１の測位データ情報、予め設定したおすすめ情報等の情報に基づいて、表示画像に重畳して表示させる付加情報の画像データを生成する。付加情報は、例えば、対象物、及び対象物の周囲に係る情報、例えば、混雑度、対象物までの方向、距離等の情報、対象物の名称、おすすめ情報等の情報である。
【００４５】
記憶手段２１１は、後述する画像生成方法の設定情報２１２、監視装置１０４から受信した撮像データ２１３及び相対位置情報２１４、対象物及びその周囲の付加情報２１５等を記憶する。
【００４６】
送信手段２１６は、生成手段２０７が生成した表示画像を画像表示装置１０１に送信する。受信手段２１７は、監視装置１０４から、対象物の撮像データ、対象物に対する画像表示装置１０１の相対位置の情報等を受信し、記憶手段２１１に記憶する。
【００４７】
上記構成により、サーバ装置１０２は、表示（監視）対象となる対象物に対する画像表示装置１０１の相対位置の情報に基づいて、対象物画像ＤＢ１０３に記録された対象物の複数の画像データの中から、少なくとも一つの画像データを抽出する。さらに、抽出した画像データ、及び監視装置１０４から受信した撮像データに基づいて、画像表示装置１０１に表示させる表示画像を生成する。これにより、サーバ装置１０２は、対象物の現在の状態に係る情報を含む表示画像を画像表示装置１０１に表示させることができるようになる。
【００４８】
尚、サーバ装置１０２は、例えば、コンピュータの構成を有し、抽出手段２０６、生成手段２０７、記憶手段２１１、送信手段２１６、受信手段２１７等は、サーバ装置１０２で動作するプログラムによって実現されるものであっても良い。また、上記各手段のうちの少なくとも一部は、ハードウェアによって実現されるものであっても良い。
【００４９】
以上、上記構成により、情報処理システム１００は、画像表示装置１０１の位置から、距離、障害物等の影響により見え難い対象物の現在の状況に係る情報を含む表示画像を生成し、また付加情報を重畳して画像表示装置１０１に表示することができるようになる。
【００５０】
尚、図２の機能構成は一例であって、本発明の範囲を限定するものではない。例えば、監視装置１０４が監視位置情報２２２を記憶し、画像表示装置１０１との相対位置を計算するものとして説明を行ったが、監視位置情報２２２の記憶、及び相対位置の計算は、画像表示装置１０１又はサーバ装置１０２が行っても良い。また、サーバ装置１０２が、抽出手段２０６及び生成手段２０７を有するものとして説明を行ったが、抽出手段２０６又は生成手段２０７は、画像表示装置１０１又は監視装置１０４が有していても良い。さらに、図２において、監視装置１０４の撮像手段２１９及び送信手段２２５以外の構成要素の少なくとも一部は、画像表示装置１０１が有していても良い。
【００５１】
＜画像の生成方法について＞
ここで、サーバ装置１０２の生成手段２０７による表示画像の生成方法の例について説明する。
【００５２】
図５は、一実施形態に係る設定に応じた画像生成方法の例を説明するための図である。本実施の形態に係るサーバ装置１０２は、画像表示装置１０１に表示させる表示画像を生成する３つの手段Ａ、Ｂ、Ｃを有している。
【００５３】
手段Ａは、監視装置１０４から受信した、対象物に対する画像表示装置１０１の相対位置情報に基づいて、対象物画像ＤＢ１０３から対象物のカラー画像を抽出し、抽出した画像に対して付加情報を追加して表示画像を生成する。
【００５４】
手段Ｂは、対象物に対する画像表示装置１０１の相対位置情報に基づいて、対象物画像ＤＢ１０３から対象物の２値画像を抽出し、抽出した画像に対して、監視装置１０４から受信したリアルタイムの撮像データとの特徴点のマッチング処理を行う。また、マッチング処理によって得られた特徴点に基づいて、撮像データの色情報を２値画像に塗布した画像に、付加情報を追加して表示画像を生成する。
【００５５】
手段Ｃは、対象物に対する画像表示装置１０１の相対位置情報に基づいて、対象物画像ＤＢ１０３から対象物のカラー画像を取得し、取得した画像と、監視装置１０４から受信したリアルタイムの撮像データと、を所定のフレーム毎にマッチング処理を行う。また、相対位置情報と画像データのマッチング結果から３次元的な画像データを作成する。さらに、生成された３次元的な画像データと、画像表示装置１０１の相対角度情報とに基づいて、画像表示装置１０１から３次元画像データを見た場合の２次元画像データを生成し、生成された２次元画像に付加情報を追加して表示画像を生成する。
【００５６】
尚、上記３つの表示画像の生成手段は、画像表示装置１０１の設定手段２０５を用いて選択可能である。また、選択された生成手段の情報は、サーバ装置１０２の記憶手段２１１に設定情報２１２として記憶される。
【００５７】
＜処理の流れ＞
図６は、第１の実施形態に係る情報処理システムの処理の流れを示すシーケンスチャートである。尚、図６において、監視装置１０４は、対象物の撮像を常に行っているものとする。
【００５８】
画像表示装置１０１は、例えば、利用者が画像表示装置の電源を投入し、設定手段２０５より画像生成手段の設定を行うと（ステップＳ６０１）、選択された画像生成手段の情報をサーバ装置１０２に送信する（ステップＳ６０２）。サーバ装置１０２は、受信した画像生成手段の情報を、例えば、記憶手段２１１の設定情報２１２等に記憶する（ステップＳ６０３）。また、画像表示装置１０１は、画像表示装置１０１又は表示手段２０４の、現在の位置、方向等の情報を取得し（ステップＳ６０４）、取得した情報を情報提供装置１０６の監視装置１０４等へ送信する（ステップＳ６０５）。
【００５９】
監視装置１０４は、受信した画像表示装置１０１の位置、方向等の情報と、記憶手段２２０に予め記憶した監視位置情報２２２等を用いて、画像表示装置１０１の相対位置を計算する（ステップＳ６０６）。また、計算した相対位置の情報と、撮像手段２１９が撮像した対象物の撮像データとをサーバ装置１０２へ送信する（ステップＳ６０７）。
【００６０】
サーバ装置１０２は、監視装置１０４から受信した相対位置の情報に基づいて、対象物画像ＤＢ１０３に予め記録された複数の対象物の画像データの中から、画像表示装置１０１の相対位置の角度に近い画像データを抽出する（ステップＳ６０８）。次に、サーバ装置１０２は、例えば、監視装置１０４から受信した撮像データより現在の対象物の情報を解析（ステップＳ６０９）、及び画像生成手段の情報の確認（ステップＳ６１０）等、画像生成の準備を行う。
【００６１】
さらに、サーバ装置１０２は、ステップＳ６０１で設定された画像生成手段に応じて、例えば、監視装置１０４から受信した撮像データ、及びステップＳ６０８で抽出した画像データ等を用いて、表示画像の生成を行う（ステップＳ６１１）。また、サーバ装置１０２は、生成した表示画像のデータを画像表示装置１０１へ送信する（ステップＳ６１２）。画像表示装置１０１は、受信した表示画像を表示手段２０４に表示する（ステップＳ６１３）。
【００６２】
（画像表示装置の処理の流れ）
図７は、第１の実施形態に係る画像表示装置の処理の流れを示すフローチャートである。図７において、画像表示装置１０１の電源が投入されると（ステップＳ７０１）、設定手段２０５は、例えば、画像生成手段の選択画面を表示手段２０４に表示し、利用者に画像の生成方法の選択を促す（ステップＳ７０２）。利用者により、画像生成手段が選択されると、画像表示装置１０１は、選択された画像生成手段の情報を、送信手段２０２を介して情報提供装置１０６の、例えば、サーバ装置１０２に送信する（ステップＳ７０３）。尚、画像生成手段の設定は、ステップＳ７０４において、随時変更可能である。
【００６３】
ステップＳ７０４にて、画像生成手段の設定の変更がない場合、取得手段２０１は、画像表示装置１０１又は表示手段２０４の位置、方向等の情報を取得し（ステップＳ７０５）、取得した情報を監視装置１０４へ送信する（ステップＳ７０６）。その後、サーバ装置１０２から表示画像のデータを受信すると（ステップＳ７０７）、受信した表示画像を表示手段２０４に表示（出力）する（ステップＳ７０８）。
【００６４】
一方、ステップＳ７０７において、表示画像のデータを受信しなかった場合、監視対象フラグがオンとなっているか否かを判断する（ステップＳ７０９）。監視対象フラグは、画像表示装置１０１又は表示手段２０４が対象物の方向を向いている場合にオンとなるフラグである。本実施の形態では、監視装置１０４が、画像表示装置１０１又は表示手段２０４が対象物の方向を向いているか否かの判断を行うことを想定しているが、例えば、画像表示装置１０１が、予め記憶した対象物の位置情報等に基づいて判断するものであっても良い。或いは、サーバ装置１０２が、画像表示装置１０１又は表示手段２０４が対象物の方向を向いているか否かの判断を行うものであっても良い。
【００６５】
ステップＳ７０９において、監視対象フラグがオンと判断された場合、画像の更新を行わす、表示済の表示画像の表示を継続する。一方、監視対象フラグがオフの場合、対象物の表示画像を表示する必要がなくなるので、透過画像を表示手段２０４に表示させる（ステップＳ７１０）。これにより、例えば、画像表示装置１０１の利用者が見ている光景を透過画像として表示手段２０４に表示する。これにより、画像表示装置１０１が対象物の方向を向いている場合、生成した対象物の表示画像を表示し、画像表示装置１０１が対象物の方向を向いていない場合、透過画像を表示することができる。
【００６６】
画像表示装置１０１は、例えば、画像表示装置１０１の電源がオフとなるまで、ステップＳ７０４〜Ｓ７１０の処理を繰り返す（ステップＳ７１１）。
【００６７】
（監視装置の処理の流れ）
図８は、第１の実施形態に係る監視装置の処理の流れを示すフローチャートである。図８において、撮像手段２１９の電源がオンになると（ステップＳ８０１）、撮像手段２１９は、対象物の撮像を開始する（ステップＳ８０２）。
【００６８】
監視装置１０４は、画像表示装置１０１の位置、方向等の情報である測位データを受信すると（ステップＳ８０３）、画像表示装置１０１又は表示手段２０４の相対位置を計算し（ステップＳ８０４）、相対位置フラグを更新する（ステップＳ８０５）。相対位置フラグは、対象物に対する画像表示装置１０１又は表示手段２０４の相対位置が大きく変化した場合にオンに設定されるフラグ情報である。
【００６９】
相対位置フラグが更新されると、監視装置１０４は、画像表示装置１０１又は表示手段２０４が、対象物の方向を向いているか否かを判断する（ステップＳ８０６）。画像表示装置１０１又は表示手段２０４が、対象物の方向を向いていると判断された場合、監視対象物フラグをオンにする（ステップＳ８０７）。また、撮像した画像を所定の形式のデジタルデータに変換し（ステップＳ８０８）、撮像情報の解析を行う（ステップＳ８０９）。これにより、付加情報を更新する必要があるか否かの判断を行う（ステップＳ８１０）。
【００７０】
付加情報を更新する必要がない場合、監視装置１０４は、相対位置フラグの状態を確認する（ステップＳ８１１）。ステップＳ８１１において、相対位置フラグがオンの場合、監視装置１０４は、撮像データ、相対位置の情報、フラグ情報等をサーバ装置１０２へ送信する。また、ステップＳ８１１において、相対位置フラグがオフの場合、例えば、フラグ情報のみをサーバ装置１０２へ送信する（ステップＳ８１４）。
【００７１】
また、ステップＳ８１０において、付加情報を更新する必要がある場合、監視装置１０４は、相対位置フラグによらずに、撮像データ、相対位置情報、フラグ情報等をサーバ装置１０２へ送信する（ステップＳ８１２）。
【００７２】
尚、ステップＳ８０６において、画像表示装置１０１又は表示手段２０４が対象物の方向を向いていないと判断された場合、監視装置１０４は、監視対象物フラグをオフとし（ステップＳ８１３）、フラグ情報をサーバ装置１０２へ送信する（ステップＳ８１４）。
【００７３】
監視装置１０４は、例えば、監視装置１０４又は撮像手段２１９の電源がオフとなるまで、ステップＳ８０３〜Ｓ８１４の処理を繰り返す（ステップＳ７１１）。
【００７４】
（サーバ装置の処理の流れ）
図９は、第１の実施形態に係るサーバ装置の処理の流れを示す図である。図９において、サーバ装置１０２は、画像表示装置１０１から画像生成手段の情報を受信すると（ステップＳ９０１）、受信した画像生成手段の情報を記憶手段２１１に、例えば、設定情報２１２として記憶する（ステップＳ９０２）。
【００７５】
また、サーバ装置１０２は、監視装置１０４から撮像データを受信すると（ステップＳ９０３）、相対位置フラグを確認する（ステップＳ９０４）。相対位置フラグがオフの場合、受信した撮像データに基づいて、付加情報の画像データを生成し（ステップＳ９０５）、表示画像の付加情報を更新する（ステップＳ９０６）。
【００７６】
一方、ステップＳ９０４において、相対位置フラグがオンの場合、記憶手段２１１に記憶された設定情報２１２を参照し、画像生成手段の設定が手段Ｂであるか否かを判断する（ステップＳ９０７）。
【００７７】
画像生成手段の設定が手段Ｂでない場合、サーバ装置１０２は、対象物画像ＤＢ１０３から、相対位置情報に応じた対象物のカラー画像を取得する（ステップＳ９０８）。また、画像生成手段の設定が手段Ａの場合（ステップＳ９０９）、手段Ａによる表示画像の生成処理を行う（ステップＳ９１０）。一方、ステップＳ９０９において、画像生成手段の設定が手段Ａで無い場合、手段Ｂによる表示画像の生成処理を行う（ステップＳ９１１）。
【００７８】
尚、ステップＳ９０７において、画像生成手段の設定が手段Ｂである場合、サーバ装置１０２は、対象物画像ＤＢ１０３から、相対位置情報に応じた対象物の２値画像を取得し（ステップＳ９１２）、手段Ｂの画像生成処理を行う（ステップＳ９１３）。
【００７９】
次に、ステップＳ９１６において、ステップＳ９０６、Ｓ９１０、Ｓ９１１又はＳ９１３で生成された表示画像を画像表示装置１０１へ送信する（ステップＳ９１６）。
【００８０】
尚、撮像データを受信せずに、フラグ情報のみを受信した場合（ステップＳ９１４）、監視対象物フラグを画像表示装置１０１へ送信する（ステップＳ９１５）。
【００８１】
＜生成手段の処理の流れ＞
次に、生成手段Ａ、Ｂ、Ｃの処理の流れについて説明する。尚、生成手段Ａ、Ｂ、Ｃの処理の流れについては、第２、第３の実施の形態においても同様である。
【００８２】
（手段Ａ）
図１０は、一実施形態に係る手段Ａの処理の流れを示すフローチャートである。手段Ａは、対象物画像ＤＢ１０３から抽出した対象物のカラー画像に、サーバ装置１０２で生成する付加情報を重畳させた表示画像を生成する。
【００８３】
図１０において、サーバ装置１０２の生成手段２０７は、画像の生成を開始すると、付加情報の更新が必要か否かを判断する（ステップＳ１００１）。生成手段２０７は、例えば、現在の時刻、前回の付加情報の更新からの経過時間、対象物周辺の混雑度等に基づいて付加情報の更新の要否を判断する。或いは、生成手段２０７は、他の条件に基づいて、付加情報の更新の要否を判断するものであっても良い。
【００８４】
付加情報の更新が必要と判断された場合、付加情報生成部２１０は、監視装置１０４から受信した撮像データを解析して、付加情報の画像を生成し（ステップＳ１００２）、記憶手段２１１に付加情報２１５として記憶する（ステップＳ１００３）。
【００８５】
次に、生成手段２０７は、記憶部に記憶された付加情報２１５の画像と、対象物画像ＤＢ１０３から抽出した対象物のカラー画像とを合成する（ステップＳ１００４）。
【００８６】
一方、ステップＳ１００１で付加情報の更新が不要と判断された場合、記憶手段２１１に記憶された付加情報２１５の画像と、対象物画像ＤＢ１０３から抽出した対象物のカラー画像とを合成する（ステップＳ１００５）。
【００８７】
（手段Ｂ）
図１１は、一実施形態に係る手段Ｂの処理の流れを示すフローチャートである。手段Ｂは、対象物画像ＤＢ１０３から抽出した対象物の２値画像と、監視装置から受信した撮像データとの画像マッチングを行い、マッチングの結果から色情報を２値画像に追加し、さらに付加情報を重畳させた表示画像を生成する。
【００８８】
図１１において、サーバ装置１０２の生成手段２０７は、画像の生成を開始すると、付加情報の更新が必要か否かを判断する（ステップＳ１１０１）。付加情報の更新が必要な場合、付加情報生成部２１０は、監視装置１０４から受信した撮像データを解析して、付加情報の画像を生成し（ステップＳ１１０２）、記憶手段２１１に付加情報２１５として記憶する（ステップＳ１１０３）。
【００８９】
次に、生成手段２０７は、監視装置１０４から受信した撮像データと、対象物画像ＤＢ１０３から抽出された２値画像との画像マッチングを行う（ステップＳ１１０４）。また、マッチング結果に基づいて、色データ（テクスチャ）を対象物画像ＤＢ１０３から抽出された２値画像に塗布（追加）した画像を作成する（ステップＳ１１０５）。さらに、作成された画像と、記憶手段２１１に記憶された付加情報２１５の画像とを合成する（ステップＳ１１０６）。
【００９０】
（手段Ｃ）
図１２は、一実施形態に係る手段Ｃの処理の流れを示すフローチャートである。手段Ｃは、対象物画像ＤＢ１０３から抽出した対象物のカラー画像と、監視装置から受信した撮像データとの画像マッチングを行い、３次元的な対応点を算出する。さらに、対象物に対する画像表示装置１０１又は表示手段２０４の相対位置に基づいて、画像表示装置１０１の方向から見た対象物の２次元の表示画像を生成する。
【００９１】
図１２において、サーバ装置１０２の生成手段２０７は、画像の生成を開始すると、付加情報の更新が必要か否かを判断する（ステップＳ１２０１）。付加情報の更新が必要な場合、付加情報生成部２１０は、監視装置１０４から受信した撮像データを解析して、付加情報の画像を生成し（ステップＳ１２０２）、記憶手段２１１に付加情報２１５として記憶する（ステップＳ１２０３）。
【００９２】
次に、生成手段２０７は、監視装置１０４から受信した撮像データと、対象物画像ＤＢ１０３から抽出されたカラー画像との画像マッチングを行う（ステップＳ１２０４）。マッチングの結果より、撮像データと抽出されたカラー画像との3次元的な対応点が算出されるため（ステップＳ１２０５）、それを用いて画像表示装置１０１又は表示手段２０４の角度から見たときの２次元の画像データを生成する（ステップＳ１２０６）。さらに、作成された画像と、記憶手段２１１に記憶された付加情報２１５の画像とを合成する（ステップＳ１２０７）。
【００９３】
＜まとめ＞
以上、本実施の形態に係る情報処理システム１００は、表示手段２０４の位置に係る情報（相対位置情報等）に基づいて、表示対象となる対象物の予め記憶された複数の画像データの中から一の画像データを抽出する。また、対象物に係る更新されたデータ（撮像データ等）及び抽出された画像データに基づいて、表示手段２０４に表示させる表示画像を生成する。
【００９４】
これにより、表示手段２０４は、表示手段２０４から、例えば、障害物、距離等の影響により視認が困難な対象物の現在の状況に係る情報を含む表示画像を、利用者の視点に近い形で表示することができるようになる。
【００９５】
また、上記対象物に係る更新されたデータは、例えば、動画等の継続的に更新される撮像データであるため、情報処理システム１００は、対象物及びその周囲の直近の状況が反映された、対象物の画像を表示することができるようになる。
【００９６】
［第２の実施形態］
第１の実施形態では、表示（監視）対象となる対象物が１つの場合について説明を行ったが、第２の実施形態では、複数の対象物の中から表示対象となる対象物を選択する場合の構成について説明する。さらに、対象物の縮尺表示の大きさを調整する構成についても説明する。
【００９７】
図１３は、第２の実施形態に係る情報処理システム１００の機能構成の例を示す図である。尚、基本的な構成は、図２に示した第1の実施形態と同様なので、ここでは図２の構成との差分を中心に説明を行う。
【００９８】
図１３において、画像表示装置１０１は、複数の対象物の中から表示対象となる対象物を選択する対象物選択手段１３０１と、対象物の縮尺表示の大きさを調整する縮尺選択手段１３０２と、をさらに有している。
【００９９】
また、情報提供装置１０６は、複数の対象物に対応する複数の監視装置１０４と、画像表示装置１０１の対象物選択手段１３０１によって選ばれた対象物を監視対象として選択する監視対象選択手段１３０３を有する。複数の監視装置１０４の各々は、監視対象となる対象物の視認が容易な範囲を示す情報を記憶手段２２０に検出範囲情報１３０９等として予め記憶している。また、監視装置１０４は、自装置が監視対象として選択されたか否かを判定する監視対象判定手段１３０７と、画像表示装置１０１が検出範囲情報１３０９が示す範囲に入った場合に、表示画像の表示内容を制御する対象物検出手段１３０８とをさらに有する。
【０１００】
対象物画像ＤＢ１０３は、画像表示装置１０１の対象物選択手段１３０１によって選ばれた対象物の複数の画像データを抽出対象として選択する画像選択手段１３０６をさらに有する。
【０１０１】
また、サーバ装置１０２は、表示画像の縮尺を調整する縮尺調整手段１３０４と、画像表示装置１０１と対象物との距離等に応じて、表示画像又は付加情報の更新頻度等を調整する更新調整手段１３０５とをさらに有する。
【０１０２】
更新調整手段１３０５について、例えば、画像表示装置１０１と表示対象となる対象物との距離が離れている場合、画像表示装置１０１の移動に伴う対象物との相対角度の変化は比較的少ない。しかし、画像表示装置１０１と対象物との距離が近い場合、画像表示装置１０１の移動量が同じであっても、大きく相対角度が変化する場合がある。そのため、更新調整手段１３０５は、画像表示装置１０１と対象物との相対距離、又は相対角度等に応じて表示画像、付加情報等を更新する、又は更新頻度を変化させる制御を行う。
【０１０３】
上記各構成により、本実施の形態では、表示対象となる対象物を選択することができるようになる。また、縮尺比率を調整できるので、対象物との距離等に応じてスムーズな画像の切替、表示等が行えるようになる。さらに、画像表示装置１０１と対象物との相対距離、又は相対角度等に応じて付加情報を更新する頻度等を変更可能となり、通信効率を向上することができる。
【０１０４】
＜処理の流れ＞
（画像表示装置の処理の流れ）
図１４は、第２の実施形態に係る画像表示装置の処理の流れを示すフローチャートである。尚、基本的な処理の流れは、第１の実施形態で説明を行った図７と同様なので、ここでは図７との差分を中心に説明を行う。
【０１０５】
図１４において、画像表示装置１０１の利用者は、新たに追加された縮尺選択手段１３０２により画像の縮尺比率の設定（ステップＳ１４０３）が可能となっている。設定された画像の縮尺比率の情報は、画像生成手段の情報と共にサーバ装置１０２へ送信される（ステップＳ１４０４）。尚、利用者は、ステップＳ１４０５、Ｓ１４０６により、画像生成手段、及び縮尺比率の設定を変更することができる。
【０１０６】
また、利用者は、新たに追加された対象物選択手段１３０１により、表示対象（情報取得対象）となる対象物の選択（ステップＳ１４０７）が可能となっている。選択された対象物の情報は、画像表示装置１０１の位置、情報等の情報（測位データ）と共に情報提供装置１０６の監視対象選択手段１３０３へ送信される（ステップＳ１４０９）。尚、他の処理は、第１の実施形態と同様で良い。
【０１０７】
（監視対象選択手段の処理の流れ）
図１５は、第２の実施形態に係る監視対象選択手段の処理の流れを示すフローチャートである。尚、監視対象選択手段１３０３は、例えば、独立した装置、サーバ等であっても良いし、サーバ装置１０２、監視装置１０４等に含まれるプログラム等であっても良い。
【０１０８】
図１５において、監視対象選択手段１３０３は、画像表示装置１０１から、位置、方向等の情報、及び選択された対象物の情報を受信すると（ステップＳ１５０１）、監視対象となる対象物が変更されたか否かを判断する（ステップＳ１５０２）。
【０１０９】
監視対象となる対象物が変更されていない場合、監視対象選択手段１３０３は、画像表示装置１０１から受信した位置、方向等の情報を、監視対象となる監視装置１０４に送信する（ステップＳ１５０４）。一方、監視対象となる対象物が変更されている場合、監視対象選択手段１３０３は、監視対象となる監視装置１０４を切り替えてから（ステップＳ１５０３）、画像表示装置１０１から受信した位置、方向等の情報を、新たな監視対象となる監視装置１０４に送信する（ステップＳ１５０４）。
【０１１０】
このようにして、監視対象選択手段１３０３は、画像表示装置１０１から受信した位置、方向等の情報を、監視対象となる監視装置１０４に転送する。
【０１１１】
（監視装置の処理の流れ）
図１６は、第２の実施形態に係る監視装置の処理の流れを示すフローチャートである。尚、基本的な処理の流れは、第１の実施形態で説明を行った図８と同様なので、ここでは差分を中心に説明を行う。
【０１１２】
新たに追加された監視対象判定手段１３０７により、図１６のステップＳ１６０８において、監視対象が自装置に変更されたか否かを判断する処理が追加されている。ここで、自装置が以前から監視対象となっていた場合、特に処理を行わずにステップＳ１６１０へ進む。一方、自装置が新たに監視対象となった場合、すなわち監視対象が変更になった場合、監視装置１０４は、対象物画像ＤＢ１０３に、抽出の対象となる画像グループを特定するための情報を送信する（ステップＳ１６０９）。これにより、サーバ装置１０２が画像を抽出する画像グループを限定し、画像の抽出を容易にすることができる。
【０１１３】
また、新たに追加された対象物検出手段１３０８により、図１６のステップＳ１６１２において、対象物の検出範囲内に画像表示装置１０１が存在するか否かを判断する処理が追加されている。監視装置１０４は、例えば、対象物の視認が容易な範囲又は距離等を、記憶手段２２０に検出範囲情報１３０９として予め記憶しておき、画像表示装置１０１の位置、方向等の情報に基づいて、画像表示装置１０１が検出範囲内に存在するかどうかを判断する。
【０１１４】
監視装置１０４は、対象物の検出範囲内に画像表示装置１０１が存在する場合、対象物検出範囲フラグをオンにする（ステップＳ１６１３）。一方、対象物の検出範囲内に画像表示装置１０１が存在しない場合、対象物検出範囲フラグをオフにする（ステップＳ１６１４）。対象物検出範囲フラグの状態は、図１６のステップＳ１６１７、又はＳ１６１９において、サーバ装置１０２へ送信される。尚、他の処理は、第１の実施形態と同様で良い。
【０１１５】
このようにして、監視対象選択手段１３０３によって選択された監視装置１０４は、対象物画像ＤＢ１０３に抽出対象となる画像グループに係る情報を送信する。また、監視装置１０４は、画像表示装置１０１が対象物の視認が容易な範囲に存在するか否かを示すフラグ情報をサーバ装置１０２へ送信する。
【０１１６】
（サーバ装置の処理の流れ）
図１７は、第２の実施形態に係るサーバ装置の処理の流れを示すフローチャートである。尚、基本的な処理の流れは、第１の実施形態で説明を行った図９と同様なので、ここでは差分を中心に説明を行う。
【０１１７】
図１７のステップＳ１７０３において、サーバ装置１０２が監視装置１０４から撮像データを受信すると、撮像データと共に送られてくる対象物検出フラグの状態を判断する処理（ステップＳ１７０４）が追加されている。ここで、対象物検出フラグがオンの場合、画像表示装置１０１の位置から対象物を容易に視認できると判断して、対象物の画像生成を行わず、付加情報のみを画像表示装置１０１へ送信する（ステップＳ１７２１）。
【０１１８】
一方、対象物検出フラグがオンの場合、新たに追加された更新調整手段１３０５により、画像表示装置１０１に表示画像を送ったときから、距離、角度等の変化が少ないか否かを判断する（ステップＳ１７０５）。ここで、画像表示装置１０１に表示画像を送ったときから、距離、角度等の変化が少ないと判断された場合、サーバ装置１０２は、画像表示装置１０１への表示画像の生成、及び送信を行わない。また、画像表示装置１０１に表示画像を送ったときから、距離、角度等の変化が少なくない場合、サーバ装置１０２は、通常通り、画像表示装置１０１への表示画像の生成、及び送信を行う。
【０１１９】
また、新たに追加された縮尺調整手段１３０４により、ステップＳ１７０８、Ｓ１７１２、Ｓ１７１３又はＳ１７１５で生成された表示（生成）画像の縮尺情報が変更されたか否かの判断を行う処理が追加されている（ステップＳ１７１６）。ステップＳ１７１６において、表示画像の縮尺情報が変更されたと判断された場合、縮尺調整手段１３０４により表示画像の縮尺の調整を行い（ステップＳ１７７７）、画像表示装置１０１へ送信される（ステップＳ１７１８）。一方、ステップＳ１７１６において、表示画像の縮尺情報が変更されていないと判断された場合、縮尺の調整を行わずに、表示画像の送信が行われる。
【０１２０】
このように、サーバ装置１０２は、画像表示装置１０１が対象物を容易に視認可能な範囲内に存在する場合、対象物の表示画像の生成を行わず、付加情報のみを画像表示装置１０１へ送信する。
【０１２１】
また、画像表示装置１０１へ表示画像を前回送信したときから、画像表示装置の距離、角度等の変化が少ない場合、サーバ装置１０２は、画像表示装置１０１への表示画像の送信を、例えば、行わない。或いは、このとき、サーバ装置１０２は、画像表示装置１０１への表示画像の更新頻度を少なくするものであっても良い。
【０１２２】
さらに、サーバ装置１０２は、画像表示装置１０１から受信した縮尺情報に応じて、表示画像の縮尺を変更することができる。また、別の一例として、サーバ装置１０２は、対象物と画像表示装置１０１との距離等に応じて、表示画像の縮尺を変更するものであっても良い。
【０１２３】
［第３の実施形態］
第３の実施形態では、複数の監視装置１０４によって取得された撮像データを用いて、画像表示装置１０１に表示させる表示画像を生成する場合の例について説明する。
【０１２４】
図１８は、第３の実施形態に係る情報処理システムの機能構成の例を示す図である。尚、基本的な構成は、図１３に示した第２の実施形態と同様なので、ここでは図１３の構成との差分を中心に説明を行う。
【０１２５】
まず、画像表示装置１０１の設定手段２０５について、第１及び第２の実施形態では、設定手段２０５により、画像表示装置１０１に表示させる表示画像の生成手段として、手段Ａ〜Ｃの３つの画像生成手段を選択することができるものとして説明を行った。本実施の形態では、さらに第４の画像生成手段として、２つの監視装置１０４によって撮像された撮像データを用いて、画像表示装置１０１に表示させる表示画像を生成する手段Ｄを、設定手段２０５により選択可能となっている。
【０１２６】
また、本実施の形態に係る情報提供装置１０６の監視対象選択手段１３０３は、生成手段記憶部１８０１、データ受信部１８０２、位置データ送信部１８０３、監視装置計算部１８０４等を有している。生成手段記憶部１８０１は、画像表示装置１０１で選択された画像生成手段を記憶する。データ受信部１８０２は、画像表示装置１０１からの位置情報や、他の監視装置１０４からの周辺の監視装置の情報等を受信する。位置データ送信部１８０３は、画像表示装置１０１から受信した位置情報等を、表示対象となる監視装置１０４へ送信する。監視装置計算部１８０４は、画像表示装置１０１の対象物選択手段１３０１にて選択された監視装置１０４（以下、メイン監視装置と呼ぶ）以外の監視装置１０４の中から、表示画像の生成に用いるサブの監視装置を計算する。例えば、監視装置計算部１８０４は、メイン監視装置の周囲の監視装置１０４の中から、画像表示装置１０１に最も近い監視装置１０４をサブの監視装置として選択する。
【０１２７】
複数の監視装置１０４の各々は、自装置の周辺の他の監視装置１０４（例えば、２つ程度）に関する情報を、記憶手段２２０に監視装置情報１８０６として予め記憶している。また、各監視装置１０４は、前述した画像生成手段Ｄが選択された場合に、記憶手段２２０に記憶した監視装置情報１８０６に基づいて、周辺の監視装置１０４の情報を監視対象選択手段１３０３に送信する。
【０１２８】
サーバ装置１０２の生成手段２０７は、前述した手段Ｄによる画像生成、すなわち、２つの監視装置１０４からの撮像データに基づいて、画像表示装置１０１に表示させる表示画像を生成するモードに対応している。尚、このとき、サーバ装置１０２は、抽出手段２０６を用いて、対象物画像ＤＢ１０３から画像の抽出を行わなくても良い。
【０１２９】
上記構成により、２つの監視装置１０４によって撮像された対象物の撮像データに基づいて、画像表示装置１０１に表示させる表示画像を生成することが可能となる。
【０１３０】
＜処理の流れ＞
（画像表示装置の処理の流れ）
図１９は、第３の実施形態に係る画像表示装置１０１の処理の流れを示すフローチャートである。尚、基本的な処理の流れは、第２の実施形態で説明を行った図１４と同様なので、ここでは図１４との差分を中心に説明を行う。
【０１３１】
図１４のステップＳ１９０２において、画像生成手段の選択を行うことができるのは、第２の実施形態と同様である。但し、本実施の形態では、ステップＳ１９０２において、画像生成手段として、手段Ａ〜Ｃに加えて前述した手段Ｄを選択可能となっている。ステップＳ１９０２で設定された画像生成手段の情報は、ステップＳ１９０４において、サーバ装置１０２及び監視対象選択手段１３０３に送信される。
【０１３２】
また、第２の実施例と同様、ステップＳ１９０８において取得された、画像表示装置１０１又は表示手段２０４の位置、方向等の情報は、ステップＳ１９０９において、監視対象選択手段１３０３に送信される。
【０１３３】
（監視対象選択手段の処理の流れ）
図２０は、第３の実施形態に係る対象物制御手段の処理の流れを示すフローチャートである。尚、基本的な処理の流れは、第２の実施形態で説明を行った図１５と同様なので、ここでは図１５との差分を中心に説明を行う。
【０１３４】
まず、ステップＳ２００１において、監視対象選択手段１３０３は、画像表示装置１０１から画像生成手段の情報を受信すると、画像生成手段の情報を生成手段記憶部１８０１に記憶する。次のステップＳ２００３〜ステップＳ２００５の処理は、第２の実施形態と同様である。
【０１３５】
ステップＳ２００５において、画像表示装置１０１の位置、向き等の情報である測位データを監視装置１０４へ送信した後、新たに追加されたステップＳ２００６において、画像生成手段として手段Ｄが選択されているか否かを判断する。ここで、画像選択手段として手段Ａ、Ｂ又はＣが選択されている場合、処理を終了する。
【０１３６】
一方、ステップＳ２００６において、手段Ｄが選択されていると判断された場合、監視対象選択手段１３０３は、画像表示装置１０１から受信した位置、向き等の情報に基づいて、前回情報を受信したときからの移動量の大小を判断する（ステップＳ２００７）。ステップＳ２００７において、前回からの画像表示装置１０１の移動量が少なくないと判断された場合、新たにサブの監視装置を決定する処理を行う。具体的には、メイン監視装置から周辺の監視装置の情報を取得する（ステップＳ２００８）。次に、監視装置計算部１８０４は、メイン監視装置から取得した周辺の監視装置の中から、画像表示装置１０１の位置情報に基づいて、表示画像の生成に用いるサブの監視装置を決定する（ステップＳ２００９）。例えば、監視装置計算部１８０４は、メイン監視装置から取得した周辺の監視装置のうち、画像表示装置１０１に最も近い監視装置１０４をサブの監視装置とする。次に、監視対象選択手段１３０３は、新たに決定したサブの監視装置に画像表示装置１０１の位置、向き等の情報を送信する（ステップＳ２０１０）。
【０１３７】
一方、ステップＳ２００７において、前回からの画像表示装置１０１の移動量が少ないと判断された場合、前回決定されたサブ監視装置に、画像表示装置１０１から受信した位置、向き等の情報を送信する（ステップＳ２０１０）。
【０１３８】
（監視装置の処理の流れ）
図２１は、第３の実施形態に係る監視装置の処理の流れを示すフローチャートである。尚、基本的な処理の流れは、第２の実施形態で説明を行った図１６と同様なので、ここでは図１６との差分を中心に説明を行う。
【０１３９】
本実施の形態で新たに追加された周辺情報送信手段１８０５は、例えば、図２１のステップＳ２１０４において、自装置がメイン監視部であるか否かを判断する。自装置がメイン監視部であると判断された場合、周辺情報送信手段１８０５は、記憶手段２２０に予め記憶した周辺の監視装置の情報である監視装置情報１８０６を監視対象選択手段１３０３に送信する（ステップＳ２１０５）。尚、他の処理は、図１６と同様で良い。
【０１４０】
（サーバ装置の処理の流れ）
図２２は、第３の実施形態に係るサーバ装置の処理の流れを示すフローチャートである。尚、基本的な処理の流れは、第２の実施形態で説明を行った図１７と同様なので、ここでは図１７との差分を中心に説明を行う。
【０１４１】
サーバ装置１０２は、図２２のステップＳ２２０９において、画像生成手段が手段Ｄ、すなわち、２つの監視装置１０４の撮像データを用いて表示画像を生成する設定であるか否かを判断する。サーバ装置１０２は、例えば、記憶手段２１１に記憶した設定情報２１２を参照して、画像生成手段が手段Ｄであるか否かを判断し、手段Ｄではないと判断した場合、第２の実施形態のステップＳ１７０９以降と同様の処理を行う。
【０１４２】
一方、画像生成手段として手段Ｄが選択されている場合、２つの監視装置１０４からの画像が送られてくるのを待つ（ステップＳ２２１７）。２つの監視装置１０４からの画像を受信すると、生成手段２０７は、マッチング部２０８を用いて、受信した2つの監視装置１０４からの撮像データの画像マッチングを行い、３次元的な特徴点情報を算出する（ステップＳ２２１８）。次に生成手段２０７は、画像表示装置１０１の位置、方向等の情報に基づいて、例えば、画像表示装置１０１の方向から見た対象物の２次元の表示画像を生成する（ステップＳ２２１９）。サーバ装置１０２は、必要に応じて、生成された表示画像を記憶手段２１１に記憶する（ステップＳ２２２０）。
【０１４３】
次に、サーバ装置１０２は、付加情報の更新の要否を判断し（ステップＳ２２２１）、付加情報の更新が不要と判断された場合、作成された表示画像と前回作成した付加情報を画像合成する（ステップＳ２２２４）。一方、サーバ装置１０２は、ステップＳ２２１９において付加情報の更新が必要と判断された場合、付加情報生成部２１０を用いて付加情報の画像を生成し（ステップＳ２２２２）、作成された付加情報の画像を記憶手段２１１に付加情報２１５として記憶する（ステップＳ２２２３）。尚、他の処理は、第２の実施形態と同様で良い。
【０１４４】
以上、本実施形態によれば、対象物画像ＤＢ１０３から抽出された画像の代わりに、画像表示装置１０１の位置、向き等の情報に応じて決定されたサブの監視装置からの撮像データを用いて、表示画像を生成することができるようになる。
【０１４５】
これにより、より実際の対象物の状態に近い表示画像を生成できるようになる。
【０１４６】
［その他の実施の形態］
上記各実施の形態は、本発明に係る情報処理システム（情報処理装置）の一例であり、本発明の範囲を限定するものではない。本発明は、上記構成以外にも、様々なシステム（装置）の構成が可能である。以下に、他のシステム構成の例の一部について簡単に説明する。
【０１４７】
図２において、サーバ装置１０２に含まれる各手段は、例えば、画像表示装置１０１で動作するプログラム等によって実現されるものであっても良い。この場合、画像表示装置１０１が本発明に係る情報処理装置となる。すなわち、本発明に係る情報処理装置（画像表示装置１０１）は、抽出手段２０６、受信手段２０３（又は２１７）、生成手段２０７、取得手段２０１、及び表示手段２０４等を有していても良い。
【０１４８】
また、画像表示装置１０１は、対象物画像ＤＢ１０３の画像データ蓄積手段２１８を有していても良い。対象物の複数の画像データは、画像表示装置１０１のストレージ手段等に記憶するものであっても良いし、汎用のデータサーバや、クラウド等を用いて対象物の複数の画像データを管理するものであっても良い。
【０１４９】
さらに、画像表示装置１０１は、対象物又は監視装置１０４の位置に係る情報である監視位置情報２２２と、対象物に対する画像表示装置１０１の相対位置を計算する計算手段２２３とを有していても良い。これにより、監視装置１０４を、例えば、撮像手段２１９と送信手段２２５等のシンプルな構成とすることができる。これにより、既設の監視カメラ等の流用が容易になる。また、監視位置情報２２２と、計算手段２２３は、サーバ装置が有するものであっても良い。この場合も同様の効果を得ることができる。
【０１５０】
また、図１３において、縮尺調整手段１３０４は、画像表示装置１０１の縮尺選択手段１３０２の設定により縮尺率を変更するものとして説明を行ったが、例えば、対象物と、表示手段２０４との距離等に応じて縮尺率を変更するものであっても良い。例えば、距離が離れているときには対象物を小さく、距離が近いときには対象物大きく表示させることによって、より自然に対象物を表示することができる。
【０１５１】
また、画像表示装置１０１は、例えば、ヘッドマウントディスプレイと制御部等、複数の部分に分かれていても良い。この場合、表示手段２０４の位置、方向等の情報を取得する取得手段２０１は、表示デバイスであるヘッドマウントディスプレイの位置、方向等の情報を取得すれば良い。一方、画像表示装置１０１表示デバイスと本体が一体型である場合、表示手段２０４の位置、方向等の情報を取得する取得手段２０１は、画像表示装置１０１の位置、方向等の情報を取得するものであっても良い。或いは、画像表示装置１０１自体を表示手段とみなしても良い。
【０１５２】
［応用例］
尚、本発明は、様々な用途や分野に応用が可能である。ここでは、本発明のいくつかの応用例について説明する。
【０１５３】
例えば、ヘッドマウントディスプレイ（画像表示装置１０１の一例）の利用者である被験者が、ある大型デパートのタイムセールに来て、デパートの１階に並んでいるものとする。ショッピングの候補となる店は複数あるが、どの店舗も床や壁、他のお店等の障害物、又は距離が遠い等の影響で、被験者の場所からは容易に視認することができないものとする。このような場合、本発明に係る情報提供装置１０６（情報処理装置の一例）によれば、選択された店舗（対象物の一例）の状況を、被験者の位置に応じた形でヘッドマウントディスプレイに表示することができるようになる。表示する情報として、例えば、店舗の画像、及び／又は、店舗の状況、混雑度、おすすめの品、在庫情報、店舗までの距離、道順等の付加情報が考えられる。
【０１５４】
また、別の一例として、コンサート等のイベントで席がステージから遠い、又は大型ビジョンが見え難いような座席の場合、「より近くで観ている間隔を味わいたい」、「大型ビジョンで映っていない出演者を見たい」等のニーズがあり得る。このような場合、本発明に係る情報提供装置１０６を用いて、例えば、複数のリアルタイムの映像から１つの映像を選択し、その画像と被験者の機能に沿う事前登録画像とを画像合成したコンテンツを被験者に提供することができる。或いは、２つのリアルタイム映像から２次元画像を生成したコンテンツを提供することも可能である。
【０１５５】
さらに別の一例として、ドーム等の大型会場で「どこに誰がいるのか判らないので、容易に判る手段が欲しい」といったニーズもあり得る。このような場合、例えば、選択した人物（対象物の一例）の携帯端末等から取得した位置情報等に基づいて、選択した人物の画像と共に、被験者との相対位置、方向等の付加情報を提供することも可能である。例えばこのように、対象物の現在の状況を示す情報は、例えば、位置データ、天気情報、音声データ等の撮像データ以外の情報であっても良い。
【０１５６】
＜総括＞
以上、上記各実施形態に係る情報処理装置（例えば、サーバ装置１０２）は、表示対象となる対象物の予め記録された複数の画像データの中から、表示手段２０４の位置に係る情報に基づいて少なくとも一の画像データを抽出する抽出手段２０６を有する。また、情報処理装置は、対象物の更新されたデータを受信する受信手段２１７を有する。さらに情報処理装置は、抽出手段２０６によって抽出された画像データ、及び受信したデータに基づいて、表示手段２０４に表示させる表示画像を生成する生成手段２０７を有する。
【０１５７】
上記構成により、情報処理装置は、表示手段（表示手段２０４又は画像表示装置１０１）に、障害物、距離等の影響により視認が困難な対象物の現在、又は現在に近い情報を含む表示画像を、利用者の視点に近い形で表示させることができるようになる。
【０１５８】
また、好適な一例として、上記対象物の更新されたデータは、監視装置１０４の撮像手段２１９により継続的に撮像される撮像データ、例えば、動画データ、又は所定の時間間隔等で撮像される静止画データ等を含む。これにより、上記情報処理装置は、対象物の現在の状態に近い表示画像を表示手段２０４に表示させることができるようになる。
【０１５９】
また、別の一例として、上記情報処理装置は、サーバ装置１０２ではなく、表示手段２０４の位置に係る情報を取得する取得手段２０１を有する画像表示装置１０１であっても良い。
【０１６０】
他の好適な一例として、情報処理装置（サーバ装置１０２又は画像表示装置１０１）は、表示手段２０４が、予め定められた上記対象物を視認できる範囲内にある場合、生成した表示画像の表示手段２０４への表示を中断又は停止させる。このとき、情報処理装置は、表示手段２０４に、例えば、透過画像と付加情報の表示のみを行う。これにより、対象物の視認が容易なときに、作成した表示画像が視認の妨げになることを低減することができる。
【０１６１】
また、情報処理装置は、表示手段２０４が、上記対象物の視認が容易な範囲の外にある場合、生成した対象物の表示画像を表示手段２０４に表示させる。これにより、例えば、天井や壁、他の建築物等の障害物や、距離等の影響で表示手段の位置からは見え難い対象物の現在、又は現在に近い情報を含む表示画像を、利用者の視点に近い形で表示することができる。
【０１６２】
さらに、情報処理装置は、生成された表示画像を表示手段（表示手段２０４又は画像表示装置１０１）の向きに応じて表示させるものであっても良い。これにより、例えば、表示手段がヘッドマウントディスプレイであれば、利用者が対象物の方向を向いた場合に、生成された画像を表示することができるようになる。同様に、表示手段が、スマートフォンや、タブレット端末等である場合、スマートフォンや、タブレット端末等を対象物の方向に向けた場合に、生成された表示画像を表示できるようになる。
【符号の説明】
【０１６３】
１００    情報処理システム
１０１    画像表示装置（表示手段）
１０２    サーバ装置（情報処理装置）
１０４    監視装置（撮像手段）
２０１    取得手段
２０４    表示手段
２０６    抽出手段
２０７    生成手段
２１７    受信手段
２１９    撮像手段
１３０３    監視対象選択手段
【先行技術文献】
【特許文献】
【０１６４】
【特許文献１】特開２００９−２８９０３５号公報
【図１】
2015121851.tif 000003
【図２】
2015121851.tif 000004
【図３】
2015121851.tif 000005
【図４】
2015121851.tif 000006
【図５】
2015121851.tif 000007
【図６】
2015121851.tif 000008
【図７】
2015121851.tif 000009
【図８】
2015121851.tif 000010
【図９】
2015121851.tif 000011
【図１０】
2015121851.tif 000012
【図１１】
2015121851.tif 000013
【図１２】
2015121851.tif 000014
【図１３】
2015121851.tif 000015
【図１４】
2015121851.tif 000016
【図１５】
2015121851.tif 000017
【図１６】
2015121851.tif 000018
【図１７】
2015121851.tif 000019
【図１８】
2015121851.tif 000020
【図１９】
2015121851.tif 000021
【図２０】
2015121851.tif 000022
【図２１】
2015121851.tif 000023
【図２２】
2015121851.tif 000024