(57)【要約】【課題】監視対象の監視を効果的に実施することが可能な技術を提案する。【解決手段】３次元映像生成サーバ２８が、仮想３次元空間上に表現される監視対象をヘッドマウント型ディスプレイ３１の位置及び方向に対応する視点から見た監視対象画像を生成し、当該ヘッドマウント型ディスプレイ３１から送信される撮影画像（現場の画像）に監視対象画像を重ね合わせてＡＲ画像データを生成する。また、監視対象に対して設けられたセンサーにより異常の発生が検知されている場合には、その検知結果の情報をセンサーの設置位置に対応して監視対象画像に付加する。ヘッドマウント型ディスプレイ３１は、３次元映像配信サーバ２９から送信されるＡＲ画像データに基づいて、装着者がヘッドマウント型ディスプレイ３１を通して見る現場の像に監視対象画像（及びこれに付加された検知結果の情報）を重ねた表示を出力する。【選択図】図３
2012239068.tif 000002
【特許請求の範囲】
【請求項１】
監視対象の３次元画像を表示する表示装置を用いて前記監視対象を監視する監視システムであって、
前記監視対象を３次元画像として表示するための３次元構造データを記憶する記憶手段と、
前記監視対象に対して設置された監視手段と、
前記表示装置に、前記３次元構造データに基づいて前記監視対象の３次元画像を表示すると共に、前記監視手段の設置箇所に対応して、当該３次元画像に前記監視手段による監視結果を付加して表示する表示制御手段と、
を備えたことを特徴とする監視システム。
【請求項２】
請求項１に記載の監視システムにおいて、
前記表示装置は、人の頭部に装着され、装着者の前方の現場像を映し出すヘッドマウント型であり、前記監視結果が付加された前記監視対象の３次元画像を前記現場像に重ねて表示し、
更に、前記監視システムは、
利用者に把持され、前記監視対象の３次元画像に対する指示を与えるための指示器具を備え、
前記表示制御手段は、前記指示器具を用いた指示に応じて、前記監視対象の３次元画像に係る所定の画像処理を行う、
ことを特徴とする監視システム。
【請求項３】
監視対象の３次元画像を表示する表示装置を用いて前記監視対象を監視する監視方法であって、
前記監視対象に対して設置された監視手段による監視結果を取得し、
前記表示装置に、前記監視手段の設置箇所に対応して、前記監視対象の３次元画像に前記取得した監視結果を付加して表示する、
ことを特徴とする監視方法。
【請求項４】
請求項３に記載の監視方法において、
前記表示装置は、人の頭部に装着され、装着者の前方の現場像を映し出すヘッドマウント型であり、前記監視結果が付加された前記監視対象の３次元画像を前記現場像に重ねて表示し、
更に、前記監視システムは、
利用者に把持され、前記監視対象の３次元画像に対する指示を与えるための指示器具を備え、
前記指示器具を用いた指示に応じて、前記監視対象の３次元画像に係る所定の画像処理を行う、
ことを特徴とする監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象の３次元画像を表示する表示装置を用いて前記監視対象を監視する監視システム及び監視方法に関する。
【背景技術】
【０００２】
工場や学校或いはその他の監視対象をカメラにより撮影し、当該撮影により得られた監視対象の映像を監視者が確認することにより監視対象を監視する映像監視システムが実現されている。
【０００３】
従来の映像監視システムでは、複数のカメラにより撮影された映像の表示に関し、例えば、以下のような動作を行っていた。
操作人（監視者）が受動的に映像を確認する場合には、映像の出力先となる大型ディスプレイの表示領域を分割し、複数の映像を各分割領域に出力して同時に表示する。また、カメラの台数が多いときは、大型ディスプレイを複数用意したり、複数の映像を時間的に切り替えて表示したりする。
操作人が能動的に或る特定箇所の映像を確認する場合には、ユーザインタフェースとして用意されているボタン（スイッチ）、ジョイスティック、キーボード、マウス等の操作機器を用いた操作により、所望の映像へ表示を切り替える。
センサーで異常を検知した場合には、操作人へのアラームを発報し、異常が検知された地点の映像に表示を切り替える。
画像処理技術によって映像を解析して異常を検知した場合には、操作人へのアラームを発報し、異常が検知された映像に表示を切り替える。
【０００４】
上記のような映像監視システムに関し、これまでに種々の発明が提案されている。
例えば、複数の監視カメラの画像を表示器に表示する監視カメラシステムにおいて、表示器は、複数の監視カメラの画像を表示する画像表示部と、複数の監視カメラの設定位置を表示する地図表示部と、画像表示部に表示する監視カメラの識別番号および表示順番を登録するシーケンスパターン登録リスト表示部で構成された監視カメラシステムが提案されている（特許文献１参照）。
例えば、侵入物を検出するセンサーと、該センサーが検出した物体の位置と移動予測範囲を算出する制御部と、該制御部が算出した移動予測範囲を地図情報と共に表示する表示部とを備えた監視装置が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０１７１７０号公報
【特許文献２】特開２００９−２７２９３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、従来の映像監視システムでは、例えば、以下のような問題があった。
大型ディスプレイの表示領域を分割して複数の映像を表示するには、面積的な限界がある。
一人の操作人が同時に表示される複数の映像を確認するには限界があるため、カメラの台数が多い場合には操作人を増員する必要がある。
一人の操作人が確認する映像の数に制限を持たせるように、監視対象をエリア毎に分割し、それぞれのエリアに異なる操作人を担当させたとしても、侵入者がエリアを跨って移動する場合には該当するエリアを担当する操作人同士での引継ぎ等が必要になるなど、エリア境界や監視対象全体を通した把握の困難さは解決できない。
複数のカメラの中から所望するカメラを選択して映像を表示させるには、カメラが設置された位置の把握や煩雑な操作が必要となるため、操作人の事前学習が必要となり、監視システムとしての性能が操作人の熟練度に影響される。
【０００７】
本発明は、上記従来の事情に鑑みて為されたものであり、監視対象の監視を効果的に実施することが可能な技術を提案することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、監視対象の３次元画像を表示する表示装置を用いて、以下のような手法により監視対象を監視するための環境を提供する。
すなわち、前記監視対象を３次元画像として表示するための３次元構造データを記憶手段に記憶させ、前記監視対象に対して監視手段を設置し、表示制御手段により、前記表示装置に、前記３次元画像データに基づいて前記監視対象の３次元画像を表示すると共に、前記監視手段の設置箇所に対応して、当該３次元画像に前記監視手段による監視結果を付加して表示させる。
【０００９】
ここで、監視対象としては、工場や学校等の建物（構造物）であってもよく、その周辺を含む区域（エリア）であってもよい。
監視対象の３次元画像は、３次元構造データに基づいて仮想３次元空間上に表現される監視対象を指定された位置及び方向に対応する視点から見た画像であり、任意の視点から監視対象を見た画像を仮想的に再現する。
【００１０】
位置及び方向の指定（視点の指定）は、種々の手法により行うことができ、例えば、キーボードやマウス等の操作機器を用いた操作により行うことができる。
また、監視対象の３次元画像を表示する表示装置として、移動自在な表示装置を用いる場合には、表示装置の位置及び方向を検出する検出手段を設け、当該検出手段による検出結果を位置及び方向の指定として用いるようにしてもよい。この場合には、表示装置の移動や回転等の動きに対応（追従）して視点を変化させることができる。
【００１１】
なお、表示装置の位置及び方向を検出する検出手段は、種々の手法により実現することができる。例えば、表示装置に方位センサーを設け、表示装置自身で方位（方向）を検出すると共に、表示装置と無線通信する３以上の無線装置をそれぞれ異なる位置に設置し、各無線装置と表示装置との通信結果に基づいて表示装置の位置を検出するようにしてもよい。
【００１２】
監視手段としては、設置箇所（及びその周辺）の状況を収集可能な種々の手段を用いることができ、例えば、カメラ、赤外線センサー、マイク等が用いられる。
監視手段の設置箇所に対応する３次元画像上の部位（当該監視手段による監視結果を付加する画像部分）は、当該監視手段が実際に設置されている場所に対応する部位でもよく、当該監視手段による監視対象の場所（例えば、カメラにより撮影する範囲）に対応する部位でもよい。
監視手段の設置箇所に対応する３次元画像上の部位を特定するためのデータは、監視対象の３次元構造データと共通の記憶手段に（例えば、３次元構造データに付随させて）記憶させてもよく、監視対象の３次元構造データとは別個の記憶手段に記憶させてもよい。
【００１３】
このような構成によれば、操作人（監視者）は、表示装置に表示された監視対象の３次元画像の表示を見るだけで、監視対象に対して設置された監視手段による監視結果を把握することができる。また、監視対象に対して複数の監視手段が設置されている場合でも、各監視手段による監視結果の把握が容易である。また、監視対象の構造や周辺の環境、監視手段の配置などを事前に学習しておく必要もない。このため、監視対象の監視を効果的に実施することができるようになる。
【００１４】
ここで、監視対象の３次元画像を表示する表示装置として、人の頭部に装着され、装着者の前方の現場像を映し出すヘッドマウント型（頭部装着型）の表示装置を用い、監視対象の３次元画像（及び監視手段による監視結果）を現場像に重ねて表示する構成とすれば、装着者である操作人（監視者）は、現実世界の状況を把握しながら監視対象の監視を行うことができる。また、複数人で協調的に監視する場合には、他の操作人（監視者）の様子なども容易に把握することができ、互いに連携を取り易くなる。
【００１５】
また、ヘッドマウント型の表示装置の位置及び方向を検出する検出手段を設け、当該検出手段による検出結果を位置及び方向の指定として用いる構成とすれば、当該表示装置を装着した操作人の動きに対応（追従）して監視対象の３次元画像を変化させることができ、所望の視点から監視対象の３次元画像を確認できるため、監視負担が軽減される。
【００１６】
また、更に、利用者に把持され、監視対象の３次元画像に対する指示を与えるための指示器具を用いるようにし、表示制御手段は、当該指示器具を用いた指示に応じて、監視対象の３次元画像に係る所定の画像処理を行うようにしてもよい。
【００１７】
より具体的には、例えば、スティック状の指示器具を用い、ヘッドマウント型の表示装置の表示上において監視対象の３次元画像の内部に指示器具の先端部分を位置させた状態で指示が与えられたことに応じて、表示装置に表示される監視対象の３次元画像を、監視対象の内部構造を示す画像に切り替えるようにする。
【００１８】
また、例えば、スティック状の指示器具を用い、ヘッドマウント型の表示装置の表示上において監視対象の３次元画像に付加された監視結果の部分（或いは一定の範囲内）に指示器具の先端部分を位置させた状態で指示が与えられたことに応じて、その監視結果の部分に関する情報（例えば、該当する場所に設置されたカメラの映像）を他の表示装置に表示させるようにする。
【００１９】
このような構成によれば、操作人（監視者）は、ヘッドマウント型の表示装置の表示（現場像に重ねて表示された監視対象の３次元画像）を見ながら指示器具を操作できるため、直感的な作法により監視対象の３次元画像に対する指示を与えることができる。
【００２０】
ここで、指示器具の先端部分の位置は、ヘッドマウント型の表示装置の位置を検出する手法と同様な手法により検出することができる。
また、例えば、指示器具の先端部分が向いている方向を更に検出するようにし、指示器具の先端部分の位置及び方向に応じた画像処理を行うようにしてもよい。
【発明の効果】
【００２１】
本発明によれば、操作人（監視者）は、表示装置に表示された監視対象の３次元画像の表示を見るだけで、監視対象に対して設置された監視手段による監視結果を把握することができる。また、監視対象に対して複数の監視手段が設置されている場合でも、各監視手段による監視結果の把握が容易である。また、監視対象の構造や周辺の環境、監視手段の配置などを事前に学習しておく必要もない。このため、監視対象の監視を効果的に実施することができるようになる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る監視システムの構成を例示する図である。
【図２】監視対象と各種センサーの配置を例示する図である。
【図３】ユーザインタフェースセクションの概観を例示する図である。
【図４】（ａ）は、ヘッドマウント型ディスプレイの外観を例示する図であり、（ｂ）は、透過型ディスプレイ装置の外観を例示する図である。
【図５】モニタ位置指定用ステッキの外観を例示する図である。
【図６】カメラによる検知結果の情報を例示する図である。
【図７】赤外線センサーによる検知結果の情報を例示する図である。
【図８】マイクによる検知結果の情報を例示する図である。
【図９】モニタ位置指定用ステッキを用いて表示内容を切り替える動作の一例を説明する図である。
【図１０】モニタ位置指定用ステッキを用いて表示内容を切り替える動作の一例を説明する図である。
【図１１】モニタ位置指定用ステッキを用いて表示内容を切り替える動作の一例を説明する図である。
【図１２】モニタ位置指定用ステッキを用いて表示内容を切り替える動作の他の例を説明する図である。
【図１３】モニタ位置指定用ステッキを用いて表示内容を切り替える動作の他の例を説明する図である。
【発明を実施するための形態】
【００２３】
本発明の一実施形態に係る監視システムについて説明する。
本例の監視システムは、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）の技術を映像監視に応用したシステムであり、建物（構造物）及びその周辺を含む区域を監視対象として、当該監視対象の３次元画像である監視対象画像をコンピュータグラフィック技術を用いて生成すると共に、当該監視対象に対して設置されたカメラや赤外線センサー等により異常の発生が検知された場合にその検知結果（監視結果）の情報を監視対象画像に付加し、生成された監視対象画像（及びこれに付加された検知結果の情報）を表示装置に表示して操作人（監視者）に見せるようにしている。
【００２４】
また、本例の監視システムでは、表示装置として、人の頭部に装着されるヘッドマウント型ディスプレイを用いている。このヘッドマウント型ディスプレイには、装着者である操作人（監視者）の前方（顔が向いている方向）を撮影する機能や、ヘッドマウント型ディスプレイの位置及び方向の測定に係る機能が設けられており、ヘッドマウント型ディスプレイで撮影された現場（装着者が在する場所）の画像に、測定結果の位置及び方向に対応する視点による監視対象画像（及びこれに付加された検知結果の情報）を重ねて表示するようにしてある。
また、本例の監視システムには、更に、ヘッドマウント型ディスプレイに表示された監視対象画像に対する指示を与えるための指示器具（以下の例ではモニタ位置指定用ステッキ）が備えられており、監視対象画像を監視対象の内部構造を示す画像に切り替える等の操作を直感的に行えるようにしてある。
【００２５】
図１には、本例の監視システムの構成を例示してある。
本例の監視システムは、情報収集セクション１０、情報処理セクション２０、ユーザインタフェースセクション３０をネットワーク（本例では、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ））により通信可能に接続した構成となっている。
全体的な動作としては、情報収集セクション１０とユーザインタフェースセクション３０で取得した情報を情報処理セクション２０で処理し、情報処理セクション２０で作成した情報をユーザインタフェースセクション３０に送る、という流れである。
【００２６】
情報収集セクション１０は、監視対象の区域内の所要箇所に設置された各種センサーによって当該区域内の状況を収集し、収集したデータをネットワーク経由で情報処理セクション２０へ送信するセクションである。
【００２７】
本例の情報収集セクション１０は、各種センサーとして、Ｌ個のカメラ１１（１）〜１１（Ｌ）、Ｍ個の赤外線センサー１２（１）〜１２（Ｍ）、Ｎ個のマイク１３（１）〜１３（Ｎ）を有する。なお、各々を区別して説明する場合を除き、単に、カメラ１１、赤外線センサー１２、マイク１３と記す。
【００２８】
カメラ１１は、設置された付近を撮影し、当該撮影により得られた監視画像のデータである監視画像データをネットワーク経由で情報処理セクション２０へ伝送する。本例では、監視画像データをＩＰパケットに変換してネットワークへ送出することが可能なＩＰカメラを用いている。なお、ＩＰカメラ以外のカメラを用いるようにしてもよく、例えば、アナログカメラにより撮影された監視画像のアナログ信号を情報処理セクション２０へ伝送する構成としてもよい。
【００２９】
赤外線センサー１２は、赤外線レーザーにより異常（侵入者の存在など）を検知し、その検知結果を示す検知結果データをネットワーク経由で情報処理セクション２０へ伝送する。本例の赤外線センサー１２は、赤外線レーザーの送信部及び受信部による一対のセンサーであり、送信部と受信部との間を物体が遮った場合（受信部で赤外線レーザーを受信できなかった場合）に異常が発生したとして検知する。異常の発生を検知したときにのみデータ伝送を行う構成とすることで、伝送する情報量を抑制できる。
【００３０】
マイク１３は、設置された付近の音声を収集し、当該収集により得られた集音音声のデータである音声データをネットワーク経由で情報処理セクション２０へ伝送する。
【００３１】
各種センサーから送信されるデータ（本例では、監視画像データ、検知結果データ、音声データ）には、情報処理セクション２０におけるデータ統合に必要な時刻データが付加される。時刻データの付加は、データの送信側（情報収集セクション１０側）で行ってもよく、データの受信側（情報処理セクション２０側）で行ってもよい。
【００３２】
図２には、監視対象と各種センサーの配置を例示してある。
本例では、三方を樹木で囲まれ且つ残りの一方が道路に面した矩形状の区域及び当該区域内の建物を監視対象とし、これを監視するセンサーとして、１４個のカメラ１１（１）〜１１（１４）、６個の赤外線センサー１２（１）〜１２（６）、１個のマイク１３（１）が設置してある。なお、カメラ１１（１）〜１１（１４）のうち、カメラ１１（１）〜１１（８）は建物外に設置してあり、カメラ１１（９）〜１１（１４）は建物内に設置してある。また、赤外線センサー１２（１）〜１２（６）は、２個で一対のセンサーとして用いられる。図２には、赤外線センサー１２（１）、１２（２）の対により送受される赤外線レーザー１２Ｌ（１）、赤外線センサー１２（３）、１２（４）の対により送受される赤外線レーザー１２Ｌ（２）、赤外線センサー１２（５）、１２（６）の対により送受される赤外線レーザー１２Ｌ（３）も図示してある。
【００３３】
情報処理セクション２０は、情報収集セクション１０及びユーザインタフェースセクション３０から送信される各種のデータに基づいて後述のＡＲ画像データを生成し、ユーザインタフェースセクション３０へ送信するセクションである。
【００３４】
本例の情報処理セクション２０は、３次元情報統合サーバ２１、３次元処理サーバ２２、画像処理サーバ２３、赤外線センサー管理サーバ２４、音声解析サーバ２５、ヘッドマウント型ディスプレイ位置測位サーバ２６、モニタ位置指定用ステッキ位置測位サーバ２７、３次元映像生成サーバ２８、３次元映像配信サーバ２９を有する。
【００３５】
３次元処理サーバ２２は、建物や敷地外郭の塀や敷地外の道路等の監視対象について、その構造や形状を仮想３次元空間上に表現するための３次元構造データを管理（記憶）する。また、３次元処理サーバ２２は、情報収集セクション１０のセンサー毎に、センサーの識別データ、設置箇所を示す設置箇所データ、監視箇所（或いは監視範囲）を示す監視箇所データなどを含むセンサー情報データを管理（記憶）する。
なお、３次元構造データとセンサー情報データを別個のサーバに管理させてもよく、要は、現実世界における監視対象と各センサーとの位置関係を仮想３次元空間上で再現できればよい。
【００３６】
画像処理サーバ２３は、情報収集セクション１０のカメラ１１から受信した監視画像データに対して画像解析処理を施して、当該カメラ１１による監視箇所（撮影範囲）での異常の発生を検知し、その検知結果を示す検知結果データを管理（記憶）する。
【００３７】
赤外線センサー管理サーバ２４は、情報収集セクション１０の赤外線センサー１２から受信した検知結果データを管理（記憶）する。
【００３８】
音声解析サーバ２５は、情報収集セクション１０のマイク１３から受信した音声データに対して音声解析処理を施して、当該マイク１３による監視箇所（集音範囲）での異常の発生を検知し、その検知結果を示す検知結果データを管理（記憶）する。
【００３９】
画像処理サーバ２３及び赤外線センサー管理サーバ２４及び音声解析サーバ２５により管理される検知結果データには、センサーの識別データ、検知した異常の種別（侵入者の存在や火災の発生など）を示す異常種別データ、異常検知時の時刻データなどが含まれている。すなわち、この検知結果データを参照することにより、例えば、「？？番の赤外線センサーが、何時何分から何時何分まで遮られた。」といった状況を把握できる。
【００４０】
ヘッドマウント型ディスプレイ位置測位サーバ２６は、後述するヘッドマウント型ディスプレイ３１の測位結果データをユーザインタフェースセクション３０から受信する情報に基づいて管理（記憶）する。測位結果データには、ヘッドマウント型ディスプレイ３１の識別データ、位置データ、方位データなどが含まれている。すなわち、この測位結果データを参照することにより、例えば、「？？番のヘッドマウント型ディスプレイが、何時何分に、位置？？、方位？？の状態にある。」といった状況を把握できる。
【００４１】
モニタ位置指定用ステッキ位置測位サーバ２７は、後述するモニタ位置指定用ステッキ３２の測位結果データをユーザインタフェースセクション３０から受信する情報に基づいて管理（記憶）する。測位結果データには、モニタ位置指定用ステッキ３２の識別データ、位置データ、方位データ、スイッチの状態を示すスイッチ状態データなどが含まれている。すなわち、この測位結果データを参照することにより、例えば、「？？番のモニタ位置指定用ステッキが、何時何分に、位置？？、方位？？、スイッチ？？の状態にある。」といった状況を把握できる。
【００４２】
３次元情報統合サーバ２１は、３次元処理サーバ２２で管理される３次元構造データ及びセンサー情報データ、画像処理サーバ２３及び赤外線センサー管理サーバ２４及び音声解析サーバ２５で管理される各種の検知結果データ、ヘッドマウント型ディスプレイ位置測位サーバ２６で管理される測位結果データ、モニタ位置指定用ステッキ位置測位サーバ２７で管理される測位結果データに基づいて、３次元情報統合サーバ２１内に全ての位置関係を統合した３次元統合データを生成する。なお、ヘッドマウント型ディスプレイ３１の測位結果データ及びモニタ位置指定用ステッキ３２の測位結果データにおける位置データ及び方位データは、現実空間の座標系のデータであるため、仮想３次元空間の座標系に変換された後に統合される。
【００４３】
３次元映像生成サーバ２８は、３次元情報統合サーバ２１で生成される３次元統合データに基づいて、ユーザインタフェースセクション３０のヘッドマウント型ディスプレイ３１に表示させるＡＲ画像のデータであるＡＲ画像データを生成する。ユーザインタフェースセクション３０に複数のヘッドマウント型ディスプレイ３１が存在する場合には、それぞれのヘッドマウント型ディスプレイ３１の測位結果データに応じて異なるＡＲ画像データを生成する。
【００４４】
３次元映像配信サーバ２９は、３次元映像生成サーバ２８で生成されたＡＲ画像データを、ユーザインタフェースセクション３０の該当するヘッドマウント型ディスプレイ３１へ配信（送信）する。
【００４５】
ここで、本例のＡＲ画像は、操作人（監視者）がヘッドマウント型ディスプレイ３１を通して見る現場像に、監視対象の３次元画像である監視対象画像を重ねた画像である。また、監視対象画像とは、仮想３次元空間上に表現される監視対象をヘッドマウント型ディスプレイ３１の位置及び方向に対応する視点（仮想３次元空間上の座標系におけるヘッドマウント型ディスプレイ３１の位置及び方向）から見た画像であり、ヘッドマウント型ディスプレイ３１の装着者である操作人（監視者）の現実空間の移動に連動して変化する。
【００４６】
なお、各種センサーにより取得された情報に基づいて異常の発生が検知された場合には、その検知結果（監視結果）の情報が監視対象画像に付加された状態で現場像に重ねられる。本例では、該当するセンサーに係るセンサー情報データ中の監視箇所データに基づいて、当該センサーによる監視対象の場所に対応する画像部分に検知結果の情報を付加するようにしているが、該当するセンサーに係るセンサー情報データ中の設置箇所データに基づいて、当該センサーが設置されている場所に対応する画像部分に検知結果の情報を付加するようにしてもよい。
【００４７】
本例では、ヘッドマウント型ディスプレイ３１で撮影されて送信される現場の画像と監視対象画像（及びこれに付加された検知結果の情報）とを合成してＡＲ画像を生成し、当該ヘッドマウント型ディスプレイ３１へ送信して表示させるようにしている。本例では、送信先のヘッドマウント型ディスプレイ３１を、ヘッドマウント型ディスプレイ３１の識別コードにより指定している。
【００４８】
ユーザインタフェースセクション３０は、操作人（監視者）が監視対象の状況をＡＲ画像により把握するためのセクションである。また、操作人（監視者）は、自身の判断により、ＡＲ画像の切り替えや、カメラ１１による撮影画像をディスプレイ表示させる操作を行うことも可能である。
【００４９】
本例のユーザインタフェースセクション３０は、Ｑ個のヘッドマウント型ディスプレイ３１（１）〜３１（Ｑ）、Ｒ個のモニタ位置指定用ステッキ３２（１）〜３２（Ｒ）、３個の無線基地局３３（１）〜３３（３）、Ｐ個のカメラ映像表示ディスプレイ３４（１）〜３４（Ｐ）を有する。なお、各々を区別して説明する場合を除き、単に、ヘッドマウント型ディスプレイ３１、モニタ位置指定用ステッキ３２、無線基地局３３、カメラ映像表示ディスプレイ３４と記す。また、ヘッドマウント型ディスプレイ３１とモニタ位置指定用ステッキ３２とを総称してＵＩ装置と記すこともある。
【００５０】
図３には、監視室内に構築されたユーザインタフェースセクション３０の概観を例示してある。
図３の例では、３つの無線基地局３３が監視室内のそれぞれ異なる位置に設置され、１つのカメラ映像表示ディスプレイ３４が監視室内の壁面に設置されており、また、操作人（監視者）がヘッドマウント型ディスプレイ３１を頭部に装着すると共にモニタ位置指定用ステッキ３２を把持している。なお、図３には、ヘッドマウント型ディスプレイ３１を通して操作人（監視者）が見る監視対象画像（及びこれに付加された検知結果の情報）のイメージも示してある。
【００５１】
本例では、ヘッドマウント型ディスプレイ３１とモニタ位置指定用ステッキ３２を１つずつ対応付けし、対応関係にある一対のヘッドマウント型ディスプレイ３１とモニタ位置指定用ステッキ３２を同一の操作人（監視者）が用いるようにしている。すなわち、或るモニタ位置指定用ステッキ３２の操作がなされた場合に、これと対応関係にあるヘッドマウント型ディスプレイ３１の表示内容が変化するようにしている。
【００５２】
ヘッドマウント型ディスプレイ３１とモニタ位置指定用ステッキ３２の対応付けは種々の手法により行うことができる。例えば、対応付ける各ＵＩ装置（ヘッドマウント型ディスプレイ３１及びモニタ位置指定用ステッキ３２）の所定部（例えば、赤外線通信部）を一定の距離内に近づけることで互いに通信して認証し、これらの対応付け情報（各ＵＩ装置の識別コードを対応付けた情報）を情報処理セクション２０に送信して管理（記憶）させる。
【００５３】
ヘッドマウント型ディスプレイ３１は、人の頭部に眼鏡のように装着するヘッドマウント型（頭部装着型）のＡＲ画像受像装置である。本例のヘッドマウント型ディスプレイ３１は、ＡＲ画像を受像する機能だけでなく、自装置の位置や方位を測定するためのセンサーや、装着者が見える画角に合わせたカメラ等が装備されており、これらのセンサーやカメラ等により取得されたデータは無線基地局３３を介して情報処理セクション２０へ伝送される。本例では、無線基地局３３との間におけるデータの送受信を無線により行っているが、互いをケーブル接続して有線により行うようにしてもよい。
【００５４】
図４（ａ）には、ヘッドマウント型ディスプレイ３１の外観を例示してある。
図４（ａ）に示すヘッドマウント型ディスプレイ３１は、眼鏡状の表示装置であり、右目用ディスプレイ４１、左目用ディスプレイ４２、カメラ４３、３次元方位センサー４４、無線装置４５を設けた構成となっている。カメラ４３は、装着者の前方（顔が向いている方向）を撮影する配置となっており、当該カメラ４３で撮影した現場（装着者が在する場所）の画像のデータである現場画像データや３次元方位センサー４４で検知した方位（方向）を示す方位データなどを無線装置４５により無線基地局３３へ送信し、自装置の位置及び方位に応じた監視対象画像（及びこれに付加された検知結果の情報）を現場の画像に合成して得られるＡＲ画像データを無線装置４５により無線基地局３３から受信し、当該ＡＲ画像データに基づくＡＲ画像を右目用ディスプレイ４１及び左目用ディスプレイ４２により表示出力する。
【００５５】
ここで、本例のヘッドマウント型ディスプレイ３１の無線装置４５は、各無線基地局３３との間でデータを送受信する手段だけでなく、各無線基地局３３と共にヘッドマウント型ディスプレイ３１の位置を測定（検知）する手段を構成している。
位置の測定（検知）は、ヘッドマウント型ディスプレイ３１の無線装置４５と各無線基地局３３で通信される位置推定用の信号に基づいて、ＴＯＡ（Ｔｉｍｅ  Ｏｆ  Ａｒｒｉｖａｌ；到来時間）、ＲＳＳ（Ｒｅｃｅｉｖｅｄ  Ｓｉｇｎａｌ  Ｓｔｒｅｎｇｔｈ；受信強度）、ＡＯＡ（Ａｎｇｌｅ  Ｏｆ  Ａｒｒｉｖａｌ；到来角度）などの既知の技術を利用して実現することができる。
【００５６】
モニタ位置指定用ステッキ３２は、操作人（監視者）がヘッドマウント型ディスプレイ３１の表示内容などを切り替える指示を与えるための指示器具である。本例のモニタ位置指定用ステッキ３２は、自装置の位置や方位を測定するためのセンサーや、表示内容を切り替えるタイミングを指示するためのスイッチ等が装備されており、これらのセンサーやスイッチ等により取得されたデータは無線基地局３３を介して情報処理セクション２０へ伝送される。本例では、無線基地局３３との間におけるデータの送受信を無線により行っているが、互いをケーブル接続して有線により行うようにしてもよい。また、本例のモニタ位置指定用ステッキ３２のようにステッキ状の指示器具ではなく、他の形状の指示器具を用いてもよい。
【００５７】
図５には、モニタ位置指定用ステッキ３２の外観を例示してある。
図５に示すモニタ位置指定用ステッキ３２は、人により把持されるグリップ部５１と、グリップ部５１から伸びるステッキ部５３と、ステッキ部５３の先端部分に設けられたラケット部とを有するステッキ状の指示器具であり、グリップ５１部にスイッチ５２を設けると共に、ラケット部に確認位置指定用プレート５４と３次元方位センサー５５と無線装置５６を設けた構成となっている。そして、スイッチ５２の状態（押し下げた状態か否か）を示すスイッチ状態データや３次元方位センサー５５で検知した方位（方向）を示す方位データなどを無線装置５６により無線基地局３３へ送信する。なお、確認位置指定用プレート５４は、表面と裏面を目視で区別できるように異なる配色にしてある。
【００５８】
ここで、本例のモニタ位置指定用ステッキ３２の無線装置５６は、各無線基地局３３との間でデータを送受信する手段だけでなく、各無線基地局３３と共にモニタ位置指定用ステッキ３２の位置を測定（検知）する手段を構成している。
位置の測定（検知）は、モニタ位置指定用ステッキ３２の無線装置５６と各無線基地局３３で通信される位置推定用の信号に基づいて、ＴＯＡ（到来時間）、ＲＳＳ（受信強度）、ＡＯＡ（到来角度）などの既知の技術を利用して実現することができる。
【００５９】
無線基地局３３は、各ＵＩ装置（ヘッドマウント型ディスプレイ３１及びモニタ位置指定用ステッキ３２）と共に各ＵＩ装置の位置を測定（検知）する手段を構成しており、測定結果の位置データを、各ＵＩ装置の識別データと共にネットワーク経由で情報処理セクション２０へ伝送する。
また、ヘッドマウント型ディスプレイ３１から送信される現場画像データや方位データ、モニタ位置指定用ステッキ３２から送信されるスイッチ状態データや方位データを、各ＵＩ装置の識別データと共にネットワーク経由で情報処理セクション２０へ伝送する。
また、情報処理セクション２０からネットワーク経由で伝送されるＡＲ画像データを、その送信先に指定（本例では、ヘッドマウント型ディスプレイ３１の識別コードにより指定）されたヘッドマウント型ディスプレイ３１へ送信する。
【００６０】
カメラ映像表示ディスプレイ３４は、モニタ位置指定用ステッキ３２により指示された位置（及び方向）に基づく画像の表示に使用される受像装置であり、情報処理セクション２０から伝送される表示用データに基づく表示を行う。
【００６１】
本例の監視システムでは、概略的に、以下のような動作を行う。
３次元処理サーバ２２が、監視対象の３次元構造データ及び各センサーのセンサー情報データを管理する。
画像処理サーバ２３、赤外線センサー管理サーバ２４、音声解析サーバ２５が、各種センサー（カメラ１１、赤外線センサー１２、マイク１３）の検知結果データを管理する。
ヘッドマウント型ディスプレイ位置測位サーバ２６、モニタ位置指定用ステッキ位置測位サーバ２７が、各ＵＩ装置（ヘッドマウント型ディスプレイ３１、モニタ位置指定用ステッキ３２）の測位結果データを管理する。
３次元情報統合サーバ２１が、上記の各サーバ２２〜２７により管理されるデータを仮想３次元空間の座標系に統合した３次元統合データを生成する。
【００６２】
３次元映像生成サーバ２８が、３次元情報統合サーバ２１で統合された３次元統合データに基づき、仮想３次元空間上に表現される監視対象をヘッドマウント型ディスプレイ３１の位置及び方向に対応する視点（仮想３次元空間上の座標系におけるヘッドマウント型ディスプレイ３１の位置及び方向）から見た監視対象画像を生成し、当該ヘッドマウント型ディスプレイ３１から送信される撮影画像（現場の画像）に監視対象画像を重ね合わせたＡＲ画像のデータであるＡＲ画像データを生成する。また、いずれかのセンサーにより異常の発生が検知されている場合には、その検知結果の情報を監視対象画像に付加し、検知結果の情報を伴う監視対象画像を現場画像に重ね合わせるようにする。
３次元映像配信サーバ２９が、３次元映像生成サーバ２８で生成されたＡＲ画像データを該当するヘッドマウント型ディスプレイ３１へ送信する。
ヘッドマウント型ディスプレイ３１が、３次元映像配信サーバ２９から送信されたＡＲ画像データに基づいて、装着者がヘッドマウント型ディスプレイ３１を通して見る現場の像に監視対象画像（及びこれに付加された検知結果の情報）を重ねた表示（ＡＲ画像）を出力する。
【００６３】
ヘッドマウント型ディスプレイ３１に表示される監視対象画像について更に説明する。
図６には、ヘッドマウント型ディスプレイ３１に表示される監視対象画像の一例として、建物及びその周辺を含む区域を３次元空間上に表現した監視対象画像に、カメラ１１の撮影画像に基づく検知結果を示す図形Ａ１，Ａ２を付加した例を示してある。図形Ａ１は、撮影画像に異常が発生する予兆が検知された場合に該当するカメラ１１の設置箇所に対応する画像部分に付加される図形であり、図形Ａ２は、撮影画像に異常が検知された場合に該当するカメラ１１の設置箇所に対応する画像部分に付加される図形である。本例では、異常の予兆に係る図形Ａ１と完全な異常に係る図形Ａ２の大きさを異ならせることで、異常の予兆か完全な異常かを容易に区別できるようにしてあり、また、完全な異常に係る図形Ａ２を異常の予兆に係る図形Ａ１より大きくして目立つようにしている。
【００６４】
図７には、ヘッドマウント型ディスプレイ３１に表示される監視対象画像の一例として、建物及びその周辺を含む区域を３次元空間上に表現した監視対象画像に、赤外線センサー１２による検知結果を示す図形Ａ３を付加した例を示してある。図形Ａ３は、赤外線レーザーに異常が発生した場合（遮られた場合）に該当する赤外線センサー１２の設置箇所に対応する画像部分に付加される図形である。例えば、赤外線レーザーに何かが触れる度に、点滅表示や一定時間表示を行う。
【００６５】
図８には、ヘッドマウント型ディスプレイ３１に表示される監視対象画像の一例として、建物及びその周辺を含む区域を３次元空間上に表現した監視対象画像に、マイク１３の集音音声に基づく検知結果を示す図形Ａ４を付加した例を示してある。図形Ａ４は、集音音声に異常が検知された場合に該当するマイク１３の設置箇所に対応する画像部分に付加される図形である。例えば、音声認識で人声のみに反応させて表示を行うようにしてもよく、異常の場所を特定してその場所に対応する画像部分に表示を行うようにしてもよい。
【００６６】
なお、図６〜図８に示した図形Ａ１〜Ａ４は一例に過ぎず、他の態様の図形を用いるようにしてもよい。その場合、異常の種別（例えば、撮影画像の異常、赤外線レーザーの異常、集音音声の異常）や程度（例えば、異常の予兆、完全な異常）などを区別して把握することが可能な態様の図形を用いることが好ましい。例えば、異常の種別毎に図形の形状を統一し、異常の程度に応じて図形の色や大きさを変化させる、といった具合である。
【００６７】
次に、モニタ位置指定用ステッキ３２を用いた表示内容の切り替えを説明する。
モニタ位置指定用ステッキ３２を用いて表示内容を切り替える動作の一例について、図９〜１１を参照して説明する。
図９〜１１には、ヘッドマウント型ディスプレイ３１に表示される監視対象画像の一例として、建物及びその周辺を含む区域を３次元空間上に表現した監視対象画像に、建物の内部に設置されたカメラ１１による検知結果を示す図形Ａ５を付加した例を示してある。
図９に示すように、当初は、建物の外観を示す外観画像Ｔの内部に透過的に図形Ａ５を付加してあり、図１０に示すように、モニタ位置指定用ステッキ３２の先端部分を建物の外観画像Ｔの内部に位置させた状態（差し込んだ状態）でモニタ位置指定用ステッキ３２のスイッチ５２が押し下げられると、図１１に示すように、建物の内部構造を示す内部画像Ｔ’に切り替えるようにする。
【００６８】
モニタ位置指定用ステッキ３２を用いて表示内容を切り替える動作の他の例について、図１２，１３を参照して説明する。
図１２には、ヘッドマウント型ディスプレイ３１に表示される監視対象画像の一例として、建物及びその周辺を含む区域を３次元空間上に表現した監視対象画像に、建物の外部に設置されたカメラ１１による検知結果を示す図形Ａ６を付加した例を示してある。この図形Ａ６の近辺（一定の範囲内）にモニタ位置指定用ステッキ３２の先端部分を位置させると共に、モニタ位置指定用ステッキ３２の先端部分に設けられた確認位置指定用プレート５４の表面（指示部）を図形Ａ６側に向けた状態でモニタ位置指定用ステッキ３２のスイッチ５２が押し下げられると、図１３に示すように、該当する場所に設置されたカメラ１１（本例では、門に向けて設置された第５カメラ１１（５））による撮影画像を映像表示用ディスプレイ１１に表示させるようにする。この撮影画像は、情報収集セクション１０側から直接的に映像表示用ディスプレイ１１へ伝送させてもよく、情報処理セクション２０を経由して映像表示用ディスプレイ１１へ伝送させてもよい。
【００６９】
ここで、モニタ位置指定用ステッキ３２の指示部（確認位置指定用プレート５４の表面）の位置及び方向の変化に応じて、映像表示用ディスプレイ１１（或いはヘッドマウント型ディスプレイ３１）の表示内容を変化させるようにしてもよい。すなわち、例えば、撮影方向が可変なカメラをセンサーとして用い、モニタ位置指定用ステッキ３２の指示部の方向に対応する撮影方向にカメラの向きを制御することで、その撮影方向の撮影画像を映像表示用ディスプレイ１１に表示させたり、映像表示用ディスプレイ１１に表示される撮影画像をモニタ位置指定用ステッキ３２の指示部を図形Ａ６に近づけるほど拡大させたりしてもよい。
【００７０】
以上のように、本例の監視システムでは、操作人（監視者）がヘッドマウント型ディスプレイ３１を通して見る現実世界（現場の像）に仮想的な監視対象画像（及びこれに付加された検知結果の情報）を融合させることで、所望の視点から監視対象を監視できるようにしてあり、また、モニタ位置指定用ステッキ３２を用いた直感的な作法により表示切り替え等を行えるようにしてあるため、操作人（監視者）は、監視対象の監視を効果的に実施することができる。
【００７１】
ここで、本例では、ヘッドマウント型ディスプレイ３１にカメラを設けて現場の画像を撮影し、これに監視対象画像（及びこれに付加された検知結果の情報）を重ねた画像をディスプレイに表示するようにしているが、例えば、現場の像を透過させて操作人（監視者）に与える透過型のディスプレイを用い、当該透過型のディスプレイに監視対象画像（及びこれに付加された検知結果の情報）を映し出すようにすることで、現場の像への重ね合わせを行うようにしてもよい。図４（ｂ）には、透過型ディスプレイ装置の外観を例示してある。本例の透過型ディスプレイ装置６０は、透過型のディスプレイ６１、当該ディスプレイ６１を固定するフレーム枠６２、人により把持されるグリップ部６３を有しており、操作人（監視者）が手に持って使用するタイプの表示装置である。すなわち、本例の透過型ディスプレイ装置６０によれば、透過型のディスプレイ６１により透過される現場の像と当該ディスプレイ６１に表示出力される監視対象画像（及びこれに付加された検知結果の情報）との重ね合わせが行われる。
【符号の説明】
【００７２】
１０：情報収集セクション、  ２０：情報処理セクション、  ３０：ユーザインタフェースセクション、
１１（１）〜１１（Ｌ）：カメラ、  １２（１）〜１２（Ｍ）：赤外線センサー、  １３（１）〜１３（Ｎ）：マイク、
２１：３次元情報統合サーバ、  ２２：３次元処理サーバ、  ２３：画像処理サーバ、  ２４：赤外線センサー管理サーバ、  ２５：音声解析サーバ、  ２６：ヘッドマウント型ディスプレイ位置測位サーバ、  ２７：モニタ位置指定用ステッキ位置測位サーバ、  ２８：３次元映像生成サーバ、２９：３次元映像配信サーバ、
３１（１）〜３１（Ｑ）：ヘッドマウント型ディスプレイ、  ３２（１）〜３２（Ｒ）：モニタ位置指定用ステッキ、  ３３（１）〜３３（３）：無線基地局、  ３４（１）〜３４（Ｐ）：カメラ映像表示ディスプレイ
【図１】
2012239068.tif 000003
【図２】
2012239068.tif 000004
【図３】
2012239068.tif 000005
【図４】
2012239068.tif 000006
【図５】
2012239068.tif 000007
【図６】
2012239068.tif 000008
【図７】
2012239068.tif 000009
【図８】
2012239068.tif 000010
【図９】
2012239068.tif 000011
【図１０】
2012239068.tif 000012
【図１１】
2012239068.tif 000013
【図１２】
2012239068.tif 000014
【図１３】
2012239068.tif 000015