(57)【要約】【課題】監視画像と状態データとを表示画面上において位置的に一体的に表示され状態データの視認性を一層向上した遠隔監視システムを実現する。【解決手段】本発明では、監視すべき領域の監視画像（ＰＣＴ）及び検出した状態データ（ＤＡＴ）を識別状態（ＵＲＬ）と共にそれぞれ蓄積手段（２１，２２）に記憶する。また、監視画像の数や表示すべき状態データの数等に基づいて仮想サイズ等の表示パラメータを規定したマスタテンプレート（Ｍ−ＴＭＰ）を作成する。このマスタテンプレートに監視画像及び状態データの識別情報を埋め込んでカレントテンプレート（Ｃ−ＴＭＰ）を作成する。このカレントテンプレートを表示端末（３０）に送信し、表示端末では、識別情報を用いて監視画像及び状態データを取得し、状態データを正規化して座標系を規定してカレントテンプレートに埋め込むと共に監視画像を貼り付ける。これにより、監視画像と状態データとが位置的に一体化された遠隔監視画像を表示することができる。【選択図】図１
2005354356.tif 000002
【特許請求の範囲】
【請求項１】
監視されるべき領域の画像を撮像すると共に監視されるべき領域の状態を表す状態データを検出する少なくとも１個の監視装置と、ネットワークを介して前記監視装置に接続され、前記監視されるべき領域の画像及び状態を表示する３次元仮想空間を規定する表示情報を作成する３次元仮想空間生成装置と、前記３次元仮想空間生成装置に接続され、監視されるべき領域の画像及び状態データを含む３次元仮想空間を表示する１又は複数個の表示端末とを具える３次元仮想空間を用いた遠隔監視システムにおいて、
前記監視装置は、監視されるべき領域の画像を撮像する１個又は複数個の撮像手段と、
監視すべき領域の状態を表す状態データを検出する１個又は複数個の監視センサと、撮像された監視画像及び検出した状態データをネットワークを介して前記３次元仮想空間生成装置に転送する通信手段とを有し、
前記３次元仮想空間生成装置は、監視装置との間で情報伝送を行う通信手段と、通信手段を介して前記監視装置から転送されてきた画像情報を順次受け取り、各画像毎に識別情報をそれぞれ付与して蓄積する画像蓄積手段と、同様に監視装置から転送されてきた状態データを順次受け取り、各状態データに識別情報をそれぞれ付与して蓄積するデータ蓄積手段と、表示端末上に表示される監視画像及び状態データの表示パラメータを規定するマスタテンプレートを記憶するマスタテンプレート蓄積手段と、マスタテンプレートに状態データ識別情報及び画像識別情報を書き込んでカレントテンプレートを作成するカレントテンプレート生成手段とを有し、
前記表示端末は、前記３次元空間生成装置から送られてきたカレントテンプレート、状態データ、及び画像情報を用い、監視されるべき領域の１個又は複数個の画像と当該画像と関連する状態データとを表示画面上で位置的に関連して表示する３次元仮想空間表示手段を有することを特徴とする３次元仮想空間を用いた遠隔監視システム。
【請求項２】
前記表示端末の３次元仮想空間表示手段は、前記３次元仮想空間生成装置からカレントテンプレートを受け取った際、カレントテンプレートに含まれる監視画像識別情報及び状態データ識別情報を用いて、対応する監視画像及び状態データを取得することを特徴とする請求項１に記載の３次元仮想空間を用いた遠隔監視システム。
【請求項３】
前記表示端末の３次元仮想空間表示手段は、前記カレントテンプレート生成手段からカレントテンプレートを取得し、該カレントテンプレート内の状態データ識別情報を用いて各監視装置毎の最新の状態データを取得し、該カレントテンプレートに含まれる３次元仮想空間の仮想サイズに収まるように該状態データを正規化して監視画像表示座標を生成し、該監視画像表示座標を該カレントテンプレートに埋め込んで３次元仮想空間定義情報を生成する３次元仮想空間定義情報生成手段と、
前記３次元仮想空間定義情報生成手段により生成した３次元仮想空間定義情報に基づき、該３次元仮想空間定義情報に含まれ監視画像識別情報を用いて前記３次元仮想空間生成装置の前記画像蓄積手段から取得した遠隔監視画像を３次元仮想空間内の前記監視画像表示座標に配置して監視画像及び状態データを表示する表示手段とを有することを特徴とする請求項１又は２に記載の３次元仮想空間を用いた遠隔監視システム。
【請求項４】
前記表示端末上に表示される監視画像の表示画面上の位置及び大きさは、検出された状態データの値に対応して変化することを特徴とする請求項１から３までのいずれか１項に記載の３次元仮想空間を用いた遠隔監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は遠隔監視技術に関し、詳しくは監視されるべき領域を撮像した遠隔監視画像と監視センサにより検出したセンサ情報とを表示端末上において互いに位置的に関連して表示する遠隔監視システムに関するものである。
【背景技術】
【０００２】
従来の遠隔監視技術においては、監視対象毎に監視カメラ及びセンサーを備える監視装置を設置し、表示端末の表示画面を複数の監視対象に対応するエリアに区切り、該監視対象についての遠隔監視画像及びセンサー情報を該エリア内に表示する技術が主流である。通例、例えばテレビカメラにより撮像された遠隔監視画像の数が表示端末の一画面内の表示エリア数より多い場合には、表示画面を複数個の画面に分割し、一定時間毎に画像を切り替えて表示することが行われている（例えば、特許文献１参照）。
【０００３】
またセンサー情報の画面表示は数値表示あるいはグラフ表示であり、多数の監視対象についての該センサー情報の認知には監視者の習熟を必要とするため、通例は明確なしきい値を設けた上で、センサー情報がしきい値を越えた場合の警告手役を備えることが多い。
【０００４】
【特許文献１】特開２０００−２６１７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した前記従来技術においては、同時に表示できる遠隔監視画像の数は一画面内のエリア数に限定されるため、画面切り替えによるタイムラグの間は一部の監視対象が監視できない、という問題があった。
また、多数の監視対象についての画像とセンサ情報とが位置的に分離されて表示されるため、センサー情報の値を正確に視認することは容易でなく、特に該センサー情報に対して明確なしきい値が設定できない場合には、監視者がセンサの測定データを見落とす可能性が高い、という問題があった。一方、表示端末の表示画面上において、監視領域の監視画像と状態データとが一体的に表示されれば、監視画像と状態データとを瞬時に把握することができ、遠隔監視システムの性能を格段に向上させることができる。
【０００６】
本発明は、上記に鑑みてなされたもので、その目的とするところは、複数遠隔監視画像の表示技術において、３次元仮想空間の奥行きを利用し３次元的に配置することにより一画面内に多数の遠隔監視画像を表示して総覧性を高めると共に、３次元仮想空間内の遠隔監視画像表示座標を対応するセンサー情報に対応付けることにより多数のセンサー情報の認知容易性を高めることを可能とする３次元仮想空間を用いた複数遠隔監視画像の表示方式及び装置を提供することにある。
さらに、本発明の別の目的は、表示画面上において、監視画像と状態データとを一体的に、すなわち画面上において位置的に関連して表示することができ、状態データの視認性が一層改良された遠隔監視システムを実現することにある。
さらに、本発明の別の目的は、表示画面上において、状態データの変化に対応して監視画像の大きさが変化し、状態データと監視画像とが連動した遠隔監視システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明による３次元仮想空間を用いた遠隔監視システムは、監視されるべき領域の画像を撮像すると共に監視されるべき領域の状態を表す状態データを検出する少なくとも１個の監視装置と、ネットワークを介して前記監視装置に接続され、前記監視されるべき領域の画像及び状態を表示する３次元仮想空間を規定する表示情報を作成する３次元仮想空間生成装置と、前記３次元仮想空間生成装置に接続され、監視されるべき領域の画像及び状態データを含む３次元仮想空間を表示する１又は複数個の表示端末とを具える３次元仮想空間を用いた遠隔監視システムにおいて、
前記監視装置は、監視されるべき領域の画像を撮像する１個又は複数個の撮像手段と、
監視すべき領域の状態を表す状態データを検出する１個又は複数個の監視センサと、撮像された監視画像及び検出した状態データをネットワークを介して前記３次元仮想空間生成装置に転送する通信手段とを有し、
前記３次元仮想空間生成装置は、監視装置との間で情報伝送を行う通信手段と、通信手段を介して前記監視装置から転送されてきた画像情報を順次受け取り、各画像毎に識別情報をそれぞれ付与して蓄積する画像蓄積手段と、同様に監視装置から転送されてきた状態データを順次受け取り、各状態データに識別情報をそれぞれ付与して蓄積するデータ蓄積手段と、表示端末上に表示される監視画像及び状態データの表示パラメータを規定するマスタテンプレートを記憶するマスタテンプレート蓄積手段と、マスタテンプレートに状態データ識別情報及び画像識別情報を書き込んでカレントテンプレートを作成するカレントテンプレート生成手段とを有し、
前記表示端末は、前記３次元空間生成装置から送られてきたカレントテンプレート、状態データ、及び画像情報を用い、監視されるべき領域の１個又は複数個の画像と当該画像と関連する状態データとを表示画面上で位置的に関連して表示する３次元仮想空間表示手段を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、３次元仮想空間の奥行きを利用し３次元的に配置することにより一画面内に多数の遠隔監視画像を表示して総覧性を高めることができると共に、３次元仮想空間内の遠隔監視画像表示座標を対応するセンサー情報に対応付けることにより多数のセンサー情報の認知容易性を高めることができる。特に、病院において患者の容体を遠隔監視するシステムにおいては、多数の監視センサにより検出した状態データが患者監視画像と一体的に画面上に表示されるため、状態データを一層明瞭に把握することができる。
さらに、本発明では、マスタテンプレートを用いて表示パラメータを規定するため、全ての監視画像を同一の表示画面上に表示することができる。これにより、同時に表示できる遠隔監視画像の数は一画面内のエリア数に限定されるため、画面切り替えによるタイムラグの間は一部の監視対象が監視できないという従来の問題を解決できる。
また、多数の監視対象についてのセンサー情報認知は容易でなく、特に該センサー情報に対して明確なしきい値が設定できない場合には、見落としの発生する可能性が高い、
という従来の聞置を解決できる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を用いて本発明の実施の形態を説明する。図１は、本発明による３次元仮想空間を用いた遠隔監視システムの一例を示す線図である。本発明では、監視装置１０を設け、監視すべき領域画像及び状態データを測定する。監視領域として、例えば病院の患者、プラント装置、工場内の自動生産システムとすることができる。また、監視装置１は、１個又は複数個設けることができ、例えばプラント装置を監視する場合、複数の監視装置をプラント装置内に配置し、病院の患者の容体を監視する場合病室内に１台の監視装置を配置して遠隔監視を行うことができる。監視装置１は、ネットワークを介して３次元仮想空間生成装置２０を接続する。この３次元仮想空間生成装置２０は、例えばネットワーク上のサーバに配置され、３次元仮想空間表示情報を表示端末３０に送信する。図面上１個の表示端末だけを図示したが、勿論３次元仮想空間生成装置２０に複数台の表示端末を接続して、同一の監視領域を複数のモニタを介して監視することができる。
【００１０】
監視装置１０は、監視されるべき領域の画像を撮像する撮像手段である監視カメラ１１と、監視されるべき領域の状態データを検出ないし測定する監視センサ１２とを有する。例えば、病院において患者の容体を監視する場合、１台の監視カメラと複数の監視センサを用いる。この場合、患者の状態データとして、患者の体温、心拍数、脳波等を測定する。尚、状態データとして、監視すべき領域に応じて、周囲温度、振動数や明るさ等の各種の状態データとすることができる。監視カメラ１１により撮像された画像情報（ＰＣＴ）は、画像送信手段１３を経てネットワーク（図示せず）を介して３次元仮想空間生成装置２０に転送する。同様に、監視センサ１２により検出された状態データは、データ送信手段１４を経てネットワークを介して３次元仮想空間生成装置２０に転送する。
【００１１】
３次元仮想空間生成装置２０では、監視装置１０から転送されてくる画像情報について、画像蓄積手段２１において各画像毎に識別情報（ＵＲＬ）を付与し、画像情報と識別情報とを対の関係として蓄積する。また、転送されてくる状態データについても同様に、データ蓄積手段２２において状態データと識別情報とを対の関係として蓄積する。さらに、３次元仮想空間生成装置は、マスタテンプレート蓄積手段２３を具える。このマスタテンプレート蓄積手段は、受信した画像情報及び状態データを画面上に表示するための表示パラメータや定義情報を作成し、テンプレートとして蓄積する。例えば、ユーザから入力された監視カメラの数に応じて画面上の表示エリア数を規定し、各表示エリアの大きさ及び表示位置を座標系として規定し、３次元仮想空間の仮想サイズ等の定義情報を含むテンプレート（Ｍ−ＴＭＰ）を作成する。マスタテンプレートの作成に際し、各種の状態データと付随する画像情報とを一体的に表示されるように各種表示パラメータを規定する。例えば、患者の容体を監視する場合、患者の体温を状態データとし体温の変化を棒グラフで表示する場合患者の画像が当該棒グラフに直接隣接するように表示パラメータを規定する。さらに、状態データである体温の変化に応じて表示画像の大きさが変化するようにパラメータを設定することができる。このように、検出された状態データを基準として監視画像の表示面積を変化させることにより、監視領域の状態変化を一層明瞭に把握することができる。
【００１２】
作成されたマスタテンプレートは、カレントテンプレート生成手段２４に送出する。カレントテンプレート生成手段２４には、さらに、画面蓄積手段２１に蓄積される最新の監視画像の識別情報及びデータ蓄積手段２２に蓄積される最新の状態データの識別情報が入力する。そして、カレントテンプレート生成手段は、マスタテンプレートに監視画像及び状態データのＵＲＬを埋め込み、カレントテンプレートとして表示端末３０に送出する。尚、３次元仮想空間生成装置は、コントローラを有し、画像蓄積手段２１、データ蓄積手段２２、マスタテンプレート蓄積手段２３及びカレントテンプレート生成手段２４の動作を制御し、カレントテンプレート（Ｃ−ＴＰＭ）、最新の画像情報（ＰＣＴ）及び最新の状態データ（ＤＡＴ）を同期して表示端末３０に送信することも可能である。
【００１３】
表示端末３０は、３次元仮想空間定義情報生成手段３１を有し、送られてきたカレントテンプレート及び最新の状態データを受け取る。そして、該カレントテンプレートに含まれる３次元仮想空間の仮想サイズに収まるように状態データを正規化して監視画像表示座標を生成し、該監視画像表示座標を該カレントテンプレートに埋め込んで完全な３次元仮想空間定義情報を生成する。さらに、３次元仮想空間表示手段３２において、３次元仮想空間生成手段にて生成した３次元仮想空間定義情報に基づき、該３次元仮想空間定義情報に含まれる画像取得ＵＲＬ（識別情報）を用いて前記３次元仮想空間生成装置の前記画像蓄積手段から取得した遠隔監視画像を３次元仮想空間内の前記監視画像表示座標に配置し、該３次元仮想空間を画面に表示する。
【００１４】
次に、以上のように構成される本実施形態の３次元仮想空間を用いた遠隔監視システムの作用について、図１内に示すステップ番号Ｓｌ〜Ｓ７を参照して説明する。また図２に装置間のシークェンスチャート例を示す。
まず、３次元仮想空間生成装置２０は、ユーザから入力された情報に基づいて、画面表示に用いる３次元仮想空間の仮想サイズ等の定義情報を含むテンプレートを作成し蓄積する（ステップＳｌ）。
次に、監視装置１０は、監視対象の遠隔監視画像を撮影する（ステップＳ２）と共に、監視対象の状態データを取得する（ステップＳ３）。
更に、複数の監視装置１０は、前記遠隔監視画像を３次元仮想空間生成装置２０に送信する（ステップＳ４）と共に、前記状態データを３次元仮想空間生成装置に送信する（ステップＳ５）。
【００１５】
次に、３次元仮想空間生成装置２０は、複数の監視装置の前記画像送信手段から遠隔監視画像を取得して蓄積し、蓄積した遠隔監視画像を表示端末より取得するための画像取得ＵＲＬを生成する（ステップＳ６）。
更に、３次元仮想空間生成装置２は、複数の監視装置の前記データ送信手段から状態データを取得し、識別情報であるＵＲＬと対として蓄積する。（ステップＳ７）。
次に、カレントテンプレート生成手段２４において、マスターテンプレート蓄積手段２３からマスターテンプレートを取得し、各監視装置毎に前記画像蓄積手段にて生成した画像取得ＵＲＬ及び前記データ蓄積手段にて生成した状態データ取得ＵＲＬを該マスターテンプレートに埋め込んで表示端末が使用するカレントテンプレートを生成する（ステップＳ８）。
【００１６】
次に、表示端末３０は、前記３次元仮想空間生成装置のカレントテンプレート生成手段からカレントテンプレートを取得し、該カレントテンプレート内の状態データ取得ＵＲＬを用いて各監視装置毎の最新の状態データを取得し、該カレントテンプレートに含まれる３次元仮想空間の仮想サイズに収まるように該状態データを正規化して監視画像表示座標を生成し、該監視画像表示座標を該カレントテンプレートに埋め込んで完全な３次元仮想空間定義情報を生成する（ステップＳ９）。
次に、表示端末３０は、前記３次元仮想空間定義情報生成手段にて生成した３次元仮想空間定義情報に基づき、該３次元仮想空間定義情報に含まれる画像取得ＵＲＬを用いて前記３次元仮想空間生成装置の前記画像蓄積手段から取得した遠隔監視画像を３次元仮想空間内の前記監視画像表示座標に配置し、該３次元仮想空間を画面に表示する（ステップＳ７）。
【図面の簡単な説明】
【００１７】
【図１】本発明による３次元仮想空間を用いた遠隔監視システムの一例を示す線図である。
【図２】本発明の一実施形態に係る３次元仮想空間を用いた遠隔監視システムの装置間のシークェンスチャート例を示す図である。
【符号の説明】
【００１８】
１０    監視装置
１１    監視カメラ
１２    監視センサ
１３    画像送信手段
１４    データ送信手段
２０    ３次元仮想空間生成装置
２１    画像蓄積手段
２２データ蓄積手段
２３    マスタテンプレート蓄積手段
２４    カレントテンプレート生成手段
３０    表示端末
３１    ３次元仮想空間定義情報生成手段
３２    ３次元仮想空間表示手段
【図１】
2005354356.tif 000003
【図２】
2005354356.tif 000004