(57)【要約】【課題】ユーザがヘッドマウント装置を使用して作業を行う場合に、その作業の結果をリアルタイムに通知すること。【解決手段】情報処理装置は、ヘッドマウント装置との間で通信を行う第１の通信部と、ヘッドマウント装置に関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたか否かを判定する判定部とを備え、第１の通信部は、判定部が検出した判定の結果を表す情報をヘッドマウント装置へ送信し、ヘッドマウント装置は、表示部と、情報処理装置との間で通信を行う第２の通信部とを備え、第２の通信部は、情報処理装置が送信した判定の結果を受信し、表示部は、第２の通信部が受信した判定の結果を表す情報を表示する。【選択図】図４
2017182487.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウント装置と情報処理装置とを備えるシステムであって、
前記情報処理装置は、
前記ヘッドマウント装置との間で通信を行う第１の通信部と、
前記ヘッドマウント装置に関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたか否かを判定する判定部と
を備え、
前記第１の通信部は、前記判定部が検出した判定の結果を表す情報を前記ヘッドマウント装置へ送信し、
前記ヘッドマウント装置は、
表示部と、
前記情報処理装置との間で通信を行う第２の通信部と
を備え、
前記第２の通信部は、前記情報処理装置が送信した前記判定の結果を受信し、
前記表示部は、前記第２の通信部が受信した前記判定の結果を表す情報を表示する、システム。
【請求項２】
前記情報処理装置は、
前記ヘッドマウント装置に関連付けられた装置又は該作業に関連して異常状態を示す情報が検出された場合の対応手順を記憶する第１の記憶部と、
前記判定部が異常状態を示す情報を検出した場合に、前記第１の記憶部に記憶された対応手順から、該異常状態を示す情報が検出された場合の対応手順を取得する取得部と
を備え、
前記第１の通信部は、前記取得部によって取得された前記対応手順を表す情報を前記ヘッドマウント装置へ送信し、
前記第２の通信部は、前記情報処理装置によって送信される前記対応手順を表す情報を受信し、
前記表示部は、前記第２の通信部によって受信された前記対応手順を表示する、請求項１に記載のシステム。
【請求項３】
前記情報処理装置は、
複数の作業の識別情報の各々と、該作業の順序とを対応付けて記憶する第２の記憶部と、
前記第２の記憶部に記憶された前記作業の順序から、前記判定部によって前記異常状態を示す情報が検出されなかった作業の順序の次の順序に対応する作業の識別情報を取得する取得部と
を備え、
前記第１の通信部は、前記取得部によって取得された前記次の順序に対応する作業の識別情報を前記ヘッドマウント装置へ送信し、
前記第２の通信部は、前記情報処理装置によって送信される前記次の順序に対応する作業の識別情報を受信し、
前記表示部は、前記第２の通信部によって受信された前記次の順序に対応する作業の識別情報に対応する作業を表示する、請求項１に記載のシステム。
【請求項４】
前記第１の通信部は、前記判定部によって前記異常状態を示す情報が検出された場合に、前記作業の識別情報の送信を停止する、請求項３に記載のシステム。
【請求項５】
ヘッドマウント装置との間で通信を行う通信部と、
前記ヘッドマウント装置に関連付けられた装置または作業に関連して異常状態を示す情報が検出されたか否かを判定する判定部と
を備え、
前記通信部は、前記判定部が検出した判定の結果を表す情報を前記ヘッドマウント装置へ送信する、情報処理装置。
【請求項６】
表示部と、
情報処理装置との間で通信を行う通信部と
を備え、
前記表示部は、前記通信部が受信したヘッドマウント装置に関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたか否かの判定の結果を表す情報を表示する、ヘッドマウント装置。
【請求項７】
ヘッドマウント装置と情報処理装置とを備えるシステムによって実行される方法であって、
前記情報処理装置が、前記ヘッドマウント装置に関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたか否かを判定するステップと、
前記情報処理装置が、前記判定の結果を表す情報を前記ヘッドマウント装置へ送信するステップと、
前記ヘッドマウント装置が、前記判定の結果を表す情報を受信するステップと、
前記ヘッドマウント装置が、前記判定の結果を表す情報を表示するステップと
を有する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、システム、情報処理装置、ヘッドマウント装置、及び方法に関する。
【背景技術】
【０００２】
近年、センサー等のデバイスの小型化が進み、スマートグラス等のウェアラブルなヘッドマウントディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：ＨＭＤ）の開発が進んでいる。ヘッドマウントディスプレイを用いたシステムでは、眼鏡のレンズ、サングラスやゴーグルの前面のガラスやプラスティック等の仮想スクリーンに情報を投影することによって表示するものが知られている。
ヘッドマウントディスプレイを使用して障害修復作業を行う技術に関して、予期しない障害が発生した場合でも、最適な障害修復作業を案内して作業支援を行う技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２４８８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
作業員は、監視センターからの指示にしたがって、機器等に対して結線等の作業を行う。作業が終わると、作業員は作業が終了したことを監視センターへ通知する。作業終了の通知を受けた監視センターは、アラームが発せられたか否かを作業員へ通知する。
仮に、監視センターが複数の作業を同時に監視しており、複数のアラームを同時に検出した場合には、複数のアラームに対して同時に対応することができず、アラームが発せられたことを通知するのが遅れるおそれがある。
【０００５】
本発明は、上記問題を解決すべくなされたもので、ユーザがヘッドマウント装置を使用して作業を行う場合に、その作業の結果をリアルタイムに通知することを目的とする。
【課題を解決するための手段】
【０００６】
（１）本発明の一態様は、ヘッドマウント装置と情報処理装置とを備えるシステムであって、前記情報処理装置は、前記ヘッドマウント装置との間で通信を行う第１の通信部と、前記ヘッドマウント装置に関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたか否かを判定する判定部とを備え、前記第１の通信部は、前記判定部が検出した判定の結果を表す情報を前記ヘッドマウント装置へ送信し、前記ヘッドマウント装置は、表示部と、前記情報処理装置との間で通信を行う第２の通信部とを備え、前記第２の通信部は、前記情報処理装置が送信した前記判定の結果を受信し、前記表示部は、前記第２の通信部が受信した前記判定の結果を表す情報を表示する、システムである。
【０００７】
（２）本発明の一態様は、上記（１）に記載のシステムにおいて、前記情報処理装置は、前記ヘッドマウント装置に関連付けられた装置又は該作業に関連して異常状態を示す情報が検出された場合の対応手順を記憶する第１の記憶部と、前記判定部が異常状態を示す情報を検出した場合に、前記第１の記憶部に記憶された対応手順から、該異常状態を示す情報が検出された場合の対応手順を取得する取得部とを備え、前記第１の通信部は、前記取得部によって取得された前記対応手順を表す情報を前記ヘッドマウント装置へ送信し、前記第２の通信部は、前記情報処理装置によって送信される前記対応手順を表す情報を受信し、前記表示部は、前記第２の通信部によって受信された前記対応手順を表示する、システムである。
【０００８】
（３）本発明の一態様は、上記（１）に記載のシステムにおいて、前記情報処理装置は、複数の作業の識別情報の各々と、該作業の順序とを対応付けて記憶する第２の記憶部と、前記第２の記憶部に記憶された前記作業の順序から、前記判定部によって前記異常状態を示す情報が検出されなかった作業の順序の次の順序に対応する作業の識別情報を取得する取得部とを備え、前記第１の通信部は、前記取得部によって取得された前記次の順序に対応する作業の識別情報を前記ヘッドマウント装置へ送信し、前記第２の通信部は、前記情報処理装置によって送信される前記次の順序に対応する作業の識別情報を受信し、前記表示部は、前記第２の通信部によって受信された前記次の順序に対応する作業の識別情報に対応する作業を表示する、システムである。
【０００９】
（４）本発明の一態様は、上記（３）に記載のシステムにおいて、前記第１の通信部は、前記判定部によって前記異常状態を示す情報が検出された場合に、前記作業の識別情報の送信を停止する、システムである。
【００１０】
（５）本発明の一態様は、ヘッドマウント装置との間で通信を行う通信部と、前記ヘッドマウント装置に関連付けられた装置または作業に関連して異常状態を示す情報が検出されたか否かを判定する判定部とを備え、前記通信部は、前記判定部が検出した判定の結果を表す情報を前記ヘッドマウント装置へ送信する、情報処理装置である。
【００１１】
（６）本発明の一態様は、表示部と、情報処理装置との間で通信を行う通信部とを備え、前記表示部は、前記通信部が受信したヘッドマウント装置に関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたか否かの判定の結果を表す情報を表示する、ヘッドマウント装置である。
【００１２】
（７）本発明の一態様は、ヘッドマウント装置と情報処理装置とを備えるシステムによって実行される方法であって、前記情報処理装置が、前記ヘッドマウント装置に関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたか否かを判定するステップと、前記情報処理装置が、前記判定の結果を表す情報を前記ヘッドマウント装置へ送信するステップと、前記ヘッドマウント装置が、前記判定の結果を表す情報を受信するステップと、前記ヘッドマウント装置が、前記判定の結果を表す情報を表示するステップとを有する、方法である。
【発明の効果】
【００１３】
本発明の実施形態によれば、ユーザがヘッドマウント装置を使用して作業を行う場合に、その作業の結果をリアルタイムに通知することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係るシステムを示す図である。
【図２】本実施形態に係るヘッドマウント装置のハードウェア構成の一例を示す図である。
【図３】本実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。
【図４】本実施形態に係るシステムの一例を示す機能ブロック図である。
【図５】本実施形態に係るヘッドマウント装置によって投影される画像の一例を示す図である。
【図６】ヘッドマウント装置管理テーブルの一例を示す図である。
【図７】ペアリング管理テーブルの一例を示す図である。
【図８】関連装置・作業管理テーブルの一例を示す図である。
【図９】本実施形態に係るシステムの動作の一例を示すシーケンス図である。
【図１０】関連装置・作業管理テーブルの一例を示す図である。
【図１１】本実施形態に係るシステムの動作の一例を示すシーケンス図である。
【図１２】本実施形態に係るシステムの一例を示す機能ブロック図である。
【図１３】異常状態・対応手順対応テーブルの一例を示す図である。
【図１４】本実施形態に係るシステムの動作の一例を示すシーケンス図である。
【発明を実施するための形態】
【００１５】
＜第１の実施形態＞
＜システム＞
本実施形態に係るシステムは、ヘッドマウント装置の撮像部が撮像した画像を、情報処理装置に表示する。さらに、システムは、複数のヘッドマウント装置の間で、一のヘッドマウント装置が撮像すること等によって取得した画像データを他のヘッドマウント装置へ送信する。他のヘッドマウント装置は、該一のヘッドマウント装置が送信した画像データを受信すると、該データを処理することによって投影する。これによって、複数のヘッドマウント装置の間で、画像データをリアルタイムに共有することができる。
さらに、情報処理装置は、ヘッドマウント装置と関連付けられた装置又は作業に関連して異常状態を示す情報を検出した場合に、該ヘッドマウント装置へ異常状態を検出したことを示す情報を通知する。ヘッドマウント装置は、情報処理装置によって送信された異常状態を検出したことを示す情報を受信すると、該異常状態を検出したことを示す情報を処理し、表示する。
【００１６】
図１は、システムの一例を示す。システムは、ヘッドマウント装置１００ａと、ヘッドマウント装置１００ｂと、情報処理装置２００とを備える。例えば、情報処理装置２００は監視センターに設けられ、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは装置に対して作業を行う作業員によって装着される。図１には、一例として、二台のヘッドマウント装置が描かれているが、ヘッドマウント装置の数は一台であってもよいし、三台以上であってもよい。また、ヘッドマウント装置１００ｂの代わりに端末装置を備えてもよいし、ヘッドマウント装置１００ｂとともに端末装置を備えてもよい。端末装置の一例は、携帯電話、スマートフォン、タブレット端末等である。以下、一例として、システムがヘッドマウント装置１００ｂを備える場合について説明を続ける。
情報処理装置２００はインターネット等の通信網２０と接続される。ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、アクセスポイント７０を経由して、通信網２０と接続される。
【００１７】
本実施形態に係るシステムでは、一例として、ヘッドマウント装置１００ａによって得られたデータを情報処理装置２００と、ヘッドマウント装置１００ｂとの間で共有する場合について説明する。ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂの一例は、作業者の頭部に装着される。ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂを頭部に装着している作業者に対して、該作業者が視認できる画像を提示できる構成になっている。例えば、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、透過型のヘッドマウントディスプレイである。図１に示される例では、ヘッドマウント装置１００は眼鏡型の透過型のヘッドマウントディスプレイである。なお、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、眼鏡型以外の形状の頭部装着型のヘッドマウントディスプレイであってもよい。
【００１８】
ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、仮想スクリーンに情報を表示し、周囲環境である背景に重畳して表示することによって、ユーザは背景を見ながら各種情報を確認することができる。すなわち、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、仮想スクリーンに表示される情報と仮想スクリーンの奥の背景とを重畳する。ヘッドマウント装置１００ａは、情報処理装置２００へ、該ヘッドマウント装置１００ａの識別情報、及び認証情報を送信する。
【００１９】
情報処理装置２００は、複数のヘッドマウント装置の識別情報の各々について、該ヘッドマウント装置によって取得されたデータを共有する一又は複数のヘッドマウント装置の識別情報を紐付けて記憶している。さらに、情報処理装置２００は、複数のヘッドマウント装置の各々について、ＩＰアドレスを記憶している。さらに、情報処理装置２００は、複数のヘッドマウント装置の各々について、１又は複数の装置の識別情報と、該１又は複数の装置の各々に対して行う１又は複数の作業の識別情報とを紐付けて記憶している。
情報処理装置２００は、ヘッドマウント装置１００ａによって送信される該ヘッドマウント装置１００ａの識別情報、及び認証情報を受信すると、ペアリングの対象として、該ヘッドマウント装置１００ａの識別情報に紐付けられたヘッドマウント装置１００ｂの識別情報に対応するヘッドマウント装置１００ｂを特定する。さらに、情報処理装置２００は、特定したヘッドマウント装置１００ｂのＩＰアドレスを取得する。
【００２０】
情報処理装置２００は、ヘッドマウント装置１００ｂへ、ヘッドマウント装置１００ａによって送信された認証情報を送信することによって接続要求を行う。ヘッドマウント装置１００ｂは、情報処理装置２００によって送信された認証情報を受信すると、該認証情報を使用してヘッドマウント装置１００ａとの間で通信リンクを確立する。さらに、ヘッドマウント装置１００ｂは、情報処理装置２００によって送信された認証情報を受信すると、該認証情報を使用して情報処理装置２００との間で通信リンクを確立するようにしてもよい。以下、ヘッドマウント装置１００ａと、ヘッドマウント装置１００ｂとを区別しない場合にはヘッドマウント装置１００と記載する。
【００２１】
本実施形態に係るシステムでは、ヘッドマウント装置１００は、情報処理装置２００との間でデータ通信を行う。例えば、ヘッドマウント装置１００ａは情報処理装置２００へヘッドマウント装置１００ａの識別情報、及び認証情報を送信し、情報処理装置２００はヘッドマウント装置１００ｂへ認証情報を送信する。さらに、ヘッドマウント装置１００ａは、ヘッドマウント装置１００ｂとの間で無線通信を行う。例えば、ヘッドマウント装置１００ａとヘッドマウント装置１００ｂとの間は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＮＦＣ）の規格にしたがって通信を行うようにしてもよい。
【００２２】
＜ヘッドマウント装置の構成＞
図２は、本実施形態に係るヘッドマウント装置の一例を示す図である。ヘッドマウント装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０６と、操作部１０７と、不揮発性メモリ１０８と、通信Ｉ／Ｆ部１１０と、撮像部１１２と、投影部１１４と、内部バス１１６とを備えている。これらは、ヘッドマウント装置１００のテンプル（つる）等の筐体に配置される。
【００２３】
ＣＰＵ１０２は、ヘッドマウント装置１００の動作を制御するプログラム１０８２等を不揮発性メモリ１０８から読み出し、ＲＡＭ１０６に展開して実行する。
操作部１０７は、ユーザの操作を受け付ける入力デバイスであり、タッチパネル等のポインティングデバイス、ボタン、ダイヤル、タッチセンサ、タッチパッド等を含む。本実施形態では、一例として、操作部１０７がボタンを構成する場合について説明を続ける。
不揮発性メモリ１０８は、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）カード等によって構成され、ヘッドマウント装置１００の筐体に配置される。不揮発性メモリ１０８は、投影部１１４によって仮想スクリーン上に投影させるオブジェクトのデータ、両眼の位置や仮想スクリーンの位置等を特定するための設定情報等を対応付けて記憶する。
【００２４】
通信Ｉ／Ｆ部１１０は、ＮＦＣモジュール、無線ＬＡＮモジュール等の通信モジュールによって構成され、ヘッドマウント装置１００の筐体に配置される。通信Ｉ／Ｆ部１１０は、ＮＦＣや、無線ＬＡＮによって外部の機器との間で通信を行う。
撮像部１１２は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）カメラやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ等によって構成され、ヘッドマウント装置１００のつる部（テンプル）等の筐体に固定される。撮像部１１２は、直接若しくはハーフミラー等を用いてユーザの両眼の瞳の位置や動き等を撮像することによって得られる画像データをＣＰＵ１０２へ出力する。
投影部１１４は、ヘッドマウント装置１００の筐体に配置される。投影部１１４は、ＣＰＵ１０２によって供給されたオブジェクトの画像データを処理することによって仮想スクリーン上にオブジェクトを表示する。
【００２５】
＜情報処理装置の構成＞
図３は、本実施形態に係る情報処理装置２００のハードウェア構成の一例を示す。情報処理装置２００は、ＣＰＵ２０２と、メモリ２０４と、不揮発性メモリ２０６と、通信Ｉ／Ｆ２０８と、表示装置２０９と、内部バス２１０とを備えている。
ＣＰＵ２０２は、例えば不揮発性メモリ２０６に格納されるプログラムを実行し、メモリ２０４をワークメモリとして使用して、情報処理装置２００の各部を制御する。メモリ２０４は、半導体素子を利用した揮発性のメモリ等のＲＡＭによって構成される。メモリ２０４は、ＣＰＵ２０２のワークメモリとして使用される。不揮発性メモリ２０６は、例えばハードディスク（ＨＤ）やＲＯＭ等によって構成され、ＣＰＵ２０２によって実行されるプログラムが格納される。
【００２６】
通信Ｉ／Ｆ２０８は、外部機器と通信して、ファイルやコマンド等の各種データの送受信を行うためのインターフェースである。表示装置２０９は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等によって構成され、文字や写真等の画像を表示する。内部バス２１０は、ＣＰＵ２０２、メモリ２０４、不揮発性メモリ２０６、通信Ｉ／Ｆ２０８、表示装置２０９を互いに接続する。内部バス２１０に接続される各部は、内部バス２１０を介して互いにデータのやり取りを行うことができるようにされている。
【００２７】
＜本実施形態に係るシステムの機能構成＞
図４は、本実施形態のシステムを構成するヘッドマウント装置１００ａ、ヘッドマウント装置１００ｂ、及び情報処理装置２００の機能ブロック図である。図４では、ヘッドマウント装置１００ａ、ヘッドマウント装置１００ｂ、及び情報処理装置２００が、通信網２０を介してデータ通信することができるように接続されている。
【００２８】
＜ヘッドマウント装置の機能構成＞
ヘッドマウント装置１００ａは、無線通信部１５２ａ、投影処理部１５４ａ、撮像処理部１５６ａ、接続処理部１６０ａ、制御部１６２ａ、記憶部１６４ａ、及び上記各構成要素を図４に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１６６ａを有している。これらの各部は、図４に示されている各構成要素のいずれかが、不揮発性メモリ１０８からＲＡＭ１０６上に展開されたプログラム１０８２を実行するＣＰＵ１０２からの命令によって動作することで実現される機能である。
【００２９】
＜ヘッドマウント装置の各機能構成＞
図２及び図４を用いて、ヘッドマウント装置１００ａの各機能構成について詳細に説明する。なお、以下では、ヘッドマウント装置１００ａの各機能構成を説明するにあたって、図４に示されている各構成要素のうち、ヘッドマウント装置１００ａの各機能構成を実現させるための主なハードウェアとの関係も説明する。
図４に示されているヘッドマウント装置１００ａの無線通信部１５２ａは、ＣＰＵ１０２からの命令、及び通信Ｉ／Ｆ１１０よって実現される。無線通信部１５２ａは、アクセスポイント７０、及び通信網２０を介して、情報処理装置２００との間で各種データの送受信を行う。さらに、無線通信部１５２ａは、ヘッドマウント装置１００ｂとの間で各種データの送受信を行う。例えば、無線通信部１５２ａは、無線ＬＡＮにしたがって、アクセスポイント７０及び通信網２０を介して、情報処理装置２００との間で各種データの送受信を行うとともに、ヘッドマウント装置１００ｂとの間で各種データの送受信を行う。
【００３０】
投影処理部１５４ａは、ＣＰＵ１０２からの命令、及び投影部１１４によって実現される。投影処理部１５４ａは、制御部１６２ａによって供給されるオブジェクトのデータに基づいて仮想スクリーン上にオブジェクトを表示する。
図５は、投影処理部１５４ａによって仮想スクリーン上にオブジェクトが表示されている例を示す。ここでは、一例として、機器等に障害が発生した場合に、修復作業を行う作業員によって装着されたヘッドマウント装置１００ａによって投影されるオブジェクトを示す。図５に示される例では、「運用中！注意」、「作業対象」、「対象外装置」、「対象外装置（ＹＹＹＹＭＭ誤作業発生箇所）」等のオブジェクトが、機器群等の背景に重畳して表示される。これによって、ユーザは、機器群に含まれる各機器の状態を確認しながら作業を行うことができる。さらに、投影処理部１５４ａは、オブジェクトとして、作業指示書、作業チェック表、作業マニュアル等の文書を投影するようにしてもよい。これによって、作業員は、障害が発生した場所に、作業指示書や、作業チェック表や、作業マニュアル等の文書を持参することなく作業を行うことができる。図４に戻り説明を続ける。
【００３１】
撮像処理部１５６ａは、ＣＰＵ１０２からの命令、及び撮像部１１２によって実現される。撮像処理部１５６ａは、ヘッドマウント装置１００ａを装着したユーザの両眼の瞳の位置や動き等を撮像することによって得られる画像データを制御部１６２ａへ出力する。
接続処理部１６０ａは、ＣＰＵ１０２からの命令、及び通信Ｉ／Ｆ１１０によって実現される。接続処理部１６０ａは、ヘッドマウント装置１００ａとヘッドマウント装置１００ｂとの間でペアリングを行うために使用する認証情報を保持する。接続処理部１６０ａは、認証情報を予め保持していてもよいし、ユーザが操作部１０７に対して、ヘッドマウント装置１００ａとヘッドマウント装置１００ｂとの間でデータを共有する操作を行った場合に生成し、保持するようにしてもよい。
【００３２】
接続処理部１６０ａは、データを共有することを要求する信号（以下、「データ共有要求」という）を作成する。データ共有要求には、ヘッドマウント装置１００ａの識別情報（ヘッドマウント装置１００ａのＩＤ）と、認証情報とが付帯される。接続処理部１６０ａは、無線通信部１５２ａから情報処理装置２００へデータ共有要求を送信する。
また、接続処理部１６０ａは、ヘッドマウント装置１００ｂが送信する接続要求が無線通信部１５２ａに受信された場合に、該接続要求に含まれる認証情報が、保持している認証情報と一致するか否かを判定する。接続処理部１６０ａは、該接続要求に含まれる認証情報と保持している認証情報とが一致すると判定した場合、リンクキーを用いた暗号化処理等を行い、ヘッドマウント装置１００ａと、ヘッドマウント装置１００ｂとの間の通信リンクを確立する。接続処理部１６０ａは、該接続要求に含まれる認証情報と保持している認証情報とが一致しないと判定した場合、ヘッドマウント装置１００ａと、ヘッドマウント装置１００ｂとの間の通信リンクを確立しない。
【００３３】
制御部１６２ａは、ＣＰＵ１０２からの命令によって実現される。制御部１６２ａは、ヘッドマウント装置１００ａの全体の制御を行う。例えば、制御部１６２ａは、ユーザが操作部１０７に対して、ヘッドマウント装置１００ａとヘッドマウント装置１００ｂとの間でデータを共有する操作を行った場合に、接続処理部１６０ａへデータ共有要求を作成するように命令する。また、制御部１６２ａは、無線通信部１５２ａとヘッドマウント装置１００ｂとの間で通信リンクが確立された後に、ヘッドマウント装置１００ａを装着したユーザの両眼の瞳の位置や動き等を撮像することによって得られる画像データを無線通信部１５２ａから情報処理装置２００と、ヘッドマウント装置１００ｂへ送信する。
さらに、制御部１６２ａは、情報処理装置２００によって送信された異常状態を検出したことを示す情報が無線通信部１５２ａによって受信されると、該異常状態を検出したことを示す情報を投影処理部１５４ａへ出力する。記憶部１６４ａは、不揮発性メモリ１０８によって実現される。記憶部１６４ａは、ヘッドマウント装置１００ａのＩＤ１６４２ａを格納する。
【００３４】
ヘッドマウント装置１００ｂは、無線通信部１５２ｂ、投影処理部１５４ｂ、撮像処理部１５６ｂ、接続処理部１６０ｂ、制御部１６２ｂ、記憶部１６４ｂ、及び上記各構成要素を図４に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１６６ｂを有している。これらの各部は、図４に示されている各構成要素のいずれかが、不揮発性メモリ１０８からＲＡＭ１０６上に展開されたプログラム１０８２を実行するＣＰＵ１０２からの命令によって動作することで実現される機能である。
無線通信部１５２ｂ、投影処理部１５４ｂ、及び撮像処理部１５６ｂは、上述した無線通信部１５２ａ、投影処理部１５４ａ、及び撮像処理部１５６ａを適用できる。
接続処理部１６０ｂは、情報処理装置２００が送信したデータ共有情報が無線通信部１５２ｂに受信された場合に、該データ共有情報に含まれる認証情報を取得する。そして、接続処理部１６０ｂは、接続要求に該認証情報を付帯して、無線通信部１５２ｂからヘッドマウント装置１００ａへ送信する。
制御部１６２ｂは、ヘッドマウント装置１００ｂの全体の制御を行う。制御部１６２ｂは、無線通信部１５２ｂとヘッドマウント装置１００ａとの間で通信リンクが確立された後に、無線通信部１５２ｂによって受信されたデータを投影処理部１５４ｂへ出力する。具体的には、制御部１６２ｂは、情報処理装置２００によって送信された異常状態を検出したことを示す情報が無線通信部１５２ｂによって受信されると、該異常状態を検出したことを示す情報を投影処理部１５４ｂへ出力する。
記憶部１６４ｂは、ヘッドマウント装置１００ｂのＩＤ１６４２ｂを格納する。
【００３５】
＜情報処理装置の機能構成＞
情報処理装置２００は、送受信部２５２、制御部２５４、選択部２５６、異常状態判定部２５７、記憶部２５８、表示制御部２５９、及び上記各構成要素を図４に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２６０を有している。これらの各部は、図４に示されている各構成要素のいずれかが、情報処理装置２００において、不揮発性メモリ２０６からメモリ２０４上に展開されたプログラム２０６２を実行するＣＰＵ２０２からの命令によって動作することで実現される機能である。
【００３６】
＜情報処理装置の各機能構成＞
図３及び図４を用いて、情報処理装置２００の各機能構成について詳細に説明する。なお、以下では、情報処理装置２００の各機能構成を説明するにあたって、図４に示されている各構成要素のうち、情報処理装置２００の各機能構成を実現させるための主なハードウェアとの関係も説明する。
図４に示されている情報処理装置２００の送受信部２５２は、ＣＰＵ２０２からの命令、及び通信Ｉ／Ｆ２０８よって実現される。送受信部２５２は、通信網２０、及びアクセスポイント７０を介して、ヘッドマウント装置１００ａ、又はヘッドマウント装置１００ｂとの間で各種データの送受信を行う。例えば、送受信部２５２は、ヘッドマウント装置１００ａによって送信される画像データを受信する。
記憶部２５８は、不揮発性メモリ２０６によって実現される。記憶部２５８には、ヘッドマウント装置管理テーブル２５８２と、ペアリング管理テーブル２５８４と、関連装置・作業管理テーブル２５８６とが格納される。
【００３７】
＜ヘッドマウント装置管理テーブル＞
図６は、ヘッドマウント装置管理テーブルの一例を示す。ヘッドマウント装置管理テーブルは、ヘッドマウント装置のＩＤ毎に、ヘッドマウント装置のＩＰアドレスを紐付けて管理する。例えば、図６に示されているヘッドマウント装置管理テーブルにおいて、ヘッドマウント装置のＩＤが「１００ａａ」であるヘッドマウント装置は、ＩＰアドレスが「１９２．１６８.１０．１０」であることが示されている。図６に示されるヘッドマウント装置のＩＤ、及びＩＰアドレスは一例であり、この例に限られない。
【００３８】
＜ペアリング管理テーブル＞
図７は、ペアリング管理テーブルの一例を示す。ペアリング管理テーブルは、ヘッドマウント装置のＩＤ毎に、データを共有する先のヘッドマウント装置のＩＤを紐付けて管理する。例えば、図７に示されているペアリング管理テーブルにおいて、ヘッドマウント装置のＩＤが「１００ａａ」であるヘッドマウント装置は、データを共有する先のヘッドマウント装置のＩＤが「１００ｂｂ」であることが示されている。図７に示される、ヘッドマウント装置のＩＤ、及びペアリング対象のヘッドマウント装置のＩＤは一例であり、この例に限られない。
【００３９】
＜関連装置・作業管理テーブル＞
図８は、関連装置・作業管理テーブルの一例を示す。関連装置・作業管理テーブル２５８６は、ヘッドマウント装置のＩＤ毎に、作業日、作業時間、ヘッドマウント装置の場所、該ヘッドマウント装置に関連する１又は複数の装置のＩＤと、該１又は複数の装置のＩＤの各々に対して行われる作業のＩＤとを紐付けて管理する。例えば、図８に示されている関連装置・作業管理テーブル２５８６において、ヘッドマウント装置のＩＤが「１００ａａ」であるヘッドマウント装置は、作業日が「２０１６年ａａ月ｂｂ日」であり、作業時間が「２時間」であり、該ヘッドマウント装置の場所が「（αα，ββ）」であり、関連する装置のＩＤが「１１１１」、「２２２２」、「３３３３」、・・・である。そして、識別情報が「１１１１」で示される装置に対して行われる作業のＩＤは「ＡＡＡ」であり、識別情報が「２２２２」で示される装置に対して行われる作業のＩＤは「ＢＢＢ」であり、識別情報が「３３３３」で示される装置に対して行われる作業のＩＤは「ＣＣＣ」であることが示されている。ここで、ヘッドマウント装置の場所の一例は、「（緯度，経度）」で表される。図８に示されるヘッドマウント装置のＩＤ、作業日、作業時間、ヘッドマウント装置の場所、装置のＩＤ、及び作業のＩＤは一例であり、この例に限られない。
【００４０】
選択部２５６は、ＣＰＵ２０２からの命令によって実現される。選択部２５６は、ヘッドマウント装置１００ａによって送信されたデータ共有要求が送受信部２５２に受信されると、該データ共有要求から、ヘッドマウント装置１００ａの識別情報、及び認証情報を取得する。選択部２５６は、記憶部２５８に格納されたペアリング管理テーブル２５８４を参照し、データ共有要求に付帯されているヘッドマウント装置１００ａのＩＤ「１００ａａ」に紐付けられた共有先のヘッドマウント装置のＩＤを取得する。例えば、選択部２５６は、共有先のヘッドマウント装置のＩＤとして「１００ｂｂ」を取得する。選択部２５６は、共有先のヘッドマウント装置のＩＤと、認証情報を制御部２５４へ出力する。
【００４１】
異常状態判定部２５７は、ＣＰＵ２０２からの命令によって実現される。異常状態判定部２５７は、情報処理装置２００と通信リンクが確立されている一又は複数のヘッドマウント装置の各々について、該ヘッドマウント装置のＩＤと紐付けられている一又は複数の装置のＩＤ、及び一又は複数の作業のＩＤのいずれか一方又は両方を関連装置・作業管理テーブル２５８６から抽出する。そして、異常状態判定部２５７は、関連装置・作業管理テーブル２５８６から抽出した一又は複数の装置の識別情報に対応する一又は複数の装置、及び一又は複数の作業のＩＤに対応する一又は複数の作業のいずれか一方又は両方について異常状態が検出されたか否かを判定する。
【００４２】
例えば、異常状態判定部２５７は、該一又は複数の装置のいずれかからアラームが発せられたことを検出した場合に、異常状態を検出したと判定する。また、異常状態判定部２５７は、該一又は複数の作業の各々に関連してアラームが発せられたことを検出した場合に、異常状態を検出したと判定する。異常状態判定部２５７は、異常状態を検出した場合に、異常状態を検出したことを示す情報を送受信部２５２からヘッドマウント装置１００へ出力する。さらに、異常状態判定部２５７は、異常状態を検出したことを示す情報を送受信部２５２からヘッドマウント装置１００へ出力する際に、画像に合せて音声情報を送信してもよい。また、異常状態判定部２５７は、異常状態を検出した装置の場所に、重ねて画像表示できるように、画像情報を送信するようにしてもよい。
【００４３】
また、異常状態判定部２５７は、該一又は複数の装置のいずれかからアラームが発せられたこと又は該一又は複数の作業の各々に関連してアラームが発せられたことを検出した場合に、異常状態であるか否かは判定せずに、ヘッドマウント装置１００へ通知するようにしてもよい。例えば、異常状態判定部２５７は、ヘッドマウント装置１００から作業開始の通知を受けると、監視モードを起動し、該ヘッドマウント装置１００に紐付けられている一又は複数の装置の動作状態を監視する。例えば、異常状態判定部２５７は、電源オフ、通信切断等の状態変化、あるいは該一又は複数の装置に接続している他の機器の状態変化を検出する。そして、異常状態判定部２５７は、該他の機器の状態変化を検出すると、送受信部２５２からヘッドマウント装置１００へ、該他の機器の状態変化の内容を通知してもよい。これによって、ヘッドマウント装置１００の装着者は、通知された変化の内容に基づいて、異常であるかどうかを判定できる。さらに、異常状態判定部２５７は、該他の機器の状態変化を検出すると、送受信部２５２からヘッドマウント装置１００へ、該他の機器の状態変化のうち、特定の状態変化の内容を通知してもよい。
【００４４】
また、ヘッドマウント装置１００は、過去５分の間等の所定の時間の過去の画像を録画するようにしてもよい。そして、異常状態判定部２５７は、異常状態を検出すると、ヘッドマウント装置１００に通知することに加え、ヘッドマウント装置１００に録画されている録画データの保存場所の指示やアップロードを指示してもよい。
表示制御部２５９は、ＣＰＵ２０２からの命令、及び表示装置２０９によって実現される。表示制御部２５９は、送受信部２５２によってヘッドマウント装置１００が送信した画像データが受信されると、該画像データを処理することによって得られる画像を表示装置２０９に表示する。
【００４５】
制御部２５４は、ＣＰＵ２０２からの命令によって実現される。制御部２５４は、情報処理装置２００の全体の制御を行う。例えば、制御部２５４は、記憶部２５８に格納されたヘッドマウント装置管理テーブル２５８２を参照し、選択部２５６によって供給された共有先のヘッドマウント装置のＩＤである「１００ｂｂ」のＩＰアドレス「１９２．１６８．１０．１１」を取得する。そして、制御部２５４は、認証情報を付帯したデータ共有情報を、ヘッドマウント装置１００ｂのＩＰアドレスを宛先として送受信部２５２から送信する。また、制御部２５４は、共有先のヘッドマウント装置が起動しているか否かを判定し、起動している場合に認証情報を付帯したデータ共有情報を、ヘッドマウント装置１００ｂのＩＰアドレスを宛先として送受信部２５２から送信するようにしてもよい。この場合、ヘッドマウント装置１００ｂは、起動している場合に、ヘッドマウント装置１００ａによって送信されるペアリング要求に対する肯定応答を無線通信部１５２ｂから情報処理装置２００へ送信するようにしてもよい。
【００４６】
＜本実施形態に係るシステムの動作＞
図９は、本実施形態に係るシステムの動作の一例を示す。
ステップＳ９０２では、ヘッドマウント装置１００ａと、ヘッドマウント装置１００ｂと、情報処理装置２００との間で通信リンクが確立される。
ステップＳ９０４では、情報処理装置２００の異常状態判定部２５７は、ヘッドマウント装置１００ａに関連付けられた装置又は作業に関連して異常状態を示す情報を検出したか否かを判定する。異常状態判定部２５７によってヘッドマウント装置１００ａに関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたと判定されない場合、ステップＳ９１０へ移行する。
【００４７】
ステップＳ９０６は、異常状態判定部２５７によってヘッドマウント装置１００ａに関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたと判定された場合に実行される。ステップＳ９０６では、異常状態判定部２５７は、異常状態が検出されたことを示す情報を送受信部２５２からヘッドマウント装置１００ａへ送信する。
ステップＳ９０８では、ヘッドマウント装置１００ａの投影処理部１５４ａは、情報処理装置２００によって送信された異常状態が検出されたことを表す情報が無線通信部１５２ａによって受信されると、該異常状態が検出されたことを投影することによって、表示する。その後、ステップＳ９１０へ移行する。
【００４８】
ステップＳ９１０では、情報処理装置２００の異常状態判定部２５７は、ヘッドマウント装置１００ｂに関連付けられた装置又は作業に関連して異常状態を示す情報を検出したか否かを判定する。ステップＳ９１０において情報処理装置２００の異常状態判定部２５７がヘッドマウント装置１００ｂに関連付けられた装置又は作業に関連して異常状態を示す情報を検出しない場合、ステップＳ９０４へ移行する。
【００４９】
ステップＳ９１２は、ステップＳ９１０において異常状態判定部２５７によってヘッドマウント装置１００ｂに関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたと判定された場合に実行される。ステップＳ９１２では、異常状態判定部２５７は、異常状態が検出されたことを示す情報を送受信部２５２からヘッドマウント装置１００ｂへ送信する。
ステップＳ９１４では、ヘッドマウント装置１００ｂの投影処理部１５４ｂは、情報処理装置２００によって送信された異常状態が検出されたことを表す情報が無線通信部１５２ｂによって受信されると、該異常状態が検出されたことを投影することによって、表示する。その後、ステップＳ９０４へ移行する。
【００５０】
上述した実施の形態において、情報処理装置２００からヘッドマウント装置１００へ、異常状態を検出したことを通知する場合に、画像でリアルタイムに通知することに加え、音声情報で通知できるようにしてもよい。具体的には、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂのマイクをオンにすることによって、情報処理装置２００によって送信される音声情報が出力される。さらに、ヘッドマウント装置１００と、情報処理装置２００との間で、双方向で電話通信できるようにしてもよい。
また、情報処理装置２００は、異常状態を検出したことを通知する場合に、特定エリアの起動中のヘッドマウント装置の全てに、どの場所のどの装置に異常が生じたことを通知してもよい。
【００５１】
本実施形態に係るシステムによれば、情報処理装置２００は、ヘッドマウント装置１００のＩＤに関連付けて、作業日、作業時間、ヘッドマウント装置の場所、装置のＩＤ及び作業のＩＤのいずれか一方又は両方を記憶する。そして、情報処理装置２００は、装置及び作業のいずれか一方又は両方に関連して異常状態を示す情報を検出した場合に、異常状態を検出したことをヘッドマウント装置１００に通知する。これによって、監視センターから電話によって異常状態であることを通知することなく、作業員が装着しているヘッドマウント装置１００に異常状態を示す情報が検出されたことを通知できる。さらに、ヘッドマウント装置同士を関連付けることによって、共有先に異常状態であることが通知された場合に、その異常状態を示す情報を共有元に表示させることができる。これによって、人手を介することなく、リアルタイムに作業員へ異常状態を通知できる。
【００５２】
＜変形例＞
本変形例に係るシステムは、図１−図４を適用できる。本実施形態に係るシステムは、第１の実施形態に係るシステムと比較して、情報処理装置２００の記憶部２５８に記憶される関連装置・作業管理テーブル２５８６が異なる。
図１０は、関連装置・作業管理テーブル２５８６の一例を示す。本変形例に係る情報処理装置２００の記憶部２５８に記憶される関連装置・作業管理テーブル２５８６は、図８に示される関連装置・作業管理テーブル２５８６に、複数の作業の識別情報の各々に、作業の順序を追加したものである。
【００５３】
例えば、図１０に示されている関連装置・作業管理テーブルにおいて、ヘッドマウント装置のＩＤが「１００ａａ」であるヘッドマウント装置は、作業日が「２０１６年ａａ月ｂｂ日」であり、作業時間が「２時間」であり、該ヘッドマウント装置の場所が「（αα，ββ）」であり、関連する装置のＩＤが「１１１１」、「２２２２」、「３３３３」、・・・である。そして、識別情報が「１１１１」で示される装置に対して行われる作業のＩＤは「ＡＡＡ」であり、識別情報が「２２２２」で示される装置に対して行われる作業のＩＤは「ＢＢＢ」であり、識別情報が「３３３３」で示される装置に対して行われる作業のＩＤは「ＣＣＣ」であることが示されている。さらに、作業のＩＤが「ＡＡＡ」で示される作業の順序は「１」番であり、作業のＩＤが「ＢＢＢ」で示される作業の順序は「２」番であり、作業のＩＤが「ＢＢＢ」で示される作業の順序は「３」番であることが示されている。図１０に示される、ヘッドマウント装置のＩＤ、作業日、作業時間、ヘッドマウント装置の場所、装置のＩＤ、作業のＩＤ、及び作業の順序は一例であり、この例に限られない。例えば、ヘッドマウント装置のＩＤに、ユーザＩＤが紐付けられてもよい。さらに、ユーザＩＤに、上司や部下、同じ所属部署等の他の関係者に紐付けられてもよい。
【００５４】
異常状態判定部２５７は、関連装置・作業管理テーブル２５８６から抽出した一又は複数の装置のＩＤの各々、及び一又は複数の作業のＩＤの各々のいずれか一方又は両方について異常状態が検出されたか否かを判定する。
例えば、異常状態判定部２５７は、該一又は複数の装置のいずれかからアラームが発せられたことを検出した場合に、異常状態を検出したと判定する。また、異常状態判定部２５７は、該一又は複数の作業の各々に関連してアラームが発せられたことを検出した場合に、異常状態を検出したと判定する。異常状態判定部２５７は、異常状態を検出した場合に、異常状態を検出したことを示す情報を送受信部２５２へ出力する。
一方、異常状態判定部２５７は、異常状態を検出しなかった場合、現在行われている作業に対応する作業の順序の次の順序に対応する作業のＩＤを、関連装置・作業管理テーブル２５８６から抽出する。そして、異常状態判定部２５７は、異常状態を検出しなかった場合に、次の順序に対応する作業のＩＤを送受信部２５２へ出力する。次の順序に対応する作業のＩＤを送受信部２５２へ出力する際に、作業ＩＤ毎に表示を開始した時刻、終了した時刻を保存するようにしてもよい。
【００５５】
＜本実施形態に係るシステムの動作＞
図１１は、本実施形態に係るシステムの動作の一例を示す。
ステップＳ１１０２−Ｓ１１０６は、図９のステップＳ９０２−Ｓ９０６を適用できる。ただし、ステップＳ１１０４において、異常状態判定部２５７によってヘッドマウント装置１００ａに関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたと判定されない場合、ステップＳ１１０８へ移行する。
ステップＳ１１０８では、情報処理装置２００の異常状態判定部２５７は、現在行われている作業の順序の次の順序に対応する作業ＩＤを関連装置・作業管理テーブル２５８６から抽出する。
【００５６】
ステップＳ１１１０では、異常状態判定部２５７は、次の順序に対応する作業ＩＤを送受信部２５２からヘッドマウント装置１００ａへ送信する。
ステップＳ１１１２では、ヘッドマウント装置１００ａの投影処理部１５４ａは、情報処理装置２００によって送信された異常状態が検出されたことを表す情報又は次の順序に対応する作業ＩＤが無線通信部１５２ａによって受信されると、該異常状態が検出されたこと又は次の順序に対応する作業ＩＤに対応する作業を投影することによって、表示する。その後、ステップＳ１１１４へ移行する。
【００５７】
ステップＳ１１１４では、情報処理装置２００の異常状態判定部２５７は、ヘッドマウント装置１００ｂに関連付けられた装置又は作業に関連して異常状態を示す情報を検出したか否かを判定する。
ステップＳ１１１６は、異常状態判定部２５７によってヘッドマウント装置１００ｂに関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたと判定された場合に実行される。ステップＳ１１１６では、異常状態判定部２５７は、異常状態が検出されたことを示す情報を送受信部２５２からヘッドマウント装置１００ｂへ送信する。
【００５８】
ステップＳ１１１８は、異常状態判定部２５７によってヘッドマウント装置１００ｂに関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたと判定されない場合に実行される。ステップＳ１１１８では、情報処理装置２００の異常状態判定部２５７は、現在行われている作業の順序の次の順序に対応する作業ＩＤを関連装置・作業管理テーブル２５８６から抽出する。
ステップＳ１１２０では、異常状態判定部２５７は、次の順序に対応する作業ＩＤを送受信部２５２からヘッドマウント装置１００ｂへ送信する。
ステップＳ１１２２では、ヘッドマウント装置１００ｂの投影処理部１５４ｂは、情報処理装置２００によって送信された異常状態が検出されたことを表す情報又は次の順序に対応する作業ＩＤが無線通信部１５２ｂによって受信されると、該異常状態が検出されたこと又は次の順序に対応する作業ＩＤに対応する作業を投影することによって、表示する。その後、ステップＳ１１０４へ移行する。
本変形例では、装置のＩＤが異なる場合について、作業の順序を通知する場合について説明したがこの例に限られない。例えば、ある装置のＩＤについて複数の作業のＩＤが紐付けられ、該複数の作業について、作業の順序を通知するようにしてもよい。さらに、作業のＩＤに対応する内容を通知するようにしてもよい。
【００５９】
本変形例に係るシステムによれば、情報処理装置２００は、ヘッドマウント装置１００に関連付けて装置又は作業を記憶する。さらに、情報処理装置２００は、装置又は作業に関連付けて、作業の順序を記憶する。そして、情報処理装置２００は、装置又は作業に関連して異常状態を示す情報を検出しない場合に現在行われている作業の順序の次の順序の作業をヘッドマウント装置１００へ通知し、装置又は作業に関連して異常状態を示す情報を検出した場合に現在行われている作業の順序の次の順序の作業をヘッドマウント装置１００へ通知することを停止する。これによって、監視センターから電話によって次の作業を通知することなく、作業員が装着しているヘッドマウント装置１００に次の作業を通知できる。
【００６０】
＜第２の実施形態＞
本実施形態に係るシステムは、図１−２を適用できる。本実施形態に係るシステムは、第１の実施形態に係るシステムと比較して、情報処理装置２００の代わりに情報処理装置３００を備える。情報処理装置３００のハードウェア構成は、図３を適用できる。
【００６１】
＜本実施形態に係るシステムの機能構成＞
図１２は、本実施形態のシステムを構成するヘッドマウント装置１００ａ、ヘッドマウント装置１００ｂ、及び情報処理装置３００の機能ブロック図である。
【００６２】
＜情報処理装置の機能構成＞
情報処理装置３００は、送受信部３５２、制御部３５４、選択部３５６、異常状態判定部３５７、記憶部３５８、表示制御部３５９、及び上記各構成要素を図１２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３６０を有している。これらの各部は、図１２に示されている各構成要素のいずれかが、情報処理装置３００において、不揮発性メモリ２０６からメモリ２０４上に展開されたプログラム２０６２を実行するＣＰＵ２０２からの命令によって動作することで実現される機能である。
【００６３】
＜情報処理装置の各機能構成＞
図３及び図１２を用いて、情報処理装置３００の各機能構成について詳細に説明する。なお、以下では、情報処理装置３００の各機能構成を説明するにあたって、図１２に示されている各構成要素のうち、情報処理装置３００の各機能構成を実現させるための主なハードウェアとの関係も説明する。
送受信部３５２、制御部３５４、選択部３５６、及び表示制御部３５９は、図４に示した情報処理装置２００の送受信部２５２、制御部２５４、選択部２５６、及び表示制御部２５９を適用できる。
【００６４】
記憶部３５８は、不揮発性メモリ２０６によって実現される。記憶部３５８には、ヘッドマウント装置管理テーブル３５８２と、ペアリング管理テーブル３５８４と、関連装置・作業管理テーブル３５８６と、異常状態・対応手順対応テーブル３５８８とが格納される。ヘッドマウント装置管理テーブル３５８２、ペアリング管理テーブル３５８４、及び関連装置・作業管理テーブル３５８６は、上述したヘッドマウント装置管理テーブル２５８２、ペアリング管理テーブル２５８４、及び関連装置・作業管理テーブル２５８６を適用できる。
【００６５】
＜異常状態・対応手順対応テーブル＞
図１３は、異常状態・対応手順対応テーブルの一例を示す。異常状態・対応手順対応テーブル３５８８は、一又は複数の異常状態のＩＤと、該一又は複数の異常状態のＩＤの各々によって表される一又は複数の異常状態への対応手順とを対応付けたテーブルである。例えば、図１３に示されている異常状態対応テーブルにおいて、異常状態のＩＤが「１１ＡＡ」である異常状態に対する対応手順は「ｘｘｘのケーブルを抜く」ことであることが示されている。図１３に示される異常状態ＩＤ、及び対応手順は一例であり、この例に限られない。
【００６６】
異常状態判定部３５７は、ＣＰＵ２０２からの命令によって実現される。異常状態判定部３５７は、情報処理装置３００と通信リンクが確立されている一又は複数のヘッドマウント装置の各々について、該ヘッドマウント装置のＩＤと紐付けられている一又は複数の装置のＩＤ、及び一又は複数の作業のＩＤのいずれか一方又は両方を関連装置・作業管理テーブル３５８６から抽出する。そして、異常状態判定部３５７は、関連装置・作業管理テーブル３５８６から抽出した一又は複数の装置のＩＤに対応する一又は複数の装置、及び一又は複数の作業のＩＤに対応する一又は複数の作業のいずれか一方又は両方について異常状態が検出されたか否かを判定する。
【００６７】
例えば、異常状態判定部３５７は、該一又は複数の装置からアラームが発せられたことを検出した場合に、異常状態を検出したと判定する。また、異常状態判定部３５７は、該一又は複数の作業に関連してアラームが発せられたことを検出した場合に、異常状態を検出したと判定する。
さらに、異常状態判定部３５７は、検出した異常状態のＩＤに対応する対応手順を、異常状態・対応手順対応テーブル３５８８から抽出する。そして、異常状態判定部３５７は、異常状態を検出した場合に、異常状態を検出したことを示す情報と、該異常状態に対する対応手順を表す情報を送受信部３５２へ出力する。
【００６８】
＜本実施形態に係るシステムの動作＞
図１４は、本実施形態に係るシステムの動作の一例を示す。
ステップＳ１４０２−Ｓ１４０４は、図９のステップＳ９０２−Ｓ９０４を適用できる。ただし、ステップＳ１４０４において、異常状態判定部２５７によってヘッドマウント装置１００ａに関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたと判定されない場合、ステップＳ１４１２へ移行する。
【００６９】
ステップＳ１４０６は、異常状態判定部３５７によってヘッドマウント装置１００ａに関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたと判定された場合に実行される。ステップＳ１４０６では、情報処理装置３００の異常状態判定部３５７は、ステップＳ１４０４において検出した異常状態ＩＤに対応する対応手順を異常状態・対応手順対応テーブル３５８８から抽出する。
ステップＳ１４０８では、異常状態判定部３５７は、異常状態が検出されたことを示す情報と、対応手順を表す情報とを送受信部３５２からヘッドマウント装置１００ａへ送信する。
【００７０】
ステップＳ１４１０では、ヘッドマウント装置１００ａの投影処理部１５４ａは、情報処理装置３００によって送信された異常状態が検出されたことを表す情報と、対応手順を表す情報とが無線通信部１５２ａによって受信されると、該異常状態が検出されたことと、対応手順とを投影することによって、表示する。その後、ステップＳ１４１２へ移行する。
ステップＳ１４１２では、情報処理装置３００の異常状態判定部３５７は、ヘッドマウント装置１００ｂに関連付けられた装置又は作業に関連して異常状態を示す情報を検出したか否かを判定する。ステップＳ１４１２において情報処理装置３００の異常状態判定部３５７がヘッドマウント装置１００ｂに関連付けられた装置又は作業に関連して異常状態を示す情報を検出しない場合、ステップＳ１４０４へ移行する。
【００７１】
ステップＳ１４１４は、異常状態判定部３５７によってヘッドマウント装置１００ｂに関連付けられた装置又は作業に関連して異常状態を示す情報が検出されたと判定された場合に実行される。ステップＳ１４１４では、情報処理装置３００の異常状態判定部３５７は、ステップＳ１４１２において検出した異常状態ＩＤに対応する対応手順を異常状態・対応手順対応テーブル３５８８から抽出する。
【００７２】
ステップＳ１４１６では、異常状態判定部３５７は、異常状態が検出されたことを示す情報と、対応手順を表す情報とを送受信部３５２からヘッドマウント装置１００ｂへ送信する。
ステップＳ１４１８では、ヘッドマウント装置１００ｂの投影処理部１５４ｂは、情報処理装置３００によって送信された異常状態が検出されたことを表す情報と、対応手順を表す情報とが無線通信部１５２ｂによって受信されると、該異常状態が検出されたことと、対応手順とを投影することによって、表示する。その後、ステップＳ１４０４へ移行する。
【００７３】
ステップＳ１４０８において、情報処理装置２００は、異常状態が検出されたことを示す情報と、電話番号等の連絡先を表す情報とをヘッドマウント装置１００ａへ送信するようにしてもよい。この場合、ヘッドマウント装置１００ａは、情報処理装置２００によって送信された連絡先を表示する。ヘッドマウント装置１００ａの装着者が、例えば「電話する」と発声することによって、該ヘッドマウント装置１００ａから連絡先に電話が掛り、連絡先から対応手順を取得できるようにしてもよい。
【００７４】
本実施形態に係るシステムによれば、情報処理装置３００は、ヘッドマウント装置１００に関連付けて装置又は作業を記憶する。さらに、情報処理装置３００は、異常状態に関連付けて対応手順を記憶する。そして、情報処理装置３００は、装置又は作業に関連して異常状態を示す情報を検出した場合に、該異常状態に対する対応手順を取得し、異常状態を検出したことと、その対応手順とをヘッドマウント装置１００に通知する。これによって、監視センターから電話によって異常状態であることと、その対応手順を通知することなく、作業員が装着しているヘッドマウント装置１００に異常状態を示す情報が検出されたことを通知できるとともに、その対応手順も通知できる。これによって、人手を介することなく、リアルタイムに作業員へ異常状態を通知できるとともに、その対応手順を通知できる。
【００７５】
以上、本発明の実施形態及びその変形例を説明したが、これらの実施形態及びその変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態及びその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態及びその変形例は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【００７６】
なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００７７】
上述した実施形態において、送受信部２５２は第１の通信部の一例であり、異常状態判定部２５７及び３５７は判定部及び取得部の一例であり、投影処理部は表示部の一例であり、無線通信部は第２の通信部の一例であり、記憶部２５８及び３５８は第１の記憶部及び第２の記憶部の一例である。
【符号の説明】
【００７８】
２０…通信網、７０…アクセスポイント、１００ａ、１００ｂ…ヘッドマウント装置、１５２ａ、１５２ｂ…無線通信部、１５４ａ、１５４ｂ…投影処理部、１５６ａ、１５６ｂ…撮像処理部、１６０ａ、１６０ｂ…接続処理部、１６２ａ、１６２ｂ…制御部、１６４ａ、１６４ｂ…記憶部、２００、３００…情報処理装置、２５２、３５２…送受信部、２５４、３５４…制御部、２５６、３５６…選択部、２５７、３５７…異常状態判定部、２５８、３５８…記憶部、２５９、３５９…表示制御部
【図１】
2017182487.tif 000003
【図２】
2017182487.tif 000004
【図３】
2017182487.tif 000005
【図４】
2017182487.tif 000006
【図５】
2017182487.tif 000007
【図６】
2017182487.tif 000008
【図７】
2017182487.tif 000009
【図８】
2017182487.tif 000010
【図９】
2017182487.tif 000011
【図１０】
2017182487.tif 000012
【図１１】
2017182487.tif 000013
【図１２】
2017182487.tif 000014
【図１３】
2017182487.tif 000015
【図１４】
2017182487.tif 000016