(57)【要約】【課題】ユーザがヘッドマウント装置を使用して作業を行う場合に、その作業をリアルタイムに確認すること。【解決手段】情報処理装置は、複数のヘッドマウント装置の識別情報と、該複数のヘッドマウント装置の各々との間で通信の対象となる一又は複数の端末装置の識別情報とを紐付けて登録する識別情報管理部と、ヘッドマウント装置によって送信されるヘッドマウント装置の識別情報が識別情報管理部に登録されている場合に、ヘッドマウント装置の識別情報に紐付けられ、且つ起動している端末装置に対してヘッドマウント装置が取得するデータを共有させる要求を送信する通信部とを備える。  を備える【選択図】図８
2017175354.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置は、
一又は複数のヘッドマウント装置の識別情報と、該一又は複数のヘッドマウント装置の各々との間で通信の対象となる一又は複数の端末装置の識別情報とを紐付けて登録する識別情報管理部と、
ヘッドマウント装置によって送信される前記ヘッドマウント装置の識別情報が前記識別情報管理部に登録されている場合に、前記ヘッドマウント装置の識別情報に紐付けられ、且つ起動している端末装置に対して前記ヘッドマウント装置が取得するデータを共有させる要求を送信する第１の通信部と
を備え、
前記ヘッドマウント装置は、
前記第１の通信部と通信を行う第２の通信部と、
前記ヘッドマウント装置が取得するデータを端末装置との間で共有させる処理を行う第１の制御部と
を備え、
前記第２の通信部は、前記第１の制御部によって前記データを共有させる処理が行われる場合に、前記ヘッドマウント装置の識別情報を前記情報処理装置へ送信する、システム。
【請求項２】
前記端末装置は、
前記第１の通信部と通信を行う第３の通信部と、
前記第３の通信部によって受信された前記データを共有させる要求に応じて、前記情報処理装置及び前記ヘッドマウント装置の両方又は一方と接続し、前記情報処理装置及び前記ヘッドマウント装置の両方又は一方との間の通信制御を行う第２の制御部と
を備える、請求項１に記載のシステム。
【請求項３】
前記識別情報管理部は、前記一又は複数のヘッドマウント装置の識別情報の各々について、端末装置との間でデータを共有できる位置情報を紐付けて登録し、
前記ヘッドマウント装置は、
前記ヘッドマウント装置の測位を行う測位部
を備え、
前記第２の通信部は、前記測位部が測位して得た位置情報を前記情報処理装置へ送信し、
前記第１の通信部は、前記ヘッドマウント装置によって送信される前記ヘッドマウント装置の識別情報に対応する位置情報から所定の範囲内に前記ヘッドマウント装置が送信する前記位置情報が含まれる場合に、前記端末装置へ前記ヘッドマウント装置が取得したデータを共有させる要求を送信する、請求項１又は請求項２に記載のシステム。
【請求項４】
前記識別情報管理部は、前記一又は複数のヘッドマウント装置の識別情報と、該一又は複数のヘッドマウント装置の各々が使用される時間を示す情報とを紐付けて登録し、
前記第１の通信部は、前記ヘッドマウント装置から前記ヘッドマウント装置の識別情報を受信した時刻を示す情報が前記識別情報管理部に記憶された該ヘッドマウント装置の識別情報に対応する使用される時刻に一致、又は時間内に含まれる場合に、前記端末装置へ前記ヘッドマウント装置によって取得されるデータを共有させる要求を送信する、請求項１から請求項３のいずれか１項に記載のシステム。
【請求項５】
前記情報処理装置は、ヘッドマウント装置と通信する権限が付与された端末装置の識別情報を登録する通信権限管理部と、
ヘッドマウント装置によって送信される該ヘッドマウント装置の識別情報が前記識別情報管理部に登録されている場合に、前記ヘッドマウント装置の識別情報に紐付けられ、且つ起動している端末装置が前記通信権限管理部に登録されている場合に、前記端末装置へ前記ヘッドマウント装置によって取得されるデータを共有させると判定する判定部と
を有し、
前記第１の通信部は、前記判定部によって前記端末装置に前記ヘッドマウント装置によって取得されるデータを共有させると判定された場合に、前記端末装置へ前記ヘッドマウント装置によって取得されるデータを共有させる要求を送信する、請求項１から請求項４のいずれか１項に記載のシステム。
【請求項６】
一又は複数のヘッドマウント装置の識別情報と、該一又は複数のヘッドマウント装置の各々との間で通信の対象となる一又は複数の端末装置の識別情報とを紐付けて登録する識別情報管理部と、
ヘッドマウント装置によって送信される前記ヘッドマウント装置の識別情報が前記識別情報管理部に登録されている場合に、前記ヘッドマウント装置の識別情報に紐付けられ、且つ起動している端末装置に対して前記ヘッドマウント装置が取得するデータを共有させる要求を送信する通信部と
を備える、情報処理装置。
【請求項７】
ヘッドマウント装置において、
情報処理装置と通信を行う通信部と、
前記ヘッドマウント装置が取得するデータを端末装置との間で共有させる処理を行う制御部と
を備え、
前記通信部は、前記制御部によって前記データを共有させる処理が行われる場合に、前記ヘッドマウント装置の識別情報を前記情報処理装置へ送信する、ヘッドマウント装置。
【請求項８】
情報処理装置のコンピュータに、
ヘッドマウント装置によって送信される前記ヘッドマウント装置の識別情報が一又は複数のヘッドマウント装置の識別情報と、該一又は複数のヘッドマウント装置の各々との間で通信の対象となる一又は複数の端末装置の識別情報とを紐付けて登録する識別情報管理部に登録されているか否かを判定するステップと、
前記識別情報管理部に登録されている場合に、前記ヘッドマウント装置の識別情報に紐付けられ、且つ起動している端末装置に対して前記ヘッドマウント装置が取得するデータを共有させる要求を送信するステップと
を実行させる、プログラム。
【請求項９】
ヘッドマウント装置のコンピュータに、
情報処理装置と通信を行うステップと、
前記ヘッドマウント装置が取得するデータを端末装置との間で共有させる処理を行うステップと、
前記データを前記端末装置との間で共有させる処理が行われる場合に、前記ヘッドマウント装置の識別情報を前記情報処理装置へ送信するステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、システム、情報処理装置、ヘッドマウント装置、及びプログラムに関する。
【背景技術】
【０００２】
近年、センサー等のデバイスの小型化が進み、スマートグラス等のウェアラブルなヘッドマウントディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：ＨＭＤ）の開発が進んでいる。ヘッドマウントディスプレイを用いたシステムでは、眼鏡のレンズ、サングラスやゴーグルの前面のガラスやプラスティック等の仮想スクリーンに情報を投影することによって表示するものが知られている。
ヘッドマウントディスプレイを使用して障害修復作業を行う技術に関して、予期しない障害が発生した場合でも、最適な障害修復作業を案内して作業支援を行う技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２４８８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
機器等に障害が発生した場合、修復作業を行う作業員は、障害が発生した場所に、作業指示書や、作業チェック表や、作業マニュアル等の文書を持参して作業を行う。このため、障害が発生した場所に文書を持参するのを忘れたり、文書が紛失したりするおそれがある。さらに、作業に不慣れな初心者によって作業が行われる場合には、作業ミスが発生するおそれがある。この場合、その作業をリアルタイムで熟練者によって確認できるのが好ましい。機器等に障害が発生した場合に限らず、通常の作業についても同様である。
本発明は、上記問題を解決すべくなされたもので、ユーザがヘッドマウント装置を使用して作業を行う場合に、その作業をリアルタイムに確認することを目的とする。
【課題を解決するための手段】
【０００５】
（１）本発明の一態様は、情報処理装置は、一又は複数のヘッドマウント装置の識別情報と、該一又は複数のヘッドマウント装置の各々との間で通信の対象となる一又は複数の端末装置の識別情報とを紐付けて登録する識別情報管理部と、ヘッドマウント装置によって送信される前記ヘッドマウント装置の識別情報が前記識別情報管理部に登録されている場合に、前記ヘッドマウント装置の識別情報に紐付けられ、且つ起動している端末装置に対して前記ヘッドマウント装置が取得するデータを共有させる要求を送信する第１の通信部とを備え、前記ヘッドマウント装置は、前記第１の通信部と通信を行う第２の通信部と、前記ヘッドマウント装置が取得するデータを端末装置との間で共有させる処理を行う第１の制御部とを備え、前記第２の通信部は、前記第１の制御部によって前記データを共有させる処理が行われる場合に、前記ヘッドマウント装置の識別情報を前記情報処理装置へ送信する、システムである。
【０００６】
（２）本発明の一態様は、上記（１）に記載のシステムにおいて、前記端末装置は、前記第１の通信部と通信を行う第３の通信部と、前記第３の通信部によって受信された前記データを共有させる要求に応じて、前記情報処理装置及び前記ヘッドマウント装置の両方又は一方と接続し、前記情報処理装置及び前記ヘッドマウント装置の両方又は一方との間の通信制御を行う第２の制御部とを備える、システムである。
【０００７】
（３）本発明の一態様は、上記（１）又は上記（２）に記載のシステムにおいて、前記識別情報管理部は、前記一又は複数のヘッドマウント装置の識別情報の各々について、端末装置との間でデータを共有できる位置情報を紐付けて登録し、前記ヘッドマウント装置は、前記ヘッドマウント装置の測位を行う測位部を備え、前記第２の通信部は、前記測位部が測位して得た位置情報を前記情報処理装置へ送信し、前記第１の通信部は、前記ヘッドマウント装置によって送信される前記ヘッドマウント装置の識別情報に対応する位置情報から所定の範囲内に前記ヘッドマウント装置が送信する前記位置情報が含まれる場合に、前記端末装置へ前記ヘッドマウント装置が取得したデータを共有させる要求を送信する、システムである。
【０００８】
（４）本発明の一態様は、上記（１）から上記（３）のいずれか１項に記載のシステムにおいて、前記識別情報管理部は、前記一又は複数のヘッドマウント装置の識別情報と、該一又は複数のヘッドマウント装置の各々が使用される時間を示す情報とを紐付けて登録し、前記第１の通信部は、前記ヘッドマウント装置から前記ヘッドマウント装置の識別情報を受信した時刻を示す情報が前記識別情報管理部に記憶された該ヘッドマウント装置の識別情報に対応する使用される時刻に一致、又は時間内に含まれる場合に、前記端末装置へ前記ヘッドマウント装置によって取得されるデータを共有させる要求を送信する、システムである。
【０００９】
（５）本発明の一態様は、上記（１）から（４）のいずれか１項に記載のシステムにおいて、前記情報処理装置は、ヘッドマウント装置と通信する権限が付与された端末装置を識別する情報を登録する通信権限管理部と、ヘッドマウント装置によって送信される該ヘッドマウント装置を識別する情報が前記識別情報管理部に登録されている場合に、前記ヘッドマウント装置を識別する情報に紐付けられ、且つ起動している端末装置が前記通信権限管理部に登録されている場合に、前記端末装置へ前記ヘッドマウント装置によって取得されるデータを共有させると判定する判定部とを有し、前記第１の通信部は、前記判定部によって前記端末装置に前記ヘッドマウント装置によって取得されるデータを共有させると判定された場合に、前記端末装置へ前記ヘッドマウント装置によって取得されるデータを共有させる要求を送信する、システムである。
【００１０】
（６）本発明の一態様は、一又は複数のヘッドマウント装置の識別情報と、該一又は複数のヘッドマウント装置の各々との間で通信の対象となる一又は複数の端末装置の識別情報とを紐付けて登録する識別情報管理部と、ヘッドマウント装置によって送信される前記ヘッドマウント装置の識別情報が前記識別情報管理部に登録されている場合に、前記ヘッドマウント装置の識別情報に紐付けられ、且つ起動している端末装置に対して前記ヘッドマウント装置が取得するデータを共有させる要求を送信する通信部とを備える、情報処理装置である。
【００１１】
（７）本発明の一態様は、ヘッドマウント装置において、情報処理装置と通信を行う通信部と、前記ヘッドマウント装置が取得するデータを端末装置との間で共有させる処理を行う制御部とを備え、前記通信部は、前記制御部によって前記データを共有させる処理が行われる場合に、前記ヘッドマウント装置の識別情報を前記情報処理装置へ送信する、ヘッドマウント装置である。
【００１２】
（８）本発明の一態様は、情報処理装置のコンピュータに、ヘッドマウント装置によって送信される前記ヘッドマウント装置を識別する情報が一又は複数のヘッドマウント装置の識別情報と、該一又は複数のヘッドマウント装置の各々との間で通信の対象となる一又は複数の端末装置の識別情報とを紐付けて登録する識別情報管理部に登録されているか否かを判定するステップと、前記識別情報管理部に登録されている場合に、前記ヘッドマウント装置の識別情報に紐付けられ、且つ起動している端末装置に対して前記ヘッドマウント装置が取得するデータを共有させる要求を送信するステップとを実行させる、プログラムである。
【００１３】
（９）本発明の一態様は、ヘッドマウント装置のコンピュータに、前記ヘッドマウント装置が取得するデータを端末装置との間で共有させる処理を行うステップと、前記データを前記端末装置との間で共有させる処理が行われる場合に、前記ヘッドマウント装置の識別情報を前記情報処理装置へ送信するステップとを実行させるプログラムである。
【発明の効果】
【００１４】
本発明の実施形態によれば、ユーザがヘッドマウント装置を使用して作業を行う場合に、その作業をリアルタイムに確認することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係るシステムを示す図である。
【図２】本実施形態に係るヘッドマウント装置のハードウェア構成の一例を示す図である。
【図３】本実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。
【図４】本実施形態に係るシステムの一例を示す機能ブロック図である。
【図５】本実施形態に係るヘッドマウント装置によって投影される画像の一例を示す図である。
【図６】ヘッドマウント装置管理テーブルの一例を示す図である。
【図７】ペアリング管理テーブルの一例を示す図である。
【図８】本実施形態に係るシステムの動作の一例を示すシーケンス図である。
【図９】本実施形態に係るヘッドマウント装置のハードウェア構成の一例を示す図である。
【図１０】本実施形態に係るシステムの一例を示す機能ブロック図である。
【図１１】ペアリング管理テーブルの一例を示す図である。
【図１２】本実施形態に係るシステムの動作の一例を示すシーケンス図である。
【図１３】通信権限管理テーブルの一例を示す図である。
【発明を実施するための形態】
【００１６】
＜第１の実施形態＞
＜システム＞
本実施形態に係るシステムは、ヘッドマウント装置の撮像部が撮像した画像を、情報処理装置に表示する。さらに、システムは、複数のヘッドマウント装置の間で、一のヘッドマウント装置が撮像すること等によって得られたデータを他のヘッドマウント装置へ送信する。他のヘッドマウント装置は、該一のヘッドマウント装置が送信したデータを受信すると、該データを処理することによって投影する。これによって、複数のヘッドマウント装置の間で、データをリアルタイムに共有することができる。
【００１７】
図１は、システムの一例を示す。システムは、ヘッドマウント装置１００ａと、ヘッドマウント装置１００ｂと、情報処理装置２００とを備える。図１には、一例として、二台のヘッドマウント装置が描かれているが、ヘッドマウント装置の数は一台であっても、三台以上であってもよい。また、ヘッドマウント装置１００ｂの代わりに端末装置を備えてもよいし、ヘッドマウント装置１００ｂとともに端末装置を備えてもよい。端末装置の一例は、携帯電話、スマートフォン、タブレット端末等である。以下、一例として、システムがヘッドマウント装置１００ｂを備える場合について説明を続ける。
情報処理装置２００はインターネット等の通信網２０と接続される。ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、アクセスポイント７０を経由して、通信網２０と接続される。
【００１８】
本実施形態に係るシステムでは、一例として、ヘッドマウント装置１００ａによって得られたデータを情報処理装置２００と、ヘッドマウント装置１００ｂとの間で共有する場合について説明する。ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂの一例は、作業者の頭部に装着される。ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂを頭部に装着している作業者に対して、該作業者が視認できる画像を提示できる構成になっている。例えば、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、透過型のヘッドマウントディスプレイである。図１に示される例では、ヘッドマウント装置１００は眼鏡型の透過型のヘッドマウントディスプレイである。なお、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、眼鏡型以外の形状の頭部装着型のヘッドマウントディスプレイであってもよい。ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、仮想スクリーンに情報を表示し、周囲環境である背景に重畳して表示することによって、ユーザは背景を見ながら各種情報を確認することができる。すなわち、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、仮想スクリーンに表示される情報と仮想スクリーンの奥の背景とを重畳する。ヘッドマウント装置１００ａは、情報処理装置２００へ、該ヘッドマウント装置１００ａを識別する情報、及び認証情報を送信する。
【００１９】
情報処理装置２００は、複数のヘッドマウント装置の識別情報の各々について、該ヘッドマウント装置によって取得されたデータを共有する一又は複数のヘッドマウント装置の識別情報を紐付けて記憶している。さらに、情報処理装置２００は、複数のヘッドマウント装置の各々について、ＩＰアドレスを記憶している。情報処理装置２００は、ヘッドマウント装置１００ａによって送信される該ヘッドマウント装置１００ａの識別情報、及び認証情報を受信すると、ペアリングの対象として、該ヘッドマウント装置１００ａの識別情報に紐付けられたヘッドマウント装置の識別情報に対応するヘッドマウント装置１００ｂを特定する。さらに、情報処理装置２００は、特定したヘッドマウント装置１００ｂのＩＰアドレスを取得する。
情報処理装置２００は、ヘッドマウント装置１００ｂへ、ヘッドマウント装置１００ａによって送信された認証情報を送信することによって接続要求を行う。ヘッドマウント装置１００ｂは、情報処理装置２００によって送信された認証情報を受信すると、該認証情報を使用してヘッドマウント装置１００ａとの間で通信リンクを確立する。
以下、ヘッドマウント装置１００ａと、ヘッドマウント装置１００ｂとを区別しない場合にはヘッドマウント装置１００と記載する。
【００２０】
本実施形態に係るシステムでは、ヘッドマウント装置１００は、情報処理装置２００との間でデータ通信を行う。例えば、ヘッドマウント装置１００ａは情報処理装置２００へヘッドマウント装置１００ａの識別情報、及び認証情報を送信し、情報処理装置２００はヘッドマウント装置１００ｂへ認証情報を送信する。さらに、ヘッドマウント装置１００ａは、ヘッドマウント装置１００ｂとの間で無線通信を行う。例えば、ヘッドマウント装置１００ａとヘッドマウント装置１００ｂとの間は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＮＦＣ）の規格にしたがって通信を行うようにしてもよい。
【００２１】
＜ヘッドマウント装置の構成＞
図２は、本実施形態に係るヘッドマウント装置の一例を示す図である。
ヘッドマウント装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０６と、操作部１０７と、不揮発性メモリ１０８と、通信Ｉ／Ｆ部１１０と、撮像部１１２と、投影部１１４と、内部バス１１６とを備えている。これらは、ヘッドマウント装置１００のテンプル（つる）等の筐体に配置される。
【００２２】
ＣＰＵ１０２は、ヘッドマウント装置１００の動作を制御するプログラム１０８２等を不揮発性メモリ１０８から読み出し、ＲＡＭ１０６に展開して実行する。
操作部１０７は、ユーザの操作を受け付ける入力デバイスであり、タッチパネル等のポインティングデバイス、ボタン、ダイヤル、タッチセンサ、タッチパッド等を含む。本実施形態では、一例として、操作部１０７がボタンを構成する場合について説明を続ける。
不揮発性メモリ１０８は、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）カード等によって構成され、ヘッドマウント装置１００の筐体に配置される。不揮発性メモリ１０８は、投影部１１４によって仮想スクリーン上に投影させるオブジェクトのデータ、両眼の位置や仮想スクリーンの位置等を特定するための設定情報等を対応付けて記憶する。
通信Ｉ／Ｆ部１１０は、ＮＦＣモジュール、無線ＬＡＮモジュール等の通信モジュールによって構成され、ヘッドマウント装置１００の筐体に配置される。通信Ｉ／Ｆ部１１０は、ＮＦＣや、無線ＬＡＮによって外部の機器との間で通信を行う。
撮像部１１２は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）カメラやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ等によって構成され、ヘッドマウント装置１００のつる部（テンプル）等の筐体に固定される。撮像部１１２は、直接若しくはハーフミラー等を用いてユーザの両眼の瞳の位置や動き等を撮像することによって得られる画像データをＣＰＵ１０２へ出力する。
投影部１１４は、ヘッドマウント装置１００の筐体に配置される。投影部１１４は、ＣＰＵ１０２によって供給されたオブジェクトの画像データを処理することによって仮想スクリーン上にオブジェクトを表示する。
【００２３】
＜情報処理装置の構成＞
図３は、本実施形態に係る情報処理装置２００のハードウェア構成の一例を示す。情報処理装置２００は、ＣＰＵ２０２と、メモリ２０４と、不揮発性メモリ２０６と、通信Ｉ／Ｆ２０８と、表示装置２０９と、内部バス２１０とを備えている。
ＣＰＵ２０２は、例えば不揮発性メモリ２０６に格納されるプログラムを実行し、メモリ２０４をワークメモリとして使用して、情報処理装置２００の各部を制御する。
メモリ２０４は、半導体素子を利用した揮発性のメモリ等のＲＡＭによって構成される。メモリ２０４は、ＣＰＵ２０２のワークメモリとして使用される。
不揮発性メモリ２０６は、例えばハードディスク（ＨＤ）やＲＯＭ等によって構成され、ＣＰＵ２０２によって実行されるプログラムが格納される。
【００２４】
通信Ｉ／Ｆ２０８は、外部機器と通信して、ファイルやコマンド等の各種データの送受信を行うためのインターフェースである。
表示装置２０９は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等によって構成され、文字や写真等の画像を表示する。
内部バス２１０は、ＣＰＵ２０２、メモリ２０４、不揮発性メモリ２０６、通信Ｉ／Ｆ２０８、表示装置２０９を互いに接続する。内部バス２１０に接続される各部は、内部バス２１０を介して互いにデータのやりとりを行うことができるようにされている。
【００２５】
＜本実施形態に係るシステムの機能構成＞
次に、本実施形態の機能構成について説明する。図４は、本実施形態のシステムを構成するヘッドマウント装置１００ａ、ヘッドマウント装置１００ｂ、及び情報処理装置２００の機能ブロック図である。図４では、ヘッドマウント装置１００ａ、ヘッドマウント装置１００ｂ、及び情報処理装置２００が、通信網２０を介してデータ通信することができるように接続されている。
【００２６】
＜ヘッドマウント装置の機能構成＞
ヘッドマウント装置１００ａは、無線通信部１５２ａ、投影処理部１５４ａ、撮像処理部１５６ａ、接続処理部１６０ａ、制御部１６２ａ、記憶部１６４ａ、及び上記各構成要素を図４に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１６６ａを有している。これらの各部は、図４に示されている各構成要素のいずれかが、不揮発性メモリ１０８からＲＡＭ１０６上に展開されたプログラム１０８２を実行するＣＰＵ１０２からの命令によって動作することで実現される機能である。
【００２７】
＜ヘッドマウント装置の各機能構成＞
図２及び図４を用いて、ヘッドマウント装置１００ａの各機能構成について詳細に説明する。なお、以下では、ヘッドマウント装置１００ａの各機能構成を説明するにあたって、図４に示されている各構成要素のうち、ヘッドマウント装置１００ａの各機能構成を実現させるための主なハードウェアとの関係も説明する。
図４に示されているヘッドマウント装置１００ａの無線通信部１５２ａは、ＣＰＵ１０２からの命令、及び通信Ｉ／Ｆ１１０よって実現される。無線通信部１５２ａは、アクセスポイント７０、及び通信網２０を介して、情報処理装置２００との間で各種データの送受信を行う。さらに、無線通信部１５２ａは、ヘッドマウント装置１００ｂとの間で各種データの送受信を行う。例えば、無線通信部１５２ａは、無線ＬＡＮにしたがって、アクセスポイント７０、及び通信網２０を介して、情報処理装置２００との間で各種データの送受信を行うとともに、ヘッドマウント装置１００ｂとの間で各種データの送受信を行う。
【００２８】
投影処理部１５４ａは、ＣＰＵ１０２からの命令、及び投影部１１４によって実現される。投影処理部１５４ａは、制御部１６２ａによって供給されるオブジェクトのデータに基づいて仮想スクリーン上にオブジェクトを表示する。
図５は、投影処理部１５４ａによって仮想スクリーン上にオブジェクトが表示されている例を示す。ここでは、一例として、機器等に障害が発生した場合に、修復作業を行う作業員によって装着されたヘッドマウント装置１００ａによって投影されるオブジェクトを示す。図５に示される例では、「運用中！注意」、「作業対象」、「対象外装置」、「対象外装置（ＹＹＹＹＭＭ誤作業発生箇所）」等のオブジェクトが、機器群等の背景に重畳して表示される。これによって、ユーザは、機器群に含まれる各機器の状態を確認しながら作業を行うことができる。さらに、投影処理部１５４ａは、オブジェクトとして、作業指示書、作業チェック表、作業マニュアル等の文書を投影するようにしてもよい。これによって、作業員は、障害が発生した場所に、作業指示書や、作業チェック表や、作業マニュアル等の文書を持参することなく作業を行うことができる。図４に戻り説明を続ける。
【００２９】
撮像処理部１５６ａは、ＣＰＵ１０２からの命令、及び撮像部１１２によって実現される。撮像処理部１５６ａは、ヘッドマウント装置１００ａを装着したユーザの両眼の瞳の位置や動き等を撮像することによって得られる画像データを制御部１６２ａへ出力する。
接続処理部１６０ａは、ＣＰＵ１０２からの命令、及び通信Ｉ／Ｆ１１０によって実現される。接続処理部１６０ａは、ヘッドマウント装置１００ａとヘッドマウント装置１００ｂとの間でペアリングを行うために使用する認証情報を保持する。接続処理部１６０ａは、認証情報を予め保持していてもよいし、ユーザが操作部１０７に対して、ヘッドマウント装置１００ａとヘッドマウント装置１００ｂとの間でデータを共有する操作を行った場合に生成し、保持するようにしてもよい。
接続処理部１６０ａは、データを共有することを要求する信号（以下、「データ共有要求」という）を作成する。データ共有要求には、ヘッドマウント装置１００ａの識別情報（ヘッドマウント装置１００ａのＩＤ）と、認証情報とが付帯される。接続処理部１６０ａは、無線通信部１５２ａから情報処理装置２００へデータ共有要求を送信する。
また、接続処理部１６０ａは、ヘッドマウント装置１００ｂが送信する接続要求が無線通信部１５２ａに受信された場合に、該接続要求に含まれる認証情報が、保持している認証情報と一致するか否かを判定する。接続処理部１６０ａは、該接続要求に含まれる認証情報と保持している認証情報とが一致すると判定した場合、リンクキーを用いた暗号化処理等を行い、ヘッドマウント装置１００ａと、ヘッドマウント装置１００ｂとの間の通信リンクを確立する。接続処理部１６０ａは、該接続要求に含まれる認証情報と保持している認証情報とが一致しないと判定した場合、ヘッドマウント装置１００ａと、ヘッドマウント装置１００ｂとの間の通信リンクを確立しない。
【００３０】
制御部１６２ａは、ＣＰＵ１０２からの命令によって実現される。制御部１６２ａは、ヘッドマウント装置１００ａの全体の制御を行う。例えば、制御部１６２ａは、ユーザが操作部１０７に対して、ヘッドマウント装置１００ａとヘッドマウント装置１００ｂとの間でデータを共有する操作を行った場合に、接続処理部１６０ａへデータ共有要求を作成するように命令する。また、制御部１６２ａは、無線通信部１５２ａとヘッドマウント装置１００ｂとの間で通信リンクが確立された後に、ヘッドマウント装置１００ａを装着したユーザの両眼の瞳の位置や動き等を撮像することによって得られる画像データを無線通信部１５２ａから情報処理装置２００と、ヘッドマウント装置１００ｂへ送信する。
記憶部１６４ａは、不揮発性メモリ１０８によって実現される。記憶部１６４ａは、ヘッドマウント装置１００ａのＩＤ１６４２ａを格納する。
【００３１】
ヘッドマウント装置１００ｂは、無線通信部１５２ｂ、投影処理部１５４ｂ、撮像処理部１５６ｂ、接続処理部１６０ｂ、制御部１６２ｂ、記憶部１６４ｂ、及び上記各構成要素を図４に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１６６ｂを有している。これらの各部は、図４に示されている各構成要素のいずれかが、不揮発性メモリ１０８からＲＡＭ１０６上に展開されたプログラム１０８２を実行するＣＰＵ１０２からの命令によって動作することで実現される機能である。
無線通信部１５２ｂ、投影処理部１５４ｂ、及び撮像処理部１５６ｂは、上述した無線通信部１５２ａ、投影処理部１５４ａ、及び撮像処理部１５６ａを適用できる。
接続処理部１６０ｂは、情報処理装置２００が送信したデータ共有情報が無線通信部１５２ｂに受信された場合に、該データ共有情報に含まれる認証情報を取得する。そして、接続処理部１６０ａは、接続要求に該認証情報を付帯して、無線通信部１５２ｂからヘッドマウント装置１００ａへ送信する。
制御部１６２ｂは、ヘッドマウント装置１００ｂの全体の制御を行う。制御部１６２ｂは、無線通信部１５２ｂとヘッドマウント装置１００ａとの間で通信リンクが確立された後に、無線通信部１５２ｂによって受信されたデータを投影処理部１５４ｂへ出力する。
記憶部１６４ｂは、ヘッドマウント装置１００ｂのＩＤ１６４２ｂを格納する。
【００３２】
＜情報処理装置の機能構成＞
情報処理装置２００は、送受信部２５２、制御部２５４、選択部２５６、記憶部２５８、表示制御部２５９、及び上記各構成要素を図４に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２６０を有している。これらの各部は、図４に示されている各構成要素のいずれかが、情報処理装置２００において、不揮発性メモリ２０６からメモリ２０４上に展開されたプログラム２０６２を実行するＣＰＵ２０２からの命令によって動作することで実現される機能である。
【００３３】
＜情報処理装置の各機能構成＞
図３及び図４を用いて、情報処理装置２００の各機能構成について詳細に説明する。なお、以下では、情報処理装置２００の各機能構成を説明するにあたって、図４に示されている各構成要素のうち、情報処理装置２００の各機能構成を実現させるための主なハードウェアとの関係も説明する。
図４に示されている情報処理装置２００の送受信部２５２は、ＣＰＵ２０２からの命令、及び通信Ｉ／Ｆ２０８よって実現される。送受信部２５２は、通信網２０、及びアクセスポイント７０を介して、ヘッドマウント装置１００ａ、又はヘッドマウント装置１００ｂとの間で各種データの送受信を行う。例えば、送受信部２５２は、ヘッドマウント装置１００ａによって送信される画像データを受信する。
記憶部２５８は、不揮発性メモリ２０６によって実現される。記憶部２５８には、ヘッドマウント装置管理テーブル２５８２と、ペアリング管理テーブル２５８４とが格納される。
【００３４】
＜ヘッドマウント装置管理テーブル＞
図６は、ヘッドマウント装置管理テーブルの一例を示す。ヘッドマウント装置管理テーブル２５８２は、ヘッドマウント装置のＩＤ毎に、ヘッドマウント装置のＩＰアドレスを紐付けて管理する。例えば、図６に示されているヘッドマウント装置管理テーブル２５８２において、ヘッドマウント装置のＩＤが「１００ａａ」であるヘッドマウント装置は、ＩＰアドレスが「１９２．１６８.１０．１０」であることが示されている。図６に示されるヘッドマウント装置のＩＤ、及びＩＰアドレスは一例であり、この例に限られない。
【００３５】
＜ペアリング管理テーブル＞
図７は、ペアリング管理テーブルの一例を示す。ペアリング管理テーブル２５８４は、ヘッドマウント装置のＩＤ毎に、データを共有する先のヘッドマウント装置のＩＤと、データを共有する時間とを紐付けて管理する。例えば、図７に示されているペアリング管理テーブル２５８４において、ヘッドマウント装置のＩＤが「１００ａａ」であるヘッドマウント装置は、データを共有する先のヘッドマウント装置のＩＤが「１００ｂｂ」であり、データを共有する時間が「９時−１２時」であることが示されている。図７に示される、ヘッドマウント装置のＩＤ、データを共有する先のヘッドマウント装置のＩＤ、及びデータを共有する時間は一例であり、この例に限られない。
以下、ヘッドマウント装置１００ａのＩＤが「１００ａａ」であり、ヘッドマウント装置１００ｂのＩＤが「１００ｂｂ」であるとして、図４に戻り説明を続ける。
【００３６】
選択部２５６は、ＣＰＵ２０２からの命令によって実現される。選択部２５６は、ヘッドマウント装置１００ａによって送信されたデータ共有要求が送受信部２５２に受信されると、該データ共有要求から、ヘッドマウント装置１００ａの識別情報、及び認証情報を取得する。選択部２５６は、記憶部２５８に格納されたペアリング管理テーブル２５８４を参照し、データ共有要求に付帯されているヘッドマウント装置１００ａの識別情報「１００ａａ」に紐付けられた共有先のヘッドマウント装置のＩＤを取得する。選択部２５６は、ペアリング対象のヘッドマウント装置のＩＤと、認証情報を制御部２５４へ出力する。また、選択部２５６は、記憶部２５８に格納されたペアリング管理テーブル２５８４を参照し、データ共有要求が送受信部２５２に受信された時刻に基づいて、該時刻がヘッドマウント装置１００ａの識別情報「１００ａａ」に紐付けられたデータを共有する時刻に一致、又は時間内に含まれる場合に、該ヘッドマウント装置１００ａの識別情報「１００ａａ」に紐付けられた共有先のヘッドマウント装置のＩＤを取得するようにしてもよい。例えば、データ共有要求が送受信部２５２に受信された時刻が９時である場合に、選択部２５６は、該時刻がヘッドマウント装置１００ａの識別情報「１００ａａ」に紐付けられたデータを共有する時間「９時−１２時」に含まれるため、ペアリング対象のヘッドマウント装置のＩＤとして「１００ｂｂ」を取得する。選択部２５６は、ペアリング対象のヘッドマウント装置のＩＤと、認証情報を制御部２５４へ出力する。
【００３７】
表示制御部２５９は、ＣＰＵ２０２からの命令、及び表示装置２０９によって実現される。表示制御部２５９は、送受信部２５２が受信する画像データを処理することによって得られる画像を表示装置２０９に表示する。
制御部２５４は、ＣＰＵ２０２からの命令によって実現される。制御部２５４は、情報処理装置２００の全体の制御を行う。例えば、制御部２５４は、記憶部２５８に格納されたヘッドマウント装置管理テーブル２５８２を参照し、選択部２５６によって供給されたペアリング対象のヘッドマウント装置のＩＤである「１００ｂｂ」のＩＰアドレス「１９２．１６８．１０．１１」を取得する。そして、制御部２５４は、認証情報を付帯したデータ共有情報を、ヘッドマウント装置１００ｂのＩＰアドレスを宛先として送受信部２５２から送信する。また、制御部２５４は、ペアリング対象のヘッドマウント装置が起動しているか否かを判定し、起動している場合に認証情報を付帯したデータ共有情報を、ヘッドマウント装置１００ｂのＩＰアドレスを宛先として送受信部２５２から送信するようにしてもよい。この場合、ヘッドマウント装置１００ｂは、起動している場合にヘッドマウント装置１００ａによって送信されるペアリング要求に対する肯定応答を無線通信部１５２ｂから情報処理装置２００へ送信するようにしてもよい。
【００３８】
＜本実施形態に係るシステムの動作＞
図８は、本実施形態に係るシステムの動作の一例を示す。ここでは、ヘッドマウント装置１００ａと情報処理装置２００との間、及びヘッドマウント装置１００ｂと情報処理装置２００との間で通信リンクが確立された後の動作について説明する。
ステップＳ８０２では、ヘッドマウント装置１００ａの接続処理部１６０ａは、ヘッドマウント装置１００ａのＩＤと、接続処理部１６０ａに保持している認証情報とを付帯したデータ共有要求を作成する。
ステップＳ８０４では、ヘッドマウント装置１００ａの無線通信部１５２ａは、情報処理装置２００へデータ共有要求を送信する。
ステップＳ８０６では、情報処理装置２００の送受信部２５２は、ヘッドマウント装置１００ａが送信したデータ共有要求を受信する。情報処理装置２００の選択部２５６は、データ共有要求に付帯されているヘッドマウント装置１００ａのＩＤを取得する。選択部２５６は、記憶部２５８のペアリング管理テーブル２５８４を参照し、ヘッドマウント装置１００ａのＩＤに紐付けられている共有先のヘッドマウント装置のＩＤを取得する。
【００３９】
ステップＳ８０８では、情報処理装置２００の制御部２５４は、ヘッドマウント装置管理テーブル２５８２を参照し、共有先のヘッドマウント装置のＩＤに紐付けられているＩＰアドレスを取得する。さらに、制御部２５４は、データ共有要求に付帯されている認証情報を取得する。制御部２５４は、宛先を共有先のヘッドマウント装置のＩＤに紐付けられているＩＰアドレスとし、認証情報を付帯したデータ共有情報を作成する。
ステップＳ８１０では、情報処理装置２００の送受信部２５２は、制御部２５４によって作成されたデータ共有情報を送信する。ここで、情報処理装置２００は、データ共有情報を送信する前に、ペアリング要求を共有先のヘッドマウント装置１００ｂへ送信し、該ペアリング要求に対する応答を受信することによってヘッドマウント装置１００ｂが起動している状態であると判断してもよい。情報処理装置２００は、ヘッドマウント装置１００ｂが起動している状態である場合にデータの共有が可能であると判断するようにしてもよい。そして、情報処理装置２００は、データの共有が可能であると判断した場合にデータ共有情報を送信し、データの共有が不可能であると判断した場合にヘッドマウント装置１００ｂ以外のヘッドマウント装置との間でペアリングを実行するようにしてもよい。さらに、ペアリング先の各々に優先順位が設定されていてもよい。そして、情報処理装置２００は、優先順位にしたがってペアリングを試みるようにしてもよい。
ステップＳ８１２では、ヘッドマウント装置１００ｂの無線通信部１５２ｂは、情報処理装置２００によって送信されたデータ共有情報を受信する。ヘッドマウント装置１００ｂの接続処理部１６０ｂは、データ共有情報に付帯されている認証情報を取得する。そして、接続処理部１６０ｂは、認証情報を付帯した接続要求を作成する。
ステップＳ８１４では、ヘッドマウント装置１００ｂの無線通信部１５２ｂは、ヘッドマウント装置１００ａへ接続要求を送信する。
【００４０】
ステップＳ８１６では、ヘッドマウント装置１００ａの無線通信部１５２ａは、ヘッドマウント装置１００ｂが送信した接続要求を受信する。ヘッドマウント装置１００ａの接続処理部１６０ａは、無線通信部１５２ａが受信した接続要求に付帯されている認証情報を取得する。接続処理部１６０ａは、接続要求から取得した認証情報と保持している認証情報とが一致するか否かを判定する。
ステップＳ８１８では、ヘッドマウント装置１００ａの接続処理部１６０ａは、接続要求から取得した認証情報と保持している認証情報とが一致すると判定した場合、ヘッドマウント装置１００ｂの接続処理部１６０ｂとの間で、通信リンクを確立する処理を行う。
ヘッドマウント装置１００ａとヘッドマウント装置１００ｂとの間で通信リンクが確立された後、ヘッドマウント装置１００ａの制御部１６２ａは、撮像処理部１５６ａが撮像することによって得られる画像データを取得し、無線通信部１５２ａから送信する。
ヘッドマウント装置１００ａが送信した画像データは、ヘッドマウント装置１００ｂの無線通信部１５２ｂ、及び情報処理装置２００の送受信部２５２によって受信される。
ヘッドマウント装置１００ｂの制御部１６２ｂは、無線通信部１５２ｂによって受信された画像データを取得し、投影処理部１５４ｂへ出力する。投影処理部１５４ｂは、制御部１６２ｂによって供給された画像データを処理することによって、投影する。これによって、ヘッドマウント装置１００ａのユーザによって視認されている画像が、ヘッドマウント装置１００ｂの投影処理部１５４ｂによって、仮想スクリーン上に投影される。
また、情報処理装置２００の表示制御部２５９は、送受信部２５２によって受信された画像データを処理することによって、表示装置２０９に表示する。これによって、ヘッドマウント装置１００ａのユーザによって視認されている画像が、情報処理装置２００の表示制御部２５９によって、表示装置２０９に表示される。
【００４１】
上述した実施の形態において、ヘッドマウント装置１００ａとヘッドマウント装置１００ｂとの間で画像をリアルタイムで送信することに加え、音声情報も送信できるようにしてもよい。具体的には、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂのマイクをオンにすることによって音声情報が送信される、さらに、ヘッドマウント装置１００ａと、ヘッドマウント装置１００ｂとの間で、双方向で電話通信できるようにしてもよい。
上述した実施形態では、ヘッドマウント装置１００ａと情報処理装置２００との間、及びヘッドマウント装置１００ｂと情報処理装置２００との間で通信リンクが確立されていることを前提とし、ヘッドマウント装置１００ａから情報処理装置２００へデータ共有要求を送信する場合について説明したがこの例に限られない。
例えば、ヘッドマウント装置１００ｂは、撮像した画像をサーバへ送信し、サーバは該画像を蓄積している。情報処理装置２００が、データを共有する先のヘッドマウント装置１００ａによって送信されるデータ共有要求（ペアリング要求）を受信すると、ペアリング元のヘッドマウント装置１００ｂにプッシュでデータ共有要求を送信するようにしてもよい。そして、情報処理装置２００は、ヘッドマウント装置１００ｂによって送信されるＯＫであることを表す肯定応答を受信すると、サーバからヘッドマウント装置１００ｂによって撮像された画像を取得し、ヘッドマウント装置１００ａへ送信するようにしてもよい。
また、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、録画画像を情報処理装置２００へ送信し、情報処理装置２００は、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂによって送信された録画画像を記録するようにしてもよい。そして、ヘッドマウント装置１００ａ、及びヘッドマウント装置１００ｂは、時間差で、情報処理装置２００に記憶された録画画像を視聴するようにしてもよい。
【００４２】
本実施形態に係るシステムによれば、一のヘッドマウント装置によって取得されたデータを、該一のヘッドマウント装置以外の他のヘッドマウント装置等の端末装置と、情報処理装置との間で共有できる。例えば、複数のヘッドマウント装置のうち、一のヘッドマウント装置の撮像部によって撮像された画像を、他のヘッドマウント装置の仮想スクリーン上へ投影できるとともに、情報処理装置や端末装置へ表示できる。情報処理装置は、一のヘッドマウント装置によって送信される情報に基づいて、該一のヘッドマウント装置によって撮像された画像を共有するヘッドマウント装置を選択する。このため、該一のヘッドマウント装置を装着しているユーザが行っている作業を、他のヘッドマウント装置を装着したユーザや、ヘッドマウント装置を装着しているユーザ以外のユーザがリアルタイムに確認できる。
【００４３】
＜第２の実施形態＞
本実施形態に係るシステムは、図１を適用できる。本実施形態に係るシステムは、ヘッドマウント装置３００ａと、ヘッドマウント装置３００ｂと、情報処理装置２００とを備え、第１の実施形態に係るシステムと、ヘッドマウント装置の構成、及び情報処理装置の機能が異なる。
図９は、本実施形態に係るヘッドマウント装置３００を示す。ヘッドマウント装置３００は、ＣＰＵ３０２と、ＲＯＭ３０４と、ＲＡＭ３０６と、操作部３０７と、不揮発性メモリ３０８と、通信Ｉ／Ｆ部３１０と、撮像部３１２と、投影部３１４と、測位部３１５と、内部バス３１６とを備えている。これらは、ヘッドマウント装置３００のテンプル（つる）等の筐体に固定又は配置される。
ＣＰＵ３０２、ＲＯＭ３０４、ＲＡＭ３０６、操作部３０７、不揮発性メモリ３０８、通信Ｉ／Ｆ部３１０、撮像部３１２、投影部３１４、及び内部バス３１６は、図２に示されるＣＰＵ１０２、ＲＯＭ１０４、ＲＡＭ１０６、操作部１０７、不揮発性メモリ１０８、通信Ｉ／Ｆ部１１０、撮像部１１２、投影部１１４、及び内部バス１１６を適用できる。
【００４４】
測位部３１５は、ヘッドマウント装置３００を測位するデバイスであり、全地球航法衛星システム（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ（ｓ）：  ＧＮＳＳ）や、歩行者向け自律航法（Ｐｅｄｅｓｔｒｉａｎ  Ｄｅａｄ  Ｒｅｃｋｏｎｉｎｇ：  ＰＤＲ）によって測位を行う。歩行者向け自律航法によって測位を行う場合、測位部３１５は、加速度センサー、ジャイロセンサー、地磁気センサー、気圧センサー、近接センサー、照度センサー等を備えていてもよい。
【００４５】
＜本実施形態に係るシステムの機能構成＞
次に、本実施形態の機能構成について説明する。図１０は、本実施形態のシステムを構成するヘッドマウント装置３００ａ、ヘッドマウント装置３００ｂ、及び情報処理装置２００の機能ブロック図である。図１０では、ヘッドマウント装置３００ａ、ヘッドマウント装置３００ｂ、及び情報処理装置２００が、通信網２０を介してデータ通信することができるように接続されている。
【００４６】
＜ヘッドマウント装置の機能構成＞
ヘッドマウント装置３００ａは、無線通信部３５２ａ、投影処理部３５４ａ、撮像処理部３５６ａ、接続処理部３６０ａ、制御部３６２ａ、測位処理部３６３ａ、記憶部３６４ａ、及び上記各構成要素を図１０に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３６６ａを有している。これらの各部は、図１０に示されている各構成要素のいずれかが、不揮発性メモリ３０８からＲＡＭ３０６上に展開されたプログラム３０８２を実行するＣＰＵ３０２からの命令によって動作することで実現される機能である。
無線通信部３５２ａ、投影処理部３５４ａ、撮像処理部３５６ａ、及び記憶部３６４ａは、図４を参照して説明した無線通信部１５２ａ、投影処理部１５４ａ、撮像処理部１５６ａ、及び記憶部１６４ａを適用できる。
測位処理部３６３ａは、測位部３１５によって実現され、ヘッドマウント装置３００ａを測位することによって位置情報を演算する。測位処理部３６３ａは、位置情報を制御部３６２ａへ出力する。
【００４７】
制御部３６２ａは、ＣＰＵ３０２からの命令によって実現される。制御部３６２ａは、ヘッドマウント装置３００ａの全体の制御を行う。例えば、制御部３６２ａは、撮像処理部３５６ａによってヘッドマウント装置３００ａを装着したユーザの両眼の瞳の位置や動き等を撮像することによって得られる画像データが入力された場合に、接続処理部３６０ａへデータ共有要求を作成するように命令する。
また、制御部３６２ａは、測位処理部３６３ａから位置情報が入力された場合に、接続処理部３６０ａへ該位置情報を出力するとともにデータ共有要求を作成するように命令する。
接続処理部３６０ａは、ＣＰＵ３０２からの命令、及び通信Ｉ／Ｆ３１０によって実現される。接続処理部３６０ａは、ヘッドマウント装置３００ａとヘッドマウント装置３００ｂとの間でペアリングを行うために使用する認証情報を保持する。接続処理部３６０ａは、認証情報を予め保持していてもよいし、ユーザが操作部３０７に対して、ヘッドマウント装置３００ａとヘッドマウント装置３００ｂとの間でデータを共有する操作を行った場合に生成し、保持するようにしてもよい。
【００４８】
接続処理部３６０ａは、データ共有要求を作成する。データ共有要求には、ヘッドマウント装置１００ａのＩＤと、認証情報と、ヘッドマウント装置３００ａの位置情報とが付帯される。接続処理部３６０ａは、無線通信部３５２ａから情報処理装置２００へデータ共有要求を送信する。また、データ共有要求に、制御部３６２ａによって供給された画像データが含まれてもよい。これによって、情報処理装置２００へ、作業状況を通知でできる。
また、接続処理部３６０ａは、ヘッドマウント装置３００ｂが送信する接続要求が無線通信部３５２ａに受信された場合に、該接続要求に含まれる認証情報が、保持している認証情報と一致するか否かを判定する。接続処理部３６０ａは、該接続要求に含まれる認証情報と保持している認証情報とが一致すると判定した場合、リンクキーを用いた暗号化処理等を行い、ヘッドマウント装置３００ａと、ヘッドマウント装置３００ｂとの間の通信リンクを確立する。接続処理部３６０ａは、該接続要求に含まれる認証情報と保持している認証情報とが一致しないと判定した場合、ヘッドマウント装置３００ａと、ヘッドマウント装置３００ｂとの間の通信リンクを確立しない。
【００４９】
ヘッドマウント装置３００ｂは、無線通信部３５２ｂ、投影処理部３５４ｂ、撮像処理部３５６ｂ、接続処理部３６０ｂ、制御部３６２ｂ、測位処理部３６３ｂ、記憶部３６４ｂ、及び上記各構成要素を図１０に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン３６６ｂを有している。これらの各部は、図１０に示されている各構成要素のいずれかが、不揮発性メモリ３０８からＲＡＭ３０６上に展開されたプログラム３０８２を実行するＣＰＵ３０２からの命令によって動作することで実現される機能である。
無線通信部３５２ｂ、投影処理部３５４ｂ、撮像処理部３５６ｂ、接続処理部３６０ｂ、制御部３６２ｂ、及び記憶部３６４ｂは、上述した無線通信部１５２ｂ、投影処理部１５４ｂ、撮像処理部１５６ｂ、接続処理部１６０ｂ、制御部１６２ｂ、及び記憶部１６４ｂを適用できる。
測位処理部３６３ｂは、測位部３１５によって実現され、ヘッドマウント装置３００ｂを測位することによって位置情報を演算する。測位処理部３６３ｂは、位置情報を制御部３６２ｂへ出力する。この場合、制御部３６２ｂは、測位処理部３６３ｂによって供給された位置情報を投影処理部３５４ｂへ出力し、投影処理部３５４ｂは、接続処理部３６０ｂが供給した位置情報を投影するようにしてもよい。
本実施形態に係る情報処理装置は、図４を参照して説明した情報処理装置２００を適用できる。ただし、ペアリング管理テーブル２５８４と、選択部２５６の機能とが異なる。
【００５０】
＜ペアリング管理テーブル＞
図１１は、ペアリング管理テーブル２５８４の一例を示す。ペアリング管理テーブル２５８４は、ヘッドマウント装置のＩＤ毎に、データを共有する先のペアリング対象のヘッドマウント装置のＩＤと、データを共有する位置と、及びデータを共有するヘッドマウント装置を使用する時間とを紐付けて管理する。例えば、図１１に示されているペアリング管理テーブルにおいて、ヘッドマウント装置のＩＤが「３００ａａ」であるヘッドマウント装置は、データを共有する先のペアリング対象のヘッドマウント装置のＩＤが「３００ｂｂ」であり、データを共有する位置が「（１１１，２２２）」であり、データを共有するヘッドマウント装置を使用する時間が「９時−１２時」であることが示されている。図１１に示される、ヘッドマウント装置のＩＤ、データを共有する先のヘッドマウント装置のＩＤ、データを共有する位置、及びデータを共有する時間は一例であり、この例に限られない。
選択部２５６は、ヘッドマウント装置３００ａによって送信されたデータ共有要求が送受信部２５２に受信されると、該データ共有要求から、ヘッドマウント装置３００ａの識別情報、認証情報、及び位置情報を取得する。選択部２５６は、記憶部２５８に格納されたペアリング管理テーブル２５８４を参照し、データ共有要求に付帯されているヘッドマウント装置３００ａの位置情報によって表される位置が、ヘッドマウント装置３００ａの識別情報「３００ａａ」に紐付けられた共有位置から所定の範囲内である場合に、データ共有要求に付帯されているヘッドマウント装置３００ａの識別情報「３００ａａ」に紐付けられた共有先のヘッドマウント装置のＩＤを取得する。選択部２５６は、ペアリング対象のヘッドマウント装置のＩＤと、認証情報を制御部２５４へ出力する。また、選択部２５６は、記憶部２５８に格納されたペアリング管理テーブル２５８４を参照し、データ共有要求が送受信部２５２に受信された時刻に基づいて、該時刻がヘッドマウント装置３００ａの識別情報「３００ａａ」に紐付けられたデータを共有する時間に含まれ、且つデータ共有要求に付帯されているヘッドマウント装置３００ａの位置情報が、ヘッドマウント装置３００ａの識別情報「３００ａａ」に紐付けられた共有位置から所定の範囲内である場合に、該ヘッドマウント装置３００ａの識別情報「３００ａａ」に紐付けられた共有先のヘッドマウント装置のＩＤを取得するようにしてもよい。
【００５１】
＜本実施形態に係るシステムの動作＞
図１２は、本実施形態に係るシステムの動作の一例を示す。
ステップＳ１２０２では、ヘッドマウント装置３００ａの接続処理部３６０ａは、ヘッドマウント装置３００ａのＩＤと、接続処理部３６０ａに保持している認証情報と、測位処理部３６３ａによって測位されることによって得られる位置情報とを付帯したデータ共有要求を作成する。
ステップＳ１２０４では、ヘッドマウント装置３００ａの無線通信部３５２ａは、情報処理装置２００へデータ共有要求を送信する。
ステップＳ１２０６では、情報処理装置２００の送受信部２５２は、ヘッドマウント装置３００ａが送信したデータ共有要求を受信する。情報処理装置２００の選択部２５６は、データ共有要求に付帯されているヘッドマウント装置３００ａのＩＤと、位置情報とを取得する。選択部２５６は、記憶部２５８のペアリング管理テーブル２５８４を参照し、ヘッドマウント装置３００ａの位置情報によって表される位置が、ヘッドマウント装置３００ａの識別情報「３００ａａ」に紐付けられた共有位置から所定の範囲内である場合に、データ共有要求に付帯されているヘッドマウント装置３００ａの識別情報「３００ａａ」に紐付けられた共有先のヘッドマウント装置のＩＤを取得する。
ステップＳ１２０８−Ｓ１２１８は、図８のステップＳ８０８−Ｓ８１８を適用できる。
【００５２】
ヘッドマウント装置３００ａが送信した画像データは、ヘッドマウント装置３００ｂの無線通信部３５２ｂ、及び情報処理装置２００の送受信部２５２によって受信される。
ヘッドマウント装置３００ｂの制御部３６２ｂは、無線通信部３５２ｂによって受信された画像データを取得し、投影処理部３５４ｂへ出力する。投影処理部３５４ｂは、制御部３６２ｂによって供給された画像データを処理することによって得られる画像を投影する。これによって、ヘッドマウント装置３００ａのユーザによって視認されている画像が、ヘッドマウント装置３００ｂの投影処理部３５４ｂによって、仮想スクリーン上に投影される。
また、情報処理装置２００の表示制御部２５９は、送受信部２５２によって受信された画像データを処理することによって得られる画像を表示装置２０９に表示する。これによって、ヘッドマウント装置３００ａのユーザによって視認されている画像が、情報処理装置２００の表示制御部２５９によって、表示装置２０９に表示される。
本実施形態に係るシステムによれば、ヘッドマウント装置から、該ヘッドマウント装置の位置情報を付帯したデータ共有要求を送信し、該位置情報が他のヘッドマウント装置の位置から所定の範囲である場合に、該ヘッドマウント装置によって取得された画像データを、該他のヘッドマウント装置と、情報処理装置との間で共有できる。
【００５３】
＜変形例＞
本変形例に係るシステムは、第１の実施形態を適用できる。
本変形例に係るシステムでは、情報処理装置２００の記憶部２５８に、ヘッドマウント装置管理テーブル２５８２、及びペアリング管理テーブル２５８４に加え、権限管理テーブルを格納したものである。
【００５４】
＜権限管理テーブル＞
図１３は、権限管理テーブルの一例を示す。権限管理テーブルは、ヘッドマウント装置のＩＤ毎に、通信する権限が付されたヘッドマウント装置のＩＤを紐付けて管理する。例えば、図１３に示されている装置権限管理テーブルにおいて、ヘッドマウント装置のＩＤが「１００ａａ」であるヘッドマウント装置と通信する権限が付されたヘッドマウント装置のＩＤが「１００ｂｂ」であることが示されている。図１３に示される、ヘッドマウント装置のＩＤ、通信する権限が付されたヘッドマウント装置のＩＤは一例であり、この例に限られない。
選択部２５６は、ヘッドマウント装置１００ａによって送信されたデータ共有要求が送受信部２５２に受信されると、該データ共有要求から、ヘッドマウント装置１００ａの識別情報、及び認証情報を取得する。選択部２５６は、記憶部２５８に格納されたペアリング管理テーブルを参照し、ヘッドマウント装置１００ａの識別情報「１００ａａ」に紐付けられたペアリング対象のヘッドマウント装置のＩＤを取得する。さらに、選択部２５６は、権限管理テーブルを参照し、ペアリング対象のヘッドマウント装置のＩＤに該当するヘッドマウント装置がデータ共有要求を送信したヘッドマウント装置１００ａと通信する権限を有するか否かを判定する。選択部２５６は、ペアリング対象のヘッドマウント装置のＩＤに該当するヘッドマウント装置がデータ共有要求を送信したヘッドマウント装置１００ａと通信する権限を有すると判定した場合に、ペアリング対象のヘッドマウント装置のＩＤと、認証情報を制御部２５４へ出力する。
【００５５】
＜本変形例に係るシステムの動作＞
本変形例に係るシステムの動作の一例は、図８を適用できる。
ただし、ステップＳ８０８において、情報処理装置２００の選択部２５６は、ペアリング対象のヘッドマウント装置のＩＤに該当するヘッドマウント装置がデータ共有要求を送信したヘッドマウント装置１００ａと通信する権限を有するか否かを判定する。さらに、制御部２５４は、ペアリング対象のヘッドマウント装置のＩＤに該当するヘッドマウント装置がデータ共有要求を送信したヘッドマウント装置１００ａと通信する権限を有すると判定した場合に、宛先をペアリング対象のヘッドマウント装置のＩＤに紐付けられているＩＰアドレスとし、認証情報を付帯したデータ共有情報を作成する。
【００５６】
本変形例に係るシステムによれば、複数のヘッドマウント装置のうち、一のヘッドマウント装置によって取得されたデータを、該一のヘッドマウント装置以外の他のヘッドマウント装置のうち、該一のヘッドマウント装置と通信する権限を有するヘッドマウント装置との間で共有できる。
【００５７】
以上、本発明の実施形態及びその変形例を説明したが、これらの実施形態及びその変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態及びその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態及びその変形例は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【００５８】
なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００５９】
上述した実施形態において、ヘッドマウント装置１００ａはヘッドマウント装置の一例であり、ヘッドマウント装置１００ｂは端末装置の一例であり、ペアリング管理テーブルは識別情報管理部の一例であり、データ共有情報はデータを共有させる要求の一例であり、送受信部２５２は第１の通信部の一例であり、無線通信部１５２ｂは第２の通信部の一例であり、無線通信部１５２ｂは第３の通信部の一例である。測位処理部３６３ａは測位部の一例であり、通信権限管理テーブルは通信権限管理部の一例である。
【符号の説明】
【００６０】
２０…通信網、７０…アクセスポイント、１００ａ、１００ｂ…ヘッドマウント装置、１５２ａ、１５２ｂ…無線通信部、１５４ａ、１５４ｂ…投影処理部、１５６ａ、１５６ｂ…撮像処理部、１６０ａ、１６０ｂ…接続処理部、１６２ａ、１６２ｂ…制御部、１６４ａ、１６４ｂ…記憶部、２００…情報処理装置、２５２…送受信部、２５４…制御部、２５６…選択部、２５８…記憶部、２５９…表示制御部、３００ａ、３００ｂ…ヘッドマウント装置、３５２ａ、３５２ｂ…無線通信部、３５４ａ、３５４ｂ…投影処理部、３５６ａ、３５６ｂ…撮像処理部、３６０ａ、３６０ｂ…接続処理部、３６２ａ、３６２ｂ…制御部、３６４ａ、３６４ｂ…記憶部
【図１】
2017175354.tif 000003
【図２】
2017175354.tif 000004
【図３】
2017175354.tif 000005
【図４】
2017175354.tif 000006
【図５】
2017175354.tif 000007
【図６】
2017175354.tif 000008
【図７】
2017175354.tif 000009
【図８】
2017175354.tif 000010
【図９】
2017175354.tif 000011
【図１０】
2017175354.tif 000012
【図１１】
2017175354.tif 000013
【図１２】
2017175354.tif 000014
【図１３】
2017175354.tif 000015