(57)【要約】【課題】ヘッドマウントディスプレイに表示された仮想画像に対する操作時に腕や手が他人に衝突するのを抑制する。【解決手段】表示システムは、監視カメラと、第１範囲に入ると仮想操作パネルを表示して操作を装着者から受け付けるヘッドマウントディスプレイと、処理装置と、を備え、処理装置は、第１範囲に入っているヘッドマウントディスプレイが存在するとき、監視カメラが撮影した撮影データに基づき、第１範囲を含む第２範囲に複数の人物が存在するか否かを判断し、第２範囲に複数の人物が存在すると判断した場合、第１範囲に入っているヘッドマウントディスプレイによる仮想操作パネルの表示を停止させる。【選択図】図６
2019046366.tif 000002
【特許請求の範囲】
【請求項１】
監視カメラと、
予め定められた第１範囲に入ると仮想画像である仮想操作パネルを表示し、前記仮想操作パネルに対する操作を装着者から受け付けるヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイによる前記仮想操作パネルの表示に関する制御を行う処理装置と、を備え、
前記処理装置は、前記第１範囲に入っている前記ヘッドマウントディスプレイが存在するとき、前記監視カメラが撮影した撮影データに基づき、前記第１範囲を含む予め定められた第２範囲に複数の人物が存在するか否かを判断し、前記第２範囲に複数の人物が存在すると判断した場合、前記第１範囲に入っている前記ヘッドマウントディスプレイによる前記仮想操作パネルの表示を停止させることを特徴とする表示システム。
【請求項２】
前記処理装置は、前記第２範囲に存在する複数の人物のうち前記第１範囲に入っている前記ヘッドマウントディスプレイの装着者以外の人物の存在位置を認識するとともに、前記第１範囲に入っている前記ヘッドマウントディスプレイの正面が前記存在位置に向けられているか否かを判断し、前記第１範囲に入っている前記ヘッドマウントディスプレイの正面が前記存在位置に向けられていない場合には、前記第２範囲に複数の人物が存在しても、前記第１範囲に入っている前記ヘッドマウントディスプレイに前記仮想操作パネルを表示させることを特徴とする請求項１に記載の表示システム。
【請求項３】
前記ヘッドマウントディスプレイは、前記ヘッドマウントディスプレイの正面方向を撮影するカメラ部を備え、
前記処理装置は、前記カメラ部が撮影した撮影データに基づき、前記第１範囲に入っている前記ヘッドマウントディスプレイの正面方向に所定条件を満たす条件充足箇所が存在するか否かを判断し、前記条件充足箇所が存在すると判断した場合には、前記第２範囲に複数の人物が存在しても、前記第１範囲に入っている前記ヘッドマウントディスプレイに前記仮想操作パネルを表示させることを特徴とする請求項１または２に記載の表示システム。
【請求項４】
実機の設置場所を含む範囲が前記第１範囲とされ、
前記条件充足箇所は前記実機であることを特徴とする請求項３に記載の表示システム。
【請求項５】
前記条件充足箇所は前記ヘッドマウントディスプレイの装着者の腕であることを特徴とする請求項３または４に記載の表示システム。
【請求項６】
前記処理装置は、前記ヘッドマウントディスプレイの装着者が設定したパネル表示機能の設定内容を記憶し、
前記処理装置は、前記第１範囲に入っている前記ヘッドマウントディスプレイの装着者が設定した前記パネル表示機能の設定内容を認識し、当該認識した前記パネル表示機能が有効に設定されている場合にのみ、前記第１範囲に入っている前記ヘッドマウントディスプレイに前記仮想操作パネルを表示させることを特徴とする請求項１〜５のいずれか１項に記載の表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイを備える表示システムに関する。
【背景技術】
【０００２】
従来、ヘッドマウントディスプレイに仮想画像を表示し、仮想画像に対する操作を装着者から受け付ける技術が知られている。このような技術は、たとえば、特許文献１に開示されている。
【０００３】
特許文献１では、たとえば、仮想画像としてマウスパッドがヘッドマウントディスプレイに表示される。そして、ヘッドマウントディスプレイは、仮想画像に対する操作を受け付けると、当該操作に割り当てられた処理を実行する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ＷＯ２０１４／０４５６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ヘッドマウントディスプレイに表示された仮想画像に対する操作では、装着者の前方空間で腕や手が動かされる。このとき、装着者の周囲に他人が存在すれば、装着者の腕や手が他人に衝突するという不都合が生じる。
【０００６】
このような不都合を解消するには、装着者自身が周囲に他人が存在するか否かを確認しつつ、仮想画像に対する操作を行わなければならない。このため、装着者にとっては利便性が悪い。
【０００７】
本発明は、上記課題を解決するためになされたものであり、ヘッドマウントディスプレイの装着者が周囲確認を行わなくても、ヘッドマウントディスプレイに表示された仮想画像に対する操作時に腕や手が他人に衝突するのを抑制することが可能な表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の表示システムは、監視カメラと、予め定められた第１範囲に入ると仮想画像である仮想操作パネルを表示し、仮想操作パネルに対する操作を装着者から受け付けるヘッドマウントディスプレイと、ヘッドマウントディスプレイによる仮想操作パネルの表示に関する制御を行う処理装置と、を備える。処理装置は、第１範囲に入っているヘッドマウントディスプレイが存在するとき、監視カメラが撮影した撮影データに基づき、第１範囲を含む予め定められた第２範囲に複数の人物が存在するか否かを判断し、第２範囲に複数の人物が存在すると判断した場合、第１範囲に入っているヘッドマウントディスプレイによる仮想操作パネルの表示を停止させる。
【０００９】
本発明の構成では、第１範囲に入っているヘッドマウントディスプレイは仮想操作パネル（仮想画像）を表示し仮想操作パネルに対する操作を装着者から受け付ける。しかし、第１範囲に入っているヘッドマウントディスプレイの装着者の周囲に他人が存在する状態で、第１範囲に入っているヘッドマウントディスプレイに仮想操作パネルを表示し仮想操作パネルに対する操作を装着者から受け付けると、装着者の腕や手が他人に衝突するという不都合が生じ得る。
【００１０】
このため、本発明の構成では、第１範囲を含む第２範囲に複数の人物（第１範囲に入っているヘッドマウントディスプレイの装着者を含む）が存在する場合、すなわち、仮想操作パネルに対する操作の受付時に動かされる装着者の腕や手が他人に衝突する可能性がある場合、第１範囲に入っているヘッドマウントディスプレイによる仮想操作パネルの表示を停止させる。これにより、装着者の周囲に他人が存在する場合には装着者による仮想操作パネルに対する操作は行われないので、装着者の腕や手が他人に衝突するのを抑制することができる。また、装着者の周囲に他人が存在する場合には自動的に仮想操作パネルの表示が停止されるので、装着者は周囲確認を行う必要がない。
【発明の効果】
【００１１】
本発明によれば、ヘッドマウントディスプレイの装着者が周囲確認を行わなくても、ヘッドマウントディスプレイに表示された仮想画像に対する操作時に腕や手が他人に衝突するのを抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態による表示システムの構成を示す図
【図２】本発明の一実施形態による表示システムのヘッドマウントディスプレイが表示する仮想操作パネルを示す図
【図３】本発明の一実施形態による表示システムの監視カメラの設置位置を示す図
【図４】本発明の一実施形態による表示システムの監視カメラで監視する範囲を示す図
【図５】本発明の一実施形態による表示システムが行う処理（仮想操作パネルの表示を開始するか否かを判断する処理）の流れを示す図
【図６】本発明の一実施形態による表示システムが行う処理（仮想操作パネルの表示を停止するか否かを判断する処理）の流れを示す図
【図７】本発明の一実施形態による表示システムのサーバーが行う第１判断処理を説明するための図
【図８】本発明の一実施形態による表示システムのサーバーが行う第１判断処理を説明するための図
【図９】本発明の一実施形態による表示システムのサーバーが行う第２判断処理を説明するための図
【図１０】本発明の一実施形態による表示システムのサーバーが行う第２判断処理を説明するための図
【発明を実施するための形態】
【００１３】
＜表示システムの全体構成＞
図１に示すように、本実施形態の表示システム１は、ヘッドマウントディスプレイ２、サーバー３（「処理装置」に相当）および監視カメラ４を備える。以下の説明では、ヘッドマウントディスプレイをＨＭＤと称する。
【００１４】
ＨＭＤ２およびサーバー３は、互い通信可能に接続される。ＨＭＤ２とサーバー３との間では、ＬＡＮなどのネットワークＮＴを介した通信が行われる。また、ネットワークＮＴには画像形成装置５が接続される。これにより、ＨＭＤ２およびサーバー３は、画像形成装置５との間での通信も可能である。たとえば、画像形成装置５は、ＭＦＰやプリンターなどであり、操作パネル５０を備える。
【００１５】
監視カメラ４は、サーバー３に通信可能に接続される。監視カメラ４とサーバー３との間での通信は、有線で行われてもよいし、無線で行われてもよい。なお、監視カメラ４とＨＭＤ２とが通信可能に接続されてもよい。
【００１６】
ここで、本実施形態の表示システム１では、画像形成装置５のユーザーにＨＭＤ２が提供される。すなわち、画像形成装置５のユーザーがＨＭＤ２を装着する。そして、図２に示すように、表示システム１は、ＨＭＤ２に仮想操作パネル５０Ｖを表示し、仮想操作パネル５０Ｖに対する操作をＨＭＤ２の装着者（画像形成装置５のユーザー）から受け付けるＶＲ処理を行う。なお、仮想操作パネル５０Ｖは、実機である画像形成装置５の操作パネル５０を模した仮想画像である。
【００１７】
ＨＭＤ２に仮想操作パネル５０Ｖが表示されているとき、仮想操作パネル５０Ｖに対する操作をＨＭＤ２の装着者が行うことにより、ＨＭＤ２の装着者が行った操作を示す操作データがＨＭＤ２から画像形成装置５に対して送信される。画像形成装置５は、操作データを受信すると、当該受信した操作データで示される操作に割り当てられた処理（当該操作データで示される操作を操作パネル５０が実際に受け付けた場合に行うべき処理）を行う。これにより、画像形成装置５（操作パネル５０）を直接操作することなく、ＨＭＤ２の装着者は所望の処理を画像形成装置５に行わせることができる。
【００１８】
＜表示システムを成す各装置の構成＞
ＨＭＤ２は、眼鏡型であり、眼鏡のレンズに相当する部分に種々の画像を表示する。ＨＭＤ２の装着者からすると、眼前に画像が表示されたように見える。また、ＨＭＤ２は、装着者の眼前に広がる現実空間（現実空間に存在するオブジェクト）を撮影する。
【００１９】
ＨＭＤ２は、表示部２１、カメラ部２２、操作部２３、ＨＭＤ制御部２４、ＨＭＤ通信部２５およびＨＭＤ記憶部２６を備える。これら各部は眼鏡型のフレームに搭載される。
【００２０】
表示部２１は、表示を行う。表示部２１は、ＨＭＤ２の装着者の眼と対向する位置に配置される。これにより、装着者の眼前に画像が表示される。たとえば、外光を透過させる光学透過型（光学シースルー型）のディスプレイ装置が表示部２１として使用される。光学透過型の表示部２１は、ハーフミラーを含み、表示すべき画像をハーフミラーによって装着者の眼に向けて反射する。このとき、外光はハーフミラーを透過して装着者の眼に入射する。すなわち、表示部２１は、装着者に現実空間を視認させつつ、現実空間上に画像をオーバーレイ表示する。装着者からは、表示部２１により表示された画像が現実空間に合成されたように見える（現実空間に表示画像が重なって見える）。
【００２１】
カメラ部２２は、撮影を行う。カメラ部２２は、ＣＣＤカメラなどを含み、ＨＭＤ２の装着者の視界方向（ＨＭＤ２の正面方向）の撮影が可能な位置に配置される。装着者が眼前で手や指を動かすなどのジェスチャー操作（仮想操作パネル５０Ｖに対する操作）を行った場合には、カメラ部２２によって装着者のジェスチャー操作が撮影される。カメラ部２２は、撮影により得られた撮影データを出力する。
【００２２】
操作部２３は、ＨＭＤ２の装着者から、ＨＭＤ２による表示や撮影に関する各種設定を行うための操作を受け付ける。たとえば、装着者から操作を受け付けるハードウェアボタンが操作部２３としてＨＭＤ２に設けられる。なお、スマートフォンやタブレットコンピューター、ノート型パーソナルコンピューターなど、装着者が所有する携帯情報端末をＨＭＤ２に通信可能に接続することにより、携帯情報端末を操作部２３として機能させることもできる（装着者は携帯情報端末からでも各種設定を行うことができる）。
【００２３】
ＨＭＤ制御部２４は、制御用のプログラムやデータに基づき動作するＣＰＵを含む。ＨＭＤ制御部２４は、ＨＭＤ２を制御するための各種処理を実行する。たとえば、ＨＭＤ制御部２４は、表示部２１による表示およびカメラ部２２による撮影をそれぞれ制御する。
【００２４】
また、ＨＭＤ制御部２４は、カメラ部２２が撮影した撮影データに基づき、ＨＭＤ２の装着者の視界方向（ＨＭＤ２の正面方向）に広がる現実空間に存在するオブジェクトを検知したり、装着者が眼前で行ったジェスチャー操作を検知したりする。さらに、ＨＭＤ制御部２４は、操作部２３が装着者から受け付けた操作（あるいは、ＨＭＤ２３に接続された携帯情報端末を介して装着者から受け付けた操作）を検知する。
【００２５】
ＨＭＤ通信部２５は、ＨＭＤ２をネットワークＮＴに接続するための通信インターフェースであり、通信用回路や通信用メモリーなどを含む。ＨＭＤ制御部２４は、ＨＭＤ通信部２５を用いて、サーバー３や画像形成装置５との間でデータを送受信する。
【００２６】
ＨＭＤ記憶部２６は、不揮発性メモリー（ＲＯＭ）および揮発性メモリー（ＲＡＭ）を含み、ＨＭＤ制御部２４（ＣＰＵ）を動作させるためのプログラムやデータを記憶する。また、ＨＭＤ記憶部２６は、サーバー３から受信したデータを記憶する。
【００２７】
サーバー３は、サーバー制御部３１、サーバー通信部３２およびサーバー記憶部３３を備える。サーバー３は、画像形成装置５の設置場所と同じ場所に設置されてもよいし、他の場所に設置されてもよい。また、サーバー３の機能を他の装置に持たせ、当該装置をサーバー３の代わりとしてもよい。たとえば、画像形成装置５にサーバー３の機能を持たせてもよい。この場合には、画像形成装置５が「処理装置」に相当する。
【００２８】
サーバー制御部３１は、制御用のプログラムやデータに基づき動作するＣＰＵを含む。サーバー制御部３１は、サーバー３を制御するための各種処理を実行する。
【００２９】
サーバー通信部３２は、第１通信部３Ａを備える。第１通信部３Ａは、サーバー３をネットワークＮＴに接続するための通信インターフェースであり、通信用回路や通信用メモリーなどを含む。サーバー制御部３１は、第１通信部３Ａを用いて、ＨＭＤ２や画像形成装置５と通信する。
【００３０】
また、サーバー通信部３２は、第２通信部３Ｂを備える。第２通信部３Ｂは、サーバー３を監視カメラ４に接続するための通信インターフェースであり、通信用回路や通信用メモリーなどを含む。サーバー制御部３１は、第２通信部３Ｂを用いて、監視カメラ４と通信する。
【００３１】
サーバー記憶部３３は、ＲＯＭおよびＲＡＭを含み、サーバー制御部３１（ＣＰＵ）を動作させるためのプログラムやデータを記憶する。また、サーバー記憶部３３は、ＨＤＤなど大容量の記憶デバイスを含む。
【００３２】
監視カメラ４は、図３に示すように、画像形成装置５の設置部屋に存在する壁や天井に設置される。画像形成装置５の設置部屋における監視カメラ４の設置位置は特に限定されず、画像形成装置５の設置位置を含む範囲を監視カメラ４で撮影できればよい。監視カメラ４は、撮影により得られた撮影データをサーバー３に出力する。
【００３３】
たとえば、監視カメラ４として第１カメラ４１および第２カメラ４２の２台が使用される。図４に示すように、第１カメラ４１は、画像形成装置５の設置位置を含む範囲Ｒ１（以下の説明では、第１範囲Ｒ１と称する）の撮影が可能に設置される。また、第２カメラ４２は、第１範囲Ｒ１を含む範囲Ｒ２（以下の説明では、第２範囲Ｒ２と称する）の撮影が可能な位置に設置される。
【００３４】
なお、画像形成装置４の設置部屋における監視カメラ４の設置数は複数台でもよいが、１台でもよい。また、第２範囲Ｒ２が第１範囲Ｒ１よりも大きい範囲であってもよいが、第２範囲Ｒ２が第１範囲Ｒ１と同じ範囲であってもよい。
【００３５】
＜ＶＲ処理＞
（仮想操作パネルの表示開始）
サーバー制御部３１は、予め定められた開始条件が満たされたか否かを判断し、開始条件が満たされたと判断すると、ＶＲ処理を開始する。すなわち、サーバー制御部３１は、開始条件が満たされたと判断すると、ＨＭＤ２による仮想操作パネル５０Ｖの表示を開始させる。
【００３６】
以下に、図５に示すフローチャートを参照し、仮想操作パネル５０Ｖの表示を開始するか否かを判断する処理（開始判断処理）の流れを説明する。
【００３７】
ステップＳ１において、サーバー制御部３１は、監視カメラ４が撮影した撮影データに基づき、ＨＭＤ２の装着者が第１範囲Ｒ１に入ったか否か（画像形成装置５のユーザーがＨＭＤ２を装着して第１範囲Ｒ１に入ったか否か）を判断する。その結果、第１範囲Ｒ１にＨＭＤ２の装着者が入ったとサーバー制御部３１が判断した場合には、ステップＳ２に移行する。ここでのサーバー制御部３１による判断では、第１カメラ４１が撮影した撮影データが使用される。
【００３８】
ここで、ＨＭＤ２の装着者が第１範囲Ｒ１に入っているということは、ＨＭＤ２の装着者が画像形成装置５に近づいているということである。したがって、ＨＭＤ２の装着者が画像形成装置５に近づいたときに、ステップＳ２に移行する（ＨＭＤ２の装着者が第１範囲Ｒ１に入ったとサーバー制御部３１が判断する）。
【００３９】
ステップＳ２において、サーバー制御部３１は、人物特定処理を行う。サーバー制御部３１は、人物特定処理を行うことにより、第１範囲Ｒ１に入ったＨＭＤ２の装着者を特定する。言い換えると、サーバー制御部３１は、第１範囲Ｒ１に入ったＨＭＤ２の装着者に付与されたユーザーＩＤ（以下、対象ユーザーＩＤと称する）を認識する。
【００４０】
たとえば、サーバー記憶部３３には、サーバー制御部３１による人物特定処理で使用するユーザー情報１０が予め記憶される（図１参照）。ユーザー情報１０は、画像形成装置５のユーザーとなり得る人物の顔データ（顔の特徴点などを示すデータ）をユーザーＩＤと対応付けた情報である。ここで、画像形成装置５のユーザーとなり得る人物は複数存在し、複数の人物にそれぞれ対応する複数のユーザー情報１０がデータベースＤＢに格納される。
【００４１】
そして、サーバー制御部３１は、人物特定処理を行うとき、監視カメラ４が撮影した第１範囲Ｒ１の撮影データに対して顔認識処理を行うとともに、顔認識処理で認識した顔（すなわち、第１範囲Ｒ１に入っているＨＭＤ２の装着者の顔）の特徴点を取得する。その後、サーバー制御部３１は、データベースＤＢから、顔認識処理で認識した顔と特徴点が類似する顔データを含むユーザー情報１０を抽出し、当該抽出したユーザー情報１０で示されるユーザーＩＤを対象ユーザーＩＤとして認識する。
【００４２】
第１範囲Ｒ１に入っているＨＭＤ２の装着者の特定後、ステップＳ３に移行する。ステップＳ３において、サーバー制御部３１は、第１範囲Ｒ１に入っているＨＭＤ２の装着者について、パネル表示機能（ＨＭＤ２に仮想操作パネル５０Ｖを表示する機能）を有効に設定した有効装着者であるか無効に設定した無効装着者であるかを判断する。
【００４３】
たとえば、ＨＭＤ２を使用するとき、ＨＭＤ２の装着者は操作部２３を操作して自身のユーザーＩＤを入力するとともに、パネル表示機能の有効／無効を設定する。ＨＭＤ２の装着者が設定したパネル表示機能の設定内容は当該装着者が入力したユーザーＩＤと対応付けられ、ＨＭＤ２からサーバー３に送信される。
【００４４】
そして、サーバー制御部３１は、ＨＭＤ２の装着者が第１範囲Ｒ１に入ると、対象ユーザーＩＤ（第１範囲Ｒ１に入っているＨＭＤ２の装着者に付与されたユーザーＩＤ）に対応するパネル表示機能の設定内容を認識する。その結果、パネル表示機能が有効に設定されていれば、サーバー制御部３１は、第１範囲Ｒ１に入っているＨＭＤ２の装着者が有効装着者であると判断する。一方で、パネル表示機能が無効に設定されていれば、サーバー制御部３１は、第１範囲Ｒ１に入っているＨＭＤ２の装着者が無効装着者であると判断する。
【００４５】
ステップＳ３において、第１範囲Ｒ１に入っているＨＭＤ２の装着者が有効装着者（パネル表示機能を有効に設定した装着者）であるとサーバー制御部３１が判断した場合、ステップＳ４に移行する。ステップＳ４に移行すると、サーバー制御部３１は、開始条件が満たされていると判断する。そして、ステップＳ５に移行する。
【００４６】
ステップＳ５において、サーバー制御部３１は、第１範囲Ｒ１に入っているＨＭＤ２に対し、仮想操作パネル５０Ｖの表示に必要な表示データを送信する。これにより、仮想操作パネル５０Ｖの表示データを受信したＨＭＤ２において、仮想操作パネル５０Ｖの表示が開始され、仮想操作パネル５０Ｖに対する操作の受け付けが開始される。
【００４７】
ステップＳ３において、第１範囲Ｒ１に入っているＨＭＤ２の装着者が無効装着者（パネル表示機能を無効に設定した装着者）であるとサーバー制御部３１が判断した場合、ステップＳ６に移行する。ステップＳ６に移行すると、サーバー制御部３１は、開始条件が満たされていないと判断する。この場合、サーバー制御部３１は、第１範囲Ｒ１に入っているＨＭＤ２に仮想操作パネル５０Ｖを表示させない。
【００４８】
ステップＳ１において、ＨＭＤ２の装着者が第１範囲Ｒ１に入っていないとサーバー制御部３１が判断した場合には、ステップＳ１の処理（サーバー制御部３１による判断）が繰り返される。
【００４９】
なお、或るＨＭＤ２（ここでは、第１ＨＭＤ２と称する）が第１範囲Ｒ１に入っている状態で、別のＨＭＤ２（ここでは、第２ＨＭＤ２と称する）が第１範囲Ｒ１に新たに入ったとする。この場合、第１ＨＭＤ２および第２ＨＭＤ２の両方に仮想操作パネル５０Ｖを表示させると、第１ＨＭＤ２および第２ＨＭＤ２の両方で仮想操作パネル５０Ｖに対する操作が行われ、結果として、第１ＨＭＤ２および第２ＨＭＤ２の両方から画像形成装置５に対して操作データが送信されるという不都合が生じる。このような不都合の発生を抑制するため、たとえば、第２ＨＭＤ２が第１範囲Ｒ１に入っても、第２ＨＭＤ２には仮想操作パネル５０Ｖを表示せず、第１ＨＭＤ２の装着者が第１範囲Ｒ１の範囲外に移動したとき、第２ＨＭＤ２に仮想操作パネル５０Ｖを表示してもよい。
【００５０】
ここで、変形例について説明する。
【００５１】
まず、第１変形例について説明する。第１変形例の構成では、ＨＭＤ２が位置検知を行う。ＨＭＤ２は、位置検知を行うことによって自機の現在位置を検知し、第１範囲Ｒ１に入ったことを検知すると、自機の装置ＩＤをサーバー３に送信する。すなわち、第１変形例では、第１範囲Ｒ１に入っているＨＭＤ２の装置ＩＤがサーバー３に送信される。
【００５２】
たとえば、ビーコン信号を定期的に発信するビーコン発信器が画像形成装置５の設置部屋に設置される（画像形成装置５にビーコン発信器を内蔵してもよい）。また、ＨＭＤ２にはビーコン機能（ビーコン信号を受信する機能）が搭載される。そして、ＨＭＤ２は、ビーコン信号の受信状況に基づき、第１範囲Ｒ１に入ったか否かの位置検知を行う。
【００５３】
あるいは、ＨＭＤ２にはＧＰＳ機能が搭載される。そして、ＨＭＤ２は、ＧＰＳ機能を用いて、第１範囲Ｒ１に入ったか否かの位置検知を行う。なお、誤検知を防止するため、ビーコン機能およびＧＰＳ機能の両方をＨＭＤ２に搭載し、ＨＭＤ２による位置検知が両機能を用いて行われてもよい。
【００５４】
サーバー３は、装置ＩＤを受信すると、当該受信した装置ＩＤを有するＨＭＤ２が第１範囲Ｒ１に入っていると判断する。たとえば、サーバー３には、ＨＭＤ２の装置ＩＤとＨＭＤ２の提供を受けた人物（ＨＭＤ２の装着者となり得る人物）のユーザーＩＤとを対応付けたＨＭＤ情報が予め記憶される。そして、サーバー３は、ＨＭＤ情報に基づき、ＨＭＤ２から受信した装置ＩＤに対応するユーザーＩＤを認識し、当該認識したユーザーＩＤを対象ユーザーＩＤとして認識する。その後、図５に示したフローチャートのステップＳ３〜Ｓ６の処理がサーバー３により行われる。
【００５５】
なお、第１変形例の構成において、加速度センサーやジャイロセンサーをＨＭＤ２に搭載してもよい。ＨＭＤ２に加速度センサーやジャイロセンサーを搭載した場合には、当該センサーの出力に基づきＨＭＤ２の移動距離などの計測が可能となり、ＨＭＤ２が第１範囲Ｒ１に入ったか否かの位置検知をより正確に行うことができるようになる。
【００５６】
次に、第２変形例について説明する。第２変形例の構成では、第１範囲Ｒ１に入っているＨＭＤ２との間で通信する通信機能が監視カメラ４に搭載される。サーバー３は、監視カメラ４が撮影した撮影データに基づきＨＭＤ２の装着者が第１範囲Ｒ１に入っていることを検知すると、第１範囲Ｒ１に入っているＨＭＤ２との間での通信を監視カメラ４に行わせる。たとえば、監視カメラ４の通信可能範囲は第１範囲Ｒ１と略同じである。すなわち、監視カメラ４は、第１範囲Ｒ１に入っているＨＭＤ２との間での通信は行うが、第１範囲Ｒ１に入っていないＨＭＤ２との間での通信は行わない。
【００５７】
監視カメラ４との間での通信が可能になったＨＭＤ２は、監視カメラ４に対し、自機の装置ＩＤを送信する。ＨＭＤ２の装置ＩＤは監視カメラ４からサーバー３に転送される。すなわち、第２変形例では、第１変形例と同様、第１範囲Ｒ１に入っているＨＭＤ２の装置ＩＤがサーバー３に送信される。
【００５８】
サーバー３は、装置ＩＤを受信すると、当該受信した装置ＩＤを有するＨＭＤ２が第１範囲Ｒ１に入っていると判断する。たとえば、サーバー３には、ＨＭＤ２の装置ＩＤとＨＭＤ２の提供を受けた人物（ＨＭＤ２の装着者となり得る人物）のユーザーＩＤとを対応付けたＨＭＤ情報が記憶される。そして、サーバー３は、ＨＭＤ情報に基づき、ＨＭＤ２から受信した装置ＩＤに対応するユーザーＩＤを認識し、当該認識したユーザーＩＤを対象ユーザーＩＤとして認識する。その後、図５に示したフローチャートのステップＳ３〜Ｓ６の処理がサーバー３により行われる。
【００５９】
（仮想操作パネルの表示停止）
サーバー制御部３１は、第１範囲Ｒ１にＨＭＤ２が入っており、かつ、第２範囲Ｒ２に複数の人物（第１範囲Ｒ１に入っているＨＭＤ２の装着者を含む）が存在する場合には、第１範囲Ｒ１に入っているＨＭＤ２による仮想操作パネル５０Ｖの表示を停止させる。ただし、このとき、サーバー制御部３１は、予め定められた許可条件が満たされているか否かを判断する。ここで、サーバー制御部３１は、第１判断処理および第２判断処理の少なくとも一方を行うことにより、許可条件が満たされているか否かを判断する。第１判断処理および第２判断処理については後述する。そして、許可条件が満たされていれば、サーバー制御部３１は、第２範囲Ｒ２に複数の人物が存在しても、第１範囲Ｒ１に入っているＨＭＤ２に仮想操作パネル５０Ｖを表示させる。
【００６０】
以下に、図６に示すフローチャートを参照し、仮想操作パネル５０Ｖの表示を停止するか否かを判断する処理（停止判断処理）の流れを説明する。図６に示すフローチャートのスタート時点では、第１範囲Ｒ１に入っているＨＭＤ２（仮想操作パネル５０Ｖを表示しているＨＭＤ２）が存在するとする。以下の説明では、第１範囲Ｒ１に入っているＨＭＤ２を対象ＨＭＤ２と称する場合がある。
【００６１】
ステップＳ１１において、サーバー制御部３１は、監視カメラ４が撮影した撮影データに基づき、第２範囲Ｒ２に複数の人物（対象ＨＭＤ２の装着者を含む）が存在するか否かを判断する。すなわち、サーバー制御部３１は、対象ＨＭＤ２の装着者とは別の人物（他人）が第２範囲Ｒ２に存在するか否かを判断する。その結果、第２範囲Ｒ２に複数の人物が存在するとサーバー制御部３１が判断した場合には、ステップＳ１２に移行する。ここでのサーバー制御部３１による判断では、第２カメラ４２が撮影した撮影データが使用される。
【００６２】
ステップＳ１２に移行すると、サーバー制御部３１は、許可条件が満たされているか否かを判断する。その結果、許可条件が満たされているとサーバー制御部３１が判断した場合には、ステップＳ１３に移行する。なお、ステップＳ１１において、第２範囲Ｒ２に存在するのが１人だけ（対象ＨＭＤ２の装着者だけ）であるとサーバー制御部３１が判断した場合にも、ステップＳ１３に移行する。一方で、許可条件が満たされていないとサーバー制御部３１が判断した場合には、ステップＳ１４に移行する。許可条件については後に詳細に説明する。
【００６３】
ステップＳ１３に移行すると、サーバー制御部３１は、対象ＨＭＤ２による仮想操作パネル５０Ｖの表示を続行させる。その後、ステップＳ１５に移行する。なお、この時点で対象ＨＭＤ２による仮想操作パネル５０Ｖの表示が停止されていれば、サーバー制御部３１は、対象ＨＭＤ２による仮想操作パネル５０Ｖの表示を開始（再開）させる。
【００６４】
ステップＳ１４に移行すると、サーバー制御部３１は、対象ＨＭＤ２による仮想操作パネル５０Ｖの表示を停止させる。その後、ステップＳ１５に移行する。なお、ここでは、対象ＨＭＤ２による仮想操作パネル５０Ｖの表示を終了させるわけではない。すなわち、対象ＨＭＤ２による仮想操作パネル５０Ｖの表示が停止されて以降、仮想操作パネル５０Ｖの表示が再開される場合がある。
【００６５】
ステップＳ１５において、サーバー制御部３１は、予め定められた終了条件が満たされたか否かを判断する。たとえば、サーバー制御部３１は、対象ＨＭＤ２の装着者が第１範囲Ｒ１の範囲外に移動すると、終了条件が満たされたと判断する。あるいは、サーバー制御部３１は、対象ＨＭＤ２が装着者から予め定められた終了操作を受け付けると、終了条件が満たされたと判断する。なお、対象ＨＭＤ２は装着者から終了操作を受け付けたことを検知したとき、終了操作を受け付けたことを示す情報をサーバー３に送信する。これにより、サーバー制御部３１は、対象ＨＭＤ２が装着者から終了操作を受け付けたか否かを判断することができる。
【００６６】
ステップＳ１５において、終了条件が満たされたとサーバー制御部３１が判断した場合には、ステップＳ１６に移行する。この場合、サーバー制御部３１は、対象ＨＭＤ２による仮想操作パネル５０Ｖの表示を終了させる。以降、第２範囲Ｒ１に複数の人物が存在するか否かにかかわらず、対象ＨＭＤ２には仮想操作パネル５０Ｖは表示されない。
【００６７】
ステップＳ１５において、終了条件が満たされていないとサーバー制御部３１が判断した場合には、ステップＳ１１に移行する。すなわち、サーバー制御部３１は、終了条件が満たされるまで、第２範囲Ｒ２に複数の人物が存在するか否かの判断を続ける。
【００６８】
（第１判断処理）
第１判断処理を行うよう設定されている場合、サーバー制御部３１は、監視カメラ４が撮影した撮影データに基づき、第２範囲Ｒ２に存在する複数の人物のうち対象ＨＭＤ２の装着者以外の人物の存在位置（以下、単に存在位置と称する）を認識する。また、サーバー制御部３１は、対象ＨＭＤ２の正面（対象ＨＭＤ２の装着者の視界方向）が存在位置に向けられているか否かを判断する。たとえば、サーバー制御部３１は、ヘッドトラッキング技術などを用いて、対象ＨＭＤ２の正面の向きを認識する。
【００６９】
そして、対象ＨＭＤ２の正面が存在位置に向けられていない場合、サーバー制御部３１は、許可条件が満たされていると判断する。一方で、対象ＨＭＤ２の正面が存在位置に向けられている場合、サーバー制御部３１は、許可条件が満たされていないと判断する。
【００７０】
一例として、図７に示すように、対象ＨＭＤ２の装着者Ａが右を向いているとき、すなわち、対象ＨＭＤ２の正面が図中の矢印方向に向けられているとき、対象ＨＭＤ２の装着者Ａ以外の人物Ｂが右方向から第２範囲Ｒ２に入ってきたとする。この場合、対象ＨＭＤ２の正面が存在位置に向けられているので、サーバー制御部３１は、許可条件が満たされていないと判断する。このため、対象ＨＭＤ２は、仮想操作パネル５０Ｖの表示を停止する。
【００７１】
それ以降、図８に示すように、対象ＨＭＤ２の装着者Ａが向きを変更した（対象ＨＭＤ２の正面の向きが破線矢印方向から実線矢印方向に変更された）とする。この場合、対象ＨＭＤ２の正面が存在位置に向けられていないので、サーバー制御部３１は、許可条件が満たされていると判断する。このため、対象ＨＭＤ２は、仮想操作パネル５０Ｖの表示を再開する。
【００７２】
図示しないが、対象ＨＭＤ２の装着者Ａが右を向いているとき、人物Ｂが左方向から第２範囲Ｒ２に入ってきた場合には、対象ＨＭＤ２の正面が存在位置に向けられていないので、サーバー制御部３１は許可条件が満たされていると判断する。このため、対象ＨＭＤ２は、仮想操作パネル５０Ｖの表示を続行する。
【００７３】
なお、対象ＨＭＤ２が第１範囲Ｒ１に入った時点で、人物Ｂが既に第２範囲Ｒ２に存在しており、かつ、対象ＨＭＤ２の正面が存在位置に向けられていた場合には、対象ＨＭＤ２には仮想操作パネル５０Ｖは表示されない。
【００７４】
（第２判断処理）
第２判断処理を行うよう設定されている場合、サーバー制御部３１は、対象ＨＭＤ２のカメラ部２２が撮影した撮影データ（ここでは、正面撮影データと称する）に基づき、対象ＨＭＤ２の正面方向に所定条件を満たす条件充足箇所が存在するか否かを判断する。言い換えると、サーバー制御部３１は、正面撮影データから条件充足箇所を検出する処理を行う。
【００７５】
そして、対象ＨＭＤ２の正面方向に条件充足箇所が存在する場合には、サーバー制御部３１は許可条件が満たされていると判断する。一方で、対象ＨＭＤ２の正面方向に条件充足箇所が存在しない場合には、サーバー制御部３１は許可条件が満たされていないと判断する。
【００７６】
ここで、サーバー制御部３１は、正面撮影データから画像形成装置５を検出したとき、対象ＨＭＤ２の正面方向に条件充足箇所が存在すると判断する（すなわち、条件充足箇所は画像形成装置５である）。あるいは、サーバー制御部３１は、正面画像データから対象ＨＭＤ２の装着者の腕を検出したとき、対象ＨＭＤ２の正面方向に条件充足箇所が存在すると判断する（すなわち、条件充足箇所は対象ＨＭＤ２の装着者の腕である）。
【００７７】
たとえば、サーバー記憶部３３には、条件充足箇所の特徴点（輪郭や形状、大きさ、色など）を示す特徴点情報が予め記憶される。そして、サーバー制御部３１は、特徴点情報で示される特徴点を有する画像を正面撮影データから検出できたとき、対象ＨＭＤ２の正面方向に条件充足箇所が存在すると判断する。
【００７８】
一例として、対象ＨＭＤ２の装着者以外の人物が第２範囲Ｒ２に入ったことによって対象ＨＭＤ２による仮想操作パネル５０Ｖの表示が停止されて以降、対象ＨＭＤ２の装着者が画像形成装置５を見たとする。すなわち、対象ＨＭＤ２の正面方向に画像形成装置５が存在するとする。この場合、サーバー制御部３１は、対象ＨＭＤ２の正面方向に条件充足箇所が存在するので、許可条件が満たされたと判断する。
【００７９】
この例では、対象ＨＭＤ２の装着者からの見え方は、図９に示すように変化する（上図から下図に変化する）。すなわち、画像形成装置５と重なるように仮想操作パネル５０Ｖが対象ＨＭＤ２に表示される。
【００８０】
別の例として、対象ＨＭＤ２の装着者以外の人物が第２範囲Ｒ２に入ったことによって対象ＨＭＤ２による仮想操作パネル５０Ｖの表示が停止されて以降、対象ＨＭＤ２の装着者が自身の腕を見たとする。すなわち、対象ＨＭＤ２の正面方向に対象ＨＭＤ２の装着者の腕が存在するとする。この場合、サーバー制御部３１は、対象ＨＭＤ２の正面方向に条件充足箇所が存在するので、許可条件が満たされたと判断する。
【００８１】
この例では、対象ＨＭＤ２の装着者からの見え方は、図１０に示すように変化する（上図から下図に変化する）。すなわち、対象ＨＭＤ２の装着者の腕と重なるように仮想操作パネル５０Ｖが対象ＨＭＤ２に表示される。
【００８２】
本実施形態の表示システム１は、上記のように、監視カメラ４と、予め定められた第１範囲Ｒ１に入ると仮想画像である仮想操作パネル５０Ｖを表示し、仮想操作パネル５０Ｖに対する操作を装着者から受け付けるＨＭＤ２（ヘッドマウントディスプレイ）と、ＨＭＤ２による仮想操作パネル５０Ｖの表示に関する制御を行うサーバー３（処理装置）と、を備える。サーバー３は、第１範囲Ｒ１に入っているＨＭＤ２が存在するとき、監視カメラ４が撮影した撮影データに基づき、第１範囲Ｒ１を含む予め定められた第２範囲Ｒ２に複数の人物が存在するか否かを判断し、第２範囲Ｒ２に複数の人物が存在すると判断した場合、第１範囲Ｒ１に入っているＨＭＤ２による仮想操作パネル５０Ｖの表示を停止させる。
【００８３】
本実施形態の構成では、第１範囲Ｒ１に入っているＨＭＤ２は仮想操作パネル５０Ｖを表示し仮想操作パネル５０Ｖに対する操作を装着者から受け付ける。しかし、第１範囲Ｒ１に入っているＨＭＤ２の装着者の周囲に他人が存在する状態で、第１範囲Ｒ１に入っているＨＭＤ２に仮想操作パネル５０Ｖを表示し仮想操作パネル５０Ｖに対する操作を装着者から受け付けると、装着者の腕や手が他人に衝突するという不都合が生じ得る。
【００８４】
このため、本実施形態の構成では、第１範囲Ｒ１を含む第２範囲Ｒ２に複数の人物（第１範囲Ｒ１に入っているＨＭＤ２の装着者を含む）が存在する場合、すなわち、仮想操作パネル５０Ｖに対する操作の受付時に動かされる装着者の腕や手が他人に衝突する可能性がある場合、第１範囲Ｒ１に入っているＨＭＤ２による仮想操作パネル５０Ｖの表示を停止させる。これにより、装着者の周囲に他人が存在する場合には装着者による仮想操作パネル５０Ｖに対する操作は行われないので、装着者の腕や手が他人に衝突するのを抑制することができる。また、装着者の周囲に他人が存在する場合には自動的に仮想操作パネル５０Ｖの表示が停止されるので、装着者は周囲確認を行う必要がない。
【００８５】
なお、ＨＭＤ２に表示された仮想操作パネル５０Ｖに対して操作を行うとき、装着者は前方空間（ＨＭＤ２の正面）で腕や手を動かす。このとき、ＨＭＤ２の正面に他人が存在すれば、装着者の腕や手が他人に衝突する可能性がある。しかし、ＨＭＤ２の正面に他人が存在しなければ、操作者の腕や手は他人に衝突しない。仮に、装着者および他人が互いに向かい合っていても、装着者が下や横を向けば、ＨＭＤ２の正面方向には他人が存在しなくなる。
【００８６】
そこで、サーバー３は、第１範囲Ｒ１にＨＭＤ２が入っており、かつ、第２範囲Ｒ２に複数の人物が存在する場合、第１範囲Ｒ１に入っているＨＭＤ２の正面が他人の存在位置に向けられていなければ、第２範囲Ｒ２に複数の人物が存在していても、第１範囲Ｒ１に入っているＨＭＤ２に仮想操作パネル５０Ｖを表示させる。なお、第１範囲Ｒ１に入っているＨＭＤ２の正面が他人の存在位置に向けられていないということは、第１範囲Ｒ１に入っているＨＭＤ２の正面に他人が存在しないということである。
【００８７】
あるいは、サーバー３は、第１範囲Ｒ１にＨＭＤ２が入っており、かつ、第２範囲Ｒ２に複数の人物が存在する場合、ＨＭＤ２の正面方向に条件充足箇所が存在すれば、第２範囲Ｒ２に複数の人物が存在していても、第１範囲Ｒ１に入っているＨＭＤ２に仮想操作パネル５０Ｖを表示させる。なお、ＨＭＤ２の正面方向に条件充足箇所が存在するということは、第１範囲Ｒ１に入っているＨＭＤ２の装着者が画像形成装置５（実機）や自身の腕を見ているということであり、第１範囲Ｒ１に入っているＨＭＤ２の装着者は他人を見ていない（第１範囲Ｒ１に入っているＨＭＤ２の正面に他人が存在しない）ということである。
【００８８】
これにより、第２範囲Ｒ２に複数の人物が存在しているときに、第１範囲Ｒ１に入っているＨＭＤ２の装着者が長時間にわたって仮想操作パネル５０Ｖに対する操作を行うことができなくなる、という不都合が生じるのを抑制することができる。
【００８９】
また、サーバー３は、第１範囲Ｒ１に入っているＨＭＤ２の装着者が設定したパネル表示機能の設定内容を認識し、当該認識したパネル表示機能が有効に設定されている場合にのみ、第１範囲Ｒ１に入っているＨＭＤ２に仮想操作パネル５０Ｖを表示させる。これにより、仮想操作パネル５０Ｖの表示／非表示を選択することができるので、ＨＭＤ２の装着者の利便性が向上する。
【００９０】
今回開示された実施形態は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記実施形態の説明ではなく特許請求の範囲によって示され、さらに、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
【符号の説明】
【００９１】
１  表示システム
２  ＨＭＤ（ヘッドマウントディスプレイ）
３  サーバー（処理装置）
４  監視カメラ
５０Ｖ  仮想操作パネル
【図１】
2019046366.tif 000003
【図２】
2019046366.tif 000004
【図３】
2019046366.tif 000005
【図４】
2019046366.tif 000006
【図５】
2019046366.tif 000007
【図６】
2019046366.tif 000008
【図７】
2019046366.tif 000009
【図８】
2019046366.tif 000010
【図９】
2019046366.tif 000011
【図１０】
2019046366.tif 000012