(57)【要約】【課題】第１ユーザーと第２ユーザーとが連携して行う第１作業の効率を向上させることができる作業補助システムを提供する。【解決手段】作業補助装置は、第１ユーザーの頭部に装着可能な第１表示装置と、予め決められた部屋に設置された第２表示装置とに画像を表示させ、第１ユーザーと第２ユーザーとが連携して行う第１作業を補助する作業補助システムであって、第１実空間内の位置のうちの第１実位置に前記第１表示装置が位置している場合、仮想空間内の位置のうち第１実位置に対応する位置に第１仮想物体を配置して第２表示装置に第１仮想物体を表示させ、仮想空間内の位置のうちの第２仮想位置に第２仮想物体を配置して第１表示装置に第２仮想物体を表示させ、第１仮想物体は、第１ユーザーを示す仮想物体であり、第２仮想物体は、第２ユーザーを示す仮想物体である。【選択図】図５
2020086630.tif 000002
【特許請求の範囲】
【請求項１】
第１ユーザーの頭部に装着可能な第１表示装置と、予め決められた部屋に設置された第２表示装置とに画像を表示させ、前記第１ユーザーと第２ユーザーとが連携して行う第１作業を補助する作業補助システムであって、
前記第１表示装置は、透過型の第１表示部と、実空間を撮像する撮像部とを有し、
前記撮像部により所定の第１実空間が撮像された撮像画像に基づいて、前記第１実空間に対応する仮想空間を生成し、生成した前記仮想空間の各位置と、前記撮像画像に基づいて算出された前記第１実空間の各位置とを対応付ける仮想空間生成部と、
前記仮想空間内の位置のうちの第１仮想位置に配置された仮想物体を、前記第１実空間内の位置のうち前記第１仮想位置に対応する位置において前記第１ユーザーに視認されるように前記第１表示装置に表示させる第１表示制御部と、
前記第２ユーザーから受け付けた操作に応じて、前記仮想空間内の位置のうち前記操作に応じた第２仮想位置の視線方向から見た前記仮想空間内を前記第２表示装置に表示させる第２表示制御部と、
を備え、
前記第１表示制御部は、前記仮想空間内の位置のうちの前記第２仮想位置に第２仮想物体を配置して前記第１表示装置に前記第２仮想物体を表示させ、
前記第２表示制御部は、前記第１実空間内の位置のうちの第１実位置に前記第１表示装置が位置している場合、前記仮想空間内の位置のうち前記第１実位置に対応する位置に第１仮想物体を配置して前記第２表示装置に前記第１仮想物体を表示させ、
前記第１仮想物体は、前記第１ユーザーを示す仮想物体であり、
前記第２仮想物体は、前記第２ユーザーを示す仮想物体である、
作業補助システム。
【請求項２】
前記撮像画像に基づいて、前記第１実位置内における前記第１表示装置の位置を特定する画像処理部を備え、
前記第１表示制御部は、前記画像処理部により特定された位置に基づいて、前記仮想空間内に前記第１仮想物体を配置して前記第２表示装置に前記第１仮想物体を表示させる、
請求項１に記載の作業補助システム。
【請求項３】
前記画像処理部は、前記撮像画像に基づいて、前記第１実空間内における前記第１表示装置の視線方向を特定し、
前記第１表示制御部は、前記画像処理部により特定された位置及び視線方向に基づいて、前記仮想空間内に前記第１仮想物体を配置して前記第２表示装置に前記第１仮想物体を表示させる、
請求項２に記載の作業補助システム。
【請求項４】
前記画像処理部は、前記撮像画像に前記第１ユーザーの手が含まれている場合、前記撮像画像に基づいて、前記第１ユーザーの手の前記第１実空間内における位置を更に特定し、
前記仮想空間内に、前記第１仮想物体とともに前記第１ユーザーの手を示す第３仮想物体を配置して前記第２表示装置に前記第１仮想物体及び前記第３仮想物体を表示させる、
請求項２又は３に記載の作業補助システム。
【請求項５】
前記第１ユーザーから第４仮想物体を前記第１表示装置に表示させる第１表示操作を受け付けた場合、
前記第１表示制御部及び第２表示制御部は、前記仮想空間内の位置のうち前記第１表示操作に応じた位置に前記第４仮想物体を配置する、
請求項１から４のうちいずれか一項に記載の作業補助システム。
【請求項６】
前記仮想空間生成部を備えたサーバーを備え、
前記第１表示装置は、前記第１表示制御部を備え、
前記第２表示装置は、前記第２表示制御部を備え、
前記サーバーは、前記第１表示装置及び前記第２表示装置のそれぞれと通信可能に接続されている、
請求項１から５のうちいずれか一項に記載の作業補助システム。
【請求項７】
前記仮想空間生成部と、前記第１表示制御部と、前記第２表示制御部を備えたサーバーを備える、
請求項１から５のうちいずれか一項に記載の作業補助システム。
【請求項８】
前記第１表示制御部は、前記第１ユーザーから受け付けた仮想的な操作に基づいて、前記第１表示装置を仮想的に取り囲む仮想物体を前記仮想空間に配置し、
前記第２表示制御部は、前記第１表示装置を仮想的に取り囲む仮想物体が前記仮想空間内に配置された場合、前記第２仮想位置を取り囲む仮想物体を前記仮想空間に配置し、
前記第１表示装置を仮想的に取り囲む仮想物体が有する機能は、前記第２仮想位置を取り囲む仮想物体が有する機能と同じ機能であり、
前記第１表示装置を仮想的に取り囲む仮想物体と、前記第２表示装置を仮想的に取り囲む仮想物体とのそれぞれの形状は、互いに同じ形状であり、
前記第１表示装置を仮想的に取り囲む仮想物体の前記第１表示装置における表示態様と、前記第２表示装置を仮想的に取り囲む仮想物体の前記第２表示装置における表示態様とは、互いに同じ表示態様である、
請求項１から６のうちいずれか一項に記載の作業補助システム。
【請求項９】
前記第１表示装置を仮想的に取り囲む仮想物体と、前記第２表示装置を仮想的に取り囲む仮想物体とのそれぞれの形状は、互いに同じ円筒形状である、
請求項８に記載の作業補助システム。
【請求項１０】
第１ユーザーの頭部に装着可能な第１表示装置と、予め決められた部屋に設置された第２表示装置とに画像を表示させ、前記第１ユーザーと第２ユーザーとが連携して行う第１作業を補助する作業補助システムを制御するプログラムであって、
前記第１表示装置は、透過型の第１表示部と、実空間を撮像する撮像部とを有し、
前記撮像部により所定の第１実空間が撮像された撮像画像に基づいて、前記第１実空間に対応する仮想空間を生成し、生成した前記仮想空間の各位置と、前記撮像画像に基づいて算出された前記第１実空間の各位置とを対応付ける仮想空間生成ステップと、
前記仮想空間内の位置のうちの第１仮想位置に配置された仮想物体を、前記第１実空間内の位置のうち前記第１仮想位置に対応する位置において前記第１ユーザーに視認されるように前記第１表示装置に表示させる第１表示制御ステップと、
前記第２ユーザーから受け付けた操作に応じて、前記仮想空間内の位置のうち前記操作に応じた第２仮想位置の視線方向から見た前記仮想空間内を前記第２表示装置に表示させる第２表示制御ステップと、
を実行させるためのプログラムであり、
前記第１表示制御ステップは、前記仮想空間内の位置のうちの前記第２仮想位置に第２仮想物体を配置して前記第１表示装置に前記第２仮想物体を表示させ、
前記第２表示制御ステップは、前記第１実空間内の位置のうちの第１実位置に前記第１表示装置が位置している場合、前記仮想空間内の位置のうち前記第１実位置に対応する位置に第１仮想物体を配置して前記第２表示装置に前記第１仮想物体を表示させ、
前記第１仮想物体は、前記第１ユーザーを示す仮想物体であり、
前記第２仮想物体は、前記第２ユーザーを示す仮想物体である、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業補助システム、及びプログラムに関する。
【背景技術】
【０００２】
人が行う作業を補助する装置についての研究、開発が行われている。
【０００３】
これに関し、複合現実（Mixed  Reality）を用いて作業者が行う作業を補助する装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−０４４４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、作業者は、作業者が作業を行う空間と異なる空間に居る補助者によって補助される場合がある。しかしながら、特許文献１に記載されたような従来の装置は、作業者が頭部に装着する透過型の表示装置に仮想物体を表示し、実空間に仮想物体が重畳された空間を作業者に視認させることを行うに過ぎない。このため、当該装置は、作業者と補助者との連携によって行われる作業の効率を向上させることが困難な場合があった。ここで、本明細書において、実空間は、現実の空間のことである。また、本明細書において、仮想空間は、仮想的な三次元空間のことである。また、本明細書において、仮想物体は、仮想空間内に配置される仮想的な物体である。
【０００６】
本発明は、このような事情を考慮してなされたもので、第１ユーザーと第２ユーザーとが連携して行う第１作業の効率を向上させることができる作業補助システム、及びプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、第１ユーザーの頭部に装着可能な第１表示装置と、予め決められた部屋に設置された第２表示装置とに画像を表示させ、前記第１ユーザーと第２ユーザーとが連携して行う第１作業を補助する作業補助システムであって、前記第１表示装置は、透過型の第１表示部と、実空間を撮像する撮像部とを有し、前記撮像部により所定の第１実空間が撮像された撮像画像に基づいて、前記第１実空間に対応する仮想空間を生成し、生成した前記仮想空間の各位置と、前記撮像画像に基づいて算出された前記第１実空間の各位置とを対応付ける仮想空間生成部と、前記仮想空間内の位置のうちの第１仮想位置に配置された仮想物体を、前記第１実空間内の位置のうち前記第１仮想位置に対応する位置において前記第１ユーザーに視認されるように前記第１表示装置に表示させる第１表示制御部と、前記第２ユーザーから受け付けた操作に応じて、前記仮想空間内の位置のうち前記操作に応じた第２仮想位置の視線方向から見た前記仮想空間内を前記第２表示装置に表示させる第２表示制御部と、を備え、前記第１表示制御部は、前記仮想空間内の位置のうちの前記第２仮想位置に第２仮想物体を配置して前記第１表示装置に前記第２仮想物体を表示させ、前記第２表示制御部は、前記第１実空間内の位置のうちの第１実位置に前記第１表示装置が位置している場合、前記仮想空間内の位置のうち前記第１実位置に対応する位置に第１仮想物体を配置して前記第２表示装置に前記第１仮想物体を表示させ、前記第１仮想物体は、前記第１ユーザーを示す仮想物体であり、前記第２仮想物体は、前記第２ユーザーを示す仮想物体である、作業補助システムである。
【０００８】
また、本発明の一態様は、作業補助システムにおいて、前記撮像画像に基づいて、前記第１実位置内における前記第１表示装置の位置を特定する画像処理部を備え、前記第１表示制御部は、前記画像処理部により特定された位置に基づいて、前記仮想空間内に前記第１仮想物体を配置して前記第２表示装置に前記第１仮想物体を表示させる、構成が用いられてもよい。
【０００９】
また、本発明の一態様は、作業補助システムにおいて、前記画像処理部は、前記撮像画像に基づいて、前記第１実空間内における前記第１表示装置の視線方向を特定し、前記第１表示制御部は、前記画像処理部により特定された位置及び視線方向に基づいて、前記仮想空間内に前記第１仮想物体を配置して前記第２表示装置に前記第１仮想物体を表示させる、構成が用いられてもよい。
【００１０】
また、本発明の一態様は、作業補助システムにおいて、前記画像処理部は、前記撮像画像に前記第１ユーザーの手が含まれている場合、前記撮像画像に基づいて、前記第１ユーザーの手の前記第１実空間内における位置を更に特定し、前記仮想空間内に、前記第１仮想物体とともに前記第１ユーザーの手を示す第３仮想物体を配置して前記第２表示装置に前記第１仮想物体及び前記第３仮想物体を表示させる、構成が用いられてもよい。
【００１１】
また、本発明の一態様は、作業補助システムにおいて、前記第１ユーザーから第４仮想物体を前記第１表示装置に表示させる第１表示操作を受け付けた場合、前記第１表示制御部及び第２表示制御部は、前記仮想空間内の位置のうち前記第１表示操作に応じた位置に前記第４仮想物体を配置する、構成が用いられてもよい。
【００１２】
また、本発明の一態様は、作業補助システムにおいて、前記仮想空間生成部を備えたサーバーを備え、前記第１表示装置は、前記第１表示制御部を備え、前記第２表示装置は、前記第２表示制御部を備え、前記サーバーは、前記第１表示装置及び前記第２表示装置のそれぞれと通信可能に接続されている、構成が用いられてもよい。
【００１３】
また、本発明の一態様は、作業補助システムにおいて、前記仮想空間生成部と、前記第１表示制御部と、前記第２表示制御部を備えたサーバーを備える、構成が用いられてもよい。
【００１４】
また、本発明の一態様は、作業補助システムにおいて、前記第１表示制御部は、前記第１ユーザーから受け付けた仮想的な操作に基づいて、前記第１表示装置を仮想的に取り囲む仮想物体を前記仮想空間に配置し、前記第２表示制御部は、前記第１表示装置を仮想的に取り囲む仮想物体が前記仮想空間内に配置された場合、前記第２仮想位置を取り囲む仮想物体を前記仮想空間に配置し、前記第１表示装置を仮想的に取り囲む仮想物体が有する機能は、前記第２仮想位置を取り囲む仮想物体が有する機能と同じ機能であり、前記第１表示装置を仮想的に取り囲む仮想物体と、前記第２表示装置を仮想的に取り囲む仮想物体とのそれぞれの形状は、互いに同じ形状であり、前記第１表示装置を仮想的に取り囲む仮想物体の前記第１表示装置における表示態様と、前記第２表示装置を仮想的に取り囲む仮想物体の前記第２表示装置における表示態様とは、互いに同じ表示態様である、構成が用いられてもよい。
【００１５】
また、本発明の一態様は、作業補助システムにおいて、前記第１表示装置を仮想的に取り囲む仮想物体と、前記第２表示装置を仮想的に取り囲む仮想物体とのそれぞれの形状は、互いに同じ円筒形状である、構成が用いられてもよい。
【００１６】
また、本発明の一態様は、第１ユーザーの頭部に装着可能な第１表示装置と、予め決められた部屋に設置された第２表示装置とに画像を表示させ、前記第１ユーザーと第２ユーザーとが連携して行う第１作業を補助する作業補助システムを制御するプログラムであって、前記第１表示装置は、透過型の第１表示部と、実空間を撮像する撮像部とを有し、前記撮像部により所定の第１実空間が撮像された撮像画像に基づいて、前記第１実空間に対応する仮想空間を生成し、生成した前記仮想空間の各位置と、前記撮像画像に基づいて算出された前記第１実空間の各位置とを対応付ける仮想空間生成ステップと、前記仮想空間内の位置のうちの第１仮想位置に配置された仮想物体を、前記第１実空間内の位置のうち前記第１仮想位置に対応する位置において前記第１ユーザーに視認されるように前記第１表示装置に表示させる第１表示制御ステップと、前記第２ユーザーから受け付けた操作に応じて、前記仮想空間内の位置のうち前記操作に応じた第２仮想位置の視線方向から見た前記仮想空間内を前記第２表示装置に表示させる第２表示制御ステップと、を実行させるためのプログラムであり、前記第１表示制御ステップは、前記仮想空間内の位置のうちの前記第２仮想位置に第２仮想物体を配置して前記第１表示装置に前記第２仮想物体を表示させ、前記第２表示制御ステップは、前記第１実空間内の位置のうちの第１実位置に前記第１表示装置が位置している場合、前記仮想空間内の位置のうち前記第１実位置に対応する位置に第１仮想物体を配置して前記第２表示装置に前記第１仮想物体を表示させ、前記第１仮想物体は、前記第１ユーザーを示す仮想物体であり、前記第２仮想物体は、前記第２ユーザーを示す仮想物体である、プログラムである。
【発明の効果】
【００１７】
本発明によれば、第１ユーザーと第２ユーザーとが連携して行う第１作業の効率を向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態に係る作業補助システム１の構成の一例を示す図である。
【図２】第１表示装置１０のハードウェア構成の一例を示す図である。
【図３】第２表示装置２０のハードウェア構成の一例を示す図である。
【図４】サーバー３０のハードウェア構成の一例を示す図である。
【図５】第１表示装置１０、第２表示装置２０、サーバー３０それぞれの機能構成の一例を示す図である。
【図６】仮想空間ＶＳ内における仮想位置Ｘ１と仮想位置Ｘ２との相対的な位置関係の一例を示す図である。
【図７】仮想位置Ｘ１と仮想位置Ｘ２との位置関係が図６に示した位置関係である場合における第１表示部１１の表示面の一例を示す図である。
【図８】仮想位置Ｘ１と仮想位置Ｘ２との位置関係が図６に示した位置関係である場合における第２表示部２１の表示面の一例を示す図である。
【図９】仮想物体ＶＭ１が表示面ＤＰ１に表示された場合における表示面ＤＰ１の一例を示す図である。
【図１０】仮想物体ＶＭ１が表示面ＤＰ２に表示された場合における表示面ＤＰ２の一例を示す図である。
【図１１】仮想物体ＶＭ２が表示面ＤＰ２に表示された場合における表示面ＤＰ２の一例を示す図である。
【図１２】仮想物体ＶＭ２が表示面ＤＰ１に表示された場合における表示面ＤＰ１の一例を示す図である。
【図１３】第１表示装置１０が第１実空間ＲＳに仮想空間ＶＳを重畳する処理の流れの一例を示す図である。
【図１４】第２表示装置２０が仮想空間ＶＳ内を表示する処理の流れの一例を示す図である。
【図１５】第１表示装置１０が第１情報を第２表示装置２０に出力する処理の流れの一例を示す図である。
【図１６】第２表示装置２０が第１仮想物体Ａ１を表示する処理の流れの一例を示す図である。
【図１７】仮想物体ＣＭの一例を示す図である。
【図１８】第１仮想空間ＶＳ１内に仮想物体ＣＭが配置された場合における第１表示部１１の表示面ＤＰ１の一例を示す図である。
【図１９】第２仮想空間ＶＳ２内に仮想物体ＣＭが配置された場合における第２表示部２１の表示面ＤＰ２の一例を示す図である。
【発明を実施するための形態】
【００１９】
＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。
【００２０】
＜作業補助システムの概要＞
まず、実施形態に係る作業補助システムの概要について説明する。
【００２１】
作業補助システムは、第１ユーザーの頭部に装着可能な第１表示装置と、予め決められた部屋に設置された第２表示装置とに画像を表示させ、第１ユーザーと第２ユーザーとが連携して行う第１作業を補助する。また、第１表示装置は、透過型の第１表示部と、実空間を撮像する撮像部を有する。ここで、第１作業は、第１ユーザーと第２ユーザーとが連携して行う作業であれば、如何なる作業であってもよい。
【００２２】
また、作業補助システムは、仮想空間生成部と、第１表示制御部と、第２表示制御部を備える。
【００２３】
仮想空間生成部は、撮像部により所定の第１実空間が撮像された撮像画像に基づいて、第１実空間に対応する仮想空間を生成する。仮想空間生成部は、生成した仮想空間内の各位置と、撮像部により第１実空間が撮像された撮像画像に基づいて算出された第１実空間内の各位置とを対応付ける。すなわち、撮像部により第１実空間が撮像された撮像画像に基づいて生成された仮想空間内の各位置は、撮像部により第１実空間が撮像された撮像画像に基づいて算出された第１実空間内の各位置と対応付けられている。
【００２４】
第１表示制御部は、仮想空間内の位置のうちの第１仮想位置に配置された仮想物体を、第１実空間内の位置のうち第１仮想位置に対応する位置において第１ユーザーに視認されるように第１表示装置に表示させる。
【００２５】
第２表示制御部は、第２ユーザーから受け付けた操作に応じて、仮想空間内の位置のうちの当該操作に応じた第２仮想位置の視線方向から見た仮想空間内を第２表示装置に表示させる。
【００２６】
ここで、第１表示制御部は更に、仮想空間内の位置のうちの第２仮想位置に第２仮想物体を配置して第１表示装置に第２仮想物体を表示させる。ここで、第２仮想物体は、第２ユーザーを示す仮想物体である。また、第２仮想位置は、仮想空間内の位置のうち第２ユーザーから第２表示制御部が受け付けた操作に応じた位置であれば、如何なる位置であってもよい。
【００２７】
また、第２表示制御部は更に、第１実空間内の位置のうちの第１実位置に第１表示装置が位置している場合、仮想空間内の位置のうち第１実位置に対応する位置に第１仮想物体を配置して第２表示装置に第１仮想物体を表示させる。ここで、第１仮想物体は、第１ユーザーを示す仮想物体である。また、第１実位置は、第１実空間内の位置であれば如何なる位置であってもよい。
【００２８】
これらにより、作業補助システムは、第１ユーザーと第２ユーザーとの連携によって行われる第１作業の効率を向上させることができる。以下では、このような作業補助システムの構成と、作業補助システムが行う処理について詳しく説明する。
【００２９】
＜作業補助システムの構成＞
以下、図１を参照し、実施形態に係る作業補助システム１の構成について説明する。図１は、実施形態に係る作業補助システム１の構成の一例を示す図である。
【００３０】
以下では、一例として、作業補助システム１の第１ユーザーが、図１に示した作業者Ｏである場合について説明する。また、以下では、一例として、作業補助システム１の第２ユーザーが、図１に示した補助者Ｈである場合について説明する。
【００３１】
作業者Ｏは、予め決められた第１作業Ｗ１を補助者Ｈとともに行う人である。第１作業Ｗ１は、前述の第１作業の一例である。第１作業Ｗ１は、補助者Ｈとともに作業者Ｏが行う作業であれば如何なる作業であってもよい。以下では、一例として、第１作業Ｗ１が、図１に示した物体Ｅに対する加工作業である場合について説明する。物体Ｅは、作業者Ｏが第１作業Ｗ１を行う対象となる物体の一例である。補助者Ｈは、作業者Ｏの作業を補助する人である。なお、作業者Ｏは、３人以上で第１作業Ｗ１を行う構成であってもよい。
【００３２】
図１に示した例では、作業者Ｏは、部屋Ｒ１において、第１作業Ｗ１を行う。また、当該例では、補助者Ｈは、部屋Ｒ１と異なる部屋Ｒ２において、作業者Ｏが行う第１作業Ｗ１を補助する。例えば、部屋Ｒ１と部屋Ｒ２は、ある建物内に設置されている互いに異なる部屋である。すなわち、補助者Ｈは、部屋Ｒ１から離れた位置に位置する部屋Ｒ２から作業者Ｏを補助する人である。なお、部屋Ｒ１と部屋Ｒ２は、互いに異なる建物内の部屋であってもよく、１つの建物内において互いに異なる部屋であってもよい。
【００３３】
作業補助システム１は、前述の作業補助システムの一例である。作業補助システム１は、作業者Ｏの頭部に装着可能な第１表示装置１０と、予め決められた部屋Ｒ２に設置された第２表示装置２０と、サーバー３０を備える。また、第１表示装置１０は、透過型の第１表示部１１と、実空間を撮像する撮像部１２を有する。
【００３４】
なお、作業補助システム１では、第１表示装置１０とサーバー３０とが一体に構成されてもよく、第２表示装置２０とサーバー３０とが一体に構成されてもよい。また、作業補助システム１は、第１表示装置１０と、第２表示装置２０と、サーバー３０とに加えて、他の装置を備える構成であってもよい。また、第１表示装置１０は、第１表示部１１と、撮像部１２とに加えて、他の機能部を有する構成であってもよい。
【００３５】
作業補助システム１では、第１表示装置１０と、第２表示装置２０と、サーバー３０とは、無線通信によって互いに通信可能に接続されている。当該無線通信は、無線ＬＡＮ（Local  Area  Network）、移動体通信網等の規格に応じた無線通信である。なお、当該無線通信は、他の規格の無線通信であってもよい。また、第１表示装置１０と、第２表示装置２０と、サーバー３０とのうちの一部又は全部は、有線通信によって互いに通信可能に接続される構成であってもよい。
【００３６】
作業補助システム１では、第１表示装置１０の撮像部１２により所定の第１実空間ＲＳが撮像された撮像画像に基づいて、第１実空間ＲＳに対応する仮想空間ＶＳがサーバー３０により生成される。そして、作業補助システム１では、サーバー３０により生成された仮想空間ＶＳが、第１表示装置１０と第２表示装置２０とのそれぞれに記憶される。第１実空間ＲＳは、撮像部１２により撮像可能な実空間であれば如何なる実空間であってもよい。図１に示した例では、第１実空間ＲＳは、作業者Ｏが第１作業Ｗ１を行う部屋Ｒ１の内側の空間である。仮想空間ＶＳは、形状が第１実空間ＲＳの形状とほぼ同じ三次元形状の仮想空間のことである。なお、以下では、説明の便宜上、第１実空間ＲＳ内の位置を、実位置と称し、仮想空間ＶＳ内の位置を仮想位置と称して説明する。このため、以下では、例えば、ある物体の実位置と称した場合、当該物体の第１実空間ＲＳ内における位置を示す。また、以下では、例えば、当該物体の仮想位置と称した場合、当該物体の仮想空間ＶＳ内における位置を示す。
【００３７】
また、作業補助システム１では、第１表示装置１０が、複合現実（Mixed  Reality）によって、第１表示装置１０に記憶された仮想空間ＶＳを第１実空間ＲＳに重畳し、第１表示部１１に仮想物体を表示する。また、作業補助システム１では、第２表示装置２０が、仮想現実（Virtual  Reality）によって、第２表示装置２０に記憶された仮想空間ＶＳを表示する。これらにより、作業補助システム１は、作業者Ｏと補助者Ｈとの連携によって行われる第１作業Ｗ１の効率を向上させることができる。以下では、説明の便宜上、第１表示装置１０に記憶された仮想空間ＶＳを第１仮想空間ＶＳ１と称し、第２表示装置２０に記憶された仮想空間ＶＳを第２仮想空間ＶＳ２と称して説明する。すなわち、この一例において、第１仮想空間ＶＳ１と第２仮想空間ＶＳ２とは、互いに同じ仮想空間である。
【００３８】
ここで、実施形態において、複合現実は、第１表示部１１を用いることにより、第１実空間ＲＳに対応する仮想空間ＶＳを第１実空間ＲＳに重畳させ、第１実空間ＲＳに仮想空間ＶＳを重畳させた空間を人に視認させる技術である。
【００３９】
複合現実において、第１実空間ＲＳに仮想空間ＶＳを重畳することは、第１実空間ＲＳに対して仮想空間ＶＳ内に配置された仮想物体を重畳することを意味する。また、複合現実では、第１実空間ＲＳに仮想空間ＶＳを重畳させた場合において重なり合う位置同士が対応付けられている。このため、複合現実では、例えば、ある仮想物体ＶＯをある仮想位置ＶＰに配置した場合、仮想位置ＶＰに対応付けられた実位置ＲＰに位置する仮想物体ＶＯが、第１表示装置１０を装着した作業者Ｏにより視認される。
【００４０】
また、複合現実では、上記の第１表示部１１の表示面上の位置のうちある仮想物体ＶＯが表示される位置と、仮想物体ＶＯが位置している位置として第１表示装置１０を装着した作業者Ｏに視認される実位置とは、キャリブレーション等によって予め対応付けられている。これにより、複合現実では、第１表示部１１を通して作業者Ｏが見える領域内に実位置ＲＰが含まれる場合、実位置ＲＰに対応付けられた当該表示面上の位置ＸＰに仮想物体ＶＯを表示させ、実位置ＲＰに位置する仮想物体ＶＯを、第１表示装置１０を装着した作業者Ｏに視認させることができる。
【００４１】
このように、複合現実では、仮想位置ＶＰに仮想物体ＶＯを配置することは、仮想位置ＶＰに対応付けられた実位置ＲＰに位置する仮想物体ＶＯを作業者Ｏが視認するように、仮想物体ＶＯを第１表示部１１の表示面上の位置ＸＰに表示することを意味する。
【００４２】
また、複合現実では、第１実空間ＲＳに仮想空間ＶＳを重畳させた場合において、第１実空間ＲＳ内に配置されたある物体ＲＯが、仮想物体ＶＯよりも上記の第１表示装置１０側に位置し、物体ＲＯと仮想物体ＶＯとが部分的に重なっていると、第１表示部１１には、仮想物体ＶＯが有する部分のうち物体ＲＯと重なっている部分が表示されない。一方、複合現実では、当該場合において、仮想物体ＶＯが物体ＲＯよりも第１表示装置１０側に位置し、物体ＲＯと仮想物体ＶＯとが部分的に重なっていると、第１表示部１１には、仮想物体ＶＯの全部が表示される。すなわち、複合現実では、第１実空間ＲＳに仮想空間ＶＳが重畳された空間において、第１実空間ＲＳに配置された物体ＲＯと、仮想空間ＶＳに配置された仮想物体ＶＯとの相対的な位置関係を保ったまま、物体ＲＯと仮想物体ＶＯとの前後関係が、第１表示装置１０を装着した作業者Ｏに視認される。
【００４３】
また、複合現実では、第１表示装置１０の第１表示部１１に表示される仮想物体ＶＯの大きさは、第１実空間ＲＳ内における仮想物体ＶＯと第１表示装置１０との間の距離に応じて、変化する。当該距離が長いほど、第１表示装置１０の第１表示部１１に表示される仮想物体ＶＯの大きさは、小さくなる。また、当該距離が短いほど、第１表示装置１０の第１表示部１１に表示される仮想物体ＶＯの大きさは、大きくなる。すなわち、複合現実は、第１実空間ＲＳ内における仮想物体ＶＯと第１表示装置１０との間の距離に応じた遠近感を、第１表示装置１０を装着した作業者Ｏに感じさせることができる。
【００４４】
また、複合現実では、撮像部１２により撮像された撮像画像に基づいて、第１実空間ＲＳ内の領域のうち第１表示部１１を通して作業者Ｏが見える領域が特定される。また、複合現実では、撮像部１２により撮像された撮像画像に基づいて、第１仮想現在位置が特定される。第１仮想現在位置は、第１表示装置１０が仮想的に位置している仮想位置のことである。また、複合現実では、第１仮想現在位置が特定された場合、第１実現在位置が特定される。第１実現在位置は、第１仮想現在位置に対応する実位置のことであり、第１表示装置１０が位置している実位置のことである。また、複合現実では、当該撮像画像に基づいて、第１仮想視線方向が特定される。第１仮想視線方向は、仮想空間ＶＳ内において第１仮想現在位置に仮想的に位置している第１表示装置１０の撮像部１２の光軸方向のことである。
【００４５】
また、複合現実では、撮像部１２により撮像された撮像画像に基づいて、第１実空間ＲＳ内における作業者Ｏの手の位置が記録され（トラッキングされ）、仮想空間ＶＳ内において各時刻に当該手が仮想的に位置している仮想位置が特定される。これにより、複合現実では、作業者Ｏは、第１実空間ＲＳ内において作業者Ｏが視認している仮想物体ＶＯに対して、当該手によって仮想的な操作を行うことができる。
【００４６】
なお、このような複合現実を実現させる方法は、既知の方法であってもよく、これから開発される方法であってもよい。
【００４７】
作業補助システム１の説明に戻る。
【００４８】
作業補助システム１では、第１表示装置１０は、撮像部１２が撮像した撮像画像を第１表示装置１０から取得する。第１表示装置１０は、取得した撮像画像に基づく複合現実によって第１実空間ＲＳに第１仮想空間ＶＳ１を重畳する。これにより、第１表示装置１０は、第１仮想空間ＶＳ１内に配置されている仮想物体を、第１表示部１１に表示させる。すなわち、第１表示装置１０は、前述の仮想位置ＶＰに配置された仮想物体が、仮想位置ＶＰに対応する実位置ＲＰにおいて作業者Ｏに視認されるように、当該仮想物体を第１表示部１１に表示させる。
【００４９】
また、作業補助システム１では、第２表示装置２０は、第２仮想空間ＶＳ２内を表示する。より具体的には、第２表示装置２０は、補助者Ｈから所定の指定操作を受け付ける。指定操作には、第２仮想現在位置を指定する操作が含まれる。第２仮想現在位置は、第２仮想空間ＶＳ２内において第２仮想空間ＶＳ２内を仮想的に見る位置のことである。すなわち、第２仮想現在位置は、いわば、第２仮想空間ＶＳ２内に仮想的に位置する補助者Ｈの仮想位置のことである。また、指定操作には、第２仮想視線方向を指定する操作が含まれる。第２仮想視線方向は、第２仮想空間ＶＳ２内において第２仮想現在位置から第２仮想空間ＶＳ２内を見る方向（第２仮想現在位置の視線方向）のことである。すなわち、第２仮想現在位置の視線方向は、いわば、第２仮想空間ＶＳ２内に仮想的に位置する補助者Ｈの視線方向のことである。第２表示装置２０は、補助者Ｈから受け付けた指定操作に応じた第２仮想現在位置（指定操作により指定された第２仮想現在位置）において、当該指定操作に応じた第２仮想視線方向（指定操作により指定された第２仮想視線方向）から見た第２仮想空間ＶＳ２内を表示する。このようにして、第２表示装置２０は、第１表示装置１０において第１実空間ＲＳに重畳された第１仮想空間ＶＳ１と同じ仮想空間である第２仮想空間ＶＳ２内を、第２表示装置２０に表示させる。
【００５０】
また、作業補助システム１では、第１表示装置１０は、第１仮想空間ＶＳ１内にある仮想物体を配置した場合、当該仮想物体の第１仮想空間ＶＳ１内の仮想位置を示す情報を、当該仮想物体を示す情報とともにサーバー３０を介して第２表示装置２０に出力する。そして、作業補助システム１では、第２表示装置２０は、当該仮想物体の仮想位置を示す情報と、当該仮想物体を示す情報とを第１表示装置１０から取得し、当該仮想物体を第２仮想空間ＶＳ２内の当該仮想位置に配置する。
【００５１】
また、作業補助システム１では、第２表示装置２０は、第２仮想空間ＶＳ２内にある仮想物体を配置した場合、当該仮想物体の第２仮想空間ＶＳ２内の仮想位置を示す情報を、当該仮想物体を示す情報とともにサーバー３０を介して第１表示装置１０に出力する。そして、作業補助システム１では、第１表示装置１０は、当該仮想物体の仮想位置を示す情報と、当該仮想物体を示す情報とを第２表示装置２０から取得し、当該仮想物体を第１仮想空間ＶＳ１内の当該仮想位置に配置する。
【００５２】
このため、作業補助システム１では、ある仮想物体が第１仮想空間ＶＳ１又は第２仮想空間ＶＳ２内に配置された場合、第１表示装置１０による複合現実によって作業者Ｏが当該仮想物体を視認することができるとともに、第２表示装置２０による仮想現実（Virtual  Reality）によって補助者Ｈが当該仮想物体を視認することができる。
【００５３】
また、作業補助システム１では、第２表示装置２０は、ある実位置に第１表示装置１０が位置している場合、第２仮想空間ＶＳ２内の仮想位置のうち当該実位置に対応する仮想位置に第１仮想物体Ａ１を配置して第２表示装置２０に第１仮想物体Ａ１を表示させる。この際、第１表示装置１０は、第１仮想空間ＶＳ１内に第１仮想物体Ａ１を配置してもよく、第１仮想空間ＶＳ１内に第１仮想物体Ａ１を配置しなくてもよい。以下では、一例として、第１表示装置１０が、第１仮想空間ＶＳ１内に第１仮想物体Ａ１を配置しない場合について説明する。ここで、第１仮想物体Ａ１は、作業者Ｏを示す仮想物体である。なお、第１仮想物体Ａ１は、例えば、作業者Ｏのアバターであるが、これに限られるわけではない。
【００５４】
より具体的には、作業補助システム１では、第１表示装置１０は、撮像部１２が撮像した撮像画像に基づいて、前述の第１仮想現在位置及び第１仮想視線方向を特定する。第１表示装置１０は、特定した第１か送現在位置及び第１仮想視線方向のそれぞれを示す情報を含む第１情報を、サーバー３０を介して第２表示装置２０に出力する。第２表示装置２０は、第１表示装置１０から第１情報を取得し、第２仮想空間ＶＳ２内の仮想位置のうち取得した第１情報に含まれる情報が示す第１仮想現在位置（すなわち、仮想空間ＶＳ内において作業者Ｏが仮想的に位置している仮想位置）に、第１仮想物体Ａ１を配置して第２表示装置２０に第１仮想物体Ａ１を表示させる。この際、第２表示装置２０は、第１仮想物体Ａ１の向いている方向を、取得した第１情報に含まれる情報が示す第１仮想視線方向と一致させる。これにより、第２表示装置２０では、補助者Ｈは、第２仮想空間ＶＳ２内において第１表示装置１０が仮想的に位置している仮想位置と、第２仮想空間ＶＳ２内において第１表示装置１０が仮想的に向いている方向とを、仮想現実によって表示された第１仮想物体Ａ１によって視覚的に容易に知ることができる。
【００５５】
また、作業補助システム１は、補助者Ｈから前述の指定操作を受け付けた場合、受け付けた指定操作によって指定された第２仮想現在位置及び第２仮想視線方向のそれぞれを示す情報を含む第２情報を、サーバー３０を介して第１表示装置１０に出力する。第１表示装置１０は、第２表示装置２０から第２情報を取得し、取得した第２情報に含まれる情報が示す第２仮想現在位置に第２仮想物体Ａ２を配置して第１表示装置１０に第２仮想物体Ａ２を表示させる。この際、第１表示装置１０は、第２仮想物体Ａ２の向いている方向を、取得した第２情報に含まれる情報が示す第２仮想視線方向と一致させる。ここで、第２仮想物体Ａ２は、補助者Ｈを示す仮想物体である。これにより、第１表示装置１０では、作業者Ｏは、第１仮想空間ＶＳ１内におけて補助者Ｈが仮想的に位置している仮想位置と、第１仮想空間ＶＳ１内において補助者Ｈが仮想的に向いている方向とを、複合現実によって表示された第２仮想物体Ａ２によって視覚的に容易に知ることができる。なお、第２仮想物体Ａ２は、例えば、補助者Ｈのアバターであるが、これに限られるわけではない。
【００５６】
このように、作業補助システム１では、作業者Ｏと補助者Ｈとが、仮想空間ＶＳ内における互いの位置を視覚的に知ることができる。これにより、例えば、作業補助システム１では、部屋Ｒ１内において作業者Ｏが第１作業Ｗ１を行う位置まで、第２仮想物体Ａ２によって作業者Ｏを誘導することができる。その結果、作業補助システム１は、作業者Ｏと補助者Ｈとが連携して行う第１作業Ｗ１の効率を向上させることができる。
【００５７】
ここで、第１表示装置１０は、前述の第１表示装置の一例である。第１表示装置１０は、前述した通り、作業者Ｏの頭部に装着可能である。例えば、第１表示装置１０は、ヘッドマウントディスプレイである。図１に示した例では、第１表示装置１０は、作業者Ｏの頭部に装着されている。
【００５８】
第２表示装置２０は、前述の第２表示装置の一例である。第２表示装置２０は、例えば、ワークステーション、デスクトップＰＣ（Personal  Computer）、ノートＰＣ、タブレットＰＣ等の画像を表示可能な情報処理装置である。
【００５９】
サーバー３０は、例えば、ワークステーション、デスクトップＰＣ（Personal  Computer）等のサーバーとして運用可能な情報処理装置である。
【００６０】
サーバー３０は、前述した通り、撮像部１２により第１実空間ＲＳが撮像された撮像画像に基づいて、第１実空間ＲＳに対応する仮想空間ＶＳを生成する。サーバー３０は、生成した仮想空間ＶＳの各位置と、当該撮像画像に基づいて算出された第１実空間ＲＳの各位置とを対応付ける。
【００６１】
＜第１表示装置のハードウェア構成＞
以下、図２を参照し、第１表示装置１０のハードウェア構成について説明する。図２は、第１表示装置１０のハードウェア構成の一例を示す図である。第１表示装置１０は、例えば、第１表示部１１と、撮像部１２と、プロセッサー１３と、メモリー１４と、通信部１５、音声入力部１６と、音声出力部１７を備える。これらの構成要素は、バスを介して相互に通信可能に接続されている。また、第１表示装置１０は、通信部１５を介してサーバー３０と通信を行う。なお、当該通信は、サーバー３０と異なるサーバー等の他の装置によって中継される構成であってもよい。
【００６２】
第１表示部１１は、前述の第１表示部の一例である。例えば、第１表示部１１は、透過型の液晶ディスプレイを含む。なお、第１表示部１１は、透過型の液晶ディスプレイに代えて、他の透過型のディスプレイを含む構成であってもよい。
【００６３】
撮像部１２は、例えば、ＣＣＤ（Charge  Coupled  Device）、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を、集光された光を電気信号に変換する撮像素子として備えたステレオカメラである。撮像部１２は、動画像を撮像する。なお、撮像部１２は、静止画像を撮像する構成であってもよい。
【００６４】
撮像部１２は、第１表示装置１０が有する位置のうち、予め決められた設置位置に設けられる。設置位置は、撮像部１２が撮像可能な領域と、第１表示装置１０が作業者Ｏの頭部に装着された場合において作業者Ｏが第１表示部１１を通して見ることが可能な領域とがほぼ一致する位置である。
【００６５】
プロセッサー１３は、例えば、ＣＰＵ（Central  Processing  Unit）である。なお、プロセッサー１３は、ＦＰＧＡ（Field  Programmable  Gate  Array）等の他のプロセッサーであってもよい。プロセッサー１３は、第１表示装置１０が備えるメモリー１４に格納された各種の指令を実行する。
【００６６】
メモリー１４は、例えば、ＳＳＤ（Solid  State  Drive）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  Read−Only  Memory）、ＲＯＭ（Read−Only  Memory）、ＲＡＭ（Random  Access  Memory）等を含む。なお、メモリー１４は、第１表示装置１０に内蔵されるものに代えて、ＵＳＢ（Universal  Serial  Bus）等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。メモリー１４は、プロセッサー１３が処理する各種の情報、コンピューターにより実行可能な各種の指令、各種の画像、前述の第１仮想空間ＶＳ１等を格納する。ここで、当該各種の指令は、例えば、複合現実による各種の画像を第１表示部１１に表示させるプログラム、コード等のことである。
【００６７】
通信部１５は、例えば、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート等を含んで構成される。
【００６８】
音声入力部１６は、例えば、マイクロフォンである。なお、音声入力部１６は、マイクロフォンに代えて、音声を検出し、検出した音声を示す情報を出力可能な他の音声入力装置であってもよい。
【００６９】
音声出力部１７は、例えば、スピーカーである。なお、音声出力部１７は、スピーカーに代えて、音声を出力可能な他の音声出力装置であってもよい。
【００７０】
＜第２表示装置のハードウェア構成＞
以下、図３を参照し、第２表示装置２０のハードウェア構成について説明する。図３は、第２表示装置２０のハードウェア構成の一例を示す図である。第２表示装置２０は、例えば、第２表示部２１と、プロセッサー２３と、メモリー２４と、通信部２５、音声入力部２６と、音声出力部２７と、入力受付部２８を備える。これらの構成要素は、バスを介して相互に通信可能に接続されている。また、第２表示装置２０は、通信部２５を介してサーバー３０と通信を行う。なお、当該通信は、サーバー３０と異なるサーバー等の他の装置によって中継される構成であってもよい。
【００７１】
第２表示部２１は、前述の第２表示部の一例である。例えば、第２表示部２１は、液晶ディスプレイパネル、有機ＥＬ（ElectroLuminescence）ディスプレイパネル等を備えた表示装置である。なお、第２表示部２１は、第２表示装置２０と別体であってもよい。
【００７２】
プロセッサー２３は、例えば、ＣＰＵである。なお、プロセッサー２３は、ＦＰＧＡ等の他のプロセッサーであってもよい。プロセッサー２３は、第２表示装置２０が備えるメモリー２４に格納された各種の指令を実行する。
【００７３】
メモリー２４は、例えば、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ等を含む。なお、メモリー２４は、第２表示装置２０に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。メモリー２４は、プロセッサー２３が処理する各種の情報、コンピューターにより実行可能な各種の指令、各種の画像、前述の第２仮想空間ＶＳ２等を格納する。ここで、当該各種の指令は、例えば、仮想現実による各種の画像を第２表示部２１に表示させるプログラム、コード等のことである。
【００７４】
通信部２５は、例えば、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート等を含んで構成される。
【００７５】
音声入力部２６は、例えば、マイクロフォンである。なお、音声入力部２６は、マイクロフォンに代えて、音声を検出し、検出した音声を示す情報を出力可能な他の音声入力装置であってもよい。
【００７６】
音声出力部２７は、例えば、スピーカーである。なお、音声出力部２７は、スピーカーに代えて、音声を出力可能な他の音声出力装置であってもよい。
【００７７】
入力受付部２８は、例えば、キーボード、マウス、タッチパッド等の入力装置である。なお、入力受付部２８は、第２表示部２１とともにタッチパネルを構成してもよい。なお、入力受付部２８は、第２表示装置２０と別体であってもよい。
【００７８】
＜サーバーのハードウェア構成＞
以下、図４を参照し、サーバー３０のハードウェア構成について説明する。図４は、サーバー３０のハードウェア構成の一例を示す図である。サーバー３０は、例えば、プロセッサー３３と、メモリー３４と、通信部３５を備える。これらの構成要素は、バスを介して相互に通信可能に接続されている。また、サーバー３０は、通信部３５を介して第１表示装置１０、第２表示装置２０のそれぞれと通信を行う。なお、当該通信は、サーバー３０と異なるサーバー等の他の装置によって中継される構成であってもよい。
【００７９】
プロセッサー３３は、例えば、ＣＰＵである。なお、プロセッサー３３は、ＦＰＧＡ等の他のプロセッサーであってもよい。プロセッサー３３は、サーバー３０が備えるメモリー３４に格納された各種の指令を実行する。
【００８０】
メモリー３４は、例えば、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ等を含む。なお、メモリー２４は、サーバー３０に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。メモリー３４は、プロセッサー３３が処理する各種の情報、コンピューターにより実行可能な各種の指令、各種の画像、前述の仮想空間ＶＳ等を格納する。ここで、当該各種の指令は、例えば、仮想空間を生成するプログラム、コード等のことである。
【００８１】
通信部３５は、例えば、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート等を含んで構成される。
【００８２】
＜第１表示装置、第２表示装置、サーバーそれぞれの機能構成＞
以下、図５を参照し、第１表示装置１０、第２表示装置２０、サーバー３０それぞれの機能構成について説明する。図５は、第１表示装置１０、第２表示装置２０、サーバー３０それぞれの機能構成の一例を示す図である。なお、サーバー３０が備える機能部のうちの一部又は全部は、第１表示装置１０、第２表示装置２０のうちのいずれか一方又は両方に備えられる構成であってもよい。また、第１表示装置１０が備える機能部のうちの一部又は全部は、サーバー３０に備えられる構成であってもよい。また、第２表示装置２０が備える機能部のうちの一部又は全部は、サーバー３０に備えられる構成であってもよい。
【００８３】
第１表示装置１０は、第１表示部１１と、撮像部１２と、メモリー１４と、通信部１５と、音声入力部１６と、音声出力部１７と、制御部１９を備える。
【００８４】
制御部１９は、第１表示装置１０の全体を制御する。制御部１９は、第１表示制御部１９１と、撮像制御部１９２と、画像取得部１９３と、画像処理部１９４を備える。制御部１９が備えるこれらの機能部は、例えば、プロセッサー１３が、メモリー１４に記憶された各種の指令を実行することにより実現される。また、これらの機能部のうちの一部又は全部は、ＬＳＩ（Large  Scale  Integration）やＡＳＩＣ（Application  Specific  Integrated  Circuit）等のハードウェア機能部であってもよい。
【００８５】
第１表示制御部１９１は、第１表示部１１の表示を制御する。また、第１表示制御部１９１は、前述の第１情報を生成し、生成した第１情報を、サーバー３０を介して第２表示装置２０に出力する。
【００８６】
撮像制御部１９２は、撮像部１２が撮像可能な領域を撮像部１２に撮像させる。
【００８７】
画像取得部１９３は、撮像部１２が撮像した撮像画像を撮像部１２から取得する。ここで、実施形態では、撮像部１２は、動画像を撮像する。この場合、画像取得部１９３は、撮像部１２が動画像として撮像した撮像画像の各フレームを時系列順に取得する。以下では、説明の便宜上、撮像部１２により撮像された撮像画像と称した場合、このように取得された各フレームのことを意味する。
【００８８】
画像処理部１９４は、画像取得部１９３により取得された撮像画像に基づく画像処理を行う。
【００８９】
第２表示装置２０は、第２表示部２１と、メモリー２４と、通信部２５と、音声入力部２６と、音声出力部２７と、入力受付部２８と、制御部２９を備える。
【００９０】
制御部２９は、第２表示装置２０の全体を制御する。制御部２９は、第２表示制御部２９１を備える。制御部２９が備える第２表示制御部２９１は、例えば、プロセッサー２３が、メモリー２４に記憶された各種の指令を実行することにより実現される。また、第２表示制御部２９１は、ＬＳＩやＡＳＩＣ等のハードウェア機能部であってもよい。
【００９１】
第２表示制御部２９１は、第２表示部２１の表示を制御する。また、第２表示制御部２９１は、前述の第２情報を生成し、生成した第２情報を、サーバー３０を介して第１表示装置１０に出力する。
【００９２】
サーバー３０は、メモリー３４と、通信部３５と、制御部３９を備える。
【００９３】
制御部３９は、サーバー３０の全体を制御する。制御部３９は、仮想空間生成部３９１と、音声中継部３９２を備える。制御部３９が備えるこれらの機能部は、例えば、プロセッサー３３が、メモリー３４に記憶された各種の指令を実行することにより実現される。また、これらの機能部のうちの一部又は全部は、ＬＳＩやＡＳＩＣ等のハードウェア機能部であってもよい。
【００９４】
仮想空間生成部３９１は、第１表示装置１０から取得した撮像画像に基づいて、第１実空間ＲＳに対応する仮想空間ＶＳを、メモリー３４の記憶領域内に生成する。
【００９５】
音声中継部３９２は、第１表示装置１０の音声入力部１６と第２表示装置２０の音声出力部２７との間における音声の伝送を中継する。また、音声中継部３９５は、第２表示装置２０の音声入力部２６と第１表示装置１０の音声出力部１７との間における音声の伝送を中継する。これにより、作業補助システム１では、第１表示装置１０を装着した作業者Ｏと、第２表示装置２０を操作する補助者Ｈとの間において、音声通信を行うことができる。
【００９６】
＜第１表示装置に表示される第２仮想物体と第２表示装置に表示される第１仮想物体＞
以下、第１表示装置１０に表示される第２仮想物体Ａ２と、第２表示装置２０に表示される第１仮想物体Ａ１とのそれぞれについて説明する。以下では、一例として、前述の第１仮想現在位置が仮想空間ＶＳ内における仮想位置Ｘ１と一致しており、前述の第２仮想現在位置が仮想空間ＶＳ内における仮想位置Ｘ２と一致している場合について説明する。また、以下では、一例として、仮想空間ＶＳ内における仮想位置Ｘ１と仮想位置Ｘ２との相対的な位置関係が、図６に示した位置関係である場合について説明する。図６は、仮想空間ＶＳ内における仮想位置Ｘ１と仮想位置Ｘ２との相対的な位置関係の一例を示す図である。なお、図６に示した物体ＶＯ１と物体ＶＯ２とのそれぞれは、仮想空間ＶＳ内に配置されている直方体形状の何らかの仮想物体の一例である。物体ＶＯ１と物体ＶＯ２については、仮想空間ＶＳ内に配置されていてもよく、配置されていなくてもよい。このため、物体ＶＯ１と物体ＶＯ２については、説明を省略する。また、図６は、仮想空間ＶＳ内の領域のうち仮想位置Ｘ１及び仮想位置Ｘ２のそれぞれを含む領域を上から下に向かって見た場合の当該領域の一例を示す図である。なお、仮想空間ＶＳにおいて、上は、仮想空間ＶＳ内の方向のうち第１実空間ＲＳの重力方向に対応する方向と反対方向のことである。また、仮想空間ＶＳにおいて、下は、仮想空間ＶＳ内の方向のうち第１実空間ＲＳの重力方向に対応する方向のことである。
【００９７】
仮想位置Ｘ１と仮想位置Ｘ２との位置関係が図６に示した位置関係である場合、作業補助システム１において第１表示装置１０の第１表示部１１には、図７に示したような仮想物体が表示される。図７は、仮想位置Ｘ１と仮想位置Ｘ２との位置関係が図６に示した位置関係である場合における第１表示部１１の表示面の一例を示す図である。図７に示した表示面ＤＰ１は、第１表示部１１の表示面である。
【００９８】
図７に示した表示面ＤＰ１からは、表示面ＤＰ１を通して第１実空間ＲＳ内の領域の一部の領域が見えている。また、図７に示した表示面ＤＰ１からは、表示面ＤＰ１を通して、作業者の手ＵＨが見えている。また、図７に示した表示面ＤＰ１には、物体ＶＯ１と、物体ＶＯ２と、第１仮想空間ＶＳ１内において仮想位置Ｘ２に位置している第２仮想物体Ａ２が表示されている。
【００９９】
図７に示した例では、第２仮想物体Ａ２は、補助者Ｈの頭部に相当する第２仮想物体Ａ２の頭部Ａ２Ｈを有する。実施形態では、第２仮想物体Ａ２の仮想位置は、頭部Ａ２Ｈの重心の仮想位置によって表される。なお、第２仮想物体Ａ２の仮想位置は、当該重心の仮想位置に代えて、第２仮想物体Ａ２に応じた他の部分の仮想位置によって表される構成であってもよい。
【０１００】
一方、仮想位置Ｘ１と仮想位置Ｘ２との位置関係が図６に示した位置関係である場合、作業補助システム１において第２表示装置２０の第２表示部２１には、図８に示したような仮想物体が表示される。図８は、仮想位置Ｘ１と仮想位置Ｘ２との位置関係が図６に示した位置関係である場合における第２表示部２１の表示面の一例を示す図である。図８に示した表示面ＤＰ２は、第２表示部２１の表示面である。
【０１０１】
図８に示した表示面ＤＰ２には、仮想空間ＶＳ内の領域のうち、物体ＶＯ１と、物体ＶＯ２と、第２仮想空間ＶＳ２内において仮想位置Ｘ２に位置している第１仮想物体Ａ１とが配置された領域が表示されている。図８に示した例では、第１仮想物体Ａ１は、作業者Ｏの頭部に相当する第１仮想物体Ａ１の頭部Ａ１Ｈを有する。実施形態では、第１仮想物体Ａ１の仮想位置は、頭部Ａ１Ｈの重心の仮想位置によって表される。なお、第１仮想物体Ａ１の仮想位置は、当該重心の仮想位置に代えて、第１仮想物体Ａ１に応じた他の部分の仮想位置によって表される構成であってもよい。
【０１０２】
また、図８に示した表示面ＤＰ２には、作業者Ｏの手に相当する仮想的な手ＡＦが表示されている。第２表示装置２０では、手ＡＦは、撮像部１２により撮像された撮像画像に作業者Ｏの手ＵＨが含まれている場合において、第２仮想空間ＶＳ２内に配置される。第２仮想空間ＶＳ２内における手ＡＦの仮想位置は、第２仮想空間ＶＳ２内の仮想位置のうち第１実空間ＲＳ内における手ＵＨの位置に対応する位置である。第２仮想空間ＶＳ２内における手ＡＦの仮想位置は、手ＡＦの重心の仮想位置によって表される。なお、第２仮想空間ＶＳ２内における手ＡＦの仮想位置は、当該重心の仮想位置に代えて、手ＡＦに応じた他の部分の仮想位置によって表される構成であってもよい。また、表示面ＤＰ２には、手ＡＦが表示されない構成であってもよい。
【０１０３】
ここで、ある仮想物体ＶＭ１を第１表示部１１に表示させる仮想的な操作を第１表示装置１０が作業者Ｏから受け付けた場合、表示面ＤＰ１には、図９に示したように、第１仮想空間ＶＳ１内の仮想位置のうち当該操作に応じた仮想位置に仮想物体ＶＭ１が表示される。図９は、仮想物体ＶＭ１が表示面ＤＰ１に表示された場合における表示面ＤＰ１の一例を示す図である。仮想物体ＶＭ１は、例えば、第１作業Ｗ１の作業手順が記載された仮想的な手順書である。なお、仮想物体ＶＭ１は、当該仮想的な手順書に代えて、何らかの仮想的な操作が行われる仮想的なメニュー等の他の仮想物体であってもよい。
【０１０４】
一方、仮想物体ＶＭ１を第１表示部１１に表示させる仮想的な操作を第１表示装置１０が作業者Ｏから受け付けた場合、表示面ＤＰ２にも、図１０に示したように、第２仮想空間ＶＳ２内の仮想位置のうち当該操作に応じた仮想位置に仮想物体ＶＭ１が表示される。図１０は、仮想物体ＶＭ１が表示面ＤＰ２に表示された場合における表示面ＤＰ２の一例を示す図である。
【０１０５】
このように、作業補助システム１では、作業者Ｏによる仮想的な操作によって表示面ＤＰ１に表示された仮想物体が、表示面ＤＰ２にも表示される。これにより、作業補助システム１では、補助者Ｈは、例えば、第２表示部２１に表示された仮想空間ＶＳ内の様子を見ることにより、作業者Ｏが現在行っている作業が如何なる作業であるかを確認することができる。その結果、作業補助システム１は、作業者Ｏと補助者Ｈとが連携して行う第１作業Ｗ１の効率を向上させることができる。
【０１０６】
ここで、ある仮想物体ＶＭ２を第２表示部２１に表示させる操作を第２表示装置２０が補助者Ｈから受け付けた場合、表示面ＤＰ２には、図１１に示したように、第２仮想空間ＶＳ２内の仮想位置のうち当該操作に応じた仮想位置に仮想物体ＶＭ２が表示される。図１１は、仮想物体ＶＭ２が表示面ＤＰ２に表示された場合における表示面ＤＰ２の一例を示す図である。仮想物体ＶＭ２は、例えば、第１実空間ＲＳ内における設備等の配置が記載された仮想的な配置図である。なお、仮想物体ＶＭ２は、当該仮想的な配置図に代えて、何らかの仮想的な操作が行われる仮想的なメニュー等の他の仮想物体であってもよい。
【０１０７】
一方、仮想物体ＶＭ２を第２表示部２１に表示させる仮想的な操作を第２表示装置２０が作業者Ｏから受け付けた場合、表示面ＤＰ１にも、図１２に示したように、第２仮想空間ＶＳ２内の仮想位置のうち当該操作に応じた仮想位置に仮想物体ＶＭ２が表示される。図１２は、仮想物体ＶＭ２が表示面ＤＰ１に表示された場合における表示面ＤＰ１の一例を示す図である。
【０１０８】
このように、作業補助システム１では、補助者Ｈによる操作によって表示面ＤＰ２に表示された仮想物体が、表示面ＤＰ１にも表示される。これにより、作業補助システム１では、作業者Ｏは、例えば、第１表示部１１に表示された仮想物体を見ることにより、補助者Ｈが現在何に基づいて作業者Ｏに指示を行っているかを確認することができる。その結果、作業補助システム１は、作業者Ｏと補助者Ｈとが連携して行う第１作業Ｗ１の効率を向上させることができる。
【０１０９】
＜第１表示装置が第１実空間に仮想空間を重畳する処理＞
以下、図１３を参照し、第１表示装置１０が第１実空間ＲＳに仮想空間ＶＳを重畳する処理について説明する。図１３は、第１表示装置１０が第１実空間ＲＳに仮想空間ＶＳを重畳する処理の流れの一例を示す図である。
【０１１０】
第１表示制御部１９１は、サーバー３０に予め記憶された仮想空間ＶＳをサーバー３０から取得する（ステップＳ１１０）。
【０１１１】
より具体的には、ステップＳ１１０において、第１表示制御部１９１は、仮想空間ＶＳの取得要求をサーバー３０に出力する。サーバー３０は、第１表示装置１０の第１表示制御部１９１から取得した当該取得要求に応じて、仮想空間ＶＳを第１表示装置１０に出力する。そして、第１表示制御部１９１は、サーバー３０から仮想空間ＶＳを取得する。そして、第１表示制御部１９１は、取得した仮想空間ＶＳを、第１仮想空間ＶＳ１としてメモリー１４に記憶させる。
【０１１２】
ここで、第１表示装置１０がサーバー３０から取得する仮想空間ＶＳは、第１表示装置１０により部屋Ｒ１内が撮像された撮像画像に基づく空間認識によって仮想空間生成部３９４により生成された情報であってもよく、他の装置によって生成された情報であってもよい。仮想空間生成部３９４が仮想空間ＶＳを生成する場合、仮想空間生成部３９４は、第１表示装置１０の撮像部１２により第１実空間ＲＳが撮像された撮像画像に基づいて、第１実空間ＲＳに対応する仮想空間ＶＳを生成する。仮想空間生成部３９４は、生成した仮想空間ＶＳの各位置と、撮像部１２により第１実空間ＲＳが撮像された撮像画像に基づいて算出された第１実空間ＲＳの各位置とを対応付ける。
【０１１３】
次に、撮像制御部１９２は、撮像部１２が撮像可能な領域を撮像部１２に撮像させる。そして、画像取得部１９３は、撮像部１２が撮像した撮像画像を撮像部１２から取得する（ステップＳ１２０）。
【０１１４】
次に、画像処理部１９４は、撮像領域と、メモリー１４に記憶された第１仮想空間ＶＳ１とのマッチングを行う。撮像領域は、第１実空間ＲＳ内の領域のうち、ステップＳ１２０において画像取得部１９３が取得した撮像画像に撮像されている領域のことである。すなわち、画像処理部１９４は、第１仮想空間ＶＳ１内の領域のうち撮像領域に対応する領域を特定する。第１表示制御部１９１は、画像処理部１９４が特定した領域内に配置されている各種の仮想物体を第１表示部１１に表示させ、第１実空間ＲＳに第１仮想空間ＶＳ１を重畳する（ステップＳ１３０）。これにより、第１表示制御部１９１は、第１実空間ＲＳに第１仮想空間ＶＳ１（すなわち、仮想空間ＶＳ）を重畳した空間を作業者Ｏに視認させる。また、ステップＳ１３０において、画像処理部１９４は、特定した当該領域に基づいて、前述の第１仮想現在位置及び第１仮想視線方向を特定する。また、画像処理部１９４は、当該領域に作業者Ｏの手が含まれていた場合、第１仮想空間ＶＳ１内における当該手の仮想位置を、第１１仮想現在位置として特定する。
【０１１５】
次に、第１表示制御部１９１は、重畳終了操作を受け付けたか否かを判定する（ステップＳ１４０）。重畳終了操作は、第１実空間ＲＳに対する第１仮想空間ＶＳ１の重畳を終了させる操作のことである。撮像制御部１９２は、当該重畳を終了させる操作を受け付けていないと第１表示制御部１９１が判定した場合（ステップＳ１４０−ＮＯ）、ステップＳ１２０に遷移し、撮像部１２が撮像可能な領域を撮像部１２に再び撮像させる。一方、第１表示制御部１９１は、当該重畳を終了させる操作を受け付けたと判定した場合（ステップＳ１４０−ＹＥＳ）、処理を終了する。
【０１１６】
＜第２表示装置が仮想空間を表示する処理＞
以下、図１４を参照し、第２表示装置２０が仮想空間ＶＳ内を表示する処理について説明する。図１４は、第２表示装置２０が仮想空間ＶＳ内を表示する処理の流れの一例を示す図である。
【０１１７】
第２表示制御部２９１は、サーバー３０に予め記憶された仮想空間ＶＳをサーバー３０から取得する（ステップＳ２１０）。
【０１１８】
より具体的には、ステップＳ２１０において、第２表示制御部２９１は、仮想空間ＶＳの取得要求をサーバー３０に出力する。サーバー３０は、第２表示装置２０の第２表示制御部２９１から取得した当該取得要求に応じて、仮想空間ＶＳを第２表示装置２０に出力する。そして、第２表示制御部２９１は、サーバー３０から仮想空間ＶＳを取得する。第２表示制御部２９１は、取得した仮想空間ＶＳを、第２仮想空間ＶＳ２としてメモリー２４に記憶させる。
【０１１９】
次に、第２表示制御部２９１は、サーバー３０に予め記憶された初期情報をサーバー３０から取得する（ステップＳ２２０）。ここで、初期情報は、予め決められた第２仮想現在位置及び第２仮想視線方向のそれぞれを、第２仮想現在位置及び第２仮想視線方向のそれぞれの初期値として指定する情報である。初期情報は、サーバー３０に予め記憶されている構成であってもよく、第２表示装置２０を介して補助者Ｈからサーバー３０に記憶される構成であってもよい。
【０１２０】
次に、第２表示制御部２９１は、メモリー２４に記憶された第２仮想空間ＶＳ２内の仮想位置のうちステップＳ２２０において取得した初期情報に含まれる情報により指定される第２仮想現在位置において、当該情報により指定される第２仮想視線方向から見た当該第２仮想空間ＶＳ２を第２表示部２１に表示させる（ステップＳ２３０）。
【０１２１】
次に、第２表示制御部２９１は、前述の指定操作を受け付けるまで待機する（ステップＳ２４０）。
【０１２２】
第２表示制御部２９１は、指定操作を受け付けた場合、（ステップＳ２４０−ＹＥＳ）、第２仮想空間ＶＳ２の表示を更新する（ステップＳ２５０）。より具体的には、第２表示制御部２９１は、メモリー２４に記憶された第２仮想空間ＶＳ２内の仮想位置のうち受け付けた指定操作により指定された第２仮想現在位置において、当該指定操作により指定された第２仮想視線方向から見た当該第２仮想空間ＶＳ２を第２表示部２１に表示させる。
【０１２３】
次に、第２表示制御部２９１は、表示終了操作を受け付けたか否かを判定する（ステップＳ２６０）。表示終了操作は、第２仮想空間ＶＳ２の表示を終了させる操作のことである。第２表示制御部２９１は、当該表示を終了させる操作を受け付けていないと判定した場合（ステップＳ２６０−ＮＯ）、ステップＳ２４０に遷移し、指定操作を受け付けるまで再び待機する。一方、第２表示制御部２９１は、当該表示を終了させる操作を受け付けたと判定した場合（ステップＳ２６０−ＹＥＳ）、処理を終了する。
【０１２４】
＜第１表示装置が第１情報を第２表示装置に出力する処理＞
以下、図１５を参照し、第１表示装置１０が第１情報を第２表示装置２０に出力する処理について説明する。図１５は、第１表示装置１０が第１情報を第２表示装置２０に出力する処理の流れの一例を示す図である。図１５に示したフローチャートの処理は、図１３に示したステップＳ１３０において、第１仮想現在位置及び第１仮想視線方向が特定される毎に第１表示制御部１９１により実行される。なお、当該フローチャートの処理は、第１表示制御部１９１に代えて、第１表示装置１０が備える他の機能部が行う構成であってもよい。
【０１２５】
第１表示制御部１９１は、直前に実行されたステップＳ１３０において特定された第１仮想現在位置及び第１仮想視線方向のそれぞれを示す情報を含む第１情報を生成する（ステップＳ３１０）。なお、第１表示制御部１９１は、直前に実行されたステップＳ１３０において画像処理部１９４により第１１仮想現在位置が特定された場合、第１仮想現在位置を示す情報と、当該第１仮想視線方向を示す情報と、当該第１１仮想現在位置を示す情報とのそれぞれを含む第１情報を生成する。
【０１２６】
次に、第１表示制御部１９１は、ステップＳ３１０において生成した第１情報を、サーバー３０を介して第２表示装置２０に出力し（ステップＳ３２０）、処理を終了する。
【０１２７】
なお、第２表示制御部２９１は、図１５に示したフローチャートと同様の処理によって、前述の第２情報を生成し、生成した第２情報を第１表示装置１０に出力する。具体的には、第２表示制御部２９１は、前述の初期情報又は指定操作によって第２仮想現在位置及び第２仮想視線方向が指定される毎に、第２情報を生成し、生成した第２情報を、サーバー３０を介して第１表示装置１０に出力する。このような事情から、第２表示制御部２９１が第２情報を生成し、生成した第２情報を第１表示装置１０に出力する処理の流れについての図を参照した説明は、省略する。
【０１２８】
また、作業者Ｏが所望する仮想物体を第１仮想空間ＶＳ１内に配置させる操作を第１表示制御部１９１が受け付けた場合、第１表示制御部１９１は、図１５に示したフローチャートと同様の処理によって、第３情報を生成し、生成した第３情報を第２表示装置２０に出力する。ここで、第３情報は、当該操作によって指定された仮想位置を示す情報と、当該仮想物体を示す情報とのそれぞれを含む情報のことである。このような事情から、当該場合において、第１表示制御部１９１が第３情報を生成し、生成した第３情報を第２表示装置２０に出力する処理の流れについての図を参照した説明は、省略する。
【０１２９】
＜第２表示装置が第１仮想物体を表示する処理＞
以下、図１６を参照し、第２表示装置２０が第１仮想物体Ａ１を表示する処理について説明する。図１６は、第２表示装置２０が第１仮想物体Ａ１を表示する処理の流れの一例を示す図である。図１６に示したフローチャートの処理は、図１４に示したステップＳ２３０において第２仮想空間ＶＳ２内が第２表示部２１に表示された後から、図１４に示したステップＳ２６０において表示終了操作を受け付けるまでの間、実行される。
【０１３０】
第２表示制御部２９１は、第１表示装置１０から第１情報を取得するまで待機する（ステップＳ４１０）。
【０１３１】
第２表示制御部２９１は、第１表示装置１０から第１情報を取得した場合（ステップＳ４１０−ＹＥＳ）、第１配置処理を行う（ステップＳ４２０）。ここで、第１配置処理について説明する。
【０１３２】
第１配置処理は、第１仮想物体Ａ１を第２仮想空間ＶＳ２内に配置させる処理を含む処理である。第２表示制御部２９１は、第１表示装置１０から第１情報を取得した場合、第２仮想空間ＶＳ２内の仮想位置のうち第１情報に含まれる情報が示す第１仮想現在位置に、第１仮想物体Ａ１を配置して第２表示装置２０に第１仮想物体Ａ１を表示させる。この際、第２表示制御部２９１は、第１仮想物体Ａ１の向いている方向を、取得した第１情報に含まれる情報が示す第１仮想視線方向と一致させる。また、第２表示制御部２９１は、第１情報に第１１仮想現在位置を示す情報が含まれている場合、第２仮想空間ＶＳ２内の位置のうち当該情報が示す第１１仮想現在位置に、手ＡＦを配置して第２表示装置２０に手ＡＦを表示させる。第２表示制御部２９１は、このように、第１仮想物体Ａ１を表示させる処理、又は、第１仮想物体Ａ１及び手ＡＦを表示させる処理を、第１配置処理として行う。
【０１３３】
ステップＳ４２０において第１配置処理が行われた後、第２表示制御部２９１は、ステップＳ４１０に遷移し、第１表示装置１０から第１情報を取得するまで再び待機する。
【０１３４】
なお、第２情報を第１表示制御部１９１が取得した場合、第１表示制御部１９１は、図１６に示したフローチャートと同様の処理によって、第１配置処理の代わりに第２配置処理を行う。第２配置処理は、第２仮想物体Ａ２を第１仮想空間ＶＳ１内に配置させる処理を含む処理である。第１表示制御部１９１は、第２表示装置２０から第２情報を取得した場合、第１仮想空間ＶＳ１内の仮想位置のうち第２情報に含まれる情報が示す第２仮想現在位置に、第２仮想物体Ａ２を配置して第１表示装置１０に第２仮想物体Ａ２を表示させる。この際、第１表示制御部１９１は、第２仮想物体Ａ２の向いている方向を、取得した第２情報に含まれる情報が示す第２仮想視線方向と一致させる。このような事情から、当該場合において、第１表示制御部１９１が第２配置処理を行う処理の流れについての図を参照した説明は、省略する。
【０１３５】
また、第３情報を第２表示制御部２９１が取得した場合、第２表示制御部２９１は、図１６に示したフローチャートと同様の処理によって、第１配置処理の代わりに第３配置処理を行う。第３配置処理は、第３情報に含まれる情報が示す仮想物体を第２仮想空間ＶＳ２内に配置させる処理を含む処理である。すなわち、第２表示制御部２９１は、第１表示装置１０から第３情報を取得した場合、第２仮想空間ＶＳ２内の仮想位置のうち第３情報に含まれる情報が示す仮想位置に、当該情報が示す仮想物体を配置して第２表示装置２０に当該仮想物体を表示させる。このような事情から、当該場合において、第２表示制御部２９１が第３配置処理を行う処理の流れについての図を参照した説明は、省略する。
【０１３６】
なお、上記において説明した実施形態では、部屋Ｒ１内において第１作業Ｗ１を行う人が作業者Ｏの１人のみであった。しかしながら、作業補助システム１では、部屋Ｒ１内において第１作業Ｗ１を行う人が２人以上であってもよい。この場合、作業補助システム１は、複数の第１表示装置１０を備える。そして、個々の第１表示装置１０の動作は、上記において説明した第１表示装置１０の動作と同様の動作である。
【０１３７】
また、上記において説明した視線方向は、姿勢に置き換えられてもよく、姿勢によって示されてもよく、視線方向を示すことが可能な他の量によって示されてもよい。
【０１３８】
以上のように、実施形態に係る作業補助システム（上記において説明した例では、作業補助システム１）は、第１ユーザー（上記において説明した例では、作業者Ｏ）の頭部に装着可能な第１表示装置（上記において説明した例では、第１表示装置１０）と、予め決められた部屋（上記において説明した例では、部屋Ｒ２）に設置された第２表示装置（上記において説明した例では、第２表示装置２０）とに画像を表示させ、第１ユーザーと第２ユーザーとが連携して行う第１作業（上記において説明した例では、第１作業Ｗ１）を補助する作業補助システムであって、第１表示装置は、透過型の第１表示部（上記において説明した例では、第１表示部１１）と、実空間を撮像する撮像部（上記において説明した例では、撮像部１２）とを有し、撮像部により所定の第１実空間（上記において説明した例では、第１実空間ＲＳ）が撮像された撮像画像に基づいて、第１実空間に対応する仮想空間（上記において説明した例では、仮想空間ＶＳ）を生成し、生成した仮想空間の各位置と、撮像画像に基づいて算出された第１実空間の各位置とを対応付ける仮想空間生成部（上記において説明した例では、仮想空間生成部３９１）と、仮想空間内の位置のうちの第１仮想位置（上記において説明した例では、仮想位置ＶＰ）に配置された仮想物体を、第１実空間内の位置のうち第１仮想位置に対応する位置（上記において説明した例では、実位置ＲＰ）において第１ユーザーに視認されるように第１表示装置に表示させる第１表示制御部（上記において説明した例では、第１表示制御部１９１）と、第２ユーザーから受け付けた操作（上記において説明した例では、指定操作）に応じて、仮想空間内の位置のうち当該操作に応じた第２仮想位置（上記において説明した例では、第２仮想現在位置）の視線方向（上記において説明した例では、第２仮想視線方向）から見た仮想空間内を第２表示装置に表示させる第２表示制御部（上記において説明した例では、第２表示制御部２９１）と、を備え、第１表示制御部は、仮想空間内の位置のうちの第２仮想位置に第２仮想物体（上記において説明した例では、第２仮想物体Ａ２）を配置して第１表示装置に第２仮想物体を表示させ、第２表示制御部は、第１実空間内の位置のうちの第１実位置（上記において説明した例では、第１実現在位置）に第１表示装置が位置している場合、仮想空間内の位置のうち第１実位置に対応する位置（上記において説明した例では、第１仮想現在位置）に第１仮想物体（上記において説明した例では、第１仮想物体Ａ１）を配置して第２表示装置に第１仮想物体を表示させ、第１仮想物体は、第１ユーザーを示す仮想物体（上記において説明した例では、作業者Ｏを示すアバター）であり、第２仮想物体は、第２ユーザーを示す仮想物体（上記において説明した例では、補助者Ｈを示すアバター）である。これにより、作業補助システムは、第１ユーザーと第２ユーザーとが連携して行う第１作業の効率を向上させることができる。
【０１３９】
また、作業補助システムは、撮像画像に基づいて、第１実位置内における第１表示装置の位置を特定する画像処理部（上記において説明した例では、画像処理部１９４）を備え、第１表示制御部は、画像処理部により特定された位置に基づいて、仮想空間内に第１仮想物体を配置して第２表示装置に第１仮想物体を表示させる、構成が用いられてもよい。
【０１４０】
また、作業補助システムでは、画像処理部は、撮像画像に基づいて、第１実空間内における第１表示装置の視線方向を特定し、第１表示制御部は、前記画像処理部により特定された位置及び視線方向に基づいて、仮想空間内に第１仮想物体を配置して第２表示装置に第１仮想物体を表示させる、構成が用いられてもよい。
【０１４１】
また、作業補助システムでは、画像処理部は、撮像画像に第１ユーザーの手が含まれている場合、撮像画像に基づいて、第１ユーザーの手の第１実空間内における位置を更に特定し、仮想空間内に、第１仮想物体とともに第１ユーザーの手を示す第３仮想物体（上記において説明した例では、手ＡＦ）を配置して第２表示装置に第１仮想物体及び第３仮想物体を表示させる、構成が用いられてもよい。
【０１４２】
また、作業補助システムでは、第１ユーザーから第４仮想物体（上記において説明した例では、仮想物体ＶＭ１）を第１表示装置に表示させる第１表示操作を受け付けた場合、第１表示制御部及び第２表示制御部は、仮想空間内の位置のうち第１表示操作に応じた位置に第４仮想物体を配置する、構成が用いられてもよい。
【０１４３】
＜実施形態の変形例＞
以下、実施形態の変形例について説明する。なお、実施形態の変形例では、実施形態と同様な構成部に対して同じ符号を付して説明を省略する。
【０１４４】
実施形態の変形例では、第１表示制御部１９１は、作業者Ｏから受け付けた仮想的な操作に基づいて、第１表示装置１０を仮想的に取り囲む仮想物体ＣＭを第１仮想空間ＶＳ１内に配置する。この際、第１表示制御部１９１は、当該操作を受けたタイミングの直前に画像処理部１９４により特定された第１仮想現在位置が仮想物体ＣＭの内側に含まれるように、仮想物体ＣＭを第１仮想空間ＶＳ１内に配置する。
【０１４５】
仮想物体ＣＭは、例えば、図１７に示したような円筒形状の仮想物体である。図１７は、仮想物体ＣＭの一例を示す図である。なお、仮想物体ＣＭの形状は、円筒形状に代えて、第１表示装置１０を取り囲む形状であれば如何なる形状であってもよい。例えば、第１表示制御部１９１は、形状が円筒形状の仮想物体ＣＭを第１仮想空間ＶＳ１内に配置する場合、第１仮想現在位置が仮想物体ＣＭの中心軸を通るように、仮想物体ＣＭを第１仮想空間ＶＳ１内に配置する。
【０１４６】
仮想物体ＣＭの内面は、作業者Ｏにより操作が行われる各種の仮想的なメニュー、作業者Ｏが動画を再生させるための仮想的なボタン等の各種のＵＩ（User  Interface）、作業者Ｏにより閲覧される各種の仮想的な資料等のそれぞれを含む複数の領域に分けられている。仮想物体ＣＭを表示させた場合、作業者Ｏは、複数のＵＩに対する仮想的な操作、複数の資料の閲覧等を、部屋Ｒ１内の移動をほぼ伴うことなく行うことができる。
【０１４７】
また、仮想物体ＣＭの内面の領域のうち、ＵＩ、資料等が含まれていない領域には、作業者Ｏが所望するＵＩ、資料等を表示することができる。第１表示制御部１９１は、作業者Ｏから受け付けた仮想的な操作に応じて、当該操作に応じたＵＩ、当該操作に応じた資料等を、当該領域内に含めて固定する。
【０１４８】
ここで、図１８は、第１仮想空間ＶＳ１内に仮想物体ＣＭが配置された場合における第１表示部１１の表示面ＤＰ１の一例を示す図である。図１８に示したように、表示面ＤＰ１には、仮想物体ＣＭが第１仮想現在位置を取り囲むように第１仮想空間ＶＳ１内に配置されているため、仮想物体ＣＭの内面のうちの一部の面が表示される。
【０１４９】
また、第１表示制御部１９１は、第１表示装置１０を仮想的に取り囲む仮想物体ＣＭを第１仮想空間ＶＳ１内に配置した場合、仮想物体ＣＭを第１仮想空間ＶＳ１内に配置したことを示す情報を、サーバー３０を介して第２表示装置２０に出力する。第２表示制御部２９１は、当該情報を取得した場合、当該情報を取得したタイミングにおける第２仮想現在位置を取り囲むように、第２仮想空間ＶＳ２内に仮想物体ＣＭを配置する。これにより、第２表示部２１の表示面ＤＰ２には、図１９に示したように、仮想物体ＣＭの内面のうちの一部の面が表示される。図１９は、第２仮想空間ＶＳ２内に仮想物体ＣＭが配置された場合における第２表示部２１の表示面ＤＰ２の一例を示す図である。
【０１５０】
ここで、図１９に示した表示面ＤＰ２における仮想物体ＣＭの表示態様は、図１８に示した表示面ＤＰ１における仮想物体ＣＭの表示態様とほぼ同じ表示態様である。このため、作業補助システム１では、補助者Ｈは、作業者Ｏが仮想物体ＣＭへ仮想的な操作を行う操作感と同じ操作感によって、仮想物体ＣＭへ操作を行うことができる。換言すると、作業補助システム１では、作業者Ｏは、補助者Ｈが仮想物体ＣＭへ操作を行う操作感と同じ操作感によって、仮想物体ＣＭへ操作を行うことができる。すなわち、作業補助システム１では、第１表示装置１０を装着した作業者Ｏが仮想物体ＣＭへ仮想的な操作を行う場合における操作感と、第２表示装置２０を介して補助者Ｈが仮想物体ＣＭへ操作を行う場合の操作感とを、ほぼ同じにすることができる。
【０１５１】
以上のように、実施形態の変形例に係る作業補助システムでは、第１表示制御部は、第１ユーザーから受け付けた仮想的な操作に基づいて、第１表示装置を仮想的に取り囲む仮想物体を仮想空間に配置し、第２表示制御部は、第１表示装置を仮想的に取り囲む仮想物体（上記において説明した例では、仮想物体ＣＭ）が仮想空間内に配置された場合、第２仮想位置を取り囲む仮想物体を仮想空間に配置し、第１表示装置を仮想的に取り囲む仮想物体が有する機能は、第２仮想位置を取り囲む仮想物体が有する機能と同じ機能であり、第１表示装置を仮想的に取り囲む仮想物体と、第２表示装置を仮想的に取り囲む仮想物体とのそれぞれの形状は、互いに同じ形状であり、第１表示装置を仮想的に取り囲む仮想物体の第１表示装置における表示態様と、第２表示装置を仮想的に取り囲む仮想物体の第２表示装置における表示態様とは、互いに同じ表示態様である、構成が用いられてもよい。
【０１５２】
また、作業補助システムでは、第１表示装置を仮想的に取り囲む仮想物体と、第２表示装置を仮想的に取り囲む仮想物体とのそれぞれの形状は、互いに同じ円筒形状である、構成が用いられてもよい。
【０１５３】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
【０１５４】
また、以上に説明した装置における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。ここで、当該装置は、例えば、第１表示装置１０、第２表示装置２０、サーバー３０等である。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating  System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact  Disk）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。
【０１５５】
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワークや電話回線等の通信回線のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル又は差分プログラムであってもよい。
【符号の説明】
【０１５６】
１…作業補助システム、１０…第１表示装置、１１…第１表示部、１２…撮像部、１３、２３、３３…プロセッサー、１４、２４、３４…メモリー、１５、２５、３５…通信部、１６、２６…音声入力部、１７、２７…音声出力部、１９、２９、３９…制御部、２０…第２表示装置、２１…第２表示部、２８…入力受付部、３０…サーバー、１９１…第１表示制御部、１９２…撮像制御部、１９３…画像取得部、１９４…画像処理部、２９１…第２表示制御部、３９１…仮想空間生成部、３９２…音声中継部、３９４…仮想空間生成部、３９５…音声中継部、Ａ１…第１仮想物体、Ａ２…第２仮想物体、ＣＭ…仮想物体、ＤＰ１…表示面、ＤＰ２…表示面、Ｈ…補助者、Ｏ…作業者、ＲＳ…第１実空間、ＶＳ…仮想空間、ＶＳ１…第１仮想空間、ＶＳ２…第２仮想空間
【図１】
2020086630.tif 000003
【図２】
2020086630.tif 000004
【図３】
2020086630.tif 000005
【図４】
2020086630.tif 000006
【図５】
2020086630.tif 000007
【図６】
2020086630.tif 000008
【図７】
2020086630.tif 000009
【図８】
2020086630.tif 000010
【図９】
2020086630.tif 000011
【図１０】
2020086630.tif 000012
【図１１】
2020086630.tif 000013
【図１２】
2020086630.tif 000014
【図１３】
2020086630.tif 000015
【図１４】
2020086630.tif 000016
【図１５】
2020086630.tif 000017
【図１６】
2020086630.tif 000018
【図１７】
2020086630.tif 000019
【図１８】
2020086630.tif 000020
【図１９】
2020086630.tif 000021