(57)【要約】【課題】ＨＭＤの利用環境が特定の環境であるか否かの判定精度を上げて、ＨＭＤの利用環境に応じた機能の制限を適切に行う。【解決手段】シースルー型のＨＭＤ２０１は、通信部３３および表示部５に加えて、撮像部３１と、移動判定部３７と、処理制御部３８ａとを備える。撮像部３１は、ＨＭＤ２０１の装着者が視認する外界を撮影して画像を取得する。移動判定部３７は、撮像部３１での撮影によって取得された、特定の空間であることを示す物体の像の、装着者の移動に伴う変化に基づいて、装着者が特定の空間内に移動したことを判定する。処理判定部３８ａは、移動判定部３７での判定結果に基づいて、ＨＭＤ２０１の機能を制限、解除または維持する。【選択図】図４
2020004114.tif 000002
【特許請求の範囲】
【請求項１】
外部と通信を行うための通信部と、
前記通信部を介して外部から取得される情報を表示する表示部とを備えたシースルー型のヘッドマウントディスプレイであって、
該ヘッドマウントディスプレイの装着者が視認する外界を撮影して画像を取得する撮像部と、
前記装着者が特定の空間内に移動したことを判定する移動判定部と、
前記移動判定部での判定結果に基づいて、該ヘッドマウントディスプレイの機能を制限、解除または維持する処理制御部とをさらに備え、
前記移動判定部は、前記撮像部での撮影によって取得された、前記特定の空間であることを示す物体の像の、前記装着者の移動に伴う変化に基づいて、前記装着者が前記特定の空間内に移動したことを判定することを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記移動判定部は、前記物体の像の、前記装着者の移動に伴う変化のパターンの違いに基づいて、前記装着者が前記特定の空間内に移動したこと、前記装着者が前記特定の空間から脱出したこと、前記装着者が前記特定の空間の前を素通りしたことを区別して判定することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記装着者が前記特定の空間内に移動したとき、前記特定の空間から脱出したとき、前記特定の空間の前を素通りしたときのそれぞれについての、前記物体の像の変化の各パターンを予め記憶する記憶部をさらに備え、
前記移動判定部は、実際に前記装着者が移動したときに前記撮像部での撮影によって取得された前記物体の像の変化のパターンが、前記記憶部に記憶された各パターンのいずれに最も近いかを判断することにより、前記装着者が前記特定の空間内に移動したこと、前記装着者が前記特定の空間から脱出したこと、または前記装着者が前記特定の空間の前を素通りしたことを判定することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記処理制御部は、前記装着者が前記特定の空間内に移動したと前記移動判定部が判定したときに、該ヘッドマウントディスプレイの機能を制限することを特徴とする請求項３に記載のヘッドマウントディスプレイ。
【請求項５】
前記処理制御部は、前記装着者が前記特定の空間から脱出したと前記移動判定部が判定したときに、前記機能の制限を解除することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
【請求項６】
前記処理制御部は、前記装着者が前記特定の空間の前を素通りしたと前記移動判定部が判定したときに、該ヘッドマウントディスプレイの機能を維持することを特徴とする請求項３から５のいずれかに記載のヘッドマウントディスプレイ。
【請求項７】
前記表示部を制御する表示制御部をさらに備え、
前記表示制御部は、前記装着者が前記特定の空間内に移動したとの前記移動判定部での判定に基づいて、前記処理制御部が該ヘッドマウントディスプレイの機能を制限する前に、前記機能の制限を促す指示情報を前記表示部に表示させる一方、前記装着者が前記特定の空間から脱出したとの前記移動判定部での判定に基づいて、前記処理制御部が前記機能の制限を解除する前に、前記機能の制限の解除を促す指示情報を前記表示部に表示させることを特徴とする請求項１から６のいずれかに記載のヘッドマウントディスプレイ。
【請求項８】
音声を出力する音声出力装置と、
前記音声出力装置を制御する音声制御部とをさらに備え、
前記音声制御部は、前記装着者が前記特定の空間内に移動したとの前記移動判定部での判定に基づいて、前記処理制御部が該ヘッドマウントディスプレイの機能を制限する前に、前記機能の制限を促す指示情報を前記音声出力装置から出力させる一方、前記装着者が前記特定の空間から脱出したとの前記移動判定部での判定に基づいて、前記処理制御部が前記機能の制限を解除する前に、前記機能の制限の解除を促す指示情報を前記音声出力装置から出力させることを特徴とする請求項１から７のいずれかに記載のヘッドマウントディスプレイ。
【請求項９】
前記装着者の音声が入力される音声入力装置をさらに備え、
該ヘッドマウントディスプレイの前記機能は、前記撮像部、前記音声入力装置および前記通信部の少なくとも１つの機能であることを特徴とする請求項１から８のいずれかに記載のヘッドマウントディスプレイ。
【請求項１０】
前記移動判定部は、前記撮像部での撮影によって取得された前記物体の像の、前記装着者の移動に伴う変化と、前記物体の撮影時間とに基づいて、前記装着者が前記特定の空間内に移動したことを判定することを特徴とする請求項１から９のいずれかに記載のヘッドマウントディスプレイ。
【請求項１１】
前記特定の空間であることを示す前記物体は、表示プレート、マーク、文字列、電光掲示板、モニュメントまたはシンボルであることを特徴とする請求項１から１０のいずれかに記載のヘッドマウントディスプレイ。
【請求項１２】
前記表示部は、前記通信部を介して外部から取得される、前記装着者が行う作業を支援する支援情報を表示することを特徴とする請求項１から１１のいずれかに記載のヘッドマウントディスプレイ。
【請求項１３】
前記通信部を制御する通信制御部をさらに備え、
前記通信制御部は、前記装着者が前記特定の空間内に移動したと前記移動判定部が判定したときに、前記支援情報の送信元となる作業支援情報提供装置に対して、前記作業支援情報提供装置の機能の制限を促す映像情報または音声情報を前記通信部を介して送信する一方、前記装着者が前記特定の空間から脱出したと前記移動判定部が判定したときに、前記作業支援情報提供装置に対して、前記機能の制限の解除を促す映像情報または音声情報を前記通信部を介して送信することを特徴とする請求項１２に記載のヘッドマウントディスプレイ。
【請求項１４】
前記作業支援情報提供装置の前記機能は、前記作業支援情報提供装置が有する撮像部、表示部、音声入力装置、音声出力装置および通信部の少なくとも１つの機能であることを特徴とする請求項１３に記載のヘッドマウントディスプレイ。
【請求項１５】
請求項１から１４のいずれかに記載のヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイに対して、前記装着者が行う作業を支援する情報を提供する端末装置とを含むことを特徴とする作業支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外部と通信を行うシースルー型のヘッドマウントディスプレイと、そのヘッドマウントディスプレイを含む作業支援システムとに関する。
【背景技術】
【０００２】
頭部装着型表示装置は、ヘッドマウントディスプレイ（ＨＭＤ；Head-Mounted Display）とも呼ばれ、ＤＶＤ（Digital Versatile Disc）などの記録媒体に記録されたコンテンツ映像を観賞するための装置として利用されたり、作業支援のために外部から送信される情報を表示する装置として利用されるなど、その用途は多岐に亘っている。特に、作業支援用途では、作業者が装着するＨＭＤにカメラを搭載し、カメラで撮影された作業対象物の映像を、遠隔地に設けられたホストコンピュータ（または別のＨＭＤ）に送信し、指示者がホストコンピュータのモニタ（または別のＨＭＤに表示された映像）を観察しながら作業者のＨＭＤに音声や映像による適切な情報を提供することで、作業者（装着者）の作業支援が行われる。
【０００３】
このようなカメラ搭載型のＨＭＤに対して、利用環境に応じて機能の一部を制限する技術が近年提案されている。例えば特許文献１では、ＨＭＤのカメラで撮影され、取得された画像内に、特定の利用環境を認識するためのマーカー（例えば公衆トイレの男女マークや、電車内の優先席マーク）が含まれたときに、特定の利用環境であると判定し、カメラによる撮影や無線通信の接続を禁止して、社会に適合したＨＭＤの利用を実現するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−２１２３４５号公報（請求項１〜４、１５、１６、段落〔０１０４〕〜〔０１１４〕、図１５、図１６等参照）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１のように、撮影画像内に特定の利用環境を認識するためのマーカーが含まれていることだけをもって、特定の利用環境であると判定すると、例えばＨＭＤの装着者がマーカーの近くを素通りしただけでも、上記マーカーが撮影されていれば、（ＨＭＤが特定の利用環境になくても）特定の利用環境にあると判定されて、ＨＭＤの機能が制限される。これでは、ＨＭＤの利用環境に応じた機能の制限を適切に行っているとは言えない。
【０００６】
本発明は、上記の問題点を解決するためになされたもので、その目的は、ＨＭＤの利用環境が特定の環境であるか否かの判定精度を上げることができ、これによって、ＨＭＤの利用環境に応じた機能の制限を適切に行うことができるＨＭＤと、そのＨＭＤを含む作業支援システムとを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一側面に係るヘッドマウントディスプレイは、外部と通信を行うための通信部と、前記通信部を介して外部から取得される情報を表示する表示部とを備えたシースルー型のヘッドマウントディスプレイであって、該ヘッドマウントディスプレイの装着者が視認する外界を撮影して画像を取得する撮像部と、前記装着者が特定の空間内に移動したことを判定する移動判定部と、前記移動判定部での判定結果に基づいて、該ヘッドマウントディスプレイの機能を制限、解除または維持する処理制御部とをさらに備え、前記移動判定部は、前記撮像部での撮影によって取得された、前記特定の空間であることを示す物体の像の、前記装着者の移動に伴う変化に基づいて、前記装着者が前記特定の空間内に移動したことを判定する。
【０００８】
本発明の他の側面に係る作業支援システムは、上記のヘッドマウントディスプレイと、記ヘッドマウントディスプレイに対して、前記装着者が行う作業を支援する情報を提供する端末装置とを含む。
【発明の効果】
【０００９】
移動判定部は、撮像部によって取得された、特定の空間であることを示す物体の像の、装着者の移動に伴う変化を捉え、上記変化に基づいて、ＨＭＤの装着者が特定の空間内に移動したことを判定する。これにより、装着者が特定の空間内に移動したことを、特定の空間の前を素通りしたことと区別して判定することができる。したがって、装着者が特定の空間内に移動したかどうか、つまり、ＨＭＤの利用環境が特定の環境であるか否かの判定精度を上げることができ、ＨＭＤの利用環境に応じた機能の制限を適切に行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の一形態に係る作業支援システムの概略の構成を示す説明図である。
【図２】上記作業支援システムを構成するＨＭＤの概略の構成を示す正面図である。
【図３】上記ＨＭＤが有する映像表示装置の光学構成を示す断面図である。
【図４】上記ＨＭＤの詳細な構成を示すブロック図である。
【図５】上記ＨＭＤの装着者が休憩室に入室するときの動線と、上記休憩室の前を通過するときの動線とを模式的に示す説明図である。
【図６】上記休憩室の入口付近の壁に掲示されるマークの正面図である。
【図７】上記装着者が上記休憩室に入室するときの上記マークの像の変化パターンの一例を示す説明図である。
【図８】上記装着者が上記休憩室の前を通過するときの上記マークの像の変化パターンの一例を示す説明図である。
【図９】上記装着者が上記休憩室から退出するときの動線を模式的に示す説明図である。
【図１０】上記装着者が上記休憩室から退出するときの上記マークの像の変化パターンの一例を示す説明図である。
【図１１】移動判定の結果に基づく処理の流れを示すフローチャートである。
【図１２】上記ＨＭＤの撮像部の機能を制限して得られる画像の一例を示す説明図である。
【図１３】上記画像の他の例を示す説明図である。
【図１４】上記画像のさらに他の例を示す説明図である。
【図１５】上記ＨＭＤの表示部の表示画面の一例を模式的に示す説明図である。
【図１６】上記表示画面の他の例を模式的に示す説明図である。
【図１７】上記ＨＭＤの音声出力装置から出力される音声の一例を模式的に示す説明図である。
【図１８】上記音声の他の例を模式的に示す説明図である。
【図１９】上記ＨＭＤから作業支援情報提供装置に送信される情報の一例を模式的に示す説明図である。
【図２０】上記情報の他の例を模式的に示す説明図である。
【図２１】上記ＨＭＤの装着者が休憩室に入室するときの動線と、動線上で１秒ごとの装着者の各位置とを模式的に示す説明図である。
【図２２】図２１の動線上の各位置での、上記撮像部によって取得されるマークの像の有無を示す説明図である。
【図２３】上記ＨＭＤの装着者が休憩室の前を通過するときの動線と、動線上で１秒ごとの装着者の各位置とを模式的に示す説明図である。
【図２４】図２３の動線上の各位置での、上記撮像部によって取得されるマークの像の有無を示す説明図である。
【図２５】上記ＨＭＤの装着者が休憩室から退出するときの動線と、動線上で１秒ごとの装着者の各位置とを模式的に示す説明図である。
【図２６】図２５の動線上の各位置での、上記撮像部によって取得されるマークの像の有無を示す説明図である。
【発明を実施するための形態】
【００１１】
本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。なお、本発明は、以下の内容に限定されない。
【００１２】
（作業支援システムの構成）
図１は、本実施形態の作業支援システム１００の概略の構成を示す説明図である。作業支援システム１００は、複数の情報入出力端末２００を、通信回線３００を介して通信可能に（情報連携可能に）接続して構成されている。通信回線３００は、例えばＷｉ−Ｆｉ（登録商標）などの無線通信環境によって実現されているが、光ファイバーなどのケーブルを用いた有線の通信回線であってもよい。
【００１３】
複数の情報入出力端末２００は、相互に情報を入出力（送受信）することが可能である。入出力の対象となる情報には、例えば、各情報入出力端末２００で取得される撮像画像の情報（データ）、作業を指示する映像情報や音声情報などが含まれる。
【００１４】
複数の情報入出力端末２００の少なくとも１つは、作業を行う使用者の頭部に装着され、映像を虚像として使用者（以下、装着者とも称する）に視認可能に表示する頭部装着型端末、すなわち、ヘッドマウントディスプレイ（ＨＭＤ）２０１である。残りの情報入出力端末２００の１つは、装着者のＨＭＤ２０１に対して、作業を支援する情報（映像または音声の情報）を提供する作業支援情報提供装置３０１である。この作業支援情報提供装置３０１は、例えば作業を行う装着者のＨＭＤ２０１と同じ構成のＨＭＤで構成されるが、撮像部、表示部、音声入力装置、音声出力装置および通信部を組み合わせた端末装置であってもよい（人物に装着可能な装置には限定されない）。以下、上記のＨＭＤ２０１について説明する。
【００１５】
（ＨＭＤの構成）
図２は、本実施形態の情報入出力端末２００の一例であるＨＭＤ２０１の概略の構成を示す正面図である。ＨＭＤ２０１は、装着者に映像を提示する映像表示装置２０２と、支持部材２０３とを含んで構成されている。支持部材２０３は、映像表示装置２０２を装着者の眼前（例えば右眼の前）で支持する部材であり、眼鏡のフレームやテンプルに相当する支持部２０３ａと、支持部２０３ａに取り付けられて、装着者の鼻と当接する鼻当て２０３ｂとを含む。
【００１６】
なお、ＨＭＤ２０１は、さらに、右眼用レンズや左眼用レンズを含み、これらが支持部材２０３で支持される構成であってもよい。また、ＨＭＤ２０１は、映像表示装置２０２を２個有し、支持部材２０３によって各映像表示装置２０２を装着者の右眼および左眼の眼前で支持する構成であってもよい。さらに、ＨＭＤ２０１は、映像表示装置２０２の位置（例えば左右方向、上下方向の各位置）や取付角度（アオリ角）を調整する位置調整機構を有していてもよい。
【００１７】
映像表示装置２０２は、装着者が映像とともに外界を直接観察可能な光学シースルー型ディスプレイである。すなわち、映像表示装置２０２は、外界からの光を装着者の瞳に導くことにより、装着者に外界を観察させるとともに、装着者の視野の一部に映像を虚像として表示して提供する表示光学系である。このように、ＨＭＤ２０１がシースルー型の映像表示装置２０２を備えていることにより、ＨＭＤ２０１はシースルー型のヘッドマウントディスプレイとして機能する。以下、映像表示装置２０２の光学構成について説明する。
【００１８】
図３は、映像表示装置２０２の光学構成を示す断面図である。映像表示装置２０２は、照明光学系２と、偏光板３と、偏光ビームスプリッタ（ＰＢＳ）４と、表示部５と、接眼光学系６とを有している。照明光学系２、偏光板３、ＰＢＳ４、表示部５、および接眼光学系６の上端部は、図２で示した筐体２０２ａ内に位置している。
【００１９】
なお、以下での説明の便宜上、各方向を以下のように定義しておく。図３において、接眼光学系６によって形成される光学瞳Ｐの中心（映像観察時の装着者の瞳中心）と表示部５の表示面の中心とを光学的に結ぶ軸およびその軸の延長線を光軸（観察中心軸）とする。そして、接眼光学系６のＨＯＥ（Holographic Optical Element；ホログラフィック光学素子）２３の光軸平面に垂直な方向をＸ方向とする。なお、ＨＯＥ２３の光軸平面とは、上記光軸と一致する光線がＨＯＥ２３に入射するときの、入射光線と反射光線とを含む平面を指す。また、各光学部材の上記光軸との交点における、面法線と垂直な面内で、Ｘ方向に垂直な方向をＹ方向とする。そして、Ｘ方向およびＹ方向に垂直な方向をＺ方向とする。このような定義を用いると、例えば、表示部５の法線と接眼光学系６の後述する２つの平行な面２１ｂ・２１ｃの法線とを含み、かつ、表示部５の表示面の中心を含む断面は、ＹＺ断面となる。
【００２０】
照明光学系２は、表示部５を照明するものであり、光源１１と、照明ミラー１２と、拡散板１３とを有している。
【００２１】
光源１１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色に対応する光を出射するＲＧＢ一体型のＬＥＤで構成されている。複数の発光点（ＲＧＢの各発光点）は、水平方向（Ｘ方向）に略直線状に並んでいる。光源１１から出射される光の波長は、例えば、光強度のピーク波長および光強度半値の波長幅で、４６２±１２ｎｍ（Ｂ光）、５２５±１７ｎｍ（Ｇ光）、６３５±１１ｎｍ（Ｒ光）である。なお、光源１１は、レーザ光源であってもよい。
【００２２】
照明ミラー１２は、光源１１から出射された光（照明光）を拡散板１３に向けて反射させるとともに、Ｙ方向に関して、光学瞳Ｐと光源１１とが略共役となるように、照明光を曲げる光学素子である。
【００２３】
拡散板１３は、光源１１の複数の発光点が並ぶＸ方向に入射光を例えば４０°拡散し、Ｙ方向には入射光を拡散しない一方向拡散板である。拡散板１３は、偏光板３の表面に保持されている。
【００２４】
偏光板３は、拡散板１３を介して入射する光のうち、所定の偏光方向の光を透過させてＰＢＳ４に導く。
【００２５】
ＰＢＳ４は、偏光板３を透過した光を反射型の表示部５の方向に反射させる一方、表示部５にて反射された光のうち、画像信号オンに対応する光（偏光板３を透過した光とは偏光方向が直交する光）を透過させる平板状の偏光分離素子であり、接眼光学系６の後述する接眼プリズム２１の光入射面２１ａに貼り付けられている。
【００２６】
表示部５は、照明光学系２からの光を変調して映像を表示する表示素子であり、本実施形態では、反射型の液晶表示素子で構成されている。表示部５はカラーフィルタを有する構成であってもよいし、光源１１のＲＧＢごとの時分割発光に同期して、発光色に対応するＲＧＢの画像が表示されるように、時分割で駆動される構成であってもよい。
【００２７】
表示部５は、ＰＢＳ４からほぼ垂直に入射する光がほぼ垂直に反射されてＰＢＳ４に向かうように配置されている。これにより、反射型の表示素子に対して大きな入射角で光を入射させる構成に比べて、解像度を増大させるような光学設計が容易となる。表示部５の表示面は長方形となっており、表示面の長手方向がＸ方向となり、短手方向がＹ方向となるように配置されている。
【００２８】
接眼光学系６は、表示部５からの映像光を装着者の瞳（光学瞳Ｐ）に導くための光学系であり、非軸対称（非回転対称）な正の光学パワーを有している。この接眼光学系６は、接眼プリズム２１と、偏向プリズム２２と、ＨＯＥ２３とを有している。
【００２９】
接眼プリズム２１は、表示部５からＰＢＳ４を介して入射する映像光を内部で導光する一方、外界からの光（外光）を透過させるものであり、平行平板の上端部を上端に向かうほど厚くし、下端部を下端に向かうほど薄くした形状で構成されている。
【００３０】
接眼プリズム２１において、ＰＢＳ４が貼り付けられる面は、表示部５からの映像光が入射する光入射面２１ａであり、光学瞳Ｐとほぼ平行に位置して互いに対向する２つの面２１ｂ・２１ｃは、映像光を全反射によって導光する全反射面となっている。そのうち、光学瞳Ｐ側の面２１ｂは、ＨＯＥ２３で回折反射される映像光の出射面を兼ねている。
【００３１】
接眼プリズム２１は、その下端部に配置されるＨＯＥ２３を挟むように偏向プリズム２２と接着剤で接合されている。本実施形態では、接眼プリズム２１を構成する面のうち、ＨＯＥ２３が接する面２１ｄ以外で映像光が透過する面（光入射面２１ａ、面２１ｂ）は、平面となっている。接眼プリズム２１において、ＨＯＥ２３が接する面２１ｄは、平面であってもよいし、曲面であってもよいし、平面と曲面とを組み合わせた面であってもよい。
【００３２】
偏向プリズム２２は、接眼プリズム２１とＨＯＥ２３を介して貼り合わされて略平行平板を形成している。偏向プリズム２２を接眼プリズム２１と貼り合わせることで、外光が接眼プリズム２１の楔状の下端部を透過するときの屈折を偏向プリズム２２でキャンセルすることができ、外界として観察（視認）される像（外界像）に歪みが生じるのを防止することができる。
【００３３】
ＨＯＥ２３は、接眼プリズム２１に接して設けられ、接眼プリズム２１内部で導光された映像光を回折反射する体積位相型で反射型のホログラフィック光学素子である。ＨＯＥ２３は、回折効率のピーク波長および回折効率半値の波長幅で、例えば４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させる。すなわち、ＨＯＥ２３のＲＧＢの回折波長は、ＲＧＢの映像光の波長（光源１１の発光波長）とほぼ対応している。
【００３４】
上記の構成において、照明光学系２の光源１１から出射された光は、照明ミラー１２で反射され、拡散板１３にてＸ方向にのみ拡散された後、所定の偏光方向の光のみが偏光板３を透過する。そして、偏光板３を透過した光は、ＰＢＳ４で反射され、表示部５に入射する。
【００３５】
表示部５では、入射光が画像信号に応じて変調される。このとき、画像信号オンに対応する映像光は、表示部５にて入射光とは偏光方向が直交する光に変換されて出射されるため、ＰＢＳ４を透過して接眼プリズム２１の内部に光入射面２１ａから入射する。一方、画像信号オフに対応する映像光は、表示部５にて偏光方向が変換されずに出射されるため、ＰＢＳ４で遮断され、接眼プリズム２１の内部に入射しない。
【００３６】
接眼プリズム２１では、入射した映像光が接眼プリズム２１の対向する２つの面２１ｃ・２１ｂでそれぞれ１回ずつ全反射された後、ＨＯＥ２３に入射し、そこで回折反射されて面２１ｂから出射され、光学瞳Ｐに達する。したがって、この光学瞳Ｐの位置では、装着者は、表示部５に表示された映像を虚像として観察することができる。
【００３７】
一方、接眼プリズム２１、偏向プリズム２２およびＨＯＥ２３は、外光をほとんど全て透過させるので、装着者は外界をシースルーで観察することができる。したがって、表示部５に表示された映像の虚像は、装着者の視野（視界）内で、外界の一部に重なって観察されることになる。
【００３８】
なお、本実施形態では、表示部５として、反射型の映像表示素子を用いているが、透過型の液晶表示素子を用い、それに応じた光学設計で映像表示装置２０２を構成してもよい。また、接眼光学系６は、ＨＭＤ２０１の右眼用レンズまたは左眼用レンズと一体的に構成されてもよいし、別体で構成されてもよい。
【００３９】
（ＨＭＤの詳細な構成）
図４は、ＨＭＤ２０１の詳細な構成を示すブロック図である。ＨＭＤ２０１は、上記した映像表示装置２０２および支持部材２０３に加えて、撮像部３１、画像処理部３２、通信部３３、記憶部３４、音声入力装置３５、音声出力装置３６、移動判定部３７、制御部３８および電源部４０をさらに備えている。
【００４０】
撮像部３１は、例えば動画の撮影が可能なカメラ（デジタルカメラ、デジタルビデオカメラ）で構成されており、ＨＭＤ２０１の装着者が視認する外界を撮影して画像を取得する。この撮像部３１は、例えば図２で示した筐体２０２ａの外面に設けられているが、筐体２０２ａの内部に設けられてもよい。後者の場合、撮像部３１の前方に、筐体２０２ａを貫通する開口部または透明な窓が設けられ、これによって撮像部３１による前方の撮影が可能となる。
【００４１】
また、図２に示すように、撮像部３１の撮像中心Ｃｏ（撮像光軸と撮像部との交点）は、映像表示装置２０２の観察中心Ｖｏ（瞳中心）のほぼ真上に位置しており、映像表示装置２０２に対する撮像部３１の相対位置が固定されている。また、撮像部３１の撮像光軸は、無限遠を観察するときの装着者の視線方向と略一致している。これにより、撮像部３１は、装着者の通常視界（前方の外界）を撮像することができる。
【００４２】
画像処理部３２は、表示部５に表示させる映像を画像処理によって生成する処理部であり、例えばＡＳＩＣ（application specific integrated circuit）のような特定の演算処理回路で構成される。上記の画像処理には、例えば色補正、拡大／縮小、エッジ強調などの画像処理が含まれる。
【００４３】
通信部３３は、ＨＭＤ２０１と外部（他の情報入出力端末２００）との間で通信（情報の入出力）を行うためのインターフェースであり、送信回路、受信回路、変調回路、復調回路、アンテナなどを含んで構成される。上記した表示部５は、通信部３３を介して外部から取得される情報を表示することができ、例えば、装着者が行う作業を支援する支援情報（作業の指示情報）を外部から取得して表示することができる。このように表示部５が支援情報を表示することにより、ＨＭＤ２０１の装着者は、表示部５に表示された支援情報に基づいて作業を行うことが可能となる。つまり、本実施形態のＨＭＤ２０１を、作業支援用途で用いることができる。
【００４４】
記憶部３４は、例えばフラッシュメモリなどの不揮発性メモリで構成されており、撮像部３１で取得された画像データや、他の端末から入力された情報（例えば作業指示を表す画像または音声の情報）などを記憶する。
【００４５】
音声入力装置３５は、例えばマイクなどで構成され、装着者の音声が入力される装置である。音声入力装置３５に入力された音声の情報は、通信部３３を介して他の端末に出力される。音声出力装置３６は、例えばスピーカーやイヤホンなどで構成され、装着者に音声を出力する装置である。他の端末から通信部３３を介して入力された音声情報（例えば作業を指示する音声情報）は、音声出力装置３６から出力される。
【００４６】
移動判定部３７は、例えば中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、撮像部３１で取得された画像に基づいて、装着者が特定の空間内に移動したことを判定する。なお、移動判定部３７による移動判定の詳細については後述する。
【００４７】
制御部３８は、例えばＣＰＵで構成されており、映像表示装置２０２を含むＨＭＤ２０１の各部の動作を制御する。特に、制御部３８は、処理制御部３８ａと、表示制御部３８ｂと、音声制御部３８ｃと、通信制御部３８ｄとを含んでいる。表示制御部３８ｂ、音声制御部３８ｃ、および通信制御部３８ｄは、それぞれ、表示部５、音声出力装置３６、および通信部３３を制御する。なお、制御部３８は、移動判定部３７と同一のＣＰＵで構成されていてもよい（制御部３８が移動判定部３７を含む構成であってもよい）。
【００４８】
処理制御部３８ａは、移動判定部３７での判定結果に基づいて、ＨＭＤ２０１の機能を制限、解除または維持する。ここで、ＨＭＤ２０１の機能とは、ＨＭＤ２０１が有する上述の撮像部３１、音声入力装置３５および通信部３３の少なくとも１つの機能を含む。したがって、「機能を制限する」とは、例えば、撮像部３１での画像の取得を一時停止することや、撮像部３１で取得される画像の一部にマスキングを行うことにより、結果として、撮影範囲の一部のみについて画像を取得すること（具体例は後述する）、音声入力装置３５での音声データの取得を一時停止すること、通信部３３によるＨＭＤ２０１から外部への画像情報または音声情報の送信を一時停止すること、の少なくとも１つが含まれる。また、「機能を解除する」とは、一旦制限した機能を回復させること（元の機能を発揮させること）を指す。さらに、「機能を維持する」とは、撮像部３１、音声入力装置３５および通信部３３の少なくとも１つの機能を停止することなく、その機能を発揮させ続けることを指す。
【００４９】
電源部４０は、光源１１、表示部５、撮像部３１をはじめとするＨＭＤ２０１の各部に電力を供給して各部を駆動するためのバッテリーと、ＨＭＤ２０１の電源ＯＮ／ＯＦＦ（上記バッテリーから上記各部への電力供給のＯＮ／ＯＦＦ）を切り替えるスイッチとを含んで構成されている。
【００５０】
（移動判定の原理について）
次に、移動判定部３７による装着者の移動判定の原理について説明する。図５は、ＨＭＤ２０１の装着者が、特定の空間の一例である休憩室１００に入室するときの動線と、休憩室１００の前を単に通過（素通り）するときの動線とを模式的に示している。休憩室１００の入口付近の壁には、休憩室１００であることを示す物体としてのマークＭが水平に（傾くことなく）掲示されている。図６は、マークＭを正面から見た図である。
【００５１】
図５において、装着者が休憩室１００に入室するとき、装着者の位置はＡ１〜Ａ４の順で時間的に変化する。このとき、装着者のＨＭＤ２０１の撮像部３１によって取得される画像は、装着者の位置がＡ１〜Ａ４に変化するにつれて、図７のように変化する。つまり、画像内で、マークＭの像Ｍ’が左上に傾斜して位置し（位置Ａ１）、次に、像Ｍ’が中央上側に位置し（位置Ａ２）、続いて、像Ｍ’が右上に位置し（位置Ａ３）、装着者の入室後は、像Ｍ’が画像から消える（位置Ａ４）。なお、撮像部３１によってマークＭを横方向から（正面以外の方向）から撮影すると、実際には、像Ｍ’は、マークＭにおいて撮像部３１に近い側（例えばマークＭの左端側）が大きく、遠い側（例えばマークＭの右端側）が小さい像（マークＭが傾斜した像）として取得されるが、図面では、便宜上、像Ｍ’を平面的に示している（他の図面でも同様）。
【００５２】
一方、装着者が休憩室１００の前を通過するとき、装着者の位置はＢ１〜Ｂ４の順で時間的に変化する。このとき、装着者のＨＭＤ２０１の撮像部３１によって取得される画像は、装着者の位置がＢ１〜Ｂ４に変化するにつれて、図８のように変化する。つまり、画像内で、マークＭの像Ｍ’が左上に傾斜して位置し（位置Ｂ１）、次に、装着者がマークＭに近づくにつれて像Ｍ’が左右方向に大きくなり（位置Ｂ２）、装着者がマークＭに最も近い位置で像Ｍ’が画像左上で細長くなり（位置Ｂ３）、装着者がマークＭの前を通過した後は、像Ｍ’が画像から消える（位置Ｂ４）。
【００５３】
また、図９は、ＨＭＤ２０１の装着者が、休憩室１００から退出（脱出）するときの動線を模式的に示している。装着者が休憩室１００から退出するとき、装着者の位置はＣ１〜Ｃ４の順で時間的に変化する。このとき、装着者のＨＭＤ２０１の撮像部３１によって取得される画像は、装着者の位置がＣ１〜Ｃ４に変化するにつれて、図１０のように変化する。つまり、装着者が休憩室１００内にいるときは、画像内にマークＭの像Ｍ’は存在しない（位置Ｃ１）。そして、装着者が休憩室１００を出た時点で、撮像部３１によりマークＭが捉えられて像Ｍ’が画像左上に位置し（位置Ｃ２）、装着者がマークＭの正面にきたときに、像Ｍ’が画像左上で細長くなり（位置Ｃ３）、装着者がマークＭの前を通過した後は、像Ｍ’が画像から消える（位置Ｃ４）。
【００５４】
このように、装着者が休憩室１００に入室するとき（特定の空間内に移動するとき）、休憩室１００の前を通過するとき（特定の空間の前を素通りするとき）、休憩室から退出するとき（特定の空間から脱出するとき）のそれぞれにおいて、撮像部３１で取得される画像内で、特定の空間であることを示す物体（マークＭ）の像Ｍ’の形状および位置が変化する。しかも、画像内での像Ｍ’の変化のパターンが、上記３つの移動形態で互いに異なる（図７、図８、図１０参照）。したがって、上記３つの移動形態に特有の像Ｍ’の変化のパターンを予め記憶部３４に記憶させておき、移動判定部３７が、実際に装着者が移動したときに撮像部３１によって取得された像Ｍ’の変化のパターンが、記憶部３４に記憶された各パターンのいずれに最も近いかを（例えばパターンマッチングを利用して）判断することにより、装着者が特定の空間内に移動したこと、装着者が特定の空間の前を素通りしたこと、装着者が特定の空間から脱出したことを区別して判定することができる。
【００５５】
なお、装着者の特定の空間（例えば休憩室１００）内への移動方向や特定の空間の前を素通りする方向が図５で示した方向と異なると、それに伴って、像Ｍ’の変化のパターンも図７または図８と異なるパターンが得られるが、そのような異なるパターンも予め記憶部３４に記憶させておくことにより、特定の空間内への移動方向や素通りの方向の違いにも容易に対応することができる。つまり、特定の空間内への移動方向や素通りの方向が図５とは異なる場合でも、移動判定部３７は、上記と同様に、実際に装着者が移動したときに取得された像Ｍ’の変化のパターンが、記憶部３４に記憶された各パターンのいずれに最も近いかを判断することにより、装着者が特定の空間内へ移動したこと、または素通りしたことを判定することができる。
【００５６】
以上では、特定の空間であることを示す物体として、休憩室１００を示すマークＭを考えたが、上記物体はマーク以外であってもよい。例えば、上記物体は、特定の空間であることを示す表示プレート、文字列、電光掲示板、モニュメントまたはシンボルであってもよい。この場合でも、上記と同様に、撮像部３１によって取得される物体の像の変化のパターンの違いに基づいて、上記３つの移動形態を区別して判定することができる。つまり、撮像部３１によって取得される表示プレート等の像Ｍ’の変化のパターンを上記３つの移動形態のそれぞれにおいて予め取得して記憶部３４に記憶させておき、実際に装着者が移動したときに撮像部３１によって取得された表示プレート等の像Ｍ’の変化のパターンが、記憶部３４に記憶された各パターンのいずれに最も近いかを判断することにより、装着者が特定の空間内に移動したこと、装着者が特定の空間の前を素通りしたこと、装着者が特定の空間から脱出したことを区別して判定することができる。
【００５７】
（移動判定結果に基づく機能制限の制御について）
次に、上記した移動判定部３７での移動判定の結果に基づく処理制御部３８ａの制御について説明する。図１１は、移動判定の結果に基づく処理制御部３８ａの制御による処理の流れを示すフローチャートである。なお、ここでは、特定の空間として、図５で示した休憩室１００を例として説明する。
【００５８】
電源部４０のスイッチがＯＮされてＨＭＤ２０１が起動されると、撮像部３１による撮影が行われ、画像が取得される（Ｓ１）。そして、ＨＭＤ２０１の移動判定部３７は、記憶部３４に記憶された各パターンを参照して、撮像部３１で取得された、休憩室１００を示すマークＭの像Ｍ’の変化のパターンが、休憩室１００内への入室を示すパターンであるか否かを判定する（Ｓ２）。すなわち、Ｓ２では、移動判定部３７は、実際に装着者が移動したときに撮像部３１によって取得された物体の像Ｍ’の変化のパターンが、記憶部３４に予め記憶された各パターンのいずれに最も近いかを判断することにより、休憩室１００内への入室を示すパターンであるか否かを判定する。
【００５９】
Ｓ２にて、像Ｍ’の変化のパターンが、入室を示すパターンではない場合、次に、移動判定部３７は、撮像部３１によって取得された像Ｍ’の変化のパターンが、休憩室１００からの脱出を示すパターンであるか否かを判定する（Ｓ３）。すなわち、Ｓ３では、移動判定部３７は、実際に装着者が移動したときに撮像部３１によって取得された物体の像Ｍ’の変化のパターンが、記憶部３４に予め記憶された各パターンのいずれに最も近いかを判断することにより、休憩室１００からの脱出を示すパターンであるか否かを判定する。Ｓ３にて、像Ｍ’の変化のパターンが、脱出を示すパターンではない場合、装着者が休憩室１００の前を素通りしたと移動判定部３７が判定したことになるため、処理制御部３８ａは、ＨＭＤ２０１の通信機能をそのまま維持する（Ｓ４）。つまり、処理制御部３８ａは、通信部３３の通信の機能を制限しない。
【００６０】
電源部４０のスイッチがＯＦＦされず、処理を継続する場合は、Ｓ２に戻って以降の処理を繰り返す（Ｓ５）。なお、Ｓ１での撮像部３１による撮影は継続して行われる。これにより、引き続き、撮像部３１によって取得される像Ｍ’の変化のパターンに基づく、装着者の移動形態の判定が可能となる。
【００６１】
Ｓ２にて、像Ｍ’の変化のパターンが、入室を示すパターンであると判定された場合、処理制御部３８ａは、ＨＭＤ２０１と作業支援者側の装置（作業支援情報提供装置３０１）との通信を制限する（Ｓ６）。すなわち、ＨＭＤ２０１の通信部３３による作業支援者側の装置への情報の送信を停止する。なお、上記情報には、撮像部３１で取得された画像情報および音声入力装置３５で取得された音声情報を含む。このような通信の制限により、撮像部３１で取得されたプライベート映像の作業支援者側への流出が回避される。処理を継続する場合は、Ｓ２に戻って以降の処理を繰り返す（Ｓ５）。
【００６２】
Ｓ２にて、像Ｍ’の変化のパターンが、入室を示すパターンではないと判定され、Ｓ３にて、像Ｍ’の変化のパターンが、脱出を示すパターンであると判定された場合、処理制御部３８ａは、ＨＭＤ２０１と作業支援者側の装置との通信の制限を解除する（Ｓ７）。すなわち、ＨＭＤ２０１の通信部３３によって、作業支援者側の装置への情報の送信を再開させる。これにより、作業支援者は、作業支援者側の装置にて、ＨＭＤ２０１の撮像部３１で取得した画像を再び見ることができる状態となり、上記画像に基づいて作業指示を出すことが可能となる。つまり、上記装置から、作業指示を表す情報（映像または音声）をＨＭＤ２０１に送信することが可能となる。処理を継続する場合は、Ｓ２に戻って以降の処理を繰り返し（Ｓ５）、処理を継続しない場合は（電源部４０のスイッチがＯＦＦされると）、一連の処理を終了する。
【００６３】
（効果）
以上のように、移動判定部３７は、撮像部３１で取得された、特定の空間（上記の例では休憩室１００）であることを示す物体（マークＭ）の像Ｍ’の、装着者の移動に伴う変化を捉え、その変化に基づいて、ＨＭＤ２０１の装着者が特定の空間内に移動したことを判定する（図７、図８、図１０、図１１のＳ２参照）。装着者の移動に伴う像Ｍ’の変化を捉えることにより、装着者が特定の空間内に移動したことと、特定の空間の前を素通りしたこととを明確に区別して判定することができる（図７、図８参照）。これにより、装着者が特定の空間内に移動したかどうかの判定精度を上げることができ、処理制御部３８ａは、ＨＭＤ２０１の利用環境に応じた機能の制限を適切に行うことが可能となる（図１１のＳ６参照）。つまり、処理制御部３８ａは、正確な移動判定結果に基づいて、ＨＭＤ２０１の搭載機能の変更を無駄なく行うことができる。
【００６４】
また、ＨＭＤ２０１に対して遠隔または近くに位置する作業支援者側の装置から、ＨＭＤ２０１に支援情報（作業の指示情報）を提供し、作業を支援する用途では、ＨＭＤ２０１に撮像部３１および音声入力装置３５を搭載することが多いが、装着者が作業外のプライベートな活動（例えばトイレ、休憩室、更衣室、食堂などへの移動）を行う際に、うっかりＨＭＤ２０１の電源（電源部４０）を切り忘れる場合がある。電源を切り忘れた場合、作業支援者側に装着者のプライベートな画像および音声が伝わってしまう。しかし、本実施形態では、装着者が特定の空間内に移動したことを精度よく判定できるため、装着者が作業外の活動時にうっかりＨＭＤ２０１の電源を切り忘れても、処理制御部３８ａが上記判定に基づいてＨＭＤ２０１の機能を自動的に制限し、これによって、プライベートな活動情報が保護されるとともに、機能の制限が必要なとき（装着者が特定の空間内に移動したとき）のみ確実に、ＨＭＤ２０１の機能を適切に制限することができる。つまり、特定の空間の前を素通りしたときなど、機能の制限が不必要なときに、機能が制限されるのを確実に回避することができ、適切な機能制限が可能となる。また、処理制御部３８ａがＨＭＤ２０１の機能を自動的に制限することにより、ＨＭＤ２０１の装着者がＨＭＤ２０１の電源を操作する手間を省くこともできる。
【００６５】
また、移動判定部３７は、撮像部３１によって取得された像Ｍ’の、装着者の移動に伴う変化のパターンの違いに基づいて、装着者が特定の空間内に移動したこと、装着者が特定の空間から脱出したこと、装着者が特定の空間の前を素通りしたことを区別して判定する（図７、図８、図１０、図１１のＳ２およびＳ３参照）。装着者の上記３つの移動形態では、装着者の移動に伴う像Ｍ’の変化のパターンが互いに相違するため（図７、図８、図１０参照）、移動判定部３７は、上記像Ｍ’の変化のパターンの違いに基づいて、上記３つの移動形態を確実に区別して判定することができる。
【００６６】
また、移動判定部３７は、実際に装着者が移動したときに撮像部３１によって取得された物体の像Ｍ’の変化のパターンが、記憶部３４に記憶された各パターンのいずれに最も近いかを判断することにより、装着者が特定の空間内に移動したこと、装着者が特定の空間から脱出したこと、または装着者が特定の空間の前を素通りしたことを判定する（図１１のＳ２、Ｓ３参照）。装着者の上記３つの移動形態に応じた像Ｍ’の変化のパターンを記憶部３４に予め記憶させておくことで、移動判定部３７は、記憶部３４に記憶された各パターンと、実際に装着者が移動したときに取得される像Ｍ’の変化のパターンとを比較して、装着者の移動形態が上記３つの移動形態のいずれであるかを容易にかつ確実に判定することができる。
【００６７】
また、処理制御部３８ａは、装着者が特定の空間内に移動したと移動判定部３７が判定したときに、ＨＭＤ２０１の機能を制限する（図１１のＳ６参照）。装着者が特定の空間内に移動したときに、ＨＭＤ２０１の機能（例えば通信機能）を制限することにより、撮像部３１または音声入力装置３５で取得される装着者のプライベートな情報が外部に漏れるのを回避して、上記情報を保護することができる。
【００６８】
また、処理制御部３８ａは、装着者が特定の空間から脱出したと移動判定部３７が判定したときに、ＨＭＤ２０１の機能の制限を解除する（図１１のＳ７参照）。装着者が特定の空間から脱出したときには、装着者のプライベートな情報を保護する必要がない。このため、ＨＭＤ２０１の機能（例えば通信機能）の制限を解除することで、例えばＨＭＤ２０１から作業支援者側の装置に必要な情報を提供して、作業を支援する情報を直ちに取得することが可能となり、装着者は効率よく作業を進めることが可能となる。また、処理制御部３８ａにより、ＨＭＤ２０１の機能の制限が自動的に解除されるため、ＨＭＤ２０１の装着者は、ＨＭＤ２０１の機能を回復させる操作（例えば電源ＯＮの操作）を行わなくても済み、そのような操作の手間を省くこともできる。
【００６９】
また、処理制御部３８ａは、装着者が特定の空間の前を素通りしたと移動判定部３７が判定したときに、ＨＭＤ２０１の機能を維持する（図１１のＳ４参照）。装着者が特定の空間の前を素通りした場合、装着者の作業中の移動である場合も想定される。したがって、この場合は、ＨＭＤ２０１の機能（例えば通信機能）を制限せずに維持することにより、例えば作業支援者側の装置との間で通信して、必要な情報（作業の支援情報）を継続して取得して作業を行うことができる。
【００７０】
また、本実施形態の作業支援システム１００は、上記したＨＭＤ２０１（情報入出力装置２００）と、ＨＭＤ２０１に対して、装着者が行う作業を支援する支援情報を提供する端末装置としての作業支援提供装置３０１とを含む。このように、作業支援提供装置３０１からＨＭＤ２０１に対して支援情報を提供して作業支援を行うシステムにおいて、上述した本実施形態の効果を得ることができる。
【００７１】
（制限する機能の他の例）
以上では、装着者が特定の空間内に移動したと移動判定部３７が判定したときに、処理制御部３８ａがＨＭＤ２０１の通信機能を制限する例について説明したが、撮像部３１の機能を制限するようにしてもよい。
【００７２】
図１２〜図１４は、撮像部３１の機能を制限して得られる画像の例をそれぞれ示している。これらの図に示すように、撮像部３１で取得された画像にマスキング処理を行って中央部を認識しにくくし、周辺部のみが認識できる画像を生成してもよい。このように撮像部３１の機能を制限することにより、上記画像の情報が外部に送信されたとしても、第三者（例えば作業支援者）は上記画像の内容（装着者のプライベートな情報）を把握することが困難となり、装着者のプライベートな情報を保護することが可能となる。また、図１４に示すように、画像の周辺部に、装着者の移動形態の判定（特に脱出の判定）に必要な物体の像Ｍ’の一部を残すことができるため、移動判定部３７は、像Ｍ’の変化に基づいて装着者の特定空間からの脱出を判定することが可能となる。つまり、移動判定部３７による装着者の脱出の判定を妨げることなく、装着者のプライベートな情報を保護することが可能となる。
【００７３】
また、装着者が特定の空間内に移動したと移動判定部３７が判定したときに、処理制御部３８ａは、ＨＭＤ２０１の音声入力装置３５の機能を制限するようにしてもよい。例えば、音声入力装置３５での音声データの取得を停止することにより、装着者のプライベートな音声情報が外部に送信されるのを回避して、プライベートな情報を保護することが可能となる。
【００７４】
以上のことから、ＨＭＤ２０１において処理制御部３８ａによって制限される機能は、撮像部３１、音声入力装置３５および通信部３３の少なくとも１つの機能であってもよいと言える。装着者が特定の空間内に移動した場合に、いずれの機能を制限した場合でも、装着者のプライベートな情報を保護することができる。
【００７５】
（機能の制限または解除を促す例−その１）
図１５および図１６は、ＨＭＤ２０１の表示部５の表示画面５ａの例をそれぞれ示している。制御部３８の表示制御部３８ｂは、装着者が特定の空間内に移動したとの移動判定部３７での判定に基づいて、処理制御部３８ａがＨＭＤ２０１の機能を制限する前に、機能の制限を促す指示情報を表示部５に表示させてもよい（図１５参照）。また、表示制御部３８ｂは、装着者が特定の空間から脱出したとの移動判定部３７での判定に基づいて、処理制御部３８ａが機能の制限を解除する前に、機能の制限の解除を促す指示情報を表示部５に表示させてもよい（図１６参照）。
【００７６】
装着者が特定の空間内に移動した場合に、図１５のように、機能の制限を促す指示情報を表示部５に表示させることにより、装着者は、表示された指示情報を見て、自発的にＨＭＤ２０１の機能を手動で制限する操作（例えばＨＭＤ２０１の電源ＯＦＦの操作）を行うことが可能となる。これにより、装着者のプライベートな活動情報が外部に送信される事態を、装着者自らの操作によって回避することができる。また、装着者が機能の制限が必要なことを自らに気づいて操作を進めることになるため、違和感や不快感、緊張感を和らげることもできる。なお、たとえ装着者がＨＭＤ２０１の機能を手動で制限しなかったとしても、その後、処理制御部３８ａがＨＭＤ２０１の機能を自動的に制限するため、装着者のプライベートな情報は保護される。
【００７７】
また、装着者が特定の空間から脱出した場合に、図１６のように機能の制限の解除を促す指示情報を表示部５に表示させることにより、装着者は、表示された指示情報を見て、自発的にＨＭＤ２０１の機能の制限を手動で解除する操作（例えばＨＭＤ２０１の電源ＯＮの操作）を行うことが可能となる。これにより、装着者が特定の空間から脱出した後は、ＨＭＤ２０１と作業支援者側の装置との間で通信を直ちに行って、装着者は、送信される支援情報に基づいて作業を行うことが可能となる。なお、たとえ装着者がＨＭＤ２０１の機能の制限を手動で回避しなかったとしても、その後、処理制御部３８ａがＨＭＤ２０１の機能の制限を自動的に解除するため、作業支援を行うことは可能となる。
【００７８】
（機能の制限または解除を促す例−その２）
図１７および図１８は、ＨＭＤ２０１の音声出力装置３６から出力される音声の例をそれぞれ示している。制御部３８の音声制御部３８ｃは、装着者が特定の空間内に移動したとの移動判定部３７での判定に基づいて、処理制御部３８ａがＨＭＤ２０１の機能を制限する前に、機能の制限を促す指示情報を音声出力装置３６から出力させてもよい（図１７参照）。また、音声制御部３８ｃは、装着者が特定の空間から脱出したとの移動判定部３７での判定に基づいて、処理制御部３８ａが機能の制限を解除する前に、機能の制限の解除を促す指示情報を音声出力装置３６から出力させてもよい（図１８参照）。
【００７９】
装着者が特定の空間内に移動した場合に、図１７のように、機能の制限を促す指示情報を音声出力装置３６から音声で出力させることにより、装着者は、出力された指示情報を聞いて、自発的にＨＭＤ２０１の機能を手動で制限する操作（例えばＨＭＤ２０１の電源ＯＦＦの操作）を行うことが可能となる。これにより、装着者のプライベートな活動情報が外部に送信される事態を、装着者自らの操作によって回避することができる。また、装着者が機能の制限が必要なことを自らに気づいて操作を進めることになるため、違和感や不快感、緊張感を和らげることもできる。なお、たとえ装着者がＨＭＤ２０１の機能を手動で制限しなかったとしても、その後、処理制御部３８ａがＨＭＤ２０１の機能を自動的に制限するため、装着者のプライベートな情報は保護される。
【００８０】
また、装着者が特定の空間から脱出した場合に、図１８のように機能の制限の解除を促す指示情報を音声出力装置３６から音声で出力させることにより、装着者は、出力された指示情報を聞いて、自発的にＨＭＤ２０１の機能の制限を手動で解除する操作（例えばＨＭＤ２０１の電源ＯＮの操作）を行うことが可能となる。これにより、装着者が特定の空間から脱出した後は、ＨＭＤ２０１と作業支援者側の装置との間で通信を直ちに行って、装着者は、送信される支援情報に基づいて作業を行うことが可能となる。なお、たとえ装着者がＨＭＤ２０１の機能の制限を手動で回避しなかったとしても、その後、処理制御部３８ａがＨＭＤ２０１の機能の制限を自動的に解除するため、作業支援を行うことは可能となる。
【００８１】
（機能の制限または解除を促す例−その３）
図１９および図２０は、ＨＭＤ２０１から作業支援情報提供装置３０１に送信される情報の例をそれぞれ示している。制御部３８の通信制御部３８ｄは、装着者が特定の空間内に移動したと移動判定部３７が判定したときに、作業の支援情報の送信元となる作業支援情報提供装置３０１に対して、作業支援情報提供装置３０１の機能の制限を促す映像情報または音声情報を、通信部３３を介して送信してもよい（図１９参照）。また、通信制御部３７ｄは、装着者が特定の空間から脱出したと移動判定部３７が判定したときに、作業支援情報提供装置３０１に対して、機能の制限の解除を促す映像情報または音声情報を、通信部３３を介して送信してもよい（図２０参照）。
【００８２】
ここで、作業支援情報提供装置３０１の上記機能は、作業支援情報提供装置３０１が有する撮像部、表示部、音声入力装置、音声出力装置および通信部の少なくとも１つの機能である。なお、作業支援情報提供装置３０１が、装着者のＨＭＤ２０１と同じ構成である場合、作業支援情報提供装置３０１の撮像部、表示部、音声入力装置、音声出力装置および通信部は、それぞれ、上記ＨＭＤ２０１の撮像部３１、表示部５、音声入力装置３５、音声出力装置３６および通信部３３にそれぞれ相当する。
【００８３】
装着者が特定の空間内に移動した場合に、図１９のように、機能の制限を促す映像情報または音声情報を作業支援情報提供装置３０１に送信することにより、作業支援者は、受信した映像情報を表示部に表示させて、または受信した音声情報を音声出力装置から出力させて、作業支援情報提供装置３０１の機能を手動で制限する操作を行うことが可能となる。これにより、ＨＭＤ２０１の装着者にＨＭＤ２０１側で機能を制限する操作負担を負わせることなく、装着者のプライベートな活動情報（撮像部３１または音声入力装置３５で取得された情報）が作業支援者側に送信されて認識される事態を回避することができる。なお、作業支援者が作業支援情報提供装置３０１の機能を手動で制限する操作を行わなかったとしても、ＨＭＤ２０１の処理制御部３８ａがＨＭＤ２０１の機能を自動的に制限することにより、装着者のプライベートな情報は保護される。
【００８４】
また、装着者が特定の空間から脱出した場合に、図２０のように機能の制限の解除を促す映像情報または音声情報を作業支援情報提供装置３０１に送信することにより、作業支援者は、受信した映像情報を表示部に表示させて、または受信した音声情報を音声出力装置から出力させて、作業支援情報提供装置３０１の機能の制限を手動で解除する操作を行うことが可能となる。これにより、装着者が特定の空間から脱出した後は、ＨＭＤ２０１と作業支援情報提供装置３０１との間で通信を直ちに行って、作業支援情報提供装置３０１とからＨＭＤ２０１に対して作業の支援情報を送信し、ＨＭＤ２０１の装着者は、送信される上記支援情報に基づいて作業を行うことが可能となる。なお、作業支援者が作業支援情報提供装置３０１の機能の制限を手動で解除する操作を行わなかったとしても、処理制御部３８ａがＨＭＤ２０１の機能の制限を自動的に解除するため、作業支援を行うことは可能となる。
【００８５】
（移動判定の他の例）
次に、ＨＭＤ２０１の装着者の移動に伴う像Ｍ’の変化のみならず、時間（物体の撮影時間）も考慮して移動判定を行う例について説明する。
【００８６】
図２１は、ＨＭＤ２０１の装着者が特定の空間の一例である休憩室１００に入室するときの動線と、動線上で１秒ごとの装着者の位置Ａ０〜Ａ６とを模式的に示している。また、図２２は、図２１の動線上の各位置Ａ０〜Ａ６での、撮像部３１によって取得される画像内のマークＭの像Ｍ’の有無を示している。なお、図２２では、撮像部３１がマークＭを捉え始めた時間を０秒として、そこからの経過時間を併せて示している。装着者が休憩室１００に入室する場合、位置Ａ１で撮像部３１がマークＭを捉え始め、そこから４秒後の位置Ａ５でマークＭの撮影が終わっている。すなわち、入室の場合、撮像部３１によるマークＭの撮影時間（マークＭを捉えた時間）は、４秒である。
【００８７】
図２３は、ＨＭＤ２０１の装着者が休憩室１００の前を通過（素通り）するときの動線と、動線上で１秒ごとの装着者の位置Ｂ０〜Ｂ７とを模式的に示している。また、図２４は、図２３の動線上の各位置Ｂ０〜Ｂ７での、撮像部３１によって取得される画像内のマークＭの像Ｍ’の有無を示している。なお、図２４でも同様に、撮像部３１がマークＭを捉え始めた時間を０秒として、そこからの経過時間を併せて示している。装着者が休憩室１００の前を通過する場合、位置Ｂ１で撮像部３１がマークＭを捉え始め、そこから５秒後の位置Ｂ６でマークＭの撮影が終わっている。すなわち、通過の場合、撮像部３１によるマークＭの撮影時間は、５秒である。
【００８８】
図２５は、ＨＭＤ２０１の装着者が休憩室１００から退出（脱出）するときの動線と、動線上で１秒ごとの装着者の位置Ｃ０〜Ｃ３とを模式的に示している。また、図２６は、図２５の動線上の各位置Ｃ０〜Ｃ３での、撮像部３１によって取得される画像内のマークＭの像Ｍ’の有無を示している。なお、図２６でも同様に、撮像部３１がマークＭを捉え始めた時間を０秒として、そこからの経過時間を併せて示している。装着者が休憩室１００から退出する場合、位置Ｃ１で撮像部３１がマークＭを捉え始め、そこから１秒後の位置Ｃ２でマークＭの撮影が終わっている。すなわち、退出の場合、撮像部３１によるマークＭの撮影時間は、１秒である。
【００８９】
上記のように、装着者の３つの移動形態（入室、通過、退出）において、撮像部３１がマークＭを撮影できる時間は互いに異なる。そこで、移動判定部３７は、撮像部３１での撮影によって取得された、特定の空間であることを示す物体（例えばマークＭ）の像Ｍ’の、装着者の移動に伴う変化と、マークＭの撮影時間とに基づいて、入室（装着者が特定の空間内に移動したこと）、通過（装着者が特定の空間の前を素通りしたこと）、退出（装着者が特定の空間から脱出したこと）を区別して判定してもよい。撮像部３１によって取得されるマークＭの像Ｍ’は、休憩室１００の壁に取り付けられるマークＭの位置や向き、装着者が休憩室１００に入る方向、休憩室１００から退出する方向、休憩室１００の前を通過する方向などにより、装着者の入室、通過、退出の相互間で類似することもある。上記のように、装着者の移動に伴う像Ｍ’の変化に加えて、マークＭの撮影時間も考慮して移動判定を行うことにより、移動判定の精度をさらに向上させることができ、より正確な移動判定の結果に基づいて、処理制御部３８ａがＨＭＤ２０１の機能を適切に制限することが可能となる。
【００９０】
（その他）
以上では、作業支援の用途に適用されるＨＭＤ２０１について説明したが、用途は作業支援には限定されない。例えば、アミューズメントの分野において、複数のＨＭＤ間で情報を表示および送受信するシステムが構築される場合には、ＨＭＤの使用者がＨＭＤを装着したまま、特定の空間（例えば休憩室やトイレ）に入ったり、特定の空間の前を素通りしたり、特定の空間から脱出することがあり得る。この場合でも、本実施形態で説明した構成および方法を適用して、装着者の移動判定の精度を上げることにより、上記判定結果に基づくＨＭＤの機能制限を適切に行うことができる。
【００９１】
なお、以上の各実施の形態で説明したＨＭＤおよび作業支援システムは、以下のように表現することもできる。
【００９２】
１．外部と通信を行うための通信部と、
前記通信部を介して外部から取得される情報を表示する表示部とを備えたシースルー型のヘッドマウントディスプレイであって、
該ヘッドマウントディスプレイの装着者が視認する外界を撮影して画像を取得する撮像部と、
前記装着者が特定の空間内に移動したことを判定する移動判定部と、
前記移動判定部での判定結果に基づいて、該ヘッドマウントディスプレイの機能を制限、解除または維持する処理制御部とをさらに備え、
前記移動判定部は、前記撮像部での撮影によって取得された、前記特定の空間であることを示す物体の像の、前記装着者の移動に伴う変化に基づいて、前記装着者が前記特定の空間内に移動したことを判定することを特徴とするヘッドマウントディスプレイ。
【００９３】
２．前記移動判定部は、前記物体の像の、前記装着者の移動に伴う変化のパターンの違いに基づいて、前記装着者が前記特定の空間内に移動したこと、前記装着者が前記特定の空間から脱出したこと、前記装着者が前記特定の空間の前を素通りしたことを区別して判定することを特徴とする前記１に記載のヘッドマウントディスプレイ。
【００９４】
３．前記装着者が前記特定の空間内に移動したとき、前記特定の空間から脱出したとき、前記特定の空間の前を素通りしたときのそれぞれについての、前記物体の像の変化の各パターンを予め記憶する記憶部をさらに備え、
前記移動判定部は、実際に前記装着者が移動したときに前記撮像部での撮影によって取得された前記物体の像の変化のパターンが、前記記憶部に記憶された各パターンのいずれに最も近いかを判断することにより、前記装着者が前記特定の空間内に移動したこと、前記装着者が前記特定の空間から脱出したこと、または前記装着者が前記特定の空間の前を素通りしたことを判定することを特徴とする前記２に記載のヘッドマウントディスプレイ。
【００９５】
４．前記処理制御部は、前記装着者が前記特定の空間内に移動したと前記移動判定部が判定したときに、該ヘッドマウントディスプレイの機能を制限することを特徴とする前記３に記載のヘッドマウントディスプレイ。
【００９６】
５．前記処理制御部は、前記装着者が前記特定の空間から脱出したと前記移動判定部が判定したときに、前記機能の制限を解除することを特徴とする前記４に記載のヘッドマウントディスプレイ。
【００９７】
６．前記処理制御部は、前記装着者が前記特定の空間の前を素通りしたと前記移動判定部が判定したときに、該ヘッドマウントディスプレイの機能を維持することを特徴とする前記３から５のいずれかに記載のヘッドマウントディスプレイ。
【００９８】
７．前記表示部を制御する表示制御部をさらに備え、
前記表示制御部は、前記装着者が前記特定の空間内に移動したとの前記移動判定部での判定に基づいて、前記処理制御部が該ヘッドマウントディスプレイの機能を制限する前に、前記機能の制限を促す指示情報を前記表示部に表示させる一方、前記装着者が前記特定の空間から脱出したとの前記移動判定部での判定に基づいて、前記処理制御部が前記機能の制限を解除する前に、前記機能の制限の解除を促す指示情報を前記表示部に表示させることを特徴とする前記１から６のいずれかに記載のヘッドマウントディスプレイ。
【００９９】
８．音声を出力する音声出力装置と、
前記音声出力装置を制御する音声制御部とをさらに備え、
前記音声制御部は、前記装着者が前記特定の空間内に移動したとの前記移動判定部での判定に基づいて、前記処理制御部が該ヘッドマウントディスプレイの機能を制限する前に、前記機能の制限を促す指示情報を前記音声出力装置から出力させる一方、前記装着者が前記特定の空間から脱出したとの前記移動判定部での判定に基づいて、前記処理制御部が前記機能の制限を解除する前に、前記機能の制限の解除を促す指示情報を前記音声出力装置から出力させることを特徴とする前記１から７のいずれかに記載のヘッドマウントディスプレイ。
【０１００】
９．前記装着者の音声が入力される音声入力装置をさらに備え、
該ヘッドマウントディスプレイの前記機能は、前記撮像部、前記音声入力装置および前記通信部の少なくとも１つの機能であることを特徴とする前記１から８のいずれかに記載のヘッドマウントディスプレイ。
【０１０１】
１０．前記移動判定部は、前記撮像部での撮影によって取得された前記物体の像の、前記装着者の移動に伴う変化と、前記物体の撮影時間とに基づいて、前記装着者が前記特定の空間内に移動したことを判定することを特徴とする前記１から９のいずれかに記載のヘッドマウントディスプレイ。
【０１０２】
１１．前記特定の空間であることを示す前記物体は、表示プレート、マーク、文字列、電光掲示板、モニュメントまたはシンボルであることを特徴とする前記１から１０のいずれかに記載のヘッドマウントディスプレイ。
【０１０３】
１２．前記表示部は、前記通信部を介して外部から取得される、前記装着者が行う作業を支援する支援情報を表示することを特徴とする前記１から１１のいずれかに記載のヘッドマウントディスプレイ。
【０１０４】
１３．前記通信部を制御する通信制御部をさらに備え、
前記通信制御部は、前記装着者が前記特定の空間内に移動したと前記移動判定部が判定したときに、前記支援情報の送信元となる作業支援情報提供装置に対して、前記作業支援情報提供装置の機能の制限を促す映像情報または音声情報を前記通信部を介して送信する一方、前記装着者が前記特定の空間から脱出したと前記移動判定部が判定したときに、前記作業支援情報提供装置に対して、前記機能の制限の解除を促す映像情報または音声情報を前記通信部を介して送信することを特徴とする前記１２に記載のヘッドマウントディスプレイ。
【０１０５】
１４．前記作業支援情報提供装置の前記機能は、前記作業支援情報提供装置が有する撮像部、表示部、音声入力装置、音声出力装置および通信部の少なくとも１つの機能であることを特徴とする前記１３に記載のヘッドマウントディスプレイ。
【０１０６】
１５．前記１から１４のいずれかに記載のヘッドマウントディスプレイと、
前記ヘッドマウントディスプレイに対して、前記装着者が行う作業を支援する情報を提供する端末装置とを含むことを特徴とする作業支援システム。
【０１０７】
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。
【産業上の利用可能性】
【０１０８】
本発明は、例えば作業支援に用いられるＨＭＤに利用可能である。
【符号の説明】
【０１０９】
５      表示部
３１      撮像部
３３      通信部
３４      記憶部
３５      音声入力装置
３６      音声出力装置
３７      移動判定部
３８ａ    処理制御部
３８ｂ    表示制御部
３８ｃ    音声制御部
３８ｄ    通信制御部
１００      作業支援システム
２００      情報入出力端末（ヘッドマウントディスプレイ、端末装置）
２０１      ＨＭＤ（ヘッドマウントディスプレイ）
３０１      作業支援情報提供装置（端末装置）
【図１】
2020004114.tif 000003
【図２】
2020004114.tif 000004
【図３】
2020004114.tif 000005
【図４】
2020004114.tif 000006
【図５】
2020004114.tif 000007
【図６】
2020004114.tif 000008
【図７】
2020004114.tif 000009
【図８】
2020004114.tif 000010
【図９】
2020004114.tif 000011
【図１０】
2020004114.tif 000012
【図１１】
2020004114.tif 000013
【図１２】
2020004114.tif 000014
【図１３】
2020004114.tif 000015
【図１４】
2020004114.tif 000016
【図１５】
2020004114.tif 000017
【図１６】
2020004114.tif 000018
【図１７】
2020004114.tif 000019
【図１８】
2020004114.tif 000020
【図１９】
2020004114.tif 000021
【図２０】
2020004114.tif 000022
【図２１】
2020004114.tif 000023
【図２２】
2020004114.tif 000024
【図２３】
2020004114.tif 000025
【図２４】
2020004114.tif 000026
【図２５】
2020004114.tif 000027
【図２６】
2020004114.tif 000028