(57)【要約】【課題】情報量の多い連続したコンテンツを順次参照しながら自然な動作で作業を進めることを可能とするヘッドマウントディスプレイを提供する。【解決手段】装着者の頭部周囲の空間にＮ個（Ｎ≧３）の表示空間Ｋｊ（ｊ＝１〜Ｎ）が順序付けて設定され、検出された頭部の向いている方位の表示空間Ｋｊに、連続したＭ個（Ｍ＞Ｎ）のコンテンツＣｉ（ｉ＝１〜Ｍ）の画像を表示する仮想画面Ｇｊ（ｊ＝１〜Ｎ）が、表示空間Ｋｊに対応するように順序付けて設定される。仮想画面Ｇ１〜ＧＮにコンテンツＣｉ〜Ｃｉ＋（Ｎ−１）の画像が割り当てられた状態において、頭部の向いている方位の表示空間Ｋｊが表示空間ＫＮから表示空間Ｋ１に変化したときには、先頭の仮想画面Ｇ１から順に、コンテンツＣｉ＋Ｎ〜Ｃｉ＋２Ｎ−１の画像を割り当て、頭部の向いている方位の表示空間Ｋｊが表示空間Ｋ１から表示空間ＫＮに変化したときには、末尾の仮想画面ＧＮから逆順に、コンテンツＣｉ−１〜Ｃｉ−Ｎの画像を割り当てて、画像表示が制御される。【選択図】図１０
2019117308.tif 000002
【特許請求の範囲】
【請求項１】
装着者の頭部の向いている方位を検出する頭部方位検出部と、画像表示を行う表示部と、前記表示部での画像表示を制御する制御部と、を備えたシースルー型のヘッドマウントディスプレイであって、
頭部周囲の空間にＮ個（Ｎ≧３）の表示空間Ｋｊ（ｊ＝１〜Ｎ）を順序付けて設定し、前記頭部方位検出部で検出された頭部の向いている方位の表示空間Ｋｊに、連続したＭ個（Ｍ＞Ｎ）のコンテンツＣｉ（ｉ＝１〜Ｍ）の画像を前記表示部で表示する仮想画面Ｇｊ（ｊ＝１〜Ｎ）を、前記表示空間Ｋｊに対応するように順序付けて設定したとき、
仮想画面Ｇ１〜ＧＮにコンテンツＣｉ〜Ｃｉ＋（Ｎ−１）の画像が割り当てられた状態において、頭部の向いている方位の表示空間Ｋｊが表示空間ＫＮから表示空間Ｋ１に変化したときには、先頭の仮想画面Ｇ１から順に、コンテンツＣｉ＋Ｎ〜Ｃｉ＋２Ｎ−１の画像を割り当て、頭部の向いている方位の表示空間Ｋｊが表示空間Ｋ１から表示空間ＫＮに変化したときには、末尾の仮想画面ＧＮから逆順に、コンテンツＣｉ−１〜Ｃｉ−Ｎの画像を割り当てて、前記制御部が前記表示部での画像表示の制御を行うことを特徴とするヘッドマウントディスプレイ。
【請求項２】
先頭の仮想画面Ｇ１が配置された表示空間Ｋ１と末尾の仮想画面ＧＮが配置された表示空間ＫＮとを結ぶ空間には、他の表示空間Ｋｊ（ｊ＝２〜Ｎ−１）が配置されないことを特徴とする請求項１記載のヘッドマウントディスプレイ。
【請求項３】
仮想画面Ｇ１〜ＧＮにコンテンツＣｉ〜Ｃｉ＋（Ｎ−１）の画像が割り当てられた状態で、頭部の向いている方位の表示空間Ｋｊが表示空間Ｋｋ（ｊ＋１＜ｋ＜Ｎ）に変化したときには、前記表示部での画像表示を行わないことを特徴とする請求項１又は２記載のヘッドマウントディスプレイ。
【請求項４】
情報を記録する記憶部を更に備えたことを特徴とする請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項５】
頭部の向いている方位の表示空間Ｋｊの仮想画面Ｇｊに表示されているコンテンツＣｉの識別情報と共に、その表示空間Ｋｊの方位を頭部が向いていた時間情報が、前記記憶部に記録されることを特徴とする請求項４記載のヘッドマウントディスプレイ。
【請求項６】
前記仮想画面Ｇｊが配置されていない空間を撮影空間として、その撮影空間を撮影するカメラ部を更に備えたことを特徴とする請求項４又は５記載のヘッドマウントディスプレイ。
【請求項７】
頭部が撮影空間の方位を向くと、直前に向いていた方位の表示空間Ｋｊの仮想画面Ｇｊに表示されているコンテンツＣｉの識別情報と共に、頭部が撮影空間の方位を向いてから撮影空間以外の空間に頭部の方位が向くまでの動画が、前記カメラ部で撮影されて前記記憶部に記録されることを特徴とする請求項６記載のヘッドマウントディスプレイ。
【請求項８】
装着者の視線の方位を検出する視線検出部を更に備え、前記頭部方位検出部と前記視線検出部の出力情報から、頭部周囲の空間に対する視線の方位が逐次算出されて、時刻情報とともに視線軌跡情報として前記記憶部に記録されることを特徴とする請求項４〜７のいずれか１項に記載のヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はヘッドマウントディスプレイに関するものであり、例えば、液晶表示素子の２次元映像をコンバイナーで観察者眼に投影表示するシースルー型のヘッドマウントディスプレイに関するものである。
【背景技術】
【０００２】
シースルー型のヘッドマウントディスプレイには、表示映像と外界の透過視界との同時観察により、ハンズフリーで情報を得ながら現実世界の作業を実行できる、という利点がある。その利点を活かした用途として、物流，製造，保守等の業務支援用途が注目されてきており、その作業の一例としては、物流におけるピッキング作業が挙げられる。
【０００３】
ピッキング作業では、ピッキングした商品のバーコードをバーコードリーダーで読み取り、倉庫管理システムにその情報を送るとともに、商品に間違いが無いかのチェックがなされる。ヘッドマウントディスプレイは、このバーコードリーダーを読む動作をトリガーとして、次のピッキング対象の情報に映像を遷移させることが可能である。つまり、作業に含まれる必要な動作をトリガーに用いて、作業に調和したユーザーインターフェイスを実現することが可能である。
【０００４】
一方、製造業における組立作業や保守業における点検・修理作業等では、連続した手順書を順次参照しながら作業を進めるケースが多く、ピッキング作業に比べると情報量が多い。そのため、ページの送り／戻しは避けられないが、バーコード読み動作のように定常的に情報遷移トリガーに使用できる動作は無い。また、航空機産業等の安全性に関わる領域では、熟練者であっても手順書を確認してから作業を行って、その作業のエビデンスを確実に残すといったニーズがある。これらに対応して、製造業や保守業でもその作業に調和した形態の新しいユーザーインターフェイスが、作業支援用ヘッドマウントディスプレイに求められている。
【０００５】
こういった要求に応えるため、仮想スクリーン上で複数の仮想画面の操作を行う技術が特許文献１で提案されている。特許文献１に記載のヘッドマウントディスプレイでは、作業者の頭部や体の向き、視線、トリガー等により、画像を制御する構成になっている。頭部の向きと視線の情報により仮想スクリーン上の複数の画面から任意の画像が選択され、トリガーにより操作対象画面に設定される。操作対象画面は、頭部の向きと視線から求められた仮想スクリーン上の位置に移動して、トリガーにより固定される。その結果、多くのディスプレイが接続されたパーソナルコンピューターで編集等の作業を行うようなシーンでの多ディスプレイの代用を、ヘッドマウントディスプレイと頭部の動き等で実現することが可能となる。この仮想的な多画面での画像表示は、多様な情報の分析・編集に適している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】ＷＯ９５／０５６２０
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載のヘッドマウントディスプレイは、連続したコンテンツ（例えば、仮想画面数以上の多くのページにわたる作業標準書，手順書，マニュアル等）を順次参照しながら組立等の作業をするには必ずしも向かないものであり、表示されるコンテンツを送る／戻すといった操作に関する技術的な開示は特許文献１に存在しない。
【０００８】
本発明はこのような状況に鑑みてなされたものであって、その目的は、情報量の多い連続したコンテンツを順次参照しながら自然な動作で作業を進めることを可能とするヘッドマウントディスプレイを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明のヘッドマウントディスプレイは、装着者の頭部の向いている方位を検出する頭部方位検出部と、画像表示を行う表示部と、前記表示部での画像表示を制御する制御部と、を備えたシースルー型のヘッドマウントディスプレイであって、
頭部周囲の空間にＮ個（Ｎ≧３）の表示空間Ｋｊ（ｊ＝１〜Ｎ）を順序付けて設定し、前記頭部方位検出部で検出された頭部の向いている方位の表示空間Ｋｊに、連続したＭ個（Ｍ＞Ｎ）のコンテンツＣｉ（ｉ＝１〜Ｍ）の画像を前記表示部で表示する仮想画面Ｇｊ（ｊ＝１〜Ｎ）を、前記表示空間Ｋｊに対応するように順序付けて設定したとき、
仮想画面Ｇ１〜ＧＮにコンテンツＣｉ〜Ｃｉ＋（Ｎ−１）の画像が割り当てられた状態において、頭部の向いている方位の表示空間Ｋｊが表示空間ＫＮから表示空間Ｋ１に変化したときには、先頭の仮想画面Ｇ１から順に、コンテンツＣｉ＋Ｎ〜Ｃｉ＋２Ｎ−１の画像を割り当て、頭部の向いている方位の表示空間Ｋｊが表示空間Ｋ１から表示空間ＫＮに変化したときには、末尾の仮想画面ＧＮから逆順に、コンテンツＣｉ−１〜Ｃｉ−Ｎの画像を割り当てて、前記制御部が前記表示部での画像表示の制御を行うことを特徴とする。
【００１０】
第２の発明のヘッドマウントディスプレイは、上記第１の発明において、先頭の仮想画面Ｇ１が配置された表示空間Ｋ１と末尾の仮想画面ＧＮが配置された表示空間ＫＮとを結ぶ空間には、他の表示空間Ｋｊ（ｊ＝２〜Ｎ−１）が配置されないことを特徴とする。
【００１１】
第３の発明のヘッドマウントディスプレイは、上記第１又は第２の発明において、仮想画面Ｇ１〜ＧＮにコンテンツＣｉ〜Ｃｉ＋（Ｎ−１）の画像が割り当てられた状態で、頭部の向いている方位の表示空間Ｋｊが表示空間Ｋｋ（ｊ＋１＜ｋ＜Ｎ）に変化したときには、前記表示部での画像表示を行わないことを特徴とする。
【００１２】
第４の発明のヘッドマウントディスプレイは、上記第１〜第３のいずれか１つの発明において、情報を記録する記憶部を更に備えたことを特徴とする。
【００１３】
第５の発明のヘッドマウントディスプレイは、上記第４の発明において、頭部の向いている方位の表示空間Ｋｊの仮想画面Ｇｊに表示されているコンテンツＣｉの識別情報と共に、その表示空間Ｋｊの方位を頭部が向いていた時間情報が、前記記憶部に記録されることを特徴とする。
【００１４】
第６の発明のヘッドマウントディスプレイは、上記第４又は第５の発明において、前記仮想画面Ｇｊが配置されていない空間を撮影空間として、その撮影空間を撮影するカメラ部を更に備えたことを特徴とする。
【００１５】
第７の発明のヘッドマウントディスプレイは、上記第６の発明において、頭部が撮影空間の方位を向くと、直前に向いていた方位の表示空間Ｋｊの仮想画面Ｇｊに表示されているコンテンツＣｉの識別情報と共に、頭部が撮影空間の方位を向いてから撮影空間以外の空間に頭部の方位が向くまでの動画が、前記カメラ部で撮影されて前記記憶部に記録されることを特徴とする。
【００１６】
第８の発明のヘッドマウントディスプレイは、上記第４〜第７のいずれか１つの発明において、装着者の視線の方位を検出する視線検出部を更に備え、前記頭部方位検出部と前記視線検出部の出力情報から、頭部周囲の空間に対する視線の方位が逐次算出されて、時刻情報とともに視線軌跡情報として前記記憶部に記録されることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、画像表示の制御に装着者の頭部の向いている方位を用いてコンテンツの送り／戻しを行う構成になっているため、情報量の多い連続したコンテンツを順次参照しながら自然な動作で作業を進めることが可能である。例えば、製造業における組立作業や保守業における点検・修理作業等において、仮想画面数以上の多くのページにわたる作業標準書，手順書，マニュアル等のコンテンツを順次参照しながら作業を進めることができる。そして、その作業のエビデンスを記録として記憶部に残す場合でも、作業者が機械的操作に手を取られることのない自然さで、作業動作に調和したユーザーインターフェイスを構成することができる。
【図面の簡単な説明】
【００１８】
【図１】ヘッドマウントディスプレイを作業者が装着した状態を示す図。
【図２】ディスプレイ本体の具体例を示す斜視図。
【図３】ヘッドマウントディスプレイのシースルー性を説明するための模式図。
【図４】ディスプレイ本体とそれを支持するためのフレームの具体例を示す図。
【図５】ヘッドマウントディスプレイを構成するコントローラーの具体例を示す斜視図。
【図６】ヘッドマウントディスプレイの概略構成と、複数のヘッドマウントディスプレイで構成された通信システムの概略構成と、を示すブロック図。
【図７】作業者とその周囲の表示空間との関係を示す模式図。
【図８】作業者とその周囲の撮影空間との関係を示す模式図。
【図９】仮想画面に表示されるコンテンツを示す概念図。
【図１０】仮想画面に割り付けられたコンテンツの遷移動作の第１具体例を説明するための図。
【図１１】仮想画面に割り付けられたコンテンツの遷移動作の第２具体例を説明するための図。
【図１２】仮想画面に割り付けられたコンテンツの遷移動作の第３具体例を説明するための図。
【図１３】作業者とその周囲の表示空間及び撮影空間との関係を示す模式図。
【図１４】視線検出機能付きのディスプレイ本体の具体例を示す斜視図。
【図１５】図１４のディスプレイ本体を用いた視線軌跡情報の追加記録を説明するための模式図。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態に係るヘッドマウントディスプレイの構成，動作等を、図面を参照しつつ説明する。なお、実施の形態，具体例等の相互で同一の部分や相当する部分には同一の符号を付して重複説明を適宜省略する。
【００２０】
図１に作業者５がヘッドマウントディスプレイ１を装着した状態を示し、図２にディスプレイ本体２とケーブル３の外観を示す。ヘッドマウントディスプレイ１は、作業者（装着者）５の眼前で映像表示を行うために頭部５Ｈに装着されるディスプレイ本体２と、ヘッドマウントディスプレイ１全体の制御や作業者５による操作等を行うためのコントローラー４と、これらを接続するケーブル３と、を備えている。ケーブル３はディスプレイ本体２に固定されており、その先端のコネクター３ａ（図２）をコントローラー４に接続することにより使用可能な状態となる。ディスプレイ本体２は、ケーブル３によりコントローラー４から電源供給を受けるとともに、ケーブル３を介してコントローラー４に対する電気信号の授受を行う。
【００２１】
ディスプレイ本体２は、図２に示すように、筐体２ａ，プリズム２ｂ，プリズム枠２ｃ，コンバイナー２ｄ等で構成されている。筐体２ａにはカメラ部２２，マイク部２３等が搭載されており、筐体２ａの内部には、後述する表示部２１（液晶表示素子等）や頭部方位検出部２４（角加速度センサー等）も配置されている（図６（Ａ））。ディスプレイ本体２を、図３に示すように眼ＥＹの前に位置させると、筐体２ａ内の表示部２１で生成された映像光Ｌａがコンバイナー２ｄで反射されて眼ＥＹに入射し、２次元映像が虚像として眼ＥＹに投影表示される。それと同時に、プリズム２ｂとコンバイナー２ｄを透過した外界光Ｌｂも眼ＥＹに入射するので、外界視界も観測される。
【００２２】
上記のように、ヘッドマウントディスプレイ１はシースルー型であるため、表示映像と外界の透過視界との同時観察により、ハンズフリーで情報を得ながら現実世界の作業を実行することができる。例えば、組立作業等を行う作業者５が、ディスプレイ本体２に表示される作業手順を参照しながら作業を進めることができ、その記録をカメラ部２２，マイク部２３等で残すことも可能である。
【００２３】
図４に、ディスプレイ本体２とそれを支持するためのフレーム７の具体例を示す。ディスプレイ本体２の筐体２ａには、図４（Ａ）に示すように、係合溝２ｆが形成されており、その係合溝２ｆはディスプレイ本体２を頭部５Ｈに装着するための各種装着具と係合可能に構成されている。図４（Ｂ）に示すフレーム７はメガネ型装着具の一例である。フレーム７には２つの取り付けレール７ａが設けられており、少なくとも一方の取り付けレール７ａに筐体２ａの係合溝２ｆを係合させることにより、少なくとも一方の眼ＥＹの前にディスプレイ本体２を配置することを可能としている。
【００２４】
図５に、コントローラー４の外観を示す。コントローラー４の外面には、インターフェイス，手動操作部４４（図６（Ａ））等が設けられている。例えば、ケーブル３先端のコネクター３ａ（図２）でディスプレイ本体２と接続するケーブル接続部４ａが設けられており、スピーカー前面開口４ｂ，マイク／イヤホン接続部４ｃ，外部電源接続部（μＵＳＢ）４ｄ，汎用インターフェイス（ＵＳＢ）４ｅ，操作釦４ｆ（９個），電源ボタン４ｇ，電池保持部４ｈ，電池蓋４ｉ等も設けられている。
【００２５】
図６（Ａ）にヘッドマウントディスプレイ１の概略構成をブロック図で示し、図６（Ｂ）に複数のヘッドマウントディスプレイ１で構成された通信システム９の概略構成をブロック図で示す。図６（Ａ）に示すように、ディスプレイ本体２は、表示部２１（例えば、照明光を変調して映像を表示する反射型又は透過型の液晶表示素子等），カメラ部２２，マイク部２３，頭部方位検出部２４（例えば、装着者５の頭部５Ｈの向きを角度として検知する頭部センシング用の角加速度センサー等），視線検出部２５等を有しており、コントローラー４は、情報処理部４２を含む制御部４１，記憶部４３，手動操作部４４，通信部４５，電源部４６等を有している。頭部方位検出部２４では作業者５の頭部５Ｈの向いている方位が検出され、視線検出部２５では作業者５の視線の方位が検出される。また制御部４１では、表示部２１での画像表示の制御だけでなく、ヘッドマウントディスプレイ１全体の制御が行われる。
【００２６】
通信システム９は、図６（Ｂ）に示すように、複数のヘッドマウントディスプレイ１と作業情報配信・収集装置６とで構成されており、複数の作業者５が同時に作業する組立作業現場等において、作業情報配信・収集装置６と各作業者５が装着しているヘッドマウントディスプレイ１とが、通信部４５により情報通信を行うように構成されている。作業手順等の情報は、コントローラー４の記憶部４３にあらかじめ記憶させておいてもよいし、作業情報配信・収集装置６からヘッドマウントディスプレイ１に随時送信するようにしてもよい。
【００２７】
ディスプレイ本体２の表示部２１で表示する画像は、情報処理部４２によって映像信号に変換され、電源部４６からの電源電力とともに表示部２１に供給される。逆に、ケーブル３を介して送られてきた頭部方位検出部２４からの信号は、情報処理部４２で処理されることにより、作業者５の頭部５Ｈの向いている方位を表す情報となる。また、カメラ部２２の映像信号やマイク部２３の音声信号も、ケーブル３を介してコントローラー４へ送られ、記憶部４３にその情報が記録される。
【００２８】
図７に、作業者５とその周囲の表示空間Ｋｊ（ｊ＝１〜Ｎ，Ｎ＝４）との関係を示す。図７において、（Ａ）は作業者５の背後上方から見た俯瞰図であり、（Ｂ）は作業者５の上方から見た平面図であり、（Ｃ）は作業者５の側方から見た側面図である。ここでは、作業者５の頭部５Ｈの周囲に４つの表示空間Ｋｊ（ｊ＝１〜４）を設定し、作業者５の正面に対して左右対称に４つの表示空間Ｋｊ（ｊ＝１〜４）を配置した。この空間定義では、作業者５の頭部５Ｈの正面、水平方向をゼロとし、作業者５の左方を＋とし、作業者５の上方を＋として定義している。
【００２９】
４つの表示空間Ｋｊは、上記のようにｊ＝１〜４に順序付けされており、水平方向角度Ｈ、垂直方向角度Ｖにより、
表示空間Ｋ１：−Ｈ１［ｄｅｇ］≦Ｈ≦−Ｈ２［ｄｅｇ］，−Ｖ２［ｄｅｇ］≦Ｖ≦＋Ｖ１［ｄｅｇ］、
表示空間Ｋ２：−Ｈ１［ｄｅｇ］≦Ｈ≦−Ｈ２［ｄｅｇ］，−Ｖ４［ｄｅｇ］≦Ｖ≦−Ｖ３［ｄｅｇ］、
表示空間Ｋ３：＋Ｈ２［ｄｅｇ］≦Ｈ≦＋Ｈ１［ｄｅｇ］，−Ｖ４［ｄｅｇ］≦Ｖ≦−Ｖ３［ｄｅｇ］、
表示空間Ｋ４：＋Ｈ２［ｄｅｇ］≦Ｈ≦＋Ｈ１［ｄｅｇ］，−Ｖ２［ｄｅｇ］≦Ｖ≦＋Ｖ１［ｄｅｇ］、
と定義される。すなわち、作業者５から見て、右上が表示空間Ｋ１、右下が表示空間Ｋ２、左下が表示空間Ｋ３、左上が表示空間Ｋ４である。
【００３０】
図８に、作業者５とその周囲の撮影空間Ｓ１との関係を示す。撮影空間Ｓ１は仮想画面Ｇｊが配置されていない空間に設定されており、カメラ部２２での撮影が可能になっている。図８において、（Ａ）は作業者５の上方から見た平面図であり、（Ｂ）は作業者５の側方から見た側面図である。撮影空間Ｓ１は、作業者５の正面・下方に配置され、
撮影空間Ｓ１：−Ｈ３［ｄｅｇ］≦Ｈ≦＋Ｈ３［ｄｅｇ］，−Ｖ６［ｄｅｇ］≦Ｖ≦−Ｖ５［ｄｅｇ］、
と定義される。
【００３１】
角加速度センサー等からなる頭部方位検出部２４（図６（Ａ））からの信号は、コントローラー４の情報処理部４２で処理される。情報処理部４２での信号処理により、作業者５の頭部５Ｈが向いている方位が得られる。したがって、作業者５の頭部５Ｈが表示空間Ｋｊ（ｊ＝１〜４），撮影空間Ｓ１のいずれかに向いているとき、これを識別することができ、頭部５Ｈが向いている空間に応じて表示や撮影の動作を行うことができる。
【００３２】
このヘッドマウントディスプレイ１では、頭部５Ｈの向き（方位）を検出するために角加速度センサーの使用を想定しているが、各空間の中心付近に識別可能なマーカーを配置し（例えば、壁，天井，床等に描いたり貼ったりする。）、ディスプレイ本体２に搭載のカメラ部２２でこのマーカーをとらえ、どのマーカーがカメラ画像に写っているか、カメラ画像のどの位置に写っているか、等を計測して、作業者５の頭部５Ｈがどの空間の方位を向いているかを認識することも可能である。つまり、情報処理部４２は作業者５の頭部５Ｈの向いている表示空間Ｋｊに応じて、異なる映像を作業者５に呈示することが可能であり、各表示空間Ｋｊに実在しない画面があたかも存在するかのような情報呈示が可能である。以下、この画面を「仮想画面」と呼び、表示空間Ｋｊ（ｊ＝１〜Ｎ）の順序に準じて、仮想画面Ｇｊ（ｊ＝１〜Ｎ）と呼称する。
【００３３】
次に、ヘッドマウントディスプレイ１による映像情報呈示の具体例を説明する。このヘッドマウントディスプレイ１で表示されるコンテンツとしては、ヘッドマウントディスプレイ１の装着者５が作業をするにあたって参照すべき作業手順書を想定している。つまり、複数の仮想画面Ｇｊ（ｊ＝１〜Ｎ）を用いても、すべてを同時に仮想表示することが多くの場合難しい分量を有し、かつ、順序が存在する連続したコンテンツを想定している。
【００３４】
図９に、仮想画面Ｇｊに表示されるコンテンツを概念図で示す。内容は連続したコンテンツＣｉ（ｉ＝１〜Ｍ）であり、１画面に表示される分量でページ分けされている。このコンテンツデータは、コントローラー４の記憶部４３（図６（Ａ））に記憶されており、１ページ分がディスプレイ本体２の表示部２１に送られることで表示可能となっている。なお、表示空間Ｋｊや撮影空間Ｓ１の配置の初期設定を行うと、そのときの配置が固定されてヘッドマウントディスプレイ１（つまり、作業者５の頭部５Ｈ）の方位の基準になるので、例えば、作業者５が後ろを向いたり歩いて移動したりしてしまうと、仮想画面ＧｊのコンテンツＣｉは全く表示されないことになる。
【００３５】
図１０に、仮想画面Ｇｊ（ｊ＝１〜Ｎ，Ｎ＝４）に割り付けられたコンテンツＣｉ（ｉ＝１〜Ｍ，Ｍ＝１２）の遷移動作の第１具体例を示す。ここでは、仮想画面ＧｊとコンテンツＣｉとの関係の一状態を示しており、コンテンツＣｉは簡単のため１２ページ分（Ｍ＝１２）としている。図１０に示す状態では、
仮想画面Ｇ１：コンテンツＣ５、
仮想画面Ｇ２：コンテンツＣ６、
仮想画面Ｇ３：コンテンツＣ７、
仮想画面Ｇ４：コンテンツＣ８、
が割り付けられている。
【００３６】
作業者５の頭部５Ｈが仮想画面Ｇ１の配置された表示空間Ｋ１の方向を向いている間、表示部２１にはコンテンツＣ５が表示される。そして、作業者５の頭部５Ｈが仮想画面Ｇ２の配置された表示空間Ｋ２の方向を向くと、表示部２１にはコンテンツＣ６が表示される。同様にして、仮想画面Ｇ３のコンテンツＣ７、仮想画面Ｇ４のコンテンツＣ８を順次参照することが可能であり、これにより作業者５は４ページ分のコンテンツを、周囲に４つのディスプレイが存在するかのような感覚で見ることができる。
【００３７】
次に、仮想画面Ｇ１〜Ｇ４に割り付けられたコンテンツＣｉの遷移動作の第２具体例として、コンテンツＣ５〜Ｃ８からコンテンツＣ９〜Ｃ１２への遷移動作を説明する。末尾の仮想画面Ｇ４のコンテンツＣ８の作業を終えた作業者５には、次にコンテンツＣ９以降の内容を参照する必要が生じる。このとき作業者５が、仮想画面Ｇ４の表示空間Ｋ４から、直接、仮想画面Ｇ１の表示空間Ｋ１に頭部５Ｈの向きを変える（図１０中の太い矢印の頭部動作）と、情報処理部４２は仮想画面ＧｊとコンテンツＣｉの状態を、図１１に示すように変化させる。これにより、作業者５が仮想画面Ｇ１を見たときのコンテンツはＣ８の次のＣ９となっているので、再びコンテンツＣ１０，Ｃ１１，Ｃ１２と参照しながら作業を進めていくことができる。
【００３８】
この実施の形態において、仮想画面Ｇ１の表示空間Ｋ１と仮想画面Ｇ４の表示空間Ｋ４とを結ぶ空間には、表示空間Ｋｊを設定していない（図７，図８）。このため、最小の頭部５Ｈの向きの変更で４ページ分のコンテンツ遷移が可能である。このような遷移動作を可能とするため、表示空間Ｋｊは環状に配置されることが好ましい。例えば、この実施の形態では四角形の頂点上に表示空間Ｋｊを配置する構成になっているが、四角形以外の多角形の頂点上に表示空間Ｋｊを配置してもよい。また、各仮想画面Ｇｊにページの前後を表す矢印等のガイダンスを表示するようにすれば、仮想画面Ｇｊの数が多くなっても頭部５Ｈの向きの変更を効率良く行うことができるので更に好ましい。
【００３９】
仮想画面Ｇ１〜Ｇ４に割り付けられたコンテンツＣｉの遷移動作の第３具体例として、逆に、前の手順を見直す場合を説明する。作業者５が、仮想画面Ｇ１の表示空間Ｋ１から、直接、仮想画面Ｇ４の表示空間Ｋ４に頭部５Ｈの向きを変える（図１１中の太い矢印の頭部動作）と、情報処理部４２は仮想画面ＧｊとコンテンツＣｉの状態を、図１２に示すように変化させる。これにより、作業者５が仮想画面Ｇ４を見たときのコンテンツはＣ９の前のＣ８となっているので、順次、コンテンツＣ７，Ｃ６，Ｃ５と逆に参照することができる。
【００４０】
この実施の形態では、仮想画面Ｇ１から仮想画面Ｇ４へのスキップ（図１１中の太い矢印）以外のスキップを禁止している。例えば、図１１中の仮想画面Ｇ１から仮想画面Ｇ３へのスキップを禁止している。つまり、作業者５が仮想画面Ｇ１の表示空間Ｋ１から仮想画面Ｇ２の表示空間Ｋ２を飛ばして、仮想画面Ｇ３の表示空間Ｋ３の方向を向いても、情報処理部４２は仮想画面Ｇ３に割り付けられたコンテンツＣ１１を表示しない。これにより、作業者５が誤って作業を飛ばすこと（すなわち近道行動をとること）や作業標準書の読み飛ばしを予防するこができる。
【００４１】
上述した実施の形態では、Ｎ＝４，Ｍ＝１２として、表示空間Ｋｊ（ｊ＝１〜４），仮想画面Ｇｊ（ｊ＝１〜４），コンテンツＣｉ（ｉ＝１〜１２）等を具体的に表現しているが、これは以下のように一般化することができる。つまり、ヘッドマウントディスプレイ１は、頭部５Ｈの周囲の空間にＮ個（Ｎ≧３）の表示空間Ｋｊ（ｊ＝１〜Ｎ）を順序付けて設定し、頭部方位検出部２４で検出された頭部５Ｈの向いている方位の表示空間Ｋｊに、連続したＭ個（Ｍ＞Ｎ）のコンテンツＣｉ（ｉ＝１〜Ｍ）の画像を表示部２１で表示する仮想画面Ｇｊ（ｊ＝１〜Ｎ）を、表示空間Ｋｊに対応するように順序付けて設定したとき、仮想画面Ｇ１〜ＧＮにコンテンツＣｉ〜Ｃｉ＋（Ｎ−１）の画像が割り当てられた状態において、頭部５Ｈの向いている方位の表示空間Ｋｊが表示空間ＫＮから表示空間Ｋ１に変化したときには、先頭の仮想画面Ｇ１から順に、コンテンツＣｉ＋Ｎ〜Ｃｉ＋２Ｎ−１の画像を割り当て、頭部５Ｈの向いている方位の表示空間Ｋｊが表示空間Ｋ１から表示空間ＫＮに変化したときには、末尾の仮想画面ＧＮから逆順に、コンテンツＣｉ−１〜Ｃｉ−Ｎの画像を割り当てて、制御部４１が表示部２１での画像表示の制御を行う構成を有している。
【００４２】
上述した実施の形態の場合（Ｎ＝４，Ｍ＝１２，ｉ＝５）、頭部５Ｈの周囲の空間に４個の表示空間Ｋｊ（ｊ＝１〜４）を順序付けて設定し、頭部方位検出部２４で検出された頭部５Ｈの向いている方位の表示空間Ｋｊに、連続した１２個のコンテンツＣｉ（ｉ＝１〜１２）の画像を表示部２１で表示する仮想画面Ｇｊ（ｊ＝１〜４）を、表示空間Ｋｊに対応するように順序付けて設定しているので、仮想画面Ｇ１〜Ｇ４にコンテンツＣ５〜Ｃ８の画像が割り当てられた状態において、頭部５Ｈの向いている方位の表示空間Ｋｊが表示空間Ｋ４から表示空間Ｋ１に変化したときには、先頭の仮想画面Ｇ１から順に、コンテンツＣ９〜Ｃ１２の画像を割り当て、頭部５Ｈの向いている方位の表示空間Ｋｊが表示空間Ｋ１から表示空間Ｋ４に変化したときには、末尾の仮想画面Ｇ４から逆順に、コンテンツＣ４〜Ｃ１の画像を割り当てて、制御部４１が表示部２１での画像表示の制御を行う構成となる。
【００４３】
一般的なヘッドマウントディスプレイにおいて、一度に表示できる情報量を増やすために画面を大型化すると、機器の大型化や重量増によって使い勝手の悪化や身体の疲労等を招くことになる。上述したヘッドマウントディスプレイ１のように頭部５Ｈの向きを利用して仮想多画面制御を行う構成であれば、軽量・コンパクト化が可能となるため、使い勝手等が良くなり、簡略化された自然な動作で作業を進めることが可能になる。つまり、周囲の複数画面を首を動かして見る感覚で多くの情報を閲覧・参照することができ、多くの情報が必要な場合でも手を使うことなく情報の送り／戻しが可能になる。これにより、限られた画面サイズを有効に利用することができ、ページ数の多い作業標準書等を参照しながら組立作業等を行う場合等でも機器の操作で手を止める必要がなく、効率的に作業標準書を参照しながら作業を進めることができる。
【００４４】
したがって、上記のように一般化した構成によれば、画像表示の制御に装着者の頭部の向いている方位を用いてコンテンツの送り／戻しを行う構成になっているため、情報量の多い連続したコンテンツを順次参照しながら自然な動作で作業を進めることが可能である。例えば、製造業における組立作業や保守業における点検・修理作業等において、仮想画面数以上の多くのページにわたる作業標準書，手順書，マニュアル等のコンテンツを順次参照しながら作業を進めることができる。後述するように、作業のエビデンスを記録として記憶部４３に残す場合でも、作業者が機械的操作に手を取られることのない自然さで、作業動作に調和したユーザーインターフェイスを構成することができる。
【００４５】
上記一般化した構成において、先頭の仮想画面Ｇ１が配置された表示空間Ｋ１と末尾の仮想画面ＧＮが配置された表示空間ＫＮとを結ぶ空間には、他の表示空間Ｋｊ（ｊ＝２〜Ｎ−１）が配置されない構成にすると、最小の頭部５Ｈの向きの変更でＮページ分のコンテンツ遷移が可能となる。また、仮想画面Ｇ１〜ＧＮにコンテンツＣｉ〜Ｃｉ＋（Ｎ−１）の画像が割り当てられた状態で、頭部５Ｈの向いている方位の表示空間Ｋｊが表示空間Ｋｋ（ｊ＋１＜ｋ＜Ｎ）に変化したときには（順方向へのスキップ検出）、表示部２１での画像表示を行わない構成にすると、作業標準書の読み飛ばしや作業の飛ばし等を防止することができる。
【００４６】
頭部５Ｈの向いている方位の表示空間Ｋｊの仮想画面Ｇｊに表示されているコンテンツＣｉの識別情報（例えば、コンテンツ符号Ｃ５，コンテンツ番号５等）と共に、その表示空間Ｋｊの方位を頭部５Ｈが向いていた時間情報（例えば滞留時間）が、記憶部４３に記録される構成にすることが好ましい。例えば、滞留時間が短ければ読み飛ばしの可能性があると判断することができ、滞留時間が長ければコンテンツが分かりにくいと判断することができる。したがって、適切な情報に基づいて適切な作業を実施したことのエビデンスを機械操作なしに残すことができるとともに、作業，作業標準書，工程等の改善に役立つ情報を取得して技能伝承（コンテンツ素材の収集）に活用することができる。
【００４７】
次に、作業空間とカメラ部２２の動作を説明する。作業空間は、カメラ部２２の撮影対象となる撮影空間Ｓ１であり、ここでは、作業空間として机上の組み立て作業を行う空間を想定している。図１３に、作業者５とその周囲の表示空間Ｋ１〜Ｋ４及び撮影空間Ｓ１との関係を示す。図１３に示すように、作業者５の頭部５Ｈが作業空間Ｓ１の方位を向くと、カメラ部２２は撮影を開始し、その動画情報を記憶部４３に記録する。その際、頭部５Ｈの向きが作業空間Ｓ１の前に向いていた表示空間Ｋｊの画面のコンテンツＣｉがどれであったかを表す識別情報（例えば、コンテンツ符号Ｃ５，コンテンツ番号５等）をあわせて記録する。そして、作業者５の頭部５Ｈが作業空間Ｓ１とは異なる向きを向くと、カメラ部２２は撮影動作を停止して記録も終了する。
【００４８】
上記のように、頭部５Ｈが撮影空間Ｓ１の方位を向くと、直前に向いていた方位の表示空間Ｋｊの仮想画面Ｇｊに表示されているコンテンツＣｉの識別情報と共に、頭部５Ｈが撮影空間Ｓ１の方位を向いてから撮影空間Ｓ１以外の空間に頭部５Ｈの方位が向くまでの動画が、カメラ部２２で撮影されて記憶部４３に記録される構成にすると、作業者５が機器を操作しなくても、頭部５Ｈの向きを変えるだけで、１つの作業の開始から終了までの作業の様子が、直前に参照していたコンテンツ（作業標準等）の識別情報とともに記録される。これにより、適切な情報を参照して適切な作業を行ったことの証拠映像（エビデンス）を自動的に残すことができる。さらにこの実施の形態では、作業直前に頭部５Ｈが向いていた方位の表示空間Ｋｊでの滞留時間（時間情報）も合わせて記録することが可能である。この時間情報から、確実に手順を確認した後に作業にかかったかどうかを記録に残すことができる。
【００４９】
次に、ヘッドマウントディスプレイ１の視線検出機能を説明する。視線検出機能付きのディスプレイ本体２の正面側外観は、図１４（Ａ）に示すように、前述したタイプ（図２）と同じである。しかし、ディスプレイ本体２の背面側には、図１４（Ｂ）に示すように、投光部２ｇと受光部２ｈが設けられている。つまり、プリズム２ｂの周囲のプリズム枠２ｃには、装着者５の眼ＥＹに赤外線を投光する投光部２ｇと、眼ＥＹからの反射光を受光する２つの受光部２ｈと、が視線検出部２５として内蔵されている。
【００５０】
２つの受光部２ｈの信号は、コントローラー４の情報処理部４２（図６（Ａ））で処理され、情報処理部４２は、事前に行うキャリブレーション情報と、頭部５Ｈの向きの情報と、をあわせることによって、作業中の装着者５がカメラ部２２の撮影空間Ｓ１のどこを見ているか、どの仮想画面Ｇｊのどこを見ているか、を計測することができる。さらに、上記の計測を逐次行い、計測時刻の情報をあわせることで、連続した視線軌跡情報を得ることができる。つまり、頭部方位検出部２４と視線検出部２５の出力情報から、頭部５Ｈ周囲の空間に対する視線の方位が逐次算出されて、時刻情報とともに視線軌跡情報（例えば、視線軌跡の座標）として記憶部４３に記録される。ただし、視線のサンプリング間隔が同じであれば、時刻情報は具体的な時刻を表すものでなくてもよい。
【００５１】
視線軌跡情報の追加記録動作を更に具体的に説明する。作業者５が、例えば図１５（Ａ）に示すように、右側の表示空間Ｋ１の仮想画面Ｇ１に表示されたコンテンツＣ５の映像を参照しながら、撮影空間Ｓ１内の作業対象８に対して作業（操作ダイヤル８ａでの調整作業）を行っているものとする。この間、視線検出部２５からの信号が情報処理部４２に送られ、情報処理部４２は逐次信号を処理して視線情報を得ている。作業者５の頭部５Ｈが表示空間Ｋ１の方位を向いているときには、表示部２１には仮想画面Ｇ１に割り当てられたコンテンツＣ５が表示されており、図１５（Ｂ）に示す視線軌跡ＥＭの情報と共にその視線軌跡ＥＭが何のコンテンツＣｉに対してのものであったか（ここではコンテンツＣ５であったこと）が、コンテンツＣｉの識別情報として情報処理部４２により記憶部４３に記録される。作業者５の頭部５Ｈが撮影空間Ｓ１内に置かれた作業対象８の方位を向いているときには、表示部２１での表示は消えるとともに、カメラ部２２が撮影を開始して撮影空間Ｓ１の映像情報が記録される。このとき、情報処理部４２は図１５（Ｃ）に示す視線軌跡ＥＭの情報をカメラ部２２の映像情報に付加して記憶部４３に記録する。
【００５２】
図１５（Ｂ），（Ｃ）は、工程を後で解析するために記録された映像情報を示している。つまり、図１５（Ｂ）はコンテンツ画像Ｉ１とそれに対する視線軌跡ＥＭがセットで記録された再現映像を示しており、図１５（Ｃ）はカメラ画像Ｉ２とそれに対する視線軌跡ＥＭがセットで記録された再現映像を示している。視線軌跡ＥＭの情報が加えられたこれらの記録によって、作業者５が作業手順を見るときどこに注意を注いでいたか、作業者５はどこが分かりにくかったのか、作業者５は作業を行うときどこに注意を注いでいたか、作業に時間がかかっていたのはどこか、等に関する示唆を与える情報を得ることができ、手順，手順書，工程，設計等を見直す手がかりが得られる。さらに、これらの情報を熟練者と初心者との間で比較することにより、教育・訓練の効率化，技能伝承にも活用することができる。なお、図１５（Ｂ）に示すコンテンツ画像Ｉ１には、「ダイヤルの指針をこのメモリに合わせる。」という作業手順が操作ダイヤル８ａと共に表示されている。
【００５３】
上記のように、頭部方位検出部２４と視線検出部２５の出力情報から、頭部５Ｈ周囲の空間に対する視線の方位（つまり、表示空間Ｋｊの仮想画面Ｇｊ上の視線位置、頭部５Ｈが撮影空間Ｓ１に向いている間の視線位置）が逐次算出されて、時刻情報とともに視線軌跡情報として記憶部４３に記録される構成にすると、作業者５が長く注視していた手順書の箇所、作業対象と手順書を頻繁に見比べた場所、これらの個人差等を把握することができ、作業の改善，工程の改善，標準書の改善，技能伝承等に役立てることができる。
【符号の説明】
【００５４】
１    ヘッドマウントディスプレイ
２    ディスプレイ本体
２ａ    筐体
２ｂ    プリズム
２ｃ    プリズム枠
２ｄ    コンバイナー
２ｇ    投光部（視線検出部）
２ｈ    受光部（視線検出部）
３    ケーブル
４    コントローラー
５    作業者（装着者）
５Ｈ    頭部
８    作業対象
９    通信システム
２１    表示部
２２    カメラ部
２３    マイク部
２４    頭部方位検出部
２５    視線検出部
４１    制御部
４２    情報処理部
４３    記憶部
４４    手動操作部
４５    通信部
４６    電源部
Ｋｊ（ｊ＝１〜Ｎ，Ｎ＝４）    表示空間
Ｇｊ（ｊ＝１〜Ｎ，Ｎ＝４）    仮想画面
Ｃｉ（ｉ＝１〜Ｍ，Ｍ＝１２）    コンテンツ
Ｓ１    撮影空間（作業空間）
Ｉ１    コンテンツ画像
Ｉ２    カメラ画像
ＥＭ    視線軌跡
Ｌａ    映像光
Ｌｂ    外界光
ＥＹ    眼
【図１】
2019117308.tif 000003
【図２】
2019117308.tif 000004
【図３】
2019117308.tif 000005
【図４】
2019117308.tif 000006
【図５】
2019117308.tif 000007
【図６】
2019117308.tif 000008
【図７】
2019117308.tif 000009
【図８】
2019117308.tif 000010
【図９】
2019117308.tif 000011
【図１０】
2019117308.tif 000012
【図１１】
2019117308.tif 000013
【図１２】
2019117308.tif 000014
【図１３】
2019117308.tif 000015
【図１４】
2019117308.tif 000016
【図１５】
2019117308.tif 000017