(57)【要約】【課題】作業を円滑に進めることを支援する作業支援システム、作業支援方法、及びプログラムを提供する。【解決手段】作業支援システムは、ユーザの頭部に装着される表示デバイスを用いて前記ユーザの作業の実施を支援する。作業支援システムは、作業の内容に関する説明表示画像と、作業の作業要領に関する動画像と、ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させるデータ管理部と、前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する、前記説明表示画像と、前記動画像と、前記誘導表示画像とを表示デバイスの表示部に表示させるように制御する表示制御部と、を備える。【選択図】図４
2020149138.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援システムであって、
前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させるデータ管理部と、
前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する、前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御する表示制御部と、
を備える作業支援システム。
【請求項２】
前記説明表示画像は、前記作業の内容に関する文字情報を含み、
前記動画像は、前記作業の作業要領に関するアニメーションを含み、
前記誘導表示画像は、前記ユーザを所望の作業に導くための誘導表示を含む、
請求項１に記載の作業支援システム。
【請求項３】
前記シナリオデータは、前記ユーザの特定の作業工程において、前記特定の作業に係る前記動画像、前記説明表示画像、及び前記誘導表示画像を、記載の順に表示させるための情報を含む
請求項１又は請求項２に記載の作業支援システム。
【請求項４】
前記表示制御部は、
前記特定の作業工程に遷移した後に、前記ユーザを前記特定の作業に導くための前記誘導表示画像を、前記特定の作業に係る前記動画像と前記説明表示画像の何れかを前記表示部に表示するときよりも前に表示させるように制御する
請求項１又は請求項２に記載の作業支援システム。
【請求項５】
前記表示制御部は、
前記ユーザの特定の作業工程内の予め定められる期間に、前記シナリオデータに基づいて前記動画像の表示を制限する
請求項１から請求項４の何れか１項に記載の作業支援システム。
【請求項６】
前記表示制御部は、
前記ユーザの特定の作業工程において、前記ユーザが実施する作業に関する動画像を非表示にして、その後再表示にする
請求項１から請求項５の何れか１項に記載の作業支援システム。
【請求項７】
ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援方法であって、
コンピュータに、
前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させ、
前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御するステップ
を含む備える作業支援方法。
【請求項８】
ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援システムにおけるコンピュータに、
前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させるステップと、
前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業支援システム、作業支援方法、及びプログラムに関する。
【背景技術】
【０００２】
透過型のヘッドマウント型デバイスを用いることにより、実空間の状況を見ながら、実空間に対応する仮想空間の情報を確認することが可能になる。作業者が作業を実施する際にヘッドマウント型デバイスを用いることで、その作業に関する情報を作業者に提供する施工支援情報システム（作業支援システム）が知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１５５８５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、作業について熟知しない作業者は、熟練者であれば当然有しているような知見を有していないことがある。作業者によって、作業を円滑に進めることができないことが生じうる。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、作業を円滑に進めることを支援する作業支援システム、作業支援方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するための本発明の一態様は、ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援システムであって、前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための第３データとを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させるデータ管理部と、前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御する表示制御部と、を備える作業支援システムである。
【０００７】
上記の作業支援システムにおいて、前記説明表示画像は、前記作業の内容に関する文字情報を含み、前記動画像は、前記作業の作業要領に関するアニメーションを含み、前記誘導表示画像は、前記ユーザを所望の作業に導くための誘導表示を含む。
【０００８】
上記の作業支援システムにおいて、前記シナリオデータは、前記ユーザの特定の作業工程において、前記特定の作業に係る前記動画像、前記説明表示画像、及び前記誘導表示画像を、記載の順に表示させるための情報を含む。
【０００９】
上記の作業支援システムにおいて、前記表示制御部は、前記表示制御部は、前記特定の作業工程に遷移した後に、前記ユーザを前記特定の作業に導くための前記誘導表示画像を、前記特定の作業に係る前記動画像と前記説明表示画像の何れかを前記表示部に表示するときよりも前に表示させるように制御する。
【００１０】
上記の作業支援システムにおいて、前記表示制御部は、前記ユーザの特定の作業工程内の予め定められる期間に、前記シナリオデータに基づいて前記動画像の表示を制限する。
【００１１】
上記の作業支援システムにおいて、前記表示制御部は、前記ユーザの特定の作業工程において、前記ユーザが実施する作業に関する動画像を非表示にして、その後再表示にする。
【００１２】
本発明の一態様は、ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援方法であって、コンピュータに、前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させ、前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御するステップを含む備える作業支援方法である。
【００１３】
本発明の一態様のプログラムは、ユーザの頭部に装着される表示デバイスであって、前記頭部に装着された状態で前記ユーザに実世界を視認可能にして、さらに前記ユーザに情報を表示可能な表示デバイスを用いて、前記ユーザが実施する作業に関する情報を、前記ユーザに提供して前記作業の実施を支援する作業支援システムにおけるコンピュータに、前記作業の内容に関する説明表示画像と、前記作業の作業要領に関する動画像と、前記ユーザを所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部に格納させるステップと、前記ユーザの特定の作業工程の前記シナリオデータに従い、前記ユーザの特定の作業工程に対応する前記説明表示画像と、前記動画像と、前記誘導表示画像とを前記表示デバイスの表示部に表示させるように制御するステップとを実行させるためのプログラムである。
【発明の効果】
【００１４】
本発明によれば、作業を円滑に進めることを支援できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る作業支援システムの概要について説明するための図である。
【図２】実施形態の対象ユニットＵを示す図である。
【図３】実施形態の表示デバイス１０が表示する画像を説明するための図である。
【図４】実施形態に係る表示デバイス１０の概略構成図である。
【図５】実施形態の作業者に提供される表示について説明するための図である。
【図６】実施形態の「詳細表示エリア」に表示する画像について説明するための図である。
【図７】実施形態の作業支援処理のフローチャートである。
【図８】実施形態の特定の作業に係る警報・注意喚起画像の表示について説明するための図である。
【図９】実施形態の特定の作業に係る動画像の表示について説明するための図である。
【図１０】実施形態の特定の作業に係る説明表示画像の表示について説明するための図である。
【図１１】実施形態の特定の作業に係る誘導表示画像の表示について説明するための図である。
【図１２】実施形態の特定の作業工程における情報を表示する処理のフローチャートである。
【図１３】実施形態の特定の作業工程における誘導表示画像を表示する処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図を参照して、実施形態に係る作業支援システム、作業支援方法、及びプログラムについて説明する。
実施形態における「動画像」とは、時間軸方向の情報の連続性が保たれた画像（動画像）の他、時間軸方向の情報を間引いた準動画像、複数種類の静止画を連続して表示する画像などを含む。
【００１７】
［作業支援システムの概要］
実施形態に係る作業支援システム１の概要について説明する。
図１は、実施形態に係る作業支援システムの概要について説明するための図である。作業支援システム１は、作業者に予定の作業を円滑に実施させるように、予定の作業に関する情報を、その作業者に提供する。
【００１８】
（適用する作業と対象ユニットＵの例）
ここで具体的な作業の一例を挙げる。例示する作業は、作業対象の装置（以下、対象ユニットＵという。）の保守・点検作業である。対象ユニットＵは、例えば、通信装置、サーバ装置などのＩＣＴ（Information and Communication Technology）装置、電力変換装置等であってよい。このような対象ユニットＵは、主に通信機械室などに配置されるが、通信機械室には同じ形の装置（収納筐体）が多数配置されていることがある。１つの収納筐体に、同種或いは異種のユニットが複数搭載されていることがある。
【００１９】
ここで、対象ユニットＵの一例を図２に示す。図２は、実施形態の対象ユニットＵを示す図である。図２に示す対象ユニットＵは、１つの収納筐体に、同種或いは異種のユニットとともに搭載されている。対象ユニットＵの作業対象の面には、同一形状の複数のコネクタ、スイッチ、表示素子などが並んで配置されている。そのため、対象ユニットＵそのものや、コネクタ、スイッチ、表示素子などを誤ることなく作業を実施する必要がある。
【００２０】
また、収納筐体内の一部のユニットを稼働させた状態で、収納筐体内の特定のユニットに対する給電を停止して、当該ユニットの稼働を停止させて作業を実施することがある。このような作業の場合、操作するスイッチを誤ると、稼働中のユニットを予定外に停止させることになる。
【００２１】
これまで上記の作業を実施する際には、作業計画が記載された手順書を確認し、作業監督者（作業リーダー）と作業者が連携して作業にあたるなどの方法を励行することにより、上記の誤りが生じることを防いでいた。ただし、作業が複雑になるほど、上記の手順書が複雑になる。また、作業者が手順書を確認するために、対象ユニットＵから目を離すことがあった。
【００２２】
これに対し、作業支援システム１は、図１に示すような作業形態をとることで、表示デバイス１０を利用する作業者等（ユーザ）の作業を支援する。
【００２３】
例えば、表示デバイス１０は、透過型のヘッドマウントディスプレイ（ＨＭＤ）である。表示デバイス１０は、作業者の頭部に装着された状態で利用される作業支援装置の一例である。
【００２４】
図３を参照して、作業支援システム１が作業者に示す情報の一例について説明する。図３は、実施形態の表示デバイス１０が表示する画像を説明するための図である。
【００２５】
作業者は、表示デバイス１０を頭部に装着していると、表示デバイス１０を透過して実空間の対象ユニットＵ等の像を確認できる。表示デバイス１０は、図３に示すような対象ユニットＵに関する仮想の像を表示する。作業者は、実空間に存在する対象ユニットＵの像と、表示デバイス１０が表示した画像とを、作業中に確認することができる。表示デバイス１０が表示する画像には、対象ユニットＵの輪郭の他、符号ＺＩの領域に示される作業の内容と手順に関する情報が含まれる。表示デバイス１０は、作業者が実空間の対象ユニットＵの像と対象ユニットＵに関する仮想の像が重なった像として確認できるように、表示する画像を調整する。
【００２６】
このような作業支援システム１は、作業者が手順書を確認するために、作業者が対象ユニットＵから目を離すことなく当該作業者の作業を続けることを可能にする。以下、この詳細について説明する。
【００２７】
図４を参照して、実施形態に係る表示デバイス１０について説明する。図４は、実施形態に係る表示デバイス１０の概略構成図である。
【００２８】
表示デバイス１０は、制御部１１０と、記憶部１２０と、入力部１３０と、表示部１４０と、加速度検出部１５０と、無線通信部１６０と、カメラ１７０と、マイク１８０と、スピーカ１９０とを備える。
【００２９】
制御部１１０は、ソフトウエアプログラムを実行するプロセッサ等を含む。制御部１１０は、ソフトウエアプログラムを実行することにより各種処理の機能部として作用する。例えば制御部１１０は、演算処理部１１１と、位置情報処理部１１２と、移動量取得部１１３と、動き検出部１１４と、視線推定部１１５と、操作検出部１１６と、再生処理部１１７と、履歴処理部１１８と、データ管理部１１９とを備える。その詳細は後述する。再生処理部１１７は、表示制御部の一例である。
【００３０】
記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等で実現される。プロセッサが実行するソフトウエアプログラムは、予め記憶部１２０に格納されていてもよいし、外部装置や可搬型記憶媒体などから、或いは通信回線を介してダウンロードされてもよい。
【００３１】
記憶部１２０は、表示デバイス１０を通信端末として機能させるための各種設定情報と、ＯＳなどの基本プログラムを格納する。さらに、記憶部１２０は、上記の他、実施形態の表示デバイス１０としての機能を実現させるための各種データとアプリケーションプログラムとを格納する。各種データの例について後述する。
【００３２】
入力部１３０は、ユーザの操作を検出する操作検出部を含む。操作検出部は、機械的に検出する機構部を備えていてもよく、電気的に検出する検出部を備えていてもよい。
【００３３】
表示部１４０は、各種情報を表示する透過型又は半透過型の表示器を含む。表示部１４０の表示器は、作業者の片目又は両目の視野に収まるような位置に、所望の画像を表示させるように配置されている。例えば、表示部１４０は、両目の視差を調整した画像を、両目の視野内に夫々表示することにより、立体視可能な像を表示することができる。
【００３４】
加速度検出部１５０は、加速度センサー（又はジャイロ）を含み、作業者の頭部に作用する力を、表示デバイス１０に掛かる力として検出する。作業者の頭部に作用する力は、作業者の行動と姿勢によって変化する。加速度検出部１５０の検出結果を利用することにより、間接的に作業者の行動と姿勢を検出することができる。
【００３５】
無線通信部１６０は、図示されないアンテナを備えており、電波を利用して通信する。例えばこの通信方式として、近距離通信方式、セルラー方式、無線ＬＡＮ方式などの各種方式を適用できる。近距離通信方式の場合、比較的近傍に位置する他の表示デバイス１０などと消費電力を抑えて通信することができる。例えば、この無線通信方式は、ブルーツース（登録商標）などを適用してもよい。
【００３６】
カメラ１７０は、光学系と撮像素子を含み、光学系の光軸方向を撮像する。例えば、カメラ１７０は、表示デバイス１０の筐体の内部又は外部に設けられていて、作業者が、その頭部に表示デバイス１０を規定の方法で装着すると、作業者の顔の前方にカメラ１７０の光軸が向くように形成されている。制御部１１０は、カメラ１７０によって撮像された画像を用いることで、表示デバイス１０を装着した作業者の姿勢を検出したり、作業者の位置を検出したりするために利用する。
【００３７】
マイク１８０とスピーカ１９０は、例えば、図示されない所望のアンプを含み、表示デバイス１０を通話用の装置として利用する際に利用される。また、制御部１１０は、マイク１８０を、表示デバイス１０の周囲の音を収集するためのセンサとして利用してもよく、スピーカ１９０から、警報音や作業者に対する音声ガイドを提供してもよい。なおスピーカ１９０は、イヤホン、ヘッドホン、骨伝導型振動体などあってもよい。以下の説明では、スピーカ１９０を、それらを代表するものとして説明する。マイク１８０とスピーカ１９０は、表示デバイス１０に内蔵されていてもよく、表示デバイス１０に付帯されるものであってもよい。
【００３８】
なお、表示デバイス１０には、ＨＭＤ型に代えて、スマートフォン、タブレット型端末、パーソナルコンピュータ等の携帯型の装置を適用することができる。上記の場合、表示部１４０が透過型でなくなるが、同様の用途に利用することができる。スマートフォンなどの場合、入力部１３０と表示部１４０は、互いに組み合わされたタッチパネルとして構成されていてもよい。
【００３９】
次に、記憶部１２０に格納されるデータについて説明する。
記憶部１２０には、例えば、３ＤモデルＤＢ１２１と、ガイダンスＤＢ１２２と、動画像ＤＢ１２３と、属性ＤＢ１２４と、マーカＤＢ１２５と、作業計画ＤＢ１２６と、補正量ＤＢ１２７と、履歴ＤＢ１２８とが格納される。
【００４０】
３ＤモデルＤＢ１２１には、３次元の仮想空間に構築したモデルのデータが含まれる。上記のモデルは、実空間の対象ユニットＵなどを含む領域に対応するものである。例えば、上記のモデルのデータには、対象ユニットＵの輪郭像のデータ、作業工程ごとの作業の内容に関するデータ（説明表示画像）などが含まれてもよい。
【００４１】
ガイダンスＤＢ１２２には、作業手順のガイダンスとして再生するための音源データが含まれる。
【００４２】
動画像ＤＢ１２３には、作業手順のガイダンスとして再生するための動画像データが含まれる。上記の動画像データには、対象ユニットＵにおいて作業者の操作によって視覚上の変化が生じる部分のデータが含まれる。例えば、スイッチの操作をガイダンスする場合であれば、対象となるスイッチを特定することができ、スイッチのレバー部分の状態をどのように変えるかなどのように、作業の要領（動き）が示されればよい。
【００４３】
動画像データには、上記の他、作業者の視線を誘導するための画像などのデータ（誘導表示画像）が含まれてよい。
【００４４】
属性ＤＢ１２４には、表示デバイス１０の装置ＩＤ、表示デバイス１０の利用者の利用者ＩＤ、利用者の役割を示す役割情報などが含まれる。
【００４５】
マーカＤＢ１２５には、表示デバイス１０の位置合わせ処理に利用されるマーカの特徴と、実空間に配置されている位置に関するデータが含まれる。例えばマーカは、ＱＲコード（登録商標）である。
【００４６】
作業計画ＤＢ１２６には、表示デバイス１０を用いて支援する作業の作業計画のデータが含まれる。このデータは、作業の手順を示すシナリオのデータとして用いられる。
【００４７】
補正量ＤＢ１２７には、表示デバイス１０の表示の精度を高めるための各種補正データなどが含まれる。例えば、各補正データには、表示デバイス１０の位置合わせ処理の精度を高めるためのデータが含まれていてもよい。
【００４８】
履歴ＤＢ１２８には、実施された作業結果のデータが含まれる。例えば、このデータには、カメラ１７０によって撮像された画像データ、操作の履歴データなどが含まれる。
【００４９】
なお、各種ＤＢのデータは互いに関連付けられていて、作業者が予定する作業のマニュアルとして機能する情報を含む。マニュアルとは、一般的な作業の手順書に関する情報に加えて、予定する作業の対象ユニットＵに関するＣＧ画像データ、予定する作業を、動画像を用いて説明するための動画像データ、などが含まれる。
【００５０】
次に、制御部１１０がプログラムを実行することで実現する表示デバイス１０の主な機能を挙げる。以下、これについて順に説明する。
・表示デバイス１０の初期設定機能
・表示デバイス１０の位置検出機能
・表示デバイス１０による視線の動き検出機能
・表示デバイス１０による対象ユニットＵの合成画像の表示機能
・表示デバイス１０が表示する合成画像の補正機能
・表示デバイス１０による画像と音声の再生機能
・表示デバイス１０同士を連携させる連携制御機能
・表示デバイス１０を利用した作業の作業履歴の管理機能
・各種情報の管理機能
【００５１】
（表示デバイス１０の初期設定機能）
表示デバイス１０の制御部１１０は、入力部１３０による操作の検出結果に基づき、表示デバイス１０を機能させるための各種情報を生成して、それを記憶部１２０の属性ＤＢ１２４に格納させる。例えば、上記の各種情報には、表示デバイス１０の作業者が登録する利用者ＩＤ、役割を示す役割情報などが含まれる。
【００５２】
（位置検出機能）
表示デバイス１０は、例えば、表示デバイス１０の位置の検出に、規定のマーカの検出結果と、表示デバイス１０の動き検出の結果とを利用して、表示デバイス１０の位置と表示デバイス１０が向けられた方向を検出する。前述の図２に示す符号ＭＫは規定のマーカの一例である。規定のマーカは、対象ユニットＵの側面に添付されている。
【００５３】
なお、表示デバイス１０は、自表示デバイス１０の位置を検出する位置検出機能を有効化する前に、次に示す初期化処理を実施することによって表示デバイス１０の位置と表示デバイス１０が向けられた方向の初期値を決定する。表示デバイス１０の位置の初期値を基準位置と呼ぶ。
【００５４】
（視線の動き検出機能）
動き検出部１１４は、加速度検出部１５０の検出結果に基づいて算出される作業者の頭部の動きの推定結果を取得する。
例えば、作業者が視線を移動させると、それに伴い作業者の頭部も動く。作業者の頭部の動きを検出することで、間接的に作業者の視線の動きを検出することができる。例えば、視線推定部１１５は、作業者の頭部の動きに基づいて視線の位置を算出する。これに基づいて、表示デバイス１０は、算出された視線の位置に視線カーソルを表示部１４０に表示する。例えば、視線カーソルは、算出された視線の位置を中心にした同心円状の図形であってもよい。その半径は、作業者が認知しやすい長さにするとよい。視線カーソルは、表示中に半径を変更するなどの形状が変更されてもよい。
【００５５】
例えば、視線推定部１１５は、動き検出部１１４によって算出され、演算処理部１１１によって中継される、頭部の動きの推定結果と視線の動きの推定結果を取得してもよい。或いは、演算処理部１１１は、加速度検出部１５０の検出結果に基づいた頭部の動きの推定結果と視線の動きの推定結果を算出する。動き検出部１１４は、演算処理部１１１から、演算処理部１１１によって算出された頭部の動きの推定結果と視線の動きの推定結果を取得してもよい。なお、加速度検出部１５０の検出結果である加速度データから、頭部の動きと視線の動きを算出する方法は、上記に限らず既知の方法を用いてよい。
【００５６】
上記の通り、表示デバイス１０は、作業支援システム１において、作業者の位置のセンサと姿勢のセンサとして機能して、作業者の位置と姿勢の情報を取得する。
【００５７】
（対象ユニットＵの合成画像の表示機能）
表示デバイス１０は、実空間内に配置された対象ユニットＵの像の位置に整合するように、対象ユニットＵの合成画像を表示する。
【００５８】
例えば、表示デバイス１０に表示される対象ユニットＵの合成画像は、３ＤモデルＤＢ１２１の３次元モデル（３Ｄモデル）に含まれる。対象ユニットＵの合成画像の画像データは、上記の３Ｄモデルの座標系の位置に対応付けるための情報が関連付けられている。３Ｄモデルの座標系の位置に対応付けるための情報とは、上記の３Ｄモデルの座標系の位置情報であってもよく、３Ｄモデル内に配置された装置の識別情報及びその装置の側面の何れかを特定可能な識別情報を有するデータであってもよい。
【００５９】
例えば、移動量取得部１１３は、加速度検出部１５０の検出結果に基づいて算出される作業者の移動量の推定結果を取得する。移動量取得部１１３は、位置の初期化処理を行った際の、作業者の位置と、上記の作業者の移動量の推定値とに基づいて、現在の作業者の位置を推定し、この推定結果を上記の３Ｄモデルの座標系の位置に対応付けるとよい。
演算処理部１１１は、上記の３Ｄモデルの座標系の位置に対応付けるための情報等を用いて対象ユニットＵの合成画像を、３Ｄモデル内の対象ユニットＵの位置に表示させるためのデータを生成する。
これにより、作業者が、頭を旋回させて違う方向を見た場合も、移動して位置を代えた場合も、表示デバイス１０は、作業者と対象ユニットＵの位置関係を逐次捕捉し続ける。
【００６０】
（表示する合成画像の補正機能）
表示デバイス１０は、表示する合成画像を、作業者と対象ユニットＵとの位置関係に基づいて補正する。
【００６１】
例えば、作業者が対象ユニットＵから離れれば、それに応じて表示する対象ユニットＵの画像を小さくする。作業者が首を横に向ければ、それに応じて対象ユニットＵの画像を表示する位置を横に変更する。上下に向ける場合も同様である。
【００６２】
演算処理部１１１は、上記に関する合成画像の補正演算を実施して、補正後の合成画像を出力する。
【００６３】
（画像と音声の再生機能）
表示デバイス１０は、予め記憶部１２０に格納されているデータに基づいて画像と音声を再生する。
例えば、記憶部１２０の３ＤモデルＤＢ１２１と、ガイダンスＤＢ１２２と、動画像ＤＢ１２３に格納されているデータは、画像と音声のデータである。
或いは、記憶部１２０に格納されている上記のデータは、画像と音声を選択するための識別データであってよい。この場合、表示デバイス１０は、他の装置に識別データを送って、画像と音声のデータを取得してもよい。
【００６４】
再生処理部１１７は、３ＤモデルＤＢ１２１と動画像ＤＢ１２３に格納されているデータに基づいて再生した画像を、表示部１４０に表示させる。再生処理部１１７は、ガイダンスＤＢ１２２に格納されているデータに基づいて再生した音声を、スピーカ１９０から出力させる。
【００６５】
（連携制御）
表示デバイス１０は、他の表示デバイスである表示デバイス２０と連携して動作することにより、表示デバイス１０と表示デバイス２０（図１）における画像と音声の再生を互いに同期させてもよい。その際に、再生する画像と音声の種類は、同一であってもよく、予め対応付けられたものであれば、少なくとも一部が互いに異なるものであってもよい。
【００６６】
（作業履歴の管理）
表示デバイス１０は、作業者による記録開始の操作を検出して、作業期間中にした作業の履歴を管理する。
作業者の操作とは、作業者が表示されたボタンを注視しながら、当該作業者が所定のジェスチャーを実施することであって良い。このような方法であれば、作業者が操作のための道具を用いることなく、表示デバイス１０に操作を識別させることができる。
【００６７】
履歴処理部１１８は、関連する操作が検出されるとカメラ１７０からの画像の録画を開始して、作業中の作業者が選択したボタンの操作履歴を履歴ＤＢ１２８に追加する。履歴処理部１１８は、作業者による作業終了（作業完了）、作業中断、記録中断などの操作が検出されるまで、上記の録画と記録の処理を継続する。
【００６８】
上記のように記録された画像と操作履歴を、所定の作業の完了後に当該作業の報告、解析などに利用することができる。
【００６９】
なお、履歴処理部１１８は、作業中に上記のカメラ１７０からの画像と操作履歴を、通信によって他の装置に送信してもよい。この場合、これらを受信した装置が、記録に残すとよい。
【００７０】
（各種情報の管理機能）
上記の通り、表示デバイス１０として機能させるための各種情報には、対象ユニットＵが配置された位置の位置情報、作業者の識別情報、作業者の属性情報、作業の内容と手順に関するシナリオデータ、表示デバイス１０の位置などの検出結果、表示用の各種情報などの情報が含まれる。
【００７１】
データ管理部１１９は、表示デバイス１０として機能させるための各種情報を、入力部１３０又は無線通信部１６０から取得すると、記憶部１２０に格納する。これに係る情報には、作業の内容に関する説明表示画像と、作業の作業要領に関する動画像と、作業者を所望の作業に導くための誘導表示画像とが含まれる複数種類のデータがある。さらに、データ管理部１１９は、上記の複数種類のデータを表示させる順序を規定するシナリオデータを記憶部１２０に格納させる。
【００７２】
図５と図６を参照して、実施形態の作業者が作業の内容を確認し、その作業を進行させるための操作にについて説明する。
【００７３】
図５は、実施形態の作業者に提供される表示について説明するための図である。
表示デバイス１０は、透過型であり、「複合現実」と呼ばれる実空間に仮想現実を融合させる技術を用いて、実空間に存在しない情報を実空間の対象ユニットＵに対応付けるように提供する。
【００７４】
実空間に対する作業者の視野は、表示デバイス１０の構造によって死角が生じる範囲を除けば、基本的には制限されることがない。例えば、表示部１４０の範囲を超える範囲が作業者の視野に含まれる。これに対し、仮想現実を提供するための合成画像が表示される範囲は、少なくとも表示部１４０の範囲に制限される。
【００７５】
（ナビゲーション表示）
次に表示部１４０の表示について説明する。
符号２１０は、表示部１４０に表示させる画像を示す。表示部１４０には、この範囲の一部又は全部が表示される。領域２１０は、中央に位置する領域２１０ａと、領域２１０ａの右側の領域２１０ｂと、領域２１０ａの左側の領域２１０ｃに大別される。領域２１０ａから領域２１０ｃは、そこに表示される情報の種類が異なるように規定されている。
【００７６】
領域２１０ａから領域２１０ｃの範囲とは独立して範囲が規定される領域２１０ｔがある。領域２１０ｔは、少なくとも領域２１０ａに重なるように設けられ、そこには、対象ユニットＵに関する仮想の像が表示される。対象ユニットＵに関する仮想の像には、各ユニットの輪郭と、各ユニットの盤面に配置されている部品の輪郭の像などが含まれる。
【００７７】
領域２１０ａは、対象ユニットＵに関する仮想の像の像を示す他に、主に作業の手順などを示すために利用される。この領域２１０ａは、作業者が対象ユニットＵに対する作業中に、作業者の視野の中心近傍に位置するように表示される。
【００７８】
領域２１０ａ内の上段には、作業者に注目させる位置を示す領域２１１が設けられている。領域２１１は、「対象エリア」の一例である。領域２１１には、上記の位置を含むように規定された枠の四隅を示す図形２１１ｃが表示される。「対象エリア」を、四隅に図形２１１ｃが配置された四角形の枠内に規定してもよい。例えば、「対象エリア」の大きさは、作業の操作対象になる部品が１つだけ含まれるように規定するとよい。配線用遮断器（ＭＣＣＢ）のように操作対象がある程度の大きさを持っている場合には、「対象エリア」は、上記に従い１つだけを囲うように規定される。確認対象になるＬＥＤランプなどの表示器は、比較的小さいことがあり「対象エリア」の枠の中に複数のＬＥＤランプが入ることがある。このような場合には、該当のＬＥＤランプをハイライトさせて、他のＬＥＤランプと識別できるように表示するとよい。
【００７９】
領域２１１の下段には、領域２１２（図６）が設けられることがある。領域２１２を「詳細表示エリア」と呼ぶ。これについては後述する。
【００８０】
領域２１０ｂと２１０ｃは、主に作業に関連する各種情報を示すために利用される。ここに示す各種情報には、対象ユニットＵの図面、保守点検の履歴などの関連情報が含まれる。
【００８１】
ここで、「詳細表示エリア」について説明する。
図６は、実施形態の「詳細表示エリア」に表示する画像について説明するための図である。「詳細表示エリア」には、作業者が作業工程の作業を励行する際に必要とされる情報が順に示され、それに対する応答をするために利用される領域である。
【００８２】
なお、表示デバイス１０では、機械的なポインティングデバイス（マウス等）を用いることなく、作業者の視線カーソルを用いて作業者の操作を検出する。以下の説明では、視線カーソルを用いて操作ボタンを選択することを、単に「操作する」という。
【００８３】
図６に示す画像の領域２１２内に、テキスト表示領域ＤＳＰと、操作ボタンＯＢＪ１からＯＢＪ１０とが含まれる。
【００８４】
テキスト表示領域ＤＳＰには、当該作業の詳細な内容がテキスト等で示される。例えば、図６に示すテキスト表示領域ＤＳＰ内に、ＬＥＤのランプ状態（点灯状態）の確認を促す情報が表示されている。ここに表示されるテキスト（文字）の表示を、作業内容に対応付けて色分けしてもよい。
【００８５】
テキスト表示領域ＤＳＰの範囲に設けられた操作ボタンＯＢＪ１とＯＢＪ２は、当該作業で作業者が対象ユニットＵについて確認した状況を登録するために利用される操作ボタンである。作業者は、確認した状況がテキスト表示領域ＤＳＰに示された内容に対して肯定的な回答（「はい」）を選択する場合には、操作ボタンＯＢＪ１を操作し、否定的な回答（「いいえ」）を選択する場合には、操作ボタンＯＢＪ２を操作する。操作検出部１１６が操作ボタンＯＢＪ１又はＯＢＪ２の操作を検出すると、履歴処理部１１８は、その検出の結果を履歴ＤＢ１２８の作業履歴に追加する。
【００８６】
以下に示す各操作ボタンは、テキスト表示領域ＤＳＰの枠外に設けられている。
操作ボタンＯＢＪ３とＯＢＪ４は、作業工程を遷移させるために利用される操作ボタンである。作業者は、現在の作業工程から次の作業工程に進める場合（「次に進む」場合）には、操作ボタンＯＢＪ３を操作し、現在の作業工程の前の作業工程に戻る場合（「前に戻る」場合）には、操作ボタンＯＢＪ４を操作する。操作検出部１１６が操作ボタンＯＢＪ３又はＯＢＪ４の操作を検出すると、再生処理部１１７は、その検出の結果に応じて作業工程を遷移させる。
【００８７】
操作ボタンＯＢＪ５は、現在の作業工程における作業を確認するために利用される操作ボタンである。作業者は、現在の作業工程の動画像が表示された後などに、現在の作業工程の内容を再確認する場合（「リプレイ」する場合）には、操作ボタンＯＢＪ５を操作する。操作検出部１１６が操作ボタンＯＢＪ５の操作を検出すると、再生処理部１１７は、その検出の結果に応じて作業工程の作業の内容を示す画像を再生させる。
【００８８】
操作ボタンＯＢＪ６は、対象ユニットＵと表示デバイス１０との位置関係を再調整するために利用される操作ボタンである。作業者は、対象ユニットＵと表示デバイス１０との位置関係を再調整する場合などに、操作ボタンＯＢＪ６を操作する。操作検出部１１６が操作ボタンＯＢＪ６の操作を検出すると、位置情報処理部１１２は、基準位置と基準方向を決定する初期化処理を実施する。
【００８９】
操作ボタンＯＢＪ７は、表示デバイス１０に表示されている画像を、実空間の対象ユニットＵの像に対して位置合わせを実施するために利用される操作ボタンである。作業者は、表示デバイス１０に表示されている画像が、実空間の対象ユニットＵの像に対してずれていて、そのずれが許容できない場合などに、操作ボタンＯＢＪ６を操作する。操作検出部１１６が操作ボタンＯＢＪ６の操作を検出すると、位置情報処理部１１２は、上記の位置合わせの処理の結果を調整する。
【００９０】
操作ボタンＯＢＪ８は、表示デバイス１０に設定されている各種情報を確認するために利用される操作ボタンである。作業者は、表示デバイス１０に設定されている各種情報を確認する場合などに、操作ボタンＯＢＪ８を操作する。操作検出部１１６が操作ボタンＯＢＪ８の操作を検出すると、再生処理部１１７は、記憶部１２０に格納されている各種情報を表示部１４０に表示させる。
【００９１】
操作ボタンＯＢＪ９は、表示デバイス１０に設定されている各種情報を設定（変更）するために利用される操作ボタンである。作業者は、表示デバイス１０に設定されている各種情報を変更する場合、又は新たに設定する場合などに、操作ボタンＯＢＪ９を操作する。操作検出部１１６は、操作ボタンＯＢＪ９の操作を検出すると、記憶部１２０に格納されている各種情報を、新たに指定される情報に更新して、記憶部１２０の属性ＤＢ１２４などに追加する。
【００９２】
操作ボタンＯＢＪ１０は、現在の作業工程の作業を中断するために利用される操作ボタンである。作業者は、予定外の状態が発生して予定の作業の継続が困難な場合、当日の作業時間内に作業工程で予定されている作業を完了できない場合、作業工程の順序を当初の予定から入れ替えて実施する場合などに、操作ボタンＯＢＪ１０を操作する。操作検出部１１６が操作ボタンＯＢＪ１０の操作を検出すると、再生処理部１１７は、当該作業工程を途中で中断させる。さらに、履歴処理部１１８は、当該作業工程の途中までの作業の結果を、履歴ＤＢ１２８に追加して、作業中断のフラグを立てる。
【００９３】
図７を参照して、実施形態の作業支援処理について説明する。図７は、実施形態の作業支援処理のフローチャートである。
【００９４】
この作業工程に携わる作業者は、作業の際に表示デバイス１０を利用するにあたり、下記する項目に関する情報を登録する。
・作業者の識別情報（表示デバイス１０を利用する作業者を識別するための情報）
・作業者の属性情報（作業担当、作業リーダーなどの作業における役割を選択）
・予定の作業工程（１又は複数用意された作業工程の中から１つを選択）
・作業開始の条件（新規の作業工程を開始するのか、中断した作業工程を再開するのかを選択）
【００９５】
例えば、上記の各種情報の登録を、以下に示す手順で行い、上記の設定に基づいた作業工程の作業を開始するとよい。
【００９６】
作業者は、表示デバイス１０を頭部に装着して、表示デバイス１０を活性化させる。その際に、表示デバイス１０の制御部１１０は、作業支援処理に係る所定のプログラムの処理を開始する（ステップＳ１０）。
【００９７】
制御部１１０は、予定される作業を登録させるための画面（予定作業登録画面）を表示させる。予定作業登録画面が表示されたのち、作業者は、予定作業に対応するボタンを選択する。制御部１１０は、作業者による操作を検出して、予定される作業を選択する（ステップＳ１１）。
【００９８】
制御部１１０は、過去の作業において、作業が中断された履歴が残っているか否かを判定し（ステップＳ１２）、中断の履歴が残っている場合（中断フラグが立っている場合）には、中断した作業から開始するか、シナリオデータの最初から開始するかを選択するための画面を表示部に表示させる。制御部１１０は、作業者による作業を開始する位置の指定操作を検出して、中断した作業から開始するか、シナリオデータの最初から開始するかを選択する（ステップＳ１３）。
【００９９】
中断の履歴が残っていない場合に（中断フラグが立っていない場合）、又は作業を開始する位置を選択した後に、制御部１１０は、作業者が携わる作業における役割を登録させるための画面（役割登録画面）を表示させる。役割登録画面が表示されたのち、作業者は、自身の役割に対応するボタンを選択する。制御部１１０は、作業者による操作を検出して、作業者が携わる作業における役割を取得する（ステップＳ１４）。なお、上記の役割に代えて、分担された作業の種別情報であってもよい。なお、複数の作業者が連携して作業を行う場合には、制御部１１０は、複数の作業者が利用する表示デバイス同士が通信するように、通信機能の設定を行ってもよい。
【０１００】
制御部１１０は、ステップＳ１３において決定された作業の開始位置に基づいて、予定作業の開始位置を調整する（ステップＳ１５）。これにより、中断した作業から開始するか、シナリオデータの最初から開始するかの何れかに決定される。
【０１０１】
制御部１１０は、表示する画像の位置合わせ処理を実施する（ステップＳ１６）。これにより、制御部１１０は、作業者の位置と対象物の位置の相対的な関係に基づいて、対象物の像と、表示する画像との位置を整合させる。
【０１０２】
制御部１１０は、今回の作業が途中で中断された場合に、その時点を特定するための履歴(中段履歴)の情報を記憶部１２０に残す処理を開始する（ステップＳ１７）。
【０１０３】
制御部１１０は、作業の開始を促す画面（作業開始登録画面）を表示させる。作業開始登録画面が表示されたのち、作業者は、作業開始に対応するボタンを選択する。制御部１１０は、作業開始を指示する操作を検出して、予定される作業の支援に関する処理を開始する（ステップＳ２０）。
【０１０４】
制御部１１０は、作業の中断を指定するボタンが操作されたか否かを判定する（ステップＳ２１）。作業の中断を指定するボタンの操作を検出した場合、制御部１１０は、次の作業に移るために、本作業工程に係る処理を終えて、中断に関する処理に進める。
【０１０５】
作業の中断を指定するボタンの操作を検出しなかった場合、制御部１１０は、現在の一連の作業の中で、現在実施中の作業工程に関する処理を中断して、処理をステップＳ２２に進める。
【０１０６】
次に、作業者は、次の作業工程に遷移するためのボタンを選択する。例えば、次の作業工程に遷移するためのボタンには、ひとつ前の作業工程と、ひとつ後ろの作業構成とをそれぞれ選択するためのボタンが含まれてよい。制御部１１０は、作業者による次の作業工程に遷移するためのボタンの操作を検出すると、上記の操作の検出結果に応じた作業工程を開始させる（ステップＳ２２）。この場合には、制御部１１０は、上記の操作の検出結果に応じた作業工程について、前述のステップＳ２０の処理を実施する。
【０１０７】
制御部１１０は、作業者による次の作業工程に遷移するためのボタンの操作を検出しなければ、作業者が作業を終了することを、作業リーダーの表示デバイス２０（図１）、上位装置などに通知する。
【０１０８】
制御部１１０は、上記の一連の処理を終えると、作業支援のためのプログラムによる処理を終了させる。
【０１０９】
表示デバイス１０は、以上の手順に従った処理を実施することにより、作業者による作業の遂行を支援する。
【０１１０】
なお、表示デバイス１０が表示する画像は、予め記憶部１２０に格納したデータに基づいて生成するとよい。このように画像の生成を表示デバイス１０側で実施することにより、表示デバイス１０が外部装置と通信する処理の負荷を低減させることができる。
【０１１１】
上記の予定される作業の支援に関する処理（ステップＳ２０）では、シナリオデータに基づいた各種情報が作業者に提供される。そのシナリオデータを利用して、作業者の特定の作業工程内に表示する情報の順序を規定することができる。
【０１１２】
図８から図１３を参照して、実施形態の特定の作業工程における情報を表示する処理について説明する。図８は、実施形態の特定の作業に係る警報・注意喚起画像の表示について説明するための図である。図９は、実施形態の特定の作業に係る動画像の表示について説明するための図である。図１０は、実施形態の特定の作業に係る説明表示画像の表示について説明するための図である。図１１は、実施形態の特定の作業に係る誘導表示画像の表示について説明するための図である。図１２は、実施形態の特定の作業工程における情報を表示する処理のフローチャートである。図１３は、実施形態の特定の作業工程における誘導表示画像を表示する処理のフローチャートである。
【０１１３】
ここで利用されるシナリオデータには、少なくとも特定の作業に係る動画像、説明表示画像、及び誘導表示画像を、記載の順に表示させるための情報が含まれる。シナリオデータには、さらに警報・注意喚起画像（注意喚起画像）を表示させるための情報が含まれていてもよい。
【０１１４】
再生処理部１１７は、シナリオデータを参照して、警報・注意喚起の画像を表示部１４０に表示させる（ステップＳＡ５）。図８に示す画像は、当該作業工程が、警報・注意喚起画像にあたる作業（「危険工程作業」）の場合に、視野の中央部分に表示されるものである。それゆえ、当該作業工程が、警報・注意喚起画像にあたらない作業の場合には、その表示を省略する。
【０１１５】
次に、再生処理部１１７は、ステップＳＡ５において警報・注意喚起画像を表示した場合には、本作業工程の作業を開始するための誘導表示画像（第１誘導表示画像）を表示部１４０に表示させる（ステップＳＡ１０）。図５に示す画像は、第１誘導表示画像の一例である。図５に示すように、「対象エリア」に向かう矢印ＡＳ１が、視線を誘導するための表示である。再生処理部１１７は、ステップＳＡ５において警報・注意喚起画像を表示しない場合には、誘導表示画像（第１誘導表示画像）の表示も省略する。なお、誘導表示画像の表示方法の詳細については、後に図１３を用いて説明する。
【０１１６】
次に、再生処理部１１７は、特定の作業に係る上記の動画像（図９）を表示部１４０に表示させる（ステップＳＡ１１）。動画像の表示を終えた後、上記の表示に続けて説明表示画像（図１０）を表示部１４０に表示させる（ステップＳＡ１２）。上記の表示を確認した後に、作業者は、上記の特定の作業を実施する。
【０１１７】
ここで、操作検出部１１６は、当該作業工程の作業の実施状況を推定するために、作業者の視線の位置に基づいた処理を選択する（ステップＳＡ１３）。なお、操作検出部１１６は、下記する何れかの操作が選択されるまでは、当該作業の準備中と判定して待機する。
【０１１８】
操作検出部１１６は、視線カーソルが「対象エリア」におかれたことを検出した場合に、作業中であると判定する（ステップＳＡ１４）。作業中と判定された後に、操作検出部１１６は、操作ボタンＯＢＪ３が操作されたことを検出した場合には、作業が終了したと判定する（ステップＳＡ１５）。この後、次の作業工程に遷移させるために処理をステップＳＡ２１に進める。
【０１１９】
操作検出部１１６は、操作ボタンＯＢＪ４が操作されたことを検出した場合には、当該作業工程の実施が保留されたと判定して（ステップＳＡ１６）、前の作業工程に移るための誘導表示画像を表示部１４０に表示させて、前の作業工程に戻る（ステップＳＡ１７）。図１１に示す矢印ＡＳ２がある画像は、上記の誘導表示画像の一例である。
【０１２０】
操作検出部１１６は、操作ボタンＯＢＪ６から操作ボタンＯＢＪ９が操作されたことを検出した場合には、当該作業工程の実施が保留されたと判定して、当該作業工程に係る情報の提示を一旦中断させる（ステップＳＡ１８）。操作ボタンＯＢＪ６から操作ボタンＯＢＪ９に関する処理を終えた後、処理をステップＳＡ１３に進める。
【０１２１】
操作検出部１１６は、操作ボタンＯＢＪ５が操作されたことを検出した場合には、当該作業工程の動画像の再生要求（リプレイ操作）があったと判定して（ステップＳＡ１８）、処理をステップＳＡ１１に進める。
【０１２２】
操作検出部１１６は、操作ボタンＯＢＪ１０が操作されたことを検出した場合には、当該作業工程を中断すると判定して、中断フラグを立てて当該作業工程に係る情報の提示を中断させる（ステップＳＡ２０）。この後、中断処理を開始するために処理をステップＳＡ２１に進める。
【０１２３】
次に、再生処理部１１７は、操作ボタンＯＢＪ３が操作されたことを検出した場合には、次の作業工程に移るための誘導表示画像（第２誘導表示画像）を表示部１４０に表示させて（ステップＳＡ２１）、次の作業工程の表示に遷移させる。ここで表示する誘導表示画像は、前述の図１１に示す矢印ＡＳ２がある画像と同様のものであってよい。
【０１２４】
図１３に示す第１誘導表示画像（ナビゲーション表示）の表示に関する処理について説明する。図１３に示すように、再生処理部１１７は、所定の位置に「対象エリア」の枠を表示する（ステップＳ１０１）。
【０１２５】
操作検出部１１６は、視線カーソルが「対象エリア」におかれたことを検出する(ステップＳＡ１０２)。視線カーソルが「対象エリア」内におかれた場合には、操作検出部１１６は、その後も視線カーソルが「対象エリア」内におかれた状態にあり、その状態の継続時間が所定時間Ｔ１を超えたか否かを判定する(ステップＳＡ１０３)。継続時間が所定時間Ｔ１を超えた場合には、再生処理部１１７は、上記の第１誘導表示画像（ナビゲーション表示）の矢印ＡＳ１（図５）を表示部１４０に表示させる（ステップＳＡ１０４）。
【０１２６】
上記の継続時間が所定時間Ｔ１を超えずに視線カーソルが「対象エリア」から移動した場合、又は、ステップＳＡ１０４の処理を終えた場合には、再生処理部１１７は、処理をステップＳＡ１０２に進める。
【０１２７】
視線カーソルが「対象エリア」におかれた場合には、上記の一連の処理を終える。なお、上記の処理の間には、「対象エリア」の枠と、第１誘導表示画像と、視線カーソルが、表示部１４０に表示される。
【０１２８】
上記の手順の中で提供される各画像の特徴について説明する。
図９に示す動画像には、作業の要領を示す動画像データが含まれている。図に示す例は、対象となるスイッチを示し、そのスイッチの状態を切り替える作業を作業者に実施させる際に、動画像データの中の１シーンとして提示するものである。例えば、レバー部分の状態を下から上に挙げる操作、つまりスイッチを遮断状態から導通状態に切り替える作業の要領（手順）を、上記のレバー部分の動きをアニメーションで示すものである。図９に示す動画像には、上記の作業に関わる「対象エリア」の表示画像が並列に表示される。
【０１２９】
図１０に示す説明表示画像には、作業の内容を説明するための詳細な文字情報（文字列、文章などのテキスト）が含まれている。
上記の手順は、提供する情報の難易度（詳細さ）によって、２段階に分けて情報を提供するものである。この手順によれば、先に作業の内容の概要を習得した後に、作業の内容の詳細を作業者に習得してもらうことができる。
【０１３０】
作業者は、先に提供される画像による情報に基づいて作業の内容の概略を習得することができ、その後テキストの記載を読むことで作業の内容の詳細を習得することができる。このような方法をとることで、作業者は、２段階に分けた予習を作業の直前に行うことにより、これまでの手順書の記載を読み返すことなく、作業に必要な知見を獲得することができる。
【０１３１】
図１０に示す説明表示画像には、テキスト表示領域ＤＳＰの下段にプログレスバーＢが設けられている。プログレスバーＢは、当該作業工程における作業の進捗状況を示す。プログレスバーＢにおいて、バーが伸びているほど作業が進んでいる状況にあることを示す。プログレスバーＢによって示される当該作業工程における作業の進捗状況は、予定される作業工程の件数と、完了した作業工程の件数とに基づいて算出してもよい。
テキスト表示領域ＤＳＰ内の円Ｃは、視線カーソルの一例である。この画像は、作業者がテキスト表示領域ＤＳＰ内のテキストを確認している状況を示す一例である。
【０１３２】
図１１に示す誘導表示画像は、作業者が次に見るべき位置を、作業者に示すための表示（誘導表示）の一例である。この誘導表示は、作業者の視線が、作業者が見るべき位置に移るように表示される。誘導表示として表示された画像を目で追えば作業者が見るべき位置に、作業者の視線が移るように構成されている。その一例が、図１１に示すような矢印ＡＳ２を、次の作業工程に移る方向に移動する動きを加えた動画像である。なお、作業者が見るべき位置は、シナリオデータによって規定される。これにより、作業者は、次の作業工程に係る地点の位置を獲得することができ、次の作業を速やかに開始することが可能になる。図１１に示す誘導表示画像は、上記の第２誘導表示画像に関するものであるが、第１誘導表示画像についても同様である。
【０１３３】
これにより表示デバイス１０は、上記の手順に従って、上記の警報・注意喚起画像、動画像、説明表示画像、及び誘導表示画像を、作業者に提供することができる。
【０１３４】
なお、再生処理部１１７は、特定の作業工程内の予め定められる期間に、上記のシナリオデータに基づいて動画像の表示を制限するとよい。特定の作業工程内の予め定められる期間とは、作業者が実際に作業を実施する期間を含むように規定する。これによって、作業者は、集中して自身の作業を遂行できる。
【０１３５】
再生処理部１１７は、特定の作業工程の任意の期間において、作業者が実施する作業に関する情報を非表示にして、さらに、その後再表示にしてもよい。特定の作業工程の任意の期間として、例えば、操作検出部１１６が作業中であると判定（ステップＳＡ１４）してから、作業が終了したと判定（ステップＳＡ１５）までの期間を含めた範囲を規定してもよい。これによれば、視野の中央部に位置する表示を、作業中に控えることが可能になる。
【０１３６】
表示デバイス１０は、作業者の視線に連動する視線カーソルが、当該作業の「対象エリア」内におかれたか否かを検出する。例えば、視線カーソルが、「対象エリア」内におかれるまで、或いは上記の検出を開始してから所定時間待機する。上記のように、視線カーソルが、「対象エリア」内におかれた状態にあれば、そこを起点にして所望の方向に作業者の視線を誘導することが可能である。
【０１３７】
表示デバイス１０は、視線カーソルが、「対象エリア」内におかれたことを検出すると、動画像表示を再生する。
【０１３８】
動画像の中で、「対象エリア」の位置が移動する場合には、表示デバイス１０は、「対象エリア」の位置への変更を示すような誘導表示を行うとよい。
【０１３９】
例えば、次の作業工程に移る場合には、表示デバイス１０は、先に表示されていた第１の「対象エリア」の位置から、次の作業工程の第２の「対象エリア」の位置に向かう方向の矢印ＡＳ２（図１１）を表示する。これによって、表示デバイス１０は、作業における所望のタイミングで第２の「対象エリア」を作業者に注視させることができる。
【０１４０】
上記のように、作業者が注視していた「対象エリア」から次の「対象エリア」に視線を移動させるような作業が含まれていても、作業者は、次の「対象エリア」を見失うことなく捕捉することが容易になる。
【０１４１】
仮に、作業者が「対象エリア」の位置を見失ったとしても、表示デバイス１０は、これを検出して、目標とする「対象エリア」に向けての誘導（矢印）を表示する。作業者は、表示された誘導に従い、視線を矢印の先の方向に移動させれば、目標の「対象エリア」の位置の方向を向くことができる。図５に示す画像は、上記の誘導により、視線がちょうど目標の「対象エリア」までたどり着いた状況の画像の一例である。なお、図５に示す画像には、操作に用いられる各操作オブジェクトは表示されていない。
【０１４２】
実施形態によれば、作業支援システム１は、作業者（ユーザ）の頭部に装着される表示デバイス１０であって、頭部に装着された状態で、作業者に実世界を視認可能にして、さらに作業者に情報を表示可能な表示デバイス１０を用いて、作業者が実施する作業に関する情報を、作業者に提供して作業の実施を支援する。データ管理部１１９は、作業の内容に関する説明表示画像と、作業の作業要領に関する動画像と、作業者を所望の作業に導くための誘導表示画像とを含む複数種類のデータと、前記複数種類のデータを表示させる順序を規定するシナリオデータとを記憶部１２０に格納させる。再生処理部１１７は、作業者の特定の作業工程のシナリオデータに従い、作業者の特定の作業工程に対応する説明表示画像と、動画像と、誘導表示画像とを表示デバイス１０の表示部１４０に表示させるように制御する。これにより、作業支援システム１は、作業者が作業を円滑に進めることを支援できる。
【０１４３】
なお、作業支援システム１を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより作業支援システム１が所定の処理動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１４４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、或いは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、ネットワークや通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１４５】
なお、再生処理部１１７は、シナリオデータに振動を出力させることが規定されている場合には、例えば、注意喚起画像を表示する期間に合わせて、シナリオデータに基づいた振動を、スピーカ１９０から出力させてもよい。これにより画像に基づいた注意喚起だけではなく、振動（音）に基づいて注意喚起を促すことができる。
【符号の説明】
【０１４６】
１…作業支援システム、１０…表示デバイス、１１０…制御部、１２０…記憶部、１３０…入力部、１４０…表示部、１５０…加速度検出部、１６０…無線通信部、１７０…カメラ、１８０…マイク、１９０…スピーカ、１１１…演算処理部、１１２…位置情報処理部、１１３…移動量取得部、１１４…動き検出部、１１５…視線推定部、１１６…操作検出部、１１７…再生処理部（表示制御部）、１１８…履歴処理部、１１９…データ管理部
【図１】
2020149138.tif 000003
【図２】
2020149138.tif 000004
【図３】
2020149138.tif 000005
【図４】
2020149138.tif 000006
【図５】
2020149138.tif 000007
【図６】
2020149138.tif 000008
【図７】
2020149138.tif 000009
【図８】
2020149138.tif 000010
【図９】
2020149138.tif 000011
【図１０】
2020149138.tif 000012
【図１１】
2020149138.tif 000013
【図１２】
2020149138.tif 000014
【図１３】
2020149138.tif 000015