(57)【要約】【課題】セキュリティー性を確保しつつ、頭部装着型表示装置の利便性を向上させる。【解決手段】実行順序に従って工程フローデータ１４４に含まれる複数の作業ブロックを実行し、作業ブロックに関する工程フローデータ１４４の設定に従って撮像画像データの利用を許可するか否かを制御する制御部１５０を備え、制御部１５０は、カメラ６１の撮像画像データの利用が拒否された作業ブロックを実行する場合に、解除コードが入力されると、撮像画像データの利用を許可し、撮像画像データの利用により予め設定された条件が成立すると、カメラ６１の撮像画像データの利用を拒否するＨＭＤ１００。【選択図】図２
2019129398.tif 000002
【特許請求の範囲】
【請求項１】
使用者の頭部に装着される頭部装着型表示装置であって、
入力を受け付ける入力部と、
外景を撮像する撮像部と、
実行順序が予め定められた複数の動作ステップを含む動作フローを定義する制御データであって、前記制御データに含まれる少なくともいずれかの前記動作ステップには、前記撮像部の撮像画像データの利用を許可するか否かの設定が含まれる前記制御データを記憶する記憶部と、
前記実行順序に従って前記制御データに含まれる複数の前記動作ステップを実行し、前記動作ステップに関する前記制御データの設定に従って前記撮像画像データの利用を許可するか否かを制御する制御部と、を備え、
前記制御部は、前記撮像部の撮像画像データの利用が拒否された前記動作ステップを実行する場合に、前記入力部により解除コードが入力されると、前記撮像画像データの利用を許可し、前記撮像画像データの利用により予め設定された条件が成立すると、前記撮像部の撮像画像データの利用を拒否する、頭部装着型表示装置。
【請求項２】
前記制御部は、前記入力部により前記解除コードが入力され、前記撮像画像データの利用を許可する場合に、前記入力部により入力された撮像条件を満たす前記撮像画像データを前記記憶部に記憶させる、請求項１記載の頭部装着型表示装置。
【請求項３】
前記撮像条件には、撮像日時と、撮像位置と、撮像の順序と、同一の撮像位置で撮像する画像数と、画角と、画素数との少なくともいずれかが含まれる、請求項２記載の頭部装着型表示装置。
【請求項４】
前記解除コードは、文字情報、画像情報、生体情報のいずれか少なくとも１つを用いる、請求項１から３のいずれか１項に記載の頭部装着型表示装置。
【請求項５】
前記入力部は、前記文字情報としてのパスワードと、前記画像情報としてのバーコード、２次元バーコード及びＱＲコードと、前記生体情報としての顔画像、網膜パターン及び指紋とのいずれかを前記解除コードとして入力を受け付ける、請求項４記載の頭部装着型表示装置。
【請求項６】
前記入力部は、前記撮像画像データを入力として受け付け、
前記制御部は、前記入力部が入力として受け付けた前記撮像画像データからコード情報を抽出し、抽出した前記コード情報に前記解除コードが含まれる場合に前記撮像画像データの利用を許可し、抽出した前記コード情報に基づいて前記撮像画像データの使用可能回数を決定し、決定した前記使用可能回数を上限として前記撮像画像データの利用を可能とする、請求項１から５のいずれか１項に記載の頭部装着型表示装置。
【請求項７】
前記入力部は、前記撮像画像データを入力として受け付け、
前記制御部は、前記入力部が受け付けた前記撮像画像データに基づいてジェスチャーを検出し、検出したジェスチャーが予め設定された解除コードとして登録されたジェスチャーに対応する場合に、前記撮像画像データの利用を許可する、請求項１から６のいずれか１項に記載の頭部装着型表示装置。
【請求項８】
通信部を備え、
前記入力部は、前記通信部が情報処理装置から受信した解除コードを入力として受け付け、
前記制御部は、前記入力部が受け付けた前記解除コードが予め設定された前記解除コードに対応する場合に、前記撮像画像データの利用を許可する、請求項１記載の頭部装着型表示装置。
【請求項９】
前記制御部は、前記入力部により前記解除コードが入力され、前記撮像画像データの利用を許可する場合に、前記通信部が前記情報処理装置から受信した撮像条件を満たす前記撮像画像データを前記記憶部に記憶させる、請求項８記載の頭部装着型表示装置。
【請求項１０】
前記撮像条件には、撮像日時と、撮像位置と、撮像の順序と、同一の撮像位置で撮像する画像数と、画角と、画素数との少なくともいずれかが含まれる、請求項９記載の頭部装着型表示装置。
【請求項１１】
使用者の頭部に装着される頭部装着型表示装置であって、
実行順序が予め定められた複数の動作ステップを含む動作フローを定義する制御データであって、前記制御データに含まれる少なくともいずれかの前記動作ステップには、撮像部の撮像画像データの利用を許可するか否かの設定が含まれる前記制御データを記憶する記憶部と、外景を撮像する撮像部とを備え、使用者の頭部に装着される頭部装着型表示装置の制御方法であって、
前記実行順序に従って前記制御データに含まれる複数の前記動作ステップを実行し、前記動作ステップに関する前記制御データの設定に従って前記撮像画像データの利用を許可するか否かを制御し、
前記撮像部の撮像画像データの利用が拒否された前記動作ステップを実行する場合に、解除コードが入力されると、前記撮像画像データの利用を許可し、
前記撮像画像データの利用により予め設定された条件が成立すると、前記撮像部の撮像画像データの利用を拒否する、頭部装着型表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置、及び頭部装着型表示装置の制御方法に関する。
【背景技術】
【０００２】
従来、使用者の頭部に装着され、使用者に視認可能に画像を表示する頭部装着型表示装置が知られている。この頭部装着型表示装置には様々な機能が搭載され、高機能が進んでいる。このため、頭部装着型表示装置を作業現場で使用する場合、情報漏洩に対する対策が必要となる。特許文献１には、バーコードを携帯端末に読み取らせることで、携帯端末の機能の制限と解除とを行うシステムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３１９５７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、作業現場でトラブルが発生した場合、発生したトラブルの要因等を特定するため、発生したトラブルについて記録を残しておく必要がある。頭部装着型表示装置を作業支援に用いていても、機能制限により撮像が制限されていると、頭部装着型表示装置を使用しているにも関わらず撮像ができないという問題が生じる。
本発明は、セキュリティー性を確保しつつ、頭部装着型表示装置の利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型表示装置であって、入力を受け付ける入力部と、外景を撮像する撮像部と、実行順序が予め定められた複数の動作ステップを含む動作フローを定義する制御データであって、前記制御データに含まれる少なくともいずれかの前記動作ステップには、前記撮像部の撮像画像データの利用を許可するか否かの設定が含まれる前記制御データを記憶する記憶部と、前記実行順序に従って前記制御データに含まれる複数の前記動作ステップを実行し、前記動作ステップに関する前記制御データの設定に従って前記撮像画像データの利用を許可するか否かを制御する制御部と、を備え、前記制御部は、前記撮像部の撮像画像データの利用が拒否された前記動作ステップを実行する場合に、前記入力部により解除コードが入力されると、前記撮像画像データの利用を許可し、前記撮像画像データの利用により予め設定された条件が成立すると、前記撮像部の撮像画像データの利用を拒否する。
この構成によれば、動作フローにて撮像が拒否された動作ステップを実行する場合であっても、入力部により解除コードが入力された場合には撮像画像データの利用が許可される。このため、セキュリティー性を確保しつつ、頭部装着型表示装置の利便性を向上させることができる。また、予め設定された条件が成立した場合には、撮像部の撮像画像データの利用が拒否されるので、セキュリティー性を維持することができる。
【０００６】
また、本発明は、前記制御部は、前記入力部により前記解除コードが入力され、前記撮像画像データの利用を許可する場合に、前記入力部により入力された撮像条件を満たす前記撮像画像データを前記記憶部に記憶させる。
この構成によれば、撮像画像データの利用を許可する場合に、入力された撮像条件を満たす撮像画像データが記憶部に記憶される。このため、撮像条件を満たす撮像画像データを記憶部に記憶させることができる。
【０００７】
また、本発明は、前記撮像条件には、撮像日時と、撮像位置と、撮像の順序と、同一の撮像位置で撮像する画像数と、画角と、画素数との少なくともいずれかが含まれる。
この構成によれば、記憶部に記憶させる撮像画像データの撮像日時や、撮像位置、撮像の順序、同一の撮像位置で撮像する画像数、画角、画素数を設定することができる。
【０００８】
また、本発明は、前記解除コードは、文字情報、画像情報、生体情報のいずれか少なくとも１つを用いる。
この構成によれば、文字情報や、画像情報、生体情報を解除コードとして用いることができる。
【０００９】
また、本発明は、前記入力部は、前記文字情報としてのパスワードと、前記画像情報としてのバーコード、２次元バーコード及びＱＲコードと、前記生体情報としての顔画像、網膜パターン及び指紋とのいずれかを前記解除コードとして入力を受け付ける。
この構成によれば、パスワードや、バーコード、２次元バーコード、ＱＲコード、顔画像、網膜パターン及び指紋のいずれかを解除コードとして用いることができる。
【００１０】
また、本発明は、前記入力部は、前記撮像画像データを入力として受け付け、前記制御部は、前記入力部が入力として受け付けた前記撮像画像データからコード情報を抽出し、抽出した前記コード情報に前記解除コードが含まれる場合に前記撮像画像データの利用を許可し、抽出した前記コード情報に基づいて前記撮像画像データの使用可能回数を決定し、決定した前記使用可能回数を上限として前記撮像画像データの利用を可能とする。
この構成によれば、解除コードに含まれる使用可能回数を上限として撮像画像データの利用を許可することができる。
【００１１】
また、本発明は、前記入力部は、前記撮像画像データを入力として受け付け、前記制御部は、前記入力部が受け付けた前記撮像画像データに基づいてジェスチャーを検出し、検出したジェスチャーが予め設定された解除コードとして登録されたジェスチャーに対応する場合に、前記撮像画像データの利用を許可する。
この構成によれば、解除コードとして予め設定されたジェスチャーを行うことで、撮像画像データの利用を許可することができる。従って、操作部を操作したりすることなく、簡単な操作で撮像画像データの利用を許可することができる。
【００１２】
また、本発明は、通信部を備え、前記入力部は、前記通信部が情報処理装置から受信した解除コードを入力として受け付け、前記制御部は、前記入力部が受け付けた前記解除コードが予め設定された前記解除コードに対応する場合に、前記撮像画像データの利用を許可する。
この構成によれば、情報処理装置から解除コードを受信した場合に、撮像画像データの利用を許可することができる。従って、情報処理装置を操作して、頭部装着型表示装置に、撮像画像データの利用を許可することができる。
【００１３】
また、本発明は、前記制御部は、前記入力部により前記解除コードが入力され、前記撮像画像データの利用を許可する場合に、前記通信部が前記情報処理装置から受信した撮像条件を満たす前記撮像画像データを前記記憶部に記憶させる。
この構成によれば、撮像画像データの利用を許可する場合に、設定された撮像条件を満たす撮像画像データが記憶部に記憶される。このため、撮像条件を満たす撮像画像データを記憶部に記憶させることができる。
【００１４】
また、本発明は、前記撮像条件には、撮像日時と、撮像位置と、撮像の順序と、同一の撮像位置で撮像する画像数と、画角と、画素数との少なくともいずれかが含まれる。
この構成によれば、記憶部に記憶させる撮像画像データの撮像日時や、撮像位置、撮像の順序、同一の撮像位置で撮像する画像数、画角、画素数を設定することができる。
【００１５】
上記課題を解決するため、本発明は、使用者の頭部に装着される頭部装着型表示装置であって、実行順序が予め定められた複数の動作ステップを含む動作フローを定義する制御データであって、前記制御データに含まれる少なくともいずれかの前記動作ステップには、前記撮像部の撮像画像データの利用を許可するか否かの設定が含まれる前記制御データを記憶する記憶部と、外景を撮像する撮像部とを備え、使用者の頭部に装着される頭部装着型表示装置の制御方法であって、前記実行順序に従って前記制御データに含まれる複数の前記動作ステップを実行し、前記動作ステップに関する前記制御データの設定に従って前記撮像画像データの利用を許可するか否かを制御し、前記撮像部の撮像画像データの利用が拒否された前記動作ステップを実行する場合に、解除コードが入力されると、前記撮像画像データの利用を許可し、前記撮像画像データの利用により予め設定された条件が成立すると、前記撮像部の撮像画像データの利用を拒否する。
この構成によれば、動作フローにて撮像が拒否された動作ステップを実行する場合であっても、入力部により解除コードが入力された場合には撮像画像データの利用が許可される。このため、セキュリティー性を確保しつつ、頭部装着型表示装置の利便性を向上させることができる。また、予め設定された条件が成立した場合には、撮像部の撮像画像データの利用が拒否されるので、セキュリティー性を維持することができる。
【図面の簡単な説明】
【００１６】
【図１】ＨＭＤの外観構成を示す図。
【図２】ＨＭＤのブロック図。
【図３】コントローラーの機能ブロック図。
【図４】ＨＭＤの動作を示すフローチャート。
【図５】管理者端末の表示画面を示す図。
【図６】サンプル画像データ及び撮像画像データを示す図。
【図７】システム構成を示す図。
【図８】ＨＭＤの動作を示すフローチャート。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１８】
［第１実施形態］
図１は、ＨＭＤ１００の外観構成を示す図である。
ＨＭＤ１００は、画像表示部２０と、コントローラー１０とを備える。画像表示部２０は、人の頭部に装着され、装着者に虚像を視認させる。コントローラー１０は、ＨＭＤ１００を使用する者がＨＭＤ１００を操作する操作装置としても機能する。画像表示部２０を頭部に装着して作業等を行う者を以下では作業者Ｕという。
【００１９】
コントローラー１０は、箱形の本体１１に、作業者Ｕの操作を受け付ける各種のスイッチや操作パッド１４等を備える。画像表示部２０は、本実施形態では眼鏡形状を有し、右保持部２１と、左保持部２３と、前部フレーム２７と、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。
【００２０】
右保持部２１及び左保持部２３は、前部フレーム２７の両端部から後方に延び、作業者Ｕの頭部に画像表示部２０を保持する。前部フレーム２７の両端部のうち画像表示部２０の装着時に作業者Ｕの右側に位置する端部を端部ＥＲとし、左側に位置する端部を端部ＥＬとする。
【００２１】
右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。画像表示部２０の装着状態において、右導光板２６は作業者Ｕの右眼の眼前に位置し、左導光板２８は作業者Ｕの左眼の眼前に位置する。
【００２２】
右表示ユニット２２及び左表示ユニット２４は、光学ユニット及び周辺回路をユニット化したモジュールであり、画像光を出射する。右表示ユニット２２は、右保持部２１に取り付けられ、左表示ユニット２４は、左保持部２３に取り付けられる。
右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部品である。例えば、右導光板２６及び左導光板２８はプリズムである。右導光板２６は、右表示ユニット２２が出力する画像光を作業者Ｕの右眼に向けて導き、左導光板２８は、左表示ユニット２４が出力する画像光を作業者Ｕの左眼に導く。これにより、作業者Ｕの両眼に画像光が入射し、作業者Ｕが画像を視認できる。
【００２３】
ＨＭＤ１００はシースルー型の表示装置であり、作業者Ｕの右眼ＲＥには、右導光板２６により導かれた画像光と、右導光板２６を透過した外光とが入射する。同様に、左眼ＬＥには、左導光板２８により導かれた画像光と、左導光板２８を透過した外光とが入射する。このように、ＨＭＤ１００は、内部で処理した画像に対応する画像光と外光とを重ねて作業者Ｕの眼に入射させ、作業者Ｕにとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光による画像が視認される。
【００２４】
画像表示部２０の前部フレーム２７には、照度センサー６５が配置される。照度センサー６５は、画像表示部２０を装着する作業者Ｕの前方からの外光を受光する。
カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１の撮像範囲及び撮像方向については後述する。カメラ６１は、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図２の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置されているが、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。カメラ６１は、本発明の「撮像部」として動作する。
【００２５】
カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００を装着した状態における作業者Ｕの視界方向の少なくとも一部の外景（実空間）を撮像し、カメラ６１の画角は、作業者Ｕの正面方向を向き、作業者Ｕが画像表示部２０を透過して視認する外景と重複する。カメラ６１の画角は、作業者Ｕが画像表示部２０を透過して視認する視界の全体を含むことがより好ましい。カメラ６１は、制御部１５０の制御に従って撮像を実行し、撮像画像データを制御部１５０に出力する。
【００２６】
前部フレーム２７には、ＬＥＤインジケーター６７が配置される。ＬＥＤインジケーター６７は、端部ＥＲにおいてカメラ６１の近傍に配置され、カメラ６１の動作中に点灯して、撮像中であることを報知する。
【００２７】
前部フレーム２７には、距離センサー６４が設けられる。距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。本実施形態では、距離センサー６４は、作業者Ｕの前方に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する光反射式距離センサーであってもよい。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える超音波式の距離センサーであってもよい。また、距離センサー６４は、レーザーレンジスキャナー（測域センサー）を用いてもよく、この場合、画像表示部２０の前方を含む広範囲の領域に対し測域を行える。
【００２８】
コントローラー１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、本体１１のコネクター４２に着脱可能に接続される。
接続ケーブル４０は、オーディオコネクター４６を備え、ステレオヘッドホンを構成する右イヤホン３２及び左イヤホン３４と、マイク６３とを有するヘッドセット３０が、オーディオコネクター４６に接続される。右イヤホン３２は、作業者Ｕの右耳に装着され、左イヤホン３４は、作業者Ｕの左耳に装着される。マイク６３は、音声を集音して、音声信号を音声処理部１８０（図２）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
【００２９】
コントローラー１０は、作業者Ｕにより操作される被操作部として、ホイール操作部１２、中央キー１３、操作パッド１４、上下キー１５、ＬＥＤ表示部１７、及び電源スイッチ１８を備える。これらの被操作部は本体１１の表面に配置される。これらの被操作部は、例えば、作業者Ｕの手指により操作される。
【００３０】
操作パッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。操作パッド１４への接触（タッチ操作）は、例えば、タッチセンサー（不図示）により検出される。操作パッド１４は、接触が検出された操作面の位置を示す信号を制御部１５０に出力する。
【００３１】
本体１１にはＬＥＤ（Light Emitting Diode）表示部１７が設置される。ＬＥＤ表示部１７は、光を透過可能な透過部（不図示）を有し、透過部の直下に設置されるＬＥＤが点灯することで、透過部に形成された文字、記号、模様等を視認可能な状態とする。ＬＥＤ表示部１７に対する作業者Ｕの手指の接触操作は、タッチセンサー１７２（図２）により検出される。このため、ＬＥＤ表示部１７とタッチセンサー１７２との組合せはソフトウェアキーとして機能する。
電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチである。また、本体１１は、コントローラー１０を、外部の装置に接続するインターフェイスとして、ＵＳＢ（Universal Serial Bus）コネクター１９を備える。
【００３２】
図２は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
コントローラー１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１２５を備える。メインプロセッサー１２５には、メモリー１１８及び不揮発性記憶部１２１が接続される。メインプロセッサー１２５には、入力装置として操作部１７０が接続される。また、メインプロセッサー１２５には、センサー類として、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５が接続される。
【００３３】
メインプロセッサー１２５には、通信部１１７、音声処理部１８０、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３及びＦＰＧＡ１９５が接続される。これらは外部とのインターフェイスとして機能する。
【００３４】
メインプロセッサー１２５は、コントローラー１０が内蔵するコントローラー基板１２０に実装される。本実施形態では、コントローラー基板１２０に、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声処理部１８０等が実装される。また、外部メモリーインターフェイス１９１、ＵＳＢコネクター１９、センサーハブ１９３、ＦＰＧＡ１９５及びインターフェイス１９７をコントローラー基板１２０に実装してもよい。また、コネクター４２及びＵＳＢコネクター１９を、コントローラー基板１２０に実装してもよい。
【００３５】
メモリー１１８は、メインプロセッサー１２５により実行されるプログラム、及びメインプロセッサー１２５が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）により構成される。不揮発性記憶部１２１は、メインプロセッサー１２５が実行するプログラムや、メインプロセッサー１２５が処理するデータを記憶する。メモリー１１８には、カメラ６１の撮像画像データが一時的に記憶される。この場合、メモリー１１８は、撮像画像データが入力される入力部として動作する。
【００３６】
操作部１７０は、ＬＥＤ表示部１７、タッチセンサー１７２及びスイッチ１７４を含む。タッチセンサー１７２は、作業者Ｕによるタッチ操作を検出し、操作位置を特定し、メインプロセッサー１２５に対して操作信号を出力する。スイッチ１７４は、上下キー１５及び電源スイッチ１８の操作に応じて、メインプロセッサー１２５に操作信号を出力する。
また、スイッチ１７４には、カメラ６１のシャッターを操作するボタン（不図示）が含まれる。ＬＥＤ表示部１７は、メインプロセッサー１２５の制御に従って、ＬＥＤを点灯、点滅、消灯させる。操作部１７０は、例えば、ＬＥＤ表示部１７、タッチセンサー１７２、スイッチ１７４、及びこれらを制御する回路が実装されたスイッチ基板であり、本体１１に収容される。
【００３７】
６軸センサー１１１は、コントローラー１０の動きを検出するモーションセンサー（慣性センサー）の一例である。６軸センサー１１１は、３軸加速度センサー及び３軸ジャイロ（角速度）センサーを備える。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
【００３８】
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信する受信機である。ＧＰＳ１１５は、ＧＰＳ信号に基づき、コントローラー１０の現在位置の座標を検出又は算出する。
【００３９】
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、予め指定されたサンプリング周期に従ってメインプロセッサー１２５に出力値を出力する。また、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１２５の要求に応じて、メインプロセッサー１２５により指定されたタイミングで、検出値をメインプロセッサー１２５に出力する構成であってもよい。
【００４０】
通信部１１７は、外部の機器との間で無線通信を実行する通信装置である。通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備える。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等が統合されたデバイスであってもよいし、各種回路が実装された通信モジュール基板であってもよい。
【００４１】
通信部１１７の通信方式には、例えば、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access、登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ（Bluetooth Low Energy）、ＤＥＣＴ（Digital Enhanced Cordless Telecommunications）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ultra Wide Band）等が用いられる。
【００４２】
音声処理部１８０は、オーディオコネクター４６（図１）に接続され、音声信号の入出力及び音声信号のエンコード／デコードを行う。また、音声処理部１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及びその逆の変換を行うＤ／Ａコンバーターを備える。
【００４３】
外部メモリーインターフェイス１９１は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。
【００４４】
コントローラー１０は、バイブレーター１７６を搭載する。バイブレーター１７６は、モーター（不図示）、偏心した回転子（不図示）等を備え、メインプロセッサー１２５の制御に従って振動を発生する。例えば、操作部１７０に対する操作や、ＨＭＤ１００の電源のオン／オフに応じて、所定の振動パターンでバイブレーター１７６が振動を発生する。
【００４５】
インターフェイス（Ｉ／Ｆ）１９７は、センサーハブ１９３及びＦＰＧＡ（Field Programmable Gate Array）１９５を、画像表示部２０に接続する。インターフェイス１９７は、また、カメラ６１は、２次元バーコードやＱＲコード等の解除コードが入力される入力部として動作する。インターフェイス（Ｉ／Ｆ）１９７は、カメラ６１の撮像画像データが入力される入力部として動作する。すなわち、インターフェイス（Ｉ／Ｆ）１９７は、解除コードとしてバーコードやＱＲコード、顔画像、網膜パターンを入力する場合の入力部として動作する。これらの詳細については後述する。
センサーハブ１９３は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１２５に出力する。ＦＰＧＡ１９５は、メインプロセッサー１２５と画像表示部２０の各部との間で送受信するデータの処理、及びインターフェイス１９７を介した伝送を実行する。
【００４６】
接続ケーブル４０、及び、図示しない画像表示部２０内部の配線により、コントローラー１０に、右表示ユニット２２と、左表示ユニット２４とが個別に接続される。
右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１を備える。ＯＬＥＤユニット２２１が発する画像光は、レンズ群等を含む光学系により、右導光板２６に導かれる。左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１を備える。ＯＬＥＤユニット２４１が発する画像光は、レンズ群等を含む光学系により、左導光板２８に導かれる。
【００４７】
ＯＬＥＤユニット２２１、２４１は、ＯＬＥＤパネルやＯＬＥＤパネルを駆動する駆動回路を有する。ＯＬＥＤパネルは、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネルは、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。駆動回路は、制御部１５０の制御に従って、ＯＬＥＤパネルの発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネルの発光素子を発光させる。これにより、ＯＬＥＤユニット２２１、２４１に形成された画像の画像光が、右導光板２６及び左導光板２８に導かれ、右眼ＲＥ及び左眼ＬＥに入射する。
【００４８】
右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５が実装される。インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー６９、カメラ６１、照度センサー６５、及び、ＬＥＤインジケーター６７を、コントローラー１０に接続する。
【００４９】
ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）２１５は、メインプロセッサー１２５が読み取り可能にデータを記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２又は左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー６９、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１２５がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。
【００５０】
カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス２１１に出力する。
【００５１】
照度センサー６５は、受光量（受光強度）に対応する検出値を、インターフェイス２１１に出力する。ＬＥＤインジケーター６７は、インターフェイス２１１を介して入力される信号に従って点灯及び消灯する。
【００５２】
温度センサー６９は、温度を検出し、検出した温度に対応した電圧値又は抵抗値を、検出値としてインターフェイス２１１に出力する。温度センサー６９は、ＯＬＥＤユニット２２１が有するＯＬＥＤパネルの裏面側、或いは、ＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー６９を実装してもよい。
【００５３】
受信部２１３は、インターフェイス２１１を介してメインプロセッサー１２５が送信するデータを受信する。受信部２１３は、インターフェイス２１１から画像データを受信した場合に、受信した画像データを、ＯＬＥＤユニット２２１に出力する。
【００５４】
左表示ユニット２４は、表示ユニット基板２３０を有する。表示ユニット基板２３０には、インターフェイス１９７に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介してコントローラー１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２３０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９を、コントローラー１０に接続する。
【００５５】
６軸センサー２３５は、画像表示部２０の動きを検出するモーションセンサーの一例である。６軸センサー２３５は、３軸加速度センサー、及び３軸ジャイロセンサーを備える。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（inertial measurement unit）であってもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。
【００５６】
温度センサー２３９は、温度を検出し、検出した温度に対応した電圧値又は抵抗値を、検出値としてインターフェイス２３１に出力する。温度センサー２３９は、ＯＬＥＤユニット２４１が有するＯＬＥＤパネルの裏面側、又はＯＬＥＤパネルを駆動する駆動回路と同一の基板に実装され、ＯＬＥＤパネルの温度を検出する。また、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとして、駆動回路等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。
【００５７】
カメラ６１、照度センサー６５、温度センサー６９、６軸センサー２３５、磁気センサー２３７及び温度センサー２３９は、コントローラー１０のセンサーハブ１９３に接続される。
【００５８】
センサーハブ１９３は、メインプロセッサー１２５の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９３は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９３は、予め設定されたタイミングで、各センサーの検出値をメインプロセッサー１２５に出力する。センサーハブ１９３は、メインプロセッサー１２５に対する出力のタイミングに合わせて、各センサーの検出値を一時的に保持する機能を備えてもよい。また、センサーハブ１９３は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１２５に出力する機能を備えてもよい。
また、センサーハブ１９３は、メインプロセッサー１２５の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯又は点滅させる。
【００５９】
コントローラー１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出及びバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。
【００６０】
ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとして機能し、ＵＳＢコネクター１９に接続されるＵＳＢホスト装置との間で通信を確立し、データ通信を行う。また、ＵＳＢコントローラー１９９は、ＵＳＢデバイスコントローラーとしての機能に加え、ＵＳＢホストコントローラーとしての機能を有してもよい。ＵＳＢコントローラー１９９は、撮像条件が入力される「入力部」として動作する。
【００６１】
図３は、ＨＭＤ１００のコントローラー１０の制御系を構成する記憶部１４０、及び制御部１５０の機能ブロック図である。図３に示す記憶部１４０は、不揮発性記憶部１２１（図２）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。制御部１５０、及び制御部１５０が有する各種の機能部は、メインプロセッサー１２５がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１２５、メモリー１１８及び不揮発性記憶部１２１により構成される。
【００６２】
記憶部１４０は、メインプロセッサー１２５が実行する各種のプログラム、及びこれらのプログラムにより処理されるデータを記憶する。記憶部１４０は、オペレーティングシステム（ＯＳ）１４１、アプリケーションプログラム１４２、設定データ１４３、工程フローデータ１４４、パターン認識辞書１４５、ＨＭＤ識別情報１４６及び作業者識別情報１４７を記憶する。
【００６３】
制御部１５０は、記憶部１４０が記憶するプログラムを実行することにより、記憶部１４０が記憶するデータを処理してＨＭＤ１００を制御する。
【００６４】
オペレーティングシステム１４１は、メインプロセッサー１２５が実行するＨＭＤ１００の基本制御プログラムである。メインプロセッサー１２５は、電源スイッチ１８の操作によりＨＭＤ１００の電源がオンに切り替わると、オペレーティングシステム１４１をロードして実行する。メインプロセッサー１２５がオペレーティングシステム１４１を実行することで、制御部１５０の各種機能が実現される。制御部１５０の機能には、基本制御部１５１、通信制御部１５２、画像処理部１５３、撮像制御部１５４、データ保存制御部１５５、表示制御部１５６、情報取得部１５７及び工程フロー実行部１５８が含まれる。
【００６５】
アプリケーションプログラム１４２は、メインプロセッサー１２５がオペレーティングシステム１４１を実行した状態で、メインプロセッサー１２５が実行するプログラムである。アプリケーションプログラム１４２は、制御部１５０の各種機能を利用する。記憶部１４０が記憶するアプリケーションプログラム１４２は１つではなく複数であってもよい。例えば、アプリケーションプログラム１４２は、画像コンテンツ再生、音声コンテンツ再生、ゲーム、カメラ撮像、文書作成、ウェブブラウジング、スケジュール管理、電話（音声通信を含む）、画像通信、経路ナビゲーション等の機能を実現する。
【００６６】
設定データ１４３は、ＨＭＤ１００の動作に関する各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（ＬｏｏｋＵｐ  Ｔａｂｌｅ）等を用いる場合、これらを設定データ１４３に含めてもよい。
【００６７】
工程フローデータ１４４は、パーソナルコンピューター等の外部装置により作成された工程フローのデータであり、本発明の「制御データ」に相当する。制御部１５０は、外部装置により作成されたデータを取得し、取得したデータを工程フローデータ１４４として記憶部１４０に記憶させる。工程フローデータ１４４は、ＨＭＤ１００を含む各種機器（例えば、カメラ６１を持たない装置）や、種類や仕様が異なるＨＭＤ１００でも実行可能な汎用的なデータであってもよい。
【００６８】
ここで、工程フロー及び工程フローデータ１４４について説明する。
工程フローは、複数の作業で構成される業務を表す、いわゆるワークフローである。工程フローは、本発明の「動作フロー」の具体例である。工程フローは、１又は複数の作業ブロックを含み、各々の作業ブロックの実行順序が定義されたシーケンスである。また、工程フローには、複数の作業ブロックに設定された作業を作業者Ｕが行う間に、作業者Ｕに対して情報を出力する工程が含まれる。作業ブロックは、本発明の「動作ステップ」に相当する。作業ブロックは、工程フローを作成及び編集する際に一つの単位として扱われ、また、作業ブロックに複数の動作や処理が含まれてもよい。
【００６９】
また、工程フローデータ１４４は、作業者Ｕに実行させる作業の作業工程を示すデータである。工程フローデータ１４４には、工程フローに含まれる作業ブロック、作業ブロックの実行順序、各作業ブロックに設定された設定内容を含み、また、その他の情報を含んでもよい。
【００７０】
パターン認識辞書１４５は、ジェスチャーを特定する情報が登録された辞書である。本実施形態においてジェスチャーとは、手（以下、手首から指の先までの部分をいう）の予め設定された動きや形状を指すものとする。
例えば、ジェスチャーが手（左手又は右手）を左から右に動かす動作であると仮定する。この場合、パターン認識辞書１４５には、ジェスチャーを特定する情報として、手の移動方向を示す情報が登録される。また、ジェスチャーが握った手を開く、すなわち手の形状を、掌を握った状態から手を展開した状態に変化させる動作であると仮定する。この場合、パターン認識辞書１４５には、握った手の形状を示す情報と、開いた手の形状を示す情報と、これらの形状を示す情報の検出順序を示す情報とが登録される。
【００７１】
ＨＭＤ識別情報１４６は、ＨＭＤ１００を識別する識別情報であり、例えば、ＨＭＤ１００のＭＡＣアドレスやＩＰアドレスを用いることができる。
【００７２】
作業者識別情報１４７は、ＨＭＤ１００を使用して作業を行う作業者Ｕを識別する情報である。１台のＨＭＤ１００を複数の作業者Ｕにより共用する場合、各作業者Ｕを識別する必要がある。このため、作業者Ｕは、ＨＭＤ１００を使用する際に、操作部１７０からＩＤやパスワード等の作業者識別情報１４７を入力する。制御部１５０は、受け付けた作業者識別情報１４７により作業者認証を行って、ログイン処理を行う。
【００７３】
基本制御部１５１は、ＨＭＤ１００の各部を制御する基本機能を実行する。基本制御部１５１は、ＨＭＤ１００の電源がオンされたときに起動処理を実行し、ＨＭＤ１００の各部を初期化する。また、基本制御部１５１は、コントローラー１０の電源をオフにする際のシャットダウン処理を実行し、工程フロー実行部１５８を終了し、記憶部１４０が記憶する各種データを更新し、ＨＭＤ１００を停止させる。シャットダウン処理では画像表示部２０に対する電源供給も停止し、ＨＭＤ１００全体がシャットダウンされる。また、基本制御部１５１は、電源部１３０による電源供給を制御する機能を有する。基本制御部１５１は、シャットダウン処理で、電源部１３０からＨＭＤ１００の各部への電源供給を個別にオフに切り替える。
【００７４】
通信制御部１５２は、通信部１１７を制御して、他の装置との間でデータ通信を行う。例えば、通信制御部１５２は、パーソナルコンピューター等の画像供給装置（不図示）から供給されるコンテンツデータを通信部１１７により受信し、受信したコンテンツデータを記憶部１４０に記憶させる。
【００７５】
画像処理部１５３は、画像表示部２０により表示する画像又は映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１５３が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１５３は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１５３は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１５３は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、画像表示部２０に送信する。
【００７６】
画像処理部１５３は、メインプロセッサー１２５がオペレーティングシステム１４１を実行して実現される構成のほか、メインプロセッサー１２５とは別のハードウェアで構成してもよい。このハードウェアとしては、例えば、ＤＳＰ（Digital Signal Processor）が挙げられる。
【００７７】
撮像制御部１５４は、カメラ６１を制御する。撮像制御部１５４は、ＨＭＤ１００の電源がオンの間、一定時間ごとにカメラ６１に撮像を実行させて撮像画像データを生成させる。また、撮像制御部１５４は、シャッターボタンが押下された場合も、カメラ６１に撮像を実行させて撮像画像データを生成させる。カメラ６１により撮像された撮像画像データはメモリー１１８に書き込まれ、撮像画像データが一時的に保存される。メモリー１１８は揮発性のメモリーであるため、ＨＭＤ１００の電源がオフされると、メモリー１１８に書き込まれた撮像画像データは消去される。また、撮像制御部１５４は、一定時間ごとに生成される撮像画像データをメモリー１１８に上書き保存する。すなわち、撮像画像データを書き込み済みのメモリー１１８の領域に、新しく生成された撮像画像データが上書きされる。
【００７８】
データ保存制御部１５５は、工程フロー実行部１５８が工程フローデータ１４４を実行する場合に、工程フローデータ１４４の設定に従って撮像画像データの利用を許可又は禁止にする。工程フローデータ１４４の作業ブロックの各々には、撮像画像データの利用を拒否する拒否情報が含まれる。セキュリティーを強化する場合、すべての作業ブロックで撮像画像データの利用を禁止に設定することも可能である。
【００７９】
本実施形態において「利用を許可」とは、撮像画像データの保存を許可すること、すなわちメモリー１１８に一時的に保存された撮像画像データを記憶部１４０に記憶させることを許可することを意味する。また、「利用を許可」とは、工程フローデータ１４４の実行中、又は工程フローデータ１４４の実行後に撮像画像データを用いた処理を許可することを意味する。また、本実施形態において「利用を禁止」とは、メモリー１１８に一時的に保存された撮像画像データを記憶部１４０に記憶させることを禁止することを意味する。また、「利用を禁止」とは、工程フローデータ１４４の実行中、又は工程フローデータ１４４の実行後に撮像画像データを用いた処理を禁止することを意味する。
【００８０】
また、データ保存制御部１５５は、工程フロー実行部１５８が、工程フローデータ１４４において利用を禁止にされた作業ブロックを実行中であっても、予め設定された条件が成立した場合には撮像画像データの利用を一定の条件下で許可する。
作業者Ｕは、ＨＭＤ１００の画像表示部２０により表示される作業手順を示す画像やテキストを参照しながら作業を行う。作業中にトラブルが発生した場合であって、発生したトラブルが、トラブルの発生要因を特定するために撮像画像データを記録として残しておく必要のあるトラブルである場合、作業者Ｕは、上司である管理者に、撮像画像データの利用の許可を得る。管理者は、撮像画像データの利用を許可するため、解除コードを発行する。データ保存制御部１５５は、例えば、予め設定された条件として、解除コードが入力された場合、撮像画像データの利用を許可する。すなわち、撮像画像データの記憶部１４０への記憶を許可する。
【００８１】
解除コードには、例えば、管理者の管理者ＩＤや、撮像画像データの利用を許可する回数の上限値（以下、上限回数という）、有効期限の情報が含まれる。データ保存制御部１５５は、解除コードに含まれる上限回数を限度として、撮像画像データの記憶部１４０への記憶を許可する。シャッターボタンの操作によるカメラ６１の１回の撮像を「１」とカウントする場合、データ保存制御部１５５は、上限回数を上限として撮像を許可し、このとき撮像された撮像画像データの記憶部１４０への記憶を許可する。上限回数は、本発明の「使用可能回数」に相当する。
【００８２】
また、データ保存制御部１５５は、解除コードに有効期限が含まれる場合、有効期限内での撮像を許可し、有効期限内で撮像された撮像画像データの記憶部１４０への記憶を許可する。例えば、有効期限として、２０１８年４月３０日１５時〜１８時が設定されていた場合、データ保存制御部１５５は、この有効期限内で撮像された撮像画像データの記憶部１４０への記憶を許可する。
【００８３】
解除コードは、文字情報や、画像情報、生体情報のいずれか少なくとも１つにより表現される。文字情報の解除コードには、例えば、バーコードが含まれる。また、画像情報の解除コードには、ＱＲコード（登録商標）等の二次元コードが含まれる。また、画像情報の解除コードには、例えば、管理者の顔画像や、網膜パターン、指紋等が含まれる。
【００８４】
また、予め設定された条件が成立する場合として、予め設定されたジェスチャーが検出された場合が含まれる。データ保存制御部１５５は、カメラ６１が連続して撮像した撮像画像データをメモリー１１８から取得する。データ保存制御部１５５は、取得した撮像画像データの各々からジェスチャーを行う指（例えば、人指し指）の画像を検出する。データ保存制御部１５５は、例えば、肌色抽出処理や、エッジ検出処理を行って指の画像を検出する。また、データ保存制御部１５５は、検出した指の撮像画像データにおける位置を示す位置情報（座標情報）を求める。そして、データ保存制御部１５５は、求めた指の位置情報の動きを特定する。この処理は、指を検出した撮像画像データの撮像順と、検出した位置情報とにより特定することができる。データ保存制御部１５５は、検出した指の動きと、パターン認識辞書１４５の登録情報とを比較して、検出した指の動きがパターン認識辞書１４５に登録されたジェスチャーパターンに一致するか否かを判定する。
【００８５】
また、予め設定された条件として、予め設定された撮像条件を満たす撮像画像データである場合、撮像画像データの利用を一定の条件下で許可してもよい。撮像条件には、撮像日時、撮像方向、撮像角度、撮像範囲、撮像位置、撮像順序、上限回数、画素数の少なくともいずれかが含まれる。
【００８６】
撮像日時は、撮像を許可する有効期限の設定である。
撮像方向は、カメラ６１の撮像方向を規定する情報であり、撮像角度は、カメラ６１の撮像角度を規定する情報である。データ保存制御部１５５は、６軸センサー２３５の検出値により作業者Ｕの頭部が向く方向（方位角）や、仰角、俯角を検出する。データ保存制御部１５５は、方位角や仰角、俯角を検出すると、検出した方位角や仰角、俯角の方向が、撮像方向、撮像角度に含まれる方向であるか否かを判定して、撮像画像データの利用を許可するか否かを判定する。
また、撮像範囲は、撮像を許可する範囲を示す情報である。例えば、作業者Ｕが行っている作業がプリンターの組み立て作業である場合、プリンターを構成する部位（例えば、排紙トレイ等の部品や、排紙口や給紙口等の部位を示す情報）により撮像範囲を設定してもよいし、画角により設定してもよい。
【００８７】
また、撮像位置は、撮像を許可する位置の情報である。例えば、作業室内だけでの撮像を許可する場合、作業室に対応したＧＰＳ情報を設定する。データ保存制御部１５５は、ＧＰＳ受信部１１５が受信したＧＰＳ信号の示す位置情報が、撮像位置内に含まれる場合に、撮像画像データの利用を許可する。
また、撮像順序は、撮像する順番を規定した情報である。例えば、撮像制御部１５４は、連続して入力される撮像画像データが、製品を上面、左側面、右側面の順に撮像した画像データである場合、これらの撮像画像データの記憶部１４０への記憶を許可すると仮定する。この場合、撮像順序は、撮像の順番を示す情報と、各順番における撮像方向とを規定する情報である。
画素数は、撮像画像データのサイズ（解像度）を設定した情報である。
【００８８】
これらの撮像条件は、工程フローデータ１４４の作業ブロックごとに設定されていてもよい。また、管理者が所持するＵＳＢメモリーに、管理者ＩＤと共に撮像条件を記憶させ、管理者がトラブルの発生時にＵＳＢメモリーをＨＭＤ１００のＵＳＢコネクター１９に接続してもよい。データ保存制御部１５５は、接続されたＵＳＢメモリーから撮像条件を読み込み、読み込んだ撮像条件を満たすように撮像された撮像画像データの記憶部１４０への記憶を許可してもよい。
【００８９】
また、設定された撮像条件を満たすように生成された３ＤＣＡＤデータや、撮像画像データを、管理者が所持するＵＳＢメモリーに記憶させておくこともできる。データ保存制御部１５５は、接続されたＵＳＢメモリーから３ＤＣＡＤデータや、撮像画像データを読み込み、カメラ６１により撮像された撮像画像データとの比較（マッチング）を行う。データ保存制御部１５５は、カメラ６１の撮像画像データであって、マッチングにより撮像条件を満たすと判定した撮像画像データの記憶部１４０への記憶を許可する。
【００９０】
表示制御部１５６は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。例えば、表示制御部１５６は、ＯＬＥＤパネルによる画像の表示を実行させ、ＯＬＥＤパネルの描画タイミングの制御、輝度の制御等を行う。表示制御部１５６は、画像表示部２０を制御して表示領域に画像を表示させる。表示領域は、画像表示部２０が画像を表示可能な領域である。
【００９１】
情報取得部１５７は、外部メモリーＩ／Ｆ部１９１や、ＵＳＢコネクター１９を介して接続された外部装置からデータの読み取りを実行する。情報取得部１５７は、例えば、外部メモリーＩ／Ｆ部１９１に、記憶デバイスが接続されたことを検出した場合、記憶デバイスからデータを読み取り記憶部１４０に記憶させる。これにより、ＨＭＤ１００は、記憶デバイスに記憶された工程フローデータ１４４を読み取って利用できる。
【００９２】
工程フロー実行部１５８は、記憶部１４０が記憶するアプリケーションプログラム１４２を実行し、工程フローデータ１４４に従って工程フローを実行する。工程フローデータ１４４には、工程フローに含まれる作業ブロック、作業ブロックの実行順序、各作業ブロックに設定された設定内容を少なくとも含む。
【００９３】
各作業ブロックに設定される設定内容には、制御部１５０が実行する処理が含まれる。制御部１５０が実行する処理には、画像やテキストを含む画面表示を作業者に対する情報として表示させる処理や、ＱＲコード等の二次元コードの読み込みが含まれる。また、制御部１５０が実行する処理には、テキスト入力の受け付け、作業結果がＯＫかＮＧかの入力を受け付ける処理が含まれる。また、制御部１５０が実行する処理には、作業ブロックとして、チェックボックスを利用した選択入力の受け付け、ラジオボタンを利用した選択入力の受け付け等が含まれる。
【００９４】
作業ブロックには、例えば、手順表示ブロック、読込ブロック、入力ブロック、判定ブロック、選択入力ブロック及び終端ブロックが少なくとも含まれる。
【００９５】
手順表示ブロックは、作業手順を示す画面やテキストを画像表示部２０により表示領域に表示させるブロックである。作業者は、画像表示部２０により表示領域に表示された画面やテキストを参照しながら作業を行う。
【００９６】
読込ブロックは、カメラ６１に撮像を実行させて、カメラ６１の撮像画像データからＱＲコード（登録商標）や、バーコード等の二次元コードを読み取るブロックである。
制御部１５０は、例えば、二次元コードの読み取り枠と、二次元コードが読み取り枠内に納まるように作業者を案内する案内表示とを表示させる。制御部１５０は、読み取り枠に二次元コードの画像が検出された場合に、検出された二次元コードの画像を記憶部１４０に記憶させ、二次元コードに含まれるコード情報を解析する。
【００９７】
入力ブロックは、作業者からの入力を操作部１７０等により受け付けるブロックである。作業者の入力を受け付ける方法は、操作部１７０を用いる方法に限定されない。例えば、カメラ６１の撮像画像データを用いた文字認識処理や、マイク６３で集音した音声に対し音声認識処理により、テキストを含む各種入力を検出してもよい。また、ＵＳＢコネクター１９により接続されたバーコードリーダーから、バーコードを読み取った読取データを取得し、取得したデータを、作業者の入力として受け付けてもよい。また、６軸センサー２３５、１１１の検出値から求められる作業者の動きを作業者の入力として受け付けてもよい。
【００９８】
判定ブロックは、作業の実行結果を作業者から受け付けるブロックである。作業者は、例えば、手順表示ブロックにおいて表示された作業手順に従って作業を行い、作業結果として、「ＯＫ」又は「ＮＧ」の作業結果を操作部１７０等により入力する。制御部１５０は、操作部１７０により「ＯＫ」の入力を受け付けた場合、肯定判定する。この場合、制御部１５０は、手順表示ブロックを実行して次の作業内容が表示された画面を表示する等、肯定判定に対応した作業ブロックを実行する。また、制御部１５０は、操作部１７０により「ＮＧ」の入力を受け付けた場合、否定判定する。この場合、制御部１５０は、同一の作業内容を再度表示させて、同一の作業を再度実行させる、カメラ６１により作業結果を撮像する等の否定判定に対応した作業ブロックを実行する。
【００９９】
選択入力ブロックは、チェックボックスやラジオボタンを利用した選択の入力を受け付けるブロックである。制御部１５０は、選択入力ブロックを実行する場合に、作業者がチェックボックスやラジオボタンを視認可能なように表示して、チェックボックス又はラジオボタンを選択する操作を受け付ける。制御部１５０は、選択する操作を受け付けると、受け付けた選択に対応した作業ブロックを実行する。
【０１００】
終端ブロックは、工程フローの終端を示すブロックである。
【０１０１】
また、各作業ブロックには、撮像画像データの利用を拒否する拒否情報が含まれる。制御部１５０は、拒否情報が登録された作業ブロックを実行中は、カメラ６１が撮像した撮像画像データの記憶部１４０への記憶を禁止にする。また、セキュリティーを強化する場合には、すべての作業ブロックで撮像画像データの利用を禁止に設定することも可能である。
【０１０２】
図４は、ＨＭＤ１００の動作を示すフローチャートである。
作業者Ｕは、作業室に入る前に、ＨＭＤ１００を装着し、電源スイッチ１８を操作してＨＭＤ１００の電源がオンにする。また、作業者Ｕは、操作部１７０を操作してアプリケーションプログラム１４２の実行を指示する。ここでは、アプリケーションプログラム１４２として工程フローデータ１４４を実行するプログラム１４２が選択され、制御部１５０が工程フロー実行部１５８として動作可能な状態である場合について説明する。
【０１０３】
制御部１５０は、選択されたアプリケーションプログラム１４２を実行すると、このアプリケーションプログラムに従って工程フローデータ１４４を記憶部１４０から読み込んで実行する（ステップＳ１）。次に、制御部１５０は、工程フローデータ１４４に従って撮像画像データの利用を拒否に設定する（ステップＳ２）。工程フローデータ１４４では、撮像画像データの利用を拒否するか否かを作業ブロックごとに設定することが可能であるが、この説明では、すべての作業ブロックで撮像画像データの利用が拒否されている場合について説明する。
【０１０４】
次に、制御部１５０は、工程フローデータ１４４に従って画像表示部２０を制御し、工程フローに含まれる各動作ステップの作業手順を示す画像やテキストを表示領域に表示させる（ステップＳ３）。
【０１０５】
次に、制御部１５０は、手順が表示された動作ステップに対応した入力を検出したか否かを判定する（ステップＳ４）。制御部１５０は、動作ステップに対応した入力を検出した場合（ステップＳ４／ＹＥＳ）、工程フローデータ１４４の全工程の実行が終了したか否かを判定する（ステップＳ５）。制御部１５０は、全工程の実行が終了していない場合（ステップＳ５／ＮＯ）、ステップＳ３に戻り次の動作ステップの画像やテキストを表示領域に表示させる。また、制御部１５０は、全工程の実行が終了した場合（ステップＳ５／ＹＥＳ）、この処理フローを終了させる。
【０１０６】
また、制御部１５０は、動作ステップに対応した入力が検出されなかった場合（ステップＳ４／ＮＯ）、緊急ボタンの操作を受け付けたか否かを判定する（ステップＳ６）。緊急ボタンは、例えば、制御部１５０が、表示領域に表示されるソフトウェアボタンである。制御部１５０は、カメラ６１の撮像画像データから作業者Ｕの指（例えば、人指し指）を検出し、検出した撮像画像データでの指の位置が、表示領域の緊急ボタンの表示位置に重なるか否かを判定する。記憶部１４０には、カメラ６１により撮像される撮像画像データ上での位置と、表示領域での位置とを対応付けたキャリブレーションデータが記憶されている。作業者Ｕは、例えば、作業手順に従った作業中にトラブルが発生した場合、緊急ボタンを操作する。
【０１０７】
また、作業者Ｕは、例えば、作業室に設けられた固定の電話機等により管理者に緊急事態の発生を通知する。緊急事態の通知を受けた管理者は、トラブルの発生現場に赴き、画像による記録を残す必要があるトラブルであるか否かを判断する。管理者は、記録を残す必要があると判断した場合、管理者が所持するＱＲコードを作業者ＵのＨＭＤ１００のカメラ６１により撮像させる。ＱＲコードは、例えば、スマートフォンやタブレット端末等の管理者の使用する管理者端末３００（図５参照）の画面に表示させてもよいし、予め紙等に印刷したものであってもよい。
【０１０８】
ＱＲコードには、撮像画像データの利用を許可する解除コードが含まれる。また、ＱＲコードには、撮像画像データの記憶部１４０への記憶を許可する上限回数や、有効期限が含まれる。
【０１０９】
図５は、管理者端末３００の画面を示す図である。
管理者が使用する管理者端末３００には、ＱＲコードを作成する機能を備えたアプリケーションプログラムがインストールされている。管理者は、管理者ＩＤやパスワード、有効期限、記憶部１４０への記憶を許可する上限回数等の情報を管理者端末３００に入力する。アプリケーションプログラムを実行する管理者端末３００の制御部（不図示）は、入力された情報をコード情報として含むＱＲコードを生成する。
【０１１０】
制御部１５０は、緊急ボタンが操作されていない場合には（ステップＳ６／ＮＯ）、ステップＳ４の判定に戻り、動作ステップに対応した入力が検出されたか否かを判定する。また、制御部１５０は、緊急ボタンが操作された場合（ステップＳ６／ＹＥＳ）、カメラ６１の撮像画像データをメモリー１１８から取得し、取得した撮像画像データにコード情報が含まれるか否かを判定する。すなわち、制御部１５０は、コード情報の検出を開始する（ステップＳ７）。
【０１１１】
制御部１５０は、撮像画像データからコード情報を検出した場合、このコード情報に解除コードが含まれるか否かを判定する（ステップＳ８）。制御部１５０は、コード情報に解除コードが含まれていなかった場合（ステップＳ８／ＮＯ）、緊急ボタンが操作されてからの経過時間が設定時間を超えたか否かを判定する（ステップＳ９）。制御部１５０は、設定時間を経過していない場合（ステップＳ９／ＮＯ）、ステップＳ８の判定に戻る。また、制御部１５０は、設定時間を経過した場合（ステップＳ９／ＹＥＳ）、作業を継続するか否かを確認するメッセージを表示領域に表示させ（ステップＳ１７）、作業を継続するか否かの入力があるまで待機する。そして、制御部１５０は、作業を継続する操作を操作部１７０により受け付けた場合（ステップＳ１８／ＹＥＳ）、ステップＳ３から動作を再開させる。また、制御部１５０は、作業を終了する操作を操作部１７０により受け付けた場合（ステップＳ１８／ＮＯ）、この処理フローを終了させる。
【０１１２】
また、制御部１５０は、コード情報に解除コードが含まれる場合（ステップＳ８／ＹＥＳ）、撮像画像データの利用を許可する（ステップＳ１０）。次に、制御部１５０は、シャッターボタンの操作を受け付けたか否かを判定する（ステップＳ１１）。制御部１５０は、シャッターボタンの操作を受け付けていない場合（ステップＳ１１／ＮＯ）、シャッターボタンの操作を受け付けるまで待機する。また、制御部１５０は、シャッターボタンの操作を受け付けた場合（ステップＳ１１／ＹＥＳ）、カメラ６１に撮像を指示し、撮像された撮像画像データを取得する（ステップＳ１２）。
【０１１３】
次に、制御部１５０は、取得した撮像画像データが撮像条件を満たしているか否かを判定する（ステップＳ１３）。例えば、制御部１５０は、ＵＳＢコネクター１９に接続されたＵＳＢメモリーから撮像条件、又は撮像条件に従って生成された３ＤＣＡＤデータや撮像画像データを読み込む。このフローでは、ＵＳＢメモリーに撮像画像データが記憶され、制御部１５０がＵＳＢメモリーから撮像画像データを読み込む場合を説明する。以下、ＵＳＢメモリーから読み込んだ撮像画像データをサンプル画像データ３５０（図６参照）という。サンプル画像データ３５０は、設定された撮像条件（撮像方向や、撮像角度、撮像範囲）を満たすように撮像された画像データである。
【０１１４】
図６には、サンプル画像データ３５０と、カメラ６１の撮像した撮像画像データ３６０とを示す。
制御部１５０は、ＵＳＢメモリーからサンプル画像データ３５０を取得すると、カメラ６１の撮像画像データ３６０とのマッチングを行う。制御部１５０は、撮像画像データ３６０の撮像方向、撮像角度、撮像範囲と、サンプル画像データ３５０の撮像方向、撮像角度、撮像範囲とが一致するか否かを判定して、撮像条件が一致するか否かを判定する（ステップＳ１３）。
【０１１５】
図６に示すサンプル画像データ３５０には、プリンター３５１の画像が撮像され、撮像画像データ３６１には、プリンター３６１の画像が撮像されている。
サンプル画像データ３５０に撮像されたプリンター３５１には、給紙口３５２が撮像されているが、撮像画像データ３６０に撮像されたプリンター３６１には、給紙口が撮像されていない。制御部１５０は、サンプル画像データ３５０及び撮像画像データ３６０に撮像されたプリンター３５１、３６１の部位をそれぞれに特定する。制御部１５０は、サンプル画像データ３５０には撮像され、撮像画像データ３６１には撮像されていないプリンター３５１（３６１）の部位がある場合、撮像画像データの記憶部１４０への記憶を許可しない。逆に、制御部１５０は、サンプル画像データ３５０には撮像されず、撮像画像データ３６０には撮像されたプリンター３５１（３６１）の部位がある場合も、撮像画像データの記憶部１４０への記憶を許可しない。
【０１１６】
また、制御部１５０は、プリンター３５１及びプリンター３６１に含まれる部位の撮像角度が異なる場合、撮像画像データ３６０の記憶部１４０への記憶を許可しない。
例えば、図６に示すサンプル画像データ３５０に撮像されたプリンター３５１の排紙口３５３は、サンプル画像データ３５０の横方向に対して平行ではない。一方、撮像画像データ３６０に撮像されたプリンター３６１の排紙口３６３は、撮像画像データ３６０の横方向に対して平行である。制御部１５０は、プリンターを構成する各部位の撮像角度が一致するか否かを判定して、撮像画像データの記憶部１４０への記憶を許可するか否かを判定する。
【０１１７】
制御部１５０は、カメラ６１の撮像画像データが撮像条件を満たさない場合（ステップＳ１３／ＮＯ）、ステップＳ１１に戻り、シャッターボタンの操作を受け付けるまで待機する。また、制御部１５０は、カメラ６１の撮像画像データが撮像条件を満たす場合（ステップＳ１３／ＹＥＳ）、上限回数や有効期限等の制限に該当するか否かを判定する（ステップＳ１４）。制御部１５０は、撮像画像データを記憶部１４０に記憶させた回数が上限回数を超えたか否かを判定する。また、制御部１５０は、有効期限を経過したか否かを判定する。制御部１５０は、制限に該当すると判定した場合（ステップＳ１４／ＹＥＳ）、撮像画像データを記憶部１４０に記憶させない。この後、制御部１５０は、ステップＳ１６の処理に移行する。また、制御部１５０は、制限に該当しないと判定した場合（ステップＳ１４／ＮＯ）、撮像画像データを記憶部１４０に記憶させ（ステップＳ１５）、ステップＳ１１に戻る。
【０１１８】
また、制御部１５０は、ステップＳ１６において、撮像画像データの利用を禁止に設定し、作業を継続するか否かを確認するメッセージを表示領域に表示させる（ステップＳ１７）。制御部１５０は、作業を継続させる操作を操作部１７０により受け付けた場合（ステップＳ１８／ＹＥＳ）、ステップＳ３から動作を再開させる。また、制御部１５０は、作業を終了させる操作を操作部１７０により受け付けた場合（ステップＳ１８／ＮＯ）、この処理フローを終了させる。
【０１１９】
上述した説明では、ＱＲコードをカメラ６１により撮像し、撮像画像データに撮像されたＱＲコードを検出して、撮像画像データの利用を許可する場合について説明した。解除コードの入力方法はＱＲコードに限定されず、マーカーや、バーコード、他の二次元コードであってもよい。また、管理者を特定することで撮像画像データの記憶部１４０への記憶を許可する場合、顔認証や、指紋認証を用いてもよいし、管理者が所持するＩＣカードを読み取る構成であってもよい。また、管理者を特定する物、例えば、腕章や、時計、メガネ等の画像を記憶部１４０に記憶させ、撮像画像データから抽出した物の画像と、記憶部１４０に記憶された画像とが一致した場合に、撮像画像データの記憶部１４０への記憶を許可してもよい。
【０１２０】
以上説明したように第１実施形態のＨＭＤ１００は、記憶部１４０、入力部及び撮像部としてのカメラ６１と、制御部１５０とを備える。
記憶部１４０は、実行順序が予め定められた複数の動作ステップを含む動作フローを定義する工程フローデータ１４４を記憶する。この工程フローデータ１４４に含まれる少なくともいずれかの作業ブロックには、カメラ６１の撮像画像データの利用を許可するか否かの設定が含まれる。
制御部１５０は、実行順序に従って工程フローデータ１４４に含まれる複数の作業ブロックを実行し、作業ブロックに関する工程フローデータ１４４の設定に従って撮像画像データの利用を許可するか否かを制御する。
また、制御部１５０は、カメラ６１の撮像画像データの利用が拒否された動作ステップを実行する場合に、撮像画像データから解除コードが検出されると、撮像画像データの利用を許可する。また、制御部１５０は、撮像画像データの利用により予め設定された条件が成立すると、カメラ６１の撮像画像データの利用を拒否する。
従って、工程フローデータ１４４により撮像が拒否された作業ブロックを実行する場合であっても、解除コードが検出された場合には撮像画像データの利用が許可されるので、セキュリティー性を確保しつつ、ＨＭＤ１００の利便性を向上させることができる。また、予め設定された条件が成立した場合には、撮像部の撮像画像データの利用が拒否されるので、セキュリティー性が維持される。
【０１２１】
また、制御部１５０は、撮像画像データから解除コードが検出され、撮像画像データの利用を許可する場合に、入力部としてのＵＳＢコントローラー１９９に入力された撮像条件を満たす撮像画像データを記憶部１４０に記憶させる。
この構成によれば、撮像条件を満たす撮像画像データだけを記憶部１４０に記憶させることができる。
【０１２２】
また、撮像条件には、撮像日時と、撮像位置と、撮像の順序と、同一の撮像位置で撮像する画像数と、画角と、画素数との少なくともいずれかが含まれる。
従って、記憶部１４０に記憶させる撮像画像データの撮像日時や、撮像位置、撮像の順序、同一の撮像位置で撮像する画像数、画角、画素数を設定することができる。
【０１２３】
また、解除コードは、文字情報、画像情報、生体情報のいずれか少なくとも１つにより表現される。
従って、文字情報や、画像情報、生体情報を解除コードとして用いることができる。
【０１２４】
また、入力部として動作する操作部１７０は、文字情報としてのパスワードの入力を受け付ける。また、入力部として動作するカメラ６１は、画像情報としてのバーコード、２次元バーコード及びＱＲコードと、生体情報としての顔画像、網膜パターン及び指紋とのいずれかを解除コードとして入力を受け付ける。
従って、パスワードや、バーコード、２次元バーコード、ＱＲコード、顔画像、網膜パターン及び指紋のいずれかを解除コードとして用いることができる。
【０１２５】
また、制御部１５０は、カメラ６１の撮像画像データからコード情報を抽出し、抽出したコード情報に解除コードが含まれる場合に撮像画像データの利用を許可する。また、制御部１５０は、抽出したコード情報に基づいて撮像画像データの上限回数を決定し、決定した上限回数を上限として撮像画像データの利用を可能とする。
従って、コード情報に含まれる上限回数を上限として、撮像画像データの利用を許可することができる。
【０１２６】
また、制御部１５０は、カメラ６１の撮像画像データからジェスチャーを検出し、検出したジェスチャーが予め設定された解除コードとして登録されたジェスチャーに一致する場合に、撮像画像データの利用を許可する。
従って、操作部を操作したりすることなく、簡単な操作で撮像画像データの利用を許可することができる。
【０１２７】
［第２実施形態］
次に添付図面を参照して本発明の第２実施形態について説明する。図７は、第２実施形態のシステム構成を示す図である。本実施形態は、ＨＭＤ１００と管理者端末３００とがネットワーク７を介して接続された構成である。管理者端末３００は、本発明の「情報処理装置」として動作する。ＨＭＤ１００は、例えば、無線アクセスポイントを介してネットワーク７に接続され、管理者端末３００とデータ通信を行う。
【０１２８】
管理者端末３００は、複数の作業者Ｕを管理する管理者が使用する端末である。作業者Ｕは、作業中にトラブルが発生した場合、トラブルの発生をＨＭＤ１００により管理者端末３００に送信する。管理者は、ＨＭＤ１００からトラブルの発生の通知を受信すると、発生したトラブルを画像により記録する必要があるか否かを判定する。管理者は、トラブルを画像により記録する必要があると判定した場合、解除コードを含む指示情報をＨＭＤ１００に送信する。
【０１２９】
管理者端末３００は、通信部３０１、操作部３０３、表示部３０５、記憶部３０７及び制御部３１０を備える。
通信部３０１は、ネットワーク７に接続され、ネットワーク７に接続された他の装置とデータ通信を行う。
操作部３０３は、操作を受け付ける入力デバイスを備える。表示部３０５は、ＬＣＤ等の表示デバイスである。記憶部３０７は、制御部３１０が実行する制御プログラムを記憶する。また、記憶部３０７は、登録されたＨＭＤ１００の識別情報や、作業者Ｕを識別する作業者識別情報１４７を記憶する。制御部３１０は、制御プログラムを実行して、管理者端末３００の各部を制御する。
【０１３０】
図８は、第２実施形態のＨＭＤ１００の動作を示すフローチャートである。
図８に示すフローチャートにおいて、ステップＳ２１〜ステップＳ２６までの動作は、図４に示すフローチャートのステップＳ１〜Ｓ６までの動作と同一であるため説明を省略する。
【０１３１】
制御部１５０は、緊急ボタンが操作されたと判定した場合（ステップＳ２６／ＹＥＳ）、ネットワーク７に接続された管理者端末３００にトラブルの発生を通知する（ステップＳ２７）。この通知は、例えば、電子メールによる通知であってもよい。また、この通知には、トラブルが発生した動作ステップや、トラブルの発生日時、ＨＭＤ識別情報１４６、作業者識別情報１４７等が含まれる。また、作業者Ｕがトラブルの内容について説明した文書（テキストデータ）を操作部１７０の操作により生成し、生成したテキストデータを通知に含めることができる。
【０１３２】
管理者は、管理者端末３００がＨＭＤ１００から通知を受信すると、受信した通知内容を表示部３０５に表示させる。管理者は、表示部３０５に表示された通知内容に基づき、発生したトラブルについて画像による記録が必要か否かを判定する。管理者は、画像による記録が必要であると判断した場合、操作部３０３を操作して撮像条件を設定する。撮像条件は、トラブルが発生している製品の撮像を許可する条件であり、上限回数や、有効期限、撮像部位、撮像方向、撮像角度、撮像範囲、撮像位置等の情報が含まれる。管理者は、管理者ＩＤや、設定した撮像条件を含む指示情報を、該当のＨＭＤ１００に送信する。このフローでは、設定された撮像条件で撮像されたサンプル画像データ３５０を含む指示情報をＨＭＤ１００に送信する場合について説明する。
【０１３３】
制御部１５０は、通知を送信すると、指示情報の受信を待機する（ステップＳ２８）。制御部１５０は、指示情報を受信した場合（ステップＳ２８／ＹＥＳ）、受信した指示情報に撮像条件が含まれるか否かを判定する（ステップＳ２９）。このフローでは、制御部１５０は、撮像条件で撮像されたサンプル画像データ３５０が含まれるか否かを判定する。制御部１５０は、指示情報に撮像条件が含まれない場合（ステップＳ２９／ＮＯ）、作業者Ｕが行うシャッターボタンの操作に従ってカメラ６１に撮像を実行させる。制御部１５０は、生成された撮像画像データを記憶部１４０に記憶させ（ステップＳ３０）、ステップＳ３３の判定に移行する。
【０１３４】
また、制御部１５０は、指示情報に撮像条件が含まれる場合（ステップＳ２９／ＹＥＳ）、シャッターボタンの操作に従って生成された撮像画像データを取得する（ステップＳ３１）。その後、制御部１５０は、取得した撮像画像データが撮像条件を満たすか否かを判定する（ステップＳ３２）。制御部１５０は、図６で説明したように、撮像画像データの撮像方向や、撮像角度、撮像範囲と、サンプル画像データ３５０の撮像方向や、撮像角度、撮像範囲とが一致するか否かを判定して、撮像画像データが撮像条件を満たしているか否かを判定する。制御部１５０は、取得した撮像画像データが撮像条件を満たさない場合（ステップＳ３２／ＮＯ）、撮像画像データを記憶部１４０に記憶させない。この場合、制御部１５０は、ステップＳ３１に戻り、次の撮像画像データを取得する。
【０１３５】
また、制御部１５０は、取得した撮像画像データが撮像条件を満たす場合（ステップＳ３２／ＹＥＳ）、上限回数や有効期限等の制限に該当するか否かを判定する（ステップＳ３３）。制御部１５０は、制限に該当すると判定した場合（ステップＳ３３／ＹＥＳ）、撮像画像データを記憶部１４０に記憶させず、ステップＳ３５の処理に移行する。また、制御部１５０は、制限に該当しないと判定した場合（ステップＳ３３／ＮＯ）、撮像画像データを記憶部１４０に記憶させ（ステップＳ３４）、ステップＳ３１に移行する。
【０１３６】
また、制御部１５０は、ステップＳ３３で制限に該当すると判定した場合（ステップＳ３３／ＹＥＳ）、撮像画像データの利用を禁止に設定し（ステップＳ３５）、作業を継続するか否かを確認するメッセージを表示領域に表示させる（ステップＳ３６）。制御部１５０は、作業を継続させる操作を操作部１７０により受け付けた場合（ステップＳ３７／ＹＥＳ）、ステップＳ２３から動作を再開させる。また、制御部１５０は、作業を終了させる操作を操作部１７０により受け付けた場合（ステップＳ３７／ＮＯ）、この処理フローを終了させる。
【０１３７】
以上説明したように第２実施形態のＨＭＤ１００は、通信部１１７が管理者端末３００から受信した解除コードを入力として受け付ける。制御部１５０は、受け付けた解除コードが予め設定された解除コードに一致する場合に、撮像画像データの利用を許可する。従って、管理者が管理者端末３００を操作して、ＨＭＤ１００に撮像画像データの利用を許可することができる。
【０１３８】
上述した実施形態は、本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。
【０１３９】
また、上述した実施形態では、コントローラー１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、コントローラー１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。
【０１４０】
また、コントローラー１０が備える一部の機能を画像表示部２０に設けてもよく、コントローラー１０を複数の装置により実現してもよい。すなわち、コントローラー１０は、箱形のケースを備える構成に限定されない。例えば、コントローラー１０に代えて、作業者Ｕの身体、着衣、又は作業者Ｕが身につけられるデバイスを用いてもよい。作業者Ｕが身につけられるデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。
【０１４１】
さらに、上記の実施形態では、画像表示部２０とコントローラー１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、コントローラー１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
【０１４２】
また、コントローラー１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、コントローラー１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。
【０１４３】
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、作業者Ｕの左眼ＬＥに対応して画像を表示する表示部と、作業者Ｕの右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、画像表示部２０に代えてヘッドアップディスプレイを用いることで、自動車や飛行機等の車両に搭載することも可能である。例えば、車両にヘッドアップディスプレイを搭載する場合、操作パッド１４の操作面に相当する操作面を車両のハンドル等に設ける。
また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。この場合、作業者Ｕの身体に対する位置を位置決めする部分、及び当該部分に対し位置決めされる部分を装着部とすることができる。
【０１４４】
また、画像光を作業者Ｕの眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を作業者Ｕの眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【０１４５】
また、図２及ぶ図３に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１又はコントローラー１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７やＵＳＢコネクター１９を介して取得して実行する構成としてもよい。また、コントローラー１０に形成された構成のうち、操作部１７０がインターフェイス（ＵＩ）として形成されてもよい。
【０１４６】
また、図４及び図８に示すフローチャートの処理単位は、ＨＭＤ１００の制御部１５０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって本発明が制限されることはない。また、制御部１５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
【０１４７】
また、本発明の頭部装着型表示装置の制御方法を、表示装置を備えたコンピューターを用いて実現する場合、本発明を、上記制御方法を実現するためにコンピューターが実行するプログラム、このプログラムを前記コンピューターで読み取り可能に記録した記録媒体、或いは、このプログラムを伝送する伝送媒体の態様で構成することも可能である。上記記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ等の不揮発性記憶装置であってもよい。
【符号の説明】
【０１４８】
７…ネットワーク、１０…コントローラー、１１…本体、１２…ホイール操作部、１３…中央キー、１４…操作パッド、１５…上下キー、１７…ＬＥＤ表示部、１８…電源スイッチ、１９…ＵＳＢコネクター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４２…コネクター、４６…オーディオコネクター、６１…カメラ、６３…マイク、６４…距離センサー、６５…照度センサー、６７…ＬＥＤインジケーター、６９…温度センサー、１００…ＨＭＤ、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ受信部、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２５…メインプロセッサー、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…記憶部、１４１…ＯＳ、１４２…アプリケーションプログラム、１４３…設定データ、１４４…工程フローデータ、１４５…パターン認識辞書、１４６…ＨＭＤ識別情報、１４７…作業者識別情報、１５０…制御部、１５１…基本制御部、１５２…通信制御部、１５３…画像処理部、１５４…撮像制御部、１５５…データ保存制御部、１５７…情報取得部、１５８…工程フロー実行部、１７０…操作部、１７２…タッチセンサー、１７４…スイッチ、１７６…バイブレーター、制御部１５０、１８０…音声処理部、１９１…外部メモリーＩ／Ｆ部、１９３…センサーハブ、１９５…ＦＰＧＡ、１９７…インターフェイス、１９９…ＵＳＢコントローラー、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２２１…ＯＬＥＤユニット、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２６１…ハーフミラー、２８１…ハーフミラー、３００…管理者端末、３０１…通信部、３０３…操作部、３０７…記憶部、３１０…制御部、３５０…サンプル画像データ、３５１…プリンター、３５２…給紙口、３５３…排紙口、３６０…撮像画像データ、３６１…プリンター、３６１…撮像画像データ、３６３…排紙口、ＥＬ…端部、ＥＲ…端部。
【図１】
2019129398.tif 000003
【図２】
2019129398.tif 000004
【図３】
2019129398.tif 000005
【図４】
2019129398.tif 000006
【図５】
2019129398.tif 000007
【図６】
2019129398.tif 000008
【図７】
2019129398.tif 000009
【図８】
2019129398.tif 000010