(57)【要約】      （修正有）【課題】作業に対する高い検出精度と表示を行うための高い情報処理速度との両立が可能な情報提示装置及び情報提示システムを提供する。【解決手段】情報提示装置１０Ａは、作業内容としてのジョブを選択するための操作部６と、作業指示を作業者の眼前に表示する表示部５と、作業状態を検出する第１動作検出部１と、第１動作検出部より処理が重く、かつ、異なる性質の作業状態を検出する第２動作検出部２と、メモリー７とを有する。さらに、動作検出部の検出結果と検出部切換え特徴量データとに基づいて、第１動作検出部、第２動作検出部の切り換え制御を行う検出切換部３と、第２動作検出部の検出結果とワーク終了特徴量データとに基づいて、次ワークスライドを表示部に表示する表示決定部４と、を有する。更に、検出切換部は、第２動作検出部の検出結果とワーク終了特徴量データとに基づいて、第２動作検出部から第１動作検出部への切り換え制御を行う。【選択図】図２
2019215711.tif 000002
【特許請求の範囲】
【請求項１】
作業者への作業情報の提示により作業を支援するウェアラブルタイプの情報提示装置であって、
作業内容としてのジョブを選択するための操作部と、
作業情報としての作業指示を作業者の眼前に表示する表示部と、
作業状態を検出する第１動作検出部と、
前記第１動作検出部より処理が重く、かつ、前記第１動作検出部とは異なる性質の作業状態を検出する第２動作検出部と、
前記ジョブを構成するワークに関する作業指示を、ワークスライドとして表示するためのワークスライドデータと、前記第１，第２動作検出部のうち使用する動作検出部を指定する動作検出部データと、前記ワークスライドに紐づけられるとともに前記第１動作検出部又は第２動作検出部から得られるデータに基づいて設定された検出部切換え特徴量データと、前記第２動作検出部から得られるデータに基づいて設定されたワーク終了特徴量データと、が格納されるメモリーと、
前記第１動作検出部又は第２動作検出部の検出結果と前記検出部切換え特徴量データとに基づいて、前記第１，第２動作検出部の切り換え制御を行う検出切換部と、
前記第２動作検出部の検出結果とワーク終了特徴量データとに基づいて、次ワークスライドを前記表示部に表示させる表示決定部と、を有し、
前記検出切換部が、前記第２動作検出部の検出結果とワーク終了特徴量データとに基づいて、前記第２動作検出部から前記第１動作検出部への切り換え制御を更に行うことを特徴とする情報提示装置。
【請求項２】
前記第１動作検出部が作業者の動きを検出するセンサーであり、前記第２動作検出部が作業対象の状態を検出するセンサーであることを特徴とする請求項１記載の情報提示装置。
【請求項３】
前記メモリーには次ワークスライドの表示タイミングも格納されており、前記表示決定部が、前記表示タイミングに基づいて次ワークスライドを前記表示部に表示することを特徴とする請求項１又は２記載の情報提示装置。
【請求項４】
前記表示部からの作業指示が外界風景に重ねて観察されるように前記表示部からの映像光と外界風景からの外界光とを同時に観察者眼に導くコンバイナーと、前記コンバイナーが観察者眼の前方に位置するように前記表示部及びコンバイナーを支持する支持部材と、を更に有することを特徴とする請求項１〜３のいずれか１項に記載の情報提示装置。
【請求項５】
請求項１〜４のいずれか１項に記載の情報提示装置と、ネットワークを介して前記情報提示装置との通信を行うサーバーと、を備え、前記情報提示装置が前記ネットワークを介した通信を前記サーバーとの間で行うための通信部を更に有し、前記メモリーのデータが前記サーバーから取得したものであることを特徴とする情報提示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報提示装置及び情報提示システムに関するものであり、例えば、作業者の眼前に作業情報を表示することによって作業を支援する頭部装着型の情報提示装置及び情報提示システムに関するものである。
【背景技術】
【０００２】
ウェアラブルディスプレイに作業マニュアルを表示し、作業を支援するシステムが普及し始めているが、ウェアラブルディスプレイのハンズフリーという利点を最大限活かすためにはユーザーインターフェースが重要になる。例えば特許文献１や特許文献２には、センサーを使って作業者の自然な動きを認識して表示内容を決定するハンズフリーなユーザーインターフェースが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２０８０５１号公報
【特許文献２】特開２００３−２８１２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１や特許文献２に記載の装置の場合、検出精度が高いセンシングでは処理が重くなり、逆に処理の軽いものでは検出精度が低くなる、というトレードオフになる。例えば特許文献１では、カメラ画像から得られた情報をもとに作業指示内容を決定するが、常に画像認識が必要となるため情報量が過多となり、処理速度の低下ないしは高スペックのシステム導入が不可欠となる。また、特許文献２では「ユーザー目線」と「物体の状態認識」の２種類のセンサーを使って表示情報を決定するが、これはユーザー目線位置に合わせた表示等を行うものであるため処理速度は鑑みられておらず、常に作業対象の画像認識が必要になって処理が重くなる。
【０００５】
本発明はこのような状況に鑑みてなされたものであって、その目的は、作業に対する高い検出精度と表示を行うための高い情報処理速度との両立が可能な情報提示装置とそれを備えた情報提示システムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、第１の発明の情報提示装置は、作業者への作業情報の提示により作業を支援するウェアラブルタイプの情報提示装置であって、
作業内容としてのジョブを選択するための操作部と、
作業情報としての作業指示を作業者の眼前に表示する表示部と、
作業状態を検出する第１動作検出部と、
前記第１動作検出部より処理が重く、かつ、前記第１動作検出部とは異なる性質の作業状態を検出する第２動作検出部と、
前記ジョブを構成するワークに関する作業指示を、ワークスライドとして表示するためのワークスライドデータと、前記第１，第２動作検出部のうち使用する動作検出部を指定する動作検出部データと、前記ワークスライドに紐づけられるとともに前記第１動作検出部又は第２動作検出部から得られるデータに基づいて設定された検出部切換え特徴量データと、前記第２動作検出部から得られるデータに基づいて設定されたワーク終了特徴量データと、が格納されるメモリーと、
前記第１動作検出部又は第２動作検出部の検出結果と前記検出部切換え特徴量データとに基づいて、前記第１，第２動作検出部の切り換え制御を行う検出切換部と、
前記第２動作検出部の検出結果とワーク終了特徴量データとに基づいて、次ワークスライドを前記表示部に表示させる表示決定部と、を有し、
前記検出切換部が、前記第２動作検出部の検出結果とワーク終了特徴量データとに基づいて、前記第２動作検出部から前記第１動作検出部への切り換え制御を更に行うことを特徴とする。
【０００７】
第２の発明の情報提示装置は、上記第１の発明において、前記第１動作検出部が作業者の動きを検出するセンサーであり、前記第２動作検出部が作業対象の状態を検出するセンサーであることを特徴とする。
【０００８】
第３の発明の情報提示装置は、上記第１又は第２の発明において、前記メモリーには次ワークスライドの表示タイミングも格納されており、前記表示決定部が、前記表示タイミングに基づいて次ワークスライドを前記表示部に表示することを特徴とする。
【０００９】
第４の発明の情報提示装置は、上記第１〜第３のいずれか１つの発明において、前記表示部からの作業指示が外界風景に重ねて観察されるように前記表示部からの映像光と外界風景からの外界光とを同時に観察者眼に導くコンバイナーと、前記コンバイナーが観察者眼の前方に位置するように前記表示部及びコンバイナーを支持する支持部材と、を更に有することを特徴とする。
【００１０】
第５の発明の情報提示システムは、上記第１〜第４のいずれか１つの発明に係る情報提示装置と、ネットワークを介して前記情報提示装置との通信を行うサーバーと、を備え、前記情報提示装置が前記ネットワークを介した通信を前記サーバーとの間で行うための通信部を更に有し、前記メモリーのデータが前記サーバーから取得したものであることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、２つの異なる性質をセンシングする動作検出部を用い、作業状態に応じて起動する動作検出部を切り換え、それぞれの動作検出部で取得されるデータに基づいた画面遷移によって高い精度を保持しつつ、処理時間を短縮する構成になっている。したがって、作業に対する高い検出精度と表示を行うための高い情報処理速度との両立が可能な情報提示装置とそれを備えた情報提示システムを実現することが可能である。
【００１２】
例えば、２つの異なる性質をセンシングする動作検出部を用いているため、各作業に対する適切な検知が可能となる。そして、動作に応じた動作検出部の使い分けにより常に撮像・処理する必要がなくなるため、情報量の低減によるデータ処理量の軽減が可能となり、処理の高速化ないしは導入可能なシステムの低スペック化が可能となる。また、動作検出部で作業状態を検知し画面遷移するため、作業中に画面操作をする必要ない。結果として、両手を自由に使えるハンズフリー状態となるため、空いた手で所望の作業を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態に係る情報提示装置を用いた工程フローの一例を示す図。
【図２】第１の実施の形態に係る情報提示装置の概略構成を示すブロック図。
【図３】図２の情報提示装置を用いた作業の制御動作の一例を示すフローチャート。
【図４】図１の部品Ａネジ締め工程のワークスライドの一例を示す図。
【図５】図１の部品Ａネジ締め工程の後半においてモーションセンサーで得られる筋電位の一例を示すグラフ。
【図６】図３中のワーク終了判定に用いるカメラ画像の一例を示す図。
【図７】第２の実施の形態に係る情報提示システムを用いた工程フローの一例を示す図。
【図８】第２の実施の形態に係る情報提示システムの概略構成を示すブロック図。
【図９】図８の情報提示システムを用いた作業の制御動作の一例を示すフローチャート。
【図１０】図７の側板取り付け工程のワークスライドの一例を示す図。
【図１１】図７の側板取り付け工程の２枚目の側板の取り付けおいて加速度センサーで得られる加速度の一例を示すグラフ。
【図１２】図９中のワーク終了判定に用いるカメラ画像の一例を示す図。
【図１３】第１，第２の実施の形態に係る眼鏡型のヘッドマウントディスプレイを示す正面図。
【図１４】図１３のＶ−Ｖ’線断面図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態に係る情報提示装置，情報提示システム等を、図面を参照しつつ説明する。なお、実施の形態，具体例等の相互で同一の部分や相当する部分には同一の符号を付して重複説明を適宜省略する。
【００１５】
図１に、第１の実施の形態に係る情報提示装置を用いた工程フローの一例を示す。作業内容は３階層構造になっており、大分類としてジョブ、中分類としてワーク、小分類として動作、とそれぞれ定義している。第１の実施の形態では、ジョブとして「組立」を挙げており、ジョブを構成するワークとして「部品Ａネジ締め」と「部品Ｂネジ締め」を挙げている。つまり、「組立」のジョブの中に「部品Ａネジ締め」と「部品Ｂネジ締め」という２つのワークが存在している。
【００１６】
各ワークには４つの細かい動作が含まれている。つまり図１に示すように、「部品Ａネジ締め」のワークには、基板に部品Ａを組み付ける動作と、ネジを２本準備する動作と、部品Ａのネジ穴にネジをセットする動作と、ネジを回す動作と、が含まれており、「部品Ｂネジ締め」のワークには、基板に部品Ｂを組み付ける動作と、ネジを４本準備する動作と、部品Ｂのネジ穴にネジをセットする動作と、ネジを回す動作と、が含まれている。なお、各ワーク中の４つの動作のうち、後述するモーションセンサーで検出される作業者の状態は、ネジを回す動作である。
【００１７】
１つのワークに対しては１つのスライドが用意されており、そのスライドをワークスライドと呼ぶことにする。また、ワークスライドは、そのワークに関して作業者に提示する作業指示の表示画像（静止画，動画等）である。ジョブが選択されると、ワークスライドの表示とそのワークにおける作業状態（例えば、作業者の状態，作業対象の状態等）のセンシングとが自動的に実行される。なお、「組立」以外のジョブとしては、分解，修理等が挙げられる。
【００１８】
図２に、第１の実施の形態に係る情報提示装置１０Ａの概略構成をブロック図で示す。情報提示装置１０Ａは、作業者への作業情報の提示により作業を支援するウェアラブルタイプの情報提示装置であって、第１動作検出部１と、第２動作検出部２と、検出切換部３と、表示決定部４と、表示部５と、操作部６と、メモリー７と、を有している。表示部５は作業情報としての作業指示を作業者の眼前に表示し、操作部６はジョブの選択に用いられる。
【００１９】
第１動作検出部１は、作業者の動きを（作業者の状態として）検出するモーションセンサーであり、ここでは、作業者の手首に装着されて手の筋肉の動きを１秒間に１０データ検出する腕時計型の筋電位センサーを想定している。第２動作検出部２は、作業対象の状態を検出するカメラであり、ここでは、作業者の頭部に装着されて、視界に存在する作業対象を３００万画素の画像を３０ｆｐｓで撮像するカメラを想定している。第１，第２動作検出部１，２は、いずれも作業状態を検出するものであるが、第２動作検出部２では、第１動作検出部１より（情報量が多いため）処理が重く、かつ、第１動作検出部１とは異なる性質の作業状態の検出が行われる。また、第１，第２動作検出部１，２は検出切換部３で切り換え制御が行われ、第１，第２動作検出部１，２のうちの片方のみが起動した状態となる。
【００２０】
メモリー７には、４つのデータが格納されている。つまり、ワークに関する作業指示をワークスライドとして表示するためのワークスライドデータと、第１，第２動作検出部１，２のうち使用する動作検出部を指定する動作検出部データと、ワークスライドに紐づけられるとともに第１動作検出部１又は第２動作検出部２から得られるデータに基づいて設定された検出部切換え特徴量データと、第２動作検出部２から得られるデータに基づいて設定されたワーク終了特徴量データと、が格納されている。表１に、メモリー７内に格納されているデータを示す。
【００２１】
【表１】
2019215711.tif 000003
【００２２】
検出切換部３は、第１，第２動作検出部１，２から出力されたデータを受信し、それらのデータとメモリー７に格納されている特徴量データを用いて、データが一致したら第１動作検出部１と第２動作検出部２との切り換え制御を行う。つまり、検出切換部３は、第１動作検出部１又は第２動作検出部２の検出結果と検出部切換え特徴量データとに基づいて、第１，第２動作検出部１，２の切り換え制御を行い、また、第２動作検出部２の検出結果とワーク終了特徴量データとに基づいて、第２動作検出部２から第１動作検出部１への切り換え制御を更に行う。なお、「部品Ａネジ締め」のワークでは、表１から分かるように、第１，第２動作検出部１，２の切り換えが１回行われる構成（動作検出部：１→２）になっている。
【００２３】
表示決定部４は、第２動作検出部２から出力されたデータとメモリー７に格納されているワーク終了特徴量データとからワーク終了を判別し、ワークスライドを決定して表示部５に出力する。表示決定部４で決定されたワークスライドは、表示部５により作業者の眼前に表示される。つまり、表示決定部４は、第２動作検出部２の検出結果とワーク終了特徴量データとに基づいて、次ワークスライドを表示部５に表示させる。なお、作業者は操作部６でのマニュアル操作により表示内容を作業中に切り換えることもできる。
【００２４】
筋電位センサーで検出されるデータとは、作業者の動きを示す情報（作業者の状態）であり、第１動作検出部１として筋電位センサーを用いた第１の実施の形態の場合には、時間に対する電位パターンをデータとして含む情報である。また、カメラで検出されるデータとは、物と物との相対座標位置関係や色関係を示す情報（作業対象の状態）であり、物の判別は例えばエッジ検出によって行われる。
【００２５】
次に、実際の作業に沿った作業フローを説明する。図３のフローチャートに、情報提示装置１０Ａを用いた作業の制御動作の一例を示す。作業者は、まずこれから実施するジョブ内容を選択する。第１の実施の形態の場合、図１に示す「組立」が選択される（＃１０）。すると、「組立」に包括されているワークである「部品Ａネジ締め」のワークスライドデータが、表示決定部４によってメモリー７から取り出され、「部品Ａネジ締め」のワークスライドが表示部５に表示される（＃２０）。動作検出部を指定する動作検出部データとして、第１動作検出部１の情報も取り出され、第１動作検出部１であるモーションセンサーが起動する（＃３０）。
【００２６】
図４に、「部品Ａネジ締め」工程のワークスライドの一例を示す。このワークスライドでは、（１）で基板上の対象位置を示して「部品Ａを点線枠にセット」することを指示しており、（２）で部品Ａの対象位置を示して「ネジを２箇所留める」ことを指示している。
【００２７】
作業者は、表示されたワークスライドに沿って作業する。その間、検出切換部３はワークスライドに紐づけられた検出部切換え特徴量データを保持している。検出切換部３は、検出部切換え動作の有無（つまり、モーションセンサーの取得データが検出部切換え特徴量データに一致するか否か）を判定し（＃４０）、モーションセンサーから取得したデータがその条件に一致したときにモーションセンサーを停止する（＃５０）。そして、次の検出部切換え特徴量データの有無を判定するが（＃６０）、「部品Ａネジ締め」のワークでは次の検出部切換え特徴量データが無いため（表１）、動作検出部はモーションセンサー（第１動作検出部１）からカメラ（第２動作検出部２）に切り換えられる（＃７０）。
【００２８】
図５のグラフに、「部品Ａネジ締め」工程の後半（主としてネジを回す動作）においてモーションセンサー１６で得られる筋電位の一例を示す。ここで想定している筋電位センサーは、筋肉の動きに係る皮膚表面の電位変化を検出するので、例えば、何も持っていない状態では筋電位の絶対値は小さいが、ドライバー１５を握ると筋電位の絶対値は大きくなる。また、ドライバー１５でネジを回す動作では、筋肉への力を入れる動作と緩める動作とが交互に実施されるため、筋電位の絶対値の大きさも大小が交互に検出される。
【００２９】
第１の実施の形態の場合の検出部切換え特徴量データは、図５に示すような時間に対する筋電位の値である。そして「部品Ａネジ締め」のワークでは２箇所のネジ締めがあるので、２回目のネジ締めを始めたときのデータが検出部切換え特徴量データとして設定されている。したがって、検出部切換え特徴量データとモーションセンサー１６の取得データとの一致により、ドライバー１５を２回目回し始めたことが、検出切換部３で検出されると（＃４０）、モーションセンサー（第１動作検出部１）からカメラ（第２動作検出部２）への切り換えが行われることになる（＃５０〜＃７０）。
【００３０】
検出切換部３は、ワーク終了特徴量データも保持している。検出切換部３は、ワークが終了したか否か（つまり、カメラの取得データがワーク終了特徴量データに一致するか否か）を判定し（＃８０）、カメラから取得したデータがその条件に一致したときにカメラを停止する（＃９０）。
【００３１】
図６に、ワーク終了判定（＃８０）に用いるカメラ画像の一例を示す。このカメラ画像はカメラから取得したデータからなる画像（作業対象を上方から見た様子）であり、２つのネジで部品Ａが基板に固定された状態が「部品Ａネジ締め」の完了状態（ＯＫ）であり、それ以外は「部品Ａネジ締め」の未完了状態（ＮＧ）である。第１の実施の形態の場合のワーク終了特徴量データは、図６に示すような「部品Ａネジ締め」の完了状態（ＯＫ）を示すものであり、判定に用いるデータはエッジ検出法により検出される。なお、カメラは作業者の視界に対応した画角を常に撮影できる状態になっており、作業は想定可能な限定された状況において行われるため、条件の一致不一致の判別は可能である。
【００３２】
次に、次ワークの有無を確認する（＃１００）。ここでは、次ワークである「部品Ｂネジ締め」が存在するので、「部品Ｂネジ締め」のワークスライドデータが、表示決定部４によってメモリー７から取り出され、表示部５に表示される（＃２０）。第１動作検出部１の情報も取り出され、第１動作検出部１であるモーションセンサー１６が起動する（＃３０）。その後は「部品Ａネジ締め」と同様の順序で動作制御が行われ、次ワークが無くなって（＃１００）、次ジョブが無くなると（＃１１０）、動作制御は終了に至る（＃１２０）。
【００３３】
次に、第２の実施の形態を説明する。図７に、第２の実施の形態に係る情報提示システムを用いた工程フローの一例を示す。作業内容は３階層構造になっており、第１の実施の形態と同様、大分類としてジョブ、中分類としてワーク、小分類として動作、とそれぞれ定義している。第２の実施の形態では、ジョブとして「本棚製作」を挙げており、ジョブを構成するワークとして「側板取り付け」と「天板固定」と「背面板固定」と「棚板設置」を挙げている。つまり、「本棚製作」のジョブの中に「側板取り付け」と「天板固定」と「背面板固定」と「棚板設置」という４つのワークが存在している。
【００３４】
各ワークには、図７に示すように、複数の細かい動作が含まれている。例えば「側板取り付け」のワークには、６つの動作が含まれている。つまり、底板１枚と側板２枚を準備する動作と、底板の穴と１枚目の側板の接合面とにボンドを塗布する動作と、底板の穴にダボをセットする動作と、１枚目の側板の穴にダボが合うように入れる動作と、当て布を介して１枚目の側板を垂直方向からハンマーで叩く動作と、上記と同様の手順で反対側の側板（２枚目の側板）もセットする動作と、が含まれている。また「天板固定」，「背面板固定」，「棚板設置」の各ワークにも、図７に示す動作が含まれている。なお、「側板取り付け」のワーク中の６つの動作のうち、後述する加速度センサーで検出される作業者の状態は、当て布を介して２枚目の側板を垂直方向からハンマーで叩く動作である。
【００３５】
第１の実施の形態と同様、１つのワークに対しては１つのスライドが用意されており、そのスライドをワークスライドと呼ぶことにする。また、ワークスライドは、そのワークに関して作業者に提示する作業指示の表示画像（静止画，動画等）である。ジョブが選択されると、ワークスライドの表示とそのワークにおける作業状態（例えば、作業者の状態，作業対象の状態等）のセンシングとが自動的に実行される。なお、「本棚製作」以外のジョブとしては、タンス製作，ベッド製作，機器の組立等が挙げられる。
【００３６】
図８に、第２の実施の形態に係る情報提示システム１００の概略構成をブロック図で示す。情報提示システム１００は、情報提示装置１０Ｂと、ネットワークを介して情報提示装置１０Ｂとの通信を行う親サーバーＰＣ(Personal Computer)１１と、を備えており、また、ネットワークを介して他のＰＣ１２との通信も行われるように構成されている。情報提示装置１０Ｂは、作業者への作業情報の提示により作業を支援するウェアラブルタイプの情報提示装置であって、第１動作検出部１と、第２動作検出部２と、検出切換部３と、表示決定部４と、表示部５と、操作部６と、メモリー７と、通信部８と、を有しており、通信部８で前記ネットワークを介した通信が親サーバーＰＣ１１，他のＰＣ１２等との間で行われるように構成されている。第１の実施の形態と同様、表示部５は作業情報としての作業指示を作業者の眼前に表示し、操作部６はジョブの選択に用いられる。
【００３７】
第１動作検出部１は、作業者の動きを（作業者の状態として）検出するモーションセンサーであり、ここでは、作業者のツールであるハンマーに取り付けられてハンマーの使用状態を１秒間に１０データ検出する加速度センサーを想定している。第２動作検出部２は、作業対象の状態を検出するカメラであり、ここでは、作業者の頭部に装着されて、視界に存在する作業対象を３００万画素の画像を３０ｆｐｓで撮像するカメラを想定している。第１，第２動作検出部１，２は、いずれも作業状態を検出するものであるが、第２動作検出部２では、第１動作検出部１より（情報量が多いため）処理が重く、かつ、第１動作検出部１とは異なる性質の作業状態の検出が行われる。また、第１，第２動作検出部１，２は検出切換部３で切り換え制御が行われ、第１，第２動作検出部１，２のうちの片方のみが起動した状態となる。
【００３８】
メモリー７には、第１の実施の形態と同様の４つのデータと、次ワークスライドの表示タイミングと、が格納されている。つまり、ワークに関する作業指示をワークスライドとして表示するためのワークスライドデータと、第１，第２動作検出部１，２のうち使用する動作検出部を指定する動作検出部データと、ワークスライドに紐づけられるとともに第１動作検出部１又は第２動作検出部２から得られるデータに基づいて設定された検出部切換え特徴量データと、第２動作検出部２から得られるデータに基づいて設定されたワーク終了特徴量データと、表示タイミングデータｔ１〜ｔ４と、が格納されている。表２に、メモリー７内に格納されているデータを示す。なお、メモリー７内に格納されているデータは、親サーバーＰＣ１１から取得したものである。
【００３９】
【表２】
2019215711.tif 000004
【００４０】
検出切換部３は、第１，第２動作検出部１，２から出力されたデータを受信し、それらのデータとメモリー７に格納されている特徴量データを用いて、データが一致したら第１動作検出部１と第２動作検出部２との切り換え制御を行う。つまり、検出切換部３は、第１動作検出部１又は第２動作検出部２の検出結果と検出部切換え特徴量データとに基づいて、第１，第２動作検出部１，２の切り換え制御を行い、また、第２動作検出部２の検出結果とワーク終了特徴量データとに基づいて、第２動作検出部２から第１動作検出部１への切り換え制御を更に行う。なお、「側板取り付け」のワークでは、表２から分かるように、第１，第２動作検出部１，２の切り換えが複数回行われる構成（動作検出部：１→２→１→２）になっている。
【００４１】
表示決定部４は、第２動作検出部２から出力されたデータとメモリー７に格納されているワーク終了特徴量データとからワーク終了を判別し、ワークスライドを決定して表示部５に出力する。表示決定部４で決定されたワークスライドは、表示部５により作業者の眼前に表示タイミングに基づいて表示される。つまり、表示決定部４は、第２動作検出部２の検出結果とワーク終了特徴量データと表示タイミングデータとに基づいて、次ワークスライドを表示部５に表示させる。なお、作業者は操作部６でのマニュアル操作により表示内容を作業中に切り換えることもできる。
【００４２】
加速度センサーで検出されるデータとは、作業者の動きを示す情報（作業者の状態）であり、第１動作検出部１として加速度センサーを用いた第２の実施の形態の場合には、時間に対する角速度データをデータとして含む情報である。また、カメラで検出されるデータとは、物と物との相対座標位置関係や色関係を示す情報（作業対象の状態）であり、物の判別は例えばエッジ検出によって行われる。
【００４３】
次に、実際の作業に沿った作業フローを説明する。図９のフローチャートに、情報提示システム１００を用いた作業の制御動作の一例を示す。作業者は、まずこれから実施するジョブ内容を選択する。第２の実施の形態の場合、図７に示す「本棚製作」が選択される（＄１０）。すると、表示決定部４がネットワークを介して親サーバーＰＣ１１内の該当ジョブのデータをダウンロードし、メモリー７に一時的に保存する（＄１５）。
【００４４】
そして、「本棚製作」に包括されているワークである「側板取り付け」のワークスライドデータが、表示決定部４によってメモリー７から取り出され、「側板取り付け」のワークスライドが表示部５に表示される（＄２０）。動作検出部を指定する動作検出部データとして、第１動作検出部１の情報も取り出され、第１動作検出部１である加速度センサーが起動する（＄３０）。
【００４５】
図１０に、「側板取り付け」工程のワークスライドの一例を示す。このワークスライドでは、底板２１とダボ２３にボンド２４を塗布し、底板２１の穴２１ａと側板２２の穴２２ａにダボ２３をセットし、底板２１に側板２２をセットした後、加速度センサー２６が取り付けられたハンマー２５で側板２２を叩くことを指示している。
【００４６】
作業者は、表示されたワークスライドに沿って作業する。その間、検出切換部３はワークスライドに紐づけられた検出部切換え特徴量データを保持している。検出切換部３は、検出部切換え動作の有無（つまり、加速度センサーの取得データが検出部切換え特徴量データに一致するか否か）を判定し（＄４０）、加速度センサーから取得したデータがその条件に一致したときに加速度センサーを停止する（＄５０）。そして、次の検出部切換え特徴量データの有無を判定するが（＄６０）、ここでは次の検出部切換え特徴量データがあるため（表２）、動作検出部は加速度センサー（第１動作検出部１）からカメラ（第２動作検出部２）に切り換えられる（＄３０）。
【００４７】
図１１のグラフに、「側板取り付け」工程の２枚目の側板の取り付けおいて加速度センサー２６で得られる加速度の一例を示す。加速度センサー２６は、ハンマー２５に装着された状態で作業者の動きを検出するので、例えば、作業者がハンマー２５を持っていない状態では加速度の値に変化は無いが、作業者がハンマー２５を持つと加速度の値が振れる。側板２２をダボ２３にしっかり嵌めるために、ハンマー２５で側板２２を叩いていくことになるので、ハンマー２５の降り始めの動作で加速度の値がプラス方向に振れ、ハンマー２５が側板２２に接触した時に加速度の値がマイナス方向に振れることになる。ハンマー２５の加速度の振れが無くなると（例えば、５秒間加速度に変化が無い場合）、それはハンマー２５の使用終了（叩き終わり）を意味する。
【００４８】
第２の実施の形態の場合の検出部切換え特徴量データは、図１１に示すような時間に対する加速度の値である。そして「側板取り付け」のワークでは１枚目の側板２２の取り付けのためのハンマー２５の使用が終了したときのデータが検出部切換え特徴量データとして設定されている。したがって、検出部切換え特徴量データと加速度センサー２６の取得データとの一致により、ハンマー２５の使い終わりが検出切換部３で検出されると（＄４０）、上述したように、加速度センサー（第１動作検出部１）からカメラ（第２動作検出部２）への切り換えが行われることになる（＄３０）。
【００４９】
次の検出部切換え特徴量データは、底板２１に側板２２が１枚取り付けられていることを示す画像データである。検出切換部３は、検出部切換え動作の有無（つまり、カメラの取得データが検出部切換え特徴量データに一致するか否か）を判定し（＄４０）、カメラから取得したデータがその条件に一致した（底板２１に側板２２が１枚取り付けられている）ときにカメラを停止する（＄５０）。そして、次の検出部切換え特徴量データの有無を判定するが（＄６０）、ここでは次の検出部切換え特徴量データがあるため（表２）、動作検出部はカメラ（第２動作検出部２）から加速度センサー（第１動作検出部１）に切り換えられる（＄３０）。
【００５０】
次の検出部切換え特徴量データは、２枚目の側板２２の取り付けのためのハンマー２５の使用が終了したときのデータである。したがって、検出部切換え特徴量データと加速度センサーの取得データとの一致により、ハンマー２５の使い終わりが検出切換部３で検出されると（＄４０）、加速度センサーを停止する（＄５０）。そして、次の検出部切換え特徴量データの有無を判定するが（＄６０）、ここでは次の検出部切換え特徴量データが無いため（表２）、動作検出部は加速度センサー（第１動作検出部１）からカメラ（第２動作検出部２）に切り換えられる（＄７０）。
【００５１】
検出切換部３は、ワーク終了特徴量データも保持している。検出切換部３は、ワークが終了したか否か（つまり、カメラの取得データがワーク終了特徴量データに一致するか否か）を判定し（＄８０）、カメラから取得したデータがその条件に一致したときにカメラを停止する（＄９０）。そして、表示ディレイタイミング処理を行う（＄９５）。表示ディレイタイミング処理では、あらかじめメモリー７に設定されている表示タイミングｔ１だけ待ち、次ワークへ移行していく。このようにすることで、第２動作検出部２の停止（＄９０）と次ワークスライドへの移行（＄９０）は、必ずしも同一タイミングでの変化とはならないので、最適なタイミングでワークスライドを変えることが可能となる。
【００５２】
図１２に、ワーク終了判定（＄８０）に用いるカメラ画像の一例を示す。このカメラ画像はカメラから取得したデータからなる画像（作業対象を斜め上方から見た様子）であり、２枚の側板２２が底板２１に固定された状態が「側板取り付け」の完了状態（ＯＫ）であり、それ以外は「側板取り付け」の未完了状態（ＮＧ）である。第２の実施の形態の場合のワーク終了特徴量データは、図１２に示すような「側板取り付け」の完了状態（ＯＫ）を示すものであり、判定に用いるデータはエッジ検出法により検出される。なお、カメラは作業者の視界に対応した画角を常に撮影できる状態になっており、作業は想定可能な限定された状況において行われるため、条件の一致不一致の判別は可能である。
【００５３】
次に、次ワークの有無を確認する（＄１００）。ここでは、次ワークである「天板固定」が存在するので、「天板固定」のワークスライドデータが、表示決定部４によってメモリー７から取り出され、表示部５に表示される（＄２０）。第１動作検出部１の情報も取り出され、第１動作検出部１である加速度センサーが起動する（＄３０）。その後は「側板取り付け」と同様の順序で動作制御が行われ、次ワークが無くなって（＄１００）、次ジョブが無くなると（＄１１０）、動作制御は終了に至る（＄１２０）。
【００５４】
以上説明した各実施の形態によれば、２つの異なる性質をセンシングする動作検出部１，２を用い、作業状態に応じて起動する動作検出部１，２を切り換え、それぞれの動作検出部１，２で取得されるデータに基づいた画面遷移によって高い精度を保持しつつ、処理時間を短縮する構成になっている。したがって、作業に対する高い検出精度と表示を行うための高い情報処理速度との両立が可能な情報提示装置１０Ａ，１０Ｂとそれを備えた情報提示システム１００を実現することが可能である。
【００５５】
例えば、２つの異なる性質をセンシングする動作検出部１，２を用いているため、各作業に対する適切な検知が可能となる。そして、動作に応じた動作検出部１，２の使い分けにより常に撮像・処理する必要がなくなるため、情報量の低減によるデータ処理量の軽減が可能となり、処理の高速化ないしは導入可能なシステムの低スペック化が可能となる。また、動作検出部１，２で作業状態を検知し画面遷移するため、作業中に画面操作をする必要ない。結果として、両手を自由に使えるハンズフリー状態となるため、空いた手で所望の作業を行うことができる。
【００５６】
第１動作検出部１が作業者の動きを検出するセンサー（モーションセンサー：加速度センサー，筋電位センサー，ＧＰＳ（作業者の移動検知），地磁気センサー（作業者の方位検知），ジャイロセンサー等）であり、第２動作検出部２が作業対象の状態を検出するセンサー（例えば、単眼カメラ，ステレオカメラ，赤外線カメラ等のカメラ；測距センサー；サーモグラフィー等）であるため、さまざまな場面での対応が可能となる。
【００５７】
第２の実施の形態によると、メモリー７には次ワークスライドの表示タイミングも格納されており、表示決定部４が、表示タイミングに基づいて次ワークスライドを表示部５に表示する構成になっているため、動作検出部１，２の停止と次ワークスライドとを同一タイミングで変化させずに、最適なタイミングでワークスライドを変えることができる。
【００５８】
情報提示システム１００は、情報提示装置１０Ｂと、ネットワークを介して情報提示装置１０Ｂとの通信を行う親サーバーＰＣ１１と、を備え、メモリー７のデータが親サーバーＰＣ１１から取得したものであるため、親サーバーＰＣ１１での一括管理が可能である。したがって、作業者が見たい情報をすぐに得ることができ、また、管理者からの変更を逐一受けることができる。
【００５９】
前述した情報提示装置１０Ａ，１０Ｂは、軽量・コンパクト化が容易であることから、頭部装着型（眼鏡型，ヘルメット型等）のウェアラブルディスプレイ（ヘッドマウントディスプレイ等）の形態に好適である。そこで、情報提示装置１０Ａ，１０Ｂの代表例として眼鏡型のヘッドマウントディスプレイ１０を例示して以下に説明する。
【００６０】
図１３に、眼鏡型のヘッドマウントディスプレイ１０の概略構成を示し、図１４にそのＶ−Ｖ’線断面構造の概略を示す。ヘッドマウントディスプレイ１０は、光学デバイス３４、ディスプレイ本体３５、フレーム（支持部材）３６、鼻当て３７等を備えた構成になっている。光学デバイス３４は、表示部５に対して接眼光学系として機能するように、プリズム３１，３２；コンバイナー３３等で構成されている。光学デバイス３４の上部はディスプレイ本体３５内に配置されており、コンバイナー３３が観察者眼ＥＹの前方に位置するように（図１４）、ディスプレイ本体３５と鼻当て３７はフレーム３６で支持されている。
【００６１】
ディスプレイ本体３５には、第１動作検出部１（モーションセンサー等）が接続されており、第２動作検出部２を構成するカメラが前面に、操作部６が上面にそれぞれ搭載されている。ディスプレイ本体３５の内部には検出切換部３，表示決定部４，表示部５，メモリー７等が設けられており、ケーブルを介して接続された回路基板から駆動電力や映像信号が供給される。また、前述した情報提示システム１００のように、インターネット等の通信回線を介した外部のサーバー１１や端末１２との送受信（撮像画像及び表示画像の情報や音声情報をやりとり）が可能となる構成にしてもよい。
【００６２】
ヘッドマウントディスプレイ１０を観察者の頭部に装着し、表示部５で映像を表示すると、その映像光が光学デバイス３４を介して観察者眼ＥＹに導かれて、観察者は、ディスプレイ本体３５の表示映像の拡大虚像を観察することができる。また、これと同時に、観察者は光学デバイス３４を介して、外界像をシースルーで観察することができる。ディスプレイ本体３５がフレーム３６で支持されることにより、観察者はディスプレイ本体３５から提供される表示映像と外界像とを同時にハンズフリーで長時間安定して観察することができ、空いた手で所望の作業を行うことができる。なお、ディスプレイ本体３５を２つ用いて両眼で映像を観察できるようにしてもよい。
【００６３】
上述したように、情報提示装置１０Ａ，１０Ｂ（図２，図８）に相当するヘッドマウントディスプレイ１０（図１３，図１４）は、表示部５からの作業指示が外界風景に重ねて観察されるように表示部５からの映像光と外界風景からの外界光とを同時に観察者眼ＥＹ（図１４）に導くコンバイナー３３と、コンバイナー３３が観察者眼ＥＹの前方に位置するように表示部５及びコンバイナー３３を支持するフレーム３６と、を有しているため、作業者への作業情報の提示による効果的な作業支援が可能となる。
【符号の説明】
【００６４】
１    第１動作検出部（モーションセンサー；筋電位センサー，加速度センサー）
２    第２動作検出部（カメラ）
３    検出切換部
４    表示決定部
５    表示部
６    操作部
７    メモリー
８    通信部
１０    ヘッドマウントディスプレイ（情報提示装置）
１０Ａ，１０Ｂ    情報提示装置
１１    親サーバーＰＣ
１２    他のＰＣ
１５    ドライバー
１６    モーションセンサー（筋電位センサー）
２１    底板
２１ａ    穴
２２    側板
２２ａ    穴
２３    ダボ
２４    ボンド
２５    ハンマー
２６    加速度センサー
３１，３２    プリズム
３３    コンバイナー
３４    光学デバイス
３５    ディスプレイ本体
３６    フレーム（支持部材）
３７    鼻当て
１００    情報提示システム
ＥＹ    観察者眼
【図１】
2019215711.tif 000005
【図２】
2019215711.tif 000006
【図３】
2019215711.tif 000007
【図４】
2019215711.tif 000008
【図５】
2019215711.tif 000009
【図６】
2019215711.tif 000010
【図７】
2019215711.tif 000011
【図８】
2019215711.tif 000012
【図９】
2019215711.tif 000013
【図１０】
2019215711.tif 000014
【図１１】
2019215711.tif 000015
【図１２】
2019215711.tif 000016
【図１３】
2019215711.tif 000017
【図１４】
2019215711.tif 000018