(57)【要約】【課題】  仮想的に表示されたアイコン等を直感的に操作可能であり、より簡便かつ確実に指示入力可能である、頭部装着型表示装置を有する、作業支援装置、作業支援方法、作業支援プログラムを提供することを目的とする。【解決手段】  作業支援装置１は、ユーザの視界中に仮想表示領域Ｖｄを形成する表示部４１と、ユーザの前方を撮像して撮像画像を出力する撮像部１１と、撮像画像内において、ユーザの手指Ｈがユーザの前方向と後方向に交互に移動したとき、仮想表示領域Ｖｄにおける表示画像内の操作用表示部位を移動させる、制御部７１と、を有する。【選択図】図１
2019086916.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視界中に仮想表示領域を形成する表示部と、
前記ユーザの前方を撮像して撮像画像を出力する撮像部と、
前記撮像画像内において、前記ユーザの手指が前記ユーザの前方向と後方向に交互に移動したとき、前記仮想表示領域における表示画像内の操作用表示部位を移動させる、制御部と、
を有する、作業支援装置。
【請求項２】
前記制御部は、前記撮像画像内において、前記手指が前記ユーザの横方向へ移動したとき、前記操作用表示部位に対応付けられた処理を起動する、請求項１に記載の作業支援装置。
【請求項３】
取付部を有し、
前記取付部は、前記ユーザの頭部に取付け可能であり、
前記表示部と前記撮像部は、前記取付部によって前記ユーザの頭部に取り付けられる、請求項１に記載の作業支援装置。
【請求項４】
前記制御部は、画像判定部と表示制御部を有し、
前記画像判定部は、前記撮像画像に基づいて、前記手指を検出し、前記手指が前記ユーザの前方向と後方向に交互に移動したと判定したとき、前記表示制御部に、操作用表示部位移動の指示入力があったことを示す判定結果を出力し、
前記表示制御部は、前記画像判定部から前記操作用表示部位移動の指示入力があったことを示す判定結果の入力があったとき、前記表示画像内の操作用表示部位を移動させる、
請求項１に記載の作業支援装置。
【請求項５】
前記画像判定部は、前記撮像画像に基づいて、前記手指を検出し、前記手指が前記ユーザの横方向に移動したと判定したとき、前記表示制御部に、操作用表示部位決定の指示入力があったことを示す判定結果を出力し、
前記表示制御部は、前記画像判定部から前記操作用表示部位決定の指示入力があったことを示す判定結果の入力があったとき、前記操作用表示部位に対応付けられた処理を起動する、
請求項４に記載の作業支援装置。
【請求項６】
操作部を有し、
前記操作部は、前記手指をタッチして前記前方向又は前記後方向のいずれかに滑らせる操作による指示入力があると、前記制御部に、操作用表示部位移動の指示入力があったことを示す制御信号を出力し、
前記制御部は、前記制御信号に応じ、前記表示画像内の前記操作用表示部位を移動させる、
請求項１に記載の作業支援装置。
【請求項７】
前記操作部は、タップする操作による指示入力があると、前記制御部に、操作用表示部位決定の指示入力があったことを示す制御信号を出力し、
前記制御部は、前記制御信号に応じ、前記操作用表示部位に対応付けられた処理を起動する、
請求項６に記載の作業支援装置。
【請求項８】
前記操作用表示部位は、アイコンを有し、
前記アイコンは、前記手指の移動に応じた方向へ巡回表示される、
請求項１に記載の作業支援装置。
【請求項９】
前記アイコンは、傾斜楕円軌道に沿うように、巡回表示される、請求項８に記載の作業支援装置。
【請求項１０】
頭部装着型表示装置と作業判定装置を有し、
前記頭部装着型表示装置と前記作業判定装置は、ネットワークを介した通信によって互いに接続され、
前記頭部装着型表示装置は、前記表示部、前記撮像部及び前記制御部を有し、前記作業判定装置に前記撮像画像を送信し、
前記作業判定装置は、受信した前記撮像画像に基づいて、ガイドメッセージを前記頭部装着型表示装置に送信して前記表示部に表示させる、
請求項１に記載の作業支援装置。
【請求項１１】
表示部により、ユーザの視界中に仮想表示領域を形成し、
撮像部により、前記ユーザの前方を撮像して撮像画像を出力し、
制御部により、前記撮像画像内において、前記ユーザの手指が前記ユーザの前方向と後方向に交互に移動したとき、前記仮想表示領域における表示画像内の操作用表示部位を移動させる、
作業支援方法。
【請求項１２】
ユーザの視界中に仮想表示領域を形成する表示部のコードと、
前記ユーザの前方を撮像して撮像画像を出力する撮像部のコードと、
前記撮像画像内において、前記ユーザの手指が前記ユーザの前方向と後方向に交互に移動したとき、前記仮想表示領域における表示画像内の操作用表示部位を移動させる、制御部のコードと、
をコンピュータに実行させる、作業支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業支援装置、作業支援方法、作業支援プログラムに関する。
【背景技術】
【０００２】
従来、ユーザの頭部に装着される頭部装着型表示装置がある。例えば、特開平８−６７０８号公報には、操作者の頭部に装着され、表示部によって空間内の所定の位置にあるように仮想的にアイコンを表示し、アイコンがあるように見える位置に操作者が手指を移動させて手指で押すクリック操作をすると、アイコンに対応付けられた処理を起動する、頭部装着型の表示装置が開示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−６７０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の頭部装着型表示装置は、空間内に仮想的に表示されたアイコン等の位置に、実空間上においてユーザがそのアイコンを探して、ちょうどその位置に手指を移動させなければならず、ユーザに負担がかかる。
【０００５】
そこで、本発明は、仮想的に表示されたアイコン等を直感的に操作可能であり、より簡便かつ確実に指示入力可能である、頭部装着型表示装置を有する、作業支援装置、作業支援方法、作業支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様の作業支援装置は、ユーザの視界中に仮想表示領域を形成する表示部と、前記ユーザの前方を撮像して撮像画像を出力する撮像部と、前記撮像画像内において、前記ユーザの手指が前記ユーザの前方向と後方向に交互に移動したとき、前記仮想表示領域における表示画像内の操作用表示部位を移動させる、制御部と、を有する。
【０００７】
本発明の一態様の作業支援方法は、表示部により、ユーザの視界中に仮想表示領域を形成し、撮像部により、前記ユーザの前方を撮像して撮像画像を出力し、制御部により、前記撮像画像内において、前記ユーザの手指が前記ユーザの前方向と後方向に交互に移動したとき、前記仮想表示領域における表示画像内の操作用表示部位を移動させる。
【０００８】
本発明の一態様の作業支援プログラムは、ユーザの視界中に仮想表示領域を形成する表示部のコードと、前記ユーザの前方を撮像して撮像画像を出力する撮像部のコードと、前記撮像画像内において、前記ユーザの手指が前記ユーザの前方向と後方向に交互に移動したとき、前記仮想表示領域における表示画像内の操作用表示部位を移動させる、制御部のコードと、をコンピュータに実行させる。
【発明の効果】
【０００９】
本発明によれば、仮想的に表示されたアイコン等を簡便かつ確実に指示入力可能である、頭部装着型表示装置を有する、作業支援装置、作業支援方法、作業支援プログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係わる、作業支援装置の構成の一例を示すブロック図である。
【図２】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の一例を示す図である。
【図３】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末とユーザの目の位置関係を説明する説明図である。
【図４】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末のユーザの実視界、カメラ視界及び仮想表示領域を説明するための説明図である。
【図５】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の指示入力をするための手指の構造を説明するための説明図である。
【図６】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の指示入力をするための手指の動作を説明するための説明図である。
【図７】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の指示入力をするための手指の動作の一例を説明するための説明図である。
【図８】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の表示画像の構成例を説明するための説明図である。
【図９】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の表示画像の構成例を説明するための説明図である。
【図１０】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の表示画像の構成例を説明するための説明図である。
【図１１】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の表示画像の構成例を説明するための説明図である。
【図１２】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の表示画像の構成例を説明するための説明図である。
【図１３】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の表示画像の構成例を説明するための説明図である。
【図１４】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の表示画像の構成例を説明するための説明図である。
【図１５】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の指示入力判定処理の流れの一例を説明するためのフローチャートである。
【図１６】本発明の第１実施形態に係わる、作業支援装置のウェアラブル端末の作業支援処理の流れの一例を説明するためのフローチャートである。
【図１７】本発明の第１実施形態に係わる、作業支援装置の作業判定装置の作業支援処理の流れの一例を説明するためのフローチャートである。
【図１８】本発明の第１実施形態に係わる、作業支援装置の使用状態を説明するための説明図である。
【図１９】本発明の第１実施形態の変形例１に係わる、作業支援装置のウェアラブル端末の表示画像の構成例を説明するための説明図である。
【図２０】本発明の第１実施形態の変形例２に係わる、作業支援装置のウェアラブル端末の表示画像の構成例を説明するための説明図である。
【図２１】本発明の第２実施形態に係わる、作業支援装置のウェアラブル端末の一例を示す斜視図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００１２】
（第１実施形態）
図１は、本発明の第１実施形態に係わる、作業支援装置１の構成の一例を示すブロック図である。図２は、本発明の第１実施形態に係わる、作業支援装置１のウェアラブル端末２の一例を示す図である。
【００１３】
図１に示すように、作業支援装置１は、ウェアラブル端末２と作業判定装置３とを有する。
【００１４】
（ウェアラブル端末２の構成）
ウェアラブル端末２について、説明をする。
【００１５】
ウェアラブル端末２は、頭部に装着可能な頭部装着型表示装置である。図２では、ウェアラブル端末２は、回路収容部２ａに設けられた取付部２ｂによって眼鏡ＧのつるＧｖに取り付けられる。すなわち、取付部２ｂは、ユーザの頭部に取付け可能である。ウェアラブル端末２は、撮像部１１、マイクロホン２１、操作部３１、表示部４１、記録部６１、通信部Ｃ１、音声振動出力部５１及び制御部７１を有する。
【００１６】
撮像部１１は、カメラ１２を有する。図２に示すように、カメラ１２は、回路収容部２ａから前方に延出した前部２ｃに設けられる。ユーザがウェアラブル端末２を頭部に装着すると、カメラ１２は、ユーザの実視界Ｖｕの全域を含む範囲を撮像可能である。撮像部１１は、カメラ１２によって取得した撮像画像を制御部７１に出力する。
【００１７】
マイクロホン２１は、前部２ｃに設けられ、集音した外部音声を音声信号に変換し、制御部７１に出力する。ユーザは、マイクロホン２１を介し、音声による指示入力をすることも可能である。なお、マイクロホン２１は、回路収容部２ａに設けられてもよい。
【００１８】
操作部３１は、回路収容部２ａに設けられ、前後方向へ延びるように形成されたタッチセンサーを有する。操作部３１は、手指Ｈをタッチして前方向Ｆに滑らせる操作を行うことにより、第１方向Ｄ１へアイコンＩｃを巡回させる、アイコン移動の指示入力が可能である（図８）。また、操作部３１は、手指Ｈをタッチして後方向Ｂに滑らせる操作を行うことにより、第１方向Ｄ１とは逆の第２方向Ｄ２へアイコンＩｃを巡回させる、アイコン移動の指示入力が可能である。また、操作部３１は、手指Ｈによってタップする操作を行うことにより、操作用表示部位決定の指示入力である、アイコン決定の指示入力が可能である。指示入力があると、操作部３１は、指示入力を制御信号に変換し、制御部７１に出力する。
【００１９】
アイコンＩｃは、操作用表示部位である。アイコン移動の指示入力は、操作用表示部位移動の指示入力である。アイコン決定の指示入力は、操作用表示部位決定の指示入力である。
【００２０】
表示部４１は、眼鏡Ｇの右レンズＧＲの前方に配置され、制御部７１から入力された画像を表示する。表示部４１は、表示パネル４２、導光部４３及び出射面４４を有する。
【００２１】
表示パネル４２は、前部２ｃに設けられ、制御部７１から入力された制御信号に基づいた映像光を導光部４３に出射する。
【００２２】
導光部４３は、例えば、４ｍｍ以下の細幅に形成され、前部２ｃから眼鏡Ｇの右レンズＧＲの前方に延出し、表示パネル４２から入射された映像光を出射面４４に導光する。
【００２３】
出射面４４は、ユーザの右目の前方に配置され、導光部４３によって導光された映像光を右目に投影する（図２の１点鎖線）。
【００２４】
図３は、本発明の第１実施形態に係わる、作業支援装置１のウェアラブル端末２とユーザの目の位置関係を説明する説明図である。図４は、本発明の第１実施形態に係わる、作業支援装置１のウェアラブル端末２のユーザの実視界Ｖｕ、カメラ視界Ｖｃ及び仮想表示領域Ｖｄを説明するための説明図である。
【００２５】
図３に示すように、表示部４１は、前方に配置された出射面４４から映像光を右目に投影する。カメラ１２は、ユーザの前方を向くように配置され、ユーザの実視界Ｖｕの全域を含む範囲を撮像する。
【００２６】
図４に示すように、左視界ＶＬは、左レンズＧＬを通過した視界である。右視界ＶＲは、右レンズＧＲを通した視界である。左視界ＶＬ及び右視界ＶＲによってユーザの実視界Ｖｕが構成される。仮想表示領域Ｖｄは、出射面４４から出射した映像光によって実視界Ｖｕの右下に形成される。仮想表示領域Ｖｄは、透過するように知覚され、ユーザは、仮想表示領域Ｖｄとともに、仮想表示領域Ｖｄの背後にある被写体も知覚可能である。カメラ視界Ｖｃは、ユーザの実視界Ｖｕの全域を含むように構成される。カメラ視界Ｖｃは、実視界Ｖｕよりも大きく構成されてもよい。なお、右レンズＧＲ及び左レンズＧＬは、素通しガラスでもよい。また、右レンズＧＲ及び左レンズＧＬは、無くてもよい。
【００２７】
図１に戻り、音声振動出力部５１は、回路収容部２ａに設けられる。音声振動出力部５１は、制御部７１から入力された音声信号に基づいて、音声及び振動を発生可能である。
【００２８】
記録部６１は、回路収容部２ａに設けられ、読み書き可能なフラッシュロム等の記憶素子を有する。記録部６１は、制御部７１によって実行される各種の処理部のプログラムやデータの他、作業別データベース６２を有する。
【００２９】
作業別データベース６２は、所定の作業に関する手順の情報である、作業手順情報が記憶される。作業手順情報には、例えば、所定の基準画像、作業を促すための所定のガイドメッセージ、所定の警告メッセージ等の情報が含まれる。
【００３０】
通信部Ｃ１は、回路収容部２ａに設けられ、制御部７１の制御の下、ＬＡＮ又はインターネット等のネットワークを介し、作業判定装置３との有線又は無線による通信を行う回路である。
【００３１】
図５は、本発明の第１実施形態に係わる、作業支援装置１のウェアラブル端末２の指示入力をするための手指の構造を説明するための説明図である。図６は、本発明の第１実施形態に係わる、作業支援装置１のウェアラブル端末２の指示入力をするための手指Ｈの動作を説明するための説明図である。図７は、本発明の第１実施形態に係わる、作業支援装置１のウェアラブル端末２の指示入力をするための手指Ｈの動作の一例を説明するための説明図である。
【００３２】
図５に示すように、ウェアラブル端末２の指示入力をするための手指Ｈは、腱鞘Ｓｈに包まれた屈筋腱Ｆｔによって指骨Ｐｈを牽引することによって曲がる。ウェアラブル端末２は、基本的に作業中に手が離せない状況下で操作を行うので、ひとさし指くらいしか自由に動かせず、親指とその他の指は、操作対象物を支えていたり、道具を持っていたりして自由には動かせない状況を想定している。しかも作業中であるから、手は画面の下の方から見えており、その場合、ひとさし指は伸ばすと画面の上の方か中央部を目指して伸びる形で検出される。こうした、この状況下ならではの検出を行い、誤動作、誤作動を防止している。従って、ひとさし指がしっかり検出され、その変化を捉えられることが重要で、ここでは、人間工学的な考察を交えて設計がなされている。
【００３３】
制御部７１は、回路収容部２ａに設けられ、ウェアラブル端末２内の各部の動作を制御する。制御部７１は、ＣＰＵ等のプロセッサを有する。制御部７１の機能は、記録部６１に記録された各種の処理部及びアイコンＩｃによって起動される各種のアプリケーションのプログラムを読み込み、実行することによって実現する。
【００３４】
制御部７１は、画像判定部７２と表示制御部７３の処理部を有する。
【００３５】
画像判定部７２は、撮像部１１から入力された撮像画像にユーザの手指Ｈが検出されたとき、ユーザの手指Ｈの動作が、アイコン移動の指示入力、又は、アイコン決定の指示入力のいずれであるかも判定し、判定結果を表示制御部７３に出力する。
【００３６】
画像判定部７２は、所定の手指検出処理を行い、撮像画像から手指Ｈを検出する。所定の手指検出処理は、例えば、隣り合う画素との傾きから形状を抽出して予め設定された手指Ｈのモデル情報との類似度を算出し、所定の閾値と比較することによって検出する。所定の手指検出処理は、これに限定されず、例えば、機械学習技術によって学習した重み量に基づく所定の演算によって算出してもよいし、輝度によって算出された類似度を判定してもよいし、色によって算出された類似度を判定してもよい。
【００３７】
手指Ｈが検出されると、画像判定部７２は、手指Ｈの動作を判定する。図６に示すように、アイコン移動の指示入力を示す動作は、例えば、カメラ１２の前方において、手指Ｈを前後へ移動させる動作によって行われる。手指Ｈが後方向Ｂへ移動すると、撮像画像内では、手指Ｈが、大きく表れ、指先Ｐが立ち上がって撮像画像の上部を指す（図６の実線）。また、手指Ｈが前方向Ｆへ移動すると、撮像画像内では、手指Ｈが、小さく表れ、下方へ移動する（図６の破線）。
【００３８】
画像判定部７２は、手指Ｈの撮像画像に占める面積の割合と、指先Ｐの手指角度θｐを算出する。手指角度θｐは、例えば、手の甲と指先Ｐを結ぶ線Ｌ１と、撮像画像の下端縁Ｌ２とのなす角によって算出される。
【００３９】
面積の割合及び手指角度θｐの各々が所定の第１範囲内であるとき、画像判定部７２は、手指Ｈが後方向Ｂへ移動していると判定する。また、面積の割合及び手指角度θｐの各々が所定の第２範囲内であるとき、画像判定部７２は、手指Ｈが前方向Ｆへ移動していると判定する。所定の第１範囲及び所定の第２範囲は、手指Ｈの前方向Ｆ及び後方向Ｂの動作が検出できるように、経験的又は実験的に設定される。
【００４０】
画像判定部７２は、手指Ｈの前方向Ｆ及び後方向Ｂの動作が、交互に、所定回数、検出されたとき、アイコン移動の指示入力であると判定する。所定回数は、誤動作を防止することができるように、経験的又は実験的に設定される。
【００４１】
また、画像判定部７２は、手指Ｈの前方向Ｆ及び後方向Ｂの動作の違いにより、指示入力が第１方向Ｄ１又は第２方向Ｄ２のいずれを指示するものであるかを判定する。例えば、手指Ｈの前方向Ｆの移動速度が後方向Ｂの移動速度よりも速いとき、画像判定部７２は、アイコンＩｃを第１方向Ｄ１へ移動させる指示入力であると判定する。一方、手指Ｈの後方向Ｂの移動が前方向Ｆの移動よりも速いとき、画像判定部７２は、アイコンＩｃを第２方向Ｄ２へ移動させる指示入力であると判定する。
【００４２】
図７に示すように、アイコン決定の指示入力は、例えば、カメラ１２の前方において、手指Ｈを横方向Ｓへ移動させる動作によって行われる。アイコン決定の指示入力は、手指Ｈを横方向Ｓに曲げる動作であってもよい。手指Ｈは、屈筋腱Ｆｔによって指骨Ｐｈを牽引することによって曲がるため、手指Ｈが曲がると、指先Ｐは掌側を向く。手指Ｈが横方向Ｓへ移動すると、指先Ｐは、倒れることによって撮像画像の側部を指す。
【００４３】
画像判定部７２は、手指角度θｐが、所定の第３範囲内であるとき、画像判定部７２は、手指Ｈが横方向Ｓへ移動していると判定する。所定の第３範囲は、手指Ｈの横方向Ｓの動作が検出できるように、所定の第１範囲及び所定の第２範囲の手指角度θｐよりも小さくなるように、経験的又は実験的に設定される。
【００４４】
画像判定部７２は、手指Ｈの横方向Ｓの動作が、所定回数検出されたとき、アイコン決定の指示入力であると判定する。
【００４５】
画像判定部７２は、誤動作を防止できるように、円を描くような手指Ｈの回転動作を検出したとき、アイコン移動の指示入力及びアイコン決定の指示入力のいずれも判定しないように、構成してもよい。
【００４６】
なお、画像判定部７２は、ユーザの目が見ているものを、撮像画像から判定する機能で、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、その専用の回路、汎用の回路や制御部７１を一体としてＡＳＩＣとして構成してもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。ここでは、単純化のため通信部Ｃ１を特記していないが、本願の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。このときの通信には、ブルートゥース（登録商標）やＷｉ−Ｆｉ（登録商標）、電話回線等が用いられる。また、このときの通信は、ＵＳＢ等で行われてもよいが、ここでは、マイコンが特定のシーケンスや演算で判定する。
【００４７】
画像判定部７２は、ユーザの目の代用であるから、まさにそのユーザが作業している様子、特に手の動きなどを、ユーザ目線の撮像方向からリアルタイムに判定できるというメリットがある。つまり、画像判定部７２は、そのユーザの手作業の集中ぶりやチェックしているものそのものを画像の変化、ユーザ自身の手指Ｈや使っている道具、部品、資料、薬液など、あるいは他の作業者がいる場合は、差し出された手指や、道具、部品、資料、薬液など、特定の特徴物の画像内の位置、対象物の特徴的な色やパターンやその動きによって判定することが出来る。例えば、撮像画像中において、ユーザ自身の手指Ｈはウェアラブル端末２の撮像画像の下の方から特定の特徴のパターンや色や動きの画像として入り、他の作業者の手指は、それとは異なる方向から特徴的なパターンや色や動きの画像として出入りする。撮像部１１によって、手作業の解析に最適な画像が得られるので、画像判定部７２は、作業の手を休めたかどうかや、作業に専念して手を動かしているかなども判定できる。
【００４８】
なお、手の形の検出が出来れば、そのとき表示を出すような工夫をすれば、ユーザは手がしっかり判別されるような位置に、手なり、指なりを持って来る努力が出来る。
【００４９】
図８〜図１４は、本発明の第１実施形態に係わる、作業支援装置１のウェアラブル端末２の表示画像の構成例を説明するための説明図である。
【００５０】
表示制御部７３は、表示に関する各種処理を実行する。表示制御部７３は、例えば、ビデオコントローラやディスプレイコントローラ等によって構成することができ、制御部７１とは別体に構成されていてもよい。例えば、表示制御部７３は、各種メニュー表示を表示させたり、通信部Ｃ１を介して受信した情報を表示部４１に表示させたりすることができる。
【００５１】
表示制御部７３は、画像判定部７２から入力された判定結果に基づいて、表示部４１に表示される表示画像の制御も行う。表示制御部７３は、アイコンＩｃ、アプリ名Ａｎ、インジケータＩｎを表示画像に配置する。
【００５２】
表示制御部７３は、ユーザの指示入力に応じ、あたかも立体的に傾斜楕円軌道に沿って前方から後方、又は、後方から前方へ巡回するように、撮像画像上に複数のアイコンＩｃを配置して表示画像を生成する。以下、表示画像上のアイコンＩｃの一部又は全部を示すとき、アイコンＩｃという。
【００５３】
より具体的には、アイコンＩｃは、表示画像の上部中央から左下部にかけ、弧状の軌道に沿うように、所定の順番で複数配列される。複数のアイコンＩｃの各々は、透過するように表される。左中央部に配置されたアイコンＩｃが、選択状態アイコンＩｆであり、他のアイコンＩｃよりも大きく、かつ最前面に表される。選択状態アイコンＩｆ以外のアイコンＩｃは、選択状態アイコンＩｆから遠くなるに従い、小さく、薄く、透明度が高く、ぼかすように、かつ後方に配置されるように表される。ユーザによるアイコン移動の指示入力があると、複数配列されたアイコンＩｃが、弧状の軌道に沿うように、指示入力に応じて第１方向Ｄ１又は第２方向Ｄ２のいずれかに移動し、新たに左中央部に配置されたアイコンＩｃが選択状態アイコンＩｆになる。例えば、第１方向Ｄ１は、弧状の軌道に沿うように、表示画像の上部から下部に向かう方向である。第２方向Ｄ２は、弧状の軌道に沿うように、表示画像の下部から上部に向かう方向である。
【００５４】
アプリ名Ａｎは、選択状態アイコンＩｆに対応付けられたアプリケーションの名前が配置される。
【００５５】
インジケータＩｎは、複数のアイコンＩｃの中における選択状態アイコンＩｆの位置を示す。インジケータＩｎは、細長模様Ｔｎ及びマーカＭｋを有する。細長模様Ｔｎは、表示画像の右下部から右上部に延設される。マーカＭｋは、細長模様Ｔｎ上に配置され、選択状態アイコンＩｆの種類に応じて変化する。
【００５６】
例えば、図８〜図１４は、７つのアイコンＩｃを巡回表示させた例である。図８〜図１４では、アプリ名Ａｎは「ｘｘｘ」によって表される。
【００５７】
図８では、音声再生機能を起動するためのアイコンＩｃが選択状態アイコンＩｆにされた例である。マーカＭｋは、細長模様Ｔｎの上部に配置される。ユーザが第１方向Ｄ１のアイコン移動の指示入力をすると、図９に示すように、アイコンＩｃが第１方向Ｄ１へ巡回し、映像再生機能を起動するためのアイコンＩｃが選択状態アイコンＩｆになる。アイコンＩｃが巡回すると、アプリ名ＡｎとマーカＭｋの位置も変更される。さらに、ユーザが第１方向Ｄ１のアイコン移動の指示入力をすると、アイコンＩｃ、アプリ名Ａｎ、インジケータＩｎが、静止画記録機能（図１０）、動画記録機能（図１１）、リマインダー機能（図１２）、設定入力機能（図１３）、明るさ調整機能（図１４）を起動させるものに順次変化し、巡回表示される。
【００５８】
また、ユーザが第２方向Ｄ２のアイコン移動の指示入力をすると、アイコンＩｃは、第２方向Ｄ２へ順次移動する。アイコンＩｃが移動すると、アプリ名Ａｎ、インジケータＩｎは、順次変化する。
【００５９】
なお、図８〜図１４のアイコンＩｃは、一例であり、アイコンＩｃに対応付けられたアプリケーション、図柄、順番及び個数を限定するものではない。
【００６０】
なお、表示制御部７３は、記録部６１から読み出した各種の情報を、操作部３１に対するユーザ操作に基づいて選択して表示するようになっていてもよく、また、画像判定部７２による作業の進行状況の判定に応じ、切替えタイミングを自動判定して、各種情報を表示部４１に表示させるようになっていてもよい。
【００６１】
また、表示制御部７３は、画像判定部７２による作業の進行状況の判定結果又はユーザ操作に基づいて、各工程の作業が終了する毎及び全工程の作業が終了する毎に、検査結果情報を記録部６１に記録する、工程エビデンス化及び最終エビデンス化を行うようになっていてもよい。
【００６２】
すなわち、作業支援装置１は、表示部４１と、撮像部１１と、制御部７１を有する。表示部４１は、ユーザの視界中に仮想表示領域Ｖｄを形成する。撮像部１１は、ユーザの前方を撮像して撮像画像を出力する。制御部７１は、撮像画像内において、ユーザの手指Ｈがユーザの前方向Ｆと後方向Ｂに交互に移動したとき、仮想表示領域Ｖｄにおける表示画像内の操作用表示部位を移動させる。制御部７１は、撮像画像内において、手指Ｈがユーザの横方向Ｓへ移動したとき、操作用表示部位に対応付けられた処理を起動する。
【００６３】
より具体的には、制御部７１は、画像判定部７２と表示制御部７３を有する。画像判定部７２は、撮像画像に基づいて、手指Ｈを検出し、手指Ｈがユーザの前方向Ｆと後方向Ｂに交互に移動したと判定したとき、表示制御部７３に、操作用表示部位移動の指示入力があったことを示す判定結果を出力する。画像判定部７２は、撮像画像に基づいて、手指Ｈを検出し、手指Ｈがユーザの横方向Ｓに移動したと判定したとき、表示制御部７３に、操作用表示部位決定の指示入力があったことを示す判定結果を出力する。
【００６４】
また、操作部３１は、手指Ｈをタッチして前方向Ｆ又は後方向Ｂのいずれかに滑らせる操作による指示入力があると、制御部７１に、操作用表示部位移動の指示入力があったことを示す制御信号を出力する。操作部３１は、タップする操作による指示入力があると、制御部７１に、操作用表示部位決定の指示入力があったことを示す制御信号を出力する。
【００６５】
また、表示制御部７３は、画像判定部７２から操作用表示部位移動の指示入力があったことを示す判定結果の入力があったとき、表示画像内の操作用表示部位を移動させる。制御部７１は、制御信号に応じ、表示画像内の操作用表示部位を移動させる。表示制御部７３は、画像判定部７２から操作用表示部位決定の指示入力があったことを示す判定結果の入力があったとき、操作用表示部位に対応付けられた処理を起動する。制御部７１は、制御信号に応じ、操作用表示部位に対応付けられた処理を起動する。
【００６６】
また、アイコンＩｃは、手指Ｈの移動に応じた方向へ巡回表示される。より具体的には、アイコンＩｃは、傾斜楕円軌道に沿うように、巡回表示される。
【００６７】
また、表示部４１と撮像部１１は、取付部２ｂによってユーザの頭部に取り付けられる。
【００６８】
また、作業支援プログラムは、ユーザの視界中に仮想表示領域Ｖｄを形成する表示部４１のコードと、ユーザの前方を撮像して撮像画像を出力する撮像部１１のコードと、撮像画像内において、ユーザの手指Ｈがユーザの前方向Ｆと後方向Ｂに交互に移動したとき、仮想表示領域Ｖｄにおける表示画像内の操作用表示部位を移動させる、制御部７１のコードと、をコンピュータに実行させる。
【００６９】
（作業判定装置３の構成）
図１に戻り、作業判定装置３について、説明をする。
【００７０】
作業判定装置３は、例えば、サーバである。作業判定装置３は、通信部Ｃ２、記録部８１及び制御部９１を有する。
【００７１】
通信部Ｃ２は、制御部９１の制御の下、ウェアラブル端末２の通信部Ｃ１との通信を行う回路である。
【００７２】
記録部８１は、読み書き可能なフラッシュロム又はＨＤＤ等の記憶素子を有する。記録部８１は、作業判定装置３内の各部を制御する各種の処理部のプログラムの他、作業別データベース８２及びエビデンス記録部８３を有する。
【００７３】
作業別データベース８２は、所定の作業に関する手順の情報である作業手順情報が記憶される。作業別データベース８２は、作業別データベース６２と同様の構成を有してもよい。図１では、作業別データベース８２には、作業Ａ、作業Ｂ、作業Ｃ、作業Ｄの各々の作業手順情報が記録される。
【００７４】
エビデンス記録部８３には、作業毎又は工程毎の検査結果情報が、エビデンスとして記録される。
【００７５】
制御部９１は、作業判定装置３の内の各部の動作を制御する。制御部９１は、ＣＰＵ等のプロセッサを有する。制御部９１の機能は、記録部８１に記録された各種の処理部のプログラムを読み込み、実行することによって実現する。制御部９１は、対象判定部９２、作業判定部９３、ガイド部９４、表示制御部９５及び大きさ判定部９６の処理部を実行可能である。作業判定部９３、対象判定部９２及び大きさ判定部９６の各々によって出力された情報は、所定の条件に従い、エビデンスとしてエビデンス記録部８３に記録される。
【００７６】
対象判定部９２は、ウェアラブル端末２から入力された撮像画像に基づいて、対象物を判定して特定し、作業対象に合わせて解析をより高度化する。例えば、対象判定部９２は、ユーザの手指Ｈのパターンと背景のパターン、あるいは手指Ｈで持ったものといった具体的な対象物を作業の中での位置付けと共に判定可能である。作業対象を判定することで、部品を持ってから何秒経過とか、道具の取り間違えをしたとか、作業基準との比較判定ができる。もちろん、これは作業ベース、あるいは作業工程ベースで、どこに手指Ｈがあって、どう動いているか、という判定だけに単純化してもよい。作業工程中の作業開始時刻からの経過であったり、作業用の表示開始からの経過時間であったり、標準作業時間との対比などから作業の進行状況の判定ができる。また、対象判定部９２は、対象物の傷や欠け等の損傷状態についても判定して特定可能である。
【００７７】
作業判定部９３は、ウェアラブル端末２から受信した撮像画像に基づいて、画像解析を行って、作業の進行状況を判定する。例えば、作業判定部９３は、撮像部１１から入力された撮像画像に基づいて、作業別データベース８２に記録された所定の基準画像との類似度を算出し、類似度が所定の閾値よりも大きく撮像画像と所定の基準画像とが類似しているときには、作業が所定の段階まで完了していると判定してもよい。
【００７８】
ガイド部９４は、ユーザの作業の進行状況に応じてガイドメッセージを出力する。ガイド部９４は、例えば、作業別データベース８２に記録された作業手順情報を読み込み、画像判定部７２から入力された画像解析結果に基づいて、作業の進行をガイドするガイドメッセージをウェアラブル端末２に出力する。また、ガイド部９４は、ウェアラブル端末２から問い合わせを受けると、作業の進行状況に応じたガイドメッセージを表示制御部９５に出力する。
【００７９】
表示制御部９５は、表示に関する各種処理を実行する。表示制御部９５は、ガイド部９４によって出力されたガイドメッセージをウェアラブル端末２に出力し、表示部４１に表示させる。
【００８０】
大きさ判定部９６は、ウェアラブル端末２から入力された撮像画像に基づいて、対象物のサイズを判定する。例えば、大きさ判定部９６は、対象判定部９２において対象物が特定されたとき、対象物の大きさを判定し、数値化する。また、対象判定部９２において、対象物の損傷が判定されたとき、損傷の大きさも判定し、数値化する。
【００８１】
（動作）
作業支援装置１は、ウェアラブル端末２だけで動作をさせることも可能であるし、現場にユーザを派遣し、遠隔地のオペレータが現場のユーザに指示を出しながら動作させることも可能であり、遠隔地のオペレータの役割を作業判定装置３が担うことも可能である。
【００８２】
まず、ウェアラブル端末２の指示入力判定処理について、説明をする。
【００８３】
図１５は、本発明の第１実施形態に係わる、作業支援装置１のウェアラブル端末２の指示入力判定処理の流れの一例を説明するためのフローチャートである。
【００８４】
指示入力判定処理は、後述する作業支援処理から呼出し可能である。
【００８５】
撮像及びメニュー表示を開始する（Ｓ１）。制御部７１は、撮像部１１を起動させ、撮像部１１から撮像画像を取得する。制御部７１は、表示制御部７３の処理によって表示画像上にアイコンＩｃ、アプリ名Ａｎ、インジケータＩｎを配置し、メニュー表示を開始する。
【００８６】
アイコン移動の指示入力があるか否かを判定をする（Ｓ２）。制御部７１は、画像判定部７２の処理によってアイコン移動の指示入力があるか否かを判定する。また、制御部７１は、操作部３１から入力される制御信号に基づいて、アイコン移動の指示入力があるか否かを判定する。アイコン移動の指示入力があるとき（Ｓ２：ＹＥＳ）、処理はＳ３に進む。一方、アイコン移動の指示入力がないとき（Ｓ２：ＮＯ）、処理はＳ４に進む。
【００８７】
アイコンＩｃを移動させる（Ｓ３）。制御部７１、９１は、表示制御部７３の処理により、指示入力に応じて第１方向又は第２方向Ｄ２のいずれかへ巡回させる。アイコンＩｃを巡回させた後、処理は、Ｓ２に戻る。
【００８８】
アイコン決定の指示入力があるか否かを判定する（Ｓ４）。制御部７１は、画像判定部７２の処理によってアイコン決定の指示入力があるか否かを判定する。また、制御部７１、９１は、操作部３１から入力される制御信号に基づいて、アイコン決定の指示入力があるか否かを判定する。アイコン決定の指示入力があるとき（Ｓ４：ＹＥＳ）、処理はＳ５に進む。一方、アイコン移動の指示入力がないとき（Ｓ４：ＮＯ）、処理はＳ２に戻る。
【００８９】
決定したアイコンＩｃを出力する（Ｓ５）。制御部７１は、決定したアイコンＩｃを呼出し元の処理に出力する。例えば、指示入力判定処理が作業支援処理から呼び出されているときには、決定したアイコンＩｃを作業判定処理に出力する。
【００９０】
続いて、ウェアラブル端末２における作業支援処理について、説明をする。
【００９１】
図１６は、本発明の第１実施形態に係わる、作業支援装置１のウェアラブル端末２の作業支援処理の流れの一例を説明するためのフローチャートである。
【００９２】
ユーザは、ウェアラブル端末２を頭部に装着し、作業を開始する。
【００９３】
電源がＯＮにされるまで待機する（Ｓ１１）。ウェアラブル端末２は、電源がＯＮにされるまで待機する。
【００９４】
指示入力判定処理を行う（Ｓ１２）。制御部７１は、指示入力判定処理を行う。ユーザは、カメラ１２の前方の手指Ｈの動き、又は、操作部３１の操作によってアイコン移動の指示入力を行い、表示部４１に表示されるアイコンＩｃを巡回表示させ、所望のアイコンＩｃを選択状態アイコンＩｆにする。続いて、ユーザは、アイコン決定の指示入力を行ってアイコンＩｃを決定する。
【００９５】
作業支援モードの指示入力があるか否かを判定する（Ｓ１３）。制御部７１は、Ｓ１２において決定されたアイコンＩｃが作業支援モードの起動を指示するものであるか否かを判定する。作業支援モードの指示入力があるとき（Ｓ１３：ＹＥＳ）、処理はＳ１４に進む。一方、作業支援モードの指示入力がないとき（Ｓ１３：ＮＯ）処理は、Ｓ１２に戻る。なお、例えば、通話アプリケーション等、作業支援モード以外のアプリケーションの起動の指示入力があるとき、指示入力判定処理を終了し、指示入力されたアプリケーションを起動してもよい。
【００９６】
作業判定装置３との通信を行い、通信情報を表示する（Ｓ１４）。制御部７１は、通信部Ｃ１を介し、作業判定装置３に撮像画像を送信する。作業判定装置３は、撮像画像の解析を行い、作業の進行状況に応じたガイドメッセージをウェアラブル端末２に送信する。制御部７１は、作業判定装置３から受信したガイドメッセージを表示部４１に表示する。
【００９７】
工程終了操作があるか否かを判定する（Ｓ１５）。制御部７１は、ユーザによる所定の工程終了操作があるか否かを判定する。所定の工程終了操作があるとき（Ｓ１５：ＹＥＳ）、処理はＳ１６に進む。一方、所定の工程終了操作がないとき（Ｓ１５：ＮＯ）、処理はＳ１７に進む。なお、Ｓ１５の処理は、指示入力判定処理によって表示部４１に工程終了を指示するアイコンＩｃを表示させ、ユーザに指示入力をさせてもよい。
【００９８】
工程終了通信を行う（Ｓ１６）。制御部７１は、作業判定装置３に工程終了通信を行い、作業支援処理を終了させる。
【００９９】
詳細情報要求があるか否かを判定する（Ｓ１７）。制御部７１は、作業判定装置３から詳細情報要求があるか否かを判定する。作業判定装置３から詳細情報の要求があるとき（Ｓ１７：ＹＥＳ）、処理はＳ１８に進む。一方、作業判定装置３から詳細情報の要求がないとき（Ｓ１７：ＮＯ）、処理はＳ１９に進む。
【０１００】
詳細情報を送信する（Ｓ１８）。制御部７１は、拡大画像の撮像をユーザに促すメッセージを表示部４１に表示する。ユーザは、撮像部１１によって拡大画像を撮像する。画像判定部７２の処理によって撮像部１１から入力された撮像画像を解析し、拡大画像の入力がされたと判定すると、制御部７１は、拡大画像を作業判定装置３に送信する。
【０１０１】
警告、ガイド等の表示要求があるか否かを判定する（Ｓ１９）。制御部７１は、作業判定装置３から警告メッセージ又はガイドメッセージの表示要求があるか否かを判定する。作業判定装置３から表示要求があるとき（Ｓ１９：ＹＥＳ）、処理はＳ２０に進む。一方、作業判定装置３から表示要求がないとき、処理はＳ１４に戻る。
【０１０２】
警告、ガイド等を表示する（Ｓ２０）。制御部７１は、Ｓ１９の警告、ガイド等の表示要求に応じ、表示部４１に警告メッセージ又はガイドメッセージを表示する。
【０１０３】
続いて、作業判定装置３における作業支援処理について、説明をする。
【０１０４】
図１７は、本発明の第１実施形態に係わる、作業支援装置１の作業判定装置３の作業支援処理の流れの一例を説明するためのフローチャートである。
【０１０５】
設定指示を受信したか否かを判定する（Ｓ２１）。制御部９１は、通信部Ｃ２を介してウェアラブル端末２から設定指示を受信したか否かを判定する。設定指示を受信すると、処理は、Ｓ２２に進む。Ｓ２１の処理は、設定指示を受信するまで繰り返される。
【０１０６】
作業対象の作業手順情報を検索する（Ｓ２２）。制御部９１は、作業別データベース８２からＳ２１で受信した設定指示に応じた作業手順情報を検索する。
【０１０７】
ウェアラブル端末２と通信を行う（Ｓ２３）。制御部９１は、ウェアラブル端末２と通信を行い、作業手順情報の検索結果をウェアラブル端末２に送信する。
【０１０８】
撮像画像と作業別データベース８２を比較する（Ｓ２４）。ウェアラブル端末２から撮像画像を受信すると、制御部９１は、対象判定部９２の処理により、対象物を判定して特定する。また、制御部９１は、作業判定部９３の処理により、作業別データベース８２の作業手順情報に含まれる、所定の基準画像と撮像画像内の対象物を比較し、作業の進行状況を判定する。
【０１０９】
判定結果に異常がないか否かを判定する（Ｓ２５）。制御部９１は、Ｓ２４において判定結果について、異常がないか否かを判定する。判定結果に異常があるとき（Ｓ２５：ＮＯ）、処理はＳ２６に進む。一方、判定結果に異常がないとき（Ｓ２５：ＹＥＳ）、処理は、Ｓ２８に進む。
【０１１０】
詳細情報の要求を送信する（Ｓ２６）。Ｓ２４及びＳ２５の処理に拡大画像等のより詳細な情報を要すると判定したとき、制御部９１は、ウェアラブル端末２に詳細情報の要求を送信する。
【０１１１】
警告、ガイド等の表示要求を送信する（Ｓ２７）。ウェアラブル端末２に警告、ガイドメッセージ等の表示をさせると判定すると、制御部９１は、ガイド部９４の処理により、ユーザの作業の進行状況に応じたメッセージをウェアラブル端末２に送信する。
【０１１２】
工程が終了したか否かを判定する（Ｓ２８）。制御部９１は、工程が終了したか否かを判定する。工程が終了しているとき（Ｓ２８：ＹＥＳ）、処理は、Ｓ２９に進む。一方、工程が終了していないと判定するとき（Ｓ２８：ＮＯ）、処理は、Ｓ２４に戻る。なお、制御部９１は、操作部３１のユーザ操作に基づいて、工程を終了させてもよい。また、マイクロホン２１に対するユーザの工程終了を示す「工程終了」等の発話に基づいて、工程を終了させてもよい。
【０１１３】
工程エビデンス化を行う（Ｓ２９）。制御部９１は、所定の工程についての検査結果情報をエビデンス記録部８３に記録する。
【０１１４】
全工程が終了したか否かを判定する（Ｓ３０）。制御部９１は、所定の作業の全工程が終了したか否かを判定する。全工程が終了していないとき（Ｓ３０：ＮＯ）、処理は、Ｓ３１に進む。一方、全工程が終了しているとき（Ｓ３０：ＹＥＳ）、処理は、Ｓ３２に進む。
【０１１５】
ガイド情報の変更を行う（Ｓ３１）。制御部９１は、ガイド部９４の処理により、ガイド情報の変更を行い、ウェアラブル端末２に出力する。
【０１１６】
最終エビデンス化を行う（Ｓ３２）。制御部９１は、全体の工程についての検査結果情報をエビデンス記録部８３に記録する。
【０１１７】
図１８は、本発明の第１実施形態に係わる、作業支援装置１の使用状態を説明するための説明図である。
【０１１８】
図１８は、電子装置Ｅ１の検査作業の例である。図１８では、電子装置Ｅ１の蓋Ｅ２が取り外され、内部の回路基板Ｅ３が外部に露出した状態を表している。
【０１１９】
ユーザは、ウェアラブル端末２を頭部に装着し、電源をＯＮ状態にする（Ｓ１１）。ウェアラブル端末２は、指示入力判定処理を行い（Ｓ１２）、作業支援モードの指示入力があると（Ｓ１３）、作業判定装置３と通信を行い、設定指示及び撮像画像を作業判定装置３に送信する（Ｓ１４）。作業判定装置３は、設定指示を受信すると（Ｓ２１）、作業別データベース８２から作業対象の作業手順情報を検索し（Ｓ２２）、撮像画像を受信する（Ｓ２３）。作業判定装置３は、撮像画像に基づいて、作業の進行状況を判定し（Ｓ２４、Ｓ２５）、作業の進行状況に応じた、例えば「まず基板の表面をくまなく眺め各部品に事実上の問題や各部品に変色等がないかを確認する」等のガイドメッセージをウェアラブル端末２に送信する（Ｓ２７）。ウェアラブル端末２は、作業判定装置３から受信したガイドメッセージを表示部４１に表示する（Ｓ１４〜Ｓ２０図１８のＶ１）。ユーザは、撮像部１１によって電子装置Ｅ１を撮像しながら、ガイドメッセージに従って電子装置Ｅ１の検査作業を進める。表示部４１には、撮像部１１によって撮像した画像と、アイコンＩｃが表示される。ユーザは、カメラ１２の前方において、手指Ｈを前後へ移動させてアイコンＩｃを移動させ、手指Ｈを横へ移動させてアイコンＩｃを決定し、例えば、静止画撮影のアプリケーションを実行させる（図１８のＶ２）。Ｓ１４〜２０の処理が繰り返され、工程終了操作があると（Ｓ１５）、ウェアラブル端末２は、工程終了通信を行う（Ｓ１６）。工程終了通信を受信すると、作業判定装置３は、工程が終了したと判定し（Ｓ２８）、工程エビデンス化を行う（Ｓ２９）。作業判定装置３におけるＳ２４〜Ｓ３０の処理は、全工程が終了するまで行われ（Ｓ３０）、全工程が終了すると、最終エビデンス化を行い（Ｓ３２）、作業支援処理は、終了する。
【０１２０】
すなわち、作業支援装置１は、頭部装着型表示装置と作業判定装置３を有し、頭部装着型表示装置と作業判定装置３は、ネットワークを介した通信によって互いに接続され、頭部装着型表示装置は、表示部４１、撮像部１１及び制御部７１を有し、作業判定装置３に撮像画像を送信し、作業判定装置３は、受信した撮像画像に基づいて、ガイドメッセージを頭部装着型表示装置に送信して表示部４１に表示させる。
【０１２１】
また、作業支援方法は、表示部４１により、ユーザの視界中に仮想表示領域Ｖｄを形成し、撮像部１１により、ユーザの前方を撮像して撮像画像を出力し、制御部７１により、撮像画像内において、ユーザの手指Ｈがユーザの前方向Ｆと後方向Ｂに交互に移動したとき、仮想表示領域Ｖｄにおける表示画像内の操作用表示部位を移動させる。
【０１２２】
これにより、ウェアラブル端末２では、手指Ｈの前方向Ｆ及び後方向Ｂの動作に応じ、あたかもアイコンＩｃが前方から後方、又は、後方から前方に巡回するように表示され、操作方法がアイコンＩｃの動きから分かりやすい。
【０１２３】
また、ウェアラブル端末２では、ウェアラブル端末２から離れた空中において、又は、操作部３１のいずれかにおいて、手指Ｈを前方向Ｆ及び後方向Ｂへ移動させる操作によってアイコンＩｃを巡回表示させ、手指Ｈを横方向Ｓへ移動させる操作によって選択状態アイコンＩｆを決定することができる。したがって、ウェアラブル端末２では、空中操作における操作方法が、操作部３１の操作方法から分かりやすい。つまり、いわばリアルで物理的な操作手段の動きが、ある意味手本となるヴァーチャル操作となるので、操作部３１で出来ることが、実際にそこでタッチやスライドしなくても出来る、という方が、ユーザに操作のコツを習得させやすいというメリットがある。従って、リアル操作が他の形に設計されたりカスタマイズされたりする場合は、ヴァーチャル操作もそれに倣って変更される方が良い。もちろん、リアル操作とバーチャル操作は行うシーンが異なるので、別にするという設計を行っても良い。
【０１２４】
実施形態によれば、作業支援装置１は、ウェアラブル端末２により、手指Ｈの動作に応じ、仮想的に表示されたアイコンＩｃの表示位置に関わらず、アイコンＩｃを直感的に操作可能であり、より簡便かつ確実に、指示入力をすることができる。
【０１２５】
（第１実施形態の変形例１）
実施形態では、作業支援装置１が検査作業等の作業支援を行う例を説明したが、作業支援装置１は、トラブル解決の作業支援を行ってもよい。
【０１２６】
図１９は、本発明の第１実施形態の変形例１に係わる、作業支援装置１のウェアラブル端末２の表示画像の構成例を説明するための説明図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
【０１２７】
図１９は、検品作業における表示部４１の表示画像の例である。
【０１２８】
ユーザは、ウェアラブル端末２を頭部に装着し、電源をＯＮ状態にする（Ｓ１１）。ウェアラブル端末２は、指示入力判定処理を行い（Ｓ１２）、作業支援モードの指示入力があると（Ｓ１３）、作業判定装置３と通信を行い、設定指示及び撮像画像を作業判定装置３に送信する（Ｓ１４）。作業判定装置３は、設定指示を受信すると（Ｓ２１）、作業別データベース８２から検品作業の作業手順情報を検索し（Ｓ２２）、撮像画像を受信する（Ｓ２３）。作業判定装置３は、撮像画像に基づいて、作業の進行状況を判定し（Ｓ２４、Ｓ２５）、作業の進行状況に応じた、例えば「まず内容物の損傷を確認する」等のガイドメッセージをウェアラブル端末２に送信する（Ｓ２７）。ウェアラブル端末２は、作業判定装置３から受信したガイドメッセージを表示部４１に表示する（Ｓ１４〜Ｓ２０）。ユーザは、撮像部１１によって内容物を撮像しながら、ガイドメッセージに従って検品作業を進める。表示部４１には、撮像部１１によって撮像した画像と、アイコンＩｃが表示される。内容物に異常があると判定すると、作業判定装置３は、ウェアラブル端末２に警告メッセージを送信して表示部４１に表示させる（Ｓ２４〜Ｓ２７、Ｓ２０）。図１９に示すように、ユーザは、手指Ｈを前後に移動させてアイコンＩｃを移動させ、手指Ｈを横に移動させてアイコンＩｃを決定し、例えば、ヘルプ機能を起動させる。ヘルプ機能が起動すると、作業判定装置３は、Ｓ２４〜Ｓ２７の処理により、撮像部１１によって撮像された内容物の撮像画像を解析し、ガイドメッセージを表示部４１に表示させる。
【０１２９】
これにより、変形例では、作業支援装置１は、ウェアラブル端末２により、トラブル解決による作業支援を行うことができ、仮想的に表示されたアイコンＩｃの表示位置に関わらず、アイコンＩｃを直感的に操作可能であり、より簡便かつ確実に、指示入力をすることができる。
【０１３０】
（実施形態の変形例２）
実施形態の変形例１では、作業支援装置１がトラブル解決の作業支援を行うが、連絡者一覧を表示することによって作業支援を行ってもよい。
【０１３１】
図２０は、本発明の第１実施形態の変形例２に係わる、作業支援装置１のウェアラブル端末２の表示画像の構成例を説明するための説明図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
【０１３２】
図２０に示される複数のアイコンＩｃの各々は、連絡者の顔と電話の受話器を組み合わせた模様によって構成される。アイコンＩｃは、予め連絡者の顔写真等に基づいて、作成される。
【０１３３】
指示入力判定処理において、ユーザがカメラ１２の前方において、手指Ｈを前方向Ｆ又は後方向Ｂへ移動させ、アイコン移動の指示入力を行うと、連絡者の顔が前方から後方へ、又は、後方から前方へ巡回表示される。
【０１３４】
ユーザがカメラ１２の前方において、手指Ｈを横方向Ｓへ移動させ、アイコン決定の指示入力を行うと、アイコンＩｃが決定され、アイコンＩｃに対応付けられた担当者に電話がかかる。
【０１３５】
これにより、作業支援装置１は、ウェアラブル端末２により、仮想的に表示されたアイコンＩｃの表示位置に関わらず、アイコンＩｃを直感的に操作可能であり、より簡便かつ確実に、指示入力をすることができ、アイコンＩｃに対応付けられた担当者に連絡をすることができる。
【０１３６】
（実施形態の変形例３）
実施形態の変形例２では、作業支援装置１が連絡者一覧を表示するが、作業の進行状況一覧を表示するように構成してもよい。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
【０１３７】
本変形例では、複数のアイコンＩｃの各々は、例えば、複数のリークテスト作業等、平行して進行する作業のそれぞれの進行状況を表示する。作業の進行状況には、作業の待ち時間を含めてもよい。
【０１３８】
指示入力判定処理において、アイコン移動の指示入力を行うと、アイコンＩｃが巡回表示され、ユーザは、各アイコンＩｃに対応付けられた作業の進行状況を視認することができる。
【０１３９】
これにより、作業支援装置１は、ウェアラブル端末２により、仮想的に表示されたアイコンＩｃの表示位置に関わらず、アイコンＩｃを直感的に操作可能であり、より簡便かつ確実に、指示入力をすることができ、アイコンＩｃに対応付けられた作業の進行状況を表示部４１に表示させることができる。
【０１４０】
（実施形態の変形例４）
作業支援装置１は、支援情報を出力できるように構成してもよい。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
【０１４１】
本変形例では、例えば、支援情報を出力するためのアイコンＩｃが設けられる。
【０１４２】
指示入力判定処理において、アイコンＩｃの中から支援情報を出力するための選択状態アイコンＩｆを決定すると、例えば、手術対象の患者情報、治療履歴、又は、最新の治療情報等の支援情報が表示部４１に表示される。
【０１４３】
これにより、作業支援装置１は、頭部装着型表示装置により、仮想的に表示されたアイコンＩｃの表示位置に関わらず、アイコンＩｃを直感的に操作可能であり、より簡便かつ確実に、指示入力をすることができ、アイコンＩｃに対応付けられた支援情報を表示部４１に表示させることができる。
【０１４４】
（実施形態の変形例５）
作業支援装置１は、複数のモニタの中から所望のモニタを選択できるように構成してもよい。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
【０１４５】
本変形例では、例えば、手術室等に設けられた複数のモニタの表示画面が、作業支援装置１に送信される。複数のアイコンＩｃの各々は、複数のモニタの各々に対応付けられる。
【０１４６】
指示入力判定処理において、アイコン移動の指示入力を行うと、アイコンＩｃが巡回表示される。アイコン決定の指示入力を行うと、表示部４１には、選択状態アイコンＩｆに対応付けられたモニタの表示画面が表示される。
【０１４７】
これにより、作業支援装置１は、頭部装着型表示装置により、仮想的に表示されたアイコンＩｃの表示位置に関わらず、アイコンＩｃを直感的に操作可能であり、より簡便かつ確実に、指示入力をすることができ、アイコンＩｃに対応付けられたモニタの表示画面を表示部４１に表示させることができる。
【０１４８】
（第２実施形態）
第１の実施形態及びその変形例では、ウェアラブル端末２は、ユーザの手指Ｈの動作によって操作されるが、ユーザの目の動作によって操作できるように構成してもよい。
【０１４９】
図２１は、本発明の第２実施形態に係わる、作業支援装置１のウェアラブル端末２の一例を示す斜視図である。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。
【０１５０】
ウェアラブル端末２は、支持部Ｍ１によって支持されたミラー部Ｍ２を有する。ミラー部Ｍ２は、カメラ１２の前方に配置され、ユーザの目がカメラ１２に写り込むように配置される。
【０１５１】
画像判定部７２は、撮像部１１から入力された撮像画像にユーザの目が検出されたとき、ユーザの目の動作が、アイコン移動の指示入力、又は、アイコン決定の指示入力のいずれであるかを判定し、判定結果を表示制御部７３に出力する。
【０１５２】
アイコン移動の指示入力は、例えば、両目を所定時間閉じる動作によって行われる。画像判定部７２は、両目を所定時間閉じる動作を検出すると、表示制御部７３にアイコン移動の指示入力を示す判定結果を出力する。
【０１５３】
アイコン決定の指示入力は、例えば、片目を所定時間閉じる動作によって行われる。画像判定部７２は、片目を所定時間閉じる動作を検出すると、表示制御部７３にアイコン決定の指示入力を示す判定結果を出力する。
【０１５４】
実施形態によれば、作業支援装置１は、目の動作に応じ、仮想的に表示されたアイコンＩｃの表示位置に関わらず、アイコンＩｃを直感的に操作可能であり、より簡便かつ確実に、指示入力をすることができる。
【０１５５】
なお、実施形態及び変形例では、第１方向Ｄ１が表示画像の上部から下部へ向かう方向であり、第２方向Ｄ２が表示画像の下部から上部へ向かう方向であるが、第１方向Ｄ１と第２方向Ｄ２は、互いに逆であっても構わない。ここでは、分かりやすくアイコン（操作用表示部位）で説明したが、例えば、パソコンやスマホなどの画面でタッチ操作やカーソル操作などを併用して出来る、文章選択、ＳＷ選択、タブの選択など表示対象の選択などに本願は応用でじ、アイコンの選択以外にも、クリック、ダブルクリック、ドラッグ、ドロップなどの緒動作、その他の操作用表示要素（操作可能表示部分、パーツ、操作用表示部位）のどれに対してでも活用が出来る。
【０１５６】
なお、実施形態及び変形例では、表示部４１は、眼鏡Ｇの右レンズＧＲの前方に配置されるが、表示部４１は、左レンズＧＬの前方に配置されても構わない。
【０１５７】
なお、実施形態及び変形例では、指示入力判定処理では、アイコン移動の指示入力及びアイコン決定の指示入力が行われるが、例えば、ブライトネス調整、ズーム調整、及び、露出調整等の操作用表示部位であるゲージの移動及び決定が行われてもよい。
【０１５８】
本明細書における各「部」は、実施形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウェア・ルーチンに１対１には対応しない。したがって、本明細書では、実施形態の各機能を有する仮想的回路ブロック（部）を想定して実施形態を説明した。また、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。
【０１５９】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【０１６０】
１     作業支援装置
２     ウェアラブル端末
２ａ   回路収容部
２ｂ   取付部
２ｃ   前部
３     作業判定装置
１１   撮像部
１２   カメラ
２１   マイクロホン
３１   操作部
４１   表示部
４２   表示パネル
４３   導光部
４４   出射面
５１   音声振動出力部
６１   記録部
６２   作業別データベース
７１   制御部
７２   画像判定部
７３   表示制御部
８１   記録部
８２   作業別データベース
８３   エビデンス記録部
９１   制御部
９２   対象判定部
９３   作業判定部
９４   ガイド部
９５   表示制御部
９６   大きさ判定部
Ａｎ   アプリ名
Ｂ     後方向
Ｃ１   通信部
Ｃ２   通信部
Ｄ１   第１方向
Ｄ２   第２方向
Ｅ１   電子装置
Ｅ２   蓋
Ｅ３   内部の回路基板
Ｆ     前方向
Ｇ     眼鏡
ＧＬ   左レンズ
ＧＲ   右レンズ
Ｈ     手指
Ｉｃ   アイコン
Ｉｆ   選択状態アイコン
Ｉｎ   インジケータ
Ｌ１   結ぶ線
Ｌ２   撮像画像の下端縁
Ｍｋ   マーカ
Ｍ１   支持部
Ｍ２   ミラー部
Ｐ     指先
Ｐｈ   指骨
Ｓ     横方向
Ｓｈ   腱鞘
Ｆｔ   屈筋腱
Ｔｎ   細長模様
ＶＬ   左視界
ＶＲ   右視界
Ｖｃ   カメラ視界
Ｖｄ   仮想表示領域
Ｖｕ   実視界
θｐ   手指角度
【図１】
2019086916.tif 000003
【図２】
2019086916.tif 000004
【図３】
2019086916.tif 000005
【図４】
2019086916.tif 000006
【図５】
2019086916.tif 000007
【図６】
2019086916.tif 000008
【図７】
2019086916.tif 000009
【図８】
2019086916.tif 000010
【図９】
2019086916.tif 000011
【図１０】
2019086916.tif 000012
【図１１】
2019086916.tif 000013
【図１２】
2019086916.tif 000014
【図１３】
2019086916.tif 000015
【図１４】
2019086916.tif 000016
【図１５】
2019086916.tif 000017
【図１６】
2019086916.tif 000018
【図１７】
2019086916.tif 000019
【図１８】
2019086916.tif 000020
【図１９】
2019086916.tif 000021
【図２０】
2019086916.tif 000022
【図２１】
2019086916.tif 000023