(57)【要約】【課題】作業対象物を検出し、作業対象物に対する作業者の現在の方位から作業を行う方位への移動を指示することができる作業補助システムおよびプログラムを提供する。【解決手段】ＣＰＵは、作業対象物の写る撮影画像から特徴部位を検出し（Ｓ１３）、作業対象物に対する作業者の現在の方位を決定する（Ｓ１９）。作業対象物の次の対象部位の作業方位を取得し（Ｓ２１）、作業者を現在の方位から作業方位に移動させる最短の移動角度を求める（Ｓ３５）。撮影画像内における作業対象物の位置に対し、矢印が指す方向に応じて相対的に設定された表示画像内の位置に、移動角度に応じた長さの矢印の画像を表示する（Ｓ３７）。作業者が移動し、現在の方位が作業方位になったら（Ｓ２５：ＹＥＳ）、対象部位に対する作業の手順を示す手順情報に基づく画像を表示する（Ｓ２７）。【選択図】図３
2014071756.tif 000002
【特許請求の範囲】
【請求項１】
作業者の頭部に装着可能に構成され、画像を表示可能な表示装置と、
前記作業者が作業を行う作業対象物を撮影可能な撮影装置と、
前記作業者が前記作業対象物に対する所定の方位から前記作業対象物側を向き、前記作業対象物に対して行う作業の手順を画像で前記表示装置に表示するための手順情報を取得する第一取得手段と、
前記撮影装置が撮影した撮影画像から、前記作業対象物における所定の部位の画像である所定画像を、方位を特定する特定情報として取得する第二取得手段と、
前記特定情報に基づいて、前記作業対象物に対する前記作業者の現在の方位を決定する決定手段と、
前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位である場合、前記表示装置に、前記手順情報に基づく画像を表示する第一表示手段と、
前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位でない場合に、前記作業者の現在の方位と前記所定の方位との関係に応じて決定される指示情報を前記表示装置に表示する第二表示手段と、
を備えたことを特徴とする作業補助システム。
【請求項２】
前記表示装置は、画像を形成する画像形成素子から照射される画像光の少なくとも一部を反射して前記作業者の眼に入射するとともに、外界の実像からの光の少なくとも一部を透過して、前記作業者の視野において画像を実像に重畳させて視認させる表示部を備え、
前記第二表示手段は、前記作業者の現在の方位と前記所定の方位とに応じて予め設定された前記表示部内の表示位置に、前記指示情報を表示することを特徴とする請求項１に記載の作業補助システム。
【請求項３】
前記撮影装置は、前記作業者の頭部に装着可能に構成されるとともに、前記作業者の視野のうち、前記表示部を介して視認可能な外界の視野に合わせて撮影方向および画角が設定されており、
前記撮影装置が撮影した前記撮影画像から、前記表示部内において前記作業対象物の実像が表示される位置を特定する特定手段をさらに備え、
前記第二表示手段は、前記特定手段が特定した前記表示部内における前記作業対象物の位置を基準位置とし、前記作業者の現在の方位と前記所定の方位とに応じて予め前記基準位置に対して相対的に設定された表示位置を前記表示部に適用し、前記指示情報を表示することを特徴とする請求項２に記載の作業補助システム。
【請求項４】
前記第二取得手段が取得した前記特定情報に基づき、前記作業対象物を識別する識別手段をさらに備え、
前記第一取得手段は、前記識別手段が識別した前記作業対象物に対応する前記手順情報を取得することを特徴とする請求項１から３のいずれかに記載の作業補助システム。
【請求項５】
前記指示情報は矢印を用いた画像および文字の少なくとも一方を含む情報であり、
前記指示情報によって前記作業者が指示される前記所定の方位への移動の経路は、前記作業者の現在の方位と前記所定の方位との差が最小となる経路であることを特徴とする請求項１から４のいずれかに記載の作業補助システム。
【請求項６】
前記指示情報が矢印を用いた画像で指示する情報である場合、前記第二表示手段は、前記作業者の現在の方位と前記所定の方位との差に応じた長さの矢印を、前記表示装置に表示することを特徴とする請求項５に記載の作業補助システム。
【請求項７】
前記第一表示手段による前記手順情報に基づく画像の表示内容を切り替える切替手段をさらに備えたことを特徴とする請求項１から６のいずれかに記載の作業補助システム。
【請求項８】
作業対象物を撮影装置で撮影した撮影画像に基づき、前記作業者の頭部に装着可能に構成された表示装置に画像を表示して、前記作業者が前記作業対象物に対して作業を行う場合に前記作業者を補助する作業補助装置として機能させるためのプログラムであって、
コンピュータに、
前記作業者が前記作業対象物に対する所定の方位から前記作業対象物側を向き、前記作業対象物に対して行う作業の手順を画像で前記表示装置に表示するための手順情報が取得される第一取得ステップと、
前記撮影装置が撮影した撮影画像から、前記作業対象物における所定の部位の画像である所定画像が方位を特定する特定情報として取得される第二取得ステップと、
前記撮影画像と前記特定情報とに基づいて、前記作業対象物に対する前記作業者の現在の方位が決定される決定ステップと、
前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位である場合、前記表示装置に、前記手順情報に基づく画像が表示される第一表示ステップと、
前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位でない場合に、前記作業者の現在の方位と前記所定の方位との関係に応じて決定される指示情報が前記表示装置に表示される第二表示ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業者の頭部に装着される表示装置に作業の指示を提示する作業補助システムおよびプログラムに関する。
【背景技術】
【０００２】
作業者（点検者）が作業対象物（点検対象）に対して作業に関する情報を、作業者の頭部に装着するヘッドマウントディスプレイ（頭部装着型表示装置）に表示することのできるシステムが知られている（例えば特許文献１参照）。特許文献１では、点検者はプラント内を巡回し、点検対象の点検を行う。点検対象に対応する位置にＩＤタグが取り付けられており、ＩＤタグが発する識別信号が読み取られ、点検者のヘッドマウントディスプレイに、識別信号に対応する点検対象に関する情報が表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２１４０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１において、点検者は巡回の経路を予め把握しておく必要があり、経路を間違えると点検対象の位置にたどり着けず、作業を行えないという問題があった。また、予め点検対象に対応する位置にＩＤタグを取り付けておく必要があり、手間がかかるという問題があった。さらに、１つの点検対象に複数の点検箇所がある場合、各点検箇所にＩＤタグを取り付けることになるが、特に視野内に複数の点検箇所がある場合、識別信号に対応する点検箇所がどの箇所であるかわからないという問題もあった。
【０００５】
本発明は、上記の問題点を解決するためになされたものであり、作業対象物を検出し、作業対象物に対する作業者の現在の方位から作業を行う方位への移動を指示することができる作業補助システムおよびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施態様によれば、作業者の頭部に装着可能に構成され、画像を表示可能な表示装置と、前記作業者が作業を行う作業対象物を撮影可能な撮影装置と、前記作業者が前記作業対象物に対する所定の方位から前記作業対象物側を向き、前記作業対象物に対して行う作業の手順を画像で前記表示装置に表示するための手順情報を取得する第一取得手段と、前記撮影装置が撮影した撮影画像から、前記作業対象物における所定の部位の画像である所定画像を、方位を特定する特定情報として取得する第二取得手段と、前記特定情報に基づいて、前記作業対象物に対する前記作業者の現在の方位を決定する決定手段と、前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位である場合、前記表示装置に、前記手順情報に基づく画像を表示する第一表示手段と、前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位でない場合に、前記作業者の現在の方位と前記所定の方位との関係に応じて決定される指示情報を前記表示装置に表示する第二表示手段と、を備えた作業補助システムが提供される。
【０００７】
本実施態様は、作業者に、現在の方位から次の作業を行う所定の部位に対する所定の方位への移動の指示情報を提示できるので、作業者が、作業の順番を取り違えたり、所定の方位とは異なる方位に移動してしまったりすることがない。作業者は、所定の部位に対する作業が終わったら、次の所定の部位への移動経路を手順書などで確認する必要がなく、直ちに次の所定の部位に対する作業に移ることができるので、効率よく作業を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】ＨＭＤ１の外観を示す斜視図である。
【図２】ＨＭＤ１の電気的構成を示すブロック図である。
【図３】作業補助プログラムを示すフローチャートである。
【図４】作業対象物４００を撮影した撮影画像３５０の例を示す図である。
【図５】作業対象物４００の実像とともに指示情報を示す画像４７０が表示される様子を示す図である。
【図６】作業対象物４００を撮影した撮影画像３６０の例を示す図である。
【図７】作業対象物４００の実像とともに手順画像４８０が表示される様子を示す図である。
【図８】作業対象物４００の実像とともに指示情報を示す画像４９０が表示される様子を示す図である。
【図９】作業対象物４００の実像とともに手順画像５００が表示される様子を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を具体化した一実施の形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。図示された装置の構成等は、その形態のみに限定する趣旨ではなく、単なる説明例である。
【００１０】
本発明に係る作業補助システムは、ヘッドマウントディスプレイ１（以下、「ＨＭＤ１」という。図１参照）と、作業に関する情報をＨＭＤ１に送信するパーソナルコンピュータ３００（以下、「ＰＣ３００」という。図２参照）とから構成されるシステムである。ＨＭＤ１は、作業者の眼の前方に配置されるハーフミラー８（後述）を透過する外界の風景に重ねて画像を表示する。ＨＭＤ１は公知の無線通信を用いてＰＣ３００に接続し、ＰＣ３００との間で画像データを含む各種データの送受信を行う。以下の説明において、図１の上方、下方、右斜め下方、左斜め上方、右斜め上方および左斜め下方が、それぞれ、ＨＭＤ１の上方、下方、前方、後方、右方および左方である。
【００１１】
図１に示すように、ＨＭＤ１は、投影装置１００および制御装置２００を備える。投影装置１００は専用の装着具である眼鏡９１に装着して使用される。投影装置１００は、作業者が日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。投影装置１００は、作業者の眼に画像光を照射する。投影装置１００はハーネス１５０を介して制御装置２００と着脱可能に接続する。制御装置２００は、例えば作業者の腰ベルト等に装着して使用される。制御装置２００は、投影装置１００を制御する。
【００１２】
投影装置１００の構成について説明する。投影装置１００は筐体２を備える。筐体２の内部には、画像表示部３６（図２参照）と接眼光学系（図示略）とが含まれる。画像表示部３６は、制御装置２００からハーネス１５０を介して送信される映像信号に基づいて画像を表示する。画像表示部３６は、例えば、液晶素子等の空間変調素子および光源である。画像表示部３６は、二次元光スキャナおよび光源からなる網膜走査型表示部や、有機ＥＬ（Organic Electro-luminescence）素子等であってもよい。接眼光学系は、画像表示部３６に表示された画像を示す画像光を、作業者の眼に導くために集光する。接眼光学系から射出された画像光は、筐体２の左側に設けられたハーフミラー８によって少なくとも一部（例えば半分）が反射され、作業者の左の眼球（図示略）に入射する。ハーフミラー８は外界の実像からの光の少なくとも一部を透過するので、作業者は、自己の視野において実像（外界の風景）に重畳して画像を視認できる。
【００１３】
眼鏡９１は、投影装置１００を作業者の頭部に保持するための構成である。投影装置１００の筐体２は、支持部９６によって、眼鏡９１に取り付けられる。支持部９６は作業者側から見て眼鏡９１の上面左端側（図１における上面右端）に設けられる。支持部９６には調整棒９８が組み付けられる。調整棒９８は支持部９６に対して左右方向にスライド可能である。調整棒９８は上下方向に延び、上端に三角形状の突起部９７を有する。調整棒９８は、支持部９６の上面側に突起部９７を露出させた状態で、支持部９６から下方へ向けて突出する。筐体２は眼鏡９１と向き合う部分（背面側）に取付部４９を有する。取付部４９は調整棒９８に取り付けられる。筐体２は、調整棒９８に沿って上下方向に位置移動可能である。また、突起部９７を左右にスライドすることで、筐体２は調整棒９８ごと支持部９６に対して左右方向に位置移動可能である。作業者は、眼球の位置に合わせた位置にハーフミラー８を配置することができる。
【００１４】
眼鏡９１は、フレーム９４の左右方向略中央に、カメラ３９を備える。カメラ３９は、作業者の視野前方の外界の風景の画像を撮像する。カメラ３９の撮影方向および画角は、予め、作業者の視野に合わせて設定されている。より詳細には、カメラ３９の撮影方向および画角は、カメラ３９による外界の風景の撮影範囲が、ハーフミラー８を透過する実像に重ねることのできる画像表示部３６からの画像光の表示範囲とほぼ一致するように設定されている。また、眼鏡９１は、フレーム９４の右端側に、骨伝導イヤホンおよびマイクを内蔵するヘッドセット３５を備える。なお、眼鏡９１自体の形状は通常の眼鏡に類似のため、詳細な説明は省略する。
【００１５】
制御装置２００の構成について説明する。制御装置２００は、例えば略直方体状のシステムボックスである。制御装置２００は電源ランプ５２を内蔵する電源スイッチ５１を含む操作部５０を備える。作業者は、電源スイッチ５１を操作し、ＨＭＤ１の電源をオンまたはオフにすることができる。また、作業者は、投影装置１００における各種設定や、使用時における各種操作等を、操作部５０を介して行うことが可能である。制御装置２００は、無線通信を介してＰＣ３００と接続し、各種データの送受信を行うことが可能である。制御装置２００は有線通信のインターフェイスを備え、通信ケーブルを用いてネットワーク２５０に接続してもよいし、あるいは直接ＰＣ３００に接続してもよい。なお、後述するＰＣ３００は、パーソナルコンピュータであるが、スマートフォンやネットワーク対応型ストレージなど、その他の機器であってもよい。
【００１６】
図２を参照し、ＨＭＤ１の電気的構成について説明する。投影装置１００は、投影装置１００全体の制御を司るＣＰＵ２１を備える。ＣＰＵ２１は、プログラムＲＯＭ２３、ＲＡＭ２５、画像表示部３６、インターフェイス１２、接続コントローラ３７と電気的に接続する。また、ＣＰＵ２１は、インターフェイス１２を介してカメラ３９およびヘッドセット３５と電気的に接続する。プログラムＲＯＭ２３は、ＣＰＵ２１が実行する各種プログラム等を記憶する。各種プログラムは、投影装置１００の出荷時にプログラムＲＯＭ２３に記憶される。なおＣＰＵ２１は、後述する制御装置２００のフラッシュＲＯＭ４７に記憶されたプログラムも実行することができる。ＲＡＭ２５は、各種データを一時的に記憶する。
【００１７】
画像表示部３６は前述の通り、映像信号に基づいて画像を表示する。以下、画像表示部３６に表示させる画像を「表示画像」という。インターフェイス１２はカメラ３９およびヘッドセット３５に接続し、信号の入出力を制御する。接続コントローラ３７は、ハーネス１５０を介して制御装置２００の接続コントローラ４８に接続し、有線通信を行う。カメラ３９は、静止画像または動画像（以下、「撮影画像」という。）を撮影する。ヘッドセット３５は骨電動イヤホンおよびマイクを備える。なお、投影装置１００または制御装置２００がスピーカおよびマイクを内蔵してもよい。
【００１８】
制御装置２００の電気的構成について説明する。制御装置２００は、制御装置２００全体の制御を司るＣＰＵ４１を備える。ＣＰＵ４１は、プログラムＲＯＭ４３、ＲＡＭ４５、フラッシュＲＯＭ４７、接続コントローラ４８、ビデオＲＡＭ５７、画像処理部５９、インターフェイス５５、および無線通信部５３と電気的に接続する。プログラムＲＯＭ４３は、ＣＰＵ４１が実行する各種プログラム等を記憶する。各種プログラムは、制御装置２００の出荷時にプログラムＲＯＭ４３に記憶される。なおＣＰＵ４１は、フラッシュＲＯＭ４７に記憶されたプログラムも実行することができる。
【００１９】
ＲＡＭ４５は、各種データを一時的に記憶する。フラッシュＲＯＭ４７は、制御装置２００の出荷後にインストールされた各種プログラムや、後述する作業補助プログラムにおいて使用する各種データ（特徴部位を検索するためのサンプル画像、作業対象物を識別するための対象物識別テーブル等（後述））を記憶する。また、フラッシュＲＯＭ４７は、後述するＰＣ３００から手順情報（後述）を取得した場合に、その手順情報を記憶する。接続コントローラ４８は、ハーネス１５０を介して投影装置１００の接続コントローラ３７に接続し、有線通信を行う。無線通信部５３は、ネットワーク２５０のアクセスポイント（図示略）へ無線で接続し、ネットワーク２５０に接続する他の機器と通信を行う。無線通信部５３はネットワーク２５０を介さずに、直接ＰＣ３００と無線による接続を行ってもよい。インターフェイス５５は電源スイッチ５１および電源ランプ５２を含む操作部５０に接続し、作業者による操作の入力信号やランプの点灯信号等の入出力を行う。画像処理部５９は、投影装置１００の画像表示部３６に表示させる表示画像を形成する処理を行う。ビデオＲＡＭ５７は、画像処理部５９が形成した表示画像を画像表示部３６に表示するための映像信号を生成するため、表示画像を仮想的に表示した仮想画面を記憶領域内に形成する。
【００２０】
ＰＣ３００は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を搭載した公知のパーソナルコンピュータである。本実施形態において、ＰＣ３００は、作業対象物に対して行う作業の手順に関する手順情報（後述）を、複数の作業対象物について保持し、データベースとしてハードディスクドライブ（ＨＤＤ）３５０に蓄積（記憶）する。ＰＣ３００は、制御装置２００のＣＰＵ４１からの要求に応じ、ネットワーク２５０を介して手順情報を提供するサーバとして機能する。また、図示しないが、ＰＣ３００はネットワーク２５０に接続するための通信部を有する。
【００２１】
図３〜図１０を参照し、ＨＭＤ１の制御装置２００のＣＰＵ４１が実行する作業補助プログラムの各処理について説明する。まず、作業補助プログラムの実行に伴いＣＰＵ４１が行う各種処理の内容について説明する。後述する作業補助プログラムの実行に伴う処理において、ＣＰＵ４１は、カメラ３９で撮影した撮影画像の解析を行う。ＣＰＵ４１は、撮影画像を解析し、撮影画像に写る作業対象物において特徴量を有する部位の画像である「特徴画像」の検出を行う。
【００２２】
「特徴量を有する部位」とは、例えば、作業対象物が車両の場合、エンブレムや車名のロゴマーク、テールランプなど他の車両とは異なる固有の形状を有する部位、全体の形状、特徴的な塗装などである。すなわち、対象となる車両の撮影画像を解析した場合に、当該車両の車種や、撮影画像に写る当該車両の側面がどの側面であるか、などを特定することができる部位である。以下、特徴量を有する部位を「特徴部位」とよぶ。予め作業対象物にマーカー等の目印を設け、特徴部位としてもよい。
【００２３】
画像解析の詳細については公知であるため説明を省略するが、例えば、輪郭線の検出、特徴部位のサンプル画像とのマッチング、配色パターンの検出など、公知の様々な方法を用いて特徴部位を検出することが可能である。本実施形態では、ＣＰＵ４１は、サンプル画像とのマッチングにより、撮影画像において特徴部位の画像である特徴画像の検出を行うものとする。「サンプル画像」は、作業対象物の特徴部位として検出する対象となる部位を予め撮影もしくは描画した画像である。サンプル画像は、作業対象物の特徴部位を確認できる側面に対して直交する向きに、当該特徴部位を見た場合に得られる画像である。サンプル画像は作業対象物の種類ごとに複数用意され、予めフラッシュＲＯＭ４７に記憶されている。また、各作業対象物と、各作業対象物が有する特徴部位との対応付けがなされたテーブル（以下、「対象物識別テーブル」という。）も作成され、予めフラッシュＲＯＭ４７に記憶されている。
【００２４】
ＣＰＵ４１は、サンプル画像の回転、拡大縮小、変形等を行いつつ、撮影画像内でサンプル画像に類似する部位を検索する。ＣＰＵ４１は、類似する部位すなわち特徴部位が見つかると、当該特徴部位の画像である特徴画像を、方位を示す特徴情報としてＲＡＭ４５に記憶する。「特徴情報」とは、特徴画像が撮影画像内において表す情報であり、例えば、撮影画像内における特徴画像の位置（座標）、サンプル画像に対する特徴画像の回転角度、拡大・縮小率、変形率などである。また、特徴情報は、検索された特徴画像と検索元のサンプル画像との対応付けの情報も含む。
【００２５】
また、ＣＰＵ４１は、作業補助プログラムの処理において、撮影画像に写る作業対象物の識別を行う。その際にＣＰＵ４１は、上記の対象物識別テーブルを参照する。対象物識別テーブルには、さらに、基準となる複数の向き（例えば六面（平面、底面、正面、背面および左右側面））から作業対象物を見た場合に、各面において確認することができる特徴部位の位置関係や大きさ、向きなどの情報が、各作業対象物に対応付けられている。
上記したように、特徴情報は、撮影画像内における特徴画像の位置（座標）、サンプル画像に対する特徴画像の回転角度、拡大・縮小率、変形率などを含む。したがってＣＰＵ４１は、撮影画像内における特徴画像の位置に基づいて、検出した特徴画像に写る特徴部位を確認することができる作業対象物の側面を特定することができる。さらにＣＰＵ４１は、サンプル画像に対する特徴画像の回転角度、拡大縮小率、変形率などに基づいて、特定した作業対象物の側面に対し、どの向きから当該側面に向き合う状態であるかを特定することができる。よってＣＰＵ４１は、撮影画像が作業対象物に対してどの向き（方位）から撮影されたかを特定することができる。
【００２６】
また、ＣＰＵ４１は、作業補助プログラムの処理において、識別した作業対象物に対応する手順情報を取得する。「手順情報」は、作業対象物に対して行う作業の手順を、画像（スーパーインポーズした文字・記号等も含む）により示すことのできる情報である。以下、手順情報に基づく画像を「手順画像」という。手順画像は、作業対象物において作業を行う対象となる部位（以下、「対象部位」という。）を示すため、作業を行うのに望ましい所定の方位（以下、「作業方位」という。）から作業対象物を描画または撮影した画像と、対象部位を示す画像、文字・記号等を含む。手順画像は、静止画であってもよいし、動画であってもよい。なお、作業方位は、作業者が作業対象物に正面から向き合う場合を方位の基準の方位とし、作業対象物の径方向外方を周方向に移動する場合の角度によって示される方位であり、予め設定されている。また、手順情報は、作業方位の情報を含み、作業対象物に対象部位が複数ある場合、各対象部位に対応する作業方位の情報を含む。さらに、手順情報は、対象部位の総数の情報と、各対象部位に対して作業を行う順番であり予め設定された順番についての情報を含む。
【００２７】
また、ＣＰＵ４１は、作業補助プログラムの処理において、作業者に対して指示情報を提示する。「指示情報」は、作業者の現在の方位（撮影画像を撮影したときの作業対象物に対する作業者の方位）と作業方位との関係に応じて決定される情報であり、具体的には、作業者に、現在の方位から作業方位へ移動させる指示を示す情報である。指示情報は、例えば、現在の方位から作業方位へ向かう方向を指す矢印の画像を表した画像情報である。また、指示情報は、例えば、現在の方位から作業方位へ向かう方向を作業者に知らせる内容を文字で表した画像情報である。あるいは、指示情報は、例えば、現在の方位から作業方位へ向かう方向を音声で作業者に知らせる音声情報である。
【００２８】
作業補助プログラムの実行に伴いＣＰＵ４１が行う各種処理の動作について説明する。作業者がＨＭＤ１の電源スイッチ５１をオンに操作すると、ＣＰＵ４１は、図３に示す、プログラムＲＯＭ４３に記憶された作業補助プログラムを実行する。作業補助プログラムの実行開始時の初期設定において、ＣＰＵ４１はＲＡＭ４５に記憶するフラグやデータを初期化し、無線通信部５３を稼働させ、ネットワーク２５０に無線通信で接続する（Ｓ９）。ＣＰＵ４１は予めネットワーク２５０において公開されるＰＣ３００との接続を試みて、予め設定されているＩＤおよびパスワードでログイン可能であるか確認する。
【００２９】
投影装置１００のカメラ３９は外界の風景を常時撮影しており、ＣＰＵ２１は撮影画像をＲＡＭ２５に上書きしながら記憶する。ＣＰＵ４１はＣＰＵ２１に指示信号を出力し、最新の撮影画像をＲＡＭ２５から取得して、ＲＡＭ４５に記憶する（Ｓ１１）。ＣＰＵ４１は、取得した撮影画像において、上記のようにサンプル画像とのマッチングを行い、特徴部位を検索して特徴画像を検出する（Ｓ１３）。特徴画像が検出できなかった場合、ＣＰＵ４１は、撮影画像に作業対象物が写っていないと判断し（Ｓ１５：ＮＯ）、Ｓ１１に戻り、作業者が撮影画像に作業対象物が写る位置に移動するまでＳ１１〜Ｓ１５を繰り返す。
【００３０】
特徴画像を検出できた場合、ＣＰＵ４１は、検出した特徴画像を、方位を示す特徴情報としてＲＡＭ４５に記憶する。ＣＰＵ４１は、撮影画像と特徴情報に基づいて、撮影画像に写る作業対象物を識別する（Ｓ１５：ＹＥＳ）。ＣＰＵ４１は、特徴画像として検出した特徴部位を有する作業対象物をフラッシュＲＯＭ４７に記憶する対象物識別テーブルから検索する。ＣＰＵ４１は、作業対象物を対象物識別テーブルにおいて特定したら、識別結果をＲＡＭ４５に記憶する。
【００３１】
作業対象物に対する方位についての説明を容易にするため、側面を判別しやすいサイコロ形状の物体を作業対象物４００として例に挙げる。図４に、作業対象物４００が撮影画像３５０に写る様子を示す。撮影画像３５０には、作業対象物４００の側面のうち、他の目とは大きさの異なる赤色の目４０５を有する第一側面４１０、黒色の目４０６を２つ有する第二側面４２０、黒色の目４０６を３つ有する第三側面４３０が写る。赤色の目４０５および黒色の目４０６を特徴部位とする。ＣＰＵ４１は、撮影画像３５０において、サンプル画像とのマッチングにより、１つの赤色の目４０５と、変形率が同じ２つの黒色の目４０６と、先の２つの黒色の目４０６とは異なる変形率ながら、変形率が同じ３つの黒色の目４０６を特徴部位として検出する。ＣＰＵ４１は、対象物識別テーブルを参照し、当該特徴部位を有する物体が作業対象物４００であると識別する。
【００３２】
図３に示すように、ＣＰＵ４１は、ネットワーク２５０を介してＰＣ３００に接続し、識別した作業対象物に対応する手順情報を要求する。ＣＰＵ４１は、ＰＣ３００から取得した手順情報をフラッシュＲＯＭ４７に記憶する（Ｓ１７）。また、ＣＰＵ４１は、手順情報に含まれる対象部位についての情報（作業方位の情報、総数の情報、各対象部位に対して作業を行う順番についての情報）を、ＲＡＭ４５に記憶する。ＲＡＭ４５に、今回識別した作業対象物の手順情報に対応する対象部位についての情報がすでに記憶されている場合、すなわちＳ１７の処理の初回実行時でない場合、ＣＰＵ４１は対象部位についての情報を上書きしない。ＣＰＵ４１は、Ｓ１５で作業対象物を識別することによって、作業対象物に対応する手順情報を取得することができる。よって作業者が予め作業対象物に応じた手順情報を用意する手間を省くことができる。
【００３３】
ＣＰＵ４１は、撮影画像と特徴情報に基づいて、撮影画像に写る作業対象物に対し、現在、どの方位から作業者が向いているかを決定する（Ｓ１９）。ＣＰＵ４１は、上記した基準の方位を基準に、撮影画像を撮影したときの作業者の作業対象物に対する方位（現在の方位）を決定する。
【００３４】
図４の作業対象物４００について、ＣＰＵ４１は、特徴情報に基づき、赤色の目４０５の特徴画像が他の目（黒色の目４０６）よりもサンプル画像に対する拡大率が大きく、且つ変形率が小さいことがわかる。よってＣＰＵ４１は、赤色の目４０５を有する第一側面４１０が、２つの黒色の目４０６を有する第二側面４２０や３つの黒色の目４０６を有する第三側面４３０よりも作業者に近い側に位置し、且つ作業者側を向く側面であることがわかる。すなわちＣＰＵ４１は、作業対象物４００に対する作業者の現在の方位が、作業者が第一側面４１０と向き合う状態となる方位であることを検出する。より詳細に、ＣＰＵ４１は、第一側面４１０を作業対象物４００の正面（基準）とすると、第一側面４１０の赤色の目４０５の変形率と、右側面である第二側面４２０の黒色の目４０６の変形率に基づき、現在の方位を求める。
【００３５】
図３に示すように、次にＣＰＵ４１は、Ｓ１７でＲＡＭ４５に記憶した対象部位の情報を参照し、作業の完了していない対象部位で、作業の順番において次に作業を行う対象部位の作業方位を取得する（Ｓ２１）。ＣＰＵ４１は、撮影画像を解析し、例えば作業対象物の輪郭線の検出などを行うことで、撮影画像内における作業対象物の位置（座標）を特定する（Ｓ２３）。
【００３６】
ＣＰＵ４１は、Ｓ１９で決定した作業者の現在の方位が、Ｓ２１で取得した対象部位の作業方位を中心とする所定角度範囲内に含まれる方位であるか否かを確認する（Ｓ２５）。言い換えると、ＣＰＵ４１は、作業者が現在の方位から作業対象物に向き合った場合に、これから作業を行う対象部位の位置が、作業を行うのに望ましい位置にあるか否かを確認する。
【００３７】
ＣＰＵ４１は、作業方位の所定角度範囲内に現在の方位が含まれず、現在の方位において作業対象物の望ましい位置に対象部位がない場合（Ｓ２５：ＮＯ）、画像表示部３６に手順画像を表示している場合であれば、手順画像を非表示にする（Ｓ３３）。ＣＰＵ４１は、作業者が現在の方位から次の対象部位の作業方位へ移動するにあたって、最短となる移動距離を求める（Ｓ３５）。具体的にＣＰＵ４１は、作業者の現在の方位と作業方位との角度差を計算し、値の小さい方を移動角度（作業対象物の周方向における最小の移動角度）として求める。
【００３８】
ＣＰＵ４１は、作業者を現在の方位から次の対象部位の作業方位へ移動させるための指示情報を提示する（Ｓ３７）。ＣＰＵ４１は、画像処理部５９において、現在の方位から作業方位へ最短で向かう方向を指し、移動角度に応じた長さの矢印の画像を指示情報として形成する。また、ＣＰＵ４１は、矢印が指す方向に応じて予め作業対象物に対し相対的に設定された表示画像内の位置に矢印の画像を表示するため、Ｓ２３で撮影画像内において特定した作業対象物の位置を基準に、矢印の画像の表示画像内における配置位置を決定する。さらに、ＣＰＵ４１は、矢印が指す方向に応じて予め用意された文字（文章）等により表される指示情報を形成し、表示画像内に配置する。画像処理部５９で形成された表示画像はビデオＲＡＭ５７に仮想画面として形成され、ＣＰＵ４１は、仮想画面に基づく映像信号を生成し、投影装置１００に映像信号を出力する。投影装置１００の画像表示部３６は映像信号に基づく表示画像を表示する。また、ＣＰＵ４１は、矢印が指す方向に応じて予め用意された音声による指示情報に基づき、音声信号を投影装置１００のヘッドセット３５に出力する。作業者は、ハーフミラー８を介して眼球に入射される表示画像に示される指示情報と、ヘッドセット３５の骨伝導イヤホンから発声される音声を認識する。ＣＰＵ４１は、作業者に、作業方位へ最短で向かう方向を矢印で指して示し、すなわち、作業者に作業方位へ向かう最小の経路を案内するので、作業者が次の対象部位への移動を速やかに行うことができる。ＣＰＵ４１は、作業者に、現在の方位と作業方位との差（移動角度）に応じた長さの矢印で次の対象部位への移動方向を指し示すことができるので、作業者は、直感的に移動方向と距離を把握することができ、次の対象部位への移動を速やかに行うことができる。表示画面内で作業対象物に対して移動方向に応じた相対的な位置に矢印の画像を表示することで、作業者は、表示画面内のどの位置に作業対象物の位置があっても、その作業対象物に対して直感的に移動方向を把握することができ、次の対象部位への移動を速やかに行うことができる。
【００３９】
図４において、作業対象物４００の次の対象部位が第一側面４１０の背面側の第六側面４６０（図６参照）にあるものとする。図５に示すように、ハーフミラー８を透過する作業対象物４００の実像の右手側に指示情報を示す画像４７０が表示される。指示情報を示す画像４７０は、右回りに作業対象物４００の背面側への移動を指示する矢印の画像４７１と、その下部に、移動の説明文を構成する文字の画像４７２とを含む。また、音声による指示情報も提示される。作業者は、提示された指示情報に従って、作業対象物４００の周囲を右回りに第六側面４６０と向き合う位置に移動する。
【００４０】
図３に示すように、ＣＰＵ４１はＳ３７の処理の後Ｓ１１に戻る。作業者の移動中、作業方位の所定角度範囲内に現在の方位が含まれない状態が継続されるので、ＣＰＵ４１は、作業者が作業方位に到達するまでＳ１１〜Ｓ２５、Ｓ３３〜Ｓ３７を繰り返す。
【００４１】
図６に示す撮影画像３６０に、黒色の目４０６を６つ有する第六側面４６０、黒色の目４０６を２つ有する第二側面４２０、黒色の目４０６を３つ有する第三側面４３０が写る。ＣＰＵ４１は、上記同様、作業対象物４００の特徴情報に基づき、作業者が第六側面４６０と向き合う状態となる方位であることを検出する。
【００４２】
図３に示すように、作業者が作業方位に到達し、作業者の現在の位置が作業方位の所定角度範囲内に含まれる状態となると（Ｓ２５：ＹＥＳ）、ＣＰＵ４１は、画像表示部３６に、対象部位に対して行う作業の手順を示す手順画像を表示する（Ｓ２７）。ＣＰＵ４１は、撮影画像内において特定した作業対象物の位置を避けて、表示画像内に手順画像を表示する。
【００４３】
図７に、ハーフミラー８を透過する作業対象物４００の実像と重ならないように、実像の右手側に手順画像４８０が表示された様子を示す。手順画像４８０は、作業対象物４００の第六側面４６０の対象部位を示す画像４８１と、その下部に、作業の手順を示す説明文を構成する文字の画像４８２を含む。作業者は、表示された手順画像４８０に従って、対象部位に対する作業を行う。
【００４４】
ＣＰＵ４１は、対象部位に対する作業の完了を、例えば、予め手順情報として取得する対象部位の完成形の画像とのマッチングにより検出する。ＣＰＵ４１は、対象部位に対する作業が完了しないうちは手順画像の表示を継続してＳ２７に戻る（Ｓ２９：ＮＯ）。ＣＰＵ４１は、対象部位に対する作業の完了を検出すると（Ｓ２９：ＹＥＳ）、ＲＡＭ４５に記憶する対象部位の情報のうち作業が完了した対象部位について作業完了を表すフラグを記憶し、対象部位の総数を１減らす。ＣＰＵ４１はＳ３１に進み、対象部位の総数が１以上であれば、作業対象物にまだ完了していない作業があると判断し（Ｓ３１：ＹＥＳ）、Ｓ１１に戻る。ＣＰＵ４１は、対象部位に対する作業の完了を検出することで、次の対象部位の手順情報を、作業者の操作に因らずに表示することができるので、作業者の手を煩わせることがなく、作業者が効率よく作業を行うことができる。
【００４５】
図７において、作業対象物４００の次の対象部位が第二側面４２０にあるものとする。図８に示すように、ハーフミラー８を透過する作業対象物４００の実像の左手側に指示情報を示す画像４９０が表示される。指示情報を示す画像４９０は、左回りに作業対象物４００の左側面側への移動を指示する矢印の画像４９１と、その下部に、移動の説明文を構成する文字の画像４９２とを含む。また、音声による指示情報も提示される。上記の図５の場合、作業対象物４００の正面側から背面側へ移動するため移動角度は略１８０度であるが、図７の場合、作業対象物４００の正面側から左側面側への移動であるため、移動角度は略９０度である。したがって、ＣＰＵ４１は、指示情報として矢印の画像を形成する際に、今回の移動時における矢印の画像４９１に示される矢印の長さを、前回の移動時における矢印の画像４７１に示される矢印の長さよりも短くする。作業者は、提示された指示情報に従って、作業対象物４００の周囲を左回りに第二側面４２０と向き合う位置に移動する。
【００４６】
図９に示すように、上記同様、ハーフミラー８を透過する作業対象物４００の実像の右手側に、第二側面４２０の対象部位を示す画像５０１と文字の画像５０２を含む手順画像５００が表示される。作業者は、手順画像５００に従って、対象部位に対する作業を行う。
【００４７】
図３に示すように、Ｓ２９において作業の完了に伴い対象部位の総数が１減らされて０となった場合、ＣＰＵ４１はＳ３１において作業対象物に対する作業がすべて完了したと判断し（Ｓ３１：ＮＯ）、作業補助プログラムを終了する。
【００４８】
なお、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々変更を加え得ることが可能である。Ｓ１３における画像解析は、制御装置２００のＣＰＵ４１が行ったが、ＣＰＵ４１は、ネットワーク２５０を介して撮影画像をＰＣ３００に送信し、ＰＣ３００のＣＰＵが撮影画像の解析を行い、解析結果をＣＰＵ４１に送信してもよい。
【００４９】
ＣＰＵ４１は、指示情報を移動距離が最短となるように提示したが、撮影画像において移動経路上に障害物等が写る場合、障害物を回避しつつ最短となる経路を示す指示情報を提示してもよい。指示情報として矢印の画像を表示したが、矢印の画像は静止画で示してもよいし、点滅したり画像の位置が表示画面内で移動するアニメーション等を用いた動画で示してもよい。また、本実施形態では、矢印の画像に加えて文字の画像の表示や音声による指示の発声を行ったが、矢印の画像のみを表示して、文字や音声による指示はなくともよい。あるいは、矢印の画像がなく、文字や音声による指示を提示してもよい。また、ＣＰＵ４１は、矢印の画像を、表示画像内で、矢印が指す方向に応じて作業対象物に対し相対的な位置に表示したが、矢印が指す方向に応じて表示画像内における絶対的な位置に表示してもよい。例えば、右回りの移動を指示する場合であれば、表示画像の右端に、右回りの移動を示す矢印の画像を表示すればよい。表示画面内で移動方向に応じた絶対的な位置に矢印の画像を表示することで、作業者は、直感的に移動方向を把握することができ、次の対象部位への移動を速やかに行うことができる。
【００５０】
Ｓ２９において、ＣＰＵ４１は作業完了の判断を対象部位の完成形の画像とのマッチングにより行ったが、作業者による操作部５０の操作に基づき作業完了と判断してもよい。または、タイマーを設定し、対象部位における作業が予め設定した時間を経過したら、ＣＰＵ４１は作業が完了したと判断してもよい。あるいは、撮影画像を解析し、作業に用いる道具が予め決められた場所に置かれたことを検出したら、ＣＰＵ４１は作業が完了したと判断してもよい。
【００５１】
カメラ３９の代わりに、作業対象物を含めた周囲の様子を撮影できる定点カメラを所定の定位置に設置してもよい。ＰＣ３００は、定点カメラの撮影画像に基づいて指示情報を生成し、ＨＭＤ１に送信してもよい。また、ＣＰＵ４１は、ネットワーク２５０を介しＰＣ３００から指示情報を取得したが、制御装置２００のフラッシュＲＯＭ４７に予め記憶し、フラッシュＲＯＭ４７から取得してもよい。この場合、ＨＭＤ１はネットワーク２５０に接続しなくともよい。すなわち、ＨＭＤ１の単体で、作業者に作業方位への移動を指示できるようにしてもよい。
【００５２】
本実施形態では、指示情報として、作業者に現在の方位から作業方位へ向かう経路を案内し、作業対象物に対する作業者の移動を促す形態の情報が提示されたが、作業者の現在の方位を基準とし、作業対象物を動かして作業対象物の作業方位を現在の方位へ向けさせる形態の情報として提示されてもよい。例えば、作業対象物を載置した台を手動で回転させたり移動させたりする場合、どの方向へ向け、どれぐらい回転または移動させるかを示す情報を提示するようにしてもよい。
【００５３】
本実施形態では、特徴画像の有する特徴情報（特徴画像の位置関係や拡大・縮小率、変形率などの情報）に基づいて、作業対象物に対する作業者の現在の方位を決定した。これに限らず、例えば、特徴部位の特徴画像を作業対象物に対する方位に対応させてフラッシュＲＯＭ４７に記憶してもよい。この場合にＣＰＵ４１は、撮影画像内で特徴画像を検出したら、特徴画像に対応する方位を、作業者の現在の方位として決定してもよい。また、作業対象物の全体像を複数の方位から撮影したサンプル画像を予め撮影し、フラッシュＲＯＭ４７に記憶してもよい。この場合、撮影画像に写る作業対象物の背景等がサンプル画像と異なる場合があるため、ＣＰＵ４１は、撮影画像に最も類似するサンプル画像を特定し、作業者の現在の方位を決定するとよい。
【００５４】
なお、本実施の形態においては、画像表示部３６が本発明の「表示装置」に相当する。カメラ３９が「撮影装置」に相当する。作業方位が「所定の方位」に相当する。Ｓ１７において手順情報を取得するＣＰＵ４１が「第一取得手段」に相当する。特徴部位が「所定の部位」に相当する。特徴画像が「所定画像」に相当する。特徴情報が「特定情報」に相当する。Ｓ１３において撮影画像を解析して特徴画像を検出し、特徴情報を取得するＣＰＵ４１が「第二取得手段」に相当する。Ｓ１９において撮影画像の解析によって取得した特徴情報に基づいて、作業対象物に対する作業者の現在の方位を決定するＣＰＵ４１が「決定手段」に相当する。Ｓ２７において手順画像を表示するＣＰＵ４１が「第一表示手段」に相当する。Ｓ３７において指示情報に基づく矢印の画像を表示するＣＰＵ４１が「第二表示手段」に相当する。ハーフミラー８が「表示部」に相当する。Ｓ２３において撮影画像内における作業対象物の位置を特定するＣＰＵ４１が「特定手段」に相当する。Ｓ１５において撮影画像の解析によって取得した特徴情報に基づいて、作業対象物を識別するＣＰＵ４１が「識別手段」に相当する。ヘッドセット３５の骨伝導イヤホンが「発音装置」に相当する。Ｓ３７で指示情報に基づく音声を出力するＣＰＵ４１が「出力手段」に相当する。Ｓ２９で作業の完了を検出し、Ｓ３１で次の対象部位がある場合にＳ１１に戻るＣＰＵ４１であり、これにより、Ｓ２５を実行し、Ｓ２７で次の対象部位の手順情報を表示するＣＰＵ４１が、「切替手段」に相当する。
【符号の説明】
【００５５】
１    ヘッドマウントディスプレイ
８    ハーフミラー
３５    ヘッドセット
３６    画像表示部
３９    カメラ
【図１】
2014071756.tif 000003
【図２】
2014071756.tif 000004
【図３】
2014071756.tif 000005
【図４】
2014071756.tif 000006
【図５】
2014071756.tif 000007
【図６】
2014071756.tif 000008
【図７】
2014071756.tif 000009
【図８】
2014071756.tif 000010
【図９】
2014071756.tif 000011