(57)【要約】【課題】同一の動作を繰り返す作業を行う際に、作業者の操作負担を軽減し、また正確に繰り返し動作の回数を計測でき、さらに容易且つ迅速に繰り返し動作の回数が確認できるようにすること。【解決手段】ヘッドマウントディスプレイに繰り返し動作の回数を表示する。具体的には、ＣＣＤセンサで繰り返し動作を時分割して、それら撮像画像に基づいて繰り返し動作を認識する（Ｓ１５）。また繰り返し動作がなされる空間をＣＣＤセンサで逐次撮像する（Ｓ１６）。それら複数の撮像画像から示される対象動作と、Ｓ１５にて認識された繰り返し動作とを比較することによって、その対象動作が繰り返し動作であるかを判断する（Ｓ１７）。対象動作が繰り返し動作であると判断された回数を繰り返し動作の回数として計測する（Ｓ１８）。そして、Ｓ１８にて計測された繰り返し動作の回数を表示する（Ｓ２０）。【選択図】図３
2010198555.tif 000002
【特許請求の範囲】
【請求項１】
同一の動作を繰り返す作業を行う際に、その動作である繰り返し動作の回数を表示するヘッドマウントディスプレイであって、
撮像手段と、
前記繰り返し動作を認識するために、前記撮像手段でその繰り返し動作を時分割して撮像する第１撮像制御手段と、
その第１撮像制御手段によって撮像された複数の第１撮像画像に基づいて、前記繰り返し動作を認識する認識手段と、
前記繰り返し動作がなされる空間を前記撮像手段で逐次撮像する第２撮像制御手段と、
その第２撮像制御手段によって撮像された複数の第２撮像画像から示される対象動作と、前記認識手段によって認識された前記繰り返し動作とを比較することによって、その対象動作が前記繰り返し動作であるかを判断する判断手段と、
その判断手段によって、前記対象動作が前記繰り返し動作であると判断された回数を前記繰り返し動作の回数として計測する計測手段と、
その計測手段によって計測された前記繰り返し動作の回数を表示する表示制御手段とを備えることを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記認識手段は、
前記複数の第１撮像画像の中から、前記ヘッドマウントディスプレイの装着者の指示に基づいて、前記繰り返し動作の開始を示した前記第１撮像画像である開始画像を選択する開始画像選択手段と、
前記開始画像のうちの、前記繰り返し動作に伴って位置が変化する所定の基準点の位置を基準開始点として検出する基準開始点検出手段と、
前記複数の第１撮像画像の中から、前記装着者の指示に基づいて、前記繰り返し動作の終了を示した前記第１撮像画像である終了画像を選択する終了画像選択手段と、
前記終了画像のうちの、前記基準点の位置を基準終了点として検出する基準終了点検出手段と、
前記基準開始点と前記基準終了点とから前記繰り返し動作の軌跡を算出する軌跡算出手段とを有し、
前記基準開始点、前記基準終了点及び前記繰り返し動作の軌跡によって、前記繰り返し動作を認識することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記判断手段は、
前記複数の第２撮像画像のそれぞれの前記基準点の位置を検出する基準点検出手段と、
その基準点検出手段によって検出された前記基準点の位置が前記基準開始点の近傍にあるかを判断する開始点判断手段と、
前記基準点検出手段によって検出された複数の基準点とから算出される軌跡が、前記繰り返し動作の軌跡であるかを判断する軌跡判断手段と、
前記基準点検出手段によって検出された前記基準点の位置が前記基準終了点の近傍にあるかを判断する終了点判断手段とを有し、
前記開始点判断手段によって前記基準点の位置が前記基準開始点の近傍にあると判断され、前記軌跡判断手段によって前記繰り返し動作の軌跡であると判断され、かつ前記終了点判断手段によって前記基準点の位置が前記基準終了点の近傍にあると判断された場合に限り、前記対象動作が前記繰り返し動作であると判断することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記繰り返し動作がなされる予定回数は予め定められており、
前記表示制御手段は、前記計測手段によって計測された前記繰り返し動作の回数が前記予定回数になった場合には、作業が完了した旨を表示することを特徴とする請求項１〜３のいずれかに記載のヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同一の動作を繰り返す作業を行う際に、その動作である繰り返し動作の回数を計測する装置に関する。
【背景技術】
【０００２】
従来、同一の動作を繰り返す作業を行う際に、その動作である繰り返し動作の回数を計測する装置が提案されている（例えば、特許文献１参照。）。特許文献１に記載の発明では、携帯型無線発信手段と受信機兼計測装置とから構成される。作業者は、一回の動作を完了したときに、その携帯型無線発信手段に備えられたカウントスイッチを操作して、その携帯型無線発信手段からカウント信号を発信させる。そして、受信機兼計測装置は、そのカウント信号を受信して計数をカウントする。こうすることによって、作業者はスイッチを操作するだけで、繰り返し動作の回数が計測されるので、後に繰り返し動作の回数を確認しやすくなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１３３８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の発明では、作業者は各動作が完了する度にスイッチを操作しなければならないので、その操作が煩わしいことがある。また、スイッチを操作し忘れることもある。この場合、正確な動作回数は計測されないことになる。さらに、受信機兼計測装置にて繰り返し動作の回数が計測されているので、作業者は、その受信機兼計測装置にて繰り返し動作の回数を確認する必要がある。したがって、例えば作業途中に動作回数を確認するためには、一度作業を中断しなければならない。
【０００５】
本発明は上記問題点に鑑みてなされたものであり、同一の動作を繰り返す作業を行う際に、その動作である繰り返し動作の回数を計測する装置において、作業者の操作負担を軽減し、また正確に繰り返し動作の回数を計測でき、さらに容易且つ迅速に繰り返し動作の回数が確認できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１のヘッドマウントディスプレイは、同一の動作を繰り返す作業を行う際に、その動作である繰り返し動作の回数を表示するヘッドマウントディスプレイであって、撮像手段と、前記繰り返し動作を認識するために、前記撮像手段でその繰り返し動作を時分割して撮像する第１撮像制御手段と、その第１撮像制御手段によって撮像された複数の第１撮像画像に基づいて、前記繰り返し動作を認識する認識手段と、前記繰り返し動作がなされる空間を前記撮像手段で逐次撮像する第２撮像制御手段と、その第２撮像制御手段によって撮像された複数の第２撮像画像から示される対象動作と、前記認識手段によって認識された前記繰り返し動作とを比較することによって、その対象動作が前記繰り返し動作であるかを判断する判断手段と、その判断手段によって、前記対象動作が前記繰り返し動作であると判断された回数を前記繰り返し動作の回数として計測する計測手段と、その計測手段によって計測された前記繰り返し動作の回数を表示する表示制御手段とを備えることを特徴とする。
【０００７】
また、請求項２のヘッドマウントディスプレイは、請求項１に記載の発明の構成に加え、前記認識手段は、前記複数の第１撮像画像の中から、前記ヘッドマウントディスプレイの装着者の指示に基づいて、前記繰り返し動作の開始を示した前記第１撮像画像である開始画像を選択する開始画像選択手段と、前記開始画像のうちの、前記繰り返し動作に伴って位置が変化する所定の基準点の位置を基準開始点として検出する基準開始点検出手段と、前記複数の第１撮像画像の中から、前記装着者の指示に基づいて、前記繰り返し動作の終了を示した前記第１撮像画像である終了画像を選択する終了画像選択手段と、前記終了画像のうちの、前記基準点の位置を基準終了点として検出する基準終了点検出手段と、前記基準開始点と前記基準終了点とから前記繰り返し動作の軌跡を算出する軌跡算出手段とを有し、前記基準開始点、前記基準終了点及び前記繰り返し動作の軌跡によって、前記繰り返し動作を認識することを特徴とする。
【０００８】
また、請求項３のヘッドマウントディスプレイは、請求項２に記載の発明の構成に加え、前記判断手段は、前記複数の第２撮像画像のそれぞれの前記基準点の位置を検出する基準点検出手段と、その基準点検出手段によって検出された前記基準点の位置が前記基準開始点の近傍にあるかを判断する開始点判断手段と、前記基準点検出手段によって検出された複数の基準点とから算出される軌跡が、前記繰り返し動作の軌跡であるかを判断する軌跡判断手段と、前記基準点検出手段によって検出された前記基準点の位置が前記基準終了点の近傍にあるかを判断する終了点判断手段とを有し、前記開始点判断手段によって前記基準点の位置が前記基準開始点の近傍にあると判断され、前記軌跡判断手段によって前記繰り返し動作の軌跡であると判断され、かつ前記終了点判断手段によって前記基準点の位置が前記基準終了点の近傍にあると判断された場合に限り、前記対象動作が前記繰り返し動作であると判断することを特徴とする。
【０００９】
また、請求項４のヘッドマウントディスプレイは、請求項１〜３のいずれかに記載の発明の構成に加え、前記繰り返し動作がなされる予定回数は予め定められており、前記表示制御手段は、前記計測手段によって計測された前記繰り返し動作の回数が前記予定回数になった場合には、作業が完了した旨を表示することを特徴とする。
【発明の効果】
【００１０】
請求項１の発明によれば、ヘッドマウントディスプレイに繰り返し動作の回数を表示している。具体的には、第１撮像制御手段は、繰り返し動作を認識するために、撮像手段でその繰り返し動作を時分割して撮像する。認識手段は、第１撮像制御手段によって撮像された複数の第１撮像画像に基づいて、前記繰り返し動作を認識する。第２撮像制御手段は、繰り返し動作がなされる空間を撮像手段で逐次撮像する。判断手段は、第２撮像制御手段によって撮像された複数の第２撮像画像から示される対象動作と、認識手段によって認識された繰り返し動作とを比較することによって、その対象動作が繰り返し動作であるかを判断する。計測手段は、判断手段によって、対象動作が繰り返し動作であると判断された回数を繰り返し動作の回数として計測する。そして、表示制御手段は、計測手段によって計測された繰り返し動作の回数を表示する。このように、自動的に繰り返し動作の回数が計測されるので、作業者の操作負担を低減できる。また、作業者の操作に頼らずに繰り返し動作の回数を計測できる。したがって、正確な繰り返し動作の回数を計測できる。さらに、ヘッドマウントディスプレイに繰り返し動作の回数が表示されるので、その装着者は、容易且つ迅速に繰り返し動作の回数を確認することができる。
【００１１】
ここで、繰り返し動作は、その動作の基準開始点、軌跡、基準終了点が一定であると考えられる。そこで、認識手段は、請求項２のように、基準開始点、基準終了点及び繰り返し動作の軌跡によって、繰り返し動作を認識するのが好ましい。これにより、確実に繰り返し動作を認識できる。そして、繰り返し動作がなされる空間にて実際になされた対象動作が繰り返し動作に該当するか否かは、基準開始点、基準終了点及び繰り返し動作の軌跡に基づいて判断するのが好ましい。そこで、請求項３では、判断手段は、基準点の位置が基準開始点の近傍にあると判断され、繰り返し動作の軌跡であると判断され、かつ前記基準点の位置が前記基準終了点の近傍にあると判断された場合に限り、対象動作が繰り返し動作であると判断している。これにより、対象動作が繰り返し動作であるか否かを正確に判断することができる。
【００１２】
また、繰り返し動作がなされる予定回数が予め定められている場合がある。この場合、請求項４のヘッドマウントディスプレイのように、計測手段によって計測された繰り返し動作の回数が予定回数になった場合には、作業が完了した旨を表示してもよい。これにより、装着者は作業が完了したことを容易且つ迅速に把握することができる。その結果、実施すべき作業が他にある場合には、迅速にその作業に取りかかることができる。
【図面の簡単な説明】
【００１３】
【図１】ヘッドマウントディスプレイ１００が適用される場面を説明するための図である。
【図２】制御部１１０の構成を示したブロック図である。
【図３】動作回数表示処理のメインルーチンを示したフローチャートである。
【図４】キャリブレーション処理のサブルーチンのフローチャートである。
【図５】キャリブレーション処理において撮像された撮像画像の一覧を表示したときの図である。
【図６】動作検出処理の詳細を示したサブルーチンのフローチャートである。
【図７】印検出処理の詳細を示したフローチャートである。
【図８】Ｓ７１にて読み出される最新の撮像画像７０１を示した図である。
【図９】Ｓ７１にて読み出される最新の撮像画像７０１の一つ前の撮像画像７０２を示した図である。
【図１０】動作時軌跡θｍを示した図である。
【図１１】式１〜式４を説明するための図である。
【図１２】作業が完了した旨が表示されている状態を示した図である。
【図１３】ＲＡＭ１１４の記憶領域を示した概念図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施の形態を図面を参照して説明する。本実施の形態では、図１に示すように、ベルトコンベア８００に複数の作業対象物５０１が載せられている。そのうちの一つが、ヘッドマウントディスプレイ１００を装着した装着者３０の前に置かれている。各作業対象物５０１には、図１で示す横方向及び縦方向にねじ穴５０２が複数空けられており、装着者３０がそれらねじ穴５０２にねじ５０３をドライバー５０４で締結する動作を繰り返し動作として実行する。その繰り返し動作は、各ねじ穴５０２の上方からドライバー５０４を各ねじ穴５０２に向かって下ろす動作である。なお、ドライバー５０４は、電動でねじ締めを行うタイプのものである。したがって、装着者３０はねじ締めを行うためにドライバー５０４を回す必要がなく、上述したように、各ねじ穴５０２の上方からドライバー５０４を各ねじ穴５０２に向かって下ろす動作を行えばよい。この際、ヘッドマウントディスプレイ１００は、その繰り返し動作がなされた回数を表示する。なお、装着者３０は繰り返し動作を図１に示す空間５０５にて実行する。また、図１に示すように、ドライバー５０４には基準点が定められており、ドライバー５０４を撮像したときにその撮像画像から基準点の位置が識別できるように、基準点には所定の印５０６が付されている。一方、図１に示すように作業対象物５０１にも所定の印５０７が付されている。この印５０７は、空間５０５における原点を示したものであり、ドライバー５０４に付された印５０６の座標を算出することによって、繰り返し動作がなされたか否かを判断している。なお、印５０６、５０７は作業者側にも設けられている。以下、詳細を説明する。
【００１５】
先ずヘッドマウントディスプレイ１００の外観構成について図１を参照して説明する。図１に示すように、ヘッドマウントディスプレイ１００は、眼鏡型のフレーム部１０１、制御部１１０及び光走査部１３０を備えている。眼鏡型のフレーム部１０１は、装着者３０の目元に装着される眼鏡型形状をしており、レンズに相当する部分の前に、一方からの光を透過し他方からの光を反射するハーフミラーが設けられている。制御部１１０は、装着者３０の腰の辺りに設けられ各種演算処理を実行する。また光走査部１３０は、眼鏡型のフレーム部１０１に固定され、制御部１１０から供給される画像信号に基づいて生成した画像光を２次元的に走査することにより画像を表示することによって、画像信号に応じた画像をハーフミラーを介して装着者３０に視認させる。すなわち、ヘッドマウントディスプレイ１００は実物に重畳して画像を表示する。
【００１６】
また本実施形態のヘッドマウントディスプレイ１００は、その眼鏡型のフレーム部１０１と固定させて装着者３０の頭部の動きに連動させることによって、装着者３０の視野に対応した範囲を撮像する撮像手段としてのＣＣＤセンサ２を備えている。このＣＣＤセンサ２は、繰り返し動作がなされる空間５０５を逐次撮像するとともに、繰り返し動作を制御部１１０に認識させるために、その繰り返し動作を時分割して撮像するものである。したがって、その撮像範囲は、空間５０５を撮像でき、同時に作業対象物５０１も撮像できる範囲に設定されている。したがって、ＣＣＤセンサ２によって空間５０５が撮像された場合には、その撮像画像は、印５０７が付された作業対象物５０１を含んだ画像となる。
【００１７】
図２に示すように、制御部１１０はＣＰＵ１１１、プログラムＲＯＭ１１２、フラッシュＲＯＭ１１３、ＲＡＭ１１４、光走査部インターフェース１１５、ＶＲＡＭ１１６、外部機器インターフェース１１８、周辺機器インターフェース１１９、電源スイッチ１２０、電源ランプ１２１及び操作スイッチ群１２２を備えている。ＣＰＵ１１１は、プログラムＲＯＭ１１２に記憶されているプログラムに従って各種演算処理を実行する。具体的には、装着者３０が繰り返し動作をする際に、その繰り返し動作の回数を表示する動作回数表示処理を実行する。詳細はフローチャートを参照して後述する。
【００１８】
フラッシュＲＯＭ１１３はいわゆるフラッシュメモリであり、各種情報を記憶するために用いられる。またＲＡＭ１１４は各種情報を一時的に記憶するものである。図１３に示すように、ＲＡＭ１１４には動作回数記憶領域１１４１、予定動作回数記憶領域１１４２、印検出フラグ記憶領域１１４３、動作検出フラグ記憶領域１１４４が設けられている。動作回数記憶領域１１４１には、動作回数表示処理の実行時において用いられる変数であって、繰り返し動作が実行された回数を示した変数Ｃｏｕｎｔが記憶される領域である。また予定動作回数記憶領域１１４２には、繰り返し動作がなされる予定回数Ｃｅｎｄが記憶される領域である。また印検出フラグ記憶記憶領域１１４３には、動作回数表示処理において、ドライバー５０４に付された印５０６が検出されたか否かを示す印検出フラグＭａｒｋＲｅｓが記憶される領域である。また動作検出フラグ記憶領域１１４４には、動作回数表示処理において、繰り返し動作が検出されたか否かを示す動作検出フラグＤｏＲｅｓが記憶される領域である。
【００１９】
光走査部インターフェース１１５は光走査部１３０と接続するためのインターフェースである。ＶＲＡＭ１１６は光走査部１３０に送信する画像を一時的に記憶するものである。外部機器インターフェース１１８は各種外部機器と接続するためのインターフェースである。周辺機器インターフェース１１９は各種周辺機器と接続するためのインターフェースである。本実施形態では周辺機器インターフェース１１９に電源スイッチ１２０、電源ランプ１２１、操作スイッチ群１２２が接続されている。さらに、周辺機器インターフェース１１９には、ベルトコンベア８００を駆動する駆動部（図示略）と接続されている。電源スイッチ１２０はＣＰＵ１１１等に駆動電力を供給する電源のオンオフを切り替えるためのスイッチである。また電源ランプ１２１は電源スイッチ１２０がオンされたときに点灯し、オフのときには消灯するランプである。装着者３０は、この電源ランプ１２１によって、電源がオンされているか否かが把握できる。
【００２０】
また操作スイッチ群１２２は、装着者３０が各種操作指示をするスイッチである。操作スイッチ群１２２には、動作回数表示処理を開始するための開始スイッチ、動作回数表示処理を終了するための終了スイッチが含まれている。またＣＰＵ１１１は、初期段階では繰り返し動作を認識していないので、装着者３０が繰り返し動作を実行する際には、ＣＰＵ１１１にその繰り返し動作を認識させる必要がある。そこで、ＣＰＵ１１１に繰り返し動作を認識させるためのキャリブレーション処理の実行を指示するキャリブレーションスイッチが操作スイッチ群１２２に含まれている。さらに、キャリブレーション処理の実行時に、装着者３０によって繰り返し動作をさせて、ＣＰＵ１１１に繰り返し動作の認識を開始させる認識開始スイッチ及び認識を終了させる認識終了スイッチが操作スイッチ群１２２に含まれている。また、全ての作業対象物５０１に対して作業が完了した場合に操作される作業完了スイッチが操作スイッチ群１２２に含まれている。
【００２１】
続いて、ＣＰＵ１１１が実行する動作回数表示処理について、図面を参照して説明する。図３は動作回数表示処理のメインルーチンを示したフローチャートである。なお、装着者３０の前には作業対象物５０１が置かれている。その作業対象物５０１は、ＣＣＤセンサ２で作業対象物５０１に付された印５０７が撮像できる向き、すなわち、装着者３０と印５０７が対向するように置かれている。このメインルーチンは、装着者３０によって操作スイッチ群１２２に含まれている開始スイッチが操作されたときに開始される。以下「表示」と言ったときには、光走査部１３０にて装着者３０の網膜に画像を投影して、装着者３０にその画像を視認させることをいう。また装着者３０が、ドライバー５０４を手に持って繰り返し動作をする際には、ドライバー５０４に付された印５０６がＣＣＤセンサ２で撮像できるように、装着者３０はドライバー５０４を手にしているとする。
【００２２】
動作回数表示処理が開始すると、先ず、ＲＡＭ１１４の動作回数記憶領域１１４１に記憶されている変数Ｃｏｕｎｔがゼロにされる（Ｓ１１）。その変数Ｃｏｕｎｔの値を示す画像を生成してＶＲＡＭ１１６に記憶する（Ｓ１２）。次いで、変数Ｃｏｕｎｔの値を示した画像を光走査部１３０により装着者３０の目の網膜に表示する（Ｓ１３）。すなわち、この段階では繰り返し動作がなされた回数が「０」と表示されることになる。次いで、装着者３０によって、操作スイッチ群１２２に含まれているキャリブレーションスイッチが操作されたか否かに基づいて、繰り返し動作を認識するためのキャリブレーション処理を実行するか否かを判断する（Ｓ１４）。動作回数表示処理においては、ＣＰＵ１１１は未だ繰り返し動作を認識していないので、装着者３０はキャリブレーションスイッチを操作すると考えられる。操作された場合には（Ｓ１４：ＹＥＳ）、キャリブレーション処理を実行する（Ｓ１５）。以下、図４を参照して、キャリブレーション処理の詳細について説明する。
【００２３】
キャリブレーション処理では、先ず装着者３０によって、操作スイッチ群１２２に含まれている認識開始スイッチが操作されたか否かを判断する（Ｓ３１）。認識開始スイッチが操作されるまでは、待機状態となる（Ｓ３１：ＮＯ）。そして認識開始スイッチが操作された場合には（Ｓ３１：ＹＥＳ）、装着者３０によって空間５０５にて繰り返し動作がなされると予想できる。そこでＣＣＤセンサ２にて所定時間経過する前（Ｓ３３：ＮＯ）、若しくは認識終了スイッチが操作される前（Ｓ３４：ＮＯ）は、空間５０５を逐次撮像していき、一連の撮像画像（第１撮像画像）をＶＲＡＭ１１６に記憶する（Ｓ３２）。この際、装着者３０によって繰り返し動作が実行された場合には、その繰り返し動作が時分割で、すなわち動画として撮像されることになる（Ｓ３２）。一方、装着者３０は認識開始スイッチを操作したにもかかわらず（Ｓ３１：ＹＥＳ）、なんらかの理由で繰り返し動作を実行せずに、所定時間が経過する場合もある（Ｓ３３：ＹＥＳ）。なお、この所定時間は、装着者３０が繰り返し動作を実行するのに必要十分な時間として定められている。そして所定時間が経過した場合には（Ｓ３３：ＹＥＳ）、認識開始スイッチの操作を待機する状態に戻る（Ｓ３１）。これにより、装着者３０は、再び認識開始スイッチの操作をする機会が与えられることになる。
【００２４】
一方、所定時間が経過する前に（Ｓ３３：ＮＯ）、認識終了スイッチが操作された場合には（Ｓ３４：ＹＥＳ）、装着者３０は繰り返し動作を実行したと考えられる。すなわち、ＶＲＡＭ１１６に記憶されている一連の撮像画像は、繰り返し動作を示したものであると考えられる。そこで、それら一連の撮像画像を図５に示すように一覧で表示する（Ｓ３５）。そして一覧で表示されている撮像画像の中から、繰り返し動作の開始を示した開始画像５１及び終了を示した終了画像５２を、装着者３０が選択するように指示する旨を表示する（Ｓ３６）。この際、装着者３０が、操作スイッチ群１２２に含まれている選択ボタンを操作して、開始画像５１及び終了画像５２を選択できるようにする（Ｓ３６）。装着者３０によって開始画像５１及び終了画像５２が選択されているまでは待機状態となる（Ｓ３６：ＮＯ）。
【００２５】
一方、装着者３０によって開始画像５１及び終了画像５２が選択された場合には（Ｓ３６：ＹＥＳ）、開始画像５１の中から、作業対象物５０１に付されている印５０７とドライバーに付されている印５０６を抽出する（Ｓ３７）。そして印５０７を原点とし、開始画像５１の横方向をＸ軸、縦方向をＹ軸としたときの印５０６の座標（Ｘｓ、Ｙｓ）を基準開始点として算出する（Ｓ３７）。同様にして、終了画像５２の中から、作業対象物５０１に付されている印５０７とドライバーに付されている印５０６を抽出する（Ｓ３８）。そして印５０７を原点とし、終了画像５２の横方向をＸ軸、縦方向をＹ軸としたときの印５０６の座標（Ｘｅ、Ｙｅ）を基準終了点として算出する（Ｓ３８）。次いで、基準開始点（Ｘｓ、Ｙｓ）と基準終了点（Ｘｅ、Ｙｅ）とから繰り返し動作の基準軌跡θを算出する（Ｓ３９）。そして、基準開始点（Ｘｓ、Ｙｓ）、基準終了点（Ｘｅ、Ｙｅ）及び基準軌跡θを示すデータＶＲＡＭ１１６に記憶して（Ｓ４０）、キャリブレーション処理を終了する。装着者３０は、キャリブレーション処理を実行させた後、作業対象物５０１の各ねじ穴５０２にねじ５０３をドライバー５０４で締結する動作をすることになる。
【００２６】
説明を図３のフローチャートに示す処理に戻り、Ｓ１５のキャリブレーション処理において繰り返し動作を認識した後、装着者３０によってなされる動作を検出する動作検出処理を実行する（Ｓ１６）。以下、図６のフローチャートを参照して、動作検出処理の詳細を説明する。
【００２７】
先ず、ＣＣＤセンサ２でその撮像範囲を逐次撮像して、それら撮像画像（第２撮像画像）をＶＲＡＭ１１６に記憶していく（Ｓ５１）。このときの撮像する時間間隔は、繰り返し動作の開始位置、軌跡、及び終了位置が検出できるような十分短い間隔（例えば０．５ｓｅｃ）に設定されている。次いで、ドライバー５０４に付されている印５０６の座標及び軌跡を検出する印検出処理を実行する（Ｓ５２）。図７は印検出処理の詳細を示したサブルーチンのフローチャートである。以下、図７を参照して、印座標検出処理の詳細について説明する。
【００２８】
先ず、図６のＳ５１にてＶＲＡＭ１１６に記憶されている撮像画像の中から、最新の撮像画像とその一つ前の撮像画像とを読み出す（Ｓ７１）。図８は最新の撮像画像７０１を示した図であり、図９はその一つ前の撮像画像７０２を示した図である。図８、図９に示すように、撮像画像７０１、７０２にはそれぞれ印５０６、５０７が含まれていることがわかる。次いで、最新の撮像画像７０１から印５０６、５０７を抽出して、印５０７を原点とし、撮像画像７０１の横方向をＸ軸、縦方向をＹ軸としたときの印５０６の座標（Ｘｍ、Ｙｍ）を現在基準点として算出を試みる（Ｓ７２）。なお、装着者３０が作業対象物５０１を見ないでよそ見をしている場合等、撮像画像７０１に印５０６及び／又は印５０７が含まれていない場合がある。このような場合には、撮像画像７０１から印５０６の現在基準点（Ｘｍ、Ｙｍ）が算出できない。そこで、このような場合もあり得ることを想定し、撮像画像７０１から印５０６の現在基準点（Ｘｍ、Ｙｍ）が算出できたか否かを判定する（Ｓ７３）。算出できなかった場合には（Ｓ７３：ＮＯ）、ＲＡＭ１１４の印検出フラグ記憶領域１１４３に記憶されている印検出フラグＭａｒｋＲｅｓを「Ｆａｌｓｅ（失敗）」にして（Ｓ７８）、図７のフローチャートの処理を終了する。
【００２９】
一方、撮像画像７０１から印５０６の現在基準点（Ｘｍ、Ｙｍ）が算出できた場合には（Ｓ７３：ＹＥＳ）、一つ前の撮像画像７０２から印５０６、５０７を抽出して、印５０７を原点とし、撮像画像７０２の横方向をＸ軸、縦方向をＹ軸としたときの印５０６の座標（Ｘｂ、Ｙｂ）を過去基準点として算出を行う（Ｓ７４）。この場合も、装着者３０が作業対象物５０１を見ないでよそ見をしている場合等、撮像画像７０２に印５０６及び／又は印５０７が含まれていないことにより、撮像画像７０２から印５０６の過去基準点（Ｘｂ、Ｙｂ）が算出できないことがある。そこで、撮像画像７０２から印５０６の過去基準点（Ｘｂ、Ｙｂ）が算出できたか否かを判定する（Ｓ７５）。算出できなかった場合には（Ｓ７５：ＮＯ）、ＲＡＭ１１４の印検出フラグ記憶領域１１４３に記憶されている印検出フラグＭａｒｋＲｅｓを「Ｆａｌｓｅ（失敗）」にして（Ｓ７８）、図７のフローチャートの処理を終了する。すなわち、最新の撮像画像７０１と一つ前の撮像画像７０２の少なくとも一方から印５０６の現在基準点（Ｘｍ、Ｙｍ）、過去基準点（Ｘｂ、Ｙｂ）が算出できなかった場合には（Ｓ７３：ＮＯ、Ｓ７５：ＮＯ）、ＲＡＭ１１４の印検出フラグ記憶領域１１４３に記憶されている印検出フラグＭａｒｋＲｅｓが「Ｆａｌｓｅ（失敗）」になる（Ｓ７８）。この場合、装着者３０は繰り返し動作を行っていない可能性がある。
【００３０】
一方Ｓ７５において、撮像画像７０２から印５０６の過去基準点（Ｘｂ、Ｙｂ）が算出できた場合には（Ｓ７５：ＹＥＳ）、図１０に示すように、現在基準点（Ｘｍ、Ｙｍ）と過去基準点（Ｘｂ、Ｙｂ）とから、撮像画像７０１、７０２にて示される動作の動作時軌跡θｍを算出する（Ｓ７６）。次いで、現在基準点（Ｘｍ、Ｙｍ）及び動作時軌跡θｍをＶＲＡＭ１１６に記憶する（Ｓ７７）。そしてＲＡＭ１１４の印検出フラグ記憶領域１１４３に記憶されている印検出フラグＭａｒｋＲｅｓを「Ｔｒｕｅ（成功）」にして（Ｓ７９）、図７のフローチャートの処理を終了する。
【００３１】
説明を図６の動作検出処理に戻り、Ｓ５２の印座標検出処理の実行後、ＲＡＭ１１４の印検出フラグ記憶領域１１４３に記憶されている印検出フラグＭａｒｋＲｅｓが「Ｔｒｕｅ」か否かを判断する（Ｓ５３）。印検出フラグＭａｒｋＲｅｓが「Ｆａｌｓｅ」の場合には（Ｓ５３：ＮＯ）、ＲＡＭ１１４の動作検出フラグ記憶領域１１４４に記憶されている動作検出フラグＤｏＲｅｓを「Ｆａｌｓｅ（失敗）」にして（Ｓ５９）、動作検出処理を終了する。この場合、繰り返し動作が検出できなかったことになる。一方、印検出フラグＭａｒｋＲｅｓが「Ｔｒｕｅ」の場合には（Ｓ５３：ＹＥＳ）、ＶＲＡＭ１１６に記憶されている基準開始点（Ｘｓ、Ｙｓ）と現在基準点（Ｘｍ、Ｙｍ）とを読み出して、現在基準点（Ｘｍ、Ｙｍ）が基準開始点（Ｘｓ、Ｙｓ）の近傍にあるか否かを判断する（Ｓ５４）。具体的には、以下の２つの式を満たすかを判断する（Ｓ５４）。
｜Ｘｓ−Ｘｍ｜＜ΔＸ１  ・・・（式１）
｜Ｙｓ−Ｙｍ｜＜ΔＹ１  ・・・（式２）
【００３２】
ここで、式１、式２について図１１を参照して説明する。式１は、基準開始点と現在基準点のＸ座標の差分の絶対値が、図１１に示すように、作業対象物５０１のねじ穴５０２左右端のねじ穴５０２間の長さと近似した値であるＸ方向許容値ΔＸ１より小さいことを示している。このようにしているのは、繰り返し動作がなされるときのドライバー５０４は、少なくとも左右端のねじ穴５０２間を移動し得る一方で、その間と大きく外れる領域には移動し得ないためである。一方、繰り返し動作は、各ねじ穴５０２の上方からドライバー５０４を各ねじ穴５０２に向かって下ろす動作であるので、繰り返し動作がなされるときには、装着者３０はドライバー５０４をある程度の高さに保持する必要がある。そしてこの高さの範囲を経験的に定めることができる。このようなことを鑑みて、式２は、基準開始点と現在基準点のＹ座標の差分の絶対値が、図１１に示すように、微少誤差であるＹ方向許容値ΔＹ１より小さいことを示している。以上のことを換言すれば、現在基準点（Ｘｍ、Ｙｍ）が、Ｘ方向許容値ΔＸ１とＹ方向許容値ΔＹ１とで定まる枠８０１の中にある場合に、式１、式２を満たしていることになる。
【００３３】
Ｓ５４において、現在基準点（Ｘｍ、Ｙｍ）が基準開始点（Ｘｓ、Ｙｓ）の近傍にない場合には（Ｓ５４：ＮＯ）、ＲＡＭ１１４の動作検出フラグ記憶領域１１４４に記憶されている動作検出フラグＤｏＲｅｓを「Ｆａｌｓｅ（失敗）」にして（Ｓ５９）、動作検出処理を終了する。この場合、検出した動作が繰り返し動作ではないことになる。
【００３４】
一方、現在基準点（Ｘｍ、Ｙｍ）が基準開始点（Ｘｓ、Ｙｓ）の近傍にある場合には（Ｓ５４：ＹＥＳ）、装着者３０は繰り返し動作が開始されたものと推測できるが、繰り返し動作をしないにもかかわらず偶然に、Ｓ５４において現在基準点（Ｘｍ、Ｙｍ）が基準開始点（Ｘｓ、Ｙｓ）の近傍にあると判断される場合もあり得る。そこで再度、上述した図７に示す印検出処理を実行して現在基準点（Ｘｍ、Ｙｍ）及び動作時軌跡θｍを算出する（Ｓ５５）。そして、その動作時軌跡θｍが基準軌跡θであるか否かを判断する（Ｓ５６）。具体的には、以下の式を満たすかを判断する（Ｓ５６）。なお、下記式中のΔθは微少角度である。
｜θ−θｍ｜＜Δθ  ・・・（式３）
【００３５】
すなわち、動作時軌跡θｍが基準軌跡θと厳密に一致することまでは要求せずに、ある程度の許容範囲を認めている。動作時軌跡θｍが式３を満たさない場合、すなわち動作時軌跡θｍが基準軌跡θでない場合には（Ｓ５６：ＮＯ）、ＲＡＭ１１４の動作検出フラグ記憶領域１１４４に記憶されている動作検出フラグＤｏＲｅｓを「Ｆａｌｓｅ（失敗）」にして（Ｓ５９）、動作検出処理を終了する。この場合、検出した動作が繰り返し動作ではないことになる。
【００３６】
一方、動作時軌跡θｍが式３を満たす場合、すなわち動作時軌跡θｍが基準軌跡θである場合には（Ｓ５６：ＹＥＳ）、現在基準点（Ｘｍ、Ｙｍ）が基準終了点（Ｘｅ、Ｙｅ）の近傍にあるか否かを判断する（Ｓ５７）。具体的には、以下の２つの式を満たすかを判断する（Ｓ５７）。
｜Ｘｅ−Ｘｍ｜＜ΔＸ２  ・・・（式４）
｜Ｙｅ−Ｙｍ｜＜ΔＹ２  ・・・（式５）
【００３７】
ここで、式４、式５について図１１を参照して説明する。式４は、基準終了点と現在基準点のＸ座標の差分の絶対値が、図１１に示すように、作業対象物５０１のねじ穴５０２左右端のねじ穴５０２間の長さと近似した値であるＸ方向許容値ΔＸ２より小さいことを示している。このようにしているのは、繰り返し動作がなされるときのドライバー５０４は、少なくとも左右端のねじ穴５０２間を移動し得る一方で、その間と大きく外れる領域には移動し得ないためである。そのため式４におけるΔＸ２と式１におけるΔＸ１とは同じである。一方、繰り返し動作は、各ねじ穴５０２の上方からドライバー５０４を各ねじ穴５０２に向かって下ろす動作であるので、繰り返し動作の終了時には、ドライバー５０４の先端がねじ穴５０２付近にある。それにともない、印５０６は一定の高さ付近に位置することになる。そこで式２は、基準開始点と現在基準点のＹ座標の差分の絶対値が、図１０に示すように、微少誤差であるＹ方向許容値ΔＹ２より小さいことを示している。以上のことを換言すれば、現在基準点（Ｘｍ、Ｙｍ）が、Ｘ方向許容値ΔＸ２とＹ方向許容値ΔＹ２とで定まる枠８０２の中にある場合に、式４、式５を満たしていることになる。
【００３８】
Ｓ５７において、式４、式５を満たすことにより、現在基準点（Ｘｍ、Ｙｍ）が基準終了点（Ｘｅ、Ｙｅ）の近傍にある場合には（Ｓ５７：ＹＥＳ）、動作検出フラグＤｏＲｅｓを「Ｔｒｕｅ（成功）」にして（Ｓ５８）、動作検出処理を終了する。この場合、繰り返し動作を検出できたことになる。
【００３９】
一方、（１）繰り返し動作がなされているが、その動作の途中段階、すなわちドライバー５０４の先端がねじ穴５０２付近に未だ到達していない場合がある。（２）または繰り返し動作がなされたが、なんらかの理由で、その繰り返し動作が途中で中断された場合もあり得る。（３）さらには、装着者３０は繰り返し動作をするつもりはなかったが、偶然に、現在基準点（Ｘｍ、Ｙｍ）が基準開始点（Ｘｓ、Ｙｓ）の近傍にあると判断され（Ｓ５４：ＹＥＳ）且つ動作時軌跡θｍが基準軌跡θであると判断された場合もあり得る（Ｓ５６：ＹＥＳ）。これら（１）〜（３）の場合には、先のＳ５５において算出した現在基準点（Ｘｍ、Ｙｍ）は、式４、式５を満たさないことになる（Ｓ５７：ＮＯ）。そこでＳ５５に戻って、再度、上述した図７に示す印検出処理を実行して現在基準点（Ｘｍ、Ｙｍ）及び動作時軌跡θｍを算出する（Ｓ５５）。この際、上記（２）、（３）の場合には、最終的にＳ５６の処理が否定判断されて、動作検出フラグＤｏＲｅｓが「Ｆａｌｓｅ」となって（Ｓ５９）、動作検出処理が終了される。一方、上記（１）の場合には、最終的に現在基準点（Ｘｍ、Ｙｍ）が基準終了点（Ｘｅ、Ｙｅ）の近傍にあると判断されて（Ｓ５７：ＹＥＳ）、動作検出フラグＤｏＲｅｓが「Ｔｒｕｅ」となって（Ｓ５８）、動作検出処理が終了される。
【００４０】
説明を図３のフローチャートの処理に戻り、Ｓ１６の動作検出処理が実行された後、ＲＡＭ１１４の動作検出フラグ記憶領域１１４４に記憶されている動作検出フラグＤｏＲｅｓが「Ｔｒｕｅ」か否かを判断する（Ｓ１７）。動作検出フラグＤｏＲｅｓが「Ｆａｌｓｅ」である場合には（Ｓ１７：ＮＯ）、繰り返し動作を検出できなかったとして、再度、動作検出処理を実行する（Ｓ１６）。一方、動作検出フラグＤｏＲｅｓが「Ｔｒｕｅ」である場合には（Ｓ１７：ＹＥＳ）、ＲＡＭ１１４の動作回数記憶領域１１４１に記憶されている変数Ｃｏｕｎｔを１増加させて（Ｓ１８）、その変数Ｃｏｕｎｔを示す画像を生成してＶＲＡＭ１１６に記憶する（Ｓ１９）。そして、その変数Ｃｏｕｎｔを示した画像を表示する（Ｓ２０）。すなわち、繰り返し動作がなされた回数が表示されることになる（Ｓ２０）。したがって、装着者３０は、容易且つ迅速に繰り返し動作の回数を確認することができる。また繰り返し動作の回数は、ヘッドマウントディスプレイ１００に表示されるので、他の表示装置で表示されるときよりも、装着者３０は作業に集中することができる。
【００４１】
次いで、ＲＡＭ１１４の動作回数記憶領域１１４１に記憶されている変数Ｃｏｕｎｔが、ＲＡＭ１１４の予定動作回数記憶領域１１４２に記憶されている繰り返し動作がなされる予定回数Ｃｅｎｄになったか否かを判断する（Ｓ２１）。未だ予定回数Ｃｅｎｄになっていない場合には（Ｓ２１：ＮＯ）、Ｓ１６の処理に戻り、引き続き繰り返し動作の検出、表示する処理を実行する（Ｓ１５〜Ｓ２０）。そして、変数Ｃｏｕｎｔが、繰り返し動作がなされる予定回数Ｃｅｎｄになった場合には（Ｓ２１：ＹＥＳ）、図１２に示すように、作業が完了した旨を表示する（Ｓ２２）。これによって、装着者３０は現在の作業対象物５０１に対する作業が完了したことを容易且つ迅速に把握できる。
【００４２】
次いで、装着者３０によって、操作スイッチ群１２２に含まれている作業完了スイッチが操作されたか否かに基づいて、未だ作業が行われていない作業対象物５０１がないか否かを判断する（Ｓ２３）。作業完了スイッチが操作されていない場合、すなわち未だ作業が行われていない作業対象物５０１がある場合には（Ｓ２３：ＹＥＳ）、周辺機器インターフェース１１９に接続されているベルトコンベア８００の駆動部（図示略）に、次に作業される作業対象物５０１が装着者３０の前にくるように、ベルトコンベア８００を駆動するように指示する（Ｓ２４）。そして、Ｓ１１の処理に戻って、その作業対象物５０１に対して、上述した処理を実行する（Ｓ１１〜Ｓ２３）。一方、作業完了スイッチが操作されて、全ての作業対象物５０１に対して作業が完了した場合には（Ｓ２３：ＮＯ）、図３のフローチャートの処理を終了する。
【００４３】
以上説明したように、本実施形態では、ヘッドマウントディスプレイ１００に繰り返し動作の回数が表示されるので、その装着者３０は、容易且つ迅速に繰り返し動作の回数を確認することができる。
【００４４】
また、ヘッドマウントディスプレイ１００に繰り返し動作を検出させるために、予めヘッドマウントディスプレイ１００に繰り返し動作を認識させている。具体的には、繰り返し動作の基準開始点、基準軌跡、基準終了点が一定であると考えられるため、予め装着者３０に繰り返し動作を実行させて、基準開始点（Ｘｓ、Ｙｓ）、基準終了点（Ｘｅ、Ｙｅ）、基準軌跡θを検出、算出することによって、繰り返し動作を認識させている。したがって、その認識は正確であると考えられる。そして、現在基準点（Ｘｍ、Ｙｍ）が基準開始点（Ｘｓ、Ｙｓ）の近傍にあると判断され、動作時軌跡θｍが基準軌跡θであると判断され、その後、現在基準点（Ｘｍ、Ｙｍ）が基準終了点（Ｘｅ、Ｙｅ）の近傍にあると判断された場合に限り、検出した動作が繰り返し動作であると判断している。これにより、検出した動作が繰り返し動作であるか否かを正確に判断することができる。
【００４５】
また、繰り返し動作の回数が予定回数Ｃｅｎｄになった場合には、作業が完了した旨を表示しているため、装着者３０は作業が完了したことを容易且つ迅速に把握することができる。
【符号の説明】
【００４６】
２  ＣＣＤセンサ（撮像手段）
３０  装着者
１００  ヘッドマウントディスプレイ
１１０  制御部
１１１  ＣＰＵ
１１４  ＲＡＭ
１１６  ＶＲＡＭ
１２２  操作スイッチ群
１３０  光走査部
Ｓ３２  （第１撮像制御手段）
Ｓ３５〜Ｓ４０  （認識手段）
Ｓ５１  （第２撮像制御手段）
Ｓ５２〜Ｓ５９  （判断手段）
Ｓ１１、Ｓ１８  （計測手段）
Ｓ１３、Ｓ２０、Ｓ２２  （表示制御手段）
Ｓ３６  （開始画像選択手段、終了画像選択手段）
Ｓ３７  （基準開始点検出手段）
Ｓ３８  （基準終了点検出手段）
Ｓ３９  （軌跡算出手段）
Ｓ７２、Ｓ７３  （基準点検出手段）
Ｓ５４  （開始点判断手段）
Ｓ５６  （軌跡判断手段）
Ｓ５７  （終了点判断手段）
【図１】
2010198555.tif 000003
【図２】
2010198555.tif 000004
【図３】
2010198555.tif 000005
【図４】
2010198555.tif 000006
【図５】
2010198555.tif 000007
【図６】
2010198555.tif 000008
【図７】
2010198555.tif 000009
【図８】
2010198555.tif 000010
【図９】
2010198555.tif 000011
【図１０】
2010198555.tif 000012
【図１１】
2010198555.tif 000013
【図１２】
2010198555.tif 000014
【図１３】
2010198555.tif 000015