(57)【要約】  【課題】  自立的にかつ効率的に作業訓練を行えるシステムを提供する。  【解決手段】  表示および音声によって、行なうべき作業の指導を受けた作業者は、仮想作業領域および作業者のモデルが立体表示される大型スクリーン２ａの前で、人工現実感を利用した模擬的な作業訓練を受けて作業を習得し、同時に作業の正誤および習熟度が評価された作業者に対して音声または表示によってフィードバックされる。【選択図】        図２
2005134536.tif 000002
【特許請求の範囲】
【請求項１】
作業者に対する作業訓練を支援する作業訓練支援システムであって、
仮想作業領域を表示してその仮想作業領域における作業内容を指導する作業指導手段と、
仮想作業領域を表示するとともに、作業者の動きを検出して前記仮想作業領域に表示して作業訓練を施す作業訓練手段と、
前記作業訓練手段による作業訓練の結果を評価する作業評価手段とを備え、
前記作業評価手段は、作業の正誤および作業習得の程度を評価することを特徴とする作業訓練支援システム。
【請求項２】
前記作業指導手段は、前記仮想作業領域に前記作業内容に対応する位置を表示するものであり、
前記作業訓練手段は、前記仮想作業領域、前記作業者のモデルおよび作業内容に対応する前記位置を立体視可能に表示するものであり、
前記作業評価手段は、検出される作業者の動きに基づいて、作業の正誤および作業習得の程度を評価するとともに、評価結果を前記作業者に表示および音声の少なくともいずれか一方で報知する請求項１記載の作業訓練支援システム。
【請求項３】
前記作業指導手段は、前記作業内容を音声で出力するものであり、
前記作業訓練手段は、前記作業内容に対応する作業者の音声を認識するものであり、
前記作業評価手段は、認識される前記音声に基づいて、作業の正誤を評価する請求項１または２記載の作業訓練支援システム。
【請求項４】
前記作業指導手段は、前記仮想作業領域を表示する表示部と、作業内容を音声で出力する音声出力部とを備え、
前記作業訓練手段は、前記仮想作業領域および前記作業者のモデルを立体視可能に表示する立体映像表示部と、前記作業者の動きを検出する動き検出部と、作業者の音声を入力して認識する音声認識部とを備える請求項３記載の作業訓練支援システム。
【請求項５】
前記作業評価手段は、作業内容に対応する前記位置への作業者の手の動きに基づいて、作業の正誤および作業習得の程度を評価する請求項２〜４のいずれかに記載の作業訓練支援システム。
【請求項６】
前記作業評価手段は、予め定められた標準動作時間と、検出された作業者の動作時間とに基づいて、作業習得の程度を評価する請求項５記載の作業訓練支援システム。
【請求項７】
前記作業評価手段は、作業内容に対応する前記位置への作業者の動作の迷いおよび動作の滑らかさの少なくともいずれか一方に基づいて、作業習得の程度を評価する請求項５または６記載の作業訓練支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、製造ラインなどにおける各種作業の作業訓練を支援するシステムに関し、更に詳しくは、コンピュータを用いた仮想の作業領域で作業を擬似的に体験させて訓練する作業訓練支援システムに関する。
【背景技術】
【０００２】
一般に、企業においては、時間競争および多品種小ロット生産に対応するために、組立工程の設計から量産までの準備期間を短縮することが求められている。この課題に対応するために、人工現実感を用いて組立工程の設計支援を行なうシステムが開発されている（例えば、特許文献１参照）。
【特許文献１】特開平９−１６５５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のシステムは、組立工程の設計支援が中心であり、このため、効率的な作業訓練およびその作業訓練の効果を正しく評価できるようにして作業者自身が自立的に訓練を行なえるようにしたシステムの開発が望まれる。
【０００４】
本発明は、上述のような点に鑑みて為されたものであって、作業を擬似的に体験させて効率的に作業訓練を行えるとともに、作業訓練の効果を評価できるようにし、作業者自身が、作業習得の程度を確認しながら自立的に作業訓練を行なえるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明では、上記目的を達成するために、次のように構成している。
【０００６】
すなわち、本発明は、作業者に対する作業訓練を支援する作業訓練支援システムであって、仮想作業領域を表示してその仮想作業領域における作業内容を指導する作業指導手段と、仮想作業領域を表示するとともに、作業者の動きを検出して前記仮想作業領域に表示して作業訓練を施す作業訓練手段と、前記作業訓練手段による作業訓練の結果を評価する作業評価手段とを備え、前記作業評価手段は、作業の正誤および作業習得の程度を評価するものである。
【０００７】
ここで、仮想作業領域とは、実際の作業領域ではなく、作業者に対する指導や訓練を施すために、実際の作業領域を模した仮想の作業領域をいい、この仮想作業領域は、３Ｄ−ＣＡＤで設計するのが好ましく、少なくとも作業訓練手段においては、この仮想作業領域を、立体視表示、すなわち、３次元グラフィックスによって表示するのが好ましい。
【０００８】
作業内容を指導するとは、仮想作業領域で行なうべき作業内容を指導することをいい、例えば、仮想作業領域での作業内容に対応する表示、例えば、作業内容を説明する文字やアニメーションなどの表示を行なったり、作業内容を音声で出力して指導したりすることをいう。
【０００９】
作業者の動きとは、作業者の身体の動きをいい、例えば、左右の手、背中、腰、頭、肘などの動きをいう。
【００１０】
本発明によると、訓練を受ける作業者は、作業指導手段によって表示される仮想作業領域における作業内容の指導を受け、作業訓練手段によって、作業者自身の動きが表示される仮想作業領域における擬似的な作業訓練を行なって作業を習得することができ、この作業訓練における作業の正誤および作業習得の程度（習熟度）が評価されるので、評価に基づいて、作業者自身が自立的に作業訓練を行なうことができる。
【００１１】
本発明の一実施態様においては、前記作業指導手段は、前記仮想作業領域に前記作業内容に対応する位置を表示するものであり、前記作業訓練手段は、前記仮想作業領域、前記作業者のモデルおよび作業内容に対応する前記位置を立体視可能に表示するものであり、前記作業評価手段は、検出される作業者の動きに基づいて、作業の正誤および作業習得の程度を評価するとともに、評価結果を前記作業者に表示および音声の少なくともいずれか一方で報知するものである。
【００１２】
ここで、作業内容に対応する位置とは、各種の作業、例えば、部品の組み立て、半田付け、基板の分割などの作業の内容に応じて、例えば、部品を取る位置、作業をする位置、部品を置く位置などをいう。
【００１３】
この作業内容に対応する位置の表示は、文字やマークなどで表示してもよいし、赤球や青球などの特定物によって表示してもよく、更に、作業の始点位置からの移動軌跡を併せて表示してもよい。
【００１４】
この実施態様によると、訓練を受ける作業者は、作業指導手段によって仮想作業領域における作業位置の指導を受け、作業訓練手段によって、立体的に表示される仮想作業領域における作業者のモデルを見ながら擬似的な作業を行なって作業位置などを習得することができる。
【００１５】
本発明の好ましい実施態様においては、前記作業指導手段は、前記作業内容を音声で出力するものであり、前記作業訓練手段は、前記作業内容に対応する作業者の音声を認識するものであり、前記作業評価手段は、認識される前記音声に基づいて、作業の正誤を評価するものである。
【００１６】
この実施態様によると、訓練を受ける作業者は、作業指導手段によって、表示および音声による作業内容の指導を受け、作業訓練手段によって擬似的な作業を行なう際には、音声によって指導された作業内容を作業者が発声することにより、作業評価手段では、認識された作業者の音声に基づいて、作業の正誤を判定することができる。
【００１７】
本発明の他の実施態様においては、前記作業指導手段は、前記仮想作業領域を表示する表示部と、作業内容を音声で出力する音声出力部とを備え、前記作業訓練手段は、前記仮想作業領域および前記作業者のモデルを立体視可能に表示する立体映像表示部と、前記作業者の動きを検出する動き検出部と、作業者の音声を入力して認識する音声認識部とを備えている。
【００１８】
ここで、作業者の動きを検出する動き検出部としては、例えば、モーションキャプチャなどが好ましい。
【００１９】
この実施態様によると、訓練を受ける作業者は、作業指導手段の表示部に表示される仮想作業領域などを見ながら音声出力部からの音声によって作業内容の指導を受け、作業訓練手段によって、立体映像表示部に表示される作業者の動きに対応する作業者のモデルを見ながら擬似的に作業を行なって作業内容を発声して確認しながら訓練を進めることができる。
【００２０】
本発明の更に他の実施態様においては、前記作業評価手段は、作業内容に対応する前記位置への作業者の手の動きに基づいて、作業の正誤および作業習得の程度を評価するものである。
【００２１】
この実施態様によると、作業位置への作業者の手の動きに基づいて、例えば、正しい作業位置へ手が運ばれているか否か、あるいは、スムーズに手が運ばれているか否かなどによって、作業の正誤および作業習得の程度を評価することができる。
【００２２】
本発明の一実施態様においては、前記作業評価手段は、予め定められた標準動作時間と、検出された作業者の動作時間とに基づいて、作業習得の程度を評価するものである。
【００２３】
この実施態様によると、作業内容に応じて予め定められている標準的な作業時間と作業者の動作時間とに基づいて、作業習得の程度を評価することができる。
【００２４】
本発明の他の実施態様においては、前記作業評価手段は、作業内容に対応する前記位置への作業者の動作の迷いおよび動作の滑らかさの少なくともいずれか一方に基づいて、作業習得の程度を評価するものである。
【００２５】
この実施態様によると、作業位置への作業者の動作の迷いあるいは動作の滑らかさを、例えば、手の動きのぶれ（蛇行）や動作軌跡として把握し、それに基づいて、作業習得の程度を評価することができる。
【発明の効果】
【００２６】
以上のように本発明によれば、訓練を受ける作業者は、作業指導手段によって表示される仮想作業領域における作業内容の指導を受け、作業訓練手段によって、作業者の動きが表示される仮想作業領域における擬似的な作業訓練を受けて作業を習得することができ、この作業訓練における作業の正誤および作業習得の程度が評価されるので、評価に基づいて、作業者自身が自立的に作業訓練を行なうことができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面によって本発明の実施の形態について詳細に説明する。
【００２８】
図１は、本発明の一つの実施の形態に係る作業訓練支援システムの概略構成図である。
【００２９】
この実施の形態の作業訓練支援システムは、仮想の作業領域を表示して作業者に作業内容を指導（教育）し、次に、作業者に仮想の作業領域で作業を擬似的に体験させて仮想の作業訓練を施し、その作業訓練の結果を作業習得の程度、いわゆる作業の習熟度等として評価するものであり、作業者自身の自立的な作業訓練を可能にするものである。
【００３０】
このため、この実施の形態の作業訓練支援システムは、データベース１の３Ｄデータなどに基づいて、例えば、偏光立体方式のＶＲ（Ｖirtual Ｒeality）表示装置２の大型スクリーンに、仮想の作業領域を立体視可能に表示するＶＲ制御パソコン３と、音声データベース４のデータに基づいて、音声合成してスピーカ５を介して出力するとともに、マイク６を介して入力される作業者の音声を認識する音声制御パソコン７と、データベース２４のデータに基づいて、動き検出装置８によって取り込まれた作業者の動きに対応するデータをＶＲ制御パソコン３に受け渡して仮想の作業領域の作業者の動きを表示させるモーション制御パソコン９とを備えている。動き検出装置８は、作業者の動きを、３次元の空間座標位置で検出するものであり、例えば、モーションキャプチャ（登録商標）からなる。
【００３１】
データベース１には、３Ｄ−ＣＡＤで設計した製造ラインにおける作業領域の３Ｄデータや作業内容データなどが格納されており、ＶＲ制御パソコン３は、かかるデータに基づいて、ＶＲ表示装置２の大型スクリーンに、３Ｄ空間の画像表示を行なって仮想の作業領域および作業者のモデル、この実施の形態では、作業者の手のモデルを表示する。また、このＶＲ制御パソコン３は、作業評価手段としての機能を有しており、作業者の訓練の結果を評価するものであり、後述のようにして作業の正誤および作業の習熟度（作業習得の程度）の評価を行う。
【００３２】
この実施の形態の動き検出装置８は、図２に示されるように、立体映像表示装置としてのＶＲ表示装置２の大型スクリーン２ａの前で該スクリーン２ａに立体的に表示される仮想の作業領域で作業訓練を行なう作業者１０の左右の手に取り付けられる磁気センサ１１と、磁界発生装置１２と、制御ボックス１３とを備えており、人の動きを、数値化する磁気式の装置である。
【００３３】
モーション制御パソコン９は、この動き検出装置８からのデータを、データベース２４の人の動きのデータに基づいて、３Ｄ座標値情報および角度情報に変換してＶＲ制御パソコン３に与える。
【００３４】
以下、この実施の形態のシステムによる作業訓練の支援について説明する。
【００３５】
この実施の形態のシステムでは、作業内容を作業者に指導する作業ガイダンスと、指導した作業内容を仮想の作業領域で作業者に行なわせるバーチャル作業訓練とを行なうものであり、このバーチャル作業訓練では、作業が正しく行なわれているか否かの作業の正誤および作業の習熟度（作業習得の程度）を評価して作業者にフィードバックできるようにしている。
【００３６】
先ず、システムの立ち上げ時には、作業者は、例えば、ＶＲ制御パソコン３の前に座り、システムを起動すると、ＶＲ制御パソコン３のディスプレイには、図３に示される画面が表示され、作業訓練を受ける作業者の氏名コード、氏名を入力し、作業開始ボタンをクリックする。なお、ＶＲ表示装置２の大型スクリーン２ａに同じ画面を表示してもよい。
【００３７】
作業開始ボタンのクリックによって、図４に示される作業内容設定画面となり、作業内容を設定する。この作業内容の設定では、作業訓練の対象となる製品形式の選択、対象となる製造ラインの選択およびその製造ラインの何人目の工程の作業であるかといった工程選択の設定を行なうとともに、音声ガイダンス、作業の注意項目等のラベル表示、後述する位置を示す赤球や青球の表示、赤球等のアニメーション移動の速度（再生速度）の設定などを行なう。
【００３８】
この作業内容設定画面には、作業者に作業内容を指導する作業ガイダンス、バーチャル作業訓練を行なうバーチャル作業訓練および作業選択画面に戻るボタンが表示されており、作業ガイダンスのボタンをクリックして作業ガイダンスを開始する。
【００３９】
図５は、作業ガイダンスの画面を説明するための図である。この画面では、作業机１５の上に、部品箱１６等が載置された仮想の作業領域が表示される。部品箱１６には、収納されている部品のイメージ２５が表示される。また、この仮想の作業領域には、例えば、部品を取る位置（場所）が赤球１７で表示されるとともに、部品をとって作業する位置（場所）が青球１８で表示され、破線矢符で示されるように赤球１７が青球１８に向かってアニメーション移動する。また、作業内容、作業の注意項目や確認項目が、黄色や緑のラベル１９を用いて文字で表示される。更に、作業対象の部品の写真２６が、はめ込み表示される。
【００４０】
この作業ガイダンスの画面の表示と共に、作業内容、作業の注意項目や確認項目がＶＲ制御パソコン３のスピーカから音声で出力される。
【００４１】
作業内容、注意項目および確認項目は、作業に応じて、種々のものがあり、例えば、基板を取って割る作業の場合には、作業内容としては、「基板をとって割る」、作業の注意項目としては、例えば、「基板の割り方向に気をつける」、作業確認項目としては、例えば、「割り方向は正しいか」といったものである。また、この場合に、基板を取る位置が、赤球で表示されるとともに、基板を割る位置が青球で表示されることなる。
【００４２】
図６は、作業内容を指導する作業ガイダンスにおける表示画面の展開および処理の流れを示す図であり、（ａ）〜（ｃ）は、第１工程〜第３工程に対応している。
【００４３】
この作業ガイダンスでは、作業者は、作業指導手段としての機能を有するＶＲ制御パソコン３のディスプレイに表示される画面と、ＶＲ制御パソコン３のスピーカから出力される音声とにより、作業内容、作業位置、注意項目および確認項目を、キー操作によって自分のペースで繰り返し覚えるものである。
【００４４】
この作業ガイダンスでは、ＶＲ制御パソコン３のディスプレイには、各工程毎に、上述の図５と同様に仮想の作業領域および作業内容に応じた作業の位置が上述のように赤球および青球でそれぞれ順番に表示され、作業内容、注意項目、確認項目などがラベル表示される。さらに、音声によって、作業内容、注意項目、確認項目が出力される。
【００４５】
すなわち、図６（ａ）に示されるように、仮想の作業領域が表示された状態で、ＶＲ制御パソコン３のキーボードのスタートキー２０を操作すると、例えば、部品を取る位置を示す赤球が、作業をする位置を示す青球に向かってアニメーション移動し、作業内容、注意項目、確認項目がラベル表示される一方、音声で出力され、第１工程が終了する。
【００４６】
次に、作業者が、キー２１を操作することにより、第２工程の仮想の作業領域の画面に切換えられ、作業内容に対応して赤球が青球に向かってアニメーション移動し、作業内容、注意項目、確認項目がラベル表示される一方、音声で出力され、第２工程が終了する。
【００４７】
更に、作業者が、キー２１を操作することにより、第３工程の仮想の作業領域の画面に切換えられ、作業内容に対応して赤球が青球に向かってアニメーション移動し、作業内容の説明、注意項目、確認項目がラベル表示される一方、音声で出力され、第３工程が終了する。
【００４８】
以下、同様にして一連の工程の作業ガイダンスが終了する。なお、キー２２の操作によって、前の工程に戻ることができ、リセットキー２３の操作によって、第１工程に戻ることができ、作業者は、記憶が不完全な工程に戻って繰り返すことによって、作業内容を確実に記憶することができる。
【００４９】
また、全自動の設定操作をすることにより、各工程へのキー２１による画面の切換え操作を不要とすることもできる。
【００５０】
以上のように作業ガイダンスを受けて作業内容を記憶した作業者は、仮想の作業領域において、バーチャル作業訓練を行なって作業を習得する。
【００５１】
図７は、バーチャル作業訓練の画面展開および処理の流れを示す図である。
【００５２】
このバーチャル作業訓練では、上述の図２に示されるように作業者は、動き検出装置８の磁気センサ１１を左右の手に装着するとともに、音声制御パソコン７のマイク６およびスピーカ５（ヘッドホン付マイク）並びに立体視するための偏光メガネ２７を装着してＶＲ表示装置２の大型スクリーン２ａの前に立ち、大型スクリーン２ａに立体視可能に表示される実物大の仮想の作業領域の中で、作業の擬似訓練を行うものである。
【００５３】
また、ＶＲ制御パソコン３は、音声制御パソコン７によって認識される作業者による作業内容等の音声およびモーション制御パソコン９からの作業者の手の動きに基づいて、後述のようにして作業の正誤および作業の習熟度の判定を行なう。
【００５４】
先ず、ＶＲ表示装置２の大型スクリーン２ａには、実物大の仮想の作業領域と共に、作業ガイダンスの一連の工程の全ての赤球および青球が立体表示される。
【００５５】
次に、作業者がＶＲ制御パソコン３に対してスタート操作をすると、作業者の手に対応する手のモデルが、仮想の作業領域に表示され、作業者の手の動きとリンクされる。作業者は、この立体的に表示される仮想の作業領域の第１工程に対応する赤球の位置に手を伸ばして赤球を取り、青球の位置に移動させるとともに、第１工程に対応する作業内容、注意項目および確認項目を発声しながら擬似的に作業を行う。作業者は、作業者自身の手の動きにリンクされた仮想の作業領域における手のモデルを見ながら手の動きおよび位置を習得する。
【００５６】
システム側では、作業者の音声を認識するとともに、手の動きに基づいて、第１工程の作業の正誤および作業の習熟度を評価する。
【００５７】
なお、作業における左右の手の使い分けは、作業者に対して赤球が左側にある場合には、左手を、右側にある場合には、右手を、二つの赤球に対しては左右の手を使うのが基本であるが、作業内容に応じて使う手を指定してもよい。
【００５８】
この実施の形態では、作業の正誤判定は、その作業に対応する作業内容、注意項目、確認項目が正しく発声されたか否か、および、その作業に対応する正しい位置の赤球および青球に作業者の手が触れられたか否かに基づいて判定するものである。
【００５９】
作業が正しくないときには、例えば、音声で「間違っています。」といったコメントを出力し、再度の作業を促し、作業が正しく行われたときには、第１工程の赤球および青球が消去されて次の作業を促す。
【００６０】
次に、作業者は、第２工程に対応する位置の赤球をとって青球の位置に移動させて第２工程に対応する作業を擬似的に行うとともに、作業内容、注意項目および確認項目を発声し、システム側は、第２の工程の作業の正誤判定を行い、以下同様にして各工程の作業を行う。
【００６１】
なお、作業者が、ＶＲ制御パソコン３に対してリセットキー２３の操作を行なったときには、第１工程の作業前の初期画面となり、最初から作業をやり直すことができるように構成されている。
【００６２】
このバーチャル作業訓練では、後述のようにして作業の習熟度の評価も行なわれる。
【００６３】
このバーチャル作業訓練では、人工現実感を用いて作業訓練が行なわれるので、実際の作業に近い状態での訓練となって作業の正確さが向上するとともに、訓練に要する時間が、従来に比べて短縮される。しかも、作業指導者がいなくても自立的に訓練を行なうことが可能となる。
【００６４】
次に、以上の作業ガイダンスおよびバーチャル作業訓練におけるシステムの概略動作を、フローチャートに基づいて説明する。
【００６５】
図８は、作業ガイダンスのフローチャートであり、先ず、仮想の作業領域を、ＶＲ制御パソコン３のディスプレイに表示し（ステップｎ１）、この作業領域内に、赤球・青球を表示し（ステップｎ２）、赤球が青球の位置へアニメーション移動し（ステップｎ３）、「作業内容」、「注意項目」、「確認項目」をラベル表示するとともに、ＶＲ制御パソコン３のスピーカから音声で出力してステップｎ５に移る（ステップｎ４）。
【００６６】
ステップｎ５では、最終工程の作業であるか否かを判断し、最終工程の作業でないときには、ステップｎ２に戻り、最終工程の作業であるときには、作業ガイダンスを終了する。
【００６７】
次に、図９に示されるバーチャル作業訓練では、ＶＲ表示装置２の大型スクリーン２ａに仮想の作業領域を立体視表示し（ステップｎ１１）、この仮想の作業領域に作業者の手のモデルを表示し（ステップｎ１２）、手のモデルと動き検出装置８によって検出される作業者の手とをリンクし（ステップｎ１３）、仮想の作業領域内の全工程の作業に対応する赤球・青球の全てを表示する（ステップｎ１４）。
【００６８】
次に、バーチャル作業訓練のスタートの入力が行なわれると（ステップｎ１５）、作業者の作業データを後述のようにして取得し（ステップｎ１６）、作業の正誤判定を行ない、正しい作業をしたか否かを判断し（ステップｎ１７）、正しくないときには、「間違っています」といったＮＧコメントを音声で出力してステップｎ１６に戻る（ステップｎ２７）。このステップｎ１７における正誤判定は、正しい赤球に作業者が触れたか否かに基づいて行なわれる。
【００６９】
このステップｎ１７で正しいと判断されたときには、作業の習熟度を後述のようにして判定し（ステップｎ１８）、作業者の作業データを取得し（ステップｎ１９）、作業の正誤判定を行ない（ステップｎ２０）、正しくないときには、「間違っています」といったＮＧコメントを音声で出力してステップｎ１９に戻る（ステップｎ２８）。このステップｎ２０における正誤判定は、正しい青球に作業者が触れたか否かに基づいて行なわれる。
【００７０】
このステップｎ２０で正しいと判断されたときには、作業の習熟度を後述のようにして判定し（ステップｎ２１）、作業者による作業内容、注意項目および確認項目の発声を音声認識し（ステップｎ２２）、正しい発声をしたか否かの作業の正誤判定を行ない（ステップｎ２３）、正しくないときには、「間違っています。もう一度言って下さい。」といったＮＧコメントを音声で出力してステップｎ２２に戻る（ステップｎ２９）。
【００７１】
ステップｎ２３で正しいと判断されたときには、例えば、「正解です」といったＯＫのコメントを音声で出力し（ステップｎ２４）、最終工程の作業であるか否かを判断し（ステップｎ２５）、最終工程の作業でないときには、ステップｎ１６に戻り、最終工程の作業であるときには、作業の習熟度を含めた総合判定結果をスクリーン２ａに表示して終了する（ステップｎ２６）。
【００７２】
上述のステップｎ１６およびステップｎ１９の作業データの取得は、図１０に示されるように、現在の時刻Ｔ１を取得し（ステップｎ３０）、現在の右手（モデル）の位置Ａｒ［Ｘ，Ｙ，Ｚ］を取得し（ステップｎ３１）、現在の左手（モデル）の位置Ａｌ［Ｘ，Ｙ，Ｚ］を取得し（ステップｎ３２）、現在の赤球（または青球）の位置Ｂ［Ｘ，Ｙ．Ｚ］を取得し（ステップｎ３３）、動作中の右手（モデル）の位置Ｃｒｉ［Ｘ，Ｙ，Ｚ］を取得し（ステップｎ３４）、動作中の左手（モデル）の位置Ｃｌｉ［Ｘ，Ｙ，Ｚ］を取得し（ステップｎ３５）、右手（または左手）が赤球（または青球）に触れたか否かを判断し（ステップｎ３６）、触れていないときには、ステップｎ３４に戻り、触れたときには、現在の時刻Ｔ２を取得して終了する（ステップｎ３７）。
【００７３】
以上のようにして左手または右手が赤球または青球に触れるまでの位置のデータおよびそれに要する時間のデータを取得するものである。
【００７４】
次に、上述の図９におけるステップｎ１８およびステップｎ２１における作業の習熟度（作業習得の程度）の判定処理について説明する。
【００７５】
この実施の形態では、作業時間、手の動きのぶれ（蛇行）、手の動きの２次回帰曲線の寄与率の３種類の指標を用いて評価を行なうようにしている。
【００７６】
すなわち、図１１に示されるように、作業時間（動作時間）による評価では、上述の図１０で取得された作業データから算出される作業時間（Ｔ２−Ｔ１）が、標準作業時間以下であるか否かを判断し（ステップｎ４０）、標準作業時間以下でないときには、習熟総合判定をＮＧとしてスクリーン２ａに表示する（ステップｎ４１）。
【００７７】
また、例えば、手の動きのぶれ（蛇行）による評価では、上述の図１０で取得された作業データのＡ・ＢとＣｉのそれぞれの法線ベクトルを求め（ステップｎ４２）、その中の一つを基準とし、他のベクトルとの角度を求める（ステップｎ４３）。
【００７８】
その角度の平均値が基準値以下であるか否かを判断し（ステップｎ４４）、基準値以下でないときには、手の動きに蛇行（迷い）があるとして習熟総合判定をＮＧとしてスクリーン２ａに表示する（ステップｎ４１）。
【００７９】
また、ステップｎ４５においては、角度の最大値が基準値以下であるか否かを判断し、基準値以下でないときには、手の動きに蛇行（迷い）があるとして習熟総合判定をＮＧとしてスクリーン２ａに表示する（ステップｎ４１）。
【００８０】
また、ステップｎ４６においては、基準値を超えるポイントの割合が、基準（％）以下であるか否か判断し、基準以下でないときには、手の動きに蛇行（迷い）があるとして習熟総合判定をＮＧとしてスクリーン２ａに表示する（ステップｎ４１）。
【００８１】
さらに、手の動きの２次回帰曲線の寄与率による評価では、上述の図１０で取得された作業データのＡ・Ｂ・ＣそれぞれをＸＹ平面・ＹＺ平面に投影し（ステップｎ４７）、二次曲線で近似して寄与率を求め（ステップｎ４８）、寄与率が基準値以上であるか否かを判断し（ステップｎ４９）、基準値以上でないときには、習熟総合判定をＮＧとしてスクリーン２ａに表示する（ステップｎ４１）。
【００８２】
以上の３種類の評価でＯＫと判断されたときに、すなわち、上述のステップｎ４０，４４，４５，４６，４９において、ＹＥＳと判断されたときには、習熟度総合判定ＯＫをスクリーン２ａに表示してバーチャル作業訓練を終了する（ステップｎ５０）。
【００８３】
このようにしてバーチャル作業訓練と同時に、作業の正誤および作業の習熟度がリアルタイムで評価されて作業者にフィードバックされることになる。
【００８４】
なお、習熟度総合判定がＯＫと評価された場合には、作業訓練を終了し、実際の製造ラインで作業を行なうことになる。
【００８５】
ここで、以上の作業の習熟度の評価について、更に詳細に説明する。
【００８６】
作業の習熟度の評価は、作業中の迷い、手の軌跡などにより評価する。動作の迷いの指標には、上述のように手の軌跡のぶれ（蛇行）の有無および作業時間を用いる。
（１）動作の迷い（蛇行）
動作の迷いを判別する方法の一つとして、取り置き動作中の手の蛇行（ぶれ）を測定し、「迷い」の有無を判定する。
【００８７】
動作始点の手の位置を、Ａ（Ｘａ，Ｙａ，Ｚａ），部品位置（終点）をＢ（Ｘｂ，Ｙｂ，Ｚｂ），取り置き動作中の手の位置を、Ｃｉ＝Ｃ（Ｘｉ，Ｙｉ，Ｚｉ）（ｉ＝１，２，…ｎｉ）とする。始点Ａ、終点ＢおよびＣｉを通る平面の法線ベクトルαＣｉを求める。そして、求めたベクトルの中から一つ（αＣｗ）を基準とし他のベクトルとの角度θｉを計算する。
【００８８】
法線ベクトルαＣｉは、式（１）により求まる。
【００８９】
【数１】
2005134536.tif 000003
同様に、αＣｗを求める。αＣｉとαＣｗの２つのベクトルのなす角度θｉは、式（２）により求まる。
【００９０】
【数２】
2005134536.tif 000004
そして、θｉが０に近ければ、蛇行がないと判定するのである。
【００９１】
なお、図１２（ａ），（ｂ）に蛇行がない場合と蛇行がある場合の平面の法線ベクトルの例を示している。
（２）動作の迷い（時間）
動作の迷いは、軌跡の他に、動作を始める前（停滞時間）にも発生すると考えられる。そこで、取り置き動作に要した時間を基に「迷い」の有無を判定する。
【００９２】
標準資料（ＭＴＭ法）を用いて移動動作の始点と終点の距離から標準動作時間を設定する。そして、作業者の動作時間が、標準動作時間以下となれば、迷いが発生していないと判定するものである。
【００９３】
【数３】
2005134536.tif 000005
（３）動作軌跡の滑らかさ
作業に慣れるほど、手の軌跡は、滑らかになると考えられる。そこで、手の動きの滑らかさに着目して、到達度を評価する。手の軌跡を、ＸＹ平面、ＹＺ平面に投影し、２次曲線で近似する。
【００９４】
ＸＹ平面上の近似式の寄与率Ｒ２ｌ（Ｘ，Ｙ）は次式により求まる。
【００９５】
【数４】
2005134536.tif 000006
そして、寄与率が、１に近ければ、動作軌跡が２次曲線で表され、滑らかな動きになったと判定できる。そこで、ＸＹ平面における寄与率Ｒ２ｌ（ＹＺ）を横軸に、ＹＺ平面における寄与率Ｒ２ｌを縦軸にプロットとし、それぞれの点Ｐｌと座標（１，１）との距離の和εを求め、動作の滑らかさの指標とする。
【００９６】
【数５】
2005134536.tif 000007
なお、上述の実施の形態では、採用していなかったが、次のような身体部位の動きを用いて評価してもよい。
（４）身体部位の移動範囲
体全体の動きから、作業習熟度の到達度を評価する。作業に慣れる程、動作は規則的となり、各部位の動作範囲も小さくなると仮定する。そこで、作業中の身体の各部位の位置データを求める。各部位、例えば、肘２８の動作範囲は、図１３に示される２次元信頼楕円により近似する。信頼楕円の長径ｒ１および短径ｒ２は、次式により与えられる。
【００９７】
【数６】
2005134536.tif 000008
以上の本発明の実施の形態の効果を明らかにするために、以下のような条件でバーチャル作業訓練を行い、上述の（１）〜（４）の４種類の指標によって、作業習熟度を評価した。
【００９８】
対象とする組立工程は、図１４に示すように、部品棚２９の１０箇所の部品置き場に置かれた異種部品を図示された順番にとって組立て位置に持ってくる作業とした。被験者に対してバーチャル作業訓練を５回行なった。
【００９９】
図１５は、動作の迷い（蛇行）の評価結果を示す図である。この図１５では、１０番目の部品に右手を伸ばす動作を分析した結果を示している。但し、予備実験を行い、蛇行の判定基準を１０°とした。
【０１００】
１回目の作業訓練では、蛇行が２回確認されたのに対して、５回目では、蛇行は現れなくなった。同様に、１０個の部品全てについて、５回の作業訓練を行なうことによって、手の蛇行は、現れなくなった。
【０１０１】
図１６は、動作の迷い（時間）の評価結果を示す図であり、この図では、１０番目の部品に手を伸ばす動作に要した時間を示している。
【０１０２】
作業訓練４回目以降は、動作時間ＷＴが、標準動作時間ＳＷＴ以下となった。この結果、４回目以降は、迷いが発生していないと判定した。同様に、１０個の部品の全てについて、時間測定を行なった結果、５回目までに作業時間から見た迷いが現れなくなった。
【０１０３】
図１７は、動作の滑らかさの評価結果を示す図であり、１０番目の部品に手を伸ばす動作の軌跡を分析した結果を示している。この図  １７には、動作軌跡の２次曲線および回帰式の寄与率を示しており、（ａ）は１回目、（ｂ）は５回目を示している。
【０１０４】
寄与率は、５回目の方が、１に近づき、滑らかな動作となっている。ＹＺ平面においても同様の結果が得られ、距離の合計εも５回目の方が、１回目に比べて２０％減少した。
【０１０５】
図１８は、身体部位の移動範囲の評価結果を示す図であり、１０番目の部品に右手を伸ばす動作の右肘の動作範囲を示している。（ａ）に示される１回目は、動作範囲が不規則に曲がり、予備実験により得られた範囲を越えている。しかし、（ｂ）に示される５回目では、動作が滑らかとなり、動作範囲も予備実験により得られた範囲内に納まっている。
【０１０６】
本発明の作業訓練支援システムは、上述の各指標の少なくともいずれか一つを用いて作業の習熟度を評価すればよいが、好ましくは、全ての指標を組み合わせて総合的に評価するのが好ましい。
【０１０７】
（その他の実施の形態）
本発明は、法線ベクトルや２次回帰曲線などを用いた上述の実施の形態の解析手法に限らず、体の各部位の動きを、３次元空間座標位置および角度として検出し、その他の解析手法を用いて作業習得の程度を判定するようにしてもよい。
【０１０８】
上述の実施の形態では、偏光立体方式の大型スクリーンに仮想作業領域を表示して仮想の作業訓練を行なったけれども、本発明の他の実施の形態として、仮想作業領域を表示するＶＲ表示装置としてヘッドマウントディスプレイを用いてもよい。
【０１０９】
また、ＶＲ表示装置２は、立体視表示できるのが好ましいが、二次元の表示装置であってもよい。
【０１１０】
上述の実施の形態では、動き検出装置の磁気センサは、左右の手に装着したけれども、この磁気センサの数や装着位置は、任意の選択してもよいのは勿論であり、それに応じて、作業者のモデルも手のみに限らず、その他の部位や作業者全体のモデルを表示するようにしてもよい。
【０１１１】
また、動き検出装置は、磁気式に限らず、光学式あるいは機械式などであってもよい。
【産業上の利用可能性】
【０１１２】
本発明は、各種作業の作業訓練に有用である。
【図面の簡単な説明】
【０１１３】
【図１】本発明の一つの実施の形態に係るシステムの概略構成図である。
【図２】図１の動き検出装置を説明するための図である。
【図３】システムの立ち上げ時の表示画面を示す図である。
【図４】設定画面を示す図である。
【図５】作業ガイダンスの画面を示す図である。
【図６】作業ガイダンスの画面展開および処理の流れを示す図である。
【図７】バーチャル作業訓練および処理の流れを示す図である。
【図８】作業ガイダンスの動作説明に供するフローチャートである。
【図９】バーチャル作業訓練の動作説明に供するフローチャートである。
【図１０】作業データ取得の動作説明に供するフローチャートである。
【図１１】作業訓練評価の動作説明に供するフローチャートである。
【図１２】法線ベクトルを説明するための図である。
【図１３】信頼楕円を説明するための図である。
【図１４】組立て工程の部品棚を示す図である。
【図１５】動作の迷い（蛇行）の評価結果を示す図である。
【図１６】動作の迷い（時間）の評価結果を示す図である。
【図１７】動作の滑らかさの評価結果を示す図である。
【図１８】身体部位の移動範囲の評価結果を示す図である。
【符号の説明】
【０１１４】
２  ＶＲ制御装置      ３  ＶＲ制御パソコン
７  音声制御パソコン  ８  動き検出装置
９  モーション制御パソコン
１７  赤球            １８  青球
【図１】
2005134536.tif 000009
【図２】
2005134536.tif 000010
【図３】
2005134536.tif 000011
【図４】
2005134536.tif 000012
【図５】
2005134536.tif 000013
【図６】
2005134536.tif 000014
【図７】
2005134536.tif 000015
【図８】
2005134536.tif 000016
【図９】
2005134536.tif 000017
【図１０】
2005134536.tif 000018
【図１１】
2005134536.tif 000019
【図１２】
2005134536.tif 000020
【図１３】
2005134536.tif 000021
【図１４】
2005134536.tif 000022
【図１５】
2005134536.tif 000023
【図１６】
2005134536.tif 000024
【図１７】
2005134536.tif 000025
【図１８】
2005134536.tif 000026