(57)【要約】【課題】人を介すことなく、作業者が各種作業を行うための能力を有しているかの評価を行う。【解決手段】バーチャルリアリティコンテンツを表示する制御を行う表示制御部１０１、バーチャルリアリティコンテンツを操作する操作情報を取得し、表示されたバーチャルリアリティコンテンツの制御を表示制御部１０１に指示する操作制御部１０３と、表示されたバーチャルリアリティコンテンツを操作する操作入力部２２０のセンサ情報から、作業者の動作を検知するセンサ情報取得部１０４と、検知された作業者の動作に基づいて、当該動作が行われた位置情報および動作の軌道情報を取得する操作情報特定部１０５と、取得された位置情報および軌道情報と、予め登録された基準となる位置情報および軌道情報とを比較し、差分を算出する操作情報比較部１０６と、算出された差分に基づいて、作業者の動作を評価する評価部１０８とを備える。【選択図】図１
2019219727.tif 000002
【特許請求の範囲】
【請求項１】
バーチャルリアリティコンテンツを表示する制御を行う表示制御部と、
前記バーチャルリアリティコンテンツを操作する操作情報を取得し、表示された前記バーチャルリアリティコンテンツの制御を前記表示制御部に指示する操作制御部と、
表示された前記バーチャルリアリティコンテンツを操作する機器のセンサ情報から、作業者の動作を検知するセンサ情報取得部と、
前記センサ情報取得部が検知した前記作業者の動作に基づいて、当該動作が行われた位置情報および前記動作の軌道情報を取得する操作情報特定部と、
前記操作情報特定部が取得した前記位置情報および前記軌道情報と、予め登録された基準となる位置情報および軌道情報とを比較し、差分を算出する操作情報比較部と、
前記操作情報比較部が算出した前記差分に基づいて、前記作業者の動作を評価する評価部とを備えた評価装置。
【請求項２】
前記表示制御部は、前記評価部が評価した結果を評価結果として表示する制御を行うことを特徴とする請求項１記載の評価装置。
【請求項３】
請求項１または請求項２記載の評価装置と、
前記表示制御部の制御に基づいて前記バーチャルリアリティコンテンツを表示する表示部と、前記表示部に表示された前記バーチャルリアリティコンテンツを操作する操作入力部とを有する端末装置とを備えた評価システム。
【請求項４】
前記表示部は、前記評価装置の前記評価部が評価した結果を表示することを特徴とする請求項３記載の評価システム。
【請求項５】
バーチャルリアリティコンテンツを表示する制御を行う表示制御機能と、
前記バーチャルリアリティコンテンツを操作する操作情報を取得し、表示された前記バーチャルリアリティコンテンツの制御を指示する操作制御機能と、
表示された前記バーチャルリアリティコンテンツを操作する機器のセンサ情報から、作業者の動作を検知するセンサ情報取得機能と、
検知された前記作業者の動作に基づいて、当該動作が行われた位置情報および前記動作の軌道情報を取得する操作情報特定機能と、
取得された前記位置情報および前記軌道情報と、予め登録された基準となる位置情報および軌道情報とを比較し、差分を算出する操作情報比較機能と、
算出された前記差分に基づいて、前記作業者の動作を評価する評価機能とをコンピュータに実行させるための評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、表示されたコンテンツに対する操作を評価する技術に関するものである。
【背景技術】
【０００２】
例えば、電子機器の製造ラインでは、複数の作業員が分業して多数の部品で構成される電子機器の組み立てを行う。
作業員は、正しい作業手順で、決められた時間で各種組み立て作業を行うことが求められる。作業者は、例えば、教育ツールを用いて、作業工程を学習し、各種作業を行うための能力を身に付ける。
例えば、特許文献１に開示された作業者力量管理システムでは、作業者がヘッドマウントディスプレイを含むウェアラブルコンピュータを装着し、当該ヘッドマウントディスプレイに表示された作業工程を実施することを示す入力動作を行うと、入力情報がサーバに送信される。管理者は、サーバに蓄積された作業者の入力情報をチェックし、作業者が該当する作業工程を実施するための十分な条件を備えているか否かを判断する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２１０７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載された技術では、管理者が、入力情報をチェックし、当該作業者が各種作業を行うための能力を有しているか判断する必要があり、人による評価作業が求められるという課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、人を介すことなく、作業者が各種作業を行うための能力を有しているかの評価を行うことを目的とする。
【課題を解決するための手段】
【０００６】
この発明による評価装置は、バーチャルリアリティコンテンツを表示する制御を行う表示制御部と、バーチャルリアリティコンテンツを操作する操作情報を取得し、表示されたバーチャルリアリティコンテンツの制御を表示制御部に指示する操作制御部と、表示されたバーチャルリアリティコンテンツを操作する機器のセンサ情報から、作業者の動作を検知するセンサ情報取得部と、センサ情報取得部が検知した作業者の動作に基づいて、当該動作が行われた位置情報および動作の軌道情報を取得する操作情報特定部と、操作情報特定部が取得した位置情報および軌道情報と、予め登録された基準となる位置情報および軌道情報とを比較し、差分を算出する操作情報比較部と、操作情報比較部が算出した差分に基づいて、作業者の動作を評価する評価部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、人を介すことなく、作業者が各種作業を行うための能力を有しているかの評価を行うことができる。これにより、作業者は学習場所および学習時間に制約を受けることなく、各種作業を学習することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る評価装置の構成を示すブロック図である。
【図２】図２Ａ、図２Ｂは、実施の形態１による評価装置のハードウェア構成例を示す図である。
【図３】実施の形態１に係る評価装置による評価処理の動作を示すフローチャートである。
【図４】実施の形態１に係る評価システムの端末装置における表示および操作の一例を示す図である。
【図５】図４で示した作業者の操作を評価した評価結果の表示例を示す図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、実施の形態１による評価システムの構成を示すブロック図である。
評価システムは、評価装置１００および端末装置２００で構成される。
評価装置１００は、表示制御部１０１、コンテンツ蓄積部１０２、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、比較情報蓄積
１０７、評価部１０８および評価情報蓄積部１０９を備える。
【００１０】
端末装置２００は、表示部２１０および操作入力部２２０を備える。
端末装置２００は、作業者にバーチャルリアリティ（仮想現実）コンテンツを仮想空間に表示し、作業者が仮想空間に表示されたコンテンツを操作する装置である。表示部２１０は、例えばヘッドマウントディスプレイ（ＨＭＤ）で構成され、対応する作業者に装着される。操作入力部２２０は、例えばコントローラで構成され、ヘッドマウントディスプレイに表示されたバーチャルリアリティコンテンツを操作する。
評価装置１００および端末装置２００は、無線通信または有線通信で接続される。
【００１１】
表示制御部１０１は、管理者または作業者が指定したバーチャルリアリティの教材コンテンツ（以下、教材コンテンツという）をコンテンツ蓄積部１０２から取得する。表示制御部１０１は、取得した教材コンテンツを、作業者が装着した表示部２１０（例えば、ヘッドマウントディスプレイ）を介して見える仮想空間の画像として表示させるための制御を行う。コンテンツ蓄積部１０２は、作業者が学習する各種作業工程を表示するための教材コンテンツを蓄積する蓄積領域である。
【００１２】
操作制御部１０３は、端末装置２００の操作入力部２２０から教材コンテンツを操作する操作情報を取得する。操作制御部１０３は、取得した操作情報に基づいて、表示している教材コンテンツの制御を表示制御部１０１に指示する。表示制御部１０１は、操作制御部１０３から入力される指示に基づいて、表示している教材コンテンツの表示を制御する。これにより、作業者の操作に応じて、表示部２１０に表示された教材コンテンツが変化する。
【００１３】
センサ情報取得部１０４は、端末装置２００の操作入力部２２０のセンサ情報（例えば、コントローラのセンサ情報）を取得する。センサ情報取得部１０４は、取得したセンサ情報から作業者の動作を検知する。センサ情報取得部１０４は、取得するセンサ情報をバッファ等に蓄積し、学習する作業工程の開始から終了までのセンサ情報が蓄積されると、当該センサ情報から作業者の動作を検知する。また、センサ情報取得部１０４は、操作入力部２２０から、作業者が装着した表示部２１０の位置および姿勢を示すセンサ情報も合わせて取得する。センサ情報取得部１０４は、検知した作業者の動作と、表示部２１０の位置および姿勢を示すセンサ情報とを操作情報特定部１０５に出力する。
【００１４】
操作情報特定部１０５は、作業者の動作と、表示部２１０の位置および姿勢を示すセンサ情報とに基づいて、教材コンテンツに対して作業者が動作を行った位置情報、作業者の動作の軌道を示す軌道情報、作業者が動作に要した時間を示す時間情報を取得する。操作情報特定部１０５は、取得した位置情報、軌道情報および時間情報を、操作情報として操作情報比較部１０６に出力する。
【００１５】
操作情報比較部１０６は、操作情報が入力されると、比較情報蓄積部１０７を参照して作業者が行った作業を特定する。さらに、操作情報比較部１０６は、特定した作業の基準情報を、比較情報蓄積部１０７から取得する。ここで、基準情報とは、評価の基準となる動作の位置情報、軌道情報および時間情報である。操作情報比較部１０６は、取得した基準情報と、操作情報特定部１０５から入力された操作情報とを比較し、位置情報の差分、軌道情報の差分および時間情報の差分を算出する。操作情報比較部１０６は、操作情報、基準情報および算出した差分を示す情報を評価部１０８に出力する。
【００１６】
比較情報蓄積部１０７は、各種作業工程の作業を評価する場合に基準とする基準情報を蓄積する蓄積領域である。基準情報として、各種作業を評価する際の基準となる動作の位置情報、軌道情報および時間情報を蓄積する蓄積領域である。評価部１０８は、評価情報蓄積部１０９に蓄積された評価情報と、入力された差分を示す情報とを照合し、作業者が行った作業を評価する。評価部１０８は、評価、操作情報、基本情報および差分を示す情報を評価結果として、表示制御部１０１に出力する。表示制御部１０１は、評価結果を表示する制御を行う。評価結果を表示する機器は、端末装置２００の表示部２１０であってもよいし、その他のディスプレイであってもよい。評価情報蓄積部１０９は、位置情報の差分量、軌道情報の差分量および時間情報の差分量に対応した評価値等、作業を評価するための評価情報を蓄積する蓄積領域である。
【００１７】
図２Ａおよび図２Ｂは、評価装置１００のハードウェア構成例を示す図である。
評価装置１００の表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８の各機能は、処理回路により実現される。即ち、評価装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図２Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図２Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
【００１８】
図２Ａに示すように、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００１９】
図２Ｂに示すように、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８の各機能を実現する。即ち、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８は、プロセッサ１００ｂにより実行されるときに、後述する図３に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８の手順または方法をコンピュータに実行させるものであるともいえる。
【００２０】
ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
【００２１】
なお、表示制御部１０１、操作制御部１０３、センサ情報取得部１０４、操作情報特定部１０５、操作情報比較部１０６、および評価部１０８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、評価装置１００における処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００２２】
次に、評価装置１００の動作について説明する。
図３は、実施の形態１に係る評価システムの評価装置１００による評価処理の動作を示すフローチャートである。なお、以下では、表示部２１０がヘッドマウントディスプレイである場合を例に説明する。
センサ情報取得部１０４が、作業者が学習する作業工程の操作入力部２２０のセンサ情報を取得すると（ステップＳＴ１）、取得したセンサ情報から作業者の動作を検知する（ステップＳＴ２）。また、センサ情報取得部１０４は、ヘッドマウントディスプレイのセンサ情報を取得する（ステップＳＴ３）。センサ情報取得部１０４は、検知した作業者の動作と、ヘッドマウントディスプレイのセンサ情報とを操作情報特定部１０５に出力する。
【００２３】
操作情報特定部１０５は、作業者の動作とヘッドマウントディスプレイのセンサ情報とに基づいて、教材コンテンツに対して作業者が動作を行った位置情報、作業者の動作の軌道を示す軌道情報、作業者が動作に要した時間を示す時間情報を取得する（ステップＳＴ４）。操作情報特定部１０５は、取得した位置情報、軌道情報および時間情報を、操作情報として操作情報比較部１０６に出力する。
【００２４】
操作情報比較部１０６は、作業者が行った作業を特定し（ステップＳＴ５）、特定した作業の基準情報を取得する（ステップＳＴ６）。操作情報比較部１０６は、取得した基準情報と、操作情報とを比較し、位置情報の差分、軌道情報の差分および時間情報の差分を算出する（ステップＳＴ７）。操作情報比較部１０６は、操作情報、基準情報および算出した差分を示す情報を評価部１０８に出力する。
【００２５】
評価部１０８は、評価情報蓄積部１０９に蓄積された評価情報と、入力された差分を示す情報とを照合し、作業者が行った作業を評価する（ステップＳＴ８）。評価部１０８は、評価、操作情報、基本情報および差分を示す情報を評価結果として、表示制御部１０１に出力する。表示制御部１０１は、評価結果を端末装置２００の表示部２１０に表示する制御を行い（ステップＳＴ９）、処理を終了する。    
【００２６】
図４は、実施の形態１に係る評価システムの端末装置２００における表示および操作の一例を示す図である。図４では、表示部２１０の表示例、操作入力部２２０の操作例を示している。
表示部２１０に、教材データ２１１が表示される。作業者（図示しない）は、操作入力部２２０を操作し、学習する作業工程に対して作業Ａを行う。図４では、作業者は、時刻ｔ１に操作位置２１２で操作を行っている（図４の操作入力部２２０ａ参照）。同様に、作業者は時刻ｔ２に操作位置２１３で操作を行い（図４の操作入力部２２０ｂ参照）、時刻ｔ３に操作位置２１４で操作を行っている（図４の操作入力部２２０ｃ参照）。
【００２７】
図５は、図４で示した作業者の操作を評価した評価結果の表示例を示す図である。
図５では、表示部２１０に評価結果を表示した場合を例に説明するが、評価結果はその他のディスプレイ等に表示してもよい。
表示部２１０は、教材データ２２１と、当該教材データ２１１上に評価結果として、操作者の操作情報が表示される。作業者の操作情報の位置情報は、図４と同一の操作位置２１２，２１３，２１４である。作業者の操作情報の軌道情報は、軌道を示す矢印２１５，２１６が示される。
【００２８】
次に、評価結果として、基本情報が表示される。基本情報の位置情報として、推奨される操作位置３０１，３０２，３０３，３０４が表示される。基本情報の軌道情報として、推奨される操作の軌道を示す矢印３０５，３０６，３０７が示される。さらに評価結果として、矢印２１５，２１６と、矢印３０５，３０６，３０７との差分領域４０１，４０２が示される。また、教材データ２１１の隣には、評価結果のマークの説明５０１、作業者の操作時間と基準情報の操作時間との差分時間５０２、および合否情報５０３を示す。
図５の例では、差分時間５０２は差分時間が「５分１５秒」であることを示し、基本情報の操作時間よりも「Ｏｖｅｒ」したことを示している。また、合否情報５０３は、作業者の操作が「不合格」であったことを示している。
【００２９】
作業者は、図５で示す評価結果を確認することにより、自身の操作の間違っていた箇所を視覚的に認識することができる。また、自身の操作のスピードをどの程度向上させるべきか、数値として把握することができる。
管理者は、図５で示す評価結果を確認することにより、作業者のいずれの操作を指導すべきか、いずれの操作について再度学習させるべきか、容易に認識することができる。
【００３０】
以上のように、この実施の形態１によれば、バーチャルリアリティコンテンツを表示する制御を行う表示制御部１０１、バーチャルリアリティコンテンツを操作する操作情報を取得し、表示されたバーチャルリアリティコンテンツの制御を表示制御部１０１に指示する操作制御部１０３と、表示されたバーチャルリアリティコンテンツを操作する操作入力部２２０のセンサ情報から、作業者の動作を検知するセンサ情報取得部１０４と、検知された作業者の動作に基づいて、当該動作が行われた位置情報および動作の軌道情報を取得する操作情報特定部１０５と、取得された位置情報および軌道情報と、予め登録された基準となる位置情報および軌道情報とを比較し、差分を算出する操作情報比較部１０６と、算出された差分に基づいて、作業者の動作を評価する評価部１０８とを備える。
【００３１】
これにより、人を介すことなく、作業者が各種作業を行うための能力を有しているかの評価を行うことができる。また、作業者は評価結果から不慣れな作業工程を把握することができ、作業を習得するための期間の短縮を図ることができる。また、作業者は学習場所および学習時間に制約を受けることなく、各種作業を学習することができる。
【００３２】
また、この実施の形態１によれば、表示制御部１０１が、評価部１０８が評価した結果を評価結果として表示する制御を行うように構成したので、作業者は自身の作業と正しい作業との違いを視覚的に、明確に認識することができる。
【００３３】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００３４】
１００  評価装置、１０１  表示制御部、１０２  コンテンツ蓄積部、１０３  操作制御部、１０４  センサ情報取得部、１０５  操作情報特定部、１０６  操作情報比較部、１０７  比較情報蓄積部、１０８  評価部、１０９  評価情報蓄積部、２００  端末装置、２１０  表示部、２２０  操作入力部。
【図１】
2019219727.tif 000003
【図２】
2019219727.tif 000004
【図３】
2019219727.tif 000005
【図４】
2019219727.tif 000006
【図５】
2019219727.tif 000007