(57)【特許請求の範囲】
【請求項１】
熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、前記熟練作業者および前記一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部と、
前記第１の動作特徴抽出部が抽出した前記軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成した前記ヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部と、
前記動作特徴学習部の判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部とを備え、
さらに、前記動画像データから、前記熟練作業者および前記一般作業者の撮像された部位を検出する部位検出部を備え、
前記第１の動作特徴抽出部は、前記検出された部位毎に前記軌跡特徴を抽出し、
前記動作特徴学習部は、前記部位検出部で検出された部位毎に前記ヒストグラムを生成して前記判別学習を行い、
前記判別関数生成部は、前記検出された部位毎に前記判別関数を生成することを特徴とする動作学習装置。
【請求項２】
前記動作特徴学習部は、前記熟練作業者群のヒストグラムと、前記一般作業者群のヒストグラムとを用いて、前記熟練作業者群と前記一般作業者群との間の分散が最大、且つ各群内の分散が最小となる射影軸を計算し、前記判別関数を生成することを特徴とする請求項１記載の動作学習装置。
【請求項３】
前記動作特徴学習部は、機械学習による判別器を用いて前記判別学習を行うことを特徴とする請求項１記載の動作学習装置。
【請求項４】
前記動作特徴学習部は、スパース正則化項を追加し、前記判別器を用いた前記判別学習を行うことを特徴とする請求項３記載の動作学習装置。
【請求項５】
評価対象の作業者の作業を撮像した動画像データから、当該評価対象の作業者の動作の軌跡特徴を抽出し、予め決定された基準となる軌跡特徴を用いて、前記抽出した前記評価対象の作業者の軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じて前記評価対象の作業者の部位毎にヒストグラムを生成する第２の動作特徴抽出部と、
請求項１に記載の動作学習装置により予め求められた、作業者の部位毎に熟達した動作を判別する当該部位毎の判別関数により、前記第２の動作特徴抽出部が生成したヒストグラムから、前記評価対象の作業者の部位毎に動作が熟達しているか否か判別する技能判別部と、
前記技能判別部の判別結果に基づいて、前記評価対象の作業者の動作が熟達している場合には熟練作業者に対する情報を表示する制御を行い、前記評価対象の作業者の動作が熟達していない場合には一般作業者に対する情報を表示する制御を行う表示制御部とを備えた技能判別装置。
【請求項６】
熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、前記熟練作業者および前記一般作業者の動作の第１の軌跡特徴を抽出する第１の動作特徴抽出部と、
前記第１の動作特徴抽出部が抽出した前記第１の軌跡特徴の中から基準となる軌跡特徴を決定し、決定した基準となる軌跡特徴に類似する前記第１の軌跡特徴をクラスタリングし、クラスタリングした前記第１の軌跡特徴の出現頻度に応じてヒストグラムを生成し、当該ヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部と、
前記動作特徴学習部の判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部と、
評価対象の作業者の作業を撮像した動画像データから、前記評価対象の作業者の動作の第２の軌跡特徴を抽出し、前記動作特徴学習部が決定した前記基準となる軌跡特徴を用いて、前記第２の軌跡特徴をクラスタリングし、クラスタリングした前記第２の軌跡特徴の出現頻度に応じてヒストグラムを生成する第２の動作特徴抽出部と、
前記判別関数生成部が生成した前記判別関数により、前記第２の動作特徴抽出部が生成したヒストグラムから、前記作業中の作業者の動作が熟達しているか否か判別する技能判別部と、
前記技能判別部の判別結果に基づいて、前記作業中の作業者の動作が熟達している場合には前記熟練作業者に対する情報を表示する制御を行い、前記作業中の作業者の動作が熟達していない場合には前記一般作業者に対する情報を表示する制御を行う表示制御部とを備え、
さらに、前記動画像データから、前記熟練作業者および前記一般作業者の撮像された部位を検出する部位検出部を備え、
前記第１の動作特徴抽出部は、前記検出された部位毎に前記軌跡特徴を抽出し、
前記動作特徴学習部は、前記部位検出部で検出された部位毎に前記ヒストグラムを生成して前記判別学習を行い、
前記判別関数生成部は、前記検出された部位毎に前記判別関数を生成することを特徴とする技能判別システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像データに基づいて、評価対象者の動作を評価する技術に関するものである。
【背景技術】
【０００２】
工場等で作業する作業者の作業効率を向上させるため、熟練した作業者（以下、熟練作業者と記載する）の技能を抽出し、熟練した作業者でない一般の作業者（以下、一般作業者と記載する）に伝達する仕組み作りが求められている。具体的には、熟練作業者の動作の中で、一般作業者とは異なる動きを検出し、検出した動きを一般作業者に教示することにより、一般作業者の技能の向上を支援する。
例えば、特許文献１に開示された動作特徴抽出装置では、ある作業工程に従事する熟練作業者の姿を撮影し、同じ撮影アングルで同一の作業工程に従事するときの一般作業者の姿を撮影して、一般作業者による異常動作を抽出している。より詳細には、熟練作業者の動画像データから立体高次自己相関（ＣＨＬＡＣ）特徴を抽出し、一般作業者の評価対象画像からＣＨＬＡＣ特徴を抽出し、抽出したＣＨＬＡＣ特徴の相関関係に基づいて、一般作業者の異常動作を抽出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１３３９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述した特許文献１に開示された技術では、動画像データ中の動作特徴に関して、ＣＨＬＡＣ特徴という固定のマスクパターンを複数用意する必要があり、熟練作業者の動きに対するマスクパターンをユーザが設計する必要があるという課題があった。【０００５】
この発明は、上記のような課題を解決するためになされたもので、熟練作業者の動きに対するマスクパターンを設計することなく、動画像データから抽出された熟練作業者の動きに基づいて評価対象である作業者の技能を判別するための指標を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る発明の動作学習装置は、熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、熟練作業者および一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部と、第１の動作特徴抽出部が抽出した軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部と、動作特徴学習部の判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部とを備える。さらに、動画像データから、熟練作業者および一般作業者の撮像された部位を検出する部位検出部を備え、第１の動作特徴抽出部は、検出された部位毎に軌跡特徴を抽出し、動作特徴学習部は、部位検出部で検出された部位毎にヒストグラムを生成して判別学習を行い、判別関数生成部は、検出された部位毎に判別関数を生成する。
【発明の効果】
【０００７】
この発明によれば、動画像データから熟練作業者の熟達した動きを抽出することができ、抽出された動きに基づいて評価対象である作業者の技能を判別するための指標を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る技能判別システムの構成を示すブロック図である。
【図２】図２Ａ、図２Ｂは、実施の形態１に係る動作学習装置のハードウェア構成
【図３】図３Ａ，図３Ｂは、実施の形態１に係る技能判別装置のハードウェア構成例を示す図である。
【図４】実施の形態１に係る動作学習装置の動作を示すフローチャートである。
【図５】実施の形態１に係る技能判別装置の動作を示すフローチャートである。
【図６】図６Ａ，図６Ｂ，図６Ｃ，図６Ｄは、実施の形態１に係る動作学習装置の処理を示す説明図である。
【図７】実施の形態１に係る技能判別装置の判別結果の表示例を示す図である。
【図８】実施の形態２に係る技能判別システムの構成を示すブロック図である。
【図９】実施の形態２に係る動作学習装置の動作を示すフローチャートである。
【図１０】実施の形態２に係る技能判別装置の動作を示すフローチャートである。
【図１１】実施の形態１に係る動作学習装置においてスパース正則化項を追加した場合の効果を示す図である。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る技能判別システムの構成を示すブロック図である。
技能判別システムは、動作学習装置１００および技能判別装置２００で構成されている。動作学習装置１００は、熟練した作業者（以下、熟練作業者と記載する）と、熟練した作業者でない一般の作業者（以下、一般作業者と記載する）との動作の特徴の違いを解析し、評価対象である作業者の技能を判別するための関数を生成する。ここで、評価対象である作業者には、熟練作業者および一般作業者が含まれるものとする。技能判別装置２００は、動作学習装置１００で生成された関数を用いて、評価対象である作業者の技能が熟達しているか否かを判別する。
【００１０】
動作学習装置１００は、動画像データベース１０１、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４を備えて構成される。
動画像データベース１０１は、複数の熟練作業者および複数の一般作業者の作業の様子を撮影した動画像データを格納したデータベースである。第１の動作特徴抽出部１０２は、動画像データベース１０１に格納された動画像データから熟練作業者および一般作業者の動作の軌跡特徴を抽出する。第１の動作特徴抽出部１０２は、抽出した動作の軌跡特徴を動作特徴学習部１０３に出力する。
【００１１】
動作特徴学習部１０３は、第１の動作特徴抽出部１０２が抽出した動作の軌跡特徴から、基準となる動作の軌跡特徴を決定する。動作特徴学習部１０３は、基準となる動作の軌跡特徴に基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う。動作特徴学習部１０３は、決定した基準となる動作の軌跡特徴を記述した動作特徴辞書を生成し、技能判別装置２００の動作特徴辞書格納部２０２に格納する。また、動作特徴学習部１０３は、判別学習の結果を判別関数生成部１０４に出力する。判別関数生成部１０４は、動作特徴学習部１０３の学習結果を参照し、評価対象である作業者の技能が熟達しているか否かを判別するための関数（以下、判別関数と記載する）を生成する。判別関数生成部１０４は、生成した判別関数を技能判別装置２００の判別関数蓄積部２０４に蓄積する。
【００１２】
技能判別装置２００は、画像情報取得部２０１、動作特徴辞書格納部２０２、第２の動作特徴抽出部２０３、判別関数蓄積部２０４、技能判別部２０５および表示制御部２０６で構成されている。また、技能判別装置２００には、評価対象である作業者の作業を撮像するカメラ３００、および技能判別装置２００の表示制御に基づいて情報を表示する表示装置４００が接続されている。
画像情報取得部２０１は、カメラ３００が評価対象である作業者の作業の様子を撮像した動画像データ（以下、評価対象の動画像データという）を取得する。画像情報取得部２０１は、取得した動画像データを第２の動作特徴抽出部２０３に出力する。動作特徴辞書格納部２０２には、動作学習装置１００から入力された基準となる動作の軌跡特徴を記述した動作特徴辞書が格納されている。
【００１３】
第２の動作特徴抽出部２０３は、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、画像情報取得部２０１が取得した評価対象の動画像データから動作の軌跡特徴を抽出する。第２の動作特徴抽出部２０３は、抽出した動作の軌跡特徴を技能判別部２０５に出力する。判別関数蓄積部２０４は、動作学習装置１００の判別関数生成部１０４が生成した判別関数を蓄積する領域である。技能判別部２０５は、判別関数蓄積部２０４に蓄積された判別関数を用いて、第２の動作特徴抽出部２０３が抽出した動作の軌跡特徴から評価対象である作業者の技能が熟達しているか否か判別を行う。技能判別部２０５は、判別結果を表示制御部２０６に出力する。表示制御部２０６は、技能判別部２０５の判別結果に応じて、支援情報として評価対象である作業者に表示すべき情報を決定する。表示制御部２０６は、決定した情報を表示するための表示制御を表示装置４００に対して行う。
【００１４】
次に、動作学習装置１００および技能判別装置２００のハードウェア構成例を説明する。
まず、動作学習装置１００のハードウェア構成例について説明する。
図２Ａおよび図２Ｂは、実施の形態１に係る動作学習装置１００のハードウェア構成例を示す図である。
動作学習装置１００における第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各機能は、処理回路により実現される。即ち、動作学習装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図２Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図２Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
【００１５】
図２Ａに示すように第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００１６】
図２Ｂに示すように、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各機能を実現する。即ち、動作特徴抽出部、動作特徴学習部１０３および判別関数生成部１０４は、プロセッサ１００ｂにより実行されるときに、後述する図４に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の手順または方法をコンピュータに実行させるものであるともいえる。
【００１７】
ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
【００１８】
なお、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、動作学習装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００１９】
次に、技能判別装置２００のハードウェア構成例について説明する。
図３Ａおよび図３Ｂは、実施の形態１に係る技能判別装置２００のハードウェア構成例を示す図である。
技能判別装置２００における画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各機能は、処理回路により実現される。即ち、技能判別装置２００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路２００ａであってもよいし、図３Ｂに示すようにメモリ２００ｃに格納されているプログラムを実行するプロセッサ２００ｂであってもよい。
【００２０】
図３Ａに示すように画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６が専用のハードウェアである場合、処理回路２００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものが該当する。画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００２１】
図３Ｂに示すように、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６がプロセッサ２００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２００ｃに格納される。プロセッサ２００ｂは、メモリ２００ｃに記憶されたプログラムを読み出して実行することにより、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各機能を実現する。即ち、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６は、プロセッサ２００ｂにより実行されるときに、後述する図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ２００ｃを備える。また、これらのプログラムは、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の手順または方法をコンピュータに実行させるものであるともいえる。
【００２２】
なお、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、技能判別装置２００における処理回路２００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００２３】
次に、動作学習装置１００の動作および技能判別装置２００の動作について説明する。まず、動作学習装置１００の動作について説明する。
図４は、実施の形態１に係る動作学習装置１００の動作を示すフローチャートである。
第１の動作特徴抽出部１０２は、動画像データベース１０１から熟練作業者および一般作業者の動作を撮影した動画像データを読み出す（ステップＳＴ１）。第１の動作特徴抽出部１０２は、ステップＳＴ１で読み出した動画像データから動作の軌跡特徴を抽出する（ステップＳＴ２）。第１の動作特徴抽出部１０２は、抽出した軌跡特徴を動作特徴学習部１０３に出力する。
【００２４】
上述したステップＳＴ２の処理の詳細について説明する。
第１の動作特徴抽出部１０２は、動画像データの特徴点を追跡し、ある一定以上のフレーム数の特徴点の座標の変遷を軌跡特徴として抽出する。また、第１の動作特徴抽出部１０２は、座標の変遷に加えて、動画像データの特徴点の周辺のエッジ情報、オプティカルフローのヒストグラム、またはオプティカルフローの一次微分のヒストグラムのうちの少なくともいずれか１つを追加して抽出してもよい。その場合、第１の動作特徴抽出部１０２は、座標の変遷に加えて得られた情報を統合した数値情報を軌跡特徴として抽出する。
【００２５】
動作特徴学習部１０３は、ステップＳＴ２で抽出された軌跡特徴の中から基準となる複数の軌跡特徴を決定する（ステップＳＴ３）。動作特徴学習部１０３は、ステップＳＴ３で決定した基準となる複数の軌跡特徴を用いて動作特徴辞書を作成し、技能判別装置２００の動作特徴辞書格納部２０２に格納する（ステップＳＴ４）。
ステップＳＴ４の動作特徴辞書の作成では、ｋ−ｍｅａｎｓアルゴリズム等のクラスタリング手法によって、各クラスタの中央値を基準の軌跡特徴とする方法を適用することが可能である。
【００２６】
動作特徴学習部１０３は、ステップＳＴ３で決定した基準となる軌跡特徴を用いて、ステップＳＴ２で抽出された各軌跡特徴を類似する軌跡特徴同士でクラスタリングする（ステップＳＴ５）。
ステップＳＴ５の処理では、動作特徴学習部１０３は、まずステップＳＴ２で抽出された各軌跡特徴をベクトル化する。次に、動作特徴学習部１０３は、各軌跡特徴のベクトルと、ステップＳＴ３で決定された基準となる軌跡特徴のベクトルとの距離に基づいて、各軌跡特徴が基準となる軌跡特徴に類似しているか否か判定する。動作特徴学習部１０３は、類似しているか否かの判定結果に基づいて、各軌跡特徴のクラスタリングを行う。
【００２７】
動作特徴学習部１０３は、ステップＳＴ５のクラスタリング結果に基づき、類似した軌跡特徴の出現頻度に応じたヒストグラムを生成する（ステップＳＴ６）。ステップＳＴ６の処理では、熟練作業者群と、一般作業者群とで、それぞれヒストグラムを生成する。動作特徴学習部１０３は、ステップＳＴ６で生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う（ステップＳＴ７）。動作特徴学習部１０３は、ステップＳＴ７の判別学習の学習結果に基づいて、作業者の熟練の度合いに応じた軸への射影変換行列を生成する（ステップＳＴ８）。動作特徴学習部１０３は、ステップＳＴ８で生成した射影変換行列を、判別関数生成部１０４に出力する。
【００２８】
判別関数生成部１０４は、ステップＳＴ８で生成された射影変換行列に基づいて、評価対象である作業者の動作が熟達した動作であるか識別するための境界を示す判別関数を生成する（ステップＳＴ９）。具体的に、ステップＳＴ９において、判別関数生成部１０４は、射影変換行列により変換された軸において、熟達した動作と、一般的な動作とを識別する線形識別関数を設計する。判別関数生成部１０４は、ステップＳＴ９で生成した判別関数を、技能判別装置２００の判別関数蓄積部２０４に蓄積し（ステップＳＴ１０）、処理を終了する。ステップＳＴ１０において蓄積された線形識別関数である判別関数は、「０」以上であれば、評価対象である作業者の動作が熟達した動作であることを示し、「０」未満であれば、評価対象である作業者の動作が熟達していない一般的な動作であることを示す。
【００２９】
上述したステップＳＴ７およびステップＳＴ８の処理の詳細について説明する。
動作特徴学習部１０３は、ステップＳＴ６で生成されたヒストグラムを用いて判別分析を行い、熟練作業者群と一般作的作業者群とのクラス間の分散が最大、且つ各クラス内の分散が最小となる射影軸を計算し、判別境界を決定する。動作特徴学習部１０３による演算は、以下の式（１）で示すフィッシャーの評価基準を最大化する。
0006570786.tif 000002
式（１）において、ＳＢはクラス間分散、ＳＷはクラス内分散を表している。また、式（１）において、Ａはヒストグラムを一次元の数値に変換する行列であり、上述した射影変換行列である。
【００３０】
式（１）のＪＳ（Ａ）を最大化させるＡは、ラグランジュの未定乗数法より、以下の式（２）における極値を求める問題に変わる。
0006570786.tif 000003
0006570786.tif 000004
また、このとき主成分分析を用いてデータの分散の大きい軸を予め計算し、次元圧縮のために主成分に変換する処理をした上で判別分析やＳＶＭ（Support Vector Machine）等の判別器を利用してもよい。これにより、動作特徴学習部１０３は、熟練作業者群と一般作業者群との分散が最大となる軸を検出し、熟達した動きであるか、または一般的な動きであるかを判別するのに有用な軌跡を得ることができる。即ち、動作特徴学習部１０３は、熟達した動きを示す軌跡を特定することができ、当該軌跡を可視化することができる。
【００３１】
このように、動作特徴学習部１０３は、ヒストグラムの判別分析の結果、熟練作業者群と一般作業者群とのクラス間の分散が最大となる軸を固有ベクトルとする特異値分解を行い、固有ベクトルに対応した射影変換行列を計算する。動作特徴学習部１０３は、計算した射影変換行列を、熟練成分変換行列として、判別関数生成部１０４に出力する。
【００３２】
次に、技能判別装置２００の動作について説明する。
図５は、実施の形態１に係る技能判別装置２００の動作を示すフローチャートである。
画像情報取得部２０１が、評価対象である作業者の作業の様子を撮像した動画像データを取得すると（ステップＳＴ２１）、第２の動作特徴抽出部２０３は、ステップＳＴ２１で取得された動画像データの動作の軌跡特徴を抽出する（ステップＳＴ２２）。第２の動作特徴抽出部２０３は、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、抽出した軌跡特徴をクラスタリングし、出現頻度に応じたヒストグラムを生成する（ステップＳＴ２３）。第２の動作特徴抽出部２０３は、ステップＳＴ２３で生成されたヒストグラムを技能判別部２０５に出力する。
【００３３】
技能判別部２０５は、判別関数蓄積部２０４に蓄積された判別関数により、ステップＳＴ２３で生成されたヒストグラムから評価対象である作業者の技能が熟達しているか否か判別する（ステップＳＴ２４）。技能判別部２０５は、判別結果を表示制御部２０６に出力する。表示制御部２０６は、評価対象である作業者の技能が熟達している場合（ステップＳＴ２４；ＹＥＳ）、表示装置４００に対して、熟練した作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２５）。一方、表示制御部２０６は、評価対象である作業者の技能が熟達していない場合（ステップＳＴ２４；ＮＯ）、表示装置４００に対して、一般の作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２６）。以上で処理を終了する。
【００３４】
上述したように、判別関数蓄積部２０４に蓄積された判別関数は、「０」以上であるか、「０」未満であるかに応じて、作業者の技能を判別する。そこで、ステップＳＴ２４の判別処理において、技能判別部２０５は、判別関数が「０」以上であれば作業者の技能が熟達していると判別し、判別関数が「０」未満であれば作業者の技能が熟達していないと判別する。
【００３５】
次に、動作学習装置１００による学習の効果について、図６および図７を参照しながら説明する。
図６は、実施の形態１に係る動作学習装置１００の処理を示す説明図である。
図６Ａは、第１の動作特徴抽出部１０２が読み出した動画像データを示す図であり、作業者Ｘの動画像データを例に示している。
図６Ｂは、第１の動作特徴抽出部１０２が、図６Ａの動画像データから抽出した動作の軌跡特徴を示す図である。図６Ｂの例では、作業者Ｘの手Ｘａの動作の軌跡特徴Ｙを示している。
【００３６】
図６Ｃは、動作特徴学習部１０３が、図６Ｂの軌跡特徴Ｙを学習した結果を示す図である。図６Ｃに示すように、動作特徴学習部１０３は、軌跡特徴Ｙから、基準となる３つの第１の軌跡特徴Ａ、第２の軌跡特徴Ｂ、第３の軌跡特徴Ｃを決定した場合を示している。また、図６Ｂで示した軌跡特徴Ｙを、第１の軌跡特徴Ａ、第２の軌跡特徴Ｂおよび第３の軌跡特徴Ｃにクラスタリングし、ヒストグラムを生成した結果を示している。動作特徴学習部１０３は、熟練作業者および一般作業者についてヒストグラムを生成することから、図６Ｃに示すように、熟練作業者群のヒストグラムと一般作業者群のヒストグラムが生成される。図６Ｃで示した熟練作業者群のヒストグラムでは第３の軌跡特徴Ｃが最も高く、一方、一般作業者群のヒストグラムでは第１の軌跡特徴Ａが最も高い。
【００３７】
図６Ｄは、動作特徴学習部１０３が特定した熟達した動作を示す軌跡Ｄを、作業の技能を示す空間（以下、作業技能空間）において可視化して表示した場合を示している。図６Ｄで示した横軸は第３の軌跡特徴Ｃを示し、その他の各軸は各軌跡特徴の出現頻度を表している。図６Ｄの例では、軌跡Ｄの矢印方向に進むにつれて熟練度が高くなり、軌跡Ｄの反矢印方向に進むにつれて熟練度が低くなることを示している。熟練作業者および一般作業者の軌跡特徴をヒストグラム化することにより、作業技能空間が生成され、動作特徴学習部１０３が特定した動作をマッピングすることができる。これにより、熟練作業者と一般作業者の動作が、作業技能空間内でそれぞれ異なる領域に分布されると仮定することができる。動作特徴学習部１０３は、図６Ｄで示した熟練度が低い領域Ｐと、熟練度が高い領域Ｑとの、クラス間の分散のみに着目し、まず境界を学習する。動作特徴学習部１０３は、学習した境界と直交する直線を熟練した軌跡の軸として求める。
技能判別装置２００の表示制御部２０６は、図６Ｄで示した作業技能空間を用いて、技能判別部２０５の判別結果に基づいて、評価対象である作業者の技能レベルの程度を表示する制御を行ってもよい。
【００３８】
図７は、実施の形態１に係る技能判別装置２００の判別結果を表示装置４００に表示する場合の一例を示す図である。
図７の例では、作業者Ｘの技能が熟達していないと判別され、当該作業者Ｘに対して、表示装置４００を介して熟達した動作の軌跡Ｄａを表示している。作業者Ｘは当該表示を視認することにより、自身が改善すべき箇所を容易に認識可能である。
【００３９】
以上のように、この実施の形態１によれば、熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、熟練作業者および一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部１０２と、抽出された軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部１０３と、判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部１０４とを備えるように構成したので、動画像データから熟練作業者の熟達した動きを抽出することができ、抽出した動きから評価対象である作業者の技能を判別するための指標を得ることができる。
【００４０】
また、この実施の形態１によれば、評価対象の作業者の作業を撮像した動画像データから、当該評価対象の作業者の動作の軌跡特徴を抽出し、予め決定された基準となる軌跡特徴を用いて、抽出した軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成する第２の動作特徴抽出部２０３と、予め求められた、熟達した動作を判別する判別関数により、生成されたヒストグラムから、評価対象の作業者の動作が熟達しているか否か判別する技能判別部２０５と、判別結果に基づいて、評価対象の作業者の動作が熟達している場合には熟練した作業者に対する情報を表示する制御を行い、評価対象の作業者の動作が熟達していない場合には熟練していない作業者に対する情報を表示する制御を行う表示制御部２０６とを備えるように構成したので、評価対象である作業者の作業を撮像した動画像データから、当該作業者の技能を判別することができる。判別結果に応じて、提示する情報を切り替えることができ、熟練作業者の作業を阻害する、あるいは作業効率を低下させてしまうのを抑制しつつ、一般作業者に技能を伝達することができる。
【００４１】
実施の形態２．
この実施の形態２では、評価対象である作業者の体の部位毎に、技能を評価する構成を示す。
図８は、実施の形態２に係る技能判別システムの構成を示すブロック図である。
実施の形態２に係る技能判別システムの動作学習装置１００Ａは、図１に示した実施の形態１の動作学習装置１００に部位検出部１０５を追加して構成している。また、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４に替えて、第１の動作特徴抽出部１０２ａ、動作特徴学習部１０３ａおよび判別関数生成部１０４ａを備えて構成している。
【００４２】
実施の形態２に係る技能判別システムの技能判別装置２００Ａは、図１に示した実施の形態１の第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６に替えて、第２の動作特徴抽出部２０３ａ、技能判別部２０５ａおよび表示制御部２０６ａを備えて構成している。
以下では、実施の形態１に係る動作学習装置１００および技能判別装置２００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００４３】
部位検出部１０５は、動画像データベース１０１に格納された動画像データを解析し、動画像データに含まれている熟練作業者および一般作業者の部位（以下、作業者の部位と記載する）を検出する。ここで、作業者の部位とは、作業者の指、手のひらおよび手首等である。部位検出部１０５は、検出した部位を示す情報と、動画像データとを第１の動作特徴抽出部１０２ａに出力する。第１の動作特徴抽出部１０２ａは、部位検出部１０５で検出された部位毎に、動画像データから熟練作業者および一般作業者の動作の軌跡特徴を抽出する。第１の動作特徴抽出部１０２ａは、抽出した動作の軌跡特徴を、作業者の部位を示す情報と紐付けて動作特徴学習部１０３ａに出力する。
【００４４】
動作特徴学習部１０３ａは、第１の動作特徴抽出部１０２ａが抽出した動作の軌跡特徴から、部位毎に基準となる動作の軌跡特徴を決定する。動作特徴学習部１０３ａは、基準となる動作の軌跡特徴に基づいて、部位毎に熟達した動作の軌跡特徴を特定するための判別学習を行う。動作特徴学習部１０３ａは、決定した基準となる動作の軌跡特徴を部位毎に格納した動作特徴辞書を生成して技能判別装置２００Ａの動作特徴辞書格納部２０２に格納する。また、動作特徴学習部１０３ａは、部位毎の判別学習の結果を判別関数生成部１０４ａに出力する。判別関数生成部１０４ａは、動作特徴学習部１０３ａの学習結果を参照し、部位毎に判別関数を生成する。判別関数生成部１０４ａは、生成した判別関数を技能判別装置２００Ａの判別関数蓄積部２０４に蓄積する。
【００４５】
第２の動作特徴抽出部２０３ａは、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、画像情報取得部２０１が取得した評価対象の動画像データから動作の軌跡特徴を抽出する。第２の動作特徴抽出部２０３ａは、抽出した動作の軌跡特徴を作業者の部位を示す情報と紐付けて技能判別部２０５ａに出力する。技能判別部２０５ａは、判別関数蓄積部２０４に蓄積された判別関数を用いて、第２の動作特徴抽出部２０３ａが抽出した動作の軌跡特徴から評価対象である作業者の技能が熟達しているか否か判別を行う。技能判別部２０５ａは、動作の軌跡特徴に紐付けられた部位毎に判別を行う。技能判別部２０５ａは、判別結果を作業者の部位を示す情報に紐付けて表示制御部２０６ａに出力する。表示制御部２０６ａは、技能判別部２０５ａの判別結果に応じて、作業者の部位毎に支援情報として評価対象である作業者に表示すべき情報を決定する。
【００４６】
次に、動作学習装置１００Ａおよび技能判別装置２００Ａのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
動作学習装置１００Ａにおける部位検出部１０５、第１の動作特徴抽出部１０２ａ、動作特徴学習部１０３ａおよび判別関数生成部１０４ａは、図２Ａで示した処理回路１００ａ、または図２Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。
技能判別装置２００Ａにおける第２の動作特徴抽出部２０３ａ、技能判別部２０５ａおよび表示制御部２０６ａ、図３Ａで示した処理回路２００ａ、または図３Ｂで示したメモリ２００ｃに格納されるプログラムを実行するプロセッサ２００ｂである。
【００４７】
次に、動作学習装置１００Ａの動作および技能判別装置２００Ａの動作について説明する。まず、動作学習装置１００Ａの動作について説明する。
図９は、実施の形態２に係る動作学習装置１００Ａの動作を示すフローチャートである。なお、図９のフローチャートにおいて、図４で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
部位検出部１０５は、動画像データベース１０１から熟練作業者および一般作業者の動作を撮影した動画像データを読み出す（ステップＳＴ３１）。部位検出部１０５は、ステップＳＴ３１で読み出した動画像データに含まれる作業者の部位を検出する（ステップＳＴ３２）。部位検出部１０５は、検出した部位を示す情報と、読み出した動画像データとを第１の動作特徴抽出部１０２ａに出力する。第１の動作特徴抽出部１０２ａは、ステップＳＴ３１で読み出された動画像データから、ステップＳＴ３２で検出された作業者の部位毎に、動作の軌跡特徴を抽出する（ステップＳＴ２ａ）。第１の動作特徴抽出部１０２ａは、作業者の部位毎の動作の軌跡特徴を動作特徴学習部１０３ａに出力する。
【００４８】
動作特徴学習部１０３ａは、作業者の部位毎に、基準となる複数の軌跡特徴を決定する（ステップＳＴ３ａ）。動作特徴学習部１０３ａは、ステップＳＴ３ａで決定した基準となる複数の軌跡特徴を用いて、作業者の部位毎に動作特徴辞書を作成し、技能判別装置２００Ａの動作特徴辞書格納部２０２に格納する（ステップＳＴ４ａ）。動作特徴学習部１０３ａは、ステップＳＴ５からステップＳＴ７の処理を行い、作業者の部位毎に射影変換行列を生成する（ステップＳＴ８ａ）。判別関数生成部１０４ａは、作業者の部位毎に判別関数を生成する（ステップＳＴ９ａ）。判別関数生成部１０４ａは、生成した判別関数を作業者の部位と紐付けて、技能判別装置２００Ａの判別関数蓄積部２０４に蓄積し（ステップＳＴ１０ａ）、処理を終了する。
【００４９】
次に、技能判別装置２００Ａの動作について説明する。
図１０は、実施の形態２に係る技能判別装置２００Ａの動作を示すフローチャートである。なお、図１０のフローチャートにおいて、図５で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
第２の動作特徴抽出部２０３ａは、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、抽出した軌跡特徴をクラスタリングし、出現頻度に応じたヒストグラムを部位毎に生成する（ステップＳＴ２３ａ）。第２の動作特徴抽出部２０３ａは、ステップＳＴ２３ａで生成したヒストグラムと作業者の部位とを紐付けて技能判別部２０５ａに出力する。技能判別部２０５ａは、判別関数蓄積部２０４に蓄積された部位毎の判別関数により、ステップＳＴ２３ａで生成されたヒストグラムから、作業者の部位毎の技能が熟達しているか否か判別する（ステップＳＴ２４ａ）。技能判別部２０５ａは、ステップＳＴ２４ａにおいて、全ての部位の技能について判別を行うと、判別結果を表示制御部２０６ａに出力する。
【００５０】
表示制御部２０６ａは、ある部位に関して作業中の作業者の技能が熟達している場合（ステップＳＴ２４ａ；ＹＥＳ）、表示装置４００に対して、当該部位に関して熟練した作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２５ａ）。一方、表示制御部２０６ａは、ある部位に関して作業中の作業者の技能が熟達していない場合（ステップＳＴ２４ａ；ＮＯ）、表示装置４００に対して、一般の作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２６ａ）。以上で処理を終了する。なお、技能判別部２０５ａの判別結果が、ある部位に関して技能が熟達しているが、ある部位に関して技能が熟達していないことを示していた場合、表示制御部２０６ａは、ステップＳＴ２５ａおよびステップＳＴ２６ａの双方の処理を行う。
【００５１】
以上のように、この実施の形態２によれば、動画像データから、熟練作業者および一般作業者の撮像された部位を検出する部位検出部１０５を備え、第１の動作特徴抽出部１０２ａが、検出された部位毎に軌跡特徴を抽出し、動作特徴学習部１０３ａが、検出された部位毎にヒストグラムを部位毎に生成して判別学習を行い、判別関数生成部１０４ａが、検出された部位毎に判別関数を生成するように構成したので、作業者の部位毎に、動作特徴を学習することができる。
また、技能判別装置２００Ａにおいて、評価対象の作業者に対して部位毎に情報を提示することができ、詳細な情報の提示が可能となる。
【００５２】
動作特徴学習部１０３，１０３ａが、判別分析において、熟練作業者群と一般的作業者群の２クラス分類を行う際に、クラス間の分散が最大、且つクラス内の分散が最小となる射影軸を計算し、判別境界を決定する構成を示した。スパース正規化項を追加して射影軸を計算すると、影響度の低い要素は重み「０」として学習される。これにより、動作特徴学習部１０３，１０３ａが射影軸を計算する際に、軸の成分が「０」を多く含むようにスパース正規化項を追加して射影軸を計算する構成とすることが可能である。
【００５３】
動作特徴学習部１０３，１０３ａが、スパース正規化項を追加して射影軸を計算することにより、判別境界を決定するのに必要な特徴軌跡が、複数の軌跡の組み合わせという複雑な特徴軌跡の抽出となるのを抑制することができる。そのため、動作特徴学習部１０３は、複数の特徴軌跡の中からより少ない種類の特徴軌跡の組み合わせから、射影軸を計算して判別境界を決定することができる。これにより、技能判別装置２００，２００Ａは、作業者にとって分かりやすい技能レベルの提示を実現することができる。
【００５４】
図１１は、実施の形態１に係る動作学習装置１００においてスパース正則化項を追加した場合の効果を示す図である。
図１１では、実施の形態１の図６Ｃで示した学習結果に対して、スパース正則化項を追加して射影軸を計算して得られた際の、作業空間および軌跡Ｅを示している。図１１Ｄで示した横軸は第３の軌跡特徴Ｃを示し、その他の各軸は各軌跡特徴の出現頻度を表している。軌跡Ｅは、第３の軌跡特徴Ｃに対して平行であり、作業者に熟達した動きを示す軌跡をより分かりやすく表示している。
【００５５】
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００５６】
この発明に係る動作学習装置は、作業者の熟達した動きを学習することができるため、作業者を支援するシステム等に適用し、作業者に熟練した作業者の動きの特徴を教示し、熟練した作業者の技能の伝達を実現するのに適している。
【符号の説明】
【００５７】
１００，１００Ａ  動作学習装置、１０１  動画像データベース、１０２，１０２ａ  第１の動作特徴抽出部、１０３，１０３ａ  動作特徴学習部、１０４，１０４ａ  判別関数生成部、１０５  部位検出部、２００，２００Ａ  技能判別装置、２０１  画像情報取得部、２０２  動作特徴辞書格納部、２０３，２０３ａ  第２の動作特徴抽出部、２０４  判別関数蓄積部、２０５，２０５ａ  技能判別部、２０６，２０６ａ  表示制御部。
【図１】
0006570786.tif 000005
【図２】
0006570786.tif 000006
【図３】
0006570786.tif 000007
【図４】
0006570786.tif 000008
【図５】
0006570786.tif 000009
【図６】
0006570786.tif 000010
【図７】
0006570786.tif 000011
【図８】
0006570786.tif 000012
【図９】
0006570786.tif 000013
【図１０】
0006570786.tif 000014
【図１１】
0006570786.tif 000015