(57)【要約】      （修正有）【課題】蓄積された動作を示す情報の中から、基準となる動作を示す情報を抽出することをより容易にする動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムを提供する。【解決手段】動作分析装置１０は、１又は複数の作業者が所定の動作を１又は複数回行った場合に記録された動作を示す複数の時系列情報を取得する取得部１１と、複数の時系列情報の間の類似度を算出する算出部１４と、類似度に基づいて、複数の時系列情報を複数のクラスタに分類する分類部１５と、複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する選択部１６と、選択された１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出する第１抽出部１７と、を備える。【選択図】図２
2020119164.tif 000002
【特許請求の範囲】
【請求項１】
１又は複数の作業者が所定の動作を１又は複数回行った場合に記録された前記動作を示す複数の時系列情報を取得する取得部と、
前記複数の時系列情報のうち２つの時系列情報の間の類似度を算出する算出部と、
前記類似度に基づいて、前記複数の時系列情報を複数のクラスタに分類する分類部と、
前記複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する選択部と、
選択された前記１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出する第１抽出部と、
を備える動作分析装置。
【請求項２】
前記分類部は、前記類似度が高い順に前記時系列情報をクラスタにまとめる階層的クラスタリングによって、前記複数の時系列情報を前記複数のクラスタに分類する、
請求項１に記載の動作分析装置。
【請求項３】
前記選択部は、前記階層的クラスタリングにより得られた前記複数の時系列情報の樹形図のうち、葉ノードの数が第１閾値以上かつ第２閾値未満の部分木を、前記所定の条件を満たす１又は複数のクラスタとして選択する、
請求項２に記載の動作分析装置。
【請求項４】
前記第１抽出部は、前記所定の条件を満たす１又は複数のクラスタそれぞれの中から、前記時系列情報の長さに基づいて、前記基準となる動作を示す時系列情報を抽出する、
請求項３に記載の動作分析装置。
【請求項５】
前記基準となる動作を示す時系列情報から、１又は複数の特徴点を抽出する第２抽出部と、
前記１又は複数の特徴点に基づいて、動作の分割点を示す情報を前記基準となる動作を示す時系列情報に付与する付与部と、をさらに備える、
請求項１から４のいずれか一項に記載の動作分析装置。
【請求項６】
前記第２抽出部は、前記基準となる動作を示す時系列情報に含まれる第１特徴点を抽出し、前記第１特徴点の前後を抽出対象から除外して、前記基準となる動作を示す時系列情報に含まれる第２特徴点の抽出を行う、
請求項５に記載の動作分析装置。
【請求項７】
前記複数の時系列情報は、前記１又は複数の作業者の複数の部位の速度又は加速度を足し合わせた情報である、
請求項１から６のいずれか一項に記載の動作分析装置。
【請求項８】
１又は複数の作業者が所定の動作を１又は複数回行った場合に記録された前記動作を示す複数の時系列情報を取得することと、
前記複数の時系列情報のうち２つの時系列情報の間の類似度を算出することと、
前記類似度に基づいて、前記複数の時系列情報を複数のクラスタに分類することと、
前記複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択することと、
選択された前記１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出することと、
を含む動作分析方法。
【請求項９】
動作分析装置に備えられた演算部を、
１又は複数の作業者が所定の動作を１又は複数回行った場合に記録された前記動作を示す複数の時系列情報を取得する取得部、
前記複数の時系列情報のうち２つの時系列情報の間の類似度を算出する算出部、
前記類似度に基づいて、前記複数の時系列情報を複数のクラスタに分類する分類部、
前記複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する選択部、及び、
選択された前記１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出する第１抽出部、
として機能させる動作分析プログラム。
【請求項１０】
１又は複数の作業者が所定の動作を１又は複数回行った複数の動画を撮影する撮影部と、
前記複数の動画を取得する取得部と、
前記複数の動画のうち２つの動画の間の類似度を算出する算出部と、
前記類似度に基づいて、前記複数の動画を複数のクラスタに分類する分類部と、
前記複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する選択部と、
選択された前記１又は複数のクラスタから、基準となる動作を示す動画を抽出する第１抽出部と、
を備える動作分析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムに関する。
【背景技術】
【０００２】
従来、製品の製造ラインに１又は複数のカメラを設置して、作業者の動作を画像や動画で記録することがある。また、撮影した画像や動画について画像認識処理を行って、作業者の動作を解析する場合がある。
【０００３】
例えば下記特許文献１には、作業者を監視する監視装置であって、作業者の位置情報および姿勢情報の少なくともいずれか一方と、作業者の人体モデルとに基づいて、作業者の各部位の動作情報を演算し、作業者が作業を行う際の動作モデルと動作情報とに基づいて、作業者の動作が適切であるか否かを判断する監視装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１４６６６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
作業者の動作が適切であるか否かを分析する場合、例えば特許文献１の動作モデルのような基準となる動作情報を用意して、作業者の動作情報と基準となる動作情報とを比較することがある。
【０００６】
ここで、基準となる動作情報は、過去に蓄積された動作情報の中から専門家によって抽出されることがある。その場合、基準となる動作情報を抽出するために多くの時間を要するし、抽出スキルを持った人材を確保することが難しいこともある。
【０００７】
そこで、本発明は、蓄積された動作を示す情報の中から、基準となる動作を示す情報を抽出することをより容易にする動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムを提供する。
【課題を解決するための手段】
【０００８】
本開示の一態様に係る動作分析装置は、１又は複数の作業者が所定の動作を１又は複数回行った場合に記録された動作を示す複数の時系列情報を取得する取得部と、複数の時系列情報のうち２つの時系列情報の間の類似度を算出する算出部と、類似度に基づいて、複数の時系列情報を複数のクラスタに分類する分類部と、複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する選択部と、選択された１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出する第１抽出部と、を備える。
【０００９】
この態様によれば、作業者が行った所定の動作を示す複数の時系列情報を複数のクラスタに分類し、その中から所定の条件を満たす１又は複数のクラスタを選択することで、１又は複数の作業者の標準的な動作を示す時系列情報のクラスタを選択することができ、基準となる動作を示す情報を抽出することがより容易になる。
【００１０】
上記態様において、分類部は、類似度が高い順に時系列情報をクラスタにまとめる階層的クラスタリングによって、複数の時系列情報を複数のクラスタに分類してもよい。
【００１１】
この態様によれば、クラスタリングの初期条件に依存しないように時系列情報を適切にクラスタリングして、基準となる動作を示す情報を抽出することができる。
【００１２】
上記態様において、選択部は、階層的クラスタリングにより得られた複数の時系列情報の樹形図のうち、葉ノードの数が第１閾値以上かつ第２閾値未満の部分木を、所定の条件を満たす１又は複数のクラスタとして選択してもよい。
【００１３】
この態様によれば、外れ値を除外しつつ、基準となる動作を示す時系列情報の候補を絞り込むことができる。
【００１４】
上記態様において、第１抽出部は、所定の条件を満たす１又は複数のクラスタそれぞれの中から、時系列情報の長さに基づいて、基準となる動作を示す時系列情報を抽出してもよい。
【００１５】
この態様によれば、基準となる動作を示す時系列情報の候補から、不要な動作が含まれていない蓋然性が高い時系列情報を、基準となる動作を示す時系列情報として抽出することができる。
【００１６】
上記態様において、基準となる動作を示す時系列情報から、１又は複数の特徴点を抽出する第２抽出部と、１又は複数の特徴点に基づいて、動作の分割点を示す情報を基準となる動作を示す時系列情報に付与する付与部と、をさらに備えてもよい。
【００１７】
この態様によれば、基準となる時系列情報が示す作業者の動作について、動作の分割点を明らかにすることができ、他の時系列情報と比較する場合に動作毎の比較が行えるようになる。
【００１８】
上記態様において、第２抽出部は、基準となる動作を示す時系列情報に含まれる第１特徴点を抽出し、第１特徴点の前後を抽出対象から除外して、基準となる動作を示す時系列情報に含まれる第２特徴点の抽出を行ってもよい。
【００１９】
この態様によれば、動作の分割点をより精度良く抽出することができる。
【００２０】
上記態様において、複数の時系列情報は、１又は複数の作業者の複数の部位の速度又は加速度を足し合わせた情報であってもよい。
【００２１】
この態様によれば、作業者の複数の部位の動きを単一の時系列情報によって表し、複数の部位の動きについて基準となる情報を抽出することができる。
【００２２】
本開示の他の態様に係る動作分析方法は、１又は複数の作業者が所定の動作を１又は複数回行った場合に記録された動作を示す複数の時系列情報を取得することと、複数の時系列情報のうち２つの時系列情報の間の類似度を算出することと、類似度に基づいて、複数の時系列情報を複数のクラスタに分類することと、複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択することと、選択された１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出することと、を含む。
【００２３】
この態様によれば、作業者が行った所定の動作を示す複数の時系列情報を複数のクラスタに分類し、その中から所定の条件を満たす１又は複数のクラスタを選択することで、１又は複数の作業者の標準的な動作を示す時系列情報のクラスタを選択することができ、基準となる動作を示す情報を抽出することがより容易になる。
【００２４】
本開示の他の態様に係る動作分析プログラムは、動作分析装置に備えられた演算部を、１又は複数の作業者が所定の動作を１又は複数回行った場合に記録された動作を示す複数の時系列情報を取得する取得部、複数の時系列情報のうち２つの時系列情報の間の類似度を算出する算出部、類似度に基づいて、複数の時系列情報を複数のクラスタに分類する分類部、複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する選択部、及び、選択された１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出する第１抽出部、として機能させる。
【００２５】
この態様によれば、作業者が行った所定の動作を示す複数の時系列情報を複数のクラスタに分類し、その中から所定の条件を満たす１又は複数のクラスタを選択することで、１又は複数の作業者の標準的な動作を示す時系列情報のクラスタを選択することができ、基準となる動作を示す情報を抽出することがより容易になる。
【００２６】
本開示の他の態様に係る動作分析システムは、１又は複数の作業者が所定の動作を１又は複数回行った複数の動画を撮影する撮影部と、複数の動画を取得する取得部と、複数の動画のうち２つの動画の間の類似度を算出する算出部と、類似度に基づいて、複数の動画を複数のクラスタに分類する分類部と、複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する選択部と、選択された１又は複数のクラスタから、基準となる動作を示す動画を抽出する第１抽出部と、を備える。
【００２７】
この態様によれば、作業者が行った所定の動作を示す複数の時系列情報を複数のクラスタに分類し、その中から所定の条件を満たす１又は複数のクラスタを選択することで、１又は複数の作業者の標準的な動作を示す時系列情報のクラスタを選択することができ、基準となる動作を示す情報を抽出することがより容易になる。
【発明の効果】
【００２８】
本発明によれば、蓄積された動作を示す情報の中から、基準となる動作を示す情報を抽出することをより容易にする動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムを提供することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態に係る動作分析システムの概要を示す図である。
【図２】本実施形態に係る動作分析システムの機能ブロックを示す図である。
【図３】本実施形態に係る動作分析装置の物理的構成を示す図である。
【図４】本実施形態に係る動作分析装置により選択される樹形図の第１例を示す図である。
【図５】本実施形態に係る動作分析装置により選択される樹形図の第２例を示す図である。
【図６】本実施形態に係る動作分析装置により選択される樹形図の第３例を示す図である。
【図７】本実施形態に係る動作分析装置により実行される基準動作情報の抽出処理のフローチャートである。
【図８】本実施形態に係る動作分析システムにより抽出される特徴点及び設定されるマスクの第１例を示す図である。
【図９】本実施形態に係る動作分析システムにより抽出される特徴点及び設定されるマスクの第２例を示す図である。
【図１０】本実施形態に係る動作分析装置により実行される動作分割処理のフローチャートである。
【発明を実施するための形態】
【００３０】
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００３１】
§１  適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。本実施形態に係る動作分析システム１００は、ある作業領域Ｒにおいて実行される作業者の動作を示す動画を撮影する第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃを備える。本例の作業領域Ｒは、製造ライン全体を含む領域であるが、作業領域Ｒは、任意の領域であってよく、例えば所定の工程が行われる領域であったり、所定の要素動作が行われる領域であったりしてよい。ここで、要素動作とは、作業者により実行される一単位の動作であり、例えば、部品のピッキング、部品の配置、部品の固定、製品の梱包といった動作を含む。本実施形態では、作業領域Ｒにおいて３つの工程が行われ、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、それぞれ所定の工程を実行する作業者の手元の動画を撮影するものであってよい。
【００３２】
本例では、第１作業者Ａ１及び第２作業者Ａ２が、作業領域Ｒにおいて、予め定められた動作を行う場合について説明する。第１作業者Ａ１は、例えば第１部品のピッキング、配置、固定といった動作を実行し、第２作業者Ａ２は、例えば第２部品のピッキング、配置、固定といった動作を実行することができる。以下では、第１作業者Ａ１及び第２作業者Ａ２を総称して作業者Ａと記載する。
【００３３】
動作分析システム１００は、動作分析装置１０を含む。動作分析装置１０は、１又は複数の作業者Ａが所定の動作を１又は複数回行った場合に記録された、動作を示す複数の時系列情報のうち２つの時系列情報の間の類似度を算出する算出部を備える。ここで、動作分析装置１０は、複数の時系列情報から２つの時系列情報を選ぶ全ての組み合わせについて、２つの時系列情報の間の類似度を算出してよい。また、動作分析装置１０は、算出した類似度に基づいて、複数の時系列情報を複数のクラスタに分類する分類部と、複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する選択部と、選択された１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出する第１抽出部と、を備える。さらに、動作分析装置１０は、抽出した基準となる動作を示す時系列情報を表示する表示部１０ｆを備える。ここで、類似度は、２つの時系列情報がどの程度類似するかを示す尺度である。２つの時系列情報の間の類似度は、例えばＤＴＷ（Dynamic Time Warping）の方法で算出されてよい。また、クラスタを選択するための所定の条件は、クラスタの大きさが第１閾値以上かつ第２閾値未満であるという条件であってよい。ここで、第１閾値及び第２閾値は、予め定められてよい。
【００３４】
基準となる動作は、１又は複数の作業者の標準的な動作であってよい。動作分析装置１０は、作業者が行った所定の動作を示す複数の時系列情報を複数のクラスタに分類し、その中から所定の条件を満たす１又は複数のクラスタを選択することで、１又は複数の作業者の標準的な動作を示す時系列情報のクラスタを選択することができる。さらに、動作分析装置１０は、選択された１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出する。
【００３５】
このように、本実施形態に係る動作分析装置１０によれば、蓄積された動作を示す情報の中から、基準となる動作を示す情報を抽出することができる。これにより、過去に蓄積された動作情報の中から基準となる動作を示す情報を抽出するスキルを持った専門家がいない場合であっても、基準となる動作を示す情報を適切に生成することができる。また、基準となる動作を示す情報を短時間のうちに生成することができる。
【００３６】
§２  構成例
［機能構成］
次に、図２を用いて、本実施形態に係る動作分析システム１００の機能構成の一例を説明する。動作分析システム１００は、第１撮影部２０ａ、第２撮影部２０ｂ、第３撮影部２０ｃ及び動作分析装置１０を備える。そして、動作分析装置１０は、取得部１１、解析部１２、記憶部１３、算出部１４、分類部１５、選択部１６、第１抽出部１７、第２抽出部１８、付与部１９及び表示部１０ｆを備える。
【００３７】
＜撮影部＞
第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、それぞれ汎用のカメラによって構成されてよく、作業領域Ｒにおいて第１作業者Ａ１及び第２作業者Ａ２が動作を実行している場面を含む動画を撮影してよい。第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、それぞれ作業領域Ｒの一部を撮影してよく、作業領域Ｒよりも狭い領域の動画を撮影してよい。具体的には、第１作業者Ａ１及び第２作業者Ａ２により実行される動作をクローズアップした動画を撮影してよい。第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、例えば、第１作業者Ａ１及び第２作業者Ａ２の手元をクローズアップした動画を撮影してよい。
【００３８】
また、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、作業領域Ｒの複数の部分をそれぞれ撮影した複数の動画を撮影してよい。例えば、第１撮影部２０ａは、主に第１作業者Ａ１が動作を実行している動画を撮影し、第３撮影部２０ｃは、主に第２作業者Ａ２が動作を実行している動画を撮影し、第２撮影部２０ｂは、第１作業者Ａ１が動作を実行している動画及び第２作業者Ａ２が動作を実行している動画の両方を撮影してよい。また、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、作業領域Ｒにおける複数の位置でそれぞれ異なる工程が実行される動画を撮影してよい。
【００３９】
＜取得部＞
取得部１１は、１又は複数の作業者Ａが所定の動作を１又は複数回行った場合に記録された、作業者Ａの動作を示す複数の時系列情報を取得する。ここで、時系列情報は、作業者Ａの動作を示す動画であってよい。もっとも、時系列情報は、モーションキャプチャにより測定された作業者Ａの動作を示す座標値に関する情報であったり、加速度センサやジャイロセンサを作業者Ａに装着させることで測定される作業者Ａの動作を示す情報であったりしてもよい。また、時系列情報は、作業者Ａの動作を示す動画を解析して得られる数値情報であってもよい。取得部１１により取得された時系列情報（本例では動画）は、記憶部１３に伝送され、動画履歴１３ａとして記憶される。
【００４０】
＜解析部＞
解析部１２は、作業者Ａの動作を示す動画を解析し、作業者Ａの動作を示す座標値を含む動作情報を算出する。動作情報は、作業者Ａの身体の代表的な位置の変位を示す情報であってよい。作業者の身体の代表的な位置は、身体の１つの位置であってもよいが、典型的には複数あってよい。動作情報は、作業者Ａの関節の位置を骨格モデルによって示す情報であってよい。解析部１２は、例えば、Zhe Cao、外３名、"Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", arXiv:1611.08050, 2016により開示された技術を用いて、動画から作業者Ａの動作を示す座標値を含む動作情報を算出してよい。なお、加速度センサやジャイロセンサを作業者Ａに装着させて作業者Ａの動作を示す情報を測定する場合、解析部１２によって動画から作業者Ａの動作を示す座標値を含む動作情報を算出する処理は不要となる。
【００４１】
複数の時系列情報は、１又は複数の作業者Ａの複数の部位の速度又は加速度を足し合わせた情報であってよい。解析部１２によって作業者Ａの動作を示す座標値を算出する場合、座標ベクトルを時間に関して微分することで、作業者Ａの複数の部位の速度ベクトル又は加速度ベクトルを算出してよく、作業者Ａの複数の部位の速度ベクトル又は加速度ベクトルを足し合わせて時系列情報を算出してよい。これにより、作業者Ａの複数の部位の動きを単一の時系列情報によって表し、複数の部位の動きについて基準となる情報を抽出することができる。
【００４２】
１又は複数の作業者Ａの複数の部位は、１又は複数の作業者Ａの両手を含んでよい。この場合、時系列情報は、作業者Ａの両手の速度又は加速度を足し合わせた情報であってよい。ここで、両手の座標は、手の特定の関節の座標であったり、手の甲の座標であったりしてよい。これにより、作業者Ａの両手の動きについて、基準となる動作を示す情報を抽出することができる。
【００４３】
＜記憶部＞
記憶部１３は、動画履歴１３ａ、動作情報履歴１３ｂ及び基準動作情報１３ｃを記憶する。動画履歴１３ａは、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃにより撮影された動画の履歴を含む。動作情報履歴１３ｂは、解析部１２により算出された動作情報の履歴を含む。ここで、動作情報履歴１３ｂは、作業者毎に記憶されてもよい。基準動作情報１３ｃは、基準となる動作を示す時系列情報を含む基準動作情報の履歴を含む。基準動作情報は、動作情報履歴１３ｂから第１抽出部１７により抽出される。また、基準動作情報は、基準となる動作を示す時系列情報に付与された動作の分割点を示す情報を含んでよい。
【００４４】
＜算出部＞
算出部１４は、複数の時系列情報のうち２つの時系列情報の間の類似度を算出する。算出部１４は、複数の時系列情報から２つの時系列情報を選ぶ全ての組み合わせについて、２つの時系列情報の間の類似度をＤＴＷの方法で算出してよい。もっとも、算出部１４は、ＤＴＷ以外の任意の方法で、複数の時系列情報の間の類似度を算出してもよい。
【００４５】
＜分類部＞
分類部１５は、算出部１４により算出された類似度に基づいて、複数の時系列情報を複数のクラスタに分類する。分類部１５は、類似度が高い時系列情報を同じクラスタに分類し、類似度が低い時系列情報を異なるクラスタに分類してよい。分類部１５は、類似度が高い順に時系列情報をクラスタにまとめる階層的クラスタリングによって、複数の時系列情報を複数のクラスタに分類してよい。階層的クラスタリングを用いることで、例えばｋ−ｍｅａｎｓ法を用いる場合と比較して、初期条件に依存しないように時系列情報を適切にクラスタリングして、基準となる動作を示す情報を抽出することができる。
【００４６】
＜選択部＞
選択部１６は、複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する。選択部１６は、複数のクラスタのうち、クラスタの大きさが第１閾値以上かつ第２閾値未満である１又は複数のクラスタを選択してよい。より具体的には、分類部１５によって複数の時系列情報を階層的クラスタリングによって複数のクラスタに分類した場合に、選択部１６は、階層的クラスタリングにより得られた樹形図のうち、葉ノードの数が第１閾値以上かつ第２閾値未満の部分木を、所定の条件を満たす１又は複数のクラスタとして選択してよい。これにより、外れ値を除外しつつ、基準となる動作を示す時系列情報の候補を絞り込むことができる。
【００４７】
＜第１抽出部＞
第１抽出部１７は、選択された１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出する。第１抽出部１７は、所定の条件を満たす１又は複数のクラスタそれぞれの中から、基準となる動作を示す時系列情報を無作為に抽出してよい。第１抽出部１７は、例えば疑似乱数を用いて、所定の条件を満たす１又は複数のクラスタそれぞれの中から、基準となる動作を示す時系列情報を無作為に抽出してよい。これにより、基準となる動作を示す時系列情報の候補から、基準となる動作を示す時系列情報を偏りなく抽出することができる。もっとも、第１抽出部１７は、他の抽出基準により、選択された１又は複数のクラスタから基準となる動作を示す時系列情報を抽出してもよい。
【００４８】
第１抽出部１７は、所定の条件を満たす１又は複数のクラスタそれぞれの中から、時系列情報の長さに基づいて基準となる動作を示す時系列情報を抽出してもよい。第１抽出部１７は、例えば、長さが最小である時系列情報を、基準となる動作を示す時系列情報として抽出してよい。なお、時系列情報の長さは、時系列情報のファイルサイズによって規定してよい。これにより、不要な動作が含まれていない蓋然性が高い時系列情報を、基準となる動作を示す時系列情報として抽出することができる。
【００４９】
本実施形態に係る動作分析装置１０によれば、作業者Ａが行った所定の動作を示す複数の時系列情報を複数のクラスタに分類し、その中から所定の条件を満たす１又は複数のクラスタを選択することで、１又は複数の作業者の標準的な動作を示す時系列情報のクラスタを選択することができ、基準となる動作を示す情報を抽出することができる。
【００５０】
＜第２抽出部＞
第２抽出部１８は、基準となる動作を示す時系列情報から、１又は複数の特徴点を抽出する。第２抽出部１８は、記憶部１３に記憶された基準動作情報１３ｃを取得し、基準となる動作を示す時系列情報から、１又は複数の特徴点を抽出してよい。ここで、特徴点は、時系列情報における抽出可能な特徴を表す点であればどのようなものであってもよいが、例えば、時系列情報を時間軸上にプロットしてグラフで表現した場合のピーク（時系列情報のグラフの極大点及び極小点）であってよい。このような特徴点は、例えば、作業者がある部位（手など）の移動方向や移動速度を急峻に変化させる動作が行われた時刻に対応する。また、抽出された１又は複数の特徴点は、それぞれ特定の時刻に対応する。なお、第２抽出部１８によって時系列情報から特徴点を抽出する場合、時系列情報は、モーションキャプチャにより測定された作業者Ａの動作を示す座標値に関する情報であったり、作業者Ａの動作を示す動画を解析して得られる数値情報であったりしてよい。
【００５１】
第２抽出部１８は、基準となる動作を示す時系列情報に含まれる第１特徴点を抽出し、第１特徴点の前後を抽出対象から除外して、基準となる動作を示す時系列情報に含まれる第２特徴点の抽出を行ってもよい。すなわち、第２抽出部１８は、抽出された特徴点の前後を抽出対象から除外して、他の特徴点の抽出を行ってよい。第２抽出部１８は、特徴点を抽出し、その特徴点の前後を抽出対象から除外し、他の特徴点を抽出する処理を、時系列情報全体が抽出対象から除外されるか又は所定数の特徴点が抽出されるまで繰り返してもよい。抽出した特徴点の前後を抽出対象から除外することで、ノイズを特徴点として誤って抽出することが防止され、動作の分割点をより精度良く抽出することができる。
【００５２】
＜付与部＞
付与部１９は、第２抽出部１８により抽出された１又は複数の特徴点に基づいて、動作の分割点を示す情報を基準となる動作を示す時系列情報に付与する。動作の分割点を示す情報は、どのような態様のものであってもよいが、例えば、時系列情報のフレームに紐付いた分割ＩＤであってよい。このようにして、基準となる時系列情報が示す作業者の動作について、動作の分割点を明らかにすることができ、他の時系列情報と比較する場合に動作毎の比較が行えるようになる。
【００５３】
［ハードウェア構成］
次に、図３を用いて、本実施形態に係る動作分析装置１０のハードウェア構成の一例を説明する。動作分析装置１０は、演算装置に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部１３に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部１３に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では動作分析装置１０が一台のコンピュータで構成される場合について説明するが、動作分析装置１０は、複数のコンピュータを用いて実現されてもよい。
【００５４】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、複数の時系列情報から基準となる動作を示す時系列情報を抽出するプログラム（動作分析プログラム）を実行する演算装置である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
【００５５】
ＲＡＭ１０ｂは、記憶部１３のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する動作分析プログラムや、動画履歴１３ａ、動作情報履歴１３ｂ及び基準動作情報１３ｃといったデータを記憶する。
【００５６】
ＲＯＭ１０ｃは、記憶部１３のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば動作分析プログラムや、書き換えが行われないデータを記憶する。
【００５７】
通信部１０ｄは、動作分析装置１０を外部機器に接続するインターフェースである。通信部１０ｄは、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃと例えばＬＡＮ（Local Area Network）により接続されて、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃから動画を受信してよい。また、通信部１０ｄは、インターネットに接続されて、インターネットを介して動画を受信したり、動作情報を受信したりしてもよい。また、通信部１０ｄは、インターネットを介して、抽出した時系列情報を外部機器に送信してもよい。
【００５８】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード、マウス及びタッチパネルを含んでよい。
【００５９】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。
【００６０】
動作分析プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。動作分析装置１０では、ＣＰＵ１０ａが動作分析プログラムを実行することにより、図２を用いて説明した取得部１１、解析部１２、算出部１４、分類部１５、選択部１６、第１抽出部１７、第２抽出部１８及び付与部１９の動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、動作分析装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
【００６１】
§３  動作例
図４は、本実施形態に係る動作分析装置１０により選択される樹形図ＤＧの第１例を示す図である。樹形図ＤＧは、類似度が高い順に複数の時系列情報をクラスタにまとめる階層的クラスタリングによって生成される。本例では、複数の時系列情報は４４あり、第１時系列情報Ｄ１、第２時系列情報Ｄ２〜第４４時系列情報Ｄ４４として図示されており、樹形図ＤＧの葉ノードを構成する。
【００６２】
動作分析装置１０の選択部１６は、階層的クラスタリングにより得られた第１時系列情報Ｄ１〜第４４時系列情報Ｄ４４の樹形図ＤＧのうち、葉ノードの数が第１閾値以上かつ第２閾値未満の部分木を、所定の条件を満たす１又は複数のクラスタとして選択する。本例では、第１閾値を５として、第２閾値を１０としている。
【００６３】
選択部１６は、樹形図ＤＧを最上位で二分割して、部分木である第１樹形図ＤＧ１及び第２樹形図ＧＤ２を特定する。そして、選択部１６は、第１樹形図ＤＧ１及び第２樹形図ＧＤ２に含まれる葉ノードの数が第１閾値（本例では５）以上かつ第２閾値（本例では１０）未満であるかを判定する。第１樹形図ＤＧ１に含まれる葉ノードの数は１であり、第２樹形図ＤＧ２に含まれる葉ノードの数は４３であるから、いずれも条件を満たさない。よって、選択部１６は、第１樹形図ＤＧ１及び第２樹形図ＧＤ２を所定の条件を満たす１又は複数のクラスタとして選択しない。
【００６４】
図５は、本実施形態に係る動作分析装置１０により選択される樹形図ＤＧの第２例を示す図である。動作分析装置１０の選択部１６は、葉ノードの数が第１閾値（本例では５）以上かつ第２閾値（本例では１０）未満でないが、葉ノードの数が第１閾値以上である第２樹形図ＧＤ２を最上位で二分割して、部分木である第３樹形図ＤＧ３及び第４樹形図ＧＤ４を特定する。第３樹形図ＤＧ３は、第２時系列情報Ｄ２から第２２時系列情報Ｄ２２を葉ノードとして含む。第４樹形図ＤＧ４は、第２３時系列情報Ｄ２３から第４４時系列情報Ｄ４４を葉ノードとして含む。
【００６５】
選択部１６は、第３樹形図ＤＧ３及び第４樹形図ＧＤ４に含まれる葉ノードの数が第１閾値（本例では５）以上かつ第２閾値（本例では１０）未満であるかを判定する。第３樹形図ＤＧ３に含まれる葉ノードの数は２１であり、第４樹形図ＤＧ４に含まれる葉ノードの数は２２であるから、いずれも条件を満たさない。よって、選択部１６は、第３樹形図ＤＧ３及び第４樹形図ＧＤ４を所定の条件を満たす１又は複数のクラスタとして選択しない。
【００６６】
図６は、本実施形態に係る動作分析装置１０により選択される樹形図ＤＧの第３例を示す図である。動作分析装置１０の選択部１６は、樹形図の最上位を二分割する処理を繰り返し、葉ノードの数が第１閾値（本例では５）以上かつ第２閾値（本例では１０）未満の部分木である第５樹形図ＤＧ５、第６樹形図ＧＤ６及び第７樹形図ＧＤ７を、所定の条件を満たす１又は複数のクラスタとして選択する。第５樹形図ＤＧ５は、第８時系列情報Ｄ８から第１２時系列情報Ｄ１２を葉ノードとして含む。第５樹形図ＤＧ５に含まれる葉ノードの数は５であり、第１閾値以上かつ第２閾値未満という条件を満たす。第６樹形図ＤＧ６は、第１３時系列情報Ｄ１３から第２１時系列情報Ｄ２１を葉ノードとして含む。第６樹形図ＤＧ６に含まれる葉ノードの数は９であり、第１閾値以上かつ第２閾値未満という条件を満たす。第７樹形図ＤＧ７は、第３６時系列情報Ｄ３６から第４４時系列情報Ｄ４４を葉ノードとして含む。第７樹形図ＤＧ７に含まれる葉ノードの数は９であり、第１閾値以上かつ第２閾値未満という条件を満たす。
【００６７】
第１抽出部１７は、所定の条件を満たす１又は複数のクラスタそれぞれの中から、無作為に基準となる動作を示す時系列情報を抽出する。第１抽出部１７は、所定の条件を満たす１又は複数のクラスタそれぞれの中から、長さが最小の時系列情報を基準となる動作を示す時系列情報として抽出してもよい。本例の場合、第１抽出部１７は、第５樹形図ＤＧ５、第６樹形図ＧＤ６及び第７樹形図ＧＤ７それぞれの中から、無作為に基準となる動作を示す時系列情報をそれぞれ１つずつ抽出する。本例では、第１抽出部１７は、第５樹形図ＤＧ５の中から第８時系列情報Ｄ８を基準となる動作を示す時系列情報として抽出し、第６樹形図ＧＤ６の中から第１３時系列情報Ｄ１３を基準となる動作を示す時系列情報として抽出し、第７樹形図ＧＤ７の中から第４０時系列情報Ｄ４０を基準となる動作を示す時系列情報として抽出している。このようにして、１又は複数の作業者Ａの標準的な動作を示す時系列情報のクラスタを選択し、基準となる動作を示す情報を抽出することができる。
【００６８】
図７は、本実施形態に係る動作分析装置１０により実行される基準動作情報の抽出処理のフローチャートである。はじめに、動作分析装置１０は、作業者Ａが所定の動作を行う場合の動画を取得する（Ｓ１０）。
【００６９】
動作分析装置１０は、動画に基づいて、作業者Ａが行った動作を示す座標値を含む動作情報を算出する（Ｓ１１）。ここで、動作情報は、作業者Ａの動作を示す時系列情報の一例である。そして、動作分析装置１０は、複数の動作情報の間の類似度を算出する（Ｓ１２）。
【００７０】
さらに、動作分析装置１０は、類似度が大きい順に動作情報をクラスタにまとめる階層的クラスタリングを実行する（Ｓ１３）。動作分析装置１０は、階層的クラスタリングにより得られた樹形図を二分割していき、葉ノードの数が第１閾値以上かつ第２閾値未満の部分木を選択する（Ｓ１４）。そして、動作分析装置１０は、選択されたクラスタから基準となる動作情報を無作為に抽出する（Ｓ１５）。抽出された動作情報は、基準動作情報１３ｃとして記憶部１３に記憶される。
【００７１】
最後に、動作分析装置１０は、基準動作情報及びその動画を表示部１０ｆに表示する（Ｓ１６）。なお、基準動作情報及びその動画は、必ずしも表示部１０ｆに表示されなくてもよいし、通信部１０ｄを介して外部機器に送信されてもよい。以上により、抽出処理が終了する。
【００７２】
図８は、本実施形態に係る動作分析システム１００により抽出される特徴点及び設定されるマスクの第１例を示す図である。同図では、縦軸に右手の速度と左手の速度を足し合わせた値を無次元で示し、横軸に時間を無次元で示した基準動作情報Ｒ１のグラフの一例を図示している。
【００７３】
動作分析装置１０の第２抽出部１８は、基準動作情報Ｒ１から、第１特徴点Ｐ１を抽出する。第２抽出部１８は、基準動作情報Ｒ１の値である右手の速度と左手の速度を足し合わせた値の絶対値が最大となる点を第１特徴点Ｐ１として抽出している。
【００７４】
第２抽出部１８は、第１特徴点Ｐ１の前後を抽出対象から除外して、基準動作情報Ｒ１に含まれる第２特徴点の抽出を行う。本例では、第２抽出部１８は、第１特徴点Ｐ１の前後区間を覆う第１マスクＭ１を設定することで、第１特徴点Ｐ１の前後を抽出対象から除外している。
【００７５】
図９は、本実施形態に係る動作分析システム１００により抽出される特徴点及び設定されるマスクの第２例を示す図である。同図では、図８に示す第１特徴点Ｐ１が抽出され、第１マスクＭ１が設定された後に、第２抽出部１８によって抽出される第２特徴点Ｐ２を図示している。
【００７６】
第２抽出部１８は、第１マスクＭ１が設定された範囲を抽出対象から除外して、基準動作情報Ｒ１に含まれる第２特徴点Ｐ２の抽出を行う。第２抽出部１８は、第１マスクＭ１が設定された範囲を抽出対象から除外した上で、基準動作情報Ｒ１の絶対値が最大となる点を第２特徴点Ｐ２として抽出している。
【００７７】
第２抽出部１８は、第２特徴点Ｐ２の前後を抽出対象から除外して、基準動作情報Ｒ１に含まれる第３特徴点の抽出を行う。本例では、第２抽出部１８は、第２特徴点Ｐ２の前後区間を覆う第２マスクＭ２を設定することで、第２特徴点Ｐ２の前後を抽出対象から除外している。第２抽出部１８は、基準動作情報Ｒ１の全域にマスクが設定されるか又は抽出された特徴点の数が所定数となるまで、抽出処理を繰り返す。
【００７８】
付与部１９は、抽出された１又は複数の特徴点に基づいて、動作の分割点を示す情報を基準動作情報Ｒ１に付与する。本例の場合、付与部１９は、第１特徴点Ｐ１及び第２特徴点Ｐ２に基づいて、動作の分割点を示す少なくとも２点の情報を基準動作情報Ｒ１に付与する。このようにして、基準動作情報Ｒ１が示す作業者Ａの動作について、動作の分割点を明らかにすることができ、他の動作情報と比較する場合に動作毎の比較が行えるようになる。
【００７９】
図１０は、本実施形態に係る動作分析装置１０により実行される動作分割処理のフローチャートである。はじめに、動作分析装置１０は、基準動作情報の抽出範囲から、最大ピーク点を特徴点として抽出する（Ｓ２０）。ここで、最大ピーク点とは、基準動作情報の値の絶対値が最大となる点である。
【００８０】
次に、動作分析装置１０は、特徴点の前後を抽出対象から除外するマスクを設定する（Ｓ２１）。そして、動作分析装置１０は、所定数の特徴点を抽出したか又は全範囲にマスクが設定されたかを判定する（Ｓ２２）。所定数の特徴点を抽出しておらず、かつ、全範囲にマスクが設定されていない場合（Ｓ２２：ＮＯ）、動作分析装置１０は、基準動作情報の抽出範囲から最大ピーク点を特徴点として抽出し（Ｓ２０）、特徴点の前後を抽出対象から除外するマスクを設定する処理（Ｓ２１）を繰り返す。
【００８１】
一方、所定数の特徴点を抽出したか又は全範囲にマスクが設定された場合（Ｓ２２：ＹＥＳ）、動作分析装置１０は、基準動作情報及び特徴点を表示部１０ｆに表示し（Ｓ２３）、特徴点の修正を受け付ける（Ｓ２４）。特徴点の修正は、抽出された特徴点の間引きであったり、特徴点の追加であったりしてよい。
【００８２】
最後に、動作分析装置１０は、抽出された特徴点に基づき、基準動作情報に動作の分割点を示す情報を付与して記憶部１３に記憶する（Ｓ２５）。以上により、動作分割処理が終了する。
【００８３】
本発明の実施形態は、以下の付記のようにも記載され得る。ただし、本発明の実施形態は、以下の付記に記載した形態に限定されない。また、本発明の実施形態は、付記間の記載を置換したり、組み合わせたりした形態であってもよい。
【００８４】
［付記１］
１又は複数の作業者が所定の動作を１又は複数回行った場合に記録された前記動作を示す複数の時系列情報を取得する取得部（１１）と、
前記複数の時系列情報の間の類似度を算出する算出部（１４）と、
前記類似度に基づいて、前記複数の時系列情報を複数のクラスタに分類する分類部（１５）と、
前記複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する選択部（１６）と、
選択された前記１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出する第１抽出部（１７）と、
を備える動作分析装置（１０）。
【００８５】
［付記２］
前記分類部（１５）は、前記類似度が高い順に前記時系列情報をクラスタにまとめる階層的クラスタリングによって、前記複数の時系列情報を前記複数のクラスタに分類する、
請求項１に記載の動作分析装置（１０）。
【００８６】
［付記３］
前記選択部（１６）は、前記階層的クラスタリングにより得られた前記複数の時系列情報の樹形図のうち、葉ノードの数が第１閾値以上かつ第２閾値未満の部分木を、前記所定の条件を満たす１又は複数のクラスタとして選択する、
請求項２に記載の動作分析装置（１０）。
【００８７】
［付記４］
前記第１抽出部（１７）は、前記所定の条件を満たす１又は複数のクラスタそれぞれの中から、前記時系列情報の長さに基づいて、前記基準となる動作を示す時系列情報を抽出する、
請求項３に記載の動作分析装置（１０）。
【００８８】
［付記５］
前記基準となる動作を示す時系列情報から、１又は複数の特徴点を抽出する第２抽出部（１８）と、
前記１又は複数の特徴点に基づいて、動作の分割点を示す情報を前記基準となる動作を示す時系列情報に付与する付与部（１９）と、をさらに備える、
請求項１から４のいずれか一項に記載の動作分析装置（１０）。
【００８９】
［付記６］
前記第２抽出部（１８）は、前記基準となる動作を示す時系列情報に含まれる第１特徴点を抽出し、前記第１特徴点の前後を抽出対象から除外して、前記基準となる動作を示す時系列情報に含まれる第２特徴点の抽出を行う、
請求項５に記載の動作分析装置（１０）。
【００９０】
［付記７］
前記複数の時系列情報は、前記１又は複数の作業者の複数の部位の速度又は加速度を足し合わせた情報である、
請求項１から６のいずれか一項に記載の動作分析装置（１０）。
【００９１】
［付記８］
前記複数の部位は、前記１又は複数の作業者の両手を含む、
請求項７に記載の動作分析装置（１０）。
【００９２】
［付記９］
１又は複数の作業者が所定の動作を１又は複数回行った場合に記録された前記動作を示す複数の時系列情報を取得することと、
前記複数の時系列情報の間の類似度を算出することと、
前記類似度に基づいて、前記複数の時系列情報を複数のクラスタに分類することと、
前記複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択することと、
選択された前記１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出することと、
を含む動作分析方法。
【００９３】
［付記１０］
動作分析装置（１０）に備えられた演算部を、
１又は複数の作業者が所定の動作を１又は複数回行った場合に記録された前記動作を示す複数の時系列情報を取得する取得部（１１）、
前記複数の時系列情報の間の類似度を算出する算出部（１４）、
前記類似度に基づいて、前記複数の時系列情報を複数のクラスタに分類する分類部（１５）、
前記複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する選択部（１６）、及び、
選択された前記１又は複数のクラスタから、基準となる動作を示す時系列情報を抽出する第１抽出部（１７）、
として機能させる動作分析プログラム。
【００９４】
［付記１１］
１又は複数の作業者が所定の動作を１又は複数回行った複数の動画を撮影する撮影部（２０ａ，２０ｂ，２０ｃ）と、
前記複数の動画を取得する取得部（１１）と、
前記複数の動画の間の類似度を算出する算出部（１４）と、
前記類似度に基づいて、前記複数の動画を複数のクラスタに分類する分類部（１５）と、
前記複数のクラスタのうち所定の条件を満たす１又は複数のクラスタを選択する選択部（１６）と、
選択された前記１又は複数のクラスタから、基準となる動作を示す動画を抽出する第１抽出部（１７）と、
を備える動作分析システム（１００）。
【符号の説明】
【００９５】
１０…動作分析装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１０ｇ…動作分析装置、１１…取得部、１２…解析部、１３…記憶部、１３ａ…動画履歴、１３ｂ…動作情報履歴、１３ｃ…基準動作情報、１４…算出部、１５…分類部、１６…選択部、１７…第１抽出部、１８…第２抽出部、１９…付与部、２０ａ…第１撮影部、２０ｂ…第２撮影部、２０ｃ…第３撮影部、１００…動作分析システム、Ｄ１〜Ｄ４４…第１〜第４４時系列情報、ＤＧ…樹形図、ＤＧ１…第１樹形図、ＤＧ２…第２樹形図、ＤＧ３…第３樹形図、ＤＧ４…第４樹形図、ＤＧ５…第５樹形図、ＤＧ６…第６樹形図、ＤＧ７…第７樹形図、Ｒ…作業領域、Ｒ１…基準動作情報、Ｍ１…第１マスク、Ｍ２…第２マスク、Ｐ１…第１特徴点、Ｐ２…第２特徴点
【図１】
2020119164.tif 000003
【図２】
2020119164.tif 000004
【図３】
2020119164.tif 000005
【図４】
2020119164.tif 000006
【図５】
2020119164.tif 000007
【図６】
2020119164.tif 000008
【図７】
2020119164.tif 000009
【図８】
2020119164.tif 000010
【図９】
2020119164.tif 000011
【図１０】
2020119164.tif 000012