(57)【特許請求の範囲】
【請求項１】
一連の動作を行う対象者を連続して撮影することによって得られる複数の対象画像データを受け付ける対象画像受付部と、
各対象画像データの対象画像に映る前記対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する対象姿勢検出部と、
前記複数の対象画像データに対応する複数の対象姿勢データから、対象時刻の対象姿勢データと、前記対象時刻と連続する前時刻と前記対象時刻と連続する後時刻とのうちの少なくとも一方の時刻の対象姿勢データと、を含む２つ以上の対象姿勢データを、前記対象者の姿勢の推移を表す対象軌跡データとして抽出する対象軌跡抽出部と、
前記対象軌跡データに基づいて前記対象者の動作を識別する動作ラベルを動作データベースから得る動作特定部と、
を備え、
前記動作データベースには、複数の時刻と複数の動作姿勢データと複数の動作ラベルが互いに対応付けられ、
各動作ラベルは、動作を識別し、
各動作姿勢データは、対応付けられた動作ラベルで識別される動作を行う人の姿勢の推移を表し、
各動作軌跡データは、２つ以上の動作姿勢データで構成され、
前記対象軌跡抽出部は、前記対象時刻を含む対象時刻群を決定し、前記対象時刻群を構成する２つ以上の撮影時刻に対応する２つ以上の対象姿勢データを前記対象軌跡データとして抽出し、
前記動作特定部は、比較時刻毎に比較時刻を含む比較時刻群を決定し、決定された比較時刻群を構成する２つ以上の比較時刻に対応付けられた２つ以上の動作姿勢データを前記動作データベースから抽出し、抽出された２つ以上の動作姿勢データで構成される動作軌跡データを前記対象軌跡データと比較し、各動作軌跡データと前記対象軌跡データの比較結果に基づいて前記対象軌跡データに合致する前記動作軌跡データを選択し、選択された動作軌跡データに対応する比較時刻に対応付けられた動作ラベルを前記対象軌跡データに合致する動作ラベルとして抽出する
動作分析システム。
【請求項２】
前記複数の時刻が付加された前記複数の動作ラベルを受け付ける動作ラベル受付部と、
一連の動作を行う動作者を連続して撮影することによって得られて前記複数の時刻が付加された複数の動作画像データを受け付ける動作画像受付部と、
各動作画像データの動作画像に映る前記動作者の姿勢を検出し、検出した姿勢を表す動作姿勢データを生成する動作姿勢検出部と、
前記複数の時刻と前記複数の動作画像データに対応する前記複数の動作姿勢データと前記複数の動作ラベルとを互いに対応付けて前記動作データベースに登録する動作登録部と、
を備える請求項１に記載の動作分析システム。
【請求項３】
複数の時刻が付加された複数の動作ラベルである動作ラベル群を複数受け付ける動作ラベル受付部と、
一連の動作を行う動作者を撮影することによって得られて複数の時刻が付加された複数の動作画像データである動作画像データ群を複数受け付ける動作画像受付部と、
受け付けられた動作画像データ群毎に、動作画像データ群の中の各動作画像データの動作画像に映る前記動作者の姿勢を検出し、検出した姿勢を表す仮姿勢データを生成する仮姿勢検出部と、
時刻群と動作画像データ群に対応する仮姿勢データ群と動作ラベル群が互いに対応付けられた仮テーブルを複数生成する仮テーブル生成部と、
前記一連の動作に含まれる動作毎に、同じ動作を識別する２つ以上の動作ラベルに対応付けられた２つ以上の仮姿勢データである仮軌跡データを複数の仮テーブルのそれぞれから抽出し、前記複数の仮テーブルから抽出した複数の仮軌跡データに基づいて２つ以上の時刻に対応する２つ以上の動作姿勢データを生成する動作姿勢生成部と、
前記一連の動作に含まれる動作毎に、２つ以上の時刻と、２つ以上の動作姿勢データと、同じ動作を識別する２つ以上の動作ラベルと、を互いに対応付けて動作データベース２９１に登録する動作登録部と、
を備える請求項１に記載の動作分析システム。
【請求項４】
一連の動作を行う対象者を連続して撮影することによって得られる複数の対象画像データを受け付ける対象画像受付部と、
各対象画像データの対象画像に映る前記対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する対象姿勢検出部と、
前記複数の対象画像データに対応する複数の対象姿勢データから、対象時刻の対象姿勢データと、前記対象時刻と連続する前時刻と前記対象時刻と連続する後時刻とのうちの少なくとも一方の時刻の対象姿勢データと、を含む２つ以上の対象姿勢データを、前記対象者の姿勢の推移を表す対象軌跡データとして抽出する対象軌跡抽出部と、
人の姿勢の推移を表す動作軌跡データの入力に対して動作を識別する動作ラベルを出力する学習モデルに前記対象軌跡データを入力し、前記対象者の動作を識別する動作ラベルを前記学習モデルから得る動作特定部と、
複数の時刻が付加された複数の動作ラベルを受け付ける動作ラベル受付部と、
一連の動作を行う動作者を連続して撮影することによって得られて前記複数の時刻が付加された複数の動作画像データを受け付ける動作画像受付部と、
各動作画像データの動作画像に映る前記動作者の姿勢を検出し、検出した姿勢を表す動作姿勢データを生成する動作姿勢検出部と、
各時刻に対して動作姿勢データと動作ラベルとの組を学習データにして学習を行うことによって、前記学習モデルを生成する動作学習部と、
を備える動作分析システム。
【請求項５】
各対象姿勢データは、前記対象者の複数の関節のそれぞれの位置を示す
請求項１から請求項４のいずれか１項に記載の動作分析システム。
【請求項６】
一連の動作を行う対象者を連続して撮影することによって得られる複数の対象画像データを受け付ける対象画像受付処理と、
各対象画像データの対象画像に映る前記対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する対象姿勢検出処理と、
前記複数の対象画像データに対応する複数の対象姿勢データから、対象時刻の対象姿勢データと、前記対象時刻と連続する前時刻と前記対象時刻と連続する後時刻とのうちの少なくとも一方の時刻の対象姿勢データと、を含む２つ以上の対象姿勢データを、前記対象者の姿勢の推移を表す対象軌跡データとして抽出する対象軌跡抽出処理と、
前記対象軌跡データに基づいて前記対象者の動作を識別する動作ラベルを動作データベースから得る動作特定処理と、
をコンピュータに実行させるための動作分析プログラムであって、
前記動作データベースには、複数の時刻と複数の動作姿勢データと複数の動作ラベルが互いに対応付けられ、
各動作ラベルは、動作を識別し、
各動作姿勢データは、対応付けられた動作ラベルで識別される動作を行う人の姿勢の推移を表し、
各動作軌跡データは、２つ以上の動作姿勢データで構成され、
前記対象軌跡抽出処理は、前記対象時刻を含む対象時刻群を決定し、前記対象時刻群を構成する２つ以上の撮影時刻に対応する２つ以上の対象姿勢データを前記対象軌跡データとして抽出し、
前記動作特定処理は、比較時刻毎に比較時刻を含む比較時刻群を決定し、決定された比較時刻群を構成する２つ以上の比較時刻に対応付けられた２つ以上の動作姿勢データを前記動作データベースから抽出し、抽出された２つ以上の動作姿勢データで構成される動作軌跡データを前記対象軌跡データと比較し、各動作軌跡データと前記対象軌跡データの比較結果に基づいて前記対象軌跡データに合致する前記動作軌跡データを選択し、選択された動作軌跡データに対応する比較時刻に対応付けられた動作ラベルを前記対象軌跡データに合致する動作ラベルとして抽出する
動作分析プログラム。
【請求項７】
一連の動作を行う対象者を連続して撮影することによって得られる複数の対象画像データを受け付ける対象画像受付処理と、
各対象画像データの対象画像に映る前記対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する対象姿勢検出処理と、
前記複数の対象画像データに対応する複数の対象姿勢データから、対象時刻の対象姿勢データと、前記対象時刻と連続する前時刻と前記対象時刻と連続する後時刻とのうちの少なくとも一方の時刻の対象姿勢データと、を含む２つ以上の対象姿勢データを、前記対象者の姿勢の推移を表す対象軌跡データとして抽出する対象軌跡抽出処理と、
人の姿勢の推移を表す動作軌跡データの入力に対して動作を識別する動作ラベルを出力する学習モデルに前記対象軌跡データを入力し、前記対象者の動作を識別する動作ラベルを前記学習モデルから得る動作特定処理と、
複数の時刻が付加された複数の動作ラベルを受け付ける動作ラベル受付処理と、
一連の動作を行う動作者を連続して撮影することによって得られて前記複数の時刻が付加された複数の動作画像データを受け付ける動作画像受付処理と、
各動作画像データの動作画像に映る前記動作者の姿勢を検出し、検出した姿勢を表す動作姿勢データを生成する動作姿勢検出処理と、
各時刻に対して動作姿勢データと動作ラベルとの組を学習データにして学習を行うことによって、前記学習モデルを生成する動作学習処理と、
をコンピュータに実行させるための動作分析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作分析のための技術に関するものである。
【背景技術】
【０００２】
産業分野において、サイクルタイムの計測と作業内容の分析といった処理を人手で行うことが主流となっている。
サイクルタイムは、作業者が製品を組み立てる時間である。
作業内容の分析は、作業の抜け又は非定常作業の検知のために行われる。非定常作業は定常的には行われない作業である。
人手による処理は、多くの人的コストがかかる。また、人手による処理では、限定的な範囲についてしか処理の対象とすることができない。【０００３】
作業者の動作を分析することが容易になれば、サイクルタイムの計測と作業内容の分析といった処理が容易になるものと考えられる。【０００４】
特許文献１には、自動的に行われる動作分析が記載されている。動作分析のために、カメラ及び三次元センサが人の頭部に取り付けられ、そのカメラ及び三次元センサが用いられ、人の動作の特徴量が抽出される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−０９９９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、自動的な動作分析のために、人の頭部にカメラ及び三次元センサが取り付けられる。
作業者の動作を分析するために特許文献１の方法が適用される場合、作業に不要な物が作業者の体に取り付けられる。そして、作業者の体に取り付けられた物が作業の妨げとなる可能性がある。【０００７】
本発明は、作業を妨げずに作業者の動作を分析できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の動作分析システムは、
一連の動作を行う対象者を連続して撮影することによって得られる複数の対象画像データを受け付ける対象画像受付部と、
各対象画像データの対象画像に映る前記対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する対象姿勢検出部と、
前記複数の対象画像データに対応する複数の対象姿勢データから、対象時刻の対象姿勢データと、前記対象時刻と連続する前時刻と前記対象時刻と連続する後時刻とのうちの少なくとも一方の時刻の対象姿勢データと、を含む２つ以上の対象姿勢データを、前記対象者の姿勢の推移を表す対象軌跡データとして抽出する対象軌跡抽出部と、
前記対象軌跡データに基づいて前記対象者の動作を識別する動作ラベルを得る動作特定部と、を備える。
【発明の効果】
【０００９】
本発明によれば、カメラおよび三次元センサなど作業に不要な物が作業者（対象者の一例）の体に取り付けられなくても、作業者の動作を特定することが可能となる。つまり、作業を妨げずに作業者の動作を分析することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１における動作分析システム１００の構成図。
【図２】実施の形態１における動作分析装置２００の構成図。
【図３】実施の形態１における動作分析方法のフローチャート。
【図４】実施の形態１における対象姿勢検出処理（Ｓ１２０）の説明図。
【図５】実施の形態１における対象軌跡抽出処理（Ｓ１３０）のフローチャート。
【図６】実施の形態１における対象軌跡抽出処理（Ｓ１３０）の説明図。
【図７】実施の形態１における動作データベース２９１の構成図。
【図８】実施の形態１における動作特定処理（Ｓ１４０）のフローチャート。
【図９】実施の形態１における比較処理（Ｓ１４４）のフローチャート。
【図１０】実施の形態１における動的計画法の利用についての説明図。
【図１１】実施の形態１における動作分析システム１００の構成図。
【図１２】実施の形態１における登録部２２０の構成図。
【図１３】実施の形態１における登録処理のフローチャート。
【図１４】実施の形態１における動作姿勢検出処理（Ｓ１０３）の説明図。
【図１５】実施の形態２におけう登録部２２０の構成図。
【図１６】実施の形態２における登録処理のフローチャート。
【図１７】実施の形態２における動作姿勢生成処理（Ｓ２５０）のフローチャート。
【図１８】実施の形態２におけるサンプリングの具体例を示す図。
【図１９】実施の形態３における動作分析装置２００の構成図。
【図２０】実施の形態３における学習部２３０の構成図。
【図２１】実施の形態３における動作分析方法のフローチャート。
【図２２】実施の形態３における学習処理のフローチャート。
【図２３】実施の形態における動作分析装置２００のハードウェア構成図。
【発明を実施するための形態】
【００１１】
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
【００１２】
実施の形態１．
人の動作を自動で分析するための動作分析システム１００について、図１から図１４に基づいて説明する。
【００１３】
＊＊＊構成の説明＊＊＊
図１に基づいて、動作分析システム１００の構成を説明する。
動作分析システム１００は、カメラ１０１と動作分析装置２００とを備える。
カメラ１０１は、対象者１１１を撮影する。カメラ１０１は、対象者１１１を正面から撮影してもよいし、対象者１１１を斜めから撮影してもよい。また、カメラ１０１は、対象者１１１の全身を撮影してもよいし、対象者１１１の一部（例えば上半身）を撮影してもよい。
動作分析装置２００は、対象者１１１の動作を分析する。
対象者１１１は、動作分析の対象となる人である。対象者１１１の具体例は、作業を行う人（作業者）である。
【００１４】
図２に基づいて、動作分析装置２００の構成を説明する。
動作分析装置２００は、プロセッサ２０１とメモリ２０２と補助記憶装置２０３と通信装置２０４と入出力インタフェース２０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
【００１５】
プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。
ＤＳＰは、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。
【００１６】
メモリ２０２は揮発性または不揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じて補助記憶装置２０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。
【００１７】
補助記憶装置２０３は不揮発性の記憶装置である。例えば、補助記憶装置２０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
ＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略称である。
【００１８】
通信装置２０４はレシーバ及びトランスミッタである。例えば、通信装置２０４は通信チップまたはＮＩＣである。
ＮＩＣは、Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄの略称である。
【００１９】
入出力インタフェース２０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース２０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓの略称である。
【００２０】
動作分析装置２００は、特定部２１０と登録部２２０といった要素を備える。特定部２１０は、対象画像受付部２１１と対象姿勢検出部２１２と対象軌跡抽出部２１３と動作特定部２１４と結果出力部２１５といった要素を備える。これらの要素はソフトウェアで実現される。
【００２１】
補助記憶装置２０３には、特定部２１０と登録部２２０としてコンピュータを機能させるための動作分析プログラムが記憶されている。動作分析プログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
補助記憶装置２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
プロセッサ２０１は、ＯＳを実行しながら、動作分析プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍの略称である。
【００２２】
動作分析プログラムの入出力データは記憶部２９０に記憶される。
メモリ２０２は記憶部２９０として機能する。但し、補助記憶装置２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
記憶部２９０には、動作データベース２９１などが記憶される。
【００２３】
動作分析装置２００は、プロセッサ２０１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ２０１の機能を分担する。
【００２４】
動作分析プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
【００２５】
＊＊＊動作の説明＊＊＊
動作分析システム１００の動作の手順は動作分析方法に相当する。また、動作分析装置２００の動作の手順は動作分析プログラムによる処理の手順に相当する。
【００２６】
図３に基づいて、動作分析方法を説明する。
ステップＳ１１０において、対象画像受付部２１１は、複数の対象画像データを受け付ける。
複数の対象画像データは、一連の動作を行う対象者１１１を連続して撮影することによって得られる。
各対象画像データは対象画像を表す。対象画像には、対象者１１１が映っている。
【００２７】
例えば、複数の対象画像データは、利用者によって、動作分析装置２００に入力される。対象画像受付部２１１は、入力された複数の対象画像データを受け付ける。
例えば、複数の対象画像データは、カメラ１０１から送信され、動作分析装置２００によって受信される。対象画像受付部２１１は、受信された複数の対象画像データを受け付ける。
【００２８】
ステップＳ１２０において、対象姿勢検出部２１２は、各対象画像データの対象画像に映る対象者１１１の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する。
これにより、複数の対象画像データに対応する複数の対象姿勢データが得られる。
【００２９】
図４に基づいて、対象姿勢検出処理（Ｓ１２０）について説明する。［ｍ−１］と［ｍ］と［ｍ＋１］は、連続する３つの撮影時刻を示している。撮影時刻は撮影が行われた時刻である。
各撮影時刻の対象画像データ１２１は各撮影時刻の対象画像を表す。各撮影時刻の対象画像には各撮影時刻の対象者１１１が映っている。
対象姿勢検出部２１２は、各撮影時刻の対象画像に対して画像処理を行うことによって、各撮影時刻における対象者１１１の姿勢を検出する。
具体的には、対象姿勢検出部２１２は、対象者１１１の骨格を検出する。対象者１１１の骨格によって、対象者１１１の姿勢が特定される。
より具体的には、対象姿勢検出部２１２は、対象者１１１の各関節の位置を判別する。各関節の位置は、特定の座標系における絶対位置であってもよいし、他の関節に対する相対位置であってもよい。各関節の位置は座標値で識別される。首の関節および肩の関節などの複数の関節によって、骨格が特定される。
【００３０】
対象姿勢検出部２１２は、各撮影時刻における対象者１１１の姿勢を表す対象姿勢データ１２２を生成する。
各撮影時刻の対象姿勢データ１２２において、各黒丸は対象者１１１の関節の位置を表している。
【００３１】
図３に戻り、ステップＳ１３０以降の説明を続ける。
ステップＳ１３０およびステップＳ１４０は、撮影時間帯の各撮影時刻に対して実行される。撮影時間帯は、撮影が行われた時間帯である。
【００３２】
ステップＳ１３０において、対象軌跡抽出部２１３は、複数の対象画像データに対応する複数の対象姿勢データから、対象軌跡データを抽出する。
対象軌跡データは、２つ以上の対象姿勢データで構成され、対象者１１１の姿勢の推移を表す。対象軌跡データにおいて、２つ以上の対象姿勢データは時系列に並べられる。但し、対象軌跡データは、２つ以上の対象姿勢データを近似して表す多項式関数であってもよい。
対象軌跡データについて補足する。軌跡データは連続する時刻のデータである。対象軌跡データは連続する時刻の対象姿勢データである。連続する時刻は、対象時刻および対象時刻と連続する時刻である。対象時刻が［ｔ］である場合、連続する時刻は［ｔ−１］と［ｔ］と［ｔ＋１］である。
【００３３】
図５に基づいて、対象軌跡抽出処理（Ｓ１３０）について説明する。
ステップＳ１３１において、対象軌跡抽出部２１３は、撮影時間帯から、未選択の撮影時刻を１つ選択する。
撮影時間帯は、撮影が行われた時間帯である。
選択される撮影時刻を「対象時刻」と称する。
【００３４】
ステップＳ１３２において、対象軌跡抽出部２１３は、対象時刻に対する撮影時刻群を決定する。
撮影時刻群は、連続する２つ以上の撮影時刻で構成され、対象時刻を含む。撮影時刻群に含まれる撮影時刻の数は予め決められる。
対象時刻を「ｍ」と記す。例えば、対象軌跡抽出部２１３は、撮影時刻（ｍ−１）と撮影時刻（ｍ）と撮影時刻（ｍ＋１）とで構成される撮影時刻群を、対象時刻に対する撮影時刻群に決定する。
決定される撮影時刻群を「対象時刻群」と称する。
【００３５】
ステップＳ１３３において、対象軌跡抽出部２１３は、複数の対象姿勢データから、対象時刻に対応する対象軌跡データを抽出する。
例えば、対象時刻群が時刻（ｍ−１）と時刻（ｍ）と時刻（ｍ＋１）とで構成される場合、対象軌跡抽出部２１３は、時刻（ｍ−１）の対象姿勢データと、時刻（ｍ）の対象姿勢データと、時刻（ｍ＋１）の対象姿勢データと、を抽出する。抽出される３つの対象姿勢データが、対象時刻に対応する対象軌跡データを構成する。
【００３６】
図６に基づいて、対象軌跡抽出処理（Ｓ１３０）について説明する。［ｍ−１］と［ｍ］と［ｍ＋１］は、連続する３つの撮影時刻を示している。
対象時刻群が［ｍ−１］と［ｍ］と［ｍ＋１］とで構成されると仮定する。
対象軌跡抽出部２１３は、［ｍ−１］の対象姿勢データ１２２と［ｍ］の対象姿勢データ１２２と［ｍ＋１］の対象姿勢データ１２２とを抽出する。
抽出される３つの対象姿勢データ１２２が、［ｍ］の対象軌跡データ１２３を構成する。
【００３７】
図３に戻り、ステップＳ１４０から説明を続ける。
ステップＳ１４０において、動作特定部２１４は、対象軌跡データに基づいて、対象者１１１の動作を識別する動作ラベルを得る。
具体的には、動作特定部２１４は、動作データベース２９１から、対象軌跡データに合致する動作軌跡データの動作ラベルを抽出する。
動作データベース２９１は、動作ラベルと動作軌跡データとの組が１つ以上登録されたデータベースである。
動作ラベルは、動作を識別する。
動作軌跡データは、動作ラベルで識別される動作を行う人の姿勢の推移を表す。
【００３８】
図７に基づいて、動作データベース２９１の構成を説明する。［ｔ−１］と［ｔ］と［ｔ＋１］は、連続する３つの撮影時刻を示している。
動作データベース２９１には、複数の時刻と複数の動作姿勢データと複数の動作ラベルが互いに対応付けられる。
動作軌跡データ１３３は、２つ以上の動作姿勢データ１３２で構成される。具体的には、動作軌跡データ１３３は、連続する２つ以上の時刻に対応付けられた２つ以上の動作姿勢データ１３２で構成される。
動作姿勢データ１３２は、動作を行う人の姿勢を表す。
【００３９】
［ｔ］の動作軌跡データ１３３は、［ｔ−１］の動作姿勢データ１３２と［ｔ］の動作姿勢データ１３２と［ｔ＋１］の動作姿勢データ１３２で構成される。なお、動作軌跡データ１３３は［ｔ］を中心にして前後に連続する時刻のデータを含む。
「ｔ」の動作軌跡データ１３３は、時刻ｔの動作ラベル「作業Ａ」によって識別される動作を行う人の姿勢の推移を表す。
【００４０】
図８に基づいて、動作特定処理（Ｓ１４０）について説明する。
ステップＳ１４１において、動作特定部２１４は、動作データベース２９１の「時刻」から、未選択の時刻を１つ選択する。具体的には、動作特定部２１４は、昇順に時刻を選択する。
選択される時刻を「比較時刻」と称する。
【００４１】
ステップＳ１４２において、動作特定部２１４は、比較時刻に対する比較時刻群を決定する。
比較時刻群は、連続する２つ以上の時刻で構成され、比較時刻を含む。比較時刻群に含まれる時刻の数は、予め決められる。
比較時刻を「ｔ」と記す。例えば、動作特定部２１４は、時刻（ｔ−１）と時刻（ｔ）と時刻（ｔ＋１）とから成る時刻群を、比較時刻に対する比較時刻群に決定する。
【００４２】
ステップＳ１４３において、動作特定部２１４は、動作データベース２９１から、比較時刻に対応する動作軌跡データを抽出する。
例えば、比較時刻群が時刻（ｔ−１）と時刻（ｔ）と時刻（ｔ＋１）とで構成される場合、動作特定部２１４は、時刻（ｔ−１）の動作姿勢データと、時刻（ｔ）の動作姿勢データと、時刻（ｔ＋１）の動作姿勢データと、を抽出する。抽出される３つの動作姿勢データが、比較時刻に対応する動作軌跡データを構成する。
【００４３】
ステップＳ１４４において、動作特定部２１４は、動作軌跡データを対象軌跡データと比較する。対象軌跡データはステップＳ１３０（図３参照）で抽出されている。
【００４４】
具体的には、動作特定部２１４は、対象軌跡データに対する動作軌跡データの距離を算出する。
対象軌跡データに対する動作軌跡データの距離は、対象軌跡データによって表される姿勢の推移と動作軌跡データによって表される姿勢の推移との差の大きさに相当する。
【００４５】
図９に基づいて、比較処理（Ｓ１４４）について説明する。
対象軌跡データに含まれる対象姿勢データをＩ（ｍ）またはＩ（ｍ＋ｋ）と記す。
動作軌跡データに含まれる動作姿勢データをＲ（ｔ）またはＲ（ｔ＋ｋ）と記す。
「ｋ」は−ｉ以上＋ｉ以下の整数である。「ｉ」は１以上の整数である。対象軌跡データに含まれる対象姿勢データの数が「３」である場合、「ｉ」は「１」である。
【００４６】
ステップＳ１４４１において、動作特定部２１４は、対象姿勢データＩ（ｍ）に対する対象姿勢データＩ（ｍ＋ｋ）の距離を算出する。算出される距離をＩ’（ｍ＋ｋ）と記す。
距離Ｉ’（ｍ＋ｋ）は、対象姿勢データＩ（ｍ）によって表される姿勢と対象姿勢データＩ（ｍ＋ｋ）によって表される姿勢との差の大きさに相当する。
【００４７】
距離Ｉ’（ｍ＋ｋ）は、式（１）で表すことができる。
【００４８】
Ｉ’（ｍ＋ｋ）  ＝  Ｉ（ｍ＋ｋ）−Ｉ（ｍ）      （１）
【００４９】
具体的には、動作特定部２１４は、距離Ｉ’（ｍ＋ｋ）を以下のように算出する。
対象姿勢データは、複数の関節のそれぞれの位置を示す。
動作特定部２１４は、関節毎に、対象姿勢データＩ（ｍ）における関節の位置と対象姿勢データＩ（ｍ＋ｋ）における関節の位置との距離を算出する。動作特定部２１４は、各関節に対して重み付けを行い、各関節の重みに応じて各関節の距離を算出してもよい。その場合、重要な関節の距離は大きな値となる。
または、動作特定部２１４は、関節組毎に、対象姿勢データＩ（ｍ）における関節間の距離と対象姿勢データＩ（ｍ＋ｋ）における関節間の距離との差を、関節組に対する距離として算出する。動作特定部２１４は、各関節組に対して重み付けを行い、各関節組の重みに応じて各関節組に対する距離を算出してもよい。その場合、重要な関節組に対する距離は大きな値となる。
動作特定部２１４は、算出した距離の合計を算出する。算出される合計が距離Ｉ’（ｍ＋ｋ）となる。
【００５０】
ステップＳ１４４２において、動作特定部２１４は、動作姿勢データＲ（ｔ）に対する動作姿勢データＲ（ｔ＋ｋ）の距離を算出する。算出される距離をＲ’（ｔ＋ｋ）と記す。
距離Ｒ’（ｔ＋ｋ）は、動作姿勢データＲ（ｔ）によって表される姿勢と動作姿勢データＲ（ｔ＋ｋ）によって表される姿勢との差の大きさに相当する。
【００５１】
距離Ｒ’（ｔ＋ｋ）は、式（２）で表すことができる。
【００５２】
Ｒ’（ｔ＋ｋ）  ＝  Ｒ（ｔ＋ｋ）−Ｒ（ｔ）      （２）
【００５３】
具体的には、動作特定部２１４は、距離Ｒ’（ｔ＋ｋ）を以下のように算出する。
動作姿勢データは、複数の関節のそれぞれの位置を示す。
動作特定部２１４は、関節毎に、動作姿勢データＲ（ｔ）における関節の位置と動作姿勢データＲ（ｔ＋ｋ）における関節の位置との距離を算出する。動作特定部２１４は、各関節に対して重み付けを行い、各関節の重みに応じて各関節の距離を算出してもよい。その場合、重要な関節の距離は大きな値となる。
または、動作特定部２１４は、関節組毎に、動作姿勢データＲ（ｍ）における関節間の距離と動作姿勢データＩ（ｍ＋ｋ）における関節間の距離との差を、関節組に対する距離として算出する。動作特定部２１４は、各関節組に対して重み付けを行い、各関節組の重みに応じて各関節組に対する距離を算出してもよい。その場合、重要な関節組に対する距離は大きな値となる。
動作特定部２１４は、算出した距離の合計を算出する。算出される合計が距離Ｒ’（ｔ＋ｋ）となる。
【００５４】
ステップＳ１４４３において、動作特定部２１４は、距離Ｉ’（ｍ＋ｋ）と距離Ｒ’（ｔ＋ｋ）との差の合計を算出する。
算出される合計が、対象軌跡データに対する動作軌跡データの距離となる。
【００５５】
対象軌跡データに対する動作軌跡データの距離は、式（３）で表すことができる。
【００５６】
【数１】
0006786015.tif 000002
【００５７】
対象軌跡データに対する動作軌跡データの距離は、動的計画法または隠れマルコフモデルなどの手法によって算出されてもよい。これらの手法は、時系列を動的に伸縮させて最小距離を算出する。
これらの手法では、例えば、Ｉ’（ｍ＋ｋ）−Ｒ’（ｔ＋ｋ）で求まる距離よりもＩ’（ｍ＋ｋ）−Ｒ’（ｍ＋（ｋ＋ａ））で求まる距離が小さい場合、「ｋ」と「ｋ＋ａ」の距離が加算される。
【００５８】
図１０に基づいて、動的計画法の利用について説明する。
表の中の数字は、｜Ｉ’（ｍ＋ａ）−Ｒ’（ｔ＋ｂ）｜の値を示している。但し、−２≦ａであり、ｂ≦２である。実線矢印はパス（Ｉ’とＲ’の対応）を示している。
動的計画法では「ａ」「ｂ」を変化させて各グリッドの距離が算出される。そして、距離の総和が小さくなるパス（実線矢印を参照）が選択される。
【００５９】
図８に戻り、ステップＳ１４５から説明を続ける。
ステップＳ１４５において、動作特定部２１４は、未選択の比較時刻があるか判定する。
未選択の比較時刻がある場合、処理はステップＳ１４１に進む。
未選択の比較時刻がない場合、処理はステップＳ１４６に進む。
【００６０】
ステップＳ１４６において、動作特定部２１４は、各動作軌跡データと対象軌跡データの比較結果に基づいて、対象軌跡データに合致する動作軌跡データを選択する。
【００６１】
具体的には、動作特定部２１４は、対象軌跡データに対する各動作軌跡データの距離に基づいて、対象軌跡データに合致する動作軌跡データを選択する。
【００６２】
対象軌跡データに合致する動作軌跡データは、以下のように決定される。
動作特定部２１４は、ステップＳ１４４で算出された距離のうちの最小の距離を選択する。そして、動作特定部２１４は、選択した距離に対応する動作軌跡データを選択する。選択される動作軌跡データが、対象軌跡データに合致する動作軌跡データである。
但し、選択される距離（最小の距離）が閾値より大きい場合、動作特定部２１４は、対象軌跡データに合致する動作軌跡データがない、と判断してもよい。
【００６３】
ステップＳ１４７において、動作特定部２１４は、動作データベース２９１から、対象軌跡データに合致する動作軌跡データの動作ラベルを抽出する。
【００６４】
具体的には、動作特定部２１４は、ステップＳ１４６で選択された動作軌跡データに対応する比較時刻を選択し、選択した比較時刻に対応付けられた動作ラベルを抽出する。抽出される動作ラベルが、対象軌跡データに合致する動作軌跡データの動作ラベルである。
例えば、ステップＳ１４６で［ｔ］の動作軌跡データ１３３（図７参照）が選択されたと仮定する。この場合、動作特定部２１４は、動作データベース２９１から、［ｔ］に対応付けられた動作ラベル「作業Ａ」を抽出する。
但し、対象軌跡データに合致する動作軌跡データがないと判断された場合（ステップＳ１４６を参照）、動作ラベルは抽出されない。動作ラベルが抽出されない場合、動作特定部２１４は、通常行われない作業（非定常作業）を示すラベルを付与する。
【００６５】
図３に戻り、ステップＳ１３０およびステップＳ１４０の後の処理について説明する。
ステップＳ１３０およびステップＳ１４０が撮影時間帯の各撮影時刻に対して実行されることにより、各撮影時刻に対して動作ラベルが得られる。
ステップＳ１３０およびステップＳ１４０が撮影時間帯の各撮影時刻に対して実行された後、処理はステップＳ１５０に進む。
【００６６】
ステップＳ１５０において、結果出力部２１５は結果データを出力する。
例えば、結果出力部２１５は、結果データをディスプレイに表示する。
結果データは、各撮影時刻の動作ラベルを含む。
【００６７】
＊＊＊前処理の補足＊＊＊
動作データベース２９１を生成する方法について説明する。
図１１に、動作データベース２９１が生成される際の動作分析システム１００の構成を示す。
動作分析システム１００は、カメラ１０２と動作分析装置２００とを備える。
カメラ１０２は、動作者１１２を撮影する。カメラ１０２は、カメラ１０１（図１参照）と同じであってもよいし、カメラ１０１とは別のカメラであってもよい。
動作者１１２は、動作データベース２９１への登録の対象となる動作（対象動作）を行う人である。動作者１１２は、対象者１１１（図１参照）と同じ人であってもよいし、対象者１１１とは別の人であってもよい。
動作者１１２が作業者である場合、動作者１１２は、通常行われる作業（定常作業）を一連の動作として行う。但し、動作者１１２は、通常行われない作業（非定常作業）を含めて一連の動作を行ってもよい。
【００６８】
図１２に、動作分析装置２００に備わる登録部２２０の構成を示す。
登録部２２０は、動作ラベル受付部２２１と動作画像受付部２２２と動作姿勢検出部２２３と動作登録部２２４といった要素を備える。
【００６９】
図１３に基づいて、登録部２２０による登録処理を説明する。
登録処理によって、動作データベース２９１（図７参照）が生成される。
【００７０】
ステップＳ１０１において、動作ラベル受付部２２１は、複数の時刻が付加された複数の動作ラベルを受け付ける。
例えば、動作ラベル受付部２２１は、動作ラベルリストを受け付ける。動作ラベルリストは、時刻と動作ラベルとの組を複数示す。
例えば、動作ラベルリストは、利用者によって、動作分析装置２００に入力される。動作ラベル受付部２２１は、入力された動作ラベルリストを受け付ける。
なお、定常作業に含まれない動作に対しては、非定常を示すラベルが付与される。
【００７１】
ステップＳ１０２において、動作画像受付部２２２は、複数の時刻が付加された複数の動作画像データを受け付ける。複数の動作画像データに付加された複数の時刻は、複数の動作ラベルに付加された複数の時刻と一致する。
複数の動作画像データは、一連の動作を行う動作者１１２を連続して撮影することによって得られる。
各動作画像データは動作画像を表す。動作画像には、動作者１１２が映っている。
【００７２】
例えば、動作画像受付部２２２は、動作画像ファイルを受け付ける。動作画像ファイルは、時刻と動作画像データとの組を複数含む。
例えば、動作画像ファイルは、利用者によって、動作分析装置２００に入力される。動作画像受付部２２２は、入力された動作画像ファイルを受け付ける。
【００７３】
ステップＳ１０３において、動作姿勢検出部２２３は、各動作画像データの動作画像に映る動作者１１２の姿勢を検出し、検出した姿勢を表す動作姿勢データを生成する。
これにより、複数の動作画像データに対応する複数の動作姿勢データが得られる。
【００７４】
図１４に基づいて、動作姿勢検出処理（Ｓ１０３）について説明する。［ｔ−１］と［ｔ］と［ｔ＋１］は、連続する３つの時刻を示している。
各時刻の動作画像データ１３１は各時刻の動作画像を表す。各時刻の動作画像には各時刻の動作者１１２が映っている。
動作姿勢検出部２２３は、各時刻の動作画像に対して画像処理を行うことによって、各時刻における動作者１１２の姿勢を検出する。
具体的には、動作姿勢検出部２２３は、動作者１１２の骨格を検出する。動作者１１２の骨格によって、動作者１１２の姿勢が特定される。
より具体的には、動作姿勢検出部２２３は、動作者１１２の各関節の位置を判別する。各関節の位置は、座標値、または、他の関節に対する相対位置で示すことができる。首の関節および肩の関節などの複数の関節によって、骨格が特定される。
【００７５】
動作姿勢検出部２２３は、各時刻における動作者１１２の姿勢を表す動作姿勢データ１３２を生成する。
各時刻の動作姿勢データ１３２において、各黒丸は動作者１１２の関節の位置を表している。
【００７６】
図１３に戻り、ステップＳ１０４を説明する。
ステップＳ１０４において、動作登録部２２４は、複数の時刻と複数の動作姿勢データと複数の動作ラベルとを互いに対応付けて動作データベース２９１に登録する。
【００７７】
＊＊＊実施例の説明＊＊＊
動作特定部２１４は、定常作業が行われた時間帯および非定常作業が行われた時間帯を特定してもよい。
具体的には、動作特定部２１４は、非定常を示すラベルが付与された時刻間の時間帯を計測する。計測される時間帯が、非定常作業が行われた時間帯である。その後、動作特定部２１４は、非定常作業が行われた時間帯以外の時間帯を判別する。判別される時間帯が、定常作業が行われた時間帯である。
【００７８】
＊＊＊実施の形態１の効果＊＊＊
実施の形態１により、カメラおよび三次元センサなど作業に不要な物が作業者（対象者の一例）の体に取り付けられなくても、作業者の動作を特定することが可能となる。つまり、作業を妨げずに作業者の動作を分析することが可能となる。
さらに、対象者１１１によって各動作が行われた時間帯を特定することが可能となる。つまり、定常作業が行われた時間帯および非定常作業が行われた時間帯を特定することが可能となる。
また、対象軌跡データと動作軌跡データという軌跡データ（連続時刻データ）同士が比較されることにより、次のような効果が得られる。作業は複数の動作を含むことがある。そのため、単一時刻の動作を比較するのではなく連続した動作である軌跡データ同士を比較することにより、より適切な作業の判定が可能となる。
【００７９】
実施の形態２．
動作分析の精度を高めるための形態について、主に実施の形態１と異なる点を図１５から図１８に基づいて説明する。
【００８０】
＊＊＊構成の説明＊＊＊
動作分析システム１００の構成は、実施の形態１における構成（図１および図１１を参照）と同じである。
但し、図１１において、動作者１１２は一連の動作を複数回行い、カメラ１０２は動作者１１２による複数回の一連の動作を撮影する。
【００８１】
動作分析装置２００の構成は、実施の形態１における構成（図２参照）と同じである。
但し、登録部２２０の構成の一部が、実施の形態１における構成（図１２参照）と異なる。
【００８２】
図１５に基づいて、登録部２２０の構成を説明する。
登録部２２０は、動作ラベル受付部２２１と動作画像受付部２２２と仮姿勢検出部２２５と仮テーブル生成部２２６と動作姿勢生成部２２７と動作登録部２２４といった要素を備える。
【００８３】
＊＊＊動作の説明＊＊＊
図１６に基づいて、登録部２２０による登録処理を説明する。
登録処理によって、動作データベース２９１（図７参照）が生成される。
【００８４】
ステップＳ２１０からステップＳ２４０は、複数回の一連の動作のそれぞれに対して実行される。つまり、一連の動作が３回行われた場合、ステップＳ２１０からステップＳ２４０は３回実行される。
【００８５】
ステップＳ２１０において、動作ラベル受付部２２１は、動作ラベル群を受け付ける。
動作ラベル群は、複数の時刻が付加された複数の動作ラベルである。
ステップＳ２１０は、実施の形態１におけるステップＳ１０１（図１３参照）に相当する。
【００８６】
ステップＳ２２０において、動作画像受付部２２２は、動作画像データ群を受け付ける。
動作画像データ群は、一連の動作を行う動作者を撮影することによって得られて複数の時刻が付加された複数の動作画像データである。
ステップＳ２２０は、実施の形態１におけるステップＳ２０２（図１３参照）に相当する。
【００８７】
ステップＳ２３０において、仮姿勢検出部２２５は、動作画像データ群の中の各動作画像データの動作画像に映る動作者１１２の姿勢を検出し、検出した姿勢を表す仮姿勢データを生成する。
これにより、動作画像データ群に対応する仮姿勢データ群が得られる。仮姿勢データ群は、複数の動作画像データに対応する複数の仮姿勢データである。
仮姿勢データを生成する方法は、実施の形態１において動作姿勢データを生成する方法と同じである（図１３のステップＳ１０３を参照）。
【００８８】
ステップＳ２４０において、仮テーブル生成部２２６は、仮テーブルを生成する。
仮テーブルは、時刻群と仮姿勢データ群と動作ラベル群とが互いに対応付けられたテーブルである。
時刻群は、複数の動作ラベルと複数の動作画像とに付加された複数の時刻である。
【００８９】
ステップＳ２１０からステップＳ２４０が複数回の一連の動作のそれぞれに対して実行されることにより、複数の仮テーブルが生成される。
ステップＳ２１０からステップＳ２４０が複数回の一連の動作のそれぞれに対して実行された後、処理はステップＳ２５０に進む。
【００９０】
ステップＳ２５０において、動作姿勢生成部２２７は、一連の動作に含まれる動作毎に、２つ以上の時刻に対応する２つ以上の動作姿勢データを生成する。
【００９１】
２つ以上の時刻に対応する２つ以上の動作姿勢データは以下のように生成される。
動作姿勢生成部２２７は、同じ動作を識別する２つ以上の動作ラベルに対応付けられた２つ以上の仮姿勢データである仮軌跡データを、複数の仮テーブルのそれぞれから抽出する。
動作姿勢生成部２２７は、複数の仮テーブルから抽出した複数の仮軌跡データに基づいて、２つ以上の時刻に対応する２つ以上の動作姿勢データを生成する。
【００９２】
図１７に基づいて、動作姿勢生成処理（Ｓ２５０）について説明する。
ステップＳ２５１からステップＳ２５３は、一連の動作に含まれる各動作に対して実行される。
【００９３】
ステップＳ２５１において、動作姿勢生成部２２７は、複数の仮テーブルのそれぞれから仮軌跡データを抽出する。これにより、複数の仮軌跡データが抽出される。
【００９４】
ステップＳ２５２において、動作姿勢生成部２２７は、動作軌跡データを構成する動作姿勢データの数を決定する。決定される数を「構成データ数」と称する。
例えば、構成データ数は、複数の仮軌跡データにおける仮姿勢データの数の平均である。１回目の仮軌跡データを構成する仮姿勢データの数が「３」であり、２回目の仮軌跡データを構成する仮姿勢データの数が「４」であり、３回目の仮軌跡データを構成する仮姿勢データの数が「５」であると仮定する。この場合、構成データ数は「４」である。
【００９５】
ステップＳ２５３において、動作姿勢生成部２２７は、各仮軌跡データに対してサンプリングを行う。
これにより、各仮軌跡データを構成する仮姿勢データの数が、構成データ数と同じ数になる。
【００９６】
図１８に、サンプリングの具体例を示す。
「Ａｎ」は、サンプリング前のｎ回目の仮軌跡データに含まれる仮姿勢データを表す。
「Ａｎ’」は、サンプリング後のｎ回目の仮軌跡データに含まれる仮姿勢データを表す。
「＊」は乗法を意味し、「＋」は加法を意味する。
各仮姿勢データは、複数の関節のそれぞれの位置を示す。乗法および加法は、関節毎に関節の位置を識別する座標値に対して行われる。
【００９７】
構成データ数が「４」であると仮定する。
サンプリング前において、１回目の仮軌跡データは３つの仮姿勢データＡ１（１〜３）で構成されている。また、２回目の仮軌跡データは４つの仮姿勢データＡ２（１〜４）で構成されている。また、３回目の仮軌跡データは５つの仮姿勢データＡ３（１〜５）で構成されている。
１回目の仮軌跡データに対するサンプリングによって、３つの仮姿勢データＡ１（１〜３）に基づく４つの仮姿勢データＡ１’（１〜４）が生成される。
２回目の仮軌跡データに対するサンプリングによって、４つの仮姿勢データＡ２（１〜４）に基づく４つの仮姿勢データＡ２’（１〜４）が生成される。
３回目の仮軌跡データに対するサンプリングによって、５つの仮姿勢データＡ３（１〜５）に基づく４つの仮姿勢データＡ３’（１〜４）が生成される。
サンプリング後において、１回目の仮軌跡データは４つの仮姿勢データＡ１’（１〜４）で構成されている。また、２回目の仮軌跡データは４つの仮姿勢データＡ２’（１〜４）で構成されている。また、３回目の仮軌跡データは４つの仮姿勢データＡ３’（１〜４）で構成されている。
【００９８】
図１７に戻り、ステップＳ２５４を説明する。
ステップＳ２５４において、動作姿勢生成部２２７は、構成データ数と同じ数の動作姿勢データを生成する。
【００９９】
動作姿勢生成部２２７は、各時刻の動作姿勢データを以下のように生成する。
動作姿勢生成部２２７は、同じ時刻に対応付けられた複数の仮姿勢データの和を算出する。複数の仮姿勢データの和は、関節毎に関節の位置を識別する座標値に対して行われる。
動作姿勢生成部２２７は、複数の仮姿勢データの和を仮姿勢データの数で割る。これにより、同じ時刻に対応付けられた複数の仮姿勢データの平均が算出される。複数の仮姿勢データの平均が動作姿勢データとなる。
但し、動作姿勢生成部２２７は、複数の仮姿勢データの平均とともに、複数の仮姿勢データの分散を算出してもよい。
【０１００】
図１６に戻り、ステップＳ２６０を説明する。
ステップＳ２６０において、動作登録部２２４は、一連の動作に含まれる動作毎に、２つ以上の時刻と、２つ以上の動作姿勢データと、同じ動作を識別する２つ以上の動作ラベルと、を互いに対応付けて動作データベース２９１に登録する。
【０１０１】
＊＊＊実施の形態２の効果＊＊＊
実施の形態２により、複数回行われる一連の動作に基づいて動作データベース２９１を生成することができる。その結果、動作分析の精度を高めることが可能となる。
【０１０２】
実施の形態３．
学習モデルを利用して動作分析を行う形態について、主に実施の形態１および実施の形態２と異なる点を図１９から図２２に基づいて説明する。
【０１０３】
＊＊＊構成の説明＊＊＊
動作分析システム１００の構成は、実施の形態１における構成（図１および図１１を参照）と同じである。
【０１０４】
図１９に基づいて、動作分析装置２００の構成を説明する。
動作分析装置２００は、特定部２１０と学習部２３０といった要素を備える。これらの要素はソフトウェアで実現される。
動作分析プログラムは、特定部２１０と学習部２３０としてコンピュータを機能させる。
【０１０５】
学習部２３０は、学習モデル２９２を生成する。
記憶部２９０は、学習モデル２９２を記憶する。
学習モデル２９２は、動作軌跡データの入力に対して動作ラベルを出力する。
【０１０６】
図２０に基づいて、学習部２３０の構成を説明する。
学習部２３０は、動作ラベル受付部２３１と動作画像受付部２３２と動作姿勢検出部２３３と動作学習部２３４といった要素を備える。
【０１０７】
＊＊＊動作の説明＊＊＊
図２１に基づいて、動作分析方法を説明する。
ステップＳ３１０において、対象画像受付部２１１は、複数の対象画像データを受け付ける。
ステップＳ３１０は、実施の形態１におけるステップＳ１１０（図３参照）と同じである。
【０１０８】
ステップＳ３２０において、対象姿勢検出部２１２は、各対象画像データの対象画像に映る対象者１１１の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する。
これにより、複数の対象画像データに対応する複数の対象姿勢データが得られる。
ステップＳ３２０は、実施の形態１におけるステップＳ１２０（図３参照）と同じである。
【０１０９】
ステップＳ３３０において、対象軌跡抽出部２１３は、複数の対象画像データに対応する複数の対象姿勢データから、対象軌跡データを抽出する。
ステップＳ３３０は、実施の形態１におけるステップＳ１３０（図３参照）と同じである。
【０１１０】
ステップＳ３４０において、動作特定部２１４は、対象軌跡データに基づいて、対象者１１１の動作を識別する動作ラベルを得る。
【０１１１】
動作ラベルは以下のようにして得られる。
動作特定部２１４は、対象軌跡データを学習モデルに入力する。
学習モデルは、入力された対象軌跡データに合致する学習軌跡データの動作ラベルを出力する。
動作特定部２１４は、学習モデルから動作ラベルを得る。
【０１１２】
ステップＳ３３０およびステップＳ３４０は、撮影時間帯の各撮影時刻に対して実行される。これにより、各撮影時刻に対して動作ラベルが得られる。
ステップＳ３３０およびステップＳ３４０が撮影時間帯の各撮影時刻に対して実行された後、処理はステップＳ３５０に進む。
【０１１３】
ステップＳ３５０において、結果出力部２１５は結果データを出力する。
ステップＳ３５０は、実施の形態１におけるステップＳ１５０（図３参照）と同じである。
【０１１４】
＊＊＊前処理の説明＊＊＊
図２２に基づいて、学習部２３０による学習処理を説明する。
学習処理によって、学習モデル２９２が生成される。
【０１１５】
ステップＳ３０１において、動作ラベル受付部２３１は、複数の時刻が付加された複数の動作ラベルを受け付ける。
ステップＳ３０１は、実施の形態１におけるステップＳ１０１（図１３参照）と同じである。
【０１１６】
ステップＳ３０２において、動作画像受付部２３２は、複数の時刻が付加された複数の動作画像データを受け付ける。
ステップＳ３０２は、実施の形態１におけるステップＳ１０２（図１３参照）と同じである。
【０１１７】
ステップＳ３０３において、動作姿勢検出部２３３は、各動作画像データの動作画像に映る動作者１１２の姿勢を検出し、検出した姿勢を表す動作姿勢データを生成する。
これにより、複数の動作画像データに対応する複数の動作姿勢データが得られる。
ステップＳ３０３は、実施の形態１におけるステップＳ１０３（図１３参照）と同じである。
【０１１８】
ステップＳ３０４において、動作学習部２３４は、各時刻に対して動作姿勢データと動作ラベルとの組を学習データにして学習を行う。
例えば、動作学習部２３４は、既存の機械学習モデルを利用して機械学習を行う。具体的には、動作学習部２３４は、各時刻の学習データを機械学習モデルに入力する。そして、機械学習モデルが、各時刻の学習データに対する機械学習を行う。但し、動作学習部２３４は、他の方法による学習を行ってもよい。
これにより、学習モデル２９２が生成される。なお、学習モデル２９２が存在する場合、学習モデル２９２が更新される。
【０１１９】
＊＊＊実施の形態３の効果＊＊＊
実施の形態３により、学習モデル２９２を利用して動作分析を行うことができる。その結果、動作分析の精度を高めることが可能となる。
【０１２０】
＊＊＊実施の形態の補足＊＊＊
図２３に基づいて、動作分析装置２００のハードウェア構成を説明する。
動作分析装置２００は処理回路２０９を備える。
処理回路２０９は、特定部２１０と登録部２２０と学習部２３０とを実現するハードウェアである。
処理回路２０９は、専用のハードウェアであってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。
【０１２１】
処理回路２０９が専用のハードウェアである場合、処理回路２０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略称である。
【０１２２】
動作分析装置２００は、処理回路２０９を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路２０９の機能を分担する。
【０１２３】
処理回路２０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
【０１２４】
このように、動作分析装置２００の各機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
【０１２５】
各実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
【０１２６】
動作分析装置２００の要素である「部」は、「処理」または「工程」と読み替えてもよい。
【０１２７】
動作分析装置２００は、複数の装置で実現されてもよい。
カメラ１０１およびカメラ１０２は、深度センサまたは他のセンサに置き換えてもよい。それらのセンサによって、３次元画像データが得られる。
学習モデル２９２は、ハードウェアで実現されてもよいし、ソフトウェアとハードウェアとの組み合わせで実現されてもよい。
【符号の説明】
【０１２８】
１００  動作分析システム、１０１  カメラ、１０２  カメラ、１１１  対象者、１１２  動作者、１２１  対象画像データ、１２２  対象姿勢データ、１２３  対象軌跡データ、１３１  動作画像データ、１３２  動作姿勢データ、１３３  動作軌跡データ、１３４  仮姿勢データ群、２００  動作分析装置、２０１  プロセッサ、２０２  メモリ、２０３  補助記憶装置、２０４  通信装置、２０５  入出力インタフェース、２０９  処理回路、２１０  特定部、２１１  対象画像受付部、２１２  対象姿勢検出部、２１３  対象軌跡抽出部、２１４  動作特定部、２１５  結果出力部、２２０  登録部、２２１  動作ラベル受付部、２２２  動作画像受付部、２２３  動作姿勢検出部、２２４  動作登録部、２２５  仮姿勢検出部、２２６  仮テーブル生成部、２２７  動作姿勢生成部、２３０  学習部、２３１  動作ラベル受付部、２３２  動作画像受付部、２３３  動作姿勢検出部、２３４  動作学習部、２９０  記憶部、２９１  動作データベース、２９２  学習モデル。
【要約】
動作分析装置（２００）は、一連の動作を行う対象者（１１１）を連続して撮影することによって得られる複数の対象画像データを受け付ける。動作分析装置は、各対象画像データの対象画像に映る対象者の姿勢を検出し、検出した姿勢を表す対象姿勢データを生成する。動作分析装置は、複数の対象画像データに対応する複数の対象姿勢データから、２つ以上の対象姿勢データを、対象者の姿勢の推移を表す対象軌跡データとして抽出する。動作分析装置は、対象軌跡データに基づいて対象者の動作を識別する動作ラベルを得る。【図１】
0006786015.tif 000003
【図２】
0006786015.tif 000004
【図３】
0006786015.tif 000005
【図４】
0006786015.tif 000006
【図５】
0006786015.tif 000007
【図６】
0006786015.tif 000008
【図７】
0006786015.tif 000009
【図８】
0006786015.tif 000010
【図９】
0006786015.tif 000011
【図１０】
0006786015.tif 000012
【図１１】
0006786015.tif 000013
【図１２】
0006786015.tif 000014
【図１３】
0006786015.tif 000015
【図１４】
0006786015.tif 000016
【図１５】
0006786015.tif 000017
【図１６】
0006786015.tif 000018
【図１７】
0006786015.tif 000019
【図１８】
0006786015.tif 000020
【図１９】
0006786015.tif 000021
【図２０】
0006786015.tif 000022
【図２１】
0006786015.tif 000023
【図２２】
0006786015.tif 000024
【図２３】
0006786015.tif 000025