(57)【要約】【課題】認識する動作の種類が増加しても、高精度に動作を識別する。【解決手段】振る舞い検知システム１０は、動作モデル蓄積部２１、映像撮影装置１１、位置認識部１５、および動作認識部１６を有する。動作モデル蓄積部２１は、検出する要素動作のモデルとなる動作モデルを蓄積する。映像撮影装置１１は、認識対象の作業動作を撮影する。位置認識部１５は、映像撮影装置１１部が撮影した撮影情報から認識対象の位置を検出する。動作認識部１６は、認識対象の要素動作を認識する。また、動作認識部１６は、動作モデル蓄積部２１に蓄積される動作モデルを検索して、認識した認識対象の要素動作に類似する動作モデルを取得し、取得した動作モデルに対応する動作意味を取得する。【選択図】図１
2018005752.tif 000002
【特許請求の範囲】
【請求項１】
認識対象の要素動作を認識して、認識した前記要素動作の意味を示す動作意味を解析する振る舞い検知システムであって、
検出する要素動作のモデルとなる動作モデルを蓄積する動作モデル蓄積部と、
前記認識対象の作業動作を撮影する撮影部と、
前記撮影部が撮影した撮影情報から前記認識対象の位置を認識する位置認識部と、
前記認識対象の要素動作を認識する動作認識部と、
を有し、
前記動作認識部は、前記動作モデル蓄積部に蓄積される前記動作モデルを検索して、認識した前記認識対象の要素動作に類似する動作モデルを取得し、取得した前記動作モデルに対応する前記動作意味を取得する、振る舞い検知システム。
【請求項２】
請求項１記載の振る舞い検知システムにおいて、
前記動作認識部は、取得した前記動作モデルに対応する前記動作意味、前記位置認識部が検出した位置、および前記認識対象の要素動作を認識した際の時間を関連付けした認識情報を生成する、振る舞い検知システム。
【請求項３】
請求項２記載の振る舞い検知システムにおいて、
前記動作認識部が生成した前記認識情報を蓄積する認識情報蓄積部を有する、振る舞い検知システム。
【請求項４】
請求項１〜３のいずれか１項に記載の振る舞い検知システムにおいて、
前記認識対象の位置、前記位置にて行われる要素動作、および前記要素動作の動作意味を対応付けした作業位置動作テーブルを有し、
前記動作認識部は、前記作業位置動作テーブルを参照して前記位置認識部が検出した位置に対応する前記要素動作の動作意味を抽出する、振る舞い検知システム。
【請求項５】
請求項１〜４のいずれか１項に記載の振る舞い検知システムにおいて、
前記動作モデル蓄積部に蓄積される前記動作モデルは、前記認識対象の動作要素を数値化したものである、振る舞い検知システム。
【請求項６】
請求項３記載の振る舞い検知システムにおいて、
予め設定された規定作業の作業条件からなる規定作業情報を蓄積する規定作業情報蓄積部を有し、
前記動作認識部は、前記規定作業情報蓄積部に蓄積される作業情報を検索して、前記認識情報蓄積部に蓄積されている認識情報に類似する前記作業情報があるか否かを判定し、前記認識情報に類似する前記作業情報がないと判定した際にアラートを出力する、振る舞い検知システム。
【請求項７】
請求項１〜６のいずれか１項に記載の振る舞い検知システムにおいて、
前記動作モデル蓄積部は、クラウドストレージである、振る舞い検知システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、振る舞い検知システムに関し、特に、人の動作を認識して解析する動作解析に有効な技術に関する。
【背景技術】
【０００２】
近年、店舗における従業員の不正行動の防止あるいはＨＡＣＣＰ（Hazard Analysis and Critical Control Point）による衛生管理技術による製品の安全の確保などの観点から、人の行動認識へのニーズが高まっている。
【０００３】
この種の行動認識の技術としては、人間や動物あるいは機械などの移動体の動作や行動を自動認識するものがある（例えば特許文献１参照）。この特許文献１には、例えば人に付けたセンサから抽出した特徴量と、特徴量データベースに格納された特徴量とを比較して、該人の動作を認識する旨が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１１３３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１の技術では、人に取り付けたセンサが取得した特徴量をデータベースに格納された特徴量と比較するだけであるので、認識する動作の種類が増加した場合には、処理量が多くなってしまい、動作の認識に時間がかってしまう恐れがある。
【０００６】
また、同じ動作であっても、動作対象、例えば作業する場所が異なった場合には、異なる動作を意味することがある。そのような場合には、動作を認識することは困難であり、その結果、動作認識の精度が低下してしまうという問題がある。
【０００７】
本発明の目的は、認識する動作の種類が増加しても、高精度に動作を識別することのできる技術を提供することにある。
【０００８】
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００９】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【００１０】
すなわち、代表的な振る舞い検知システムは、認識対象の要素動作を認識して、認識した要素動作の意味を示す動作意味を解析する。この振る舞い検知システムは、動作モデル蓄積部、撮影部、位置認識部、および動作認識部を有する。
【００１１】
動作モデル蓄積部は、認識する要素動作を数値情報として表した動作モデルを蓄積する。撮影部は、認識対象の作業動作を撮影する。位置認識部は、撮影部が取得した撮影情報から認識対象の位置を認識する。
【００１２】
振る舞い検知システムは、認識対象の位置、該当位置にて行われる要素動作、および要素動作の動作意味を対応付けした作業位置動作テーブルを有する。動作認識部は、この作業位置動作テーブルを参照して、位置認識部が認識した位置に対応づけられた要素動作を取得し、さらに要素動作に対応した動作モデルを、動作モデル蓄積部から抽出する。動作認識部は、抽出された動作モデルと、認識対象の動作とを比較することで、認識対象の要素動作を認識する。さらに、動作認識部は、認識対象の位置と、認識した要素動作とから、上記作業位置動作テーブルを参照して、動作意味を抽出する。
【００１３】
また、動作認識部は、取得した動作モデルに対応する動作意味、位置認識部が検出した位置、および認識対象の要素動作を認識した際の時間を関連付けした認識情報を生成する。
【発明の効果】
【００１４】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００１５】
（１）要素動作の認識精度を向上させることができる。
【００１６】
（２）要素動作の認識速度を向上することができる。
【図面の簡単な説明】
【００１７】
【図１】一実施の形態による振る舞い検知システムにおける構成の一例を示す説明図である。
【図２】図１の記憶部が有する場所動作テーブルにおけるデータ構成の一例を示す説明図である。
【図３】図２の場所動作テーブルにおけるデータ構成の他の例を示す説明図である。
【図４】図１の記憶部が有する動作モデル蓄積部に蓄積される動作モデルにおけるデータ構成の一例を示す説明図である。
【図５】図１の振る舞い検知システムにおける動作の一例を示すフローチャートである。
【図６】図１の振る舞い検知システムの他の構成例を示す説明図である。
【発明を実施するための形態】
【００１８】
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
【００１９】
また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
【００２０】
さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
【００２１】
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
【００２２】
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００２３】
以下、実施の形態を詳細に説明する。
【００２４】
〈振る舞い検知システムの構成例〉
図１は、一実施の形態による振る舞い検知システム１０における構成の一例を示す説明図である。
【００２５】
振る舞い検知システム１０は、認識対象である作業員の位置および要素動作を認識し、認識した要素動作の意味、および時刻などを対応付けして蓄積するシステムである。この振る舞い検知システム１０は、図１に示すように、映像撮影装置１１、認識処理部１２、および表示装置１３を有する。
【００２６】
撮影部である映像撮影装置１１は、例えばカラー画像を撮影できるWebカメラや監視カメラ、撮影対象までの距離を撮影できる深度センサなどである。認識処理部１２は、映像撮影装置１１が撮影した撮影情報から人の動作に関する情報(以降、動作関連情報と称する)を抽出する。動作関連情報は、例えば、人の関節位置の時系列情報、もしくはそれを抽象化した情報である。
【００２７】
カラー情報から人の関節位置の時系列情報を取得するには、Toshevらの方法(A. Toshev and C. Szegedy, “Deeppose: Human pose estimation via deep neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 1653-1660.)を用いればよいし、深度センサを用いた場合はShottonらの方法 (J. Shotton, T. Sharp, A. Kipman, A. Fitzgibbon, M. Finocchio, A. Blake, M. Cook, and R. Moore, “Real-time human pose recognition in parts from single depth images,” Communications of the ACM, vol. 56, no. 1, pp. 116-124, 2013.)を用いればよい。
【００２８】
前述の抽象化した情報とは例えば、関節の動きの速さ、関節間の距離、関節の動きの速さを周波数で表現した情報、あるいはそれらの組み合わせの情報である。いずれも、数値情報として表現される。
【００２９】
表示装置１３は、例えば液晶モニタなどの表示ディスプレイなどからなり、認識処理部１２の制御によって後述する認識情報などを表示する。
【００３０】
認識処理部１２は、位置認識部１５、動作認識部１６、および記憶部１７を有する。位置認識部１５は、映像撮影装置１１が撮影した撮影情報から作業者の位置、すなわち作業者が作業場のどの場所にいるかを認識する。
【００３１】
この位置認識は、例えば映像撮影装置１１の画角および床との距離、床との角度を事前に与えておくことで可能となる。撮影装置が通常のカラーカメラであれば、画像上での被写体の大きさおよび位置から、作業場における位置を認識できる。深度カメラであれば、さらに奥行きの情報も利用できるため、精度よく位置を認識できる。動作認識部１６は、映像撮影装置１１の撮影情報から作業員の要素動作を認識する。
【００３２】
記憶部１７は、ハードディスク装置（ＨＤＤ）あるいはフラッシュメモリのような不揮発性の記憶装置からなり、各種の情報を格納する。この記憶部１７は、場所動作テーブル２０、動作モデル蓄積部２１、および認識情報蓄積部２２を有する。
【００３３】
作業位置動作テーブルとなる場所動作テーブル２０は、位置とその位置にて行われる作業員の要素動作とを対応付けしたテーブルである。動作モデル蓄積部２１は、検知すべき要素動作の動作モデルが蓄積されている。この動作モデルは、例えば作業員が標準的な作業動作を行った際の、一連の動作関連情報である。
【００３４】
〈場所動作テーブルの構成例〉
図２は、図１の記憶部１７が有する場所動作テーブル２０におけるデータ構成の一例を示す説明図である。
【００３５】
場所動作テーブル２０は、認識対象となる作業員の要素動作に対して、その要素動作が実行されうる領域および該領域における要素動作が示す動作の意味を格納したものである。場所動作テーブル２０は、図２に示すように、「場所」、「動作ＩＤ」、および「動作意味」のデータから構成されている。
【００３６】
「場所」は、作業場のどの位置あるいは領域であるかを示すデータであり、例えば座標などによって表される。「動作ＩＤ」は、その「場所」において認識対象となる作業員の要素動作を特定するもので、図２の例では、数字によって示されている。「動作意味」は、その場所における認識対象となる作業員の要素動作がどのような意味を持つのかを示すデータである。
【００３７】
〈場所動作テーブルの他の構成例〉
図３は、図２の場所動作テーブル２０におけるデータ構成の他の例を示す説明図である。
【００３８】
図２に示す場所動作テーブル２０の場合、「場所」毎に「動作ＩＤ」と「動作意味」とがそれぞれ対応していたが、この図３に示す場所動作テーブル２０では、「動作ＩＤ」毎に「場所」と「動作意味」とがそれぞれ対応するテーブルとなっている。
【００３９】
〈動作モデルの構成例〉
図４は、図１の記憶部１７が有する動作モデル蓄積部２１に蓄積される動作モデルにおけるデータ構成の一例を示す説明図である。
【００４０】
動作モデル蓄積部２１に蓄積される動作モデルは、図４に示すように、「動作ＩＤ」および「動作モデル」からなる。
【００４１】
「動作モデル」は、前述のように、認識対象となる作業員の要素動作を数値化したものである。予め作業員が標準的な作業を行った際の一連の動作関連情報であり、１回撮影した動作関連情報をそのまま動作モデルとして用いてもよいし、複数回撮影した動作関連情報を動作モデルとして用いてもよい。後者の場合は、複数回撮影した動作関連情報をそのまま動作モデルとして用いてもよいし、平均を用いてもよい。
【００４２】
認識情報蓄積部２２は、動作認識部１６が生成した認識情報を蓄積する。この認識情報蓄積部２２に蓄積される認識情報は、例えば「時刻」、「場所」、「動作ＩＤ」、および「動作意味」からなる。
【００４３】
「時刻」は、例えば作業者が作業を開始した時間である。あるいは作業を開始した時間から該作業を終了した時間までであってもよい。これは、例えば動作認識部１６が作業員の要素動作を認識した際の時間である。
【００４４】
「場所」は、作業者が作業している位置を示す。「動作ＩＤ」は、認識対象となる作業員の要素動作を特定するものである。「動作意味」は、その「動作ＩＤ」が該当「場所」においてどのような意味を持つ動作であるかを示す。
【００４５】
〈振る舞い検知システムの動作例〉
続いて、振る舞い検知システム１０の動作について説明する。
【００４６】
図５は、図１の振る舞い検知システム１０における動作の一例を示すフローチャートである。この図５では、振る舞い検知システム１０による振る舞い認識処理について説明する。振る舞い認識処理は、作業員の作業位置および要素動作を認識して認識情報を生成し、該認識情報を格納する処理である。
【００４７】
なお、図５では、以下に説明する振る舞い認識処理を位置認識部１５および動作認識部１６などによるハードウェアによって実行する場合について説明するが、該振る舞い認識処理は、例えば、図１の認識処理部１２に設けられた図示しないプログラム格納メモリなどに記憶されているプログラム形式のソフトウェアに基づいて実行するようにしてもよい。
【００４８】
ソフトウェアに基づいて実行される場合、該ソフトウェアは、例えば認識処理部１２が有する図示しないＣＰＵ（Central Processing Unit）などによって実行されるものとする。
【００４９】
まず、位置認識部１５は、作業を開始した作業者の位置を、例えば上述の方法に基づいて認識する（ステップＳ１０１）。
【００５０】
続いて、位置認識部１５は、認識した作業者の位置を動作認識部１６に出力する。動作認識部１６は、図２の場所動作テーブル２０を参照して位置認識部１５が認識した位置に対応する認識対象、すなわち作業者の要素動作を取得する（ステップＳ１０２）。
【００５１】
例えば図２の場所動作テーブル２０において、位置認識部１５が認識した位置が（１．０，２．０）の場合には、認識対象の要素動作の「動作ＩＤ」は’１’および’２’となる。
【００５２】
そして、動作認識部１６は、記憶部１７の動作モデル蓄積部２１からステップＳ１０２の処理にて取得した「動作ＩＤ」に対応するすべての動作モデルを読み出す（ステップＳ１０３）。
【００５３】
続いて、動作認識部１６は、映像撮影装置１１が撮影した作業員の撮影情報から、動作関連情報を算出する（ステップＳ１０４）。そして、動作認識部１６は、ステップＳ１０４の処理にて算出した動作関連情報に対して、ステップＳ１０３の処理にて読み出した動作モデルのうち、もっとも類似している動作モデルの「動作ＩＤ」を動作認識結果として取得する（ステップＳ１０５）。
【００５４】
図４の動作モデル蓄積部２１において、例えば作業情報に最も類似している動作モデルが（０．５３、０．５２、０．３３）であった場合、該動作モデルに対応する「動作ＩＤ」は、’１’となる。よって、動作認識結果は、’１’となる。なお、一つの動作モデルに複数の動作関連情報が蓄積されている場合は、例えば、ステップＳ１０４の処理にて算出した動作関連情報と、該当動作モデル内のそれぞれとの動作関連情報を比較し、そのうち最も類似していた結果を、該当動作モデルとの比較結果として採用する。
【００５５】
続いて、動作認識部１６は、ステップＳ１０５の処理による認識結果に対応する動作意味を場所動作テーブル２０から取得して（ステップＳ１０６）、認識情報を生成して記憶部１７の認識情報蓄積部２２に蓄積する（ステップＳ１０７）。
【００５６】
例えばステップＳ１０１の処理にて位置認識部１５が認識した位置が（１．０，２．０）であり、ステップＳ１０５の処理にて動作認識結果が’１’であった場合、図２の場所動作テーブル２０を参照すると、動作意味は「レバーを回す」となる。
【００５７】
また、動作認識部１６が生成する認識情報は、上述したように作業を開始した時刻、作業員の位置、動作認識結果、および動作意味を関連付けしたものである。
【００５８】
以上により、振る舞い認識処理が終了となる。
【００５９】
このように、作業員の要素動作だけでなく、作業員の位置を加味して動作認識を行うことにより、同じ要素動作であっても作業員の作業位置によって異なる動作意味があることを認識することができる。
【００６０】
これにより、作業動作の認識精度を向上させることができる。
【００６１】
また、上述したように、作業員の位置別に異なる動作意味を認識するので、動作認識部１６の認識処理にかかる負荷を軽減することができる。その結果、認識処理の時間を短縮することができ、振る舞い検知システム１０のパフォーマンスを向上させることができる。さらに、動作モデル蓄積部２１に蓄積される動作モデルを増やすことによって、より作業動作の認識精度を向上させることができる。
【００６２】
〈認識情報の表示例〉
ここで、認識情報蓄積部２２に蓄積する認識情報は、表示装置１３に表示するようにしてもよい。この表示は、例えば動作認識部１６が認識情報蓄積部２２の認識情報を読み出して表示装置１３に表示させる。
【００６３】
あるいは、振る舞い検知システム１０が有する図示しないマウスやキーボードなどの入力部によって認識情報を表示する要求が入力された際に、動作認識部１６が認識情報蓄積部２２の認識情報を読み出して表示装置１３に表示させるようにしてもよい。
【００６４】
これにより、監督者が表示装置１３に表示されている認識情報を閲覧することにより、作業者が予め定められた作業を行っているかなどを効率よく確認することができる。
【００６５】
また、作業によっては、予め定められた時間帯に定められた作業（以下、規定作業という）を行うことが取り決めされているものがある。動作認識部１６は、規定作業が行われているか否かを判定し、作業員による規定作業が行われていない場合には、表示装置１３などにアラートを出力するようにしてもよい。
【００６６】
この場合、記憶部１７には、規定作業情報蓄積部が含まれ、該規定作業情報蓄積部には、予め規定作業を行う位置、時間帯、および動作意味を格納する。そして、動作認識部１６は、認識情報蓄積部２２に蓄積されている認識情報を検索して、規定作業情報に定められた位置にて、定められた動作意味に対応した動作が行われているか否か、一例としては作業の順番や作業の過不足を判定する。
【００６７】
このとき、動作認識部１６は、認識情報蓄積部２２に蓄積されている認識情報である規定作業情報の時間帯を加味して、規定作業情報に定められた位置で、定められた動作意味に対応した動作が行われているか否かを判定するようにしてもよい。
【００６８】
動作認識部１６は、規定作業情報に類似する認識情報がない場合、規定作業が行われていないと判断して、表示装置１３などに規定作業が行われていない旨のアラートを出力する。
【００６９】
これにより、監督者は、作業員が規定作業を行ったか否かをより短時間で簡単に確認することができる。
【００７０】
以上により、監督者による作業員の作業動作の確認を効率よく行うことができる。
【００７１】
〈振る舞い検知システムの他の構成例〉
また、本実施の形態では、記憶部１７に動作モデル蓄積部２１を有する構成としたが、該動作モデル蓄積部２１は、例えばインターネットなどを通じて接続される構成としてもよい。
【００７２】
図６は、図１の振る舞い検知システム１０の他の構成例を示す説明図である。
【００７３】
図６の振る舞い検知システム１０が図１の振る舞い検知システム１０と異なるところは、動作モデル蓄積部２１が例えばクラウド上のストレージ、いわゆるクラウドストレージからなる点である。この場合、動作モデル蓄積部２１は、インターネットなどの通信回線３０を通じて認識処理部１２に接続される。
【００７４】
例えば作業内容や作業場の構成などがほぼ同じであれば、通信回線３０を通じて動作モデルを動作モデル蓄積部２１にアップロードするだけでよく、各々の作業場において、個別に動作モデルを予め入力するなどの作業を不要とすることができる。これにより、振る舞い検知システム１０を用いる際の工数を削減することができる。
【００７５】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００７６】
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【００７７】
また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
【符号の説明】
【００７８】
１０  振る舞い検知システム
１１  映像撮影装置
１２  認識処理部
１３  表示装置
１５  位置認識部
１６  動作認識部
１７  記憶部
２０  場所動作テーブル
２１  動作モデル蓄積部
２２  認識情報蓄積部
【図１】
2018005752.tif 000003
【図２】
2018005752.tif 000004
【図３】
2018005752.tif 000005
【図４】
2018005752.tif 000006
【図５】
2018005752.tif 000007
【図６】
2018005752.tif 000008