(57)【要約】【課題】近似する異なる動作でも区別して識別でき、異常動作の検出精度を高めることができる多重分割画像を用いた異常動作検出装置、異常動作検出方法及び異常動作検出用プログラムを提供する。【解決手段】動画像を取得すると（Ｓ１）、局所特徴抽出（動き・形状特徴抽出）を行う（Ｓ２）。多重分割画像作成を行って、４分割画像、１６分割画像を作成する（Ｓ３）。全画像と、４分割画像、１６分割画像についてＣＨＬＡＣ特徴を抽出する（Ｓ４）。３階層のＣＨＬＡＣ特徴を利用してノイズ成分を特定するとともにノイズ除去を行って、高精度なＣＨＬＡＣ特徴量を得る（Ｓ５）。１６分割画像に基づく高精度なＣＨＬＡＣ特徴量を用いて動作識別を行う（Ｓ６）。動作識別の結果、異常動作が検出されれば（Ｓ９）、その旨を報知する（Ｓ１０）。【選択図】図１０
2008269063.tif 000002
【特許請求の範囲】
【請求項１】
時系列の画像データに対して局所特徴抽出処理を行って局所特徴画像を生成する局所特徴画像生成手段と、
前記局所特徴画像を分割して複数の分割画像を取得する分割手段と、
前記分割画像ごとに立体高次局所自己相関によって特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段が抽出した前記特徴量に基づいて予め学習した正常動作から逸脱する異常動作を検出する検出手段と
を備えたことを特徴とする多重分割画像を用いた異常動作検出装置。
【請求項２】
前記検出手段は、前記分割画像ごとの特徴量の組み合わせ列に基づいて異常動作を検出することを特徴とする請求項１に記載の多重分割画像を用いた異常動作検出装置。
【請求項３】
前記特徴量抽出手段は、分割なしの前記局所特徴画像に対しても立体高次局所自己相関によって特徴量を抽出し、
前記検出手段は、予め学習された正常動作を識別する識別手段を備え、前記局所特徴画像の特徴量と、分割画像の特徴量とに基づいて正常動作と識別されなかった動作を異常動作として検出することを特徴とする請求項２に記載の多重分割画像を用いた異常動作検出装置。
【請求項４】
前記局所特徴画像を分割することによって、動作に係る前記分割画像の特徴量とは別の前記分割画像の特徴量として分離されたノイズ成分を、前記検出手段による異常動作の検出に用いられる特徴量から除去するノイズ除去手段を更に備えたことを特徴とする請求項１乃至３のいずれか一項に記載の多重分割画像を用いた異常動作検出装置。
【請求項５】
前記検出手段は、時系列に並ぶ複数種の動作を順次識別して動作毎に異常動作を検出するとともに、識別された各動作の動作時間を計時する計時手段を更に備え、
前記検出手段は、前記動作時間に基づき異常動作の検出も行うことを特徴とする請求項１乃至４のいずれか一項に記載の多重分割画像を用いた異常動作検出装置。
【請求項６】
時系列の画像データに対して局所特徴を抽出して局所特徴画像を生成する局所特徴画像生成ステップと、
前記局所特徴画像を分割して複数の分割画像を取得する分割ステップと、
前記分割画像ごとに立体高次局所自己相関によって特徴量を抽出する特徴量抽出ステップと、
前記特徴量に基づいて予め学習した正常動作から逸脱する異常動作を検出する検出ステップと
を備えたことを特徴とする多重分割画像を用いた異常動作検出方法。
【請求項７】
コンピュータが、
時系列の画像データに対して局所特徴を抽出して局所特徴画像を生成する局所特徴画像生成ステップと、
局所特徴画像を分割して複数の分割画像を取得する分割ステップと、
分割画像ごとに立体高次局所自己相関によって特徴量を抽出する特徴量抽出ステップと、
前記特徴量に基づいて予め学習した正常動作から逸脱する異常動作を検出する検出ステップと
を実行するための異常動作検出用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体高次局所自己相関（ＣＨＬＡＣ）特徴抽出法を用いて異常動作を検出する多重分割画像を用いた異常動作検出装置、異常動作検出方法及び異常動作検出用プログラムに関する。
【背景技術】
【０００２】
従来、特許文献１、２には、ＣＨＬＡＣ特徴抽出法を用いた異常動作検出装置が開示されている。ＣＨＬＡＣ特徴抽出法は、異常動作を検出するのに有効であり、例えばカメラで撮像した動画像に基づいてＣＨＬＡＣ特徴を抽出することにより、予め学習した正常動作（通常動作）との特徴量の違いをみることで、例えば転倒動作などの異常動作を検出する（例えば、特許文献２参照）。
【特許文献１】特開２００５−９２３４６号公報
【特許文献２】特開２００６−７９２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところが、特許文献１に記載の異常動作検出装置では、対象者（人体）の動作全体を含むなど画像空間全体についてのＣＨＬＡＣ特徴のみを抽出していた。例えば異常動作検出装置を、作業などの特定動作から逸脱した動作を作業ミスとして検出する装置として利用する場合、作業動作において多い腕や手などの一部位の動きが、全体の動作に対する統計量として得られるため識別精度が低下する問題があった。例えば画像の小領域内において右手で行う異なる動作（例えば異なる組付作業等）を識別するなど、同じ又は類似した身体部位による近似した動作間では、異なる動作として識別できない場合があった。
【０００４】
本発明は、このような事情に鑑みてなされたものであり、その目的は、近似する異なる動作でも区別して識別でき、異常動作の検出精度を高めることができる多重分割画像を用いた異常動作検出装置、異常動作検出方法及び異常動作検出用プログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために請求項１に記載の発明は、多重分割画像を用いた異常動作検出装置であって、時系列の画像データに対して局所特徴抽出処理を行って局所特徴画像を生成する局所特徴画像生成手段と、前記局所特徴画像を分割して複数の分割画像を取得する分割手段と、前記分割画像ごとに立体高次局所自己相関によって特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段が抽出した前記特徴量に基づいて予め学習した正常動作から逸脱する異常動作を検出する検出手段とを備えたことを特徴とする。なお、局所特徴画像の分割方法は、複数の分割画像のうち少なくとも一組が一部画像を重複するように分割する方法も含む。また、多重分割画像とは、局所特徴画像と分割画像とを合わせて２階層（二重）以上であれば足りる。
【０００６】
この発明によれば、局所特徴画像を複数分割した分割画像（分割局所特徴画像）毎に立体高次局所自己相関によって抽出して得られる特徴量に基づき異常動作を検出する構成であるので、近似した動作を識別できるようになり、異常動作の検出精度を高めることができる。
【０００７】
請求項２に記載の発明は、請求項１に記載の異常動作検出装置において、前記検出手段は、前記分割画像ごとの特徴量の組み合わせ列に基づいて異常動作を検出することが好ましい。
【０００８】
この発明によれば、分割画像ごとの特徴量を組み合わせて判断することにより正常動作を正しく識別できるので、正常動作から逸脱した異常動作を正しく検出できる。
請求項３に記載の発明は、請求項２に記載の異常動作検出装置において、前記特徴量抽出手段は、分割なしの前記局所特徴画像に対しても立体高次局所自己相関によって特徴量を抽出し、前記検出手段は、予め学習された正常動作を識別する識別手段を備え、前記局所特徴画像の特徴量と、分割画像の特徴量とに基づいて正常動作と識別されなかった動作を異常動作として検出することを特徴とする。ここで、識別器は、２つの中から１つを判別する判別器をも含む。
【０００９】
この発明によれば、画像中の動作全体の特徴を示す局所特徴画像の特徴量と、動作全体を分割した局所的な動作の特徴を示す分割画像の特徴量との両方を用いて異常動作を検出するので、異常動作の検出精度を高めることができる。
【００１０】
請求項４に記載の発明は、請求項１乃至３のいずれか一項に記載の異常動作検出装置において、前記局所特徴画像を分割することによって、動作に係る前記分割画像の特徴量とは別の前記分割画像の特徴量として分離されたノイズ成分を、前記検出手段による異常動作の検出に用いられる特徴量から除去するノイズ除去手段を更に備えていることが好ましい。ここで、ノイズ成分が除去される対象となる特徴量は、分割画像の特徴量だけの場合（複数階層の分割画像の特徴量を含む）、分割画像の特徴量と局所特徴画像の特徴量との両方の場合とがある。
【００１１】
この発明によれば、局所特徴画像を分割することによって、同じ特徴をもつ動作とノイズとが別々の分割画像に分離されることで、動作の特徴量とノイズ成分とが別々の分割画像の特徴量として分離される。その分離できたノイズを、検出手段が用いる特徴量から除去しておくことで、ノイズの少ない精度の高い特徴量を用いて異常動作の検出を行うことができ、異常動作検出精度の向上に寄与できる。
【００１２】
請求項５に記載の発明は、請求項１乃至４のいずれか一項に記載の異常動作検出装置において、前記検出手段は、時系列に並ぶ複数種の動作を順次識別して動作毎に異常動作を検出するとともに、識別された各動作の動作時間を計時する計時手段を更に備え、前記検出手段は、前記動作時間に基づき異常動作の検出も行うことが好ましい。
【００１３】
この発明によれば、動作が適切であっても動作時間が不適切な動作を、異常動作として検出できる。例えば作業時間が通常作業時間から逸脱する場合、その作業を行っている動作が異常動作として検出できる。
【００１４】
請求項６に記載の発明は、多重分割画像を用いた異常動作検出方法であって、時系列の画像データに対して局所特徴を抽出して局所特徴画像を生成する局所特徴画像生成ステップと、前記局所特徴画像を分割して複数の分割画像を取得する分割ステップと、前記分割画像ごとに立体高次局所自己相関によって特徴量を抽出する特徴量抽出ステップと、前記特徴量に基づいて予め学習した正常動作から逸脱する異常動作を検出する検出ステップとを備えたことを特徴とする。この発明によれば、異常動作検出装置と同様の効果が得られる。
【００１５】
請求項７に記載の発明は、異常動作検出用プログラムであって、コンピュータが、時系列の画像データに対して局所特徴を抽出して局所特徴画像を生成する局所特徴画像生成ステップと、局所特徴画像を分割して複数の分割画像を取得する分割ステップと、分割画像ごとに立体高次局所自己相関によって特徴量を抽出する特徴量抽出ステップと、前記特徴量に基づいて予め学習した正常動作から逸脱する異常動作を検出する検出ステップとを実行するためのものである。この発明によれば、このプログラムをコンピュータに実行させることにより、異常動作検出装置と同様の効果が得られる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の異常動作検出装置を具体化した一実施形態を図１〜図１０に基づいて説明する。
図１に示すように、異常動作検出システム１１は、撮像手段としてのカメラ１２と、パーソナルコンピュータ（以下、ＰＣ１３と記す）とを備える。ＰＣ１３は、コンピュータ１４（本体）と、表示装置１５（モニタ）、入力装置１６（キーボード及びマウス）とを備える。カメラ１２は、例えばＣＣＤカメラ等により構成され、対象者Ｇの動作を撮像可能な位置及び向きに配置されており、対象者Ｇを撮像した複数枚のフレームからなる動画像データをコンピュータ１４に送信する。コンピュータ１４は、動画像データに基づき異常動作検出処理を行って、対象者Ｇの異常動作を検出し、異常動作を検出した場合はその旨を、ＰＣ１３の表示装置１５やスピーカ（不図示）から報知する。なお、複数の対象者Ｇを個別に撮像する複数台のカメラ１２からの動画像を入力した１台のコンピュータ１４が、各対象者Ｇの異常動作検出処理を行う構成も採用できる。
【００１７】
コンピュータ１４は、ＣＰＵ１７、ハードディスクドライブ（ＨＤＤ１８）及びＲＡＭ１９等を内蔵する。ＨＤＤ１８には、後述する異常動作検出処理用プログラムが記憶されており、ＣＰＵ１７がこのプログラムを実行することで、異常動作検出処理を行う。
【００１８】
図３は、コンピュータ１４（つまりＣＰＵ１７）が異常動作検出用プログラムを実行することにより構築される異常動作検出装置２０の機能ブロック図を示す。異常動作検出装置２０は、画像取得部２１、局所特徴画像生成手段としての局所特徴画像生成部２２、分割手段としての多重分割画像作成部２３、特徴量抽出手段としての立体高次局所自己相関（ＣＨＬＡＣ（Cubic Higher order Local Auto-Correlation））特徴抽出部（以下、ＣＨＬＡＣ特徴抽出部２４という）、ノイズ除去手段としてのノイズ除去処理部２５、検出手段及び識別手段としての識別器２６、計時手段としての計時部２７及び異常動作報知部２８を備える。異常動作検出装置２０は、ＣＨＬＡＣ特徴抽出法を用いて、異常動作を検出する。
【００１９】
画像取得部２１は、カメラ１２から動画像を構成するフレームを所定時間毎（例えばフレームレート＝１６〜３０ｆｐｓ）に入力する。本実施形態では、異常動作検出装置２０を、作業現場における作業の単純ミス（ポカ）を検出する「ポカよけシステム（作業ミス検出装置）」として利用している。
【００２０】
図２に示すように、画像取得部２１は、一連の作業を撮像したフレームＦを所定のフレームレートで取得する。一連の作業（一工程）は、図２（ａ）に示すように、例えば作業Ａ、作業Ｂ、作業Ｃ、…の複数の作業により構成される。一連の作業が開始されると、まず作業ＡのフレームＦが時刻ｔの経過とともに順次入力され、次いで作業ＢのフレームＦが時刻ｔの経過とともに順次入力され、さらに作業ＣのフレームＦが時刻ｔの経過とともに順次入力される。例えば正常作業（正常動作）が行われているときの作業Ａ，Ｂ，Ｃ，…の所要時間（動作時間）は、それぞれＴa，Ｔb，Ｔc，…となっている。本実施形態では、例えば作業Ａと作業Ｂが近似した作業内容となっている。異常動作検出装置２０は、これら近似した二つの作業Ａ，Ｂを正確に識別して所定の作業から逸脱する異常動作（異常作業）を正確に検出できる構成となっている。なお、時刻ｔのフレームをＦtと記すと、時間の経過ととともに、フレームＦ1，Ｆ2，…，Ｆt-1，Ｆt，Ｆt+1，…が異常動作検出装置２０に順次入力される。
【００２１】
図３に戻って、局所特徴画像生成部２２は、画像取得部２１から所定のフレームレートで取得されたフレームに対して局所特徴抽出を行い、局所特徴画像を生成する。この局所特徴抽出は、例えばフレーム間差分法又はオプティカルフロー法などの公知の手法を用いて行われる。この局所特徴抽出によって生成される局所特徴画像は、例えば局所特徴量を表す画像関数ｆ（ｘ，ｙ）として表される。ここで、ｘ，ｙは画素の位置座標、ｆ（ｘ，ｙ）は動き特徴量を示す。
【００２２】
図４（ａ）は、局所特徴画像を示す。この局所特徴画像Ｘ１は、動き特徴を表す。すなわち、局所特徴画像Ｘ１は、図４（ｂ）に示す９方向のベクトルＶ１，Ｖ２，…，Ｖ９が動き特徴として抽出され、図４（ａ）の局所特徴画像Ｘ１上に描かれた矢印を動きベクトルとする動き特徴を表す画像である。なお、図４（ａ）の例では、局所特徴画像Ｘ１上における右上隅部と左上隅部に２つのノイズＮ１，Ｎ２が含まれている。また、例えば対象者Ｇが行う一連の作業の中に右手で行う作業Ａ，Ｂ間で、右腕及び右手の動作が近似している場合、仮に作業ＡとＢで部品等を取付ける作業位置が異なっていても、画像全体に対してＣＨＬＡＣ特徴抽出を行ったときに作業Ａ，Ｂの識別が困難な場合がある。
【００２３】
多重分割画像作成部２３は、局所特徴画像Ｘ１を多重分割する。図５は、多重分割画像作成処理を説明する模式図である。多重分割画像作成部２３は、局所特徴画像Ｘ１を異なる分割数で複数分割し、分割数の異なる複数の局所特徴画像を作成する。具体的には、多重分割画像作成部２３は、局所特徴画像Ｘ１を、４分割、１６分割することにより、４分割局所特徴画像（以下、「４分割画像Ｘ２」という）と、１６分割局所特徴画像（以下、「１６分割画像Ｘ３」という）とを作成する。これにより、画像全体の局所特徴画像Ｘ１よりなる第１階層と、画像全体を４分割した４分割画像Ｘ２よりなる第２階層と、画像全体を１６分割した１６分割画像Ｘ３よりなる第３階層との３階層に多重分割される。
【００２４】
ここで、第１階層の局所特徴画像Ｘ１（大域画像ＸL）は、対象者Ｇを撮像した画像全体を含むため、動作全体の動作特徴を表す。また、第２階層の４分割画像Ｘ２は、画像全体が４分割されているため、４つの中域画像ＸMは対象者Ｇの身体の部位（頭部、右上腕、右下腕、左上腕、左下腕など）の位置特徴を表す。さらに第３階層の１６分割画像Ｘ３は、部位の位置特徴を示す４分割画像Ｘ２の中域画像ＸMがさらに４分割され、部位の動作特徴を表す。
【００２５】
ＣＨＬＡＣ特徴抽出部２４は、３階層を構成する局所特徴画像Ｘ１，Ｘ２，Ｘ３のそれぞれについて個別に、ＣＨＬＡＣ特徴抽出法による特徴抽出処理を行って、ＣＨＬＡＣ特徴量を抽出する。すなわち、局所特徴画像Ｘ１については大域画像ＸLに対してＣＨＬＡＣ特徴抽出を行い、４分割画像Ｘ２については、各中域画像ＸMごと個別にＣＨＬＡＣ特徴抽出を行い、さらに１６分割画像Ｘ３については、各小域画像ＸSごと個別にＣＨＬＡＣ特徴抽出を行う。
【００２６】
時系列画像（三次元データ）からの動作特徴を示すＣＨＬＡＣ特徴は、二次元データからの特徴抽出である高次局所自己相関（ＨＬＡＣ）特徴に対して時間方向も加えて三次元に拡張したものであり、Ｎ次自己相関関数は次式で表される。
【００２７】
【数１】
2008269063.tif 000003
ここで、ｆは時系列画像であり、変数ｒ，Ｎ個の変数ａｉ（ｉ＝１，…，Ｎ）は画像内の二次元座標と、時間を成分として持つ三次元のベクトルである。また、時間方向の積分範囲は、どの程度の時間方向の相関をとるかのパラメータである。また、積分範囲はＷ×Ｈ×Ｔの立体とする。ここで、Ｗ，Ｈは画像の幅と高さ、Ｔは特徴を抽出する時間方向の窓幅を表す。例えば積分範囲はｎ枚の画像（局所特徴画像）から構成される三次元のピクセル集合であり、ｒはＡ中の１ピクセル（位置ピクセル）、ａはｒからの変位ベクトル、ｆ（ｒ）は位置ｒの関数値である。この関数値ｆ（ｒ）は、前述の画像関数ｆ（ｘ，ｙ）に基づくものであり、局所特徴画像の輝度値を表す。
【００２８】
変位ベクトルの組み合わせは、ＣＨＬＡＣ特徴の場合、変位が三次元となるので、ＣＨＬＡＣ特徴の成分の数は、２値化画像の場合、０次が１個、１次が１３個、２次が２３７個であり、合計２５１次元のベクトルとして、濃淡画像などの多値画像の場合は、０次が１個、１次が１７個、２次が２５７個であり、合計２７５次元のベクトルとして表される。
【００２９】
図２（ｂ）は、ＣＨＬＡＣ特徴抽出処理の内容を示す説明図である。動画像データは時系列のフレームＦの列として取得されるので、フレームＦに対して局所特徴抽出して得られる局所特徴画像Ｘn（図２（ｂ）では４分割画像Ｘ２の例）も時系列に取得される。時間方向（図２（ｂ）では左方向）に一定幅の時間窓を設定し、時間窓内の画像列を１つの３次元データとする。そして、新たな局所特徴画像Ｘnが入力される度に時間窓を移動させ、古い局所特徴画像Ｘnを削除することで有限な３次元データを得ている。この時間窓の長さは、認識しようとする動作の１周期と等しいか、それより長く設定することが好ましい。
【００３０】
この時間窓が、上記(1)式における積分範囲Ｔとなり、この時間窓の範囲内にｎ枚のフレームが配列される。時刻t+1の局所特徴画像Ｘt+1を取得すると、時刻tの局所特徴画像Ｘtと時刻t-1の局所特徴画像Ｘt-1とを用いて相関計算を行ってその相関計算結果を、時間窓における先頭の時刻t-nから時刻t-1までの各時刻における相関計算結果の累積値に加算して、時刻tにおけるＣＨＬＡＣ特徴量を求める。
【００３１】
図６〜図９は、局所特徴として動き特徴を採用した例であり、（ａ）が局所特徴画像、（ｂ）がＣＨＬＡＣ特徴量のヒストグラム（動き特徴の統計量）をそれぞれ示す。
本実施形態において、ＣＨＬＡＣ特徴量は２５１次元の特徴ベクトルとして得られるが、図６〜図９では、説明を簡単にするため１次の０個と２次の１３個の計１４次元で示されるＣＨＬＡＣ特徴量の例で示している。
【００３２】
図６（ａ）に示す局所特徴画像Ｘ１は、フレームＦに所定の前処理を施して得られる時系列の２値化画像、濃淡画像、又はカラー画像（図６（ａ）の画像上に描かれたベクトルを除いた画像）の輝度値に対して局所特徴の計算式から動きと形状の特徴を抽出したものである。図６（ａ）〜図８（ａ）では、抽出された局所特徴の一部である動き特徴をベクトルで示している。
【００３３】
図６（ｂ）に示すヒストグラムは、本実施形態の例における１４次元のＣＨＬＡＣ特徴量のうち動きベクトルに係る９次元の特徴ベクトルを横軸（階数）にとり、縦軸に度数をとって表したものである。同図では、横軸では左側から動きベクトルＶ１，Ｖ２，…，Ｖ９の順に並び、各動きベクトルＶ１，Ｖ２，…，Ｖ９の度数が、その総和を１００％とする相対値で示されている。この局所特徴画像Ｘ１（大域画像ＸL）に対しＣＨＬＡＣ特徴抽出を行うと、図６（ｂ）に示すように、画像全体と対応付けた１つのＣＨＬＡＣ特徴量（大域的特徴量）が得られる。
【００３４】
図６（ａ）に示すように、局所特徴画像Ｘ１中の右上隅と左上隅にそれぞれ存在する動きベクトルＶ２のノイズＮ１，Ｎ２（ノイズベクトル）が存在する。このノイズＮ１，Ｎ２は、局所特徴画像Ｘ１のＣＨＬＡＣ特徴量としては、対象者の右胸領域に位置する動きベクトルＶ２と共に加算されてしまう。すなわち、図６（ｂ）のヒストグラムでは、ノイズＮ１，Ｎ２を個別の特徴量として分離除去できない。
【００３５】
図７（ａ）に示す４分割画像Ｘ２は、図６（ａ）に示す局所特徴画像Ｘ１を４分割したものである。この４分割画像Ｘ２を構成する各中域画像ＸMに対し個別にＣＨＬＡＣ特徴抽出を行うと、図７（ｂ）に示すように、画像全体を４分割した各位置（左上、左下、右上、右下）と対応付けた４つのＣＨＬＡＣ特徴量（中域的特徴量）が得られる。これら４つのＣＨＬＡＣ特徴量を示す４つのヒストグラムでは、図７（ａ）に示す４分割画像Ｘ２中の右上隅に位置するノイズＮ１は、図７（ｂ）に示すＣＨＬＡＣ特徴量としては、対象者の右胸領域に位置する動きベクトルＶ２と分離される。このため、４分割画像Ｘ２のＣＨＬＡＣ特徴抽出を行うことで、ノイズＮ１の分離除去が可能となる。
【００３６】
また、図８（ａ）に示す１６分割画像Ｘ３は、図６（ａ）に示す局所特徴画像Ｘ１を１６分割したものである。４分割画像Ｘ２の個々の中域画像をさらに４分割したことに相当する。この１６分割画像Ｘ３を構成する各小域画像ＸSに対し個別にＣＨＬＡＣ特徴抽出を行うと、図８（ｂ）に示すように、画像全体を１６分割した各位置と対応付けた１６個のＣＨＬＡＣ特徴量（小域的特徴量）が得られる。これら１６個のＣＨＬＡＣ特徴量を示す１６個のヒストグラムでは、図８（ａ）に示す１６分割画像Ｘ３中の右上隅に位置するノイズＮ１と、左上隅に位置するノイズＮ２は、図８（ｂ）に示すＣＨＬＡＣ特徴量としては、対象者の右胸領域に位置する動きベクトルＶ２と分離される。このため、１６分割画像Ｘ３のＣＨＬＡＣ特徴抽出を行うことで、ノイズＮ２の分離除去が可能となる。
【００３７】
この場合、仮に４分割画像Ｘ２のＣＨＬＡＣ特徴量において、ノイズが分離されていなくても、分割数がさらに多い下位階層の１６分割画像Ｘ３のＣＨＬＡＣ特徴量では、ノイズの分離が可能となる頻度が高くなる。但し、ＣＨＬＡＣ特徴抽出の段階で得られたＣＨＬＡＣ特徴量には、上述のようにノイズＮ１，Ｎ２に起因するノイズが含まれており、このまま使用すると高い異常動作検出精度が得られにくい。なお、図７，図８は、ＣＨＬＡＣ特徴量を画像全体で総和した値が１００％となる設定としているが、分割位置ごとの個別領域内で総和が１００％となるようにＣＨＬＡＣ特徴量を設定してもよい。
【００３８】
図３に戻って、ノイズ除去処理部２５は、ＣＨＬＡＣ特徴抽出部２４から入力した大域的特徴量、中域的特徴量、小域的特徴量（局所的特徴量）から、ノイズを除去する処理を行う。このノイズ除去処理は、大域的特徴量、中域的特徴量、局所的特徴量を相互フィードバックすることにより行われる。まずＣＨＬＡＣ特徴量の総和（ヒストグラムにおける１００％）に対して設定％（例えば１〜５％の範囲内）の閾値以下の度数をもつ特徴ベクトルについてはノイズとして除去する。これとともに、下位階層の分割画像ごとのＣＨＬＡＣ特徴量において分離されたノイズＮ１，Ｎ２に相当する分を、これより上位階層のＣＨＬＡＣ特徴量において対応する特徴ベクトルから除去する。こうして３階層すべてのＣＨＬＡＣ特徴量からノイズが除去される。なお、ノズル除去の閾値は、１００％に対する相対値として指定する方法に限らず、例えばヒストグラムパターンに応じて閾値を動的に設定する方法も採用できる。
【００３９】
図９は、ノイズ除去後のＣＨＬＡＣ特徴量を表すヒストグラムを示し、（ａ）が大域的特徴量、（ｂ）が中域的特徴量、（ｃ）が小域的特徴量を示す。図９（ａ）に示す大域的特徴量では、動きベクトルＶ２に係る特徴ベクトルは、図７（ｂ）で分離されたノイズＮ１と、図８（ｂ）で分離されたノイズＮ２の分が除去された値をとる。図９（ｂ）に示す中域的特徴量Ｑ２では、図７（ｂ）で分離されたノイズＮ１が除去されており、中域的特徴量Ｑ１では、動きベクトルＶ２に係る特徴ベクトルは、図８（ｂ）で分離されたノイズＮ２の分が除去された値をとる。図９（ｃ）に示す小域的特徴量Ｌ４，Ｌ１では、図８（ｂ）で分離されたノイズＮ１，Ｎ２がそれぞれ閾値以下となって除去されている。
【００４０】
図３に戻って、識別器２６は、ノイズ除去後の大域的特徴量、中域的特徴量、局所的特徴量のうち少なくとも二種の特徴量に基づいて、動作を識別する動作識別処理を行う。識別器２６は、予め正常動作を撮像した動画像に基づき学習した正常動作時のＣＨＬＡＣ特徴量を学習データとしてメモリ（ＨＤＤ１８等）に記憶している。この学習データは、正常動作時における１個の大域的特徴量、４個の中域的特徴量、１６個の小域的特徴量からなり、それぞれＣＨＬＡＣ特徴量をヒストグラムのパターンで示したパターンデータ群よりなる。パターンデータは、例えば１つのＣＨＬＡＣ特徴量につき（Ｖ１，Ｖ２，…，Ｖ９）で示され。識別器２６は、識別対象動作と正常動作とを例えば１６個の小域的特徴量のパターンデータの組み合わせ列（１６個のパターンデータの列）に基づいて、パターンの比較処理を行うことで、識別対象動作が正常動作であるかどうかを識別する。そして、カメラ１２から入力した時系列のフレームに基づき取得した識別対象動作に係るＣＨＬＡＣ特徴量が、正常動作時のＣＨＬＡＣ特徴量が規定する部分空間に属すればそのときの識別対象動作を正常動作と識別し、一方、正常動作の部分空間から逸脱した場合は、その識別対象動作を異常動作と識別する。識別器２６の識別手法としては、線形判別分析、サポートベクタマシンなどを挙げることができる。また、識別器２６は複数の異なる手法に基づく識別結果を組み合わせて一つの識別結果を導き出す構成も採用できる。
【００４１】
計時部２７は、識別器２６が正常動作と識別した動作の所要時間（動作時間）を、識別器２６からの指示により計時する。本実施形態では、作業Ａが識別されると、その識別された作業Ａの所要時間（作業時間）を計時する。
【００４２】
識別器２６は、一連の作業（一工程）を終える度に、計時部２７から各作業の所要時間を取得し、適正な作業時間を学習した時間列データ（Ｔa，Ｔb，…）と、計時された各作業の時間列データ（ｔa，ｔb，…）とに基づき、ポカ発生の有無を推定する。例えばどの作業も適正時間より一定時間（あるいは一定割合）以上短かい作業時間であれば、慌てて作業を行っていると認識でき、この場合、ポカが発生し易い作業状態にあると認識する。逆に、どの作業も適正時間より一定時間（あるいは一定割合）以上長い作業時間となっていれば、作業に集中力が欠けた状態、あるいは作業に手間取っていると推定する。このような場合にも、識別器２６は異常動作として検出する。
【００４３】
また、識別器２６には、異常動作を誘発する動作（以下、異常誘発動作という）の学習データも記憶されており、異常誘発動作も識別（検出）できる。異常誘発動作としては、例えばキョロキョロ見回して頭部が動く動作などが挙げられる。このような異常誘発動作を検出した場合、ポカが発生する虞があると予測する。
【００４４】
異常動作報知部２８は、識別器２６から異常動作検出の旨の通知を受け付けると、表示装置１５にその旨を表示したりスピーカから音声でその旨を報知したりする。また、識別器２６が、計時部２７により計時された作業時間列データに基づき適正でない作業と識別した場合にも、表示装置１５やスピーカから異常動作の旨を報知する。さらに、識別器２６から異常誘発動作検出の旨の通知を受け付けると、異常動作報知部２８は、異常動作検出の旨とは異なる表示態様及び音声態様で、その旨を報知するように構成されている。
【００４５】
次にコンピュータ１４が実行する異常動作検出処理について、図１０に示すフローチャートに従って説明する。
ステップＳ１では、カメラ１２が対象者の作業内容を撮像したフレームを一定時間間隔でリアルタイムに入力する。
【００４６】
ステップＳ２では、局所特徴画像を生成する。すなわち、局所特徴画像生成部２２が、フレームに対してフレーム間差分法又はオプティカルフロー法などで局所特徴抽出処理を行って、動きと形状の特徴が抽出された局所特徴画像Ｘ１を取得する。
【００４７】
ステップＳ３では、多重分割画像を作成する。すなわち、多重分割画像作成部２３が、局所特徴画像Ｘ１を４分割して４枚の中域画像ＸMからなる４分割画像Ｘ２を作成するとともに、局所特徴画像Ｘ１を１６分割して１６枚の小域画像ＸSからなる１６分割画像Ｘ３を作成する。この結果、図６（ａ）に示す局所特徴画像Ｘ１からなる第１階層、図７（ａ）に示す４分割画像Ｘ２からなる第２階層、図８（ａ）に示す１６分割画像Ｘ３からなる第３階層とからなる３階層の多重分割画像を取得する（図５参照）。
【００４８】
ステップＳ４では、ＣＨＬＡＣ特徴抽出を行う。ＣＨＬＡＣ特徴抽出部２４が、３階層のうちまず第１階層の局所特徴画像Ｘ１（大域画像ＸL）に対してＣＨＬＡＣ特徴抽出を行う。次に、第２階層に属する４枚の中域画像ＸMのそれぞれに対してＣＨＬＡＣ特徴抽出を行う。さらに第３階層に属する１６枚の小域画像ＸSのそれぞれに対してＣＨＬＡＣ特徴抽出を行う。ＣＨＬＡＣ特徴抽出は、前記(1)式を用いてＣＨＬＡＣ特徴量を計算することにより行われる。具体的には、図２（ｂ）に示すように、コンピュータ１４が時刻の連続する３枚の局所特徴画像Ｘt-1，Ｘt，Ｘt+1を用いてＣＨＬＡＣ特徴量の計算を行い、その計算結果を、時間窓の先頭（時刻t-n）から前回（時刻t-1）までの累積値に加算する積分計算処理を行って、時刻tにおけるＣＨＬＡＣ特徴量を計算する。この計算の結果、大域画像ＸLからは２５１次元のベクトルで表現される１個のＣＨＬＡＣ特徴量が得られる。また、４枚の中域画像ＸMからは２５１次元のベクトルで表現される４個のＣＨＬＡＣ特徴量が得られる。さらに１６枚の小域画像ＸSからは２５１次元のベクトルで表現される１６個のＣＨＬＡＣ特徴量が得られる。
【００４９】
説明を簡単にするためにＣＨＬＡＣ特徴量を１４次元のベクトルで表現し、かつ１４次元のうち動き特徴に係る９次元の特徴ベクトルのみで表現した例においては、図６（ｂ），図７（ｂ），図８（ｂ）にヒストグラムで示されるＣＨＬＡＣ特徴量（大域的特徴量Ｊ１、中域的特徴量Ｋ１〜Ｋ４、小域的特徴量Ｌ１〜Ｌ１６）がそれぞれ得られる。
【００５０】
ステップＳ５では、多階層のＣＨＬＡＣ特徴量を相互に利用してノイズ除去を行うことで、高精度なＣＨＬＡＣ特徴量を取得する。詳しくは、図６（ｂ）に示すヒストグラムで示されるＣＨＬＡＣ特徴量からノイズとみなしうる所定の閾値（例えば１〜５％の範囲内の値）以下のベクトルを除去する。この場合、図６（ａ）に示すように、動作（作業）に起因する動きベクトルＶ２と同じ方向のノイズＮ１，Ｎ２の成分は動きベクトルＶ２の特徴量に加算されてしまっているので、閾値によるノイズ除去処理によっては除去できない。
【００５１】
この場合、図７（ｂ）に示す各中域画像ＸMに係る４個の中域的特徴量Ｋ１〜Ｋ４、及び図８（ｂ）に示す各小域画像ＸSに係る１６個の小域的特徴量Ｌ１〜Ｌ１６を示す各ヒストグラムにおいて、ノイズＮ１，Ｎ２が分離される場合がある。例えば図７（ａ）に示すように、動きベクトルＶ２とノイズＮ１とが異なる中域画像ＸMに属する場合、図７（ｂ）に示すように中域的特徴量Ｋ２に属するノイズＮ１のベクトルは分離される。このため、中域的特徴量Ｋ２のヒストグラムにおいて閾値以下のノイズＮ１成分は除去される。そして、大域的特徴量Ｊ１のヒストグラムにおいて、その除去したノイズＮ１の成分に相当する分を対応する特徴ベクトルから削除する。
【００５２】
同様にして、分割数の多い小域画像ＸSに係る小域的特徴量Ｌ１〜Ｌ１６では更にノイズが分離され易い。そして、小域画像ＸSに係る小域的特徴量Ｌ１〜Ｌ１６において分離された閾値以下のノイズＮ１，Ｎ２を除去する。これとともに、中域画像ＸMに係る中域的特徴量Ｋ１〜Ｋ４、及び大域画像ＸLに係る大域的特徴量Ｊ１において、ノイズＮ２と同じベクトル方向の動きベクトルに対応する特徴量からそのノイズＮ２に相当する分だけ除去する。こうして、図９に示すようなノイズ除去された高精度な大域的特徴量Ｐ１、中域的特徴量Ｑ１〜Ｑ４、及び小域的特徴量Ｒ１〜Ｒ１６が得られる。
【００５３】
ステップＳ６では、動作を識別する。すなわち、識別器２６が、識別対象動作のＣＨＬＡＣ特徴量と、予め正常動作として学習した学習データ（正常動作のＣＨＬＡＣ特徴量）とを比較して、識別対象動作の識別を行う。本実施形態では、図２（ａ）に示すように、作業ミスの検出対象となる一連の作業において、最初が作業Ａなので、識別対象動作が作業Ａの動作であることを識別する。すなわち、作業Ａが正しく行われたときの学習データと、識別対象動作のＣＨＬＡＣ特徴量とを比較処理し、識別対象動作のＣＨＬＡＣ特徴量が、学習データに基づく部分空間に属すると判定すれば、その識別対象動作が作業Ａであると識別する。
【００５４】
以下、複数種の識別方法を説明する。まず第一の方法は、大域的特徴量Ｐ１と小域的特徴量Ｒ１〜Ｒ１６とを使用して、識別対象動作を識別する方法である。まず、大域的特徴量Ｐ１と学習データとに基づき第一識別処理を行う。この第一識別処理により、例えば右腕（右手を含む）の動作であるところまでは識別できるが、同じ右手で行われ、組付位置の少し異なる近似した作業Ａ，Ｂのうちどちらかであるところまで識別される。次に、小域的特徴量Ｒ１〜Ｒ１６のうちの一部と学習データとに基づき第二識別処理を行う。ここで、小域的特徴量Ｒ１〜Ｒ１６のすべてについて識別処理を行う必要はなく、作業Ａと作業Ｂを識別できる一部の小域的特徴量だけを使って識別処理を行う。この第二識別処理で使用される一部の小域的特徴量をＲ９，Ｒ１０とすると、小域的特徴量Ｒ９，Ｒ１０のパターンの組み合わせ列と、学習データのパターン組み合わせ列とを比較処理することで、識別対象動作が、近似した作業Ａと作業Ｂのうちどちらであるかを識別する。
【００５５】
小域的特徴量Ｒ１〜Ｒ１６は、部位の動作特徴を示すものとなるように１６分割されたものなので、作業Ａと作業Ｂとでは小域的特徴量に現れる特徴ベクトルの成分が異なる。例えば作業Ａでは、図９（ｃ）における小域的特徴量Ｒ９が１本の特徴ベクトルをもつパターンデータＲ９（Ｖ１，…，Ｖ９）＝（10,0,…,0）、小域的特徴量Ｒ１０が２本の特徴ベクトルをもつパターンデータＲ１０（Ｖ１，…，Ｖ９）＝（0,70,…,10,…,0）であるところ、作業Ｂはこれらと異なるパターンデータとなる。よって、各分割位置の特徴量を組み合わせ列でみることで精度良く動作を識別できる。
【００５６】
次に第二の方法を説明する。この第二の方法は、小域的特徴量Ｒ１〜Ｒ１６のみを使用して識別処理を行う。すなわち、小域的特徴量Ｒ１〜Ｒ１６と学習データとに基づき識別処理を行う。この識別処理で使用される小域的特徴量Ｒ１〜Ｒ１６のパターンの組み合わせ列（Ｒ１，Ｒ２，…，Ｒ１６）と、学習データのパターン組み合わせ列（Ｒ１，Ｒ２，…，Ｒ１６）とを比較処理することで、識別対象動作が作業Ａあるかを識別する。小域的特徴量Ｒ１〜Ｒ１６は、部位の動作特徴を示すものとなるように１６分割されたものなので、近似した作業Ａと作業Ｂとを正確に識別できる。ここで、小域的特徴量Ｒ１〜Ｒ１６のすべてについて識別処理を行う必要はなく、作業Ａと作業Ｂを識別できる一部の小域的特徴量だけを使って識別処理を行ってもよい。但し、作業Ａと作業Ｂとの判別だけではなく、すべての作業の中から所定の作業を識別する必要があるので、第一の方法における第二識別処理よりも、使用する小域的特徴量の数は通常多くなる。
【００５７】
もちろん、小域的特徴量Ｒ１〜Ｒ１６の一つひとつを対応する学習データと順次比較し、各分割位置で作業Ａの部位の動作であると識別された割合が所定値以上に高ければ、その識別対象動作が作業Ａであると識別する構成でもよい。その他、大域的特徴量Ｐ１と中域的特徴量Ｑ１〜Ｑ４とを用いる識別方法、中域的特徴量Ｑ１〜Ｑ４と小域的特徴量Ｒ１〜Ｒ１６とを用いる識別方法、大域的特徴量Ｐ１と中域的特徴量Ｑ１〜Ｑ４と小域的特徴量Ｒ１〜Ｒ１６の３階層すべて用いる識別方法なども採用できる。さらに３階層すべて用いる場合において、最初に第１階層の大域的特徴量Ｐ１に基づき識別できれば、下位階層のＣＨＬＡＣ特徴量による識別処理は行わず、第１階層で識別できなければ、次に下位階層での識別処理に移行し、識別できるまで順次に下位階層の識別処理を行う構成も採用できる。
【００５８】
ステップＳ７では、動作が終了したか否かを判断する。すなわち、本例では、一連の作業Ａ，Ｂ，Ｃ，…がすべて終了したか否かを判断する。動作終了前であると判断すればステップＳ９に進み、一方、動作が終了したと判断すればステップＳ８に進む。よって、一連の作業のすべて（つまり１サイクル）を終了する前においては、ステップＳ９に進むことになる。
【００５９】
ステップＳ９では、異常動作を検出したか否かを判断する。例えば作業Ａの識別を行っている段階において、識別器２６が、ステップＳ６において現在の識別対象動作が作業Ａであると識別できなかったときは、異常動作を検出したことになる。異常動作を検出した場合は、ステップＳ１０に進んで、異常動作報知部２８が、異常動作を検出した旨を表示装置１５及びスピーカを通して報知する。例えば作業Ａが正しく行われていない作業ミス発生の旨が報知される。一方、識別対象動作が作業Ａと識別されていれば異常動作は検出していないので、リターンしてステップＳ１に戻る。
【００６０】
こうしてステップＳ１〜Ｓ１０の処理を繰り返し実行しつつ、作業Ａの識別処理が進められ、作業Ａの識別処理を終えると、次に作業Ｂの識別処理に移り、以降、作業Ｃ，…の識別処理を順次進める。そして、一連の作業Ａ，Ｂ，Ｃ，…のすべてが終了したと判断すると（Ｓ７でYES）、ステップＳ８に進む。
【００６１】
ステップＳ８では、動作時間に基づく異常動作検出処理を行う。ここで、このステップＳ８の処理に至るまで（つまり作業Ａ，Ｂ，Ｃ，…のすべてを終えるまで）の過程で、識別器２６は、識別対象動作（例えば作業Ａ）が開始されると、計時部２７にその動作（作業Ａ）の動作時間（所要時間）の計時を指示しており、計時部２７がその動作（作業Ａ）の動作時間の計時を終わる度に、その動作時間ｔaを取得している。次に作業Ｂ、作業Ｃに順次移ると、同様に識別器２６の指示により計時部２７が動作時間ｔb，ｔcを計時している。そして、識別器２６は、一連の作業の終了を認識する（Ｓ７でYES）と、最後の作業の動作時間を計時部２７から取得し、動作時間ｔａ，ｔｂ，ｔｃ，…に基づく異常動作検出処理を行う。すなわち、識別器２６は、一連の作業（Ａ，Ｂ，Ｃ，…）を終える度に、適正な作業時間を学習した時間列データ（Ｔa，Ｔb，…）と、計時された各作業の動作時間の時間列データ（ｔa，ｔb，…）とに基づき、ポカ発生の有無を推定する。なお、動作終了（ステップＳ７）を、一連の作業すべて終了したことを判断する構成に替えて、作業毎の動作終了を判断する構成とし、作業毎の動作時間と、作業が適正に行われた際の適切な動作時間とを比較して、作業毎に動作の適切性を判断する構成も採用できる。
【００６２】
また、動作識別（Ｓ６）において、識別器２６は、異常動作を誘発する動作（異常誘発動作）の学習データに基づき、例えばキョロキョロ見回して頭部が動く動作など異常誘発動作も識別（検出）している。このような異常誘発動作を検出した場合、ポカが発生する虞があると予測する。この場合も、異常動作検出と判断されて、ポカが発生する虞があることを報知する。
【００６３】
以上詳述したように本実施形態によれば、以下の効果が得られる。
（１）局所特徴画像Ｘ１を分割した分割局所特徴画像（小域画像ＸS）のＣＨＬＡＣ特徴量（小域的特徴量）に基づきエリア情報を活用しつつ動作を識別するので、近似した動作でも正確に識別できる。この結果、異常動作を正確に検出することができる。例えば異常動作検出装置を作業現場での作業ミス（ヒューマンエラー）を検出する異常作業検出装置として応用した場合、作業ミスを正確に検出できる。
【００６４】
（２）多重分割画像を作成するとともに分割領域（中域画像ＸM、小域画像ＸS）ごとにＣＨＬＡＣ特徴量を算出し、分離したノイズを除去することによりＳ／Ｎ比を向上させ、動作識別精度を高めることができる。
【００６５】
（３）全体画像に係るＣＨＬＡＣ特徴量（大域的特徴量）と、分割画像に係るＣＨＬＡＣ特徴量（小域的特徴量）とに基づいて動作識別処理を行うので、一層正確に動作を識別でき、異常動作をより正確に検出することができる。
【００６６】
（４）分割局所特徴画像ごとのＣＨＬＡＣ特徴量の組み合わせ列に基づいて動作識別処理を行うので、動作識別精度が向上し、より正確に異常動作を検出できる。
（５）識別された動作の動作時間（所要時間）に基づく異常動作の検出も行うので、動作認識だけでは検出できない異常動作の検出あるいは異常動作の予測を行うことができる。例えば異常動作検出装置を作業現場での作業ミスを検出する異常作業検出装置として応用した場合、作業ミス（ポカ）の発生を予測できる。
【００６７】
（６）識別器２６は異常誘発動作も識別するので、正常な動作として識別されても、異常誘発動作を検出すれば、異常動作の発生を予測できる。
前記実施形態に限定されず、以下の態様で実施してもよい。
【００６８】
・多重分割画像やそのＣＨＬＡＣ特徴量の階層は、三階層に限定されず、二階層、四階層以上も採用できる。また、分割数も４分割や１６分割に限定されず、９分割（３×３）、２５分割（５×５）、３６分割（６×６）、また画像の縦と横で分割数が異なってもよく、２分割（２×１）、６分割（３×２）や２０分割（５×４）なども採用できる。
【００６９】
・局所特徴画像の分割の仕方は、分割画像同士で一部画像が重複するような分割方法も採用できる。例えばマトリクス状に等面積に分割すると、分割面積が対象者の一の部位には適切な広さであっても、他の部位にとっては狭すぎてその部位が複数に分断される虞があるが、一部画像の重複を許す分割方法であれば、例えば頭部をほぼ完全に収める分割領域を設定しつつ、左肩、右肩をそれぞれほぼ完全に収めるように分割領域を設定できる。
【００７０】
・３階層のうち第１階層と第２階層に係る各ＣＨＬＡＣ特徴量のみ動作の識別に用い、第３階層に係るＣＨＬＡＣ特徴量は、ノイズ除去のためだけに使用する構成でもよい。
・前記実施形態では、異なる分割数の多重分割層を２層もち、全体画像を含め３階層に分けたが、３階層に限定されない。全体画像と１階層の多重分割画像との計２階層としてもよいし、４階層以上の多重分割としてもよい。
・前記実施形態では、分割後の画像形状を矩形状としたが、適宜な形状を選択でき、例えば円形、三角形、５角以上の多角形、楕円、平行四辺形、菱形なども採用できる。この場合、形状の異なる分割画像が混在しても構わない。さらに階層ごとで分割画像の形状が異なってもよい。
【００７１】
・前記実施形態において、作業ミス動作以外の異常動作を検出しても構わない。例えば異常動作検出装置をセキュリティ装置に適用し、不審者の異常行動を検出してもよい。この場合、異常動作検出装置の採用により、通常者と不審者との近似する動作を識別できる。また、異常動作検出装置を福祉用途に用いてもよく、この場合、監視対象者が、転んだり倒れたりした異常動作を正確に検出できる。また、作業ミスを検出する場合でも、製造業の組立工程に限定されず、加工工程や検査工程、さらには医療分野に利用してもよい。
【００７２】
前記実施形態及び変形例から把握される技術的思想を以下に記載する。
（１）請求項１乃至５のいずれか一項に記載の異常動作検出装置であって、前記検出手段に前記正常動作として学習された動作は作業であり、前記検出手段は、前記異常動作として作業ミスを検出することを特徴とする多重分割画像を用いた異常動作検出装置。
【図面の簡単な説明】
【００７３】
【図１】一実施形態における異常動作検出システムを示す模式図。
【図２】（ａ）時系列なフレームと作業（動作）を示す説明図、（ｂ）ＣＨＬＡＣ特徴計算の説明図。
【図３】異常動作検出装置の機能構成を示すブロック図。
【図４】（ａ）局所特徴画像を示す模式図、（ｂ）動きベクトルの方向を示す説明図。
【図５】多重分割処理で作成される多階層の局所特徴画像を示す斜視図。
【図６】（ａ）分割なしの局所特徴画像を示す模式図、（ｂ）ＣＨＬＡＣ特徴量を示すヒストグラム。
【図７】（ａ）４分割画像を示す模式図、（ｂ）ＣＨＬＡＣ特徴量を示すヒストグラム。
【図８】（ａ）１６分割画像を示す模式図、（ｂ）ＣＨＬＡＣ特徴量を示すヒストグラム。
【図９】（ａ）〜（ｃ）ノイズ除去後における多階層のＣＨＬＡＣ特徴量を示すヒストグラム。
【図１０】異常動作検出処理ルーチンを示すフローチャート。
【符号の説明】
【００７４】
１１…異常動作検出システム、１２…撮像手段としてのカメラ、１３…パーソナルコンピュータ（ＰＣ）、１４…コンピュータ、１５…表示装置、１６…入力装置、１７…ＣＰＵ、２０…異常動作検出装置、２１…画像取得部、２２…局所特徴画像生成手段としての局所特徴画像生成部、２３…分割手段としての多重分割画像作成部、２４…特徴量抽出手段としてのＣＨＬＡＣ特徴抽出部、２５…ノイズ除去手段としてのノイズ除去処理部、２６…検出手段及び識別手段としての識別部、２７…計時手段としての計時部、２８…異常動作報知部（報知手段）、Ｘ１…局所特徴画像、Ｘ２…４分割画像、Ｘ３…１６分割画像、ＸS…分割画像としての小域画像、ＸM…分割画像としての中域画像、Ｎ１，Ｎ２…ノイズ、ｔa，ｔb，ｔc…動作時間。
【図１】
2008269063.tif 000004
【図２】
2008269063.tif 000005
【図３】
2008269063.tif 000006
【図４】
2008269063.tif 000007
【図５】
2008269063.tif 000008
【図６】
2008269063.tif 000009
【図７】
2008269063.tif 000010
【図８】
2008269063.tif 000011
【図９】
2008269063.tif 000012
【図１０】
2008269063.tif 000013