(57)【要約】【課題】異なるタイミングで撮像された複数の画像を解析する構成において、対象物の行動をより正確に推定する。【解決手段】画像解析装置１０１は、撮像された各画像Ｉ［ｔｎ］を取得する画像取得部２１と、各画像Ｉ［ｔｎ］からキューボイドＣｂを生成するキューボイド生成部２３と、キューボイドＣｂの特性変化量を総合的に示す記述子を生成する記述子情報生成部２５と、記述子および参照用のキューボイドＲＣｂの特性変化量を総合的に示す参照用記述子に基づいて、画像Ｉ［ｔｎ］における対象物の動作の特徴を示すＢｏＦ表現を生成するＢｏＦ表現生成部２８と、生成したＢｏＦ表現と、参照用記述子から生成される、参照用のキューボイドＲＣｂにおける参照物の動作の特徴を示す参照用ＢｏＦ表現とに基づいて対象物の動作を分類する動作分類部２６と、分類した対象物の動作の時間的推移に基づいて対象物の行動を推定する行動推定部２９とを備える。【選択図】図３
2014182585.tif 000002
【特許請求の範囲】
【請求項１】
異なるタイミングで撮像された複数の画像を取得する画像取得部と、
前記画像取得部により取得された各前記画像から画像グループを生成する画像グループ生成部と、
前記画像グループ生成部により生成された前記画像グループの特性変化量を総合的に示す記述子情報を生成する記述子情報生成部と、
前記記述子情報生成部により生成された前記記述子情報および参照用の画像グループの特性変化量を総合的に示す参照用記述子情報に基づいて、前記画像取得部により取得された前記画像における対象物の動作の特徴を示す特徴情報を生成する特徴情報生成部と、
前記特徴情報生成部により生成された前記特徴情報と、前記参照用記述子情報から生成される、前記参照用の画像グループにおける参照物の動作の特徴を示す参照用特徴情報とに基づいて前記対象物の動作を分類する動作分類部と、
前記動作分類部により分類された前記対象物の動作の時間的推移に基づいて前記対象物の行動を推定する行動推定部とを備える、画像解析装置。
【請求項２】
前記画像グループ生成部は、前記画像取得部により取得された各前記画像のうちの一部を選択した画像グループ、前記各画像における対応領域を抽出した画像グループ、または前記各画像のうちの一部を選択し、かつ前記各画像における対応領域を抽出した画像グループを生成する、請求項１に記載の画像解析装置。
【請求項３】
前記記述子情報生成部は、前記画像グループ生成部により生成された前記画像グループにおいて、各画像を分割した領域ごとの画像間および画像内の特性変化量を演算し、演算した各前記特性変化量を総合的に示す記述子情報を生成する、請求項１または請求項２に記載の画像解析装置。
【請求項４】
前記画像解析装置は、さらに、
前記参照物の動作の時間的推移のパターンを取得するパターン取得部を備え、
前記行動推定部は、前記パターン取得部により取得された前記パターンを用いて、前記動作分類部により分類された前記対象物の動作の時間的推移を評価することにより前記対象物の行動を推定する、請求項１から請求項３のいずれか１項に記載の画像解析装置。
【請求項５】
前記パターン取得部は、前記参照物の複数の動作状態および各前記動作状態の順序を前記パターンとして取得し、
前記行動推定部は、前記動作分類部により分類された前記対象物の動作と前記パターンにおける前記各動作状態との関係に基づいて、前記対象物の動作の時間的推移を評価することにより前記対象物の行動を推定する、請求項４に記載の画像解析装置。
【請求項６】
前記行動推定部は、前記パターンにおける、前記動作分類部により分類された前記対象物の動作と一致または類似する前記動作状態に基づいて前記対象物の動作の時間的推移を評価することにより前記対象物の行動を推定する、請求項５に記載の画像解析装置。
【請求項７】
前記行動推定部は、前記対象物の動作の時間的推移における複数の前記動作が前記パターンにおける同じ前記動作状態と連続して一致または類似する期間に基づいて前記対象物の動作の時間的推移を評価することにより前記対象物の行動を推定する、請求項６に記載の画像解析装置。
【請求項８】
前記動作状態毎にしきい値時間が付与されており、
前記行動推定部は、前記期間および対応の前記動作状態の前記しきい値時間の大小関係に基づいて前記対象物の動作の時間的推移を評価することにより前記対象物の行動を推定する、請求項７に記載の画像解析装置。
【請求項９】
前記動作状態毎に重みが付与されており、
前記行動推定部は、前記パターンにおける各前記動作状態の重みを用いて前記対象物の動作の時間的推移における前記各動作の重みを求め、求めた前記各動作の重みに基づいて前記対象物の動作の時間的推移を評価することにより前記対象物の行動を推定する、請求項５から請求項８のいずれか１項に記載の画像解析装置。
【請求項１０】
前記画像解析装置は、さらに、
前記参照物の動作に含まれる潜在動作を取得する潜在動作取得部を備え、
前記動作分類部は、前記特徴情報と、前記潜在動作取得部により取得された前記潜在動作とに基づいて前記対象物の動作を分類する、請求項１から請求項９のいずれか１項に記載の画像解析装置。
【請求項１１】
前記動作分類部は、前記特徴情報に含まれる前記対象物の動作が前記潜在動作に帰属する確率を演算し、演算した前記確率を用いて前記対象物の動作を分類する、請求項１０に記載の画像解析装置。
【請求項１２】
前記参照用特徴情報には、前記参照物の複数種類の動作の特徴が含まれており、
前記動作分類部は、前記特徴情報の示す前記対象物の動作の特徴と近い前記参照物の動作の種類を前記対象物の動作の種類として分類する、請求項１から請求項９のいずれか１項に記載の画像解析装置。
【請求項１３】
画像解析装置における画像解析方法であって、
異なるタイミングで撮像された複数の画像を取得するステップと、
取得した各前記画像から画像グループを生成するステップと、
生成した前記画像グループの特性変化量を総合的に示す記述子情報を生成するステップと、
生成した前記記述子情報および参照用の画像グループの特性変化量を総合的に示す参照用記述子情報に基づいて、取得した前記画像における対象物の動作の特徴を示す特徴情報を生成するステップと、
生成した前記特徴情報と、前記参照用記述子情報から生成される、前記参照用の画像グループにおける参照物の動作の特徴を示す参照用特徴情報とに基づいて前記対象物の動作を分類するステップと、
分類した前記対象物の動作の時間的推移に基づいて前記対象物の行動を推定するステップとを含む、画像解析方法。
【請求項１４】
画像解析装置において用いられる画像解析プログラムであって、
コンピュータに、
異なるタイミングで撮像された複数の画像を取得するステップと、
取得した各前記画像から画像グループを生成するステップと、
生成した前記画像グループの特性変化量を総合的に示す記述子情報を生成するステップと、
生成した前記記述子情報および参照用の画像グループの特性変化量を総合的に示す参照用記述子情報に基づいて、取得した前記画像における対象物の動作の特徴を示す特徴情報を生成するステップと、
生成した前記特徴情報と、前記参照用記述子情報から生成される、前記参照用の画像グループにおける参照物の動作の特徴を示す参照用特徴情報とに基づいて前記対象物の動作を分類するステップと、
分類した前記対象物の動作の時間的推移に基づいて前記対象物の行動を推定するステップとを実行させるための、画像解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置、画像解析方法および画像解析プログラムに関し、特に、異なるタイミングで撮像された複数の画像を解析する画像解析装置、画像解析方法および画像解析プログラムに関する。
【背景技術】
【０００２】
特許第４６６３７５６号公報（特許文献１）には、監視対象の映像を取得する映像取得部と、上記映像取得部が取得した映像中の人数を検出する人数検出部と、上記人数検出部が検出した人数に応じた正常行動の学習データを選択する学習データ選択部と、上記学習データ選択部が選択した正常行動の学習データを用いて上記映像取得部が取得した映像中の非正常行動を異常行動として検出する非正常行動検出部と、上記非正常行動検出部の検出結果を基に異常行動が発生している場合にはその旨を外部装置に通知する発報部を備える異常行動検知装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６６３７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１（特許第４６６３７５６号公報）に記載の異常行動検知装置では、検出した対象物の行動の異常度を示す非正常度が、主成分分析を用いて算出された、モデルとする正常行動の特徴量の分布の重心と、検出した対象物の行動の特徴量との距離として演算される。そして、異常行動検知装置は、非正常度が大きいとき、対象物の行動が異常であると判断する。
【０００５】
異常行動検知装置が検出する対象物の行動は、短時間における当該対象物の動きに相当する単発の「動作」である。したがって、異常行動検知装置は、単発の「動作」が連なったソーシャルな意味を有する「行動」を正確に推定することができない。
【０００６】
このため、たとえば、短時間において複数の「動作」が混在したり、短時間において「動作」の順序が入れ替わったりすると、対象物の「行動」を誤って認識してしまう場合がある。
【０００７】
この発明は、上述の課題を解決するためになされたもので、その目的は、異なるタイミングで撮像された複数の画像を解析する構成において、対象物の行動をより正確に推定することが可能な画像解析装置、画像解析方法および画像解析プログラムを提供することである。
【課題を解決するための手段】
【０００８】
（１）上記課題を解決するために、この発明のある局面に係わる画像解析装置は、異なるタイミングで撮像された複数の画像を取得する画像取得部と、上記画像取得部により取得された各上記画像から画像グループを生成する画像グループ生成部と、上記画像グループ生成部により生成された上記画像グループの特性変化量を総合的に示す記述子情報を生成する記述子情報生成部と、上記記述子情報生成部により生成された上記記述子情報および参照用の画像グループの特性変化量を総合的に示す参照用記述子情報に基づいて、上記画像取得部により取得された上記画像における対象物の動作の特徴を示す特徴情報を生成する特徴情報生成部と、上記特徴情報生成部により生成された上記特徴情報と、上記参照用記述子情報から生成される、上記参照用の画像グループにおける参照物の動作の特徴を示す参照用特徴情報とに基づいて上記対象物の動作を分類する動作分類部と、上記動作分類部により分類された上記対象物の動作の時間的推移に基づいて上記対象物の行動を推定する行動推定部とを備える。
【０００９】
このように、特徴情報および参照用特徴情報に基づいて対象物の動作を分類し、分類した対象物の動作の時間的推移に基づいて対象物の行動を推定する構成により、対象物の動作の種類および時間的推移を特定し、対象物の行動をより正確に推定することができる。
【００１０】
これにより、たとえば、短時間において複数の「動作」が混在したり、短時間において「動作」の順序が入れ替わったりする場合においても、対象物の「行動」をより正確に推定することができる。たとえば、短時間では誤って異常と判断してしまうような「動作」であっても、「動作」の時間的推移に基づいて、当該「動作」が正常であるか否かの判断を正確に行うことができる。
【００１１】
（２）好ましくは、上記画像グループ生成部は、上記画像取得部により取得された各上記画像のうちの一部を選択した画像グループ、上記各画像における対応領域を抽出した画像グループ、または上記各画像のうちの一部を選択し、かつ上記各画像における対応領域を抽出した画像グループを生成する。
【００１２】
このような構成により、画像取得部により取得された各画像から適切な画像グループを生成し、対象物の局所的な動作を表すのに有用な記述子情報を効率よく生成することができる。
【００１３】
（３）好ましくは、上記記述子情報生成部は、上記画像グループ生成部により生成された上記画像グループにおいて、各画像を分割した領域ごとの画像間および画像内の特性変化量を演算し、演算した各上記特性変化量を総合的に示す記述子情報を生成する。
【００１４】
このような構成により、時間軸方向および空間軸方向の両方についての特性変化量を総合的に示す記述子情報を生成することができるので、対象部の動作を分類するのに有用な特徴情報を生成することができる。
【００１５】
（４）好ましくは、上記画像解析装置は、さらに、上記参照物の動作の時間的推移のパターンを取得するパターン取得部を備え、上記行動推定部は、上記パターン取得部により取得された上記パターンを用いて、上記動作分類部により分類された上記対象物の動作の時間的推移を評価することにより上記対象物の行動を推定する。
【００１６】
このような構成により、たとえば、有用なパターンを対象物の動作の比較対象として用いて、対象物の動作の時間的推移を適切に評価することができる。具体的には、対象物の動作を時系列に沿って俯瞰的に評価し、対象物の動作を大局的に認識することにより、対象物の行動をより正確に推定することができる。
【００１７】
（５）より好ましくは、上記パターン取得部は、上記参照物の複数の動作状態および各上記動作状態の順序を上記パターンとして取得し、上記行動推定部は、上記動作分類部により分類された上記対象物の動作と上記パターンにおける上記各動作状態との関係に基づいて、上記対象物の動作の時間的推移を評価することにより上記対象物の行動を推定する。
【００１８】
このような構成により、パターンにおける各動作状態の順序と対象物の動作の順序とを比較し、対象物の動作の時間的推移における動作の順序を考慮した適切な評価を行うことができる。
【００１９】
（６）より好ましくは、上記行動推定部は、上記パターンにおける、上記動作分類部により分類された上記対象物の動作と一致または類似する上記動作状態に基づいて上記対象物の動作の時間的推移を評価することにより上記対象物の行動を推定する。
【００２０】
このような構成により、対象物の動作をパターンにおいてトレースしながら、対象物の動作の時間的推移を具体的に評価することができる。
【００２１】
（７）より好ましくは、上記行動推定部は、上記対象物の動作の時間的推移における複数の上記動作が上記パターンにおける同じ上記動作状態と連続して一致または類似する期間に基づいて上記対象物の動作の時間的推移を評価することにより上記対象物の行動を推定する。
【００２２】
このような構成により、対象物の動作が変化しない期間を考慮した適切な評価を行うことができる。
【００２３】
（８）より好ましくは、上記動作状態毎にしきい値時間が付与されており、上記行動推定部は、上記期間および対応の上記動作状態の上記しきい値時間の大小関係に基づいて上記対象物の動作の時間的推移を評価することにより上記対象物の行動を推定する。
【００２４】
このような構成により、パターンにおける各動作状態に応じたしきい値時間を設定し、上記期間と動作の別に応じて適切に評価することができる。具体的には、たとえば、対象物の動作の期間に応じて当該動作の評価が変わる場合において、対象物の動作の時間的推移を適切に評価することができる。
【００２５】
より詳細には、たとえば、短時間で行われるときに正常と評価される動作について、当該動作が長時間をかけて行われるときに異常と評価することができる。また、たとえば、長時間をかけて行われるときに正常と評価される動作について、当該動作が短時間で行われるときに異常と評価することができる。
【００２６】
（９）より好ましくは、上記動作状態毎に重みが付与されており、上記行動推定部は、上記パターンにおける各上記動作状態の重みを用いて上記対象物の動作の時間的推移における上記各動作の重みを求め、求めた上記各動作の重みに基づいて上記対象物の動作の時間的推移を評価することにより上記対象物の行動を推定する。
【００２７】
このように、パターンにおける各動作状態の重みを用いて対象物の動作の時間的推移における各動作の重みを求める構成により、対象物の一連の動作を定量化し、対象物の動作の時間的推移を適切に評価することができる。
【００２８】
（１０）好ましくは、上記画像解析装置は、さらに、上記参照物の動作に含まれる潜在動作を取得する潜在動作取得部を備え、上記動作分類部は、上記特徴情報と、上記潜在動作取得部により取得された上記潜在動作とに基づいて上記対象物の動作を分類する。
【００２９】
このように、いくつかの行動において共通して現れる動作であって、人間の眼では気づきにくい動作である潜在動作を用いる構成により、対象物の動作を適切に分類することができる。
【００３０】
（１１）より好ましくは、上記動作分類部は、上記特徴情報に含まれる上記対象物の動作が上記潜在動作に帰属する確率を演算し、演算した上記確率を用いて上記対象物の動作を分類する。
【００３１】
このように、確率を用いて対象物の動作を分類する構成により、混在する複数の動作を１つの潜在動作に帰属することが困難な場合においても、対象物の動作を適切に分類することができる。
【００３２】
また、混在する複数の動作を１つの種類の動作に分類してしまうことによる情報の損失を抑えることができる。
【００３３】
（１２）好ましくは、上記参照用特徴情報には、上記参照物の複数種類の動作の特徴が含まれており、上記動作分類部は、上記特徴情報の示す上記対象物の動作の特徴と近い上記参照物の動作の種類を上記対象物の動作の種類として分類する。
【００３４】
このような構成により、参照物の複数種類の動作のうちのいずれかに対象物の動作の種類を適切に分類することができる。また、対象物の動作の種類を確定することができるので、対象物の動作の時間的推移に基づいて対象物の行動を推定する際の処理負荷を軽減することができる。
【００３５】
（１３）上記課題を解決するために、この発明のある局面に係わる画像解析方法は、画像解析装置における画像解析方法であって、異なるタイミングで撮像された複数の画像を取得するステップと、取得した各上記画像から画像グループを生成するステップと、生成した上記画像グループの特性変化量を総合的に示す記述子情報を生成するステップと、生成した上記記述子情報および参照用の画像グループの特性変化量を総合的に示す参照用記述子情報に基づいて、取得した上記画像における対象物の動作の特徴を示す特徴情報を生成するステップと、生成した上記特徴情報と、上記参照用記述子情報から生成される、上記参照用の画像グループにおける参照物の動作の特徴を示す参照用特徴情報とに基づいて上記対象物の動作を分類するステップと、分類した上記対象物の動作の時間的推移に基づいて上記対象物の行動を推定するステップとを含む。
【００３６】
このように、特徴情報および参照用特徴情報に基づいて対象物の動作を分類し、分類した対象物の動作の時間的推移に基づいて対象物の行動を推定する構成により、対象物の動作の種類および時間的推移を特定し、対象物の行動をより正確に推定することができる。
【００３７】
これにより、たとえば、短時間において複数の「動作」が混在したり、短時間において「動作」の順序が入れ替わったりする場合においても、対象物の「行動」をより正確に推定することができる。たとえば、短時間では誤って異常と判断してしまうような「動作」であっても、「動作」の時間的推移に基づいて、当該「動作」が正常であるか否かの判断を正確に行うことができる。
【００３８】
（１４）上記課題を解決するために、この発明のある局面に係わる画像解析プログラムは、画像解析装置において用いられる画像解析プログラムであって、コンピュータに、異なるタイミングで撮像された複数の画像を取得するステップと、取得した各上記画像から画像グループを生成するステップと、生成した上記画像グループの特性変化量を総合的に示す記述子情報を生成するステップと、生成した上記記述子情報および参照用の画像グループの特性変化量を総合的に示す参照用記述子情報に基づいて、取得した上記画像における対象物の動作の特徴を示す特徴情報を生成するステップと、生成した上記特徴情報と、上記参照用記述子情報から生成される、上記参照用の画像グループにおける参照物の動作の特徴を示す参照用特徴情報とに基づいて上記対象物の動作を分類するステップと、分類した上記対象物の動作の時間的推移に基づいて上記対象物の行動を推定するステップとを実行させるためのプログラムである。
【００３９】
このように、特徴情報および参照用特徴情報に基づいて対象物の動作を分類し、分類した対象物の動作の時間的推移に基づいて対象物の行動を推定する構成により、対象物の動作の種類および時間的推移を特定し、対象物の行動をより正確に推定することができる。
【００４０】
これにより、たとえば、短時間において複数の「動作」が混在したり、短時間において「動作」の順序が入れ替わったりする場合においても、対象物の「行動」をより正確に推定することができる。たとえば、短時間では誤って異常と判断してしまうような「動作」であっても、「動作」の時間的推移に基づいて、当該「動作」が正常であるか否かの判断を正確に行うことができる。
【発明の効果】
【００４１】
本発明によれば、異なるタイミングで撮像された複数の画像を解析する構成において、対象物の行動をより正確に推定することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の第１の実施の形態に係る行動推定システムの構成を示す図である。
【図２】本発明の第１の実施の形態に係る画像解析装置が処理する動画における一部の画像の一例を示す図である。
【図３】本発明の第１の実施の形態に係る画像解析装置の構成を示す図である。
【図４】本発明の第１の実施の形態に係る訓練行動情報処理部の構成を示す図である。
【図５】本発明の第１の実施の形態に係る記述子情報生成部が処理するキューボイドの一例を示す図である。
【図６】本発明の第１の実施の形態に係る記述子情報生成部が演算する勾配ベクトルＧｂおよび射影ベクトルＧｘｙの一例を示す図である。
【図７】本発明の第１の実施の形態に係る記述子情報生成部が生成する勾配ヒストグラムの一例を示す図である。
【図８】本発明の第１の実施の形態に係るＢｏＦ表現生成部が生成するＢｏＦ表現の一例を示す図である。
【図９】本発明の第１の実施の形態に係る潜在動作抽出部が参照用ＢｏＦ表現から抽出する潜在動作の一例を示す図である。
【図１０】本発明の第１の実施の形態に係る動作分類部が演算するＢｏＦ表現の各潜在動作への帰属確率の一例を示す図である。
【図１１】本発明の第１の実施の形態に係る動作順序抽出部が抽出する動作の順序の一例を示す図である。
【図１２】本発明の第１の実施の形態に係る行動推定部が用いる動作順序ツリーの一例を示す図である。
【図１３】本発明の第１の実施の形態に係る行動推定部が用いる動作順序ツリーの他の一例を示す図である。
【図１４】本発明の第１の実施の形態に係る行動推定部が用いる動作順序ツリーの他の一例を示す図である。
【図１５】本発明の第１の実施の形態に係る画像解析装置が撮影装置から受信した画像を解析する際の動作手順を定めたフローチャートである。
【図１６】本発明の第１の実施の形態に係る訓練行動情報処理部による潜在動作および動作順序の抽出処理の詳細な手順を定めたフローチャートである。
【図１７】本発明の第１の実施の形態に係る行動推定部による対象物の行動推定処理の詳細な手順を定めたフローチャートである。
【図１８】本発明の第２の実施の形態に係る画像解析装置の構成を示す図である。
【図１９】本発明の第２の実施の形態に係る訓練行動情報処理部の構成を示す図である。
【図２０】本発明の第２の実施の形態に係る動作分類部が分類する対象物の動作および分類先の動作の一例を示す図である。
【図２１】本発明の第２の実施の形態に係る動作順序抽出部が抽出する動作の順序の一例を示す図である。
【発明を実施するための形態】
【００４３】
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
【００４４】
＜第１の実施の形態＞
［行動推定システムの概要］
図１は、本発明の第１の実施の形態に係る行動推定システムの構成を示す図である。
【００４５】
図１を参照して、行動推定システム３０１は、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃと、画像解析装置１０１と、警報装置１６１とを備える。
【００４６】
以下、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃの各々を、撮影装置１５１と称する場合がある。図１では、３つの撮影装置１５１を代表的に示しているが、さらに多数または少数の撮影装置１５１が設けられてもよい。
【００４７】
行動推定システム３０１は、たとえば、異常者検知、犯罪捜査、人物の見守り、スーパーマーケットおよびコンビニエンスストア等の商業施設でのマーケティングの利用、ならびに、従業員の管理および工場の安全管理などに用いられる。
【００４８】
より詳細には、撮影装置１５１は、たとえば、街路、工場、銀行および郵便局等の保安上重要な場所、並びにスーパーマーケットおよびコンビニエンスストア等の商業施設に設置される。
【００４９】
撮影装置１５１は、たとえば、異なるタイミングで人および物等の被写体を撮像することにより複数の画像を生成する。より詳細には、撮影装置１５１は、たとえば、撮像周期Ｔ毎に被写体を撮像することにより複数の画像すなわち動画を生成する。撮影装置１５１は、たとえば、生成した動画を画像解析装置１０１へネットワーク１１経由で送信する。
【００５０】
画像解析装置１０１は、たとえば、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃから動画を受信すると、受信した動画に基づいて被写体の動きを解析する。
【００５１】
より詳細には、画像解析装置１０１は、たとえば、受信した動画を構成する各画像に含まれる時空間特徴点を検出する。ここで、時空間特徴点とは、動画において、被写体の動きの有る部分であり、かつ被写体の明るさの変化の有る部分をいう。
【００５２】
画像解析装置１０１は、時空間特徴点に基づいて、被写体のうち対象とする人物および物体等を含む画像グループを生成する。画像解析装置１０１は、生成した画像グループを用いて対象物の動作を分類する。そして、画像解析装置１０１は、分類した対象物の動作の時間的推移に基づいて対象物の行動を推定する。
【００５３】
たとえば、画像解析装置１０１は、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃが保安上重要な場所に設置されている場合、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃから受信した動画をリアルタイムで解析することにより、不審な行動をしている人物等をリアルタイムで推定することができる。
【００５４】
また、たとえば、画像解析装置１０１は、商業施設における消費者の行動をマーケティングのために推定する場合等のリアルタイム性が必要とされない場合、撮影装置１５１Ａ，１５１Ｂ，１５１Ｃから受信した動画を一旦録画しておき、録画した動画を詳細に解析する。これにより、画像解析装置１０１は、リアルタイムで解析する場合と比べて消費者の行動を緻密に解析することができる。
【００５５】
画像解析装置１０１は、たとえば、不審な行動をしている人物を検出すると、警報情報を警報装置１６１へネットワーク１２経由で送信する。
【００５６】
警報装置１６１は、たとえば、画像解析装置１０１から警報情報を受信すると、異常通知に用いるＬＥＤ（Light Emission Diode）を発光させたり、警報音を発生させたりすることにより、管理者または保安員に異常を通知する。
【００５７】
また、警報装置１６１は、たとえば、画像解析装置１０１から異常終了通知を受信すると、管理者または保安員に異常終了を通知する。
【００５８】
［対象物の動作の一例］
図２は、本発明の第１の実施の形態に係る画像解析装置が処理する複数の画像の一例を示す図である。
【００５９】
図２を参照して、画像Ｓｔ０から画像Ｓｔ５は、対象とする人物が、たとえば、お寺の境内における賽銭箱の前で行う動作を時系列に並べた画像である。各画像には、動作Ａｃ０から動作Ａｃ５がそれぞれ対応付けられる。
【００６０】
具体的には、画像Ｓｔ０から画像Ｓｔ３は、対象とする人物による、「止まる」、「手を合わせる」、「頭を下げる」および「止まる」の動作をそれぞれ含む。
【００６１】
たとえば、画像Ｓｔ４では、対象とする人物が、短い時間において「頭を上げる」および「手を下げる」という動作を並列に行う。この場合を、短時間において動作が混在する状態という。
【００６２】
また、たとえば、画像Ｓｔ１および画像Ｓｔ２が入れ替わり、対象とする人物が、「頭を下げる」を行った後、「手を合わせる」を行う場合を、短時間において動作の順序が入れ替わる状態という。
【００６３】
特許文献１に記載の技術では、ソーシャルな意味を有する行動を正確に推定することができないため、たとえば、短時間において複数の動作が混在したり、短時間において動作の順序が入れ替わったりすると、対象物の行動を誤って認識してしまう場合がある。
【００６４】
本発明の第１の実施の形態における画像解析装置１０１では、以下の構成および動作により、上記問題を解決する。
【００６５】
［構成および基本動作］
図３は、本発明の第１の実施の形態に係る画像解析装置の構成を示す図である。
【００６６】
図４は、本発明の第１の実施の形態に係る訓練行動情報処理部の構成を示す図である。
【００６７】
図３を参照して、画像解析装置１０１は、訓練行動情報処理部２０と、画像取得部２１と、フィルタ処理部２２と、キューボイド生成部（画像グループ生成部）２３と、特徴点検出部２４と、記述子情報生成部２５と、動作分類部（潜在動作取得部）２６と、訓練行動情報記憶部２７と、ＢｏＦ表現生成部（特徴情報生成部）２８と、行動推定部（パターン取得部）２９とを備える。訓練行動情報記憶部２７は、コードブック保持部４０と、潜在動作保持部４１と、動作順序保持部４２と、参照用ＢｏＦ表現保持部４３とを含む。
【００６８】
図４を参照して、訓練行動情報処理部２０は、潜在動作抽出部５１と、更新部５２と、動作分類部５３と、動作順序抽出部５４とを含む。なお、訓練行動情報処理部２０は、画像解析装置１０１の外部に設けられていてもよい。
【００６９】
画像解析装置１０１は、異なるタイミングで撮像された複数の画像を解析する。より詳細には、画像解析装置１０１における画像取得部２１は、たとえば、撮影装置１５１によって所定時間毎に撮影された各画像をネットワーク１１経由で取得する。そして、画像取得部２１は、取得した各画像を取得順にフィルタ処理部２２へ出力する。なお、画像取得部２１は、動画を記録する録画装置から動画を構成する複数の画像を取得してもよい。
【００７０】
フィルタ処理部２２は、たとえば、画像取得部２１から受けた画像Ｉ［ｔｎ］をフィルタ処理する。ここで、ｔｎは、たとえば、画像の時系列の順番を示すゼロ以上の整数である。
【００７１】
具体的には、フィルタ処理部２２は、たとえば、画像取得部２１から画像Ｉ［ｔｎ］を受けると、２次元のガウシアンフィルタを用いて画像Ｉ［ｔｎ］の空間軸方向における特性量の変化の速さを抑制する。
【００７２】
より詳細には、フィルタ処理部２２は、たとえば、標準偏差σｉの２次元のガウシアンフィルタを画像Ｉ［ｔｎ］おける各画素に適用することにより、輝度等の特性量の画素間の変化を緩慢にした平滑化画像ＳＩ［ｔｎ］［ｉ］を生成する。この際、たとえば、フィルタ処理部２２は、複数種類の２次元のガウシアンフィルタを用いてもよい。
【００７３】
また、フィルタ処理部２２は、たとえば、１次元のガボールフィルタを用いて、平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ］（Ｎ＝−Ｎ１〜＋Ｎ２）の時間軸方向における変化であって所定範囲の速さの変化を検出する。
【００７４】
より詳細には、フィルタ処理部２２は、たとえば、時定数τｊおよび固有角周波数ω０ｊの１次元のガボールフィルタを平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ］に適用する。これにより、フィルタ処理部２２は、時定数τｊおよび固有角周波数ω０ｊにより定まる周波数帯域に、輝度の時間変化が収まる画素を抽出した変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］を生成する。この際、たとえば、フィルタ処理部２２は、複数種類の１次元のガボールフィルタを用いてもよい。
【００７５】
フィルタ処理部２２は、たとえば、変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］を生成すると、変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］と、変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］の生成に用いた平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ］とを特徴点検出部２４へ出力する。
【００７６】
特徴点検出部２４は、フィルタ処理部２２から変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］を受けると、受けた変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］から時空間特徴点を抽出する。時空間特徴点は、具体的には、変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］において抽出された画素の部分である。
【００７７】
特徴点検出部２４は、時空間特徴点を抽出すると、抽出した時空間特徴点の座標情報をキューボイド生成部２３へ出力する。
【００７８】
また、特徴点検出部２４は、フィルタ処理部２２から平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ］を受けると、受けた平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ］をキューボイド生成部２３へ出力する。
【００７９】
［キューボイドの生成］
キューボイド生成部２３は、画像取得部２１により取得された各画像Ｉ［ｔｎ］から画像グループであるキューボイドを生成する。より詳細には、キューボイド生成部２３は、画像取得部２１により取得された各画像Ｉ［ｔｎ］のうちの一部を選択したキューボイド、各画像Ｉ［ｔｎ］における対応領域を抽出したキューボイド、または各画像Ｉ［ｔｎ］のうちの一部を選択し、かつ各画像Ｉ［ｔｎ］における対応領域を抽出したキューボイドを生成する。
【００８０】
具体的には、キューボイド生成部２３は、たとえば、特徴点検出部２４から受けた時空間特徴点の座標情報に基づいて平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ］から画像グループを生成する。キューボイド生成部２３は、たとえば、時空間特徴点の座標情報に基づいて平滑化画像ＳＩ［ｔｎ］［ｉ］において時空間特徴点を含む空間範囲である領域を設定し、各平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ］における対応領域を抽出した画像グループ、すなわちキューボイドＣｂを生成する。
【００８１】
当該領域は、たとえばサイズＳ１を有している。また、サイズＳ１の大きさは、検出対象である対象物の大きさおよび平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ］の生成に用いた２次元ガウシアンフィルタの標準偏差σｉに基づいて設定される。
【００８２】
したがって、キューボイドＣｂは、たとえば、サイズＳ１を有するｍ（ｍ＝Ｎ１＋Ｎ２＋１）枚の画像により構成される。なお、キューボイド生成部２３は、たとえば、設定する領域として画像全体を設定してもよい。キューボイド生成部２３は、生成したキューボイドＣｂを記述子情報生成部２５へ出力する。
【００８３】
［記述子情報の生成］
図５は、本発明の第１の実施の形態に係る記述子情報生成部が処理するキューボイドの一例を示す図である。
【００８４】
図５を参照して、記述子情報生成部２５は、キューボイド生成部２３により生成されたキューボイドＣｂの特性変化量を総合的に示す記述子情報を生成する。より詳細には、記述子情報生成部２５は、キューボイド生成部２３からキューボイドＣｂを受けると、受けたキューボイドＣｂにおいて、各画像を分割した領域ごとの画像間および画像内の特性変化量を演算し、演算した各特性変化量を総合的に示す記述子情報である記述子Ｄｃｂを生成する。
【００８５】
具体的には、記述子情報生成部２５は、たとえば、キューボイドＣｂの各画面を（３×３）の領域に分割し、（３×３×ｍ）個のブロックに分割する。また、キューボイドＣｂの各画面におけるブロックの位置は画面間で対応している。
【００８６】
各ブロックに含まれる画素の数は、サイズＳ１の大きさにより変わる。具体的には、サイズＳ１が大きい場合、各ブロックに含まれる画素の数は多くなり、また、サイズＳ１が小さい場合、各ブロックに含まれる画素の数は少なくなる。
【００８７】
なお、各画面の分割の方法は任意であり、記述子情報生成部２５は、たとえば、各画面を（２×３）の領域に分割してもよいし、各画面を（２×２）の領域に分割してもよい。
【００８８】
図６は、本発明の第１の実施の形態に係る記述子情報生成部が演算する勾配ベクトルＧｂおよび射影ベクトルＧｘｙの一例を示す図である。
【００８９】
図７は、本発明の第１の実施の形態に係る記述子情報生成部が生成する勾配ヒストグラムの一例を示す図である。
【００９０】
図６を参照して、勾配ベクトルＧｂは、図５に示すｘ軸、ｙ軸およびｔ軸により構成される空間のベクトルであり、（ｇｘ，ｇｙ，ｇｔ）の成分を有する。また、射影ベクトルＧｘｙは、勾配ベクトルＧｂのｘｙ平面への射影ベクトルである。勾配ベクトルＧｂがｔ軸となす角度は、たとえば、天頂角θである。また、射影ベクトルＧｘｙのｘ軸となす角度は、たとえば、方位角φである。
【００９１】
図７を参照して、記述子情報生成部２５は、ブロックに含まれる各画素の輝度を用いて図７（Ａ）に示す空間軸方向の勾配ヒストグラムおよび図７（Ｂ）に示す時間軸方向の勾配ヒストグラムを生成する。
【００９２】
図７（Ａ）の横軸は、たとえば、ブロックごとの方位角φ（φ＝０〜７π／４：ステップπ／４）を示し、縦軸は、射影ベクトルＧｘｙの大きさを示す。図７（Ｂ）の横軸は、たとえば、ブロックごとの天頂角θ（θ＝０〜π：ステップπ／４）を示し、縦軸は、勾配ベクトルＧのｔ軸成分ｇｔの大きさを示す。
【００９３】
具体的には、たとえば、キューボイドＣｂのｓ枚目の画像におけるブロックＢ［ｋ］（ｋ＝０〜３×３×ｍ−１）に、（４×４）個の画素ＰＥ［ｓ］［ｐ］［ｑ］（ｓ＝０〜ｍ−１、ｐ＝０〜３、ｑ＝０〜３）が含まれるとき、記述子情報生成部２５は、画素ＰＥ［ｓ］［ｐ］［ｑ］における輝度の勾配ベクトルＧｂを演算する。勾配ベクトルＧｂの長さが輝度の勾配強度に相当し、また、勾配ベクトルＧｂの向きが輝度の勾配方向に相当する。
【００９４】
たとえば、記述子情報生成部２５は、画素ＰＥ［ｓ］［ｐ］［ｑ］について、ｘ方向に隣接する画素ＰＥ［ｓ］［ｐ＋１］［ｑ］の輝度と画素ＰＥ［ｓ］［ｐ−１］［ｑ］の輝度との差を勾配ベクトルＧｂのｘｙ平面への射影ベクトルＧｘｙのｘ成分ｇｘとして演算する。
【００９５】
また、たとえば、記述子情報生成部２５は、画素ＰＥ［ｓ］［ｐ］［ｑ］について、ｙ方向に隣接する画素ＰＥ［ｓ］［ｐ］［ｑ＋１］の輝度と画素ＰＥ［ｓ］［ｐ］［ｑ−１］の輝度との差を勾配ベクトルＧｂのｘｙ平面への射影ベクトルＧｘｙのｙ成分ｇｙとして演算する。ここで、射影ベクトルＧｘｙが、画像内の特性変化量に相当する。
【００９６】
記述子情報生成部２５は、たとえば、演算したｇｘおよびｇｙの比から射影ベクトルＧｘｙの向きである方位角φｃを演算する。また、記述子情報生成部２５は、たとえば、ｇｘおよびｇｙから射影ベクトルＧｘｙの大きさ｜Ｇｘｙ｜を演算する。
【００９７】
記述子情報生成部２５は、大きさ｜Ｇｘｙ｜を図７（Ａ）に示す空間軸方向の勾配ヒストグラムに累積する。具体的には、たとえば、記述子情報生成部２５は、図７（Ａ）におけるブロックＢ［ｋ］に対応する方位角φのうち方位角φｃに最も近い方位角に、｜Ｇｘｙ｜に対して重み付けした値を累積する。この際、記述子情報生成部２５は、たとえば、ブロックＢ［ｋ］に含まれる画素数（４×４）の逆数を｜Ｇｘｙ｜に対して重み付けすることにより、空間軸方向の勾配ヒストグラムを正規化する。
【００９８】
また、たとえば、記述子情報生成部２５は、画素ＰＥ［ｓ］［ｐ］［ｑ］について、ｔ軸方向に隣接する画素ＰＥ［ｓ＋１］［ｐ］［ｑ］の輝度と画素ＰＥ［ｓ−１］［ｐ］［ｑ］の輝度との差を勾配ベクトルＧｂのｔ成分ｇｔとして演算する。ここで、勾配ベクトルＧｂのｔ成分が、画像間の特性変化量に相当する。
【００９９】
記述子情報生成部２５は、たとえば、求めたｇｔ、ｇｘおよびｇｙから勾配ベクトルＧｂがｔ軸とのなす天頂角θｃを演算する。
【０１００】
記述子情報生成部２５は、勾配ベクトルＧｂのｔ成分ｇｔの大きさである｜ｇｔ｜を図７（Ｂ）に示す時間軸方向の勾配ヒストグラムに累積する。具体的には、たとえば、記述子情報生成部２５は、図７（Ｂ）におけるブロックＢ［ｋ］に対応する天頂角θのうち天頂角θｃに最も近い天頂角に、｜ｇｔ｜に重み付けした値を累積する。この際、記述子情報生成部２５は、たとえば、ブロックＢ［ｋ］に含まれる画素数（４×４）の逆数を｜ｇｔ｜に重み付けすることにより、時間軸方向の勾配ヒストグラムを正規化する。
【０１０１】
記述子情報生成部２５は、ブロックＢ［ｋ］に含まれる（４×４）の画素全てについて同様の演算を行い、ブロックＢ［ｋ］についての勾配ヒストグラムを生成する。また、記述子情報生成部２５は、（３×３×ｍ）個のブロックＢ［ｋ］全てについて同様の演算を行い、キューボイドＣｂについての勾配ヒストグラムを生成する。
【０１０２】
記述子情報生成部２５は、図７（Ａ）に示す空間軸方向の勾配ヒストグラムおよび図７（Ｂ）に示す時間軸方向の勾配ヒストグラムを結合し、画像間および画像内の特性変化量を総合的に示す記述子情報である記述子Ｄｃｂを生成する。
【０１０３】
記述子Ｄｃｂは、たとえば、キューボイドＣｂに含まれるブロック数に８を乗じた値と、当該ブロック数に５を乗じた値との和の次元を有するベクトルである。また、当該ベクトルの成分は、空間軸方向および時間軸方向の勾配ヒストグラムの累積値である。
【０１０４】
また、記述子Ｄｃｂは、キューボイドに含まれる対象物の動作の特徴を表すベクトルである。具体的には、たとえば、キューボイド生成部２３から受けたキューボイドＣｂａに腕の動作を示す画像が含まれている場合、記述子情報生成部２５は、腕の動作の特徴を表すベクトルである記述子Ｄｃｂａを生成する。
【０１０５】
同様に、記述子情報生成部２５は、たとえば、足、胴体および頭の動作を示す画像を含むキューボイドをキューボイド生成部２３から受けると、記述子Ｄｃｂｌ，Ｄｃｂｂ，Ｄｃｂｈをそれぞれ生成する。これらの記述子Ｄｃｂｌ，Ｄｃｂｂ，Ｄｃｂｈは、それぞれ足、胴体および頭の特徴を表すベクトルである。
【０１０６】
記述子情報生成部２５は、たとえば、生成した記述子ＤｃｂをＢｏＦ表現生成部２８へ出力する。
【０１０７】
再び、図３を参照して、訓練行動情報記憶部２７におけるコードブック保持部４０は、たとえば、人物が歩いているシーン等が含まれる訓練行動の動画セットから生成される参照用のキューボイドＲＣｂの特性変化量を総合的に示す参照用記述子情報である参照用記述子ＲＤｃｂを含むコードブック（codebook）を保持する。
【０１０８】
たとえば、参照用記述子ＲＤｃｂａは、訓練用の動画から切り出した参照用キューボイドＲＣｂのうち、腕の動作を示す画像を含む参照用キューボイドＲＣｂａに基づいて生成される。また、たとえば、参照用記述子ＲＤｃｂｌ，ＲＤｃｂｂ，ＲＤｃｂｈは、それぞれ足、胴体および頭の動作を示す画像を含む参照用キューボイドＲＣｂに基づいて生成される。
【０１０９】
［ＢｏＦ表現の生成］
図８は、本発明の第１の実施の形態に係るＢｏＦ表現生成部が生成するＢｏＦ表現の一例を示す図である。
【０１１０】
図８を参照して、ＢｏＦ表現生成部２８は、記述子情報生成部２５から記述子Ｄｃｂを受けると、コードブック保持部４０からコードブックを取得する。そして、ＢｏＦ表現生成部２８は、記述子Ｄｃｂおよびコードブックに含まれる参照用記述子ＲＤｃｂに基づいて、画像取得部２１により取得された画像Ｉ［ｔｎ＋Ｎ］における対象物の動作の特徴を示す特徴情報であるＢｏＦ表現を生成する。
【０１１１】
具体的には、ＢｏＦ表現生成部２８は、たとえば、記述子Ｄｃｂおよび参照用記述子ＲＤｃｂのノルムを演算し、当該ノルムの大きさが最大となる参照用記述子ＲＤｃｂを特定する。
【０１１２】
ＢｏＦ表現生成部２８は、たとえば、記述子Ｄｃｂａと、参照用記述子ＲＤｃｂａ，ＲＤｃｂｌ，ＲＤｃｂｂ，ＲＤｃｂｈとのノルムをそれぞれ演算し、演算した結果、記述子Ｄｃｂａおよび参照用記述子ＲＤｃｂａのノルムが最大の値を与えるとき、図８に示すＢｏＦ表現における「腕の動作」に１を累積する。この際、ＢｏＦ表現生成部２８は、たとえば、図８に示すＢｏＦ表現における「腕の動作」に記述子Ｄｃｂｈおよび参照用記述子ＲＤｃｂａのノルムを１の代わりに累積してもよい。
【０１１３】
ＢｏＦ表現生成部２８は、たとえば、画像Ｉ［ｔｎ］毎すなわちフレーム毎に記述子情報生成部２５から記述子Ｄｃｂを受けると、受けた記述子Ｄｃｂに基づいてＢｏＦ表現に累積するとともに、過去１０フレーム分の累積結果を有するようにＢｏＦ表現を更新する。
【０１１４】
図８に示す例では、たとえば、過去１０フレームの累積結果から、記述子Ｄｃｂｌに対応する「足の動作」の出現頻度が最も高く、続いて「胴体の動作」、「腕の動作」および「頭の動作」の順となる。
【０１１５】
ＢｏＦ表現生成部２８は、たとえば、ＢｏＦ表現をフレーム毎に動作分類部２６へ出力する。
【０１１６】
参照用ＢｏＦ表現保持部４３は、参照物の複数種類の動作の特徴を含む参照用ＢｏＦ表現を保持する。
【０１１７】
［潜在動作の抽出］
再び図４を参照して、訓練行動情報処理部２０における潜在動作抽出部５１は、たとえば、参照物の動作に含まれる潜在動作を抽出する。具体的には、潜在動作抽出部５１は、ｐＬＳＡ（probabilistic Latent Semantic Analysis）を用いて参照用特徴情報である参照用ＢｏＦ表現から潜在動作を抽出する。ここで、参照用ＢｏＦ表現は、参照用キューボイドＲＣｂにおける参照物の動作の特徴を示し、参照用記述子ＲＤｃｂから生成される。
【０１１８】
ｐＬＳＡを用いることにより、訓練処理を人間が行わなくてもよく、また、教師なし学習を行うことが可能である。
【０１１９】
図９は、本発明の第１の実施の形態に係る潜在動作抽出部が参照用ＢｏＦ表現から抽出する潜在動作の一例を示す図である。
【０１２０】
図９を参照して、より詳細には、潜在動作抽出部５１は、参照用ＢｏＦ表現保持部４３から参照用ＢｏＦ表現を取得する。そして、潜在動作抽出部５１は、所定のトピック数を設定し、参照用ＢｏＦ表現から所定のトピック数の潜在動作を抽出する。潜在動作は、参照用ＢｏＦ表現において共通して現れる動作であって、人間の眼では気づきにくい動作である。また、潜在動作は、参照用ＢｏＦ表現の出現頻度のパターンで定義される。
【０１２１】
具体的には、参照用ＢｏＦ表現には、たとえば、「写真撮影」、「立ち止まる」、「覗く」、「走る」および「拝む」等のシーンを撮像した訓練行動の動画セットから生成された複数のＢｏＦ表現が含まれる。
【０１２２】
潜在動作抽出部５１は、たとえば、Ｓｑ個のトピック数を設定し、参照用ＢｏＦ表現の中から潜在動作Ｔｐ［ｓｑ］（ｓｑ＝０〜Ｓｑ−１）を抽出する。
【０１２３】
潜在動作抽出部５１は、抽出した潜在動作Ｔｐ［ｓｑ］を動作順序抽出部５４および更新部５２へ出力する。更新部５２は、潜在動作抽出部５１から受けた潜在動作Ｔｐ［ｓｑ］を潜在動作保持部４１に保持させることにより、潜在動作保持部４１の保持内容を更新する。
【０１２４】
［動作の分類］
再び図３を参照して、動作分類部２６は、ＢｏＦ表現生成部２８から受けるＢｏＦ表現と、参照用ＢｏＦ表現とに基づいて対象物の動作を分類する。具体的には、動作分類部２６は、潜在動作保持部４１から潜在動作Ｔｐ［ｓｑ］を取得する。また、動作分類部２６は、ＢｏＦ表現生成部２８からＢｏＦ表現をフレーム毎に受ける。
【０１２５】
動作分類部２６は、ＢｏＦ表現に含まれる対象物の動作が潜在動作Ｔｐ［ｓｑ］に帰属する確率を演算する。具体的には、動作分類部２６は、確率トピッククラスタリングを行うことにより、取得した潜在動作Ｔｐ［ｓｑ］を用いて、ＢｏＦ表現の各潜在動作Ｔｐ［ｓｑ］への帰属確率を演算する。
【０１２６】
図１０は、本発明の第１の実施の形態に係る動作分類部が演算するＢｏＦ表現の各潜在動作への帰属確率の一例を示す図である。
【０１２７】
図１０を参照して、動作分類部２６は、たとえば、入力テスト動画から生成されたＢｏＦ表現の潜在動作である「頭を上げる」、「手を合せる」、「足を曲げる」、「振り返る」および「手を下ろす」への帰属確率を、それぞれ５７％、４０％、２％、０．８％および０．２％と算出する。
【０１２８】
動作分類部２６は、たとえば、帰属確率の上位２つの潜在動作Ｔｐ［ｈｒ］を選択し、選択した潜在動作にＢｏＦ表現を分類する。ここで、Ｔｐ［ｈｒ］におけるｈｒは、潜在動作Ｔｐ［ｓｑ］のうちの、動作分類部２６が算出した帰属確率の上位２つの潜在動作に対応するインデックスである。そして、動作分類部２６は、選択した潜在動作Ｔｐ［ｈｒ］を分類結果としてフレーム毎に行動推定部２９へ出力する。具体的には、動作分類部２６は、潜在動作である「頭を上げる」および「手を合せる」を行動推定部２９へ出力する。
【０１２９】
［動作順序の抽出］
再び図４を参照して、訓練行動情報処理部２０における動作順序抽出部５４は、たとえば、参照物の動作の時間的推移のパターンを生成する。具体的には、動作順序抽出部５４は、たとえば、参照用ＢｏＦ表現に基づいて、出現頻度が一定数以上の動作についての順序を、PrefixSpan法を用いて抽出する。
【０１３０】
図１１は、本発明の第１の実施の形態に係る動作順序抽出部が抽出する動作の順序の一例を示す図である。
【０１３１】
図１１を参照して、より詳細には、動作順序抽出部５４は、たとえば、参照用ＢｏＦ表現保持部４３から参照用ＢｏＦ表現を取得する。動作順序抽出部５４が取得する参照用ＢｏＦ表現は、たとえば、以下のようなものである。
【０１３２】
すなわち、参照用ＢｏＦ表現は、たとえば、お寺の境内を賽銭箱の前まで徒歩で移動する際における、正常な行動を行ったときの訓練行動および異常な行動を行ったときの訓練行動に基づいて生成された各ＢｏＦ表現である。
【０１３３】
正常な行動は、たとえば、賽銭箱の前まで徒歩で移動した後拝む行動、および賽銭箱の前まで徒歩で移動した後賽銭箱を覗く行動である。また、異常な行動は、たとえば、賽銭箱の前まで徒歩で移動した後賽銭箱に手を突っ込む行動である。各行動は、たとえば、１パターンだけでなく、複数パターンある。
【０１３４】
動作順序抽出部５４は、たとえば、訓練行動に対応する参照用ＢｏＦ表現を各フレームに対応する短縮参照用ＢｏＦ表現に分割する。短縮参照用ＢｏＦ表現には、たとえば、対応するフレームを含む１０フレーム分の参照用ＢｏＦ表現が含まれる。
【０１３５】
動作順序抽出部５４は、たとえば、潜在動作抽出部５１から受けた潜在動作Ｔｐ［ｓｑ］および短縮参照用ＢｏＦ表現を動作分類部５３へ出力する。
【０１３６】
動作分類部５３は、確率トピッククラスタリングを行うことにより、動作順序抽出部５４から受けた潜在動作Ｔｐ［ｓｑ］を用いて、短縮参照用ＢｏＦ表現の各潜在動作Ｔｐ［ｓｑ］への帰属確率を演算する。そして、動作分類部５３は、演算した帰属確率を動作順序抽出部５４へ出力する。
【０１３７】
動作順序抽出部５４は、動作分類部５３から帰属確率を受けると、受けた帰属確率のうちのたとえば上位２つの帰属確率に対応する潜在動作Ｔｐ［ｓｅｌ］を選択する。ここで、Ｔｐ［ｓｅｌ］におけるｓｅｌは、潜在動作Ｔｐ［ｓｑ］のうちの、動作分類部５３が演算した帰属確率の上位２つの潜在動作に対応するインデックスである。そして、動作順序抽出部５４は、選択した２つの潜在動作Ｔｐ［ｓｅｌ］を含むエレメントを生成する。
【０１３８】
動作順序抽出部５４は、フレーム毎にエレメントを生成し、生成した各エレメントを時系列順に並べたシーケンスを訓練行動毎に生成する。
【０１３９】
動作順序抽出部５４は、訓練行動毎に生成したシーケンスについて、PrefixSpan法を用いて、所定数以上の出現頻度を有する動作についての順序を示す頻出パターンを抽出する。
【０１４０】
動作順序抽出部５４は、たとえば、図１１に示すような、抽出した頻出パターンに基づいて動作順序ツリーを参照物の動作の時間的推移のパターンとして生成し、生成した動作順序ツリーを更新部５２へ出力する。
【０１４１】
更新部５２は、動作順序抽出部５４から受けた動作順序ツリーを動作順序保持部４２に保持させることにより、動作順序保持部４２の保持内容を更新する。
【０１４２】
図１１に示す動作順序ツリーには、たとえば、参照物の複数の動作状態および各動作状態の順序が含まれる。具体的には、動作順序ツリーには、参照物の動作状態を含む複数のノードＮｄ［ｋ］が含まれる。複数のノードには、動作順序抽出部５４により選択された２つの潜在動作Ｔｐ［ｓｅｌ］、すなわち帰属確率のうちの上位２つの帰属確率に対応する潜在動作Ｔｐ［ｓｅｌ］が含まれる。
【０１４３】
各ノードＮｄ［ｋ］間は、ノードＮｄ［ｋ］の順序を示すエッジで結ばれる。また、エッジで結ばれる各ノードＮｄ［ｋ］には、親子関係がある。具体的には、ノードＮｄ［０］はノードＮｄ［１］の親ノードである。逆に、ノードＮｄ［１］は、ノードＮｄ［０］の子ノードである。
【０１４４】
シーケンスの順番は、親ノードから子ノードへたどる順番となる。たとえば、ノードＮｄ［０］からノードＮｄ［１］、ノードＮｄ［４］、ノードＮｄ［８］、ノードＮｄ［１１］、ノードＮｄ［１４］を経由し、ノードＮｄ［１８］へ至る経路は、賽銭箱の前まで徒歩で移動した後拝む行動、すなわち正常行動に対応する訓練行動の経路である。
【０１４５】
また、たとえば、ノードＮｄ［０］からノードＮｄ［１］、ノードＮｄ［４］、ノードＮｄ［７］、ノードＮｄ［１０］、ノードＮｄ［１２］を経由し、ノードＮｄ［１６］へ至る経路は、賽銭箱の前まで徒歩で移動した後賽銭箱に手を突っ込む行動、すなわち異常行動に対応する訓練行動の経路である。
【０１４６】
ノードＮｄ［ｋ］は、属性を有する。属性は、たとえば、「正常」、「警戒」および「危険」等のレベルである。また、属性は、たとえば、当該ノードに含まれる潜在動作Ｔｐ［ｓｅｌ］に応じた時間である。ノードＮｄ［ｋ］は、上記属性を個々に有してもよいし、上記属性の組合せを有してもよい。
【０１４７】
［対象物の行動の推定］
行動推定部２９は、動作分類部２６により分類された対象物の動作の時間的推移に基づいて対象物の行動を推定する。具体的には、行動推定部２９は、当該対象物の動作を示す、ＢｏＦ表現の帰属確率の上位２つの潜在動作Ｔｐ［ｈｒ］をフレーム毎に動作分類部２６から受ける。また、行動推定部２９は、動作順序保持部４２から動作順序ツリーを取得する。そして、行動推定部２９は、動作順序ツリーを用いて、動作分類部２６により分類された対象物の動作の時間的推移を評価する。
【０１４８】
行動推定部２９は、たとえば、当該上位２つの潜在動作Ｔｐ［ｈｒ］および動作順序ツリーにおけるノードに基づいて対象物の動作の時間的推移を評価する。より詳細には、行動推定部２９は、フレーム毎に、上位２つの潜在動作Ｔｐ［ｈｒ］と動作順序ツリーにおけるノードＮｄ［ｋ］とを比較する。
【０１４９】
たとえば、ある人物がお寺の境内へ歩いて入ってくる状況において、動作分類部２６は、当該人物が含まれる画像Ｉ［ｔｎ］に基づいて生成されたＢｏＦ表現から当該人物の動作の帰属確率上位２つの潜在動作Ｔｐ［ｈｒ］を「歩く」および「手を上げる」と分類する。
【０１５０】
行動推定部２９は、「歩く」および「手を上げる」の潜在動作を動作分類部２６から受けると、図１１に示す動作順序ツリーにおいて、最も上位の親ノードであるノードＮｄ［０］を取得し、ノードＮｄ［０］に含まれる潜在動作Ｔｐ［ｓｅｌ］と当該上位２つの潜在動作Ｔｐ［ｈｒ］とが一致するか否かを判断する。
【０１５１】
行動推定部２９は、ノードＮｄ［０］に含まれる潜在動作Ｔｐ［ｓｅｌ］と当該上位２つの潜在動作Ｔｐ［ｈｒ］とが一致すると判断すると、ノードＮｄ［０］を動作順序ツリーにおいて注目しているノードであるカレントノードに設定し、次の画像である画像Ｉ［ｔｎ＋１］についての上位２つの潜在動作Ｔｐ［ｈｒ］を待受ける。
【０１５２】
行動推定部２９は、画像Ｉ［ｔｎ＋１］についての上位２つの潜在動作Ｔｐ［ｈｒ］を動作分類部２６から受けると、受けた上位２つの潜在動作Ｔｐ［ｈｒ］とカレントノードに含まれる潜在動作Ｔｐ［ｓｅｌ］とが一致するか否かを判断する。
【０１５３】
行動推定部２９は、当該上位２つの潜在動作Ｔｐ［ｈｒ］とカレントノードに含まれる潜在動作Ｔｐ［ｓｅｌ］とが一致すると判断すると、カレントノードをノードＮｄ［０］に維持する。一方、行動推定部２９は、当該上位２つの潜在動作Ｔｐ［ｈｒ］とカレントノードに含まれる潜在動作Ｔｐ［ｓｅｌ］とが一致しないと判断すると、カレントノードの子ノードを取得する。具体的には、行動推定部２９は、ノードＮｄ［０］の子ノードであるノードＮｄ［１］，Ｎｄ［２］を取得する。
【０１５４】
行動推定部２９は、取得した子ノードであるノードＮｄ［１］，Ｎｄ［２］に含まれる潜在動作Ｔｐ［ｓｅｌ］と画像Ｉ［ｔｎ＋１］についての上位２つの潜在動作Ｔｐ［ｈｒ］とが、それぞれ一致するか否かを判断する。
【０１５５】
行動推定部２９は、ノードＮｄ［１］に含まれる潜在動作Ｔｐ［ｓｅｌ］と画像Ｉ［ｔｎ＋１］についての上位２つの潜在動作Ｔｐ［ｈｒ］とが一致すると判断すると、カレントノードをノードＮｄ［１］に変更する。
【０１５６】
行動推定部２９は、画像Ｉ［ｔｎ＋２］以降の画像について、上位２つの潜在動作Ｔｐ［ｈｒ］とカレントノードに含まれる潜在動作Ｔｐ［ｓｅｌ］とが一致するか否かを判断し、一致する場合にはカレントノードを維持し、また、一致しない場合にはカレントノードを子ノードのいずれかに変更する。
【０１５７】
また、行動推定部２９は、たとえば、監視対象としている対象物である人物の状態を示す監視状態を対象物の動作の時間的推移として管理する。監視状態は、たとえば、「正常状態」、「警戒状態」および「危険状態」のいずれかの状態である。
【０１５８】
なお、行動推定部２９は、ノードＮｄ［ｋ］に含まれる潜在動作Ｔｐ［ｓｅｌ］と上位２つの潜在動作Ｔｐ［ｈｒ］とが一致するか否かを判断する構成であるとしたが、これに限定するものではない。たとえば、行動推定部２９は、ノードＮｄ［ｋ］に含まれる潜在動作Ｔｐ［ｓｅｌ］と当該上位２つの潜在動作Ｔｐ［ｈｒ］とが一致するか否かを判断する代わりに、類似するか否かを判断してもよい。
【０１５９】
たとえば、ノードＮｄ［ｋ］に含まれる２つの潜在動作Ｔｐ［ｓｅｌ］と、当該上位２つの潜在動作Ｔｐ［ｈｒ］とが同じ場合であって、帰属確率の順序のみが異なる場合、行動推定部２９は、ノードＮｄ［ｋ］に含まれる潜在動作Ｔｐ［ｓｅｌ］と当該上位２つの潜在動作Ｔｐ［ｈｒ］とが類似すると判断する。
【０１６０】
［ノードに含まれる潜在動作Ｔｐ［ｓｅｌ］に基づく異常行動の検出例］
図１２は、本発明の第１の実施の形態に係る行動推定部が用いる動作順序ツリーの一例を示す図である。
【０１６１】
図１２を参照して、たとえば、図１２に示す動作順序ツリーにおいて、ノード毎に重みが付与されている。具体的には、各ノードが属性としてレベルを有する場合を想定する。具体的には、ノードＮｄ［６］，Ｎｄ［１６］は、「危険」のレベルを有する。ノードＮｄ［１０］，Ｎｄ［１３］は、「警戒」のレベルを有する。また、ノードＮｄ［６］，Ｎｄ［１６］，ノードＮｄ［１０］，Ｎｄ［１３］以外のノードは、「正常」のレベルを有する。
【０１６２】
行動推定部２９は、たとえば、レベルを用いて対象物の動作の時間的推移における各動作の重みを求め、求めた各動作の重みに基づいて対象物の動作の時間的推移を評価する。
【０１６３】
具体的には、行動推定部２９は、たとえば、画像Ｉ［ｔｎ＋Ｎｉ］（Ｎｉ＝０〜）に対応する上位２つの潜在動作Ｔｐ［ｈｒ］を動作分類部２６から受けるごとに、カレントノードを維持または変更する。行動推定部２９は、たとえば、カレントノードを変更する際、変更後のカレントノードの属性であるレベルを監視する。
【０１６４】
そして、行動推定部２９は、たとえば、監視するレベルに基づいて、自己が管理する監視状態を「正常状態」、「警戒状態」および「危険状態」のいずれかの状態に設定する。そして、行動推定部２９は、たとえば、設定した監視状態に基づいて異常行動が発生したか否かを判断する。監視状態の初期値は、たとえば、「正常状態」である。
【０１６５】
（ノードＮｄ［０］→ノードＮｄ［６］）
具体的には、たとえば、図１２に示す動作順序ツリーにおけるカレントノードが、ノードＮｄ［０］→ノードＮｄ［１］→ノードＮｄ［３］→ノードＮｄ［６］の順に遷移する際に、行動推定部２９は、以下の処理を行う。
【０１６６】
すなわち、行動推定部２９は、カレントノードをノードＮｄ［０］からノードＮｄ［１］へ変更する際に、変更後のノードＮｄ［１］の属性であるレベルが「正常」であることを認識すると、監視状態を「正常状態」のまま維持する。
【０１６７】
行動推定部２９は、たとえば、カレントノードをノードＮｄ［１］からノードＮｄ［３］へ変更する際に、変更後のノードＮｄ［３］の属性であるレベルが「正常」であることを認識すると、監視状態を「正常状態」のまま維持する。
【０１６８】
行動推定部２９は、たとえば、カレントノードをノードＮｄ［３］からノードＮｄ［６］へ変更する際に、変更後のノードＮｄ［６］の属性であるレベルが「危険」であることを認識すると、監視状態を「危険状態」に変更する。また、行動推定部２９は、たとえば、対象としている人物の行動として「盗む」という行動を推定する。そして、行動推定部２９は、たとえば、監視状態が「危険状態」になったことから異常行動が発生したと判断し、警報情報をネットワーク１２経由で警報装置１６１へ送信する。
【０１６９】
なお、行動推定部２９は、たとえば、カレントノードをノードＮｄ［１］からノードＮｄ［３］へ変更する際に、ノードＮｄ［３］の子ノードが「危険」のレベルを有するノードＮｄ［６］のみであることを認識し、カレントノードをノードＮｄ［６］へ変更するまでに監視状態をたとえば「警戒状態」に変更する。
【０１７０】
これにより、たとえば、監視対象とする人物がノードＮｄ［６］に含まれる潜在動作Ｔｐ［ｓｅｌ］である「手を突っ込む」および「しゃがむ」を行う前に警戒することができるので、安全側の判断を行うことができる。
【０１７１】
また、たとえば、ノードＮｄ［６］の属性であるレベルが「危険」でなく「警戒」であるときは、カレントノードをノードＮｄ［１］からノードＮｄ［３］へ変更した後、しばらく様子を見てもよい。
【０１７２】
（ノードＮｄ［０］→ノードＮｄ［２０］）
また、たとえば、カレントノードが、ノードＮｄ［０］→ノードＮｄ［１］→ノードＮｄ［４］→ノードＮｄ［８］→ノードＮｄ［１１］→ノードＮｄ［１３］→ノードＮｄ［１７］→ノードＮｄ［２０］の順に遷移する際に、行動推定部２９は、以下の処理を行う。
【０１７３】
すなわち、行動推定部２９は、変更後のカレントノードがノードＮｄ［１］、ノードＮｄ［４］、ノードＮｄ［８］およびノードＮｄ［１１］である場合において、各ノードの属性であるレベルが「正常」であることを認識し、監視状態を「正常状態」のまま維持する。
【０１７４】
行動推定部２９は、変更後のカレントノードがノードＮｄ［１３］である場合において、ノードＮｄ［１３］の属性であるレベルが「警戒」であることを認識し、監視状態を「警戒状態」に変更する。この際、行動推定部２９は、正常行動ではないが異常行動には至らない行動が発生したと認識する。
【０１７５】
行動推定部２９は、変更後のカレントノードがノードＮｄ［１７］である場合において、ノードＮｄ［１７］の属性であるレベルが「正常」であることを認識し、監視状態を「警戒状態」のまま維持する。
【０１７６】
行動推定部２９は、変更後のカレントノードがノードＮｄ［２０］である場合において、ノードＮｄ［２０］の属性であるレベルが「警戒」であることを認識し、たとえば監視状態を「警戒状態」から「危険状態」に変更する。また、行動推定部２９は、たとえば、対象としている人物の行動として「賽銭箱を覗く」という行動を推定する。
【０１７７】
そして、行動推定部２９は、たとえば、監視状態が「危険状態」になったことから異常行動が発生したと判断し、警報情報をネットワーク１２経由で警報装置１６１へ送信する。
【０１７８】
なお、行動推定部２９は、ノードの属性であるレベルとして、「正常」、「警戒」および「危険」の３つで監視状態を分類したが、さらに少数または多数のレベルで監視状態を分類してもよい。
【０１７９】
また、行動推定部２９は、レベルの代わりにポイントをノードの属性とし、各ノードにおけるポイントの積算値に基づいて監視状態を設定してもよい。
【０１８０】
たとえば、ノードに含まれる潜在動作Ｔｐ［ｓｅｌ］に応じたポイントを当該ノードに割当てることにより、監視状態をより適切に設定することができる。
【０１８１】
［動作の継続時間に基づく異常行動の検出例１］
図１３は、本発明の第１の実施の形態に係る行動推定部が用いる動作順序ツリーの他の一例を示す図である。
【０１８２】
図１３を参照して、たとえば、図１３に示す動作順序ツリーにおいて、各ノードがしきい値時間Ｔｔｈを属性として有する場合を想定する。Ｔｔｈは、たとえば、各ノードに含まれる潜在動作Ｔｐ［ｓｅｌ］に応じた値である。
【０１８３】
具体的には、たとえば、「歩く」および「手を合せる」といった異常性が低いと考えられる潜在動作Ｔｐ［ｓｅｌ］を含むノードには、Ｔｔｈを大きい値に設定する。また、たとえば、「手を突っ込む」および「手をかざす」といった異常性が高いと考えられる潜在動作Ｔｐ［ｓｅｌ］を含むノードには、Ｔｔｈを小さい値に設定する。
【０１８４】
たとえば、行動推定部２９は、たとえば、動作分類部２６により分類された帰属確率の上位２つの潜在動作Ｔｐ［ｈｒ］と、カレントノードに含まれる潜在動作Ｔｐ［ｓｅｌ］とが複数回連続して一致する期間を測定する。
【０１８５】
具体的には、行動推定部２９は、たとえば、カレントノードを維持する回数を測定し、測定した回数にフレーム周期を乗じた値を、当該カレントノードを維持する期間として測定する。
【０１８６】
行動推定部２９は、たとえば、測定した期間と当該カレントノードの属性であるＴｔｈとの大小関係に基づいて対象物の動作の時間的推移を評価する。
【０１８７】
（ノードＮｄ［０］→ノードＮｄ［１６］）
具体的には、たとえば、図１３に示す動作順序ツリーにおけるカレントノードが、ノードＮｄ［０］→ノードＮｄ［１］→ノードＮｄ［４］→ノードＮｄ［７］→ノードＮｄ［１０］→ノードＮｄ［１２］→ノードＮｄ［１６］の順に遷移する際に、行動推定部２９は、以下の処理を行う。
【０１８８】
すなわち、行動推定部２９は、たとえば、カレントノードをノードＮｄ［０］からノードＮｄ［１］へ変更するまでに、カレントノードをノードＮｄ［０］に維持していた期間Ｔｍ０を測定する。そして、行動推定部２９は、たとえば、測定した期間Ｔｍ０がノードＮｄ［０］の属性であるＴｔｈ０以下である場合、監視状態を「正常状態」のまま維持する。
【０１８９】
行動推定部２９は、たとえば、ノードＮｄ［ｋ］（ｋ＝１，４，７）がカレントノードである場合においてもカレントノードを維持する期間Ｔｍｋを同様に測定し、測定した期間Ｔｍｋが各ノードの属性であるＴｔｈｋ以下である場合、監視状態を「正常状態」のまま維持する。
【０１９０】
行動推定部２９は、たとえば、ノードＮｄ［１０］がカレントノードである場合においてカレントノードを維持する期間Ｔｍ１０を測定し、測定した期間Ｔｍ１０がノードＮｄ［１０］の属性であるＴｔｈ１０より長い場合、監視状態を「正常状態」から「警戒状態」に変更する。
【０１９１】
また、行動推定部２９は、たとえば、ノードＮｄ［１２］がカレントノードである場合において、測定した期間Ｔｍ１２がノードＮｄ［１２］の属性であるＴｔｈ１２以下である場合、監視状態を「警戒状態」のまま維持する。
【０１９２】
また、行動推定部２９は、たとえば、ノードＮｄ［１６］がカレントノードである場合において、カレントノードを維持する期間Ｔｍ１６を測定し、測定した期間Ｔｍ１６がノードＮｄ［１６］の属性であるＴｔｈ１６より長い場合、監視状態を「警戒状態」から「危険状態」に変更する。また、行動推定部２９は、たとえば、対象としている人物の行動として「盗む」という行動を推定する。
【０１９３】
そして、行動推定部２９は、たとえば、監視状態が「危険状態」になったことから異常行動が発生したと判断し、警報情報をネットワーク１２経由で警報装置１６１へ送信する。
【０１９４】
なお、行動推定部２９は、たとえば、ノードＮｄ［１０］がカレントノードである場合、カレントノードを維持する期間Ｔｍ１０を測定し、測定した期間Ｔｍ１０がノードＮｄ［１０］の属性であるＴｔｈ１０以下である場合、監視状態を「正常状態」のまま維持する。
【０１９５】
たとえば、監視対象とする人物の動作が、たまたま異常性が高いと考えられる潜在動作に帰属され、異常性が高いと考えられる潜在動作Ｔｐ［ｓｅｌ］を有するノードがカレントノードとなる場合がある。この場合、当該カレントノードを維持する期間は短いと考えられる。
【０１９６】
したがって、異常性が高いと考えられる潜在動作Ｔｐ［ｓｅｌ］であっても、持続状態が短い場合において監視状態を変更せずに維持することにより、監視対象とする人物が要注意の人物であると誤って認識してしまうことを回避することができる。
【０１９７】
また、行動推定部２９は、たとえば、ノードＮｄ［１０］がカレントノードである場合、以下の処理を行ってもよい。すなわち、行動推定部２９は、カレントノードを維持する期間Ｔｍ１０がノードＮｄ［１０］の属性であるＴｔｈ１０より十分長い場合、たとえばＴｔｈ１０の２倍より長い場合、監視状態を「危険状態」に変更してもよい。
【０１９８】
また、行動推定部２９は、たとえば、ノードＮｄ［１６］がカレントノードである場合も同様に、以下の処理を行ってもよい。すなわち、行動推定部２９は、カレントノードを維持する期間Ｔｍ１６がノードＮｄ［１６］の属性であるＴｔｈ１６より十分長い場合、たとえばＴｔｈ１６の２倍より長い場合、監視状態を「危険状態」に変更してもよい。
【０１９９】
これにより、異常性が高いと考えられる潜在動作Ｔｐ［ｓｅｌ］が長く継続する場合において、監視対象とする人物が要注意の人物であると認識することができる。
【０２００】
［動作の継続期間に基づく異常行動の検出例２］
図１４は、本発明の第１の実施の形態に係る行動推定部が用いる動作順序ツリーの他の一例を示す図である。
【０２０１】
図１４を参照して、たとえば、図１４に示す動作順序ツリーにおいて、各ノードが属性として所定時間であるＴｔｈおよびレベルを属性として有する場合を想定する。
【０２０２】
たとえば、行動推定部２９は、カレントノードを維持する期間を測定し、測定した期間および当該カレントノードの属性であるＴｔｈの大小関係とレベルとに基づいて異常行動が発生したか否かを判断する。
【０２０３】
（ノードＮｄ［０］→ノードＮｄ［１９］）
具体的には、たとえば、図１４に示す動作順序ツリーにおけるカレントノードが、ノードＮｄ［０］→ノードＮｄ［１］→ノードＮｄ［４］→ノードＮｄ［８］→ノードＮｄ［１１］→ノードＮｄ［１３］→ノードＮｄ［１７］→ノードＮｄ［１９］の順に遷移する際に、行動推定部２９は、以下の処理を行う。
【０２０４】
すなわち、行動推定部２９は、たとえば、カレントノードをノードＮｄ［０］からノードＮｄ［１］へ変更するまでに、カレントノードをノードＮｄ［０］に維持していた期間Ｔｍ０を測定する。そして、行動推定部２９は、たとえば、測定した期間Ｔｍ０がノードＮｄ［０］の属性であるＴｔｈ０以下である場合、監視状態を「正常状態」のまま維持する。
【０２０５】
行動推定部２９は、たとえば、ノードＮｄ［ｋ］（ｋ＝１，４，８）がカレントノードである場合においてもカレントノードを維持する期間Ｔｍｋを同様に測定し、測定した期間Ｔｍｋが各ノードの属性であるＴｔｈｋ以下である場合、監視状態を「正常状態」のまま維持する。
【０２０６】
行動推定部２９は、たとえば、ノードＮｄ［１１］がカレントノードである場合においてカレントノードを維持する期間Ｔｍ１１を測定し、測定した期間Ｔｍ１１がノードＮｄ［１１］の属性であるＴｔｈ１１より長い場合、監視状態を「正常状態」から「警戒状態」に変更する。
【０２０７】
たとえば、監視対象とする人物が賽銭箱の前等で立ち止まるような変化の緩慢な動作は、動作の種類を特定しない方法では、当該人物の動作が正常であると判断してしまう場合がある。
【０２０８】
これに対して、動作の種類を特定した上で、カレントノードを維持する期間を測定する構成により、たとえば、監視対象とする人物が賽銭箱の前等で長時間立ち止まる場合のように、異常性が低いと考えられる「止まる」という潜在動作Ｔｐ［ｓｅｌ］であっても、長く継続する場合において、当該人物が要注意の人物であることを認識することができる。
【０２０９】
これにより、ノードＮｄ［１１］の属性であるレベルが「正常」である場合でも、当該人物が要注意の人物であることを認識することができる。
【０２１０】
そして、行動推定部２９は、たとえば、カレントノードをノードＮｄ［１１］からノードＮｄ［１３］へ変更すると、ノードＮｄ［１３］の属性であるレベルが「警戒」であることを認識し、たとえば監視状態を「警戒状態」から「危険状態」に変更する。この際、行動推定部２９は、たとえば、ノードＮｄ［１３］の子ノードＮｄ［１７］および孫ノードＮｄ［１９］，Ｎｄ［２０］に基づいて、対象としている人物の行動として「賽銭箱を覗く」という行動を推定する。
【０２１１】
そして、行動推定部２９は、たとえば、監視状態が「危険状態」になったことから異常行動が発生したと判断し、警報情報をネットワーク１２経由で警報装置１６１へ送信する。
【０２１２】
なお、行動推定部２９は、たとえば、ノードＮｄ［１１］がカレントノードである場合、カレントノードを維持する期間Ｔｍ１１を測定し、測定した期間Ｔｍ１１がノードＮｄ［１１］の属性であるＴｔｈ１１以下である場合、監視状態を「正常状態」のまま維持する。
【０２１３】
そして、行動推定部２９は、たとえば、カレントノードをノードＮｄ［１１］からノードＮｄ［１３］へ変更すると、ノードＮｄ［１３］の属性であるレベルが「警戒」であることを認識し、たとえば監視状態を「正常状態」から「警戒状態」に変更する。
【０２１４】
この際、行動推定部２９は、監視状態が「危険状態」とならないので警報情報をネットワーク１２経由で警報装置１６１へ送信しない。
【０２１５】
すなわち、行動推定部２９は、監視対象とする人物の過去の行動に応じて警報情報を送信する基準を設定することができる。
【０２１６】
行動推定部２９は、たとえば、ノードＮｄ［１７］およびノードＮｄ［１９］がカレントノードである場合、カレントノードを維持する期間Ｔｍ１７，Ｔｍ１９をそれぞれ測定する。行動推定部２９は、測定した期間Ｔｍ１７，Ｔｍ１９がそれぞれ各ノードの属性であるＴｔｈ１７，Ｔｔｈ１９以下である場合、監視状態を「警戒状態」のまま維持する。この際、行動推定部２９は、たとえば、対象としている人物の行動として「賽銭箱を覗く」という行動を推定する。
【０２１７】
また、行動推定部２９は、監視対象とする人物が位置する場所に応じて、監視状態を変更してもよい。具体的には、行動推定部２９は、たとえば、監視対象とする人物がお寺の境内における通路において長時間止まっている場合、測定した期間ＴｍがＴｔｈより長くなっても監視状態を変更せずに維持する。
【０２１８】
一方、行動推定部２９は、たとえば、監視対象とする人物がお寺の境内における賽銭箱の前において長時間止まっている場合、測定した期間ＴｍがＴｔｈより長くなると、監視状態を「警戒状態」または「危険状態」に変更する。
【０２１９】
これにより、監視対象とする人物が位置する場所に応じて監視状態が適切に設定されるので、誤検出の発生確率を下げることができる。
【０２２０】
また、監視対象とする人物が位置する場所は、たとえば、オリジナルの画像Ｉ［ｔｎ］に含まれる当該人物の位置から推定することができる。
【０２２１】
訓練行動として、多くの数の典型的な行動に基づいて参照用ＢｏＦが生成される。しかしながら、行動推定部２９が、カレントノードを変更する際に、動作分類部２６から受けた上位２つの潜在動作Ｔｐ［ｈｒ］と当該カレントノードのいずれの子ノードに含まれる潜在動作Ｔｐ［ｓｅｌ］とが一致しない場合も起こり得る。
【０２２２】
この際、行動推定部２９は、たとえば異常終了通知をネットワーク１２経由で警報装置１６１へ送信する。
【０２２３】
また、行動推定部２９は、監視対象とする人物の行動が異常であるか否かを判断する構成であるとしたが、これに限定するものではない。たとえば、行動推定部２９は、商業施設における消費者の動作の時間的推移に基づいて当該消費者の行動を推定し、推定した結果をマーケティングに利用してもよい。
【０２２４】
［画像解析装置の全体動作］
本発明の第１の実施の形態に係る画像解析装置は、以下の各フローチャートの各ステップを含むプログラムを図示しないメモリから読み出して実行する。このプログラムは、外部からインストールすることができる。このインストールされるプログラムは、たとえば記録媒体に格納された状態で流通する。
【０２２５】
図１５は、本発明の第１の実施の形態に係る画像解析装置が撮影装置から受信した画像を解析する際の動作手順を定めたフローチャートである。
【０２２６】
図１５を参照して、まず、画像取得部２１は、撮影装置１５１から画像を受信し、取得した画像をフィルタ処理部２２へ出力する（ステップＳ１０２）。
【０２２７】
次に、フィルタ処理部２２は、たとえば、画像取得部２１から受けた画像Ｉ［ｔｎ］を２次元のガウシアンフィルタおよび１次元のガボールフィルタを用いてフィルタ処理する（ステップＳ１０４）。
【０２２８】
次に、特徴点検出部２４は、フィルタ処理部２２によりフィルタ処理された変化抽出画像ＶＩ［ｔｎ］［ｉ］［ｊ］から時空間特徴点を抽出する（ステップＳ１０６）。
【０２２９】
次に、キューボイド生成部２３は、特徴点検出部２４により検出された時空間特徴点の座標情報に基づいて平滑化画像ＳＩ［ｔｎ＋Ｎ］［ｉ］からキューボイドＣｂを生成する（ステップＳ１０８）。
【０２３０】
次に、記述子情報生成部２５は、キューボイド生成部２３により生成されたキューボイドＣｂにおいて、画像を分割した領域ごとの画像間および画像内の特性変化量を演算し、演算した各特性変化量を総合的に示す記述子Ｄｃｂを生成する（ステップＳ１１０）。
【０２３１】
次に、ＢｏＦ表現生成部２８は、記述子情報生成部２５により生成された記述子Ｄｃｂを受けると、コードブック保持部４０からコードブックを取得する。そして、ＢｏＦ表現生成部２８は、記述子Ｄｃｂおよびコードブックに含まれる参照用記述子ＲＤｃｂに基づいてＢｏＦ表現を生成する（ステップＳ１１２）。
【０２３２】
次に、動作分類部２６は、ＢｏＦ表現生成部２８により生成されたＢｏＦ表現と潜在動作保持部４１から取得した潜在動作Ｔｐ［ｓｑ］を用いて確率トピッククラスタリングを行うことにより、ＢｏＦ表現の各潜在動作Ｔｐ［ｓｑ］への帰属確率を演算する。そして、動作分類部２６は、演算した帰属確率のうちの上位２つの帰属確率に対応する潜在動作Ｔｐ［ｈｒ］を選択し、選択した潜在動作Ｔｐ［ｈｒ］を行動推定部２９へ出力する（ステップＳ１１４）。
【０２３３】
次に、行動推定部２９は、動作分類部２６から受けた潜在動作Ｔｐ［ｈｒ］の時間的推移に基づいて対象物の行動を推定する（ステップＳ１１６）。
【０２３４】
［動作の分類処理の詳細な動作］
図１６は、本発明の第１の実施の形態に係る訓練行動情報処理部による潜在動作および動作順序の抽出処理の詳細な手順を定めたフローチャートである。
【０２３５】
図１６を参照して、まず、訓練行動情報処理部２０における潜在動作抽出部５１は、複数の訓練用動画から生成された参照用ＢｏＦ表現を参照用ＢｏＦ表現保持部４３から取得する（ステップＳ２０２）。
【０２３６】
次に、潜在動作抽出部５１は、所定のトピック数を設定し、ｐＬＳＡ法を用いた教師なし学習により、参照用ＢｏＦ表現から潜在動作Ｔｐ［ｓｑ］を抽出する（ステップＳ２０４）。
【０２３７】
次に、動作分類部５３は、確率トピッククラスタリングを行うことにより、潜在動作抽出部５１により抽出された潜在動作Ｔｐ［ｓｑ］を用いて、参照用ＢｏＦ表現の各潜在動作Ｔｐ［ｓｑ］への帰属確率を演算する。そして、動作分類部５３は、演算した帰属確率を動作順序抽出部５４へ出力する（ステップＳ２０６）。
【０２３８】
次に、動作順序抽出部５４は、フレーム毎に動作分類部５３から帰属確率を受けると、受けた帰属確率のうちの上位２つの帰属確率に対応する潜在動作Ｔｐ［ｓｅｌ］を選択し、選択した２つの潜在動作Ｔｐ［ｓｅｌ］を含む各エレメントを生成する（ステップＳ２０８）。
【０２３９】
次に、動作順序抽出部５４は、訓練行動毎に各エレメントを時系列順に並べたシーケンスを生成し、生成した訓練行動毎のシーケンスについて、PrefixSpan法を用いて、所定数以上の出現頻度を有する動作についての順序を示す頻出パターンを抽出する（ステップＳ２１０）。
【０２４０】
次に、動作順序抽出部５４は、抽出した頻出パターンに基づいて動作順序ツリーを生成し、生成した動作順序ツリーを更新部５２へ出力する（ステップＳ２１２）。
【０２４１】
なお、上記ステップＳ２０４において、潜在動作抽出部５１により抽出された潜在動作Ｔｐ［ｓｑ］は、図１５に示すステップＳ１１４において、動作分類部２６がＢｏＦ表現の各潜在動作Ｔｐ［ｓｑ］への帰属確率を演算する際に用いられる。
【０２４２】
また、上記ステップＳ２１２において、動作順序抽出部５４により生成された動作順序ツリーは、図１５に示すステップＳ１１６において、行動推定部２９が、動作分類部２６により分類された動作の分類結果の時間的推移に基づいて対象物の行動を推定する際に用いられる。
【０２４３】
［対象物の行動推定処理の詳細な動作］
図１７は、本発明の第１の実施の形態に係る行動推定部による対象物の行動推定処理の詳細な手順を定めたフローチャートである。
【０２４４】
図１７を参照して、以下の動作は、画像解析装置１０１の図１５に示すステップＳ１１６における動作の一例を詳細に示したものである。
【０２４５】
まず、行動推定部２９は、変数ｉをゼロに初期化する（ステップＳ３０２）。
【０２４６】
次に、行動推定部２９は、画像Ｉ［ｔｎ＋ｉ］から生成される潜在動作Ｔｐ［ｈｒ］を動作分類部２６から取得する（ステップＳ３０４）。
【０２４７】
次に、行動推定部２９は、変数ｉがゼロの場合（ステップＳ３０６でＹＥＳ）、たとえば図１２に示す動作順序ツリーにおけるノードＮｄ［０］をカレントノードに設定し（ステップＳ３０８）、また、変数ｉがゼロ以外の場合（ステップＳ３０６でＮＯ）、カレントノードを変更しない。
【０２４８】
次に、行動推定部２９は、潜在動作Ｔｐ［ｈｒ］とカレントノードに含まれる潜在動作Ｔｐ［ｓｅｌ］とが一致する場合（ステップＳ３１０でＹＥＳ）、カレントノードを変更せずに維持する（ステップＳ３１４）。
【０２４９】
一方、行動推定部２９は、潜在動作Ｔｐ［ｈｒ］とカレントノードに含まれる潜在動作Ｔｐ［ｓｅｌ］とが異なる場合（ステップＳ３１０でＮＯ）、カレントノードの子ノードであって、潜在動作Ｔｐ［ｈｒ］と同じ潜在動作Ｔｐ［ｓｅｌ］を含むノードをカレントノードに設定する（ステップＳ３１２）。
【０２５０】
次に、行動推定部２９は、カレントノードに含まれる潜在動作Ｔｐ［ｓｅｌ］およびカレントノードの属性の少なくともいずれか一方に基づいて監視状態を管理する（ステップＳ３１６）。
【０２５１】
次に、行動推定部２９は、管理する監視状態に基づいて対象物を監視し、対象物の異常を検出した場合（ステップＳ３１８でＹＥＳ）、警報情報を警報装置１６１へネットワーク１２経由で送信する（ステップＳ３２２）。
【０２５２】
一方、行動推定部２９は、対象物が正常である場合（ステップＳ３１８でＮＯ）、変数ｉをインクリメントし（ステップＳ３２０）、画像Ｉ［ｔｎ＋ｉ］から生成される潜在動作Ｔｐ［ｈｒ］を動作分類部２６から取得する（ステップＳ３０４）。
【０２５３】
ところで、特許文献１に記載の異常行動検知装置は、対象物の行動の特徴量と正常行動の特徴量との距離に基づいて、対象物の行動が異常であるか否かを判断するため、対象物が異常な行動をする場合においても、当該行動の特徴量が正常行動の特徴量に近いと対象物の行動が正常であると判断してしまう場合がある。
【０２５４】
具体的には、たとえば、対象物が歩くという行動を正常行動として定義する場合、対象物が転倒したり、走ったりする等の変化の急激な行動をすると、当該行動の特徴量と正常行動の特徴量の重心との距離が大きくなるので、対象物の行動が異常であると判断することが可能である。
【０２５５】
一方、対象物が、異常な行動として、たとえばゆっくりと物に傷を付ける等の変化の緩慢な動作をすると、当該動作の特徴量と正常行動の特徴量の重心との距離が小さくなる場合があり、対象物の行動が正常であると判断してしまう場合がある。
【０２５６】
これは、異常行動検知装置では、非正常度のみに基づいて対象物の行動が異常であるか否かを判断するためである。
【０２５７】
また、異常行動検知装置が検出する対象物の行動は、短時間における当該対象物の動きに相当する単発の「動作」である。したがって、異常行動検知装置は、単発の「動作」が連なったソーシャルな意味を有する「行動」を正確に認識することができない。
【０２５８】
具体的には、たとえば、短時間において複数の動作が混在したり、短時間において動作の順序が入れ替わったりすると、対象物の「行動」を誤って認識してしまう場合がある。
【０２５９】
これに対して、本発明の第１の実施の形態に係る画像解析装置では、画像取得部２１は、異なるタイミングで撮像された複数の画像Ｉ［ｔｎ］を取得する。キューボイド生成部２３は、画像取得部２１により取得された各画像Ｉ［ｔｎ］からキューボイドＣｂを生成する。記述子情報生成部２５は、キューボイド生成部２３により生成されたキューボイドＣｂの特性変化量を総合的に示す記述子情報である記述子Ｄｃｂを生成する。ＢｏＦ表現生成部２８は、記述子情報生成部２５により生成された記述子Ｄｃｂおよび参照用キューボイドＲＣｂの特性変化量を総合的に示す参照用記述子情報である参照用記述子ＲＤｃｂに基づいて、画像取得部２１により取得された画像Ｉ［ｔｎ］における対象物の動作の特徴を示す特徴情報であるＢｏＦ表現を生成する。動作分類部２６は、ＢｏＦ表現生成部２８により生成されたＢｏＦ表現と、参照用記述子ＲＤｃｂから生成される、参照用キューボイドＲＣｂにおける参照物の動作の特徴を示す参照用ＢｏＦ表現とに基づいて対象物の動作を分類する。そして、行動推定部２９は、動作分類部２６により分類された対象物の動作の時間的推移に基づいて対象物の行動を推定する。
【０２６０】
このように、ＢｏＦ表現および参照用ＢｏＦ表現に基づいて対象物の動作を分類し、分類した対象物の動作の時間的推移に基づいて対象物の行動を推定する構成により、対象物の動作の種類および時間的推移を特定し、対象物の行動をより正確に推定することができる。
【０２６１】
たとえば、対象物の異常な行動が変化の緩慢な動作であるために、当該動作の特徴量と正常行動の特徴量の重心との距離が小さくなる場合においても、対象物の動作を異常と判断することができる。
【０２６２】
また、たとえば、短時間において複数の動作が混在したり、短時間において動作の順序が入れ替わったりする場合においても、対象物の行動をより正確に推定することができる。たとえば、短時間では誤って異常と判断してしまうような動作であっても、動作の時間的推移に基づいて、当該動作が正常であるか否かの判断を正確に行うことができる。
【０２６３】
また、本発明の第１の実施の形態に係る画像解析装置では、キューボイド生成部２３は、画像取得部２１により取得された各画像Ｉ［ｔｎ］のうちの一部を選択したキューボイドＣｂ、各画像Ｉ［ｔｎ］における対応領域を抽出したキューボイドＣｂ、または各画像Ｉ［ｔｎ］のうちの一部を選択し、かつ各画像Ｉ［ｔｎ］における対応領域を抽出したキューボイドＣｂを生成する。
【０２６４】
このような構成により、画像取得部２１により取得された各画像Ｉ［ｔｎ］から適切なキューボイドＣｂを生成し、対象物の局所的な動作を表すのに有用な記述子情報を効率よく生成することができる。
【０２６５】
また、本発明の第１の実施の形態に係る画像解析装置では、記述子情報生成部２５は、キューボイド生成部２３により生成されたキューボイドＣｂにおいて、各画像を分割した領域ごとの画像間および画像内の特性変化量を演算し、演算した各特性変化量を総合的に示す記述子Ｄｃｂを生成する。
【０２６６】
このような構成により、時間軸方向および空間軸方向の両方についての特性変化量を総合的に示す記述子Ｄｃｂを生成することができるので、対象部の動作を分類するのに有用なＢｏＦ表現を生成することができる。
【０２６７】
また、本発明の第１の実施の形態に係る画像解析装置では、行動推定部２９は、参照物の動作の時間的推移のパターンである動作順序ツリーを取得する。行動推定部２９は、動作順序ツリーを用いて、動作分類部２６により分類された対象物の動作の時間的推移を評価することにより対象物の行動を推定する。
【０２６８】
このような構成により、たとえば、有用な動作順序ツリーを対象物の動作の比較対象として用いて、対象物の動作の時間的推移を適切に評価することができる。具体的には、対象物の動作を時系列に沿って俯瞰的に評価し、対象物の動作を大局的に認識することにより、対象物の行動をより正確に推定することができる。
【０２６９】
また、本発明の第１の実施の形態に係る画像解析装置では、行動推定部２９は、参照物の複数の動作状態および各動作状態の順序を動作順序ツリーとして取得する。行動推定部２９は、動作分類部２６により分類された対象物の動作と動作順序ツリーにおける各動作状態との関係に基づいて、対象物の動作の時間的推移を評価することにより対象物の行動を推定する。
【０２７０】
このような構成により、動作順序ツリーにおける各動作状態の順序と対象物の動作の順序とを比較し、対象物の動作の時間的推移における動作の順序を考慮した適切な評価を行うことができる。
【０２７１】
また、本発明の第１の実施の形態に係る画像解析装置では、行動推定部２９は、動作順序ツリーにおける、動作分類部２６により分類された対象物の動作と一致または類似する動作状態を含むノードに基づいて対象物の動作の時間的推移を評価することにより対象物の行動を推定する。
【０２７２】
このような構成により、対象物の動作を動作順序ツリーにおいてトレースしながら、対象物の動作の時間的推移を具体的に評価することができる。
【０２７３】
また、本発明の第１の実施の形態に係る画像解析装置では、行動推定部２９は、対象物の動作の時間的推移における複数の動作が動作順序ツリーにおける同じノードに含まれる動作状態と連続して一致または類似する期間に基づいて対象物の動作の時間的推移を評価することにより対象物の行動を推定する。
【０２７４】
このような構成により、対象物の動作が変化しない期間を考慮した適切な評価を行うことができる。
【０２７５】
また、本発明の第１の実施の形態に係る画像解析装置では、ノード毎にしきい値時間が付与されており、行動推定部２９は、上記期間および対応のノードのしきい値時間の大小関係に基づいて対象物の動作の時間的推移を評価することにより対象物の行動を推定する。
【０２７６】
このような構成により、動作順序ツリーにおける各動作状態に応じたしきい値時間を設定し、上記期間と動作の別に応じて適切に評価することができる。具体的には、たとえば、対象物の動作の期間に応じて当該動作の評価が変わる場合において、対象物の動作の時間的推移を適切に評価することができる。
【０２７７】
より詳細には、たとえば、短時間で行われるときに正常と評価される動作について、当該動作が長時間をかけて行われるときに異常と評価することができる。また、たとえば、長時間をかけて行われるときに正常と評価される動作について、当該動作が短時間で行われるときに異常と評価することができる。
【０２７８】
また、本発明の第１の実施の形態に係る画像解析装置では、ノード毎に重みが付与されており、行動推定部２９は、動作順序ツリーにおける各ノードの重みを用いて対象物の動作の時間的推移における各動作の重みを求め、求めた各動作の重みに基づいて対象物の動作の時間的推移を評価することにより対象物の行動を推定する。
【０２７９】
このように、動作順序ツリーにおける各動作状態の重みを用いて対象物の動作の時間的推移における各動作の重みを求める構成により、対象物の一連の動作を定量化し、対象物の動作の時間的推移を適切に評価することができる。
【０２８０】
また、本発明の第１の実施の形態に係る画像解析装置では、動作分類部２６は、参照物の動作に含まれる潜在動作Ｔｐ［ｓｑ］を取得する。そして、動作分類部２６は、ＢｏＦ表現と、取得した潜在動作Ｔｐ［ｓｑ］とに基づいて対象物の動作を分類する。
【０２８１】
このように、いくつかの行動において共通して現れる動作であって、人間の眼では気づきにくい動作である潜在動作Ｔｐ［ｓｑ］を用いる構成により、対象物の動作を適切に分類することができる。
【０２８２】
また、本発明の第１の実施の形態に係る画像解析装置では、動作分類部２６は、ＢｏＦ表現に含まれる対象物の動作が潜在動作Ｔｐ［ｓｑ］に帰属する確率を演算し、演算した確率を用いて対象物の動作を分類する。
【０２８３】
このように、確率を用いて対象物の動作を分類する構成により、混在する複数の動作を１つの潜在動作Ｔｐ［ｓｑ］に帰属することが困難な場合においても、対象物の動作を適切に分類することができる。
【０２８４】
また、混在する複数の動作を１つの種類の動作に分類してしまうことによる情報の損失を抑えることができる。
【０２８５】
次に、本発明の他の第２の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
【０２８６】
＜第２の実施の形態＞
本実施の形態は、第１の実施の形態に係る画像解析装置と比べて、ｐＬＳＡの代わりにＳＶＭ（Support vector machine）等を用いて動作の分類を行う画像解析装置に関する。以下で説明する内容以外は第１の実施の形態に係る画像解析装置と同様である。
【０２８７】
図１８は、本発明の第２の実施の形態に係る画像解析装置の構成を示す図である。
【０２８８】
図１９は、本発明の第２の実施の形態に係る訓練行動情報処理部の構成を示す図である。
【０２８９】
図１８を参照して、画像解析装置１０２は、第１の実施の形態に係る画像解析装置１０１と比べて、訓練行動情報処理部２０、動作分類部２６、訓練行動情報記憶部２７および行動推定部２９の代わりに訓練行動情報処理部３０、動作分類部３６、訓練行動情報記憶部３７および行動推定部（パターン取得部）３９を備える。
【０２９０】
訓練行動情報記憶部３７は、第１の実施の形態に係る訓練行動情報記憶部２７と比べて、潜在動作保持部４１、動作順序保持部４２および参照用ＢｏＦ表現保持部４３の代わりに動作順序保持部３２および参照用ＢｏＦ表現保持部３３を含む。
【０２９１】
図１９を参照して、訓練行動情報処理部３０は、第１の実施の形態に係る訓練行動情報処理部２０と比べて、潜在動作抽出部５１、更新部５２、動作分類部５３および動作順序抽出部５４の代わりに更新部６２、動作分類部６３および動作順序抽出部６４を含む。
【０２９２】
［動作の分類］
図２０は、本発明の第２の実施の形態に係る動作分類部が分類する対象物の動作および分類先の動作の一例を示す図である。
【０２９３】
図２０を参照して、動作分類部３６は、たとえば、参照物の複数種類の動作の特徴を含む参照用ＢｏＦ表現を参照用ＢｏＦ表現保持部３３から取得する。そして、動作分類部３６は、ＢｏＦ表現生成部２８から受けたＢｏＦ表現の示す対象物の動作の特徴と近い参照物の動作の種類を対象物の動作の種類として分類する。
【０２９４】
より詳細には、参照用ＢｏＦ表現保持部３３には、たとえば、「写真撮影」、「立ち止まる」、「覗く」、「走る」および「拝む」等のシーンを撮像した訓練行動の動画セットから生成された複数の参照用ＢｏＦ表現が含まれる。
【０２９５】
また、参照用ＢｏＦ表現には、当該参照用ＢｏＦ表現に含まれる動作、たとえば「手を下ろす」、「手を合せる」および「頭を上げる」等の動作の種類、すなわち動作カテゴリが事前に定義されている。
【０２９６】
動作分類部３６は、たとえば、参照用ＢｏＦ表現保持部３３から参照用ＢｏＦ表現を取得する。そして、動作分類部３６は、たとえば、図２０に示す動作Ａ，Ｂ，Ｃ，Ｄのように、参照用ＢｏＦ表現が動作カテゴリ毎のグループとなるように、ＳＶＭ法を用いて参照用ＢｏＦ表現の変換を行う。
【０２９７】
動作分類部３６は、たとえば、ＢｏＦ表現生成部２８からＢｏＦ表現を受けると、受けたＢｏＦ表現についてＳＶＭ法を用いて上記変換を行い、図２０に示すＭ１へ当該ＢｏＦ表現を変換する。
【０２９８】
そして、動作分類部３６は、たとえば、図２０に示すＭ１と最も距離の近いグループが動作Ａであると認識すると、ＢｏＦ表現生成部２８から受けたＢｏＦ表現の示す対象物の動作カテゴリを動作Ａと分類する。
【０２９９】
そして、動作分類部３６は、分類結果である動作カテゴリをフレーム毎に行動推定部３９へ出力する。具体的には、動作分類部３６は、「手を下ろす」、「手を合せる」および「頭を上げる」等の動作カテゴリを行動推定部３９へ出力する。
【０３００】
［動作順序の抽出］
再び図１９を参照して、訓練行動情報処理部３０における動作順序抽出部６４は、たとえば、参照用ＢｏＦ表現に基づいて、出現頻度が一定数以上の動作についての順序を、PrefixSpan法を用いて抽出する。
【０３０１】
図２１は、本発明の第２の実施の形態に係る動作順序抽出部が抽出する動作の順序の一例を示す図である。
【０３０２】
図２１を参照して、動作順序抽出部６４は、たとえば、複数の訓練行動に基づいて生成された各参照用ＢｏＦ表現を参照用ＢｏＦ表現保持部３３から取得する。
【０３０３】
動作順序抽出部６４は、たとえば、訓練行動に対応する参照用ＢｏＦ表現を各フレームに対応する短縮参照用ＢｏＦ表現に分割する。短縮参照用ＢｏＦ表現には、たとえば、対応するフレームを含む１０フレーム分の参照用ＢｏＦ表現が含まれる。動作順序抽出部６４は、たとえば、短縮参照用ＢｏＦ表現を動作分類部６３へ出力する。
【０３０４】
動作分類部６３は、ＳＶＭ法を用いることにより、参照用ＢｏＦ表現保持部３３から取得した参照用ＢｏＦ表現に基づいて、動作順序抽出部６４から受けた短縮参照用ＢｏＦ表現の動作カテゴリを演算する。なお、当該動作カテゴリは、たとえば、参照用ＢｏＦ表現において事前に定義されている動作カテゴリである。そして、動作分類部６３は、演算した動作カテゴリを動作順序抽出部６４へ出力する。
【０３０５】
動作順序抽出部６４は、動作分類部６３から動作カテゴリを受けると、受けた動作カテゴリを含むエレメントを生成する。
【０３０６】
動作順序抽出部６４は、フレーム毎にエレメントを生成し、生成した各エレメントを時系列順に並べたシーケンスを生成する。動作順序抽出部６４は、訓練行動毎にシーケンスを生成し、複数のシーケンスを生成する。
【０３０７】
動作順序抽出部６４は、生成した複数のシーケンスについて、PrefixSpan法を用いて、所定数以上の出現頻度を有する動作についての順序を示すシーケンスを抽出する。動作順序抽出部６４は、たとえば、図２１に示すように、抽出したシーケンスに基づいて動作順序ツリーを生成し、生成した動作順序ツリーを更新部６２へ出力する。
【０３０８】
更新部６２は、動作順序抽出部６４から受けた動作順序ツリーを動作順序保持部３２に保持させることにより、動作順序保持部３２の保持内容を更新する。
【０３０９】
なお、図２１に示す動作順序ツリーは、図１１に示す動作順序ツリーと比べて、各ノードに２つの潜在動作Ｔｐ［ｓｅｌ］が含まれる代わりに、各ノードに１つの動作カテゴリが含まれること以外は同じであるので、詳細な説明は繰り返さない。
【０３１０】
［対象物の行動の推定］
行動推定部３９は、動作分類部３６により分類された動作の時間的推移に基づいて対象物の行動を推定する。具体的には、行動推定部３９は、フレーム毎に動作分類部３６から動作カテゴリを受ける。行動推定部３９は、動作順序保持部３２から図２１に示す動作順序ツリーを取得する。
【０３１１】
そして、行動推定部３９は、動作カテゴリおよび動作順序ツリーに基づいて対象物の動作の時間的推移を認識する。より詳細には、行動推定部３９は、フレーム毎に、動作カテゴリと動作順序ツリーにおけるノードＮｄ［ｋ］とを比較する。
【０３１２】
以下、行動推定部３９が行う処理は、画像解析装置１０１における行動推定部２９が行う処理において、「ノードＮｄ［ｋ］に含まれる潜在動作Ｔｐ［ｓｅｌ］」および「帰属確率の上位２つの潜在動作Ｔｐ［ｈｒ］」をそれぞれ「ノードＮｄ［ｋ］に含まれる動作カテゴリ」および「動作分類部３６から受けた動作カテゴリ」に読み替えた処理に相当するので詳細な説明は繰り返さない。
【０３１３】
その他の構成および動作は第１の実施の形態に係る画像解析装置と同様であるため、ここでは詳細な説明を繰り返さない。
【０３１４】
以上のように、本発明の第２の実施の形態に係る画像解析装置では、参照用ＢｏＦ表現には、参照物の複数種類の動作の特徴が含まれる。動作分類部３６は、ＢｏＦ表現の示す対象物の動作の特徴と近い参照物の動作の種類を対象物の動作の種類として分類する。
【０３１５】
このような構成により、参照物の複数種類の動作のうちのいずれかに対象物の動作の種類を適切に分類することができる。また、対象物の動作の種類を確定することができるので、対象物の動作の時間的推移に基づいて対象物の行動を推定する際の処理負荷を軽減することができる。
【０３１６】
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０３１７】
１１，１２  ネットワーク
２０，３０  訓練行動情報処理部
２１  画像取得部
２２  フィルタ処理部
２３  キューボイド生成部（画像グループ生成部）
２４  特徴点検出部
２５  記述子情報生成部
２６  動作分類部（潜在動作取得部）
２７，３７  訓練行動情報記憶部
２８  ＢｏＦ表現生成部（特徴情報生成部）
２９，３９  行動推定部（パターン取得部）
３６  動作分類部
４０  コードブック保持部
４１  潜在動作保持部
４２，３２  動作順序保持部
４３，３３  参照用ＢｏＦ表現保持部
５１  潜在動作抽出部
５２，６２  更新部
５３，６３  動作分類部
５４，６４  動作順序抽出部
１０１  画像解析装置
１５１Ａ，１５１Ｂ，１５１Ｃ  撮影装置
１６１  警報装置
【図１】
2014182585.tif 000003
【図２】
2014182585.tif 000004
【図３】
2014182585.tif 000005
【図４】
2014182585.tif 000006
【図５】
2014182585.tif 000007
【図６】
2014182585.tif 000008
【図７】
2014182585.tif 000009
【図８】
2014182585.tif 000010
【図９】
2014182585.tif 000011
【図１０】
2014182585.tif 000012
【図１１】
2014182585.tif 000013
【図１２】
2014182585.tif 000014
【図１３】
2014182585.tif 000015
【図１４】
2014182585.tif 000016
【図１５】
2014182585.tif 000017
【図１６】
2014182585.tif 000018
【図１７】
2014182585.tif 000019
【図１８】
2014182585.tif 000020
【図１９】
2014182585.tif 000021
【図２０】
2014182585.tif 000022
【図２１】
2014182585.tif 000023