(57)【要約】行動認識の学習及び認識時において、時間の長さ（フレーム数）ではなく、現認識時点の行動の前の行動を安定的かつ適度に考慮に入れて行動認識に用いるデータ量を決定し、行動認識の高精度化及び効率化を図る。人などの対象の行動が時系列に記録されたデータ（動画像データ）から抽出された対象の行動の特徴量の時系列データに基づき当該行動を認識する認識部（１２）を有する行動認識装置において、認識部は、特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点（８０２，８０４）までの時系列に並ぶ複数（図８において３）の行動に相当する特徴量の時系列データに基づき、現認識時点の行動を認識する。
2017150211.tif 000002
【特許請求の範囲】
【請求項１】
対象の行動が時系列に記録されたデータから抽出された前記対象の行動の特徴量の時系列データに基づき当該行動を認識する認識部を有する行動認識装置において、
前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする行動認識装置。
【請求項２】
前記認識部は、時系列に並ぶ前記所定の行動数の認識が終わる前は、現認識時点までの全ての前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする請求項１に記載の行動認識装置。
【請求項３】
異なる行動に切り替わる行動の境界点を判定する行動境界判定部を有し、
前記認識部は、前記行動境界判定部が出力した境界点を基準に、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする請求項１又は請求項２に記載の行動認識装置。
【請求項４】
前記行動境界判定部は、前記認識部が出力する行動の尤度情報に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする請求項３に記載の行動認識装置。
【請求項５】
前記行動境界判定部は、尤度が高い順位が１位と２位の差が所定の閾値以下となった時点を前記境界点と判定することを特徴とする請求項４に記載の行動認識装置。
【請求項６】
前記行動境界判定部は、所定長さの時間内に前記認識部から複数回出力される尤度情報の統計量に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする請求項４又は請求項５に記載の行動認識装置。
【請求項７】
前記行動境界判定部は、前記対象の位置情報に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする請求項３に記載の行動認識装置。
【請求項８】
対象の行動が時系列に記録された訓練データから抽出された対象の行動の特徴量の時系列データに基づき当該行動を認識するとともに学習する認識部を有する行動学習装置において、
前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする行動学習装置。
【請求項９】
対象の行動が時系列に記録されたデータから抽出された前記対象の行動の特徴量の時系列データに基づき当該行動を認識する認識部としてコンピューターを機能させるための行動認識プログラムにおいて、
前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする行動認識プログラム。
【請求項１０】
前記認識部は、時系列に並ぶ前記所定の行動数の認識が終わる前は、現認識時点までの全ての前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする請求項９に記載の行動認識プログラム。
【請求項１１】
異なる行動に切り替わる行動の境界点を判定する行動境界判定部として前記コンピューターを機能させ、
前記認識部は、前記行動境界判定部が出力した境界点を基準に、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする請求項９又は請求項１０に記載の行動認識プログラム。
【請求項１２】
前記行動境界判定部は、前記認識部が出力する行動の尤度情報に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする請求項１１に記載の行動認識プログラム。
【請求項１３】
前記行動境界判定部は、尤度が高い順位が１位と２位の差が所定の閾値以下となった時点を前記境界点と判定することを特徴とする請求項１２に記載の行動認識プログラム。
【請求項１４】
前記行動境界判定部は、所定長さの時間内に前記認識部から複数回出力される尤度情報の統計量に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする請求項１２又は請求項１３に記載の行動認識プログラム。
【請求項１５】
前記行動境界判定部は、前記対象の位置情報に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする請求項１１に記載の行動認識プログラム。
【請求項１６】
対象の行動が時系列に記録された訓練データから抽出された対象の行動の特徴量の時系列データに基づき当該行動を認識するとともに学習する認識部としてコンピューターを機能させるための行動学習プログラムにおいて、
前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする行動学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習に係り、対象の行動を学習し認識する分野に関する。
【背景技術】
【０００２】
従来、コンピューターに明示的にプログラミングすることなく行動させるようにする機械学習が研究されている。予測する目標の値が訓練データに含まれている教師あり学習には、クラスを予測する識別（分類）問題などがある。信頼性の向上、処理の高速化等が課題となっている。また、人等の監視動画を入力データとし、人等の行動を認識する分野がある。この場合、連続する画像フレームを解析することとなる。あるフレーム列から行動が認識されると、その後のフレーム列における行動（現認識時点の行動）を認識するにあたり、現認識時点の行動の前の行動を考慮することができる。
非特許文献１に記載の発明は、Trancated BPTT：LSTM等でもちいられる学習テクニックであり、学習時に、所定のフレームよりも前の特徴は参照しないようにする。基本的に一定の時間（フレーム数）で行動認識に用いるデータ量を決める。
特許文献１に記載の発明は、ジェスチャ認識においてジェスチャの始点を明示的に与える代わりに、現フレームを終点として固定長分の観測信号を生成し、HMMモデルデータベースに入力し各ジェスチャの尤度を求める。同発明も、基本的に一定の時間（フレーム数）で行動認識に用いるデータ量を決める。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−８７０８９号公報
【非特許文献】
【０００４】
【非特許文献１】David Zipser（Department of Cognitive Science,University of California, San Diego,La Jolla, CA 92093）  Subgrouping reduces complexity and speeds up learning in recurrent networks
【非特許文献２】Graves, Alan, Abdel-rahman Mohamed, and Geoffrey Hinton. "Speech recognition with deep recurrent neural networks." Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on. IEEE, 2013.
【非特許文献３】Hochreiter, Sepp, and Jurgen Schmidhuber. "Long short-term memory." Neural computation 9.8 (1997): 1735-1780.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、一定の時間（フレーム数）で行動認識に用いるデータ量を決める手法では、その一定の時間（フレーム数）内に、認識したい行動の一単位が入らない場合が生じたり、現認識時点の行動の前の行動が入らない場合が生じたり、逆に無駄に多く前の行動が入ったりするなど、人による動作の早い遅い、状況によるばらつきなどが吸収できず、十分な認識精度が得られなかった。【０００６】
本発明は以上の従来技術における問題に鑑みてなされたものであって、行動認識の学習及び認識時において、時間の長さ（フレーム数）ではなく、現認識時点の行動の前の行動を安定的かつ適度に考慮に入れて行動認識に用いるデータ量を決定し、行動認識の高精度化及び効率化を図ることを課題とする。
【課題を解決するための手段】
【０００７】
以上の課題を解決するための本発明の行動認識装置は、対象の行動が時系列に記録されたデータから抽出された前記対象の行動の特徴量の時系列データに基づき当該行動を認識する認識部を有する行動認識装置において、前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。【０００８】
また本発明の行動学習装置は、対象の行動が時系列に記録された訓練データから抽出された対象の行動の特徴量の時系列データに基づき当該行動を認識するとともに学習する認識部を有する行動学習装置において、前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。【０００９】
また本発明の行動認識プログラムは、対象の行動が時系列に記録されたデータから抽出された前記対象の行動の特徴量の時系列データに基づき当該行動を認識する認識部としてコンピューターを機能させるための行動認識プログラムにおいて、前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。【００１０】
また本発明の行動学習プログラムは、対象の行動が時系列に記録された訓練データから抽出された対象の行動の特徴量の時系列データに基づき当該行動を認識するとともに学習する認識部としてコンピューターを機能させるための行動学習プログラムにおいて、前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、行動認識の学習及び認識時において、時間の長さ（フレーム数）ではなく、現認識時点の行動の前の所定数の行動を含めるとともにそれ以前の行動を含めないように行動認識に用いるデータ量を決定するので、人による行動の早い遅い等、条件の変化に依らず、行動認識の高精度化及び効率化を図ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る行動認識（学習）装置が含まれるシステム概念図である。
【図２Ａ】認識部が行動認識のために用いる長さの特徴量列を示した概念図であり、全フレームとする場合の比較例を示す。
【図２Ｂ】認識部が行動認識のために用いる長さの特徴量列を示した概念図であり、本発明例を示す。
【図３Ａ】認識部が行動認識のために用いる長さの特徴量列を枠で示した概念図であり、枠の長さを一定のフレーム数で固定とした比較例を示す。
【図３Ｂ】認識部が行動認識のために用いる長さの特徴量列を枠で示した概念図であり、本発明例を示す。
【図４】Recurrent Neural Networkの概要図である。
【図５】Long-Short Term Memoryの概要図である。
【図６】本発明の一実施形態に係る行動境界判定の一例を説明するための尤度遷移図である。
【図７】本発明の一実施形態に係る行動境界判定の他の一例を説明するための尤度遷移図である。
【図８Ａ】認識部が行動認識のために用いる長さの特徴量列を枠で示した概念図であり、ある一つの行動境界判定前の枠を示す。
【図８Ｂ】認識部が行動認識のために用いる長さの特徴量列を枠で示した概念図であり、ある一つの行動境界判定後の枠を示す。
【発明を実施するための形態】
【００１３】
以下に本発明の一実施形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。
【００１４】
例えば、高齢者介護見守りの現場において、高齢者の生活状況や事故を認識する仕組みを考える。
この場合、認識する対象は高齢者やその介助者の行動である。具体的に認識する高齢者の行動としては、”就寝”、”起床”、”離床”、”座る”、”しゃがむ”, ”歩行”、”食事”、”トイレ”、”外出”,”モノを取る”の様な日常生活における基本的な行動や転倒、転落などの事故時に起きる行動が対象となる。介助者の行動としては”歩行”などの基本的な行動の他、”支える”、”抱える”,”食べさせる”などの介助動作も対象となる。また、複数人による行動である”会話”等も考えられる。
これらの行動の内、多くの行動はその前に強く関係がある。例えば“就寝”という行動はベッドに歩いて近づき、横たわった後に発生することが考えられるが、歩行中突然就寝状態になる事は考えにくい。このことは、前の行動は現在の行動を決定する上で非常に重要な情報であることを示している。そのため、行動認識において過去の情報を使うことは精度の向上のために非常に重要である。
従来は、過去１０フレーム分の特徴量を認識に用いる、という様に、固定時間分の情報を認識に用いる場合が多かったが、人によって行動の速度は異なり、また同一人物でも繰り返しバラつきがあり、固定時間を設定するのは難しかった。本発明は、そうした問題に対応するための提案である。
【００１５】
図１に本実施形態の行動認識（学習）装置が含まれるシステム概念図を示す。コンピューターを以下の各部として機能させるための行動認識（学習）プログラムをコンピューターにインストールすることで本行動認識（学習）装置が構成される。本実施形態において、対象は人間であり、「対象の行動が時系列に記録されたデータ」は動画像データである。前処理部１１に動画像データ１２が入力される。学習時は前処理部１１に訓練データである動画像データ１２が入力される。人間が観察するなどして得られた正解行動を与える教師あり学習などを行う。
この動画像データ１２の各フレームから行動の特徴量１３を抽出して特徴量の時系列データ（以下「特徴量列」）１４を生成する。特徴量列１４が認識部１５に入力される。
行動認識（学習）装置は、特徴量列１４を入力とし、入力された特徴量列１４に基づき対象の行動（認識結果１６）とその尤度１７を出力する認識部１５と、尤度１７や特徴量などに基づき異なる行動に切り替わる行動の境界点を判定する行動境界判定部１８により構成される。
【００１６】
認識部１５は、特報量列１４を時系列に追って各時点の行動を認識する。いま、認識対象としている時点を現認識時点とする。認識部１５は、現認識時点に相当する動画像データに写っている行動とその尤度を求めることとなる。本実施形態では、フレーム単位で行動とその尤度を出力する。
特徴量はもっとも簡単には動画像の各フレームの画像そのものを用いる場合が考えられる。それ以外の特徴量としては、画像から抜き出したオプティカルフローや人物位置・姿勢、また時間情報などを用いる場合も考えられる。本実施形態では、１例として人物姿勢（関節点座標）を用いることとする。
【００１７】
従来の手法としては、通常、特徴量は現認識時点のフレームを起点として過去１０フレーム分の特徴量をまとめて与えるなど、固定長の値を与えるか、過去の情報から切れ目なく全フレーム与える様な形が多かったが、本発明の手法では同じ行動が連続したフレームは常に同じ行動をしている＝１行動として、学習・認識対象のフレームの行動を起点とした所定の行動数Ｎ分のフレームの特徴量を与える形とする。行動数Ｎには、現認識時点の行動も含まれるので、遡る過去の行動数としては（Ｎ−１）である。
【００１８】
行動数のカウント方法を、上述した”座る” ”歩行” ”食事”を例にして説明する。”歩行”を区別しない同一行動とする場合は、”歩行”が数フレームに亘って連続しても、１行動としてカウントする。また、”食事”を区別しない同一行動とする場合は、”食事” が数フレームに亘って連続しても、１行動としてカウントする。しかし、”食事”を例えば”手に持った食器から食物を取り上げて口に運ぶ行動（行動Ａ）”と ”テーブル上の食器から食物を取り上げて口に運ぶ行動（行動Ｂ）”とに細分化して行動ラベルを定義する場合には、行動Ａの連続は１行動としてカウントし、行動Ｂの連続は１行動としてカウントする一方で、これら２つの行動が、例えば行動Ａ、行動Ｂと連続すれば、２行動とカウントする。”歩行”及び ”座る”のそれぞれを区別しない同一行動とする場合は、”歩行” ”座る” ”歩行”と連続すれば３行動とカウントする。
【００１９】
図２は、認識部が行動認識のために用いる長さの特徴量列を示した概念図であり、図２Ａは全フレームとする場合の比較例を示し、図２ＢはＮ＝３とする場合の本発明例を示す。図中の数字は各行動ラベルを示し、数値を囲む矩形はその行動が連続する長さを示す。
図３は、認識部が行動認識のために用いる長さの特徴量列を枠で示した概念図であり、図３Ａは枠３０１の長さを一定のフレーム数で固定とした比較例を示し、図３ＢはＮ＝３とする場合の本発明例におけるフレーム数可変の枠３０２，３０３を示す。
認識部１５は、行動境界判定部１８が出力した境界点１９を基準に、所定の行動数前に遡った時点（図２Ｂ，図３Ｂの例で２つ遡る）から現認識時点までの時系列に並ぶ複数の行動に相当する特徴量列２０に基づき、現認識時点の行動を認識する。
【００２０】
図３Ａの比較例の場合のように認識部が行動認識に用いる特徴量列が時間（フレーム数）で固定長の場合、人によって行動の速度は異なるため、人によって固定長の範囲内に行動を特定するのに有効な前行動情報が含まれない場合が考えられるが、図３Ｂの本発明例のように行動数を基準にし、認識部１５が行動認識に用いる特徴量列のフレーム数を可変にすることで、現認識時点の行動につながる過去の行動の情報を十分に得ることが可能となる。
【００２１】
現認識時点の行動は過去の行動と強く関連付けられているといっても時間的に離れた情報は相対的に関係性が薄いと考えられ、図２Ａの比較例のように全フレームを使った場合多くのノイズが含まれてしまい、ノイズ比の大きい過大なデータ量による負荷、認識精度の低下が懸念される。見るべき行動数をある程度限定することで、現認識時点の行動を推定するのに重要な情報のみを選択的に扱うことが可能になり、行動認識の高精度化及び効率化を図ることができる。
【００２２】
図２Ｂ，図３Ｂのように、Ｎ＝３として、３行動分の特徴量列が得られるのは、時系列に並ぶ所定の行動数（図２Ｂ，図３Ｂの例で２つ）の認識が終わった後である。
動画の最初のフレームが入力されている時など行動数Ｎに入力フレーム数が満たない時のために、認識部１５は、時系列に並ぶ所定の行動数（図２Ｂ，図３Ｂの例で２つ）の認識が終わる前は、現認識時点までの全ての特徴量列に基づき、現認識時点の行動を認識する。
【００２３】
本発明においてどの様に特徴量を用いて行動を認識するかは、機械学習手法の一種である、図４に概要図を示すRecurrent Neural Network(以下RNN)に図５に概要図を示すLong-Short Term Memory （以下LSTM）を組み合わせた思想に基づく。RNNはDeep Learningで用いられるニューラルネットワークベースの１手法であり、過去の入力による行動認識の結果を内部状態として保持することが可能であり、そのため前後の入力で関連がある言語音声分野や動画像解析で多く使われている手法である。ただしRNNではニューラルネットワークにおける勾配消失問題から直近の情報しか保持できないため、LSTMを組み合わせる形を採用する。LSTMは過去の情報をより長期間保持することが可能な技術であり、両者を組み合わせることで長期間の過去のデータを現在の入力の学習・認識に生かすことが可能となる。（RNNの詳細は非特許文献２を、LSTMの詳細は非特許文献３を参照。）
また、RNN+LSTMは内部状態をフラグによりリセットすることが可能である。リセットしない場合、それまでの全フレームの情報が内部的に保持される形となるが、リセットすると内部状態は初期化されるため、過去の入力はないものと扱われる。そのため、本実施形態では、行動境界判定部１８の判定に基づき、この内部状態をリセットし再度特徴量を入力する処理が学習認識に用いる行動をリセットする処理として用いられる。
機械学習手法を用いているため、認識部１５は認識の前に学習を行う必要がある。学習は正解行動が既知の動画像データを入力として、各行動を区別するために有効な特徴量が何かを学習していく。認識時は学習によって作られた処理に基づいて認識を行う。
【００２４】
行動数に応じた入力について、学習時は行動の境界が既知であるため行動数に応じてリセットを行えばよいが、認識時は事前に行動が未知であり同様のことができないため、行動境界判定部１８が必要となる。
なお、認識に用いる手法はLSTMに限定されない。
【００２５】
認識部１５は認識結果１６として、対象の各行動の尤度を出力する。たとえば１０種の行動を認識する場合、１０個の行動それぞれについて、尤度が算出され、最も尤度が高い行動を認識結果１６として出力する。
一方、行動境界判定部１８は、認識中の行動の切れ目となる境界点を判定し、認識部１５へ入力する。一般的には認識結果１６が異なる行動に変わった場合（１位の入れ替わりがあった場合）、そこを境界点とすれば良いと考えられるが、その場合、認識結果１６が異なる行動に変わった後に初めて境界点の判定が行われるため判定が遅れてしまう。特に行動間の境界がわかりにくい場合、判定の遅れはより大きくなることが予想される。これらの事象を押さえる手として、行動認識の各行動の尤度情報を用いる方法が考えられる。
【００２６】
ひとつには、行動の認識結果の最大尤度とそれ以外の尤度との差が所定の値よりも小さい場合に行動終了と判定する方法が考えられる。最大尤度と他の尤度の差が縮んだり最大尤度が低下したりしているということは行動の移り変わりが発生している可能性が高いため、こうした判定は有効である。
例えば、行動境界判定部１８は、図６に示すように尤度が高い順位が１位と２位の差６０１が所定の閾値以下となった時点を境界点と判定する。すなわち、図６において、１−６フレームで行動０が１位であるが、１位が行動０から行動２に切り替わる７フレーム目やそれ以降で判定せず、６フレーム目の１位と２位の差６０１が所定の閾値以下となった時点で判定を下すことで早期に判定する。これにより、７フレーム目では、認識部１５は行動認識に用いる特徴量列を新たな境界点から遡った行動数の範囲に更新し、行動認識の精度を向上する。
【００２７】
また、行動の認識結果には、ある程度の誤判定やノイズが混じることが予想され、認識結果の１つの瞬間値に基づき境界判定を行った場合、図７に示すように連続行動中に１フレームだけ別の行動が誤認識されただけで観測された行動数が１から３に大きく変化してしまう。すなわち、図７において、１−１０フレームの行動０と、１２−３０フレームの行動０との間に１１フレーム目で行動１が１位になっただけで、３行動がカウントされてしまう。この場合、１１フレーム目の行動１はノイズとしてカットし、行動０が続いていると判定すべきである。
こうした場合に対応するため、行動境界判定部１８は、現認識時点のフレームを起点に所定の範囲の各行動尤度値の平均や中央値などの統計量に基づき、この平均や中央値などの統計量が入れ替わった段階で行動が切り替わったと判定する方法が考えられる。また、最大尤度を示す行動が変化した後所定の時間（フレーム数）内で最大尤度を示す行動が変化しなかった場合行動終了と判定する方法も考えられる。この場合は統計量として「最頻値」を用いれば実施できる。
【００２８】
また、尤度を使わない場合も考えられる。例えば寝るという行為は一般にベッド上で行われる。そのため、ベッドから離れた瞬間のように、位置情報に基づき異なる行動に切り替わる行動の境界点を判定する。例えば、浴室になどの特定の範囲に入った/出たという位置情報に基づき異なる行動に切り替わる行動の境界点を判定する。
この位置情報は、図１に示した動画像データ１２を解析して得られる対象の位置情報としてもよいし、別途、位置検出部２１から入力されるものとしてもよい。位置検出部２１は、動画像データ１２に基づくものではなく、対象の位置を検出するセンシングシステムと連携するものである。これにより、入浴などの行動を行う場所が限定されている場合に認識精度を向上することができる。
【００２９】
尤度を使わない別の例としては、所定のフレーム数以上同じ行動が続いた場合に境界点があったと判定する方法も考えられる。これは、あまりに長い期間同じ行動が続いている場合、その前の行動と次の行動の関連性は弱まっていると考えられるためである。
図８に、認識部１５が行動認識のために用いる長さの特徴量列を枠８０１、８０３で示し、現認識時点を指針８０２，８０４で示す。
図８Ａに示す現認識時点８０２で行動境界判定部１８が行動の境界を判定した場合、次の行動の認識（図８Ｂに示す現認識時点８０４における認識）では、認識部１５は図８Ｂに示す枠８０３のように認識に用いる過去の行動を１行動分ずらして認識を行う。
【００３０】
以上のように本発明の行動認識装置は、対象の行動が時系列に記録されたデータから抽出された前記対象の行動の特徴量の時系列データに基づき当該行動を認識する認識部を有する行動認識装置において、前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。
【００３１】
前記行動認識装置において好ましくは、前記認識部は、時系列に並ぶ前記所定の行動数の認識が終わる前は、現認識時点までの全ての前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。
【００３２】
また前記行動認識装置において好ましくは、異なる行動に切り替わる行動の境界点を判定する行動境界判定部を有し、前記認識部は、前記行動境界判定部が出力した境界点を基準に、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。
【００３３】
また前記行動認識装置において好ましくは、前記行動境界判定部は、前記認識部が出力する行動の尤度情報に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする。
【００３４】
また前記行動認識装置において好ましくは、前記行動境界判定部は、尤度が高い順位が１位と２位の差が所定の閾値以下となった時点を前記境界点と判定することを特徴とする。
【００３５】
また前記行動認識装置において好ましくは、前記行動境界判定部は、所定長さの時間内に前記認識部から複数回出力される尤度情報の統計量に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする。
【００３６】
また前記行動認識装置において好ましくは、前記行動境界判定部は、前記対象の位置情報に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする。
【００３７】
また本発明の行動学習装置は、対象の行動が時系列に記録された訓練データから抽出された対象の行動の特徴量の時系列データに基づき当該行動を認識するとともに学習する認識部を有する行動学習装置において、前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。
【００３８】
また本発明の行動認識プログラムは、対象の行動が時系列に記録されたデータから抽出された前記対象の行動の特徴量の時系列データに基づき当該行動を認識する認識部としてコンピューターを機能させるための行動認識プログラムにおいて、前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。
【００３９】
前記行動認識プログラムにおいて好ましくは、前記認識部は、時系列に並ぶ前記所定の行動数の認識が終わる前は、現認識時点までの全ての前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。
【００４０】
また前記行動認識プログラムにおいて好ましくは、異なる行動に切り替わる行動の境界点を判定する行動境界判定部として前記コンピューターを機能させ、前記認識部は、前記行動境界判定部が出力した境界点を基準に、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。
【００４１】
また前記行動認識プログラムにおいて好ましくは、前記行動境界判定部は、前記認識部が出力する行動の尤度情報に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする。
【００４２】
また前記行動認識プログラムにおいて好ましくは、前記行動境界判定部は、尤度が高い順位が１位と２位の差が所定の閾値以下となった時点を前記境界点と判定することを特徴とする。
【００４３】
また前記行動認識プログラムにおいて好ましくは、前記行動境界判定部は、所定長さの時間内に前記認識部から複数回出力される尤度情報の統計量に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする。
【００４４】
また前記行動認識プログラムにおいて好ましくは、前記行動境界判定部は、前記対象の位置情報に基づき、異なる行動に切り替わる行動の境界点を判定することを特徴とする。
【００４５】
また本発明の行動学習プログラムは、対象の行動が時系列に記録された訓練データから抽出された対象の行動の特徴量の時系列データに基づき当該行動を認識するとともに学習する認識部としてコンピューターを機能させるための行動学習プログラムにおいて、前記認識部は、前記特徴量の時系列データを時系列に追って各時点の行動を認識し、区別しない同一行動の連続は１行動として、時系列に並ぶ所定の行動数の認識が終わった後は、前記所定の行動数前に遡った時点から現認識時点までの時系列に並ぶ複数の行動に相当する前記特徴量の時系列データに基づき、現認識時点の行動を認識することを特徴とする。
【産業上の利用可能性】
【００４６】
本発明は、コンピューター等による人等の対象の行動認識に利用することができる。
【符号の説明】
【００４７】
１１ 前処理部
１２ 動画像データ
１３ 特徴量
１４ 特徴量列
１５ 認識部
１６ 認識結果
１７ 尤度
１８ 行動境界判定部
１９ 境界点
２０ 特徴量列
２１ 位置検出部
【図１】
2017150211.tif 000003
【図２Ａ】
2017150211.tif 000004
【図２Ｂ】
2017150211.tif 000005
【図３Ａ】
2017150211.tif 000006
【図３Ｂ】
2017150211.tif 000007
【図４】
2017150211.tif 000008
【図５】
2017150211.tif 000009
【図６】
2017150211.tif 000010
【図７】
2017150211.tif 000011
【図８Ａ】
2017150211.tif 000012
【図８Ｂ】
2017150211.tif 000013
【国際調査報告】
2017150211.tif 000014
2017150211.tif 000015
2017150211.tif 000016