(57)【要約】  行動認識装置は、ユーザの手の動きを示す手の動きデータを出力する手動作観測部（１０１）と、手の動きデータから、ユーザの手の動きが所定の行動パターンを取った時刻を検出する速度変化検出部（１０２）と、速度変化検出部（１０２）によって検出された時刻において、出力される手の動きデータを選択する特徴選択部（１０３）と、ユーザの行動ごとに、手の動きデータの系列で表現した動作パターンデータ系列を記憶している行動標準パターン記憶部（１０４）と、行動標準パターン記憶部（１０４）に記憶されている動作パターンデータ系列ごとに、当該動作パターンデータ系列と特徴選択部（１０３）で選択された手の動きデータとにより求められる類似度が最も大きい動作パターンデータ系列により表現される行動を、ユーザの行動として認識する行動認識部（１０５）とを備える。
2010137325.tif 000002
【特許請求の範囲】
【請求項１】
手の動きに基づいて、ユーザの行動を認識する行動認識装置であって、
ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する手動作観測部と、
前記手動作観測部から出力される前記手の動きデータから、前記ユーザの手の動きが所定の行動パターンを取った時刻を検出する速度変化検出部と、
前記速度変化検出部によって検出された時刻において、前記手動作観測部から出力される前記手の動きデータを選択する特徴選択部と、
ユーザの行動ごとに、手の動きデータの系列で表現した動作パターンデータ系列を記憶している行動標準パターン記憶部と、
前記行動標準パターン記憶部に記憶されている前記動作パターンデータ系列ごとに、当該動作パターンデータ系列と、前記特徴選択部で選択された前記手の動きデータと、により求められる類似度が最も大きい動作パターンデータ系列により表現される行動を、前記ユーザの行動として認識する行動認識部と
を備える行動認識装置。
【請求項２】
前記行動認識装置は、さらに、
前記手動作観測部から出力される前記手の動きデータから、前記ユーザの体に対する腕姿勢を推定する腕姿勢推定部を備え、
前記特徴選択部は、前記腕姿勢が所定の腕姿勢を示す場合において、前記速度変化検出部によって前記ユーザの手の動きが所定の行動パターンを取った時刻が検出された場合には、検出された前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記手の動きデータを選択する
請求項１記載の行動認識装置。
【請求項３】
前記行動認識装置は、さらに、
前記ユーザの体姿勢を推定する体姿勢推定部を備え、
前記特徴選択部は、前記腕姿勢が所定の腕姿勢を示し、かつ前記体姿勢が所定の体姿勢を示す場合において、前記速度変化検出部によって前記ユーザの手の動きが所定の行動パターンを取った時刻が検出された場合には、検出された前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記手の動きデータを選択する
請求項２記載の行動認識装置。
【請求項４】
前記行動標準パターン記憶部は、ユーザの行動ごとに、当該行動を手の動きデータの系列で表現した動作パターンデータ系列および前記手の速度変化が起きる時刻における腕姿勢の組を記憶しており、
前記行動認識部は、前記組ごとに、当該組と、前記特徴選択部で選択された前記手の動きデータおよび前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記腕姿勢推定部で推定された前記腕姿勢と、により求められる類似度が最も大きい組により表現される行動を、前記ユーザの行動として認識する
請求項２記載の行動認識装置。
【請求項５】
前記行動認識装置は、さらに、
前記ユーザの手が物を握る時の把持状態を推定する把持検出部を備え、
前記特徴選択部は、前記把持状態が所定の把持状態を示す場合において、前記速度変化検出部によって前記ユーザの手の動きが前記所定の行動パターンを取った時刻が検出された場合には、検出された前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記手の動きデータを選択する
請求項１記載の行動認識装置。
【請求項６】
前記行動標準パターン記憶部は、ユーザの行動ごとに、当該行動を手の動きデータの系列で表現した動作パターンデータ系列および前記ユーザの手の動きが前記所定の行動パターンを取った時刻における把持状態の組を記憶しており、
前記行動認識部は、前記組ごとに、当該組と、前記特徴選択部で選択された前記手の動きデータおよび前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記把持検出部で検出された前記把持状態と、により求められる類似度が最も大きい組により表現される行動を、前記ユーザの行動として認識する
請求項５記載の行動認識装置。
【請求項７】
前記行動認識装置は、さらに、
前記ユーザの手が物を握る時の把持状態を推定する把持検出部を備え、
前記特徴選択部は、前記腕姿勢が所定の腕姿勢を示し、かつ前記把持状態が所定の把持状態を示す場合において、前記速度変化検出部によって前記ユーザの手の動きが前記所定の行動パターンを取った時刻が検出された場合には、検出された前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記手の動きデータを選択する
請求項２記載の行動認識装置。
【請求項８】
前記行動標準パターン記憶部は、ユーザの行動ごとに、当該行動を手の動きデータの系列で表現した動作パターンデータ系列、前記ユーザの手の動きが前記所定の行動パターンを取った時刻における腕姿勢および前記ユーザの手の動きが前記所定の行動パターンを取った時刻における把持状態の組を記憶しており、
前記行動認識部は、前記組ごとに、当該組と、前記特徴選択部で選択された前記手の動きデータ、前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記腕姿勢推定部で推定された前記腕姿勢および前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記把持検出部で検出された前記把持状態と、により求められる類似度が最も大きい組により表現される行動を、前記ユーザの行動として認識する
請求項４記載の行動認識装置。
【請求項９】
前記速度変化検出部は、前記手の動きデータに基づいて、手の速度が所定の閾値以下となる時刻を、前記ユーザの手の動きが前記所定の行動パターンを取った時刻として検出する
請求項１〜８のいずれか１項に記載の行動認識装置。
【請求項１０】
前記速度変化検出部は、前記手の動きデータに基づいて、ある検出時刻における手の速度ベクトルと次の検出時刻における手の速度ベクトルとの間のコサイン距離が所定の閾値未満となる前記ある検出時刻を、前記ユーザの手の動きが前記所定の行動パターンを取った時刻として検出する
請求項１〜８のいずれか１項に記載の行動認識装置。
【請求項１１】
前記速度変化検出部は、前記手の動きデータに基づいて、ある検出時刻における手の速度ベクトルと次の検出時刻における手の速度ベクトルとの間の速度勾配差が所定の閾値以上となる前記ある検出時刻を、前記ユーザの手の動きが前記所定の行動パターンを取った時刻として検出する
請求項１〜８のいずれか１項に記載の行動認識装置。
【請求項１２】
手の動きに基づいて、ユーザの行動を認識する行動認識方法であって、
ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する手動作観測ステップと、
前記手動作観測ステップにおいて出力される前記手の動きデータから、前記ユーザの手の動きが所定の行動パターンを取った時刻を検出する速度変化検出ステップと、
前記速度変化検出ステップにおいて検出された時刻において、前記手動作観測ステップにおいて出力される前記手の動きデータを選択する特徴選択ステップと、
ユーザの行動ごとに、手の動きデータの系列で表現した動作パターンデータ系列を記憶している行動標準パターン記憶部に記憶されている前記動作パターンデータ系列ごとに、当該動作パターンデータ系列と前記特徴選択ステップにおいて選択された前記手の動きデータと、により求められる類似度が最も大きい動作パターンデータ系列により表現される行動を、前記ユーザの行動として認識する行動認識ステップと
を含む行動認識方法。
【請求項１３】
手の動きに基づいて、ユーザの行動を認識するプログラムであって、
ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する手動作観測ステップと、
前記手動作観測ステップにおいて出力される前記手の動きデータから、前記ユーザの手の動きが所定の行動パターンを取った時刻を検出する速度変化検出ステップと、
前記速度変化検出ステップにおいて検出された時刻において、前記手動作観測ステップにおいて出力される前記手の動きデータを選択する特徴選択ステップと、
ユーザの行動ごとに、手の動きデータの系列で表現した動作パターンデータ系列を記憶している行動標準パターン記憶部に記憶されている前記動作パターンデータ系列ごとに、当該動作パターンデータ系列と前記特徴選択ステップにおいて選択された前記手の動きデータと、により求められる類似度が最も大きい動作パターンデータ系列により表現される行動を、前記ユーザの行動として認識する行動認識ステップと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手の動きに基づいてユーザの行動を認識する行動認識装置に関する。
【背景技術】
【０００２】
従来、ユーザの行動を認識することができる装置として、環境に設置された複数の加速度センサからの情報に基づいてユーザの動きを認識することができる動き認識システムが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８７５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のユーザの動きを認識する装置では、所定の時間幅毎にデータを切り出して、切り出したデータを動きの認識に用いている。このため、環境差を考慮した認識を行なわなければならない。例えば、物を使う行動の場合、物を置いている場所などの環境によって物を取りに行くまでの手の軌跡が異なる。しかし、一律に所定の時間幅ごとにデータを切り出すと、手の軌跡にあたるデータも切り出されて動きの認識に用いられてしまう。このため、互いに異なる全ての手の軌跡を考慮して動きの認識を行なわなければならず、環境差を考慮した動き認識のための標準パターンを作成するためには、手の全ての軌跡を収集する必要がある。【０００５】
そこで、本発明は上記の事情に鑑みてなされたものであり、ユーザの手の動きデータから、環境差を考慮せずに、ユーザの行動を認識することができる行動認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の目的を達成するために、本発明のある局面に係る行動認識装置は、手の動きに基づいて、ユーザの行動を認識する行動認識装置であって、ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する手動作観測部と、前記手動作観測部から出力される前記手の動きデータから、前記ユーザの手の動きが所定の行動パターンを取った時刻を検出する速度変化検出部と、前記速度変化検出部によって検出された時刻において、前記手動作観測部から出力される前記手の動きデータを選択する特徴選択部と、ユーザの行動ごとに、手の動きデータの系列で表現した動作パターンデータ系列を記憶している行動標準パターン記憶部と、前記行動標準パターン記憶部に記憶されている前記動作パターンデータ系列ごとに、当該動作パターンデータ系列と前記特徴選択部で選択された前記手の動きデータと、により求められる類似度が最も大きい動作パターンデータ系列により表現される行動を、前記ユーザの行動として認識する行動認識部とを備える。【０００７】
この構成によると、同じ行動種類においても行動毎に一回一回の動作軌跡に違いが生じる場合であっても、その動作軌跡の違いを考慮せずに、ユーザが意図して手を動かした動作、つまり、行動を特徴付ける手の動きのみを抽出して認識対象とすることができる。これにより、ユーザの手の動きデータから、環境差を考慮せずに、ユーザの行動を認識することができる。【０００８】
なお、本発明は、このような特徴的な処理部を備える行動認識装置として実現することができるだけでなく、行動認識装置に含まれる特徴的な処理部をステップとする行動認識方法として実現することができる。また、行動認識方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体や、インターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【０００９】
本発明によると、ユーザの手の動きデータから、環境差を考慮せずに、ユーザの行動を認識することができる行動認識装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態１における行動認識装置の構成を示すブロック図である。
【図２】図２は、実施の形態１の行動認識装置に用いられる行動標準パターン記憶部に記憶されるデータの一例を示す図である。
【図３】図３は、実施の形態１における行動認識装置の動作を示すフローチャートである。
【図４】図４は、実施の形態１における行動の一例を示す図である。
【図５】図５は、実施の形態１における手の速度変化の一例を示す図である。
【図６】図６は、実施の形態１における手の加速度と速度変化の一例を示す図である。
【図７Ａ】図７Ａは、実施の形態１における速度変化に基づく速度データの選択方法を説明するための図である。
【図７Ｂ】図７Ｂは、コサイン距離について説明するための図である。
【図８】図８は、実施の形態２における行動認識装置の構成を示すブロック図である。
【図９】図９は、実施の形態２の行動認識装置に用いられる行動標準パターン記憶部に記憶されるデータの一例を示す図である。
【図１０】図１０は、実施の形態２における行動とユーザに対する空間の位置関係の一例を示す図である。
【図１１】図１１は、実施の形態２における行動認識装置の動作を示すフローチャートである。
【図１２】図１２は、実施の形態３における行動認識装置の構成を示すブロック図である。
【図１３】図１３は、実施の形態３の行動認識装置に用いられる行動標準パターン記憶部に記憶されるデータの一例を示す図である。
【図１４】図１４は、実施の形態３における行動認識装置の動作を示すフローチャートである。
【図１５】図１５は、実施の形態４における行動認識装置の構成図である。
【図１６】図１６は、実施の形態４の行動認識装置に用いられる行動標準パターン記憶部に記憶されるデータの一例を示す図である。
【図１７】図１７は、実施の形態４における行動認識装置の動作を示すフローチャートである。
【図１８】図１８は、実施の形態５における行動認識装置の構成図である。
【図１９】図１９は、実施の形態５の行動認識装置に用いられる行動標準パターン記憶部に記憶されるデータの一例を示す図である。
【図２０】図２０は、実施の形態５における行動認識装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
（実施の形態１）
以下、本発明の実施の形態１に係る行動認識装置について図面を参照しながら説明する。
【００１２】
図１は、本発明の実施の形態１に係る行動認識装置の構成を示すブロック図である。
【００１３】
行動認識装置は、手の動きに基づいて、ユーザの行動を認識する行動認識装置である。行動認識装置は、手動作観測部１０１と、速度変化検出部１０２と、特徴選択部１０３と、行動標準パターン記憶部１０４と、行動認識部１０５とを含む。
【００１４】
手動作観測部１０１は、ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する。例えば、手動作観測部１０１は、加速度センサおよび角速度センサ等の手の動きをセンシングする入力装置で構成される。この入力装置によって、手動作観測部１０１は、手の３軸（ＸＹＺ方向）の加速度データ、角速度データおよび速度データなどの手の動きデータを出力する。例えば、手動作観測部１０１は手首に取り付けられる。
【００１５】
速度変化検出部１０２は、手動作観測部１０１から出力される手の動きデータから、ユーザの手の動きが所定の行動パターンを取った時刻を検出する。なお、以下の説明では、ユーザの手の動きが所定の行動パターンを取った時刻として、手の速度変化が起こった時刻を検出する。
【００１６】
特徴選択部１０３は、速度変化検出部１０２で検出される手の速度変化が起こった時刻において、手動作観測部１０１から出力される手の動きデータを選択する。
【００１７】
行動標準パターン記憶部１０４は、ユーザの行動ごとに、当該行動を手の速度変化が起きる時刻における手の動きデータの系列で表現した動作パターンデータ系列を記憶している。図２は、行動標準パターン記憶部１０４に記憶されるデータの一例を示す図である。図２に示すように、行動標準パターン記憶部１０４には、ユーザの行動ごとに、動作パターンデータ系列ＩＤと、行動ラベルと、動作パターンデータ系列とが記憶されている。動作パターンデータ系列ＩＤは、動作パターンデータ系列の識別子である。行動ラベルは、当該行動を示すデータである。動作パターンデータ系列の一例として、ここでは、手の速度変化が起きる時刻における手の加速度データの系列を示している。ただし、動作パターンデータ系列はこれに限定されるものではない。例えば、手の速度データの系列であってもよいし、ＨＭＭ（隠れマルコフモデル）を用いて行動の認識を行なう場合には、ＨＭＭパラメータの系列であっても良い。（動作パターンデータ系列ＩＤ、行動ラベル）として、（（１、飲料を飲む）、（２、食べ物を食べる）、（３、歯を磨く）、…）が記憶されている。また、行動ラベル「飲料を飲む」に対応する動作パターンデータ系列ＩＤ「１」の動作パターンデータ系列は、環境差が少ない手の速度変化が大きい時刻における手の動きのデータを時系列に学習したものである。環境差が少ない手の速度変化が大きい時刻における手の動きのデータ列は、一例として、手の動き「コップを掴む」、「口にコップをつける」、「コップを傾け飲料を喉に流し込む」、「コップを置く」というものが考えられる。また、環境差が少ない手の速度変化が大きい時刻とは、動いていた手が止まった時刻、ある一定以下の角度で向きを変えて動いた時刻等が考えられる。
【００１８】
行動認識部１０５は、行動標準パターン記憶部１０４に記憶されている動作パターンデータ系列ごとに、当該動作パターンデータ系列と特徴選択部１０３で選択された手の動きデータとの間の類似度を求める。また、行動認識部１０５は、最も類似度が大きい動作パターンデータ系列に対応する行動ラベルを出力する。つまり、行動認識部１０５は、ユーザの行動を認識する。
【００１９】
このように構成された本実施の形態に係る行動認識装置の動作例について、図１のブロック図と図３のフローチャートとを用いて説明する。
【００２０】
手動作観測部１０１は、ユーザの手の動きをセンシングし、手の動きデータ（手の加速度データ、角速度データ、速度データ）を出力する（ステップＳ１０１）。具体的な一例として、ユーザは、テーブルに置いてある水の入っているコップを取って飲むという行動を行う。手動作観測部１０１は、この飲料を飲む行動における手の動きデータ（手の加速度データ、角速度データ、速度データ）を出力する。このときのイメージ図を図４に示す。図４において、「コップを掴む」箇所における手の動きと「口にコップをつける」箇所における手の動きとは、コップの位置に関係なく同じである。しかし、テーブルから口までコップを移動する際の手の軌跡がテーブルに置いたコップの位置によって異なることを表現している。
【００２１】
速度変化検出部１０２は、手動作観測部１０１から出力される手の動きデータから手の速度変化が起こる時刻、一例として手の速度が特定の閾値以下になる時刻を検出する（ステップＳ１０２）。上記の例では、手が動いてコップを掴みに行った後の、コップを掴む時刻における手の速度が特定の閾値以下になる。このため、速度変化検出部１０２は、その時刻を検出する。このときのイメージ図を図５に示す。図５では、さらに、コップを傾け、水を喉に流し込み、コップの傾けを戻した時刻における手の速度が特定の閾値以下になる。
【００２２】
特徴選択部１０３は、速度変化検出部１０２で検出される手の速度変化が起こる時刻における手の動きデータを、手動作観測部１０１から出力される手の動きデータから選択する（ステップＳ１０３）。上記の例では、特徴選択部１０３は、手がコップを掴んだ時刻を中心に前後特定の時間の手の動きデータを選択する。このときのイメージ図を図６に示す。例えば、特徴選択部１０３は、手がコップを掴んだ時刻を中心に前後特定の時間の手の加速度データを手の動きデータとして選択する。ステップＳ１０３では、複数の手の動きデータが選択される。つまり、図６の例では、テーブルの上のコップを掴んだ時刻における動きデータのほかに、例えば、コップを口につける時刻における動きデータ、およびコップを傾け飲料を喉に流し込む時刻における動きデータなどが選択される。より具体的には、図６に示される速度データにおいて、閾値以下の速度データが特徴選択部１０３で選択される。
【００２３】
また、速度変化が急な速度データを選択することも考えられる。速度変化が急かどうかは、図７Ａに示すように、時刻ｔ−１での速度ベクトル７０１と時刻ｔでの速度ベクトル７０２とのコサイン距離と、所定の閾値とを比較することにより、判断することができる。つまり、コサイン距離が所定の閾値よりも小さい場合には速度変化が急であると判断することができ、コサイン距離が所定の閾値以上の場合には速度変化が急ではないと判断することができる。ここで、コサイン距離とは、図７Ｂに示すように、２つの速度ベクトル７０１及び７０２がなす角度をθとした場合の、ｃｏｓθの値である。つまり、２つの速度ベクトル７０１及び７０２が同一の向きを有する場合には、θ＝０°となり、コサイン距離の値は最大値１となる。また、２つの速度ベクトル７０１及び７０２が互いに逆の向きを有する場合には、θ＝１８０°となり、コサイン距離の値は最小値−１となる。図６に示す速度データで考えると、「テーブル上のコップをつかんだ」ときの時刻と、「コップを傾けた」ときの時刻とが、速度変化検出部１０２により検出される。また、「テーブル上のコップをつかんだ」ときの極値近辺の速度データと、「コップを傾けた」ときの極値近辺の速度データとが、特徴選択部１０３により選択される。なお、上記所定の閾値として、手の動きに基づいて統計的に算出された値（例えば、θ＝４５°のときのコサインの値）を用いることが考えられる。例えば、「テーブル上のコップを掴んだ」ときの速度の極値近辺の２点の速度ベクトルがなす角度をサンプルし、既知の統計処理を用いて上記所定の閾値を算出することができる。
【００２４】
なお、速度変化が急かどうかは、速度ベクトル７０１と速度ベクトル７０２との速度勾配差と、所定の閾値とを比較することにより判断しても良い。つまり、速度勾配差が所定の閾値以上の場合には速度変化が急であると判断することができ、速度勾配差が所定の閾値未満の場合には速度変化が急ではないと判断することができる。ここで、速度ベクトル７０１と速度ベクトル７０２との速度勾配差とは、速度ベクトル７０１と速度ベクトル７０２とのなす角度である。つまり、２つの速度ベクトル７０１及び７０２が同一の向きを有する場合には、速度勾配差θは０°となる。また、２つの速度ベクトル７０１及び７０２が互いに逆の向きを有する場合には、速度勾配差θは１８０°となる。速度勾配差が所定の閾値以上となるときの時刻が速度変化検出部１０２により検出される。なお、上記所定の閾値は、コサイン距離の所定の閾値を求めるのに用いたのと同じ手法により求められ、例えば、所定の閾値θが４５°として決定される。
【００２５】
行動認識部１０５は、行動標準パターン記憶部１０４に記憶されている動作パターンデータ系列ＩＤごとに、当該動作パターンデータ系列と特徴選択部１０３で選択された複数の動きデータとの間の類似度を求める（ステップＳ１０４）。類似度の算出は、公知の技術を用いて行なうものとし、その詳細な説明は省略する。
【００２６】
行動認識部１０５は、求めた類似度と特定の閾値とを比較する（ステップＳ１０５）。類似度が特定の閾値以上となっている場合には（ステップＳ１０５でＹｅｓ）、行動認識部１０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベルを出力する（ステップＳ１０６）。
【００２７】
上記の例では、行動認識部１０５は、行動標準パターン記憶部１０４に記憶されている複数の動作パターンデータ系列のそれぞれに対して、特徴選択部１０３で選択される手がコップを掴んだ時刻を中心に、前後特定の時間の手の動きデータを用いて動作パターンデータ系列との類似度を求める。ここで、行動標準パターン記憶部１０４に記憶されている複数の動作パターンデータ系列は、行動「飲料を飲む」に対応する動作パターンデータ系列、行動「食べ物を食べる」に対応する動作パターンデータ系列、行動「歯を磨く」に対応する動作パターンデータ系列のことである。類似度が特定の閾値未満の場合には（ステップＳ１０５でＮｏ）、行動認識部１０５は、さらに次の速度変化が起こる時刻を中心に前後特定の時間の手の動きデータを加えた手の動きデータを用いて動作パターンデータ系列との類似度を求める。次の速度変化が起こる時刻とは、例えば、「コップを口につける」時刻である。このように速度変化が起こる時刻に対応する手の動きデータを次々に加えた手の動きデータを用いて動作パターンデータ系列との類似度を求めることにより、類似度が徐々に大きくなっていく。より具体的には、例えば、次は「コップを傾け飲料を喉に流し込む」時刻、さらに次は「コップを置く」時刻というように次々に加えた手の動きデータを用いて類似度を求める。類似度が特定の閾値以上になった場合（ステップＳ１０５でＹｅｓ）、行動認識部１０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベル「飲料を飲む」を出力する。
【００２８】
以上説明したように、実施の形態１に係る行動認識装置によると、手の速度変化が起こった時刻における手の動きデータのみを、行動認識に用いる手の動きデータとして選択している。このため、環境の影響が少ない手の動きデータのみを用いて行動認識を行なうことができる。これにより、例えば、手が動く軌跡などの環境差を考える必要がなくなり、行動認識に用いるために収集する行動標準パターンのデータ数が少なくてすむ。また、環境差の違いを排除することができるため、精度よく行動を認識することができる。
【００２９】
（実施の形態２）
実施の形態１に係る行動認識装置では、手の動きデータから手の速度変化が起こった時刻を検出したり、手の動きデータを用いて動作パターン系列との類似度を算出したりした。これに対して、実施の形態２では、手の動きデータに加えて、ユーザの腕姿勢を示すデータを用いて、手の速度変化が起こった時刻を検出したり、類似度を算出したりする。
【００３０】
図８は、本発明の実施の形態２に係る行動認識装置の構成を示すブロック図である。図１に示した実施の形態１に係る行動認識装置と同一の構成要素については、同一の参照符号を付す。その機能および名称も同一であるため、その詳細な説明はここでは繰り返さない。
【００３１】
実施の形態２に係る行動認識装置は、手動作観測部２０１と、速度変化検出部１０２と、腕姿勢推定部２０２と、特徴選択部２０３と、行動標準パターン記憶部２０４と、行動認識部２０５とを備える。
【００３２】
手動作観測部２０１は、手動作観測部１０１と同様に、手の動きデータとして、手の加速度データ、角速度データおよび速度データを出力する。それに加え、手動作観測部２０１は、前腕・二の腕・肩の部分に加速度センサと角速度センサを装着されたセンサから出力される加速度と角速度もセンシングし、センシング結果を手の動きデータとして出力する。
【００３３】
腕姿勢推定部２０２は、手動作観測部２０１から出力される手の動きデータのうち、前腕、二の腕および肩の加速度・角速度から肘・肩の関節の角度を推定し、ユーザの体に対する腕姿勢を推定する。また、光学式のモーションキャプチャデバイスを用いることで、手首、肘および肩の関節の角度をセンシングするようにしてもよい。なお、本発明は、手首、肘および肩の関節の角度を取得できる方法であれば実現手段は問わない。
【００３４】
特徴選択部２０３は、速度変化検出部１０２において検出される速度変化を示すデータと、腕姿勢推定部２０２において推定される腕姿勢を示すデータとを用いて、行動認識に用いる手の動きデータを選択する。つまり、腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示す場合において、速度変化検出部１０２によって速度変化が起こった時刻が検出された場合には、特徴選択部２０３は、速度変化検出部１０２によって検出された速度変化が起こった時刻における手の動きデータを選択する。
【００３５】
行動標準パターン記憶部２０４は、ユーザの行動ごとに、当該行動を手の速度変化が起きる時刻における手の動きデータの系列で表現した動作パターンデータ系列、および手の速度変化が起きる時刻における腕姿勢の組を記憶している。図９に示すように、行動標準パターン記憶部２０４には、ユーザの行動ごとに、動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列と、腕姿勢とが記憶されている。動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列とは、図２に示した実施の形態１の行動標準パターン記憶部２０４に記憶されているものと同じである。腕姿勢は、行動を行なう際の腕姿勢を示しており、一例として、行動「飲料を飲む」の腕姿勢は、「手が胸の前」と「口の前」であることを示している。
【００３６】
行動認識部２０５は、行動標準パターン記憶部２０４に記憶されている動作パターンデータ系列および腕姿勢の組と、特徴選択部２０３で選択された手の動きデータおよび手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢と、の類似度を求める。また、行動認識部２０５は、最も類似度が大きい組に対応する行動ラベルを出力することにより、ユーザの行動を認識する。
【００３７】
本実施の形態の発明の概念を図１０を用いて説明する。ユーザが道具や物を効率良く使用する位置（例えば、力を入れやすい位置や、物を見やすい位置など）は特定されている。つまり、道具や物を使用する行動は、ユーザに対する空間と対応付けることができる。このため、ユーザの腕姿勢を用いると、ある程度ユーザが取っている行動を特定することができ、これを行動認識に利用する。一例として、ユーザに対する空間は、以下のように求めることができる。つまり、ユーザが特定の道具を複数回使用する際に、道具を使用する位置をセンシングし、センシングされる位置を平均して特定の閾値以上になる位置の集合をユーザに対する空間とすることで求めることができる。また、ユーザに対する空間を求める際に、センシングするユーザは同一人物ではなく、異なる人物であってもよい。
【００３８】
このように構成された本実施の形態に係る行動認識装置の動作例について説明する。図１１は、本実施の形態に係る行動認識装置の処理を示すフローチャートである。図３に示した実施の形態１に係る行動認識装置の処理と同一の処理については、同一のステップ番号を付す。
【００３９】
手動作観測部２０１は、ユーザの手の動きをセンシングし、手の動きデータ（手の加速度データ、角速度データ、速度データ、前腕、二の腕および肩の加速度・角速度）を出力する（ステップＳ１０１）。
【００４０】
腕姿勢推定部２０２は、手動作観測部２０１から出力される手の動きデータのうち、前腕、二の腕および肩の加速度・角速度から肘・肩の関節の角度を推定する。また、肘および肩などの関節の角度から、ユーザの体に対する腕姿勢を推定する（ステップＳ２０１）。例えば、一例として、ユーザが新聞を読んでいる場合には、腕姿勢推定部２０２で推定される手の位置は、体の前方の領域１００１となる。
【００４１】
速度変化検出部１０２は、手動作観測部１０１から出力される手の動きデータから手の速度変化が起こる時刻、一例として手の速度が特定の閾値以下になる時刻を検出する（ステップＳ１０２）。
【００４２】
腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示す場合において、速度変化検出部１０２によって速度変化が起こった時刻が検出された場合には、特徴選択部２０３は、速度変化検出部１０２によって検出された速度変化が起こった時刻における手の動きデータを選択する（ステップＳ２０３）。ここで、所定の腕姿勢とは、行動認識装置が想定している人間が取り得る全ての腕姿勢のことであり、例えば、図１０に示す領域１００１〜１００４のいずれかに手が位置する際の腕姿勢のことである。選択される動きデータの例は、実施の形態１と同様である。
【００４３】
特徴選択部２０３が、行動認識に用いる手の動きデータを、手動作観測部２０１から出力される手の動きデータから選択する一例として次のようなものが考えられる。特徴選択部２０３は、手の位置が腕姿勢推定部２０２により体の前方１ｍ四方（領域１００１〜１００４のいずれか）であると推定され、かつ、手の動きデータの検出時刻が速度変化検出部１０２で検出される速度変化の検出時刻であるときに、行動認識に用いる手の動きデータを、手動作観測部２０１から出力される手の動きデータから選択する。こうすることで、体に手が接した場合や手の存在位置として重要と思われる箇所（一例として、包丁で果物を向く際は胸の前、包丁で食材を切る際は腰の前など）で手の速度変化が起きた場合のみの動きデータを選択することができる。つまり、常時手の動きを観測した場合には、高頻度で生じる手の速度変化点（速度変化が生じた時刻）から、手の位置から重要と考えられる速度変化点を選択することができる。
【００４４】
なお、一例として、手の位置が体の前方１ｍ四方に存在する場合を手の存在位置として重要と思われる箇所としたが、重要と思われる箇所を、例えば、胸の前、腰の前、体に触れている場合というように細分化して設定してもよい。この場合には、例えば、胸の前で速度変化が検出された時刻に対応する手の動きデータのみを選択することが可能である。
【００４５】
行動認識部２０５は、行動標準パターン記憶部２０４に記憶されている動作パターンデータ系列ＩＤごとに、動作パターンデータ系列および腕姿勢の組と、特徴選択部２０３で選択された手の動きデータおよび手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢と、の類似度を求める（ステップＳ２０４）。例えば、行動標準パターン記憶部２０４に記憶されている腕姿勢と腕姿勢推定部２０２で推定された腕姿勢とが一致する場合にのみ、動作パターンデータ系列と手の動きデータとの間の類似度を求め、一致しない場合には類似度を０とする。なお、類似度の算出は、公知の技術を用いて行なうものとし、その詳細な説明は省略する。
【００４６】
行動認識部２０５は、求めた類似度と特定の閾値とを比較する（ステップＳ１０５）。類似度が特定の閾値以上となっている場合には（ステップＳ１０５でＹｅｓ）、行動認識部２０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベルを出力する（ステップＳ１０６）。
【００４７】
以上説明したように、実施の形態２に係る行動認識装置によると、腕姿勢が所定の姿勢を示し、かつ手の速度変化が起こった時刻における手の動きデータのみを、行動認識に用いる手の動きデータとして選択している。また、腕姿勢を行動認識にも用いている。このため、行動が起こる際の手の箇所を考慮して行動認識を行なうことができる。このため、実施の形態１に比べ、精度よく行動を認識することができる。
【００４８】
（実施の形態３）
実施の形態２に係る行動認識装置では、手の動きデータおよび腕姿勢に基づいて、手の動きデータの選択および類似度の算出を行った。これに対し、実施の形態３では、さらに、体姿勢に基づいて、手の動きデータの選択および類似度の算出を行う。
【００４９】
図１２は、本発明の実施の形態３に係る行動認識装置の構成を示すブロック図である。実施の形態１および２に示した行動認識装置の構成と同一の構成要素については、同一の参照符号を付す。
【００５０】
実施の形態３に係る行動認識装置は、手動作観測部２０１と、速度変化検出部１０２と、腕姿勢推定部２０２と、体姿勢観測部３０１と、体姿勢推定部３０２と、特徴選択部３０３と、行動標準パターン記憶部３０４と、行動認識部３０５とを備える。
【００５１】
体姿勢観測部３０１は、加速度センサおよび角速度センサ等の腰の動きをセンシングする入力装置で構成され、ユーザが腰を動かすと、３軸（ＸＹＺ方向）の加速度データ、角速度データおよび速度データなどの腰の動きデータを出力する。例えば、体姿勢観測部３０１は、ユーザの腰に取り付けられる。
【００５２】
体姿勢推定部３０２は、体姿勢観測部３０１より出力されるユーザの腰の動きデータから、ユーザの体姿勢を判断することができる。体姿勢により、ユーザが、立位で手を頭付近に持って行き、前から後ろへ動かした場合と、横になって手を頭付近に持って行き、前から後ろへ動かした場合とでは、体姿勢が異なる。このため、前者を立位と判断し、後者を臥位と判断することができる。
【００５３】
特徴選択部３０３は、速度変化検出部１０２において検出される速度変化を示すデータと、腕姿勢推定部２０２で推定される腕姿勢を示すデータと、体姿勢推定部３０２で推定される体姿勢を示すデータとを用いて、手動作観測部２０１によって出力される手の動きデータから行動認識に用いる手の動きデータを選択してもよい。つまり、腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示し、かつ体姿勢推定部３０２で推定される体姿勢が所定の体姿勢を示す場合において、速度変化検出部１０２が速度変化が起こった時刻を検出した場合には、特徴選択部３０３は、速度変化検出部１０２によって検出された速度変化が起こった時刻における手の動きデータを選択する。例えば、腕姿勢によりユーザの手が胸の前にあることが示されており、ユーザの体姿勢が立位である場合に、速度変化が起こった時刻における手の動きデータを選択する。これにより、例えば、立位でのみ可能な手の動きが横になっていて起こる場合であっても、特徴選択部３０３において動きデータを選択する際の条件として体姿勢を設定することができる。これにより、より行動に関係する手の動きデータのみを選択することができる。
【００５４】
行動標準パターン記憶部３０４は、ユーザの行動ごとに、当該行動を手の速度変化が起こる時刻における手の動きデータの系列で表現した動作パターンデータ系列、手の速度変化が起きる時刻における腕姿勢および手の速度変化が起こる時刻における体姿勢の組を記憶している。図１３に示すように、行動標準パターン記憶部３０４には、ユーザの行動ごとに、動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列と、腕姿勢と、体姿勢とが記憶されている。動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列と、腕姿勢とは、図９に示した実施の形態２の行動標準パターン記憶部３０４に記憶されているものと同じである。体姿勢は、行動を行なう際の体姿勢を示しており、一例として、行動「飲料を飲む」の体姿勢は、「立位」であることを示している。
【００５５】
行動認識部３０５は、行動標準パターン記憶部３０４に記憶されている動作パターンデータ系列、腕姿勢および体姿勢の組と、特徴選択部３０３で選択された手の動きデータ、手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢および手の速度変化が起こった時刻における体姿勢推定部３０２で推定された体姿勢と、の類似度を求める。行動認識部３０５は、最も類似度が大きい組に対応する行動ラベルを出力することにより、ユーザの行動を認識する。
【００５６】
このように構成された本実施の形態に係る行動認識装置の動作例について説明する。図１４は、本実施の形態に係る行動認識装置の処理を示すフローチャートである。実施の形態１および２に係る行動認識装置の処理と同一の処理については、同一のステップ番号を付す。
【００５７】
手動作観測部１０１は、ユーザの手の動きをセンシングし、手の動きデータ（手の加速度データ、角速度データ、速度データ、前腕、二の腕および肩の加速度・角速度）を出力する（ステップＳ１０１）。
【００５８】
腕姿勢推定部２０２は、手動作観測部２０１から出力される手の動きデータのうち、前腕、二の腕および肩の加速度・角速度から肘・肩の関節の角度を推定し、ユーザの体に対する腕姿勢を推定する（ステップＳ２０１）。
【００５９】
体姿勢観測部３０１は、ユーザの腰の動きをセンシングし、腰の動きデータを出力する（ステップＳ３０１）。
【００６０】
体姿勢推定部３０２は、体姿勢観測部３０１から出力される腰の動きデータからユーザの体姿勢を推定する（ステップＳ３０２）。
【００６１】
速度変化検出部１０２は、手動作観測部１０１から出力される手の動きデータから手の速度変化が起こる時刻、一例として手の速度が特定の閾値以下になる時刻を検出する（ステップＳ１０２）。
【００６２】
腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示し、かつ体姿勢推定部３０２において推定される体姿勢が所定の体姿勢を示す場合において、速度変化検出部１０２によって手の速度変化が起こった時刻が検出された場合には、特徴選択部３０３は、検出された手の速度変化が起こった時刻における手の動きデータを選択する（ステップＳ３０３）。ここで、所定の体姿勢とは、例えば、立位などのことである。
【００６３】
行動認識部３０５は、行動標準パターン記憶部３０４に記憶されている動作パターンデータ系列ＩＤごとに、動作パターンデータ系列、腕姿勢および体姿勢の組と、特徴選択部２０３で選択された手の動きデータ、手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢および手の速度が起こった時刻における体姿勢推定部３０２で推定された体姿勢と、の類似度を求める（ステップＳ３０４）。例えば、行動標準パターン記憶部３０４に記憶されている腕姿勢と腕姿勢推定部２０２で推定された腕姿勢とが一致し、かつ行動標準パターン記憶部３０４に記憶されている体姿勢と体姿勢推定部３０２で推定された体姿勢とが一致する場合にのみ、動作パターンデータ系列と手の動きデータとの間の類似度を求める。一致しない場合には類似度を０とする。なお、類似度の算出は、公知の技術を用いて行なうものとし、その詳細な説明は省略する。
【００６４】
行動認識部３０５は、求めた類似度と特定の閾値とを比較する（ステップＳ１０５）。類似度が特定の閾値以上となっている場合には（ステップＳ１０５でＹｅｓ）、行動認識部３０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベルを出力する（ステップＳ１０６）。
【００６５】
以上説明したように、実施の形態３に係る行動認識装置によると、腕姿勢が所定の腕姿勢を示し、かつ体姿勢が所定の体姿勢を示す場合において、手の速度変化が起こった時刻が検出された場合には、検出された手の速度変化が起こった時刻における手の動きデータのみを、行動認識に用いる手の動きデータとして選択している。また、腕姿勢および体姿勢を示すデータを行動認識にも用いている。このため、行動が起こる際の手の箇所および体姿勢を考慮して行動認識を行なうことができる。このため、実施の形態１に比べ、精度よく行動を認識することができる。
【００６６】
（実施の形態４）
実施の形態２に係る行動認識装置では、手の動きデータおよび腕姿勢に基づいて、手の動きデータの選択および類似度の算出を行った。これに対し、実施の形態４では、腕姿勢の代わりに物の把持状態を用い、手の動きデータおよび把持状態に基づいて、手の動きデータの選択および類似度の算出を行う。
【００６７】
図１５は、本発明の実施の形態４に係る行動認識装置の構成を示すブロック図である。上述の実施の形態に示した行動認識装置の構成と同一の構成要素については、同一の参照符号を付す。その機能および名称も同一であるため、その詳細な説明はここでは繰り返さない。
【００６８】
実施の形態４に係る行動認識装置は、手動作観測部４０１と、速度変化検出部１０２と、把持検出部４０２と、特徴選択部４０３と、行動標準パターン記憶部４０４と、行動認識部４０５とを備える。
【００６９】
手動作観測部４０１は、手動作観測部１０１と同様に、手の動きデータとして、手の加速度データ、角速度データおよび速度データを出力する。それに加えて、手動作観測部４０１は、手の筋肉の電位である手の筋電情報もセンシングして出力する。
【００７０】
把持検出部４０２は、手動作観測部４０１から出力される手の筋電情報から手が物を把持している状態である把持状態を推定する。
【００７１】
特徴選択部４０３は、速度変化検出部１０２において検出される速度変化を示すデータと、把持検出部４０２において推定される把持状態を示すデータとを用いて、行動認識に用いる手の動きデータを選択する。つまり、把持検出部４０２において推定される把持状態が所定の把持状態を示す場合において、速度変化検出部１０２が速度変化が起こった時刻を検出した場合には、特徴選択部４０３は、速度変化検出部１０２によって検出された速度変化が起こった時刻における手の動きデータを選択する。
【００７２】
行動標準パターン記憶部４０４は、ユーザの行動ごとに、当該行動を手の速度変化が起きる時刻における手の動きデータの系列で表現した動作パターンデータ系列、および手の速度変化が起きる時刻における把持状態の組を記憶している。図１６に示すように、行動標準パターン記憶部４０４には、ユーザの行動ごとに、動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列と、把持状態とが記憶されている。動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列とは、図２に示した実施の形態１の行動標準パターン記憶部２０４に記憶されているものと同じである。把持状態は、行動を行なう際の物の把持状態を示しており、一例として、行動「飲料を飲む」の把持状態は、「把持」であることを示している。
【００７３】
行動認識部４０５は、行動標準パターン記憶部４０４に記憶されている動作パターンデータ系列、および把持状態の組と、特徴選択部４０３で選択された手の動きデータおよび手の速度変化が起こった時刻における把持検出部４０２で推定された把持状態と、の類似度を求める。そして、最も類似度が大きい組に対応する行動ラベルを出力することにより、ユーザの行動を認識する。
【００７４】
このように構成された本実施の形態に係る行動認識装置の動作例について説明する。図１７は、本実施の形態に係る行動認識装置の処理を示すフローチャートである。上述の実施の形態に係る行動認識装置の処理と同一の処理については、同一のステップ番号を付す。
【００７５】
手動作観測部４０１は、手の動きデータとして、手の加速度データ、角速度データおよび速度データを出力する。それに加えて、手動作観測部４０１は、手の筋肉の電位である手の筋電情報もセンシングして出力する（ステップＳ１０１）。
【００７６】
把持検出部４０２は、手動作観測部４０１から出力される手の筋電情報から、手が物を把持している状態である把持状態であるか否かを推定する（ステップＳ４０１）。
【００７７】
速度変化検出部１０２は、手動作観測部４０１から出力される手の動きデータから手の速度変化が起こる時刻、一例として手の速度が特定の閾値以下になる時刻を検出する（ステップＳ１０２）。
【００７８】
把持検出部４０２により推定される把持状態が所定の把持状態を示す場合において、速度変化検出部１０２が速度変化が起こった時刻を検出した場合には、特徴選択部４０３は、速度変化検出部１０２によって検出された速度変化が起こった時刻における手の動きデータを選択する（ステップＳ４０３）。ここで所定の把持状態とは、例えば、物を把持していることを示す「把持」などのことである。これにより、物を把持して使用する場合で、かつ手の速度変化が起きた場合のみの動きデータを選択することができる。つまり、常時手の動きを観測した場合には、頻度高く生じる手の速度変化点から物を把持している状態で重要と考えられる速度変化点を選択することができる。
【００７９】
行動認識部４０５は、行動標準パターン記憶部４０４に記憶されている動作パターンデータ系列ＩＤごとに、動作パターンデータ系列および把持状態の組と、特徴選択部４０３で選択された手の動きデータおよび手の速度変化が起こった時刻における把持検出部４０２で推定された把持状態と、の類似度を求める（ステップＳ４０４）。例えば、行動標準パターン記憶部４０４に記憶されている把持状態と把持検出部４０２で推定された把持状態とが一致する場合にのみ、動作パターンデータ系列と手の動きデータとの間の類似度を求め、一致しない場合には類似度を０とする。なお、類似度の算出は、公知の技術を用いて行なうものとし、その詳細な説明は省略する。
【００８０】
行動認識部４０５は、求めた類似度と特定の閾値とを比較する（ステップＳ１０５）。類似度が特定の閾値以上となっている場合には（ステップＳ１０５でＹｅｓ）、行動認識部４０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベルを出力する（ステップＳ１０６）。
【００８１】
以上説明したように、実施の形態４に係る行動認識装置によると、物の把持状態が所定の把持状態を示し、かつ手の速度変化が起こった時刻における手の動きデータのみを、行動認識に用いる手の動きデータとして選択している。また、物の把持状態を行動認識にも用いている。このため、行動が起こる際の物の把持状態を考慮して行動認識を行なうことができ、実施の形態１に比べ、精度よく行動を認識することができる。
【００８２】
（実施の形態５）
実施の形態５に係る行動認識装置では、手の動きデータ、ユーザの腕姿勢および物の把持状態に基づいて、手の動きデータの選択および類似度の算出を行う。
【００８３】
図１８は、本発明の実施の形態５に係る行動認識装置の構成を示すブロック図である。上述の実施の形態に示した行動認識装置の構成と同一の構成要素については、同一の参照符号を付す。その機能および名称も同一であるため、その詳細な説明はここでは繰り返さない。
【００８４】
実施の形態５に係る行動認識装置は、手動作観測部５０１と、速度変化検出部１０２と、腕姿勢推定部２０２と、把持検出部４０２と、特徴選択部５０３と、行動標準パターン記憶部５０４と、行動認識部５０５とを備える。
【００８５】
手動作観測部５０１は、手動作観測部１０１と同様に、手の動きデータとして、手の加速度データ、角速度データおよび速度データを出力する。それに加え、手動作観測部５０１は、前腕、二の腕および肩の加速度・角速度もセンシングし、センシング結果を手の動きデータとして出力する。さらに、手動作観測部５０１は、手の筋肉の電位である手の筋電情報もセンシングして出力する。つまり、手動作観測部５０１は、手動作観測部２０１と、手動作観測部４０１との機能を兼ね備えた構成を有する。
【００８６】
特徴選択部５０３は、速度変化検出部１０２において検出される速度変化を示すデータと、腕姿勢推定部２０２において推定される腕姿勢を示すデータと、把持検出部４０２において推定される把持状態を示すデータとを用いて、行動認識に用いる手の動きデータを選択する。つまり、腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示し、かつ把持検出部４０２において推定される把持状態が所定の把持状態を示す場合において、速度変化検出部１０２によって手の速度変化が起こった時刻が検出された場合には、特徴選択部５０３は、検出された手の速度変化が起こった時刻における手の動きデータを選択する。
【００８７】
行動標準パターン記憶部５０４は、ユーザの行動ごとに、当該行動を手の速度変化が起きる時刻における手の動きデータの系列で表現した動作パターンデータ系列、手の速度変化が起きる時刻における腕姿勢および手の速度変化が起きる時刻における把持状態の組を記憶している。図１９に示すように、行動標準パターン記憶部２０４には、ユーザの行動ごとに、動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列と、腕姿勢と、把持状態とが記憶されている。「腕姿勢」および「把持状態」は上述の実施の形態で説明した通りである。例えば、行動「飲料を飲む」の「腕姿勢」は「手が胸の前」であり、「把持状態」は「把持」であることを示している。
【００８８】
行動認識部５０５は、行動標準パターン記憶部５０４に記憶されている動作パターンデータ系列、腕姿勢および把持状態の組と、特徴選択部５０３で選択された手の動きデータ、手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢および手の速度変化が起こった時刻における把持検出部４０２で推定された把持状態と、の類似度を求める。そして、最も類似度が大きい組に対応する行動ラベルを出力することにより、ユーザの行動を認識する。
【００８９】
このように構成された本実施の形態に係る行動認識装置の動作例について説明する。図２０は、本実施の形態に係る行動認識装置の処理を示すフローチャートである。上述の実施の形態に係る行動認識装置の処理と同一の処理については、同一のステップ番号を付す。
【００９０】
手動作観測部５０１は、ユーザの手の動きをセンシングし、手の動きデータ（手の加速度データ、角速度データ、速度データ、前腕、二の腕および肩の加速度・角速度、手の筋電情報）を出力する（ステップＳ１０１）。
【００９１】
腕姿勢推定部２０２は、手動作観測部５０１から出力される手の動きデータのうち、前腕、二の腕および肩の加速度・角速度から肘・肩の関節の角度を推定する。また、肘・肩の関節の角度からユーザの体に対する腕姿勢を推定する（ステップＳ２０１）。
【００９２】
把持検出部４０２は、手動作観測部５０１から出力される手の筋電情報から、手が物を把持している状態である把持状態であるか否かを推定する（ステップＳ４０１）。
【００９３】
速度変化検出部１０２は、手動作観測部５０１から出力される手の動きデータから手の速度変化が起こる時刻、一例として手の速度が特定の閾値以下になる時刻を検出する（ステップＳ１０２）。
【００９４】
腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示し、かつ把持検出部４０２で推定された把持状態が所定の把持状態を示す場合において、速度変化検出部１０２によって手の速度変化が起こった時刻が検出された場合には、特徴選択部５０３は、検出された手の速度変化が起こった時刻における手の動きデータを選択する（ステップＳ５０３）。一例として、腕姿勢推定部２０２で推定される腕姿勢が、手の位置が体の前方１ｍ四方に存在することを示し、かつ把持検出部４０２で推定される把持状態が手が物を把持していることを示す場合を想定する。この場合において、速度変化検出部１０２によって手の速度変化が起こった時刻が検出された場合には、特徴選択部５０３は、検出された手の速度変化が起こった時刻における手の動きデータを、手動作観測部５０１から出力される手の動きデータから選択する。これにより、特徴選択部５０３は、物を把持して使用する場合において、体に手が接した場合または手の存在位置として重要と思われる箇所に手がある場合で、かつ、手の速度変化が起きた場合のみの動きデータを選択することができる。手の存在位置として重要と思われる箇所の具体的な一例として、包丁で果物を向く際は胸の前、包丁で食材を切る際は腰の前などが挙げられる。よって、常時手の動きを観測した場合には、頻度高く生じる手の速度変化点から、手の位置から重要と考えられる速度変化点を選択することができる。なお、一例として、手の位置が体の前方１ｍ四方に存在する場合を手の存在位置として重要と思われる箇所としたが、重要と思われる箇所を例えば、胸の前、腰の前、体に触れている場合というように細分化して設定してもよい。
【００９５】
行動認識部５０５は、行動標準パターン記憶部５０４に記憶されている動作パターンデータ系列ＩＤごとに、動作パターンデータ系列、腕姿勢および把持状態の組と、行動標準パターン記憶部５０４で選択された手の動きデータ、手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢および手の速度変化が起こった時刻における把持検出部４０２で推定された把持状態と、の類似度を求める（ステップＳ５０４）。例えば、行動標準パターン記憶部５０４に記憶されている腕姿勢および把持状態と、腕姿勢推定部２０２で推定された腕姿勢および把持検出部４０２で推定された把持状態とが一致する場合にのみ、行動認識部５０５は、動作パターンデータ系列と手の動きデータとの間の類似度を求める。一致しない場合には、行動認識部５０５は、類似度を０とする。なお、類似度の算出は、公知の技術を用いて行なうものとし、その詳細な説明は省略する。
【００９６】
行動認識部５０５は、求めた類似度と特定の閾値とを比較する（ステップＳ１０５）。類似度が特定の閾値以上となっている場合には（ステップＳ１０５でＹｅｓ）、行動認識部５０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベルを出力する（ステップＳ１０６）。
【００９７】
以上説明したように、実施の形態５に係る行動認識装置によると、腕姿勢が所定の姿勢を示し、かつ物の把持状態が所定の把持状態を示す場合において、手の速度変化が起こった時刻が検出された場合には、検出された手の速度変化が起こった時刻における手の動きデータのみを、行動認識に用いる手の動きデータとして選択している。また、腕姿勢および把持状態を行動認識にも用いている。このため、行動が起こる際の手の箇所および物の把持状態を考慮して行動認識を行なうことができる。このため、実施の形態１に比べ、精度よく行動を認識することができる。
【００９８】
以上、本発明の実施の形態に係る行動認識装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【００９９】
例えば、上述の実施の形態では、速度変化検出部１０２において検出される速度変化が起こった時刻を、手の動きの速度が特定の閾値以下である時刻としたが、これに限定されるものではない。例えば、所定の動作が行なわれた時刻を検出するようにしても良い。例えば、着目時刻の速度ベクトルと、着目時刻の次の時刻の速度ベクトルとのコサイン距離が特定の閾値未満となる場合に、着目時刻を手の速度変化が起こった時刻としても良い。これにより、ユーザが意図して手の動きを急峻に変化させた時刻を検出することができる。一例として、地面に対して水平にコップに手を伸ばした後にコップを持って引き戻すようにコップを口元まで動かす場合を考える。この場合、手を伸ばす動きの速度ベクトルと引き戻す動きの速度ベクトルとのコサイン距離が特定の閾値未満であれば、手の動きの向きが大きく変化したことを示す。これにより、動きの一連性が途切れた時刻、つまり何らかの意図がある動作が行われた時刻を検出することができる。
【０１００】
また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１０１】
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１０２】
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
【０１０３】
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
【０１０４】
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。
【０１０５】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
【０１０６】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
【０１０７】
また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
【０１０８】
さらに、上記実施の形態をそれぞれ組み合わせるとしても良い。
【０１０９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１１０】
本発明は、ユーザの行動を観測することができ、常時ユーザの行動をセンシングし続けるウェアラブルデバイスやユーザの行動を記録し続けるライフログ収集機器、ユーザの健康などを監視する健康家電等として有用である。
【符号の説明】
【０１１１】
１０１、２０１、４０１、５０１  手動作観測部
１０２  速度変化検出部
１０３、２０３、３０３、４０３、５０３  特徴選択部
１０４、２０４、３０４、４０４、５０４  行動標準パターン記憶部
１０５、２０５、３０５、４０５、５０５  行動認識部
２０２  腕姿勢推定部
３０１  体姿勢観測部
３０２  体姿勢推定部
４０２  把持検出部
７０１、７０２  速度ベクトル
１００１〜１００４  領域
【図１】
2010137325.tif 000003
【図２】
2010137325.tif 000004
【図３】
2010137325.tif 000005
【図４】
2010137325.tif 000006
【図５】
2010137325.tif 000007
【図６】
2010137325.tif 000008
【図７Ａ】
2010137325.tif 000009
【図７Ｂ】
2010137325.tif 000010
【図８】
2010137325.tif 000011
【図９】
2010137325.tif 000012
【図１０】
2010137325.tif 000013
【図１１】
2010137325.tif 000014
【図１２】
2010137325.tif 000015
【図１３】
2010137325.tif 000016
【図１４】
2010137325.tif 000017
【図１５】
2010137325.tif 000018
【図１６】
2010137325.tif 000019
【図１７】
2010137325.tif 000020
【図１８】
2010137325.tif 000021
【図１９】
2010137325.tif 000022
【図２０】
2010137325.tif 000023
【手続補正書】
【提出日】平成22年10月19日(2010.10.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手の動きに基づいてユーザの行動を認識する行動認識装置に関する。
【背景技術】
【０００２】
従来、ユーザの行動を認識することができる装置として、環境に設置された複数の加速度センサからの情報に基づいてユーザの動きを認識することができる動き認識システムが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１８７５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のユーザの動きを認識する装置では、所定の時間幅毎にデータを切り出して、切り出したデータを動きの認識に用いている。このため、環境差を考慮した認識を行なわなければならない。例えば、物を使う行動の場合、物を置いている場所などの環境によって物を取りに行くまでの手の軌跡が異なる。しかし、一律に所定の時間幅ごとにデータを切り出すと、手の軌跡にあたるデータも切り出されて動きの認識に用いられてしまう。このため、互いに異なる全ての手の軌跡を考慮して動きの認識を行なわなければならず、環境差を考慮した動き認識のための標準パターンを作成するためには、手の全ての軌跡を収集する必要がある。
【０００５】
そこで、本発明は上記の事情に鑑みてなされたものであり、ユーザの手の動きデータから、環境差を考慮せずに、ユーザの行動を認識することができる行動認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の目的を達成するために、本発明のある局面に係る行動認識装置は、手の動きに基づいて、ユーザの行動を認識する行動認識装置であって、ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する手動作観測部と、前記手動作観測部から出力される前記手の動きデータから、前記ユーザの手の動きが所定の行動パターンを取った時刻を検出する速度変化検出部と、前記速度変化検出部によって検出された時刻において、前記手動作観測部から出力される前記手の動きデータを選択する特徴選択部と、ユーザの行動ごとに、手の動きデータの系列で表現した動作パターンデータ系列を記憶している行動標準パターン記憶部と、前記行動標準パターン記憶部に記憶されている前記動作パターンデータ系列ごとに、当該動作パターンデータ系列と前記特徴選択部で選択された前記手の動きデータと、により求められる類似度が最も大きい動作パターンデータ系列により表現される行動を、前記ユーザの行動として認識する行動認識部とを備える。
【０００７】
この構成によると、同じ行動種類においても行動毎に一回一回の動作軌跡に違いが生じる場合であっても、その動作軌跡の違いを考慮せずに、ユーザが意図して手を動かした動作、つまり、行動を特徴付ける手の動きのみを抽出して認識対象とすることができる。これにより、ユーザの手の動きデータから、環境差を考慮せずに、ユーザの行動を認識することができる。
【０００８】
なお、本発明は、このような特徴的な処理部を備える行動認識装置として実現することができるだけでなく、行動認識装置に含まれる特徴的な処理部をステップとする行動認識方法として実現することができる。また、行動認識方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体や、インターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【０００９】
本発明によると、ユーザの手の動きデータから、環境差を考慮せずに、ユーザの行動を認識することができる行動認識装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態１における行動認識装置の構成を示すブロック図である。
【図２】図２は、実施の形態１の行動認識装置に用いられる行動標準パターン記憶部に記憶されるデータの一例を示す図である。
【図３】図３は、実施の形態１における行動認識装置の動作を示すフローチャートである。
【図４】図４は、実施の形態１における行動の一例を示す図である。
【図５】図５は、実施の形態１における手の速度変化の一例を示す図である。
【図６】図６は、実施の形態１における手の加速度と速度変化の一例を示す図である。
【図７Ａ】図７Ａは、実施の形態１における速度変化に基づく速度データの選択方法を説明するための図である。
【図７Ｂ】図７Ｂは、コサイン距離について説明するための図である。
【図８】図８は、実施の形態２における行動認識装置の構成を示すブロック図である。
【図９】図９は、実施の形態２の行動認識装置に用いられる行動標準パターン記憶部に記憶されるデータの一例を示す図である。
【図１０】図１０は、実施の形態２における行動とユーザに対する空間の位置関係の一例を示す図である。
【図１１】図１１は、実施の形態２における行動認識装置の動作を示すフローチャートである。
【図１２】図１２は、実施の形態３における行動認識装置の構成を示すブロック図である。
【図１３】図１３は、実施の形態３の行動認識装置に用いられる行動標準パターン記憶部に記憶されるデータの一例を示す図である。
【図１４】図１４は、実施の形態３における行動認識装置の動作を示すフローチャートである。
【図１５】図１５は、実施の形態４における行動認識装置の構成図である。
【図１６】図１６は、実施の形態４の行動認識装置に用いられる行動標準パターン記憶部に記憶されるデータの一例を示す図である。
【図１７】図１７は、実施の形態４における行動認識装置の動作を示すフローチャートである。
【図１８】図１８は、実施の形態５における行動認識装置の構成図である。
【図１９】図１９は、実施の形態５の行動認識装置に用いられる行動標準パターン記憶部に記憶されるデータの一例を示す図である。
【図２０】図２０は、実施の形態５における行動認識装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
（実施の形態１）
以下、本発明の実施の形態１に係る行動認識装置について図面を参照しながら説明する。
【００１２】
図１は、本発明の実施の形態１に係る行動認識装置の構成を示すブロック図である。
【００１３】
行動認識装置は、手の動きに基づいて、ユーザの行動を認識する行動認識装置である。行動認識装置は、手動作観測部１０１と、速度変化検出部１０２と、特徴選択部１０３と、行動標準パターン記憶部１０４と、行動認識部１０５とを含む。
【００１４】
手動作観測部１０１は、ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する。例えば、手動作観測部１０１は、加速度センサおよび角速度センサ等の手の動きをセンシングする入力装置で構成される。この入力装置によって、手動作観測部１０１は、手の３軸（ＸＹＺ方向）の加速度データ、角速度データおよび速度データなどの手の動きデータを出力する。例えば、手動作観測部１０１は手首に取り付けられる。
【００１５】
速度変化検出部１０２は、手動作観測部１０１から出力される手の動きデータから、ユーザの手の動きが所定の行動パターンを取った時刻を検出する。なお、以下の説明では、ユーザの手の動きが所定の行動パターンを取った時刻として、手の速度変化が起こった時刻を検出する。
【００１６】
特徴選択部１０３は、速度変化検出部１０２で検出される手の速度変化が起こった時刻において、手動作観測部１０１から出力される手の動きデータを選択する。
【００１７】
行動標準パターン記憶部１０４は、ユーザの行動ごとに、当該行動を手の速度変化が起きる時刻における手の動きデータの系列で表現した動作パターンデータ系列を記憶している。図２は、行動標準パターン記憶部１０４に記憶されるデータの一例を示す図である。図２に示すように、行動標準パターン記憶部１０４には、ユーザの行動ごとに、動作パターンデータ系列ＩＤと、行動ラベルと、動作パターンデータ系列とが記憶されている。動作パターンデータ系列ＩＤは、動作パターンデータ系列の識別子である。行動ラベルは、当該行動を示すデータである。動作パターンデータ系列の一例として、ここでは、手の速度変化が起きる時刻における手の加速度データの系列を示している。ただし、動作パターンデータ系列はこれに限定されるものではない。例えば、手の速度データの系列であってもよいし、ＨＭＭ（隠れマルコフモデル）を用いて行動の認識を行なう場合には、ＨＭＭパラメータの系列であっても良い。（動作パターンデータ系列ＩＤ、行動ラベル）として、（（１、飲料を飲む）、（２、食べ物を食べる）、（３、歯を磨く）、…）が記憶されている。また、行動ラベル「飲料を飲む」に対応する動作パターンデータ系列ＩＤ「１」の動作パターンデータ系列は、環境差が少ない手の速度変化が大きい時刻における手の動きのデータを時系列に学習したものである。環境差が少ない手の速度変化が大きい時刻における手の動きのデータ列は、一例として、手の動き「コップを掴む」、「口にコップをつける」、「コップを傾け飲料を喉に流し込む」、「コップを置く」というものが考えられる。また、環境差が少ない手の速度変化が大きい時刻とは、動いていた手が止まった時刻、ある一定以下の角度で向きを変えて動いた時刻等が考えられる。
【００１８】
行動認識部１０５は、行動標準パターン記憶部１０４に記憶されている動作パターンデータ系列ごとに、当該動作パターンデータ系列と特徴選択部１０３で選択された手の動きデータとの間の類似度を求める。また、行動認識部１０５は、最も類似度が大きい動作パターンデータ系列に対応する行動ラベルを出力する。つまり、行動認識部１０５は、ユーザの行動を認識する。
【００１９】
このように構成された本実施の形態に係る行動認識装置の動作例について、図１のブロック図と図３のフローチャートとを用いて説明する。
【００２０】
手動作観測部１０１は、ユーザの手の動きをセンシングし、手の動きデータ（手の加速度データ、角速度データ、速度データ）を出力する（ステップＳ１０１）。具体的な一例として、ユーザは、テーブルに置いてある水の入っているコップを取って飲むという行動を行う。手動作観測部１０１は、この飲料を飲む行動における手の動きデータ（手の加速度データ、角速度データ、速度データ）を出力する。このときのイメージ図を図４に示す。図４において、「コップを掴む」箇所における手の動きと「口にコップをつける」箇所における手の動きとは、コップの位置に関係なく同じである。しかし、テーブルから口までコップを移動する際の手の軌跡がテーブルに置いたコップの位置によって異なることを表現している。
【００２１】
速度変化検出部１０２は、手動作観測部１０１から出力される手の動きデータから手の速度変化が起こる時刻、一例として手の速度が特定の閾値以下になる時刻を検出する（ステップＳ１０２）。上記の例では、手が動いてコップを掴みに行った後の、コップを掴む時刻における手の速度が特定の閾値以下になる。このため、速度変化検出部１０２は、その時刻を検出する。このときのイメージ図を図５に示す。図５では、さらに、コップを傾け、水を喉に流し込み、コップの傾けを戻した時刻における手の速度が特定の閾値以下になる。
【００２２】
特徴選択部１０３は、速度変化検出部１０２で検出される手の速度変化が起こる時刻における手の動きデータを、手動作観測部１０１から出力される手の動きデータから選択する（ステップＳ１０３）。上記の例では、特徴選択部１０３は、手がコップを掴んだ時刻を中心に前後特定の時間の手の動きデータを選択する。このときのイメージ図を図６に示す。例えば、特徴選択部１０３は、手がコップを掴んだ時刻を中心に前後特定の時間の手の加速度データを手の動きデータとして選択する。ステップＳ１０３では、複数の手の動きデータが選択される。つまり、図６の例では、テーブルの上のコップを掴んだ時刻における動きデータのほかに、例えば、コップを口につける時刻における動きデータ、およびコップを傾け飲料を喉に流し込む時刻における動きデータなどが選択される。より具体的には、図６に示される速度データにおいて、閾値以下の速度データが特徴選択部１０３で選択される。
【００２３】
また、速度変化が急な速度データを選択することも考えられる。速度変化が急かどうかは、図７Ａに示すように、時刻ｔ−１での速度ベクトル７０１と時刻ｔでの速度ベクトル７０２とのコサイン距離と、所定の閾値とを比較することにより、判断することができる。つまり、コサイン距離が所定の閾値よりも小さい場合には速度変化が急であると判断することができ、コサイン距離が所定の閾値以上の場合には速度変化が急ではないと判断することができる。ここで、コサイン距離とは、図７Ｂに示すように、２つの速度ベクトル７０１及び７０２がなす角度をθとした場合の、ｃｏｓθの値である。つまり、２つの速度ベクトル７０１及び７０２が同一の向きを有する場合には、θ＝０°となり、コサイン距離の値は最大値１となる。また、２つの速度ベクトル７０１及び７０２が互いに逆の向きを有する場合には、θ＝１８０°となり、コサイン距離の値は最小値−１となる。図６に示す速度データで考えると、「テーブル上のコップをつかんだ」ときの時刻と、「コップを傾けた」ときの時刻とが、速度変化検出部１０２により検出される。また、「テーブル上のコップをつかんだ」ときの極値近辺の速度データと、「コップを傾けた」ときの極値近辺の速度データとが、特徴選択部１０３により選択される。なお、上記所定の閾値として、手の動きに基づいて統計的に算出された値（例えば、θ＝４５°のときのコサインの値）を用いることが考えられる。例えば、「テーブル上のコップを掴んだ」ときの速度の極値近辺の２点の速度ベクトルがなす角度をサンプルし、既知の統計処理を用いて上記所定の閾値を算出することができる。
【００２４】
なお、速度変化が急かどうかは、速度ベクトル７０１と速度ベクトル７０２との速度勾配差と、所定の閾値とを比較することにより判断しても良い。つまり、速度勾配差が所定の閾値以上の場合には速度変化が急であると判断することができ、速度勾配差が所定の閾値未満の場合には速度変化が急ではないと判断することができる。ここで、速度ベクトル７０１と速度ベクトル７０２との速度勾配差とは、速度ベクトル７０１と速度ベクトル７０２とのなす角度である。つまり、２つの速度ベクトル７０１及び７０２が同一の向きを有する場合には、速度勾配差θは０°となる。また、２つの速度ベクトル７０１及び７０２が互いに逆の向きを有する場合には、速度勾配差θは１８０°となる。速度勾配差が所定の閾値以上となるときの時刻が速度変化検出部１０２により検出される。なお、上記所定の閾値は、コサイン距離の所定の閾値を求めるのに用いたのと同じ手法により求められ、例えば、所定の閾値θが４５°として決定される。
【００２５】
行動認識部１０５は、行動標準パターン記憶部１０４に記憶されている動作パターンデータ系列ＩＤごとに、当該動作パターンデータ系列と特徴選択部１０３で選択された複数の動きデータとの間の類似度を求める（ステップＳ１０４）。類似度の算出は、公知の技術を用いて行なうものとし、その詳細な説明は省略する。
【００２６】
行動認識部１０５は、求めた類似度と特定の閾値とを比較する（ステップＳ１０５）。類似度が特定の閾値以上となっている場合には（ステップＳ１０５でＹｅｓ）、行動認識部１０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベルを出力する（ステップＳ１０６）。
【００２７】
上記の例では、行動認識部１０５は、行動標準パターン記憶部１０４に記憶されている複数の動作パターンデータ系列のそれぞれに対して、特徴選択部１０３で選択される手がコップを掴んだ時刻を中心に、前後特定の時間の手の動きデータを用いて動作パターンデータ系列との類似度を求める。ここで、行動標準パターン記憶部１０４に記憶されている複数の動作パターンデータ系列は、行動「飲料を飲む」に対応する動作パターンデータ系列、行動「食べ物を食べる」に対応する動作パターンデータ系列、行動「歯を磨く」に対応する動作パターンデータ系列のことである。類似度が特定の閾値未満の場合には（ステップＳ１０５でＮｏ）、行動認識部１０５は、さらに次の速度変化が起こる時刻を中心に前後特定の時間の手の動きデータを加えた手の動きデータを用いて動作パターンデータ系列との類似度を求める。次の速度変化が起こる時刻とは、例えば、「コップを口につける」時刻である。このように速度変化が起こる時刻に対応する手の動きデータを次々に加えた手の動きデータを用いて動作パターンデータ系列との類似度を求めることにより、類似度が徐々に大きくなっていく。より具体的には、例えば、次は「コップを傾け飲料を喉に流し込む」時刻、さらに次は「コップを置く」時刻というように次々に加えた手の動きデータを用いて類似度を求める。類似度が特定の閾値以上になった場合（ステップＳ１０５でＹｅｓ）、行動認識部１０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベル「飲料を飲む」を出力する。
【００２８】
以上説明したように、実施の形態１に係る行動認識装置によると、手の速度変化が起こった時刻における手の動きデータのみを、行動認識に用いる手の動きデータとして選択している。このため、環境の影響が少ない手の動きデータのみを用いて行動認識を行なうことができる。これにより、例えば、手が動く軌跡などの環境差を考える必要がなくなり、行動認識に用いるために収集する行動標準パターンのデータ数が少なくてすむ。また、環境差の違いを排除することができるため、精度よく行動を認識することができる。
【００２９】
（実施の形態２）
実施の形態１に係る行動認識装置では、手の動きデータから手の速度変化が起こった時刻を検出したり、手の動きデータを用いて動作パターン系列との類似度を算出したりした。これに対して、実施の形態２では、手の動きデータに加えて、ユーザの腕姿勢を示すデータを用いて、手の速度変化が起こった時刻を検出したり、類似度を算出したりする。
【００３０】
図８は、本発明の実施の形態２に係る行動認識装置の構成を示すブロック図である。図１に示した実施の形態１に係る行動認識装置と同一の構成要素については、同一の参照符号を付す。その機能および名称も同一であるため、その詳細な説明はここでは繰り返さない。
【００３１】
実施の形態２に係る行動認識装置は、手動作観測部２０１と、速度変化検出部１０２と、腕姿勢推定部２０２と、特徴選択部２０３と、行動標準パターン記憶部２０４と、行動認識部２０５とを備える。
【００３２】
手動作観測部２０１は、手動作観測部１０１と同様に、手の動きデータとして、手の加速度データ、角速度データおよび速度データを出力する。それに加え、手動作観測部２０１は、前腕・二の腕・肩の部分に加速度センサと角速度センサを装着されたセンサから出力される加速度と角速度もセンシングし、センシング結果を手の動きデータとして出力する。
【００３３】
腕姿勢推定部２０２は、手動作観測部２０１から出力される手の動きデータのうち、前腕、二の腕および肩の加速度・角速度から肘・肩の関節の角度を推定し、ユーザの体に対する腕姿勢を推定する。また、光学式のモーションキャプチャデバイスを用いることで、手首、肘および肩の関節の角度をセンシングするようにしてもよい。なお、本発明は、手首、肘および肩の関節の角度を取得できる方法であれば実現手段は問わない。
【００３４】
特徴選択部２０３は、速度変化検出部１０２において検出される速度変化を示すデータと、腕姿勢推定部２０２において推定される腕姿勢を示すデータとを用いて、行動認識に用いる手の動きデータを選択する。つまり、腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示す場合において、速度変化検出部１０２によって速度変化が起こった時刻が検出された場合には、特徴選択部２０３は、速度変化検出部１０２によって検出された速度変化が起こった時刻における手の動きデータを選択する。
【００３５】
行動標準パターン記憶部２０４は、ユーザの行動ごとに、当該行動を手の速度変化が起きる時刻における手の動きデータの系列で表現した動作パターンデータ系列、および手の速度変化が起きる時刻における腕姿勢の組を記憶している。図９に示すように、行動標準パターン記憶部２０４には、ユーザの行動ごとに、動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列と、腕姿勢とが記憶されている。動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列とは、図２に示した実施の形態１の行動標準パターン記憶部２０４に記憶されているものと同じである。腕姿勢は、行動を行なう際の腕姿勢を示しており、一例として、行動「飲料を飲む」の腕姿勢は、「手が胸の前」と「口の前」であることを示している。
【００３６】
行動認識部２０５は、行動標準パターン記憶部２０４に記憶されている動作パターンデータ系列および腕姿勢の組と、特徴選択部２０３で選択された手の動きデータおよび手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢と、の類似度を求める。また、行動認識部２０５は、最も類似度が大きい組に対応する行動ラベルを出力することにより、ユーザの行動を認識する。
【００３７】
本実施の形態の発明の概念を図１０を用いて説明する。ユーザが道具や物を効率良く使用する位置（例えば、力を入れやすい位置や、物を見やすい位置など）は特定されている。つまり、道具や物を使用する行動は、ユーザに対する空間と対応付けることができる。このため、ユーザの腕姿勢を用いると、ある程度ユーザが取っている行動を特定することができ、これを行動認識に利用する。一例として、ユーザに対する空間は、以下のように求めることができる。つまり、ユーザが特定の道具を複数回使用する際に、道具を使用する位置をセンシングし、センシングされる位置を平均して特定の閾値以上になる位置の集合をユーザに対する空間とすることで求めることができる。また、ユーザに対する空間を求める際に、センシングするユーザは同一人物ではなく、異なる人物であってもよい。
【００３８】
このように構成された本実施の形態に係る行動認識装置の動作例について説明する。図１１は、本実施の形態に係る行動認識装置の処理を示すフローチャートである。図３に示した実施の形態１に係る行動認識装置の処理と同一の処理については、同一のステップ番号を付す。
【００３９】
手動作観測部２０１は、ユーザの手の動きをセンシングし、手の動きデータ（手の加速度データ、角速度データ、速度データ、前腕、二の腕および肩の加速度・角速度）を出力する（ステップＳ１０１）。
【００４０】
腕姿勢推定部２０２は、手動作観測部２０１から出力される手の動きデータのうち、前腕、二の腕および肩の加速度・角速度から肘・肩の関節の角度を推定する。また、肘および肩などの関節の角度から、ユーザの体に対する腕姿勢を推定する（ステップＳ２０１）。例えば、一例として、ユーザが新聞を読んでいる場合には、腕姿勢推定部２０２で推定される手の位置は、体の前方の領域１００１となる。
【００４１】
速度変化検出部１０２は、手動作観測部１０１から出力される手の動きデータから手の速度変化が起こる時刻、一例として手の速度が特定の閾値以下になる時刻を検出する（ステップＳ１０２）。
【００４２】
腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示す場合において、速度変化検出部１０２によって速度変化が起こった時刻が検出された場合には、特徴選択部２０３は、速度変化検出部１０２によって検出された速度変化が起こった時刻における手の動きデータを選択する（ステップＳ２０３）。ここで、所定の腕姿勢とは、行動認識装置が想定している人間が取り得る全ての腕姿勢のことであり、例えば、図１０に示す領域１００１〜１００４のいずれかに手が位置する際の腕姿勢のことである。選択される動きデータの例は、実施の形態１と同様である。
【００４３】
特徴選択部２０３が、行動認識に用いる手の動きデータを、手動作観測部２０１から出力される手の動きデータから選択する一例として次のようなものが考えられる。特徴選択部２０３は、手の位置が腕姿勢推定部２０２により体の前方１ｍ四方（領域１００１〜１００４のいずれか）であると推定され、かつ、手の動きデータの検出時刻が速度変化検出部１０２で検出される速度変化の検出時刻であるときに、行動認識に用いる手の動きデータを、手動作観測部２０１から出力される手の動きデータから選択する。こうすることで、体に手が接した場合や手の存在位置として重要と思われる箇所（一例として、包丁で果物を向く際は胸の前、包丁で食材を切る際は腰の前など）で手の速度変化が起きた場合のみの動きデータを選択することができる。つまり、常時手の動きを観測した場合には、高頻度で生じる手の速度変化点（速度変化が生じた時刻）から、手の位置から重要と考えられる速度変化点を選択することができる。
【００４４】
なお、一例として、手の位置が体の前方１ｍ四方に存在する場合を手の存在位置として重要と思われる箇所としたが、重要と思われる箇所を、例えば、胸の前、腰の前、体に触れている場合というように細分化して設定してもよい。この場合には、例えば、胸の前で速度変化が検出された時刻に対応する手の動きデータのみを選択することが可能である。
【００４５】
行動認識部２０５は、行動標準パターン記憶部２０４に記憶されている動作パターンデータ系列ＩＤごとに、動作パターンデータ系列および腕姿勢の組と、特徴選択部２０３で選択された手の動きデータおよび手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢と、の類似度を求める（ステップＳ２０４）。例えば、行動標準パターン記憶部２０４に記憶されている腕姿勢と腕姿勢推定部２０２で推定された腕姿勢とが一致する場合にのみ、動作パターンデータ系列と手の動きデータとの間の類似度を求め、一致しない場合には類似度を０とする。なお、類似度の算出は、公知の技術を用いて行なうものとし、その詳細な説明は省略する。
【００４６】
行動認識部２０５は、求めた類似度と特定の閾値とを比較する（ステップＳ１０５）。類似度が特定の閾値以上となっている場合には（ステップＳ１０５でＹｅｓ）、行動認識部２０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベルを出力する（ステップＳ１０６）。
【００４７】
以上説明したように、実施の形態２に係る行動認識装置によると、腕姿勢が所定の姿勢を示し、かつ手の速度変化が起こった時刻における手の動きデータのみを、行動認識に用いる手の動きデータとして選択している。また、腕姿勢を行動認識にも用いている。このため、行動が起こる際の手の箇所を考慮して行動認識を行なうことができる。このため、実施の形態１に比べ、精度よく行動を認識することができる。
【００４８】
（実施の形態３）
実施の形態２に係る行動認識装置では、手の動きデータおよび腕姿勢に基づいて、手の動きデータの選択および類似度の算出を行った。これに対し、実施の形態３では、さらに、体姿勢に基づいて、手の動きデータの選択および類似度の算出を行う。
【００４９】
図１２は、本発明の実施の形態３に係る行動認識装置の構成を示すブロック図である。実施の形態１および２に示した行動認識装置の構成と同一の構成要素については、同一の参照符号を付す。
【００５０】
実施の形態３に係る行動認識装置は、手動作観測部２０１と、速度変化検出部１０２と、腕姿勢推定部２０２と、体姿勢観測部３０１と、体姿勢推定部３０２と、特徴選択部３０３と、行動標準パターン記憶部３０４と、行動認識部３０５とを備える。
【００５１】
体姿勢観測部３０１は、加速度センサおよび角速度センサ等の腰の動きをセンシングする入力装置で構成され、ユーザが腰を動かすと、３軸（ＸＹＺ方向）の加速度データ、角速度データおよび速度データなどの腰の動きデータを出力する。例えば、体姿勢観測部３０１は、ユーザの腰に取り付けられる。
【００５２】
体姿勢推定部３０２は、体姿勢観測部３０１より出力されるユーザの腰の動きデータから、ユーザの体姿勢を判断することができる。体姿勢により、ユーザが、立位で手を頭付近に持って行き、前から後ろへ動かした場合と、横になって手を頭付近に持って行き、前から後ろへ動かした場合とでは、体姿勢が異なる。このため、前者を立位と判断し、後者を臥位と判断することができる。
【００５３】
特徴選択部３０３は、速度変化検出部１０２において検出される速度変化を示すデータと、腕姿勢推定部２０２で推定される腕姿勢を示すデータと、体姿勢推定部３０２で推定される体姿勢を示すデータとを用いて、手動作観測部２０１によって出力される手の動きデータから行動認識に用いる手の動きデータを選択してもよい。つまり、腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示し、かつ体姿勢推定部３０２で推定される体姿勢が所定の体姿勢を示す場合において、速度変化検出部１０２が速度変化が起こった時刻を検出した場合には、特徴選択部３０３は、速度変化検出部１０２によって検出された速度変化が起こった時刻における手の動きデータを選択する。例えば、腕姿勢によりユーザの手が胸の前にあることが示されており、ユーザの体姿勢が立位である場合に、速度変化が起こった時刻における手の動きデータを選択する。これにより、例えば、立位でのみ可能な手の動きが横になっていて起こる場合であっても、特徴選択部３０３において動きデータを選択する際の条件として体姿勢を設定することができる。これにより、より行動に関係する手の動きデータのみを選択することができる。
【００５４】
行動標準パターン記憶部３０４は、ユーザの行動ごとに、当該行動を手の速度変化が起こる時刻における手の動きデータの系列で表現した動作パターンデータ系列、手の速度変化が起きる時刻における腕姿勢および手の速度変化が起こる時刻における体姿勢の組を記憶している。図１３に示すように、行動標準パターン記憶部３０４には、ユーザの行動ごとに、動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列と、腕姿勢と、体姿勢とが記憶されている。動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列と、腕姿勢とは、図９に示した実施の形態２の行動標準パターン記憶部３０４に記憶されているものと同じである。体姿勢は、行動を行なう際の体姿勢を示しており、一例として、行動「飲料を飲む」の体姿勢は、「立位」であることを示している。
【００５５】
行動認識部３０５は、行動標準パターン記憶部３０４に記憶されている動作パターンデータ系列、腕姿勢および体姿勢の組と、特徴選択部３０３で選択された手の動きデータ、手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢および手の速度変化が起こった時刻における体姿勢推定部３０２で推定された体姿勢と、の類似度を求める。行動認識部３０５は、最も類似度が大きい組に対応する行動ラベルを出力することにより、ユーザの行動を認識する。
【００５６】
このように構成された本実施の形態に係る行動認識装置の動作例について説明する。図１４は、本実施の形態に係る行動認識装置の処理を示すフローチャートである。実施の形態１および２に係る行動認識装置の処理と同一の処理については、同一のステップ番号を付す。
【００５７】
手動作観測部１０１は、ユーザの手の動きをセンシングし、手の動きデータ（手の加速度データ、角速度データ、速度データ、前腕、二の腕および肩の加速度・角速度）を出力する（ステップＳ１０１）。
【００５８】
腕姿勢推定部２０２は、手動作観測部２０１から出力される手の動きデータのうち、前腕、二の腕および肩の加速度・角速度から肘・肩の関節の角度を推定し、ユーザの体に対する腕姿勢を推定する（ステップＳ２０１）。
【００５９】
体姿勢観測部３０１は、ユーザの腰の動きをセンシングし、腰の動きデータを出力する（ステップＳ３０１）。
【００６０】
体姿勢推定部３０２は、体姿勢観測部３０１から出力される腰の動きデータからユーザの体姿勢を推定する（ステップＳ３０２）。
【００６１】
速度変化検出部１０２は、手動作観測部１０１から出力される手の動きデータから手の速度変化が起こる時刻、一例として手の速度が特定の閾値以下になる時刻を検出する（ステップＳ１０２）。
【００６２】
腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示し、かつ体姿勢推定部３０２において推定される体姿勢が所定の体姿勢を示す場合において、速度変化検出部１０２によって手の速度変化が起こった時刻が検出された場合には、特徴選択部３０３は、検出された手の速度変化が起こった時刻における手の動きデータを選択する（ステップＳ３０３）。ここで、所定の体姿勢とは、例えば、立位などのことである。
【００６３】
行動認識部３０５は、行動標準パターン記憶部３０４に記憶されている動作パターンデータ系列ＩＤごとに、動作パターンデータ系列、腕姿勢および体姿勢の組と、特徴選択部２０３で選択された手の動きデータ、手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢および手の速度が起こった時刻における体姿勢推定部３０２で推定された体姿勢と、の類似度を求める（ステップＳ３０４）。例えば、行動標準パターン記憶部３０４に記憶されている腕姿勢と腕姿勢推定部２０２で推定された腕姿勢とが一致し、かつ行動標準パターン記憶部３０４に記憶されている体姿勢と体姿勢推定部３０２で推定された体姿勢とが一致する場合にのみ、動作パターンデータ系列と手の動きデータとの間の類似度を求める。一致しない場合には類似度を０とする。なお、類似度の算出は、公知の技術を用いて行なうものとし、その詳細な説明は省略する。
【００６４】
行動認識部３０５は、求めた類似度と特定の閾値とを比較する（ステップＳ１０５）。類似度が特定の閾値以上となっている場合には（ステップＳ１０５でＹｅｓ）、行動認識部３０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベルを出力する（ステップＳ１０６）。
【００６５】
以上説明したように、実施の形態３に係る行動認識装置によると、腕姿勢が所定の腕姿勢を示し、かつ体姿勢が所定の体姿勢を示す場合において、手の速度変化が起こった時刻が検出された場合には、検出された手の速度変化が起こった時刻における手の動きデータのみを、行動認識に用いる手の動きデータとして選択している。また、腕姿勢および体姿勢を示すデータを行動認識にも用いている。このため、行動が起こる際の手の箇所および体姿勢を考慮して行動認識を行なうことができる。このため、実施の形態１に比べ、精度よく行動を認識することができる。
【００６６】
（実施の形態４）
実施の形態２に係る行動認識装置では、手の動きデータおよび腕姿勢に基づいて、手の動きデータの選択および類似度の算出を行った。これに対し、実施の形態４では、腕姿勢の代わりに物の把持状態を用い、手の動きデータおよび把持状態に基づいて、手の動きデータの選択および類似度の算出を行う。
【００６７】
図１５は、本発明の実施の形態４に係る行動認識装置の構成を示すブロック図である。上述の実施の形態に示した行動認識装置の構成と同一の構成要素については、同一の参照符号を付す。その機能および名称も同一であるため、その詳細な説明はここでは繰り返さない。
【００６８】
実施の形態４に係る行動認識装置は、手動作観測部４０１と、速度変化検出部１０２と、把持検出部４０２と、特徴選択部４０３と、行動標準パターン記憶部４０４と、行動認識部４０５とを備える。
【００６９】
手動作観測部４０１は、手動作観測部１０１と同様に、手の動きデータとして、手の加速度データ、角速度データおよび速度データを出力する。それに加えて、手動作観測部４０１は、手の筋肉の電位である手の筋電情報もセンシングして出力する。
【００７０】
把持検出部４０２は、手動作観測部４０１から出力される手の筋電情報から手が物を把持している状態である把持状態を推定する。
【００７１】
特徴選択部４０３は、速度変化検出部１０２において検出される速度変化を示すデータと、把持検出部４０２において推定される把持状態を示すデータとを用いて、行動認識に用いる手の動きデータを選択する。つまり、把持検出部４０２において推定される把持状態が所定の把持状態を示す場合において、速度変化検出部１０２が速度変化が起こった時刻を検出した場合には、特徴選択部４０３は、速度変化検出部１０２によって検出された速度変化が起こった時刻における手の動きデータを選択する。
【００７２】
行動標準パターン記憶部４０４は、ユーザの行動ごとに、当該行動を手の速度変化が起きる時刻における手の動きデータの系列で表現した動作パターンデータ系列、および手の速度変化が起きる時刻における把持状態の組を記憶している。図１６に示すように、行動標準パターン記憶部４０４には、ユーザの行動ごとに、動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列と、把持状態とが記憶されている。動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列とは、図２に示した実施の形態１の行動標準パターン記憶部２０４に記憶されているものと同じである。把持状態は、行動を行なう際の物の把持状態を示しており、一例として、行動「飲料を飲む」の把持状態は、「把持」であることを示している。
【００７３】
行動認識部４０５は、行動標準パターン記憶部４０４に記憶されている動作パターンデータ系列、および把持状態の組と、特徴選択部４０３で選択された手の動きデータおよび手の速度変化が起こった時刻における把持検出部４０２で推定された把持状態と、の類似度を求める。そして、最も類似度が大きい組に対応する行動ラベルを出力することにより、ユーザの行動を認識する。
【００７４】
このように構成された本実施の形態に係る行動認識装置の動作例について説明する。図１７は、本実施の形態に係る行動認識装置の処理を示すフローチャートである。上述の実施の形態に係る行動認識装置の処理と同一の処理については、同一のステップ番号を付す。
【００７５】
手動作観測部４０１は、手の動きデータとして、手の加速度データ、角速度データおよび速度データを出力する。それに加えて、手動作観測部４０１は、手の筋肉の電位である手の筋電情報もセンシングして出力する（ステップＳ１０１）。
【００７６】
把持検出部４０２は、手動作観測部４０１から出力される手の筋電情報から、手が物を把持している状態である把持状態であるか否かを推定する（ステップＳ４０１）。
【００７７】
速度変化検出部１０２は、手動作観測部４０１から出力される手の動きデータから手の速度変化が起こる時刻、一例として手の速度が特定の閾値以下になる時刻を検出する（ステップＳ１０２）。
【００７８】
把持検出部４０２により推定される把持状態が所定の把持状態を示す場合において、速度変化検出部１０２が速度変化が起こった時刻を検出した場合には、特徴選択部４０３は、速度変化検出部１０２によって検出された速度変化が起こった時刻における手の動きデータを選択する（ステップＳ４０３）。ここで所定の把持状態とは、例えば、物を把持していることを示す「把持」などのことである。これにより、物を把持して使用する場合で、かつ手の速度変化が起きた場合のみの動きデータを選択することができる。つまり、常時手の動きを観測した場合には、頻度高く生じる手の速度変化点から物を把持している状態で重要と考えられる速度変化点を選択することができる。
【００７９】
行動認識部４０５は、行動標準パターン記憶部４０４に記憶されている動作パターンデータ系列ＩＤごとに、動作パターンデータ系列および把持状態の組と、特徴選択部４０３で選択された手の動きデータおよび手の速度変化が起こった時刻における把持検出部４０２で推定された把持状態と、の類似度を求める（ステップＳ４０４）。例えば、行動標準パターン記憶部４０４に記憶されている把持状態と把持検出部４０２で推定された把持状態とが一致する場合にのみ、動作パターンデータ系列と手の動きデータとの間の類似度を求め、一致しない場合には類似度を０とする。なお、類似度の算出は、公知の技術を用いて行なうものとし、その詳細な説明は省略する。
【００８０】
行動認識部４０５は、求めた類似度と特定の閾値とを比較する（ステップＳ１０５）。類似度が特定の閾値以上となっている場合には（ステップＳ１０５でＹｅｓ）、行動認識部４０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベルを出力する（ステップＳ１０６）。
【００８１】
以上説明したように、実施の形態４に係る行動認識装置によると、物の把持状態が所定の把持状態を示し、かつ手の速度変化が起こった時刻における手の動きデータのみを、行動認識に用いる手の動きデータとして選択している。また、物の把持状態を行動認識にも用いている。このため、行動が起こる際の物の把持状態を考慮して行動認識を行なうことができ、実施の形態１に比べ、精度よく行動を認識することができる。
【００８２】
（実施の形態５）
実施の形態５に係る行動認識装置では、手の動きデータ、ユーザの腕姿勢および物の把持状態に基づいて、手の動きデータの選択および類似度の算出を行う。
【００８３】
図１８は、本発明の実施の形態５に係る行動認識装置の構成を示すブロック図である。上述の実施の形態に示した行動認識装置の構成と同一の構成要素については、同一の参照符号を付す。その機能および名称も同一であるため、その詳細な説明はここでは繰り返さない。
【００８４】
実施の形態５に係る行動認識装置は、手動作観測部５０１と、速度変化検出部１０２と、腕姿勢推定部２０２と、把持検出部４０２と、特徴選択部５０３と、行動標準パターン記憶部５０４と、行動認識部５０５とを備える。
【００８５】
手動作観測部５０１は、手動作観測部１０１と同様に、手の動きデータとして、手の加速度データ、角速度データおよび速度データを出力する。それに加え、手動作観測部５０１は、前腕、二の腕および肩の加速度・角速度もセンシングし、センシング結果を手の動きデータとして出力する。さらに、手動作観測部５０１は、手の筋肉の電位である手の筋電情報もセンシングして出力する。つまり、手動作観測部５０１は、手動作観測部２０１と、手動作観測部４０１との機能を兼ね備えた構成を有する。
【００８６】
特徴選択部５０３は、速度変化検出部１０２において検出される速度変化を示すデータと、腕姿勢推定部２０２において推定される腕姿勢を示すデータと、把持検出部４０２において推定される把持状態を示すデータとを用いて、行動認識に用いる手の動きデータを選択する。つまり、腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示し、かつ把持検出部４０２において推定される把持状態が所定の把持状態を示す場合において、速度変化検出部１０２によって手の速度変化が起こった時刻が検出された場合には、特徴選択部５０３は、検出された手の速度変化が起こった時刻における手の動きデータを選択する。
【００８７】
行動標準パターン記憶部５０４は、ユーザの行動ごとに、当該行動を手の速度変化が起きる時刻における手の動きデータの系列で表現した動作パターンデータ系列、手の速度変化が起きる時刻における腕姿勢および手の速度変化が起きる時刻における把持状態の組を記憶している。図１９に示すように、行動標準パターン記憶部２０４には、ユーザの行動ごとに、動作パターン系列ＩＤと、行動ラベルと、動作パターンデータ系列と、腕姿勢と、把持状態とが記憶されている。「腕姿勢」および「把持状態」は上述の実施の形態で説明した通りである。例えば、行動「飲料を飲む」の「腕姿勢」は「手が胸の前」であり、「把持状態」は「把持」であることを示している。
【００８８】
行動認識部５０５は、行動標準パターン記憶部５０４に記憶されている動作パターンデータ系列、腕姿勢および把持状態の組と、特徴選択部５０３で選択された手の動きデータ、手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢および手の速度変化が起こった時刻における把持検出部４０２で推定された把持状態と、の類似度を求める。そして、最も類似度が大きい組に対応する行動ラベルを出力することにより、ユーザの行動を認識する。
【００８９】
このように構成された本実施の形態に係る行動認識装置の動作例について説明する。図２０は、本実施の形態に係る行動認識装置の処理を示すフローチャートである。上述の実施の形態に係る行動認識装置の処理と同一の処理については、同一のステップ番号を付す。
【００９０】
手動作観測部５０１は、ユーザの手の動きをセンシングし、手の動きデータ（手の加速度データ、角速度データ、速度データ、前腕、二の腕および肩の加速度・角速度、手の筋電情報）を出力する（ステップＳ１０１）。
【００９１】
腕姿勢推定部２０２は、手動作観測部５０１から出力される手の動きデータのうち、前腕、二の腕および肩の加速度・角速度から肘・肩の関節の角度を推定する。また、肘・肩の関節の角度からユーザの体に対する腕姿勢を推定する（ステップＳ２０１）。
【００９２】
把持検出部４０２は、手動作観測部５０１から出力される手の筋電情報から、手が物を把持している状態である把持状態であるか否かを推定する（ステップＳ４０１）。
【００９３】
速度変化検出部１０２は、手動作観測部５０１から出力される手の動きデータから手の速度変化が起こる時刻、一例として手の速度が特定の閾値以下になる時刻を検出する（ステップＳ１０２）。
【００９４】
腕姿勢推定部２０２において推定される腕姿勢が所定の腕姿勢を示し、かつ把持検出部４０２で推定された把持状態が所定の把持状態を示す場合において、速度変化検出部１０２によって手の速度変化が起こった時刻が検出された場合には、特徴選択部５０３は、検出された手の速度変化が起こった時刻における手の動きデータを選択する（ステップＳ５０３）。一例として、腕姿勢推定部２０２で推定される腕姿勢が、手の位置が体の前方１ｍ四方に存在することを示し、かつ把持検出部４０２で推定される把持状態が手が物を把持していることを示す場合を想定する。この場合において、速度変化検出部１０２によって手の速度変化が起こった時刻が検出された場合には、特徴選択部５０３は、検出された手の速度変化が起こった時刻における手の動きデータを、手動作観測部５０１から出力される手の動きデータから選択する。これにより、特徴選択部５０３は、物を把持して使用する場合において、体に手が接した場合または手の存在位置として重要と思われる箇所に手がある場合で、かつ、手の速度変化が起きた場合のみの動きデータを選択することができる。手の存在位置として重要と思われる箇所の具体的な一例として、包丁で果物を向く際は胸の前、包丁で食材を切る際は腰の前などが挙げられる。よって、常時手の動きを観測した場合には、頻度高く生じる手の速度変化点から、手の位置から重要と考えられる速度変化点を選択することができる。なお、一例として、手の位置が体の前方１ｍ四方に存在する場合を手の存在位置として重要と思われる箇所としたが、重要と思われる箇所を例えば、胸の前、腰の前、体に触れている場合というように細分化して設定してもよい。
【００９５】
行動認識部５０５は、行動標準パターン記憶部５０４に記憶されている動作パターンデータ系列ＩＤごとに、動作パターンデータ系列、腕姿勢および把持状態の組と、行動標準パターン記憶部５０４で選択された手の動きデータ、手の速度変化が起こった時刻における腕姿勢推定部２０２で推定された腕姿勢および手の速度変化が起こった時刻における把持検出部４０２で推定された把持状態と、の類似度を求める（ステップＳ５０４）。例えば、行動標準パターン記憶部５０４に記憶されている腕姿勢および把持状態と、腕姿勢推定部２０２で推定された腕姿勢および把持検出部４０２で推定された把持状態とが一致する場合にのみ、行動認識部５０５は、動作パターンデータ系列と手の動きデータとの間の類似度を求める。一致しない場合には、行動認識部５０５は、類似度を０とする。なお、類似度の算出は、公知の技術を用いて行なうものとし、その詳細な説明は省略する。
【００９６】
行動認識部５０５は、求めた類似度と特定の閾値とを比較する（ステップＳ１０５）。類似度が特定の閾値以上となっている場合には（ステップＳ１０５でＹｅｓ）、行動認識部５０５は、類似度が最大となる動作パターンデータ系列に対応する行動ラベルを出力する（ステップＳ１０６）。
【００９７】
以上説明したように、実施の形態５に係る行動認識装置によると、腕姿勢が所定の姿勢を示し、かつ物の把持状態が所定の把持状態を示す場合において、手の速度変化が起こった時刻が検出された場合には、検出された手の速度変化が起こった時刻における手の動きデータのみを、行動認識に用いる手の動きデータとして選択している。また、腕姿勢および把持状態を行動認識にも用いている。このため、行動が起こる際の手の箇所および物の把持状態を考慮して行動認識を行なうことができる。このため、実施の形態１に比べ、精度よく行動を認識することができる。
【００９８】
以上、本発明の実施の形態に係る行動認識装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【００９９】
例えば、上述の実施の形態では、速度変化検出部１０２において検出される速度変化が起こった時刻を、手の動きの速度が特定の閾値以下である時刻としたが、これに限定されるものではない。例えば、所定の動作が行なわれた時刻を検出するようにしても良い。例えば、着目時刻の速度ベクトルと、着目時刻の次の時刻の速度ベクトルとのコサイン距離が特定の閾値未満となる場合に、着目時刻を手の速度変化が起こった時刻としても良い。これにより、ユーザが意図して手の動きを急峻に変化させた時刻を検出することができる。一例として、地面に対して水平にコップに手を伸ばした後にコップを持って引き戻すようにコップを口元まで動かす場合を考える。この場合、手を伸ばす動きの速度ベクトルと引き戻す動きの速度ベクトルとのコサイン距離が特定の閾値未満であれば、手の動きの向きが大きく変化したことを示す。これにより、動きの一連性が途切れた時刻、つまり何らかの意図がある動作が行われた時刻を検出することができる。
【０１００】
また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１０１】
さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１０２】
さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
【０１０３】
また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
【０１０４】
さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。
【０１０５】
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
【０１０６】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
【０１０７】
また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
【０１０８】
さらに、上記実施の形態をそれぞれ組み合わせるとしても良い。
【０１０９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０１１０】
本発明は、ユーザの行動を観測することができ、常時ユーザの行動をセンシングし続けるウェアラブルデバイスやユーザの行動を記録し続けるライフログ収集機器、ユーザの健康などを監視する健康家電等として有用である。
【符号の説明】
【０１１１】
１０１、２０１、４０１、５０１  手動作観測部
１０２  速度変化検出部
１０３、２０３、３０３、４０３、５０３  特徴選択部
１０４、２０４、３０４、４０４、５０４  行動標準パターン記憶部
１０５、２０５、３０５、４０５、５０５  行動認識部
２０２  腕姿勢推定部
３０１  体姿勢観測部
３０２  体姿勢推定部
４０２  把持検出部
７０１、７０２  速度ベクトル
１００１〜１００４  領域
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
手の動きに基づいて、ユーザの行動を認識する行動認識装置であって、
ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する手動作観測部と、
前記手動作観測部から出力される前記手の動きデータから、前記ユーザの手の動きが所定の行動パターンを取った時刻を検出する速度変化検出部と、
前記速度変化検出部によって検出された時刻において、前記手動作観測部から出力される前記手の動きデータを選択する特徴選択部と、
ユーザの行動ごとに、手の動きデータの系列で表現した動作パターンデータ系列を記憶している行動標準パターン記憶部と、
前記行動標準パターン記憶部に記憶されている前記動作パターンデータ系列ごとに、当該動作パターンデータ系列と、前記特徴選択部で選択された前記手の動きデータと、により求められる類似度が最も大きい動作パターンデータ系列により表現される行動を、前記ユーザの行動として認識する行動認識部と
を備える行動認識装置。
【請求項２】
前記行動認識装置は、さらに、
前記手動作観測部から出力される前記手の動きデータから、前記ユーザの体に対する腕姿勢を推定する腕姿勢推定部を備え、
前記特徴選択部は、前記腕姿勢が所定の腕姿勢を示す場合において、前記速度変化検出部によって前記ユーザの手の動きが所定の行動パターンを取った時刻が検出された場合には、検出された前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記手の動きデータを選択する
請求項１記載の行動認識装置。
【請求項３】
前記行動認識装置は、さらに、
前記ユーザの体姿勢を推定する体姿勢推定部を備え、
前記特徴選択部は、前記腕姿勢が所定の腕姿勢を示し、かつ前記体姿勢が所定の体姿勢を示す場合において、前記速度変化検出部によって前記ユーザの手の動きが所定の行動パターンを取った時刻が検出された場合には、検出された前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記手の動きデータを選択する
請求項２記載の行動認識装置。
【請求項４】
前記行動標準パターン記憶部は、ユーザの行動ごとに、当該行動を手の動きデータの系列で表現した動作パターンデータ系列および前記手の速度変化が起きる時刻における腕姿勢の組を記憶しており、
前記行動認識部は、前記組ごとに、当該組と、前記特徴選択部で選択された前記手の動きデータおよび前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記腕姿勢推定部で推定された前記腕姿勢と、により求められる類似度が最も大きい組により表現される行動を、前記ユーザの行動として認識する
請求項２記載の行動認識装置。
【請求項５】
前記行動認識装置は、さらに、
前記ユーザの手が物を握る時の把持状態を推定する把持検出部を備え、
前記特徴選択部は、前記把持状態が所定の把持状態を示す場合において、前記速度変化検出部によって前記ユーザの手の動きが前記所定の行動パターンを取った時刻が検出された場合には、検出された前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記手の動きデータを選択する
請求項１記載の行動認識装置。
【請求項６】
前記行動標準パターン記憶部は、ユーザの行動ごとに、当該行動を手の動きデータの系列で表現した動作パターンデータ系列および前記ユーザの手の動きが前記所定の行動パターンを取った時刻における把持状態の組を記憶しており、
前記行動認識部は、前記組ごとに、当該組と、前記特徴選択部で選択された前記手の動きデータおよび前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記把持検出部で検出された前記把持状態と、により求められる類似度が最も大きい組により表現される行動を、前記ユーザの行動として認識する
請求項５記載の行動認識装置。
【請求項７】
前記行動認識装置は、さらに、
前記ユーザの手が物を握る時の把持状態を推定する把持検出部を備え、
前記特徴選択部は、前記腕姿勢が所定の腕姿勢を示し、かつ前記把持状態が所定の把持状態を示す場合において、前記速度変化検出部によって前記ユーザの手の動きが前記所定の行動パターンを取った時刻が検出された場合には、検出された前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記手の動きデータを選択する
請求項２記載の行動認識装置。
【請求項８】
前記行動標準パターン記憶部は、ユーザの行動ごとに、当該行動を手の動きデータの系列で表現した動作パターンデータ系列、前記ユーザの手の動きが前記所定の行動パターンを取った時刻における腕姿勢および前記ユーザの手の動きが前記所定の行動パターンを取った時刻における把持状態の組を記憶しており、
前記行動認識部は、前記組ごとに、当該組と、前記特徴選択部で選択された前記手の動きデータ、前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記腕姿勢推定部で推定された前記腕姿勢および前記ユーザの手の動きが前記所定の行動パターンを取った時刻における前記把持検出部で検出された前記把持状態と、により求められる類似度が最も大きい組により表現される行動を、前記ユーザの行動として認識する
請求項４記載の行動認識装置。
【請求項９】
前記速度変化検出部は、前記手の動きデータに基づいて、手の速度が所定の閾値以下となる時刻を、前記ユーザの手の動きが前記所定の行動パターンを取った時刻として検出する
請求項１〜８のいずれか１項に記載の行動認識装置。
【請求項１０】
前記速度変化検出部は、前記手の動きデータに基づいて、ある検出時刻における手の速度ベクトルと次の検出時刻における手の速度ベクトルとの間のコサイン距離が所定の閾値未満となる前記ある検出時刻を、前記ユーザの手の動きが前記所定の行動パターンを取った時刻として検出する
請求項１〜８のいずれか１項に記載の行動認識装置。
【請求項１１】
前記速度変化検出部は、前記手の動きデータに基づいて、ある検出時刻における手の速度ベクトルと次の検出時刻における手の速度ベクトルとの間の速度勾配差が所定の閾値以上となる前記ある検出時刻を、前記ユーザの手の動きが前記所定の行動パターンを取った時刻として検出する
請求項１〜８のいずれか１項に記載の行動認識装置。
【請求項１２】
手の動きに基づいて、ユーザの行動を認識する行動認識方法であって、
ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する手動作観測ステップと、
前記手動作観測ステップにおいて出力される前記手の動きデータから、前記ユーザの手の動きが所定の行動パターンを取った時刻を検出する速度変化検出ステップと、
前記速度変化検出ステップにおいて検出された時刻において、前記手動作観測ステップにおいて出力される前記手の動きデータを選択する特徴選択ステップと、
ユーザの行動ごとに、手の動きデータの系列で表現した動作パターンデータ系列を記憶している行動標準パターン記憶部に記憶されている前記動作パターンデータ系列ごとに、当該動作パターンデータ系列と前記特徴選択ステップにおいて選択された前記手の動きデータと、により求められる類似度が最も大きい動作パターンデータ系列により表現される行動を、前記ユーザの行動として認識する行動認識ステップと
を含む行動認識方法。
【請求項１３】
手の動きに基づいて、ユーザの行動を認識するプログラムであって、
ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する手動作観測ステップと、
前記手動作観測ステップにおいて出力される前記手の動きデータから、前記ユーザの手の動きが所定の行動パターンを取った時刻を検出する速度変化検出ステップと、
前記速度変化検出ステップにおいて検出された時刻において、前記手動作観測ステップにおいて出力される前記手の動きデータを選択する特徴選択ステップと、
ユーザの行動ごとに、手の動きデータの系列で表現した動作パターンデータ系列を記憶している行動標準パターン記憶部に記憶されている前記動作パターンデータ系列ごとに、当該動作パターンデータ系列と前記特徴選択ステップにおいて選択された前記手の動きデータと、により求められる類似度が最も大きい動作パターンデータ系列により表現される行動を、前記ユーザの行動として認識する行動認識ステップと
をコンピュータに実行させるためのプログラム。
【請求項１４】
手の動きに基づいて、ユーザの行動を認識するための特徴を選択する特徴選択装置であって、
ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する手動作観測部と、
前記手動作観測部から出力される前記手の動きデータから、前記ユーザの手の動きが所定の行動パターンを取った時刻を検出する速度変化検出部と、
前記速度変化検出部によって検出された時刻において、前記手動作観測部から出力される前記手の動きデータを選択する特徴選択部と、
を備える特徴選択装置。
【請求項１５】
手の動きに基づいて、ユーザの行動を認識する行動認識装置であって、
ユーザの手の動きを検出することにより、当該手の動きを示す手の動きデータを出力する手動作観測部と、
前記手動作観測部から出力される前記手の動きデータから、前記ユーザの手の動きが所定の行動パターンを取った時刻を検出する速度変化検出部と、
前記速度変化検出部によって検出された時刻において、前記手動作観測部から出力される前記手の動きデータを選択する特徴選択部と、
前記特徴選択部で選択された手の動きデータから、ユーザの行動を認識する行動認識部と、
を備える行動認識装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010137325.tif 000024
【図２】
2010137325.tif 000025
【図３】
2010137325.tif 000026
【図４】
2010137325.tif 000027
【図５】
2010137325.tif 000028
【図６】
2010137325.tif 000029
【図７Ａ】
2010137325.tif 000030
【図７Ｂ】
2010137325.tif 000031
【図８】
2010137325.tif 000032
【図９】
2010137325.tif 000033
【図１０】
2010137325.tif 000034
【図１１】
2010137325.tif 000035
【図１２】
2010137325.tif 000036
【図１３】
2010137325.tif 000037
【図１４】
2010137325.tif 000038
【図１５】
2010137325.tif 000039
【図１６】
2010137325.tif 000040
【図１７】
2010137325.tif 000041
【図１８】
2010137325.tif 000042
【図１９】
2010137325.tif 000043
【図２０】
2010137325.tif 000044
【国際調査報告】
2010137325.tif 000045
2010137325.tif 000046