(57)【特許請求の範囲】
【請求項１】
音情報を取得する音情報取得部と、
前記音情報を所定周期で間欠的に取得するように前記音情報取得部を制御する音情報取得制御部と、
前記音情報から所定の特徴量を抽出する特徴量抽出部と、
抽出した前記所定の特徴量と、所定の行動について予め登録されている特徴量に基づいて、第１の期間毎の行動を判定し第１判定結果として出力する第１行動判定部と、
前記第１の期間より長い第２の期間に含まれる複数の前記第１の期間の複数の前記第１判定結果に基づいて所定の評価値を算出し、算出した前記所定の評価値に基づいて、前記第２の期間についての行動を判定し第２判定結果として出力する第２行動判定部と、
を有する行動判定装置。
【請求項２】
前記第１行動判定部は、前記第１の期間毎の行動についての推定確率を算出し、
前記第２行動判定部は、前記推定確率の情報に基づいて、前記評価値を算出する請求項１に記載の行動判定装置。
【請求項３】
前記第２行動判定部は、前記第１行動判定部が前記第１の期間の行動が連続して所定回数以上同じ行動であると判定し、かつ連続する前記同じ行動の推定確率が所定の閾値以上であるとき、前記評価値を算出する請求項２に記載の行動判定装置。
【請求項４】
加速度センサを有し、
前記所定周期は、前記加速度センサの出力に基づいて検出された姿勢の変化に応じて変更される請求項１から３のいずれか１つに記載の行動判定装置。
【請求項５】
前記所定周期は、前記姿勢の変化後、所定期間が経過すると、前記姿勢の変化前よりも長くなるように変更される請求項４に記載の行動判定装置。
【請求項６】
前記所定の行動について予め登録されている特徴量の複数のモデル情報を記憶する第１の記憶部を有し、
前記第１行動判定部では、前記加速度センサの出力に基づいて検出された姿勢に基づいて、前記複数のモデル情報の中から、前記第１の期間における行動判定に用いられるモデル情報は選択されることを特徴とする請求項４又は５に記載の行動判定装置。
【請求項７】
前記姿勢に対応して、前記第１の期間における行動判定に用いられる前記モデル情報を格納する第２の記憶部を有し、
前記第２の記憶部に記憶された前記モデル情報に基づいて、前記第１の期間における行動判定に用いられるモデル情報が選択されることを特徴とする請求項６に記載の行動判定装置。
【請求項８】
音情報取得制御部と、特徴量抽出部と、行動判定部とを用いて、行動を判定する行動判定方法において、
前記音情報取得制御部により、音情報を所定周期で間欠的に取得し、
前記特徴量抽出部により、前記音情報から所定の特徴量を抽出し、
前記行動判定部により、抽出した前記所定の特徴量と、所定の行動について予め登録されている特徴量に基づいて、第１の期間毎の行動を判定し第１判定結果として出力し、
前記行動判定部により、前記第１の期間より長い第２の期間に含まれる複数の前記第１の期間の複数の前記第１判定結果に基づいて所定の評価値を算出し、
前記行動判定部により、算出した前記所定の評価値に基づいて、前記第２の期間についての行動を判定し第２判定結果として出力する、
行動判定方法。
【請求項９】
前記所定周期は、加速度センサの出力に基づいて検出された姿勢の変化に応じて変更される請求項８に記載の行動判定方法。
【請求項１０】
前記行動判定部により、前記加速度センサの出力に基づいて検出された姿勢に基づいて、前記所定の行動について予め登録されている特徴量の複数のモデル情報の中から、前記第１の期間における行動判定に用いられるモデル情報を選択することを特徴とする請求項９に記載の行動判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、行動判定装置及び行動判定方法に関する。
【背景技術】
【０００２】
従来より、加速度センサ、カメラなどを利用して人の行動を判定する技術が、種々提案されている。このような技術は、例えば一人暮らしの者の状況を把握するシステムに、応用可能である。
【０００３】
また、音情報を利用して対象物の状況を認識する技術が提案されている。例えば、入力された音情報の特徴量と、特徴量と特定の状況とが対応付けられている所定のモデルの特徴量とを比較することにより、状況認識は行われる。
【０００４】
しかし、人の行動を判定するための音情報を利用する場合、省電力をどのように行うか、及び、行動判定の精度をどのように高めるかという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１９０８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本実施形態は、省電力を図りつつ、音情報を利用して人の行動を精度よく判定することができる行動判定装置及び行動判定方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態の行動判定装置は、音情報を取得する音情報取得部と、前記音情報を所定周期で間欠的に取得するように前記音情報取得部を制御する音情報取得制御部と、前記音情報から所定の特徴量を抽出する特徴量抽出部と、抽出した前記所定の特徴量と、所定の行動について予め登録されている特徴量に基づいて、第１の期間毎の行動を判定し第１判定結果として出力する第１行動判定部と、前記第１の期間より長い第２の期間に含まれる複数の前記第１の期間の複数の前記第１判定結果に基づいて所定の評価値を算出し、算出した前記所定の評価値に基づいて、前記第２の期間についての行動を判定し第２判定結果として出力する第２行動判定部と、を有する。
【図面の簡単な説明】
【０００８】
【図１】実施形態に関わる行動判定装置１の外観図である。
【図２】実施形態に関わる、行動判定装置１を腕Hに装着した状態を示す図である。
【図３】実施形態に関わる、行動判定装置１の本体部１１の主要部の構成を示すブロック図である。
【図４】実施形態に関わるDSP２２の主要な構成を示すブロック図である。
【図５】実施形態に関わる、マイクロフォン２３の出力信号から特徴量抽出が行われるタイミングを示すタイムチャートである。
【図６】実施形態に関わる、行動判定部３５における行動判定処理の流れの例を示すフローチャートである。
【図７】実施形態に関わる、認識対象行動の閾値Th1のテーブルTBL1の例を示す図である。
【図８】実施形態に関わる、推定確率及び連続回数の閾値Th2,Th3のテーブルTBL2の例を示す図である。
【図９】実施形態に関わる区間判定の処理の流れの例を示すフローチャートである。
【図１０】実施形態に関わる、制御部２１が実行する省電力制御の処理の流れの例を示すフローチャートである。
【図１１】実施形態に関わる、姿勢の変化と所定周期C1の変化を説明するためのタイムチャートである。
【図１２】実施形態に関わる、姿勢と認識対象行動との対応関係を示すテーブルTBL3である。
【図１３】実施形態に関わる行動判定装置１を利用したアプリケーションシステム４１の構成を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して実施形態を説明する。
（全体構成）
図１は、実施形態に関わる行動判定装置１の外観図である。図２は、実施形態に関わる、行動判定装置１を腕Hに装着した状態を示す図である。  
行動判定装置１は、所謂リストバンド型装置であり、本体部１１と、装着部１２とを有して構成される。
【００１０】
装着部１２は、本体部１１の長手方向両端部に取り付けられる２本のリストバンド１３，１４を有して構成される。２本のリストバンド１３，１４は、それぞれ細長帯状に形成され、先端に留め具１５，１６を有して構成される。
【００１１】
ユーザは、図２に示すように、本体部１１をユーザの利き腕である右の腕Hの外側（手の甲側）に配置し、２本のリストバンド１３、１４をそれぞれ手の内側（手のひら側）に回し、留め具１５、１６を留め、行動判定装置１を前腕Hの手首に装着可能となっている。
以上のように、行動判定装置１は、行動を判定する対象者の人体に装着する装着部１２を有し、その装着部１２は、リストバンドであり、行動を判定する対象者の腕に装着可能である。
【００１２】
本体部１１は、表面に、集音口１７と、表示部１８と、表示部１８の表示面上に密着して配置されたタッチパネル１９とを有して構成される。本体部１１は、側面に、２つの操作ボタンである操作部２０を有して構成される。本体部１１は後述する無線通信部２７（図３）を有し、スマートフォン等の携帯情報端末と無線通信可能である。
【００１３】
本体部１１の表面に設けられた表示部１８は、制御部２１（図３）に接続され、制御部２１からの制御信号により、各種情報を表示可能である。  
タッチパネル１９は、タッチ操作やスワイプ操作（タッチパネル１９に指をタッチして指を滑らせる操作）による指示入力が可能である。タッチパネル１９は、制御部２１に接続され、ユーザの指示入力を電気信号として制御部２１に送信可能である。
【００１４】
操作部２０の操作ボタンは、現在時刻等の各種設定等の各種指示の入力が可能である。なお、図１においては、操作部２０は、本体部１１の側面に設けられているが、本体部１１の表面に設けてもよい。
（本体部の構成）
図３は、実施形態に関わる、行動判定装置１の本体部１１の主要部の構成を示すブロック図である。
【００１５】
図３に示すように、本体部１１は、上述した表示部１８、タッチパネル１９及び操作部２０に加えて、制御部２１と、デジタル・シグナル・プロセッサ（以下、DSPという）２２と、マイクロフォン２３と、加速度センサ２４と、時計部２５と、メモリ２６と、無線通信部２７とを有して構成される。DSP２２、マイクロフォン２３、加速度センサ２４、時計部２５、メモリ２６及び無線通信部２７は、制御部２１と接続されている。
【００１６】
制御部２１は、中央処理装置（以下「CPU」という）２１ａと、ROM及びRAMに加えて、フラッシュメモリなどの書き換え可能な不揮発性メモリを含むメモリ部２１ｂとを有して構成される。CPU２１ａは、メモリ部２１ｂに記憶された各種プログラムを実行可能である。
【００１７】
また、制御部２１は、ユーザの行動判定において、省電力のためにマイクロフォン２３を間欠的に駆動させるように、マイクロフォン２３のオン・オフ制御も行っている。省電力制御プログラムは、メモリ部２１ｂに記憶されている。
【００１８】
DSP２２は、後述する行動判定処理を含む各種処理を実行可能な回路を含む。さらに、DSP２２は、後述する各種テーブルなどの各種データを記憶する書き換え可能な不揮発性メモリ部２２ａも含む。
【００１９】
マイクロフォン２３は、集音口１７の背面側に配置される。マイクロフォン２３は、制御部２１の制御の下で、所定周期C1で、例えば１秒周期で間欠的に動作して、本体部１１の表面の集音口１７から外部の音を集音し、集音された音を音信号に変換して出力する。マイクロフォン２３は、例えば１００msec間は動作状態となり、９００msec間は休止状態となる。すなわち、所定周期C1は、マイクロフォン２３の動作サイクルであり、マイクロフォン２３は、所定周期C1毎に、１００msecの間、動作状態となる。  
マイクロフォン２３からの音信号は、制御部２１の制御の下で所定周期C1でDSP２２に入力され、DSP２２で音情報が生成される。
よって、制御部２１とDSP２２が、マイクロフォン２３の音信号から、音情報を取得する音情報取得部を構成し、制御部２１は、音情報を所定周期C1で間欠的に取得するようにマイクロフォン２３を制御する音情報取得制御部を構成する。
【００２０】
加速度センサ２４は、３軸加速度センサである。後述するように、加速度センサ２４の出力は、制御部２１におけるユーザの姿勢判定のために用いられる。  
時計部２５は、時刻情報を生成可能であり、制御部２１に対し、時刻情報を送信可能である。
【００２１】
メモリ２６は、書き換え可能な不揮発性メモリを含んで構成される。メモリ２６は、各種情報を記憶可能であり、メモリ２６には、後述する判定されたユーザの行動の情報が記録される。
【００２２】
無線通信部２７は、スマートフォン等の携帯情報端末とのデータ通信を行うための回路であり、近距離無線通信のための回路である。制御部２１は、メモリ２６に記録されたユーザの行動情報を、無線通信部２７から外部機器へ送信可能である。
【００２３】
図４は、DSP２２の主要な構成を示すブロック図である。  
DSP２２は、特徴量抽出部３１と、特徴量正規化部３２と、分類部３３と、辞書部３４とを含む。図４の行動判定部３５は、制御部２１に含まれる。
【００２４】
DSP２２には、マイクロフォン２３から間欠的に、上記の例であれば１秒の所定周期C1で音信号が入力され、DSP２２は、アナログ信号の音信号をデジタル信号の音情報に変換する。
【００２５】
音情報は、特徴量抽出部３１に入力される。特徴量抽出部３１は、音情報から所定の特徴量を算出して抽出する回路である。  
特徴量抽出部３１は、音情報が入力される度に、音情報から複数の特徴量を算出して抽出する。例えば、MFCC（Mel Frequency Cepstral Coefficients）、RMS（Root Mean Square：二乗平均平方根）、及びZCR（Zero-Crossing Rate：ゼロ交差率）の３種類の特徴量が複数抽出される。MFCCでは、人間の聴覚上重要な周波数成分を強調した特徴量が用いられ、RMSでは、音の強度の特徴量が用いられ、ZCRでは、音の高さすなわちピッチの特徴量が用いられる。
【００２６】
なお、ここでは、MFCC、RMS、ZCRの３種類の特徴量を用いているが、これら以外の特徴量を用いても良い。  
特徴量正規化部３２は、分類部３３でモデル情報を用いた各種特徴量の比較ができるように、抽出された各特徴量の値を正規化する回路である。
【００２７】
分類部３３は、音情報について特徴量抽出部３１で抽出された複数の特徴量を、複数の認識対象行動の複数のモデルのいずれかに分類することによって、その音情報に係わる行動を認識し、認識された行動の情報を、認識結果として出力する回路である。  
認識結果には、認識すなわち推定された行動と、推定結果の信頼度を示す推定確率の２つの情報が含まれる。
【００２８】
分類部３３は、例えば、サポート・ベクター・マシン（Support Vector Machine：SVM）を利用して、入力された複数の特徴量がどのクラスすなわち行動に属するかの推定を行い、その推定された行動と推定確率の情報を出力する。  
なお、分類部３３は、サポート・ベクター・マシン以外の方法も利用して、複数の特徴量から行動の推定すなわち認識を行うようにしてもよい。
すなわち、分類部３３は、音情報から抽出した所定の特徴量と、所定の行動について予め登録されている特徴量に基づいて、所定周期の期間毎の行動を判定し、判定結果として出力する第１行動判定部を構成する。
【００２９】
辞書部３４は、DSP２２内のメモリ部２２ａに含まれる辞書データである。辞書データは、所謂機械学習により得られた認識対象行動毎のモデル情報を記憶している。具体的には、モデル情報は、特定の行動についての音情報から抽出された複数の特徴量と、特定の行動とが対応付けられているデータからなる。各モデル情報は、ユーザの行動の認識を行うときに分類部３３により参照される。
【００３０】
認識対象行動毎のモデル情報は、実際の行動に伴う音情報から各特徴量を算出して得て、得られた各特徴量のデータに基づいて作成される。  
分類部３３には、正規化された複数の特徴量情報が間欠的に所定周期C1で入力され、音情報の特徴量情報が入力される毎に行動認識を行い、認識すなわち推定された行動とその推定確率の２つの情報を出力する。上述した例であれば、分類部３３は、１秒周期で認識された行動と推定確率の２つの情報を含む判定結果を出力する。
すなわち、分類部３３は、所定周期C1の期間（例えば１秒間）毎の行動についての推定確率を算出して出力する。
【００３１】
行動判定部３５は、制御部２１において実行され、所定区間CT（図５）におけるユーザの行動の判定を行う処理部である。行動判定部３５の処理の詳細については、後述する。  
分類部３３は、上述した複数のモデル情報を参照して、音情報についての複数の特徴量情報に基づいて、ユーザの行動の認識すなわち判定を行うが、出力される複数の認識結果には誤った認識結果が含まれる場合がある。そこで、行動判定部３５は、分類部３３から出力される行動の認識結果の誤認識を修正するために、所定周期C1よりも長い期間である所定区間CTの単位で、行動判定を行う。所定区間CTは、例えば１分である。行動判定部３５の処理の詳細については、後述する。
すなわち、行動判定部３５は、第１行動判定部である分類部３３の判定結果に基づいて、所定周期C1に対応する期間より長い期間についての行動を判定し、判定結果として出力する第２行動判定部を構成する。
【００３２】
図５は、マイクロフォン２３の出力信号から特徴量抽出が行われるタイミングを示すタイムチャートである。  
制御部２１は、省電力のために、上述したようにマイクロフォン２３を所定周期C1で間欠的に駆動するように、マイクロフォン２３への電源供給のオン・オフ制御を行う。
【００３３】
図５に示すように、制御部２１は、所定周期C1でマイクロフォン２３を間欠的に駆動し、所定周期C1内の所定期間taだけマイクロフォン２３に電源を供給して駆動状態にし、その後の期間tbは、マイクロフォン２３に電源を供給しないで休止状態にする。マイクロフォン２３は、所定期間taの間だけ音信号を出力するので、DSP２２では、特徴量の抽出は、所定周期C1毎に、所定期間taの間だけ行われ、所定周期C1の残りの期間tbは、特徴量の抽出処理を行われない。
【００３４】
上記の例であれば、所定周期C1が１秒で、所定期間taが１００msecで、残りの期間tbは、９００msecである。
すなわち、制御部２１は、所定周期C1で、マイクロフォン２３の動作状態と休止状態とを交互に繰り返すように、マイクロフォン２３を制御する。
よって、DSP２２が、マイクロフォン２３から所定周期C1で間欠的に音信号を入力して、音情報に基づいて複数のモデル情報を参照して、ユーザの行動認識を行い、制御部２１は、所定区間CTの単位で、最終的な行動判定を行う。例えば、行動判定部３５は、所定区間CTが１分であれば、１分単位で、分類部３３からの推定された６０個の行動と、それぞれの推定確率の２つの情報とに基づいて、行動判定を行う。
【００３５】
以上説明した行動判定装置１は、ユーザの腕Hに装着され、音情報からユーザの行動を自動的に判定し、判定された行動の情報は、内部のメモリ２６に記録される。
（作用）
次に、上述した行動判定装置１の動作について説明する。
【００３６】
ユーザは、図２に示すように、腕Hに行動判定装置１を装着する。ユーザが行動判定装置１に対し、操作部２０の操作ボタンなどから行動判定開始の指示を与えると、制御部２１は内部のROMから行動判定に関わる各種プログラムとデータを読み込み、内部のRAMに展開し、プログラムを実行する。
（行動判定）
図６は、行動判定部３５における行動判定処理の流れの例を示すフローチャートである。
【００３７】
分類部３３は、所定周期C1毎に、上述した例であれば１秒毎に音情報に基づいて推定した行動の情報を認識結果として出力する。行動判定部３５は、認識結果をN回分蓄積する（ステップ（以下Sと略す）1）。N回は、所定区間CTに対応する回数である。すなわち、分類部３３から出力された認識結果の情報が、所定区間CT分だけ蓄積される。ここでは、所定区間CTが１分間であれば、Nは６０となる。よって、S2以降の処理は、認識結果がN回分蓄積されると実行される。
【００３８】
行動判定部３５は、所定区間CT内における各認識対象行動の出現頻度をカウントする（S2）。  
上述したように辞書部３４には、認識すべき行動としての複数の認識対象行動についてのモデル情報が予め登録されており、分類部３３は、それらの認識対象行動の認識結果を出力する。行動判定部３５は、所定区間CT中における、認識対象行動毎の推定回数、言い換えれば出現頻度を算出する。例えば、「トイレにいく」という行動が、１分間（所定区間CT）に３０回認識されたとすれば、その行動の出現頻度は、３０となる。辞書部３４に登録されている全ての認識対象行動について、出現頻度がカウントされる。
【００３９】
行動判定部３５は、登録されている複数、ここではM個の認識対象行動の中から１つを選択し（S3）、選択した行動Xの出現頻度がその行動Xについて予め設定されている閾値Th1以上であるかを判定する（S4）。
【００４０】
例えば、「トイレにいく」、「皿洗い」、「ドライヤーをかけ」等の６個の認識対象行動が辞書部３４に登録されているとき、すなわちMが６であるとき、まず１つの認識対象行動を選択して、その選択された認識対象行動、例えば「トイレにいく」という行動についての、１分間（所定区間CT）における出現頻度が、その認識対象行動について設定されて登録されている閾値Th1以上であるかが判定される。閾値Th1は、認識対象行動毎に異なる。
【００４１】
図７は、認識対象行動の閾値Th1のテーブルTBL1の例を示す図である。テーブルTBL1の情報は、制御部２１内のメモリ部２１ｂに登録されている。  
図７に示すように、各認識対象行動に対応して頻度の閾値Th1の情報が、テーブルTBL1に設定されている。例えば、行動１が「トイレにいく」という行動であれば、S4では、行動１の出現頻度が、行動１の閾値Th1以上であるかが判定される。
【００４２】
そして、行動Xの出現頻度がその行動Xについて予め設定されている閾値Th1以上である場合（S4:YES）、行動判定部３５は、その行動Xの判定基準を変更する（S5）。なお、行動Xの出現頻度が閾値Th1以上でない場合（S4:NO）、処理は、S6へ移行する。
【００４３】
具体的には、S5では、DSP２２は、その行動Xの判定基準を誤認識軽減設定時の判定基準に変更する。  
図８は、推定確率及び連続回数の閾値Th2,Th3のテーブルTBL2の例を示す図である。テーブルTBL2の情報も、制御部２１内のメモリ部２１ｂに登録されている。
【００４４】
図８に示すように、推定確率の閾値Th2について、通常時と誤認識軽減設定時の２つの閾値の情報が、テーブルTBL2に設定されている。さらに、連続回数の閾値Th3について、通常時と誤認識軽減設定時の２つの閾値の情報も、テーブルTBL2に設定されている。
【００４５】
図８の各閾値は、経験的にあるいは実験的に設定される値である。例えば、ある行動、例えば「トイレにいく」という行動は、１分間（所定区間CT）においてどの程度の推定確率で、どの程度の連続性を持って出現するかが経験的にあるいは実験的に判定されて、テーブルTBL2に設定される。「トイレにいく」の場合、実際に、どの程度の高い推定確率が、どの程度連続的に発生するかが測定されて、通常時と誤認識軽減設定時のそれぞれの推定確率と連続回数の各閾値が、テーブルTBL2に設定されて登録される。
【００４６】
図８の場合、行動Xの出現頻度がその行動Xについて予め設定されている閾値Th1以上であるとき（S4:YES）、テーブルTBL2が参照されて、推定確率の閾値Th2は、通常時の閾値「０．９」から誤認識軽減設定時の閾値「０．９５」に変更され、連続回数の閾値Th3は、通常時の閾値「３」から誤認識軽減設定時の閾値「５」に変更される。
【００４７】
行動判定部３５は、S4でNOの場合、又はS5の後、区間判定を行う（S6）。  
よって、行動Xの出現頻度がその行動Xについて予め設定されている閾値Th1以上であるとき（S4:YES）、誤認識軽減設定時の推定確率と連続回数の各閾値が選択され、行動Xの出現頻度がその行動Xについて予め設定されている閾値Th1以上でないとき（S4:NO）、通常時の推定確率と連続回数の各閾値が選択される。
【００４８】
図９は、区間判定の処理の流れの例を示すフローチャートである。  
行動判定部３５は、推定確率が閾値Th2以上である認識結果の連続回数が閾値Th3以上であるか否かを判定する（S11）。S11では、当該行動があったとの判定が行われる。
【００４９】
分類部３３は、所定周期C1毎に推定結果を出力するので、行動判定部３５では、ここで、分類部３３から連続して出力される推定結果である認識結果において、推定確率が閾値Th2以上の認識結果が連続して出力されるとき、その連続回数が閾値Th3以上であるかが、S11において判定される。
【００５０】
推定確率が閾値Th2以上である認識結果の連続回数が閾値Th3以上であるとき（S11:YES）、当該行動があったと判定がされ、行動判定部３５は、当該行動のランクを算出する（S12）。ランクは、評価値である。ランクの値は、例えば、推定確率が閾値Th2以上である認識結果の連続したときの推定確率の和である。
【００５１】
推定確率が閾値Th2以上である推定結果の連続回数が閾値Th3以上でないとき（S11:NO）、行動判定部３５は、当該行動は、発生しなかったと判定する（S13）。すなわち、当該行動がなかったと判定がされる。
【００５２】
行動Xの出現頻度が閾値Th1以上であると（S4:YES）、S5において判定基準が、誤認識軽減設定時の判定基準に変更され、推定確率閾値及び連続回数閾値が通常時よりも高くなる。よって、S11では、行動Xの出現頻度が閾値Th1以上であるとき（S4:YES）当該行動があったとの判定がより厳しく行われる。
【００５３】
言い換えれば、まずS4において、所定区間CT（上記の例では１分間）における出現頻度に基づいて、当該行動の有無の一時的な判定を行う。一時的な判定で当該行動があったと判定すなわち推定されたときは（S4:YES）、誤認識を防止するために、最終的な判定のための判定基準となる、推定確率と連続回数の各閾値を高める（S5）。一時的な判定で当該行動があったと判定されないときは（S4:NO）、最終的な判定のための判定基準は変更しない。
【００５４】
S11では、推定確率と連続回数に基づいて、当該行動の有無を最終的に判定し、当該行動があったとき判定されたときは（S11:YES）、当該行動のランクを算出する（S12）。当該行動があったとき判定されなかったときは（S11:NO）、当該行動はなかったと最終的な判定が行われる（S13）。
【００５５】
１つの認識対象行動について以上の処理が終了すると、全ての認識対象行動についての以上の処理が実行されるまで、他の認識対象行動についても、以上の処理が実行される。認識対象行動の数Mが６であれば、S4からS6の処理は、６回繰り返される。最終的には、全ての認識対象行動について、S4からS6の処理が実行される。  
S3からS6の処理が実行されると、各認識対象行動についてのランク情報が得られる。
【００５６】
図６に戻り、行動判定部３５は、１又は２以上の認識対象行動の中から、最高ランクの認識対象行動を、当該区間の行動として判定する（S7）。行動判定部３５は、判定結果に、時計部２５の生成する時刻情報を付加してメモリ２６に記録する。
【００５７】
すなわち、当該区間すなわち所定区間CTにおいて、複数の行動があったと判定される可能性があるので、１区間すなわち所定区間CT内では、ユーザは１つの行動しか取らないという前提に基づき、あったと判定された複数の行動の中から、最高ランク、すなわち最も評価値の高い行動を、当該所定区間CTにおける行動と判定する。
【００５８】
なお、S7では、当該所定区間の行動を上述したようなランクに基づき判定しているが、上述したランク以外の評価値を用いて、当該所定区間の行動を判定するようにしてもよい。
以上のように、行動判定部３５は、推定確率の情報に基づいて、評価値を算出する。行動判定部３５は、所定区間CTに含まれる複数の所定周期C1に対応する期間の複数の判定結果に基づいて、所定の評価値を算出し、算出した所定の評価値に基づいて、所定区間CTについての行動を判定する。
そして、行動判定部３５は、分類部３３が所定周期C1に対応する期間の行動が連続して所定回数Th3以上同じ行動であると判定し、かつ連続する同じ行動の推定確率が所定の閾値Th2以上であるとき、評価値を算出する。
【００５９】
（省電力化）
次に、行動判定装置１の省電力処理について説明する。  
上述したように、行動判定装置１では、マイクロフォン２３を間欠的に動作させることによって省電力化が図られているが、さらなる省電力化も図られている。
図３に示すように、行動判定装置１は、本体部１１に加速度センサ２４が設けられている。制御部２１は、加速度センサ２４の出力信号に基づいて、行動判定装置１を腕に装着しているユーザの姿勢を検出することができる。
【００６０】
加速度センサ２４は、加速度信号を常時出力するので、制御部２１は、上述した所定周期C1よりも短い所定周期で姿勢検出を行う。  
姿勢検出の方法は、種々あり、加速度センサ２４が例えば３軸加速度センサであれば、ユーザが、立っている（立位）、座っている（座位）、寝ている（臥位）、歩いている（歩行）、走っている（走行）などの、ユーザの姿勢判定を、加速度センサ２４の出力信号に基づいて、制御部２１は可能である。
【００６１】
そこで、制御部２１は、ユーザの姿勢に応じて、マイクロフォン２３とDSP２２のオン・オフ周期制御と認識対象行動の選択制御を行うことにより、行動判定装置１の省電力化を図ることができる。
【００６２】
図１０は、制御部２１が実行する省電力制御の処理の流れの例を示すフローチャートである。  
図１０の処理は、制御部２１により実行される。
【００６３】
制御部２１は、検出されたユーザの姿勢に応じて、マイクロフォン２３とDSP２２のオン・オフ周期制御と認識対象行動の選択制御を実行する（S22）。  
オン・オフ周期制御では、姿勢に変化があったときはマイクロフォン２３をオンにすると共に、姿勢変化後の所定期間T1の間は、所定周期C1でマイクロフォン２３を動作させる。
【００６４】
その後、姿勢に変化がないままで、所定期間T1が経過すると、制御部２１は、所定周期C1よりも長い所定周期C2でマイクロフォン２３の間欠動作を行う。
すなわち、所定周期C1,C2は、可変である。所定周期C1は、加速度センサ２４の出力に基づいて検出された姿勢の変化に応じて変更される。そして、所定周期C1は、姿勢の変化後、所定期間T1が経過すると、姿勢の変化前よりも長くなるように変更される。
例えば、所定周期C1が１秒であるとき、姿勢の変化があった直後の所定期間T1では、マイクロフォン２３のオン・オフ周期は１秒の所定周期C1であるが、姿勢に変化がないまま所定期間T1が経過すると、マイクロフォン２３のオン・オフ周期は１分の所定周期C2に変更される。
【００６５】
そして、制御部２１は、マイクロフォン２３のオン・オフ動作に応じて、DSP２２のオン・オフ制御を行う。すなわち、マイクロフォン２３が動作して音信号を出力したときに合わせて、制御部２１は、DSP２２の電源供給を制御する。
【００６６】
図１１は、姿勢の変化と所定周期C1の変化を説明するためのタイムチャートである。横軸は時間tである。  
図１１では、時刻t1で「臥位」から「立位」の姿勢に変化している。制御部２１は、時刻t1でマイクロフォン２３を動作させ、時刻t1後は、所定周期C1でマイクロフォン２３は間欠動作されるが、姿勢に変化がなく、所定期間T1が経過するとマイクロフォン２３の動作周期は、所定周期C1よりも長い所定周期C2に変更される。
【００６７】
その後、時刻t2で姿勢は、「立位」から「歩行」に変化している。よって、所定期間T1後の期間T2では、マイクロフォン２３の動作周期は１分の所定周期C2であるが、姿勢変化のあった時刻t2でマイクロフォン２３は動作され、その後は、マイクロフォン２３は所定周期C1で間欠動作される。時刻t2後も、姿勢に変化がなく、所定期間T1を経過すると、１分の所定周期C2に変更される。
【００６８】
すなわち、マイクロフォン２３は、制御部２１の制御の下、所定周期C1で音信号をDSP２２に出力するが、マイクロフォン２３の動作周期が所定周期C2になると、マイクロフォン２３とDSP２２の休止期間が長くなるので、省電力となる。
【００６９】
マイクロフォン２３の消費電力量は、加速度センサ２４の消費電力量よりも極めて大きい。よって、ユーザの姿勢を常時検出するようにして、検出した姿勢に応じて、マイクロフォン２３とDSP２２のオン・オフの制御を行うと、行動判定装置１の大きな省電力化を図ることができる。
【００７０】
認識対象行動の選択制御では、DSP２２の分類部３３で実行される参照する参照モデルの選択が行われる。すなわち、制御部２１は、検出されたユーザの姿勢に応じて、分類部３３において参照する参照モデルの選択をするように、DSP２２へ制御信号を出力する。
【００７１】
図１２は、姿勢と認識対象行動との対応関係を示すテーブルTBL3である。  
テーブルTBL3は、姿勢に対応した認識対象行動の情報を格納する。テーブルTBL3は、検出される姿勢が５つで、認識対象行動は６つである場合のテーブルである。テーブルTBL3は、制御部２１内のメモリ部２１ｂ内に記憶される。
【００７２】
「皿洗い」は、皿を洗う行動であり、「アイロン」は、アイロン掛けの行動であり、「掃除機」は、掃除機を用いた掃除の行動であり、「歯磨き」は、歯を磨く行動であり、「ドライヤー」は、髪にドライヤーを当てる行動であり、「トイレ」は、トイレで用を足す行動である。
【００７３】
これらの各姿勢において、ユーザが取り得ない行動がある。例えば、「臥位」及び「走行」の場合、「皿洗い」、「アイロン」等の６つの行動をユーザは取り得ない。「歩行」の場合、「皿洗い」、「アイロン」等の行動をユーザは取り得ない。
【００７４】
そこで、検出された姿勢に応じて、分類部３３において参照する参照モデルを限定して分類が行われるようにし、さらに行動判定部３５において判定する認識対象行動を限定して行動の区間判定が行われるようにする。
【００７５】
なお、姿勢によっては、認識対象行動が行われることがない場合がある。よって、図１１の場合、姿勢が「臥位」であるとき、制御部２１は、DSP２２とマイクロフォン２３をオフにして電源の供給を受けないように、マイクロフォン２３とDSP２２を制御している。
【００７６】
DSP２２は、分類部３３において辞書部３４のモデル情報を参照するが、制御部２１は、テーブルTBL3に基づき、参照するモデル情報を限定するようにDSP２２を制御する制御信号をDSP２２へ出力する。
すなわち、辞書部３４は、所定の行動について予め登録されている特徴量の複数のモデル情報を記憶する記憶部であり、分類部３３では、制御部２１からの制御信号によって、加速度センサ２４の出力に基づいて検出された姿勢に基づいて、複数のモデル情報の中から、所定周期C1に対応する期間における行動判定に用いられるモデル情報が選択される。
【００７７】
例えば、検出された姿勢が「座位」であれば、「皿洗い」と「掃除機」のモデル情報は、参照する必要がないので、分類部３３は、４つのモデル情報のみを参照するようにDSP２２を制御する制御信号がDSP２２へ出力される。また、「臥位」及び「走行」の姿勢のときには、分類部３３は、いずれのモデル情報も参照しないようにDSP２２を制御する制御信号がDSP２２へ出力される。
【００７８】
図１２の場合、「臥位」と「座位」では、認識対象の行動がないので、マイクロフォン２３の音信号に基づく行動認識は、行われない。このとき、上述したように、DSP２２とマイクロフォン２３をオフにすれば、さらなる省電力化を図ることができる。さらに、認識対象行動の数は、「立位」では６つであるが、「座位」では４つであり、「歩行」では２つとなり、DSP２２における演算処理量の低減が図れる。
【００７９】
結果として、行動判定部３５の実行も、限定すなわち選択されたモデルの数だけになる。  
以上のように、制御部２１は、姿勢に対応して、所定周期C1に対応する期間における行動判定に用いられるモデル情報を格納する記憶部としてのテーブルTBL3を有し、テーブルTBL3に記憶されたモデル情報に基づいて、所定周期C1に対応する期間における行動判定に用いられるモデル情報が選択される。
よって、DSP２２における処理が実行されるとき、検出された姿勢に応じて、認識対象行動が選択されるので、DSP２２の消費電力の低減を図ることができる。また、認識対象行動が限定されるので、認識精度も向上する。
【００８０】
図１０の処理は、姿勢が検出される周期で繰り返し実行される。  
なお、ここでは、行動判定装置１に設けられた加速度センサ２４を利用して、姿勢検出を行い、検出された姿勢に応じて、マイクロフォン２３とDSP２２の動作制御を行っているが、行動判定装置１に脈拍センサなどの生体情報を取得することができるセンサを設け、そのセンサの出力に応じて、マイクロフォン２３とDSP２２の動作周期制御を行うようにしてもよい。すなわち、所定周期C1を、生体情報に基づいて変更するようにしてもよい。
【００８１】
以上のように、マイクロフォン２３を所定周期C1で間欠駆動することによって、行動判定装置１の省電力化を図っていることに加えて、姿勢を検出し、姿勢の変化があってから所定期間T1の間は、マイクロフォン２３とDSP２２を所定周期C1で間欠駆動するが、所定期間T1を超えて姿勢に変化がなければ、マイクロフォン２３とDSP２２の駆動周期を長くすると共に、姿勢に応じて、認識対象行動を選択して、さらなる省電力化が図られている。
【００８２】
以上のように、上述した実施の形態によれば、音情報を利用して人の行動を精度よく判定することができる行動判定装置及び行動判定方法を提供することができる。
（応用例）
上述した行動判定装置１を用いて、各種アプリケーションシステムを実現することができる。
【００８３】
図１３は、行動判定装置１を利用したアプリケーションシステム４１の構成を示す図である。  
アプリケーションシステム４１は、行動判定装置１と、スマートフォン４２と、サーバ４３とを含んで構成される。スマートフォン４２とサーバ４３は、ネットワークとしてのインターネット４４を介してデータ通信を行うことができる。
【００８４】
行動判定装置１は、上述したように無線通信部２７を有しているので、外部機器との通信を行うことができる。行動判定装置１が、判定して得られたユーザの行動情報を、スマートフォン４２に定期的にあるいは不定期に送信する。
【００８５】
スマートフォン４２は、ユーザの行動情報をインターネット４４を介してサーバ４３へ送信する。サーバ４３の管理者は、ユーザの行動情報を、遠隔地のユーザの安否確認、健康管理などに用いることができる。
【００８６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８７】
１  行動判定装置、１１  本体部、１２  装着部、１３，１４  リストバンド、１５，１６  留め具、１７  集音口、１８  タッチパネル、２０  操作部、２１  制御部、２１ｂ  メモリ部、２２ａ  メモリ部、２３  マイクロフォン、２４  加速度センサ、２５  時計部、２６  メモリ、２７  無線通信部、３１  特徴量抽出部、３２  特徴量正規化部、３３  分類部、３４  辞書部、３５  行動判定部、４１  アプリケーションシステム、４２  スマートフォン、４３  サーバ、４４  インターネット。
【図１】
0006448477.tif 000002
【図２】
0006448477.tif 000003
【図３】
0006448477.tif 000004
【図４】
0006448477.tif 000005
【図５】
0006448477.tif 000006
【図６】
0006448477.tif 000007
【図７】
0006448477.tif 000008
【図８】
0006448477.tif 000009
【図９】
0006448477.tif 000010
【図１０】
0006448477.tif 000011
【図１１】
0006448477.tif 000012
【図１２】
0006448477.tif 000013
【図１３】
0006448477.tif 000014