(57)【特許請求の範囲】
【請求項１】
被験者に装着された複数の動作検出センサからの動作検出データを検出する検出手段、
前記検出手段によって検出された動作検出データに基づいて、前記被験者の姿勢を識別するための姿勢特徴量を算出する姿勢特徴量算出手段、
前記姿勢特徴量算出手段によって算出された姿勢特徴量に基づいて、前記被験者の姿勢を識別する姿勢識別手段、
前記検出手段によって検出された動作検出データに基づいて、前記姿勢識別手段によって識別された姿勢の中で取り得る行動を識別するための行動特徴量を算出する行動特徴量算出手段、および
前記行動特徴量算出手段によって算出された行動特徴量に基づいて、前記姿勢識別手段によって識別された姿勢の中で取り得る複数の行動から前記被験者の行動を識別する行動識別手段を備える、行動識別装置。
【請求項２】
前記複数の動作検出センサは、前記被験者の複数の異なる部位に装着され、
前記姿勢特徴量算出手段は、すべての前記動作検出センサのうち、前記姿勢識別手段によって識別された姿勢の中で取り得る行動を識別するための、全部のまたは一部の前記動作検出センサからの動作検出データに基づいて前記姿勢特徴量を算出する、請求項１記載の行動識別装置。
【請求項３】
前記行動特徴量算出手段は、前記すべての動作検出センサのうち、識別する行動に応じた、全部のまたは一部の前記動作検出センサからの動作検出データに基づいて前記行動特徴量を算出する、請求項２記載の行動識別装置。
【請求項４】
前記複数の動作検出センサは、前記被験者の複数の異なる部位に装着され、
前記行動特徴量算出手段は、すべての前記動作検出センサのうち、識別する行動に応じた、全部のまたは一部の前記動作検出センサからの動作検出データに基づいて前記行動特徴量を算出する、請求項１記載の行動識別装置。
【請求項５】
被験者に所持ないし装着された携帯端末と行動識別装置とを備える行動識別システムであって、
前記携帯端末は、
前記被験者に装着された複数の動作検出センサからの動作検出データを検出する検出手段、および
前記検出手段によって検出された動作検出データを前記行動識別装置に送信する送信手段を備え、
前記行動識別装置は、
前記送信手段によって送信された動作検出データを受信する受信手段、
前記受信手段によって受信された動作検出データに基づいて、前記被験者の姿勢を識別するための姿勢特徴量を算出する姿勢特徴量算出手段、
前記姿勢特徴量算出手段によって算出された姿勢特徴量に基づいて、前記被験者の姿勢を識別する姿勢識別手段、
前記受信手段によって受信された動作検出データに基づいて、前記姿勢識別手段によって識別された姿勢の中で取り得る行動を識別するための行動特徴量を算出する行動特徴量算出手段、および
前記行動特徴量算出手段によって算出された行動特徴量に基づいて、前記姿勢識別手段によって識別された姿勢の中で取り得る複数の行動から前記被験者の行動を識別する行動識別手段を備える、行動識別システム。
【請求項６】
被験者の姿勢および行動を識別するコンピュータの行動識別方法であって、
(a)前記被験者に装着された複数の動作検出センサからの動作検出データを検出し、
(b)前記ステップ(a)によって検出された動作検出データに基づいて、前記被験者の姿勢を識別するための姿勢特徴量を算出し、
(c)前記ステップ(b)によって算出された姿勢特徴量に基づいて、前記被験者の姿勢を識別し、
(d)前記ステップ(a)によって検出された動作検出データに基づいて、前記ステップ(c)によって識別された姿勢の中で取り得る行動を識別するための行動特徴量を算出し、そして
(e)前記ステップ(d)によって算出された行動特徴量に基づいて、前記ステップ(c)によって識別された姿勢の中で取り得る複数の行動から前記被験者の行動を識別する、行動識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は行動識別装置、行動識別システムおよび行動識別方法に関し、特にたとえば、被験者の行動を識別する、行動識別装置、行動識別システムおよび行動識別方法に関する。
【背景技術】
【０００２】
従来のこの種の行動識別装置の一例が特許文献１に示されている。この特許文献１の携帯電話装置では、その所有者が登録画面で所望の行動（たとえば、「歩く１」）を指定し、当該行動をしながらキー入力部によりスタートを入力すると、予め指定された時間だけ加速度センサ部が運動加速度を検出し、当該行動の基準行動パターンがパターン格納部に格納される。このような登録の後に、動作モードが起動されると、加速度センサ部は所有者の行動による運動加速度を検出し、行動検出部が基準行動パターンと比較し、当該被験者の現在の行動パターンを識別する。
【０００３】
また、この種の行動識別装置の他の例が特許文献２に開示されている。この特許文献２の動作情報計測システムでは、ユーザの両手首、上腕部、膝部、腰部、両足首などに装着された動作情報計測装置から動作情報を収集する。この動作情報係計測装置は、加速度センサ或いはジャイロセンサ、或いはその両方から構成され、装着した部位におけるユーザの動作による加速度或いは角速度、或いはその両方を計測する。動作の認識は、動作情報比較認識部が有する動作認識ルールに基づいて行われる。たとえば、腰部に装着された動作情報計測装置からの情報は運動量が小さく、手首に装着された動作情報計測装置からの情報は運動量が大きい場合、静止した状態での動作であることを認識する。逆に、腰部に装着した動作情報計測装置からの運動量が大きい場合には、全身運動であることを認識する。
【特許文献１】特開２００３−４６６３０号[H04M 1/247, H04Q 7/38]
【特許文献２】特開２００４−１８４３５１号[G01B 21/00, A61B 5/00, A61B 5/0488, A61B 5/11, G06F 3/00]
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術では、携帯電話装置に設けられた加速度センサ部のＸ，Ｙ，Ｚ方向の加速度の時間推移によって、「歩く」、「座る」、「立つ」、「乗り物に搭乗」などの行動を識別するようにしてあるが、１の加速度センサを用いるだけであるため、複雑な行動を認識することは困難である。たとえば、携帯電話装置の所有者が座ってコンピュータを操作している場合には、座っていることを識別できたとしても、コンピュータを操作していることまでは識別することができない。
【０００５】
また、特許文献２の技術では、複数の部位に装着された動作情報計測装置からの加速度等のデータから各部位の運動量を検出して、全身運動であるか、静止した状態での動作であるかなど、動作を大別するだけであり、「歩く」、「座る」、「立つ」のような行動を識別することが困難である。当然のことながら、さらに複雑な行動を識別することは困難である。
【０００６】
それゆえに、この発明の主たる目的は、新規な、行動識別装置、行動識別システムおよび行動識別方法を提供することである。
【０００７】
この発明の他の目的は、複雑な行動を正確に識別できる、行動識別装置、行動識別システムおよび行動識別方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施の形態との対応関係を示したものであって、本発明を何ら限定するものではない。
【０００９】
第１の発明は、被験者に装着された複数の動作検出センサからの動作検出データを検出する検出手段、検出手段によって検出された動作検出データに基づいて、被験者の姿勢を識別するための姿勢特徴量を算出する姿勢特徴量算出手段、姿勢特徴量算出手段によって算出された姿勢特徴量に基づいて、被験者の姿勢を識別する姿勢識別手段、検出手段によって検出された動作検出データに基づいて、姿勢識別手段によって識別された姿勢の中で取り得る行動を識別するための行動特徴量を算出する行動特徴量算出手段、および行動特徴量算出手段によって算出された行動特徴量に基づいて、姿勢識別手段によって識別された姿勢の中で取り得る複数の行動から被験者の行動を識別する行動識別手段を備える、行動識別装置である。
【００１０】
第１の発明では、被験者には複数の動作検出センサ（３２）が装着され、検出手段（１２）は、その複数の動作検出センサからの動作検出データを検出する。姿勢特徴量算出手段（１２，Ｓ５３）は、被験者の姿勢（たとえば、立位、座位、歩行）を識別するための姿勢特徴量を算出する。実施例では、姿勢特徴量は、動作検出データに基づいて算出されたベクトルであり、その要素は一定時間窓内における動作検出の平均、標準偏差、エネルギ、周波数領域エントロピおよび相関関係である。行動識別手段（１２，Ｓ５７）は、検出手段によって検出された加速データに基づいて、姿勢識別手段によって識別された姿勢の中で取り得る行動を識別する。行動特徴量算出手段（１２，Ｓ５９）は、検出手段によって検出された動作検出データに基づいて、姿勢識別手段によって識別された姿勢の中で取り得る行動を識別するための行動特徴量を算出する。行動識別手段（１２，Ｓ６１）は、行動特徴量算出手段によって算出された行動特徴量に基づいて、姿勢識別手段によって識別された姿勢の中で取り得る複数の行動から被験者の行動を識別する。
【００１１】
第１の発明によれば、複数の動作検出センサを用いて被験者の行動を検出し、被験者の姿勢を識別した後に、識別した姿勢の中で取り得る複数の行動の中から１の行動を識別するので、被験者の複雑な行動を正確に識別することができる。
【００１２】
第２の発明は、第１の発明に従属し、複数の動作検出センサは、被験者の複数の異なる部位に装着され、姿勢特徴量算出手段は、すべての動作検出センサのうち、姿勢識別手段によって識別された姿勢の中で取り得る行動を識別するための、全部のまたは一部の動作検出センサからの動作検出データに基づいて姿勢特徴量を算出する。
【００１３】
第２の発明では、複数の動作検出センサは、被験者の複数の異なる部位に装着される。たとえば、動作検出センサは、被験者の左右の手首、左右の腿、左右の足首のような特定の部位に装着される。姿勢特徴量算出手段は、すべての動作検出センサのうち、姿勢識別手段によって識別された姿勢の中で取り得る行動を識別するための、全部または一部の動作検出センサからの動作検出データに基づいて姿勢特徴量を算出する。たとえば、或る姿勢（たとえば、立位，歩行）を識別する場合には、左右の手首と左右の足首とに装着された動作検出センサからの動作検出データを用いるが、他の姿勢（たとえば、立位，座位）を識別する場合には、すべての動作検出センサからの動作検出データを用いる。
【００１４】
第２の発明の発明によれば、識別する姿勢に応じた姿勢特徴量を算出するので、姿勢を正確に識別することができる。つまり、有用な動作検出データのみに基づいて識別することができるのである。
【００１５】
第３の発明は、第２の発明に従属し、行動特徴量算出手段は、すべての動作検出センサのうち、識別する行動に応じた、全部のまたは一部の動作検出センサからの動作検出データに基づいて行動特徴量を算出する。
【００１６】
第３の発明では、行動特徴量算出手段もまた、姿勢特徴量算出手段と同様に、すべての動作検出センサのうち、識別する行動に応じた、全部のまたは一部の動作検出センサからの動作検出データに基づいて行動特徴量を算出する。したがって、たとえば、立位の姿勢の中で取り得る行動（たとえば、立つ、エレベータの上り、エレベータの下り）を識別する場合には、左右の手首または左右の大腿部に装着された動作検出センサからの動作検出データを用いる。また、たとえば、座位の姿勢の中で取り得る行動（たとえば、座る、座ってコンピュータを操作する、食事）を識別する場合には、左右の手首および左右の足首に装着された動作検出センサからの動作検出データを用いる。
【００１７】
第３の発明によれば、識別する行動に応じた行動特徴量を算出するので、行動を正確に識別することができる。
【００１８】
第４の発明は、第１の発明に従属し、複数の動作検出センサは、被験者の複数の異なる部位に装着され、行動特徴量算出手段は、すべての動作検出センサのうち、識別する行動に応じた、全部のまたは一部の動作検出センサからの動作検出データに基づいて行動特徴量を算出する。
【００１９】
第４の発明は、第１の発明に従属する以外は、第３の発明と同様である。
【００２０】
第４の発明においても、第３の発明と同様に、行動を正確に識別することができる。
【００２１】
第５の発明は、被験者に所持ないし装着された携帯端末と行動識別装置とを備える行動識別システムであって、携帯端末は、被験者に装着された複数の動作検出センサからの動作検出データを検出する検出手段、および検出手段によって検出された動作検出データを行動識別装置に送信する送信手段を備え、行動識別装置は、送信手段によって送信された動作検出データを受信する受信手段、受信手段によって受信された動作検出データに基づいて、被験者の姿勢についての姿勢特徴量を算出する姿勢特徴量算出手段、姿勢特徴量算出手段によって算出された姿勢特徴量に基づいて、被験者の姿勢を識別する姿勢識別手段、受信手段によって受信された動作検出データに基づいて、姿勢識別手段によって識別された姿勢の中で取り得る行動を識別するための行動特徴量を算出する行動特徴量算出手段、および行動特徴量算出手段によって算出された行動特徴量に基づいて、姿勢識別手段によって識別された姿勢の中で取り得る複数の行動から被験者の行動を識別する行動識別手段を備える、行動識別システムである。
【００２２】
第５の発明では、被験者に所持ないし装着された携帯端末（１８）と第１の発明に記載したような行動識別装置（１２）とを備える行動識別システム（１０）である。携帯端末は、検出手段（５０）および送信手段（５０，５２）を備える。検出手段は、被験者に装着された複数の動作検出センサからの動作検出データを検出する。送信手段は、検出された動作検出データを行動識別装置に送信する。行動識別装置では、受信手段（１２の通信手段）によって携帯端末からの動作検出データを受信する。この受信した動作検出データに基づいて、上述したように、姿勢を識別し、さらに、行動を識別するのである。
【００２３】
第５の発明によれば、動作検出センサを装着する被験者に所持ないし装着された携帯端末からその動作検出センサの動作検出データを行動識別装置に送信するので、被験者の行動をオンラインで識別することができる。
第６の発明は、被験者の姿勢および行動を識別するコンピュータの行動識別方法であって、(a)被験者に装着された複数の動作検出センサからの動作検出データを検出し、(b)ステップ(a)によって検出された動作検出データに基づいて、被験者の姿勢についての姿勢特徴量を算出し、(c)ステップ(b)によって算出された姿勢特徴量に基づいて、被験者の姿勢を識別し、(d)ステップ(a)によって検出された動作検出データに基づいて、ステップ(c)によって識別された姿勢の中で取り得る行動を識別するための行動特徴量を算出し、そして(e)ステップ(d)によって算出された行動特徴量に基づいて、ステップ(c)によって識別された姿勢の中で取り得る複数の行動から被験者の行動を識別する、行動識別方法である。
【００２４】
第６の発明においても、第１の発明と同様に、被験者の複雑な行動を正確に識別することができる。
【発明の効果】
【００２５】
この発明によれば、複数の動作検出センサを用いて被験者の行動を検出し、被験者の姿勢を識別した後に、識別した姿勢の中で取り得る複数の行動から１の行動を識別するので、被験者の複雑な行動を正確に識別することができる。
【００２６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００２７】
図１を参照して、この発明の一実施例である行動識別システム１０は、行動識別装置としても機能するサーバ１２を含み、或る環境に適用され、その環境内に存在する人物（被験者）の行動を記録し、これを識別する。サーバ１２には、複数のデータベース（ＤＢ）が接続される。具体的には、サーバ１２には、センサＤＢ２０、姿勢識別用センサ集合ＤＢ２２および行動識別用センサ集合ＤＢ２４が接続される。
【００２８】
センサＤＢ２０は、被験者の行動を記録するためのデータベースである。具体的には、センサＤＢ２０は、主として、後述するセンサ装置１６からの加速度データを時系列に従って記憶する。姿勢識別用センサ集合ＤＢ２２は、姿勢を識別するためのセンサ集合（センサの組み合わせ）を記憶する。この実施例では、後述するように、姿勢は、「立位」、「座位」および「歩行」の３種類に分類されており、これらの姿勢を識別するために必要な加速度データを出力する複数のセンサ装置１６の識別情報がセンサ集合として姿勢識別用センサ集合ＤＢ２２に記憶される。行動識別用センサ集合ＤＢ２４は、行動を識別するためのセンサ集合（センサの組み合わせ）を記憶する。この実施例では、行動は、「立位」の姿勢の中で取り得る「立つ」、「エレベータの上り」および「エレベータの下り」と、「座位」の姿勢の中で取り得る「座る」、「コンピュータ作業」、「読書」および「食事」と、「歩行」の姿勢の中で取り得る「歩く」、「階段の上り」および「階段の下り」との１０種類である。各姿勢クラスにおける行動を識別するために必要な加速度データを出力する複数のセンサ装置１６の識別情報がセンサ集合として行動識別用センサ集合ＤＢ２４に記憶される。
【００２９】
なお、姿勢識別用センサ集合ＤＢ２２および行動識別用センサ集合ＤＢ２４は、後述するように、予め被験者が行動したときに収集した加速度データを用いて学習することにより、構築される（図１９，図２０および図２１参照）。
【００３０】
また、サーバ１２は、有線或いは無線による通信回線（ネットワーク）１４を介して被験者が装着ないし所持する中継器１８に接続される。この実施例では、被験者は移動することがあるため、ネットワーク１４には複数のアクセスポイント（図示せず）が設けられ、いずれかのアクセスポイントを介して中継器１８はネットワーク１４に接続される。また、中継器１８は、被験者に装着された複数のセンサ装置１６に通信可能に接続される。
【００３１】
図２（Ａ）はセンサ装置１６の具体的な構成を示すブロック図であり、センサ装置１６はＣＰＵ３０を含む。ＣＰＵ３０には、加速度センサ３２、ＲＡＭ３４およびＢｌｕｅｔｏｏｔｈモジュール３６が接続される。また、Ｂｌｕｅｔｏｏｔｈモジュール３６には、アンテナ３８が接続される。たとえば、加速度センサ３２は、多軸（３軸）の加速度センサであり、サンプリング周波数が２００Hzであり、加速度は±３Ｇ（Ｇは重力）まで計測可能である。このセンサ装置１６では、加速度センサ３２で検出される加速度のデータ（加速度データ）がＣＰＵ３０に与えられる。ＣＰＵ３０は、加速度センサ３２からの加速度データをＲＡＭ３４に記憶（一時記憶）し、一定時間（たとえば、１０秒）毎に、その一定時間分の加速度データをＢｌｕｅｔｏｏｔｈモジュール３６、アンテナ３８およびネットワーク１４を介して、サーバ１２に送信する。
【００３２】
図２（Ｂ）は中継器１８の具体的な構成を示すブロック図であり、中継器１８はＣＰＵ５０を含む。ＣＰＵ５０には、インターフェイス５２、ＲＡＭ５４およびＢｌｕｅｔｏｏｔｈモジュール５６が接続される。また、Ｂｌｕｅｔｏｏｔｈモジュール５６には、アンテナ５８が接続される。この中継器１８では、センサ装置１６から送信される加速度データが、アンテナ５８およびＢｌｕｅｔｏｏｔｈモジュール５６を介してＣＰＵ５０に与えられる。ＣＰＵ５０は、センサ装置１６からの加速度データをＲＡＭ５４に記憶（一時記憶）し、ネットワーク１４と接続されるタイミングで、ＲＡＭ５４に記憶された加速度データを、ＬＡＮ（無線ＬＡＮ）アダプタのようなインターフェイス５２およびネットワーク１４を介してサーバ１２に送信する。そして、サーバ１２は、ＬＡＮアダプタのようなインターフェイス（図示せず）を介してネットワーク１４から加速度データを受信し、受信した加速度データをセンサＤＢ２０に記憶（登録）する。
【００３３】
詳細な説明は省略するが、各センサ装置１６はそれぞれ被験者のいずれの部位に装着されるか予め決められており、また、各センサ装置１６から送信される加速度データには、当該センサ装置１６を識別するための識別情報（ＩＤ）がラベルとして付されている。たとえば、ＩＤとしては、Ｂｌｕｅｔｏｏｔｈモジュール３６のＭＡＣアドレスを用いることができる。ただし、センサ装置１６の内部に、ＣＰＵ３０がアクセス可能なＲＯＭを設けておき、このＲＯＭにＩＤを記憶しておいてもよい。一方、サーバ１２には、その内部に設けられるＲＯＭ、ＲＡＭ、ハードディスクなどのメモリ（図示せず）に、センサ装置１６のＩＤに対応して、当該センサ装置１６が装着されるべき部位が記述されたテーブルが記憶される。したがって、サーバ１２では、加速度データに付されたラベル（ＩＤ）およびテーブルを参照することにより、いずれの部位に装着されたセンサ装置１６からの加速度データであるかを簡単に識別することができる。
【００３４】
図３に示すように、複数のセンサ装置１６（１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ）および中継器１８は被験者に装着される。具体的には、センサ装置１６ａは右手首に装着され、センサ装置１６ｂは左手首に装着され、センサ装置１６ｃは右腿に装着され、センサ装置１６ｄは左腿に装着され、センサ装置１６ｅは右足首に装着され、そして、センサ装置１６ｆは左足首に装着される。また、中継器１８は、被験者の腰部に装着される。
【００３５】
図示は省略するが、各センサ装置１６および中継器１８はゴムバンドのような固定具で被験者に装着される。ただし、中継器１８は被験者が所持するようにしてもよく、被験者が使用する、鞄、ウエストポーチまたはリュックサックに入れておいてもよい。
【００３６】
このような行動識別システム１０では、上述したように、被験者の行動を記録し、これを識別する。従来、加速度センサを用いた日常行動の識別に関する研究は数多くなされている。加速度センサを用いた行動識別においては、データ収集時における加速度センサの装着位置およびデータのサンプリング周波数などの条件に関する評価が重要である。
【００３７】
被験者の身体の複数の位置（部位）に加速度センサを装着し、その装着位置に関して識別率との関係を評価した研究としては、「L.Bao and S.S. Insille,: Activity recognition from user-annotated acceleration data, in Proc. of Pervasive 2004, vol. LNCS 3001, A. Ferscha and F. Mattern (Eds.), Springer-Verlag, Berlin Heidelberg, pp. 1-17, 2004.」（参考文献１）および「N. Kern, B.Schiele, and A. Schmidt, “Multi-sensor activity context detection for wearable computing,” in European Symposium on Ambient Intelligence (EUSAI), Eindhoven, The Netherlands, Nov. 2003.」（参考文献２）が挙げられる。
【００３８】
前者では、身体の５箇所に非対称に装着した加速度センサを用いて装着位置の評価を行い、右手首と左腿の２箇所だけでも２０種類の日常行動の識別に対して約８０％の識別結果を得ている。ただし、加速度センサの配置が非対称であり、たとえば手首ならその左右の違いを評価する必要がある。後者では、識別を行う行動ごとに上半身・下半身に分けて識別に用いる加速度センサの装着位置を変え、加速度センサの最適な装着位置の評価を行っている。しかし、加速度センサを左右対称に配し、被験者の利き手や利き足などの違いを考慮した装着位置の全ての組み合わせに関する識別性能に関する評価はなされていない。
【００３９】
また、加速度データを収集する際のサンプリング周波数の値は研究ごとに多様である。多くの研究では、サンプリング周波数を５０Hz以上でデータの収集を行っている（参考文献１や参考文献３）。ただし、参考文献３は、「N. Ravi, N. Dandekar, P. Mysore, and M. L. Littman, : Activity recognition from accelerometer data, American association for artificial intelligence(www.aaai.org), July 2005.」である。
【００４０】
また、「C. V. Bouten, K.T. Koekkoek, M. Verduin, R. Kodde, and J. D. Janssen, “A triaxial Accelerometer and portable data processing unit for the assessment of daily physical activity,” IEEE Trans. On Bio-Medical Eng., vol. 44, no. 3, pp 136-147, 1997.」（参考文献４）によれば、「歩く」、「走る」などの人の行動の計測には２０Hz以上のサンプリング周波数が必要であるとの評価結果がある。一方、「川原  圭博，森川  博之，青山  友紀，“小型無線センサを用いたコンテキスト推定とそのアプリケーション，”特定非営利活動法人ウェアラブルコンピュータ研究開発機構，ウェアラブルコンピューティング研究会研究報告，vol. 1, no. 3, pp. 2-6, Dec. 2005.」（参考文献５）の研究においては、１０Hz以下でサンプリングを行う２軸の加速度センサを１つ用い、１００％近い識別率を得ている。しかし、参考文献５が対象としている行動は、「立つ」，「座る」，「歩く」，「走る」といった４種類の比較的識別し易い行動であり、日常におけるより複雑な行動識別に必要なサンプリング周波数の必要条件に関する評価がなされていない。
【００４１】
そこで、まず、加速度センサ３２を用いた日常行動識別におけるデータ収集の条件として、（１）体の各部に対称に配置した最大６個の加速度センサ３２を用いた識別性能および最適センサ配置評価と、（２）行動ごとのサンプリング周波数による識別性能評価とについての実験を行った。
【００４２】
たとえば、加速度からの特徴量の抽出においては、時系列のデータ（加速度データ）を一定時間のスライディング・ウィンドウに分割し、そのウィンドウ毎に特徴量を求める。なお、この特徴量を求める手法は、上記の参考文献１および参考文献３に開示されているため、これらを参照されたい。
【００４３】
また、この実施例では、加速度データのサンプリング周波数とウィンドウ内のサンプル数のパラメータは、上記参考文献２と同様に設定され、５０Hzのデータを行動毎に１２８サンプルずつ重複する２５６サンプルのウィンドウで分割する。したがって、１つのウィンドウ長は５．１２０秒となる。図４にスライディング・ウィンドウに分割する方法を示す。各ウィンドウは点線枠で示される。ただし、図４においては、分かり易くするため、隣接するウィンドウを、縦方向および横方向に少しずらして表示してある。
【００４４】
この実施例では、加速度に基づいて、ウィンドウ毎に、平均、標準偏差、エネルギ、周波数領域エントロピおよび相関関係の５種類の特徴量が算出される。これらは、上記の参考文献１および参考文献３の研究において用いられた特徴量である。平均と標準偏差とは、それぞれ、各軸の加速度の平均と標準偏差とである。また、エネルギは、各軸の加速度にＦＦＴ（高速フーリエ変換）を行い、振幅の２乗の合計として求めた。ただし、直流成分と折り返しの部分は除く。１つの軸の加速度のＦＦＴの振幅成分をＦ１，Ｆ２，Ｆ３，…とすると、エネルギは数１で求められる。ただし、ｗはウィンドウ内のサンプル数（この実施例では、２５６）である。
【００４５】
［数１］
0004992043.tif 000002
【００４６】
また、周波数領域エントロピ（以下、単に「エントロピ」ということがある）は、確率分布ｐに基づいて求められる。確率分布ｐは、数２に示すように、ＦＦＴ成分Ｆｉから直流成分と折り返しの部分を除いたものを、全成分の総和で正規化することによって求められる。
【００４７】
［数２］
0004992043.tif 000003
【００４８】
これより、エントロピは、数３に従って求められる。
【００４９】
［数３］
0004992043.tif 000004
【００５０】
また、相関係数は、２軸間の加速度に関する相関係数である。このとき対象とする２軸は、１つの加速度センサ３２内の組み合わせだけでなく、任意の２つの加速度センサ３２に跨った組み合わせも含まれる。（ｘ，ｙ）を或る軸の加速度を持つベクトルとし、ｃｏｖ（ｘ，ｙ）をｘとｙとの共分散、σｘ，σｙをｘ，ｙそれぞれの標準偏差としたとき、ｘ‐ｙ間の相関係数ｃｏｒｒ（ｘ，ｙ）は数４で定義される。
【００５１】
［数４］
0004992043.tif 000005
【００５２】
この実施例では、被験者の日常行動の識別を行うために、上述の手法で抽出した特徴量に対して、識別対象の行動をラベルとする教師あり学習が適用される。クラス分類器としては、周知のＳＶＭ(Support Vector Machine)，ＮＮ(Nearest Neighbor)，Ｃ４．５の３種類が採用される。
【００５３】
また、識別する日常行動としては、上述したように、「立つ」、「座る」、「歩く」、「階段の上り」、「階段の下り」、「コンピュータ作業」、「読書」、「飲食」、「エレベータの上り」、「エレベータの下り」の１０種類である。これら１０種類の行動は、上述した「立位」、「座位」および「歩行」の３つの姿勢のいずれかに分類することができる。
【００５４】
上述したように、この実施例では、センサ装置１６の装着位置は、被験者の左手首、右手首、左腿、右腿、左足首、右足首の６箇所である。装着位置として手首および腿を選んだ理由は、過去の研究において、その有効性が認められているからである。たとえば、上記の参考文献１や「N. Kern, B. Schiele, and A. Schmidt, : Multi-sensor activity context detection for wearable computing, in European Symposium on Ambient Intelligence (EUSAI), Eindhoven, the Netherlands, Nov. 2003.」（参考文献６）に、加速度センサの装着位置の評価を行った研究が紹介されている。さらに、参考文献１および３に紹介される研究では、周期的な行動や上下運動を伴う行動には、足首における加速度パターンが腿の加速度パターン以上に有効であることが分かるため、この実施例では、左右の足首にも加速度センサが装着される。また、加速度センサ３２（センサ装置１６）を左右対称に配置（装着）するようにしたのは、利き手／利き足と、非利き手／非利き足との比較を含め、全身における装着位置を評価するためである。
【００５５】
たとえば、データ収集は、クラス分類器の学習に用いるための加速度データのセット（訓練データ）と、識別結果を評価するための加速度データのセット（テストデータ）とを分けて行う。訓練データおよびテストデータは、実験者によって事前に設定された上記の１０種類の行動を含むシナリオに沿って被験者が行動したときに得られた加速度データである。ただし、訓練データは、被験者１人あたり約１００分の総時間内における加速度によって構成され、テストデータは、被験者１人あたり約３０分の総時間内における加速度によって構成される。この訓練データおよびテストデータは３人の被験者に関して収集した。３人の被験者は２０〜３０代の男性で、いずれも、右手が利き手であり、右足が利き足である。
【００５６】
行動に対する行動のラベリングは、実験者が被験者に随伴し、被験者がシナリオに沿った行動を実行する際の各行動の開始時刻と終了時刻とを秒単位で記録することにより、行った。データ収集の終了後に、収集した加速度データからラベリングが施された部分だけを切り出し、上述したウィンドウ毎の特徴量を計算した。ただし、行動の開始時刻・終了時刻の前後５秒間は行動の変化途中と考えて、その間のデータは特徴量の計算から除外した。
【００５７】
上述した手法に従って、全ての加速度センサ３２からデータを収集した。次に、全被験者の訓練データを用いて、ＳＶＭ，ＮＮ，Ｃ４．５のクラス分類器毎に学習を行い、その後、全被験者の全テストデータを与え、１０種類の行動毎の識別性能を求めた。このとき、学習と評価に用いるセンサの組み合わせとして、センサの個数を１〜６個とする全ての組み合わせ（６３通り）を比較条件とした。
【００５８】
各クラス分類器における、最も高い識別結果を得る加速度センサ３２の装着位置の組み合わせと、その識別結果とが図５に示される。ここで、識別率は、全サンプル中における正しく認識できたサンプル数の割合(True Positive Rate)である。クラス分類器としてＳＶＭを用いた場合には、「両手首と両足首」の４箇所のセンサ装置１６ａ，１６ｂ，１６ｅおよび１６ｆの加速度センサ３２を用いたときに、最も高い識別結果（８９．８％）を得た。また、クラス分類器としてＮＮを用いた場合には、「右手首と両足首」の３箇所のセンサ装置１６ａ，１６ｅおよび１６ｆの加速度センサ３２を用いたときに、最も高い識別結果（８７．６％）を得た。さらに、クラス分類器としてＣ４．５を用いた場合には、「右手首と両足首」の３箇所のセンサ装置１６ａ，１６ｅおよび１６ｆの加速度センサ３２を用いたときに、最も高い識別結果（８３．０％）を得た。
【００５９】
クラス分類器毎に最も高い識別結果を得る加速度センサ３２の組み合わせを求め、その識別結果をプロットして得られた折れ線グラフが図６に示される。図６に示すように、クラス分類器としてＳＶＭを用いることの優位性を確認することができる。したがって、これ以降では、クラス分類器としてＳＶＭを用いた場合についてのみ説明することにする。
【００６０】
図７は、クラス分類器としてＳＶＭを用いた場合に、利き手（この実施例では、右手）や利き足（この実施例では、右足）が識別結果に及ぼす影響を示す棒グラフである。図７に示すように、最適な加速度センサ３２の装着位置である４箇所（１６ａ，１６ｂ，１６ｅ，１６ｆ）から右手首（１６ａ）を除いた場合に大きく識別性能が低下し、右手首に装着されたセンサ装置１６ａの加速度センサ３２の寄与度が高いことが分かる。また、図７には、最適な加速度センサ３２の装着位置である４箇所（１６ａ，１６ｂ，１６ｅ，１６ｆ）からどちらか一方の足首（１６ｅまたは１６ｆ）を除いた場合では、識別結果が等しく左右の足首の寄与度についての違いを確認することはできなかった。
【００６１】
図８は、図６に示したＳＶＭの結果に関して、１０種類の行動別に識別結果を示したものである。図８に示すように、識別に用いるセンサ装置１６（加速度センサ３２）を、全６個から両手首と両足首とに装着した場合の４個（１６ａ，１６ｂ，１６ｅ，１６ｆ）に減らした場合に、「エレベータの上り」以外の全ての行動において識別結果の向上が見られた。各行動に対する識別結果の混同行列が図９および図１０に示される。図９および図１０を参照して分かるように、識別に用いるセンサ装置１６（加速度センサ３２）の装着数を両手首と両足首との４つに減らすことによって、誤識別するサンプル数が減少している。
【００６２】
この識別性能の向上を正準特徴空間で確認することにする。図１１は、両手首、両腿、両足首に装着した全６個のセンサ装置１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅおよび１６ｆの加速度センサ３２を用いた場合の正準特徴空間における第１，第２変数上での散布図である。また、図１２は、両手首と両足首とに装着した４個のセンサ装置１６ａ，１６ｂ，１６ｅおよび１６ｆの加速度センサ３２を用いた場合の正準特徴空間における第１，第２変数上での散布図である。
【００６３】
ここで、図１１および図１２の第２変数までの累積寄与度は、それぞれ、８４．５％，７８．７％である。図１１および図１２において、１０種類の行動が、立つ姿勢を取る行動、座る姿勢を取る行動、歩行を伴う行動の３種類に分布しているのが確認できる。また、図１１においては、立つ姿勢を取る３種類の行動と、座る姿勢を取る４種類の行動とがはっきりと分布しているのに対し、図１２においては、立つ姿勢を取る３種類の行動と、座る姿勢を取る４種類の行動との境界がはっきりしていない。
【００６４】
また、図１１に示す場合には、座る姿勢を取る４種類の行動（「座る」，「コンピュータ作業」，「読書」，「食事」）が右下の領域に密集している。このことより、座る姿勢を取る４種類の行動を正しく識別することが困難であると考えられる。具体的には、座る姿勢を取る４種類の行動に関して、図１１および図１２における第１，第２変数を用いてクラス内・クラス間分散比を求めると、図１１に示す場合（全６個の加速度センサ３４ａ−３４ｆを用いる場合）は４．８８であり、図１２に示す場合（４個のセンサ装置１６ａ，１６ｂ，１６ｅおよび１６ｆの加速度センサ３２を用いる場合）は２０．０４である。これは、両腿のセンサ装置１６ｃおよび１６ｄの加速度センサ３２を除いた方が、正準特徴空間上で、座る姿勢を取る４種類の行動のクラスが分離されていることを意味する。たとえば、図１３（Ａ），図１３（Ｂ）および図１４には、４個のセンサ装置１６ａ，１６ｂ，１６ｅ，１６ｆの加速センサ３２の加速度データを用いた場合における、各姿勢に応じた正準特徴空間での行動毎の分布が示される。図１３（Ａ），図１３（Ｂ）および図１４を見て分かるように、いずれの場合にも、同一の姿勢内における行動が分離され、容易に識別が可能である。
【００６５】
また、別のサンプルを用いた場合における、姿勢の識別結果および各姿勢クラス（カテゴリ）の中で取り得る行動の識別結果が図１５および図１６に示される。図１５は、全てのセンサ装置１６の加速度センサ３２からの加速度データに基づいて、姿勢および全ての行動を識別した場合の結果である。一方、図１６は、腿部のセンサ装置１６を除く４個のセンサ装置１６の加速度センサ３２からの加速度データに基づいて、姿勢および全ての行動を識別した場合の結果である。ただし、図１５および図１６では、行動は、立位、座位および歩行のカテゴリで分類して示してある。
【００６６】
図１５および図１６を参照して、姿勢の識別結果を見ると、全てのセンサ装置１６の加速度センサ３２からの加速度データに基づいて識別した場合の方が、腿部のセンサ装置１６ｃ，１６ｄを除く４つのセンサ装置１６の加速度センサ３２からの加速度データに基づいて識別した場合よりも、識別率が高いことが分かる。また、立位および歩行のカテゴリに含まれる行動の識別結果を見ると、全てのセンサ装置１６の加速度センサ３２からの加速度データに基づいて識別した場合と、腿部のセンサ装置１６ｃ，１６ｄを除く４つのセンサ装置１６の加速度センサ３２からの加速度データに基づいて識別した場合とでは、ほとんど識別率が同じであることが分かる。ただし、座位の識別結果を見ると、全てのセンサ装置１６の加速度センサ３２からの加速度データに基づいて識別した場合よりも、腿部のセンサ装置１６ｃ，１６ｄを除く４つのセンサ装置１６の加速度センサ３２からの加速度データに基づいて識別した場合の方が、識別率がかなり高いことが分かる。
【００６７】
以上より、両腿に装着されるセンサ装置１６ｃおよび１６ｄは、姿勢の違いを識別するのには有効であるが、似た姿勢を取る行動間、特に座る姿勢を取る行動間の識別には有効でないことが分かる。
【００６８】
ここで、上記の例は、両手首、両腿、両足首にセンサ装置１６（加速度センサ３２）を装着し、１０種類の行動を識別するようにしてあるが、使用するセンサ装置１６の数や取り付け位置は、行動識別システム１０の適用（使用）環境等に応じて様々である。また、識別する姿勢や行動も、行動識別システム１０の使用環境等に応じて様々である。したがって、サーバ１２では、取得した全ての加速度データ（サンプル）から姿勢の識別に使用する加速度データ（センサ装置１６）を抽出し、さらに、識別された姿勢の中で取り得る行動を識別するためのセンサ装置１６を姿勢毎に抽出するようにしてある。そして、抽出した姿勢の識別に使用するセンサ装置１６の集合（姿勢識別用センサ集合ＤＢ２２）および行動を識別するためのセンサ装置１６の集合（行動識別用センサ集合ＤＢ２４）を参照して、被験者の姿勢および行動を識別するようにしてある。
【００６９】
また、他の条件が同じ場合、サンプリング周波数を低く抑えることで、加速度データの収集と伝送の両面で加速度センサの省電力化を計ることができ、電池での駆動時間を延長することができる。長時間の利用に耐え得る日常行動識別システムの実現のため、サンプリング周波数と識別率との関係を評価した。
【００７０】
サンプリング周波数の評価実験では、上述のようにして収集した加速度データを５０Hzでサンプリングしたデータが用いられる。この加速度データからダウンサンプリングによって、２５Hz，１２．５Hz，６．２５Hz，３．１２５Hzの加速度データをそれぞれ生成した。これらのサンプリング周波数の違う５種類に関して、それぞれの場合の識別を求めた。このとき、上述の実験で得られた最適な加速度センサ３２の装着位置の組み合わせを踏まえ、学習と評価に用いるセンサデータは「両手首と両足首」４箇所のデータのみとし、クラス分類器もＳＶＭのみを用いた。特徴計算を行う際、サンプリング周波数によってウィンドウ中に含まれるサンプル数が異なるが、ウィンドウサイズ長を一定に保ち、サンプル数を可変としている。
【００７１】
図１７には、サンプリング周波数を変化させたときの行動別の識別率を示したグラフが示される。図１７に示すグラフを参照すると、全体としてサンプリング周波数を低下させると識別精度が低下する傾向が分かる。一方、これと逆の傾向を示している行動として「コンピュータ作業」が挙げられる。図１０に示した５０Hzでサンプリングした結果と、図１８に示すように、６．２５Hzでサンプリングしたときの結果とを比較すると、サンプリング周波数を低下させても、識別率の低下が小さいことが分かる。しかし、「座位」の姿勢では、サンプリング周波数の低下により、「コンピュータ作業」を「食事」と誤識別するサンプル数が減少している。逆に、「食事」は周波数の低下によって「読書」と誤識別するサンプル数が増え、「読書」に関しては周波数の低下により「コンピュータ作業」と誤識別するサンプル数が増加している。これは、サンプリング周波数が６．２５Hzの場合には、「座位」の姿勢についての３種類の行動（「コンピュータ作業」，「食事」，「読書」）を正しく識別できていないことを意味する。図１７を見ると、「座位」の姿勢における行動の識別には、１２．５Hz以上のサンプリング周波数が必要と考えられる。この実施例では、加速度センサ３２（センサ装置１６）における省電力化を主たる目的とはしないため、サンプリング周波数は５０Hzに固定してある。
【００７２】
上述したような動作をサーバ１２が図１９ないし図２２に示すフロー図に従って実行する。具体的には、サーバ１２は、図１９ないし図２１に示すフロー図に従って、姿勢・行動識別特徴量学習処理を実行し、図２２に示すフロー図に従って、姿勢・行動識別処理を実行する。
【００７３】
図１９に示すように、サーバ１２は、姿勢・行動識別特徴量学習処理を開始すると、ステップＳ１で、センサＤＢ２０から姿勢識別学習用データセットを読み込む。具体的には、サーバ１２は、或る被験者の行動記録として、当該被験者に装着された各センサ装置１２で検出された加速度データをセンサＤＢ２０から読み込む。ここで、この姿勢識別学習用データセットでは、加速度データに対応して姿勢クラスがラベリングされている。つまり、立位、座位、歩行のいずれかを示す識別情報（ＩＤ）が付加されている。ただし、この実施例では、後述する行動識別学習用データセットは、この姿勢学習用データセットと同じであり、したがって、加速度データには、姿勢クラスの識別情報のみならず、行動についての識別情報も付加されている。上述した訓練データと同様に、これらの識別情報は、加速度データの取得時にラベリングすることができる。ただし、被験者の行動をビデオカメラで撮影するなどして記録しておく場合には、その記録に従って事後的にラベリングすることができる。
【００７４】
続くステップＳ３では、全センサの集合をセンサ集合Ｓとして読み出す。次のステップＳ５では、姿勢識別特徴抽出処理を実行する。ここでは、サーバ１２は、姿勢を識別するための特徴量（姿勢識別用特徴量）すなわち特徴ベクトルｆｐを計算する。この特徴ベクトルｆｐは数５で示される。上述したように、全ての加速度センサ３２で検出された加速度から、ウィンドウ毎に、平均、標準偏差、エネルギ、エントロピおよび相関係数が算出され、これらが特徴ベクトルｆｐの各要素となる。
【００７５】
［数５］
ｆｐ＝Ｆ（Ｓ）＝｛ｆｐ１，ｆｐ２，…，ｆｐＮｐ｝
続いて、ステップＳ７では、特徴ベクトルｆｐを主成分分析し、寄与率が閾値ηｐよりも大きい特徴（特徴ベクトルｆｐｒ）を選択する。この選択された特徴ベクトルｆｐｒは数６で示される。
【００７６】
［数６］
ｆｐｒ＝｛ｆｐｒ１，ｆｐｒ２，…ｆｐｒｋ｝    （ｒｋ≦Ｎｐ）
なお、数６からも分かるように、特徴ベクトルｆｐｒは、選択されたｒｋ個の特徴量で表わされる。
【００７７】
ここで、上述したように、特徴量は５種類であるが、各加速度の軸毎に特徴量を求めるとともに、相関係数については、２つの異なる各軸間の全ての組み合わせについての相関を求めることにより、特徴ベクトルｆｐは求められる。このため、たとえば、４つの加速度センサ３２で検出された加速度を用いる場合には、「平均」、「標準偏差」、「エネルギ」および「エントロピ」のそれぞれについては１２（３軸×４）個の特徴量が求められ、相関係数については６６（１２Ｃ２＝１２×１１／２）個の特徴量が求められる。つまり、この場合の特徴ベクトルｆｐは１１４次元となる。このとき、変数Ｎｐ＝１１４となる。ただし、相関係数は、４つの加速度センサ３２の各軸の加速度（１２軸の加速度）について、他の軸の加速度との相関関係を求めている。
【００７８】
また、特徴ベクトルｆｐを主成分分析すると、固有値の大きい順で、第１主成分から第Ｎｐ主成分までの固有値λｉ（ｉ＝１，２，…，Ｎｐ）が算出される。このとき、寄与率は、各固有値を固有値の合計値で割ったもの（百分率）と定義される。つまり、各固有値λｉの寄与率は数７で示される。
【００７９】
［数７］
0004992043.tif 000006
【００８０】
この寄与率の値が閾値ηｐを超えるか否かを判断して、特徴ベクトルｆｐｒを求めている。たとえば、閾値ηｐは１（％）に決定される。固有値λｉが大きいほど、主成分得点の分散が大きく、各固有値λｉに対応する（属する）固有ベクトル（元の特徴軸の重み付け合成特徴ベクトル）が全特徴空間を説明する力が大きい（情報量が多い）。しかし、固有値λｉが極端に小さい特徴軸は、全特徴空間を説明する力が小さいため、無くても良いと言える。したがって、特徴ベクトルｆｐから固有値λｉの小さい特徴軸（特徴量）を削除することにより、次元の少ない特徴ベクトルｆｐｒに圧縮しているのである。
【００８１】
なお、この実施例では、寄与率を用いて、特徴ベクトルｆｐｒを求めるようにしてあるが、累積寄与率を用いるようにしてもよい。ここで、累積寄与率は、寄与率を第１主成分から順に累積したものをいう。この場合、たとえば、閾値ηｐは９５（％）に決定され、第１主成分からこの閾値ηｐを超える最小の第ｋ主成分（ｋ≦Ｎｐ）までを採用した特徴ベクトルｆｐｒが生成される。
【００８２】
図１９に戻って、次のステップＳ９では、特徴ベクトルｆｐｒに使用していないセンサ集合Ｓｍを求める。つまり、特徴ベクトルｆｐに特徴量（要素ないし成分）が存在するが、特徴ベクトルｆｐｒに特徴量が存在しないセンサ装置１６（加速度センサ３２）を検出するのである。そして、ステップＳ１１では、センサ集合Ｓｍが空集合φであるかどうかを判断する。
【００８３】
ステップＳ１１で“ＮＯ”であれば、つまりセンサ集合Ｓｍが空集合φでなければ、ステップＳ１３で、センサ集合Ｓを更新する（Ｓ＝Ｓ−Ｓｍ）。つまり、姿勢の識別に使用するセンサ装置１６（加速度センサ３２）の数が削減される。その後、ステップＳ５に戻る。一方、ステップＳ１１で“ＹＥＳ”であれば、つまりセンサ集合Ｓｍが空集合φであれば、ステップＳ１５で、姿勢識別用センサ集合Ｓを、姿勢識別用センサ集合データベースに書き出す。つまり、サーバ１２は、センサ集合Ｓを姿勢識別用センサ集合Ｓｐ＊として、姿勢識別用センサ集合ＤＢ２２に記憶する。
【００８４】
続いて、図２０に示すように、ステップＳ１７では、センサＤＢ２０から行動識別学習用データセットを読み込む。ここでは、ステップＳ１で読み出したデータと同じデータが読み出される。次のステップＳ１９では、姿勢ωｐｉ∈｛ｐ１，ｐ２，…，ｐＮｐ｝を選択する。この姿勢ωｐｉには、全ての姿勢クラスのラベル（識別情報）が記述される。姿勢ωｐｉは、行動識別システム１０の管理者ないし使用者によって予め決定され、図示は省略するが、センサＤＢ２０などのＤＢやサーバ１２の内部メモリに記憶されている。そして、ステップＳ２１では、変数ｉが最大値Ｎｐを超えているか（ｉ＞Ｎｐ）を判断する。つまり、姿勢ωｐｉに含まれる全ての姿勢クラスについて、後述する行動識別用センサ集合Ｓａ＊を求めたかどうかを判断する。
【００８５】
ステップＳ２１で“ＹＥＳ”であれば、つまり変数ｉが最大値Ｎｐを超えている場合には、そのまま姿勢・行動識別特徴量学習処理を終了する。一方、ステップＳ２１で“ＮＯ”であれば、つまり変数ｉが最大値Ｎｐ以下であれば、ステップＳ２３で、数８に示すような行動Ａ（ωｐｉ）を読み出す。ここで、行動Ａ（ωｐｉ）は、姿勢ωｐｉにおいて取り得る行動のラベル（識別情報）、すなわち姿勢ωｐｉが示す姿勢クラスの中で取り得る行動のラベルである。
【００８６】
［数８］
Ａ（ωｐｉ）＝｛ａ１，ａ２，…，ａＮｐｉ｝
続くステップＳ２５では、ステップＳ３と同様に、全センサ集合を集合Ｓとして読み出す。図２１に示すように、次のステップＳ２７では、行動ラベルに対応するセンサデータ（加速度データ）Ｚ（Ｓ，Ａ（ωｐｉ））を読み込む。続いて、ステップＳ２９では、センサデータＺから特徴量（平均、標準偏差、エネルギ、エントロピ、相関係数）を抽出する。つまり、数９に示すように、ｍ次元の特徴ベクトルＸが求められる。
【００８７】
［数９］
Ｘ＝｛ｘ１，ｘ２，…，ｘｍ｝
続くステップＳ３１では、特徴ベクトルＸを主成分分析し、寄与率が閾値τよりも大きい特徴を選択する。この選択された特徴ベクトルＸｒは数１０で示される。これらは、上述の特徴ベクトルｆｐから特徴ベクトルｆｐｒを生成したのと同様である。
【００８８】
［数１０］
Ｘｒ＝｛ｘｒ１，ｘｒ２，…ｘｒｌ｝    （ｒｌ＜Ｋ）
なお、数１０からも分かるように、特徴ベクトルＸｒは、選択されたｒｌ個の特徴量で表わされる。
【００８９】
次のステップＳ３３では、特徴ベクトルＸｒに使用していないセンサ集合Ｓｎを求める。つまり、特徴ベクトルＸに要素が存在するが、特徴ベクトルＸｒに要素が存在しないセンサ装置１６（加速度センサ３２）を検出するのである。そして、ステップＳ３５では、センサ集合Ｓｎが空集合φであるかどうかを判断する。
【００９０】
ステップＳ３５で“ＮＯ”であれば、つまりセンサ集合Ｓｎが空集合φでなければ、ステップＳ３７で、センサ集合Ｓを更新する（Ｓ＝Ｓ−Ｓｎ）。つまり、行動の識別に使用するセンサ装置１６（加速度センサ３２）の数が削減される。その後、ステップＳ２７に戻る。一方、ステップＳ３５で“ＹＥＳ”であれば、つまりセンサ集合Ｓｎが空集合φであれば、ステップＳ３９で、行動識別用センサ集合Ｓを、行動識別用センサ集合データベースに書き出して、図２０に示したステップ１９に戻る。つまり、ステップＳ３９では、サーバ１２は、センサ集合Ｓを姿勢識別用センサ集合Ｓａ＊として、姿勢識別用センサ集合ＤＢ２４に記憶する。
【００９１】
上述したように、図２２は、姿勢・行動識別処理を示すフロー図である。図２２に示すように、サーバ１２は、姿勢・行動識別処理を開始すると、ステップＳ５１で、姿勢識別用センサ集合Ｓｐ＊および行動識別用センサ集合Ｓａ＊を各データベース（２２，２４）から読み込む。次のステップＳ５３では、センサ集合Ｓｐ＊のデータ（加速度データ）を用いて特徴抽出する。つまり、数１１に示すような特徴ベクトルＦｐが求められる。特徴ベクトルＦｐの各要素（特徴量）は、上述した特徴ベクトルｆｐと同様である。
【００９２】
［数１１］
Ｆｐ＝｛ｆｐ１，ｆｐ２，…，ｆｐＮ｝
次にステップＳ５５では、姿勢識別処理を実行する（ωｐ＝ｃｌａｓｓｉｆｙ＿ｐｏｓｔｕｒｅ（Ｆｐ））。ここで、姿勢識別処理（姿勢クラスの識別手法）について説明する。姿勢クラスは、上述したように、立位、座位および歩行の３クラスであり、各スライディング・ウィンドウの特徴量として教師あり学習を適用する。各クラスの特徴空間における散布図は、図１１または図１２に示したようなクラスタを形成する。学習に用いる識別器としては、ｋ近傍法（ｋ−Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）、線形識別関数、ナイーブベイズ法、決定木学習、サポートベクトルマシン（ＳＶＭ）などを適用することができる。
【００９３】
ただし、図１１または図１２，図１３（Ａ），図１３（Ｂ）および図１４に示すような散布図に従うクラスタについてのデータは教師データとして、サーバ１２の内部メモリ等に予め記憶されている。ここで、「クラスタについてのデータ」とは、たとえば、各クラスタに対応するクラス（姿勢や行動）を識別可能な情報と、散布図において当該クラスタを示す座標データとを意味する。
【００９４】
たとえば、識別器として、ｋ近傍法を適用すると、特徴空間（図１１，図１２）上にマッピングした際に、上記の教師データで規定されるクラスタとのユークリッド距離が近い順からｋ個のサンプルを選び、そのｋ個のサンプルの中で最も多いクラス（姿勢クラス）を識別結果とすることができる。
【００９５】
なお、多クラスのサポートベクトルマシンの構築の際には、各クラスを他の個々のクラスと判別するペアワイズ識別器をクラス数分訓練することで行う。実施例では、ＳＭＯ（Ｓｅｑｕｅｎｔｉａｌ  Ｍｉｎｉｍａｌ  Ｏｐｔｉｍｉｚａｔｉｏｎ）法を用い、カーネル関数として１次元の多項式カーネルを用いた。ただし、ＳＭＯ法については、「S. S. Keerthi, S. K, Shevade, C. Bhattacharyya, K. R. K, Murthy :Improvements to Platt’s SMO Algorithm for SVM Classifier Design, Neural Computation, 13(3), pp.637-649, 2001.」（参考文献７）に開示されている。
【００９６】
上記図９，図１０，図１５および図１６に示した識別結果（識別率）は、ＳＭＯ法をベースにしたＳＶＭを識別器として用いた場合の結果である。
【００９７】
ステップＳ５５で姿勢クラスが識別されると、ステップＳ５７では、識別姿勢ωｐに基づいて、行動識別に用いるセンサ集合Ｓａ＊（ωｐ）を決定する。つまり、ステップＳ５５で識別された姿勢クラス（ωｐ）の中で取り得る行動を識別するためのセンサ集合Ｓａ＊（ωｐ）が決定されるのである。続くステップＳ５９では、決定したセンサ集合Ｓａ（ωｐ）のデータを用いて特徴抽出する。つまり、数１２に示すような特徴ベクトルＦａｐが求められる。
【００９８】
［数１２］
Ｆａｐ＝｛ｆａ１，ｆａ２，…，ｆａＭ｝
次にステップＳ６１では、行動識別処理を実行する（ωａ＝ｃｌａｓｓｉｆｙ＿ａｃｔｉｏｎ（Ｆａｐ））。この行動識別処理は、上述したステップＳ５５の姿勢識別処理と同じであるため、重複した説明は省略する。したがって、ステップＳ６１では、姿勢クラスωｐに含まれる複数の行動のうちから、１の行動が識別（特定）される。続くステップＳ６３では、行動識別結果ωａを出力する。たとえば、行動識別結果ωａを、サーバ１２に接続されたモニタ（図示せず）にテキスト表示したり、同じくサーバ１２に接続されたスピーカ（図示せず）に音声で出力したり、或いはそれら両方の手段で出力したりする。ただし、行動識別結果ωａを他の端末（コンピュータや電話機）に電子メールで送信（出力）するようにしてもよい。また、行動識別結果ωａを単に出力するのみならず、その識別結果（姿勢および行動）を加速度データにラベリングするようにしてもよい。
【００９９】
そして、ステップＳ６５では、姿勢・行動識別処理を終了するかどうかを判断する。ここでは、ユーザからの終了指示が入力されたり、全ての加速度データについての処理を終了したりしたかどうかを判断するのである。ステップＳ６５で“ＮＯ”であれば、つまり姿勢・行動識別処理の終了でなければ、そのままステップＳ５３に戻って、次のサンプルについて姿勢・行動識別処理を実行する。一方、ステップＳ６５で“ＹＥＳ”であれば、つまり姿勢・行動識別処理の終了であれば、そのまま姿勢・行動識別処理を終了する。
【０１００】
この実施例によれば、姿勢を識別した後に、その姿勢クラスの中で取り得る１の行動を識別するので、被験者の行動を正確に識別することができる。また、姿勢および行動の識別には、それぞれに適切なセンサ集合を用いるので、姿勢および行動の識別をより正確に行うことができる。
【０１０１】
なお、この実施例では、携帯端末で加速データを収集して、これをサーバに送信して、サーバが行動を識別するようにしたが、これに限定される必要はない。姿勢パターンや行動パターンのデータを携帯端末の内部メモリに記憶しておけば、携帯端末で行動を識別することもできる。つまり、オンラインとオフラインとに拘わらず、姿勢および行動を識別することができる。
【０１０２】
また、この実施例では、携帯端末から一定時間毎に加速度データを含む送信データをサーバに送信するようにしたが、すべての加速度データを収集した後に、送信データをサーバに送信するようにしてもよい。ここで、すべての加速度データは、１日における被験者の行動に対する加速度データ、携帯端末のメモリに記憶可能な量の加速度データ、または、携帯端末を駆動する電池の残量で記録可能な量の加速度データを意味する。
【０１０３】
さらに、この実施例では、携帯端末から中継器を通してサーバに送信データを送信するようにしたが、中継器を通さずに、携帯端末から直接サーバに送信データを送信するようにしてもよい。
【０１０４】
さらにまた、この実施例では、１０種類の行動を３種類の姿勢に分類して、姿勢および行動を識別するようにしたが、姿勢は２種類以上であれば、４種類以上であってもよく、行動の種類は２種類以上であれば、１１種類以上であってもよい。つまり、実施例の姿勢や行動に限定されるべきではない。
【０１０５】
また、この実施例では、１人の被験者についての行動を識別する場合について説明した。しかし、被験者は複数であってもよい。かかる場合には、被験者毎に、姿勢識別用センサ集合および行動識別用センサ集合を作成し、被験者に対応するセンサ集合を用いて姿勢および行動を識別するようにすればよい。また、各被験者の加速度データの平均を取るようにすれば、すべての被験者に使用可能な姿勢識別用センサ集合および行動識別用センサ集合を作成することができる。かかる場合には、データベースの記憶容量を節約することができる。
【０１０６】
さらに、この実施例では、被験者の行動（動作）を検出するセンサとして加速度センサを用いた場合についてのみ説明したが、加速度センサに代えて、ジャイロセンサ（３軸）を用いることもできる。この場合には、ジャイロセンサで検出された角速度に基づいて、スライディング・ウィンドウ毎に、平均、標準偏差、エネルギ、周波数領域エントロピおよび相関関係の５種類の特徴量が算出される。
【図面の簡単な説明】
【０１０７】
【図１】図１はこの発明の行動識別システムの一例を示す図解図である。
【図２】図２は図１のセンサ装置および中継器の電気的な構成を示す図解図である。
【図３】図３は図１のセンサ装置および中継器を被験者が装着した様子を示す図解図である。
【図４】図４は右手首の加速度のデータを一定時間のスライディング・ウィンドウで分割する例を示す図解図である。
【図５】図５は各クラス分類器における、最も高い識別結果を得る加速度センサの装着位置の組み合わせと、その識別結果とを示す棒グラフである。
【図６】図６はクラス分類器毎に最も高い識別結果を得る加速度センサの組み合わせを求め、その識別結果をプロットして得られた折れ線グラフである。
【図７】図７はクラス分類器としてＳＶＭを用いた場合に、利き手や利き足が識別結果に及ぼす影響を示す棒グラフである。
【図８】図８は図６に示したＳＶＭの結果に関して、１０種類の行動別に識別結果を示した折れ線グラフである。
【図９】図９は全ての加速度センサを用いた場合の各行動に対する識別結果の混同行列を示す図解図である。
【図１０】図１０は両手首と両足首とに装着された加速度センサを用いた場合の各行動に対する識別結果の混同行列を示す図解図である。
【図１１】図１１は全ての加速度センサを用いた場合の正準特徴空間における第１，第２変数上での散布図である。
【図１２】図１２は両手首と両足首とに装着された加速度センサを用いた場合の正準特徴空間における第１，第２変数上での散布図である。
【図１３】図１３は両手首と両足首とに装着された加速度センサを用いた場合における、歩行および立位の姿勢に応じた正準特徴空間での行動毎の分布を示す図解図である。
【図１４】図１４は両手首と両足首とに装着された加速度センサを用いた場合における、座位の姿勢に応じた正準特徴空間での行動毎の分布を示す図解図である。
【図１５】図１５は全てのセンサ装置を用いた場合における、姿勢の識別結果および各姿勢の中で取り得る行動の識別結果を示す図解図である。
【図１６】図１６は両手首と両足首とに装着された加速度センサを用いた場合における、姿勢の識別結果および各姿勢の中で取り得る行動の識別結果を示す図解図である。
【図１７】図１７は両手首と両足首とに装着された加速度センサを用いた場合における、サンプリング周波数毎の識別率の変化を示す折れ線グラフである。
【図１８】図１８は両手首と両足首とに装着された加速度センサを用いた場合における、サンプリング周波数６．２５Hzでの識別結果を示す図解図である。
【図１９】図１９は図１に示すサーバの姿勢・行動識別特徴量学習処理の一部を示すフロー図である。
【図２０】図２０は図１に示すサーバの姿勢・行動識別特徴量学習処理の他の一部であって、図１９に後続するフロー図である。
【図２１】図２１は図１に示すサーバの姿勢・行動識別特徴量学習処理のその他の一部であって、図２０に後続するフロー図である。
【図２２】図２２は図１に示すサーバの姿勢・行動識別処理を示すフロー図である。
【符号の説明】
【０１０８】
１０  …行動識別システム
１２  …サーバ
１４  …ネットワーク
１６（１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ）  …センサ装置
１８  …中継器
２０，２２，２４  …データベース
３０，５０  …ＣＰＵ
３２  …加速度センサ
３４，５４  …ＲＡＭ
３６，５６  …Ｂｌｕｅｔｏｏｔｈモジュール
５２  …インターフェイス
【図１】
0004992043.tif 000007
【図２】
0004992043.tif 000008
【図３】
0004992043.tif 000009
【図４】
0004992043.tif 000010
【図５】
0004992043.tif 000011
【図６】
0004992043.tif 000012
【図７】
0004992043.tif 000013
【図８】
0004992043.tif 000014
【図９】
0004992043.tif 000015
【図１０】
0004992043.tif 000016
【図１１】
0004992043.tif 000017
【図１２】
0004992043.tif 000018
【図１３】
0004992043.tif 000019
【図１４】
0004992043.tif 000020
【図１５】
0004992043.tif 000021
【図１６】
0004992043.tif 000022
【図１７】
0004992043.tif 000023
【図１８】
0004992043.tif 000024
【図１９】
0004992043.tif 000025
【図２０】
0004992043.tif 000026
【図２１】
0004992043.tif 000027
【図２２】
0004992043.tif 000028