加速度と音で日々の生活行動を認識する ActivityAnalyzer
大内一成†

土井美和子†

携帯電話などの小型情報端末に搭載されている加速度センサとマイクのデータのみを用いて生活行動認識をリアルタイムに行う ActivityAnalyzer を開発した．小型端末上での処理を念頭に置き，計算量を抑えた認識手法として，まず加速度センサを活用してユーザの動作状態を歩行，作業，安静の 3 状態に大まかに分類し，作業時のみマイクを起動して環境音の分析を行い，作業内容を判断す
る．各作業データの事前学習は 10 秒間ずつで良い．胸ポケットに格納した試作デバイスで実際の家庭生活のデータを収集して評価した結果，加速度センサのみで動作状態を概ね 95%以上の精度で認識できた．また，環境音の分析により，「歯磨き」，「電気シェーバーによる髭剃り」，「ドライヤーの使用」，「トイレ水洗／手洗い」，「掃除機がけ」，「皿洗い」，「アイロンがけ」の各作業を平均 75.8%の精度で，本人の学習データを用いた場合は 85.9%の精度で分類できた．

Living Activity Recognition using an Accelerometer and a Microphone
KAZUSHIGE OUCHI†MIWAKO DOI†

We developed a real-time living activity recognition engine “ActivityAnalyzer” using only off-the-shelfsensors, namely, an accelerometer and a microphone, which are commonly applied in mobile phones. We
propose a low-throughput recognition technique with processing on mobile phones in mind. It firstly estimatesa user’s movement condition roughly, walking, working and quiet, by acceleration sensing. Secondly, itclassifies the working condition in detail by acoustic sensing when the estimation result is working. It only
needs to train each working data for 10 seconds beforehand. As a result of our experiment, movement
conditions were classified with more than 95% accuracy by acceleration sensing. Moreover, it classified
working into brushing teeth, shaving, drying the hair with a blower, flushing the toilet, vacuuming, washing thedishes, and ironing with 75.8% accuracy by acoustic sensing and improved the accuracy to 85.9% by training
subject’s own data.

1.

はじめにして各生活行動を判断する取り組み[5]があるが，一般の家庭で使うためには，設置コスト，運用コストが加速度センサ，GPS（Global Positioning System）な大きな問題となる．これらに対し，我々は，携帯電話

ど，ユーザの動き，位置などの把握に活用可能なセンなどの一般的な小型情報端末にすでに搭載されているサが，携帯電話など小型の情報端末へ搭載され，ユー加速度センサとマイクを用いた生活行動の認識を検討

ザの現在の状況に基づいて適切なサービスを提供するしている．

状況依存型サービスの普及が期待されている．
携帯電話内蔵の加速度センサで，歩行，走行，階段一口に生活行動といってもその内容は多岐にわたる．
生活を営む上で欠かせない基本的な活動を指す日常生

昇降，乗り物など，基本的な動作状態を認識する研究

活動作（ADL: Activities of Daily Living）と，ADL よがある [1]-[3]．また，加速度センサと同様に携帯電り複雑で高次な活動を指す手段的日常生活動作

話に内蔵されている GPS，マイクも活用することで，（IADL: Instrumental ADL）に大別されるが，認識対動作状態に加えて，自転車，電車，バス，自動車など

象とすべき生活行動は，想定するサービスによって大の移動状態を推定する研究も行われている[4]．これ

きく異なる．よって，これらの生活行動の大半を精度らの取り組みは，例えば外出中の状況に応じたサービ良く認識しようとすることは，非常にチャレンジング

スへの応用が期待できる．しかし，GPS が使えないな課題であるが，実サービスを考えると，まずはその屋内や，より詳細な生活行動をターゲットとしたサーサービスに必要な生活行動に絞って認識するアプロー

ビスには適していない．

チが求められる．

一方，詳細な生活行動の認識を目的に，家庭内の至加速度と音を手がかりに詳細な生活行動の認識を行る所に各種センサを配置し，複数のセンサ情報を統合う場合，例えば家庭内の生活行動を考えてみると，掃除機の動作音は機種によって異なり，歯磨きは電動歯† 株式会社東芝 研究開発センター
Corporate Research & Development Center, Toshiba Corporation

ブラシか普通の歯ブラシかによって発生する動き，音情報処理学会 インタラクション 2011が異なる．また，同一の生活行動時における動きの特算量の少ない処理にする必要がある．そこで，統計量徴変化や，動き，音，それぞれの個人差も大きいと想として 1 秒間の分散のみを用いる簡便な手法を用いる定される．最終的には，事前学習不要の汎用性が高いこととした．

認識手法を確立することが目標であるが，まずはター

ユーザの胸ポケットに入れたデバイスに内蔵した 3ゲットとする生活行動のデータを短時間（10 秒間）軸加速度センサのデータ（10bit 20Hz サンプリング）学習するだけで精度良く各生活行動を認識できる手法

を用い，重力加速度方向の加速度の 1 秒間の分散を算について検討している．このような学習を前提とした出する．これは歩行時に最も顕著に加速度変化が現れアプローチの場合，いかに手軽に学習できるかどうかるのが重力加速度方向であるためで，この分散の大きが，実用化に向けて非常に重要だと考えている．

さによって「歩行」か否かを判断する．ここでは，閾

提案手法の基礎的な可能性検討の結果については文値を実験的に 0.05[G2]と定めた．「歩行」以外の場合

献[6]で報告した．本稿では，リアルタイムに提案手には，3 軸の各加速度の 1 秒間の分散を算出し，最大法による生活行動認識を行う ActivityAnalyzer の開発の分散を持つ軸の値の大きさによって，「作業」かと，それを用いて実施した複数被験者による評価実験「安静」かを弁別する．その閾値は 0.0001[G2]とした．の結果を中心に述べる．

以上のように，3 軸加速度の 1 秒間の分散のみを用い

2.

加速度と音による生活行動認識手法

2.1

処理概要

る簡便な手法により，「歩行」，「作業」，「安静」の 3種類の動作状態を分類する．
2.3

音による作業状態分類

我々が提案する生活行動認識手法の処理概要を図 1

動作状態を「作業」と分類した場合に，マイクを起に示す．まず，加速度センサのデータにより，動作状動し音による作業状態分類を行う．音による作業状態

態を「歩行」「作業」「安静」の 3 つに分類する．「作分類では，事前に分類対象の各作業状態につき 10 秒業」とは，歩行以外に，身体的動きを伴う何らかの生間だけ学習しておく．実用化を想定すると学習時間は活行動をしていると想定される状態のこととし，「安短い方が望ましいと考え，現在は 10 秒間としている．

静」とは「歩行」も「作業」もしていない，身体を動音データから抽出する特徴量としては，広く音声認かしていない状態のこととする．次に，「作業」と分識に使われているメル周波数ケプストラム係数

類した場合にはマイクを起動し，環境音を分析して作（ MFCC ）， 二 乗 平 均 平 方 根 （ RMS ）， ゼ ロ 交 差 率

業内容を推定する．本論文では，ADL，IADL のうち，（ZCR）を用いる．MFCC は人間の聴覚上重要な周波

家庭内の生活行動として代表的な「歯磨き」，「電気シ数成分を強調した特徴量で，RMS は主に音の強度をェーバーによる髭剃り」，「ドライヤーの使用」，「トイ表し，ZCR は当該区間の音高（ピッチ）に相当する

レ水洗／手洗い」，「掃除機がけ」，「皿洗い」，「アイロ特徴量で，これらは MFCC に含まれない音の特徴をンがけ」をターゲットとして評価を行う．

表す．音データは 16bit 16kHz サンプリングのデータを用い 1 秒ごとに各特徴量の平均値を出力するようにしたが，音の分析のためには前項の加速度の分析に対して扱うデータ量が 3 桁多くなり，その分，計算量と消費電力が増加する．音の分析を常時実施せず，計算コストが少ない加速度による動作状態分類をまず行い，その結果「作業」と分類した場合のみ音による作業状
態分類を行う本手法の構成はその点を考慮している．
分類器には，高い汎化性能を持つサポートベクターマ
シン（SVM）を用いた．尚，提案手法の詳細については文献[6]に詳しいのでそちらを参照されたい．

3.

ActivityAnalyzer の開発

図1 提案手法処理フロー

2.2

加速度による動作状態分類

加速度による動作状態分類は，常時動作させ続ける想定であるため，消費電力を考慮するとできるだけ演提案手法の性能評価の効率化，および生活行動認識処理のリアルタイム化を実現するため，生活行動認識エンジン ActivityAnalyzer を開発した．評価用に開発

加速度と音で日々の生活行動を認識する ActivityAnalyzer

した図 2 のデバイスでは，microSD カードへのデータら，対象の生活状態に該当する部分のデータを切り出記録と，Bluetooth によるデータ送信が可能となってし，分析対象とした．

いる．ActivityAnalyzer は PC 上で動作し，microSD カ

繰り返しになるが，本研究では短時間の学習データードに記録したデータのオフライン解析と，Bluetoothで，精度良い生活行動認識を実現する点を目的としてで受信したデータのオンライン解析の両方が可能であいる．よって，「作業」の 7 種類の分類性能の評価方

る．オンライン解析機能により，新たな生活行動のデ法は，この種の研究によく用いられている評価方法でータをその場で 10 秒間学習するだけで，その後すぐある Leave-one-out Cross-validation とは異なる評価方にその生活行動が認識可能になる本手法の特長が確認法を用いる．つまり，収集した全 8 データセットの生できる．オンライン解析時の画面の一例を図 3 に示す．

活状態データのうち，1 データセットから無作為に抽3軸加速度センサ

LIS344ALH（STMicroelectronics）

MEMSマイク

SPM0408HE5H-PB-T (Knowles)

記録メディアmicroSDカード

オーディオ／ファイル制御用CPU

ARM Cortex-M3

システム制御用CPU

PIC18LF4685（Microchip）

オーディオLSI

ML2308（OKI）

通信機能

Bluetooth SPP (Serial Port Profile) / A2DP
(Advanced Audio Distribution Profile)

図2 データ収集に使用した試作デバイスとその概略仕様

出した 10 秒分のデータを学習用とし，それ以外の 7データセットをテスト用として分類する．次に別の 1データセットから再度任意の 10 秒分を新規の学習用データとして抽出して同様のテストを行う．これを全データセットから 1 回ずつ学習用データを抽出するようにして平均の分類性能を算出した．
4.2

結果

4.2.1 加速度による動作状態分類性能
加速度による動作状態分類（歩行，作業，安静のいずれかに分類する）の結果を表 1 に示す．数値は，分析対象の生活状態の全データのうち，正しくその動作状態（歩行，作業，安静）に分類されたデータの割合，すなわち適合率を示す．「歯磨き」，「皿洗い」など作業状態に含まれる各生活状態は，ここでは「作業」に分類されることが正解となる．過去 1 秒間の分散を 1サンプリング（50ms）ごとに算出し，その都度動作状態分類を実施した．加速度の 1 秒間の分散のみを用いた分類法で，概ね 95%以上の精度で「歩行」，「作業」，「安静」を分類できていることがわかる．
表1 加速度による動作状態分類性能
図3 生活行動認識エンジン ActivityAnalyzer（オンライン解析）

4.

評価実験

4.1

データ収集実験

提案手法の性能評価を行うため，一般の家庭における日常生活のデータ収集を実施した．被験者 4 名（60代男女，30 代男女，それぞれ 1 名ずつ）に対して行動リスト（被験者毎に順番を入れ替えた）を提示し，それに従って一通り行動してもらう実験を，日を変えて 2 日分実施し，被験者 1 名あたり 2 データセット，計 8 データセットを収集した．分類対象とした生活行
動は，「歩行」，「歯磨き」，「電気シェーバーによる髭剃り」，「ドライヤーの使用」，「トイレ水洗／手洗い」，「掃除機がけ」，「皿洗い」，「アイロンがけ」，「安静（TV 鑑賞）」の計 9 種類で，各行動につき 1 分程度継続するように指示した．連続して収集したデータか

4.2.2 音による作業状態分類性能
音による作業状態分類の結果を表 2 に示す．MFCC，RMS，ZCR の各特徴量を 1 秒ごとに算出し，それを用いて 1 秒単位で作業状態分類を実施し，正しくその作業状態に分類されたデータの割合（適合率）を示す．
作業状態ごとに多少の性能のバラツキはあるが，任意情報処理学会 インタラクション 2011の 10 秒間の学習データで平均 75.8%の分類性能があることが確認できた．

「歯磨き」の精度が低い原因は，文献[6]でも考察した通り，任意に選んだ学習データ 10 セットが，前「電気シェーバーによる髭剃り」，「ドライヤーの使歯を磨いている時のデータのみだった場合，奥歯を磨用」については，90%以上の精度で分類できているが，いている際の性能が著しく低下するためである．前歯その他の生活状態については，いずれも 70%程度の磨きの時の 5 秒間と奥歯磨きの 5 秒間を手作業で抽出精度であった．原因としては，「歯磨き」については，した合計 10 秒間のデータを歯磨きの学習データとし電動ではない歯ブラシによる歯磨きのデータを収集して 再 学 習 さ せ た と こ ろ ， 73.0% だ っ た 分 類 性 能 をたが，歯磨きで発生する音の特徴が被験者によって異80.6%に改善できることが確認できた．このように，なるためであると考えられる．「トイレ水洗／手洗い」，同一の作業状態において，途中で音の特徴が変化する「皿洗い」は，それぞれ水洗時の水量を指定せずに被ような場合は，それぞれの場合のデータを学習データ

験者任せとしたため，被験者によってバラツキが出たに含めるようにする，あるいは SVM にそれぞれ別のと考えられる．「掃除機がけ」についても同様に動作クラスとして分類させるなどの工夫が必要になる．

モードは被験者任せとした．極力自然な生活状態のデータを収集することを主眼に置いて実施したことによ5.

まとめる影響ではあるが，逆に言えば，水量や，動作モード携帯電話などの小型情報端末に搭載されている加速が異なるデータを学習しても，約 70%程度の精度で度センサとマイクを用いて生活行動認識をリアルタイ同一の作業状態として分類できることがわかった．

ムに行う ActivityAnalyzer を開発した．10 秒間という次に，今回収集した各被験者の 2 データセットのう

短い学習時間で，7 種類の作業状態を平均 75.8%の精ち，一つのデータセットから任意の 10 秒間を学習デ度で， 本人 の学習 デー タのみ を用 いた場 合は 平均ータとし，その被験者自身のもう一つのデータセット85.9%の精度で認識でき，日常の生活行動認識に活用をテスト用として評価し，次に逆の組み合わせで同様可能な基本性能を持つことを確認した．今後は携帯端のテストを実施した場合とあわせて分類性能を評価し末版の ActivityAnalyzer の開発を行い，より実用に近た．表 3 にその結果（全被験者の平均）を示す．本人

い形での性能評価を実施する予定である．の学習データを用いることによって，全体として 10ポイント程度，性能が向上できていることがわかった．
表2 音による作業状態分類性能（全被験者データ）

表3 音による作業状態分類性能（本人データ）

謝辞

本研究の一部は総務省の研究委託により実施したものである．

参考文献1) T. Iso and K. Yamazaki: Gait Analyzer based on aCell Phone with a Single Three-axis Accelerometer,
Proceedings of the 8th conference on Humancomputer interaction with mobile devices andservices (MobileHCI2006), pp.141-144 (2006).
2) 倉沢央，川原圭博，森川博之，青山友紀：センサ装着場所を考慮した 3 軸加速度センサを用いた姿勢推定手法，情報処理学会 研究報告，
2006-UBI-11 (3), pp.15-22 (2006).
3) 池谷直紀，菊池匡晃，長健太，服部正典：3 軸
加速度センサを用いた移動状況推定方式，情報処理学会 研究報告，2008-UBI-19 (14), pp.75-80(2008).
4) 小林亜令，岩本健嗣，西山智：釈迦：携帯電話を用いたユーザ移動状態推定方式，情報処理学会論文誌 Vol.50 No.1, pp.193-208 (2009).
5) 美濃導彦：家庭におけるユビキタス環境の構築－ゆかりプロジェクト－，電子情報通信学会
2004 総合大会，No.A-16-8, p.317 (2004).
6) 大内一成，土井美和子：加速度と音による家庭
内ユーザ状況認識の可能性検討，マルチメディ
ア，分散，協調とモバイル(DICOMO2010)シンポジウム 論文集, pp.508-515 (2010).