HASC Tutorial 2011
http://hasc.jp/
スライドコンテンツ• 行動認識技術の概要• 行動認識に関する研究紹介• HASC Challengeの説明• 参考文献の紹介

Part 1

名古屋大学 河口研究室
修士２年 小川延宏

1行動認識って？
• 機械が人間の行動を自動的に認識• モバイル端末には様々なセンサが搭載• Ex) マイク、カメラ、加速度センサ• 人の行動を様々なセンサで測定• 行動に関する特徴を取得• 幅広い分野で応用可能• Ex)医療，スポーツ，日常生活など
2

行動認識の目的

センサ信号を取得

行動に関する特徴
行動情報を機械的に処理

センサデバイスを携帯しながら活動

3

異常検知

周辺機器を制御

行動認識の流れ [学習フェーズ]

4

行動認識の流れ [認識フェーズ]

5センサ情報• 加速度情報• 角速度情報• 位置情報• 地磁気情報
右上図：加速度波形
右下図：角速度波形
いずれも３軸情報
青：x軸
赤：y軸
緑：z軸

6

特徴量抽出• 特徴量の計算• 窓を適用• 特徴量の計算• 窓をスライド• 特徴量の選択・組み合わせ• 時系列センサ値から計算• 平均• 分散 など• フーリエ変換を利用• パワースペクトル• エネルギー など

7フーリエ変換を利用する場合• フーリエ変換• 窓の両端が連続• ０に収束させるため、窓関数を適用• 窓関数を利用• ハニング窓• ハミング窓• ガウス窓

右中図：sin波形
右下図：窓関数適用

8機械学習• 学習モデル• 決定木• ニューラルネットワーク• K-近傍法• サポートベクターマシン• 閾値モデル• 学習モデルの複数組み合わせもOK！
• モデル毎に様々なパラメータが存在
9

10

昨年のHASC2010 チュートリアル資料より抜粋

行動認識手法• 学習形式• 教師付学習• ユーザ依存• ユーザ独立• 教師なし学習

学習対象
対象とするユーザのデータを含む行動データ
学習対象
対象とするユーザ以外から収集行動データ• 学習方法• オフライン• リアルタイム11

ユーザ依存認識• 学習用データも評価用データも同じ
指定した人々から収集• 評価は特定の被験者グループ内で行う• 学習対象• 評価対象12

ユーザ独立認識• 学習用データと評価用データは異なる
人々から収集• 学習と評価は被験者を別々に設定して行う• 学習対象• 評価対象13

行動認識の歴史• 初期• 試行錯誤の時代• 行動情報（主に加速度信号）を処理• 音声認識，画像認識などの処理手法が存在• 過去の処理手法をそのまま適用• 中期• アプリケーションと精度改良の時代• 加速度情報以外も使用• 対象とする行動のバリエーションも増加

14

15

昨年のHASC2010 チュートリアル資料より抜粋

16

17

昨年のHASC2010 チュートリアル資料より抜粋

人間の活動に関する情報• 人間には様々なパーツが備わっている• 耳，目，口，手足など• これらのパーツを用いて生活• 人間情報• 音声情報（耳），画像情報（目），言語（口），動作（手足）• これらの情報を使って人間情報を機械的に把握したい！

18

人間情報処理の課題• 人間情報処理• 音声信号処理，画像処理，言語処理，行動情報処理• 人間情報処理技術の実用化• 研究室環境での認識＆評価

大きな壁・ギャップ• 実環境・大規模実ユーザを対象とした認識＆評価

19

人間情報処理の共通点
音声

画像

言語

動作・動き

コーパス

PASL-DSR,UT顔、歩行者、放送映像、 日本語話し言葉コーパス
ML,ATR,TMW,RWCP,
ＴＲＥC.ＰＡＳＣＡＬ，文字/ KOTONOHA
PASD,CIAIR-DB？？？

アルゴリズム

HMM/DP

顔認識
オプティカルフロー
圧縮・伸張

形態素解析
係り受け解析

個別研究

ツールキットHTK (HMM ToolKit) /Julius

OpenCV / mist

Chasen/Cabocha

個別研究

関連国内研
究会

SP/SLP

IE/CVIM/PRMU

NL/SLPUBIICCV / ICPRNAACL/ ACL /COLING

国際会議

ICASSP・InterSpeech

20
UbiComp/ISWC/
Pervasive行動認識技術の実用化• 実世界で行動認識技術を使いたい！
• 大規模なユーザを対象• 1000人以上くらい• 評価用データが必要• 大規模行動データの構築• 認識アルゴリズムの共有• 認識ツールの共有
21

HASC Challengeを開催！

HASC Challenge
HASC = Human Activity Sensing Consortium• HASCの目的• 人間行動の認識・理解の実現• 大規模データベースの構築• HASC Challengeの目的• 人間行動データの収集• 特徴量・アルゴリズムの開拓• アルゴリズム・ツールの標準化

行動認識技術の実用化

22

HASC Challenge 2010
• 人間行動コーパスの構築を目的とした技術チャレンジ• 参加者が大規模コーパスの構築に貢献• 各チームで収集したデータをコーパスで共有

HASC corpus
23

結果：24 チーム分のデータを収集！

HASC2010corpus• HASC2010corpusでは，以下の要素が多様• センサの種類• センサ取付箇所• サンプリングレート• 行動データの規模• 被験者数（名）: 540• 認識実験に使用可能
96名分• 行動ファイル数 : 6791

腰手
胸ポケット（ジャケット）腕ハンドバック
ポケット
ショルダーバック足首
リュック
ネックストラップ

センサ取付箇所別の行動
データのファイル数分布

24

HASC Challenge 2011• スケジュール

• 参加登録• Hub.hasc.jpにアクセス• http://hub.hasc.jp/• User registration for Hub• 各項目は英語で記述されていますが、登録は、日本語を推奨

25

HASC Challengeの参加条件• 必須条件• 行動データの提供 (Challenge 0)• 提出する行動データ• 6種類の行動データ• 静止，歩行，ジョギング，スキップ，階段上る，階段下る• 実環境データ• ランドマーク間の移動センサデータ：加速度データ＋α
α：ジャイロ，GPS，地磁気など

26

Challenge内容• Challenge0• 行動データの提供

参加条件• Challenge1• 6種類の行動を識別• 静止，歩行，ジョギング，スキップ，階段を上る，階段を下りる• Challenge2• 行動解析
• 歩数，歩幅，階段1段の高さを推定• Challenge3
• 提案型

27

HASC Logger• HASCが開発する行動データ収集ツール• 収集データ• 位置，地磁気，加速度，角速度• サンプリングレート• データ収集時間• 収集データをアップデート• iPod touch, iPhone，Androidアプリ

28

HASC Tool
• HASCが開発する行動認識ツール• 行動データ編集機能• 信号処理機能• 機械学習機能• ラベル付与機能• 大規模データ処理機能• HASC Toolの種類• ダウンロード版:お試し版• Sourceforge版：開発者向け

29

参考文献
（英語論文）• Bao, L. and Intille, S. S. Activity Recognition from User-Annotated Acceleration Data.
Proc of PERVASIVE 2004, pp.1-17, 2004.
• Chang, K., Chen, Y. M. and Canny, J. Tracking Free-Weight Exercises.
Proc of ACM UbiComp 2007, pp.19-37, 2007.
• Siewiorek, D., Smailagic, A., Furukawa, J., Krause, A., Moraveji, N., Reiger, K.,Shaffer, J. and Wong, L. F. Sensay: A Context-Aware Mobile Phone. Proc of ISWC 2003,
pp.248-249, 2005.
• Lester, J., Choudhury, T., Borriello, G. A Practical Approach to Recognizing Physical
Activity. Proc of PERVASIVE 2006, Vol.3968, pp.1-16, 2006.
• Preece, S., Goulermas, J. Y., Kenney, L., Howard, D., Kenneth, M. and Robin, C.
Activity Identification Using Body-mounted Sensors a Review of ClassificationTechniques. Physiological Measurement, Vol.30, No.4, pp.1-33, 2009.

（日本語論文）• 倉沢央, 川原圭博, 森川博之, 青山友紀. センサ装着場所を考慮した３軸加速度センサを用いた姿勢推定手法. 情処研報2006-UBI-11, pp.15-22, 2006.
• 寺田努.:ウェアラブルセンサを用いた行動認識技術の現状と課題，コンピュータソフトウェア
論文誌，Vol.28, No.2, pp.43-54, 2011.
• 河口信夫, 小川延宏, 岩崎陽平, 梶克彦, 寺田努, 村尾和哉, 井上創造, 川原圭博, 角康之,
西尾信彦.:HASC Challenge2010 :人間行動理解のための装着型加速度センサデータコーパスの構築, 情報処理学会マルチメディア分散協調とモバイル(DICOMO 2011), pp.69-75, 2011.

30