HASC Tutorial 2012
Part 1
スライドコンテンツ
行動認識技術の概要
行動認識に関する研究紹介
HASC Challengeの説明
参考文献の紹介http://hasc.jp/

名古屋大学 河口研究室
修士１年 渡辺 穂高

行動認識って？
• 機械が人間の行動を自動的に認識▫ モバイル端末には様々なセンサが搭載
 Ex) マイク、カメラ、加速度センサ▫ 人の行動を様々なセンサで測定
 行動に関する特徴を取得• 幅広い分野で応用可能▫ Ex)医療，スポーツ，日常生活など

2

行動認識の目的

センサ信号を取得

行動に関する特徴
行動情報を機械的に処理

センサデバイスを携帯しながら活動異常検知

周辺機器を制御3

行動認識の流れ [学習フェーズ]

4

行動認識の流れ [識別フェーズ]

5センサ情報• 加速度情報• 角速度情報• 位置情報• 地磁気情報
右上図：加速度波形
右下図：角速度波形
いずれも３軸情報
青：x軸
赤：y軸
緑：z軸
6

特徴量抽出• 特徴量の計算▫ 窓を適用▫ 特徴量の計算▫ 窓をスライド• 特徴量の選択・組み合わせ▫ 時系列センサ値から計算
 平均
 分散 など▫ フーリエ変換を利用
 パワースペクトル エネルギーなど

7フーリエ変換を利用する場合• フーリエ変換▫ 窓の両端が連続▫ ０に収束させるため、窓関数を適用• 窓関数を利用▫ ハニング窓▫ ハミング窓▫ ガウス窓

通常のsin波形

窓関数を適用したsin波形
8

機械学習• 学習モデル▫ 決定木▫ ニューラルネットワーク▫ K-近傍法▫ サポートベクターマシン▫ 閾値モデル• 学習モデルの複数組み合わせもOK！
• モデル毎に様々なパラメータが存在

9

モデルとは？

10

行動認識の歴史• 初期▫ 試行錯誤の時代▫ 行動情報（主に加速度信号）を処理▫ 音声認識，画像認識などの処理手法が存在▫ 過去の処理手法をそのまま適用• 中期▫ アプリケーションと精度改良の時代▫ 加速度情報以外も使用▫ 対象とする行動のバリエーションも増加
11

Accelerometer+contextを含む論文数の推移
700
600
500
400300アプリケーションと精度改良の時代# of paper

試行錯誤の時代

200
1000

iPhone,Androidによる多様化？

ACM Digital Libraryより

12

行動認識に関する研究13

人間情報処理の課題• 人間情報処理▫ 音声信号処理，画像処理，言語処理，行動情報処理• 人間情報処理技術の実用化
研究室環境での認識＆評価

大きな壁・ギャップ
実環境・大規模実ユーザを対象とした認識＆評価
14

人間情報処理の共通点
音声

画像

言語

動作・動き

PASL-DSR,UT-ML,ATR,TMW,RWCP,PASD,CIAIR-DB

顔,歩行者,放送映像,TREC.PASCAL,文字日本語話し言葉コーパス /KOTONOHA？？？

アルゴリズム

HMM/DP

顔認識
オプティカルフロー
圧縮・伸張

形態素解析
係り受け解析

個別研究

ツールキットHTK (HMM ToolKit)
Julius

OpenCV / mist

Chasen / Cabocha

個別研究

関連国内研究会

SP / SLPIE / CVIM / PRMU

NL / SLP

UBI

国際会議

ICASSP・InterSpeech

ICCV / ICPRNAACL / ACL /COLING

UbiComp/
ISWC /
Pervasive

コーパス

15

行動認識技術の実用化• 実世界で行動認識技術を使いたい！
▫ 大規模なユーザを対象
 1000人以上くらい• 評価用データが必要▫ 大規模行動データの構築▫ 認識アルゴリズムの共有
 認識ツールの共有

HASC Challengeを開催！
16

HASC Challenge
HASC = Human Activity Sensing Consortium• HASCの目的▫ 人間行動の認識・理解の実現▫ 大規模データベースの構築• HASC Challengeの目的▫ 人間行動データの収集▫ 特徴量・アルゴリズムの開拓▫ アルゴリズム・ツールの標準化

行動認識技術の実用化

17

HASC Challenge• 人間行動コーパスの構築を目的とした技術チャレンジ• 参加者が大規模コーパスの構築に貢献▫ 各チームで収集したデータをコーパスで共有
HASC Challenge 201024チームが参加，21チームのデータを収集！

HASC Challenge 2011

HASCcorpus

29チームが参加，19チームのデータを収集！
18

HASC2012corpus• HASC2012corpusでは以下の要素が多様▫ センサの種類▫ センサ取付箇所▫ サンプリングレート• 行動データの規模▫ 被験者数（名）: 136▫ 行動ファイル数 : 7668

ATR
Apple
Samsung
HTC
Sharp
Sony
LG

デバイスメーカー別ファイル数分布

19

HASC Challenge 2012• スケジュール
2012/11/13(Tue) HASC Challenge 2012 登録締切
2012/11/30(Fri) HASC Challenge 2012 データ提出締切
2012/12/25(Tue) HASC Challenge シンポジウム 開催• 参加登録▫ Hub.hasc.jpにアクセス http://hub.hasc.jp/▫ User registration for Hub
 各項目は英語で記述されていますが、登録は日本語を推奨
20

HASC Challengeの参加条件• 必須条件▫ 行動データの提供 (Challenge 0)• 提出する行動データ▫ 6種類の行動データ
 静止，歩行，ジョギング，スキップ，階段上る，階段下る▫ 実環境データ
 ランドマーク間の移動センサデータ：加速度データ＋α
α：ジャイロ，GPS，地磁気など
21

Challenge内容• Challenge0▫ 行動データの提供

参加条件• Challenge1▫ 6種類の行動を識別 静止，歩行，ジョギング，スキップ，階段上る，階段下りる• Challenge2▫ 行動解析

 歩数，歩幅，階段1段の高さを推定• Challenge3▫ 提案型

 行動データの新たな利用方法を提案
22

HASC Logger• HASCが開発する行動データ収集ツール▫ センサデータの収集 位置情報，地磁気，加速度，角速度▫ 収集方法の設定
 サンプリングレート
 データ収集時間▫ 収集データをアップロード• iPhone, iPod touch,Androidアプリ

23

HASC Tool
• HASCが開発する行動情報処理ツール▫ 行動データ編集機能▫ 信号処理機能▫ 機械学習機能▫ ラベル付与機能▫ 大規模データ処理機能• HASC Toolの種類▫ ダウンロード版:お試し版▫ Sourceforge版：開発者向け
24

参考文献
（英語論文）•••••

Bao, L. and Intille, S. S. Activity Recognition from User-Annotated Acceleration Data.
Proc of PERVASIVE 2004, pp.1-17, 2004.
Chang, K., Chen, Y. M. and Canny, J. Tracking Free-Weight Exercises.
Proc of ACM UbiComp 2007, pp.19-37, 2007.
Siewiorek, D., Smailagic, A., Furukawa, J., Krause, A., Moraveji, N., Reiger, K., Shaffer, J.
and Wong, L. F. Sensay: A Context-Aware Mobile Phone. Proc of ISWC 2003, pp.248-249,2005.
Lester, J., Choudhury, T., Borriello, G. A Practical Approach to Recognizing Physical Activity.
Proc of PERVASIVE 2006, Vol.3968, pp.1-16, 2006.
Preece, S., Goulermas, J. Y., Kenney, L., Howard, D., Kenneth, M. and Robin, C. Activity
Identification Using Body-mounted Sensors a Review of Classification Techniques.
Physiological Measurement, Vol.30, No.4, pp.1-33, 2009.

（日本語論文）••••倉沢央, 川原圭博, 森川博之, 青山友紀. センサ装着場所を考慮した３軸加速度センサを用いた姿勢推定手法. 情処研報2006-UBI-11, pp.15-22, 2006.
寺田努. ウェアラブルセンサを用いた行動認識技術の現状と課題．コンピュータソフトウェア
論文誌，Vol.28, No.2, pp.43-54, 2011.
河口信夫, 他. HASC Challenge2010 :人間行動理解のための装着型加速度センサデータコーパスの構築． 情報処理学会マルチメディア分散協調とモバイル(DICOMO 2011), pp.69-75, 2011.
河口信夫, 他. 大規模人間行動センシングコーパス HASC2012corpus の概要とその応用．情報処理学会マルチメディア分散協調とモバイル(DICOMO 2012), 2012.

25