立石科学技術振興財団

助成研究成果集(第29号) 2020

[ 研究助成 (A) ]深層生成モデルを用いたセンサデータの超解像と行動認識への応用
Super- Resolution of Sensor data using deep generative model
towards applying activity recognition
2191027

研究代表者

福井大学

学術研究院工学系部門

講師

長谷川達

人

が一般的な行動認識の原理である[1]。一方，[研 究 の 目 的]

機械学習では一貫性のないデータを用いてモデ
スマートデバイスや IoT 機器が普及した現

ルを訓練すると推定精度が低下する恐れがある

在，周囲の環境や人間の行動などをコンピューため，計測環境は統一されていることが望ましタに認識させるコンテキストアウェアネスに関い。深層学習では訓練時に大量のデータが必要する研究が盛んに行われている。中でも，スとなるが，計測環境を統一しつつ大量のデータマートフォン等に搭載されているセンサを用いを収集することは容易ではない。すなわち，一て，ユーザの身体活動の自動認識を行う行動認

貫性の無いデータに対しても高い認識精度を達

識は多くの研究がなされている。行動認識が実成できる手法が望まれる。

現できることで，ライフログや，行動に応じた以上を踏まえ，本研究ではセンサを用いた行スマートフォンの機能変更，大規模なユーザ動認識において，様々な計測環境に対して頑健データを集めれば，マーケティングや集団行動な行動認識手法を開発することを目的とする。の解析など，様々な分野への応用が可能となる。

本稿では特に，サンプリング周波数に焦点をあ

行動認識は，設置型のカメラを用いて画像てる。サンプリング周波数はデバイスの種類やベースに行う手法もあるが，本研究では，ユー計測アプリケーションによって変動し行動認識

ザが常日頃から持ち歩く機器で計測したセンサ精度に影響を与える要因の一つである。例えばデータを用いた行動認識に焦点を当てる。設置

Android スマートフォンの場合，API でサン型と比べ，時間や場所を問わずデータが取得でプリング間隔を変更することができる。機種やきる点や，特定のユーザに特化した情報を獲得

スペックによってもサンプリング間隔が多少変しやすいというメリットがある。各ユーザが独動する。ウェアラブルデバイスを併用する場合

自にデバイスを所持しなければならない手間がなども変動する。そこで，本研究ではサンプリ

デメリットだが，近年急激に普及したスマートング周波数の相違に対して頑健な行動認識手法

フォンやスマートウォッチを利用することで回を開発する。深層学習による敵対的訓練を応用避できる。しかし，デバイスの種類，所持方法，することで，様々なサンプリング周波数で計測装着方法，計測アプリケーション等の様々な計されたセンサデータが混在する環境 (以降，測条件が，ユーザによって，計測日によって異SF 混在環境とする) における，行動認識精度なるという問題点が残る。の向上を実現する。

センサデータを機械学習で自動分類する手法― 1 ―立石科学技術振興財団

助成研究成果集(第29号) 2020

CNN ベースで議論を行う。前述の通り関連研[研究の内容，成果]究ではこのモデルを特定のサンプリング周波数に限定して訓練を行っていた。従って，SF 混

1．主要な貢献以下 3 点が本研究の主要な貢献である。

在環境にシンプルに応用する場合，図 1 のよう・従来研究では，実験内でサンプリング周波数にサンプリング周波数ごとにモデルを訓練するを統一して研究が行われていた。本研究では，ことになる。ここで，X 100 Hz はサンプリング周SF 混在環境が行動認識精度に与える影響を波数 100 Hz で計測されたセンサデータであり，実験により明らかにした。

ネットワークへの入力を意味する。E 100 Hz は同・深層学習を用いた行動認識の識別器に対して，100 Hz 用 に 訓 練 さ れ る 特 徴 抽 出 器，z 100 Hz はサンプリング周波数の弁別器を敵対させる行E 100 Hzから出力される特徴マップ，C 100 Hzは行動動認識手法を提案し，定式化を行った上で実を分類する分類器，ŷ は分類器の予測結果であ装した。深層学習を用いた行動認識モデルにる。予測結果 ŷ と真の行動ラベル y から，クロSF 混在環境のデータセットを入力した際，スエントロピー誤差 L CEを算出し，ネットワーモデルの表現力の高さからサンプリング周波クの損失関数としている。従来手法は，サンプ数ごとに特徴表現を獲得する可能性がある。

リング周波数ごとにモデルを訓練，管理しなけ

そこで，あえてサンプリング周波数が弁別でればならない点がデメリットとなる。また，サきないような特徴表現を獲得させることで，ンプリング周波数ごとにモデルを訓練すること

SF 混在環境における頑健性を高められるとから訓練データの量が限定的となり，深層学習考え，本手法の着想に至った。

モデルを訓練しきれない可能性もある。

・複数のベースラインモデルと提案手法を実装

提案手法のモデル構造を図 2 に示す。特徴抽し，SF 混在環境における行動認識精度を比出器 E は全てのサンプリング周波数の計測較検証した。結果，提案手法が推定精度を向データを一手に入力として受け入れる。この時，上させることを明らかにした。最終的に，ダ入力長を統一するため，X 50 Hz 等のデータは全ウンサンプリングしたデータを併用した提案て 100 Hz になるように線形補間を用いてアッ手法で最高精度を達成した。
・サンプリング周波数毎にデータ数の偏り方が異なるケースについても検証を行い，どの条件下においても提案手法が有効に働くこと，及びその偏りごとの特徴を明らかにした。
2．提案手法2. 1モデル構造

図1

従来手法：CNN を用いた一般的な行動認識

Li らの研究[1] のように，従来の研究で採用されている深層学習を用いた行動認識モデル
は，入力データをシンプルにネットワークに通し，行動を分類するモデルである。ネットワー
クは Multi Layer Perceptron (MLP) ベースのも の，Convolutional Neural Network (CNN)
ベ ー ス の も の，Recurrent Neural Network(RNN) ベ ー ス の も の 等 様々 だ が，本 稿 で は― 2 ―図2

提案手法：サンプリング周波数に頑健な行動認識立石科学技術振興財団

プサンプリング処理を行っている。すなわち，

L=−

入力データの時間長，サンプル長は前処理とし助成研究成果集(第29号) 2020

1    f  log D E x N (2)て揃えている。次に，図 2 の上部では従来手法

ここで，K はサンプリング周波数の種類数と同様に行動認識を行い，L CE を最小化するよである。すなわち L D はサンプリング周波数をうに E と C を訓練する。図 2 の下部では，z分類する D のクロスエントロピー誤差である。

を D にも同時に入力し，z からサンプリング周波数 fˆ を予測する。これはドメイン適応手法

DANN[2] では，ソースとターゲットドメイ

DANN[2]におけるドメイン検出部と同様の働誤差が採用されていた。一方，本研究ではいくきをする。本モデルでは入力長は線形補間によつかの限定された種類のサンプリング周波数がり統一されているが，X 100 Hz と線形補間済みの混在する環境を想定し，これをカテゴリ分類問

X 25 Hz では波形の滑らかさに差がある。D はこ題として取り扱うこととした。

ンを弁別するためバイナリクロスエントロピー

以上を踏まえ，提案手法のネットワーク全体の差を検出することでサンプリング周波数を推定する。予測結果 fˆ と真のサンプリング周波数の損失関数 L を下式(3) で定義する。

f から，Discriminator 誤差 L D を算出し，ネッL=L−λL

トワークの損失関数としている。本提案手法のメリットは，サンプリング周波数ごとに分割せ(3)今回，λ は 1 としている。

ず唯一のモデルとして訓練ができる点，サンプリング周波数が混在するデータ全てを利用する

2. 3 最適化

ことによる精度向上が見込める点，そして敵対提案手法は，特徴抽出器 E，行動分類器 C，的訓練によりサンプリング周波数の相違に頑健サンプリング周波数弁別器 D の 3 つのモデルな特徴表現が獲得できる点である。

で構成される。それぞれのネットワークのパラメータをθ , θ , θ とすると，探索対象の各パラ2. 2 定式化メータθ̂  θ̂ , θ̂ は下式(4, 5) で算出される。

L CE は従来手法でも用いられている，一般的θ̂ , θ̂ =argmin

なニューラルネットワークの損失関数であり，

   L θ , θ , θ̂ (4)下式(1) で定義される。
1  L=−   y  log C E x N 1θ̂ =argmax  L θ̂ , θ̂ , θ 

(5)

(1)
本研究では，上記の最小化，最大化問題を交

ここで，N はミニバッチサイズ，M は行動互最適化により実装する。式(4) では，θ を固ラベルのカテゴリ数，x n は入力 X 100 Hz のミニ定した状態で算出された L を最小化するようバッチのうち n 番目の入力系列，y nm は同 n 番にθ , θ  を探索する。これは，L CE の最小化と，目の出力を one-hot 表現した際の m 番目の値L D の最大化を行うようなパラメータを探索し

0, 1 である。C 及び E は従来手法であれば各ており，行動認識精度を上げるように E，C を周波数に対応したものである必要がある (例：訓練し，サンプリング周波数の弁別精度を下げC 100 Hz)。

るように E を訓練することと同義である。式L D は サ ン プ リ ン グ 周 波 数 を 弁 別 す る Dis-(5) では，同様にθ , θ  を固定した状態で算出

criminator から得られる損失関数であり，本研された L を最大化するようにθ  を探索する。

究ではこれを次式(2) で定義する。

この時，パラメータが固定されているため L CEは変動しないことから，L の最大化は L D の最― 3 ―立石科学技術振興財団助成研究成果集(第29号) 2020小化を意味している。したがって，サンプリンプリングにより SF 混在環境を疑似的に再現す

グ周波数の弁別精度を上げるように D を訓練る。はじめに，D train を特定の人数で分割するすることと同義である。ミニバッチ単位でこれ(A，B，C，D，E 名)。A 名のデータはサンプらを交互に最適化する。

リング周波数 100 Hz で計測されたものとし，B 名のデータはサンプリング周波数 50 Hz で計3．評価実験測されたものとし，ダウンサンプリングにより3. 1生成する。B 名の 100 Hz データは D train自体に実験環境

スマートフォンの加速度センサを用いて人間は含まれているが，100 Hz の状態では実験にの基本行動認識を行う HASC データセット[3]使用しない。同様に C 名は 25 Hz で，D 名はを用いる。HASC は人間行動理解のための装12.5 Hz で，E 名は 6.25 Hz で計測されたデー着型センサによる大規模データベースの構築をタとしてダウンサンプリングにより生成する目的とした非営利任意団体が提供する行動認識(Dʼ trainとする)。

データセットである。基本行動 6 種類 (停止，Dʼ train は更にダウンサンプリングを行うこと

歩行，走行，スキップ，階段上り，階段下り)

により，自身より低サンプリングレートのデーのラベルがついた加速度，ジャイロ等のセンサタセットを擬似的に再現することが可能となる。

データがコーパスとして提供されている。

A 名の 100 Hz データからは，50 Hz や 25 Hz

2011 か ら 2013 年 ま で の コ ー パ ス の Basic等を再現できる。これを全パターン実施した

Activity よりサンプリング周波数が 100 Hz のデータを Dʼ full-trainとする。

データを抽出し，加速度センサの生データのみ

3. 2

ベースラインを用いることとした。前処理として，各計測ベースラインとして訓練用データの扱い方をファイルから前後 5 秒を除去し，フレームサイ工夫し以下の 5 種類を定義する。各名称のカッズ 256 サンプル，ストライド 256 サンプルで時コ内の数字は，訓練が必要なモデル数を意味し系列分割を行う。計測開始から端末の格納動作ている。

等の影響を取り除くため前後 5 秒でトリミング

Ref (5) 従来手法と同様，検証用データのサしている。計測機種や性別等のメタ情報は用いンプリング周波数と一致するデータのみをない。トリミング後に 1 フレーム以上データがDʼ train から使用しモデルを訓練する手法であ取得できた 176 名のデータを採用した。

る。サンプリング周波数毎にモデルを使い分

行動認識研究では，評価対象者自身のデータける。

を訓練時に使用することで推定精度が向上する

Mixin (1) Dʼ train 全てを用いてモデルを訓練すことが知られている。したがって本研究では，る手法である。シンプルに適応用データを混訓練と検証用のデータセットを人単位で分ける在させる Mixin で高精度を達成することがHold-out 法により分割する。176 名のデータ示されている[4] ことから，ベースラインとセットからランダムに 100 名を抽出し訓練用して採用した。

データセット D train とし，同様に別途ランダム

DS-Mixin (5) Down Sampling Mixin を 意 味抽出した 50 名を検証用データセット D testとすする。基本は Mixin だがダウンサンプリンる。D test はダウンサンプリングによって 100

グにより検証用データのサンプリング周波数

Hz の も の か ら 50 Hz，25 Hz，12.5 Hz，6.25と一致させられる際には一致させたデータをHz と複数種類準備し，それぞれで精度検証を訓練に用いて，5 つのモデルを使い分ける手行う。

法である。

訓練用データセットは D train からダウンサン

F-Mixin (1) Full Mixin を意味する。Dʼ full-train― 4 ―立石科学技術振興財団

助成研究成果集(第29号) 2020

全 て Mixin す る 手 法 で あ る。シ ン プ ル に揃った状態となるため，DS-Mixin が十分な特データ拡張による精度向上が見込める観点か徴表現を獲得し最高精度を達成できた。一方で，ら採用した。

センサデータに対する超解像技術が確立されな

Multi (1) 行動認識とサンプリング周波数弁い限り，基本的に高サンプリング周波数側に別を同時に実施するマルチタスク学習を行うデータ拡張を行うことができないため，DS-手法である。サンプリング周波数の学習をモ

Mixin や F-Mixin は Mixin と変わらない推定デル内で行う手法のベースラインとして採用精度となった。

した。
[今後の研究の方向，課題]

これに対して，敵対的訓練を用いた提案手法も，以下の 2 種類定義する。
Adv (1) Dʼ trainを用いてシンプルに提案モデル

本研究では，センシングによる行動認識を対象に，計測データのサンプリング周波数が混在を訓練する手法である。
F-Adv (1) Full Adversarial を意味する。F-する環境に頑健な行動認識手法の開発を行った。

Mixin のように Dʼ full-train を全て用いて提案モ評価実験を行った結果，提案手法の有効性を示デルを訓練する手法である。

したが，スマートフォンの行動認識データセッ

3. 3

トにおける有効性検証のみである点，各サンプ

実験結果

20 試行実施した平均推定精度を表 1 に示す。

リング周波数はダウンサンプリングにより擬似

1 行目は検証対象の D testのサンプリング周波数再現している点等，いくつかのリミテーションである。各検証に対して，最大精度を達成できがある。今後はこれらの点に関する検証実験をた手法を太字かつ下線で，2 番目に精度が高行う予定である。
なお，本研究の詳細は成果発表[A] にて論かった手法を下線で示している。
表 1 より，検証用データが 100 Hz から 12.5じている。また，当初計画ではセンサデータに

Hz は提案手法の F-Adv が最高精度，6.25 Hz対する超解像によりデータを鮮明化し，行動認

は DS-Mixin が 最 高 精 度 を 記 録 し た。更 に，識精度向上を図る予定であった。こちらの詳細

検証用データが 6.25 Hz であっても，F-Advについては成果発表[B] にて論じている。

は DS-Mixin とほぼ同等の精度を記録している。2 番目に精度が高かった手法に着目すると，[参 考 文 献]

検証用データのサンプリング周波数が高いとき[ 1 ] Frédéric Li, et al. : Comparison of Feature Learn-は Adv が，低いときは DS-Mixin や F-Mixining Methods for Human Activity Recognition Using

が高精度を達成した。考えてみると当然ではあWearable Sensors, Sensors, Vol. 18, No. 679, pp. 1 - 22

るが，検証用データが 6.25 Hz の際にはダウンサンプリングにより 100 名分の訓練データが(2018).
[2]

Ganin, Y., et al. : Domain-Adversarial Training of

Neural Networks, The Journal of Machine Learning
Research, Vol. 17, No. 1, pp. 2096 - 2030 (2016).

表1

20 試行を行った際の各手法の平均推定精度 [%][3]

Kawaguchi, N., et al. : HASC Challenge : Gather-ing Large Scale Human Activity Corpus for theReal-World Activity Understandings, In Proceedings of the Augmented Human International Conference (2011).
[ 4 ] 岩澤有祐，他：半教師あり蒸留による深層学習に基づく行動認識モデルのユーザ適応，人工知能学会論文誌，Vol. 32, No. 3, pp. 1 - 11 (2017).

― 5 ―立石科学技術振興財団[ B ] 武仲紘輝，長谷川達人：U-Net モデルを用いた[成果の発表，論文等][A]

助成研究成果集(第29号) 2020

長谷川達人，木村洋文：敵対的訓練を用いたサン プ リ ン グ 周 波 数 の 相 違 に 頑 健 な 行 動 認 識，
DICOMO2020，オンライン開催，2020．(優秀プレゼンテーション賞 受賞)― 6 ―加速度センサデータの超解像，FIT2020，オンライ
ン開催，2020．