DEIM Forum 2018 C3-3

深層学習を用いた時系列データの要約と分類
山室

冴†

松原

靖子†

川畑 光希†

井手

優介†

古川

忠延††

大川

佳寛††

丸橋 弘治††

稲越 宏弥††

梅田 裕平††
櫻井保志†† 熊本大学大学院 自然科学研究科 〒 860-8555 熊本県熊本市中央区黒髪 2 丁目 39 番 1 号†† 富士通研究所 〒 211-8588 神奈川県川崎市中原区上小田中 4 丁目 1 番 1 号
E-mail: †{saeru,kouki,yusuke.i}@dm.cs.kumamoto-u.ac.jp, {yasuko,yasushi}@cs.kumamoto-u.ac.jp,††{umeda.yuhei,furukawa.tada,okawa.y,maruhashi.koji,inakoshi.hiroya}@jp.fujitsu.com
あらまし

本論文では，深層学習を用い，時系列データを分類するためのアルゴリズムを提案する．提案手法は，多次元センサーデータが与えられたときに，その時系列データの中から重要な特徴を発見し，それらの情報を統計的に要約し，表現する．さらに，要約情報に対して深層学習を適用することにより，時系列データを効率的かつ効果的に分類する．実データを用いた実験では，提案手法が時系列データの中からラベル分類に関する重要パターンを抽出し，高い精度で分類できることを確認した．
キーワード

時系列データ，特徴自動抽出，深層学習，分類

1. は じ め に度を実現するだけでなく，分類において重要な時系列パターン
を自動的に学習する．ここで，多次元時系列シーケンスにおけ

時系列データは，センサーデータ [9], [12] や Web アクセス履る時系列パターンを本研究では「レジーム (regime)」と呼び，

歴 [21], [22] 等，様々なアプリケーションにおいて大量に生成さ各サンプルデータに含まれるレジーム，および，大量の時系列れている．一般に，実際に生成される時系列データは複数のトシーケンス間で共通するレジームをデータセット全体の要約情レンドやパターンを持つことが多い．具体的な例として，ネッ

報として抽出する．

トワーク通信のモニタリングシステムから発生するデータで深層学習は，多層ニューラルネットワークの学習によってデーは，正常と異常のパターンが存在する．人の動きを捉えたモータの高次表現を獲得可能なことで知られ，画像認識や音声認識

ションキャプチャデータでは，活動内容に応じて複数の動作パの分野で数多くの研究事例が報告されている [1], [4], [31]．しかターンを持つ．そうした時系列データを構成する様々なパターしながら，既存モデルは高い分類精度を発揮する一方で，判断ンの特徴を捉えることにより，各データに付与された正常/異根拠が明らかでないという解釈性の問題を抱えている [25]．こ常，ユーザ ID，習熟度等の属性情報（ラベル）を高精度に分類の問題を解決するために，自然言語処理では Attention [2] とすること，および，分類の際に重要なパターンを知見として得いう技法がよく用いられる．提案モデルは，時系列データにることは非常に重要な課題である．

含まれる複雑な特徴を学習することが可能な畳み込みニュー

一方，時系列データに含まれるパターンに関する情報，すな

ラルネットワーク (Convolutional Neural Network: CNN) と

わち，パターンの変化点や種類がすべて明らかであることは稀

再帰型ニューラルネットワーク (Recurrent Neural Network:

である．収集した膨大な時系列データをすべて人手で確認し，RNN) で構成されるネットワークに対し，Attention を導入す類似パターンをラベリングすることは現実的でない．また，多る．Attention を用いて時系列データに含まれるレジームごと

くのパターン検出に関する先行研究 [13], [34] は，クラスタ数の重要度を算出することで，ラベル分類の根拠となる人の直感やエラーの閾値等のパラメータ設定やチューニングが必要であに合った重要パターンを明らかにする．

り，これらのパラメータが出力結果に大きな影響を与える．し1. 1 具 体 例

たがって，時系列データからのパターン検出においては，解析

図 1 は，提案手法を用いて時系列データのラベル分類を行する時系列データの事前知識を必要とせず，ユーザの介入を必なったときの，あるサンプルデータから検出された時系列パ

要としない手法が望ましい．

ターンとそれらに対する重要度の学習結果を示す．図上部のオ

本論文では，ラベル付き大規模時系列データを対象とした分

リジナルデータは，利き手側の肘，膝にそれぞれ取り付けた 3類モデルとして DeepPlait を提案する．より具体的には，複軸加速度センサー，および，眼鏡型の IoT デバイスを用いてフ数のセンサーから生成された多次元時系列データ集合が与えら

リースローの様子と視線を捉えた 8 次元の時系列シーケンスでれたとき，(a) 各データに含まれる時系列パターンの変化点とある．提案手法は，与えられた時系列シーケンスから自動的に種類を自動的に把握し，データセット全体の要約情報を抽出す“ボールを放つ（レジーム#2）”，“ルーチンワーク（レジームる．(b) 得られた要約情報を元に多層ニューラルネットワーク#3）” 等の時系列パターンを発見し，シュートの成功/失敗を(Deep Neural Network: DNN) を構築することで，高い分類精分類するために重要となるレジームを学習した．各セグメント

Valueし，シーケンスのセグメント化の能力を持つ．また，隠れマル
10

コフモデル (HMM: Hidden Markov model) は音声認識を含

5

む様々な分野において，時系列解析手法として広く利用されて

0
100

200

300

400

500

600

700

いる．Wang ら [34] は pHMM (pattern-based hidden Markov

1
2

model) を提案している．pHMM は時系列のセグメント化とクラスタリングのための動的モデルであり，時系列シーケンスをマルコフモデルに基づいて線形のセグメントに分割する能力

3

Time

をもつ．著者らは文献 [20] において，隠れマルコフモデルに基づく多次元時系列シーケンスのための特徴自動抽出手法を提案

図 1: Free-Throw データセットにおける DeepPlait のセグ
メンテーション結果とラベル分類に対する各セグメントの重要度．色が濃いほどシュートの成功に重要なパターンであることを示す．

の色は学習した重要度を表し，色が濃くなるほど重要であることを示す．一般的にフリースローの成功には，ボールを放つ瞬間の肘の位置と膝の屈伸に加えて放った後のフォロースルーが重要であることから，DeepPlait は分類タスクにおける判断根拠となるレジームを有意に抽出したといえる．

1. 2 本論文の貢献
提案手法は以下の特徴を持つ．

•

•

•

各シーケンスの要約情報として時系列パターン (レジーム)

時系列データの回帰・分類問題に対し，近年発展の目覚まし
い深層学習モデルが多数報告されている [3], [19], [36]．時系列
データに対する深層学習では，時間関係の特徴を抽出することができる RNN がよく用いられる．映像の連続的なフレームを時系列データとして扱う Donahue ら [10] の手法では，CNN で各フレーム画像の空間的な特徴を抽出し，それらを時系列に並べたものを RNN で学習して認識を行う．Yao ら [36] は複数のセンサーから得られる多次元時系列データの分類回帰モデルとして DeepSense を提案した．DeepSense は時系列データを微小時間間隔に分割（セグメント化）し，各セグメントから多層

CNN を用いて各センサーの軸間の特徴，およびセンサー間の特徴を抽出後，それらに RNN を適用することで高精度を達成
した．

の種類を把握し，それぞれの適切な変化点を自動的に発見

深層学習は様々な問題に対して高い精度を発揮するモデルをする．さらに，提案手法はパターン変化点の最適解の検出構築することを可能にしてきたが，ネットワークのパラメータを保証する．

から判断根拠を人間が理解可能な形で取り出すことが難しい

データセット全体の要約情報として，大量の時系列データという解釈性の問題を抱えている．この問題に対するひとつ間で共通する時系列パターンを検出する．

の解として，Bahdanau ら [2] は自然言語翻訳タスクのための

複数のレジームパターンを有する時系列データの特徴を効果的に学習するための多層ニューラルネットワークを構築
し，高い精度で分類を行う．

•

した．

ニューラルネットワークに Attention を適用し，分類モデ
ルの学習と同時に各時系列データにおいて分類問題に対する各時系列パターンの重要度を算出する．

Attention を提案した．Attention は，RNN Encoder によって入力系列を単一の固定長ベクトルに埋め込む際に，各隠れ層の出力ベクトルの加重平均を用いることで，機械翻訳における文脈中の重要な単語を加味して翻訳することが可能である．複数の特徴に重み付けすることができる Attention は機械翻訳以外の様々な分野で性能向上に貢献し [37]，時系列データ解析のために適用された研究事例 [8], [24], [33], [35] も多数報告されてい本論文の構成は以下の通りである．2. 章では関連研究についてる．本研究の特徴のひとつは，時系列データをパターンごとに述べる．3. 章では問題定義，4. 章では時系列データの要約・分

分割し，そうした意味のあるセグメントから抽出した特徴量に類モデル，5. 章では評価実験について述べ，6. 章にて本論文を対して Attention を適用することである．

まとめる．

2. 関 連 研 究

3. 問 題 定 義
ここでは，本論文で必要な概念について定義を行う．

時系列データの解析に関する研究は様々な分野で進められていX = {X (k) }K
k=1 を K 個のセンサーによって観測された長さ

る [5], [6], [23], [26], [27]．自己回帰モデル (AR: autoregressivet の多次元時系列データとし，各センサー k は d(k) 個の測定軸

model), 線形動的システム (LDS: linear dynamical systems),を持つとする．本研究では，このようなラベル付き多次元時系

カルマンフィルタ (KF: Kalman filters) は代表的な技術であ

列データの集合 D = {Xi }N
i=1 に対する分類を行う．

り，これらに基づく時系列の解析と予測手法が数多く提案され本研究ではまず，単一の時系列シーケンス X を m 個のセグている [15], [18], [32]．時系列データからの情報抽出に関しては，

メント集合 S = {s1 , · · · , sm } に分割する．ここで，si は i 番目

Li らが文献 [17] において，欠損を含む大規模時系列シーケンスのセグメントの開始点，終了点を含み，(つまり，si = {ts , te })，集合のためのアルゴリズムである DynaMMo を提案している．

各セグメントは重複がないものとする．次に，発見したセグ

DynaMMo は LDS に基づき，時系列データのパターンを発見

メント集合を類似セグメントのグループ（レジーム: regime ）に分ける．これをローカルレジームと呼び，各レジームは統計モデル θ で表現される．また，各サンプルから得られるレジームに加えてデータセット全体での共通パターンであるグ

表 1: 主な記号と定義
記号

定義

D

N 個の時系列データ集合 D = {X1 , . . . , XN }ローバルレジームを検出する．最終的に，これらの要約情報

X

長さ t のラベル付き多次元時系列データ X = {X (k) }K
k=1を利用した深層学習によって各時系列データを分類するととX (k)センサー k における d(k) 次元シーケンス X (k) ∈ Rd

もに，時系列パターン (レジーム) の分類問題に対する重要度

X′

α = {α1 , · · · , αm } を算出する．

X

n 個のミニバッチ X ′ = {Xi }ni=1 ⊂ D(k)
深層学習の入力 X ∈ Rd ×2f ×m［定義 1］（ローカルレジーム） 多次元時系列シーケンス X がy各サンプルに付与されたラベル

S

m 個のセグメント集合 S = {s1 , . . . , sm }Si

i 番目のレジームに含まれるセグメント集合 Si ⊂ S

αm 個のセグメントの重要度 α = {α1 , . . . , αm }Θr 個のレジームパラメータ集合 Θ = {θ1 , . . . , θr }ML

各サンプル X の要約情報 ML = {m, r, S, Θ, α}MG

LG
N 個のサンプル全体の要約情報 MG = {ML
1 , . . . , MN , Θ }与えられたとき，X を表現，要約する ML = {m, r, S, Θ, α}をローカルレジームと呼び，以下で構成される．
（ 1 ） セグメントの総数 m と各セグメントの位置：

S = {s1 , . . . , sm }（ 2 ） r 個のレジームを表現するモデルのパラメータ集合：

(k)

×t

Θ = {θ1 , . . . , θr }（ 3 ） 各セグメントの重要度：!"#"$%#&'(&)*+#,-.,)%/$,'/"+&$%0*%/1%

B-$%0*%/1%$

α = {α1 , · · · , αm }［定義 2］（グローバルレジーム） D を表現する全ての要約情L
G
報 MG = {ML
1 , . . . , MN , Θ } をグローバルレジームとし，ΘG = {θ1 , . . . , θg } をシーケンス間で共通するパターンを示す
G,/,-H"#1I

g 個の統計モデルの集合とする．

!%%3&B%*8"+&B%#E'8F（ 2 ） X に含まれる各時系列パターン (レジーム) から特徴量X を生成し，X に付与されたラベル y を高精度に分類する（ 3 ） 各セグメントの分類問題に対する重要度 α を求める
結論として，本論文の目的はデータセット全体の最適な要約

5%6)%/#"#,'/=%"#*8%>?#8"1#,'/［問題 1］ 多次元時系列データ X ⊂ D が与えられたとき，（ 1 ） 要約情報 ML ，および，MG を抽出する

ML='*8,%8&@8"/$('8)&A&4BB

CBB&A
D##%/#,'/

したがって，本論文で扱う問題は以下のように表される．

MG

2*#3*#

情報を抽出し，要約情報に基づき生成した特徴量によってそれぞれの時系列シーケンスを分類するとともに，分類問題における時系列パターンの重要度を算出することである．ここで非常

4+"$$,(,1"#,'/

7"##%8/&!,$1'9%8:;&5*))"8,<"#,'/

図 2: 提案モデルのフレームワークに重要な課題は，(a) どのように X の要約情報 ML を推定す
るか，(b) どのようにデータセット全体のグローバルレジーム

MG を決定するか，(c) 時系列パターンの重要度をパラメータ

特徴抽出のためのアルゴリズムについて説明する．

4. 2 時系列データからの自動特徴抽出に持つ分類モデルをどのように構築し，高精度に学習するかで

ここでは，多次元時系列データ X が与えられたとき，X のある．本論文では，多次元時系列データを要約・分類するためのアルゴリズムである DeepPlait を提案する．

要約情報を得るためのアルゴリズムについて述べる．提案手法
は以下の 2 つのアルゴリズムで構成される．

4. 提案モデル
本章では，多次元時系列データを要約・分類するためのアル•

とき，X ′ 中の各シーケンスに含まれるすべての時系列パ

ゴリズムである DeepPlait について述べる．

4. 1 概ターン，すなわち，ローカルレジーム ML を発見し，要約要n
情報 {MLi }i=1 を得る．

本論文で提案する手法のフレームワークを図 2 に示す．まず初めに，与えられた多次元時系列シーケンス集合の中から

Mini–batch X ′ を取り出しセグメンテーションを施すことで各
L

時系列シーケンスの要約情報 M を抽出する．次に，得られた ML の中から，シーケンス間で共通する時系列パターンを表す要約情報 MG を検出・更新する．また，深層学習を用いたモデルに要約情報 ML を利用し，各サンプルに付与されたラベル y を分類すると同時に，時系列パターンの重要度 α を算出する．以降の節では，入力から順に深層学習モデルの詳細と時系列パターンの自動発見：ミニバッチ X ′ が与えられた•

n
共通パターン分析：{MLi }i=1 から，データセット全体に共通するパターンであるグローバルレジーム ΘG を検出し，要約情報 MG を更新する．
時系列パターンの自動発見．まず，最も簡単な部分問題として，単一の時系列シーケンス X が与えられたとき，X に含まれる時系列パターンを発見する．本研究では，与えられた時
系列データに関する事前知識を必要とせず，自動的に時系列パAlgorithm 1 RegimeAssignment (X ′ , MG )Algorithm 2 InputProducer (X, ML )Input: Mini–batch X ′ and G–regimes MG

Input: Given sequence X and L–regimes ML

L
Output: Updated G–regimes MG , i.e., L–regimes {ML
1 , . . . , Mn }G
and model parameter set Θ

Output: Input for DNN X = {X (k) }K
k=1

1: /* Find L–regimes for each sequence in X ′ */2: for k = 1 : K do

2: for i = 1 : n do

3:3:{m, r, S, Θ} ← AutoPlait (Xi );4:for j = 1 : r do5:

θ ∗ ← arg min CostC (Xi [Sj ]|θ);
θ∈ΘG

6:

Compute ∆CostC (Xi [Sj ]|θj , θ ∗ ); // Equation (2)7:if CostM (θj ) < ∆CostC (Xi [Sj ]|θj , θ ∗ ) then

8:
9:
10:

Add θj12:

end for

Split X (k) [Si ] into T subsequences;

5:

for j = 1 : T do

6:Interporate X (k) [Si ][j] to f time stamps;

7:

Fourier Transform to X (k) [Si ][j] along each sensor

8:

Add magnitude and phase pairs into X (k)9:θ ∗ ← ModelUpdate (Xi [Sj ]);end iffor i = 1 : m do

4:

axis;

into ΘG ;

else

11:

1: /* Produce Input for DNN */end for10:

end for11:

Add X (k) into X

12: end for
13: return X = {X (k) }K
k=1 ;13: end forLG
14: return {ML
1 , . . . , Mn , Θ };4. 3 畳み込みニューラルネットワーク
ターンを発見するために，最小記述長 (Minimum description

続いて，前節のモデルで抽出したローカルレジーム ML に

Length: MDL) に基づく手法である AutoPlait [20] を用いて解基づき入力 X を生成し，図 3 に示す多層ニューラルネットワー

析を行う．直感的には，データがより圧縮されるようなモデル

クによる学習を行う．全結合のニューラルネットワークはデーを最適とする．X とモデルパラメータ集合 M

Lが与えられたときの総符号長 CostT (X; ML ) は以下の式で表される．
CostT (X; ML ) = CostM (ML ) + CostC (X|ML )(1)

タの形状が無視されるため，画像等の空間的な情報を持つデー
タに対して効果的に学習が行えないという問題点があった．この課題を克服する方法として，視野脳の情報伝達システムを適用した畳み込みニューラルネットワーク (CNN) が提案された．

こ こ で ，CostM (ML ) は モ デ ル 表 現 コ ス ト （注 1） を 示 し ，

畳み込み層では，入力データに対してフィルター (カーネル) を

CostC (X|ML ) はモデルが与えられたときの X の符号化コ一定間隔でスライドさせながら積和演算を行い，入力データのストを示す．[20] は，貪欲法によって X の分割とモデル推定を

局所的な特徴を抽出することができる．

繰り返し，式 (1) を最小化する X の要約情報 ML を自動的に本研究では CNN を用いて効果的に各時系列パターンの特徴を推定する．

学習するため，X の生成方法として InputProducer （アルゴ

共通パターン分析．続いて，各シーケンスから得られたレジー

リズム 2）を提案する．具体的には，入力データ X = {X (k) }K
k=1

ムから，類似する時系列パターンを検出するためのアルゴリズ

を，各時系列シーケンス X 中の各セグメントから，非重複かム RegimeAssignment について述べる．

つ微小な幅 τ で分割した各要素に対してフーリエ変換を適用す

具体的なアルゴリズムの流れをアルゴリズム 1 に示す．まず，る．周波数領域の次元数を f とし，振幅スペクトルと位相スペΘ ∈ ML 中の各レジーム θj に割り当てられた部分シーケンス

クトルの両方を用いると，X (k) は d(k) × 2f × mT という形状

Sj に対し符号化コストが最小となるグローバルレジーム θ ∗ をになる．周波数領域は，時間領域の時系列データに比べてより求める．次に，θj ，θ ∗ それぞれで部分シーケンスを表現したとよい情報をもつため，本研究では上記の方法で生成した特徴量

きの符号化コストの差分を以下の式で求める．

を入力データとする．
提案モデルの畳み込み層は，K 個のセンサー別 CNN と，そ∆CostC (Xi [Sj ], θj , θ ∗ )の出力を入力とするセンサー統合 CNN の 2 つから構成されて= CostC (Xi [Sj ]|θ ∗ ) − CostC (Xi [Sj ]|θj )(2)

θj のモデル表現コストが上記のコストより小さくなるとき，θjは新たな時系列パターンを示し，θj を ΘG に追加する．レジー
ムの追加が不要な場合，θj は θ と共通の時系列パターンを示∗

し，θj に割り当てられた部分シーケンス Sj を用いて θ ∗ のモ
デルパラメータを更新する．

おり，3 種類の特徴/関係性を抽出することを目的としている．
センサー別 CNN では，入力 X (k) に対し，K 個の CNN が入力に埋め込まれている周波数領域内での関係性と，センサーの測定軸間の関係性の 2 つの特徴を抽出することを目的としている．周波数領域の情報はたいてい隣り合う周波数で多くのローカルなパターンを有しているため，フーリエ変換後の入力値をCNN で学習する意味は大いにある. 次に，センサー別 CNN で得られた K 個のベクトルを連結した行列をセンサー結合 CNNの入力とする．ここではセンサー間の関係性を特徴として抽出（注 1）：本論文では，浮動小数点の表現コストを 4 × 8 ビットとする．

し，得られたベクトルを時間軸方向に連結した行列を次節で紹

"##$%#&'%
!!!

!"#"
!"#$
!"#%
!!!

!$#"

!!!

!
!&#$
!&#%

!!!

(')*&$*+,*-%./'*0122

3&45&*$6#&'%-7+822"##$%#&'%+9-:$*;)#<)#+9-:$*図 3: 提案モデルのネットワーク構造: (a) 特徴抽出層: 時系列データをパターンごとに分割し特徴量を生成する．(b) CNN 層: 分
割された各特徴量におけるセンサー軸間，センサー間の関係性を抽出する．(c) RNN 層: CNN 層で得られた特徴の時間関係を学習する．(d) Attention 層: RNN 層で時間関係を学習するとき，時系列パターンの重要度を加味する．

クトル hi に対して重み α の加重平均した v を Attention の出介する RNN の入力とする．

4. 4 再帰型ニューラルネットワーク

力とする．この出力 v に対して線型結合の出力層を用いること

ここでは，CNN 層の出力に対して，再帰型ニューラルネッ

で，各サンプルに対するラベル y の出力確率を計算する．

トワーク (Recurrent Neural Network: RNN) による時間関係

さらに，汎化性能の向上のため，クロスエントロピー損失関の特徴抽出を行う． RNN は時系列のデータを扱うために，任数に正則化項を加えたものをコスト関数とする．DeepPlait

意の時刻 t での出力に過去の出力を加味する．これにより，時のモデルを関数 F (·)，訓練データのサンプルの組を (X , y) と間関係をもつ入力に対して特徴を抽出することを可能とする．

すると，コスト関数 L は以下のようになる．

しかしながら，RNN は誤差関数，各層間の重みに関する勾配

L = ℓ(F (X ), y) +計算を行う際に層数の増加に伴って勾配値が発散や消失してしまう恐れがある (長期依存性)．この問題を克服する方法として，
ネットワークへの入力を制御するために，RNN の中間層にゲートを加えた LSTM(Long Short-Term Memory) [11] が提案さ

RNN [28] が報告されている．本論文では RNN 層に双方向の
4. 5 Attention(6)ℓ(·) はクロスエントロピー損失関数，Pj は正則化項であり，λjは正則化項の寄与率を調整するパラメータである．

れている．また，LSTM と類似した性能を持ちながら，より簡

GRU を用い，時間関係の特徴を抽出する役割を持たせる．

λj Pj

j

5. 評 価 実 験

潔なモデルで表現できる GRU(Gated Recurrent Unit) [7] や双方向にすることでモデリングの能力を向上させた bi-directionalX

本章では，DeepPlait の有効性を検証するために，以下の項目について実データを用いて実験を行なった結果を示す．

Q1 時系列データに対する提案手法の分類精度
Q2 セグメンテーション結果と分類問題に対する時系列パター

最後に，前節の RNN 層の出力 h に対して，Attention を用いることで，セグメントの重要度 α を算出する．

ui = tanh(Wa hi + ba )exp(uTi ua )Texp(ui ua )i

αi = P
v=

X

αi hi

ンの重要度

Q3 セグメンテーションと要約情報(3)

提案モデルは損失関数にクロスエントロピー，最適化手法にAdam [16]，汎化性能の向上のために CNN 層には dropout 関
(4)
(5)

i

式 (4) で計算される αi のベクトル α をセグメントの重要度とする．また，式 (3) で表現されるように，RNN 層の各出力ベ数 [29] とバッチ正規化 [14] を適用した．実験は 192GB のメ
モリ，Intel Xeon 3.5GHz の CPU と NVIDIA Quadro M5000の GPU を搭載したマシン上で実施し，以下のデータセットを
使用した．

•

HHAR: 本データセットは，Allan ら [30] が 9 人のユーザ

に対する 6 種類のアクティビティ(bike，sitting，standing，

1walking，climbStair-up，climbStair-down) の加速度，角0.9

実験では，時間軸方向に bike，standing，walking の順で

0.8

3 つのアクティビティを結合したシーケンスを 3100 サン
プル作成した．

Accuracy

速度ををスマートフォンを用いて収集したものである．本

0.7
0.6

•

Free-Throw: 本データセットは，バスケットボールのフ

DeepPlait
DeepSense
SVM

0.5

リースローにおいて，競技者の視線移動を計測する Tobii
0.4

Pro グラス 2 （注 2） と競技者の利き手の肘と利き足の膝に装着した加速度センサー

（注 3）

HHAR

Free-Throwを用いて収集したものであ
図 4: 各データセットにおける分類精度の比較

る．分類するラベルはゴールの有無で，サンプル数は 500である．

はじめに，提案モデルの分類精度を検証するため，既存手

10

Value

5. 1 Q1. 分類精度法を用いて 5 分割の交差検証による比較を行った．本実験で

5
0
200

400

600

800

1000

1200

1400

1600

1200

1400

1600

Time
1

は，DeepPlait のパラメータとして，CNN 層のフィルターに設定し，モデル学習を行った．図 4 は，DeepPlait と RBF

2

カーネルを利用した SVM，6 層の CNN と 2 層の RNN で構

3

数を 64，RNN 層の隠れユニット数を 200，dropout 率を 0.6

成される DeepSense [36] との，分類精度と 95% 信頼区間の比較である．DeepPlait は HHAR のテストデータに対して(a) サンプル 1

94.74 ± 0.0140% の分類精度を示し，SVM と比較して 2.56%のゴールの有無を分類する Free-Throw のテストデータに対して 82.71 ± 0.0384% の分類精度を示した．本データセットでは，

Value

0

200

400

600

800

1000

Time

から，フリースローがゴールに入るかどうかを判断する上で重3要となる，腕や膝，視線の動きをもつ時系列パターンを捉える

4

SVM や DeepSense と比較して分類精度の向上がみられたこと

5

1と同等の精度を達成した．また，DeepPlait はフリースロー

102の精度向上，および，より深い DNN の構造をもつ DeepSense

ことは，高い分類精度の実現に特に有効であったと言える．

5. 2 Q2. 時系列パターンの重要度
図 5 に HHAR データセットに対して DeepPlait によるセグメンテーションを施し，重要度を学習した結果の例を示す．
各図の上部はオリジナルデータを示し，下部は時系列パターンが属するレジームとパターンの開始点および終了点を示す．また，長方形の色が濃いほど重要度が高く，薄いほど重要度が低いことを表している．図 5 に示すように，DeepPlait はサン
プル 1 から m = 3 個のセグメント，r = 3 個のレジームを抽出した．各セグメントの重要度は高い順に，“bike”，“walk”，“stand” という結果になった．ユーザ間で特徴に差異がないと考えられる “stand” のラベルが付与されたセグメントと比較して，“bike” や “walk” のセグメントの重要度が高くなったという結果から，ユーザ分類タスクにおいて重要となったセグメン
トを有意に抽出できたと考えられる．一方，サンプル 2 に対しては，m = 4 個のセグメント，r = 4 個のレジームを抽出した．
本サンプルでは “bike” のラベルが付与された部分シーケンス（注 2）：https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/（注 3）：https://mono-wireless.com/jp/products/TWE-Lite-2525A/(b) サンプル 2

図 5: HHAR データセットにおける DeepPlait のセグメン
テーション結果とラベル分類に対する各セグメントの重要度．

が 2 つのセグメント（セグメント#1，セグメント#2）に分割されており，振幅の大きいセグメント#2 の重要度が高くなった．これは，サンプル 2 のセグメント#2 がサンプル 1 と比較して特徴的な動きを示しているため，ユーザ分類タスクにおいては個人を特定する判断基準として重要であると学習したと考えられる．
次に，Free-Throw データセットに対してセグメンテーションを施し，重要度を学習した結果の例を図 6 に示す．DeepPlait
は，フリースローが成功したサンプルから m = 5 個のセグメン
ト，r = 4 個のレジームを抽出した．時系列パターンの重要度はボールを投げる瞬間のセグメント#4 に加えてボールを投げた後のセグメント#5 についても高くなった．一般的に，シュートの上達に重要な要素はボールを投げた後の姿勢を指すフォロース
ルーであると言われている．このサンプルは，バスケットボー

Number of regimes

Value

10
5
0
200

400

600

800

1000

1500
1000
500
0

0

20

40

1

Time

2000

80

100

120

60

70

2
4

Number of regimes

3(a) HHAR(a) フリースローに成功したサンプル
10

Value

60

Global regime ID

150
100
50
0

0

10

20

30

40

50

Global regime ID
5(b) Free-Throw
0
100

200

300

400

500

600

700

800

図 7: 各データセットの要約情報

900

2

系列パターンの検出/要約に成功しているといえる．一方，302

3

1

Time

個のローカルレジームが割り当てられたグローバルレジーム#45 では，ユーザー “b” と “g” に関する “stand” の部分シー(b) フリースローに失敗したサンプル

図 6: Free-Throw データセットにおける DeepPlait のセグ
メンテーション結果とラベル分類に対する各セグメントの重要度．

ケンスを共通パターンとしていたことから，類似した時系列
パターンを持つユーザーを把握することも可能である．次に，Free-Throw データセットにおけるグローバルレジームの総数
は 67 個で，データセット中の各シーケンスから得られる 1324
個のローカルレジームを 5.06%に要約する結果となった．最多の 122 個のローカルレジームが割り当てられたグローバルレ

ル熟練者が投げたものであり，シュート後のフォロースルーに

ジーム#8 は，フリースローに成功したサンプルの “ボールを放重要度が高く算出されていることから，DeepPlait はフリー

つ” 部分シーケンスを多く検出していた．このことから，フリー

スローのゴールの有無を判断する基準として有意なセグメント

スローで得点するために “ボールを放つ” 代表的な部分シーケを抽出しているといえる．一方，フリースローに失敗したあるンスをこのグローバルレジームから把握できる． したがって，サンプルに対しては，m = 4 個のセグメント，r = 3 個のレ

RegimeAssignment によって検出されるグローバルレジーム

ジームを抽出した．本サンプルにおいて，DeepPlait は投げの要約情報，すなわち，ユーザー間，もしくは分類タスクのラる瞬間のセグメント#3 だけでなく，投げる前の準備段階であベル間の類似パターンを把握することで，データセット中の代るセグメント#1 に対しても高い重要度を算出した．このサン

表的な時系列パターンを知見として得ることが可能となる．

プルはバスケットボール未経験者が投げたもので，DeepPlait
はフリースローに失敗した原因として投げる前に経験者が毎回行うルーチンワークの時系列パターンを抽出した．フリース

6. む す び
本論文ではラベルつき大規模時系列データに対し深層学習を

ローでは心理的に不安な要素を取り除くことが非常に大切であ用いた要約と分類を行う手法として DeepPlait を提案した．

り，このサンプルではそのためのルーチンワークがうまくいっ

DeepPlait は，与えられた時系列データに関する事前知識無ていないと考えられる．以上より，DeepPlait は分類タスク

しにデータセットに含まれる典型的なパターンを発見することにおいて判断基準となった重要な時系列パターンの学習を可能が可能である．また，抽出した時系列データの要約情報に基づとしている．

き分類問題に重要となる時系列パターンを学習する．実データ

5. 3 Q3. セグメンテーションと要約情報を用いた評価実験では，提案手法が既存手法と比較して高い精

図 7 は各データセットにおいて検出されたグローバルレジー度を発揮し，学習結果から得られた重要度を確認することで人ムに対し割り当てられたレジームの数を示す．RegimeAssign-の直感に合った重要な時系列パターンを発見できることを確認

ment は，HHAR データセットから合計 114 個のグローバル

した．

レジームを発見し，データセット中の各シーケンスを表現する

8937 個のローカルレジームを 1.27%に要約する結果となった．

7. 謝

辞

その中で，最多の 1902 個のローカルレジームが割り当てられ本研究の一部は JSPS 科研費 JP15H02705, JP17H04681,

たグローバルレジーム#43 は，主に “bike” のラベルが付与さ

JP16K12430, JST さ き が け, 総 務 省 SCOPE (受 付 番 号れた部分シーケンスを保持していた．したがって，類似した時

162110003), 厚生労働科学研究費補助金 (H29-ICT-一般-007)

及び国立研究開発法人日本医療研究開発機構（AMED）の臨床研究等 ICT 基盤構築研究事業の助成を受けたものです．

文

献[1] D. Amodei, S. Ananthanarayanan, R. Anubhai, J. Bai,
E. Battenberg, C. Case, J. Casper, B. Catanzaro, Q. Cheng,
G. Chen, et al. Deep speech 2: End-to-end speech recognition in english and mandarin. In International Conference
on Machine Learning, pages 173–182, 2016.
[2] D. Bahdanau, K. Cho, and Y. Bengio. Neural machinetranslation by jointly learning to align and translate. ICLR,
2015.
[3] I. M. Baytas, C. Xiao, X. Zhang, F. Wang, A. K. Jain, andJ. Zhou. Patient subtyping via time-aware lstm networks.
In KDD, pages 65–74, 2017.
[4] P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov. Enriching word vectors with subword information. arXiv preprint
arXiv:1607.04606, 2016.
[5] G. E. Box, G. M. Jenkins, and G. C. Reinsel. Time Series
Analysis: Forecasting and Control. Prentice Hall, Englewood Cliffs, NJ, 3rd edition, 1994.
[6] L. Chen and R. T. Ng. On the marriage of lp-norms andedit distance. In VLDB, pages 792–803, 2004.
[7] J. Chung, C. Gulcehre, K. Cho, and Y. Bengio. Empiricalevaluation of gated recurrent neural networks on sequencemodeling. arXiv preprint arXiv:1412.3555, 2014.
[8] Y. G. Cinar, H. Mirisaee, P. Goswami, E. Gaussier, A. AïtBachir, and V. Strijov. Position-based content attention fortime series forecasting with sequence-to-sequence rnns. In
ICNIP, pages 533–544, 2017.
[9] G. De Francisci Morales, A. Bifet, L. Khan, J. Gama, andW. Fan. Iot big data stream mining. In KDD, Tutorial,
pages 2119–2120, 2016.
[10] J. Donahue, L. Anne Hendricks, S. Guadarrama,
M. Rohrbach, S. Venugopalan, K. Saenko, and T. Darrell. Long-term recurrent convolutional networks for visual recognition and description. In Proceedings of theIEEE conference on computer vision and pattern recognition, pages 2625–2634, 2015.
[11] K. Greff, R. K. Srivastava, J. Koutník, B. R. Steunebrink, and J. Schmidhuber. Lstm: A search space odyssey.
IEEE transactions on neural networks and learning systems, 2017.
[12] J. Gubbi, R. Buyya, S. Marusic, and M. Palaniswami. Internet of things (iot): A vision, architectural elements, andfuture directions. Future Gener. Comput. Syst., 29(7):1645–
1660, 2013.
[13] D. Hallac, S. Vare, S. Boyd, and J. Leskovec. Toeplitz inverse covariance-based clustering of multivariate time series
data. In KDD, pages 215–223. ACM, 2017.
[14] S. Ioffe and C. Szegedy. Batch normalization: Accelerating
deep network training by reducing internal covariate shift.
In ICML, pages 448–456, 2015.
[15] A. Jain, E. Y. Chang, and Y.-F. Wang. Adaptive stream
resource management using kalman filters. In SIGMOD,
pages 11–22, 2004.
[16] D. Kingma and J. Ba. Adam: A method for stochastic
optimization. ICLR, 2015.
[17] L. Li, J. McCann, N. Pollard, and C. Faloutsos. Dynammo:
Mining and summarization of coevolving sequences withmissing values. In KDD, 2009.
[18] L. Li, B. A. Prakash, and C. Faloutsos. Parsimonious linear
fingerprinting for time series. PVLDB, 3(1):385–396, 2010.
[19] X. Ling, W. Deng, C. Gu, H. Zhou, C. Li, and F. Sun.
Model ensemble for click prediction in bing search ads. In
WWW, pages 689–698, 2017.

[20] Y. Matsubara, Y. Sakurai, and C. Faloutsos. Autoplait: Automatic mining of co-evolving time sequences. In SIGMOD,
pages 193–204, 2014.
[21] Y. Matsubara, Y. Sakurai, and C. Faloutsos. Non-linear
mining of competing local activities. In WWW, 2016.
[22] Y. Matsubara, Y. Sakurai, B. A. Prakash, L. Li, andC. Faloutsos. Rise and fall patterns of information diffusion: model and implications. In KDD, pages 6–14, 2012.
[23] S. Papadimitriou, J. Sun, and C. Faloutsos. Streaming
pattern discovery in multiple time-series. In Proceedingsof VLDB, pages 697–708, Trondheim, Norway, AugustSeptember 2005.
[24] Y. Qin, D. Song, H. Cheng, W. Cheng, G. Jiang, and
G. Cottrell. A dual-stage attention-based recurrent neural network for time series prediction. arXiv preprint
arXiv:1704.02971, 2017.
[25] M. T. Ribeiro, S. Singh, and C. Guestrin. Why should itrust you?: Explaining the predictions of any classifier. In
KDD, pages 1135–1144, 2016.
[26] Y. Sakurai, Y. Matsubara, and C. Faloutsos. Mining andforecasting of big time-series data. In SIGMOD, Tutorial,
pages 919–922, 2015.
[27] Y. Sakurai, Y. Matsubara, and C. Faloutsos. Mining big
time-series data on the web. In WWW, Tutorial, pages
1029–1032, 2016.
[28] M. Schuster and K. K. Paliwal. Bidirectional recurrent
neural networks. IEEE Transactions on Signal Processing,45(11):2673–2681, 1997.
[29] N. Srivastava, G. E. Hinton, A. Krizhevsky, I. Sutskever,and R. Salakhutdinov. Dropout: a simple way to preventneural networks from overfitting. Journal of machine learning research, 15(1):1929–1958, 2014.
[30] A. Stisen, H. Blunck, S. Bhattacharya, T. S. Prentow, M. B.
Kjærgaard, A. Dey, T. Sonne, and M. M. Jensen. Smart devices are different: Assessing and mitigatingmobile sensing
heterogeneities for activity recognition. In ACM Conferenceon Embedded Networked Sensor Systems, pages 127–140.
ACM, 2015.
[31] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed,
D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich.
Going deeper with convolutions. In Proceedings of theIEEE conference on computer vision and pattern recognition, pages 1–9, 2015.
[32] Y. Tao, C. Faloutsos, D. Papadias, and B. Liu. Prediction
and indexing of moving objects with unknown motion patterns. In SIGMOD, pages 611–622, 2004.
[33] B. Tong, M. Klinkigt, M. Iwayama, T. Yanase,
Y. Kobayashi, A. Sahu, and R. Vennelakanti. Learning to
generate rock descriptions from multivariate well logs withhierarchical attention. In KDD, pages 2031–2040. ACM,
2017.
[34] P. Wang, H. Wang, and W. Wang. Finding semantics intime series. In SIGMOD Conference, pages 385–396, 2011.
[35] X. Wang, L. Yu, K. Ren, G. Tao, W. Zhang, Y. Yu, andJ. Wang. Dynamic attention deep model for article recommendation by learning human editors’ demonstration. In
KDD, pages 2051–2059, 2017.
[36] S. Yao, S. Hu, Y. Zhao, A. Zhang, and T. Abdelzaher.
Deepsense: A unified deep learning framework for timeseries mobile sensing data processing. In WWW, pages 351–
360, 2017.
[37] S. Zhai, K.-h. Chang, R. Zhang, and Z. M. Zhang. Deepintent: Learning attentions for online advertising with recurrent neural networks. In KDD, pages 1295–1304, 2016.