DEIM Forum 2019 D8-2

弱ラベルを用いた時系列データへの詳細ラベル付与
入船 恭彰†

松原靖子†

川畑 光希†

山室

河東

梅田

裕平††

小橋 博道††

稲越 宏弥†††

孝††

冴†

浦

晃††

櫻井 保志†† 熊本大学大学院 自然科学教育部 〒 860-8555 熊本県熊本市中央区黒髪 2 丁目 39 番 1 号†† 富士通研究所 〒 211-8588 神奈川県川崎市中原区上小田中 4 丁目 1 番 1 号††† Fujitsu Laboratories of Europe Ltd. Hayes Park Central, Hayes End Road, Hayes, UK UB4 8FE
E-mail: † {yasuaki,koki,saeru}@dm.cs.kumamoto-u.ac.jp, {yasuko,yasushi}@cs.kumamoto-u.ac.jp†† {ura.akira,kato.takashi_01,umeda.yuhei,h_kobashi}@fujitsu.com, † † † Hiroya.Inakoshi@uk.fujitsu.com
あらまし

本論文では，深層学習を用い，各時系列データ中の一部分に対するラベルしか明らかになっていない中で，時系列データ中の全ての時刻に対してラベルを付与するためのアルゴリズムを提案する．提案手法は，多次元センサーデータが与えられたときに，その時系列データの中から重要な特徴を発見し，それらの情報を統計的に要約・表現する．さらに，要約情報に対して深層学習を適用することにより，時系列データを効率的かつ効果的に分類し，Attention 機構によって明らかになっているラベルに相当する時系列パターンを特定する．そして，学習済みのモデル
は時系列データが入力されたときに，その中に含まれるパターンの数とそれぞれに対するラベルを推定する．実デー
タを用いた実験では，提案手法が効率的に各時系列データからパターンを発見し，高精度にラベルを付与していることを確認した．
キーワード

時系列データ，特徴自動抽出，深層学習，分類,-./01

1 はじめに近年，センサーの小型化や低価格化が進み，ウェアラブル
デバイス，自動車，スマートファクトリーといった多くの

IoT(Internet of Things) アプリケーションによって大量の時系

2
3
,
4
.

列データが生成/収集されている [6], [8]．一般に，実際に生成される時系列データは複数のパターンやトレンドを持つことが多を持つ．そうした時系列データを構成する様々なパターンを捉えることやデータ間で共通するパターンを発見することは重要な課題である．さらに，発見されたパターンに対してラベルを付与することでより質の高いサービスを実現することができる．
一方，データに対するラベルの付与は教師あり学習が用いられる．近年では，深層学習がめざましく発展し，画像やセンサー
データに対して高い分類精度を達成するモデルが数多く報告さ$%!

!"#$%&'()*+,-.

$%"!"#$%&'()*+,-.

$%#

7$%8 &%9:-;1<=->*+? ,-./01

い．具体的な例として，ウェアラブルデバイスにより収集されたセンサーデータでは，活動内容に応じて複数の動作パターン!"#$%&'()*+,-.

$%!%&%)$%!

$%&)$%"%&%($%"$%#%&%'

$%&(

$%#

$%&%'
$
%
/
0
1
5
6

$%&%'

$%&%(

:-@1<=->

図 1: データの収集と提案手法の具体例

れている [20], [24]．しかしながら，深層学習には大量の学習用
データが必要となる．一般的に，センサーデータに対する分類問題では単一のパターンのみが含まれるデータとそのパターン
がラベルとして付与されたものが対となる．したがって，デー
タ収集においては，所望の出力と同様のデータとラベルを収集しなければならず，新たなケースに導入する場合は人的・時間的コストが非常に高い．また，時系列データからのパターン検出に関しても，先行研究 [9], [22] はパラメータの設定が出力に大きな影響を与えるため，事前知識を必要とせず，ユーザの介入を必要としない手法が望ましい．本研究では，前述のような学習用データの収集にかかる負担を削減しつつ，全ての時刻に対してラベルを付与するため，時系列データからの自動パター
ン抽出と深層学習を用いたアルゴリズムを提案する．
本論文で扱う問題は以下のとおりである．
問題：複数のパターンを含む大規模時系列データ集合 D と各
データに含まれるパターンのうちの 1 つであるラベル y が与えられたとき，D を表現する時系列パターンを抽出し，それら全ての時系列パターンに対してラベルを付与する．

より具体的には，複数のセンサーから生成された多次元時系

結果として，データ収集におけるラベル付けにかかる時間的・

列データ集合が与えられたとき，(a) 各データに含まれる時系

人的コストを大きく削減し，さらに学習済みのモデルは入力さ列パターンの変化点と種類を自動的に把握し，(b) 得られた情れた時系列データからパターンの数と時間を推定するとともに報から生成した特徴量に対して深層学習における Attention [1]各パターンにラベルを付与することを可能とする．

を適用することで付与されたラベル (データラベル) に相当す

本論文の構成は以下の通りである．2 章では関連研究についるパターンを特定する．そして，(c) データセット全体の中かて述べる．3 章では問題定義，4 章では提案手法，5 章では評価

ら潜在的に存在する共通パターンを自動で発見することによ

実験について述べ，6 章にて本論文をまとめる．

り，(d) 各時系列データ中の一部分に対するラベルしか明らかになっていない中で，データから発見された全てのパターンに対してラベルを付与する．つまり，提案手法はデータ収集における詳細なラベル付けを不要とし，データ収集の負担を大きく削減しながらも，時系列データに対してセグメンテーションとラベルの付与を実現する．
ここで，各時系列データに付与されているラベルを「データラベル」，各時系列パターンに付与されるラベルを「セグメント
ラベル」と呼ぶ．また，多次元時系列データにおける時系列パ
ターンを本論文では「レジーム (regime)」と呼び，各データに含まれるものをローカルレジーム，データセット全体で共通するものをグローバルレジームとする．

1. 1 具 体 例
ここでは，工場における作業者の作業記録の作成を例とする．
図 1 は，提案手法を用いて作業記録を作成する際のデータ収集

2 関連研究時系列データからの情報抽出に関しては，Li らが文献 [12]において，欠損を含む大規模時系列シーケンス集合のためのアルゴリズムである DynaMMo を提案している．DynaMMo
は LDS に基づき，時系列データのパターンを発見し，シーケ
ンスのセグメント化の能力を持つ．また，隠れマルコフモデル(HMM: Hidden Markov model) は音声認識を含む様々な分野
において，時系列解析手法として広く利用されている．Wang
ら [22] は pHMM (pattern-based hidden Markov model) を提案している．pHMM は時系列のセグメント化とクラスタリン
グのための動的モデルであり，時系列シーケンスをマルコフモ
デルに基づいて線形のセグメントに分割する能力をもつ．著者
らは文献 [15] において，隠れマルコフモデルに基づく多次元時
系列シーケンスのための特徴自動抽出手法を提案した．

と作業ラベル推定の様子を示す．収集するデータは図上部のよ

時系列データの回帰・分類問題に対しては近年発展の目覚まうに複数の作業を含む時系列センサーデータとその中で行われしい深層学習モデルが多数報告されている [2], [13], [24]．Yao

た作業の 1 つをデータラベルとして付与したものをセットとすら [24] は複数のセンサーから得られる多次元時系列データの分る．このような方法をとることで，一定時間おきにその時点で類回帰モデルとして DeepSense を提案した．DeepSense は時行なっている作業を入力する必要がなく，1 度で済むため作業

系列データを微小時間間隔に分割（セグメント化）し，各セグ者の負担を軽減することができる．提案手法は各時系列データ

メントから多層 CNN を用いて各センサーの軸間の特徴，およに含まれる作業の数と変化点を自動で発見し，得られたローカ

びセンサー間の特徴を抽出後，それらに RNN を適用すること

ルレジームの中からデータラベルに相当する部分を特定する．

で高精度を達成した．また，画像の分類問題にはセマンティッ

そして，データセット内で共通するパターンであるグローバル

クセグメンテーションと呼ばれる画像を画素単位で分類するタレジームを利用して穴埋め式に補い合うことで，全ての時刻にスクがある [3], [14]．しかしながら，教師あり学習であるこの対してラベル (セグメントラベル) を付与する．

タスクには画素ごとにラベル付けされたデータセットが必要で

1. 2 本論文の貢献
提案手法は以下の特徴を持つ．

•

•

•

膨大な手間がかかる．
深層学習は様々な問題に対して高い精度を発揮するモデルを

各時系列の要約情報として時系列パターン (レジーム) の種構築する一方で，ネットワークのパラメータから判断根拠を人類を把握し，適切な変化点を自動的に発見する．さらに，間が理解可能な形で取り出すことが難しいという解釈性の問題

提案手法はパターン変化点の最適解の検出を保証する．

を抱えている．この問題に対して，Bahdanau ら [1] は自然言

複数のパターンを有する時系列データの特徴を効果的に学語翻訳タスクのための Attention を提案した．Attention は，習するための多層ニューラルネットワークを構築し，高いRNN Encoder によって入力系列を単一の固定長ベクトルに埋精度でラベル (データラベル) を分類するとともにラベルめ込む際に，各隠れ層の出力ベクトルの加重平均を用いることに相当する部分のパターンを特定する．

で，機械翻訳における文脈中の重要な単語を加味して翻訳する

データセット全体の要約情報として，大量の時系列データ間で共通する時系列パターンを検出し，それらにラベルを割り当てる．

•

あり，新たなケースに導入するとなると学習用データの作成に共通パターンを利用してラベルが存在しない部分を補い，全てのパターンに対してラベル (セグメントラベル) を付与する．

ことが可能である．Attention は機械翻訳以外の様々な分野で性能向上に貢献し [25]，時系列データ解析のために適用された研究事例 [5], [16], [21], [23], [26] も多数報告されている．著者らは文献 [26] において，Attention を用いて時系列データの中からラベル分類において要因となったパターンを直感的に抽出する手法を提案した．

本研究の特徴としては，文献 [26] を応用し，時系列データからの特徴自動抽出と深層学習における Attention を用いることによって，学習用データの収集にかかる手間を削減しつつ，時

表 1: 主な記号と定義
記号

定義

D

N 個の時系列データ集合 D = {X1 , . . . , XN }系列データのセグメンテーションとラベルの付与を可能とする

X

長さ t のラベル付き多次元時系列データ X = {X (k) }Kk=1ことである．

X (k)センサー k における d(k) 次元シーケンス X (k) ∈ Rd

X′
X

n 個のミニバッチ X ′ = {Xi }ni=1 ⊂ D(k)
深層学習の入力 X ∈ Rd ×2f ×my

各サンプルに付与されたデータラベル

ここでは，本論文で必要な概念について定義を行う．

S

m 個のセグメント集合 S = {s1 , . . . , sm }X = {X (k) }K
k=1 を K 個のセンサーによって観測された長さ

Si

i 番目のレジームに含まれるセグメント集合 Si ⊂ S

個の測定軸

α

m 個のセグメントの重要度 α = {α1 , . . . , αm }を持つとする．本研究では，このような多次元時系列データに，

Θr 個のレジームパラメータ集合 Θ = {θ1 , . . . , θr }ML

各サンプル X の要約情報 ML = {m, r, S, Θ, α}MG

LG
N 個のサンプル全体の要約情報 MG = {ML
1 , . . . , MN , Θ , Z}Z

ΘG に割り当てられたセグメントラベル Z = {z1 , · · · , zg }3 問題定義t の多次元時系列データとし，各センサー k は d(k)

データ中のある部分シーケンスに対するラベルであるデータラ
ベル y が付与されたデータ集合 D = {Xi }N
i=1 に対してセグメ
ンテーションを施し，発見された全てのパターンに対してラベ
ルを割り当てる．
本研究ではまず，単一の時系列シーケンス X を m 個のセグメント集合 S = {s1 , · · · , sm } に分割する．ここで，si は i 番目のセグメントの開始点，終了点を含み (つまり，si = {ts , te })，各セグメントは重複がないものとする．次に，発見したセグメ
ント集合を類似セグメントのグループ（レジーム: regime ）に分ける．これをローカルレジームと呼び，各レジームは統計モ
デル θ で表現される．また，各時系列シーケンスから得られる
ローカルレジームに加えて，データセット全体での共通パターンであるグローバルレジームを検出する．続いて，これらの要約情報を利用した深層学習によって各時系列データを分類するとともに，付与されたラベル y に対する時系列パターン (ローカルレジーム) の重要度である α = {α1 , · · · , αm } を算出する．
最終的に，重要度が最大であるローカルレジームに対してラベ
ルを割り当て，共通パターンであるグローバルレジームを利用してラベルが存在しない部分を補い合うことによって，全てのローカルレジームにラベルを付与する．
［定義 1］（ローカルレジーム） 多次元時系列シーケンス X が与えられたとき，X を表現，要約する ML = {m, r, S, Θ, α}をローカルレジームと呼び，以下で構成される．
（ 1 ） セグメントの総数 m と各セグメントの位置：

S = {s1 , . . . , sm }（ 2 ） r 個のレジームを表現するモデルのパラメータ集合：Θ = {θ1 , . . . , θr }（ 3 ） 各セグメントの重要度：

α = {α1 , · · · , αm }［定義 2］（グローバルレジーム） D を表現する全ての要約情L
G
報 MG = {ML
1 , . . . , MN , Θ , Z} をグローバルレジームとし，ΘG = {θ1 , . . . , θg } をシーケンス間で共通するパターンを示す g 個の統計モデルの集合，Z = {z1 , · · · , zg } を各モデルに割り当てられたラベルであるセグメントラベルとする．
したがって，本論文で扱う問題は以下のように表される．
［問題 1］ 多次元時系列データ X ⊂ D が与えられたとき，（ 1 ） 要約情報 ML ，および，MG を抽出する（ 2 ） X に含まれる各時系列パターン (ローカルレジーム) か

(k)

×t

ら特徴量 X を生成し，X に付与されたデータラベル y を
高精度に分類するように学習する（ 3 ） 各パターンのデータラベル y の分類問題に対する重要度α を求める（ 4 ） 要約情報 ML とデータラベル y および重要度 α から
MG のセグメントラベル Z を推定し，全ての時系列パターンに対してラベルを付与する
結論として，本論文の目的はデータセット全体の最適な要約情報を抽出し，時系列パターンを発見すること，そして深層学習
を用いて弱教師として付与されているデータラベルを活用し，全ての時系列パターンに対してラベルを付与することである．
ここで非常に重要な課題は，(a) どのように X の要約情報 MLを推定するか，(b) どのようにデータセット全体のグローバル
レジーム MG を決定するか，(c) 時系列パターンの重要度をパラメータに持つ分類モデルをどのように構築し，高精度に学習するか，(d) 弱教師として与えられているデータラベル y をどのように還元するかである．

4 提案モデル
本章では問題 1 を解決するためのアルゴリズムを提案する．
ただし，4. 2，4. 3 節は文献 [26] で提案されたものである．

4. 1 概要本論文で提案する手法のフレームワークを図 2 に示す．まず初めに，(1) 与えられた多次元時系列シーケンス集合の中からミニバッチ X ′ を取り出し，セグメンテーションを施すことで各時系列シーケンスの要約情報 ML を抽出する．次に，(2) 得られた ML の中から，シーケンス間で共通する時系列パターンを表す要約情報 MG を検出・更新する．また，(3) 深層学習を用いたモデルに要約情報 ML を利用し，各サンプルに付与されたデータラベル y を分類すると同時に，ラベルに相当する

ML を特定する．最後に (4)MG を用いて全ての ML にラベル (セグメントラベル) を割り当てる．以降の節では，入力から順に特徴抽出のためのアルゴリズムと深層学習モデルの詳細について説明する．

'"()*+

CNN

6
7
8
!
&

,-

RNN

Attention

AutoPlait

!

!
"#$%
!"#$%&

345& ."/&01"2#$&%+%'%( & '%) & '%*GHI

RegimeAssignment'('%* !"#$%&'-*'.)!"#$%&'#(
'%(
',
*

!"

')

<=>4?"@A4& $%&BCD

9:;<=>4E$%&F *+#,-'(%)

図 2: 提案モデルのフレームワーク

4. 2 時系列データからの自動特徴抽出

Algorithm 1 RegimeAssignment (X ′ , MG )ここでは，多次元時系列データ X が与えられたとき，X の要約情報を得るためのアルゴリズムについて述べる．提案手法

L
Output: Updated G–regimes MG , i.e., L–regimes {ML
1 , . . . , Mn }and model parameter set ΘGは以下の 2 つのアルゴリズムで構成される．

•

Input: Mini–batch X ′ and G–regimes MG

時系列パターンの自動発見：ミニバッチ X ′ が与えられた
とき，X ′ 中の各シーケンスに含まれるすべての時系列パ

1: /* Find L–regimes for each sequence in X ′ */2: for i = 1 : n do
3:

ターン，すなわち，ローカルレジーム ML を発見し，要約{m, r, S, Θ} ← AutoPlait (Xi );4:for j = 1 : r don
情報 {MLi }i=1 を得る．

5:

θ ∗ ← arg min CostC (Xi [Sj ]|θ);n
共通パターン分析：{MLi }i=1 から，データセット全体に

6:

Compute ∆CostC (Xi [Sj ]|θj , θ ∗ ); // Equation (2)共通するパターンであるグローバルレジーム ΘG を検出

7:

if CostM (θj ) < ∆CostC (Xi [Sj ]|θj , θ ∗ ) then

し，要約情報 MG を更新する．

8:

θ∈ΘG

•

9:

Add θj into ΘG ;else

時系列パターンの自動発見．まず，最も簡単な部分問題とし

10:て，単一の時系列シーケンス X が与えられたとき，X に含ま

11:

end if

れる時系列パターンを発見する．本研究では，与えられた時系

12:

end for

列データに関する事前知識を必要とせず，自動的に時系列パ

13: end for

ターンを発見するために，最小記述長 (Minimum descriptionLG
14: return {ML
1 , . . . , Mn , Θ };θ ∗ ← ModelUpdate (Xi [Sj ]);Length: MDL) に基づく手法である AutoPlait [15] を用いる．
直感的には，データがより圧縮されるようなモデルを最適とす
る．X とモデルパラメータ集合 ML が与えられたときの総符号長 CostT (X; ML ) は以下の式で表される．
CostT (X; ML ) = CostM (ML ) + CostC (X|ML )繰り返し，式 (1) を最小化する X の要約情報 ML を自動的に推定する．
共通パターン分析．続いて，各シーケンスから得られたレジー(1)

こ こ で ，CostM (ML ) は モ デ ル 表 現 コ ス ト 1 を 示 し ，Lムから，類似する時系列パターンを検出するためのアルゴリズ
ム RegimeAssignment について述べる．

CostC (X|M ) はモデルが与えられたときの X の符号化コ

具体的なアルゴリズムの流れをアルゴリズム 1 に示す．まストを示す．[15] は，貪欲法によって X の分割とモデル推定をず，Θ ∈ ML 中の各レジーム θj に割り当てられた部分シーケ
ンス Sj に対し符号化コストが最小となるグローバルレジーム

1：本論文では，浮動小数点の表現コストを 4 × 8 ビットとする．

θ ∗ を求める．次に，θj ，θ ∗ それぞれで部分シーケンスを表現に，RNN の中間層にゲートを加えた LSTM(Long Short-Term

したときの符号化コストの差分を以下の式で求める．

Memory) [7] や GRU(Gated Recurrent Unit) [4] が提案されている．さらに，双方向に学習を行うことによってモデリングの∆CostC (Xi [Sj ], θj , θ ∗ )= CostC (Xi [Sj ]|θ ∗ ) − CostC (Xi [Sj ]|θj )(2)

θj のモデル表現コストが上記のコストより小さくなるとき，θj
G

能力を向上させた bi-directional RNN [17] も報告されており，
本論文では RNN 層に双方向の GRU を用い，時間関係の特徴を抽出する役割を持たせる．

は新たな時系列パターンを示し，θj を Θ に追加する．レジー

Attention． そして，RNN 層の出力 h に対して Attention をムの追加が不要な場合，θj は θ ∗ と共通の時系列パターンを示

用いることで，セグメントの重要度 (ラベルらしさ) である αし，θj に割り当てられた部分シーケンス Sj を用いて θ ∗ のモを算出する．

デルパラメータを更新する．

ui = tanh(Wa hi + ba )4. 3 深 層 学 習

exp(uTi ua )Texp(ui ua )i

αi = P

ここでは，前節のモデルで抽出したローカルレジーム ML に基づき入力 X を生成し，図 2 に示す多層ニューラルネットワー

v=

クによる学習を行う．本論文で用いる深層学習モデルは畳み込みニューラルネットワーク (Convolutional Neural Network:

CNN) と再帰型ニューラルネットワーク (Recurrent Neural
Network: RNN)，そして Attention 層で構成される．
入力生成と畳み込みニューラルネットワーク (CNN)．
本研究では，画像等の空間的な情報を持つデータを効率的に学習することができる CNN を用いて効果的に各時系列パターンの特徴を学習するため，次のように入力データ X = {X (k) }K
k=1の生成を行う．まず，各時系列シーケンス X 中の各セグメン
トから，非重複かつ微小な幅 τ で分割して要素を取り出す．そして各要素に対してフーリエ変換を施し，振幅スペクトルと位相スペクトルを算出する．周波数領域の次元数を f とすると，

X (k) は d(k) × 2f × mT という形状になる．周波数領域は，時
間領域の時系列データに比べてよりよい情報をもつため，本研
究では上記の方法で生成した特徴量を入力データとする．

Xれており，3 種類の特徴/関係性を抽出することを目的としている．センサー別 CNN では，入力 X (k) に対し，K 個の CNNが入力に埋め込まれている周波数領域内での関係性と，セン

(4)
(5)

αi hi

i

式 (4) で計算される αi のベクトル α をセグメントの重要度とする．また，式 (5) で表現されるように，RNN 層の各出力ベ
クトル hi に対して重み α の加重平均した v を Attention 層の出力とする．これによりラベルに対して正の相関をもつ部分のα の値が大きくなり，ラベルに相当する時系列パターン (ローカルレジーム) を特定することができる．この出力 v に対して線型結合の出力層を用いることで，各サンプルに対するラベル

y の出力確率を計算する．
さらに，汎化性能の向上のため，クロスエントロピー損失関数に正則化項を加えたものをコスト関数とする．提案手法のモデルを関数 F (·)，訓練データのサンプルの組を (X , y) とすると，コスト関数 L は以下のようになる．

L = ℓ(F (X ), y) +提案モデルの畳み込み層は，K 個の “センサー別 CNN” と，その出力を入力とする “センサー統合 CNN” の 2 つから構成さ

(3)

X

λj Pj

(6)

j

ℓ(·) はクロスエントロピー損失関数，Pj は正則化項であり，λjは正則化項の寄与率を調整するパラメータである．

4. 4 ラベルの推定

サーの測定軸間の関係性の 2 つの特徴を抽出することを目的と最後に，4. 2 節で抽出された要約情報であるローカルレジー

している．周波数領域の情報はたいてい隣り合う周波数で多く

ム ML ・グローバルレジーム MG と 4. 3 節で算出された重要のローカルなパターンを有しているため，フーリエ変換後の入度 α を用いて，データセットから発見された全ての時系列パ

力値を CNN で学習する意味は大いにある. 次に，センサー別

ターンに対してラベルを付与する．

CNN で得られた K 個のベクトルを結合した行列をセンサー結

具体的には，深層学習を適用することによって単一の時系列

合 CNN の入力とする．ここではセンサー間の関係性を特徴とデータから抽出された複数のローカルレジームに対して重要度して抽出し，得られたベクトルを時間軸方向に連結した行列をα が算出される．α の値が最も大きいローカルレジームは分類

次節で紹介する RNN の入力とする．

ラベルであるデータラベルに相当するものとし，ラベルを付与

再帰型ニューラルネットワーク (RNN)． ここでは，CNN 層のする．したがって，ラベルが特定されたローカルレジームが属出力に対して，RNN による時間関係の特徴抽出を行う． RNNするグローバルレジームもそのラベルである可能性が高く，ラは時系列のデータを扱うために，任意の時刻 t での出力に過去

ベルらしさとして重要度 α の値を加算する．この処理をデーの出力を加味する．これにより，時間関係をもつ入力に対してタセットに含まれる全ての時系列データに対して同様に行うこ特徴を抽出することを可能とする．しかしながら，RNN は誤とによって，各グローバルレジームがどのラベルに相当するパ差関数，各層間の重みに関する勾配計算を行う際に層数の増加

ターンを表現しているかが明らかになる．これをセグメントラに伴って勾配値が発散や消失してしまう恐れがある (長期依存ベル Z とする．なお，グローバルレジームにラベルが特定され性)．この問題に対して，ネットワークへの入力を制御するためたローカルレジームが含まれていない場合は，データラベルとして与えられていない全てのラベルをローカルレジームに付与

1.0

し，重要度 α の値を加算する．ここで，全てのローカルレジー

0.9

ムはいずれかのグローバルレジームに属しているため，親となるグローバルレジームに付与されたセグメントラベルをローカ

0.8

ことでラベルが存在しない部分を穴埋め式に補い合い，全ての時刻にラベルを付与する．また，学習済みのモデルは入力されAccuracy

ルレジームも持つ．結論として，弱教師として与えられたデー
タラベルを深層学習によって還元し，共通パターンを利用する

0.7
0.6

たデータに対して，セグメンテーションとラベルの付与を同時
に行う．

0.5

5 評価実験

0.4

本章では，提案手法の有効性を検証するために，実データを

HHAR

Factory-worker

図 3: 各データセットにおけるラベル推定精度の比較

用いて実験を行い，以下の項目の観点から評価を行なった．

Q1 時系列データに対するセグメントラベル推定精度

Proposed
KmeansBaseline•

Kmeans(statistics) :時 系 列 か ら Sliding Window(幅Q2 セグメンテーションとセグメントラベルの推定結果

τ = 100) ごとの各種統計量 (平均，中央値，分散，標Q3 グローバルレジームの要約情報

準偏差) を特徴とし，Kmeans でクラスタリングを行うこ提案モデルは損失関数にクロスエントロピー，最適化手法にとによって各時刻にラベルを付与する

Adam [11]，汎化性能の向上のために CNN 層には dropout 関

精度の評価には，時系列中の正解ラベルと等しいラベルが数 [18] とバッチ正規化 [10] を適用した．実験は 192GB のメモ

割り当てられている time-tick をカウントし，時系列の長さでリ，Intel Xeon 3.5GHz の CPU と NVIDIA Quadro M5000割ったものを用いた．本実験では，提案手法のパラメータとしの GPU を搭載したマシン上で実施し，以下のデータセットをて，CNN 層のフィルター数を 64，RNN 層の隠れユニット数

使用した．

を 200，dropout 率を 0.6 に設定し，モデル学習を行った．図 3•

HHAR: 本データセットは，Allan ら [19] が 9 人のユーザに対する 6 種類のアクティビティ (bike，sitting，stand-ing，walking，climbStair-up，climbStair-down) の加速度
(3 軸)，角速度 (3 軸) をスマートフォンを用いて収集したものである．本実験では，ユーザ b の bike，standing，

walking の 3 種類を用い，ランダムに 2 つ以上を組み合わせてシーケンスを作成し，含まれるアクティビティの中で最も長い動作をデータラベルとして付与した．サンプル数
は 90 である．

•

Factory-worker: 本データセットは，工場における作業員を模した作業である polish(表面を磨く)，wipe(布で拭く)，clean(ゴミを取り除く) の 3 種類の動作を腕に装着して加速度 (3 軸)，角速度 (3 軸) を計測することができるアーム
バンド型の Myo 2 を用いて収集されたものである．HHARと同様にシーケンスの作成とラベルの付与を行なった．サ
ンプル数は 90，ユーザは 3 人である．

5. 1 Q1. ラベル推定精度
はじめに，提案モデルのラベル推定精度を検証するため，以下のような独自に作成したベースラインと比較手法を用いて 5分割の交差検証による比較を行なった．

•

は，提案手法と上記のベースライン，比較手法とのラベル推定
精度と 95%信頼区間の比較である．提案手法は HHAR のテス
トデータに対して 87.80 ± 0.0197%，Factory-worker においては 92.31 ± 0.0203% のラベル推定精度を示し，比較手法を大きく上回った．これにはまず，提案手法が複数のアクティビティ/作業を含む時系列データから重要な特徴を自動で抽出し，デー
タに含まれる時系列パターンの数と変化点を効率的に把握するとともに，効果的に共通パターンを発見できていることが影響している．さらに，各時系列中に含まれるラベルが 1 つしか明らかになっていないという制約条件の中，高い分類精度を発揮する深層学習モデルにより正確にラベル情報を還元し，グローバルレジームとラベルを正しく紐づけることができていることが考えられる．以上により，提案手法は高い精度で全ての時刻にラベルを付与することに成功した．

5. 2 Q2. セグメンテーションとセグメントラベルの推定
続いて，図 4 に各データセットに対して提案手法によりセグ
メンテーションを施し，全ての時間におけるセグメントラベルを推定した結果の例を示す．各図の 1 段目はオリジナルのセン
サーデータ示し，2 段目はセグメンテーションによって抽出されたローカルレジームと付与されたデータラベルに対する重要度を示す．重要度は，長方形の色が濃いほど高く，薄いほど低ベースライン : 各時系列に付与されているデータラベルをいことを表している．そして，3 段目はローカルレジームをグ

全ての時刻に付与する

ローバルレジームに置き換えセグメントラベルを推定した結果であり，4 段目が正解を示す．また，2・3 段目の長方形内の白2：https://support.getmyo.com/hc/en-us

字はグローバルレジーム ID であり，3・4 段目の左端に示す数

を別の時系列パターンとして認識している (ローカルレジーム

20#3，ローカルレジーム#2）．これは例え同一のユーザが同じ動0label (correct)

label (predict)Local Regime ID

0

500

1000

3

2

1 1

1500

500

2

6

1000

0 1
0

1500

2000

ムにまとめることで，結果として同一の作業と認識している (グ2500

ローバルレジーム#9)．そして，ラベルが不明であったローカ

6

3

1

きをしたとしても，全く同じ動作が繰り返し行われるとは限ら2500ないので妥当だと言える．しかし，これらをグローバルレジー

1

0
0

2000

ルレジーム#0 と#1 に関してもグローバルレジームに割り当

1

500

1000

1500

2000

2500

てられたラベルを付与することで適切なラベルを推定すること2ができている．

1
0
0

500

1000

1500

2000

2500

5. 3 Q3. グローバルレジームの要約情報(a) HHAR データセットのサンプル (データラベル:2=Stand)100

本節では，データセットに共通するパターンであるグローバ
ルレジームの要約情報について触れる．まず，図 5 は各デー

0−100
Local Regime ID

3 9
2
1
0
0

label (predict)

500

2 9

label (correct)

0

2

1000

1500

0
500

1000

1500

0

1
0
0

500

1000

1500

2000

2500

3000

3500

ローカルレジームの数と動作の内訳を示す．提案手法は HHAR

9
16

2000

2500

データセットから各シーケンスに含まれる時系列パターンであ
3000

3500

9
16

2000

2500

タセットにおいてグローバルレジームに対し割り当てられた

るローカルレジームを 236 個検出した．そして，それらを共通パターンとして 32 個のグローバルレジームへと要約した．ま

3000

3500

た，Factory-worker データセットからは，245 個のローカルレ
ジーム，21 個のグローバルレジームを抽出した．図 5 が示すと

1

おり，多くのグローバルレジームは単一の動作のみを含み，各

0
0

500

1000

1500

2000

2500

3000

3500

(b) Factory-worker データセットのサンプル(データラベル:2=Clean)

図 4: 提案手法のセグメンテーションとラベル推定結果

データセットのシーケンス間に共通するパターンの抽出に成功している．続いて，図 6 に Factory-worker データセットから抽出されたグローバルレジーム#0 の例を示す．このグローバ
ルレジームは 245 個のローカルレジームのうちの 21 個を保有しており，その内訳は “ユーザ A の wipe” が 1 個，“ユーザ B

字は以下のようにそれぞれのデータセットに含まれるアクティの wipe” が 20 個となった．このことから，提案手法は異なる•

HHAR: 0=walk，1=bike，2=stand•

Factory-worker: 0=polish，1=wipe，2=clean
図 4(a) は，HHAR データセットにおけるサンプルであり，“walk→bike→walk→stand” の順にアクティビティを行ない，Number of Local Regime

ビティ/作業を表している．
60

Work
walk
bike
stand

40
20
0 0

10

“stand” のデータラベルが付与されたものを示している．提案
ローカルレジームを抽出した．2 段目の長方形の色の濃さを確認すると，データラベル (2=stand) に相当するセグメント#4の重要度が高くなっており，深層学習により適切にラベルの情

てられているセグメントラベルを用いることで，全ての時刻のWork
polish
wipe
clean

20
10
0 0

5

10

のデータラベルが付与されているものである．提案手法はこのサンプルから m = 4 個のセグメント，r = 4 個のローカルレジームを抽出した．このサンプルにおいてもデータラベル(2=clean) に相当するセグメント#1 の重要度が高くなっており，深層学習が効率的に多次元のセンサーデータから特徴を抽出できていることがわかる．また，このサンプルでは “clean”の作業が 2 回行われており，セグメンテーションではそれぞれ

20

図 5: 各データセットにおけるグローバルレジームの要約情報
Global Regime #0

20

Work
polishwipe
clean

Number of Local Regime

る “clean→wipe→polish→clean” の順に作業を行い，“clean”

15

Global Regime ID(b) Factory-worker データセット

アクティビティを推定している (3 段目)．
図 4(b) のサンプルは，Factory-worker データセットにおけ3030

報を還元できていると言える．そして，各ローカルレジームを
グローバルレジームに置き換え，グローバルレジームに割り当

20(a) HHAR データセット
Number of Local Regime

手法はこのサンプルから m = 4 個のセグメント，r = 3 個のGlobal Regime ID

100clean polish
G id#0

0

0

wipe

ラベル

3.5261wipe(b) 各ラベルに対する重要度
A

B
User

C

(a) ユーザと作業の内訳

図 6: Factory-worker におけるグローバルレジーム#0 の要約情報

ユーザ間においても類似した時系列パターンの検出/要約をすることが可能であると言える．さらに，深層学習によって算出された各ローカルレジームの重要度 α を加算した値を図 6(b)に示す．図 6(b) が示すとおり，Factory-worker データセットのグローバルレジーム#0 は “wipe” の重要度が高くなっており，このパターンが “wipe” を表現していると推定している．
これは前述した要約の内訳の内容と一致することから，弱ラベ
ルとして与えられたデータラベルと検出した時系列パターンの紐付けが適切に行われたことを示している．

6 む す び
本論文では，各時系列データ中で行われたラベルが 1 つしか明らかになっていないという制約のもとで，時系列データ中の全ての時刻に対してラベルを付与するためのアルゴリズムを提案した．提案手法は，与えられた時系列データに関する事前知識無しにデータセットに含まれる典型的なパターンを発見することが可能である．そして，深層学習を適用することにより，部分的に存在するラベルを用いて発見された全てのパターンに対してラベルを付与する．これはラベル付きの学習用データの収集にかかるコストを大きく削減することに貢献する．実デー
タを用いた評価実験では，提案手法が比較手法と比較して，少ないラベル数から高い精度で全ての時刻に対してラベルを付与できることを確認した．

7 謝

辞

本研究の一部は JSPS 科研費 JP15H02705, JP17H04681,

JP16K12430, JST さ き が け, 総 務 省 SCOPE (受 付 番 号
162110003), 厚生労働科学研究費補助金 (H29-ICT-一般-007)
及び国立研究開発法人日本医療研究開発機構（AMED）の臨床研究等 ICT 基盤構築研究事業の助成を受けたものです．

文

献[1] D. Bahdanau, K. Cho, and Y. Bengio. Neural machinetranslation by jointly learning to align and translate. ICLR,
2015.
[2] I. M. Baytas, C. Xiao, X. Zhang, F. Wang, A. K. Jain, andJ. Zhou. Patient subtyping via time-aware lstm networks.
In KDD, pages 65–74, 2017.
[3] L. C. Chen, G. Papandreou, F. Schroff, and H. Adam. Rethinking atrous convolution for semantic image segmentation. arXiv:1706.05587, 2017.
[4] J. Chung, C. Gulcehre, K. Cho, and Y. Bengio. Empiricalevaluation of gated recurrent neural networks on sequencemodeling. arXiv preprint arXiv:1412.3555, 2014.
[5] Y. G. Cinar, H. Mirisaee, P. Goswami, E. Gaussier, A. AïtBachir, and V. Strijov. Position-based content attention fortime series forecasting with sequence-to-sequence rnns. In
ICNIP, pages 533–544, 2017.
[6] G. De Francisci Morales, A. Bifet, L. Khan, J. Gama, andW. Fan. Iot big data stream mining. In KDD, Tutorial,
pages 2119–2120, 2016.
[7] K. Greff, R. K. Srivastava, J. Koutník, B. R. Steunebrink, and J. Schmidhuber. Lstm: A search space odyssey.
IEEE transactions on neural networks and learning sys-tems, 2017.
[8] J. Gubbi, R. Buyya, S. Marusic, and M. Palaniswami. Internet of things (iot): A vision, architectural elements, andfuture directions. Future Gener. Comput. Syst., 29(7):1645–
1660, 2013.
[9] D. Hallac, S. Vare, S. Boyd, and J. Leskovec. Toeplitz inverse covariance-based clustering of multivariate time series
data. In KDD, pages 215–223. ACM, 2017.
[10] S. Ioffe and C. Szegedy. Batch normalization: Accelerating
deep network training by reducing internal covariate shift.
In ICML, pages 448–456, 2015.
[11] D. Kingma and J. Ba. Adam: A method for stochastic
optimization. ICLR, 2015.
[12] L. Li, J. McCann, N. Pollard, and C. Faloutsos. Dynammo:
Mining and summarization of coevolving sequences withmissing values. In KDD, 2009.
[13] X. Ling, W. Deng, C. Gu, H. Zhou, C. Li, and F. Sun.
Model ensemble for click prediction in bing search ads. In
WWW, pages 689–698, 2017.
[14] J. Long, E. Shelhamer, and T. Darrell. Fully convolutional
networks for semantic segmentation. In CVPR, 2015.
[15] Y. Matsubara, Y. Sakurai, and C. Faloutsos. Autoplait: Automatic mining of co-evolving time sequences. In SIGMOD,
pages 193–204, 2014.
[16] Y. Qin, D. Song, H. Cheng, W. Cheng, G. Jiang, and
G. Cottrell. A dual-stage attention-based recurrent neural network for time series prediction. arXiv preprint
arXiv:1704.02971, 2017.
[17] M. Schuster and K. K. Paliwal. Bidirectional recurrent
neural networks. IEEE Transactions on Signal Processing,45(11):2673–2681, 1997.
[18] N. Srivastava, G. E. Hinton, A. Krizhevsky, I. Sutskever,and R. Salakhutdinov. Dropout: a simple way to preventneural networks from overfitting. Journal of machine learning research, 15(1):1929–1958, 2014.
[19] A. Stisen, H. Blunck, S. Bhattacharya, T. S. Prentow, M. B.
Kjærgaard, A. Dey, T. Sonne, and M. M. Jensen. Smart devices are different: Assessing and mitigatingmobile sensing
heterogeneities for activity recognition. In ACM Conferenceon Embedded Networked Sensor Systems, pages 127–140.
ACM, 2015.
[20] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed,
D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich.
Going deeper with convolutions. In Proceedings of theIEEE conference on computer vision and pattern recognition, pages 1–9, 2015.
[21] B. Tong, M. Klinkigt, M. Iwayama, T. Yanase,
Y. Kobayashi, A. Sahu, and R. Vennelakanti. Learning to
generate rock descriptions from multivariate well logs withhierarchical attention. In KDD, pages 2031–2040. ACM,
2017.
[22] P. Wang, H. Wang, and W. Wang. Finding semantics intime series. In SIGMOD Conference, pages 385–396, 2011.
[23] X. Wang, L. Yu, K. Ren, G. Tao, W. Zhang, Y. Yu, andJ. Wang. Dynamic attention deep model for article recommendation by learning human editors’ demonstration. In
KDD, pages 2051–2059, 2017.
[24] S. Yao, S. Hu, Y. Zhao, A. Zhang, and T. Abdelzaher.
Deepsense: A unified deep learning framework for timeseries mobile sensing data processing. In WWW, pages 351–
360, 2017.
[25] S. Zhai, K.-h. Chang, R. Zhang, and Z. M. Zhang. Deepintent: Learning attentions for online advertising with recurrent neural networks. In KDD, pages 1295–1304, 2016.
[26] 山室 冴, 松原 靖子, 川端 光希, 井手 優介, 梅田 裕平, 古川忠延,
大川 佳寛, 丸橋 弘治, 稲越 宏弥, 櫻井 保志. 深層学習を用いた
時系列データの要約と分類. In DEIM Forum, 2018.