一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATIONAND COMMUNICATION ENGINEERS
社団法人 電子情報通信学会

信学技報
IEICE Technical Report
NLP2019-39(2019-09)

信学技報
TECHNICAL REPORT OF IEICE.

THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

畳み込みニューラルネットワークによる再構成アトラクタの画像を用いた時系列分析
高田知弥†

上手洋子†

高尾 英邦††

西尾芳文†† 徳島大学 〒 770–8506 徳島県南常三島 2–1†† 香川大学 〒 761–0396 香川県高松市林町 2217–20
E-mail: †{tomoya,uwate,nishio}@ee.tokushima-u.ac.jp, ††takao@eng.kagawa-u.ac.jp
あらまし 近年、ニューラルネットワークによるビッグデータ解析が非常に注目を浴びている。有効な応用の一つに、不規則な振動をする時系列データの解析がある。本研究ではまず、カオス理論の一種である時間遅れ座標系を用いることにより、1 次元の時系列データを多次元データに変換する。次にこの多次元データから 2 次元データだけを取り出して画像に変換する。最後に畳み込みニューラルネットワークを用いて分類結果を出力する。その結果、提案手法のいくらかの分類精度が既存手法に比べて良い性能を得ることを確認した。
キーワード

時系列分類, ニューラルネットワーク, カオス理論

Time Series Analysis Using Image of Reconstructed Attractors
by Convolutional Neural Network
Tomoya TAKATA† , Yoko UWATE† , Hidekuni TAKAO†† ,and Yoshifumi NISHIO†† Dept. of Electrical and Electronic Engineering, Tokushima University
2-1 Minami-Josanjima, Tokushima 770–8506, Japan†† Dept. of Electronics and Information Engineering, Kagawa University
2217-20 Hayashi-cho, Takamatsu, Kagawa, 761-0396, Japan
E-mail: †{tomoya,uwate,nishio}@ee.tokushima-u.ac.jp, ††takao@eng.kagawa-u.ac.jp
Abstract In recent years, big data analysis using Neural Network has attracted attention. One eﬀective application is the analysis of time series data with irregular vibrations. In this study, first, 1-dimensional time series
data is converted into multidimensional data by using the time delay coordinate system which is a kind of chaostheory. Next, only two dimensional data are extracted from this multidimensional data for using images. Finally,
the classification result is output using convolutional neural network. As a result, some of he classification accuracyof the proposed method is better than that of the conventional method.
Key words Time series analysis, Neural network, Chaos theory
積分法では求められないため、その他現象を観察する手法が求1. ま え が きめられる。その一つに、カオス理論の一種である時間遅れ座標時系列データ分析の研究は、近年積極的に行われている。こ系がある [1]。この手法を用いることにより、1 次元データを 2のデータの特性はさまざまであり、規則的に振動するものや不次元データや 3 次元データに変換することができ、そのデータ規則的に振動するものがある。不規則的に振動するデータを扱の平面、立体構造等を観察できる。脳神経系や工学システム等う技術としてカオス理論がある。カオス理論は、力学系の一部の様々な分野で応用されている。に見られる、数的誤差により予測できないとされている複雑な近年、1 次元畳み込みニューラルネットワーク (1D-CNN) や様子を示す現象を扱う理論である。予測できないというのはラリカレントニューラルネットワーク (RNN) などのニューラルンダムではなく、決定論的な規則に従っている。しかしそれはネットワーク (NN) による時系列データ分析の研究は盛んに行- 23 -—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2019 by IEICEわれている [2]。NN が注目される理由は、NN 自身が入力情報を自ら学習して認識することができるからである。しかしこれらのモデルを用いても、非常に不規則な振動をする時系列データの解析は難しい場合がある。それが、不規則な振動をする時系列データを扱う場合である。NN 自身で時系列データの数値の特徴や時系列特性を学習できなくなってしまうのである。そこで、このデータに前処理を加えることで NN が学習しやすくなると考える。本研究ではこの問題を解決するために時間遅れ座標系を用いてデータを多次元に拡張する。それにより、不規則な振動をする時系列データに、NN が学習しやすい規則性を見出すことを狙いとしている。ここでは、時間変化する生地の表面形状をデータセットとして使用する。まず、この表面形状

図 1 CNN 構造例.の 1 次元データを多次元データに変換してデータの情報量を増加させる。そして CNN の入力にするために、多次元データか3. 提 案 手 法ら 2 次元だけを取り出して画像に変換する。最後に CNN を用いて時系列データの解析を行い、分類結果を示す。この結果から、情報量の増加が時系列分類にどのような影響を及ぼすのかを調査する。

本研究では、時間遅れ座標系を使用して、1 次元データを多次元データに変換する。まず特定の時間におけるデータの値をx(n) とする。さらに時間遅れ値を τ とすると、このシステムは式 (1) で表すことができる。

2. 畳み込みニューラルネットワーク
CNN は、NN における 1 つのモデルであり、主に画像認識

f (x) = [x(n) x(n + τ ) x(n + 2τ ) ...]

で用いられる [3]。1956 年に学術分野として確立され、2012 年(1)の画像認識コンペティションで優勝してからは多大な注目を集

そこで、この埋め込みによって生成された多次元空間から 2めている。近年では VGGNet や ResNet などあらゆるネット次元データである画像を作成することを提案する (図 2)。本研ワークが考案され、誤認識率は大幅に改善されている [4] [5]。

究では、簡単のため次元数を 5 に設定している。多次元空間

この CNN は医療や自動車などあらゆる分野で用いられ、そのの情報量を画像の特徴として上手く抽出することを目的として応用範囲は広がっている。既に自動運転やロボット、監視カメいる。

ラなどで実用化されている。また物体検出やセグメンテーションなどの画像以外にも、自然言語処理や音声処理など多くのタスクで驚異的なパフォーマンスを達成している。

CNN は NN 同様、生物学的プロセスから着想を得ており、動物の視覚野の配置などを真似ている。入力層、出力層、およびその間の多くの隠れ層で構成され、各層はデータの特徴を学習する。通常、畳み込み層とプーリング層、完全に接続された全図 2 2 次元データの取り出し方.

結合層で構成される (図 1)。畳み込み層とプーリング層は、画像を読み取って特徴マップを作成する特徴量抽出部分である。
畳み込み層では各学習画像に対して、異なる解像度の複数の

図 3 は、本研究の流れを示している。まず、時間遅れ座標系フィルターが適用され、各畳み込み画像の出力が次の層への入を用いて 1 次元データを多次元データに変換する。次に、多次力として使用される。フィルタは、明るさやエッジなどの非常元データから 2 次元データを取り出して画像に変換する。最後に単純な特徴の検出から始まり、物体固有の複雑な特徴までをに、CNN を使用して画像の特徴を抽出し、2 値分類を行う。

抽出する。プーリング層では特徴として重要な情報を残しながら元の画像を縮小する。この処理を行うことによって、データ量増大による学習の難化や過学習を防ぐことができる。また、画像が移動して回転しても、オリジナル画像とほぼ同じ値を出力できる。最後の全結合層では出力が一次元配列に変換され、どの種類に分類されるかの確率が算出される。

図3- 24 -本研究の流れ.

—2—

4. データセット
本研究で用いられるデータは、触覚ナノセンサによって取得された 1 (ms) で時間変化する 2 つの生地の表面形状である [6]。
この表面形状は、生地に荷重をかけたときに得られる表面の揺れのことである。表 1 に、この研究で使用した各生地のデータ(a) 生地 Aの数を示す。2000 (ms) のデータを用いている。アトラクタの(b) 生地 B

図 7 3–5 アトラクタ.

画像は CNN の分析に使用され、時系列データは 1 次元 CNN
および RNN の分析に使用されている。

表 1 データセット.
データ

時系列データアトラクタ画像

訓練データ

100100

テスト精度

2020(a) 生地 A(b) 生地 B

図 8 4–5 アトラクタ.

図 4 はオリジナルの時系列データの一例で、横軸が時間で縦軸が振幅である。図 5 ~ 8 は、時間遅れ座標系を使用して作

5. 分類モデル成されたアトラクタの画像を示している。例えば、アトラクタ

2–5 は、x(n + 2τ ) と x(n + 5τ ) で作成された平面とする。図

図 9 は、本研究で使用される CNN の構造を示している。

より、どの次元を取り出すかで図形が変わっていくことがわか

CNN は畳み込み層で特徴を抽出し、この特徴量をもとに入力る。これらの画像は、CNN の入力にする際に計算量を削減すを分類するネットワークである。

るため、342 × 288 画素から 32 × 32 画素にサイズ変更する。

(a) 生地 A(b) 生地 B
図 4 時間軸データ.
図 9 CNN の構造.

CNN では高速化のためプーリング層を抜き、過学習を防ぐために畳み込み層の後に活性化関数 Prelu を導入している [7]。ここで、Prelu 関数は以下のように表される。負の勾配a (0 < a < 1) は、ネットワーク学習によって調整される。
(a) 生地 A(b) 生地 B{

図 5 1–5 アトラクタ.

f (x) =x(x >= 0)

ax (x < 0)(2)

最後に、以下に示す softmax 関数により分類結果を計算する確率を導き出す。

(a) 生地 Aexp(xj )f (x) = ∑nexp(xi )
i=0(b) 生地 B(3)

図 6 2–5 アトラクタ.

- 25 -—3—

図 10 は、本研究で使用される RNN の構造を示している。

RNN は、ある層の出力が遡って入力される再帰型ニューラルネットワークである。この入力により、時系列の時間における動的挙動を扱うことができる。本研究では、テスト精度が最も良かったため層数を 1024 に設定している。

文

献[1] K. Aihara, T. Ikeguchi, Y. Yamada and M. Komuro, “Fundamentals and applications of chaotic time series analysis”,
Industrial book, p.23, 2000.
[2] A. Sherstinsky, “Fundamentals of Recurrent Neural Network (RNN) and Long Short-Term Memory (LSTM) Network”, arXiv:1808.03314, Submitted on 9 Aug 2018 (v1),last revised 4 Nov 2018.
[3] M. Matsugu, K. Mori, Y. Mitari and Y. Kaneda, “Subject independent facial expression recognition with robustface detection using a convolutional neural network”, Neural Networks 16., vol.5, pp.555-559, 2003.
[4] K. Simonyan, A. Zisserman, “Very Deep Convolutional Networks for Large-Scale Image Recognition”, IEEE International Conference on Computer Vision, arXiv:1409.1556, 10Apr 2015.
[5] K. He, X. Zhang, S. Ren, J. Sun, “Deep Residual Learning for Image Recognition”, IEEE International Conference on Computer Vision and Pattern Recognition,
arXiv:1512.03385, 10 Dec 2015.

図 10 RNN の構造.

[6] J. Kim, H. Takao, K. Sawada and M. Ishida, “IntegratedInductors for RF Transmitters in CMOS/MEMS Smart Microsensor Systems”, Sensors, 1 August 2007.

6. シミュレーション結果
10 回のテスト精度の平均を調査する。表 2 に、次元数が 5 に設定されたときの精度を示す。
テスト精度は、アトラクタ 1–5 を使用した場合が最高である。ただし、他のアトラクタを使用する場合のテストの精度は、[7] K. He, X. Zhang, S. Ren, J. Sun, “Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNetClassification”, IEEE International Conference on Computer Vision and Pattern Recognition, arXiv:1502.01852, 6Feb 2015.

RNN を使用する場合のテストの精度よりも低くなる。特定のアトラクタが CNN の特徴量において有効であることがわかる。

表 2 訓練精度とテスト精度.
訓練精度 (%)

テスト精度 (%)

1 次元 CNN

10067.5

RNN10072.0アトラクタ 1–510075.2

アトラクタ 2–510069.0

アトラクタ 3–510055.5

アトラクタ 4–510062.8

7. ま と め
本研究では、時間遅れ座標系を用いて時系列データを多次元に拡張してこれを画像化し、CNN に適用する方法を提案した。

1 次元データを多次元に拡張することにより、時系列分類の精度がどう変化するかを確かめた。結果として、提案手法を使用した場合の一部のテスト精度は、従来方法を使用した場合のテスト精度よりも優れていた。
しかしながら、提案手法を用いた 4 種類のテスト精度が RNNの精度を下回った。将来的には、多次元の特徴をどのように抽出して活かすかを模索し、十分な分類精度を得る方法を明確にする。また、時系列データの特性を明らかにするために、NNが画像のどの部分に着目しているのかを調べる。

- 26 -—4—