DEIM Forum 2019 D5-1

マルチタスク・ベイズ的最適化を用いた複数の時系列データの分析と予測
中山 峻一†

江口浩二††† 神戸大学大学院システム情報学研究科 〒 657–8501 兵庫県神戸市灘区六甲台町 1-1†† 神戸大学大学院システム情報学研究科 〒 657–8501 兵庫県神戸市灘区六甲台町 1-1
E-mail: †snpc94@cs25.scitec.kobe-u.ac.jp, ††eguchi@port.kobe-u.ac.jp
あらまし

近年，時系列データ分析の重要性が高まっており，その中でも，ディープラーニングをはじめとした機械学習を用いて時系列データ分析を行う研究に注目が集まっている．機械学習を用いる際，学習率などの超パラメータを適切に設定することができるかどうかが機械学習の性能を決定する重要な要素になっている．本稿では複数の時系
列データの関連性に着目したマルチタスク・ベイズ的最適化を行う．中でもベイズ的最適化で元来タスク毎に設計する必要がある「初期設計」を構成する際に，分析対象と類似した時系列データに対するベイズ的最適化によって得られた超パラメータの集合を活用することでマルチタスク・ベイズ的最適化を実現する．マルチタスク・ベイズ的最適化を長短期メモリネットワークの超パラメータ探索に適用し，株価指数の予測問題に対して提案手法の有効性の評価を行った．
キーワード 深層学習，時系列データ分析，長短期メモリネットワーク，ベイズ的最適化，超パラメータ探索
は複数の株価指数の時系列データに対して予測を行う回帰問題

1 はじめに近年，時系列データ分析の重要性が高まっており，様々な手法によってデータに含まれている潜在的な特徴を抽出して活用する試みが多くなされている．その中でも，ディープラーニン
グをはじめとした機械学習を用いて時系列データ分析を行う研究に注目が集まっている．機械学習の適用範囲は多岐にわたり，画像データや音声データなど枚挙にいとまがないが，時系
列データ分析においても一定の成果を挙げている．代表的なものには ARIMA（Autoregressive integrated moving average）などの自己回帰モデルと長短期メモリ（Long Short-Term Memory:

LSTM）ネットワークなどの再帰型ニューラルネットワークモ
デルが挙げられる．
機械学習を用いる際，学習率などの超パラメータを適切に設定することができるかどうかが機械学習の性能を決定する重要な要素になっている．
最近の研究の動向として，ベイズ的最適化（Bayesian Optimiza-tion）を超パラメータ決定問題に適用する流れがある．この方法は探索と活用 1 のバランスを取ることができる手法であり，多様なモデルに対してよい性能を示している．さらに文献 [1]や [2] などで複数の類似したタスクを想定して互いの探索結果を活用するマルチタスク・ベイズ的最適化（Multi-Task Bayesian

Optimization）についての研究も活発に行われており，いずれも単一タスクのベイズ的最適化を上回る結果を得ている．本稿で1：「探索」とは，超パラメータ探索において良い結果が得られた際に，超パラに対して，再帰型ニューラルネットワークモデルの 1 つである

LSTM [3] を適用した際の超パラメータ探索について検討する．
文献 [1] では Branin-Hoo 関数 [4] や MNIST データセットを用いたロジスティック回帰，CIFAR-10 [5] データセットを用いた畳
み込みニューラルネットワーク（Convolutional neural networks:

CNN）に対して，文献 [2] では（Support Vector Machine：SVM）
に対してマルチタスク・ベイズ的最適化を用いて超パラメータ最適化を行う実験を行っているが，時系列データの再帰型ニューラルネットワークに対して行われたベイズ的最適化に関する研究事例は我々の知る限りない．また，株価指数はその国の経済状況を表すものである為，経済状況が類似する株価指数は相互に関連するタスクであると考えることができる．従って，そのような時系列データに対する再帰型ニューラルネットワークの超パラメータ最適化手法としてマルチタスク・ベイズ的最適化が有効であると期待される．本稿の目的は複数の時系列データの相関性に着目したマルチタスク・ベイズ的最適化を用いて，LSTM に対して最適なパラメータ設定を行うことにある．
本稿では [2] の手法を基にした，ベイズ的最適化の枠組みにおける初期設計（initial design）に着目したマルチタスク・ベイズ
的最適化を行う．具体的には，学習対象とする株価指数と関連すると推測される株価指数の時系列データを関連するタスクとし，その最適化結果から得られた超パラメータの集合を分析対
象に対する初期設計を構成する際に活用することでマルチタス
ク・ベイズ的最適化を実現する．

2 関連研究メータの値を大きく変えることで，更に良い結果を獲得しようとする戦略を指している．一方で「活用」とは同様の事象が発生した際に，良い結果が得られた超ここでは関連研究として，本稿においてデータセット間の類

パラメータの値の近傍に更に良い結果が存在すると考えて，値を小刻みに変化さ似度を定量的に評価するために用いる連続ウェーブレット変換，せる戦略を指している．

および近年時系列データ分析に用いられることの多い再帰型
ニューラルネットワーク，とりわけ LSTM について説明する．

2. 1 ウェーブレット変換
ウェーブレット変換 [8] は局在波の足し合わせにより，与えられた信号を表現する手法で，不規則あるいは非定常な信号の解析に使用されている．中でも，連続ウェーブレット変換 [8]図 2: 再帰型ニューラルネットワーク.

は時間周波数の窓の面積が一定になるように窓関数をとったものである．t を時刻， f (t) を変換元の関数（信号）としたとき，n 次元のウェーブレット変換は形式的には，次のような式で表される．

f (t)ψa,b (t)dt
(
)
t−b
−n/2
ψa,b (t) := |a| ψaている．中間層が自分自身への帰還路を有していること以外は従来の順伝播型ニューラルネットワークと同等である．

∫
Wψ f (a, b) :=で，Win は入力層，Wout は出力層，および W は中間層を表し

(1)

Rn

2. 2. 2 長短期メモリ（LSTM）ネットワーク
再帰型ニューラルネットワークは理論上では過去の入力情報(2)を一時的に記憶することが可能である．しかし実際には層の数が多いニューラルネットワークでは勾配降下法を用いて逆誤差

ここで a はスケール，b はシフト，ψ(t) はマザーウェーブレッ

伝播法を行う際，勾配が消失あるいは発散してしまう性質があト，および ψa,b (t) はスケール a，シフト b のウェーブレットでる．このため実際に記憶できるのは高々10 ステップ程度の記憶ある．また，Wψ はウェーブレット係数（Wavelet coeﬃcient）とにとどまると言われている．[3] はこの問題を解決するために，呼ばれることもある．a の絶対値を大きく取ると，周波数方向

ニューラルネットワークの中間層をメモリユニットと呼ばれるに窓が拡大される一方で，時間方向には窓が縮小される．b の構造を設定し，入力情報の中・長期記憶を可能とした．図. 3 に

絶対値を大きく取ると，窓自身が時間方向に大きく平行移動す

メモリユニットの概略を示す．

る．図. 2.2 に周波数と時間の変化による窓の形状変化，及び平ここで，「Input Gate」では「Input」から得られる情報を「Mem-行移動による位置の変化が示されている．

図 3: LSTM のメモリユニット.
図 1: タイリングの視点からの短時間フーリエ変換と連続ウェーブレット変換の窓関数の比較．短時間フーリエ変換は連続ウェーブレット変換の基礎となる技

ory Cell」に入力するかどうかを決める役割，「Output Gate」では術であり，時間や周波数の変化によって窓関数の形状は変化しない．一方，連続「Memory Cell」から得られる情報を「Output」に出力するかど

ウェーブレット変換では時間や周波数の変化とともに窓関数の形状も自身の面積うかを決める役割を果たしている．メモリユニット以外の構造は変えない形で変化している．

は前小節で述べた再帰型ニューラルネットワークと同等である．

また，マザーウェーブレットはいわば変換の際の基底となる関数であり，数多くの種類がある．本稿では次の式で表される

3 初期設計に着目したマルチタスクベイズ的最適化による時系列モデルの超パラメータ探索

ようなメキシカンハット関数を用いた．

2
1 2
1
ψ(x) := √ π− 4 (1 − x2 )e− 2 x
3

この章では，本稿における提案手法である「時系列データモ(3)

2. 2 再帰型ニューラルネットワーク (RNN)

デルに対する超パラメータの初期設計に着目したマルチタスク
ベイズ的最適化」についての説明を行う．まず，第 3. 1 節において基となる技術であるベイズ的最適化および付随する技術に

2. 2. 1 旧来の RNN

関する概略，および提案手法に至るきっかけとなった先行研究

再帰型ニューラルネットワーク（Recurrent Neural Network：について述べる．その後，第 3. 2 節以降で提案手法のアルゴリ

RNN）[10] とは，ネットワーク内部に有向閉路を持つことによ

ズムについて詳述する．

り，再帰的な処理を可能にしたニューラルネットワークの総称である．閉路を持つことにより学習した情報を一時的に記憶し，処理ごとに異なる振る舞いを可能にしている．これにより系列

3. 1 ベイズ的最適化を持つデータ間の関連性を推測し，従来の順伝播型ニューラル

本節ではマルチタスク・ベイズ的最適化と基となるベイズ的

ネットワークと比較して分類問題の効率的な処理が可能となっ最適化の概要について述べる．ベイズ的最適化 [9] とは，計算た. 図. 2 に再帰型ニューラルネットワークの概要を示す．ここ

的に高コストでかつ非凸であるかブラックボックスである関数

f に対して最適化を行う際に用いられる大域的最適化手法の一

合 x∗ を合理的に獲得することが可能である．上記の手続きをつである．ベイズ的最適化では，関数の入出力が比較的コスト

擬似コードで示したものが Algorithm 1 である．ここで，少なの低い確率モデル（確率過程）に従うという仮定をおいている．
本稿においては最適化したい問題が機械学習モデルにおける超Algorithm 1 Bayesian Optimization (BO).

パラメータ決定問題であるため，以降の説明も本問題設定に合N , prior:M
Require: Hyper-parameter set:Dn = {xn , yn }n=1

わせた形式で説明する．

3. 1. 1 記

Ensure: Best Hyper-parameter setting:x∗
for n = 1, 2, . . . , N do法

最適化対象である関数 f を任意の機械学習モデルであるとする． f に対する入力 xn = x1 , . . . , xm はモデルが持つ超パラメー
タの組の一つ，出力 yn は xn に対する f の性能評価値と定義することができる．評価値の形式としては，損失（loss）や正解率（accuracy），検証誤差（validation error）などがあり，本稿では

xn+1 = argmax α(x; M)
xObtain yn+1 from the result of f (xn+1 )Construct Dn+1 ← {Dn , (xn+1 , yn+1 )}Construct Mc ← {M, Dn+1 }M ← Mcend for

検証誤差を採用する．これらの定義を用いて，N 回目までの探N索で得られたデータを Dn = {xn , yn }n=1という形で定義する．すくとも x0 はガウス過程を用いて取得することはできないこと

なわち，Dn は超パラメータ組 xn とそれを関数 f に与えた際にに注意されたい．そのため獲得関数を用いる代わりに，ランダ得られた評価値 yn の対の集合である．

ムサンプリングなどの別のサンプリング手法によって x0 を取得しなければならない．この処理を本稿では便宜上，初期設計

3. 1. 2 ベイズ的最適化の戦略（initial design）と呼ぶことにする [9]．通常，ベイズ的最適化で超パラメータ探索において最重要なことは，機械学習モデル

は探索が局所的になることを防止するために初期設計の要素数

f に対する最適な入力の候補 xn+1 をサンプリングにより決定すは 2 つ以上与えられることが多い．

ることである．しかし残念なことに， f に対応する空間 F ⊃ Dnの形状は不明であるため，解析的に xn+1 を求めることはできないという問題点がある．そこでベイズ的最適化では，F が任意の確率分布（確率過程）M からサンプリングされるものであるという仮定をおいている．分布 M は事前分布と呼ばれている．M と過去の超パラメータ探索により得られたデータ Dn から，条件付き確率分布 Mc を取得する．分布 Mc は事後分布と呼ばれている．この事後分布から得られる F の予測平均と予測分散を基に， xn+1 をサンプリングする．任意の確率分布 (確率過程)M としてガウス過程 [11] がしばしば選択される．その理由は，ガウス過程は F の予測平均と予測分布を閉形式で表現することが可能で，計算機で解析的に求めることができる点にある．ガウス過程についての詳細は文献 [11] を参照してほしい．また，予測平均と予測分散を用いて実際にサンプリングを

3. 2 超パラメータの初期設計に着目したマルチタスクベイズ
的最適化
様々な機械学習モデルの超パラメータ最適化問題において，ベイズ的最適化は従来の超パラメータ探索手法（例：格子探索法，
ランダム探索法）に比べてより高い性能を示している．しかし，ベイズ的最適化では複数のデータセット S = {S1 , . . . , S K }(K >= 2)に関連性が見られる場合においても，各データセットごとに超パラメータ最適化が実行されてしまうという問題がある．この問題を解決する方法として，マルチタスク・ベイズ的最適化が近年, 複数の研究者によって提案されている [1], [2]．本稿では
文献 [2] で述べられている，メタ特徴を用いた最適な初期設計を構成する手法についての概要を述べる．

行う際には，獲得関数が用いられる．形式的には以下の式で表機械学習モデル f に対してデータセット群 S i (i = 1, . . . , K) が現することができる．

学習に用いられたとする．また，このモデル f に対して超パラメータ探索が行われた結果，各データセット毎に最良の超パラ

xn+1 = argmax α(x; M)(4)x獲得関数についての詳細は文献 [9] に記載されている．

3. 1. 3 ベイズ的最適化のアルゴリズム
前節までの定義および仮定を用いて，ベイズ的最適化のアルゴリズムは以下のように述べることができる．
（ 1 ） 超パラメータ組 xn+1 を獲得関数 α(xn+1 , M) により決める（ 2 ） 選択された xn+1 をモデル f に適用し，出力 yn+1 を得る（ 3 ） 得られた xn+1 , yn+1 を基に Dn+1 を構成する（ 4 ） 構成した Dn+1 を用いて事後分布 Mc を構築する（ 5 ） 事前分布 M を事後分布 Mc を用いて更新以上の処理を繰り返すことにより，最適な超パラメータの集

メータ組 θ = {θ1 , . . . , θm } が得られたとする．このような状況下で新たなデータセット S K+1 が与えられた際に，データセット
群 S との類似度を定義し，類似度が高い順に最良の超パラメー
タ組 θ をソートする．データセット間の類似度を評価する指数として，文献 [2] では 2 つの指数が紹介されている．詳細は
文献 [2] に譲るが，著者たちは類似度を評価する際に 5 つのグ
ループに大別される 46 種類のメタ特徴を用いている．
文献 [2] で紹介した手法は，既存の超パラメータ最適化手法に組み込む形で利用することができる．実際に，文献 [2] では

SMAC [16] というベイズ的最適化の 1 手法と組み合わせることで，CASH 問題に対して Random Forest [17] や SVM，および線形 SVM を用いた実験において従来の SMAC や TPE [18] の性能を上回る結果を示している．しかし，この手法はメタ特徴

を人の手で新たに定義する必要があり，適切にメタ特徴を定義

設計とのユークリッド距離を考慮するようなアルゴリズムを提するには専門家の知見が必要となる．また，与えられたデータ

案する．

セット群 S の順序を決定し，順序に従って対応した超パラメー

提案したアルゴリズムは，形式的には Algorithm 2 に示されていタ組を初期設計として与える手法であるため，データセットのる．ここで S init は初期設計用のデータセット，N はベイズ的最数が小規模な場合は効能が得にくいという問題点がある．この適化の試行回数，L は初期設計の構成数，および H は初期設計問題を解決するために，我々は時系列データに対して次の 2 つである．また，本稿においては N = 15，L = 3 として実験を行っの要素からなるマルチタスクベイズ的最適化手法を提案する．

ている．まず，データセット S に対してベイズ的最適化を N 回（ 1 ） 連続ウェーブレット変換と 2 次元相関係数による類似

実行して得られた N 種類の超パラメータの集合 x = {x1 , . . . , xN }

度の測定を得る．最初に初期設計として構成される超パラメータ x∗ は，（ 2 ） 複数の超パラメータ組の要素を活用した初期設計

x = {x1 , . . . , xN } に対応する評価値 y = {y1 , . . . , yN } が良い順に順

詳細は次節以降で述べる．

位付けされた疑似ランキングの中で最上位の超パラメータ組を

3. 2. 1 連続ウェーブレット変換と 2 次元相関係数による類
似度の測定
本稿では第 2. 1 節で述べた連続ウェーブレット変換を用いてデータセット間の類似度を使用する．連続ウェーブレット変換は時系列データが持つ性質を強調するように変換するため，デー
タの持つパターンを認識しやすくなり，非時系列データに対して用いられるメタ特徴よりも時系列データの特徴をより的確に捉えることができる利点がある．本稿ではこの利点に着目し，類似性を判断しにくいデータにおける特徴の発見に活用する．
また，今回使用するデータセットは時系列データであり，ウェー
ブレット変換により周波数と時刻に対応する値を有する 2 次元行列となる． このため我々は，2 次元相関係数 [19] を用いて各
データセットの類似度を計算した．m × n の行列 A, B が与えられるとき，文献 [19] では次の 3 種類の 2 次元相関係数が定義さ
れている．
∑ ∑ (

)(
)
Amn − A Bmn − B
r1 = √[][)2 ∑ ∑ ()2 ]∑ ∑ (m n Bmn − B
m n Amn − A
m

n

∑ ∑ (
r2 = √[mn)(

Amn − Am Bmn − Bm

(5)

)(
)
m n Amn − An Bmn − Bn
r3 = √[)2 ] [∑ ∑ (
)2 ]
∑ ∑ (
m n Amn − Anm n Bmn − Bn

し，作成されたランキングの中で最上位の超パラメータ組を選択する．

(1−γ)
 c ∑
g(x) = y(x)γ dh (x)
|H| h∈Hc=

E[y(x)]
E[d(x)](8)(9)

ここで，y(x) は超パラメータ x に関する評価値，h は初期設計
空間 H が持つ要素，dh は初期設計に含まれる要素 h と超パラメータ x とのユークリッド距離，および γ は初期設計における検証誤差とすでに選択された初期設定からの距離の比率を表すの超パラメータである．上記の処理を k 回繰り返すことにより得られた初期設計を，最適化したい対象であるデータセット))2 ] [∑ ∑ (
)2 ]
∑ ∑ (
m n Amn − Amm n Bmn − Bm

選択する．2 つ目以降の初期設計となる超パラメータ組 x∗ は，以下の評価関数 g(˙) が最大化される順に擬似ランキングを作成

S opt でのベイズ的最適化の際に与える．
(6)Algorithm 2 Bayesian Optimization using multiple hyperparameter

∑ ∑ (

(7)

こ こ で ，Am は ，m 行 目 の 要 素 に 対 す る 平 均（ す な わ ち

Am = Am1 + . . . + AmN /N ）であり，An は n 列目の要素に対する平均（すなわち An = A1n + . . . + A Mn /M ），および A は行列

A のすべての要素に対する平均（A = A11 + . . . + A MN /(M × N)）
である．本稿で用いるデータセットにおいて，どの相関係数が適切であるかを評価するために，我々は第??章で予備実験を行う．

3. 2. 2 複数の超パラメータ組の要素を活用した初期設計

sets.
x, y ← BO(S init )for l = 1, 2, . . . , L do
if l = 1 thenfor n = 1, 2, . . . , N do
Append initial design H ← {xn |yn is better}end forelse
for n = 1, 2, . . . , N do
Append initial design H ← {xn |g(xn , yn , H) is better}end forend if

文献 [2] では各データセットのうち最良の結果を得た超パラ

end forメータのみを使用しているが，ベイズ的最適化は「探索と活用」

return Hのバランスをとる探索方法であるため，各データセットの持つ最良の結果以外の超パラメータ組にもデータセットの類似性を示す要素が含まれている可能性がある．そこで我々は，データセット群の数が少ない場合においても効果的に初期設計を設計するために，我々は個々のデータセットが持つ超パラメータ組
Nの全体，すなわち Dn = {xn , yn }n=1に着目した．

また，選択された初期設計に数値的な偏りが見られる場合，ベイズ的最適化であっても局所解に陥る可能性が高くなることが知られている．これを防止するために，我々は選択された初期

4 実験および結果
4. 1 データセット
実験に際して，我々は 2008 年 7 月 1 日から 2016 年 6 月 30
日までの複数の国における日次株価指数データセットを使用した．このデータセットは WIND database 1 に蓄積されているも1：http://www.wind.com.cn

のであり，その中で我々は次の 5ヶ国 5 種類の株価指数 2 を使

本稿では，我々は RMSprop [21] を重みの更新式として用いる．

用した．

RMSprop は再帰型ニューラルネットワークにおいて良い性能を•

S&P 500 (United States)

示す学習アルゴリズムであり，形式的には以下の式で表される．

•

Nikkei 225 (Japan)•

Hang Seng (Hong-Kong)•

CSI 300 (China)•

Nifty 50 (India)

表 1 に各指数の説明変数および目的変数を示す [20]．

ht = ρht−1 + (1 − ρ)∇E(wt )2η0
ηt = √
ht + ϵ(10)

wt+1 = wt − ηt ∇E(wt )

(12)

(11)

ここで，w は重みであり,η は学習率，ϵ はゼロ除算を防ぐため
表 1: 説明変数の一覧．

Trading Data

Techincal Indicators

Open/Close Price,

MACD, CCI, ATR, BOLL,の微小値，ρ とは過去の勾配の影響度合いを調整するパラメー
OthersHigh/Low Price,

MA5/MA10, MTM6/MTM12, Exchange rate

Trading Volume

EMA20, SMI, ROC, WVAD

タである．RMSprop の詳細は文献 [21] を参照してほしい．また，バッチサイズ及びエポック数はミニバッチ学習に関する超パラメータであり，LSTM の層の数は LSTM を何層積み重ね
るかを決める超パラメータである．つまり，本研究の実験で用いる LSTM は通常の LSTM の概念を拡張した深層 LSTM であ

4. 2 データセットの構成るといえる．なお，LSTM における各層において潜在ユニット

本稿においては実験をより適切に行うために，前節で述べた数は同数であることを仮定する．さらに，ドロップアウト率は

データセットに対して前処理を行っている．まず，2008 年 7 月

Dropout [22] と呼ばれる過学習を防ぐための手法に含まれる超1 日から 2 年 6ヶ月分のデータセット D1 を 1 つの組として取パラメータであり，潜在ユニット数は各 LSTM 層ごとの出力次

り出す．次は D1 の始点から 3ヶ月先の日を始点として D1 と同元の大きさである．これらの超パラメータの全てを対象とし，じ長さの D2 を取り出す．D3 以降は D2 までと同様に取り出す．

前の節で述べたマルチタスク・ベイズ的最適化を行った．

各データセット Di について，2 年分の訓練データ，3ヶ月分の4. 4 学習モデルの構成及びデータの学習方法

検証データ，および 3ヶ月分のテストデータを構成する．検証
データを用いることにより，汎化性能を客観的に判断することができる．以上の枠組みを図式化したものが図. 4 である．この

本稿の実験で用いる学習モデル f の構成は図. 5 のようになっている．本稿では LSTM の事前学習のために DBN [6] を用いような形式でデータセットを分割する方法は時系列データの実験設計としてしばしば見られるものである [20]．

図 5: 機械学習モデルの構造．LSTM の潜在層間と第 1 層目の全結合層の活性化
図 4: 本稿におけるデータセットの分割方法．青色が訓練データ，赤色が検証デー

関数はハイパボリックタンジェントであり，第 1 層目の全結合層と第 2 層目の全タ，及び緑色がテストデータを表している． 各データセットは 3ヶ月期間がずれ結合層との間の活性化関数は Relu，および第 2 層目の全結合層と出力の間の活ている構成になっている．

性化関数は線形関数である．

4. 3 LSTM の超パラメータ
本稿の実験では主に，LSTM の超パラメータの最適化を行う．

LSTM は以下のような超パラメータを有する．
（ 1 ） 更新式に関するもの : 学習率, ϵ, ρ, バッチサイズ, エ
ポック数（ 2 ） モデルに関するもの : LSTM の層数, ドロップアウト
率, 潜在ユニット数，出力部の全結合層の数（潜在ユニット数に対する比率で表現する）

2：https://figshare.com/articles/Raw Data/5028110 から入手可能

る．このようにすることで，DBN によって学習された重みをLSTM の重みの初期設定として適用することができ，結果としてモデルの学習が効果的に実現することが期待される．また，
出力層の前に通常の全結合層を置くことによって精度の向上を図っている．本稿ではこの全結合層の潜在ユニット数に関しても，実験対象の超パラメータとしている．
また，4. 1 節で与えられたデータの学習方法は次の図. 6 のようになっている．

確に各データセットの間の差異を表現していることがわかった．
すなわち，各スケール毎に取りうる平均値は大きく異なっており，スケールよりもシフトの違いが株価の性質の違いを生んでいると推察される．2. 1 節でも述べられているようにスケール
は周波数領域に関するパラメータであるため，株価時系列においては株価の変動の緩急を表しているものであると考えられる．
また，いずれの指標においても S&P 500 と Nifty 50 が最も相関
図 6: データセット毎のデータの学習方法．青い領域が説明変数 x，赤い領域が目が高く，S&P 500 と CSI 300 が最も相関が低いことがわかった．

的変数 y である．遅延数が 4 であるため，最初の学習では x = (x1 , x2 , x3 , x4 ) お

5 種類の株価指数をウェーブレット変換したものを 2 次元のス

よび y = y5 である．
（下付き文字は開始日を 1 とした際の日数である）

カログラムを用いて図示したものが，次の図. 7 にある．調査開始日から 500 日後かつスケールが 4000 の付近で Hang Seng 指

ただし，本実験では遅延数を 4 とした株価の回帰予測を行っ数および CSI 300 指数の波が細かく密集しているのに対し，残ている．このため，最初の学習においては 1 日目から 4 日目まりの 3 つの指数ではこうした傾向は見られないことがわかる．

での説明変数を学習データとし，5 日目の目的変数を予測する

この差異が指標間の相関係数の値の違いにつながったと考えらという形になっている．

れる．以上の結果を基に，我々は式 (6) の相関係数を用いて本実験を行うことにする．

5 実験結果
6 本実験および考察

5. 1 予備実験および考察
我々は予備実験として，3 章で述べた 3 種類の 2 次元相関係

我々は，前節の予備実験の結果を基にして本稿での提案手法

数のうちどの相関係数が本稿のデータセット間の差異を表現す（MTBO）の優位性を示す実験を行った．実験に用いるデータとるのに適切であるかを調査する．本稿では，各データセットのしてはある株価指数をそれぞれ最適化の対象としたときに，対2008 年 7 月 1 日から 2016 年 9 月 30 日までの全期間の終値を

象の株価指数と最も類似度が高い株価指数を初期設計用のデー

調査対象とした．具体的には次のような手順で実験を行った．

タとして用いた場合，および最も類似度が低い株価指数を用い

まず，データセットの持つ性質を鮮明にするために，全データた場合の 2 種類のデータセットの組を全 5 種類の株価指数につセットに対して連続ウェーブレット変換を行った．連続ウェー

いて構成した．具体的には，次の 10 種類のデータセットの組

ブレット変換により，スケール（周波数）とシフト（時間）にに対して実験を行った．なお，「X → Y 」は，3. 2. 2 節で述べた

分解された行列を各データセット毎に取得することができる．

要領で株価指数 X でベイズ的最適化を行った結果を初期設定と次に，ウェーブレット変換後の 5 種類のデータセットのうち，2

して Y のマルチタスク・ベイズ的最適化を行うことを意味する．

種類を取り出して 2 次元相関係数を用いて 2 種類のデータセッ

このとき，Y と類似度が高い X を用いた場合は効果的であるこト間の類似度を定義する．

とが期待される．比較のために，Y と類似度が低い X を用いた

第 3. 2. 1 節で述べた 2 次元相関係数を今回用いるデータセット

場合も検討する．

の形式に合わせて言い換えると次のようになる．

•

S&P 500：Nifty 50→S&P 500，CSI 300→S&P 500
Nikkei 225：S&P 500→Nikkei 225，CSI 300→Nikkei 225•

通常の 2 次元相関係数（式 (5)）••

スケールをまたがる平均を用いた 2 次元相関係数（式•Hang Seng：CSI 300→Hang Seng，Nikkei 225→Hang Seng•

CSI 300：Hang Seng→CSI 300，S&P 500→CSI 300•

Nifty 50：S&P 500→Nifty 50，CSI 300→Nifty 50(6)）•

シフトをまたがる平均を用いた 2 次元相関係数（式 (7)）

この 3 種類の相関係数を用いて実験を行った結果が表 2 にある．

これらのデータ群に対する実験を行い，検証誤差は平均絶対パーセント誤差（MAPE）を使用した．比較手法としては，従表 2: 5 種類の株価指数に対する 2 次元相関係数の計算結果.

Pairs

Formula. (5) Formula. (6) Formula. (7)来のシングルタスクでのベイズ的最適化（Single-BO）およびランダム探索（Random）を用いている．また，各データセッ(S&P 500, Nikkei 225)

0.99650.98790.9969(S&P 500, Hang Seng)

0.96580.8696

0.9845

トの組の要素に対して超パラメータ探索は 20 回ずつ行ってお(S&P 500, CSI 300)

0.9481

0.7927

0.9731

り，初期設計の要素数 k は k = 3 としている．すなわち，提案(S&P 500, Nifty 50)

0.9977

0.99230.9982手法の場合は初期設計用のデータで 20 回だけ超パラメータ探(Nikkei 225, Hang Seng)

0.96120.84480.9796(Nikkei 225, CSI 300)

0.9512

0.79780.9746(Nikkei 225, Nifty 50)

0.99530.9827

0.9960

したい対象のデータで再度 20 回超パラメータ探索を行ってい(Hang Seng, CSI 300)

0.99130.95580.9928る．こうした実験設定のもとで実験を行い，有効数字 4 桁で示(Hang Seng, Nifty 50)

0.97730.90670.9901

したものを結果を表 3 に示す．

(CSI 300, Nifty 50)

0.96540.85320.9834

表 2 にあるように，式 (2) の相関係数を用いたものが最も的

索行い，そこから得られた要素数 3 の初期設計を用いて最適化

また，各 10 種類の実験設定での結果について順位を定義した際の平均順位は表 4 のようになった．ここで，Overall と(a) S&P 500(b) Nikkei 225(c) Hang Seng(d) CSI 300(e) Nifty 50

図 7: 5 種類の株価指数のスカログラム．横軸が調査開始日の 2008 年 7 月 1 日以降の日数，縦軸がウェーブレット関数の縮小度合いを表している．左から順に(a) S&P 500，(b) Nikkei 225，(c) Hang Seng，(d) CSI 300，(e) Nifty 50 の結果を示している．Hang Seng 指数及び CSI 300 指数はその他の指標に比べ，調査開始日から
500 日後により細かい波が存在したことが示唆されている．

表 3: 各データセットにおける実験結果．各データセットに下線が引かれているものは類似度が高いデータセットの組，引かれていないものは類似度が低いデータセッ
トの組を表している．また，赤色および青色で記載されている数字はそれぞれ検証誤差が最も低いものと 2 番目に低いものを表している．
Nifty→S&P CSI→S&P S&P→Nikkei CSI→Nikkei CSI→Hang Nikkei→Hang Hang→CSI S&P→CSI S&P→Nifty CSI→Nifty
MTBO γ = 0.0

17.81

17.41

20.66

22.56

8.064

8.069

13.57

18.34

17.26

16.84

MTBO γ = 0.25

20.05

20.18

21.16

23.04

8.101

8.096

18.20

14.70

15.42

20.83
19.42

MTBO γ = 0.5

20.32

20.51

20.09

20.15

7.814

20.15

18.36

14.40

20.04

MTBO γ = 0.75

16.64

18.55

19.01

19.04

7.740

7.736

17.88

14.89

15.73

21.08

MTBO γ = 1.0

19.38

18.49

20.70

23.02

8.047

7.739

18.45

18.45

13.25

20.52

Single-BO

20.13

20.13

23.44

23.44

7.748

7.748

19.40

19.40

20.80

20.80

Random

19.60

19.60

22.04

22.04

8.439

8.439

18.78

18.78

16.41

16.41

表 4: 10 種類の実験設定における平均順位．

Overall Similar Source Dissimilar Source

えられる．
また，表 3 に着目して具体的なデータセットに着目すると，最MTBO γ = 0.0

3.1

3.2

3.0

MTBO γ = 0.25

も順位が優れていた γ = 0.75 での提案手法は類似度が高い場合

4.6

4.2

5.0

MTBO γ = 0.5

4.2

4.4

4.0

のデータセットの組に着目すると S&P 500 や Nikkei 225，およMTBO γ = 0.75

2.3

1.6

3.0

び Hang Seng 指数において最も誤差が少ない結果を示していた

MTBO γ = 1.0

3.5

3.4

3.6

一方で，CSI 300 指数や Nifty 50 指数ではこうした結果は得ら

Single-BO

5.6

5.8

5.4

れなかった．
（これは株価指数の制定された地域や年代に関係しRandom

4.7

5.4

4.0

ている可能性がある．CSI 300 指数や Nifty 50 指数はどちらも1990 年代に誕生した比較的新しい株価指数であり，それぞれ上は全 10 種類のデータセットに対する平均順位を示しており，

海とインドにある企業群から測定された指数となっている．一Best Source は類似度が高い 5 種類のデータセットに対する場合

般的に新興国における株価指数の値動きは先進国に比べて激しの平均順位，および Worst Source は類似度が低いデータセット

いと言われている．γ = 0.75 の場合，初期設計として検証誤差に対する場合の平均順位を示している．表 4 から，γ がどの値の情報を重要視する形式になっているため，上記の要因から類を取る場合でもシングルタスクのベイズ的最適化およびランダ

似度が高い場合でも外れ値のような値を予測することができず，

ム探索に比べて平均順位が優れており，提案手法の有効性を示

結果が伸び悩んだ可能性がある．

す結果となった．提案手法の中では γ = 0.75 の際の MTBO が

この他に，我々は最適化された超パラメータそのものについて最も性能が良いことがわかった．この結果より，検証誤差の情の調査を行った．具体的には Best Source の中に含まれる実験報および超パラメータ間の距離情報が共に株価の持つ性質を捉設定の中で，初期設計として用いたデータセットと最適化対象えたものであり，検証誤差の良さを重点的に考慮しつつ超パラのデータセットのそれぞれで得られた最適な超パラメータ組をメータ設定間の距離情報についても考慮した評価関数を用いる取得した．なお，「X → Y 」は，3. 2. 2 節で述べた要領で株価指ことで，株価予測に適した超パラメータ設定を得られることが

数 X でベイズ的最適化を行った結果を初期設定として Y のマ

推察される．Best Source については提案手法はいずれの γ の値

ルチタスク・ベイズ的最適化を行うことを意味する．このとき，においても従来の手法に比べて平均順位が 1.0 以上上回る結果

Y と類似度が高い X を用いた場合は効果的であることが期待さを示す一方で，Worst Source については γ の値によってはランれる．比較のために，Y と類似度が低い X を用いた場合も検討

ダム探索の手法と同等あるいはそれ以下の結果を示している．

する．表 5 にその一部を抜粋した形で示す．ここで，FC とは全

このことから，本稿における提案手法はデータセット間の類似結合層（Fully connected layers）のことである．Hang Seng 指数

度に依存性がある可能性が示唆されており，類似度が高い場合

および CSI 300 指数を用いたデータセットでは表 5 にあるようには有効性があることが示された．シングルタスクのベイズ的に，多くの超パラメータの最適値が非常に似通っている．値が最適化はいずれの場合においても最も悪い結果を示しており，似通った要因としては，第 5. 1 節であったように Hang Seng 指

これは株価指標の予測という問題設定において，20 回という超数および CSI 300 指数にのみ見られる特異な波の集合が存在がパラメータ探索の試行回数では結果が収束しなかったことが考関与していると考えられる．その一方で，学習率や Dropout に表 5: Hang Seng 指数および CSI 300 指数における最良の超パラメータ．CSI 300 → Hang Seng の場合は γ = 0.75，Hang Seng → CSI 300 の場合は γ = 0.0 の際の結果を使用している．
No. of LSTM units No. of LSTM layers Rate of FC units Learning rate Batch size Epochs

Dropou

6.40

0.010

0.021

108.491.020

0.063 0.010×10−3

0.50

MTBO CSI→Hang

84.58

6.31

0.027

0.010×10−3

108.421.00

0.045 0.010×10−3

0.72

Single-BO Hang

84.44

6.64

0.031

0.010×10−3

108.281.066

0.174 0.010×10−7

0.34

MTBO Hang→CSI

84.78

6.40

0.10

0.064

108.601.22

0.22

0.010×10−3

0.50

における問題設定において学習率や Dropout が比較的敏感な超パラメータであることを示しており，提案手法では最適化すべき超パラメータを適切に選択することができていることを示している．
その他の超パラメータ設定については上記の表 5 ほどの関連性は見られなかったものの，LSTM の層数については 6〜8 層程度が望ましく，本稿の問題設定では深層 LSTM を用いることが望ましいことがわかった．また出力部の全結合層の素子数は，
潜在ユニット数に対する割合で 0.5 を上回るものはなく，0.1 以
下に集中していたことから出力部の全結合の数は潜在ユニット数に比べて小さい値にするのが良いと言える．より詳細に本稿の実験結果を調査するためには，本実験全体の試行回数を増やすことが求められており，今後の課題となっている．

論

本稿では，類似する時系列データセットに対する超パラメー
タ最適化の新たな手法として，ウェーブレット変換を介した類
似度計算と初期設計に着目したマルチタスク・ベイズ的最適化を提案した．実験としては，株価予測問題に対する LSTM モデ
ルの超パラメータ探索問題に対して提案手法の有効性を試す実験を行い，実験の結果，提案手法は初期設計における評価関数の超パラメータである γ の値によらず，従来のベイズ的最適化
およびランダム探索を上回る結果を示した．さらに，最適化の結果得られた超パラメータの分析を通して，提案手法が敏感な
超パラメータを適切に選択した最適化を行うことに成功していることも明らかにした．
今後の課題としてはより多くの実験回数を重ねることの他に，初期設計におけるの評価関数 g(x) を別の関数にした場合における性能の変化についての調査がある．超パラメータ組の平均や分散も評価関数に活用できる可能性があり，複数の評価関数においてどの評価関数が最も良いかを検討する必要がある．

謝

ϵ

84.35

ついては大きく値が異なっていることがわかる．これは，表. 5

7 結ρ

Single-BO CSI

辞本研究の一部は科学研究費補助金基盤研究 (B) (15H02703) の援助による．
文

献[1] Kevin Swersky, Jasper Snoek, Ryan P. Adams ”Multi-Task Bayesian
Optimization” Advances in Neural Information Processing Systems
26(2013)[2] Matthias Feurer, Jost Tobias Springenberg, Frank Hutter ”Initializing Bayesian Hyperparameter Optimization via Meta-Learning” Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence，AAAI’15(2015)[3] Hochreiter, Sepp and Schmidhuber, Jürgen ”Long Short-Term Memory” Neural Comput.(1997)[4] Donald R. Jones ”A taxonomy of global optimization methods basedon response surfaces” Journal of Global Optimization(2001)[5] Alex Krizhevsky ”Learning multiple layers of features from tiny images” Technical report, Department of Computer Science, Universityof Toronto,(2009)[6] Hinton, Geoﬀrey E. and Osindero, Simon and Teh, Yee-Whye ”AFast Learning Algorithm for Deep Belief Nets” MIT Press.(2006)[7] Bergstra, James and Bengio, Yoshua ”Random Search for Hyperparameter Optimization” J. Mach. Learn. Res.(2012)[8] Daubechies, Ingrid ”Ten Lectures on Wavelets,” Society for Industrial and Applied Mathematics(1992)[9] Jasper Snoek; Hugo Larochelle; Ryan P. Adams ”Practical Bayesian
Optimization of Machine Learning Algorithms” Advances in Neural
Information Processing Systems 25(2012)[10] Ian Goodfellow, Yoshua Bengio, Aaron Courville ”Deep Learning”,
chapter 20 MIT Press,(2016)[11] Carl E. Rasmussen and Christopher Williams ”Gaussian Processes
for Machine Learning” MIT Press,(2006)[12] Carl E. Rasmussen and Christopher Williams ”Gaussian Processes
for Machine Learning”, chapter 4 MIT Press,,pp.84-85(2006)[13] H. J. Kushner ””A new method of locating the maximum point ofan arbitrary multipeak curve in the presence of noise,”” J.Fluids
Eng.,vol.86,no.1,pp.97-106(1964)[14] J. Moc̆kus, V. Tiesis, and A. Z̆ilinskas, ”The application of Bayesian
methods for seeking the extremum,”” in Toward Global Optimization, vol. 2, L. Dixon and G. Szego, Eds. Amsterdam, The Netherlands: Elsevier(1978)[15] N. Srinivas, A. Krause, S. M. Kakade, and M. Seeger ”Gaussian process optimization in the bandit setting: No regret and experimental
design,”” in Proc. Int. Conf. Mach. Learn.,,pp.1015-1022(2010)[16] Hutter, F.; Hoos, H. H.; and Leyton-Brown, K. ”Sequential modelbased optimization for general algorithm configuration.” In Proc. of
LION-5, 507523(2011)[17] Liaw, Andy and Wiener, Matthew. ”Classification and regression byrandomForest” R News 2 (3)(2002)[18] Bergstra, J.; Bardenet, R.; Bengio, Y.; and Kégl, B. ”Algorithms for
hyper-parameter optimization.” In Proc. of NIPS, 25462554(2011)[19] Fatih Dikbaş. ”A novel two-dimensional correlation coeﬃcient forassessingassociations in time series data.” INTERNATIONAL JOURNAL OF CLIMATOLOGYInt. J. Climatol.37: 40654076 (2017)[20] Bao W, Yue J, Rao Y. ”A deep learning framework for financial
time series using stacked autoencoders and long-short term memory.”
PLoS ONE 12(7): e0180944.(2017)[21] T Tieleman, G Hinton. ”Lecture 6.5-rmsprop: Divide the gradientby a running average of its recent magnitude” COURSERA: Neuralnetworks for machine learning(2012)[22] Nitish Srivastava and Geoﬀrey Hinton and Alex Krizhevsky andIlya Sutskever and Ruslan Salakhutdinov ”Dropout: A Simple Way
to Prevent Neural Networks from Overfitting” Journal of Machine
Learning Research(2014)