論文読解（A deep learning framework for financial time series using stacked autoencoders and long- short term memory）

# はじめに
今回、金融に関するAIの論文を探索しており、証券価格の予想分析に関する興味ある論文を見つけたので、ここに紹介したい。

[A deep learning framework for financial time series using stacked autoencoders and long- short term memory（2017年7月）](https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0180944)


# Abstract （要約）
金融にディープラーニングアプローチを適用することは、投資家と研究者の両方から大きな注目を集めている。本研究では、ウェーブレット変換（WT）、スタックオートエンコーダ（SAE）、および長期短期記憶（LSTM）を株価予測に組み合わせた、新しいディープラーニングフレームワークを紹介している。階層的に抽出されたディープフィーチャのSAEは、株価予測に初めて導入された。ディープラーニングフレームワークは3つの段階で構成されている。まず、株価時系列をノイズを除去するためにWTによって分解する。次に、SAEを適用して株価を予測するための詳細な高度な機能を生成する。 3つ目は、翌日の終値を予測するために、高レベルのノイズ除去機能がLSTMに組み込まれている。提案されたモデルのパフォーマンスを調べるために、6つの市場指数とそれに対応する指数先物が選択される。結果は、提案したモデルが予測精度と収益性性能の両方において他の類似のモデルよりも優れていることを示した。

# Introduction（導入）
スタックオートエンコーダ（SAE）はモデルの主要部分であり、教師なしで金融時系列の深い特徴を学ぶために使用される。具体的には、それは、各層の出力機能が連続する層の入力に配線されている複数の単層オートエンコーダからなるニューラルネットワークである。 SAEの教師なし訓練は、出力データと入力データの間の誤差を最小限に抑えることによって、一度に1層ずつのオートエンコーダで行われる。その結果、SAEモデルは不変で抽象的な特徴をうまく学習することができる。

他の2つの方法は、予測精度を高めるのを助けるために組み込まれる。 LSTMは一種のリカレントニューラルネットワーク（RNN）で、フィードバックリンクがネットワークのいくつかの層に接続されています。従来のRNNとは異なり、任意のサイズの時間ステップがある場合は、経験から学習して時系列を予測するのに最適である。また、記憶部に時間関連情報を任意の時間保持させることで、勾配消失の問題を解決することができる。それが従来のRNNより効果的であるという証拠が証明された。そのため、このモデルを使用して在庫の傾向を予測することにする。 WTは金融時系列のノイズ特性を修正すると考えられている。これは、1次元信号のフィルタリングとマイニングに広く使用されている手法である。入力された金融時系列をノイズ除去し、それをディープラーニングフレームワークに取り込むためにそれを使用する。要約すると、本稿で紹介するモデルは3つの方法を組み合わせたものであり、以降この新しいモデルをWSAEs-LSTMと呼ぶ。

提案モデルの予測能力をテストするために、6つの株価指数を選択する。これらの指数には、中国本土のA株市場のCSI 300指数、インドの株式市場を代表するNifty 50指数、香港市場のHang Seng指数取引、東京の日経225指数、ニューヨークのS＆P500指数が含まれる。技術的には、各株価指数の動きを予測するためにWSAEs-LSTMを適用し、私たちのモデルが株価の動きの傾向を予測するのにどれだけうまく機能しているかをチェックする。

1つの市場だけではなく、いくつかの金融市場でWSAE-LSTMのパフォーマンスをテストしていることに注意する。これは、堅牢な結果を得るための懸念によるものである。効率的市場仮説（EMH）によれば、市場の効率はその資産の予測可能性に影響を与える。言い換えれば、たとえ1つの市場における予測性能が満足されたとしても、それを提案されたモデルの役割に帰することはまだ難しい。さまざまな市場条件でモデルをテストすることで、問題を解決する機会が得られ、モデルの予測可能性がいかに堅牢であるかがわかる。

予測アプローチに関しては、小区分予測方法が各株価指数の予測結果を得るために適用される。次に、予測精度と収益性という2つの側面からモデルのパフォーマンスを評価する。予測精度は、平均絶対誤差率（MAPE）、相関係数（R）、およびTheilの不等式係数（Theil U）の3つの測定値を使用して評価される。これらすべては、予測値が実際の値と類似しているかどうかを測定するために広く使用されている指標である。収益性を確認するために、売買取引戦略を確立します。この戦略は、モデルから予測される結果に基づいてトレーディング収益を得るために適用されます。ベンチマークとして、各株価指数のバイアンドホールド戦略のリターンも計算する。基本的な考え方は、WSAEs-LSTMに基づくトレーディング収益がこの単純なトレーディング戦略の収益を上回るかどうかということです。これは、モデルの収益性のさらなる証拠を提供する。

WSAEs-LSTMのパフォーマンスをよりよく捉えるために、他の3つのモデルを紹介し、各モデルの予測と予測精度および収益性を、提案モデルとの比較として評価する。 ３つのモデルは、WLSTM（すなわち、WTとLSTMの組合せ）、LSTM、そしてまた従来のRNNを含む。前者の2つのモデルは、予測性能を改善する上でSAE手法の有用性をチェックするために使用される。最後のモデルであるRNNがパフォーマンスベンチマークとして使用されている。

# Methodology（方法論）
一歩先の株価予測のための深くて不変の特徴を生成するために、この研究はスタックオートエンコーダとLSTMのアーキテクチャを統合するディープラーニングベースの予測スキームを使用して金融時系列のディープラーニングフレームワークを提示する。 このフレームワークのフローチャートを図1に示す。 このフレームワークは3つの段階を含む。
（1）ウェーブレット変換を使用したデータ前処理。ノイズを除去するために株価時系列を分解するために適用される。
（2）管理されていない方法で訓練された深いアーキテクチャを有するスタックオートエンコーダの適用。 
（3）１ステップ先の出力を生成するための遅延を伴うLSTMの使用。

![スクリーンショット 2019-01-28 16.23.56.png](https://qiita-image-store.s3.amazonaws.com/0/321832/d02c8fbb-73d6-ffa6-f1d6-3e5e3d1936ae.png)


## Wavelet transform(ウェーブレット変換)
ウェーブレット変換は、非定常金融時系列データを扱うことができるため、この研究ではデータのノイズ除去に適用される。 ウェーブレット変換の重要な特性は、フーリエ変換と比較して同時に金融時系列の周波数成分を時間とともに分析できることである。 その結果、ウェーブレットは非常に不規則な金融時系列を処理するのに役立つ。ウェーブレット変換は、財務時系列を時間領域と周波数領域に分解できるだけでなく、処理時間も大幅に短縮できるため、Haar関数を基底関数として適用する。 

## Stacked autoencoders(スタックオートエンコーダ)
ディープラーニングは、ディープニューラルネットワークアーキテクチャを使用して入力データからディープフィーチャを抽出する機能を備えた一連のモデルである。ディープラーニングモデルは通常3つ以上の層を持つ。ディープネットワークは通常、教師なしのレイヤ単位のトレーニングによって初期化され、次にレイヤごとに抽象的で高レベルの機能を徐々に生成することができるラベルを使用した教師つきトレーニングによって調整される。

スタックオートエンコーダは、一連の単層オートエンコーダをレイヤごとに積み重ねることによって構築される。単層オートエンコーダーは、入力された日次変数を最初の非表示ベクトルにマッピングします。第１の単層オートエンコーダをトレーニングした後、第１の単層オートエンコーダの再構成層は除去され、隠れ層は第２の単層オートエンコーダの入力層として予約される。一般的に言って、次のオートエンコーダの入力層は前のオートエンコーダの隠れ層である。各層は、単層オートエンコーダと同じ勾配降下アルゴリズムを使用して訓練され、隠れベクトルを後続のオートエンコーダに送られる。各単層でのトレーニングを終了した後の再構成層の重みおよびバイアスは取り除かれる。

![スクリーンショット 2019-01-28 16.36.51.png](https://qiita-image-store.s3.amazonaws.com/0/321832/bb5c1630-db04-caa2-4cd9-d66389301167.png)


## Long-short term memory(LSTM)
LSTMは、リカレントニューラルネットワーク（RNN）アーキテクチャの多くの変形のうちの１つである。 このセクションでは、終値を予測するためのRNNのモデルとそのLSTMアーキテクチャを紹介する。 我々は、基本的なリカレントニューラルネットワークモデルから始めて、次にLSTMモデルに進む。

### RNN
RNNは時間的次元に深い構造を持つ一種のディープニューラルネットワークアーキテクチャである。 時系列モデリングで広く使用されている。伝統的なニューラルネットワークの仮定は、入力ベクトルのすべての単位が互いに独立しているということである。 その結果、従来のニューラルネットワークはシーケンシャル情報を利用することができない。 対照的に、RNNモデルは時系列の連続情報によって生成される隠れ状態を追加し、出力は隠れ状態に依存する。

![スクリーンショット 2019-01-28 16.32.32.png](https://qiita-image-store.s3.amazonaws.com/0/321832/e60869f6-49fe-59ec-ffe0-1aa4d155dbe6.png)

### LSTM
RNNは時系列をうまくモデル化しているが、勾配消失の問題のため、長期的な依存関係に基づく学習は困難である。 LSTMは、メモリセルを使用することによって勾配消失を解消するための効果的な解決策である。 メモリセルは、４つのユニット、すなわち入力ゲート、出力ゲート、忘却ゲート、および自己回帰ニューロンによって構成されている。ゲートは、隣接するメモリセルとメモリセル自体との間の相互作用を制御する。 入力信号がメモリセルの状態を変えることができるかどうかは入力ゲートによって制御される。 他方、出力ゲートは、それが他のメモリセルの状態を変えることができるかどうかに関してメモリセルの状態を制御することができる。 さらに、忘却ゲートは以前の状態を記憶するか忘れるかを選択できる。

![スクリーンショット 2019-01-28 16.46.06.png](https://qiita-image-store.s3.amazonaws.com/0/321832/6a2c6f95-cc6a-4d78-7d50-ec0cf3f68bce.png)

LSTMネットワークのアーキテクチャには、隠れ層の数と遅延の数が含まれる。これはトレーニングとテストを説明する過去のデータの数である。現在、遅延と隠れ層の数を選択するための経験則はない。この作品では、隠れ層の数と遅延は試行錯誤によって5と4に設定されている。財務時系列は、トレーニングセット、検証セット、およびテストセットの3つのサブセットに分けられる。これらのサブセットは、80％のトレーニング、10％の検証、および10％のテストである。逆伝播アルゴリズムは、WLSTM、LStMおよびRNNを含む実験対照群におけるモデルと同様に、WASE-LSTMモデルを訓練するために使用される。学習率、バッチサイズ、およびエポック数は、それぞれ0.05、60、および5000である。収束速度は、学習率によって制御される。学習率は時間の減少関数である。エポック数と学習率を5000と0.05に設定すると、トレーニングの収束を達成できる。

# Data descriptions(データの説明)
我々が選ぶ6つの株価指数は、CSI 300、Nifty 50、ハンセン指数、日経225、S＆P500、DJIA指数である。 S＆P500とDJIAのインデックスはニューヨーク証券取引所で取引されています。ニューヨーク証券取引所は、世界で最も先進的な金融市場として一般的に考えられています。一方で、中国本土とインドの両方の金融市場は、しばしば新興国市場として分類されるため、。CSI 300とNifty 50を選択する。また、香港のハンセン指数および東京の日経平均指数は先進国市場と見なされているが、米国の株式市場と比較して、これら2つの市場は米国の市場ほど成熟していないと言える。したがって、これら6つの株価指数は、さまざまな市場状況に基づいて堅牢なモデルパフォーマンスをテストするための自然な設定となります。

入力として3セットの変数を選択する。最初の変数は、各指数の過去の取引データで、始値、高値、安値、終値と取引量が含まれており、これらの変数は各インデックスの基本的な取引情報を表す。２つめは、広く使われているテクニカル指標である。

３つめはマクロ経済変数である。間違いなく、地域間のマクロ経済情勢も株式市場の業績に影響を与える上で重要な役割を果たしている。したがって、マクロ経済変数を追加することは、ニューラルネットワーク予測により多くの情報を導入するのに役立つ。為替レートと金利の2種類のマクロ変数を選択する。具体的には、為替レートの代用として米ドル指数を選択する。米ドルが金融市場で最も重要な役割を果たすことは認められている。金利については、各市場における銀行間取引金利、すなわち上海銀行間取引金利（SHIBOR）、ムンバイ銀行間取引金利（MIBOR）、香港銀行間取引金利（HIBOR）、東京銀行間取引金利（TIBOR）および米国の連邦資金レートを選択している。

# Data descriptions(予測アプローチ)
予測手順は3つの部分から成る。最初の部分はトレーニング部分で、これはモデルのトレーニングとモデルパラメータの更新に使用される。 2番目の部分は検証部分で、ハイパーパラメータを調整し、最適なモデル設定を得るためにそれを使用する。最後の部分はテスト部分である。ここでは、最適なモデルを使用してデータを予測する。トレーニング部分では、過去2年間のデータを使用してモデルをトレーニングする。次の3か月の期間（暦四半期）が検証部分に採用される。テスト部分では、一般的なポートフォリオ管理の実務に沿って、各モデルの四半期ごとのパフォーマンスを予測する。このプロセスは、2010年10月から2016年9月までの各四半期で6年間続く。

## Performance measurement(パフォーマンス測定)
この部分でパフォーマンス測定について説明する。 最初に、予測性能を判断するために選択された精度測定について説明する。 次に、各モデルの収益性パフォーマンスをテストする方法について説明する。

### Predictive accuracy performance(予測精度性能)
これまでの論文では、モデルが金融市場のトレンドをどの程度予測できるかを測定するためにいくつかの指標を選択している。 本論文では、それらの方法に従って、各モデルの予測精度を測定するために3つの古典的な指標（すなわち、MAPE、R、Theil U）を選択する。 これらの指標の定義は次のとおりである。

![スクリーンショット 2019-01-29 10.45.16.png](https://qiita-image-store.s3.amazonaws.com/0/321832/f3296dde-5d60-e14d-5b0b-1a3ed1481228.png)

これらの式で、ytは実際の値で、yt *は予測値。 Nは予測期間を表す。 MAPEはエラーのサイズを測定し、誤差の相対平均として計算される。 Rは2つの変数間の線形相関の尺度である。 Uは、2つの変数間の差の相対的な尺度である。 大きな誤差に重点を置き、誤差を誇張するために偏差を二乗する。 Rが大きい場合は予測値が実際の値に近いことを意味し、MAPEとTheil Uが小さい場合は予測値が実際の値に近いことを示している。

### Profitability performance(収益性のパフォーマンス)
売買取引戦略は、各モデルの予測結果に基づいて作成される。 この戦略は、次の期間の予測値が現在の実際の値よりも高いときに投資家が買うことを推奨している。 また、予測値が現在の実際の値よりも小さいときに投資家が売ることを推奨する。具体的には、戦略は次の式で表すことができる。

![スクリーンショット 2019-01-29 11.36.57.png](https://qiita-image-store.s3.amazonaws.com/0/321832/3c7415a9-647a-df9e-5034-d2b6e2075562.png)

ytは現在の実際の値を表し、yt+1 *は次の期間の予測値。戦略収益の定義は次のとおりである。

![スクリーンショット 2019-01-29 11.30.25.png](https://qiita-image-store.s3.amazonaws.com/0/321832/ec3acdaf-7b6e-88ba-3b54-397b97b904ee.png)

ここで、Rは戦略の収益である。 bとsは、それぞれ売買の合計日数を表す。 また、BとSはそれぞれ売買の取引費用である。

スポット市場でバスケットの株式を短期売却することが困難であることや、それが生み出す莫大な取引費用のために、当論文では株価指数を使用する代わりに対応する指数先物を取引することによってこの戦略を実行する。取引ルールに基づき、予測価格が現在の価格を下回っている場合は指数先物を売り建てし、予測価格が現在の価格を上回っている場合は指数先物を買い建てする。また、結果をより現実的にするために、取引コストが利益に与える影響を考慮する。

# Results(結果)
各株価指数について、4つのモデルからの年間予測データとそれに対応する実際のデータをグラフで示す。 LSTMとRNNは、WSAEs-LSTMとWLSTMよりも、変動と実際のデータまでの距離が大きいことがわかる。 さらに、WSAEs-LSTMとWLSTMを比較すると、前者の方が後者よりも優れている。WSAEs-LSTMはボラティリティが少なく、WLSTMより実際の取引データに近い。 具体的には、予測におけるWSAEs-LSTMの利点は、先進国市場よりも発展途上国市場の方がより明白である。

![スクリーンショット 2019-01-29 12.27.34.png](https://qiita-image-store.s3.amazonaws.com/0/321832/365a1573-770a-3dbb-7814-1a6b01755bd5.png)

### Predictive accuracy test(予測精度テスト)

![スクリーンショット 2019-01-29 13.27.52.png](https://qiita-image-store.s3.amazonaws.com/0/321832/7f18dc81-d165-ecd2-a6ef-70e0892b53df.png)
CSI 300とNifty 50の予測におけるモデルのパフォーマンスを表している。表から、WSAEs-LSTMは他の3つのモデルよりもはるかに優れたパフォーマンスを示している。例えば、CSI 300指数の予測では、WSAEs-LSTMのMAPEとTheil Uの平均値は、それぞれ0.019と0.013に達している。これは、他の3つのモデルよりもはるかに小さい値である。また、指標Rの平均値は0.944で、4つのモデルの中で最も高い値である。実際、WSAEs-LSTMは他の3つを平均だけでなく、毎年でも上回っている。

![スクリーンショット 2019-01-29 13.35.30.png](https://qiita-image-store.s3.amazonaws.com/0/321832/8e00ec2e-9a7d-6e22-4407-3c37bcfd623b.png)
![スクリーンショット 2019-01-29 13.36.08.png](https://qiita-image-store.s3.amazonaws.com/0/321832/71cf72af-1d69-a734-6cdd-eaa0cdc2d11c.png)
上表の2つは、香港と東京の市場におけるモデルのパフォーマンスと、S＆P 500とDJIAのインデックスの結果を示している。前の結果と同様に、WSAEs-LSTMは、平均値だけでなく、年間の結果からも、他の3つのモデルよりも依然として最低のMAPEとTheil Uおよび最高のRを持っている。これにより、WSAEs-LSTMは、市場の状況にかかわらず、他の3つのモデルよりも低い予測誤差と高い予測精度を安定して得ることができる。

### Profitability test(収益性テスト)

![スクリーンショット 2019-01-29 13.48.13.png](https://qiita-image-store.s3.amazonaws.com/0/321832/ee065ac7-1f37-8b2b-a715-ca02a4f39a44.png)

次に収益性テストの結果を示す。同様に、年間収益と6年間の平均収益の両方を表している。各パネルは、特定の市場条件でモデルによって得られたトレーディングリターンを表している。特に、各パネルの最後の行には、特定の株価指数を取引する際のバイアンドホールド戦略のリターンが報告されている。

パネルAは、発展途上国市場における各モデルの収益性の実績を示している。左側はCSI 300からの予測データに基づく取引実績であり、右側はNifty 50からの予測データに基づく取引実績である。この結果は、WSAEs-LSTMが他の3つのモデルよりも実質的に多くの利益を上げていることを示しています。例えば、提案モデルの平均年間収益は中国本土で最大63.026％、インド市場で45.418％となっているが、他の3つのモデルの年間収益はほぼ40％以下である。各年次リターンに関して、WSAEs-LSTMは他のモデルよりも優れている。それは毎年ほぼ安定して40％以上の収益を得ることができているが、それは他の3つのモデルにとって本当に難しい。
　パネルBとCは、それぞれ比較的発展した市場と発展した市場でのリターンを示している。パネルAの調査結果と同様に、WSAEs-LSTMは毎年安定した収益を得ることができますが、他のモデルではトレーディング収益が大きく変動します。さらに、サンプル期間内の平均収益の観点からも、パネルBおよびCの結果によると、提案モデルは依然として最高の収益を得ています。

さらに、強固な結論を達成するために、WSAEs-LSTMと残りの3つのモデルとの収益の差が統計的に有意であるかどうかもテストしている。t検定の結果は、WSAE-LSTMと他の3つのモデルとの間の収益の差がすべて、5％レベルで有意な検定に合格することを示している。したがって、我々の調査結果は、WSAEs-LSTMが4つのモデルの中で最高の予測可能性を持つことを支持している。

# Conclusion(結論)
今回提案したモデルの予測精度と収益性を他の3つのモデルと比較してテストした。結果は、どの株価指数が調査のために選択されているかにかかわらず、予測精度と収益性の両方で他の3つを上回ることができるという証拠を提供した。提案された統合システムは満足のいく予測性能を有するが、それでもなおいくつかの不十分な点がある。

例えば、提案されているディープラーニングフレームワークをさらに最適化するために、より高度なハイパーパラメータ選択方式がシステムに組み込まれてもよい。さらに、ディープラーニング方法は時間がかかり、GPUベースおよびヘテロジニアスコンピューティングベースのディープラーニング方法にもっと注意を払う必要がある。これらのすべては将来の研究によって強化される可能性がある。