修士論文 要旨

株価変動とテキストの潜在空間の同時学習によるボラテリティ予測
数理情報学専攻 48206213
指導教員

1 はじめに

黒崎 祐太
田中 久美子 教授

3 提案モデル：TSVM(Text-based SV model)

株価のボラテリティは、金融時系列の最も重要なト

本研究では、分散表現を用いたボラテリティ予測モデ

ピックの 1 つで、ポートフォリオの問題やオプションのル (TSVM) を提案した。また、1 日の全てのニュース価格づけ、リスクマネジメントなど多くの応用がある。

から重要なニュースを抽出するため、ニュース単位のボラテリティは株価変動のリスク指標であり、一般的に注意機構を用いて、予測精度改善を目指した。さらに、株価変動の標準偏差として定義される。

ニュースを適切に学習するため、2 つの問題を取り上ボラテリティ予測モデルは、決定論的な ARCH 系のモデルと確率変数を含む確率的ボラテリティモデげ、対処した。

3.1

分散表現とニュース単位の注意機構

ル (SV モデル) に分類できる。特に SV モデルでは、単語や文章を機械学習で処理するために、ベクトルとニューラルネットワークを用いた SV モデル (NSVM)して表すことを分散表現といい、テキストを用いた金融やテキストのポジティブかネガティブかを数値化した時系列予測にも広く用いられる。

センチメントを用いた SV モデル (SAVING) が提案されている。

また注意機構は自然言語処理技術の 1 つであり、入力の特定の部分に注目をおく事を可能とする手法である。

自然言語処理技術の 1 つに、テキスト情報をベクトル

株価予測においては、1 日の全てニュースから企業毎にに変換する手法である分散表現がある。本研究は、分散重要なニュースを選択するために、注意機構が広く用い表現を用いて変換したニュースのベクトルを用いて SVられる。その注意機構は、ニュース単位の注意機構と呼モデルを設計する事で、予測精度の改善を目指した。

ばれる。

2 関連研究2.1 NSVM (Neural Stochastic volatility model)

3.2

株価とテキストの相互作用が学習されない問題

分散表現とニュース単位の注意機構を用いて推定したベクトルを SAVING と同様に NSVM に追加すると、NSVM[1] はニューラルネットワークを用いた SV結果が悪化する。それは、ニュースの予測誤差が学習初モデルである。確率変数を含む SV モデルは、単純に期にゼロとなる事が原因であると考えられる。それにニューラルネットワークを学習する事ができない。そより、モデルはニュースの情報を学習できない。そのたこで、確率変数を含む関数の学習を可能とする VAE

め、本研究では SSVAE[3] に基づき、ニュースを株価変を時系列に応用する事で、NSVM はニューラルネット動に対するラベルとして扱う事で、問題を解決した。

ワークを SV モデルに応用する事を可能とした。

3.3

2.2 SAVING

posterior collapse の問題を解決する技法

さらに、損失関数中の潜在変数の KL 情報量が学習

ニュースなどの外的要因が大きな株価変動が引き起初期にゼロになるという問題もニュースが学習されなこす。SAVING[2] は外的要因を入力するため、テキスい原因の 1 つとして考えた。VAE 特有の問題である

ト情報を数値情報に変換する手法の 1 つであるセンチposterior collapse は潜在変数の事前分布と事後分布のメントを用いて、テキスト情報を NSVM に加えたモデKL 情報量が学習初期にゼロとなり、潜在変数が意味をルである。SAVING では、テキスト中のポジティブな持つ事ができない問題である。[4] に基づき、KL 情報

単語とネガティブな単語の単語数やその平均値をセン量の双対問題を考える事で、posterior collapse を防ぎ、チメントとして定義する。

潜在変数が意味を持つ様な学習を可能とした。

株価変動とテキストの潜在空間の同時学習によるボラテリティ予測 (黒崎 祐太)

NLL

GARCH

TARCH

NSVM

TSVM

1.3384

1.32811.3246

1.3253

証することができた。

表 1. すべての期間で平均をとった各モデルの NLL

4 実験条件
本研究では、2010 年から 2018 年までの米国株 100株と、Wall Street Joural の 25 万記事を用いている。
テスト期間を 2014 年から 2018 年ととり、各年で 200ステップ前までを評価期間、さらに 800 ステップ前までを学習期間とした。先行研究と同様に評価指標は負の対数尤度 (NLL) を用いた。
図 1. 株価変動に対する NLL の差分の変化

5 実験結果と考察
表 1 は、代表的な ARCH 系のモデルである GARCHと TARCH、NSVM と提案モデルにおける全期間平均

6 まとめと今後の課題の NLL である。NLL は低いほど予測精度が良い事を本研究ではセンチメントよりも多くの意味を表現可能表すため、NSVM が最も高い結果となる事がわかる。

な分散表現を用いた SV モデルを設計する事で、ニュー

しかし本研究では、ニュースの有効性を評価するためステキストを用いたボラテリティの予測精度の改善をに、株価変動に対する NLL の変化を示した。各モデル目指した。実際に株価変動が激しい時に TSVM の結果の NLL の差分をそれぞれ以下で定義する。

は良くなった。さらに、予測を通じて、株価変動が激しL(X; Z) = N LLTARCH − N LLNSVM ,(1)

L(X; Z, Y ) = N LLTARCH − N LLTSVM ,(2)L(X; Y |Z) = N LLNSVM − N LLTSVM(3)い時のニュースの重要度は高い反面、安定時はニュースは予測改善に寄与しない事がわかった。長年広く知られているニュースの非対称性を、テキストを用いたボラテリティ予測モデルによって実証した初めての論文でこ こ で 、Z と Y は そ れ ぞ れ 株 価 と ニ ュ ー ス を 表 すある。

潜 在 変 数 で あ る 。そ れ ぞ れ L(X; Z) と L(X; Z, Y )、本研究では、株式市場へのニュースの影響は株価変動

L(X; Y |Z) は、Z の予測への寄与、Z と Y の予測へのに応じて変化する事を示した。しかし、実際にどのよう寄与、Y の予測への寄与を表す。図 1 では、横軸を株にニュースが予測へ影響を与えているかは不明である

価、縦軸を NLL の差分としてとり、株価変動に対するため、より深い考察が必要となる。

予測精度の変化を表す図である。

L(X; Z) は他の 2 つに比べて小さく、潜在変数 Z の情報は大きくない事がわかる。株価変動が激しい場合に、L(X; Z, Y ) と L(X; Y |Z) は増加するため、ニュースの重要度が株価変動が大きい時に非常に高くなる事がわかる。
特に L(X; Z, Y ) では、株価の下落局面の値は上昇局面に比べて常に大きく、株価変動に対してニュースの重要度は非対称性を持つ事がわかる。ニュースの非対称性は広く知られている性質であり、悪いニュースは良いニュースに比べて株価への影響が大きい事である [5]。
しかし、このニュースの非対称性は、ニューステキストを用いて実際に実測されてはいない。本研究ではボラテリティ予測モデルを通じて、ニュースの非対称性を実参考文献[1] Rui Luo, Weinan Zhang, Xiaojun Xu, and Jun Wang.
A neural stochastic volatility model. In Thirty-second
AAAI conference on artiﬁcial intelligence, 2018.
[2] Frank Z Xing, Erik Cambria, and Yue Zhang.
Sentiment-aware volatility forecasting. KnowledgeBased Systems, Vol. 176, pp. 68–76, 2019.
[3] Diederik P Kingma, Shakir Mohamed, Danilo Jimenez
Rezende, and Max Welling. Semi-supervised learningwith deep generative models. In Advances in neural
information processing systems, pp. 3581–3589, 2014.
[4] Le Fang, Chunyuan Li, Jianfeng Gao, Wen Dong, andChangyou Chen. Implicit deep latent variable models
for text generation. arXiv preprint arXiv:1908.11527,2019.
[5] Robert F Engle and Victor K Ng. Measuring andtesting the impact of news on volatility. The journalof ﬁnance, Vol. 48, No. 5, pp. 1749–1778, 1993.