金融市場ニュースの分散表現学習による辞書作成とマーケット
Analyzing Market using The Financial Dictonary with Distributed Representation
Learning.
片倉 賢治 1	  高橋 大志 1
Kenji Katakura1, Hiroshi Takahashi111慶應義塾大学
Keio Univercity

Abstract: In recent years, a method of machine learning technology has been advancing. Getting thedistributed representation of words by the Neural Probabilistic Language Model (NPLM) has attractedinterest. In this study, we attempt to create a new dictionary on the basis of ones widely used in finance.
In this analysis, we use News Feed Direct of Thomson Reuters Corporation provides (NFD) that focus on
the market trends of the Japanese stock market in order to make the dictionary. As a result of analysis, wecould succeed in creating a new financial dictionary. However, we also found problems to be solved toget better performance.

1

はじめに	 近年,	 金融市場に対する関心が高まっている．世界的な金融危機以降, 先進諸国を中心とした経済金融政策運営は大きな転換点を迎えており，個々の金融機関の健全性を確保するだけでは，金融システム全体としての安定を必ずしも実現できるわけではな
いとの見方が強まっている．また，同時に情報処理技術の向上等を背景として，金融市場を取り巻く情報が年々飛躍的に増大しており,	 従来からの分析手法に加え,	 新たな分析手法に対する要望も高まる等，一層関心を集めている．
金融市場の分析については，従来より市場データを用いた数多くの分析が報告されている.	 株式価格を対象とした分析においては，例えば,	 合理的な投資家等を想定した資産価格モデルである資本資産価格評価モデル（CAPM：Capital Asset Pricing Model）や，Fama-French の 3 ファクターモデルといった手法が広く用いられている[1,2]．また，昨今，金融市場を取り巻く，企業の開示情報やニュース,	 マイクロブログといった広く利用可能で大規模な言語情報を分析対象とした新たな手法による研究も盛んに行われている.	 例えば,	 ニュース記事を機械学習手法の一つ SVM（Support Vector Machines）によって分類し,	 株価動向に関して分析を行った研究[3]や,	 深層学習（Deep Learning）と呼ばれる多階層ニューラルネットワークモデルの一つでもある RNN-RBM（ Recurrent Neural Networks Restricted BoltzmannMachine）を用いて,時間的に変動する株価の上昇,	 下落を予測した研究[4]等,	 国内外問わず数多くの研究報告がなされている．	 
言語情報を用いた分析において，採用する辞書やその精度は，重要な要素の一つである．SEC（米証券取引委員会）に提出された 10-Ks（年次報告書）を基にファイナンス分野の言語情報に特化した辞書を作成した研究では，心理社会学で広く用いられている辞書 H4N（Harvard-IV-4 TagNeg）を用いて分析をしたものと比較して，誤分類による影響が緩和され,	 説明力が向上したとの報告が行われている[5]．
また，これらファイナンス用辞書を金融市場の分析に活用した報告なども行われている[6]．このように，分析に採用する辞書とその精度は，重要な要素の一つであり，より優れた辞書・単語群の構築の意義は大きい．	 
これらを背景とし，本研究では,	 金融市場ニュースからより優れたファイナンス用辞書の作成，そして，その辞書を用いた金融市場の分析を試みる．具体的には，金融市場ニュースの言語情報を CBOW（Continuous Bag-of-Words）という新たな手法で学習した結果とこれまでに提案されているファイナン
ス用辞書[5]をベースとして用い新たな辞書を作成し，その辞書を用いて金融市場との関係性の分析を試みる．なお，本分析では，日本の株式市場を対象とした英語ニュース記事群を分析対象とした．	 
本稿の構成は以下の通りである．次節において，本稿で採用する新たな辞書の作成手法である
CBOW の概略について説明を行った後，分析に用いるデータおよび分析方法について説明を行う．次いで，分析結果，考察を示した後,本稿のまとめを示す.	 	 	 

2CBOW（Continuous	 Bag-of-Words）	 

CBOW は,	 近年注目を集めている新しい機械学習手法であり,単語の分散表現を高精度で獲得できるという特徴を有している.	 分散表現とは,	 単語をK 次元で一意に表現するという 1-of-K 符号化によって得られるベクトルをより低次元で表現したものであり, 意味が近しい単語同士はそのベクトル距離が近くなるような性質を有する表現を指す.	 
従来から言語情報の分析には,	 文章中に現れる単語を扱う BOW（Bag-of-words）によって表現する手法が一般的であったが,	 順序性の欠如,	 扱う単語数によって膨大な次元数となる等の欠点があった.	 しかしながら,	 CBOW によって学習した分散表現はこれらの課題を克服し,	 更に精度も向上するとの報告が行なわれている[7,8,9]．

図 1: CBOW の概略.
図 1 は，CBOW の分散表現の獲得方法の概略を示したものである．図の左から，Input, Projection, Outputとなっている．CBOW においては,	 注目する単語w(t)の前後の単語群 w(t-2), w(t-1), w(t+1), w(t+2)から構成される BOW を入力とし, 注目する単語 w(t)を出力するニューラルネットワークの学習により，分散表現が獲得される 1.	 また,分散表現（単語ベクトル）を学習した結果を基に，各単語と距離が近い単語群を出力することが可能である2．なお，本分析では，コサイン距離を採用した.

3

本稿では, 金融市場ニュースおよびベースとする辞書，更に，市場関連データを用いる．
金融市場ニュースに関しては，世界で最も広く知ら れ た ニ ュ ー ス 提 供 会 社 の 一 つ で あ る Thomson
Reuters社により提供されているニュースを採用した．
具体的には，世界のマーケット動向に関するニュースとして, Thomson Reuters社提供のNews Feed Direct(NFD)を用いた. NFDは, News Scope Directとしても知られており, ニュースのヘッドラインや経済イベントを極小の遅延で配信し, 発表時刻もミリ秒単位で保持している等, 分析に適した特徴を有している.
ベースとする辞書は，前述のファイナンス辞書[5]を採用し，Positiveな単語，Negativeな単語の一覧をそれぞれWebページから入手した3．
市場関連データは，日経NEEDSおよびThomsonReuters Datastreamより入手した．本分析ではファクターリターンを対象とした分析を行うため，ファクターモデルに関するデータ（以下, FFファクター）は, 久保田, 竹原(2007) [32] に従い、日本における東証1部, 東証2部から構成される銘柄から算出した3ファクター（マーケットとの関係性を表すRm - Rf ,企業規模に係る小型株効果を表すSmall minus Big：
SMB, 割安株効果を表すHigh minus Low：HML）データを用いた．
サンプル期間は，2003 年 1 月 1 日〜2012 年 7 月
31 日とした．NFD は，世界各国の市場を対象としたニュースが含まれており，ニュースの言語も英語，フランス語，ドイツ語，日本語などをはじめ多岐にわたる．このような膨大な量のニュースの中から本分析では，とりわけ, 日本市場及び日本企業に関する英語ニュース記事 411,531 件を対象として分析を行った. ニュース記事は, 1,349 万行, 9,265 万単語を含み, 対象記事の内, 日本企業に関連する記事は,363,970 件, 該当する企業数は 308 件であった．

4

本稿においては，分散表現学習において，word2vec と呼ばれるモジュールを採用した．https://code.google.com/p/word2vec/

分析方法	 

本研究では, 金融市場ニュースから分散表現を学習し, 新たなファイナンス辞書の作成，分析を試みる．
そこで，分析に先立ち図2に示すシステムを構築した．システムは主に4つのモジュール, (1) NFDデータベースから記事を抽出, (2) 抽出した記事群の整形,
2

1

データ	 

本稿においては，距離算出において，distance モジュールを採用した．
3
既存の辞書については，前述のファイナンス用辞書データ[5]を用いた．http://www3.nd.edu/~mcdonald/Word_Lists.html

(3) ファイナンス辞書から単語を読み込み, distanceモジュール（インプットした単語とコサイン距離が近い単語を出力）をバッチ形式で連続実行, (4) 出力された単語リストを読み込み, 日次NFDでの出現頻度を日次カウントし結果をCSVファイルで保存，をそれぞれ用意した．
図2中の左部分は，金融ニュース (NFD)，既存のファイナンス用辞書(Financial Dictionary)を示し，本分析では，これら情報を基に新たな辞書を作成した
後，市場データとの関係性を分析する．

ーケットとの関係性の分析を行った.

5.1 Positive 単語	 	  分析の結果，既存辞書の単語全 354 件中, 金融市場ニュースに出現した単語は 335 件, 出現しない単語は 19 件であることがわかった. 次いで，距離算出モジュール(distance モジュール)に, この出現した単語のみを入力し, コサイン距離の近い（本稿では閾値を 0.7 とした）単語リストを獲得した．結果，コサイン距離が閾値以上の単語数は 35 単語であり，それらのうち，既存辞書に含まれていない新たな単語は 20 単語であった．

5.2 Negative 単語	 

図 2: システム概要図.	  同様に，既存辞書の単語全 2,329 件中, 金融市場ニュースに出現した単語は 1,933 件, 出現しない単語は 396 件であることがわかった. 次いで，コサイン距離の近い単語リストを同様に獲得した.	  結果，コサイン距離が閾値以上の単語数は，67 単語であり，それらのうち，既存辞書に含まれていない新たな単語は 45 単語であった．

5.3 新たに抽出した単語群	 
具体的な分析方法は，次のとおりである.
(1) 全期間のニュースデータ(NFD)を1つのファイルに抽出する.
(2) 分析対象のニュースデータ(NFD)に対して,必要な前処理を行う．(例：URL及びEメールアドレスの除外処理を行う. 全ての大文字を小文字に変換する等.)(3) ニュースデータ(NFD)ファイルを分散表現学習モジュールに入力し，分散表現を学習する. 本分
析では，学習手法は階層化ソフトマックスとし,考慮する文脈サイズは5（w(t-5)〜w(t+5)）とした.
(4) 分散表現学習モジュールの出力結果を，距離算出のための入力として実行する.
(5) 既存辞書のNegative単語を距離算出モジュールに順次入力し, 分散表現のコサイン距離が近い単語群の一覧を取得する.
(6) ファイナンス辞書で定義済み単語 及び 獲得した新単語 に対して日次NFD出現頻度を計上し,センチメントスコアとして算出する．
(7) センチメントスコアとマーケットデータの関係性を分析する．

5分析結果	 	  本稿では, はじめに既存辞書の Positive 単語一覧をベースとした分析を行った後, Negative 単語一覧をベースとした分析を行い，新たな辞書の作成，マ	  それぞれの新たに抽出された単語群は, 重複を除くと 54 件あった. この中には，新たに drop, fell など市場全体に対して Negative な極性を有する可能性のある単語と，rose, climbed などといった Positive な極性を有する可能性のある単語が含まれていることがわかった.

5.4 センチメントスコアの算出	 	  既存の辞書および新たに作成した辞書を用いて，日次 NFD に出現する単語頻度を算出しセンチメントスコアとした．結果，新たな辞書の単語で，特に出現頻度の高い（7 割を占める）上位 6 単語で，最も出現していた単語は, rose であり, 次いで, fell, rise,fall, jumped, drop であることがわかった．

5.5 マーケットとの関係性	 	  算出したセンチメントスコアと同時点のファクターデータとの関係性を分析した結果, 従来のファイナンス辞書に比べ新辞書（従来単語に新単語を加えた単語群）によって算出したスコアはより強い関係性を有していることがわかった．更に，Negative ス
コアはマーケットファクター（Rm - Rf）に，Positive
スコアは企業規模ファクター（SMB）に，それぞれ強い関係性を有していることがわかった（表 1）

また, Positive スコアは特に時価総額の大きい企業群のファクターに対して正の相関を有していた．（表2）表 2 中の BL, BM, BH は, 東証 1 部および東証 2部から構成される銘柄の中で, 時価総額が中央値以上かつ時価総額に対する自己資本比率が 30%以下,30~70%, 70%以上の企業を分類している表記である.の閾値であるコサイン距離の範囲の調整, CBOW の学習パラメータ調整，他のニュース媒体における新たな単語群の抽出や比較，他国のマーケットとの関係性の比較などが，今後の課題として挙げられる.

表 1: センチメントスコアとファクターデータとの関係性.

[１] Jensen, Michael C.: Some anomalous evidence regarding
market efficiency. , Journal of financial economics 6.2 ,参考文献

pp. 95-101. , (1978).
[２] Fama, Eugene F., and Kenneth R. French. : Common risk
factors in the returns on stocks and bonds. , Journal offinancial economics 33.1, 3/56. (1993).
[３] Schumaker, Robert P., and Hsinchun Chen. : Textual
analysis of stock market prediction using breaking

表 2: センチメントスコアとファクターデータとの相関関係.

financial news: The AZFin text system. , ACM
Transactions on Information Systems (TOIS) 27.2, 12,(2009).
[４] 吉原輝,	 藤川和樹,関和広.	 :	 深層学習による経済指標動向推定.	 ,	 人工知能学会全国大会論文集	 28	 ,	 pp.	 
1-4,	 (2014).	 
[５] Loughran, Tim, and Bill McDonald.: When is a liability
not a liability? Textual analysis, dictionaries, and 10-Ks ,The Journal of Finance 66.1 , pp. 35-65 (2011).

6

考察	 	  本研究では，既存のファイナンス用辞書をベースとして CBOW によって新たな単語群の抽出を行った．抽出する際，CBOW のパラメータを固定して分析を行ったが（例えば，文脈サイズを 5 に固定），より改善した手法による詳細な分析は今後の課題として挙げられる．また，辞書に定義されている単語群はマーケット全体との関係性に注目しポジティブ・ネガティブに分類された単語群であることから，より細分化した業界・個別企業との関係性に注目した単語群の定義についても今後の課題である．

7まとめ	 	  本稿では, 金融市場ニュースの分散表現学習による新たな辞書作成を試みた．分析の結果, 既存辞書には含まれない新たな単語群を抽出することができた．そして，新たな単語群を用いた分析では従来の辞書と比較して分析精度の向上が見られた．一方，得られた結果は，今後更なる精度の改善の余地があることを示すものであることから，より詳細な分析は今後の課題である．具体的には，抽出する単語群[６] Yamashita, Y., Jotaki, H., and Takahashi, H.: Analyzing
the Influence of Head-Line News on the Stock Market inJapan, International Journal of Intelligent Systems
Technologies and Applications,12, pp.328-341, (2013).
[７] Mikolov, Tomas, et al.: Efficient estimation of word
representations in vector space., arXiv preprint
arXiv:1301.3781 (2013).
[８] Mikolov, Tomas, et al.: Distributed representations ofwords and phrases and their compositionality., Advancesin Neural Information Processing Systems. (2013).
[９] 西尾泰和.: word2vec による自然言語処理, オライリージャパン, (2014).