言語処理学会 第24回年次大会 発表論文集 (2018年3月)

時系列数値データにおける変化要因の記述
青木 竜哉†,§ 宮澤 彬‡,¶,§ 青木 花純⋄,§ 五島 圭一∗,§ 小林 一郎⋄,§ 高村 大也†,§ 宮尾 祐介 ‡,¶,§†東京工業大学 ‡総合研究大学院大学 ⋄お茶の水女子大学 ∗∗日本銀行 ¶国立情報学研究所 §産総研

aoki@lr.pi.titech.ac.jp, keiichi.goshima@boj.or.jp, takamura@pi.titech.ac.jp,{miyazawa-a, yusuke}@nii.ac.jp, {g1120501, koba}@is.ocha.ac.jp
18400

ダウ平均株価 [USD]

1 はじめに数値データの動きを解釈し，テキストでの説明を生成する技術は，大量の数値データを理解し有効利用するために必要不可欠である．テキストによる説明は，

2016年8⽉3日

2016年8⽉4日

18350

18300

数値の変化を記述するだけでなく，しばしばその変化要因に言及する．図 1 の概況テキストは日経平均株価

18250
22:30

指数に関するものであるが，その変化要因として米国

23:30

0:30

1:30
2:30
時刻 [JST]

3:30

4:30

株が上昇傾向にあり，円高が止まりつつあることを述べている．このような変化要因の記述は，データに対16300

2016年8⽉4日前場

日経平均株価 [円]する理解を促進させ，データのさらなる有効利用につながると考えられる．そこで，本研究では数値変化の記述に加え，「米株高を好感」のような変化要因の記述の生成を目的とする．

(III)

16200

16100

(I)

16000

ただし，変化要因の候補は一般に複数存在し，それらのうちのどれが変化要因と考えられるかは明らかで2016年8⽉4日後場

(II)

15900
9:00

ない．日経平均株価指数の変化においても，図 1 に示

10:00

11:00

12:00
時刻 [JST]

13:00

14:00

15:00

したような米国株に加え，ドル円外国為替，アジア株，時刻

概況テキストれについて記述できる必要がある．そこで，主な記述(I)
(II)

09:07
11:34

対象である指標 (ここでは日経平均株価) に加え，変化(III)

15:02

日経平均、反発で始まる 米株高を好感
日経平均、1 万 6000 円下回る 下げ幅
100 円超える
日経平均大引け、3 日ぶり反発 171 円高、円高一服で買い戻し

原油価格などを含む多くの変化要因候補が考えられる．
これらの変化要因候補の中から適切なものを選び，そ要因候補である複数の金融指標の時系列データを入力として与え， 変化要因に関する記述を含む概況テキストを生成する課題に取り組む．ただし，出力が制御できるように，数値変化の記述だけを生成するのか，変化

図 1: ダウ平均株価の値動き（上）と日経平均の値動き（下），およびそれを説明する概況テキスト（表）．

要因の記述も合わせて生成するのかは，追加入力として与えることとする．

する表層化の三段階に分けて論じられ，天気予報コメントの生成などを題材に技術開発が進められた [2]．し2 関連研究
2.1

かし，最近では end-to-end の学習を行うエンコーダ・データからのテキスト生成デコーダモデルが高い性能を持つことがわかってきた．

数値データなどに対しそれを説明するテキストを生エンコーダ・デコーダモデル [7] を用いてデータからテ成する研究課題の歴史は長く，かつては何を言うかをキスト生成をする試みとしては，属性情報から製品レ決定するテキストプランニング，どう言うかを決定すビューを生成する研究 [1]，構造化データから人物説明るマイクロプランニング，実際にテキストとして出力テキストを生成する研究 [4]，気象データから天気予報コメントを生成する研究 [9]，時系列数値データである∗ 本稿に示されている意見は，筆者たち個人に属し，日本銀行の公式見解を示すものではない．また，あり得べき誤りはすべて筆者たち個人に属する．

株価から市況コメントを生成する研究 [6] などがある．
これらのうち最後の研究は，我々の目的と最も関連が深いので，2.2 節にて詳しく説明する．

― 372 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

2.2 時系列数値データを用いた概況生成

ダの初期値として与える隠れ状態 s0 は，Murakami ら [6] は，エンコーダ・デコーダモデル

s0 = Wに基づいて，株価データと株価の動きに言及している([lshort ; llong ; hshort ; hlong])

+b

(1)

ニュースヘッドラインを例に，時系列数値データからと な る ．こ こ で hshort お よ び hlong は ，そ れ ぞ れ

概況テキストを生成するモデルを開発した．

lshort , llong を 対 応 す る エ ン コ ー ダ Encodershort とEncoderlong を 用 い て ， hshort = Encodershort (lshort )，()
hlong = Encoderlong llong のようにエンコードして得られるベクトルである．また b はバイアス項である．
時刻 t におけるデコーダの隠れ層の状態 st は，時間帯情報埋め込みベクトル T ，直前の単語埋め込み wt−1 ，直前の隠れ層の状態 st−1 を用いて次のように計算される:

Murakami らの手法では，入力として，日経平均株価の短期的な変動を捉えるために 5 分足で収集した 1 取引日分の株価データ xshort = (xshort,1, xshort,2, . . . , xshort, N )を，また長期的な変動を捉えるために 1 取引日ごとに収集した 7 取引日分の株価の終値データ xlong =(xlong,1, xlong,2, . . . , xlong, M ) をそれぞれ用いている．そして，これらの時系列数値データを数値ベクトルで表st = LSTM (T, wt−1, st−1 ) .

現するために，短期的変動を捉えるためのエンコーダ(2)と，長期的変動を捉えるためのエンコーダの 2 種類を最終的に時刻 t での各単語の出力確率分布は，デコー用意し，それぞれ xshort および xlong に対して前処理

ダの隠れ層の状態 st を用いて，を加えたデータをエンコーダへの入力としている．デ

softmax (Ws st )コーダへは，2 種類のエンコーダから出力された数値ベ(3)クトルと前処理した数値データを結合した multi-levelと表される．ここで Ws は重みを表す.

representation ベクトルを入力する．加えて，ニュース

3.2 外部データを組み込んだ注意機構付きエンコー

ヘッドラインの配信時間帯を埋め込みベクトルとしてダ・デコーダモデル

各時刻の状態に追加入力することで，RNNLM モデル

提案手法では，3.1 節で説明したエンコーダ・デコーを用いた日経平均株価の数値変化を概況するテキスト

ダに対して，ダウ平均株価や円ドル為替のような外部（単語列）を推定している．

指標を組み込む．具体的には，使用する外部データご

3とに新たにエンコーダを用意し，これにより各外部デー

提案手法

タを数値ベクトルへ変換したのち，デコーダの隠れ状態と新たにエンコードした複数の外部データとの対応付

3.1 エンコーダ・デコーダモデル

本研究では，Murakami らのモデルをベースにし，日けを注意機構によって実現する．これにより，デコー経平均株価データをエンコードし，その情報をデコー

ダの各ステップにおいて，外部データを参照しつつ出ダの初期値として使用するエンコーダ・デコーダモデ

力単語を予測するモデルを構築した．

ルを用いる．これに加えて，ダウ平均株価のような外まず，日経平均以外の株価指数や外国為替といった外部データも参照する注意機構を組み込むことによって，ext 1, x ext 2, . . . , x ext n
部データを n 種類用意し，これを xlong
longlong

変化要因の記述も可能な概況テキスト生成モデルを提ext i の数値データには，それぞれとする．このとき各 xlong案する．提案モデルの概要を図 2 に示す．の外部データにおける 7 取引日分の終値を使用する．

まず，2.2 節で導入した xshort および xlong に対して，これらに，日経平均と同様の前処理を行なった数値デー

それぞれ Murakami らの研究で最も有効であるとされ

ext 1, x̂ ext 2, . . . , x̂ ext n とし，式 (4) によって，前処タを x̂longlonglong

た 2 種類の前処理を適用する *1 ．1 つ目は，平均値と理済み数値データをベクトル vi へ変換する:

()i
ext i
vi = Encoderextx̂longlong ．

標準偏差を用いて標準化する手法であり，この処理をxshort および xlong に適用して得られた数値データをそ
std および x std と表す．2 つ目は，それぞれれぞれ，xshortlongの入力データに対して前取引日の終値からの差分を計算する手法であり，この処理で得られた数値データをmove および x move と表す．
それぞれ， xshortlong

短期的変動を捉える[ た め の ベ]ク ト ル を lshort =[ std]
move
std ; x move とすると，デコー
xshort ; xshort ， llong = xlong
long(4)i
ext i
ただし，Encoderext
long は，それぞれの外部データ x̂long ご

ext =とに新たに用意したエンコーダを示す．そして，hlong[v1 ; . . . ; vn ] とすると，([])
ext
s0 = W lshort ; llong ; hshort ; hlong ; hlong+b(5)としてデコーダの隠れ状態を初期化する．
時刻 t において，デコーダの隠れ状態を st とすると，注意機構によってそれぞれの外部データで重み付けさ*1 詳細は Murakami ら [6] の 3.1 節を参考にされたい．

― 373 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

ext 2xlong

ext nxlong

724.2512283.93

76.75

721.4412214.31...

...

736.2812359.77

76.97

729.4412390.12

76.90

preprocessing

preprocessing

preprocessing

1
Encoderext
long2
Encoderext
longn
Encoderext
longconcatenation

context

preprocessing...
8488.71
8386.58

Encoderlong

hlong

startN225 T

llong

米株

attention

attention

高attention␣attention始まる

attention

attention

TT

T

T

T

LSTM

LSTM

LSTM

LSTM

LSTM

LSTM

直近数取引日の日経平均の終値

8419.59でhshortxlong
8440.56

attention

8439.59

LSTM

8430.29

反発

hext
long

lshortEncodershort、attention

...

日経平均

LSTM

8428.66...

concatenation

8419.33

76.66

...

MLPxshort
preprocessing

1 取引日中の日経平均の値動き

各外部指標の直近数取引日の終値
ext 1xlongTT

図 2: 提案モデルの概要

れた隠れ状態 s˜t は，次の式 (6) によって表せる:s˜t = tanh (Wc [ct ; st ]) ．

(6)

ト生成を行う．本研究では，図 1 中の概況テキスト (I),(III) のような，米国株や為替など外部のデータを参照している場合と，そうでない場合についてぞれぞれ異ただし Wc は重みのパラメータである．最終的に，式(3) における st を s˜t に置き換えて，出力単語を予測する．また ct は，エンコードされた外部データ vi とそれに対応する重み ati を用いて以下のように計算される:なる記号 startext ，startN225 を，デコーダの開始記号1∑
ati vi ．
ct =n i=1

本研究においては，何に言及すべきかを開始記号としn(7)として用いる．Yamagishi ら [8] は，学習コーパスに出力するべき文の態情報を組み込むことで，エンコーダ・デコーダモデルによる出力文の態制御を実現している．て与えることで，出力文の制御を試みる．各ヘッドラ
インに対して，これらのタグの適切な方を先頭に付与

デコーダの時刻 t で，エンコードされた外部データし，その文のタイプを表す開始記号として機能させる

v = (v1, . . . , vn ) に対する重み at = (at1, . . . , atn ) は， vとデコーダの隠れ状態 st を用いてことを目的としている．

exp (score (st , vi ))(())
j=1 exp score s t , v j

ati = ∑nただし，複数の外部データ (すなわち日経平均の変化要因候補) のうちどれに言及するかについては，モデル(8)が自動的に選び，変化要因を記述する．

実験により求める．重み付けのための関数 score には Luong

4ら [5] の手法における concat モデルを使用した．

4.1 実験設定

3.3 概況テキストの種類を表すタグの導入

日経平均などの株価指数の変動を説明する際には，日本研究では，時系列データとして，Thomson Reuters
DataScope Select *2から 2011 年 1 月から 2016 年 9 月

経平均そのものの値動きだけではなく，ダウ平均株価までの期間における，日経平均株価指数やダウ平均株のような外部データの変動も合わせて伝える方が，情価を含む 8 種類 *3 の時系列データを収集し，実験に使用報量の観点から好ましい．実際に概況テキストの中にした．概況テキストとして，日経 QUICK ニュース社

は，図 1 中の概況テキスト (I) や (III) のように，「米株が提供している日経平均株価に言及しているニュース高」や「円高一服」というような，外国為替や他の株価記事のヘッドラインを使用した．実験に使用したデー指数などに言及しているものが見られる．

タの概要を表 1 に示す．2011 年から 2014 年の期間のそこで，本研究では，概況テキストを生成する際に，生成するテキストが，日経平均の変動のみに言及するデータを学習データ，2015 年のデータを開発データ，2016 年のデータを評価データとして使用した．のか，または外部データと関連付けて言及するのかといった，生成するべき概況テキストの種類をあらかじめモデルに与えた上で，その種類に応じた概況テキス― 374 ―

*2 https://hosted.datascope.reuters.com/DataScope/*3 日経平均株価，東証株価指数，ダウ平均株価，S&P500，上海総合指数，FTSE100 種総合株価指数，USD/JPY，USD/EUR

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 使用したデータの統計値
期間

要因記述

表 3: 生成されたヘッドラインの例
合計なしあり2011/01/01 – 2014/12/31

4,831

2,427

7,258

2015/01/01 – 2015/12/31

1,670

815

2,485

2016/01/01 – 2016/09/30

1,349781

2,130

正解文

日経平均、続落で始まる

欧米株安や円高進行で提案手法

日経平均、続落で始まる

米株安で、円高が重荷

従来手法

日経平均、反落で始まる

米株高や円安でがかりとなっていることが考えられる．
表 3 に，Murakami らの従来手法と本研究の提案手法

表 2: 評価データにおける BLEU (%)
手法

Murakami ら [6]Murakami ら [6] + タグ
Murakami ら [6] + タグ (512 次元)
提案手法

要因記述
なし
あり

18.44
18.33
18.80
21.34†

11.68
12.43
13.86
16.59†

によるヘッドライン生成例を示す．従来手法では，与えられた時刻における外部指標の値動きに関わらず，全体学習された言語モデルに基づいて概況テキストを生成

15.81
16.05
16.87
19.45†

していた．提案手法では，概況テキストの生成時に，その時刻における日経平均株価の値動きに加えて，米国株をはじめとする外部指標も併せて参照を可能にするモデルであるため，外部指標の変動が要因で日経平均

ヘッドラインには，あらかじめ前処理を加えて，不株価が変動していた場合において，数値変化の記述に要な語の除去を行なった上で，MeCab *4 による形態素加え，「米株安で、円高が重荷」のような変化要因の記解析を IPA 辞書を用いて行った．このとき「日経平均」述が正確に生成される．

や「前引け」のような用語を新たに辞書に追加した．
式 (1) における，株価等の数値データを数値ベクトル5結論へ変換する際の各エンコーダには，Murakami らの研究

本研究では，ダウ平均株価や外国為替などの外部指で最も性能が高かった MLP（多層パーセプトロン）を数の変動も参照しつつ，日経平均株価指数についての使用した．外部データに対するエンコーダの隠れ状態概況を生成するモデルを提案した．評価実験では，外の次元は 64 とし，その他のパラメータは Murakami ら

部データの値動きの情報を考慮することで，概況生成の研究と同一の値を使用した．モデルの最適化手法はの精度が有意に向上することが示された．

Adam を使用し，学習率は 10−5 を使用した．評価指標には，BLEU を採用し，モデルによって生成された文

謝辞 この成果は，国立研究開発法人新エネルギー・産と，その時刻に書かれた実際の概況テキストとの一致度を測る．学習回数については，開発データで計算された BLEU が 6 回連続で下がった場合に学習をストップする．そして，開発データ内で BLEU が最大となったモデルを使用して，評価データに対し評価を行う．
評価実験では，Murakami らの手法，Murakami らの手法に対して 3.3 節で導入したタグを使用した手法，Murakami らの手法において，エンコーダの隠れ層の大きさを 2 倍（512 次元）し，数値データの表現力を高めた上でタグを使用した手法と比較する．
4.2 結果

表 2 の実験結果 *5 によると，Murakami らのモデルに3.3 節のタグを導入したり隠れ層を大きくすることでわずかな BLEU の向上が見られるものの，提案モデルでは大幅に BLEU を向上させることがわかる．要因記述なしのデータにおいても BLEU が向上していることから，外部指標が日経平均株価の概況を生成する際の手*4 http://taku910.github.io/mecab/†*5 は，有意水準を 5% とした時，Murakami ら [6] + タグ (512 次元) との差異が統計的に有意であることを示す．検定には，反復回数を 1,000 回，サンプルサイズを 100 としたときの paired
bootstrap resampling[3] を用いた．

業技術総合開発機構 (NEDO) の委託業務，および JST さ
きがけ JPMJPR1655 の支援の結果得られたものです．

参考文献[1] Li Dong, Shaohan Huang, Furu Wei, Mirella Lapata, Ming Zhou,and Ke Xu. Learning to generate product reviews from attributes.
In EACL, pp. 623–632, 2017.
[2] Albert Gatt and Emiel Krahmer. Survey of the state of the art in natural language generation: Core tasks, applications and evaluation.
arXiv: 1703.09902, 2017.
[3] Philipp Koehn. Statistical significance tests for machine translation
evaluation. In EMNLP, pp. 388–395, 2004.
[4] Rémi Lebret, David Grangier, and Michael Auli. Neural text generation from structured data with application to the biography domain.
In EMNLP, pp. 1203–1213, 2016.
[5] Thang Luong, Hieu Pham, and Christopher D. Manning. Eﬀective approaches to attention-based neural machine translation. InEMNLP, pp. 1412–1421, 2015.
[6] Soichiro Murakami, Akihiko Watanabe, Akira Miyazawa, Keiichi
Goshima, Toshihiko Yanase, Hiroya Takamura, and Yusuke Miyao.
Learning to generate market comments from stock prices. In ACL,
pp. 1374–1384, 2017.
[7] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to sequencelearning with neural networks. In NIPS, pp. 3104–3112, 2014.
[8] Hayahide Yamagishi, Shin Kanouchi, Takayuki Sato, and Mamoru
Komachi. Controlling the voice of a sentence in japanese-to-english
neural machine translation. In WAT, pp. 203–210, 2016.
[9] 村上聡一朗, 笹野遼平, 高村大也, 奥村学. 数値予報マップからの天気予報コメントの自動生成. 言語処理学会年次大会, pp.
1121–1124, 2017.

― 375 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.