言語処理学会 第26回年次大会 発表論文集 (2020年3月)

時系列データの動向説明文生成における参照時刻の不整合解消に向けた取り組み濵園 侑美⋄,§ 上原 由衣§ 能地 宏§ 宮尾 祐介¶,§ 高村 大也§,† 小林 一郎 ⋄,§⋄お茶の水女子大学 ¶東京大学 †東京工業大学 §産業技術総合研究所{hamazono.yumi,koba}@is.ocha.ac.jp, {yui.uehara,hiroshi.noji}@aist.go.jp,
takamura@pi.titech.ac.jp, yusuke@is.s.u-tokyo.ac.jp

1 はじめに金融や医療，情報通信などの多くの分野において，様々な形式の非言語データを取り扱う機会が増えてきている．大規模で複雑なデータを専門知識のない人が解釈できるように，データを説明するテキストを自動的に生成する技術の必要性が高まっており，近年は様々なデータを題材に，Encoder-Decoder モデルを用いてend-to-end の学習を行うことで，高い生成性能を発揮している (漆原・小林, 2018; 村上他, 2017; Puzikov andGurevych, 2018; Liu et al., 2018; Iso et al., 2019)．
日経平均株価の概況テキスト生成 (Murakami et al.,2017; Aoki et al., 2018) において，Murakami et al. (2017)
は日経平均株価，Aoki et al. (2018) は日経平均株価に加えて，日経平均株価の変化要因となりうる複数の経発表時刻

発表時刻での値動き

概況テキスト（動向内容）

（I）

09:00

反発，86 円高

（II）

09:05

反発，22 円高

（III）

09:19

続落，2 円安

日 経 平 均 、反発で 始 ま る
86 円高
日 経 平 均 、反発で 始 ま る
86 円高、原油高を好感 トヨ
タ高い
東証寄り付き、反発 原油高を好感、ファナックは大幅安

済市場データ計 L 種類を用意した．それぞれの経済市
場データ datai (i = 1, 2, . . . , L) に対して短期的な変動を捉えるために 5 分足で収集した直近の N 個の市況
data

data

data

data

データ xshorti = (xshort,i 1, xshort,i 2, . . . , xshort,i N ) と，長期的な変動を捉えるための直近 M 取引日分の終値データ
datai
datai
datai
datai
xlong
= (xlong,1, xlong, 2, . . . , xlong, M ) を入力とした．

しかし，Murakami et al. (2017) および Aoki et al.
datai
data
(2018) において， xshort
および xlongi は，概況テキスト

図 1: 日経平均の値動きと「1/29 9:00」を参照時刻とする概況テキスト（表）．
ライメントが正しく取得できないことによる誤りが発生した．

が発表された時刻を基準に取得しており，発表時刻とこのように時系列データを用いた研究では，取得し参照時刻の不整合は無視されてきた．例えば，図 1 にたデータに参照時刻の不整合が起こり得る．本研究で示した（I）から（III）の文章は，全て「1/29 9:00」をは，このような時系列データを用いた data-to-text で発参照時刻とする概況テキストであり，概況テキストで生し得る，データとテキストの不整合を解消する手法の動向内容と参照時刻での値動きは一致している．（I）

を，日経平均株価の概況テキスト生成を例に提案する．

は，発表時刻と参照時刻が同じため，概況テキストの2 日経平均株価の概況テキスト生成

動向内容と記事の発表時刻を基準とした値動きは一致
参照時刻が異なるため，概況テキストの動向内容と発Murakami et al. (2017) は，Encoder-Decoder モデル(Sutskever et al., 2014) に基づいて，日経平均株価デー

表時刻での値動きは異なっている．また，サッカーのタとその動きに言及しているニュースヘッドラインを試合データを用いた速報テキスト生成 (Taniguchi et al.,

例に，時系列数値データから概況テキストを生成するモ2019) では，試合データのイベントと速報テキストのアデルを開発した．また，Aoki et al. (2018) は，Murakamiしている．一方，（II）および（III）では，発表時刻とet al. (2017) のモデルを拡張し，複数の経済市況データ― 409 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

を用いて，変化要因に関する記述を含む概況テキストを生成する課題に取り組んだ．以降，Aoki et al. (2018)について詳しく述べる．
data1 data2
data L), xshort , . . . , xshort
1 節で述べた通り， Xshort = (xshort
data1 data2
data Lと， Xlong = (xlong , xlong , . . . , xlong ) を入力として用いる．これらに Murakami et al. (2017) の研究で有効とされた 2 つの前処理を適用する：

xi − µ,σxmovei = xi − ri,
2 × xmovei − ( x̄max + x̄min ).
xnormi =x̄max − x̄min
xstdi =(1)(2)(3)

1 つ目は式 (1) で表される平均値と標準偏差を用いて標準化する手法であり，この処理を Xshort および Xlong
std およびに適用し，得られたベクトルをそれぞれ Xshortstd
Xlong と表す．2 つ目は，前日の終値からの価格の変動を捉えるために，式 (2) によってそれぞれの入力データに対して前取引日の終値 ri からの差分を計算し，差分の最大値 x̄max ，最小値 x̄min を用いて，式 (3) によって[−1, 1] へ正規化を行う手法であり，この処理で得られmove および X move と表す．こたベクトルをそれぞれ Xshortlong
std , h std ,れらのベクトルにそれぞれ MLP を用いて，hshort
long
move
move
hshort および hlong を得る．これらを結合し，市況デー
タをエンコードした隠れ状態 m を得る：)
(movestdstdmove] + bm . (4)m = Wm [hshort; hlong; hlong; hshort
デコーダは LSTM を用い，デコーダの初期値 s0 として，前述した隠れ状態 m を用いる．時刻 t におけるデコーダの隠れ層の状態 st は，ニュースヘッドラインの配信時刻 (9 時や 13 時などの 1 時間刻みの数値) を埋め込んだ時間帯情報埋め込みベクトル T と，直前の単語埋め込み wt−1 ，直前の隠れ層の状態 st−1 を用いて次のように計算される:

st = LSTM([T ; wt−1 ], st−1 ).

(xshort−kstep, 1, xshort−kstep, 2, . . . , xshort−kstep, N ) を用いる．
これにより，市況データの直近の動向とそれ以前のステップとの動向差異や，概況テキストが発表される時間帯などを基に，参照すべき時系列データが判断できると考えられる．入力を 5 分足で収集した市況データの直近 N 個の数値 Xshort-latest , 1 ステップ前から n ステップ前に取得できる各 N 個の数値 Xshort-1step ,. . . , Xshort-nstep ,および長期的な変動を捉えるための直近 M 取引日分の終値データ Xlong とする．Aoki et al. (2018) と同様に，stdstd各入力に前処理をおこない，Xshort-latest，Xshort-1step,. . . ，stdstd と， X move
move
Xshort−nstep
および Xlongshort-latest ， Xshort-1step ,. . . ，
move
move
Xshort−nstep および Xlong を得る．これらのベクトル
std
stdにそれぞれ MLP を用いて， hshort-latest, hshort-1step,. . . ,stdstd
move
move
hshort−nstep および hlong と， hshort-latest , hshort-1step ,. . . ,movemove を得，これらを結合し，市況
hshort−nstepおよび hlong
データをエンコードした隠れ状態 m を得る：

(stdstdstdstd
m = Wm [ hshort-latest; hshort-1step; . . . ; hshort−nstep; hlong;

move
move
move
move
hshort-latest; hshort-1step; . . . ; hshort−nstep; hlong])+ bm .
(6)

これをデコーダの初期値 s0 として用いる．

4

実験

4.1 データ

実験には，時系列データとして，Thomson Reuters

DataScope Select *1 から，2010 年 12 月から 2016 年 9月までの期間の日経平均株価指数やダウ平均株価を含む 10 種類 *2 の時系列データを収集し，実験に使用した．
概況テキストとして，日経 QUICK ニュース社が提供している日経平均株価に言及しているニュース記事のヘッドラインを使用した．2010 年 12 月から 2015 年9 月の期間のデータを学習データ，2015 年 10 月から2016 年 3 月の期間のデータを開発データ，2016 年 4 月から 2016 年 9 月の期間のデータを評価データとして使用した．実験に使用したデータについて，概況テキ(5)ストに日経平均株価の数値の動向を説明する表現 *3 が含まれているか，含まれている場合には，その表現と取ここで，時間帯情報埋め込みベクトル T を各時点の隠得したデータの数値の動向が一致しているかを調査しれ状態に追加入力することで，生成文の制御を行う．

た．その統計値を表 1 に示す．

3

4.2 実験設定

提案手法
Aoki et al. (2018) のモデルをベースとし，参照時刻の不整合解消のために，概況テキストが発表された時刻から取得できる直近のデータだけでなく，それ以前の時刻で取得できるデータを合わせて入力とする．
図 2 にその概要を示す．具体的には，短期的な変動を捉えるために用意した 5 分足で収集した市況データを，直近 N 個の数値だけでなく， k ステップ前 (5 × k分前) で取得できる N 個の市況データ xshort−kstep =5 分足で収集した記事発表時刻直近の 62 個の市況
データ Xshort-latest ，直近 7 取引日分の終値データ Xlong ，― 410 ―

*1 https://hosted.datascope.reuters.com/DataScope/*2 日経平均株価，東証株価指数，ダウ平均株価，S&P500，上海総合指数，香港ハンセン株価指数，FTSE100 種総合株価指数，USD/JPY，EUR/JPY，日経平均先物「続伸，反発，上げ」，下方向の動向：「続落，反*3 上方向の動向：
落，下げ」

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 2: 提案モデルの全体概要図．
表 1: 使用したデータの統計値
動向表現
期間
学習データ
開発データ

なし

3,990
370

合計あり
一致

不一致

11,891
1,450

396
46

move(x) =16,277
1,866



 上方向


 なし


(w ∈ { 続伸，反発，上げ })(w ∈ { 続落，反落，下げ })(other wise)

下方向

 なし


(x の直近の数値動向 > 0)
(x の直近の数値動向 < 0)(other wise)

movet e x t (w) =下方向 上方向gol d

S gol d = {i |movet e x t (w iおよび概況テキストのペアを使用する．また記事発表
時刻以前のデータとして，1 ステップ前 Xshort-1step から時系列株価データからテキスト中で言及された価格をこれらを用いて，次の式により評価する:

et al. (2018) と同様に，概況テキスト中の数値表現を汎化タグに置換した．株価等の時系列数値データをベク

一致 pr e c i si o n =|S gol d ∩ S pr e d ||S pr e d |(7)

一致r e c all =|S gol d ∩ S pr e d ||S gol d |(8)

不一致 pr e c i si o n =|D gol d ∩ D pr e d ||D pr e d |(9)不一致r e c all =|D gol d ∩ D pr e d |.
|D gol d |(10)トルへ変換する各 MLP の隠れ状態の次元は 256，これらの隠れ状態を結合した後，線形変換により次元を256 とした．デコーダの隠れ状態の次元は 256，単語埋め込みベクトルの次元は 128，時間帯情報埋め込みベクトルの次元は 64 とした．各パラメータの最適化手法には Adam (Kingma and Ba, 2015) を使用し，学習率は5 × 10−4 とした．ミニバッチサイズは 100，エポック
数は 60 とし，学習時に開発データで計算された BLEU) = move(x i )}gol d
D gol d = {i |movet e x t (w i) , move(x i )}pr e dD pr e d = {i |movet e x t (w i) , move(x i )}6 ステップ前 Xshort-6step までを段階的に用いる．なお，適切に出力するために，Murakami et al. (2017)，Aoki) = move(x i )}pr e dS pr e d = {i |movet e x t (w iBLEU による評価は開発データおよび評価データに対して行い，概況テキストの動向表現と数値データとの比較による評価は開発データに対して行った．なお，が連続して下がった場合には学習を終了し，各エポッ

学習時の seed を 0，5，10，50，100，500 の 6 種類とクのモデルの中で，開発データに対する BLEU が最大し，各モデルによる評価結果の平均を 4.4 節の実験結となったモデルを使用して，評価を行う．

果として用いた．

4.3 評価方法

4.4 実験結果

評価指標には，実際の株価の概況テキストと生成さ表 2 の実験結果によると，発表時刻直近に取得できれたテキストの一致度合いを測る目的として BLEU をる数値データのみを用いる既存手法に比べて，それ以使用する．また，正解概況テキストおよび生成した概前の 1 から 6 ステップ前で取得できる数値データも用況テキストの，日経平均株価の短期的・長期的な動向をいる提案手法で，BLEU の向上がわずかに見られる．

説明する表現と，発表時刻直近の数値データの動向のまた，提案手法により，概況テキストの動向表現と数値一致・不一致を取得して評価する．開発データの i 番目

データの動向が一致する場合の precision / recall が，既gold
pr edの事例とモデルの生成文を合わせて (xi , wi, wi)存手法に比べてわずかに下がる場合（表 2 下線）があとし，次のように定義する:

るものの，概況テキストの動向表現と数値データの動― 411 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 2: BLEU (%) と生成文中の動向表現と数値データの表 4: 生成された文 2 (記事発表時の数値動向=-5.49)

動向一致・不一致評価 (%)

手法

開発データ
手法
既存手法

BLEU

評価データ

一致

不一致

25.2

precision
98.1

recall96.0

precision
14.2

recall
5.2

25.7
26.7
26.6
26.8
27.1
25.8

98.2
98.0
98.1
98.2
98.1
98.0

96.0
96.6
95.9
96.0
96.3
96.2

27.6
30.5
23.8
22.1
23.4
18.0

8.3
10.1
10.4
9.4
9.0
7.6

BLEU

+ Xshort-1step+ Xshort-2step+ Xshort-3step+ Xshort-4step+ Xshort-5step+ Xshort-6step

—×

既存手法

日経平均、小動きで始まる 米
株高や円安を好感

8.7（記述なし）

日経平均、反落で始まる 米株
安や円高で利益確定売
日経平均、小幅続伸で始まる米株高や円安で買い先行
日経平均、反落で始まる 下げ
幅 0 円超日経平均、反落で始まる 米株
安円高で売り先行
日経平均、小幅続伸で始まる
米株高や円安を好感
日経平均、反落で始まる 米株
安や円高で

8.6

⃝

41.4×

8.5

⃝

8.7

⃝

41.6×

8.6

⃝

+ Xshort-2step+ Xshort-3step+ Xshort-4step

表 3: 生成された文 1 (記事発表時の数値動向=23.15)
手法

生成文

BLEU

日経平均、下げに転じる

—×

既存手法

東証後場寄り、小動き アジア
株高が支え、先物に買い

1.6(記述なし)

東証後場寄り、上げ幅拡大 ア
ジア株高が支え
日経平均、下げに転じる
日経平均、下げに転じる
日経平均、下げに転じる
日経平均、下げに転じる
日経平均、下げに転じる

2.0

⃝

100.0
100.0
100.0
100.0100.0×
××××

提案手法：+ Xshort-1step+ Xshort-2step+ Xshort-3step+ Xshort-4step+ Xshort-5step+ Xshort-6step+ Xshort-6step

得できる数値データを段階的に入力とし，生成モデルを作成，評価したところ，直近の数値データだけでなく，以前のタイムステップによる数値データを考慮することで，概況生成の精度が向上することが示された．
謝辞 この成果は，国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務の結果得られたものです．

向が不一致の場合には，全ての場合で precision / recallが共に向上した．特に， Xshort-2step までの数値を用いた
場合に precision が， Xshort-3step までの数値を用いた場
合に recall が，最も高くなった（表 2 太字）．
各モデルでの生成結果を表 3 および表 4 に示す．表
3 の生成例では， Xshort-2step よりも以前の数値データを合わせて用いることで，参照時刻の不整合を解決できていることがわかる．一方，表 4 の生成例では，Xshort-2stepまで，もしくは Xshort-5step までの数値を用いることで，参照時刻の不整合を解決できている．
これらの実験結果より，参照時刻の不整合解消には，直近の数値だけでなく，以前の時刻で取得できるデータを合わせて使用することが効果的と言えるが，Xshort-6step までを入力とした場合に BLEU，precision /recall とも最大値となっていないことより，より大きい時間幅を持たせて入力とすれば，より良く不整合を解決できるとは限らないと言える．

5+ Xshort-5step

動向との一致正解文

動向との一致日経平均、小幅続伸で始まる
始値は 14 円高の 18961 円

提案手法：+ Xshort-1step

25.3
26.7
26.7
26.8
27.2
26.2

BLEU

正解文

24.0

提案手法：

生成文

結論
本研究では，時系列データを用いた動向説明文生成において，直近の数値データだけでなく，それ以前の複数のタイムステップで取得できる数値データをあわせて考慮することで，参照時刻の不整合を解消して概況

参考文献
Aoki, Tatsuya, Akira Miyazawa, Tatsuya Ishigaki, Keiichi Goshima, Kasumi Aoki, Ichiro Kobayashi, Hiroya Takamura, and Yusuke Miyao(2018) “Generating Market Comments Referring to External Resources,” in Proc. of INLG 2018, pp. 135–139.
Iso, Hayate, Yui Uehara, Tatsuya Ishigaki, Hiroshi Noji, Eiji Aramaki,Ichiro Kobayashi, Yusuke Miyao, Naoaki Okazaki, and Hiroya Takamura (2019) “Learning to Select, Track, and Generate for Data-toText,” in Proc. of ACL 2019, pp. 2102–2113.
Kingma, Diederik P. and Jimmy Ba (2015) “Adam: A Method for
Stochastic Optimization,” in Proc. of ICLR 2015.
Liu, Tianyu, Kexiang Wang, Lei Sha, Baobao Chang, and Zhifang Sui(2018) “Table-to-text generation by structure-aware seq2seq learning,” in Proc of AAAI.
Murakami, Soichiro, Akihiko Watanabe, Akira Miyazawa, Keiichi
Goshima, Toshihiko Yanase, Hiroya Takamura, and Yusuke Miyao(2017) “Learning to Generate Market Comments from Stock Prices,”in Proc. of ACL 2017, pp. 1374–1384.
Puzikov, Yevgeniy and Iryna Gurevych (2018) “E2E NLG Challenge:Neural Models vs. Templates,” in Proc. of INLG 2018, pp. 463–471.
Sutskever, I, O Vinyals, and QV Le (2014) “Sequence to sequencelearning with neural networks,” in Proc. of NIPS.
Taniguchi, Yasufumi, Yukun Feng, Hiroya Takamura, and Manabu Okumura (2019) “Generating Live Soccer-Match Commentary from PlayData,” in Proc. of AAAI.
漆原理乃・小林一郎 (2018) 「人の動作および物体認識に基づく動画像からの文生成」，『言語処理学第 24 回会年次大会 (2018)』，160–163 頁．
村上総一郎・笹野遼平・高村大也・奥村学 (2017) 「数値予報マップからの天気予報コメントの自動生成」，『言語処理学会第 23 回年次大会 (2017)』，1121–1124 頁．

を生成するモデルを提案した．6 ステップ前までに取― 412 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.