DEIM Forum 2023 1a-4-4

ニューラルトピック将来予測モデルの構築
中村

礼音†

森嶋

厚行††

伊藤

寛祥††

† 筑波大学情報学群知識情報・図書館学類 〒 305-8550 茨城県つくば市春日 1-2†† 筑波大学図書館情報メディア系 〒 305-8550 茨城県つくば市春日 1-2
E-mail: †nakamura.reon@klis.tsukuba.ac.jp, ††{mori,ito}@slis.tsukuba.ac.jp
あらまし

文書集合から潜在的なトピックを推定するモデルとしてトピックモデルが存在し，テキスト分析の分野において多くの成果が得られている．一方，既存のトピックモデルでは未観測の将来の潜在的トピックを予測することができない．本研究では，時間情報が含まれる文書データを対象に，ニューラルネットワークを用いて，未観測の将
来のトピックおよび各トピックの将来の文書量を予測するニューラルトピック将来予測モデルの構築を提案する．また，さまざまな手法で将来予測モデルを構築し，建築分野の特許文書と新型コロナウイルスに関するニュースデータ
を対象に手法の実験による検証結果を報告する．実験では，トピックモデルの推定とトピックの予測モデルの学習を同時に行うモデルが精度を維持したまま学習時間を削減可能であることがわかった．
キーワード 情報抽出，意味解析，時系列コーパス
トピック将来予測モデル」と呼ぶこととする．より良いニュー

1 序

論

文書集合から潜在的なトピックを推定するモデルとしてト
ピックモデルが存在し，テキスト分析の分野において多くの成果が得られている．トピックモデルは，データに含まれる共起情報を扱った理解しやすいモデルであるため，「文書分類」「テキスト要約」「検索推薦」など，幅広い領域で利用されている [1] [2] [3]．潜在ディリクレ配分法（LDA） [4] は，単語の共起性を統計モデルとして扱った代表的なトピックモデルの手法である．具体的には，各文書には潜在的なトピックがあると仮定し，統計的に共起しやすい単語の集合が生成される要因を，
この潜在トピックという観測できない確率変数で定式化している．LDA では，一つの文書には複数の潜在トピックが存在すると仮定し，そのトピックの配分率をベイズ推論（変分ベイズ推
定・ギブスサンプリング）を用いてモデル化する．またニュー
ラルトピックモデル（NTM）[5] [6] [7] は，変分オートエンコー
ダ（VAE） [8] を用いて潜在トピックとトピックの配分率を推論する手法である．NTM は多層パーセプトロンをもつニュー
ラルネットワークモデルで学習を行っているため，LDA と比
べてはるかに複雑な推論を行うことができる．
一方，既存のトピックモデルでは未観測の将来の潜在的トピックを予測することができない．トピックモデルの活用領域の広さを考えると，時系列文書を想定したトピックの将来予測は重要な問題であると考えられる．より具体的には，ネット記
事のトピックや特許文書の技術トピックのトレンドがこれまで
どのように変化してきたか，あるいは今後どのようなトピックが盛り上がっていくのか，などといった洞察を得たい場合が挙げられる．
そこで本研究では，時間情報をもつ文書集合から，「将来の潜在トピック」と「将来のトピックを構成する文書量」を予測するためのモデルを提案する．以下，このモデルを「ニューラル

ラルトピック将来予測モデルを構築するために，いくつかのモデルを導入して実験的に評価を行う．
ニューラルトピック将来予測モデルの基本的なアイデアは，「将来の潜在トピック」と「将来のトピックを構成する文書量」の予測に基づいているため，様々な学習方法や予測モデルを利用する方法が考えられられる．その中の一つの手法は，次のよ
うなものである．はじめに，文書集合から話題となっているト
ピックとトピックを構成する文書量を把握するために，ニュー
ラルトピックモデルを導入する．次に，「未観測の将来のトピッ
ク」と「将来のトピックを構成する文書量」を把握するための予測モデルとして LSTM [9] を導入する．予測のフェイズでは，

NTM から推定されたトピックとトピックを構成する文書量を用いて，次のタームのトピックとトピックを構成する文書量を推定するための学習を行う．この NTM と LSTM の損失関数をそれぞれ結合することによって同時にモデルの最適化を行う．
またこの手法の変種として，同時に最適化を行わず順に最適化を行うというものも考えられる．
ここで，時間情報をもつ文書集合の意味解析を行う際は，それぞれの期間で整合性のあるトピックを生成する必要がある．
例えば，ここでニュース記事のような時系列文書集合を特定の期間ごとに分析した場合を仮定する．特定の期間ごとに意味解析を行った場合，トピックは入力コーパスに依存して生成されるため，それぞれの期間で全く意味の異なるトピックが生成される．そのため，生成された各期間のトピックと各期間のトピックの配分率を比較しても，トピックの変化やトピックのト
レンドの推移を理解することができない．そこで，あらかじめ訓練データ全体で学習した事前学習済みニューラルトピックモ
デルを構築し，事前学習済み NTM のパラメータ全体を各期間で学習する NTM の初期パラメータとして受け継ぐことで，異なる期間でも整合したトピックが生成されるように工夫する．

実験では，「1999 年から 2019 年までの建築分野の特許文書」と「2019 年 6 月から 2022 年２月までの新型コロナウイルスに関する Yahoo ニュース記事」をデータセットとして使用し，提案手法の検証を行った．トピックモデルとしての性能評価指標
として，モデルの汎化性能を図る指標である Perplexity を使用
した．既存手法である LDA [4] との Perplexity スコアを比較

図 1: 既存手法と提案手法の比較．

することで，トピックモデルの有効性を比較した．また，より良いニューラルトピック将来予測モデルを発見するために，平
均二乗誤差（MSE：Mean Squared Error）を用いて予測の性能評価を行った．

な推論を行うことが難しくなってきている．

Wang らによって提案されたニューラルトピックモデル（NTM） [5] [6] [7] は，これらの問題を解決した．NTM は，変本研究の貢献は次の通りである．

分オートエンコーダ（VAE）[8] を利用したトピックモデルであ（ 1 ） 我々の知る限り，本論文はニューラルネットワークをり，入力データをおおよそ多変量標準正規分布に従うランダム

用いて時系列文書集合を対象にトピックモデルの予測を行うな潜在変数に次元削減させる．さらにランダムな潜在変数から「ニューラルトピック将来予測モデル」の構築を提案する初め

サンプリングし，多層パーセプトロン層（MLP）をもつニューての論文である．

ラルネットワークモデルを経由することで入力を再構成する生（ 2 ） トピック将来予測モデルの構成要素として，時系列予成モデルである．NTM は MLP をもつニューラルネットワー

測を可能にするための事前学習，トピック学習モデル，将来予クモデルであり，LDA と比べてはるかに複雑な推論が可能と測モデルの組み合わせという枠組みを提示する．

なった．また NTM では，並列計算や GPU を用いた実装も可（ 3 ） 実世界データを対象に，いくつかの具体的なモデルを能となり，高速な推論も行うことができる．損失関数を同時に構築して実験評価している．その結果，トピックモデルの推定最適化するだけでほかのモデルとの融合学習も容易に行うこととトピックの予測モデルの学習を同時に行う手法が，予測精度ができるため，本研究では NTM を利用することとする．

を維持したまま学習時間を削減できることを明らかにした．

2 関連研究2. 2 時系列データを扱ったトピックモデル手法
時間情報を考慮したトピックモデルは，これまで数々提案されてきた．もっとも代表的な例として，M.Blei らによる Dynamic

トピックモデルは，文書が生成される過程を，確率を用いてTopic Model（DTM） [10] がある．DTM では，トピックごとモデル化した確率生成モデルであり，確率論の枠組みでさまざの単語部出現確率が変化することを仮定する．単語分布は連続

まな情報を統合できるため，多様な情報を扱うためのトピック

値をとる確率変数であるため，連続型の確率分布である正規分モデルの拡張が数多く提案されてきた．しかし，図１（本研究布を生成分布とすることで，以前の状態のパラメータを受け継と特に関係が深い既存手法と提案手法を比較した表）に示すよ

いだ意味解析を行うことができる．DTM を用いることで，ト

うに既存手法には，時系列コーパスを用いた予測モデルはほとピックの様々な潜在情報の変化を扱うことが可能となった．しんど存在しない．1 節，2 節で本研究に関連したさまざまなト

かし，DTM は時間情報を考慮することにのみ着目しており，

ピックモデル手法を概説し，提案手法との関係や違いを述べる．

将来のトピックとトピックのトレンドの予測を行うことはでき

次に 3 節で，トピックの変化をとらえるための予測モデルを導ない．そのほかに時間情報を扱ったトピックモデルとして，そ入する．

のほかにも J.Rieger らの Rolling LDA [11] や H.Amoualian ら

2. 1 静的コーパスのためのトピックモデル手法の Streaming-LDA [12] などが挙げられるが，こちらも DTM

大規模文書集合から，有益な情報を得るためのツールとしてトピックモデルがある．トピックモデルを用いることにより，人手を介在させることなく，大規模文書集合から話題になっているトピックを抽出することができる．また，文書ごとのト
ピックの配分率を知ることができる．トピックモデルの最も代表的な手法である潜在ディリクレ配分法（LDA）[4] は，トピッ
クを生成する分布とトピックの単語を生成する分布にディリク
レ事前分布を仮定し，ベイズ推定（変分ベイズ推定やギブスサ
ンプリング）する手法である．LDA を拡張した手法もさまざま提案され，その有用性が確認されてきた．しかしながら LDA
は，新しいデータを用いて推論をする際に，モデルをあらためて構築する必要がある．また，データ数が増しより複雑な推論が必要とされるにつれて，これらのパラメータの高速かつ正確と同様に将来のトピックとトピックのトレンドの予測を行うことはできない．
将来のトピックの分布を予測する数少ない例として，Y.Wangらが提案した Temporal-LDA（TM-LDA） [13] がある．TM-

LDA は，同一著者による一連の投稿のようなテキストストリー
ムを効率的にマイニングするためのトピックモデル手法であり，学習された TM-LDA を用いることで将来の投稿におけるトピック分布を予測することができる．TM-LDA は，7 日前までの文書コーパスを持ちることでその期間のトピックの分布を生成し，8 日目のトピックの分布を予測するモデルである．そのため，TM-LDA は各期間ごとで得られるトピックに整合性がなく時間遷移を考慮した分析を行うことはできない．また，トピックの単語分布の予測は行うことができない．
さらに，これらの時系列データを扱ったトピックモデル手法

はいずれも LDA に基づいて構築されたものであり，NTM を

p(z|x) がおおよそ標準正規分布 q(z) に従うと仮定する．このと使用した時間情報と予測を扱ったトピックモデル手法は，執筆

き p(z|x) のパラメータ µ と log σ は，xbow を入力としたニュー者の調べたところ存在しない．

ラルネットワークモデルで学習される．以下が µ と log σ の導2. 3 予測モデル
トピックモデルは，文書の大まかな意味構造をとらえることはできるが，時間ごとのトピックの変化をとらえることは困難である．そのため，本節ではトピックの変化をとらえるための予測モデルをいくつか紹介し，本研究で用いる予測モデルを導出過程である．

µ = fµ (fe (xbow )),log σ = fσ (fe (xbow ))(1)

ここで f∗ (·) は ReLU 活性化関数によるニューラル層である．
潜在変数 z は以下のようにサンプリングされる．

入する．

z ∼ N (µ, σ 2 )(2)

時間におけるデータの変化をとらえるための統計モデルを，
時系列解析と呼ぶ．時系列解析は回帰分析の一種で，目的変数に現在の値を，説明変数に過去の値を設定することで関係を数式化する．代表的な時系列解析手法として，自己回帰（AR）モデルと移動平均（MA）モデルが用いられてきた．AR・MA モ
デルから派生したモデルとして，自己回帰平均移動（ARMA）

続いて Decoder のプロセスを説明する．Decoder のプロセ
スでは，変数 z から再構成ベクトル x′ を生成する．具体的には，サンプリングされた変数 z を入力としたニューラルネット
ワークモデルが，再構成ベクトル x′ を出力する．数式で表現
すると，以下のように変数 z から x′ が導出される．

モデル，自己回帰和分平均移動（ARIMA）モデルなどが提案

θ = sof tmax(fθ (z))(3)

一方で，モデルに高い表現力が求められるにつれ，ARMA モ

x′bow ∼ sof tmax(fϕ (θ))(4)

デルなどの線形モデルでは十分な予測精度を得ることは困難に

Encoder と同様に，f∗ (·) は ReLU 活性化関数によるニューラなってきた．再帰型ニューラルネットワーク（RNN）は，再帰ル層である．

された．

構造を持つ多層のニューラルネットワークをシーケンスごとに既存のトピックモデル同様出現語彙の個数を V ，トピックのつなぎ合わせることで，時系列データの複雑な学習を可能とし個数を K としたとき，式（3）の θ が K 個のトピック分布，式ている．RNN の中でも，Long Short Term Memory（LSTM） （4）のパラメータ ϕ がトピックごとの V 個の単語分布となる．
[9] は，多種多様な問題で高い精度を出しており，広く用いられている．本研究では，高い予測精度を持ちかつ，ニューラルト

4 提案手法

ピックモデルとの融合学習も行いやすい LSTM を予測モデルとして用いる．

本研究では，時間情報をもつ文書集合から，「将来の潜在トピック」と「将来のトピックを構成する文書量」を予測するた

3 前提知識本章では，本研究で用いるニューラルトピックモデルのアー
キテクチャと数学的な定義を説明する．

3. 1 Neural Topic Model
本研究では，変分自己符号化器（VAE）を用いて潜在トピッ
クを抽出するニューラルトピックモデル（NTM）を使用している．VAE とは，次のようなプロセスで x を再構成する仕組みである．はじめに入力ベクトルを与えると条件付き分布 p(z|x)

めの「ニューラルトピック将来予測モデル」の構築を目指す．
最適なニューラルトピック将来予測モデルを構築するために，いくつかのモデルを導入して実験的に評価を行う．本章では，NTM と LSTM の損失関数をそれぞれ結合することによって同時にモデルの最適化する融合学習モデルの構築方法を紹介する．また本章で紹介するモデルの変種として，同時に最適化を行わず順に最適化を行うモデルが考えられるが，同様の議論を行うことで導出することができる．

4. 1 予測モデル

に従って変数 z を生成する．次に生成された z を与えると条件

はじめに予測モデルで使用する，Θ を導出する．前節では，付き分布 p(x′ |z) に従って再構成ベクトル x を生成する．この文書ごとのトピック分布を θ と表現した．θ は期間 t 中に出現

ように z を生成する前者のプロセスを Encoder，x を生成する

した文書数だけ存在する．しかし予測モデルでは各期間全体で後者のプロセスを Decoder と呼ぶ．トピックモデルに置き換のトピックのボリューム変化を捉えることが目的であるため，えた場合，トークンの Bag of Wards（BoW）ベクトルである

各期間ごとのトピックの配分率を以下のように表現する．

xbow が入力ベクトルとなり，Encoder と Decoder のプロセスを経て，再構成された BoW ベクトル x′bow を求めることと同

Θ=

k
X

θk

(5)

一である．ここで x は観測することができる変数である一方，

n=1

z は観測することができない変数である．本論文では z を他の

ここで Θ は期間 t 中の文書ごとのトピック分布の総和とした．

変数と区別するために潜在変数 z と呼ぶこととする．

なお現在のトピックの配分率 Θt から１ターム先のトピックのはじめに Encoder のプロセスを説明する．上の説明にて，

配分率 Θt+1 を予測する際に，入力するデータをスケールする

変数 z が分布 p(z|x) から生成されることを確認した．ここで必要がある．そのため各期間ごとに平均して含まれるコーパス図 2: NTM のアーキテクチャ．

性がある．しかしトピックのトレンドの遷移を正しく理解する

数で割ることによって，データのスケールを確保した．

Θscaled =ΘN̄

ためには，異なる期間であっても潜在的なトピックの内容は一(6)貫している必要がある．この問題を解決するために事前学習済

ただし N̄ は，各期間ごとに含まれる平均コーパス数である．

み NTM を利用する．事前学習済み NTM は，あらかじめ訓

続いて予測モデルの作成プロセスを紹介する．単純なフィー練データとなる期間の文書集合全体でニューラルトピックモ

ドフォワード・ニューラルネットワークでは，時系列データのデルを訓練することによって構築する．次にそれぞれの期間で性質を十分に学習することができないため再帰型ニューラル

ニューラルトピックモデルを訓練する際，事前学習済み NTM

ネットワーク（RNN），中でも LSTM を使用する．予測のフェのパラメータ全体を各期間のモデルに受け継ぐことによって，

イズでは現在の Θt と ϕt を LSTM の入力とし，１ターム先の異なる期間でも整合性のあるトピックを生成できるようにする．

Θt+1 と ϕt+1 を予測する．予測は，各期間ごとで Θt+1 と ϕt+1

4. 3 モデルの訓練を入力し予測モデルのパラメータを更新するオンライン学習の方法を利用する．トピックの配分率の予測モデルとトピックの単語分布の予測モデルは定式化される．

各モデルの損失関数を定義する．ニューラルトピックモデル（NTM）の場合，目的関数は負の変分下限に基づいて以下のよ
うに定義される．

b t+1 = fΘ (Θt , ht )Θ(7)

ϕbt+1 = fϕ (ϕt , ht )(8)

4. 2 モデルのアーキテクチャ
本節では，ニューラルトピックモデル（NTM）と LSTM を

Lntm = DKL (p(z)||p(z|x)) − Eq(x|z) [p(x|z)](9)損失関数の第一項は z を生成する分布 p(z|x) と多変量標準正規分布 p(z) との KL ダイバージェンス損失であり p(z) に近似するよう p(z|x) が学習される．続いて損失関数の第二項は交差エントロピー再構成損失であり，入力 xbow と出力 x′bow が一致す

融合学習するプロセスを紹介する．はじめに，t 期のコーパス

るように学習される．NTM の損失関数は，第一項が Encoderの Bag of Words 表現されたベクトルを NTM の入力として与の損失関数，第二項が Decoder の損失関数を表す．次に，予測えることで，t 期のトピックの配分率 Θt とトピックごとの単語モデル（LSTM）の目的関数には平均二乗誤差（MSE）を導入

分布 ϕt を推定する．次にこれらの生成分布 Θt と ϕt をそれぞする．

れ予測モデル（LSTM）に与えることで，１ターム先のトピッ
クの配分率 Θt+1 とトピックごとの単語分布 ϕt+1 を予測する．

LlstmΘ =1 X b( Θ i − Θi ) 2
n i=0

(10)

Llstmϕ =1 X b(ϕi − ϕi )2
n i=0

(11)

n−1

ここで使用された NTM と Θ と ϕ の LSTM の損失関数を同時に誤差逆伝播法によって最小化する．以上の流れを各期間ごとに行うことモデルを訓練する．モデルのアーキテクチャは図 3に示してある．
なお，NTM は時間情報を持たない静的なコーパスを分析す
ることを前提としており，異なる期間のコーパスで意味解析を行った際，潜在的なトピックの内容が全く異なってしまう可能

n−1

次に NTM と LSTM の損失関数を線形結合して誤差逆伝播法によって最小化することで，NTM と LSTM を同時に最適化
することができる．損失関数は

L1 = Lntm + LlstmΘ

(12)図 3: 提案手法のアーキテクチャ．

L2 = Lntm + Llstmϕ(13)のように Θ と ϕ の場合それぞれで作成し，特定のエポックごとに Θ と ϕ の最適化を行う．以上のように 2 つのモデルのパラメータを同時に最適化することによって，NTM と LSTM の融合学習を行う．また，実験では 2 つのモデルの損失関数を別々に最適化した２フェイズのモデルも同様に性能評価を行う．

次にこれらの時系列コーパスを特定の期間ごとに分割した．

(1) 「建築分野に関連した特許文書（1999 年から 2022 年）」 は，
年ごとにデータセットを分割し 1999 年から 2017 年までを訓練データ，2018 年と 2019 年までをテストデータとして使用した．(2) 「Yahoo ニュースに掲載された新型コロナウイルスのニュース記事（2020 年 6 月から 2022 年 02 月）」は，月ごとに
データセットを分割し 2020 年 6 月から 2022 年 7 月までを訓5 実験

練データ，2022 年 1 月から 2022 年 2 月までをテストデータとして使用した．

実験では，「建築分野の特許文書」と「新型コロナウイルスに関するニュース記事」をデータセットとして使用した．本研

5. 2 性能評価指標

究で提案している手法は，トピックモデルと予測モデル双方を本研究で提案している手法は，トピックモデルと予測モデル

利用したモデルであり，それぞれの性能評価が必要となる．トを融合したモデルであり，それぞれの性能評価が必要となる．

ピックモデルとしての性能評価指標として Perplexity，予測モ

トピックモデルとしての性能評価指標として Perplexity，予測

デルの性能評価指標として二乗誤差（MSE）を導入し，既存のモデルの性能評価指標として二乗誤差（MSE）を導入し，既存モデルと比較することで，学習の有効性を検証した．

のモデルと比較することで，学習の有効性を検証した．
はじめにトピックモデルとしての性能評価指標として用いる，

5. 1 データセット
本研究では，日本語の時系列コーパスとして (1) 「建築分野Perplexity を説明する．Perplexity とは，言語モデルの汎化性
能を図る性能評価指標であり，に関連した特許文書（1999 年から 2019 年）」と (2) 「Yahoo
ニュースに掲載された新型コロナウイルスに関するニュース記
事（2020 年 6 月から 2022 年 2 月）」を使用した．両コーパスとも形態素解析ソフトウェアの Mecab と mecab-ipadic-NEologd
辞書を用いてパース処理を実施した．はじめに，「建築分野の特許文書」に関するパース処理の過程を説明する．「建築分野の特許文書」には，「前記」「図」「先行文献」などといった文書に共通のフレーズが含まれている．そのため，頻出度が上位

100 位までの単語はあらかじめ取り除いた．また，全文書中に含まれる単語のうち出現回数が５回以下の単語は除去し，特殊記号や数値は取り除いた．次に，「新型コロナウイルスに関するニュース記事」は，全文書中に含まれる単語のうち出現回数が３回以下の単語は除去し，特殊記号や数値は取り除いた．これらの処理を図って，最終的に得られた各総単語数は (1)「建築分野の特許文書」：69618 語，(2)「新型コロナウイルスに関するニュース記事」：67801 語となった．

P erplexity = exp−L[w|M ]
PM
n
d=1 d

(14)

のように定義される．Perplexity は直観的には単語をどれだけ絞り込めたかを示した評価指標である．例えば，ある文書の 1
単語が隠されているとする．語彙数が 10000 のとき，ランダムなモデルでは，隠されている単語の選択肢の数は 10000 となる．例えば，あるモデルの Perplexity が 1000 の場合，それは隠された単語の選択肢の数を 1000 まで単語の候補を絞ることができたことを示す．つまり，Perplexity がより低いモデルほど，よりよいモデルであるといえる．
続いて，予測モデルの性能評価指標として，平均二乗誤差（MSE）を導入する．以下のような数式で定義される．

1 X(by i − yi ) 2
n i=0
n−1

M SE =(15)

予測値と実測値が近ければ近いほど，MSE の値は低い値となる．

の学習の有効性を検証した．

5. 4 実験結果と考察
5. 4. 1 既存手法との Perplexity の比較
本節では，既存手法と本研究で用いているトピックモデルの学習法の精度を検証する．はじめに，(1)(2)(3)(5) の「Θ の「Per-plexity」を比較する．「特許文書」をもちいたときと，「ニュース記事」をもちいたときの結果をそれぞれ表 1 と表 2 にまとめた．なお，ここでの「Perplexity」は学習期間それぞれでえられた Perplexity の平均である．(1)(2)(3) はニューラルネッ
ト層のサイズと学習回数のニューラルトピックモデル（NTM）
を実行しているため，Perplexity の値はほとんど変わらなかった．(4)LDA の Perplexity の結果と (1)(2)(3) の NTM を用い
図 4: 比較手法．

たモデルをもちいた結果を比較してみると，NTM を用いたモデルの方がよりよい Perplexity を得ることが確認できた．

5. 3 実 験 設 定
次に，実験の比較方法を説明する．はじめに，予測モデルとの性能評価と融合学習の効果を検証する．検証のために以下の4 つのモデルを導入する．いずれのプロセスも Train データから構築された Pre-Training NTM を用いて，新しいデータのト
ピックとトピックを構成する文書量を推定するという点では一

表 1: 「特許文書」を用いたときの Perplexity の比較
モデルの種類

Perplexity 計算時間

(1) NTM と LSTM の融合学習モデル

2466.5102.8(2) NTM と LSTM の２フェイズ学習モデル

2462.6110.1(3) NTM と LINEAR の融合学習モデル

2464.485.0(5) 潜在ディリクレ配分法（LDA）

4735.6148.5

致している．

(1) NTM と LSTM の融合学習モデル；ニューラルニューラ
ルトピックモデル（NTM）と LSTM の損失関数を同時に最適化したモデル．

(2) NTM と LSTM の２フェイズ学習モデル；NTM の損失

表 2: 「ニュース記事」を用いたときの Perplexity の比較
モデルの種類

Perplexity 計算時間

(1) NTM と LSTM の融合学習モデル

912.5

関数をはじめに最適化したのち，LSTM の損失関数を最適化す(2) NTM と LSTM の２フェイズ学習モデル

912.8

149.1

る方法．

(3) NTM と LINEAR の融合学習モデル

913.1

107.1

(5) 潜在ディリクレ配分法（LDA）

2669.9211.2(3) NTM と LINEAR の融合学習モデル；NTM と単純な線

141.8形（Linear）モデルの損失関数を同時に最適化したモデル．

(4) TM-NTM（NTM と遷移パラメータ T の２フェイズモデル）；NTM と TM-LDA [13] の遷移パラメータ T を用いて予測を行うモデル．

5. 4. 2 融合学習の効果と予測精度
本節では，NTM と LSTM を融合学習することの効果と予測モデルとして LSTM を用いる意義を確認する．テストデータのこれらのモデルの「Θ の予測モデルの平均二乗誤差（MSE）損

トピックまたはトピックを構成する文書量を予測した際の平均失」「ϕ の予測モデルの平均二乗誤差（MSE）損失」「Perplexity」

二乗誤差（MSE）の値を，表 3 と表 4 にまとめる．ここでラベを比較することで，学習の有効性を検証した．また，平等な比ルとなっている Θ と ϕ は NTM を訓練の時と同等のエポック較をするために，それぞれのモデル隠れ層のサイズとニュー数で学習して得られたものを用いた．仮説では，「(1) NTM とラルネットワーク層のサイズは統一して検証を行った．なお，

LSTM の融合学習モデル」の方が，「(2) NTM と LSTM の２(4) TM-NTM はトピックの単語分布の予測はできないため，

フェイズ学習モデル」に比べてより低い MSE が得られると期「Θ の予測モデルの平均二乗誤差（MSE）損失」のみ出力する．

待したが，両モデルの値を比較してみると有意な差はなかった．

TM-LDA とは異なり，トピック分布の推定を NTM を用いてしかし，融合学習モデルは，２フェイズモデルより短い実行時間

行っている．学習回数であるエポック数は，「特許文書」を 200，

でほぼ同等の精度を得ることができた．また，「(4) TM-NTM「ニュース記事」を 150 とした．

（NTM と遷移パラメータ T の２フェイズモデル）」に比べて，次に，既存のトピックモデル手法と比べたときの学習の有効(1)(2)(3) のモデルはかなり良い値を得ることができ，ニューラ性を検証するために，(5) 潜在ディリクレ配分法（LDA）を導ル層を用いた予測の有効性が確認できた．さらに，「(3) NTM

入した．こちらも (1)(2)(3) と同様に，エポック数を「特許文と LINEAR の融合学習モデル」と比べて，(1)(2) のモデルは

書」
：200，
「ニュース記事」：150 で実験を行った．しかし，LDA

より良い値を得ることができた．この結果から予測モデルとしでは将来のトピックの予測を行うことはできないため，訓練期て，LSTM を用いたことの意義が確認できた．

間のみの Perplexity を比較することで，トピックモデルとして最後に，実際のトピックの単語分布と予測モデルからえられたトピックの単語分布を出力した結果を紹介する．テストデー

記事」は 2020 年 6 月から 2021 年 12 月までの 19 タームしか

表 3: 「特許文書」を用いたときの予測精度の比較
モデルの種類M SEΘ

(1) NTM と LSTM の融合学習モデル

0.000027 0.002208

M SEϕ(2) NTM と LSTM の２フェイズ学習モデル 0.000028 0.002219(3) NTM と LINEAR の融合学習モデル

0.000069

0.10399(4) TM-NTM

0.449250-べきだと考えられる．以上より，引き続き実験の検証が必要だと考えられる．

謝辞本研究の一部は

表 4: 「ニュース記事」を用いたときの予測精度の比較
モデルの種類M SEΘ

(1) NTM と LSTM の融合学習モデル

0.00102 0.00311

M SEϕ(2) NTM と LSTM の２フェイズ学習モデル 0.00096 0.00316(3) NTM と LINEAR の融合学習モデル

0.00276 0.22511(4) TM-NTM

1.45295-

タである 2016 年の「建築分野の特許文書」を使用し，実際のトピックの単語分布を図 5 に，予測モデルからえられたトピッ
クの単語分布を図 6 にまとめた．なお，表示している単語数は上位 10 語としている．

5. 4. 3 結果の考察
続いて結果の考察を行う．本研究で提案した手法は，LDAと比べてよりよい性能を得ることができた．また，NTM とLSTM の損失関数を同時に最適化することによって，既存のNTM よりもモデルの性能が劣ることはなかった．実験を通じて，NTM を用いてトピックとトピックを構成する文書量の時間変化を観察することができた．
一方，予測性能は今回の結果のみを用いて精度を比較することは困難であったと考える．理由の一つが予測するための期
間が少なかった点が挙げられる．具体的には，「建築分野の特許文書」は予測期間が 1999 年から 2015 年までの 17 ターム，
「Yahoo ニュースに掲載された新型コロナウイルスのニュース記事」は 2020 年 6 月から 2021 年 12 月までの 19 タームしかなかった．十分なデータ数を確保して，100 タームほどの予測期間のあるデータセットでも実験を行うべきだと考えられる．

6 結なかった．そのため，十分なデータ数を確保して，実験を行う

論

本研究は NTM と予測モデルの融合学習によって，未観測の将来のトピックと将来のトピックを構成する文書量を予測することを目指した．
実験では，トピックモデルの性能と予測モデルの性能を，それぞれ Perplexity と平均二乗誤差（MSE）を性能評価指標として用いて検証した．提案手法は，既存手法と比べてよりよい性能を得ることができた．また，トピックモデルの推定とトピッ
クの予測モデルの学習を同時に行う手法が，予測精度を維持したまま学習時間を削減できることを明らかにした．
一方，予測性能は今回の結果のみを用いて精度を比較することは困難であったと考える．理由の一つが予測するための期
間が少なかった点が挙げられる．具体的には，「建築分野の特許文書」は予測期間が 1999 年から 2015 年までの 17 ターム，
「Yahoo ニュースに掲載された新型コロナウイルスのニュース

22K17944)

JSPS 科 研 費 (22H00508，20K23337，

および株式会社熊谷組の支援による.

文

献[1] Xing Yi and James Allan. A comparative study of utilizing topic models for information retrieval. In Mohand
Boughanem, Catherine Berrut, Josiane Mothe, and Chantal
Soule-Dupuy, editors, Advances in Information Retrieval,
pp. 29–41, Berlin, Heidelberg, 2009. Springer Berlin Heidelberg.
[2] Shixia Liu, Michelle X. Zhou, Shimei Pan, Yangqiu Song,
Weihong Qian, Weijia Cai, and Xiaoxiao Lian. Tiara: Interactive, topic-based visual text summarization and analysis.
ACM Trans. Intell. Syst. Technol., Vol. 3, No. 2, feb 2012.
[3] Miha Pavlinek and Vili Podgorelec. Text classiﬁcation
method based on self-training and lda topic models. Expert Systems with Applications, Vol. 80, pp. 83–93, 2017.
[4] David Blei, Andrew Ng, and Michael Jordan. Latent dirichlet allocation. In T. Dietterich, S. Becker, and Z. Ghahramani, editors, Advances in Neural Information Processing
Systems, Vol. 14. MIT Press, 2001.
[5] Yishu Miao, Edward Grefenstette, and Phil Blunsom. Discovering discrete latent topics with neural variational inference, 2017.
[6] Akash Srivastava and Charles Sutton. Autoencoding variational inference for topic models, 2017.
[7] Yue Wang, Jing Li, Hou Pong Chan, Irwin King, Michael R.
Lyu, and Shuming Shi. Topic-aware neural keyphrase generation for social media language, 2019.
[8] Diederik P Kingma and Max Welling. Auto-encoding variational bayes, 2013.
[9] Sepp Hochreiter and Jürgen Schmidhuber. Long short-term
memory. Neural Comput., Vol. 9, No. 8, p. 1735–1780, nov
1997.
[10] David M. Blei and John D. Laﬀerty. Dynamic topic models. In Proceedings of the 23rd International Conference on
Machine Learning, ICML ’06, p. 113–120, New York, NY,
USA, 2006. Association for Computing Machinery.
[11] Jonas Rieger, Carsten Jentsch, and Jörg Rahnenführer.
RollingLDA: An update algorithm of Latent Dirichlet Allocation to construct consistent time series from textual data.
In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 2337–2347, Punta Cana, Dominican
Republic, November 2021. Association for Computational
Linguistics.
[12] Hesam Amoualian, Marianne Clausel, Eric Gaussier, andMassih-Reza Amini.
Streaming-lda: A copula-based
approach to modeling topic dependencies in document
streams. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data
Mining, KDD ’16, p. 695–704, New York, NY, USA, 2016.
Association for Computing Machinery.
[13] Yu Wang, Eugene Agichtein, and Michele Benzi. Tm-lda:
Eﬃcient online modeling of latent topic transitions in social media. In Proceedings of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data
Mining, KDD ’12, p. 123–131, New York, NY, USA, 2012.

図 5: 2016 年の実際の単語分布

図 6: 2016 年の予測された単語分布

Association for Computing Machinery.