統計数理（2020）
第 68 巻 第 2 号 219–231©2020 統計数理研究所

特集「Institutional Research と統計科学」［原著論文］

トピックモデルを用いた研究動向の分析
武井 美緒1 ・藤野 友和2 ・中野 純司3,4（受付 2019 年 5 月 30 日；改訂 2020 年 1 月 6 日；採択 1 月 16 日）

要旨

少子高齢化等に伴い大学の経営難が問題になっている．そのため，大学においても戦略的に学内の支援対象を選択する必要に迫られており，その際には，研究活動の状況や特徴を把握し，評価しなければならない．研究評価の手法としてインパクト・ファクター等の論文の引用情報を用いた手法が利用されることが多い．しかし，引用分析にはいくつかの問題が指摘されている．そこで，研究内容が直接的に表現されている論文の要旨を用い，Hierarchical（HDP）
を Latent Dirichlet Allocation（LDA）に適用したモデルを利用して要旨
Dirichlet Process
内のトピックを抽出し，対象とする組織やグループ毎の研究の動向を把握するための分析方法を紹介する．本研究では，統計科学分野の著名な論文誌と統計科学に関連する二つの研究所の論文の要旨を用いて分析を行い，研究の特徴や論文の発行年度毎の動向が把握できることを確認した．
キーワード：トピックモデル，ノンパラメトリックベイズ，階層ディリクレ過程，
Institutional Research．
1.

はじめに

国立大学法人運営交付金の削減や少子高齢化に伴い，大学の経営難が問題になっている．そのため，大学においても効果的また，戦略的に学内の支援対象を選択する必要に迫られている．その際には，大学内外や特定の分野の研究活動の状況や特徴を把握し，評価しなければならない．
研究評価の手法としてインパクト・ファクター等の論文の引用情報を用いた手法が利用されることが多い．しかし，引用分析にはいくつかの問題が指摘されている（Cole and Cole, 1971;．そこで，研究内容が直接的に表現されている論文のPorter, 1977; Edge, 1979; Lindsey, 1989）
本文（または要旨）を用いた分析が行われており，語の出現頻度や共語（語の共起回数の頻度）を利用し，論文間の研究内容の遠近やクラスター分け等の分析が行われている（Callon et al.,
1983; Law et al., 1988; Braam et al., 1991）．
また，論文の要旨を用いた研究として，Proceedings of the National Academy of Science（PNAS）の論文の要旨に対して，トピックモデルを利用し推定したトピックと既存の分類の比．オペ較や，トピック毎の流行の調査を行なっているものがある（Griﬃths and Steyvers, 2004）
1

統計数理研究所 特任技術専門員：〒 190–8562 東京都立川市緑町 10–3

2福岡女子大学 国際文理学部：〒 813–8529 福岡市東区香住ヶ丘 1–1–1

3

中央大学 国際経営学部：〒 192–0393 東京都八王子市東中野 742–1

4

統計数理研究所：〒 190–8562 東京都立川市緑町 10–3

統計数理

220

第 68 巻 第 2 号 2020

レーションリサーチや経営科学，交通研究の分野では，対象の分野の論文誌の論文の要旨を用いて，トピックモデルを利用し，要旨の内容をいくつかのトピックに分類し，分野内でどのようなトピックの研究が行われているか，さらにその動向を調査する分析が行われている（Gatti．これらの研究では，トピック推定にトピックモデルの手法とet al., 2015; Sun and Yin, 2017）（LDA）（Blei et al., 2003）を利用してして最もよく利用されている Latent Dirichlet Allocationいる．また，Science の論文を用い，時系列の情報を加味したトピックモデルである Dynamicや，時Topic Model を評価し，トピックの時間変化を調査した研究（Blei and Laﬀerty, 2006）
系列の情報とノンパラメトリックベイズの手法の 1 つである，Hierarchical Dirichlet Process（HDP）（Teh et al., 2006）を拡張したモデルを提案し，Neural Information Processing Systems（NIPS）の論文の時系列の特徴を調査した研究がある（Ahmed and Xing, 2010）．
本研究では論文の要旨を用いて，研究評価のために必要な対象の組織やグループ毎の研究の動向を把握することを目的とする．対象の組織やグループの全ての要旨を HDP を利用していくつかのトピックに分類し，グループ毎に集計し，トピックの動向や特徴を探る．
2.

モデリング手法

利用するモデル及びそのサンプリング手法について説明する．
2.1 Hierarchical Dirichlet Process（HDP）
HDP はノンパラメトリックベイズの手法の 1 つで，Dirichlet Process（DP）を階層化し，子のDP が親の DP から得られた分布を基底分布とすることで，各状態で情報を共有することができる．そのため，HDP を LDA に適用することで文書間でトピックを共有することが可能になる．今後，HDP を LDA に適用した場合を HDP-LDA と呼ぶ．HDP-LDA の生成過程は以下の．
様になる（Teh and Jordan, 2010）G0 | γ, H ∼ DP (γ, H)（1）（2）
For each document d = 1, . . . , D（a）
Gd | α, G0 ∼ DP (α, G0 )（b）
For each word n = 1, . . . , Ndi. θdn | Gd ∼ Gdii. wdn | θdn ∼ F (θdn )ここで，H はパラメータ β の Dirichlet 分布，wdn ，θdn はそれぞれ文書 d の n 番目の単語，トピック．α，γ はハイパーパラメータを表す．F (θdn ) は単語毎の分布で多項分布を取る．
文書生成モデルを評価する指標として Perplexity がよく利用され，以下の式で定義される（Teh et al., 2006）．

(2.1)

1
exp − log p(w1 , . . . , wI |Training corpus)I

ここで，p(·) は対象のモデルの確率関数，I はテストデータの単語数を表す．
2.2 Chinese Restaurant Franchise（CRF）
HDP-LDA のサンプリングには理解が容易な Chinese restaurant process（CRP）を拡張した
Chinese restaurant franchise（CRF）（Teh et al., 2006）を使用した．
CRF は CRP を共通の料理をもつ複数のレストランへ拡張したサンプリング手法である．
CRF ではメニューが共有されているレストランのフランチャイズを考える．それぞれのレス

トピックモデルを用いた研究動向の分析

221

表 1．記号の説明．

トランに無限個のテーブルがあり，客がレストランに入店した際にテーブルを選び，選んだテーブルに客がいなければ料理を 1 つ選ぶ．他の客がいる場合は事前に選ばれている料理が提供される．どのテーブルにつくかの確率はそのテーブルを選んだ客の数に比例し，どの料理を選ぶかの確率はその料理を選んでいるレストラン全体のテーブルの数に比例する．なお，テーブルにて選択される料理は 1 つ，複数のテーブルで同じ料理を選択することが可能である．ト
ピックモデルとの対応として，レストランが文書，テーブルにて選択された料理がトピック（トピック数はレストラン全体の料理の種類数），客が各文書の単語となる．
CRF による HDP-LDA のサンプリングはモデル内のパラメータを周辺化削除した上でサンプリングを行う周辺化ギブスサンプリングを用いる．本研究では，事前分布としてパラメータβ の対称 Dirichlet 分布を用いた．表記法を表 1 に，推定方法を以下に示す（岩田, 2015）．
d の n 番目の単語（客）がテーブル l を選ぶ確率は，以下となる．
文書（レストラン）(2.2)

p(tdn = l | W, T\dn , Z, α, γ, β) =∝⎧⎪⎨p(tdn = l, zdl = k | W, T\dn , Z, α, γ, β)p(t=l= k | W, T,z, Z, α, γ, β)newdndlnew\dn⎪⎩p(tdn = lnew , zdlnew = knew | W, T\dn , Z, α, γ, β)⎧Nz w \dn +βdl dn⎪
既存テーブル⎪⎪Ndl\dn Nzdl \dn +βV⎨
MkNkw

dn \dn+βα M +γ N
⎪k\dn +βV⎪⎪
⎩α γ 1M +γ V

新テーブル，既存トピック k
新テーブル，新トピック

統計数理

222

第 68 巻 第 2 号 2020

文書（レストラン）d の l 番目のテーブルにてトピック（料理）k が選ばれる確率は，以下となる．
p(zdl =k|W, T, Z\dl , γ, β)(2.3) p(zdl =k|W, T, Z\dl , γ, β)=∝p(zdl =knew |W, T, Z\dl , γ, β)⎧Γ(Nk\dl +βV )⎪⎨Mk\dl Γ(Nk\dl +Ndl +βV )⎪⎩γΓ(βV )
Γ(Ndl +βV )Vv=1

Γ(Nkv\dl +Ndlv +β)
Vv=1
Γ(Nkv\dl +β)Γ(Ndlv +β)

Γ(β)V

既存トピック新トピック

こ こ で ，T\dn や Ndl\dn な ど の 下 付 き 文 字 で バ ッ ク ス ラ ッ シ ュ が 付 い て い る 集 合や 数 は ，下 付 き 文 字 で 示 さ れ て い る 値 を 除 い た 集 合 や 数 を 表 す ．例 え ば ，T\dn ={t11 , . . . , td,n−1 , td,n+1 , . . . , tDNd } は T から t\dn を除いた集合を表す．また，lnew , knew はと（2.3）を繰り返しサンプリングを行う．
新しく選ばれたテーブル，料理を表す．
（2.2）
反復後，文書トピック確率 θdk とトピック単語確率 φkv の推定値は以下のように計算できる．

(2.4)

θdk =Mk
1
Ndk + α M +γ
Nd +ααγ
1
Nd +α M +γ

Nkv +β(2.5)

3.

φkv =

Nk +βV
1V

既存トピック新トピック

既存トピック新トピック

分析方法

本研究の分析方法を説明する．分析方法の概要を図 1 に示す．
3.1 データ前処理
対象のグループ全ての論文の要旨を単語に分割し，データの前処理を行い，単語頻度表を作成する．
3.2 モデリング
単語頻度表のデータを元に，HDP-LDA を利用しパラメータ推定を行い，要旨の内容をデー

図 1．分析方法の概要．

トピックモデルを用いた研究動向の分析

223

タから推定した特定の数のトピックに分類する．推定後，文書トピック確率 θdk とトピック単語確率 φkv を計算する．
3.3 集計結果として得られた文書トピック確率 θdk と論文 d の発行年度，グループの情報を用いて，発行年度及びグループ毎に集計を行う．
発行年度 t，グループ g ，トピック k のトピック割合 ptgk は，(3.1)

ptgk =Dθ × δ(td = t ∧ gd = g)
d=1 dkDtgと計算する（Gatti et al., 2015; Sun and Yin, 2017）．ここで，td は文書 d の発行年度，gd は文書 d のグループ，Dtg は発行年度 t，グループ g の文書数を表す．また，δ(x) は x が正の場合 1を，それ以外の場合は 0 を返す関数である．
4.

分析

本 研 究 で は ，統 計 科 学 の 分 野 の 著 名 な 論 文 誌 と 統 計 科 学 に 関 連 す る 研 究 所 の 論
文 の 要 旨 を 用 い て 分 析 を 行 っ た ．分 析 用 の 論 文 の 要 旨 ，発 行 年 度 の 情 報 は Web of
Science か ら 取 得 し た ．HDP-LDA の 実 装 は Nakatani Shuyo 氏 の コ ー ド を 参 考 に し た（https://github.com/shuyo/iir/blob/master/lda/lda.py）．データの前処理として，単語の小（単語を辞書の見出し語のような活用されていな文字化，活用形の統一のために Lemmatization
い形に変換すること）の実施，ストップワード，記号，数字，1 文字の単語の除去を行った．また，全ての要旨の中で一度しか出現しない単語は分析に影響を与えないと考え取り除いた．さらに，極端に出現回数が多い単語は，分析用データの要旨を記載する際に共通の単語であり，要旨の内容を判別する際には不要と考え，それぞれのデータ毎に単語の出現回数を確認した上で，特定の回数以上出現した単語は取り除いた．パラメータ推定の際に，ハイパーパラメータは，α，γ は分布 Gamma(1, 1) に従うとし，β = 0.5 とした．反復は反復回数毎の対数尤度の時系列プロットを用いて対数尤度の値が安定するまで繰り返した（Omori, 2001）．対数尤度が安定した後の試行の中から対数尤度が最大の時のパラメータを利用した．本手法の検証として，各データセットの単語の 90% を訓練データ，残りの 10% をテストデータとして分割し，HDP-LDA と LDA でそれぞれ 3 回ずつ分析を行い，perplexity の値を比較し，HDP-LDA での分析結果が LDA の結果と比べて予測性能が悪化していないことを確認した．結果を表 2 に示す．LDA のトピック数は各 HDP-LDA の試行で推定された値，ハイパーパラメータ α と β はHDP-LDA と同一の対称 Dirichlet 分布を用いた．
4.1 統計科学の分野の著名な論文誌の分析
統計科学の著名な論文誌 5 誌（Varin et al., 2016）について，発行年度が 2001 年から 2016 年までの要旨を用い，各論文誌の研究の特徴や動向を把握するための分析を行った．論文誌の名称と論文数を表 3 に示す．
表 2．HDP-LDA と LDA の Perplexity の比較．

224

統計数理

第 68 巻 第 2 号 2020

表 3．統計科学の著名な論文誌の名称と論文数．

データの前処理として，本データでは 4,000 回以上出現した単語は取り除いた（取り除いた単語は次の通り．model, data, method, use, propose, study, estimator, estimate, test, distribution,．単語の種類数は V=11,114，単語の総数は N=545,091 となった．HDP-LDA を用いたsample）
パラメータ推定を反復回数 3,000 回行い，その結果トピック数は 15 となった．
推定されたパラメータを用いて計算したトピック割合 ptgk をトピック毎に集計し，集計した値が上位のトピックのトピック単語確率 φkv を表 4 に，そのトピックの時系列グラフを図 2 に示す．また，2016 年度の各論文誌のトピック割合 ptgk の積み上げグラフを図 3 に示す．
表 4 及び文書トピック確率 θdk の値が高かった要旨のタイトルより，トピック 1 は変数選択やモデル選択に関連した分析手法についてのトピック，トピック 2 は密度推定等の推定手法やその漸近特性に関連するトピック，トピック 3 は遺伝子を用いた分析に関連するトピック，トピック 4 は空間モデリング等の統計モデルを利用した分析に関連したトピック，トピック 5 は臨床試験の際に用いられる用量設定試験や因果推論に関連するトピック，トピック 6 は疫学研
究や機械の故障等の推定で用いられる生存時間解析に関連するトピック，トピック 8 は仮説検定のエラー率の調整に関連した分析手法についてのトピックと考えられる．また，図 3 より，BIOMETRICS は他の論文誌に比べてトピック 3，5，6 の遺伝子や疫学研究に関連するトピックの割合が大きいことがわかる．BIOMETRICS は統計学や数学のバイオサイエンスへの応用に関連する記事を掲載しているジャーナル（Biometrics mission, 2019）のため現実に即した結果であることが確認できる．図 2 より，変数選択等に関連したトピック 1 は全ての論文誌でトピック割合が増加傾向であることがわかる．近年のデータの飛躍的増大に伴い，変数選択に関連した研究が盛んに行われている結果であると考えられる．また，トピック 2 のグラフでは，他の論文誌に比べ ANNALS OF STATISTICS のトピック割合が例年高くなっていることがわ
かる．推定に関連した内容の論文が対象の論文誌ではよく取り上げられている可能性があると考えられる．本分析を用いることで，各論文誌の特徴，各トピックの動向から論文誌の全体の研究の動向，各論文誌の掲載論文のトピックの違いが把握できることを確認した．
4.2 研究所の分析と Academia Sinica 統計科学研究所（以下 Academia Sinica) の論
統計数理研究所（以下 ISM）
文の要旨を用い，二つの研究所の研究の特徴や動向を把握するための分析を行った．ISM とAcademia Sinica のデータとして，著者にそれぞれの機関に所属している人が 1 人以上含まれる論文を対象の機関のデータとした．また，発行年度は 2001 年から 2016 年までのデータを利用した．各研究所の論文数を表 5 に示す．
データの前処理として，本データでは 1,000 回以上出現した単語は取り除いた（取り除いた単語は次の通り．model, method, use, data, study）．単語の種類数は V=7,288，単語の総数はN=120,704 となった．HDP-LDA を用いたパラメータ推定を反復回数 1,000 回行い，トピック数は 18 となった．
推定されたパラメータを用いて計算したトピック割合 ptgk をトピック毎に集計し，集計した

トピックモデルを用いた研究動向の分析

表 4．統計科学論文誌データのトピック割合上位 7 トピックの単語確率 φkv の上位 20 単語．

225

226

統計数理

第 68 巻 第 2 号 2020

図 2．統計科学論文誌データのトピック割合の時系列グラフ．

図 3．統計科学論文誌データの 2016 年度のトピック割合の積み上げグラフ．

値が上位のトピックのトピック単語確率 φkv を表 6 に，そのトピックの時系列のグラフを図 4に示す．また，2016 年度の各研究所のトピック割合 ptgk の積み上げグラフを図 5 に示す．
表 6 及び文書トピック確率 θdk の値が高かった要旨のタイトルより，トピック 1 は統計科学の論文に共通して登場する単語が集まったトピック，トピック 2 はミトコンドリア等を用いた種の起源や系統等の分析に関連するトピック，トピック 3 は生物医学分野の細胞や遺伝子を用

トピックモデルを用いた研究動向の分析
表 5．各研究所の論文数．

表 6．研究所データのトピック割合上位 6 のトピック単語確率 φkv の上位 20 単語．

227

228

統計数理

第 68 巻 第 2 号 2020

図 4．研究所データのトピック割合の時系列グラフ．

図 5．研究所データの 2016 年度のトピック割合の積み上げグラフ．

いた分析に関連するトピック，トピック 4 は臨床試験等の経時データの分析に関連するトピッ
ク，トピック 6 は地震の分析に関連するトピック，トピック 7 は脳波や MRI を用いた分析に関連するトピックと考えられる．図 5 より，2016 年度では ISM は地震の分析に関連したトピッ
ク 6，Academia Sinica は生物医学分野に関連したトピック 3 の割合がお互いと比較すると割合が大きくなっていることがわかる．この結果より，近年の二つの研究所の特徴の違いを確認することができる．さらに，図 4 より，ISM は 2001 年から連続的にトピック 6 の割合が大きいが，Academia Sinica は 2006 年頃からトピック 3 の割合が増加していることがわかる．また，
ISM ではトピック 4 の割合が，Academia Sinica ではトピック 3 と 4 の割合が増加傾向にある
ことから，両研究所で医学統計に関連する研究が増加していると考えられる．本分析では，二つの研究所の特徴，その動向やどのような研究のトピックの割合が増加傾向にあるか把握できることを確認した．

トピックモデルを用いた研究動向の分析

5.

229

おわりに

本研究では，対象の組織やグループの研究の特徴や動向を把握するために，論文の要旨を用い，HDP-LDA を利用したトピック推定の結果を元に分析する手法を紹介した．統計科学の著
名な論文誌と研究所のデータを用いて分析を行い，対象のグループの研究の特徴や論文の発行年度毎の動向が把握できることを確認した．
また，今回は研究の動向を把握するため，論文の要旨のデータについての分析を行ったが，本分析手法はテキストデータのような離散型のデータであれば適用できるため，更なる活用が期待できると考えられる．

参考

文

献

Ahmed, A. and Xing, E. P. (2010). Timeline: A dynamic hierarchical dirichlet process model for recovering birth/death and evolution of topics in text stream, Proceedings of the 26th Conference
on Uncertainty in Artificial Intelligence, 20–29.
Biometrics mission (2019). http://www.biometrics.tibs.org/, 2019 年 5 月 27 日アクセス.
Blei, D. M., Ng, A. Y. and Jordan, M. I. (2003). Latent dirichlet allocation, Journal of Machine
Learning Research, 3, 993–1022.
Blei, D. M. and Laﬀerty, J. D. (2006). Dynamic topic models, Proceedings of the 23rd International
Conference on Machine Learning, 113–120, ACM, New York.
Braam, R. R., Moed, H. F. and van Raan, A. F. J. (1991). Mapping of science by combined co-citation
and word analysis. I. Structural aspects, Journal of the American Society for Information
Science, 42, 233–251.
Callon, M., Courtial, J. P., Turner, W. A. and Bauin, S. (1983). From translations to problematic
networks: An introduction to co-word analysis, Social Science Information, 22, 191–235.
Cole, J. R. and Cole, S. (1971). Measuring the quality of sociological research: Problems in the use ofthe science citation index, The American Sociologist, 6, 23–29.
Edge, D. (1979). Quantitative measures of communication in science: A critical review, History ofScience, 17, 102–134.
Gatti, C. J., Brooks, J. D. and Nurre, S. G. (2015). A historical analysis of the ﬁeld of OR/MS using
topic models, arXiv preprint, arXiv:1510.05154.
Griﬃths, T. L. and Steyvers, M. (2004). Finding scientiﬁc topics, Proceedings of the National Academyof Sciences of the United States of America, 101(Suppl 1), 5228–5235.

岩田具治 (2015).『機械学習プロフェッショナルシリーズトピックモデル』, 講談社, 東京.
Law, J., Bauin, S., Courtial, J. P. and Whittaker, J. (1988). Policy and the mapping of scientiﬁcchange: A co-word analysis of research into environmental acidiﬁcation, Scientometrics, 14,251–264.
Lindsey, D. (1989). Using citation counts as a measure of quality in science measuring what’s measurable rather than what’s valid, Scientometrics, 15, 189–203.
Omori, Y. (2001). Recent developments in markov chain monte carlo method, Journal of the Japan
Statistical Society, 31(3), 305–344.
Porter, A. L. (1977). Citation analysis: Queries and caveats, Social Studies of Science, 7, 257–267.
Sun, L. and Yin, Y. (2017). Discovering themes and trends in transportation research using topic
modeling, Transportation Research Part C : Emerging Technologies, 77, 49–66.
Teh, Y. W., Jordan, M. I., Beal, M. J. and Blei, D. M. (2006). Hierarchical dirichlet processes, Journalof the American Statistical Association, 101, 1566–1581.

230

統計数理

第 68 巻 第 2 号 2020

Teh, Y. W. and Jordan, M. I. (2010). Hierarchical bayesian nonparametric models with applications,
Bayesian Nonparametrics (eds. N. L. Hjort, C. Holmes, P. Müller and S. G. Walker), 158–207,
Cambridge University Press, Cambridge.
Varin, C., Cattelan, M. and Firth, D. (2016). Statistical modeling of citation exchange between statistics journals, Journal of the Royal Statistical Society: Series A, 179, 1–63.

Proceedings of the Institute of Statistical Mathematics Vol. 68, No. 2, 219–231 (2020)

231

Understanding Research Trends Based on Article Abstracts
Using Topic Modeling
Mio Takei1 , Tomokazu Fujino2 and Junji Nakano1,3
1 The Institute of Statistical Mathematics

2 Faculty of International College of Arts and Sciences, Fukuoka Women’s University
3 Faculty of International Economics, Chuo University

The ﬁnancial diﬃculties experienced by universities due to declining birth rates andaging populations are becoming a social problem. It is necessary to identify and evaluate
the trend of research activities inside and outside universities in order to strategically select support targets in these institutions. Methods in research evaluation often use article
citation information such as the impact factor. However, it has been pointed out that
there are several problems with this approach. Therefore, we employ a model that applies
the Hierarchical Dirichlet Process (HDP) to Latent Dirichlet Allocation (LDA) for theinference of topics using abstracts of articles in which the research content is directly expressed, and show a method for determining the research trend of each target organizationand group. We use abstracts from representative journals in the ﬁeld of statistical sciences
and from institutes related to statistical sciences to analyze the method. In the analysis,
we conﬁrm that the results can identify the research characteristics for each target groupand the research trends for each year of publications.

Key words: Topic modeling, nonparametric Bayesian statistics, Hierarchical Dirichlet Process, institutional
research.