DEIM Forum 2019 XX-Y

トピックモデルを用いた論文分析による企業と研究者のマッチングシステムの提案
大隈 有紗†清木康††† 慶應義塾大学総合政策学部 〒 252-0805 神奈川県藤沢市遠藤 5322†† 慶應義塾大学環境情報学部 〒 252-0805 神奈川県藤沢市遠藤 5322
E-mail: †{s15167ao,kiyoki}@keio.sfc.ac.jp
あらまし 本稿は，電子工学及び情報通信を専門とする研究者を対象とし，対象の研究者の研究内容と類似した研究・事業を行なっている企業を抽出，提示するシステムを提案する. このシステムの機能的特徴は，研究者の論文と，企業の技術速報等の文書を，サーベイ論文を用いて作成したトピックモデルの各トピック群への適合度をベクトル化し，相関量計算を行う所にある. 本研究は，研究者個人や企業が持つ専門性を，不変的な定形の「情報通信」や「電子工学」といった分野へ分類するだけではなく，個々の企業，人物が記述した論文を研究者個人の専門性の特徴として扱うことによって，研究者と企業の出会いの場を創出し，社会の学際的な研究のより一層の促進，研究所の幅広いキャリア取得，企業の専門人材獲得の機会損失の軽減を実現することを目的としている.
キーワード トピックモデル，テキストデータ，相関量計算，ジョブマッチング
これにより，研究者自身の専門的知識をより活かせるような

1 はじめに
主に，世界中の人々がインターネットなどの情報通信技術の発展以降国と国の境界を超えての知的活動や，知識の共有が進
み，データベースに保存された世界の論文量は増加傾向にある [1]．しかし，文部科学省による調査では，一つの論文を国の職場の選択ができる様に補助する事，また，副次効果として，企業がより自社にあった専門人材の確保できる様に補助する事を目的としている．

2 本システムで用いる手法

数で除して計算する方法である分数カウント [2]）による集計で本システムでは，既存のある分野において，その分野を専門は，日本の論文数は 10 年前と比較して微減傾向 [1] にあり，日とする学会で発表されたサーベイ論文，解説論文を用いて，そ本の科学研究力の低下が問題となっている．の研究分野全体の専門性の指向を更に細かく導出し，類似度計こうした日本の科学研究力の低下を引き起こしている要因の算に利用する．本稿では，この専門性の志向を，文章に潜在す一つに，博士課程への進学者の減少 [3]，すなわち若手研究者のる話題（＝潜在トピック）として捉え，潜在意味解析の手法で減少があり，減少の一因として，博士号取得後のキャリアパスあるトピックモデル [5] の中でも，階層ベイズモデルを用いての不透明さが挙げられる．科学技術政策研究所が実施した，理いる LDA（Latent Dirichlet Allocation, 潜在的ディリクレ配系修士学生を対象としたアンケート [4] によると，博士課程進分法）[6] を使って導出する．

学ではなく就職することを選んだと答えた修士学生のうち，「博士課程に進学すると修了後の就職が心配である．」という質問に約 7.5 割が「そう思う」と回答している．
これらの事から，若手研究者を増やし日本の研究力を高めるためには，博士課程に進学するような，高度な専門性と知見を本節では，LDA における文書生成の考え方と，潜在トピックの導出法について確認する．

LDA において，文書とは，並び順を考慮しない単語の集まりとして考慮される．単語数 J(1〜j) 個からなる文書は，LDA
では以下の手順で生成される．

持つ人材（本稿ではこれを研究者と呼称する．
）の就職支援が肝要である事がわかる．

（ 1 ） トピックの確率分布（トピック分布）が Dirichlet 分布（Dir(−) と表記）から生成されると仮定．

Θ ∼ Dir(α)

本システムは，既存の枠組みである基本的な学問の分野，分類方式の内側にある細かな分類系統を，学会で発表された解説論文やサーベイ論文の文章群をから抽出されたトピック群とし（ 2 ） J 個 の 単 語 そ れ ぞ れ の ト ピ ッ ク nj を ，多 項 分 布（M ulti(−) と表記）から生成されると仮定．

nj ∼ M ulti(Θ)て推定し，研究者により執筆された各の研究論文，企業により発表された技報や論文といった文書を生成する専門性を表す特（ 3 ） トピック nj に対する単語の確率分布に従い，単語 wj徴量として利用して，研究者-企業間で相互に類似度計算を行を選択する．

う．

p(wj | nj , β)る企業文書や，論文は用いない所にある．

β は，単語生成率に関するハイパーパラメータである．
ここで，文書数を i（1〜i），各文書における単語数を j（1〜j ），これは，対象とする研究分野での既存研究や技術を体系的に全文書に含まれる単語数の合計が M（1〜m）である時，全対象解説したサーベイ論文や解説論文が孕んでいる話題（＝潜在ト文章群 D が生成される確率 P (D|α, β) は以下の式で表される．

ピック）は，その分野での主要技術，活発に行われている研究(Jd∏

内容等の意味を持っており，これらのトピックの含有率を用い

p(D|α, β) =M ∫∏p(θd | α)d=1)p(ndj | θd )p(wdj | ndj , β)j=1dθd た類似度計算は，対象とした研究内容の特徴を的確に示すことができると考えたためである．

α は潜在トピックの混合率に関するハイパーパラメータである．この時，一つ一つの単語（w）の集合である文書が与えられた時のトピックの選択確率と，各単語がどのトピックから生

本節では，本システムの具体的な計算処理の内容について述べる．本システムは，２つの計算工程からなる．

成されたかを示す事後確率分布は以下の式で表される．

p(θ, n | w, α, β) =第 1 工程では，前節で述べた LDA を用いて，サーベイ論文，p(p(θ, nw | α, β))p(w | α, β)

解説論文からなる文書群に含まれる単語群から，統計的に共起する可能性が高いものの集合，すなわち文書に潜在している N

上式での p(w|α, β) は，以下の式で表される．

∫p(w|α, β) =J∏∑p(θ | α) p(nj | θ)p(wj | nj , β) dθ

第 2 工程では，研究者 (Resarcher) が執筆した文章と，企業 (Company) が発表した文章が，N 個の各潜在トピック(Topic N ) をどれ程に割合で含んでいるかという各トピック含

j=1 nj

この確率分布 p(θ, n | w, α, β) を計算で求めることが困難なため，様々な方法で分布を近似する手法が提案されている．本システムでは変分ベイズ法 [7] を用いて近似を行う．
この時，p(θ, n | w, α, β) は次の様な分布で近似される，

p(θ, n | w, α, β) ≃ q(θ, n |, γ, Φ) = q(θ | γ)

個のトピック（Topic 1〜N ）を推定する．

J∏q(nj | Φj )有率 θN (∑nk=1

θn = 1) を，それぞれ，研究者の専門性特良ベ⃗ = θr 1, θr 2 · · · θr n），企業の専門性特クトル Resarcher vec（R⃗ = θc 1, θc 2 · · · θc n）として扱い，
徴ベクトル Company vec（C対象の研究者と企業の類似度をコサイン類似度を用いて計算する．
第 1 工程，第 2 工程の処理内容の詳細を以下に記述する．

j=1

q(θ | γ) はパラメータ数＝トピック数 N の Dirchlet 分布，q(n | Φ) はパラメータ数=単語数 M ×トピック数 N の多項分

第 1 工程は，図１の様に 3 つの処理から構成されている．各処理の内容を以下に記す．

布である．
この q(θ, n |, γ, Φ) は，既存の文書の生成確率に対する周辺対数尤度 log p(w | α, β) を最大化する α, β を求めるために用いる．この時，Jensen の不等式を用いることによって，下式の様に尤度の下限を定めることによって，解析的に α, β を求めることができる．

log p(w | α, β) >=∫ ∑q(θ, n | γ, Φ) log q(θ, n, w | α, β)dθn−∫ ∑q(θ, n | γ, Φ) log q(θ, n | γ, Φ)dθ

図１：第 1 工程n

次節では，本節で述べた手法を用いて作成した本システムの具体的なアプローチについて述べる．

3 本システムのアプローチ（ 1 ） サーベイ論文，解説論文からなる文書群（以下解説論文群）に対して形態素解析ソフトである Mecab [10] を用いて，各論文それぞれに含まれる名詞のみを抽出する．

トピックモデルを用いて，類似性のある研究を発見，分析しようとする試みは，共同研究の可能性を見出す事を目的とし（ 2 ） 各論文ごとに，抽出された M 個の単語（名詞）の出現て [8]，[9] などの研究で行われている．

頻度を並べたベクトルである Bow（Bag-of-words）を求める．

本研究のシステムが以上の関連研究と最も異なる点は，LDAを用いて計算を行う際にトピック推定の対象とする文書群に，（ 3 ） （２）で求めた BoW 群を用いて，N 個の各トピックにサーベイ論文や解説論文のみを用いて，類似度計算の対象とすおける M 個の単語それぞれの出現確率 PN,M （P1,1 · · · PN,M ）を，第 1 工程によって作成した潜在トピック群（1〜N ）の含を求める．

有率ベクトル {θR1 · · · θRn }（（１）では，より多くの専門用語を抽出するために，形態素解析を行うために使う辞書に，専門用語（キーワード）自動抽∑n（k=1∑nk=1

θRn = 1），{θC1 · · · θCn }θCn = 1）として，それぞれ求める．

（２）では，（１）で求めた含有率 {θR1 · · · θRn } と {θC1 · · · θCn }出システム [11] をによって作成したユーザー辞書と，mecab-を，それぞれ研究者の専門性特徴量ベクトル Resarcher vec

ipadic-NEologd [12] をシステム辞書として用い，URL や日付′′′⃗ = θR1（R, θR2· · · θRn），企業の専門性特徴量ベクトル Com′′′⃗ = θC1 , θC2 · · · θCn）に変換する．この変換の際，pany vec（Cなどのストップワードの除外を行った.
専門用語（キーワード）自動抽出システムは，与えられた文導出された含有率ベクトルのうち，含有率 θn が 10−4 を下回る書を形態素解析し，その結果を複合語に組み立てて，重要度順

場合は −1 として扱う．これは，類似度計算を行う際，関係性に返すシステムである．このシステム用いて，解説論文群の各が極めて低いトピックへの関与をより強く否定し，類似度の計論文から抽出された複合語を，日付や大学名などの団体名など算の精度を高めるための処理である．の専門用語と見なせないものを取り除き，その中から重要度の最後に，導出した特徴量ベクトルを用いて，対象とする研究上位 10 位まで抽出して，形態素解析を行うための辞書データ

者と企業の類似度を下式の様に表されるコサイン類似度を用いに，名詞として登録した．て計算する．

∑|V |また，各文書での出現率が１回である単語は，文書を生成する上でのトピック含有率決定への貢献度が低いと判断し，除外⃗ C)⃗ =cos(R,

⃗ ·C⃗
⃗ C
⃗
RR=·= √∑|V |⃗ · |C|
⃗
⃗ |C|
⃗
|R|
|R|

i=1

Ri2 ·i=1

している．

Ri Ci√∑|V |C2i=1 i（２）では，各論文ごとの各単語の出現率を BoW 群として求め，この BOW 群から，（３）において N 個の各トピックに以上が，本システム第 2 工程の内容である．

おける M 個の単語それぞれの出現確率 {P1,1 · · · PK,M } を，前節で述べた LDA を用いて求める．以上が本システム第 1 工程の内容である．

本稿では，本システムの実装は，Python [13] を用いて行なっている．その際，第 1 工程（１）で述べた専門用語（キーワード）自動抽出システム [11] の使用には，同システムの公式サイ続いて，本システムの第 2 工程について解説する．第 2 工程

トで配布されている Python モジュール（termextract）を用いは，図 2 の様に，2 つの計算処理から構成されている．各処理た．また，第 1 工程（２），（３）の処理には，genism [14] といの内容を以下に記す．

う，トピックモデル計算用の python ソフトウェアを用いた．

4 実

験

今回は，電子工学及び情報通信の分野を対象として，本システムの精度を確かめる実験を行なった．本節での実験は，以下の手順で行われる．

図 2：第 2 工程

（ 1 ） 今回の実験対象分野である電子工学及び情報通信の分野の解説論文群に，前節で第 1 工程として述べた処理を施し，N 個の潜在トピックの内容を推定するモデルを作成．
（ 1 ） 研究者（R），企業（C ）それぞれの発表文書（論文，（ 2 ） 電子工学及び情報通信の分野の技術に関するキーワー技報）に対して，第 1 工程で求めたトピックの含有率 θRn , θCnドを定める．

を求める．
（ 3 ） （２）で選出したキーワード関する内容の，企業から（ 2 ） （１）で求めたそれぞれの含有率 θRn , θCn を，専門性⃗ ），Company vec（C⃗ ）に変特徴量ベクトル Resarcher vec（R発表された文書（企業文書）を，1 キーワードにつき 1 文書選択する．

換し，ベクトル間のコサイン類似度を求める（ 4 ） （３）で選択した文書と研究内容が近しい論文を，CiNII（１）では，研究者によって書かれた論文と，企業によって発表された技報あるいは企業論文に内在する専門性の特徴量を用いて検索し，選択する．

（ 5 ） （３），（４）で選択した企業論文，研究者論文に対して，前節第 2 工程で述べた処理を施し，類似度計算を行う．

まず始めに，手順（１）を行う．本節での実験では，トピック抽出のための解説論文群に，解説論文群には EIC（電子情報通信学会）情報・システムソサイエティの『電子情報通信学会論文誌「情報・システム：D」（和文論文誌 D）』と，電気学会の論文誌『電気学会論文誌. C（電子・情報・システム部門誌）』で発表されている，サーベイ論文，解説論文そして，技術解説のために書かれた招待論文から，無料公開されているものを合計 340 文書を用いて，総数 N = 8 の潜在トピックのモデルを作成した．
算出されたトピックごとに，出現頻度の高い上位 20 単語を，表１にまとめる．

表 1：各トピックごとの出現頻度上位 10 単語（2/2）（票左列：出現確率

表右列：該当トピックで，左列同行の数値の出現確率を持つ単語）
表 1 において，各単語の左横の数字がトピック内でのその単語の出現確率を表している．
これらのトピック間の関係を，主成分分析 [15] の手法を用いて，二次元に落とし込み可視化した結果が図 3 である．この可視化には，python のライブラリである pyLDAvis [16] を用いた．
図 3 において，より近い距離にあるトピック同士は，同じ文書内に占める含有率が高い，つまり，共起性が高い事を示している．

表 1：各トピックごとの出現頻度上位 10 単語（1/2）

図 3：トピック 1〜N 間の距離関係

続いて，手順（２），（３）を行う．
本節での実験では，本システムの研究者と企業間の類似度の算出精度を検証するために，研究内容的に近しいと判断できる文書を用いて実験を行なった．電子工学及び情報通信の分野から，今回選んだキーワードは「IoT」，「AI」，「セキュリティ」の3 つである．そして，先ほど選んどキーワードに関連する企業文書を，企業による発表文書から 1 文書のみ選択し，実験対象とした．
今回実験対象とした会社は，IT 系企業から技術報告，企業論文等を無料公開している企業を，合計 3 社を選択した．それ
ぞれ，A 社，B 社，C 社とする．選択文書は，それぞれの会社から１文書ずつ，A 社より IoT に関する文書を企業文書 A，B社より AI に関する文書を企業文書 B，C 社よりセキュリティに関する文書を企業文書 C として選択した．
表 2 は，選択した文書内で出現する単語の出現回数をカウントし，その内出現回数の上位 20 単語を，多い順で並べたものである．

表 2：企業文書 A，B，C における出現回数上位 20 単語（票左列：出現回数

表右列：該当文書で，左列同行の数値の出現回数を持つ単語）

次に，手順（４）を行う．これらの企業文書 A，B，C と類似した研究内容の論文を，企業文書 1 つにつき 1 つ選出した．
この選出作業には，国立情報学研究所が運営している，学術論文や図書・雑誌等の学術情報データベースである CiNII [17] を用いた．CiNII [17] での検索結果から，3 つの論文をそれぞれ研究者文書 A，B，C として選出した．
企業文書と研究者文書は，それぞれ末尾のアルファベット（A，B，C）が同じ組み合わせが，研究内容が近しい文書同士の組み合わせである．また，表 3 は，選択した研究者文書内で出現する単語の出現回数をカウントし，その内出現回数の上位20 単語を，多い順で並べたものである．
最後に，手順（５）を行う．まず，前節第 2 工程（１）で述べた処理である，それぞれの文書における，各トピック（1〜N ，今回は N = 8）の含有率の算出を行う．算出の結果，含有率の数値が10−4 を下回る場合は，−1 に置き換える．表 4 は，企業文書 A，B，C における各トピックの含有率，表 5 は，研究者文書 A，B，C における各トピックの含有率である．表 4，表 5 共に，含有率の数値が 10−4 以下のものは −1 への置き換え処理を行なってある．

表 4：企業文書 A，B，C における各トピック含有率

表 3：研究者文書 A，B，C における出現回数上位 20 単語（票左列：出現回数

表右列：該当文書で，左列同行の数値の出現回数を持つ単語）

表 5：研究者文書 A，B，C における各トピック含有率

手順（５）の最終工程として，表 4，表 5，で算出された含有れぞれのフォーマットの違いによっては，長い単語が途中で切率を，それぞれの文書ごとに，特徴量ベクトルに置き換えて，れて，意味のない文字列として検出されてしまう事があった．

コサイン類似度による類似度計算を行う．企業文書 A，B，C

そのため，そういった意味を持たない文字列はストップワード

は，それぞれ企業特徴量ベクトル Company A，Company B，を除外する段階で一緒に削除せざるを得ず，結果として正確なCompany C へ，研究者文書は，それぞれ研究者特徴量ベクトモデル作成が困難になっていた．

ル Resarcher A，Resarcher B，Resarcher C へと変換を行なっ

使用文書の事前処理は，モデルの精度，類似度計算の精度をた．この変換の後，企業-研究者間の特徴量ベクトルの類似度の高める上で非常に肝要に部分であるので，今後は，専門用語の計算を行った結果を表 6 にまとめる．

抽出をより正確に行えるような事前処理を行える様にする事で，本システムの精度をより洗練させる必要がある．
また，今回は電子情報通信学会，電気学会で発表されたサーベイ論文，解説論文類のみをシステム構築に用いたため，今後は電子工学及び情報工学の分野の他の学会で発表された論文も，システムに組み込んでいくことで，より，電子工学及び情報工学の分野の専門性の抽出精度を高めていきたい．

表 6：類似度計算の結果

5 考

察

前節表 6 より，今回の実験では，名前の末尾が同じアルファベットの特徴量ベクトル（Company A ならば Resarcher A）が，企業軸（列），研究者軸（行）の双方で最も高い類似度を示した．このため，実験の目的であった「類似度計算の精度の検証」においては，近しい研究内容の企業，研究者に対する類似度を最も高く算出できたという点で，一定の信頼性を持てる様な精度の計算ができるという検証結果が出た．
また，表 6 の第 3 列の Company C の軸での Resarcher Aにに対する類似度は，末尾が同じアルファベットのもの（Re-sarcher C）に対して，大幅な差が見られない様な数値が出ている事がわかる．
この結果より，第 2 節で述べた LDA の文書生成の仕組みを考慮すると，本システムにおいては，Company C は，Resarcher Aとも似た様なトピックを背景に持っている，すなわち，近しい技術を用いた研究を行っている部分があると判断されていることが分かる．

6 総論及び，今後の展望
本稿では，電子工学及び情報工学における，トピックモデルを用いた論文分析による企業と研究者のマッチングシステムを提案した．
実験の結果により，本システムは一定の信頼性のおける精度の計算を行えることが分かったため，論文等の文書を用いたジョブマッチングシステムの新たな可能性を見出すことができた．
今後の課題としては，使用文書の事前処理が挙げられる．本稿において実験に使用した論文群は，全て元 PDF ファイルからテキストデータへの抽出を行なってから運用しているが，そ文

献[1] 文部科学省 科学技術政策研究所 『日本の科学研究力の現状と課題』(NISTEP ブックレット;001 ver. 5)2018.12
http://hdl.handle.net/11035/2456[2] 国 立 研 究 開 発 法 人
科学技術振興機構 『世界の論 文 — 科 学 技 術 情 報 プ ラ ッ ト フ ォ ー ム 』2019.1.2
https://jipsti.jst.go.jp/foresight/dataranking/trea
tises/count/[3] 文部科学省 『文部科学統計要覧』（平成 30 年度版）2018.4[4] 科学技術政策研究所 第 1 調査研究グループ 『日本の理工系修士学生の進路決定に関する意識調査』(p.22 図 7)2009.3
http://hdl.handle.net/11035/895[5] David M. Blei “Probabilistic Topic Models” April 2012,
Communications of the ACM, Vol. 55 No. 4, Pages 77-84[6] David M. Blei, Andrew Y. Ng and Michael I. Jordan “Latent Dirichlet Allocation” 2003
[7] D. Blei, A. Ng, and M. Jordan, “Latent Dirichlet Allocation”, in Journal of Machine Learning Research, 2003,
p.1107-1135[8] 荒木 将貴，桂井麻里衣，大向 一輝，武田 英明『研究成果デー
タベースを用いた異分野の共同研究者の推薦』2016[9] 小野 龍太郎，冨浦 洋一，田中 省作，上瀧 恵里子『オーサートピックモデルを用いた論文分析による潜在的研究グループの発掘に関する研究』2014.3[10] MeCab 0.996
http://taku910.github.io/mecab/[11] 専門用語（キーワード）自動抽出システム[12] mecab-ipadic-NEologd
https://github.com/neologd/mecab-ipadic-neologd/blob/master/README.ja.md[13] Python 3.5.0
https://www.python.org/[14] genism
https://radimrehurek.com/gensim/[15] Karl Pearso, “On lines and planes of closest fit to systemsof points in space. ”, Philosophical Magazine 2, 1901 ,p.559572.
[16] pyLDAvis

https://github.com/bmabey/pyLDAvis[17] CiNii
https://ci.nii.ac.jp/[18] 奥村 学『トピックモデルによる統計的潜在意味解析』初版第 2刷，株式会社コロナ社，2015