1.はじめに
学術論文は，単に知識を蓄積していくためのものではなく，過去の発見に基づいた研究をする際に必要な情報である．過去の学術論文を読み，先行研究を調査し当該分野の研究トレンドを把握することは，研究テーマを決め，研究を進めていく中で欠かすことのできない行程である．しかし，先行研究の調査は，研究を始めて間もない人や自分の専門分野以外ではどこから手をつけていいのかわからず難航してしまうことがある．先行研究の調査にはトピックやキーワードを用いられることが多く,初心者や専門外の分野を調べるときは，この適切なトピックやキーワードがわからず難航してしまうと考えられる．適切なトビックやキーワードを用いて調査することができれば，調査の速度があがり，適切な理解が得ることができるであろう.近年，DBLP(#1)やarXiv(#2)といった学術論文のデータベースの整備が進んでおり，このデータベースを活用する研究が盛んに行われている．このようなデータベースを活用する研究として，研究トビックの抽出[1]，専門用語の検出[2]，共著ネットワーク[3]の発見などが行われている．研究トピックの抽出の応用研究の一つに，研究トビックの変遷の検出がある．これは，時間区分ごとにトビックを抽出し，その関係性を時間区分をまたいで同定することで，トビックがどのように変化していくのかを検出する研究である．これらの，研究トビックやその変遷がわかれば，当該分野の研究トレンドやトピックおよびキーワードを俯瞰することができ，初心者や専門外の分野の調査に役立つことが期待される．このため，近年トビックの抽出やその変遷の研究は活発に行われている.研究トビックの変遷に関する研究は，情報検索の分野で多くの先行研究があり，その多くがbag of wordsを用いてモデル化を行っている．これらの研究は，Probabilistic Latent Semantic Indexing (p-LSI) [4]やLatent Dirichlet allocation (LDA) [5]などの確率モデルに基づくものが最も一般的であり，そのほかに文章-単語分布行列に対して行列分解を行うものや，グラフ構造を用いたものがある.しかし，これらのモデルはbag of wordsを用いてモデル化を行っているため，語の順番が考慮されていないという問題や，似た意味を持つ単語が別の単語として扱われてしまうという問題があった．近年これらの問題を緩和することが期待される， word2vec [6]などに見られるword embeddingを用いた分散表現の学習に注目が集まっている．その中でも，word2vecの応用である，doc2vec [7]は文章の分散表現を獲得できる手法として知られている.また，大きなトビックやその変動だけでなく，特定の単語に関するトビックおよびその変遷を知ることができればよりユーザの理解を支援することができると考えられる．しかし，これまでの研究[1]では，既にできているトピックとその変遷からその単語があるトピックがどこにあるかをユーザ自身が探し判断する必要があった．これは，調べたい分野に詳しくない人は，どの単語が関連するかを判断することが難しいという問題点があった．具体的には，分散処理に関するトビックの大きな変動を知ることができ，その特徴語として現れたhadoopという言葉の周りのトビックがどのように生まれ変遷していくかについて知りたい場合に，ユーザ自身がその大きなトビックの中をみて判断する必要があった．これは，ユーザ問合せを受け付け，間合せと近い文章集合からトピックおよびその変遷を検出することができると考えられる.そこで，本研究では，問合せ処理をすることができるdoc2vecを用いた研究トビックとその変遷である，研究トレンドを検出する手法を提案する．具体的な手法を以下に示す．まず，学術論文朱合の各文章の題目とあらましを一つの文章とし，doc2vecを用いてその学術論文一つ一つの分散表現を獲得する．次に，文章集合を，問合せ処理を行うことで，問合せと近い概念を持った文章集合を選定し，次に出版の年度で分割し，分割された柴合内でクラスタリングを行いトピックを検出する．そして，異なった年度のトピック群同士を，分散表現を基に類似度を計算して結びつけ，そのトビック間の関係を同定し，トビックの変遷を検出し，最後にそれぞれのトビックに適切なラベルを与える.本稿の構成を以下に示す. 2.節では，トピックの検出やその変遷に関する関連研究を述べる．３.節では提案手法について述べる．4.節では提案手法によって得られた実験結果をまとめ，それに対する考察を行う. 5.節で本論文のまとめと今後の課題,展望について述べる.
2. 関連研究
この章では，まず，トビックモデルやword embeddingのトビックの検出に関する先行研究について述べる．トピックの変遷の検出を試みている先行研究や，似たような問題設定の先行研究について簡単にまとめる. 2.1　トピックの検出トビックの検出は，これまでbag of wordsを用いて単語の局所表現であるところのベクトルを作りその後処理する手法が主であった．この手法は，単語の語順を考慮できていないことや似た単語の意味の扱いに問題があったが，簡単にベクトル化できるために広く使用されていた.近年word2vec [6]の出現を受けて，分散表現を用いて得られる単語のベクトルを処理する手法が注目されるようになってきている．従来の手法と比べて，語順の問題や似た単語の扱いの問題を緩和できることが期待されている．さらに，局所表現であればベクトルの次元数は出現する単語数（10 4 ～）となっていて，スバースで非常に大きな次元数のベクトルとなっていたのに対して，分散表現で表されるベクトルは数百次元とより小さい次元で表すことができ，取り扱いやすいという特徴もある．この節では，bag of wordsベースのモデルと，word embed- dingのモデルによるトビックの抽出についての先行研究について記述する. 2. 1. 1   bag of wordsベースモデルbag of wordsを使用したモデルは，大きく三つに分けることができる.それぞれ, 1.確率モデル, 2.グラフベースモデル, 3.行列分解モデルである.確率モデルを利用したトピックモデルは，p-LSI [4]やLDA [5]に代表される. LDAは，トピックを文章に潜在的に分布しているものとして確率的にモデリングを行いその結果から，事前に与えられた数のトビックを抽出する物である．このLDAは様々な拡張がされている．LDA自体の拡張としては，Tehら[8]が事前にトビック数を指定する必要がなく，ドキュメント集合に応じて動的にトビック数を定めるHierarchical Dirichlet Process (HDP)を開発した.このLDAやp-LSIを用いて学術論文集合のトピックを抽出する研究は多く行われており，著者の影響を考慮したトピックを算出するもの[9], [10]や，論文の引用情報を考慮に入れるもの[1]などがある.そのほかに，グラフを用いた手法[11]が存在する．この手法は，論文同士を使用している単語と引用関係からグラフを構成して，その単語がトピックとして使われる時その単語の引用グラフは密に接続されているという仮説を基に定式化をしている.これにより二つの単語の組からなるトビックを抽出することができている.行列分解を用いた手法は近年より盛んに研究されるようになってきており，その中でも特にNon-negative Matrix Factor- ization (NMF)を用いたものが多くなってきている[12], [13]. NMFを用いた手法は，LDAなどと比較して計算量が少なくて済むため，ソーシャルメディアやニュース記事などの即時性が求められるトビックの解析に用いられることが多い. 2.1.2   word embeddingモデルword embeddingを使用したモデルは，word2vecやdoc2vecの拡張であり，bag of wordsベースのモデルとは違い低次元であり計算量が比較的少なく済み，トビック自体もベクトル化して同列に扱うことができるという特徴がある. Niuら[14]は事前にLDAで文章集合を学習させておき，それによってつけられたラベルをword2vecの学習時に付与することで，単語とトビックのベクトルを学習するTopic2vecを開発した. Liら[15]は，トピックと単語を同時に学習するモデルを作成した．これらの手法はbag of wordsを用いてきたこれまでの手法と同程度またはそれ以上の成果を出しており新しい方向性として期待されている.
2.2　トピックの変遷の検出
近年トビックそのものだけでなく，検出したトビックの変遷,つまり時間によってトビックの特徴語や構造がどのように変化していくかについての研究が盛んである．トビックの変遷を検出する研究は2.1.1節で述べたbag of wordsベースモデルで主に研究されており判別手法と生成手法の二つに分けることができる.判別手法は，文章集合におけるトビックを単語の組合せであると考えており，森永ら[16]はfinite mixture modelを使って，トピックの変遷がどのようにシフトしていくのかを，離散的に考慮している.生成手法は，LDAの登場により活発になっている手法であり，Wangら[17]はLDAを拡張したTopic Over Time (TOT)という手法を開発した．この手法は，トビックの変遷の時間を連続的に使用するという手法を用いて，論文のデータやメールのデータを用いて検証を行った．これまでは，SNSなどのデータであっても一日ごとなどに分割して使用しなければならず,その分割が正しいのかという疑問があり，この手法は連続時間で扱えるようにしたことでこの問題を緩和した.その他にも，Heら[1]は，学術論文により適したモデルを開発した．これまでの研究では学術論文をデータとしている研究であっても，引用情報をその論文との関係性も考慮した上で用いているものはなく，論文では引用情報は大切な要素の一つであるという考えから，引用情報を加味したモデルを作成した．また，引用情報はすべて同じ重要度ではないと考えて，その割合についても学習するモデルをLDAを拡張して作成してる.これらのどの手法も，ある言葉に関するトビックの検出およびその変遷の検出，つまり問合せに対応することができていなかった．例えば，LDAを用いた手法であれば，結果の特徴語に図1  提案手法の全体像問合せまたは問合せと近い意味の单語が出現しているかをユーザが調べ，そのトピックの変遷を迫う必要があった．しかし，その分野に詳しくない場合は問合せとどの単語が近い意味かどうかを判別することができないという問題があった．そこで本研究では，ユーザが自身で判断するのではなく，問合せを与えることで分散表現を用いて問合せと近い文章を見つけ，それらを文章集合としてトピックおよびその変遷を検出する手法を提楽する.
3.提案手法
この章では，提案手法を説明する．まず，問題設定を行い，その後に論文集合に対しての分散表現の獲得手法について記述する．次に，ユーザから与えられた問合せの処理について扱い，そして，それを用いたトビックの抽出方法とその変遷の検出方法について扱う。まず提案手法の全体像を図1に示す. 3.1 問題設定W = { w 1 , w 2 , . . , w v }を単語集合とする．bag of wordsを用いたモデルの場合は，これをV次元のベクトルとして処理するが，本研究は分散表現を用いるため，N次元のベクトルへ関数f : W → R Nを用いて写像して使用している．単語集合の分散表現は，W = {f(w1), . . ,f(wv)}というように表すことができる．本研究では，二つの単語の分散表現f(w i )とf(w i )の間の類似度をコサイン類似度を式(1)で算出することとする.
D = { d 1 , . . . , d m }を学術論文の集合とする．本研究ではこの学術論文の集合も単語と同様に，N次元の分散表現空間に写像する.写像関数fa : D → R Nを用いて，学術論文集合の分散表現はD = ⟨fa(d₁), · · , fa(d₁)⟩で表すことができる．この時各文章問および各文章および単語問の類似度は，コサイン類似度を用いて算出することとする.トビック集合z = ⟨ z 1, · · · , z k ⟩は，文章集合Dの部分集合で装され，トピックの数をよとし，それぞれのトピックの集合の要素数をl。として，二つのトピックz iとz jの類似度は式(2)で表される群間平均で求められると定義する.
二つのクラスタ内部の類似度の算出方法は，この他にも最短距離や最長距離など様々な手法があるが，これらの手法はこの類似皮を利用してクラスタリングする際に，空間濃縮などの問題を起こす可能性があることで知られている．そこで，このような問題が起こらず簡潔に表現できる群間平均を用いた.トビックの変遷を検出するため，文章集合Dを，その時間t(∈ [1,n])を用いて互いに素な柴合D(1), ･･･ , D(n)に分割する．ただし，D = U ε = 1 D (t)を満たす．区間tでの文章集合D(t)のトビック集合をz(t)とすると，トビックの変遷とは，区間tとt ′のトビック柴合z(t)とz(t ′ )のそれぞれのトビック間の関係性を，“同じトビック”，“類似しているトビック”，“関係なし”という三つから同定することである.
3.2 分散表現の獲得手法
word embeddingを利用した分散表現の獲得は，bag of wordsを用いたモデルが抱えていた問題を緩和することができると期待され，近年急速に注目を集めている．本研究では，文章集合D内の文章d tの分散表現を獲得し，それを用いてトビックの分類を行う．我々は，論文においてその論文を最もよく表現している部分が題目とあらましであると仮定し，d i (t)の分散表現は題目とあらましの分散表現で近似されると考えた.次に，分散表現の獲得手法であるが，本研究ではdoc2vecを用いる．doc2vecは，単語の分散表現と同時に文章の分散表現を獲得することができる．我々は，まず論文の題目とあらましをーつの文章としてならベ，これをデータセットとしてdoc2vecで学習を行っている.また，単語の処理に関しては，単純に文章を空白文字で分割したものよりも，n-gramをとって，まとまりとして使用した方が理解がしやすい場合がある．しかし，すべてのn-gramをとるのは語彙空間が大きくなりすぎてしまうという欠点がある。そこで，本研究では，Mikolovら[6]に則り，頻度に応じたn-gramを作成することにする．この手法の二つの連続している単語w i , w j ｶﾞ 2-gramとして連結させるべきかについての評価関数を式(3)で表す.
δは多くの単語連結ができてしまうことを防ぐためのバラメータであり，この評価値が関値を超えた場合に，単語を連結する．また，この手法を複数回繰り返すことで，2-gramから3-gramを作り出すこともできる.本研究では, "Natural Language Processin"など三語程度までまとまりのある言葉があるととらえるのが妥当であると考えたため上記の手法で3-gramまで作成している．なおそのほかの単語の処理として，すべて小文字にし，英単語(a-z)以外のものはすべて排除するという処理を行っている.
3.3 問合せ処理
この節では，3.2節で獲得した分散表現fから問合せを考慮したベクトル集合を抽出する手法について説明する．本研究での問合せqとは，q ∈ Wを満たす単問合せのことを指す．本研究での問合せ処理は，問合せとして与えられた言葉の周辺のトビックとその変遷を抽出することが目的であるため，単純に単語を含むか含まないかではなく，その単語を含んでいる文章およびその文章と類似度が最も高いK件の論文の集合とする．問合せqを含んでいる文章集合をDq = ⟨dq1,dq2, · · · ,dqn⟩とする．問合せqを含む文章d j (j = 1,2, . . . ,n)と最も高い類似度を持つK件の論文集号を，topKsim(d j )と表記する．ただし，topKsim(d 9 j ) ⊂ Dである．ここで，本研究で問合せ処理によって得られる文章集合D。は式(4)で表される.
またこの文章集合に対応する分散表現集合をf。と表すこととする.
3.4　トピックの抽出
この節では，3.2節および3.3節で獲得した分散表現f,からトピックを抽出する手法について説明する．文章の分散表現であるf。はN次元空間上に分布しており互いに比較が可能であり，同じトビックは近くの距離に存在しクラスタを形成しており，距離が遠いクラスタは別のトビックであると考えることができる．そのため，我々はトビックの抽出手法としてクラスタリングを用いた．クラスタリングには，大きく階層的クラスタリングと非踏層的クラスタリングの二つに分けることができる．非階層的クラスタリングは，k-meansなど事前にトビック数を指定しなければならない一方で，略層的クラスタリングは,事前にトビック数を指定することなく，群と群の類似度がある関値を超えるかでクラスタリングを行う手法である．学術論文集号の正しいトビック数を知ることはできないため，事前にトビック数を与える必要がない略層的クラスタリングを用いることとした．略層的クラスタリングの類似度の計算手法には，3.1節のクラスタ間の距離と同様に，複数の手法が提案されているが，空間潰縮などが起こらずコサイン類似度を計算することができる群間平均法を用いることとする.
3.5ラベルの付与
トビックやその変遷を提示する際には，そのトビックに所属する文章を羅列するのではなく，特徴語に基づくラベルがあるとユーザの理解を支援することができる．LDAやp-LSIを扱う論文集合があった場合，これをユーザに提示するときに“topic model”というラベルを付与することが例としてあげられる.そこで，本研究では，3.4節で抽出したトピックにラベルを付与する。適したラベルとは，他のクラスタに含まれないが，自分のクラスタに多く含まれているそのクラスタの特徴語であると考えることができる．そこで，トビックに所属する文章を一つの文章として結合し，トビックの数の個数だけ文章を用意しdoc2vecと同様に事前にn-gramをとり前処理を文章集合に，TF-IDF法を用いてその単語の重要度を算出した．また，TF-IDFに代表されるbag of wordsの手法では文章に重要でない単語があると精度が落ちるため，文章の内容に大きく寄与する，名詞，形容詞，副詞，動詞のみを用い，また動詞は原型に戻して使用している．最終的に用いるラベルは，これらのTF-IDF法によって各単語に与えられた重要度が最も高い5単語とする.
3.6トピックの変遷の検出
トビックの変遷とは，複数の時間区間にわたり，出現しているトビックを特定しその内容の変遷を検出するものである．3. 4節で求めたトビックは区間tの学術論文集合であるD( t )に対して求めたものであり，区間t以外の情報は使用していない．トビックの変遷の検出は，このz(t)とz(t')(t' < t)との関係性を解析して行う.区間tのトビックz t (t)と区間t (< t ′ )のトビックz t (t ′ )との関係性について，Heら[1]と同様に，二つのバラメータε1, ε2を用いて，以下の三つの関係性を定める.同じトビック:  clustersim( z i ( t ), z j ( t ′ ))  ≥  c 1似たトビック: ε1 > clustersim( z i ( t ), z j ( t ′ )) ≥ ε2関係のないトビック: clustersim( z i ( t ), z j ( t ′ )) < ε 2この二つのバラメータは，実験的に求めるものとする．この分析の結果，同じトビックであると考えられていたものの内容がどのように変遷しているのか，或いは途切れたのかを検出し，トビックの変遷の検出を試みる.
験
4.実
4.1データセット本研究では，提案手法の有効性を確かめるために，三つの学会の学術論文データを用いた．三つの学会とは，データベース系のVLDB,  SIGMODと自然言語・人工知能学会のAAAIである。それぞれの学会のデータを各2004年から2015年（AAAIは2009年は非開催）のものを取得している．このうち，収集したPDFから各論文のタイトルとあらましを抽出し，そのどちらにもエラーが起こらなかった6,605論文を対象としている.各年の論文の数を図2に示す.
4.2 実験結果
実験環境は，Ubuntu 15.04, Intel core i7 6770k, Memory 64GBの環境で行った．実験に用いたコードはPython2.7.12で実行され，doc2vecおよびn-gramを用いたフレーズ作成，そのほか言語処理はgensim 0.13.2を，クラスタリングおよび可視化にはSciPy 0.17.0を用いた.この節では，提案手法による問合せを与えた場合のトビックの変遷の検出についての有効性について評価するために，まずdoc2vecを用いて分散表現の獲得を行った結果を確認し，次にそれを用いて問合せ処理を行わずにトビック検出の結果について扱い，そしてそれらを用いたトピックとその変遷の検出について説明する．最後に，問合せを与えた場合のトピックの変遷の検出について説明する.
4.2.1 doc2vecを用いた分散表現の獲得
本研究で使用している文章数は，合計で6,605件とそれほど多くないため，通常doc2vecを使う際は10～20程度である繰り返しの回数を30にして実験した．それ以外のバラメータはgensimの初期値から変更は行っていない．すべてのデータをdoc2vecにかけ，得られた分散表現空間をt-Stochastic Neighbor Embedding (t-SNE) [18]を用いて図3のように可視化した. t-SNEは，Principal Component Analysis (PCA)と同様に次元削減の手法を用いて，確率分布を用いて二次元または三次元に可視化するため手法であり，高次元のデータを構造を失わずに可視化することができることで知られている.図３を見ると，データベース系の学会である，SIGMODとVLDBは点が重なり合っているが，この二つの学会と人工知能や自然言語処理を扱うAAAIはあまり亜なりがなく，学会ごとの特徴が論文内の言葉から取得できていることがわかる.
4.2.2 トビックの検出
4.2.1節で待られた分散表現からトビックの抽出路層的クラスタリングを用いて行う．略層的クラスタリングには，クラスタとして認識する閾値をバラメータとして持っている．今回は各年度のクラスタ数を20前後で表すことが適切であると考えられたため，各年度でクラスタリングを行う際に，その年度の踏層間の距離のうち最大のものに0.92をかけたものを閾伯とした．これによって待られたクラスタの数を図4に示す．おおむね論文数に応じてトビックの数が増減していることがわかる.
次に，実際に検出されたトピックを用いたケーススタディを行う．2015年のデータを用いて得られたクラスタの中でクラスタの規模が大きい5個のトビックとその特徴語，そしてそのクラスタの大きさを表1に示す.比較として，LDAを用いて得られた結果も記載する.  LDAは，2015年のデータのタイトルとあらましから，名詞，動詞，形容詞，副詞だけを抜き出しそれを原型に変換してbag of wordsを用いてベクトル化したものを用いて学習を行っている．ハイバーバラメータは，提案手法と比較するために，トビック数を提案手法によって得られた27個に固定し，繰返し回数を20回に設定した．そのほかのハイバーバラメータはgensimの初期値のままである．トビックの特徴語は，尤度が高い単語の上位5件を特徴語であると考えた．また，LDAを用いたトピックの論文数の検出方法は，与えた論文に対して最も尤度が高いトビックに帰属するという手法をとっている.この結果，所属する論文の数は提案手法とLDAで違いが見られるが，トビックモデルに対応するトビックが提案手法でもLDAでも最も大きトビックとして考えられるなど近いトビックを抽出することができていると考えることができる．一方で， LDAでは，performanceやgameなど同じ単語が複数のトピックに上がってきており，また抽出されている単語も，assignmentなどすぐにどの分野かわかるようなものではない．その一方で，提案手法では，n-gramをとっているため，topic_modelなど人間にとってわかりやすいラベルが付与できていることが確認できる. 4.2.3　トビックの変遷の検出トピックの変遷の検出は，隣り合う二つの年度のトピックの類似皮を計算することで，その関係性を同定する．得られる三つの区分の割合が同じようになるように，“同じトビック”の関値ε 1を0.1とし，“類似しているトビック”の閾値ε 2を0.08とした．この結果各年度の同じトビック数，類似しているトビック数の分布は図5のようになった.次に，提案手法によるトビックの変遷の検出についてのケー
ススタディーとして，hadoopに代表される分散処理についてのクラスタを例示する．このクラスタのトピックの変遷は図6のようになる．得られたトピックの変遷によると，hadoop関連のクラスタは2005年頃から発生しており，もともとはmysqlなどのデータペースから始まり，data_managementに変わり, 2010年にhadoopという言葉が出てきている.また, 2011年，2012年頃はmapreduceという言葉が上がってきていたが，2013年からtransactionやtenantなどに移行し，2015年にはMLが特徴語として上がっていることが見て取れる．これは，実際に古くはデータベースに始まりそこからmapreduceが生まれ，それが変化していき分散トランザクションを処理するようになり機械学習に応用されるようになった, hadoopなどに代表される分散処理の歴史を表せていると考えられる. 4.2.4問合せを与えたときの変遷の検出提案手法による問合せを与えたときのトピックの変遷の検出についてのケーススタディーとして，hadoopを問合せとして与えたときの結果を記す.  4.2.3節のケーススタディを見ることで得られた結果によってhadoopに関連する分野を俯瞰することはできたが，細かい変遷までは迫うことができなかった．そこで，提案手法でhadoopという問合せを与えた時の例を確認して，細かい変遷を迫うことができているかどうかを評価する．まずhadoopという問合せを与えたときに，hadoopという言葉は含まないが，その周辺分野の論文としては適切なものを取得できているかについて評価する．そのために，hadoopという言葉が現れる前である2004年のトビックを図2に示す.なお，問合せを与えた場合は，より詳細にトビックが分かれていることが望ましいため，クラスタリングの数が15個程度になるようにクラスタリングの際に用いる閾値を0.75に調整している.  hadoopという単語は2008年から現れた物であり，単純に問合せを含む論文のみを取得する手法であれば2008年以前の文章を取得することはできないが，提案手法では分散表現
を用いて似た文章を取得しているので，概念が現れる以前の文章も取得することができていることが確認できる.次に，hadoopという問合せを与えた時の2015年のクラスタの大きさが5以上のトピックを表3に示す.問合せを考慮しない場合であれば，特徴語worload, ml, join, architecture, memoryで構成されていたが，問合せを考慮したことにより,上から順にrealtime streamingを扱うトピックとhiveなどデータベースを扱うトビック, Business Intelligenceを扱うトビック，RDFエンジンを扱うトピックがその中に存在していたことがわかる．heronやbytesliceなど一つの論文内で提唱されているシステムが特徴語として現れてしまっているが，トビックの大きさが少ないため起きていることであると考えられる.最後に，これらのトビックのつながりの一部を図7に例示する．この一例は，分析を考慮した分散処理の変遷を表していると考えられ，レンジ問合せの高速化からストリーム処理へと変遼していることが見て取れる．問合せを与えていない場合と同様にトビックおよびその変遷が取得できており，小さなトビックであっても変遷を検知できていると考えることができる.
5.むすび
本研究では，分散表現を用いたトビックとその変遷の検出方法を提案した．また，それだけでなくこれまでの研究ではできなかった問合せ処理に対応させた．実験によりトビックおよびその変遷の検出，問合せ処理によるより詳細なトビックおよびその変遷を検出できることが確認された.今後の課題としては，まず本研究では評価としてケーススタディしか行えていないため他のデータセットに適用することや,既存の研究との比較を行っていくことが上げられる．また，現在の手法は文章や単語が分散表現を用いて同じ空間にあるという特性を生かし切れていない部分がある．今後トビックの変遷を，類似度が非常に高い論文がどのように空間上を動いていったかをベクトルベースで表し，その次にどのような変化を起こすかの予測や，変化の内容をその変化したベクトルから推定できるようにすることなどが考えられる．さらに，現在は論文というデータセットを扱う上で考慮することを欠かすことができない引用情報を考慮できていないという欠点がある．今後はこの引用情報も含めて考慮していきたい．また，今後の展望として，これらの結果を利用して研究トレンドを先読みし，研究テーマの推薦などより役に立つシステムの構築を心がけていきたい. [1] [2] [3] [4] [5] [6] [7]
文
献
Qi He, Bi Chen, Jian Pei, Baojun Qiu, Prasenjit Mitra, and Lee Giles. Detecting topic evolution in scientific literature: how can citations help?  In Proceedings of the 18th ACM conference on Information and knowledge management, pp. 957–966. ACM, 2009. Maria Teresa Pazienza, Marco Pennacchiotti, and Fabio Mas- simo Zanzotto. Terminology extraction: an analysis of lin- guistic and statistical approaches. In Knowledge mining, pp. 255–279. Springer, 2005. Xiaoming Liu, Johan Bollen, Michael L Nelson, and Her- bert Van de Sompel. Co-authorship networks in the digi- tal library research community.  Information processing & management, Vol. 41, No. 6, pp. 1462–1480, 2005. Thomas Hofmann. Probabilistic latent semantic analysis. In Proceedings of the Fifteenth conference on Uncertainty in artificial intelligence , pp. 289–296. Morgan Kaufmann Publishers Inc., 1999. David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. Journal of machine Learning research , Vol. 3, No. Jan, pp. 993–1022, 2003. Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean.  Distributed representations of words and phrases and their compositionality. In Advances in neural information processing systems , pp. 3111–3119, 2013. Quoc V Le and Tomas Mikolov. Distributed representations [8] [9] [10] [11] [12] [13] [14] [15] of sentences and documents. In International Conference on Machine Learning, Vol. 14, pp. 1188–1196, 2014. Yee Whye Teh, Michael I Jordan, Matthew J Beal, and David M Blei. Hierarchical dirichlet processes. Journal of the american statistical association , 2012. Mark Steyvers, Padhraic Smyth, Michal Rosen-Zvi, and Thomas Griffiths.  Probabilistic author-topic models for information discovery.  In  Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 306–315. ACM, 2004. Ding Zhou, Xiang Ji, Hongyuan Zha, and C Lee Giles. Topic evolution and social interactions: how authors effect research. In Proceedings of the 15th ACM international conference on Information and knowledge management, pp. 248–257. ACM, 2006. Yookyung Jo, Carl Lagoze, and C Lee Giles. Detecting re- search topics via the correlation between graphs and texts. In Proceedings of the 13th ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 370–379. ACM, 2007. Carmen K Vaca, Amin Mantrach, Alejandro Jaimes, and Marco Saerens.  A time-based collective factorization for topic discovery and monitoring in news. In Proceedings of the 23rd international conference on World wide web , pp. 527–538. ACM, 2014. Janani Kalyanam, Amin Mantrach, Diego Saez-Trumper, Hossein Vahabi, and Gert Lanckriet. Leveraging social con- text for modeling topic evolution.  In Proceedings of the 21th ACM SIGKDD International Conference on Knowl- edge Discovery and Data Mining , pp. 517–526. ACM, 2015. Liqiang Niu, Xinyu Dai, Jianbing Zhang, and Jiajun Chen. Topic2vec: Learning distributed representations of topics. In Proceedings of the 2015 International Conference on Asian Language Processing (IALP), pp. 193–196. IEEE, 2015. Shaohua Li, Tat-Seng Chua, Jun Zhu, and Chunyan Miao. Generative topic embedding: a continuous representation of documents. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 666–675, 2016. [16] Satoshi Morinaga and Kenji Yamanishi. Tracking dynam- ics of topic trends using a finite mixture model.  In Pro¬ ceedings of the tenth ACM SIGKDD international confer- ence on Knowledge discovery and data mining , pp. 811–816. ACM, 2004. [17]  Xuerui Wang and Andrew McCallum.  Topics over time: a non-markov continuous-time model of topical trends. In Proceedings of the 12th ACM SIGKDD international con- ference on Knowledge discovery and data mining, pp. 424– 433. ACM, 2006. [18] Laurens van der Maaten and Geoffrey Hinton. Visualizing data using t-SNE.  Journal of Machine Learning Research, Vol. 9, pp. 2579–2605, Nov 2008.