DEIM Forum 2018 J7-4

トピックモデル・分散表現の併用によるウェブ検索結果話題集約におけるサブトピック化
丁易†

趙辰†

川畑修人†

宇津呂武仁††

河田容英†††† 筑波大学 大学院システム情報工学研究科 〒 305-8573 茨城県つくば市天王台 1-1-1†† 筑波大学 システム情報系 知能機能工学域 〒 305-8573 茨城県つくば市天王台 1-1-1††† (株) ログワークス 〒 151-0053 東京都渋谷区代々木 1-3-15 天翔代々木ビル 6F
あらまし本論文では，トピックモデルによってウェブ検索結果の話題集約を行った結果に対して，各トピックによる話題集約の粒度が粗いことに着目する．そして，より粒度の細かい話題集約の単位として，各トピックをサブトピックに分割するアプローチをとる．具体的には，分散表現の尺度を用い，各ウェブページの類似度を計算することによって，各トピック内のウェブページ集合の話題集約の粒度をサブトピック単位へと詳細化する．さらに，本論文
では，先行研究で設計したインタフェースの仕様をふまえて，サブトピック単位での話題集約結果を提示するインタ
フェースを設計・実装する．
キーワード 検索エンジン・サジェスト，トピックモデル，話題集約，分散表現

Subtopic Labeling in Web Search Results Aggregation
by Integrating a Topic Model and Word Embeddings
Yi DING† , Chen ZHAO† , Shuto KAWABATA† , Takehito UTSURO†† , and Yasuhide KAWADA†††† Grad. Sch. of Systems and Information Engineering, University of Tsukuba, Tsukuba 305-8573 Japan†† Faculty of Engineering, Information and Systems, University of Tsukuba, Tsukuba 305-8573 Japan††† Logworks Co., Ltd. Tokyo 151-0053, Japan

1. は じ め にる．そして，クエリ・フォーカスにサジェストを加えて，AND

本論文では，検索者が詳細な情報を検索したい対象を「クエジェストに対してこの方法を使うことによってウェブページのリ・フォーカス」と呼ぶ．そして，クエリ・フォーカスに対し収集を行う．次に，収集されたウェブページ集合に対してトピッて，より詳細な情報を得るために指定する語を「情報要求観点」

クモデルを適用することにより，ウェブページ集合の話題集約と呼ぶ (図 1)．本論文では，検索エンジン・サジェストを情報を行う．さらに，[13] の手法に基づき，word2vec [10]，および源としてウェブ検索者の情報要求観点の収集を行う．[5] におい

doc2vec [8] の二つの分散表現の尺度を用い，各ウェブページては，「情報要求観点」に着目して，ウェブ検索結果に対する集の類似度を計算することによって，各トピック内のウェブペー「クエリ・フォーカス」に関する約を行った．[5] においては，ジ集合の話題集約の粒度をサブトピック単位へと詳細化する．

情報要求観点を用いてウェブページの収集を行い，収集された

ここで，word2vec のモデル訓練時においては，訓練用テキス

ウェブページに対してトピックモデルを適用することによってトとして，日本語 Wikipedia エントリの本文テキストに加え話題の集約を行った．これに対して，本論文では，トピックモて，クエリ・フォーカスごとに，収集結果のウェブページのテデルによってウェブ検索結果の話題集約を行った結果に対して，キストを追加することによって，各クエリ・フォーカスに特化

各トピックによる話題集約の粒度が粗いことに着目する．そしした分散表現を訓練した．そして，人手で作成した参照用サブて，より粒度の細かい話題集約の単位として，各トピックをサトピックを用いた評価実験によって，分散表現を用いたサブトブトピックに分割するアプローチをとる．

ピック単位への話題集約の性能評価を行った．また，各サブト検索によってウェブページの収集を行う．最大約 1,000 個のサ

具体的には，本論文では，まず，[5] と同様に，一つのクエピックごとに，収集されたウェブページ集合のテキストに対しリ・フォーカスに対して，最大約 1,000 個のサジェストを収集すて複数文書要約手法である LexRank [3] を適用することによって，各サブトピックの内容を要約する．
さらに，本論文では，[5] におけるウェブ検索結果の話題集約インタフェースの仕様をふまえて，サブトピック単位での話題

3. トピックモデルを用いたウェブ検索結果の集約
3. 1 トピックモデル

集約結果を提示するインタフェースを設計・実装する．具体的検索エンジン・サジェストを用いることにより大規模なウェブには，[5] におけるウェブ検索結果の話題集約インタフェースにページ集合を収集することができるが，サジェストおよびそれをおいては，各トピックごとに，検索結果のウェブページの URL用いて収集されるウェブページには重複する話題が多く含まれおよびスニペットを表示する仕様となっている．一方，本論文る．そのため，収集されたサジェストおよびウェブページ集合のにおけるサブトピック単位での話題集約結果提示インタフェー集約・俯瞰が不可欠となる．そこで，本論文では，トピックモデスにおいては，トピック粒度の提示だけでなく，各サブトピッ

ルとして，潜在的ディリクレ配分法 [1](LDA; Latent Dirichlet

クことのウェブページ情報，および，各サブトピックにおけるAllocation) を用いる．LDA を適用することにより，語 w の列複数文書要約結果を提示する機能を実装した．これらの機能にで表現された文書の集合，および，トピック数 K を入力する

よって，ウェブ検索者の関心事項を効率的に俯瞰することを実ことによって，各トピック zn (n = 1, . . . , K) における語 w の現した．

確率分布 P (w|zn ) (w ∈ V )，および，各文書 d におけるトピッ

2. 検索エンジン・サジェストを用いたウェブペー
ジの収集

ク zn の確率分布 P (zn |d) (n = 1, . . . , K) を得ることができる．
これらを推定するためのツールとしては，GibbsLDA++（注 2）を用いた．LDA のハイパーパラメータである α，β としては，2. 1 検索エンジン・サジェスト

GibbsLDA++の基本設定値である α = 50/K ，β = 0.1 を用

検索エンジン会社は，過去の検索者による検索ログを用いて，い，Gibbs サンプリングの反復回数は 2,000 とした．また，本利用者が入力した検索語と強い関連を持つ語をサジェストとし論文においては，語 w の集合 V として日本語 Wikipedia 中のて提示する．過去の検索者の検索ログに基づいて提供されるこタイトル，および，そのリダイレクトの集合（注 3） を用いた．とから，検索エンジン・サジェストには，検索者の関心そのも3. 2 ウェブページに対するトピックの割り当てのが反応されていると考られる．そこで，本論文では，検索者ウェブページ集合を D，人手で指定したトピック数を K との関心事項を収集するために検索エンジン・サジェストを利用して，次式によって，トピック zn に対してウェブページ集合する．特に，本論文では，四種類のクエリ・フォーカス「就活」，D(zn ) を割り当てる．

D(zn ) = d ∈ D  zn =「結婚」，「花粉症」，および，「マンション」を対象として，検索エンジン・サジェストを収集・分析する．

argmaxzu (u=1,...,K)P (zu |d)



各 文 書 d に お け る ト ピック zn の 確 率 分 布 P (zn |d) (n =1, . . . , K) に基づき，確率 P (zn |d) が最大となるトピックにウェブページ d を割り当てる．また，人手でトピック数 K を指定する際には，各トピックにおける話題のまとまりが最もよいトピック数 K を決める．具体的には，クエリ・フォーカス「結婚」におけるトピック数 K を 60 とし，その他のクエリ・
図 1 検索エンジン・サジェストにおける情報要求観点の例

フォーカスにおけるトピック数 K を 50 とした．

3. 3 トピックに対するサジェストの割り当て
2. 2 サジェストの収集
本論文では，Google 社の検索エンジン・サジェストを用いて，クエリ・フォーカスに対する情報要求観点を収集する．一つのクエリ・フォーカスあたり 100 通りの文字列を指定する．
一文字列あたり最大 10 個のサジェストを収集できるため，理論上，最大 1，000 語のサジェストを収集することができる． 100通りの文字列としては，五十音，濁音，半濁音および開拗音を含む．この手順により収集したサジェストの数を表 1 に示す．

ウェブページは，クエリ・フォーカスおよびサジェストのAND 検索によって収集されるため，各ウェブページに対して，一つ以上のサジェストが対応付けられている．そこで，各トピッ
ク zn に対応付けられたウェブページ集合 D(zn ) 中の各ウェブページに対応付けられたサジェストを収集することにより，各トピックに対してサジェスト集合を割り当てることができる．

4. ウェブ検索結果の集約粒度の詳細化：サブト
ピックへの話題集約

2. 3 ウェブページの収集
ウェブページの収集においては，Google Custom Search API（注 1）を用いて，検索語として，「クエリ・フォーカス AND サジェスト」の AND 条件での検索語を指定して，ウェブページ前節までの手順によって, サジェストを用いて収集されたウェブページ集合に対してトピックモデルを適用することによって，ウェブページ収集結果の話題の集約を行った．ここで，各トピッを収集する．収集されたウェブページの数を表 1 に示す．
（注 2）
：http://gibbslda.sourceforge.net/（注 3）：日本語 Wikipedia には，2014 年 3 月にダウンロードを行った総記事（注 1）：https://cse.google.com/cse/

数約 89 万 7,000 ページのものを用いた．

表 1 評価対象のサジェストおよびウェブページの数

クエリ・フォーカス

結婚

就活

959

926

850

958

709

559

632

684

771

671

695

758

13,256 12,078

9,745

13,742

サジェスト数日本語 Wikipedia のみを用いて分散表現を訓練した場合に，分散表現を持つサジェストの数
日本語 Wikipedia およびクエリ・フォーカスに関するウェブページを用いて分散表現を訓練した場合に，分散表現を持つサジェストの数収集したウェブページの数

花粉症 マンション

クにおける話題集約結果の問題点として，集約された話題の粒ジェストの一つである．

度が粗いことが挙げられる．そこで，本論文では，[5] における(b) (a) を満たすサジェストのうち，ウェブページ d が割り当

ウェブ検索結果の話題集約インタフェースにおいて機能を高度てられたトピックにおける頻度が最大となるサジェストが s(d)化するアプローチとして，トピック単位の粒度の粗い話題集約である．

結果を，さらにサブトピックに分割する方式を提案する．また，

なお，サジェストのトピックにおける頻度は次式によって定義

各サブトピックの単位においても，依然として数十から数百のする．

ウェブページが収集された状態であり，各サブトピックの単位での情報集約という点においては不十分である．そこで，本論
文では，各サブトピック内のウェブページ集合に対して，複数文書要約手法を適用することによって，情報の俯瞰効率を大幅に改善するアプローチを提案する．
以上をふまえて，本節では，ウェブページ集合に対してトピックモデルを適用した結果を対象として，より粒度の細かいサブトピックへの話題分割を行う手順を定式化する．この手順においては，トピック zn に割り当てられたウェブページ集合

D(zn ) は，互いに素な部分集合へと分割され，これらの各部分集合が，各サブトピックに対して分割されたウェブページ集合に対応する．


f (s, zn ) =  d ∈ D(zn ) | s ∈ S(d) 
そして，ウェブページ d および d に対して，サジェスト s(d)および s(d ) の分散表現の間の類似度

sim(v(d), v(d )) =v(s(d)) · v(s(d )) v(s(d))  v(s(d )) によって，ウェブページ d と d の間の類似度尺度を定義する．

5. 1. 1 Wikipedia のみで訓練したモデル
word2vec のモデル訓練において用いる日本語テキストとして，日本語 Wikipedia の全エントリ本文テキストを用いた（注 4）．
このテキストに対して，品詞体系・形態素辞書として IPAdic（注 5）を用いて，形態素解析ツールとして MeCab（注 6） を用いて形態D(zn ) = D1 (zn ) ∪ D2 (zn ) ∪ . . . ∪ Dm (zn )素単位への分割を行った後，word2vec の訓練を行った．ただDi (zn ) ∩ Dj (zn ) = ∅し，表 1 に示す各サジェストについては，形態素解析結果にお(i =| j)

ける形態素の単位を超えて，複数の形態素を結合した複合語のここで，各サブトピックに対応するウェブページ集合は，下限
値 θlbd 以上の類似度を持つウェブページ組を集めて構成される．

Di (zn ) =d ∈ D(zn ) ∃d ∈ Di (zn ),sim(v(d), v(d )) >= θlbd

5. 文書間類似度尺度
ウェブページ集合において，話題を高精度に集約する過程を単位で一つの分散表現を訓練するという調整を行った．結果的に，分散表現を持つサジェストの数を表 1 に示す．

5. 1. 2 Wikipedia および収集されたウェブページを用いて訓練したモデル
日本語 Wikipedia の全文テキストデータにおいては，日本語の典型的な用例は含まれているが，各クエリ・フォーカスに密接に関連する用語が高頻度で出現することは難しい．そこで，各クエリ・フォーカスごとに，2. 3 節で収集したウェブページ集実現するためには，まず，文書間の類似度を導入することが合を訓練データに追加したうえで， word2vec のモデルの訓練不可欠である．この課題に対して，本論文では，[13] にしたがを行う．表 1 に示すように，各クエリ・フォーカスごとのウェい，分散表現に基づくアプローチとして，word2vec [10] およ

ブページ数は約 1 万前後で，およそ 30MB のサイズとなる．本び doc2vec [8] を採用する．

節の手順で訓練した word2vec のモデルにおいては，前節のモ5. 1 サジェストの分散表現に基づく類似度尺度

デルと比べて，より多くのサジェストに対して分散表現が生成

ウェブページ収集結果の文書集合に対して word2vec [10] をされた．

適用した結果において，出現頻度が下限値以上となり分散表現を持つ検索エンジン・サジェストの数は，表 1 に示す通りである．このうち，各ウェブページ d に対して，以下の条件を満たすサジェスト s(d) を一つ設定する．

(a) s(d) は，ウェブページ d を検索する際に指定されたサ（注 4）：2016 年 2 月時点の日本語 Wikipedia 全 100 万ページ，約 4.8 億語，2.91GB を用いる．
：http://sourceforge.jp/projects/ipadic/
（注 5）
（注 6）
：http://taku910.github.io/mecab/

5. 2 doc2vec に基づく類似度尺度
前節の word2vec に基づく尺度はウェブページと対応してい7. サブトピックにおける複数文書要約るサジェスト間の word2vec 類似度のみを用いる手法である．

前節までの手順によって，各サブトピックに分割されたウェブ

しかし，ウェブページとサジェストの間の対応付けが不正確なページ集合に対して，複数文書要約技術を適用することによっ場合も起こり得る．そこで，ウェブページに対応付けられたサて，各サブトピックに対応する要約を生成し，ウェブページ集約

ジェストは用いず，文書自体をベクトル化して，文書間の類似度結果インタフェースにおいて提示する．本論文では，特に，複数を測定する方式として doc2vec [8] を用いる．本論文では特に，文書要約手法として，文間の関連ネットワークに対して PageR-Distributed Memory Model of Paragraph Vectors (PV-DM)

ank アルゴリズム [4] を適用する文書要約手法 [3]LexRank をのオプションを用いてウェブページのベクトルを生成する．そ用いて，各サブトピックごとの複数文書要約を生成し，インタして，次式によりウェブページのベクトル間の類似度を測定フェースにおいて提示する．ツールとしては，Summpy（注 7） をする．

用いた．

sim(v(d), v(d )) =6. 評

p(d) · p(d ) p(d)  p(d ) 価6. 1 評 価 方 法
表 1 に示す四種類のクエリ・フォーカスについて，各 10 個の8. ウェブ検索結果の集約提示インタフェース本論文は，[5] におけるウェブ検索結果の集約粒度が粗いという問題に着目し，ウェブ検索結果をサブトピック単位に分割して提示するインタフェースを設計し実装した．

8. 1 トピックレベルの粒度の提示

トピック，合計 40 個のトピックを評価対象とする．各トピック

本論文のウェブ検索結果集約提示インタフェースの機能の模において，ウェブページ d におけるトピック zn の確率 P (zn |d)式図を図 6 に示す．図 6 の左半分は，[5] におけるトピックレベの降順に上位 30 個のウェブページを評価対象とし，各トピックルでのウェブ検索結果集約提示インタフェースの機能を流用しにおける 30 個のウェブページに対して，参照用サブトピックた仕様となっている．この仕様においては，トピックごとのサを人手で作成し評価を行った．評価においては，−1 から 1 まジェスト，各サジェストの頻度，および，各トピックのウェブで 0.02 刻みで類似度下限値 θlbd を変化させて，次式の再現率，ページ，つまり，トピックレベルの粒度のウェブ検索結果の集適合率のマクロ平均，マイクロ平均を測定した結果をプロット「就活」における「研究約結果を提示している．図 6 の例では，した．

概要」や「学校推薦」等に関するトピックおよびそのサジェス出力された各サブトピックに含まれるウェブページ組のうち，参照用サブトピックに含まれるウェブページ組数の和
再現率 =参照用サブトピックに含まれるウェブページ組数の和出力されたサブトピックに含まれるウェブページ組のうち，参照用サブトピックに含まれるウェブページ組数の和適合率 =出力された各サブトピックに含まれるウェブページ組数の和

6. 2 評 価 結 果

トを表示している．このインタフェースにおいては，各トピックをクリックすると，そのトピックに関するサジェストが表示される．各サジェストの部分をクリックすると．そのトピックにおいて，各サジェストによって検索されたウェブページが表示される．

8. 2 サブトピックレベルの粒度の提示
次に，図 6 の右半分において，本論文のウェブ検索結果集約
提示インタフェースにおけるサブトピックレベルでのウェブ検索結果集約提示インタフェースの機能を示す．
一般に，各トピックに含まれるウェブページの数は数百ペー

評価対象の四種類のクエリ・フォーカスにおける評価結果をジとなり，膨大であるため，[5] のインタフェースでは，各トそれぞれ，図 2，図 3，図 4，および，図 5 に示す．全体的なピック内のウェブページを部分的に選定し，表示している．こ

傾向として，word2vec の方が doc2vec よりも高い性能を示し

れに対して，図 6 の右半分に示す本論文のインタフェースにおており，word2vec の中では，日本語 Wikipedia に加えて，クいては，サブトピックごとにウェブページを表示する．具体的

エリ・フォーカスごとに収集したウェブページを追加して訓練には，左側の各トピックをクリックすると，図 6 の右半分に示された word2vec モデルの方が高い性能を示した．これらの結すように，当トピックに所属するサブトピックおよび各サブト果から，ウェブページのテキスト情報を直接用いて分散表現をピックのウェブページが表示される．

訓練する doc2vec 方式よりも，各ウェブページに割り当てられ「研究図 6 の例では，クエリ・フォーカス「就活」における，たサジェストの分散表現を用いる word2vec 方式の方が，ウェ概要」，「学校推薦」等に関するトピック，および，そのサブトブページ集合におけるノイズの影響を受けにくいことが推測さピックの内容を示している．具体的には，左側のインタフェーれる．また，word2vec 方式においては，日本語 Wikipedia にスのトピック部分をクリックすると，「学校推薦」，「研究内容」等加えて，クエリ・フォーカスごとに収集したウェブページを追のサブトピックごとに，右側の各サブトピック内のウェブペー加して訓練した word2vec モデルの方が，日本語 Wikipedia のジが表示される．

みで訓練した word2vec モデルよりも，分散表現を持つサジェストの数が多いため，より高い性能を示したと考えられる．

（注 7）：https://github.com/recruit-tech/summpy

(a) マクロ平均(b) マイクロ平均

図 2 クエリ・フォーカス「就活」の評価結果(a) マクロ平均(b) マイクロ平均

図 3 クエリ・フォーカス「結婚」の評価結果(a) マクロ平均(b) マイクロ平均

図 4 クエリ・フォーカス「花粉症」の評価結果

8. 3 複数文書要約の提示
本論文のウェブ検索結果集約提示インタフェースにおける複9. 関 連 研 究

数文書要約機能の模式図を図 7 の右半分に示す．要約機能にお本論文の基盤となる研究として，[5] においては，収集したいては，図 7 の左半分のトピックに対して，そのトピックにおウェブページに対して LDA を適用し，各トピック中のウェブける「学校推薦」，「研究概要」等のサブトピックごとに別々に，ページのうちで代表的なものを選択して提示する方式によって図 7 の右半分に示す要約を提示する．

ウェブ検索結果の集約を実現している．一方，[5] の後段の研究の一つである [11, 12] においては，トピックモデルおよび分散表現を併用し，本論文において対象とした検索結果のウェブ

(a) マクロ平均(b) マイクロ平均

図 5 クエリ・フォーカス「マンション」の評価結果図 6 ウェブ検索結果の集約提示インタフェースにおけるサブトピックへの文書集合分割機能

ページではなく，検索エンジン・サジェストの集約における粒主要なサブトピックとみなして，トピック中のウェブページに度を詳細化する手法を提案している．一方，本論文の前身とな対して，主要サブトピックか否かに二分するタスクを対象としる [13] においては，LDA を適用した集約結果に対し，本論文て，本論文と同様の分散表現を用いる手法を提案している．[13]で行ったサブトピックラベル付けの結果をふまえて，同一サブにおいて対象としているタスクは，本論文のタスクの粒度を粗トピックとなるウェブページ数が 3 以上となるサブトピックをくしたものに相当する．

図7

ウェブ検索結果の集約提示インタフェースにおける複数文書要約機能

また，[9] においては，語に対して求めた分散表現の上の確率を検討する必要があると考えられる．その他，ウェブページに分布としてトピックモデルを推定する方式を提案し，語の上の対してリンク元のウェブページの内容を利用した要約手法 [2]確率分布として推定される従来型のトピックモデルとの比較を等も提案されているので，これらの適用についても検討が必要行なっている．一方，本論文では，従来型のトピックモデルにであると考えられる．

対してより粒度の細かいサブトピックを得るためのアプローチ

10. お わ り にとして，検索エンジン・サジェストの分散表現の間の類似度を用いてウェブページ間の類似度を測定し，粒度の粗いトピックをサブトピックに分割する方式を提案した．

本論文では，トピックモデルによってウェブ検索結果の話題集約を行った結果に対して，各トピックによる話題集約の粒度

さ ら に ，本 論 文 で は ，各 サ ブ ト ピック の 粒 度 に 対 し て ，が粗いことに着目した．そして，より粒度の細かい話題集約のLexRank [3] の複数文書要約手法を適用することによって，単位として，各トピックをサブトピックに分割するアプローチ

各サブトピック単位での要約結果を提示するインタフェースををとった．具体的には，分散表現の尺度を用い，各ウェブページ設計・実装した．ここで，本論文における要約対象はウェブペーの類似度を計算することによって，各トピック内のウェブページ集合であるが，本論文で適用した要約手法は，ウェブページジ集合の話題集約の粒度をサブトピック単位へと詳細化した．の HTML 文書ではなく，テキストで書かれた文書を対象とする

さらに，本論文では，先行研究で設計したインタフェースの仕要約手法である．したがって，今後は，ウェブページの HTML様をふまえて，サブトピック単位での話題集約結果を提示する

タグ等を考慮したウェブページ要約手法 (例えば，[6, 7]) の適用インタフェースを設計・実装した．

文

献[1] D. M. Blei, A. Y. Ng, and M. I. Jordan. Latent Dirichlet
allocation. Journal of Machine Learning Research, Vol. 3,
pp. 993–1022, 2003.
[2] J.-Y. Delort, B. Bouchon-Meunier, and M. Rifqi. Enhanced
Web document summarization using hyperlinks. In Proc.
14th HYPERTEXT, pp. 208–215, 2003.
[3] G. Erkan and D. R. Radev. LexRank: Graph-based lexical centrality as salience in text summarization. Journal ofArtiﬁcial Intelligence Research, Vol. 22, pp. 457–479, 2004.
[4] S. Grin and L. Page. The anatomy of a large-scale hypertextual Web search engine. Computer Networks and ISDN
Systems, Vol. 30, No. 1-7, pp. 107–117, 1998.
[5] 井上祐輔, 今田貴和, 陳磊, 徐凌寒, 宇津呂武仁, 河田容英. 検索エンジン・サジェストおよびトピックモデルを用いたウェブ検索結果の集約. 第 8 回 DEIM フォーラム論文集, 2016.
[6] 井山晃洋, 砂山渡, 谷内田正彦. HTML テキストの文章化によるWeb ページ要約. 第 16 回人工知能学会全国大会論文集, 2002.
[7] 清田陽司, 黒橋禎夫. WWW テキストの自動要約と KWIC インデックスの作成. 情報処理学会研究報告, Vol. 2000–NL–137,pp. 31–38, 2000.
[8] Q. Le and T. Mikolov. Distributed representations of sentences and documents. In Proc. 31st ICML, pp. 1188–1196,2014.
[9] X. Li, J. Chi, C. Li, J. Ouyang, and B. Fu. Integrating topic
modeling with word embeddings by mixtures of vMFs. InProc. the 26th COLING, pp. 151–160, 2016.
[10] T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean.
Distributed representations of words and phrases and theircompositionality. In Proc. 26th NIPS, pp. 3111–3119, 2013.
[11] T. Nie, Y. Ding, C. Zhao, Y. Lin, T. Utsuro, andY. Kawada. Clustering search engine suggests by integratinga topic model and word embeddings. In Proc. 18th SNPD,pp. 581–586, 2017.
[12] 聶添, 丁易, 趙辰, 李佳奇, 宇津呂武仁, 河田容英. トピックモデ
ルおよび分散表現の併用による検索エンジン・サジェストの集
約. 第 31 回人工知能学会全国大会論文集, 2017.
[13] C. Zhao, T. Nie, Y. Ding, J. Li, T. Utsuro, and Y. Kawada.
Identifying major documents with search engine suggests byunsupervised subtopic labeling. 第 31 回人工知能学会全国大会論文集, 2017.

———————————————-