DEIM Forum 2019 B3-3

ノウハウサイト群のトピック閲覧インタフェース
川畑修人†

大川 遥平†

牛文彬†

河田容英†††

趙辰†

宇津呂武仁††† 筑波大学 大学院システム情報工学研究科 〒 305–8573 茨城県つくば市天王台 1-1-1†† 筑波大学 理工学群 工学システム学類 〒 305–8573 茨城県つくば市天王台 1-1-1††† (株) ログワークス 〒 151-0053 東京都渋谷区代々木 1-3-15 天翔代々木ビル 6F
あらまし

一般に，質問回答サイトやその他の多様なウェブサイトには，多種多様な内容および質の情報が分散しているため，ウェブページのノウハウ知識を集約してユーザに提示することが必要となる．この要求を満たすため，先行研究では，ある決まったクエリ・フォーカスにおいて，ノウハウ知識の候補を集約・俯瞰している．さらに，後続研究では，収集したウェブページ集合にトピックモデルを適用した結果に対し，複数のトピックにまたがってウェブページを保持するドメインはノウハウサイトのドメインである可能性が高いと仮定し，いくつかのクエリ・フォーカ
スにおいて，収集された候補サイトの半数以上がノウハウサイトであるという結果を得た．これに対し本論文では，ノウハウサイト群の各ノウハウサイトにどのような話題のウェブページが存在するかの一覧を表示するトップページ，および， それらノウハウサイトのウェブページ群を効率良く閲覧するためのインタフェースを作成する．
キーワード ノウハウ，インタフェース，検索エンジン，トピックモデル，word2vec, 分類器学習

An Interface for Browsing Topics of Know-How Sites
Shuto KAWABATA† , Ohkawa YOUHEI† , Wenbin NIU† , Chen ZHAO† , Takehito UTSURO†† , andYasuhide KAWADA†††† Grad. Sch. of Systems and Information Engineering, University of Tsukuba, Tsukuba 305-8573 Japan†† Faculty of Engineering, Information and Systems, University of Tsukuba, Tsukuba 305-8573 Japan††† Logworks Co., Ltd. Tokyo 151-0053, Japan1. は じ め にport Vector Machine) を用いることにより，いくつかのクエ現在，私たちは，インターネットやソーシャルメディアを活る手法を提案している．これに対し本論文では，文献 [9] におい用することによって，日常生活に役立つ知識を容易に得ることて自動同定されたノウハウサイト群を効果的に閲覧可能なインができる．また，様々な知識をまとめたウェブサイトも多数存

タフェースを作成することを目的とする．本閲覧インタフェー「就在し，Yahoo!知恵袋，OKWAVE 等の質問回答サイトでは，スは，各ノウハウサイトにどのような話題のノウハウ記事が存

活のエントリーシートの書き方」，「結婚式にかかる具体的な費在するかの一覧を表示するトップページ，および，各ノウハウ用」などのノウハウ知識が多数掲載されている．しかしながら，サイトの記事を効率良く閲覧するためのサブページによって構

このような質問回答サイトやその他の多様なウェブサイトには，成される．本論文では特に，ノウハウに関する質問・応答組を多種多様な内容および質の情報が分散して存在しているため，作成するタスクにおいてこの閲覧インタフェースの有効性を評

ウェブページのノウハウ知識を集約して利用者に提示すること価し，検索エンジンを利用した場合と比較して，より効率的にが不可欠である．

質問・応答組が作成できることを示す．

この要求を満たすため，文献 [8] では，特定のクエリ・フォー
カス (検索エンジンにおいて検索クエリとして用いるキーワードに相当) において，ノウハウ知識の候補を集約・俯瞰している．さらに，文献 [9] では，分類器学習手法として SVM (Sup-リ・フォーカスを対象として，自動でノウハウサイトを同定す

2. 検索エンジン・サジェストを用いたウェブペー
ジ収集
検索エンジンには，過去の検索者が検索したときの検索ロジ集合 D(zn ) を割り当てる．

D(zn ) = d ∈ D  zn = argmax

zu (u=1,...,K)P (zu |d)

ここで，ウェブページは，クエリ・フォーカスおよびサジェス
トの AND 検索によって収集される．そのため，各ウェブペー
ジ d に対して一つ以上のサジェストから構成されるサジェスト
図 1 検索エンジン・サジェスト(クエリ・フォーカス「就活」の例)

集合 S(d) (d ∈ D(zn )) が対応付けられる．そこで，各トピッ
ク zn に対してサジェスト集合 S(zn ) を割り当てるため，各トグを用いることで，次の検索者が入力するクエリ・フォーカス

ピック zn におけるウェブページ集合 D(zn ) 中のウェブページに関係のある語群を，検索ワードの隣にサジェストとして提示

d (∈ D(zn )) に対応付けられたサジェストを収集し，それらのする機能がある (図 1)．クエリ・フォーカスについて検索者がサジェスト集合の和集合を S(zn ) とする．



関心を持つ事柄を収集するため，本論文では検索エンジン・サジェストを用いる．本論文では，クエリ・フォーカスとして，S(zn ) =S(d)d∈D(zn )「就活」，「結婚」，「虫歯」，「花粉症」の 4 種類を対象とし，検索エンジンには Google 社の検索エンジンを用いる．サジェス

一方，各トピック zn のサジェスト集合 S(zn ) 中のサジェス

ト収集時，一つのクエリ・フォーカスあたり 100 通りの文字列

ト s (∈ S(zn )) に対しては，s が付与されたウェブページ d(五十音，濁音，半濁音，および，開やく音を含む) を指定する．

(∈ D(zn )) の集合 D(s, zn ) の要素数を求めることにより，ト一文字列あたり最大 10 個のサジェストを収集可能なため，理ピック zn での頻度に相当する値 f (s, zn ) を求めることがで論上，最大 1,000 語のサジェストを収集することが可能である．

きる．

また，ウェブページの収集においては，検索語として，「クエリ・フォーカス AND サジェスト」の AND 条件を設定し，GoogleCustom Search API（注 1） を用いて，各検索結果の上位 20 ペーd ∈ D(zn )s ∈ S(d)

f (s, zn ) = D(s, zn )D(s, zn ) =ジを収集する．以上の手順により収集されたサジェスト数，おそこで，本論文の閲覧インタフェースでは，各トピック zn のよび，ウェブページ数を表 1 に示す．

話題を表す方法の一つとして，サジェスト頻度 f (s, zn ) の上位

以下，本論文では，上述のサジェスト収集から始まり，図 23 位までのサジェストを連結して提示する方式を採用する．に示すウェブページ収集，トピック単位でのウェブページの話

3. 2 サブトピックへの話題集約

題集約，サブトピック単位でのウェブページの話題集約，の流前節までの手順による，トピックモデルを用いたウェブペーれに沿って収集されたウェブページ集合の話題集約を行う．

ジ集合の話題集約の粒度においては，その粒度が粗いという問3. 話 題 集 約題がある．そこで本論文では，文献 [2] に従い，トピック単位の粒度の粗い話題集約結果を，さらに粒度の細かいサブトピック

本節では，図 2 に示す流れのうち，トピック単位でのウェブ単位に分割する．具体的には，各クエリ・フォーカスごとに，日ページの話題集約，および，サブトピック単位でのウェブペー

本語版 Wikipedia のテキスト，および，収集されたウェブペー

ジの話題集約，の詳細について述べる．

ジ集合の混合文書集合に対して word2vec [7] を適用することに

3. 1 トピックモデルの適用およびサジェストの集約

より，頻度下限値（注 2） 以上のサジェストに対して分散表現を求検索エンジン・サジェストを利用することにより，大規模める（注 3）．ここで，各ウェブページ d に対し，サジェスト集合なウェブページ集合を収集することができるが，収集されるS(d) の要素のうち，トピック zn でのサジェスト頻度 f (s, zn )ウェブページには重複する話題が多く含まれるため，収集さが最大となるサジェスト s(d) を d に割り当てる．

れたサジェスト，および，ウェブページの集約・俯瞰が必要となる．そこで，収集したウェブページ集合に対して，潜在的ディリクレ配分法 (LDA; Latent Dirichlet Allocation) [1] をs(d) = argmax f (s, zn )s∈S(d)(ただし，zn =argmaxP (zu |d))適用する．LDA 適用時には，語 w の列で表現された文書のzu (u=1,...,K)集合，および，トピック数 K を入力する．LDA の適用によ

そして，ウェブページ d および d に対し，サジェスト s(d) おり，各トピック zn (n = 1, . . . , K) における語 w の確率分布

よび s(d ) の分散表現間の類似度

P (w|zn )(w ∈ V ), および, 各文書 d におけるトピック zn の確率分布 P (zn |d) (n = 1, . . . , K) が得られる．各文書 d におけるトピック zn の確率分布 P (zn |d) (n = 1, . . . , K) に基づき，確率 P (zn |d) が最大となるトピックにウェブページ d を割り当てる．そして，トピック zn に対して，次式を用いてウェブペー

sim(v(d), v(d )) =v(s(d)) · v(s(d )) v(s(d))  v(s(d )) を用いて，ウェブページ d と d の類似度尺度を定義する．
（注 2）：頻度下限値を 5 とする．
：各クエリ・フォーカスごとの分散表現を持つ検索エンジン・サジェスト
（注 3）

（注 1）
：https://developers.google.com/custom-search/の数を表 1 の「分散表現を持つサジェスト」欄に示す．

図 2 サジェスト収集からサブトピック集約までの流れ (クエリ・フォーカス「就活」の例)
表 1 データセット

クエリ・サジェスト数

フォーカス ウェブページ 分散表現を持つ収集時

ウェブページ集合

トピック数

ノウハウサイト 参照用ノウハウ
候補数

サイト数

サジェスト

就活

923

627

11,84050

8150

結婚

978841

12,880505539虫歯855694

6,947505329

花粉症

8497076,997504425

ここで，次式により下限値 θlbd 以上の類似度を持つウェブページ組を集めることにより，各サブトピックに対応するウェブページ集合
Di (zn ) = d ∈ D(zn )  ∃d ∈ Di (zn ),sim(v(d), v(d )) >= θlbd複数のトピックにまたがってウェブページを持つドメインの半数以上がノウハウサイト（注 5） であるとの結果となった．
文献 [5] におけるノウハウサイト候補選定手順の詳細を以下に述べる．まず，あるドメインを dmx ，異なるトピック zi お| j) に割り当てられた文書 d，および，d ，それらよび zj (i =を構成する．これにより，トピック zn に割り当てられたウェの URL を u(d)，および，u(d ) とする．このとき，dm(u(d))，

ブページ集合 D(zn ) は，互いに素な部分集合 (サブトピック集および，dm(u(d )) がともにあるドメイン dmx と等しい場合合（注 4）) へと分割される [2]．

(次式)，

4. 閲覧対象のノウハウサイト候補群
本節では，文献 [5] に従い，閲覧対象のノウハウサイトを選∃i, ∃j, i =| j, ∃d ∈ D(zi ), ∃d ∈ D(zj )dm(u(d)) = dm(u(d )) = dmx

定する．文献 [5] では，ウェブページ収集後の文書集合にトピッドメイン dmx を，「当該ドメインのウェブページが複数のトピッ

クモデルを適用した結果の各トピック確率上位 30 位以内の文クにまたがる」ドメインとする（注 6）．ただし，i) 質問回答サイ

書集合に対して，ト，ii) ニュースサイト，iii) 販売サイト，iv) ブログホスト以下

複数のトピックにまたがって出現するドメインはノウのブログ，のサイトのウェブページにおいては，特定ジャンルハウサイトである可能性が高い（注 5）：本論文では，ノウハウサイト候補の集合 S の各ドメインのうち，人手にという仮説 (図 3) を立て，この仮説を検証した結果，よって，表 2 の基準のうちの A 群，B 群，C 群のいずれかであると判定されたドメインを指す．以下では，このドメインの集合を「参照用ノウハウサイト集合R」と呼ぶ．
（注 4）：本論文では，類似度下限値 θlbd を 0.7 とし，要素数 3 以上となるサブ：例えば，u(d) = http://xxx.com/yyy，u(d ) = http://xxx.com/zzz（注 6）

トピックのみを有効とした．の場合に，dm(u(d)) = dm(u(d )) = http://xxx.com/ となる．

仮説： 複数トピックにまたがって出現するドメイン＝ノウハウサイトのドメインとみなす

図 3 ノウハウサイト候補の選定

ノウハウ記事へのリンク

図 4 ノウハウサイト例 (クエリ・フォーカス「就活」の例)「履歴書 Do」，(https://www.rirekisyodo.com/)のノウハウの一覧が参照できる可能性が低いと仮定し，複数のトピックにまたがるドメインが上記 i)∼iv) のいずれかに該当する場合には，そのドメインを除外する．そして，以上の一連の条件を満たすドメインの集合をノウハウサイト候補の集合 Sとする．
クエリ・フォーカス「就活」および「結婚」における参照用
ノウハウサイトの例を，図 4，および，図 5 にそれぞれ示す．

5. ノウハウサイト候補群閲覧インタフェース
5. 1 概要前節の手順によって選定されたノウハウサイト候補群を閲覧するためのインタフェースを作成する. インタフェースの画面
例を図 6 に示す．
トップページでは，各ノウハウサイト候補におこえるノウハ
ウの話題の分布を俯瞰するため，各サイトにおけるトピックの有無を表形式で表示する (図 6 におけるマス目の色の有無が，各トピックにおけるウェブページの有無を示す)．各ドメイン

ノウハウ記事へのリンク

図 5 ノウハウサイト例 (クエリ・フォーカス「結婚」の例)「結婚レシピ」，(http://www.wedding-recipe.com/)(ノウハウサイト候補群)④

図 6 ノウハウサイト候補群閲覧インタフェース(クエリ・フォーカス「就活」の例)

dmx のウェブページ集合を D(dmx ) とすると，各ドメインに含まれるトピックの集合 Z(dmx ) は次式で定義される．

Z(dmx ) =zn  d ∈ D(dmx ),zn =argmaxzu (u=1,...,K)P (zu |d)

本インタフェースでは，文献 [9] において SVM(Support Vec-表 2 ノウハウサイト候補のドメインに対する評価基準

ドメインそのものがノウハウ知識を提示する個別ページへのリンクを一覧するページである

A群

ドメインそのものノウハウ知識を提示する個別ページへのリ ドメインのトップからノウハウ知識を提示する個 B 群がノウハウ知識をンクを一覧するページが存在する

別ページへのリンクを一覧するページに容易に辿提示する個別ペー

り着けるジへのリンクを一ドメインのトップからノウハウ知識を提示する個 C 群

覧するページでは別ページへのリンクを一覧するページには容易に辿り着けないない

ノウハウ知識を提示する個別ページへのリ ノウハウ知識を提示する個別ページが存在する
ンクを一覧するページが存在しない

ノウハウ知識を提示する個別ページが存在しない

D群
E群

tor Machine) モデルによってノウハウサイトか否かの自動判定

ク数降順」や「ウェブページ数降順」，「SVM 信頼度降順」なを行う際の信頼度を参照して，利用者が指定した下限値以上のどいくつかの方法が考えられる．順位付け方式 r において上位信頼度を持つドメインのみを表示させる機能を持ち，SVM モ

θ 位以内のノウハウサイト候補の集合 Srθ (∈ S) 中のドメインのデルによる自動判定結果のうちの高信頼度ノウハウサイト候補うち，参照用ノウハウサイト集合 R に含まれるドメインの数群のみを閲覧可能としている．また，各ウェブページに対し，|Srθ ∩ R| のプロット (クエリ・フォーカス「就活」の場合) のページタイトル，概要を示すスニペット（注 7），各ウェブページ比較結果を図 7 に示す．図 7 に示す通り，ノウハウサイト候補に付与されたサジェスト提示機能も持ち，利用者によるウェブの数 |S| は 81，参照用ノウハウサイトの数 |R| は 50 となった．

ページ閲覧過程の支援を可能としている．

順位付け上位はどの方式でもほとんど違いがないのに対し，下5. 2 利 用 例

位は SVM 信頼度降順で順位付けした場合が参照用ノウハウサ

図 6 に示すように，各ドメインのデモリンク部分 (ボタン 1)

イト集合 R のドメインを多く含む結果となった．

をクリックすると，そのドメインのウェブページを効果的に閲覧するためのページに遷移する．このページでは，そのドメインの持つトピックがオレンジ色で示され，各トピック (ボタン2) をクリックすると，そのトピックに含まれるサブトピックが表示される．サブトピック (ボタン 3) をクリックすると，そのサブトピック中のウェブページへのリンクがリストされる．
ウェブページへのリンク (ボタン 4) をクリックすると，実際にノウハウが記述されているページに遷移する．
図 6 の例では，ノウハウサイトの一つである「履歴書 Do」のドメイン (ボタン 1) をクリックした後，当該サイトのトピッ
クの一つであるグループ面接に関するトピック「グループ面接マナー・集団面接・グループ面接」（注 8） (ボタン 2) をクリックし，次に，「集団面接 マナー」，「説明会 マナー」，「グループワーク」，「グループディスカッション」等，選択したトピックに関するサブトピックがリストで表示される．その他，サブトピッ
クとは別に，サブトピックに分類されなかった話題をリストで

図7

ノウハウサイト候補の順位付方式の比較 (クエリ・フォーカス「就活」の例)表示する機能も持つ．
本インタフェースの以上の機能を用いることによって，クエリ・フォーカスにおける俯瞰的なノウハウ知識を得ることができ，ノウハウサイトに絞ったウェブページの効果的な閲覧が可能となる．

6. ノウハウサイト候補の順位付け方式の比較
ノウハウサイト候補の集合 S の順位付け方式として，「トピッ

7. トピックモデル訓練時に未知のウェブページのトピック分類
7. 1 分 類 手 順
前節までに述べた，検索エンジン・サジェストを用いて収集したウェブページ群とは別に，任意に指定したドメインの全ウェブページを収集し，「検索エンジン・サジェストを用いて収集したウェブページ群によって訓練したトピックモデル」のト（注 7）：ページタイトル，および，スニペットについては，Google Custom

Search API によって利用できるものを提示する．
：頻度上位となる 3 サジェスト「グループ面接 マナー」，「集団面接」，「グ（注 8）ループ面接」によって示される．

ピック群へ分類する方式 [1] を適用した．これにより，検索エ
ンジン・サジェスト，および，検索エンジン API の組み合わせ
では収集しきれなかったウェブページ群を閲覧インタフェース

表3「トピックモデル訓練時に未知のウェブページのトピック分類」によるウェブページ数・トピック数の変化 (クエリ・フォーカス「就活」の例)「トピックモデルノウハウサイト

訓練時に未知のウェブページ」のトピック分類前後

Jobrass 新卒

Jobweb

履歴書 Doキャリタツ新卒

ハタラクティブ

ページ数 トピック数 ページ数 トピック数 ページ数 トピック数 ページ数 トピック数 ページ数 トピック数

前171155

1840

16193

2934

14後

4,40138

1,21835

1,3783427933

6,00231に反映させることが可能となる．

8. 2 評 価 結 果

具体的には，特定のドメインのウェブページ d のうち，前節評価結果を図 8 に示す．クエリ・フォーカスごとの平均では，までに述べた手順でのトピックモデルの訓練においては未知で検索エンジンを用いた場合の所要時間は，それぞれ，1,640 秒，あったウェブページに対して，訓練済みトピックモデルにおけ

1,731 秒，1,891 秒，クリック回数は，333 回，407 回，374 回

るトピックの確率分布を求める．そして，確率値 P (zn |d) が最となった．一方，閲覧インタフェースを用いた場合の所要時間大となるトピック zn に対して，確率値 P (zn |d) が下限値 (本は，それぞれ，1,189 秒，1,272 秒，1,387 秒，クリック回数は，論文では 0.3 とした) 以上となる場合に，本論文の閲覧インタ

344 回，417 回，413 回となった．平均所要時間については，全フェースに格納する．てのクエリ・フォーカスにおいて検索エンジンを用いた場合を7. 2 閲覧インタフェースへの導入例上回ったのに対して，クリック回数においてはほとんど差が見クエリ・フォーカス「就活」において，ノウハウサイトとなるられなかった．また，被験者延べ 11 人各々の所要時間について

5 種類のドメインを対象として，前節で述べた手順により、ウェは，検索エンジンを用いた場合よりも閲覧インタフェースを用

ブページの収集，および，訓練済みトピックへのウェブページいた場合の方が圧倒的に短い結果となった．さらに，全クエリ・分類を行った．これらの 5 種類のドメインにおける，訓練済みフォーカスでのミクロ平均の比較においては，所要時間においトピックへのトピック分類前後のウェブページ数，および，分ては，検索エンジンが 1,733 秒，閲覧インタフェースが 1,266

類結果のトピック数を表 3 に示す．本閲覧インタフェース利用秒となり，一方，クリック数においては，検索エンジンが 364

者は，この機能を利用することにより，任意に選択したドメイ回，閲覧インタフェースが 382 回となった．ここで延べ 11 名ンに含まれる全てのウェブページに対して，的確にトピック分を母集団として，検索エンジンと閲覧インタフェースの間で所類された形での集約・俯瞰・閲覧が可能となる．

要時間の差の t 検定を行ったところ，その差は有意 (有意水準

8. 評 価 実 験1%) となった．この理由として，検索エンジンを用いた場合は，8. 1 評 価 手 順のに対し，閲覧インタフェースを用いた場合には，あらかじめ本論文の閲覧インタフェースを評価するため，既存の検索エクエリ・フォーカスに関する俯瞰的な話題，および，各話題にンジンを比較対象として比較実験を行う．被験者延べ 11 名に対するウェブページ集合が用意されているため，被験者自らが対し，あらかじめ指定したクエリ・フォーカス「就活」，「結婚」，検索語を考えて入力する必要がなく，相対的に所要時間が短縮「花粉症」に関するノウハウについての質問応答事例 [6,10] を作されたと考えられる．さらに，話題数においては，両者はほぼ成するタスクを実施させる．このタスク実施時において，検索同等であったが，1 時間あたりの話題数に換算すると，閲覧イエンジンを用いた場合，および，本論文の閲覧インタフェースンタフェースが検索エンジンを上回り，その差は有意 (有意水を用いた場合，それぞれにおいて，ノウハウに関する質問応答準 1%) となった．ここで，本論文の比較実験では，被験者が作事例 10 例を作成してもらい（注 9），その際の所要時間，クリック成するノウハウ質問応答事例数を 10 としたが，これを数十 ∼（注 10）

被験者自らが検索語を考え出して検索窓に入力する必要がある，および，1 時間あたりに作成された質問応答百程度とした場合には，検索エンジンと閲覧インタフェースの事例の話題数を評価する．その際，参考にしたページの URL，間の所要時間の差がさらに大きくなることが予想される．以上

ノウハウに関する質問内容，質問に対する回答，および，そのの結果から，本閲覧インタフェースの有用性を示すことができ回答が含まれる段落をエクセル形式で保存するものとする．

ると考えられる．

数，話題数

（注 9）
：各被験者は，検索エンジンを用いて質問応答事例 10 例を作成した後，検索エンジンと本論文の閲覧インタフェースの間で質問応答事例が重複しないという条件のもと，本論文の閲覧インタフェースを用いて，新たな質問応答事例 10例の作成を行った．

9. 関 連 研 究関連研究として，文献 [3] では，クエリ・フォーカスに対して，サジェストおよびウェブページを収集し，トピックモデルを適：作成された質問応答事例における話題の広がりを人手で測定した．その（注 10）用することにより話題を集約した．そして，その話題集約結果際の話題の粒度は，トピックモデルにおけるトピックの粒度とほぼ同等となった．

を俯瞰・閲覧するためのインタフェースを作成した．文献 [8]

ここで，各クエリ・フォーカスにおけるトピック数 K はいずれも 50 であったが，そのうちノウハウとは無関係なトピックが除外された結果，作成された質問応答事例における話題の広がりの数は，おおよそ 20∼30 程度となった．

では，文献 [3] に対し，Yahoo 知恵袋などの質問回答サイトおよびウェブページから収集した混合文書集合に対して LDA を

献 [4] では，人手で収集したノウハウサイト群を効果的に閲覧するインタフェースを作成し，各ノウハウサイトにどのようなウェブページが含まれるのかを一覧する機能を実現した．
一方，本論文は，文献 [3,8,9] におけるトピックモデルの適用に加え，粒度の粗い話題をサブトピック化する機能を備えた閲
覧インタフェースを実現した点が異なっている．また，文献 [4]と比べると，人手で同定したノウハウサイトの閲覧にとどまらず，分類器学習によって自動同定されたノウハウサイト候補群の閲覧インタフェースを実現した点が異なっている．

(a) 所要時間

10. お わ り に
本論文では，4 種類のクエリ・フォーカスについて，ウェブページを自動収集し，そのウェブページ集合をトピックおよびサブトピックへ分類後，分類器によってノウハウサイトを自動同定した結果に対して，利用者がノウハウサイト候補群を効果的に閲覧するための閲覧インタフェースを作成し，評価実験を行った．評価実験の結果より，検索エンジンとの比較において，本閲覧インタフェースの有用性を示すことができた．今後の課題として，トピック分類の精度の改善，および，分類されたトピックの内容がノウハウ知識に相当するか否かの自動同定が挙げられる．その他，特定のドメインから網羅的に収集したウェ(b) クリック回数

ブページに対して，当該ページのウェブ検索において用いられることが推定される検索クエリを自動同定することが挙げられる．
文(c) 話題数(d) 1 時間あたりの話題数

図8

評価結果適用し，より有用なノウハウ知識が得られることを示した．文献 [9] では，トピックモデルおよび分類器学習を適用することによって，ノウハウサイトの自動同定を行なった．さらに，文献[1] D. M. Blei, A. Y. Ng, and M. I. Jordan. Latent Dirichlet
allocation. Journal of Machine Learning Research, Vol. 3,pp. 993–1022, 2003.
[2] 丁易, 趙辰, 川畑修人, 宇津呂武仁, 河田容英. トピックモデル・分散表現の併用によるウェブ検索結果話題集約におけるサブトピッ
ク化. 第 10 回データ工学と情報マネジメントに関するフォーラ
ム—DEIM フォーラム— 論文集, 2018.
[3] 井上祐輔, 今田貴和, 陳磊, 徐凌寒, 宇津呂武仁, 河田容英. 検索エンジン・サジェストおよびトピックモデルを用いたウェブ検索結果の集約. 第 8 回 DEIM フォーラム論文集, 2016.
[4] 川畑修人, 牛文彬, 宇津呂武仁, 河田容英. ノウハウサイト群およびトピックモデルによる話題集約結果の閲覧インタフェース.
第 32 回人工知能学会全国大会論文集, 2018.
[5] 李佳奇, 趙辰, 林友超, 馬場瑞穂, 宇津呂武仁, 河田容英, 神門典子. トピックモデルにおける話題分布特性を手がかりとするノウ
ハウサイトの収集. 第 9 回 DEIM フォーラム論文集, 2017.
[6] 前田竜冶, 陳騰揚, 大川遥平, 宇津呂武仁, 河田容英. ウェブ上のコラムページからのノウハウ質問応答事例の収集. 第 33 回人工知能学会全国大会論文集, 2019.
[7] T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean.
Distributed representations of words and phrases and theircompositionality. In Proc. 26th NIPS, pp. 3111–3119, 2013.
[8] 守谷一朗, 井上祐輔, 今田貴和, 聶添, 宇津呂武仁, 河田容英, 神門典子. 質問回答事例および検索エンジン・サジェストを用いたノウハウ知識の相補的収集. 第 7 回 DEIM フォーラム論文集,2015.
[9] Y. Ohkawa, S. Kawabata, C. Zhao, W. Niu, Y. Lin, T. Utsuro, and Y. Kawada. Identifying tips Web sites of a speciﬁcquery based on search engine suggests and the topic distribution. In Proc. 3rd ABCSS, pp. 4347–4353, 2018.
[10] 山本航平, 前田竜冶, 陳騰揚, 川畑修人, 大川遥平, 宇津呂武仁,
河田容英. ノウハウ質問応答におけるニューラル読解モデルの評
価. 言語処理学会第 25 回年次大会論文集, 2019.