DEIM Forum 2017 D3-4

トビックモデルにおける話題分布特性を手がかりとするノウハウサイトの収集
李佳奇†趙辰†林友超†

河田容英††† 神門馬場 瑞穂†

宇津呂武仁††

典子††††† 筑波大学大学院システム情報工学研究科 〒 305-8573 茨城県つくば市天王台 1-1-1†† 筑波大学 システム情報系 知能機能工学域 〒 305-8573 茨城県つくば市天王台 1-1-1††† (株) ログワークス 〒 151-0053 東京都渋谷区代々木 1-3-15 天翔代々木ビル 6F†††† 国立情報学研究所 〒 101-8430 東京都千代田区一ツ橋 2-1-2
あらましThis paper presents techniques of retrieving know-how sites from the collection of Web pages. The

proposed techniques are designed to discover the maximum possible amount of know-how knowledge from suchcollections of Web pages, where know-how knowledge is deﬁned as text contents qualiﬁed as information source
regarding speciﬁc domain of questions. Techniques in this paper primarily collect sites, spanning multiple topics
as know-how sites by classifying Web pages aggregated by a topic model. Collected sites are manually veriﬁed tocounter check whether the sites are truly supplemental know-how knowledge.
キーワード ノウハウ知識，質問回答サイト，検索エンジン・サジェスト，トピックモデル，話題分布，収集・集約

Collecting Know-How Sites
based on the Topic Distribution per Site
Jiaqi LI† , Chen ZHAO† , Youchao LIN† , Mizuho BABA† , Takehito UTSURO†† , Yasuhide
KAWADA††† , and Noriko KANDO††††† Grad. Sch. of Systems and Information Engineering, University of Tsukuba, Tsukuba 305-8573 Japan†† Faculty of Engineering, Information and Systems, University of Tsukuba, Tsukuba 305-8573 Japan††† Logworks Co., Ltd. Tokyo 151-0053, Japan†††† National Institute of Informatics, Tokyo 101-8430, Japan

1. は じ め にの候補を多く収集し集約・俯瞰している．

現在，インターネットの普及やソーシャルメディアの隆盛に含むサイトの候補として収集されたサイト群に対して，実際により，多くのユーザはウェブページから日常生活に役立つ知識ノウハウ知識を多く掲載したノウハウサイト，および，それ以を得ている．様々な知識をまとめたウェブサイトが多数存在す

外の一般サイトを識別する手法について提案する．具体的に「就活の準備方法」，
る．Yahoo!知恵袋等の質問回答サイトでは，は，[4] においてウェブページ (および質問回答事例) を収集し「結婚式スケジュールガイド」など，ユーザにとって，日常生活た結果の文書集合に対してトピックモデルを適用した結果におの手助けになるノウハウ知識が掲載されている．しかし，このいて，複数のトピックにまたがって出現するドメインはノウハ

ような質問回答サイトやその他の多様なウェブサイトにおいてウサイトのドメインである可能性が高いという仮説を提案し，は，多種多様な内容および質の情報が散在しているため，ユーその有用性を評価する．本論文では，まず，質問回答サイトかザにとって役立つノウハウ知識を集約して提示することが必要

ら収集した質問回答事例，および，検索エンジン・サジェストとされている．このような要求を満たすことを目的として，[4]を索引として収集されたウェブページの混合文書集合に対してでは，指定されたクエリ・フォーカスにおいて，ノウハウ知識トピックモデルを適用することにより，話題のまとまりを生成

これに対して，本論文では，[4] において，ノウハウ知識をする．そして，トピックモデルの適用結果から，各トピック上位 30 件のウェブページ文書を抽出する．得られた文書集合から複数トピックにまたがって出現するドメインを収集し，ノウハウサイトのドメインであるか否かを人手によって評価する．

2. 質問回答事例の収集
本論文では，Yahoo!知恵袋から提供された 5 年間 (2004 年 4月 1 日 ∼2009 年 4 月 7 日) の質問回答事例のデータを用いた．
クエリ・フォーカス q において，カテゴリ名，質問タイトル，質問本文の中に含まれている質問を抽出して，その質問に基づく回答本文全てを結合し，一つの質問回答事例の文書集合 dqを作成する．各クエリ・フォーカス q に対応する質問回答事例の文書集合を Dq として，Dq を以下のように定義する．

Dq = {d1q , . . . , dkq }図 1 トピックモデルにおけるサイトの分布に基づくノウハウサイト発見手法の考え方

3. 検索エンジン・サジェストを用いたウェブペー
ジの収集書数を表 1 に示す．
本論文では，トピックモデルとして潜在的ディリクレ配分法

本論文では，分析の対象であるクエリ・フォーカス「就活」，(LDA; Latent Dirichlet Allocation) [1] を用いる．LDA を用「結婚」，および，「花粉症」について，検索エンジン・サジェスト

いてトピックモデルを推定する際には，語 w の集合を V としを利用してウェブページを収集する．そのためにまず，Google検索エンジンを用いて，一クエリ・フォーカスにおいて，約 100て，語 w(w ∈ V ) の列により表現された文書の集合およびトピック数 K を指定して，各トピック zn(n = 1, . . . , K) にお通りの文字列を指定し，最大約 1,000 語のサジェストを収集す

ける語 w の確率分布 P (w|zn ) (w ∈ V )，および，各文書 d にる．クエリ・フォーカス「就活」，「結婚」，および，「花粉症」におけるトピック zn の確率分布 P (zn |d) (n = 1, . . . , K) を推定

おいて，収集されたサジェストの数を表 1 に示す．ここで，クエリ・フォーカスに対して収集されたサジェストの集合 Ë として，あるサジェスト s ∈ Ë に対して，クエリ・フォーカスとのAND 検索によって上位 N 件以内に検索されるウェブページ pの集合を È(s, N ) とする．本論文では，N = 20 とする．各ク
エリ・フォーカスに対して収集されるウェブページの集合 Dwを次式で定義する．

È(s, N )Dw =s∈

Ëウェブ ペー ジ の 収集 に お いて は ，Yahoo!
（注 1）

APIする．
本論文では，文書 d におけるトピックの確率分布において確率が最大となるトピックを文書 d に割り当てる．その結果，全文書集合を D として，トピック zn (n = 1, . . . , K) が割り当て

d ∈ D  z = argmax P (z |d)られた文書の集合 D(zn ) は次式で表される．

D(zn ) =nzu (u=1,...,K)u

5. ノウハウサイトの収集
Search BOSS

本論文では，前節において，混合文書集合に対してトピックを用いた．各ウェブページ p を検索する際に指定されモデルを適用し，トピックごとに話題集約を行なった結果に対たサジェスト s を集めた集合 Ë(p) を次式で定義する．

 
Ë(p) = s ∈ Ë  p ∈ È(s, N )して，複数のトピックにまたがって出現するドメインはノウハ
ウサイトのドメインである可能性が高いという仮説を提案しその有用性を評価する．
まず，あるドメインを dmx とし，異なるトピック zi および zj

4. トピックモデルを用いた文書集合の集約
2. 節で収集した質問回答事例の文書集合 Dq ，および，3. 節で収集したウェブページの文書集合 Dw の混合文書集合

Dqw = DqDwを作成する．各クエリ・フォーカスに対する混合文書集合の文(i =| j) を割り当てられた文書 d，および，d が存在し，それらの URL を u(d)，および，u(d ) とする．ここで，dm(u(d))，および，dm(u(d )) がともにあるドメイン dmx と等しいとき（注 2），dmx を複数トピックにまたがるドメインとする．
∃i，∃j ，i =| j ，∃d ∈ D(zi )，∃d ∈ D(zj )dm(u(d)) = dm(u(d )) = dmx

(1)

（注 2）
：例えば，u(d) = http://xxx.com/yyy，u(d ) = http://xxx.com/zzz（注 1）：http://developer.yahoo.com/search/bossの場合に，dm(u(d)) = dm(u(d )) = http://xxx.com/ となる．

表 1 各クエリ・フォーカスにおけるサジェスト数，および，混合文書集合の記事数

ウェブページ
クエリ・知恵袋

知恵袋

記事数フォーカス 記事数 サジェスト数 ページ数 ＋ウェブページ数
就活

11,366934

13,211

24,587

結婚

35,426956

14,40949,835花粉症

14,059872

11,14425,203

表 2 ノウハウサイト候補のドメインに対する評価基準

A群

ドメインそのものがノウハウ知識を提示する
ドメインそのものはノウハウ知識を提示しなドメインの中の下位ページにノウハ ノウハウ知識を提示するページに容易に辿り着 B 群
ウ知識を提示するページが存在する ける
ノウハウ知識を提示するページに容易には辿り

い

C群

着けない
ドメインの中の下位ページにもノウ 末端ページ中にノウハウ知識が提示されている D 群
ハウ知識を提示するページが存在し ページが存在するないノウハウ知識を提示するページが存在しない

E群

ピック zi において次式を満たすウェブページ d および d が存
本論文では，在するが，ドメイン dmx を持つウェブページはいずれもトピッ

上記の式 (1) を満たし，トピックモデル推定結果において複数のトピックにまたがるドメイン dmx に対し

ク zi を割り当てられており，zi 以外のトピックを割り当てられたウェブページは収集されていない．

∃i，∃d，d ∈ D(zi )，d =| dて，ノウハウサイトのドメインである可能性が高い．

dm(u(d)) = dm(u(d )) = dmxという仮説を立ててその有用性を評価する．

6. 評

価

6. 1 評価対象のウェブページ

(2)(c) 1 ページのみ出現するドメイン — (a) および (b) 以
外．すなわち，ドメイン dmx を持つウェブページは 1 ページしか収集されていない．

表 1 の各クエリ・フォーカスに対して，質問回答事例 Dq お

そして，収集された各ウェブページのドメインを対象として，よびウェブページ集合 Dw の混合文書集合 Dqw を対象とした

表 2 の評価基準を適用して人手による評価を行う．実際の評価

場合，および，ウェブページ集合 Dw のみを対象とした場合のにおいては，(a) 複数トピックにまたって出現するドメインの二通りについて，評価実験を行う．トピック数 K = 50 として全て，(b) 1 トピックに複数のページが出現するドメインのうトピックモデルを適用した結果から，各トピックの確率上位 30

ち，無作為に選んだ半数，(c) 1 ページのみ出現するドメイン件のウェブページ集合のみを抽出して，ノウハウサイトか否かのうち，無作為に選んだ 10%，をそれぞれ評価対象とする．の評価を行う．ここで，収集された各ウェブページに対して，

6. 3 評 価 結 果i) 質問回答サイト，ii) ニュースサイト，iii) 販売サイト，iv) ブ

クエリ・フォーカスとして「就活」，「結婚」，および，「花粉ログホスト以下の各ブログ，の各サイトのページにおいては，トップページのドメイン，あるいは，当該サイト中のいずれかのページにおいて，特定ジャンルのノウハウの一覧が参照できる，症」を対象とした場合の評価結果を図 2 に示す．混合文書集合

Dqw を対象とした場合，一定規模のノウハウ知識を含んでいると判定されたドメインの割合は，「複数トピックにまたがるドメイン」の場合が最も多く，51.5%となった．また，ウェブペー
ジ集合 Dqw を対象とした場合も，一定規模のノウハウ知識をことを期待できる可能性が低いとみなし，それらのサイトから含んでいると判定されたドメインの割合は，「複数トピックにま収集されたウェブページを機械的に排除し，それ以外のウェブたがるドメイン」の場合が最も多く，49.8%となった．同様に，ページのドメインを評価対象とする

クエリ・フォーカスとして「就活」，「結婚」，および，「花粉症」

6. 2 評 価 手 順の各々を対象とした場合の評価結果を，それぞれ，図 3，図 4，

本論文では，図 1 に示すように，評価対象のウェブページの「A 群:および，図 5 に示す． また，表 2 の評価基準において，ドメインを以下の三種類に分類する．

ドメインそのものがノウハウ知識を提示する」と判定されたド(a) 複数トピックにまたって出現するドメイン (5. 節の式

メインの例を図 6，図 7，および，図 8 に示す．例えば，図 6(1))(b) 1 トピックに複数のページが出現するドメイン — トのドメインでは，就活を行う際のノウハウを網羅的に掲載している．

(2) ウェブページ集合(1) 質問回答事例・ウェブページの混合文書集合

図 2 ノウハウサイト候補のドメインの評価結果 (クエリ・フォーカス: 「就活」，「結婚」，および，「花粉症」)(1) 質問回答事例・ウェブページの混合文書集合(2) ウェブページ集合

図 3 ノウハウサイト候補のドメインの評価結果 (クエリ・フォーカス: 「就活」)

いては，著者らの主催により，ほぼ同様の仕様で Task Mining

7. 関 連 研 究

Task も実施された．本研究においても，Task Mining Task で関連研究として，[2] では，クエリを実現するためのサブタス用いられたクエリリストおよび評価手順 [3] のもとで，本論文

クの収集方式において，行為を表す動詞表現の形式を用いる方式の提案手法を適用する方式の可能性を検討する必要があると考（注 3）を提案している．2014 年 12 月に開催された NTCIR-11におえられる．ただし，Task Mining Task のタスク設定では，クエリを実現するためのサブタスク群を動詞表現の形式で出力す（注 3）：http://research.nii.ac.jp/ntcir/ntcir-11/index-ja.html

ることにとどまっており，ノウハウ知識そのものは収集の対象

(1) 質問回答事例・ウェブページの混合文書集合(2) ウェブページ集合

図 4 ノウハウサイト候補のドメインの評価結果 (クエリ・フォーカス: 「結婚」)(1) 質問回答事例・ウェブページの混合文書集合(2) ウェブページ集合

図 5 ノウハウサイト候補のドメインの評価結果 (クエリ・フォーカス: 「花粉症」)として扱われていない． これに対して，本研究において収集式によって収集されたドメインのうちの半数が有用なノウハウの対象となるのは，ウェブページ群の形式で表現されたノウハサイトであるという結果が得られた．

ウサイトであり，この点において上記の関連研究とは大きく異なっている．

8. お わ り に
本論文では，あるクエリ・フォーカスについて，ウェブからノウハウサイトを収集する手法として，検索エンジン・サジェ
ストを索引として収集したウェブページ文書集合に対して，トピックモデルを適用し，ドメインの単位を対象としてノウハウサイトを収集する手法を提案した．そして，各トピックの確率上位 30 件のウェブページを対象とした場合において，提案方文

献[1] D. M. Blei, A. Y. Ng, and M. I. Jordan. Latent Dirichlet
allocation. Journal of Machine Learning Research, Vol. 3,
pp. 993–1022, 2003.
[2] 加藤龍, 大島裕明, 山本岳洋, 加藤誠, 田中克己. タスクの汎化と特化に着目した Web からのタスク検索. 第 6 回 DEIM フォー
ラム論文集, 2014.
[3] Y. Liu, R. Song, M. Zhang, Z. Dou, T. Yamamoto, M. Kato,H. Ohshima, and K. Zhou. Overview of the NTCIR-11
IMine task. In Proc. 11th NTCIR Workshop Meeting, pp.
8–23, 2014.
[4] 守谷一朗, 井上祐輔, 今田貴和, 聶添, 宇津呂武仁, 河田容英, 神門典子. 質問回答事例および検索エンジン・サジェストを用いたノウハウ知識の相補的収集. 第 7 回 DEIM フォーラム論文集,ᑵά䜢ᡂຌ䛥䛫䜛䛯䜑䛾䝜䜴䝝䜴䛜‶㍕䟿

㈼⪅䛾ᑵά⮬ᕫศᯒ఍♫ㄝ᫂఍௻ᴗ◊✲⮬ᕫPRᚿᮃືᶵ䜶䞁䝖䝸䞊䝅䞊䝖ᑵά⏕ᚲぢ䟿఍♫ㄝ᫂఍䛷⪺䛔䛶䛚䛟䜉䛝㉁ၥ౛䝸䝇䝖㻝㻡㻞㻜㻝㻢㻚㻜㻞㻚㻝㻝㠃᥋ᑐ⟇䜾䝹䞊䝥䝕䜱䝇䜹䝑䝅䝵䞁ෆᐃᚋ᭱᪂䛾グ஦䜢䜽䝸䝑䜽䟿ᑵά⏕ᚲぢ䟿఍♫ㄝ᫂఍䛷⪺䛔䛶䛚䛟䜉䛝㉁ၥ౛䝸䝇䝖㻝㻡఍♫ㄝ᫂఍䛷䛾㉁ၥ䚹ఱ䜢⪺䛡䜀䛔䛔䛛䜟䛛䜙䛪ᅔ䛳䛶䛔䜎䛫䜣䛛䠛䛒䜛䛔䛿䚸⪺䛝䛯䛔䛣䛸䛿䛒䜛䛡䜜䛹䚸䛂⪺䛔䛶䜒䛔䞉䞉䞉௻ᴗ◊✲ᚿᮃືᶵ䛾᭩䛟᪉ᑵά⏕ᚲぢ䟿ᚿᮃືᶵ䛾᭩䛝᪉䛾㻡䛴䛾⛎ジ㼇౛ᩥ䛒䜚㼉ᑵά⏕ᚲぢ䟿ᚿᮃືᶵ䛾᭩䛝᪉䜾䝹䞊䝥䝕䜱䝇䜹䝑䝅䝵䞁䛾㻡䛴䛾⛎ジ 㼇౛ᩥ䛒䜚㼉౛ᩥ䛷䜟䛛䜛䟿䜶䞁䝖䝸䞊䝅䞊䝖䛾⮬ᕫ㻼㻾䛾᭩䛝᪉㻞㻜㻝㻢㻚㻜㻞㻚㻝㻜䜶䞁䝖䝸䞊䝅䞊䝖䛾ᚿᮃືᶵ䛾᭩䛝᪉䛜䜟䛛䜙䛪䚸ᅔ䛳䛶䛔䜎䛫䜣䛛䠛᪂༞స⏝䛷䛿䚸ᚿᮃືᶵ䛜㠀ᖖ䛻㔜ど䛥䜜䜎䛩䚹䛩䛠ᐇ㊶䛷䛝䜛䟿㞟ᅋ㠃᥋䜢䝷䜽䛻✺◚䛷䛝䜛㻡䛴䛾䝁䝒

図 6 A 群「 ド メ イ ン そ の も の が ノ ウ ハ ウ 知 識 を 提 示 す る 」の サ イ ト の 例（「賢者の就活」，http://kenjasyukatsu.com/）

図 7 A 群「 ド メ イ ン そ の も の が ノ ウ ハ ウ 知 識 を 提 示 す る 」の サ イ ト の 例（「結婚レシピ」，http://www.wedding-recipe.com/）2015.

図 8 A 群「 ド メ イ ン そ の も の が ノ ウ ハ ウ 知 識 を 提 示 す る 」の サ イ ト の 例（「花粉症対策と症状対策」，http://www.kafuntaisaku1.com/）