# 単語グループに基づくWeb 文書クラスタリング
## 仁科 朋也 $\dagger \cdot$ 内海 彰 $\dagger \dagger$

サーチエンジンの検索結果などの Web ページ集合をクラスタリングする手法として，抽出された各重要語を含む Webぺージ集合をひとつのクラスタとする手法が広く用いられている. しかし, 従来の研究では重要語間の類似度を考慮していないために，類似した話題を表す語句が重要語として抽出されると，話題が類似するクラス夕が複数出力されてしまうという欠点がある。 そこで本研究では, この問題点を解消するために，単語間の類似度を考慮した Web 文書クラスタリング手法を提案する。本手法は，サーチエンジンが返すタイトルとスニペットの単語分布情報から，互いに類似していない重要語を抽出する。次に，どのクラスタにも属さないWebページをできるだけ減らすために，重要語から直接 Web ページのクラスタを生成せずに，各重要語に類似した Web ページ集合に含まれる単語集合として単語グループを生成し，それらの単語グループのそれぞれに対応する Web ページクラスタを生成する. そして，実際に人手で分類した正解データを用いて従来手法（語句間の類似度を考慮しない方法）との比較評価を行い, 本手法のほうがクラスタリング性能が高く, かつ類似したクラスタを生成してしまうという従来手法の問題点が解消できることを示す.

キーワード：Web ページクラスタリング，文書クラスタリング，単語グループ，スニペット，検索結果

## Web Document Clustering Based on the Clusters of Topic Words

\author{
Tomoya Nishina ${ }^{\dagger}$ and Akira Utsumi ${ }^{\dagger \dagger}$
}

Many Web page clustering systems construct clusters in such a way that, for each of the extracted keywords, one cluster is constructed to contain all the pages that contain this keyword. However, these systems suffer from one serious problem that similar clusters (i.e., clusters that share many Web pages) are likely to be generated from similar keywords, because their clustering method fails to take into account the topical similarity between keywords. To overcome this problem, this study proposes a new Web page clustering method that uses the topical similarity between words. The proposed method first extracts keywords that are dissimilar to each other using distributional statistics of word occurrence in snippets and titles of search results.


After that, in order to reduce the number of unclassified Web pages, the method generates word groups each of which is a set of words similar to each extracted keyword, and then constructs Web page clusters using the word groups, rather than directly generating Web page clusters from keywords. This study also conducts an evaluation experiment in which our method is compared with the existing method that ignores the similarity of keywords using the handmade test data. The result is that our system achieves better performance and can overcome the problem of multiple similar clusters.

Key Words: Web page clustering, Document clustering, Word group, Snippet, Search results

## 1 はじめに

今日, Web からユーザーの望む情報を得る手段として Google などのサーチエンジンが一般的に利用される. しかし, ユーザーの検索要求に合致しないWeb ゚゚ージも多数表示されるため，各ぺージがユーザーの望む情報を含むかどうかを判断するのに時間と労力を割かなけれげならない. このような負担を軽減するための検索支援手法として, 検索結果をクラスタに分類して表示する Web 文書クラスタリングが挙げられる。 Web ページのクラスタリング手法として, Web ペーシのの HTML タグの構造 (折原, 内海 2008) や Web ページ間のリンク関係 (大野,渡辺, 片山, 石川, 太田 2006; Wang and Kitsuregawa 2002)などWeb ページに特有の情報を用いた手法も提案されているが，Webページの内容（Webページに含まれるテキスト・文章）に基づく手法が一般的であり, 多くの手法が提案されている (e.g., 江口, 伊藤, 隈元, 金田 1999; Ferragina and Gulli 2005; Hearst and Pedersen 1996; 平尾, 竹内 2006; 成田, 太田, 片山, 石川 2003; Zamir and Etzioni 1998).

Web ページの内容に基づくクラスタリング手法は, Web ページ間の類似度に基づく手法と共通する語句に基づく手法に大別できる (Fung, Wang, and Ester 2003). 前者は, ベクトル空間モデルなどを用いて各文書間の（非）類似度を計算し, k-means 法などのクラスタリングアルゴリズムを適用する手法である。例えば，最初の Webぺージクラスタリングシステムと言われている Scatter/Gather (Hearst and Pedersen 1996) や江口らのシステム (江口他 1999)はこの手法を用いている。類似度に基づく手法は文書クラスタリング手法として広く用いられている (岸田 2003) が, 実時間性が要求される検索結果のクラスタリングにはあまり適していない. Web ページ間の類似度を適切に計算するためには, Web ページそのものを取得する必要があるが，その取得時間がかかるとともに，文書規模が大きくなると類似度計算にも時間がかかる.

よって, サーチエンジンの検索結果をクラスタリングする手法として, Webページ (スニペッ卜）集合に共通して出現する語句に基づく手法が多く用いられている (Ferragina and Gulli 2005; Fung et al. 2003; 平尾, 竹内 2006; 成田他 2003; Zamir and Etzioni 1998). この手法では, 検
索結果として得られるぺージタイトルやスニペットから何らかの方法を用いて基準となる語句を抽出し，それらの語句を含む文書集合をひとつのクラスタとする。一般的に，ひとつの Web ページ（スニペット）には複数の頻出語句が含まれるため, この手法は本質的に非排他的なクラスタリング（ひとつの文書を複数のクラスタに割り振ることを許すクラスタリング）を行うことになる。この手法は，タイトルやスニペットの情報のみを用いるために情報の取得時間が短く, 文書間の類似度を計算する必要がないために処理時間も短く, ノイズとなる単語が混ざりにくいなどの利点がある。 さらに，Zamir and Etzioni (1998)は，スニペットのみの情報を用いたクラスタリングの性能は Web ページ全体を用いる場合に比べて遜色ないこと, 共通語句に基づくクラスタリング手法が Webページ間の類似度に基づく手法よりも高性能であることを実験的に示している.

共通語句に基づく手法で重要となるのが，クラスタのベースとなる語句の抽出手法である.既存研究では, 文書頻度 (平尾, 竹内 2006; Osiński and Weiss 2005; Zamir and Etzioni 1998), tfidf (Ferragina and Gulli 2005; Zeng, He, Chen, Ma, and Ma 2004), 検索結果のランキング (成田他 2003), 語句の長さ (Zamir and Etzioni 1998; Zeng et al. 2004) などの情報を用いて語句をランク付けし，上位の語句を選択するという手法が用いられている。 しかし, この抽出方法では語句間の意味的な類似関係を考慮していないので, クラスタのベースとなる語句どうしが類似した話題を表していると，同じ文書を多く含む類似したクラスタを出力してしまうという欠点がある。特に，検索結果の Webページ集合には共通する話題が多いことを考えると, この問題点は深刻である。抽出語句からクラスタを作成した後に重複の大きいクラスタをマージする手法 (e.g., Zamir and Etzioni 1998) も考えられているが, 話題が似ているからクラスタが重複する場合（ひとつのクラスタとすべきである場合）と，複数の異なる話題が共通しているから重複する場合（別々のクラスタにすべきである場合）かの区別はできない.

この問題に対して, 本研究では, 語句間の意味関係を考慮してクラスタのべースとなる語句を選択することによって，類似したクラスタをできるだけ出力せずに Web ページを分類できると考える。 さらに，作成されるクラスタに含まれる文書数はその語句の文書頻度と同じであるため, 文書頻度が低い語句が重要語として多く選択される場合には, どのクラスタにも属さない文書の数が多くなってしまう。そこで抽出語句を基準に Webページ集合に含まれる単語のクラスタを作成し, 単語グループから文書クラスタを作成することによって, どのクラスタにも属さないWebページを減らすことができると考えられる.

本論文では, 以上の考え方に基づいて, 検索結果のスニペットとタイトルから互いに話題が類似しない重要語を抽出し, それらを核とした単語グループを生成し, 単語グループに基づいてWebページをクラスタリングする手法を提案する。 そして, 実際に人手で分類した Webペー ジ群を用いて従来手法（語句間の類似度を考慮しない方法）との比較評価を行い，本手法のほうがクラスタリング性能が高く，かつ類似したクラスタを生成してしまうという従来手法の問
題点が解消できることを示す.

## 2 単語グループに基づく Web 検索結果のクラスタリング手法

## 2.1 概要

提案する手法の概要は以下の通りである.

（1）ユーザの入力したクエリを受け取り，Googleによる検索結果のタイトルとスニペットを文書として取得する。本論文の以下では，各ページのタイトルとスニペットをひとつの 「文書」と呼ぶ.

（2） 各文書に対して，茶鉒 (http://chasen-legacy.sourceforge.jp/）を用いて形態素解析を行う.

(3) 形態素解析で名詞・英字と判断された単語から，複合名詞を含む名詞を抽出する.

（4）抽出した名詞から，クラスタの話題を表すと考えられる互いに類似していない重要語を,指定された文書クラスタ数だけ抽出する.

(5) 手順 (3) で抽出されたすべての単語に対して，各重要語から単語グループを生成する.

(6) 単語グループを用いて，文書クラスタを生成する.

以下の 2.2 節から 2.5 節では, 上記の手順 (3) から (6) の各処理の詳細を述べる.

## 2.2 形態素解析結果からの名詞抽出

まず形態素解析により名詞及び英字と判断された単語を抽出する。この際に, 非自立の名詞や代名詞などは除き，英字の連続はひとつの名詞とする。また, 各単語 $w_{i}$ の文書頻度 $d f\left(w_{i}\right)$ $\left(w_{i}\right.$ を含む文書数) を検索結果の文書集合全体から計算し，一定値 $C_{W}$ 以下の単語を除外する. さらにクエリ及びクエリの一部となる単語は, ほぼ全ての文書に出現するため, 手順 (4)の重要語の抽出に大きな影響を及ぼすので除外する。

次に，これらの単語から構成される名詞の $n$ グラム（複合名詞）を，重要語候補として抽出すべきかどうかを判断する，例えば，文書集合中で「情報」や「検索」という名詞が，ほほ「情報検索」という複合名詞でしか用いられていない場合には，「情報検索」をひとつの単位として抽出すべきである。また，形態素解析が固有名詞と認識できないために不適切に分解されてしまう固有名詞（例：「エースコック」）を適切に抽出することも意図している.

以下の手法により，重要語の候補として抽出すべき（複合名詞を含む）名詞を決定する。

(1) $\Sigma_{1} \leftarrow$ (すべての単語の集合)， $n \leftarrow 1$ とする.

(2) $\Sigma_{n+1} \leftarrow \phi$ とする.

(3) 集合 $\bigcup_{i=1}^{n} \Sigma_{i}$ 中の単語 $w_{i}$ と, 集合 $\Sigma_{n}$ 中の単語 $w_{j}$ のすべての組み合わせ $\left(\right.$ たたしし $\left.w_{i} \neq w_{j}\right)$ に対して，以下の処理を行う。

(a) 2 つの単語をつなぎ合わせた語句 $w_{i} w_{j}, w_{j} w_{i}$ のうちで, 全文書における出現頻度

が高い方を合成候補 Str とする。ただし，一方の単語がもう一方の単語を部分文字列として含む場合には，合成はせずに長いほうの単語を Str とする.

（b） 全文書における $w_{i}, w_{j}$ 及び Str の出現頻度（2.3 節の式 (1) で定義される）をそれぞれ $t f\left(w_{i}\right), t f\left(w_{i}\right), t f(S t r)$ としたとき，次式で定義される値 $W M$ を計算する.

$
W M=\frac{t f(S t r)}{\max \left(t f\left(w_{i}\right), t f\left(w_{j}\right)\right)}
$

(c) 上記で計算した $W M$ が閾値 $C_{W M}(>0.5)$ 以上ならば, $\Sigma_{n+1} \leftarrow \Sigma_{n+1} \cup\{S t r\}$, $\Sigma_{1} \leftarrow \Sigma_{1}-\left.\{w_{i}\right.\}, \quad \Sigma_{n} \leftarrow \Sigma_{n}-\left.\{w_{j}\right.\}$ とする. つまり, $w_{i}, w_{j}$ の代わりに Str を複合名詞として用いることになる。

（4） $\Sigma_{n+1}=\phi$ ならば, $\Sigma=\bigcup_{i=1}^{n} \Sigma_{i}$ を複合名詞 (重要語候補) の集合として終了する. $\Sigma_{n+1} \neq \phi$ ならば， $n$ を 1 増やしてから手順 $(2)$ に戻る.

間値 $C_{W M}$ を適切に（0.5より大きく）設定することによって， $w_{i}$ や $w_{j}$ が単独で出現するよりも複合名詞 Str として出現することが多い場合に，複合名詞として抽出することができる.

なお，本論文の以下では，複合名詞を含む重要語候補（ $\Sigma$ の要素）のことを単に「名詞」や 「単語」と表記する。

## 2.3 重要語の抽出

前節で得られた名詞集合 $\Sigma$ から，以下の手順を用いて，重要語を抽出する.

（1）抽出されたすべての名詞に対して，2.3.1節で述べる重み付け手法を用いて，ランク付けする。結果として得られた名詞のランク付きリストを $S$ とする.

(2) リスト $S$ の中でランクの最上位にある名詞を取り出して，重要語とする。

（3）抽出した重要語との類似度（2.3.2 節参照）が基準値 $C$ 以上のすべての名詞をリスト $S$ から取り除く．なお，2.3.3節で述べるように，基準値 $C$ は文書集合に応じて自動的に決定する.

（4） 重要語の個数が指定されたクラスタ数 $n$ に満たない場合には, 手順 (2) に戻る.

上記の手順 (3) において, 抽出された重要語と話題が類似する名詞を重要語（クラスタのべー スとなる語）としないことによって, 本手法は重要語どうしの類似度が低くなるように重要語を抽出する。なお， 1 章で述べた従来の手法は，手順 (1) で得られるリスト $S$ のランク上位 $n$個をクラスタのベースとなる重要語として抽出することに相当する。

## 2.3.1 名詞の重み付け

上記の手順 (1)における名詞の重み付け手法としては, 以下の基準が考えられる．なお， 3 章で述べる評価実験では，これらのどの基準を用いても本手法のほうが優れていることを示す.
文書頻度 $\mathbf{d f}$ 名詞 $w_{i}$ の出現する文書数である $d f\left(w_{i}\right)$ の値が大きいほど，その名詞が重要であると考える。なお，計算に用いる文書は検索結果の文書集合全体である。

出現頻度 $\mathbf{t f}$ 次式で計算される文書集合中の総出現頻度 $t f\left(w_{i}\right)$ が高い名詞が重要であると考える。

$
t f\left(w_{i}\right)=\sum_{j=1}^{N} t f\left(w_{i}, d_{j}\right)
$

ただし, $t f\left(w_{i}, d_{j}\right)$ は文書 $d_{j}$ における単語 $w_{i}$ の出現数, $N$ は文書数をそれぞれ表す.

tfidf 次式で定義される tfidf 値が高い（特定の文書に多く出現する）名詞が重要であると考える。

$
\begin{aligned}
& t f i d f\left(w_{i}\right)=\operatorname{tf}\left(w_{i}\right) \times i d f\left(w_{i}\right) \\
& \quad i d f\left(w_{i}\right)=\log _{2}\left(\frac{N}{d f\left(w_{i}\right)}\right)+1
\end{aligned}
$

SP, LP (成田他 2003) 次式で定義される $S P\left(w_{i}\right)$ もしくは $L P\left(w_{i}\right)$ が高い, つまり検索結果のランキング上位の文書に多く含まれる名詞ほど重要であるとする指標である.

$
\begin{aligned}
& S P\left(w_{i}\right)=\sum_{j=1}^{N}\left[t f\left(w_{i}, d_{j}\right) \times \sin \left(\frac{\pi}{1+\sqrt{j}}\right)\right] \times i d f\left(w_{i}\right) \\
& L P\left(w_{i}\right)=\sum_{j=1}^{N}\left[t f\left(w_{i}, d_{j}\right) \times \log _{N}\left(\frac{N}{j}\right)\right] \times i d f\left(w_{i}\right)
\end{aligned}
$

ただし， $d_{j}$ はサーチエンジン（本研究では google）の検索結果のランキングが $j$ 番目の文書を表す。

TR (Gelgi, Davulcu, and Vadrevu 2007) TR( $\left.{ }_{i}\right)$ は単語をノード，共起の有無をエッジとするグラフの PageRankのように計算される値であり， $T R\left(w_{i}\right)$ が高い（つまり重要な）単語と多く共起している単語は重要であると考える指標である.

$
T R^{(t+1)}\left(w_{i}\right)=\sum_{j=0}^{N} \frac{T R^{(t)}\left(w_{j}\right) \operatorname{corres}\left(w_{i}, w_{j}\right)}{\sum_{k=0}^{N} \operatorname{corres}\left(w_{k}, w_{j}\right)}
$

ただし, $\operatorname{corres}\left(w_{i}, w_{j}\right)$ は $w_{i}$ と $w_{j}$ の共起回数, $t$ は繰り返し計算回数を表し, $T R^{(0)}\left(w_{i}\right)=$ $t f\left(w_{i}\right)$ である.

## 2.3.2 名詞どうしの類似度の計算

上記の手順 $(3)$ において, 名詞どうしの類似度 $\operatorname{sim}\left(w_{i}, w_{j}\right)$ （抽出された重要語とリスト $S$ に含まれる名詞との類似度）には，次式のコサイン $(\cos )$ 類似度を用いる。

$
\operatorname{sim}\left(w_{i}, w_{j}\right)=\cos \left(V_{i}, V_{j}\right)=\frac{\sum_{k=1}^{N} t f\left(w_{i}, d_{k}\right) \cdot t f\left(w_{j}, d_{k}\right)}{\sqrt{\sum_{k=1}^{N} t f\left(w_{i}, d_{k}\right)^{2}} \sqrt{\sum_{k=1}^{N} t f\left(w_{j}, d_{k}\right)^{2}}}
$

つまり, 名詞 $w_{i}$ を, 文書 $d_{k}$ における出現頻度 $t f\left(w_{i}, d_{k}\right)$ を要素とする $N$ 次元べクトルで表現したときのコサイン類似度に相当する。

## 2.3.3基準値 $C$ の設定

基準値 $C$ が 0.05 0.5（0.05 刻み）のいずれかの值をとるものとして，それぞれの値で実際に文書クラスタリングを行い, 最も多くの文書を分類できる（つまりどのクラスタにも属さない文書が最も少ない）値を基準値 $C$ として採用する．たたし抽出した重要語が指定したクラス夕数に満たなかった場合 ${ }^{1}$ には，指定したクラス夕数に最も近いものの中での最適値を基準値とする.

なお，この判定に用いる文書クラスタリング手法は, 2.4 節で述べる単語グループを用いた方法ではなく，本節で述べた方法で抽出した重要語を含む文書をクラスタとする方法である.

## 2.4 単語クラスタリング

前節の方法で得られた重要語に対して, 以下のアルゴリズムを用いて単語グループを生成する.

(1) 各重要語 $x_{i}$ に対応する単語グループ $W G_{i}$ を以下の方法で生成する.

(a) 重要語 $x_{i}$ との $\cos$ 類似度（(7) 式）が基準値 $C^{\prime}$ 以上の名詞（重要語は除く）をリスト $S$ からすべて抽出する.

(b) 抽出した名詞集合に対し, 重要語 $x_{i}$ との $\cos$ 類似度の平均値 $M$ を求める.

(c) 重要語 $x_{i}$ との $\cos$ 類似度が平均値 $M$ 以上の名詞のみを，その重要語を核とした単語グループ $W G_{i}$ に含める.

(2) 複数の単語グループに含まれる名詞を，すべての単語グループから取り除く.

基準値 $C^{\prime}$ は 0.05 0.5（0.05 刻み）のいずれかの值をとるものとし，それぞれの値で実際に文書クラスタリングを行い, 最も多くの文書を分類できる値を基準値 $C^{\prime}$ として採用する. この判別に用いる文書クラスタリング手法は， 2.5 節で述べる手法を用いる.
^{1} 2.3$ 節の手順 (3) において, 重要語と類似しているとして多くの単語が取り除かれる場合に, このようが現象が生じるときがある.
}

## 2.5 単語グループからの文書クラスタリング

以下のアルゴリズムを用いて，単語グループから文書クラスタを生成する.

(1) 単語グループ $W G_{i}(i=1, \cdots, n)$ に対応する空の文書クラスタ $D C_{i}=\phi$ を生成する.

（2）以下の方法で，各文書 $d_{j}(j=1, \cdots, N)$ がどの文書クラスタに含まれるかを決定する.

(a) 文書 $d_{j}$ が単語グループ $W G_{i}$ の核となった重要語 $x_{i}$ を含んでいれば，文書 $d_{j}$ を単語グループに対応する文書クラスタ $D C_{i}$ に含める。（複数の重要語 $x_{i}$ を含んでいれば，複数の文書クラスタに属することになる. )

(b) 全ての単語グループ $W G_{i}$ に対し, 以下の式で定義される $S_{i}\left(d_{j}\right)$ を計算する.

$
\begin{aligned}
S_{i}\left(d_{j}\right) & =\frac{\sum_{w_{k} \in W G_{i}} \delta\left(w_{k}, d_{j}\right)}{\left|W G_{i}\right|} \\
\delta\left(w_{k}, d_{j}\right) & = \begin{cases}1 & \left(\text { 名詞 } w_{k} \text { が文書 } d_{j} \text { に出現する場合 }\right) \\
0 & \left(\text { 名詞 } w_{k} \text { が文書 } d_{j} \text { に出現しない場合 }\right)\end{cases}
\end{aligned}
$

そして,$S_{i}\left(d_{j}\right)$ の値が以下の不等式を満たすならば, 文書 $d_{j}$ を文書クラスタ $D C_{i}$ に含める.

$
S_{i}\left(d_{j}\right) \geq \frac{1}{2} \sum_{k=1}^{n} S_{k}\left(d_{j}\right)>0
$

直観的に言うと, 文書 $d_{j}$ が他の単語グループよりも単語グループ $C W_{i}$ の単語を多く含んでいれば，その文書は $C W_{i}$ に対応する文書クラスタ $D C_{i}$ に分類されることになる.

## 3 評価実験

## 3.1 評価データ

Google の検索結果を人手により分類したものを評価用の正解データとして用いた．正解デー 夕作成にあたり 20 代の男女 10 人に協力を頼んた．協力者が自由にクエリを入力して，Google の検索結果上位 30 件をタイトルとスニペットのみから分類してもらい, 15 セットの正解デー 夕 (平均クラスタ数 3.6 , 最大クラスタ数 5 , 最小クラスタ数 2 , クラスタに含まれる文書数の平均 9.040）を得た. 正解データ作成のために協力者が選んだクエリを表 1 に示す. 検索結果を 30 件としたのは, 検索エンジンのユーザの $54 \%$ が上位 10 件以内, $73 \%$ が上位 20 件以内の検索結果しか閲覧しないという調査結果 (Jansen and Spink 2003) から, 検索結果 30 件をクラスタリングすることで十分な情報をユーザに与えられると考えたためである。 なお，情報の少なさや内容の曖昧さから協力者が分類できないと判断した文書や文書数が 1 であるクラス夕は正解
表 1 評価に用いたクエリ

データから除外した。

## 3.2 評価方法

本研究の手法と比較手法のそれぞれを用いて, 15 セットの評価データのクラスタリングを行い, その性能を比較した，比較手法は，名詞の重み上位順に（2.3 節の概要の (1)のリスト $S$ の順に）指定されたクラスタ数だけ重要語を抽出し，重要語を含む文書集合を文書クラスタとするという，1章で述べた従来手法 (e.g., 平尾, 竹内 2006; 成田他 2003; Zamir and Etzioni 1998) とした。

両手法において, 名詞の重み付けには 2.3.1節の手法を用いた。また, システムが出力するクラスタ（以下，システムクラスタと呼ぶ）の数 $n$ は各正解データセットのクラスタ数とした. なお，正解クラスタ数より少ない重要語しか抽出できなかった場合には，空のクラス夕を出力したとみなして評価を行った。 さらに，提案手法によるクラスタリングにおいて， 2.2 節における閾値を $C_{W}=2, C_{W M}=0.6$ と設定した.

## 3.3 評価基準

評価基準として, F 值, CR (clustering ratio), OR (overlapping ratio)を用いる。これらの値はすべて各データセットごとに計算する.

クラスタリングの精度を表す $\mathrm{F}$ 值は以下の手順で求めることができる (折原, 内海 2008). まず，システムクラスタ $S C_{i}(1 \leq i \leq n)$ と正解クラスタ $A C_{j}(1 \leq j \leq n)$ のすべての対に対して, F 値 $F(S C i, A C j)$ を次式で計算する.

$
\begin{aligned}
F\left(S C_{i}, A C_{j}\right) & =\frac{2 \times R\left(S C_{i}, A C_{j}\right) \times P\left(S C_{i}, A C_{j}\right)}{R\left(S C_{i}, A C_{j}\right)+P\left(S C_{i}, A C_{j}\right)} \\
R\left(S C_{i}, A C_{j}\right) & =\frac{\left|S C_{i} \cap A C_{j}\right|}{\left|A C_{j}\right|} \\
P\left(S C_{i}, A C_{j}\right) & =\frac{\left|S C_{i} \cap A C_{j}\right|}{\left|S C_{i}\right|}
\end{aligned}
$

次に, 次式の $F(M)$ が最大となるようなシステムクラスタと正解クラスタの一対一対応 $M$ を求め，そのときの値をこのシステムクラスタの $\mathrm{F}$ 値とする.

$
F(M)=\sum_{\left(S C_{i}, A C_{j}\right) \in M} \frac{\left|A C_{j}\right|}{\sum_{k=1}^{n}\left|A C_{k}\right|} F\left(S C_{i}, A C_{j}\right)
$

これは，システムクラスタと正解クラスタを 2 つ頂点集合として，それらの間の枝の重みを $\frac{\left|A C_{j}\right|}{\sum_{k=1}^{n}\left|A C_{k}\right|} F\left(S C_{i}, A C_{j}\right)$ とする二部グラフの最大マッチング問題を解くことに相当する.

CR は文書集合のうちのどれだけの割合の文書をクラスタに分類できるかを表しており，次式で計算される (成田他 2003). なお， $N$ は検索結果の文書数である.

$
C R=\frac{\left|\bigcup_{i=1}^{n} S C_{i}\right|}{N}
$

本研究で扱っている共通の語句に基づくクラスタリング手法では, どのクラスタにも属さない文書が生じてしまう可能性がある。したがって CRが高い（1に近い）ほうが望ましい結果であると言える。

OR はクラスタ間で文書が重複する割合の平均であり，次式で計算される。

$
O R=\frac{1}{{ }_{n} C_{2}} \sum_{i=1}^{n} \sum_{j=i+1}^{n} \frac{\left|S C_{i} \cap S C_{j}\right|}{\left|S C_{i} \cup S C_{j}\right|}
$

この値は単純に低いほど（もしくは高いほど）望ましいというわけではなく, 正解クラスタの OR 値に近いほうが望ましい結果であると言える.

## 4 評価結果と考察

本章では, 3 章で述べた評価実験について, 以下の観点から評価結果を述べるとともに, 考察を行う。

・クラスタリングの精度 : 正しい分類をしているか

・クラスタリングの被覆度：どのくらいの文書をクラスタリングできるか

・ システムクラスタ間の類似度：過度に類似したクラスタを出力していないか
- 単語グループの必要性：互いに類似していない重要語を抽出するだけでは不十分か
- 複合名詞の抽出手法 : 2.2 節における複合名詞抽出はどの程度影響があるか

なお，以下で示す評価値はすべて各セットごとに求めた値の平均值を用いている.

## 4.1 クラスタリング精度

クラスタリングの精度を示す評価基準である $\mathrm{F}$ 値の結果（全セットの平均値）を表 2 に示す. なお, 表 2 (およびこれ以降の表) において,「本手法」の値として「単語グループ無」と「単語グループ有」の 2 種類の値が示されている.「単語グループ有」の值は， 2 章で述べた提案手法による評価結果を示している。一方,「単語グループ無」の値は「2.1 節の概要の手順 (5) の単語クラスタリング（2.4 節）を行わず，手順 (4)で抽出した重要語を含む文書の集合を文書クラ
表 2 各手法における $\mathrm{F}$ 値

スタとする方法」による評価結果である。つまり，本研究の提案手法と従来手法の中間に位置する手法と言える。単語グループを用いずに文書クラスタリングを行った場合の評価結果を示したのは, 4.4 節で単語グループの必要性（類似していない重要語の抽出だけで十分かどうか） を検証するためである。

表 2 より, 全ての重み付け手法において, 本手法の $\mathrm{F}$ 値は従来手法よりも高くなった。また従来手法と本手法（単語グループ有）間で平均值の差の検定を行ったところ, df, $\mathrm{tf}$ 以外での重み付け手法において有意差が見られた $(p<0.05)$. df と $\mathrm{tf}$ についても平均値の差は有意傾向 $(\mathrm{df}: p=0.061, \mathrm{tf}: p=0.067)$ となった.この結果から, 本手法は従来手法よりもクラスタリング精度が高い（人手に近いクラスタリングを行うのに有効である）と言える。さらに，単語グループを考慮しなくても従来手法より性能が高いことから, 2.3 節の重要語の抽出手法そのものも有効であると言える.

特に，TRは検索結果を分類するのに有用な (discriminative) 単語が上位にランクされやすい指標である (Gelgi et al. 2007)ので，TRに従来手法を適用しただけで意味的に類似したクラス夕を生成しにくくなる可能性がある。しかし, 従来手法の TRの F 值（0.511）は本手法よりも有意に低い值であることから，この可能性は排除できる。つまり, 表 2 の結果は, 本研究の手法に基づいて重要語を抽出するほうが TRによるランキングに基づく手法よりも性能が高いことを示している。

## 4.2 クラスタリングの被覆度

クラスタの被覆度（クラスタに含まれる文書の割合）を表す評価基準である CR の結果（全セットの平均値）を表 3 に示す。表 3 より，全ての重み付け手法において，本手法の CR は従来手法よりも高くなった. また従来手法と本手法（単語グループ有）間で平均値の差の検定を行ったところ, 全ての重み付け手法において有意差が見られた $(p<0.05)$. この結果から, 本手法は従来手法よりも多くの文書を分類できると言える。さらに，単語グループを考慮しなくても従来手法より CR が高いことから，互いに意味的に類似しない単語のみを抽出する本研究
表 3 各手法における $\mathrm{CR}$

表 4 各手法における平均クラスタサイズ

注）正解クラスタの平均クラスタサイズは 9.040 である.

の重要語抽出手法そのものがより多くの文書を分類するのに有効であると言える.

しかし, 本研究では非排他的クラスタリングを行っているので，単純により多くの文書をひとつのクラスタに含めてしまえば，つまり，クラスタのサイズを大きくしてしまえば，不適切に CR を高くすることが可能である。そこで，適切なクラスタサイズを保ちつつ本手法の CR が高くなっているかどうかを調べるために，表 4 に平均クラスタサイズ（各クラスタに含まれる文書数の平均）を示す. 表 4 を見ると, 本手法（単語グループ有）のクラスタサイズは従来手法よりは大きくなっているものの, 正解データの平均クラスタサイズである 9.040 を大幅に越えるものはない.（重み付け手法が df の場合にクラスタサイズが大きくなっているが, これは従来手法と本手法に共通した現象であり, 本手法だけが不当にクラスタサイズを大きくしているわけではない.）さらに，単語グループを考慮しない場合には従来手法よりもクラスタサイズが小さくなっている，よって，本手法は, 不当にクラスタサイズを大きくせずに，より多くの文書を分類することができると結論づけられる.

## 4.3 クラスタ間の類似度

1 章で述べた, 不適切に類似したクラスタを出力してしまうという従来手法の問題点が本手法で解決されているかどうかを評価するために，クラスタ間の重複割合の平均値である OR の
表 5 各手法における OR

注）正解クラスタの平均 OR は 0.029 である.

結果（全セットの平均値）を表 5 に示す。全ての重み付け手法において, 本手法の OR は従来手法よりも低い值であり，正解クラスタの値（0.029）にかなり近くなっている．したがって，本手法は従来手法よりも類似したクラスタを出力しにくく, 従来手法の問題点を解決していると言える。

## 4.4 単語グループの必要性

本節では, 本手法において単語グループを用いる場合と用いない場合の評価結果を比較することによって，単語グループを用いてクラスタリングすることの必要性を検証する.

表 2 と表 3 から，重み付け手法に関係なく，単語グループを用いたほうが用いないよりも $\mathrm{F}$值, $\mathrm{CR}$ とに高いことがわかる。この結果は, 単語グループの必要性を支持している.

表 4 のクラスタサイズに注目すると，単語グループを用いない場合には，正解データのクラスタサイズである 9.040 よりかなり小さいサイズになっている. これは, 本研究の重要語抽出方法が出現頻度が低い名詞を抽出しやすいためである。一方，単語グループを用いた本手法のクラスタサイズは正解データのサイズ 9.040 と同程度である. したがって, 出現頻度が低い単語が重要語として抽出された場合でも，単語グループを用いることによって適切なクラスタサイズの文書クラスタを生成できると言える。つまり，クラスタサイズの点からも単語グループが必要であると結論できる。

なお, 表5のクラスタ間の類似度 OR は単語グループの有無による差はほぼなく, 単語グルー プを用いることは類似したクラスタを出力しないという利点そのものには貢献していない。しかし, 単語グループを用いない場合と同程度のクラスタ類似度のままで性能（F 值, CR）を向上させていることになり，総合的に単語グループの必要性を示しているといえる.

## 4.5 複合名詞の抽出手法の評価

本節では, 2.2 節で述べた複合名詞の抽出手法の性能を評価するために, この抽出手法を用いる場合と用いない場合の評価結果の比較を行う.

まず，2.2 節の単語合成手法で実際に抽出された複合名詞の例を表 6 に示す. 2.2 節で意図したように，「情報」や「限定」などの一般的な単語に代わり，「店舗情報」，「限定発売」などの具体的な話題を表す複合名詞が抽出されている。また, 形態素解析では複数の名詞に分割されてしまう「綿陽」のような地名や「ブロードバンド」のような専門用語も正しく抽出されている.次に，複合名詞抽出を行う場合と行わない場合の F 值, CR，ORをそれぞれ表 7 , 表 8 , 表 9 に示す. 表 7 より, 本手法では全ての重み付け手法で複合名詞抽出を行うほうが行わないよりも F 值が高いことがわかる。一方, 従来手法では, 重み付け手法が LP, TRのときに複合名詞抽出を行うほうが $\mathrm{F}$ 値が高くなるものの，その他の重み付け手法では同じ値となった。また表 3 と表 5 より, CR と OR は従来手法, 本手法の全ての重み付け手法においてほぼ同じ結果となった。以上の結果から, 複合名詞抽出はクラスタリングの被覆度やクラスタ間の類似度に

表 6 単語合成手法で抽出された複合名詞の例（括弧内は形態素解析による区切りを表す）

表 7 複合名詞抽出の有無による $\mathrm{F}$ 値の比較

表 8 複合名詞抽出の有無による $\mathrm{CR}$ の比較

はあまり影響を与えないが，本手法のクラスタリング精度を向上させる効果があると結論できる。また，語句間の類似度を考慮しない従来方法に対しては，複合名詞抽出はほとんど効果がないと言える。

## 4.6 生成されたクラスタについて

本節では，評価に用いたデータセットに対するクラスタリング結果の実例を示すことによって，本手法を定性的に考察する．表 10～12に，いくつかのクエリによる検索結果を本手法でクラスタリングした結果（重要語，単語グループ，文書クラスタ）を示す.

表 10 のクエリ「伊右衛門」による検索結果のクラスタリング例では, 3 種類のクラスタ (サントリーから発売されている緑茶「伊右衛門」, 京極夏彦の小説「虽う伊右衛門」,「伊右衛門」 をタイトルに含むブログ）が生成されているが，これらのクラスタは正解クラスタと一致する.

表 9 複合名詞抽出の有無による OR の比較

注）正解クラスタの平均 OR は 0.029 である.

表 10 クエリ「伊右衛門」における重要語, 単語グループ, 文書クラス夕

 &  \\

注）単語グループ内の太字の単語は重要語を表す.
表 11 クエリ「四川」における重要語，単語グループ，文書クラス夕

 \\

注）単語グループ内の太字の単語は重要語を表す。

表 12 クエリ「チョコボール」における重要語, 単語グループ, 文書クラスタの例

 \\

注）単語グループ内の太字の単語は重要語を表す.

一方，従来手法では，どの重み付け手法でも「ブログ」に関する単語（表 10 では「日記」）が重要語として抽出されず, 代わりに緑茶に関する単語（サントリー, 飲料, 緑茶など）が重複して重要語として抽出されてしまう.

表 11 や表 12 の例を見ても，表 10 と同様に，類似する単語が重要語として選ばれておらず， それらの重要語を核とする単語グループには，同じ話題を表す同義語や関連語（例えば，表 11 の「地震」から「震源」や「ニユース」）が適切に分類されている。また，表 12 にいて，重要語「エンゼル」から「金」、「銀」、「確率」といった単語が選ばれ，「金（または銀）のエンゼルが当たる確率に関するぺージ集合」というように，文書クラスタの内容が推測しやすくなる単
語グループも見られる。しかし,「商品」や「サイト」といった広い意味を持つ一般的な単語が単語グループに含まれてしまうために，結果的に文書クラスタの精度が下がってしまう例（表 11 の「ゲーム」における「サイト」）も見受けられる。

## 5 おわりに

本研究では, サーチエンジンの検索結果としての Web ページ集合をクラスタリングするために，検索結果のスニペットとタイトルから互いに類似していない話題（トピック）を表す重要語を抽出し, それらの重要語を元に文書中の単語をクラスタリングして, それらの単語グルー プから文書クラスタを生成する手法を提案した。そして，評価実験を通して，重みによるランク上位の単語を単純に取り出してその単語を含む文書をクラスタとする従来手法に比べて，提案手法はクラスタリングの精度, 被覆度ともに優れていることを示した. さらに, 提案手法によって生成されるクラスタのサイズや重複割合も適切であることを明らかにした. これらの結果は, 本研究の提案手法の有効性を示すものである.

今後の課題としては, 検索支援という観点からは検索結果を階層的にクラスタリングすることが望ましいので, 本手法を階層的クラスタリングに応用することである。ひとつの適用方法としては，本手法を用いて生成したクラスタから出発して，それらを凝集もしくは分割していき，階層を生成することが考えられる。また，これに関係して，適切な（初期）クラス夕数をどのように自動に決めるかという課題も残されている. さらに，検索支援の観点からは，生成されたクラスタの内容が何かを示すことも重要であり, そのためのラべル付けや説明文の生成なども興味深い課題である.

## 参考文献

江口浩二, 伊藤秀隆, 隈元昭, 金田彌吉 (1999). 漸次的に拡張されたクエリを用いた適応的文書クラスタリング法電子情報通信学会論文誌, J82-D-I (1), pp. 140-149.

Ferragina, P. and Gulli, A. (2005). "A Personalized Search Engine Based on Web-Snippet Hierarchical Clustering." In Proceedings of the 14th International World Wide Web Conference ( $\left.W W W^{\prime} 05\right)$, pp. 801-810.

Fung, B., Wang, K., and Ester, M. (2003). "Hierarchical Document Clustering Using Frequent Itemsets." In Proceedings of the 2003 SIAM International Conference on Data Mining, pp. 59-70.

Gelgi, F., Davulcu, F., and Vadrevu, S. (2007). "Term Ranking for Clustering Web Search Results." In Proceedings of the 10th International Workshop on Web and Databases (WebDB

2007).

Hearst, M. and Pedersen, J. (1996). "Reexamining the Cluster Hypothesus: Scatter/Gather on Retrieval Results." In Proceedings of the 19th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'96), pp. 76-84.

Jansen, B. and Spink, A. (2003). "An Analysis of Web Documents Retrieved and Viewed." In Proceedings of the 4th International Conference on Internet Computing, pp. 65-69.

岸田和明 (2003). 文書クラスタリングの技法 : 文献レビュー. Library and Information Science, 49, pp. 33-75.

成田宏和, 太田学, 片山薫, 石川博 (2003). Web 文書の非排他的クラスタリング手法及びその評価手法. データベースと Web 情報システムに関するシンポジウム (DBWeb2003) 論文集, pp. 85-92.

大野成義, 渡辺匡, 片山薫, 石川博, 太田学 (2006). MaxFlow アルゴリズムを用いた Webページのクラスタリング方法とその評価. 情報処理学会論文誌: データベース, 47 (SIG4(TOD29)), pp. 65-75.

折原大, 内海彰 (2008). HTML タグを用いた Web ページのクラスタリング手法. 情報処理学会論文誌, 49 (8), pp. 2910-2921.

Osiński, S. and Weiss, D. (2005). "A concept-driven algorithm for clustering search results" IEEE Intelligent Systems, 20 (3), pp. 48-54.

Wang, Y. and Kitsuregawa, M. (2002). "Evaluating Contents-link Coupled Web Page Clustering for Web Search Results." In Proceedings of the 11th ACM International Conference on Information and Knowledge Management (CIKM'02), pp. 499-506.

Zamir, O. and Etzioni, O. (1998). "Web Cocument Clustering: A Feasibility Demonstration." In Proceedings of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'98), pp. 46-54.

Zeng, H., He, Q., Chen, Z., Ma, W., and Ma, J. (2004). "Learning to Cluster Web Search Results." In Proceedings of the 27th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'04), pp. 210-217.

平尾一樹, 竹内孔一 (2006). 複合名詞に着目した Web 検索結果のクラスタリング. 情報処理学会研究報告, 2006-NL-175, pp. 35-42.

## 略歴

仁科朋也：2008 年電気通信大学電気通信学部システム工学科卒業. 2010 年同大学院電気通信学研究科システム工学専攻博士前期課程修了. 在学中は自然言語処理の研究に従事.
内海彰：1988 年東京大学工学部反応化学科卒業. 1993 年東京大学大学院工学系研究科情報工学専攻博士課程修了. 博士 (工学). 東京工業大学大学院総合理工学研究科システム科学専攻助手, 同研究科知能システム科学専攻専任講師を経て，2000 年から電気通信大学電気通信学部システム工学科助教授，2010 年より同大学院情報理工学研究科総合情報学専攻准教授となり, 現在に至る。言語を中心とした認知科学, 認知修辞学, 言語情報処理の研究に従事. 日本認知科学会, 情報処理学会, 言語処理学会, 人工知能学会, Cognitive Science Society 等各会員.

$(2009$ 年 9 月 3 日 $\quad$ 受付 $)$
$(2010$ 年 1 月 17 日 $\quad$ 再受付 $)$
$(2010$ 年 2 月 9 日 $\quad$ 採録 $)$