検索エンジンを利用した単語クラスタリング
大城亜里沙
茨城大学工学部
システム工学科

新納浩幸
茨城大学工学部
システム工学科はじめに



本論文ではをコーパスとして利用するための可能性や問題点を探るために，検索エンジンを利用した単語クラスタリングを行う．
コーパスを利用した統計的な自然言語処理はある程度の成功をおさめたが，いくつかの課題も残されている．その つはコーパスのスパース性である．新聞記
事年分を調べても，日常的な単語「おにぎ り」は数回しか出現しないという報告もある．一方，近年，が急速に普及し ，上の情報は莫大な量である．そこでを巨大なコーパスとみなして，従来行われていた統計的な自然言語処理をを利用して行うことが期待できる．
は情報が莫大であるために，コーパスのスパース性は回避できると考えられる．









本論文では単語クラスタリングを題材にして，をコーパスとし て利用するための可能性や問題点を探る．

のページは新聞記事のように単純なテキストではないので，単にページを収集しただけではコーパスとして利用することは難しい ．そこで本論文では検索エンジンを利用する．検索エンジンを利用した場合，ある単語群をクエリとして用いれば，その単語群を含むページ数を得ることができる．単語が他の単語とどの程度共起するかを表す共起分布を考えると，類似の単語ど うしの共起分布は類似しているという性質がある．ここで共起の定義として単語がどの程度まで離れていてもよいかは様々である．通常は文や周辺数単語内ということが多い．ここでは同じページ内に出現していれば共起していると考える．すると，単語 と単語 が共起している頻度は検索エンジンにというクエリを渡すことで得ることができる．基本的に任意の 単語の共起の頻度を得ることができれば ，単語を特徴ベクトルとして表現できるので，単語クラスタリングは実現できる．



本実験では つのクラスを想定し ，それぞれのクラスから 単語取り出し，合計 単語についてクラスタリングを行った．比較のために新聞記事 年間分のコーパスを利用したクラスタリングも行った．新聞記事を佐々木稔
茨城大学工学部
情報工学科

利用した場合，クラスタリングの結果は良好であったが，コーパスのスパース性の問題が確認できた．
を利用したクラスタリングは，新聞記事を利用したものほど うまくはいかなかった．相関比が最大になるように基底の単語を設定し直すことで改良を試みたが，この場合も理想的なクラスタリング結果とは若干異っていた．うまくクラスタリングできない原因を考察する．



単語クラスタリング特徴ベクト ルの作成

テキストデータから注目する単語に対応する表層的な特徴を抽出し，個々の特徴の重みを表す数値を要素とした単語の特徴ベクトルを作成する．
クラスタリングの対象である 語を        で表す． 単語を表現する特徴数を  とし ，単語  の特徴ベクトル  を下記のように表す．

        は， 番目の特徴と単語  の関係の強さを表す数値で，特徴の重みと呼ぶ．
ここでは検索エンジンを利用して特徴の重みを設定する．単語の特徴としては，ある単語  と共起するかど うかを考え，単語  の  に関する重み  を測る．単語  の設定方法は様々な手法があるが，ここでは空間上で基底をなすような単語群を直接選ぶことにした．論文
で抽出されたクラスの単語クラス
タの各クラスタから代表的な単語を選んだ．結果
単語選ばれ，単語  は次元の特徴ベクトルで表現されることになる．
を利用して， と  の共起頻度をカウントし，正規化することで，特徴ベクトルを作成した．





またクラスタリング対象の単語群を以下のように定めた．まず，互いに関連性の少ない つの概念のクラスを設定し，そのそれぞれに対して関連性のある つの単語を選出した計単語を設定した．つまり理想的には，クラスタリングにより つの単語からなるつのクラスタリングができるはずである．設定した概念のクラスとその単語は以下の通りである．
動物 プード ル， チワワ， 犬， 猿， ゴ リラ

山登り法で，局所最適解しか求められないため，ランダムに初期値を変更して，評価関数を最大にする結果を選択する．

食べ物 カレー， ラーメン， スパゲッティー， 焼きそば， ハンバーグ
感情や人生観 幸福， 満足， 愛情， 結婚， 運命  個の代表点 ½ 

繁栄しているもの 情報， 知識， 手段， 交通， 設備

地名 今帰仁， 沖縄， ブ リスベン， オーストラリア，オーストリアを 

クラスタのセントロイドを代表点にしてステップ  へ

クラスタリング手法

 階層的手法



と凝集型
階層的手法は，さらに分岐型に分けられるが，ここでは後者のみを扱う．この手法は， 個の対象だけを含む 個のクラスタがある初期状態から，クラスタ間の距離 非類似度関数に基づき，最も距離の近い二つのクラスタを逐次的に併合する．そして，この併合を，すべての対象が一つのクラスタに併合されるまで繰り返すことで階層構造を獲得する．
以下は代表的な法の距離関数
  を表す．

               ，
ただし    ¾ 法は，各対象から，その対象を含むクラスタのセントロイド までの距離の二乗の総和を最小化する．

!   法アルゴ リズム実験

 コーパスを利用したクラスタリング
比較実験のためにコーパスを利用したクラスタリングを行なう．
まずコーパスを利用して特徴ベクトルを作成する．
単語の特徴としては，単語  と 文中で共起するかどうかを考え，単語  の  に関する重み  を，コーパス中で  と  が共起した文の数で測る．単語  の設定方法は，検索エンジンを用いたものと同じ単語を利用した．

    ，

¾の評価関数を最大化する．最適解の探索のアルゴ リズ
ムを図 に示す．対象のクラスタへの割当てと代表点の再計算を交互に繰り返して行っている．この手法は



コーパスとしては， 年度版毎日新聞 年間分の記事を用いた．次に  と  の共起頻度をカウントし ，正規化することで，特徴ベクトルを作成した．

" 法と   法でクラスタリングを行った結果を図 ， に示す．

  分割的手法
分割的手法は，分割の良さの評価関数を定め，その評価関数を最適にする分割を探索する．可能な分割の総数は単語数に対して指数的なので，実際は準最適解を求める．代表的な法では，セントロイドをクラスタの代表点としをランダムに選択  なる代表点に割当て  代表点への割当が変化しない  終了   各
  図

クラスタリング手法は大きく階層的手法と分割的手法に分類される ．



!"#$%&$%&'()*+,-.
/0

図! " 法 コーパス,123456789 図!" !"#
$ %&'()*+, 

#$$%&'()*+,./0
123()4
5 )6 (75 )6(7-.
/0123467
89*5#! " 法  図!   法 コーパス

コーパスを利用したクラスタリング 結果をみると，
ど ちらの手法も実験結果「犬」，「 猿」，「ゴ リラ」は同クラスになり，「 沖縄」，「 オーストラリア」，「 オーストリア」も同クラスになっている．また，ど ちらの手法も「プード ル」，「 チワワ」，「 スパゲッティー」，「 今帰仁」，「ブ リスベン 」のクラスが誤っている．これら以外の単語については適切にクラスタリングされている．
誤りの原因を探るため各単語の頻度を調べた．以下に各単語とその頻度を（ ）に示す．
動物 プードル ，チワワ ， 犬 ， 猿  ，ゴ リラ  図!"#$%&'())
*+,.
/
012
34
56
789789!   法   を利用したクラスタリングでは，コーパスを用

食べ物 カレー   ，ラーメン ，スパゲッティ−
 ， 焼きそば ， ハンバーグ  

いたものほど うまくクラスタリングされなかった．

感情や人生観 幸福   ， 満足 ， 運命   結婚  ， 愛情 ，繁栄しているもの 情報 ， 知識  ， 手段 ， 交通 ， 設備   

地名 今帰仁  ，沖縄  ，ブリスベン  ，オーストラリア  ， オーストリア  「 スパゲッティー」，「 今帰仁」，「ブ リスベン 」は頻度 で，「プード ル」，「 チワワ」は頻度 であり，頻度が低いと誤分類されるが，頻度が高い単語は適切にクラスタリングされていることがわかる．よって，コーパスを利用したクラスタリングを行うと，コーパスのスパース性の影響があることが確認できる．

# を利用したクラスタリング結果

を利用して，単語  と単語  の共起頻度をカウントし，正規化することで，特徴ベクトルを作成した．

" 法と   法でクラスタリングを行った結果を図 #， に示す．

最適な次元の選出

 を利用したクラスタリングは，コーパスを利用したものほど うまくはいかなかった．各クラス間の相関比の平均が最大になるように次元を削減して，改良を試みた．相関比が最大になるように基底の単語を設けると，次元が最適な次元となった．
次元で法と法でクラスタリングを行った結果を図 ， に示す．

$#"  % & 
図$#!"#
$%&()
*+,./

'

012
34
5 6
78 978 9%! " 法 改良 
    図

!

"
#$
%&'()

選んだ．ここでは「プード ル」と「チワワ」であった．
次にこの２単語で最も距離が近い次元を選んだ．この次元に対応する単語は『暫定』であった． プード ル
暫定 と チワワ 暫定 をクエリにしてで検索し ，提示された上位個のページの内容を調べてみた 実験 ．

*+,
-./0123456
789&!   法 改良   考察

第  の原因は，基底の単語の選出方法である．ここでの基底の単語選出は，コーパス中の単語をクラスタリングすることから行なわれている ．このために，利用した基底はコーパスに対しては有効であったが ， に対しては有効でなかった可能性がある．最適なを利用したクラスタリングがあまりうまくいかなかった原因は つ考えられる．

次元でクラスタリングを行っても理想的な結果を得ることができなかったのも同じ理由からだと考えられる．

第 の原因は，共起の定義である．
を利用したクラスタリングでは共起の定義を同じページ内に出現することとしている．しかしこれは共起の定義としては荒い可能性がある．
ちなみに，以下のような実験を行なってみた．

$#

最適な次元となる次元のデータから，同じクラスで距離が最も離れている単語の対を つ選んだ．こ
こでは「情報」と「交通」であった．次にこの２単語で最も距離が離れた次元を選んだ．この次元に対応する単語は『浴室』であった． 情報 浴室 と 交通 浴室 をクエリにしてで検索し，提示された上位ページの内容を調べてみた 実験 ．括弧内の数値
は上位ページ中のページ数である．











「情報」と『浴室』の検索結果
住関連用品，リフォーム，宿・旅館施設，住宅設備と建材，生活情報「交通」と『浴室』の検索結果
宿・旅館施設，賃貸物件，住宅設備，旅情報， 中国語のため内容不明&  &

%

#

#



「プード ル」と「暫定」の検索結果
エッセイ・日記等，動物の画像，クイズ，動物の病状
，書籍「チワワ」と「暫定」の検索結果
エッセイ・日記等，ペットグッズ，メキ
シコ年表，ボクシング相関比の平均が最大になるように基底の単語を設定し直すことで改良を試みたが，理想的なクラスタリング結果とは若干異っていた．

#

次に，同じ クラスで距離が最も近い単語の対を  







実験 ではページの内容が異なり「 情報」と「 交通」の類似性が反映されていない．実験 ではページの内容が似通っており「プード ル」と「チワワ」の類似性が反映されている．つまりここでの共起の定義はある部分では有効に機能しているが，別の部分ではまったく機能していない．
今後は基底の単語の選び方や有効な共起の定義及びその定義に基づく共起頻度をから得る方法を考
えたい．





 おわりに

ここではをコーパスとして利用するための研究の一貫として，検索エンジンを利用したクラスタリングを行なった．
新聞記事を利用したクラスタリングは良好であったが，コーパスのスパース性の問題があることが確認できた．
をコーパス代わりにするために，検索エンジンを利用したクラスタリングを行ったが，コーパスを利用したものほど うまくはいかなかった．
原因は基底の単語の選出方法とここでの共起の定義が荒いためであると考えられる．今後は基底の単語の選び方や有効な共起の定義及びその定義に基づく共起頻度をから得る方法を考えたい．





参考文献

        !""  # $" %!"#&' ()*+,-. '// . '   神嶌敏弘： データマイニング分野のクラスタリング手法   −クラスタリングを使ってみよう0−&' 人工知能
学会誌' 1% ' , ' // 2 '  
 関口洋一' 山本和英： 3!4 コーパスの提案&' 情報処理. ' // 2  '  
学会自然言語処理研究会',*.

つ