多言語用例指南ツール：

Kiwi の実験的評価

山本 真人 y
田中 久美子 z
中川 裕志 zz
東京大学大学院 情報学環
東京大学 情報基盤センター
E-mail: fmasato-y,kumiko,nakagawag@r.dl.itc.u-tokyo.ac.jpy1 はじめに

2.1

実験方法および評価尺度

本実験は以下の手順に従って進める．
本稿では我々が開発を行っている用例検索ツール，Kiwiの実験的評価を報告する．Kiwi は検索エンジンの結果
1. 3 単語以上からなる熟語，慣用表現を辞書などからを用いて多言語の語彙用例を調べるツールである 7]．語無作為に抽出
彙の用例を調べたい箇所に \*"（ ワイルド カード ）を入
2. 抽出した語の先頭，中間，末尾のいずれか一部をワ
力すると，Kiwi はその語彙に関するデータを検索エンジ
イルド カード で置換（ 以後，Kiwi に入力された語ンから得る．得たデータに統計処理を施しワイルド カーを質問，置き換えられた語を正解と呼ぶ ）ド の位置に現れる用例候補を提示する．
3. 曖昧性のある質問を排除
Kiwi のアルゴ リズムの中心部は，用例の切り出しと 4. 内容語を含まない質問を排除
その順位付けである．Kiwi はまず検索エンジンの結果
5. 正解が一度も検索エンジンの結果中に現れない日本中からその語彙の周辺に現れる文字列を獲得し，ツリー語の質問ーを排除構造化する．ここで文字列集合における分岐数という概6. 質問を Kiwi に入力し検索念を導入する。分岐数とは、ある文字列の直後 (あるい7. ベースラインとして，同様に AltaVista に直接質問は直前) に接続する文字の種類数として定義される。直を入力し検索感的にも分かるように分岐数は単語あるいは固定した言8. 評価尺度を計算
い回しの内部では先頭 (あるいは最後) 文字から進むに
本実験では熟語集 2] 3] や辞書 6] からランダムで抽つれて減少し 、単語や固定した言い回しが終わると、次出した定型用例を用いる．質問は英語では各部位（先頭，には多数の単語がくる状態になるので増加する。この性300件，フランス語，日本語でそ中間，末尾）につき約質を利用し 、Kiwi ではツリー中で分岐数が増加する直前までの文字列を候補として切り出し，さらに切り出し れぞれ約 100 件用意した．質問ーとした際に正解に曖昧た文字列を (頻度) × log (長さ + 1) の評価関数を用いて 性が生じ る熟語は質問から除く．例えば ，\* up with"
順位付ける．これらの処理には，辞書や文法などの言語 のように \keep"，\come" と複数の正解をとる質問は排に依存するデータを一切用いていない．そのため，言語 除した．また，\for a *" のように，内容語を含まないによらず用例を調べることができる．また言語データを 質問も除いた．
検索エンジンから動的に得るため，多様な分野の最新用
Google や AllTheWeb は分かち書きのない言語のイン例を調べることができる．本稿では本ツールを用いた評 デクシングに形態素解析を用いており，単語やコロケー
価実験の結果を報告し ，その有用性を検証する．
ションが分割された検索語では正しい結果を返さない場
また，本稿では検索エンジンの結果が言語コーパスと 合がある．この時 Kiwi は当然正解を提示することがでして持つ意味を明らかにする．近年，多くの研究者が検 きない．しかし ，これは Kiwi の性能による問題ではな索エンジンを用いた研究を行っている．このような研究 い．インデクシングの問題を含むクエリーを用いると，においては，検索エンジンのアルゴ リズムによりバイア Kiwi の本来の用例処理性能を評価できない可能性があスを受けた検索結果を，コーパスとして用いることの意 る．また，インデクシングを文字単位で行う AltaVista
味を正しく認識する必要がある．そこで異なる検索エン との比較を適切に行うため，インデクシングの問題を含ジンを用いた Kiwi の結果を比較することで，検索アル む質問を排除することが望ましい．そこで，日本語の質問に関しては全ての検索エンジンの結果で，一度は正解
ゴ リズムの差異が結果に及ぼす影響を探る．
が現れるもののみを用いることとした．
以下 2 章では熟語などの定型的用例，3 章では TREC
Test を用いた評価実験により Kiwi の性能を評価する． 本実験では，検索エンジンから得るデータ量を 1000
4 章では Kiwi の検索ツールとしての総合的な有用性を， マッチに設定した．マッチとは検索エンジンが提示するヒット数ではなく，検索結果中に質問と合致する文字列ユーザー実験を通じて明らかにする．
が現れる回数を表す．本稿ではこの回数をマッチ数と呼ぶ．検索エンジンから 1000 マッチ以下のデータしか得られない質問に関しては，得られたデータの範囲で処理定型用例を用いた評価実験を行う．評価尺度としては以下を用いた．
N 位精度：正解が Kiwi の候補の N 位以内に提示さまず 本章では 熟語や 慣用表現など の 定型用例を 用
N:1，10，1000 ） 単位：%]れる割合（い，Kiwi の性能を評価する．また AltaVista，Google，MRR：
Mean
Reciprocal Ranking
AllTheWeb と，異なる検索エンジンを用いた際の結果の比較も併せて行う．本実験により英語，フランス語， 尚，本実験では，ベースラインとして AltaVista の結日本語を対象とした時の Kiwi の基本性能を検証する． 果上位から質問と合致する文字列の周辺に正解が現れて

2

表 1: 実験結果：英語 （ N 位精度 単位：% ）N:1 N:10 N:1000 MRR
Kiwi (末尾)A 80.6 94.4 B 96.6 0.86
Kiwi (中間)A 72.2 86.3 B 91.5 0.78
Kiwi (先頭)A 78.3 95.9 B 97.5 0.85
baseline(末尾)36.4 83.7 C 97.5 0.54
baseline(中間)47.4 73.7 C 92.1 0.56
baseline(先頭)34.4 79.5 C 99.2 0.49
表 2: 実験結果：フランス語 （ N 位精度 単位：% ）N:1 N:10 N:1000 MRR
Kiwi (末尾)A 68.0 92.0 B 94.0 0.75
Kiwi (中間)A 75.0 91.0 B 96.0 0.81
Kiwi (先頭)A 63.0 87.0 B 93.0 0.72
baseline(末尾)35.0 73.0 C 98.0 0.46
baseline(中間)42.0 77.0 C 96.0 0.54
baseline(先頭)39.0 71.0 C 98.0 0.48

表 3: 実験結果：日本語 （ N 位精度 単位：% ）Kiwi (末尾)Kiwi (中間)Kiwi (先頭)baseline(末尾)baseline(中間)baseline(先頭)N:1 N:10
94.1
98.6
95.7
41.0 76.1
69.0 94.5
56.5 87.8

A 70.1
A 86.2
A 69.6

N:1000 MRR0.80
0.920.800.510.770.67

B 100.0
B 99.3
B 97.4
C 100.0
C 100.0
C 100.0

表 4: 検索エンジンごとの実験結果：英語

AllTheWeb(末尾)Google (末尾)AllTheWeb(中間)Google (中間)AllTheWeb(先頭)Google (先頭)

N:1 N:10 N:1000 MRR
74.6 94.4
98.1 0.82
76.5 96.2
98.1 0.83
70.7 88.5
92.6 0.77
74.1 88.5
92.2 0.79
75.8 94.3
97.5 0.82
77.0 94.7
97.1 0.84の定義は容易ではない．例えば本実験では \be anxious*" に対し \for" を正解としているが，Kiwi が第 1 位に提示した \to" を不正解とすることには疑問の余地がある．本来ならばこのようなクエリーは用いるべきでは
2.2 実験結果
ないが ，全ての問題を排除することは難し い．そこで
表 1，2，3 に検索エンジンに AltaVista を用いた際の 本研究においてはこの問題を含んだ上で実験を行って実験結果を示す．表には Kiwi ，ベースラインそれぞれ いる．ここでテストセットが要因となる割合は表中のにおける N 位精度（ N:1，10，1000 ）および MRR を記 ( ; ) + ( ; )% に含まれる．
す．表によれば ，1 位精度，10 位精度，および MRR で三つ目の要因は Kiwi の用例処理である．まず，切りは全ての言語において Kiwi がベースラインを上回った． 出し 処理が原因となる割合は ( - )% である．Kiwi
特に英熟語の 1 位精度に関しては，検索エンジンでは はツリー構造中の分岐情報を用いて用例を切り出すため40%程度であるのに対し Kiwi では 80%程度と 2 倍近い． 7]，用例の頻度が低い状況では切り出しに失敗する可能
日本語ではベースラインでも比較的高い割合で正解を得 性がある．しかし表によればこの割合は英語，日本語のているが，この場合でも 1 位精度で 15%から 30%ほど 場合で 1 ，2%，フランス語でも 4，5%である．この割高い精度を示している．Kiwi の 10 位精度は 90%から 合にはテストセットの問題も含まれることを考えると，95%であり，ベースラインと比較しても 5%から 20%ほ 切り出し処理が要因となる場合は少ない．一方，順位付
ど高い．結果から，Kiwi が行う集計能力の高さが分かる． け処理が原因となる割合は ( - )% であり，5%から結果を比較すると英語が最も精度が高く，フランス語 30%近い値となる．テストセットの問題とあいまっていは比較的低い．これは検索エンジンから得られるデータ るとは言え，未だ改良の余地があると言える．
量の差異に原因があると考えられる．Global Reach 1]によれば ，フランス語で記述されたページは Web 上の全ページの約 3.7%である．これは英語で記述されたペー 2.4 異なる検索エンジンの比較
ジの約 10 分の 1，日本語の約 3 分の 1 である．本実験で検索エンジンから得られた平均マッチ数においても， 本節では Google，AllTheWeb を用いて同様の実験を
英語で 600 〜 700 マッチ，日本語で 400 〜 500 マッチに 行った結果を比較する．表 4，5，6 に結果を示す．表に対し，フランス語は 200 マッチ程であった．本実験の範 よれば，英語においてはどの検索エンジンを用いてもほ囲では Kiwi の用例処理はデータが豊富であるほど 良い ぼ同程度の精度が得られている．1 位精度では最大でも5%，10 位精度では 2%程度の差しか見られない．フラ
結果を示すことが分かる．
ンス語では若干のばらつきが見られるが，精度の差は小さい．
しかし日本語では，AltaVista を用いた結果が突出し2.3 エラー分析ている．これは検索エンジンのインデクシングアルゴ リ
Kiwi で正解が得られない，もしくは上位に提示され ズムが原因である．すなわち Google, AlltheWeb ではない要因を分析すると，以下の 3 つが考えられる．
単語単位、AltaVista では文字単位のインデクシングで一つ目は検索エンジンの結果にそもそも正解が含まれ あることによる．本実験では検索エンジンの結果中に正ない場合である．これは Kiwi を原因とする問題ではな 解が含まれない質問は排除した．しかしこの方法では，い．これが要因となる割合は表中の (100 ; )% となる． 正解でインデクシングされていないページ内に偶然正解
つまり，表における の値は Kiwi の上限を示す．
が現れるような質問は排除されない．この場合，正解が二つ目の要因はテストセットにある．本実験では，熟 現れる頻度は本来の頻度と比較して非常に小さい．つま語集の用例を正解としたが ，用例の観点での真の正解 り Web 上での本来の用例の利用実態と異なるデータをいるかを併せて調べた．

C B

B A

C B

B A

CC

表 5: 検索エンジンごとの実験結果：フランス語

N:1 N:10 N:1000 MRR
AllTheWeb(末尾) 57.0 87.0
91.0 0.69
Google (末尾)55.0 82.0
85.0 0.65
AllTheWeb(中間) 70.0 92.0
97.0 0.78
Google (中間)68.0 88.0
91.0 0.76
AllTheWeb(先頭) 61.0 88.0
96.0 0.69
Google (先頭)58.0 85.0
90.0 0.67
表 6: 検索エンジンごとの実験結果：日本語

AllTheWeb(末尾)Google (末尾)AllTheWeb(中間)Google (中間)AllTheWeb(先頭)Google (先頭)

N:1 N:10 N:1000 MRR
60.7 83.8
94.0 0.72
60.7 84.6
91.4 0.70
70.3 89.7
99.3 0.78
78.6 93.1
98.6 0.84
60.0 85.2
90.4 0.70
57.4 87.0
89.6 0.69

表 7: 実験結果：TREC
平叙文 （ % ） 組み合わせ （ % ） 平均順位

52.074.0

1.85

MRR0.77

表 8: 実験結果：ユーザー実験
時間 (分)

Kiwi
検索エンジン

クリック数

自信度x
Sx
Sx
S
1.01 0.77 3.40 2.86 4.64 0.67
1.40 1.18 7.04 6.24 4.06 1.11

作成し ，最も成績の良いものを用いる．
本実験では評価尺度として，Kiwi が正解を提示した
問題の割合，提示した場合に正解が現れる順位の平均，そして MRR を用いた．

Kiwi は用いることとなる．この問題が原因となり，文 3.2 実験結果
字単位でインデクシングを行わない二つの検索エンジン
表 7 に実験結果を示す．結果によれば，問題文を単にの結果で精度が低下していた．このことから分かち書き 平叙文に変換することで半数以上で正解を得た．単語ののない言語で検索エンジンの結果を用いる際は，ランキ 組み合わせによって生成した質問では 74%の割合で正解ングアルゴ リズムよりもむしろインデクシングアルゴ リ を提示した．また正解が得られた場合では，結果の上位ズムに留意する必要があると言える．に正解が提示されている．結果から，TREC のように正解が現代的，専門的であり，難易度が高い問題に対しても，Kiwi が有用であることが分かる．

3

TREC を用いた評価実験

本章では最新用例や専門用語を対象とした時の Kiwiの性能を検証する．本実験では，TREC 4] （ Text REtrieval Conference ） 2002 の Question and Answering
track からランダムで抽出した 50 題を用いた．

3.1

実験方法および評価尺度

4 ユーザー実験
本章では，ツールとしての Kiwi の総合的な有用性を，ユーザー実験により検証する．被験者は，質問応答的な問題計 32 問に対し 検索エンジン，もし くは Kiwi を用いて解答する．各問題につき解答時間，クリック数，解答に対する自信度を計測し ，結果の比較を行った．

本実験は以下の手順に従って進める．

4.1 実験方法および評価尺度
1. TREC QA track よりランダムに問題を抽出
2. 問題文を疑問文から平叙文へと変換したものを質問
本実験は以下の手順に従って進める．
として Kiwi で検索
3. 正解が得られなかった場合，問題文中の単語を組み 1. J.M.Spool ら 5] の問題設計方針に基づき，問題を合わせて生成した質問を用いて検索
4. 評価尺度を計算
以下に問題例を示す．

When did the shootings at Columbine happen?
What is the scientic name for tobacco?
What river is called China's Sorrow?

本実験で用いた問題はいずれも近年の出来事や，専門的な内容が正解となっている．また質問応答的な問題であるため，より現実に即した場面における有用性の検証となる．
TREC に記載された問題は疑問文である．そこで，疑問文を平叙文の形式に書き換え，正解が現れる位置にワ
イルド カード を記述したものを質問とした．正解が得られなかった場合，TREC の問題文中の単語を組み合わせ質問を再生成する．この場合，複数の質問が生成される可能性がある．本実験においては，考えうる質問を全て作成

2. 問題を I 群，II 群に分割
3. 被験者を A グループ，B グループに分割
4. A グループの被験者は I 群に検索エンジン，II 群にKiwi を用いて解答
5. B グループの被験者は I 群に Kiwi ，II 群に検索エンジンを用いて解答

6. 評価尺度を計測
本実験では，Spool ら 5] が行う Web Site Usability
Testing の問題設計方針に基づいて作成した問題，計 32問を用いた．以下に問題例を示す．
1 ヤード は何メートル？
オリオン座は冬の星座？夏の星座？
西武ライオンズの松坂投手の決め球は？
被験者には，インターネットを頻繁に利用している理工系の学生 20 名を用いた．Kiwi の利用経験がある者は

図 1: Kiwi と検索エンジンの結果比較：解答時間

図 2: Kiwi と検索エンジンの結果比較：クリック数

内 4 名であった．被験者のグループは，Kiwi の経験者をまず均等に分け，他の被験者はランダムでグループ分けを行った．被験者は，それぞれ検索エンジンもしくはKiwi を用いて問題に解答し，解答までに要した時間，クリック数，およびその解答に対する自信度を 5 段階評価で記入させ，結果を比較した．

図 3: Kiwi と検索エンジンの結果比較：解答への自信度

4.2

実験結果

表 8 に，それぞれの尺度に関して，平均値（ x ），標準偏差（ S ）を示した．表によると，Kiwi を用いた方 は，85%から 98%の割合で 10 位以内に正解が提示されがより短時間，少ないクリック数で，自信度の高い解答 た．対象とした言語ごとの精度を比較したところ，Webを得ていることが分かる．3 つの尺度を有意水準 1%で 上における文書の量が多い英語で最も良い成績を示してWelch の検定を行ったところ，全ての尺度で有意差が認 いた．次に TREC の問題を用いた実験を行った結果，現められた．注目すべき点として，Kiwi を用いた場合で 代的な用例や専門用語を得ることができた．これらの実は結果の標準偏差が小さいことが挙げられる．つまり， 験から，Kiwi の統計処理能力の高さと潜在的な有用性が利用者によらず解答に辿り着く時間、クリック数の差異 示された．また，ユーザー実験の結果からも Kiwi が検が小さい．これは Kiwi は個人の検索技能の影響が小さ 索ツールとして高い性能を示すことが得られた．一般にいことを意味する．この点は検索ツールとして重要な特 Web 上のデータはノイズが多いとされている．しかしな性であると言える．
がら，検索エンジンの結果に統計処理を施すことにより，
図 1，2，3 は，それぞれの尺度における Kiwi と検索 用例検索のコーパスとして有益となりうることが実験よエンジンの結果の分布を表したものである．横軸はそれ り明らかとなった．今後は，処理の高速化を中心にシスぞれ，図 1 は解答時間（ 分），図 2 はクリック数（ 回）， テムの最適化を行う．また，Question and Answering や
図 3 は回答への自信度（ 5 段階評価）を表し，縦軸はサ 文章校正など ，より高度なタスクへ本ツールを応用してンプル数を表す．図より，特に Kiwi を用いた場合少な いくことを試みる．
いクリック数で解答を得られていることが分かる．検索エンジンを用いる場合，複数の候補を得るためには多くのページを調べる必要がある．これに対し，統計処理を参考文献行い候補の一覧を提示する Kiwi では，一度の検索で多くの候補が得られるためであると考えられる．
1] GlobalStats. Global reach community, 2002.
一方，解答時間の尺度では比較的差が小さい．Kiwi は 2] K. Hisamatsu. 仏検 2 級・3 級対応 フランス語重要
検索エンジンの大量の結果を動的に得ており，そのダウ表現・熟語集. 駿河台出版社, 2001.
ンロード に多くの時間を必要とするためと考えられる． 3] T. Kanbe. TOEFL 英熟語 850. 旺文社, 2001.
今後の課題としては，検索エンジンと同一サーバー上で 4] NIST, IAD, and ARDA. Text retrieval conference
Kiwi を実行し ，ダウンロード 時間を軽減することが考(trec) home page, 2003.
えられる．
5] J. M. Spool and J Pool. Web Site Usability. Morgan
Kaufmann Publishing, 1998.
自信度の尺度では Kiwi がより良い結果を示した．実験後のアンケートによれば ，多くの被験者が Kiwi の集 6] 三省堂編修所. 三省堂実用ことわざ の辞典. 三省堂,
2002.
計能力を高く評価しており，自信度の結果として表れて
7] 山本真人, 田中久美子, 中川裕志. 検索エンジンに基いたと言える．
づく多言語用例指南ツール：kiwi. 言語処理学会大会論文集, pp. 654{657, 2003.

5 おわりに

本論文では，Web 上の検索エンジンの結果を用いて語彙の用例を調べるツール，Kiwi の実験的評価を報告した．熟語や慣用表現などの定型用例を対象とする場合で