適合的汎化に基づく情報検索システムの実験的研究（第2報）－検索語の網羅性に注目した検索インターフェースの作成－

北海道大学

吉岡真治
原口誠

背景と目的

背景– IT技術の発展に伴い、大量の文書情報が利用可能⇒適切な情報検索のためには、検索者の多様な検索意図を適切に表現する事が必要– 検索者の検索意図を表現する検索式• 検索語は検索意図を十分に反映しているのか？
• 検索意図の推定– レレバンス・フィードバック、ユーザモデルの利用• 様々な詳細度の語が混在し、検索式の理解が困難– 電子化辞書・シソーラスの利用• 検索意図と異なる検索式の拡張を行う可能性目的– 検索意図を反映した検索語の概念階層の汎化を行う情報検索システム• 検索語が持つ概念の抽象度を、検索者の検索意図に応じて適合的に設定することにより、高効率な情報検索を実現

適合的汎化に基づく情報検索システム
適合的汎化– データマイニングのための概念の汎化（工藤、原口, 2000）• 抽象化による情報量の損失を最小にする属性の汎化• 精度を維持したままで意味のある少数のルールを作成– 辞書が持つ概念階層構造を利用した検索語の汎化• 検索精度を維持するために、検索意図に応じた汎化• 検索者にとって理解しやすい検索式の拡張• 検索語の汎化による影響– 再現率の向上が期待される。
– 過度に汎化を行うと、検索意図が曖昧になり、関係のない文書を検索してしまう。
8mmビデオの機構を知りたい

ビデオを購入したい
8mmカメラ

映像装置

家電

ビデオ

DVD 冷蔵庫

8mmビデオ デジタルビデオ

概念階層の一部

電子化辞書・シソーラスの概念階層について
 一般的な電子化辞書・シソーラスの階層構造の特徴– シソーラスの概念階層が一般的な分類を目標としているため、中間階層の抽象概念が粗い。
– 一段の抽象化が過剰に抽象度を上げる。
 目的指向の概念階層の修正– 特定の目的を正確に表すためには、目的に応じた中間階層の概念を作る必要がある。
検索意図：レンタルビデオのための機械の購入
DVDまで拡張したいが、8mmカメラが入ってしまう

映像装置

8mmカメラ ビデオ家電
DVD

8mmビデオ デジタルビデオ

冷蔵庫

適合的汎化のための指標
 今回のシステムで利用する検索語の特徴量– 検索語の存在が文献の適合性を判断するのにどれだけ役に立つかを示す指標を考える• 相互情報量に基づくキーワード選択
G ' ( w) = p ( w | r ) log 2p( w | r )p ( w)• 指標に基づく概念の汎化と適合文書に基づく、中間階層概念の作成
G’(w)=3.1

映像装置

8mmカメラ ビデオ
G’(w)=2.4

G’(w)=1.8
家電
DVD 冷蔵庫G’(w)=1.2

8mmビデオ デジタルビデオ
適合的汎化と概念カテゴリーの生成

適合文書
レンタルビデオ
映画「…..」….
DVDタイトルリスト
映画「…..」….

検索式の作成
適合的汎化は検索語と補完関係にある語を探す手法
 適合フィードバックによる検索拡張– 検索語と共起性の強い語など、補完関係にはない語なども利用


両者を融合した形で検索拡張

形態素解析による初期検索式の作成
関連文書5件を利用し、検索語と関連文書中に含まれる語の汎化
3. 汎化に成功した語は、汎化概念に対応する語を拡張した検索語として追加
4. 検索語とは関係なく、G’(w)の値が大きいもの上位10件を検索語に追加
1.
2.

プロトタイプシステムの作成


通信総合研究所で開発された情報検索パッケージ（内山,2001）（以下ベースパッケージと呼ぶ）をもとに作成– Okapi BM25（Robertson and Walker, 2000）をベースとする• 文書のスコアリングの関数∑ w(1)T ∈Q(k1 + 1)tf (k3 + 1)qtf
K + tfk3 + qtf

K = k1 ((1 − b) + b ×

document length
average document length

tf : 文書中のTの頻度
w(1): 文献中の語Tの重み（Roberson Sparck Jones)
qtf : 検索式中のTの頻度 k1,k3,b: パラメータ（デフォルトk1=1,k3 =1000,b =1)– ベースラインシステムとしての性能を有する• NTCIR（NII-NACSIS Test Collection for IR）のデータに対して、上位グループと同等の性能を持つ


電子化辞書データとしてEDRを利用

形態素解析ツールとして茶筅を利用

情報検索用インデックスの作成
1. 文書データに対し、茶筅で形態素解析を行い、ベースパッケージと同様に初期インデックス候補となる語（主に名詞）を抜き出す。
2. インデックス候補となった各語に対して、EDRの辞書と照合し、各々の語が所属する概念ID（抽象度の高い概念も含む）のリストを作成する。
–

インデックスサイズを抑えるために、ある一定以上の割合で、文献に現れる概念IDについては、一般的な概念であるとして、汎化の対象から除外した。

3. 形態素解析の結果の語のリストと、各々の語に対応するEDRの概念IDのリストの全てを文献に対するインデックスとして設定する。

入力文章
ビデオの紹介ビデオは…
茶筅＋ベースシステムビデオ 紹介
ビデオ …
EDR
ビデオ 3c2a83 3c52fb ..
紹介 1faf20 3d04c8 ..

ビデオ 3c2a83
3c52fb … 紹介
1faf20 3d04c8… ビデオ 3c2a83
3c52fb …

最終インデックス

作成された中間階層の例
 検索課題：次世代インターネット– キーワード：「通信する」• 文書中に含まれる語– 通信する、放送する、中継する
3cf631 通信する

0e64a6 衛星中継する
0f07c6 交信する
0f021b5 混信する

3c1208 電話する
3c54cd 放送する
3d1b03 中継する

検索モデルの特徴
 確率型モデル・ベクトルモデルの特徴– ユーザは検索に必要な言葉をうまく選べない→ ユーザが選んだ言葉が入っていなくても関連文書になる可能性がある。
– 関連する多くの語（直接関係なくても、共起性の高い語など）により検索意図を表現→ 検索式の視認性が低い
 ブーリアンモデルの特徴– ユーザは検索に必要な言葉をきちんと選べる→ ユーザが選んだブーリアン式を満たさないものは関連文書ではない– 検索に必要な語により検索意図を表現→ 検索式の視認性が高い

人間に理解しやすい検索拡張 ブーリアン式による検索意図の表現– 仮説：欲しい文書には、必須の語（概念）が含まれているはず– 検索語が含まれなくても関連文書とみなす文書がある。
→ 検索語選択の問題→ 検索語を補完する語が文書中に含まれるはず 適合的汎化の特徴– 検索結果をクラスタリングするのではなく、関連文書クラスタのみに注目• 検索語と補完関係にある語• 網羅的に関連文書に含まれる語（概念）適合的汎化に基づくインタラクティブ検索システム
 確率型モデルとブーリアンモデルの融合– 初期検索式：検索語に関する考察が不十分→ 確率型モデルによる検索– ブーリアンモデルへの切り替え• 適合文書が上位に見つからない場合• ある程度クリアな検索式が記述できた場合
 適合文書から得られるキーワードに関する特徴的な情報を提示ブーリアン式の構築 適合文書の網羅性に注目してブーリアン式を作成– 適合文書の網羅性に注目：G’(w)の指標が下がっても（一定値で足きり）、網羅性があがる場合に汎化し、概念カテゴリーを作成（ブーリアンのor式として扱う）
初期検索：ロッキー, ビデオ
G’(w)=2.1

映像装置

8mmカメラ ビデオ
G’(w)=2.4

G’(w)=1.8
家電
DVD 冷蔵庫G’(w)=1.2

8mmビデオ デジタルビデオ

適合文書
レンタルビデオ
映画「ロッキー」….
DVDタイトルリスト
映画「ロッキー 」….

Boolean式： ロッキー and (ビデオ or DVD)

検索語の網羅性に注目した検索インターフェース
 Web検索への展開– ブーリアン検索式の利点• 他のデータベースに対する問い合わせにも利用可
能– 手元にあるデータベースによる検索結果に基づき、Web検索用のQueryを作成し、検索• イントラネット内のデータベースで検索式を明確化
して、インターネット上の情報検索へ応用

システムの外観

まとめ
 適合的汎化に基づく情報検索システム– 適合文書に基づき、検索語の抽象度を設定– 既存の概念カテゴリーではなく、適合文書群に即した一時的な概念カテゴリーを形成• 概念の粒度が異なる概念体系辞書においても、同等の検索性能
 今後の展望– 自動構築されたシソーラス（特定の意味のあるキーワード集合でも可）の利用