DEIM Forum 2016 C4-2

動詞クエリの語間の関係性推定に基づくクエリマイニング
福地

大助†

山本

岳洋††

田中 克己††† 京都大学工学部情報学科 〒 606-8501 京都市左京区吉田本町†† 京都大学大学院情報学研究科社会情報学専攻 〒 606-8501 京都市左京区吉田本町
E-mail: †{fukuchi,tyamamot,tanaka}@dl.kuis.kyoto-u.ac.jp
あらまし Web 検索において，ユーザは自らの検索意図に沿ったクエリを選択しているつもりでも，適切な検索結果が得られないことがある．本論文では，動作的表現が含まれるクエリ（動詞クエリと呼ぶ）に着目し，そのクエリの背後にある多様な検索意図に対して，適切なクエリを生成する手法を提案する．提案手法ではまず，クエリ中の動作的表現と結びつきの強い語の関係性を推定する．本研究では特に助詞に着目して関係性を推定する．その後，既存の外部リソースや Web 検索結果を用いることで，クエリ内にある動作的表現の変換候補を，推定された関係に基づいて取得する．そして，クエリとして妥当であるか，ユーザの意図を反映しているかという指標で取得した変換候補の有用性を評価する．最後に，得られた初期クエリを変換候補によって変換し，ユーザに提示する．13 件のクエリに対して提案手法の有用性を検証した結果，ベースラインとして用いた既存の検索エンジンによるクエリ推薦が，MRR@10の値が 0.13 であったのに対して，Web 検索結果に基づいて変換候補を抽出する提案手法は，MRR@10 の値が 0.38 とベースラインを上回る結果が得られた．
キーワード

情報検索，クエリ推薦，自然言語処理

1. は じ め にいことが考えられる．検索エンジンが動詞やサ変接続する名詞を表すキーワードに対して，目的語として働くことを意図され

近年，Web 検索エンジンの急速な発展により，多くの人々がているが主語や手段を表す修飾語としてみなすことが多くある．

検索エンジンを使用して情報を獲得している．PageRank アル

そこで本研究では，クエリ中に動詞やサ変接続する名詞が含ま

ゴリズムや learning to rank に代表されるさまざまなランキン

れるクエリ（本稿では，動詞クエリと呼ぶ）を対象として，そグ手法により，Web 検索の精度は大きく向上してきた．現在での背後の検索意図に沿った適切なクエリを生成する手法を提案

は，ユーザは自らの検索意図に沿ったクエリを検索エンジンにする．たとえば，先述の “牛乳パック 作る 方法” というクエリ

投入するだけで，多くの事柄についてユーザの求める情報を探を “牛乳パック 製造 方法” というクエリに変換することができすことが容易になっている．

れば，検索意図に適合したページを取得することができるが，

しかし，ユーザが自らの検索意図に沿ったクエリを選択してユーザがこのクエリを思いつくことは容易ではない．システム

いるつもりでも，適切な検索結果が得られない場合がある．特がこうしたクエリを自動的に発見しユーザに提示することで，に，クエリ中に動詞やサ変接続する名詞を含むようなクエリは，ユーザは初期クエリで適合する検索結果が得られなかった場合異なる検索意図に関する検索結果しか得られないことがある．

に，提示されたクエリを実行することでユーザの検索意図に適これは，ユーザが検索意図を良く表していると考えているクエ

合するページを得ることが可能になると考えられる．

リでも，その表現方法が多数あるためである．

提案手法は，クエリに含まれるキーワード間の関係性を推定

たとえば，あるユーザが「牛乳パック本体が生成される過程

し，それに基づき検索意図をより適切に表現したキーワード

を知りたい」という検索意図の下，“牛乳パック 作る 方法” とを発見することで，クエリを生成する．提案手法はまず，クエいうクエリで検索したとする．既存の検索エンジンでは，この

リに含まれる動詞やサ変接続する名詞（動作キーワード）と，クエリに対して，「牛乳パックを用いて何かを工作すること」にユーザが知りたい情報の中心となるキーワード（目的キーワー

関するページが上位にランキングされてしまう．また，“牛乳ド）との関係性を Web 検索を用いて推定する．本研究では，動パックを作る方法” というクエリでフレーズ検索を行ったとし

作キーワードと目的キーワードの関係性として，両者を繋ぐ助ても，同一のフレーズを含んでいるページは存在しないため，

詞に着目する．具体的には，目的キーワードが “目的語”，“主ユーザは検索意図に適合する検索結果を得ることができない．

語”，“手段” のいずれかであるとみなし，それぞれに対応する

このように，“牛乳パック 作る 方法” というクエリ自体は検索

助詞「を」，「が，は」，「で」の中からどの助詞が動作キーワー

意図を適切に表していると考えられるものの，現在の検索エンドと最も関係が強いかを推定する．次に，推定された関係性をジンではユーザの検索意図に適合する情報を得ることができ

基に，動作キーワードの変換候補を既存のリソースである京都

ない．

大学格フレーム [5] および Web 検索を利用して発見する．最後

検索意図に適合する検索結果が得られない要因として，クエに，その動作キーワードを基に生成されたクエリ変換候補を

リ内のキーワード間の関係性を検索エンジンが考慮できていな （ 1 ） 動作キーワードの変換候補と目的キーワードの共起度

2. 3 単語間の類似度計算（ 2 ） 動作キーワードの変換候補と初期クエリの動作キーワードの類似度

本研究では，ユーザの検索意図に適合するクエリを生成するという 2 つの基準でランキングし，ユーザに提示する．

際に，単語間の類似度を計算する．単語間の類似度計算に関す

本稿の構成は以下の通りである．2 節では，関連研究についる研究も多く存在している．相澤 [10] は，語の類似度計算におて述べる．3 節では，提案手法について詳細に述べる．4 節でける問題点として，広範囲の語と共起する語が類似度計算におは，提案手法に関する実験の概要とその評価結果について述べ

けるノイズとなることを指摘し，そのノイズを軽減させるためる，5 節では，まとめと今後の課題について述べる．

のフィルタリング法とサンプリング法を提案し，それによる性能改善について議論している．川上ら [9] は，テキスト中から

2. 関 連 研 究

形態素解析や構文解析を通して切り出された単語に対して，クユーザが投入したクエリを修正したり，他の有用なクエリをラス分類問題である擬似単語分類問題を解くことで，単語間のマイニングしてユーザに提示することで Web 検索を改善させ類似度を計算する手法を提案している．

る手法が多く提案されてきた．本節では，本研究に関連する研本研究では，動作キーワードの変換候補に対して，初期クエ究について述べる．

リに含まれる目的キーワードや動作キーワードとの共起度を

2. 1 クエリ修正

WebPMI によって計算することで，クエリ変換に有用な語を語の置換によってクエリ修正を行う研究や，クエリ推薦を多発見する．

様化する研究 [3]，初期クエリに対して別の語を付加することで

3. 提 案 手 法

クエリ修正を行う研究など，クエリ修正に関する研究は多く存在し [2] [4]，クエリログ [8] などを用いてクエリ修正を取得する

本節ではまず，本研究の入力として扱う，動詞クエリについ研究も多く存在する．

て説明する．その後，手法の概要を説明し．各手法の詳細につ

従来のクエリ推薦に関する研究の多くは，ユーザが投入した

いて述べる．

クエリはある程度ユーザの検索意図に適合するようなクエリを本研究では，動詞クエリを，動作キーワードを 1 つ含み，そ対象としている．一方で，本研究が扱うクエリは，ユーザが投れ以外のキーワードを少なくとも 1 つ以上含むクエリと定義す

入した結果のほぼ全てが検索意図に適合していないようなクる．ここで動作キーワードとは，動詞や動作的表現を表すサ変エリを対象としている．従って，クエリログやクリックスルー

接続する名詞で定義される単語である．たとえば，「牛乳パック

データに基づくクエリ推薦では，不適合な検索結果しか得られ本体が生成される過程を知りたい」という検索意図の下で作成ないクエリのみが推薦されてしまう可能性がある．4 節で述べされた “牛乳パック 作る 方法” というクエリの場合，“作る”

る実験では，提案手法と既存の検索エンジンのクエリ推薦とをが動作キーワードであり，“牛乳パック”，および “方法” がそ

比較することで，提案手法の有用性を検証する．

れ以外のキーワードである．また，「遺伝子が組み替えられる流

2. 2 キーワード間の関係性推定

れを知りたい」という検索意図の下で作成された “遺伝子 変え

検索クエリに含まれる複数のキーワード間の関係性を推定する 手順” というクエリの場合，“変える” が動作キーワードでる研究はが数多く行われてきている．野田ら [13] は，クエリ中あり，“遺伝子”，および “手順” がそれ以外のキーワードであのキーワード対が接続助詞 “の” で結ばれる関係にあるかを調る．一方，「アイルランドの歴史を知りたい」という検索意図のべることで，そのキーワードが主題を表すものと話題を表すも下で作成された “アイルランド 歴史” や，「京都の寺について知のを判別する手法を提案している．大島ら [11] は，あるキー

りたい」という検索意図の下で作成された “京都 寺” といったワードに対して，その語と接続助詞 “や” や “やら” などで結クエリには動作キーワードが含まれないため，動詞クエリとはばれる関係にある語を抽出することで，同位語を発見する手法

みなさない．

を提案している．田ら [12] は，クエリ中の 2 つのキーワード間

1 節で述べたように，動詞クエリの特徴として同一の意図にに成り立つ関係性を基に，そのクエリでの検索結果におけるそ対するクエリ表現が複数存在するという問題がある．そのためのキーワード間の近接性を計算する指標を定義し，そのユーザ

ユーザが検索意図を良く表す動詞クエリを考えたつもりでも，側で調整できるようにした指標に基づいて検索結果をランキン

異なる検索意図に関する検索結果しか得られないことがある．

グする手法を提案している ．金子ら [6] [7] は，クエリ中のキー

そこで本研究では，初期クエリとして動詞クエリ q として使用

ワード対が従属関係，または並立関係から成るとみなし，接続された場合の検索結果がユーザにとって不適合である，という助詞 “の”，“と”，“や” を用いてその関係を抽出している．

状況を想定する．

本研究は，キーワード間の関係性の推定結果を利用しクエリ

提案手法は，ユーザによって与えられた動詞クエリ q を入力修正を行うという点で金子らの研究と類似している．しかし，とし，そのクエリに含まれる動作キーワードを変換することで本研究の対象は動詞クエリであり，動作を表す単語に着目する得られるクエリ変換集合をユーザの本来の意図に沿う順にランことでキーワード間の主語・目的語関係等の主述関係を推定キングしたリストを出力する．本手法は以下の 6 つのステップ

する．そのため，扱うキーワードの関係性が彼らとは異なってから構成される．提案手法の流れと，“牛乳パック 作る 方法”

いる．

を入力クエリとした際の具体例を図 1 に示す．
（ 1 ） 入力された動詞クエリ q = {k1 , k2 , ..., kn } (ki はキーワーâ²tº«¤ælÕÍ¿«^MOzwÖâ²tº«¤æwÖ

³µÂÜ

³µÂÜ
è$©ëÅlÕÍ¿«z^©ëÅl^z¨ZÖ^h«¤æTè$©ëÅq^©ëÅ¨Z

è$©ëÅq^©ëÅwQ*lÕÍ¿«zql^zwAQºlzq*

*`hQ¯bºlzt,nMo^©ëÅw!õ©4laz|l»^z|l6b;z|*`hQt,nMo^©ëÅw!õ©4`h!õ©4w;Qµ¯-`
ft,nMo\R`h«¤æåï©ï¬yyyyÕÍ¿«aMO
yyyyÕÍ¿«6b;MO
yyyyÕÍ¿«»^MO`h!õ©4w;Qµ¯-`
ft,nMo\R`h«¤æåï©ï¬â²t!õwåï©ï¬`h«¤æÔ

図1

提案手法の流れとその具体例

ド) から目的キーワード k s と動作キーワード k v を抽出（ 2 ） 人手で準備した各助詞について，k s と k v に対する結びつsv

きの強さを計算することで，k と k の関係性を推定（ 3 ） 推定された関係性に基づき，動作キーワード k v の変換候v
補集合 V = {k1v , ..., km} を取得（ 4 ） 入力クエリ中の動作キーワード kâ²t!õwåï©ï¬`h«¤æÔ

ドであるという仮定に基づいている．例えば，「牛乳パックを作る方法が知りたい」という検索意図の下で，“牛乳パック
る

作方法” という動詞クエリが与えられた場合，提案手法は，“作る” を動作キーワードとして，“牛乳パック” を目的キーワー
ドとして抽出する．

v

を各変換候補 kiv ∈ Vと入れ替えたものを qi とし，クエリ変換候補集合 Q ={q1 , ..., qm } を生成（ 5 ） 各クエリ変換候補 qi ∈ Q に対して，その有用性を表すス
コア si を計算
（ 6 ） クエリ変換候補集合 Q の要素を有用性スコアの降順にランキングして出力

3. 1 目的キーワードと動作キーワードの抽出

3. 2 目的キーワードと動作キーワードの関係性推定
動詞クエリを意図に沿う検索結果の得られるものへと変換するための手掛かりとして，提案手法は前節の手続きによって得られた目的キーワードおよび動作キーワードに対して，その間に成り立つ関係性を推定する．具体的には，人手で用意した助詞集合 P ={ が, は, で, を } の中から，目的キーワードおよび
動作キーワードと結びつきの強い助詞を，フレーズ検索を用いて発見することで，関係性推定を実現する．

1 節で述べたように，ユーザの検索意図に適合する検索結果

本研究では，目的キーワードが動作キーワードに対する関係が得られない要因の 1 つに，クエリ中のキーワード間の関係性

性として目的語，主語，手段のいずれかに分類されると考え，を検索エンジンが考慮できていないことがあげられる．特に動その分類を各助詞 p ∈ P 関係性スコアを計算することによって詞クエリについては，同一の意図に対する表現法が多数存在す推定する．例えば，“りんご” という目的キーワードに対して，るため，ユーザが意図するキーワード間の関係性を推定し，動関係性を表す助詞 “を” を用いた “りんごを◯” の関係性スコア

作キーワードを適切なものに変換する必要がある．ここで，適が高い場合は “りんご” が目的語であると推定され，助詞 “が”，切な変換候補の取得のためには，クエリに含まれるキーワード

あるいは “は” を用いた “りんごが (は) ◯◯” の関係性スコアのうち，ユーザがどのキーワードに対して動作キーワードとのが高い場合は “りんご” が主語であると推定され，助詞 “で” を

つながりを強く意識しているかを推定すること重要である．

用いた “りんごで◯” の関係性スコアが高い場合は “りんご” が本手法は，動詞クエリに対して形態素解析を行い，品詞が動手段であると推定される．

詞，または名詞でありサ変接続するものを動作キーワードとみ

目的キーワードを k s ，動作キーワードを k v ，関係性を表す

なす．次に，動作キーワードの直前に出現するキーワードを目

助詞を p ∈ P とした時，k s と k v を p で繋げたフレーズの関的キーワードとして抽出する．これは，動作キーワードを含む

係性スコアの計算には金子ら [7] が提案した以下の式を用いる．

複数のキーワードを用いてクエリを作成する際，ユーザは検索意図を表す文章と同じ語順でキーワードを入力すると考え，まStrength(ks , p, kv ) =DF(“ks pkv ”) DF(“ks pkv ”)·
DF(“ks p”)
DF(“pkv ”)(1)

た，動作キーワードとつながりが強いのはその直前のキーワー
ここで DF(“X”) は Web 検索エンジンを用いてクエリ “X” でフレーズ検索を行った際の検索結果文書数，k s pk v ，k s p，およ

換候補を取得する．

v

び pk はそれぞれの順序で語をつなぎ合わせてできるフレーズ （ 1 ） クエリ “k s p” でフレーズ検索し，検索結果を 50 件取得（ 2 ） 検索結果からフレーズ “k s p” の直後に現れる動作キーワーを表す．

v
ド k1v , k2v , ..., kmを抽出

例 え ば ，目 的 キ ー ワ ー ド “牛 乳 パック” お よ び 動 作v
キ ー ワ ー ド “作 る” と 助 詞 “を” の 間 の 関 係 性 ス コ ア （ 3 ） クエリ「“k s p′′ –k1v ... –km」で再検索

Strength(牛乳パック, を, 作る) は，（ 4 ） 動作キーワードが 50 個取得できるまで，ステップ（2）かDF(“牛乳パックを作る”) DF(“牛乳パックを作る”)·
DF(“牛乳パックを”)DF(“を作る”)

ら（3）を繰り返す
我々は一度の検索では有用な動作キーワードの変換候補を十分によって計算される．ここで，第 1 項は フレーズ “牛乳パックに取得できないと考えた．そこで，これまでに抽出した動作を” を含む文書集合のうちフレーズ “牛乳パックを作る” が含

キーワードを NOT 検索で省き新たな候補を取得するという操

むものの割合を表す．同様に，第 2 項は フレーズ “を作る” を

作を複数回行うこととした．候補を取得することで，これによ含む文書集合のうち フレーズ “牛乳パックを作る” が含むもの

り抽出される候補の偏りを軽減できると考える．

の割合を表す．これらの積をとることで，“牛乳パックを作る”

例えば，目的キーワード “ 牛乳パック”，目的キーワードがという表現が Web 上でどの程度一般的に用いられているかを目的語であるという関係性を表す助詞 “を” から，クエリ ”牛推定できる．この計算を各助詞について行い，最大のスコアを

乳パックを” でフレーズ検索を行い，検索結果の上位から動作得た助詞を目的キーワードと動作キーワードの間に成り立つ尤

キーワード “工作”，“再利用”，. . . を取得する．次に取得したもらしい関係とみなす．

動詞クエリの先頭に “ – ” を付加してクエリ「”牛乳パックを”3. 3 動作キーワードの変換候補の取得–工作 –再利用 . . . 」で再検索を行い，検索結果の上位から動作

1 節で例示した “牛乳パック 作る 方法” という動詞クエリのキーワード “洗う”，. . . を取得し，“–” をつけたものを付与し場合，動作キーワード “作る” を “製造” に変換すれば，検索意て再検索を行う．これを繰り返すことで，動作キーワードの候図に適合したページを取得することができる．本節では，こう補を取得する．

した動作キーワードの適切な変換候補を自動的に発見する手法

3. 4 最適な変換候補の選択について述べる．

3.3 節の手法によって取得される動作キーワードの変換候補

提案手法は，前節までの手続きにより得られた目的キーワーの中にはノイズが含まれるため，すべての変換候補が有用であ

ドと動作キーワードの関係性を用いて既存の格フレーム辞書，

るとは限らない．そこで我々は，各変換候補の有用性を推定し，および Web 検索結果のそれぞれから動作キーワードの変換候

その値の高いものを用いてクエリ変換を行う．

補を取得する．以降では，それぞれのリソースを用いた，動作キーワードの変換候補の取得手法について述べる．

本ステップの目的は，初期クエリ中の動作キーワードと意味的には似ているが，初期クエリの検索結果とは大きく異なる検3. 3. 1 格フレーム

索結果が得られる動作キーワードを発見することである．その格フレーム辞書とは，用言とそれに関係する名詞を用言の各ために我々は以下の 2 つの指標を順番に用いて，その指標によ

用法ごとに整理した辞書である．本研究では，黒橋・河原研究

るスコアの積をとることで，その変換候補の有用性スコアとし室が製作した京都大学格フレームを用いる．京都大学格フレーて付与する．

ムは，Web 上の約 16 億文の日本語テキストから自動的に構築 （ 1 ） 目的キーワードと動作キーワード候補の共起度された，約 4 万用言からなる格フレーム辞書である．この格フ （ 2 ） 初期クエリの動作キーワードと動作キーワード候補の類
レーム辞書は，名詞を入力することでその名詞の直後に続く助似度

詞と動作表現のペアを使用頻度が多い順に用例があるものすべ

この指標によって得られた有用性スコアの降順にクエリ変換結てを出力する．

果をランキングし，その上位 10 件を出力する．以降では，上提案手法は，この格フレーム辞書に対して目的キーワードを入力し，出力の中から 3.2 節の手法で推定された助詞と一致す
る結果を抽出し，そこに含まれる動作表現集合を動作キーワー
ドの変換候補とする．

述の各指標の計算手法について述べる．

3. 4. 1 目的キーワードと動作キーワード候補の共起度
変換候補の動作キーワードと目的キーワードの関連性が低い
場合，その 2 つのキーワードを用いた検索ではユーザの意図す3. 3. 2 Web 検索結果

る検索結果を取得することは困難であると考えられる．そこで既存の格フレーム辞書を用いた場合，そのリソースに存在す

我々は，変換候補の動作キーワードと目的キーワードの関連のる語に対しては有用な結果が期待できる一方で，未知語や複合

強さを，両者の共起度を測ることで計算する．

語に対しては関連する動作キーワードを高い精度で抽出でき

目的キーワードと動作キーワード変換候補の共起度の計算にないという問題が存在する．この欠点を補う目的として，Webは Bollegala ら [1] によって提案された WebPMI [1] を用いる．

検索を用いて動作キーワードの変換候補を取得する手法を提案

WebPMI は，語 p，q の共起度を検索エンジンを用いて測る尺する．

度であり，その値は次式で計算される．
s

目的キーワードを k ，3.2 節の手法により推定された関係性を p とすると，本手法は以下のステップで動作キーワードの変(
WebPMI(p, q) = log2DF(p∩q)NDF(p)· DF(q)N
N)

検索エンジンを用いた．

(2)

提案手法と比較するベースライン手法には，Google（注 4）の検索エンジンが提示するクエリ推薦を採用した．同検索エンジ

DF(x) は検索エンジンから返ってくるキーワード x によるクエリの検索結果文書数である．ここで，x ∩ y はキーワード xと y を用いた AND 検索，N は検索エンジンにインデックス
されている全てのページ数を表す．我々は Bollegala [1] に従い，

N = 1010 と設定した．

ンに，“牛乳パック 作る 方法” というクエリを入力した場合，“牛乳パックで作る椅子”，“牛乳パックで作るイス”，“牛乳パック作る”，“牛乳パック作り方”，“牛乳パック 布 貼り方”，“牛乳パック 家 作り方”，“牛乳パック 箱 布”，“リメイク 牛乳パック”，“牛乳パック椅子作り方”，“牛乳パック 踏み台” といった

3. 4. 2 動作キーワードと動作キーワード変換候補の類似度
ユーザの検索意図に沿ったクエリ変換を行うためには，3.4.2
節の条件に加えて，元の動作キーワードに似ている動作キー
ワード変換候補が必要となる．そこで我々は，元の動作キー
ワードと動作キーワードの変換候補の類似度を計算する．また，元の動作キーワードの同義語である動作キーワードの変換候
補はユーザの検索意図に沿う有用性が非常に高いので，日本語

WordNet（注 1）も用いてスコアを計算する．
目的キーワードを k s ，元の動作キーワードを k v ，変換候補′の動作キーワードを k v とした時我々は WebPMI を応用した(′

WebPMIks (kv , kv ) = log2′

DF(ks ∩kv ∩kv )N′
DF(ks ∩kv ) DF(ks ∩kv )NN)

10 件の推薦クエリが検索結果ページの下部に表示される．これらの推薦クエリは，元の検索クエリからは意図した検索結果が得られなかったユーザに対して，その問題を解決するために検索エンジンが提示したものとみなせるため，提案手法との妥当な比較対象と言える．
提案手法である格フレーム手法と Web 検索手法，およびベースライン手法のそれぞれについて，上位 10 件の変換クエリを用いて評価を行った．

4. 2 評価クエリと評価方法
評価実験では，表 1 に示す 13 件の評価クエリを利用した．
これらのクエリは，本研究の問題設定を考慮して，クエリ単体(3)から本来の検索意図を十分推測可能であるにもかかわらず既存の検索エンジンではその意図とは異なる検索結果が得られると′によって k v と k v の類似度を計算する．上式は目的キーワードいう基準の下で選択された．これらの評価クエリの本来の意図のコンテキストを考慮した上で，動作キーワードと動作キーワーと，そのクエリを用いて得られた実際の検索結果に含まれる内′ド変換候補の類似度を計算する．ただし，k v と k v が同義語である場合，両者の類似度は非常に高いと判断できる．そこで日

容を表 1 に示す．
これらの各評価クエリに対して，4.1 節で述べた各手法によっ

本語 WordNet において両者の間に同義関係が確認された場合て取得された 10 件のクエリ変換候補のランキングを
は，類似度の値を 100 とすることにした．この WebPMIs (v, v ′ ) （ 1 ） 想定意図適合性を用いることで，それぞれの候補を用いて変換することがどれ （ 2 ） 意図網羅性ほど有益であるか評価できる．

4. 実

験

という 2 つの観点から評価した．第 1 の観点では，クエリの背後に隠れたユーザの本来の検索意図（表 1）に適合する検索結果を返すクエリを正解とみなし，そうしたクエリが上位 k 件

本節では，提案手法の有効性を検証するために行った評価実験について述べ，実験結果を基に考察を行う．

4. 1 概要のクエリ変換候補の中にどの程度存在するかを評価する．第 2の観点では，ユーザの本来の検索意図に加えて，初期クエリから連想可能な他の検索意図も考慮する．そして，これらの意図

提案手法の有用性を評価するために，格フレーム辞書（3.3.1のうちのいずれかに適合する検索結果を返すクエリを正解とみ節）と Web 検索結果（3.3.2 節）のそれぞれのリソースから，なし，そうしたクエリが上位 k 件のクエリ変換候補の中に存在各評価クエリに対するクエリ変換候補を取得した．以降では，する度合いを評価する．ここで，各クエリの正解判定時には，前者を格フレーム手法，後者を Web 検索手法と呼ぶ．3.3 節

Google の上位 10 件の検索結果を利用した．

で述べたように，格フレーム辞書を用いた場合は辞書中に存在例として，初期クエリ “牛乳パック 作る 方法” に対して，する語に対して，Web 検索結果を用いた場合は未知語や複合語 （ 1 ） “牛乳パック 製造 方法”
に対して，有効な変換候補の取得が可能になると予想される．（ 2 ） “牛乳パック 工作 方法”
こうした各リソースが有効に機能するケースや限界点を明らか （ 3 ） “牛乳パック 生産 方法”にするために，それぞれの手法を用いた際の変換結果を評価し （ 4 ） “牛乳パック 冷蔵 方法”
た．これらの手法を用いて変換候補を取得する際には，Bing （ 5 ） “牛乳パック 蒸す 方法”

Search API（注 2）と京都大学格フレーム [5] を用いた．また，キー （ 6 ） “牛乳パック 切り取る 方法”
ワード間の関係性推定（3.2 節）や変換候補の選択（3.4 節）に （ 7 ） “牛乳パック 燃え尽きる 方法”て，検索結果文書数を取得する際には，Yahoo! JAPAN（注 3）の（注 1）：http://nlpwww.nict.go.jp/wn-ja/というクエリ変換候補のランキングを取得したとする．表 1 に示すように，この初期クエリの背後に存在する本来の検索意図（注 2）：https://datamarket.azure.com/dataset/bing/search（注 3）：http://www.yahoo.co.jp/（注 4）：https://www.google.co.jp/

表 1 評価に用いる初期クエリとそのクエリの検索意図，およびそのクエリを用いて検索エンジンから実際に得られた検索結果が含む主な内容
初期クエリ
牛乳パック 作る 方法
学校 潰す 手続き

検索意図

検索結果が含む主な内容

牛乳パック本体が製造される過程が知りたい

牛乳パックで椅子や葉書等を作ることに関連した内容

学校が廃止になる手順・手続きの流れについて知りたい“学校教育を潰す” や “学校が個性を潰す” などに関連した
内容

バスケ ルール 作る 誰

スポーツとしてのバスケットボールのルールをどこの機関 バスケットボールのルールを説明する内容
が制定・改訂しているのか知りたい

りんご 作る 方法

りんごの木を育てる方法が知りたい

りんごを材料にしてジャムやバターを作る等の内容

電車 繋ぐ タイミング

どのような時に電車が連結されるのか知りたい

デートで手をつなぐタイミングに関連した内容

赤ちゃん 持つ しっかり赤ちゃんを正しく抱く方法が知りたい

赤ちゃんとはどういうものであるかに関連した内容

鶏 切る 過程

鶏を捌く流れについて知りたい

皮付きの鶏肉の切り方や料理法に関連した内容

ビル 建つ 流れ

ビルが建設開始されるまでの契約等の流れを知りたい

家や住宅の工事の過程に関連した内容

お茶 煎れる コツ

抹茶をうまく点てる方法について知りたい

緑茶・紅茶を煎れることに関連した内容

野菜 売る 流れ野菜が出荷されて各地に送り出される流れを知りたい

野菜をどうすれば売れるかに関する内容

神 バカにする 行動

神を侮辱する行動とはどのようなものか知りたい“バカ” と “神” という語を含む書籍に関する内容

手 しびれる 原理 寒さ

寒い時になぜ手がかじかむのかを知りたい

末梢血行障害などの病気に関する内容

ペンキ 色落ち 原理

ペンキがなぜ色褪せるのか知りたい色褪せではなく，ペンキが剥がれることに関する内容

は「牛乳パック本体が製造される過程が知りたい」である．上グの高順位に存在する場合に MRR@k の値は 1 に近づく．

記ランキングのうち，“牛乳パック 製造 方法” および “牛乳パッContain@k は，正解クエリの順位によらない尺度であり，上ク 生産 方法” というクエリからはこの意図に適合する検索結位 k 件以内に正解を 1 個でも含む評価クエリの割合を評価す果が得られるため，第 1 の評価観点ではこれら 2 つのクエリがる．Contain@k の具体的な定義式は，Q を評価クエリ集合と正解とみなされる．また，“牛乳パック 作る 方法” という初期した時に以下で表される．

クエリからは，上述の本来の意図に加えて，「牛乳パックで何かContain@k =を作成すること」という検索意図も考えられる．上記に列挙したクエリ変換候補の場合，“牛乳パック 製造 方法” および “牛乳パック 生産 方法”」から前者，“牛乳パック 工作 方法” から
後者の意図に関する適合結果を得ることができる．そのため，
第 2 の評価観点では，これら 3 つのクエリが正解とみなされる．
一方，“牛乳パック 冷蔵 方法”，“牛乳パック 蒸す 方法”，“牛乳パック 切り取る 方法”，および “牛乳パック 燃え尽きる 方法” といったクエリ変換については，初期クエリとは異なる検索結果が得られるが，それらはクエリに関連する検索意図とは言えないため，不正解とみなす．評価実験では，これらのクエ
リの正解判定（適合および不適合の 2 値）を人手で行った．

4. 3 評 価 尺 度
各手法によって生成されたクエリ変換候補のランキングの評

1 ∑
E(q)
|Q| q∈Q(5)

ここで．E(q) は評価クエリ q に対する上位 k 件のランキング
中に 1 個でも正解が含まれる場合に 1 を，それ以外の場合に 0を返す関数である．

4. 3. 2 意図網羅性
初期クエリから連想可能な複数の検索意図に関する適合性を評価するために，Intent-Coverage@k （意図網羅率）という尺度を用いた．Intent-Coverage@k は，上位 k 件のクエリ変換候補から得られる検索結果の中に，初期クエリから連想可能な検索意図に適合するものがどの程度存在するかを評価する．具体
的には，Q を評価クエリ集合とした時に，Intent-Coverage@kを次式で定義する．

価に用いた尺度について述べる．

Intent-Coverage@k =4. 3. 1 想定意図適合性

1 ∑ T(q)|Q| q∈Q Iq(6)

初期クエリの本来の検索意図に関する適合性を評価するため

ここで，T(q) は評価クエリ q に対する上位 k 件のランキングに，MRR@k （平均逆順位）および Contain@k という 2 種類中に含まれる正解意図の数を返す関数である．また，Iq は q かの尺度を用いた．

ら連想可能な検索意図数であり，評価対象の 3 種類の手法の出

MRR@k は，上位 k 件のランキングの中で正解クエリの順位を考慮した評価尺度である．Q を評価クエリ集合とすると，

MRR@k の計算式は以下で定義される．
MRR@k =1 ∑RR(q)|Q| q∈Q

力結果によってカバーされた検索意図の総数としてその値を計算した．
なお，MRR@k ，Contain@k ，Intent-Coverage@k ともに，手法がクエリ推薦を 1 件も出力しなかった場合は値を 0 として(4)各尺度の値を計算した．

4. 4 実 験 結 果
ここで，RR(q) は評価クエリ q のクエリ変換候補のランキング

本節では，提案手法（格フレーム手法と Web 検索手法）おの上位 k 件の中で最初に出現する正解クエリの順位の逆数としよびベースライン手法によるクエリ変換の実験結果を報告する．

て計算される．上位 k 件中に正解クエリが存在しない場合は，4. 4. 1 想定意図適合性に関する結果

RR(q) = 0 とする．多くの評価クエリで正解クエリがランキン各手法によるクエリ変換候補のランキングを，4.3.1 節で述表 2 想定意図適合性に関する評価結果

つとして，動作キーワードの変換候補の過剰な取得によるノイ変換候補の取得リソース
ベースライン

格フレーム

Web 検索Contain@10

0.30

0.38

0.76

MRR@10

0.13

0.18

0.38

ズ混入が考えられる．格フレーム手法では，目的キーワードに関する格フレームが記録されていれば，正解となる動作キー
ワードが変換候補として得られる可能性は高い．しかし，動作
キーワードの変換候補の有用性スコアを計算する際に，格フレーム手法では大量の変換候補が取得できてしまうため，ノイ

表 3 意図網羅性に関する評価結果
変換候補の取得リソース
ベースライン 格フレーム

IntentCoverage@10

0.42

ズが正解である変換候補より高いスコアを獲得してしまうこと

Web 検索があると考えられます．これは表 4，5 に含まれるすべての評

0.67

価クエリついて言える．また，格フレームの適用可能性も大き0.42

な要因である．格フレーム手法は，目的キーワードが複合語でべた想定意図適合性に基づき，MRR@10 と Contain@10 を用ある場合，格フレーム中に記録が存在せず，変換候補を取得す

いて評価した．その結果を表 2 に示す．

ることができない．従って，クエリ “牛乳パック 作る 方法” に両方の評価尺度について，提案手法の 1 つである Web 検索手法が最も高い精度を獲得した．表 2 中の Web 検索手法に関対する目的キーワード “牛乳パック” に関しては，格フレーム
手法は変換候補を取得することができない．

する Contain@10 の値は，全 13 件の評価クエリのうち 10 件に次に，Web 検索手法が有効に働いた要因について述べる．

ついて，同手法が出力した上位 10 件のランキングの中に適切Web 検索手法では，Web 上で目的キーワードに関連の強い動なクエリ変換候補が含まれていたことを意味している．また，

作キーワードの変換候補を取得している．また格フレーム手法

MRR@10 の値から，Web 検索手法は平均すると第 2 位から第と違い，動作キーワードの変換候補の取得数が制限されている．

3 位に正解クエリを含むクエリ変換候補のランキングを出力す

これより，取得した変換候補の中に含まれるノイズが少なった

るが分かる．Web 検索手法の次に高い精度を得たのは，格フことが考えられる．そのため表 4 より，“神 冒涜 行動” や “手レーム手法であった．ベースライン手法の精度は，平均すると

悴む 原因 寒さ” という正解を出力している．一方，格フレー

格フレーム手法をやや下回る程度であり，評価クエリの半数以ム手法では，動作キーワードの変換候補として “冒涜” や “悴上については適切なクエリ変換候補が得られなかった．

む” を取得していたが，“復活” や “感じ取る” といったノイズ

4. 4. 2 意図網羅性に関する結果が高い値を獲得してしまい，正解クエリが出力上位 10 件に現

次に，4.3.2 節で述べた意図網羅性に関する評価尺度である

れなかった．

Intent-Coverage@10 を用いて，各手法によるクエリ変換候補のランキングを評価した．その結果を表 3 に示す．

最後に，提案手法の限界点と課題について述べる．格フレー
ム手法よりも精度の高かった Web 検索手法においても，正解

意図網羅性についても，4.4.1 節の結果と同様に，提案手法のとなる変換候補が取得できていないケースがいくつか存在した．

1 つである Web 検索手法が最も高い精度を獲得した．表 3 中の例えば，表 5 に示すように，“牛乳パック 作る 方法” や “ペンWeb 検索手法に関する Intent-Coverage@10 の結果は，同手法

キ 色落ち 原因” といったクエリに対しては提案手法は正解となを用いることで，初期クエリから連想可能な全ての検索意図のる変換候補を Web 検索結果から得ることができなかった．まうち平均 6 割以上をカバーするクエリ変換候補を取得可能であた，“牛乳パック 作る 方法” のクエリでは，「工作」や「リサイることを示している．もう 1 つの提案手法である格フレーム手

クル」というトピックが Web 上のページの大半を占め，有用な法については，ベースライン手法の同等の精度を獲得するにと変換候補を取得できなかった．これらの課題として，提案手法

どまった．これらの手法が出力したクエリ変換候補によってカの精度を向上するためは，ノイズを除去するために有用性スコバーされる検索意図は，初期クエリから連想可能な全ての検索アの精度を向上することと，正解となる動作キーワードの変換

意図の半数弱であった．

候補を確実に取得するための手法を実現することが必要である．

4. 5 考察

本節では，前節で報告した実験結果を基に，提案手法の有効性および限界点に関する考察を行う．

5. まとめと今後の課題
本研究では，動作を表す語を含むクエリを動詞クエリと定義

前節の実験結果から，提案手法の 1 つである Web 検索手法

した．この動詞クエリに対して，クエリに含まれるキーワードのクエリ変換精度が最も高いという結果が得られた．手法ごと間の関係性を推定し，それに基づき検索意図をより適切に表現の実際のクエリ変換について，提案手法が有効に働いたものをしたキーワードを発見することで，クエリを生成する手法を提表 4，有効に働かなかったものを表 5 に示した．本節ではまず，案した．提案手法では，クエリに含まれる動作キーワードと，

以下の 2 点に焦点をあて議論する．

ユーザが知りたい情報の中心となる目的キーワードとの関係性（ 1 ） 格フレーム手法が有効に働かなかった要因を，目的キーワードが “目的語”，“主語”，“手段” のいずれか（ 2 ） Web 検索手法が有効に働いた要因であるとして，それを満たすものがそれぞれ助詞の「を」，「が，まず，格フレーム手法が有効に働かなかった要因について述は」，「で」であると考え，Web 検索を用いてその関係性を求めべる．格フレーム手法は十分量の動作キーワードの変換候補のた．得られた関係性を基に，動作キーワードの変換候補を格フ取得が可能である．格フレーム手法の精度が低かった要因の 1

レームおよび Web 検索を利用して取得した．変換候補と目的

表 4 提案手法が有効に働いた例
変換候補の取得リソース
初期クエリ

ベースライン神 バカにする 行動

手 しびれる 原因 寒さ

格フレーム

Web 検索1. 行動するバカ神 復活 行動

神 倒せる 行動

2. バカな行動

神 感じ取る 行動

神 ほめる 行動

3. バカ行動力

神 踊る 行動

神 討てる 行動

4. 集団行動バカ

神 発見 行動神 冒涜 行動

5. バカ行動

神 畏怖 行動

神 恨む 行動

1. 寒い手がしびれる

手 繋ぐ 原因 寒さ

手 はなせる 原因 寒さ

2. 手がしびれる原因

手 乾く 原因 寒さ

手 よごれる 原因 寒さ

3. 腕がしびれる原因

手 絡まる 原因 寒さ

手 むくむ 原因 寒さ

4. 寒さ手がしびれる

手 差し出す 原因 寒さ 手 悴む 原因 寒さ

5. 寒くて手がしびれる 手 突っ張る 原因 寒さ 手 冷える 原因 寒さ

表5

提案手法が有効に働かなかった例
変換候補の取得リソース

初期クエリ

ペンキ 色落ち 原理

牛乳パック 作る 方法

ベースライン

格フレーム

Web 検索1. ペンキとは

ペンキ 剥げる 原理

ペンキ 剥げる 原理

2. 蛍光塗料原理

ペンキ 塗れる 原理

ペンキ 塗れる 原理

3. 夜光塗料原理

ペンキ 剥がれる 原理

ペンキ 剥がれる 原理

4. 蓄光塗料原理

ペンキ 塗り替える 原理 ペンキ 撥ね 原理

5. 放熱塗料原理

ペンキ 垂れる 原理–

2. 牛乳パックで作るイス–

牛乳パック のばす 方法

3. 牛乳パック作る–

牛乳パック 作れる 方法

4. 牛乳パック作り方–

牛乳パック 遊ぶ 方法

5. 牛乳パック 布 貼り方–

牛乳パック リサイクル 方法

キーワードの共起度・変換候補と初期クエリの動作キーワードの類似度の 2 つに基づきランキングし，クエリを生成して提示

[2]

した．
また本稿では，ベースラインとして Google のクエリ推薦を用いて評価実験を行った．評価実験の結果，ベースラインを含[3]めた各手法の結果について分析し，その結果の要因に関して考察した．動詞間の類似度を正しく計算することの困難性を確認[4]

し，その原因について考察した．
本研究の課題としては，正解となる動作キーワードの変換候
補を確実に取得するための手法の確立と，取得した動作キー[5]

ワードの変換候補の有用性スコアの計算が挙げられる．正解と[6]なる動作キーワードの変換候補を確実に取得するための手法の確立については，そもそも正解となる変換候補を取得できてい[7]ない問題があった．取得した動作キーワードの変換候補の有用性スコアの計算については，本実験の指標ではノイズに対応しているとは言えず，正解である変換候補を取得できているにも関わらず，精度が上がらない結果になった．

[8]
[9]

今後の展望としては，まず実験を実施して発見された課題を改善することが考えられる．また，より多くのテストデータを対象に実験を行い，本手法の有用性を検証する予定である．

[10]
[11]

謝辞 本研究の一部は，文科省科研費基盤 (A)「多元的検索要求に対応できるオンラインデータマイニング検索方式の研[12]究」（15H01718，研究代表者：田中克己）によるものです．ここに記して謝意を表します．
文

ペンキ 乾く 原理

1. 牛乳パックで作る椅子

[13]

献

[1] D.Bollegala, Y.Matsuo, and M.Ishizuka. Measuring semantic similarity between words using web search engines. In

牛乳パック 工作 方法

Proceedings of the 16th International World Wide Web
Conference, pages 757–766, 2007.
R. Jones, B. Rey, O. Madani, and W. Greiner. Generating
Query Substitutions. In Proceedings of the 15th International Conference on World Wide Web, WWW ’06, pages
387–396, New York, NY, USA, 2006. ACM.
H. Ma, M. R.Lyu, and I. King. Diversifying query suggestion results. In Proceedings of the 24th AAAI Conferenceon Artificial Intelligence, pages 1399–1404, 2010.
R.Kraft and J.Zien. Mining anchor text for query refinement. In Proceedings of the 13th international conferenceon World Wide Web, pages 666–674, 2004.
河原大輔, 黒橋禎夫. 高性能計算環境を用いた Web からの大規
模格フレーム構築. 情報処理学会 自然言語処理研究会, 2006.
金子恭史, 中村聡史, 大島裕明, 田中克己. 緩和度付き検索語の意
味関連分析による検索意図推定とそのクエリ入力インタフェース. 第 19 回データ工学ワークショップ (DEWS2008),B7–2, 2008.
金子恭史, 中村聡史, 田中克己. 緩和検索における各ページの話
題の共起性に基づくランキング手法の提案. 研究報告データベー
スシステム（DBS）,2009-DBS-149, 2009.
山口雅史, 大島裕明, 小山聡, 田中克己. サーチエンジンのクエリログを利用した同位語の発見. DBSJ Letters,5,2, 2006.
川上高志, 鈴木寿. 決定リストを利用した単語間の類似度計算法. 情報処理学会研究報告情報学基礎, 2006.
相澤 彰子. 大規模テキストコーパスを用いた語の類似度計算に関する考察. 情報処理学会論文誌, 2008.
大島裕明, 小山聡, 田中克己. Web 検索エンジンのインデックスを用いた同位語とそのコンテキストの発見. 情報処理学会論文
誌．データベース, 2006.
田馳, 手塚太郎, 小山聡, 田島敬史, 田中克己. 質問キーワードの意味的関連と近接性に着目したウェブ検索の精度改善. 第 17 回
データ工学ワークショップ (DEWS2006),5A–o1, 2006.
野田武史, 大島裕明, 小山聡, 田島敬史, 田中克己. 主題語からの話題語自動抽出とこれに基づく Web 情報検索. 情報処理学
会研究報告．データベースシステム研究会報告,2006-DBS-149,
2006.