DEIM2020 C2-5(day1 p16)

商品検索におけるゼロマッチ解消のためのデータセット構築の検討
雨宮 佑基†

真鍋 知博††

藤田 澄男††

酒井 哲也†† 早稲田大学基幹理工学研究科情報理工・情報通信専攻 〒 169–8555 東京都新宿区大久保 3-4-1†† ヤフー株式会社 〒 102–8282 東京都千代田区紀尾井町 1-3 東京ガーデンテラス紀尾井町 紀尾井タワー
E-mail: yukiamemiya@fuji.waseda.jp, {tomanabe, sufujita}@yahoo-corp.jp, tetsuyasakai@acm.org
あらましYahoo!ショッピングなどの E コマースサイトの普及により，誰もがオンラインで興味のある商品や購入したい商品を検索することができるようになった．しかし，ユーザーが商品検索エンジンに適切なクエリを入力できずヒットした商品数がゼロの状況 (ゼロマッチ) が起こってしまうと，ユーザーの購買意欲減退，サイトの販売機会損失につながる．そこで，ゼロマッチを回避するために，商品検索エンジン側でゼロマッチクエリを適切なクエリに書き換えることが望ましいが，ゼロマッチの原因は様々であり，適切な書き換え方法もこれに依存する．そこで本研究では，
まず実際のゼロマッチクエリの分析によりこれらを適切に書き換える方法を (1) 単語削除，(2) 単語置換，(3) 完全な書き換え，(4) 誤り修正，(5) その他，の 5 つに類型化した．さらに，クラウドソーシングにより各ゼロマッチクエリに適した書き換え方法の類型を付与し，ゼロマッチクエリと書き換え方法の類型とのペアからなるデータセットを構築した．最後に，構築したデータセットと機械学習モデルに基づく分類器を用いてゼロマッチクエリの分類を行った．
キーワード 情報検索，E コマース，ゼロマッチクエリ，データセット
なってしまう原因に依存するため，様々である．例えば，条件

1. は じ め にを絞り込みすぎたクエリに対しては，その絞り込みを緩和する

Yahoo!ショッピングや Amazon，楽天市場といった E コマー

ために，検索クエリ中の不要な単語を削除する手法が適していスサイトを利用するユーザーの数は年々増加傾向にあり，世界る．一方，入力誤りをしてしまったクエリに対しては，スペルのユーザーの 67%が月に一回以上オンラインで商品を購入して修正をおこなう手法が効果的である．このように，どのようないる．このことは，2019 年に世界的なコンサルティングファー

ゼロマッチクエリに対してどういった手法を適用するのが最適ムであるプライスウォーターハウスクーパース (PwC) の調査

なのか，すなわち類型化された書き換え方法の中から最も適し（注 1）．ユーザーが E コマースサイトで商品ている方法を自動判別するシステムを構築することは，E コを検索するときは，まず商品検索ページで検索クエリ，つまりマース検索エンジンの精度向上のために不可欠である．しかし，購入意図を反映した検索キーワードを入力する．しかし，入力そのような研究は我々の知る限りまだ存在しない．そこで本研したクエリが適切でないと，商品の検索が不成功に終わり，検究では，まず実際のゼロマッチクエリの分析により，これらを索結果商品数がゼロの状況 (ゼロマッチ) に陥ってしまう．こ

適切に書き換える方法を類型化する．さらに，あるゼロマッチ

れは「検索クエリ中の単語をスペルミスしてしまう」や「色やクエリが与えられたときに，このような自動判別システムを構形のような条件を絞り込みすぎてしまう」といったことが原因

築する上で必要な，ゼロマッチクエリと書き換え方法の類型とであることが多い．例えば，Yahoo!ショッピングサイトで条件のペアからなるデータセットを構築する．書き換え方法の類型を絞り込みすぎたクエリである「テレビ台 西洋アンティーク

は，(1) 単語削除，(2) 単語置換，(3) 完全な書き換え，(4) 誤中古」を検索すると，図 1 で示すように，「“テレビ台 西洋アン

り修正，(5) その他，とし，クラウドソーシングにより各ゼロ

ティーク 中古” に一致する商品は見つかりませんでした」と表

マッチクエリに付与する．最後に，構築したデータセットと機示される．多くのユーザーは，こういった状況に遭遇すると，

械学習モデルに基づく分類器を用いてゼロマッチクエリを分類

購買意欲を失い，そのサイトから離脱してしまう．そしてこのする．

が示す通りである．

ことは，E コマースサイト側の販売機会の損失につながってしまう．そこで，ゼロマッチを回避するためには，1 つでも商品検索結果が返ってくるようにユーザーによって入力された検索
クエリを検索エンジン側で適切に書き換え，その書き換えられたクエリで再度商品を検索するシステムの構築が必要である．
ゼロマッチクエリを適切に書き換える方法は，ゼロマッチに（注 1）：https://www.pwc.com/gx/en/consumer-markets/consumer-insights-

survey/2019/report.pdf

図1

商品検索におけるゼロマッチクエリの例

2. 関 連 研 究

一方，Jones ら [8] は，ユーザーが入力した検索クエリをフレーズごとに分割し，各フレーズを置換する手法を提案してい2. 1 ゼロマッチクエリと書き換え方法

る．また彼らは，クエリの書き換えは機械翻訳問題と見なすこSingh ら [1] は，E コマース検索におけるゼロマッチという問とができ，彼らのクエリ置換アルゴリズムを改善するには機械

題に焦点を当て，ゼロマッチクエリの特徴やゼロマッチが起き翻訳技術からインスピレーションを得ることが必要であると述る原因，また実際にゼロマッチが起きたときにユーザーがどのべている．そのため，機械翻訳技術を応用してスペルミスを修ように行動するかなどの分析を行なっている．彼らはゼロマッ

正する研究が Hasan ら [9] や Zhou ら [10] によって行われてチの原因として，「ゼロマッチクエリは非ゼロマッチクエリに比いる．

べて冗長であること」や「ユーザーと E コマースサイトが使用する語彙が違うこと」などを挙げている．
上記のようなゼロマッチを解消するために，ゼロマッチクエ
リの書き換えに取り組んでいる先行研究も存在する．例えば

本研究では，これらのクエリ書き換え方法に関する先行研究から得た知見を活用し，ゼロマッチクエリを書き換える方法を類型化する．

2. 3 クエリの類型化・クエリ遷移の類型化

Parikh ら [2] は，オンラインでの検索行動や商品購入活動を含

ウェブ検索におけるクエリあるいはクエリ遷移の類型化に関む高品質のトランザクションデータを使用して，クエリ間のセする先行研究には，以下のようなものがある．Broder [11] は，

マンティックな関係を推測する Semantic Query Network を構

ウェブ検索を行うユーザーの検索意図に基づいて，ウェブ検索に築した．彼らはこのネットワークをクエリの書き換えに利用すおけるクエリは Navigational ，Informational ，Transactional

ることでゼロマッチの解消を試みている．一方で Singh ら [3]の 3 種類に分類することができると述べている．また Huang

は，ユーザーによって入力されたクエリ中の単語を削除する

ら [12] は，ウェブ検索におけるクエリ書き換え方法に関するQuery Relaxation と，書き換えの正確性を向上させるために先行研究の結果をもとに，独自のクエリ類型を構築した．そ時間ベースの適合性フィードバックを利用したクエリ書き換えのクエリ類型の中には，remove words や word substitution ，システムを構築した．さらに Tan ら [4] は，ユーザーが入力しspelling correction など 13 種類のクエリ書き換え方法が含まれた検索クエリ中の冗長な単語を削除する単語削除アルゴリズムている．

と，ユーザーの行動ログと言語モデルによって適切な単語を生一方で，E コマース検索における検索タスク・検索行動に関成する単語置換アルゴリズムを利用することで，ユーザーが持する研究があまり行われていないという課題に挑戦するため，

つ本来の検索意図を変更することなく，検索結果としての商品

Sondhi ら [13] は E コマース検索エンジンの検索ログを分析し，数を増やすクエリ書き換えシステムを提案した．

ユーザーの検索行動に基づいて検索クエリを 5 つのカテゴリにE コマース上でゼロマッチが起こる原因の一つである，ユー分類した．このカテゴリ分けにより，E コマース検索エンジン

ザーと E コマースサイトの間で使用する語彙が違う（Vocab-を利用するユーザーの検索行動を把握するだけでなく，個人にulary Gap）という問題の解決に向けた研究も行われている．

関連性の高い検索結果を提供することで，ユーザーの検索を最Maji ら [5] の研究では，Vocabulary Gap につながるクエリ

適化することにつながるという．また，Manchanda ら [6] にを，それと意味的に類似し，頻度とクリックスルー率が高い

よって，E コマース検索におけるクエリ遷移パターンは，5 つWell Performing クエリに書き換える手法を提案した．またのカテゴリに分けられることが示されている．

Manchanda ら [6] は，クエリに含まれる，検索のために重要

しかし，ゼロマッチクエリを類型化することを目的とした研な用語を特定し，より検索意図を表現する単語を追加すること

究は，我々の知る限りまだ存在しない．そのため本研究は，ゼで，ユーザーの商品検索エクスペリエンスを改善した．

ロマッチクエリの書き換え方法を類型化する初めての試みで

しかしこれらの先行研究は，ゼロマッチが生じる原因を 1 つあるいは 2 つ挙げ，その原因に対抗する解決策の提案を行っているのみである．そしてゼロマッチクエリの原因にはどのような種類があり，その原因に対してどのようなクエリ書き換え方

ある．

3. ゼロマッチクエリ書き換え方法の類型化
3. 1 ゼロマッチクエリの分析法が適しているかについては論じていない．しかし本研究では，

ゼロマッチクエリを適切に書き換える方法を類型化するためゼロマッチクエリを分析し，クエリの書き換え方法を類型化すに，まず Yahoo!ショッピング（注 2）における 2ヶ月分の検索クエることで，網羅的にゼロマッチを解消することを試みる．

リログの一部を使用して，ゼロマッチクエリの分析を行った．

2. 2 その他のクエリ書き換え方法

このとき，ゼロマッチクエリの分析に利用した検索クエリログ

ゼロマッチ解消を目的とはしていないが，E コマース検索エ

は，検索エンジンによるクエリサジェスチョンをユーザーがクンジンの検索精度を向上させるために，多くの研究者によってリックした場合や機械的と判断されるアクセスがあった場合な

クエリ書き換え方法の研究が行われている．

どを除き，ユーザーによって手入力されたものに限定した．

Yang ら [7] によれば，単語の言語的特徴・削除履歴・クエリ

使用した検索クエリログに含まれる全クエリのうち，ゼロの文脈といった 3 種類の特徴によって検索クエリ内の単語を表

マッチクエリが占める割合は 6.7%であった．一方，商品検索

現し，ユーザーの検索ニーズに最も適合していない単語を削除することで，ユーザーの検索成功率の向上につながったという．

（注 2）：https://shopping.yahoo.co.jp/

表 1 クエリ書き換え方法のタイプ分類
本研究

Parikh [2]Singh [3]，Yang [7]Query Relaxation

Tan [4]

Jones [8]Hasan [9]，Zhou [10]Huang [12]Query Term Dropping––

Remove words

単語削除

–

単語置換

Semantic Query Network–

Query Term Replacement

完全な書き換え

–

–

–

誤り修正

–

–

–

–

Spelling Correction

その他

–

–

–

–

–

Query Term Deletion–

Phrase Substitutions–

Word Substitution
Spelling Correction
Word Reorder
Add Words
URL Strippingを行った全ユーザー数のうち，ゼロマッチを経験したユーザーのため，ゼロマッチという問題を解決するためには，ユーザーの割合は 22.3%であった．このことから，多くのユーザーが少によって入力されたクエリに含まれる誤りを修正する方法が必なくとも 1 回はゼロマッチを経験していることが分かる．

要である．

ユーザー 1 人当たりが発するクエリ数を比較すると，ゼロ

3. 2 クエリ書き換え方法の類型化

マッチを経験したユーザーは，ゼロマッチを経験しなかった

ここで，ゼロマッチクエリの書き換え方法を類型化するため，ユーザーに比べて，平均で約 1/4 のクエリしか発していなかっゼロマッチを回避するために書き換えたクエリ，すなわち書きた．これは，ユーザーは一度ゼロマッチを経験すると，そのゼ換えクエリへのゼロマッチクエリの遷移を以下のように定義すロマッチクエリを書き換えることを諦め，サイトから離脱してる．あるゼロマッチクエリ q が与えられ，同ユーザーセッショ

しまうことを示している．そしてその結果，ゼロマッチを経験

ン内で書き換えクエリ q ′ が生成されたとき，そのクエリ遷移

したユーザーは商品の購入に至らないことが多い．このことは，

は q 7→ q ′ と表すことができる．ここで，例えば英語で書かれゼロマッチクエリを含まないセッション全体のうち，ゼロマッ

たクエリは，スペースによって区切ることができるため，単語チを経験しなかったユーザーが最終的に商品を購入した割合と，として見分けることが容易である．しかし，日本語で書かれたゼロマッチクエリを含むセッション全体のうち，ゼロマッチをクエリに含まれる単語をどう定義するかは，研究者によって異経験したユーザーが最終的に商品を購入した割合を比較すると，なる．そこで本研究では，形態素解析によってクエリを分割す

前者の方が約 1.4 倍高かったことからも明らかである．ここで，ることでできる形態素のことを「単語」と定義する．

セッションとは検索クエリログをユーザ毎に分割し，同一ユー

以下のように本研究では，3. 1 節の分析結果と，ウェブ検索

ザーによって入力されたクエリで構成されるものを意味する．

あるいは E コマース検索におけるクエリ書き換え方法の先行研

次に，クエリに含まれる文字数と，単語の出現頻度という観究 [3, 4, 6–10, 12, 14] をもとに，ゼロマッチクエリの書き換え方

点から，ゼロマッチクエリと非ゼロマッチクエリを比較する．

法の類型を提案する．また，我々が提案する書き換え方法の類

ゼロマッチクエリの文字数の平均は，非ゼロマッチクエリの文型と先行研究における書き換え方法の対応を示したものを表 1

字数の平均の約 1.3 倍であった．一方，ゼロマッチクエリに含に示す．

まれる単語の出現頻度の平均は，非ゼロマッチクエリに含まれ(1) 単語削除

る単語の出現頻度の平均の 0.85 倍であった．つまり，ゼロマッ

書き換えクエリ q ′ は，ゼロマッチクエリ q から任意の数の単チクエリに含まれる単語は非ゼロマッチクエリに含まれる単語語を削除したものである．すなわち，書き換えクエリに含まれよりも出現頻度が低い．これらの分析結果から，ゼロマッチク

る単語は，ゼロマッチクエリに含まれる単語の部分集合である．

エリに対して，クエリに含まれる冗長な部分を削除する方法や，

例： 「スマホグリップ ひよこ」 7→ 「スマホグリップ」

ゼロマッチクエリに含まれる出現頻度の低い単語を非ゼロマッ
チクエリに含まれる出現頻度の高い単語で置き換える方法が有効であると考えられる．
さらに，Yahoo!ショッピングを利用するユーザーの利用経験と，そのユーザーの発するクエリがゼロマッチとなる傾向についても調査した．ここで分析のため，過去 1 年間にわたり(2) 単語置換
ゼロマッチクエリ q に含まれる単語を別の単語で置換すると，書き換えクエリ q ′ が生成される．ただし，q と q ′ の間に少な
くとも 1 つは単語の重なりが見られる．
例： 「カシオ キーボード 脚」 7→ 「カシオ キーボード 台」

Yahoo!ショッピングで商品を購入していないユーザーを，新規(3) 完全な書き換え

ユーザーと定義する．ゼロマッチを経験したユーザーの利用経ゼロマッチクエリ q に含まれる単語を全て別の単語で置換する

験を調べたところ，新規ユーザーによって入力されたクエリがことで，書き換えクエリ q ′ が生成される．
（2）の「単語置換」

ゼロマッチクエリとなる割合は，全ユーザーによって入力されと類似しているが，「完全な書き換え」の場合，q と q ′ の間に単たクエリがゼロマッチクエリとなる割合の約 1.3 倍であった．

語の重なりが 1 つも見られない．

このことから，新規ユーザーが入力するクエリは，ゼロマッチ

例： 「enekeep」 7→ 「乾電池 式 モバイルバッテリー」

クエリになりやすいということが分かる．そして Singh ら [1]の調査によれば，新規ユーザーのクエリがゼロマッチとなってしまうのは，スペルミスに起因していることが多いという．そ(4) 誤り修正
以下のように，ゼロマッチクエリ q に明らかな入力ミスあるいは不完全な単語が含まれている場合，誤り修正がおこなわれ，

図 2 クエリペア作成の流れ

その結果書き換えクエリ q ′ が生成される．

ゼロマッチクエリ q の順で発せられているユーザーセッション• スペルミス，タイプミスは除いている．

• 単語間のスペース入れ忘れ

さらに本研究では，一時的に商品の在庫がないことによるゼ• 入力途中で検索ボタンを押してしまった

ロマッチを考慮しないため，抽出されたユーザーセッションに

例： 「サンフローン 除草剤」 7→ 「サンフーロン 除草剤」

含まれるゼロマッチクエリ q は，利用する検索クエリログの期

例： 「edfir」 7→ 「edf ir」

間内で常にゼロマッチになるという条件を課す．また，クエリ

例： 「dr.va」 7→ 「df.vape」を発したユーザーの個人情報を保護するため，ゼロマッチクエ(5) その他
ゼロマッチクエリ q から書き換えクエリ q ′ への書き換え方法
が，上記 4 つの書き換え方法のいずれにも該当しない．例えば，
ゼロマッチクエリ q に任意の数の単語を追加することで書き換
えクエリ q ′ になる「単語付加」や，ゼロマッチクエリ q に含まれている単語の順番を変えることで書き換えクエリ q ′ が生成される「単語の順序変更」が挙げられる．

4. 評 価 実 験
4. 1 クエリペアの作成
ゼロマッチクエリと書き換え方法の類型とのペアからなる
データセットを構築する際，3. 1 節と同様に，Yahoo!ショッピ
ングにおける 2ヶ月分の検索クエリログを用いる．
まず，データセットを構築する上で必要な，ゼロマッチクエリ

q と書き換えクエリ q ′ が要素となるクエリペアを作成する．このクエリペアを作成する過程を図 2 に示す．クエリペア作成の第一段階として，検索クエリログをユーザ毎に分割し，同一ユー
ザーによって入力されたクエリで構成されるユーザーセッショ
ンを作成する．ここで，長時間に渡るユーザーセッションでは検索意図が変わる可能性があるため，Liu ら [15] や Madvariya
ら [16] の先行研究を参考に，ユーザーセッション内の最初のク
エリが発せられてから 30 分経過したら，ユーザーセッションを打ち切ることにした．すなわち，同一ユーザーによって発せられたクエリであっても，30 分を超えて発せられたクエリは別のユーザーセッションとして扱う．
続いて，作成したユーザーセッションの中から，ゼロマッチ
クエリ q と書き換えクエリ q ′ の両方を含むユーザセッションを抽出する．ここで，書き換えクエリ q ′ は，ゼロマッチが生じたユーザーセッション内で，ユーザーが商品を購入したときに発したクエリと定義する．ただし，本研究ではゼロマッチクエ

リ q と書き換えクエリ q ′ は，ともに利用する検索クエリログの期間内で少なくとも 2 名の異なるユーザーから発せられるク
エリでなければならないという条件を課す．
このようにして作成されたユーザーセッションの中から，ゼロマッチクエリ q と書き換えクエリ q ′ のみを抽出し，クエリペ
アを作成する．ここで，ユーザーセッション内でゼロマッチク
エリが複数回発生した場合，セッション内で最初にゼロマッチとなったクエリをゼロマッチクエリ q として扱う．同様に，書き換えクエリも複数回発生した場合，ゼロマッチクエリに最も近い時間に生成されたものを書き換えクエリ q ′ とする．

4. 2 検索意図の判定
本研究では，ゼロマッチクエリ q と書き換えクエリ q ′ の検索意図が同じであるクエリペアのみを扱う．これは，例えば「無洗米 あきたこまち 7→ ボディソープ」のように，完全に検索意図が変化している場合，ゼロマッチクエリを書き換えることは極めて難しいからである．一方，ゼロマッチクエリ q と書
き換えクエリ q ′ の検索意図が同じかどうかを判定するために，Yahoo!クラウドソーシング（注 3）を使用し，作業者に判定を依頼した．Yahoo!クラウドソーシングを用いて検索意図の判定作業を行う際に，作業者に表示した設問画面を図 3 に示す．
検索意図が同じであるか否かを判定する基準を統一するため，
本研究では，ゼロマッチクエリ q により商品検索結果ページ 1が取得され，書き換えクエリ q ′ により商品検索結果ページ 2 が取得された場合の想定を作業者に依頼し，「商品検索結果ページ

1 および 2 に共通の商品が含まれて欲しい」と作業者が回答した場合，クエリペアの検索意図は同じであると見なす一方，「商
品検索結果ページ 1 および 2 に，共通の商品が含まれて欲しくない」と作業者が回答した場合，クエリペアの検索意図は異なると見なす．本実験では，1 クエリペアあたり 3 名の作業者に判定を依頼し，2 名以上が一致した意見を採用して，クエリペ

リの書き換えに焦点を当てているため，書き換えクエリ q ′ →（注 3）：https://crowdsourcing.yahoo.co.jp/

図4

ゼロマッチクエリ書き換え方法の判定作業の設問画面

作業者にはゼロマッチクエリ q と書き換えクエリ q ′ の両方
図 3 検索意図判定作業の設問画面

アに含まれるゼロマッチクエリ q と書き換えクエリ q ′ の検索を見せ，「q をどのように書き換えたら q ′ になるか」という観点から，3. 2 節で定義された 5 つの類型うち，最もその類型の特徴を示していると考えらえれるものを 1 つ選択することを依頼

意図が同じであるか否かを決定する．ここで，単語区切りの解した．その際，1 クエリペアあたり 5 名の作業者に判定を依頼

釈の違いにより，作業者間で意見が分かれてしまうことを避けし，3 名以上が一致した意見を採用して，クエリペアに含まれるため，MeCab（注 4）を用いてゼロマッチクエリ q と書き換えク

るゼロマッチクエリ q の書き換え方法の類型を決定した．

エリ q ′ をそれぞれ形態素解析し，スペースで区切ったものを本研究では，4. 2 節でゼロマッチクエリ q とそれを書き換え作業者に提示した．辞書データには mecab-ipadic-NEologd（注 5）

たクエリ q ′ の検索意図が同じであると判定された 1,922 件のクを利用した．

エリペアから，作業者の 3 名以上の意見が一致しなかった 392

3, 438 件のクエリペアに対しクラウドソーシングによる判定

件のクエリペアを除いた 1,530 件を研究対象とした．そして，を行ったところ，ゼロマッチクエリ q とそれを書き換えたクエ

これらのクエリペアに含まれる各ゼロマッチクエリに書き換え

リ q ′ の検索意図が同じであったものは 1, 922 件であった．

方法の類型を付与し，ゼロマッチクエリと書き換え方法の類型

4. 3 クエリ書き換え方法の判定とのペアからなるデータセットを構築した．このデータセット

次に，4. 2 節で同じ検索意図を持つと判定されたクエリペアの内訳を表 2 に示す．

について，3. 2 節において定義された類型のうち，どの類型に該当するかの判定を，再び Yahoo!クラウドソーシングを用いて作業者に依頼した．このクエリ書き換え方法の類型を判定する
際に，作業者に提示した設問画面を図 4 に示す．図 4 に示すよ
うに，4. 2 節と同様に単語の区切りを明示するため，ゼロマッ
チクエリ q と書き換えクエリ q ′ をそれぞれ MeCab によって形態素解析し，スペースで区切ったものを作業者に表示した．
（注 4）：http://taku910.github.io/mecab/（注 5）：https://github.com/neologd/mecab-ipadic-neologd

表 2 構築したデータセットの内訳
類型

ゼロマッチクエリ（件） 割合（%）

単語削除

405

26.5

単語置換

438

28.6

完全な書き換え

261

17.1

誤り修正

404

26.4

その他

22

1.4

5. 考

以上のような検索意図判定タスクの結果に基づき，ゼロマッ

察チクエリ q をどのように書き換えることで，ゼロマッチクエリとならない書き換えクエリ q ′ が生成されるかを理解するため，
再び Yahoo!クラウドソーシングを用いて，作業者に 4. 3 節で述べたようなクエリ書き換え方法の判定タスクを依頼した．
ここで，クエリ書き換え方法判定タスクの実験結果についての考察を行う．表 2 に示すように，「単語削除」「単語置換」「完
全な書き換え」「誤り修正」の 4 つの類型の割合が同程度であり，「その他」の割合が 1.4%と極めて小さい．このことは，ゼロマッチクエリの書き換え方法として，上記 4 つの類型が妥当であるということを示唆している．ここで，上記 4 つの類型以外に主要なゼロマッチクエリ書き換え方法があるかどうかを確

図5

検索意図判定タスクの実験結果認するために，「その他」と判定されたクエリペアについて，作業者によって記述された回答を調査した．その結果，「その他」

ここでは Yahoo!クラウドソーシングを用いた検索意図判定のクエリ書き換え方法として，以下のような 2 種類のクエリ書

タスクの実験結果を考察する．このタスクで作業者が判定した

き換え方法を回答している作業者が多かった．

結果を，「検索意図が同じか否か」と「作業者間で意見が一致し• 単語追加・単語付加

たか否か」という 2 つの観点から分類した結果を図 5 に示す．
図 5 が示すように，全クエリペアのうち 44.1%のクエリペアが例： 「なむ あみ」 7→ 「なむ あみだ 仏」
例： 「llbeen」 7→ 「llbean トートバッグ」

異なる検索意図を持つと判定された．4. 1 節で述べたように，

これらの例のように，ゼロマッチクエリ q に単語を付加したも本研究では検索意図の変化に備え，予めユーザーセッションをのが書き換えクエリ q ′ であるというクエリペアが観測された．

30 分で打ち切った．それにもかかわらず，約半数のユーザーがしかし，これらのゼロマッチクエリは，入力途中であるにも関ゼロマッチ発生後に検索意図を変更していた．このことは，ゼわらず検索ボタンを押下してしまったことやブランド名のスペ

ロマッチを経験後，たとえサイトから離脱しなかったとしても，

ルミスなどが原因である可能性がある．そのため，ゼロマッチ

約半数のユーザーは今まで検索していた商品を探すことを諦め，クエリに単語を追加することでゼロマッチを解消することがで別の商品検索に移ってしまうということを示唆している．

きたと考えるよりも，「誤り修正」がゼロマッチの解消につな

さらに図 5 から，「検索意図が同じである」あるいは「検索意図は異なる」といういずれの判定になった場合であっても，1クエリペアあたり 3 人の作業者の間で検索意図の判定について見解が異なることが多いことがわかる．そのため，どのようながったと考えるほうが妥当である．

• 書き換えなし・同一クエリ
例： 「ハズキルーペ 最安値」 7→ 「ハズキルーペ 最安値」
これらの例のように，ゼロマッチクエリ q と書き換えクエリ q ′場合に作業者間で意見が分かれたかについて，検索意図が同じが全く同じ文字列であるクエリペアが観測された．しかし，実であると判定された場合とそうでない場合というそれぞれ 2 つ

際にユーザーによって入力されたゼロマッチクエリ q は「ハズの状況において調査を行った．まず，以下のような場合には，

キルーペ最安値」のようにスペースが挿入されていなかった．

複数の作業者が「検索意図は同じである」であると判定したが，本実験では，クラウドソーシングで作業者にクエリペアを提示「検索意図は異なる」と判定する作業者もいることがわかった．

する際，ゼロマッチクエリ q と書き換えクエリ q ′ をそれぞれ• 入力誤りや変換誤りが含まれている場合

MeCab によって形態素解析し，スペースで区切った．そのた

例： 「セザム コンシーラー」 7→ 「ザセム コンシーラー」

め，ユーザーによって入力されるスペースの有無の区別がつか例： 「なちゅリズム」 7→ 「ナチュリズム」

ず，2 つのクエリが同一であり，書き換えが行われていないと• より幅広い情報を得るために単語を削除する場合

判定作業者に判断されたと考えられる．

例： 「iface adidas」 7→ 「iface」

また表 2 から，「単語削除」「単語置換」「誤り修正」に比べ，例： 「業務用スーパー トッポギ」 7→ 「トッポギ」
一方，以下のような場合には，複数の作業者が「検索意図が「完全な書き換え」の割合が少ないことが分かる．このことか
ら，ユーザーはゼロマッチを経験すると，元のクエリを保持し異なる」と判定しても「検索意図が同じである」という意見をながらクエリを書き換える傾向があると考えられる．一方で，持つ作業者がいることがわかった．

「cnr mj-108850」や「つるりんマスター」のようにゼロマッチ• 検索対象は変化しているが，同じ商品カテゴリである場合

クエリが商品の型番や商品名である場合，「完全な書き換え」に

例： 「bmb-102」 7→ 「アンカーモバイルバッテリー」

よってクエリを書き換えるユーザーが多かった．さらに，「グラ

例： 「surisuri 化粧水」 7→ 「emaked まつげ美容液」

ンズレメディ」7→「gran’s remedy」のように文字種を変更し，• ブランド名（店名）7→ 商品 となっている場合
例： 「のらぎや」 7→ 「もんぺ」
例： 「villa lodola」 7→ 「オイルゼロマッチクエリ全体を書き換えることでゼロマッチを解消することができる場合があることも観測された．

ヘアワックス」

4. 3 節で述べたように，本研究では，1 クエリペアあたり 5

名の作業者のうち 3 名以上が一致した意見を採用し，クエリペ

表 3 ベクトル化に利用した特徴量リスト

アに含まれるゼロマッチクエリ q の書き換え方法の類型を決定

言語的特徴量した．しかし，5 名の作業者間の意見が 2 : 1 : 1 : 1 に分かれた

単語数 [18]

ゼロマッチクエリに含まれる単語の総数

場合，例えば 2 名が「単語削除」，別の 1 名が「単語置換」，も文字数（合計）[18]

ゼロマッチクエリに含まれる文字数の総数

文字数（平均）[18]

ゼロマッチクエリに含まれる単語の文字数の平均

文字数（最初の単語）ゼロマッチクエリの 1 単語目の文字数

う 1 名が「完全な書き換え」，さらにもう 1 名が「誤り修正」と判定した場合についても多数決で類型を決定することがで単語の出現頻度

きる．このように作業者間の意見が 2 : 1 : 1 : 1 に分かれたク（平均，最初の単語）

エリペアは 139 件であり，これらをデータセットに含める場合と含めない場合にはそれぞれに利点がある．すなわち，これらのクエリペアをデータセットに含める場合，データセット内のクエリの頻度 [18]

2ヶ月分の検索クエリログ内におけるクエリの出現頻度

品詞の数 [19]ゼロマッチクエリに含まれる名詞の数，形容詞の数

組織名の数 [19]ゼロマッチクエリに含まれる組織名・ブランド名の数
ゼロマッチクエリ全体におけるそれぞれの文字種の割合

文字種の割合

データ数が増えるため，機械学習を用いてゼロマッチクエリを分類する際に有効である．一方，これらのクエリペアを含めな文字種は，漢字，ひらがな，カタカナ，アルファベット，
数字 の 5 種類

文字種の遷移い場合，データセット内に誤ったラベルが付与されたクエリペ
アを含む可能性が低くなるため，ノイズが少ない，つまり信頼2ヶ月分の検索クエリログ内における単語の出現頻度ある文字種からある文字種への遷移の回数（例）漢字 → カタカナユーザーの属性

新規ユーザーの割合

性の高いデータセットを構築することができる．しかし，件数

2ヶ月分の検索クエリログ内で，あるゼロマッチを発した
ユーザー全体における新規ユーザーの割合

が 139 件と少ないため，データセットに与える影響はそれほど大きくないと考えられる．

6. 追 加 実 験リ scikit-learn（注 7）を利用して実装した SVM（SVC），ロジス
ティック回帰，k 近傍法，ナイーブベイズ，決定木，ランダム
フォレスト，XGBoost，LightGBM の 8 つの機械学習モデル

4. 3 節で構築したデータセットを用いてゼロマッチクエリのを用いてゼロマッチクエリを分類した．その分類結果を正解率分類を行う．ただし，本実験では「その他」の類型を除いた 4（Accuracy）で評価した値と，「ランダム」分類器と各分類器のつの類型の分類を目的とする．

ペアに対してランダム化 Tukey HSD 検定 [20] を行った際の p

6. 1 前 処 理

値を図 4 に示す．

まずデータセットに含まれるゼロマッチクエリを 2 種類の手

表 4 に示す通り，機械学習を用いない場合，分類器の正解率法を用いてベクトル化した．一つ目の手法では，ゼロマッチク

は 0.2933 にすぎないが，機械学習モデルを用いた最も精度のエリが持つ言語的特徴量とゼロマッチクエリを発するユーザー

高い分類器は 0.4721 の正解率を示した．さらに，ランダム化の属性から特徴ベクトルの生成を行った．さらにもう一つの手

Tukey HSD 検定を行った結果，ナイーブベイズ以外の機械学

法では，ラベル未付与の大規模コーパスから事前学習した汎用

習モデルを用いた分類器と「ランダム」分類器の差は，有意水

言語モデルである BERT [17]，特に公開されている日本語学習

準 α = 0.05 において統計的に有意であることが確認された．

済み BERT モデル （注 6）を用いてゼロマッチクエリの分散表現

このことから，ゼロマッチクエリの分類タスクに機械学習モデを獲得した．そして，それぞれの手法によってベクトル化されルを適用することは有効であるといえる．しかし，機械学習モ

たゼロマッチクエリと書き換え方法の類型とのペア 1,530 件を，

デルを用いた分類器であっても分類正解率は 50%に満たなかっ

トレーニングデータとテストデータに 9 : 1 の割合で分割する．

た．これは，この分類タスクの難易度が極めて高いということ

なお，汎化性能の高い分類器を得るために，層化 10 分割交差を示唆している．

検証を行った．

さらに，最も正解率が高かった分類器，すなわち特徴量を用

6. 2 特 徴 量

いてベクトル化し，LightGBM モデルを用いた分類器を対象

ここでは 6. 1 節でベクトル化の際に利用した，ゼロマッチクに，各類型の分類難易度と特徴量の重要度について調査した．

エリが持つ言語的特徴量とゼロマッチクエリを発するユーザー

まず分類結果に基づいて各類型の F 値（F-score）を計算するの属性の一覧を表 3 に示す．

と，「単語削除」は 0.4882，「単語置換」は 0.4782，「完全な書き6. 3 ゼロマッチクエリの分類

換え」は 0.2648，「誤り修正」は 0.5325 であった．このことか

10 種類の分類器を用いて，6. 1 節でベクトル化したゼロマッ

ら，類型が「完全な書き換え」であるゼロマッチクエリを正しチクエリを「単語削除」「単語置換」「完全な書き換え」「誤りく分類することは，他の 3 類型に比べて難しいということが分修正」の 4 つの類型に分類した．本研究では，機械学習を用かる．続いて，6. 2 節で示した各特徴量が分類の際にどれだけいない分類器として，全てのテストデータに対して最も学習寄与したかを調べた．その結果，Gini 係数に基づく特徴量重要

データ数の多いクラス，つまり「単語置換」と予測する分類器

度が高い上位 3 つの特徴量は，ゼロマッチクエリの 1 単語目の（以降「最多クラス」と表記する）と，4 つの類型のうち無作出現頻度を表す「単語の出現頻度（最初の単語）」，ゼロマッチ

為に 1 つの類型を選択し予測する分類器（以降「ランダム」とクエリに含まれる全単語の出現頻度の平均を表す「単語の出現

表記する）の 2 種類を利用する．さらに，機械学習ライブラ

頻度（平均）」，ゼロマッチクエリに含まれる文字数の総数を表（注 6）：https://github.com/huggingface/transformers（注 7）：https://scikit-learn.org/stable/

表 4 ゼロマッチクエリの分類結果
分類器

Accuracy
特徴量でベクトル化

Accuracy
日本語 BERT でベクトル化

最多クラス

0.2933 （p = 0.712） –ランダム

0.2400SVM（SVC）

0.4436 （p = 0.001） 0.3866 （p = 0.827）

ロジスティック回帰

0.4237 （p = 0.001） 0.4065 （p ≈ 0）k 近傍法

0.3846 （p = 0.003） 0.4111 （p = 0.049）

ナイーブベイズ0.3222 （p = 0.987） 0.3926 （p = 0.028）

決定木

0.4409 （p = 0.001） 0.3548 （p = 0.003）

ランダムフォレスト

0.4629 （p ≈ 0）0.4416 （p = 0.001）

XGBoost0.4708 （p ≈ 0）0.4377 （p ≈ 0）

LightGBM

0.4721 （p ≈ 0）0.4496 （p ≈ 0）

[3]

–

[4]

[5]

[6]

す「文字数（合計）」であった．
また，ゼロマッチクエリを 6. 2 節で提示した特徴量によってベクトル化した場合と，日本語学習済み BERT モデルによっ[7]てベクトル化した場合の分類精度を比較した．その結果，機械学習モデルを用いた分類器の過半数が，特徴量によってベクト[8]

ル化したときに高い分類精度を示した．

7. 結論と今後の課題[9]

本研究では，ユーザーが商品検索エンジンに適切なクエリを入力できず，ヒットした商品数がゼロの状況， いわゆるゼロ
マッチが生じたときのクエリを分析し，これらゼロマッチクエ[10]

リを適切なクエリに書き換える方法を類型化した．さらに，ゼロマッチを回避するシステムを構築する上で必要となる，ゼロ
マッチクエリおよび書き換え方法の類型とのペアからなるデー
タセットをクラウドソーシングを利用して構築した．そして，

[11]
[12]

構築したデータセットと機械学習モデルに基づく分類器を用いて，ゼロマッチクエリの分類を行った．その結果，ゼロマッチ
クエリの分類タスクにはゼロマッチクエリに含まれる文字数や[13]

単語の出現頻度といった特徴量が有効であるという知見が得られた．しかし，機械学習モデルを用いた分類器であっても分類
正解率は 50%に満たなかった．それは本研究で利用したデー
タセットに含まれるデータ数が 1,508 件と少ないことに起因し[14]ている可能性があるため，今後はさらに分類精度を向上させるためにデータ数を増やすことが不可欠である．その方法の一つとして，今後はユーザーが商品の購入に至ったクエリだけでな[15]

く，ユーザーがゼロマッチ経験後，目的とする商品の閲覧および商品をカートに入れた際に発したクエリもゼロマッチの解消に成功したクエリとして定義することが有効であると考えられ[16]

る．さらに，この分類器を検索エンジンに導入し，自動的にゼロマッチクエリが書き換えられるようにすることで，ゼロマッ[17]

チを回避し，ユーザーの検索行動や満足度の向上，さらに最終
的には E コマースサイトにおける販売機会の損失の阻止につなげることが課題である．
文

[18]

献

[1] Gyanit Singh, Nish Parikh, and Neel Sundaresn. User behavior in zero-recall ecommerce queries. In Proceedingsof the 34th international ACM SIGIR conference on Research and development in Information Retrieval, pp. 75–
84. ACM, 2011.
[2] Nish Parikh and Neel Sundaresan. Inferring semantic query
relations from collective user behavior. In Proceedings of

[19]

[20]

the 17th ACM conference on Information and knowledge
management, pp. 349–358. ACM, 2008.
Gyanit Singh, Nish Parikh, and Neel Sundaresan. Rewriting null e-commerce queries to recommend products. In
Proceedings of the 21st International Conference on World
Wide Web, pp. 73–82. ACM, 2012.
Zehong Tan, Canran Xu, Mengjie Jiang, Hua Yang, and Xiaoyuan Wu. Query rewrite for null and low search resultsin ecommerce. In Proceedings of the SIGIR 2017 Workshop
on eCommerce (ECOM 17), 2017.
Subhadeep Maji, Rohan Kumar, Manish Bansal, KalyaniRoy, Mohit Kumar, and Pawan Goyal. Addressing vocabulary gap in e-commerce search. In Proceedings of the 42ndInternational ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 1073–1076, 2019.
Saurav Manchanda, Mohit Sharma, and George Karypis.
Intent term selection and refinement in e-commerce queries.
arXiv preprint arXiv:1908.08564, 2019.
Bishan Yang, Nish Parikh, Gyanit Singh, and Neel Sundaresan. A study of query term deletion using large-scale
e-commerce search logs. In European Conference on Information Retrieval, pp. 235–246. Springer, 2014.
Rosie Jones, Benjamin Rey, Omid Madani, and Wiley
Greiner. Generating query substitutions. In Proceedingsof the 15th international conference on World Wide Web,
pp. 387–396. ACM, 2006.
Saša Hasan, Carmen Heger, and Saab Mansour. Spellingcorrection of user search queries through statistical machinetranslation. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 451–
460, 2015.
Yingbo Zhou, Utkarsh Porwal, and Roberto Konow.
Spelling correction as a foreign language. In Proceedingsof the SIGIR 2019 Workshop on eCommerce (ECOM 19),2019.
Andrei Broder. A taxonomy of web search. In ACM Sigirforum, Vol. 36, pp. 3–10. ACM, 2002.
Jeﬀ Huang and Efthimis N Efthimiadis. Analyzing and evaluating query reformulation strategies in web search logs. In
Proceedings of the 18th ACM conference on Informationand knowledge management, pp. 77–86. ACM, 2009.
Parikshit Sondhi, Mohit Sharma, Pranam Kolari, andChengXiang Zhai. A taxonomy of queries for e-commerce
search. In The 41st International ACM SIGIR Conference
on Research & Development in Information Retrieval, pp.
1245–1248. ACM, 2018.
Ahmed Hassan, Ryen W White, Susan T Dumais, and YiMin Wang. Struggling or exploring?: disambiguating longsearch sessions. In Proceedings of the 7th ACM international conference on Web search and data mining, pp. 53–
62. ACM, 2014.
Zitao Liu, Gyanit Singh, Nish Parikh, and Neel Sundaresan.
A large scale query logs analysis for assessing personalization opportunities in e-commerce sites. WSCD Workshop
at WSDM 14, 2014.
Amber Madvariya and Sumit Borar. Discovering similar
products in fashion e-commerce. In Proceedings of the SIGIR 2017 Workshop on eCommerce (ECOM 17), 2017.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova.
Bert: Pre-training of deep bidirectionaltransformers for language understanding. arXiv preprint
arXiv:1810.04805, 2018.
Rohan Kumar, Mohit Kumar, Neil Shah, and Christos
Faloutsos. Did we get it right? predicting query performance in e-commerce search. In Proceedings of the SIGIR
2018 Workshop on eCommerce (ECOM 18), 2018.
Xiaobing Xue, Samuel Huston, and W Bruce Croft. Improving verbose queries using subset distribution. In Proceedingsof the 19th ACM international conference on Informationand knowledge management, pp. 1059–1068, 2010.
Tetsuya Sakai. Laboratory Experiments in Information Retrieval - Sample Sizes, Eﬀect Sizes,and Statistical Power.
Springer, 2018.