DEIM Forum 2016 C1-6

検索における分散表現を用いた類似度定量化
齋藤祐樹, 田頭 幸浩, 小野 真吾, 田島 玲†† ヤフー株式会社 〒 107–6211 東京都港区赤坂 9-7-1 ミッドタウン・タワー
E-mail: †{yukisait,yutagami,shiono,atajima}@yahoo-corp.jp
あらまし

情報検索のタスクにおいてクエリとドキュメントの類似度は検索精度に大きく影響を与える重要な指標の1 つである. 一般的に, クエリとドキュメントの類似度として局所表現を利用し各単語に次元を割り当て, その各次元の重みを元にスコアを計算する手法が用いられる. 局所表現に基づく指標は疎性を利用して高速に計算できる一方, 言い換えや略記表記などクエリに含まれる文字列を明示的に含まないドキュメントに対して適切に評価を行うことが難しい. これは多様な商品名や型番が用いられる商品検索においては, 特に課題となっている. 本稿では単語を分散表現として扱い, 分散表現から得られる類似度をクエリとドキュメント間の類似度を表わす指標として用いる手法を提案する. 具体的にはクエリとドキュメントそれぞれに含まれる単語の分散表現の和を取り, それらのコサイン類似度を計算する. そのコサイン類似度をクエリとドキュメント間の類似度とし, 得られた類似度と既存の特徴量からランク学習によって予測モデルを学習する. このクエリとドキュメント間の類似度は意味的な近さを考慮したものとなっている.

Yahoo!ショッピングの検索ログを用いて予測精度の評価を行い提案手法の有効性を検証した.
キーワード

情報検索, ランク学習, 機械学習, E コマース, 分散表現

1. は じ め にづく類似度がクエリとの意味的な近さからかけ離れてしまうことも多い. 例えばテレビというクエリに対してテレビ本体の商情報検索のタスクにおいてクエリとドキュメントの類似度は品タイトルが「32 型 ハイビジョン液晶テレビ ブラック」であ検索結果のクリック率などの精度に大きく影響を与える重要なるのに対して周辺機器が「テレビ用壁掛け金具/液晶テレビ プ

指標の 1 つである. 一般的に, この類似度は各単語にそれぞれラズマテレビ テレビ金具」などであると局所表現に基づく類似に異なる次元を割り当る局所表現を元にクエリに対するドキュ度は後者のほうが高くなることがある.

メントのスコアを計算する. クエリに対するドキュメントのス

Probabilistic Latent Semantic Analysis [3] や Latent

コアは局所表現の各次元に対して単語の重みを算出し, その重Dirichlet Allocation [2] などの手法によってクエリや商品のみを元にスコアを計算する. まず, 単語の重み付け手法につい意図を推定するアプローチもある. しかし, これらの手法ではて述べる. これはそのドキュメントがどれくらい重要な情報をクエリのように非常に単語数が少ないものを対象にした場合単持っているかについて評価するために利用される. 単語の重み

語の共起関係をもとに学習を行うため意図の推定が困難で, ド付けは出現頻度 (Term Frequency, TF) やドキュメント内の単キュメントとの類似度についても期待通りの計算が難しい.

語の出現回数と全ドキュメント内の出現回数の逆数の積で表さ

そこで, クエリとドキュメントに意図を表わすものとして単れる TF-IDF などが用いられる. これによって各ドキュメント語の分散表現を利用し, クエリとドキュメント間の類似度としに対して含まれる単語の重みを計算することができる. クエリてそれらの分散表現の和のコサイン類似度やユークリッド距離に対するドキュメントのスコアは局所表現の内積やコサイン類を用いる手法を提案する. 分散表現はクエリとドキュメントの似度などを利用することによって求めることができる. 本稿で類似度のスコアとして単語の足し算引き算などのアナロジータ

はこれを局所表現に基づく類似度と呼ぶことにする.

スクにおいても非常に高い精度で計算ができると報告されていしかし, 局所表現に基づく類似度は必ずしもクエリに対してる [5]. 本手法ではクエリとドキュメントの意図や内容をそれ意味的な近さを表しているわけではない. そのため, クエリに含らに含まれる単語の分散表現で得られるベクトルの和で決まるまれる単語とは異なるが意味の近い単語を持つドキュメントにとし, クエリとドキュメントを表わす固定長のベクトルを得る.

対して正しくスコアを計算することが難しい. 例えばクエリにそして, ランク学習においてもクエリとドキュメントの分散表含まれる単語を明示的に含まれない場合 (クエリ:車, ドキュメ

現ベクトルのコサイン類似度やそれらのユークリッド距離を特ント:カローラ) や言い換え表現や略称 (PS, プレイステーショ

徴量として既存の特徴量に加えることによって，予測精度が向ン) などのクエリと近いまたは同じ意味を指している単語を含上することが期待される. 本手法の分散表現ベースと単語ベーむドキュメントに対して正しくスコアを計算することができな

スの手法におけるベクトルの生成方法の違いについて図 1. にい. また，クエリに含まれる単語を含むが意図の異なる単語も示す.

含まれているドキュメントに対しても正しくスコアを計算することができない. 特に E コマースを対象にした場合, 商品タイトルに関連する単語を多くいれることなどもあり局所表現に基

図3

学習器への入力

図 1 局所表現ベースと分散表現ベースのベクトルの生成方法の違い

本研究の貢献は以下の 2 点である.

•

局所表現に基づく類似度の代わりにクエリとドキュメン

トに含まれる単語の分散表現の和を用い, そのコサイン類似度やユークリッド距離をランク学習の特徴量として利用した.

•提案手法を実データを用いて評価を行い, その有効性を確かめた.

3. 提 案 手 法
この章ではクエリとドキュメントの類似度として分散表現ベクトルを用いる提案手法について述べる.
クエリに対して適切な順序でドキュメントを並び替えるために，局所表現に基づく類似度を用いることがある. これらの指標は非常に高速に計算が可能であり, ドキュメントの数が非常2. 問 題 設 定に多くかつ早い応答速度などが求められる場面においても現実的な時間で検索結果を返すことができる. しかし局所表現に

この章では本稿における問題設定について述べる. 検索エン基づく類似度ではどの語がドキュメントの中でより大きい重み

ジンではユーザーが与えた検索クエリに対して, 限られた時間を持つかどうかしか評価することができず, クエリの意図しての中で大量のドキュメントの中からそのクエリに関連したドいるかどうかを評価することが難しいという問題がある. そこキュメントを探しだし適切な順序で返す必要がある. 返却候補

でクエリとドキュメントの意味的な近さを表現するスコアを利となるドキュメントの数が少ない場合, 全ドキュメントに対し用する手法を提案する. このクエリとドキュメントの意味的近て予測モデルによるスコアリングを現実的な時間内に行うことさを表現するために Skip-gram モデルを利用し, クエリの意図ができる. しかし検索対象のドキュメントの数が膨大な場合, 現とドキュメントの意図はそれらの単語の意図をそれぞれの足し実的な時間内にすべてのドキュメントに対して計算コストの高あわせとすることで意図を表現し, それらのコサイン類似度やい予測モデルによるスコアリングをすることが難しい. そのよベクトル空間上のユークリッド距離を意味的近さを表わすスコ

うなとき図 2 のように全ドキュメントから適切なドキュメントアとして利用する. このスコアを特徴量として予測の際に利を選ぶフェーズとそれらの選ばれたドキュメントの中からクエ用することによってクエリに対して適切なドキュメントを決定

リに対して適切な並び順となるスコアを予測するフェーズを分する. 本稿では予測モデルとして Gradient Boosting Decision

離し, 2 つのフェーズによって検索結果を返却する手法がとらTree(GBDT) を用いた.

れることがある [1] [7].

3. 1 単語の分散表現の獲得
この節は単語にする低次元ベクトルの学習方法について述べる. 単語に対する低次元のベクトル表現を獲得するために分散表現を用いる. 分散表現の学習には Mikolov ら [5] の非常に学習効率のよい 2 つのニューラルネットをベースにした言語モデルの Continuous Bag-of-Words (CBOW) モデルと Continuousskip-gram (Skip-gram) モデルを用いた. CBOW モデルはあ図 2 検索システムの概略図

る単語はその単語が出現した前後数個の単語から意味が推定されるというモデルになっている. 一方 Skip-gram モデルはある

本稿ではクエリごとに全ドキュメントに対してスコアを計算

単語から前後数個の単語を推定するというモデルになっている.

することは難しいので, 局所表現に基づく類似度で上位 N 件にどちらのモデルも入力と出力の間には 1 つの projection 層の絞りこんだあとのログに対して評価を行った.

みで構成され隠れ層を持たない. この手法は既存のニューラル

またスコア計算時にクエリとドキュメント間の類似度の他にネットワークベースの言語モデルよりも大幅に計算コストを削ドキュメントなどのメタ情報などを利用する. このとき入力と減することができた. また, Negative Sampling も CBOW モ

なるベクトルは図 3 に示す通りドキュメントのメタ情報とクエ

デルと Skip-gram モデルの学習の効率化に用いられた. どちら

リとドキュメント間の類似度を結合して利用する.のモデルも単語同士の類似度の評価のタスクにおいて精度がよかった. 本稿では分散表現の学習には同様のタスクで多く用いられる Skip-gram モデルを利用した.

3. 2 クエリとドキュメントの分散表現の獲得
この節では学習した分散表現を元にクエリとドキュメントの意図推定をする手法について述べる. 本手法ではクエリやドキュメントの意図がそれらに含まれる単語の意図の足しあわせであるとし, クエリやドキュメントの分散表現の和で表現する.

4. 2 Gradient Boosting Decision Tree
この節では学習器として用いる GBDT について述べる.

3. 3 クエリとドキュメントの類似度計算

GBDT は Gradient Boosting を利用した決定木ベースの学習

3. 2 でクエリとドキュメントに含まれる単語からそれらの意の１つで精度が高いことで知られている. 弱学習を複数組み合図を推定した. この節ではこれらからクエリとドキュメントのわせることで汎化能力を向上させるアセンブル学習の 1 つで,意味的な近さを算出方法について述べる. クエリとドキュメン

GBDT では損失関数が最も小さくなるような弱学習器を学習

トの意味的な近さを表わすスコアとして 3. 2 で得たクエリとドし, それをいままの学習器に追加する. GBDT は学習器としてキュメントの分散表現のコサイン類似度とユークリッド距離を決定木を利用したものである. Gradient Boosting のアルゴリ用いる. wq ,wd をそれぞれクエリの分散表現とドキュメントのズムは N をデータ数, J を弱学習器の数, h を弱学習, F をア分散表現とするとコサイン類似度とユークリッド距離は以下のンサンブル学習器, a を学習器のパラメータとしたとき以下の表される.

ように与えられる.
′x′Tq xd′∥xq ∥∥x′d ∥√∑Distance(x′q , x′d ) =(x′q,i − x′d,i )2

Similarity(x′q , x′d ) =i

Algorithm 1 Gradient Boosting
F0 (x) = arg min∑Nρ

i=0 L(yi , ρ)for j = 0 to J do
∂L(y,F (xi )]F (x)=Fj−1 (x)∂F (xi )∑2
aj = arg min N
i=1 |ỹi − βh(xi ; a)|a,βỹi = −[4. 実 験 設 定
この章ではデータセットと評価方法について述べる.

4. 1 データセット

Fj (x) = Fj−1 (x) + ρj h(x; aj )end for

実験に用いるデータセットとして Yahoo!ショッピングの 2015
年 9 月の 1ヶ月分の検索ログの一部を利用する. 2015 年 9 月

1 日から 2015 年 9 月 20 日までの検索ログを訓練データとして,2015 年 9 月 21 日から 2015 年 9 月 30 日までを評価データとして利用する. ラベルとしてそのクエリに対して返却対象となったドキュメント (商品) がクリックされたかどうかを用いる. 実験にあたり 1ヶ月の間に一定以上の検索回数があったクエリに絞り込んだ. データセットのサマリは表 1 に記載する.

また, 今回はクリックされたドキュメントとクリックされなかったドキュメントに対して損失関数を設定するために gbrank [10]を利用する. gbrank は Gradient Boosting におけるペアワイズの損失関数となっており, 予測後の順番が違うペアに対して損失が小さくなるように弱学習器を学習する手法である.

4. 3 評 価 方 法
ランク学習において nDCG と MRR という指標がよく用いられる. どちらの指標もリストに対するドキュメントの並び方

訓練データ

評価データに対して評価をする手法である. 本稿では評価実験にはスコア309,425

123,824の上位 10 件までの nDCG(nDCG@10) と MRR の 2 つで評価

#document 10,253,064

3,387,381#query表1

実験データのサマリを行う.

Normalized Discounted Cumulative Gain (nDCG)
DCG はリストの並び順を評価する指標の１つで, よりクエリに分散表現の学習には word2vec（注 1） を利用した. 単語の分散

対してより適切なドキュメントの順位を高く評価するほどスコ表現の学習にコーパスとして表 1 の訓練データを用いる. 分散

アが高くなる. nDCG はそれをもし理想的な並び順になってた表現を学習するためのコーパスの作成にはクリックされたかどときの DCG(Ideal DCG) との比として表される. yi をクエリ

うかに関わらず訓練データに含まれる商品タイトルのみを抽出に対するドキュメントの適合度を表わすラベルとしたとき以下した. そのため, 評価時に訓練データに出現しなかった単語にの式で上位 k 個のドキュメントの並びに対する nDCG は計算対して分散表現が存在しないことがある. このときは出現しなされる.

かった単語の分散表現として零ベクトルを利用する. 分散表現の学習には Skip-gram モデルを用い各単語に対して 100 次元

DCG@k =のベクトルを学習する. 学習にあたってウィンドウ幅は 5, α は0.025 とした. また, 今回はスコア関数の学習にドキュメントと数, レビューの平均などの特徴量を用いた.

DCGk
IDCGk

Mean Reciprocal Rank (MRR) MRR の nDCG と同様にリストの並び順を評価する指標である. MRR はリスト内で最初にクリックされたドキュメントの順位の逆数の平均として算出される.

（注 1）：https://code.google.com/archive/p/word2vec/

2yi − 1log2 (i + 1)
i=1

nDCG@k =クエリの類似度のほかにに商品に付与される他の特徴量を用いた. これらの特徴として商品のページビュー数, 価格, レビューk∑

5. 実持つ特徴量を利用した. 評価に関して nDCG@10,MRR につい験て評価を行った. その結果を表 3 に記載する.

この章では提案手法について行った評価について述べる.
nDCG@10 MRR

本稿では Yahoo!ショッピングの検索ログを用いてクエリに対してクリックされたドキュメントの順位が高くなるように予測モデルを学習した. 本稿では 2 つの実験を行った. 1 つはクエリに対してクリックされた商品とそうでない商品が分散表現で局所表現に基づく類似度+商品に関する特徴量0.445 0.423

分散表現のユークリッド距離 +0.460 0.436

商品に関する特徴量
分散表現のコサイン類似度+どのような性質を持っているかを確認するために, 学習によっ商品に関する特徴量て得られた分散表現からクエリとドキュメントの意図を推定し,すべての特徴量それらのベクトルをラベル別にプロットした. 2 つめは本手法

表 3 実験結果 (nDCG@10,MRR)

0.462 0.437
0.454 0.434の有効性を確認するために局所表現に基づく類似度の代わりにそれらの分散表現から得られるベクトルのコサイン類似度を意

提案手法はクエリとドキュメント間の類似度の他にドキュメ

味的近さを表わす特徴量で置き換え, スコア関数を学習し評価ントの持つ特徴量を加え, 予測モデルによってランキングしたを行った.

場合でも nDCG@10 で 3.8%, MRR で 3.3%の精度向上を確認

5. 1 クエリとドキュメントの分散表現の評価することができた. これによってスコア関数の予測において単クエリとドキュメントに含まれる単語の分散表現の和のベク

語ベースの類似度ではなく分散表現で得られる意味的な近さのトルをそれぞれの意図を表わすベクトルとして, クエリとクリッほうが精度に寄与することを確認できた. クエリとドキュメン

クされたドキュメント, クリックされなかったドキュメントのトの類似度とクエリとドキュメントの分散表現のすべて加えたベクトルの主成分分解の上位 2 軸をプロットした. クエリのベものを特徴量に加えた予測モデルに関して単体で追加したもの

クトルとクリックされたドキュメントの距離が近いものを図 4に比べて予測精度が悪かった. これは訓練データに対して過学に, クエリとクリックされたドキュメントのベクトルの距離が習をしており, 評価データに対する予測精度が落ちてしまって遠いものを図 5 に示す. 図 4 はクエリの意図とタイトルの意図いるものと考えられる. 過学習が起きている原因として考えらが近いドキュメントがクリックされていることを示している.

れるのは特徴量をすべて加えて場合, 既存手法や局所表現に基これらのクエリは意図が明確であり, その意図に近いドキュメづく類似度を提案手法のコサイン類似度に n 置き換えたものにントがクリックされていることと考えられる. 一方図 5 はクエ比べて, 次元数がクエリとドキュメントの次元数だけ増加してリの意図とタイトルの意図がドキュメントの意図が違うドキュしてしまっている. そのために特徴量の次元数に対して訓練にメントがクリックされていることがわかる. これはクエリの意

用いたデータセットの数は固定としたため訓練データに対して図が曖昧なクエリ, 複数の意図があるクエリなどに対してタイ過学習をしてしまった原因と考えられる.

トルの意図が近いものが近いものがクリックされるわけではないことがわかる. これらのクエリに対しては分散表現から得ら

6. 関 連 研 究れるベクトル同士のユークリッド距離やコサイン類似度を元に意図推定. ドキュメントから意図を抽出する手法として単語上位 N 件を返却するというランキングしても精度の向上に繋の共起関係に基づく Latent Semantic Analysis(LSA) や, 生成がるわけではないことがわかる.

モデルに基づく Latent Dirichlet Allocation(LDA) などが挙げ

また提案手法は既存手法と比べてスコアのみでランキングられる. LSA や LDA はドキュメントからトピックを抽出するをした場合, 表 2 に示したように nDCG@10 で 5.1%,MRR で方法として自然言語処理の分野で多く用いられる. LDA は文4.2%の精度向上を確認することができた. これはクエリとド章生成モデルの１つで T 個のトピックごとにディリクレ分布キュメント間の類似度のみでランキングをした場合でも単語から単語出現を生成し, ドキュメントごとにディリクレ分布かベースのアプローチよりもクエリの意図した商品を返している

ら単語生成確率を生成する. これらの手法ではドキュメントにことがわかる.

対する類似度やトピックの分布を得ることができる. クエリとドキュメントのトピックの分布の類似度を局所表現に基づく類
nDCG@10 MRR

表 2

局所表現に基づく類似度のみ

0.332 0.310

分散表現のユークリッド距離のみ

0.324 0.304

分散表現のコサイン類似度のみ

0.349 0.323

似度の代わりのスコアとして利用することができる. しかしクエリや商品タイトルなどは含まれる単語が少なく共起関係を元に学習するためクエリのようにクエリに含まれる単語数が非常

ク エ リ と ド キュメ ン ト 間 の 類 似 度 の み を 用 い た 実 験 結 果に少ない場合トピックの推定の難しい. この問題に対して Yu(nDCG@10,MRR)

ら [8] は Collapsed Gibbs Sampler をベースとした LDA を改良した Multivariate Bernoulli LDA という手法を提案した. こ5. 2 ランク学習の特徴量として用いた評価

れはドキュメントに結びつく単語が少ないコーパスでも多様性実験にあたってベースラインではクエリとドキュメントの類を目的に置いた情報検索タスクにおいて通常の LDA よりも精似度として BM25 を用い, それ以外の特徴量として商品のページビュー, レビューの数, レビューの平均点, 価格などの商品の度よくトピック推定ができることを示した.

Deep Structured Semantic Model, DSSM. DSSM [4]図4

クエリに対して近いドキュメントがクリックされている例

図 5 クエリに対して遠いドキュメントがクリックされていない例[6] はニューラルネットワークを利用した情報検索のアプローチ

クから教師あり学習で表現を獲得ことができれば精度向上に繋の１つである. DSSM はクリックの予測タスクにおいて LSAがると思われる.などのこれまでの手法と比べて精度の高い手法である. LSA や

Answer sentence selection. 自然言語処理の研究分野

LDA などでは単語ベースでの意図の推定が難しいことが問題の１つに自然文で与えられる質問に対して適切な解答を抽出であった. そこで DSSM ではまず文字列を tri-gram によってする Answer sentence selection という分野がある. Answer

分割する. 具体的には tri-gram は先頭文字と終端文字に ‘#’ をsentence selection にはクエリに対して自然文を生成する手法

識別文字を加えて ‘cat’ を ‘#ca’,‘cat’,‘at#’ という文字列に分と与えられたドキュメントの中からよりクエリの解答に近いセ割する. これによってボキャブラリのサイズが大きくなってもンテンスを選ぶ手法の 2 つある. 後者の手法はドキュメントの特徴量となる分割後の文字列は文字の種類の 3 乗で抑えるこ

中から適切なセンテンスを選ぶという点で情報検索のタスクととができ, また未知の単語に対しても予測を行うことができる.

見なすことができる.

tri-gram による分割後に得られた特徴量としてクエリに対してこれまでに精度がよい手法ではドキュメントやクエリの文章ドキュメントがクリックされるかどうかを判定する識別器を学の構造に関する情報を利用する手法が多く用いられてきた. 近習する. クエリに対するドキュメントがクリックされるかどう年はこれらの手法とは異なり,Yu ら [9] が構造に関する情報でかの事後確率は以下の類似度とソフトマックス関数で計算する.

はなく分散表現を利用した意味的な情報を利用するアプローチ

Q,D はそれぞれクエリとドキュメントで γ はハイパーパラメーを提案した.

ターを表わす.

7. お わ り にTyQyDR(Q, D) = cosine(yQ , yD ) =∥yQ ∥∥yD ∥P (D|Q) = ∑exp(γR(Q, D)′D ′ ∈D exp(γR(Q, D ))この手法はクエリに対して対象となるドキュメント集合の中でどれが一番クリックされやすいかという問題を直接最適化しているアプローチである. DSSM ではでは tri-gram による文字列分割を行っており, この手法はデータ内の文字の種類が少ない場合は次元圧縮を可能とする. しかし例えば日本語が含まれるドキュメントを対象としたとき常用漢字でも 2000 文字程度存在し, これの tri-gram による分割を行っても次元数が 80 億程度となり次元圧縮にはならない. 次元圧縮となるような文字列の分割方法を利用すれば我々の問題にも適用可能である. 損失関数がコサイン類似度のスコアのソフトマックス関数の交差

本稿では情報検索のランキングモデルにおいて返却候補となるドキュメントが多い場合におけるクエリとドキュメントの類
似度について一般的に用いられる局所表現に基づく類似度に比べ, 分散表現を用いた意味的近さを表した類似度を予測の特徴量として用いる手法について提案した. 提案手法では単語の分散表現として skip-gram モデルによって学習し, そのうえでクエリとドキュメントの類似度にそれらに含まれる単語の分散表現のベクトルの和のコサイン類似度を用いた. また提案手法をYahoo!ショッピングの検索ログを用いて評価を行い, 予測精度が向上することを確認した.
予測に関して GBDT ではなくニューラルネットを用いた手法も提案されており, 今後はより精度の高い学習方法の適用や過学習が今後の課題として挙げられる.

エントロピーに関してもクエリに対してドキュメントのスコアを計算するときに文字列以外の特徴量, 例えばドキュメント内の単語の重複数などやタスク固有の特徴量なども利用できるようにば適用可能である. また提案手法ではクエリと分散表現の獲得に教師なし学習とベクトルの和を用いたが DSSM のクリッ文

献[1] Deepak Agarwal and Maxim Gurevich. Fast top-k retrieval
for model based recommendation. In Proceedings of theFifth ACM International Conference on Web Search andData Mining, WSDM ’12, pp. 483–492, New York, NY,

USA, 2012. ACM.
[2] David M Blei, Andrew Y Ng, and Michael I Jordan. Latent dirichlet allocation. the Journal of machine Learning
research, Vol. 3, pp. 993–1022, 2003.
[3] Thomas Hofmann. Probabilistic latent semantic indexing.
In Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval, pp. 50–57. ACM, 1999.
[4] Po-Sen Huang, Xiaodong He, Jianfeng Gao, Li Deng, AlexAcero, and Larry Heck. Learning deep structured semanticmodels for web search using clickthrough data. In Proceedings of the 22Nd ACM International Conference on Information & Knowledge Management, CIKM ’13, pp. 2333–2338, New York, NY, USA, 2013. ACM.
[5] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeﬀ Dean. Distributed representations of words
and phrases and their compositionality. In C.J.C. Burges,L. Bottou, M. Welling, Z. Ghahramani, and K.Q. Weinberger, editors, Advances in Neural Information Processing
Systems 26, pp. 3111–3119. Curran Associates, Inc., 2013.
[6] Yelong Shen, Xiaodong He, Jianfeng Gao, Li Deng, andGrégoire Mesnil. Learning semantic representations using
convolutional neural networks for web search. In Proceedings of the 23rd International Conference on World WideWeb, WWW ’14 Companion, pp. 373–374, Republic andCanton of Geneva, Switzerland, 2014. International World
Wide Web Conferences Steering Committee.
[7] Yukihiro Tagami, Toru Hotta, Yusuke Tanaka, Shingo Ono,Koji Tsukamoto, and Akira Tajima. Filling context-ad vocabulary gaps with click logs. In Proceedings of the 20th
ACM SIGKDD International Conference on Knowledge
Discovery and Data Mining, KDD ’14, pp. 1955–1964, NewYork, NY, USA, 2014. ACM.
[8] Jun Yu, Sunil Mohan, Duangmanee (Pew) Putthividhya,and Weng-Keen Wong. Latent dirichlet allocation based
diversified retrieval for e-commerce search. In Proceedingsof the 7th ACM International Conference on Web Searchand Data Mining, WSDM ’14, pp. 463–472, New York, NY,USA, 2014. ACM.
[9] Lei Yu, Karl Moritz Hermann, Phil Blunsom, and StephenPulman. Deep Learning for Answer Sentence Selection. InNIPS Deep Learning Workshop, December 2014.
[10] Zhaohui Zheng, Keke Chen, Gordon Sun, and Hongyuan
Zha. A regression framework for learning ranking functions
using relative relevance judgments. In Proceedings of the30th annual international ACM SIGIR conference on Research and development in information retrieval, pp. 287–294. ACM, 2007.