DEIM Forum 2013 B9-2

オンライン広告における CTR 予測モデルの素性評価
田頭 幸浩†

山本 浩司†

小野 真吾†

塚本 浩司†

田島玲†† ヤフー株式会社 〒 107–6211 東京都港区赤坂 9-7-1 ミッドタウン・タワー
E-mail: †{yutagami,koyamamo,shiono,kotsukam,atajima}@yahoo-corp.jp
あらましオンライン広告はインターネットの経済を支える大きな柱の一つであり，ビジネスと学術の両方から大きな注目を浴びている．本稿ではオンライン広告のうち，クリック課金型のテキスト広告に注目し，そのクリック率(click-through rate; CTR) を予測するモデル（CTR 予測モデル）の素性について評価を行う．CTR 予測モデルの精度向上は適切な広告選択に不可欠であり，収益と直結した重要な部分を占めるため，その素性は現在までに多岐に渡って提案されてきた．本稿では実際の配信システムログを用いてこれらの素性を評価し，その有用性を検証する．
キーワード1.

導オンライン広告, CTR 予測, 機械学習, 統計モデル

入を検証する．
本稿の構成は以下のとおりである．2 章では先行研究でどのオンライン広告はインターネットの経済を支える大きな柱のような予測モデルと素性（特徴量）が提案されてきたかについ一つである．そのため，この分野はビジネス的に，また学術的て述べる．続く 3 章では広告配信システムの全体概要についてにも大きな注目を浴びている [6], [22]．オンライン広告の例と述べる．4 章では実際の広告配信ログを用いた評価を行う．こしては，検索サイトにおける検索連動型広告，ポータルサイトれらを受け 5 章では本稿を結び，将来の展望について述べる．

におけるディスプレイ広告，ニュースやブログ記事のページにおけるコンテキスト広告が挙げられる．
本稿ではオンライン広告のうち，クリック課金型のテキスト

2.

予測モデルと素性

2. 1

予測モデル広告を扱う．クリック課金型広告とは，広告が配信されたペー

CTR 予測や問題設定が良く似たコンバージョン予測のモデジを閲覧しているユーザーが，広告をクリックして広告主の設ルとしては一般的に線形モデルが用いられ，その中でも CTR定したページに移動した場合に，広告主があらかじめ入札してが確率であることから，確率値を出力とするロジスティック回いた金額に基づき課金される仕組みである．クリック課金以外帰モデルが用いられることが多い [7], [8], [18]．他のより複雑なの課金モデルとしては，広告が表示された回数に応じて課金さモデル，例えばカーネルを用いた SVM や Random forest [3]，れるインプレッション課金や，商品の購入手続きや資料請求なGradient boosted decision trees [10], [12] を用いることも考え

どの広告主があらかじめ定めた目標にユーザーが至った時に課られるが，後述するように素性（特徴量）の種類の多さと実際金されるコンバージョン課金などがある．また，テキスト広告のシステムログから得られる学習データの膨大さ，配信時の計とは，広告自体がテキストのみからなる広告である．

算コストが比較的少ないことから，ロジスティック回帰モデル

先に述べたようにクリック課金ではユーザーが広告をクリッがこの問題には適しているといえる．ロジスティック回帰モデ

クした場合にのみ広告主はその代金を支払う．そのため，あるル以外の線形モデルとしては，プロビット回帰が使われる例も広告を配信した場合の期待収益は，広告主が設定した入札額と，ある [13]．

クリック率 (click-through rate; CTR) によって決まる．ある

2. 2

ページに対し，複数の広告候補から配信する広告を適切に選択予測モデルの入力として用いられる素性はさまざまなものがして収益を最大化する問題を考えた時，前者の入札額は広告主提案されている．大まかに，以下のような素性を挙げることがが設定しているため既知であるが，後者の CTR は未知であるできる．

ため予測を行う必要がある．もしも CTR の予測が真の値とか•配信対象のページと広告の類似度け離れたものであれば，配信候補の選択を適切に行うことがで•ユーザーの属性と広告の関連性

きず，ユーザーがページを訪れた時に得られる収益も最大とは•広告そのものの情報程遠いものになるであろう．そのため，クリック課金モデルの•過去の配信実績情報

広告配信において CTR 予測は収益と直結した非常に重要な部分を占めるのである．

素性まず直観的なものとして，広告を配信するページと広告の語句的な類似度がある [21]．これは，ページに関連した広告を配

現在の広告配信システムでは，広告配信ログをもとに機械学信した方がユーザーはクリックしやすいであろうという考えに習で CTR 予測モデルを構築している．本稿では実際の広告配基づいている．しかし語句的な類似度だけではミスマッチが容信ログを用いて CTR 予測モデルの素性を評価し，その有用性易に起こるため，ページとカテゴリをそれぞれ意味カテゴリやクラスタに割り振り，それらの類似度を用いることも行われててユーザーに伝わり，広範囲の人が興味を持っていたり，よりいる [5], [17]．

単純に広告テキストが洗練されていることが考えられる．

ページと広告の語句や意味的な類似度と同様に，ユーザーのここまで列挙してきた素性は，ページ，ユーザー，広告それ持つ属性と広告の関連性も重要な素性である [7]．ユーザーの属ぞれの情報そのものと，二者間の類似度であった．これに加え性としては年齢や性別，住んでいる地域がある．例えば多くのて，更に重要な素性として実績 CTR が用いられる [15]．実績

20 代の女性はオートバイの広告よりも化粧品の広告に興味をCTR とは，過去にその広告がクリックされた回数を配信され持ちクリックしやすいと推測される．また，ユーザーが住んでた回数で割った値である．この実績 CTR はさまざまな粒度でいる場所に関連した広告の方が全く関係がない地域のものより集計して用いられる．例えば，その広告の単位や，広告主単位，もクリックされやすいであろう．これらは人間の持つ直観や知

ユーザーの性別や年代単位，またはそれらをかけ合わせた単位識によるものでしかないが，モデルの素性としてユーザーの属などである．粒度を細かくすればするほど，現在広告配信を行性と広告の関連性を用いることにより、実際のクリックログかおうとしている状態に近づくが，過去に行われた配信回数とクら、関連性のうち重要なものをを見出すことが可能になると考リック回数が共に少なくなるため，信頼性が下がってしまう．

えられる．

そのため，どの粒度の実績 CTR を用いるかを選択したり，分

年齢，性別，住んでいる地域などは静的な情報だが，動的な情報としてユーザーの行動履歴を挙げることができる [2]．例え

母と分子に定数を足してスムージングを行う [20] などの工夫が重要である．

ば直前に「ハワイ 旅行」というクエリで検索を行っていたユー

CTR に影響を与えるその他の要素としては，広告が表示さザーは，現時点でお菓子のレシピページを見ていたとしても，れるページ中のポジションがある [9]．誤クリックの場合を除き，ハワイ旅行に興味を持っており，これに関連した広告はクリッ

広告がクリックされるためには，ユーザーが広告を認識するこクされやすいと考えられる．ページの場合と同じように，ユーとが必要である．広告の表示位置は，ユーザーが広告を認識すザーの行動履歴から推定される興味は語句のレベルだけではなるかどうかに影響を与えため，CTR にも影響を与える．これくカテゴリやクラスタレベルの情報も用いられる [2]．

は検索結果の表示でもみられる現象である [9]．先に述べた実ユーザーの行動履歴から現時点の興味を推定する場合に重績 CTR の集計においても，このポジションによる CTR への要な要素になるのはイベントの種類とそれがどれほど前に行影響を考慮し，各表示位置の平均 CTR を用いて標準化を行っわれたかである．ここでいうイベントとは，先の例のような検た click over expected click(COEC) [23] が用いられることが索行動に加えて，ページの閲覧や広告の閲覧，クリック，コンある．COEC は各ポジションごとのクリック数 cpos とインプバージョンなどを指す．直観的に受動的な広告の閲覧に比べて，レッション数 ipos ，CTR の平均 CT Rpos をもとに以下のようユーザーが能動的に行う検索行動や広告のクリックなどの方が，に表現される．

∑P

より興味を推定するための強い手がかりになるであろう．また，

COEC = ∑P

同じ検索行動であっても 1 週間前と 1 時間前では現時点の興味

pos=1 ipos · CT Rposへの寄与度は異なるであろうし，検索クエリの内容によっても同様である．ユーザーの行動履歴を全て保持しておくことはストレージ量の問題があるため効率的ではない．そのため適切な素性選択を行い，CTR 予測に有用な情報のみを残すことが重要である [2]．

pos=1 cpos

4 章では，以上の素性を用いて CTR 予測モデルを構築し，評価を行った結果を示す．

3.

広告配信システムの全体概要

ユーザーの行動履歴から年齢や性別を推定し，それらの推定

2 章で述べたように CTR 予測モデルはさまざまな素性を用された情報を素性として用いることもある．これは間接的に興いて CTR の予測を行う．配信対象のページやユーザーが異な味推定を行っており，一見非効率に見えるが，年齢や性別が既れば予測 CTR も異なるため，配信時にリアルタイムで予測を知であるユーザーの割合が少ない場合において，予測モデルの行う必要があるが，配信候補の広告の数は膨大であり，全ての精度を向上させることが報告されている [19]. 一つの広告に対候補に対して CTR 予測を行うことは，実システムで許容されする一人のユーザーの広告閲覧回数が増加するにしたがって，る計算コストの制約から難しい．そのため，予測モデルで CTRそのユーザーと広告の組み合わせにおける CTR は低下するとの予測を行う前に配信候補を簡単な計算によって絞り込み，実いう報告がされており，これも CTR 予測モデルの素性として際に予測を行う広告の数を減らす必要がある．

用いられる [7]．

広告の絞り込みには情報検索の top-k retrieval [4], [11] といCTR 予測の素性としては，広告そのものの情報も用いられう手法が用いられる．top-k retrieval ではクエリに対してスコる．例えば広告のテキストに広くユーザーの目を引く単語が含アが高い k 件のドキュメントをシステムから取得する．一般的まれている場合などが分かりやすいであろう [14]．また，そのにクエリとドキュメント間の語句やフレーズ，メタデータなど広告の掲載を依頼した広告主や，キャンペーン，広告グループの重なりに応じたスコアが用いられ，特にクエリとドキュメンと呼ばれる，その広告に関する階層情報も使用される．これら

トを表す二つのベクトルの内積によってスコアが表現されるこの情報が CTR 予測に影響を及ぼす原因としては、広告主が意とが多い．コサイン類似度や BM25 [16] もクエリベクトルとド図している広告効果がオンラインもしくはその他の媒体を通しキュメントベクトルをあらかじめスカラー倍することによって

ユーザー

検索システム

広告
広告
広告
広告
広告
広告

CTR
予測モデル

広告 CTR
CTR
広告
広告
CTR
広告
CTR
広告
CTR
広告 CTR

ランキングロジック

広告
広告
広告

ページ

図 1 広告配信システムの概要．ユーザーとページから素性を抽出してクエリとし，検索システ
ムを用いて候補となる広告を取得する．その後候補の広告に対して CTR を予測し，ランキングロジックにて最終的に配信する広告と順序を決定する．

内積計算として扱うことが可能である．top-k retrieval では計

表 2 素性グループ

算途中で既に上位 k 件に入らないことが分かっているドキュメ

素性グループ素性詳細

ントに対する評価を行わないことで効率的に上位 k 件のドキュ

ポジション

ページ内での広告表示位置

ページと広告の類似度

語句の類似度，共起する語句

ユーザーと広告の関連度

カテゴリの類似度，共起するカテゴリ

広告の情報

語句, カテゴリ, 広告 ID，メントを取得する [4], [11]．
広告の絞り込みの場合，ドキュメントとして広告情報をシステムに格納し，クエリとして広告配信ページやユーザーの情報

広告グループ ID，キャンペーン ID，を用いて検索を行う．検索システムを用いて広告の絞り込みを行った後に CTR 予測モデルを用いてスコアの計算を行う様子

広告主 ID
過去の配信実績情報

広告の実績 CTRを図 1 に示す．
モデルでの予測の前に広告を絞り込む場合，最終的に目的とをベースとして，HTML のタグや出現位置を考慮して重みのする値が大きくなるであろう候補を高速に取得できることが求調整を行いベクトル化した．広告も同様に，語句の出現位置がめられる．高速に候補を取得する点は top-k retrieval の文脈でタイトルか説明文かによって重みを調整した．

盛んに研究が行われている [4], [11]．また，top-k retrieval のス

ユーザーと広告の関連度としては，双方にカテゴリを付与し，コアとして，最終的に目的とする値を近似するように，標準的カテゴリベクトルのコサイン類似度と，両者で共起するカテゴな検索システムで扱うことができる二つのベクトルの内積で表リを用いた．ユーザーのカテゴリは，そのユーザーの興味を表現される関数形のモデルを，機械学習で構築する研究も行われ現するカテゴリで，行動履歴を用いた興味推定のシステムで得ている [1]．

られたカテゴリを用いた．広告のカテゴリは，先に述べた語句

4.

実

験のベクトルをもとに分類器でカテゴリを付与した．ユーザーと広告のカテゴリは同じ体系を用いた．

この章では 2. 2 節で述べた CTR 予測モデルの素性の評価を広告の情報としては，語句とカテゴリの他に，広告に結びつ行う．まず 4. 1 節で評価に用いるデータと素性セットについていた情報を用いた．この情報は階層構造になっており，広告，述べ，続いて 4. 2 節で評価値の比較を行う．

広告グループ，キャンペーン，その広告を出稿した広告主の順

4. 1

実験設定

素性の評価には，『Yahoo!ディスプレイアドネットワーク』の，で階層が高くなる．広告の情報として，これらの広告，広告グループ，キャンペーン，広告主に付与された ID を用いた．

ある 7 つのウェブサイトでの実際の配信システムログを 28 日

過去の配信実績情報として，広告の実績 CTR を用いた．本分用いた．この広告配信ログをウェブサイトごとに分割し，更実験では，広告情報の各粒度の実績値をポジションを考慮してに前半の 14 日分を学習データ，続く 7 日分をバリデーション集計し，各粒度とその配信数を考慮して重みづけた値を用いた．

データ，後半 7 日分をテストデータとして扱った．データの各

7 つのウェブサイトそれぞれに対して，上記の各素性セット

サンプルは配信された広告一つに対応しており，クリックされごとに，以下の式で表現されるロジスティック回帰モデルを用たか否かがラベル付けされている．それぞれのデータは同じ規いて CTR 予測モデルを構築した．

則でフィルタリングとサンプリングを行い，最終的に得られた学習データとテストデータそれぞれの広告数やユーザー数などの統計情報は表 1 にまとめている．
素性は種類に応じてグループ分けを行った．それぞれのグループの詳細は表 2 にまとめている．
ページと広告の類似度として，語句ベクトルのコサイン類似度と，その二つで共起する語句を用いた．ページの語句は tf-idf

p(c | p, u, a) =1
1 + exp(−c · wT f (p, u, a))

なお，c ∈ {+1, −1} はクリックされたか否かを表す変数であり，c = +1 の時にクリックされたことを，c = −1 の時にクリックされなかったことを表す．また，p(c = +1 | p, u, a) は
ページ p，ユーザー u，広告 a が与えられた時にクリックされる確率を表す．f (p, u, a) はその 3 つから抽出された素性ベク

表 1 各データの統計情報
ウェブサイト

AB

C

DE

FG

データ種類

サンプル数 広告 ID 数

広告グループ ID 数 キャンペーン ID 数 広告主 ID 数

学習543,006

33,68928,271

15,423

7,723

バリデーション

329,070

19,55616,602

10,1405,292

テスト

242,057

17,89915,116

9,209

4,915

学習

1,875,952

55,634

46,184

20,524

9,755

バリデーション

1,089,336

33,851

28,41014,1977,168

テスト

1,231,439

35,546

29,71914,5037,213

学習7,760,783

135,962

107,063

34,79914,689バリデーション

4,848,506

86,81568,60426,077

11,558

テスト

4,476,524

85,821

67,171

25,526

11,451

学習

1,277,352

62,76951,234

21,036

10,342

バリデーション

766,223

38,651

33,112

14,3877,358

テスト

672,299

36,91531,511

13,6317,087

学習515,457

33,34027,807

14,732

7,525

バリデーション

205,215

18,115

15,344

9,261

4,846

テスト

168,364

17,217

14,497

8,844

4,733

学習

231,330

21,891

18,740

8,000

4,208

バリデーション

131,890

13,312

11,581

5,147

2,821

テスト

126,267

14,26012,443

5,324

2,952

学習

1,803,434

122,090

99,38533,622

14,200バリデーション

887,859

84,25068,861

26,437

11,711

テスト

846,326

84,59569,221

26,064

11,663

トルを，w はその素性に対応する重みベクトルを表現している．

ウェブサイト全てにおいて，広告の語句を素性として用いた時過学習を避けるため正則化項として wT w/2 を加え，以下のに AUC が高くなった．広告の各 ID を素性とした場合，粒度最適化問題を解き ŵ を得た．
N∑
1ŵ = arg min wT w + Clog(1 + exp(−ci · wT fi (p, u, a)))2w
i=1

ここで C > 0 は正則化パラメータである．C を変化させて学習データで学習を行い，バリデーションデータでの評価値が高い ŵ を用いてテストデータの評価を行った．評価値としては

area under the ROC curve(AUC) [16] を用いた．
4. 2

評

価

A から G の 7 サイトそれぞれのデータを用いて，各素性グを広告主 ID から広告 ID へと細かくするにつれ AUC も減少する傾向が見られた．広告のカテゴリ情報は他の素性との比較すると，各ウェブサイトで寄与度は変化したが，安定して AUCを向上させていることが分かった．

5.

まとめと今後の課題

本稿ではオンライン広告のうち，クリック課金型のテキスト広告に注目し，その CTR 予測モデルの素性について，『Yahoo!
ディスプレイアドネットワーク』の配信システムログを用いて評価を行った．

ループごとに CTR 予測モデルを構築し，AUC で評価を行っ

今後の課題としては，さらなる素性の追加や，より複雑なモた．なお，広告が表示されたポジションはとても強力な要素でデルを用いた場合の評価に加え，マルチメディア広告への拡張あるため，全ての場合において素性として用いた．結果が表 3を挙げることができる．

である．各ウェブサイトで一番高い AUC を太字で記している．

本稿ではテキスト広告の CTR 予測モデルに着目した．しか7 つのウェブサイトのうち 6 つのサイトで，全ての素性を用いし同じクリック課金の広告でも画像や動画などからなるマルチた場合に一番高い AUC を示し，続いて広告情報の素性を用いメディア広告もあり，近年では画像から素性を抽出して CTRた場合の AUC が高かった．A のサイトでは，この二つの順番予測モデルに用いる研究がされている [8]．この問題への取り組が僅差で逆転した．ページ，ユーザーと広告の類似度を比較すみも今後の大きな課題といえる．

ると，ウェブサイトによって素性の影響度が異なり，B, D, F,G ではページと広告の類似度を，A, C, E ではユーザーと広告の類似度を追加した方が他方よりも高い AUC を示した．過去の配信実績情報も各ウェブサイトにおいて安定して AUC の向上に寄与していることが確認された．
続いて，広告の情報の素性グループの中でもどの種類の素性が有用であるかを検証した．結果が図 4 である．表 3 と同じく，各ウェブサイトで一番高い AUC を太字で記している．7 つの文

献[1] Deepak Agarwal and Maxim Gurevich. Fast top-k retrieval
for model based recommendation. In Proceedings of thefifth ACM international conference on Web search and data
mining, WSDM ’12, pp. 483–492, New York, NY, USA,2012. ACM.
[2] Mohamed Aly, Andrew Hatch, Vanja Josifovski, and Vijay K. Narayanan. Web-scale user modeling for targeting.

表 3 各素性グループを素性とした場合の AUC
素性グループ

AB

C

D

EF

G

ポジションのみ

0.8925 0.8250 0.7563 0.7938 0.7980 0.7342 0.7250

ページと広告の類似度

0.8937 0.8597 0.7594 0.8120 0.8047 0.7930 0.7368

ユーザーと広告の関連度 0.8940

0.8324 0.7649 0.8057 0.8200 0.7614 0.7286

広告の情報

0.8954 0.8775 0.7727 0.8304 0.8306 0.8220 0.7424

過去の配信実績情報

0.8938 0.8597 0.7648 0.8160 0.8144 0.7899 0.7339

全て0.8953 0.8781 0.7731 0.8322 0.8313 0.8234 0.7469
表 4 広告の情報を素性とした場合の AUC

素性詳細

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

BC

D

EF

G

0.8955 0.8761 0.7707 0.8282 0.8279 0.8208 0.7419

カテゴリ

0.8950 0.8523 0.7676 0.8176 0.8247 0.8090 0.7330

広告 ID

0.8947 0.8617 0.7687 0.8125 0.8142 0.7822 0.7334

広告グループ ID 0.8948

0.8617 0.7691 0.8135 0.8157 0.7888 0.7342

キャンペーン ID 0.8956

0.8717 0.7696 0.8240 0.8219 0.8071 0.7367

広告主 ID[3]A

語句

0.8947 0.8712 0.7685 0.8235 0.8232 0.8121 0.7381

In Proceedings of the 21st international conference companion on World Wide Web, WWW ’12 Companion, pp. 3–12,New York, NY, USA, 2012. ACM.
Leo Breiman. Random forests. Mach. Learn., Vol. 45, No. 1,pp. 5–32, October 2001.
Andrei Z. Broder, David Carmel, Michael Herscovici, Aya
Soﬀer, and Jason Zien. Eﬃcient query evaluation using a
two-level retrieval process. In Proceedings of the twelfth international conference on Information and knowledge management, CIKM ’03, pp. 426–434, New York, NY, USA,2003. ACM.
Andrei Broder, Marcus Fontoura, Vanja Josifovski, andLance Riedel. A semantic approach to contextual advertising. In Proceedings of the 30th annual international ACM
SIGIR conference on Research and development in information retrieval, SIGIR ’07, pp. 559–566, New York, NY,USA, 2007. ACM.
Andrei Broder and Vanja Josifovski. Introduction to computational advertising. http://www.stanford.edu/class/msande239/. Accessed: 14/12/2012.
Haibin Cheng and Erick Cantú-Paz. Personalized click prediction in sponsored search. In Proceedings of the third
ACM international conference on Web search and datamining, WSDM ’10, pp. 351–360, New York, NY, USA,2010. ACM.
Haibin Cheng, Roelof van Zwol, Javad Azimi, Eren Manavoglu, Ruofei Zhang, Yang Zhou, and Vidhya Navalpakkam. Multimedia features for click prediction of newads in display advertising. In Proceedings of the 18th ACM
SIGKDD international conference on Knowledge discovery
and data mining, KDD ’12, pp. 777–785, New York, NY,USA, 2012. ACM.
Nick Craswell, Onno Zoeter, Michael Taylor, and Bill Ramsey. An experimental comparison of click position-bias models. In Proceedings of the 2008 International Conference on
Web Search and Data Mining, WSDM ’08, pp. 87–94, NewYork, NY, USA, 2008. ACM.
Kushal S. Dave and Vasudeva Varma. Learning the clickthrough rate for rare/new ads from similar ads. In Proceedings of the 33rd international ACM SIGIR conference on
Research and development in information retrieval, SIGIR’10, pp. 897–898, New York, NY, USA, 2010. ACM.
Marcus Fontoura, Vanja Josifovski, Jinhui Liu, Srihari
Venkatesan, Xiangfei Zhu, and Jason Zien. Evaluation
strategies for top-k queries over memory-resident inverted

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

indexes. In Proceedings of the 37th International Conference on Very Large Data Bases, Vol. 4, pp. 1213–1224, 2011.
Jerome H. Friedman. Stochastic gradient boosting. Comput. Stat. Data Anal., Vol. 38, No. 4, pp. 367–378, February
2002.
Thore Graepel, Joaquin Quinonero Candela, Thomas
Borchert, and Ralf Herbrich. Web-scale bayesian clickthrough rate prediction for sponsored search advertising in
microsoft’s bing search engine. In Proceedings of the 27thInternational Conference on Machine Learning, pp. 13–20,
2010.
Andrew Hatch, Abraham Bagherjeiran, and Adwait Ratnaparkhi. Clickable terms for contextual advertising. InADKDD, 2010.
Kuang-chih Lee, Burkay Orten, Ali Dasdan, and Wentong
Li. Estimating conversion rate in display advertising frompast performance data. In Proceedings of the 18th ACM
SIGKDD international conference on Knowledge discovery
and data mining, KDD ’12, pp. 768–776, New York, NY,USA, 2012. ACM.
Christopher D. Manning, Prabhakar Raghavan, and Hinrich
Schtze. Introduction to Information Retrieval. Cambridge
University Press, 2008.
Adwait Ratnaparkhi. A hidden class page-ad probability
model for contextual advertising. In Workshop on Targeting and Ranking for Online Advertising at the 17th International World Wide Web Conference, 2008.
Rómer Rosales, Haibin Cheng, and Eren Manavoglu. Postclick conversion modeling and analysis for non-guaranteed
delivery display advertising. In Proceedings of the fifth ACM
international conference on Web search and data mining,
WSDM ’12, pp. 293–302, New York, NY, USA, 2012. ACM.
Lucas Silva, Aaron Davis, and Henrique Ribeiro. A featureengineering approach for click-through rate prediction: Kdd
cup track 2. In KDD Workshop, 2012.
Kuan-Wei Wu, Chun-Sung Ferng, Chia-Hua Ho, An-ChunLiang, Chun-Heng Huang, Wei-Yuan Shen, Jyun-Yu Jiang,Ming-Hao Yang, Ting-Wei Lin, Ching-Pei Lee, Perng-Hwa
Kung, Chin-En Wang, Ting-Wei Ku, Chun-Yen Ho, Yi-Shu
Tai, I-Kuei Chen, Wei-Lun Huang, Che-Ping Chou, Tse-JuLin, Han-Jay Yang, Yen-Kai Wang, Cheng-Te Li, Shou-De
Lin, and Hsuan-Tien Lin. A two-stage ensemble of diversemodels for advertisement ranking in kdd cup 2012. In KDD
Workshop, 2012.
Wen-tau Yih and Ning Jiang. Similarity models for ad rel-evance measures. In MLOAD - NIPS 2010 Workshop on
online advertising, pp. 32–38, 2010.
[22] Shuai Yuan, Ahmad Zainal Abidin, Marc Sloan, and JunWang. Internet advertising: An interplay among advertisers, online publishers, ad exchanges and web users. CoRR,
2012.
[23] Wei Vivian Zhang and Rosie Jones. Comparing click logs
and editorial labels for training query rewriting. In A workshop at the 16th International World Wide Web Conference, 2007.