DEIM2021 H13-4

ニュース記事の品質が広告消費行動に与える影響の調査
飯塚洸二郎†

加藤

誠††

関

喜史†

† 株式会社 Gunosy 〒 107-6016 東京都港区赤坂 1-12-32†† 筑波大学 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †{kojiro.iizuka,yoshifumi.seki}@gunosy.com, ††mpkato@acm.org
あらまし 本論文では，推薦するニュース記事の品質がユーザの広告消費活動に与える影響を調査する．まず我々は，
ニュースアプリケーションの実サービスログを分析することによって，記事の品質と広告の消費傾向には相関がある
ことを確認した．次に，コンテンツの品質と広告の消費に関する因果関係を調査するために，A/B テストを用いた大規模なオンライン実験を行った．結果として，高品質な記事を掲出したユーザ群の広告の消費指標は全体的に上昇し，
特にコンバージョンに関する指標が顕著に増加することを確認した．最後に，これらの知見を活かし，広告の消費情報を活用することが，コンテンツ品質の分類性能の向上につながることを示した．
キーワード ニュース推薦，オンライン広告，ユーザ行動分析
よって，記事の品質と広告消費の因果関係を検証した．例えば，

1 はじめに
近年，ニュース推薦システムは，ユーザの情報ニーズを満たす重要な役割を果たしている．ウェブ上には数え切れないほどのニュースが毎日生み出されており，そうした中で推薦システ
ムは，ユーザの興味にあった記事や，有用性の高い記事を提供している [1]．このようなニュースを提供するサービスの多くは，推薦する記事コンテンツと広告（製品，サービス，情報などを広告するアイテム）を混合したランキングをユーザに掲出する．サービス上で，ユーザに継続的にサービス価値を提供し続けるためには，ユーザが満足するコンテンツを提供すると同時に，収益をあげていく必要がある．このユーザ満足度と収益のバランスを取るためには，ユーザ行動において，コンテンツと広告が相互に与える影響を解明することが重要な研究課題である．
情報検索や情報検索の分野において，クリック情報に基づくユーザ行動分析は古くから行われてきた [2] [3] [4] が，コンテンツと広告に相互作用をもたらす要因については未解明な部分がある．一般に，ユーザが起こすクリック行動は，ポジショ
ン [5] [6]，信頼性 [7]，品質 [7], プレゼンテーション [8]，配信手
段 [9] などのバイアスに作用されることが知られている．近年
では，これらのバイアスを考慮し，ユーザの主観的な知覚に基づく行動分析が行われている [10]．また，推薦コンテンツに対するユーザ満足度と，広告に対する収益を直接的に同時に最適化する試みも始まっている [11] [12]．しかしながら，これらの研究は推薦するコンテンツと広告を同時に最適化しているものの，コンテンツ自体が広告の消費に与える影響は考慮していな
かった．そのため，コンテンツが広告の消費に影響を与える場
合，全体的なパフォーマンスの最適化が行えない懸念が残る．
そこで本研究では，ニュース記事の品質がユーザの広告の消費行動に与える影響を調査する．記事の品質と広告の消費に関する相関分析からはじめ，A/B テストによるオンライン実験に

記事の品質が広告の消費に与える影響とは，図 1 のようなケースである．また，これらの分析で得られた知見を活かし，広告の消費行動を特徴量に加えることで，記事品質の予測性能を向上させることを目指した．
オフライン調査に用いたデータには，大規模なオンライン
ニュースサービスのおけるニュース記事と，記事と広告に対するユーザのユーザーフィードバックログを用いた．ニュースの記事の品質は，専門家と単語のマッチングによる機械的な判別を交えて高品質と低品質の 2 つに事前に分類した．結果として
は，記事の品質は広告の消費活動，特にコンバージョン率に対して相関が見られた．A/B テストでは，専門家が判定した高品質の記事を優先的にユーザに提示する群と，既存のシステムの出力をユーザに提示する群の 2 つに分け，広告消費の変化を観測した．結果として，高品質の記事をユーザに提示することで，コンバージョン率をはじめとする広告の指標が改善し，ユーザの広告消費が促進することが確認できた．これは，高品質なコ
ンテンツを提供することがサービスの信頼度を高め，結果としてコンバージョンという深いユーザアクションにつながったのではないかと考えられる．これらの知見を活かし，広告のコンバージョンなどのフィードバックは，記事品質の分類精度に寄与するのではないかと考えた．実際に，ツリーベースの予測モ
デルを用いて記事品質の分類精度を計測したところ，広告の特徴量を加えることで，分類精度が向上することが確認できた．
本研究の貢献は以下のようにまとめられる．

•

ニュースの品質が広告の消費に与える影響を調査する新

しい設定の問題に取り組んだ．

•

オフラインでの分析と，A/B テストを用いたオンライン

実験によって，ニュースの品質は広告の消費に影響を及ぼすことを確認した．特に，高品質の記事を優先的にユーザに提示することは，コンバージョン率をはじめとする広告指標の改善につながった．

•

広告の消費情報を活用することで，ニュースの品質の予ランキング

品質

記事A
記事B

ランキング

品質

高

記事C

低

高

記事D

低

広告

広告消費

有り

広告

広告消費

た研究がある．Belkin らは，ユーザが検索結果に対して感じる有用性は，ユーザのコンテキストに依存すると論じた [14]．

Mao らは，検索結果の有用性がユーザの満足度に相関すること無し

図 1 記事の品質が広告の消費に与える影響例を示した [15]．Jiang らは，適合度，有用性，真新しさ，理解のしやすさ，信頼性，結果を得るための労力，という多次元の尺度で検索結果の評価した [16]．結果として，多次元の尺度を測の精度が向上することを示した．
本論文の構成は下記のとおりである．第 2 章では，関連研
究と本研究での差分を記述する．第 3 章では，分析に用いる
ニュース記事の分類の定義とニュースサービスにおける行動形
式について述べる．第 4 章では，サービスログを用いた分析と結果について報告する．第 5 章では，A/B テストを用いたオ
ンライン実験の設定と結果について報告する．第 6 章では，広告のフィードバックを用いた記事品質の分類性能について述べる．第 7 章では，結論と今後の展望を述べる．

用いる評価は，有用性のみを用いて評価する場合よりも，より正確にユーザ体験を評価できることを示した．また，ユーザがコンテンツをクリックした後に評価する場合と，ユーザがセッ
ションを終えた後に評価する場合では，ユーザのコンテキストの違いに起因して評価結果が異なることを示した [16]．さらに，ニュースの記事の品質がユーザ体験に影響を与えることという報告もある [10] [17]. Lu らは，タイトルでユーザの目を引くよ
うな品質の低い記事は，クリックされやすいことを示し，低品
質記事を閲覧することが，その後のユーザの記事閲覧行動に悪影響を及ぼすことを示した [17]．特に，品質の低い記事がユー

2 関連研究ザ行動に対して与える影響についても調査を行った [10]．
これらの研究のスコープは，ユーザが知覚したコンテンツの

この章では，推薦コンテンツと広告の最適化，ユーザ行動分

品質がその後のコンテンツの消費に対して与える影響であった．

析，記事品質の予測の 3 つの関連する研究トピックに関して，対して本研究は，ユーザに対して掲出したコンテンツの品質が，研究の方向性をレビューする．

異なるドメインである広告の消費活動に対して与える影響を分

2. 1 推薦コンテンツと広告の最適化
ソーシャルネットワークサービスやニューサービスを始めと析することに注力する．

2. 3 記事品質の予測するウェブサービスは，ユーザを惹き付けるコンテンツと，企ソーシャルネットワークサービスの普及により情報の拡散力

業の収益源となる広告の両方をユーザに掲出している．そこで，が高まったことで，拡散される情報の品質がより多くの人に影推薦コンテンツによるユーザ満足度と広告による収益の両方を響を及ぼすようになった [18]．そのため，コンテンツの品質を最適化する問題が研究の対象になっている．Zhao らは，処理の予測する研究が盛んに行われてる．

第一段階で長期的なユーザ体験を考慮した推薦ランキングを生

低品質な記事を予測する問題として，クリックベイトやフェ成し，第二段階で利益とユーザ体験のバランスを取りつつ広告

イクニュースを予測する研究がある. Chakraborty らは，クを推薦ランキングに挿入する手法を提案した [11]．Wang らは，リックベイトの予測を活用してブラウザ上でクリックベイト記

広告を挿入する位置や数を固定ではなく，動的に挿入する強化事に対する警告を発するシステムを開発した [19]．Indurthi ら学習ベースの手法を提案した [13]．Yan らは，ニュースフィー

は，クリックベイトの二値分類を行うのではなく，クリックベドにおいて，記事と記事の間に挿入する広告の位置を最適化す

イトの強さを回帰問題として扱った [20]．Biyani らは，クリッる手法の提案を行った [12]．

クベイトに関する定義を行い，ウェブコンテンツにおける URL

これらの研究は，コンテンツと広告を独立のものとして扱い，や，タイトルと本文の類似度などのコンテンツ情報がクリッ推薦コンテンツと広告の位置や数を最適化している．これらのクベイトの予測に寄与することを示した [21]．Potthast らは，研究の前提として，コンテンツと広告の相互作用が存在するのソーシャルメディアにおけるクリックベイトのデータセットのか，あるとしたらどの程度存在するのかを明らかにすることは，構築を行い，クリックベイトの予測を 255 もの特徴量を用い重要な研究トピックであると考えられる．

た予測モデルを構築した [22]．Shu らは，フェイクニュースに

2. 2 ユーザ行動分析
情報検索や情報検索の分野において，クリック情報に基づ
く行動分析は古くから行われてきた [2] [3] [4]．しかしながら，ユーザが起こすクリック行動は，ポジション [5] [6]，信頼性 [7]，
品質 [7], プレゼンテーション [8]，配信手段 [9] などのバイアスに作用される．近年では，これらのバイアスを考慮し，ユーザの主観的な知覚や，コンテンツの品質自体を考慮した行動分析が行われている．
ユーザの主観的な知覚として，コンテンツの有用性に着目し関する包括的なレビューを行い，ソーシャルネットワークサー
ビスにおけるユーザエンゲージメント情報を活用することが，フェイクニュースの予測に寄与することを示した [23]．Zhou らは，フェイクニュースに関する研究課題をまとめ，自然言語処
理や情報検索など様々な分野におけるつながりを含めた研究の方向性を示した [24]．
高品質な記事を予測する問題として，Lu らは，記事に対す
る暗黙的フィードバックから記事の品質を予測できるかを論じた [17]．Jiang らは，検索結果である文書に対する有用性，真新しさ，理解のしやすさ，信頼性を暗黙的フィードバックから暴力的，残虐的な単語をリストアップし，タイトルと本文に 1
つでも一致する単語が含まれているニュース記事を低品質した．
高品質の記事については，文章の客観性や正確性，適切な情報量を判定する必要があるため，専門家による判定を行った．本
研究では，これらの高品質，低品質に分類された記事を扱う．

3. 3 ニュース閲覧の設定
Google ニュース，Yahoo!ニュースや Gunosy などのニュー
スフィードを利用してウェブの情報を取得するユーザは，特にスマートフォン端末を利用するケースで顕著に増えている．
ユーザはニュースフィードサービスに訪問した際に，ユーザの興味に基づくニュース記事やニュース動画などのコンテンツを推薦されると同時に，コンテンツの間にネイティブ広告と呼ばれる広告を推薦される．典型的なインターフェースは，図 2 に示されているように，タイトルと画像つきのニュース記事がラ
図 2 典型的なランキング形式のニュースシステムである Gunosy のサービスイメージ．

ンキング形式で縦に整列されている．
ニュースフィードサービスは，ユーザがランキング形式のフィードをスクロールする度に，新たなニュース記事や広告を予測する手法を示した [16]．

一定の量まで表示し続ける．ユーザがランキングにおける記

これらの研究は，記事コンテンツの特徴や，ユーザの記事に事のタイトルや画像をクリックすると，システムはクリックさ対する暗黙的フィードバックを活用し，ソーシャルネットワー

れたニュース記事の本文や画像の詳細コンテンツを表示する．

クのエンゲージメントを付加情報として活用し，記事品質を予コンテンツの閲覧は任意のタイミングに中断することができ，測する研究であった．対して，本研究では比較的安価に手に入中断した場合は，元のランキングにおけるクリックした位置にれることができる，ニュースフィードにおける広告のフィード

戻る．このように，ユーザはアプリケーションに訪問したセッ

バックを付加情報として活用し，記事品質の予測性能を向上さ

ションにおいて複数の記事を閲覧することができる．また，こせることを目指す．

れらの一連の動作において，ユーザは任意のタイミングでシス
テムの利用を止めることができる．

3 準備

この章では，本論文で扱う記事品質とニュース閲覧の設定について述べる．

3. 1 品質の定義

4 ログベースの分析
この章では，分析に利用するデータセットと指標について記述する．また，記事の品質と消費行動の関係性，記事の品質と
広告消費行動の関係性について調査する．

既存研究と同様にニュースの記事品質については，下記の４つの項目を考慮する [17]．

4. 1 ユーザフィードバックの取得

信憑性 信憑性が高いとは，そのニュースが本物であるか，信我々は日本のニュースサービスである Gunosy において，30

頼性が高いことを意味する．逆に，内容が想像上のものや誇張

日分のユーザーフィードバックを収集した．このユーザーフィー

されたものであれば，ニュースの信憑性は低い．

ドバックは，システムがユーザに記事を表示したログや，ユー

価値 ニュースの一部に下品，暴力的，残虐的，ポルノ的な要ザが記事をクリックしたログに加えて，広告の表示とクリック，

素を含む場合，価値は低い．

さらには広告のコンバージョンデータが含まれる．ここで，コ

表現 文章が客観的かつ正確であり，情報が豊富だが冗長ではンバージョンとは広告をクリックした後に，広告に紹介されてない場合の表現は，表現の品質が高い．

いる他のアプリケーションをダウンロードする行為や，広告商

見出し ニュースの見出しが不完全または偽物，表現が大げさ，

品の詳細情報を請求する行為を指す．

下品または，記事の本文と矛盾している場合，タイトルの品質

記事はランキング形式でユーザに表示されており，ランキンが低い．

グにおける各ポジションにおいてデータは収集可能である．ここれらの項目を考慮し，本研究では，高品質，低品質に記事をの章の分析においては，ランキングの上位 3 件に表示される

分類する．

ニュース記事と，上位 3 件の記事の間に表示される広告のみを

3. 2 品質の判定
品質の判定は，専門家による判定と，単語の一致による機械的判定を用いる．まず低品質の記事については，事前に下品，対象にデータの集計を行った．ビジネスの観点から詳細な数は報告することができないが，収集したログのユーザのセッション数は合計 1,000 万を超えている．

"SUJDMFO4FTTJPO-FOHUI
















-PX2VBMJUZ)JHI2VBMJUZ

図3-PX2VBMJUZ

記事品質と ArticleCTR)JHI2VBMJUZ

図 5 記事品質と記事滞在時間













"EO$53"SUJDMFO4DSPMMF3BUF







"EO$73"SUJDMFO$53













-PX2VBMJUZ)JHI2VBMJUZ

図 4 記事品質と記事スクロール率

4. 2 インタラクション指標
記事と広告の消費に関する指標には，クリックをベースにし-PX2VBMJUZ)JHI2VBMJUZ-PX2VBMJUZ)JHI2VBMJUZ

図 6 記事品質と広告 CTR，広告 CVR

な情報を確認しに来たユーザが多いことに起因すると考えられる．一方で，低品質な記事は，クリックベイトな記事が多いこ

た指標とコンバージョンの指標を用いる．

とに起因して，ユーザが記事の中身が期待に反したコンテンツ

Article Click-Through Rate (ArticleCTR) ユ ー ザ がであると分かったあとで離脱したり，画像だけを閲覧しに来た記事をクリックした数を，記事が表示された回数で割った値．

ユーザが記事の途中で離脱していると考えられる．

ArticleScrollRate ユーザが記事を読んだ長さを記事の全体

4. 5 記事品質と記事滞在時間の関係の長さで割った値．

ArticleSessionLength ユーザが記事に滞在した時間の長さ．
Ad Click-Through Rate (AdCTR) ユーザが広告をクリックした数を，広告が表示された回数で割った値．

Ad Conversion Rate (AdCVR) 広告の詳細ページにおいて，コンバージョンした回数をクリックした数を回数で割った値．
なお，各指標をそのまま用いることは，ビジネス上のリスクがあるため各指標を正規化を行った．例えば，Article CTR に
ついては，全ての記事の CTR の中で最も大きい値で各記事の CTR を割った値である Article normalized-CTR (Artcile

nCTR) を本論文では掲載する．また同様に Ad CVR も Ad
nCVR を掲載する．
4. 3 記事品質と ArticleCTR の関係

図 5 に記事品質と記事滞在時間の関係を示す．左の図は，記事品質ごとに分けた記事滞在時間の箱ひげ図であり，右図は記
事品質ごとに分けた記事滞在時間のカーネル密度推定を用いた
確率密度関数である．
全体として高品質な記事は，低品質の記事に比べて，滞在時間が長いことが見て取れる．これは，高品質な記事は，低品質な記事に比べて文章量が多いことに起因すると考えられる．一方で，低品質な記事は，記事の文章量が少ない，またはスクロール率の結果が示すとおり，最後まで閲覧されることが少な
いと考えら得れる．
以上の，記事の品質が記事の閲覧行動に与える影響は，既存研究でも一部報告されている内容と同様であった [17] [10]．そのため，我々が本論文で利用しているニュースアプリケーションのデータセットは，他のニュースアプリケーションにおける

図 3 に記事品質と ArticleCTR の関係を示す．左の図は，記

データセットと同様の特性を持っていると考えられる．

事品質ごとに分けた Article nCTR の箱ひげ図であり，右図は4. 5. 1 記事品質と広告 CTR，広告 CVR の関係

記事品質ごとに分けた Article nCTR のカーネル密度推定を用いた確率密度関数である．

図 6 に記事品質と広告 CTR と広告 CVR の関係を示す．こ
れらの結果は，記事と一緒に表示された広告が，低品質または記事の品質が低い場合のクリック確率の中央値は，低品質の高品質のいずれの記事と一緒に表示されているかを用いて算出

記事よりも高く，また分布の広がりも大きいことが見て取れる．

した結果である．左の図は，記事品質ごとに分けた広告 CTRであり，記事品質ごとに分けた広告 CVR である．

4. 4 記事品質と記事スクロール率の関係

高品質な記事が，広告と共にユーザに掲出されている場合，

図 4 に記事品質と記事スクロール率の関係を示す．左の図は，低品質な記事が掲出されている場合と比べ，広告の CTR は高

記事品質ごとに分けたスクロール率の箱ひげ図であり，右図はいことが分かる．また同様に，高品質の記事の場合は，低品質

記事品質ごとに分けたスクロール率のカーネル密度推定を用いな場合に比べて，広告の CVR が顕著に高いことが分かる．

た確率密度関数である．

これは，低品質な記事は，高品質記事に比べてユーザの視全体として高品質な記事は，低品質の記事に比べて，スク

線を集めることから，広告のクリックも奪っていることが広ロール率が高いことが見て取れる．これは，高品質な記事は，

告 CTR の低下につながっていると考えられる．一方で，広告タイトルを見るだけでニュースの概要が把握できた上で，詳細

CVR の結果は，広告をクリックした上で実際に広告商品に対コンバージョンに関する指標が大きく上昇している．広告ク

表 1 広告指標に関するオンライン実験結果

AdCTR AdCVR AdCV/DAU Sales/DAU

リックに関する指標も上昇しており，最終的な売上に関する指iOS Uplift+1.71%+2.37%+5.34%+3.61%

標も向上していることが見て取れる．以上の結果から，記事のAndroid Uplift+3.17%+4.27%+7.63%+5.59%

品質は，広告の消費に影響を及ぼすことが分かった．
以上から，記事の品質が広告の消費行動に影響があることがするコンバージョンが増えていることを意味する．これは，高A/B テストから明らかになった．

品質な記事をユーザに掲出することが，ユーザの信頼性を高め，結果として広告商品の購入といった深いユーザ行動につながっ

6 広告のフィードバックを活用した記事品質の予測ているのではないかと考えられる．しかしながら，これらのログベースの分析には，様々な交絡要素が存在するため，記事の品質がユーザ行動に与える影響を正確に見積もることは難しい．
そこで，次の章では，実際にランダム化比較試験を行うことで，記事の品質と広告の消費についての因果関係を確かめる．

この章では，記事の暗黙的フィードバックに加えて，広告の暗黙的フィードバックを活用することで，記事品質の予測性能が向上するかを検証する．
これまでの分析からニュースの品質はユーザの広告の消費に影響を及ぼすと結論づけた．本研究では，内部の専門家のアノ

5 オンライン実験

テーションによって，ニュースの品質の一部をラベル付けしていた．この方法は信頼性は高いが，コストが高く，実際のアプ

この章では，A/B テストを用いたオンライン実験について報

リケーションに適用するのは難しい．このように，ニュースの告する．前の章までの分析において，記事の品質は，記事や広品質をどのようにして取得するかは重要な研究課題である．

告の消費と相関があることが確認できた．そこで，A/B テスト

品質を付与するもう一つの方法は，品質を自動的に予測するによるランダム化比較試験によって，記事の品質と広告の消費方法である．従来の予測モデルは，ニュースのコンテンツの情についての因果関係を確かめることが本章の目的である．特に，報や，ニュースの暗黙的フィードバックを活用していた．本研

高品質の記事がユーザの広告消費行動に与える影響を調査する．

究では，ニュース自体から得られる情報に加えて，さらに広告

5. 1 設定

ログベースの分析と同様に，オンラインニュースサービスである Gunosy において実験を行った．A/B テストにおけるユー
ザの分割としては，ユーザがサービスを開いた際に最も最初にの暗黙的フィードバックを活用することで，予測精度を向上させることを目指す．

6. 1 学習

学習には，下記の特徴量を用いた．

表示される画面上に，高品質な記事を優先的に表示するユーザ

ArticleCTR 記事の Click Through Rate．

を treatment 群に，意図的に高品質な記事を表示しないユーザ

MediaName 記事の提供元であるメディア名．

を control 群に分けた．ここで，高品質な記事は，オフライン

ScrollRate 記事のスクロール率．

分析と同様に，専門家による人手を介して判定された記事であSessionLength 記事の閲覧時間．

る．高品質な記事を優先的に表示するとは，ランキングの上位

MediaCVR メディアごとに集計した CVR．

3 つの記事を高品質記事に限定することを指す．意図的に高品

ArticleCVR 記事ごとに集計した CVR．

質を表示しないとは，サービス上の既存アルゴリズムの結果をMediaCVR と ArticleCVR が，広告フィードバックを用いそのまま出力することを指す．高品質な記事を固定するタイミ

た特徴量であり，それ以外が記事自体のフィードバック情報でングは，朝 8 時から夜 21 時までの間において最低 5 時間に一ある．MediaCVR は，ある記事が表示されたときに，同一セッ度とした．

ションで広告に対しておこされたコンバージョンをメディアご実験対象は，サービスにおけるユーザの一部を対象にした．

A/B テストの実施期間は，ログベースの分析を行った期間とは被らない一ヶ月である．

5. 2 結果得られた結果を表 1 に示す．DAU とは，Daily Active Userの略で，サービスにおける日毎のアクティブユーザの数である．

AdCV/DAU, Sales/DAU の指標に関しては，日毎に集計した値を全期間で平均した値を記している．集計結果は，iOS ユー
ザと Android ユーザに分けて記した．これは，過去の実験から，使用する端末の OS に応じて，実験結果が異なるケースがいくつか知られていたためである．

とに集計した値である．同様に ArticleCVR は，コンバージョ
ンを記事ごとに集計した値である．
学習のモデルには，ツリーベースの分類モデルである Light-

GBM 1 を用いた．学習のモデルに利用したパラメータとしては，
高品質か否かの二値分類を指定し，目的関数としては binary

logloss を用いた．その他のパラメータはデフォルト値を用いた．学習データは，train:validation:test=3:1:1 になるように分割し，学習と評価を行った．

6. 2 結果

モデルの学習結果を表 2 に記す．表において，広告の素性を用いない場合を w/o ad で表し，用いる場合は with ad で表し

全体的な結果として，高品質な記事を優先する treatment
ユーザ群の広告数値が改善していることが見て取れる．特に，

1：https://github.com/microsoft/LightGBM

Precision

Recall

F1-Score

Supportw/o ad with ad w/o ad with ad w/o ad with ad
Low Quality

0.908

0.924

0.948

0.963

0.928

0.943

1482

High Quality

0.534

0.671

0.380

0.483

0.443

0.561

226

0.873

0.899

1708

Macro Average

0.721

0.797

0.664

0.723

0.686

0.752

1708

Weighted Average

0.859

0.890

0.873

0.899

0.864

0.892

1708

Accuracy

表 2 記事品質の予測精度が確認できた．次に，記事の品質と広告の消費に関する因果関'FBUVSF*NQPSUBODF





係を調査するために，A/B テストを用いた大規模なオンライン



実験を行った．A/B テストにおける分割は，高品質な記事を優先的に表示させるユーザ群と，従来の推薦アルゴリズムの出力

をそのまま表示するユーザ群に分けて実験を行った．結果として，高品質な記事を掲出したユーザ群の広告の消費指標は全体的に上昇した．特に Android ユーザにおいては広告のクリック率が 3.17%上昇，コンバージョン率が 4.27%上昇，最終的な売"SUJDMF$73.FEJB$73

4FTTJPO-FOHUI

4DSPMM3BUF.FEJB/BNF"SUJDMF$53



上が 5.59%向上した．広告の消費は大幅に促進しつつ，ユーザの満足度に直結する指標である，ユーザのサービス継続率はどちらの群においても差はなかった．最後に，広告の消費情報を活用することで，記事品質の分類性能が向上することを確認した．特に，高品質記事の分類の性能が向上することによって，

図 7 Feature Importancemacro f1-score については 9.6%の向上があった．
今後の課題としては，より精緻な影響の調査があげられる．

ている．

特に，高品質記事を優先して表示したユーザー群のユーザー体

全体として，広告の素性を用いる場合の方が，用いない場合

験を詳細に分析する予定である．また，ユーザ体験と収益の双よりも分類性能が向上していることが見て取れる．特に，広告方を同時に最適化するする際に，記事品質による影響を考慮しの素性を用いることは，高品質記事の分類に大きく寄与してたロジックを組み込むことで，実際にユーザ体験と収益の向上いることが分かる．高品質記事は，低品質記事よりもアノテーを確認するのが今後の課題である．

ションの数が少なかったため，学習データは不均衡となっていた．そのため，ラベルの数で重みを付けた weighted average よ謝辞

りも macro average により顕著に学習結果の差が現れている．

この研究は，株式会社 Gunosy の，Media Machine Learning

この結果は，ユーザが接触した記事の品質と，広告消費量のチーム，Data Reliability Engineering (DRE) チーム，Busi-

相関分析の結果とも整合する．このように，広告のコンバー

ness Intelligence (BI) チーム，コンテンツ運用チームの協力のジョンに関するフィードバックは，今までは定量的に計測する

もと遂行されたものです．また，筑波大学の加藤研究室の皆様

ことが困難であったユーザが体感するサービスに対する品質やには，温かいご指導ご鞭撻を賜りました．特に，加藤准教授に

信頼性の一部を表現しているのではないかと考えられる．

は、研究の進め方や枠組みについて有益な助言をいただきました．この場を借りて深く御礼申し上げます．

7 まとめと今後の課題
近年の多くのウェブサービスは，ユーザを惹きつけるサービスの主要なコンテンツと，収益のための広告を混ぜてをユーザに掲出する．そのため，ユーザ行動におけるコンテンツと広告の相互作用を解明することが重要な研究課題である．本研究では，特にニュースサービスにおける記事の品質が，ユーザの広告消費行動に与える影響について調査した．
記事の品質の分類には，人手と機械的判別の両方を組み合わせて半自動的に高品質と低品質の分類を行った．コンテンツ
が広告の消費に与える影響の調査としては，まずオンライン
ニュースサービスにおけるログベースの相関分析を行った．結果として，記事の品質と，広告の消費傾向には相関があること

文

献[1] Jiahui Liu, Peter Dolan, and Elin Rønby Pedersen. Personalized news recommendation based on click behavior. In
Proceedings of the 15th international conference on Intelligent user interfaces, pp. 31–40, 2010.
[2] Georges E Dupret and Benjamin Piwowarski. A user browsing model to predict search engine click data from past observations. In Proceedings of the 31st annual international
ACM SIGIR conference on Research and development in
information retrieval, pp. 331–338, 2008.
[3] Yifan Hu, Yehuda Koren, and Chris Volinsky. Collaborative ﬁltering for implicit feedback datasets. In 2008 EighthIEEE International Conference on Data Mining, pp. 263–
272. Ieee, 2008.
[4] Rong Pan, Yunhong Zhou, Bin Cao, Nathan N Liu, Rajan

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

Lukose, Martin Scholz, and Qiang Yang. One-class collaborative ﬁltering. In 2008 Eighth IEEE International Conference on Data Mining, pp. 502–511. IEEE, 2008.
Thorsten Joachims, Laura Granka, Bing Pan, Helene Hembrooke, and Geri Gay. Accurately interpreting clickthroughdata as implicit feedback. In ACM SIGIR Forum, Vol. 51,
pp. 4–11. Acm New York, NY, USA, 2017.
Thorsten Joachims, Laura Granka, Bing Pan, Helene Hembrooke, Filip Radlinski, and Geri Gay. Evaluating the accuracy of implicit feedback from clicks and query reformulations in web search. ACM Transactions on Information
Systems (TOIS), Vol. 25, No. 2, pp. 7–es, 2007.
Yisong Yue, Rajan Patel, and Hein Roehrig. Beyond position bias: Examining result attractiveness as a source ofpresentation bias in clickthrough data. In Proceedings ofthe 19th international conference on World wide web, pp.
1011–1018, 2010.
Chao Wang, Yiqun Liu, Min Zhang, Shaoping Ma, Meihong
Zheng, Jing Qian, and Kuo Zhang. Incorporating verticalresults into search click models. In Proceedings of the 36th
international ACM SIGIR conference on Research and development in information retrieval, pp. 503–512, 2013.
Jimmy Lin, Salman Mohammed, Royal Sequiera, andLuchen Tan. Update delivery mechanisms for prospective
information needs: An analysis of attention in mobile users.
In The 41st International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 785–
794, 2018.
Hongyu Lu, Min Zhang, Weizhi Ma, Ce Wang, Feng xia,
Yiqun Liu, Leyu Lin, and Shaoping Ma. Eﬀects of user
negative experience in mobile news streaming. In Proceedings of the 42nd International ACM SIGIR Conference on
Research and Development in Information Retrieval, SIGIR’19, p. 705–714, 2019.
Xiangyu Zhao, Xudong Zheng, Xiwang Yang, Xiaobing Liu,and Jiliang Tang. Jointly learning to recommend and advertise. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’20, p. 3319–3327, 2020.
Jinyun Yan, Zhiyuan Xu, Birjodh Tiwana, and Shaunak
Chatterjee. Ads allocation in feed via constrained optimization. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data
Mining, KDD ’20, p. 3386–3394, 2020.
Weixun Wang, Junqi Jin, Jianye Hao, Chunjie Chen, Chuan
Yu, Weinan Zhang, Jun Wang, Xiaotian Hao, Yixi Wang,
Han Li, Jian Xu, and Kun Gai. Learning adaptive display
exposure for real-time advertising. In Proceedings of the
28th ACM International Conference on Information andKnowledge Management, CIKM ’19, p. 2595–2603, 2019.
Nicholas J Belkin, Michael Cole, and Jingjing Liu. A modelfor evaluation of interactive information retrieval. In Proceedings of the SIGIR 2009 Workshop on the Future of IR
Evaluation, pp. 7–8, 2009.
Jiaxin Mao, Yiqun Liu, Ke Zhou, Jian-Yun Nie, Jingtao Song, Min Zhang, Shaoping Ma, Jiashen Sun, andHengliang Luo. When does relevance mean usefulness anduser satisfaction in web search? In Proceedings of the 39th
International ACM SIGIR conference on Research and Development in Information Retrieval, pp. 463–472, 2016.
Jiepu Jiang, Daqing He, and James Allan. Comparing insitu and multidimensional relevance judgments. In Proceedings of the 40th International ACM SIGIR Conference on
Research and Development in Information Retrieval, pp.
405–414, 2017.
Hongyu Lu, Min Zhang, Weizhi Ma, Yunqiu Shao, Yiqun
Liu, and Shaoping Ma. Quality eﬀects on user preferences
and behaviorsin mobile news streaming. In The World Wide

Web Conference, WWW ’19, p. 1187–1197, 2019.
[18] Hunt Allcott and Matthew Gentzkow. Social media and fakenews in the 2016 election. Journal of economic perspectives,
Vol. 31, No. 2, pp. 211–36, 2017.
[19] Abhijnan Chakraborty, Bhargavi Paranjape, Sourya
Kakarla, and Niloy Ganguly. Stop clickbait: Detecting andpreventing clickbaits in online news media. ASONAM ’16,
p. 9–16, 2016.
[20] Vijayasaradhi Indurthi, Bakhtiyar Syed, Manish Gupta,
and Vasudeva Varma. Predicting clickbait strength in online social media. In Proceedings of the 28th International
Conference on Computational Linguistics, pp. 4835–4846,
2020.
[21] Prakhar Biyani, Kostas Tsioutsiouliklis, and John Blackmer. ”8 amazing secrets for getting more clicks”: Detecting clickbaits in news streams using article informality. In
Proceedings of the Thirtieth AAAI Conference on Artiﬁcial
Intelligence, AAAI’16, p. 94–100, 2016.
[22] Martin Potthast, Sebastian Köpsel, Benno Stein, andMatthias Hagen. Clickbait detection. In European Conference on Information Retrieval, pp. 810–817. Springer,
2016.
[23] Kai Shu, Amy Sliva, Suhang Wang, Jiliang Tang, and Huan
Liu. Fake news detection on social media: A data mining perspective. ACM SIGKDD explorations newsletter,
Vol. 19, No. 1, pp. 22–36, 2017.
[24] Xinyi Zhou, Reza Zafarani, Kai Shu, and Huan Liu. Fakenews: Fundamental theories, detection strategies and challenges. In Proceedings of the Twelfth ACM International
Conference on Web Search and Data Mining, WSDM ’19,
p. 836–837, 2019.