DEIM Forum 2019 A7-2

クリックベイトなニュース記事の特定に向けたネガティブフィードバック分析
関喜史†

吉田 光男††† 株式会社 Gunosy 〒 106–6125 東京都港区六本木 6–10–1 六本木ヒルズ森タワー 25 階†† 豊橋技術科学大学 〒 441–8580 愛知県名豊橋市天伯町雲雀ヶ丘 1–1
E-mail: †yoshifumi.seki@gunosy.com, ††yoshida@cs.tut.ac.jp
あらましクリックベイトは釣りとも呼ばれ，ニュース記事のタイトルを過剰に表現することでユーザの閲覧行動を誘発する行為のことであり，近年問題になっている．ユーザがクリックベイトなニュース記事を閲覧するとユーザが不快になり，配信したニュース配信サービスの満足度を招く恐れがある．クリックベイトなニュース記事を分析し，特定することは社会的にもビジネス的にも重要な課題である．本研究ではユーザ行動を用いてクリックベイトなニュース記事の特定することを目指している．本稿ではスマートフォンにおけるニュース配信サービスであるグノシーのデータを利用し，ニュース記事に対するユーザからのネガティブなフィードバックの分析を行う．ユーザからの明示的なフィードバックはコンテンツを評価する情報源として重要であるが，クリックなどのようなユーザ行動ログと比較して数が少ないため活用方法を慎重に検討する必要がある. そこでネガティブなフィードバックを分析し，クリックベイトの特定に対してどのように利用することができるかを検討する．
キーワード ユーザ行動分析, ニュース推薦システム, ウェブサービス
ぎてしまうことがクリックベイトを引き起こしている．クリッ1 はじめに若者を中心に多くの人々がニュースを読む際にスマートフォンを利用しており [1]，スマートフォンでの閲覧に特化した新興のニュース媒体も数多く誕生している．スマートフォンのニュース閲覧では，Yahoo!ニュース 1 ，グノシー 2 ，SmartNews 3 のようなニュースアプリや，Twitter 4 ，Facebook 5 ，LINE 6 のような SNS（Social Networking Service）がよく用いられている．
新興のニュース媒体社はニュースアプリや SNS からの流入を効果的に獲得することで PV（ページビュー）を急激に増加させている．以前は PV が収益に直接つながらないこともあったが，近年では広告技術の進歩により媒体社は PV を高めることで収益を得やすくなった．

PV を高めることを目指した媒体運営が様々な問題を引き起こしており，本研究で取り上げるクリックベイトもこうした問
題の 1 つである．ユーザの関心を引くために過度に扇情的なタイトルをニュース記事に付けた結果，ユーザがそのニュース記事を読んだ際に騙されたと感じてしまうことを本研究ではクリックベイトと呼ぶ．ニュースアプリや SNS においてはニュース記事が閲覧されないと PV が発生しないことから，タイトルを工夫することでユーザを惹きつけ，PV 数を増やそうという試みを様々な媒体社が行なっているものの, その試みが行き過
1：https://news.yahoo.co.jp/
2：https://gunosy.com
3：https://www.smartnews.com/
4：https://twitter.com/
5：https://www.facebook.com/
6：https://line.me/

クベイトなニュース記事を閲覧したユーザは，利用していたニュースアプリや SNS に対して不満を持つ．そのためクリッ
クベイトなニュース記事を特定し，ユーザが閲覧しないようにすることは重要である.
例えば Facebook はクリックベイトの特定に力を入れており2014 年，2016 年，2017 年に対策していることを明らかにする告知を行っている [8–10]．また機械学習を用いてクリックベイトを特定しようという研究も行われている [3, 4, 11–14]．しかしクリックベイトは「騙された」という主観的な基準であることから，その判断は難しく，これらの研究で用いられたクリックベイトのデータセットが不十分である可能性も指摘されている [7]. このような背景から我々はニュースサービスにおけるユーザ行動を分析し，どのようなニュース記事がクリックベイトなのかを特定する試みを行っている [5, 6]．
本稿ではニュース配信サービスにおけるニュース記事に対するネガティブなフィードバックの分析を行う. ユーザからの明示的なフィードバックはコンテンツを評価する情報源として重要である．クリックなどのようなユーザ行動ログと比較して数が少ないため活用方法を慎重に検討する必要がある. そこでネ
ガティブなフィードバックを分析し，クリックベイトの特定に対してどのように利用することができるかを検討する．

2 データセット
2. 1 データの概要
本研究では株式会社 Gunosy が提供するスマートフォン向けニュース配信サービスであるグノシーのユーザ行動データを用

0.7
0.6
decrease similar > 0
decrease media > 0
negative > 0decrease similar > 5
decrease media > 5
negative > 5

rate

0.5
0.4
0.3
0.2
0.1
0.0
0

20000

40000
60000
threshold

80000

100000図 2 クリック数によるネガティブフィードバックを受けたニュース
図 1 グノシーのインタフェース: ニュース記事リスト画面と本文画記事の割合の変化: negative は decrease similar と decrease

面．ニュース記事リスト画面のセルをタップすると本文画面に遷media のどちらかのフィードバックを受けた場合とする． クリッ

移する．本文の末尾にはいいねボタンとフィードバックボタンがク数のしきい値をあげるとネガティブフィードバックを受けた設置されている．また下部のナビゲーションバーからいいねとニュース記事の割合が増えてくることがわかる．またネガティブフィードバックを行うこともできる．

フィードバックを複数回受けるニュース記事の比率はクリック数のしきい値を上げても少ないこともわかる．

いる. 用いたデータの期間は 2018 年 12 月 1 日午前 0 時から12 月 15 日 24 時までの 2 週間であり，この期間のニュース記
事へのクリック，ニュース記事への滞在時間，ニュース記事へのいいね，ニュース記事へのフィードバックをユーザ行動として扱う. 図 1 にグノシーのインタフェースを示す．ニュース記
事はタイトルとサムネイル画像によって構成されるセルのリストとして表示されており，ユーザはセルをタップすることで本文画面に遷移しニュース記事の本文を読むことができる．ユー
ザがセルをタップしたことがそのニュース記事をクリックしたことになる．
滞在時間は本文ページにどれだけ滞在したかを示す．滞在の終了条件は以下の 3 つである．

•

ニュース記事リスト画面に戻る•

関連記事などから別のニュース記事に遷移する•

アプリケーションをバックグラウンドにする, もしくは終了する．
いいねは本文の最下部，または本文画面の下部ナビゲーショ
ンバーのハート型のボタンをタップすることにより行うことができる．2018 年 12 月時点ではいいねを行ったニュース記事記事を閲覧できるようなユーザメリットは存在しない．
フィードバックは本文画面の最下部か下部ナビゲーション
バーより下記の 3 つのフィードバックを送ることができる．

•「メディア名」の記事を減らす (decrease media)•

類似の記事を減らす (decrease similar)•

その他

その他を選択した場合には記事へのご意見として自由記述の文章を送ることができる．
それぞれの行動データには行動種別，ユーザ識別子，対象記事識別子，日時が記録されている．ニュース記事データとしてはタイトル，URL，配信元メディア，配信カテゴリを用い，記事識別子を用いて行動データと組み合わせて分析を行う．

2. 2 行動データの分析とデータセットの構築
分析用のデータセットを構築するために，まず行動データの分析を行う．本稿の目的はクリックベイトなニュース記事の特定のためのネガティブなフィードバックの分析である．クリッ
クベイトなニュース記事はクリックを誘発することからクリッ
ク数が多くなると考えられる．まずはクリック数とネガティブなフィードバックの関係を確認する．
図 2 にクリック数によるネガティブフィードバックを受けたニュース記事の割合の変化を示す．“> 0” は 1 件以上フィードバックがあったニュース記事，“> 5” は 6 件以上フィードバックがあったニュース記事を表し，negative は decrease similarもしくは decrease media のどちらかが件数の条件を満たした場合を表す．行動データ全体におけるネガティブフィードバッ
クを 1 件以上受けたニュース記事の割合は 5%程度である．しかしクリック数のしきい値を上げていくとネガティブフィードバックを受けたニュース記事の割合は高くなり，20,000 クリッ
クをしきい値にした場合は decrease media, decrease similar
ともに 30%程度，どちらかではれば 40%程度のニュース記事がネガティブなフィードバックを受けたことになる．しかし 6件以上になるとその割合は大幅に下がり，クリック数のしきい値を 10,000 件にしても，10%未満である．このことから複数件のネガティブフィードバックは集まりにくいことがわかる．
次にカテゴリごとの傾向を比較する．ニュース記事のカテゴ
リごとにユーザ行動は大きく異なることは知られており [5]，ネ
ガティブフィードバックにおいてはどのような違いがあるかを確認する．表 1 にカテゴリごとのネガティブフィードバック率をしきい値ごとに示す．カテゴリごとにネガティブフィードバッ
クの傾向は大きく異なる．しきい値を高めるとネガティブフィードバック率が高くなることは全体に共通する特徴であるが，その上がり幅はカテゴリによって大きく異なる．表の中では政治表 2 データセットの構成

表 1 カテゴリごとのしきい値によるネガティブフィードバック率

thresholddecrease similar >0

decrease media >000

1000

50001000

政治

5.3% 22.1% 55.8%

7.1%

経済

2.2%

16.6%

社会

5.2% 12.2% 29.6%

国際

9.7% 28.0% 50.1%

5.8%

記事数

decrease similar decrease media>0>5>0>53817

820

37

883

36

5000

21.1% 35.3%

all

2.5%

5.3%

12.7%

政治

62

21

0

14

04.5%

10.1% 24.1%

経済

182

27

1

23

1

9.2%

22.5% 41.2%

社会

277

92

476

5102

53

2

44

1
0

テクノロジー

1.1%

2.9%

6.8%

1.2%

4.0%

11.4%

国際

スポーツ

3.3%

7.8%

27.2%

2.8%

6.2%

19.4%

テクノロジー

165

10

0

14

エンタメ

1.7% 13.1% 29.5%

2.2%

9.3%

21.7%

スポーツ

504

109

482

1

コラム

0.5%

3.0%

9.3%

0.8%

4.3%

13.5%

エンタメ

816

352

23274

25

グルメ

0.5%

0.8%

1.5%0.8%

1.4%

5.3%

コラム

708

67

298

1

まとめ

2.7%

3.2%

5.2%

3.0%

3.6%

5.9%

グルメ

121

2

070おもしろ

8.9% 10.7% 16.8% 11.5% 14.1% 22.4%

まとめ

714

73

098

1おもしろ

166

77

090

2

1.0

本研究はクリックベイトなニュース記事の特定を目的としてい0.8

る．クリックベイトなニュース記事はクリックを誘発するためクリック数は高くなるため，クリック数が高いニュース記事にrate

0.6

データセットを限定することは妥当である．クリック数がカテ

0.4

politics decrease similar > 0
pilitics decrease media > 0
politics negative > 0
entertainment decrease similar > 0
entertainment decrease media > 0
politics negative > 00.2
0.0020000

40000
60000
threshold

80000

100000図 3 政治カテゴリとエンタメカテゴリのクリック数によるネガティブフィードバック率の違い

ゴリごとに違うことを踏まえ，各カテゴリのクリック数上位10%のニュース記事を用いてデータセットを構築する．
構築したデータセットの記事数とネガティブフィードバックを受けた記事数の一覧を表 2 に示す．カテゴリごとのクリック数，ネガティブフィードバックの比率には大きな差がある．特に 6 件より多くネガティブフィードバックを受けた記事はエンタメカテゴリ以外にはほとんどない．表 1 と比較すると各カテゴリのネガティブフィードバック率が変化しており，一律ではなくカテゴリごとにしきい値を設定したことの影響が確認できと国際が非常に高く，しきい値 5,000 では decrease similar がる．以降このデータセットを用いる．

50%を超える．次いで社会，エンタメ，スポーツが 20%程度とガティブフィードバック率が低いカテゴリであった．また多く

3 ネガティブなフィードバックを受けたニュース記
事の予測のカテゴリでは decrease similar のほうがネガティブフィード

ネガティブなフィードバックを受けたニュース記事の予測をバック率が高いが，テクノロジーとおもしろは decrease media試みる．予測手法にはロジスティック回帰を，素性としてはタのほうが高く，フィードバックの種類の傾向も異なる．またしイトルの単語 (word)，分散表現による単語ベクトル (w2v)，配きい値による違いはカテゴリのクリック数の傾向にも依存する．

信元メディア (media) を用いる．単語はニュース記事のタイ

図 3 に政治カテゴリとエンタメカテゴリのクリック数のしきい

トルを MeCab と neologd を用いて分かち書きし，TF-IDF に値によるネガティブフィードバック率の変化を示す．しきい値よる重み付けを行う．IDF 値は本データセットではなく，配信が低いところでは政治のフィードバック率が高いが，しきい値対象となる大規模なニュース記事データから算出する．分散表が大きくなると政治はクリック数が高いニュース記事が少ない

現による単語ベクトルはタイトルに出現する単語の単語ベクため不安定になり，計測ができなくなる．一方でエンタメはしトルを idf 値による重み付け和したものを用いる．分散表現はきい値が高くなっても計測可能で高いネガティブフィードバッ

CBOW による word2vec によって構築した．配信元メディアク率になる．これは政治カテゴリよりエンタメカテゴリのほうは one-hot なカテゴリカル変数として与える．

高いカテゴリになる．一方グルメ，まとめ，テクノロジーはネがクリック数が高いことが一因である．このようにネガティブフィードバックの傾向はカテゴリによって大きく異なる．

表 3 に予測の評価を示す．評価は Accuracy, Precision, Re-call を 5 分割のクロスバリデーションによって求めた．単語を分析結果を踏まえ，データセットの構築を行う．ネガティブ用いた場合はまったく予測できておらず，すべてのニュース記フィードバックを受けたニュース記事の割合は全体としては低事をネガティブフィードバックなしとして予測している．デー

いものの，クリック数が多いニュース記事に限定すればその比タセットの規模がそこまで大きくないこと，そしてタイトル率は決して低くない．そしてネガティブフィードバック率の高のみを用いているため 1 記事あたりの単語数が少ないことが低やそのクリック数の関係はカテゴリによって大きくことなる．

表 3 ロジスティック回帰によるネガティブなフィードバックを受けたニュース記事の予測: 単語ではまったく予測できていない．分散表現とメディア情報によって一部を予測することができている．

accuracy precision recall
word

0.677

0.000

0.000

w2v

0.685

0.524

0.242

media

0.707

0.600

0.288

media+w2v

0.713

0.585

0.388

要因と考えられる．分散表現とメディアでは一部のネガティブフィードバックを受けたニュース記事を予測できており，メディア情報のほうが精度が高い．そして分散表現とメディアを組み合わせるとメディア単体と比較して Precision は若干下がるがRecall は向上しており，Accuracy も若干改善しており, 分散表現とメディアそれぞれを予測に活用できている．このように簡単な特徴である程度の予測が可能であることが明らかとなった．

4 ま と め本研究ではクリックベイトなニュース記事の特定にネガティブフィードバックを活用することを目的にネガティブフィードバックの分析を行った．配信されたニュース記事全体の中でネガティブなフィードバックを受けたニュース記事は非常に少な
いが，一定以上クリックされたニュース記事の中では少なくないニュース記事がネガティブなフィードバックをうけていた．
ニュース記事のカテゴリによってネガティブなフィードバックを受けたニュース記事の比率には大きな違いがあり，特に政治，国際，エンタメで高い．以上を踏まえ各カテゴリのクリック数上位 10%のニュース記事を用いてデータセットを作り，ネガティブなフィードバックを受けたニュース記事の予測を試みた．その結果，単語の分散表現とメディア情報を用いることでネガティブフィードバックを受けたニュース記事の一部が予測できた．
今回ネガティブフィードバックの数が少ないため，1 件以上のネガティブフィードバックを受けたニュース記事を対象としたが，ネガティブフィードバックを行うユーザの特性に非常に強い影響を受けていると考えられる．今後はネガティブフィードバックを行うユーザの特性を考慮した分析や分類を行っていきたい．

文

献[1] LINE 株式会社， 世代間のニュースサービス利用に関する意
識調査，https://linecorp．com/ja/pr/news/ja/2016/1267，2016．
[2] 藤代 裕之，ネットメディア覇権戦争 偽ニュースはなぜ生まれたか， 光文社， 2017．
[3] Abhijnan Chakraborty， Bhargavi Paranjape，Sourya
Kakarla，Niloy Ganguly，Stop Clickbait: Detecting andpreventing clickbaits in online news media， ASONAM，
2016．
[4] Peter Bourgonje， Julian Moreno Schneider， Georg Rehm，
From Clickbait to Fake News Detection: An Approachbased on Detecting the Stance of Headlines to Articles，
EMNLP Workshop， 2017．

[5] Yoshifumi Seki， Mitsuo Yoshida，Analysis of User Dwell
Time by Category in News Applicatiom，WI 2018 Workshop:The International Workshop on Web Personalization,
Recommender Systems,and Social Media (WPRSM2018)，
2018．
[6] 関 喜史，画像を想起するニュース記事によるクリックベイトの分析，第 10 回データ工学と情報マネジメントに関するフォーラ
ム，2018 年 3 月．
[7] 長尾 拓弥， 関 喜史， 吉田 光男， 梅村 恭司，クリックベイトの基礎研究における既存データセットの検証，NLP 若手の会第13 回シンポジウム， 2018 年 8 月．
[8] Facebook Newsroom， News Feed FYI: Click-baiting．
https://newsroom．fb．com/news/2014/08/news-feed-fyiclick-baiting/， 2014．
[9] Facebook Newsroom， News Feed FYI: Further Reducing
Clickbait in Feed， https://newsroom．fb．com/news/2016/08/news-feed-fyi-further-reducing-clickbait-in-feed/，
2016．
[10] Facebook Newsroom， News Feed FYI: New Updates to Reduce Clickbait Headlines， https://newsroom．fb．com/news/2017/05/news-feed-fyi-new-updates-toreduce-clickbait-headlines/， 2017．
[11] Hai-Tao Zheng， Xin Yao， Yong Jiang， Shu-Tao Xia， Xi
Xiao， Boost Clickbait Detection Based on User Behavior
Analysis， APWeb-WAIM， 2017．
[12] Ankesh Anand， Tanmoy Chakraborty， Noseong Park， We
Used Neural Networks to Detect Clickbaits: You Won t
Believe What Happened Next!， Advances in Information
Retrieval． ECIR 2017．
[13] Martin Potthast，Sebastian Kpsel， Benno Stein， Matthias
Hagen， Clickbait Detection， Advances in Information Retrieval． ECIR 2016．
[14] Md Main Uddin Rony， Naeemul Hassan， Mohammad
Yousuf． Diving Deep into Clickbaits: Who Use Themto What Extents in Which Topics with What Eﬀects?．
ASONAM， 2017．