修士学位論文

題目

スマートフォン端末に対する Web 広告配置方法の提案および比較調査

指導教員
楠本 真二 教授

報告者
中島 弘貴

平成 30 年 2 月 7 日

大阪大学 大学院情報科学研究科
コンピュータサイエンス専攻

平成 29 年度 修士学位論文

スマートフォン端末に対する Web 広告配置方法の提案および比較調査
中島

弘貴

内容梗概
Web は閲覧者に対する無償でのコンテンツの提供，およびコンテンツ提供者に対する広告収入によって成り立っている．Web 広告がもたらす収益の最大化を考える上で，広告をコンテンツ内のどの位置に，どのように配置するかはコンテンツ提供者にとって重要な問題である．特にスマートフォンのような画面領域が限られたデバイスでは，広告が画面を占有することでユーザが煩わしさを感じる可能性があることも考慮する必要がある．
本研究では，現在の一般的な 2 つの広告配置方法に加え，常にスクリーン最上部に表示する方法，
およびスクロール動作に追従する 2 つの方法を提案した．さらに，クラウドソーシングを用いた実験により，広告がユーザに与える煩わしさ，および広告の宣伝効果の観点から各広告配置方法の比較調査を行った．調査の結果，常にスクリーン最上部に表示する方法は煩わしさと宣伝効果がともに小さく，スクロール動作に追従する方法は煩わしさが大きい一方で宣伝効果は大きくないということが分かった．また，スクリーン最下部に表示する方法は煩わしさが中程度でありながら宣伝効果は大きいということが分かった．これらの調査結果から，コンテンツ提供者が自身の Web ページの運営戦略に基づいてどの配置方法を用いるべきかを示した．

主な用語

Web 広告モバイル環境クラウドソーシング

Prolific
被験者実験

目次
1

はじめに

1

2

準備

3

2.1

Web のエコシステム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.2

広告配信サービス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.3

既存の広告配置方法に対する課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.4

クラウドソーシング

4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3 Web 広告の配置方法と仮説

4

5

6

3.1

既存の配置方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

3.2

提案する配置方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

73.3各配置方法の性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

83.4

配置方法に対する仮説 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

実験

11

4.1

実験の概要

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

4.2

実験タスク

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

4.3

広告に関するアンケート . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

4.4

実験の流れ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

4.5

計測指標 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

実験結果

15

5.1

被験者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

5.2

広告の認識正答率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

5.3

広告の煩わしさ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

5.4

タスク完了までに要した時間 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

5.5

広告のクリック率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

5.6

広告に対するコメント文 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

6

議論

22

7

関連研究

25

7.1

広告によるユーザへの影響 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

7.2

広告によるデバイスへの影響 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

7.3

広告によるユーザのプライバシーへの影響 . . . . . . . . . . . . . . . . . . . . . . .

25

7.4

広告ブロック技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

i

7.5

クラウドソーシング. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

8

妥当性への脅威

28

9

おわりに

29

謝辞

30

参考文献

31

ii

図目次
1

Web のエコシステム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2

Prolific の仕組み . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43既存の配置方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

64

提案する配置方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

75配置方法による広告の煩わしさと宣伝効果に関する仮説 . . . . . . . . . . . . . . . .

96

アンケートの質問 1 の選択肢（緑枠は正解の選択肢） . . . . . . . . . . . . . . . . .

12

7

実験の流れ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

138

被験者の割合（年代） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

9

被験者の割合（男女比） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1510

被験者の割合（国籍） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

11

論理ピクセル数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

12

認識正答率の結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

13

広告の煩わしさと被験者の割合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

14

タスク完了までに要した時間の分布 . . . . . . . . . . . . . . . . . . . . . . . . . . .

1915

クリック率の結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

16

コメント文の分析結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

17

実験結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

iii

表目次
1

広告配信サービスの市場シェア (上位 3 件) . . . . . . . . . . . . . . . . . . . . . . .

42各配置方法の性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

83

実験結果の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

iv

1

はじめに
Web の収益モデルは閲覧者に対する無償でのコンテンツの提供，およびコンテンツ提供者に対する広告収入によって成り立っている．Web におけるこの関係は，一種の生態系（エコシステム）を形成しているとみなすことができる [1, 2, 3, 4, 5]．そのため，現在のような無償かつ手軽に情報を取得可能な Web を存続させるためには， Web 広告は欠かせない存在であるといえる．
このエコシステムにおいて，コンテンツ提供者が広告をページ上のどこに，どのように配置するかは重要な問題である．特にスマートフォンのような画面領域の限られたデバイスでは，広告の配置方法によってページの UI/UX が大きく低下する可能性がある．そのため，コンテンツ提供者は広告の配置方法によって生じる煩わしさと，広告による収益のトレードオフを考えながら，配置方法を決定する必要がある．もし広告を過剰に目立つように配置すると，短期的に見れば収益の増加が見込める
が，ユーザに煩わしさを与えることになる．そのため，広告の煩わしさがユーザ離れの原因となることで，長期的な収益の減少に繋がる恐れもある．一方で，もし広告を目立たないように配置すれば，短期間での収入の増加は期待できないが，ユーザに与える煩わしさが小さくなり，長期的に見れば収益も安定すると考えられる．
一般的に，コンテンツ提供者が広告をコンテンツに挿入する際は第三者の広告配信サービスを利用するが，この配信サービスでの広告配置方法は選択肢が少ない．例えば，Google AdSense [6] は広告
配信サービスの市場で約 4 割のシェアを占めている [7] が，提供している配置方法は静止広告とアンカー広告の 2 種類に限定されている．静止広告とは，ページ内の特定の位置に表示される広告である．アンカー広告とは，常に画面領域の下部に表示される広告である．静止広告はユーザがスクロールを行うと画面外に流れるため視界に入りにくく，ユーザに与える煩わしさも小さいと考えられる．
一方で，アンカー広告はスクロールを行っても画面下部に表示され続けるためユーザの視界に入りやすく，ユーザに与える煩わしさも大きいと考えられる．これらは両極端な性質を持っているため，
コンテンツ提供者が広告の配置方法を考える際に，広告による煩わしさと収入のトレードオフを考える余地がほとんどない．
また，配置方法によって広告がユーザに与える煩わしさの程度や，広告の宣伝効果についても明らかにされていない．そのため，コンテンツ提供者が新たな配置方法を検討するためには，配置方法によるこれらの影響についても調査を行う必要がある．
そこで本研究では，上記 2 つの課題を解決する．まず配置方法の選択肢が少なくトレードオフを考える余地がないという課題に対して，既存の 2 つの配置方法に加えて新たに 3 つの配置方法を提案する．さらに，配置方法による広告の煩わしさと宣伝効果が不明であるという課題に対して，クラウドソーシングサービスを用いてそれらの効果を定量的に調査する．調査では 250 人の被験者を対象として，スマートフォン上での広告の配置方法による煩わしさおよび宣伝効果の違いを比較する．
この調査結果をもとに，コンテンツ提供者が自身のページの運営戦略に基いて，どのような広告配置
方法を用いるべきかについて議論する．本研究の貢献は，以下の通りである．

1• 新たな Web 広告の配置方法を提案した• 被験者実験により各広告配置方法を比較した
以降，2 章では本研究において用いる用語等について述べる．3 章では Web 広告の配置方法およびそれらに対する仮説について説明する．4 章では本研究で行った実験について説明し，5 章で実験結果について述べる．6 章では実験結果に対する考察等の議論を行う．7 章では本研究に関連する研究について述べる．8 章では本研究における妥当性について議論する．最後に 9 章では本研究のまとめ
および今後の課題について述べる．

2

コンテンツ提供者

広告料

広告料

広告配信
サービス

広告掲載枠

広告掲載枠

Webコンテンツ
広告料

広告掲載枠

広告

広告の閲覧
(商品・サービスの認識)

広告主

ユーザ

図 1: Web のエコシステム

準備2

本章では，本研究で用いる用語や知識等の説明を行う．

2.1

Web のエコシステム

図 1 に，Web のエコシステムにおける三者の利益の享受関係を示す．このエコシステムにおいて，ユーザは Web を利用する一般の人々である．コンテンツ提供者は Web ページを作成，運営する人々である．広告主はページ上に掲載する広告を作成する人々である．ユーザはコンテンツ提供者から，
一般的には無償で Web コンテンツを享受している．広告主はコンテンツ提供者がページ上に設けた広告掲載枠に広告を掲示することで，コンテンツ提供者に広告料を支払っている．また，広告主が掲
載した広告をユーザが閲覧し，商品やサービスを認識・購入することによって，広告主は収益を得て
いる．

2.2

広告配信サービス

広告配信サービスとは，コンテンツ提供者の Web ページに広告主が作成した広告の配信を行うサービスである．図 1 中の左上の枠内に，広告配信サービスとコンテンツ提供者，および広告主の関係を

3

実験, 報酬

実験, 報酬

実験結果

実験結果

Researcher

Participants

図 2: Prolific の仕組み
示す．Datanyze の調査によると，Alexa[8] が集計しているアクセスランキング上位 100 万のドメインにおける広告配信サービスのシェアの上位 3 つは，表 1 のようになっている [7]．表 1 から，1 位の Google AdSense が広告配信サービスのシェアの 4 割以上を占めており，2 位の Xaxis を合わせると半分以上のシェアを占めていることが分かる．

2.3

既存の広告配置方法に対する課題

現在の広告配信サービスでは，広告の配置方法が静止広告またはアンカー広告の 2 種類に限定されており，コンテンツ提供者にとって選択肢が少ない．静止広告はユーザに与える煩わしさが小さく，広告による収益も少ないと考えられる．一方でアンカー広告はユーザに与える煩わしさが大きく，広告による収益も多いと考えられる．これらの配置方法は両極端な性質を持っており，コンテンツ提供者にとって広告の煩わしさと収益のトレードオフを考えることが難しい．そのため，既存の配置方法に加えて，より多くの配置方法があるべきだと考えられる．

2.4

クラウドソーシング

クラウドソーシングとは，インターネットを通じて不特定多数の人々に仕事を依頼するための仕組みである．クラウドソーシングをサービスとして提供する事業者は国内，国外を問わず数多く存在し

表 1: 広告配信サービスの市場シェア (上位 3 件)
サービス名

ドメイン数

シェア

Google Adsense

217,930

41.6%

Xaxis

50,491

9.7%

Bing Ads

23,5404.5%

4

[9, 10, 11, 12]，多くの既存研究で利用されている [13, 14, 15, 16]．
本研究ではこれらのサービスのうち，Prolific[17] を利用する．Prolific は研究者が大規模な被験者実験を行う際に，被験者の募集を容易に行えるよう支援することに特化したサービスである．図 2に，Prolific の仕組みを示す．Researcher と呼ばれる研究者は，Prolific に自身の実験内容，募集する被
験者数，各被験者に支払う報酬の金額を登録する．世界中に存在する Participants と呼ばれる Prolificの登録者は，研究者が登録した実験のタスクを行い，タスクが完了してその成果が研究者に受理されると報酬が支払われる．

5

A

A

A

A

Ads

Ads

A

A

Ads

Ads

Ads

静止広告

アンカー広告図 3: 既存の配置方法

Web 広告の配置方法と仮説

3

本章では，Web 広告の既存の配置方法と本研究で提案する配置方法を述べた上で，それらに対して立てた仮説について説明する．

3.1

既存の配置方法

現在用いられている主な広告配置方法は，以下の 2 つである．

• 静止広告静止広告とは，Web ページ内の特定の部分に表示される広告である．この配置方法ではユーザがスクロールを行うと，広告はページ内の他のコンテンツとともに画面外に流れる．そのため，
静止広告はユーザの視界に入りにくいと考えられる．

• アンカー広告
アンカー広告とは，ユーザがスクロールを行っても画面の下部に表示され続ける広告である．
一般的に Web のコンテンツは上から下に読む構造になっているため，この配置方法では広告がユーザの視界に入りやすいと考えられる．

6

Ads

Ads

A

A

A

Ads

Ads

Ads

A

A

A

A

A

A

Ads

Ads

Ads

Ads

アッパー広告フォワード広告

バックワード広告

図 4: 提案する配置方法
これらの配置方法とスクロール前後の様子を図 3 に示す．図中の青い部分は広告であり，Web
ページ内のコンテンツをアルファベットの「A」で表現している．図 3 において，中段の状態
を初期状態とすると，画面の下部にあるコンテンツを見るために下方向にスクロールした様子
が下段の状態である．逆に上部のコンテンツを見るために上方向にスクロールした様子が上段の状態である．図 3 から，静止広告はスクロールするとコンテンツとともに移動するが，アンカー広告は画面の下部に表示され続けている様子が分かる．

3.2

提案する配置方法

上記の 2 つに加え，本研究では新たに以下の 3 つの配置方法を提案する．これらの配置方法とス
クロール前後の様子を図 4 に示す．

• アッパー広告
アッパー広告とは，アンカー広告の逆で，ユーザがスクロールを行っても画面の上部に表示され続ける広告である．この配置方法では，広告は Web ページの構造上ユーザの視界に入りにく
いと考えられる．

7• フォワード広告
フォワード広告とは，画面の上部または下部に表示され，ユーザがスクロールを行った際に，スクロール先に移動して表示される広告である．これはユーザがスクロールを行った際に，視線の先に広告が表示されることを意図した配置方法である．

• バックワード広告
バックワード広告とは，フォワード広告の逆で，ユーザがスクロールを行った際に，スクロー
ル先の逆方向に移動して表示される広告である．これはユーザがスクロールを行った際に，視線の先から広告が離れることを意図した配置方法である．

3.3

各配置方法の性質

表 2 に，本研究で対象とする各配置方法の性質を示す．ここでは，広告がユーザに与える煩わしさの要因になるという観点から検証した性質について述べる．
画面占有率とは，広告がディスプレイ領域をどの程度占めるかを表す指標である．静止広告はユー
ザがスクロールを行うと画面外に流れるため，画面占有率は低い．一方でその他の配置方法では，広告が常に画面の上部または下部に表示され続けるため，画面占有率は高い．
視界への入りやすさとは，広告がユーザの視界にどの程度入りやすいかを表す指標である．静止
広告はスクロール操作によって画面外に流れ，アッパー広告は常に画面上部に表示されているため，ユーザの視界には入りにくい．また，バックワード広告はユーザが画面のスクロールを行った方向の逆に移動するため，視界に入りにくい．一方で，アンカー広告やフォワード広告は画面の下部もしく
はユーザがスクロールを行った先の方向に表示されるため，視界に入りやすい．
スクロールへの追従とは，ユーザのスクロール操作に応じて広告が移動するかどうかを表す指標である．静止広告，アンカー広告，アッパー広告にはこの性質がないのに対し，フォワード広告とバッ
クワード広告にはこの性質があり，ユーザにとって煩わしいと考えられる．

表 2: 各配置方法の性質
静止

アンカー

アッパー

フォワード

バックワード

画面占有率

低

高

高

高

高

視界への入りやすさ

極低

高

低

極高

低

スクロールへの追従

なし

なし

なし

あり

あり

8

H3

H1

静止

バックワード

フォワード

煩わしさ

小

大
アッパー

アンカー

H0

宣伝効果

H2
H4

図 5: 配置方法による広告の煩わしさと宣伝効果に関する仮説

3.4

配置方法に対する仮説

本研究で調査を行うにあたり，以下の仮説 H0〜H4 を立てた．図 5 に，以下の仮説の内容を簡易的に示す．
仮説 H0 広告の煩わしさと宣伝効果には正の相関がある
広告の目的はユーザに商品やサービスを認識させることであるため，広告の宣伝効果を大きくする
ために様々な工夫が行われている．本研究では，そのような工夫によって宣伝効果が大きくなった広告は，ユーザの意思に関わらず意識が向けられるようになるため，ユーザに対する煩わしさも大きくなると考えた．仮説 H0 では，この考えが正しいかどうかを検証する．
仮説 H1 静止広告は最も煩わしさが小さい
静止広告はユーザがスクロールを行うと画面外に流れて見えなくなるため，画面の占有率が低く，ユーザの視界にも入りにくい．一方で，静止広告以外の配置方法は画面の上部または下部に常に表示されているため，静止広告よりもユーザの視界に入りやすい．そのため，前述の仮説 H0 が支持されるならば，静止広告はユーザに与える煩わしさが最も小さくなると考えた．仮説 H1 では，この考えが正しいかどうかを検証する．
仮説 H2 アンカー広告はアッパー広告より煩わしさが大きい
一般的に，Web コンテンツは上から下に読む構造になっている．そのため，画面の下部に常に表示されるアンカー広告はユーザの視線の先に存在する確率が高く，ユーザに与える煩わしさも大きいと考えられる．一方でアッパー広告は画面の上部に表示されるため，下部に表示されるアンカー広告

9

に比べてユーザの視界には入りにくく，煩わしさも小さくなると考えられる．仮説 H2 では，この考えが正しいかどうかを検証する．
仮説 H3 フォワード広告はバックワード広告より煩わしさが大きい
一般的に，ユーザが画面をスクロールする際はスクロール先の方向を見ようとして視線を向けていると考えられる．そのため，スクロール先の方向に移動するフォワード広告は，スクロール先の逆方向に移動するバックワード広告に比べてユーザの視界に入りやすく，ユーザに与える煩わしさも大きくなると考えられる．仮説 H3 では，この考えが正しいかどうかを検証する．
仮説 H4 フォワード広告はアンカー広告より煩わしさが大きい
アンカー広告は下方向のスクロールを行う際はユーザの視界に入りやすいが，上方向のスクロールを行う際はユーザが画面の上部を見るため，視界に入りにくい．一方でフォワード広告は上方向のス
クロールを行った際もスクロール先に移動するため，ユーザの視界に入りやすい．そのため，上方向のスクロールを考慮するとフォワード広告はアンカー広告に比べてユーザに与える煩わしさが大きくなると考えられる．仮説 H4 では，この考えが正しいかどうかを検証する．

10

実験

4

本章では，前章で立てた仮説を検証するために本研究で行った実験について詳細に説明する．

4.1

実験の概要

本実験の目的は，前節で述べた 5 つの広告配置方法を，ユーザに与える煩わしさと宣伝効果の観点から比較することである．ここで，煩わしさの計測指標としては，被験者が各配置方法に対して行った 4 段階評価の結果およびコメント文を用いる．また，宣伝効果の計測指標としては，表示されていた広告の色やロゴ等を正しく認識できていたかを回答する問題の正答率を用いる．さらに，各広告のクリック率も宣伝効果の指標とする．
本実験ではクラウドソーシングサービスの一つである Prolific を用いて，インターネット上で 250人の被験者を募集した．被験者の募集は，英語を話せることを条件として行った．また，被験者 1 人あたりに支払う報酬は 1£とした1 ．なお，実験に要する時間は約 12 分を想定した．
本実験で被験者に提示したタスクは，メールの分類である．これは，Web の記事を読むという行為に該当する実験設定である．本実験中に表示されるメールに広告を配置することにより，広告の煩わしさおよび宣伝効果を計測する．

4.2

実験タスク

本実験では被験者に 10 通のメールを読んでもらい，以下で述べるタスクに取り組んでもらった．
全てのメールには広告が配置されており，被験者毎に広告の配置方法を固定した．各メールには 2 つの問題を設定した．
問題 1 は，メールの内容を読んで 4 つのカテゴリー（Personal, Work-related, Legitimate e-Commerce,Spam）のいずれに該当するかを回答するものである．これは被験者が画面を下方向にスクロールしながら，広告が配置されたメールを最初から順に読むことを意図した問題である．
問題 2 は，メールの内容について正しい選択肢を選ぶものである．これは画面を上方向にスクロー
ルしてメール本文を読み直すことを意図した問題である．例えば「このメールの送信者は誰ですか？」という問題がある場合，被験者はメールの全文を覚えているわけではないため，送信者の情報が書かれている部分まで戻る必要がある．また，問題 2 の解答は必ず本文中に存在するように設定した．
これにより，問題 2 の正答数によって被験者が真面目に実験に参加していたかどうかが分かる．クラウドソーシングでは，不真面目な被験者の参加が実験結果のノイズになる可能性がある．そのため，
実験結果の分析を行う際は問題 2 の正答数による被験者のフィルタリングを行い，実験結果のノイズを極力減らす．

1 1£=152.5 円（2017 年 10 月 31 日時点）

11

図 6: アンケートの質問 1 の選択肢（緑枠は正解の選択肢）

4.3

広告に関するアンケート

全てのメールについて問題の回答を終えた被験者はアンケートページに移動し，メールに表示されていた広告に関するアンケートに回答する．このアンケートは，メールに設定した問題では計測しきれない，広告の煩わしさと宣伝効果に関する被験者からの定性的な評価を収集するためのものである．アンケートで回答する質問は全部で 3 問である．
まず質問 1 では，メールに表示されていた広告を，図 6 に示す 8 つの選択肢の中から選び回答する．質問 2 ではメールに表示されていた広告について，どの程度煩わしく感じたかを 4 段階（not at

all annoying, slightly annoying, very annoying, extremely annoying）で回答する．最後に質問 3 では，
メールに表示されていた広告について感じたことを自由に記述する．

4.4

実験の流れ

図 7 に，被験者から見た実験の流れを示す．被験者は実験に参加すると，まず Prolific から発行されている自身の ID を入力する．次に広告が掲載されたメールが表示された画面に移動し，メールの内容を読んで問題 1 および 2 に回答する．10 通のメールを読み問題の回答を終えた被験者は，最後にアンケートページに移動し，広告に関するアンケートに回答する．上記全てを終えた被験者は実験完了となる．

12

2. メールを読み，問題に回答

1. 被験者IDの入力

3. アンケートに回答

図 7: 実験の流れ

4.5

計測指標

本実験で計測する指標は，以下の通りである．

• 広告の認識正答率• 広告の煩わしさ• 広告のクリック率• 広告に対するコメント文
広告の認識正答率とは，広告に関するアンケートの質問 1 の正答率である．広告の煩わしさとは，

13アンケートの質問 2 で各広告配置方法に対して被験者が行った 4 段階評価の値である．広告のクリッ
ク率とは，広告の総表示回数に対して被験者が広告をクリックした回数の割合である．なお，各被験者に対して広告はメールの数と同じ回数，すなわち 10 回表示されているため，広告の総表示回数
は被験者数の 10 倍である．広告に対するコメント文とは，アンケートの質問 3 で被験者から収集した，広告に対する自由記述の回答である．
これらの指標の分析を行う際には，メール中の問題 2 の正答数が 8 未満の被験者は実験に真面目に参加していなかったと判断し，分析対象から除外する．

14

実験結果

5

本章では，実験の結果について述べる．表 3 に，実験結果の概要を示す．なお，本実験では実験に参加した被験者に関する情報などの，広告の煩わしさや宣伝効果に直接関係しない指標も計測している．本実験結果における外的妥当性への参考情報として，それらの指標についても説明する．

10代
50代

20代
60代

30代
その他

40代

男

図 8: 被験者の割合（年代）女

図 9: 被験者の割合（男女比）

大

小

中

イギリス
ギリシャ

ポルトガル
オランダ

イタリア
アメリカ

480×320640×360
712×400
846×412スペインその他

図 10: 被験者の割合（国籍）5.1

534×320640×384688×414854×480

568×320667×375732×412592×360
740×360
736×414

図 11: 論理ピクセル数

被験者

実験の最後まで参加し，広告に関するアンケートへの回答を行った被験者は 255 人であった．ただし実験結果の分析には，メール中の問題 2 の正解数が 8 未満である，実験中に不正な行為が観測15

されたなど，実験結果のノイズとなる恐れのある被験者 19 人を除いた 236 人分の結果を用いる．
図 8 は，被験者の年代の割合を示した円グラフである．本実験では 20 代〜40 代の被験者が大多数を占めており，10 代や 50 代，60 代の被験者はほとんどいなかった．
図 9 は，被験者の性別の割合を示した円グラフである．本実験の被験者は女性が 6 割程度を占めているが，Prolific 全体でも同様の割合である [18]．
図 10 は，被験者の国籍の割合を示した円グラフである．半数以上の被験者はイギリス国籍であったが，Prolific はイギリスのサービスであり，Prolific 全体でもイギリス人の登録者が半数以上を占めている [18]．被験者を募集する際に「英語を話せること」を条件としたため，本実験の被験者は欧米系に偏っている．実験結果には，この偏りによる影響があると考えられる．
図 11 は，被験者が実験で用いたデバイスの論理ピクセル数の割合を示した円グラフである．なお，
論理ピクセル数はディスプレイの縦のピクセル数×横のピクセル数で表している．また，ディスプレ
イの論理ピクセル数が 200,000 未満のデバイスを小，200,000〜300,000 のデバイスを中，300,000 よ
り多いデバイスを大としている．本実験は被験者のデバイスをスマートフォンに限定して行ったが，ほとんどの被験者のデバイスはディスプレイの論理ピクセル数が 200,000〜300,000 であり，縦の画
素数や横の画素数についても大きなバラつきは見られなかった．

表 3: 実験結果の概要
配置方法

静止

アンカー

アッパー

フォワード

バックワード

被験者数

52 人

47 人

50 人

45 人

42 人

認識正答率

9.62%

23.40%

8.00%

20.00%

19.05%

煩わしさ（平均）

1.33

1.62

1.44

1.91

2.05

時間（平均）

849 秒

873 秒

739 秒

782 秒

797 秒

クリック率

0.38%

0.00%

0.40%

0.44%

0.71%

16

静止
アンカー
アッパー
フォワード
バックワード
0

5

10

15

20

25

認識正答率(%)

図 12: 認識正答率の結果

5.2

広告の認識正答率

図 12 に，配置方法による各広告の認識正答率を示す．認識正答率はアンカー広告が 23.4%で最も高く，次いでフォワード広告とバックワード広告が 20%前後で近い値となった．また，静止広告とアッパー広告はどちらも 10%未満で近い値となった．

17

静止

煩わしさ
アンカー

4
3

アッパー

2

フォワード

1

バックワード

0.00

0.25

0.50

0.75

1.00

被験者の割合図 13: 広告の煩わしさと被験者の割合

5.3

広告の煩わしさ

図 13 に，各広告配置方法について被験者が評価した煩わしさを，評価した被験者の割合で示す．
静止広告とアッパー広告については，煩わしさを 4 と評価する被験者は存在しなかった．また，広告を煩わしいと評価した被験者（3 または 4 と評価した被験者）の割合は，フォワード広告とバック
ワード広告が他の配置方法よりも高かった．一方で，静止広告とアッパー広告については煩わしいと評価した被験者の割合はほぼ同じだった．

18

静止

アンカー

アッパー

フォワード

バックワード

0

500

1,000

1,500

2,000

2,500

3,000

時間(秒)

図 14: タスク完了までに要した時間の分布

5.4

タスク完了までに要した時間

図 14 に，本実験で被験者がタスク完了までに要した時間の分布を示す．中央値はアンカー広告が最も大きくなったが，ウィルコクソンの順位和検定を行った結果，有意水準 5%のもとでどの配置方法についてもタスク完了までに要した時間に有意差は見られなかった．また，タスク完了までに要した時間と各広告の煩わしさの間に相関は見られなかった．

19

静止
アンカー
アッパー
フォワード
バックワード

0.0

2.5

5.0

7.5

10.0

クリック率(%)

図 15: クリック率の結果

5.5

広告のクリック率

図 15 に示す通り，各広告のクリック率はいずれも 1%未満という結果になった．また，アンカー
広告をクリックした被験者は存在せず，その他の広告についてもクリック回数は 2〜3 回であった．
各広告のクリック率についてカイ二乗検定を行ったが，有意水準 5%のもとでどの広告についても有意差は見られなかった．なお，アッパー広告をクリックした被験者の一人はコメント文でミスクリッ
クしたという旨を記述していたが，その他の被験者が広告に興味を持って積極的にクリックしたのか，あるいは操作上のミスによってクリックしたのかは不明である．

20

静止

コメント文
の内容

アンカー

煩わしい

アッパー

明記なし
煩わしくない

フォワード
バックワード
0.00

0.25

0.50

0.75

1.00

被験者の割合図 16: コメント文の分析結果

5.6

広告に対するコメント文

図 16 に，各広告配置方法について広告が煩わしい，または煩わしくないとコメント文に明示的に記述した被験者の割合を示す．なお，コメント文の分析は以下の手順で行った．
ステップ 1 全コメント文を単語に分割し，煩わしさに関する単語を収集する．
ステップ 2 ステップ 1 で収集した単語を含むコメント文を抽出する．
ステップ 3 抽出したコメント文を目視確認し，広告が煩わしいと書かれているのかそうでないのかを判断する．
ステップ 1 では，全コメント文を単語に分割し，「annoy」や「intrusive」などの煩わしさに関する単語を収集した．ステップ 3 では，ステップ 2 で抽出したコメント文が肯定文または否定文のいずれであるかを主に判断した．すなわち，「The advertisement was annoying.」というコメント文であれば広告が煩わしいという意味であるが，「The advertisement was not annoying.」というコメント文であれば広告は煩わしくないという意味になるため，これらの判断を目視確認によって行った．
図 16 から，煩わしいと記述される割合が最も高いのはバックワード広告であり，煩わしくないと記述される割合が最も高いのは静止広告であることが分かった．

21

アンカー

静止

フォワード

煩わしさ

小

大
アッパー

バックワード

静止

フォワード

アンカー

小

大
バックワードアッパー

宣伝効果

図 17: 実験結果

6

議論
本章では，前章で示した実験結果について考察し，3.3 節で示した仮説の真偽を示す．また，図 17に配置方法による各広告の煩わしさおよび宣伝効果の実験結果を簡易的に示す．
仮説 H0 広告の煩わしさと宣伝効果には正の相関がある
結論 アンカー広告以外の配置方法については，仮説は支持される．
実験結果から，静止広告とアッパー広告は煩わしさが小さく宣伝効果も小さいが，フォワード広告とバックワード広告は煩わしさが大きく宣伝効果も大きいことが分かった．一方でアンカー広告については煩わしさは中程度だが，宣伝効果は最も大きいという結果になった．以上より，アンカー広告以外の配置方法では，広告の煩わしさと宣伝効果に正の相関が見られる．
アンカー広告の煩わしさと宣伝効果に相関が見られない理由は，アンカー広告が現在広く用いられており，被験者が慣れていたために煩わしさが小さくなったことが考えられる．また，アンカー広告の宣伝効果が最も高い理由は，今回の実験で行ったタスクがメールを読むという内容であり，下方向のスクロール回数が多くなったことで，被験者の視線が広告のある画面下部に向けられやすかったた
めだと考えられる．
仮説 H1 静止広告は最も煩わしさが小さい
結論 仮説は支持される．
実験結果から，静止広告はユーザに与える煩わしさが最も小さいことが分かった．また，アッパー
広告は煩わしさと宣伝効果の両方において静止広告に近い性質があることが分かった．そのため，ユーザに与える煩わしさをできるだけ小さくしつつ，広告を常に画面内に表示させたい場合は，静止22

広告の代わりとしてアッパー広告を用いることができる．
アッパー広告に静止広告と近い性質が見られた理由は，今回の実験タスクでは被験者が上方向のス
クロールをあまり行わず，アッパー広告が被験者の視界に入りにくかったためだと考えられる．
仮説 H2 アンカー広告はアッパー広告より煩わしさが大きい
結論 仮説は支持される．
実験結果から，アンカー広告はアッパー広告よりも煩わしさが大きいことが分かった．これは被験者が上方向よりも下方向のスクロールを多く行い，画面の下部を見る割合が高かったためだと考えられる．このことから，広告は画面上部よりも下部に配置する方がユーザの視界に入りやすく，煩わしさも大きくなることが分かった．
仮説 H3 フォワード広告はバックワード広告より煩わしさが大きい
結論 仮説は支持されない．
実験結果から，フォワード広告とバックワード広告はどちらも他の配置方法に比べると煩わしさが大きいという結果になった．この理由は，どちらもユーザのスクロール動作に応じて広告が移動するという性質があるため，移動する方向に関わらずユーザの意識が広告に向けられたことが考えられる．
バックワード広告の煩わしさがフォワード広告よりも大きい理由として，バックワード広告はユー
ザの視界の端で動くということが挙げられる．すなわち，バックワード広告の移動する方向はユーザがスクロールを行った方向の逆であるため，ユーザの視界から離れた位置で広告が動くことにより，
元々別の位置を見ていた視線が広告に引きつけられたのではないかと考えられる．
仮説 H4 フォワード広告はアンカー広告より煩わしさが大きい
結論 仮説は支持される．
実験結果から，フォワード広告はアンカー広告よりも煩わしさが大きいことが分かった．これはアンカー広告が画面の下部のみに表示されるのに対し，フォワード広告はユーザがスクロールを行った
方向に移動するため，フォワード広告の方が視界に入りやすかったためだと考えられる．また，フォワード広告は動きのある配置方法であるため，広告が動くという要素もユーザに与える煩わしさに寄与したと考えられる．

調査を行った 5 つの配置方法のうち，アンカー広告はユーザに与える煩わしさと宣伝効果のバラン
スが最も良いということが分かった．すなわち，ユーザに与える煩わしさが中程度でありながら，宣23

伝効果は最も大きい．一方で，フォワード広告やバックワード広告などの動きのある広告はユーザに与える煩わしさが大きく，宣伝効果はアンカー広告よりも小さいという結果が得られた．そのため，動きのある広告は積極的に用いるべきではなく，アンカー広告を用いた方が良いと考えられる．
本研究で提案した配置方法のうち，アッパー広告は煩わしさおよび宣伝効果が静止広告と同程度であるため，静止広告と選択の余地があると考えられる．すなわち，煩わしさを可能な限り小さくしつ
つ画面内に常に広告を表示させたい場合，静止広告の代わりとしてアッパー広告を用いることができる．
以上より，コンテンツ提供者が広告をどこに，どのように配置するかを考える際の基準について，以下が挙げられる．

• クリック率を優先する場合
今回の実験結果ではクリック率に有意な差が見られなかったため，クリック率の観点からどの配置方法を用いるべきかについて述べることはできない．

• 煩わしさの軽減を優先する場合
広告の煩わしさを軽減してユーザ離れを可能な限り減らすことを優先する場合は，静止広告やアッパー広告が有力である．
また，今回得られた知見として，広告が認識されることを優先する場合はアンカー広告が有力である．しかし，コンテンツ提供者にとって広告が認識されることはあまり重要ではなく，クリック数を稼いで広告収入を増やすことや，ユーザ離れを防いで安定した収益を得ることが重要である．そのため，広告が認識されることを優先する場合については考えにくい．

24

関連研究

7

本章では，本研究に関連する研究およびそれらと本研究との違いについて述べる．

7.1

広告によるユーザへの影響

広告の目的は商品やサービスをユーザに宣伝することであるため，ユーザに見られやすくなるように様々な工夫が検討されている．それらの工夫がユーザに与える影響について着目した研究が多く存在する [19, 20, 21]．

Goldstein らは，広告に用いられるアニメーションがユーザに与える煩わしさについて調査した [13]．
その結果，広告にアニメーションが用いられるとユーザにとって煩わしさが大きくなり，1.5$のイン
プレッション単価の損失をもたらすことが確認されている．Goldstein らの研究は広告の内容に着目しているが，本研究は広告の配置方法に着目している点で異なる．

Lagun らはモバイル端末上の検索結果上に表示される広告の形式に着目し，ユーザの視線が検索結果上のどこに向けられるかについて調査した [22]．Lagun らが着目した広告の形式は，広告にテキス
トのみを用いた形式と，ユーザが広告に対して横スクロール等のインタラクティブな操作を行える形式である．調査の結果，インタラクティブな広告はユーザに注目されやすく，検索結果に対する満足度も高くなることが示された．本研究は検索結果上の広告ではなく Web ページ上の広告に着目しており，また広告の形式ではなく配置方法に着目している点が異なる．

7.2

広告によるデバイスへの影響

広告を表示しているデバイスに対する影響についても，様々な観点から研究が行われている．特に，バッテリー寿命が限られているモバイル端末上の広告について，端末の消費電力やネットワーク
通信量等への影響が盛んに調査されている [23, 24, 25]．

Gui らはモバイル端末上の無料アプリ内に表示される広告について，CPU 時間，メモリ消費量，消費電力，ネットワーク通信量への影響の調査を行った [26]．その結果，広告によってそれらが 15〜

97%上昇することが分かった．さらに，無料アプリ内の広告に関係するメンテナンス作業やユーザからの評価も，アプリ開発者にとってのコストであることを Gui らは主張している．本研究は無料ア
プリ内の広告ではなく Web ページ上の広告に着目しており，さらにデバイスではなくユーザへの影
響に着目している点が Gui らの研究とは異なる．

7.3

広告によるユーザのプライバシーへの影響

広告はユーザの好みに合わせて表示するために，ユーザの様々な情報を収集することがある．例えば，ブラウジング履歴を収集して分析することでユーザの趣味等を推測することが可能であるため，ユーザの好みに合う広告を提示しやすくなる．一方でこれらの情報収集はユーザのプライバシーの25

侵害に繋がるため，広告によるユーザのプライバシーへの影響について調査を行っている研究が多く存在する [1, 27, 28]．

Li らはプライバシーの侵害等を行う悪意のある広告が実際の Web においてどれほど用いられているかを調査し，リダイレクト先の情報等を用いてそれらを検出する手法を提案した [29]．さらに，その手法を MadTracer として実装し，悪意のある広告を多く検出できることや，これまで検出できな
かった広告を検出できることを示した．

Leung らはプライバシーの観点から，広告が掲載された Web アプリとモバイルアプリのどちらを用いるべきかについて調査を行った [30]．調査の結果，どちらが良いかについて明確な結論は得られなかったが，ユーザは自身のプライバシーについて収集される情報に注意し，適切な方を選択すべきであると述べられている．
本研究は広告によるユーザのプライバシーへの影響については考慮していないが，広告がユーザに与える煩わしさとして，このような影響についても留意すべきであると考えられる．

7.4

広告ブロック技術

前節までで述べた通り，広告はユーザとデバイスの双方に影響を与える．広告によるこれらの影響を煩わしく思うユーザも存在し，そのようなユーザの一部は広告ブロック技術 [31, 32, 33, 34] を用いて広告が表示されないようにしている．しかし，広告は Web のエコシステムにおいてコンテンツ提供者の重要な収益源となっており，仮に全てのユーザが広告ブロック技術を用いると Web の衰退に繋がる恐れがある．そのため，広告ブロック技術や広告のありかたについて様々な研究が行われている [35, 36, 37]．

Rasmussen らは，hosts ファイルを用いた広告ブロック技術 [38]，および AdBlock Plus[33] について，Android 端末上で広告ブロックに要する消費電力の計測を行った [39]．調査の結果，広告ブロッ
ク技術によって消費電力が 2.2%〜6.5%増加することが示された．

Walls らは AdBlock Plus で用いられている除外リスト (whitelist) について，その変遷とアクセスラ
ンキング上位の Web サイトへの影響について調査を行った [40]．Whitelist とは，ユーザにとって煩わしくない Web 広告を AdBlock Plus がブロックしないように設定するためのリストである．調査の結果，whitelist は導入から 4 年間で急速に成長している一方で，必ずしもユーザにとって煩わしくない広告のみが登録されているわけではないことが示された．
本研究では広告の煩わしさだけでなく，宣伝効果を計測している点がこれらの研究とは異なる．また，広告ブロック技術と広告の配置方法との関連については今後の研究課題である．

7.5

クラウドソーシング

大量かつ容易な仕事を多数の人々に依頼するための仕組みとして，インターネットを用いたクラウ
ドソーシング [41] と呼ばれるサービスが多数存在する [9, 10, 42]．近年では学術研究において被験者実験を行う際に，クラウドソーシングが盛んに利用されるようになってきている [13, 43, 44]．

26

学術研究においてクラウドソーシングを利用する際に，被験者の質や報酬の設定，実験結果の品質の確保が課題となることが指摘されている [45]．例えば，クラウドソーシングで募集した被験者は報酬を受け取ることが目的であるため，実験内容をよく理解しないまま実験に参加したり，研究者の意
図しない行動を取ることがある．また，基本的に対面ではなく文章で被験者に実験内容を伝えるため，複雑な操作を含む実験を行うことが困難であるという欠点も存在する．クラウドソーシングにおいて，被験者から送られる実験結果の品質をどのように確保すべきかについても，様々な研究が行われている [46, 47, 48]．
上記のように，学術研究においてクラウドソーシングを利用する際の課題は多く存在するが，研究者のためにクラウドソーシングを利用する際の注意点等をまとめたガイドラインも存在する [49]．
本研究では単純な作業のみを含むように実験内容を設計し，さらに回答が容易な問題を用いて不真面
目な被験者を除外することで，実験結果の信頼性を確保している．

27

8

妥当性への脅威本研究の実験では広告の煩わしさおよび宣伝効果を計測しているが，これらは表示される広告の内

容にユーザが興味を持つか否かによって大きく変わる可能性がある．本研究では，全被験者に対して明示的な意味を持たない同一のデザインの広告を表示させることで，可能な限りそれらの指標が配置
方法のみに依存するようにしている．
本研究では被験者が実験に参加するためのデバイスをスマートフォンに限定している．しかし，Web 広告の配置方法に関する問題はデスクトップ環境やタブレット端末等においても考えられる．本研究ではディスプレイ領域の狭いデバイスとしてスマートフォンを実験対象としたが，スマートフォン以外の環境では実験結果が変わる可能性がある．
本研究では，クリック回数に応じてコンテンツ提供者に報酬が支払われるクリック報酬型広告を想定している．しかし，表示回数に応じて報酬が支払われるインプレッション報酬型広告や，ユーザが商品等を購入することで報酬が支払われる成果報酬型広告など，クリック以外の要素で報酬が支払われる広告も存在する．それらの広告では，本研究の内容が当てはまらない可能性がある．
本研究の実験では，クラウドソーシングを用いて被験者の募集を行った．しかし，クラウドソーシ
ングの登録者は報酬を目的としてタスクに参加する場合が多く，短時間でタスクを終了するために必ずしも真面目に取り組むとは限らない．本実験では，簡単な問題の正答数が少ない参加者を除外する
ことで，そのような不真面目な被験者による影響を可能な限り小さくしている．

28

9

おわりに
本研究では，モバイル端末上の Web 広告の配置方法を新たに提案し，クラウドソーシングを用いて既存の配置方法も含めた比較調査を行った．また，コンテンツ提供者が自身の Web ページの運営
戦略に基いてどのように広告の配置方法を選べばよいかについて，調査結果に基いて議論を行った．
調査の結果，広告がユーザに与える煩わしさはフォワード広告とバックワード広告がともに大きく，静止広告とアッパー広告はともに小さいということが分かった．また，各広告のクリック率については有意な差がないということが分かった．さらに，広告の認識率については静止広告とアッパー
広告がともに低く，アンカー広告とフォワード広告とバックワード広告はともに高いということが分かった．
以上のことから，コンテンツ提供者がクリック率を優先する場合についてはどの配置方法を用いてもよいが，ユーザに与える煩わしさの軽減を優先する場合には静止広告またはアッパー広告が有力な
選択肢となる．特にアッパー広告はユーザに与える煩わしさおよび宣伝効果の観点において静止広告とほぼ同様の性質を持っており，煩わしさを軽減しつつ広告を画面内に常に表示させることができる．
今後の課題としては，広告のデザインや内容等の，配置方法以外の要素に着目した調査が挙げられる．また，今回の実験では特にクリック率について有意差が見られなかったため，被験者の人数をさらに増やして再実験を行うことも挙げられる．これらの調査を行うことによって，コンテンツ提供者に対してより有益な提案ができると考えられる．

29

謝辞
本研究を行うにあたり，理解あるご指導を賜り，常に励まして頂きました楠本 真二 教授に心より感謝申し上げます．
本研究に関して，有益かつ的確なご助言ご指導を頂きました肥後 芳樹 准教授に深く感謝申し上げます．
本研究の全過程において，終始熱心かつ丁寧なご指導を頂きました柗本 真佑 助教に心より感謝申し上げます．
本研究を行うにあたり，事務作業を行う際に多大なるご助力を頂きました大阪大学大学院情報科学研究科コンピュータサイエンス専攻楠本研究室事務員の神谷 智子 氏，同 舟本 早紀 氏に深く感謝申し上げます．
本研究や研究室生活において，常に切磋琢磨し高め合い，ときに励まし合ってきました大阪大学
大学院情報科学研究科コンピュータサイエンス専攻博士前期課程 2 年の 小倉 直徒 氏，同 下仲 健斗
氏，同 山田 悠斗 氏，同 山本 将弘 氏に心より感謝申し上げます．
日々の研究室生活の中心となり，様々な役職で我々の生活を豊かにして頂きました大阪大学大学院
情報科学研究科コンピュータサイエンス専攻博士前期課程 1 年の有馬 諒 氏，同 佐々木 美和 氏，同谷門 照斗 氏，同 内藤 圭吾 氏，同 松尾 裕幸 氏，同 山田 涼太 氏に深く感謝申し上げます．
本研究を行うにあたり，様々な場面において親切なご協力を頂きました大阪大学基礎工学部情報科
学科 4 年の田中 紘都 氏，同 土居 真之 氏，同 松本 淳之介 氏，同 林 純一 氏に心より感謝申し上げます．
最後に，本研究に至るまでに，講義，演習，実験等でお世話になりました大阪大学大学院情報科学研究科の諸先生方に，この場を借りて深く感謝申し上げます．

30

参考文献
[1] Phillipa Gill, Vijay Erramilli, Augustin Chaintreau, Balachander Krishnamurthy, Konstantina Papagiannaki, and Pablo Rodriguez. Follow the money: understanding economics of online aggregation
and advertising. In Proceedings of the Internet Measurement Conference, pp. 141–148, 2013.
[2] Enric Pujol, Oliver Hohlfeld, and Anja Feldmann. Annoyed users: Ads and ad-block usage in thewild. In Proceedings of the Internet Measurement Conference, pp. 93–106, 2015.
[3] Apostolis Zarras, Alexandros Kapravelos, Gianluca Stringhini, Thorsten Holz, Christopher Kruegel,and Giovanni Vigna. The dark alleys of madison avenue: Understanding malicious advertisements.
In Proceedings of the Internet Measurement Conference, pp. 373–380, 2014.
[4] Narseo Vallina-Rodriguez, Jay Shah, Alessandro Finamore, Yan Grunenberger, Konstantina Papagiannaki, Hamed Haddadi, and Jon Crowcroft. Breaking for commercials: characterizing mobile
advertising. In Proceedings of the Internet Measurement Conference, pp. 343–356, 2012.
[5] Sruti Bhagavatula, Christopher Dunn, Chris Kanich, Minaxi Gupta, and Brian Ziebart. Leveraging
machine learning to improve unwanted resource filtering. In Proceedings of the Artificial Intelligent
and Security Workshop, pp. 95–102, 2014.
[6] Google AdSense. http://www.google.com/adsense/.
[7] Advertising Networks market share in the Alexa top 1M.

https://www.datanyze.com/

market-share/advertising-networks/, Last accessed December 2017.
[8] Alexa. http://www.alexa.com/.
[9] Amazon Mechanical Turk. https://www.mturk.com/.
[10] CrowdFlower. https://www.crowdflower.com/.
[11] Lancers. https://www.lancers.jp/.
[12] CrowdWorks. https://crowdworks.jp/.
[13] Daniel G. Goldstein, R. Preston McAfee, and Siddharth Suri. The cost of annoying ads. In Proceedings of the International Conference on World Wide Web, pp. 459–470, 2013.
[14] Aaron D. Shaw, John J. Horton, and Daniel L. Chen. Designing incentives for inexpert human raters.
In Proceedings of the ACM Conference on Computer Supported Cooperative Work, pp. 275–284,
2011.

31

[15] Daniel G. Goldstein, R. Preston McAfee, and Siddharth Suri. The effects of exposure time on memoryof display advertisements. In Proceedings of the ACM Conference on Electronic Commerce, pp. 49–
58, 2011.
[16] Ke Zhou, Miriam Redi, Andrew Haines, and Mounia Lalmas. Predicting pre-click quality for native
advertisements. In Proceedings of the International Conference on World Wide Web, pp. 299–310,
2016.
[17] Prolific. https://www.prolific.ac/.
[18] Explore our participant pool demographics. https://www.prolific.ac/demographics,
Last accessed February 2018.
[19] Michelle E. Bayles. Designing online banner advertisements: Should we animate? In Proceedings of
the SIGCHI Conference on Human Factors in Computing Systems, pp. 363–366, 2002.
[20] Moira Burke, Anthony Hornof, Erik Nilsen, and Nicholas Gorman. High-cost banner blindness: Ads
increase perceived workload, hinder visual search, and are forgotten. Transactions on ComputerHuman Interaction, Vol. 12, No. 4, pp. 423–445, 2005.
[21] Balachander Krishnamurthy and Craig E. Wills. Cat and mouse: content delivery tradeoffs in web
access. In Proceedings of the International Conference on World Wide Web, pp. 337–346, 2006.
[22] Dmitry Lagun, Donal McMahon, and Vidhya Navalpakkam. Understanding mobile searcher attention
with rich ad formats. In Proceedings of the International Conference on Information and Knowledge
Management, pp. 599–608, 2016.
[23] Prashanth Mohan, Suman Nath, and Oriana Riva. Prefetching mobile ads: Can advertising systems
afford it? In Proceedings of the European Conference on Computer Systems, pp. 267–280, 2013.
[24] Xiaomeng Chen, Abhilash Jindal, and Y. Charlie Hu. How much energy can we save from prefetching ads?: energy drain analysis of top 100 apps. In Proceedings of the Workshop on Power-Aware
Computing and Systems, p. 3, 2013.
[25] Azeem J. Khan, Kasthuri Jayarajah, Dongsu Han, Archan Misra, Rajesh Balan, and Srinivasan Seshan. Cameo: A middleware for mobile advertisement delivery. In Proceeding of the International
Conference on Mobile Systems, Applications, and Services, pp. 125–138, 2013.
[26] Jiaping Gui, Stuart Mcilroy, Meiyappan Nagappan, and William G. J. Halfond. Truth in advertising:The hidden cost of mobile ads for software developers. In Proceedings of the International Conference
on Software Engineering, pp. 100–110, 2015.

32

[27] Dongseok Jang, Ranjit Jhala, Sorin Lerner, and Hovav Shacham. An empirical study of privacyviolating information flows in javascript web applications. In Proceedings of the ACM Conference on
Computer and Communications Security, pp. 270–283, 2010.
[28] Xin Chen and Sencun Zhu. Droidjust: Automated functionality-aware privacy leakage analysis forandroid applications. In Proceedings of the ACM Conference on Security & Privacy in Wireless andMobile Networks, pp. 1–12, 2015.
[29] Zhou Li, Kehuan Zhang, Yinglian Xie, Fang Yu, and XiaoFeng Wang. Knowing your enemy: Understanding and detecting Malicious web advertising. In Proceedings of the ACM Conference on
Computer and Communications Security, pp. 674–686, 2012.
[30] Christophe Leung, Jingjing Ren, David Choffnes, and Christo Wilson. Should you use the app forthat?: Comparing the privacy implications of app- and web-based online services. In Proceedings ofthe Internet Measurement Conference, pp. 365–372, 2016.
[31] AdAway. https://adaway.org/.
[32] AdBlock.

https://chrome.google.com/webstore/detail/adblock/gighmmpiobklfepjocnamgkkbiglidom?hl=ja.
[33] AdBlock Plus.

https://chrome.google.com/webstore/detail/adblock-plus/

cfhdojbkjhnklbpkdaibdccddilifddb?hl=ja.
[34] µBlock.

https://chrome.google.com/webstore/detail/ublock/\\

epcnnfbjfcgphgdmggkamkmgojdagdnn?hl=ja.
[35] Viktor Krammer. An effective defense against intrusive web advertising. In Proceedings of the International Conference on Privacy, Security and Trust, pp. 3–14, 2008.
[36] Matthew Malloy, Mark McNamara, Aaron Cahn, and Paul Barford. Ad blockers: Global prevalence
and impact. In Proceedings of the Internet Measurement Conference, pp. 119–125, 2016.
[37] Umar Iqbal, Zubair Shafiq, and Zhiyun Qian. The ad wars: retrospective measurement and analysis ofanti-adblock filter lists. In Proceedings of the Internet Measurement Conference, pp. 171–183, 2017.
[38] MVPS. Blocking unwanted connections with a hosts file. http://winhelp2002.mvps.org/
hosts.htm, Last accessed January 2018.
[39] Kent Rasmussen, Alex Wilson, and Abram Hindle. Green mining: Energy consumption of advertisement blocking methods. In Proceedings of the International Workshop on Green and Sustainable
Software, pp. 38–45, 2014.
33

[40] Robert J. Walls, Eric D. Kilmer, Nathaniel Lageman, and Patrick D. McDaniel. Measuring the impact
and perception of acceptable advertisements. In Proceedings of the Internet Measurement Conference,
pp. 107–120, 2015.
[41] The Rise of Crowdsourcing. https://www.wired.com/2006/06/crowds/, Last accessed
January 2018.
[42] Upwork. https://www.upwork.com/.
[43] Yukino Baba and Hisami Suzuki. How are spelling errors generated and corrected?: a study of corrected and uncorrected spelling errors using keystroke logs. In Proceedings of the Meeting of the
Association for Computational Linguistics, pp. 373–377, 2012.
[44] Seongsoon Kim, Seongwoon Lee, Donghyeon Park, and Jaewoo Kang. Constructing and evaluating
a novel crowdsourcing-based paraphrased opinion spam dataset. In Proceedings of the International
Conference on World Wide Web, pp. 827–836, 2017.
[45] Tara S. Behrend, David J. Sharek, Adam W. Meade, and Eric N. Wiebe. The viability of crowdsourcing for survey research. Behavior Research Methods, Vol. 43, No. 3, p. 800, 2011.
[46] Ming Yin, Yiling Chen, and Yu-An Sun. The effects of performance-contingent financial incentives
in online labor markets. In Proceedings of the AAAI Conference on Artificial Intelligence, pp. 1191–
1197, 2013.
[47] Yukino Baba and Hisashi Kashima. Statistical quality estimation for general crowdsourcing tasks. In
Proceedings of the International Conference on Knowledge Discovery and Data Mining, pp. 554–562,
2013.
[48] Omar F. Zaidan and Chris Callison-Burch. Crowdsourcing translation: Professional quality from
non-professionals. In Proceedings of the Meeting of the Association for Computational Linguistics,
pp. 1220–1229, 2011.
[49] Guidelines for Academic Requesters.

http://wiki.wearedynamo.org/index.php/

Guidelines_for_Academic_Requesters, Last accessed January 2018.

34