►

Akihaba『aII
Lab

CyberAgent

秋葉原ラボ技術報告

Volume.

i

巻頭⾔「新しい時代に向けて」
秋葉原ラボ 研究室⻑ 福⽥ ⼀郎「平成最後の○○」という⾔葉を頻繁に⽿にする．
平成という時代が終わり，新しい時代がはじまるという⾵潮である．改元を 5 ⽉に控えているが，この⽂章を書いている時点では，まだ次の元号は発表されていない．何という元号になるのかは気になるところであるし，システム開発を多少なりとも知っている⾝からしてみると，早く発表してほしいという⼈の気持ちもよく分かる．新元号が発表されれば，なおさら新しい時代の到来を感じるようになることだろう．
よく考えてみると，改元が直接的に影響するのは⽇本国内だけであり，国内においても多くの場⾯で⻄暦を使⽤しているため，⽣活に⼤きな変化があるということはないであろう．しかし，実質的な変化がなくとも何かしらの区切りがあると，その前後で状況を⽐較したり，気持
ちや気分が切り替わるような感じがしたりするのは不思議なものである．
私達はインターネットおよびソフトウェアを中⼼とする技術領域を担当しているが，その進歩と変化は他の技術領域に⽐べて速いとよく⾔われる．変化についていくのがやっとのところもあるが，その変化は突然に出てきたように思われるものであっても，実際は関連技術や基礎的なものから発展してきた結果であることは間違いない．
秋葉原ラボも，技術の変化を敏感に察知し，追従し，結果的に少しでも技術を発展させ，サービスおよび業界に良い影響を与えていけるように⽇々研鑽しているところだ．改元のように明確な区切りが⽣まれるわけではないであろうが，振り返ってみるとここが変化点であったなと感じることはある．私の場合は Hadoop 関連技術を多く知るきっかけとなった第 1 回のHadoop Conference Japan 2009 や，秋葉原ラボを設⽴した 2011 年 4 ⽉ 1 ⽇などが典型的な変化点となった．
今回が Vol.2 となる秋葉原ラボ技術報告でも，前回と同様に，秋葉原ラボでの最近の取り組みとその成果をまとめている．今回掲載している内容が技術発展の⼤きな変化点に直接にはなっていないかもしれないが，今後の発展・変化につながるものになっていくことを望んでいる．
そして今年が新たな発展の年になることを期待している．

⽬次

巻頭⾔「新しい時代に向けて」

i

1 インターネットテレビ局「AbemaTV」

1

1.1

AbemaTV におけるユーザアクティブ度のモデル化

2

1.2

AbemaTV を⽀える推薦システム

6

1.3

分断化した社会における AbemaTV の役割に関する検討

11

2 ブログサービス「Ameba ブログ」

20

2.1

アメブロを護る: 不適切コンテンツの傾向分析と検知⼿法の検討

21

2.2

アノテーションを⽀える Orion Annotator の紹介

32

3 ⾳楽ストリーミングサービス「AWA」

38

3.1

AWA における類似プレイリスト探索システムの構築事例について

39

3.2

AWA に⾒られるバースト⾏動に対する現象論的モデルの検証

47

発表⼀覧

54

1

1

インターネットテレビ局「AbemaTV」

AbemaTVa は当社とテレビ朝⽇とが共同で展開しているリニア配信型の国内向けインター
ネット動画サービスである．ニュース，ドラマ，バラエティ，アニメやスポーツなど幅広いジャンルの専⾨チャンネルを有し，約 20 チャンネルが 24 時間編成されている．2016 年 4 ⽉の開局
以降，新規チャンネルの開設や統廃合を含めた継続的な機能拡張がなされている．
視聴にあたっては，インターネットブラウザもしくはスマートフォンやタブレット，テレビ
デバイスに⽤意された専⽤アプリケーションを⽤いる．いずれの場合も無料で利⽤できて必ずしもユーザ登録を必要としない点や，特にスマートフォンやタブレットでは番組表のフリック操作のみでチャンネルおよび番組を選択できる点が特徴である．
またオンデマンド配信型のサービスとして Abema ビデオb も⽤意されており，リニア配信で⾒逃した番組の視聴や，アーカイブされた動画の検索および推薦などのニーズに応えている．

AbemaTV の番組表から直接にアーカイブされた動画にアクセスできることはもちろん，タイ
ムシフト再⽣や倍速再⽣のシームレスな利⽤も可能であり，独特なユーザ体験を提供している．
なお Abema ビデオは⽉額課⾦のサブスクリプション型の動画サービスに分類できるが，⼀部の機能は無料でも利⽤できる．

AbemaTV の利⽤ログも当社の他のメディアサービスと同様に，秋葉原ラボのログ集計・分析
基盤 Patriot に集約されている．加えてレポーティングを容易にするために整備した中間テー
ブル群を Google BigQueryc に構築しており，データ分析や可視化に役⽴てている．
本技術報告では，秋葉原ラボで実施された分析やシステムの実装について，以下の 3 つを取り上げる．1.1 章では，AbemaTV のユーザの利⽤ログに基づいた統計モデリングにより，サービス利⽤のアクティブ度の定量化を試みている．1.2 章では，Abema ビデオで提供している推薦システムの概要と実装について述べている．1.3 章では，AbemaTV を Web メディアの⼀つとする観点から，主にニュース番組に焦点を当てて社会的意義について論じている．
チャンネル改編を含む継続的な機能拡張に伴うユーザ体験の変化や，リニアとオンデマンドとを横断した利⽤，および多様なチャンネルのフリック操作によるザッピングなど，いずれもAbemaTV に特徴的な機能に着⽬した分析および実装がなされている点にご注⽬いただきたい．
a https://abema.tv
b https://abema.tv/videoc https://cloud.google.com/bigquery/?hl=ja

2

1.1

AbemaTV におけるユーザアクティ
ブ度のモデル化

松⽥ 和⼰

概 要 インターネットサービスにおけるユーザの利⽤態度の把握は，サービス運⽤において重要となる．本
稿では，インターネットテレビ局 AbemaTV を対象に，ユーザのアクティブ度の定量化を⾏うことでサービス運⽤への寄与を⽬指す．先⾏研究では，multivariate adaptive regression splines（MARS）を⽤いた
定量化⽅法が提案されている．しかしながら AbemaTV では，時期によってさまざまな番組が配信され，また各種機能が逐次リリースされるため，⼀度構築したモデルで⼀貫した評価を⾏うことは難しい．本稿では，異なる期間を対象にしたモデル化を実施することで，より汎⽤的な定量化⽅法を検討する．

Keywords

AbemaTV，MARS，アクティブ度，⾏動分析

1 はじめにの継続的な利⽤を実現することがサービスの成功と直結する．そのため，ユーザの⾏動データを分AbemaTV*1 は，当社とテレビ朝⽇が共同で展開するインターネットテレビ局で，番組表に基づく
リニア配信が特徴である．AbemaTV では，オリジナル番組の他に，ドラマやアニメ，スポーツ，将析し，継続して利⽤しているユーザと離脱ユーザの差異を明らかにすることや，サービス事業者の意図通りには使われていない機能を発⾒することによって，UX（ユーザエクスペリエンス）を向上

棋などのさまざまなコンテンツを約 20 あるチャン

させることが重要となる．また，分析結果を実際

ネルで 24 時間無料で提供しており，それらの番組のサービス改善に活⽤する上で，⼈間が分析結果

はスマートフォン，タブレット，パソコン，テレ
ビで視聴可能で，据置型のテレビで放送する通常のテレビ局と異なり多様な視聴体験を提供している．2016 年の開局以降，チャンネルの増減を伴った番組の改編，対象デバイスの拡⼤やデバイス専⽤アプリケーションの提供，終了後の番組を視聴できる「Abema ビデオ」を始めとした各種機能のリリースが進み続けており，ユースケースが多様化している．
⼀般にインターネットサービスは，ユーザにとって導⼊コストが⼩さい⼀⽅で，利⽤中のサービス
離脱が発⽣しやすいことが知られており，ユーザ*1 https://abema.tv

を解釈できること，特に，どのような⾏動や使い⽅が継続的な利⽤に対して正もしくは負の効果があるかを理解しやすいことが求められることが多い．
これに対して，和⽥らは multivariate adaptive

regression splines（MARS）[1] を⽤いた分析を⾏った [2, 3]．これらの報告では，ユーザごとにある 1 ⽇の視聴⾏動と属性情報に加えてその直近 7⽇間のサービス利⽤⽇数を説明変数とし，直後の 7⽇間の利⽤⽇数を⽬的変数とした継続・離脱分析
を⾏い，継続利⽤しているユーザほど⾼いとされるアクティブ度を定量化することで，継続しやす

2 ⼿法

3

いユーザと離脱しやすいユーザの把握とそれに寄いて，⽬的変数である翌 7 ⽇間のサービス利⽤⽇

与するユーザ⾏動を明らかにした．しかしながら，

数 Y と，当⽇および直近 7 ⽇間の⾏動情報からこれらの報告で扱われているデータの対象期間はなる説明変数ベクトル x に関する n 組のデータ

AbemaTV 開局直後であり，時期によって提供さ{(Yi , xi ); i = 1, · · · , n} が得られたとする．ここれるサービス内容やユーザの利⽤傾向が異なるこ

で，説明変数ベクトルの各要素は属性や⾏動の有とを考慮できていない．実際に，AbemaTV では

無や程度を表す数値であり，属性や⾏動の有無にチャンネルの新規開設や統廃合，番組の改編や放ついてはカテゴリカルな因⼦，視聴時間などの連

送時間の変更，新しい機能のリリース，UI（ユー

続量についてはそのままの値とする．

ザインタフェース）の変更などに伴って，提供される体験が変化し続けている．

⽬的変数 Y は，当⽇のサービスに対するアクティブ度 p (0 ≤ p ≤ 1) を⽤いた⼆項分布

本稿では，変化する利⽤態度を考慮することでY ∼ Binom(7, p)

分析対象とする時期に依存しないアクティブ度表
現の構築と適切な変数選択⼿法を検討するため，に従うと仮定する．このとき先⾏研究と同様に，ユーザに提供される体験が異なる期間を対象にしアクティブ度 p に対して MARS モデルを⽤いて，た分析をそれぞれ⾏い，結果を考察する [4]．

logit(p) = β0 +

2 ⼿法

M
∑

βm hm (x)m=1とモデル化する．ここで，logit(·) はロジット関

本稿で⽤いた⼿法の概要について説明する．こ数，βm は基底関数の重みを調節するパラメータ，

こで，サービスに対するアクティブ度は，⾼いユー

M は基底関数の個数，hm (·) は基底関数である．

ザほどサービスを熱⼼に利⽤しており，低いユー

MARS モデルにおける基底関数は hinge 関数から

ザほどサービスをあまり利⽤していないというこ

なる．hinge 関数は，1 つの変数 x に対する 1 つのとを表す指標とする．

境界点を c としたとき，h+ (x) = max(0, x − c) やまず，ユーザに提供される視聴体験がそれぞれ異h− (x) = max(0, c − x) と表現される．パラメータ

なっていると考えられるいくつかの⽇を選択し，和の推定，変数選択の詳細については，⽂献 [3] を参⽥らの先⾏研究と同様の⼿法でそれらの⽇のユー

照されたい．結果として，アクティブ度 p に対しザのアクティブ度をモデル化する．具体的には，て寄与するいくつかの説明変数とそれぞれの境界あるユーザのある⽇のアクティブ度を，翌 7 ⽇間

点がモデル選択基準を⽤いて選ばれる．また，本のサービス利⽤⽇数を通して，特定の属性や⾏動

稿では，統計解析向けプログラミング⾔語 R*2 のが寄与しているかどうかを分析する．

earth*3 パッケージを⽤いて分析を⾏った．

このように，異なる期間のユーザのアクティブ
度をそれぞれモデル化し時期による要素の違いを考察することで，よりロバストで汎⽤的な指標を検討したい．

3 モデル

4 データ
本稿では，2017 年 10 ⽉ 23 ⽇，2018 年 2 ⽉ 26
⽇，2018 年 11 ⽉ 5 ⽇，2018 年 11 ⽉ 12 ⽇の Abe-maTV ユーザのデータを利⽤した．ここで，曜⽇の差を極⼒排除するため，これらの⽇付は全て平

特定の⽇のユーザのアクティブ度をモデル化す

⽇の⽉曜⽇を選択した．このとき，これらの⽇にる⽅法について述べる．ある⽇のあるユーザにつAbemaTV を利⽤したユーザの中からランダムサ*2 https://www.r-project.org/*3 https://CRAN.R-project.org/package=earth1.1 AbemaTV におけるユーザアクティブ度のモデル化

4ンプリングを⾏い学習データとした．また，抽出

2 ⽉ 27 ⽇〜2018 年 3 ⽉ 5 ⽇）に将棋の公式戦⽣されたユーザについて上記 4 ⽇間の⾏動データの中継番組が 3 つ編成されていたことによるものだ

他に，前後 7 ⽇ずつの利⽤⽇数も取得している．

と考えられる．

なお，抽出対象とした 2017 年 10 ⽉以降に，72 時*4

続いて 2018 年 11 ⽉ 5 ⽇は，パソコンでサービ

間ホンネテレビ の放送，アニメチャンネル全⾯

スを利⽤していることが特にマイナスに効いていリニューアル*5 ，動画ダウンロード機能*6 ，追っかる．これについては明確な理由を⾒いだせていな

け再⽣機能*7 のリリースがあり，ユーザ層およびいが，パソコンでの視聴では他のデバイスに⽐べ

ユースケースの多様化が続いていると考えられる．

てユーザ識別⼦が変更されやすい（シークレット

また，抽出対象となるユーザについて，サービ

ウィンドウの利⽤や Cookie の削除などによる）た

スを本質的には利⽤していなかったユーザを除外

めに，翌 7 ⽇間の利⽤⽇数が 0 ⽇となりやすく，そするため，任意の番組を 30 秒以上視聴したユーザ

れによりマイナスに効く量として変数が選択されに限定した．同じく，サービスの利⽤⽇数を取得ているものと考えられる．

する際も 30 秒以上の番組視聴を条件としている．

2018 年 11 ⽉ 12 ⽇は，格闘を視聴していること

本分析で扱う⽬的変数と説明変数については，表が⼤きくマイナスに効き，加えてオンデマンドの

1.1.1 に⽰すように，ある特定の⽇の翌 7 ⽇間の利視聴のみであることもマイナスに効いている．こ

⽤⽇数を⽬的変数とし，ある特定の⽇の中での各の⽇は平⽇でありながら，ボクシングの世界戦の種⾏動と直近 7 ⽇間の利⽤⽇数を説明変数とした．

⽣中継特番が放送されていた．⼀般に特番は視聴者が集まりやすい⼀⽅で，その番組のみを特に視5 結果聴するユーザの割合が多くなるので，翌 7 ⽇間の利⽤⽇数としては相対的に低くなる傾向がある．

集計対象とした 4 ⽇間それぞれに MARS モデ
ルを適⽤した結果を表 1.1.2 に⽰す．

また特番の放送終了後にオンデマンド視聴をするユーザも多い．したがって，格闘視聴とオンデマ

結果から，分析対象とした 4 ⽇間に共通して，直ンドのみの視聴がマイナスに働いたと考えられる．

近 7 ⽇間の利⽤⽇数が強く影響していることがわ

以上により，アクティブ度に影響するユーザのかる．また，視聴時間については，多い分にはあま属性や⾏動について，期間によって共通の要素とり影響がなく，少ない場合はマイナスに働いてい特有の要素とを⾒出すことができた．特有の要素

る．アニメ，韓流，⿇雀を視聴していることはあるのほとんどは特番などの⼀時的かつ不定期な編成

程度のボリュームでプラスの効果があり，それぞが要因と考えられるので，汎⽤的な指標を⽬指す

れ習慣的に視聴するジャンルであることが⽰唆さ観点からは変数として利⽤しないほうが適切であれている．

ろう．たとえば，各⽇のモデルに対して，複数のモ

次に期間によって差がでている点に着⽬して考デルからさらに精度の⾼いモデルを構築する⼿法

察する．まず 2017 年 10 ⽉ 23 ⽇については，他であるモデル平均化法などを応⽤することなどがの 3 つの対象期間への結果と共通して含まれる要考えられる．

素によって構成されており，今回の対象期間の中では標準的な期間と考えられる．

2018 年 2 ⽉ 26 ⽇は，将棋を視聴していることがプラスに働いている．これは翌 7 ⽇間（2018 年*4 https://abema.tv/channels/abema-special/slots/AkkG6KZAFkUszf*5 https://abematimes.com/posts/3882858*6 https://www.cyberagent.co.jp/news/detail/id=21536*7 https://www.cyberagent.co.jp/news/detail/id=21583

6 まとめ5
表 1.1.1 ⽬的変数と説明変数の詳細

種別

期間

内容

範囲

⽬的変数

翌 7 ⽇間

利⽤⽇数

0∼7

説明変数

直近 7 ⽇間

利⽤⽇数

0∼7

当⽇

新規登録

新規 or 既存デバイス

スマートフォンのみ or タブレットのみ or パソコンのみ or テレビのみ or 複数

総視聴時間 (hour)

0∼

視聴ジャンルバラエティ or ドラマ or アニメ or リアリティショー or 韓流

or スポーツ or 格闘 or 釣り or 将棋 or ⿇雀
視聴⽅法

リニア視聴のみ or オンデマンド視聴のみ or 併⽤

表 1.1.2 選択された変数および境界点と係数パラメータの推定値

2017 年 10 ⽉ 23 ⽇
変数2018 年 2 ⽉ 26 ⽇
係数2018 年 11 ⽉ 5 ⽇

変数係数

2018 年 11 ⽉ 12 ⽇

変数

係数

変数

係数

切⽚

1.30

切⽚

1.32

切⽚

1.37

切⽚

1.39

直近 7 ⽇利⽤ > 6 ⽇

0.64

直近 7 ⽇利⽤ > 6 ⽇

0.65

直近 7 ⽇利⽤ > 6 ⽇

0.70

直近 7 ⽇利⽤ > 5 ⽇

0.51

直近 7 ⽇利⽤ < 6 ⽇−0.44

直近 7 ⽇利⽤ < 6 ⽇−0.43

直近 7 ⽇利⽤ < 6 ⽇−0.47

直近 7 ⽇利⽤ < 5 ⽇−0.50

視聴時間 > 2h

0.03

視聴時間 > 2h

0.02

視聴時間 > 2h

0.04

視聴時間 > 5h−0.04

視聴時間 < 2h−0.29

視聴時間 < 2h−0.27

視聴時間 < 2h−0.22

視聴時間 < 5h−0.18

アニメ視聴あり0.19

アニメ視聴あり0.20

アニメ視聴あり0.16

アニメ視聴あり0.17

韓流視聴あり0.30

韓流視聴あり0.27

韓流視聴あり0.25

韓流視聴あり0.25

⿇雀視聴あり0.28

⿇雀視聴あり0.24

⿇雀視聴あり0.29

⿇雀視聴あり0.31

将棋視聴あり0.37

パソコンのみ−0.23

格闘視聴あり−0.52

オンデマンドのみ

−0.17

6 まとめ

参考⽂献
[1] Friedman, J. H.: Multivariate adaptive re-

本稿では，インターネットテレビ局 AbemaTVのユーザのアクティブ度を異なる期間でモデル化

gression splines, The annals of statistics,
pp. 1–67, 1991.

し⽐較した．その結果，配信される番組や提供サー[2] 和⽥計也，福⽥⼀郎：インターネットテレビにビスが変化し続ける中では，同じ曜⽇を対象にしおけるユーザの視聴⾏動分析，⽇本マーケティたとしても⽇ごとに共通の変数と固有の変数があング学会カンファレンス・プロシーディング

ることがわかった．今後はモデル平均化法によるス，Vol. 5，pp. 62–65，2016．

改善アプローチによって，汎⽤的かつロバストな[3] 和⽥計也：インターネットテレビサービス Abe-

アクティブ度の表現⼿法の確⽴を⽬指す．これにmaTV におけるユーザアクティビティ分析，

より異なる期間のアクティブ度⽐較や時系列変化

CyberAgent 秋葉原ラボ技術報告，CyberA-を捉えることを可能にし，それに寄与する⾏動を

gent，Vol. 1，2018．

明らかにしたい．このアプローチの結果については稿を改めて報告する．

[4] 松⽥和⼰，和⽥計也，福⽥⼀郎：インターネッ
トテレビ局 AbemaTV における番組視聴デー
タを⽤いたユーザー⾏動分析，統計関連学会連合⼤会報告集，2018．

6

1.2

AbemaTV を⽀える推薦システム

前⽥ 英⾏，福⽥ 鉄也

概 要 膨⼤なコンテンツを提供するサービスにおいて，ユーザが興味をもつコンテンツを発⾒するのに推薦システムは有⽤である．近年では e-commerce や動画サイトなどをはじめとする多くのインターネット
サービスに推薦システムが導⼊されている．本章ではインターネットテレビ局 AbemaTV が提供する動画サービスにおいて実運⽤している推薦システムのシステムアーキテクチャを紹介し，実運⽤上で課題となる膨⼤なデータに対する計算時間の削減や，ユーザの⾏動履歴に対する応答性などの課題をどのように解決しているか述べる．

Keywords

機械学習，推薦システム

1 はじめにンツを⼗分に提供することが難しい．このような場⾯ではユーザが視聴したいコンテンツをサービ

近年 YouTube*1 ，Netflix*2 ，Hulu*3 などのインターネット上で動画を楽しむサービスが⼀般的となっている．当社もテレビ朝⽇と共同で，オリジナルのコンテンツの他，スポーツ，ドラマ，⾳楽，
⿇雀，将棋，ゲームなど約 20 チャンネルの番組をすべて無料で楽しめるインターネットテレビ局

AbemaTV*4 を提供している．
AbemaTV では，番組表に基づくリニア配信に加えて，Netflix，Hulu などのような SVOD（Sub-scription Video on Demand）型の Abema ビデオというサービスも提供している．SVOD 型の動画サービスでは，ユーザ⾃⾝が視聴したい動画を膨
⼤なコンテンツの中から発⾒できる必要がある．
動画のようなマルチメディアデータでは，興味のあるコンテンツの特徴を⾔葉で表現しづらい場合があり，ユーザによる検索だけでは膨⼤なコンテ*1 https://www.youtube.com/*2 https://www.netflix.com/*3 https://www.happyon.jp/*4 https://abema.tv/

ス提供者側から推薦（レコメンデーション）する機
能によりユーザへの視聴を促進することが重要となる．
近年，推薦分野の研究では精度向上を⽬的とした推薦アルゴリズムは多く登場してきた．しかし，実運⽤上で耐えられる推薦機能を提供するには精度を追求するアルゴリズムだけではなく膨⼤な量のデータにおける計算時間の削減やユーザの直近の⾏動をリアルタイムに反映させることなども重要となってくる．
本章では実際に AbemaTV で運⽤を⾏っている
推薦システムのアーキテクチャについて紹介し，推薦システムを実運⽤する上での課題をどのように解決しているか紹介する．秋葉原ラボで開発した推薦システムは，推薦候補の抽出とリランキン

2 AbemaTV における推薦機能
グのシステムを分割することで，精度を保ちつつ実⽤的な処理時間を実現している．以降 2 節ではAbemaTV の推薦機能の概要を説明し，3 節ではシ
ステムアーキテクチャについての詳細を説明する．

7• 推薦候補⽣成処理– オフラインで計算された番組の類似度に基づき推薦候補を絞る• リランキング処理– 推薦候補⽣成処理で⽣成された推薦候補から

2 AbemaTV における推薦機能

ユーザとの関連度スコアを付与し推薦結果を並び替える

この節では AbemaTV で提供している主な推薦
機能と AbemaTV の推薦システムについての概要を説明する．

推薦候補を絞った上でリランキング処理を⾏う
ことで，オンラインでの計算時間をおさえつつ複AbemaTV において推薦機能は Abema ビデオ

雑な機械学習モデルを⽤いた推薦を実現している．

に導⼊されている．Abema ビデオで提供している番組の類似度計算はオフラインのバッチ処理で網推薦機能は主に以下の 2 点である．

羅的に⾏う．これによりすべての番組を推薦シス• 番組から番組への推薦– ある番組を起点にその番組の関連番組を推薦する機能– Abema ビデオの番組ページなどで提供される• ユーザから番組への推薦– 個々のユーザの直近の視聴履歴を元に番組推薦する機能– Abema ビデオのトップページなどで提供されるテムの対象にする．リランキング処理ではユーザからのリクエストごとに機械学習を⽤いた順序づ
けを⾏うことで，パーソナライズされた推薦を実現している．
また，処理を 2 段階にすることで，さまざまな変更に柔軟に対応できるシステムアーキテクチャを構成している．秋葉原ラボでは，各処理のアルゴ
リズムの精度向上などの改善には継続的に取り組んでおり，その成果を実システムに適⽤することは重要である．また，要件に応じたビジネスロジッ
クの挿⼊などにも柔軟に対応できる必要がある．

“番組から番組への推薦” はユーザがある番組を全体のシステム構成を図 1.2.1 に⽰す．推薦機

視聴中もしくは番組詳細ページを閲覧中にその番能は Recommendation API を介して提供される．

組の関連番組を推薦することで同じような番組を

Recommendation API は，データ処理基盤（Pa-

観たいユーザに⾒つけやすくする⽬的があり，⼀triot）やストリーム処理エンジン（Zero）などの他

⽅で “ユーザから番組への推薦” は特定の番組によシステムと連携し推薦リストを⽣成する．番組のらずユーザの過去の視聴履歴の傾向からユーザの類似度計算やリランキングのための機械学習モデ

興味がある番組を推薦することが⽬的である．こルの⽣成は，Patriot 上で⾏っている．Patriot はのような違いがあるため 2 つの推薦機能が提供さ

Hadoop を⽤いた秋葉原ラボで開発されたデータれるページが異なる．

処理基盤で，ユーザの⾏動ログなどのデータが蓄積されており，蓄積されたデータに対して Spark な

3 AbemaTV における推薦システム

どの並列分散処理を適⽤できる [1]．また，“ユーザから番組への推薦” では，Zero を⽤いることでこの節では AbemaTV の推薦システムについて説明する．

ユーザの視聴⾏動をリアルタイムに反映した推薦を実現している．Zero は秋葉原ラボで開発されたAbemaTV の推薦システムは推薦候補を⽣成す

ストリーム処理エンジンであり，⾏動ログなどのる処理とリランキングを⾏う 2 つの処理から構成

イベントデータをリアルタイムに処理できる [2]．

される．

1.2 AbemaTV を⽀える推薦システム

8

図 1.2.1 システム構成図

Ranking Service は機械学習によるリランキング

約をしていた場合は視聴情報にさらに重み付けを機能を提供している．

している．

以降，推薦候補⽣成処理とリランキング処理の流れについて説明する．

重み付き Matrix Factorization により各番組の特徴を表す次元圧縮された特徴ベクトルを得ることができる．この特徴ベクトルを元に各番組の類

3.1

推薦候補⽣成処理

推薦候補の⽣成は Zero や Patriot に転送されたユーザの視聴履歴などの⾏動ログデータをもとに⾏う．Patriot 側ではユーザの視聴履歴のログを元に類似度計算ジョブを実⾏する．類似度計算にはユーザの視聴履歴ログを Implicit Feedback とした協調フィルタリング [3] を⽤いている．協調
フィルタリングのアルゴリズムは重み付き Matrix

Factorization を使⽤している．
AbemaTV の推薦システムでは視聴履歴ログとして AbemaTV と Abema ビデオの両⽅の視聴ログを使⽤している．両⽅のログを使⽤するメリットとしては AbemaTV しか視聴していないユーザに対して Abema ビデオの推薦をすることが可能となることが挙げられる．また AbemaTV では番
組予約の機能があるため，ユーザがすでに番組予

似番組の上位 N 件を取得する探索処理を実⾏する．この上位 N 件は番組推薦候補として HBaseに保存される．なお，この N は数⼗と設定するが，推薦結果を AbemaTV のサービス側で何件表⽰させるかなどのサービス要件で変わる．

Recommendation API はクライアントからのリクエストに応じて 2 節で述べた 2 種類の推薦機能のいずれかを実⾏する．2 節より “番組から番組への推薦” に該当する処理は Recommendation API
では起点となる番組の類似番組を HBase から取得
する．この時点で HBase には事前に計算された推薦候補の結果が保存されているので HBase から結果を取得するだけで推薦候補結果を取得できる．

“ユーザから番組への推薦” に該当する処理はRecommendation API でユーザの直近の視聴履
歴データを Zero から取得し，この視聴履歴を元に

4 まとめ9

類似する番組を HBase から取得し，集約して推薦

習データを作成し，オフラインで⼆値分類の機械候補として利⽤する．“ユーザから番組への推薦”

学習モデルを⽣成する．⼆値分類器のアルゴリズの推薦候補は HBase に事前に結果を保存していな

ムは Gradient Boosting Decision Tree を使⽤しい．この理由としてはユーザの直近の⾏動に対すている． 学習されたモデルは Model Server へデるリアルタイム性を反映させたい点とユーザ数はプロイされる．

番組数に対して圧倒的に数が多いので，全ユーザ

次にこのモデルを使⽤した推論時の処理につの推薦候補を事前計算するのは⾮効率だからであいての説明を⾏う．Ranking Service は，Recom-

る．このアーキテクチャは YouTube や Amazon

mendation API から推薦候補とユーザ ID を⼊⼒

での例を参考にしている [4, 5]．

として推論を⾏う．まず，Ranking API は，ユー

HBase か ら 取 得 し た 推 薦 候 補 は ，後 述 す る

ザの特徴量と推薦候補となっている各番組に対しRanking Service を⽤いてリランキング処理を⾏ての特徴量を Feature DB から取得する．特徴量い，その結果を最終的な推薦結果としてクライア

はたとえばユーザのデモグラフィック情報や番組

ント側に返却する．

情報を表すメタ情報などがある．次に，この特徴量を元に Model Server へ関連度スコアの計算を

3.2

リランキング処理

リクエストする．Model Server は各特徴量に対しリランキング処理は推薦候補⽣成処理で⽣成さてユーザと番組との関連度スコアを計算し，推薦れた推薦候補の結果からユーザとの関連度の⾼い候補の結果に付与して Recommendation API に番組をなるべくランキングの上位に推薦すること返却する．Recommendation API ではこのスコアを⽬的とする．AbemaTV の推薦では，ユーザがの⾼い順に並び替えを⾏いクライアント側へ返却

推薦候補の番組を視聴する可能性があるかどうかを⾏う．

という⼆値分類器のモデルを学習し，その予測確率をスコアとして順位づけを⾏う．
図 1.2.1 において，リランキング処理は Ranking

Service で実⾏される．リランキング処理に関わる
各コンポーネントの役割は以下のようになる．

• ユーザと番組の関連度合いを計算する機械学習
モデルの⽣成（Learner）• ユーザと番組の関連度合いの推論を⾏う（Model Server）• Recommendation API より推薦候補結果を受け取り Feature DB より特徴量を付与し Model

4 まとめ
本稿では，AbemaTV における推薦システムについて説明し，実運⽤上の課題をどのように解決しているか述べた．AbemaTV では新しいユーザが⽇々増加しており，⼤規模な推薦システムを精度⾼く提供するために今後もシステム⾯の改善や機械学習アルゴリズムの改善を⾏っていく必要がある．また今回紹介した推薦機能以外の新しい推薦
機能も今後検討していく必要があると考えている．

Server へ関連度スコアの計算をリクエストする（Ranking API）

• 推論時に使⽤する特徴量を保存する DB（Feature DB）*5
リランキング処理で⾏われるモデル作成の処理について説明する．Learner は，Patriot からユー
ザの⾏動ログや番組のメタ情報などを取得して学

参考⽂献[1] 梅⽥ 永介，飯島 賢志，斎藤 貴⽂: データ処理
基盤 Patriot における継続的改善の取り組み,

CyberAgent 秋葉原ラボ技術報告，サイバー
エージェント，vol. 1, pp. 4–11 (2018)[2] 佐藤 栄⼀: リアルタイムのデータ活⽤を⽀援*5 特徴量のデータは Patriot からユーザのデモグラフィック情報や番組のメタ情報を取得し保存する

1.2 AbemaTV を⽀える推薦システム

10
するストリーム処理エンジンの開発，CyberA-[4] Linden, G., Smith, B. and York, J.: Ama-

gent 秋葉原ラボ技術報告，サイバーエージェ

zon.com Recommendations:

ント，vol. 1, pp. 17–25 (2018)

Collaborative Filtering, IEEE Internet Com-

[3] Hu, Y., Koren, Y. and Volinsky, C.: Collabo-

Item-to-Itemputing, pp. 76–80 (2003)

rative filtering for implicit feedback datasets,[5] Davidson, J. et al.: The YouTube Video

Data Mining, 2008. ICDM’08. Eighth IEEE

Recommendation System, Proceedings of theInternational Conference on, pp. 263–272

Fourth ACM Conference on Recommender(2008)

Systems, pp. 293–296 (2010)

11

1.3

分断化した社会における AbemaTVの役割に関する検討

⾼野 雅典

概 要 AbemaTV はテレビのような受動的なユーザ体験（受け⾝視聴）とコンテンツ品質を実現しつつ，テレビへの接触が少ない若年層の利⽤者が多いという特徴をもつ．したがって従来のマスメディアが担ってきた報道の役割を AbemaTV のニュースコンテンツによって補間できる可能性がある．本稿では AbemaTVのメディアとしての価値向上を⽬指した 2 つの研究を紹介する．⼀つはユーザの接触コンテンツの多様性
やその変化を評価する枠組みを提案するものであり，もう⼀つは AbemaTV のザッピングというテレビに似たユーザ体験がユーザの関⼼に与える影響を調査するものである．両研究結果は AbemaTV のユーザが接触するコンテンツの多様性を増加させる可能性，ニュースへの関⼼が薄いユーザへの関⼼喚起ができる可能性を⽰唆する．

Keywords

ニュースメディア, 社会的分断, 選択的接触

1 はじめにインターネットやスマートフォンの普及により，多くの⼈が膨⼤な情報源にアクセスできるようになった．新聞・テレビニュース・雑誌などの既存のメディアに加え，ニュースサイト・個⼈のブログ・まとめサイト・ソーシャルメディアでの専⾨家・⼀般の⼈の発⾔などである．情報源の多様化によって，情報の受け⼿は情報源を選別することが可能になった．
このような⾃⾝の選好に合わせて情報を選択すること（選択的接触）によって受け取る情報に偏りが⽣じる [14, 20, 23]．選択的接触は社会構造を分断する（社会的分断）という問題が指摘されている．社会が分断化すると⾃分が所属するクラスタと触れ合うことが多く，⾃分の所属しないクラス
タと触れ合う機会は少なくなる．たとえば政治思
想・知識である．リベラルな政治態度の⼈はリベ
ラルな情報源に接触しがちであり，保守的な政治態度をもつ⼈は保守的な情報源に接触しがちになる [6]．政治に関⼼がないと政治情報への接触機会が少ないため [14]，政治知識の有無に関しても分断が発⽣する [15, 20]．
政治的・社会的な問題に関する態度・知識の分
断は特に重要な課題の⼀つである．社会的分断は同じ⽴場の情報への偏ったアクセスをより加速するため，意⾒・主張の極端化が発⽣しがちである．
極端な意⾒をもつと異なった意⾒の他者との相互理解や建設的な議論が難しくなる [19]．また誤った情報が蔓延しやすいという問題もある [11]．それはたとえ誤っていても⾃分⾃⾝の意⾒に近い情報であるため信じてしまいやすく，分断されているため訂正情報が届きにくいからである [2]．
現在では多くの Web メディアで提供される推薦
機能（ニュースサイトでの記事，ソーシャルメディ
アでのアカウントなど）は，偏った情報源へのアクセスをさらに促進し，社会的分断はさらに加速されることが懸念される．推薦機能はユーザのアクセス履歴などの⾏動情報から，そのユーザが好む1.3 分断化した社会における AbemaTV の役割に関する検討

12

情報を提⽰することだからである．このようなシディアによる情報は知識の平均化に有⽤，2) 若年

ステムによっていつの間にか⾃⾝が望む情報しか層のメディア接触には Web メディアが有効，3)

⾒えなくなってしまうことはフィルターバブルとWeb メディアのさりげない情報提⽰は政治などへ呼ばれる [13]．

の関⼼のない層への知識向上に有⽤と⾔える．

従来はテレビなどのマスメディアが⼈の政治知

インターネットテレビ局 AbemaTV*1 は Web

識の乖離を防ぐ役割を果たしていた [22]．以下のメディアでありながらテレビのようなユーザ体験

点においてニュースへの関⼼のないユーザに対しを提供するサービスであり，また若年層の利⽤者ても⽐較的情報を届けやすいからである．

が多い [1] ため，1, 2 を満たす．またチャンネル• 受動的なメディアである．ニュース記事のように能動的にテキストを読む必要がないため関⼼が低いユーザでも情報を得やすい．

• ニュースコンテンツは特定のトピックスではなく様々なトピックを扱うパッケージになっている．

• ニュース制作会社によってコンテンツが制作されているため，個⼈のソーシャルメディアの発⾔やまとめサイトに⽐べて平均的な品質が⾼い．

をテレビと同様に順番に変更するというユーザイ
ンタフェースによって，意図しないコンテンツへの接触機会があり 3 を満たす可能性がある．秋葉原ラボでは AbemaTV が放送するニュースコンテ
ンツによって社会的分断を緩和することを⽬指して，計算社会科学・社会⼼理学・政治コミュニケー
ションの研究者と共同研究を進めている．本稿ではそのための準備として実施した以下の枠組みの開発（a）と⾏動傾向の基礎的な調査（b）を紹介する．a) ユーザの接触コンテンツの多様性の定量化 [7, 8]，b) ニュースの「チラ⾒」がニュース視聴

このようなテレビニュースのような受動的でパッの動機に与える影響 [21] の 2 つを紹介する．a はケージ化されたメディアによる情報は知識の平均

東京⼤学⼤学院 ⼯学系研究科の⿃海不⼆夫先⽣，化をもたらす [17, 20]．しかし，近年の⽇本では若⻄⼝真央研究員，垣内弘太⽒との共同研究である．

年層は Web メディアへの接触が頻度が⾼く，⼀⽅b は⽴命館⼤学 情報理⼯学部 ⼩川祐樹先⽣との共でテレビ・新聞などのマスメディアへの接触は少な

同研究である．

いため，この役割を果たしづらくなっている [24]．
したがって社会的分断を緩和するには従来のマスメディアが担ってきた役割を Web メディアが補

2 ユーザの接触コンテンツの多様性の定量化間する必要がある．たとえば，政治や国際情勢に関⼼を持たない⼈に対して，政治知識を促進するに

前節で述べたように⼈は情報源に選択的に接触はさりげない情報提⽰が有効である．Kobayashi

し，その結果，接触する情報源が偏る [14, 20, 23]．

ら [9] は⽇本のポータルサイト Yahoo!ニュースの

これらは質問紙調査による接触メディアの傾

トップページに掲載されるトピックス⾒出しを閲

向 [14, 20] やソーシャルメディア上のフォロー

覧するだけで，政治に関する知識の学習効果があ

関係 [23] によって確かめられている．⼀⽅で実際ることを⽰した．Epstein & Robertson [3] は検索の⾏動履歴からメディアやコンテンツに対する接エンジンの偏った検索結果は選挙の結果を左右し触を検証した研究は少ない（⽇本の事例では [9, 16]

うることを⽰した．

がある）．

まとめると社会的分断を緩和するためには，1)

本研究 [7, 8] では，ユーザの情報接触とその影

テレビのような受動的なパッケージ化されたメ

響に関する基礎的な研究として視聴するコンテンツの多様性を定量化する枠組みを構築することを*1 https://abema.tv/

2 ユーザの接触コンテンツの多様性の定量化⽬的として実施した．

13
LINE (2nd) を使うことでユーザの類似度まで考慮してコンテンツのベクトルを作ることができる．

2.1

提案⼿法と結果

接触コンテンツの多様性の定量化

接触コンテンツの多様性変化の評価

まず接触コンテンツ（AbemaTV では視聴番組）

前節で構築した多様性指標 CDE を⽤いて Abe-の多様性の定量化について述べる．最もシンプル

maTV ユーザの接触コンテンツの多様性の変化な指標化の⽅針はコンテンツのメタデータ（カテゴを評価・分析する．多様性の変化は図 1.3.3 に⽰リやタグ）に基づくものである．しかしメタデー

すように時系列で 2 つの期間（Start Block，End

タは分析したい粒度（国際情勢，ヨーロッパの動Block）で CDE の差によって評価する．ユーザの向，イギリスの EU 離脱，各政党など）で付与されCDE の差 CDEend block − CDEstart block が正でているとは限らず，適切なタグ付けは流⾏や社会

あれば，そのユーザの接触コンテンツの多様性が情勢にも左右されうる．そこで本研究ではユーザ増したということである．ここでは AbemaTV のの⾏動履歴から評価粒度を調節可能な接触コンテ

利⽤初期データ*2 を除去し，その後に視聴した 10

ンツの多様性を定義し，定量化する．

コンテンツを Start Block，データセットにおけるユーザの⾏動履歴からコンテンツを特徴づける

最後の 10 コンテンツを End Block とした．使⽤ために，ユーザと接触コンテンツからなる⾏列をしたデータセットの期間は 2017 年 6 ⽉ 26 ⽇から考える．各ユーザが接触したコンテンツには 1，そ2017 年 7 ⽉ 2 ⽇である．分析対象ユーザ数は 1 ヵ

うでないコンテンツには 0 が⼊ったユーザ数 × コ

⽉以上 AbemaTV を利⽤していたユーザから 891

ンテンツ数の⾏列である．

⼈のデータを⽤いた．コンテンツ数は 20,878 で作成した⾏列の各列をコンテンツベクトルとしある．

て，それらのコサイン類似度を⽤いてコンテンツの

図 1.3.4 にクラスタ数 Kd を変えたときの CDE

クラスタリングを⾏う．ユーザが接触したコンテの差を⽰す．ここでは階層的クラスタリングを利ンツのクラスタの頻度の情報エントロピー（Clus-

⽤して段階的に Kd を変えた．Kd が⼩さいとき

ter Diversity Entropy; CDE）が本研究で提案す（⼤きな少数のクラスタで CDE を評価したとき）

る接触コンテンツ多様性である（図 1.3.1）．CDE

は CDE の差は正になり，Kd が⼤きくなる（⼩さはクラスタリングのクラスタ数 Kd を変えることな多くのクラスタで CDE を評価する）と CDE ので任意の粒度で接触コンテンツの多様性を計算で差は負になった．すなわち，接触コンテンツの多きる．

様性は巨視的視点では増加し，微視的視点で評価

なお実際の計算ではコンテンツベクトルは次元すると減少した．

縮約を⾏った．それは各ユーザが接触するコンテ
ンツは全コンテンツのごく⼀部であるため，コン

2.2

まとめ

テンツ間の類似度を計算する際に⼀致する要素が本研究では⼈が視聴するコンテンツの多様性変⾮常に少なくなってしまい，扱いにくいからであ化を評価する枠組みを提案した．その枠組の有効る．そこで LINE (2nd) [18] を⽤いてベクトルの性を検証するために，その枠組で「AbemaTV」に

次元縮約をした（図 1.3.2）．LINE (2nd) とはネッ

おけるユーザの番組視聴の多様性変化について分

トワークのノードを 2 次ノード（最短経路が 2 の析した．その結果，視聴番組の多様性は微視的視ノード）まで考慮してベクトル化するデータ縮約

点では減少する（たとえばいくつかのニュースコ⼿法である．コンテンツどうしはユーザを介してンテンツのうち特定の番組のみ視聴する）ものの，接続される⼆部グラフである（図 1.3.2 左）ため，

巨視的視点では増加する（たとえばドラマ中⼼に*2 新規登録⽇と 2 ⽇⽬以降で最初に⾒た 10 コンテンツ

1.3 分断化した社会における AbemaTV の役割に関する検討

14

図 1.3.1

コンテンツのベクトル表現か

図 1.3.2

コンテンツのベクトル表現の作り⽅

らの多様性指標 CDE の計算⽅法

図 1.3.3

接触コンテンツ多様性の変化はスタートブロックとエンドブロックを⽐較して評価する．

図 1.3.4

クラスタ数 Kd による CDE の差の変化⾒ていたがニュース番組も⾒るようになる）こと

動に影響を与えることができる．本節ではニューがわかった．

スコンテンツの画⾯を「チラ⾒」することによるこの枠組みを⽤いると任意の粒度で多様性の変化を評価できる．たとえば，政治に関する社会的ニュースチャンネルの継続視聴への影響を評価した．

分断の⽂脈では，政治への関⼼の有無・知識量・政AbemaTV では通常のテレビと同様に順番に治態度（リベラル∕保守）に影響するニュースコン

チャンネルを変えながら視聴する番組を選ぶ（ザッテンツはどの粒度での多様性を必要とするかにつピングと呼ばれる; 図 1.3.5）が，その際にニューいてなどの検討ができる．

ス番組が⽬に⼊ることがある（「チラ⾒」と呼ぶ）．
この普段の「チラ⾒」がニュースに関する知識や

3 ニュースの「チラ⾒」がニュース視聴の動機に与える影響
Kobayashi ら [9]，Epstein ら [3] が⽰したようにさりげない情報提⽰によって⼈の知識・関⼼・⾏

視聴動機を⾼めている可能性がある．本節ではこの仮説を確かめるために次の研究課題（Research

Question; RQ）を検証する（図 1.3.6）．
• RQ: ⼤きな政治・社会的ニュース視聴がきっ3 ニュースの「チラ⾒」がニュース視聴の動機に与える影響15!"#$%&'()*+,-./+01!"#$%&'(!"#$%)*+,

23-.!"#$%)*+,/%01

図 1.3.5

AbemaTV のチャンネル変更

図 1.3.6

本研究で取り組む研究課題のイメージ図の様⼦のイメージ図（ニュース番組からバラエティ番組）表 1.3.1

分析対象の政治・社会的イベント．時差のため⽶合衆国のニュースについてはその⽇の翌⽇とした．
番号

イベント名

⽇付

0
1
2
3
4
5
6
7
8
9

⽶⼤統領選投開票
⽶⼤統領就任式
テロ等準備罪裁決
⼩池都知事当選
北朝鮮ミサイル発射
北朝鮮ミサイル横断
衆院解散表明衆院解散
衆院選挙公⽰衆院投開票

2016/11/09
2017/01/21
2017/06/15
2017/07/02
2017/08/26
2017/08/29
2017/09/25
2017/09/28
2017/10/10
2017/10/22

かけでニュース番組を⾒るようになったとき，その効果の持続性にニュースのチラ⾒は貢献するか？

視聴）をしなかった• 対象⽇にニュース番組を 5 分以上視聴した
⼀度で 30 秒未満の視聴を「チラ⾒」と呼ぶ．また利⽤端末の OS は iOS と Android のユーザに限定

3.1

データセットした．

本研究では図 1.3.6 のように「政治・社会的イ

政治・社会的イベント前 7 ⽇間でのユーザの振ベント」の事前のユーザの振る舞いが当⽇やそれる舞いを表す変数として，事前期間における Abe-

以降に与える影響について分析した．対象とした

maTV での総視聴時間 u，事前期間におけるニュー「政治・社会的イベント」ニュースは表 1.3.1 の 10

スチラ⾒数 c（⼀度の視聴が 30 秒以下）
，事前期間件である．分析対象のユーザは表 1.3.1 の前にほにおけるニュースチャンネル以外の番組チラ⾒数

とんどニュースを⾒ていなかった（興味をもってc′ （ザッピング頻度），対象⽇当⽇のニュース視聴いなかったと推察される）ユーザとした．具体的

時間 s（分），対象⽇当⽇のニュースチャンネル以には対象⽇の 1 ⽇前から 7 ⽇前までさかのぼった

外の番組視聴時間 s′ （分）とした．ザッピング⾏

7 ⽇間を「事前期間」として，以下の 4 つの条件を動を考慮するのは事前のニュースチラ⾒ c の効果

満たすユーザを分析対象ユーザとした．

とザッピング⾏動 c′ によってニュースチャンネル• 事 前 期 間 よ り も 前 に AbemaTV を 利 ⽤ し ていた• 事前期間にある程度（合計 60 分以上）の AbemaTV の番組視聴をした• 事前期間でのニュース視聴（⼀度に 30 秒以上にたどり着いた効果を分けて知りたいからである．
また利⽤端末の OS によってアプリケーションの挙動が多少異なるため，OS を表す変数 o（iOS であれば 1，Android であれば 0）も分析の際には考慮した．本研究で着⽬するのは c と c′ で，それら

1.3 分断化した社会における AbemaTV の役割に関する検討

16
以外は共変量調整のための変数である．

3.2

また事前期間での AbemaTV の番組視聴時間
が 60 分未満のユーザにおいてはニュースチラ⾒

分析結果

回数・ザッピング頻度ともに有意に負の影響が政治・社会的イベントがきっかけでニュース視あった．

聴をした際に，その後のニュース視聴の継続について事前ニュース視聴 c が与えた影響を次の⽣存時間分析モデルによって分析した．ニュース視聴を 7 ⽇間で 30 分以上していることを⽣存とした．
すなわち「ニュース視聴をやめた⽇」とは「ニュース番組視聴時間が次の 7 ⽇間の合計で 30 分以下になった最初の⽇」であり，イベント発⽣⽇からその⽇までが⽣存時間である．期間は最⼤ 90 ⽇とした
（それ以上は⽣存と扱った）．

log t − µσlog µ = β0 + β1 log10 (u + 1)
S(t) = 1 − Φ(1.3.1)+β4 log10 (s + 1) + β5 log10 (s′ + 1)
+β6 o +

本研究ではインターネットテレビ局 AbemaTVにおいて「政治・社会ニュースに関⼼のないユー
ザ（AbemaTV においてニュースを⾒ていない）」のニュースへの関⼼を⾼める⽅策を検討するために，ニュース番組の画⾯を「チラ⾒」していると，
ニュース番組をほとんど⾒ていなくてもニュース
その結果，AbemaTV をある程度利⽤している
ユーザにおいて，普段ほとんどニュース番組を⾒(1.3.2)+β2 log10 (c + 1) + β3 log10 (c′ + 1)
9∑

議論

視聴への動機を⾼めるという仮説を⽴て検証した．

)

(

3.3

β7,i eii=1

ていなくてもニュースの画⾯をチラ⾒をしている
ことは，政治・社会的イベント発⽣時のニュース番
組視聴をした場合に，その後の継続的なニュース
視聴も促進することがわかった．したがってチラ
⾒をしやすいユーザインタフェースは政治・社会

ここで S(t) は⽣存関数で，⽣存時間（継続してニュースに関⼼のないユーザに関⼼を持たせる効

ニュースを視聴した⽇数）が t を超える確率を表果があると⾔える．対して，AbemaTV をあまりす．β7,i ei は「⽶⼤統領投開票」（i = 0）を基準と利⽤していなかったユーザについてはニュース番

してそれ以外のイベント i（i ≥ 1）や⽇程の効果

組のチラ⾒はニュース番組の継続視聴を抑制するを⽰す調整のための変数である．⽣存時間の分布結果になった．この理由については今後検証が必には指数分布，ワイブル分布，対数正規分布，対数要である．

ロジスティック分布の 4 種類を検討し，全イベン

⼀⽅でザッピング⾏動傾向はニュースの継続

トに対して最も AIC が⼩さかった対数正規分布を利⽤は抑制する結果になった．チラ⾒によって採⽤した．

ニュース視聴を促進されたユーザについてはザッ

このモデルを⽤いて分析した．対象ユーザ数

ピングによってそのイベントのニュースに接触すは 49, 658 である．その結果を表 1.3.2 に⽰す．

る機会が多いためだと考えられる．対して，ザッニュースチラ⾒回数（c）は継続したニュース視

ピング⾏動の傾向は継続性を低める傾向にあった．

聴に対して正の影響があった（β2 > 0）．⼀⽅で⼀般にニュース番組よりもエンターテイメント性′

ザッピング頻度（c ）は有意に負の影響があったの⾼い他のコンテンツの⽅が興味を引きやすいと（β3 < 0）．すなわちチャンネル変更などの過程で考えられる．そのため，複数のチャンネルから⾒

ニュース番組の画⾯が⽬に⼊ること（c が⼤）は，たいものを選ぶザッピング⾏動傾向が⾼いと，普普段ほとんどニュースを⾒ていないユーザの継続

段はニュースを視聴しづらかったのだと思われる．

的なニュース視聴を促した．それに対しユーザのある政治・社会的イベントに興味をもつ・理解

ザッピングをしやすい傾向は継続的なニュース視するためには，それの基盤となる知識が重要で聴を抑制した．

あろう．図 1.3.5 に⽰すように AbemaTV を含む

4 おわりに17
表 1.3.2 式 1.3.1 の回帰係数
Explanation Value
β1 (log10 (u + 1))
β2 (log10 (c + 1))
β3 (log10 (c′ + 1))
β4 (log10 (s + 1))
β5 (log10 (s′ + 1))
β6 (o)
β7,1 （⽶⼤統領就任式）
β7,2 （テロ等準備罪裁決）
β7,3 （⼩池都知事当選）
β7,4 （北朝鮮ミサイル発射）
β7,5 （北朝鮮ミサイル横断）
β7,6 （衆院解散表明）
β7,7 （衆院解散）
β7,8 （衆院選挙公⽰）
β7,9 （衆院投開票）
β0 (Intercept)
log σ

CoeﬃcientStandard Error

t-valuep-value−0.1852
0.0620−0.2532−0.01450.5185−0.0617−0.28280.28220.21510.24760.02020.36870.23940.1843−0.0532
0.54990.35190.018480.02774
0.01456
0.00556
0.016020.013770.02738
0.037260.030450.036410.027960.036170.036290.037960.02850
0.08365
0.00317−10.024
2.2360−17.392−2.6090
32.359−4.4830−10.328
7.57407.06306.80000.724010.1930
6.59604.8560−1.8660
6.5740110.91

2.0 × 10−16
2.54 × 10−2
2.0 × 10−16
9.07 × 10−3
2.0 × 10−16
7.34 × 10−6
2.0 × 10−16
3.62 × 10−14
1.63 × 10−12
1.04 × 10−11
4.69 × 10−1
2.0 × 10−16
4.22 × 10−11
1.20 × 10−6
6.20 × 10−2
4.91 × 10−11
2.0 × 10−16

ニュース番組は画⾯上に重要な情報をテロップでる．今後はこれらの研究と社会調査を組み合わせ，

表⽰していることが多い．Kobayashi ら [9] が⽰

ユーザの政治知識・関⼼・姿勢への効果を計測し，したようにポータルサイトではトピックス⾒出しAbemaTV のメディアとしての社会的価値をよりを閲覧するだけで，個別の⾒出しをクリックして⾼める⽅策について検討する予定である（⽴命館

記事⾃体を読まなくても政治に関する知識の学習

⼤学 ⼩川祐樹先⽣，神奈川⼤学 ⾼史明先⽣との共効果がある．同様にニュース画⾯を「チラ⾒」し同研究）．

ていることで政治・社会ニュースに関する知識を本稿で紹介した研究以外にも豊橋技術科学⼤ユーザが獲得していた可能性がある．実際にそう

学 情報・知能⼯学系の吉⽥光男先⽣，早野宙⽒といった知識が獲得されたかどうかについては今後

AbemaTV のコンテンツ視聴と情報探索⾏動の関

質問紙調査によって検証する予定である．

連 [4]，⽴命館⼤学 ⼩川祐樹先⽣，⻄朋⾥⽒，神奈
川⼤学 ⾼史明先⽣と AbemaTV におけるニュー4 おわりに
本稿では AbemaTV が放送するニュースコンテ
ンツによって社会的分断を緩和することを⽬指して⾏ってきた 2 つの準備的研究を紹介した．⼀つはユーザの接触コンテンツの多様性やその変化を定量化する枠組みを提案したものであり，もう⼀
つは AbemaTV のザッピングというユーザ体験
がユーザの関⼼に与える影響を調査したものである．両研究結果は AbemaTV のユーザが接触する
コンテンツの多様性を増加させる可能性，ニュースへの関⼼が薄いユーザへの関⼼喚起ができる可能性を⽰唆する．それらはニュース番組においては，政治的姿勢や知識の分断を緩和し，健全な政治的・社会的議論の実現に寄与することが期待でき

ス種別によるユーザの意⾒表出の違いについて研究を実施しており，多⾓的な視点で AbemaTV の社会的影響について調査を進めている．
このようなメディアにおけるユーザの情報接触とその影響をユーザの実際の⾏動履歴から調査した研究は少ない．それはメディアを提供する企業でなければユーザの⾏動履歴データを持っていな
いため多くの研究者にとって研究対象にすることが難しいからである．このように⾏動履歴に基づ
く接触コンテンツの分析はコンテンツを提供する
事業者⾃⾝が研究することが有効である．⽇本企業の事例としてはヤフー社（国⽴情報学研究所との共同研究） [9] や Gunosy 社 [16] が挙げられる．
こういった取り組みは事業者が⾃⾝が提供するコンテンツやサービスの社会に与えうる影響を知る

1.3 分断化した社会における AbemaTV の役割に関する検討

18
ためにも重要であろう．

umi, Masanori Takano, and Kazuya Wada.
What influences people to broaden theirhorizons?

参考⽂献

national Conference on Web Intelligence[1] CyberAgent, Inc. CyberAgent 2Q FY2018[2] Michela Del Vicario, Alessandro Bessi,
Fabiana Zollo, Fabio Petroni, Antonio
Scala, Guido Caldarelli, H Eugene Stanley,
and Walter Quattrociocchi. The spreadingof misinformation online. Proceedings of the
National Academy of Sciences of the UnitedStates of America, Vol. 113, No. 3, pp. 554–
[3] Robert Epstein and Ronald E Robertson. The search engine manipulation eﬀect(SEME) and its possible impact on the outcomes of elections. Proceedings of the National Academy of Sciences of the UnitedStates of America, Vol. 112, No. 33, pp.

Influence of Selective Exposure to Viewing Contents Diversity. In The 10th International Conference on Social Informatics(SocInfo), 2018.
[9] Tetsuro Kobayashi and Kazunori Inamasu.
The Knowledge Leveling Eﬀect of Portal
No. 4, pp. 482–502, jun 2015.
[10] Adam D I Kramer, Jamie E Guillory, andJeﬀrey T Hancock.

Experimental evi-

dence of massive-scale emotional contagion
through social networks. Proceedings of the
National Academy of Sciences of the UnitedStates of America, Vol. 111, No. 24, pp.

E4512–21, aug 2015.
[4] Hiroshi Hayano, Masanori Takano, Soichiro
Morishita, Mitsuo Yoshida, and Kyoji
Analysis of the Influence ofInternet TV Station on Wikipedia Page
Views. In The 3rd International Workshop
on Application of Big Data for Computational Social Science (workshop at IEEE

8788–90, jun 2014.
[11] Steven Kull, Clay Ramsay, and Evan Lewis.
Misperceptions, the Media, and the Iraq
War. Political Science Quarterly, Vol. 118,
No. 4, pp. 569–598, dec 2003.
[12] Kevin Munger. Tweetment Eﬀects on the
Tweeted: Experimentally Reducing Racist
Harassment.

BigData2018), 2018.
MichaelTakano, Kazuya Wada, and Ichiro Fukuda.

Sites. Communication Research, Vol. 42,

9, jan 2016.

Umemura.

(WI2018), 2018.
[8] Kota Kakiuchi, Fujio Toriumi, Masanori

Presentation Material, 2018.

[5] Marit

In IEEE/WIC/ACM Inter-

Hinnosaar,

ToomasKummer,andDoes Wikipedia Matter?

Hinnosaar,

Olga

Slivkó.

The Eﬀect of

Wikipedia on Tourist Choices.

ZEW

Discussion Paper, Vol. 15, No. 089, 2017.
[6] Shanto Iyengar and Kyu S Hahn. Red Media, Blue Media: Evidence of Ideological
Selectivity in Media Use. Journal of Communication, Vol. 59, No. 1, pp. 19–39, mar
2009.
[7] Kota Kakiuchi, Mao Nishiguchi, Fujio Tori-

Political Behavior, Vol. 39,

No. 3, pp. 629–649, sep 2017.
[13] Eli Pariser. The Filter Bubble: What The
Internet Is Hiding From You. Penguin, UK,
2011.
[14] Markus Prior.

News vs. Entertainment:

How Increasing Media Choice Widens Gaps
in Political Knowledge and Turnout. American Journal of Political Science, Vol. 49,
No. 3, pp. 577–592, jul 2005.
[15] Markus Prior. Post-broadcast democracy :how media choice increases inequality in po-参考⽂献

litical involvement and polarizes elections.
Cambridge University Press, 2007.

19
York, USA, 2015. ACM Press.
[19] S. Yardi and D. Boyd. Dynamic Debates:[16] Yoshifumi Seki and Mitsuo Yoshida. Anal-

An Analysis of Group Polarization Overysis of Bias in Gathering Information Be-

Time on Twitter. Bulletin of Science, Tech-

tween User Attributes in News Application.

nology & Society, Vol. 30, No. 5, pp. 316–

In IEEE BigData 2018 Workshop : The 3rd327, oct 2010.

International Workshop on Application of[20] 稲増⼀憲, 三浦⿇⼦. 「⾃由」なメディアのBig Data for Computational Social Science陥穽. 社会⼼理学研究, Vol. 31, No. 3, pp.

(ABCSS2018), Seattle, WA, USA, 2018.

172–183, mar 2016.

[17] Adam Shehata. Active or Passive Learn-[21] ⾼野雅典, 森下壮⼀郎, ⼩川祐樹. インターing From Television? Political Information

ネットテレビ局 AbemaTV におけるニューOpportunities and Knowledge Gaps During

スの「チラ⾒」がニュース視聴の動機に与えるElection Campaigns. Journal of Elections,影響. ⽇本⾏動計量学会 第 46 回⼤会, 2018.

Public Opinion & Parties, Vol. 23, No. 2,[22] ⼩林哲郎. マスメディアが世論形成に果たす

pp. 200–222, may 2013.
[18] Jian Tang, Meng Qu, Mingzhe Wang, Ming

役割とその揺らぎ. 放送メディア研究, No. 13,

pp. 105–128, 2016.

Zhang, Jun Yan, and Qiaozhu Mei. LINE:[23] ⼩林哲郎. ソーシャルメディアと分断化する

Large-scale Information Network Embed-

社会的リアリティ. ⼈⼯知能学会誌, Vol. 27,

ding. In Proceedings of the 24th Interna-

No. 1, pp. 51–58, 2012.

tional Conference on World Wide Web WWW ’15, pp. 1067–1077, New York, New[24] 保⾼隆之. 情報過多時代の⼈々のメディア選
択. 放送研究と調査, Vol. 12, 2018.

20

2

ブログサービス「Ameba ブログ」

当社のメディア事業には，ユーザがコンテンツを投稿できるサービスが数多く属している．
中でも Ameba の中⼼サービスである Ameba ブログは，2004 年からの 14 年以上に亘り 24 億を超える投稿を受け⼊れてきた⽇本最⼤級のブログサービスである．Ameba ブログは誰でも⾃由にブログの作成が可能であり，⽂章に加えて画像・動画・⾳声などの多様なコンテンツを⽤いてユーザの経験・知⾒・意⾒・創作を全世界に容易く公開できる．
ブログサービスという開かれたメディアが抱える最も重要な責務の 1 つに，「⾃由」と「品質」の両⽴がある．Ameba ブログはあまねく⼈々の⾃由な⾃⼰表現の場としての役割を託されて開発と運営が⾏われているが，無制限に投稿を認めることはサービス全体の品質低下につながるためである．たとえば，アフィリエイトリンクが記事の⼤半を占めるような記事を⼤量に投稿する⾏為（いわゆるアフィリエイトスパム）への対処が⾏われなければ，他ユーザの記事が埋没してしまう．ユーザが精魂込めて作り上げたコンテンツへのアクセスが阻害されるような状況では，もはやブログサービスは⾃⼰表現の場という役割を喪失するのである．
秋葉原ラボでは Ameba ブログの⾃由と品質を保つために，主に次に挙げる 2 つの取り組みを進めている．1 つ⽬は，不適切な投稿が⾏われることを未然に防ぎ，不適切な可能性がある
投稿についても迅速に確認できるフィルタリングシステムの整備である．このために，どのようなタイプの不適切投稿が存在するかの類型化と，各タイプに適したフィルタの考案と開発を⾏っている．2 つ⽬は，実際に投稿されているコンテンツの状況を確認するアノテーションの枠組みの整備である．アノテーションとは，コンテンツを⼈⼿で確認し，たとえば不適切か否かといった情報を付加する処理を指す．アノテーションを効率的・持続的に実施するための下地を整えることは，前述のフィルタを精緻化するため，そして現状の Ameba ブログ全体の品質を俯瞰するために不可⽋である．
本技術報告では以上の 2 つの取組みについて，各章に分けて紹介する．2.1 章では，不適切投稿のフィルタリングについて詳説する．具体的には，スパム分類などの知⾒や，フィルタリ
ングの枠組みと⼿法を解説する．続く 2.2 章では，アノテーションシステムについて詳説する．
ここでは，アノテーションの⼀連のプロセスを⾃動化するデータフローや，さまざまなユース
ケースに対応できるインタフェースを紹介する．

21

2.1

アメブロを護る: 不適切コンテンツの傾向分析と検知⼿法の検討

⾓⽥ 孝昭，數⾒ 拓朗

概 要 本稿では，秋葉原ラボで開発しているコンテンツフィルタの⼿法と実装や，実運⽤の過程で得られた知⾒を紹介する．Ameba ブログのように⾃由な投稿を認めているサービスには，さまざまな種類の不適
切投稿が⾏われる．本稿では，この中から特にコピーコンテンツスパムを取り上げ，具体的なフィルタリ
ング⼿法と実装⽅法について説明する．実装したフィルタは総合監視基盤システム Orion（オライオン）
上で動作しており，さまざまなサービスの健全性を⽀えている．我々の取り組みは，Ameba ブログ上の不適切コンテンツを減少させると同時に，同様のサービスを運営する他社との共有を通じて Web 全体の健全化を促進している．

Keywords

機械学習，スパム，コピーコンテンツ，Hashing，SimHash

1 はじめに

裏⼀体である．そのため，不適切コンテンツからの防御の成否は，サービスの健全性に直結する．

当社のメディア事業では，ユーザのコンテンツ投稿を受け⼊れるサービスを数多く展開している．
たとえば，Ameba ブログ（以下，アメブロと略す
る）ではユーザが⾃由にブログを作成し，⽂章をはじめとするコンテンツを投稿・公開できる．また，アメブロや AbemaTV などのサービスでは，記事や番組など各コンテンツへのコメントをテキスト形式で投稿できる．くわえて，ユーザ間のコミュ
ニケーションを主⽬的としているサービスも存在する．たとえば，ピグパーティでは仮想空間上でのテキストチャットによるコミュニケーションを⾏える．
アメブロのようなメディアサービスを運営する上で重要な課題となるのは，サービス健全性の堅守である．特にアメブロでは簡単にブログを作成できるしくみにより投稿の⾨⼾を全世界に開いているが，これは悪意をもつユーザに対しても不適切コンテンツを投稿する機会を与える危険性と表くわえて，不適切コンテンツが⼤量に投稿されれば，検索エンジン上の表⽰順位低下や，ストレー
ジ・ネットワークなどの資源が無⽤に消費されるといった問題にもつながる．
健全性を脅かすような不適切な投稿には，さま
ざまな種類が存在する．たとえば，アメブロを不正に利⽤した事例として，アフィリエイト報酬の獲得を企図して⼤量のアフィリエイト記事を投稿したケースが存在する（アフィリエイトスパム）．
このような迷惑⾏為により，⼀部の新着記事ペー
ジや検索ページなどで⼀般ユーザの記事が埋もれてしまう問題が発⽣した．また，コメントを受け⼊れているサービスやチャットサービスでは，コ
メント対象やチャット相⼿への誹謗中傷の他，未成年からの個⼈情報聞き出しや脅迫・犯⾏予告といった深刻な犯罪と関連したものも考えうる．
秋葉原ラボではメディア事業が抱えるサービス
を健全に保つため，これらの投稿を抽出するため

2.1 アメブロを護る: 不適切コンテンツの傾向分析と検知⼿法の検討

22のフィルタと，フィルタに基づいた総合監視基盤
オライオン• 当該ブログや特定の外部 Web サイトの，サーシステム Orion を開発・運⽤している．さまざま

ビス内の各種ランキングや検索エンジンにおけな不適切投稿に備えたフィルタ群を，さまざまなる順位を操作する⽬的サービスに接続可能な Orion 上で動作させることで，あらゆるサービスの不適切投稿を迅速に発⾒し対応できるしくみを実現している．
本稿は，次のような展開で我々の取り組みを紹介する．まず，2 節では不適切コンテンツの種類とそれらの割合を⽰し，対応⽅針について議論す• アフィリエイト広告の表⽰数やクリック数を不当に増加させる⽬的
不適切コンテンツの中でもスパムを取り上げる
主な理由は，スパムは次に⽰す 2 つの特徴をもつためである．

る．次に，3 節では，不適切コンテンツの中でもコ

1. 投稿の検出が⽐較的難しい．不適切コンテン

ピーコンテンツスパムと呼ばれる投稿を取り上げ，

ツにはスパムの他，誹謗中傷・法令に反する表

我々が検出に⽤いている⼿法と実装⽅法を紹介す

現を含むコンテンツも存在するが，これらは特る．続いて，4 節では総合監視基盤システム Orion

定の⽂字列を含むものが多いため，キーワードの概要を説明する．5 節では，これらの取り組みのマッチで検知しやすいものが多い*1 ．⼀⽅で，成果を客観的な指標から評価する．最後に，6 節

スパムに⽤いられている表現は⼀般的なコンテで本稿を総括し，今後の課題を述べる．

ンツとの差異が⼩さい場合も多いため，単純なキーワードマッチによる弁別は困難である．

2 不適切コンテンツの類型化

2. 投稿による影響が⼤きい．スパムは⼤量に投稿されるため，その規模からランキング・トレン

ユーザのコンテンツ投稿を受け⼊れるサービス
運営者にとって，実際にどのような不適切コンテンツが投稿されているのかを把握することは重要である．不適切コンテンツの投稿傾向を把握でき

ド・推薦などのサービス内の広範な機能に影響を及ぼす恐れがある．同時に，スパム割合が増加することにより，サービス全体の価値を低下させる要因にもなる．

れば，これらへ対処する優先度や⼿法の決定が可能になるためである．そのため，アメブロでは不適切コンテンツの類型化を⾏い，不適切コンテンツ

2.2

スパムの種類と割合を含めてどのようなコンテンツが投稿されている

我々は，⻑期にわたるアメブロ運営過程で得らかを俯瞰するための調査を継続的に実施している．

れたさまざまなスパムに基づき，それらを表 2.1.1

本節では，特にスパムと呼ばれる不適切コンテのように類型化した．類型化にあたっては，⾼橋

ンツについて説明し，その類型化を試みる．続い

らによる分類 [⾼橋他, 2009] や Google の公開して，これらスパムへの対策について議論する．

ているウェブマスター向けガイドライン*2 を参考にしている．なお，スパム投稿は表 2.1.1 の分類

2.1

スパム（スプログ）

で⾒たときには複数に該当する場合もある．たと

本稿では，サービス利⽤規約の観点から望まし

えば，多くのコピーコンテンツスパムはコンテン

くない不適切コンテンツの中でも，特にスパムとツの剽窃が主⽬的ではなく，剽窃したコンテンツ呼ばれるコンテンツに注⽬する．ブログ上のスパにより閲覧数を増やすことで別サイトの SEO 効

ムはスプログとも呼ばれ，たとえば次のような⽬

果を不正に上げたりアフィリエイト報酬を不正に的をもって，⼤量に投稿されるコンテンツを指す．

得たりすることが⽬的である．そのため，コピー*1 ただし，隠語や伏せ字などを⽤いることで，キーワードマッチによる検知を回避しようとする投稿も存在する．我々は，これらの投稿に対して対処できるよう，単純な⽂字列の⼀致によらない⼿法も取り⼊れている．
*2 https://support.google.com/webmasters/answer/35769?hl=ja（参照: 2019 年 1 ⽉）

3 コピーコンテンツスパムの検出

23

表 2.1.1 スパム（スプログ）の分類とデータセットにおける割合
スパムの種類
発リンクスパム
コピーコンテンツスパム
アフィリエイトスパム
ドアウェイスパム
ワードサラダスパム

説明
リンク先サイトに SEO 効果を出すことを主⽬的として作成されたコンテンツ他のエントリやサイトからコンテンツを盗⽤し，同⼀のまま，またはわずかなリライトのみを加えて投稿されたコンテンツ
オリジナルなコンテンツがほとんどなく，アフィリエイトリンク
が主となっているコンテンツ
リンク誘導を主⽬的として作成されたコンテンツ
⼀定の規則に基づいて⾔葉や⽂章を組み合わせることで⽣成した，⼀⾒⽂法的には正しくても意味が通っていないコンテンツ

キーワードスタッフィング

⽂章とは関係なくキーワードを多数詰め込み，多数の検索ワード

スパムにヒットすることを企図して作成されたコンテンツ

リダイレクトスパム

訪問ユーザを強制的に他サイトにリダイレクトするコンテンツ

アダルトスパム

卑猥なコンテンツ

ノンクレジットスパム

広告コンテンツにも関わらず，[PR] [広告] などの明記がないコ
ンテンツ

割合

34.6%
22.4%
17.7%
15.1%
1.4%
0.8%
0.2%
0.1%
0.1%

コンテンツスパムは発リンクスパムやアフィリエ

について，別のアノテータが表 2.1.1 の分類にしイトスパムであることも多い．

たがっていずれのスパムであるかを分類した．表

スパムの性質により，有効な検知⼿法は異なっ

2.1.1 の結果に⽰すように，発リンクスパムが最たものとなる．たとえば，発リンクスパムは，エンも多く（34.6%），次いでコピーコンテンツスパム

トリ内やブログ内での外部へのリンク数を⾒たり，（22.4%），アフィリエイトスパム（17.7%）の順に

逆にブログ全体から特定のドメイン・ページへの多かった．複数のブログサイトを対象とした⾼橋

リンク数を⾒たりすることで検出しやすい．また，らの調査 [⾼橋他, 2009] と⽐較すると，コピーコ

アフィリエイトスパムに対しては，特定のドメイ

ンテンツスパム*3 ・アフィリエイトスパムが上位ンを含む URL へのリンク数に基づくルールベーに来ている点で共通している．⼀⽅で，⾼橋らのスや，リンク数などを素性に取り⼊れた機械学習

データではアダルトスパムが⽐較的多いことを報による⼿法が有効である．⼀⽅で，アダルトスパ

告しているが（第 3 位）[⾼橋他, 2009]，本データ

ムに対しては，特定のキーワードが含まれているでは⽐較的少ない件数であった．この理由は，ア

かを⾒るルールベースや，アダルトスパム特有のメブロがスパムであるかを問わずアダルトコンテ

単語の出現パターンを学習した機械学習モデルにンツの投稿を禁⽌しているためと考えている．

よる判別が効果的である．
続いて，アメブロにおける各スパムの割合を，
表 2.1.1 の「割合」列に⽰す．スパム種別の割合

3 コピーコンテンツスパムの検出は，次の⼿順によるアノテーションを⾏ったデー

本節では，多様なスパムの中でも特にコピーコ

タから算出した．まず，アノテーション対象としンテンツスパムを取り上げ，その検出⼿法を紹介て，ある特定の期間における 55,852 件の投稿をラする．コピーコンテンツスパムを取り上げる理由

ンダムサンプリングにより抽出した．次に，3 ⼈のは，⽐較的多く⾒られるスパムである⼀⽅で検出

アノテータにより，投稿が不適切か否かの判別をが難しいためである．コピーコンテンツスパムの⾏った．最後に，1 ⼈でも不適切としたエントリ

割合は，我々の調査（表 2.1.1）では第 2 位であり，*3 ⾼橋らは「引⽤型」スパムとしている [⾼橋他, 2009]．

2.1 アメブロを護る: 不適切コンテンツの傾向分析と検知⼿法の検討

24

⾼橋らの調査では第 1 位であった [⾼橋他, 2009]．

2007, Pi et al., 2009] やショートメッセージ [Ku-

しかし，コピーコンテンツスパムのエントリの⼤mar & Govindarajulu, 2013] の重複検出に⽤いら

半は「剽窃であること」を除けば⼀⾒して問題のなれている．

いコンテンツであるため，単語の出現パターンな

まず，類似度を求めたいデータが d 次元ベクトどの特徴を利⽤した機械学習による分類器は有効

ル x, y ∈ Rd で表されるとする．SimHash では次ではない*4 ．

のようなハッシュ関数 h(x) を考える．

そこで，本節では「剽窃であること」を検出する
ことで，コピーコンテンツスパムであるかを判定する⼿法について説明する．なお，本節の説明は
數⾒・内藤の報告 [數⾒・内藤, 2015] に基づいて
いる．

3.1

検出⼿法

我々は，ユーザが投稿した記事が剽窃であるかの判別を，⼤量の記事集合から類似する記事を抽{
1 if r · x ≥ 0h(x) =
0 otherwise(2.1.1)

ここで r ∈ Rd は各成分が平均 0，分散 1 の正規乱数からなるベクトルである．このハッシュ変換を施した h(x) と h(y) が⼀致する確率は，ベクトル x, y のなす⾓ θ を⽤いて次のように書ける*5 ．

P (h(x) = h(y)) =

π−θ
θ
=1−
π
π

(2.1.2)出するタスクとして考える．このタスクを解くにこれを θ について解けば，θ は h(x) と h(y) の⼀

あたっては，テキスト間の類似度を⾼速に計算す

致確率から計算できることが分かる．

る必要がある．アメブロでは⼀⽇あたり数⼗万件の記事が投稿されており，これらの記事毎に⼤量の候補との間での類似度計算が求められるためである．
我々は記事間の類似度を⾼速に計算するため，

SimHash [Charikar, 2002] に注⽬した．SimHash
は，データをある⽅法でハッシュ化し，類似度の計
算をハッシュ値間の低コストなビット演算に帰着させることで⾼速化を実現している．理論的には，

θ = π (1 − P (h(x) = h(y)))(2.1.3)

SimHash では，P (h(x) = h(y)) を経験的確率から推定することで θ を近似的に求める．経験的確率を求めるため，相異なる r の下での f 個のハッシュ関数 h1 (x), h2 (x), . . . , hf (x) による変換を施した f ビットからなるビットベクトル H(x)を考える．

H(x) = {h1 (x), h2 (x), . . . , hf (x)}(2.1.4)

ランダムに振る舞うハッシュ関数を⽤いて類似度

H(x) を⽤いると，経験的確率 P̂ (h(x) = h(y))

を確率変数で表し，類似度の計算を経験的確率のは次のように求められる．

計算で置き換えている．

SimHash によるコサイン類似度の近似

P̂ (h(x) = h(y))= 1 − P̂ (h(x) ̸= h(y))

イン類似度を⾼速に求める⼿法である [Charikar,

H(x), H(y) 間で⼀致しないビット数f(2.1.5)2002]．重複コンテンツ抽出のアルゴリズムとして

H(x), H(y) 間で⼀致しないビット数とは，すなわ

も採⽤事例が多く，Web サイト [Manku et al.,

ち H(x), H(y) のハミング距離に相当する．これ

Charikar が提案した SimHash は，近似的なコサ=1−*4 アメブロのコピーコンテンツスパムに限った場合，剽窃元の記事はニュースサイトが多いことから，スパム特有の単語出現パ

ターンは多くの⾮スパム記事とは異なった傾向にはなっている（時事⽤語やニュース記事独特の記法が多く出現する）．しかし，ニュースサイトから適切に引⽤した⾮スパム記事も存在するため，単語出現パターンを根拠にした判定は誤検知を起こす可能性が⾼い．
*5 式 2.1.2 は，幾何的には d 次元空間をランダムな超平⾯で 2 つに分割した際に x, y が同じ側にある確率としてとらえることもできる．式 2.1.2 の証明は Goemans & Williamson が与えているが [Goemans & Williamson, 1995]，Ravichandranらによる解説 [Ravichandran et al., 2005] も参考になる．

3 コピーコンテンツスパムの検出

25

を式 2.1.3 に代⼊することで

3.2

(

)
H(x), H(y) 間のハミング距離θ ≈π 1−f(2.1.6)実装

本節では，アメブロに投稿されるコピーコンテ
ンツスパムを SimHash により検出するための実装について説明する．まず，実装の中⼼である，⼤量のハッシュ値データベースから特定のハッシュを得る．式 2.1.6 は，結局 θ の推定値 θ̂ が値と類似するレコードを⾼速に抽出するしくみに()θ̂ ∝ − H(x), H(y) 間のハミング距離(2.1.7)

ついて説明する．続いて，このしくみを⽤いたシ
ステム全体の構成を⽰す．

で あ る こ と を ⽰ し て い る ．よ っ て ，実 ⽤ 上 はH(x), H(y) のハミング距離をそのまま x, y 間

ハッシュ値のデータベースへの格納の距離（類似していない度合い）として⽤いる場合

3.1 節では類似度の計算をハミング距離の計算が多い．我々の実装においてもハミング距離を利で近似できることを⽰したが，クエリとなるハッ⽤している．

シュ値に対して⼤量のハッシュ値との間でハミン

さらに Manku らは，以上に⽰す SimHash の空

グ距離を計算する必要がある場合は，依然として間計算量を削減する⼿法を提案している [Manku

計算コストが⾼い．ここで⽬的がコピーコンテン

et al., 2007]．計算⽅法の詳細は Manku らの論

ツスパムの検出であることを考えると，類似度が⽂ 2 節 [Manku et al., 2007] に譲るが，この⼿法

低いハッシュ値については関⼼がない．そのため，

では各次元ごとに適当なハッシュ変換を適⽤した

あらかじめハッシュ値の⼀部ビットが⼀致するレ*6

値 に注⽬することで，実際に相異なる f 個の乱

コードのみを対象とすることで，ハミング距離の数ベクトル r を⽣成することなく変換後のビット計算が必要となるレコードの限定が可能になる．

ベクトル H(x) を得られる．我々の実装も Manku

ここでは，ハッシュ値のデータベース上への格納

らの提案⼿法を⽤いている．

⽅法を⼯夫することで，ハッシュ値の⼀部が⼀致するレコードを抽出する⼿法について説明する．

テキストのハッシュ化

Manku らは，ハッシュ値の⼀部ビットが⼀致す

以上で説明した SimHash を⽤いるため，我々はるレコードを⾼速に抽出するため，ハッシュ値の記事テキストの⽂字 bi-gram を利⽤した．テキス

ビットを複数の変換規則で並び替えて，変換規則

トに注⽬した理由は，コピーコンテンツスパムのごとに別個のテーブルに格納する⼿法を提案して多くはテキスト検索のヒットを企図していること

いる [Manku et al., 2007]．各テーブルは，変換後から，剽窃コンテンツの対象はテキストであること

ハッシュ値の先頭 p ビットをキーにもつレコードが多いためである．また，単語ではなく⽂字に注をソートされた状態で保持する．このキーを利⽤⽬した理由は，コピーコンテンツスパムのように表すれば，クエリとなるハッシュ値を各テーブルと層的な類似度を測る場合は⽂字を単位とする⽅が対応する規則で変換し，各テーブルで変換後ハッより適切なためである．Manku らの⼿法 [Manku

シュ値の先頭 p ビットが⼀致するレコードを⾼速

et al., 2007] を利⽤すれば，⽂字 bi-gram をハッに抽出できる．p の⻑さは絞り込める量とレコーシュ化した値から記事全体のハッシュ値を⽣成でド容量とのトレードオフとなるが，適切な p を選きる．

択すれば，⼀致するキーの数が元の全レコード数*6 各次元（素性）ごとに適当なハッシュ変換を施すため，各次元に対応する⼊⼒が⼀意であれば必ずしも全次元数 d が定まっていなくてもよい．たとえば，⼊⼒として数値を⼊⼒（hash(1)）とするのではなく，⽂字列を⼊⼒（hash("a")）としてもよい．この特徴は，3.1 節のように⽂字列を⼊⼒とする場合と極めて相性が良い．すなわち，⼊⼒されうる全単語（vocabulary）
が定まっていない状況においてもハッシュ値を求めることができるため，あらゆるテキストを⼊⼒とできる利点を有する．

2.1 アメブロを護る: 不適切コンテンツの傾向分析と検知⼿法の検討

26

ハッシュ値

00000001
00100010→

01010101
11111111

テーブル T1

テーブル T2

テーブル T3（左 1 ビット回転）（左 2 ビット回転）（左 3 ビット回転）000

00000010

000

00000100000

00001000010

01000100

100

10001000

000

00010001

101

10101010

010

01010101

101

10101010

111

11111111

111

11111111

111

11111111···

図 2.1.1 ハッシュ値のビットを複数の⽅法で並び替えて別個のテーブルに格納する例．先頭 p = 3
ビットをキーとしている

00100011→

テーブル T1

テーブル T2

テーブル T3（クエリ: 01000110）（クエリ: 10001100）（クエリ: 00011001）

000

00000010

000

00000100000

00001000010

01000100

100

10001000

000

00010001

101

10101010

010

01010101

101

10101010

111

11111111

111

11111111

111

11111111···

図 2.1.2 ハッシュ値の⼀部が⼀致するレコードを抽出する例．下線部が，先頭 p = 3 ビットの⼀致を⽰しているの 1/2p となることが期待できるため⼤きく絞り

際にクエリとなるハッシュ値が与えられた際に⼀込める．なお，⽤意すべきテーブル数についての部ビットが⼀致するレコードを抽出する⼿法を図

詳細は Manku らの論⽂ 3.1.2 節 [Manku et al.,2.1.2 を⽤いて説明する．まず，与えられたハッ

2007] を参照されたい．

シュ値を各テーブルと対応する規則で変換する．

具体的なデータの格納⽅法を，ハッシュ値が次に，各テーブルにおいて，変換後ハッシュ値と先

f = 8 ビットであり，キーとなる先頭ビット数が頭 p ビットが⼀致しているものを，キーを参照し

p = 3 である場合を例として，図 2.1.1 を⽤いて説て抽出すればよい．

明する．まず，ハッシュ値を格納するためのテー
ブル Ti を複数⽤意する．次に，各テーブルごとにハッシュ値を並び替える規則を割り当てる．この
規則は，他テーブルの規則と重複しない全単射な写像であれば何でも良く，たとえば図 2.1.1 では
ビット回転*7 を例に説明している．最後に，抽出対象としたいハッシュ値の集合を各テーブルの変換規則にしたがって変換し，先頭 p ビットをキーにもつレコードとして格納し，ソートすることで完了となる．
次に，図 2.1.1 で⽤意したテーブルを⽤い，実Apache HBase 上での表現
実際に以上で説明したハッシュ値を変換したデータを格納するため，我々のシステムではApache HBase（以下，HBase と呼ぶ）を利⽤している．HBase は⾼い性能とスケーラビリティを備えたカラム指向型データベースであり，その性能から採⽤実績も多い．秋葉原ラボにおいても，コ
ピーコンテンツスパムのデータベースにとどまらず，さまざまなシステムを⽀える基盤として機能している．

*7 ビットシフトにおいて，あふれた桁を逆の端に持ってくるような演算．たとえば，11000001 を左に 1 ビット回転すると10000011 となる．ビットローテーション，循環シフトとも呼ばれる．
*8 https://hbase.apache.org/

4 Orion: 総合監視基盤システム
HBase*8 でテーブル毎の先頭 p ビットが⼀致す27

4 Orion: 総合監視基盤システム

るハッシュ値を検出できる構造を作るには Rowkeyと Qualifier を利⽤すればよい．具体的には，これらを以下のように設定する．

3 節で説明した⼿法を含め，各種コンテンツフィ
ルタは秋葉原ラボで開発している総合監視基盤シオライオン

Rowkey テーブル番号 i と変換後のハッシュ値の先頭 p ビットを結合したバイナリとする．

Qualifier 変換後のハッシュ値全体とする．
Value 必要に応じ，記事の属性情報などを保存してもよい．

ステム Orion 上で動作している．Orion は，⾃動フィルタと⼈間のオペレータが効率的に協働できるしくみや，多様なサービス上のさまざまな⽂書・
画像・動画投稿を同様の画⾯で監視できる Web UIを備える監視システムである [Fujisaka, 2018]．本
節では Orion の概要を説明する．

類似ハッシュ値を検索する際は，確認したい投稿のハッシュ値をテーブルの数だけ変換し，その先Orion において，特にフィルタリングの観点か
ら⾒た主要な特⻑は，次の 2 点に集約できる．

頭 p ビットとテーブル番号 i を組み合わせたバ

まず，フィルタとオペレータの 2 段階チェック

イナリが⼀致する Rowkey のレコードを取得すれにより，確実な判定を⾏っている点がある．各種ばよい．該当するレコードを取得後は，それぞれフィルタによって不適切と判定されたエントリは，の Qualifier を参照すればハッシュ値全体を得

必ずしも真に不適切とは限らない場合がある．たられる．

とえば，3 節で説明したコピーコンテンツスパムの抽出⼿法は経験的確率に基づく近似から類似度を求めているため，低確率ながらオリジナルのコンシステム構成テンツをコピーと誤って判定してしまう可能性がアメブロに投稿されるコピーコンテンツスパム

ある．そのため，各フィルタで不適切とされたエを検出するシステムの概略図を図 2.1.3 に⽰す．処

ントリは，オペレータが各サービスの規約にのっ理は，コピー元記事データベースを⽤意するバッ

とって真に不適切なコンテンツと判定した場合にチ処理と，投稿記事のコピーコンテンツスパム判

限って⾮表⽰などの対応が⾏われる*9 ．このしく定を⾏うオンライン処理の 2 つに分かれている．

みにより，⾃動フィルタにより⼤量のコンテンツ

バッチ処理では，コピー元となる記事の候補をを確認するコストを軽減しながら，オペレータに

ハッシュ値に変換し，3.2 節で説明した⼿順でデーよる確認作業を経ることで確実な対応を実現してタベースへ格納する．コピー元記事の候補には，アいる．

メブロ内部の記事に加え，いくつかの他サイトか

次に，サービスやコンテンツに応じてフィルタらの記事も利⽤している．この理由は，コピーコを柔軟に使い分けられるしくみによって，⾼い汎

ンテンツスパムはニュースサイトなど他サイト上⽤性を実現している点がある．監視すべきコンテの記事を剽窃の対象とする場合も多いためである．

ンツや，監視の観点・基準には，サービス間でさオンライン処理は，投稿の度に⾏われるスパム

まざまな共通点・⾮共通点が存在する．たとえば，判定処理である．⼊⼒された投稿記事をハッシュ

サイバーエージェントが運営するサービスではい値に変換し，データベース上のハッシュ値と照合

ずれも誹謗中傷や犯罪と関連する投稿を禁じていする．この結果，類似するハッシュ値が⾒つかっるため，どのサービスでもこのような不適切投稿

た場合，コピーコンテンツスパムの疑いがあるとを抽出する需要が存在する．⼀⽅で，コピーコン

判定して結果を返す．

テンツスパムが投稿されるのはブログが中⼼であ*9 ただし，極端なスパムについてはオペレータによる確認を経ずに⾮表⽰状態となる場合がある．具体例として，極端な連続投稿や，特定のテンプレートを利⽤したスパムがある．

2.1 アメブロを護る: 不適切コンテンツの傾向分析と検知⼿法の検討

28

オンライン処理
1. 投稿ログ受け取り

3. 類似ハッシュ2. ハッシュ変換

4. 結果を返すを探す

Result: COPY

1001 ⋯ 10010

DB

バッチ処理
1010 ⋯ 01001
1101 ⋯ 10010
1001 ⋯ 00010

1. コピー元記事候補を収集

3. DB に格納

2. ハッシュ変換（ブログ記事・ニュース記事等）

図 2.1.3 コピーコンテンツスパムを検出するシステムの概略図

メディアサービス群

フィルタ
チェック処理

予め投稿タイプとフィルタを対応付ける

管理者

フィルタ
設定 Web UI

読み込み

メタデータ
DB

Filter API
1001 ⋯ 10010

3. 投稿タイプに対応するフィルタ（群）を呼び出す

4. フィルタ条件に合致した投稿を保存

オペレータチェック処理

監視
オペレータ

1. 投稿ログ受け取り

2. 設定を

監視
Web UI

要確認投稿
DB

1. 要確認投稿を読み込み

2. 投稿を監視 Web UI 上に表示

ModerationAPI

3. サービス規約に従い不適切投稿をマーク

4. 不適切投稿の発見をサービスにフィードバック

図 2.1.4 Orion の概略図

るため，コピーコンテンツスパムフィルタはブロ

ユーザがサービスに投稿すると，サービス内部

グからの需要が特に⾼い．こう⾔ったさまざまなから Orion へ投稿データが転送される．Orion

需要に応えるため，Orion は特定のサービスにおは，あらかじめ対応付けられたフィルタ（群）ける特定のコンテンツと，フィルタ（群）を多対多により転送された投稿をチェックする．フィル

関係で対応付けられるしくみを備えている．

タのスコアが特定の閾値を上回った場合，投稿

Orion の処理の流れを，図 2.1.4 に⽰す概略図を⽤いて説明する．
ステップ 1: フィルタチェック処理

データは不適切なコンテンツの可能性があるとしてデータベースへ保存される．
ステップ 2: オペレータチェック処理
オペレータは Orion の Web インタフェース

5 スパム対策効果の確認

29

を通じて，データベースに保存された不適切コ

5.2

Spam Index の推移

ンテンツの可能性がある投稿を確認する．オペ

2016 年 5 ⽉から 2018 年 10 ⽉における SI の推

レータが確認した結果，真に不適切である投稿

移を図 2.1.5 に⽰す．なお，図中では 2016 年 5 ⽉が発⾒された場合，Orion からサービスの APIにおける SI が 100 となるよう正規化している．

を呼び出すことにより不適切コンテンツが発⾒

図 2.1.5 より，SI は調査を始めた 2016 年 5 ⽉かされたことをフィードバックする．

らおおむね低下傾向にあり，スパム対策の効果がOrion の処理の流れにおいて，サービスが関係す客観的指標からも確認できる．特に（1）2016 年中

るのはフィルタの呼び出し処理と判定結果の受け期から 2016 年末と（2）2018 年中期から 2018 年

取り処理のみである．そのため，各サービスがこ

後期に掛けて SI が⼤きく減少している．期間（1）

れらの処理を実装すれば，すぐに監視を始められ

では，ある特徴に基づくルールベースフィルタを複数追加することで，スパムアカウントを⼤きくる汎⽤性を備えている．

減らすことができた．期間（2）では，キーワード
スタッフィングスパム・海外から投稿されるスパ

5 スパム対策効果の確認

ムへの対策を強化した結果，さらなるスパムの削

本節では，以上に⽰した⼿法をはじめとするス減を実現している．

パム対策の効果を，客観的指標により確認する．
まず，サービス上で不適切コンテンツが占める度

6 おわりに合いを表す指標（Spam Index）を定義し，続けて
本稿では，アメブロにおける不適切コンテンツ

この指標の推移を⽰す．

の中でもスパムと呼ばれるコンテンツに注⽬し，

5.1

Spam Index の定義

その分類と割合を紹介した．その中からコピーコ

我々はサービスの健全度を客観的に評価するた*10

ンテンツスパムを取り上げ，検出⼿法を紹介した．

を利⽤する．Google

また，これらのフィルタを組み込んだ総合監視基盤

Search Console では，Google が⽬視によりブロシステム Orion の概要を説明した．最後に，スパ

グをスパムなどの不適切コンテンツとして評価しム対策の効果を Spam Index の観点から確認した．

め，Google Search Console*11

たリストを確認できる．

本稿で取り上げたコピーコンテンツスパム検出

Google Search Console 上の不適切コンテンツの課題の⼀つとして，援⽤するハッシュ化⼿法ののブログリストを⽤い，サービスの不適切コンテ

精緻化がある．SimHash はコサイン類似度を近ンツの割合 Spam Index（SI）を次の式 2.1.8 のよ似する⼿法であるのに対し，Jaccard 係数を近似

うに計算する．

する⼿法として minwise hashing [Broder et al.,1997]，b-bit minwise hashing [Li & König, 2010]，
St
SIt =St + Ht(2.1.8)Odd Sketches [Mitzenmacher et al., 2014] などが提案されている．中でも Odd Sketches は，b-bit

SIt は時刻 t における不適切コンテンツの割合で

minwise hashing と⽐較して類似度が⾼いデータ

あり，St は時刻 t での Google Search Console 上間においても頑健であることが⽰されている．その不適切コンテンツのブログリストに存在するアのため，コピーコンテンツスパムの検出タスクに

カウント数を⽰す．Ht は，リストに存在しない全も適していると考えている．

アカウント数を⽰す．

また，技術的側⾯以外からの課題として，不適切*10 https://search.google.com/search-console/about?hl=ja（参照: 2019 年 1 ⽉）
*11 https://support.google.com/webmasters/answer/9044175?hl=ja（参照: 2019 年 1 ⽉）

2.1 アメブロを護る: 不適切コンテンツの傾向分析と検知⼿法の検討

30

Spam Index (SI)100

100.00

80
51.78

60
40
20

4.34
-1
0

20
18

-0
7

20
18

-0
4

20
18

-0
1

20
18

-1
0

20
17

-0
7

20
17

-0
4

20
17

-0
1

20
17

-1
0

20
16

-0
7

20
16

20
16

-0
4

0

図 2.1.5 Spam Index（SI）の推移．2016 年 5 ⽉における SI が 100 となるよう正規化しているコンテンツへの対処を共通の⽬的として掲げる企

参考⽂献

業間連携の活性化がある．不適切コンテンツへの対処は，サイバーエージェントにとどまらず，同様[Broder et al., 1997] Andrei

Z.

Broder,のホスティングサービスを運営する企業間で共通

Steven C. Glassman, Mark S. Manasse,する課題である．たとえば，アメブロである特徴

Geoﬀrey Zweig. “Syntactic Clustering ofをもつスパムが観察された場合，同様の特徴をもつ

the Web.” Computer Networks, Vol. 29,

エントリが別のブログサービスにも投稿されていpp. 1157–1166, 1997.

る場合がある．この場合，スパムの態様や対処⽅[Charikar, 2002] Moses S. Charikar. “Similarity

法を企業間で共有することで，他社サービスにおけ

Estimation Techniques from Rounding Al-

るスパムの対処も促進できる．現在アメブロでは，

gorithms.” in Proceedings of the 34th An-

このような課題解決を⽬的として設⽴されたプロ

nual ACM Symposium on Theory of Com-

ジェクトである Advanced Hosting Meetup*12 へ

puting (STOC-2002), pp. 380–388, 2002.

の参画を通じ，Web 全体の健全化を進めている．

[Fujisaka, 2018] Yusuke Fujisaka. “Orion: An

本プロジェクトでは，Google ウェブマスター向け

Integrated Multimedia Content Modera-

公式ブログの記事*13 で紹介されているように，単tion System for Web Services.” in ACM

独のホスティングサービスでは実現できない取りInternational Conference on Multimedia

組みを⾏っている．我々は，引き続き企業間連携

Retrieval (ICMR-2018), Industrial Ses-を推し進めることで，アメブロなどの⾃社サービ

sion, 2018.

スにとどまることなく Web 全体の健全化を促したいと考えている．

[Goemans & Williamson, 1995] Michel X. Goemans, David P. Williamson. “Improved
Approximation Algorithms for Maximum
Cut and Satisfiability Problems Using
Semidefinite Programming.” Journal of
the ACM, Vol. 42, No. 6, pp. 1115–1145,*12 https://webmaster-ja.googleblog.com/2016/01/advanced-hosting-meetup.html（参照: 2019 年 1 ⽉）
*13 https://webmaster-ja.googleblog.com/2017/07/advanced-hosting-meetup-2017.html（参照: 2019 年 1 ⽉）

参考⽂献

31

1995.

2014.

[Kumar & Govindarajulu, 2013] J.
Kumar,P.

Govindarajulu.

Prasanna[Pi et al., 2009] Bingfeng Pi, Shunkai Fu, Weilei“Near-

Wang, Song Han, Roboo Inc, P R China.

Duplicate Web Page Detection:

An“SimHash-based Eﬀective and Eﬃcient

Clustering,

Detecting of Near-Duplicate Short Mes-

Sentence Feature and Fingerprinting.”

sages.” in Proceedings of the Second Sym-

International Journal of Computational

posium International Computer Science

Intelligence Systems, Vol. 6, pp. 1–13,

and Computational Technology (ISCSCT-

2013.

2009), pp. 20–25, 2009.

Eﬃcient

Approach

Using[Li & König, 2010] Ping Li,

Arnd Christian[Ravichandran et al., 2005] Deepak

Ravichan-König. “b-Bit Minwise Hashing.” in Pro-dran, Patrick Pantel, Eduard H. Hovy.

ceedings of the 19th International World“Randomized

Wide Web Conference (WWW-2010), pp.

Using Locality Sensitive Hash Functions

671–680, 2010.

for High Speed Noun Clustering.” in[Manku et al., 2007] Gurmeet

SinghAlgorithms

and

NLP:

Manku,

Proceedings of the 43rd Annual Meeting

Arvind Jain, Anish Das Sarma. “Detectingof the Association for Computational

near-duplicates for web crawling.” in Pro-

Linguistics (ACL-2005),

ceedings of the 16th International World

2005.

Wide Web Conference (WWW-2007), pp.

pp. 622–629,[⾼橋他, 2009] ⾼橋哲朗，雄也野⽥，岩倉友哉．ス
プログの調査と実システムにおける判別⼿

141–149, 2007.
Mitzen-法．⾔語処理学会第 15 回年次⼤会，2009 年．

Ninh Pham.

[數⾒・内藤, 2015] 數⾒拓朗，内藤遥．実システム“Eﬃcient Estimation for High Similarities

へ適⽤可能な引⽤型スプログの検知⼿法のUsing Odd Sketches.” in Proceedings of検証．⼈⼯知能学会合同研究会 第 9 回デー

the 23rd International World Wide Web

タ指向構成マイニングとシミュレーション

Conference (WWW-2014), pp. 109–118,

研究会（SIG-DOCMAS-2015），2015 年．

[Mitzenmacher et al., 2014] Michaelmacher,Rasmus Pagh,

32

2.2

アノテーションを⽀える

Orion Annotator の紹介

上辻 慶典

概 要 秋葉原ラボではコンテンツ推薦やスパム検知などのシステムで機械学習を活⽤している．推薦システ
ムではアクセスログのようなユーザのフィードバックを学習データとして⽤いるが，スパム検知などでは⼈⼿でアノテーション作業を⾏い学習データとすることが多い．そこで，機械学習に求められる⼤規模のデータに対するアノテーション作業を効率化するため，我々はアノテーションシステム Orion Annotatorを開発した．Orion Annotator は当社データ基盤との連携やストレスなく操作できるアノテーション画
⾯，さまざまなタスクをサポートするカスタマイズ性を備えている．本稿では Orion Annotator 開発の背景や，その機能について紹介する．

Keywords

機械学習, アノテーション

1 背景

ストを e メールで送信する．

2. アノテーション作業管理者がアノテーション作
秋葉原ラボではコンテンツ推薦やスパム検知

業者にエントリを分配する．

などのシステムで機械学習を活⽤している．こう3. アノテーション作業者がエントリがスパム投いった機械学習で⾼い精度を達成するためには，稿かを判定し，スプレッドシート上にアノテー豊富で正確な学習データが必要である．推薦など

ション結果を⼊⼒する．

では学習データとして購買履歴のようなユーザの

4. アノテーション作業管理者がアノテーション結

フィードバックを利⽤できるが，スパム検知のよ果を集計し，スパム対策チームに送信する．

うにアノテーションによって学習データを⼈⼒で作成しなければならない機械学習タスクも多い．
たとえば Ameba ブログでは⾼精度なスパムフィ

しかし，上記のフローによるアノテーションでは，次の課題があった．

ルタの構築とサービス品質の把握のため，ブログ• ⼈⼿で⼊⼒されたスプレッドシート形式のファ記事に対してスパム投稿か否か，またスパム投稿

イルでアノテーション結果が納品されており，

であればその種類を付与するアノテーションを実分析や機械学習の前処理に⼯数を要していた．

施してきた（2.1 章参照）
．このアノテーションは，

そのため，より構造化・規格化されたデータ形

Orion Annotator が導⼊されるまでは次の⼿順を式が必要だった．

⽉ごとに⾏っていた．

1. Ameba ブログのスパム対策チームがアノテーション対象となるブログ記事（エントリ）を抽出し，アノテーション作業管理者に URL のリ• エントリの送信やアノテーション結果の受領がe メールで⾏われており，アノテーション結果を利⽤したレポーティングやモデル学習の⾃動化が難しかった．

2 既存ツールとの⽐較• アノテーション作業者にアノテーション専⽤のインタフェースが⽤意されず，ブログ記事の確認やアノテーションの記⼊に煩雑な操作を要していた．
そこで，これらの課題を解決するためのシステムとして我々は Orion Annotator を開発した．

Orion Annotator はエントリの抽出やアノテーシ
ョン済みデータの出⼒を⾃動化するデータフローと，アノテーション作業のためのインタフェース

33
を⾏う必要があり，既存のツールでは対応できな
かった．

AWS SageMaker Ground Truth*2 の よ う に
SaaS として提供され，インタフェースのカスタマ
イズ機能を備えたプロダクトもある．Orion An-

notator は当社のシステムとシームレスに連携する点で優れており，データフローを統⼀的に扱うことで新たな実装を要さずアノテーションを開始できる．

を提供するシステムである．⾃動化されたデータ
フローによって⼈を介さないアノテーションデー
タの利活⽤を実現し，操作性に優れたインタフェースによって効率的なアノテーション作業を可能としている．さらに，インタフェースは⾼いカスタ
マイズ性を備えており，画像分類や情報抽出など
多くのアノテーション需要を満たすアノテーショ
ン基盤として利⽤できる．
本稿では，まず 2 節で既存のアノテーション⽀
援ツールと⽐較し Orion Annotator の特徴を述べ

3 Orion Annotator のデータフロー
Orion Annotator はアノテーション対象の抽出からアノテーション済みデータの出⼒までを担うシステムである．アノテーション作業は⼿動で⾏われるが，それを取り巻く⼊出⼒を⾃動化することで継続的なデータ整備を⽀えている．Orion An-

notator の扱うデータフローの概要を次の図 2.2.1に⽰す．本節ではデータフローの各段階について順に説明する.

る．次に 3 節で Orion Annotator の提供するデー
タフローについて，4 節でインタフェースについて
説明する．

3.1

エントリのインポート

データフローの起点はアノテーション対象（エ2 既存ツールとの⽐較

ントリ）のインポートである．エントリは当社のデータ処理基盤である Patriot [2] からインポート

既存のアノテーション⽀援ツールの概観を通じ，されるほか，限られた件数のエントリに対してア

Orion Annotator を開発するに⾄った背景を説明

ノテーションする場合は CSV ファイルからインする．機械学習において学習データのアノテーポートすることもできる．Ameba ブログのスパム

ションは重要なタスクであり，アノテーションの判別アノテーションの場合は，Patriot に保存されためさまざまなツールが開発されてきた．

ているブログ記事から，⽉ごとに⼀定数をランダ

たとえば画像・動画メディアに対するアノテー

ムサンプリングしインポートしている．

ションでは LabelImg*1 ，⾃然⾔語処理の分野ではOrion Annotator へのデータのインポートは

brat [1] などがある．これらのプロダクトは画像やHive クエリで記述され，サンプリングのロジック

テキストといった特定の分野に特化しているため，や前処理を柔軟に設定することが可能である．し必要なアノテーションタスクの要件を満たせない

たがって，Orion Annotator に新たなデータソー

場合がある．たとえば Ameba ブログのスパム判

スとの連携を実装することなく，Patriot に蓄積

別アノテーションの場合，テキストではなく実際されたさまざまなサービスのデータを⽤いたアノのブログ記事ページを表⽰させてアノテーション

テーションを開始できる．

*1 https://github.com/tzutalin/labelImg*2 https://aws.amazon.com/jp/sagemaker/groundtruth/2.2 アノテーションを⽀える Orion Annotator の紹介

34

図 2.2.1 Orion Annotator のデータフロー

3.2

アノテーション作業者への割り当て

Orion Annotator はエントリのインポートと同時にアノテーション作業者への割り当てを⾏う．
エントリは，あらかじめアノテーション管理者が規定した作業者ごとのエントリ件数などの設定にしたがって分配され，タスクという形で作業者に

4 Orion Annotator のインタフェース
Orion Annotator はアノテーションを付与する
ための Web インタフェースを提供する．本節では
アノテーションを効率的に付与するためのインタ
フェースと操作について説明する．

割り当てられる．タスクが割り当てられ次第，作業者はアノテーションを開始できる．

4.1

アノテーション操作

なお，管理者は 1 つのエントリが複数のタスク

図 2.2.2 は Orion Annotator で提供しているアに分配されるように設定することも可能である．

ノテーション画⾯の⼀例である．アノテーション

この設定によって同じエントリに対して複数の作

画⾯の左側にはエントリが表⽰され，右側にはアノ業者がアノテーションを付与できる．

テーションを選択するコントロールが表⽰される．
アノテーション作業者は以下の作業を繰り返す．

3.3

アノテーションのエクスポート

アノテーション結果を分析や機械学習から利⽤するため，⽇次バッチで Patriot にエクスポートする．エクスポートする際はタスクの完了を待つことなく，アノテーションが完了しているエントリ

1. 左側のエントリを閲覧する
2. それに該当するラベルを右側のコントロールで選ぶ

3. 確定ボタンを押下するをすべてエクスポートの対象とする．したがって，

アノテーションを確定すると⾃動的に次のエン

アノテーションデータを逐次的に機械学習モデル

トリが表⽰される．確定ボタン以外にも保留ボタへ反映させることができる．

ンによってアノテーションを後回しにしたり，デー

Patriot へと出⼒されたデータは，当社のデータ

タ⽋損ボタンでブログが削除されていて閲覧でき

可視化ツールである Patriot FDC [3] や Apache

ないことを報告できる．場合によってはテキスト*3

Zeppelin などでレポーティングや分析ができる．

メモでアノテーション管理者へのメッセージを記

Ameba ブログのスパム判別アノテーションでは述する．

Patriot FDC のレポーティング機能を利⽤し，ア

このように 1 つの画⾯でアノテーション作業がノテーション傾向の変化をグラフで表⽰すること完結するインタフェースを提供することで，余計で調査結果を把握している．

な操作を排した効率的な作業が可能となっている．

*3 https://zeppelin.apache.org

4 Orion Annotator のインタフェース

35

図 2.2.2 アノテーション画⾯のスクリーンショット

他の効率的なアノテーションのための⼯夫として，コントロールの設定

アノテーションの⼊⼒や確定・保留・データ⽋損ボ

ラベルを⼊⼒するためのコントロールの種類をタンにショートカットキーを割り当てることで各タスクに合わせて指定できる．現在，具体的なコン種操作を省⼒化している点や，シングルページア

トロールとしてボタンとドロップダウンリストをプリケーション（SPA）を採⽤したことによる⾼実装している．ボタンでのアノテーションの場合速な画⾯遷移を実現している点がある．

はラベルに確信度を付与でき，「発リンクスパムである可能性 50%」といった段階的な確信度を伴ったラベルの付与が可能である．ドロップダウンリ
ストの場合は，ラベル数が多い場合に対応するた

4.2

インタフェースのカスタマイズ

多くのデータ形式やアノテーション需要に対応するため，Orion Annotator のインタフェースはめの⼊⼒補完を備えている．いずれのコントロー
ルを利⽤した場合でも，1 つのエントリに「発リンクスパムかつアフィリエイトスパム」のように複数のラベルを与えられるかを設定できる．

柔軟にカスタマイズできる．管理画⾯から設定することで対応できるアノテーションの種類と，インタフェースの拡張について説明する．

アノテーション形式の設定
ここまでで紹介したアノテーションはエントリ全体に対してラベルを付与するものである．しかエントリの設定

し，エントリの⼀部に対してラベルを付与するとOrion Annotator は URL 形式，テキスト形式，

いった特殊なアノテーションのニーズもある．画

画像形式のエントリをサポートしている．図 2.2.2

像ではセグメンテーション，テキストでは固有表現で例⽰したアノテーションは Ameba ブログの記抽出などのタスクが該当する．Orion Annotator

事 URL をエントリとして扱い，URL の⽰すペー

では現在テキストの範囲に対してアノテーション

ジをインラインフレームで表⽰する例である．

する機能をサポートしている（図 2.2.3）．テキス

2.2 アノテーションを⽀える Orion Annotator の紹介

36

図 2.2.3 テキスト範囲に対するアノテーション

トの⼀部をマウス操作で選択し，選択範囲に対し

くのアノテーションに対応できる．

てラベルを付与できる．

5 まとめ
インタフェースの拡張

Orion Annotator の Web イ ン タ フ ェ ー ス は
Vue.js*4 で記述されており，新たなエントリ形式
やコントロールを簡単に追加できるようプラガブ
ルな設計を⾏っている．特別なインタフェースを要するアノテーションも多いため，新たなインタ
フェースを実装しやすいことは重要である．
たとえば，エンティティリンキング*5 というタス
クでは，テキストの範囲に対し Wikipedia の⾒出
し語をラベルとして付与するアノテーションが必要である．このアノテーションではラベル選択の

本稿ではアノテーション環境を改善するためのシステムである Orion Annotator を紹介した．

Orion Annotator はアノテーション作業の効率化とデータフローの⾃動化を実現し，Ameba ブログ
を中⼼に活⽤されている．現在の課題としては，
アノテーション作業者ごとにアノテーションの判断基準が異なっているなどの理由によるアノテー
ションの正確性の問題がある．今後は，誤った基準でのアノテーションを未然に防ぐしくみの実装
や，アノテーションの評価，傾向が異なるユーザの可視化などに取り組む予定である．

ドロップダウンリストに Wikipedia の⾒出し語が並ぶので，⾒出し語に該当する Wikipedia ページを確認するためのリンクがあると便利である．こ

参考⽂献

ういった需要に対応するため，Wikipedia ページ[1] Stenetorp, P., Pyysalo, S., Topić, G., Ohta,

へのリンク付きドロップダウンリストを新たなコ

T., Ananiadou, S., and Tsujii, J.: “brat:

ントロールとして実装した（図 2.2.4）．このよう

a Web-based Tool for NLP-Assisted Text

な拡張性を備えることで，Orion Annotator は多Annotation,” Proceedings of the European*4 https://jp.vuejs.org/*5 ⽂書中の単語に対して Wikipedia などの辞書の⾒出し語を関連付ける⾃然⾔語処理のタスク

参考⽂献

37

図 2.2.4 Wikipedia リンク付きドロップダウンリスト

Chapter of the Association for Computa-

Data (IEEE BigData 2016), short paper,tional Linguistics (EACL 2012), 2012.

2016.

[2] Zenmyo, T., Iijima, S., and Fukuda, I.:[3] 善明晃由, 津⽥均, ⽥中克季: “可視化のため“Managing a Complicated Workflow basedの⾮構造データの表化⼿法”, 第 9 回データ

on Dataflow-based Workflow Scheduler,”

⼯学と情報マネジメントに関するフォーラム

2016 IEEE International Conference on Big(DEIM2017), 2017.

38

3

⾳楽ストリーミングサービス「AWA」

AWAa は当社とエイベックス・デジタル株式会社の共同出資による⾳楽ストリーミングサー
ビスである．世界最⼤規模の 5000 万曲超の楽曲を配信しており，⾼いデザイン性に加えて再⽣
レスポンスの早さやインタラクションの滑らかさなどの操作性を重視したユーザインタフェー
スを特徴とする．
利⽤にあたっては，PC やスマートフォン，カーナビ，テレビデバイス，ウェアラブルデバイ
ス，スマートスピーカーなどに⽤意された専⽤アプリケーションを⽤いる．⽉額課⾦のサブス
クリプション型の⾳楽配信サービスに分類できるが，⽉あたりの再⽣時間や⼀部の機能が制限された無料プランも⽤意されている．
ユーザが作成したプレイリストを軸としたユーザ体験が得られることを特徴としており，

2015 年 5 ⽉にサービスを開始して以来，継続的に機能の追加が⾏われてきたが，2019 年 1 ⽉にアプリケーション内の構造の煩雑化を解消する⽬的でメジャーバージョンアップが実施され，同時に「パーソナライズプレイリスト」「タグ」などの新機能が発表された．
本技術報告は，秋葉原ラボで実装したシステムや実施した分析について，以下の 2 つを取り上げる．3.1 章では，AWA に実装されている類似プレイリストの推薦機能の背後にある理論と実践について述べている．3.2 章では，AWA のユーザの⾏動ログに基づいて⼈間の⾏動に普遍的に現れるとされる現象のモデル構築を試みている．
前者は，AWA で配信している数千万もの楽曲の不定サイズの集合であるプレイリストどうしの類似度の計算という，素朴なアルゴリズムでは膨⼤な計算時間を要する問題について，時々刻々と⽣成されるプレイリストと，⽐較的変化が少ない楽曲と，いうなれば時定数が異なる 2
つの要素の特徴量の作り⽅に⼯夫を施すことで⾼いリアルタイム性を実現している点にご注⽬いただきたい．
後者は，⾳楽の鑑賞⾏動というさまざまな要因が考えられて⾏動原理も明らかでないものが，べき乗則というシンプルな法則にしたがっていることと，⼀⽅で従来の研究で明らかになっているモデルではこの現象を説明しがたいこととを発⾒している．さらにこれまで説明できなかった現象を部分的にではあるが説明するモデルを提唱しており，これは AWA のユーザのみ
ならず，普遍的な⼈間の⾏動原理の解明につながる試みである．
a https://awa.fm

39

3.1

AWA における類似プレイリスト探索
システムの構築事例について

⽔上 裕貴，福⽥ 鉄也，⼭下 剛史，Juhani Connolly，武内 慎，數⾒ 拓朗，福⽥ ⼀郎

概 要 本稿ではストリーミング型⾳楽配信サービス AWA におけるコンテンツ推薦システムの構築，およびシステム稼働に⾄るまでの実践的なプロセスについて紹介する．AWA ではユーザに対する適切なコンテ
ンツの推薦，とりわけ類似コンテンツの推薦が，体験向上の⼤きな要因となる．本サービスにおいてユー
ザに推薦すべきコンテンツとしては，単⼀の「楽曲」の他に，楽曲の集まりである「プレイリスト」などがあるが，後者のプレイリストは多くの場合ユーザが⾼頻度で内容を更新することが多い．このため従来の⼤規模集計による⼿法では推薦内容のリアルタイム性と網羅率に課題があった．そこで我々は適切な特徴量加⼯と近似最近傍探索を⽤いた類似プレイリスト探索システムを構築しリアルタイム性と網羅率を⼤幅に改善した．

Keywords

推薦, AWA, feature embedding, product quantization

1 はじめに場規模が逆転した．また，同時にレコード産業全体の規模もこの年以降増加傾向に転じている [1]．

近年では，レコード産業においても情報処理技
術の利活⽤が活発になってきている．レコード産
業とは⾳楽産業のうち，とりわけ録⾳・録画された楽曲や映像を流通させる産業を指すが，流通の形
態は常に変化を続けている．レコード産業の誕⽣
以降，⾳楽はレコードやカセットテープそして CDなどの物理メディアを通じて流通していた．やがて情報通信技術が発展しスマートフォンなどが普及すると，インターネットを通じて楽曲や映像が流通するようになった．これらは総称してデジタ
ルメディアと呼ばれている．また，レコード産業
では物理メディアからデジタルメディアへの急速な代替が起きている [1, 2]．2001 年時点でレコー
ド産業の市場のほぼ全体を占めていた物理メディ

デジタルメディアを通じた⾳楽体験の向上は，レ
コード産業において今後ますます重要な役割を果たすと考えられる．消費者の⽴場からみれば，デジ
タルメディアの普及により⾳楽の体験は⼤きく変化した．物理メディアにおいて発⽣していた⽣産や流通コストの⼤部分はデジタルメディアによって効率化され，インターネットと端末があればどこでも楽曲が⼊⼿できるようになった．そして楽曲の流通の効率化に伴い，楽曲を⾒つけるコストが顕在化し課題になった．この課題に対する技術的回答として，ユーザが指定したクエリに合致する情報を探索する「情報検索」などがあるが，近年では⾏動ログなどのデータを⽤いて必要な情報を予測して，⾼い精度で提⽰する「情報推薦」も応⽤

アの市場規模も 2015 年にはデジタルメディアの市
本稿は情報処理学会デジタルプラクティス論⽂誌 38 号（Vol.10 No.2）に寄稿した「《特集号招待論⽂》AWA における類似
プレイリスト探索システムの構築（⽔上 裕貴，福⽥ 鉄也，⼭下 剛史，Juhani Connolly，武内 慎，數⾒ 拓朗，福⽥ ⼀郎）」
を改稿したものである．

3.1 AWA における類似プレイリスト探索システムの構築事例について

40

範囲を広げている．この情報推薦の技術は，利⽤を強く反映することもある．たとえば推薦される者に対して必ずしも情報要求の⾔語化・クエリ化

アイテムとして，酒類などの成⼈向けの商品やコを課さず，⾳楽体験においても未知の楽曲との接ンテンツを取り扱う際，当然推薦者は未成年に対触機会を増加させると考えられており，レコードする影響を考慮しなければならないと考えるだろ産業からも注⽬を集めている．

う．本稿では，このような推薦者側の意向に基づ

AWA は 5000 万曲超の楽曲を再⽣時にインターく推薦⽅式を総称して意向ベースフィルタリング

ネット経由でスマートフォンなどの端末に配信す（Intention-Based Filtering）と呼ぶこととする．

るストリーミング型⾳楽配信サービスである．筆

本稿では，上記で紹介した複数の根拠を加味した者らは，利⽤者の⾳楽体験の向上に向けて⽇々ユー

アイテム選定基準，そしてそれを利⽤者に届ける

ザインタフェースの洗練や配信コンテンツの拡充，

インタフェースおよびそのバックエンドを含むシデータを活⽤した楽曲推薦の品質向上に取り組ん

ステム全体を推薦システムと呼ぶこととする．

でいる．本稿では，AWA の特徴的な機能であるプ
レイリストに関して，⾃然⾔語処理分野で実績のある skip-gram モデルを応⽤して構築した推薦シ
ステムの事例について紹介する．

1.2

AWA とプレイリスト

多くの⾳楽再⽣ソフトウェアでは，あらかじめ順番が定められた楽曲の列は「プレイリスト」と呼ばれている．AWA におけるプレイリストは，主1.1

推薦システムに利⽤者によって作成され，公開される時点では推薦システムとは，価値の⾼い商品やコンテンツ

最⼤で 8 曲から構成される．また⼤部分のプレイを特定するのを助ける道具である [3]．マーケティ

リストには，作成者によりタイトルと説明⽂が付

ングの⾔葉に⾔い換えれば顧客が購⼊する商品・

与されており，利⽤者がプレイリストを選択する

アイテムを予測し，訴求する技術といえる．

際の補助的な情報として機能している（図 3.1.1）．

アイテムの推薦は基本的には利⽤者の嗜好に沿以降，推薦対象となる AWA におけるプレイリス

うように⾏われる．例としては「近しい嗜好の利トを混同のない範囲で単にプレイリストと呼ぶこ

⽤者どうしは近しいアイテムを好む」という仮説ととする．プレイリストは利⽤者による作成や公に基づく協調フィルタリング（Collaborative Fil-開が活発で，作成されたプレイリストの数は累計

tering）がある．この協調フィルタリングは多くので 1100 万を超える．また多くの利⽤者は，プレイ場合，利⽤者の⾏動履歴を蓄積・⽐較することでリストやその作成者に対してフィードバックを送実現される．また似たような⽅針として，アイテ

り合いながら新しい⾳楽と出会っていくが，このム⾃体の情報に基づく，内容ベースフィルタリン

ことは AWA における⾳楽体験の⼤きな特徴であグ（Content-Based Filtering）がある．この内容

る．実際に，楽曲再⽣利⽤者数に対する再⽣動線

ベースフィルタリングは，「興味を⽰したアイテム

毎の利⽤者数の⽐率をみれば，物理メディアとしの類似アイテムにも興味を⽰す」という仮説のもての販売単位であるシングル・アルバムに匹敵すとで，何らかの意味でアイテム間の類似度を定義

る割合でユーザ作成プレイリストが利⽤されていすることにより実現される．

ることが確認できる（図 3.1.2）．

また実際の推薦システムの推薦結果には往々にそこで，AWA ではプレイリストに注⽬した推して，推薦者側の都合や意向が反映される．サー

薦機能を実現することにした．利⽤者から⾒ると，ビスの継続的な発展のために収益性を担保するこ

プレイリストの再⽣画⾯の最下部には「Relatedとや，知⾒獲得のために情報を収集することも推Playlist」と呼ばれる類似プレイリスト推薦枠が表薦システムの重要な役割であり，その他にも総合⽰されるが，この部分にシステムが推薦するプレ的なユーザ体験の設計において情報供給者の思想

イリストを表⽰するようにしている．この類似プ

2 類似プレイリスト探索における課題

41

図 3.1.2 再⽣経路の集計結果
図 3.1.1 AWA におけるプレイリストのレイアウト

図 3.1.3 類似プレイリストのレイアウト

レイリスト推薦によって，AWA の利⽤者に対して算資源の制約から，上述の⼤規模なバッチ処理に連続的な⾳楽体験を提供する機能を実装した（図おいて集計対象を作成⽇時や再⽣回数などいくつ

3.1.3）．

かの条件で限定していることである．もう⼀つの原因は，厳密な楽曲情報の⼀致を条件とするため，

2 類似プレイリスト探索における課題

プレイリストに採⽤実績がない楽曲のみからなる
プレイリストは類似プレイリストが計算できない

AWA における類似プレイリスト推薦システムことである．

は，従来，プレイリストの類似度計算を，含まれる楽曲の楽曲情報の重複数を総当たりで計算する⼤規模なバッチ処理で⾏っていた（これを旧仕様と呼ぶ）．この旧仕様は構成楽曲の楽曲情報の⼀致を根拠にした内容ベース推薦の⼀種といえる．この章では旧仕様が抱える 2 点の課題について述べる．

2.2

プレイリスト作成・更新に対する結果反映の遅延

2 点⽬はプレイリストの作成・更新に対して，類似プレイリストへの結果反映が遅延することである．楽曲の内容情報は⼀度登録されると更新されることはとても希であるが，プレイリストでは利

2.1

網羅率の低さ

⽤者によって内容情報の作成や更新処理が頻繁に

1 点⽬は網羅率が低いことである．ここでは網⾏われる．このため従来の⼿法ではプレイリスト

羅率を，再⽣されるプレイリストのうち，類似プの作成や更新からバッチ処理までの時間に，類似レイリストが 1 つ以上表⽰できるプレイリストのプレイリストが表⽰されない，もしくは古い情報に⽐率と定義する．網羅率が低い原因の⼀つは，計基づいた類似プレイリストが表⽰されていた．⼀42

3.1 AWA における類似プレイリスト探索システムの構築事例について⽅でアプリケーションの設計上，プレイリストはになり，この場合，空間計算量が楽曲 ID の数に⽐作成・更新の直後が最もよく再⽣されるため，類似例する．

プレイリストの⽋損は利⽤者の体験を低下させる．

プレイリストのように⾼頻度で作成や内容の更

なお，旧仕様で適切な類似プレイリストが表⽰

新が⾏われるケースではより効率的な探索アルゴ

されるまでの待ち時間の内訳は以下の通りである．

リズムや距離計算，そして低次元な特徴量が求められる．

作成待ち時間プレイリストが作成・更新されてから次の処理

ネットワークの通信時間が始まるまでの時間である．バッチ処理には計算

上記の他にもクライアント-サーバ間の通信や機を効率的に稼働させられるなどの利点がある⼀サーバどうしの通信にも時間を要する．上記の他⽅で，最⼤で実⾏間隔分の待ち時間が発⽣する．

の要素に⽐べれば基本的には無視できるほど⼩さ
いが，プレイリストのように⾼頻度で作成・更新などのリクエストを受け取るシステムでは，各構成特徴量の計算時間
次にプレイリストの類似度計算のもとになる特要素において，効率的なキャッシュの設計などの徴量を取得するための時間が必要になる．今回，⼯夫がパフォーマンス向上においても重要である．

内容ベースの推薦ならば，多くの場合，各楽曲に関連するアーティスト ID などの，参照が容易な情報が特徴量となるので，このコストは無視できるほど⼩さい．

3 要素技術
これまでよりリアルタイムな類似プレイリストの計算のために，より低次元な特徴量と，効率的な⼀⽅，たとえば協調フィルタリングを⾏う場合
は，再⽣ログなどのソフトクラスタリングによって得られたベクトルが特徴量となる [4]．しかしソ近傍探索が重要であることを述べた．この章では本稿で紹介する推薦システムで活⽤される先⾏研究を紹介する．

フトクラスタリング⾃体に⼤きな計算を要する他，
ソフトクラスタリングに必要なログの収集にも時

3.1

分散表現を⽤いた低次元特徴量の獲得間が必要になる．⾼頻度で内容の作成・更新処理

⾃然⾔語処理分野において⽂章を単語の系列が発⽣する今回のケースに，そういった⼤規模なとみなして学習する，単語のソフトクラスタリン

学習や集計を要する⼿法は適さない．

グ⼿法の⼀つに skip-gram がある [5]．Skip-gram
は系列データのある要素から，その周辺の要素を最近傍探索の時間推測する 3 層のニューラルネットワークで，中プレイリストに対して特徴量が得られたあとは，間層が⼊出⼒層と⽐べて⼩さい次元になっていその特徴量を⽤いてプレイリスト間の類似度や距る．このモデルは「任意の単語の意味はその周辺離を定義する．そのうえで最も類似すると思われ語によって特徴づけられる」という仮説に基づきる複数のプレイリスト ID を得たい．最も単純な周辺語からその単語の低次元ベクトル表現を獲アイデアで n 個のすべてのプレイリスト間で最近得する．実際に得られた単語のベクトルについて傍を求める場合，計算量オーダー O(n ) もの距離

「Madrid」−「Spain」+「France」=「Paris」のようの評価が必要になる．また使⽤する類似度や距離な意味上の演算が構成できるなど，単語の意味上にもよるが，特徴量の次元の⼤きさも近傍探索のの関係を低次元の空間上で幾何学的・代数的に再計算時間に⼤きな影響を与える．プレイリストに現するケースが確認されている．この変換は特徴

対して含まれる楽曲 ID を特徴量とするとき，この埋め込み（Feature embedding），変換後のベクト特徴量の次元は楽曲 ID の 8 倍ほどの⼤きい次元

ルは分散表現（Distributed representation）と呼2

4 類似プレイリスト探索システムの構築43

ばれている．

3.2の所要時間の短縮を図るものである．

直積量⼦化に基づく距離の近似計算

4.1

プレイリストの特徴量モデル

ユークリッド距離の近似計算には直積量⼦化

プレイリストの特徴量の計算にはプレイリスト（Product quantization）を⽤いることができる．

に含まれる楽曲情報を⽤いる．AWA では利⽤者にいま，検索対象となる有限個の特徴量ベクトルの集よる再⽣楽曲の系列データを保有している．この合 Y ⊂ Rd から，クエリベクトル x ∈ Rd とのユー

再⽣楽曲の系列データについても単語の系列デー

クリッド距離を最⼩にする特徴量ベクトル y ∈ Y

タと同様の「楽曲の個性は前後に再⽣される楽曲を探索したい．先に述べたようにこの計算には膨で特徴づけられる」という仮説をとる．この仮説

⼤な計算が必要になるが，直積量⼦化により距離のもとで，各楽曲に対して，Skip-gram による分の計算を簡略化できる．

散表現を獲得しておく．そして，プレイリストの直積量⼦化の要点は 2 つある．1 点⽬は特徴量

特徴量としてはそのプレイリストに含まれる楽曲の空間をあらかじめ k-平均法によりクラスタリンの分散表現の重⼼を⽤いる．前述の通り楽曲の内

グしておき，クエリベクトルとの距離をクラスタ

容情報の更新は希であるので，楽曲の分散表現にの重⼼との距離で近似し，計算量を削減できる点

ついては事前に学習できる．したがってプレイリである．2 点⽬は 2 つのベクトル間の 2 乗距離がストの作成や更新イベントの度に簡単なベクトル

複数の区分に分割して計算できる点である．Rの演算でプレイリストの低次元特徴量を得ること

d上のベクトル y に対して y = (y1 , y2 , · · · , yk ) ∈Y1 × Y2 × · · · × Yk ⊂ R

d1

×R

d2

× ··· × R

dkのよ

うに k 個の区分への分割を考える．このとき 2 つのベクトル x, y ∈ Rd の距離の 2 乗 ∥x − y∥2 は∥x − y∥2 =

k
∑

ができる．

4.2

意向ベースフィルタリング

AWA では 1100 万を超えるユーザ作成プレイリ
ストのデータを保有している．距離の近似計算に∥xj − yj ∥2

ついて直積量⼦化により計算量を削減しているが，j=1

距離の計算対象の絞り込みによっても計算量を削のように区分毎の距離の 2 乗の和と⼀致する．こ減することが期待される．そのため，推薦対象との 2 つの事実を組み合わせて，分割した空間でクなるプレイリストについて事前に何らかの意味でラスタリングした結果を元に，近似的に距離を計

絞り込みを⾏いたい．また，上記で作成したデモ算するのが直積量⼦化による距離計算である．本を通じていくつか，アプリケーション設計上の意システムでは⽂献 [6] で紹介されている⾮対称型

向を正しく反映していない例が⾒つかった．そうの距離計算（Asymetric Distance Computation;

いった課題に対しては，単純なルールベースの処ADC）を⽤いる．

理により推薦対象を選定した．意向ベースのフィルタにより推薦対象を約数⼗万にまで絞り込み，4 類似プレイリスト探索システムの構
築

計算量の削減と品質の向上を実現している．そのような意向ベースのフィルタの構築やその動機および実験⼿順やなどの実践的な内容の詳細につい本章では類似プレイリスト推薦システムで利⽤ては⽂献 [7] を参照されたい．

する推薦モデルと，その実装例を紹介する．⼤まかな⽅針としてプレイリストの低次元特徴量の幾

4.3システム構成何学的な探索により網羅率の向上を図り，また分

この章ではこれまで紹介した要素技術を組み合散表現を⽤いたリアルタイムな特徴量計算と近似

わせた類似プレイリスト探索システムの概要につ最近傍探索アルゴリズムを⽤いて，結果反映までいて説明する．本システムはユーザによる楽曲再44

3.1 AWA における類似プレイリスト探索システムの構築事例について

⽣ログ，プレイリスト作成・更新ログの 2 種類のス

ID を Key，この特徴量と推薦対象フラグを Value

トリームデータを処理する Parser, Learner, Fil-とする KVS のテーブルに格納する．

ter, Registerer, Finder の 5 つのマイクロサービ
スからなる．それぞれの概要は以下の通りである．

Finder: 特徴量の近似最近傍探索
Finder は API からプレイリスト ID を受け取りParser: 学習データの前処理

類似プレイリストの列を返すサービスである．起Parser では利⽤者の楽曲再⽣ログを学習フレー

動時に直近⼀定期間に作成・更新されたプレイリ

ムワークが学習しやすい形式に処理してストレー

ストのうち検索対象となるもののみの特徴量を前ジに格納する役割を果たす．各データに施す処理

述のテーブルから読み込み，直積量⼦化に⽤いるは⼤まかに 2 つある．1 点⽬は必要な情報の選択ためのクラスタリング処理を⾏い各クラスタの重で，利⽤者の楽曲再⽣ログにはクライアントの状

⼼（＝辞書）をメモリ上に格納する．その後数⼗態を表すさまざまな情報が格納されている．この秒程度の⼀定間隔で直近の更新分をも量⼦化したログから利⽤者 ID，楽曲 ID，時刻のみを取り出す

うえでメモリ上に格納する．プレイリスト ID を処理を⾏う．2 点⽬は ID を整数値に変換すること受け取るとその特徴量を前述のプレイリスト特徴

である．ID は⼀般にランダムな⽂字列だが，学習量テーブルから取り出し，あらかじめ量⼦化したさせる際には 1-of-k 表現のための整数値への対応

推薦対象リストから近似的な近傍プレイリストを，が必要になる．この ID と整数値の⼀意な対応を要求された数だけ返却する．

作成しながら変換することが 2 つ⽬の処理である（図 3.1.4）．

Learner: skip-gram による分散表現の学習
Learner で は 格 納 さ れ た 再 ⽣ 系 列 デ ー タ（ 図3.1.5）を⽤いて skip-gram の学習を⾏う．学習が終了するとこれを再び楽曲 ID を Key，分散表現
を Value とする Key-Value Store（以下 KVS）のテーブルに格納する．

5 評価
提案法を 5% の利⽤者に適⽤し 1 ヵ⽉の A/B テ
ストを⾏った（現在は全利⽤者に適⽤済み）．その結果，網羅率と反映までの時間差の 2 項⽬について⼤幅な改善がみられた．また実際の利⽤者への適⽤を通じて，類似プレイリストの利⽤率についても改善が⾒られた．以下に各項⽬の詳細を述べる．

5.1
Filter: 意向ベースのフィルタ処理

網羅率

検索元のプレイリストに対して類似プレイリス

Filter ではプレイリスト作成・更新ログを受け取トが存在する⽐率，すなわち網羅率を⽐較する．

りそのログの内容を評価して，そのプレイリスト

従来では楽曲情報の厳密な紐付けを元に類似プレが推薦対象となるかを判定してそのフラグを付与

イリストを探索していたため，⼀部のプレイリス

する．

トには類似プレイリストが割り当てられなかった．
本システムでは分散表現を⽤いた幾何学的な近傍

Registerer: プレイリスト特徴量の計算

探索を⾏うことで，楽曲の類似性から類似プレイ

Registerer では Filter が処理した推薦対象フラリスト探索が⾏え，そのため⼀定数の再⽣実績がグ付きのプレイリスト作成更新ログから，プレイある楽曲が 1 つでも含まれていれば類似プレイリ

リスト ID とそれを構成する楽曲 ID の列と推薦対ストの探索が⾏える．このことにより従来およそ

象フラグを取り出す．次に楽曲 ID の列からそれぞ

64% であった網羅率が現在ではおよそ 98% に改れの分散表現を取得しその重⼼を計算する．この善した．これは再⽣実績のない楽曲のみからなる重⼼をプレイリストの特徴量としてプレイリストなどの，例外的なプレイリストを除くおよそすべ

6 まとめと今後の課題

図 3.1.4 ID-整数値 Mapping の例てのプレイリストを網羅していることに匹敵する．

45

図 3.1.5 処理された再⽣系列データの例

汎⽤的なベクトルの近似最近傍探索を⾏う Finderと複数のサービスからなる再利⽤性を意識したア

5.2

反映待ち時間プリケーションの構築事例を紹介した．また，今後

ここでは，類似プレイリストが計算されるまでの課題としては，モデルの継続的な更新やライフサの最⼤の時間差を⽐較する．従来の反映待ち時間

イクル管理がある．総合的なアプリケーションとはバッチ間隔と集計の実⾏時間の和で，最⼤で 24

しての魅⼒に対して有⼒なオフライン評価がない

時間程度要していた．⼀⽅本システムでは Regis-

今，学習データやモデルの更新には，利⽤者や管理

terer による処理時間と Finder による近似最近傍者のフィードバックを取り⼊れる必要があると考探索の処理時間の和となり，負荷ピーク時においえられる．本システムはその意味でモデル更新のても 1000ms 程度のほぼリアルタイムな推薦を実

完全なる⾃動化には⾄っていない．⽂献 [8] や [9]現している．

などで⼈間のフィードバックを取り⼊れた継続的デリバリのしくみが提案・実装され始めており，ま5.3

類似プレイリスト利⽤率

た学術的な観点では，AI 応⽤システムにおいて旧AWA では各機能を通じた新しい楽曲との出会

来のソフトウェア⼯学を適⽤する際の課題に対すいを重要視している．このことを測る尺度としてる提⾔として⽂献 [10] がある．今後，本システム

ここでは対象機能を通じて楽曲を再⽣開始した⽐を含む多くの機械学習を応⽤したアプリケーショ率を⽐較した．契約形態に応じて利⽤動向が⼤きンにおいても開発プロセスの改善やモデルの更新

く異なることがわかっているため契約形態毎にそ⾃動化・⾼性能化および品質向上を通した，利⽤者の⽐率を⽐較したところ，各料⾦プランで 2 倍程の⾳楽体験の向上に取り組んでいきたい．

度の⽐率のユーザが対象機能経由で楽曲を再⽣したことが確認された．

参考⽂献

6 まとめと今後の課題[1] IPFI: Global Music Report 2018 — AN-

本システムの実装と実験を通じて⾃然⾔語処理

NUAL STATE OF THE INDUSTRY,

分野で実績のある skip-gram モデルが，楽曲の再2018. https://www.ifpi.org/downloads/

⽣系列データに対しても有効な特徴量を獲得でき

GMR2018.pdf

ること，そしてプレイリスト，つまり楽曲の集合[2] ⼀ 般 社 団 法 ⼈ ⽇ 本 レ コ ー ド 協 会: Statis-

においてその分散表現の演算結果がプレイリスト

tics Trends — the Recording Industry inの特徴量として機能することを確認した．また従Japan, 2018. https://www.riaj.or.jp/f/来法との⽐較を通じて，いずれの指標においてもpdf/issue/industry/RIAJ2018.pdf

ユーザ体験を向上させていることを確認した．ま[3] Dan Cosley, et al.:“Is seeing believ-

たシステム設計の観点で⾒れば，特定の学習モデル

ing?:に依存しない汎⽤的な学習データの前処理を⾏う

faces aﬀect users’ opinions,” Proceedings ofParser，特定のアプリケーションに依存しない学

the SIGCHI conference on Human factors

習モデルである Learner および Registerer，またin computing systems. ACM, pp.585–592,

how recommender system inter-3.1 AWA における類似プレイリスト探索システムの構築事例について

46

図 3.1.6 類似プレイリスト利⽤者集計

2003.
[4] Deepak K. Agarwal and Bee-Chung Chen:

2019. (in press)[8] Denis Baylor, et al.: “Tfx: A tensorflow-

Statical Methods for Recommender Sys-

based

tems, Cambridge University Press, 2016.

ing platform,” Proceedings of the 23rd[5] Tomas Mikolov, et al.: “Distributed rep-

ACM SIGKDD International Conference

resentations of words and phrases andon Knowledge Discovery and Data Mining,

their compositionality,” Advances in neural

ACM, 2017.

information processing systems, pp.3111–[9] Spinnaker.io:

3119, 2013.
[6] Hervé Jégou, Matthijs Douze, and Cordelia
Schmid: “Product quantization for nearest neighbor search,” IEEE transactions on

tinuous
Fast,

production-scale“Spinnaker

Deliverysafe,machinelearn-

Con-

forEnterprise,repeatabledeployments”

https://www.spinnaker.io/[10] JST 研 究 開 発 戦 略 セ ン タ ー シ ス テ

pattern analysis and machine intelligence,

ム・情 報 科 学 技 術 ユ ニ ッ ト:AI 応vol.33, no.1, pp.117–128, 2011.

⽤ シ ス テ ム の 安 全 性・信 頼 性 を 確 保[7] ⽔上 他: “AWA における類似プレイリスト

す る 新 世 代 ソ フ ト ウ ェ ア ⼯ 学 の 確 ⽴,

探索システムの構築,” デジタルプラクティス

2018. https://www.jst.go.jp/crds/pdf/

論⽂誌 第 38 号, 情報処理学会, vol.10, no.2,

2018/SP/CRDS-FY2018-SP-03.pdf

47

3.2

AWA に⾒られるバースト⾏動に対する現象論的モデルの検証

武内 慎

概 要 ⼈間のさまざまな⾏動において，短期間で急に⾏動頻度が増加するバースト⾏動が確認されており，
その発⽣メカニズムを解明することは⼈間の⾏動を理解するために重要である．本研究では，個⼈の⾳楽鑑賞⾏動においてもバースト⾏動が存在することを確認し，それがランダムな外的要因と記憶効果のみから⽣じるという仮説を，Hawkes 過程を⽤いて検証した．その結果，Hawkes 過程で⾏動をモデル化できたユーザについてはそのパラメータの解釈についても妥当であった．⼀⽅で，ユーザの⼀部の⾏動はHawkes 過程に基づくモデルには従わなかった．このことから，興味駆動の⾏動を説明するためには，記憶効果以外のメカニズムも考慮する必要がある可能性が⽰された．

Keywords

Human Dynamics，バースト，記憶効果，Hawkes 過程

1 はじめに賞のような個⼈の興味駆動と考えられる⾏動については先⾏研究は少なく，そのメカニズムも⼗分

⼈間の⾏動の背後にあるルールを探求する Hu-

man Dynamics 分野において，集団から個⼈までのさまざまなレベルで普遍的に確認されている
バースト現象のメカニズムの解明がその重要な課
題の⼀つとなっている [1]．バースト現象は，短期間に⾼頻度でイベントが発⽣するバーストと呼ばれる状態と⻑期間に低頻度で⾏動が発⽣する状態
が交互に繰り返されるようなパターンで特徴付けられる．このような特徴は，イベントが⼀定確率でランダムに発⽣するような定常ポアソン過程では説明できないため，バースト現象はその背後にランダム以外のメカニズムが存在することを⽰唆している．本稿では，⼈の⾏動にみられるバース
ト現象のことをバースト⾏動と呼び，特に個⼈のバースト⾏動に着⽬する．
個⼈のバースト⾏動に関しては，e-mail 送信等の社会的な相互作⽤を前提とした⾏動についての先⾏研究が多く存在する [2–4, 8]．⼀⽅で，⾳楽鑑に解明されていない．
以上の背景の下，本稿では個⼈の興味駆動と考えられる⾳楽鑑賞⾏動の理解のために，それを説明できるモデルを提⽰し，さらに実データに基づいてモデルの妥当性を検証する．具体的には，⾳楽ストリーミングサービス AWA ユーザの再⽣⾏
動データから，⾳楽鑑賞⾏動においてもバースト⾏動が存在することを確認し，そのバースト⾏動
が記憶効果とランダムな外的要因から⽣じるという仮説を，⾃⼰励起点過程の⼀つである Hawkes
過程を⽤いて検証する．記憶効果は，あるイベン
トが発⽣した場合にそのイベントがその後発⽣しやすくなるという効果であり，相互作⽤を仮定しないバースト現象を説明するメカニズムとしては⼀般なものの⼀つである．

48

3.2 AWA に⾒られるバースト⾏動に対する現象論的モデルの検証

2 先⾏研究前述のように⼈のバースト⾏動についての先⾏
研究は，e-mail 送信 [2]，携帯電話 [3, 8]，対⾯コ
ミュニケーション [4] といった社会的相互作⽤に基づくものが⽐較的多く存在する．これらについては，個⼈レベルの⾏動を⽣成できる代表的なモデルがいくつか提案されている．⼀⽅で，動画閲
覧 [5] や，⾳楽鑑賞 [6] 等の興味駆動に基づくものについては，集団⾏動に焦点を当ててマクロなモデルを議論しているか，もしくは個⼈の⾏動の実験的な研究にとどまり，それが⽣成されるミクロな視点のメカニズムは提案および検証がされていない．すなわち，興味駆動に基づく個⼈レベルの⾏動の⽣成メカニズムについては，ほとんど解明
されていない．
なお，先⾏研究における代表的なバースト⾏動モデルとしては，個⼈がタスクリストをもつことを仮定し優先順位に従ったタスク処理によりバースト⾏動を説明する Queuing モデル [2]，集団⾏動を対象とした⾃⼰組織化臨界モデル [7]，記憶効
果をもつ⾃⼰励起点過程 [8] 等が提案されている．
このうち，Queuing モデルはタスク処理としての⾏動を対象としているので，興味駆動に基づく⾏
動を説明するモデルとしては不適切である．また数を表す強度関数が過去の系列に依存して決まる
ことで特徴付けられる．Hawkes 過程の時刻 t における強度関数 λ(t) は()
t − tiλ(t) = λ0 +
ν exp −
τt <t∑と書ける．第 1 項の λ0 はベースのイベント発⽣確率を表し，これはランダムな外的要因によるイベント発⽣に対応する．第 2 項は過去のイベントに起因する現在のイベント発⽣確率の励起の総和であり，これは⾃⼰励起のメカニズムに対応する．ν
はその励起のジャンプ幅を，τ はその励起の時間経過による指数減衰の速さを，それぞれ表すパラメー
タである．また ti はイベント発⽣時刻であり，その間隔を Ti = ti − ti−1 とする．ここで想定している⾃⼰励起のメカニズムは⼈個⼈の記憶効果によるものなので，その⾃⼰励起の時間経過による減衰は⼈の記憶の減衰を模倣すべきである．⼈の記
憶の減衰曲線に関しては，初期の Ebbinghaus [9]の研究以降さまざまな研究がなされており，記憶は線形に減衰しないことはほぼ確実であるが，指数関数かべき関数かについてはあまり明確になっていない．ここでは減衰関数に指数関数を⽤いる．

Hawkes 過程における重要な指標として branching ratio があり，次式で定義される．

⾃⼰組織化臨界モデルは集団⾏動を対象としているので，個⼈レベルの⾏動を説明するモデルとしては不適切である．⼀⽅，⾃⼰励起点過程は，過去(3.2.1)

i

∫ ∞
n=
0

(

)
t
ν exp −
dt = νττ

(3.2.2)のイベントがその後のイベントに影響を与えるとこれは全体のイベント数のうち⾃⼰励起項によっいう⾃⼰励起のメカニズムを仮定することでバーて⽣成されるイベントの割合を⽰している．このスト現象を説明する⽐較的汎⽤性の⾼いモデルで√branching ratio が n > 1 − 1/ 2 ≈ 0.2929 の場

ある．本研究では⾃⼰励起点過程モデルの⼀つで合，その過程で⽣成されるイベント時系列は⾮定ある Hawkes 過程を⽤いる．

常的であり，バーストが発⽣しやすくなることが解析的に⽰されている [10]．また，モデルの適合

3 モデルと評価⽅法
本研究では，各ユーザの⾳楽鑑賞⾏動をイベン
ト時系列データとして⽤いて，Hawkes 過程に基づ度は，既存の評価⼿法に倣い，ランダム時間変更∫ ti
λ(s)dsξi = Λ(ti , ti−1 ) =(3.2.3)ti−1

くモデルに対して最尤法で Fitting を⾏い，残差による点過程の残差が，理論的には定常ポアソンを⾒ることでモデルの適合度を評価する．Hawkes

過程となることを利⽤する．定常ポアソン過程の過程は，単位時間あたりのイベントの平均発⽣回

重要な性質として，それによって発⽣したイベン

4 解析結果

49

図 3.2.1 ユーザ個⼈のイベント時系列データのバーコードプロット

トの時間間隔の存在確率分布が指数分布となるこ数としてバーコードプロットしたものの例である．

と，および⼀定時間内に発⽣するイベント数の分

また，分析対象のユーザについては，2 年間以上

布がポアソン分布となることが挙げられる．これの期間 AWA を利⽤し，合計再⽣⽇数が 30 ⽇間以

らの性質を⽤いて点過程の残差（3.2.3）が理論値上のユーザとした．AWA には有料プランと無料と合っているかどうかを評価する．

プランが存在するため，参照期間において，「常に有料プラン」「常に無料プラン「有料プランと無料プランが混在」の 3 つの分類毎に 100 ⼈，合計 300

4 解析結果⼈分をランダムサンプリングした．

4.1

データ

本研究では，AWA の各ユーザの⾳楽再⽣ログ
を分析対象とした．参照期間は 2015 年 6 ⽉から2018 年 7 ⽉の約 3 年間である．これは⾳楽鑑賞⾏動の先⾏研究 [6] の参照期間の 4 ヵ⽉間弱と⽐較す
ると⻑期間であり，興味駆動の⾏動の⻑期的な時
間スケールにおける新たな特徴をとらえられる可能性がある．データの粒度は，サービスの機能に⼤きく依存すると考えられる連続再⽣⾏動の影響と，概⽇リズムの影響とを除外するように決定した．具体的には，⽇次の再⽣有無をバイナリ変数（その⽇に再⽣したかどうかを 0, 1 で表現したもの）のイベント時系列データとした．図 3.2.1 は，あるユーザのイベント時系列データを，横軸を⽇

4.2

イベント間隔の分布

ここでは，AWA ユーザのバースト⾏動の有無について確認する．バースト現象の最も⼀般的な特徴は，イベント間隔 Ti の存在確率分布が，指数分
布 f (x) ∝ e−x ではなく，べき分布等のファットテールな分布となる点である．そこで，対象デー
タのイベント間隔，つまりある AWA ユーザが⾳楽を聴いてから次に聴くまでの⽇数の分布を調査する．
べき分布とは次式で表現できる分布のことである．

f (x) ∝ x−α(3.2.4)

この関係式において x を定数倍しても関数形は不

図 3.2.2 指数分布 f exp (x) = exp (−x) とべき分布 f power (x) = x−2

3.2 AWA に⾒られるバースト⾏動に対する現象論的モデルの検証

50

変であり，これはべき分布の重要な特徴である．べ

て無視できるほど⼩さい場合に定常ポアソン過程

き分布と指数分布との違いの⼀つに，x ≫ 0 におとみなせるため，イベント間隔が指数分布となる

ける減少のしかた，つまり 0 への漸近がある．指

バーストしていないユーザも含めてモデリングで

数分布 f exp (x) とべき分布 f power (x) それぞれのき，個⼈差はパラメータの値として表現される．

対数をとるとlog f exp (x) ∝ −x (x ≥ 0)
log f power (x) ∝ −α log x (x ≥ 1)

4.3

Hawkes 過程のモデリング結果

ユーザ毎のイベント時系列データに対して，それぞれ最尤法を⽤いて Hawkes 過程のパラメータとなり，べき分布においては log x との⽐例関係が推定を⾏い，その残差（3.2.3）を Q-Q プロットで⽰せるのでこれらを両対数グラフ（図 3.2.2）で⽐評価した．⾏動をモデル化できていればこの残差較するとわかりやすい．このグラフから，べき分は理論分布である指数分布となり，Q-Q プロット

布の 0 への漸近は指数分布よりも遅い様⼦が分か

は傾き 1 の直線上にプロットされる．図 3.2.5，図る．このような 0 への漸近が指数関数よりも遅い

3.2.6 は実際の Q-Q プロットでの評価例であり，

分布のことを⼀般にファットテールな分布という．

図中の R2 値は残差の理論値と実際の値について

対象データを確認すると，ユーザ毎のイベント間の決定係数である．これらの結果から Hawkes 過

隔 Ti を対象ユーザ全体で合算した分布は，ファッ程で説明できるユーザとできないユーザが存在す

トテールな分布を⽰している（図 3.2.3）． 図中のることが分かる．

⾚線は，データがべき分布に従うことを仮定した

分析対象とした 300 ⼈を Hawkes 過程でモデリ

場合の Clauset ら [11] の⼿法を⽤いた Fitting 結

ングした結果，決定係数が 0.8 以上となったのは果であり，α の値はその際のべき指数である．図約 2/3 の 202 ⼈であった．恣意的ではあるが，決3.2.4 は，個⼈のイベント間隔 Ti の分布例であり，定係数が 0.8 以上のユーザを Hawkes 過程でそのおおよそべき分布を⽰しているように⾒える．

⾏動を説明できるユーザとし，そのパラメータ分

ただ，対象ユーザ毎に確認すると個⼈差があり，布を確認する．

指数分布からファットテールな分布まで多様な分

図 3.2.7 は，ユーザを 3 つのプラン分類に分け，布が存在した．つまり，対象ユーザの中には，バー推定したパラメータの分布を箱ひげ図で⽐較した

ストしているユーザとバーストしていないユーザものである．まず，プラン毎の傾向の違いとして，が混在していた．本研究で⽤いる Hawkes 過程は，

常に有料のユーザは，ベースの確率 λ0 が⾼く，記その強度関数 (3.2.1) の第 2 項が第 1 項と⽐較し憶効果によるジャンプ幅 ν が低い．これは，有料

図 3.2.3 イベント間隔分布 P (Ti )（全体）．

図 3.2.4 イベント間隔分布 P (Ti ) （個⼈）．

4 解析結果

51

図 3.2.5 ⾏動をモデル化できている場合，傾き 1

図 3.2.6 ⾏動がモデルに従わない場合，傾き 1 のの直線上にプロットされる.

直線上からプロットが乖離する.

の場合は⾳楽鑑賞に対するモチベーションが⾼く

⼈差があることが分かる．

定期的に再⽣するのに対し，無料の場合は普段か⼀⽅で，残りの約 1/3 のユーザはその⾏動をら再⽣しているわけではなくときどき再⽣しやすHawkes 過程で説明できなかった．これらのユー

い状態（バースト）になりやすいことを⽰していザの Fitting 結果を確認したところ，主に以下の 2

る．これは branching ratio の傾向とも⽭盾しなつのケースが存在した．図 3.2.8, 3.2.9 はその代表い．つまり，常に無料のユーザおよび有料と無料

例を⽰しており，それぞれ図の左上が Q-Q プロッの混在ユーザの各グループにおいては，そのほと

ト，右上が残差のイベント数の移動合計，下がイんどが branching ratio の閾値 0.2929 を超えた⾮ベントの時系列プロットを⽰している．残差のイ

定常状態でありバーストを⽣じやすいのに対し，ベント数の移動合計は理論的にはポアソン分布に

常に有料のユーザグループは，⽐較的多くの定常従うはずである．グラフにおける⽔⾊破線は，こ状態ユーザを含んでいる．

れを正規分布で近似した場合の 1σ, 2σ, 3σ の標準

これらの定常状態ユーザは，⾳楽鑑賞⾏動の傾誤差である．⼀つは，図 3.2.8 に⽰すような休⽌期

向が⻑期間において安定しているユーザだと解釈

間とバースト期間が極端なケースであり，⻑期のできる．また，τ は記憶効果の平均寿命と解釈で全くイベントのない休⽌期間を Hawkes 過程で表き，中央値は 10 付近の値となっているが，これは現できていない．この極端な休⽌期間は，ユーザ

⼈の週周期（7 ⽇間周期）のリズムを反映しているが AWA サービスから離脱状態にあると考えられ可能性がある．全体としては，τ の分布は 0 からる．また，もう⼀つは，図 3.2.9 に⽰すような途中

20 付近まで幅広く，記憶効果の寿命には⼤きな個でベース確率 λ0 か，もしくは記憶効果のパラメー

図 3.2.7 プラン分類毎の各モデルパラメータの分布．左から λ0 , ν, τ , branching ratio.

3.2 AWA に⾒られるバースト⾏動に対する現象論的モデルの検証

52

タ τ ，ν が変化しているように⾒えるケースであみから⽣じるという仮説を，Hawkes 過程を⽤いてり，このユーザの⾳楽に対する関⼼の変化などに検証した．その結果，⾏動をモデル化できたユー

伴い⾏動の傾向が変化していると考えられる．こザについては，そのユーザの記憶効果や定常か⾮れらの Hawkes 過程で説明できないユーザは，そ定常かといった⾳楽鑑賞⾏動における特徴をパラの⾳楽鑑賞⾏動をランダムな外的要因と記憶効果メータから定量的に抽出できた．⼀⽅で，Hawkes

で説明できるという仮説に対する反例であり，興過程に基づくモデルには従わなかったユーザの分

味駆動の⾏動を説明するためには，記憶効果以外

析から，⾳楽鑑賞のバースト⾏動はランダムな外のメカニズムも考慮する必要がある可能性を⽰し的要因と記憶効果のみではすべて説明できない可ている．

能性が⽰唆された．これらのケースでは，ユーザの⽐較的⻑期的な状態遷移を考慮するなどの⼯夫が必要かもしれない．

5 まとめ

個⼈の，⾳楽鑑賞⾏動を含む興味駆動の⾏動の本研究では，AWA ユーザに⾒られる⾳楽鑑賞の背後にあるメカニズムを理解することは，その集バースト⾏動が，ランダムな外的要因と記憶効果の団的な振る舞いや，コンテンツの流⾏メカニズムの図 3.2.8 休⽌期間とバースト期間が極端なケース．右上図の残差のイベント数の移動合計において，3σ を超える
値が⽣じており，Hawkes 過程による表現に無理があることが分かる．

図 3.2.9 途中で記憶効果が変化しているように⾒えるケース．

参考⽂献

53

より深い理解につながる可能性がある．また，コ[6] H. Hu and D. Han, Empirical analysis of in-ンテンツ推薦技術への応⽤に役⽴つ可能性もある．

dividual popularity and activity on an online

今後は，今回モデリングできなかったユーザの⾏

music service system, Phys. A Stat. Mech.

動メカニズムの解明や，これらの応⽤を視野に⼊Appl. 387(23), 5916-5921 (2008).

れた研究も⾏っていきたい．

[7] A. Vazquez, Self-organization in populationsof competing agents, Phys. Rev. E 62, R4497

参考⽂献(2000).
[8] H. Jo, J. I. Perotti, K. Kaski and J. Kertesz,[1] M. Karsai, H. Jo and K. Kaski, Bursty Human Dynamics, Springer (2018).
[2] A. L. Barabasi, The origin of bursts andheavy tails in human dynamics, Nature 435,
207-211 (2005).
[3] M. Karsai, K. Kaski, A. L. Barab á si, J.
Kert é sz, Universal features of correlated
bursty behaviour, Sci. Rep. 2, 397 (2012).
[4] J. Fournet and A. Barrat, Contact patterns
among high school students, PLoS ONE
9(9), e107878 (2014).
[5] R. Crane and D. Sornette, Robust dynamic
classes revealed by measuring the response
function of a social system. Proc. Natl. Acad.
Sci. 105(41), 15649-15653 (2008).

Correlated bursts and the role of memory
range, Phys. Rev. E92(2), (2015).
[9] H. Ebbinghaus, Memory: A contribution toexperimental psychology, Number 3. Teachers college, Columbia university, (1913).
[10] T. Onaga and S. Shinomoto, Bursting transition in a linear self-exciting point process.
Phys. Rev. E89(3), (2014).
[11] A. Clauset, C. R. Shalizi and M. E. J. Newman, Power-law distributions in empirical
data, arXiv: 0706. 1062, (2007).
[12] 武内 慎，⼈の⾳楽鑑賞⾏動に⾒られる冪分布に対する現象論的モデルの検証，⽇本物理学会

2018 年秋季⼤会，9aM203-3，(2018).

542018 年発表⼀覧

書籍・解説記事• クリストファー・G・ブリントン（原著）, ムン・チャン（原著）, ⾅井翔平（翻訳）, ⿁頭朋⾒（翻訳）,浅⾕公威（翻訳）, 坂本陽平（翻訳）, ⾼野雅典（翻訳）, 伏⾒卓恭（翻訳）, 池⽥圭佑（翻訳）, ⿃海不⼆夫（解説）：“パワー・オブ・ネットワーク: ⼈々をつなぎ社会を動かす 6 つの原則”, 森北出版, 2018.
論⽂誌・国際会議（査読付き）• H. Hayano, M. Takano, S. Morishita, M. Yoshida, and K. Umemura: “Analysis of the Influence ofInternet TV Station on Wikipedia Page Views,” The 3rd International Workshop on Applicationof Big Data for Computational Social Science (workshop at IEEE BigData2018), 2018.
• K. Kakiuchi, M. Nishiguchi, F. Toriumi, M. Takano, K. Wada, and I. Fukuda: “What influences people to broaden their horizons?,” IEEE/WIC/ACM International Conference on WebIntelligence (WI2018), 2018.
• K. Kakiuchi, F. Toriumi, M. Takano, K. Wada, I. Fukuda: “Influence of Selective Exposure to
Viewing Contents Diversity,” The 10th International Conference on Social Informatics (SocInfo),2018. [Best Paper]• M. Takano: “Two types of social grooming methods depending on the trade-oﬀ between thenumber and strength of social relationships,” Royal Society Open Science, Vol. 5, Issue 8, 2018.
• M. Takano: “Two Types of Social Grooming Methods Depending on the Trade-Oﬀ Between the
Number and Strength of Social Relationships,” 4th Annual International Conference on Computational Social Science (IC2S2), Extended Abstract, 2018.
• M. Takano and T. Tsunoda: “Bullied-Experience Talks in Online Communications: Support for
Bullied Children,” 4th Annual International Conference on Computational Social Science (IC2S2),Extended Abstract, 2018.
• V. Trivittayasil: “MovingBubbles : Animated d3 bubble chart,” useR!, Poster Session, 2018.
• M. Takano, G. Ichinose: “Evolution of Human-like Social Grooming Strategies regarding Richness
and Group Size,” Frontiers in Ecology and Evolution, Vol. 6, Article. 6, pp. 1–8, 2018.
国内学会/セミナー• 岩井⼆郎：“画像の特徴量を利⽤した CTR 予測”, 第 11 回 Web とデータベースに関するフォーラム（WebDB Forum 2018）, 2018.

55• 福⽥鉄也：“AbemaTV における推薦システム”, 第 11 回 Web とデータベースに関するフォーラム（WebDB Forum 2018）, 2018.

• 松⽥和⼰, 和⽥計也, 福⽥⼀郎：“インターネットテレビ局 AbemaTV における番組視聴データを⽤いたユーザー⾏動分析”, 統計関連学会連合⼤会, 2018.

• ⾼野雅典, 森下壮⼀郎, ⼩川祐樹：“インターネットテレビ局 AbemaTV におけるニュースの「チラ⾒」
がニュース視聴の動機に与える影響”, ⽇本⾏動計量学会 第 46 回⼤会, 2018.

• ⾼野雅典：“仮想空間における⾃⼰開⽰とオンラインソーシャルサポート：アバターチャットサービス
におけるいじめ経験の告⽩と相談”, 電気通信⼤学⼈⼯知能先端研究センター シンポジウム「⼼ふるわせ、社会うごかすエージェントデザイン」, 2018.

• 武内慎：“⼈の⾳楽鑑賞⾏動に⾒られる冪分布に対する Hawkes 過程を⽤いた分析”, ネットワーク科学
セミナー, 2018.

• ⾼野雅典：“コミュニケーション⽅法を⼆分するしきい値 —社会関係の数と強さのトレードオフパラ
メータ—”, ネットワーク科学セミナー, 2018.

• ⻄⼝真央, ⿃海不⼆夫, ⾼野雅典：“複数交流系ソーシャルメディアデータを利⽤したオンラインリス
ク未然予測モデル”, ネットワークが創発する知能研究会 + ネットワーク⽣態学グループ 合同研究会(JWEIN+NetEco2018), 2018.
• 武内慎：“⼈の⾳楽鑑賞⾏動に⾒られる冪分布に対する現象論的モデルの検証”, ⽇本物理学会 2018 年
秋季⼤会, 9aM203-3, 2018.

• Y. Fujisaka: “Orion: An Integrated Multimedia Content Moderation System for Web Services,”
ACM International Conference on Multimedia Retrieval (ICMR), Industrial Session, 2018.
• 森下壮⼀郎：“残差に基づいて匿名性と有⽤性を両⽴させる匿名加⼯に関する考察”, 第 32 回⼈⼯知能学会全国⼤会, 3H2-OS-25b-01, 2018.

• ⾼野雅典, ⾓⽥孝昭：“オンラインコミュニケーションにおける「いじめ経験の告⽩」”, 第 32 回⼈⼯知能学会全国⼤会, 3O1-OS-1a-02, 2018.

• 平野雄⼀, ⿃海不⼆夫, ⾼野雅典, 和⽥計也, 福⽥⼀郎：“未成年⼥性のネットリスク分析”, 第 32 回⼈
⼯知能学会全国⼤会, 2Z3-02, 2018.

• ⾼野雅典, ⽔野寛：“仮想社会における社会関係とソーシャルサポートに関する⼀考察”, 第 32 回⼈⼯知能学会全国⼤会, 1B3-04, 2018.

• 斎藤貴⽂, 善明晃由：“ストリーム処理におけるステートフルデータの管理⼿法”, The 2nd. crossdisciplinary Workshop on Computing Systems, Infrastructures, and Programming (xSIG2018),2018.
• ⾼野雅典, ⾓⽥孝昭：“オンラインコミュニケーションにおける「いじめ経験の相談」：いじめ被害者に対するソーシャルサポート”, 第⼆回計算社会科学ワークショップ, 2018.

• 平野雄⼀, ⿃海不⼆夫, ⾼野雅典, 和⽥計也, 福⽥⼀郎：“未成年⼥性のネットリスク分析”, 第⼆回計算社会科学ワークショップ, 2018.

• 斎藤貴⽂, 善明晃由：“コンフリクトフリーなデータ型に基づくステートフルストリーム処理基盤”, 第10 回データ⼯学と情報マネジメントに関するフォーラム (DEIM2018), 2018.