言語処理学会 第21回年次大会 発表論文集 (2015年3月)

テレビ番組をより楽しむための実時間ツイート選択システム
廣田 壮一郎 †笹野 遼平 ‡高村 大也 ‡奥村 学 ‡†東京工業大学大学 総合理工学研究科，‡ 東京工業大学 精密工学研究所

hirota@lr.pi.titech.ac.jp, {sasano, takamura, oku}@pi.titech.ac.jp

1

はじめに

mura らは単一トピックに関する投稿の中から他の投稿との被覆度が大きい投稿を選択し，時系列順に並べソーシャルメディアの普及に伴い，テレビ番組の感ることでトピックの要約を行っている．

想や意見をソーシャルメディアへとリアルタイムに投また，イベントに対してリアルタイムに要約を行う稿するユーザが増えてきている．それと同時に，テレ手法として Nichols ら [3] や Kubo ら [4] の手法があ

ビ局側も番組制作において，関連する投稿を番組内る．イベントが起こるとバーストと呼ばれる投稿数ので紹介し，それらの感想や意見を番組に反映させると増加が起きることに注目し，イベントの発生区間を特いった取り組みを始めている．例えば NHK の「NEWS定する．各イベントごとの要約を行うことにより，トWEB」1 では，代表的なソーシャルメディアの 1 つである Twitter2 に投稿された番組に関する投稿を募集し，視聴者の感想や意見を討論の進行に反映させていピックの終了を待つことなく要約を行うことが可能とる．しかし，「NEWS WEB」では放送時間の 30 分間目的としており，テレビ番組の内容に沿って人が面白に約 5,000，投稿の多い時間帯には 10 秒間に 100 近いいと感じるようなツイートを選択する本研究とは，研投稿が行われており，放送時間中に全てのツイートを究目的が異なっている．

なる．
しかし，これらの研究ではツイート集合の要約を主確認することは大変手間のかかる作業である．

人が面白いと感じるツイートを選択する手法としてテレビ番組の内容に合わせて面白い投稿を自動的に

は Stajner ら [5] の手法がある．Stajner らは式 (1) を選ぶようなシステムがあれば，インターネットとテレ用いて，g(S) を最大化するようなツイート集合 S を選ビ番組が組み合わさった新しい視聴方法を提供する放ぶことで人が面白いと感じるツイートの選択を行った：

送局が増えると考えられる．また，放送局にかぎらず，ユーザもこのシステムを使うことで気軽にインターg(S) = λ∑r(m) + (1 − λ)H0 (S).

(1)m∈S

ネットとテレビ番組を同時に楽しめるようになると考えられる．そこで，本研究では，テレビ番組と同時にここで，S は選択したツイート集合であり，r(m) は見ることでより楽しめるようなツイートを自動選択すツイート m の面白さの度合いを計算している．r(m)る手法について述べる．の計算には Support Vector Regression を使用しており，素性としては単語数やリツイート数などを利用し2ている．ここで，H0 (S) は選択したツイート集合の単関連研究

語出現確率分布のエントロピーであり，選択ツイート大量にあるツイートの要約を作成する手法としての情報量が大きくなるようにしている．λ はツイート

Sharifi ら [1] のものがある．Sharifi らはツイート集合の面白さの度合いと，選択したツイート集合の情報量に対してクエリを与え，クエリと一緒に呟かれているのどちらを重視するかを決めるパラメータである．

単語列パターンの頻度を計算した．クエリと連結してこの研究は，面白いツイートを静的にツイート集合いる単語列の内，2 回以上出現している単語列パターの中から選択する手法を提案するものであるが，対しンを抽出することで要約を行った．て本研究では，テレビ番組の内容に合わせて人が面白時間的な変化に着目したマイクロブログの要約を行っ

いと感じるような投稿をリアルタイムに選択することた研究として，Takamura ら [2] のものがある．Taka-を目的とする．その際，ツイートの面白さの学習と提1 http://www3.nhk.or.jp/news/newsweb/
2 https://twitter.com/

示するツイートの学習を分けて行うことで，より良いツイートの選択を可能とする．

― 1096 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 対象ツイートの面白さの学習に使用する素性
ツイート単体から作成される素性 (Target)
単語数，感嘆符の数，疑問文か否か，URL の有無，一人称代名詞の有無，砕けた表現を含んでいるか，地名を含んでいるか，機能語の Bag-of-Words

候補ツイート集合から作成される素性 (Candidates)
ツイートに出現する単語の idf 3 の総和，余弦類似度が閾値を越えたツイート数
過去のツイート集合から作成される素性 (Past)
ツイートに出現する単語の idf 4 の総和，対象ツイートの対数尤度 5 ，余弦類似度が閾値を越えたツイート数，隣接 10 秒の余弦類似度の差

図 1: ツイートのスコア計算の概要

テレビ番組の音声認識結果から作成される素性 (TV)
ツイートの単語のうち番組に出現した単語の数

提案手法

3

本研究では番組放送中に呟かれたツイート系列を 10秒毎に分割し，10 秒間に投稿されたツイート集合の中から 1 つを選択する．ツイートを選択するにあたって大きく 2 つの計算を行う．

音声認識結果から作成される素性は，テレビ番組の内容にどれくらい関係しているツイートかを知るために有効であると考えられるため使用している．

ステップ 1: 各ツイートの面白さ度合いを計算
ステップ 2: ステップ 1 のスコアを素性として使用し，既に選択したツイートの内容を考慮して提示するツイー
トを選択

ツイートのスコア計算の概要を図 1 に示す．ステップ

1 とステップ 2 の計算の際には，別々のアノテーション

3.2

提示するツイートを決めるにあたり，表 2 に示す素性を使用する．

データを用意し学習を行う．学習には Support VectorMachine(SVM) を使用している．ここで，本研究ではテレビ番組の放送に合わせてリアルタイムにツイートを選択することを目的としているため，ツイートを選択する際には選択時点よりも未来のツイートや番組の内容を知ることはできない．

3.1

ステップ 1：ツイートの面白さ度合いの計算

ツイートの面白さ度合いの学習を行うにあたり，表1 に示す素性を使用する．
表 1 のうち，過去のツイート集合から作成される素性とは，過去 1 分間に投稿されたツイートを 10 秒毎に纏め，それぞれのツイート集合に対して計算されるスコアを素性に加えている．これにより投稿時間に関する影響を考慮することができ，Twitter における盛り上がりに対する被覆度合いなどを知ることができる．
これは，盛り上がっている話題に関する情報を多く含ステップ 2:ツイート選択のためのスコア計算

表 2: 提示するツイートの学習に使用する素性ステップ 1 で計算した面白さ度合い (面白さ)
SVM での判別結果から得られる超平面からの距離
過去に選択したツイートとの情報量関係 (情報量)
過去の選択ツイート集合の単語出現確率分布の情報量，選択ツイート 1 つ 1 つに対する余弦類似度
過去に選択したツイートとの意味関係 (意味)疑問が連続しているか，ポジネガの変化，テレビの内容に対する言及度合い

ステップ 1 で計算したツイートの面白さ度合いを素性に加えることにより，ツイートの面白さに影響をする要因を効率的に利用することができる．過去に選択したツイートとの情報量関係と過去に選択したツイー
トとの意味関係の素性は，自ツイートと過去 1 分間までに選択されたツイート 1 つ 1 つの関係について計算を行っている．過去に選択したツイートとの情報量関係を使用する理由は，如何に面白いツイートであっても既に選ばれたツイートと同じ内容のツイートは選むツイートは，面白いツイートとして選ばれる傾向が2 候補ツイート集合から計算される．

あると考えたため使用している．また，テレビ番組の4 対象の 10 秒間のツイート集合から作成した単語 1-gram を3 過去ツイート集合から計算される．

用いて計算した．

― 1097 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

択の優先度が低いと考えられるためである．また，過去に選択したツイートとの意味関係は，既に選んだツ20 番組を 4 番組からなる 5 グループに分割し，5 分割交差検定を用いて評価を行った．

イートとは異なる視点から投稿されたツイートが選択されやすい傾向があることを考慮するために使用する．

4実験

4.1

アノテーションデータの作成4.2

ツイートの面白さ度合い計算の評価実験を行うにあたって 4.1.1 項で作成したデータに対し，分類問題として精度，再現率，F 値を比較することで各素性の評価を行った．ツイート単体から作成される素性 (Target)，候補となるツイート集合から作

実際のテレビ番組の動画の録画と放送時間帯にその成される素性 (Candidates) を基本素性とし，過去のテレビ番組を対象に呟かれたツイートの収集を行った．

ツイート集合から作成される素性 (Past)，テレビ番組

本研究では，20 日分の「NEWS WEB」の番組と，公の音声認識結果から作成される素性 (TV) を提案素性式ハッシュタグである「#nhk24」が付けられたツイーとして比較実験を行った．

トで放送時間中に投稿されたものを収集した．番組の内容を知る手がかりとするため，AmiVoice6 という音

表 3: ツイートの面白さ度合い計算に使う素性の評価

声認識ソフトを利用し，出演者の発言内容の文字起こしを行った．
さらに，収集したツイートに対して，以下の 2 種類のアノテーションを行った．

4.1.1

面白さ度合いのアノテーション

精度

再現率

F値

Target

0.851

0.738

0.791+Candidates

0.850

0.748

0.796

+Past

0.852

0.760

0.803

+TV+Past+TV

0.840
0.849

0.762
0.770

0.799
0.807

ツイートの面白さ度合いを学習するためのデータを作成した．アノテーションは 3 人のアノテータ (user1，user2，user3) によって行い，実験に使用するツイートに対してどのくらい面白いツイートかを 3 段階でタグおいて，各モデルとその他のモデルの F 値の差は有付けをした．具体的には面白いツイートを 3，普通の意 7 であることを確認した．精度に対して再現率が大

結果は表 3 のとおりになり，提案素性を加えることで分類性能が向上することを確認した．ここで表 3 にツイートを 2，面白くないツイートを 1 とタグ付けしきく向上していることから，素性を加えることで今また．作成したアノテーションデータに対し，2 人以上で取れていなかった面白いツイートを取ることができが面白いと判断したツイートを正例，2 人以上が面白るようになったことがわかる．

くないと判断したツイートを負例として学習に使用し，実験の際には 5 分割交差検定を用いて評価を行った．

4.1.2

選択するツイートのアノテーション

4.3

提示ツイート選択の評価

4.3.1

素性の評価

た．収集したツイートの投稿時間に従って 10 秒毎に3.2 節で述べた素性の評価を行う．4.1.2 項で作成したアノテーションデータに対し，アノテータ毎に学習纏め，10 秒間に投稿されたツイートの中から 1 つのと評価を行った．これはツイートの面白さと比べ，選ツイートを選択した．ここで提示するツイートのアノばれるツイートのアノテータ毎の差異が大きいためでテーションには，過去に選択したツイートの内容を考ある．評価にはシステムが選択したツイートの順位を慮し，テレビ番組の動画を視聴しながら選択している．

用いた平均逆順位 (MRR) を使用した．本システムのアノテーションは 4.1.1 項と同様に 3 人のアノテータ

評価実験の指標とした MRR は以下の式 (2) で計算さによって行った．収集した 40,215 ツイートから，1 人

れる：

提示するツイートを学習するためのデータを作成しあたり 1,934 ツイートを提示するツイートとしてタグ付けし，このデータを 3 人分用意した．実験の際には6 http://sp.advanced-media.co.jp/

11 ∑.
N i=1 rank(i)N

M RR =(2)

7 Randomization Test(有意水準 5%)．

― 1098 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

MRR において，N は提示するツイートの計算を

表 5: モデルの評価 (MRR)行った回数を表している．また rank(i) は，i 番目のツイート選択時における 10 秒間に投稿されたツイー
トのスコアのうち，アノテータが選んだツイートの順位である．

user1

user2

user3

平均

提案モデル

0.340

0.326

0.341

0.336

比較モデル 1

0.319
0.329

0.314
0.310

0.307
0.330

0.314
0.323

比較モデル 2
表 4: 素性の評価 (MRR)

user1

user2

user3

平均を除いて，提案モデルと比較モデル 2 に対しては各

ALL

0.340

0.326

0.341

0.336

ユーザにて，MRR の差は有意 8 であることを確認し

-面白さ
-情報量
-意味

0.329
0.333
0.325

0.310
0.312
0.306

0.329
0.329
0.320

0.323
0.329
0.317

た．これは一度の学習でツイートを選択するのではな
く，ツイートの面白さの学習と提示するツイートの学習を別々に行うことで，ツイートの面白さに関する情報を効率的に利用しつつツイートを選ぶことができたからだと考えられる．

表 4 は素性の組み合わせを考えて比較実験を行った結果である．3.2 節で述べた 3 種類の素性を全て足した素性 (ALL) に対して，ステップ 1 で計算した面白5

さ度合いの素性 (面白さ)，過去に選択したツイートとの情報量関係の素性 (情報量)，過去に選択したツイー
トとの意味関係の素性 (意味) のそれぞれを引いたと
きの MRR を比較することで評価を行っている．中でもツイートとの意味関係の素性を引いた際に大きくMRR の値が下がっている．これはアノテータが選んだツイートに，疑問を呈するツイートの次には疑問以外のツイートを選択したり，ポジティブなツイートの次にはネガティブなツイートを選択するなどの傾向がおわりに
本稿ではテレビ番組放送中に投稿されるツイートに対し，番組をより楽しめるようなツイートを自動的に選択する手法を提案した．提案手法では，放送内容に合わせてツイートの選択を行うため，テレビ番組出演者の発言を音声認識した結果を利用した．さらに，ツイートが投稿された時間も考慮することでリアルタイムなツイート選択を実現している．また，ツイートの面白さの学習と提示するツイートの学習を別々に行うことで，テレビ番組をより楽しめるようなツイートをあることからも分かる．

高い精度で選択することができた．今後の課題として，より豊富なテレビ番組の内容と選択されるツイートの4.3.2モデルの評価関係を捉えることのできる素性の検討が考えられる．

2 つのステップで提示ツイートを選択する提案モデ
ルの評価を行う．評価には 4.3.1 項と同様に MRR を用いた．比較モデルとして，1 ステップでツイートを選択する 2 つのモデルを用意した．
比較モデル 1 は，ステップ 1 で用いた素性を利用し，4.1.1 項で作成したアノテーションデータから学習を行う．比較モデル 1 は面白いとアノテーションされたツイートを正例，面白くないとアノテーションされたツイートを負例とし，SVM で学習している．比較モデル 2 は，ステップ 2 で用いた素性からステップ 1 で計算した面白さ度合いの素性を除き，代わりにステップ 1 の素性を加えて学習を行っている．比較モデル 2は 4.1.2 項で選択されたツイートを正例，選択されなかったツイートを負例として SVM で学習している．
結果は表 5 のとおりになり，本研究において提案モデルが最も高い値となることが分かった．ここで表 5 に

参考文献[1] Beaux Shariﬁ, Mark-Anthony Hutton, and Jugal K.
Kalita. Experiments in microblog summarization. In
Proc. of SocialCom’10, pp. 49–56. 2010.
[2] Hiroya Takamura, Hikaru Yokono, and Manabu Okumura. Summarizing a document stream. In Proc. ofECIR’11, pp. 177–188. 2011.
[3] Jeﬀrey Nichols, Jalal Mahmud, and Clemens Drews.
Summarizing sporting events using twitter. In Proc.
of IUI’12, pp. 189–198. 2012.
[4] Mitsumasa Kubo, Ryohei Sasano, Hiroya Takamura,and Manabu Okumura. Generating live sports updates from twitter by ﬁnding good reporters. In Proc.
of WI’13, pp. 527–534, 2013.
[5] Tadej Štajner, Bart Thomee, Ana-Maria Popescu,
Marco Pennacchiotti, and Alejandro Jaimes. Automatic selection of social media responses to news. InProc. of SIGKDD’13, pp. 50–58, 2013.

おいて，提案モデルと比較モデル 1 に対しては user2― 1099 ―8 Randomization Test(有意水準 5%)．

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.