DEIM2020 C4-2 (day1 d7)

テレビドラマに関する関心動向・感想のウェブマイニングにおけるインパクトの分析
Analyzing Impressiveness in Web Mining of Concerns and Reviews on TV Drama
藤田

拓也†

久保

遼馬†

川口 輝太†

小林彰夫††

西崎 博光††† 河田

前田

竜冶†

宇津呂武仁†

容英††††† 筑波大学 大学院システム情報工学研究科 〒 305–8573 茨城県つくば市天王台 1-1-1†† 筑波技術大学産業技術学部 〒 305-8520 茨城県つくば市天久保 4-3-15††† 山梨大学大学院総合研究部 〒 400-8511 山梨県甲府市武田 4-3-11†††† (株) ログワークス 〒 151-0053 東京都渋谷区代々木 1-3-15 天翔代々木ビル 6F
あらまし

本論文では，テレビドラマ視聴者がドラマ視聴後にウェブ上で行うドラマ関連関心動向・感想・レビュー

類の情報探索過程を支援することを目的として，ブログ・ドラマ関連サイト・ツイッター等のウェブページからの情報収集・集約を行うウェブマイニング技術を提案する．本論文では，特に，ブログ・ドラマ関連サイトにおける記事
タイトルにおけるインパクトの判定手法について述べる．
キーワード

テレビドラマ，関心動向，感想，ブログ，インパクト

れたウェブページ数が 10 以上のウェブサイトが，各ドラマごと

1 はじめに
本論文では，テレビドラマ視聴者がドラマ視聴後にウェブ上で行うドラマに関する関心・感想・レビュー類の情報探索過程を支援することを目的として，ドラマに関するブログや情報サ
イト等のウェブページからの情報収集・集約を行うウェブマイ
ニング技術を提案する．本論文でマイニング対象とするウェブ
ページは，ドラマ視聴者によるドラマに関する関心や感想を含むブログ (図 1)，及び，ドラマ関連グッズを販売する目的のEC サイト，エンターテインメント系のネットニュースサイト，
見逃し配信サービスを紹介するサイト等，様々なウェブページ

(図 2) が含まれる．本論文においてそれらのウェブページ群をマイニングして，情報収集・集約を行った結果を提供する利用者像としては，各ドラマの熱狂的な視聴者が挙げられるが，そのような熱狂的な視聴者に限らず，偶然当該ドラマに関心を持
ち，情報収集をしようと試みる一時的な視聴者も重要な利用者として位置付けられる．
本論文では，2018 年 10∼12 月のクールを放送時期とする 4
つのドラマ「リーガル V」，「下町ロケット」，「大恋愛」，「僕らは奇跡でできている」を対象とした．上述の 4 つのドラマに関連する話題が掲載されている可能性の高いウェブページを網羅的に約 300∼400 程度存在し，そのうち，約 40∼60 サイトは，当該ドラマに関する感想を掲載したブログであった．さらに，それらの当該ドラマに関する感想を掲載するブログとは別に，当該ドラマについて，感想以外の関心事項を掲載するブログが約30∼40 サイト存在することが確認された．
この分析結果をふまえて，文献 [6] では，テレビドラマ視聴者がドラマ視聴後にウェブ上で行うドラマに関する関心・感想・
レビュー類の情報探索過程を支援することを目的として，ドラマに関するブログや情報サイト等のウェブページからの情報収集・集約を行うウェブマイニング技術の枠組み (図 3) を提案した．この枠組みにおいては，まず，各ドラマに関するブログ，

EC サイト，ネットニュース，見逃し配信サービスを紹介するサイト等，様々なウェブページが収集される．そして，「感想・
登場人物・キャスト・ドラマ特有のキーワード 2 ・ロケ地や視聴率などのドラマに関する関心事項」の 5 種類のコンテンツに分類され，冗長な情報の集約が行われる．そして，集約された

5 種類のコンテンツをドラマ視聴者に提供する．この枠組みの中の要素技術として，文献 [6] では，文単位での当該ドラマ関連判定および感想の有無判定を行い，その文単位の結果に基づき，ウェブページ単位での当該ドラマ関連判定および感想の有に収集し，各ドラマに関連するか否かの区別，ブログか否かの区別，ブログの場合の感想の有無，等について人手分析を行っものではなく，大半が DVD や関連グッズの販売に関してである．その他，ネットニュースにおいて，キャストである俳優へのインタビュー記事が掲載されておた 1 ．その結果，表 1 に示すように，各ドラマに関して収集さり，その俳優の発言中に感想表現が存在する場合なども含まれる．

1：ブログ以外のウェブページにおいても何らかの感想を含む文が掲載されていケットエンジン用バルブシステム」，「小型エンジン」，「佃製作所」等が当該ドラ

るが，それらの文において感想が述べられている対象は，当該ドラマの内容そのマ特有のキーワードの一例となる．

2：例えば，ロケットを題材とするドラマである「下町ロケット」の場合には，「ロ図 1 テレビドラマに関する関心・感想についてのブログ記事集合

図 2 テレビドラマに関連する各種ウェブページ集合 (ブログ以外)

無判定を行う手法，および，その評価結果について述べた．

調査対象のサンプルの範囲においては，8 割以上の事例におい文献 [6] の結果をふまえて，本論文では，文献 [6] で訓練・評て，タイトルとウェブページの内容の間にインパクト有無の相価対象としたウェブページ群の内容のインパクトの有無につい関があることが分かった (表 3)．このことをふまえて，本論文て分析を行った結果を述べるとともに，インパクト有無の自動では，ドラマ名をクエリとしたサジェストによって収集したブ判定手法を提案し評価を行った結果について述べる．具体的に

ログ・非ブログのウェブページを対象として，ウェブページタ

は，ブログ・非ブログのウェブページを対象として，まず，ウェ

イトルのインパクトの有無を判定するタスクを設定する．

ブページのタイトルにおけるインパクトの有無と，ウェブペー

次に，本論文では，ウェブページタイトルのインパクトの有ジの内容そのものにおけるインパクトの有無の間の相関につい無判定モデルを訓練するのにあたり，各個人別あるいは嗜好がて調査した．ウェブページタイトルにおけるインパクトの有無似通った利用者群ごとに個別の訓練事例を作成し，訓練事例集を判定する際には，表 2 に示す判定基準を用いた 3 ．その結果，

合別にインパクト有無判定モデルを訓練するのが適切であるの

3：表 2 および表 3 においては，本論文においてインパクト判定作業を行った合においては，判定基準のうちの大部分が作業者 A・作業者 B 間で共通となった

計 6 名の作業者による判定結果のうち，後述する kappa 値 [2] による一致度が十ため，「作業者 A・作業者 B で共通の判定基準」および「作業者 A，または，作

分に高い作業者 A および作業者 B を対象として，判定結果を示す．特に，表 2

業者 B のみの判定基準」とに分けて判定基準を示す．

図3

本論文の枠組み: ドラマ関連ウェブページの収集およびドラマに関する関心・感想の分類
表1

各ドラマに対して収集されたウェブサイト・ウェブページの数収集された

一ドラマあたりのウェブページ数が 10 以上のサイト対象

全サイト対象ドラマタイトル

ウェブ

ウェブ

ウェブ

サジェ

ペー

サイ

ペー

スト数

ジ数

ト数

ジ数

ウェブサイト数
合計

クエリ・フォーカスのドラマに関連する
感想を

感想を

含む

含まない

ブログ

ブログ

クエリ・
ブログ
以外

合計

フォーカス
のドラマに
関連しない

「リーガル V」

672

2,621

791

2,065

338

47

41

218

306

32

「下町ロケット」

782

4,688

1,393

3,287

341

52

35

229

316

25

「大恋愛」

723

3,778

1,244

2,726

401

59

44

251

354

47

630

1,912

639

1,457

279

46

34

175

255

24

「僕らは奇跡でできている」

か，それとも，全利用者に共通の単一インパクト有無判定モデ

本論文では，訓練されたインパクト判定モデルを比較すること

ルを訓練するのが適切であるのかを判断するための材料を収集が容易であることを重視して，kappa 値による一致度が十分高するため，本論文著者を含めた 6 名を対象として，ウェブペー

い判定作業者 A および作業者 B の 2 人を対象として，各作業

ジタイトルのインパクトの有無判定結果における kappa 値 [2]

者別のインパクト判定モデルの訓練・評価を行う．そして，この測定を行った 4 ．その結果，調査対象の 6 名のうちの各 2 名のタスクに対して，事前訓練済み BERT [3] の分散表現を用い組においては，一致度が低い組が多かったため，インパクトのた双方向 LSTM を適用し，ウェブページタイトルのインパクト判定作業の結果においては個人差が大きいことが分かった．こ

判定が一定の性能で実現できることを示す．

の結果をふまえて，本論文では，インパクト判定モデル訓練事
例の作成を担当する主たる作業者を選定し，これらの作業者別に訓練・評価事例集合を作成し，各作業者別に異なるインパク
ト判定モデルを訓練・評価するアプローチを採用する．特に，2 ドラマに関連するウェブページのデータセット
各ドラマに対して，表 1 中の「一ドラマあたりウェブページ
数が 10 以上のサイト対象」欄に該当するウェブページ集合から無作為に約 1,000 ページ (表 4) 選定し，各ページのタイトル

4：調査対象の「下町ロケット」に関する 444 ページのウェブページタイトルに対して，作業者 A および作業者 B を含む 6 名が，各個人の判定基準に基づきイに対して人手で「インパクトあり」
・「インパクトなし」の二値

ンパクト判定作業を行い kappa 値 [2] の測定を行った．6 名のうちの任意の 2 名で判定作業を行った．本論文では，kappa 値による一致度が十の間の kappa 値を測定したところ，作業者 A・作業者 B 間では 0.71 であったが，分高い判定作業者 A および作業者 B の 2 人が判定作業を行う

他の 14 組の内訳としては，0.40 が 1 組，残りの 13 組は 0.40 より低く，一致度にあたり，各作業者は，それぞれ，「4 つのドラマを視聴していが低い組が多かった．以上の結果より，インパクトの判定作業結果においては個人差が大きいことが判明した．また，表 4 に示す 4 つのドラマ全体の 4,023 ページを対象とするインパクト判定作業結果においても，作業者 A と作業者 B の間の kappa 値は 0.65 と十分に高い一致度となった．

ない」という立場 (作業者 A)，および，「4 つのドラマを視聴した」という立場 (作業者 B) で，表 2 に示す判定基準を用いて判

表2

テレビドラマに関連するウェブページタイトルのインパクト判定基準 (主要なもののみ抜粋)(a) 作業者 A・作業者 B で共通の判定基準(b) 作業者 A，または，作業者 B のみの判定基準

キーワード「視聴率」に言及している「主要な俳優」に言及している

キーワード「ロケ地」に言及している「ストーリーの今後の展開を推測する内容」が含まれている「極端な評価表現 (クズ，大絶賛など)」が含まれている「興味を惹く文言 (裏事情，秘密，農耕アートなど)」が含まれている「関心・興味がある俳優名」が含まれている「ドラマ内容に関する専門家の解説」が含まれている

表 3 ウェブページのタイトルと内容の間のインパクトの相関 (対象ド
ラマ:「下町ロケット」)(a) 作業者 A

ンパクトありとなった．ウェブページのタイトル・内容におけ内容のインパクト

タイトルのインパクト

あり

なし

あり

88

19

なし

15

311

るインパクトの有無の組合わせおよび例を表 7 に示す．

4 ウェブページタイトルのインパクト判定
本論文の枠組みにおいて，クエリ・フォーカスとして指定さ(b) 作業者 B

れたドラマ名に対して，検索エンジン・サジェストを用いて収内容のインパクト

タイトルのインパクトり」の割合が作業者 A・作業者 B ともに低いが，俳優の演技力の分析や撮影裏話の情報等の興味深い情報が含まれる場合にイ

あり

なし

あり

75

17

なし

7

345

集されたウェブページのタイトルにインパクトがあるかを判定するインパクト判定モデルを図 4 に示す．ウェブページのタイ
トルにインパクトがあるかを判定するタスクにおいては，事前訓練済み BERT [3] の分散表現を用いた双方向 LSTM を適用した．本論文では，PyTorch 版 5 BERT を利用し，日本語版 BERT

定作業を行った．上記の方法でインパクトの判定を行った結果の事前訓練済みモデル 6 を用いた．日本語版 BERT への入力文のデータセットの内訳を表 4 に示す．この結果において，作業は形態素単位で分割されている必要があるため，日本語形態素者 A・作業者 B による判定作業結果において，作業者 AB 間で解析ツール MeCab の IPA 辞書を用いて，形態素単位への分割

判定結果が一致したページ数は，「リーガル V」において 1,003を行った．双方向 LSTM の実装としては，Keras 版 7 を利用し，ページ中 842 ページ，
「下町ロケット」において 1,000 ページ中分類のための双方向 LSTM 層の次元数を 128 次元とした．

890 ページ，「大恋愛」において 1,004 ページ中 881 ページ，「僕

1 節で述べたように，本論文では，各作業者別に訓練・評価

らは奇跡でできている」において 1,016 ページ中 920 ページで事例集合を作成し，各作業者別に異なるインパクト判定モデル

あり，いずれのドラマにおいても 90%前後のウェブページタイ

を訓練・評価するアプローチを採用する．具体的には，表 4 のトルにおいてインパクト判定結果が一致していた．

データセットのうち，作業者 A・作業者 B の各々に対して，3つのドラマの事例を訓練事例とし，残りの 1 つのドラマの事例

3 ウェブページタイトルのインパクトの分析
本節では，「ドラマ名・主要な俳優・ロケ地・視聴率・評価表
現」の 5 つの特徴の有無全 32 通りの組合せにより，ウェブペー
ジタイトルのインパクトの分析を行った結果について述べる．
本論文では，「下町ロケット」に関するウェブページ 1,000 ペー
ジ (表 4) を分析対象とする．具体的には，32 通りの各組合せにおいて，各特徴ごとの「インパクトあり」の割合を表 5 に示
す．また，
「下町ロケット」における「インパクトあり」クラスのウェブページタイトル集合において，各特徴に該当するタイトルの割合を表 6 に示す．
表 5 の分析結果より，ロケ地・視聴率等の情報を含むタイト
ルは，インパクトありと判定される傾向にあることがわかった．

を評価事例とする 4 ドラマ交差検定を行い，各作業者ごとのイ
ンパクト判定モデルの評価を行う．双方向 LSTM モデルにおいて全結合層の sigmoid 関数の出力確率の下限値を変化させて，各作業者ごとに再現率・適合率曲線を描いた結果を図 5 に示す．
この結果から分かるように，sigmoid 関数の出力確率の下限値が高い範囲では，評価事例割合の小さい「インパクトあり」ク
ラスの方も十分に高い適合率となっている．
本論文では，さらに，4 ドラマ交差検定において，片方の作業者の訓練事例で訓練し，もう片方の作業者の評価事例で評価する形で，作業者間を交差する評価も行った．両作業者間では，90%前後のウェブページタイトルにおいてインパクト判定結果が一致し，0.6 以上の高い kappa 値となっているいることから，「ドラマ名・評価表現」に関しては，「クズ，飽きた」等の否定的な表現，「大絶賛，ギャップがすごい」等の肯定的な表現のよ
うに極端な評価表現が含まれている場合，インパクトありと判定された．
「ドラマ名・主要な俳優」に関しては「インパクトあ

5：https://github.com/huggingface/pytorch-pretrained-BERT
6：日 本 語 Wikipedia の 1,800 万 文 を 用 い て 事 前 訓 練 さ れ た Japanese_
L-12_H-768_A-12_E-30_BPE.zip モ デ ル (http://nlp.ist.i.kyoto-u.ac.
jp/index.php?BERT 日本語 Pretrained モデル)
7：Keras(https://keras.io/) 上の実装を用いた．

表 4 ウェブページタイトルのインパクト判定用訓練・評価データセット(a) 作業者 A

ドラマタイトル(b) 作業者 B

インパクトあり インパクトなし 合計

ドラマタイトル

インパクトあり インパクトなし 合計「リーガル V」

325

678 1,003「リーガル V」

260

743 1,003「下町ロケット」

229

771 1,000「下町ロケット」

183

817 1,000

「大恋愛」

275

729 1,004

「大恋愛」

190

814 1,004「僕らは奇跡でできている」

204

812 1,016「僕らは奇跡でできている」

128

888 1,016

表 5 「ドラマ名・主要な俳優・ロケ地・視聴率・評価表現」の組合せにおける「インパクトあり」の割合 (対象ドラマ:「下町ロケット」
作業者 A

特徴

1,000 ページに対する「インパクトあり」

出現頻度:

の割合

インパクト (あり/なし)
ドラマ名・視聴率・

作業者 B

1,000 ページに対する「インパクトあり」

出現頻度:

の割合

インパクト (あり/なし)

24 / 0100%

23 / 1

96%

ドラマ名・視聴率

21 / 0100%

20 / 1

95%

ドラマ名・ロケ地

17 / 194%

17 / 194%

21 / 872%

13 / 1645%

47 / 7439%

44 / 7736%

23 / 4534%

17 / 51

25%

ドラマ名・主要な俳優

30 / 11621%

16 / 13011%

その他

4 / 2215%

3 / 23

12%

評価表現「ドラマ名・主要な俳優・
ロケ地・ 視聴率・評価表現」のその他の組合せ
ドラマ名・評価表現
ドラマ名・主要な俳優・
評価表現

ドラマ名

42 / 505

8%30 / 5175%

合計

229 / 771

23%

183 / 81718%

表6インパクトがあるタイトル中に含まれる「ドラマ名・主要な俳優・ロケ地・視聴率・評価表
現」の組合せの割合 (対象ドラマ: 「下町ロケット」，作業者 A・作業者 B の内訳の平均値
の降順)
作業者

特徴

A

B

ドラマ名・評価表現

21% 24%

ドラマ名

18% 16%

ドラマ名・視聴率・評価表現

11% 13%

ドラマ名・主要な俳優

13%

9%

ドラマ名・視聴率

9%

11%

ドラマ名・主要な俳優・評価表現

10%

9%

ドラマ名・ロケ地

7%

9%「ドラマ名・主要な俳優・ロケ地・視聴率・評価表現」のその他の組み合わせ

9%

7%

その他

2%

合計

100%

作業者間を交差する本評価においても，図 5 とほぼ同等の結果利用するもの [5]，意見や主張の分析において利用するもの [7]，となった．

イベントの検出において利用するもの [8] 等が挙げられる．一方，本論文では，テレビドラマ視聴者による情報探索過程支援

5 関連研究BERT [3] を用いた関連研究の一例として，レビューの理解や感情の分析において利用するもの [1], [4]，議論の予測においてを目的として，ドラマに関連するウェブページのタイトルのイ
ンパクト判定タスクを設定し，このタスクに BERT を適用しており，先行研究とは問題設定が異なる．また，文献 [6] では，当該ドラマ関連判定および感想判定の 2 つのタスクを設定してお表7

テレビドラマに関連するウェブページのタイトル・内容におけるインパクトの有無の組合
わせ・例 (対象ドラマ: 「下町ロケット」)(a) タイトル・内容のインパクトがある (作業者 A・作業者 B で共通)

タイトル

【2015 年・下町ロケット】佃製作所のロケ地

ウェブ「ドラマ名・主要な俳優・

タイトルの

内容の

ページの

ロケ地・視聴率・インパクトのインパクトの種類評価表現」の組合せ根拠となる文言

根拠

ロケ地「ロケ地」情報を含むため

主要な俳優

原因は土屋太鳳「土屋太鳳は女性アンチが多い」

視聴率

演技が反感買うという意外な事実のため

ドラマ名

ブログ

（社屋）は大田区「桂川精螺製作所」

ロケ地
ドラマ名

『下町ロケット』視聴率苦戦、
非ブログ

原因は土屋太鳳か…多い女性アンチ、演技が反感買う

評価表現(b) タイトルのインパクトがある・内容のインパクトがない (作業者 A・作業者 B で共通)

タイトル

『下町ロケット (2018)』2 話感想

ウェブ「ドラマ名・主要な俳優・

タイトルの

内容の

ページの

ロケ地・視聴率・インパクトのインパクトが種類評価表現」の組合せ根拠となる文言ない理由

軽部がちょっと

他人の感想が羅列して好きになってあるだけで，まとまった

きた w

意見が存在しないため

ドラマ名「下町ボブスレー」「下町ボブスレー」が視聴率騒動のせいで下町ロケットに

評価表現

白けてる？

関係ないため

ドラマ名

ブログ

軽部がちょっと好きになってきた w

評価表現『下町ロケット』高視聴率も「下町ボブスレー」
非ブログ

騒動のせいで白けてる？
「下町の技術力」という幻想？

(c) タイトルのインパクトがない・内容のインパクトがある (作業者 A，または，作業者 B のみ)

タイトル

ウェブ

「ドラマ名・主要な俳優・

タイトルの

内容の

ページの

ロケ地・視聴率・インパクトがインパクトの種類評価表現」の組合せ

ない理由

根拠

なん J PRIDE : 落合福嗣くん、

プロ野球中日の元監督・ブログ

下町ロケットで俳優

ドラマ名

タイトル全体落合博満氏（６４）の長男

デビュー wtwtwtwtwtwtwuwtwtw

であり，俳優デビューしたため
作品中に仮面ライダーシリーズの島津は仮面ライダーに部屋を守られている？

非ブログ

その他

キャラクター名や俳優が多数

タイトル全体存在しているのが，意外であるため(d) タイトル・内容のインパクトがない (作業者 A・作業者 B で共通)

タイトル

【見逃し配信】『下町ロケット』

1 話動画ネタバレ感想と無料視聴する方法
日曜劇場「下町ロケット」
ヤタガラス 4 色ボールペン 通販

ウェブ「ドラマ名・主要な俳優・

タイトルの

内容の

ページの

ロケ地・視聴率・インパクトがインパクトが種類評価表現」の組合せ

ない理由

ない理由
見逃し配信サービスを

ブログ

ドラマ名

見逃し配信

紹介するサイトであり，中身がないためボールペンを販売する

非ブログ

り，本論文のタスクとは異なる．

ドラマ名

通販

EC サイトのであり，中身がないため分散表現を用いた双方向 LSTM を適用し，ウェブページタイト
ルのインパクト判定が一定の性能で実現できることを示した．

6 おわりに
文献 [6] の結果をふまえて，本論文では，文献 [6] で訓練・評価対象としたウェブページ群の内容のインパクトの有無について分析を行った結果を述べるとともに，インパクト有無の自動判定手法を提案し評価を行った結果について述べた．具体的には，本論文では，ドラマ名をクエリとしたサジェストによって収集したブログ・非ブログのウェブページを対象として，ウェ
ブページタイトルのインパクトの有無を判定するタスクを設定した．そして，このタスクに対して，事前訓練済み BERT [3] の文

献[1] S. Chi, H. Luyao, and Q. Xipeng. Utilizing BERT for aspect-based
sentiment analysis via constructing auxiliary sentence. In Proc.
NAACL-HLT, pp. 380–385, 2019.
[2] J. Cohen. A coeﬃcient of agreement for nominal scales. Educationaland Psychological Measurement, Vol. 20, No. 1, pp. 37–46, 1960.
[3] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova. BERT: Pretraining of deep bidirectional transformers for language understanding. In Proc. NAACL-HLT, pp. 4171–4186, 2019.
[4] X. Hu, L. Bing, S. Lei, and Y. Philip. BERT post-training for review reading comprehension and aspect-based sentiment analysis. In
Proc. NAACL-HLT, pp. 2324–2335, 2019.

図4

インパクト判定モデル(a) 作業者 A(b) 作業者 B

図 5 ウェブページタイトルのインパクト判定の評価結果[5] H. Jack and L. Lillian. Something’s brewing! early prediction ofcontroversy-causing posts from discussion features. In Proc. NAACLHLT, pp. 1648–1659, 2019.
[6] K. Kawaguchi, R. Kubo, T. Fujita, T. Maeda, T. Utsuro,
A. Kobayashi, H. Nishizaki, and Y. Kawada. BERT based Web mining of concerns and reviews for TV drama audience. In Proc. WIWorkshops, pp. 64–71, 2019.
[7] C. Sihao, K. Daniel, Y. Wenpeng, C. Chris, and R. Dan. Seeing thingsfrom a diﬀerent angle:discovering diverse perspectives about claims.
In Proc. NAACL-HLT, pp. 542–557, 2019.
[8] W. Xiaozhi, H. Xu, L. Zhiyuan, S. Maosong, and L. Peng. Adversarial training for weakly supervised event detection. In Proc. NAACLHLT, pp. 998–1008, 2019.