DEIM Forum 2023 4a-6-1

YouTube コメントを用いた動画の感情推定
ルールベース及び BERT の精度比較
菅野 祐希†

坂野 遼平††† 工学院大学情報学部情報通信工学科 〒 192–0015 東京都八王子市中野町 2655–1†† 工学院大学大学院工学研究科情報学専攻 〒 192–0015 東京都八王子市中野町 2665–1
E-mail: †j019103@ns.kogakuin.ac.jp, ††banno@cc.kogakuin.ac.jp
あらまし YouTube は多くの人が閲覧する動画共有サイトである．動画から得られる感情が分かればユーザビリティの向上に活用できる．本研究では，YouTube の動画コメントから BERT とルールベースの 2 つの手法を用いて動画の感情推定を行う方法を提案する．動画 350 本のコメントを利用しファインチューニングを行った BERT を利用し，コメントの感情を推定するモデルを実装した．ルールベースでは日本語感情表現辞書を利用して感情値を算出した．
評価用データとして 100 名にアンケートを取り，感情値を取得した．コサイン類似度を用いた評価の結果，BERT はルールベースよりも高い精度で感情推定を行うことが出来た．
キーワード テキスト分類, 可視化・データ分類・クラスタリング, マルチメディア提案する．

1 はじめに近年，スマートフォンの普及は急速に進み，全世帯でのス

2 関連研究マートフォンの普及率が 88.6% (2021 年時点) と高い数値を

堺らの研究 [6] では，YouTube 上の炎上動画を判別する手段示している [1]. メディアとしてもテレビの視聴者率をインターとして動画のコメントを利用することを提案している．ニコ

ネットの利用者率が 2 年連続で上回る結果となっている．このニコ動画 2 での炎上動画の自動検出の技術を YouTube を対象ことからも，インターネットが非常に幅広い年代層に普及してとする形で応用したものとなっている．炎上している動画にはいることがわかる．中でも YouTube 1 のアクティブユーザ数はネガティブな言動が多く含まれているという点に着目した考え

2022 年 1 月時点で全世界で 25 億 6200 万人となっている [1]．

方である．動画に付加されているコメントを，感情辞書を用い日本国内でもユーザ数が 7000 万人を突破し，日本でも非常にて-1 から+1 までの範囲で感情数値を付与する．そして，その人気の動画共有サービスである [2]．YouTube 上には 2016 年

数値からコメント全体のポジティブ・ネガティブの値を判別しの時点で 20 億本の動画が存在しているという調査結果が存在ている．また，Word2Vec に代表される単語の分散表現を取得している [3]．3500 億円の経済効果や 10 万人相当の雇用を生みする手法を利用することも提案している．

出したという調査結果も存在する [4]．

中澤らの研究 [7] では，BERT による感情推定の手法とその動画というメディアが人に与える影響は大きく，動画が感情有効性について精度を確かめている．Wikipedia を利用して学を動かすのに適したメディアであることは Gross ら [5] によっ習を行った BERT モデルを利用している．読売新聞のニューて説明されている．YouTube 上に「笑える動画」「泣ける動画」

スを短文に分けたものを Google Forms で 7 段階の尺度でポジなどのコンテンツも存在していることからも，YouTube 上のティブ・ネガティブを評価させ，500 個の正解ラベル付きの教師動画を感情を動かすためのツールとして利用しているユーザがデータを取得している．これらを用いてファインチューニング存在することがわかる．

を行った BERT のモデルを利用して感情の値を判定している．

本研究では動画から得られる感情について着目する．動画か比較として，構文解析を用いた感情値判定と形態素解析によるら得られる感情を取得出来れば，関連動画の精度の向上などの動詞および修飾部の極性値による感情極性推定を行っている．

ユーザビリティの向上やビジネス，マーケティングへの活用などに利用することが出来る．しかし，動画のサムネイルやタイトルから感情を得ることは難しい．多くのユーザからの感想や意見から一般性の高い印象を取得し，利用することが出来れば客観的な印象を取得できると考え，動画のコメントを利用する．

YouTube の動画のコメントから BERT およびルールベースの2 つの自然言語処理の手法を用い動画の感情推定を行う手法を
1：https://www.youtube.com

3 提案手法本 提 案 手 法 で は ，感 情 を 日 本 語 感 情 表 現 辞 書 (JIWC-Dictionary) [9] に基づき，「悲しい」「不安」「怒り」「嫌悪感」「信頼感」「驚き」「楽しい」の 7 つに分類する．感情値は 7 次元のベクトルとして算出する．提案手法の全体図を図 1 に示す．

2：https://www.nicovideo.jp

クラウドソーシングを利用し 100 名にアンケートを行った．3
つの動画は異なる感情を与えると予想したものを選定した．

•動画 1: 【衝撃】火山にゴミを捨てて処理する場合に起こること (VIENCE バイエンス) 4•

動画 2: back number - 手紙 (full) 5•

動画 3: 貫禄ありすぎて、父親と間違われる引きこもり

生徒【ジェラードン】6
クラウドソーシングを用いて 100 名にアンケートを行った．
推定用動画 3 本から得られる 7 種類の感情について，得た感情
図1

提案手法概要の強さを 0 から 4 の 5 段階で評価してもらった．数値の平均を評価用データとした．

3. 1 コメントデータの収集

4. 1. 2 BERT のファインチューニング及び感情推定
3batchsize を 32，epoch 数を 10，先頭から 256 トークンを取を利用し，動画からコメントデータを取得している．クラウド

得した各感情 50 件の動画コメントでファインチューニングをソーシングを利用し，50 人から 7 つの感情を与える動画を 1 本行った BERT モデルを実装し，分類を行った．学習用のデータずつ収集し，動画 350 本分の動画 ID を収集する．動画 ID をを 80%，検証用のデータを 10%，テスト用のデータを 10%と利用することで，YouTube Data API から任意の件数のコメンした．ファインチューニングごとにモデルのパラメータが変化

トを取得することが出来る．BERT の入力可能なトークン数にするため，平均的な結果を算出するためにファインチューニン

本研究では，Google 社の提供する YouTube Data API v3

上限が存在するため，各動画から 100 件ずつ，各感情 500 件，グを 10 回行った．ファインチューニングごとに推定用の動画

合計 3500 件のコメントを収集した．テキストをルールベース，の感情値を推定し，10 回分の推定結果を平均したものを最終的BERT で処理しやすいように前処理として数字，記号，UR Ｌ，な BERT の感情値とした．

顔文字等の除去を行う．

4. 1. 3 ルールベースによる感情推定
前処理を行った推定用のコメントを入力とした．分かち書き

3. 2 BERTを行ったコメントと日本語感情表現辞書内の語彙を比較し，一本研究では，BERT の事前学習に東北大学乾研究室の提供し致した場合日本語感情表現辞書内に設定されている感情値をコている事前学習済みモデル [8] を利用している．学習用のテキメントの感情値として加算した．最終的な感情値の合計をルーストが入っているファイルと同名のカテゴリリストを作成し，ルベースの感情値とした．

カテゴリリストと同名のファイルからカテゴリリストと同名の感情名が先頭に表記されているファイルを読み込み，ファイン

4. 2 実 験 結 果

チューニングを行う．ファインチューニングを行った後，推定感情ベクトル比較のために，算出された感情ベクトルを単位を行うためのテキストファイルを入力することによって，7 つベクトルに変換した．算出された感情ベクトルの成分を動画ごの感情値を算出し表示を行う．

3. 3 ルールベース
日本語感情表現辞書を利用する．辞書には単語と対応する 7とに表 1 から表 3 に，評価用データと BERT，ルールベースの算出した感情値のコサイン類似度を表 4 に示す．

4. 3 考察

次元の感情ベクトルが付加されている．前処理を行ったコメン

全ての動画で BERT がルールベースより高いスコアを算出

トを Janome を利用し分かち書きする．分かち書きされたコメした．ルールベースでは感情表現に用いない単語にも感情値がントを入力として，日本語感情表現辞書内の単語と一致する単設定されているため，算出される感情値が評価用データと離れ語を探索する．辞書内の単語と一致した場合，単語に付加されると考えられる．また，嫌悪感と信頼の値が高く評価用のデーている 7 次元の感情ベクトルを足す．コメント内の形態素全てタと離れた結果となっている．辞書に登録された全ての感情値に同様の処理を繰り返し，最終的に算出された感情ベクトルをを合計した結果嫌悪感が最も高く，信頼も高い．そのため嫌悪動画の感情値として算出する．

感と信頼が高い値を持っていると考えられる．

4 評

ごとのコメントの傾向を学習し，ルールベースよりも評価用

BERT による推定では，ファインチューニングによって感情価

4. 1 実 験 方 法
4. 1. 1 評価用データ

データと近いスコアを算出できたと考えられる．BERT による感情値の算出では，ほとんどの感情が最も強い感情の半分程度の数値を出力しているのに対し，評価用データでは動画か感情推定の精度を検証する際に，以下の 3 つの動画について
4：https://youtu.be/uJBHO2NXvxQ
5：https://youtu.be/woRV5VxJDkU
3：https://developers.google.com/youtube/v3

6：https://youtu.be/OtJvFyqqeo0

表1

算出された感情ベクトルの単位ベクトル (動画 1)

手法

悲しさ

不安

怒り

嫌悪感

信頼

評価用

0.1487 0.2588 0.1197 0.1352 0.5465 0.6083 0.4577

BERT

0.2613 0.4541 0.3655 0.3971 0.5164 0.3850 0.1392

ルールベース 0.2013 0.4317 0.3962 0.4930 0.4282
表2

楽しさ

0.3047 0.3053

算出された感情ベクトルの単位ベクトル (動画 2)

手法

悲しさ

不安

怒り

嫌悪感

信頼

評価用

0.7051 0.0673 0.0972 0.0747 0.4709 0.2791 0.4285

BERT

0.6312 0.3186 0.3508 0.3593 0.2430 0.2957 0.3184

ルールベース 0.2657 0.3129 0.3492 0.4296 0.5336
表3

驚き

楽しさ

0.2827 0.4004

算出された感情ベクトルの単位ベクトル (動画 3)

手法

悲しさ

評価用

0.0621 0.1002 0.1623 0.1599 0.2458 0.5489 0.7566

不安

怒り

嫌悪感

信頼

BERT

0.2308 0.2597 0.4037 0.3822 0.2633 0.3532 0.6133

ルールベース 0.2193 0.2871 0.3797 0.4466 0.5344

表4

評価用データとの類似度

動画

BERT ルールベース

動画 1

0.83640.8189動画 2

0.86380.7812

動画 3

0.89290.7687

ら感じられない感情が最も強い感情の 20%程度となっている．

[4]

[5]

YouTube 全体に共通する特有のコメントの傾向によって，動画から感じられない感情に対しても感情推定の値が高くなると[6]考えられる．
[7]

5 おわりに
本研究では動画が人に与える感情の予測を行うために，YouTube 動画が視聴者に与える感情の取得を目的とした BERT

[8]による手法を提案し，ルールベースと精度の比較を行った．

350 本の動画からコメントを取得し，BERT をファインチューニングしマルチラベル分類器を作成した．作成した分類器を用いて推定を行うコメントを入力し，7 次元の感情ベクトルを出力した．ルールベースでは日本語感情表現辞書を用い，形態素に分解した推定用のコメントから感情ベクトルを出力した．

BERT による感情推定はルールベースよりも高いスコアを算出した．より多くの動画コメントによるファインチューニングや，入力トークン数の増加による精度の向上が見込める．
今後の課題として，学習用のコメント数の増加やファインチューニング時のパラメータの変更による精度工場の検討や，BERT 以外の言語処理方法による精度の検証なども行いたい．

文驚き

献[1] 総務省, “令和 4 年版情報通信白書”, 2022 年 7 月 発行)[2] Think with Google, “YouTube が人気な理由とは”, https://ww w.thinkwithgoogle.com/intl/ja-jp/marketing-strategies/
vid eo/youtube-recap2022-1/, (accessed Dec. 20, 2022)[3] BARRON’s, Tiernan Ray, “YouTube s 2 Billion Videos,
197M Hours Make it an Immense Force, Says Bernstein”, https://www.barrons.com/articles/youtubes-2-billio

[9]

驚き楽しさ

0.3139 0.3765

n-videos-197m-hours-make-it-an-immense-force-says-berns
tein-1462978280, (accessed Jan. 8, 2023)
Oxford Economics, YouTube, “YouTube Impact Report
2021 年 日 本 に お け る YouTube の 経 済 的・社 会 的・文化 的 影 響”, https://www.oxfordeconomics.com/resource/aplatform-for-japane se-opportunity-assessing-the-economicsocietal-and-cultura l-impact-of-youtube-in-japan-in-2021jp/, (accessed Jan. 4, 2023)
Robert W.Levenson and , J.Gross, “Emotion Elicitation Using Films.”, IN COGNITION AND EMOTION, pp. 87–108,1995.
堺雄之介, 竹内幹太, 伊東栄典, “コメントを利用した炎上動画検出に関する検討”, 情報処理学系研究報告 Vol.2021-ICS-203
No.9(2021)
中澤政孝, 亀井且有, 前田陽一郎, クーパーエリック, “BERT を用いた短文の感情極性推定手法の提案とその有効性”, 第 36 回
ファジィシステムシンポジウム講演論文集 (FSS2020 オンライン), pp. 177–180, 2020.
東 北 大 学 乾 研 究 室, “Pretrained Japanese BERT models released / 日 本 語 BERT モ デ ル 公 開”, https://www.nlp.ecei.tohoku.ac.jp/news-release/3284/, (accessedDec. 28, 2022)
SOCIOCOM Social Computing Laboratory since 2015,“日 本 語 感 情 表 現 辞 書 JIWC-Dictionary”, “https://sociocom.naist.jp/jiwc-dictionary/ (accessed Dec. 12,2022)”