T1-B-3-03

第16回データ工学と情報マネジメントに関するフォーラム

動画に対する否定的コメント・フィルタリングにおける
few-shot 学習の評価
Evaluation of Few-Shot Learningin Filtering Negative Comments posted to Videos
三田寺

聖†

宇津呂武仁††† 筑波大学 理工学群 工学システム学類 〒 305–8577 茨城県つくば市天王台 1-1-1†† 筑波大学 システム情報系 知能機能工学域 〒 305-8573 茨城県つくば市天王台 1-1-1
理化学研究所 革新知能統合研究センター 〒 103-0027 東京都中央区日本橋 1-4-1
あらまし

本論文では，動画に対する否定的コメントに対して，大規模言語モデルを用いたフィルタリングを行う．

大規模言語モデルを用いたコメントフィルタリングにおいては，現在最も性能が優れていると考えられる ChatGPTを用いても，本来肯定的であるはずのコメントを否定的であると判定する過剰フィルタリングが多数発生してしまう．
この過剰フィルタリングは，あらかじめ少数の分類例を提示する few-shot 学習によって減少させることが可能である．本論文では，過剰フィルタリングを減少させることができる効果的な few-shot 学習の手法について検討し，評価を行った．その結果，ChatGPT を用いて内容に即したコメント・クラスターを作成し，これをもとに few-shot 学習の例示コメントを選定することによって，効果的に過剰フィルタリングを減少させることが可能であることが分かった．またこのとき，各クラスターの概要やコメント数を参考にして例示コメントを選定する最適手法を示す．
キーワード LLM，テキスト分類，極性分類，動画コメント
few-shot 学習の際に用いる例示コメントは再予測対象コメン

1 はじめにトの中から数例を選定し，人手で分類を付与する．この際選定

YouTube 等の動画サイトには，日々多種多様な動画がアップロードされており，これらの動画には視聴者から多くのコメントが寄せられている (例: 図 1)．その一部には動画の内容や出演者に対する否定的なコメントも散見され，投稿者や視聴者にとって不都合となることも多くある．本論文は，このような動画に対する否定的コメントに対して，大規模言語モデルを用いたフィルタリングを行うことを目的とする．

する例示用コメントは，類似するコメントが多数存在し，かつ肯定的である可能性の高いコメントである方がよい．そこで，

ChatGPT でコメントのクラスタリングを行い，コメント数の多いクラスター内から最も肯定的であるコメントを選定することで，予測結果の改善により効果的な例示を実現する．

2 関連研究

本論文では，否定的コメントをフィルタリングするモデルとし感情分析タスクの代表的な手法として，評価表現辞書を用いて ChatGPT 1 を用いる．ChatGPT は，現在最も性能が優れてた手法が考えられる．これは，個々の単語や表現に対して，あいると考えられる大規模言語モデルである．しかし，ChatGPT

らかじめ肯定的・否定的の度合いを表す評価値を付与しておき，を用いて否定的コメントをフィルタリングしても，動画内の文

この値をもとにして文章全体の感情分析を行うという手法であ脈を読み取ることができずに，人間の感覚による分類と異なる

る．評価値を決定する辞書の作成手法については様々な研究が誤フィルタリングが発生してしまう．この誤フィルタリングは，行われているが，その代表例として，共起情報を利用した手法

ChatGPT に対して few-shot 学習を行うことによって，改善すに関する研究 [17] が挙げられる．この研究では，代表的な肯定ることが可能である．

単語として “excellent”，代表的な否定単語として “poor” を設

動画に対する否定的コメントのフィルタリングタスクにおい定し，それぞれの単語との共起しやすさをもとに，各単語の評て，誤フィルタリングのうち大部分を占めるのが，本来肯定的価値を決定している．しかしながらこの手法は，一文中に肯定であるはずのコメントを否定的であると判定する過剰フィル

的・否定的な要素が混在する場合や，未知語に弱いといった欠タリングである．そこで本論文では，一度 ChatGPT を用いて点が存在する．

zero-shot 学習によるフィルタリングを行い，否定的であると一方で近年では，感情分析タスクには ChatGPT をはじめと予測されたコメントのみを対象とし，few-shot 学習によって再する様々な大規模言語モデルが用いられている．感情分析に大予測を行う．

規模言語モデルを用いた本論文の関連研究として，様々な感情分析タスクにおける複数の大規模言語モデルの性能を評価

1：https://chat.openai.com- T1-B-3-03 -T1-B-3-03

第16回データ工学と情報マネジメントに関するフォーラム

図1

適合率 (肯定的) =再現率 (肯定的) =
適合率 (否定的) =再現率 (否定的) =分類精度 =

動画に寄せられるコメントの例「予測 = 肯定的」の集合 ∩「参照 = 肯定的」の集合「予測 = 肯定的」の集合「予測 = 肯定的」の集合 ∩「参照 = 肯定的」の集合「参照 = 肯定的」の集合「予測 = 否定的」の集合 ∩「参照 = 否定的」の集合「予測 = 否定的」の集合「予測 = 否定的」の集合 ∩「参照 = 否定的」の集合「参照 = 否定的」の集合「予測 = 肯定的」の集合 ∩「参照 = 肯定的」の集合 + 「予測 = 否定的」の集合 ∩「参照 = 否定的」の集合「参照 = 肯定的」の集合 + 「参照 = 否定的」の集合
図2

評価尺度として用いる適合率・再現率・分類精度の定義

した研究 [19] が存在する．この研究では gpt-3.5-turbo [8]，選定する．次に，ここで選定したテキストをもとに，大規模言

text-davinci-003 [8]，Flan-T5 [2]，Flan-UL2 [15] の 4 つの語モデルを用いて手がかりとなるキーワードや推論の過程を出大規模言語モデルが比較されており，いずれのタスクでも力し，few-shot 学習に用いるプロンプトを作成する．これを用

gpt-3.5-turbo，Flan-UL2 の 2 つのモデルで特に高い精度がいて感情分析やカテゴリ分類を行うことにより，大幅な精度向見られた．また，Instruction Tuning を行い一般目的の大規模上を達成している．この研究では，あらかじめ分類ラベルが付

言語モデルを金融感情分析に適応させ，金融感情分析の精度を与されたデータセットの中から，適切な例示コメントの選定を向上した研究 [18] も関連研究として挙げられる．

行っているのに対して，本研究では分類対象とするコメント群

プロンプトを活用して感情分析の精度向上を行った関連研究としては，プロンプトに背景情報を追加した際のヘイトスピーの中から例示コメントを選定し，その場で分類ラベルの付与を行っている，という点が相違点となっている．

チ検出の精度を，複数の大規模言語モデルで評価した研究 [9]近年では，動画コメントを活用し様々なタスクを解く研究が，が挙げられる．この研究では比較対象となる大規模言語モデ複数行われている．動画コメントを感情分析に用いた関連研ルとして gpt-3.5-turbo，text-davinci-003，Flan-T5 の 3究として，動画コメントを数値ベクトルに変換し，機械学習につが用いられ，プロンプトやデータセットによってその精度によって炎上動画の検出を行った研究 [10] が存在する．この研究違いが見られた．また，段階的なプロンプトによって，言外のでは，収集した動画コメントデータを用いてモデルの学習を一

感情の分析精度を向上した研究 [3] や，感情の推論と推論結果から行い，分類器を作成することで，炎上動画の分類を試みての信頼性評価を 2 種類のモデルで二重に行い，感情分析の精度いる．また，ルールベースや BERT，gpt-3.5-turbo など様々を向上した研究 [14] なども存在している．一方，本論文では，な手法で動画コメントから感情推定を行い，各手法の精度を比

few-shot 学習に用いる例示コメントの選定に焦点を当て，例示較した研究 [4] [5] も存在する．この研究では感情を 7 つに分類

コメントの選定にも大規模言語モデルを活用している点が，上して感情値を 7 次元ベクトルとして表し，各手法によって推定記の研究と異なる点である．

された動画ごとの感情値を，人手で付与した感情値と比較する

few-shot 学習に用いる例示テキストの選定に関する研究とことによって，各手法の精度を測っている．この他に，楽曲動しては，データセットから適切な例示コメントの選定を行い，画に寄せられたコメントから歌声の印象を分類した研究 [1] や，

大規模言語モデルを用いてプロンプトの生成を行った研究 [13]動画コメントを含む動画のメタデータから動画の再生回数予測が存在する．この研究ではまず，kNN 検索や，ﬁne-tuning にを行った研究 [6]，動画コメントをもとに動画の評価項目ごとの

よってテキスト分類タスクに特化させたモデルを用いて，入力

スコアを算出することで，タイトルや説明文に表れない動画のテキストに対して最適となる例示テキストをデータセットから特徴をユーザーに提示し，検索を可能にした研究 [16] [11] [12]- T1-B-3-03 -T1-B-3-03

第16回データ工学と情報マネジメントに関するフォーラムなども存在し，動画コメントは動画内容の分析を行うタスクにるフィルタリング時に否定的であると予測されたコメントに限おいて幅広く活用されている．

定して再度フィルタリングを行うことによって，フィルタリン
グ精度の改善を目指す．

3 動画およびコメントのデータセット

4. 2 否定判定コメントに対する few-shot 学習での再予測

本 論 文 で は ，YouTube が 提 供 す る Data API を 用 い ，

few-shot 学習によるフィルタリングでは， 4. 1 節で行った

YouTube 上の複数の動画から動画データ，およびコメント

zero-shot 学習によるフィルタリングにおいて否定的であるとデータの収集を行った．対象とする動画は，コメント内容の多予測されたコメントのみを対象とし，フィルタリングを行う．

様性を確保し，なおかつ分析コストが大きくなりすぎないよう

手順としてはまず，フィルタリング対象のコメントの中から数に，収集時点でのコメント数が 300 件以上，1 万件以下である

例のコメントを選定する．本研究では 10 コメントを例示コメ

動画に限定した．また，動画内容の多様性を確保するため，動ントとして選定する．次にこれらのコメントを目視で判定し，画投稿者によって設定された動画カテゴリが偏ることのないよ

肯定的・否定的のいずれかのラベルを適切に付与する．これをうに，動画の収集を行った．結果として 248 動画からコメント

例示として用いて few-shot 学習を行い，再度分類した結果をを収集した．

出力させる．入出力の流れ，および再予測結果の具体例を図 4

2

次に，動画コメントを 1 つずつ目視し，コメントの内容が肯に示す．

定的・否定的のいずれであるかの分類を，各コメントに対して

few-shot 学習によるフィルタリングによる再予測の結果，過人手で付与した．ここで付与した人手分類を参照データとする

剰にフィルタリングされるコメントが減少し，否定的コメント

ことで，評価に用いるコメントデータセットを作成した．

の再現率を大きく下げることなく，肯定的コメントの再現率を

本論文ではこのデータセットの中から，動画カテゴリ，全コ

大きく改善することができる．しかし，これは例示コメントとメントにおける否定的コメントの割合等を考慮し，表 1 に示す

して適切なコメントを人手で適切に選定したときの結果であり，

9 動画に対して評価を行った．

実際には多数のコメントの中から自動で適切な例示コメントを選定することが必要である．ここで，全 n 個のコメントから 10

4 ChatGPT を用いたコメントのフィルタリング
本節では，ChatGPT を用いてコメントをフィルタリングする手法，およびその性能について述べる．なお，本研究ではGPT-4 シリーズ [7] のモデルである gpt-4-1106-preview を利用する． 4. 1 節では，例示を行わずに zero-shot 学習でフィルタリングを行う手順とその性能について述べる． 4. 2 節では， 4. 1 節で行った zero-shot 学習によるフィルタリングの結果をもとに，例示を用いた few-shot 学習によってフィルタリ
ング精度を向上させる方法について述べる．

個の例示コメントを選定するパターン数は n C10 となる．本論文で評価を行った 9 動画では，表 1 に示すように，例示コメン
トを選定する対象となる “予測-否定的” コメントが最小でも 95件存在する．そのため，例示コメントを選定するパターン数は最小でも 95 C10 = 1.01 × 1013 となり，非常に大きくなってし
まう．次節ではこれらのパターンの中から，フィルタリングをできるだけ多く改善させるために適切な例示コメントの選定手法について，検討を行う．

5 ChatGPT による例示コメントの選定

4. 1 zero-shot 学習によるフィルタリング
zero-shot 学習によるフィルタリングでは， 3 節で収集したコ
メントを用い，動画ごとにフィルタリングを行う．ChatGPTにコメントを 1 つずつ入力して感情分析を行い，肯定的・否定的のいずれかに分類した結果を出力させる．あらかじめ人手で付与した参照分類と出力結果が一致した場合正答，そうでない場合誤答とする．入出力の流れ，および予測結果の具体例を
図 3 に示す．図 3 において評価尺度として用いた適合率，再現率，分類精度の定義を図 2 に示す．

zero-shot 学習によるフィルタリングによる予測結果では，肯定的であると予測されたコメントの適合率が高い一方で，否定的であると予測されたコメントの適合率が低くなる傾向にある．
これは，ChatGPT を用いた zero-shot 学習によるフィルタリ

few-shot 学習によるフィルタリングで否定判定コメントの再予測を行う際，適切な例示コメントの条件として，「類似するコ
メントが多数存在する」ことが挙げられる．本節では，この条件について述べるとともに，条件を満たすような例示用コメン
トを，ChatGPT を用いて適切に選定するための手法について提案し，評価する． 5. 1 節では，類似するコメントが多数存在するコメントを選定する手法として，ChatGPT を用いた類似
コメントのクラスタリングについて述べる． 5. 2 節では， 5. 1
節で作成したコメント・クラスターをもとに，各クラスターから最適な例示コメントを選定する手法について述べる． 5. 3 節
では，提案手法について，実際に評価を行った結果を記述する．

5. 1 コメントのクラスタリング

ングでは，本来肯定的であるコメントを過剰にフィルタリング

few-shot 学習による再予測では，例示コメントの内容を参考してしまい，否定的であると予測されたコメントに誤分類が多に再予測が行われるため，例示コメントと類似したコメントのいことが原因である．そこで次に，対象を zero-shot 学習によフィルタリング結果が多く改善する．そのため，例示コメント
でより多くの予測結果を改善するためには，類似するコメント

2：https://developers.google.com/youtube/v3

が多数存在するコメントを選定することが必要である．

- T1-B-3-03 -T1-B-3-03

第16回データ工学と情報マネジメントに関するフォーラム

表1

評価を行った動画
コメント数

動画番号

動画タイトル

人手分類結果

動画カテゴリ

全体(参照データ)肯定的

動画 1【応援ありがとう】栗山監督が最後に

zero-shot 学習結果
(予測データ)

否定的

肯定的

否定的

Sports

406

370

36

311

95

Film & Animation

372

323

49

233

139

Gaming

359

348

11

241

118

Travel & Events

379

342

37

223

156

Autos & Vehicles

313

213

100

130

183

News & Politics

463

361

102

197

266

Gaming

409

408

1

304

105

Music

423

419

4

292

131

選手たちに贈ったメッセージ
映画『アバター：ウェイ・オブ・ウォーター』

動画 2

本予告編【異次元の

没入型

映像体験】

12 月 16 日（金）劇場公開
動画 3
動画 4

【４人】間違いなく仲間に疑われる
おもしろボードゲーム【お邪魔者】【衝撃】九州→四国を最短で結ぶ””隠されたルート””で移動してみた！
新型クラウンは今までと別モノ?! 土屋圭市が動画 5試乗して驚愕！ 沢すみれも感激！
工藤貴宏が徹底解説「コミケのために日本に来た」世界が注目の動画 6

コミケの世界ツボにはまる!?

コミケの意外な楽しみ方【N スタ解説】｜ TBS NEWS DIG【神速】誰も追いつけない イカ速 3.9

動画 7

スパッタリーヒューがチートすぎるんだがｗｗｗｗ【スプラトゥーン 3】
動画 8
動画 9
平均

「Re:Unknown X」を弾いてみた【東方ダンマクカグラ】
ペンギンの赤ちゃんの反抗期

Pets & Animals

361

340

21

265

96

—

387.2

347.1

40.1

244.0

143.2

—

類似コメントが多数存在するコメントを選定するための手法

トを全て ChatGPT に入力し，あらかじめ決められた基準にしとして，ChatGPT を用いたコメントのクラスタリングを行う．

たがって，各クラスターから例示コメントを選定し出力する．

これは，同じクラスターに分類されるコメントは類似性が高く，入出力の具体的な流れの例を，図 6 に示す．

各クラスターに分類されたコメントの数が，類似コメントの多

ここで重要となるのが，各クラスターからどのような基準にさを表す指標となるためである．例示コメントの選定対象となしたがって例示コメントを選定するか，という点である．本研るコメントを ChatGPT に一度に全て入力し，クラスタリング

究では，例示コメントを選定する手法として，以下の 2 つの要を行うと，クラスターが細分化されてしまい，類似コメント数

素を考える．

を見るのに適切なクラスタリングが行われない．そのため，以

1 つ目の要素は，1 クラスターあたりの選定コメント数のよ下の手順でクラスタリングを行う．まず，例示コメントを選定

うに設定するかという点である．例示コメント数を一定としたする対象となる，zero-shot 学習によるフィルタリングにおいて場合，1 クラスターあたりの選定コメント数を少なくすること否定的であると予測されたコメントを，全て ChatGPT に入力

で，多くのクラスターからコメントを例示することが可能となし，コメント内容をもとに分類を行った際の各分類の概要を出る．一方で，1 クラスターあたりの例示コメント数が少ないと，力させる．次に，出力された概要を各クラスターの項目名とし

規模の大きいクラスターの特徴をとらえきることが難しい可能て，それぞれのコメントがどのクラスターに分類されるのか出性も考えられる．本研究では， 4. 2 節で述べた通り，10 コメン

力を行う．これにより作成されたクラスターをもとに，コメン

トを例示コメントとして選定する．そこで，選定元となるクラト数の多いクラスターから例示コメントを選定することによっスターと例示コメントの数を以下のように設定した，2 つの手て，類似コメントが多数存在するコメントの選定が可能となる．

法について評価を行う．

コメント・クラスタリングを行う際の入出力の具体例を，図 5に示す．

few-shot 学習の例示コメントの選定元クラスター数，
および，選定する例示コメント数

5. 2 コメント・クラスターを利用した例示コメント選定
続いて， 5. 1 節で作成したコメント・クラスターをもとに，

ChatGPT を用いて few-shot 学習に用いる例示コメントの選定•

10 クラスターから 1 コメントずつ選定•

5 クラスターから 2 コメントずつ選定

2 つ目の要素は，few-shot 学習に用いる例示コメントとしを行う．手順としては，1 つのクラスターに分類されたコメン- T1-B-3-03 -T1-B-3-03

第16回データ工学と情報マネジメントに関するフォーラム

図 3 zero-shot 学習によるフィルタリングの様子

表2て，どのようなコメントを選定対象とするかという点である．

各コメント・フィルタリング手法における分類精度 (%)(マクロ平均)

few-shot 学習による再予測の対象となるコメントは全て，予測時点で否定的であると予測されたコメントであるため，正分類(a) zero-shot 学習，および無作為に選定した例示コメントを用いたされた実際に否定的であるコメントよりも，誤分類された本来

few-shot 学習

肯定的であるコメントを例示として用いたほうが，より多くの“予測-否定的”手法

全コメント内zero-shot 学習

72.7

23.9

83.6

57.4

予測結果を改善することができると考えられる．一方で，コメント・クラスターには，分類されるコメントの主な内容が否定

few-shot 学習的であるクラスターも存在するため，各クラスターにおける肯(無作為 5 回の平均値)

コメント内

定的なコメントがそのクラスターの特徴を適切に表しているとは限らない．そこで，各クラスターから選定する例示コメント(b) コメント・クラスターをもとに選定した例示コメントを用いた few-shot 学習として，以下の 2 つの手法を考え，評価を行う．

全コメント内

肯定的コメント

代表コメント“予測-否定的” コメント内

を選定

を選定

10 クラスターから

82.1

83.4
56.6

選定対象とする few-shot 学習の例示コメント•

肯定的コメントを選定

1 コメントずつ選定

52.6

•

代表コメントを選定

5 クラスターから

83.8

83.3

2 コメントずつ選定

58.1

58.6

5. 3 評 価 結 果
5. 2 節で示した 2 つの要素を組み合わせ，計 4 手法に対して評価を行う．評価結果を表 2，および，表 3 に示す．ここでは，

zero-shot 学習時に否定的であると予測されたコメントを，「“予

測-否定的” コメント」と定義する．これは，few-shot 学習による再予測の対象となるコメントである．また，ero-shot 学習時- T1-B-3-03 -T1-B-3-03

第16回データ工学と情報マネジメントに関するフォーラム

図4

否定判定コメントに対する few-shot 学習での再予測に肯定的であると予測されたコメントを「“予測-否定的” コメ

した結果を表 2(b) に示す．さらに，評価を行った 9 動画それント」に加えた，1 動画における全てのコメントを，「全コメぞれの評価結果を表 3 に示す．なお，肯定的コメントを選定すント」と定義する．本論文では，これら 2 種類のコメント集合る手法と代表コメントを選定する手法では，選定した 10 コメ

内での分類精度を評価の基準とする．評価のベースラインとす

ントのうち，最大で 5 個，平均して 2 個程度のコメントが同一る，zero-shot 学習，および無作為に選んだ 10 コメントを例示のものとなった．

した few-shot 学習の評価結果を表 2(a) に示す．また，4 手法

表 2 より，few-shot 学習によってフィルタリングを行ったとそれぞれにおいて 2 種類のコメント集合内での分類精度を算出

きの分類精度は，いずれも zero-shot 学習時の分類精度を大き- T1-B-3-03 -T1-B-3-03

第16回データ工学と情報マネジメントに関するフォーラム

図5

図6

コメントのクラスタリング

コメント・クラスターを利用した例示コメント選定

く上回っており，本論文における few-shot 学習を用いた手法

を行う手法では，肯定的コメントを選定した場合，全コメント

が，コメント・フィルタリングにおいて有効であることが確認

内，“予測-否定的” コメント内のいずれの分類精度の平均値も，された．

無作為に選定したときの分類精度の平均値を上回った．特に，

10 クラスターから 1 コメントずつ選定を行う手法では，few-

全コメント内での分類精度は 83.8%となり，コメント・クラス

shot 学習の例示コメントとして肯定的コメント，代表的コメン

ターを用いた例示コメント選定手法 4 つの中で，最も高い結果

トのいずれを選定した場合でも，正解率のマクロ平均値が無作となった．また，5 クラスターから 2 コメントずつ，代表コメ為に選定した 10 コメントを例示した際を下回った．特に，肯ントを選定する手法においては，全コメント内の分類精度は無定的コメントを例示した場合では，無作為に選定した 10 コメ

作為選定時を下回ったものの，“予測-否定的” コメント内の分ントを例示した際の分類精度を上回ったものは 9 動画中 1 動画

類精度は 58.6%と無作為選定時を上回り，4 手法の中で最も高のみであった．一方で，5 クラスターから 2 コメントずつ選定

くなった．

- T1-B-3-03 -T1-B-3-03

第16回データ工学と情報マネジメントに関するフォーラム

表3

各コメント・フィルタリング手法における動画ごとの分類精度 (%)

few-shot 学習
全コメント内“予測-否定的” コメント内

動画 1

動画 2

動画 3

動画 4

動画 5

動画 6

動画 7

動画 8

動画 9

zero-shot 学習

コメント・クラスターをもとに選定

無作為に選定肯定的コメント

代表コメントを選定を選定

10 クラスターから

88.9

86.9

(5 回の平均値)

84.0

89.1

1 コメントずつ選定

55.8

47.4

34.7

56.4

5 クラスターから

92.1

92.4

2 コメントずつ選定

69.5

70.5

10 クラスターから

80.9

80.1

75.3

81.6

1 コメントずつ選定

49.6

47.5

34.5

51.5

5 クラスターから

82.0

78.2

2 コメントずつ選定

52.5

42.4

10 クラスターから

86.9

93.0

70.2

88.1

1 コメントずつ選定

60.2

78.8

9.3

63.9

5 クラスターから

90.0

92.5

2 コメントずつ選定

69.5

77.1

10 クラスターから

76.3

73.1

68.1

80.9

1 コメントずつ選定

42.9

35.3

23.1

54.4

5 クラスターから

79.4

76.5

2 コメントずつ選定

50.6

43.6

10 クラスターから

75.1

72.8

71.2

73.1

1 コメントずつ選定

59.6

55.7

53.0

56.2

5 クラスターから

75.1

72.5

2 コメントずつ選定

59.6

55.2

10 クラスターから

73.0

77.8

62.4

74.0

1 コメントずつ選定

54.9

63.2

36.5

56.7

5 クラスターから

72.8

69.3

2 コメントずつ選定

54.5

48.5

10 クラスターから

87.8

93.4

74.6

91.2

1 コメントずつ選定

52.4

74.3

1.0

65.9

5 クラスターから

88.3

91.9

2 コメントずつ選定

54.3

68.6

10 クラスターから

83.9

88.2

70.0

87.1

1 コメントずつ選定

48.1

61.8

3.1

58.3

5 クラスターから

87.0

87.2

2 コメントずつ選定

58.0

58.8
85.0

10 クラスターから

86.1

78.1

87.1

1 コメントずつ選定

50.0

45.8

19.8

53.8

5 クラスターから

87.3

89.5

2 コメントずつ選定

54.2

62.5

以上より，コメント・クラスターを用いた例示コメント選定

グを，few-shot 学習を用いて効果的に行う手法を提案した．

手法においては，1 クラスター当たりの例示コメント数を複数

ChatGPT を用いて一度コメント・フィルタリングを行い，否とした方が，分類精度が高くなることが分かった．これは，1定的であると予測されたコメントをクラスタリングしたのち，つのクラスターに含まれるコメント全体の特徴を，1 コメント

クラスターごとに例示コメントを選定し再予測を行うことで，の例示のみでは表現することが難しかったためであると考えら

フィルタリング精度を大きく向上させることができた．

れる．また，選定対象とするコメントに関しては，肯定的コメ

クラスターごとに例示コメントを選定する手法としては，1ント，代表コメントのいずれであっても，大きな変化は見られつのクラスターから複数のコメントを選定することが効果的でなかった．

あることが分かった．また，選定するコメントは，クラスター
内における肯定的なコメント，代表コメントのいずれであって6 おわりにも，精度向上に大きな差異は見られなかった．

本論文では，動画に対する否定的コメントのフィルタリン

今後の課題としては，さらに多くの動画を用いて few-shot 学- T1-B-3-03 -T1-B-3-03

第16回データ工学と情報マネジメントに関するフォーラム

習に関する評価を行い，各手法における精度の向上と動画の特徴との関係について調査を行いたい．また，例示コメントのより効果的な選定手法についての検討も進めたい．

謝

辞

本研究は科研費 21H00901 の助成を受けたものである

文[17] P. Turney. Thumbs up or thumbs down? semantic orientation applied to unsupervised classiﬁcation of reviews. In
Proc. 40th ACL, pp. 417–424, 2002.
[18] B. Zhang, H. Yang, and X.-Y. Liu. Instruct-ﬁnGPT:
Financial sentiment analysis by instruction tuning ofgeneral-purpose large language models. arXiv preprint
arXiv:2306.12659, 2023.
[19] W. Zhang, Y. Deng, B. Liu, S. J. Pan, and L. Bing. Sentiment analysis in the era of large language models: A reality
check. arXiv preprint arXiv:2305.15005, 2023.

献[1] 陳沢璨, 熊本忠彦. J-POP における楽曲動画コメントを用いた歌声印象軸の構築. 第 16 回 DEIM フォーラム論文集, 2024.
[2] H. W. Chung, L. Hou, S. Longpre, B. Zoph, Y. Tay, W. Fedus, Y. Li, X. Wang, M. Dehghani, S. Brahma, A. Webson, S. S. Gu, Z. Dai, M. Suzgun, X. Chen, A. Chowdhery, A. Castro-Ros, M. Pellat, K. Robinson, D. Valter,
S. Narang, G. Mishra, A. Yu, V. Zhao, Y. Huang, A. Dai,
H. Yu, S. Petrov, E. H. Chi, J. Dean, J. Devlin, A. Roberts,
D. Zhou, Q. V. Le, and J. Wei. Scaling instruction-ﬁnetuned
language models. arXiv preprint arXiv:2210.11416, 2022.
[3] H. Fei, B. Li, Q. Liu, L. Bing, F. Li, and T.-S. Chua. Reasoning implicit sentiment with chain-of-thought prompting.
In Proc. 61st ACL, pp. 1171–1182, 2023.
[4] 菅野祐希, 坂野遼平. YouTube コメントを用いた動画の感情推
定 ルールベース及び BERT の精度比較. 第 15 回 DEIM フォー
ラム論文集, 2023.
[5] 菅野祐希, 坂野遼平. オンライン動画サービスにおける BERT及び GPT-3.5 を用いた視聴者感情の推定. 言語処理学会第 30
回年次大会論文集, pp. 1067–1072, 2024.
[6] 川上大凱, 鈴木優. 動画の属するコミュニティ情報を考慮した動画再生回数予測手法の提案. 第 16 回 DEIM フォーラム論文集,
2024.
[7] OpenAI. GPT-4 technical report, 2023.
[8] L. Ouyang, J. Wu, X. Jiang, D. Almeida, C. Wainwright,
P. Mishkin, C. Zhang, S. Agarwal, K. Slama, A. Ray,
J. Schulman, J. Hilton, F. Kelton, L. Miller, M. Simens,
A. Askell, P. Welinder, P. F. Christiano, J. Leike, and
R. Lowe. Training language models to follow instructions
with human feedback. In Proc. 36th NeurIPS, pp. 27730–
27744, 2022.
[9] S. Roy, A. Harshvardhan, A. Mukherjee, and P. Saha. Probing LLMs for hate speech detection: strengths and vulnerabilities. In Proc. Findings of EMNLP, pp. 6116–6128, 2023.
[10] 堺雄之介, 竹内幹太, 伊東栄典. コメントを利用した炎上動画検出に関する検討. 情報処理学会研究報告, Vol. 2021–ICS–203,
No. 9, pp. 1–5, 2021.
[11] 笹原彰斗, 山口史弥, 上田真由美, 中島伸介. 直観的動画検索シ
ステムにおける評価項目別スコアリングの精度向上. 第 15 回
DEIM フォーラム論文集, 2023.
[12] 笹原彰斗, 山口史弥, 上田真由美, 中島伸介. 直感的動画検索における単語分散表現を用いた評価項目別スコアリング手法. 第 16
回 DEIM フォーラム論文集, 2024.
[13] X. Sun, X. Li, J. Li, F. Wu, S. Guo, T. Zhang, and G. Wang.
Text classiﬁcation via large language models. In Proc. Findings of EMNLP, pp. 8990–9005, 2023.
[14] X. Sun, X. Li, S. Zhang, S. Wang, F. Wu, J. Li, T. Zhang,and G. Wang. Sentiment analysis through LLM negotiations. arXiv preprint arXiv:2311.01876, 2023.
[15] Y. Tay, M. Dehghani, V. Q. Tran, X. Garcia, J. Wei,
X. Wang, H. W. Chung, S. Shakeri, D. Bahri, T. Schuster, H. S. Zheng, D. Zhou, N. Houlsby, and D. Metzler.
UL2: Unifying language learning paradigms. arXiv preprint
arXiv:2205.05131, 2023.
[16] 鴇田和士, 上田真由美, 中島伸介. 動画に対する評価項目別スコアを用いた直感的動画検索システム. 第 14 回 DEIM フォーラ
ム論文集, 2022.

- T1-B-3-03 -