潜在分析と感情分析を利用したポストへのユーザ反応測定阿部 友祐† 澄川 靖信*
拓殖大学†*
1 はじめに
現代では SNS が普及し，日々様々な情報が発信されている．特に X には，リポスト，引用リポストのような特定のポストを多くのユーザに素早く伝達する機能が存在する．このような機能を使うことで，投稿したポストへの反応を調べることができるため，他ユーザからの注目を多く集めることを目的としているインフルエン
サーは，リポストの回数を同意とみなし，より多くの反応を貰えるように工夫することもある．
一方，上記のような投稿に対して自身の意見を投稿するユーザも存在する．このとき，X では一回の投稿で記述できる文章量は短いため，自分の意見を長文で記述するために複数のポストで意見を述べることがある．この場合，リポストの回数は必ずしも同意を表すとは限らない．
先行研究では，リポストに続く意見ポストを潜在コメントと呼び，潜在コメントを抽出するアルゴリズムが提案されている[1]．本研究では，潜在コメントに対して感情分析を行い，リポストした内容に同意しているかどうかを判定する手法を提案する．また，本手法の有効性を評価するためのデータセットを構築した．このデータセットは，潜在コメントに対する感情を複数人による手動での分析の結果，意見が一致したものだけを含む．
2 提案手法
本手法では，まず，先行研究の手法[1]を用いてリポストとその潜在コメントを収集する．次に，この潜在コメントに対して，ストップワードを除去し，感情分析を行うことでそのユーザのリポストに対する印象を明らかにする．この
感情分析では，文章の内容を positive，negative,neutral の 3 種類の中から最も適切だと判断したものを 1 つ選択する．本研究では潜在コメントには連続で投稿された複数の文章が含まれているので，連続した各文章をまとめて感情分析を適用した後，各感情極性の平均値を算出し，その値が最も高い極性をユーザがリポストに持つ印象とみなす．
予備実験を行ったとき，皮肉表現を含む文章に対して感情分析の結果が不適切になることがあMeasurement of post popularity using latent analysis†Yusuke Abe, Takushoku University*Yasunobu Sumikawa, Takushoku University

った．このような文章に対しても適切な結果が得られるように，本手法の感情分析では，皮肉表現を検出する手法[2]も使用する．
3 データセット構築
本研究で構築するデータセットは，適度に同意や批判をしているユーザの潜在コメントを用いた．これは，極端な意見ばかりしているユーザは，ポストの内容に対して同意，批判をしているのではなく，同意・批判をすること自体が目的となっている可能性があり，判定結果に影響を及ぼすと考えたためである．この潜在コメントを収集するために，[1]で定義した潜在コメントを行うポストのキーワードを利用して手動でポストを収集した．これらの潜在コメントをポストしたユーザの過去のポストも 10 個ずつ収集し，それらの文章に対して感情分析を行った．
この判定結果のエントロピーがある値よりも大きいユーザは，適度に同意や批判を行うとみなす．実験的にこの閾値を求めたところ，0.468 が適切だった．
次に，上記の閾値を超えたユーザのポストを用いてデータセットを構築した．このデータセットには，潜在コメントが存在するリポストが 100個含まれている．また，353 人分のユーザの過去のポストとして 3530 個，潜在コメントが 145 個，引用リポストが 216 個，それぞれ含まれている．
その後，収集した潜在コメント及び引用リポストに対して，2 名が手動で感情ラベルを付与した．
この潜在コメントへの感情評価の一致度を算出するために Cohen's cappa 係数を用いた．算出された値は 76.6%であり，2 名の意見はかなり一致したといえるので，回答が一致した潜在コメントのみをデータセットに含めた．この結果，ポスト内容とその感情のセット計 90 個をデータセットに加えた．
4 実験
提案手法の有効性を評価するために，本稿では感情分析の精度比較，提案手法によるポスト同意批判判定結果の評価と分析を行った．
まず，提案手法で使用する感情分析検出の精度を評価した．本稿で使用した手法は以下の 3 つである．
1. Asari:日本語用に開発されたオープンソースの感情分析プログラム

表 1 感情分析の評価結果
手法
適合率
再現率
Asari
64.4%
93.5%
Mecab
43.9%
58.1%
BERT
35.4%
78.5%

F値
76.3%
50%
68.4%

表 2 同意批判判定の評価結果
手法
適合率
再現率
64.9%
96.1%
Asari 版
80.4%
71.1%
BERT 版

F値
77.5%
75.5%

表 3 Asari 版の同意批判判定結果の内訳
測定/正解
ポジティブ
ネガティブ
50
2
ポジティブ
2711
ネガティブ
表 4 BERT 版の同意批判判定結果の内訳
測定/正解
ポジティブ
ネガティブ
3715
ポジティブ
929
ネガティブ
2. Mecab: PNtable[3]を用いた Mecab
3. BERT: 皮肉表現に対応できる手法[2]

在的コメント及び引用リポストの内容に皮肉もしくは比喩表現が含まれ，本来ネガティブに分類されるポストがポジティブとして判定されていた．
BERT を使用した手法の結果を確認すると，傾向を正しく表示できた数は合計で 66 個あり，24個のデータが正しく傾向を判定できなかった．
誤判定したポストを手動で確認したところ，正解データがポジティブで判定結果がネガティブとなった 15 個のうち 2 個と，正解データがネガティブで判定結果がポジティブとなった 9 個のうち 1 個のリポストの内容に皮肉，比喩表現が含まれていた．正解データがネガティブで測定結果がポジティブとなった 2 個は皮肉，比喩表現に対しての感情分析を正しく行えたが，正解データがポジティブで測定結果がネガティブとなった
リポストに含まれていた文字数が少ない 5 個の皮肉・比喩表現を含むポストがポジティブと誤って検出された．
また，Asari でのエラー要因に対して BERT は，ほぼすべてのポストを正確に分析できた．例として，「キリスト教とかいう根拠の有るルールに従ってる方々のありがたいお言葉。」というポストに対し，Asari は，ポジティブとして分析したが，BERT ではネガティブとして分析した．
以上より， 提案手法は Asari，BERT 共に高い精度が得られる一方，皮肉表現を含むポストに対しては BERT を使うと誤判定が少なくなることが明らかになった．
5 まとめと今後の課題
本稿では，潜在的コメントと引用リポストに対して感情分析を行い，リポストに対する同意か批判のいずれかを判定する手法を提案した．
今後の課題としては，調査対象ポストに対して感情分析を用いる際，潜在的コメント及び引用リポストの傾向をネガティブ・ポジティブの 2 つの軸ではなく，リポストに含まれる喜怒哀楽等の細分化した感情での人気度測定が考えられる．
参考文献[1]: R. Takagi and Y. Sumikawa: “Latent chainedcomments to retweet extraction on twitter”,
IDT’22, pp. 3–13 (2022).
[2]:団 俊輔, プタシンスキ ミハウ, ジェプカ ラファ
ウ, 桝井 文人:”北見工業大学 テキスト情報処理

これらの手法の比較を行うために，本稿では，上記で示したデータセットに対して 3 つの手法それぞれを適用し，再現率，適合率，F 値を求めた．
この結果を表 1 に示す．Asari はこの 3 つの手法の中で，適合率，再現率，F 値の全てで最も高い結果を得た．F 値に注目すると，Asari は 76.3%，BERT は 68.4%であった．こ の結果，Asari とBERT は比較的高い精度が得られると考えられる．
次に，3 節で述べた本研究で構築したデータセットを用いて，提案手法の適合率，再現率，F 値を評価した．この結果を表 2 に示す．感情分析をAsari で行った数値は，それぞれ，64.9%，96.1%，77.5%であった．一方，BERT は，それぞれ，80.4%， 71.1%，75.5%であった．これらの結果から，どちらの場合でも良い結果を得られた．
最後に，2 つの手法の結果を詳細に分析するために，各手法の判定結果をまとめた分割表を表 3と表 4 に示す．
Asari を使用した手法の結果を確認すると，調研究室 ELECTRA Base 皮肉検出モデル (daigo
査対象ポストへの潜在的コメント及び引用リポver.)”，HuggingFace，2022，
ストの傾向を正しく表示できた数は合計で 61 個
"https://huggingface.co/kit-nlp/bert-base-japaneseであり，29 個のデータが正しく傾向を予測できsentiment-irony"ていなかった．誤判定したポストを手動で確認[3]:高村大也, 乾孝司, 奥村学：“スピンモデルによしたところ，正解データがポジティブで判定結る単語の感情極性抽出”, 情報処理学会論文誌,果がネガティブとなった 27 個のうち 15 個に，潜47, 2, pp.627–637 (2006).