言語処理学会 第30回年次大会 発表論文集（2024年3月）

ソーシャルメディア上の発話の攻撃性推定と会話補助
藤原知樹 伊藤彰則 能勢隆
東北大学tomoki.fujihara.p3@dc.tohoku.ac.jp{akinori.ito.a2,takashi.nose.b7}@tohoku.ac.jp

概要

今の環境、さすがに辛いわ…!

Aさん

本研究の目的は, 読み手や文脈によって攻撃的ともそうでないとも受け取られる可能性がある発言辞めたらいいのにと思ってしまう…
Aさんはその物事に責任を持って取り組んでいるのかも知れません。

(グレーゾーンの発言) への自動的な対応によって,ソーシャルメディア上での円滑なコミュニケーションを促進することである. これを実現するために,次のBさんの発言は強く心配してくれているのかもしれません。

図1

Bさん

提案する会話補助手法の概要

グレーゾーンの発言を自動的に検出し, その発言にこで本研究では, 読み手や文脈によって攻撃的ともる会話補助手法を提案する. 本稿では, グレーゾー

レーゾーンの発言) への自動的な対応によって, ソー対する補足情報を読み手と書き手の双方に提供すンの発言の自動検出に向けて攻撃性推定モデルをそうでないとも受け取られる可能性がある発言 (グ構築する. さらに, 提案手法によって読み手が感じシャルメディア上での円滑なコミュニケーションの促進を研究目的とする.

たデータセットおよび構築した攻撃性推定モデル

必要性に関するアンケート結果を参照する. SNS マ中である.に入ってくることに『怖い, 変だと思う, 不快に感じる攻撃性を緩和できるか検証する. 本実験で使用しは, https://huggingface.co/TomokiFujihara で公開

1

ここで, 先行研究 [8] で実施された SNS マナーのナー必要派の意見として, 「知らない人が突然会話る』といったネガティブな印象を持つ」というもの

はじめに近年ソーシャルメディアにおける攻撃的な表現への対策が重要視されており, ヘイトスピーチや誹謗中傷などの攻撃的な発言の自動検出の研究が盛んに進められている [1, 2]. 既に主要な Social Networking
Service (SNS) では, 攻撃的なコメントを自動検出する機能が試験運用されている. 検出された攻撃的なが挙げられている. つまり, 知らない人物からのコメントというだけで, そのコメントに対してネガティブな印象を抱く可能性がある. 一方で, SNS マナー必要派の別の意見として, 「『FF 外から失礼します』が書かれていると, この人は『悪い人, 変な人ではない』と思うことができる」というものが挙げられてコメントに対する SNS 運営事業者の主な対応は, コいる. そのため, 知らない人物からのコメントであっても書き手の人柄や心情などが推測できる情報が事である. その他の対応方法として, 先行研究では事前的ポジティブな印象で受け取れるようになる可能性

メントの非表示や削除, アカウントの利用制限などに投稿者に警告文 [3] や過去のトラブル事例 [4] を提示する手法や, 大規模言語モデルを用いて表現を前に提示されることで, 続くコメントの内容を比較があると考えた.

そこで本研究では, グレーゾーンの発言を自動的書き換えて攻撃性を緩和する手法 [5, 6] などが提案に検出し, その発言の補足情報を読み手と書き手の攻撃的な発言の自動検出や検出後の自動的な対応

稿では, グレーゾーンの発言の自動検出に向けて,されている.

に関する先行研究は, 攻撃性が明確な発言に注目していることが多い. しかしながら, 実際の SNS の環境では攻撃性が曖昧な発言の方がコミュニケーショントラブルの発端になっている可能性がある [7]. そ双方に提示する会話補助手法 (図 1) を提案する. 本ソーシャルメディア上のコメントの攻撃性推定モデ

ルを構築し, その性能分析を行う. さらに, 提案手法によってコメントの読み手が感じる攻撃性を緩和できるか検証する.

― 505 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

提案する会話補助手法

提案手法では, グレーゾーンの発言を検出した際に, チャットボットが会話に参加するような形で検出された発言に関する補足情報を読み手と書き手の双方に提示する. 読み手に対しては, ネガティブな意味に受け取らずに済むようにすることで, 心理的負担を軽減しつつも検出された発言の内容は上手く伝えることを目指す. 同時に, 書き手に対しては, 自身の発言について振り返る機会を提供しつつも, コミュニケーションを取る意欲を損なわないように配慮することを目指す.

提案手法の詳細を説明する. 1 つ目に, 提案手法では読み手と書き手に別々の補足情報を提示するのではなく, 全てのユーザが同じ情報を受け取れるようにチャットボットが会話に参加する方式を採ってい攻撃への耐性が高い人攻撃への耐性が低い人

2()内: サンプ
ル数, 計800

Not
offensiveNot
offensiveNot
offensive(344)

Gray-area

Light
Gray-area
(138)

Dark
Gray-area(10)

Offensive

Gray-area
(118)

Dark
Gray-area(54)

Gray-area

OffensiveNot Applicable(0)

Offensive(136)

図 2 正解ラベルの作成方法

数派の意見が十分に反映されないことが懸念される. また, 最終的な用途となる会話補助手法においては, グレーゾーンの発言への誤分類が多少増加するかを明確に判別できるものではないため, 各ユーザことは許容できる可能性がある. そこで, 次のような仮定に基づいて新しい正解ラベルを作成した.

れているように映ることは望ましくないと考えられ言は, 攻撃的ではない (not offensive; NOT).

る. 理由としては, グレーゾーンの発言は攻撃的か否の視点で読み手か書き手の片方に偏ってサポートさるためである. 2 つ目に, 自動検出および補足文生成において, 前後の会話などの文脈情報は使用しないこととする. これは, SNS 上の発言は必ずしも前後の文脈や発言の対象が明確ではないためである. 3 つ目に, 自動検出および補足文生成において, 個々の

1. 攻撃への耐性が低い人から見て攻撃的でない発
2. 攻撃への耐性が高い人から見て攻撃的な発言は, 攻撃的 (offensive; OFF) である.

3. 上記に該当しないもののうち,(a) 攻撃への耐性が高い人から見てグレーゾーンの発言は, やや攻撃的なグレーゾーンのユーザへの適応は行わないこととする. これは, この発言 (dark gray-area; DarkGRY) である.

ようなシステムにおけるユーザ適応は, 社会的分断化に繋がることが懸念されるためである.

3(b) 攻撃への耐性が低い人から見てグレーゾー

ンの発言は, やや攻撃的でないグレーゾーンの発言 (light gray-area; LightGRY) である.

発話の攻撃性推定用データセット

使用するデータセットは, X から収集された日本語対話のコーパス Twitter-Triple[9] から発話を抽出し, 大学生 3 名で攻撃性評価を行ったものである[10]. 発話は一文単位であり, 評価の際にその発話が含まれる投稿全文や前後の会話は評価者に提示されていない. 攻撃性評価の指標は攻撃の可能性と, 攻撃的と仮定した時の攻撃の強さの 2 種類で, それぞれ 4段階で評価されている. 本研究では, 攻撃の可能性は高いが攻撃的だとしても攻撃の強さは弱い, もしくは, 攻撃の可能性は低いが攻撃的だとしたら攻撃の強さは強いものをグレーゾーンの発言と定める.

次に, 正解ラベルの作成方法について説明する. 複数のアノテータの評価結果から単一の正解ラベルを決定する際, 多くの先行研究では多数決や平均値が用いられている. しかしながら, これらの方法では少(c) 上記のいずれにも該当しない発言はグレーゾーンの発言 (gray-area; GRY) である.

上記の仮定に基づく新しい正解ラベルの作成方法と, 各クラスのサンプル数を図 2 にまとめる. 将来的に, 細かな攻撃性の違いによって対応方法を切り替えることも検討しているため, 細かな攻撃性の違いをモデル化できるように 5 クラスに分類している.
ここで, 新しい正解ラベルの作成方法では攻撃への耐性が高い人と低い人の評価結果が必要となる. ここでは両者について仮想的な評価結果を作成した.
具体的には, 各発話の攻撃の可能性と攻撃の強さそれぞれについて, 評価値が高い/低い 2 名分の評価値を平均し, 仮想的な攻撃への耐性が低い/高い人の評価結果を作成する. その後, 本研究におけるグレーゾーンの発言の定義に従って, 攻撃の可能性と攻撃の強さの評価結果を NOT, GRY, OFF の 3 クラスラベ― 506 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ルに変換し, 最後に前述の仮定に基づいて正解ラベ

表 1 サブタスクの有無による分類性能の比較

ルを決定する.

評価指標

攻撃性推定モデルの構築

44.1

マクロ平均 F 値 [%]意見の不一致を考慮した攻撃性推定モデルの学習

攻撃性推定のような主観性の高いタスクはアノテータ間の一致度は低くなりやすい [11, 12]. しかしながら, 主観的なタスクにおける意見のばらつきは,単なるアノテーションミスだけでなく, 評価対象の多義性に起因している場合があり, 重要な情報の一つである [13, 14]. そのため, 近年はアノテータ間の意見の不一致を考慮した分類モデルの構築に関する研究が進められている [15, 16].

本実験では, 先行研究 [17] を参考に, 不一致の情報をマルチタスク学習によって利用する. 正解ラベルの予測をメインタスクとし, サブタスクは個々のアノテータの評価結果または, 仮想的な攻撃への耐性が高い/低いアノテータの評価結果を予測するように設計する. アノテータの評価結果を予測するタス

クは, 攻撃の可能性および強さそれぞれの評価値が高いか低いかという 2 種類の 2 値分類タスクであり,アノテータの人数分サブタスクが追加される.

4.2

実験条件

事前学習済み言語モデルを Fine-tuning することで, NOT, GRY, OFF の 3 ク ラ ス 分 類 モ デ ル を 構 築する. 各正解ラベル NOT, LightGRY, GRY, DarkGRY,OFF はそれぞれ [1, 0, 0], [0.4, 0.6, 0], [0, 1, 0], [0, 0.6,0.4], [0, 0, 1] という 3 次元のソフトな確率分布に変換し損失の計算に用いる. 事前学習済みモデル
は日本語 LUKE[18] の base モデル lite 版を用いる.
Fine-tuning 条件の詳細は, 公開中の分類モデルのモデルカードに記載している. 攻撃性推定用データ
セットは 5 分割交差検証で用いる.

4.3

分類モデルの性能評価

メインタスクのみ学習したモデル (Baseline) と,個々のアノテータの評価結果 (with each annotator; w/Each), 仮想的なアノテータの評価結果 (with virtualannotator; w/ Virt.) をサブタスクに追加して学習したモデルの分類性能を表 1 に示す. 不一致情報を考慮した学習を行うことで分類性能が向上した. またサブタスクの比較としては, 仮想的なアノテータの評

Baseline w/ Each w/ Virt.

正解率 [%]

59.1

60.4

62.9

61.1

61.8

63.8

価結果を使用する方が分類性能が高くなった. 要因として, 個々のアノテータの評価結果にはアノテーションミスが含まれている可能性がある [14] が, 仮想的なアノテータの評価結果は 2 名の平均を取っているため, アノテーションミスの影響が軽減されている可能性がある. 分類モデルのより細かな性能評
価結果は付録 A に付した.

補足文挿入による読み手の感じる攻撃性緩和の検証

5

提案手法では, コメントの読み手と書き手のそれぞれに向けた補足文を提供する. 本実験では, 提案手法の中の読み手に向けた補足文について, 読み手の感じる攻撃性を緩和できるか検証する.

5.1

実験条件

本実験では, 次の 3 つの条件で被験者に発話を読んでいただき, 攻撃性の評価結果を比較することで提案手法の効果を検証する: 攻撃性の評価対象となる発話のみ提示 (only speech; OS); 発話と無関係な文章を提示 (with unrelated text; WUT); 発話とその補足文を提示 (with supplemental text; WST). WST が提案手法の条件である.

評価対象の発話は攻撃性推定用データセットのGRY クラスの発話からランダムに抽出された 30 文を用いる. 被験者は著者が所属する研究室の学生 15名である. 発話と評価者はそれぞれ３つのセットに分けられ, それぞれの評価者セットで文の評価条件が異なるように発話セットを割り当てた. 被験者は各発話について, 攻撃の可能性と攻撃的と仮定した時の攻撃の強さを各 4 段階で評価する. 被験者には著者が攻撃性を評価した発話 10 文を例示する.

発話と無関係な文章は, Twitter-Triple からランダムに抽出する. 読み手に向けた補足文は, ChatGPT から GPT3.5 (text-davinci-002-render-sha) を用いて補足情報を生成し, 著者が生成結果の一部を抜粋して語尾などを整え作成した. 補足文の例は付録 B に付した. 完全に自動的な補足文の生成については今後の課題である. 以下に, 補足情報の生成に用いたプロンプトを示す.

― 507 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2 各 2 条件での攻撃性の評価結果の比較

評価軸
攻撃の可能性
攻撃の強さ

図 3 各 2 条件での攻撃の可能性の差

比較条件

OS - WUT𝑥¯ ± 𝜎𝑑-0.09 ± 0.87

-0.18

WUT - WST -0.08 ± 0.78-0.16

OS - WST -0.23 ± 0.67
WUT - WST -0.20 ± 0.90-0.43-0.33

OS - WST
OS - WUT-0.17 ± 0.55-0.35-0.03 ± 0.90-0.06

ある, 補足文の内容が適切でないなどが考えられる.
前者は 𝑑OS−WUT が負の値であることから, 後者は𝑑WUT−WST に比べて 𝑑OS−WST の方が絶対値が大きい

ことから示唆される.

また実験後の被験者から, 「補足文が書き手を煽っているように見える時があった」という感想が

図 4 各 2 条件での攻撃の強さの差SNS で次のような発言を見かけたときは、どのような気持ちで読めば私は不快に感じずに済むでしょ!

うか？「***ここにグレーゾーンの発言を記述***」

5.2

!

分散分析

被験者グループ毎に攻撃性の評価結果を平均し, 3

条件 OS, WUT, WST の間で攻撃性の評価結果を比較する. 初めに, 各条件における攻撃性の評価値の平均値に有意差があるか検定するために, ウェルチの一元配置分散分析を実施する. 攻撃の可能性および強さのそれぞれについて, 帰無仮説を 3 条件の全てで評価値の母平均が等しいこととし, 有意水準 0.05 で両側検定を行った. その結果, 攻撃の可能性の 𝑝 値は0.066, 攻撃の強さの 𝑝 値は 0.274 となり, 3 条件間で攻撃性の評価値の平均値に有意差はないという結果になった.

5.3

各 2 条件での比較述べられている. この原因として補足文の内容以外で考えられるのは, 本実験の補足文のみではチャットボットの性格や会話上の立ち位置が不明確であるという点である. 背景で述べたように, 性格などをよく知らない人物からの発言はよりネガティブに受け取られる可能性があり, 本実験で用いた補足文は 40文字程度の一文のみとチャットボットの性格などを推測できる情報が少ない.

対策としては, チャットボットが両者をサポートする中立的な立場であると認識されるような情報を追加することが考えられる. 具体的には, 本来の提案手法のように書き手に向けた補足文も提示する, アイコンやフォント等の視覚的な情報を追加するなどである. また, 本実験では補足文の要件や, 補足情報の生成に用いるプロンプトなどの検討が不十分であったため, 補足文の内容自体の品質向上についても今後の課題である.

6

各 2 条件について発話毎に攻撃の可能性と強さのそれぞれで評価値の差を算出した (図 3, 4). また,評価値の差の平均値 𝑥¯ および標準偏差 𝜎, 効果量

Cohen’s 𝑑 を算出した (表 2). 比較条件 X - Y の 𝑥¯X−Y ,𝑑X−Y は, 値が正の時は条件 Y の方が, 負の時は条件X の方が攻撃性が低く評価されていることを表す.

いずれの比較条件でも 𝑥,¯ 𝑑 の値が負であるため,OS よりも WUT の方が, WUT よりも WST の方が攻撃性が高く評価される効果があることが示唆される. 提案手法の条件 WST で攻撃性が高く評価された原因としては, 何らかの文章の挿入自体に問題がおわりに

本稿では, グレーゾーンの発言の自動検出に向けた発話の攻撃性推定モデルを構築し, そのデータセットおよび攻撃性推定モデルを公開した. さらに,補足文挿入による読み手が感じる攻撃性の緩和について検証した. 実験の結果, 補足文挿入によって読み手の感じる攻撃性はむしろ少し高くなった. 要因として, 本実験で用いた補足文のみではチャットボットの性格などが不明確であることが考えられた. 対策として, チャットボットが両者をサポートする中立的な立場であると認識されるような情報を追加することを検討している.

― 508 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞

本研究の一部は, JSPS 科研費 JP21H00895 およびJP19H05589 の支援を受けた.

参考文献[1] M. Zampieri, S. Malmasi, P. Nakov, S. Rosenthal, N. Farra,
and R. Kumar. SemEval-2019 task 6: Identifying and categorizing offensive language in social media (offenseval).
In Proc. SemEval, pp. 75–86, 2019.
[2] M. Zampieri, P. Nakov, S. Rosenthal, P. Atanasova,G. Karadzhov, H. Mubarak, L. Derczynski, Z. Pitenis,
and Ç. Çöltekin. SemEval-2020 task 12: Multilingual offensive language identification in social media (OffensEval2020). In Proc. SemEval, pp. 1425–1447, Barcelona (online), December 2020. International Committee for Computational Linguistics.
[3] 諸岡誠也, 関和広ほか. マイクロブログ炎上事例の分類と炎上防止アプリへの応用. 第 78 回全国大会講演
論文集, Vol. 2016, No. 1, pp. 533–534, 2016.
[4] 島健輔, 阿部匠, 山本舞, 大類莉空, 長嶋浩大, 木村敦, 武川直樹, 青木良輔. 疑似 SNS 環境を用いた SNS
投稿インタフェース設計実践検討-同調投稿時に過去の裁判事例に基づく警告画面の提示を事例に. ヒューマンインタフェース学会論文誌, Vol. 25,No. 2, pp. 89–98, 2023.
[5] T. Hartvigsen, S. Gabriel, H. Palangi, M. Sap, D. Ray,and E. Kamar. ToxiGen: A large-scale machine-generated
dataset for adversarial and implicit hate speech detection.
In Proc. ACL, pp. 3309–3326, Dublin, Ireland, May 2022.
Association for Computational Linguistics.
[6] 吉田基信, 松本和幸, 吉田稔. 攻撃的文章判定を用いた不適切文章の訂正. 情報科学技術フォーラム講演
論文集, 第 2 巻, pp. 265–266, 2023.
[7] 総務省 情報流通行政局 情報通信政策課 情報通信経済室 請負先フューチャー株式会社. 「ＩＣＴによるインクルージョンの実現に関する調査研究 報告書」.
[8] 越智徹. FF 外から失礼します. 工学系大学生の考える SNS マナー. 情報教育シンポジウム論文集, Vol.
2018, No. 37, pp. 242–247, 2018.
[9] 山崎善啓, 千葉祐弥, 能勢隆, 伊藤彰則. 言語・f0 特徴
量系列を考慮したニューラル音声応答生成の検討.
日本音響学会 2021 年春季研究発表会講演論文集,
pp. 809–812.
[10] 藤原知樹, 伊藤彰則, 能勢隆. ソーシャルメディアにおける発話の攻撃性推定に向けたデータセット構
築. 情報科学技術フォーラム講演論文集, 第 2 巻, pp.
277–280, 2023.
[11] Y. Jeong, J. Oh, J. Lee, J. Ahn, J. Moon, S. Park, andA. Oh. KOLD: Korean offensive language dataset. In
Proc. EMNLP, pp. 10818–10833, Abu Dhabi, United ArabEmirates, December 2022. Association for Computational
Linguistics.
[12] B. Mathew, P. Saha, S. M. Yimam, C. Biemann, P. Goyal,and A. Mukherjee. HateXplain: A benchmark dataset forexplainable hate speech detection. In Proc. AAAI, Vol. 35,pp. 14867–14875, 2021.
[13] B. Plank. The “problem” of human label variation: On
ground truth in data, modeling and evaluation. In Proc.
EMNLP, pp. 10671–10682, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics.
[14] M. Sandri, E. Leonardelli, S. Tonelli, and E. Jezek. Why
don’t you do it right? Analysing annotators’ disagreement in subjective tasks. In Proc. EACL, pp. 2428–2441,Dubrovnik, Croatia, May 2023. Association for Computational Linguistics.
[15] A. N Uma, T. Fornaciari, D. Hovy, S. Paun, B. Plank,and M. Poesio. Learning from disagreement: A survey.
Journal of Artificial Intelligence Research, Vol. 72,
pp. 1385–1470, 2021.
[16] E. Leonardelli, G. Abercrombie, D. Almanea, V. Basile,
T. Fornaciari, B. Plank, V. Rieser, A. Uma, and M. Poesio. SemEval-2023 task 11: Learning with disagreements(LeWiDi). In Proc. SemEval), pp. 2304–2318, Toronto,
Canada, July 2023. Association for Computational Linguistics.
[17] T. Fornaciari, A. Uma, S. Paun, B. Plank, D. Hovy, andM. Poesio. Beyond black & white: Leveraging annotator
disagreement via soft-label multi-task learning. In Proc.
NAACL, pp. 2591–2597, Online, June 2021. Associationfor Computational Linguistics.
[18] I. Yamada, A. Asai, H. Shindo, H. Takeda, and Y. Matsumoto. LUKE: Deep contextualized entity representations with entity-aware self-attention. In Proc. EMNLP,
pp. 6442–6454, Online, November 2020. Association for
Computational Linguistics.
[19] T. Kudo, K. Yamamoto, and Y. Matsumoto. Applying conditional random fields to Japanese morphological analysis.
In Proc. EMNLP, pp. 230–237, 2004.

― 509 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

注意: 本ページには, 不快感を与える可能性のある表現が含まれています.
表3

種類

グレーゾーンの発言や補足文の例
テキスト

GRY 欲がの出方が素直すぎる、ハッハッハ。
UT 乾かしたらもうそのまま ok みたいだけどなんか臭いし 1 度ガソリンか何かで洗った方がいいよ
ねこれ。
ST この方は相手の率直な態度を褒めているのかもしれません。
GRY 温田ちん勝手に入れてる。
UT どこにあるか知らんかなり前友達と行こうとしたけどコロナでやめた。
ST この方は特有の言い回しやスラングを使っているかもしれません。
GRY 体質だって言ってるのに食べて太らないからとか、あるじゃん。
UT 某紫のリア恋な方みたいに爆発的高価格な私服もキュンとするんだけど、お値段抑え目な自担沼底無し過ぎ。
ST この方は自身の体質や食生活について話しており、単なる自己表現や共感を求めているだけかもしれません。
GRY 誰がロリコンじゃい。
UT 民主主義が崩壊することは権力による否定以外には存在しません。
ST 軽いユーモアやジョークが含まれているかもしれません。

(a) NOTと予測された発話群

A.1

OS: 3.0 / 2.6
WUT: 2.2 / 2.0
WST: 2.2 / 2.4
OS: 1.8 / 2.0
WUT: 2.0 / 2.2
WST: 3.0 / 3.8
OS: 1.6 / 2.4
WUT: 1.6 / 2.2
WST: 2.8 / 2.6
OS: 2.8 / 2.4
WUT: 1.2 / 1.4
WST: 2.0 / 2.2(b) GRYと予測された発話群(c) OFFと予測された発話群

A

評価条件:
攻撃の可能性 /攻撃の強さ

表5

Baseline の混合行列

表 6 w/ Virt. の混合行列

表 4 各攻撃性クラスにおいて出現頻度の高い単語の傾向

攻撃性推定モデルの分類性能
データセットに対する分類性能

Baseline と w/ Virt. の混合行列を図 5, 6 に示す. 正解ラベルが OFF のサンプルを NOT または GRY に誤分類することや, 正解ラベルが NOT または GRY のサンプルを OFF に誤分類することは望ましくない. これらの観点で比較しても,Baseline に比べて w/ Virt. の方が優れた分類性能を示している.

A.2

未知の発話に対する分類結果の分析

B

補足情報生成w/ Virt. の条件で攻撃性推定用データセット全文を用いて分類モデルを学習させ, データセット外の未知の発話を入力した際の分類結果を分析する. 未知の発話として, Twitter-Triple の 2020 年 8 月 20 日から 2020 年 8 月 22 の期間に収集された対話から 100 万文を抽出した.
各攻撃性クラスで出現頻度の高い単語について分析する. まず, 未知の発話 100 万文を MeCab[19] で形態素解析し, 名詞, 動詞, 形容詞のみ抽出した. 抽出された単語のリストから出現頻度の上位 500 単語をストップワードとして除外し, 各攻撃性クラスのワードクラウドを作成した (図 4) . NOT クラスにおいては, 「嬉し」や「楽し」, 「うれし」などのポジティブな単語の出現頻度が高い傾向にある. OFF クラスにおいては, 「バカ」や「アホ」といった他者への悪口として利用されやすい単語や, 「やめろ」や「うるさい」といった他者に圧力を与える可能性がある単語の出現頻度が高い傾向にある. 最後に, GRY クラスにおいては, 「だめ」や「ヤバイ」といった他者の言動への否定に受け取られる可能性のある単語や, 「しんどい」, 「我慢」といったネガティブな感情表現で用いられやすい単語の出現頻度が高い傾向にある. これらの結果から, 構築した攻撃性推定モデルは概ね攻撃性の高さに応じた発話の分類ができていることが示唆される.
グレーゾーンの発言 (GRY) と無関係な発話 (UT), 著者作成した補足文 (ST) の例を表 3 に示す. その他のサンプルの一覧
は https://huggingface.co/datasets/TomokiFujihara/supplement for gray area comment にて公開中である.

― 510 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).