# 学会記事
## WRIME: 主観と客観の感情強度を付与した日本語データセット

梶原智之十

## 1 はじめに

本稿では，NAACL 2021 に採択された論文“WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations" (Kajiwara et al. 2021) について, 研究の過程を含めて紹介する。本研究では，日本語の感情分析のために，テキストの書き手と読み手の両方の立場から感情強度を注釈付けしたデータセット1を構築した。本稿の執筆時点では, 80 人の書き手から収集した 43,200 件のテキストを公開中であり，現在も拡張を続けている.

## 2 経緯

着任がきっかけである。本機構は, 生命科学・医歯薬学・理工学・人文科学等の様々な分野にデータ駆動型研究を導入し, 研究スタイルの変革を図ることを目指して 2016 年に設置された組織である.これまで言い換え表現の生成と認識を中心に自然言語処理の研究に従事してきた筆者も，2018 年の本機構への着任を機に, 法学 (Chu 他 2019) ・文学 (田中他 2020) ・歯学 (西原他 2021)を専門とする研究者たちとの共同研究に取り組み始めた.

このような背景のもと, 2018 年度文部科学省「Society 5.0 実現化研究拠点支援事業」に採択された「ライフデザイン・イノベーション研究拠点」事業 3 の一部として，筆者らはソーシャル・ ネットワーキング・サービス $(\mathrm{SNS})$ 上のテキストデータの利活用について, 研究を開始することとなった. 本プロジェクトは, 心と体の健康増進や QOL の向上に役立つ高付加価値データベースの構築を通して，豊かな社会生活の実現を目指すものである．本プロジェクトは日常生活の中の様々な活動データの利活用を推進するものであるが，筆者は自然言語処理が専門であるため，その中で特に，SNS 上のテキストデータを対象とすることになった. そして 2018 年 12 月から, 心身の健康管理をサポートするための SNS テキストの感情分析の研究を開始した。なお, 本研究は, データビリティフロンティア機構の Chenhui Chu 特任助教（現在は京都大学情報学研究科特定准教授), 武村紀子准教授, 中島悠太准教授, 長原一教授とともに取り組んだ.
^{1}$ https://github.com/ids-cv/wrime

2 https://www.ids.osaka-u.ac.jp/

3 https://www.ids.osaka-u.ac.jp/ildi/index.html
}

## 3 研究の流れ

## 3.1 先行研究の調査

2018 年 12 月に研究に着手した。まず，感情分析の先行研究について調査した，日本語と英語の両方で, 商品や映画のレビュー文書に感情極性（ポジティブおよびネガティブ。、ニュートラルを含む場合もある.）のラベルを付与したデータセットが構築されており，感情極性分類が活発に研究されていることがわかった. また, Twitter などの SNS テキストに感情極性ラベルを付与したデータセットも構築されていることがわかった.

より詳細な感情分析の研究として, 英語では感情分類や感情強度推定も研究されているが,日本語ではこのような詳細な感情を注种付けしたデータセットは見つからなかった，そこで本研究では, Plutchik の基本 8 感情4 (Plutchik 1980)のような多様な感情を日本語テキストに付与し, 日本語の感情分析のための新しいデータセットを構築することとした.

## 3.2 クラウドソーシングによるデータ収集その 1

2019 年 1 月からアノテーションの準備を開始した. アノテーション管理会社の選定やアノテーション仕様書の作成に約 2 ヶ月, 実際のアノテーションに約 1 ヶ月の時間をかけ, 3 月末に最初のアノテーション済みデータを受け取った。このアノテーションでは, SNS 上での過去の自身の日本語の投稿に Plutchik の基本 8 感情の強度をそれぞれ 4 段階（無・弱・中・強）で付与してもらい，50 人から 3,000 件のテキストと感情強度ラベルを受け取った.

収集したデータを確認したところ, 自動生成された投稿や, リンク先や添付ファイルの参照が必要な投稿など，投稿本文から書き手の感情を推定できない課題が見つかった. また，全ての感情について最大強度のラベルを付与するなどの不真面目なアノテータも見つかった。これらの分析とアノテーション仕様書の修正に約 2 ケ月の時間をかけ, 6 月に 2 回目のアノテーションを発注した。 8 月末に， 200 人から 4,000 件のテキストと感情強度ラベルを受け取った。

収集したデータを確認したところ，残念ながら，自動生成されたテキストは残っていた。また, 全て最大強度などの自動的に検出できる不真面目なアノテーションは除外できたものの,感情強度をランダムに振るなどの自動的に検出することが難しい不真面目なアノテーションは残っていた．しかし，アノテーションツール上でこれらを検出することは難しいと判断し，大規模にデー夕を収集した後でこのようなものを除外するという方針に決め, 3 回目の大規模なアノテーションを発注した。 2019 年 12 月末に， 400 人から 14,000 件のテキストと感情強度ラベルを受け取った．ここから，自動生成された投稿，日本語を含まない投稿，自身の投稿を扱っていない人 5 , 感情強度のラベルをランダムに振っている人などを除外し, 最終的に 345 人から
^{4}$ Plutchik の基本 8 感情 : 喜び, 悲しみ, 期待, 驚き, 怒り, 恐れ, 嫌悪, 信頼

5 企業や著名人の公式アカウントの投稿を扱っている人がいた
}

11,000 件のテキストと感情強度ラベルを得た.

## 3.3 クラウドソーシングによるデータ収集その 2

前節で収集したテキストには，書き手自身による感情強度のラベルが付与されている。これらの感情強度のラベルを確認する中で, 我々がテキストを読んで想像した書き手の感情強度と実際にラベル付けされている感情強度に乘離があることがわかった。書き手の感情と読み手の感情6の差異についての分析に興味を持った我々は, 2020 年 3 月に 3 人の作業者をクラウドソー シングサービスのランサーズ7で雇用し, 全てのテキストに読み手の視点から感情強度のラベルを付与した，そして，書き手によるラベルと読み手による平均ラベルの一致率を計算したとこ万, Quadratic Weighted Kappa で 0.211 と大きな乘離があることがわかった.

この時点で, 書き手が持つ感情強度と読み手が持つ感情強度に大きな乘離があるという結論で原稿を書き投稿することも検討した. しかし, 前節のアノテーションでは指示に従わないアノテータや不真面目なアノテータが多く見られたため，書き手によるアノテーションをランサー ズで再度実施してみることにした. 2020 年 5 月に，100 件ずつの自身の過去の投稿に感情強度を付与してもらい， 30 人から 3,000 件のデータを収集した. そして， 3 人の作業者から読み手の視点での感情強度をラベル付けしてもらったところ, Quadratic Weighted Kappaで 0.505 と,書き手の感情強度と読み手の感情強度の間に moderate agreement を確認できた. 前節のアノテーションではアノテータの管理をアノテーション会社に任せていたが，今回は筆者自身がアノテータと直接やり取りをしたため, 指示に従わないアノテータや不真面目なアノテータに作業のやり直しを依頼したり契約を打ち切ったりできたため, 品質を改善できた8 8.

ランサーズで書き手からのデータ収集および感情強度アノテーションと読み手からの感情強度アノテーションを続け，7月に 50 人の書き手からの 17,000 件のデータを収集できた。このデータをもとに，書き手の感情強度と読み手の感情強度の差異について分析し, BERT ${ }^{9}$ (Devlin et al. 2019) による感情強度推定の実験を行い，11月に NAACL の原稿 (Kajiwara et al. 2021) および言語処理学会年次大会の原稿 (梶原他 2021)を執筆した。その後もアノテーションを続け， 2021 年 2 月までに 80 人の書き手から 43,200 件のデータを収集し，これを言語処理学会年次大会の発表に合わせて 3 月に公開した。


## 4 成果の概要

本研究では，テキストの書き手による主観的な感情強度ラベルとテキストの読み手による客観的な感情強度ラベルの両方を収集し, これらの差異について調査した。まず，クラウドソー シング 7 を用いて雇用した 50 人の作業者が，SNS 上での自身の過去の投稿に主観的な感情強度を付与した. そして, 収集した全投稿に対して, 3 人の作業者が客観的な感情強度を付与した. ここで，主観的な感情とはテキストの書き手自身が持つ感情であり，客観的な感情とはテキストの読み手が想像する書き手の感情である。合計で，17,000 件の投稿について, Plutchik の基本 8 感情 4 (Plutchik 1980) の強度を, 主観と客観の両方で 4 段階（無・弱・中・強）で付与した日本語のデータセット1を構築した.

英語を中心に, 感情分析のために多くのデータセットが構築されているが，書き手と読み手の両方の感情を収集したのは本研究が初である．3.1節でも書いたように，日本語では感情極性を付与したデータセットは構築されているが, 多様な感情を扱ったのは本研究は初である.

アノテーションの一致率を Quadratic Weighted Kappa で評価したところ, 書き手のラベルと読み手の平均ラベルの一致率は 0.515 , 読み手間の一致率は 0.547 から 0.585 と, いずれも moderate agreement を確認できた。感情別に見ると，喜びの感情については書き手と読み手の一致率が 0.6 を超えている一方で, 信頼の感情については 0.2 を下回っており, テキストから読み取りやすい感情と読み取りにくい感情が存在する。また, 怒りの感情については読み手間の一致率は 0.6 を超えているものの, 書き手と読み手の一致率は 0.4 程度とギャップが見られた.感情強度ラベルの分布を見ると，怒りおよび信頼の感情については，読み手が「無」の感情強度を付与する割合が $95 \%$ と極端に多い，書き手と読み手の感情強度の差異に注目すると，書き手が「強」の感情強度を付与したうちの $37 \%$ よび書き手が「中」の感情強度を付与したうちの $52 \%$ にいて読み手は「無」の感情強度を付与しており, 全体的に読み手は書き手の感情を過小評価する傾向がある．特に，怒りの感情については書き手が「強」のときに読み手が「無」 の割合が $59 \%$, 信頼の感情については書き手が「強」のときに読み手が「無」の割合が $82 \%$,読み手は書き手の感情を充分に検出できていない.

BERT $^{9}$ (Devlin et al. 2019) などの機械学習モデルによる感情強度推定の実験を実施した。評価指標には, Quadratic Weighted Kappaを用いた. 書き手の感情強度ラベルを用いて学習および評価したところ, Bag of Words (BoW)では 0.156, BERTでは 0.135 と，いずれも低い性能にとどまり, 主観的な感情強度の推定が難しい夕スクであることがわかった. 驚くべきことに,書き手の感情強度を推定する場合も, 読み手の感情強度ラベルを用いて学習した BERT が 0.242 と, より高い性能を発揮した。なお, 読み手の感情強度ラベルを用いて学習および評価したところ, BoWでは 0.277, BERT では 0.442 と, 比較的高い性能を確認できた.

## 5 おわりに

本稿では, NAACL 2021 に採択された我々の論文 (Kajiwara et al. 2021) について, 研究の過程を含めて紹介した，感情強度を大規模にアノテーションするために，本研究ではクラウドソーシングを用いたが, アノテーション会社やアノテータとのコミュニケーションに苦労した.最終的には, 筆者とアノテータが直接やり取りすることによって, アノテーションの品質を改善できた，書き手の主観的な感情強度を当該テキストのみから推定することは難しいため，今後は書き手の性格情報や過去の投稿履歴を考慮することで性能改善することを検討している.

## 謝 辞

本研究は文部科学省による Society 5.0 実現化研究拠点支援事業の支援を受けたものです.

## 参考文献

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186.

Kajiwara, T., Chu, C., Takemura, N., Nakashima, Y., and Nagahara, H. (2021). "WRIME: A New Dataset for Emotional Intensity Estimation with Subjective and Objective Annotations." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 2095-2104.

西原大貴, 梶原智之, 谷川千尋, 清水優仁, 長原一 (2021). 矯正歯科治療における所見文書からの自動診断に向けて. 情報処理学会第 83 回全国大会, pp. 591-592. [D. Nishihara et al. (2021). Kyoseishika Chiryo ni okeru Shokenbunsho karano Jido Shindan ni mukete. Proceedings of the 83rd National Convention of IPSJ, pp. 591-592.].

Chu, C., 梶原智之, 中島悠太, 長原一, 渡辺理和, 大久保規子 (2019). 多国間法律の比較と統計分析のための多言語機械翻訳. 情報処理学会第 119 回人文科学とコンピュータ研究会, pp. 1-3. [C. Chu et al. (2019). Takokukan Horitsu no Hikaku to Tokeikaiseki no tameno Tagengo Kikaihonyaku. IPSJ SIG Technical Report, Vol. 119-CH-119 No. 8, pp. 1-3.].

Plutchik, R. (1980). "A General Psychoevolutionary Theory of Emotion." Theories of Emotion, 1, pp. 3-31.

梶原智之, Chu, C., 武村紀子, 中島悠太, 長原一 (2021). 主観感情と客観感情の強度推定の

ための日本語データセット。言語処理学会第 27 回年次大会, pp. 523-527. [T. Kajiwara et al. (2021). Shukan Kanjo to Kyakkan Kanjo no Kyodo Suitei no tameno Nihongo Deta Setto. Proceedings of the 27th Annual Meeting for the Association for Natural Language Processing, pp. 523-527.].

田中昂志, Chu, C., 梶原智之, 中島悠太, 武村紀子, 長原一, 藤川隆男 (2020). OCR 誤り訂正を用いた歴史新聞データからのコーパス構築. 言語処理学会第 26 回年次大会, pp. 653-656. [K. Tanaka et al. (2020). OCR Ayamari Teisei wo Mochiita Rekishi Shinbun Deta karano Kopasu Kochiku. Proceedings of the 26th Annual Meeting for the Association for Natural Language Processing, pp. 653-656.].

## 略歴

梶原智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)。大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.