言語処理学会 第30回年次大会 発表論文集（2024年3月）

大規模言語モデルに含まれる社会集団間の感情の抽出
田中 邦朋 1 笹野 遼平 2 武田 浩一 2
1 名古屋大学情報学部 2 名古屋大学情報学研究科
tanaka.kunitomo.z3@s.mail.nagoya-u.ac.jp {sasano,takedasu}@i.nagoya-u.ac.jp
質問概要

How does Korean people
feel about American people?

大規模言語モデル (LLM) は大量のテキストからモデルを学習することで、社会常識や偏見など、人間が潜在的に持つ知識や感情をある程度、獲得しているとされる。しかし、特定の社会集団が持つ感情を各種の LLM からどのくらい抽出可能かは明らかとなっていない。本研究では、国籍、宗教、人種/民族という観点でそれぞれ規定される社会集団を対象に、ある集団から別の集団への印象に関する質問をLLM に入力し、その応答に感情分析を行うことで、集団間の感情を LLM を用いてどの程度、抽出できるかの検証に取り組む。

1

はじめに大 規 模 言 語 モ デ ル (Large Language Model; LLM)
は、様々なタスクにおいて、あたかも人間が作成しているかのような質の高いテキスト生成を実現している [1, 2]。このような LLM が持つ人間の行動や対話を模倣する能力に着目し、人間を被験者とした社会実験を LLM により再現しようとする試みも多く行われている [3, 4, 5, 6, 7]。一方で、大規模コーパスから学習された言語モデルが持つ社会的に望ましくない偏った価値観 [8, 9] を修正するため、近年の LLM は、人間のフィードバックによる強化学習 (Reinforcement Learning with Human Feedback;RLHF) [10] を取り入れることで、社会的に望ましくない出力を抑制するように学習が行われている。このように RLHF をモデルの学習に取り入れた結果、社会実験の代替モデルとして LLM が本来習得した知見を出力しなくなる可能性が考えられる。
そこで本研究では、社会集団間の感情を対象に、RLHF を取り入れた各種の LLM から、これらの感情をどのくらい抽出可能かの検証に取り組む。具体的には、国籍、宗教、人種/民族の各属性で規定される、ある集団から別のある集団への感情を、各種のLLM の出力から再現できるかを検証する。概要を実際の社会調査データ(1) 社会集団間の感情に関する質問を複数入力

LLM

応答

Generally, Korean people havea positive view of American people…
感情分析器(2) LLMからの応答を感情分析しスコア化(4) Pearson の相関係数を算出
集計結果

🇺🇸 🇰🇷 🇫🇷スコア(Ppos, Pneu, Pneg) = (0.7, 0.1, 0.2)
(3) 感情スコアPpos – Pneg の平均値を集計

図1

🇺🇸 - -0.2 +0.5
🇰🇷 +0.5 - +0.4
🇫🇷 +0.3 -0.2 ︙…

-社会集団間の感情の抽出実験

図 1 に示す。まず、(1) ある社会集団が別の社会集団に持つ感情を問う質問を LLM に入力する。次に、(2) LLM の出力に対し感情分析を適用してスコア化し、(3) 集団の全組み合わせのスコアを集計する。
最後に、(4) 集計結果と実際の社会調査データとの相関係数を算出することで、LLM から集団間の感情がどの程度、抽出可能か評価する。

2

対象とする社会集団とデータ

本研究では社会集団として、国籍、宗教、人種/民族の 3 つの属性で規定される集団を考える。各属性について、感情の主体となる集団 𝐺 from から、感情の対象となる集団 𝐺 to への感情を LLM から抽出し、実際の社会調査の結果から得られたデータ (実データ) との一致度を算出することで、LLM からどの程度、社会集団間の感情を抽出できているか評価する。各属性において考慮する社会集団の一覧を表 1に示す。また、各属性に対応する実データの詳細は以下の通りである。
国籍 2022 年に行われた新聞通信調査会による社会調査 [11] のうち、各国籍の参加者に対して他国への感情を 4 択で質問し、ポジティブな 2 つの選択肢のいずれかを回答した割合を集計したデータ― 1715 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 属性ごとの社会集団の一覧

表2

LLM へ入力する質問のテンプレート

属性社会集団質問タイプ

国籍

Chinese (CN), French (FR), British (GB),Korean (KR), Thai (TH), American (US),Japanese* (JP), Russian* (RU)

Yes/No 型

宗教

人種/民族

atheist (ATH), Catholic (CTH),
Evangelical (EVG), Jew (JEW),
Mainline Protestant, (MPR), Mormon (LDS),
Muslim* (MUS)Asian (AS), Black (BL), Hispanic (SP),White (WH)

Wh 型

*は 𝐺 to としてのみ考慮した集団であることを示す

宗教

テンプレートDo 𝐺 from like 𝐺 to ?
Do 𝐺 from love 𝐺 to ?
Do 𝐺 from appreciate 𝐺 to ?
Do 𝐺 from have good feelings on 𝐺 to ?
Do 𝐺 from have positive feelings on 𝐺 to ?
Do 𝐺 from have favorable feelings on 𝐺 to ?
How do 𝐺 from feel about 𝐺 to ?
How do 𝐺 from perceive 𝐺 to ?
How do 𝐺 from view 𝐺 to ?
What are 𝐺 from ’s feelings on 𝐺 to ?
What are 𝐺 from ’s thoughts on 𝐺 to ?
What are 𝐺 from ’s impressions on 𝐺 to ?

2022 年にアメリカで行われた Pew ResearchCenter による社会調査 [12] のうち、各宗教の信者に他宗教への好感度を 6 択で質問し、ポジティブな2 つの選択肢を回答した割合から、ネガティブな 2というテンプレートを用いて生成された質問は、“Inつの選択肢を回答した割合を減じた値を集計した

the U.S., do Asian people like Black people?” となる。
LLM の応答の揺らぎによる影響を抑制するため、データ
2019 年 に ア メ リ カ で 行 わ れ た Pew

質問テンプレートで生成された各質問は独立に 3 回

Research Center による社会調査 [13] のうち、各人種/入力し、3 つの応答を得る。質問は 12 種類存在する民族に属する参加者が他人種/民族への感情を 100ので、各社会集団ペアに対し、36 種類の応答が得ら点満点で回答した結果の平均値を集計したデータれることになる。

人 種/民 族

3

集団間の感情の抽出手順

3.1社会集団間の感情に関する質問

3.2

LLM の応答のスコア化と集計

LLM の応答に感情分析を適用することで、応答本研究では、図 1 に示す手順で、LLM から社会の感情をスコア化する。具体的には、与えられた入力に対し positive、neutral、negative である確率をそ集団間の感情をどのくらい抽出可能か評価する。まれぞれ出力する 3 値感情分析器に、LLM の各応答ず、LLM に入力する社会集団間の感情に関する質を入力し、positive である確率 𝑃pos から、negative で問を表 2 に示すようなテンプレートを用いて作成する。応答が英語で出力されるように最初に “Alwaysある確率 𝑃neg を引いた値を算出する。続いて、集団

answer in English.” と指示を与え、テンプレートを用スコアを平均する。この際、質問タイプによる感情いて作成した質問を加えたプロンプトを LLM に入の抽出性能の違いを分析できるように、Yes/No 型質力する。質問テンプレートは大きく Yes/No 型質問

問 6 種類、計 18 応答のスコアのみを平均する設定、と Wh 型質問の 2 タイプに分けることができ、各タWh 型質問 6 種類、計 18 応答のスコアのみを平均す

イプ 6 種類、合わせて 12 種類で構成される。

る設定、全質問 12 種類、計 36 応答のスコアを平均

各テンプレートの 𝐺 from および 𝐺 to の部分には、間感情を算出するため、集団ペアごとに算出されたする設定の 3 つの設定を比較する。

それぞれ感情の主体となる集団、感情の対象となる各属性について、集団の全組み合わせの感情のス集団が入る。この際、集団を意味するテキスト表現

コアを算出、集計し、社会調査の結果から得られたとして、国籍、人種/民族については “people” を後置し、宗教については複数形にして入力する。また、実データと比較する。LLM を用いて得られたスコアと、実データのスコアの分布は異なると考えられ社会調査がアメリカで実施された宗教と人種/民族るため、スコアの絶対的な差ではなく、相関係数については、質問の前に “In the U.S., ” というフレーズを追加することで、アメリカの社会集団についてにより一致度を評価する。具体的には、本研究では、LLM を用いて得られたスコアと調査データのの感情を取り出すことを明示する。例えば、アジア

Pearson の相関係数を算出することで、LLM から集人から黒人への感情に関して、“Do 𝐺 from like 𝐺 to ?”団間の感情がどの程度、抽出可能か評価する。

― 1716 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

+1+0.11 +0.26 +0.20 +0.21 +0.33 -0.03+0.10 +0.10+0.23 +0.17 +0.31 +0.29 -0.04+0.31 +0.25 -0.21 -0.02-0.05 +0.15 +0.22+0.20 +0.14 +0.24 +0.45+0.25 +0.50 +0.05+0.17 +0.24 +0.48 +0.41 +0.45+0.53 +0.03+1-0.01-0.05 +0.09 +0.07 +0.03 +0.17 -0.09+0.01 +0.01+0.15 +0.11 +0.07 +0.16 -0.06+0.15 +0.05 -0.12 -0.03+0.02 +0.10 +0.12+0.05 +0.09 +0.15 +0.15+0.11 +0.26 +0.01+0.11 +0.04 +0.13 +0.22 +0.14

65+0.18 +0.01

27+136

45

48

59

28

26

45

76

60

65

68

77

20

4367

66

79

10

56

81

40

1680

95

3184

10

2976

24

73

76

60868874

2283

865074

GPT-4 から得られた国籍間の感情スコアの集計結果と国籍の実データ．縦軸が 𝐺 from ，横軸が 𝐺 to ．

:FT/P‫࣭ܕ‬໰8I‫࣭ܕ‬໰(ρ = 0.596)-0.10-0.08-0.15-0.06-0.04-0.09+0.14+0.23+0.02+0.23+0.30+0.18+0.07+0.23-0.02+0.07+0.10+0.04+0.02+0.11+0.07+0.07+0.08+0.44+0.37+0.12+0.55+0.18+0.33+0.08+0.25+0.05+0.33+0.46+0.18.13 -%4 +&8 &7( $5) "5)-0.08-0.11-0.15-0.11-0.02-0.12+0.37࣮σʔλ(ρ = 0.582)"5) $5) &7( +&8 -%4 .13 .64+0.14+0.14+0.12-0.05+0.22+0.20-0.01+0.11+0.10+0.06-0.01+0.07+0.09+0.05+0.05+0.00+0.11+0.05+0.40+0.21+0.08+0.36+0.24+0.32+0.20+0.12+0.03+0.15+0.03+0.12"5) $5) &7( +&8 -%4 .13 .64-49-76

13-55-24-17

429

2

22-1

39-12

37-20-13

15-85137-11-40

22

19

4-40

653

43

58-15

20

328-1-2

GPT-4 から得られた宗教間の感情スコアの集計結果と宗教の実データ．縦軸が 𝐺 from ，横軸が 𝐺 to ．

-0.05-0.12#--0.01+0.01

41+0.06+0.00-0.01+0.01-0.02• GPT-3.5 Turbo (gpt-3.5-turbo-06131）)#-(ρ = 0.102)

418)"4-0.07+0.05-0.04-0.09"4"4࣮σʔλ#-418)

6266

64

73

66

-0.02-0.11

72-0.06

72

71

70

67

-0.00-0.05-0.13-0.20-0.11

#-8)

41

デフォルト設定で用いた。

8I‫࣭ܕ‬໰(ρ = 0.394)

41-0.04+0.04-0.088)

評価対象の LLM として次の 5 つの LLM を#-8)

実験設定"4"44.1:FT/P‫࣭ܕ‬໰

#-

実験"44

41.13 -%4 +&8 &7( $5) "5)$/ '3 (# ,3 5) 64+0.10 +0.07 +0.06 +0.17 +0.08 -0.05 +0.05"5) $5) &7( +&8 -%4 .13 .64

図3࣮σʔλ36.13 -%4 +&8 &7( $5) "5)

図2(ρ = 0.587)$/ '3 (# ,3 5) 648)

64 5) ,3 (# '3 $/+0.13 +0.03 +0.10 +0.26 +0.11 -0.07 +0.14+0.07

8I‫࣭ܕ‬໰36

64 5) ,3 (# '3 $/(ρ = 0.702)

64 5) ,3 (# '3 $/:FT/P‫࣭ܕ‬໰$/ '3 (# ,3 5) 647067

図 4 GPT-4 から得られた人種/民族間の感情スコアの集計結果と人種/民族の実データ．縦軸が 𝐺 from ，横軸が 𝐺 to ．

• GPT-4 (gpt-4-preview-11062）)• Llama 2-Chat 13B3）

4.2• Llama 2-Chat 70B4）• Vicuna 13B v1.55）

実験結果

LLM として GPT-4 を用いた場合の、国籍間、宗教

感情分析器には TweetNLP [14] の Sentiment Analysis

間、人種/民族間の感情スコアの集計結果と対応すを用いた。最大入力長が 512 トークンであることから、512 トークンずつ、直前の 256 トークンを重複る実データを図 2、図 3、図 4 にそれぞれ示す。各
図の左側が Yes/No 型質問に対する計 18 応答のスコさせた上で入力し、各分割での感情の生起確率を平アをまとめた結果、中央が Wh 型質問に対する計 18均し、最終的な感情スコアを算出した。また、LLMの応答を感情分析器を入力する際、出力されるスコ応答のスコアをまとめた結果となっており、𝜌 の値は右側に示す実データとの相関係数を示している。

アが感情分析モデルの持つ集団へのバイアスに影響

国籍間、および、宗教間の感情については、Yes/Noされないよう、社会集団を示す語を [MASK] トーク型質問、Wh 型質問、いずれに対しても相関係数は0.58 から 0.7 程度の値となっており、ある程度、高ンに置き換えた上で感情分析器に入力した。
1） https://platform.openai.com/docs/models/gpt-3-52） https://platform.openai.com/docs/models/gpt-43） https://huggingface.co/meta-llama/Llama-2-13b-chat4） https://huggingface.co/meta-llama/Llama-2-70b-chat5） https://huggingface.co/lmsys/vicuna-13b-v1.5

い相関で LLM から集団間の感情を抽出できていると言える。一方、人種/民族間の感情については、相関係数は Yes/No 型質問に対して 0.394、Wh 型質問に対して 0.102 と、大幅に低い値となった。

― 1717 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

:FT/Pࠃ੶
8I

BMM(155VSCP +0.611 +0.692 +0.681(15 +0.702 +0.587 +0.686-MBNB$IBU# +0.632 +0.240 +0.600-MBNB$IBU# +0.689 +0.688 +0.729
7JDVOB#W +0.431 +0.470 +0.495

:FT/Pफ‫ڭ‬
8I

BMM+0.495 +0.692 +0.648+0.596 +0.582 +0.605+0.526 +0.385 +0.473+0.538 +0.243 +0.447+0.484 +0.333 +0.445




:FT/Pਓछຽ଒
8I

BMM-0.425 -0.192 -0.378+0.394 +0.102 +0.284+0.207 +0.417 +0.337+0.264 +0.466 +0.411+0.481 +0.356 +0.449









図 5 言語モデルと質問タイプの組み合わせごとの LLM から抽出した感情スコアと実データの相関係数．

5 つの LLM それぞれについて、Yes/No 型質問、

(15UVSCP(15-MBNB$IBU#-MBNB$IBU#7JDVOB#W

Wh 型質問、および、その両方 (all) を用いて感情を抽出した場合の、実データとの相関係数をまとめた結果を図 5 に示す。国籍間、および、宗教間の感情については比較的大きな相関係数が得られることが確認できる。LLM による差はほとんど確認できなかった一方で、質問タイプについては Yes/No 型質問の方が安定した結果が得られた。Yes/No 型質問、おࠃ੶फ‫ڭ‬ਓछຽ଒

0.13

0.10

0.52

0.02

0.02

0.33

0.10

0.13

0.59

0.04

0.03

0.14

0.24

0.170.41

図 6 LLM の応答に占める回答拒否の割合．

よび、all に対しては相関係数は最低でも 0.431 と、中程度の相関が確認できたことから、Yes/No 型質問

いて、人種/民族に関するバイアスが大きな社会問題を用いることで、国籍間、宗教間の感情は LLM かとして認識されており [9]、モデル構築の際に RLHFらある程度、抽出可能であると言える。
一方、人種/民族に関しては、国籍、宗教ほど高い相関は確認できなかった。特に GPT-3.5 Turbo につを取り入れることで、LLM が人種/民族に関する質問に対して回答を拒否するようになったことが考えられる。また、全体的な傾向として、高い相関係数いては負の相関が見られた。人種/民族について、相が得られた属性・モデルの組み合わせの方が回答拒対的に低い相関しか得られなかったのは、RLHF に否率が低い傾向があることが確認できる。このことより社会的バイアスが軽減された結果、社会的に好は、LLM が質問に対し明示的な応答を避ける傾向ましくない可能性がある入力に対して明示的な回が強くなると、LLM を社会実験の代替モデルとし答を拒否するようになったためである可能性が考て利用することが困難となることを示している。

えられる。そこで、質問に対して適切に回答してい5るかという観点から LLM の応答を分類した。まず、LLM の応答には、既存の社会調査の結果を引用したものが存在しており、それらの応答の大半は “%”を含んでいたことから “%” を含むものは回答拒否でおわりに本研究では、国籍、宗教、人種/民族の 3 つの属性で規定される集団間の感情を LLM から抽出できるかの検証に取り組んだ。検証の結果、LLM から抽はない応答として機械的に判定した。続いて、残り出された、日常的なテキスト表現により緩やかに規の応答に対し、Vicuna 13B v1.5 を用いた zero-shot 分

定された国籍や宗教に関する社会集団間の感情は、

類6）により、回答拒否とみなせる応答と、そうでない応答に分類し、全応答に占める回答拒否となる応

社会調査によって得られた集団間の感情との高い相関を示すことがわかった。一方で、LLM が関連する質問への回答を拒否する割合が高い人種/民族は、答の割合を算出した。結果を図 6 に示す。
国籍や宗教に比べ、人種/民族は回答の拒否率がい

国籍や宗教に比べ、集団間の感情の抽出が難しいこずれのモデルにおいても高いことが確認できる。ことが判明した。今後の展望として、社会集団間以外のような結果となる理由として、特にアメリカにおの集団間の感情抽出や、英語以外の言語での入力が感情抽出へ与える影響について検証を検討したい。

6） zero-shot 分類の詳細および性能については付録 A に示す。

― 1718 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] OpenAI. GPT-4 Technical Report. 2023.
[2] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert,
Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov,
Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al.
Llama 2: Open foundation and ﬁne-tuned chat models.
arXiv preprint arXiv:2307.09288, 2023.
[3] Gati V Aher, Rosa I. Arriaga, and Adam Tauman Kalai. Using Large Language Models to Simulate Multiple Humans
and Replicate Human Subject Studies. In Proceedings ofceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP): System Demonstrations, 2022.

the 40th International Conference on Machine Learning (ICML), pp. 337–371, 2023.

[4] John J Horton. Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus?
arXiv preprint arXiv:2301.07543, 2023.
[5] Lisa P Argyle, Ethan C Busby, Nancy Fulda, Joshua R
Gubler, Christopher Rytting, and David Wingate. Out ofOne, Many: Using Language Models to Simulate HumanSamples. Political Analysis, Vol. 31, No. 3, pp. 337–351,2023.
[6] Junsol Kim and Byungkyu Lee. AI-Augmented Surveys:
Leveraging Large Language Models for Opinion Prediction in Nationally Representative Surveys. arXiv preprint
arXiv:2305.09620, 2023.
[7] Shibani Santurkar, Esin Durmus, Faisal Ladhak, Cinoo
Lee, Percy Liang, and Tatsunori Hashimoto. Whose Opinions Do Language Models Reﬂect?
arXiv preprint
arXiv:2303.17548, 2023.
[8] Hannah Rose Kirk, Yennie Jun, Filippo Volpin, Haider
Iqbal, Elias Benussi, Frederic Dreyer, Aleksandar Shtedritski, and Yuki Asano. Bias Out-of-the-Box: An EmpiricalAnalysis of Intersectional Occupational Biases in Popular
Generative Language Models. pp. 2611–2624, 2021.
[9] Emily M. Bender, Timnit Gebru, Angelina McMillanMajor, and Shmargaret Shmitchell. On the Dangers ofStochastic Parrots: Can Language Models Be Too Big?
In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (FAccT), p.
610–623, 2021.
[10] Long Ouyang, Jeﬀrey Wu, Xu Jiang, Diogo Almeida, Carroll Wainwright, Pamela Mishkin, Chong Zhang, SandhiniAgarwal, Katarina Slama, Alex Ray, et al. Training Language Models to Follow Instructions with Human Feedback. In Advances in Neural Information Processing
Systems (NeurIPS), pp. 27730–27744, 2022.
[11] 新聞通信調査会. 第 9 回 諸外国における対日メディア世論調査, 2023.
[12] Pew Research Center. Americans Feel More Positive Than
Negative About Jews, Mainline Protestants, and Catholics,
2023.
[13] Pew Research Center. Views on Race in America 2019,2019.
[14] Jose Camacho-Collados, Kiamehr Rezaee, Talayeh Riahi, Asahi Ushio, Daniel Loureiro, Dimosthenis Antypas,Joanne Boisson, Luis Espinosa-Anke, Fangyu Liu, Eugenio Martı́nez-Cámara, et al. TweetNLP: Cutting-Edge
Natural Language Processing for Social Media. In Pro-― 1719 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

Zero-shot 分類の詳細
Vicuna 13B v1.5 を用いた LLM の応答の分類は図7 に示すプロンプトを用いて行った。[Question]、[Answer] の部分に対応する質問、応答を入力し、“Label:” に続く出力の先頭 3 トークンに含まれる数字を予測ラベルとして扱った。
Reading a question-answer pair, classify theanswer along the criterion below.
Label 0: the answer only discusses thedanger of generalization or biases.
Label 1: the answer provides even just alittle information to help understand therelationship between two groups.
Question: [Question]
Answer: [Answer]
Label:
図 7 Zero-shot 分類に用いたプロンプト

また、分類性能を評価するため、国籍間の感情に関する LLM の応答 200 例に対し人手によるアノテーションを行い、そのデータを用いて分類性能を評価した。アノテーションの際は、まず社会調査の結果を引用したと考えられるものをラベル 2 とし、残りの応答例を回答拒否 (ラベル 0) とそれ以外 (ラベル 1) に分類した。アノテーションは 2 名で実施し、2 名のラベルが一致した 179 例を用い、Vicuna
13B v1.5 による分類性能を評価した。分類性能の評
価結果を表 3 に示す。
表3アノテーション済の回答の分類結果

正解 \ 予測ラベル 0ラベル 1

ラベル 2合計

ラベル 0
ラベル 1
ラベル 2

111101141000151215215

合計

2214215179― 1720 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).