# 社会的状況を踏まえた大規模言語モデルによる 日本語メール生成

Muxuan $\mathrm{Liu}^{1,2}$ 石垣達也 ${ }^{2}$ 宮尾祐介 ${ }^{3,2}$ 高村大也 ${ }^{2}$ 小林一郎 1,2
1 お茶の水女子大学大学院 2 産業技術総合研究所 3 東京大学
\{liu.muxuan,koba\}@is.ocha.ac.jp yusuke@is.s.u-tokyo.ac.jp
\{ishigaki.tatsuya, takamura.hiroya\}@aist.go.jp

## 概要

本稿では，LlaMa-2 モデルを用いて，LLM が日本語ビジネスメールの社会的状況を反映している文脈を理解する能力を探求した．異なる社会的立場や身分を示すアノテーションラベルを学習させることで，モデルにどのような情報を入力することが社会的な文脈を反映させるのに効果的かを検証した。アブレーション実験を通じて，各種アノテーションラベルの組み合わせがモデルのテキスト生成に与える影響を分析した。これにより，社会的状況を反映したテキスト生成の精度を高めるために必要なアノテーションラベルを特定できた.

## 1 はじめに

LLM (Large Language Model，大規模言語モデル) は，深層学習分野での目覚ましい進展を遂げ，特に自然言語生成において重要な役割を果たしている。近年, LLM がどのように知識を処理し，特定の知識に適応するかに関する研究が増加している [1-7].本稿では, 日本語のビジネスメール生成における LLM の能力を探求し, 特に社会的地位や文化的要素を考慮した言語表現の自動生成に焦点を当てる。日本語のビジネスメールでは，敬語の使用や社会的地位に応じた言語表現が重要である. これらの要素は，メールの内容や文脈に深く影響を与え，適切なコミュニケーションを保証するために不可欠である. 本稿では, 日本語のビジネスメールデータセットおよび Meta AI が開発した LlaMa-2-7B モデル1)を用いて，受信者と送信者の社会的地位に関連するアノテーションラベルを基に日本語メールを自動生成する実験を行った. 具体的に，アブレーション実験を行い，それぞれのアノテーションラベルがメール生成に与える影響を評価した.この実験を通じて， メール生成の品質を向上させるための具体的なラべルが特定された。

## 2 関連研究

最近の研究によると，LLM が知識をどのように処理し，異なる文化や社会的文脈に適応するかに関する探究が進んでいる．例えば，Farquhar らは教師なし環境下での LLM を分析し, データの前処理, モデルの解釈性，および知識発見の精度と信頼性に関連する主要な課題を議論した [7]. Kovač らは, LLM が異なる文化的視点や個人的価値観，個性特性をどのように反映しているかを評価している．彼らは，心理学のアンケートを用いて，LLM の視点の制御可能性を分析し，個人的価値観や文化的価値観，個性特性を LLM から反映させる方法を探っている [8]. Masoud らは，文化的整合性の枠組みを用いて，LLMが異なる文化的価値観にどの程度適応できるかを定量的に分析している。彼らは, Hofstede の文化次元 [9] を基に，LLM が文化的価値観をどの程度反映しているかを評価している [10]. Nguyen らは，167 言語に対応した多言語データセットの開発とその利用方法について報告している.このデー タセットは，LLMが多様な言語文化を学習し，異なる文化的文脈に適応するための基盤を提供している [11]. Salewski らは，LLM が異なる年齢，専門分野，性別，肌の色などの異なる属性を持つ人物をどの程度正確に模倣できるかを評価し，LLM が社会的特性やバイアスをどのように反映しているかを明らかにしている [12].

これらの研究は, LLM の知識処理と社会的適応性の多様な側面に光を当て，多様な視点を理解し表現する能力を有しているかを検証している。


## 3 実験

## 3.1 コーパス

実験では，社会的状況な文脈を反映した日本語ビジネスメールコーパス [13]を活用した. このコーパスは, 話者間の社会的地位や親密度といった社会的状況が日本語の使用に及ぼす影響を分析するために構築されている。特に，社会的地位が明確に示される表現が含まれるビジネスメールを収集し，その中での発話者の役割や上下関係を示すタグによるアノテーションを行なっている. アノテーションには社会的状況を踏まえた言語体系の成り立ちを考察している選択体系機能言語学 [14] でのコンテクスト情報を利用し, 選択体系網と呼ばれる選択肢からなる体系によって表現された社会的な要因に関する情報を付与している. これにより, 社会的役割に関連する情報を重視したコーパスが形成されている.

## 3.2 方法

実験では，表 1 に示されたアブレーションの設定に基づきおこなった。また，表 2 に示される通り，日本語ビジネスメールコーパスには様々な送信者の動向に対応する 770 場面が含まれていおり，各場面には， 5 人の異なる作業者によって書かれたメールが含まれている. 実験では，これら 770 場面の中から無作為に 403 場面を選択し, それぞれの場面からランダムに 1 通のメールを選んで評価データとして使用し, 評価データ以外のメールを訓練データとして利用した. 表 3 で示されたコーパスの例のように，コーパスから抽出した「場面」「本文」や「ラべル」データを入力として，LlaMa-2 モデルをファインチューニングすることにより，社会的状況を考慮したテキスト生成の能力を向上させることを目的とした. 具体的には，コーパスに含まれる 11 種類の社会的関係性を示すラベル（たとえば，話者間の上下関係や身分，そして内外の関係性など）を用いて，アブレーション実験を通じて，これらのラベルが生成するテキストにどのような影響を与えるかを検証した. アブレーション実験のためのパラメータについては，学習率を 1e-4，エポック数を 100 回, 1 回の訓練でのバッチサイズを 4 , および勾配の累積ステップ数を 2 に設定した. 自動デバイスマッピングと BF16 精度を利用し, モデルのメモリ使用量と計算効率を最適化した. 学習完了後, 各ファイン
チューニングモデルには出力上限を 300 トークンに設定し，新たなメールを生成させた。また，生成されたメールの品質を比較するために，LLaMa-2-7B モデルも同様の場面を用いて 403 通のメールを生成させた.

表 1: アブレーション実験の詳細

表 2: コーパスの特徴を示す統計量（[13] より引用 ᄂ, 一部改変)

 & メール数 \\

依頼 & 100 & 0.13 & 500 \\
軁 & 100 & 0.13 & 500 \\
催促 & 100 & 0.13 & 500 \\
感謝 & 100 & 0.13 & 500 \\
挨拶 & 100 & 0.13 & 500 \\
お知らせ & 100 & 0.13 & 500 \\
問い合わせ & 100 & 0.13 & 500 \\

## 3.3 評価方法

## 3.3.1 GPT-4を利用した自動評価

本稿では，GPT-4 を活用し，各モデルが生成したメール文を一定のルールに従って, Few-shot Prompting [15,16] の形式で GPT-4 に入力し, 各生成モデルから出力されたトピックの特性を観察し，それぞれのモデルが生成するメールの内容についてスコアおよびそのスコアを付ける理由を求める. LLM によるスコアリングの不確定性については， LLM が入力の順序に敏感であることが明らかにされている [17]. 特に, 結果の順序によっては, 全く反対の結論に至る可能性があることが指摘されている. LLM は, 特定の位置の回答に偏りがちであるとされ，これは「ポジショナル・バイアス（Positional Bias)」という現象として認識されている. 評価対象
表 3: コーパスの一例

場面あなたはスーパーの従業員です。顧客から、買ってみたら賞味期限切れの商品だったとのクレームがありました。その客へお詫びのメールを書いてください。

本文

件名: 賞味期限切れのお問い合わせにつきまして

A 様

日頃から当スーパーのご利用を頂き，誠に有難うございます。

お問い合わせの商品につきまして，賞味期限切れであったとのご指摘を頂きまして、確認したところ当スーパーの不手際でした。

今後このようなミスが無いよう，万全を期するべく努めてまいります。

誠に申し訳ございませんでした。

尚，当該商品に於ましては賞味期限内の商品とお取り替えさせて頂きたく考えております。

お手数をおかけしますが、お立ち寄りの際は当スーパー のサービスカウンターにて係の者に、商品と一緒にその旨お申し付け下さい。

$\mathrm{xx}$ スーパー担当 $\mathrm{xx}$

ラベル (対話参加者)

上下関係（受信者）

上下関係（送信者）

送信者身分

受信者身分

内外関係

送信者数

受信者数

ラベル (発話機能)

送信者の動き(詳細) 謝罪

やりとりにおける役割与える

やりとりされるもの $\quad$ 情報

となる複数の選択肢の品質に大きな違いがあればあるほど，ポジショナル・バイアスの影響は軽減される傾向にある．この問題への対策として，複数回のスコアを取り，平均値を取るか，何回も入力の順序を変えてスコアの平均値を取る方法が提案されている. そこで，本稿では，スコアを 3 回取り，その平均值を求めるアプローチを採用している.

## 3.3.2 社会的状況のラベルに基づいた人手評価

GPT-4 の評価に使用された 15 の場面を再利用し,各モデルが生成されたメールがどの程度それらのラベルを反映しているかについて人手で評価する。さらに，各モデルが生成されたメール中に，特定の単語やフレーズが存在するかどうかを分析し，それらが我々の期待に応える形で含まれているかを検証する. そして，各モデルが生成した結果を横断的に比較し，モデル間の性能差を評価することにも焦点を当てる.

## 4 結果と考察

以上の各ルールに違反するたびに1点を差し引き、満点は6点。以下のメールに対して、以上のルールに従い、スコアを出力する。

図 1: Few-shot Prompting の設計

メールの細かな部分を評価するために，3.3.1 節で紹介した GPT-4 に，ランダムに選んだ 15 場面を採点させた. 図 1 で示されている Few-shot Prompting により，モデルは 3 つの例および 6 つの採点基準のルールを学び取り，それに基づいて評価を行う。付録の図 5 の下部に示されている評価の例ように，以上の各ルールに違反するたびに 1 点を差し引き，満点は 6 点である．メールに対して，以上のルールに従い，GPT-4 がスコアを出力する。これにより，各モデルが生成した同一場面のメールの品質を評価し，生成のパフォーマンスを比較する。

図 3 より, Model-6 と Model-7 が最も高い平均スコアを獲得しており，全体的に均衡の取れた高い性能を示しており，Model-6 と Model-7 が使用されたラベルだけで十分に社会的状況を反映した文生成は可能だと考えられる。一方で，ファインチューニングされていない LlaMa-2-7B は性能が著しく低いことがわかる．付録の図 5 の上部に示されているように，LlaMa-2-7B は，生成されたメールの大部分は重複する文が多く含まれており，メールの内容を適切に生成することは難しいことが判明した。

図 2: 各モデルの平均評価スコアの比較

図 3: 各モデルの平均合計スコアの比較

また，3.3.2 節で紹介した評価方法で，各モデルが生成したメールの内容における特定のラベルの出現頻度を分析した. 図 4 で示されているように， Model-6, Model-7, Model-8 は, ほぼ全てのラベルで高い頻度を示している．特に「受信者の社会的立場」と「送信者の社会的立場」で最高頻度 (15 回) を記録しており，これらのモデルがメールにおける多様な側面を均等に表現していることを示唆している. Model-4, Model-5, Model-9 は高い頻度で多様なラベルを表現しているが，「やりとりにおける役割」 と「やりとりされるもの」の頻度はやや低めである. Model-2，Model-3 は，「内外関係」と「送信者数」で高い頻度を示しているが，「受信者身分」と「やりとりにおける役割」で比較的低い頻度となっている。 LlaMa-2-7B は全体的に低い頻度を示し, すべてのラベルで 2 回以下の出現となっている. Model-1 は,「送信者数」と「受信者数」で高い頻度（15 回と 12 回）を示しているが，「やりとりにおける役割」と 「やりとりされるもの」の頻度は比較的低く（4 回と 5 回), これらの側面の表現には改善の余地がある.以上の結果から，GPT-4を用いた分析に加えて，訓練された際に使用されたラベルを見ると，効果をもたらした重要なラベルには，受信者の社会的立場，送信者の社会的立場，送信者身分，受信者身分，内

図 4: 各モデルにおけるラベルの反映の比較

外関係，送信者数，受信者数が含まれる．これらのラベルの追加でモデルの性能と適応性を顕著に向上させたと言える。また，全体的に，付録の表 4 で示されているような複雑な場面では，モデルが登場人物間の関係性を混同しやすく，メールの内容が目的から逸脱することが多いことがわかる. 対照的に，付録の表 5 で示されているような人物関係がシンプルな場面では，限られた要素に集中することで，より適切な内容を生成できることがわかる.

## 5 おわりに

本稿では，異なる社会的立場や身分を示すアノテーションラベルを学習させて，それらがテキスト生成に及ぼす効果を検証し，アブレーション実験を通じてラベルの組み合わせがテキスト生成に与える影響を分析し，社会的状況を反映したメール生成の精度を高めるためのラベルを特定できた.

## 謝辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の助成事業 (JPNP20006) による支援の結果得られたものである.

## 参考文献

[1] Shirui Pan, Linhao Luo, Yufei Wang, Chen Chen, Jiapu Wang, and Xindong Wu. Unifying large language models and knowledge graphs: A roadmap. arXiv preprint arXiv:2306.08302, 2023.

[2] Huajun Chen. Large knowledge model: Perspectives and challenges. arXiv preprint arXiv:2312.02706, 2023.

[3] Tiezheng Guo, Qingwen Yang, Chen Wang, Yanyi Liu, Pan Li, Jiawei Tang, Dapeng Li, and Yingyou Wen. Knowledgenavigator: Leveraging large language models for enhanced reasoning over knowledge graph. arXiv preprint arXiv:2312.15880, 2023

[4] Baolin Peng, Michel Galley, Pengcheng He, Hao Cheng, Yujia Xie, Yu Hu, Qiuyuan Huang, Lars Liden, Zhou Yu, Weizhu Chen, et al. Check your facts and try again: Improving large language models with external knowledge and automated feedback. arXiv preprint arXiv:2302.12813, 2023.

[5] Yuxuan Huang. Llm-ark: Knowledge graph reasoning using large language models via deep reinforcement learning. arXiv preprint arXiv:2312.11282, 2023.

[6] Bowen Jin, Gang Liu, Chi Han, Meng Jiang, Heng Ji, and Jiawei Han. Large language models on graphs: A comprehensive survey. arXiv preprint arXiv:2312.02783, 2023.

[7] Sebastian Farquhar, Vikrant Varma, Zachary Kenton, Johannes Gasteiger, Vladimir Mikulik, and Rohin Shah. Challenges with unsupervised $1 \mathrm{~m}$ knowledge discovery. arXiv preprint arXiv:2312.10029, 2023.

[8] Grgur Kovač, Masataka Sawayama, Rémy Portelas, Cédric Colas, Peter Ford Dominey, and Pierre-Yves Oudeyer. Large language models as superpositions of cultural perspectives. arXiv preprint arXiv:2307.07870, 2023.

[9] Geert Hofstede, Gert Jan Hofstede, and Michael Minkov. Cultures and Organizations: Software of the Mind. McGraw-Hill Professional, 3rd edition, 2010.

[10] Reem I Masoud, Ziquan Liu, Martin Ferianc, Philip Treleaven, and Miguel Rodrigues. Cultural alignment in large language models: An explanatory analysis based on hofstede's cultural dimensions. arXiv preprint arXiv:2309.12342, 2023

[11] Thuat Nguyen, Chien Van Nguyen, Viet Dac Lai, Hieu Man, Nghia Trung Ngo, Franck Dernoncourt, Ryan A Rossi, and Thien Huu Nguyen. Culturax: A cleaned, enormous, and multilingual dataset for large language models in 167 languages. arXiv preprint arXiv:2309.09400, 2023.

[12] Leonard Salewski, Stephan Alaniz, Isabel Rio-Torto, Eric Schulz, and Zeynep Akata. In-context impersonation reveals large language models' strengths and biases. arXiv preprint arXiv:2305.14930, 2023.

[13] MuxuanLiu - 石垣達也 - 上原由衣 - 宮尾祐介・高村大也・小林一郎. 社会的状況に基づいた日本語ビジ
ネスメールコーパスの構築. 言語処理学会年次大会発表論文集, No. 29, 2023.

[14] M. A. K. Halliday and Christian M. I. M. Matthiessen. Halliday's introduction to functional grammar /. Routledge,, Abingdon, Oxon :, 4th ed. edition, 2014.

[15] Yisheng Song, Ting Wang, Puyu Cai, Subrota K Mondal, and Jyoti Prakash Sahoo. A comprehensive survey of few-shot learning: Evolution, applications, challenges, and opportunities. ACM Computing Surveys, 2023.

[16] Yaqing Wang, Quanming Yao, James T Kwok, and Lionel M Ni. Generalizing from a few examples: A survey on few-shot learning. ACM computing surveys (csur), Vol. 53, No. 3, pp. 1-34, 2020

[17] Peiyi Wang, Lei Li, Liang Chen, Dawei Zhu, Binghuai Lin, Yunbo Cao, Qi Liu, Tianyu Liu, and Zhifang Sui. Large language models are not fair evaluators. arXiv preprint arXiv:2305.17926, 2023.

## 付録

$
\begin{aligned}
& \text { model_Llama-7B_output : } \\
& \begin{array}{l}
\text { modelLar, } \\
\text { こんにちは, }
\end{array}
\end{aligned}
$

$
\begin{aligned}
& \text { 員に急遽メールを書いているところです。 } \\
& \text { あなたは学園祭の出し物についての希望を聞くためにサークルのメンバー全 }
\end{aligned}
$

$
\begin{aligned}
& \text { 員に急遽メールを書いているところです。 } \\
& \text { あなたは学園祭の出し物についての希望を聞くためにサークルのメンバー } \\
& \text { Model Llama-7B のスコア: } 1 / 6 \\
& \text { ゙゙明記されていまサん。 } \\
& \text { 2. 適切な呼びかけ：0点メールの始めに受信者への適切な呼びかけがありませ } \\
& \text { 3. 自己紹介：0点メールの始めに送信者の自己紹介がありません。 } \\
& \text { 4. 具体的な内容と目的: 1点学園祭の出し物についての希望を聞くためにメー } \\
& \begin{array}{l}
\text { ルを書いているという内容が明記されています。 } \\
\text { ・終わ挨授と礼儀正しい言某使い：0点メーのの終わりに挨挨や礼儀正し }
\end{array} \\
& \text { V言葉使いがありません } \\
& \text { 明確な署名 : 0点メールの最後に送信者の署名がありません }
\end{aligned}
$

図 5: 上部：LlaMa-2-7B が生成されたメール；下部： GPT- 4 による評価

表 4: 多数の登場人物の識別に苦労することを示すメールの出力例（スペース節約のため，一部のフォーマットを省略し，テキストのみを保持）

表 5: 比較的に場面の識別には苦労しないことを示すメールの出力例（スペース節約のため，一部のフォーマットを省略し，テキストのみを保持）