言語処理学会 第30回年次大会 発表論文集（2024年3月）

社会的状況を踏まえた大規模言語モデルによる日本語メール生成
Muxuan Liu1,2 石垣達也 2 宮尾祐介 3,2 高村大也 2 小林一郎 1,2
1 お茶の水女子大学大学院 2 産業技術総合研究所 3 東京大学
{liu.muxuan,koba}@is.ocha.ac.jp
yusuke@is.s.u-tokyo.ac.jp{ishigaki.tatsuya, takamura.hiroya}@aist.go.jp

概要
本稿では，LlaMa-2 モデルを用いて，LLM が日本
語ビジネスメールの社会的状況を反映している文脈を理解する能力を探求した．異なる社会的立場や身分を示すアノテーションラベルを学習させること
で，モデルにどのような情報を入力することが社会的な文脈を反映させるのに効果的かを検証した．ア
ブレーション実験を通じて，各種アノテーションラ
ベルの組み合わせがモデルのテキスト生成に与える影響を分析した．これにより，社会的状況を反映したテキスト生成の精度を高めるために必要なアノテーションラベルを特定できた．

1

はじめに

LLM（Large Language Model，大規模言語モデル）
は，深層学習分野での目覚ましい進展を遂げ，特に自然言語生成において重要な役割を果たしている．
近年，LLM がどのように知識を処理し，特定の知識に適応するかに関する研究が増加している [1–7]．
本稿では，日本語のビジネスメール生成におけるLLM の能力を探求し，特に社会的地位や文化的要素を考慮した言語表現の自動生成に焦点を当てる．
日本語のビジネスメールでは，敬語の使用や社会的地位に応じた言語表現が重要である．これらの要素
は，メールの内容や文脈に深く影響を与え，適切なコミュニケーションを保証するために不可欠である．本稿では，日本語のビジネスメールデータセッ
トおよび Meta AI が開発した LlaMa-2-7B モデル1）を用いて，受信者と送信者の社会的地位に関連するアノテーションラベルを基に日本語メールを自動生成する実験を行った．具体的に，アブレーション実験を行い，それぞれのアノテーションラベルがメール生成に与える影響を評価した．この実験を通じて，メール生成の品質を向上させるための具体的なラベルが特定された．

2

関連研究

最近の研究によると，LLM が知識をどのように処理し，異なる文化や社会的文脈に適応するかに関する探究が進んでいる．例えば，Farquhar らは教師なし環境下での LLM を分析し，データの前処理，モデルの解釈性，および知識発見の精度と信頼性に関連する主要な課題を議論した [7]．Kovač らは，
LLM が異なる文化的視点や個人的価値観，個性特性をどのように反映しているかを評価している．彼
らは，心理学のアンケートを用いて，LLM の視点の制御可能性を分析し，個人的価値観や文化的価値観，個性特性を LLM から反映させる方法を探っている [8]．Masoud らは，文化的整合性の枠組みを用
いて，LLM が異なる文化的価値観にどの程度適応できるかを定量的に分析している．彼らは，Hofstedeの文化次元 [9] を基に，LLM が文化的価値観をどの程度反映しているかを評価している [10]．Nguyen
らは，167 言語に対応した多言語データセットの開発とその利用方法について報告している．このデー
タセットは，LLM が多様な言語文化を学習し，異なる文化的文脈に適応するための基盤を提供している [11]．Salewski らは，LLM が異なる年齢，専門分
野，性別，肌の色などの異なる属性を持つ人物をどの程度正確に模倣できるかを評価し，LLM が社会的特性やバイアスをどのように反映しているかを明らかにしている [12]．
これらの研究は，LLM の知識処理と社会的適応性の多様な側面に光を当て，多様な視点を理解し表現する能力を有しているかを検証している.

1） https://huggingface.co/meta-LlaMa/LlaMa-2-7b-hf― 2560 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

3

実験

3.1

コーパス

チューニングモデルには出力上限を 300 トークンに設定し，新たなメールを生成させた．また，生成されたメールの品質を比較するために，LLaMa-2-7B
モデルも同様の場面を用いて 403 通のメールを生成実験では，社会的状況な文脈を反映した日本語ビさせた．

ジネスメールコーパス [13] を活用した．このコーパスは，話者間の社会的地位や親密度といった社会的状況が日本語の使用に及ぼす影響を分析するために構築されている．特に，社会的地位が明確に示される表現が含まれるビジネスメールを収集し，その中での発話者の役割や上下関係を示すタグによるアノテーションを行なっている．アノテーションには社会的状況を踏まえた言語体系の成り立ちを考察している選択体系機能言語学 [14] でのコンテクスト情報を利用し，選択体系網と呼ばれる選択肢からなる体系によって表現された社会的な要因に関する情報を付与している．これにより，社会的役割に関連する情報を重視したコーパスが形成されている．

3.2

方法

実験では，表 1 に示されたアブレーションの設定に基づきおこなった．また，表 2 に示される通り，
日本語ビジネスメールコーパスには様々な送信者の動向に対応する 770 場面が含まれていおり，各場面には，5 人の異なる作業者によって書かれたメールが含まれている．実験では，これら 770 場面の中から無作為に 403 場面を選択し，それぞれの場面から

表 1: アブレーション実験の詳細
モデル番号
Model-0
Model-1
Model-2
Model-3
Model-4
Model-5
Model-6
Model-7
Model-8
Model 9

メール本文と場面のみ
Model-0 のラベル＋受信者の社会的立場
Model-1 のラベル＋送信者の社会的立場
Model-2 のラベル＋送信者身分
Model-3 のラベル＋受信者身分
Model-4 のラベル＋内外関係
Model-5 のラベル＋送信者数
Model-6 のラベル＋受信者数
Mode-7 のラベル＋送信者の動き，送信者の動き (詳細)
全てのラベルを使用

表 2: コーパスの特徴を示す統計量（ [13] より引用
し，一部改変）送信者の動き

場面数

場面数
（割合）

メール数

断り
依頼
謝罪
催促
感謝
挨拶
お知らせ
問い合わせ

70
100
100
100
100
100
100
100
770

0.09
0.13
0.13
0.13
0.13
0.13
0.13
0.13
1

350
500
500
500
500
500
500
500
3850

合計

ランダムに 1 通のメールを選んで評価データとして使用し，評価データ以外のメールを訓練データとして利用した．表 3 で示されたコーパスの例のよう使用されたコーパスのラベル

3.3

評価方法

3.3.1

GPT-４を利用した自動評価に，コーパスから抽出した「場面」「本文」や「ラベル」データを入力として，LlaMa-2 モデルをファイ
ンチューニングすることにより，社会的状況を考慮したテキスト生成の能力を向上させることを目的とした．具体的には，コーパスに含まれる 11 種類の社会的関係性を示すラベル（たとえば，話者間の上下関係や身分，そして内外の関係性など）を用いて，アブレーション実験を通じて，これらのラベルが生成するテキストにどのような影響を与えるかを検証した．アブレーション実験のためのパラメータについては，学習率を 1e-4，エポック数を 100 回，
1 回の訓練でのバッチサイズを 4，および勾配の累積ステップ数を 2 に設定した．自動デバイスマッピ
ングと BF16 精度を利用し，モデルのメモリ使用量と計算効率を最適化した．学習完了後，各ファイン

本稿では，GPT-4 を活用し，各モデルが生成した メ ー ル 文 を 一 定 の ル ー ル に 従 っ て，Few-shot
Prompting [15, 16] の形式で GPT-4 に入力し，各生成モデルから出力されたトピックの特性を観察し，それぞれのモデルが生成するメールの内容について
スコアおよびそのスコアを付ける理由を求める．
LLM によるスコアリングの不確定性については，
LLM が入力の順序に敏感であることが明らかにされている [17]．特に，結果の順序によっては，全く反対の結論に至る可能性があることが指摘されている．LLM は，特定の位置の回答に偏りがちであるとされ，これは「ポジショナル・バイアス（Positional
Bias）」という現象として認識されている．評価対象― 2561 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

当てる．

表 3: コーパスの一例
場面 あなたはスーパーの従業員です。顧客から、買ってみたら賞味期限切れの商品だったとのクレームがありました。その客へお詫びのメールを書いてください。
本文
件名: 賞味期限切れのお問い合わせにつきまして
A様

結果と考察

4

日頃から当スーパーのご利用を頂き，誠に有難うございます。
お問い合わせの商品につきまして，賞味期限切れであったとのご指摘を頂きまして、確認したところ当スーパーの不手際でした。
今後このようなミスが無いよう，万全を期するべく努めてまいります。
誠に申し訳ございませんでした。
尚，当該商品に於ましては賞味期限内の商品とお取り替
えさせて頂きたく考えております。
お手数をおかけしますが、お立ち寄りの際は当スーパーのサービスカウンターにて係の者に、商品と一緒にその旨お申し付け下さい。
xx スーパー 担当 xx
ラベル (対話参加者)
上下関係（受信者）
上下関係（送信者）
送信者身分
受信者身分
内外関係
送信者数
受信者数
ラベル (発話機能)
送信者の動き
送信者の動き (詳細)やりとりにおける役割
やりとりされるもの

目上
目下
従業員
顧客
外
個人
個人

図 1: Few-shot Prompting の設計

陳述
謝罪
与える
情報

メールの細かな部分を評価するために，3.3.1 節で紹介した GPT-4 に，ランダムに選んだ 15 場面を採点させた．図 1 で示されている Few-shot Prompting
により，モデルは 3 つの例および 6 つの採点基準のとなる複数の選択肢の品質に大きな違いがあればあルールを学び取り，それに基づいて評価を行う．付るほど，ポジショナル・バイアスの影響は軽減される傾向にある．この問題への対策として，複数回の録の図 5 の下部に示されている評価の例ように，以上の各ルールに違反するたびに 1 点を差し引き，満スコアを取り，平均値を取るか，何回も入力の順序

点は 6 点である．メールに対して，以上のルールにを変えてスコアの平均値を取る方法が提案されてい従い，GPT-4 がスコアを出力する．これにより，各る．そこで，本稿では，スコアを 3 回取り，その平モデルが生成した同一場面のメールの品質を評価

均値を求めるアプローチを採用している．

し，生成のパフォーマンスを比較する．
図 3 より，Model-6 と Model-7 が最も高い平均ス

社会的状況のラベルに基づいた人手評価

コアを獲得しており，全体的に均衡の取れた高い性GPT-4 の評価に使用された 15 の場面を再利用し，能を示しており，Model-6 と Model-7 が使用された各モデルが生成されたメールがどの程度それらのララベルだけで十分に社会的状況を反映した文生成はベルを反映しているかについて人手で評価する．さ

可能だと考えられる．一方で，ファインチューニン

らに，各モデルが生成されたメール中に，特定の単グされていない LlaMa-2-7B は性能が著しく低いこ語やフレーズが存在するかどうかを分析し，それらが我々の期待に応える形で含まれているかを検証すとがわかる．付録の図 5 の上部に示されているよう

3.3.2

る．そして，各モデルが生成した結果を横断的に比較し，モデル間の性能差を評価することにも焦点をに，LlaMa-2-7B は，生成されたメールの大部分は重複する文が多く含まれており，メールの内容を適切に生成することは難しいことが判明した．

― 2562 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 2: 各モデルの平均評価スコアの比較

図 3: 各モデルの平均合計スコアの比較
また，3.3.2 節で紹介した評価方法で，各モデルが生成したメールの内容における特定のラベルの出現頻度を分析した．図 4 で示されているように，
Model-6，Model-7，Model-8 は，ほぼ全てのラベルで高い頻度を示している．特に「受信者の社会的立

図 4: 各モデルにおけるラベルの反映の比較場」と「送信者の社会的立場」で最高頻度（15 回）を記録しており，これらのモデルがメールにおける多様な側面を均等に表現していることを示唆してい外関係，送信者数，受信者数が含まれる．これらのラベルの追加でモデルの性能と適応性を顕著に向上

る．Model-4，Model-5，Model-9 は高い頻度で多様なラベルを表現しているが，「やりとりにおける役割」

させたと言える．また，全体的に，付録の表 4 で示と「やりとりされるもの」の頻度はやや低めである．

物間の関係性を混同しやすく，メールの内容が目的

Model-2，Model-3 は，「内外関係」と「送信者数」でから逸脱することが多いことがわかる．対照的に，高い頻度を示しているが，「受信者身分」と「やりと付録の表 5 で示されているような人物関係がシンプ

りにおける役割」で比較的低い頻度となっている．

ルな場面では，限られた要素に集中することで，よLlaMa-2-7B は全体的に低い頻度を示し，すべてのラり適切な内容を生成できることがわかる．

ベルで 2 回以下の出現となっている．Model-1 は，「送信者数」と「受信者数」で高い頻度（15 回と 12されているような複雑な場面では，モデルが登場人

おわりに

5

回）を示しているが，「やりとりにおける役割」と本稿では，異なる社会的立場や身分を示すアノ「やりとりされるもの」の頻度は比較的低く（4 回とテーションラベルを学習させて，それらがテキスト

5 回），これらの側面の表現には改善の余地がある．

生成に及ぼす効果を検証し，アブレーション実験を

以上の結果から，GPT-4 を用いた分析に加えて，訓通じてラベルの組み合わせがテキスト生成に与える影響を分析し，社会的状況を反映したメール生成の練された際に使用されたラベルを見ると，効果をもたらした重要なラベルには，受信者の社会的立場，

精度を高めるためのラベルを特定できた．

送信者の社会的立場，送信者身分，受信者身分，内― 2563 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
この成果は，国立研究開発法人新エネルギー・産業[14]

技術総合開発機構 (NEDO) の助成事業 (JPNP20006)
による支援の結果得られたものである．

[15]

参考文献
[1] Shirui Pan, Linhao Luo, Yufei Wang, Chen Chen, Jiapu
Wang, and Xindong Wu. Unifying large language models and knowledge graphs: A roadmap. arXiv preprint
arXiv:2306.08302, 2023.
[2] Huajun Chen. Large knowledge model: Perspectives andchallenges. arXiv preprint arXiv:2312.02706, 2023.
[3] Tiezheng Guo, Qingwen Yang, Chen Wang, Yanyi Liu, Pan
Li, Jiawei Tang, Dapeng Li, and Yingyou Wen. Knowledgenavigator: Leveraging large language models for enhanced reasoning over knowledge graph. arXiv preprint
arXiv:2312.15880, 2023.
[4] Baolin Peng, Michel Galley, Pengcheng He, Hao Cheng,
Yujia Xie, Yu Hu, Qiuyuan Huang, Lars Liden, Zhou
Yu, Weizhu Chen, et al. Check your facts and try
again: Improving large language models with external knowledge and automated feedback. arXiv preprint
arXiv:2302.12813, 2023.
[5] Yuxuan Huang. Llm-ark: Knowledge graph reasoning using large language models via deep reinforcement learning.
arXiv preprint arXiv:2312.11282, 2023.
[6] Bowen Jin, Gang Liu, Chi Han, Meng Jiang, Heng Ji, andJiawei Han. Large language models on graphs: A comprehensive survey. arXiv preprint arXiv:2312.02783, 2023.
[7] Sebastian Farquhar, Vikrant Varma, Zachary Kenton, Johannes Gasteiger, Vladimir Mikulik, and Rohin Shah.
Challenges with unsupervised llm knowledge discovery.
arXiv preprint arXiv:2312.10029, 2023.
[8] Grgur Kovač, Masataka Sawayama, Rémy Portelas, Cédric
Colas, Peter Ford Dominey, and Pierre-Yves Oudeyer.
Large language models as superpositions of cultural perspectives. arXiv preprint arXiv:2307.07870, 2023.
[9] Geert Hofstede, Gert Jan Hofstede, and Michael Minkov.
Cultures and Organizations: Software of the Mind.
McGraw-Hill Professional, 3rd edition, 2010.
[10] Reem I Masoud, Ziquan Liu, Martin Ferianc, PhilipTreleaven, and Miguel Rodrigues. Cultural alignment
in large language models: An explanatory analysis
based on hofstede’s cultural dimensions. arXiv preprint
arXiv:2309.12342, 2023.
[11] Thuat Nguyen, Chien Van Nguyen, Viet Dac Lai, Hieu
Man, Nghia Trung Ngo, Franck Dernoncourt, Ryan A
Rossi, and Thien Huu Nguyen. Culturax: A cleaned, enormous, and multilingual dataset for large language models in
167 languages. arXiv preprint arXiv:2309.09400, 2023.
[12] Leonard Salewski, Stephan Alaniz, Isabel Rio-Torto, Eric
Schulz, and Zeynep Akata. In-context impersonation reveals large language models’ strengths and biases. arXiv
preprint arXiv:2305.14930, 2023.
[13] MuxuanLiu・石垣達也・上原由衣・宮尾祐介・高村大也・小林一郎. 社会的状況に基づいた日本語ビジ

[16]

[17]

― 2564 ―ネスメールコーパスの構築. 言語処理学会年次大会
発表論文集, No. 29, 2023.
M. A. K. Halliday and Christian M. I. M. Matthiessen.
Halliday’s introduction to functional grammar /. Routledge,, Abingdon, Oxon :, 4th ed. edition, 2014.
Yisheng Song, Ting Wang, Puyu Cai, Subrota K Mondal, and Jyoti Prakash Sahoo. A comprehensive surveyof few-shot learning: Evolution, applications, challenges,
and opportunities. ACM Computing Surveys, 2023.
Yaqing Wang, Quanming Yao, James T Kwok, and Lionel M Ni. Generalizing from a few examples: A survey
on few-shot learning. ACM computing surveys (csur),Vol. 53, No. 3, pp. 1–34, 2020.
Peiyi Wang, Lei Li, Liang Chen, Dawei Zhu, Binghuai Lin,
Yunbo Cao, Qi Liu, Tianyu Liu, and Zhifang Sui. Large
language models are not fair evaluators. arXiv preprint
arXiv:2305.17926, 2023.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

付録

表 5: 比較的に場面の識別には苦労しないことを示
すメールの出力例（スペース節約のため，一部のフォーマットを省略し，テキストのみを保持）場面：あなたは A サークルに所属している学生です．２週間後にクリスマスイベントの飲み会を予定
していますが，サークルメンバーの出欠希望がまだ集まっていません．飲み会への出欠について，メンバー全員に問い合わせるメールを考えなさい．

図 5: 上部：LlaMa-2-7B が生成されたメール；下部：

model0:”件 名：飲 み 会 の 出 欠 に つ い て サ ー ク ル メ ン バ ー へ 2 週 間 後 の 飲 み 会 で す が，まだ 出 欠 確 認 が 出 来 て い な い 方 が い ま す．お 手 数 で す が，期 日 ま で に 必 ず ご 回 答 く だ さい．ーーーーーーーーーーーーーーーーーーーーーーー XX ”
model1:”件名：サークル・A クリスマスイベント 出欠について A サークルの皆さんお疲れ様です．XX
です．2 週間後にサークルのクリスマスイベントを予定しています．つきましては，until then から
until after までの出欠，費用の負担状況などについて，XX 一月 XX 日までご返信ください．
ーーーーーーーーーーーーーーーーーーーーーーー XX ”

GPT-４による評価
表 4: 多数の登場人物の識別に苦労することを示
すメールの出力例（スペース節約のため，一部のフォーマットを省略し，テキストのみを保持）場面：あなたはクライアント企業に出向いた際，担当の A 様に「あなたの同僚の B さんには以前大変お世話になったので，一度ご挨拶したい」と言われました．B さんにその旨を伝えるメールを書いて下さい．
model0:”件名：A 様とは．お疲れ様です．表題の件ですが，A 様は以前大変お世話になったのでこちらですんですが，1 度お話いただけるとありがたいものにと存じます．私の都合で 2 度とこちらでご回答いただけるようでしたら一度お挨拶をさせていただけると幸いです．私の都合で返信の件ですが，私の連絡先をお書きしておきてすみません．またの名を言いませんが，何卒よろしくお願いいたします． XX 会社 XX 部 XX”
model1:”XX 社 B 様
お世話になりました．XX 社の XX です．新鮮 ness でご挨拶いたします．A 様からのご誘いで，B さんにご挨拶することになりました．XX 社 XX”
model2:”メール名：同僚 B さんについて A 様お世話になります．先日は大変お世話になりました．担
当の A 様に，B さんには，以前一度ご挨拶したいとのご要望です．”
model3:”B 様いつも大変お世話になっております．本日一度お見舞いさせていただきます． XX です．”
model4: ”B 部 XX 様お世話になりました．XX です．A 社 XX です．私，おかげでどことでも存在しないでしょう．早速お伺い申し上げますが，XX 様にとどめがありましたらご連絡をお待ちしております．恐縮ではありますがどうかご対応のほどよろしくお願い申し上げます．”
model5: ”件名：大変お世話になりました．
A 様．お世話になりました．XX の XX です．B さんに感謝しています．皆さんにもご指導のほどお願
いいたします．よろしくお願いいたします．XX 月 XX 日”

model2:”件 名：飲 み 会 (ク リ ス マ ス イ ベ ン ト) に つ い て A サ ー ク ル の 皆 さ ん ご 担 当 者 様 お 疲
れ 様 で す．XX で す．2 週 間 後 に 飲 み 会 を 予 定 し て い る の で す が，出 欠 に つ い て ま だ 分 か って い な い 人 が い る か と 思 い ま す．ご 連 絡 を お 待 ち し て お り ま す．よ ろ し く お 願 い い た し ま
す．ーーーーーーーーーーーーーーーーーーーーーーー XX ”
model3:”件名：飲み会の出欠についてサークルメンバーの皆さんへ A です．2 週間後の飲み会の旨いなりについてですが，出欠のことを早めに知りたいと思います．どなたかご連絡いただけると助かります．
よろしくお願いいたします．”
model4: ”件名：飲み会の出欠について A サークルのメンバーへ XX です．
2 週間後の飲み会ですが，出欠についてまだ誰も回答をしてくれていません．私都合でも出るかごめ
んなさい．誰か出欠することがありましたら，先に返信してください．もし出欠が必要なら，ご確認
ください．
XX ”
model5: ”A さんです．クリスマスイベントの飲み会の出欠はまだ誰か知りたいです．ご連絡をお待ちしております．よろしくお願いします．”
model6: ”件名：クリスマスイベントのご連絡 A サークルのみなさまお疲れ様です．様々な予定が入り，急なお知らせが必要になってきたのですが，2 週間後の日にはク
リスマスイベントの飲み会を予定しています．現在出欠がございますので，ご返信のほどお願いいた
します．ーーーーーーーーーーーーーーーーーーーーーーー XX”
model7: ”件名：飲み会の出欠確認の件 A サークルメンバー各位
お疲れ様です．XX 学部 XX です．
2 週間後のクリスマスイベントの飲み会の出欠について，皆さんの出欠確認をお願いいたします．
A さんから連絡を受けていることをお聞きしていただきました．
メールにてお願いいたします．
XX”
model8 ”件名：飲み会の出欠について A サークルのみなさんお疲れ様です．XX です．2 週間後にクリスマスイベントの飲み会を予定していますが，サークルメンバーの出欠希望はまだ集まっていま
せん．サークル全員で行けるよう出欠を依頼したいと考えています．ご連絡までお待ちしております．ーーーーーーーーーーーーーーーーーーーーーーー XX ”

model6: ”件名：B 様について A 様お疲れ様です．XX です．B さんには大変お世話になったので，B さんにもお会いしたいと思っています．これから XX では業種の視察や研修などの機会が多く，B さんには大変助かりそうです．それで，一度 B さんに B さんに B さんが大変助かりそうですと思っています．以上，よろしくお願いします．XX”

model9: ”メンバー各位
お疲れ様です．XX です．
2 週間後にサークルでクリスマスイベントをする飲み会をしようと話しています．できれば出欠も予め知りたいので，出欠希望を知らせてください．よろしくお願いします．
XX”

model7: ”件名：B さんお世話になりました」ご連絡 B 様お疲れ様です．XX です．A 様からご連絡を受けております．A 様からは B さんには大変お世話になりました．B さんには A 様からご連絡を受けた後の間も悪くなりません．よろしくお願いいたします．”

LlaMa-2-7B: ”こんにちは，あなたは A サークルに所属している学生です．２週間後にクリスマスイベ
ントの飲み会を予定していますが，サークルメンバーの出欠希望がまだ集まっていません．飲み会への出欠について，メンバー全員に問い合わせるメールを考えなさい．(300 トークンまで重複)model8 ”件名：A 様のご要請
XX 株式会社 XX 部 XX 様
いつもお世話になっております．XX 株式会社 XX 部の XX です．A 様のご要請をいただきありがとうございます．B さんに一度ご挨拶したいため，A 様のご要請をいただきました．お忙しいところ恐縮
ですが，B さんのご教えいただりやすいように，お担当ご調整いただければと思います．今後の繋がりをおくるため，一度ご挨拶をさせていただければと思いますので，お手数をおかけしてはどうかご理解頂きます．お忙しいところ恐縮ですが，お手数をおかけしてはどうかご連絡の方をお知らせくだ
さい．どうぞよろしくお願いいたします．”
model9: ”件名：B さんとは今後の協力
B様
お疲れ様でございます．XX 社の XX です．A 様から B さんの宜しくお伝えさせていただきました，
ご連絡させて頂きました．B さんには，大変お世話になったのですが，恐縮ですが，一度ご挨拶できると嬉しくお思いにしております． WHEN， WHERE， TIME をご連絡していただけますでしょうか．
お忙しいところ恐れ入りますが，よろしくお願いいたします．XX 社 XX”
LlaMa-2-7B: ”こんにちは，あなたの同僚の B さんには以前大変お世話になったので，一度ご挨拶したいと言われました．(300 トークンまで重複)― 2565 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).