言語処理学会 第30回年次大会 発表論文集（2024年3月）

Retrieval-augmented generation に基づく

カスタマーサポートにおける返信メール自動生成の検討
小島淳嗣 1
1 株式会社マネーフォワード
kojima.atsushi@moneyforward.co.jp

概要
企業のカスタマーサポートにおけるカスタマーへの返信メール作成業務を支援するため、返信メールを自動で生成するシステムを検討する。システ
ムは retriever model と プロダクトについて学習させた large language model (LLM) によって構成され、retrieval augmented generation (RAG) に基づいて返信メールを生成する。メールの生成において、retriever
model は問い合わせメールの回答に該当する情報を含む topN のチャンクをサポートサイトのページと返信メールテンプレートから抽出する。次に LLM
は retriever model によって選択された チャンクとカスタマーのメール文を入力として返信メールを生成する。LLM は事前に汎用ドメインで事前学習を行った後、サポートサイトのテキストを用いて継続事前学習を行う。さらに、カスタマーの問い合わせメールと実際の返信メールをそれぞれ prompt とcompletion と み な し て supervised ﬁne-tuning を 行 った。実験では、 継続事前学習や RAG の有効性、及びエラー分析の結果について報告する。

1

はじめにlarge language model (LLM) の高いテキストの生成能力が着目されており、医療、金融、法律など様々な領域において活用が広がっている [1, 2, 3]。このような専門知識を要するタスクでは、LLM に正確な出力をさせるため、retrieval-augmented generation(RAG) [4] に基づく推論や LLM の ﬁne-tuning が実施される。
本稿では、カスタマーサポートにおけるカスタマーへの返信メール作成業務を支援するため、返信メールを自動で生成するシステムを検討する。シス
テムは retriever model とプロダクトについて学習させた LLM によって構成され、RAG に基づきカスタマーへの返信メールを生成する。なお、問い合わせメールには、しばしば conﬁdential な情報が含まれるため、OSS の事前学習モデルをベースに独自でﬁne-tuning を実施した。
LLM の ド メ イ ン 適 応 は、継 続 事 前 学 習 [5] とsupervised ﬁne-tuning (sft) の 2 段階で行う。継続事前学習では、汎用ドメインのテキストで事前学習されたモデルに対して、サポートサイトや問い合わせ履歴を用いて学習を行う。sft では、継続事前学習で学習されたモデルに対して、メールの問い合わせと回答の履歴をそれぞれ prompt と completion とみなすことで学習を行う。
実験では、マネーフォワードのカスタマーサポートのデータを用いてシステムを実装し、 継続事前学習や RAG の有効性等について評価する。また、実際のベテランのカスタマーサポート 1 名によるエラー分析の結果についても報告する。

2

返信メール生成システム

図 1 に返信メール生成システムの概要を示す。
システムは、retriever model と プロダクトについて学習させた LLM によって構成され、RAG に基づきカスタマーへの返信メールを生成する。retrievermodel は、問い合わせメールの回答に該当する topNのチャンクをサポートサイトと返信メールテンプレートから選択する。次に、LLM は retriever modelによって選択された チャンクとカスタマーのメール文を入力として返信メールを生成する。

3

LLM の学習LLM のドメイン適応は、継続事前学習と sft の 2段階で行う。継続事前学習では、あらかじめ 汎用ドメインのテキストで事前学習されたモデルに対して、サポートサイトや問い合わせ履歴を用いて学習を行う。sft では、メールの問い合わせと回答の履歴― 3298 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

入力: カスタマーのからの問い合わせメール

請求書で旧形式の窓付き封筒のテンプレー
トを利用しておりました
が、新形式の窓付き封筒に合うテンプレートのリリースお願いいたします。

Support pages
Email reply templates

出力：返信メール
大変申し訳ございません
が、窓付き封筒に対応した「新形式テンプレート」は現在ご用意がございません。
ご要望にお応えできず申し訳ございませんが、何卒ご容赦のほどよろしくお願いいたします。

topN chunks
Retriever
model
LLM

図1

返信メール生成システムの概要
1をそれぞれ prompt と completion とみなすことで学習を行う。

3.1を構成する トークンの loss を 0 にして、completionを構成するトークンの loss のみ最小化することでモデルを学習した。

継続事前学習### 指示: あなたは株式会社マネーフォワードのカスタマーサポートです．
ソースを考慮して，カスタマのメールへの丁寧な返信文を生成してください．

継続事前学習ではチャット、メール、電話などのプラットフォームからのカスタマーの問い合わせ、### カスタマからの問い合わせメール : <メール文>

カスタマーサポートによる実際の回答、サポートサ### ソース1: <チャンク1>

イトのテキスト 1）、返信テンプレートテキストを### ソース2: <チャンク2>用いて学習を行った。表 1 にデータセットの内訳を・・・示す。

### ソースN: <チャンクN>

表 1 継続事前学習のデータセット

3.2

Data

Disk size

サポートサイト

6.7 M

メール・チャット対応履歴

264.5 M

返信用テンプレートメール

59.4 M### 返信メール:

図 2 sft における入力フォーマット

sft のデータの品質を担保するため、学習データのフィルタリングと整形を行った。具体的にはスパムメールや空メールは学習から覗き、署名などの情報sftは削除した。これらの処理を行い、カスタマー対応

sft は メ ー ル の 問 い 合 わ せ と 回 答 を そ れ ぞ れ

履歴から 8055 件の sft データを作成した。

prompt と completion とみなして実施する。図 2 に sftにおけるモデルの入力フォーマットを示す。prompt4実験

4.1

実験条件と completion の境界を区別するために特殊な文字列として「### 返信メール:」を使用した。prompt はカ
スタマーからの問い合わせメールの内容と、問い合全ての実験は、マネーフォワードのカスタマーサ

わせメールの回答を含む チャンクで構成される。

ポートにおける実際のカスタマーからの問い合わチャンクは、学習時には ground truth を利用し、推論せとその返信メールを用いて行った。評価データに時には retriever model によってサポートサイトからは、継続事前学習と sft の学習データ に含まれていチャンクとして選択される。学習では、カスタマーサポートによって、返信メールにおいて参考リンクない問い合わせデータ 100 件 を用いる。評価尺度として記載されたページのテキストから効率的にトが返信したメールのテキストと システムによって生成された返信メールのテキストを用いて計算

ground truth のチャンクを作成した。sft では prompt1） https://biz.moneyforward.com/supportには ROUGE-2 を採用し、実際にカスタマーサポーした。

― 3299 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

LLM は、 C-4 や wikipedia、C-00 などの汎用ドメ

表 3 eﬀect of retriever model

インのテキストで事前学習されたモデル 2）を用いてExp ID

methodROUGE-2

継続事前学習と sft を実施した。retriever model には

C0

no retriever

0.19

Bidirectional Encoder Representations from Transformers

A0ground truth

0.246(BERT) [6] に基づく埋め込みモデル 3）と BM25 を採

D0BM250.22

E2BERT0.23

用し、性能を比較した。チャンクはサポートサイトのテキストからチャンクサイズ 128、オーバラップ
比率 25% で切り出すことで作成し、271122 のチャンクを得た。推論時には、チャンクの中から 最もス

表 4 に継続事前学習の効果の比較を示す。継続事コアが高いものを prompt に入力するチャンクとし前学習を行わずに学習された sft モデル (F0) の結果た。ただし、スコアには閾値を設け、この値を上回に比べ、継続事前学習を行った sft モデル (E2) は、るチャンクのみ選択し、該当するチャンクが存在しROUGE-2 のスコアが高くなった。また、 事前学習ない場合には、prompt に チャンクを入力しないこモデルの結果 (B0) を比べると、継続事前学習の有無ととした。また、LLM のコンテキスト長を超えないように最大で選択するチャンク数は 4 つとした。にかかわらず、sft を行うことで、ROUGE-2 のスコアが向上することがわかった (F0, E2)。

表 2 に LLM の ﬁne-tuning の 条 件 を 示 す．Adam
表2表 4 Eﬀect of training process

LLM の学習条件

Parameter

Value

Learning rate (継続事前学習)

0.00001

Learning rate (sft)0.00002

Optimizer

Adam

Weight decay

0.01

Number of epochs (継続事前学習)

5

Number of epochs (sft)

2Batch size

32Exp ID

継続事前学習 sft ROUGE-2

B0–

–

0.11

F0–

✓

0.22

E2

✓

✓

0.23

表 5 に BERT に 基 づ く retriever model に お け る
チャンクサイズの影響を示す。チャンクサイズを変えることで ROUGE-2 のスコアが最大 8 ポイント変化しており、チャンクサイズのチューニングが生成

optimizer [7] の ハ イ パ ー パ ラ メ ー タ は 𝛽1 = 0.9,において重要であることがわかる。

𝛽2 = 0.98 ，𝜖 = 10 とした．

4.2

表 5 BERT に基づく retriever model におけるコンテキス
ト長の影響

結果

チャンクサイズ

ROUGE-2/recall/precision64

0.2 /0.19/0.29

ground truth は ground truth のチャンクを prompt に入

128

0.27/0.26/0.35

力した時の結果を示す。retriever model を 用いない

256

0.23/0.27/0.27

推論結果 (C0) に比べると、BM25 (D0) と BERT (E2)5120.19/0.19/0.22

表 3 に 結 果 を 示 す。表 に お い て no retriever は、
prompt に チャンクを入力しない時の結果を示す。に基づく retriever model を用いて推論を行うことで、ROUGE-2 のスコアが高くなった。また、BM25 (D0)

図 3 に実際にシステムの出力例を示す。システと BERT (E2) を比較すると、BERT が高い性能を示

ムの出力には、ユーザが LLM によって生成されたした。 また、ground truth のチャンク を prompt に入力した結果 (A0) に比べ、BERT に基づく retriever

内容が事実かどうかを効率的に確認できるように、model によって チャンクを選択した結果 (E2) は、された元のページの URL とともに表示することとretriever model のエラーによってわずかに精度が低した。この例では、retriever model によって問い合わ下した。

せに対する回答が記載されているサポートサイトか2） rinna/japanese-gpt-1b3） intﬂoat/multilingual-e5-baseretriever model によって選択されたチャンクが作成

ら 適切なチャンクが選択され、返信メールが LLMによって生成できている。

― 3300 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

カスタマーからの問い合わせ
インボイス制度に対応した新形式テンプレートでは「窓付き封筒対応」のご用意がありません。対応予定を教えてください。

生成結果
お問い合わせいただいた件について、ご案内いたします。
誠に恐れ入りますが、インボイス制度に対応した新形式テンプレートでは、「窓付き封筒対応」のご用意がございません。
ご要望にお応えできず申し訳ございませんが、今後の開発をお待ちいただけますと幸いです。
今後ともマネーフォワードをご愛顧くださいますようお願いいたします。
Reference
マネーフォワード クラウド請求書 API スタートアップガイド（ v3ご利用者さま向け） | マネーフォワード クラウド請
求書サポートhttps://biz.moneyforward.com/support/invoice/guide/api-guide/a04.html
請求書の「郵送依頼」機能をリリースしました | マネーフォワード クラウド請求書 Plusサポート
https://biz.moneyforward.com/support/receivable/news/new-feature/n014.html「窓付き封筒」にあったテンプレートは、ありますか？ | マネーフォワード クラウド請求書サポート
https://biz.moneyforward.com/support/invoice/faq/document/d11.html

図34.3

システムの出力例

model が問い合わせ対象とは異なるプロダクトのサ

エラー分析

ポートサイトから チャンク を抽出してきてしまう

システムのさらなる改善のためカスタマーサポー

ことで、LLM が 誤った回答を生成してしまうことトに所属するベテランの社員一名によるシステムがあった。今後は、チャンクにメタ情報として、プの出力分析を行った。その結果、2 つの問題によって不正確な返信文や hallucination が起きることがわ

ロダクトの種類を付与し、チャンクを選択する際に、問い合わせ対象のプロダクトに該当するサポーかった。

トサイトから切り出されたチャンクに制限すること

1 つめの問題としては、retriever model がアクセスできないリソースの情報を必要とする問い合わせに対して、hallucination が起きうることがわかった。

で、この問題の解決を検討する。

おわりに

5

具体的には、カスタマーの契約状況やリアルタイム

企業のカスタマーサポートにおけるカスタマーへの情報 (障害状況) に関する問い合わせは、サポートの返信メール作成業務を支援するため、問い合わせサイトに情報が記載されていないため、生成されたメールへの返信を生成するシステムを検討した。シ

テキストに hallucination が含まれることがある。例

ステムは retriever model と プロダクトについて学習えば、ログインができないといった問い合わせに対させた LLM によって構成され、RAG に基づいて返してシステムは、理由がシステム障害であっても、信メールを生成する。LLM は事前に汎用ドメインパスワードとの入力ミスを確認するように返信する

で事前学習を行った後、サポートサイトのテキストことがある。この問題を解決するため、 今後は、sftを用いて継続事前学習を行う。さらに、カスタマーのデータセットを作成する際には、カスタマーの契約状況やリアルタイムの情報を必要とする関する問の問い合わせメールと実際の返信メールをそれぞれprompt と completion とみなして sft を行った。今後い合わせ対しては、completion を「回答できない」には、エラーの分析の結果に基づき、システムの改善して学習することで、この問題の解決を検討する。に取り組む。

2 つめの問題点として、異なるプロダクトの類似した機能に関する問い合わせに対して、retriever― 3301 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Quzhe Huang, Mingxu Tao, Zhenwei An, Chen Zhang,
Cong Jiang, Zhibin Chen, Zirui Wu, and Yansong Feng.
2023. Lawyer llama technical report. CoRR, arXiv preprint
arXiv:2305.15062.
[2] Yunxiang Li, Zihan Li, Kai Zhang, Ruilong Dan, SteveJiang, You Zhang. 2023. ChatDoctor: A medical chatmodel ﬁne-tuned on a large language model Meta-AI(LLaMA) using medical domain knowledge. CoRR, arXiv
preprint arXiv:2303.14070.
[3] Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastian Gehrmann, Prabhanjan
Kambadur, David Rosenberg, Gideon Mann. 2023.
BloombergGPT: A large language model for ﬁnance.
CoRR, arXiv preprint arXiv:2303.17564.
[4] Patrick S. H. Lewis, Ethan Perez, Aleksandra Piktus, FabioPetroni, Vladimir Karpukhin, Naman Goyal, HeinrichKüttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela. 2020. Retrieval-augmented
generation for knowledge-intensive NLP tasks. In Proceedings of the 34st International Conference on Neural Information Processing Systems, page 9459–9474.
[5] Suchin Gururangan,
Ana Marasovic,
SwabhaSwayamdipta, Kyle Lo, Iz Beltagy, Doug Downey,
Noah A. Smith. 2020. Don’t stop pretraining: Adapt
language models to domains and tasks. In Proceedingsof the 58th Annual Meeting of the Association for
Computational Linguistics, pages 8342-8360.
[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. 2019. BERT: Pre-training of deep bidirectionaltransformers for language understanding. In Proceedingsof the 2019 Conference of the North American Chapterof the Association for Computational Linguistics: Human
Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186.
[7] Diederik P. Kingma and Jimmy Ba. 2015. Adam: A
method for stochastic optimization. CoRR, arXiv preprint
arXiv:1412.6980.

― 3302 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).