企業のカスタマーサポートにおけるカスタマーへの返信メール作成業務を支援するため、返信メールを自動で生成するシステムを検討する。システムはretrievermodelとプロダクトについて学習させたlargelanguagemodel(LLM)によって構成され、retrievalaugmentedgeneration(RAG)に基づいて返信メールを生成する。メールの生成において、retrievermodelは問い合わせメールの回答に該当する情報を含むtopNのチャンクをサポートサイトのページと返信メールテンプレートから抽出する。次にLLMはretrievermodelによって選択されたチャンクとカスタマーのメール文を入力として返信メールを生成する。LLMは事前に汎用ドメインで事前学習を行った後、サポートサイトのテキストを用いて継続事前学習を行う。さらに、カスタマーの問い合わせメールと実際の返信メールをそれぞれpromptとcompletionとみなしてsupervisedﬁne-tuningを行った。実験では、継続事前学習やRAGの有効性、及びエラー分析の結果について報告する。

largelanguagemodel(LLM)の高いテキストの生成能力が着目されており、医療、金融、法律など様々な領域において活用が広がっている[1,2,3]。このような専門知識を要するタスクでは、LLMに正確な出力をさせるため、retrieval-augmentedgeneration(RAG)[4]に基づく推論やLLMのﬁne-tuningが実施される。本稿では、カスタマーサポートにおけるカスタマーへの返信メール作成業務を支援するため、返信メールを自動で生成するシステムを検討する。システムはretrievermodelとプロダクトについて学習させたLLMによって構成され、RAGに基づきカスタマーへの返信メールを生成する。なお、問い合わせメールには、しばしばconﬁdentialな情報が含まれるため、OSSの事前学習モデルをベースに独自でﬁne-tuningを実施した。LLMのドメイン適応は、継続事前学習[5]とsupervisedﬁne-tuning(sft)の2段階で行う。継続事前学習では、汎用ドメインのテキストで事前学習されたモデルに対して、サポートサイトや問い合わせ履歴を用いて学習を行う。sftでは、継続事前学習で学習されたモデルに対して、メールの問い合わせと回答の履歴をそれぞれpromptとcompletionとみなすことで学習を行う。実験では、マネーフォワードのカスタマーサポートのデータを用いてシステムを実装し、継続事前学習やRAGの有効性等について評価する。また、実際のベテランのカスタマーサポート1名によるエラー分析の結果についても報告する。