Retrieval-augmentedgenerationに基づくカスタマーサポートにおける返信メール自動生成の検討

largelanguagemodel(LLM)の高いテキストの生成能力が着目されており、医療、金融、法律など様々な領域において活用が広がっている[1,2,3]。このような専門知識を要するタスクでは、LLMに正確な出力をさせるため、retrieval-augmentedgeneration(RAG)[4]に基づく推論やLLMのﬁne-tuningが実施される。本稿では、カスタマーサポートにおけるカスタマーへの返信メール作成業務を支援するため、返信メールを自動で生成するシステムを検討する。システムはretrievermodelとプロダクトについて学習させたLLMによって構成され、RAGに基づきカスタマーへの返信メールを生成する。なお、問い合わせメールには、しばしばconﬁdentialな情報が含まれるため、OSSの事前学習モデルをベースに独自でﬁne-tuningを実施した。LLMのドメイン適応は、継続事前学習[5]とsupervisedﬁne-tuning(sft)の2段階で行う。継続事前学習では、汎用ドメインのテキストで事前学習されたモデルに対して、サポートサイトや問い合わせ履歴を用いて学習を行う。sftでは、継続事前学習で学習されたモデルに対して、メールの問い合わせと回答の履歴をそれぞれpromptとcompletionとみなすことで学習を行う。実験では、マネーフォワードのカスタマーサポートのデータを用いてシステムを実装し、継続事前学習やRAGの有効性等について評価する。また、実際のベテランのカスタマーサポート1名によるエラー分析の結果についても報告する。