Retrieval-augmentedgenerationに基づくカスタマーサポートにおける返信メール自動生成の検討

企業のカスタマーサポートにおけるカスタマーへの返信メール作成業務を支援するため、返信メールを自動で生成するシステムを検討する。システムはretrievermodelとプロダクトについて学習させたlargelanguagemodel(LLM)によって構成され、retrievalaugmentedgeneration(RAG)に基づいて返信メールを生成する。メールの生成において、retrievermodelは問い合わせメールの回答に該当する情報を含むtopNのチャンクをサポートサイトのページと返信メールテンプレートから抽出する。次にLLMはretrievermodelによって選択されたチャンクとカスタマーのメール文を入力として返信メールを生成する。LLMは事前に汎用ドメインで事前学習を行った後、サポートサイトのテキストを用いて継続事前学習を行う。さらに、カスタマーの問い合わせメールと実際の返信メールをそれぞれpromptとcompletionとみなしてsupervisedﬁne-tuningを行った。実験では、継続事前学習やRAGの有効性、及びエラー分析の結果について報告する。