意味的類似度計算システムによるチャットボットFAQシステムの性能向上

カスタマーサポートや社内ヘルプデスクなどにおける問い合わせ対応に、チャットボットが適用されつつある。AIShiftでは、各種サービスにおけるユーザの質問に自動回答するシステムとしてDenseRetriever[1]を活用したチャットボットFAQシステムの構築を検討している。DenseRetrieverの学習に自社の事業で収集している対話ペアを用いているが、正例と見做している対話ペアの中には、2文間の内容が大きく異なる品質の悪い対話ペアが存在する。しかし、顧客の多様さとデータ量の多さ故に人手によるそれらの除去は非常に手間がかかる作業となっている。本研究では、意味的類似度計算システムを用いた学習データの自動フィルタリング手法を提案する。実験の結果、提案手法によるFAQシステムの性能向上を確認することができた。