ルーブリックを用いたタスク指向合成対話コーパスの品質評価手法

近年，大規模言語モデル（LLM）の発展に伴い，タスク指向対話システムの開発プロセスも大きく変化している．特に，人手によるデータ収集のコストと時間を削減するため，LLMを用いて大量の合成会話データを生成し，対話モデルの学習やシミュレーションに活用するアプローチが増えている[1,2]．しかし，生成された合成データは一見流暢で自然に見えても，実世界のユーザーとのインタラクションが持つ微妙なニュアンスや，タスク達成過程における満足・不満足といった重要な質的パターンを忠実に再現できているとは限らない．この品質の乖離は，学習済みモデルの性能低下に直結する課題である．この問題の原因として，既存の評価手法の限界があげられる．PerplexityやBLEU[3]，distinct-n[4]といった指標は，主にテキストの言語的な流暢さや表層的な多様性といった生成的品質を測定する指標である．これらの指標は，生成モデル自体の性能評価には有用であるが，そのデータが下流タスクの学習にどれほど有益かという機能的品質を保証するものではない．例えば，Perplexityが低い対話データセットで学習したモデルが，必ずしも満足度予測の精度が高いとは限らない．さらに，これらの評価は個々の会話単位で行われることが多く，データセット全体が持つ分布の偏りや多様性の欠如といったコーパスレベルでの品質劣化を定量的に捉えることが困難であった．そこで本研究では，合成データセットが，基準となる実データセットのタスク遂行に重要な機能的品質をどれだけ保持しているかを評価するための新しい品質評価フレームワークを提案する．本研究の貢献は以下の通りである．1.ルーブリックベースの品質評価フレームワークの提案：実データから抽出したルーブリック（評価基準）[5]を共通の評価軸とし，合成データセットが実データセットの持つ意味的な分布をどれだけ再現しているかを測定する．