ルーブリックを用いたタスク指向合成対話コーパスの品質評価手法

大規模言語モデルによる合成対話データは広く利用されるが，下流タスクへの貢献度を測ることは困難であった．Perplexity等の既存指標は，この機能的品質を保証しない．本研究ではこの課題に対し，実データから抽出したルーブリック（評価基準）を軸に，合成データと実データの意味的な分布の乖離を「距離スコア」として定量化する新手法を提案する．満足度分類タスクにおける評価実験の結果，提案する距離スコアは，既存指標よりもモデルの精度と強く相関することを示した．