タスク指向対話における強化学習を用いた対話方策学習への敵対的学習の役割の解明

強化学習を用いた対話方策の学習において，報酬関数の設計は重要である．効果的な報酬関数の人手による設計が困難であるため，データから報酬関数を推定する手法の1つとして敵対的逆強化学習が注目されている．この方法により推定された報酬関数を用いて学習された対話方策は良好な性能を示すことが報告されている．この理由を明らかにするため，本研究では，既存手法の1つであるGuidedDialogPolicyLearningに対する分析を行う．報酬関数の目的関数に対する考察および実験結果から，敵対的学習はループ対話の発生を抑制する効果を持つことを示す．