タスク指向対話における強化学習を用いた対話方策学習への敵対的学習の役割の解明

対話方策はタスク指向対話システムの重要な構成要素の一つである[1,2]．近年，強化学習を用いた対話方策の学習に関する研究が注目されている[3,4,5,6,7]．強化学習による対話方策の学習は，対話をマルコフ決定過程とみなし，対話方策と環境（例えば，ユーザシミュレータ[8,9]）との相互作用を通じて，得られる対話に対する報酬を最大化することで行われる．報酬関数は対話方策の学習において重要である一方，適切な報酬関数の人手による設計は困難である．単純な報酬関数として，対話ターンを短くするために各対話ターンで一定の小さな負の報酬，対話終了時に目的を達成した場合は大きな正の報酬を与える報酬関数があげられる．しかしながら，各ターンで選択された行動の良さは対話が終了するまで分からない（つまり，報酬が疎である）ため対話方策の学習が適切に進まない場合が存在する．上述の問題に対処するため，データから報酬関数を推定する方法の1つである敵対的逆強化学習[10,11]を用いた方法が提案されている．研究[12]は，エキスパート対話を用い，対話単位の報酬関数と対話方策を敵対的学習を用い交互に学習する方法を提案している．研究[13]は敵対的逆強化学習を用いて報酬関数を推定し，報酬関数を状態行動単位とすることで報酬が疎な問題に対処する手法GuidedDialogPolicyLearning(GDPL)を提案している．これらの報酬関数を用いて学習された対話方策は人手で設計した報酬関数を用いて学習された対話方策より良好な性能を示すことが報告されている．しかし，対話方策の学習において，敵対的学習を用いた報酬関数の推定が有用であることの理由は十分に解明されていない．本研究では，GDPLを対象とし，強化学習を用いた対話方策の学習において，敵対的学習を用いた報酬関数推定が対話方策の学習に与える影響の分析を行う．報酬関数の目的関数に対し考察を行い，実験によりその妥当性の評価を行う．