マルチエージェント強化学習に基づく共同作業を自律的に行う対話システムの最適化

近年，対話システムの普及に伴い[1,2]，より高度な対話システムの実現を目指して，人間と協調的にタスクを遂行する対話システムの研究が盛んである[3,4,5]．対話で行われる複雑な共同作業では，各エージェントが自律的に行動することが望まれる．しかし，従来手法では，エージェントは相手の発話に応答するようにモデル化されており，自律性に限界がある[6,7,8]．本研究では，複雑な共同作業を自律的に行う対話エージェントの実現を目指し，マルチエージェント強化学習を用いた対話システムの学習手法を提案する．具体的には，相手の反応が得られなくても自律的に発話するための工夫としてskipトークンを導入し，2体のエージェントに共同作業対話を実施させる．ここで，共同作業として，協調的に対話を行話しなくても（skipをしても）説得的な発話が可能．うように再設計された説得対話を扱う．対話を実施させたのち，相手が発話しない状況であっても説得に最適な発話を行うように，各エージェントを強化学習によって更新する．図1に提案手法により得られた対話例を示す．実験の結果，自然性や自律性に課題は残るものの，マルチエージェント強化学習によって，エージェントが自律的に説得的な発話が可能なことを確認した．