タスク指向対話システムの方策学習へのDecisionTransformerの適用

パイプライン型のタスク指向対話システムにおけるモジュールの一つである行動決定を行うPolicyモジュールは,現在の対話状態に基づいてシステムが次に行う対話行動を決定する働きをする.Policyモージュールの方策(以下方策)の設計は対話のストーリーを設計することと同義と言え,非常に多くの工数がかかる.そのため工数をかけずデータから方策を設計するために,近年強化学習を使った試みが多くなされている[1][2].一般的な強化学習(オンライン強化学習)ではエージェントは環境との相互作用によって学習を進める.対話方策の学習においては,人間が直接学習に関わるのは困難であるため,多くの場合対話シミュレータを使って学習を行っている.しかしシミュレータは複雑な人間の行動を反映させる必要があるため,シミュレータを作ること自体に多大な工数がかかってしまうという問題を抱えている.加えて,シミュレータに欠陥があると適切でない学習が行われてしまう恐れもある.そこで,我々はシミュレータを使わないオフライン強化学習[3]であるDecisionTransformer[4]を方策の学習に適用する.オフライン強化学習には弊社で運用しているAIMessengerChatbot1）のようなチャットボットと有人チャットを組み合わせた対話システムにおいて,実環境で溜まったデータをそのまま学習に使うことができるといった利点もある.オンライン,オフライン問わず強化学習には報酬の設計という共通の課題がある.DecisionTransformerはそれに加え,推論時にも報酬をモデルに与える必要がある.[4]で実験されていたAtariなどの環境はゲームのスコアなどから現在の状態に対する報酬が容易に定義できるが,対話においては現在の状態がタスク達成に対してどの程度良いかを定義することは困難である.本研究では学習時と推論時の報酬の与え方のパターンを試した結果を共有する.本研究の貢献は以下の2点である.•タスク指向対話の方策の学習にDecisionTransformerを初めて適用した•方策の学習と推論におけるDecisionTransformerへの報酬の与え方の検証を行なった