タスク指向対話システムの方策学習へのDecisionTransformerの適用

パイプライン型のタスク指向対話システムにおいて,行動決定を行うPolicyモジュールは設計が非常に複雑でコストがかかる.シミュレーターを用いてオンライン強化学習で方策を学習させる取り組みもあるが,学習のためのシミュレーターの実装など多くの課題が残されている.我々はPolicyモジュールの方策の学習にシミュレーターを必要としないオフライン強化学習の手法であるDecisionTransformerを適用する.本稿ではDecisionTransformerを方策の学習に適用する際の報酬設計について,MultiWOZ2.1のデータセットを使い,学習時と推論時両方で評価を行う.