後処理ネットワーク(post-processingnetwork;PPN)は，対話システム中の各モジュールの出力を事後修正することで，システム全体のタスク達成能力を改善するコンポーネントである．先行研究において，出力が固定次元のモジュールに対するPPNの有効性は示されてきたが，言語生成モジュール(NLG)の出力は後処理できないという制限があった．本研究では，NLGの後処理を実現するため，言語モデルを活用した生成的後処理ネットワーク(GenPPN)を提案する．具体的には，GenPPNをタスク達成に対して強化学習で最適化するため，各発話が全体のタスク達成に与える貢献度を定量化し，報酬関数に導入する．シミュレーション評価実験と人間評価実験を通して，GenPPNによるNLGの後処理が，システムの性能改善に有効的であることを確認した1）．

典型的なタスク指向型対話システムは，4つのモジュール，すなわち，言語理解（NLU），状態追跡（DST），方策（Policy），言語生成（NLG）からなるパイプライン構造を取る[1,2]．パイプライン型対話システム全体としてのタスク達成能力改善のため，実際の対話の中でこれらモジュールを直接学習する強化学習ベースの手法が，これまで多く提案されている[3,4,5]．近年我々は，学習不可能なモジュール（例えば，ルールベースやAPIベース）を含む，任意のモジュールで構成された対話システムの最適化に向けて，後処理ネットワーク（post-processingnetwork;PPN）を提案した[6]．この手法では，モジュール自身を学習する代わりに，モジュールの出力を修正するコンポーネントPPNを強化学習によって最1）本研究で用いたソースコードはhttps://github.com/nu-dialogue/GenPPNで公開している．MLP-basedPPNMLP-basedPPNNLUDSTPolicyNLGPLM-basedGenPPNMLP-basedPPN我々が提案するNLGのためのPLMベースGenPPN適化する．このPPNは，NLU，DST，Policyの3モジュールに適用され，複数の対話システムのタスク達成率を改善した．一方，PPNは多層パーセプトロン（MLP）をベースとした分類モデルによって実装されているため，NLGが出力する自然言語の後処理は行えないという制限があった．本研究では，NLGの後処理を実現するため，事前学習済み言語モデル（PLM）を基盤とした生成的後処理ネットワーク（GenPPN）を提案する．図1に，従来のMLPベースPPNと我々のGenPPNの比較を示す．GenPPNの学習において，PLMの強化学習フレームワーク[7,8]を適用するには，各ターンにおける発話ごとの報酬（発話レベルの報酬）が必要となる．しかし，タスク指向型対話における一般的な報酬設計では，対話の最後に一度だけ得られるタスク達成／失敗のみが用いられる（対話レベルの報酬）．ここで，対話レベルの報酬を発話レベルに分配できればよいと考えられるが，そのためには，各発話が最終的なタスク達成にどの程度寄与したかが分からなければならない．そこで，本研究では，各発話の意味表現である対話行為(dialogueact;DA)がタスク達成にどれだけ影響するかを定量化できるDA貢献度を考案し，報酬関数に導入する．提案手法の有効性検証のため，MultiWOZデータセット[9]とユーザシミュレータを用いた自動評価実験を実施し，異なるNLGが含まれる複数の対話システムのタスク達成能力を，GenPPNが一貫して改善できることを確認する．さらに，ユーザシミュ.対話システムシステム発話𝑢GenPPNℳThereare21.Theyareinthemiddle.報酬𝑟(𝑢′)NLGDAs𝑎-0.2関数(Inform,Choice,21)(Inform,Area,center)レータによって最適化されたGenPPNが，人間との対話においても有効であることを示す．