質問: keras-rlを用いて自作した環境の深層強化学習(DQN)を行なっています。エピソード毎のrewardの変化をプロットしていったのですが、環境の設定によっては以下の様に後半大きく下がってしまったりします。 ![イメージ説明](https://teratail.storage.googleapis.com/uploads/contributed_images/50655f3b0e2ba1e4fc7c757dd3d51d38.png) ![イメージ説明](https://teratail.storage.googleapis.com/uploads/contributed_images/f03548f65fd2dc5b8aa565c8e5c7c449.png) この様な事はなぜ起こるのでしょうか?Q関数は報酬が多くなる様に更新されていくはずですよね?結果が悪くなっていくのは何故でしょうか?
回答: 強化学習なので、何かの環境を与えた時のアクションをモデルからもらえるはずです。 報酬が下がってしまう時にどのようなアクションを取っているのか、調べましたか? 残念ながら今の情報だけからでは推測することはできません。 あたりさわりのない憶測をするのであれば、何かの局所解に落ちてしまったということが考えられます。 具体的な問題の性質を検討することなく直すのであれば、 Dropout層を入れたり、破棄する割合を高める か 学習率を小さくする ことが候補に上がります。