計測自動制御学会東北支部第337回研究集会(2022.6.27)
資料番号337-4

訓練データ選別によるエージェント学習の性能評価
Performance Evaluation of Agent Learning by Training Data Selection○山地龍生*, 釜谷博行*, 工藤憲昌*, 原元司**
Ryusei Yamachi*, Hiroyuki Kamaya*, Norimasa Kudoh*, Motoshi Hara****

八戸工業高等専門学校, **松江工業高等専門学校

National Institute of Technology, Hachinohe College,**

National Institute of Technology, Matsue College

キーワード: 深層学習(Deep Learning), 変分オートエンコーダ(Variational AutoEncoder),
共分散行列適応戦略(Covariance Matrix Adaptation Evolution Strategy), 学習エージェント(Learning Agent)

連絡先: 〒039-1192 青森県八戸市田面木字上野平16-1 八戸工業高等専門学校 産業システム工学専攻
Tel.: 0178-27-7283，E-mail: kamaya-e@hachinohe-ct.ac.jp

1. はじめに

Gymの学習問題において、9点の色判別による自動運転や自律制御ロボットなどの基盤技訓練データ選別の手法を提案し、性能評価を行術として、近年、学習エージェントが注目されう。ている。エージェントとは、環境内で様々な試

2. 学習環境

行錯誤を繰り返し、行動を最適化していく学習

OpenAI Gym という、強化学習アルゴリズム者である。しかし、エージェントの訓練には大の プ ラ ッ ト フ ォ ー ム 内 の 課 題 で あ る Car

量の学習データが必要であり、データに画像をRacing を用いて実験を行う。これは、エージェ直接用いると、学習に時間がかかってしまうとントがアクセル・ブレーキ・ハンドルを調節し、いう問題がある。そこで変分オートエンコーダコースを上手に走れるようにする課題である。

(VAE:Variational AutoEncoder)を用いる方法

図１に学習アーキテクチャの全体図を示す[1]。

が提案されている。VAEは、ディープラーニン

観測データは、各時間ステップ t で変分オートグによる生成モデルの1つで、訓練データを元エンコーダ(VAE)によって状態が圧縮され、潜にその特徴を捉えて、潜在変数に変換する。こ在変数 zt が生成される。コントローラへの入力の潜在変数を用いることで画像の次元圧縮がは、この潜在変数 zt であり、各時間ステップででき、学習時間を短縮できる。

混合密度ネットワーク(MDN-RNN：Mixture

一方、訓練データ中に性能向上に寄与しないDensityものが含まれると、学習に時間がかかるという

Network-Recurrent

NeuralNetwork)の隠れ状態 ht と連結される。MDN-問題がある。

RNN は、現在の zt と行動 at を入力として受けそこで本研究では、予め訓練データを選別す取り、自身の隠れ状態を更新して時刻 t+1 で使ることで、無駄な訓練を省き、学習の効率化を用される ht+1 を生成する。このように VAE、図ることを目的とする。本発表では、OpenAI

MDN-RNN、コントローラが相互作用すること
1

で、エージェントがコースを上手に走れるようということを示している。に学習を行う。
学習目的は、道路から外れずに制限時間内にできるだけ長い距離を走行することである。観測データ(状態)には、図１の左に示すような赤色のエージェントの真上から見た RGB 画像を用いる。灰色の部分は環状の道路である。行動は、エージェントがアクセル・ブレーキ・ハンドルを調節することである。道路は区切られていて、1 区画通過する毎に報酬が与えられる。

図2

報酬は、時間ステップ毎に-0.1、道路の 1 区画あるエピソードの 40 番目のフレーム

Ⅱ. VAE(Variational Autoencoder)の訓練を通過する毎に 3.67 が与えられ、すべての区画を通過すると合計で 1,000 となる。評価には、VAE とは、ディープラーニングによる生成1,000 ステップの行動で得られた報酬を用いる。

モデルの 1 つで、訓練データを元にその特徴を捉えて、訓練データセットに似たデータを生成することができるモデルのことである。
ここでは、ランダムに集めたデータを使って、VAE を観測画像で訓練する。Ⅰで集めたデータを用いて学習することで、VAE はその状態を効率的に潜在変数としてとらえられるようになる。VAE の目的は、1 枚 64×64×3 (図１ 学習アーキテクチャの全体図縦×横×RGB) の画像を正規分布するランダムな潜在変数(mu,log_var)に低次元化すること

3. 学習の流れである。mu(平均)と log_var(分散)で 2 次元の以下の 5 つのステップで学習を進める[2]。

正規分布を表す。

Ⅰ. ランダムなロールアウトデータの収集
ここでは、エージェントが与えられたタスク

図３は VAE の概略図である。入力画像と出とは無関係にランダムに環境を探索する。複数力画像が同じになるように VAE を訓練する。のエピソードをシミュレートし、時間ステップVAE に 64×64×3 の画像が入力されるとエン毎の観測された状態、行動(ランダム)、報酬(-コーダを介して、32 次元の潜在変数になる。

0.1 か 3.67)を格納する。ここでの狙いは、エ

そして、32 次元の潜在変数はデコーダを介しージェントの行動によって、環境がどのようにて 64×64×3 の出力画像になる。図４にエン変化するのかに関するデータセットを構築すコーダのネットワーク構成を示す。

ることである。
図２は、あるエピソードの 40 番目のフレームを表している。画像は状態、a は[ハンドル,アクセル,ブレーキ]、r は報酬を表している。
この図の場合、エージェントがハンドルを変えず、動かなかったため、報酬が-0.1 与えられた

図3
2

VAE の概略図

このステップでは、各エピソードに対応する時間ステップ毎の mu、log_var、行動、報酬変数を読み込む。次に、MDN-RNN が z ベクトル、行動、報酬の入力から、次の z ベクト
ルと報酬を予測できるように訓練される。
図 5 の左は MDN-RNN のモデルである。この図のように現在の情報から未来を予測できるように訓練する。図 5 の右は RNN のネット

図 4 エンコーダのネットワーク構成

ワーク構成である。

Ⅲ . MDN-RNN(Mixture Density Network Recurrent Neural Network)訓練用のデータ収集

MDN は従来のニューラルネットワークを混合密度モデルと結合して得られたモデルのクラスのことである。MDN では、コスト関数に多峰性の混合ガウス分布でモデルされたものを用いる。こうすることで、確率的な事象も扱

図 5 MDN-RNN モデルえるようになる。RNN は、時系列データを取り扱えるニューラルネットワークのことであⅤ. コントローラの訓練る。RNN は入力層・中間層・出力層から成り立ある状態でどのような行動をとれば、よりっており、中間層の演算結果を出力するととも良い報酬を得られるかを学習させることをコに、同じ演算結果を再び中間層に入力し再演算ントローラの訓練の目的とする。

する。このことにより、以前に計算された情報

ここでは、訓練済みの VAE と RNN を用いを記憶しておくことができる。てコントローラを訓練し、与えられた現在の z

ステップⅡで VAE が訓練されるので、これと RNN の隠れ状態 h から行動を出力できるよを用いて RNN 用の訓練データを生成することうになる。

ができる。このステップでは、ランダムなロー進化アルゴリズムの共分散行列適応進化戦

ルアウトデータすべてを VAE に渡し、各観測略(Covariance Matrix Adaptation Evolutionに対応する mu(平均)と log_var(分散)ベクトルStrategy)を用いて訓練を行う。このアルゴリを格納する。このエンコードされたデータは、

ズムは、そのタスクに対して全体的なスコアすでに収集された行動と報酬とともに、MDN-が高くなる行動を生成するエージェントに報

RNN を訓練するのに使われる。

酬を与える。そうすることで、この望ましい振る舞いを未来の世代も継承する可能性が高Ⅳ. MDN-RNN の訓練くなり、スコアの向上が期待できる。

MDN-RNN の目的は、1 ステップ後の未来

図６は、カーブを曲がる際の行動イメージを予測することであり、VAE が生成することである。アルゴリズム内のコントローラのパが期待される将来の潜在変数の予測モデルとラメータが最適化されていくことで、エージして機能することである。

ェントを動かすコントローラは徐々に、青矢3

印のような行動をとらずに、赤矢印の行動をそこで、②のようにエージェントが道路からとるようになりカーブを上手に曲がれるよう完全に外れた場合には、以降のデータを削除になる。

することにした。こうすることで、訓練の効進化アルゴリズムの処理ステップを以下に率化を図れると考えた。
観測データの選別は、エージェント周辺の 9示す。
①エージェントの集団を作成し、各エージェ点の色を判別することで行う。9 点は図７に示

ントに対するパラメータをランダムに初期化

す通り、エージェントを中心として、中心・②以下の a~d を繰り返す

上・右上・右・右下・下・左下・左・左上でa. 環境内で各エージェントを評価し、複数のある。もし上記の 9 点がすべて緑であれば、完エピソードの平均を求める

全に道路から外れたと認識する。一方、1 点以b. 集団から最も良いスコアを持つエージェン

上灰色があれば、まだ道路の近辺にいると認トを交叉させ、新しいメンバーを作る識する。

c. 新しいメンバーのパラメータにランダム性実験では、上記の 2 つのパターンで VAE をを追加するそれぞれ訓練し、その後、コントローラを学

d. 新たなエージェントを追加し、パフォーマ習する。

ンスの悪いエージェントを取り除く

図７ 色判別の箇所
図６

5. 実験

カーブを曲がる際の行動イメージ

5.1 実験で使用したパラメータ

4. 提案手法

学習の流れで示したⅡ,Ⅳ,Ⅴで使用したパラ収集したロールアウトデータを用いて、以メータを以下に示す。

下の 2 つのパターンでそれぞれ訓練を行う。

Ⅱ. VAE 訓練に使用するエピソード数:1000
訓練エポック数:20① 収集したすべての観測データを用いる

Ⅳ. 各訓練の繰り返しで、MDN-RNN に渡す

場合

エピソード数:3000② エージェントが道路から完全に外れた訓練の繰り返し総数:1000

観測データを削除する場合

Ⅴ. 解を並列にテストするワーカー数：4

エージェントが道路から完全に外れると、世代ごとにテストするために各ワーカーエージェントは正の報酬をもらえず、性能向に割り当てられる解の数:4上が期待できない。また、エージェントが道平均報酬を計算するために、それぞれの解路から大きく外れると戻れることは少ない。
4がテストされるエピソード数:4
各エピソードの最大時間ステップ数:1000
その時点で最も良いパラメータセットの評価間の世代数:10

5.2 実験結果
4 で示した提案手法の通りに、2 つのパターンで実験を行った。
どちらの実験も、1 世代の訓練には約 12 分

図９ 改良後の世代数と世代の平均報酬かかった。計算機のスペックは、プロセッサ:
AMD Ryzen 5 3600xt (3.8GHz) 、 メ モ リ :6. まとめ64GB、OS：Ubunts 20.04 である。

道路から外れた状況を除外するプログラム

図８は、改良前の世代数とその世代での平を作成し、観測データの選別はできた。しかし、均報酬を表している。学習初期には、報酬が改良後のエージェントが改良前よりも、性能が負であるため、エージェントが道路外で動い悪いという結果が出てしまった。これらの原因ている、もしくは動いていない。学習中期にとして、データ削除によるデータ不足（道路外は、平均報酬が急激に増加している。学習終の訓練データも性能向上に寄与している可能期には報酬が 800 程度になり、道路を一周で性がある）、プログラムの不具合などが考えらきるようになった。

れる。

図９は、改良後の世代数とその世代での平均

現在のアルゴリズムでは、カーブの内側を走報酬を表している。報酬が全体を通して低く、行した際に、数ステップ先に道路に戻れるデー最大で 230 程度である。また、図８の約 3 倍の世代の学習を行ったが、報酬の値はかなり低い。

タも削除している。そこで、色判別の箇所について再検討が必要である。

そして、平均報酬がこまめに増減を繰り返していることから、適切に行動を学習できていない

参考文献

ことが分かる。なお、色判別プログラムの導入

1) David Ha, Jürgen Schmidhuber：”Worldによって、②の訓練データ数は 3 分の 1 程度にModels”,減少した。

https://arxiv.org/abs/1803.10122 (2018)
2) David Foster 著、松田晃一、小沼千絵訳：”生成 Deep Learning”, オーム社 (2020)

図８ 改良前の世代数と世代の平均報酬5