216

システム制御情報学会論文誌，Vol. 37, No. 8, pp. 216–224, 2024

SCI’23 論文 特集号—V論

文

Surrogate-Assisted Self-Adaptive MBEANN の提案とその評価*小村真央 † ・宮本明治 † ・平賀元彰 ‡ ・森本

大智 § ・大倉

和博 †Proposal and Evaluation of Surrogate-Assisted Self-Adaptive
MBEANN*
Masahiro Komura† , Akiharu Miyamoto† , Motoaki Hiraga‡ ,Daichi Morimoto§ and Kazuhiro Ohkura†This paper proposes an extension for Mutation-Based Evolving Artiﬁcial Neural Networks(MBEANN) algorithm. The proposed method consists of two parts: a surrogate model and aself-adaptive mutation. Firstly, the surrogate-assisted mechanism is introduced to MBEANN for
reducing the cost of ﬁtness evaluations. This mechanism employs approximated ﬁtness values predicted by a surrogate model instead of true ﬁtness functions. Secondly, the self-adaptive mutation
is applied to MBEANN for adjusting the exploring area in parameter space. The performance ofthe proposed method is compared with the normal MBEANN and NEAT algorithms by using thethree benchmarks of OpenAI Gym. The experimental results showed that the proposed method
outperformed other algorithms in all benchmarks.

1.

はじめに

の対象としている．しかし，ネットワーク構造を固定した場合，設計者が問題ごとに適切なネットワーク構造を

人工神経回路網 [1] には進化計算を用いて設計を試決定する必要がある．そこで，結合荷重値だけでなく，みる研究領域があり，進化型人工神経回路網 (Evolving

ネットワーク構造も進化計算により獲得する研究が行わ

Artiﬁcial Neural Networks: EANN)[2] とよばれている．勾配降下法と比較した利点として，ネットワーク構
造のみならず，学習率などの学習の進行速度を決定するハイパーパラメータ，学習ルールそのものを遺伝子型に組み込んでの進化が可能であることが挙げられる [3]．
一般的に EANN では，シナプス結合荷重値のみを進化∗

原稿受付 2023 年 8 月 17 日
第 67 回システム制御情報学会研究発表講演会にて発表（2023 年 5 月）†
広島大学 大学院 先進理工系科学研究科
Graduate∗

は，初期構造を入力層と出力層のみとし，最小構造から探索を開始することにより，適切な初期構造を設定する

School of Advanced Science and Engineering, Hiroshima
University; 1-4-1, Kagamiyama, Higashi Hiroshima, Hiroshima 739-8524, JAPAN‡
京都工芸繊維大学 機械工学系 Faculty of Mechanical Engineering, Kyoto Institute of Technology; Goshokaidocho, Matsugasaki, Sakyo-ku, Kyoto 606-8585, JAPAN§れており，この分野は Topology and Weight Evolving
Artiﬁcial Neural Networks (TWEANN)[4] とよばれている．TWEANN のアルゴリズムを設計するには，(i)交叉によって遺伝情報が欠損する，(ii) 構造の変化により，適応度が低下する，(iii) 適切な初期構造を設定することが困難である，などの課題が知られている [5]．
TWEANN の代表的手法として，NeuroEvolution ofAugmenting Topologies (NEAT)[4] がある．この手法ことが困難であるという問題に対処している．また，(i)刷新番号を利用して交叉を行うことにより，親個体の持つ遺伝子情報を重複，欠損なしに受け継ぐ，(ii) 種分化
により刷新構造を保護する，といった操作により交叉によって引き起こされる様々な問題に対処している．しか九州工業大学 大学院 工学研究院 機械知能工学研究系

し NEAT には，交叉による構造の肥大化や，種分化によDepartment of Mechanical and Control Engineering,
Kyushu Institute of Technology, 1-1 Sensui, Tobata, Kitakyushu, Fukuoka 804-8550, JAPANKey Words : surrogate modeling, surrogate-assisted evolutionary algorithms, topology and weight evolving artiﬁcial
neural networks, self-adaptive mutation.

る性能の低い個体の過剰な保護などの問題点がある．

TWEANN の 手 法 と し て NEAT の ほ か に ，単 為生殖をモチーフとし，遺伝的操作に交叉を用いない

Mutation-Based Evolving Artiﬁcial Neural Networks(MBEANN)[6] がある．MBEANN は，自然淘汰と中立– 10 –

小村・宮本・平賀・森本・大倉：Surrogate-Assisted Self-Adaptive MBEANN の提案とその評価

突然変異の間にほぼ中立突然変異が存在する分子進化の217 !"  # $ほぼ中立説 [7] に着想を得ている．そのため，中立突然 
 変異であるシナプス結合付加構造突然変異とほぼ中立突

 


 


然変異であるノード付加突然変異を採用し，TWEANN





の問題点である構造変化による適応度低下に対処して           

 

 

 
 

 
 



               



              いる．また，NEAT 同様に最小構造から探索を開始す%

ることにより，適切な初期構造を設定することが困難 % & !'  # $であるという問題に対処している．TWEANN は，進化計算手法の一種であるため，多数の解候補の評価を

想定している．そのため，1 回の解評価に高い計算コ








ストがかかる問題 (Expensive Optimization Problem:EOP)[8] への適用には，多くの計算リソースが要求される．EOP への一般的なアプローチとして，問題の近似モ

Fig. 1

Example of a genotype to phenotype mapping in
MBEANNデル，すなわちサロゲートモデルを用いることが挙げら

リズムは，まず最小限の位相構造を持つ個体の集団かられる. 現在まで，サロゲートモデルを進化計算に適用し始まり，突然変異によって構造が複雑になっていく．新た，サロゲート進化アルゴリズム (Surrogate-Assisted

しいノードと結合が追加されるたび，それらに刷新番号

Evolutionary Algorithm: SAEA)[9] の研究が盛んに行われている．2018 年，A. Gaier らは SAEA を NEATに適用した Surrogate-Assisted NEAT (SA-NEAT)[10](innovation number) という全探索集団を通して固有のを提案した．

めの指標となる．

番号が付与される．この番号により，異なる個体における共通ネットワーク要素が特定され，交叉や種分化のた

本研究では，SA-NEAT におけるサロゲート評価のア

NEAT の主要な特徴は，種分化によって構造差異の大きプローチを MBEANN にも適用することを試みる．こい個体を保護する点である．新しい個体が生成されると，れに加えて，シナプス結合荷重突然変異およびバイアス

既存の個体との類似度を測る適合性距離 (compatibility

値突然変異におけるステップサイズの設定法として，進distance) が計算される．この距離があるしきい値を超化戦略で用いられている自己適応型突然変異法 [11] をえると新しい種に分類される．NEAT の個体 x, x の適導入した Surrogate-Assisted Self-Adaptive MBEANN(SA-MBEANN) を提案する．また，SA-MBEANN の有効性を検証するために，TWEANN の代表的手法である NEAT, SA-NEAT および従来の MBEANN と比較する．SA-MBEANN により，NEAT や MBEANN と比合性距離は，不一致遺伝子数 G と，一致遺伝子の結合荷重値の差の平均 W を用いて，次のように計算される．

d(x,x ) = c1 G(x,x ) + c2 W (x,x )ここで，c1 , c2 は定数である．NEAT では，異なる種にべ，少ない解評価回数で同等以上の適応度を獲得するこ属する個体同士の交叉を制限するとともに，淘汰を各種とを目指す．
本 論 文 は 以 下 の よ う に 構 成 さ れ る ．第 2 章 で は ，

TWEANN について説明する．第 3 章では，サロゲー
トモデルの構築方法について説明する．第 4 章は，提案手法である SA-MBEANN について説明する．第 5 章では，実験結果について議論する．第 6 章では，実験結果に対する考察を行う．第 7 章では，本論文のまとめと今保護している．

MBEANNEANN で交叉を用いた場合，構造の競合現象 (competing conventions)[12] が発生し，タスクに重要な遺伝
子情報が失われる場合がある．これに対し，MBEANN
は単為生殖をモチーフとし，突然変異のみによって子個体が生成される．以下に MBEANN について詳細を述

TWEANN

べる．

一般的に，EANN ではシナプス結合荷重値のみを進化対象としているため，設計者がタスクごとに適切なネッ
トワーク構造を決定する必要がある．そこで，結合荷重値とともに構造自体を進化計算によって獲得する分野があり，TWEANN[4] とよばれている．

2.1

内に限定することにより，異なる位相構造を持つ個体を

2.2

後の展望を示す．

2.

(1)

2.2.1 遺伝子型へのエンコーディング法
MBEANN の個体の構造の例を Fig. 1 に示す．string
は (2) 式に示すように，遺伝子座部分集合である operonで構成されている．operon を構成する遺伝子座集合は，(3) 式に示すように，ノードとそれに接続するシナプス結合から構成されている．

NEAT

NEAT[4] は，2002 年に発表されて以来，TWEANNの最も標準的なアルゴリズムとなっている．このアルゴ– 11 –

string = {operon0 ,operon1 ,...,operonm }(2)

operoni = {linkj |j ∈ Oli } ∪ {nodek |k ∈ Oni }

(3)

218

システム制御情報学会論文誌

第 37 巻第8号(2024)

メータ τ は，比例定数 c を用いて以下のように設定する．

ここで，m は string に含まれる operon の最大添字，Oli√τ = c/ nは operoni に属するシナプス結合番号の集合，Oni はoperoni に属するノード番号の集合である．各ノードはノード番号とノード形式（入力層ノード/隠れ層ノード/(7)

本研究では c = 1.0 を用いる．

出力層ノードのいずれか）の値を持つ．隠れ層・出力層
ノードの場合は，上記の値に加えてバイアスの値を持つ．

3.

サロゲートモデルの構築

また，link はシナプス結合を表しており，シナプス結合

3.1

ガウス過程回帰番号，入力（接続元）ノードの識別番号，出力（接続先）

サロゲートモデルは，機械学習によって評価済みの解ノードの識別番号，結合荷重値の値を持つ．結合荷重値データから生成される．このモデルを用いて未評価解のw は実数値をとる．各 operon は表現型において部分ネッ
トワークを構成し，異なる operon に属するノード間でのシナプス結合は生成されない．したがって，operon ご

評価値を予測する．様々な機械学習でサロゲートモデルとに独立した部分ネットワークを形成することが期待さ考手法である SA-NEAT[10] にならい，ガウス過程回帰れる．初期個体が持つネットワーク構造を operon0 とし，モデルを用いる．事前データとして，評価点 x と評価値

operon0 は，すべての入力層・出力層ノードとそれらをy の N 個のペア結ぶシナプス結合によって構成される．

を構成することができる [14] が，近年ではガウス過程回帰モデル [15] が最もよく用いられている．ここでは，参D = {(x1 ,y1 ),(x2 ,y2 ),...,(xN ,yN )}(8)2.2.2 突然変異法
TWEANN では，構造自体を変化させると表現型の特が与えられたとき，未評価点 x∗ における評価値 y ∗ を徴が大幅に変化し，適応度が急激に低下するおそれがあ

ガウス過程回帰によって予測する場合を考える．評価値

る．そこで，MBEANN は参考文献 [13] と同様に分子進

y = f (x) は，平均 μ(x)，共分散関数 k(x,x ) のガウス化のほぼ中立説 [7] に則り，構造の突然変異が発生した過程に従うとする．

とき，適応度がほとんど低下しないように設計されていf (x) ∼ GP(μ(x),k(x,x ))る．本項では，従来の MBEANN と比較した際の変更点(9)であるシナプス結合荷重突然変異法およびバイアス値突

ガウス過程回帰モデルは，評価点が似ていれば，評価値

然変異について説明する．

も似ているという直感的な仮定に基づく．共分散関数 k

従来の MBEANN では，シナプス結合荷重突然変異おは，評価点 x の類似度をカーネルで定義する．

よびバイアス値突然変異は，進化計算にて広く用いられ次式で示すカーネル関数は，ガウスカーネル (Gaussianている突然変異法を採用していた [6,11]．すなわち，シKernel) または動径基底関数 (Radial Basis Function:RBF) カーネルとよばれ，最もよく用いられている．
|x − x |2k(x,x ) = θ1 exp −(10)+ θ3 δ(x,x )θ2

ナプス結合荷重値およびバイアス値 wi (i = 0,1,...,n) は各個体が持つ固定値であるステップサイズ ς を用いて，一定の確率で (4) 式に示すように wi に変異する．

wi = wi + ς · Ni (0,1)(4)

θ1 , θ2 , θ3 はこのカーネル関数の性質を決めるパラメー
タであり，δ(x,x ) は x = x のとき 1，それ以外は 0 を返

ここで，Ni (0,1) は i ごとに独立な平均 0，分散 1 のガウす関数である．

ス分布から得られる乱数値を表す．

このカーネル関数を用いて，事前データと未評価点か提案手法では，自己適応的なステップサイズ [11] をシら次のカーネル行列とベクトルを生成する．

ナプス結合荷重突然変異およびバイアス値突然変異に導⎡入している．これにより，ANN のパラメータだけでな
く，ステップサイズにも選択圧が作用し，探索の進行に応じて突然変異幅を適切に調節することが期待される．
この手法では，個体ごとのステップサイズ ς を使用し，突然変異操作を行う．ステップサイズ ς は，突然変異操作を行う前に更新される．ステップサイズの更新および(5)

wi = wi + ς  · Ni (0,1)

(6)

(11)

k∗ = (k(x∗ ,x1 ),k(x∗ ,x2 ),...,k(x∗ ,xN ))T(12)

未評価点 x∗ における y ∗ はガウス分布に従うため，突然変異操作は以下の式で示される．

ς  = ς · eτ ·N (0,1)⎤
k(x1 ,x1 ) ... k(x1 ,xN )
⎢
⎥
..
..
..
⎥
K =⎢
.
.
.
⎣
⎦
k(xN ,x1 ) ... k(xN ,xN )p(y ∗ |x∗ ,D) = N (μ(x∗ ),σ 2 (x∗ ))(13)と表現できる．このとき，予測分布の期待値 μ(x∗ ) と分
散 σ 2 (x∗ ) は次のように与えられる．



ここで，ς は更新後のステップサイズ，N (0,1) は平均μ(x∗ ) = k∗T K −1 y0，分散 1 のガウス分布から得られる乱数値を表す．パラ– 12 –(14)

小村・宮本・平賀・森本・大倉：Surrogate-Assisted Self-Adaptive MBEANN の提案とその評価

219(1) トレーニングセットの生成
世代 t = 0 のとき，SA-MBEANN は，MBEANN

σ(x*)
μ(x*)

と同様に最小限のネットワーク構造を持つ初期集
団 P0 から始まる．集団サイズは M とし，トレー
ニングセットを形成するまでの世代数を T とする
x3

Fig. 2

x1

x5

x2

x*

x6

と，Pi (i = 0,1,...,T ) のすべての個体は，真の目的

x4

関数 F (x) をもとに評価され，サロゲートモデルのトレーニングセット D を形成し，サロゲートモデ

Example of Gaussian process regression

σ 2 (x∗ ) = k(x∗ ,x∗ ) − k∗T K −1 k∗

ルを構築する．

(15)

ガウス過程回帰の例を Fig. 2 に示す．
得 ら れ た 予 測 分 布 の 不 確 か さ は ，ベ イ ズ 最 適 化(Bayesian Optimization)[16] によって定量化される．
本研究では，次式で与えられる信頼性上限関数 (Upper
Conﬁdence Bound: UCB)[17] を用いる．
UCB(x) = μ(x) + κσ(x)(16)

いて進化のプロセスが繰り返される．

(3) モデルの更新

ここで，κ は期待値と分散のどちらを重視するのかを決集団の中で，近似適応度 yt が最も高い個体から順定するパラメータである．

に，設定した数 n だけ選択する．選択された個体[x1 ,x2 ,...,xn ] は Inﬁll Individuals とよぶ．これらは真の目的関数 F (x) で評価され，トレーニング
セット D に追加される．トレーニングセット D には，個体 x とその適応度 y のペアをストックできる上限値 N が定められており，新しいサンプルの追加により上限値 N を超える場合は，最も古いサ

3.2

適合性距離カーネル
ガウス過程は，(10) 式が計算できる場合，すなわち個体間の類似度を測る尺度が存在する場合，未評価解の予測ができる．しかし，TWEANN ではネットワーク構造が変化するため，入力空間が一定ではない．そこで，A.
Gaier らは NEAT で用いられる適合性距離を個体間の距
離尺度とした，適合性距離カーネルを提案した [10]．
d(x,x )2
k(x,x ) = θ1 exp −+ θ3 δ(x,x ) (17)θ2ンプルと置き換える．

(4) 集団の更新
トレーニングセットは，サロゲートモデルの形成以外にも，進化の再出発点となりうる個体を保存

ハイパーパラメータ θ = (θ1 ,θ2 ,θ3 ) は，次式で示されるする役割がある．SA-MBEANN では，進化が進

尤度関数を最大化することで最適化される．

1
1logp(y|x,θ) = − y T K −1 y − log|(K)|2
2

むにつれてネットワークが大規模化し，解の探索(18)が十分に行われる前に個体の次元数が増加する．
これにより，モデルが予測可能な既知の解 D から

こ こで，適合性距 離 は 微 分 不 可 能 で あ る た め ，共 分

遠ざかり，近似適応度 y  の精度が低くなる．そ散行列適応進化戦略 (Covariance Matrix Adaptation

こで，SA-NEAT と同様にトレーニングセットのEvolution Strategy: CMA-ES)[18] を用いて，尤度関数を最大化する θ を求める．
NEAT における個体の適応度を適合性距離カーネルに個体 [x1 ,x2 ,···,xN ] を再び集団 Pt に戻すことで，個体の次元数を引き戻す．個体は，トレーニング
セットに新しく追加されたものから順に選択されより形成されたサロゲートモデルによって得られる近似

る．これらの個体 [xn+1 ,xn+2 ,···,xM ] と Inﬁll
Individuals [x1 ,x2 ,...,xn ] で新しい集団 Pt が構成される．そして，手順 (2) に戻り進化が行われる．

解で代替した手法が SA-NEAT である．本研究では，この技術を MBEANN に適用した SA-MBEANN を提案する．

4.

(2) サロゲートモデルを用いた進化
個 体 の 適 応 度 yt = [y1 ,y2 ,···,yM ]t を も と に ，MBEANN のアルゴリズムに従って子個体 Pt+1 =[x∗1 ,x∗2 ,···,x∗M ] を生成する．子個体は，サロゲー
トモデルと (16) 式の獲得関数により，近似適応度yt+1が与えられる．次の世代の子個体 Pt+2 を生を用成する際，適応度の代わりに近似適応度 yt+1

(5) トレーニングセットの初期化
手順 (4) の終了後，新しい個体がトレーニングセッ

Surrogate-Assisted MBEANN

トに十分に追加されているにもかかわらず，それ

MBEANN では交叉を用いないため，ノードやシナプ

までに獲得した最高適応度 ymax が更新されない場

ス結合に全探索集団を通して固有の番号は付与されてい合，トレーニングセットを初期化する．このとき，ない．そのため，SA-MBEANN では適合性距離を計算

トレーニングセットを初期化するまでに追加するできるよう刷新番号を導入した．SA-MBEANN のアル個体の数を Stagnation とよぶ．そして，この時点

ゴリズムは以下の通りである．

における集団全体を真の目的関数 F (x) で評価し，– 13 –

220

システム制御情報学会論文誌

第 37 巻第8号(2024)

最高適応度 ymax より高い適応度を獲得しているにもかかわらず，近似適応度 y  が低い個体が集団のθ

中に存在するかを確認する．存在する場合，手順(2) に戻る．存在しない場合，最高適応度 ymax が更新されるまで，サロゲートモデルを用いない従x

来の MBEANN による進化が行われる．ここで，真の目的関数 F (x) で評価された個体はすべてト

m
2.4 m

レーニングセットに追加される．ただし，上限値

N を超えた場合は，最も古いサンプルと置き換え
る．最高適応度 ymax が更新された場合 ，手順 (2)(a) CartPole-v0

実験結果
考察

に戻る．

1

Ant-v4（個体数500）15試行ごとの平均適応度の推移
最高適応度を獲得した試行における最良個体のネットワーク構造

5.

評価実験

• SA-NEATとNEATを比較するとSA-NEATの方が大きなネットワーク構造を獲得した• SA-MBEANNとMBEANNを比較するとSA-MBEANNの方が大きなネットワーク
構造を獲得した

本 実 験 で は ，提 案 手 法 で あ る SA-MBEANN をNEAT

MBEANN, NEAT, SA-NEAT と 比 較 す る ．ベ ン チ
マークとして OpenAI Gym[19] により提供されている CartPole-v0, HalfCheetah-v4, Ant-v4 を用いる. こz

パラメータチューニング後パラメータチューニング前• All-MBEANNはSA-MBEANNと比較して高い平均適応度を獲得した
Tの性能は上昇した• NEATおよびSA-NEA
MBEANN
SA-MBEANN
平均ノード数の推移

y

れらのタスクにおいて，より高い適応度を獲得できるx

ANN を進化的に設計する．NEAT, SA-NEAT は neatpython[20] を用いて実装し，SA-NEAT は文献 [10] を参平均リンク数の推移※評価回数は同じ(b) HalfCheetah-v4

考に作成した．

5.1

SA-NEAT

実験結果

1

Ant-v4（個体数500）15試行ごとの平均適応度の推移

タスク設定

本節ではベンチマークタスクの設定について述べる．
各タスクにおける目的，制御器への入出力情報，報酬設定について概説する．

5.1.1 CartPole-v0
CartPole-v0 の概観を Fig. 3 (a) に示す．本タスクでは, ポールが取り付けられた台車を左右に移動させ，ポーzz z

パラメータチューニング後パラメータチューニング前• All-MBEANNはSA-MBEANNと比較して高い平均適応度を獲得した
y • NEATおよびSA-NEA
Tの性能は上昇した
y

y

x

x x

ルを所定の角度内に倒立させることを目的とする．制御※評価回数は同じ(c) Ant-v4器への入力は四つの情報からなり，それぞれ台車の位置と速度，ポールの角度と角速度である．これらの情報はFig. 3

OpenAI Gym task environments

タイムステップごとに取得される．制御器の出力は, 台からなる．タスクにおける目的は，図中の x 軸方向にロ

車の左右方向どちらに力を加えるかを決定する．報酬ππは，ポールの角度 θ が − 15 ≤ θ ≤ 15 にあるとき，タイム

ボットを出来るだけ速く移動させることである．制御器

ステップごとに 1 与えられる．なお，ここでは OpenAIへの入力数は 17 であり，各関節の速度と角速度，頭部のGym におけるデフォルトの設定 [19] から以下の変更を

位置（z 座標）と速度などから構成される [19]．制御器

加え，ポールの振り上げ問題とすることでタスクの難化の出力は計六つであり，各関節にかかるトルクに対応すを図った．

る．報酬は以下の式で与えられる．

ππ
X ポールの角度 θ が − 15 ≤ θ ≤ 15 の範囲外でも終了し

reward = f orward − 0.1ctrl cost

(19)

ない．
こ こ で f orward は ロ ボット の 速 度 か ら 算 出 さ れ る ．

X ポールの角度 θ の初期状態を θ = π を中心とした一ctrl cost は各関節のトルク値の二乗和であり, 罰則として作用する．タスクの終了条件は 1,000 タイムステッ
プ経過することである．制御器の適応度は CartPole-v0

様乱数とする．
タスクの終了条件を以下に示す．

X 台車中心の x 座標が ±2.4 m を超過する．
X 200 タイムステップ経過する．

と同様に報酬の総和である．

制御器の適応度として，獲得報酬の総和を用いる．

5.1.2 HalfCheetah-v4
HalfCheetah-v4 の 概 観 を Fig. 3 (b) に 示 す．
HalfCheetah-v4 は 2 脚のロボットであり，各脚は 3 関節
– 14 –

5.1.3 Ant-v4
Ant-v4 の概観を Fig. 3 (c) に示す．Ant-v4 は 4 脚の歩行ロボットであり，各脚は 2 関節からなる．タスクの目的は HalfCheetah-v4 と同様に，図中の x 軸方向へ移221

小村・宮本・平賀・森本・大倉：Surrogate-Assisted Self-Adaptive MBEANN の提案とその評価動させることである．制御器への入力数は 27 であり，各Table 1

関節の速度と角速度，胴体中心の座標（z 座標）と姿勢
角などから構成される [19]．制御器の出力は計八つであり，各関節にかかるトルクに対応する．報酬は以下の式
で与えられる．

reward = healthy + f orward − 0.5ctrl cost

(20)

Settings of NEAT (CP-v0: CartPole-v0, HC-v4:
HalfCheetah-v4)

Parameter

CP-v0

HC-v4

Ant-v4

Population size(μ,λ)
Elite size

200
(40,198)2

200(40,198)2

500(100,498)
2

f orward および ctrl cost は HalfCheetah-v4 と同様に与えられる．healthy はタスクの終了条件を満たさない

Table 2

Parameter

CP-v0

HC-v4

Ant-v4

Population size
Tournament size

200
20

200
20

500
50

間，タイムステップごとに与えられる報酬である．タスクの終了条件を以下に示す．

X 胴体中心の z 座標値が [0.2, 1.0] を超過する．
X 1,000 タイムステップ経過する．

Table 3制御器の適応度は獲得報酬の総和である．

5.2

アルゴリズム設定
本研究で使用した，NEAT, MBEANN, SA-NEAT,
SA-MBEANN の パ ラ メ ー タ を Tables 1∼4 に 示 す．
NEAT および SA-NEAT は (μ,λ) 選択，エリート選択を用いる．MBEANN および SA-MBEANN はトーナ
メント選択を採用し，エリート選択は採用していない．
隠れ層および出力層におけるバイアスのステップサイズ

Settings of MBEANN

Settings of SA-NEAT

Parameter

CP-v0

HC-v4

Ant-v4

Population size(μ,λ)
Elite size
Number of inﬁll
individuals
Stagnation
Training set size

200
(40,198)2

200(40,198)2

500(100,498)
2

10

20

20

200
500

200
600

200
800

は，シナプス結合荷重値におけるステップサイズと同じ値を用いる．Ant-v4 は CartPole-v0，HalfCheetah-v4

Table 4

Settings of SA-MBEANNと比較すると困難なタスクであるため，集団サイズをParameter

CP-v0

HC-v4

Ant-v4500 とした．すべての手法において，ノード付加突然変
異率は 0.03，シナプス結合付加突然変異率は 0.3，シナプス結合およびバイアスの突然変異率は 1.0 と設定した．MBEANN と比較して NEAT および SA-NEAT には，特有のパラメータが存在する．MBEANN にないハ
イパーパラメータは，文献 [4] と neat-python[20] を参考にして設定した．なお，HalfCheetah-v4 および Ant-v4

Population size
Tournament size
Number of inﬁll
individuals
Stagnation
Training set size
Initial step size
Step size

200
20

200
20

500
50

10

20

20

200
500
0.5
[0.01,5.0]

200
600
0.01
[0.001,0.1]

200
800
0.005
[0.001,0.1]

では，初期世代からサロゲートモデルを構築した場合，局所解に陥ることが確認されたため，HalfCheetah-v4に到達している．これらの結果から，SA-MBEANN ははトレーニングセットを形成する世代数を T = 20 とし，

MBEANN よりも少ない解評価回数で同等以上の性能をAnt-v4 はトレーニングセットを形成する世代数を T = 60獲得したことがわかる．

とした．

5.3

獲得した適応度に差がみられた HalfCheetah-v4 およ

実験結果び Ant-v4 において，15 試行の各進化試行で記録された最も高い適応度を Fig. 5 に示す．各手法が獲得した最高各手法を用いて 15 試行ずつ実験を行った．Fig. 4 に解
評価回数に対する各試行の最高適応度 (ymax ) の 15 試行

適応度の比較のため，Kruskal-Wails 検定と Bonferroni

分の平均値の推移とその標準偏差を示す．ここで，サロ法で補正した Mann-Whitney の U 検定を有意水準 5%

ゲートモデルによる近似解評価は，解評価回数に含まれで行った．CartPole-v0 では有意差は確認されなかったていない．Fig. 4 から，CartPole-v0 では，すべての手法

が，HalfCheetah-v4 および Ant-v4 では有意差が確認さにおいて，比較的類似した推移を示した．CartPole-v0

れ，SA-MBEANN が最も高い適応度を獲得した．これでは，MBEANN が 20,000 回の解評価で獲得した適応らの結果から，HalfCheetah-v4, Ant-v4 では，提案手度に，SA-MBEANN はおおよそ 6,600 回ほどの解評価法が有効であると考えられる．

で到達している．HalfCheetah-v4 では，おおよそ 4,800

6.

回ほどの解評価で MBEANN が最終的に獲得した適応考察度に到達している．Ant-v4 では，おおよそ 30,000 回

本章では獲得されたネットワーク構造に着目する．

ほどの解評価で MBEANN が最終的に獲得した適応度

SA-MBEANN が優れた性能を示した Ant-v4 において，– 15 –

222

システム制御情報学会論文誌

第 37 巻

5000

100

4000

Fitness

Fitness(2024)

6000

120

80

3000

60

2000

40

NEAT
MBEANN
SA-NEATSA-MBEANN

20
0

第8号

0

5000

10000

15000

Evaluations

1000
0

20000

NEAT

MBEANN

SA-NEAT SA-MBEANN(a) HalfCheetah-v4(a) CartPole-v0
3500
6000

3000

5000

Fitness

2500

Fitness

4000

2000

3000

1500

2000

NEAT
MBEANN
SA-NEATSA-MBEANN

1000
0

0

5000

10000

15000

Evaluations

1000

NEAT

MBEANN

SA-NEAT SA-MBEANN(b) Ant-v4

20000

Fig. 5(b) HalfCheetah-v4

Boxplots of the best ﬁtness value from 15 trials

MBEANN では，十分に探索が行われる前に構造が肥大3500化され，SA-MBEANN と比較して低い適応度を獲得し3000

たが，SA-MBEANN では，次元の引き戻しが有効に働

2500

Fitness

いたためだと考えられる．MBEANN では，構造突然変2000

異が operon ごとに働くため，評価回数が増加するにつ1500

れて operon 数が増加し，ネットワーク構造が肥大化し

1000
500
0

やすくなる．一方，SA-MBEANN では，過度にネット

NEAT
MBEANN
SA-NEATSA-MBEANN

0

20000

40000

60000

Evaluations

80000

ワーク構造が肥大化したとき，サロゲートモデルの予測範囲から遠ざかるため，近似適応度の精度が低くなる．

100000

このため，第 4 章の手順 (4) に示すように，トレーニン
グセットの個体を再び集団に戻すことで個体の次元数を(c) Ant-v4

引き戻している．この操作が SA-MBEANN において有Fig. 4

効に働き，SA-MBEANN は MBEANN よりも少ないシTransition of the average ﬁtness value of 15 trials

ナプス結合数を獲得したと考えられる．HalfCheetah-v4
各アルゴリズムが獲得したネットワークの構造を Fig. 6

では，MBEANN の肥大化ペースでも十分に解けたので，に示す．ここでは，最高適応度を獲得した進化試行に

MBEANN と SA-MBEANN のノード数およびシナプス

おいて，最終世代におけるネットワーク構造を例示し結合数に大きな差が出なかったと考えられる．

ている．MBEANN, SA-MBEANN はそれぞれ NEAT,

7.

SA-NEAT と比較して多くのノード，リンクを有して
いる．

おわりに

本 研 究 で は ，自 己 適 応 型 突 然 変 異 法 を 導 入 し

解評価回数に対する 15 試行の各試行の平均ノード数

た MBEANN に サ ロ ゲ ー ト モ デ ル を 適 用 し た SA-

および平均シナプス結合数の推移を Figs. 7, 8 に示す．

MBEANN を提案した．MBEANN に刷新番号を導入することで，A. Gaier らが提案した適合性距離カーネルを
MBEANN において計算可能とした．SA-MBEANN は，NEAT と MBEANN に比べ，少ない解評価回数で同等
以上の結果を得ることができた．また，HalfCheetah-v4
では，SA-MBEANN は MBEANN と比較して同程度のHalfCheetah-v4 では，SA-MBEANN と MBEANN が獲得したノード数，シナプス結合数に大きな差は見られない．一方で Ant-v4 では，SA-MBEANN は MBEANNと比較してノード数には大きな差は見られないが，少な
いシナプス結合数を獲得していることがわかる．これは– 16 –

小村・宮本・平賀・森本・大倉：Surrogate-Assisted Self-Adaptive MBEANN の提案とその評価223に適用可能な距離尺度が考案されている [21]．今後は，
27

28

29

30

31

36

32

33

34

38

35

MBEANN に適した距離尺度について調査したい．
40

37

参 考 文 献39

[1] A. K. Jain, J. Mao and K. M. Mohiuddin: Artiﬁcial neural networks: A tutorial; Computer, Vol. 29,
No. 3, pp. 31–44 (1996)[2] X. Yao: Evolving artiﬁcial neural networks; Proceedings of the IEEE, Vol. 87, No. 9, pp. 1423–1447 (1999)[3] K. O. Stanley, J. Clune, J. Lehman and R. Miikkulainen: Designing neural networks through neuroevolution; Nature Machine Intelligence, Vol. 1, No. 1, pp.
24–35 (2019)[4] K. O. Stanley and R. Miikkulainen: Evolving neuralnetworks through augmenting topologies; Evolutionary Computation, Vol. 10, No. 2, pp. 99–127 (2002)[5] 平賀, 渡辺, 大倉: 二重倒立振子制御問題への TWEANN
アプローチ―NEAT と MBEANN の特性比較; システ
ム制御情報学会論文誌, Vol. 35, pp. 126–132 (2022)[6] K. Ohkura, T. Yasuda, Y. Kawamatsu, Y. Matsumura and K. Ueda: MBEANN: Mutation-based
evolving artiﬁcial neural networks; Advances in Artiﬁcial Life, ECAL 2007, pp. 936–945 (2007)[7] T. Ohta: Slightly deleterious mutant substitutions inevolution; Nature, Vol. 246, pp. 96–98 (1973)[8] J. Y. Li, Z. H. Zhan and J. Zhang: Evolutionary
computation for expensive optimization: A survey;
Machine Intelligence Research, Vol. 19, No. 1, pp.
3–23 (2022)[9] Y. Jin: Surrogate-assisted evolutionary computation:
Recent advances and future challenges; Swarm andEvolutionary Computation, Vol. 1, No. 2, pp. 61–70(2011)[10] A. Gaier, A. Asteroth and J. B. Mouret: Dataeﬃcient neuroevolution with Kernel-based surrogate
models; Proceedings of the Genetic and Evolutionary
Computation Conference, pp. 85–92 (2018)[11] A. E. Eiben and J. E. Smith: Introduction to Evolutionary Computing, Springer, pp. 56–60 (2015)[12] D. Floreano, P. Dürr and C. Mattiussi: Neuroevolution: From architectures to learning; Evolutionary
Intelligence, Vol. 1, No. 1, pp. 47–62 (2008)[13] M. Hiraga and K. Ohkura: Topology and weight
evolving artiﬁcial neural networks in cooperativetransport by a robotic swarm; Artiﬁcial Life andRobotics, Vol. 27, No. 2, pp. 324–332 (2022)[14] A. I. Forrester and A. J. Keane: Recent advances insurrogate-based optimization; Progress in Aerospace
Sciences, Vol. 45, No. 1-3, pp. 50–79 (2009)[15] 持橋, 大羽: ガウス過程と機械学習, 講談社 (2019)[16] P. I. Frazier: A tutorial on Bayesian optimization;
arXiv preprint, arXiv:1807.02811 (2018)[17] N. Srinivas, A. Krause, S. Kakade and M. Seeger:
Gaussian process optimization in the bandit setting:0 1 2 3 4 5 6 7 8 9 1011121314151617181920212223242526(a) NEAT
27

28

29

30

36

31

32

(b) MBEANN
33

38

35

37

34

40

39

41

0 1 2 3 4 5 6 7 8 9 1011121314151617181920212223242526(c) SA-NEAT
Fig. 6(d) SA-MBEANN

Structure of ANN of each algorithm in Ant-v4.
They are from the last generation in the best evolutionary trial.

NEAT
SA-NEATMBEANN
SA-MBEANN

32
30

180
160

28

140

26

120

24
22

NEAT
SA-NEATMBEANN
SA-MBEANN

200

Number of links

Number of nodes

34

0

2500

5000

7500 10000 12500 15000 17500 20000(a) The number of nodes
Fig. 7

55

2500

5000

7500 10000 12500 15000 17500 20000

Evaluations(b) The number of links

NEAT
MBEANN
SA-NEATSA-MBEANN

550
500

Number of links

Number of nodes

60

0

Number of nodes and links of neural networks
evolved in HalfCheetah-v4
NEAT
MBEANN
SA-NEATSA-MBEANN

65100

Evaluations

450
400

50

350

45

300

40

250

35
0

20000

40000

60000

Evaluations

80000

100000(a) The number of nodes
Fig. 8

200

0

20000

40000

60000

Evaluations

80000

100000(b) The number of links

Number of nodes and links of neural networks
evolved in Ant-v4

平均シナプス結合数および平均ノード数を獲得しており，Ant-v4 では SA-MBEANN は MBEANN と比較して少ない平均シナプス結合数および同程度の平均ノード数を獲得していることがわかった．これは，MBEANN
では，十分に探索が行われる前に構造が肥大化され SA-

MBEANN と比較して低い適応度を獲得したのに対して，SA-MBEANN では次元の引き戻しが有効に働いたためだと考えられる．今回のアプローチでは，適合性距
離によりカーネルを計算したが，ほかにも TWEANN– 17 –

224

システム制御情報学会論文誌

第 37 巻ひらNo regret and experimental design; Proceedings of the27th International Conference on International Conference on Machine Learning, pp. 1015–1022 (2010)[18] N. Hansen: The CMA evolution strategy: A comparing review; Towards a new evolutionary computation:
Advances in the estimation of distribution algorithms,
pp. 75–102 (2006)[19] G. Brockman, V. Cheung, L. Pettersson, J. Schneider, J. Schulman, J. Tang and W. Zaremba: OpenAI Gym; arXiv preprint, arXiv:1606.01540, https://github.com/openai/gym (2016)[20] A. McIntyre, M. Kallada, C. G. Miguel, C. Feher
de Silva and M. L. Netto: neat-python; https://github.com/CodeReclaimers/neat-python[21] J. Stork, M. Zaeﬀerer, T. Bartz-Beielstein and A. E.
Eiben: Surrogate models for enhancing the eﬃciencyof neuroevolution in reinforcement learning; Proceedings of the Genetic and Evolutionary Computation
Conference, pp. 934–942 (2019)

こむら(2024)もと あき

元 彰 (正会員)
2022 年 3 月広島大学大学院工学研究科
博士課程後期修了．2021 年 4 月日本学術振興会特別研究員 (DC2)，2022 年 4 月同研究員 (PD) へ資格変更．2023 年 4 月京
都工芸繊維大学助教となり，現在に至る．
スワームロボティクス，進化ロボティクスなどの研究に従事．博士（工学）．

もり もと

森 本

だい

ち

大 智 (正会員)
2023 年 9 月広島大学大学院先進理工系
科学研究科博士課程後期修了．2021 年 4 月
日本学術振興会特別研究員 (DC1)，2023
年 10 月同研究員 (PD) へ資格変更．2024
年 4 月九州工業大学助教となり．現在に至る．博士（工学）．

おお くら

大 倉

著 者 略 歴
小 村

が

平 賀

第8号

まさ ひろ

真 央 (学生会員)
2023 年 3 月広島大学工学部第一類（機械・輸送・材料・エネルギー系）卒業，同
年 4 月広島大学大学院先進理工系科学研究科博士課程前期に進学し，現在に至る．

かず ひろ

和 博 (正会員)
1990 年 3 月北海道大学大学院工学研究科
情報工学専攻修士課程修了．同年 (株) 富士通研究所，1993 年神戸大学助手，1998
年英国サセックス大学客員研究員，2000
年神戸大学助教授，2006 年広島大学教授．
EC, RL, MAS, SR, 生産システムなどの研究に従事．博士（工学）．日本機械学会，計測自動制御学
会，IEEE などの会員．

みや もと

宮 本

あき はる

明 治

2023 年 3 月広島大学工学部第一類（機械・輸送・材料・エネルギー系）卒業，同
年 4 月広島大学大学院先進理工系科学研究科博士課程前期に進学し，現在に至る．

– 18 –