進化型マルチエージェントによる協調荷押し行動獲得に関する一考察

Emergence of Cooperative Behavior by Evolutionary Multi-Agents
摂南大学○ 片田 喜章，西村 和晃

Y. Katada and K. Nishimura
Setsunan University
Abstract
In recent years, a number of researchers have applied evolutionary computation techniques to the design of cooperative homogeneous multi-agent systems. However, further researchis needed to investigate the effect of the environment on the evolution of multi-agent systems fortasks which require cooperative individuals. This paper investigates performances of the systems
consisting of two agents on a cooperative transport task varying environmental conditions. The
results suggest that the existence of advantages for cooperation between agents facilitates theevolution of this kind of system.

はじめに近年，多くの研究者が協調行動の獲得を目的とし，マAgent1

ルチエージェントシステム (以下 MAS) のコントローラ

Objectの設計に人工進化を適用している [1]．しかしながら，こ2700

1

Agent2の進化型 MAS の協調行動を促す問題設定については十1000分に議論されていない [2]．
本研究では，進化型ニューラルコントローラを搭載した 2 台のエージェントによる協調荷押し問題において，1350計算機実験により，どのような問題設定において協調行

図 1: 協調荷押し問題動が現れるかについて検証を行う．

21350

進化手法
進化型 MAS の基礎的な方法論的課題として，いかにンサ (So ) であり，もう 1 つは他エージェントとの距離システムを構成して複数エージェントを評価するか，がを測るセンサと荷物との距離を測るセンサの両方をもある．均質なエージェント群を扱う場合，単一の個体集つ (Sa&l )．ここで，Sa&l の入力数は So の 2 倍となる．

団を用いて，1 つの個体をエージェント全てに複写するエージェントの移動機構を左右二輪独立駆動型と仮定し，方法 (以下，遺伝子複写) を採用する場合が多い [1][2]．

移動量は幾何学モデルにより計算する．

そこで本稿ではさらに，単一の個体集団を用いて 1 つの本実験では，エージェント同士が協調することによる遺伝子型をエージェント数に応じて均等分割し，それぞ「利益」の有無を移動速度の最大値として次のように明れに適用する方法 (以下，遺伝子分割) を提案する．

3

問題設定

示的に設定する．利益あり:(通常移動時:V , 1 台で荷を押す場合: V /2, 2 台で荷を押す場合: V )，利益なし:(すべて同じ速度:V )．

1 で述べたように，どのような問題設定において協調行動が現れるかについて調べるために，設定に関して

4

計算機実験

複数の選択肢を用意した．タスクの概略とともに以下に4.1

実験設定示す．
図 1 に 2 台の移動エージェントによる協調荷押し問題の概略を示す．環境の左端に置かれたエージェントは中エージェントの制御器として，中間層・出力層が相互結合された ANN を用いる．入力ノード数は Ns ∈{7, 14}(距離センサ数)，中間ノード数は Nh ∈ {1, 3, 5}央に置かれた荷物 (半径:Rs = 300 または Rl = 450) をと変化させる．出力ノード数は No = 2(左右モータ: 周より早く右端まで移動させることを目的とする．

速度はノードの出力値に 3 で述べた移動速度の最大値をエージェントのセンサは 2 種類の設定を仮定する．1
つは他エージェントと荷物を同一入力として扱う距離セかけたもの) とする．
エージェントの初期姿勢をそれぞれ 45[◦ ] ずつ変えた
試行を 64 回行い，次の適応度関数を用いて適応度を計

算する: F itness =PN umT rials
i=1(1 − Stepi /M axStep)/

30Success Rate [%]N umT rials. ここで，N umT rials は試行回数 (64) であり，M axStep は 400 とする．
進化手法として Simple GA(以下 SGA) および ANN を設計する問題に対しその有効性が確認されている Operon

GA[3](以下 OGA) を用いる．以下，GA の各パラメー
タは [3] における推奨値を参考に設定している．ANN の結合荷重を変数とし，我々の研究グループで提案してい2520151050る遺伝子長をできるだけ短くすることができる簡易コー

SGA, Nh=1SGA, Nh=3SGA, Nh=5OGA, Nh=1OGA, Nh=3OGA, Nh=5abcda’b’c’d’

Environmental Conditions

ディング (SCEANN[4]) を用いる．遺伝子長は，遺伝子複写では L = (Nh + No )(Ns + Nh + No ) ビット，遺伝

図 2: 遺伝子複写による平均協調行動出現率

子分割では L = 2(Nh + No )(Ns + Nh + No ) ビットとなる．SGA では遺伝的操作として点突然変異のみを用い30る．両 GA ともに点突然変異率を 1/L とする．OGA で
Success Rate [%]は遺伝的操作として点突然変異に加えて 5 つの遺伝的操作を用いる [3]．選択法としてトーナメント選択を用い，エリート戦略 (保存数:1) を適用する．SGA ではトーナ
メントサイズを 2 に，OGA では 6 に設定する．個体数を 25，世代数を 100 とし，問題設定変数のそれぞれの組合わせ (表 1, a-d, a’-d’ 参照) について独立に 10 試行

2015

SGA, Nh=1
SGA, Nh=3
SGA, Nh=5OGA, Nh=1
OGA, Nh=3OGA, Nh=51050行う．

4.225a

実験結果と考察

本実験では，2 台のエージェントがともに荷物に接触

b c d a’ b’ c’ d’
Environmental Conditions

図 3: 遺伝子分割による平均協調行動出現率した状態で荷を右端まで移動させる行動のことを協調行動と定義する．この定義に従い，現れる行動を次式を用いて検証する: CoopeRate = {100 · Stepcoop /Step(タス率が高くなっている．GA の種類・中間ノード数によるク遂行時), 0(タスク未遂行時)}．ここで，Stepcoop は 2傾向は見られない．

台で荷を押したステップ数であり，Step はタスク遂行5までにかかったステップ数とする．CoopeRate が 10%以上の場合にその行動は協調的であると見なす．

おわりに
本稿では，2 台の進化型エージェントによる協調荷押し問題において，どのような問題設定において協調行動最終世代で最大適応度を示した個体を用いて MAS をが現れるかについて検証を行った．今後，本実験の結果構成した場合の初期姿勢に対する協調行動の出現率を各をもとにエージェント数増加に伴う協調行動の現れ方を試行について平均したものを図 2,3 に示す．遺伝子複写調べていきたい．

を用いた場合，Sa&l を搭載する方が出現率が高くなっ参考文献ている．また，協調することの利益がある方が協調行動が多く見られることが分かる．荷物の大きさについては特に差は見られない．遺伝子分割を用いた場合，利益がある場合では Sa&l および So を搭載する場合でも出現

表 1: 問題設定の分類

Rs , So

Rl , SoRs , Sa&l

Rl , Sa&l

利益なし

abcd

利益あり

a’b’c’d’[1] M. Dorigo, V. Trianni et al.: Evolving self-organizing
behaviors for a swarm-bot; Autonomous Robots,17(2–3), pp. 223–245 (2004)[2] M. Quinn: A Comparison of Approaches to the Evolution of Homogeneous Multi-Robot Teams; Proc. ofthe the 2001 Congress on Evolutionary Computation
CEC2001, pp. 128–135 (2001)[3] 片田，大倉: ニュートラルネットワークを含む適応度景観における遺伝的アルゴリズムの進化ダイナミクス–進化ロボティクスでの検証, システム制御情報学会論文誌,
Vol. 21, No. 2, pp. 31–39 (2008)[4] 片田, 高田: 簡易コーディングを用いた進化型ニューラルコントローラの性能評価, 第 34 回知能システム・シンポ
ジウム資料, pp. 149–154 (2007)