第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-17

1

エージェント系としてのレプリケータダイナミックスとその制御
國上真章 寺野隆雄

マルチエージェント系においては，協調現象や秩序の創契約ネットプロトコル）の研究や知的ロボットメカニズム（例え発，知性の発現などが期待されている．しかし同時にマルチば 人工免疫システムなど）の開発が行われてきている．

エージェント系においては，状態不安定性によるカオス的でこのように「望ましい」状態の創発が取り上げられる反面，予測不能な状態が発生する．本稿においてはこのような状創発に至らない，または創発に失敗した（おそらく無数の）態不安定性が，複数エージェント間の相互作用により普通系については，充分な研究が行われてきたとはいい難い．しに発現しうるものであることを，レプリケータダイナミックスにかしながら，マルチエージェント系によるシミュレーションをよるエージェントの表現で検証すると共に，カオス制御の分行ったからといって，秩序や知性が予定調和的に発現する野で試みられてきた手法の適用について検討したものであと決まっているわけではない．（発現が難しいからこそ様々なる．

手法が研究されるのだが，その際目的どおりの振舞いをしないエージェントについてはモデル化の失敗として省みられな

1

マルチエージェント系

いことがあるのではないか）

エージェントには様々な解釈がありうるが，何らかの合理

これらのマルチエージェント系における「望ましくない」状性に基づく独自の意思決定と行動のメカニズムを持ち，他の態として，早期収束やロックインなどが扱われてきたが，混エージェントを含む外界（環境）と相互作用を行うものと定義

乱あるいは痙攣とでもいうべき状態不安定性も特別の仕掛される．このようなエージェントが複数，しかも動的に相互作け無しに発生する普通の状態であると考えられる．本稿にお用を行う状況においては，単一エージェントの性質からは予いては，可能な限り一般的で簡単なエージェントを用いて，想されない種々の性質が観察される．

マルチエージェント系が本質的に不安定で予測不能な状態不安定性（カオス）を含んでいるということを示す．

このようなマルチエージェント系については，エージェント間の相互作用による，秩序や知能の創発現象の研究がなさ

このような状態不安定性は，系の多様性を維持する（ホれてきた．ここでいう秩序の創発とは，単純で均質なエージメオカオス）という重要な側面もさることながら，協調ロボット

ェントの集まりからの複雑な秩序の生成・分化（自己組織化）システムなどにおいて時に危険な予測不能性や不適切な強であり，また多種多様（かつ利己的）なエージェント集団から化信号の発生を引き起こすこともあり，何らかの安定化の仕の，協調行動や社会的最適性の発生である．また知能の創掛けを構築できることが実用上必要である．逆に状態不安発とは，自律・分散するエージェントの自発的協調または適定な系は上手に制御できれば，逆バタフライ効果により大き応的学習により柔軟かつ高度の作業が可能になることであな制御ゲインを期待できる．その意味からも，マルチエージる．

ェント系という枠内での制御について検討することは意味のあることだと考えられる．

更に，実世界の複雑な現象を複数のエージェントの創発現象として実現する試みとして，市場メカニズム（例えば152

第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-172のとするが，エージェントとして次の要素を最小限含むものと2

マルチエージェント系における状態不安する．

定・外部の情報の受容
・内部モデル（信念あるいは合理性）に基づく意思決定

マルチエージェント系における状態不安定についての研・外部に対する行動

究としては，池上らによる，繰り返しゲームにおける戦略の進

エージェントの表現に用いる RD は，主に進化ゲーム理化とカオスの縁に関する研究がある[8][9]．この中では，エ論において集団内の人口構成比率の力学系として用いられ，ージェントの行動変化は変異−淘汰メカニズムに依存して通常以下のように記述される．

いる．しかしながら現実の社会集団においては，複雑な（価格や取引量の）変化が，変異(新製品，新戦略)の発生−淘

1 dxi= c ⋅ ((Ax )i − xAx) ,xi dt

汰サイクルよりはるかに短いタイムスケールにおいて生起し

i =1i

L (1)

x = (x1 , x 2 ,L , x N ) , A ∈ M N × Nているように見える．各エージェント内部における既知の選択肢の範囲内でも，エージェント同士の相互作用によって進化ゲームにおいては， xi を集団内でとりうる N 種類の複雑な態度変化が駆動されうるのではないかと考えられる．

戦略のうち第 i 番目を選択する個体の人口構成比率，i 番他にマルチエージェント系におけるカオスとその制御に目と j 番目の戦略をとる個体が無作為に対戦（ランダムマッ

関するものが Hogg-Hurberman 系の研究で，複数の資源をチング）した場合の利得行列を A={aij}として解釈する．力競合して利用するエージェント間の時間遅れ，情報の不確学系(1)は，第 i 番目の戦略を選択する個体の人口比率のかさなどに起因するカオスとその安定化を扱っている

相対増加率が，第 i 番目の戦略による期待報酬(戦略 i の[6][10][14]．Hogg-Hurberman 系においては，時間遅れ，情期待適応度)と全集団の平均報酬(平均適応度)との格差に報の不確かさが相互作用内の明示的な非線形関数で定義比例することを要請している．この力学系については，主とされており，カオス的な挙動の原因としてこれらの非線形性して進化ゲームの立場から均衡，進化的安定性などの性質が最初から仮定されているため，エージェントとしてはややが調べられてきた[5][15]．また，多触媒系や人工生命の人特殊なものとなっている．

口動学の解析にも用いられている[3]．

本稿においては，カオス的挙動の普遍性を示すため，また，最近これら進化ゲームとは別の立場からエージェ

KISS 原理[1]に基づく簡単で一般的な構造を持つエージェ

ントの挙動に関するモデルとしての解釈から社会制度設計

ントにおける状態不安定性の発生について以下のような検への適用が提案されている[19]．

討を行う．

これと類似の力学系としては，捕食者−非捕食者の人口・エージェントとしての最小限の要素をもち，解析的な性動学を記述する，Lotka-Volterra 系がよく調べられているが，質が良くわかるシステムの構築

両者は原点及び無限遠点を除き微分同相であることが知ら

・上記システムで状態不安定が起こることれている[5]．この Lotka-Volterra 系においてはカオスの発・状態不安定が，エージェントの相互作用により発現して生する系が報告されており[2]，当然同値な RD においてもいることカオスが発生する．

・状態不安定に対してカオス制御が有効に機能し，マル進化ゲームにおけるように xi を純粋戦略 i を選択する人

チエージェント系の制御として望ましい性質を持つこと

3N

∑x =1

口の比率とする描像においては，個体は特定の戦略のみしか採らず適応度に応じた選択によってその人口比率を変化RD によるマルチエージェント系の表現させるだけの存在である．これでは，内的な合理性あるいは先の主張を検証するため，本稿ではマルチエージェント

信念に基いて意思決定を行うエージェントのモデルとは言系を RD(Replicator Dynamics)を用いて表現し，数値実験いがたい．しかしながら RD においては xi を特定のエージェをおこなう．表現は KISS 原理に基づき可能な限り簡明なもント内部における資源 i への配分比率(ゲーム論的には混合戦略)とみなすことも可能である．そこで，資源配分 x にお153第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-17

3

ける選択肢 i の頻度(選好度)の相対的変化率が，x を選択必要に高次の非線形項を含むことと内部モデルの変化メカしたときの第ｉ成分に対する評価は，第 j 成分による第 i 成分ニズムを明示的に指定しなければならないのが難点である．

への肯定的評価(刺激効果) a0 i j xi と 否定的評価(抑制効

本稿で使用した，他のエージェントの状態量に比例する量果) -ka a0j i xj の総和 (Ax)i にしたがっていると見なすことにに刺激行列を作用させて(2)の右辺に印加する方法では，する．ここで，ka は，刺激抑制の相対強度である．

内部モデル自体の変化は表現しにくい反面，RD としては非1 dxi= c ⋅ ((Ax )i − xAx)
xi dt
N∑ x = 1,ii =1

線形項の次数が上がらないため，状態不安定性の最小実L (2)現と制御のプロトタイピングいう立場から有利である．前者の方法によるモデルは機会を改めて検討することとする．

A = A0 − ka t A 0

このモデルの構成を図解すると下図のような，エージェン

ここで，右辺第二項は刺激・抑制(肯定・否定)の平均値

ト内部の刺激抑制ネットワークと，エージェント間の相互刺激でありこれが選好度増減の基準となる．この描像は，Farmerネットワークという２重ネットワークシステムとなっている．

によって導入された Lotka-Volterra 型の人工免疫系のネッ
エージェント Ａ
エー ジェ ント

トワーク[4]において変異メカニズムを考慮しない場合を RDで書き直したものになっており，このような描像に従うと，A をエージェントの自己の選択肢に対するエージェント自身の内部的評価モデル，力学系(1)をエージェントの内部的評価モＢデルに基づく態度変容の記述と見なすことができる．

作用変数：y環境パラメータ||
相互作用強度(γa, γb )
作用変数：x

他者の方策の観測量：y

他者の方策からの刺激：γA0y

自身の方策
：x

自身の方策に対する肯定的評価：A0x

自身の方策に対する否定的評価：-k t(xA0)

態度変容

1 dxi
= ( A 0 x) i − k a ⋅t (xA 0 ) i + γ a ⋅ ( A 0 y ) ic ⋅ xi dt

次に，エージェント同士の相互作用を導入する．最も単純− x ⋅ (A 0 x − k a t A 0 x − γ a ⋅ A 0 y )評価の平均値な系として，２体のエージェント A 及び B を考え，其々３変∑ x (t ) = 1ii数(x1, x2, x3 , y1, y2, y3)の RD で記述されるとする．ここで行列 A0 の ij 成分 a0 ij は，A 系の第 i 状態に対する第 j 状態量

このような２重ネットワークは，群ロボットシステムへの応用の刺激，-ka a0 ji xj は抑制を表し，同様の関係が B0 についにおいて，協調行動の創発が報告されているが[17][21]，実ても成立するとする．A，B それぞれの状態量が行動出力と用システムとしては，カオス的で予測困難な挙動の発生予なり，他系において刺激要因として受容される（隣人のポー測やその制御についても検討を加える必要がある．

トフォリオは魅力的に見える？）と仮定すると，系全体の表現は次のとおりである．

4dxi= c ⋅ x i ((Ax )i + γ a ( A 0 y ) i − xAx − γ a xA 0 y )dtdy i= c ⋅ y i ((By )i + γ b (B 0 x) i − yBy − γ b yB 0 x ) L (3)dt

RD 型エージェント系のカオス前項で構成した系に対して，刺激反応行列とシステム時定数を以下の様にして相互作用パラメータ γを 変 化させながら挙動を観察する．

3∑ xi = 1 , Α = Α 0 − k a t Α 0i =13∑ y =1, B = B − k Bi =1

 0.15 0.05 0.30  0.15 0.35 0.13  k a = k b = 0.5
A 0 =  0.25 0.15 0.10  , B 0 =  0.02 0.15 0.33  ,c = 8.0
 0 12 0 50 0 20 
 0 20 0 10 0 15 




ti0b0

ここで，エージェント AB 間の相互作用を導入したのであ相互作用パラメータ γが 0，即ちお互いが独立している場るが，相互作用の表現には他にも方法がある．一つは，それ合は，どちらの系も定常値に収束する(図１)． γが ある程度ぞれの刺激抑制行列 A, B が他エージェントの状態の関数大きくなると，周期性が観察されるようになり， γが ある値にであるとみて，A=A(x,y)，B=B(y,x)とするやり方である．この達すると，系は疑周期的な状態から(図２)，不規則な挙動を方法は各エージェントが，他者を外界(の一部)として観測し，呈する(図３)．時々現れる似通ったパターンに全く異なる状

それに従って自身の内部モデルを変容させるという描像の態が引き続くことは，系が状態不安定となっていることを示

ストレートな表現として魅力的である．が，反面モデルが不唆しており，アトラクタに沿って最大リアプノフ指数を計算

154

第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-17[13]すると正の値を得ることから，系が状態不安定すなわち4システムカオス的な状態にあることがわかる．

y(t)u(t)y(t‑τ)‑ y(t)上で示した系は，２つの連続な３次元 RD 間の相互作用‑Ｋである．それぞれの RD は，状態変数の和が１という保存量(K (y (t − τ) − y (t ) ))i ≡ 

ソンの定理によって単独（ γ=0）でカオスを発生することはな

y(t‑τ)+を持つため独立な自由度は２であり，ポアンカレ・ベンディク

f0 ⋅y i (t − τ ) − y i (t )y i (t − τ ) − y i (t )k ⋅ ( y (t − τ ) − y (t ) )i
 0 iy(t)Ｄyi (t − τ ) − yi (t ) > d 0
yi (t − τ ) − yi (t ) ≤ d 0

い．このため，先の状態不安定性は，カオス的でないエージ
この制御方式は，ゲイン行列 K が試行錯誤的にしか定まェント複数間の相互作用によって引き起こされていると解釈らないこと，また安定化の目標となる周期軌道が複数存在すできる．
この例では，相互作用の強度を表すパラメータ γの 変化る場合そのどれに収束するか事前にわからないこと等の短により状態不安定にいたる分岐が引き起こされている．相互所はあるもの，観測量のみに基づく制御であること，また状作用の強度は，実世界においては距離や取引費用に対応態変数の一部にしか観測とフィードバックが及ばない時でもすると考えられる．このことは，エージェント間の取引費用や制御可能となる場合があることから，マルチエージェント系の空間距離の変化を含むより大きな系においては，そのようなリアルタイム制御（安定化）方式として検討の価値がある．

値の変化が部分系においてカオス的振舞いを発生させる可

図４は，図３に示したカオス状態にある RD 系の A 系の能性を示しており，カオス状態の検知や制御が実用上重要

x2 と B 系の y1 に対して，途中から Pyragas の遅延フィードであることを示唆している．

バックを適用した結果である．状態変数の一部分に対する観測とフィードバックでありながら，系がほぼ安定化され予測

5RD 型エージェント系のカオス可能な状態となっており，制御が有効に機能していることがわかる．

ここでは，RD で記述されるマルチエージェント系のカオスカオス制御については，すでに様々な研究が行われておにおける制御について検討する．マルチエージェント系にり[18]，典型的なものとしては離散時間システムに対するおいては，ミクロな状態量に対してマクロな制度パラメータにOGY 法[11]について様々な一般化や改良が研究されていよりシステムの制御を行う，ミクロ−マクロリンクによる制度設る．相互作用する RD 系においては差分化システムにおい計が提案されている[19]．これは状態不安定性の制御におてもカオスが発生するので，OGY 法も制御方式として有効いては，システムの観測・同定に基づく分岐パラメータのチューニング（OGY 法[11]に代表される極配置問題）に対応し，である．しかしながら，OGY 法は系のダイナミックスが既知であることが必要であり，エージェント達を観測情報に基づ例えば中央銀行の金利政策や政府による税制政策に通じいて制御するという立場からは，まず系の同定作業が必要とるものである．一方実世界には，中央銀行の売買オペレーなる．系の同定については，カオス時系列の解析[16]から同ションや政府の財政出動のように，状態変数に直接印加す定に必要な自由度の推定を行い，遺伝的プログラミングによるタイプの制御政策も存在する．以下においては，このようりダイナミックスの同定を行う[7][20]ことが考えられる．ただし，なエージェントの状態変数を部分的に観測しフィードバック制御対象の単純さに比較して制御側に複雑な機構を要求信号を出力する制御が，エージェントと同程度に Simple かするため，エージェント数が増加した場合にリアルタイムなつ Stupid な機構によって実現しうることを示す．

制御方式として有効かどうかは疑問である．

連続時間系に対するカオス制御方式として，最も簡単なものとして Pyragas の遅延フィードバック制御[12]がある．こ6の方式はカオス系を安定化したい周期と同じだけ遅延させまとめ

前項自己の内部モデルと外界からの信号によって態度変た状態量を系にフィードバックするもので，そのブロック線図

容を行うエージェントの挙動を，RD によってモデル化するこは次図に示すとおりである．とが出来る．これによって RD のような比較的単純な少自由度かつ小数のエージェントにおいても，（特殊な非線形関数155

第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-17を含まない）相互作用によって状態不安定性が発現すること

5[12] Pyragas,K., Continuous control of chaos by selfcontrolling feedback, Physics Letters A, Vol.170 No.6,が示された．

1992

マルチエージェント系の制御は，系の内部モデルに対する事前知識を伴わない観測にもとづく制御である必要がある．

[13] Steeb,W-H.,THE

NONLINEARWORKBOOK,World Scientific Pub., 1999

このような制御が制御対象となるエージェントに比べて過剰[14] Ushio,T., Imamori,T., Yamasagi,T., Controlling Chaosに複雑となることは，計算量の点から考えても好ましくないが，

in

本検討においては，遅延フィードバックのような「覚えて遅れControlling Chaos and Bifurcations in Engineeringて出力する」だけの制御でも有効な安定化機構となり得るこSystems, Chen(eds.) CRC Press, 2000

Discrete-Time

ComputationalEcosystem,in[15] Weibull,J.W., Evolutionary Game Theory, MIT Press,とが示された．

1995[16] 合原一幸編, カオス時系列解析の基礎と応用 産業図書, 2000

参考文献

[17] 市川 真吾, 石黒章夫, 内川芳樹, 免疫処理情報機構[1] Axelrod,R., The Complexity of Cooperation, Princetonを参考にしたロボットの知能発現, システム/制御/情報,1999.

Vol.43, 1999

[2] Arneodo,A., Coullet,P., Tresser,C., OCCURRENCE
OFSTRANGEATTRACTORSIN[18] 潮 俊光, カオス制御, 朝倉書店, 1996

THREE-[19] 出口 弘, 複雑系としての経済学, 日科技連, 2000

DIMENSIONAL VOLTERRA EQUATIONS, Physics[20] 時永 祥三, 複雑系による経済モデル分析，九州大学

Letters A Vol.79 No.4, 1980

出版会, 2000[3] Forst,C., Complex dynamics of molecular evolutionary[21] 福田 敏男, インテリジェントシステム, 昭晃堂, 2000process, in Unifying Themes in Complex Systems, BarYam(eds.), Perseus Books, 2000

[4] Framer,J.D.,
IMMUNE

Packard,N.H.,
SYSYTEM,

Perelson,A.S.,

THE

ADAPTATION,AND

MACHINE LEARNING, Physica D Vol.22, 1986

[5] Hofbauer,J., Sigmund,K., Evolutionary Games andPopulation Dynamics, Cambridge Univ. Press, 1998

[6] Hogg,T.,

Huberman,B.,

Controlling

Chaos

in

Distributed Systems, IEEE Transactions on Systems,
Man, and Cybernetics, Vol.21 No.6, 1991

[7] Ikeda.Y.,Tokinaga,S.,

Approximationof

Chaotic

Dynamics by Using Smaller Number of Data Basedupon the Genetic Programming and Its Applications,
IEICE Transactions, Fundamentals Vol.E83-A No.8,
2000[8] Ikegami,T., Kaneko,K., COMPUTER SYMBIOSISEMERGENCEOF

SYMBOTIC

BEHAVIOR

THROUGH EVOLUTION, Physica D Vol.42, 1990

[9] Ikegami,T., From genetic evolution to emergence ofgame strategies, Physica D vol.75, 1994

[10] Kephart,J.O., Hogg,T., Huberman,B.A., Dynamics ofcomputational Ecosystems, Physical Review A, Vol,40
No.1, 1989

[11] Ott,E., Grebogi,C., Yorke,J.A., Controlling Chaos,Physical Review Letters, Vol.64, No.11, 1990

156

第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-17

図 1：状態推移(x‐t , y‐t ) 及び相図(x1‐x2 , y1‐y3)(γa,γb) = (0, 0)

図 2：状態推移(x‐t , y‐t ) 及び相図(x1‐x2 , y1‐y3)(γa,γb) = (0.5, 0.15)

図 3：状態推移(x‐t , y‐t ) 及び相図(x1‐x2 , y1‐y3)(γa,γb) = (0.6, 0.15)

図４：遅延フィードバック（d0=0.01, f0=0.005, k0=0.75）を x2 及び y1 に適用

1576