第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-17

1

環境状況の変化に応じて自己の報酬を操作する学習エージェントの構築
森山 甲一

沼尾 正行

Abstract的ジレンマの問題に着目する。社会的ジレンマの下でThe authors aim at constructing an autonomous
agent learning appropriate actions in several situaions of a Multi-Agent environment. Under thisaim, the authors constructed an agent having abilities that can handle the agent’s own rewards anddistinguish the situations, and we saw that theagent can act well in each of the situations of theenvironment composed of homogeneous agents. In
this paper, on the other hand, we check whether
the agent can also act well in the environment inwhich the situations switch over.

は、個々が利益を追求すればするほど（合理的に行動するほど）実際に得られる利益が減少するため、個々は非合理的に行動することが求められる。社会科学の分野では [1]、この場合に何らかの権威者（政府など）が法律や税制などを整備することによりジレンマ状況を解決する研究がなされている。しかし、例えば我々人間の場合は状況に応じて非合理的に行動できるた
め、法律などによる細かな規制がない場合でも社会生活を成立させることが可能である。
そこから、権威者による上位の制御がない場合で1 はじめにもジレンマ状況を解決できる人間のような非合理的自律エージェントの学習とは可能な選択肢の選択基エージェントを構築することが考えられる。しかし、準を獲得することであり、通常は何らかの外部評価に一方では従来の評価を最大化する合理的行動の学習基づいてその評価値を最大化する選択肢を選ぶように関する研究の蓄積があり、それらを有効利用するこにする。しかし、例えば複数の評価基準が存在してそとが望ましい。そこで本研究では、自分に与えられたれらの並立が難しい環境ではどの評価基準に従うか外部評価を操作して内部評価を生成し、それを従来のの選択の問題があり、またエージェントが複数存在す学習手法に適用することにより非合理性を実現する

るマルチエージェント環境では社会的ジレンマの問題エージェントを構築することを目的とする。

がある。
本研究では、マルチエージェント環境における社会

確かに、例えば自己の内部評価が他者の利益を含むように予め設計者が設計すればエージェントはジレンマ状況を克服できるだろう。しかし、我々の人間社会

Construction of a Learning Agent Handling Its Rewards According to Changes of EnvironmentalSituations.
Koichi Moriyama, 東京工業大学 情報理工学研究科 計算工学専攻, Department of Computer Science, Graduate School of Information Science and Engineering, Tokyo Institute of Technology. koichi@nm.cs.
titech.ac.jpMasayuki Numao, 同上, ditto. numao@cs.titech.ac.
jpのような現実のマルチエージェント環境は常にジレンマ状況であるとは限らず、むしろ動的に変化する。そのため、時と場合によっては他者への影響が無視できる状況も存在し、その中では上記のように設計されたエージェントは明らかに非効率なものとなる。また、そのようなエージェントは開かれたマルチエージェン
ト環境に起こり得る状況の変化には対応できない。つ91

第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-17
まり、現実の開かれたマルチエージェント環境で適切

2

表 1 各状況における望ましい行動組み合わせに行動するエージェントを構築する場合には、予め設(a) 非干渉状況計者が設計するのではなく、エージェント自身がその利益追求環境中でジレンマ状況を克服することが求められる。
利益追求

これらの目的の下で筆者らは、外部評価から内部評

利益不追求

利益不追求価を生成する能力に加えて環境の状況を識別する能力をエージェントに付与し、状況に応じて自己の内部(b) 泥沼状況

評価を生成するエージェントを構築した [4]。そして利益追求そのエージェントを集めた同質なマルチエージェント

利益追求

環境において適切にジレンマ状況が克服できる一方、利益不追求

非ジレンマ状況においても比較的良好な結果が得ら(c) 競合状況れることを示した [4]。しかし、そこでは異なる状況

利益追求それぞれについて実験を行なっており、実験途中で状利益追求況が変化する場合を扱っていない。そこで本稿では途利益不追求

利益不追求

利益不追求



中で状況が変化するような実験を行ない、文献 [4] で提案した手法について検証する。
本稿は以下のような構成になっている。2 節で本研益をより良くしようと合理的に行動するほど全体が究で対象とするマルチエージェント環境を分類し、3悪化し個々の利益も減少する状況であり、囚人のジレ

節では文献 [4] で提案したエージェントの構築手法にンマ問題はこれに当てはまる。競合状況は多くの個体ついて述べる。4 節では共有地の悲劇 [2] [8] をモデルが同時に合理的に行動してもそれらの要求を満たせ化したゲーム [3] と筆者オリジナルの狭路問題というないタイプの状況であり、狭い空間などの排他的な資2 種類の問題について、途中で状況が変化する実験を源によって競合が発生する状況に相当する。

行なった結果を述べる。5 節でその実験結果について我々の人間社会のような現実の開かれたマルチエー考察を行ない、6 節でまとめと今後の課題を示す。

ジェント環境は、これらの状況が複雑に組み合わさっていると考えられる。従って、そのような環境で行動

2 マルチエージェント環境するエージェントには、上記のそれぞれの状況で適切

本研究では個々のエージェントとエージェント社会な学習を行なう能力とともに状況を識別する能力が全体の関係に着目して、環境を次の 3 つの状況に分必要となるだろう。

類する [4]。

3 学習エージェントの構築• 非干渉状況: 全てのエージェントが利益を追求する時に社会全体が最良• 泥沼状況: 全てのエージェントが利益を追求しない時に社会全体が最良• 競合状況: 一部のエージェントが利益を追求し、残りが利益を追求しない時に社会全体が最良

本研究ではエージェントの学習手法として、明確な教師を必要としない強化学習 [6] を用いる。強化学習は報酬というただ 1 つのスカラー強化信号を用いて、それを可能な限り大きくする行動を選択させようとする学習手法である。以下では強化学習のうちの代表的手法である Q-learning [7] を用いる。これは状それぞれの状況で望ましい行動を 2 人ゲームの表の態 s と行動 a の組み合わせに伴う価値（報酬の見込形で 表 1 に示す。

み値）Q(s, a)（Q 値）を学習サイクルごとに以下の非干渉状況は個々が単に利益を追求すれば良いため式により更新し、行動選択の際にこの値を用いるも非ジレンマ状況に当たる。泥沼状況は個々が自分の利のである。rt+1 は今回の行動提示で得られた報酬を、92

第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-17α, γ はそれぞれ学習率と割引率を表す†1 。
Qt (s, a) = Qt−1 (s, a)3

はまってしまう。ところが非干渉状況でこの式を用い

if s = st or a = at ,Qt (st , at ) = (1 − α)Qt−1 (st , at )+ α(rt+1 + γ max Qt−1 (st+1 , b)). (1)b

しかし、これは報酬 rt+1 を最大化する合理的行動を選択するように学習する手法である。そのため、マルチエージェント環境、特に泥沼状況や競合状況では各エージェントはどのように学習を行なえば良いだろ

るとエージェントの合理性をより高める結果となり、良好な結果が得られる†2 。これらの点から、現実の開かれたマルチエージェント環境で行動するエージェン
トは λt+1 を適切に選択しなければならない。すなわ
ち、環境が泥沼状況の際には (3) 式を、非干渉状況・競合状況の際には (4) 式を自動的に選択するような能力をエージェントは保持しなくてはならない。
そこで筆者らはこの両者を状況によって自動的に選うか。
その 1 つの解として筆者らは学習の際に報酬値を調整することを提案した [4]。そこで用いた手法は、択する手法を考案した [4]。それには、個々のエージェントがどのようにして状況を識別するかということ

エージェント Ai の時刻 t の報酬 ri,t+1 にパラメーが重要になるわけだが、提案手法では以下 2 つの状タ λi,t+1 を加えたものを Ai の学習用報酬 ri,t+1と況識別仮定を置き、少なくとも 1 つが満たされる場し、これを (1) 式の rt+1 の代わりに用いるものであ合に泥沼状況と認識するようにした。

Qt−1 (st , a) < 0る。なお、以下では表記の繁雑さを避けるために自分b(2)

本研究ではまず泥沼状況に有効な λt+1 としてλt+1 =

rk,t+1(5)rt+1 < Qt−1 (st , at ) − γ max Qt−1 (st+1 , b). (6)（Ai ）を表す添字 i を省略する。
rt+1= rt+1 + λt+1 .

for all a.

(3)(5) 式は現在どのような行動を実行しても今後正の報酬が見込めないことを意味している。(6) 式は (1) 式から考案したものであり、左辺は実際に獲得した報酬

Ak ∈Ni \Aiを表している。一方で通常の Q-learning の場合、Qを用いる。この式で Ni \Ai はエージェント Ai の近値が収束した際にはこの両辺が一致することから、右隣のエージェントからなる集合 Ni のうち自分自身を辺が現在までに学習した報酬の予測値を意味してい除いたものを表している。(2) 式と (3) 式を合わせるると考えられる。すなわち、(6) 式は実際に得られたと、これは自分及び近隣他者の現在の報酬の和を学習

報酬が予測値よりも小さいことを表しており、これは用報酬として用いることを意味し、自分が合理的に行報酬の予測値を学習した時点よりも現在の環境が悪動することにより周囲に悪影響が現れる環境におい化していることを意味している。て有効である。

ところが、本研究では (2) 式により調整した学習

また、競合状況に有効な λt+1 としてλt+1 = rt+1 − rt


用報酬 rt+1を Q 値の学習に用いているため、(6) 式(4)

の左辺は学習用報酬 rt+1でなくてはならない。しかを用いる。これは報酬の時間変化を考慮したもので、し、これは rt+1を計算するためにどちらの λt+1 を前回の行動による報酬と今回のそれの差異を強調す
選択するかを決めるための式であるので、rt+1をこるものである。

こで用いることは出来ない。そのため実際の獲得報酬

これらの λt+1 はそれぞれ対応する環境についてはrt+1 で代用していることに注意を要する。

有効であるが、異なる環境ではあまり芳しくない。例

筆者らは、以上の仮定を満たす場合に (3) 式を、満えば (3) 式を用いた場合、非干渉状況では通常の強たさない場合に (4) 式を用いて報酬を操作することを化学習のみを用いた場合よりも結果が悪い。また (4)提案している [4]。

式を用いた場合には、泥沼状況では文字通り泥沼に†1 以下、時刻の表記は Sutton らの流儀に依る [6]。そこでは時刻 t の状態 st で行動 at を実行すると、状態st+1 に遷移し報酬 rt+1 が与えられるとする。

†2 非干渉状況では合理的行動が望ましいことに注意。

93

第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-17

4

存しないため、全てのエージェントが利己的に行動し4 実験た場合に報酬合計は最大 30 となる。この環境で重要

本研究では実験環境として、共有地の悲劇（n 人な点は、個々のエージェントの立場から見ると、泥沼囚人のジレンマ） [2] [8] をモデル化したゲーム [3] と状況においても他者の行動に関係なく利己的行動が筆者オリジナルの狭路問題を用いる。いずれの実験常に最大の報酬をもたらすことである。

も同質なエージェント 10 台で行なう。実験に用いる

ここで一例としてゴミの分別を考えてみよう。焼却

エージェントは、行動選択をランダムに行なうランの際のダイオキシンの発生を防ぐために、可燃ゴミダムエージェント、通常の強化学習を行なう通常エーと不燃ゴミを分別するように求められているとする。

ジェント、(3) 式を用いて報酬を操作する近隣報酬合

ダイオキシンは塩素化合物を含むゴミを約 400◦ C で計エージェント、(4) 式を用いる報酬差分エージェン燃やすことにより生じ、発ガン性が疑われている [5]。

ト、更に (3) 式と (4) 式を (5)(6) 式を用いて自動的にこの場合に上記の利己的・協力的・利他的の 3 種の選択する自動選択エージェントの 5 種である。学習

行動はそれぞれ「分別しない」「自分のゴミは分別す

率 α・割引率 γ はともに 0.5 とする。行動選択には Qる」「集積場にある他者のゴミも分別する」となる。

値から求めた温度 T = 1 のボルツマン分布

もし分別しなかった場合には、自治体はダイオキシン

exp Qt−1 (st , a)/T
pt (a) = 
exp Qt−1 (st , b)/Tb(7)の発生を防ぐために税金を用いて人を雇い、ゴミの分別をさせることになるだろう。この場合に使われる税による確率 pt (a) を用いる [6]。

金が上記の共有コストに相当する。一方では、たとえ利他的に集積場の他者のゴミまで分別するとしても、

4.1 共有地の悲劇ゲーム

その人が自治体に支払う税金が減るわけではない。そこれは共有地の悲劇（n 人囚人のジレンマ） [2] [8]うするとゴミの分別は面倒なので、分別をしないといをモデル化したゲーム [3] である。以下ではこのゲー

う利己的な行動が最も好ましいと思う人が生じてもム環境において泥沼状況と非干渉状況を作り出し、不思議ではない。しかし、もし住民全員が利己的な行エージェントの集合がどのように振る舞うかを確認

動を採ったらどうなるだろうか。これは増税をもたらする。

すかもしれないため、泥沼状況となるだろう。

各エージェントは利己的・協力的・利他的の 3 種のしかし、ダイオキシンは約 400◦ C で燃やすことに行動のいずれかを一斉に提示し、エージェント社会全より生じるため、これよりも高い温度でゴミを焼却す体における行動の組み合わせにより決められる報酬るようにすれば発生を防ぐことが可能である。また、を獲得する。この一連の流れを 1 サイクルと称する。

ダイオキシンを除去する装置も世の中に存在する [5]。

エージェント Ai の行動に対して社会全体に対するコ従って、高温でゴミを焼却するダイオキシン除去装置

スト ci が付随する。ここでは利己的・協力的・利他付きの焼却炉を自治体が建設した場合には、それ以後的な行動についてそれぞれ +∆rc , 0, −∆rc の各値をダイオキシンの観点からは住民は可燃ゴミと不燃ゴとるものとする。泥沼状況においては ∆rc = 1、非干ミを分別する必要がなくなる。そうすると分別をしな渉状況においては ∆rc = 0 とした。一方、エージェ

いことによる共有コストの増加は 0 となり、非干渉状

ント Ai の報酬はそれぞれ 3 − rc , 1 − rc , −3 − rc と況に移行したと考えられるだろう。

する。ここで rc は共有コストと称し、rc =c とi i(3) 式に現れる近隣エージェント集合 Ni は定義する。この場合に、泥沼状況では全てのエージェ

Ni = Ak | k = (i+j) mod 10, j = 0, 1, 2, 3

ントが利他的に行動した場合に全体の報酬合計が最大で定義する [3]。更に、各エージェントの保持する状





(8)

70 となり、全てが利己的に行動した場合に −70 と最態は近隣エージェントの行動の組み合わせとする。

小になる。一方で非干渉状況では rc ≡ 0 となり、各最初は泥沼状況だが 30000 サイクル後に突然非干

エージェントの獲得する報酬は他のエージェントに依渉状況へ変化した場合の実験結果を 図 1 に示す。こ94

第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-1740530302520200-10
ランダム-20-30-40-50

報酬合計

報酬合計

1015
ランダム

通常10通常近隣報酬合計報酬差分

5近隣報酬合計
報酬差分

自動選択

自動選択

-6000

10000 20000 30000 40000 50000

05000

サイクル数

15000

20000

サイクル数

図 1 共有地の悲劇ゲームの実験結果のグラフは 100 回の実験の平均をベジエ曲線で近似

10000

図 2 共有地の悲劇ゲーム（非干渉状況）の実験結果のように振る舞うかを確かめる。

したものであり、状況が変化する 30000 サイクルで狭路問題では、路上駐車のため道路に車がすれ違うグラフを分割している。縦軸が 10 台のエージェントことのできない狭い部分があり、狭い部分の両端に同の報酬合計、横軸がサイクル数である。30000 サイク

時に 2 台の車が現れたと仮定する（図 3 (a)）。問題

ルまでを見てみると「通常」は時間とともに報酬和がはこの狭い部分を 2 台の車がいかにして早く通過す減少している。これは個々が合理的行動をするほど社るかというものである。車（エージェント）の取り得

会が悪化して個々の利益も減少する泥沼状況が生じてる選択肢として「進む」と「待つ」の 2 つがあり、各いることを意味する。また、「近隣報酬合計」が最良

エージェントにとって最良の結果は相手を待たせて自の結果をもたらす一方で、「報酬差分」は「通常」よ分が先に通過することである。しかし両者が「進む」りも悪い結果となっている。「自動選択」は「近隣報を選択すると、狭い部分ですれ違うことが不可能なの酬合計」よりは遅れるが上昇している。

で結局両者とも通過できない。一方で両者が共に「待また、最初から非干渉状況である場合の実験結果つ」を選択すると何も状況は変化しない。そのため、を 図 2 に示す。グラフによると「報酬差分」が最良

この場合にはエージェントの一部が利益を追求（「進の結果をもたらしており、それに続くのが「通常」とむ」を選択）し、残りが利益を追求しない（「待つ」なっている。一方では、「近隣報酬合計」が途中で上を選択する）ことが求められ、競合状況となる。

昇が止まってしまっており、「通常」より悪くなってもし、ある時点でこの路上の車が両方とも移動している。
「自動選択」は「近隣報酬合計」と「報酬差分」しまったとすると（図 3 (b)）、もはや 2 台の車は相のほぼ中間の結果となっている。

手の車を意識することなくこの場所を通過すること

ここで、図 1 の 30000 サイクル以後と 図 2 を比較すると、状況が途中で変化する場合の結果が初めから非干渉状況であるものよりも悪くなっていることが分(a) 競合状況かる。これは「ランダム」を除く全てのエージェント集合に言えることであるが、(2) 式により学習用の報酬を調整する 3 種のエージェントのうち「自動選択」の悪化が大きいことが見て取れる。
(b) 非干渉状況

4.2 狭路問題以下では筆者オリジナルの狭路問題を用いて競合
図 3 狭路問題

状況と非干渉状況を作り出し、エージェント集合がど95

第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-171061098874ランダム
2通常0

近隣報酬合計
報酬差分

報酬合計

報酬合計

665ランダム

4通常

3近隣報酬合計
報酬差分

21自動選択-2自動選択

00500

1000

1500

2000

0200

サイクル数

400600

800

1000

サイクル数

図 4 狭路問題の実験結果が出来るようになる。従って、この場合には非干渉状

図 5 狭路問題（非干渉状況）の実験結果

エージェント数と相手 ID の組み合わせとした。

況となる。

最初は競合状況であったが 1000 サイクル後に非干実験では 10 台のエージェントをランダムに 2 台ず渉状況となった場合の実験結果を 図 4 に示す。描画つに分け、各組ごとに両者が行動を提示する。競合状

方法は 図 1 と同様であり、状況が変化する 1000 サ

況では各組で 1 台のみが「進む」となった場合にそイクルでグラフを分割している。1000 サイクルまでの「進む」を提示したエージェントは通過成功となのグラフによると「自動選択」が最良の結果をもたる。一方で「待つ」を提示したエージェントは（相手らしており、それに続くのが「報酬差分」となっていなしで）再び行動を提示する。また、両者の行動が一る。このように、「自動選択」がその元となっている致した場合には両者とも再び行動提示を行なう。毎回「報酬差分」よりも良い結果となった原因の究明は今の行動提示の際に両者には負の報酬が与えられ、「進後の課題である。「近隣報酬合計」も「通常」よりはむ」を提示して通過に成功したエージェントには正の良いのだが「報酬差分」より悪いことが分かる。

報酬が与えられる。非干渉状況では「進む」を提示しまた共有地の悲劇ゲームと同様に、初めから路上たエージェントは無条件で通過に成功し正の報酬が駐車のない非干渉状況における実験結果を 図 5 に示与えられ、「待つ」を提示したエージェントには負のし、これを 図 4 の 1000 サイクル以後と比較する。こ

報酬が与えられて再び行動提示を行なうことになる。の場合にはどちらも結果に差はなく、「報酬差分」が2どちらの状況においても 2 = 4 回の行動提示が行な最良で「ランダム」を除く他のエージェント集合はほわれた後にはエージェントが残っていてもその組は終ぼ同様の結果となっている。

了とする。その場合には正の報酬は与えられない。このようにして全ての組が終了したならばそれを 1 サ5 考察イクルと称し、再び最初から繰り返す。

本稿では文献 [4] で筆者らが提案した手法について、エージェントに与えられる報酬は、「進む」を提示して通過に成功したエージェントに +1、それ以外に途中で状況が変化する環境で実験を行なった。この実験結果について以下で考察を行なう。

は行動提示ごとに −0.5 とした。つまり報酬合計の理

まず 4.1 節の共有地の悲劇ゲームでは、「ランダム」論上の最大値は競合状況で (1 + 0.5) × 5 = 7.5、非干を除く全てのエージェントについて、環境が泥沼状況渉状況で (1 + 1) × 5 = 10 となる。各エージェントはから非干渉状況に移行した後（図 1 の 30000 サイク

行動提示ごとに学習を行なう。

ル以後）の結果が初めから非干渉状況であった実験の近隣エージェント集合 Ni は組分け後の自分と相手結果（図 2）より明らかに悪くなっている。これは状とし、もし相手が先に通過に成功した場合には自分の況変化前に学習した結果の影響が出ているためと考みとする。各エージェントの状態は、自分の組の残りえられる。

96

第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-177

また、報酬を調整した 3 種のうち「自動選択」ののどちらを利用すれば良いかが自明となるかもしれ結果の悪化が最も大きく、「近隣報酬合計」よりも劣ない。しかし、この議論は対象とする問題をエージェるものとなっている。この原因としては、状況識別

ントの知覚の問題に転嫁しただけであり、状況変化が
仮定のうちの (6) 式の左辺に rt+1の代わりに rt+1 を用いたことが影響していると考えられる。このゲー

知覚できない場合については何も述べていないことに注意が必要である†3 。本研究はこの点を踏まえて、

ムにおける泥沼状況では獲得報酬 rt+1 が最小となる与えられる外部評価を基に限られた知覚によって学習
利他的行動が望まれるため、必然的に rt+1に対するを行ない、環境に適応するエージェントを構築するこ
λt+1 の影響が大きくなり、rt+1と rt+1 が全く異なるとを目的としている。

値になると思われる。すると学習の結果である Q 値も rt+1 から得られる値とは異なるものとなり、結果6 まとめとして (6) 式の判定に誤りが生じるのではないだろう

本稿では筆者らが提案した手法 [4] について新たにか。またより本質的な問題として、(6) 式では学習が行なった実験の結果を示した。文献 [4] ではマルチエー

収束した状態を想定しているが、実験開始直後ではそジェント環境の 3 種それぞれの状況が不変な場合のれは望めないという点と、そもそも環境の非マルコフ実験のみを行なっていたが、本稿では途中で状況が変性により Q-learning では収束性すら保証されていな化する場合の実験を行なった。その結果、共有地の悲いという点が問題となっているのかもしれない。

劇ゲームにおける泥沼状況から非干渉状況への移行

一方、4.2 節の狭路問題の場合には、競合状況からの際には、提案手法は状況の変化に対応する能力が乏非干渉状況に移行した後（図 4 の 1000 サイクル以しいことが判明した。従って提案手法は、いろいろな後）の結果は初めから非干渉状況であった実験の結果状況が組み合わさっている現実の開かれたマルチエー（図 5）とほぼ同じである。すなわち、この場合にはジェント環境に対応するためのエージェントを構築す状況変化前の学習の悪影響が見られない。これは (4)るという観点からは不合格であるといえる。しかし、式を用いれば状況変化前後どちらにも対応できると考察で言及した通り、(6) 式の左辺を rt+1 で代用しいうように競合状況と非干渉状況は性質が似ているた点を改良することによって、少なくとも報酬を調整ためと考えられる。しかし、非干渉状況において「自する個々の手法（(3)(4) 式）と同等な適応力を得られ動選択」が「近隣報酬合計」とほぼ同じ結果になったるのではないかと思われる。これは行動選択用の Qということは、提案手法による状況の識別がうまく機値と状況識別用の Q 値を分けて考えることで可能に能していないことを意味している。

なると思われるが、単純に考えても空間使用量が倍にもし、エージェントの知覚能力がもっと豊かであっなる点がデメリットである。一方で狭路問題の場合にたらどうであろうか。共有地の悲劇ゲームの例では、は、非干渉状況において提案手法による状況の識別が自治体が新焼却炉を建設した場合に通常は住民に対しうまく機能しないことが判明した。この原因を究明して何らかのアナウンスがあるだろう。また狭路問題のてより良い状況識別法を構築することも必要となる

例では、運転者は路上駐車がなくなったことを視覚かだろう。

ら認識できるはずである。これらのようにエージェンそれ以外の今後の課題としては、状況識別の自動化

トが豊かな知覚能力により状況変化を認識できるなの追求、異質なエージェントからなるマルチエージェ

らば、エージェントは状況が変化する 1 つの環境を状

ント環境における提案手法の有効性の確認、(3) 式に況が不変な複数の環境に分割することが可能となる。

おける近隣エージェントからの情報の不要化と異なる

この場合には、それぞれの環境中では文献 [4] におけ強化学習法の適用が考えられる [4]。

る実験と同等となり、過去の学習の悪影響を受けずに学習することが可能である。あるいは (5)(6) 式を用†3 これは、資源の枯渇の問題などの状況変化が徐々に起こる問題について顕著であると思われる。

いて状況を推測しなくても、初めから (3) 式か (4) 式97

第 10 回マルチ・エージェントと協調計算ワークショップ (MACC2001) 2001.11.16-17

References

8[5] T. G. Spiro and W. M. Stigliani. Chemistry of theEnvironment. Prentice-Hall, Englewood Cliﬀs, NJ,1996. （岩田 元彦, 竹下 英一 訳. 地球環境の化学. 学会
出版センター, 東京, 2000）.
[6] R. S. Sutton and A. G. Barto. Reinforcement
Learning: An Introduction. MIT Press, Cambridge,
MA, 1998.
[7] C. J. C. H. Watkins and P. Dayan. Technical Note:
Q-learning. Machine Learning, 8:279–292, 1992.
[8] X. Yao and P. J. Darwen. An Experimental Studyof N-Person Iterated Prisoner’s Dilemma Games.
Informatica, 18:435–450, 1994.

[1] 出口. 複雑系としての経済学. 社会科学のフロンティ
ア 6. 日科技連, 東京, 2000.
[2] G. Hardin. The Tragedy of the Commons. Science, 162:1243–1248, 1968.
[3] S. Mikami and Y. Kakazu. Co-operation of Multiple Agents Through Filtering Payoﬀ. In Proc.
1st European Workshop on Reinforcement Learning, EWRL-1, pp. 97–107, Brussels, Belgium, 1994.
[4] 森山, 沼尾. 自己の報酬を操作する学習エージェントの構築. 人工知能学会 第 45 回人工知能基礎論研究会資料 (SIG-FAI-A101), pp. 15–20, 東京都, 2001.

98