特集解説

状態汎化とマルチエージェント化による大規模システムの強化学習
正

員

非会員

木村

元

非会員

小林 重信

青木圭

Reinforcement learning in large scale systems using state generalization and multi-agent
techniques

Hajime Kimura, Member, Kei Aoki, Non-member, Shigenobu Kobayashi, Non-member
This paper introduces several problems in reinforcement learning of industrial applications, and shows sometechniques to overcome it. Reinforcement learning is known as on-line learning of an input-output mapping
through a process of trial and error interactions with its uncertain environment, however, the trial and error
will cause fatal damages in real applications. We introduce a planning method, based on reinforcement
learning in the simulator. It can be seen as a stochastic approximation of dynamic programming in Markov
decision processes. But in large problems, simple grid-tiling to quantize state space for tabular Q-learning is
still infeasible. We introduce a generalization technique to approximate value functions in continuous state
space, and a multiagent architecture to solve large scale problems. The eÆciency of these techniques areshown through experiments in a sewage water- ow control system.
キーワード ：強化学習，プランニング，汎化，関数近似，マルチエージェント
Keywords:

1.

Reinforcement learning, planning, generalization, function approximation, multi-agent

索エンジンとして利用する接近法の有用性が報告されていはじめにる。これは実環境中で試行錯誤するのではなく，対象とする
制御対象のシミュレータによって試行錯誤による強化学習を

本稿では強化学習を産業応用するにあたり突き当たる問
題と，それに対処するための理論やノウハウを紹介する。

行い，得られた制御規則をプランニング結果として実環境

強化学習は，試行錯誤を通じて環境に適応していくことへ適用するものである。状態遷移に不確実性を有する制御を特徴とする学習制御の枠組みの一つである (1) 。強化学習

対象においてプランニングを行う場合，まず制御対象のダは，不確実性の存在する環境下において，タスクの達成を

イナミクスをマルコフ決定過程 (Markov decision process:MDP) やセミマルコフ決定過程など の確率モデルによって反映した報酬という単純な信号を手がかりにして，それぞれの制御対象に適した複雑な制御規則を自動的に獲得してモデル化し，これを動的計画法 (Dynamic programming)

いくことから，制御プログラミングの自動化・省力化へのなどの手法を用いて解くのが一般的である。しかし，産業応貢献が期待されている。しかし，強化学習の大きな特徴で用を志向した大規模問題では，実データや機械の仕様をもある「試行錯誤」による制御規則の探索は，特に産業応用とにシミュレータを作ることはできても，制御対象のダ イ

においては制御対象に致命的な損害を与えかねない。そのナミクスを状態遷移マトリクスとして表現することが困難

ため，産業応用において強化学習をオンラインで利用するな場合が多い。例えば，状態量を特徴付ける変数が多次元連(2) (3)やセルラー通信の続値の場合，遷移マトリクス表現のために状態の量子化を無線バンド 割当 (4) ，コールアド ミッション制御 (5) (6) など ，

行うと，状態空間の爆発によりメモリ容量的に実行不能に多少の試行錯誤で影響を受けない問題に適用するか，ある陥る。また，並列非同期な離散事象システムでは，システム

いは探索を行う範囲を制限して，制御規則を少しずつ改善

全体としての状態遷移ダイナミクスを与えることは難しい。

場合には，パケットルーティング

強化学習では，制御対象のダ イナミクスに関して，こうししていくといった限定的な使い方しかできない。
一方で，強化学習をプランニング (planning) のための探たモデルのような明示的な知識が不要なので，シミュレー
タさえあれば，これを用いて制御規則を得ることが可能で 東京工業大学 大学院総合理工学研究科ある。シミュレータで強化学習を行うアプローチは，理論的〒 226-8502 横浜市緑区長津田 4259

電学論 D，123 巻 1 号，2003 年には MDP などの確率モデルを動的計画法で解く手法にお1

Sewage Water(Pump Plant 4)

5GYCIG6TGCVOGPV2NCPVP

P

2WORKPI
2WORKPI2NCPV
2NCPVYCUVGYCVGT
P

1800
Sewage Water w i Time i=4

YCUVGYCVGT

5GYCIG
6TGCVOGPV
2TQEGUUPYCUVGYCVGT2WORKPI2NCPVYCUVGYCVGTP

YCUVGYCVGT2WORKPI2NCPV

1600
1400
1200
1000
800
600
400

図 1 下水道送水系（５施設）200

Fig. 1. A sewage system composed of ve pumping
plants.

0

0

5

10
Time Time1520

図 2 ポンプ場４の流入汚水量の時間系列データ（ 実線）。点線は変動幅の最大最小範囲を表す

ける計算過程を，確率的サンプリングによる近似推定で置Fig. 2. The ow of the sewage water into the plantno.4. The solid lines denote instances, the brokenlines show the variational range.

き換えたものと考えることができる。状態遷移分布に従ったサンプルをシミュレータから得て，それを平均すること
で計算を近似するものであり，状態遷移分布マトリクスを明示的に求める必要がないため，場合にもよるが必要なメ
モリー容量を o(s2 ) から o(s) へ減らすことができる。ただ

汚水流入量は一定であることが望ましい。各ポンプ場は，処し s は量子化した状態個数を表す。強化学習によるプラン

理場での流量変動を吸収するバッファの役割を担うためにニングの応用例として，エレベータの制御規則獲得 (7) (8) (9)貯水池が設けられ，ポンプで下流施設へ送水する際に流出が多数報告され，生産システム管理問題 (10) (11) では，トヨ量のコントロールを行う。制御問題として大雑把に定式化

タの KANBAN 方式や constant work-in-progress (CON-すると，意思決定を 1 時間毎に行う離散時間制御問題であWIP) 等のヒューリスティクスとの比較において優れた解り，状態量・操作量・制御目標は以下のとおりである。

 観測できる状態量：各ポンプ場の貯水池水位，時刻（ 24を得たことが報告されている。
大規模プランニングにおいて，強化学習は有望な接近法

種類の離散値），および 前回の意思決定で選択したポではあるが，大規模問題の状態空間を単純にグリッド 分割

ンプの送水量（これは運転コストがポンプの起動／停によって量子化して，離散状態での単純な強化学習法（ Q-

止の切替に依存するため）

learning など ）をナイーブに適用するだけでは，状態や行 操作量（行動）：各ポンプ場の送水量。ただし複数台ポ

動変数の次元の増加に伴って空間が爆発するため，限界がンプの運転／停止しか指示できないので，各ポンプ場ある。この問題への対処には，主に２通りの方法がある。

毎に数段階の離散値をとる。

一つは空間を汎化する方法で，状態や行動の評価値を少な

 制御目標：貯水池水位の上下限制約違反を起こさないいパラメータでなめらかに関数近似するものである。もう範囲内で，ルートに配置された下水処理場への汚水流一つは制御対象を小さく分割してそれぞれの制御規則を得

入量の平滑化，およびポンプの運転コスト最小化，る分割統治法で，マルチエージェント系として学習するも前述のとおり，系のさまざまな箇所へ流入してくる汚水は，のである。

時刻に依存して確率的に変動する。図 2 はポンプ場４へ流

本稿では，下水道送水系計画問題のプランニング法とし入する汚水量の時間変化を示す。各ポンプ場の貯水池にはて強化学習を用いた事例 (12) を取り上げ，シミュレータ環境

その水位に運用上下限制約があり，それを超えることは汚での強化学習によるプランニングと，状態空間の汎化，マ

水の流出や施設へのダ メージにつながるため，その範囲内

ルチエージェントといったテクニックについて解説する。

で運用しなければならない。

下水道送水系は，各家庭や事業〈 2・2〉 計画問題とし ての困難
現状の運用形態は，各ポンプの送水量についての運用計画を前日に作成し，それに従って当日の運用を行っている。運用計画は専門家が所から排出される汚水を集積し，処理場へ送る一連の施設

過去のデータと現在の状態などから各地区における汚水流群より構成される (図 1)。系の施設群は一つの処理場と複入量の時間変化を予測し，これに基づいて決定論的な探索数のポンプ場からなり，それぞれが配管によって連結され，アルゴ リズムを用いて時刻表のような計画が立案される。

処理場をルートとした木構造になっている。各家庭より排出

ところが汚水流入量は不確実性を伴うため，完全な予測はされる汚水は，生活リズムに連動しており朝と夕方にピ ー

不可能であり，当日の運用では予測された状況から次第にクを持つように確率的に変動して各ポンプ場に流入するが，誤差が生じてしまう。そこで各施設の現場において，制約

下水処理場は生化学的な汚水処理を行うので，処理場への違反を起こしそうになったら経験や勘で運用計画が補正さ

2.

下水道系送水計画問題〈 2・1〉 問題の概要

2

IEEJ Trans. IA, Vol.123, No.1, 2003

特集解説

parameter

れているのが現状であり，運用計画で期待される処理量の? wi

平滑化は十分には行われていない。
このように状態遷移に不確実性を伴う場合には，時刻表

-

State

のような運用計画を立てるのではなく，状態から行動への写像関数という形式の制御規則を与えるべきである。以降，

Featureextraction

FeaturevectorApproximation- V (s) =
x

Pwx
i

i

i

i

value
V (s)

-

この制御規則の獲得を考える。このような計画問題では，制御対象を MDP としてモデル化し，線形計画法や DP 等の

図 3 特徴量ベクトルへの変換を介した線形アー
キテクチャによる汎化。

最適化手法を用いるのが一般的である。しかし，問題が大Fig. 3. A generalization of linear architecture
through the feature vector.

規模になると，制御対象を状態遷移確率行列として表現すること自体がメモリ容量的に実行不能である。そこで，状態遷移確率行列を明示的に用意せずに，シミュレータをサンs2

プラーとして確率的に近似計算を行う。これはシミュレー
タ環境において強化学習によって制御規則を獲得することと等価である。本接近法によって計算は可能になるが，依然として膨大な空間の扱いが障害となる。以下，強化学習において膨大な空間を扱うためのテクニックを紹介する。
3.

6

x6

x7

x8

x3

x4

x5

x0

x1

x2

図 4 タイルコーデ ィングによる特徴量ベクトル
生成例。状態入力 (s1 ; s2) が矢印の位置のとき，
x8 ) は，該当するタイ
特徴量ベクトル (x0 ; x1;
ル要素 x5 = 1，それ以外の要素は全てゼロ。

〈 3・1〉 離散状態-行動の強化学習
MDP では意思決定の各時間ステップにおいて報酬信号が入ってくる。これは前章の問題では，各時間のポンプの運転コストや制約違反の有無を反映するものである。MDP では，制御規則（以後政策と呼ぶ）の評価規範として，長期的な報酬合計を考慮した割引報酬合計による評価が一般的である。強化学習の代表的手法である Q-learning (13) は，適切な条件下では割引報酬合計の期待値を最適化する政策の獲得が保障されている。Q-learning は，各状態-行動対に対し，そのルール
実行直後から最適な政策を取り続けた場合の割引報酬合計
期待値を Q 値として推定する。ある状態 st で行動 at を選Fig. 4. An example of tile coding to generate afeature vector. When the current state (s1 ; s2 ) is
located at the arrow in the gure, the corresponding element x5 equals 1, and the others are all zeroin the feature vector (x0 ; x1 ;    x8 ).

る。Q-learning の最適解への収束が保障される簡便な汎化方法として線形アーキテクチャ (linear architecture) があ

択後，報酬 rt を受け取って状態 st+1 へ遷移した時，以下る。これは固定された基底関数の集合を用いて関数近似をに従って Q 値を更新する：

Q(st ; at)+

ただし 0 <Q(st ; at)

rt + max
Q(st+1 ; a) Q(st ; at)
a2A

-s

1

強化学習の適用行うもので，ラジアル基底やウエーブレット関数基底を用いたものなど様々だが，状態空間中の座標を基底関数によって特徴量ベクトルに変換し，このベクトルの線形重み付け
和で関数を表現する点は同じである（ 図 3 ）。特徴量ベク  (1)トルの生成方法は問題に応じて設計者が与える必要があり，

 1 は学習率，0  < 1 は割引率，A は行ベクトルのノルムが常に 1 となることが望ましい。図 4 は動集合を表す。状態や行動空間を量子化して扱うと，上記

最も単純な特徴ベクトル生成方法の例を示す。２次元空間の Q 関数は２次元配列のテーブル形式になり，実装は極めを１枚のタイル（グリッド ）によって分割し，各タイル要て簡単である。しかし ，下水道系問題のように連続値状態

素に特徴量ベクトルの要素を割り当てる。状態入力がある

変数パラメータが多次元になると，量子化される状態個数

タイル要素内にあるとき，該当する特徴量ベクトル要素のは指数的に増大する問題がある。

ときは，特徴ベクトル要素と同数のパラメータ wia を用い

値は 1 に，それ以外の要素はゼロとする。Q 値を表現する〈 3・2〉 連続状態空間の汎化
量子化された状態-行動
空間で Q 関数を正確に記述するには，巨大な記憶容量が必て線形関数表現する：

要なだけでなく，前節の学習方法では膨大な時間とデータ

Q(s; a) =が必要である。これを解決するため，これまで経験した状
態空間から未経験の状態への汎化 (generalization) を行う。

i=1

wi xi             (2)ただし n は特徴ベクトル要素の個数。離散行動が A 個のとこのような例題からの汎化は関数近似とも呼ばれ，強化学

き，パラメータ wia は n

習に限らずニューラルネットワークなど幅広い分野で研究されており，強化学習または DP と関数近似法を組み合わ A 個必要である。線形アーキテ

クチャによる Q 値更新は，単純な勾配法に基づきパラメー
タ wia を更新することで達成される：せた計算法は neuro-dynamic programming (14) と呼ばれ電学論 D，123 巻 1 号，2003 年

n
X
a

3

s2

6

x212 x213 x214 x215
x112 x113 x114 x115
x28
x29
x210 x211x18
x19x110 x111
x24
x25
x26
x27
x14
x15
x16
x17
x20
x21
x22
x23
1
1
1
1
x0
x1
x2
x3

CMAC

state of reservoir levelsheet1sheet2@@I

sheet3lower limit

upper limit-s1

図 6 貯水池の水位を特徴ベクトルへ変換するための CMAC グリッドデザイン。等間隔グリッド
３枚を基本に用いて，運用上下限位置で強制的に分割する。

図 5 ２枚のタイルをずらせて重ねる CMAC による特徴量ベクトル生成。大きな太線の枠は状態の定義域，２つの小さい太線枠は状態入力に対応
するタイルを表す。状態入力が矢印の位置のとき，
特徴量ベクトルは，該当するタイル要素
x111 = 0:5，x210 = 0:5，それ以外の全要素はゼロ。

Fig. 6. A gridtiling design to generate a feature
vector from the water level. Here the tiles are basedon uniform gridding, and they are divided at theupper and lower limit of the water level.

Fig. 5. An example of CMAC, which generates afeature vector, composed of multiple overlapping
gridtilings. The large rectangle with thick line
shows the bound of the state space, two small boxes
with thick lines are the tiles corresponding to thestate input. When the current state is located at
the arrow in the gure, the corresponding element
12
x11 equals 0:5, x10 equals 0:5 and the others are all
zero in the feature vector.

タイルは矩形だが，多次元になるとタイルも超矩形になる。

CMAC も線形アーキテクチャなので Q 値の更新式は式 (4)と同じである。
下水道問題の強化学習でも CMAC を用いたが，予め分かっている問題の特徴に応じてタイルの構造に工夫を加えた。状態量として，貯水池の水位×時刻という２次元空間

wiat

wiat


@Q(s; a)
+
r
+
max
Q
(
s
;
a
)
Q
(
s
;
a
)
(3)
t
t+1
t t
a2A
@wiat

式 (2) より @Q(s; a)=@wiat = xi なので，

wiat+

理的上下限に達しないように運用上下限が設けられている
ので，水位がこれを超えると大きな負の報酬が与えられる。
この運用上下限の位置は予め分かっており，その付近を境に Q 値が大きく変化することは明らかである。そこで，水

wiat



を扱うことを考える。貯水池の水位について補足すると，物

xi rt + max
Q(st+1 ; a) Q(st ; at)a2A

位に関しては図 6 に示すように，運用上下限の位置でタイ

ルを強制的に分割する。これにより，運用上下限に近い位(4)

置付近に小さなタイルが集まるので，微妙な制御が必要なこの領域の関数近似能力を高めることができる。逆に中間

つまり線形アーキテクチャを用いた更新では，更新するパ的な水位領域では大きなタイルだけでカバーしているので，

単に更新できる。図 4 のような単純なグ リッド 分割によるきる。

（式 (1) ）と等価になる。

ループする特徴を持つ状態変数であるため，図 4 や図 5 の生成例を示す。これは図 4 のようなグリッド を k 枚（このベクトルのタイル配置もループさせた。

対し，図のように複数のタイル要素が反応し，それに対応〈 3・3〉 マルチエージェント 化
前節で紹介した汎化を用いると，少ないパラメータを使って Q 値を近似表現し，少ない経験から補間してくれるという意味で，ある程度まラメータ wia に対応する特徴の要素の値 xi だけを使って簡補間能力が高く，メモリ容量の低減と学習高速化が期待で
また，時刻については 23 時から 0 時へ戻るような環状

線形アーキテクチャの更新式は離散的 Q-learning の更新式

ような定義域の端がない。そこで，図 7 に示すように特徴

図 5 は CMAC (15) と呼ばれる汎化法による特徴ベクトル場合 k = 2 ）用意し，ずらせて重ね合わせる。状態入力にする特徴ベクトル要素の値が 1=k，それ以外の要素はゼロとする。グリッドのずらせかたはランダムに行う。グリッ

での規模の問題を扱うことが可能になる。しかし，CMAC

ド１枚における分割の粗さは，汎化の度合いを特徴付ける。

のタイル分割の例のように，状態変数の次元数が上がると，

つまり粗い分割メッシュを用いると，学習途中でサンプル

タイル分割数および特徴ベクトル個数が指数的に増大する。

数が少ない場合でも，未経験の状態では値を補間する傾向

本稿の下水道問題においても，水位の変数だけで５次元なが強くなり，対象問題によっては学習高速化の効果が得らので，系全体の状態-行動を Q 値で評価することは メモリ

れる。重ね合わせるタイル（グリッド ）の枚数は，関数近容量的に実行不能である。ここでは解決策として，マルチ似能力の高さを特徴付ける。この例では２次元空間なのでエージェント系で問題を分割する。
4

IEEJ Trans. IA, Vol.123, No.1, 2003

特集解説

表 1 下水道送水系問題における状態表現，報酬設計

Table 1. Features of the states and rewards in the sewage plants.
下水道広域送水系（５施設）
施設

状態次元数

行動数

状態観測

報酬

処理場

4
3
2

8
8
11,8
11

時刻（ 24 ），貯水池水位（ 10 ），前行動（ 8 ），上流合計揚水量（ 10 ）

揚水量変更量，貯水池水位違反

ポンプ 場１
ポンプ場２，３
ポンプ 場４２

時刻（ 24 ），貯水池水位（ 10 ），上流合計揚水量（ 10 ）時刻（ 24 ），貯水池水位（ 10 ）時刻（ 24 ），貯水池水位（ 10 ）処理場流入変化量，貯水池水位違反
処理場流入変化量，貯水池水位違反
ポンプ 場１流入変化量，貯水池水位違反

かっこ内は空間量子化によりテーブル形式で学習する場合の状態分割数

state of time

4.

00:00

18:00

06:00

ここでは主に前章で示した接近法のうち，状態汎化の効果を示す。実験では CMAC のタイル数を 4 もしくは 6 に設

12:00
00:00

実験結果

12:00

定し，(a) テーブル表現の場合とメモリ数が同じ場合，(b)00:00

各タイルの分割数を減らし メモリ保持数を約 55.8 ％圧縮した場合の２通りの設定で行った。図 8 に学習曲線を示す。
グラフの横軸は学習ステップ数，縦軸は１日あたりのポン

same tile

プの切替回数を表す。ポンプの切替は流量変化や運転コストの増大につながるので，これが少ないほど良い。このグ

図 7 時刻を特徴ベクトルへ変換するためのCMAC グリッドデザイン。時刻は，23 時の次は0 時へ戻る環状ループの特徴を持つ状態変数であり，定義域の端がない。そこで，特徴ベクトルのタイル配置もループさせる。

ラフでは，制約違反が反映されていないが，制約違反に伴う負の報酬はポンプの切替コストと比べると重みが５倍になっており，最終的に得られた政策ではどれも制約違反をほとんど 起こさなかったので，政策の性能の差は本グラフ

Fig. 7. A gridtiling design to generate a feature
vector from the hour. It is a cyclical state variable such as the next value of 23 is 0, and there isno edge of the space. Therefore, we put the tiles
cyclically.

にのみ反映される。
学習率など のパラメータ設定やマルチエージェントとしての問題設定は同一なので，性能の差は状態汎化の効果だ
けを反映している。グラフより明らかに従来の状態量子化によるテーブル表現に比べて汎化により格段に学習速度は向上し，最終的に得られた制御規則の性能も良くなっていQ-learning は一般にマルチエージェント系での学習の最る。特に学習序盤は，パラメータ数が少なく，汎化能力が適性を保障していない。しかし，あるエージェントから見て大きい (b) の性能向上が目立つ。これは本問題の汎化にお他のエージェントの政策が定常あるいは十分に学習がゆっいて，水位の中間付近ではあまり高い関数近似能力が必要

くり行われ，かつ状態変数の観測が十分可能ならば ，他の無いことを示している。

エージェントを含めた環境は MDP に近似して差し支えな

図 8 のグラフでは，シミュレータ環境で 5プの学習を行っている。PentiumIII-800MHz 程度の計算

いと考えられる。よって大規模問題を適切に分割し，それぞれに Q-larning を用いる接近法にも合理性があり，適用例が報告されている(16)

 107 ステッ

機上で SunOS 上の Java プログラムを用いてシミュレート

すると，約 3 時間を要する。CMAC を用いた手法では，30。

本稿の下水道問題は，施設がツリー状に結合されており，分程度で解を得ている。

施設ごとにポンプ揚水量を決められるなど 施設単位での分

5.

割がしやすい特徴がある。水の流れは配管を通して行われ，おわりに流れは一方通行なので，影響は下流施設にのみ限定される。

本稿では，シミュレータと強化学習を併用して制御規則

ネットワーク的に離れている施設への影響は少ないと考えを獲得していくプランニング手法を紹介した。大規模問題られる。そこで各施設をエージェントとしたマルチエージェ

へ強化学習を適用するため，状態汎化を行う方法と，問題

ント系を考える。各施設は自分の貯水池の水位だけでなく，を分割してマルチエージェントとして対処する方法を示し

上流の施設の影響も受けることにも対応するため，状態観た。特に状態汎化は，対象問題の特徴を反映して，粗い汎測として一つだけ上流における全施設の揚水量合計も観測化で良い箇所と細かい近似能力を必要とする箇所に対応しする。報酬としては，行動結果として自分の貯水池水位のた適切な関数近似手法を設定することにより，格段の性能

制約違反の有無だけでなく，下流の流量変化も反映されて向上が可能であることを示した。本稿で示したシミュレー

与えられる。表 1 に状態や行動，報酬設定についての概要

タによる実験結果は，参考文献 (12) 中で記述し切れなかったを示すが，詳細な設定は参考文献 (12) を参照されたい。

ものをここで紹介したもので，複数の下水道制御の専門家

電学論 D，123 巻 1 号，2003 年

5trol while ensuring quality of service in multimedia networks
via reinforcement learning, Advances in Neural Information
Processing Systems 11 , pp.982{988 (1999).
（ 7 ） Crites, R. & Barto, A. : Improving elevator performance using reinforcement learning, Advances in neural information
processing systems 8, pp.1017{1023 (1995).
（ 8 ） Pepyne, D. L. & Looze, D. & Cassandras, C. & Djaferis, T.
: Application of Q-learning to elevator dispatching, 13th Triennial world congress, pp.317{322 (1996).
（ 9 ） S. Hikita & S. Abe: Elevator group control systems using
AI technologies, Journal of the Japanese society for arti cialintelligence, vol.17, no.1, pp.57{62 (2002) in Japanese.
（ 10 ） Mahadevan, S. & Marchalleck, N., Das, T. & Gosavi, A.: Selfimproving factory simulation using continuous-time averagereward reinforcement learning, Proc. of 14th international
conference on machine learning , pp.202{210 (1997).
（ 11 ） Wang, G. & Mahadevan, S.: Hierarchical optimization ofpolicy-coupled semi-Markov decision processes, Proc. of 16th
international conference on machine learning , pp.464{473(1999).
（ 12 ） K. Aoki, H. kimura, A. Nagaiwa & S. Kobayashi: Adaptive
Control of sewage systems using distributed reinforcement
learning, Trans. IEE of Japan, vol.123-D, no.4, pp.462{469(2003) in Japanese.
（ 13 ） Watkins, C. & Dayan, P.: Technical note: Q-learning, Machine Learning 8 , pp.279{292 (1992).
（ 14 ） Bertsekas, D. & Tsitsiklis, J.: Neuro-dynamic programming ,Athena Scienti c (1996).
（ 15 ） Sutton, R. & Barto, A.: Reinforcement learning: An Introduction, A Bradford book , The MIT press (1998).
（ 16 ） S. Mikami: Reinforcement learning for multi-agent systems,
Journal of Japanese society for arti cial intelligence, vol.12,
no.6, pp.845{849 (1997) in Japanese.

CMAC ( 5Tank Sewerage System )Number of Pumping Switches

4
3.5
Table Q-Learning

3
2.5

CMAC(100%)2
1.51‫ޓ‬CMAC
㧔55.8%㧕
0

500 1000 1500 2000 2500 3000 3500 4000 4500 5000
Time Steps(x10000)

図 8 CMAC を適用した場合とテーブル形式のままの場合の学習比較。線は 10 試行平均，誤差
棒は最良最悪ケース。
(a) テーブル形式と同じ メモリ容量の CMAC，(b) テーブル形式の 55.8 ％のメモリの CMAC

Fig. 8. The learning performance comparing thetabular Q-learning and the CMAC Q-learning. Thelines are the average of 10 trials, and the bars are
the best and the worst cases. (a) CMAC using thesame amount of memory as the tabular Q-learning,(b) CMAC using 55.8% amount of memory as thetabular Q-learning.

木村

元 （ 正員） 1997 年東京工業大学大学院知能科学専攻

より実運用の立場から十分評価できるとのコメントを得て博士課程修了，同年 4 月日本学術振興会 PD 研究いる。強化学習を産業応用する場合，本稿で取り上げた課

員，1998 年 4 月，東京工業大学大学院総合理工

題以外にも連続行動空間の扱いや不完全観測の扱い (1) ，少学研究科助手，現在に至る。人工知能，特に強化ない試行回数からの学習など様々なテーマが考えられ，活学習に関する研究に従事。

発な研究が行われている。このような強化学習の理論的な発展とともに，近年の計算機の目覚しい性能向上の影響も加わり，シミュレータでの学習によるプランニング手法は今後もますます発展していくと考えられる。
青文

木圭 （ 非会員） 2002 年東京工業大学大学院知能システ
ム科学専攻修士課程修了。同年４月博士課程在籍

献中。主に強化学習に関する研究に従事。
（ 1 ） H. Kimura, K. Miyazaki & S. Kobayashi: A guideline for de-signing reinforcement learning systems, Journal of the societyof instrument and control engineers, vol.38, no.10, pp.618{623(1999) in Japanese.
（ 2 ） Boyan, J. & Littman, M.: Packet routing in dynamicallychanging networks: A reinforcement learning approach, Advances in neural information processing systems 6 , pp. 671{
678 (1993).
（ 3 ） Kumar, S. & Miikkulainen, R.: Con dence based dual reinforcement Q-routing: An adaptive online network routing
algorithm, Proc. of 16th international joint conference onarti cial intelligence , pp.758{763 (1999).
（ 4 ） Singh, S., & Bertsekas, D.: Reinforcement learning for dynamic channel allocation in cellular telephone systems, Advances in neural information processing systems 9 , pp.974{
980 (1997).
（ 5 ） Marbach, P, Mihatsch, O. & Schulte, M. & Tsitsiklis, J. N.:
Reinforcement learning for call admission control and routing
in integrated service networks, Advances in neural information processing systems 10 , pp.922{928 (1998).
（ 6 ） Brown, T., Tong, H. & Singh, S.: Optimizing admission con-

小

林

重

信 （ 非会員） 1974 年東京工業大学大学院博士課程経営工学専攻修了。同年 4 月，同大学工学部制御工学科助手．1981 年 8 月，同大学大学院総合理工学研究科助教授。1990 年 8 月，教授，現在に至る。
問題解決と推論制御，知識獲得と学習など の研究に従事。

6

IEEJ Trans. IA, Vol.123, No.1, 2003