深層強化学習の人流誘導への適用に関する基礎的研究
A Fundamental Study on Pedestrian Flow Control
using Deep Reinforcement Learning○恒川 裕史 *1
Hiroshi Tsunekawa＊1*1 株式会社竹中工務店技術研究所

グループ長

Group Leader, Research and Development Institute, Takenaka Corporation
Summary:
A method using deep reinforcement learning that incorporates multi-agent simulation to induce so as to be able to exit the crowd
smoothly from theaters and arenas are proposed. Cellular automata was used for pedestrian flow simulation. Two deep
reinforcement learning methods, i.e., a method based on Q learning and a method based on actor-critic, were used for flow control.
For a 28 × 29 space, first, the Q-learning based method was applied to the problem that the correct answer is known, and it was
confirmed that the exiting situation was the same as that of correct answer case. Next, actor-critic based method was applied tomore general situation and it showed that the exiting situation was statistically significantly improved. Furthermore, we analyzed
the learning results and showed the possibility to extract useful knowledge for pedestrian flow control. Limiting the range of
people that can be grasped reduces the effect of induction but never loses the effect even if only 1/3 of area can be observed.
キーワード: 深層強化学習; 誘導; 人流; マルチエージェントシミュレーション; 知識抽出
Keywords: Reinforcement learning; induction; pedestrian flow; multi-agent simulation; knowledge discovery.

1. はじめには最後にしかわからない囲碁をプレイするために使われ劇場や球場、アリーナなどでそれぞれのアトラクショたものであるが、群衆の誘導も、その時々の指示の善し

ンを楽しみ、帰宅しようとした時に長蛇の列が微動だにあしは必ずしも不明で、最終的に短時間で退出できたこ

せず、不快な思いをした人は多いであろう。このようなとでしか誘導の善しあしは判断できないという点で共通

場合、円滑に退出できるように警備員などが退出の誘導点がある。また、AlphaGo の成功は、仮想的な対局を自を行う。建築計画的には、うまく退出できるようなレイ由に行えたことが大きい。群衆誘導の分野でもマルチエ

アウト上の工夫やサイン計画を予め検討しておくのであージェントシミュレーション（MAS）6)を用いて仮想的にるが、それに加えてうまく退出の誘導ができれば、退出誘導を試行することができ、この点も共通である。囲碁に際する待ち時間を短縮できる可能性がある。大西ら 1)ははコンピュータがすべての状態を観測できるのに対して花火大会での混雑緩和を目的に計測やシミュレーション

群衆誘導では必ずしもすべての状態を観測できるわけでを行うとともに、外壁にプロジェクションマッピングをはないため同一ではないが、その可能性には期待を持て用いたガイドを表示する実験を行ったが、表示は目視にる。本研究では、まず深層強化学習による誘導が可能かよる人の判断であった。杉浦ら 2)はシミュレーションと数否かを小規模モデルで検証し、そのうえで学習結果の分理モデルを用いた誘導灯の最適配置と動的な補助誘導灯

析による誘導のための知見抽出を試行したので報告する。

の制御を行ったが制御はルールベースであった。中島ら
3) はGPS携帯電話で個別に誘導情報を提供する実験を仮

想空間を用いて拡張し大規模群衆実験を行う環境を試行

2. 群衆誘導の方針
人流予測において、短期間の移動の予測ではカルマン

したが、誘導情報としては最寄り避難所を知らせるに留フィルタやパーティクルフィルタが用いられるが、人同まっている。

士の相互作用を考慮する場合には前述の MAS が用いら

第 3 次 人 工 知 能 ブ ー ム の 中 、 2016 年 に Google のAlphaGo4) が囲碁のトッププロである李世乭九段に勝利

れる 1)。そこで、本研究では、群衆の誘導を MAS を組み込んだ深層強化学習により試行した。

し、世間を驚かせた。AlphaGo は深層学習による教師あMAS では各人がどこに居るかをコンピュータが把握

り学習と強化学習を用いた手法 5)である。特に後者の強化している。これに基づいた学習で得られた結果を実際の学習は、途中の一手一手が良手か否かがわからず、結果誘導に反映するためには実空間内の人の移動を把握する

日本建築学会情報システム技術委員会
第 42 回情報･システム･利用･技術シンポジウム論文集， 166-171 ， 2019 年 12 月，東京
Proceedings of the 42nd Symposium on Computer Technology of Information ，Systems and Applications ， AIJ ， 166-171 ， Dec. ， 2019 ， Tokyo－ 166 －

必要がある。また、MAS を実際の人の流れに近づけるた関数を近似する場合、問題となるのは、一連の試行で得めにも、実空間内の人の流れを把握し、分析する必要がられる状態、行動、報酬のデータ列に高い相関があるこある。人流についてはカメラによる計測が行われてきたとである。NN では学習データ間に相関があると、学習がが、深層学習の発展により近年技術レベルが急激に向上進まない。これを解決するため、DQN では経験リプレイ

している。また、画像情報のほかに距離が取得できるカという手法を採用している。これは予め多くのゲームをメラも登場しており、こうした流れが加速している中で、行うことで上記のデータ列を収集しておき、そのデータ

空間内の人の動きを正確に把握できるようになることが列の中からランダムに学習データを選ぶことで学習デー期待される 1)。本研究では、空間内の人の動きはリアルタ

タ間の相関をなくす方法である。

イムに把握できるものと仮定し、誘導により早期に退出させることをめざすこととする。

DQN は価値関数をベースとした方法であるが、強化学
習にはそのほかにポリシーベースの方法がある。これは、以下のポリシー関数 を直接改善する方法である。

3. 誘導方法

𝜋(𝑎|𝑠; 𝜃)

3.1. 強化学習

はパラメータで、 は状態 s の場合に行動 a を選択する

強化学習 7)は環境中のエージェントが環境から状態を確率を表す。ポリシーベースの代表的な手法である

受け取り、それに対して行動を選択し、報酬と次の状態

REINFORCE12)では、パラメータ を∇𝜃 𝐸[𝑅𝑡 ]の普遍推定量を受け取るという枠組みで、受け取る報酬を最大化するである以下の方向に更新する。

ことが目的である。人工知能関連の研究では、単純化された問題の中では有効でも、現実の社会に適用すること∇𝜃 log 𝜋(𝑎𝑡 |𝑠𝑡 ; 𝜃) 𝑅𝑡
さらに、ベースライン bt を差し引くことで期待値を保が難しいと言う一種の壁がある。強化学習の枠組みは環

ちながら推定量の分散を小さくし、学習を促進する。

境に関する知識なしに、環境との相互作用から直接学習∇𝜃 log 𝜋(𝑎𝑡 |𝑠𝑡 ; 𝜃) (𝑅𝑡 − 𝑏𝑡 (𝑠𝑡 ))を行うが、教師あり学習のように行動の善し悪しに関す

bt は、報酬の平均が用いられるが、こちらも学習の対象

る情報が直接得られることはなく、しかも行動の善し悪とするのが、actor critic という手法である。

しが結果となって現れるまでには遅延が伴う。こうした本研究では DQN では有意な結果が得られないケース

状況は現実にもよくあてはまり、強化学習が現実の問題があったため、DQN に加えて actor critic の一手法であるに効果を発揮することが期待される。

asynchronous advantage actor-critic(A3C)13)を用いた。A3C

3.2. 深層強化学習

では、マルチスレッドで複数のシミュレーションを同時Sutton は強化学習 FAQ の中で強化学習の関数近似にニに行い、得られた状態、行動、報酬のデータ列を学習にューラルネットワーク（NN）を適用するのはよくある間使うことで、学習データにおける相関を排除する。また、違いであると述べている 8)。しかし、Mnih9)らがゲーム機

tmax ステップごとにポリシー関数と価値関数を以下のアタリのゲームを強化学習でプレイするために深層ニュ式にしたがい、tmax に亘って累積したもので更新する。

ーラルネットワーク（DNN）を用い、人間のエキスパー𝑑𝜃 ← 𝑑𝜃 + ∇𝜃′ log 𝜋(𝑎𝑡 |𝑠𝑡 ; 𝜃′) 𝐴(𝑠𝑡 , 𝑎𝑡 ; 𝜃, 𝜃𝑣 )トよりも高い得点を出したことで、DNN を用いた深層強𝑑𝜃𝑣 ← 𝑑𝜃𝑣 +化学習（DQN）が注目されている。DQN は、Sutton の TD

∂𝐴2
∂𝜃′𝑣

法 10)の発展形である価値関数ベースの Q 学習 11)に DNN

A は、以下に示す action advantage 関数 14)、 v は価値関数を適用したものである。Q 学習では次式で示される割引のパラメータ、 ','v はスレッドのパラメータである。
𝐴𝜋 (𝑠, 𝑎) = 𝑄 𝜋 (𝑠, 𝑎) − 𝑉 𝜋 (𝑠)期待報酬 Rt を最大化することを目的とする。
∞

𝑅𝑡 = ∑

A3C では、この advantage 関数の推定値として以下の

𝛾 𝑘 𝑟𝑡+𝑘値を用いる。

𝑘=0

r は報酬、γは将来得られる報酬の割引率である。Rt を最大化するため、Q 値を以下のように更新する。
𝑄(𝑠, 𝑎) = (1 − 𝛼)𝑄(𝑠, 𝑎) + 𝛼 (𝑟 + 𝛾 max 𝑄(𝑠′, 𝑎′))𝑎′𝑘−1

𝐴(𝑠𝑡 , 𝑎𝑡 ; 𝜃, 𝜃𝑣 ) = ∑𝑖=0

𝛾 𝑖 𝑟𝑡+𝑖 + 𝛾 𝑘 𝑉(𝑠𝑡+𝑘 ; 𝜃𝑣 ) − 𝑉(𝑠𝑡 ; 𝜃𝑣 )実際の計算は tmax 分の試行を行ったうえでステップを巻き戻しながら更新を計算するというようにその試行

は学習率、s は環境の状態、a は選択する行動、s’およびで用いた方策を更新に用いる方策 on 型である。A3C で

a’はそれぞれ次のステップの状態と行動である。あるス

は、ポリシー関数𝜋(𝑎𝑡 |𝑠𝑡 ; 𝜃)と価値関数𝑉(𝑠𝑡 ; 𝜃𝑣 )との２つ

ケジュールで学習率 を減少させながら Q 値の更新を行を出力する、前半部分を共有した NN を用いる。

い Q 値が収束すると、各状態の最大の Q 値となる行動を

3.3. 人流シミュレーションと誘導

選択することが最適政策となることが証明されている 10)。

人の流れのシミュレーションはセルオートマトン 15)を

DQN では、この Q 関数を DNN で近似する。DNN で Q用いた。セルオートマトンは Stephen Wolfram が体系化し

論文 R75－ 167 －

た時間・空間・状態量がすべて離散的な数理モデルであらその時点のステップ数の半分をペナルティとして引いる。セルオートマトンでは人の体格の差や身体の向きをた値としたが、学習が進むよう Q 関数の範囲を 1 以下に考慮することが難しく、実際の人流を再現する最適な方収めるため、全体の人数(200)×4 で割った。γは 0.9、学法ではないかもしれないが、その簡易さ、わかりやすさ

習率は 0.00001、Optimizer は Adam とした。プログラミから基礎的な検討には最適と考え、採用した。人が移動

ングには TensorFlow16)を用いた。

する近傍は縦と横のセルを近傍とするノイマン近傍とした。また、横入りする人が少ない日本人の特性 14)を考慮
し目的地からの距離計算にはマンハッタン距離を用いた。
人の移動の戦略としては、大きく、出口に向かって移動する場合(戦略(1)とする)と、人についていく場合(戦略(2)とする)の 2 種類を設定した。ただし、1 人の人が完全にどちらかに分類されるのではなく、出口を知っていて(1)の行動を主にする人も確率的に(2)の行動をとるように、またその逆の場合も設定した。また、いずれの場合も探知範囲内（直線で 10 マス）に出口を見つけた場合に-1 10 10 10 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 10 -1
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 -1 -1 -1 -1 -1 -1 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 -1 -1 -1 -1 -1 -1 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 0 0 0 0 -1 -1 0 0 0 -1 -1 0 0 0 0 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0
0 0 -1 -1 -1 -1 -1 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 -1 -1 -1 -1 -1 0 0
0 0 -1 -1 -1 -1 -1 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 -1 -1 -1 -1 -1 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0 0
0 0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0 0
0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 0 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0
0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 0 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Figure 1. Experiment space (1) Figure 2. Initial position (1)は直接出口に向かう。また、出口からの距離に差が無い
Table 1. Strategy definition (experiment 1)

場合には慣性に従う場合とランダムウォークをする場合
を確率的に選択するように設定した。戦略(1)の場合は、低い確率で、向かう出口を変える確率も設定した。
誘導はロープ等物理的に行動を強制するものも考えら

ratio

strategy1

strategy2

type A

90%

90%

10%

type B

10%

10%

90%

れるが、本研究では壁に貼られた矢印表示器のようなものを想定し、その指示に従う確率、指示を忘れる確率をTable 2. Probability of action (experiment 1)設定する。戦略(1)の場合に自分が向かっている出口とは異なる方向に矢印が表示されていた場合には、ある確率

item

probability

forget the previous move

10%change the exit

0.5%

follow the sign80%

forget the sign

50%

change the exit by sign

80%

で向かう出口を変えることとした。
学習結果からの知見は、どのような状態の時にどの
action を選択するかを中心に、クラスタリングで共通の状態をまとめることで抽出した。
4. 試行
4.1. 試行 1
まず簡単で正解の自明な問題として、Figure 1 に示す
空間で試行を行う。出口（赤色）は右上と左上の 2 か所にあるが、左上の出口は右上の出口の 3 倍の幅がある。
この空間に右側に偏って人を初期配置し、右下の黄色で示す位置に矢印表示器を設定する。矢印の有効範囲は 1マスとした。この場合、人を広い出口の左上に誘導するのが得策であるので、正解は左向きとなるのが自明であるが、強化学習によってそれが解けるか否かを確認する。
移動戦略を Table 1 に、各種の確率を Table2 に示す。試行 1 では、多くの人が出口を知っているものとして、全体人数の 9 割を占める typeA のエージェントは、戦略(1)を 90%、戦略(2)を 10%の確率でとり、残り 1 割の typeBのエージェントは、戦略をとる確率を反転させ、合計 200人配置し、誘導は DQN を用いた。ネットワークへの入力
は空間の状態（人:1,壁:-1,無:0）とし、ネットワーク構成
は特徴量 32 の畳み込み層 1 層、全結合層 3 層（順にノー
ド数 512,256,3）とした。報酬 r は出口への到達総人数か

論文 R75(a)no action(b) controlled

Figure 3. Progress of experiment 1
初期配置の状態を Figure2 に青色で示す。Figure3 に、
誘 導 を 行 わ な い 場 合 (no action) と 、 誘 導 を 行 っ た 場 合(controlled)の途中経過を示す。誘導している(b)では中央部に右から左へ向かう人群が見られるが、誘導していな
い(a)では、それが見られない。人の流れと誘導を 200 ス
テップに亘って繰り返す試行を、誘導を行わない場合(noaction)、誘導を行った場合(controlled)、矢印を左向きに固－ 168 －

定した場合(all Left)の 3 通りでそれぞれ人流シミュレー

Table 3. Strategy definition (experiment 2)

ションの乱数を変えて 1000 ケースずつ行い、各ステップ
での出口に到達した人の累積数の平均値を Figure4 に示す。誘導を行った場合には 70 ステップ辺りから出口に到

ratio

strategy1

strategy2

type A

80%

90%

10%

type B

20%

10%

90%

達する人が no action に比べて増えており、その傾向は矢印を左向きに固定した場合とほぼ同じであることから正Table 4. Probability of action (experiment 2)

解の学習ができていると判断した。

item

probability

forget the previous move

10%change the exit

0.5%

follow the sign80%

forget the sign

20%change the exit by sign

90%

Table 5. Specification of network (experiment 2)
layer

kernel size

stridefeature

1

8

2

16

2

4

1

32

Figure 4. History of evacuated people (experiment 1)
4.2. 試行 2
より一般的な条件として、初期状態が左右で均一な条件で試行した。試行空間と矢印位置を Figure5 に示す。矢印が 5 か所で各々、非表示|左|右の 3 種類の action があり、何もしないを含めると action の総数は 3×5+1=16 である。action 0 は何もしない、action 1 は矢印 0 を非表示に、action 2 は矢印 0 を左向きにする等である。出口の条
件は試行 1 と同様である。矢印の有効範囲を水色で示す。

Figure 6. Initial position (experiment 2)

試行 1 に比べ誘導無しで出口に到達する人が少なくな
るよう、Table3 の通り、typeA を 80%, typeB を 20%とし、合計 300 人設定した。また各種確率については、Table4に示すように、矢印の効果が出やすいように設定した。
誘導は当初 DQN で行ったが、統計的に有意な結果が得られなかったため、A3C を用いた。入力は空間を表す
2次元データの人を表す層(0/1)、左向きの矢印を表す層(0/1)、右向きの矢印を表す層(0/1)の3層とした。畳み込み層は2層とし、そのパラメータを Table5に示す。畳み込み-1 10 10 10 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 10 -1 -1 -1
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 4 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 0 0 0 -1 -1 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0
0 0 -1 -1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -1 -1 0 0
0 0 -1 -1 -1 -1 -1 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 -1 -1 -1 -1 -1 0 0
0 0 -1 -1 -1 -1 -1 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 -1 -1 -1 -1 -1 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 2 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0-1 -1 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 -1 -1
0 0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Figure 5. Experiment space (experiment 2)

論文 R75Figure 7. History of evacuated people (experiment 2)層の後には256ノードの全結合層を配し、action 総数16のノードと Softmax 出力を持つ全結合層でポリシーを、1ノードでリニア出力の価値関数を表す。報酬は文献13を参考に当該ステップで出口に到達した人数とし、100で除した。γは0.98、学習率は0.0001、Optimizer は Adam とし、
tmax は4とした。プログラミングには MXNet17)を用いた。
Figure6 に初期状態を、最大 150 ステップの試行を 1000回行った結果から Figure7 に各ステップの出口に到達し－ 169 －

た累積人数の平均（黒）、平均±標準偏差（青）、最大最ステップの時期別に分類された。Figure10は、これをステ

小値（赤）を示す。破線が no action、実線が誘導である。

ップが進む順（No.0は初期、No.3は終盤など）に並べ替

100 ステップ以降で見ると、no action の最大のケースよ

えて表示している。

りも誘導した場合の平均値の方の人数が多くなっており、誘導による効果が見られる。最終ステップでの両者の平均値の差は標準偏差以上であるが、1000 回試行した場合の平均値の分散は 1/1000 となるので、統計的にも誘導の優位さが確認できる。tmax を増加させると学習の収束が早まる傾向があるが、最終的な人数には影響なかった。
4.3. 学習結果の分析
試行 2 の学習結果の分析を行った。
Figure8 に矢印操作の推移の一例を示す。各矢印で、グ
ラフで下側が右向き、上側が左向きである。矢印 0 は、
はじめ左向きで、中間に短時間右向きがあり、終盤は右向きとなっている。1000 回の試行の各ステップ各矢印の右向き、左向きの頻度の履歴を Figure9 に示す。全体的に左向きの頻度が高いが、終盤に向けて右向きの頻度が高

Figure 10. Clustering result of action 6 (sign 1)

くなっている。特に矢印 1（中央後方）は 80 ステップ辺りから右と左の頻度が拮抗している。これらの結果から、

次に、action6 と action5 の平均値の差を Figure11 に示

全体的には出口の幅が広い左側へ誘導するのが良いが、す。これは、矢印 1 の右向きから左向きを引いたことに後半には逆に右側への誘導も有効となり、試行 1 のよう相当する。プラスの個所が矢印を右向きにした時に人がな一様な結果ではないことがわかる。

多く居た場所、マイナスの個所が矢印を左向きにした時

次に、どのような状態になった時に矢印を右向きもしに人が多く居た場所になる。Figure9 から、矢印 1 では後

くは左向きにするのが良いかの分析を試みた。まず、人半に左向きと右向きが拮抗するが、Figure11 の No.2 から、の状態を K-mean 法で 4 つに分類し、action ごとに分類さ後半には左上に人が多い場合には右向き、右下に人が多れた各クラスの状態の平均値を計算した。Figure10 にい場合には左向きになっていることがわかる。

action6（矢印 1 を右向き）の結果を示す。各クラスは、

↑(左)
↓(右)

Figure 8. Sign operation history example

Figure 11. Pattern analysis
4.4. 限定された情報による学習
2 章でも述べたように人の流れをセンシングする技術
は近年急激に進歩しているが、それでもすべての人の動きを把握できるようになるには時間がかかるものと思われる。そこで、試行 2 で一部の人の動きしか把握できないとした場合の影響を検討した。
検討ケースは、試行空間の中で、出口に近い方からそFigure 9. Frequency history of direction of signs

論文 R75

れぞれ 2/3, 1/2, 1/3 の範囲の人の動きだけを把握できる－ 170 －

ものと設定した。Figure12 に、各ケースで 1000 回の試行が現実の人の動きを忠実に反映していることが必要であをした場合の各ステップでの出口に到達した人数の平均る。また、実際に誘導が可能となるためには誘導の際の値を示す。最終の 150 ステップで見ると、把握できる範人の流れを正確に把握している必要があり、それには計囲が広いほど、出口に到達できる人が多くなっている。

測技術の進歩が必要である。しかし、本研究で示した、等分散を仮定しない 2 標本 t 検定であるウェルチ検定でシミュレーションと学習結果により誘導方法の知見を取

各平均値の差の検定を行った結果、最終ステップの平均

り出す技術を発展させれば、リアルタイムの誘導が現時

値は最も範囲の狭い 1/3 でさえ、no action に比べて有意点では難しくとも、実際の誘導に応用することは可能でに大きかった。さらに、2/3 の場合にはすべてを把握してあり、今後ともこのような技術を高度化していきたい。

いる場合とほとんど差がなかった。ただし、1/3 の場合にまた、シミュレーションが単純で人命を扱う避難誘導をは逆に 108 ステップまでは誘導しない場合よりも出口に行えるレベルではないため本研究では退出誘導としてい到達できる人が減少した。これは、前半ステップでは多るが、将来的には避難誘導にも展開していきたい。

くの人が 1/3 の範囲外に居るためと思われる。
謝辞
竹中工務店技術研究所の鈴木琢也氏、東城峻樹氏には論文執筆に当たりご助言頂きました。記して感謝致します

Figure 12. Effect of partial observation
5. おわりに
群衆誘導への深層強化学習の適用性を確認するため、
28×29 の空間と方向を自由に切り替えられる矢印表示
装置を使った誘導を試行した。人の初期配置を偏らせた
正解が既知の単純な試行 1 では、DQN を用いた誘導結果
が、正解である常に左向き矢印による試行と同様の結果となり、誘導が可能であることがわかった。次に人の初期配置が偏っておらず矢印を単純にどちらかに向ければ良い訳ではない試行 2 では、DQN を用いた誘導はうまくゆかず、代わりに A3C を用いた結果、統計的にも有意な誘導ができた。ただし、時々刻々と方向が変わる矢印に人がどのように反応するかと言う課題はある。また、今回の方向切替えはそれ程頻繁ではなかったが、頻繁な切替えを防ぐためにはペナルティ項の導入も検討したい。
さらに、深層強化学習の結果獲得した矢印操作について分析した結果、全体としては出口の幅の広い左側への誘導の頻度が多いものの、後半からは右側への誘導も見られ、どのような人の配置状況の場合に矢印を右向きとするのかという知見も得られた。
本研究では基礎的な検討のため 28×29 と言う小さな空間で試行を行った。それでも学習には日単位の時間がかかり、適用が期待される数千人、数万人規模の学習には何らかの工夫が必要である。また、シミュレーション

論文 R75［参考文献］
1） 大西正輝ほか:カメラによる人流計測とシミュレーションによる人流予測に基づく人流解析に関する研究動向について,
知能と情報, Vol.28, No.6, pp.187-193, 20162） 杉浦啓太ほか:最適配置問題とエージェントシミュレーショ
ンを利用する建物内の最適誘導法の研究,システム制御情報学会論文誌,Vol.28, No.5, pp.213-220, 2015.
3） 中島悠ほか： マルチエージェントシミュレーションを用いた 避 難 誘 導 実 験 の 拡 張 ,情 報 処 理 学 会 論 文 誌 , Vol.49, No.6,
pp.1954-1961, 2008.6
4） Silver, D. et al.: Mastering the Game of Go with Deep Neural
Networks and Tree Search, Nature 529, pp.445-446, 2016.
5） 伊藤毅志：ディープラーニングを用いたコンピュータ囲碁～
AlphaGo の技術と展望～, 情報処理 Vol.57,No.4, 2016.4
6） 村上陽平ほか: インタラクション設計に基づくマルチエージェントシミュレーション,人工知能学会論文誌, Vol.18, No.5E,
pp.278-285,2003
7） 小林重信：特集「強化学習」にあたって、人工知能学会誌、
Vol.12, No.6, p.810, 1997,Nov.
8） Sutton,
R.:
Reinforcement
Learning
FAQ,
http://
incompleteideas.net/RL-FAQ.html, (accessed 2019-06-20)
9） Mnih, V. et al.: Playing Atari with Deep Reinforcement Learning,
Deep Learning Workshop NIPS 2013, 201310） Sutton, R. S.: Learning to Predict by the Methods of Temporal
Difference, Machine Learning 3, pp.9-44, 1988.
11） Watkins, C.J.C.H. et al.: Q-Learning, Machine Learning, 8, pp.279292, 1992
12） Williams,R.J.: Simple statistical gradient-following algorithms forconnectionist reinforcement learning, Machine Learning, 8, pp.229256, 199213） Mnih, V. et al.: Asynchronous Methods for Deep Reinforcement
Learning, Proc. of the 33 rd int. conf. on Machine Learning, NY,
USA, 2016. JMLR: W&CP volume 48.
14） Wang, Z. et al.: Dueling Network Architecture for Deep
Reinforcement Learning, eprint arXiv:1511.06581, 2015.11
15） 柳澤大地,西成活裕: 群衆運動のセルオートマトンモデル, 情報処理, Vol.58, No.7, pp.570-573, 2017.7
16） Google: TensorFlow, https://www.tensorflow.org, (accessed 201906-20).
17） Apache Software Foundation: Apache MXNet (Incubating),
https://mxnet.incubator.apache.org/, (accessed 2019-06-20)－ 171 －