日本オペレーションズ・リサーチ学会
2021年 秋季研究発表会

2-D-7

透過型平均場ゲームにおける大規模な群衆のランダムな動き
01307080

1.

早稲田大学

豊泉洋

はじめに他のプレイヤーを観測できる透過型平均場ゲー
ムを用いて、大規模な群衆の動きが、少数の種になるプレイヤーの動きに依存する確率的な平均場として現れることを示す。
動物や人間の社会行動において、周囲の個体と相互作用を起こしながら全体として動く、群衆の動きはさまざまな場面でその性質が研究されている [1, 2, 3, 4]。一方、多数の独立で理性的なプレイヤーが参加するゲームの解析に平均場ゲームが提案され、その解析手法は金融工学などの分野に多数応用されている [5, 6, 7]。
ここでは、従来の平均場ゲームでの大数の法則に基づく決定的な平均場とは異なり、プレイヤーがゲーム内での相手の行動を観測し自分の行動を変える透過型ゲーム [8] では、Polya の壺のように少数の種になるプレイヤーの動きに応じてランダムな平均場となる均衡状態が生じることを、後退型の Hamilton-Jacobi-Bellman 方程式と前進型の輸送方程式がカップリングした連立方程式を具体的に解くことで示す。

2.

透過型協調ゲームと Polya の壺

2 状態 Q = {0, 1} 上での多数のプレイヤー
X−n , . . . , X−1 , X0 の協調ゲームを考える。以下ではプレイヤーとその状態は同一視し、例えば X0 はQ に値をとる確率変数と考える。プレイヤー X0は、ランダムに選ばれたプレイヤー Y とゲームを行い、F = F (X0 , Y ) = 1{X0 =Y } に従う報酬を得る。
透過型ゲームでは、相手のプレイヤー Y の状態が見えるため、X0 の最適条件戦略はミラー戦略
π0 (Y ) = δY となる。ここで δx はディラック測度とする。時刻 −n に種となる b + r 人のプレイヤーが (r/(b + r))δ0 + (b/(b + r))δ1 のように Q 上に分布しゲームが始まり、ミラー戦略に従うプレイヤーが次々と加わり累積すると考え、n → ∞ とすると、確率変数列 . . . , X−n , . . . , X−1 , X0 は、Polyaの壺 [9, 10] からランダムに抜き出されたボールとTOYOIZUMI Hiroshi

同じ性質を持つ。その時刻 0 での平均場

1∑
δX−i (t)M = limn→∞ nni=1

は、遠い過去を示すランダムな末尾事象 (tail event)であり、ベータ分布（M (1) = 1 − M (2) ∼ β(b, r)）を持つ。また、(X−n , . . . , X−1 , X0 ) は、入れかえ可能な事象 (exchangeable event) であり、その意
味でこの群衆内の各プレイヤーは匿名性を持つ。

3.

時間発展のある透過型平均場ゲーム

前節で見たような形で初期プレイヤーが既に時刻 0 で無数に累積していたと仮定し、その後、プレイヤーが引き続き透過型協調ゲームを行うことを考える。プレイヤー X0 (t) は、レート 1 のPoisson 時計 N0 (t) に従う行動時刻に透過型協調ゲームを行う。X0 (t) はスイッチングコスト α を支払い、状態を変化できる。その瞬間ペイオフはF = 1{X0 (t)=Y (t)} − α|dX0 (t)| となる。ここで、プレイヤー Y (t) は、無限のプレイヤーからなる平均場

1∑
δX−i (t)n→∞ nnM (t) = lim

i=1からランダムに選ばれ、X0 (t) は Y (t) を観測した
上で、π0 = π0 (t, x, y) = P (X0 (t) ∈ ·|X0 (t−) =x, Y (t) = y) という条件戦略に従って状態を変化させる。この条件戦略は、割引率 β を考慮した条件付き期待累積利得[∫ ∞U (t, x) = Ee−β(s−t) F dN0 (s)t|X0 (t) = x, M (s), s ≥ t] ,を最大化するように選択する。
他のプレイヤーも同様に最適化された戦略をとると考えると、この問題は、最適戦略 π0 = π0 (t, x, y)、ランダムな価値関数 U = U (t, x)、ランダムな平均場 M = M (t) で以下の Hamilton-Jacobi-Bellman
方程式と輸送方程式を同時に満たすものを見つけることに帰着される。
∫π0 ∈ argmax
π∈P(Q)−x′ ∈Q

参考文献{F + U (t, x′ ) − U (t, x)}π(dx′ ),dU (t, x)+ βU (t, x)∫ dt{F + U (t, x′ ) − U (t, x)} π0 (dx′ )dM (y),=Q2dM (t)=dt∫
π0 M (t, dx)M (t, dy) − M (t),Q2lim U (t, x) = U∞ (x), M (0) = M0 ,t→∞(1)

[1] A. Okubo, “Dynamical aspects of animalgrouping: Swarms, schools, ﬂocks, andherds,” Advances in Biophysics, vol. 22,
pp. 1–94, 1986.
[2] L. Zhao, G. Yang, W. Wang, Y. Chen, J. P.
Huang, H. Ohashi, and H. E. Stanley, “Herdbehavior in a complex adaptive system,”
Proceedings of the National Academy of Sciences, vol. 108, p. 15058, 09 2011.

ここで、終期値 U∞ (x) は次の定常状態方程式を満たす。

[3] A. V. Banerjee, “A simple model of herd behavior,” The quarterly journal of economics,∫vol. 107, no. 3, pp. 797–817, 1992.
βU∞ (x) ={F + U∞ (x′ ) − U∞ (x)} π0 (dx′ )M (∞, dy).
Q2[4] D. S. Scharfstein and J. C. Stein, “Herd behavior and investment,” The American Economic Review, vol. 80, no. 3, pp. 465–479,
また、初期値 M0 は、前節で得られたベータ分布
1990.
に従うランダムな平均場である。

4.

ランダムな平均場解による群衆の行動

時間発展のある透過型平均場ゲームでは、他の群衆の動きによって将来得られる利得を考えて、今ミラー戦略を取るのが得策ではないケースも考えられ、プレイヤーはより戦略的な思考が望まれる。
以下では、α ≤ (1 + β)/(2 + β) であり、スイッチングコストが十分小さい場合を考える。この場合には、最適戦略はミラー戦略

π0 = π0 (t, x, y) = δy ,であり、その平均場は M (t) ≡ M0 となり、群衆のランダムな平均場が出現する。またこの場合の1−α(1−M0 (x))
価値関数は U (t, x) ≡ U∞ (x) =+1+β
1 1−2αM0 (1)M0 (0)となる。実際にこの解を (1) に1+ββ代入すると、α ≤ (1 + β)/(2 + β) ならば、ミラー戦略を行う平均場に対する最適反応がミラー戦略であり、均衡することがわかる。
また、通常の平均場ゲームでは、π0 = δ1（相手プレイヤーの戦略によらず、全員必ず状態１を選択する）はナッシュ均衡だが、時間発展のある透過型平均場ゲームでは、プレイヤーの行動時刻に遅れが生じ、状態 0 に留まるプレイヤーがいるため、π0 = δ1 は自身の最適反応にはならない。

[5] J.-M. Lasry and P.-L. Lions, “Mean ﬁeldgames,” Japanese journal of mathematics,
vol. 2, no. 1, pp. 229–260, 2007.
[6] P. Cardaliaguet, “Notes on mean ﬁeldgames.” from P.-L. Lions’ lectures atColl‘ege de France, 2010.
[7] P. E. Caines, M. Huang, and R. P. Malhamé,“Mean ﬁeld games.,” in Handbook of Dynamic Game Theory, pp. 706–712, Springer
International Publishing, 2018.
[8] A. M. Unakafov, T. Schultze, A. Gail,
S. Moeller, I. Kagan, S. Eule, and F. Wolf,“Emergence and suppression of cooperationby action visibility in transparent games,”
PLoS computational biology, vol. 16, no. 1,p. e1007588, 2020.
[9] D. J. Aldous, “Exchangeability and related topics,” in École d’Été de Probabilités de Saint-Flour XIII—1983, pp. 1–198, Springer, 1985.
[10] R. Durrett, Probability: theory and examples. Cambridge university press, 2019.