リレー・エッセイ「私 の 研究・教育実践」

大学・研究・社会に関する興味深いテーマを取り上げ、多くの方がリレーで参加して様々な考えや意見を述べるコーナーです。

私の 研究 について

府内直樹 Naoki Funai
滋賀大学 経済学部 / 教授

私はこれまで人々がゲーム（各人の選択 が自身の利

ここで、以下のナッシュ均衡に関する別の考え方を得だけではなく、相手の利得に影響を与える状況）や紹介します：意思決定者 が 繰り返し同じゲームに直不確実性をともなう個人の意思決定問題に繰り返し面し、試行錯誤 の結果、最終的にはナッシュ均衡に直面し、過去 の経験 から学習した結果、人々の行動従って行動 する。上記 の歩行者 のゲームの 例においが長期的にある均衡に収束するかどうかを理論的にては、歩行者がぶつかりそうになったり、問題なくすれ分析してきました。

違ったりということを何回も経験 すれば、最終的に各例えば、歩行者 2人が狭い通りですれ違う際に、右人が右（もしくは各人が左）に避けるようになることにに避けるか左に避けるかの意思決定をしなければい対応します。私はこちらの考え方に注目し、学習者 がけない状況を考えてみます（もちろん、もっと一般的なゲームを繰り返し経験し学習した結果、最終的にナッゲームを研究では対象にしています）。お互いが各人シュ均衡（や質的応答均衡, McKelvey and Palfrey,から見て同じ方向を選 んで問題なくすれ違う方が、お1995）に従って行動するかどうか、収束するのであれ互いが別の方向を選 んでぶつかりそうになるよりも好ばその条件を理論的に考察しています。

ましいとします。

特に、私が研究対象としている適応学習理論では、経済学では、このようなゲームにおける人々の行動自分 の選択肢に関する知識を持ち、プレイ後に利得をナッシュ 均衡を用いて予測します。上記 の 歩行者を観測でき、自己の過去 の経験 から最も良い結果をのゲームにおいては、お互いに右に避けるのが一つのもたらした選択肢を近視眼的に（最も高い確率で）選ナッシュ均衡であり、お互いが左に避けるのがもう一択するという比較的シンプルな条件 のみを意思決定つのナッシュ均衡となります（混合ナッシュ均衡もあり者に求めています。つまり、最初のナッシュ均衡の 解ますが、以後の議論では無視します）。

釈のように、相手がどのような相手なのか、相手がどのナッシュ均衡 が人々の 行動予測として使用されるような選択肢を持っているのか、相手が同じような学

根拠 の 一 つは、ナッシュ均衡に関する以下の考え方習者なのかなどに関する知識を要求していません。学です：人々がゲームを完全に理解し（自分 や相手 の習者 は繰り返し同じゲームを経験をした結果、最終選択肢や利得、相手が何を知っているかなど）、合理的にあたかもゲームを完全に理解し、合理性を持ち、性を持ち、相手の行動に対し正しい推論を行えば、一正しい 推論 ができるかのように振る舞うようになるの発でナッシュ均衡が実現する。つまり、上記の例におです。

いては、実際にすれ違う前に、人々がゲームに関するさて、学習者 の学習や行動基準をモデル化し、理知識、合理性をもとに正しく推論した結果、一発で皆論的に分析 するのですが、どのようにモデル化するとが右に避ける（もしくは皆が左に避ける）ことが実現す良いでしょうか。人々のゲームや 個人意思決定問題るというわけです。もちろん、重要な意思決定問題なでの学習に関しては、心理学や実験経済学で様々などでは上記 のように推論し意思決定を行うと思いま研究 が 行 われています。特 に、実験経済学 では、どすが、ゲームは歩行者の問題も含め多々存在し、全てのような 学習モデル がもっとも実際 の人々 の 行動のゲームにおいて熟考するのは思考コストがかかりまを 予測 できるかを 考察します。例えば、ErevとRothす。また、講義で経済実験を行いますが、正しくゲー（1995, 1998）は実験 で観察されたデータを心理学ムを理解し、正しく相手 の行動を推論してナッシュ均のThorndike（1898）などの 知見を生かした強化学衡を一発でプレイすることは難しそうです。

習モデルで説明しようとし、CamererとHo (1999)は050

彦根論叢

Summer / July 2023 / No.436

ErevとRothの 強化学習モデル やBrown（1951）やFudenberg とKreps（1993）の仮想プレイ学習などを含むexperience-weighted attraction（EWA）学習

選択肢の利得も含める）の加重和を採用しています。

モデルでデータを説明しようとしています。一般的に、

重和 は、ある科目の 悪 い成績 がGPAを下げることがErevとRothは正の利得を仮定しているので、利得 の総和は経験 すればするほど上昇しますが、利得 の加実験経済学では心理学などの知見を生かしたモデルあるように、経験した利得に応じて下がることがありが 提唱され、観察されたデータをベースに、各モデルます。一方、選択 ルールに関しては、ErevとRothなどのパラメーターの推定などが行われます。

ではLuceの 線形選択 ルール、EWA学習モデルや仮一方、私の 研究では、実験経済学 などで提唱された 学習モデルの理論的考察 を行 います。特 に、既存想プレイ学習などでは、Logit 選択 ルールが採用されています。の均衡に収束するかどうか、また多々存在する学習モ

この選択 ルールと更新ルールの選択に関しては注

デルの共通点を模索しています。例えば、Funai（2019）

意 が 必要 です。私 の2013 年、2019 年、2022年 の 論

では、EWA学習モデルなど、様々な学習過程を包括（やその正確性、どれくらいランダム文は、選択 ルール

する適応学習過程 が 質的応答均衡に収束する条件性が強いか）、更新ルール（ルール自体、更新時に使を示し、Funai（2022）では、ErevとRothの強化学習用する利得情報の種類など）の各要素に関して、どれにおいて、既存 の文献で考察されなかった各学習者を選択するかで意思決定者の長期的な行動が異なるが 選 ばれなかった他 の 選択肢の 利得情報を得られことを示しています。例えば、（i）評価が過去の利得のる状況（EWA学習では考察されているが、理論的分総和、（ii）他の選択肢の利得を確認できず、（iii）選析は無し）を考察し、強化学習者の行動がナッシュ均択にランダム性がない場合は、最初に選ばれた（最適衡や質的応答均衡に収束する条件を示しました。

でない可能性のある）選択肢が選ばれ続けます（評価私 が 研究対象としている学習モデルはEWA学習がさらに上がるので）。ここで、評価を加重和に変える

モデルなどと同じく、主に選択 ルールと更新ルールかと、相対的に悪い利得を生み出す選択肢の評価は下ら特徴 づけられます。まず、各意思決定者 は自分 のがることがあるので、他 の 選択肢 が 選 ばれる可能性

選択肢を評価（ どれくらい利得が得られるか）し、そがあります。一方、（i）評価が利得の加重和、（ii）他のの評価をベースに意思決定を行います。その際、選択選択肢の利得を確認でき、（iii）評価の差に応じて選ルールは各選択肢の評価をもとに各選択肢をどのよ択にランダム性が 発生する場合 は、長期的な評価のうな確率で選 ぶかを示すもの、更新ルールはどのよう差に応じ、選択にランダム性が残ります（GPAなどのな利得情報を使って、選択肢の評価をどのように更新加重和の差は無限大にならないので、悪い選択肢もするかを示 すものです。更新ルールに関しては、Erev

ある程度選ばれる）。一方、評価を過去の利得の総和とRothはThorndike（1989）の 提唱した 性質、「過にする場合、一番良い選択肢とその 他の選択肢の評

去 により良い 結果 をもたらした選択肢 がまた選 ばれ価の 差がどんどん大きくなるので、長期的にランダムる可能性が高くなる」をもとに、評価に対応する「過去性が小さくなります（ほぼ最適な選択肢が選ばれる）。の結果」を表すものとして、過去 の利得（選ばれた選つまり、最適な選択肢が最終的に（ほぼ 確実に）選ば択肢からの利得のみ）の総和を採用し、一方、Brownれるかどうかは評価の形式だけに注目してもわからな（1951）やFudenberg とKreps（1993）の仮想プレイ

いということです。これをゲームの文脈で言い換えると、モデルなどでは、過去 の利得（選 ばれていない 他 の（ ランダム性のない） ナッシュ均衡に収束するかどう

051

かは各要素のみに注目してもわからないことを示すこという慣習を知らない 新規移住者 が 他 の 新規移住とができます。例えば、データから意思決定者は選 ば者だけでなく、慣習に従っている既存住人と交流するれた選択肢 からの利得しか注目しないと判断されて可能性がある場合、最終的に既存 の慣習通りに行動も、他の要素（どのように評価を更新するか、どれくらする条件は何か、また、新規移住者間で異なる慣習をい選択に関してランダム性が強いかなど）についても形成し、既存住人とのミスコーディネーションを引き注目しないと、最終的に意思決定者の行動がナッシュ起こす条件は何かを理論的に分析しています。

均衡に対応するかどうかは判断できないということです。

（i）学習者 が対戦相手を選択できるケー
今後は、スや（ii）有限繰り返しゲームでの学習の理論的分析

次に、私 が現在行なっている研究の紹介をします。 （Funai, 2021a）を行いたいと考えています。また留学
ここまで紹介した研究を含め、一般的な学習理論にや帰国後に知り合ったゲーム理論家、実験経済学者

おいては、同質な学習者同士がゲームをプレイし、同や数学者との共同研究なども視野に入れ、研究テーじように学習を行うケースを考察しています。しかし、マを広げていきたいと思っています。

同質 な学習者同士 のみがゲームをプレイして学習するというケースは稀ではないのかという疑問をもち、私の実体験と照らし合わせて考えてみました。私が海外のある地方に移住した際に、誰 かに教育を受けたわ
けではありませんが、狭い通りで人とすれ違う時に、いつの間にか右に避けるようになりました。一方、帰国後

参考文献
⦿Brown, G. W., 1951. Iterative solutions of games by

fictitious play, In Activity Analysis of Production andAllocation, T. C. Koopmans (Ed.), New York: Wiley.
⦿Camerer, C., Ho, T. H., 1999. Experience-weightedに同じような状況に直面することがありましたが、うまattraction learning in normal form games. Econometrica
67, 827–874.

くすれ違うことができないことが多々ありました（学生⦿Erev, I., Roth, A. E., 1998. Predicting how people playに質問してみると、状況に応じて右に避けたり、左に避けたりするようです）。なぜ私は意識 せずに海外で右に避けるようなったのか、日本ではなぜそれが起きないのかに疑問を持ちました。一 つの原因として、私のような新規移住者 だけでなく、右に避けるという慣習に従い続ける既存住人の存在が大きいのではないかと感じました。歩行者の例で言えば、既存住人が右に避ける慣習に従い、学習をしていない人が多ければ、私のような新規移住者も最終的に 右に避けるようになり、右に避けるという慣習が維持されるのではないかと考えました。

games: reinforcement learning in experimental games
w it h u n ique m i xed strateg y equ i l ibr ia . Ame r i c a nEconomic Review 88, 848–881.
⦿Fudenberg, D., Kreps, D. K., 1993. Learning mixed Nashequilibria, Games and Economic Behavior 5, 320–367
⦿F u n a i , N . , 2 013 . A n a d a p t i ve l e a r n i n g mo d e l i ncoordination games. Games 4, 648–669.
⦿Funa i, N., 2014. A n adaptive learning model w ith

foregone payoff information. B.E. Journal of Theoretical
Economics 14, 149–176.
⦿Funai, N., 2019. Convergence resu lts on stochastic

adaptive learning. Economic Theory 68, 907–934.

現在取り 組 んでいる 研究（Funai, 2021b）では、ゲームにおける学習において、既存住人の 慣習が 新規移住者 の学習にどのように影響を与えるかを理論的に考察しています。例えば、私のような、右に避ける052

⦿F u n a i , N . , 2 02 1a . A d a p t i ve l e a r n i n g i n f i n it e l yrepeated g a mes . Ava i lable at S SR N: ht t ps://ssr n .
com/abstract=3830132 or http://d x.doi.org/10.2139/
ssrn.3830132

彦根論叢

Summer / July 2023 / No.436

⦿F u n a i , N . , 2 02 1b . S t o c h a s t i c a d a p t i v e l e a r n i n gwith committed players in ga mes with strict Na shequ i l ibr ia . Ava i la ble at S SR N: ht t ps://ssr n .com/
a b s t ra c t =394 434 2 or ht t p://d x . doi . or g /10.2139/
ssrn.3944342
⦿Funai, N., 2022. Reinforcement learning with foregone

payoff information in normal form games, Journal ofEconomic Behavior and Organization 200, 638–660.
⦿Mckelve y, R ., Pa l f re y, T., 1995. Q ua nta l response

equilibria for normal form games, Games and EconomicBehavior 10, 6–38.
⦿Roth, A. E., Erev, I., 1995. Learning in extensive-form

games: experimental data and simple dynamic models in
the intermediate term. Games and Economic Behavior 8,164–212.
⦿T hor nd i ke , E . L . , 1898. A n i ma l i nt e l l i g enc e: a nexperimenta l study of the a ssociative processes inanimals. Psychological Monographs, 2, 8.

リレー・エッセイ「私の研究・教育実践」

053