2022年度日本認知科学会第39回大会

OS05-2A

好奇心のモデルにおけるアルゴリズム水準と実装水準の接続

Connecting Algorithmic and Implementation Levels inCuriosity Models
長島 一真 † ，森田 純哉 † ，竹内 勇剛 †Kazuma Nagashima, Junya Morita & Yugo Takeuchi†

１ 静岡大学

Shizuoka University
nagashima.kazuma.16@shizuoka.ac.jp, j-morita@inf.shizuoka.ac.jp, takeuchi@inf.shizuoka.ac.jp

概要た事項も含まれる，そのため，個々の認知モデルの研究において，階層間のつながりは必ずしも明確にされMarr によれば個々の認知モデルは複数の水準からてこなかった．

なる階層に位置づけられる．同一の対象に対して，複こう言った問題意識に基づき，著者らはこれまで，数の階層のモデルを統合することで，対象の総合的な理解が導かれる．そこで本研究では，好奇心を対象好奇心の認知モデルにおいて，アルゴリズム水準 [14]た．下層の実装水準のモデルとして深層強化学習，中究では，その発展として，好奇心のモデルにおけるアを選択した．その結果，これらのモデル間で整合する接続することで物理的な信号を直接入力とする深層学と計算論水準を接続する研究 [15] を行ってきた．本研とした複数の階層のモデルを比較検討する研究を行っルゴリズム水準と実装水準の接続を目指す．これらを層のアルゴリズム水準のモデルとして ACT-R モデル

習のモデルに透過性の高いアルゴリズム水準の説明を特徴が現れた．

付与できると考えた．

キーワード：認知モデル, ACT-R, 内発的動機づけ,好奇心, 深層強化学習

1.

2.

背景

関連研究

本研究は，好奇心の認知モデルのアルゴリズム水準

人間の活動は，金銭などの外部から与えられる報酬と実装水準の接続を目指すものである．この目的と関

後者は内発的動機づけと呼ばれ，前者に対して，持続論と実装水準の関係，(2) ACT-R の好奇心のモデルに内発的動機づけの一種である好奇心に着目した機械学た研究を紹介する．と，意欲などの内的に生じる報酬によって駆動される．
的で高い水準の学習に寄与するとされる．近年では，習の研究が注目されている [1]．また，人間の脳内で生じるプロセスを対象とした認知モデルの研究においても好奇心の数理的な原理が探らている．

連した研究として，(1) 好奇心のモデルにおける計算おけるアルゴリズム水準と計算論水準間の接続を行っ

2.1

こういった人間の認知機能に関わるモデルを整理する際に，Marr の 3 水準は有効である [8]．Marr は，モ好奇心のモデルにおける計算論と実装水準の関係

近年，好奇心を対象とした認知モデルにおいて，計デルは数理によって表現される計算論水準（計算の目算論水準と実装水準の接続が進展している．好奇心のなどで表現されるアルゴリズム水準（計算理論をどのフリーエナジー原理 [4] を挙げることができる．この標は何か ，なぜそれが適切か），認知アーキテクチャ

計算論水準のモデルの代表例として，Friston によるようにして実現するのか），そしてハードウェアなど理論は，生体の計算の目標を長期的な予測誤差（予測の実装水準（アルゴリズム水準がどのようにして物理と観察の不一致）の減少と捉える，そして，好奇心の的に実現されるのか）に区別できると主張した．これきっかけとなる驚きや興味，「楽しさ」などの感情が，らのモデルは，互いが互いの制約条件になるなど階層予測誤差によって引き起こされ，学習を駆動するとさ的1 に関連している．しかし，各水準を表現するモデ

れる，ルの候補は広範囲にわたり，さらに各水準には独立し好奇心の源泉となる「楽しさ」に関しては複数の研究者が，環境における新規なパターンの発見と関連

1 計算論水準は上層，アルゴリズム水準は中層，実装水準は下層することを述べている [3, 5, 6, 12]．このような考えとなっている．

108

2022年度日本認知科学会第39回大会

OS05-2A

方を，Schmidhuber[12] は，より形式的な数理表現に奇心 [7] の認知モデルを構築した．著者らのモデルにデータの中で反復される定型的なパターンを発見し，な好奇心の説明から発展するものである．数理的に落とし込んだ．彼の理論において，パターンの発見はおけるアルゴリズムの表現は，2.1 節で述べた数理的圧縮することと定義される．そして，データを圧縮すは，好奇心は外界の認識と経験から得られる予測とのること，あるいは圧縮可能なデータを取得することを差分によって生じる．この予測からの差分が驚き（好「楽しさ」の表現とした．さらに，そのような「楽し奇心）を生じさせ，そのうちの一部は，「楽しさ」などさ」の表現を，強化学習における環境からの報酬としの感情的反応を引き起こす．そしてその「楽しさ」はて定式化した．

新しいパターンを発見することと説明される [6, 12]．

こういった計算論的な好奇心の定式化は，近年，盛新たなパターンの発見をアルゴリズムとして記述すんに研究される深層強化学習エージェントに取り入れるために，著者らの研究では，ACT-R のパターンマッられている [2, 10, 11]．その中でも Pathak は，ICMチングを利用した．研究において開発したモデルは，た．ICM は，画面上のピクセル情報から得られるエー

マッチングが発生するとモデルは課題を継続する動機(Intrinsic Curiosity Module [11]) という手法を提案し迷路の継続課題を行うものである．課題中にパターンジェントの次状態との予測誤差を好奇心とし，それ（報酬）を獲得する．さらに，ACT-R における手続きの研究において，Pathak は ICM と深層強化学習 [10]よるパターンマッチの機会の減少（ルールと知識の圧をエージェントに内部報酬とし与える手法である．こ学習（コンパイル）は，経験を重ねることよることにの一種である A3C (Asynchronous Actor Critic [9])縮）を導く．著者らのモデルはこの学習のプロセスをのモデルとの統合を行った．A3C は，Advantage（複数ステップ先まで動かして更新），Actor-Critic[13]，Asynchronous（非同期）の特徴を持つ．

含めることで，モデルの「楽しさ」を感じる頻度の減衰により，飽きのプロセスを表現した．

1 章で述べたように，Marr によれば，計算論水準は深層強化学習は，エージェントを物理空間に近似しアルゴリズム水準に目標を与え，アルゴリズム水準は高いパフォーマンスを発揮する．そのため，筆者らは研究は，計算論水準における予測誤差の減少という目た環境に接地し，その環境の条件下のタスクにおいて計算論水準にその実現方法を与える．上記の著者らの深層強化学習モデルを実装水準のモデルと位置付け，計算論水準と実装水準との接続についてはすでに高水準でなされていると考える．しかし，深層強化学習におけるモデルの実装は end-to-end に行われるため，モデルの内部の処理（アルゴリズム）が明確とは言い難い．

2.2

標を，パターンマッチングとコンパイルという具体的な手続きによって実現する．ただし，ACT-R によって構築されたアルゴリズム水準のモデルは，課題ごとに多数のルールを持つため表現が複雑なものとなる．そのため，アルゴリズム水準のモデルを抽象化し，計算論的な表現へ変換する仕組みを構築する必要がある．

これを達成するために，筆者らは，ACT-R によって構築されたモデルが出力する行動から，ベイジアン

ACT-R の好奇心のモデルにおけるアルゴリズム水準と計算論水準間の接続ネットワークによる数理的な因果関係のモデルを再構築する手法を考案した [15]．この手法により，好奇心の数理モデルから発展した ACT-R の好奇心のモデル

前節の深層強化学習エージェントの研究では，計算を，数理的な表現に変換することが可能になった．著

論水準と実装水準のモデルが直接的に接続される．し者らの過去の研究において，ベイジアンネットワークかし，その間に位置するアルゴリズム水準のモデルとの接続が不足しているため，エージェントの内部処理に透明性があるとは言い難い．これらの研究に対し，認知アーキテクチャを用いることで透明性のあるアルゴリズム水準のモデルとの接続が実現できる．に変換された数理表現と予測誤差に関する好奇心の数

理モデル [4] との対応が検討されているわけではない．
しかし，アルゴリズムによって生成される複雑な振る舞いを簡潔な表現に置き換えることで，モデルの数理解析が可能になり，従来の数理モデルとの対応を議論

筆者らは認知アーキテクチャの 1 つである ACT-Rする足がかりが構築されたといえる．

を用いてアルゴリズム水準の好奇心のモデルの研究を行ってきた [14]．この研究では，ACT-R のシンボリッ
クプロセス2 を用いて内発的動機づけの一種である好2 ACT-R は記号操作を行うシンボリックプロセスを持つ．本研
究では，記号操作を行いモデルを説明する過程をアルゴリズムとみなした．

109

2022年度日本認知科学会第39回大会

OS05-2Aモデルとシミュレーション

3.

内部報酬は先行研究 [11] に従い，前節で示した著者らの先行研究 [15] より，アルゴリズム水準のモデルと計算論水準のモデルを接続する足

rti =2ηφ̂ (st+1 ) − φ (st+1 )22(3)がかりが構築された．これに対し，好奇心のアルゴリとして決定される．

する検討はなされていない．Marr による 3 水準間をとして定義される．本研究では，迷路の状況（プレイリズム水準と実装水準の接続が必要である．そのためしたものとした．η は，好奇心の強さとみなせる．本様の課題を行う好奇心の深層強化学習モデル（以降，ために，試験的にこのパラメータの値を 0.1 から 0.9ズム水準のモデルに対応する実装水準のモデルに関状態 s は，深層強化学習において，ピクセルデータ接続する好奇心のモデルを構築するためには，アルゴ

ヤー，壁，道）をグレースケール画像 (42 × 42) に変換に，本研究では，ACT-R の好奇心のモデル [14] と同ICM モデル）を実装する．

3.1

研究では，ACT-R モデル [14] と対応する結果を得るまで 5 段階に変化させた．

モデルは同じ迷路のラウンドを繰り返す．すなわ

ちエージェントがゴールに達した後に，エージェントICM モデル

ICM モデルは Pathak の研究 [11] に従って構築した．

このモデルによって得られる結果と，先行研究 [14] において得られている 2 つの ACT-R モデルの結果を比の位置はスタートに戻される．また，エージェントが100 回の移動（ステップ）の後にもゴールに到達しなかった場合，ゴールの達成によらず，新たなラウンドへ移行する．

較した．本研究で ICM モデルと比較する ACT-R モ

モデルによる迷路の探索は，デルは，深さ優先探索と事例ベース学習を備えた思考水準の高いモデル（以降，DFS+IBL と表記） と，

th < ri × 500 + egs(4)

ランダムに振る舞う思考水準の低いモデル （以降，に適合した際に終了する．th は閾値，egs はノイズをICM モデルが遂行する課題は，先行研究 [14] と同が下回った際に探索が終了する4 ．また，この条件によRandom と表記） である．

様に 30 のグリッド状の迷路（3 段階のサイズ × 10 のらず，すべてのラウンドにおける行動の最大数が 3600バリエーション）の探索である．この迷路を，ICM モステップに達した際にモデルは課題を終了するものと

デルは Actor-Critic における方策 π に従い，スタートした．

からゴールまでの経路を探索する3 ．探索を通して，

rt = rti + rte表す．すなわち，設定された閾値に対して，内部報酬

3.2

(1)

結果と考察

図 1 には，ICM と ACT-R の対応を検討するめに，を最大化する方策が学習される．式より，モデルに付与される報酬は，内部報酬 (ri ) と外部報酬 (re ) の合先行研究 [14] の ACT-R モデルの結果の一部（左とバランスを取りながら環境を探索することになる．

いる．

中央）と 3.1 節に示した ICM モデルの結果を示して計となる．よって，モデルは，異なる 2 種類の報酬の本研究において，外部報酬は，
−1 if 移動に失敗
re = 0if 移動に成功
10 if ゴールに到達

図の縦方向には，各モデルの振る舞いを示す指標が並べられている．課題継続数，課題のゴール達成率，マップを広範囲に探索した際に増加するエントロピー，探索を通して学習される知識の量（プロダクション生(2)成数）が示される．このうち，プロダクション生成数については ACT-R においてのみ計測可能な指標とと定義される．1 回の移動においてモデルは，東西南なっている．いずれのグラフも横軸はモデルに設定さ北のうちのひとつの方角を選択し，迷路の曲角から別れる内部報酬の重み（好奇心の強さ）となっている．の曲角へ状態を遷移させることを試みる．経路の繋がICM と 2 種類の ACT-R を比較すれば，ICM はDFS+IBL ではなく，Random と類似した振る舞いをらない方角を選択した場合，移動の失敗とみなす．また，移動の結果，ゴールに到達した場合は成功した報4 ACT-R の内部報酬と ICM モデルでは内部報酬のスケールが異なるため暫定的に固定値 500 を乗算した．th は 5 とした
5 n の大きさに依存する標準誤差ではなく標準偏差に基づく値を示すことで，データのばらつきの程度を示している．

酬を得た後に，次のラウンドへと移行する．
3 割引率 gamma = 0.99110

2022年度日本認知科学会第39回大会

OS05-2A(a) Number of Rounds(1) DFS+IBL
1011001.05x57x79x9(2) Random
1011001.05105x57x79x9(3) ICM10110015
1.0
5x5
7x7 0.89x90.60.6

5x5
7x7 0.8
9x90.60.40.4

0.4

0.20.20.2

0.00.00.8

0.80.015
5x57x7 0.8
9x90.60.6(c) Entropy(b) Goal Rate

0.8

0.6
5x57x79x9(d) Number of Production

0.460

0.4
51080
60

4040

2020
510

0.4

5x5
7x7
9x980

510

5x5
7x7
9x915
5x5
7x7
9x9

5x5
7x7
9x9

5x57x79x90.25 0.50 0.75

1551015
Values of Intrinsic Rewards (Strength of Curiosity)

図 1 シミュレーション結果．それぞれのグラフのエラーバーは各マップにおいて得られた標準偏差 (ACT-R:n = 1, 000, ICM: n = 100) の平均 (n = 10) に 1/10 を乗じた値を示す5 ．横軸は，好奇心の強度に基づく報酬を表す．

生成したことがわかる．いずれのモデルも内部報酬ののシミュレーションを実施した結果，ICM モデルとしかし，ゴール達成率とエントロピーは，DFS+IBL得られた．この結果から，本研究はアルゴリズム水準重みが大きくなるに従って，課題継続数が増加する．
が内部報報酬の重みに比例して増加させるのに対し，Random と ICM モデルは，内部報酬の重みが大きくなるに従い減少する．すなわち，ICM モデルは ACT-のモデルと実装水準のモデルの比較検討を行い，ICMモデルに関するアルゴリズム的な説明を付与したと考える．

しかし，モデル間の接続は不十分である。本報告

R モデルにおける浅い思考水準と類似した振る舞いを生成するモデルとみなすことができる．

4.

思考水準の低い ACT-R モデルで類似した振る舞いがにおいて実装した ICM モデルには，シミュレーションに関わる内部パラメータを，ACT-R のシミュレーまとめと今後の展望ションにフィッティングできていないという問題があ

本報告では ACT-R のアルゴリズム水準のモデルとる．例えば図 1 の課題継続数は ACT-R モデルが多くICM を用いた実装水準のモデル間の接続を試みた．構ても 10 回前後に対し，ICM モデルの課題継続数は遥築した ICM モデル対し，ACT-R モデルと同様の課題

111

2022年度日本認知科学会第39回大会

OS05-2A

かに多い．この原因は，ICM のモデルの課題継続を[14] 長島一真, 森田純哉, 竹内勇剛. ACT-R による内発的動機づけのモデル化. 人工知能学会論文誌, Vol. 36,
No. 5, pp. AG21–E 1-13, 2021.
[15] 長島一真, 森田純哉, 竹内勇剛. 知的好奇心の計算論
モデルとアルゴリズムモデルの接続：ベイジアンネッ
トワークを用いた ACT-R モデルの分析. No. OS05-4,pp. 825–831. 日本認知科学会第 38 回大会, 2021.

判断する計算において，内部報酬の合計に試験的な値を乗算したためだと思われる．加えて 1 ラウンドのス
テップ数の上限を 100 と設定したが，値が適切であるかの検討が必要である．このような値を調整することで，ACT-R モデルと ICM モデルのさらなる検討が可能になると思われる．

文献[1] Arthur Aubret, Laëtitia Matignon, and Salima Hassas. A survey on intrinsic motivation in reinforcement
learning. arXiv preprint arXiv:1908.06976, 2019.
[2] Yuri Burda, Harri Edwards, Deepak Pathak, AmosStorkey, Trevor Darrell, and Alexei A Efros. Largescale study of curiosity-driven learning.
arXiv
preprint arXiv:1808.04355, 2018.
[3] Roger Caillois. Les Jeux et les Hommes: Le Masqueet la Vertige. Gallimard, Paris, 1958. （邦訳：多田道太郎，塚崎幹夫 訳：遊びと人間，講談社（1990））.
[4] Karl Friston. The free-energy principle: A unified
brain theory? Nature Reviews Neuroscience, Vol. 11,No. 2, pp. 127–138, 2010.
[5] Johan Huizinga. Homo Ludens Versuch einer Bestimmung des Spielelementest der Kultur. Pantheon,Amsterdam, 1939. （邦訳：高橋英夫 訳：ホモ・ルーデンス，中央公論新社（1973））.
[6] Raph Koster. Theory of Fun for Game Design.
O’Reilly Media, Sebastopol, 2013. （邦訳：酒井皇治 訳：「おもしろい」のゲームデザイン―楽しいゲームを作る理論，オライリージャパン（2005））.
[7] Thomas W. Malone. Toward a theory of intrinsicallymotivating instruction. Cognitive Science, Vol. 5,No. 4, pp. 333–369, 1981.
[8] David Marr. Vision: A computational investigation
into the human representation and processing of visual information. 1982.
[9] Volodymyr Mnih, Adria Puigdomenech Badia, Mehdi
Mirza, Alex Graves, Timothy Lillicrap, Tim Harley,David Silver, and Koray Kavukcuoglu. Asynchronousmethods for deep reinforcement learning. In International conference on machine learning, pp. 1928–1937. PMLR, 2016.
[10] Volodymyr Mnih, Koray Kavukcuoglu, David Silver,Andrei A. Rusu, Joel Veness, Marc G. Bellemare,Alex Graves, Martin Riedmiller, Andreas K. Fidjeland, Georg Ostrovski, et al. Human-level control
through deep reinforcement learning. Nature, Vol.
518, No. 7540, pp. 529–533, 2015.
[11] Deepak Pathak, Pulkit Agrawal, Alexei A Efros, andTrevor Darrell. Curiosity-driven exploration by selfsupervised prediction. In International Conference onMachine Learning, pp. 2778–2787. PMLR, 2017.
[12] Jürgen Schmidhuber. Formal theory of creativity,fun, and intrinsic motivation (1990–2010). IEEE
Transactions on Autonomous Mental Development,
Vol. 2, No. 3, pp. 230–247, 2010.
[13] R. S. Sutton and A. G. Barto. Reinforcement Learning: An Introduction. MIT Press, Cambridge, 2 1998.
（邦訳：三上貞芳，皆川雅章 訳：強化学習，森北出版（2000））.

112