2021年度日本認知科学会第38回大会

OS05-4

知的好奇心の計算論モデルとアルゴリズムモデルの接続：ベイジアン
ネットワークを用いた ACT-R モデルの分析

Connecting Computational and Algorithmic Models ofIntellectual Curiosity: Analysis of the ACT-R Model
Using Bayesian Network
長島 一真 † ，森田 純哉 † ，竹内 勇剛 †Kazuma Nagashima, Junya Morita & Yugo Takeuchi†

静岡大学

Shizuoka University
nagashima.kazuma.16@shizuoka.ac.jp, j-morita@inf.shizuoka.ac.jp, takeuchi@inf.shizuoka.ac.jp

概要

準は，計算論の水準に対して実現方法 (how) を与えることができ，計算論の水準はアルゴリズムの水準にMarr によれば認知モデルを表す階層として計算論対して妥当性 (why, what) を付与できると考える．本

とアルゴリズムの水準が区別される．これらの水準報告では，計算論とアルゴリズムの水準間の接続を行

は相互に関連しているが，そのつながりは必ずしもうという目的に向けて，著者らが過去に実装した知的

明確ではない．そこで本研究では，アルゴリズムの水

好奇心の ACT-R モデルを説明するベイジアンネット

準の認知モデルを，計算論の観点から検討し，妥当性

ワークモデルを示す．ACT-R は記号的表現をベースを付与することを目指す．本報告では，知的好奇心のとした情報処理モデルであり，アルゴリズムの水準に

ACT-R モデルの振る舞いを計算論に基づくベイジア

位置づけられる．しかし，その処理には多くのルール

ンネットワークを用いて分析した．その結果，知的好が介在し，計算論の水準に基づく議論が困難である．

奇心の仮説と ACT-R モデル間で整合する特徴が現れ

それを抽象化された数式によって説明することで，複た．

雑な ACT-R モデルの振る舞いを計算論に基づいて議キーワード：認知モデル, ACT-R, 内発的動機づけ,

知的好奇心

論できるようになると考える．

1.

2.

背景

関連研究

本研究は，知的好奇心の計算論の水準のモデルと好奇心は，教育やエンターテイメントなどの，幅広い分野において，取り組む活動に関心を持たせ，そのアルゴリズムの水準のモデルの接続を目指すもので間は幅広い環境を学習することができる．この好奇心

水準の好奇心のモデルの研究，(2) アルゴリズムの水チで行われている [3, 5, 17, 20]．

する．

ある．この目的と関連した研究として，(1) 計算論の活動を継続させる動因となる．好奇心を持つことで人準の ACT-R による知的好奇心のモデルの研究を紹介を応用したモデルの研究は，古くから様々なアプロー
こういった人間の認知機能に関わるモデルを整理する際に，Marr の 3 水準は有効である [12]．これらは，計算理論に基づく好奇心のモデル

数理によって表現される計算論の水準，情報処理・認2.1

水準，そしてハードウェアなどへの実装の水準からなの研究において扱われている．好奇心の計算論モデ

持つが，その関係は弱いとされる．しかし，認知機能挙げることができる．この理論では，好奇心のきっか

知アーキテクチャによって表現されるアルゴリズムの好奇心に関しては，近年，様々な人工エージェント

る．これらの各水準は，相互に制約条件になる関係をルとして，Friston によるフリーエナジーの理論 [5] を理解のために，各水準の独立した事項だけの理解だけけとなる驚きや興味，楽しさなどの感情は，外界の認でなくこの関係を理解する必要があるとされる．

そこで，本研究では，水準間の関係の理解に着目し，計算論の水準とアルゴリズムの水準を接続することを目指す．これらを接続することで，アルゴリズムの水825

識と経験から得られる予測との不一致によって引き起こされると説明されている．この考えを援用し，様々な研究者が，予測誤差の観点から，好奇心に基づく環

2021年度日本認知科学会第38回大会

OS05-4

境学習における自律エージェントの開発を行ってきた

2.2.1[19, 20]．

ACT-R のモデルの概要

本項では，先行研究 [16, 21] において構築した ACT-

その中でも Singh は，好奇心をモデル化した IMRL

R モデルの設計を述べる．具体的なモデルの処理は付録に記載した．

(Intrinsically Motivated Reinforcement Learning) という手法を用いて強化学習エージェントにより広く環
2.1 節にて述べたように，好奇心は外界の認識と経境を探索させる方法を検討した．近年，この考えは，験から得られる予測との差分によって生じるものとし
深層強化学習の枠組みと共に発展している [3, 13, 17]．て数理的に説明できる．この予測からの差分が驚き
これらの研究は，トイワールドあるいは限定条件下の（好奇心）を生じさせ，そのうちの一部は，楽しさな
タスクにおいて高いパフォーマンスを発揮する．こうどの感情的反応を引き起こし，人間に興味や関心を持いった研究から計算論の水準と実装の水準との接続にたせ，その活動を継続する動因となる．
ついてはすでに高水準でなされているといえる．
楽しさに関しては複数の研究者が，環境における
しかし，深層強化学習におけるモデルの実装は end新規なパターンの発見と関連することを述べていto-end に行われるため，モデルの内部の処理は明確とる [4, 7, 8, 19]．たとえば，ゲームデザイナーであるは言い難い．加えて，このような研究は，同一の計算
Koster は，著書の “Theory of Fun for Game Design論を背景にしているにも関わらず，同様のトイワール[8]” において，人間がゲームにおいて感じる楽しさ
ドなどのタスクにおいて，複数の実装方法が存在する
は，ゲーム内での新しいパターンを発見することに[2]．例えば，Pathak は深層強化学習を援用し，環境
よって引き起こされると述べる．また Koster と同様から得られる外部報酬と，ピクセル情報から得られるのより形式的な楽しさの理論化は，Schmidhuber に
エージェントの次状態との予測誤差から得られる内部
よる “Formal Theory of Creativity, Fun, and Intrin報酬を好奇心とし，好奇心のモデルを実装した [17]．
sicMotivation [19]” おいてなされている．この理論にこの考えを援用し，Burda は内部報酬，つまり好奇心
おいて，パターンの発見はデータの中で反復されるのみを用いた好奇心のモデルを実装した [3]．これら
定型的なパターンを発見し，圧縮することと定義されのモデルの計算論的背景は，いずれもフリーエナジー
る．Schmidhuber は，データを圧縮すること，あるいの理論 [5] に基づく．しかし，最適なアルゴリズムをは圧縮可能なデータを取得することを楽しさと対応づ
特定の計算論に対して提供できていないため，計算論
けた．
とアルゴリズムの水準の接続はいまだ不十分である．
以上のことより筆者らは，前述した知的好奇心が楽

2.2

しさを引き起こすということと，人間が環境のパター

アルゴリズムの水準による知的好奇心のモデル

ンを発見することで得られる楽しさが対応するのではないかと考えた．つまり，人間の環境におけるパター

ンの発見を知的好奇心として捉え，それを ACT-R のこれらの計算論の水準の研究に対し，筆者らはアパターンマッチングと対応させ知的好奇心のモデルをルゴリズムの水準の好奇心のモデルの研究を行って実装した．この実装された迷路の継続課題を行う知きた．そこでは，好奇心の一種である知的好奇心 [11]

的好奇心のモデルは，課題中にパターンマッチングをの認知モデルの実装を目指した．このモデルの実装

発生させると楽しさを感じるという仮定に基づいてには，現存するアーキテクチャのなかで，最も多くのいる．さらに，ACT-R における手続き学習（コンパ機能を有し，最も多くの先行研究に利用されているイル）は，経験を重ねることよることによるパターン

認知アーキテクチャである ACT-R (Adaptive Control

マッチの機会の減少（ルールと知識の圧縮）を導く．

of Thought-Rational[1]) を用いた（[9] による網羅的な認知アーキテクチャのレビューを参照）．この豊富な ACT-R のモジュールとルールを用いてアルゴリズ
ムを記述することで，多様な心理学的な知見に裏付けされたモデルを作成できる．

著者らのモデルはこの学習のプロセスを含めることで，モデルの楽しさを感じる頻度の減衰により，飽きのプロセスを表現した．

2.2.2

シミュレーション

筆者らの過去の研究では，2.2.1 節の設計に基づくモデルを構築し，迷路の継続課題のシミュレーションを実施した [16]．シミュレーションの目的は提案する

826

2021年度日本認知科学会第38回大会

OS05-4

知的好奇心のメカニズムの性質を検討することであった．詳細に知的好奇心のメカニズムを検討するため，それぞれ異なるサイズのマップと，複数の思考水準のモデルを実装した．それぞれのモデルは課題中に，パターンマッチングを発生させると，知的好奇心が刺激される．そこで筆者らは，知的好奇心の増加がモデルの課題の継続につながると仮説をたてた．そして，それに伴い，課題のゴール達成率，マップを広範囲に探索した際に増加するエントロピー，スキル生成数が増加すると考え，これらをシミュレーションの指標とした．

図 1 は，シミュレーション結果である．シミュレー

ションの前提として，グリッド状の迷路のマップのサイズを 3 段階用意し，それぞれの大きさに対し，異なるマップを 10 用意した．1 つのマップに対して，パ

ターンマッチングに付随する知的好奇心の大きさ（楽しさ）を 20 段階変化させた．モデルはこれらの条件の下，マップのスタートからゴールまで探索を行った．
このスタートからゴールまでの探索（ゴール未達成も

図 1 シミュレーション結果．列方向によってモデル

ける，やめるかの判断を行うルールを競合させた．シ

Random モデル） 縦方向のアルファベットにより指標いと設定し，ラウンド中にパターンマッチングが発生

エントロピー，ACT-R のモジュールによって生成さを区別し（1: DFS+IBL モデル, 2: DFS モデル, 3:含む）を 1 ラウンドとし，ラウンド開始時に課題を続を区別する (a: ラウンド継続数，b: ゴール達成率，c:

ミュレーション開始時には，課題継続の動機づけが高れたルール数 (d)）．それぞれのグラフのエラーバー

したら課題継続の知的好奇心の大きさに伴う動機づけ

は各マップにおいて得られた標準偏差 (n = 1000) のが高まり（楽しさ），パターンマッチングが生起しな

平均 (n = 10) に 1/10 を乗じた値を示す．なお，それ

いままラウンドを終了した場合，課題継続の動機づけが減少する（飽き）と設定した．1 回のシミュレーショ

ぞれのグラフの横軸は知的好奇心の強さである．

やめる動機づけを下回る）まで，これを繰り返す．そを増やすと，課題継続数が逆 U 字の増減を見せ，知的ン中にモデルは飽きる（課題継続の動機づけが課題をしてモデルが飽きたら繰り返したラウンド数を課題の

好奇心の仮説に沿う結果にならなかった．したがって，

継続回数として記録した．

これらのモデルの振る舞いが，どのような計算論に基グラフに示した結果は，それぞれのサイズに対してづいているのか検討できず，モデルの振る舞いに妥当

異なる 10 のマップの結果を平均したものになる．ま

性を得られなかった．

た，左側のモデル（DFS+IBL，DFS）の思考水準が高く，右側のモデル（Random）の思考水準が低い．こ3.

こでの思考水準は，モデルが行動を起こすまでに行う

提案手法

図 1 で示されたように，これらアルゴリズムの水準

処理の量（パターンマッチングの頻度）を意味していのモデルは，モデルごとに異なるルールを持ち，変数左に配置されたモデルはより多くのルールを有していある．したがって，上記の研究 [15, 21] において実装

る．より端的にいえば，右に配置されたモデルに比べ，同士が相互に作用しながら課題を遂行するため複雑でるため，パターンマッチングが発生する頻度が多い．

された思考水準の異なるモデルについて，簡潔な説明

デルは，知的好奇心に伴う報酬を与えると課題の継続

より一般的な説明を付与するために，本報告では計算

グラフより，思考水準の高い DFS+IBL と DFS モを付与することは困難である．この複雑さを軽減し，数が増え，その他の指標も増加傾向にあることがわか論の水準とアルゴリズムの水準を接続することを目る．この結果は，思考水準の高いモデルは，筆者らの指す．

仮定と整合する振る舞いを生じさせることが示されこの目的を達成するため，筆者らはアルゴリズムのる．しかし，思考水準の低い Random モデルは，報酬水準のモデルに計算論的妥当性を付与するため，計算

827

2021年度日本認知科学会第38回大会

OS05-4
果関係を回帰式として表現する際の係数（2 行から 6行），各モデルとネットワークの適合度（7 行）が示される．回帰式における操作変数を Reward（知的好奇心の強さに伴う報酬）と Map Size（環境の大きさ）とし，目的変数を Goal Rate（ゴール達成率）とした．
列は図 1 であげたそれぞれのモデルに対応する．

図 2 シミュレーションで用いた各変数のネットワー

表に示される適合度 (BIC: Bayesian Information

ク構造

Criterion) は，論の水準のベイジアンネットワークを構築し，各変数

BGe =間でどのような作用を持つのかという因果関係を推定することを提案する．これによって，アルゴリズム水準のモデルは目指すべきネットワーク構造（計算論）を持ち，シミュレーションで用いた操作変数（知的好奇心の大きさ，マップの広さ）や指標間の因果関係が(1)によって計算された．この式は， R パッケージである bnlearn[14] において定義されるものである．k は変数の数を表し，X は変数自身を表す．また，d はパ

度，右項がペナルティを表しているため，つまり，こトワーク構造にフィッティングするまで修正し，分析のスコアの値が大きいほどデータとネットワークが適を繰り返すことで，計算論の水準とアルゴリズムの水合していると言える．したがって，IBL+DFS モデル，準を接続できるのではないかと考える．

DFS モデル，ランダムモデルの順で値が大きいため，
この順番でモデルとネットワークが適合していると言える．
これらの結果からそれぞれのモデルの特徴が示さ

知的好奇心のモデルの分析

この提案手法を実現するための第一歩として，2.2.2

れる．例えば操作変数である知的好奇心の大きさに伴節のシミュレーション結果を対象に，ベイジアンネッ

う報酬は，パターンマッチングの頻度が多い思考水準

トワークを用いて分析を行った．図 2 は，筆者らが仮の高い IBL+DFS，DFS モデルに対して強く作用する

定していた各変数間の因果関係をネットワーク図にしが，思考水準の Random モデルにはあまり作用しな

たものである．このネットワークは，い．それを裏付けるように，思考水準の高いモデルは(a) 知的好奇心の強さの増加に伴い課題の継続数がネットワークとの適合度が高いことを示し，思考水準

増加の低いモデルはネットワークとの適合度が低い結果と(b) 継続数の増加とともにマップを探索する機会が増なった．

えスキルが増加(c) スキルが増加すると，エージェントは広範囲に

4.

今後の計画とまとめ

本報告では ACT-R によって実装された知的好奇心

マップを探索することができ，エントロピーがのモデルに対し，一般的な説明を付与するために，そ増加の出力からベイジアンネットワークを構築した．その(d) エントロピーの増加に伴いゴール達成率が上昇

ベイジアンネットワーク用いて分析を行い，モデルごとの変数間の関係を回帰式の係数，およびネットワーという因果関係を表している．なお，マップサイズが大きくなると相対的にモデルの行動範囲が局所化する

表1と考えられる．そして行動範囲の局在化は情報エント
ロピーとして表現できる．そのためマップサイズは探索の広さに関係するのではないかと考えた．

3.2

(
∏ ) d
log fXi Xi |Xi − log n2i=1

ラメータ数を表し，n はサンプル数を表す．左項が精判明する．その後，知的好奇心のモデルを，そのネッ

3.1

k
∑

分析結果

表 1 は，図 2 のネットワーク構造に対して，図 1の結果をフィッティングした結果である．得られた因828

各々の変数に対する回帰式の係数
IBL+DFSDFS

GoalRate∼Entropy

0.547

0.559

Random0.448

Entropy∼MapSize-0.446-0.563-0.386

Entropy∼Skill

0.591

0.657

0.041

Skill∼Round

0.796

0.741

0.394

Round∼Reward

0.651

0.655

0.117

BIC

−4.295 × 106−4.331 × 106−4.938 × 106

2021年度日本認知科学会第38回大会

OS05-4

クの適合度を表すことができた（表 1）．これらの結果から，思考水準の高いモデルは知的好奇心の強さの増加と共にパフォーマンスが向上し，一方で思考水準の低いモデルは知的好奇心からの影響は少ないことが示される．この分析は，アルゴリズム水準のモデル

によって生成された振る舞いを，計算論の水準（回帰式）に変換するものである．アルゴリズムによって生成される複雑な振る舞いを，より簡潔な表現に置き換えることで，回帰式の係数やネットワークの適合度か

らその妥当性を検討することができるようになったといえる．

しかし，本研究には，表 1 で得られた変数間の関係を詳細に分析できていという限界もある．そのため，
知的好奇心のモデルを計算論と接続するという目標の達成は，未だ十分ではない．今後は，さらに変数間の関係を詳細に分析する必要がある．前節の通り，この表は図 2 のネットワーク構造に対して図 1 の結果をフィッティングしたものである．したがって，各変数間の関係を表している．モデルごとの特徴が各変数間の回帰式の係数として現れているため，モデルのアルゴリズムがネットワーク構造に合うまでモデルを更新
し，モデルと計算論の水準の接続ができると考える．

また，シミュレーション結果からボトムアップにネッ

トワーク推定を行い，仮説のネットワークと各モデルのネットワークとの相違点および変数間の関係の相違点を比較分析する必要がある．今回行った推定では，因果構造のモデルを仮説としてトップダウンに構築し，それをもとに変数間の分析を行った．これによって，仮説に合うモデルの評価ができるが，合わないモデルに対して評価が行えない．トップダウンのネットワー

ク，ボトムアップに推定した各モデルのネットワーク
を比較分析することで，仮説に合わなかったモデルに対して解釈を与えられるとかと考える．

文献[1] J. R. Anderson. How Can the Human Mind Occur in
the Physical Universe. Oxford Press, 2007.
[2] Arthur Aubret, Laëtitia Matignon, and Salima Hassas. A survey on intrinsic motivation in reinforcement
learning. Corr, 2019.
[3] Yuri Burda, Harri Edwards, Deepak Pathak, Amos
Storkey, Trevor Darrell, and Alexei A Efros. Largescale study of curiosity-driven learning.
arXiv
preprint arXiv:1808.04355, 2018.
[4] Roger Caillois. Les jeux et les hommes. 1958.
[5] Karl Friston. The free-energy principle: A unified
brain theory? Nature Reviews Neuroscience, Vol. 11,
No. 2, pp. 127–138, 2010.
[6] Cleotilde Gonzalez, Javier F Lerch, and ChristianLebiere. Instance-based learning in dynamic decision

829

making. Cognitive Science, Vol. 27, No. 4, pp. 591–
635, 2003.
[7] Johan Huizinga. Homo ludens versuch einer bestimmung des spielelementest der kultur. 1939.
[8] Raph Koster. Theory of fun for game design. ”
O’Reilly Media, Inc.”, 2013.
[9] Iuliia Kotseruba and John K. Tsotsos. 40 years ofcognitive architectures: core cognitive abilities andpractical applications. Artificial Intelligence Review,
Jul 2018.
[10] Christian Lebiere, Cleotilde Gonzalez, and Michael
Martin. Instance-based decision making model of repeated binary choice. 2007.
[11] Thomas W Malone. Toward a theory of intrinsicallymotivating instruction. Cognitive Science, Vol. 5,
No. 4, pp. 333–369, 1981.
[12] David Marr. Vision: A computational investigation
into the human representation and processing of visual information. 1982.
[13] Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A Rusu, Joel Veness, Marc G Bellemare,Alex Graves, Martin Riedmiller, Andreas K Fidjeland, Georg Ostrovski, et al. Human-level control
through deep reinforcement learning. Nature, Vol.
518, No. 7540, pp. 529–533, 2015.
[14] Radhakrishnan Nagarajan, Marco Scutari, and Sophie Lèbre. Bayesian networks in r. Springer, Vol.
122, pp. 125–127, 2013.
[15] K. Nagashima, J. Morita, and Y. Takeuchi. Modeling intrinsic motivation in act-r: Focusing on the relation between pattern matching and intellectual curiosity. In Iccm2020: 18th International Conference
on Cognitive Modeling, 2020.
[16] K. Nagashima, J. Morita, and Y. Takeuchi. Curiosity as pattern matching: Simulating the effects
of intrinsic rewards on the levels of processing. In
ICCM 2021: 19th International Conference on Cognitive Modeling, 2021.
[17] Deepak Pathak, Pulkit Agrawal, Alexei A Efros, andTrevor Darrell. Curiosity-driven exploration by selfsupervised prediction. In Proceedings of the Ieee Conference on Computer Vision and Pattern Recognition
Workshops, pp. 16–17, 2017.
[18] D. Reitter and C. Lebiere. A cognitive model ofspatial path-planning. Computational and Mathematical Organization Theory, Vol. 16, No. 3, pp. 220–245,
2010.
[19] Jürgen Schmidhuber. Formal theory of creativity,
fun, and intrinsic motivation (1990–2010). Ieee Transactions on Autonomous Mental Development, Vol. 2,
No. 3, pp. 230–247, 2010.
[20] S. Singh, A. G. Barto, and N. Chentanez. Intrinsically motivated reinforcement learning. In L. K. Saul,
Y. Weiss, and L. Bottou, editors, Advances in Neural
Information Processing Systems 17, pp. 1281–1288.
Mit Press, 2005.
[21] 長島一真, 森田純哉, 竹内勇剛. 多様な環境の学習における ACT-R を用いた内発的動機づけのモデル. No.
O3-2, pp. 62–71. 日本認知科学会第 37 回大会, 2020.

2021年度日本認知科学会第38回大会

OS05-4

付録

ンマッチに成功するパスが見つかった場合，ゴー
ルモジュールの状態を検索されたパスに従って

図 1 で用いた 3 つの思考水準のモデルの概要を記変更した後に (1) に戻る．一旦検索されたパス

述する．これらは，筆者らが ICCM 2021 において発はプロダクションコンパイルされる．なお，プロ表したモデルと同様である [16]．モデルは段階的に機能を付与され，その順に課題を遂行する中で利用される宣言的記憶（パターンマッチング）が増大する．

ACT-R の理論において，パターンマッチングの対象

ダクションコンパイル後のプロダクションのユー

ティリティは，プロダクションコンパイル前のプ
ロダクションのユーティリティよりも低く設定される．同じ宣言的記憶がプロダクションコンパイとなる宣言的記憶は大脳皮質 (腹側前頭前野) を介しルされるごとにユーティリティが増大し，最終的て引き出されるとされる．対して，それが利用されなにプロダクションコンパイルされる前のプロダク

い処理は，プロダクションモジュール（大脳基底核とションのユーティリティと等しくなる．この設定対応）の比重が大きい．人間の意識的な処理が前頭前は ACT-R のデフォルトの設定に従うものである．

野を介して行われ，自動的な処理が大脳基底核を介して行われるとの想定 [1] に立てば，ACT-R は，パター

ンマッチングを伴わない低次の思考とパターンマッチ

確率的 DFS モデル

ングを伴う高次の思考に区別するといえる．したがって，図 3 の左から右に向かうに従って，深い思考水準

より高次な認知機能（宣言的記憶）をモデルに含めを組み入れたモデルと仮定した．それぞれのモデルのるために，確率的な DFS (depth-first search)，あるい

詳細を下記に記述する．

はバックトラックによって環境を探索するモデルを構築した．その実装は，Reitter らの研究 [18] を参考にした．このモデルは，4 に示すように，ACT-R のイ

ランダムモデルマジナルモジュールで生成されたチャンクを用いたス

タック構造を備える．スタック内のプッシュ機能は，最も思考水準の低いモデルは，ランダムにゴールモて，モデルはゴールに達するか制限時間に達するまで

ARG1 スロットに過去のチャンク名を格納すること
で，スタック内のポップ機能は，ARG1 スロットの値

1. 方向の決定: 4 つの移動方向（東，西，南，北）

れらの生成されたチャンクは宣言的モジュールに格納

ジュールの現在位置を遷移させる．ラウンド内におい下記の処理を繰り返す．

を表すプロダクションを式 (1) に基づいて，確率を過去のスロットの値に戻すことで実現している．こされ，後から検索することでポップ機能が実現される．

ACT-R は Lisp で記述されているため，Lisp の処理系にアクセスすることが容易である．しかし，これらの的に発火させる．なお，4 つのプロダクションのユーティリティの初期値は等しく設定する．
2. 行き先の決定: 決定された方向への移動が可能か否かをパスに関わる宣言的記憶を検索するこ処理はすべて，Lisp など他のプログラミング言語で書かれた外部関数を定義することなく，ACT-R のプロ
ダクションのみで実装した．

とで判断する．この判断に利用するプロダクショ

具体的なモデルの動作は，以下の通りである．

ンには，ゴールモジュールに格納される現在位置

1. 方向の決定: ランダムモデルと同様に，まず移動方向をランダムに決定する．

と (1) にて決定された方向が，変数として含まれる．パターンマッチの結果，該当するパスの記

2. 行き先の決定: ランダムモデルと同様に，現在
位置と移動方向を結ぶパス検索に成功した場合，憶が見つからなかった場合, (1) に戻る．パター

ゴールモジュールの現在位置を変更する．加えて，DFS モデルは，検索されたパスに検索済みのタグを付与した新たなチャンクをイマジナルモ

ジュールを介して作成し，宣言的モジュールに格納する．モデルがパスの検索に失敗したとき（行き止まりになったとき），モデルは検索済みのタ
図3

グが付与されたチャンクを辿ることで以前の場所に戻り，(1) を繰り返す．ランダムモデルと同様思考水準の異なるモデルに，確率的 DFS モデルは，パスに関する宣言的830

2021年度日本認知科学会第38回大会

OS05-4のパスの検索を試みる．失敗した場合は (1)に戻る．成功した場合は，正解ラベルの付与されたパスに従って現在位置を更新する．

課題の初期段階で，このモデルは確率的 DFS モデルと同様に振る舞う．ラウンドが繰り返され，正解ラ

ベル付きのパスの記憶が増加すると，効果的にゴールに到達できるようになる．IBL は，DFS に比べて，時間を要するコストの大きい処理である．正解ラベルをパスに付与するためには，ラウンドの終了時にスタッ
ク内のパスを検索しなければならない．また，パスの選択時にて，過去のラウンドの記憶を思い出すことも，他のモデルには存在しない時間的コストとなる．

図 4 ACT-R のチャンクで構築したスタック構造．ス

タックの実装のために ACT-R のイマジナルモジュー
ルを使用している．

記憶をプロダクションコンパイルし，変数を含まない新しいプロダクションを学習する．

モデルはゴールに到達するか制限時間に達するまで(1) と (2) を繰り返す．パスの検索に失敗した場合，ランダムモデルが直ちにパスの検索を繰り返すのに対し，DFS モデルは宣言的記憶を検索しながらスタックをポップしていく．そのため，このモデルが効果的に環境を探索するためには，より多くのラウンドを繰り返し，パスの記憶をプロダクションコンパイルする必要が生じる．

確率的 DFS と IBL 組み合わせモデル

こ の モ デ ル は 確 率 的 DFS と IBL (instance-baselearning) を組み合わせる．IBL とは，現在の課題の解
決に過去の記憶を用いる学習方法である [6, 10]．この

課題では，各ラウンドの開始から，ゴールに到達するまで，経由したパスをスタックに蓄える．ゴールに到達した後に，スタック内のパスを辿り，正解ラベルの付与されたチャンクを生成する．ラウンドの進行は，
以下の 2 つのステップをゴールに到達するか制限時間に達するまで繰り返す．

1. 方略の決定: DFS 戦略を取るか IBL 戦略を取る
かを競合解決により決定する．

2. 方向と移動先の決定(a) DFS 戦略を採用した場合は，DFS モデルと同様に振る舞う．

(b) IBL 戦略を採用した場合は正解ラベル付き

831