2020年度日本認知科学会第37回大会

O3-2

多様な環境の学習における ACT-R を用いた内発的動機づけのモデル

Model with Intrinsic Motivation Using ACT-R in
Learning Diverse Environments
長島 一真 † ，森田 純哉 ‡ ，竹内 勇剛 ‡Kazuma Nagashima, Junya Morita, Yugo Takeuchi†

静岡大学

Shizuoka University
nagashima.kazuma.16@shizuoka.ac.jp, j-morita@inf.shizuoka.ac.jp, takeuchi@inf.shizuoka.ac.jp

概要

先行研究も豊富である [7]．また，ACT-R は，脳の部

人工エージェントが多様な環境を学習するために位に対応し心理学実験で検証されているモジュールをは，内発的動機に基づく報酬が必要である．これまで複数有している．その中には，従来の自律エージェンに，エージェントの内発的動機づけの研究が行われてトで用いられている強化学習に近いモジュールも存在

きたが，統合的なアーキテクチャの中で検討するもの

する．したがって，我々は数あるアーキテクチャの中はなかった．本研究では，ACT-R を用いて内発的動から ACT-R を利用することが適していると考えた．

機づけの認知モデルの構築を目指す．モデルは環境中

本研究においては，ACT-R のプリミティブな認知機のパターンの発見を知的好奇心の源泉とみなす．それ能を集積することで内発的動機づけをモデル化する．
このモデルを提案する前に，このテーマに関連するによって，モデルは複数の異なる広さの環境を学習することができた．

先行研究を示すことで目的を明確にする．その上で，キーワード：認知モデリング, ACT-R, 内発的動機

人間の知的好奇心との対応を想定し，特に環境と内部づけ

知識とのパターンマッチに着目した内発的動機づけのメカニズムを提案する．提案したメカニズムは，特定

1.

はじめに

のタスクのシミュレーションを行うために実装されて人間は，外部から与えられる報酬だけでなく，内部いる．最後に，現状をまとめ，今後の方向性を示す．

から発生する報酬を利用し，目的を達成するために

2.

様々な環境を学習することができる．このような人工関連研究

エージェントの意欲的な学習を実現するために，自己

本節では，環境学習に関する研究の方向性として，効力感や好奇心などの報酬によって駆動される内発的強化学習に基づく研究と ACT-R に基づく研究を紹介

動機づけの概念が，複数の研究者によって議論されてする．

きた [15, 10]．
しかし，強化学習の枠組みに基づいたこれらの研究

2.1

は，内発的動機づけと他のプリミティブな認知機能と強化学習における内発的動機づけの関連性を説明していない．これに対し，最近の認知

今日，内発的動機づけに基づく人工エージェントのモデルの研究では，様々なタスクで共通に利用される研究が存在する [15, 10]．これらの研究では，内発的認知のプリミティブな機能を統合した認知アーキテク

動機の一つである好奇心をモデル化し，エージェント

チャへの注目が高まってきている．異なるタスク間でに広く環境を探索させる方法を検討している．このよプリミティブなプロセスを共有することで，人間の認うな研究の多くは，強化学習などの統計的学習の枠組

知の全体的な構造を引き出すことができる．

みを用いている．

このような研究に従って，本研究では，内発的動機

通常，強化学習におけるエージェントは，外部環境づけの背後に存在する認知メカニズムの一つを，認知から受け取った情報に基づき行動を決定する．行動のアーキテクチャに基づいて表現することを試みる．本

結果によって環境は報酬を発生させ，エージェントは研究では，複数存在する認知アーキテクチャのうち，時間経過の中で，それを最大化するように努める．こACT-R (Adaptive Control of Thought-Rational[1]) をの従来的な強化学習の枠組みに対し，Sutton はエー

用いる．このアーキテクチャは広く利用されており，

ジェントと環境間の境界と，身体と環境間の物理的62

2020年度日本認知科学会第37回大会

O3-2

な境界は同様ではないとのべる [16]．この主張を援このような報酬を得る試行を蓄積することで，モデル用し，Singh は，従来の強化学習に内発的動機を取りは最適な行動をとるように学習した．

入れた Intrinsically motivated reinforcement learning

他の研究では，迷路課題を，強化学習だけでなく，(IMRL) [15] を提案した．外部環境から直接報酬を受ける従来の強化学習に対し，IMRL は，内部環境の状

ACT-R で実装された宣言的知識の学習（事例ベース
学習）を用いて行った．Reitter は，モデルの宣言的知態によって報酬が変動する．これにより，予期せぬ反識に位置情報を入れ，トポロジカルマップを構成し，応に対する好奇心などをモデル化する．

それを利用したバックトラッキングを用いて経路探索を行うモデルを構築した [14]．

近年，この内発的動機づけに基づく強化学習の研究
は，深層強化学習の枠組みで発展している [2, 13]．特ACT-R による環境探索に内発的動機づけを組み入に，Burda は，エージェントの内側から得られる内因

れる直接的な研究は存在しないものの，内発的動機づ的報酬のみに基づいた環境学習を検討した [2]．Atari

けと密接に関係する感情的要素のモデルは多く提案さや Unity の迷路課題などのゲーム画面を入力 [11] とれている．Dancy は ACT-R による認知プロセスと生し，エージェントにとって未知の状況から内在的報酬

理的なメカニズムとの結合によって感情の生起を説明を生成した．その結果，エージェントは幅広く環境した [3]．また，Vugt は，抑うつを感情を伴う記憶のを学習し，ゲームのスコアを向上させた．Burda は，割合によって説明する認知モデルを構築した [18]．さエージェントのゲームスコアがあがった理由を，通常らに，Juvina は，そのような感情的記憶と報酬関数のゲーム環境はユーザーの好奇心を刺激するために設計関係を説明することを目指した [5]．

されていることが多く，環境の中で新しい情報を見つ

これらの研究はいずれも，ACT-R の新しいモジュー

けるとゲームの点数が上がるように設計されているか

ルや機能を開発し，感情プロセスにアプローチしていらだと主張している．

る．これに対し，本研究では，ACT-R のプリミティ
ブな機能を用いて，内発的動機づけをモデル化するこ

2.2とを目的としている．特に本研究では，ACT-R の学

ACT-R による環境探索と感情のモデ
ル

習過程から自然に生まれた報酬変動のメカニズムを提案する．

前節で述べた関連研究は，最適な探索を実現する学3.

習アルゴリズムの提案を目的としていた．しかし，人内発的動機づけのメカニズムの提案

本節では，我々が提案する内発的動機づけのメカニ

間とモデルの対応関係については検討されていない．
前節の先行研究に対し，ACT-R を用いることで，人間とモデルの対応関係について検討することがでズムを提案する．このメカニズムは，知的好奇心とパターンマッチを対応させるという考えに基づいている．この考えを説明した後，ACT-R のプリミティブ

きる．ACT-R は脳の部位に対応するモジュールを保な機能を集積させた内発的動機づけの一般的なフレー

持する認知アーキテクチャである．例えば，宣言的モ

ムワークを示す．

ジュールは経験や知識を保持し，ゴールモジュールは
タスクの状態を管理する．ACT-R のプロダクション
ルールは，このようなモジュールの状態に基づいて選3.1

択され，アクションとしてモジュールにコマンドを送

知的好奇心と ACT-R モデルの対応

本研究では，Burda に従い，内発的動機づけの要因

る（条件を満たす知識を探す，タスクの現在の状態をとして好奇心に注目する．先行研究に示されるように，更新するなど）．これらのルールには，モジュールの好奇心は環境探索を促進し，ゲームにおけるパフォー

状態と柔軟な対応（パターンマッチ）を実現する変数

マンスを向上させる．実際，ゲームデザイナーであるが含まれている．

Koster は，著書の “Theory of Fun for Game Design[6]” において，優れたゲームがユーザの好奇心を刺激

環境学習について，Fu は，上下左右の方向に関する知識を実装し，繰り返し迷路課題を解くために ACT-するものであることを述べている．特に，Koster は，

R を用いた [19]．Fu のモデルは，Q-Learning[20] と同人間が感じる楽しさは，環境や状況において，新しい様の ACT-R の「ユーティリティ」モジュールを用いパターンを発見することによって引き起こされると述る．そのモデルでは，現在の目標達成につながる行動

べる．例えば，数あるパターンから最適解が発見されをしたときには正の報酬を，目標達成につながらない行動をしたときには負の報酬を受け取るようにした．

63

たゲームは，「飽き」が生じてしまう．

2020年度日本認知科学会第37回大会

O3-2

ここで，人間によるパターンの発見に対応する概念

応すると仮定する．以下に，これを具体的に検討するとして，パターンマッチという仕組みに注目する．パ

ために，ACT-R の学習機能である「ユーティリティ」

ターンマッチは汎用的な仕組みである．例えとして，と「プロダクションコンパイル」モジュールについて

テキスト検索で用いられる正規表現で表現されたパ説明する．

ターンマッチがあげられる．ACT-R においてパター
ンマッチは，プロダクションルールとモジュールの状

3.2.1

態のマッチングに利用される．図 1 は，ACT-R のパユーティリティ

ターンマッチを示している．この例では，ACT-R プロ

ACT-R には，宣言的知識（チャンク）と手続き的

ダクションルールの THEN 句に含まれる変数「Var1」

知識（プロダクションルール）の 2 種類の知識がある．

と「Var2」を，宣言的知識の定数である 1 や 2 などのそれぞれには，知識を獲得するための学習メカニズム

数値に束縛させている．

と，知識の利用を変更するための学習メカニズムがある．本研究では，タスクを続けるか（楽しい状態），タ
スクをやめるか（飽きた状態）を決めるための手続き的知識の競合に着目する．ACT-R は，競合解決（特定の状況で発火可能なルールを選択すること）を制御し，得られた報酬によって効用値を更新するユーティ
リティモジュールを有している [19]．このモージュー
ルから得られる報酬の量は，プロダクションコンパイ
ルの働きによって変動する．

3.2.2

プロダクションコンパイル「プロダクションコンパイル」とは，2 つの定義さ
図 1 ACT-R のパターンマッチの簡単な例．この例

れているプロダクションルールを 1 つのプロダクショ

では，前のルールの THEN 句で宣言知識のメモリをンルールに統合する機能である [17]．ある課題に対し問い合わせ，次のルールの IF 句で変数が束縛されるての一連のルールを反復発火することで，ルールの流れを示している．

統合が起き，課題達成までに発火するルールの数が減る．通常，統合の対象となるルールは，条件節に変数

このようにパターンマッチは，ルールに埋め込まれを含むものとなる．つまり，ACT-R において，プロた変数のパターンに応じてデータや環境中の構造を発ダクションコンパイルによって統合されるルールは，見する．この仕組みは人間の認知の柔軟性を説明する

IF 節とモジュールの状態（たとえば宣言的モジューとされ，類推に代表される関係的推論，ゴールを状況

ルに含まれる知識）の間でのパターンマッチを伴うもに応じて変更するメタ認知など，人間に固有とされるのである．つまり，統合前のルールに含まれていた変認知機能のベースとなるともされる1 ．このことから，

数は，個別の宣言的知識の値によって置換される．そ我々は，認知モデルのパターンマッチが，人間によるのため，定型的で自動的な課題遂行のルールが生成さ

知的探究（＝パターンの発見），すなわち知的好奇心

れ，モデルの振る舞いは，人間の慣れと同様の振る舞と対応するのではないかと考えた．

いになる．
図 2 は後述のシミュレーションで使用する迷路課題

3.2の環境において，現在位置からゴール位置までの経

知的好奇心の衰退

路探索に関する ACT-R モデルのトレースを示す．縦一般的な認知プロセスにおける知的好奇心の役割を軸に時間を示し，各列はモジュールのイベントを示し説明するためには，そのような動機づけがタスク実行ている．左側のトレースは，宣言的知識を用いて経路の過程でどのように減衰していくのかを考える必要が探索を行うモデルの初期状態の処理を表している．右ある．我々は，このような減衰のプロセスが飽きと対側のトレースはプロダクションコンパイルによる学習
後，宣言的知識を取得せずに経路探索を行うモデルの

1 Anderson は「ダイナミック・パターンマッチ」と呼ばれる処理を表している．

ACT-R の機能の導入時にこの主張をした．

64

2020年度日本認知科学会第37回大会

図2

O3-2

プロダクションコンパイルモジュールによる学習前と後の例
上記の仕組みを迷路環境の探索に当てはめれば，モデルはタスク初期において，環境地図の記憶検索を度々行う．タスクが進行するに従って，それらの記憶検索が必要なくなる．その結果，モデルによるタスクの遂行が効率化されるだけでなく，パターンマッチの図 3 タスク継続モデルのフローチャート．パターン

頻度が減少する．つまり，環境におけるパターンが発

マッチが発生すると正の報酬が得られる．

見尽くされ，飽きをモデル化できると考える．
必要である．タスク中に「楽しい」と感じるプロセス

3.3が生起した時に正の報酬がトリガリングされれば，タ

タスク継続のメカニズム

スク続行ルールの効用値は高い値を保ち，継続的な前節で提示した ACT-R のプリミティブな機能を用いて，我々はタスクを継続するか停止するかを判断す
る知的好奇心のメカニズムを提案する．図 3 は，我々タスク継続が可能となる．中の宣言的知識の検索成功（地図を思い出せた，他者の振る舞いの予測できたなど）に付随して発火するルールと定義する．宣言的知が提案する一般的な環境におけるタスク継続のメカニ

識の検索はルールの IF 節（現在の状況）と宣言的知ズムである．各ラウンドの開始時に，モデルはタスク

識内の記憶とのパターンマッチであり，これに成功すを継続するか停止するかを判断する（2 つのルールのることは Koster による楽しさの定義と整合する．た競合解決）．タスクの継続を判断した後，モデルは様々だし，このルールは繰り返し実行されると慣れ，つまなルール（マップの探索など）を発動させてラウンド

りルールの統合が起こる．統合が起こるとルーティンを進める．ラウンドを終了する条件に遭遇すると，新化してしまい報酬を得られなくなり，タスク続行ルー

たなラウンドを開始し，再びタスクを継続するか停止

ルの効用値が減少してタスク終了ルールが発火するよするかを判断する．

うになる．つまりこのモデルにおけるタスク続行の要

上記のプロセスにおいて，タスク続行ルールの効用

因は，パターンマッチの対象となる宣言的知識を見つ

値の初期値は，タスク終了ルールの効用値の初期値よ

け続けられることとなる．

り高く設定されると考える．タスク開始時に，人間はある程度はタスク継続の意思があると考えるためであ4.

実装

る．この初期状態からの「飽き」のプロセスは，各ラ

本研究の目的は，ACT-R のプリミティブな機能をウンドの終了を認識するルールの発火を負の報酬のト用いて内発的動機をモデル化することである．この目リガーとすることでモデル化できる．ラウンド終了時

的を達するためには，前節で示したモデルを具体的なに負の報酬が与えられることで，そのラウンドにおい課題の上に実装し，その振る舞いを観察する必要があて競合解決の結果として発火したルール（すなわちタる．本研究では，従来の内発的動機づけに関わる研究

スク続行ルール）の効用値が低下し，タスク終了ルー

でも用いられてきた迷路探索を課題とする．

ルが選択される確率が増加する．
「飽き」を抑止し，タスクを継続させる条件を検討するためには，タスクにおける「楽しさ」のモデルが65

2020年度日本認知科学会第37回大会

4.1

O3-2

迷路課題のモデル

本研究の迷路探索のための ACT-R モデルの実装では，Reitter のモデル [14] をタスク継続のメカニズムを含むように拡張した（図 3）．

4.1.1

迷路環境

迷路探索に対する ACT-R モデルの実装は，Reitter
に従い，確率的な DFS (depth-first search) によってヒューリスティックに環境探索を行う．モデルは，各曲角の繋がりをノードとするトポロジカルマップを宣言的モジュールに保持する．トポロジカルマップはノードとノードを結合するチャンクの集合として表現
され，モデルはそれを検索することで環境探索を行う．

図 4 ACT-R のチャンクで構築したスタック構造．ス

迷路環境は，縦横 5×5，7 × 7，9 × 9 の大きさのマップ

タックの実装のために ACT-R のイマジナルモジューを各々 10 マップずつ用意した．これらマップの初期位ルを使用している．

置は迷路の最も左上の曲角であり，ゴール位置はスタート位置から最も遠い曲角である．つまり，スタート

クを用いたスタック構造を示している．スタック内の位置から経由するホップ数が最も多い曲角がゴール位

プッシュ機能は，ARG1 スロットに過去のチャンク名置として選択される．なお，複数のゴール位置の候補を格納するチャンクを生成することで実現している．

があった場合は，候補の中から最も早くホップ数を計

また，スタック内のポップ機能は，ARG1 スロットの算したものが決定される．

値を過去のスロットの値に戻すことで実現している．
これらの生成されたチャンクは宣言的知識に格納さ4.1.2

れ，後から取得してポップ機能を実現することができ

環境探索る．これらの処理はすべて，LISP など他のプログラ

それぞれの環境において，モデルは現在自分が位置

ミング言語で書かれた外部関数を定義することなく，する曲角をゴールバッファに格納する．モデルの課題

ACT-R の生成ルールのみで実装した．

は，スタートからゴールにゴールバッファ内の現在位置を遷移する事である．現在位置の遷移は，宣言的モ

4.1.3

ジュールに格納されたチャンクを検索することで行われる．現在位置と結合するチャンクが呼び出され，そタスクにおいての内発的動機づけ

この単純な迷路課題の中で，前節で示した楽しさやのチャンクと結びつく位置が新たにゴールバッファに飽きのプロセスがどのように生じるのかを検討した．

格納される．これをゴールに達するまで繰り返す．

このモデルにおいて，パターンマッチに付随する「楽モデルは，ゴールをするたびに，現在地からゴール

しさ」は，現在の状況から宣言的知識に記憶しているまでに想起されたチャンクに対して，それを正解とす

パスを思い出すことと定める（パスの発見時に発火するラベルを付与し，宣言的記憶に格納する．次のラウるルールを正の報酬のトリガーとする）．また，パスンドからは，モデルはこれらのラベル付けされたチャ探索の終了を課題の継続のモチベーションの減少と定ンクを用いて，事例ベース学習理論の手法に従い，タ義する．つまり，ゴール探索の成功，失敗によらず，スクを効率的に実行する [8]．

ラウンドの終了時に発火するルールを負の報酬のトリモデルがラベル付けされたチャンクを取得できなガーとする．課題を継続すると継続ルールの効用値は，かった場合，モデルは現在位置からゴール位置までの負の報酬によって減少していく．そして，継続ルール

パスを，確率的な深さ優先探索 (DFS) というヒューリの効用値が，終了ルールの効用値を下回った時に，終スティックな探索を用いて経路探索する．DFS で用い了ルールが発火し，課題が終了することになる．

られるバックトラッキングを実現するために，ACT-Rのイマジナルモジュールを用いてスタック構造を実装した．図 4 は，このモジュールで生成されたチャン66

2020年度日本認知科学会第37回大会

4.2

シミュレーション

4.2.1

設定

O3-2

以上のことより，我々の提案した内発的動機づけのメカニズムがよく機能したことが示される．加えて，同様の広さのマップでも，特にゴール達成率に差異が実装されたモデルによる内発的動機づけの挙動を生じている事が確認できる．マップの広さに着目する

確認するシミュレーションを実施した．本シミュレーと，マップが広ければ広いほど全体的にゴール達成率

ションの環境は，我々がこれまでに行ったシミュレーが低下する．また，マップが広いほどルール数は全体ションの環境を拡張したものである [12]．環境は，広的に増加するが，その増加数は微々たるものである．

さを変数に持ちマップの広さを変化させることができモデルの学習は飽和状態になっていると考える．人間

る．加えて，各々の広さの中で，モデルは複数の異なは，複雑過ぎる環境において，学習における内発的動

るマップにおいて同様の課題を行うことができる．

機が低下する [9] つまり，モデルは，マップの広さと100 秒という制限時間において，学習の限界を向かえていたと考える．

この環境において，内発的動機づけの効果をはかる指標として，モデルがマップの曲角を訪れる回数をもとにしたエントロピーを用いる．エントロピーは不確

5.

実性をはかる指標である．本シミュレーションにおい我々が提案した ACT-R のモデルの振る舞いを明確て，モデルが幅広く環境を探索，つまりモデルが多く化するために，同様の環境で動作する強化学習モデルの曲角に訪れていればエントロピーが増加する．したを実装し，シミュレーションを行った．実装したモデがって，エントロピーは，モデルが幅広く環境を探索

ルは，IMRL を援用した Q-Learning を行う．方策にしているかどうかの指標になるのではないかと考えはε-グリーディ法3 を用いた．モデルが 1 ラウンドにた．これらの環境において，継続ルールの効用値の初期値を 10，終了ルールの効用値の初期値を 5 とした2 ．
また，ラウンドの終了ルールには負の報酬のトリガー行動できる限界を 100 ステップとした．この行動限界までに，モデルは，スタートからゴールまでたどり着
けば，課題クリアとなる．式 1 は，本モデルの Q 値の(r = 0) を，パターンマッチを含むルールには正の報更新式である．re は外部の環境からの報酬を ri は内酬のトリガーを割り当てた．加えてパスの発見によってトリガーされる報酬値を 1 から 20 まで変化させ，各報酬値に対して 1000 回，課題の継続シミュレーショ

部の報酬を表す．モデルは外因的報酬，つまり re を，
道を思い出せなかった場合は負の報酬 (-1) ，移動できた場合は 0 として，ゴールのできた場合は正の報酬ンを行った．なお，各ラウンドの制限時間をそれぞれ(10) を受け取る．

100 秒と設定した．制限時間に達するとモデルはゴールの達成によらず次のラウンドに移行した．

4.2.2

既存手法との対比

Q(s, a) ← Q(s, a) + α[r´i + r´e + γmaxQ(ś, á) − Q(s, a)](1)

式 2 の p は Q 値に対しての遷移確率を表す．確率 p

結果に対して，余事象の確率のエントロピーを ri としている．ri は 1 ステップ毎のモデルの内発的動機である．

図 5 は，縦横 5×5，7 × 7，9 × 9 の環境において，パスの発見に伴う報酬値を変化させた際のシミュレー

また，τ はシミュレーション時に用いる報酬値のためション結果を示す．それぞれのグラフは，ラウンド継の係数である．この係数を 0.35 から 0.73 まで 20 段

続数，コンパイルモジュールによって生成されるルー

階変化させ各報酬値に対して 10000 回シミュレーショ

ルの数，エージェントが環境の曲角を訪問した回数のンを行った．1 ラウンド中の内因的報酬の合計値が，5エントロピー，ゴール達成率の変化をグラフ化した

以下であればラウンドの終了とした．

ものである．報酬値が大きいほどラウンド継続数，ル

ri = −τ (1 − p) log(1 − p)

ール数，エントロピーが大きくなっていく．これに図 6 は，τ を変化させた際に，ラウンド継続数，エー

伴い，ゴール達成率が大きくなっていっている．また

ジェントが環境の曲角を訪問した回数のエントロピー，，マップの広さを変更した際も同様の傾向が見られる

ゴール達成率がどのように変化するのかをグラフ化し．これらの結果からエントロピーの増加によって，モたものである．ACT-R モデルの結果に対し，これら

デルは幅広く環境を探索する事を確認できた．

の結果は，同じ広さのマップ間によって差異が目立ち，(2)

安定してないように思われる．また，内因的報酬に関

2 探索方向（上下左右）を確率的に決める各ルールの効用値の初期値をそれぞれの 10 とした．記憶の想起のノイズである ans(activation noise level) = 0.1，継続ルールと終了ルールの効用値の比較のノイズである egs (expected gain s) = 1 と設定した．

わる τ の値が大きいほど，モデルは課題を継続する
3 epsilon = 0.2, gamma = 0.9, alpha = 0.2

672020年度日本認知科学会第37回大会

O3-2

図 5 5 × 5，7 × 7，9 × 9 マップの ACT-R モデルの内部報酬値におけるラウンド継続数，ルール生成数，エント
ロピー，ゴール達成率の推移．エラーバーは標準誤差を表す．赤のダッシュ線はグラフの平均である．
が，ゴール達成率は下がっている．加えて，エントロ

さは，モデルが訪れた回数に比例して濃くなる．また，ピーが増加する環境や減少するマップが存在する．

各曲角に出力されている数字は，各曲角の訪れた回数

このモデルの詳細な行動を確認するため，それぞれを環境全体の曲角の訪れた回数で正規化したものであの τ の値による 9 × 9 の大きさの時のエントロピーのる．どちらも τ が大きくなるにつれて，スタート付近

推移を詳細に確認した．図 7 は，図 6 のうち，エントの曲角の色の濃さが薄くなり，探索しているように思ロピーが減少しているマップと増大しているマップを，える．そのため，先行研究にもあるように内発的動機

それぞれ 1 つずつ抜き出したものである．図より τ のづけのパラメータの増大によって環境を探索する幅が値の変化による減少，増大の傾向を確認できる．また，

広がっていると思われる．しかし，このモデルの動作

この時のマップの曲角の訪れた頻度をヒートマップとはゴール達成率に寄与していない．おそらく，モデル

して図 8 に示す．上段がエントロピーが減少しているは，スタート付近の曲角を中心とした移動を繰り返し時の環境，下段がエントロピーが増大している時の環ていると思われる．そのため，左のグラフは，スター境である．黄色と緑のひし形は，それぞれの環境におト付近の曲角が行き止まりになっているため，行き止

いてのスタートとゴールを示す．各々の曲角の色の濃まりからスタートに戻るという動作を繰り返す回数が68

2020年度日本認知科学会第37回大会

O3-2

図 6 5 × 5，7 × 7，9 × 9 マップの強化学習モデルの内部報酬値におけるラウンド継続数，エントロピー，ゴール
達成率の推移．エラーバーは標準誤差を表す．赤のダッシュ線はグラフの平均である．
増えることでエントロピーが減少しているのではないのような慎重なパラメータ調整や環境設計，階層型学

かと考える．

習の仕組みを実装しなくても，汎用的なモジュールを

これらの結果から，エントロピーの増減がゴール達

用いれば環境学習を行うことが可能である．このよう成率の増減に関連していないことが示される．一般的に，内発的動機づけを表現する上で，本モデルの優位に，課題中に特別なイベントがない環境では（正の報性を主張することができた．

酬はゴール時のみ），強化学習はうまく動作しない．

6.

そのため，モデルはこれらの環境を学習できていない

まとめと考えられる．このモデルの行動は，式の ri と re の本研究の目的は，ACT-R と強化学習モデルの対応

バランス調整や，Burda が指摘しているように，好奇を検討するものであった．まず，ACT-R から提供さ心を刺激するために迷路の環境を注意深く設計するこれるプリミティブな認知プロセスの集積によって，認とで変えられると思われる [2]．また，通常の強化学習

知モデルに内発的動機づけのメカニズムを実装した．

に内発的動機づけを付与するだけでなく，特に IMRL

この実装を行うために，Koster の理論を基に，パターで用いられていたオプションによるスキルの階層型のンマッチのメカニズムが知的好奇心の源泉である「楽学習が必要であると思われる [15]．これは，ACT-R のしさ」を表していると仮定した．その結果，パターンコンパイルモジュールと同様，エージェントの環境にマッチが成功することで，課題継続に対する高い内発

おいての慣れを表現し，エージェントが環境の探索済的動機づけが維持された．一方，コンパイル機能を用み箇所よりも未探索の箇所を探索する機会が増えるこ

いてパターンマッチをスキップすることで，モデルはとで，幅広く環境を探索するように振る舞うのではな

課題に対する「飽き」を生じさせ，課題を終了するといかと考える．しかし，我々の ACT-R モデルは，こ

考えた．

69

2020年度日本認知科学会第37回大会

O3-2

図 8

図 7 に対応するエントロピーが増大している

マップと，減少しているマップのヒートマップ．
これらのシミュレーション結果から，本モデルは新
しい環境を学習する上で優位性を持っていると考えられる．このモデルでは，ユーティリティモジュールやコンパイルモジュールだけでなく，ゴールまでの正しい経路を記憶する事例ベースの学習 [8] を用いている．
このようないくつかの学習アルゴリズムの組み合わせ
は，現在の迷路タスクにおける内在的報酬と外在的報

図 7 エントロピーが減少しているマップと増大して酬のバランスをとるのに役立つかもしれない．

いるマップの τ による推移．

また，我々のモデルの内在的報酬の表現は，他の先行研究と比較しても新規性がある．我々のモデルでは，

この内発的動機づけのメカニズムの振る舞いを確認

内発的報酬と外発的報酬を式の中で明示的に分けてするため ACT-R のモデル実装し，シミュレーションはいないが，内発的動機づけの効果は既存の ACT-Rを実施した．モデルは報酬値が大きいほどラウンドのメカニズムの中で自然に表現されている．このアプ

継続数，ルール数，エントロピーが大きくなった．こローチは，人間の認知理論に基づいていること，既存れに伴い，ゴール達成率が上昇した．また，マップのの学習研究との関連性があること，理論上の不要な要広さを変更した際も同様の傾向が見られた．エント

素を省けることなどの利点があると考えている．

ロピーの増加によって，モデルは幅広く環境を探索す

今後の研究では，内発的動機づけのモデルを人間のる事を確認できた．また，マップの広さと制限時間にデータと比較する必要がある．人間の認知のモデルとよって，モデルが学習の限界を向かえる振る舞いを確して，従来の強化学習で提示された行動が誤りではな

認できた．

かったかもしれない．探索作業中，人はしばしば目標

この ACT-R のモデルに対し，IMRL を援用し，内を忘れてパフォーマンスを低下させる．このような非発的動機づけを付与した強化学習モデルを実装し同合理的な行動は，「計算精神医学」のテーマにも関連しマップにおいてシミュレーションを実施した．その結ているかもしれない [4].

果は，同じ広さのマップ間によって差異が目立ち安定

今後の課題として，動機づけの最適水準 [21] に達す

していなかった．また，内因的報酬に関わる τ の値がるまでのモデル化が必要である．本モデルは静的に継大きいほど，モデルは課題を継続するが，ゴール達成

続ルールの効用値を決めている．つまり，最適水準に率は下がった．加えて，エントロピーが増加する環境

達するまでの過程はモデル化されていない．したがっや減少するマップが存在した．その後，エントロピーて，モデルが最適水準に達するまでの課題の検討が必が減少したマップと増加したマップを取り上げ，モデ要になってくるだろう．

ルの詳細な振る舞いを観察した．エントロピーの増減に関わらずモデルのゴール達成率は減少していたため

文献

エントロピーの増減がゴール達成率の増減に関連して[1] J. R. Anderson. How Can the Human Mind Occur in
the Physical Universe. Oxford Press, 2007.

いないことが示された．

70

2020年度日本認知科学会第37回大会

O3-2[2] Yuri Burda, Harri Edwards, Deepak Pathak, Amos
Storkey, Trevor Darrell, and Alexei A Efros. Largescale study of curiosity-driven learning.
arXiv
preprint arXiv:1808.04355, 2018.
[3] C. L. Dancy, F. E. Ritter, K. A. Berry, and L. C.
Klein. Using a cognitive architecture with a physiological substrate to represent effects of a psychologicalstressor on cognition. Computational and Mathematical Organization Theory, Vol. 21, No. 1, pp. 90–114,
2015.
[4] Quentin JM Huys, Tiago V Maia, and Michael J
Frank. Computational psychiatry as a bridge fromneuroscience to clinical applications. Nature neuroscience, Vol. 19, No. 3, p. 404, 2016.
[5] Ion Juvina, Othalia Larue, and Alexander Hough.
Modeling valuation and core affect in a cognitive architecture: The impact of valence and arousal on
memory and decision-making. Cognitive Systems Research, Vol. 48, pp. 4 – 24, 2018. Cognitive Architectures for Artificial Minds.
[6] R. Koster.
Theory of Fun for Game Design.
ParaglyphPr, 12 2004.
[7] Iuliia Kotseruba and John K. Tsotsos. 40 years ofcognitive architectures: core cognitive abilities andpractical applications. Artificial Intelligence Review,
Jul 2018.
[8] Christian Lebiere, Cleotilde Gonzalez, and Michael
Martin. Instance-based decision making model of repeated binary choice. 2007.
[9] Thomas W Malone. Toward a theory of intrinsically motivating instruction. Cognitive science, Vol. 5,
No. 4, pp. 333–369, 1981.
[10] A. Manoury, M. N. Sao, and B. Cédric. Hierarchicalaffordance discovery using intrinsic motivation. In
Proceedings of the 7th International Conference on
Human-Agent Interaction (HAI 19), pp. 186–193.
[11] Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A Rusu, Joel Veness, Marc G Bellemare,Alex Graves, Martin Riedmiller, Andreas K Fidjeland, Georg Ostrovski, et al. Human-level control
through deep reinforcement learning. Nature, Vol.
518, No. 7540, pp. 529–533, 2015.
[12] K. Nagashima, J. Morita, and Y. Takeuchi. Modeling intrinsic motivation in act-r: Focusing on therelation between pattern matching and intellectual
curiosity. In ICCM2020: 18TH INTERNATIONALCONFERENCE ON COGNITIVE MODELING.
[13] Deepak Pathak, Pulkit Agrawal, Alexei A Efros, andTrevor Darrell. Curiosity-driven exploration by selfsupervised prediction. In Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition Workshops, pp. 16–17, 2017.
[14] D. Reitter and C. Lebiere. A cognitive model ofspatial path-planning. Computational and Mathematical Organization Theory, Vol. 16, No. 3, pp. 220–245,
2010.
[15] S. Singh, A. G. Barto, and N. Chentanez. Intrinsically motivated reinforcement learning. In L. K. Saul,
Y. Weiss, and L. Bottou, editors, Advances in Neural
Information Processing Systems 17, pp. 1281–1288.
MIT Press, 2005.
[16] R. S. Sutton and A. G. Barto. Reinforcement Learning: An Introduction. MIT Press, 2 1998.

[17] Niels A Taatgen and Frank J Lee. Production compilation: A simple mechanism to model complex skill
acquisition. Human Factors, Vol. 45, No. 1, pp. 61–
76, 2003.
[18] Mj .K van Vugt and M van der Velde. How does
rumination impact cognition? a first mechanistic
model. Topics in Cognitive Science, Vol. 10, No. 1,
pp. 175–191, 2018.
[19] F. Wai-Tat and J. R. Anderson. From recurrent
choice to skill learning: A reinforcement-learningmodel. Journal of experimental psychology. General,
Vol. 135, pp. 184–206, 6 2006.
[20] C. J. C. H. Watkins. Learning from delayed rewards.
King’s College, Cambridge, 1989.
[21] Robert M Yerkes and John D Dodson. The relation of strength of stimulus to rapidity of habitformation. Journal of comparative neurology and psychology, Vol. 18, No. 5, pp. 459–482, 1908.

71