Learning of the Way of Abstractionin Cognitive Agents
Atsushi Ueno, Hideaki Takeda, Toyoaki Nishida
Graduate School of Information Science,
Nara Institute of Science and Technology
8916-5, Takayama, Ikoma, Nara 630-01, JAPANTEL: 0743-72-5263, E-mail: ueno@is.aist-nara.ac.jp
Abstract This paper describes a method for a cognitive agent to learn the way of abstraction andthe policy of behavior selection simultaneously. The main problem of agents in the real environment
is how to abstract useful information from a large amount of information in the environment. This iscalled "the frame problem''. We consider that learning of the way of abstraction is a key function forsolving the frame problem practically. Our developed system extracts "situations'' and maintains
them dynamically in the continuous state space on the basis of rewards from the environment. Thissituation can be regarded as empirically obtained symbol. In this way, the system learns the way of
abstraction in a dynamic environment. The results of computer simulations are given.
key words

symbolization, articulation, frame problem, reinforcement learning, situation classification

1

はじめに
従来、実世界中の人工的な認知行動システム（ロボット）の多くは、工場などのそのために管理された環境中で働いてきた。実世界は、非常に大きな情報量を持っており、さらに動的に変化する環境である。そこで実世界中の認知行動システムには、大量の情報を処理する機能と素早く反応する機能が求められる。従来のロボットは、あらかじめ設計
者によって定められた必要な情報のみを環境中から取り出
し、処理することによって、この二つの機能を両立させている。管理された環境中では、この方法でロボットをうまく働かすことができた。

て、もう少し自由度が高く複雑なタスクを遂行することを目指している。そのために、多くの人工知能システムでは、認識したことを内部で記号を用いて表現して、その記号表
現上での推論によって行動を決定する。そのための記号体
系は、あらかじめ設計者によって定義されるが、複雑なタスクにおいて記号を適切に定義することは非常に困難である。通常、システムがタスクの実行に失敗する事態をなるべく避けるために、記号は冗長に定義される。その結果、記述の量が爆発し情報処理の時間が爆発して、考えてばか
りでちっとも動かないロボットになってしまう。これもフレーム問題の現れの一つである。

近年になって、自然環境や人間の生活環境などの、ロボッシステムの、そしてその設計者の情報処理能力は、実世トのために管理されていない環境中で、ロボットが必要と界と比べるとはるかに限定されたものである。従って、フされるようになってきている。このような環境では、特にレーム問題は本質的には解決不能である。人間もまた、実タスクが複雑な場合には、ロボットが直面するであろうす

世界の複雑性に比べると乏しい情報処理能力しか持っていべての場面をあらかじめ予測することが非常に難しく、ロないので、フレーム問題を完全に解くことはできない。しボットは、設計者が予測しなかったような場面にしばしばかし、フレーム問題の解決不能性にも関わらず、日常生活遭遇する。このような不慣れな場面では、ロボットは大量においては、人間はフレーム問題にほとんど悩まされずにの情報のうちのどの部分に注目したら良いのかが分からず、行動しているように思われる。それは、日常的に環境中の適切な行動を決定することができない。この問題はフレー

膨大な情報のごく一部だけを枠で囲って、その枠の中の情ム問題と呼ばれる問題で、情報処理の時間の爆発、記述の報だけに注目する習慣を身につけているからである。松原

量の爆発、内部モデルと現実との乖離などの様々な弊害をらは、これを「フレーム問題の現実的な解決」と名付けていもたらす。

る [4]。フレーム問題の現実的な解決の枠を構成しているの2

は、様々なヒューリスティックスの集まりである。日常のフレーム問題
認知行動システムは、外界の膨大な情報から現在のタスクに必要な情報だけを（枠で囲って）抽出して処理することによって、限定された情報処理能力でタスクを遂行することを可能にしている。しかし、この枠を適切に規定する

様々な場面でフレーム問題に直面し、それに対処するためのヒューリスティックスを経験的に獲得すること、そして、環境との相互作用を通してそれらのヒューリスティックスを適切に適用することによって、フレーム問題を現実的に解決することが可能になると思われる。

ことは、非常に困難な問題である。なぜなら、実世界にはBrooks らによって提唱された行動に基づく知能のアプ

非常に多くの事象が複雑に絡み合って存在しており、必要

ローチでは、環境との相互作用をなす単純な作業の重ね合ないと切り捨てたことから、カオティックに重大な影響がわせで複雑なタスクを実現する [1]。これは、たくさんの生じることがあるからである。これがフレーム問題と呼ばヒューリスティックスをロボットに持たせることに他ならなれる問題である。

い。このアプローチでは、環境との相互作用を重視して内工場で働くロボットや自動販売機などの単純な作業を繰

部で複雑な推論を行わないので、刺激に対する応答を非常り返す認知行動システムでは、外界の非常に限られた情報に速くすることができる。しかし、全体として整合性がとだけを認識するように設計されている。工場の生産ラインれるように個々のヒューリスティックスを設計することは、ではいつも同じ物が流れてくるので、乏しいセンシング能複雑なタスクの場合には、非常に困難である。また、自動力でも決められた作業をこなすことは可能であるし、自動販売機の例で示したように、単純な作業においてもフレー

販売機はコインに似た外形の物しか入らないように設計さム問題を完全に解決することはできない。従って、このアれているので、コインの外形と重量などを簡単に調べるだ

プローチでは、フレーム問題によって小さな過ちが起こるこけで、販売作業を行うことができる。しかし、工場のロボッとを前提にして、それを環境中から発見し、大きく広がる

トは、設計時に予想していなかったような物が生産ライン

前に素早く対処することを目指しているといえる。ヒュー上を流れてくると、正常に生産を続けることが困難である

リスティックスの獲得は行わないので、同じ場面においてし、自動販売機は、外国のコインや変造コインを入れられは永久に同じ過ちを犯すことになる。

ると、誤って商品を渡してしまうこともある。これはフレー
ム問題の現れの一つである。
人工知能システムでは、単純な作業の繰り返しではなくフレーム問題の現実的な解決のためには、環境との相互作用を重視するだけではなく、その相互作用の中でフレーム問題に直面し、適切な情報の枠を経験的に獲得する機能が必要である。記号処理システムの場合には、現在のタスてフレーム問題に悩まされなくなることが期待できる。

クに必要な情報だけを内部に記述できるように学習すればここでいう認識とは、通常行われているパターン認識な良い。そのために一つには、固定された記号体系の上で、どのように人間の持つ認識をコンピュータ上で再現しよう

関係ないことを記述しないように学習する手法が考えられとするものではなくて、システム自身の必要性に基づいてる。しかし、固定された記号体系の上で情報処理を行うた

行われる認識である。従来、人工知能の分野で研究されてめには、細かい区別が必要な状況のためにあらかじめ十分

きた認識（分類）の学習では、分類の結果を利用する人間に記号を用意しておかなければならないので、記号体系はによって、カテゴリに意味が与えられていた。従って、シス

通常非常に冗長で自由度の大きいものとなる。そのために、テム内部だけでは認識系が完結せず、カテゴリに意味を与

関係ないことを無視するために必要な知識だけでも膨大にえる人間を含めて認識系が構成されていると考えられる。

なるし、 Dennett のロボット

一方、認知行動システムで行う認識の学習では、システム

R2 D1 のように、無視する作

業だけで手一杯になってしまう [2]。これもフレーム問題の全体が環境中でうまく行動できるという基準で、カテゴリ

現れの一つに他ならない。

に意味を持たせることができる。この場合には、うまく行記述の量を減らすためには、もう一つには、記号体系の動できるようなカテゴリを構成するための指標をシステム

自由度を小さくする手法が考えられる。すなわち、現在のに与えてやる必要があるが、人間が直接カテゴリに意味をタスクの遂行に必要なことだけを十分コンパクトに書ける与えるのと比べると、はるかに自律的なシステムとなる。

ような記号を経験的に獲得するアプローチである。これは「抽象化の学習」、または「認識の学習」とみなせる。このアプローチにおいては、情報処理に用いる記号は、ロボット
自身がタスクに対する有用性に基づいて環境中から抽象して作り出す。環境の変化などで記号が不適切になった時には、適切になるように修正する。この場合には、現在のタスクに関係ない事象は記述することができないので、記述の量の爆発に悩まされることはない。情報処理の時間に関しては、認識の学習を行う場合には、その分だけシステムの計算量が増える。しかし認識の学習では、各瞬間には情報の枠を少し修正するだけなので、計算量をほぼ一定に少なく抑えることができる。一方、関係ない事象を無視するための推論は、環境によっては際限なく続くことになる。
このアプローチでは、無視するための計算が必要ないので、情報処理の時間も抑えられることが期待できる。

3

3.2

認識の学習と認識された表象の上での学習の並列実行

認知行動システム中で、認識の学習と認識された表象の上での学習を並列的に実行することを考える。具体的には、
図 1に示すようなシステムを考える。環境とのフィードバッ
クループとしては、環境からの知覚入力を知覚入力空間上で分節して記号空間にマッピングし、記号空間上で推論を行って行動を出力する。学習としては、行動出力とそれによる環境の変化に基づいて、知覚入力空間上での認識の学
習と記号空間上での記号間の関係の学習を行う。認識の学
習としては、タスク遂行の必要性に応じて、記号に対応す
る知覚入力空間中の領域を絶えずゆっくりと調整し続けな
がら、さらに大きな変更が必要な時には、記号の生成や削除を行う。

認識の学習を行う認知行動システム

3.1

認識の学習を行う認知行動システム

人工知能の領域で最も一般的に用いられている抽象化は記号化である。記号表現では、知識をまとまった塊として扱うことができるので、「抽象化された表象に意味付けしやすい」、「情報処理の過程がわかりやすい」、「知識の再利用がしやすい」などの利点が得られる。
記号処理に基づく認知行動システムでは、専ら、ルールの学習や論理に基づく学習などの固定された記号体系の上での記号間の関係の学習が行われてきた。記号の学習（すなわち認識の学習）は記号間の関係の学習よりもはるかに

図 1: 認識の学習と記号間の関係の学習の並列実行

ゆっくりと進むものなので、近似的に記号体系を固定する

このように、認識の学習と認識された表象の上での学習ことができる。その方が効率の面では優れている。しかし、を、オンラインで（すなわち、タスクを遂行しながら）並列

2節で述べたように、実世界中の複雑なタスクに対して記号して行うことによって、環境とタスクにとって必要十分な体系を前もって適切に定めることは、一種のフレーム問題

記号体系を獲得することが期待できる。また、未知の環境であり、非常に困難である。認知行動システムにおいて認や環境の変化に柔軟に適応することが可能になる。これは、識の学習を行うことによって、不慣れな環境に徐々に慣れ

2節で述べたように、フレーム問題を現実的に解決するため

に重要な機能である。一方、認識の学習を常に行い続ける態を分割することは想定しているが、一度分割した境界線

ことは、効率の面では短所となる。また、タスクをうまくは固定してしまうので、柔軟性にはやや欠けるといえる。

遂行できるような分節を行うための指標を定めなければな

本稿で提案するシステムでは、タスクを遂行しながら状態

らないという新たな問題が生じる。これらは、フレーム問を切り出し、切り出した後も状態の形状を調整し続けるよ

題を現実的に解決するためには、積極的に取り組まなけれうな認識の学習を行う。この柔軟性は、不慣れな環境に徐々ばならない問題であると考えることができる。

に慣れてフレーム問題に悩まされないようになるためには

本稿では、フレーム問題の現実的な解決を目指して、認識の学習と認識された表象の上での学習を並列して行う認知行動システムを提案する。
3.3

状態認識の学習と行動の強化学習の並列実
行

非常に重要である。

4システムの概要
この節では、認識の学習と記号間の関係の学習を共に行う認知行動システムとして、状況遷移ネットワークシステ
ム（Situation Transition Network System、 STNS）を提認識の学習と認識された表象の上での学習をともに行う

案し、その概要を説明する。 STNS は、図 2に示すように、

認知行動システムは、機械学習の一種、強化学習の領域で

状況認識器と、状況遷移ネットワークと、複数の行動モ

わずかに研究が行われている。強化学習とは、「学習者がジュールからなる。一回の動作では、センサから与えられる

環境中で行動を起こし、それに対して環境から与えられる連続的な知覚入力から状況認識器を用いて現在の状況を認「報酬」に基づいて、徐々に環境に適した行動パターンを獲識し、状況遷移ネットワーク上で部分的プランニングを行っ得していく学習」のことであり、通常は離散化された状態て、一つの行動モジュールを作動させる。

表現の上での行動規則の学習を意味する。従って、記号間の関係の学習に相当する。そして、強化学習の前処理としての知覚入力の離散化の学習が、認識の学習に相当する。
知覚入力は状態表現に離散化されるので、この学習は「状態認識の学習」である。
強化学習では、記号として「状態」を表す記号しか用いないので、認識の学習と組み合わせるのが容易である。また、タスクを「報酬」という形で端的に表現していて、この報酬を認識の学習のための指標として用いることができるという点でも都合が良い。そのため、本稿で提案するシステムでも、記号間の関係の学習として、強化学習を用いる1 。

図 2: システムの構成

強化学習システムと組み合わせる認識の学習としては、

STNS は、環境中で何か評価し得る出来事が起こった時

フレーム問題を現実的に解決するという観点から考えると、に、環境から報酬を得る。報酬というのは、一般に強化学

連続入力から、オンラインで、報酬の類似度に基づいて学習で用いられている報酬と同様に、数値で与えられる評価

習を行うことが望ましい。連続入力が可能であるという性のことである。 STNS は、この報酬に基づいて、状況認識

質は、実世界からの知覚入力のためには欠かせない。オンの学習と行動規則の学習の両方を行う。状況認識の学習のラインで学習を行うという性質は、現在のタスクへの特化ために「Adaptive Situation Recognition based on Re-と環境の変化に対する適応性のために欠かせない。また、強化学習においてはタスクは報酬の中に表現されているので、知覚入力空間の分節のための指標として報酬を用いる
ことは、タスクにとって適切で抽象度の高い抽象化のため

wards （ASRR）」を、行動規則の強化学習のために「Interleave Planning-based Reinforcement Learning（IPRL）」を提案する。
ASRR では、知覚入力、報酬、および行動の類似度に基に望ましいといえる。強化学習のための状態認識の学習法

づいて同一とみなし得る領域、すなわち「状況」2 を連続的は数多く存在するが、連続入力から、オンラインで、離散な知覚入力空間（または単に「入力空間」と呼ぶ）から切り的な状態表現（すなわち記号表現）を、報酬に基づいて学出し、その後の経験に基づいて形状を調整しながら維持す

習す る手 法 は、 筆者 ら の知 る 限 りで は、 石黒 ら の EOPる。この状況表現では、固有の意味を持った抽象度の高い（empirically obtained perceiver）を用いる手法 [3] だけ

領域を表すことができる。

である。しかし、この手法では、タスクを遂行しながら状

IPRL では、状況表現の上で行動規則の強化学習を行う。

1 しかし、強化学習システムは、記号として「状態」しか用いることが具体的には、状況間の遷移確率と各遷移で得られる報酬のできないので、記号処理システムとしては非常に単純なものである。将来
的には、さらに複雑な記号処理システムと認識の学習を組み合わせる方向に拡張していく必要がある。

期待値を最尤推定してワールドモデルを構成し、その上で2 一般的な強化学習における「状態」に相当する。

前向きの部分的プランニングを行うことによって行動を決

5.1

状況の認識

定する。学習としては、ワールドモデルの最尤推定しか行

ASRR では、入力空間は図 3a のように分割される。状況

わないので、状況表現が変化しても、行動規則を素早く収の認識には、図 3b に示す判別木を用いる。判別木の各ノー束させることができる。

ドにおいては、現在の知覚入力が、入力空間中の各ノード

STNS では、 ASRR と IPRL を組み合わせて、状況認識が対応する領域に入るか、入らないかで判別を行う。各状と行動規則を、タスクを実行しながら同時に学習する。そ況は重なりあっていて、上にある状況から順に判別が行わのため、状況の形状が適切であれば行動はタスクを成功される。状況として切り出されていない余白部分の領域は、

せるし、行動がタスクを成功させ続ければ状況の形状が適

状況 0 と名付ける。

切に維持される。この状況と行動の相互依存関係によって、タスクに特化しながら環境やタスクの変化に柔軟に適応できる認知行動システムが実現できる。また、このオンライン学習によって、入力空間中の、タスクを実行する上で頻繁に経験する領域について、特に詳しく学習することができるので、学習が効率的に進む。

ASRR と IPRL における学習は、図 2に示すように、システムがタスクを実行しながら観測した知覚入力、認識された状況、選択された行動、得られた報酬をデータとして行われる。このデータは、一定期間、履歴データベースに蓄えられて、その後、消去される。そのため、環境やシステム

a. 入力空間（2 次元入力の場合）
b. 判別木図 3: 入力空間と判別木（0 〜 7 は状況を示す）の内部表現が変化した場合にも、古過ぎるデータに惑わされることなく柔軟に対応することが期待できる。
続いて、 ASRR について説明する。頁数の関係上、本稿では、 IPRL に関する説明は割愛する。詳細な説明は文献[6]、簡単な説明は文献 [5] を参照されたい。

ASRR においては、状況 0 以外の各状況が固有の意味を持っている。それは、「その状況から特定の行動（条件行動と呼ぶ）をすると、特定の結果が得られる」という意味である。特定の結果には、「大きな正の報酬が得られる」という結果と、「他の特定の状況に遷移する」という結果の二種類がある。前者の結果を意味として持つ状況を R 状況

5

（Reward の R）、後者の結果を意味として持つ状況を T 状

状況の認識とその学習

況（Transition の T) と名付ける。
状況 0 以外の状況の形状は、その状況の意味に対して定STNS では、 ASRR を用いて、知覚入力空間中の特定の領域、すなわち「状況」に相当する記号を学習する。 ASRR

められる正事例と負事例によって決定される。正事例とは、において、各状況の意味は行動の結果の類似性によって定の結果が得られたデータのことである。負事例とは、その義される。類似性の基準は環境から与えられる報酬とする。

状況に分類されたデータのうち、条件行動をして特定の結すなわち、一つには、ある特定の行動によって大きな報酬果が得られなかったデータのことである。

履歴データベース中の全データのうち、条件行動をして特定が得られる領域を状況として切り出す。また、もう一つに状況の認識は、図 4に示すように、巨視的な認識と微視的は、ある特定の行動によってそのような報酬の見込みの高な認識を組み合わせて行う。巨視的な認識では、入力空間

い既存の状況に遷移する領域を状況として切り出す。切り

中の正事例集団からのマハラノビス距離がある値以下の領出した後も、状況と行動の相互依存関係によって、状況の域、すなわち超楕円体の内部を状況とみなす。微視的な認形状を常に調整し続ける。そのため、状況を、データが不十

識では NN 識別法（nearest neighbor classi cation）を用

分な早期の段階で切り出し、データが増えるにつれてタスいる。ただし、 NN 識別法で通常用いられるユークリッド

クに適応させることができる。その結果、学習が速く進む

距離の代わりに、正事例集団の標準偏差で標準化した距離ことが期待できる。また、状況を環境の変化に適応させるを用いる。

ことができる。このように行動の結果の類似性に注目する状況に入るかどうか判別する際には、まず現在の知覚入ことによって、エージェント自身の環境中での経験のみに基

力が超楕円体の内部に入るかどうかを調べ、内部に入る場

づいた記号の定義が可能になる。このような手法によって、合は NN 識別法によりその状況に入るかどうかを調べる。

抽象度が高い状況を切り出すことができる。強化学習の状

超楕円体は簡単なパラメータだけで表現されるので、巨視

態表現の学習法として状態の形状の調整を行う手法は他に的な認識法では認識や学習のための計算が非常に速い。し見当たらず、 ASRR が斬新な手法であるといえる。

かし、境界面が整い過ぎているので、図 4a に示すように、

動で R 状況 A に到達する T 状況 B …というように、次々に状況を抽出し、入力空間を分割しながら学習が進む。

ASRR では、状況を動的に維持するために、次のような操作を行っている3 。

1. 新たなデータが得られる度に、正事例集団、負事例集団を更新する。
図 4: ASRR による認識 (○は正事例、×は負事例）

2. 正事例集団から各正事例までのマハラノビス距離を定期的に調べて、最も遠い正事例までの距離を超楕円体の境界とする。

誤分類を避けることができない。そこで、微視的な認識法を組み合わせる必要がある。

NN 識別法による微視的な認識では、非常に精密に判別することができる。また、学習は、事例の位置を記憶するだ

3. 報酬に近い状況が上になるように、定期的に状況の重なり方を更新する。

けなので、非常に速い。一方、記憶容量と認識のための計

4. 状況の意味が不適切である場合に、意味を切り替える。

算時間がかなり大きいということが欠点である。 ASRR で

5. 維持できない状況、不要な状況を削除する。

は、 NN 識別法を用いる前に巨視的な認識で足切りを行う
ことによって、計算時間を節約している。また、負事例が不足すると、図 4b に示すように、 NN 識別法だけではあちこ
ちに破れが生じる。巨視的な認識を組み合わせることによって、図 4c に示すように、この破れを補うことができる。

6

実験
STNS の性能を調べるために、コンピュータシミュレー

ションで、ナビゲーションの実験を行った。頁数の関係上、

ASRR では、多くの事例（特に正事例）によって状況の本稿では、 STNS が獲得した状況認識の様子を簡単に示す

形状を維持している。これらの事例は、システムが報酬をにとどめる。学習の過程やシステムの性能などの詳細は、集める過程で頻繁に経験されたものである。そのため、

文献 [6] を参照されたい。

ASRR における状況は、報酬に到達するために通過する経路としての役割を持つ。
5.2

状況認識の学習6.1

2 次元入力のナビゲーション

まずはじめに、簡単な 2 次元入力のナビゲーション問題の結果を示す。問題の設定を図 5に示す。

ASRR では状況の抽出と動的な維持によって、状況認識の学習を行う。 ASRR における状況抽出の条件は、次の二つである。

1. R 状況 全入力空間中で、ある特定の行動によって特定rR 以上）報酬が得られたデータが、の大きな（ min

R 個以上存在する。
Ninit

T 状況 状況 0 の中で、ある特定の行動によって状況 0
R 以上）
以外の特定の状況に遷移し、大きな（rmin
T 個以上存報酬が得られなかったデータが、 Ninit
在する。

2. 既存の状況の中に、同じ意味を持つ状況が存在しない。

図 5: 2 次元入力のナビゲーション問題

上の二つの条件を満たした領域は状況として抽出される。

このナビゲーション問題の政策を学習する STNS をつく抽出する際に、抽出条件中の特定の行動を条件行動にして、り、シミュレーションで実験を行った。ゴールに到達した時

特定の行動の結果と共に、新たな状況の固有の意味として

は、任意の位置にゴールを、ゴール以外の位置にローバーを定められる。そして、その意味にしたがって、履歴データ

置き直して学習を続けた。学習は、平均的には、累積行動

ベース中に含まれる正事例となり得るデータを、すべてそ

数 1200 回程度で収束した。典型的な収束後の入力空間を図の状況の正事例集団に集める。負事例は、抽出時には存在

6a に、理想的な入力空間を図 6b に示す。真ん中の小円がしない。

ゴールに到達した領域である。この図から、ほぼ理想的な

ASRR では、入力空間全体が状況 0 であるところから学習を始めて、ある行動で報酬に到達する R 状況 A、ある行

状況認識と行動規則が獲得できているといえる。
3 詳しくは、文献 [6] を参照のこと。

が 10%, 15% の場合）に対しては、報酬から離れていて歪みの大きい状況が消滅して過去の大きく誤った知識の影響を断ち切った上で、生き残った状況と新たに生成した状況
で自律的に状況表現を再構成した。このような環境中の小さな変化に対して記号に対応する領域の形状を調整するシステムも、環境中の大きな変化に対して既存の記号を消去して新たな意味の記号を定義し直すシステムも、筆者らの知る限りでは、 STNS 以外には存在しない。環境の変化が
図 6: 収束後の入力空間と理想的な入力空間
次に、環境の変化に対する適応性を調べた二つの実験の結果を示す。上の実験で学習が収束した STNS （図 6a に示したもの）を用いて、環境を変化させて再学習する実験を行った。環境の変化としては、センサの取り付け角度がずれてしまう場合と、左車輪の回転速度が落ちてしまう場合

大きくて状況表現を再構成した場合にも、ゼロから学習した場合に比べて、遅くとも累積行動数約 1000 回4 遅れで同等の性能に達していて、安定性はあるといえる。
6.2

8 次元入力のナビゲーション

最後に、複雑なアプリケーションとして扱った 8 次元入力のナビゲーション問題の結果を示す。図 9a に示すように、を想定した。図 7に、センサ取り付け角度が 15°ずれた後

6.1節の問題で用いた作業空間中に障害物を一つ置いた。

に再学習された入力空間の例を、図 8に、左車輪の回転速度

ゴールは図の位置に固定した。ローバーには、ゴールセンサがもとから 15% 低下した後に再学習された入力空間の例をからの知覚入力に加えて、図 9b に示す障害物センサからの示す。この図から、環境の変化に適応して、ほぼ理想的な知覚入力を与える。障害物センサは図の範囲内で最も近い

状況認識と行動規則が獲得できているといえる。

障害物（周囲の壁を含む）までの距離を出力する。その他のタスク、報酬、行動の設定は、すべて 6.1節の問題と全く同じものを使用する。

図 7: センサ取り付け角度が 15°ずれた場合

a. 作業空間b. 障害物センサ
図 9: 問題設定

このナビゲーション問題の政策を学習する STNS をつくり、シミュレーションで実験を行った。学習が十分進んだ時（累積行動数 28000 回）の作業空間分割の例を図 10a に、
理想的な作業空間分割を図 10b に示す。これらの図に示す
ように、ゴールに近い領域では、理想的な状況と対応が取れる程度の状況認識が獲得されている。しかし、ゴールか
図 8: 左車輪の回転速度が 15% 低下した場合いずれの故障の場合も、環境の小さな変化（センサ取り
付け角度のずれが 10°, 15°の場合や、回転速度の低下が5% の場合）に対しては、状況の形状を変化させるだけで素早く対応できた。学習中の性能も、過去の知識を利用することによって、著しく悪化することなく維持したまま適応
できた。また、環境の大きな変化（センサ取り付け角度のずれが 20°, 25°, 90°, 180°の場合や、回転速度の低下

ら離れた領域では、 2 次元入力の場合と比べてはるかに長く学習しているにも関わらず、適切な状況認識が獲得できなかった。その原因は、主に、状況の形状を学習する能力の低さであると思われる。
強化学習では、最も一般的には、入力空間を均等なグリッドで分割して離散化する。この 8 次元入力の問題において、入力空間を距離は 3 段階、角度は 10°刻みで 36 段階に離散化したとすると、状態の数は 78,732 個になる。この状態表
4 履歴データベース中の全データの数に等しい。

図 10: 学習後の作業空間分割と理想的な作業空間分割
現では、分割が非常に粗く、しかもそれにもかかわらず状

本稿で提案した認識の学習を行う認知行動システムのア態の数がかなり大きいので、適切な行動政策の学習はかな

プローチは、行動に基づく知能のアプローチと対立するもり困難であると思われる。それと比較すると、 ASRR によのではなく並立するものである。 STNS では、環境とのる状況表現は、タスク遂行の必要性に応じて緻密で、かつフィードバックループは一重であり、システムと環境との相

抽象度が高いという点で優れているといえる。

互作用の点では不十分である。複雑なタスクを頑強に遂行するためには、行動に基づく知能のアプローチのように、

7

結論
本稿で提案した STNS では、認識の学習と認識された表

独立して環境と相互作用する複数のモジュールでシステムを構成し、その各々のモジュールが認識の学習を行うような仕組みが望ましいと思われる。

象の上での強化学習を並列して実行することによって、従認識の学習と認識された表象の上での学習を同時に行う

来の強化学習システムよりも柔軟な状態表現を実現してい認知行動システムは、まだほとんど扱われていない研究領る。その結果、与えられたタスクに特化しつつ、不慣れな域であり、フレーム問題の現実的な解決を目指してこの種環境に柔軟に適応できる認知行動システムを構成することの研究を発展させていくことは、実世界中の知能ロボットができた。 STNS は、記号に対応する知覚入力空間中の領を実現する上で非常に有用であると思われる。

域を、筆者らの知る中で最も柔軟に調整することができる
認知行動システムである。この柔軟性は、フレーム問題の現実的な解決のためには、非常に重要である。

参考文献[1] Rodney A. Brooks.

空間からの「状況」の抽出、記号を用いた情報処理としてコグニティブ・ホイール: 人工知能におけるフレーム問題（原題: Cognitive wheels: the frame problemof ai）. 現代思想, Vol. 15, No. 5, pp. 128{150, 1990. 信原
幸弘 訳.

[2] Daniel Dennett.

は強化学習しか行わないので認知行動システムとしては非
常に初歩的なものである。従来の人工知能システム中で用いられているようなもっと強力な記号体系、もっと複雑な[3] Hiroshi Ishiguro, Ritsuko Sato, and Toru Ishida.

今後の大きな課題である。
[4]

松原仁. 人工知能におけるロボットの役割. 日本ロボット学会
誌, Vol. 14, No. 4, pp. 478{481, May 1996.

[5]

上野敦志, 堀浩一, 中須賀真一. 自律エージェントのための状
況認識と行動規則の同時学習. 第 30 回人工知能基礎論研究会,
pp. 19{24, Sep. 1997. 人工知能学会研究会資料 SIG-FAI-

生物にも莫大な年月をかけて培われた遺伝的学習の成果が、先天的に備わっている。この種の認知行動システムにも、

9702.

何らかのアプリオリな知識を設計時に埋め込んでやり、実際の経験に基づいて、新たな知識を獲得したり、従来の知識に修正を加えたりするのが現実的なアプローチであろう。

In

Nov. 1996.

また、この種の経験に基づいて学習を行うシステムの共因の一つは、学習を全くの白紙状態から行うことであろう。

Robot

Proceedings of the1996 IEEE/RSJ International Conference on Intelligent
Robots and Systems (IROS 96), volume 3, pp. 1496{1501,
oriented state space construction.

情報処理をこの種の認知行動システム中に組み込むことは、通の欠点として学習が遅いという点があげられる。その原Intelligence without representation.

Arti cial Intelligence, Vol. 47, pp. 139{159, Jan. 1991.

しかし、このシステムは、記号の学習としては知覚入力[6]

上野敦志. 自律システムのための状況認識と行動規則の同時学
習. PhD thesis, 東京大学大学院 工学系研究科 航空宇宙工学
専攻, 1997.