(57)【要約】      （修正有）【課題】制約のない発達の能力を有する自己学習装置が、関連する感覚・運動装置により環境に対してどのような動作を行うべきかを選択することができる装置を提供する。【解決手段】ある特定の候補動作について、モチベーションモジュール１１が、関連する感覚・運動装置の性質から独立した１つ以上のモチベーション変数が取る対応値と関連付けられた報酬を計算する。好ましいモチベーション変数は装置１の発達履歴に依存しており、装置１への入力としての役割を果たす感覚・運動変数の予測可能性と習熟度と安定性とを数量化する変数を含む。感覚・運動変数は、自己学習装置１によりその行動パターンが制御される感覚・運動装置２の外部環境及び／又は内部リソース３の状態を表す。制約のない発達は、履歴依存モチベーション変数の変化率に比例する報酬を割り当てることにより可能になっている。【選択図】  図２
2005050310.tif 000002
【特許請求の範囲】
【請求項１】
環境の状態を表す１つ以上の感覚・運動変数（S(t)）のセットの値を決定するための入力手段と、
使用時に自己学習装置と協調する感覚・運動装置の動作を制御するのに好適である１つ以上の制御信号（M(t)）のセットを出力するための制御手段（１０）と、
上記制御信号（M(t)）のセットが取ることのできる候補値と関連する報酬（R(v,t)）を計算するためのモチベーションモジュールと、
上記モチベーションモジュール（１１）により制御信号の候補値が計算された報酬値に基づき、どのような値を上記制御信号（M(t)）のセットが取るのかを判断すると共に、選択された値を出力するために上記制御手段を制御するための選択手段（１０）とを備え、
上記モチベーションモジュール（１１）が、上記セット（SM(t)）の感覚・運動変数からその値が導出される少なくとも１つのモチベーション変数（ｖ）の関数（R(v,t)）を計算することにより報酬を評価するのに好適である自己学習装置であって、
上記モチベーションモジュール（１１）は、上記少なくとも１つのモチベーション変数（ｖ）の値を計算するために履歴依存計算を行うのに好適である計算装置（１５）を使用し、
上記履歴依存計算は、
ａ）上記計算装置（１５）又は少なくとも１つのモチベーション変数（ｖ）の計算時に該計算装置と共働する装置の１つ以上の時間依存内部パラメータと、
ｂ）上記セットの上記少なくとも１つの感覚・運動変数が異なる時点において取る値（SM(t)，SM(t-1)）と
の少なくとも１つに依存している
ことを特徴とする自己学習装置。
【請求項２】
請求項１記載の自己学習装置であって、
最初の時点（ｔ）における上記セットの少なくとも１つの感覚・運動変数（S(t)）の値を、より以前の時点（ｔ−１）における上記感覚・運動変数のセット（SM(t-1)）の値に基づき予測するための予測手段（１２）をさらに備え、
上記モチベーションモジュール（１１）は、上記予測手段（１２）により行われる予測の精度を示す予測可能性モチベーション変数（P(t)）の関数（R(v,t)）を計算することにより報酬を評価するのに好適である
ことを特徴とする自己学習装置。
【請求項３】
請求項２記載の自己学習装置であって、
上記最初の時点（ｔ）における予測可能性モチベーション変数（P(t)）の値が以下の式
【数１】
2005050310.tif 000023
により計算され、
e(SM(t-1),S(t))は、最初の時点（ｔ）における上記セットの少なくとも１つの感覚・運動変数（S(t)）の値を、より以前の時点（ｔ−１）における上記感覚・運動変数のセット（SM(t-1)）の値に基づき予測した場合における上記予測手段（１２）の予測誤差である
ことを特徴とする自己学習装置。
【請求項４】
請求項２又は請求項３記載の自己学習装置であって、
上記予測手段（１２）は、隠れ層を有する再帰型Elmanニューラルネットワークとプロトタイプベース予測システムとからなるグループから選択された少なくとも１つの装置からなる
ことを特徴とする自己学習装置。
【請求項５】
請求項１記載の自己学習装置であって、
感覚・運動変数のセット（SM(t-1)）の第１の値から感覚・運動変数 (S(t)) の第２の値への遷移の頻度を決定するための頻度チェック手段をさらに備え、
上記モチベーションモジュール（１１）は、上記最初の時点 (ｔ) における習熟度モチベーション変数（F(t)）の関数（R(v,t)）を計算することにより報酬を評価するのに好適であり、上記習熟度モチベーション変数（F(t)）が、頻度チェック手段により決定された、上記より以前の時点（ｔ−１）における感覚・運動変数のセットの先行値（SM(t-1)）から上記最初の時点（ｔ）における感覚・運動変数のセットの値（S(t)）への遷移の頻度を示している
ことを特徴とする自己学習装置。
【請求項６】
請求項５記載の自己学習装置であって、
上記最初の時点（ｔ）における習熟度モチベーション変数（F(t)）の値が以下の式
【数２】
2005050310.tif 000024
により計算され、
fT(SM(t-1),S(t))は、上記最初の時点（ｔ）に先行する第１の長さ（Ｔ）の期間において感覚・運動変数のセットの先行値（SM(t-1)）から上記最初の時点（ｔ）における感覚・運動変数のセットの値（S(t)）への遷移が起こった回数である
ことを特徴とする自己学習装置。
【請求項７】
請求項１記載の自己学習装置であって、
上記第１の長さ（Ｔ）の期間全体についての上記感覚・運動変数（ｓｉ）の１つの平均 （＜ｓｉ＞Ｔ）を決定するための平均装置をさらに備え、
上記モチベーションモジュール（１１）は、上記最初の時点（ｔ）における上記感覚・運動変数（ｓｉ）の値が上記第１の長さ（Ｔ）の先行期間全体についての平均（＜ｓｉ＞Ｔ）にどの程度近いのかを示す安定性モチベーション変数（σi(t)）の関数（R(v,t)）を計算することにより報酬を評価するのに好適である
ことを特徴とする自己学習装置。
【請求項８】
請求項７記載の自己学習装置であって、
上記最初の時点（ｔ）における安定性モチベーション変数（σi(t)）の値が、以下の式
【数３】
2005050310.tif 000025
により計算され、
si(t)が上記最初の時点（ｔ）における上記感覚・運動変数の値である
ことを特徴とする自己学習装置。
【請求項９】
請求項１乃至請求項８のいずれか１項記載の自己学習装置であって、
上記モチベーションモジュール（１１）は、上記少なくとも１つのモチベーション変数（ｖ）の値を最大化する報酬を生成する報酬関数（rmax(v,t)）を適用するのに好適である
ことを特徴とする自己学習装置。
【請求項１０】
請求項１乃至請求項８のいずれか１項記載の自己学習装置であって、
上記モチベーションモジュール（１１）は、上記少なくとも１つのモチベーション変数（ｖ）の値を最小化する報酬を生成する報酬関数（rmin(v,t)）を適用するのに好適である
ことを特徴とする自己学習装置。
【請求項１１】
請求項１乃至請求項８のいずれか１項記載の自己学習装置であって、
上記モチベーションモジュール（１１）は、上記少なくとも１つのモチベーション変数（ｖ）の増加を最大化する報酬を生成する報酬関数（rinc(v,t)）を適用するのに好適である
ことを特徴とする自己学習装置。
【請求項１２】
請求項１乃至請求項８のいずれか１項記載の自己学習装置であって、
上記モチベーションモジュール（１１）は、上記少なくとも１つのモチベーション変数（ｖ）の減少を最大化する報酬を生成する報酬関数（rdec(v,t)）を適用するのに好適である
ことを特徴とする自己学習装置。
【請求項１３】
請求項１乃至請求項１２のいずれか１項記載の自己学習装置であって、
上記モチベーションモジュール（１１）は、個々の異なるモチベーション変数（moti）に基づき２つ以上の報酬変数（r(moti)）を適用すると共に、上記２つ以上の関数の加重合計に基づき上記制御信号のセットの候補値（ｍｉ）と関連する全報酬（R(M(t)）を計算するのに好適である
ことを特徴とする自己学習装置。
【請求項１４】
請求項１乃至請求項１３のいずれか１項記載の自己学習装置であって、
感覚・運動変数及びモチベーション変数（SM(t)，moti）の将来値を予測するための予測モジュール（１２）をさらに備え、
上記予測モジュールは、上記制御信号（M(t)）の複数の候補値（ｍｉ）の各々について、一連の将来の時点における感覚・運動変数及びモチベーション変数（SM(t)，moti）の将来値を再帰により予測するのに好適であり、
上記モチベーションモジュール（１１）は、複数の候補値（ｍｉ）の各々について、上記一連の時点におけるモチベーション変数の上記予測値に対応する一連の予想報酬の合計である報酬値（Rmi(t)）を計算するのに好適である
ことを特徴とする自己学習装置。
【請求項１５】
自律型ソフトウェア又はハードウェアエージェント（２）である感覚・運動装置であって、
請求項１乃至請求項１４のいずれか１項記載の自己学習装置（１）と、
エージェント（２）に対して内部及び外部の環境からなる環境の特性を感知するのに好適な１つ以上のセンサのセット（Ｓ，ＩＲ）と、
上記自己学習装置（１）の制御手段（１０）により出力される制御信号（M(t)）に従って環境に作用するための手段（Ａ）とを備え、
１つ以上の感覚・運動変数のセット（SM(t)i）は、上記センサのセット（Ｓ，ＩＲ）からの出力に対応する変数を含む
ことを特徴とする感覚・運動装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自己学習装置のアーキテクチャに関するものである。より詳しくは、本発明は、新しいノウハウ（「生涯学習」を行う能力と記すこともある。）を継続的に獲得するのに好適な自己学習装置に関するものである。
【背景技術】
【０００２】
本発明は、一般的にはロボット装置のような感覚・運動装置に適用される。
【０００３】
ここで、本明細書において「感覚・運動」と表現する場合の「運動」という用語は、物理的動作を必ずしも伴うものではないと理解されたい。用語「運動」は、用語「感覚」とは反対に、エージェントの環境についての知覚というよりは、装置又はエージェントの環境に対する作用を表すために使用される。ロボット装置の場合、「運動」という用語は、例えばその頭部姿勢の変更、関節角度の変更のような、装置により行われる物理的動作を表すこともできる。しかしながら、ソフトウェアにより実現される自律型エージェントの場合、「運動」という用語は、その環境に影響を与えるためにエージェントが出力する信号を表すこともできる。
【０００４】
開発途上のロボット工学の目的は、生涯学習を行う能力を備えた装置を製作することにある。そして、この分野における研究課題の１つとして、ロボット装置の感覚・運動能力を拡張できるような設計原理を見つけることが挙げられる。これらのロボット装置は、通常、初期段階において不完全な知覚能力及び動作能力しか有していないが、その「経験」に基づいて新しいノウハウを自律的に試みる。研究者の中には、ボトムアップメカニズムを用いることにより、如何にしてある特定の能力が現れるのかを研究している者もいる（例えば、文献「“Learning and communication in imitation: an autonomous robot perspective” by P. Andry et al, IEEE Transactions on Systems, Man and Cybernetics, Part A: Systems and Humans, 31(5):431-444, Sept. 2001」、文献「 “Better vision through manipulation” by G. Metta and P. Fitzpatrick, from “Proceedings of the second international workshop on epigenetics robotics: modeling cognitive development in robotic systems”, p.97-104, ed. C. Prince et al, 2002」、文献「“A developmental approach accelerates learning of joint attention” by Y. Nagai et al, Proceedings of the second international conference of development and learning, 2002」、及び文献「“Articulations of sensory-motor experiences by forwarding forward model” by J. Tani in “From animals to animats 7”, pub. MIT Press, Cambridge Ma., USA, 2002」を参照。）。
【０００５】
ノウハウを自律的に試みる動機付け（モチベーション）を与えるためには、様々なタイプのシステムを考えることができる。従来、モチベーションシステムはタスク依存であった。実行可能な１つのアプローチとしては、ロボット装置自らが、獲得すべき動作に好適な報酬関数を定義することが挙げられる。エージェントが所望のタスクを行う場合、エージェントは、一般的には環境又は外部ユーザからフィードバック（報酬）を受け取る。最先端の機械学習技術の中には、如何にしてロボット装置がかかる報酬関数を最大限にするための動作を学習できるかを示しているものもある（例えば、文献「“Reinforcement learning: A survey” by L. P. Kaelbling et al, Journal of Artificial Intelligence Research, 4, 1996」を参照。）。
【０００６】
図１Ａは、報酬関数を最大限にするよう行動するのに好適な従来の行動ベースのエージェントのアーキテクチャを示す概略図である。図１Ａに示すように、従来のエージェントのアーキテクチャは、３つの過程、すなわち「状況認識」過程、「モチベーション」過程及び「作動」過程の相互作用として表現することができる。
【０００７】
「状況認識」過程は、現在何が起こっているのかを決定又は特徴付ける役割を果たすと共に、それを「理解する」又はコンテキストに組み入れる役割を果たすエージェント内部の構成部及び機能に対応している。この過程では、（エージェントのセンサにより知覚された）外部環境の状態がどのようなものであり、内部環境（すなわち、エージェントの内部システム及び／又はリソース）の状態がどのようなものであり、エージェントにより示されている現在の動作がどのようなものであるかを（例えば、エージェントの四肢の位置、或いはその頭部の姿勢等がどのようなものであるかを）調べることにより、起こっていることを決定する。
【０００８】
「状況認識」過程は、一般的には、現在の状況と比較することができる知識ベース又はモデルを有することになる。これにより、エージェントは、現在の状況を「理解する」こと、及び／又はそれをコンテキストに組み入れることができるようになる。例えば、エージェントは、現在の状況が以前に起こったことがあるか否かを判断し、もし起こったことがある場合には、さらにどの程度の頻度で起こったのかを判断すること、又は現在の状況（例えば、「私は木の下にいる」）に対してラベル付けすることができる場合もある。また、この過程では、過去の経験に基づき、感覚レベルと運動レベルとの両方において、近い将来に何が起こるのかを予測することができる場合もある。一般的に「状況認識」過程では、エージェントが現在経験している感覚・運動の推移を認識している。エージェントの知識ベース又はモデルをエージェントの経験に応じて動的に更新するという提案もなされている。
【０００９】
「作動」過程は、エージェントが次にどの動作を行うべきかを判断して実行するエージェント内部の構成部及び機能に対応している。一般的に「作動」過程では、「状況認識」過程及び「モチベーション」過程からのデータに基づき、最大の報酬を得るためにはどの動作を行うべきかを判断することになる。
【００１０】
「モチベーション」過程では、任意の感覚・運動状況の望ましさを評価する。結果的に大きな報酬に繋がるのであれば、その状況は望ましいと考えられる。従来の「モチベーション」過程では、エージェントにより行われる動作の結果として起こり得る状況の望ましさを評価している。したがって、「モチベーション」過程からの出力は、エージェントが行うべき動作を選択する際に役割を果たす。
【００１１】
幾つかの公知のシステムにおいては、幾つかの内的な「モチベーション変数」が定義され、報酬関数と関連付けられている。エージェントは、報酬関数により評価された「報酬」を最大化する行動パターンを採用する。典型的には、モチベーション変数は、それぞれエージェントの内部システムの状態及びエージェントのセンサ入力の状態を表す内部変数及び外部変数の値から計算される。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
従来、モチベーション変数とそれに関連付けられた報酬関数とは、ロボット装置が学習しなければならないタスクに固有のものであった。これは、獲得すべき新しい動作毎に、設計者が新しいモチベーション変数と報酬関数とを定義しなければならないということを意味している。例えば、仮にエージェントにとって所定レベルの水分量を維持することが重要である場合には、エージェントは、現在の水分量レベル（感覚・運動変数としての「水分量レベル」を構成する出力）と「喉の渇き」のようなモチベーションを表すモチベーション変数とを検出するセンサを有することになる。そして、「水分量レベル」の変数が許容範囲の下限又はそれに近い値に達した場合には、関連付けられたモチベーション変数である「喉の渇き」が大きな値を取ることになる。このモチベーション変数は、正しい水分量を維持するというタスクに固有のものであり、何か他の目的のために流用することは容易ではない。
【００１３】
さらに、報酬関数の目的は、通常は、エージェントが入力感覚・運動変数を所定の範囲内に維持する動作を採用することを保証することにある。例えば、エージェントの正しい動作を保証するために、感覚・運動変数である「水分量レベル」を所定の範囲内に維持することが必要な場合がある。したがって、モチベーション変数である「喉の渇き」の値を最小化する動作に対して大きな報酬が関連付けられるように、報酬関数が設計されることになる。
【００１４】
本発明の好ましい実施の形態では、内的モチベーションによってのみ動かされ、白紙の状態から新しい能力を獲得することができる新しい種類のシステム（「自己学習装置」とも称される。）を提供する。この装置で用いるモチベーション原理は、あらゆる特定のタスクから独立している。その結果、これらのモチベーション原理は、感覚・運動能力の開発への一般的アプローチの基礎を構成することができる。
【００１５】
本発明の好ましい実施の形態では、内的モチベーション変数が履歴依存であるようなモチベーションシステム、すなわち、モチベーション変数の値が自己学習装置の学習履歴に（関連した感覚・運動変数が異なる時点において取る値に、又は１つの装置又はモチベーション変数の計算の際に共働する複数の装置の内部パラメータの推移に）依存するようなモチベーションシステムを用いる。
【００１６】
本発明の好ましい実施の形態では、モチベーション変数を単に最小化又は最大化するのではなく、内的モチベーション変数の値の変化率（すなわち、導関数）に比例する報酬に基づき行動パターンを選択することができる新しい種類の装置も提供する。
【課題を解決するための手段】
【００１７】
本発明は、環境の状態を表す１つ以上の感覚・運動変数のセットの値を決定するための入力手段と、使用時に自己学習装置と協調する感覚・運動装置の動作を制御するのに好適である１つ以上の制御信号のセットを出力するための制御手段と、上記制御信号のセットが取ることのできる候補値と関連する報酬を計算するためのモチベーションモジュールと、上記モチベーションモジュールにより制御信号候補値が計算された報酬値に基づき、どのような値を上記制御信号のセットが取るのかを判断すると共に、選択された値を出力するために上記制御手段を制御するための選択手段とを備え、上記モチベーションモジュールは、上記セットの感覚・運動変数からその値が導出される少なくとも１つのモチベーション変数の関数を計算することにより報酬を評価するのに好適である自己学習装置であって、上記モチベーションモジュールは、上記少なくとも１つのモチベーション変数の値を計算するために履歴依存計算を行うのに好適である計算装置を使用し、上記履歴依存計算は、ａ）上記計算装置又は少なくとも１つのモチベーション変数の計算時に該計算装置と共働する装置の１つ以上の時間依存内部パラメータと、ｂ）上記セットの上記少なくとも１つの感覚・運動変数が異なる時点において取る値と、の少なくとも１つに依存することを特徴とする自己能力啓発装置を提供する。
【００１８】
本発明に係る自己学習装置は、特定のタスクから独立したモチベーション原理により動かされてその行動パターンを自発的に変えるため、同じ「エンジン」を様々な感覚・運動発達問題に適用することができ、同じ装置を生涯学習の過程に関与させることができる。
【００１９】
さらに、モチベーションモジュールにより適用される変数は、履歴依存変数であり、モチベーション変数の値は、基本的な感覚・運動変数の長期間に亘る推移又はモチベーション変数の計算に関与する装置の内部パラメータの長期間に亘る推移により決まることになる。
【００２０】
履歴依存モチベーション変数を使用することにより、特定の行動パターンを選択する際に自己学習装置が入手可能な報酬は、装置の履歴の結果として長期間に亘って変化する。したがって、報酬を得るために必要な行動パターンは、自己学習装置の発達又は経験に従って変化する。
【００２１】
好ましくは、履歴依存モチベーション変数に大きな変化がある場合には、モチベーションモジュールが計算する報酬の値が増加する。これにより、自己学習装置は、無制限の発達へと進むことになり、自己学習装置が新しい感覚・運動能力を獲得するにつれて、環境に対する「認識」を拡大することに繋がる。自己学習装置は、環境（及びそれ自体に関連するあらゆるアクチュエータ）を感覚・運動探索により発見する。自己学習装置が状況を認識するのは、環境に対して動作を起こすことによる。この感覚・運動探索は無制限に続くため、装置の「認識」は増大し続ける。
【００２２】
自己学習装置の発達の仕方は、（ａ）自己学習装置が関連付けられている感覚・運動装置の制約条件と、（ｂ）自己学習装置が置かれている環境とによって決まる。このタイプの２つの独立した自己学習装置は、（ａ）により類似する傾向を示し、（ｂ）により異なる傾向をも示すような発達経路に関与する。各自己学習装置は、独自の発達経路を辿るため、装置の履歴から生まれるこの独自性がこの装置を価値あるものにしている。
【００２３】
本発明において使用することのできる好ましいタイプの履歴依存モチベーション変数の例は、自己学習装置に入力される感覚・運動変数の予測可能性と習熟度と安定性とを表す変数である。
【００２４】
本発明によれば、モチベーションモジュールは、典型的には単一のタイプの履歴依存モチベーション変数に関連する単一の報酬関数（例えば、システムの予想可能性が高くなった場合には大きな値を取る報酬関数）に基づき、運動制御信号候補セットと関連する報酬を決定することになる。しかしながら、運動制御信号の候補セットと関連する全報酬を評価するために加重合計を使用して、２つ以上の報酬関数を考慮に入れることも可能である。
【００２５】
本発明の１つの好ましい実施の形態においては、自己学習装置は、感覚・運動変数及びモチベーション変数の一連の将来値を再帰的に予測する能力を有する予測モジュールを含む。制御手段は、異なる制御信号の候補セットのグループを生成し、モチベーションモジュールは、モチベーション変数がその候補セットについて予測モジュールが予想した一連の将来値を取る場合に得られることが予想される一連の報酬に基づき、そのグループ内の各候補セットについての予想報酬を計算する。そして、最大予想報酬をもたらす候補セットが出力用として選択されることになる。
【００２６】
本発明に係る自己学習装置は、実質的には、自己学習装置が関連付けられている自律エージェントがどのような動作を行うべきかを判断する行動パターンエンジンである。使用中には、この行動パターンエンジンは、典型的には、外部環境の特性及び／又は装置の内部リソースの状態を決定するためのセンサを含むと共に、選択された動作を実行するためのアクチュエータ及び／又は信号発生器も含む（ロボット装置のような）装置の制御部の一部を形成する。
【００２７】
本発明のこの形態によれば、制約のない学習能力を有するロボット装置（又は自律型エージェント）を得ることができる。
【００２８】
本発明の前記目的と、その他の目的、特徴及び効果は、例証として挙げられ添付図面により示されたその好ましい実施の形態についての明細書の説明から明瞭になるであろう。
【発明を実施するための最良の形態】
【００２９】
以下、本発明に係る自己学習装置の一般的なアーキテクチャについて説明し、次いで、新しい感覚・運動ノウハウを獲得するためにこのアーキテクチャを如何に使用するかを示した幾つかの例について詳細に説明する。
【００３０】
以下の詳細な説明においては、自己学習装置がある種のロボット装置に適用されており、そのロボット装置が外部環境との関係において１つ以上のアクチュエータを介して行動するものと仮定する。しかしながら、本発明の自己学習装置は、物理的動作を含まない方法によって環境に作用するソフトウェアエージェント等としても実現可能であるということを理解されたい。
【００３１】
図２は、ロボット装置２の動作エンジンとしての役割を果たす本発明の好ましい実施の形態による自己学習装置１の主要構成部を示したものである。すなわち、ロボット装置２の動作は自己学習装置１により制御される。
【００３２】
自己学習装置（Self-Developing Device；ＳＤＤ）１は、感覚・運動装置であり、ロボット装置２の内部環境についての情報（すなわち、ロボット装置２の内部リソース３の状態に関するデータ）をインターフェース４を介して引き出し、外部環境についての情報をインターフェース５を介してセンサＳから得る。ＳＤＤ１は、外部環境におけるロボット装置２の現在の動作も認識している。すなわち、ロボット装置２の様々なアクチュエータＡがどのような状態であるかを認識している。ＳＤＤは、アクチュエータＡを制御し、インターフェース６を介してアクチュエータＡからデータを受け取る。
【００３３】
ＳＤＤ１は３つの主要構成部、すなわち、コントローラ（又は作動センタ）１０、モチベーションモジュール１１及び予測モジュール１２を備える。モチベーションモジュール１１は、モチベーション変数の値を計算する計算装置１５を有する。１つ以上のモチベーション変数を計算するため、計算装置１５は、例えば予測モジュール１２のような、他の構成部と共働することもできる。予測モジュールは、好ましくは現在の感覚・運動状況を入力とするとともに、将来の運動状況、将来の感覚状況及びモチベーションベクトルの将来の状態を個別に予測する３つの予測装置（Πｍ，Πｓ及びΠｍｏｔ）を含む。
【００３４】
以下では、ＳＤＤ１のアーキテクチャ及び機能についてさらに詳細に説明する。
【００３５】
入力と出力
任意の時点ｔにおいて、環境（内部及び外部）についてのＳＤＤの知覚はベクトルＳ（ｔ）で表すことができ、環境に対する動作はベクトルＭ（ｔ）で表すことができる。一般的に、ベクトルＳ（ｔ）の成分は、内部センサ及び外部センサから得られた信号の値からなり、ベクトルＭ（ｔ）の成分は、アクチュエータの状態を記述している変数の値である。一般的には、Ｍ（ｔ）は、時点ｔにおいてアクチュエータに送られた制御信号に対応することになる。アクチュエータがどのように作動するかによって、アクチュエータに対する信号Ｍ（ｔ）の効果が遅れることもある。感覚・運動ベクトルＳＭ（ｔ）は、両方の種類の情報を表す。
【００３６】
なお、ＳＤＤ１が関連付けられている感覚・運動装置２の中に存在することがあるセンサ及びアクチュエータのそれぞれに関連するデータの全てをＳ（ｔ）及びＭ（ｔ） が含んでいることは必ずしも不可欠ではない。
【００３７】
ＳＤＤの動作は、現在の知覚された（感覚）状況Ｓ（ｔ）と過去の感覚・運動状況ＳＭ（ｔ−１），ＳＭ（ｔ−２），・・・とに基づき、現在の行動パターンＭ（ｔ）をどのようなものにすべきかを決定するものである。環境の制約条件を仮定すると、ＳＤＤ１は教師なし状態でも発展することになる。
【００３８】
もう一度繰り返すと、すでに説明したように、例えばＳＤＤが様々な種類の信号を出力することにより環境に作用するソフトウェアエージェントである場合、自己学習装置は、物理的動作を必要としない態様で環境に作用することもできる。
【００３９】
アーキテクチャの概要
従来の行動ベースエージェントと同様に、本発明に係る自己学習装置のアーキテクチャは、図１Ｂに概略を示すように、３つの過程の相互作用により図式化することができる。この３つの過程は、「モチベーション」過程、「予測」過程及び「作動」過程として位置付けることができる。
【００４０】
繰り返すと、「モチベーション」過程は、ある特定の感覚・運動状況の望ましさを評価する役割を担う。１つ以上のモチベーション変数Ｍｏｔ（ｔ）のセットが定義され、報酬関数Ｒのセットと関連付けられる。本発明に係る自己学習装置の重要な特徴は、制御下にある感覚・運動装置の性質から独立したモチベーション変数を使用することにある。これらの変数は、典型的には他の２つの過程（予測過程及び作動過程）における動作に基づく内部計算から得られる（以下を参照）。「モチベーション」過程は、図２に示されたモチベーションモジュール１１により実施される。
【００４１】
計算装置１５は、ＳＭ（ｔ）に基づき、モチベーション変数Ｍｏｔ（ｔ）の値を計算する。効果的には、計算装置１５は以下の３種類の計算を行う能力を有する。
ａ）Ｍｏｔ（ｔ）の値がＳＭ（ｔ）にのみ依存する計算
すなわち、Mot(t) = f(SM(t))。
これらは伝統的な種類のモチベーション変数である。
ｂ）Ｍｏｔ（ｔ）がＳＭ（ｔ），ＳＭ（ｔ−１）等に依存するという意味において「履歴的」である計算
すなわち、Mot(t) = f(SM(t),SM(t-1),SM(t-2),…)。 
換言すれば、モチベーション変数の値は一以上の時点における感覚・運動ベクトル値に依存する。
ｃ）ＳＭ（ｔ）に基づくＭｏｔ（ｔ）の計算の方法が、計算装置の履歴及び／又はモチベーション変数の計算の際に計算装置と共働する１つ以上の他の装置の履歴により決まることから「履歴的」又は「学習依存的」である計算、
すなわち、Mot(t) = g(SM(t))。ここで、ｇは、計算装置（及び／又は共働装置）が発展するにつれて、時間と共に変化する。
【００４２】
この場合には、ある特定の時点において適用するのに適切な関数ｇがどのようなものであるかを決定するために、計算装置及び共働装置の内部パラメータについての知識を有することが必要である。これらの内部パラメータの性質は、計算装置及び共働装置の性質により決まる。もし計算の際に共働する装置の１つがニューラルネットワークからなる場合には、Ｍｏｔ（ｔ）の「タイプ（ｃ）」の計算に際して、ニューラルネットワークの現在の重み値についての知識が必要となることがある。一方、計算の際に共働する装置の１つがプロトタイプベースである場合には、Ｍｏｔ（ｔ）の「タイプ（ｃ）」の計算に際して、現在のプロトタイプのセット等についての知識が必要となることがある。計算装置１５と、予測モジュール１２のようなモチベーション変数の計算の際に共働することがある装置とは適応装置であり、その内部パラメータの値が経験に基づき変化する。したがって、(SM(t)) の関数ｇは時間と共に変化することになる。
【００４３】
「予測」過程では、感覚・運動の推移、すなわち、どのようなＳＭ（ｔ）がＳＭ（ｔ−１），ＳＭ（ｔ−２）等によって与えられるのかを予測する。「予測」過程は図２の予測モジュール１２によって実施され、この予測モジュールは、効果的にはそれぞれＭ（ｔ）、Ｓ（ｔ）及びＭｏｔ（ｔ）の予測を専用とする３つの予測装置を使用する。自己学習装置がその環境、「その認識」について有する全ての「理解」が、これらの予測装置により適用される規則の中に具体化されている。
【００４４】
最後に「作動」過程では、他の２つの過程の状態に基づき、報酬を得るためにはどのような動作を行うべきかを判断する。図２に示したように、「作動」過程は、「作動センタ」とも称されるコントローラ１０により実施される。本発明の好ましい実施の形態によれば、このコントローラ１０は以下の４つの機能を実現する。
（ａ）候補運動コマンドの生成。
（ｂ）対応する感覚・運動推移の予測（予測過程の実施、すなわち予測モジュール１２の実施による）。すなわち、候補運動コマンドを実行した場合の予測結果に基づく、ＳＭ（ｔ），ＳＭ（ｔ−１），ＳＭ（ｔ−２）等からのＳＭ（ｔ＋１），ＳＭ（ｔ＋２）等の予測。
（ｃ）対応する予想報酬に関しての各予測推移の評価（［モチベーション］過程の実施による）。
（ｄ）候補の中からの最善の（すなわち、最も報酬の得られる）運動コマンドの選択。
【００４５】
モチベーション過程、予測過程及び作動過程は、図１Ｂにおいてこれらの過程を表している円の中の矢印が示すように、ＳＤＤ１の経験に基づき発展する。ＳＤＤの認識の対象と、その動機付けの対象と、その環境に対する作用の仕方は、その発展の結果として、時間経過に従って変化する（この発展は、図１Ｂにおいて３つの過程を囲んでいる矢印により示されている）。以下では、上記３つの過程についてさらに詳細に考察する。
【００４６】
モチベーション
上記のように、モチベーション過程は、１つ以上のモチベーション変数ｍｏｔｉのセットに基づくものである。本発明では、ＳＤＤと共に、使用中の特定の感覚・運動装置から独立したモチベーション変数を使用する。少し抽象的に言えば、これらのモチベーション変数は、実質的にはあらゆる感覚・運動装置の動作とその発展とを促進するために使用することができる。さらに、これらのモチベーション変数は、ＳＤＤと関連付けられている装置が実施している特定のタスクから独立している。
【００４７】
従来、制約のない感覚・運動探索のための条件を生成するため、装置の発展履歴によりその値が決まるモチベーション変数が選択されてきた。このことは、装置が発展するにつれて、かかるモチベーションについての報酬の受け取り方が絶えず変化することを意味している。これらのモチベーション変数は、計算装置１５を用いて上記タイプｂ）及びｃ）の計算を行うことにより求められる。モチベーション変数を計算するためには、計算装置１５がＳＤＤ１の他の構成部と共働するのが効果的である場合もある。
【００４８】
本発明における好ましいモチベーション変数の例
以下には、本発明によるＳＤＤ１の実施の形態において使用され、優れた結果が得られた３種類のモチベーション変数の詳細が記載してある。そのモチベーション変数とは、「予測可能性」、「習熟度」及び「安定性」である。しかしながら、このリストは網羅的なものではないと理解すべきである。例えば、ＳＤＤの発展履歴（ＳＭ（ｔ）の発展又はモチベーション変数の計算に関係する装置の内部パラメータの発展の何れか）によりその値が決まる他の種類のモチベーション変数を使用できるということが予想される。
【００４９】
予測可能性：「予測可能性」を示すモチベーション変数は、過去の感覚・運動コンテキストＳＭ（ｔ−１）に基づき、現在の感覚コンテキストＳ（ｔ）をどの程度まで予測できるかを数値で表すものである。上述のように、ＳＤＤ１は、感覚・運動推移を学習する予測モジュール１２を備えている。ｅ（ＳＭ（ｔ−１），Ｓ（ｔ））をＳＭ（ｔ−１）に基づくＳ予測変数によるＳ（ｔ）の予測についての現在の誤差であるとした場合、予測可能性Ｐ（ｔ）は、以下の式のように定義することができる。
【００５０】
【数１】
2005050310.tif 000003
【００５１】
この式から、モチベーション変数Ｐ（ｔ）の計算に、予測モジュール１２からのデータと、計算装置１５による計算とが必要であることが分かる。したがって、ある特定の時点におけるこのモチベーション変数の値は、これら両構成部の内部パラメータの推移により決まることになる。
【００５２】
習熟度：「習熟度」を示すモチベーション変数は、ＳＭ（ｔ−１）からＳ（ｔ）への感覚・運動遷移がどの程度まで共通の経路であるのかを数値で表すものである。ＳＤＤ１の計算装置１５は、この遷移の頻度（すなわち、感覚・運動遷移ＳＭ（ｔ−１）→Ｓ（ｔ）が最近の期間｛（ｔ−Ｔ）→ｔ｝中に起こった回数）を評価するサブシステムを備えている。ｆＴ（ＳＭ（ｔ−１），Ｓ（ｔ））をＳ（ｔ）に遷移する現在の頻度であるとした場合、習熟度を表すモチベーション変数Ｆ（ｔ）は、以下の式のように定義することができる。
【００５３】
【数２】
2005050310.tif 000004
【００５４】
安定性：「安定性」を示すモチベーション変数は、Ｓ（ｔ）の現在の感覚変数ｓｉがその平均値から離れているか否かを数値で表すものである。ＳＤＤ１の計算装置１５は、最近の期間｛（ｔ−Ｔ）→ｔ｝についての平均値＜ｓｉ＞Ｔを追跡する。そこで、各感覚変数ｓｉについて、安定性σｉ（ｔ）を以下の式のように定義することができる。
【００５５】
【数３】
2005050310.tif 000005
【００５６】
「予測可能性」を示すモチベーション変数は、上記タイプ（ｃ）の計算により求められ、「安定性」を示すモチベーション変数は、上記タイプ（ｂ）の計算により求められることが理解されよう。「習熟度」を示すモチベーション変数は、ある特定の遷移の発生頻度が装置運転の長期間（耐用期間）又は短期間の何れで評価されるのかによって、さらにはこの期間の長さが適当であるか否かによって、タイプ（ｂ）又はタイプ（ｃ）の計算により求められる。
【００５７】
報酬関数
各モチベーション変数ｖは報酬関数ｒ（ｖ，ｔ）と関連付けられている。この関数の一般式は以下のようになる。
【００５８】
【数４】
2005050310.tif 000006
【００５９】
すなわち、報酬値は、モチベーション変数ｖの１つ、２つ又は一連の連続値により決まることになる。
【００６０】
本発明の好ましい実施の形態においては、４種類の報酬関数、ｒｍａｘ（ｖ，ｔ），ｒｍｉｎ（ｖ，ｔ），ｒｉｎｃ（ｖ，ｔ）及びｒｄｅｃ（ｖ，ｔ）を使用することができる。
【００６１】
ｒｍａｘ（ｖ，ｔ）（又はｒｍｉｎ（ｖ，ｔ））：この報酬関数を使用する場合、装置が報酬を受け取るのは、装置が関連するモチベーション変数の値ｖを最大化（又は最小化）した場合である。これは、モチベーション変数を一般的に処理する方法（例えば、文献「“Designing sociable robots” by C. Breazeal, Bradford book - M.I.T. Press, 2002」におけるホメオスタティックモデル）と類似している。
【００６２】
【数５】
2005050310.tif 000007
【００６３】
ｒｍａｘ（ｖ，ｔ）についての上記定義から、報酬が最大化されるのは、モチベーション変数の値が最大化された場合であるということが分かる（モチベーション変数の値ｖを最小化することが望まれる場合には、定義ｒｍａｘ（ｖ，ｔ）＝１−ｖ（ｔ）を使用することもできる。）。
【００６４】
ｒｉｎｃ（ｖ，ｔ）（又はｒｄｅｃ（ｖ，ｔ））：この報酬関数を使用する場合、装置は、変数自体を最大化（又は最小化）する代わりに、モチチベーション変数の値の増加率（ｒｄｅｃ（ｖ，ｔ）については、減少率）を最大化する。このケースにおいては、
−「予測可能性」を示すモチベーション変数の増加率を最大化することを求めている場合には、ＳＤＤは「学習経験」を、すなわち環境についての自らの理解を増大させる経験を求めている。
−「習熟度」を示すモチベーション変数の増加率を最大化することを求めている場合には、ＳＤＤは「発見」を求めている。
−「安定性」を示すモチベーション変数の増加率を最大化することを求めている場合には、ＳＤＤはその環境の制御の改善をもたらす戦略を求めている。
と考えることができる。当然のことながら、この報酬関数ｒｉｎｃ（ｖ，ｔ）は、システムの力学にとって重要である。
【００６５】
報酬関数ｒｉｎｃ（ｖ，ｔ）は、以下のように定義することができる。
【００６６】
【数６】
2005050310.tif 000008
【００６７】
この報酬関数ｒｉｎｃ（ｖ，ｔ）の定義から、モチベーション変数の値の増加率が大きいほど、この報酬関数により生成される報酬が大きくなることが分かる。
【００６８】
自己学習装置がｒｉｎｃ（ｖ，ｔ）に基づき新しい行動パターンを探索する場合、最初は、予測可能性Ｐ（ｔ）や習熟度Ｆ（ｔ）や安定性σ（ｔ）のような、履歴依存モチベーション変数の増加が比較的大きくなる。したがって、最初は、報酬関数ｒｉｎｃ（ｖ，ｔ）は新しい動作に関連した大きな報酬を生み出すことになる。しかしながら、自己学習装置が「新しい」動作（その環境についての知識の獲得と同じである）に慣れてくるにつれて、これらのモチベーション変数の値の変化量は徐々に小さくなる。したがって、この動作を採用しても、報酬関数ｒｉｎｃ（ｖ，ｔ）が生み出す報酬は徐々に小さくなる。履歴依存モチベーション変数との関連で報酬関数ｒｉｎｃ（ｖ，ｔ）を使用することにより、自己学習装置は、新しい動作を探索するように導かれ、新しい行動パターンを修得した場合には、他の動作へと移るように導かれる。
【００６９】
ｒｉｎｃ（ｖ，ｔ）の効果とｒｄｅｃ（ｖ，ｔ）の効果とは対称的なものではない。ある程度までは、ｒｄｅｃ（ｖ，ｔ）は、関連するモチベーション変数を最小化することを求める報酬関数と類似の結果を実現するが、ｒｉｎｃ（ｖ，ｔ）は、関連するモチベーション変数を最大化することを求める報酬関数とは非常に異なる機能を有する。好ましいモチベーション変数Ｐ（ｔ）、Ｆ（ｔ）及びσ（ｔ）と関連付けられた場合、ｒｄｅｃ（ｖ，ｔ）は、予測誤差の増加や、習熟度がますます減少する状況や、不安定性がますます増大する状況をもたらす形で挙動するようにシステムを駆動する。自己学習装置１が「安全な」環境にある場合、ｒｄｅｃ（ｖ，ｔ）をＰ（ｔ）、Ｆ（ｔ）及びσ（ｔ）と共に使用することにより、優れた学習戦略を提供することができる。
【００７０】
これらの４つの報酬関数の特性は以下のように要約することができる。
ｒｍａｘ（ｖ，ｔ）は保守的戦略を提供するものであり、感覚・運動装置に対してこれまでで最もうまくいったことを行わせる。
ｒｉｎｃ（ｖ，ｔ）は、既知の状況を使用して未知の状況を探索するようにシステムを駆動し、システムを発展させる。
ｒｍｉｎ（ｖ，ｔ）及びｒｄｅｃ（ｖ，ｔ）は、新たなものに対する探索を行うものであり、まだ修得していないことに向けて（ｒｍｉｎ（ｖ，ｔ））、又は修得するのが最も難しいと思われることに向けて（ｒｄｅｃ（ｖ，ｔ））、システムを発展させる。もし感覚・運動装置が安全な環境下にある場合には、これらの戦略が過度なリスクを伴うことはない。
【００７１】
「全報酬」の計算
以下で考察する実施の形態から分かるように、大抵の適用状況においては、自己学習装置は、単一のモチベーション変数に基づく単一の報酬関数を使用することにより、ある特定の動作と関連する（すなわち、候補動作ｍｉの実行と関連する）報酬を評価するのみで十分である。
【００７２】
しかしながら、例えば、個々の異なるモチベーション変数に基づく２つ以上の報酬関数を使用することも可能である（また、共通のモチベーション変数に基づく異なる報酬関数を使用することも可能である。例えば、モチベーションシステムがｒｍａｘ（Ｐ（ｔ））及びｒｉｎｃ（Ｐ（ｔ））を最適化することを求め、その結果として、探索戦略と保守的戦略とを折衷させることもできる。）。
【００７３】
モチベーションシステムが２つ以上の報酬を使用する場合においては、ある特定の候補動作の望ましさを評価する際に、ＳＤＤ１のコントローラ１０は、その動作の結果として得られることになる全報酬ＲＭ（ｔ）を考慮すると共に、全ての適用可能なモチベーション変数Ｍｏｔ（ｔ）と関連する報酬関数をも考慮しなければならない。好ましくは、パラメータａｉは各モチベーション変数ｍｏｔｉに割り当てられている。このパラメータａｉは、ベクトルＭｏｔ（ｔ）の全報酬を決定する場合に、相対的重みを各モチベーション変数に割り当てることを可能にする。
【００７４】
【数７】
2005050310.tif 000009
【００７５】
重みａｉは、ＳＤＤ１の設計者が予め設定することができる。或いは、自律性／タスク独立性の向上のために、ＳＤＤ１との組み合わせで使用される重み設定装置（図示せず）により、重みを自動的に決定することもできる。自動重み設定装置は典型的には公知の機械学習技術を実施するとともに、独立した「フィットネス関数」を最大化するために重みを選択する。自動重み設定装置は、他のＳＤＤを使用して実現することもできる。
【００７６】
予測
装置の認識は、その感覚・運動推移を予測する能力に由来している。状況を認識するということは、感覚・運動経路を認識するということである。この立場は、知覚が運動から生じるという現在の研究の方向性に沿うものである。このコンテキストにおいては、例えば、文献「“La construction du reel chez l'enfant” by J. Piaget, pub. Delachaux & Nieslte, Neuchatel & Paris, 1937」、文献「“The tree of knowledge: the biological roots of human understanding” by H. Maturana & F. Varela, pub. Shambhala, USA, 1992」、文献「“A sensory-motor account of vision and visual consciousness” by J. O’Regan and A. Noe, in Behavioural and Brain Sciences, 24(5),2001」及び文献「“Le sens du mouvement” by A. Berthoz, pub. Editions Odile Jacob, Paris, Frace, 1997」を参照。
【００７７】
アクティブパーセプションとしても知られているこの考え方を共有するロボット技術者の数は現在増えつつある（例えば、文献「“Active vision and feature selection in evolutionary behavioral systems” by D. Marocco and D. Floreano, in “From Animals to Animats 7” op. cit.」及び文献「“Better vision through manipulation” by G. Metta and P.Fitzpatrick, op. cit.」を参照。）。
【００７８】
ある特定の時点ｔにおいて、本発明に係る自己学習装置は、ベクトルＳＭ（ｔ）で表すことができる特定の感覚・運動コンテキストを経験する。上述のように、本発明の好ましい実施の形態では、３つの予測装置Πｍ，Πｓ，Πｍｏｔを使用する。この３つの装置は、現在の状況ＳＭ（ｔ）を入力とし、将来の運動状況Ｍ（ｔ＋１）と将来の感覚状況Ｓ（ｔ＋１）とモチベーションベクトルの将来の状態Ｍｏｔ（ｔ＋１）とを個別に予測する。
【００７９】
３つの装置は、各時間段階において現在の状況を過去の状況と比較することにより、正確な予測を学習する。
【００８０】
【数８】
2005050310.tif 000010
【００８１】
ここで、「→」は比較を表し、Πｍ（ＳＭ（ｔ−１））は（ＳＭ（ｔ−１））に基づき予測装置Πｍにより行われたＭ（ｔ）の予測であり、Πｓ（ＳＭ（ｔ−１））は（ＳＭ（ｔ−１））に基づき予測装置Πｓにより行われたＳ（ｔ）の予測であり、Πｍｏｔ（ＳＭ（ｔ−１））は（ＳＭ（ｔ−１））に基づき予測装置Πｍｏｔにより行われたＭｏｔ（ｔ）の予測である。
【００８２】
Πｍｏｔが学習しなければならないモチベーションのランドスケープは、他の２つの予測装置の性能に依存している。モチベーション変数Ｐ（ｔ）は、Πｓのエラー率により決定され、その他のモチベーション変数は、次にΠｍ及びΠｓの予測の結果として行われる動作選択過程に応じて変化する（以下を参照）。結果として、Πｍｏｔはブートストラップ期間中には連続的に適応しなければならない。
【００８３】
予測装置は、例えば、以下のような異なる方法で実現することもできる。
−隠れ層／コンテキスト層を備える再帰型Elmanニューラルネットワークを使用（文献「“Finding structure in time” by J.L. Elman from Cognitive Science, 14:179-211,1990」を参照）。このネットワークは再帰型であるため、ｔの数時間段階前の感覚・運動ベクトルの値に基づきその出力を予測する。
−プロトタイプ的遷移を学習すると共に、その結果を未知の領域に外挿するプロトタイプベース予測システムを使用。このシステムは、静的な感覚・運動コンテキストＳＭ（ｔ−１）を予測されたベクトル（Ｍ（ｔ），Ｓ（ｔ）又はＭｏｔ（ｔ））と関連付けたベクトル列の形態を取る。感覚・運動空間の大部分をカバーするために、新しいプロトタイプが定期的に学習される。予測はｋ最近傍プロトタイプの結果を結び付けることにより行われる。この予測システムは、Elmanネットワークよりも高速且つ適応的であるが、複雑な感覚・運動推移については効率が劣る場合がある。
【００８４】
本発明の好ましい実施の形態における一般的なアーキテクチャは、予測モジュール１２において採用される装置の種類に関わりなく使用することができる。したがって、予測装置Ｐは、上記のもの以外の様々な最新技術を使用して実現することができる。しかしながら、システム全体として効率的な学習を保証するために、選択された予測装置が高い性能を有することが望ましい。
【００８５】
作動
コントローラ１０により行われる作動過程では、感覚・運動推移の可能な展開を予想し、最大の報酬をもたらすはずの運動コマンドを選択する。これらの種類の問題を解決するためには、強化学習の文献に記載されたいくつかの技術を使用することができる（例えば、文献「“Reinforcement learning: A survey” by L. P. Kaelbling et al, op. cit.」を参照。）。本発明の好ましい実施の形態によるシステムにおいては、この過程は以下の４つの段階に分けることができる。
【００８６】
生成：システムは候補運動コマンドのセット｛ｍｉ｝を構築する。幾つかの適用状況においては、この段階は些細なものであるかもしれないが、複雑なアクチュエータを取り扱う場合には、より精緻な計算が必要となる。簡単なケースを挙げると、アクチュエータ制御信号ｍ０の現在値が０．７である場合には、コントローラ１０は、ｍ０の候補値が０．５５、０．６７、０．８、０．７５になるように、現在値をランダムに変えることができる。
【００８７】
予想：予測装置を再帰的に使用することにより、自己学習装置１は、Ｔ時間段階に亘って、運動コマンドのある特定の候補セットについて生じると予想される感覚・運動経路｛ＳＭｍｉ｝をシミュレートする。このシステムは、将来の感覚・運動状況を予測するためにΠｍとΠｓの両方の結果を結び付けると共に、モチベーションベクトルＭｏｔ（ｔ）の展開を予測するためにΠｍｏｔを使用する。
【００８８】
評価：各展開経路｛ＳＭｍｉ｝について、予想報酬Ｒｍｉが、Ｔ時間段階中に生じると予想される将来の全ての報酬の合計として計算される。
【００８９】
【数９】
2005050310.tif 000011
【００９０】
もしＴの値が大きすぎる場合には、予測精度が低下することになる。Ｔの典型的な受け入れ可能な値は２〜１０の範囲である。
【００９１】
選択：最大のＲｍｉに対応する運動コマンド｛ｍｉ｝は出力のためにコントローラ１０により選択される。言い換えれば、ＳＤＤ１と関連付けられた感覚・運動装置の行動パターンは、最大報酬を与える候補コマンド信号ｍｉに従って制御されることになる。
【００９２】
本発明の自己学習装置がどの程度まで制約のない学習能力を有するかを評価するために、上述した一般的なアーキテクチャを、以下に記載した２つの実施の形態の形で実現した。
【００９３】
第１の実施の形態：簡単な追跡システム
この第１の実施の形態は、簡単な目視追跡システムにおいて能力をブートストラップするための機構を目指すものであった。この追跡システムの目的は、動く光の追跡を学習することにあった。
【００９４】
新生児は、誕生後の最初の数ヶ月間で、殆ど白紙の状態から、光源の場所を特定すること、動きに注意を向けること、動く物体を追跡することを可能にする感覚・運動能力を発達させる（文献「“Understanding children’s development” by P. Smith et al, pub. Blackwell, 1998」を参照）。ここに提示した実施の形態は、この発達経路を正確にモデル化することではなく、一般的なモチベーション原理がどのようにして対応する能力のブートストラップを促進できるのかを説明することを試みたものである。
【００９５】
ソニー株式会社が製造した４本足ロボットであるAIBO ERS-210は、ＣＣＤカメラを備えており、その頭部をパン方向とチルト方向とに回転させることができる（実際には第３度の自由度が存在するが、この実験においては利用されていない。）（文献「“Development of an autonomous quadruped robot for robot entertainment” by M. Fujita et H. Kitano, in “Autonomous Robots”,5:7-20,1998」を参照。）。本実施の形態においては、AIBO ERS-210の視覚システムは極限まで簡素化されており、この視覚システムにより提供される感覚データを処理し、視覚システムのポインティングの運動制御を指示するために、本発明による自己学習装置がソフトウェアで実現された。
【００９６】
ロボット装置は、自己が解析する各画像から最大輝度の地点を抽出する。そして、視覚システムは、この極大値の画像の中心に対する座標（ｉｄｐａｎ，ｉｄｔｉｌｔ）のみを知覚する。また、ロボット装置は、パン・チルト座標系（ｈｐａｎ，ｈｔｉｌｔ）におけるその頭部の位置も知覚する。各時間段階において、その知覚は４つの次元を有するベクトルＳ（ｔ）で表現することができる。
【００９７】
【数１０】
2005050310.tif 000012
【００９８】
ロボット装置は、運動コマンド（ｍｄｐａｎ，ｍｄｔｉｌｔ）に従ってその頭部を動かす。
【００９９】
【数１１】
2005050310.tif 000013
【０１００】
したがって、各時間段階における感覚・運動ベクトルＳＭ（ｔ）は、以下の６つの次元を有する。
【０１０１】
【数１２】
2005050310.tif 000014
【０１０２】
最初、ＳＤＤは、自身が関連付けられている感覚・運動装置（ここでは、ロボット装置）について何も知らない。ＳＤＤを備えたロボット装置は、その環境の中のある特定の数の物体を注視する簡単な注意行動パターンを発達させることができるのであろうか。これを行うためには、ロボット装置は、その感覚・運動装置の中の幾つかのカップリング構造を発見しなければならない。ロボット装置は、特に、
−相対コマンド（ｍｄｐａｎ，ｍｄｔｉｌｔ）が頭部の次の位置（ｈｐａｎ，ｈｔｉｌｔ）にどのような影響を与えるかということ（この感覚・運動カップリングは、ロボット装置の体幹部から生じる頭部限界位置により制約される。）、及び
−相対コマンド（ｍｄｐａｎ，ｍｄｔｉｌｔ）が視野の動きに、特に（ｉｄｐａｎ，ｉｄｔｉｌｔ）の位置にどのような影響を与えるかということ（この感覚・運動カップリングは、ロボット装置の体幹部と、環境の中で起こることの構造によっても制約される。）
を発見しなければならない。
【０１０３】
要するに、ロボット装置は、その頭部を正しい態様で動かすことによりその環境を知覚することを学習しなければならない。
【０１０４】
ロボット装置に所望の追跡行動パターンを学習する能力を提供する試みにおいて、本発明により、多数の異なるモチベーション変数と関連する報酬関数とを定義することができた。例えば、以下のモチベーション変数、すなわち予測可能性変数Ｐ（ｔ）と習熟度変数Ｆ（ｔ）と４つの安定性変数（各感覚・運動変数につき１つ）の何れか又は全てに基づく報酬関数を使用することを検討することができた。これにより、以下の６つの次元を有する可能モチベーションベクトルＭｏｔ（ｔ）が得られる。
【０１０５】
【数１３】
2005050310.tif 000015
【０１０６】
シミュレーション環境
ロボット装置の行動パターンの発達を決める際の各内的モチベーションの役割に対する理解を深めるために、一連の実験が簡単なシミュレーション環境の中で行われた。環境中で正弦波運動を行う光の存在が、以下の関係に従ってシミュレートされた。
【０１０７】
【数１４】
2005050310.tif 000016
【０１０８】
ここで、δは僅かな増分を示し、Ｌはチルトドメインにおける振動の大きさを示し、Ｋはパンドメインにおける振動の大きさを示し、βはパンドメインとチルトドメインとにおける振動の位相差を示す。チルトドメインにおける振動はパンドメインにおける振動よりも振幅が小さい（すなわち、Ｌ＜Ｋ）。
【０１０９】
ロボット装置は、自らの位置と比較した光の相対位置を知覚する。
【０１１０】
【数１５】
2005050310.tif 000017
【０１１１】
各時間段階において、ロボット装置と関連付けられたＳＤＤは、行うべき最も適切な動作｛ｍｄｐａｎ，ｍｄｔｉｌｔ｝を判断する。この動作の効果は、以下の簡単な規則を使用してシミュレートされる。
【０１１２】
【数１６】
2005050310.tif 000018
【０１１３】
ロボット装置の体幹部に対する制約条件は、頭部の可能位置ｍａｘｐａｎ，ｍｉｎｐａｎ，ｍａｘｔｉｌｔ，ｍｉｎｔｉｌｔに制限を課すことによりシミュレートされる。
【０１１４】
【数１７】
2005050310.tif 000019
【０１１５】
ｈｔｉｌｔ（ｔ＋１）についても同様の式が定義される。
【０１１６】
予測可能性の向上
第１の実験においては、ロボット装置は、その「予測可能性」を示すモチベーション変数のみに基づく報酬関数を使用して駆動された。より詳細には、ロボット装置の行動パターンを制御する自己学習装置は、予測可能性レベルＰ（ｔ）を向上させる報酬関数を使用し、報酬の大きさはＰ（ｔ）の向上の程度に比例していた。要するに、このことは、ロボット装置が状況を「学習すること」を求めていることを意味している。ロボット装置が学習するにつれて、報酬を与えるために使用される感覚・運動推移が関心を引かなくなる傾向がある。このような力学がロボット装置を制約のない探索に向けることになる。
【０１１７】
図３は、この実験中の平均予測可能性レベルＰ（ｔ）の推移を示したものである。そのレベルはすぐに高い値に到達する。このことは、ロボット装置（詳細には、そのＳＤＤ）が光の位置と自身の頭部の位置に対する運動の全般的な効果を学習したことを示している。ロボット装置は予測可能性の増加を経験しようとし、単純にそれを最大化しようとはしないので、最大値の近くで小さな振動が見られることがある。これらの振動は、ロボット装置が探索する新しい感覚・運動推移に対応している。
【０１１８】
図４は、上記実験の１０００の時間段階中における頭部のパン位置であるｈｐａｎの推移を示したものである（対応するｌｉｇｈｔｐａｎの展開も図４の正弦波曲線により表示されている）。チルト次元についても、極めて類似した曲線を作図することができる。その動きがかなり複雑になっているのは、ロボット装置が予測可能な軌道から離れ、新しい軌道の探索を試みるためである。ロボット装置がその運動コマンドの異なる知覚効果を探索しても、その動きが光の動きと完全に相関関係がなくなる訳ではないのは興味深いことである。平均ｈｐａｎ位置の推移は、システムがゼロ位置の周りで振動することにより可能パン位置の振幅を徐々に探索することを示している。
【０１１９】
習熟度の向上
第２の実験においては、ロボット装置は、その「習熟度」を示すモチベーション変数のみに基づく報酬関数を使用して駆動された。より詳細には、ロボット装置の行動パターンを制御する自己学習装置は、習熟度レベルＦ（ｔ）を向上させる報酬関数を使用し、報酬の大きさはＦ（ｔ）の向上の程度に比例していた。予測可能性の場合と同様に、非習熟状況がしばらくしてから習熟状況になる傾向があり、その結果として、報酬は小さくなった。このような力学がロボット装置を連続的な探索行動パターンへと駆動する。
【０１２０】
図５は、この実験期間中における平均習熟度レベルＦ（ｔ）の推移を示したものである。ロボット装置は何とかして非常に高い習熟度レベルに到達する。前の実験期間中に見られた展開と同様に、習熟度の向上を経験するという圧力に起因する振動が見られる。習熟度レベルのそれぞれの低下は、感覚・運動空間の新しい部分を探索したことに対応している。
【０１２１】
図６は、本実験の１０００の時間段階中における頭部のパン位置の推移を示したものである。その動きは第１の実験において得られた動きと少しは似ているように見えるが、幾つかの相違点を認めることができた。平均位置曲線は、ロボット装置が最初は高いパン値に対応する位置を探索する傾向があったが、その後に徐々に低いパン値に切り換わったことを示している。光の振動とは独立して起こるように見えるこの切換わりは、予測可能性に関する実験の場合ほど明瞭には現れなかった。習熟度モチベーションは、ロボット装置が軌道にどの程度きちんと熟達したかとは無関係に、感覚・運動空間内においてロボット装置に軌道を探索させる。習熟度モチベーションと予測可能性モチベーションを使用する報酬関数を採用することは、異なる感覚・運動軌道を探索するためにＳＤＤが感覚・運動装置を獲得する２つの補完的方法であると見なすことができる。
【０１２２】
感覚安定性の最大化
感覚ベクトルＳ（ｔ）の各成分の安定性に関する４つのモチベーション変数に基づく報酬関数を使用して、第３の実験が行われた。それらは全て最大化報酬関数ｒｍａｘに関連していた。
【０１２３】
頭部安定性
先ず最初に、安定性が頭部位置に関係する事例が考察された。これは変数σｈｐａｎ（ｔ）とσｈｔｉｌｔ（ｔ）とに対応する。ロボット装置の行動パターンを制御する自己学習装置は、ロボット装置の頭部位置が、パン及びチルトにおいて、そのうちに安定性を保つ感覚・運動推移をロボット装置が探すことを保証する報酬関数を採用する。図７は、ロボット装置がこの報酬システムを使用する実験期間中における平均安定性の推移を示したものである。このコンテキストにおけるタスクはかなり容易であり、ロボット装置は大きな報酬を得るためにはその頭部の動きを止めなければならないことを発見するしかない。パン方向及びチルト方向の両方について、迅速に安定性に到達している。
【０１２４】
この実験期間中における頭部パン位置ｈｐａｎの推移が図８にグラフの形で示されている。図８において観察された推移は、頭部位置が短期間の振動の後にその初期位置の周りで安定することを示している（ｌｉｇｈｔｐａｎの推移も、図８に示された正弦波により表示されている）。
【０１２５】
光安定性
次に、報酬が知覚された光の相対位置の安定性（σｉｄｐａｎ，σｉｄｔｉｌｔ）の最大化と関連付けられる事例が考察された。光はロボット装置により直接制御される訳ではないため、タスクはこの事例の方が少し複雑である。ロボット装置は、その頭部を適切な方向に動かすことにより光の相対位置に対して作用することができることを発見しなければならない。
【０１２６】
図９は、この報酬システムを使用した実験期間中におけるσｉｄｐａｎ及びσｉｄｔｉｌｔの平均安定性の推移を示したものである。ロボット装置は、パンドメインよりもチルトドメインにおいて高速に光の安定性を制御するが、これはおそらくチルトドメインの方が動きの振幅が小さいため（Ｌ＜Ｋ）と考えられる。
【０１２７】
図１０は、同じ実験期間中における頭部パン位置ｈｐａｎの推移を示したものである。短時間のチューニングの後に、ロボット装置は追跡行動を行い、非常に正確に光に追従する。ロボット装置は感覚安定性を求めるため、光の各動きは、ロボット装置が補正することを学習する摂動として見ることができる。この視覚ノウハウの発達は、環境の感覚・運動装置に対する効果から直接生まれる（ｌｉｇｈｔｐａｎの推移も、図１０に示された正弦波により表示されている。）。
【０１２８】
この一連の実験により、ブートストラップ過程に対する各報酬システムの効果が一層明確になった。最初の２つのモチベーションである予測可能性及び習熟度が向上すると、ロボット装置はその感覚・運動装置を探索する。最後の４つのモチベーションである感覚安定性の最大化は、一方ではロボット装置にその頭部の動きを停止させ、他方では追跡行動を行わせる。
【０１２９】
ロボット装置に関する実験
別の実験が、AIBO ERS-210（図１１に示す）に関して行われた。この実験用のソフトウェア構成部は、市販のOPEN-R SDKを使用して、Ｃ＋＋で書かれた。ソフトウェアはAIBO ERS-210に搭載されて実行され、実験期間中に生成されたデータは後の解析のためにメモリスティックに直接書込まれた。
【０１３０】
各時間段階において、ロボット装置は、その視野の中の最大光度の地点を計算する。この地点の相対位置により、２つの入力ｉｄｐａｎ（ｔ）及びｉｄｔｉｌｔ（ｔ）が得られる。また、ロボット装置は、自身の頭部位置ｈｐａｎ（ｔ）及びｈｔｉｌｔ（ｔ）を測定する。上記シミュレーション実験期間中の事例とは異なり、この測定は完全に正確なものではない。同様に、機械的制約条件が異なるため、動作ｍｄｐａｎ（ｔ）及びｍｄｔｉｌｔ（ｔ）から生じる相対的な動きがややノイジーになることがある。
【０１３１】
使用された報酬システムは、上述した６つのモチベーション変数の全てを含めることも可能であった。上述のように、複数の報酬関数が使用される事例においては、全報酬を計算する際の各変数の相対重みは好ましくはパラメータａｉのセットにより決定される。
【０１３２】
本実験のために、ロボット装置が環境中に存在する異なる光点に注意を向けるためのノウハウを獲得するように、これらの重みａｉが設定された。このことは、ある特定の光の前で動けなくならないようにするために、ロボット装置が追跡行動のみならず探索能力も発達すべきであることを意味している。
【０１３３】
このような目的のためには、頭部安定性はある程度は逆効果になるため、この実験においてはσｈｐａｎ（ｔ）及びσｈｔｉｌｔ（ｔ）をモチベーション変数として使用しないことが決定された。その結果として、頭部安定性を制御する２つ（ａｉ＝０とされた）を除いた全ての報酬関数に同じ重みａｉ＝ｋが関連付けられた。
【０１３４】
実験は１０分間続けられた。ロボット装置は制御されていないオフィス設備の前に置かれた。図１２は、この実験期間中における６つのモチベーション変数の推移を示したものである。予想した通り、重みｋと関連付けられた４つのモチベーション変数が高い値を得た。光の相対位置は急速に平衡状態に達したが、予測可能性及び習熟度は向上し続けた。頭部安定性についてのモチベーション変数はより低いレベルにおいて変動した。
【０１３５】
図１３は、実験期間中における頭部パン位置の推移と知覚された光の位置とを示したものである。ロボット装置は光を追跡しているように見えるが、探索を動機付けられていることから、ロボット装置が別の局所的な光の極大値を発見できるように、その位置は局所的な光の極大値の周辺で振動した。
【０１３６】
この行動パターンは、図１３から詳細を拡大した図１４においてより明確に観察することができる。頭部パン位置は局所的極大値に近づくように上昇し、その後その周辺でしばらくの間振動する。そして、ある時点において振動が大きくなることにより、ロボット装置はより高い局所極大値を発見する。ロボット装置は２つの極大値の間で数回の切り換えを行い、最終的には、より高いパン値の方向に探索を続ける。この種の行動パターンは、予測可能性及び習熟度を向上させるための探索の典型的な結果である。ロボット装置は、その探索を徐々に続けるための基礎として、習熟し、予測可能なコンテキストを使用する。
【０１３７】
図１５は、本実験の期間中における全てのパン・チルト軌道を示したものである。ロボット装置は、その探索範囲を場面の右側部分に集中していたように思われる。また、ロボット装置は、１つの特定のエリアを高度に探索し、徐々にそのすぐ近隣において他の極大値を探索したように見えた。図１５に示されたように、この探索により、局所的な光の極大値の位置についての一種の「地図」が作成される。この地図は、ロボット装置が置かれている場所を特徴付けるために使用することができる。この表示はそのままの形ではロボット装置については存在しないが、ロボット装置が感覚・運動装置と共に発達させたノウハウの結果なのである。ロボット装置は、これらの光の位置全てを同時に知覚する能力を有してはいないが、（獲得した感覚・運動視覚ノウハウに基づき）それらがそこにあることを確信している。
【０１３８】
第２の実施の形態：自己発達能動注視システム
この実験では、能動視覚システム、すなわち場面の能動的部分（一般的に、より重要である）に焦点を合わせる視覚システムを実現するために、同じ一般的アーキテクチャをどのように使用することができるのかを明らかにしている。このシステムは、感覚・運動探索を介して、視覚状況を認識する能力を発達させる。本実施の形態は、発達心理学における注意と目の動きに関する研究から着想を得たものである（文献「“Eye movements and vision” by A.L. Yarbus, pub. Plenum Press, New York, 1967; “Animate vision” by D. Ballard, from Artificial Intelligence, 48:57-86, 1991」及び文献「“Control of selective perception using Bayes nets and decision theory” by R.D. Rimey and C.M. Brown, from International Journal of Computer Vision, 12(2):173-207,1994」を参照。）。
【０１３９】
ここに記述された視覚システムは、Marocco及びFloreanoにより記述された視覚システムと若干の類似点を有する（文献「“An evolutionary active-vision system” by T. Kato and D. Floreano, Proc. Of the congress on evolutionary computation (CEC01), IEEE Press, 2001」及び文献「“Active vision and feature selection in evolutionary behavioral systems” by D. Marocco and D. Floreano, op. cit」を参照）。しかしながら、後者の論文は、所望の行動パターンを実現するために、進化的ロボット工学パラダイムを使用している。すなわち、ロボット装置の個体群が進化し、最良の個体が所定のフィットネス関数に従って選択される（文献「“Evolutionary Robotics: biology, intelligence and technology of self-organizing machines” by S. Nolfi and D. Floreano, pub. MIT Press, Cambridge, Ma., USA, 2000」を参照。）。対照的に、本実施の形態におけるシステムは、所望の行動パターンに到達するために、発達という考え方を採用している。
【０１４０】
本実施の形態においては、知覚細胞のＲ×Ｒ行列を使用する正方形の網膜を備えたシステムの行動パターンを制御するために、自己学習装置が使用された。この網膜は画像を見るために使用される。画像に対する網膜の位置は変えることができ、網膜はズームインとズームアウトとが可能である。網膜の各細胞について単一の値を得るため、網膜はズーム率に基づいて画像の色を平均化する。かかるシステムにより、全画像中に存在するパターンを迅速に走査し、また、一部分の詳細をより正確に知覚するためにズームインすることが可能になる。
【０１４１】
本実施の形態においては、能動視覚システムになるためには、システムは、その報酬システムにより定義されたようなより高い報酬を得るために網膜を動かし、ズームすることにより、画像の対する「作用」の仕方を学習しなければならない。
【０１４２】
詳細には、ある特定の画像スナップショットＩ（ｔ）について、感覚ベクトルＳ（ｔ）は網膜のＲ×Ｒ画素の再正規化されたグレースケール値を含んでいる。
【０１４３】
【数１８】
2005050310.tif 000020
【０１４４】
運動ベクトルＭ（ｔ）は、網膜が行うことのできる３つの可能な動作についての値、すなわちｘ値、ｙ値及びズーム率の変更についての値を含んでいる。
【０１４５】
【数１９】
2005050310.tif 000021
【０１４６】
前の実施形態においては、自己学習装置は、関連付けられている感覚・運動装置に関して何らの事前知識も有していない。自己学習装置は、幾つかのカップリングの構造をその感覚・運動装置の中で発見しなければならず、特に、以下のことを学習しなければならない。
【０１４７】
−Ｘ（ｔ＋１），Ｙ（ｔ＋１）及びＺ（ｔ＋１）に対するＤｘ（ｔ），Ｄｙ（ｔ），Ｄｚ（ｔ）の効果を理解すること。これはコンテキスト独立感覚・運動熟達性ではあるが、特に視野境界のために、６つの変数をリンクする制約条件がやや複雑である。
【０１４８】
−Ｄｘ（ｔ），Ｄｙ（ｔ），Ｄｚ（ｔ）と網膜上の画素値との関係を理解すること。これは、システムが探索中の特定の画像により決まることになるが、システムは、異なるコンテキストにおいて適用可能であるはずの感覚・運動軌道を発見する能力を有していなければならない。
【０１４９】
本実施の形態においては、予測可能性を示すモチベーション変数Ｐ（ｔ）にのみ基づいて報酬関数が使用された。つまり、１次元のモチベーションベクトル（予測可能性変数Ｐ（ｔ）にのみ対応する）が存在したと考えることができる。
【０１５０】
【数２０】
2005050310.tif 000022
【０１５１】
実験結果：予測可能性の最小化
本実験において、自己学習装置は、予測可能性変数Ｐ（ｔ）が減少すると割り当てられる報酬が大きくなるような報酬関数ｒｍｉｎ（ｖ，ｔ）を使用した。言い換えれば、装置は予測可能性変数の値を最小化することを求めている。これは、装置が、最も熟達しないような感覚・運動経路の探索を試みていることを意味している。なお、報酬関数ｒｄｅｃ（ｖ，ｔ）を使用しても、同様の結果が得られていたものと考えられる。
【０１５２】
本実験では、話している人物の２００の画像フレームのシーケンスを使用し、ビデオカメラにより記録を行った。この画像のシーケンスにおいては、その人物の頭部、口、目、手は動いていた。この２００のフレームのシーケンスはシステム用の循環画像入力Ｉ（ｔ）として使用された。図１６は、その環境中でのある特定の時点における６つの画像のシーケンスについての網膜の行動パターンを示したものである。図１６の画像は左上から右下への順序になっている。網膜細胞の値が、半透明グレースケールレベルを使用して、図１６に示されている。
【０１５３】
図１６から分かるように、網膜は低いズーム率で始め、徐々にその人物の頭部の上部に焦点を合わせる。画像の左上部に見られる正方形はＰ（ｔ）の値を反映している（黒は低予測可能性、白は高予測可能性）。
【０１５４】
システムは２０００時間段階（１０サイクルのビデオ入力シーケンス）中に発達することを許容された。図１７は、この期間中における平均予測可能性＜Ｐ（ｔ）＞の推移を示したものである。
【０１５５】
自己学習装置が予測不能な状況を求めているという事実（このため、曲線は規則的に下落している）にも拘わらず、平均予測可能性は長期的には向上している。このことは、画像のシーケンスに対する網膜の動きの効果を予測する能力をシステムが向上させていることを意味している。
【０１５６】
図１８及び図１９は、発達段階の開始時及び実験の終了時にそれぞれ撮影された網膜の中心の２つの軌道を示したものである。両方の軌道は同じ数の時間段階に対応しているが、第１の軌道は第２の軌道よりも遙かに拡大している。実験の開始時には、網膜は画像全体をかなり均一な様態で走査していた。一方、実験の終了時には、動いている部分（手と頭部）の予測が最も難しいことが分かったので、網膜はそれらの部分に焦点を合わせているように見えた。網膜は動きに注意を向けるようにプログラミングされていた訳ではなく、この機能はシステムの力学により出現したのである。
【０１５７】
詳細には、図２０は、この実験期間中において網膜が「顔領域」で費やした時間を示したものである。「顔領域」は、話している人物の各画像について手動で定義され、網膜がその領域内にあった時間段階の数が記録された。図２０は、探索の第１段階の後に、システムがその注意を顔に集中することを明確に示している。
【０１５８】
この第２の実施の形態は、自己発達網膜がその環境の「興味を引く」局面に対して注意を集中する能力をどのようにして自律的に発達させることができるのかを示している。この装置は一般的な種類の「好奇心」により動機付けられている。確かにこの実験においては、システムは話している人物のビデオを使用して示されてはいるが、システムはこの種の刺激だけに特化されたものではない。
【０１５９】
以上の実施の形態及び実験から、本発明による自己学習装置のアーキテクチャが実際には異なる適用状況において制約のない学習を可能にすることが分かるであろう。
【０１６０】
１次、２次、及び３次カップリング
本発明によるアーキテクチャを使用することにより、自己学習装置は、新しい感覚・運動ノウハウに熟達するため、その「認識」を拡大することができる。この過程は３種類のカップリングの確立であると見なすことができる。３種類のカップリング（１次カップリング、２次カップリング及び３次カップリング）は、全て類似のブートストラップメカニズムに依存してはいるが、それらを確認することができる。
【０１６１】
１次カップリングは、環境の安定局面との直接的相互作用に関するものである（図２１を参照。円形はＳＤＤを表し、らせん形は環境を表す。）。感覚・運動実験を行うことにより、装置は、注意メカニズムと、物体についての基本的概念と、その直接的環境についてのコンテキスト上の知識とを発達させることができる。最初は、装置は知覚情報の連続的な流れの中に埋没しており、それを構造化された世界に変えるために、それに対してどのように作用すべきが全く分かっていない。上記実験は、装置がどのようにしてかかる感覚・運動ノウハウを発達させることができるかを示している。
【０１６２】
２次カップリングは自己学習装置間のカップリングであり、共同注意又は簡単な伝達行動パターンのような協調相互作用の発達に関するものである（図２２を参照）。仮に２つの感覚・運動装置が同じ環境を共有している場合には、その行動は相互に影響を及ぼし合うことになり、その２つの装置は結合された発達経路に関与することになる。
【０１６３】
３次カップリングは、より高度な形態の相互作用を形成するための２次カップリングの協調に関するものである（図２３を参照）。かかるカップリングの例としては、複雑なダンス、ターンテイキング、又は言語的行動がある。もし２つの自己学習装置が十分に優れた相互作用ノウハウを発達させている場合は、その２つの装置は、この共有熟達性を利用することにより、共通の相互作用パターンの初期レパートリーを前提としているより複雑な相互作用に関与することができる。
【０１６４】
上述した種類の自己学習装置は、潜在的にこれら３種類のカップリングの全てを確立することができる。かかる複雑な能力の発達を含み、それぞれの新たな熟達性が以前のものに積み上げられていく発達経路を辿ることになる装置を予見することができる。能力の漸進的発展が概略図の形で図２４に示されている。
【０１６５】
本発明に係る自己学習装置は、多数のブートストラップ問題に対する全般的な解決策を提供する。かかる装置の発達を促進するモチベーションシステムは、制御すべき感覚・運動装置の性質からは独立したものである。この理由から、ほぼ全ての感覚・運動装置の行動パターンの探索に、同じ発達エンジンを使用することができる。また、エンターテインメントロボットのみならず、例えばコンピュータゲーム、新しい楽器、ウェアラブルコンピュータ／インテリジェント衣類、インタラクティブハウス、インターネットソフトウェアエージェントのような、多数のその他の種類の装置にもこれらの装置を適用する可能性がある。
【０１６６】
当業者は、自身の共通の一般的知識と上記引用文献の内容に基づき、上記様々な装置と機能を実現するためには、どのような物理的構成部とソフトウェアルーチンを使用すべきかを容易に理解することであろう。したがって、これ以上の詳細はここには示していない。さらに、図１Ｂ及び図２に示した上記のような別個の装置間での機能の分担は、議論を簡単にするために行われたものである。例えば、コントローラ１０のような、１つの特定の装置により行われているものとして記載された機能は、実際には、インプリメンテーションに応じて、異なるモジュールが行うこともできる。さらにまた、自己発達モジュールは、別々の構成部に割当てられた機能を結合するモジュールを使用して実現することができる。最後に、様々な機能はその一部又は全部をソフトウェアの形で実現することもできる。
【０１６７】
本発明を特定の好ましい実施の形態との関連で説明してきたが、本発明がそれらの好ましい実施の形態に固有の特徴に限定されるものではないことを理解されたい。
【０１６８】
特に、「予測可能性」、「習熟性」及び「安定性」についての値は、明示された式とは異なる式を使用して計算することができる。
【０１６９】
さらに、好ましい実施の形態は、（あらゆる特定の感覚・運動装置から独立し、履歴依存である）好ましい種類のモチベーション変数だけを使用しているが、本発明のＳＤＤが、例えば上記の種類のモチベーション変数を幾つかと、より従来型のタスク依存変数というように、幾つかのモチベーション変数を併用することもできることを理解されたい。
【０１７０】
同様に、上述した本発明の好ましい実施の形態では４つの好ましいタイプの報酬関数を使用しているが、それに加えてその他の種類の報酬関数も使用することができることを理解されたい。
【図面の簡単な説明】
【０１７１】
【図１Ａ】従来の行動ベースエージェントのアーキテクチャを３つの過程の相互作用によりどのように表すことができるのかを示した概略図である。
【図１Ｂ】本発明に係る自己学習装置のアーキテクチャを３つの過程の相互作用によりどのように表すことができるのかを示した概略図である。
【図２】本発明の好ましい実施の形態における自己学習装置を備えた感覚・運動装置の主要構成部の概略を示したブロック図である。
【図３】簡単な視覚システムを実施する本発明の第１の実施の形態に関して、「予測可能性」モチベーション変数の増加により報酬関数が報酬を生成するという、第１の実験のシミュレーションによる、第１実験期間中におけるモチベーション変数「予測可能性」Ｐ（ｔ）の平均の展開を示したグラフである。
【図４】図３の実験期間中における「頭部パン位置」変数ｈｐａｎの推移を示したグラフである。
【図５】本発明の第１の実施の形態に関して、「習熟度」モチベーション変数の増加により報酬関数が報酬生成するというシミュレーションによる、第２実験期間中におけるモチベーション変数「習熟度」Ｆ（ｔ）の平均の推移を示したグラフである。
【図６】図５の実験期間中における「頭部パン位置」変数ｈｐａｎの推移を示したグラフである。
【図７】本発明の第１実施形態に関して、頭部位置の安定性を最大化するように報酬関数が報酬を生成するというシミュレーションによる、第３実験期間中におけるモチベーション変数「頭部パン位置の安定性」σｐａｎ（ｔ）の平均の推移と、モチベーション変数「頭部パン位置の安定性」σｔｉｌｔ（ｔ）の平均の推移とを示したグラフである。
【図８】図７の実験期間中における「頭部パン位置」変数ｈｐａｎの推移を示したグラフである。
【図９】本発明の第１実施形態に関して、光の相対位置の安定性を最大化するように報酬関数が報酬を生成するシミュレーションによる、第４実験期間中におけるモチベーション変数「パン方向における光の相対位置の安定性」σｉｄｐａｎ（ｔ）の平均の推移と、モチベーション変数「チルト方向における光の相対位置の安定性」σｉｄｔｉｌｔ（ｔ）の平均の推移とを示したグラフである。
【図１０】図９の実験期間中における「頭部パン位置」変数ｈｐａｎの推移を示したグラフである。
【図１１】図３乃至図１０において採用されたモチベーション変数を使用することによりその行動パターンを制御することができるロボット装置の写真図である。
【図１２】別の実験期間中における図１１の装置の内部の６つのモチベーション変数の推移を示したグラフである。
【図１３】図１２の実験における図１１の装置の頭部パン位置の推移と感知された光の位置とを示したグラフである。
【図１４】図１３の詳細を示した拡大図である。
【図１５】図１２の実験期間中における図１１の装置の頭部パン・チルト軌道を示した図である。
【図１６】実験期間中における本発明の第２の実施の形態による網膜の行動パターンの推移を示した一連の６つの画像の図である。
【図１７】図１６の実験期間中においてモチベーション変数「平均予測可能性」がどのように推移するのかを示したグラフである。
【図１８】図１６の実験の開始時における網膜の中心の軌道を示したグラフ／画像複合図である。
【図１９】図１６の実験の終了時における網膜の中心の軌道を示したグラフ／画像複合図である。
【図２０】図１６の実験期間中において網膜の中心が画像の顔領域で確認された時間段階のパーセンテージを示したグラフである。
【図２１】本発明に係る自己学習装置が環境についての知識を得るにつれて実現される１次カップリングの概略を示す図である。
【図２２】本発明に係る２つの自己学習装置が環境及び相手についての知識を得るにつれて実現される２次カップリングの概略を示す図である。
【図２３】本発明に係る２つの自己学習装置が相互間の複雑な相互作用に入る能力を獲得するにつれて実現される３次カップリングの概略を示す図である。
【図２４】本発明に係る自己学習装置が１次、２次及び３次カップリングを確立するように徐々に発達することができる方法の概略を示す図である。
【図１Ａ】
2005050310.tif 000026
【図１Ｂ】
2005050310.tif 000027
【図２】
2005050310.tif 000028
【図３】
2005050310.tif 000029
【図４】
2005050310.tif 000030
【図５】
2005050310.tif 000031
【図６】
2005050310.tif 000032
【図７】
2005050310.tif 000033
【図８】
2005050310.tif 000034
【図９】
2005050310.tif 000035
【図１０】
2005050310.tif 000036
【図１１】
2005050310.tif 000037
【図１２】
2005050310.tif 000038
【図１３】
2005050310.tif 000039
【図１４】
2005050310.tif 000040
【図１５】
2005050310.tif 000041
【図１６】
2005050310.tif 000042
【図１７】
2005050310.tif 000043
【図１８】
2005050310.tif 000044
【図１９】
2005050310.tif 000045
【図２０】
2005050310.tif 000046
【図２１】
2005050310.tif 000047
【図２２】
2005050310.tif 000048
【図２３】
2005050310.tif 000049
【図２４】
2005050310.tif 000050
【外国語明細書】
2005050310.tif 000051
2005050310.tif 000052
2005050310.tif 000053
2005050310.tif 000054
2005050310.tif 000055
2005050310.tif 000056
2005050310.tif 000057
2005050310.tif 000058
2005050310.tif 000059
2005050310.tif 000060
2005050310.tif 000061
2005050310.tif 000062
2005050310.tif 000063
2005050310.tif 000064
2005050310.tif 000065
2005050310.tif 000066
2005050310.tif 000067
2005050310.tif 000068
2005050310.tif 000069
2005050310.tif 000070
2005050310.tif 000071
2005050310.tif 000072
2005050310.tif 000073
2005050310.tif 000074
2005050310.tif 000075
2005050310.tif 000076
2005050310.tif 000077
2005050310.tif 000078
2005050310.tif 000079
2005050310.tif 000080
2005050310.tif 000081
2005050310.tif 000082
2005050310.tif 000083
2005050310.tif 000084
2005050310.tif 000085
2005050310.tif 000086
2005050310.tif 000087
【図１Ａ】
2005050310.tif 000088
【図１Ｂ】
2005050310.tif 000089
【図２】
2005050310.tif 000090
【図３】
2005050310.tif 000091
【図４】
2005050310.tif 000092
【図５】
2005050310.tif 000093
【図６】
2005050310.tif 000094
【図７】
2005050310.tif 000095
【図８】
2005050310.tif 000096
【図９】
2005050310.tif 000097
【図１０】
2005050310.tif 000098
【図１１】
2005050310.tif 000099
【図１２】
2005050310.tif 000100
【図１３】
2005050310.tif 000101
【図１４】
2005050310.tif 000102
【図１５】
2005050310.tif 000103
【図１６】
2005050310.tif 000104
【図１７】
2005050310.tif 000105
【図１８】
2005050310.tif 000106
【図１９】
2005050310.tif 000107
【図２０】
2005050310.tif 000108
【図２１】
2005050310.tif 000109
【図２２】
2005050310.tif 000110
【図２３】
2005050310.tif 000111
【図２】
2005050310.tif 000112