(57)【要約】【課題】ロボットの学習、プラニングおよび表示タスクを継目なくインターフェースして、動的環境にリアルタイムに応答できるようにすることにある。【解決手段】ロボットが新しい動作を学習し、新しい動作シーケンスを自律的に創出しかつ動的に変化する環境と相互作用することを可能にするロボット知能のアーキテクチャ。感覚情報は、環境の重要な変化を迅速に識別しかつ短時間メモリと非常に良く似た機能をする感覚エゴ球（ＳＥＳ）上にマッピングされる。動作は、ロボットの現在状態から目標状態までのアクティブマップを創出しかつ長時間メモリに非常に良く似た機能をするＤＢＡＭに記憶される。ドリーム状態は、ＳＥＳに記憶された最近のアクティビティを変換しかつＤＢＡＭの動作を創出しかつ修正する。
2005508761.tif 000002
【特許請求の範囲】
【請求項１】
ロボット知能のアーキテクチャであって、
少なくとも１つの記録を有する感覚データベースを有し、各記録は、ロボットからの方向を表しかつセンサ信号を記憶でき、
少なくとも１つの記録を有する動作データベースを有し、各記録はロボットにより遂行される動作を表し、
前記感覚データベースのフォーカス記録を識別するアテンションエージェントと、
前記動作データベースから動作を選択する動作エージェントとを更に有し、選択は、その一部が、フォーカス記録に基いて行なわれる、
ことを特徴とするアーキテクチャ。
【請求項２】
前記センサ信号を、センサ信号の空間方向に一致する感覚データベース記録に記憶する感覚エージェントを更に有することを特徴とする請求項１記載のアーキテクチャ。
【請求項３】
前記感覚エージェントは、感覚信号に関連する時間スタンプを表すデータを感覚データベースに記憶することを特徴とする請求項２記載のアーキテクチャ。
【請求項４】
第一センサ信号の時間スタンプが第二センサ信号の時間スタンプに等しくないときに、第一センサ信号と第二センサ信号との一時的一致を検出する一致エージェントを更に有することを特徴とする請求項３記載のアーキテクチャ。
【請求項５】
一環境内に配置される適応型自律ロボットにおいて、
アクチュエータと、
感覚処理ユニットと、
ロボットの周囲に中心をもつ環境の表示を含む短時間メモリモジュールとを有し、前記表示は感覚処理ユニットにより供給されるデータに基いて定められ、
動作を含む長時間メモリモジュールを有し、各動作は、アクチュエータ、感覚プリ・コンディションおよび感覚ポスト・コンディションへのコマンドを有し、
アクチュエータが動作からのアクチュエータコマンドに応答するアクティブモードを有し、動作は、先行動作の感覚ポスト・コンディションが動作の感覚プリ・コンディションにリンクされるように選択され、
ドリームモジュールを更に有し、該ドリームモジュールでは、アクチュエータが不能にされ、かつ感覚処理ユニットにより供給されるデータに一部が基いておよび長時間メモリモジュールに記憶された動作にも基いて、新しい動作が長時間メモリモジュールに付加されることを特徴とする適応型自律ロボット。
【請求項６】
トレーニングモードを更に有し、該トレーニングモードではロボットが遠隔操作によりタスクを完了し、この間に、短時間メモリモジュールの感覚処理ユニットにより供給されるデータを記憶し、次に、タスクの完了後にドリームモードに移行することを特徴とする請求項５記載の適応型自律ロボット。
【請求項７】
タスクを遂行する適応型自律ロボットの動作を表し、該ロボットは状態ベクトルにより特徴付けられ、状態ベクトルは少なくとも１つのセンサ信号および少なくとも１つのアクチュエータ信号を有する、コンピュータ読取り可能媒体に記憶されるデータ構造において、
ロボットの状態を表すプリ・コンディション状態ベクトルと、
プリ・コンディション状態ベクトル後のロボットの状態を表すポスト・コンディション状態ベクトルと、
データ構造を特徴付けるアクチベーション時間と、
他のデータ構造へのリンクとを有し、他のデータ構造は、データ構造のポスト・コンディション状態ベクトルとは異なるプリ・コンディション状態ベクトルにより特徴付けられ、
一部が他のデータ構造のプリ・コンディション状態ベクトルに基きかつデータ構造のポスト・コンディション状態ベクトルにも基いているリンク確率を更に有することを特徴とするデータ構造。
【請求項８】
前記アクチベーション時間はその一部がタスクにより決定されることを特徴とする請求項７記載のデータ構造。
【請求項９】
前記アクチベーション時間はその一部がタスクの連続に基いて修正されることを特徴とする請求項７記載のデータ構造。
【請求項１０】
前記アクチュエータへのコマンドは、ポスト・コンディション状態ベクトルとプリ・コンディション状態ベクトルとのベクトル差の成分であることを特徴とする請求項７記載のデータ構造。
【請求項１１】
タスクを遂行する適応型自律ロボットの状態およびロボットを包囲する環境を感知するように構成されているトレーニング方法において、
（ａ）遠隔操作によりタスクを完了する段階と、
（ｂ）遠隔操作中のロボットの感覚情報を記録する段階と、
（ｃ）記録された感覚情報に基いてエピソードを識別する段階と、
（ｄ）少なくとも１つのエピソードに基いて見本エピソードを創出する段階と、
（ｅ）動作を創出する段階とを含み、該動作は見本エピソードと連続動作へのリンクとを有し、リンクされた動作を実行すると遠隔操作を行なうことなくタスクを完了することを特徴とする方法。
【請求項１２】
一環境内で移動する自律ロボットにより予め識別される対象を位置決めする方法において、
対象およびロボットに対する対象の方向を記憶する段階と、
対象が識別された後のロボットの運動を記録する段階と、
記録されたデータ構造およびロボットの記録された運動に基いて対象の方向を計算する段階と、
対象の計算された方向に従って短時間メモリにタグを記憶することにより対象を位置決めする段階と、
を含むことを特徴とする方法。
【請求項１３】
アクチュエータと、短時間メモリモジュールと、長時間メモリモジュールとを有する適応型自律ロボットの新しい動作シーケンスを創出する方法であって、長時間メモリモジュールが少なくとも１つの動作を含み、該動作がアクチュエータコマンドおよび感覚状態ベクトルを含んでいる方法において、
アクチュエータを不能にする段階と、
短時間メモリモジュールのコンテンツに基いて新しい動作を創出する段階と、
新しい動作と、該新しい動作の感覚状態ベクトルおよび長時間メモリに記憶された動作の感覚状態ベクトルに基いて長時間メモリに記憶された既存の動作との間にリンクを形成する段階と、
を含むことを特徴とする方法。
【請求項１４】
前記リンクは、新しい動作の感覚状態ベクトルと、既存動作の感覚状態ベクトルとの間の距離に基いたアクチベーション時間により特徴付けられることを特徴とする請求項１３記載の方法。
【請求項１５】
前記アクチベーション時間は、新しい動作のヒストリーに基いた成分を有していることを特徴とする請求項１４記載の方法。
【請求項１６】
前記リンクは、ロボットに与えられる割当てタスクに基いていることを特徴とする請求項１３記載の方法。
【請求項１７】
一環境内に浸漬される知能ロボットの短時間メモリを表しかつ環境からの刺激を受けるコンピュータ読取り可能媒体に記憶されるデータ構造において、
一方向を表す第一フィールドと、
最も近い近隣方向へのポインタを表す最も近い近隣リストと、
事象データ構造へのポインタを含む事象リストとを有し、事象データ構造は第一フィールドに記憶された方向から受けた刺激を表すことを特徴とするデータ構造。
【請求項１８】
各感覚処理モジュールが環境の特徴を感知するように構成され、事象はロボットに対する事象の進行方向により特徴付けられる、感覚処理モジュールを備えた自律ロボットを包囲する環境内に生じる事象を識別する方法において、
モジュールにより感知された特徴および該特徴の方向を表す信号を各モジュールから受ける段階と、
モジュール信号の方向に従って短時間メモリに各モジュール信号を記憶する段階と、
事象の進行方向に一致する、短時間メモリに記憶されたモジュール信号に基いて事象を識別する段階とを有することを特徴とする方法。
【請求項１９】
環境と相互作用する手段と、
ロボットの内部状態を感知する手段と、
環境の特徴を感知する手段と、
感知した内部状態および環境に基いて対象を表す感覚エゴ球と、
外部源からデータを受ける手段と、
受けたデータを感覚エゴ球上に表す手段と、
を有することを特徴とする適応型自律ロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本発明は、２００１年４月６日付で出願された米国仮特許出願第６０／２８２，２１５号、および、２００１年８月１３日付で出願された米国仮特許出願第６０／３１１，９３２号からの利益を主張する。
（連邦政府支援研究に関する陳述）
本発明は、その一部が、ＤＯＤグラント番号（DOD Grant Nos. ）DASG600110001、DASG609910005、および、ＮＡＳＡ共同契約（NASA Cooperative Agreement） NCC-30-199による政府からの支援によりなされたものである。政府は本発明における或る権利を保有する。
（発明の技術分野）
本発明は知能機械の分野に関する。より詳しくは、本発明は、適応型自律ロボットの分野に関する。
【背景技術】
【０００２】
或る者には不遜であるとも考えられているが、自我および森羅万象を理解しようとする基本的欲望により、これを可能にする技術的挑戦および期待する利益と相俟って、人工生命を創出する方向での意欲的研究が行なわれている。人工生命の一実施形態は、適応型自律ロボットである。自律ロボットは暗黙的に目標指向され、かつその環境の状況を考察しかつ人の介入なくしてその目的を達成するために何をすべきを決定することにより、ロボット自身で完全に作動できる。ロボットは、その目的を達成する能力を向上できるならば適応型である。
適応型自律ロボットを作るタスクは非常に複雑で、研究グループは、問題を幾つかのより管理し易いタスクに区分し、各タスクを他のタスクとは独立的に解決することに集中してきた。ロボティクスでは、３つのタスクまたは挙動すなわち、学習、プラニングおよび世界表示（world representation）が最も困難であると考えられている。
ロボットでこれらの挙動を実施するための最初の努力は、センサからの環境情報を処理し、（ロボットの言葉または環境を表現するための）人の学習、プラニングおよび抽象に似た挙動を生じるアクチュエータにコマンドを発生する複雑なプログラムを作ることに集中された。
【０００３】
単一の複雑な制御プログラムを作る努力が続いているが、ロボティクスにおける新規でエキサイティングな進歩の多くは、複雑な挙動は複雑な制御プログラムを必要とするという概念を排除することに基いている。それどころか、制御は、相互作用する多くの自律エージェントに分散される。エージェントとは、他のエージェントと相互作用すると同時に他のエージェントとは独立的に作用する小プログラムである。学習または抽象等の複雑な挙動は、いずれかのエージェントにより制御されるのではなく、多くの独立エージェントの相互作用から生じる。
【０００４】
文献１（下記非特許文献１参照）には、目標指向型ナビゲーション（goal-directed navigation）等の複雑な挙動は、「リフレックス（reflexes）」と呼ばれている簡単な挙動の相互作用から生じることが説明されている。リフレックスとは、アクチュエータ信号をセンサ信号に結合するエージェントである。例えば、回避リフレックスは、近接センサからの信号に基いてホイールモータに信号を発生する。近接センサがロボットの危険ゾーン内に対象を検出すると、リフレックスはホイールモータを停止させる信号を発生する。上記文献１には、４つのリフレックスのみからの出発により、目標指向型ナビゲーションが、これらのリフレックスの相互作用から生じることが開示されている。しかしながら、リフレックスはロボットによっては発生されないが、プログラマによるハンドコーディングを必要とする。
【０００５】
文献２（下記非特許文献２参照）には、反復タスクを密集させるのに役立ち、知覚モータ協調（Sensory Motor Coordination:ＳＭＣ）によりクラスタリングカテゴリフォーメーションと呼ばれているセンサおよびアクチュエータからの信号が開示されている。Cohenは、ロボットが、センサから受けた連続データストリームを幾つかのエピソードに分割できる（分割されたエピソードは、他のエピソードと比較して見本エピソードを形成すべくクラスタリングされる）ことを示している。見本エピソードは、幾つかのエピソードのクラスタを表し、各クラスタからなるエピソードを平均化することにより決定できる。見本エピソードは（ロボットにより）自動的に発生されかつ外部プログラマを置換する。ロボットがトレーニングされると、ロボットは、割当てられたタスクを完了するのに使用できる１組の見本エピソードを識別するであろう。連続センサデータストリームからエピソードを識別して、クラスタリングされたエピソードから「カテゴリ」（見本エピソード）を創出するロボットの能力は、ロボット学習の基本形態であると考えられる
【０００６】
カテゴリの識別を行なうのに充分な数のエピソードを集めるには、ロボットをトレーニングしなければならない。トレーニングは、通常、当業者には知られている強化学習（reinforcement learning:ＲＬ）技術により達成される。ＲＬの一例では、トレーナがロボットを所望の目標に向けて移動させるアクションに報酬を与える間に、ロボットはランダムなアクションをすることができる。報酬（rewards）は、ロボットの最も新しいアクションを強化し、この間に、報酬を受けたアクションに対応するエピソードがクラスタリングし始め、同様なアクションが同様に報酬を受ける。しかしながら、トレーニングは、所望のタスクを含む各アクションを多く反復させることを必要とする。従って、ロボットをトレーニングするより効率的な方法が要望されている。
【０００７】
自律ロボットは、その所望の目標を達成するアクションを選択できなくてはならない。既知の１つのロボットプラニング方法として、スプレッディング・アクチベーション・ネットワーク（spreading activation network:ＳＡＮ）があり、これによれば、１組の適正モジュール（competency modules:ＣＭ）が一体にリンクされたときに、該モジュールがコマンドのシーケンスを開始し、ロボットは所望の目標を達成する。適正モジュールとして、アクチュエータへのコマンドの前（プリ・コンディション状態：state pre-conditions）、および、アクチュエータへのコマンドの後（ポスト・コンディション状態：state post-conditions）の両状態でのロボットの状態を特徴付ける情報がある。適正モジュール（ＣＭ）は、１つのＣＭのプリ・コンディション状態を他のＣＭのポスト・コンディション状態にマッチングさせることによりリンクされる。
【０００８】
プラニングは、最初に、割当てられた目標の達成後のロボットの状態に一致するポスト・コンディション状態を有するＣＭとして定義される全てのターミナルＣＭを識別することにより開始する。次に、各ターミナルＣＭのプリ・コンディション状態を使用して、ターミナルＣＭのプリ・コンディション状態にマッチングするポスト・コンディション状態を有する他のＣＭを見出す。このプロセスは、ＣＭのプリ・コンディション状態がロボットの現コンディション状態（present state conditions）に一致するまで反復される。
目標への最短経路をサーチする一方法では、各ＣＭには、ＣＭと接触（マッチング・エンドポイント）するＣＭにより決定されたアクチベーション値が割当てられた。実行順序は、最大アクチベーション値をもつＣＭが次に実行される各ＣＭのアクチベーション値により決定される。
【０００９】
ＣＭの数が増大すると、サーチの完了に要する時間は非常に迅速に増大し、ロボットの応答時間は、ロボットがその環境の動的変化に応答できなくなるまで増大する。このようなサーチはタスク開始前のプラニングには受入れられるが、より多くのＣＭが付加されるとき（ロボットが学習するとき）のサーチ時間の指数的増大は、このようなサーチを、ロボットの環境変化に対するリアルタイム応答には適さないものにする。
ＣＭリンキングの後方伝搬（back-propagation）は、ロボットの応答に不可避の遅延を創出する。なぜなら、ロボットは、ＣＭの現コンディション状態から目標状態へとロボットを移動させるＣＭの完全チェーンが見出されるまで、リンクされたＣＭの実行を開始できないからである。この不可避の遅延は、ロボットの作動環境を、通常予測できる状況に限定する。
従って、ロボット環境の突然の動的状況に応答できると同時に、ロボットの学習時のＣＭの付加を許容できるロボティクプラニングの効率的方法が要望されている。
【００１０】
人はもちろん、ロボットも、受ける感覚情報（sensory information）の量は、ロボットの処理能力を大幅に越える。あらゆる環境において機能するためには、ロボットは、豊富なセンサデータストリームを、プロセッサが処理できるデータ速度に凝縮できると同時に、ロボットの作動に重要な情報を保持できなくてはならない。センサデータストリームを凝縮する１つの方法では、ロボットは、この環境の表示を作り（ワールドモデル）かつ受けた感覚情報とロボットにより記憶された表示とを比較する。ワールドモデルにより、ロボットは、ロボットの環境においてロボット自身の向きを定め、ワールドモデルの対象に対してセンサデータの迅速な特徴付けの備えをする。
【００１１】
ワールドモデルは、アロセントリック（allocentoric:他中心的）なものであってもよいし、或いは、エゴセントリック（ego-centric:自己中心的）なものであってもよい。アロセントリックなワールドモデルは、ロボットの位置と共に変化しない座標格子内に対象を置く。エゴセントリックモデルは、常に、ロボットの現在位置上に中心がある。文献３（下記非特許文献３参照）には、エゴセントリックモデルの一例が開示されている。この文献３には、ロボットの環境が、ロボットの現在位置上に中心をもつ球面上に投影されるエゴ球（Ego-Sphere）が開示されている。エゴ球は、全ての感覚情報がエゴ球上に投影される意味で、ワールドの稠密表示（dense representation）である。また、上記文献３のエゴ球は、投影がアフィン（affine）であるため連続的である。エゴ球の長所は、ワールドの完全表示および対象の方向を考慮に入れることができることである。しかしながら、エゴ球は、対象への感覚データストリームの処理および重要でない対象から重要な対象を区別するフィルタ機構を依然として必要とする。また、上記文献３には、エゴ球を使用してロボットのアクションプランを開発するいかなる方法も示唆または開示されていないだけでなく、エゴ球をロボットの学習機構にリンクすることも示唆されていない。
【００１２】
【非特許文献１】MataricおよびBrooks著「Cambrian知能：新ＡＩの早期歴史」における「ナビゲーション挙動に基いた分散マップ表示の学習」（“Learning A Distributed Map Representation Based on Navigation Behaviors,”in“Cambrian Intelligence:the early history of the new AI”）、（The MIT Press、１９９９年）
【非特許文献２】Pfeifer, R.およびC. Scheier著「知覚−モータ協調：メタフォーおよびビヨンド」、ロボティクスおよび自律システム、「自律エージェントの実際および未来」の特別発行物（“Sensory-motor coordination: the metaphor and beyond,”Robotics and Autonomous Systems, Special Issue on“Practice and Future of Autonomous Agents,”（第２０巻、第２〜４号、第１５７〜１７８頁、１９９７年）
【非特許文献３】Albus, J.S.著「知能理論の概要」（Outline for a theory of intelligence）、(IEEE Trans. Syst. Man, and Cybem,第２１巻、第３号、１９９１年)
【発明の開示】
【発明が解決しようとする課題】
【００１３】
従って、ロボットの学習、プラニングおよび表示タスクを継目なくインターフェースして、動的環境にリアルタイムに応答できるようにすることが依然として要望されている。
本願に添付した明細書のこのセクションまたは任意のセクションにおける全ての参考文献の引用または識別は、このような参考文献が、本発明の先行技術として利用できるものと解釈すべきではない。
【課題を解決するための手段】
【００１４】
本発明の一実施形態は、ロボット知能のアーキテクチャに向けられ、このアーキテクチャは、少なくとも１つの記録を有する感覚データベースを有し、各記録は、ロボットからの方向を表しかつセンサ信号を記憶でき、少なくとも１つの記録を有する動作データベースを有し、各記録はロボットにより遂行される動作を表し、前記感覚データベースのフォーカス記録を識別するアテンションエージェントと、前記動作データベースから動作を選択する動作エージェントとを更に有し、選択は、その一部が、フォーカス記録に基いて行なわれる。
【００１５】
本発明の他の実施形態は、一環境内に配置される適応型自律ロボットに向けられ、このロボットは、アクチュエータと、感覚処理ユニットと、ロボットの周囲に中心をもつ環境の表示を含む短時間メモリモジュールとを有し、前記表示は感覚処理ユニットにより供給されるデータに基いて定められ、動作を含む長時間メモリモジュールを有し、各動作は、アクチュエータ、感覚プリ・コンディションおよび感覚ポスト・コンディションへのコマンドを有し、アクチュエータが動作からのアクチュエータコマンドに応答するアクティブモードを有し、動作は、先行動作の感覚ポスト・コンディションが動作の感覚プリ・コンディションにリンクされるように選択され、ドリームモードを更に有し、該ドリームモードでは、アクチュエータが作動不能にされ、かつ感覚処理ユニットにより供給されるデータに一部が基いて、および、長時間メモリモジュールに記憶された動作に基いて、新しい動作が長時間メモリモジュールに付加される。
【００１６】
本発明の他の実施形態は、コンピュータ読取り可能媒体に記憶されるデータ構造に向けられ、このデータ構造は、タスクを遂行する適応型自律ロボットの動作を表し、該ロボットは状態ベクトルにより特徴付けられ、状態ベクトルは少なくとも１つのセンサ信号および少なくとも１つのアクチュエータ信号を有しており、このデータ構造は、ロボットの状態を表すプリ・コンディション状態ベクトルと、プリ・コンディション状態ベクトルの後のロボットの状態を表すポスト・コンディション状態ベクトルと、データ構造を特徴付けるアクチベーション時間と、他のデータ構造へのリンクとを有し、他のデータ構造は、データ構造のポスト・コンディション状態ベクトルとは異なるプリ・コンディション状態ベクトルにより特徴付けられ、一部が他のデータ構造のプリ・コンディション状態ベクトルに基き、かつデータ構造のポスト・コンディション状態ベクトルにも基づくリンク確率を更に有する。
【００１７】
本発明の他の実施形態は、タスクを遂行する適応型自律ロボットのトレーニング方法に向けられ、このロボットは、ロボットの状態と、ロボットを包囲する環境とを感知するように構成されており、この方法は、遠隔操作によりタスクを完了する段階と、遠隔操作中のロボットの感覚情報を記録する段階と、記録された感覚情報に基いてエピソードを識別する段階と、少なくとも１つのエピソードに基いて見本エピソードを創出する段階と、動作を創出する段階とを含み、この動作は、見本エピソードと、連続動作へのリンクとを有し、リンクされた動作を実行すると、遠隔操作を行なうことなくタスクを完了するようになっている。
【００１８】
本発明の他の実施形態は、一環境内で移動する自律ロボットにより予め識別される対象を位置決めする方法に向けられ、この方法は、対象およびロボットに対する対象の方向を記憶する段階と、対象が識別された後のロボットの運動を記録する段階と、記録されたデータ構造およびロボットの記録された運動に基いて、対象の方向を計算する段階と、対象の計算された方向に従って、短時間メモリにタグを記憶することにより対象を位置決めする段階とを含む。
【００１９】
本発明の他の実施形態は、適応型自律ロボットの新しい動作シーケンスを創出する方法に向けられ、このロボットは、アクチュエータと、短時間メモリモジュールと、長時間メモリモジュールとを有しており、この長時間メモリモジュールが少なくとも１つの動作を含み、この動作が、アクチュエータコマンドおよび感覚状態ベクトルを含んでおり、この方法は、アクチュエータを不能にする段階と、短時間メモリモジュールのコンテンツに基いて新しい動作を創出する段階と、新しい動作と、該新しい動作の感覚状態ベクトルおよび長時間メモリに記憶された動作の感覚状態ベクトルに基いて長時間メモリに記憶された既存の動作との間にリンクを形成する段階とを含んでいる。
【００２０】
本発明の他の実施形態は、一環境内に浸漬される知能ロボットの短時間メモリを表しかつ環境からの刺激を受けるコンピュータ読取り可能媒体に記憶されるデータ構造に向けられ、このデータ構造は、一方向を表す第一フィールドと、最も近い近隣方向へのポインタを表す最も近い近隣リストと、事象データ構造へのポインタを含む事象リストとを有し、事象データ構造は第一フィールドに記憶された方向から受けた刺激を表す。
【００２１】
本発明の他の実施形態は、感覚処理モジュールを備えた自律ロボットを包囲する環境内に生じる事象を識別する方法に向けられ、各感覚処理モジュールは、環境の特徴を感知するように構成され、事象はロボットに対する事象の進行方向により特徴付けられており、この方法は、モジュールにより感知された特徴および該特徴の方向を表す信号を各モジュールから受ける段階と、モジュール信号の方向に従って短時間メモリに各モジュール信号を記憶する段階と、事象の進行方向に一致する、短時間メモリに記憶されたモジュール信号に基いて事象を識別する段階とを有含んでいる。
【００２２】
本発明の他の実施形態は、環境と相互作用する手段と、ロボットの内部状態を感知する手段と、環境の特徴を感知する手段と、感知した内部状態および環境に基いて対象を表す感覚エゴ球と、外部源からデータを受ける手段と、受けたデータを感覚エゴ球上に表す手段とを有することを特徴とする適応型自律ロボットに向けられる。
【発明を実施するための最良の形態】
【００２３】
本発明は、本発明の特定実施形態の例を示す本発明の好ましい実施形態について以下の詳細な説明および添付図面を参照することにより、一層完全に理解されよう。
適応型自律ロボットは、その環境を検出しかつ環境と相互作用できなくてはならない。従って、ロボットはセンサおよびアクチュエータを備える必要がある。センサは、環境の特徴にマッピングされる信号を発生できる任意のデバイスである。センサは、例えば継手において２つの部材により形成される角度またはモータシャフトの角速度等のロボットの内部アスペクトを測定する固有受容センサ（proprioceptive sensor）で構成できる。またセンサは、例えば一方向からの光の強度またはロボットに加えられる力の存在等のロボットの外部のアスペクトを測定する外受容センサ（exteroceptive sensor）で構成できる。アクチュエータは、ロボットが、全体としてまたは部分的に、１つのアクションを遂行することを可能にする任意のデバイスである。センサ、アクチュエータおよび機械的支持構造体以外に、ロボットは、センサからの信号を受け、コマンドをアクチュエータに伝送しかつ１つ以上のプログラムを実行できる１つ以上のコンピュータを備えなくてはならない。本発明は、センサ、アクチュエータおよびコンピュータの種々の組合せをもつロボットに実施できる。このような１つのロボットは、文献４（下記非特許文献４参照。この全体を本願に援用する）に開示されている。このようなロボットの他の例は、文献５（下記非特許文献５参照。この全体を本願に援用する）に開示されている。好ましい実施形態では、本発明は、互いに同期して相互作用する多くの独立的エージェントプログラムの実行を可能にする機械アーキテクチャに実施される。このようなアーキテクチャの一例が、文献６（下記非特許文献６参照。この全体を本願に援用する）に開示されている。
【００２４】
【非特許文献４】Peters, A. II、K. Kawamura、D． M. Wilkes、K. E. Hambuchen、T. E. Rogers、およびA. Alford著「ＩＳＡＣヒューマノイド：学習および感情のついてのアーキテクチャ（ISAC Humanoid: An Architecture for Learning and Emotion）」（Proceedings of the IEEE-RAS International. Conference on Humanoid Robots、第４５１〜４５９頁、早稲田大学、東京、日本、２２〜２４、２００１年１１月）
【非特許文献５】R. Ambrose、S. Askew、W. Bluethmann、およびM. Differ著「仕事をするように設計されたヒューマノイド（A Humanoid Designed to Do Work）」（Proceedings of the IEEE-RAS International. Conference on Humanoid Robots、早稲田大学、東京、日本、２２〜２４、２００１年１１月）
【非特許文献６】Pack, R. T.著「ＩＭＡ：知能機械アーキテクチャ（IMA: The Intelligent Machine Architecture）」（Ph. D. Dissertation, Vanderbilt University、１９９９年５月）
【００２５】
ロボットの物理的状態は、（Ｓ＋Ａ）−次元状態ベクトルＲ（ｔ）で表すことができる。ここで、Ｓはロボットのセンサデータの次元の数、Ａはロボットのアクチュエータコントローラの次元の数である。状態ベクトルの使用を示す図面として、図１ａは回廊１０２を移動しかつ他の回廊１０５を右旋回するロボット１００を示す図面である。図１ｂは、図１ａに示した時間中のロボットの右側センサ信号１２０と、左側センサ信号１３０と、ロボットのアクチュエータ（モータ）信号１４０とを示す。時点ｔa１５２では、ロボットは、回廊１０２の遠位壁１０３から等距離かつ近位壁１０４から等距離を維持しつつ回廊１０２を移動している。時点ｔaでの状態ベクトルは、この時点ｔaでロボットに関係している全てのセンサおよびアクチュエータの値を有している。図１ｂは、ロボットに関連する１つのモータ信号および２つのセンサ信号のみを示すが、状態ベクトルは、時点ｔaでの他のセンサおよびアクチュエータの値をも有している。時点ｔb１５４では、ロボットは、回廊１０５への入口を通り、近位壁１０４への距離が突然的に変化するのでロボットの右側センサ信号が変化する。同時に、左側ホイールへのモータはその速度を増大させ、回廊１０５内へのロボットの旋回を開始させる。モータは、時点ｔd１５６までその速度を増大させ、ロボットは回廊１０５の右側壁１０６に対する一定距離を再確立する。
【００２６】
人は、上記例示におけるフレーズ「他の回廊内への右旋回を行なう」の意味を理解できるが、ロボットにアクセスできる唯一の情報は状態ベクトルＲ（ｔ）である。また、人は回廊の移動、右旋回および第二回廊の移動の行動を容易に仕切ることができるが、ロボットは、連続Ｒ（ｔ）を個別エピソードに仕切ることができなくてはならない。連続エピソードを分離する境界は、アクチュエータが他の状態に移行する時点を識別することにより識別される。このようなアクチュエータ移行は、文献７（下記非特許文献７参照）に開示されているような１つ以上のロボットセンサの突然的変化に相関付けることができる。図１ｂにおいて、１つのエピソード境界は、ホイールモータがロボットの旋回を開始させるべくスピードアップする時点ｔb１５４に一致し、一方、第二エピソード境界は、ホイールモータが回廊を移動する通常速度に戻る時点ｔd１５６に一致する。これらのエピソード境界間の時間は、１つのエピソードとして定義される。
【００２７】
【非特許文献７】Cohen、Paul R.、Niall AdamsおよびDavid Hand著「エピソードに一致するパターンの発見（Finding Patterns that Correspond to Episodes）」（University of Massachusetts Computer Science Department Technical Report ２００１年１１月１日）
【００２８】
ロボットが更に右旋回を行なうとき、右旋回に一致する状態ベクトルは、クラスタに現われる状態スペース内の経路をトレースする。クラスタは、当業者に知られた、例えば平均化の前の一時的正規化等の任意の適当な方法により、見本エピソードとも呼ばれる状態スペースを通る単一経路に縮小される。見本エピソードを決定する他の方法が、その全体を本願に援用する文献８（下記非特許文献８参照）に開示されている。見本エピソードは、或る意味で、クラスタリングされた全てのエピソードの単一実体への抽象を表す。
【００２９】
【非特許文献８】Cambron, M.E.およびPeters II, R. A.著「遠隔操作によるロボットの感覚モータ協調パラメータの決定（Determination of Sensory Motor Coodination Parameters for a Robot Via Teleoperation）」(Proceedings of the 2000 IEEE International Conference on Systems,Man and Cybernetics, Tucson, AZ, ２００１年１０月)
【００３０】
幾つかのエピソードの単一見本への抽象または分類は重大である。なぜならば、見本エピソードが特定エピソードにとって重大なセンサおよびアクチュエータに関する情報を保有しているからである。一例として右旋回エピソードを使用すると、左右のセンサ状態およびホイールモータ状態は状態ベクトルにおいて重要な要素である。なぜならば、これらはあらゆる右旋回の場合に同様に挙動するからである。逆に、ロボットの他のセンサまたはアクチュエータは右旋回中に任意の状態にあってもよい。例えば、ロボットには把持アーム、および該アームの状態を特徴付ける関連アクチュエータおよびセンサを設けることができる。トレーニング中、ロボットを、対象を把持しながら右旋回させることができるが、対象を把持することなく右旋回させることもできる。アームに関係するセンサ信号およびアクチュエータ信号は状態スペースを通る別の経路に従うであろうし、エピソードを分析すると、アームセンサのエピソードとアクチュエータのエピソードとの相関関係は小さいであろう。無関係の状態ベクトルからの重要な状態ベクトル要素の区別は、エピソードの分類にとって重要ではないが、動的環境におけるロボットの応答性を高めるのに有効に使用できる。
【００３１】
ロボットがいかにして右旋回を行なうことを「学習」したかを詮索しがちであるが、それは誤解を招くことになるであろう。なぜならば、ロボットは、「右旋回」が意味するものが何であるかを考えないからである。それどころか、ロボットは、状態ベクトルの時系列および頻繁に生じる見本エピソードを識別している。逆に、ロボットが見本エピソードでのアクチュエータ移行に一致するようにアクチュエータを制御する場合には、ロボットは、見本エピソードの開始時の状態から見本エピソードの終時の状態まで自律的に移動できるであろう。
一エピソードまたは関連見本エピソードをエピソード境界同士の時間であると定義する代わりに、状態ベクトル時系列の好ましい仕切りが、時点ｔa１５２での第一エピソード境界の直前にエピソードを開始し、時点ｔc１５５での第二エピソード境界の直前にエピソードを終了させる。エピソードの僅かなシフトは、エピソード境界の識別、エピソードのクラスタリングまたは見本エピソードの創出に全く効果を与えない。しかしながら、小さいシフトは、タスクのプラニングおよび環境に対する反応の点でロボットに大きい利益を創出する。
【００３２】
エピソードは時点ｔa１５２で開始し、時点ｔa１５２での状態ベクトルＲ（ｔa）はエピソードプリ・コンディションと呼ばれる。なぜならば、Ｒ（ｔa）はエピソード開始時のロボット状態（ロボットのセンサおよびアクチュエータの状態）を記述するからである。エピソードは時点ｔc１５５で終了し、かつ時点ｔcでの状態ベクトルＲ（ｔc）はエピソードポスト・コンディションと呼ばれる。時点ｔaでのプリ・コンディション状態を定義することは有利である。なぜならば、プリ・コンディション状態ベクトルＲ（ｔa）はエピソードでのアクチュエータ状態移行を実行するトリガとして使用できるからである。また、ポスト・コンディションの状態ベクトルＲ（ｔc）は他のエピソードを実行するトリガとして使用できる。プリ・コンディション状態およびポスト・コンディション状態により定義される見本エピソードは、１つの大きい相違点を除き、上記非特許文献１（MataricおよびBrooks）に開示されたものと同じである。この非特許文献１の基本挙動は、ロボットによる何らかの自律的アクションの前の外部プログラマによりコード化されなくてはならず、一方、本発明の見本エピソードは、外的介入なくして、ロボットの経験から創出される。
【００３３】
見本エピソードの創出中に、連続状態ベクトルは一連の別々のエピソードに仕切られ、一方、エピソードのプリ・コンディションは前のエピソードのポスト・コンディションに等しく、エピソードのポスト・コンディションは連続エピソードのプリ・コンディションに等しい。
ひとたび識別（学習）したならば、各見本エピソードはロボットの長時間メモリモジュールに記憶されかつ他の見本エピソードとは独立して呼出しかつ実行（エピソードでのアクチュエータ移行を一致させるようにアクチュエータを制御させて）することができる。目標が与えられたならば、ロボットは、ロボットの現在の状態で開始しかつチェーンの各見本エピソードのプリ・コンディションエンドポイントが先行見本エピソードのポスト・コンディションエンドポイントに一致しかつチェーンの各見本エピソードのポスト・コンディションエンドポイントが連続見本エピソードのプリ・コンディションエンドポイントに一致する目標状態で終了する一連の見本エピソードを見出すことにより状態スペースを通る経路をプラニングすることができる。
【００３４】
初期状態から目標状態への見本エピソードのリンキングは、古典的なＡＩプラニングに使用されるＳＡＮ内の適正モジュール（ＣＭ）の後方伝搬と同様である。ＣＭには、プリ・コンディションリスト、ポスト・コンディションリスト、コマンドまたはアクション、およびアクチベーション時間が含まれる。また、ＣＭは、ロボットのいかなるアクションよりも前のプログラムにより与えられる。
長時間プラニングおよび変化環境に対する迅速応答の両方に対処するため、本発明の好ましい実施形態は、データ構造としての動作（behavior）と呼ばれる修正された見本エピソードを表す。一実施形態では、この動作はレコードとしてデータベースに記憶される。各動作は、目標を含むフィールドまたは目標へのポインタに仕切られる。好ましい実施形態では、各動作は、見本エピソード（プリ・コンディション状態ベクトルおよびポスト・コンディション状態ベクトルを含む）を表すフィールドを有している。各動作はまた、動作のアクチベーション時間を表すフィールドを有している。好ましい実施形態では、各動作は、各フィールドが動作に「近接」した他の動作へのリンクを表す１つ以上のフィールドを有している。
【００３５】
リンクフィールドは、動作データ構造（behavior data structure）を従来技術のＣＭから区別しかつロボットがその環境の変化に迅速に応答できるようにする動作データ構造の特徴の１つである。リンクフィールドは、ロボットが、状態スペースでの先行動作に一致しない動作を実行できるようにするため有利である。「状態スペースでの一致」とは、先行動作のポスト・コンディション状態ベクトルと、連続動作のプリ・コンディション状態ベクトルとの一致を意味することを理解すべきである。ロボットがその現在状態に一致しない動作を選択できる能力は、ロボットに可能動作の大きい選択を与えると同時に、選択された動作がロボットをその目標に向かって首尾良く前進させる最大の機会を有するような動作に重きを置く。
【００３６】
図２は、本発明の一実施形態のシステムアーキテクチャを示す概略図である。図２において、感覚処理モジュール（sensory processing module:ＳＰＭ）２１０は、ロボットの環境に関する情報を感覚エゴ球（Sensory EgoSphere:ＳＥＳ）２２０に供給する。ＳＥＳは、ロボットの短時間メモリとして機能し、ＳＰＭ２１０により供給される情報からロボットの現在状態を決定し、かつＳＰＭ２１０、アテンションエージェント２３０および一致エージェント２４０により供給される状態に基いてフォーカス領域を決定する。ベクトルエンコーディングエージェント２５０は、フォーカス領域に関連するデータをＳＥＳ２２０から検索し、かつデータベース連想メモリ（ＤＢＡＭ）２６０内の状態スペース領域にデータをマッピングする。
ロボットがタスクを遂行するようなアクティブモードにある場合には、ＤＢＡＭ２６０は、拡大アクチベーションネットワーク（Spreading Activation Network:ＳＡＮ）を活動化して一連のアクション（これは、割当てられた目標を達成するためにロボットが遂行する場合にはアクティブマップとも呼ぶ）をプラニングする。各アクションはＤＢＡＭ２６０（ＤＢＡＭは、ロボットの長時間メモリと非常に良く似た機能をする）に記憶された動作として実行される。アクティブマップによる適当な動作はＤＢＡＭ２６０から検索されかつアクチュエータ２７０により実行される。アクチュエータ２７０は、該アクチュエータにより当該環境でロボットを活動させる、ロボットのアクチュエータを制御するコントローラを有している。ＤＢＡＭはまた、ロボットの現在状態の情報を、アテンションエージェント２３０および一致エージェント２４０に供給する。
【００３７】
コンテクストエージェント２８０は、ロボットの外部の源から受けた、ロボットの作動コンテクストエージェントに関する情報を供給する。好ましい実施形態では、コンテクストエージェント２８０は一般的な３つの作動コンテクスト、すなわちタスキング、トレーニングおよびドリーミングを供給する。タスキングコンテクストでは、コンテクストエージェント２８０は、外部源から受けたときにタスク目標を設定する。トレーニングコンテクストでは、コンテクストエージェント２８０は、外部源から受けた全ての遠隔操作コマンドを、ＤＢＡＭを介してアクチュエータに導く。ドリーミングコンテクストでは、コンテクストエージェント２８０は、アクチュエータを不能にしかつＤＢＡＭを活動化して、ＳＥＳ２２０により維持されたロボットの最新のアクティビティに基いて動作を修正しかつ創出する。
【００３８】
各モジュールは互いに独立して作用する１つ以上のエージェントを有し、これらのエージェントについて以下に詳細に説明する。
各ＳＰＭ２１０は、センサに接続されかつセンサ特定情報をＳＥＳ２２０に書き込む。ロボットのセンサは、内部センサまたは外部センサで構成できる。内部センサは、ロボット内部の状態または状態変化を測定する。内部センサとして、継手位置エンコーダ、力−トルクセンサ、歪みゲージ、温度センサ、摩擦センサ、振動センサ、ジャイロスコープまたは加速度計等の慣性誘導装置または入口センサ（vestibular sensors）、電流、電圧、抵抗、容量またはインダクタンス等の電気センサ、タコメータ等のモータ状態センサ、クロックその他の時計、または当業者に知られている他のトランスデューサがある。またこれらのセンサは、例えば計算モジュールの状態、計算エージェントのアクティビティまたはこれらの間の通信パターン等の情報測定を行なうもので構成できる。タスクの成功または失敗は、情報的に「検出」されて内的影響測定に付加される。
【００３９】
外部センサはエネルギートランスデューサである。外部センサは、ロボットの外部からのエネルギ入射により模擬化されかつ該入射エネルギを、ロボットの内部エネルギ源（電気的、機械的、重力または化学的エネルギ源）に変換する。内部エネルギ源は、抽象表示のためロボットによりサンプリングまたは定量化されるか、他のセンサに直接供給するかアクチュエータを駆動するのに直接使用される。外部センサとして、カラーまたはモノクロのスチル像カメラまたは動画（ビデオ）カメラ、種々の波長に応答する赤外光、光学、紫外光または多スペクトル非イメージング光センサ、マイクロフォン、ＳＯＮＡＲ、ＲＡＤＡＲまたはＬＩＤＡＲ等の等のアクティブレンジファインダ、近接センサ、モーション検出器、例えば単一または複数列に配置される人工スキン中のタッチセンサ、サーモメータ、接触センサ（フィーラ）、バンプセンサ、嗅覚センサまたは化学センサ、振動センサ、全世界測位システム（ＧＰＳ）センサ、磁界センサ（コンパスを含む）、電界センサ、および放射線センサがある。また外部センサは、直接インターネット接続または他のロボットへの接続を有する情報受信信号（ラジオ、ＴＶ、データ）で構成することもできる。外部センサには、スピーチ、ジェスチャ、顔面表情、声のト−ンおよび抑揚を理解するコンピュータアスペクトを付与できる。
各センサは１つ以上のＳＰＭに接続して、各ＳＰＭが１つ以上のセンサを処理するように構成できる。例えば、ＳＰＭは、２つのマイクロフォンセンサからの信号を処理して、音源の方向を決定することができる。他の例では、カメラは視界内の強いエッジのみを識別するＳＰＭに信号を送り、かつ視界内の赤色のみを識別する他のＳＰＭに同じ信号を送ることができる。
【００４０】
各アクチュエータ２７０は、ロボットのアクチュエータを制御するアクチュエータコントローラを有している。アクチュエータは、ロボットをその環境で活動させ、またはロボットの任意の部分の相対方向を変える任意の装置で構成できる。アクチュエータは仕事を行ない、かつ電気、空気圧、油圧、熱、機械、原子力、化学または重力等の考えられるあらゆる動力源により駆動される。アクチュエータとして、モータ、ピストン、弁、ねじ、レバー、人工筋肉または当業者に知られている均等物がある。一般に、アクチュエータは、運動、操作、またはセンサの能動位置決めまたは走査に使用される。アクチュエータとは、腕または脚の運動、またはアクティブビジョンシステムでの運動のような協調タスクを遂行する一群のアクチュエータであるということもできる。
アクチュエータ制御は、タスク中に動作シーケンスを実行するロボットの動作エージェントにより常時活動化されている。トレーニング中、アクチュエータコントローラは、ロボットの外部のハンドラにより活動化できる。
【００４１】
ＳＥＳ２２０は、多数のセンサを同時に活動化する環境内の事象の検出を行なう。ロボットの各センサは、当該センサに関連するデータストリームからの特定情報を抽出するように設計された１つ以上のＳＰＭ２１０に情報を送る。ＳＰＭは互いに独立しており、好ましくは異なるプロセッサに連続的かつ同時的に作用する。各ＳＰＭ２１０は、ＳＥＳで利用できる場合には、情報メッセージを、方向感覚情報を含むデータを記憶するＳＥＳマネージャエージェントに送る。ＳＥＳマネージャにより受けられた各メッセージは、メッセージが受けられた時間を表示する時間スタンプが与えられる。
ＳＥＳ２２０は、関心アイテムを見出すのに、全球投影フィールド（entire spherical projection field）を処理する必要性を無くすことができる。全投影フィールドの処理は非常に時間を要し、ロボットの環境の動的変化に迅速に応答するロボットの能力を低下させる。重要な事象は、ＳＥＳ２２０の最もアクティブな領域を識別することにより、ＳＥＳ２２０により迅速に識別される。処理リソースは最もアクティブな領域での対象を識別することのみに使用され、投影フィールドの無関心の領域または不適切な領域に無駄に使用されることはない。また、ＳＥＳ２２０は、（リソースの計算に関して）付加コストなくして同じ頂点（vertex）に書き込まれた独立センサ情報を連合すなわち関連付けることができる。なぜならば、各ＳＰＭ２１０が互いに独立してＳＥＳ２２０に書き込むからである。
【００４２】
一実施形態では、３次元環境が投影される、ロボット上に中心をもつ球面は、ＳＥＳでは１組の頂点として表される。頂点は、各頂点の最も近い近隣距離がほぼ同じとなるように、球面上に均一に分散される。連続球面を１組の頂点に分けることにより、ＳＥＳエージェントが、各センサ源の方向に基いて独立ＳＰＭ情報に迅速に関連できるようにする。ＳＥＳのサイズ（頂点の数）の選択は、ロボットのセンサの最高方位分解能に対する最大数の頂点により引起こされる大きい時間遅延をバランスさせることにより当業者により決定できる。好ましい実施形態では、頂点は、測地ドーム構造（geodesic dome structure）の頂点に一致するように配置される。
【００４３】
図３は、本発明の一実施形態を示す模式図である。図３では、ＳＥＳは多面体３００として表されている。多面体３００は三角形平面３０５からなり、該三角形平面はこの１つの角を形成する頂点３１０を有している。図３の多面体では、各頂点は５つまたは６つの最も近い近隣頂点を有しかつ最も近い近隣距離は実質的に同じであるが、一定範囲の最も近い近隣距離を形成するモザイク（tessellations）も本発明の範囲内にある。ＳＥＳは、多面体の中心３０１に位置するロボットの現在位置上に中心を有している。軸線３０２はロボットの現在の進行方向(heading)を定義し、軸線３０４はロボットに対する垂直方向を定義し、かつ軸線３０３は、軸線３０２と共にロボットの水平面を定義する。
対象３５０は、該対象３５０と中心３０１とを結ぶ光線３５５によりＳＥＳ上に投影される。光線３５５は、方位角φsおよび極角θsで定められる点３５７で面３６０と交差する。方位角φsおよび極角θs等の対象３５０に関する情報は、点３５７に最も近い頂点３７０で記憶される。
【００４４】
一実施形態では、ＳＥＳは、各々がモザイク形の球上の頂点を表すデータ構造へのポインタの多リンク形リストとして実施される。各頂点記録は、最も近い近隣頂点へのポインタと、タグフォーマットデータ構造（tagged-format data structure:ＴＦＤＳ）への付加ポインタとを含んでいる。ＴＦＤＳは対象の端末リストであり、各対象は英数字タグ、時間スタンプ、およびデータ対象へのポインタからなる。タグは感覚データ形式を識別しかつ時間スタンプは、データがいつＳＥＳに書き込まれたかを表示する。データ対象は、感覚データおよびデータ対象に関連する他のエージェントへのリンクのような任意の機能のスペシフィケーションを有している。任意の頂点に書き込まれるタグの形式および数は制限されない。
ＳＥＳは、Microsoft Access（登録商標）またはMySQL（登録商標）等の標準データベース製品を用いたデータベースとして実施できる。データベースと他のシステムコンポーネンツとの間の通信を管理するエージェントは、当業者に知られたBasicまたはＣ＋＋等の任意のプログラミング言語で書くことができる。
【００４５】
一実施形態では、データベースは全ての登録情報を保有する単一テーブルである。マネージャは制御システムの他のエージェントと通信して、発生されたリクエストをデータベースにリレーする。マネージャは、任意のエージェントすなわち、ポストデータ、データネームを用いた検索データ、データ形式を用いた検索データおよびロケーションを用いた検索データから４つの形式のリクエストのうちの１つを受けることができる。ポスト機能は、リクエストエージェントから全ての関連データを取出しかつこれらのデータを正しい頂点位置でデータベースに登録する。関連データとして、データネーム、データ形式、およびデータを登録すべきモザイク周波数（tessellation frequency）がある。頂点角度は、データが見出されたパン角および傾斜角に従ってＳＥＳにより決定される。また、時間スタンプが関連データに登録される。データネーム機能を用いた検索データは、特定ネームを用いてデータベースに質問する。この質問は、所与のネームを含んだデータベースに全ての記録を戻す。全てのデータは質問エージェントに戻される。データ形式機能を用いた検索データは前の機能と同様であるが、質問は、ネームではなくデータ形式を使用する。位置機能を使用する検索データは、特定位置およびサーチする近隣深さを用いて質問するのに、位置機能を用いて頂点を決定する。全ての頂点が決定されると、質問が置かれかつ特定頂点での全ての記録が戻される。
【００４６】
他の実施形態では、データベースは２つのテーブルを有し、ここで、頂点テーブルは頂点角を保有しかつこれらのインデックスおよびデータテーブルは全ての登録データを保有する。ＳＥＳが創出されると、マネージャは投影インターフェースの頂点を創出する。頂点テーブルの各頂点は方位角と、仰角と、各頂点をユニークに識別するインデックスとを保有する。マネージャは、制御システムの外部エージェントと通信しかつ発生されたリクエストをデータベースにリレーする。マネージャは、任意のエージェントすなわち、ポストデータ、データネームを用いる検索データ、データ形式を用いる検索データ、およびロケーションを用いる検索データから、４つのリクエストのうちの１つを受けることができる。ポスト機能は、リクエストエージェントから全ての関連データを取出しかつこのデータを正しい頂点位置でデータベースに登録する。データネームを使用する検索データは、特定ネームを用いてデータベースに質問する。この質問は、所与のネームを含んだデータベースに全ての記録を戻す。全てのデータは質問エージェントに戻される。データ形式機能を用いた検索データは前の機能と同様であるが、質問は、ネームではなくデータ形式を使用する。位置機能を使用する検索データは、頂点テーブルに記憶されたインデックスおよび角度を使用する。リクエストに特定された所望位置は、ＳＥＳの頂点に変換される。この頂点のインデックスは位置決めされ、最初の位置の所望の近傍内に含まれるインデックスが収集される。次に、これらのインデックスに一致する角度が、登録データを保有する主データベースに対する質問に使用される。これらの位置での全ての情報が、リクエストコンポーネンツに戻される。
【００４７】
ポストエージェントおよび検索エージェントに加え、他のエージェントは、ＳＥＳに記憶された情報のデータ分析およびデータディスプレイのような機能を、ポストエージェントおよび検索エージェントの使用を介して遂行できる。
各ＳＰＭエージェントがＳＥＳの頂点に書き込むとき、アテンションエージェント２３０は、フォーカス頂点と呼ばれる最もアクティブな頂点を見出すべく頂点リストを介してサーチする。１つの頂点または一群の頂点での高いアクティビティは、ＳＥＳの全ての頂点の情報を最初に処理することなく、ロボットに関係する環境の事象にロボットをフォーカスする非常に迅速な方法である。本発明の一実施形態では、アテンションエージェントは、最大数のＳＰＭメッセージをもつ頂点を見出すことによりフォーカス頂点（focus vertex）を識別する。
【００４８】
好ましい実施形態では、アテンションエージェント２３０は、ＳＥＳに書き込まれた情報に重きをなし、現在実行されている動作に部分的に基いて各メッセージのアクティビティ値を決定し、かつ最大アクチベーション値をもつ頂点としてフォーカス頂点を識別する。現在実行されている動作が正常に終了する場合（ポスト・コンディション状態が満たされた場合）には、アテンションエージェントは、ポスト・コンディション状態を見ることが期待でき、かつＳＥＳの高感度化部分に書き込まれたＳＰＭデータにより大きいウェイトすなわちアクティビティが与えられるように、ＳＥＳの一部をポスト・コンディション状態の発生へと高感度化できる。また各ＳＰＭは、ＤＢＡＭからの現在実行されている動作に基いてバイアスされ、期待されるＳＰＭ信号により大きいウェイトが与えられる。
【００４９】
例えば、現在実行されている動作は、現在の進行方向の４５°左方に赤色対象を見ることを期待するポスト・コンディション状態をもつことができる。アテンションエージェントは、現在の進行方向の４５°左方を包囲する領域内の頂点を高感度化し、これにより、これらの頂点に書き込まれたあらゆるＳＰＭデータには、例えば、他の頂点でのアクティビティより５０％高いアクティビティが割当てられる。同様に、環境内の赤色対象（red objects）を検出するＳＰＭは、他のＳＰＭのアクティビティレベルよりも、例えば、５０％高いアクティビティレベルをもつメッセージを書き込む。
環境内の一事象は同時的に幾つかのセンサを活動化するが、各特定センサに関連する遅延（潜在）が変化するため、種々のＳＰＭからのメッセージは、異なる時点でＳＥＳに書き込まれる。例えば、１つのイメージシーケンス内に移動エッジを見出すことは、ＩＲセンサ配列により運動を検出するよりも長時間を要する。一致検出エージェント２４０は、当業者に知られたトレーニング技術を用いて変化センサ遅延を説明すべくトレーニングでき、これにより、或る時間内にＳＥＳにより受けられたメッセージは、単一事象に対する応答として識別される。
【００５０】
頂点に書き込まれたＳＰＭデータに加え、頂点は、ＤＢＡＭ２６０に記憶された動作へのリンクも含むことができる。ＳＥＳにはランドマークマッピングエージェントも書き込まれ、対象が期待される頂点での対象記述子にポインタを記憶する。対象は、ロボットがＳＥＳ上を移動する間に、その全体を本願に援用する文献９（下記非特許文献９参照）に開示されている変換を用いて追跡される。
【００５１】
【非特許文献９】Peters、R. A. II、K. E. Hambuchen、K. KawamuraおよびD. M. Wilkes著「ヒューマノイド用短時間メモリとしての感覚エゴ球（The Sensory Ego-Sphere as a Short-Term Memory for Humanoids）」（Proc. IEEE-RAS Int'l. Conf. on Humanoid Robots、第４５１〜４５９頁、早稲田大学、東京、日本、２２〜２４、２００１年１１月）
【００５２】
期待対象をＳＥＳ上に置きかつ対象を追跡する能力により、対象がどこを通過すべきであるかを期待しかつ思い出すことをロボットが知ることが可能になる。通過した対象を思い出す能力により、更に、ロボットが、突然的事象によりロボットの状態を該事象の前にロボットのアクティブマップから離れた位置に変位させる意味の「見失い」を引起こす場合には、前の状態に退却することが可能になる。
ＳＥＳ２２０上にロボットを置くことができることにより、ロボットにはエゴセントリックナビゲーションの能力が与えられる。ＳＥＳ２２０上に３つの対象を置くと、ロボットその現在位置を三角形にすることができ、ＳＥＳ上に目標状態を置くことができると、ロボットが、現在位置に対する目標を計算することが可能になる。
ＳＥＳ２２０に置かれる対象は、ロボットの外部の源、例えば他のロボットから出るものでもよい。これにより、ロボットは、該ロボットが直接見ることができない対象の位置を「知る」ことができる。
【００５３】
フォーカス頂点に書き込まれた情報は、現在の状態ベクトルにエンコードされかつＤＢＡＭ２６０に通されたベクトルである。現在の状態ベクトルはＤＢＡＭ２６０に使用されて、現在実行されている動作を終了または連続させかつ連続動作を活動化する。
アクチュエータコントローラ２７０は、ＤＢＡＭ２６０から検索された動作エージェントを実行することにより活動化される。各動作は記録としてＤＢＡＭ２６０に記憶されかつ独立動作エージェントにより実行される。ロボットが自律モードで作動しかつタスクを遂行するときは、現在実行している動作エージェントがＳＥＳ２２０から情報を受ける。現在実行している動作エージェントは、ＳＥＳ情報が現在の動作により期待される状態に一致する場合には現在の動作を実行し、或いはＳＥＳ情報が現在の動作のポスト・コンディション状態に一致する場合には現在の動作を終了する。現在実行している動作は、単なるタイムアウトの規準によって終了するようにしてもよい。
終了状態を識別すると、連続動作は、現在実行している動作にリンクされた動作同士の間のアクチベーション信号の伝搬により選択される。サーチスペースを、ＤＢＡＭでの全ての動作ではなく、現在実行している動作にリンクされた動作のみに制限することにより、連続動作のサーチ時間が大幅に短縮し、ロボットはリアルタイム応答性を呈する。
【００５４】
現在の動作にリンクされた各動作は、現在の状態とそのプリ・コンディション状態との間のベクトルスペース距離を計算する。各動作は、計算された距離に反比例（アクチベーション時間に負の数を加えることにより）する抑制信号（inhibitory signal）を、他のリンクされた動作に伝搬する。リンクされた動作間の抑制信号の伝搬は、殆どの場合に、最高のアクチベーション時間をもつ動作が、プリ・コンディション状態がロボットの現在の状態に最も近く一致する動作にもなるという効果を有する。
動作間のリンクは、タスクプラニング中にＳＡＮエージェントにより創出されるが、ドリーム状態中のドリームエージェントによっても創出される。リンクはタスク従属性でありかつ異なる動作は、割当てられた目標に基いて一体にリンクされる。
ロボットが目標達成のタスクをするときに、拡大アクチベーションネットワーク（ＳＡＮ）は、目標状態から現在状態まで後方伝搬することにより、ロボットを、その現在の状態からＤＢＡＭの目標状態（アクティブマップ）へと移行させる連続動作を構成する。アクティブマップに付加される各動作に対して、ＳＡＮエージェントは、付加された動作のポスト・コンディション状態に近いプリ・コンディション状態を有する動作のサーチを遂行し、かつ近接動作と付加動作とを連結するリンクを付加する。付加された動作には、リンクを特徴付けかつリンクされた動作間の逆ベクトルスペース距離に基いたアクチベーション時間も付加される。ＳＡＮエージェントは、現在状態を目標状態に連結する幾つかの経路を創出する。
【００５５】
コマンドコンテクストエージェントは、ロボットが目標を定めたタスクを受けることおよびロボットをアクティブモードと、ドリームモードと、トレーニングモードとの間で移行することを可能にする。
タスクを遂行しないとき、または、タスクを学習しないとき、または、現在のタスクがロボットの完全処理能力を使用しない（夢想？）ときのように機械的に活動しない間は、ロボットはドリーム状態に移行する。ドリーム状態にある間、ロボットは、その最近のアクティビティに基いて新しい動作を修正または創出し、かつ将来のアクティビティ中の可能な実行に対する新しいシナリオ（ロボットにより実行される後の動作シーケンス）を創出する。
ロボットが夢見る度毎に、ドリームエージェントは、エピソード境界およびエピソードを識別することにより、最後のドリーム状態以降の最近のアクティブ時間についてＲ（ｔ）を分析する。各最近エピソードは、最初にＤＢＡＭの既存の動作と比較され、最近のエピソードが既存の動作の他の場合であるか否かを確認する。この比較は、最近エピソードと既存の動作または他の何らかの同様な基準との間の平均距離または終点距離に基いて行なわれる。エピソードが動作に近い場合には、動作は新しいエピソードを説明すべく修正できる。
【００５６】
エピソードが既存の動作から区別されると、ドリームエージェントは、エピソードに基いて新しい動作を創出しかつ最も近い動作へのリンクを見出しかつ創出する。最も近い既存の動作へのデフォルトアクチベーションリンクは、一部が、例示動作に表されるエピソードの数に基いて定められ、これにより、単一のエピソードから創成される新しい動作には、多くのエピソードから創成される動作よりも小さいアクチベーション値が割当てられる。新しい動作が、可能な将来の実行についてのＤＢＡＭに付加される。
ロボットが、遠隔操作または他の既知トレーニング技術のみを介して学習された動作シーケンスに限定される場合には、ロボットは新しい状況に応答できないであろう。好ましい実施形態では、ドリームエージェントは機械的に活動しない間に活動化され、かつロボットが、そのアクティブ状態中に、経験後のコンテンジェンシーに目的をもってかつ確実にコンテンジェンシーに反応できるようにする新しいもっともらしい動作シーケンスを創出する。ドリームエージェントは、ＤＢＡＭからの１対の動作をランダムに選択しかつ選択された動作間のエンドポイント距離を計算する。エンドポイント距離は、１つの動作のプリ・コンディション状態と他の動作のポスト・コンディション状態との間の距離である。この距離は、当業者に知られたベクトル距離または任意の適当な測定値とすることができる。計算された距離がカットオフ距離より小さい場合には、先行動作（連続動作のプリ・コンディション状態に近いポスト・コンディション状態をもつ動作）は、連続動作へのリンクを含むように修正される。
【００５７】
PfeiferおよびCohenのロボットは、タスクの達成に通じるエピソードを識別すべくトレーニングされなくてはならない。トレーニングは、通常、タスクの完了を通してロボットを前進させるロボット動作を観察しかつ報酬を与える外部ハンドラを有している。ロボットは、ランダム運動を行なうか、最良評価運動を行い、この運動によってロボットが目標に向かって前進するか否かに基いて、ハンドラから正または負のフィードバックを受ける。この移動フィードバックサイクルは、目標に向かって各ステップが反復されなくてはならない。このようなトレーニングプログラムの長所は、ロボットが目標に向かって学習するアクションおよび目標を達成しないアクションの両方を学習することである。このようなシステムの欠点は、ロボットがいかにしてタスクを達成するかを学習することに加え、タスクを完了しない多くの方法を学習するため、トレーニング時間が非常に長いことである。
【００５８】
タスクを学習するより効率的な方法は、目標の達成に必要なタスクのみをロボットに教えることである。ロボットがランダム運動できるようにする代わりに、ロボットは、遠隔操作による外部ハンドラによりタスクの完了を通して案内される。遠隔操作の間、ハンドラはロボットのあらゆるアクションを制御し、一方、ロボットは遠隔操作中にロボットの状態（センサおよびアクチュエータの情報）を記録する。タスクは僅かに異なる条件下で数回反復され、後の分析のためのエピソードクラスタが形成できるようにする。１つ以上のトレーニングトライアルの後、ロボットはドリーム状態に置かれ、この状態では、記録された状態情報がロボットにより分析されて、エピソードおよびエピソード境界が識別され、かつ各エピソードクラスタについての見本エピソードが創出される。
【００５９】
本願明細書において説明されかつ特許請求の範囲に記載されている本発明は、ここに開示した好ましい実施形態に限定されるものではない。なぜならば、これらの実施形態は本発明の幾つかの特徴の例示を意図するものだからである。本発明の範囲内で任意の均等実施形態を考えることができる。実際に、上記説明から、当業者には、ここに示しかつ説明した実施形態に加えて、種々の変更形態が明白であろう。このような変更形態も特許請求の範囲に記載されている発明の範囲の中に包含されるものであることを意図している。
本願の明細書に多くの文献を引用したが、これらの全開示は、あらゆる目的で本願の明細書に援用される。また、上記特徴の如何にかかわらず、これらのいかなる文献も、特許請求の範囲に記載された本発明の要旨の先行技術として認められるものではない。
【図面の簡単な説明】
【００６０】
【図１ａ】本発明の一実施形態が回廊を移動するところを示す図面である。
【図１ｂ】図１ａに示す時間中の左側センサ信号、右側センサ信号およびモータ状態を示す線図である。
【図２】本発明の一実施形態のシステムアーキテクチャを示す概略図である。
【図３】本発明の一実施形態を示す模式図である。
【符号の説明】
【００６１】
１００  ロボット
２１０  感覚処理モジュール（ＳＰＭ）
２２０  感覚エゴ球（ＳＥＳ）
２３０  アテンションエージェント
２４０  一致検出
２５０  ベクトルエンコーディングエージェント
２６０  データベース連想メモリ（ＤＢＡＭ）
２７０  アクチュエータ
２８０  コンテクストエージェント
３００  多面体
３５０  対象
【図１ａ】
2005508761.tif 000003
【図１ｂ】
2005508761.tif 000004
【図２】
2005508761.tif 000005
【図３】
2005508761.tif 000006
【国際調査報告】
2005508761.tif 000007
2005508761.tif 000008
2005508761.tif 000009
2005508761.tif 000010
2005508761.tif 000011