(57)【要約】【課題】  本発明の目的は、外環境と指示者の指示との双方を反映して的確な信号処理を行うことが可能な信号処理モジュールを提供すること。【解決手段】  本発明の信号処理モジュール0は、外環境検知手段1、指示検知手段2、外環境検知手段1の外環境信号Soutと指示検知手段2の指示信号Dとを対応づけた連合信号を生成する連合信号生成手段3、連合信号が記録蓄積される連合信号記憶手段4、連合信号記憶手段4に蓄積されている連合信号を変更する連合信号学習手段3、及び、外環境信号Soutと指示信号Dとに基づいて連合信号記憶手段4に蓄積されている連合信号を読み出し、外環境信号Soutと読み出した連合信号とから、連合信号記憶手段4に蓄積されている外環境信号と指示信号との対応情報を外環境信号Soutに反映させた混合外環境信号Smixを出力する混合手段5を備えたことを特徴としている。【選択図】      図１
2006215744.tif 000002
【特許請求の範囲】
【請求項１】
外環境を検知して外環境信号として送出する外環境検知手段、
指示者からの指示を検知して指示信号として送出する指示検知手段、
前記外環境検知手段からの外環境信号と前記指示検知手段からの指示信号とを対応づけた連合信号を生成する連合信号生成手段、
前記連合信号生成手段によって生成された連合信号が記録蓄積される連合信号記憶手段、
前記外環境検知手段からの外環境信号と前記指示検知手段からの指示信号とに基づいて前記連合信号記憶手段に蓄積されている連合信号を変更する連合信号学習手段、及び、
前記外環境検知手段からの外環境信号と前記指示検知手段からの指示信号とに基づいて前記連合信号記憶手段に蓄積されている連合信号を読み出し、前記外環境検知手段からの外環境信号と前記連合信号記憶手段から読み出した連合信号とから、前記連合信号記憶手段に蓄積されている外環境信号と指示信号との対応情報を前記外環境検知手段からの外環境信号に反映させた混合外環境信号を予め定められた規則に従って算出して出力する混合手段を備えたことを特徴とする信号処理モジュール。
【請求項２】
外環境を検知して外環境信号として送出する外環境検知手段、
指示者からの指示を検知して指示信号として送出する指示検知手段、
前記外環境検知手段からの外環境信号と前記指示検知手段からの指示信号とを対応づけた連合信号を生成する連合信号生成手段、
前記連合信号生成手段によって生成された連合信号が記憶蓄積される連合信号記憶手段、
前記外環境検知手段からの外環境信号と前記指示検知手段からの指示信号とに基づいて前記連合信号記憶手段に蓄積されている連合信号を変更する連合信号学習手段、
前記外環境検知手段からの外環境信号と前記指示検知手段からの指示信号とに基づいて前記連合信号記憶手段に蓄積されている連合信号を読み出し、前記外環境検知手段からの外環境信号と前記連合信号記憶手段から読み出した連合信号とから、前記連合信号記憶手段に蓄積されている外環境信号と指示信号との対応情報を前記外環境検知手段からの外環境信号に反映させた暫定混合外環境信号を予め定められた規則に従って算出し、前記外環境検知手段からの外環境信号と前記指示検知手段からの指示信号と共に対外環境信号として出力する第一混合手段、
前記第一混合手段によって入力される対外環境信号のうち、該対外環境信号を構成する外環境信号と暫定混合外環境信号との違いが大きいものを記憶対外環境信号として記録蓄積される対外環境信号記録手段、
前記第一混合手段からの対外環境信号に基づいて前記対外環境記憶手段に蓄積されている記憶対外環境信号を読み出し、前記第一混合手段からの暫定混合外環境信号に前記対外環境信号記憶手段から読み出した対外環境信号を反映させた混合外環境信号を予め定められた規則に従って算出して出力する第二混合部を備えたことを特徴とする信号処理モジュール。
【請求項３】
前記対外環境信号を受け、該対外環境信号を構成する外環境信号と最も類似する外環境信号を有する記憶対外環境信号を前記対外環境記憶手段から読み出し、該対外環境信号を構成する指示信号と読み出した記憶対外環境信号を構成する指示信号とが異なる場合に、当該記憶対外環境信号を前記対外環境信号から消去する指示変化学習手段をさらに備えていることを特徴とする請求項２に記載の信号処理モジュール。
【請求項４】
機器を制御する制御信号を出力する制御装置であって、
前記請求項１〜３の何れか一項に記載の信号処理モジュールと、
前記信号処理モジュールによって出力された混合外環境信号を予め定められた変換規則に基づいて前記機器の制御信号に変換する制御信号生成手段と、
前記機器の動作結果に対して予め定められた評価手法によって評価を行う評価手段と、
前記評価手段による評価が最良となるように前記制御信号生成手段における変換規則を変更する制御規則学習手段とを備えていることを特徴とする制御装置。
【請求項５】
外環境を分類する分類装置であって、
前記請求項１〜３の何れか一項に記載の信号処理モジュールと、
前記信号処理モジュールによって出力された混合外環境信号に基づいて、予め定められた基準に基づいて前記外環境センサで検知した外環境を分類する分類処理手段を備えていることを特徴とする分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外環境と指示者からの指示に基づいて信号を処理する信号処理モジュール、並びに、この信号処理モジュールを用いた制御装置及び分類装置に関するものである。
【背景技術】
【０００２】
情報技術の進展に伴って、自動車やロボットなどといった機械が対応できると考えられる領域が広がっている。これに伴って、機械の行う作業は複雑さを増してきており、機械の知能化が以前よりも強く要望されるようになってきている。このような機械の知能化の一例として、下記［特許文献１］には、装置の置かれている状況を収集し、その情報と装置が有する情報とに基づいて情報を処理し、制御を実行する技術が開示されている。
【特許文献１】特開平７−５６９２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
機械の知能化については、人工知能技術による試みが長年にわたって行われてきた。しかし、機械（装置）が対応すべき環境は多様であるため、人工知能技術には、全ての環境に対して完璧に対応させようとすると処理内容が膨大になりすぎてしまうという問題（いわゆる、フレーム問題）が生じるという課題もある。また、上述した［特許文献１］に記載の装置では、このフレーム問題とは対照的な問題がある。［特許文献１］に記載の装置は、装置の置かれている状況（環境）を外部情報として収集してこれに対応させる処理を行うが、予め記憶されている情報に基づいてのみしか外部情報を認識することができない。即ち、［特許文献１］に記載の装置は、予め記憶されている情報の範囲内でしか対応ができないため、これまでの状況と異なる環境変化が生じた場合は対応ができない。
【０００４】
上述したフレーム問題を巧妙に回避する方法として、ロドニー・ブルックスが提唱するサブサンプションアーキテクチャが知られている。サブサンプションアーキテクチャは、センサ信号（検知）と制御信号（動作）との直接的な結びつきによって機械の動作を表現しようとするものである。サブサンプションアーキテクチャは、生物の条件反射の仕組みを機械制御に応用したものと言える。図１０にサブサンプションアーキテクチャによる制御装置のブロック図を示す。図１０に基づいて従来のサブサンプションアーキテクチャの動作を簡単に説明する。
【０００５】
この制御装置１００では、外環境センサ１０１からの外環境信号ｓが制御信号生成部１０６に送られ、制御信号生成部１０６では、予め定められた外環境信号ｓから制御信号ｃへの変換規則（制御信号生成部１０６の内部に格納されている：図中の関数ｆ（Ｓ）＝ｃに相当）に従って、外環境信号ｓを制御信号ｃに変換する。機械はこの制御信号ｃによって制御され（動作し）、初期の目的の達成度合いを評価値として評価センサ１０８が評価する。例えば、機械が自走するロボットなどであり、制御目的が障害物との衝突回避である場合、好ましい評価値の一つは機械と障害物との距離である。このような評価値がより良くなるように、上述した変換規則を自立的な学習によって修正することで機械の性能を向上させることができる。
【０００６】
このような一見単純と思われるサブサンプションアーキテクチャによって設計された衝突回避を目的としたロボットは、昆虫などの生物に似た振る舞いを示し、従来の人工知能に基づくアプローチでは解決困難であった動作（衝突回避）を解決して自律して動く機械を実現できることを示した。しかし、サブサンプションアーキテクチャによる制御装置によれば、予め与えられた特定の目的の達成は実現可能となるとしても、状況に応じて人の指示に従って動作するような共同作業は行うことができない。
【０００７】
現状では、人（使用者）からの指示に従って自律して動作する機械（ロボット）に関する研究は途上にある。使用者の指示に従わせることだけを重視するのであれば、使用者の指示を検知した指示信号を直接的に機械の制御信号に変換する方法も考えられる。しかし、この場合、指示信号から変換された制御信号が図１に示される制御信号生成部１０６を通過せずにアクチュエータ１０７に送られることとなり、機械自身が獲得した衝突回避能力（学習によって鍛えられた変換規則）が有効に反映されなくなってしまうということが懸念される。
【０００８】
上述したように、従来技術によっては、自律して動作する機械に対して機械自身が獲得した能力などを阻害することなく、使用者が簡単な指示を出して機械を思い通りに動かすことは実現できていなかった。即ち、機械を取り巻く環境が変化するような、自律して動作する機械に対して指示を出す必要が高い状況下で有効に動作する制御装置はこれまで実現できていなかった。こうした環境の変化が生じる場合の一例としては、機械が消費者によって購入して使用されるような場合が典型であると思われる。機械の製造メーカが機械に教える環境は限定されざるを得ない一方で、消費者の元での環境は多様である。このため、消費者の使用環境において機械に必要な指示を与えて使用環境に速やかに適応させることは実用上必要なこととなる。
【０００９】
従って、本発明の目的は、外環境と指示者の指示との双方を反映して的確な信号処理を行うことが可能な信号処理モジュールと、この信号処理モジュールを用いて機械を的確に制御することのできる制御装置と、この信号処理モジュールを用いて外環境の状況を的確に分類することのできる分類装置とを提供することにある。
【課題を解決するための手段】
【００１０】
請求項１に記載の信号処理モジュールは、外環境を検知して外環境信号として送出する「外環境検知手段」、指示者からの指示を検知して指示信号として送出する「指示検知手段」、外環境検知手段からの外環境信号と指示検知手段からの指示信号とを対応づけた連合信号を生成する「連合信号生成手段」、連合信号生成手段によって生成された連合信号が記録蓄積される「連合信号記憶手段」、外環境検知手段からの外環境信号と指示検知手段からの指示信号とに基づいて連合信号記憶手段に蓄積されている連合信号を変更する「連合信号学習手段」、及び、外環境検知手段からの外環境信号と指示検知手段からの指示信号とに基づいて連合信号記憶手段に蓄積されている連合信号を読み出し、外環境検知手段からの外環境信号と連合信号記憶手段から読み出した連合信号とから、連合信号記憶手段に蓄積されている外環境信号と指示信号との対応情報を外環境検知手段からの外環境信号に反映させた混合外環境信号を予め定められた規則に従って算出して出力する「混合手段」を備えたことを特徴としている。
【００１１】
請求項２に記載の信号処理モジュールは、外環境を検知して外環境信号として送出する「外環境検知手段」、指示者からの指示を検知して指示信号として送出する「指示検知手段」、外環境検知手段からの外環境信号と指示検知手段からの指示信号とを対応づけた連合信号を生成する「連合信号生成手段」、連合信号生成手段によって生成された連合信号が記憶蓄積される「連合信号記憶手段」、外環境検知手段からの外環境信号と指示検知手段からの指示信号とに基づいて連合信号記憶手段に蓄積されている連合信号を変更する「連合信号学習手段」、外環境検知手段からの外環境信号と指示検知手段からの指示信号とに基づいて連合信号記憶手段に蓄積されている連合信号を読み出し、外環境検知手段からの外環境信号と連合信号記憶手段から読み出した連合信号とから、連合信号記憶手段に蓄積されている外環境信号と指示信号との対応情報を外環境検知手段からの外環境信号に反映させた暫定混合外環境信号を予め定められた規則に従って算出し、外環境検知手段からの外環境信号と指示検知手段からの指示信号と共に対外環境信号として出力する「第一混合手段」、第一混合手段によって入力される対外環境信号のうち、該対外環境信号を構成する外環境信号と暫定混合外環境信号との違いが大きいものを記憶対外環境信号として記録蓄積される「対外環境信号記録手段」、第一混合手段からの対外環境信号に基づいて対外環境記憶手段に蓄積されている記憶対外環境信号を読み出し、第一混合手段からの暫定混合外環境信号に対外環境信号記憶手段から読み出した対外環境信号を反映させた混合外環境信号を予め定められた規則に従って算出して出力する「第二混合部」とを備えたことを特徴としている。
【００１２】
請求項３に記載の信号処理モジュールは、請求項２に記載の発明において、対外環境信号を受け、該対外環境信号を構成する外環境信号と最も類似する外環境信号を有する記憶対外環境信号を対外環境記憶手段から読み出し、該対外環境信号を構成する指示信号と読み出した記憶対外環境信号を構成する指示信号とが異なる場合に、当該記憶対外環境信号を対外環境信号から消去する「指示変化学習手段」をさらに備えていることを特徴としている。
【００１３】
請求項４に記載の制御装置は、機器を制御する制御信号を出力する制御装置であり、請求項１〜３の何れか一項に記載の信号処理モジュールと、信号処理モジュールによって出力された混合外環境信号を予め定められた変換規則に基づいて機器の制御信号に変換する制御信号生成手段と、機器の動作結果に対して予め定められた評価手法によって評価を行う評価手段と、評価手段による評価が最良となるように制御信号生成手段における変換規則を変更する制御規則学習手段とを備えていることを特徴としている。
【００１４】
請求項５に記載の分類装置は、外環境を分類する分類装置であり、請求項１〜３の何れか一項に記載の信号処理モジュールと、信号処理モジュールによって出力された混合外環境信号に基づいて、予め定められた基準に基づいて外環境センサで検知した外環境を分類する分類処理手段を備えていることを特徴としている。
【発明の効果】
【００１５】
請求項１に記載の信号処理モジュールによれば、使用者の指示と外環境との対応関係を連合信号記憶手段に蓄積させ、連合信号記憶手段に記憶蓄積されている情報を用いて対話学習型制御に用いる混合外環境信号を生成することができる。混合外環境信号は、連合信号記憶手段に蓄積されている外環境信号と指示信号との対応情報を外環境検知手段からの外環境信号に反映させたものである。即ち、外環境を検知した外環境信号をそのまま出力するのではなく、使用者の指示（指示信号）に基づいて蓄積された外環境信号と指示信号との対応情報を反映させて加工し、混合外環境信号として出力する。この結果、混合外環境信号には、外環境・使用者の指示・経験的に獲得した情報が反映されるため、的確な信号処理を行うことができる。
【００１６】
請求項２に記載の信号処理モジュールによれば、使用者の指示と外環境との対応関係を連合信号記憶手段に蓄積させ、連合信号記憶手段に記憶蓄積されている情報を用いて暫定混合外環境信号をまず生成する。暫定混合外環境信号は、連合信号記憶手段に蓄積されている外環境信号と指示信号との対応情報を外環境検知手段からの外環境信号に反映させたものである。即ち、外環境を検知した外環境信号をそのまま出力するのではなく、使用者の指示（指示信号）に基づいて蓄積された外環境信号と指示信号との対応情報を反映させて加工し、暫定混合外環境信号として出力する。この結果、暫定混合外環境信号は、外環境・使用者の指示・経験的に獲得した情報が反映される。
【００１７】
さらに、対外環境記憶手段には、使用者の指示と外環境と暫定混合外環境信号との対応関係を対外環境記憶手段に蓄積させ、対外環境記憶手段に記憶蓄積されている情報を用いて対話学習型制御に用いる混合外環境信号を生成する。混合外環境信号は、対外環境記憶手段に蓄積されている情報を暫定混合外環境信号に反映させたものである。即ち、外環境を検知した外環境信号をそのまま出力するのではなく、使用者の指示（指示信号）に基づいて蓄積された外環境信号と指示信号との対応情報を反映させて加工して暫定混合外環境信号とし、この暫定混合外環境信号に対して対外環境記憶手段に蓄積されたこれまでの情報をさらに反映させてから混合外環境信号としてて出力する。この結果、混合外環境信号は、外環境・使用者の指示・経験的に獲得した情報が反映されるため、的確な信号処理を行うことができる。
【００１８】
請求項３に記載の信号処理モジュールによれば、対外環境記憶手段に記憶蓄積された対外環境信号のうち、外環境に対する使用者の指示が変化したと思われるものを消去することで、信号処理の精度を向上させてより的確な信号処理を行うことができる。対外環境信号における外環境信号（外環境検知手段からの外環境信号に等しい）と最も類似する外環境信号を有する記憶対外環境信号における指示信号が、対外環境信号における指示信号（指示検知手段からの指示信号に等しい）と異なるということは、外環境に対する使用者の指示が変化したと考えられるので、このような情報は蓄積しておく必要性がなく、制御精度上は消去してしまった方が良い。
【００１９】
請求項４に記載の制御装置によれば、上述した請求項１又は２の信号処理モジュールを備えているため、対話学習型の制御に適した信号が混合外環境信号として出力される。この混合外環境信号を、予め定められた変換規則に基づいて、制御信号生成手段によって機器の制御信号に変換する。このとき、評価手段による機器の動作結果に対する評価が最良となるように、制御規則学習手段によって変換規則が修正（学習）される。この修正（学習）によって、変換規則が評価を向上させるものに維持され、混合外環境信号から変換される制御信号は、制御精度上高度な変換精度を備えたものとなる。
【００２０】
請求項５に記載の分類装置によれば、使用者の指示と外環境との対応関係を連合信号記憶手段に蓄積させ、連合信号記憶手段に記憶蓄積されている情報を用いて対話学習型制御に用いる混合外環境信号を生成することができる。混合外環境信号は、連合信号記憶手段に蓄積されている外環境信号と指示信号との対応情報を外環境検知手段からの外環境信号に反映させたものである。即ち、外環境を検知した外環境信号をそのまま出力するのではなく、使用者の指示（指示信号）に基づいて蓄積された外環境信号と指示信号との対応情報を反映させて加工し、混合外環境信号として出力する。この混合外環境信号には、外環境・使用者の指示・経験的に獲得した情報が反映されるため、混合外環境信号に基づいて外環境を分類（外環境を判定）すれば外環境を的確に分類することができる。
【発明を実施するための最良の形態】
【００２１】
本発明の信号処理モジュール及びこれを用いた制御装置の実施形態について以下に説明する。図１に、制御装置（信号処理モジュール）の第一実施形態の構成を示す。制御装置（機器）０は、外環境を検知する外環境センサ（外環境検知手段）１と、指示者からの指示を検知する指示センサ２とを備えている。外環境センサとしては、外環境を検出し得るセンサであればどのようなものでも良く、例えば、映像を取得するカメラなどが挙げられる。また、制御対象が温度（室温など）であるような場合は、温度センサなどであってもよい。指示者は、ここではこの制御装置の使用者である。指示センサ２としては、指示者の音声による指示を検出し得るマイクなどが挙げられる。
【００２２】
外環境センサ１は、連合信号生成／学習部（連合信号生成手段／連合信号学習手段）３及び混合部（混合手段）５に接続されており、検出した外環境に関する情報を外環境信号Ｓｏｕｔとして連合信号生成／学習部３と混合部５に送出している。指示センサ２も、外環境センサ１と同様に、連合信号生成／学習部３及び混合部５に接続されており、検出した指示者の指示に関する情報を指示信号Ｄとして連合信号生成／学習部３と混合部５に送出している。連合信号生成／学習部３は、連合信号（追って詳しく説明する）を記憶させる連合信号記憶部（連合信号記憶手段）４と接続されている。連合信号生成／学習部３は、連合信号記憶部４に連合信号を記憶させることもできるし、連合信号記憶部４に記憶されている連合信号を読み出すこともできる。
【００２３】
連合信号記憶部４は、混合部５とも接続されている。混合部５は、連合信号記憶部４に記憶されている連合信号を読み出すことができるが、本実施形態の場合、連合信号記憶部４に新たな情報を記憶させることはしない。混合部５は、制御信号生成部（制御信号生成手段）６と接続されており、制御信号生成部６に後述する混合外環境信号Ｓｍｉｘを送出する。制御信号生成部６は、機械を動作させるためのアクチュエータ７と接続されており、上述した混合外環境信号Ｓｍｉｘを所定の変換規則に基づいてアクチュエータ７用の制御信号Ｃとしてアクチュエータ７に送出する。
【００２４】
また、制御信号生成部６には、変換規則学習部（変換規則学習手段）９も接続されている。変換規則学習部９には、機械の動作結果を評価する評価センサ（評価手段）８が接続されている。評価センサ８は、上述したように、機械が衝突回避を目的とする自律走行ロボットである場合では障害物との距離を検出する距離センサなどである場合が例として挙げられる。制御対象が温度（室温など）であるような場合は、評価センサ８も温度センサとなる。評価センサ８は、その検出結果を変換規則学習部９に送出している。変換規則学習部９は、評価センサ８の検出結果に基づいて、上述した変換規則を修正する。
【００２５】
上述した制御装置は、センサ類１，２，８及びアクチュエータ７を除いて、ＣＰＵやＲＯＭ，ＲＡＭなどからなるＥＣＵなどとして構築される。制御プログラムは、ＲＯＭに格納され、連合信号はＲＡＭ（ＨＤＤなどの記録媒体などであっても良い）に記憶される。また、外環境センサ１、指示センサ２、連合信号生成／学習部３、連合信号記憶部４、及び、混合部５によって信号処理モジュールを構成している。
【００２６】
以下、本実施形態の制御装置の動作について説明する。外環境センサ１は、外環境（制御装置が制御する機械を取り巻く環境・状況）を検知して外環境信号Ｓｏｕｔを出力する。外環境信号Ｓｏｕｔは継続的に出力されている。指示センサ２は、人（使用者）からの指示を検知し、指示があった場合は指示信号Ｄを出力する。指示信号Ｄは、指示があったときのみ（指示を検知したときのみ）出力される。連合信号生成／学習部３は、外環境信号Ｓｏｕｔを継続的に取り込んでおり、指示信号Ｄを受けると、指示信号Ｄと外環境信号Ｓｏｕｔとを対にした連合信号（Ｄ，Ｓｏｕｔ）を生成する。なお、連合信号（Ｄ，Ｓｏｕｔ）の生成は、指示信号Ｄが入力された時点で一回だけ生成されても良いし、指示信号Ｄの入力後一定期間継続して生成されても良い。
【００２７】
次に、連合信号生成／学習部３は、連合信号記憶部４に記憶されている記憶連合信号ＭＡ（ａ）＝（ＭＤ（ａ），ＭＳｏｕｔ（ａ））［ａ＝１，２，…］を読み出す［☆１］。ここで、記憶指示信号ＭＤ（ａ）は指示信号Ｄに相当する信号であり、記憶外環境信号ＭＳｏｕｔ（ａ）は外環境信号Ｓｏｕｔに相当する信号である。なお、この記憶連合信号ＭＡ（ａ）には、記憶指示信号ＭＤ（ａ）及び記憶外環境信号ＭＳｏｕｔ以外にも、最終読出日や読出回数、後述する重要性信号Ｖ（ａ）なども付加されている。下記表１に記憶連合信号ＭＡ（ａ）を表としたものを示す。なお、読出回数最終読出日は、後述する最も高い外環境類似性を示す記憶連合信号として読み出された回数及び最終読出日である。
【表１】
2006215744.tif 000003
【００２８】
連合信号生成／学習部３は、指示センサ２からの指示信号Ｄと全ての記憶指示信号ＭＤ（ａ）［ａ＝１，２，…］との組み合わせについて、両者の類似性を示す指示類似性信号を算出する［☆２］。指示類似性信号は、指示信号Ｄの形態に応じて様々な算出方法を採用し得る。例えば、指示信号Ｄが音声信号である場合は、指示類似性信号を音声信号の統計分布を考慮に入れた特徴量空間での距離とすることなどが好ましい。
【００２９】
指示類似性信号の演算後、連合信号生成／学習部３は、演算された指示類似性信号が所定以上の類似性を示す値をとる記憶指示信号ＭＤ（ａ）を有する記憶連合信号ＭＡ（ａ）について、外環境センサ１からの外環境信号Ｓｏｕｔと記憶外環境信号ＭＳｏｕｔ（ａ）との組み合わせについて、両者の類似性を示す外環境類似性信号を算出する。算出された外環境類似性信号のうちで最も高い値を示す記憶連合信号ＭＡ（ａ）をＭＡ（ｎｅａｒ）＝（ＭＤ（ｎｅａｒ），ＭＳｏｕｔ（ｎｅａｒ））とする。
【００３０】
このとき、（ｉ）ＭＡ（ｎｅａｒ）の外環境類似性信号が所定以上の類似性をとる場合、又は、（ｉｉ）連合信号記憶部４の記憶領域に空きがない場合には、ＭＡ（ｎｅａｒ）＝（ＭＤ（ｎｅａｒ），ＭＳｏｕｔ（ｎｅａｒ））のＭＳｏｕｔ（ｎｅａｒ）が外環境信号Ｓｏｕｔに近づくように修正する。（ｉ）の場合は、連合信号（Ｄ，Ｓｏｕｔ）とＭＡ（ｎｅａｒ）＝（ＭＤ（ｎｅａｒ），ＭＳｏｕｔ（ｎｅａｒ））との類似性が非常に高いので、連合信号記憶部４に記憶されている記憶連合信号ＭＡ（ｎｅａｒ）の記憶外環境信号ＭＳｏｕｔ（ｎｅａｒ）を最新の外環境信号Ｓｏｕｔに近づける修正を行うことで記憶されている情報を更新する（学習を行う）。
【００３１】
また、（ｉｉ）の場合は、新たな記憶連合信号として今回の連合信号（Ｄ、Ｓｏｕｔ）を連合信号記憶部４に記憶することができないため、既に記憶されている記憶連合信号ＭＡ（ｎｅａｒ）の記憶外環境信号ＭＳｏｕｔ（ｎｅａｒ）を最新の外環境信号Ｓｏｕｔに近づけることで対処している。上述した（ｉ），（ｉｉ）以外の場合は、今回の連合信号（Ｄ，Ｓｏｕｔ）を新たな記憶連合信号ＭＡ（ａ）として連合信号記憶部４に追加記憶させる［☆３］。このようにして、連合信号記憶部４には、使用者の指示を示す指示信号Ｄと外環境を示す外環境信号Ｓｏｕｔが関連づけられて記憶される。
【００３２】
なお、連合信号記憶部４に一旦記憶されたものの、十分に長い時間が経過しても最も類似性の高い記憶連合信号ＭＡ（ｎｅａｒ）として読み出されない記憶連合信号ＭＡ（ａ）は、削除されるようにすることが好ましい。あるいは、削除の可否を決定するための重要性信号Ｖ（ａ）を各記憶連合信号ＭＡ（ａ）毎に付加させておいても良い。好ましい重要性信号Ｖ（ａ）の一例を以下に挙げる。記憶連合信号ＭＡ（ａ）が読み出される［上記☆１での読み出し］度に重要性信号Ｖ（ａ）を下記式（Ｉ）を用いて更新する。
［Ｖ（ａ）更新値］＝γ×［Ｖ（ａ）前回値］＋δ（ａ）［ａ＝１，２，…］…（Ｉ）
ここで、０＜γ＜１，δ（ａ）＝１［最も類似性の高い記憶連合信号ＭＡ（ｎｅａｒ）となったとき］又は０［最も類似性の高い記憶連合信号ＭＡ（ｎｅａｒ）とならなかったとき］
【００３３】
上記（Ｉ）式の右辺第一項の成分によって、重要性信号Ｖ（ａ）は記憶連合信号ＭＡ（ａ）が一回読み出される度にγによって減じられる。その一方で、上記（Ｉ）式の右辺第二項によって、読み出された記憶連合信号ＭＡ（ａ）が連合信号（Ｄ，Ｓｏｕｔ）と最も類似性の高い記憶連合信号ＭＡ（ｎｅａｒ）となった場合はδ（ａ）によって重要性信号Ｖ（ａ）は増加される。読み出された記憶連合信号ＭＡ（ａ）が最も類似性の高い記憶連合信号ＭＡ（ｎｅａｒ）とならなければδ（ａ）＝０であるので、重要性信号Ｖ（ａ）は右辺第一項によって減じられることとなる。
【００３４】
この結果、記憶連合信号ＭＡ（ｎｅａｒ）となれば重要性信号Ｖ（ａ）は増加し、記憶連合信号ＭＡ（ｎｅａｒ）とならなければ重要性信号Ｖ（ａ）は減少され続ける。このような重要性信号Ｖ（ａ）を各記憶連合信号ＭＡ（ａ）毎に付加させ、重要性信号Ｖ（ａ）が所定の閾値以下となった場合にその記憶連合信号ＭＡ（ａ）を削除すればよい。このようにすれば、実際に外環境センサ１や指示センサ２によって検出された検出結果に基づく連合信号（Ｄ，Ｓｏｕｔ）と類似性の高い（重要な）情報のみを記憶連合信号ＭＡ（ａ）として連合信号記憶部４に残すことができる。
【００３５】
一方、混合部５では、上述した連合信号生成／学習部３と同様にして、外環境センサ１からの外環境信号Ｓｏｕｔと指示センサ２からの指示信号Ｄとからなる上述した連合信号（Ｄ，Ｓｏｕｔ）と最も類似性の高い記憶連合信号ＭＡ（ｎｅａｒ）を算出する。なお、本実施形態では、ここで用いる記憶連合信号ＭＡ（ｎｅａｒ）は、上述したものと同一であるため、混合部５はこの値を連合信号生成／学習部３から受け取っても良い。
【００３６】
ただし、上述した連合信号生成／学習部３において記憶連合信号ＭＡ（ｎｅａｒ）を算出したのは連合信号記憶部４の記憶されている記憶連合信号ＭＡ（ａ）の学習のためであり、ここでは後述する「混合」のために記憶連合信号ＭＡ（ｎｅａｒ）を算出する。このため、ここで利用する記憶連合信号を異なる算出方法によって（ＭＡ’（ｎｅａｒ）などとして）算出してもよい。例えば、記憶連合信号ＭＡ（ｎｅａｒ）を、最も類似性の高い一つの記憶連合信号ＭＡ（ａ）のみで決定せずに、類似性の高い複数の記憶連合信号ＭＡ（ａ）から求めても良い（上述した連合信号生成／学習部３における記憶連合信号ＭＡ（ｎｅａｒ）の算出も同様である）。
【００３７】
混合部５では、外環境センサ１によって検知した外環境信号Ｓｏｕｔを、算出した記憶連合信号ＭＡ（ｎｅａｒ）の記憶外環境信号ＭＳｏｕｔ（ｎｅａｒ）に類似するように修正して混合外環境信号Ｓｍｉｘを生成する［☆４］。連合信号記憶部４にはこれまでの制御によって経験的に獲得した情報（外環境と指示との関係など）が蓄積されている。外環境センサ１によって検知した外環境信号Ｓｏｕｔを混合外環境信号Ｓｍｉｘに修正するということは、検知した外環境信号Ｓｏｕｔをこれまで獲得した情報によって修正し（これまで獲得した情報と混合し）、これまでに経験的に得た情報を加味した同等の混合外環境信号Ｓｍｉｘに変換することになる。
【００３８】
以下、混合の具体例（好ましい例）を二つ説明する。これらの例では、外環境信号Ｓｏｕｔ及び記憶外環境信号ＭＳｏｕｔがベクトルで表現でき、かつ、指示信号Ｄの強度Ａが定義できる場合（指示信号Ｄが音声信号であり、強度Ａを音声信号のパワーとする場合など）である。まず、一つ目の例では、混合外環境信号Ｓｍｉｘを下記式（ＩＩ）によって求める。
【数１】
2006215744.tif 000004
ここで、Ａ０は混合を行うかどうかのパラメータであり、αは混合度合いを決めるパラメータである。
【００３９】
本実施形態では、パラメータＡ０及びαは予め定数として与えられるが、何らかの条件（例えば外環境信号Ｓｏｕｔや指示信号Ｄなど）に応じて可変としても良い。ここで、（指示信号Ｄの強度Ａ）＜（Ａ０−α）であれば、式（ＩＩ）中の点線で示した部分［以下、Ｘと表す］は１に近いものとなり、ほとんど混合は生じない。一方、Ａ＞（Ａ０＋α）であれば、Ｘは１より十分に小さく、０に近いものとなり、混合外環境信号Ｓｍｉｘは類似性の高い記憶外環境信号ＭＳｏｕｔ（ｎｅａｒ）に近いものとなる。従って、αが大きいと、混合外環境信号ＳｍｉｘはＡの大きさに応じて緩やかに外環境信号Ｓｏｕｔから記憶外環境信号ＭＳｏｕｔ（ｎｅａｒ）へと変化することとなる。また、αが十分に小さく０に近い場合、Ａ＜Ａ０で混合外環境信号Ｓｍｉｘは外環境信号Ｓｏｕｔに十分近い値となり、Ａ＞Ａ０で混合外環境信号Ｓｍｉｘは記憶外環境信号ＭＳｏｕｔ（ｎｅａｒ）に十分近い値となり、急激に混合が行われる。
【００４０】
混合の二つ目の例は、より簡便な方法であり、外環境信号Ｓｏｕｔと類似性の高い記憶外環境信号ＭＳｏｕｔ（ｎｅａｒ）との線形和を次式（ＩＩＩ）より求めてＳｍｉｘとしても良い。
【数２】
2006215744.tif 000005
ここで、Ａｍａｘは指示信号Ｄの強度Ａの最大値である。また、βは外環境信号Ｓｏｕｔを完全に消し去らないため、即ち、後述する制御信号生成部６に（変換関数ｆ（ｓ）＝ｃとして）蓄積された外環境信号Ｓｏｕｔへの応答特性を０にしないための正のパラメータである。仮に、Ａ＝Ａｍａｘでβ＝０であれば、外環境信号Ｓｏｕｔを完全に消し去ることを許すことができる。
【００４１】
なお、外環境信号Ｓｏｕｔが算術演算になじまない成分を含むような場合には、その算術演算になじまない各成分に対して、記憶外環境信号ＭＳｏｕｔ（ｎｅａｒ）の対応成分を指示信号Ｄの強度Ａを確率的に反映させ、この値を混合外環境信号Ｓｍｉｘの対応成分としても良い。また、指示信号Ｄの強度Ａに関して、指示信号Ｄがボタンやレバーの操作に基づいて生成される場合は、ボタン等が操作されている時間、ボタン等の操作回数、ボタン等の操作力、ボタン等の操作量（ボタン押し込み量やレバー操作角度など）などを強度Ａとして反映させても良い。あるいは、指示信号Ｄが視線入力であるような場合は、連続注視時間やまばたき回数などを強度Ａとして反映させても良い。さらに、指示信号Ｄの入力がインパルス的なものである場合などは、指示信号Ｄの影響を一定時間残すために時間的な緩和処理を行うことが好ましい。
【００４２】
混合部５から出力された混合外環境Ｓｍｉｘは、制御信号生成部６において所定の変換規則に従ってアクチュエータ７の制御に適した制御信号Ｃに変換される。この変換規則は、例えば、制御信号生成部６に記憶された関数ｆ（Ｓ）＝Ｃ［Ｓは外環境信号相当］である。この関数（変換規則）がマップやテーブルとして処理されても良い。また、変換の元となる混合外環境信号Ｓｍｉｘが時間系列で入力されても、即ち、所定時間幅のＳｍｉｘに基づいて制御信号Ｃが算出されても良い。生成された制御信号Ｃによって、アクチュエータ７が駆動される。
【００４３】
さらに、アクチュエータ７の駆動によって、制御装置１が組み込まれた機械が動作するが、その動作結果は評価センサ８によって検知されている。評価センサ８は、その検知結果を評価値として変換規則学習部９に送出している。変換規則学習部９では、受け取った評価値に基づいて、上述した関数（変換規則）を修正する（学習する）。この評価による変換規則の修正方法については、外環境センサ１に起因する信号（外環境信号Ｓｏｕｔ又は混合外環境信号Ｓｍｉｘ）と制御信号Ｃとの関係を適応的に修正できる方法であればよく、Ｒ．Ｓ．Ｓｕｔｔｏｎ氏らの考案による強化学習、多層パーセプトロン、遺伝的アルゴリズム、隠れマルコフモデルなど、様々な方法を利用することができる。このような学習を行うことで、制御信号生成部５によってより評価値の高い結果がでるように変換規則が随時修正される。
【００４４】
本発明の動作原理の概念を図２を参照して説明する。ここでは、外環境信号が２次元（例：直交座標上の位置）であり、機械が自律走行可能なロボットである場合を例にする。このロボットは、外環境信号及び指示信号の入力に応じて、おおまかに「前進」、「後退」、「右回り」、「左回り」と名付けることのできる行動をとる。図２（ａ）は、外環境信号に対して機械が自律的な学習によって獲得した動作を図示したものである。機械は、図中左上の外環境信号に対して前進し、左中の外環境信号対して左回り、左下の外環境信号に対して後退し、右側の外環境信号に対して右回りする。
【００４５】
機械の使用者は、これらの動作を観察して各行動に名前を付ける。具体的には、前進に対しては「まえ」、後退には「うしろ」、右回りには「みぎ」、左回りには「ひだり」の名前を付けて機械に入力する（記憶させる）。これらの指示の入力によって外環境空間（外環境信号Ｓｏｕｔに対応している）は四種類の指示信号Ｄの何れかと結びつけられた連合信号（Ｄ，Ｓｏｕｔ）に変換され、連合信号記憶部４に記憶される。これは、図２（ｂ）に示されるように、外環境空間を四つに分割することに対応する。
【００４６】
この後、機械が新しい環境に移動し、その新しい環境においては外環境空間の図中右下に対応する外環境（図２（ｃ）中の丸で示された部分）においては右回りではなく後退した方が使用者の意図に沿うとする。このとき、機械が外環境空間の図２（ｃ）中の丸で示された部分にはいると、使用者は「うしろ」と好ましくは大きな声で機械に指示を送る。「うしろ」という指示を指示センサ２で検知した機械は、強い強度の指示信号Ｄが入ってきたので、連合信号記憶部４から「うしろ」という記憶指示信号ＭＤ（ａ）を持った記憶連合信号ＭＡ（ａ）を読み出す。
【００４７】
そして、上述した手法によって最も類似性の高い記憶連合信号ＭＡ（ｎｅａｒ）の記憶外環境信号ＭＳｏｕｔ（ｎｅａｒ）と外環境センサ１で検知した外環境信号Ｓｏｕｔを混合部５において混合して混合外環境信号Ｓｍｉｘを生成して制御信号生成部６に送る。この混合部５の動作は、外環境信号Ｓｏｕｔを図２（ｄ）に示すように変換することに対応し、制御信号生成部６に機械を後退させる外環境信号Ｓｏｕｔに相当する混合外環境信号Ｓｍｉｘを送ることになる。この結果、機械は新しい環境に適した後退動作を行うようになる。また、この新しい環境に適した情報が連合信号記憶部４にも順次記憶されていく。
【００４８】
上述したように、対話学習型の制御装置を用いた機械に対して、使用者が機械の動作を見て正しい指示を与えれば、その後は使用者の指示通りの動作を機械に行わせることができる。この際、混合外環境信号Ｓｍｉｘを用いていることから、機械は人からの指示と外環境の両方を勘案しながら動作を行うこととなる。このため、自律して動く機械に対して、機械が既に獲得している衝突回避能力などを阻害することなく、人が簡単な指示を出して機械を思い通りに動作させることができる。本実施形態の根幹は、使用者が自律して動く機械の内部を知る必要が全くなく、あくまでも機械の動作だけを見て動作に名付けを行い、その名付けを指示として機械を動かすことが可能なことにある。なお、本実施形態では、現在の指示が記憶すべきものであることを明示的に機械に示さない構成をとったが、記憶すべき指示を明示的に示すように記憶指示センサを付加した構成をとることは容易である。
【００４９】
次に、混合信号Ｓｍｉｘの生成制御について、図３に示すフローチャートに基づいて説明する。ただし、図３のフローチャートの制御は上述した第一実施形態における制御と一部異なる部分がある。具体的には、類似性は指示信号Ｄについてのみ計算され、外環境信号Ｓｏｕｔについては類似性の計算を行わない。これに伴い、混合外環境信号Ｓｍｉｘの生成方法も一部異なる。このような制御を行うことも可能である。
【００５０】
まず、外環境センサ１による外環境信号Ｓｏｕｔを読みとる（ステップ３００）。次いで、指示センサ２による指示信号Ｄを読みとる（ステップ３０５）。なお、指示者による指示がなければ、指示信号Ｄは生成されない。ステップ３０５の後、指示信号Ｄがあるか否かを判定する（ステップ３１０）。ステップ３１０が否定され、指示信号Ｄがない場合は、混合や連合信号の学習は行われず、そのまま図３のフローチャートの制御を一旦終了する。一方、指示信号Ｄが生成され、ステップ３１０が肯定される場合は、記憶指示信号ＭＤ（ａ）［ａ＝１，２，…］を読みとる（上述した☆１部分の処理：ステップ３１５）。
【００５１】
次いで、各記憶指示信号ＭＤ（ａ）について、指示信号Ｄとの類似度を計算する（上述した☆２部分の処理：ステップ３２０）。そして、計算した類似度の最大値が所定の閾値よりも大きいか否かが判定される（ステップ３２５）。ここで、ステップ３２５が肯定される場合は、今回の指示（指示信号Ｄ）が以前にもあった指示（類似性の高い指示）なので、外環境信号Ｓｏｕｔと連合信号記憶部４に記憶された記憶外環境信号ＭＳｏｕｔ（ａ）とを所定の方法で混合し（上述した混合の具体例などの方法による）、混合外環境信号Ｓｍｉｘを生成する（上述した☆４部分に対応する処理：ステップ３３０）。一方、ステップ３２５が否定される場合は、今回の指示（指示信号Ｄ）がはじめての指示（類似性の低い指示）なので、指示信号Ｄと外環境信号Ｓｏｕｔとからなる連合信号（Ｄ，Ｓｏｕｔ）を新たな記憶連合信号ＭＡ（ａ）として連合信号記憶部４に追加記憶させる（上述した☆３部分に対応する処理：ステップ３３５）。
【００５２】
次に、上述した実施形態を一部改良した第二実施形態について説明する。図４に本実施形態の制御装置（信号処理モジュール）の構成を示す。本実施形態の制御装置（信号処理モジュール）の構成は、上述した第一実施形態に準じており、同一又は同等の構成部分については同一の符号を付してその詳しい説明を省略する。以下には、上述した第一実施形態と異なる部分について説明する。
【００５３】
本実施形態では、評価センサ８と変換規則学習部９との間に、評価センサ８からの評価値信号を積算して平均評価値信号を出力する評価値積算部１０が設けられている。また、指示センサ２からの出力を連合信号生成／学習部３及び混合部５に入力させるか否かを切り替えるスイッチ１１も設けられている。スイッチ１１は、上述した評価値積算部１０から出力される平均評価値信号が入力される。本実施形態の制御装置（信号処理モジュール）は、制御信号生成部６が機械を自律的に動作させるための学習を終了していない場合に、制御信号生成部６の変換規則学習部９による学習を抑制する。
【００５４】
本実施形態では、上述したように、評価値積算部１０が、評価センサ８からの評価値信号を積算して平均評価値信号算出してスイッチ１１に出力する。スイッチ１１は、評価値積算部１０から出力される平均評価値信号が予め決定されている所定の閾値より大きい否かによってオンオフされる。平均評価値信号が所定値よりも大きい場合はスイッチ１１はオンとなり、平均評価値信号が所定値以下である場合はスイッチ１１はオフとなる。スイッチ１１がオンであるときは、指示センサ２から出力された指示信号Ｄは連合信号生成／学習部３及び混合部５に入力される。スイッチ１１がオフであるときは、指示センサ２から出力された指示信号Ｄは連合信号生成／学習部３及び混合部５に入力されない。
【００５５】
評価値積算部１０の計算する時刻ｔの平均評価値信号Ｅ（ｔ）の好ましい一例を下記式（ＩＶ）に示す。なお、ここで、Ｇ（ｔ）は、時刻ｔに評価センサ８から出力される評価値信号である。
Ｅ（ｔ）＝γ×Ｅ（ｔ−１）＋Ｇ（ｔ）…（ＩＶ）
ここで、γは、過去どれほどの時間の評価値信号を積算するかのパラメータであって、１より小さい正の定数である。
【００５６】
このように評価値積算部１０とスイッチ１１とを加えた構成とすることで、機械の動作後の評価がある所定の値を超えるようになるまでは、使用者の指示が反映されなくなる。このため、対話学習型の制御装置は、自律学習によって外環境信号Ｓｏｕｔと制御信号Ｃとの対応付けが的確に完了するまで（平均評価値信号Ｅ（ｔ）が所定値より大きくなるまで）、使用者の指示を受け付けないようにできる。この結果、外環境信号Ｓｏｕｔとこれに対応する的確な制御信号Ｃとの対応付けが不安定となる自律学習初期の段階での不適切な連合信号（Ｄ，Ｓｏｕｔ）が連合信号記憶部４に蓄積されてしまうことを抑制でき、使用者の不用意な指示による機械の性能低下を防ぐことができる。
【００５７】
なお、ここでは、スイッチ１１によって指示信号Ｄをオンオフさせたが、重み付けを行った後に連合信号生成／学習部３や混合部５に出力されるようにしても良い。この場合、平均評価値信号が小さいときは大きいときよりも指示信号に対する重みを軽くし、大きいときは小さいときよりも重みを重くする。
【００５８】
さらに、図５に、第三実施形態の制御装置（信号処理モジュール）の構成を示す。本実施形態の制御装置（信号処理モジュール）の構成も、上述した第一実施形態に準じており、同一又は同等の構成部分については同一の符号を付してその詳しい説明を省略する。以下には、上述した第一実施形態と異なる部分について説明する。
【００５９】
本実施形態では、第一実施形態の混合部５に相当する部分が第一混合部（第一混合手段）１２となっている。第一実施形態の混合部５が混合外環境信号Ｓｍｉｘを出力するのに対して、第一混合部１２は、外環境センサ１からの外環境信号Ｓｏｕｔと、指示センサ２からの指示信号Ｄと、第一実施形態における混合外環境信号Ｓｍｉｘに相当する暫定混合外環境信号Ｓｔｅｍｐとを組にして対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）として出力する。第一混合部１２における暫定混合外環境信号Ｓｔｅｍｐの算出自体は上述した第一実施形態の混合部５における混合信号Ｓｍｉｘの算出と同じである。
【００６０】
また、第一混合部１２から出力された対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）は、指示変化学習部１４に入力される。指示変化学習部１４は、対外環境記憶部１３にも接続されており、その出力を対外環境記憶部１３に記憶させることができると共に、対外環境記憶部１３に記憶されている情報を取り出すこともできる。第一混合部１２及び対外環境記憶部１３は、混合外環境信号Ｓｍｉｘを出力する第二混合部１５にも接続されている。第二混合部１５は、対外環境記憶部１３に記憶されている情報を読み出すことができる。第二混合部１５は、第一実施形態と同様の制御信号生成部６に接続されており、制御信号生成部６に対して混合外環境信号Ｓｍｉｘを出力する。
【００６１】
以下、本実施形態の制御装置の動作について、第一実施形態と特に異なる部分について説明する。特に説明をしない部分は、上述した第一実施形態と同様である。本実施形態の制御装置における第一混合部１２は、機能としては上述した第一実施形態の混合部５と同様である。ただし、本実施形態では、混合外環境信号Ｓｍｉｘとしてではなく、暫定混合外環境信号Ｓｔｅｍｐとして出力し、この暫定混合外環境信号Ｓｔｅｍｐを第二混合部１５でさらに加工する。実際には、上述したように、外環境信号Ｓｏｕｔ及び指示信号Ｄと共に対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）として、指示変化学習部１４に出力する。
【００６２】
指示変化学習部１４では、第一混合部１２から出力される対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）を、その後の制御に有効に利用するために対外環境記憶部１３に記憶させる。具体的には、対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）を受け取った指示変化学習部１４では、外環境信号Ｓｏｕｔと暫定混合外環境信号Ｓｔｅｍｐとの違いが所定値よりも大きい場合には、このときの対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）を記憶対外環境信号ＮＡ（ａ）＝（ＮＤ（ａ），ＮＳｏｕｔ（ａ），ＮＳｔｅｍｐ（ａ））として新たに対外環境記憶部１３に記憶させる［☆５］。（なお、ここで利用する外環境信号Ｓｏｕｔは、対外環境信号を構成するものを利用しても、外環境センサ１から直接取得しても同じである。）
【００６３】
違いが（所定位置よりも）大きいか否かは、種々の方法によって判定し得る。基本的に、外環境信号Ｓｏｕｔと暫定混合外環境信号Ｓｔｅｍｐとは同種の信号値であり、それらがスカラー量であれば単純にその差分を所定値と比較することができる。あるいは、上述した類似性信号を算出し、この値に基づいて両者の違いが大きいか否かを判定してもよい。対外環境記憶部１３には、このようにして記憶された記憶対外環境信号ＮＡ（ａ）＝（ＮＤ（ａ），ＮＳｏｕｔ（ａ），ＮＳｔｅｍｐ（ａ））［ａ＝１，２，…］が蓄積されている。
【００６４】
上述したように、ある指示（指示信号Ｄ）に対して、実際の外環境を検知した外環境信号Ｓｏｕｔと連合信号生成／学習部３の学習を反映させた後の暫定混合外環境信号Ｓｔｅｍｐとの間の乖離が大きい場合、即ち、外環境信号Ｓｏｕｔを大きく修正した暫定混合外環境信号Ｓｔｅｍｐが算出されるような場合は、その対応関係を記憶対外環境信号ＮＡ（ａ）＝（ＮＤ（ａ），ＮＳｏｕｔ（ａ），ＮＳｔｅｍｐ（ａ））［ａ＝１，２，…］として対外環境記憶部１３に蓄積させる。この情報を利用することで、後述する第二混合部１５での混合の精度を向上させる。一方、外環境信号Ｓｏｕｔと暫定混合外環境信号Ｓｔｅｍｐとの違いが所定値以下である場合には、対外環境記憶部１３への記憶（情報の蓄積）は行われない。
【００６５】
また、指示変化学習部１４では、使用者の指示についての整理も行われる。即ち、使用者の指示がこれまでの指示内容と矛盾する（指示内容が一回限りでこれまで継続して出された指示と異なる）場合などに対応する。また、上述した一回限りの短期的な指示変化とは別に、使用者の指示が長期的にみて変化していく場合もあるため、このような指示変化にも対応する。具体的には、ある外環境に対する使用者の指示が矛盾するものとなったり、変化したりした場合は、これに対応する対外環境記憶部１３に記憶されている情報を消去する。
【００６６】
指示変化学習部１４は、対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）を受け取ると、対外環境記憶部１３から対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）の外環境信号Ｓｏｕｔと最も類似する記憶対外環境信号ＮＳｏｕｔ（ａ）を持つ記憶対外環境信号ＮＡ（ａ）を読み出す［☆６］。なお、外環境信号Ｓｏｕｔは外環境センサ１から直接取得しても同じである。この読み出された記憶対外環境信号ＮＡ（ａ）の記憶指示信号ＮＤ（ａ）が対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）の指示信号Ｄと異なる場合は、この記憶対外環境信号ＮＡ（ａ）を対外環境記憶部１３から消去する［☆７］。
【００６７】
このように、外環境信号Ｓｏｕｔ（外環境センサ１で検出したものに等しい）と最も類似する記憶対外環境信号ＮＳｏｕｔ（ａ）と対になっている記憶指示信号ＮＤ（ａ）であるにもかかわらず、指示信号Ｄ（指示センサ２で検知したものに等しい）と異なるということは、外環境に対する使用者の指示が矛盾しているか、状況の変化などによって指示が変化したと考えられる。このため、この場合は、上述したように対外環境記憶部１３に記憶された当該情報を削除して対応する。
【００６８】
次に、第二混合部１５における混合外環境信号Ｓｍｉｘの算出について説明する。まず、対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）における外環境信号Ｓｏｕｔと信号Ｓｔｅｍｐとの違いが所定値以下である場合（使用者による指示がない場合も含む）について説明する。この場合、第二混合部１５は、まず対外環境記憶部１３から記憶対外環境信号ＮＡ（ａ）を読み出す。なお、外環境信号Ｓｏｕｔと暫定混合外環境信号Ｓｔｅｍｐとの違いが所定値以下であるので、ここでは、外環境に対する使用者の指示がこれまでと大きく乖離していない状況であると言える。
【００６９】
そして、第二混合部１５は、対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）における指示信号Ｄと全ての記憶対指示信号ＮＤ（ａ）［ａ＝１，２，…］との組み合わせについて、両者の類似性を示す指示類似性信号を算出する。指示類似性信号の演算後、第二混合部１５は、演算された指示類似性信号が所定以上の類似性を示す値をとる記憶対指示信号ＮＤ（ａ）を有する記憶対外環境信号ＮＡ（ａ）について、信号Ｓｔｅｍｐと記憶対外環境信号ＮＳｏｕｔ（ａ）との組み合わせについて、両者の類似性を示す外環境類似性信号を算出する。算出された外環境類似性信号のうちで最も高い値を示す記憶対外環境信号ＮＡ（ａ）をＮＡ（ｎｅａｒ）＝（ＮＤ（ｎｅａｒ），ＮＳｏｕｔ（ｎｅａｒ），ＮＳｔｅｍｐ（ｎｅａｒ））とする。
【００７０】
第二混合部１５では、暫定混合外環境信号Ｓｔｅｍｐ、最も類似性の高い記憶対外環境信号ＮＡ（ｎｅａｒ）のＮＳｔｅｍｐ（ｎｅａｒ）に類似するように修正して混合外環境信号Ｓｍｉｘを生成する。対外環境記憶部１３にはこれまでの制御によって経験的に獲得した情報（外環境と指示との関係など）が蓄積されている。外環境センサ１によって検知した外環境信号Ｓｏｕｔが最終的に混合外環境信号Ｓｍｉｘに修正されるということは、検知した外環境信号Ｓｏｕｔをこれまで獲得した情報によって修正し（これまで獲得した情報と混合し）、これまでに経験的に得た情報を加味した同等の混合外環境信号Ｓｍｉｘに変換することになる。混合の手法は第一実施形態で説明した混合部５における手法を採ることができる。
【００７１】
一方、外環境信号Ｓｏｕｔと暫定混合外環境信号Ｓｔｅｍｐとの違いが所定値よりも大きい場合は、指示信号Ｄによって外環境信号Ｓｏｕｔが暫定混合外環境信号Ｓｔｅｍｐにおおきく変化されたと考えられる。この場合は、暫定混合外環境信号Ｓｔｅｍｐを混合外環境信号Ｓｍｉｘとして出力する。なお、外環境信号Ｓｏｕｔと暫定混合外環境信号Ｓｔｅｍｐとの違いが所定値よりも大きい場合は、これ以降の制御に活用するため、上述したように指示変化学習部１４によって対外環境記憶部１３に対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）として記憶が行われる。ただし、対外環境記憶部１３への記憶要否を決める所定値（外環境信号Ｓｏｕｔと暫定混合外環境信号Ｓｔｅｍｐとの違いを判断する所定値）を、ここでの所定値と異ならせることも可能ではある。
【００７２】
次に、混合信号Ｓｍｉｘの生成制御について、図６及び図７に示すフローチャートに基づいて説明する。ただし、図６及び図７のフローチャートの制御は上述した第三実施形態における制御と一部異なる部分がある。このような制御を行うことも可能である。
【００７３】
まず、外環境センサ１による外環境信号Ｓｏｕｔを読みとり、この外環境信号Ｓｏｕｔを、一旦、暫定混合外環境信号Ｓｔｅｍｐとする（ステップ６００）。次いで、指示センサ２による指示信号Ｄを読みとる（ステップ６０５）。なお、指示者による指示がなければ、指示信号Ｄは生成されない。ステップ６０５の後、指示信号Ｄがあるか否かを判定する（ステップ６１０）。ステップ６１０が否定され、指示信号Ｄがない場合は、混合や連合信号の学習は行われず、Ｓｔｅｍｐ＝Ｓｏｕｔとして後述するステップ７００に移行する。一方、指示信号Ｄが生成され、ステップ６１０が肯定される場合は、記憶指示信号ＭＤ（ａ）［ａ＝１，２，…］を読みとる（上述した第一実施形態の☆１部分の処理：ステップ６１５）。
【００７４】
次いで、各記憶指示信号ＭＤ（ａ）について、指示信号Ｄとの類似度を計算する（上述した第一実施形態の☆２部分の処理：ステップ６２０）。そして、計算した類似度の最大値が所定の閾値よりも大きいか否かが判定される（ステップ６２５）。ここで、ステップ６２５が肯定される場合は、今回の指示（指示信号Ｄ）が以前にもあった指示（類似性の高い指示）なので、外環境信号Ｓｏｕｔと連合信号記憶部４に記憶された記憶外環境信号ＭＳｏｕｔ（ａ）とを所定の方法で混合し（上述した混合の具体例などの方法による）、混合外環境信号Ｓｔｅｍｐを生成・更新する（上述した第一実施形態の☆４部分に対応する処理：ステップ３３０）。一方、ステップ６２５が否定される場合は、今回の指示（指示信号Ｄ）がはじめての指示（類似性の低い指示）なので、指示信号Ｄと外環境信号Ｓｏｕｔとからなる連合信号（Ｄ，Ｓｏｕｔ）を新たな記憶連合信号ＭＡ（ａ）として連合信号記憶部４に追加記憶させ（上述した第一実施形態☆３部分に対応する処理：ステップ６３５）、Ｓｔｅｍｐ＝Ｓｏｕｔとして後述するステップ７００に移行する。
【００７５】
上述したように暫定混合外環境信号Ｓｔｅｍｐが決定された後、対外環境記憶部１３内に、外環境信号Ｓｏｕｔと類似する記憶外環境信号ＮＳｏｕｔ（ａ）を持つ記憶対外環境信号ＮＡ（ａ）＝（ＮＤ（ａ），ＮＳｏｕｔ（ａ），ＮＳｔｅｍｐ（ａ））があるかどうかを判定する（上述した☆６部分に対応する処理：ステップ７００）。ステップ７００が肯定される場合、即ち、以前に同じような状況で指示を受けたことがある場合は、まず、暫定混合外環境信号Ｓｔｅｍｐと外環境信号Ｓｏｕｔとの類似度（外環境類似度）を計算し（ステップ７０５）、この外環境類似度が所定の閾値よりも大きいか否かを判定する（ステップ７１０）。
【００７６】
ステップ７１０が肯定される場合は、今は指示がないが、この状況で過去に指示を受けている状況であると考えられる。このため、この場合は、上述した記憶対外環境信号ＮＡ（ａ）と外環境信号Ｓｏｕｔとから混合外環境信号Ｓｍｉｘを計算して出力する（ステップ７１５）。一方、ステップ７１０が否定される場合は、以前に同じような状況で指示を受けたことがあり、かつ、その指示が無視できないものであると考えられる。この場合は、上述した、外環境信号Ｓｏｕｔと類似する記憶外環境信号ＮＳｏｕｔ（ａ）を持つ記憶対外環境信号ＮＡ（ａ）＝（ＮＤ（ａ），ＮＳｏｕｔ（ａ），ＮＳｔｅｍｐ（ａ））の記憶指示信号ＮＤ（ａ）と指示信号Ｄとが類似しているか否かを判定する（ステップ７２０）。
【００７７】
ステップ７２０が肯定される場合は、該当する記憶対外環境信号ＮＡ（ａ）を強化し（ステップ７２５）、記憶対外環境信号ＮＡ（ａ）よりも今回の指示を優先して、既に算出されている暫定混合外環境信号Ｓｔｅｍｐをそのまま混合外環境信号Ｓｍｉｘとして出力する（ステップ７３０）。一方、ステップ７２０が否定される場合は、該当する記憶対外環境信号ＮＡ（ａ）を対外環境記憶部１３から消去し（上述した☆７部分に対応する処理：ステップ７３５）、記憶対外環境信号ＮＡ（ａ）よりも今回の指示を優先して、既に算出されている暫定混合外環境信号Ｓｔｅｍｐをそのまま混合外環境信号Ｓｍｉｘとして出力する（ステップ７４０）。ステップ７３５で記憶対外環境信号ＮＡ（ａ）を消去するのは、上述した☆７部分で説明したように、外環境センサ１で検出した外環境信号Ｓｏｕｔと最も類似する記憶対外環境信号ＮＳｏｕｔ（ａ）と対になっている記憶指示信号ＮＤ（ａ）であるにもかかわらず、指示センサ２で検知した指示信号Ｄと異なるということは、外環境に対する使用者の指示が矛盾しているか、状況の変化などによって指示が変化したと考えられるからである。
【００７８】
ステップ７００に戻り、ステップ７００が否定される場合について説明する。ステップ７００が否定される場合、即ち、以前に同じような状況で指示を受けたことがない場合も、まず、暫定混合外環境信号Ｓｔｅｍｐと外環境信号Ｓｏｕｔとの類似度（外環境類似度）を計算し（ステップ７４５）、この外環境類似度が所定の閾値よりも大きいか否かを判定する（ステップ７５０）。ステップ７５０が肯定される場合は、この状況で過去に指示を受けたことがなく、今も指示を受けていない状況であると考えられる。このため、この場合は、外環境センサ１の出力である外環境信号Ｓｏｕｔをそのまま混合外環境信号Ｓｍｉｘとして出力する（ステップ７５５）。
【００７９】
一方、ステップ７５０が否定される場合は、今、指示があって、かつ、動作を大きく変化させる必要がある場合であると考えられる。この場合は、指示信号Ｄによる外環境信号Ｓｏｕｔの変化が大きいので、今後のために今回の対外環境信号（Ｄ，Ｓｏｕｔ，Ｓｔｅｍｐ）を記憶対外環境信号ＮＡ（ａ）＝（ＮＤ（ａ），ＮＳｏｕｔ（ａ），ＮＳｔｅｍｐ（ａ））として新たに対外環境記憶部１３に記憶させ（上述した☆５部分に対応する処理：ステップ７６０）、今回の指示を重視して、既に算出されている暫定混合外環境信号Ｓｔｅｍｐをそのまま混合外環境信号Ｓｍｉｘとして出力する（ステップ７６５）。
【００８０】
この後、上述したように出力された混合外環境信号Ｓｍｉｘに基づいて、制御信号生成部６が制御信号Ｃを生成し、この制御信号Ｃによってアクチュエータ７が駆動されるのは、上述した第一実施形態と同様である。また、機械の動作結果を評価センサ８によって評価し、その評価結果に基づいて、変換規則学習部が制御信号生成部６の変換規則を修正するのも上述した第一実施形態と同様である。なお、本実施形態に対しても、第二実施形態の評価値積算部１０やスイッチ１１（重み付け手段でも良い）に相当する構成を付加しても良い。このようにすれば、本実施形態でも自律学習初期の段階での不適切な連合信号（Ｄ，Ｓｏｕｔ）が連合信号記憶部４に蓄積されてしまうことを抑制できる。
【００８１】
上述したような対話学習型の複数の制御装置を利用することを前提として、指示信号に各制御装置毎の識別信号を含ませて各装置を判別する手段を付加しても良い。この場合は、各装置毎に名前を付け、上述した識別信号各装置の名前とすれば、使用者の指示によって多様な動きをするロボット玩具を作ることも可能となる。即ち、初期状態では全てのロボットは基本的な動作をすでに教え込まされており、全てが同じ動作特性を有する。これを使用者が各ロボットに対話学習型制御装置を用いて、各ロボットを識別させつつ指示を送る（名前を呼んでから指示を出す）ことで、各ロボットは異なる動作特性を経験的に身につけていく。また、名前を呼ぶことで、全てのロボットを同時に動作させるのではなく特定のロボットのみを動作させることも可能になる。
【００８２】
このような複数のロボットを用いれば、サッカーゲームを行うことも可能となる。例えば、右サイドのポジションのロボットには主に左方向のパスを出すように指示を通じて教えておく。同様に、左サイドのポジションのロボットには主に右方向のパスを出すように指示を通じて教えておく。このようにすれば、元々は同じ特性を持ったロボットに個性を簡単に与えることができる。
【００８３】
次に、本発明の分類装置の実施形態について以下に説明する。図８に、分類装置の第一実施形態の構成を示す。図８に示されるように、本実施形態の分類装置は、上述した信号処理モジュール（制御装置）の第一実施形態に準じた構成を有していると言える。このため、上述した信号処理モジュール（制御装置）の第一実施形態と同一又は同等の構成部分には同一の符号を付してその詳しい説明を省略する。以下には、上述した信号処理モジュール（制御装置）の第一実施形態と異なる部分、及びその動作について説明する。
【００８４】
図８に示されるように、本実施形態においては、上述した第一実施形態の制御信号生成部６の代わりに、分類部１６を配設し、混合部５から出力された混合外環境信号に基づいて、外環境を検知するものである。分類部１６は、その分類結果を出力する。このとき、外環境の分類に際しては、使用者の指示が反映される。なお、この分類装置には、制御信号生成部６が存在しないため、第一実施形態の評価センサ８や変換規則学習部９などもない。
【００８５】
この分類装置の利用形態の具体例としては、自動車に搭載する警報装置などが挙げられる。この警報装置では、車両前方の物体を検出するレーダセンサやカメラ・車速を検出する速度センサなどを外環境センサ１とし、分類部１６では、外環境から車輌走行状態が危険であるか否かを分類して出力する。運転者が安全であると感じる車間距離には個人差がある。このため、本実施形態の警報装置では、運転者によるブレーキ操作を使用者の指示として扱うことで、運転者毎に異なる状況に対応することが可能となる。この場合、ブレーキペダルのストロークセンサや踏力センサが指示センサ２となる。指示信号の強度を検出しないのであれば、単にブレーキ操作の有無を検出するブレーキスイッチを指示センサ２とすることもできる。
【００８６】
この警報装置では、警報装置が危険と判断した車間距離であっても運転者がブレーキを踏む場合は運転者は危険を感じている、というドライバモデルを導入しておく。そして、蓄積された過去の情報に基づいて、運転者（指示者）がこれまでブレーキ操作を行った車間距離（車速によって可変とすることが好ましい）となったら警報装置によって警報が出される。このような警報装置（分類装置）において危険予測を重視する場合、ブレーキを踏んだ時刻ｔから一定時間前の走行状態を示す外環境信号Ｓｏｕｔ（ｔ−Δｔ）と指示信号（ｔ）とから連合信号を構成することが好ましい。このようにすれば、使用者が外環境（車間距離）に対して危険を感じての指示（ブレーキ操作）を出すまでのタイムラグを考慮して、予測に基づく警報を生成することができる。
【００８７】
図９に、分類装置の第二実施形態の構成を示す。図９に示されるように、本実施形態の分類装置は、上述した信号処理モジュール（制御装置）の第三実施形態に準じた構成を有していると言える。このため、上述した信号処理モジュール（制御装置）の第三実施形態と同一又は同等の構成部分には同一の符号を付してその詳しい説明を省略する。このような分類装置によれば、使用者の指示の変化や矛盾などを考慮した分類を行うことができる。
【００８８】
図９に示されるように、本実施形態においては、上述した第三実施形態の制御信号生成部６の代わりに、分類部１６を配設し、第二混合部１５から出力された混合外環境信号に基づいて、外環境を検知するものである。分類部１６は、その分類結果を出力する。このとき、外環境の分類に際しては、使用者の指示が反映される。なお、この分類装置には、制御信号生成部６が存在しないため、上述した第三実施形態の評価センサ８や変換規則学習部９などもない。
【００８９】
例えば、この分類装置を、上述したような自動車に搭載される警報装置として採用した場合を考えると、使用者の指示の変化などは、通常の路面と積雪路面との違いなどで生じ得る。積雪地帯で季節が変わるなどした場合は有効である。また、使用者の指示が矛盾したものとなるような場合としては、外環境（車間距離）とは関係なく指示が出された（ブレーキ操作が行われた）場合などがある。あるいは、外環境センサで検出されなかった外環境（猫などの飛び出しなど）に対応するために指示が出された（ブレーキ操作が行われた）場合などがある。これらの場合も、対外環境記憶部１３や指示変化学習部１４を備えた本実施形態は有効である。
【図面の簡単な説明】
【００９０】
【図１】本発明の制御装置（信号処理モジュール）の第一実施形態の構成図である。
【図２】図１の装置の動作原理の説明図である。
【図３】信号処理制御（一例）のフローチャートである。
【図４】本発明の制御装置（信号処理モジュール）の第二実施形態の構成図である。
【図５】本発明の制御装置（信号処理モジュール）の第三実施形態の構成図である。
【図６】信号処理制御（他の例）のフローチャート（前半部）である。
【図７】信号処理制御（他の例）のフローチャート（後半部）である。
【図８】本発明の分類装置の第一実施形態の構成図である。
【図９】本発明の分類装置の第二実施形態の構成図である。
【図１０】サブサンプションアーキテクチャを用いた従来の制御装置の構成図である。
【符号の説明】
【００９１】
０…信号処理モジュール、１…外環境センサ（外環境検知手段）、２…指示センサ（指示検知手段）、３…連合信号生成／学習部（連合信号生成手段・連合信号学習手段）、４…連合信号記憶部（連合信号生成手段）、５…制御信号生成部（制御信号生成手段）、５…混合部（混合手段）、６…制御信号生成部（制御信号生成手段）、７…アクチュエータ、８…評価センサ（評価手段）、９…変換規則学習部（変換規則学習手段）、１０…評価値積算部（評価値積算手段）、１１…スイッチ、１２…第一混合部（第一混合手段）、１３…対外環境記憶部（対外環境記憶手段）、１４…指示変化学習部（指示変化学習手段）、１５…第二混合部（第二混合手段）、１６…分類部（分類処理手段）。
【図１】
2006215744.tif 000006
【図２】
2006215744.tif 000007
【図３】
2006215744.tif 000008
【図４】
2006215744.tif 000009
【図５】
2006215744.tif 000010
【図６】
2006215744.tif 000011
【図７】
2006215744.tif 000012
【図８】
2006215744.tif 000013
【図９】
2006215744.tif 000014
【図１０】
2006215744.tif 000015