(57)【特許請求の範囲】
【請求項１】
複数種類の信号源からパタン情報を入力する入力手段と、該入力されたパタン情報を辞書情報に基づいて認識するパタン認識手段と、該パタン認識手段による認識結果に基づいて感情状態を更新する状態更新手段と、該感情状態に応じて応答を出力する出力手段とを具備する仮想生物システムにおいて、
前記感情状態が所定の条件を満たすときに、前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習する学習手段をさらに具備することを特徴とする仮想生物システム。
【請求項２】
複数種類の信号源からパタン情報を入力する入力処理と、該入力されたパタン情報を辞書情報に基づいて認識するパタン認識処理と、該パタン認識手段による認識結果に基づいて感情状態を更新する状態更新処理と、該感情状態に応じて応答を出力する出力処理とを有する，仮想生物システムにおけるパタン学習方法であって、
前記感情状態が所定の条件を満たすときに、前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習するパタン学習処理をさらに有することを特徴とする仮想生物システムにおけるパタン学習方法。
【請求項３】
前記所定の条件は感情状態の強度が所定の閾値を越えることであることを特徴とする請求項１記載の仮想生物システム。
【請求項４】
前記所定の条件は感情状態の強度が所定の閾値を越えることであることを特徴とする請求項２記載の仮想生物システムにおけるパタン学習方法。
【請求項５】
１つ以上の信号源からパタン情報を入力する入力手段と、
この入力手段により入力されたパタン情報を、複数のグループに分類された辞書情報に基づいてグループごとに認識するパタン認識手段と、
前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習するパタン学習手段と、
前記パタン認識手段による認識結果に基づいて感情状態を更新する状態更新手段と、
前記感情状態が所定の条件を満たすとき、前記パタン学習手段に学習指令を行う学習指令手段と、
前記感情状態に応じて応答を出力する出力手段とを具備することを特徴とする仮想生物システム。
【請求項６】
１つ以上の信号源からパタン情報を入力する入力手段と、
この入力手段により入力されたパタン情報を、複数のグループに分類された辞書情報に基づいてグループごとに認識するパタン認識手段と、
前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習するパタン学習手段と、
前記パタン認識手段による認識結果に基づいて、複数の数値により表される感情状態のこれらの数値を変化させることにより感情状態を更新する状態更新手段と、
前記感情状態を表す複数の数値が所定の大きさになったとき、前記パタン学習手段に学習指令を行う学習指令手段と、
前記感情状態に応じて応答を出力する出力手段とを具備したことを特徴とする仮想生物システム。
【請求項７】
１つ以上の信号源からパタン情報を入力する入力手段と、
この入力手段により所定時間内に入力された複数のパタン情報を、複数のグループに分類された辞書情報に基づいてグループごとに認識するパタン認識手段と、
前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習するパタン学習手段と、
前記パタン認識手段による認識結果に基づいて、複数の数値により表される感情状態のこれらの数値を変化させることにより感情状態を更新する状態更新手段と、
前記感情状態を表す複数の数値が所定の大きさになったとき、前記パタン学習手段に学習指令を行う学習指令手段と、
前記感情状態に応じて応答を出力する出力手段とを具備することを特徴とする仮想生物システム。
【請求項８】
前記感情状態を表す複数の数値は、少なくとも幸福度、興奮度及び好感度を表す数値であることを特徴とする請求項６または請求項７に記載の仮想生物システム。
【請求項９】
前記パタン情報は、人物及び語彙のグループのうちの少なくとも１つと、表情、語気及び力覚のグループのうち少なくとも１つについて認識されることを特徴とする請求項６または請求項７に記載の仮想生物システム。
【請求項１０】
前記パタン情報は、人物、表情、語彙、語気及び力覚のグループに分けられており、これらのうちの表情、語気及び力覚のグループについての刺激の認識結果の快及び不快により、前記感情状態を表す幸福度、興奮度及び好感度の数値を変化させることを特徴とする請求項６または請求項７に記載の仮想生物システム。
【請求項１１】
１つ以上の信号源からパタン情報を入力する入力するステップと、
このステップにより所定時間内に入力された複数のパタン情報を複数のグループに分類された辞書情報に基づいてグループごとに認識するパタン認識ステップと、
このパタン認識ステップによる認識結果に基づいて、複数の数値により表される感情状態のこれらの数値を変化させることにより前記感情状態を更新する状態更新ステップと、
前記感情状態を表す複数の数値の少なくとも１つが所定の大きさになったとき、前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習する指令を行う学習指令ステップと、
この学習指令ステップの行う指令に従って前記新たな辞書情報と前記更新量とを学習するパタン学習ステップと、
前記感情状態に応じて応答を出力する出力ステップとを有することを特徴とする仮想生物システムにおけるパタン学習方法。
【請求項１２】
前記パタン情報は、人物、表情、語彙、語気及び力覚のグループに分けられており、これらのうちの表情、語気及び力覚のグループについての刺激の認識結果の快及び不快により、前記感情状態を表す幸福度、興奮度及び好感度の数値を変化させることを特徴とする請求項１１記載の仮想生物システムにおけるパタン学習方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、外部からの入力パタンを認識する仮想生物システムに係り、特に自発的にパタンを学習する仮想生物システム及び仮想生物システムにおけるパタン学習方法に関する。
【０００２】
【従来の技術】
近年、生物を模したキャラクタの登場するソフトウェアアプリケーションや生物を模したロボットが種々提案されている。これら仮想生物システムとも呼ぶべきソフトウェアアプリケーションやロボットはユーザからの入力情報に応じて感情表現をするなどの応答を出力するように作られている。また、それらソフトウェアアプリケーションやロボットのいくつかは、ユーザの顔画像や音声波形などのパタン情報を認識する能力を有し、そのようなパタン認識情報を入力情報として応答できるようにできている。
【０００３】
例えば、ｈｔｔｐ：／／ｗｗｗ．ｉｎｃｘ．ｎｅｃ．ｃｏ．ｊｐ／ｒｏｂｏｔ／  に開示されている「お手伝いロボットＲ１００」は、ユーザの顔画像からそれが誰であるかを見分け、その認識結果に基づいて当該ユーザに特化した動作を行えるようになっている。
【０００４】
また、例えば、ｈｔｔｐ：／／ｗｗｗ．ｌａｒｅｓ．ｄｔｉ．ｎｅ．ｊｐ／〜ｐ−ｃｈａｍｉｎ／  に開示されている「ぴーちゃみん」というソフトウェアアプリケーションは、パソコンに接続されたマイクロフォンから音声信号を取り込み、それを覚えて聞き分けられるようになると共に、その音声信号を加工した波形信号を自らの音声として発声可能な「インコ」型の仮想生物である。更に、「ぴーちゃみん」は別々に入力される個別音声の前後関係をも学習し、同じ前後関係で上記自己音声の発生を行えるようになっている。
【０００５】
パタン認識の基本的な枠組みは、認識対象となるクラスに属するパタンの特徴を何らかの形式で表現し、未知人力パタンの特徴がこのクラスの特徴にどれくらい合致しているかを照合評価するというものである。このクラスの特徴を表現した情報を辞書と呼び、合致の度合を示す尺度を類似度と呼ぶ。認識対象となるクラスが1つの場合(これを同定問題と云う)、この類似度が所定閾値以上あれば、未知入力パタンはこのクラスに属しているものと認定する。
【０００６】
また、認識対象となるクラスが２つ以上ある場合(これを識別問題と云う)、類似度が所定閾値以上あり、最も高い類似度を獲得したクラスがあれば、未知入力パタンはこの最高類似度を得たクラスに属しているものと認定する。いずれの場合も、所定閾値以上のクラスがない場合には、未知入力パタンはクラス未定、すなわち、システムの認識できない新たなクラスに属しているものとされる。
ここで、パタン認識の計算上の仕組みを簡単に説明する。
【０００７】
一般にパタンｐはＮ個のスカラー量で構成されるデータである。そのため、パタンｐは各スカラー量をそれぞれ1つの軸に対応させ、各スカラー量の値を対応する軸上の座標値としたＮ次元超空間Ｓ〈Ｎ本の直交する座標軸を持つ空間)中の点(あるいは原点からの位置ヘクトルv)と看倣すことができる。画像パタンの場合は大きさと輝度を正規化された画像の各画素値をこのスカラー量に相当させることができる。音声パタンの場合は時間長と強度を正規化された各時刻のスペクトル成分をスカラー量に相当させることができる。これは多くのパタン認識装置で用いられているパタンのベクトル化法である。
【０００８】
このとき、２つのパタンがとれくらい似通っているかは、パタン間の類似度を計算することで評価できる。２パタン間の類似度の定義の仕方には様々あるが、例えば、各パタンを表す長さを正規化された位置ベクトル(特徴ベクトルと云う)の余弦(すなわち、一方から他方への射影長)として類似度が定義される。この場合、類似度が大きい程２つのパタンは似ていることになる。
【０００９】
一般に、あるクラスに属する既知のパタン(教示パタンと言う)が複数与えられており、更に未知入力パタンが１つ与えられたとき、この未知入力パタンがこのクラスに属している可能性を評価するには、単純に前述の２パタン間の類似度を計算することで行える。この場合、未知入力パタンと全ての既知パタンとの類似度を個々に求め、例えば最も大きい類似度をこのクラスとの類似度とする。この方法はクラスの特徴を表わす辞書として全ての既知パタンを個々に保存しておく方法である。
【００１０】
しかしながら、この方法だと既知パタンの数が増えるにつれて類似度計算のコストや既知パタンを記憶しておくメモリスベースなどが際限なく増大してしまう。また、既知パタンには相互に類似したパタンもあるため、同じようなパタンと何回も類似度計算をするという無駄も発生する。そこで、既知パタンを個々に保存しておく代わりに、より少ない情報で既知パタン集合、即ちクラスの特徴を記述する必要が生ずる。
【００１１】
クラスの特徴を表現する方法として、或るクラスに属するＫ個の既知パタン、即ちＫ本のＮ次元特徴ベクトル｛ｖ：ｖ１，．．，ｖＫ｝（前述の既知パタンに相当）が与えられたとき、これら特徴ベクトルを主成分分析して得られる寄与率の大きいＭ(Ｍ＜Ｎ）本の正規直交ベクトル｛ｅ：ｅ１，．．．，ｅＭ｝を基底とするＭ次元超空間Ｌを辞書とする方法がある。このＭ次元超空間ＬはＮ次元超空間Ｓの次元数Ｍの部分空間Ｌ(Ｍ＜Ｎであるため)であり、このＭ次元超空間Ｌを次元数Ｍの辞書部分空間と呼ぶ。
【００１２】
この方法によると、既知パタンの数ＫがＮよりはるかに大きくても、辞書としては高々Ｍ（＜Ｎ）本の基底ベクトルを保存しておくだけでよい。未知特徴ベクトルｖ(前述の未知パタンに相当)が１つ与えられたときの辞書部分空間Ｌとの類似度は、未知特徴ベクトルvを部分空間Ｌの基底ベクトル｛ｅ：ｅ１，．．．，ｅＭ｝の各々に射影した長さの２乗和を類似度として定義される。これが部分空間法と呼ばれるものである。
【００１３】
なお、部分空間法を含めた辞書表現と類似度の定義に関連した詳細な情報は、文献［１］（エルッキ・オヤ著、小川英光他訳、「パターン認識と部分空間」、産業図書、１９８６）や、文献［２］〈飯島泰蔵著、「パターン認識理論」、森北出版、１９８９）に開示されている。
【００１４】
以上例示したように、一般に何らかのパタンを認識するシステムにおいては、認識対象となるクラスの辞書をシステムに与えておく必要がある。通常、この辞書を実際のパタンと関係なく合成的に作り出すことは困難なため、対象クラスに属する実際のパタン（前述の教示パタン）を収集し、例示した部分空間法における主成分分析などにより辞書を生成することになる。
【００１５】
このとき、実際のパタンから辞書を生成するためには、少なくとも辞書を構築するための教示パタンと当該教示パタンの属するクラスの情報が必要である。教示パタンは顔認識なら顔の画像パタン、文字認識なら文字の画像パタン、単語音声認識なら単語の音声波形パタンであり、クラス情報は顔による個人認識ならその人物の名前（文字コード列）や識別番号など、顔による表情認識ならその表情の名前（文字コード列）や識別番号など、文字認識ならその文字の文字コードなど、単語音声認識ならその単語の文字コード列など、一般的には当該パタンを個別に識別可能な番号や記号（列）である。
【００１６】
このように、教示パタンと当該教示パタンの属するクラスの情報という２種類の情報が与えられることで初めて必要なクラスの必要な辞書が生成可能になる。
【００１７】
なお、このような辞書の生成、即ち新規辞書の追加あるいは既存辞書の更新をパタン認識システムの運用中に随時行い、当該システムのパタン認識能力を向上させることを以後パタン学習と呼ぶことにする。
【００１８】
ところで、従来、教示パタンとクラス情報という２つの情報は人間がシステムに与える必要があった。特に運用中にパタン学習を行うことのできるパタン認識システムにおいては、人間がシステムの持つパタン認識のためのパタン入力機能を利用しつつ教示パタンを集め、その属するクラスをシステムに手作業で入力し、システムの助けを借りながら辞書を生成するという手順でパタン学習が進行する。そのため、このようなシステムにはパタンを入力して認識するという本来の機能の他に、辞書生成機能として教示パタンを収集するモードを呼び出すための操作入力機能、当該モードにおいて入力パタンを教示パタンとして記憶しておく機能、クラス情報の操作入力を受理する機能、及び収集記憶された教示パタンから指定されたクラスの辞書を生成する機能が与えられていた。
【００１９】
これからも明らかなように、従来のパタン学習においては、「これから入力するパタンを学習せよ」という教示タイミングの入力、その後に意図的に行われる教示のためのシステムへのパタン呈示、「教示されたパタンをこのクラスに属させよ」というクラス情報の入力という３つの段階に人手の介在が不可欠であった。
【００２０】
しかしながらこのように、その都度人手を介してパタンを学習させていたのでは、使用するうちに知らず知らずに物を覚えていくという仮想生物の生物らしい学習能力を演出することは不可能であり、より生物らしい人工システムを提供するうえでの大きな障害となる。
【００２１】
前述の「Ｒ１００」においても、顔の教示は明示的に行われなくてはならず、新しい顔を覚えさせるためには人手による教示作業が必要であった。
【００２２】
また、前述の「ぴ一ちゃみん」においても、利用者が学習を希望する音声を教示する際には、画面に表示されるマイクボタンをマウスでクリックしてから教示音声を聞かせるというように、学習すべきパタンをシステムに明示的に通知する必要があった。このように従来のパタン学習可能なパタン認識システムは、パタン学習において人間によるまさに教示のためだけに行われる意図的な作業を必要とした。
【００２３】
但し、前述の「ぴーちゃみん」だけは例外であり、システムはマイクロフォンが拾う音声を自律的に学習する機能も備えており、利用者による明示的な作業を必要としないパタン学習も可能となっている。「ぴーちゃみん」はこれまで学習したどの音声パタンとも類似しない新規パタンを見分けると、そのパタンに対して新しいクラス情報（おそらく新しい識別番号）を自動的に発行することにより、当該パタンに対するクラス情報を内部で生成し、この新規パタンを認識するための辞書を自動生成しているものと思われる。この機能により、「ぴ一ちゃみん」は利用者が何もしなくても自発的に言葉、実際には音を覚える仮想生物を演出することに成功している。
【００２４】
しかしながら、このような自発的な学習能力を持つ「ぴーちゃみん」においても、マイクロフォンが拾う、どの音声を学習すべきかを決定する手段が不十分なため、往々にして周囲のノイズを勝手に学習してしまい、意味不明の音声を喋るようになるという問題が発生する。これは学習すべきパタンを選別するための適切な手段がないことを意味しており、これが従来技術の問題点である。
【００２５】
【発明が解決しようとする課題】
本発明は上記のような従来の仮想生物の学習の際の問題点に鑑みてなされたもので、その目的とするところは、不適切なパタンを排除して自発的なパタン学習を行える仮想生物システム及び仮想生物システムにおけるパタン学習方法を提供することである。
【００２６】
【課題を解決するための手段】
本発明は、入力されたパタン情報を認識し、その結果に基づいて内部状態を更新する点に特徴がある。
【００２７】
上記目的を達成するために、本発明の請求項１によれば、複数種類の信号源からパタン情報を入力する入力手段と、該入力されたパタン情報を辞書情報に基づいて認識するパタン認識手段と、該パタン認識手段による認識結果に基づいて感情状態を更新する状態更新手段と、該感情状態に応じて応答を出力する出力手段とを具備する仮想生物システムにおいて、前記感情状態が所定の条件を満たすときに、前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習する学習手段をさらに具備することを特徴とする仮想生物システムを提供する。
【００２８】
したがって、内部状態の条件によって入力パタンを選択的に学習することになり、適切な入力パタンのみ学習して、合理的な出力をする仮想生物システムが得られる。
【００２９】
本発明の請求項２によれば、複数種類の信号源からパタン情報を入力する入力処理と、該入力されたパタン情報を辞書情報に基づいて認識するパタン認識処理と、該パタン認識手段による認識結果に基づいて感情状態を更新する状態更新処理と、該感情状態に応じて応答を出力する出力処理とを有する，仮想生物システムにおけるパタン学習方法であって、前記感情状態が所定の条件を満たすときに、前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習するパタン学習処理をさらに有することを特徴とする仮想生物システムにおけるパタン学習方法を提供する。
【００３０】
内部状態の条件によって入力パタンを選択的に学習することになり、適切な入力パタンのみ学習する合理的なパタン学習方法が得られる。
【００３１】
本発明の請求項３によれば、請求項１記載の仮想生物システムにおいて、前記所定の条件は感情状態の強度が所定の閾値を越えることであることを特徴とする仮想生物システムを提供する。
【００３２】
本発明の請求項４によれば、請求項２記載のパタン学習方法において、前記所定の条件は感情状態の強度が所定の閾値を越えることであることを特徴とする仮想生物システムにおけるパタン学習方法を提供する。
【００３３】
本発明の請求項５によれば、１つ以上の信号源からパタン情報を入力する入力手段と、この入力手段により入力されたパタン情報を、複数のグループに分類された辞書情報に基づいてグループごとに認識するパタン認識手段と、前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習するパタン学習手段と、前記パタン認識手段による認識結果に基づいて感情状態を更新する状態更新手段と、前記感情状態が所定の条件を満たすとき、前記パタン学習手段に学習指令を行う学習指令手段と、前記感情状態に応じて応答を出力する出力手段とを具備することを特徴とする仮想生物システムを提供する。
【００３４】
本発明の請求項６によれば、１つ以上の信号源からパタン情報を入力する入力手段と、この入力手段により入力されたパタン情報を、複数のグループに分類された辞書情報に基づいてグループごとに認識するパタン認識手段と、前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習するパタン学習手段と、前記パタン認識手段による認識結果に基づいて、複数の数値により表される感情状態のこれらの数値を変化させることにより感情状態を更新する状態更新手段と、前記感情状態を表す複数の数値が所定の大きさになったとき、前記パタン学習手段に学習指令を行う学習指令手段と、前記感情状態に応じて応答を出力する出力手段とを具備したことを特徴とする仮想生物システムを提供する。
【００３５】
本発明の請求項７によれば、１つ以上の信号源からパタン情報を入力する入力手段と、この入力手段により所定時間内に入力された複数のパタン情報を、複数のグループに分類された辞書情報に基づいてグループごとに認識するパタン認識手段と、前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習するパタン学習手段と、前記パタン認識手段による認識結果に基づいて、複数の数値により表される感情状態のこれらの数値を変化させることにより感情状態を更新する状態更新手段と、前記感情状態を表す複数の数値が所定の大きさになったとき、前記パタン学習手段に学習指令を行う学習指令手段と、前記感情状態に応じて応答を出力する出力手段とを具備することを特徴とする仮想生物システムを提供する。
【００３６】
ここで、入力手段により複数のパタン情報が入力される所定時間内とは、通常、使用者が一連の動作として動作を行う程度の時間内である。この発明によれば、複数のパタン情報によって感情状態を変えるので、更に合理的な動作をする仮想生物システムを得られる。
【００３７】
本発明の請求項８によれば、請求項６または請求項７に記載の仮想生物システムにおいて、前記感情状態を表す複数の数値は、少なくとも幸福度、興奮度及び好感度を表す数値であることを特徴とする仮想生物システムを提供する。
【００３８】
本発明の請求項９によれば、請求項６または請求項７に記載の仮想生物システムにおいて、前記パタン情報は、人物及び語彙のグループの少なくとも１つと、表情、語気及び力覚のグループのうち少なくとも１つについて認識されることを特徴とする仮想生物システムを提供する。
【００３９】
本発明の請求項１０によれば、請求項６または請求項７に記載の仮想生物システムにおいて、前記パタン情報は、人物、表情、語彙、語気及び力覚のグループに分けられており、これらのうちの表情、語気及び力覚のグループについての刺激の認識結果の快及び不快により、前記感情状態を表す幸福度、興奮度及び好感度の数値を変化させることを特徴とする仮想生物システムを提供する。
【００４０】
本発明の請求項１１によれば、１つ以上の信号源からパタン情報を入力する入力するステップと、このステップにより所定時間内に入力された複数のパタン情報を複数のグループに分類された辞書情報に基づいてグループごとに認識するパタン認識ステップと、このパタン認識ステップによる認識結果に基づいて、複数の数値により表される感情状態のこれらの数値を変化させることにより前記感情状態を更新する状態更新ステップと、前記感情状態を表す複数の数値の少なくとも１つが所定の大きさになったとき、前記パタン情報の認識のための新たな辞書情報と、前記パタン情報の検出により前記感情状態を更新する量と、を学習することの指令を行う学習指令ステップと、この学習指令ステップの行う指令に従って前記新たな辞書情報と前記更新量とを学習するパタン学習ステップと、前記感情状態に応じて応答を出力する出力ステップとを有することを特徴とする仮想生物システムにおけるパタン学習方法を提供する。
【００４１】
本発明の請求項１２によれば、請求項１１記載のパタン学習方法において、前記パタン情報は、人物、表情、語彙、語気及び力覚のグループに分けられており、これらのうちの表情、語気及び力覚のグループについての刺激の認識結果の快及び不快により、前記感情状態を表す幸福度、興奮度及び好感度の数値を変化させることを特徴とする仮想生物システムにおけるパタン学習方法を提供する。
【００４２】
【発明の実施の形態】
以下、本発明による仮想生物システムの一実施形態について図面を用いて説明する。
【００４３】
図１は本発明の一実施形態による仮想生物システムの機能ブロック構成を示す図である。この仮想生物システムは、外界からの情報を入力される入力部１、その入力された情報をパタンとして認識するパタン認識部２、このシステムの内部の状態を更新する状態更新部３、外部に行動としてあらわす出力部４、上記情報のパタンの学習を指示する学習指令生成部５、この指示のもとにパタンの学習を行うパタン学習部６から成る。
【００４４】
また、図２はこの仮想生物システムにおける処理の流れを示す図である。この実施形態の仮想生物システムにおける処理は、入力処理ステップＳ１、パタン認識処理ステップＳ２、状態更新処理ステップＳ３、出力処理ステップＳ４、学習判断処理ステップＳ５、パタン学習処理ステップＳ６より成る。
【００４５】
入力部１は、利用者の顔画像パタンを入力するテレビカメラなどの画後入力手段、利用者の音声波形パタンを入力するマイクロフォンなどの音声入力手段、装置外装に配置され、利用者からの接触力覚パタンを入力する感圧センサなどの力覚入力手段を備えており、例えば音声信号と力覚信号や、音声信号と画像信号というような複数種類の信号源からパタン情報（入力パタンという）を入力する手段である。
【００４６】
図３に、本発明を動物を模したロボット１１に適用した場合の実施形態の各種入力手段の具体的な配置例を示す。このロボット１１は、目に相当する部位に画像入力手段たるテレビカメラ１２を有し、耳に相当する部位に音声入力手段たるマイクロフォン１３を有し、また頭頂部に相当する部位に力覚入力手段たる感圧センサ１４を設けられている。
【００４７】
本発明における仮想生物システムは、図３に示すように具体的に存在するロボットに限られず、コンピュータの画面上にコンピュータグラフィック（ＣＧ）に現わされる存在でもよい。
【００４８】
図４に、このようにコンピュータ２１の表示装置上に表示されるＣＧによる表示仮想生物２２に適用した場合の各種入力手段の配置例を示した。この例では、画像入力手段たるテレビカメラ２３をコンピュータ２１の手前に設置し、音声入力手段たるマイクロフォン２４をコンピュータ２１の横に設置している。
【００４９】
力覚入力手段はマウス２５の左ボタン２６とする。この左ボタン２６を押下しつつマウスカーソル２７を仮想生物２２の上で往復させることにより、この表示仮想生物２２を撫でる動作を意味する撫で入力を与えることができる。また、この左ボタン２６を表示仮想生物２２の上で短くクリックすることにより表示仮想生物２２を叩く動作を意味する叩き入力が可能である。更に、左ボタン２６を表示仮想生物２２の上で押下し続けることで仮想生物２２を押える動作を意味する押さえ入力が可能となっている。
【００５０】
上述のような手段によって、図２のステップＳ１１で入力処理が行われる。
【００５１】
図１におけるパタン認識部２は、パタン認識のための辞書情報を保持し、前記入力部１による入力パタンを部分空間法を用いて各クラスの辞書情報と照合し、所定閾値以上で最も高い類似度を示すクラスを検出し、当該クラスを当該入力パタンの属するクラスと認定し、該認定されたクラスの識別情報を出力する手段であり、図２のステップＳ１２においてこのようなパタン認識処理がなされる。
【００５２】
なお、パタン認識部２は認定すべきクラスを発見できなかった場合には、当該入力パタンが未学習クラスであることを示す特別な識別情報を出力する。
【００５３】
パタン認識部２は、利用者の顔画像パタンからその人物の別と表情の別を、利用者の音声スペクトルパタンから語彙の別と語気の別を、利用者の接触感圧パタンから触られ方の別を認識できる。そのため、パタン認識部２は図５に示すように、人物、表情、語彙、語気及び力覚の５種類のグループに分類された辞書情報を保持することができ、各グループ毎の認識結果を出力できる。
【００５４】
図５において初期辞書数とは、最初から有する辞書の数であり、これが０であることは、最初そのグループの辞書がないことを意味する。
【００５５】
表情と語気と力覚の各グループについては、初期辞書数が２あるいは３であり、システムが生得的にこれらを認識可能であるために予め対応する辞書情報を用意している。一方、人物と語彙のグループについては、初期辞書数は０であるから、運用中にその認識能力が獲得されるべきものとして辞書情報を予め用意しておかず、無垢なままとする。このとき、生得的に認識可能なクラスを初期クラスと呼ぶことにする。
【００５６】
また、この実施形態においては、上記の認識結果として得られる識別情報として、各グループの識別情報の書式を図６のように定めている。即ち、人物、表情、語彙、語気及び力覚の各グループの識別情報は、各々ＦＩ、ＦＥ、ＶＩ、ＶＥ、ＴＩの記号の後に１番から始まる通し番号を付けることにより表される。各グループとも当該グループを示す記号に当該グループに属する各クラスを示す通し番号を付けた文字列が識別情報となる。
【００５７】
なお、未学習パタンについては、通し番号は全グループ共通で当該クラスの記号の後に０を付ける。
【００５８】
図７に、パタン認識部２が運用開始時点の初期状態で認識可能なクラス（初期クラス）と識別情報並びに辞書情報構築に用いた教示パタンを示す。なお、初期クラスとは仮想生物の生存本能に訴える危険信号や受容欲求に訴える触覚的快刺激であり、本発明における仮想生物はそのような信号や刺激を生得的に認識できるように進化してきたのだという想定に基づいている。
【００５９】
表情グループの初期クラスは、笑顔（ＦＥ１）と怒り顔（ＦＥ２）の２つがあり、語気グループの初期クラスは、優しい語気（ＶＥ１）と怒り語気（ＶＥ２）の２つがあり、力覚グループの初期クラスは、撫で（ＴＩ１）と叩き（ＴＩ２）と押さえ（ＴＩ３）の３つがあることを示している。
【００６０】
図１における状態更新部３は、仮想生物の内部状態情報を保持し、前述のパタン認識部２による識別情報に応じて、例えば仮想生物の感情状態を司る内部状態を更新する手段であり、図２のステップＳ１３において、内部状態の更新処理がなされる。
【００６１】
本発明のこの実施形態の仮想生物システムでは、感情状態を司る内部状態として例えば図８に示すように、幸福度Ｈ、興奮度Ａ、好感度Ｌという３種類のパラメータを用いる。幸福度のパラメータＨは、−１．０から１．０の範囲にあり、この範囲内の値によって、恐怖、恐れ、不安、安心、喜び、恍惚の状態、即ち、仮想生物の不安や安心の程度を表す。特別大きい刺激がなければ、安心に自然収束する。
【００６２】
興奮度のパラメータＡは、０．０から１．０の範囲にあり、この値によって沈静と興奮の状態の程度を表し、特別大きな刺激がなければ０．０（沈静）に自然収束する。
【００６３】
また、好感度のパラメータＬは、−１．０から１．０の範囲にあり、この範囲内の値によって、嫌いから好きの程度を表す。
【００６４】
図８に示した内部状態のパラメータは、前述した初期クラスがパタン認識部２により検知されることにより、各クラスに応じて例えば図９に示すように変化する。このとき、各クラスは図示するように報酬系快刺激と罰系不快刺激のいずれかに分類されており、報酬系の快刺激には、笑顔、優しい語気、撫でが、罰系の不快刺激には、怒り顔、怒り語気、叩き、押さえが各々割り当てられている。例えば、親和表明に相当する快刺激である、笑顔のクラス（ＦＥ１）は、その刺激の継続時間に比例して幸福度Ｈ，好感度Ｌ，興奮度Ａのパラメータの値を緩やかに増加させる。また、強い叱りに相当する不快刺激である怒り語気（ＶＥ２）は、その刺激の回数に比例して、幸福度Ｈ及び好感度Ｌの値を急激に減少させ、興奮度Ａの値を急激に増加させる。
【００６５】
このように、上記幸福度Ｈ、興奮度Ａ、好感度Ｌのパラメータの値は、快刺激あるいは不快刺激を受けることにより変化していく。このクラス毎にどのように内部状態を変化させるべきかを定義した情報を更新情報と呼び、認識可能な全てのクラスについてクラス毎に状態更新部３が保持するものとする。
【００６６】
出力部４は、前述のように状態更新部３により更新された内部状態とパタン入力結果に基づいて、感情表現と態度表明による応答を出力する手段であり、ステップＳ１４において、処理される。
【００６７】
出力部４における応答の仕方は、仮想生物が生得的に獲得している性質であり、図１０に示すように内部状態とパタン入力結果に応じて応答が決定可能なように設定されている。例えば、幸福度が悦惚の域に達すると、仮想生物はうっとりとした声を漏らしながら大人しくなり、喜びの域では嬉しそうな声をあげて喜ぶというように感情表現し、好感情で人物を検出すると視線を合わせようとし、悪感情で人物を検出すると顔を背けようとするというように態度表明をする。
【００６８】
以上で述べた構成により、本発明のこの実施形態の仮想システムは、初期クラスを認識することで、例えば、大声を掛けられる（怒り語気）と怖がったり、撫でられる（撫で）とうっとりするという応答を示すことのできる仮想生物システムとして機能する。
【００６９】
引き続き、この実施形態のシステムが自発的にパタンを学習する仕組みとその特徴について説明する。
【００７０】
図１の学習指令生成部５は、上述の状態更新部３により適宜更新される内部状態が所定の条件を満たすとき、具体的には快刺激や不快刺激により幸福度Ｈ、興奮度Ａ、好感度Ｌの絶対値が、該値が正値あるいは負値であるときにそれぞれ設定されている所定閾値を超えたとき、そのような感情状態の発生原因となった事態を構成する入力パタンを新規にあるいは再度学習すべく、観測された全ての入力パタンを対象とする学習指令を生成出力する手段である。したがって、図２のステップＳ１５において、学習すべきかどうかが検討され、前記幸福度Ｈ、興奮度Ａ、好感度Ｌのいずれかの値が所定閾値を超えたとき、学習すべきと判断され、ステップＳ１６のパタン学習処理に移る。
【００７１】
ここで本発明を先に述べた従来例と比較すると、「ぴーちゃみん」においては、上述したような「所定の感情状態の発生原因となった事態から観測される複数の入力パタンを学習する」機能が欠けている。そのため「ぴーちゃみん」は、システムが振る舞うべき仮想生物の立場から見て検出する価値（生物的価値）のある、例えば感情の昂ぶりなどをもたらす事態の発生を示す入力パタンを選択的に学習することができない。
【００７２】
例えば、Ａさんというユーザが本発明の実施形態による仮想生物システムを使うとき、Ａさんが笑顔を見せながら優しく「よしよし」と云いつつ感圧センサを撫でたとする。
【００７３】
このとき事態から観測されるパタンは、Ａさんの顔画像パタンと「よしよし」という音声スペクトルパタンと撫でを表す感圧パタンである。Ａさんの顔や「よしよし」という語彙を学習していないものとすると、この仮想生物システムは図７に示す笑顔ＦＥ１と優しい語気ＶＥ１と撫でＴＩ１のみを認識することができる。即ち、パタン認識部２による識別情報として「ＦＩ０，ＦＥ１，ＶＩ０、ＶＥ１，ＴＩ１」が得られる。
【００７４】
このうちの、未学習パタンＦＩ０とＶＩ０を除く「ＦＥ１、ＶＥ１，ＴＩ１」に基づいて、図９に示す快刺激を受けたことになるので、状態更新部３によりシステムの内部状態が幸福度Ｈや好感度Ｌの増加した状態となり、出力部５によって悦惚感や喜びあるいは安心を表す表現が出力される。そして、このような刺激が蓄積的に働いて幸福度Ｈや好感度Ｌが所定閾値を超えたとき、学習指令生成部５により学習指令が生成される。
【００７５】
パタン学習部６は、前記学習指令生成部５からの学習指令に従って観測されている入力パタンを学習する手段であり、ステップＳ１５において学習すべきとされたときにステップＳ１６において入力パタンを学習する。なお、ステップＳ１５において、学習すべきたされなかった場合には、再びステップＳ１１に戻り入力を待つことになる。
【００７６】
上記ステップＳ１６における入力パタンの学習は、次の２通りのいずれかの方法で行われる。
【００７７】
パタン認識部２による識別情報が未学習クラス（上記例ではＦＩ０，ＶＩ０）を表している場合には、その入力パタンを認識可能な辞書情報がパタン認識部２に記憶されていないものとして、当該パタンからこれを認識するための辞書情報を主成分分析を用いて新規に生成する。これと共に、その識別情報を新規に発行してパタン認識部２に記憶させる。
【００７８】
新規に発行される識別情報には、相当するグループ内の既存クラスの通し番号に続く番号を与えられる。例えば、Ａさんの人物を識別する新しいクラスにはＦＩ１が、「よしよし」という語彙を識別する新しいクラスにはＶＩ１が、それぞれ発行される。また、この新規クラス発行時は、そのとき既知クラス「ＦＥ１，ＶＥ１，ＴＩ１」によってもたらされた内部状態パラメータ値の変化量が、当該クラスの検知によって各パラメータを増減させる量、すなわち当該新規クラスのための更新情報として状態更新部３に記憶される。
【００７９】
そのためパタン学習部６は、学習指令生成前後の内部状態パラメータ値の差分情報を常に監視している。
【００８０】
一方、前記パタン認識部２による識別情報が既知クラスを表している場合には、当該入力パタンを、更に良く認識可能なように、パタン認識部２に記憶されている当該クラスの辞書情報を、前述文献［１］に開示される学習部分空間法を用いて強化して再ぴパタン認識部２に記憶させる。
【００８１】
以上の結果、次回から同様のパタンが入力されたとき、パタン認識部２はそのようなパタンをより確かに認識できるようになると共に、的確に応答できるようになっている。
【００８２】
前述のＡさんがある行為をしたときの例を挙げると、感情パラメータ値の絶対値が所定閾値を超えたとき、学習指令生成部５により学習指令が生成され、パタン学習部６によりＡさんの顔や「よしよし」という語彙が学習される。この結果、システムは「嬉しくしてくれそうな人物」という生物的に価値のあるＡさんの顔と、「うれしくしてくれる言葉」という生物的に価値のある「よしよし」を認識できるようになる。その一方、いかにＡさんの顔やその言葉が未学習であったとしても、喜ばせたり怖がらせたりという生物的価値を与えてくれない人物の顔や語彙は学習されない。
【００８３】
上記の学習指令生成部５とパタン学習部６により、本発明のこの実施形態の仮想生物システムは未学習のパタンを自発的に学習して、パタン認識能力を発達させる仮想生物を演出可能になる。特に、学習の引き金となる条件を、生物的に価値のある状況の検出、即ち「嬉しい」「恐い」などの強い感情の発生とすることで、やみくもにあるいはランダムにパタンを学習するよりも遥かに生物的に妥当な学習性を、本発明では実現することができる。
【００８４】
この結果、本発明のこの実施形態の仮想生物システムは、大声を掛けられると怖がったり、撫でられるとうっとりするという応答を生まれながらに示すだけでなく、その後十分に経験を積むことにより、良くしてくれる知り合いの顔を検出すると喜んだり、叱り言葉を検出すると落ち込んだりという動作を入力パタンに応じて返すことのできる仮想生物システムとして機能する。
【００８５】
本発明の要点は、パタン学習を行うか否かを、ほぼ同時期に入力された他の既学習パタンの認識結果により駆動される感情状態に基づいてシステムが独自に判断できるようにすることである。このように外部から入力される他の既学習パタンの認識結果に応じてパタン学習が進行する機能は、従来例として先に述べた「ぴーちゃみん」にはないものである。なぜなら、「ぴーちゃみん」は音声語彙という１グループのパタンしか認識できないからである。
【００８６】
なお、以上述べた機能は、各機能を有する部品が組み合わせられたハードにより実現する場合だけでなく、ソフトウェアとしても実現可能である。
【００８７】
また、本発明は、コンピュータに所定の手順を実行させるためのプログラム、コンピュータを所定の手段として機能させるためのプログラム、あるいはコンピュータに所定の機能を実現させるためのプログラムを記録した、コンピュータ読取り可能な記録媒体として実施することもできる。
【００８８】
また、図１１に示すように、本発明に係るパタン認識方法やパタン登録方法を表現する情報、例えばプログラムを記録媒体３１に記録し、この記録した情報を記録媒体３１を経由してコンピュータ装置３２に適用したり、更に通信回線３３を経由してコンピュータ装置３４に適用することも可能である。
本発明は上述した実施形態に限定されるものではなく、その技術的思想の範囲内において種々変形して実施することができる。
【００８９】
【発明の効果】
以上述べたように本発明によれば、いつパタンを学習すべきかを決定する、より適切な手段を有することにより、不適切なパタンを排除した自発的なパタン学習を行える仮想生物システム及び仮想生物システムにおけるパタン学習方法を得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の仮想生物システムの機能ブロック構成例を示す図。
【図２】本発明の一実施形態の仮想生物システムにおける処理の流れを示す図。
【図３】本発明の一実施形態のロボット形式の仮想生物システムにおける各種入力手段の配置例を示す図。
【図４】本発明の一実施形態の画面表示形式の仮想生物システムにおける各種入力手段の配置例を示す図。
【図５】本発明の一実施形態の仮想生物システムにおいて認識可能なグループとそれらの構成辞書を説明するための図。
【図６】本発明の一実施形態の仮想生物システムにおいて認識可能なグループとそれらの識別情報の書式を説明するための図。
【図７】本発明の一実施形態の仮想生物システムにおいて初期状態で認識可能なクラスとそれらの教示パタンを説明するための図。
【図８】本発明の一実施形態の仮想生物システムにおいて感情状態を司る内部状態パラメータを説明するための図。
【図９】本発明の一実施形態の仮想生物システムにおいて刺激により、内部状態パラメータの変化を説明するための図。
【図１０】本発明の一実施形態の仮想生物システムにおいて内部状態パラメータに応じた応答を説明するための図。
【図１１】本発明の仮想生物システムを記録媒体により移して実現する場合の他の実施形態を説明するための図。
【符号の説明】
１・・・入力部、２・・・パタン認識部、３・・・状態更新部、４・・・出力部、５・・・学習指令生成部、６・・・パタン学習部、１１・・・ロボット、１２・・・テレビカメラ、１３・・・マイクロフォン、１４・・・感圧センサ、２１・・・コンピュータ、２２・・・表示仮想生物、２３・・・テレビカメラ、２４・・・マイクロフォン、２５・・・マウス、２６・・・左ボタン、３１・・・記録媒体、３２、３４・・・コンピュータ装置。
【図１】
0003848076.tif 000002
【図２】
0003848076.tif 000003
【図３】
0003848076.tif 000004
【図４】
0003848076.tif 000005
【図５】
0003848076.tif 000006
【図６】
0003848076.tif 000007
【図７】
0003848076.tif 000008
【図８】
0003848076.tif 000009
【図９】
0003848076.tif 000010
【図１０】
0003848076.tif 000011
【図１１】
0003848076.tif 000012