(57)【特許請求の範囲】
【請求項１】
少なくとも一つ以上のセンサーが備えられ、外部より入力される刺激を受け入れる刺激感知部と、
前記刺激に対応する所定の情緒信号を生成する情緒信号生成部と、
前記刺激、前記情緒信号及びフィードバックされた制御信号に応答して人工生理信号を発生する生理信号発生部と、
前記刺激、前記情緒信号及び前記フィードバックされた生理信号に応答して制御信号を発生し、前記制御信号により物理的反応を行う情緒行動遂行部と
を含み、
前記生理信号は前記情緒信号生成部及び前記情緒行動遂行部にフィードバックされ、前記制御信号は前記情緒信号生成部及び前記生理信号発生部にフィードバックされ、
前記情緒信号生成部は、前記刺激、フィードバックされた前記生理信号及び前記制御信号に基づいて複合情緒信号を生成し、
前記情緒信号生成部は、
前記情緒信号生成のための所定の規則情報を貯蔵するデータベースを含み、
前記所定の規則情報により、前記刺激と、前記フィードバックされた制御信号及び前記フィードバックされた生理信号から所定の情緒信号を生成し、
前記生理信号発生部は、
前記刺激、前記情緒信号及び前記フィードバックされた制御信号に応答して自律神経系に影響を与える神経伝達物質の濃度をモデリングする自律神経制御部と、
前記自律神経制御部でモデリングされた前記神経伝達物質の濃度に応答して前記生理信号をモデリングする人工生理モデリング部と
を含むことを特徴とする情緒信号合成装置。
【請求項２】
前記自律神経制御部は、ワーナーモデルに基づき人体の自律神経系と関わって反応する神経伝達物質のアセチルコリン及びノルエピネフリンの濃度をモデリングすることを特徴とする請求項１に記載の情緒信号合成装置。
【請求項３】
前記人工生理モデリング部は、ＩＰＦＭモデルに基づき前記神経伝達物質の濃度に対応する自律神経系の効果に比例する前記生理信号を発生することを特徴とする請求項１に記載の情緒信号合成装置。
【請求項４】
前記生理信号は、脳波図（ＥＥＧ）、眼電図（ＥＯＧ）、筋電図（ＥＭＧ）、心電図（ＥＣＧ）、皮膚電気信号（ＥＤＡ）、皮膚温度（ＳＫＴ）及び呼吸（Ｒｅｓｐ）関連信号を含むことを特徴とする請求項１に記載の情緒信号合成装置。
【請求項５】
前記人工生理モデリング部は、前記生理信号を発生する人工脳波器、人工心臓、人工呼吸器及び人工体温調節器の出力をモデリングすることを特徴とする請求項４に記載の情緒信号合成装置。
【請求項６】
前記情緒行動遂行部は、
前記刺激、前記情緒信号及び前記フィードバックされた生理信号に応答して制御信号を発生し、前記制御信号により前記物理的反応を制御するモーション制御部と、
前記制御信号に応答して前記物理的反応を行うモーターと
を含むことを特徴とする請求項１に記載の情緒信号合成装置。
【請求項７】
前記モーション制御部は、予め定まった規則情報により、前記刺激、前記情緒信号及び前記フィードバックされた生理信号に対応する物理的反応を決めることを特徴とする請求項６に記載の情緒信号合成装置。
【請求項８】
前記モーション制御部は、前記物理的反応を決める前記規則情報を貯蔵するためのデータベースをさらに含むことを特徴とする請求項７に記載の情緒信号合成装置。
【請求項９】
少なくとも一つ以上のセンサーが備えられ、外部より入力される刺激を受け入れる刺激感知部と、
情緒信号生成のための所定の規則情報を貯蔵するデータベースを含み、前記刺激に対応する所定の情緒信号を生成する情緒信号生成部と、
前記刺激、前記情緒信号及びフィードバックされた制御信号に応答して自律神経系に影響を与える神経伝達物質の濃度をモデリングする自律神経制御部と、前記自律神経制御部でモデリングされた前記神経伝達物質の濃度に応答して生理信号をモデリングする人工生理モデリング部とを含み、前記刺激、前記情緒信号及びフィードバックされた制御信号に応答して人工生理信号を発生する生理信号発生部と、
物理的反応を決める規則情報を貯蔵するためのデータベースを含み、前記刺激及び前記情緒信号に応答して制御信号を発生し、前記制御信号により少なくとも一つ以上の物理的反応を行う情緒行動遂行部と
を含む情緒信号合成装置による情緒信号合成方法であって、
（ａ）前記刺激感知部が、外部刺激を受信及び感知する段階と、
（ｂ）前記情緒信号生成部が、前記所定の規則情報により、前記刺激に対応する所定の情緒信号を生成する段階と、
（ｃ）前記生理信号発生部が、前記情緒信号に応答して生理信号を発生し、前記情緒行動遂行部が、前記情緒信号に応答して少なくとも一つ以上の物理的反応を行う段階と、
（ｄ）前記生理信号発生部が、前記発生された生理信号を前記情緒信号生成部及び前記情緒行動遂行部にフィードバックし、前記情緒行動遂行部が、前記制御信号を前記生理信号発生部及び前記情緒信号生成部にフィードバックする段階と、
（ｅ）前記情緒信号生成部、前記生理信号発生部及び前記情緒行動遂行部が、それぞれ前記情緒信号、フィードバックされた前記生理信号及び前記制御信号により前記（ｂ）段階及び前記（ｃ）段階をさらに行う段階と、
（ｆ）前記情緒行動遂行部が、前記（ｅ）段階で発生された前記制御信号により少なくとも一つ以上の物理的反応を行う段階と
を含むことを特徴とする情緒信号合成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は情緒信号合成装置及び情緒信号合成方法に係り、特に、情緒による人体の神経系調節メカニズムを用い、人間型ロボット（以下、ヒュマノイド）をして人間と類似した方式により情緒信号合成を可能ならしめる情緒信号合成装置及び情緒信号合成方法に関する。
【０００２】
【従来の技術】
情緒の合成は、大別すると、情緒の生成及び情緒の表現とで構成される。情緒の生成とは、外部刺激に対してある情緒状態になるまでの過程を意味し、情緒の表現とは、各情緒状態に対して外部に表出される形態または一連の変化形式を意味する。情緒信号合成装置とは、情緒信号合成を実現するための人工的な装置を意味する。
【０００３】
一般に、ヒュマノイドが完成されるには、ヒュマノイドが自ら情緒的行動をできなければならないが、このために情緒信号合成装置が必ず必要となる。特に、ヒュマノイドが人間に一層類似するように、人間と自然な情緒的交流を行うためには、人間の情緒反応メカニズムと同じ方式の情緒信号合成が適用されなければならない。
【０００４】
しかしながら、川本ら（Kawamoto  et  al）により１９９４年１１月２２日付けで特許取得された米国特許「人間の情緒をシミュレートするインタラクティブ・マンマシンインターフェース（INTERACTIVE  MAN-MACHINE  INTERFACE  OR  SIMULATING  HUMAN  EMOTIONS）」（特許文献１参照）及び、ブラッシュＩＩら（Brush  II  et  al）により１９９８年３月２４日付けで特許取得された米国特許「グラフィカル・ユーザ・インターフェースに情緒表現を送信する方法及び装置(METHODAND  APPARATUS  FOR  DIRECTING  THE  EXPRESSION  OF  EMOTION  FOR  A  GRAPHICAL  USER  INTERFACE）」（特許文献２参照）などから明らかなように、既存のロボットに用いられる情緒信号合成方法は、人体の実際の情緒反応メカニズムとは関係なく任意に設計した規則情報によってのみなされる。従って、ヒュマノイドの情緒的行動が人間の自律神経系の反応メカニズムに従わない限り、実際に人間に類似するには限界がある。
【０００５】
【特許文献１】
米国特許第５，３６７，４５４号明細書
【特許文献２】
米国特許第５，７３２，２３２号明細書
【０００６】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は、人間の情緒反応メカニズム及び自律神経系反応メカニズムを解釈し、その方式を摸写したヒュマノイド用情緒信号合成装置及び情緒信号合成方法を提供するところにある。
【０００７】
また、本発明が解決しようとする別の技術的課題は、生理信号等の所与の入力により制御され、その出力は一般に、動作（モーション）と認識された情緒信号により表現される、ヒュマノイド用情緒信号合成装置及び情緒信号合成方法を提供するところにある。
【０００８】
【課題を解決するための手段】
前記課題を達成するために、本発明に係る情緒信号合成装置は、少なくとも一つ以上のセンサーが備えられ、外部より入力される刺激を受け入れる刺激感知部と、前記刺激に対応する所定の情緒信号を生成する情緒信号生成部と、前記刺激及び前記情緒信号に応答して少なくとも一つ以上の人工生理信号を発生する生理信号発生部と、前記刺激及び前記情緒信号に応答した制御信号により少なくとも一つ以上の物理的反応を行う情緒行動遂行部とを含み、前記生理信号は前記情緒信号生成部及び前記情緒行動遂行部にフィードバックされ、前記制御信号は前記情緒信号生成部及び前記生理信号発生部に各々フィードバックされており、前記情緒信号生成部は、前記刺激、フィードバックされた前記生理信号及び前記制御信号に基づいて情緒信号を生成し、前記情緒信号生成部は、前記情緒信号生成のための所定の規則情報を貯蔵するデータベースを含み、前記所定の規則情報により、前記刺激と、前記フィードバックされた制御信号及び前記フィードバックされた生理信号から所定の情緒信号を生成し、前記生理信号発生部は、前記刺激、前記情緒信号及び前記フィードバックされた制御信号に応答して自律神経系に影響を与える神経伝達物質の濃度をモデリングする自律神経制御部と、前記自律神経制御部でモデリングされた前記神経伝達物質の濃度に応答して前記生理信号をモデリングする人工生理モデリング部とを含むことを特徴とする。
【０００９】
好ましくは、前記自律神経制御部は、ワーナーモデルに基づき人体の自律神経系と関わって反応する神経伝達物質のアセチルコリン及びノルエピネフリンの濃度をモデリングする。また、前記人工生理モデリング部は、ＩＰＦＭモデルに基づき前記神経伝達物質の濃度に対応する自律神経系の効果に比例する前記生理信号を発生する。ここで、前記生理信号は、脳波図（ＥＥＧ）、眼電図（ＥＯＧ）、筋電図（ＥＭＧ）、心電図（ＥＣＧ）、皮膚電気信号（ＥＤＡ）、皮膚温度（ＳＫＴ）及び呼吸（Ｒｅｓｐ）関連信号を含む。前記人工生理モデリング部は、前記生理信号を発生する人工脳波器、人工心臓、人工呼吸器及び人工体温調節器の出力をモデリングする。
【００１０】
代替的に、前記情緒行動遂行部は、前記刺激、前記情緒信号及び前記フィードバックされた生理信号に応答して制御信号を発生し、前記制御信号により前記物理的反応を制御するモーション制御部と、前記制御信号に応答して前記物理的反応を行うモーターとを含んでなるものであってもよい。ここでもまた、前記モーション制御部は、予め定まった規則情報により、前記刺激、前記情緒信号及び前記フィードバックされた生理信号に対応する物理的反応を決める。好ましくは、前記モーション制御部は、前記物理的反応を決める前記規則情報を貯蔵するためのデータベースをさらに含む。
【００１１】
前記課題を達成するために、本発明に係る情緒信号合成方法は、少なくとも一つ以上のセンサーが備えられ、外部より入力される刺激を受け入れる刺激感知部と、情緒信号生成のための所定の規則情報を貯蔵するデータベースを含み、前記刺激に対応する所定の情緒信号を生成する情緒信号生成部と、前記刺激、前記情緒信号及びフィードバックされた制御信号に応答して自律神経系に影響を与える神経伝達物質の濃度をモデリングする自律神経制御部と、前記自律神経制御部でモデリングされた前記神経伝達物質の濃度に応答して生理信号をモデリングする人工生理モデリング部とを含み、前記刺激及び前記情緒信号に応答して少なくとも一つ以上の人工生理信号を発生する生理信号発生部と、物理的反応を決める規則情報を貯蔵するためのデータベースを含み、前記刺激及び前記情緒信号に応答した制御信号により少なくとも一つ以上の物理的反応を行う情緒行動遂行部とを含む情緒信号合成装置による情緒信号合成方法であって、（ａ）前記刺激感知部が、外部刺激を受信及び感知する段階と、（ｂ）前記情緒信号生成部が、前記所定の規則情報により、前記刺激に対応する所定の情緒信号を生成する段階と、（ｃ）前記生理信号発生部が、前記情緒信号に対応する生理信号を発生し、前記情緒行動遂行部が、前記情緒信号に対応する制御信号を各々発生する段階と、（ｄ）前記生理信号発生部が、前記発生された生理信号を前記情緒信号生成部及び前記情緒行動遂行部にフィードバックし、前記情緒行動遂行部が、前記制御信号を前記生理信号発生部及び前記情緒行動遂行部にフィードバックする段階と、（ｅ）前記情緒信号生成部、前記生理信号発生部及び前記情緒行動遂行部が、それぞれ前記情緒信号、フィードバックされた前記生理信号及び前記制御信号により前記（ｂ）段階及び前記（ｃ）段階をさらに行う段階と、（ｆ）前記情緒行動遂行部が、前記（ｅ）段階で発生された前記制御信号により少なくとも一つ以上の物理的反応を行う段階とを含むことを特徴とする。
【００１２】
【発明の実施の形態】
以下、添付した図面を参照し、本発明の望ましい実施形態について詳細に説明する。
【００１３】
図１は、本発明の望ましい実施形態によるヒュマノイド用情緒信号合成装置に適用された人間の情緒合成原理のモデルを示すブロック図である。
【００１４】
人間の情緒反応は、自律神経系の反応メカニズムにより行われる。従って、ヒュマノイドが人間の情緒反応と同じ（または類似した）情緒的行動を行うためには、ヒュマノイド用情緒信号合成装置が自律神経系の反応メカニズムを含まなければならない。
【００１５】
人間の情緒理論のうち代表的なものと言えるジェームズ-ランゲ（James-Lange）理論及びシャクター-シンガー（Schachter-Singer）理論によれば、人間の情緒が外部の環境刺激により誘発されると、呼吸、心拍数、表情、しぐさの変化などの自律神経系の情緒反応が現れ、このような反応を脳が認知して適切な情緒を決める。このような自律神経系の情緒反応の変化と脳の認知反応との間には、互いに順方向及び逆方向のフィードバックが行われて情緒の調節がなされる。
【００１６】
従って、本発明では、このようなジェームズ-ランゲ理論及びシャクター-シンガー理論に基づき人間の情緒合成原理をモデリングし、これを摸写して図２の如きヒュマノイド用情緒信号合成装置を構成する。
【００１７】
図１を参照すれば、人間の情緒合成に関わる神経系は、大きく体性神経系１，８、中枢神経系３及び自律神経系５から構成される。外部から映像、声、接触、臭い、味などの各々の情緒を誘発し得る刺激が入れば、人体の頭脳にある体性神経系（感覚領域）１はこれを感知し、感知された情報を中枢神経系３、自律神経系５及び体性神経系（運動領域）８に伝達する。
【００１８】
外部から刺激が入力されれば、中枢神経系３はもともと持っている知識、経験、本能、指向等に基づき感知された刺激に対して所定の情緒（例えば、喜び、悲しみ、怒り、恐怖、驚き、嫌悪等）を決める。自律神経系５は、交感神経系及び副交感神経系に影響を及ぼす神経伝達物質であるノルエピネフリン（ＮＥ）及びアセチルコリン（Ａｃｈ）の濃度変化に影響されて互いに拮抗作用をし、アドレナリン、ノルアドレナリン、ドルパミン、エンドルフィンなどのホルモン６に影響を与える。自律神経系５の神経伝達物質の濃度及びホルモン６の変化により生理信号（例えば、脳波図（ＥＥＧ）、眼電図（ＥＯＧ）、筋電図（ＥＭＧ）、心電図（ＥＣＧ）、皮膚電気信号（ＥＤＡ）、皮膚温度（ＳＫＴ）、呼吸（Ｒｅｓｐ）など）のパラメータが異なってくる。そして、体性神経系８は、運動器官９である顔、腕、足などを用いて行動、表情、音色、ジェスチャなどの情緒行動（物理的反応）に変化を与える。
【００１９】
前述の如き各々の神経系を通じた出力（例えば、自律神経系５による生理信号の変化、中枢神経系３による情緒の決定、体性神経系８による行動の変化）は、図１に示すように、互いにフィードバック関係をもっている。例えば、暴行場面が体性神経系１により感知された場合、感知された刺激により体性神経系８の運動領域は反射的に目を閉じる反射行動を誘発することもあれば、自律神経系５のホルモン６に影響を与えて呼吸や心臓拍動（心拍）などが速まることもある。そして、このような刺激は中枢神経系３において過去の記憶及び経験により怒りといった情緒を誘発することもある。これら各神経系の出力は互いにフィードバックされてさらに激しい怒りを引き起こすか、または、堪えられる程度の怒りに情緒反応を自然に調節する。
【００２０】
図２は、図１に示す人間の情緒合成原理を適用した、本発明の望ましい実施形態によるヒュマノイド用情緒信号合成装置のブロック図である。図２を参照すれば、本発明に係るヒュマノイド用情緒信号合成装置は、外部から入力される刺激を受け入れる感知部１０、前記刺激に対応する所定の情緒信号を生成する情緒信号生成部２０、前記刺激及び前記情緒信号に応答して少なくとも一つ以上の人工生理信号を発生する生理信号発生部４０及び前記刺激及び前記情緒信号に応答して少なくとも一つ以上の物理的反応を行う情緒行動遂行部７０を含む。ここで、生理信号発生部４０の出力（すなわち、生理信号）は情緒信号生成部２０及び情緒行動遂行部７０にフィードバックされ、情緒行動遂行部７０の出力（情緒行動に対応する制御信号）は情緒信号生成部２０及び生理信号発生部４０にフィードバックされて複合情緒信号を生成し表現する。
【００２１】
このような本発明のヒュマノイド用情緒信号合成装置の構成及び動作について、図２を参照しつつ、以下詳細に説明する。
【００２２】
感知部１０にはカメラ、マイク、触覚センサー、嗅覚センサー、味覚センサーなどのセンサーが備えられており、映像、音声、触感、臭い、味などの外部刺激を受け入れる。感知部１０は、図１に示す体性神経系の感覚部分１に対応する動作を行う。
【００２３】
情緒信号生成部２０には、予め定まった規則情報により所定の情緒信号を生成する情緒信号生成部３０が含まれる。情緒信号生成部３０は、ファジー知識に基づくシステムまたは人工知能（ＡＩ）プロセッサーとから構成される。情緒信号生成部３０は、外部から入力された刺激と、フィードバックされた制御信号及びフィードバックされた生理信号から所定の情緒信号を生成する。情緒生成部３０は、図１に示すような中枢神経系３の動作に対応する作用を行う。
【００２４】
生理信号発生部４０は、外部から入力された刺激、生成された情緒信号及びフィードバックされた制御信号に応答して自律神経系に影響を与える神経伝達物質の濃度をモデリングする自律神経制御部５０と、自律神経制御部５０においてモデリングされた神経伝達物質の濃度に応答して生理信号を発生する人工生理モデリング部６０とを含む。人工生理モデリング部６０は、人工脳波器、人工心臓、人工呼吸器及び人工体温調節器において発生される脳波（ＥＥＧ）、眼電図（ＥＯＧ）、筋電図（ＥＭＧ）、心電図（ＥＣＧ）、皮膚電気信号（ＥＤＡ）、皮膚温度（ＳＫＴ）及び呼吸（Ｒｅｓｐ）信号などの生理信号をモデリングする。ここで、自律神経制御部５０は、図１に示す自律神経系５に対応する動作を行い、生理信号をモデリングする人工生理モデリング部６０は、図１に示すホルモン６に対応する動作を行う。
【００２５】
情緒行動遂行部７０には、外部から入力された刺激、生成された情緒信号及びフィードバックされた生理信号に応答して制御信号を発生し、前記制御信号により前記情緒行動を制御するモーション制御部８０と、前記制御信号に応答して所定の物理的な反応（例えば、ヒュマノイドの頭、腕、足などの動作）を通じて各情緒信号別に、モーション、音声、表情などを出力するモーター９０とを含む。ここで、モーション制御部８０は、図１に示す体性神経系の運動部分８に対応する動作を行い、モーター９０は、図１に示す運動器官９に対応する動作を行う。
【００２６】
図３は、本発明の望ましい実施形態による音声刺激に応答するヒュマノイド用情緒信号合成装置のブロック図である。図３を参照して説明する本発明に係る音声刺激に応答するヒュマノイド用情緒信号合成装置は、図２に示す情緒信号合成装置を音声刺激に適用した場合のものであって、感知部１０がマイク１２、音量測定器１４、ピッチ測定器１６及び意味測定器１８から構成されることを除いては、図２に示す情緒信号合成装置と同じ構成を有する。従って、説明の重複を避けて説明の簡略化を図るために、共通するブロックには同じ参照番号を使用し、これについての詳細な説明は省略する。
【００２７】
図４は、図２及び図３に示すヒュマノイド用情緒信号合成装置の動作を説明するフローチャートである。図４を参照すれば、本発明に係るヒュマノイド用情緒信号合成装置は、まず、感知部１０を通じて外部刺激を受け入れる（第１１０段階）。例えば、図３の場合のように音声刺激が入力される場合には、感知部１０は付属のマイク１２を通じて音声データを入力（受け取り及び検出）し、入力されたデータに対する音量測定、ピッチ測定及び意味測定を行う。感知部１０を通じて測定されたデータは情緒信号生成部３０及び／または自律神経制御部５０及びモーション制御部８０に入力され、所定の情緒信号Ｅ及び／または情緒行動Ｍのための制御信号を生成する。
【００２８】
すなわち、情緒信号生成部３０は、感知部１０で感知されたデータに応答して前記刺激に対応する所定の情緒信号Ｅを生成する（第１３０段階）。情緒信号生成部３０で生成された情緒信号Ｅは生理信号発生部４０に備えられた自律神経制御部５０と、情緒行動遂行部７０に備えられたモーション制御部８０とに入力される。情緒信号生成部３０から所定の情緒信号Ｅを受け入れた自律神経制御部５０及びモーション制御部８０は各々人工生理モデリング部６０及びモーター９０を通じて生理信号ＨＲ，ＳＫＴ及び情緒行動Ｍのための制御信号を生成する（第１７０段階）。ここで、自律神経制御部５０及びモーション制御部８０は外部から入力される刺激に直接的に応答して生理信号ＨＲ，ＳＫＴ及び情緒行動Ｍのための制御信号を生成することもある。
【００２９】
人工生理モデリング部６０から生成した生理信号ＨＲ，ＳＫＴは情緒信号生成部３０及びモーション制御部８０にフィードバックされ、モーター９０から生成した情緒行動Ｍのための制御信号は情緒信号生成部３０及び自律神経制御部５０に各々フィードバックされる（第１７２段階）。そして、前記情緒信号Ｅと、フィードバックされた生理信号ＨＲ，ＳＫＴ及び情緒行動Ｍのための制御信号は互いに融合されて複合情緒を生成し、生成された複合情緒及びフィードバックされた信号による複合的な情緒の表現を行う（第１７４段階）。具体的に、情緒信号生成部３０は、感知部１０を通じて認識された外部刺激ｄＢ，Ｈｚ，Ｗｏｒｄと、フィードバックされた生理信号ＨＲ，ＳＫＴ及び情緒行動Ｍのための制御信号を受け入れ、前記刺激と、前記フィードバックされた生理信号及び情緒行動Ｍのための制御信号を融合した複合情緒信号を自律神経制御部５０及びモーション制御部８０に発する。
【００３０】
自律神経制御部５０は、感知部１０を通じて認識された外部刺激ｄＢ，Ｈｚ，Ｗｏｒｄ、情緒信号生成部３０で生成された複合情緒信号及びフィードバックされた情緒行動Ｍのための制御信号を受け入れ、これらデータをいずれも融合した生理信号を生成する。そして、モーション制御部８０は、感知部１０を通じて認識された外部刺激ｄＢ，Ｈｚ，Ｗｏｒｄ、情緒信号生成部３０で生成された複合情緒信号及びフィードバックされた生理信号ＨＲ，ＳＫＴを受け入れ、これらデータをいずれも融合した情緒行動Ｍのための制御信号を生成する。これにより、融合された複合情緒信号が生理信号及び情緒行動Ｍのフォーマットとして表現される（第１７６段階）。このような動作を行うヒュマノイド用情緒信号合成装置の各構成要素の詳細な構成及び動作を説明すれば、下記の通りである。
【００３１】
図５は、図３に示す音声感知部１０の構成を示すブロック図である。図５を参照すれば、外部から入力される音声刺激を受け入れる音声感知部１０は、音声刺激データ入力手段であるマイク１２と、マイク１２を通じて入力された音声データの音量を測定し、これをデシベルｄＢ単位のデータとして表わす音量測定器１４、入力された音声データのピッチを測定し、これを周波数Ｈｚ単位のデータとして表わすピッチ測定器１６及び入力された音声データの意味を測定し、これを単語Ｗｏｒｄとして表わす意味測定器１８から構成される。音声感知部１０を通じて感知されたデータｄＢ，Ｈｚ，Ｗｏｒｄは情緒信号生成部３０、自律神経制御部５０及びモーション制御部８０に入力され、情緒信号生成及び情緒表現を行う情緒信号合成に使われる。
【００３２】
図６は、図２及び図３に示す生理信号発生部４０の動作を説明する図面である。図６を参照すれば、生理信号発生部４０に備えられた自律神経制御部５０は、神経伝達物質をモデリングする動作（５１０）と、自律神経系の効果と比例する生理的な情緒要素Ａ1，Ａ2，Ｂ，Ｃ1，Ｃ2，Ｎ，Ｎmを発生する動作（５２０）とを行い、人工生理モデリング部６０は、自律神経制御部５０で発生した情緒要素Ａ1，Ａ2，Ｂ，Ｃ1，Ｃ2，Ｎ，Ｎmに応答して生理信号をモデリングする動作（６００）を行う。
【００３３】
図７は、情緒決定によるホルモンの濃度変化を説明するための図面である。図７を参照すれば、外部から入力された刺激により情緒が決められた場合、交感神経及び副交感神経の神経伝達物質であるノルエピネフリンＮＥ及びアセチルコリンＡｃｈの濃度が変わり、これらの神経伝達物質の濃度変化の結果、内分泌反応によりアドレナリン、ノルアドレナリン、ドルパミン、エンドルフィンなどのホルモンが変わる。これらの交感神経及び副交感神経に影響を及ぼすホルモンにより変わる生理的な情緒要素は、例えば次の式（１）で表されるような所定の規則情報により決定する。
【００３４】
【数１】
0004547126.tif 000002
【００３５】
このようにして決められた情緒要素（図６の５２０）は人工生理モデリング部６０を通じて脳波図（ＥＥＧ）、眼電図（ＥＯＧ）、筋電図（ＥＭＧ）、心電図（ＥＣＧ）、皮膚電気信号（ＥＤＡ）、皮膚温度（ＳＫＴ）、呼吸（Ｒｅｓｐ）などの生理信号として発生される。
【００３６】
これら情緒要素の組み合わせから人工生理モデリング部６０（図３）が心拍をモデリングして出力する方法は、下記の通りである。
【００３７】
図８は、図７に示す神経伝達物質ＮＥ，Ａｃｈの濃度をモデリングする方法を説明する図面である。この方法は、ワーナー・ＨＲ（Warner  HR）及びラッセル（Russell  RO  Jr）による論文「エフェクト・オブ・コンバインド・シンパセティック・アンド・ヴェイガル・スティミュレイション・オン・ハート・レイト・イン・ザ・ドッグ（Effect  of  combined  sympathetic  and  vagal  stimulation  on  heart  rate  in  the  dog）」（サーキュレーション・リサーチ誌（Circ  Res），アメリカ合衆国，アメリカン・ハート・アソシエーション（American  Heart  Association），１９６９年４月，第２４巻，第４号，ｐ．５６７−５７３）に説明されているワーナーモデルを例に取ったものである。
【００３８】
図８を参照すれば、交感神経５１１０及び副交感神経５１２０に入力されるｆｓ（ｔ）及びｆｖ（ｔ）は交感神経５１１０及び副交感神経５１２０の活動を各々表わす。ノルエピネフリンＮＥ及びアセチルコリンＡｃｈは交感神経５１１０及び副交感神経５１２０の末端から分泌される神経伝達物質である。
【００３９】
ワーナーモデルは、線形変換５１３０と、線形変換及びその逆数５１４０を取る動作により、ノルエピネフリンＮＥ及びアセチルコリンＡｃｈの再吸収と関わる２つの微分方程式ＨＲS，ＨＲVを求める。これは、自律的な刺激物質システムの動作特性をよく表わしている。交感神経５１１０及び副交感神経５１２０に遠心性として作用する神経の刺激周波数による心拍の反応は、式（２）のように表わされる。
【００４０】
【数２】
0004547126.tif 000003
【００４１】
ここで、ＨＲVは副交感神経５１２０の神経刺激による心拍を、ＨＲSは交感神経５１１０の神経刺激による心拍を表わす。そして、ＨＲ0は刺激がない時の心拍を、ＨＲMinは副交感神経の刺激のみで得られる心拍（約３０ｂｅａｔｓ／ｓｅｃ）を表わす。
【００４２】
前記式（２）に使われた交感神経刺激によるｆｓ（ｔ）及びＨＲS（ｔ）の数学的モデルは、下記式（３）の通りである。
【００４３】
【数３】
0004547126.tif 000004
【００４４】
ここで、Ａ1は神経節の末端で発生されたノルエピネフリンＮＥの濃度を意味し、Ａ2は洞房結節で活性化された時に血液におけるノルエピネフリンＮＥの濃度を意味する。そして、Ｋi（ｉ＝１〜６）は定数を、Ｂは心拍を変えるために期待されるノルエピネフリンＮＥの濃度を、ｎは刺激に反応する神経の数を、ＨＲ0は刺激以前の心拍を、Ｖ1はＮＥの濃度がＡ1である時の体積を、Ｖ2はＮＥの濃度がＡ2である時の体積を各々意味する。
【００４５】
次に、副交感神経刺激によるｆｖ（ｔ）及びＨＲV（ｔ）の数学的なモデルは、下記式（４）の通りである。
【００４６】
【数４】
0004547126.tif 000005
【００４７】
ここで、Ｐは心拍周期であり、Ｐ0は副交感神経に刺激が加えられる前の心拍周期である。ＮはアセチルコリンＡｃｈの平均値であり、Ｎmは神経節の末端に満たされている最大のアセチルコリンＡｃｈの濃度である。Ｋiは（ｉ＝７ないし１０）定数であり、Ｃ1は小胞におけるアセチルコリンＡｃｈの濃度であり、Ｃ2は洞房結節の小胞外におけるアセチルコリンＡｃｈの濃度である。
【００４８】
前述の如きワーナーモデルに基づきノルエピネフリンＮＥ及びアセチルコリンＡｃｈの濃度がモデリングされれば、本発明に係るヒュマノイド用情緒信号合成装置は、ＩＰＦＭモデル（Integral  Pulse  Frequency  Modulation  Model）を用いて心拍の周期的なパルスを生成する。
【００４９】
図９は、図６に示す生理信号の発生過程（例えば、心拍信号）を説明するための図面であって、ＩＰＦＭモデルを例に取って説明している。ＩＰＦＭモデルは、Ｍ．中尾，Ｍ．乗松，Ｙ．水谷，Ｍ．山本による論文「スペクトラル・ディストーション・プロパティズ・オブ・ザ・インテグラル・パルス・フリークェンシー・モジュレーション・モデル（Spectral  distortion  properties  of  the  integral  pulse  frequency  modulation  model）」（アイトリプリー・トランザクションズ・オン・バイオメディカル・エンジニアリング誌（IEEE  Trans  Biomed  Eng.），アメリカ合衆国，インスティチュート・オブ・エレクトリカル・アンド・エレクトロニクス・エンジニアーズ・インコーポレイテッド（Institute  of  Electrical  and  Electronics  Engineers,Inc.），１９９７年５月，第４４巻，第５号，ｐ．４１９−４２６）に詳細に説明されている。
【００５０】
図９を参照すれば、心拍信号を発生する人工生理モデリング部６０は、大別して積分器６１及び比較器６２から構成される。ここで、入力信号ｍ（ｔ）は洞房結節などのペースメーカーで自律神経系の効果と比例する（すなわち、心臓を拍動させる）入力信号であり、ｙ（ｔ）は積分信号であり、ｘ（ｔ）は出力信号の心臓イベントシリーズである。そして、ｒは比較のためのレファレンス値である。積分信号ｙ（ｔ）が固定された時、人工生理モデリング部６０の出力信号Ｘ（ｎ）は増幅され、積分器６１はリセットされて心拍サイクルが再び始まる。
【００５１】
このようなＩＰＦＭモデルは、神経細胞のインパルス発生過程を再構成するのに使われる。ＩＰＦＭモデルは、持続的にパルスを発生する両時間ｔn及びｔn+1間の間隔において、下記式（５）の如きスレショルド値を有する。
【００５２】
【数５】
0004547126.tif 000006
【００５３】
ここで、Ｔは入力信号ｍ（ｔ）が０になった時に発生したパルスの元の周波数を表わすスレショルド値を表わし、ｍ0は神経制御がない時の基本的な心拍を表わす。この時、入力信号ｍ（ｔ）は心拍の間隔を調節するための自律神経系の情報を含んでいる。
【００５４】
心拍変化率（ＨＲＶ）信号はＥＣＧから各々のＲ−ウェーブを構成し、無限小の脈博またはデルタ関数で表わされる。
【００５５】
ｔnがＲ−ウェーブの第ｎ番目の時間であるとした時、出力信号の心臓イベントシリーズＣＥ（ｔ）は、下記式（６）のように表わされる。
【００５６】
【数６】
0004547126.tif 000007
【００５７】
このような一連の動作により発生された生理信号ＨＲ，ＳＫＴは、図６に示すように、情緒信号生成部３０及びモーション制御部８０に入力される。
【００５８】
図１０は、図２及び図３に示す情緒信号生成部３０の構成及び動作を説明するブロック図である。図１０を参照すれば、情緒信号生成部３０は、予め定まった規則情報により喜び、悲しみ、怒り、恐怖などの情緒信号を生成するファジー知識に基づくシステムから構成される。情緒信号生成部３０には、前記情緒信号生成の規則情報が貯蔵された情緒信号生成規則情報データベース３２が接続される。
【００５９】
ファジー知識に基づくシステムは、人工知能の一つの研究分野であって、コンピュータが自動的に仕事を行えるように学習、問題解決及び推論などの能力を有するコンピュータプログラムシステムである。ファジー制御はハードウェアの性能的な限界を克服するために開発された演算方法であって、境界上不確実な部分を中間値として処理し、人間の言語的な論理を数値にて表現できる理論的な根拠を与える。このために、外部の数量に対する人間の言語的表現を数値化させたメンバーシップ関数が定義され、その適合性に基づき結論が下される。
【００６０】
従って、本発明に係る情緒信号合成装置に使われる情緒信号生成部３０では、音声刺激のピッチＨｚ、音量ｄＢ及び単語Ｗｏｒｄがメンバーシップ関数に構成された音声変数、腕／足／首などの行動がメンバーシップ関数に構成された行動変数、及び生理信号ＨＲ，ＳＫＴがメンバーシップ関数に構成された生理変数を受け入れ、ファジー方式により作られた情緒信号生成規則情報データベース３２を通じて複合的で且つ自然な各々の情緒信号（喜び、悲しみ、怒り、恐怖、驚き、いや気、愛情、冷淡）を決めて出力する。このようにして出力された情緒信号は、図２及び図３に示すように、自律神経制御部５０及びモーション制御部８０にさらに入力され、順方向または逆方向にフィードバックされる。
【００６１】
図１１は、図２及び図３に示すモーション制御部８０の動作及び構成を説明するブロック図である。図１１を参照すれば、モーション制御部８０は、図１０に示す情緒信号生成部３０のように、予め定まった規則情報により首、腕、足、表情などのモーションを発生するファジー知識に基づくシステムに構成される。モーション制御部８０には、前記モーションを制御する規則情報が貯蔵されたモーション制御規則情報データベース８２が接続される。
【００６２】
モーション制御部８０は、音声刺激のピッチＨｚ及び音量ｄＢがメンバーシップ関数に構成された音声変数、情緒信号生成部３０で生成された情緒信号がメンバーシップ関数に構成された情緒変数、及び生理信号ＨＲ，ＳＫＴがメンバーシップ関数に構成された生理変数を受け入れ、ファジー方式により作られたモーション制御規則情報データベース８２を通じて首の速度、首の角度、腕の振り、足の振り、顔の表情筋肉部位（額筋肉、小狭骨筋、口角巨筋、小筋）が情緒を表現するのに最も自然な行動方式を決めて出力する。このような制御のための制御信号は、図２及び図３に示すように、情緒信号生成部３０及び自律神経制御部５０にさらに入力され、順方向または逆方向にフィードバックされる。
【００６３】
このように、情緒信号生成部３０、自律神経制御部５０及びモーション制御部８０から出力された結果（生成情緒信号、生理信号、モーションのための制御信号）はフィードバックメカニズムを通じてさらに入力され、一般的な行動及び情緒的な行動を融合させる。従って、これを適用したヒュマノイドは単なる情緒ではない複合情緒までも最も自然に表現でき、人間と類似した方式により情緒信号が合成可能になる。
【００６４】
以上、本発明の実施形態として音声刺激による情緒信号合成について具体的に例示されたが、これらの他にも、触覚、嗅覚、味覚などの刺激にも本発明は適用可能である。
【００６５】
【発明の効果】
以上述べたように、本発明に係る情緒信号合成装置及び情緒信号合成方法によれば、情緒による人体の神経系調節メカニズムを用い、ヒュマノイドにおいて人間と類似した方式により情緒信号合成が可能になる。そして、生理信号及び情緒行動のための制御信号のフィードバックメカニズムを含む情緒信号合成アルゴリズムを用いて情緒行動及び生理信号として表現されるヒュマノイドの一般的な出力及びヒュマノイドにより決められた情緒信号を融合させることにより、複合情緒の表現が行える。
【図面の簡単な説明】
【図１】  本発明の望ましい実施形態によるヒュマノイド用情緒信号合成装置に適用された人間の情緒合成原理モデルを示すブロック図である。
【図２】  図１に示す人間の情緒合成原理を適用した、本発明の望ましい実施形態によるヒュマノイド用情緒信号合成装置のブロック図である。
【図３】  本発明の望ましい実施形態による音声刺激に対するヒュマノイド用情緒信号合成装置のブロック図である。
【図４】  図２及び図３に示すヒュマノイド用情緒信号合成装置の動作を説明するフローチャートである。
【図５】  図３に示す音声感知部の構成を示すブロック図である。
【図６】  図２及び図３に示す生理信号発生部の動作を説明する図面である。
【図７】  情緒の決定によるホルモンの濃度変化を説明するための図面である。
【図８】  図７に示す神経伝達物質の濃度をモデリングする方法を説明する図面である。
【図９】  図６に示す生理信号発生過程を説明する図面である。
【図１０】  図２及び図３に示す情緒信号生成部の構成及び動作を説明するブロック図である。
【図１１】  図２及び図３に示すモーション制御部の動作及び構成を説明するブロック図である。
【符号の説明】
１０    感知部
２０    情緒信号生成部
３０    情緒信号生成部
３２    情緒信号決定規則情報データベース
４０    生理信号発生部
５０    自律神経制御部
６０    人工生理モデリング部
７０    情緒行動発生部
８０    モーション制御部
８２    モーション制御規則情報データベース
９０    モーター
【図１】
0004547126.tif 000008
【図２】
0004547126.tif 000009
【図３】
0004547126.tif 000010
【図４】
0004547126.tif 000011
【図５】
0004547126.tif 000012
【図６】
0004547126.tif 000013
【図７】
0004547126.tif 000014
【図８】
0004547126.tif 000015
【図９】
0004547126.tif 000016
【図１０】
0004547126.tif 000017
【図１１】
0004547126.tif 000018