(57)【特許請求の範囲】
【請求項１】
使用者の体動情報または生理情報および前記使用者の打鍵による言語的情報の入力を受け付ける入力受付手段と、
前記打鍵による言語的情報から感情に関する言語的情報を感情情報として抽出する意味抽出手段と、
前記体動情報または生理情報が入力された時刻に対応する時刻において、前記意味抽出手段が抽出した前記感情情報と、前記入力された体動情報または生理情報とを関係付けて、感情特徴情報を生成することで、前記使用者の感情を学習する学習手段と、
前記学習手段により生成された前記感情特徴情報を蓄積する蓄積手段と、
新たに入力された前記体動情報または生理情報、または前記蓄積手段により蓄積された前記感情特徴情報に基づく情報であって前記新たに入力された前記体動情報または生理情報に対応する前記情報を、所定の信号に変換し、出力する出力手段と、
前記体動情報または生理情報の特徴量を表すベクトルを生成するベクトル生成手段とを備え、
前記学習手段は、
前記ベクトル生成手段により生成された、同一の感情情報に関係付けられた複数の前記ベクトルの分布に関する情報を算出し、前記感情情報と、前記ベクトルの分布に関する情報とを対応付けて前記感情特徴情報とし、
入力された前記体動情報または生理情報から前記ベクトル生成手段が生成した前記ベクトルと、前記蓄積手段に蓄積された前記感情特徴情報とを比較して、使用者の感情を特定する
ことを特徴とする情報処理装置。
【請求項２】
前記入力手段は、前記体動情報または生理情報として、使用者の打鍵による振動情報の入力を受け付ける
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記入力手段は、前記体動情報または生理情報として、使用者のマウス握り圧情報の入力を受け付ける
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記情報処理装置は、オンラインゲームを行うゲーム機である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記入力手段は、前記体動情報または生理情報として前記ゲーム機のコントローラの加速度情報、または握り圧情報の入力を受け付ける
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記出力手段は、蓄積された前記体動情報または生理情報のうち、使用者が指定した特定の前記体動情報または生理情報を抽出し、抽出された前記対動情報を所定の信号に変換し、使用者が指定する他のゲーム機に出力する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記入力手段は、さらに環境温度情報の入力を受け付ける
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
使用者の体動情報または生理情報および前記使用者の打鍵による言語的情報の入力を受け付ける入力受付ステップと、
前記打鍵による言語的情報から感情に関する言語的情報を感情情報として抽出する意味抽出ステップと、
前記体動情報または生理情報が入力された時刻に対応する時刻において、前記意味抽出ステップの処理で抽出した前記感情情報と、前記入力された体動情報または生理情報とを関係付けて、感情特徴情報を生成することで、前記使用者の感情を学習する学習ステップと、
前記生成された前記感情特徴情報を蓄積する蓄積ステップと、
新たに入力された前記体動情報または生理情報、または前記蓄積された前記感情特徴情報に基づく情報であって前記新たに入力された前記体動情報または生理情報に対応する前記情報を、所定の信号に変換し、出力する出力ステップと、
前記体動情報または生理情報の特徴量を表すベクトルを生成するベクトル生成ステップとを含み、
前記学習ステップの処理では、
前記生成された、同一の感情情報に関係付けられた複数の前記ベクトルの分布に関する情報が算出され、前記感情情報と、前記ベクトルの分布に関する情報とを対応付けて前記感情特徴情報とされ、
入力された前記体動情報または生理情報から生成した前記ベクトルと、前記蓄積された前記感情特徴情報とを比較して、使用者の感情が特定される
ことを特徴とする情報処理方法。
【請求項９】
使用者の体動情報または生理情報および前記使用者の打鍵による言語的情報の入力の受け付けを制御する入力受付制御ステップと、
前記打鍵による言語的情報から感情に関する言語的情報を感情情報として抽出するように制御する意味抽出制御ステップと、
前記体動情報または生理情報が入力された時刻に対応する時刻において、前記意味抽出制御ステップの処理で抽出した前記感情情報と、前記入力された体動情報または生理情報とを関係付けて、感情特徴情報を生成することで、前記使用者の感情の学習を制御する学習制御ステップと、
前記生成された前記感情特徴情報の蓄積を制御する蓄積制御ステップと、
新たに入力された前記体動情報または生理情報、または前記蓄積された前記感情特徴情報に基づく情報であって前記新たに入力された前記体動情報または生理情報に対応する前記情報の、所定の信号への変換、出力を制御する出力制御ステップと、
前記体動情報または生理情報の特徴量を表すベクトルの生成を制御するベクトル生成制御ステップとをコンピュータに実行させ、
前記学習制御ステップの処理では、
前記生成された、同一の感情情報に関係付けられた複数の前記ベクトルの分布に関する情報が算出され、前記感情情報と、前記ベクトルの分布に関する情報とを対応付けて前記感情特徴情報とされ、
入力された前記体動情報または生理情報から生成した前記ベクトルと、前記蓄積された前記感情特徴情報とを比較して、使用者の感情が特定される
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、使用者の個性を反映する様々な情報から特徴を抽出し、学習を行い、その学習結果をもとに、使用者の感情、状態、およびその強度を特定することができるようにした情報処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、情報処理装置を用いたコミュニケーションとして、電話、メール、チャットなどが用いられている。情報処理装置を介さない対面時におけるコミュニケーションでは、言葉を用いた意味伝達のみならず、表情、動作、気配など様々な手段で、感情、状態などの情報も伝達される。それに対して、電話、メール、チャットなどは、主に、言葉を用いた意味伝達には有効であるが、言葉で表現されていない感情、状態、気配などを伝える事はできない。また、インターネット上で行われているバーチャルコミュニケーションにおいては、アバターと言われるコンピュータ合成画像なども用いられているが、人の感情を十分表現するには到っていない。
【０００３】
このように、現状では、情報処理装置を用いたコミュニケーションにおいて、極めて制限された情報のやり取りが行われているに過ぎない。
【０００４】
そこで、音声情報、画像情報、バイタルサイン（生体情報）といった情報を通信し、それらの情報をもとに操作者の心理や生理状態を推定し、推定量を出力する通信装置が、提案されている。（例えば、特許文献１参照）
【０００５】
【特許文献１】特開２００２−３４９３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術では、使用者の生体情報について各平均値からのずれが算出され、その結果から操作者の感情や状態を推定されている。しかし、このような単純な推定アルゴリズムを用いて人間の感情や状態を“喜”“怒”“哀”“楽”などに一義的に推定した結果は、必ずしも正しいと言えず、このような推定結果を表示する事は、操作者ならびに操作者間に誤解を生じさせ、かえってコミュニケーションの阻害要因となるおそれがある。
【０００７】
また、情報の表示に関しては、表、グラフ、または図形を用いる、顔の表情、色などを変化させて表示する、音声あるいは音情報を加工するといった方法が示されているが、生体情報から推定される感情や状態、更には、人の動作や気配などの情報を表示する方法としては不十分であるという課題があった。
【０００８】
本発明は、使用者の感情や状態を、その強度とともに特定することを可能にする。また、非言語的情報を用いてコミュニケーションができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の情報処理装置は、使用者の体動情報または生理情報および前記使用者の打鍵による言語的情報の入力を受け付ける入力受付手段と、前記打鍵による言語的情報から感情に関する言語的情報を感情情報として抽出する意味抽出手段と、前記体動情報または生理情報が入力された時刻に対応する時刻において、前記意味抽出手段が抽出した前記感情情報と、前記入力された体動情報または生理情報とを関係付けて、感情特徴情報を生成することで、前記使用者の感情を学習する学習手段と、前記学習手段により生成された前記感情特徴情報を蓄積する蓄積手段と、新たに入力された前記体動情報または生理情報、または前記蓄積手段により蓄積された前記感情特徴情報に基づく情報であって前記新たに入力された前記体動情報または生理情報に対応する前記情報を、所定の信号に変換し、出力する出力手段とを備え、前記体動情報または生理情報の特徴量を表すベクトルを生成するベクトル生成手段とを備え、前記学習手段は、前記ベクトル生成手段により生成された、同一の感情情報に関係付けられた複数の前記ベクトルの分布に関する情報を算出し、前記感情情報と、前記ベクトルの分布に関する情報とを対応付けて前記感情特徴情報とし、入力された前記体動情報または生理情報から前記ベクトル生成手段が生成した前記ベクトルと、前記蓄積手段に蓄積された前記感情特徴情報とを比較して、使用者の感情を特定することを特徴とする。
【００１３】
前記入力手段は、前記体動情報または生理情報として、使用者の打鍵による振動情報の入力を受け付けるようにすることができる。
【００１４】
前記入力手段は、前記体動情報または生理情報として、使用者のマウス握り圧情報の入力を受け付けるようにすることができる。
【００１５】
前記情報処理装置は、オンラインゲームを行うゲーム機であるようにすることができる。
【００１６】
前記入力手段は、前記体動情報または生理情報として前記ゲーム機のコントローラの加速度情報、または握り圧情報の入力を受け付けるようにすることができる。
【００１７】
前記出力手段は、蓄積された前記体動情報または生理情報のうち、使用者が指定した特定の前記体動情報または生理情報を抽出し、抽出された前記対動情報を所定の信号に変換し、使用者が指定する他のゲーム機に出力するようにすることができる。
【００１８】
前記入力手段は、さらに環境温度情報の入力を受け付けるようにすることができる。
【００１９】
本発明の情報処理方法は、使用者の体動情報または生理情報および前記使用者の打鍵による言語的情報の入力を受け付ける入力受付ステップと、前記打鍵による言語的情報から感情に関する言語的情報を感情情報として抽出する意味抽出ステップと、前記体動情報または生理情報が入力された時刻に対応する時刻において、前記意味抽出ステップの処理で抽出した前記感情情報と、前記入力された体動情報または生理情報とを関係付けて、感情特徴情報を生成することで、前記使用者の感情を学習する学習ステップと、前記生成された前記感情特徴情報を蓄積する蓄積ステップと、新たに入力された前記体動情報または生理情報、または前記蓄積された前記感情特徴情報に基づく情報であって前記新たに入力された前記体動情報または生理情報に対応する前記情報を、所定の信号に変換し、出力する出力ステップと、前記体動情報または生理情報の特徴量を表すベクトルを生成するベクトル生成ステップとを含み、前記学習ステップの処理では、前記生成された、同一の感情情報に関係付けられた複数の前記ベクトルの分布に関する情報が算出され、前記感情情報と、前記ベクトルの分布に関する情報とを対応付けて前記感情特徴情報とされ、入力された前記体動情報または生理情報から生成した前記ベクトルと、前記蓄積された前記感情特徴情報とを比較して、使用者の感情が特定されることを特徴とする。
【００２０】
本発明のプログラムは、使用者の体動情報または生理情報および前記使用者の打鍵による言語的情報の入力の受け付けを制御する入力受付制御ステップと、前記打鍵による言語的情報から感情に関する言語的情報を感情情報として抽出するように制御する意味抽出制御ステップと、前記体動情報または生理情報が入力された時刻に対応する時刻において、前記意味抽出制御ステップの処理で抽出した前記感情情報と、前記入力された体動情報または生理情報とを関係付けて、感情特徴情報を生成することで、前記使用者の感情の学習を制御する学習制御ステップと、前記生成された前記感情特徴情報の蓄積を制御する蓄積制御ステップと、新たに入力された前記体動情報または生理情報、または前記蓄積された前記感情特徴情報に基づく情報であって前記新たに入力された前記体動情報または生理情報に対応する前記情報の、所定の信号への変換、出力を制御する出力制御ステップと、前記体動情報または生理情報の特徴量を表すベクトルの生成を制御するベクトル生成制御ステップとをコンピュータに実行させ、前記学習制御ステップの処理では、前記生成された、同一の感情情報に関係付けられた複数の前記ベクトルの分布に関する情報が算出され、前記感情情報と、前記ベクトルの分布に関する情報とを対応付けて前記感情特徴情報とされ、入力された前記体動情報または生理情報から生成した前記ベクトルと、前記蓄積された前記感情特徴情報とを比較して、使用者の感情が特定されることを特徴とする。
【００２１】
本発明の情報処理装置および方法、並びにプログラムにおいては、使用者の体動情報または生理情報および前記使用者の打鍵による言語的情報の入力が受け付けられ、前記打鍵による言語的情報から感情に関する言語的情報が感情情報として抽出され、前記体動情報または生理情報が入力された時刻に対応する時刻において、前記抽出した前記感情情報と、前記入力された体動情報または生理情報とを関係付けて、感情特徴情報を生成することで、前記使用者の感情が学習され、前記生成された前記感情特徴情報が蓄積され、新たに入力された前記体動情報または生理情報、または前記蓄積された前記感情特徴情報に基づく情報であって前記新たに入力された前記体動情報または生理情報に対応する前記情報が、所定の信号に変換され、出力され、前記体動情報または生理情報の特徴量を表すベクトルを生成が生成される。また、前記生成された、同一の感情情報に関係付けられた複数の前記ベクトルの分布に関する情報が算出され、前記感情情報と、前記ベクトルの分布に関する情報とを対応付けて前記感情特徴情報とされ、入力された前記体動情報または生理情報から生成した前記ベクトルと、前記蓄積された前記感情特徴情報とを比較して、使用者の感情が特定される。
【００２２】
なお、以上において感情とは、喜び、嫌悪のような感情だけを表すものではなく、活性、安定のような状態を含めて表すものである。
【発明の効果】
【００２３】
本発明によれば、生体情報、キーボードの振動情報、マウスのクリック情報、握り圧情報、ゲーム機のコントローラの加速度情報および握り圧情報などの情報から、使用者の感情、状態、およびその強度を特定することができる。また、従来のように言語、音声、画像による通信だけでなく、生体情報、キーボードの振動情報、マウスのクリック情報、握り圧情報、ゲーム機のコントローラの加速度情報、握り圧情報などの情報を伝送し、様々な形で出力することができるので、より親密で感情が伝わるコミュニケーションを実現することができる。
【発明を実施するための最良の形態】
【００２４】
以下に、本発明の実施の形態について図面を参照して説明する。図１は本発明の情報処理装置を利用したコミュニケーションシステムの構成を示す図である。
【００２５】
本発明の情報処理装置である端末１、端末２、および端末３はそれぞれネットワーク１１に接続され、互いに情報通信を行うことが可能である。
【００２６】
端末１（端末Ａ）、端末２（端末Ｂ）、端末３（端末Ｃ）にはそれぞれ、情報の入力を受け付ける入力部９１Ａ乃至９１Ｃ、入力された情報を処理する処理部９３Ａ乃至９３Ｃ、入力された情報から使用者の感情、状態、およびその強度を学習、特定する学習部９４Ａ乃至９４Ｃ、学習部によって学習、特定された情報を蓄積する蓄積部９５Ａ乃至９５Ｃ、学習部によって特定された情報、または蓄積部に蓄積された情報を出力する出力部９２Ａ乃至９２Ｃ、情報の送受信を行う通信部９６Ａ乃至９６Ｃ、および各部を制御するシステム制御部９７Ａ乃至９７Ｃが設けられている。
【００２７】
なお、端末１（端末Ａ）乃至端末３（端末Ｃ）の構成は同一であるため、それらを構成する入力部９１Ａ乃至システム制御部９７Ａ、入力部９１Ｂ乃至システム制御部９７Ｂ、並びに入力部９１Ｃ乃至システム制御部９７Ｃは、それぞれ同一の機能を有している。以下においては、それらを個々に区別する必要がない場合には、入力部９１乃至システム制御部９７と、まとめて表現する。
【００２８】
図２に示すように、端末１、端末２、または端末３の入力部に入力される情報は、定義情報と非定義情報に分類される。定義情報とは、その情報単独で、一義的に解釈が可能な情報であり、言語や意味の決まった記号、意図的に行われる特定の操作によって決まった情報を伝達できる自己申告情報などが、これに相当する。
【００２９】
一方、非定義情報とは、その情報単独では、多様な解釈が可能、もしくは解釈が困難な情報であり、脈拍、血流、血圧、呼吸、体温、皮膚表面温、皮膚電気抵抗、発汗、脳波、脳磁などの生理情報、体の移動、頭部の移動などの体動情報、打鍵による振動、マウスを握る圧力などの情報が、これに相当する。
【００３０】
処理部９３では、入力された定義情報から使用者の感情、状態、およびその強度（感情情報Ｅ）が抽出され、非定義情報からは、特徴量Ｃと、信号レベル列が抽出され、学習部９４に送られる。
【００３１】
学習部９４に送られた感情情報Ｅ、特徴量Ｃ、および信号レベル列は、統合された後、蓄積部９５に、特定の個人毎にDataとして蓄積される。Dataは、蓄積情報としてのPID、CD、CSDから構成される。
【００３２】
PIDは、氏名、ニックネーム、電子メールアドレスや個人に割り当てられた番号などの記号、性別、生年月日、居住地、血液型などで構成され、個人を特定する情報である。
【００３３】
CDは、特定情報PIDにより特定された個人の感情情報E、入力された非定義情報から抽出された1つの特徴量Cの分布fc、その分布の中心値μ、標準偏差σ、使用者が情報を入力した時点における使用者の周辺環境情報（温度、湿度、環境音情報、近接者数、気象情報、位置情報など）Kp、および情報が蓄積された日時Tにより構成される。
【００３４】
感情・状態は、表１に示す通り１２通りに分別される。
＜表１＞
0004525712.tif 000002
【００３５】
さらに、各感情・状態は、強、中、弱の３種類の強度に分けられ、感情情報Eは３６（＝１２×３）通りとなる。従って単独情報CDは１つの特徴量毎に３６個存在することになり、特徴量の数をｍとすると、単独情報CDは１個人毎に３６×ｍ個存在する。
【００３６】
蓄積情報であるCSDは、特定情報PIDにより特定された個人の感情情報E、非定義情報から抽出された複数の特徴量Cを組み合わせたベクトルVcの分布fvc、分布の中心ベクトルVμ、分布の標準偏差ベクトルVσ、入力者が情報を入力した時点における入力者の周辺環境情報（温度、湿度、環境音情報、近接者数、気象情報、位置情報など）Kp、情報が蓄積された日時Tにより構成される。
【００３７】
感情・状態は、表１に示す通り１２通りに分別され、さらに、各感情・状態は、強、中、弱の３種類の強度に分けられ、感情情報Eは３６通りとなる。従って複数情報CSDは、１個人毎に３６個存在する。
【００３８】
蓄積部９５に蓄積された情報は、使用者の感情・状態を学習したり、特定したりするときに参照され、新しい情報が加えられた後、あらためて蓄積部９５に蓄積される。
【００３９】
蓄積部９５に十分な情報が蓄積された後は、非定義情報のみから、情報処理装置が、特定の個人の感情、状態、およびその強度を特定することができる。この場合、入力された非定義情報の特徴量を抽出され、蓄積部９５に蓄積された特定の個人に対応する情報と比較される。
【００４０】
例えば、処理部９３において、特定の個人aについて、非定義情報から複数の特徴量C1,C2,．．Cmが抽出されたとする。学習部９４において、この抽出された複数の特徴量から、特徴量ベクトルVcx（C1,C2．．．Cm）が生成される。
【００４１】
そして、学習部９４は、蓄積部９５に蓄積された個人ａについての複数情報CSDを読み出し、蓄積されている全ての感情、状態、およびその強度に対応する中心ベクトルVμ1,Vμ2,．．．Vμ36を読み出す。
【００４２】
次に、特徴量ベクトルVcxと各中心ベクトルVμn（ｎ=１，２，．．．３６）の内積(Vcx,Vμn)が算出される。さらに、内積(Vcx,Vμn)の値が大きい分布から順番に、全てのベクトル成分に対して、(Vμnm-σnm)≦Vcxm≦(Vμnm+σnm)の条件を満たしているか判定される。ここで、Vμnmは、Vμnのm番目の成分を表し、σnmは、分布fvcnの標準偏差ベクトルσnのm番目の成分を表し、Vcxmは、Vcxのm番目の成分を表している。
【００４３】
図３は、特徴量Cの感情情報E1乃至Enに対応する分布を示した図であり、縦軸は特徴量の分布fcを表し、横軸は特徴量Cの値を表している。図３の例の場合、特徴量Cの値がVcxmとなったとき、感情情報E2に対応する分布において、(Vμ2m-σ2m)≦Vcxm≦(Vμ2m+σ2m)の条件を満たしている。
【００４４】
このように、ベクトルを構成する全ての成分について、条件を満たすか否かが判定され、Vcxは、条件を満たした分布の内、内積(Vcx,Vμn)の値が最大となる分布に属すると判定する。
【００４５】
図４は、入力された非定義情報から生成された、特徴量ベクトルVcxと、蓄積部９５に蓄積されている各感情情報に対応する特徴量ベクトルの分布の関係を示す図である。これらのベクトルはｍ個の成分をもっているので、軸ch1、軸ch2．．．軸chmにより構成されるｍ次元の空間に存在する。この空間の中には、感情情報E1に対応する特徴量ベクトルの分布fvc１、その分布の中心ベクトルVμ1、感情情報E2に対応する特徴量ベクトルの分布fvc2、その分布の中心ベクトルVμ２、および感情情報Enに対応する特徴量ベクトルの分布fvcnが存在する。
【００４６】
各中心ベクトルVμ1、Vμ２およびVμnとVcxの内積値(Vcx,Vμ1)、(Vcx,Vμ2)、および(Vcx,Vμn)の中で、最大となるのは(Vcx,Vμ2)であり、かつVcxおよびVμ2を構成するm個の成分全てについて(Vμ2m-σ2m)≦Vcxm≦(Vμ2m+σ2m)の条件を満たしているので、Vcxは、感情情報E2に対応する分布に属するものと判定される。
【００４７】
このようにして、入力された非定義情報から、特定された個人の感情、状態、およびその強度を特定することができる。
【００４８】
実施の形態１
【００４９】
図５に本発明の第１の情報処理装置の構成例を示す。この情報処理装置は、携帯電話などに適用することができる。この情報処理装置には、使用者の音声情報、脈拍情報、および距離情報の入力を受け付ける入力部９１、入力部９１から入力された情報を処理する処理部９３、処理部９３から出力された特徴情報と感情情報に基づいて、学習、特定を行う学習部９４、学習部９４から出力された学習情報、特定情報を蓄積する蓄積部９５、処理部９３から出力された出力情報に基づいて、情報を出力する出力部９２、通信を行う通信部９６、および各部を制御するシステム制御部９７が設けられている。
【００５０】
処理部９３には、入力部９１から入力された情報を、音声情報、脈拍情報、または体動情報に分別する情報弁別部１１１、脈拍情報と体動情報から特徴情報を抽出する特徴抽出部１１２、音声情報から感情情報を抽出する意味抽出部１１３、および出力部９２に出力情報を出力する出力制御部１１４が設けられている。通信部９６には、情報の送信を行う情報送信部１２１、情報の受信を行う情報受信部１２２が設けられている。
【００５１】
図６に入力部９１の構成例を示す。この例では、使用者の音声を取得するマイク１３１、使用者の脈拍を検知する脈波センサ１３２、使用者の体の動きを検知する測距センサ１３３、文字、数字などの情報を入力するキーボード１３４、マイク１３１からの信号を認識する音声認識部１３５、脈波センサ１３２からの信号を増幅する電源アンプ部１３６、測距センサ１３３からの信号を増幅する電源アンプ部１３７により構成されている。
【００５２】
図７と図８に出力部９２の構成例を示す。図７の例では、所定の信号に基づいてオブジェクトを移動させる移動オブジェクト１５２、移動オブジェクト１５２を駆動する電源駆動部１５１により構成されている。
また、移動オブジェクト１５２は、オブジェクト１７３、駆動用ベルト１７４、サーボモータ１７１、および回転軸１７２により構成されている。
【００５３】
図８の例では、所定の信号に基づいて、光を発する発光部１９２と発光部１９２を駆動する電源アンプ部１９１により構成されている。
【００５４】
使用者aがもっている情報処理装置を端末Aとし、使用者bがもっている情報処理装置を端末Bとして、使用者aと使用者bがそれぞれの端末を用いて、相互に通信を行う場合、図９に示される手順で情報の送受信が行われる。最初に端末Aは、端末Bに接続要求を送信し、それに対応して端末Bは端末Aに接続応答を送信する。その後、端末Aと端末Bの間で、メール、チャットなどの文字情報、会話で送受信される音声情報やCCDカメラなどで取得された画像情報を送受信する。
【００５５】
次に端末Aは生体情報（この例の場合、使用者の脈拍情報と体動情報）の送受信の初期設定を行い、端末Bに送受信要求を送信する。このとき、端末Aから図１１に示される送信設定情報と受信設定情報が送信される。
【００５６】
送信設定情報は、情報送信モードの選択ms、情報処理方法の選択ts、情報出力形式の設定権の選択dsにより構成される。受信設定情報は、情報受信モードの選択mr、情報処理方法の選択tr、情報出力形式の設定権の選択drにより構成される。
【００５７】
情報送信モードの選択msは、生体情報を送信するか否かを示し、情報処理方法の選択tsは、送信時に生体情報の処理を行うか否かを示し、情報出力形式の設定権の選択dsは、送信した生体情報の出力形式の設定を送信側で行うか、受信側で行うかを示す。
【００５８】
情報受信モードの選択mrは、生体情報を受信するか否かを示し、情報処理方法の選択trは、受信時に生体情報の処理を行うか否かを示し、情報出力形式の設定権の選択drは、受信した生体情報の出力形式の選択を送信側で行うか、受信側で行うかを示す。
【００５９】
端末Aから生体情報の送信要求を受け取った端末Bは、生体情報送受信設定の変更を行い、端末Aに応答を送信する。
【００６０】
そして端末Aから端末Bに使用者aの生体情報が送信され、端末Bから端末Aに使用者bの生体情報が送信される。端末A、端末Bにはそれぞれ生体情報が蓄積される。
【００６１】
端末Aから端末Bに接続終了要求が送信されると、端末Bはそれに応答し、通信は終了する。
【００６２】
このようにして、端末Aと端末Bの間で通信が行われ、生体情報が蓄積される。生体情報が充分に蓄積された後は、図１０に示されるように情報の送受信が行われる。すなわち、端末Aと端末Bとの間で生体情報が送受信されると、端末Aと端末Bにおいて、使用者の感情・状態の特定処理が行われる。
【００６３】
次に図１２を参照して、端末Bにおける生体情報蓄積処理について説明する。最初に端末Bのシステム制御部９７は、ステップＳ１において、端末Aとの通信開始時に、通信相手である端末Aの使用者aを特定する情報（例えば、氏名、ニックネームなど）PIDを取得する。ステップＳ２において、端末Bのシステム制御部９７は、情報弁別部１１１に、端末Aから送信されてきた使用者aの音声情報が入力されたか否かを判定させ、入力されたと判定されるまで待機する。
【００６４】
ステップＳ２において、音声情報が入力されたと判定された場合、ステップＳ３に進み、端末Bのシステム制御部９７は、特徴抽出部１１２に、端末Aから送信されてきた使用者aの脈拍情報、体動情報のサンプリング処理を開始させる。そして、ステップＳ４に進み、端末Bのシステム制御部９７は、意味抽出部１１３に音声の認識を行わせる。ステップＳ５において、端末Bのシステム制御部９７は、認識された音声の中に感情、状態およびその強度を表す語句があるか否かを判定し、感情、状態およびその強度を表す語句がないと判定された場合、ステップＳ２に戻り以降の処理を繰り返し実行する。感情・状態を表す語句は図２３に示されるようなものであり、強度を示す語句は図２４に示されるようなものである。
【００６５】
ステップＳ５において、感情、状態およびその強度を示す語句があると判定された場合、端末Bのシステム制御部９７は、ステップＳ６において、認識された語句の主語は使用者か否か、すなわち、認識された語句が、使用者aの感情、状態およびその強度を表す語句であるか否かを判定し、主語は使用者ではないと判定された場合、ステップＳ２に戻り、以降の処理を繰り返し実行する。
【００６６】
ステップＳ６において、主語は使用者であると判定された場合、端末Bのシステム制御部９７は、ステップＳ７において、使用者aの音声が１フレーズ分入力されたか否かを判定し、１フレーズ分入力されたと判定されるまで待機する。
【００６７】
ステップＳ７において、１フレーズ分入力されたと判定された場合、端末Bのシステム制御部９７は、ステップＳ８に進み、特徴抽出部１１２に、脈拍情報、体動情報のサンプリング処理を終了させる。
【００６８】
なお、脈拍情報、体動情報のサンプリング処理は、端末Aの特徴抽出部１１２において行い、サンプリングした結果を端末Bに送信してもよい。
【００６９】
そして、ステップＳ９に進み、端末Bのシステム制御部９７は、意味抽出部１１３に、感情情報Eを抽出させる。
【００７０】
使用者aが「ちょっと面白い」と話した場合、「面白い」という語句に対応する感情・状態は興味であり、「ちょっと」という語句に対応する強度は弱であると認識され、感情情報Eとして、「弱い興味」が抽出される。
【００７１】
ステップＳ１０において、端末Bのシステム制御部９７は、特徴抽出部１１２に使用者aの脈拍情報に基づいて、特徴ベクトルVc1の生成処理を実行させ、ステップ１１に進み、個人を特定する情報PID、感情情報Eに対応する脈拍情報を蓄積部９５から読み出す。この場合、使用者aの弱い興味に対応する脈拍情報の特徴ベクトルが読み出される。そして、ステップＳ１２に進み、端末Bのシステム制御部９７は、学習部９４に、読み出された特徴ベクトルに新たに生成された特徴ベクトルVc１を加えて、ベクトルの分布fvc1、分布の中心ベクトルVμ1、標準偏差ベクトルVσ1を再計算させ、ステップＳ１３において、再計算した結果を蓄積部９５に記憶する。
【００７２】
ステップＳ１４において、端末Bのシステム制御部９７は、特徴抽出部１１２に使用者aの体動情報に基づいて、特徴ベクトルVc２の生成処理を実行させ、ステップＳ１５に進み、個人を特定する情報PID、感情情報Eに対応する体動情報を蓄積部９５から読み出す。この場合、使用者aの弱い興味に対応する体動情報の特徴ベクトルが読み出される。そして、ステップＳ１６に進み、端末Bのシステム制御部９７は、学習部９４に、読み出された特徴ベクトルに新たに生成された特徴ベクトルVc2を加えて、ベクトルの分布fvc2、分布の中心ベクトルVμ2、標準偏差ベクトルVσ2を再計算させ、ステップＳ１７において、再計算した結果を蓄積部９５に記憶する。
【００７３】
次に図１４と図１５を参照して、脈拍情報の特徴ベクトルVc1の生成処理について説明する。この処理は、端末Bの特徴抽出部１１２で行われる。ステップＳ３１において、端末Bの特徴抽出部１１２は、サンプリングした脈拍情報を読み出し、ステップＳ３２において、後述する極性判定処理を行い、ステップＳ３３に進み、後述するTV出力処理を行い、ステップＳ３４において、後述するVmin，Vmax判定処理を行う。
【００７４】
ここで、図１６乃至図１８を参照して、極性判定処理、TV出力処理、およびVmin，Vmax判定処理について説明する。
【００７５】
最初に図１６を参照して、サンプリングした波形の極性判定処理について説明する。ステップＳ６１において、端末Bの特徴抽出部１１２は、変数ｎを１にセットし、ステップＳ６２において、Vs(n)を読み出す。図１９に示される波形２１１を周期Tclkでサンプリングすると、Vs1,Vs2,Vs3．．．Vsnの値が得られる。ここで読み出されるVs(n)はｎが１のとき、Vs1となり、nが２のときVs２となるように読み出される。
【００７６】
ステップＳ６３において、端末Bの特徴抽出部１１２は、Vs(n)があるか否かを判定し、Vs(n)がないと判定された場合、処理を終了する。ステップＳ６３において、Vs(n)があると判定された場合、ステップＳ６４において、端末Bの特徴抽出部１１２は、Vs(n)が閾値-Vth0より小さいか否かを判定し、Vth0より小さくないと判定された場合、ステップＳ６５に進み、Vs(n)が閾値Vth0より大きいか否かを判定し、Vth0より大きくないと判定された場合、ステップＳ６６においてSig(n)に１をセットする。
【００７７】
ステップＳ６４において、Vs(n)が閾値-Vth0より小さいと判定された場合、端末Bの特徴抽出部１１２は、Sig(n)に-1をセットする。ステップＳ６５において、Vs(n)が閾値Vth0より大きいと判定された場合、端末Bの特徴抽出部１１２は、Sig(n)に1をセットする。
【００７８】
ステップＳ６７において、端末Bの特徴抽出部１１２は、ｎの値を１だけインクリメントし、ステップＳ６２に戻り、以降の処理を繰り返し実行する。
【００７９】
このようにして、波形の極性を示す変数Sig(n)が生成される。すなわち、波形の極性が＋のときは、Sig(n)の値が１となり、波形の極性が−のときは、Sig(n)の値が-1となり、波形の極性が＋でもなく、−でもないとき、すなわち極性が０のときSig(n)の値は０となる。
【００８０】
次に図１７を参照して、Tv出力処理について説明する。ステップＳ７１において端末Bの特徴抽出部１１２は、変数ｎに２をセットし、変数Ｐに１をセットする。ステップＳ７２において、端末Bの特徴抽出部１１２は、極性判定処理の結果生成されたSig(n)を読み出し、ステップＳ７３においてSig(n)があるか否かを判定し、Sig(n)がないと判定された場合、処理を終了する。
【００８１】
ステップＳ７３においてSig(n)があると判定された場合、端末Bの特徴抽出部１１２は、ステップＳ７４においてSig(n-1)を読み出し、ステップＳ７５において、Sig(n)とSig(n-1)の値が等しいか否かを判定し、Sig(n)とSig(n-1)の値が等しいと判定された場合、ステップＳ７６に進み、Sig(n)の値が-1か否かを判定し、Sig(n)の値が-1ではないと判定された場合、ステップＳ７８において、Sig(n)の値が１か否かを判定し、Sig(n)の値が１ではないと判定された場合、ステップＳ８０に進み、変数ｃの値を１だけインクリメントして、ステップＳ９３に進む。
【００８２】
ステップＳ７６において、Sig(n)の値が-1であると判定された場合、端末Bの特徴抽出部１１２は、ステップＳ７７において変数ａの値を１だけインクリメントして、ステップＳ９３に進む。ステップＳ７８において、Sig(n)の値が１であると判定された場合、端末Bの特徴抽出部１１２は、ステップＳ７９において変数ｂの値を１だけインクリメントして、ステップＳ９３に進む。
【００８３】
ステップＳ９３において、端末Bの特徴抽出部１１２は、ｎの値を１だけインクリメントして、ステップＳ７２に戻り以降の処理を繰り返し実行する。
【００８４】
一方、ステップＳ７５において、Sig(n)とSig(n-1)の値が等しくないと判定された場合、端末Bの特徴抽出部１１２は、ステップＳ８１に進み、Sig(n-1)の値が−１か否かを判定し、Sig(n-1)の値が−１ではないと判定された場合、ステップＳ８６に進み、Sig(n-1)の値が１か否かを判定し、Sig(n-1)の値が１ではないと判定された場合、ステップＳ９０に進み、Tv0(P)の値をc*Tclkにセットする。そして、ステップＳ９１に進み、端末Bの特徴抽出部１１２は、Tv0(P)を出力し、変数ｃの値を０にリセットして、ステップＳ９３に進む。
【００８５】
ステップＳ８１において、Sig(n-1)の値が−１であると判定された場合、端末Bの特徴抽出部１１２は、ステップＳ８２に進み、Tv-(P)の値をa*Tclkにセットし、ステップＳ８３に進み、Tv-(P)を出力し、ステップＳ８４において変数ａの値を０にリセットし、ステップＳ８５に進み、変数Ｐの値を１だけインクリメントして、ステップＳ９３に進む。
【００８６】
ステップＳ８６において、Sig(n-1)の値が１であると判定された場合、端末Bの特徴抽出部１１２は、ステップＳ８７に進み、Tv+(P)の値をb*Tclkにセットし、ステップＳ８８に進み、Tv+(P)を出力し、ステップＳ８６において変数bの値を０にリセットして、ステップＳ９３に進む。
【００８７】
このようにすることで、波形の極性が−である間はａの値がインクリメントされ、波形の極性が＋である間はｂの値がインクリメントされ、波形の極性が０である間はｃの値がインクリメントされる。そして、波形の極性が変化したとき、ａ，ｂ，またはｃにサンプリング周期Tclkが乗じられるので、図２０に示されるように、波形の出力が正の値となる時間Tv+(1)，Tv+(2）、波形の出力が閾値+Vth0と-Vth0の間の値となる時間Tv0(1）,Tv0(2)，Tv0(3)、および波形の出力が負の値となる時間Tv-(1)，Tv-(2)が得られる。
【００８８】
次に図１８を参照して、Vmin，Vmax判定処理について説明する。
最初に、ステップＳ１１１において、端末Bの特徴抽出部１１２は、変数ｎに２をセットし、変数Pに１をセットする。そして、ステップＳ１１２に進み、Vs(n)を読み出し、ステップＳ１１３において、Vs(n)があるか否かを判定し、Vs(n)がないと判定された場合、処理を終了する。ステップＳ１１３においてVs(n)があると判定された場合、端末Bの特徴抽出部１１２は、ステップＳ１１４に進み、Vs(n-1)を読み出し、ステップＳ１１５において、ΔVs(n-1)にVs(n)-Vs(n-1)の値をセットし、ステップＳ１１６に進み、ΔVs(n-1)の値を記憶する。
【００８９】
ステップＳ１１７において、端末Bの特徴抽出部１１２は、ΔVs(n-1)の値が０より小さいか否かを判定し、０より小さいと判定された場合、ステップＳ１１８で、ΔVSig(n)に-1をセットし、ステップＳ１１７において、０より小さくないと判定された場合、ステップＳ１１９でΔVSig(n)に1をセットする。ステップＳ１２０に進み、ΔVSig(n-1)があるか否かを判定し、ΔVSig(n-1)がないと判定された場合、ステップＳ１２７に進みｎの値を１だけインクリメントしてステップＳ１１２にもどる。
【００９０】
ステップＳ１２０において、ΔVSig(n-1)があると判定された場合、ステップＳ１２１に進み、端末Bの特徴抽出部１１２は、ΔVSig(n-1)を読み出す。ステップＳ１２２において、ΔVSig(n)の値とΔVSig(n-1)の値が等しいか否かを判定し、等しくないと判定された場合、ステップＳ１２３に進み、Vs(n)の値がVth0より小さいか否かを判定し、Vth0より小さくないと判定された場合、ステップＳ１２５に進み、Vmax(P)にVs(n-1)をセットして、Vmax(P)を出力し、Ｐの値を１だけインクリメントして、ステップＳ１２７へ進む。
【００９１】
ステップＳ１２２において、ΔVSig(n)の値とΔVSig(n-1)の値が等しいと判定された場合、端末Bの特徴抽出部１１２は、ステップＳ１２７へ進む。
【００９２】
ステップＳ１２３において、Vs(n)の値がVth0より小さいと判定された場合、端末Bの特徴抽出部１１２は、ステップＳ１２４に進み、Vmin(P)にVs(n-1)をセットして、Vmin(P)を出力し、ステップＳ１２７に進む。
【００９３】
このようにすることで、図２０に示されるようにTv+(1)，Tv+(2)における波形２２１のピーク値Vmax(1)，Vmax(2)が得られ、時間Tv-(1)，Tv-(2)における波形２２１のピーク値Vmin(1)，Vmin(2)が得られる。
【００９４】
図１５にもどって、ステップＳ３５において、端末Bの特徴抽出部１１２は、変数Pの値を１にセットし、ステップＳ３６において、Tv+(P)またはTv-(0)があるか否かを判定し、Tv+(P)またはTv-(0)があると判定された場合、ステップＳ３７に進み、Tppg+(P)に値Tv+(P)をセットし、ステップＳ３８において、Tppg-(P)に値Tv-(P)をセットする。ステップＳ３９において、端末Bの特徴抽出部１１２は、Tppg+(P)とTppg-(P)を足してTppgi(P)とする。そして、ステップＳ４０に進み、変数Pの値を１だけインクリメントし、ステップＳ３６に戻り、以降の処理を繰り返し実行する。
【００９５】
ステップＳ３３のTv出力処理の結果、Tv+(1)、Tv+(2)、Tv-(1)、Tv-(2)が得られたとすると、変数Pの値が３になったとき、ステップＳ３６において、Tv+(P)またはTv-(P)がないと判定され、端末Bの特徴抽出部１１２は、ステップＳ４１に進み、Tppg+，Tppg-，Tppgiの平均値、Tppg+m，Tppg-m，Tppgimを計算する。
この場合、Tppg+m，Tppg-m，Tppgimはそれぞれ次のように計算される。
Tppg+m=（Tppg+(1)+Tppg+(2)）/２
Tppg-m=（Tppg-(1)+Tppg-(2)）/２
Tppgim=（Tppgi(1)+Tppgi(2)）/２
【００９６】
次にステップＳ４２に進み、端末Bの特徴抽出部１１２は、変数Pの値を１にセットし、ステップＳ４３において、Vmax(P)またはVmin(P)があるか否かを判定し、Vmax(P)またはVmin(P)があると判定された場合、ステップＳ４４に進み、Appg+(P)に値Vmax(P)をセットし、ステップＳ４５において、Appg-(P)に値Vmin(P)をセットする。そして、ステップＳ４６に進み、変数Pの値を１だけインクリメントし、ステップＳ４３に戻り、以降の処理を繰り返し実行する。
【００９７】
ステップＳ３４のVmin，Vmax判定処理の結果、Vmax(1)、Vmax(2)、Vmin(1)、Vmin(2)が得られたとすると、変数Pの値が３になったとき、ステップＳ４３において、Vmax(P)またはVmin(P)がないと判定され、端末Bの特徴抽出部１１２は、ステップＳ４７に進み、Appg+，Appg-の平均値、Appg+m，Appg-mを計算する。
この場合、Appg+m，Appg-mはそれぞれ次のように計算される。
Appg+m=（Appg+(1)+Appg+(2)）/２
Appg-m=（Appg-(1)+Appg-(2)）/２
【００９８】
そして、ステップＳ４８に進み、端末Bの特徴抽出部１１２は、特徴量ベクトルVc1（Tppg+m,Tppg-m,Tppgim,Appg+m,Appg-m）を生成する。
【００９９】
図２５に脈拍の波形２４１を示す。Tppg+は波形２４１の出力が正の値となる時間を示し、Tppg-は波形２４１の出力が負の値となる時間を示し、Tppgiは脈拍の１拍分の時間を示し、Appg+は、Tppg+における脈拍波形のピーク値であり，Appg-は、Tppg-における脈拍波形のピーク値となる。
【０１００】
このようにして、使用者aの弱い興味に対応する脈拍情報の特徴ベクトルVc１が生成される。
【０１０１】
次に図２１を参照して、使用者aの体動情報の特徴ベクトルVc2の生成処理について説明する。
【０１０２】
ステップＳ１４１において、端末Bの特徴抽出部１１２は、サンプリングした体動情報を読み出す。そして、端末Bの特徴抽出部１１２は、ステップＳ１４２において、図１６を参照して説明した極性判定処理を行い、ステップＳ１４３において、図１７を参照して説明したTv出力処理を行い、ステップＳ１４４においてVmax,Vmin判定処理を行う。そして、ステップＳ１４５に進み、端末Bの特徴抽出部１１２は、変数Pに１をセットする。ステップＳ１４６において、端末Bの特徴抽出部１１２は、Vmax,Vmin判定処理において記憶されたΔVの値（図１８のステップＳ１１６）の値を読み出す。
【０１０３】
体動情報の波形は、図２６に示される波形２６１のようになるので、Ｐの値が１のときは、ΔV１、Ｐの値が２のときはΔV２となるようにΔV(P)が読み出される。そして、ステップＳ１４７において、端末Bの特徴抽出部１１２は、ΔV(P)があるか否かを判定し、ΔV(P)があると判定された場合、ステップＳ１４８に進み、Vel(P)に│ΔV(P)│/Tclkの値をセットし、ステップＳ１４９においてΣΔVにΣΔV＋│ΔV(P)│の値をセットし、ステップＳ１５０において、Ｐの値を１だけインクリメントしてステップＳ１４６に戻り、以降の処理を繰り返し実行する。
【０１０４】
この場合、ΔV(P)は、時間Tclkの間に使用者aが移動した距離を示すので、Vel(P)は使用者aが移動する速度を示し、ΣΔVは、使用者aが移動した距離の合計を示す。
【０１０５】
ステップＳ１４７において、ΔV(P)がないと判定された場合、端末Bの特徴抽出部１１２は、ステップＳ１５１においてDにΣΔVの値をセットし、速度Velの平均値Velmを計算し、ステップＳ１５２に進み、特徴ベクトルVc2（Velm，D）を生成する。
【０１０６】
このようにして、使用者aの弱い興味に対応する体動情報の特徴ベクトルVc２が生成される。
【０１０７】
ここまで、端末Bが、端末Aから送信された使用者aの脈拍情報と体動情報から特徴量ベクトルVc１、Vc２を生成し、蓄積する処理について説明したが、同様に端末Bは、使用者bについての脈拍情報と体動情報から特徴量ベクトルを生成し、蓄積する。その結果、端末Bの蓄積部９５には、図２７にしめされるような、脈拍情報に関する学習結果２８１と体動情報に関する学習結果２８２がそれぞれ、使用者aと使用者bに分けて蓄積される。
【０１０８】
また、端末Aも同様にして、脈拍情報に関する学習結果と体動情報に関する学習結果をそれぞれ、使用者aと使用者bに分けて蓄積することができる。
【０１０９】
上述した生体情報蓄積処理を繰り返し行い、生体情報が充分蓄積された後は、生体情報をもとに、使用者の感情、状態、およびその強度を特定することができる。
【０１１０】
次に図２８を参照して、端末Bによる感情状態の特定処理について説明する。
【０１１１】
ステップＳ１７１において、端末Bのシステム制御部９７は、端末Aとの通信開始時に、通信相手である端末Aの使用者aを特定する情報PIDを取得する。ステップＳ１７２において、端末Bのシステム制御部９７は、情報弁別部１１１に、端末Aから送信されてきた使用者aの音声情報が入力されたか否かを判定させ、入力されたと判定されるまで待機する。音声情報が入力されたと判定された場合、ステップＳ１７３に進み、端末Bのシステム制御部９７は、特徴抽出部１１２に、端末Aから送信されてきた使用者aの脈拍情報、体動情報のサンプリング処理を開始させる。そして、ステップＳ１７４に進み、端末Bのシステム制御部９７は、意味抽出部１１３に音声の認識を行わせる。
【０１１２】
ステップＳ１７５において、端末Bのシステム制御部９７は、使用者aの音声が１フレーズ分入力されたか否かを判定し、１フレーズ分入力されたと判定されるまで待機する。
【０１１３】
ステップＳ１７５において、１フレーズ分入力されたと判定された場合、端末Bのシステム制御部９７は、ステップＳ１７６に進み、特徴抽出部１１２に脈拍情報、体動情報のサンプリング処理を終了させる。
【０１１４】
なお、脈拍情報、体動情報のサンプリング処理は、端末Aの特徴抽出部１１２において行い、サンプリングした結果を端末Bに送信してもよい。
【０１１５】
そして、ステップＳ１７７に進み、端末Bのシステム制御部９７は、特徴抽出部１１２に、使用者aの脈拍情報に基づいて、特徴ベクトルVc1生成処理を実行させ、ステップ１７８において、使用者aの体動情報に基づいて、特徴ベクトルVc２生成処理を実行させ、ステップＳ１７９に進み、学習部９４に、Vc1の感情、状態、およびその強度の特定処理を実行させ、ステップＳ１８０においてVc2の感情、状態、およびその強度の特定処理を実行させ、ステップＳ１８１に進み、特定結果の出力と再計算処理を実行させる。
【０１１６】
次に、図２９と図３０を参照して、脈拍情報の特徴ベクトルVc1の生成処理について説明する。この処理は、端末Bの特徴抽出部１１２で行われる。ステップＳ２０１において、端末Bの特徴抽出部１１２は、サンプリングした脈拍情報を読み出し、ステップＳ２０２において、図１６を参照して説明した極性判定処理を行い、ステップＳ２０３に進み、図１７を参照して説明したTV出力処理を行い、ステップＳ２０４において、図１８を参照して説明したVmin，Vmax判定処理を行う。
【０１１７】
図３０のステップＳ２０５において、端末Bの特徴抽出部１１２は、変数Pの値を１にセットし、ステップＳ２０６において、Tv+(P)またはTv-(0)があるか否かを判定し、Tv+(P)またはTv-(0)があると判定された場合、ステップＳ２０７に進み、Tppg+(P)に値Tv+(P)をセットし、ステップＳ２０８において、Tppg-(P)に値Tv-(P)をセットする。ステップＳ２０９において、端末Bの特徴抽出部１１２は、Tppg+(P)とTppg-(P)を足してTppgi(P)とする。そして、ステップＳ２１０に進み、変数Pの値を１だけインクリメントし、ステップＳ２０６に戻り、以降の処理を繰り返し実行する。
【０１１８】
ステップＳ２０６において、Tv+(P)またはTv-(P)がないと判定された場合、端末Bの特徴抽出部１１２は、ステップＳ２１１に進み、Tppg+，Tppg-，Tppgiの平均値、Tppg+m，Tppg-m，Tppgimを計算する。
【０１１９】
次にステップＳ２１２に進み、端末Bの特徴抽出部１１２は、変数Pの値を１にセットし、ステップＳ２１３において、Vmax(P)またはVmin(P)があるか否かを判定し、Vmax(P)またはVmin(P)があると判定された場合、ステップＳ２１４に進み、Appg+(P)に値Vmax(P)をセットし、ステップＳ２１５において、Appg-(P)に値Vmin(P)をセットする。そして、ステップＳ２１６に進み、変数Pの値を１だけインクリメントし、ステップＳ２１３に戻り、以降の処理を繰り返し実行する。
【０１２０】
ステップＳ２１３において、Vmax(P)またはVmin(P)がないと判定され、端末Bの特徴抽出部１１２は、ステップＳ２１７に進み、Appg+，Appg-の平均値、Appg+m，Appg-mを計算する。
【０１２１】
そして、ステップＳ２１８に進み、端末Bの特徴抽出部１１２は、特徴量ベクトルVc1（Tppg+m,Tppg-m,Tppgim,Appg+m,Appg-m）を生成する。
【０１２２】
このようにして、使用者aの脈拍情報の特徴ベクトルVc１が生成される。
【０１２３】
次に図３１を参照して、使用者aの体動情報の特徴ベクトルVc2の生成処理について説明する。
【０１２４】
ステップＳ２３１において、端末Bの特徴抽出部１１２は、サンプリングした体動情報を読み出す。そして、端末Bの特徴抽出部２３２は、ステップＳ２３２において、図１６を参照して説明した極性判定処理を行い、ステップＳ２３３において、図１７を参照して説明したTv出力処理を行い、ステップＳ２３４において図１８を参照して説明したVmax,Vmin判定処理を行う。そして、ステップＳ２３５に進み、端末Bの特徴抽出部１１２は、変数Pに１をセットする。ステップＳ２３６において、端末Bの特徴抽出部１１２は、Vmax,Vmin判定処理において記憶されたΔVの値（図１８のステップＳ１１６）の値を読み出す。
【０１２５】
ステップＳ２３７において、端末Bの特徴抽出部１１２は、ΔV(P)があるか否かを判定し、ΔV(P)があると判定された場合、ステップＳ２３８に進み、Vel(P)に│ΔV(P)│/Tclkの値をセットし、ステップＳ２３９においてΣΔVにΣΔV＋│ΔV(P)│の値をセットし、ステップＳ２４０において、Ｐの値を１だけインクリメントしてステップＳ２３６に戻り、以降の処理を繰り返し実行する。
【０１２６】
ステップＳ２３７において、ΔV(P)がないと判定された場合、端末Bの特徴抽出部１１２は、ステップＳ２４１においてDにΣΔVの値をセットし、Velの平均値Velmを計算し、ステップＳ２５２に進み、特徴ベクトルVc2（Velm，D）を生成する。
【０１２７】
このようにして、使用者aの体動情報の特徴ベクトルVc２が生成される。
【０１２８】
次に図３３を参照して、Vc1の感情、状態、およびその強度の特定処理について説明する。この処理は端末Bの学習部９４により実行される。
【０１２９】
ステップＳ２６１において、この処理は端末Bの学習部９４は、蓄積部９５に蓄積されている使用者aに対応する脈拍情報の特徴量ベクトルの分布fvc1、分布の中心ベクトルVμ1、分布の標準偏差ベクトルVσ1を読み出す。
【０１３０】
上述したように感情・状態は、表１に示す通り１２通りに分別され、さらに、各感情・状態は、強、中、弱の３種類の強度に分けられ、感情情報は３６通りある。従って、fvc1,Vμ1,Vσ1も感情情報に対応してそれぞれ３６通り存在する。
【０１３１】
ステップＳ２６２において、端末Bの学習部９４は、変数Qに１をセットし、ステップＳ２６３に進み、ベクトルVμ1(Q)とステップＳ１７７（図２８）で生成した特徴量ベクトルVc１の内積値を算出し、内積値に対応させてVμ1(Q)を記憶する。そして、ステップＳ２６４に進み、Qの値を１だけインクリメントし、ステップ２６５において、全ての感情情報について計算したか否か、すなわち、３６種類の中心ベクトルVμ１について、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップＳ２６３に戻り、以降の処理を繰り返し実行する。
【０１３２】
全ての感情情報に対応する３６種類の中心ベクトルVμ１について内積値の計算が終わると、端末Bの学習部９４の中にある図示せぬ記憶部には、図３４のようなデータが記憶されている。ステップＳ２６６において、端末Bの学習部９４は、内積値の大きい順にデータをソートする。
【０１３３】
ステップＳ２６７において、端末Bの学習部９４は、変数Ｒに１をセットし、ステップＳ２６８において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップＳ２６９に進み、ソートしたデータを読み出す。表２の例では、内積値が最も大きい「安定・中」に対応する特徴量ベクトルの中心ベクトルVμ1-29が最初に読み出される。
【０１３４】
ステップＳ２７０において、端末Bの学習部９４は、変数ｍに１をセットし、ステップＳ２７１に進み、Vμ1(R)m−Vσ1(R)m≦Vc1m≦Vμ1(R)m＋Vσ1(R)mの条件を満たしているか否かを判定する。ここで、Vμ1(R)mは、ベクトルVμ1(R)のm番目の成分を表し、Vσ1(R)m，Vc1mもそれぞれ同様にベクトルVσ1，Vc1のｍ番目の成分を表す。脈拍情報の特徴量ベクトルは上述したようにTppg+m,Tppg-m,Tppgim,Appg+m,Appg-mの５個の成分により構成されている。ｍの値が１のとき、Vμ1(R)，Vσ1(R)，Vc1の各ベクトルのTppg+m成分が抽出され、処理が行われる。
【０１３５】
ステップＳ２７１において、Vμ1(R)m−Vσ1(R)m≦Vc1m≦Vμ1(R)m＋Vσ1(R)mの条件を満たしていないと判定された場合、端末Bの学習部９４は、ステップＳ２７６に進み、Ｒの値を１だけインクリメントして、ステップＳ２６８に戻り、以降の処理を繰り返し実行する。ステップＳ２７１において、Vμ1(R)m−Vσ1(R)m≦Vc1m≦Vμ1(R)m＋Vσ1(R)mの条件を満たしていると判定された場合、端末Bの学習部９４は、ステップＳ２７２に進み、ｍの値を１だけインクリメントして、ステップＳ２７３に進み、ｍの値が６と等しいか否かを判定し、ｍの値が６と等しくないと判定された場合、ステップＳ２７１に戻り、以降の処理を繰り返し実行する。
【０１３６】
ステップＳ２７３において、ｍの値が６と等しいと判定された場合、すなわち、Vμ1(R)，Vσ1(R)，Vc1の各ベクトルを構成する５個の成分について、全てVμ1(R)m−Vσ1(R)m≦Vc1m≦Vμ1(R)m＋Vσ1(R)mの条件を満たしていると判定された場合、端末Bの学習部９４は、ステップＳ２７４に進み、Vc1はＲに対応する感情情報E1に属しているものと特定する。Ｒが１のとき、Ｒに対応する感情情報E1は「安定・中」となる。
【０１３７】
ステップＳ２６８において、全ての感情情報に関してデータが読み出されたと判定された場合、端末Bの学習部９４は、Vc1の感情、状態、およびその強度は特定不能として処理を終了する。
【０１３８】
図３５は、使用者aの各感情情報に対応する脈拍情報の特徴量ベクトルを示した図である。この図は、Tppg+m軸、Tppg-m軸、Tppgim軸、Appg+m軸、Appg-m軸からなる５次元空間として示されている。図２８のステップＳ１７７において生成された特徴量ベクトル３８１（Vc1）は、「安定・中」に対応する特徴量ベクトルの分布３８３の中心ベクトル３８２（Vμ1-29）と近接しており、上述したVc1の感情、状態、およびその強度特定処理の結果、「安定・中」を示す特徴量ベクトルであると特定される。
【０１３９】
次に図３６を参照して、Vc2の感情、状態、およびその強度の特定処理について説明する。この処理は端末Bの学習部９４により実行される。
【０１４０】
ステップＳ２９１において、端末Bの学習部９４は、蓄積部９５に蓄積されている使用者aに対応する体動情報の特徴量ベクトルの分布fvc2、分布の中心ベクトルVμ2、分布の標準偏差ベクトルVσ2を読み出す。
【０１４１】
上述したように感情・状態は、表１に示す通り１２通りに分別され、さらに、各感情・状態は、強、中、弱の３種類の強度に分けられ、感情情報は３６通りある。従って、fvc2,Vμ2,Vσ2も感情情報に対応してそれぞれ３６通り存在する。
【０１４２】
ステップＳ２９２において、端末Bの学習部９４は、変数Qに１をセットし、ステップＳ２９３に進み、ベクトルVμ2(Q)とステップＳ１７８（図２８）で生成した特徴量ベクトルVc2の内積値を算出し、内積値に対応させてVμ2(Q)を記憶する。そして、ステップＳ２９４に進み、Qの値を１だけインクリメントし、ステップ２９５において、全ての感情情報について計算したか否か、すなわち、３６種類の中心ベクトルVμ2について、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップＳ２９３に戻り、以降の処理を繰り返し実行する。
【０１４３】
全ての感情情報に対応する３６種類の中心ベクトルVμ２について内積値の計算が終わると、端末Bの学習部９４の中にある図示せぬ記憶部には、図３７のようなデータが記憶されている。ステップＳ２９６において、端末Bの学習部９４は、内積値の大きい順にデータをソートする。
【０１４４】
ステップＳ２９７において、端末Bの学習部９４は、変数Ｒに１をセットし、Ｓ２９８において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップＳ２９９に進み、ソートしたデータを読み出す。図３７の例では、内積値が最も大きい「安定・中」に対応する特徴量ベクトルの中心ベクトルVμ2-29が最初に読み出される。
【０１４５】
ステップＳ２７０において、端末Bの学習部９４は、変数ｍに１をセットし、ステップＳ２７１に進み、Vμ2(R)m−Vσ2(R)m≦Vc2m≦Vμ2(R)m＋Vσ2(R)mの条件を満たしているか否かを判定する。ここで、Vμ2(R)mは、ベクトルVμ2(R)のm番目の成分を表し、Vσ2(R)m，Vc2mもそれぞれ同様にベクトルVσ2，Vc2のｍ番目の成分を表す。体動情報の特徴量ベクトルは上述したようにVelm,Dの２個の成分により構成されている。ｍの値が１のとき、Vμ2(R)，Vσ2(R)，Vc2の各ベクトルのVelm成分が抽出され、処理が行われる。
【０１４６】
ステップＳ３０１において、Vμ2(R)m−Vσ2(R)m≦Vc2m≦Vμ2(R)m＋Vσ2(R)mの条件を満たしていないと判定された場合、端末Bの学習部９４は、ステップＳ３０６に進み、Ｒの値を１だけインクリメントしてステップＳ２９８に戻り、以降の処理を繰り返し実行する。ステップＳ３０１において、Vμ2(R)m−Vσ2(R)m≦Vc2m≦Vμ2(R)m＋Vσ2(R)mの条件を満たしていると判定された場合、端末Bの学習部９４は、ステップＳ３０２に進み、ｍの値を１だけインクリメントして、ステップＳ３０３に進み、ｍの値が３と等しいか否かを判定し、ｍの値が３と等しくないと判定された場合、ステップＳ３０１に戻り、以降の処理を繰り返し実行する。
【０１４７】
ステップＳ３０３において、ｍの値が３と等しいと判定された場合、すなわち、Vμ2(R)，Vσ2(R)，Vc2の各ベクトルを構成する２個の成分について、全てVμ2(R)m−Vσ2(R)m≦Vc2m≦Vμ2(R)m＋Vσ2(R)mの条件を満たしていると判定された場合、端末Bの学習部９４は、ステップＳ２７４に進み、Vc2はＲに対応する感情情報E2に属しているものと特定する。Ｒが１のとき、Ｒに対応する感情情報E2は「安定・中」となる。
【０１４８】
ステップＳ２９８において、全ての感情情報に関してデータが読み出されたと判定された場合、端末Bの学習部９４は、Vc2の感情、状態、およびその強度は特定不能として処理を終了する。
【０１４９】
図３８は、使用者aの各感情情報に対応する体動情報の特徴量ベクトルを示した図である。この図は、Velm軸、D軸からなる２次元空間として示されている。図２８のステップＳ１７８において生成された特徴量ベクトル４０１（Vc2）は、「安定・中」に対応する特徴量ベクトルの分布４０３の中心ベクトル４０２（Vμ2-29）と近接しており、上述したVc2の感情、状態、およびその強度特定処理の結果、「安定・中」を示す特徴量ベクトルであると特定される。
【０１５０】
次に、図３９を参照して、特定結果出力再計算処理について説明する。この処理は端末Bの学習部９４により実行される。ステップＳ３２１において端末Bの学習部９４は、Vc1により特定された感情情報E1とVc2により特定された感情情報E2が等しいか否かを特定し、E1とE2が等しくないと判定された場合、ステップＳ３２２に進み、ステップＳ１７８（図２８）において生成された体動情報の特徴量ベクトルVc2をE1に属するものとして処理結果を訂正する。E1は、脈拍情報をもとに生成された特徴量ベクトルVc1により特定された、感情情報であり、E2は体動情報により特定された感情情報であり、E1とE2が異なる場合もあり得る。この場合、ベクトルを構成する成分が多い方、すなわち次元数が大きい方のベクトルによる特定結果が選択される。すなわち、５次元ベクトルであるVc1により特定された感情情報E1が選択され、２次元ベクトルであるVc2は、感情情報E1を示すものとして処理結果が訂正される。
【０１５１】
ステップＳ３２３において、端末Bの学習部９４は、特定結果を出力制御部１１４に出力し、ステップＳ３２４において、使用者aの感情情報E1に対応する脈拍情報の特徴量ベクトルの分布fvc1、分布の中心ベクトルVμ1、分布の標準偏差ベクトルVσ1と、使用者aの感情情報E1対応する体動情報の特徴量ベクトルの分布fvc2、分布の中心ベクトルVμ2、分布の標準偏差ベクトルVσ2を再計算し、蓄積する。すなわち、ステップＳ１７７とステップＳ１７８（図２８）で生成された特徴量ベクトルVc1とVc2は、それぞれ蓄積部に蓄積されている使用者aの「安定・中」を示す脈拍情報の特徴量ベクトル、体動情報の特徴量ベクトルに加えられ、あらたに、fvc1、Vμ1、およびVσ1、並びにfvc2、Vμ2、およびVσ2が計算され、蓄積部９５に蓄積される。
【０１５２】
このようにして、脈拍情報と体動情報から感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴量ベクトルの情報が、あらたに蓄積される。
【０１５３】
ここまで、端末Bが、端末Aから送信された使用者aの脈拍情報と体動情報から特徴量ベクトルVc１、Vc２を生成し、感情、状態、およびその強度を特定する処理について説明したが、同様に端末Bは、使用者bについての脈拍情報と体動情報から特徴量ベクトルを生成し、感情、状態、およびその強度を特定することもできる。
【０１５４】
また、端末Aも同様にして、使用者aと使用者bの感情、状態、およびその強度を特定することができる。
【０１５５】
次に、図４０と図４１を参照して、情報出力処理について説明する。ステップＳ３４１において、システム制御部９７は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待機する。出力情報の選択は、例えば、端末のディスプレイ上に表示されたメニューを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の４種類がある。
【０１５６】
ステップＳ３４１において、出力情報が選択されたと判定された場合、システム制御部９７は、ステップＳ３４２に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップＳ３４３において、特定結果に対応する２ビットの選択情報００を出力制御部１１４に送信する。
【０１５７】
ステップＳ３４４において、出力制御部１４４は、感情、状態、およびその強度の特定結果を出力する。例えば、端末のディスプレイ上に「中の安定を示しているようです。」という文字が出力される。
【０１５８】
ステップＳ３４２において、特定結果が選択されていないと判定された場合、システム制御部９７は、ステップＳ３４５に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステップＳ３４６に進み、特徴量に基づく情報に対応する２ビットの選択情報０１を出力制御部１１４に送信する。
【０１５９】
ステップＳ３４７において、出力制御部１１４は、特徴量（Tppg+，Tppg-,Tppgi,Appg+,Appg-）を特徴抽出部１１２から取得し、ステップＳ３４８に進み、光呈示部駆動信号を生成する。すなわち、出力の振幅をAppg+とし、出力ON時間をTppg+とし、出力OFF時間をTppg-として、図４２に示されるような正弦波信号を生成する。そして、ステップＳ３４９に進み、出力制御部１１４は、光提示部１９２を駆動させる。
【０１６０】
ステップＳ３５０において、出力制御部１１４は、特徴量（Vel，ΔV）を特徴抽出部１１２から取得し、ステップＳ３５１に進み、移動オブジェクトの移動速度をVelとして、移動距離ΔVとした駆動信号を生成する。そして、ステップＳ３５２に進み、移動オブジェクト１５２を駆動させる。
【０１６１】
ステップＳ３４５において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部９７は、ステップＳ３５３において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、波形情報に対応する２ビットの選択情報１０を出力制御部１１４に送信する。ステップＳ３５６において、出力制御部１１４は、特徴抽出部１１２からサンプリングされた脈拍情報を取得し、波形信号を生成し、ステップＳ３５７において光呈示部１９２を駆動させる。
【０１６２】
ステップＳ３５８において、出力制御部１１４は、特徴抽出部１１２からサンプリングされた脈拍情報を取得し、波形信号を生成し、ステップＳ３５９において移動オブジェクト１５２を駆動させる。
【０１６３】
ステップＳ３５３において、波形情報が選択されていないと判定された場合、システム制御部９７は、ステップＳ３６０に進み、蓄積情報が選択されたか否かを判定し、蓄積情報が選択されたと判定された場合、ステップＳ３６１に進み、蓄積情報に対応する２ビットの選択情報０１を出力制御部１１４に送信する。
【０１６４】
蓄積情報が選択された場合、端末のディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報を出力するかを選択することができる。すなわち、脈拍情報、体動情報などの情報の種類inf1とinf2、個人を特定する情報PID、感情情報Eが選択される。例えば、inf１として脈拍情報、inf2として体動情報、PIDとして個人a、Eとして「強い好」などが選択される。
【０１６５】
ステップＳ３６２において、システム制御部９７は、情報の種類inf1，inf2、個人を特定する情報PID、感情情報Eが選択されたか否かを判定し、選択されたと判定されるまで待機する。
【０１６６】
ステップＳ３６３において、システム制御部９７は、使用者に選択された情報に基づいて（inf1，inf2，PID，E）の情報を生成し、出力制御部１１４に送信する。
【０１６７】
ステップＳ３６４において出力制御部１１４は、（inf1，inf2，PID，E）に基づいて、蓄積部９５から脈拍情報の中心ベクトルと体動情報の中心ベクトルを取得する。この場合、蓄積部に蓄積されている個人aの「強い好」に対応する脈拍情報の特徴量ベクトルの分布の中心ベクトルVμ1（Tppg+，Tppg-,Tppgi,Appg+,Appg-）、個人aの「強い好」に対応する体動情報の特徴量ベクトルの分布の中心ベクトルVμ2（Velm，D）が取得される。
【０１６８】
ステップＳ３６５において、出力制御部１１４は、中心ベクトルVμ1に基づいて、光呈示部駆動信号を生成する。すなわち、出力の振幅をAppg+とし、出力ON時間をTppg+とし、出力OFF時間をTppg-として、図４３に示されるような正弦波４４１の信号を生成し、ステップＳ３６５において光呈示部１９２を駆動信号に基づいて、３回駆動させる。
【０１６９】
ステップＳ３６６において、出力制御部１１４は、中心ベクトルVμ2に基づいて移動オブジェクトの移動速度をVelとして、移動距離をDとした駆動信号を生成し、ステップＳ３６７において移動オブジェクト１５２を駆動させる。
【０１７０】
ステップＳ３６０において、蓄積情報が選択されていないと判定された場合、システム制御部９７は、ステップＳ３６８に進み、エラー処理を実行し、処理を終了する。
【０１７１】
このようにして、使用者は、生体情報から特定された感情、状態、およびその強度を表示させ、認識することができる。また、光の点滅させたり、オブジェクトを移動させたりすることにより、生体情報を体感することができる。
【０１７２】
実施の形態２
【０１７３】
図４４に本発明の第２の情報処理装置の構成例を示す。この情報処理装置は、パーソナルコンピュータなどに適用することができる。この情報処理装置には、言語情報、キーボードの振動情報の入力を受け付ける入力部３０１、入力部３０１から入力された情報を処理する処理部３０３、処理部３０３から出力された特徴情報と感情情報に基づいて、学習、特定を行う学習部３０４、学習部３０４から出力された学習情報、特定情報を蓄積する蓄積部３０５、処理部３０３から出力された出力情報に基づいて、情報を出力する出力部３０２、通信を行う通信部３０６、および各部を制御するシステム制御部３０７が設けられている。
【０１７４】
処理部３０３には、入力部３０１から入力された情報を、言語情報、またはキーボード振動情報に分別する情報弁別部３２１、キーボード振動情報から特徴情報を抽出する特徴抽出部３２２、言語情報から感情情報を抽出する意味抽出部３２３、および出力部３０２に出力情報を出力する出力制御部３２４が設けられている。通信部３０６には、情報の送信を行う情報送信部３２５、情報の受信を行う情報受信部３２６が設けられている。
【０１７５】
図４５に入力部３０１の構成例を示す。この例では、キーボード３４１、使用者がキーボードを打鍵するときの振動を検知する振動センサ３４２、振動センサ３４２からの信号を増幅する電源アンプ部３４３により構成されている。
【０１７６】
図４６に出力部３０２の構成例を示す。この例では、振動モータ３６２、所定の信号に基づいて振動する振動呈示部３６２、振動呈示部を駆動する電源アンプ部３６１により構成されている。
【０１７７】
使用者aがもっている情報処理装置を端末Aとし、使用者bがもっている情報処理装置を端末Bとして、使用者aと使用者bがそれぞれの端末を用いて、相互に通信を行う場合、図４７に示される手順で情報の送受信が行われる。最初に端末Aは、端末Bに接続要求を送信し、それに対応して端末Bは端末Aに接続応答を送信する。その後、端末Aと端末Bの間で、メール、チャットなどの文字情報などを送受信する。
【０１７８】
次に端末Aは振動情報（この例の場合、使用者がキーボードを打鍵するときの振動）の送受信の初期設定を行い、端末Bに送受信要求を送信する。このとき、実施の形態１の場合と同様に、端末Aから図１１に示される送信設定情報と受信設定情報が送信される。
【０１７９】
端末Aから振動情報の送信要求を受け取った端末Bは、振動情報送受信設定の変更を行い、端末Aに応答を送信する。
【０１８０】
そして端末Aから端末Bに使用者aの振動情報が送信され、端末Bから端末Aに使用者bの振動情報が送信される。端末A、端末Bにはそれぞれ振動情報が蓄積される。
【０１８１】
端末Aから端末Bに接続終了要求が送信されると、端末Bはそれに応答し、通信は終了する。
【０１８２】
このようにして、端末Aと端末Bの間で通信が行われ、振動情報が蓄積される。振動情報が充分に蓄積された後は、図４８に示されるように情報の送受信が行われる。すなわち、端末Aと端末Bとの間で振動情報が送受信されると、端末Aと端末Bにおいて、使用者の感情・状態の特定処理が行われる。
【０１８３】
次に図４９を参照して、端末Bにおける振動情報蓄積処理について説明する。最初に端末Bのシステム制御部３０７は、ステップＳ３８１において、端末Aとの通信開始時に、通信相手である端末Aの使用者aを特定する情報（例えば、氏名、ニックネームなど）PIDを取得する。ステップＳ３８２において、端末Bのシステム制御部３０７は、情報弁別部３２１に、端末Aのキーボードからキー入力がされたか否かを判定させ、入力されたと判定されるまで待機する。
【０１８４】
ステップＳ３８２において、キー入力がされたと判定された場合、ステップＳ３８３に進み、端末Bのシステム制御部３０７は、特徴抽出部３２２に、端末Aから送信されてきた使用者aのキーボード打鍵時の振動情報のサンプリング処理を開始させる。そして、ステップＳ３８４に進み、端末Bのシステム制御部３０７は、意味抽出部３２３に、入力された文字情報を解析させる。ステップＳ３８５において、端末Bのシステム制御部９７は、解析された文字情報の中に感情、状態、およびその強度を表す語句があるか否かを判定し、感情、状態、およびその強度を表す語句がないと判定された場合、ステップＳ３８２に戻り以降の処理を繰り返し実行する。感情・状態を表す語句は実施の形態１の場合と同様に、図２３に示されるようなものであり、強度を示す語句は図２４に示されるようなものである。
【０１８５】
ステップＳ３８５において、感情、状態、およびその強度を示す語句があると判定された場合、端末Bのシステム制御部３０７は、ステップＳ３８６において、認識された語句の主語は使用者か否か、すなわち、解析された語句が、使用者aの感情、状態、およびその強度を表す語句であるか否かを判定し、主語は使用者ではないと判定された場合、ステップＳ３８２に戻り、以降の処理を繰り返し実行する。
【０１８６】
ステップＳ３８６において、主語は使用者であると判定された場合、端末Bのシステム制御部３０７は、ステップＳ３８７において、文字情報が１フレーズ分入力されたか否かを判定し、１フレーズ分入力されたと判定されるまで待機する。
【０１８７】
ステップＳ３８７において、１フレーズ分入力されたと判定された場合、端末Bのシステム制御部３０７は、ステップＳ３８８に進み、特徴抽出部３２２に、キーボード打鍵時の振動情報のサンプリング処理を終了させる。
【０１８８】
なお、キーボード打鍵時の振動情報のサンプリング処理は、端末Aの特徴抽出部３２２において行い、サンプリングした結果を端末Bに送信してもよい。
【０１８９】
そして、ステップＳ３８９に進み、端末Bのシステム制御部３０７は、意味抽出部３２３で、感情情報Eを抽出する。
【０１９０】
使用者aが「とてもうれしい」と入力した場合、「うれしい」という語句に対応する感情・状態は喜びであり、「とても」という語句に対応する強度は強であると認識され、感情情報Eとして、「強い喜び」が抽出される。
【０１９１】
ステップＳ３９０において、端末Bのシステム制御部３０７は、特徴抽出部３２２で使用者aの脈拍情報に基づいて、特徴ベクトルVcを生成し、ステップ３９１に進み、個人を特定する情報PID、感情情報Eに対応する振動情報を蓄積部３０５から読み出す。この場合、使用者aの強い喜びに対応する振動情報の特徴ベクトルが読み出される。そして、ステップＳ３９２に進み、端末Bのシステム制御部３０７は、学習部３０４に、読み出された特徴ベクトルに新たに生成された特徴ベクトルVcを加えて、ベクトルの分布fvc、分布の中心ベクトルVμ、標準偏差ベクトルVσを再計算させ、ステップＳ３９３において、再計算した結果を蓄積部３０５に記憶する。
【０１９２】
次に図５１と図５２を参照して、振動情報の特徴ベクトルVcの生成処理について説明する。この処理は、端末Bの特徴抽出部３２２で行われる。ステップＳ４０１において、端末Bの特徴抽出部３２２は、サンプリングした振動情報を読み出し、その後、実施の形態１の場合と同様に、ステップＳ４０２において、図１６の極性判定処理を行い、ステップＳ４０３に進み、図１７のTV出力処理を行い、ステップＳ４０４において、図１８のVmin，Vmax判定処理を行う。
【０１９３】
キーボード打鍵時の振動情報の波形は図５４に示す波形４９１のようになる。この波形４９１には、使用者がキーが押下されることにより、細かく振動する部分４９２、４９４と使用者がキーに触れていないので、ほとんど振動しない部分４９３、４９５が存在する。細かく振動する部分４９２、４９４をサンプリングし、極性判定処理、TV出力処理を行うと、Tv+、Tv0、Tv-、Tv0、Tv+．．．のような出力を得る。一方、ほとんど振動しない部分４９３、４９５をサンプリングし、極性判定処理、TV出力処理を行うと、Tv0だけが出力され、このTv0はかなり大きな値となる。従って、所定の時間である閾値Thより、小さいTv0が出力されたとき、使用者はキーを押下しており、Thより大きいTv0が出力されたとき、使用者はキーを押下していないことが分かる。
【０１９４】
図５２のステップＳ４０５において、端末Bの特徴抽出部３２２は、変数ｎとＰに１をセットし、ステップＳ４０６に進みTv0(P)が閾値Thより大きいか否かを判定し、Tv0(P)がThより大きくないと判定された場合、ステップＳ４０７に進み、Tstr(n)に、Tstr(n)＋Tv+(P)＋Tv-(P)をセットする。Tsr(n)の初期値は０である。
【０１９５】
ステップＳ４０８において、端末Bの特徴抽出部３２２は、Vmax(P)が、Imax(n)より大きいか否かを判定する。Imax(n)の初期値は０である。ステップＳ４０８においてVmax(P)が、Imax(n)より大きいと判定された場合、端末Bの特徴抽出部３２２は、ステップＳ４０９に進み、Imax(n)にVmax(P)をセットし、ステップＳ４１０においてＰの値を１だけインクリメントして、ステップＳ４０６に戻り、以降の処理を繰り返し実行する。ステップＳ４０８においてVmax(P)が、Imax(n)より大きくないと判定された場合、ステップＳ４０９の処理はスキップされる。
【０１９６】
ステップＳ４０６において、Tv0(P)がThより大きいと判定された場合、端末Bの特徴抽出部３２２は、ステップＳ４１１に進み、Tint(n)にTv0(P)をセットし、Ｐの値を１だけインクリメントし、特徴量ベクトルVc1（Tstr(n)，Tint(n),Imax(n)）を生成する。ステップＳ４１３において、端末Bの特徴抽出部３２２は、Tv0(P)があるか否かを判定し、Tv0(P)があると判定された場合、ステップＳ４１４に進み、ｎの値を１だけインクリメントし、ステップＳ４０６に戻り、以降の処理を繰り返し実行する。
【０１９７】
ステップＳ４１３において、Tv0(P)がないと判定された場合、端末Bの特徴抽出部３２２は、処理を終了する。
【０１９８】
このようにして、図５４に示す波形４９１から図５５Ａに示されるTstr(1)５１１、Tint(1)５１２、Tstr(2)５１３、Tint(2)５１４、Tstr(3)５１５、Tint(3)５１６、Tstr(4)５１７、Tint(4)５１８、Tstr(5)５１１、Tint(5)５１２が得られる。Tstr(1)乃至Tstr(5)は、使用者によりキーが押下されている時間を示し、Tint(1)乃至Tint(5)はキーが押下される間隔を示す。この例では、キーが５回押下（打鍵）されたことが分かる。
【０１９９】
また、図５４に示す波形４９１から図５５Ｂに示されるImax(1)５３１、Imax(2)５３２、Imax(3)５３３、Imax(4)５３４、Imax(5)５３５が得られる。Imax(1)乃至Imax(5)はそれぞれ、１乃至５回目の打鍵時における最大振動強度である。
【０２００】
このようにして、使用者aの強い喜びに対応する振動情報の特徴ベクトルVcが生成される。
【０２０１】
ここまで、端末Bが、端末Aから送信された使用者aのキーボードを打鍵時の振動情報から特徴量ベクトルVcを生成し、蓄積する処理について説明したが、同様に端末Bは、使用者bのキーボード打鍵時の振動情報から特徴量ベクトルを生成し、蓄積する。その結果、端末Bの蓄積部９５には、図５３にしめされるような、キーボードの振動情報に関する学習結果４６１がそれぞれ、使用者aと使用者bに分けて蓄積される。
【０２０２】
また、端末Aも同様にして、キーボードの振動情報に関する学習結果をそれぞれ、使用者aと使用者bに分けて蓄積することができる。
【０２０３】
上述した振動情報蓄積処理を繰り返し行い、振動情報が充分蓄積された後は、振動情報をもとに、使用者の感情、状態、およびその強度を特定することができる。
【０２０４】
次に図５６を参照して、端末Bによる感情状態の特定処理について説明する。
【０２０５】
ステップＳ４３１において、端末Bのシステム制御部３０７は、端末Aとの通信開始時に、通信相手である端末Aの使用者aを特定する情報PIDを取得する。ステップＳ４３２において、端末Bのシステム制御部３０７は、情報弁別部３２１に、端末Aから送信されてきた使用者aのキー入力情報が入力されたか否かを判定させ、入力されたと判定されるまで待機する。
【０２０６】
ステップＳ４３２において、キー入力情報が入力されたと判定された場合、ステップＳ４３３に進み、端末Bのシステム制御部９７は、特徴抽出部３２２に、端末Aから送信されてきた使用者aのキーボード打鍵時の振動情報のサンプリング処理を開始させる。そして、ステップＳ４３４に進み、端末Bのシステム制御部３０７は、意味抽出部３２３に１フレーズ分入力された否かを判定させ、１フレーズ分入力されたと判定されるまで待機する。ステップＳ４３４において、１フレーズ分入力されたと判定された場合、端末Bのシステム制御部３０７は、特徴抽出部３２２に、端末Aから送信されてきた使用者aのキーボード打鍵時の振動情報のサンプリング処理を終了させる。
【０２０７】
なお、キーボード打鍵時の振動情報のサンプリング処理は、端末Aの特徴抽出部３２２において行い、サンプリングした結果を端末Bに送信してもよい。
【０２０８】
ステップＳ４３６において、端末Bのシステム制御部３０７は、特徴抽出部１１２に、特徴ベクトルVchの生成処理を実行させ、ステップＳ４３７に進み、学習部３０４にVchの感情、状態、およびその強度の特定処理を実行させ、ステップＳ４３８に進み、特定結果出力再計算処理を実行させる。
【０２０９】
次に図５７と図５８を参照して、Vch生成処理について説明する。この処理は端末Bの特徴抽出部３２２において実行される。ステップＳ４５１において、端末Bの特徴抽出部３２２は、サンプリングした振動情報を読み出し、その後、実施の形態１の場合と同様に、ステップＳ４５２において、図１６の極性判定処理を行い、ステップＳ４５３に進み、図１７のTV出力処理を行い、ステップＳ４５４において、図１８のVmin，Vmax判定処理を行う。
【０２１０】
図５８のステップＳ４５５において、端末Bの特徴抽出部３２２は、変数ｎとＰに１をセットし、ステップＳ４５６に進みTv0(P)が閾値Thより大きいか否かを判定し、Tv0(P)がThより大きくないと判定された場合、ステップＳ４５７に進み、Tstr(n)に、Tstr(n)＋Tv+(P)＋Tv-(P)をセットする。Tsr(n)の初期値は０である。
【０２１１】
ステップＳ４５８において、端末Bの特徴抽出部３２２は、Vmax(P)が、Imax(n)より大きいか否かを判定する。Imax(n)の初期値は０である。ステップＳ４５８においてVmax(P)が、Imax(n)より大きいと判定された場合、端末Bの特徴抽出部３２２は、ステップＳ４５９に進み、Imax(n)にVmax(P)をセットし、ステップＳ４６０においてＰの値を１だけインクリメントして、ステップＳ４５６に戻り、以降の処理を繰り返し実行する。ステップＳ４５８においてVmax(P)が、Imax(n)より大きくないと判定された場合、ステップＳ４５９の処理はスキップされる。
【０２１２】
ステップＳ４５６において、Tv0(P)がThより大きくいと判定された場合、端末Bの特徴抽出部３２２は、ステップＳ４６１に進み、Tint(n)にTv0(P)をセットし、Ｐの値を１だけインクリメントし、ステップＳ４６２において特徴量ベクトルVc（Tstr(n)，Tint(n),Imax(n)）を生成する。ステップＳ４６３において、端末Bの特徴抽出部３２２は、Tv0(P)があるか否かを判定し、Tv0(P)があると判定された場合、ステップＳ４６５に進み、ｎの値を１だけインクリメントし、ステップＳ４５６に戻り、以降の処理を繰り返し実行する。
【０２１３】
ステップＳ４６３において、Tv0(P)がないと判定された場合、端末Bの特徴抽出部３２２は、ステップＳ４６４に進み、Vcの平均ベクトルVchを生成する。
【０２１４】
例えば、使用者aが端末Aから「それはどうかな・・・」を“ｓｏｒｅｈａｄｏｕｋａｎａ・・・”とローマ字で入力した場合、その振動情報が端末Bに送信され、端末Bにおいて、最後の“・”を除いた１５文字のキー入力に対応した１５個の特徴量ベクトルVcが生成される。この１５個の特徴量ベクトルVcの平均ベクトルがVchとなる。
【０２１５】
次に図５９を参照して、Vchの感情、状態、およびその強度の特定処理について説明する。この処理は、端末Bの学習部３０４において実行される。
【０２１６】
ステップＳ４８１において、端末Bの学習部３０４は、蓄積部３０５に蓄積されている使用者aに対応する振動情報の特徴量ベクトルの分布fvc、分布の中心ベクトルVμ、分布の標準偏差ベクトルVσを読み出す。
【０２１７】
上述したように感情情報は３６通りあり、fvc,Vμ,Vσも感情情報に対応してそれぞれ３６通り存在する。
【０２１８】
ステップＳ４８２において、端末Bの学習部３０４は、変数Qに１をセットし、ステップＳ４８３に進み、ベクトルVμ(Q)とステップＳ４３６（図５６）で生成した特徴量ベクトルVchの内積値を算出し、内積値に対応させてVμ(Q)を記憶する。そして、ステップＳ４８４に進み、端末Bの学習部３０４は、Qの値を１だけインクリメントし、ステップ４８５において、全ての感情情報について計算したか否か、すなわち、３６種類の中心ベクトルVμについて、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップＳ４８３に戻り、以降の処理を繰り返し実行する。
【０２１９】
全ての感情情報に対応する３６種類の中心ベクトルVμについて内積値の計算が終わると、端末Bの学習部３０４の中にある図示せぬ記憶部には、実施の形態１の場合と同様に感情情報、内積値、中心ベクトルVμの種類、内積値の大きさの順序が含まれたデータが記憶されている。ステップＳ４８６において、端末Bの学習部３０４は、内積値の大きい順にデータをソートする。
【０２２０】
ステップＳ４８７において、端末Bの学習部３０４は、変数Ｒに１をセットし、Ｓ４８８において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップＳ４８９に進み、ソートしたデータを読み出す。ステップＳ４９０において、変数ｍに１をセットし、ステップＳ４９１に進み、Vμ(R)m−Vσ(R)m≦Vchm≦Vμ(R)m＋Vσ(R)mの条件を満たしているか否かを判定する。ここで、Vμ(R)mは、ベクトルVμ(R)のm番目の成分を表し、Vσ(R)m，Vchmもそれぞれ同様にベクトルVσ，Vchのｍ番目の成分を表す。振動情報の特徴量ベクトルは上述したようにTstr，Tint,Imaxの３個の成分により構成されている。ｍの値が１のとき、Vμ(R)，Vσ(R)，Vcの各ベクトルのTstr成分が抽出され、処理が行われる。
【０２２１】
ステップＳ４９１において、Vμ(R)m−Vσ(R)m≦Vchm≦Vμ(R)m＋Vσ(R)mの条件を満たしていないと判定された場合、端末Bの学習部３０４は、ステップＳ４９６に進み、Ｒの値を１だけインクリメントして、ステップＳ４８８に戻り、以降の処理を繰り返し実行する。ステップＳ４９１において、Vμ(R)m−Vσ(R)m≦Vchm≦Vμ(R)m＋Vσ(R)mの条件を満たしていると判定された場合、端末Bの学習部３０４は、ステップＳ４９２に進み、ｍの値を１だけインクリメントして、ステップＳ４９３に進み、ｍの値が４と等しいか否かを判定し、ｍの値が４と等しくないと判定された場合、ステップＳ４９１に戻り、以降の処理を繰り返し実行する。
【０２２２】
ステップＳ４９３において、ｍの値が４と等しいと判定された場合、すなわち、Vμ(R)，Vσ(R)，Vchの各ベクトルを構成する３個の成分について、全て、Vμ(R)m−Vσ(R)m≦Vchm≦Vμ(R)m＋Vσ(R)mの条件を満たしていると判定された場合、端末Bの学習部３０４は、ステップＳ４９４に進み、VchはＲに対応する感情情報Eに属しているものと特定する。
【０２２３】
ステップＳ４８８において、全ての感情情報に関してデータを読み出したと判定された場合、端末Bの学習部３０４は、Vchの感情、状態、およびその強度を特定不能として処理を終了する。
【０２２４】
図６０は、使用者aの各感情情報に対応する振動情報の特徴量ベクトルを示した図である。この図は、Tstr軸、Tint軸、Imax軸からなる３次元空間として示されている。図５６のステップＳ４３６において生成された特徴量ベクトル５５５（Vch）は、「嫌悪・弱」に対応する特徴量ベクトルの分布５５７の中心ベクトル５５６（Vμ15）と近接しており、上述したVchの感情、状態、およびその強度特定処理の結果、「嫌悪・弱」を示す特徴量ベクトルであると特定される。
【０２２５】
このようにして、特徴量ベクトルVchから、使用者aの感情、状態、およびその強度が特定される。
【０２２６】
次に図６１を参照して、特定結果出力再計算処理について説明する。この処理は、端末Bの学習部３０４において実行される。ステップＳ５１１において、端末Bの学習部３０４は、特定結果を出力制御部３２４に出力し、ステップＳ５１２において使用者aの感情情報Eに対応する振動情報の特徴量ベクトルの分布fvc、分布の中心ベクトルVμ、分布の標準偏差ベクトルVσを再計算し、蓄積する。すなわち、ステップＳ４３６（図５６）で生成された特徴量ベクトルVchは、蓄積部に蓄積されている使用者aの「嫌悪・弱」を示す振動情報の特徴量ベクトルに加えられ、あらたに、fvc、Vμ、およびVσが計算され、蓄積部３０５に蓄積される。
【０２２７】
このようにして、振動情報から感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴量ベクトルの情報が、あらたに蓄積される。
【０２２８】
ここまで、端末Bが、端末Aから送信された使用者aのキーボード打鍵時の振動情報から特徴量ベクトルVchを生成し、感情、状態、およびその強度を特定する処理について説明したが、同様に端末Bは、使用者bについてのキーボード打鍵時の振動情報から特徴量ベクトルを生成し、感情、状態、およびその強度を特定することもできる。
【０２２９】
また、端末Aも同様にして、使用者aと使用者bの感情、状態、およびその強度を特定することができる。
【０２３０】
次に、図６２と図６３を参照して、情報出力処理について説明する。ステップＳ５３１において、システム制御部３０７は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待機する。出力情報の選択は、実施の形態１の場合と同様に、例えば、端末のディスプレイ上に表示されたメニューを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の４種類がある。
【０２３１】
ステップＳ５３１において、出力情報が選択されたと判定された場合、システム制御部３０７は、ステップＳ５３２に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップＳ５３３において、特定結果に対応する２ビットの選択情報００を出力制御部３２４に送信する。
【０２３２】
ステップＳ５３４において、出力制御部３２４は、感情、状態、およびその強度の特定結果を出力する。例えば、端末のディスプレイ上に「弱い嫌悪を示しているようです。」という文字が出力される。
【０２３３】
ステップＳ５３２において、特定結果が選択されていないと判定された場合、システム制御部３０７は、ステップＳ５３５に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステップＳ５３６に進み、特徴量に基づく情報に対応する２ビットの選択情報０１を出力制御部３２４に送信する。
【０２３４】
ステップＳ５３７において、出力制御部３２４は、特徴量（Tstr，Tint,Imax）を特徴抽出部３２２から取得し、ステップＳ５３８に進み、振動呈示部駆動信号を生成する。すなわち、出力のレベルをImaxとし、出力ON時間をTstrとし、出力OFF時間をTintとして、図６４に示されるような矩形波信号を生成する。そして、ステップＳ５３９に進み、出力制御部３２４は、振動提示部３６２を駆動させる。
【０２３５】
ステップＳ５３５において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部３０７は、ステップＳ５４０において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、波形情報に対応する２ビットの選択情報１０を出力制御部３２４に送信する。ステップＳ５４２において、出力制御部３２４は、特徴抽出部３２２からサンプリングされた振動情報を取得し、波形信号を生成し、ステップＳ５４３において振動呈示部３６２を駆動させる。
【０２３６】
ステップＳ５４０において、波形情報が選択されていないと判定された場合、システム制御部３０７は、ステップＳ５４４に進み、蓄積情報が選択されたか否かを判定し、蓄積情報が選択されたと判定された場合、ステップＳ５４５に進み、蓄積情報に対応する２ビットの選択情報０１を出力制御部３２４に送信する。
【０２３７】
蓄積情報が選択された場合、端末のディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報を出力するかを選択することができる。すなわち、キーボードの振動情報などの情報の種類inf、個人を特定する情報PID、感情情報Eが選択される。例えば、infとしてキーボードの振動情報、PIDとして個人a、Eとして「強い活性」などが選択される。
【０２３８】
ステップＳ５４６において、システム制御部３０７は、情報の種類inf、個人を特定する情報PID、感情情報Eが選択されたか否かを判定し、選択されたと判定されるまで待機する。
【０２３９】
ステップＳ５４７において、システム制御部３０７は、使用者に選択された情報に基づいて（inf，PID，E）の情報を生成し、出力制御部３２４に送信する。
【０２４０】
ステップＳ５４８において出力制御部３２４は、（inf，PID，E）に基づいて、蓄積部３０５からキーボードの振動情報の中心ベクトルを取得する。この場合、蓄積部に蓄積されている個人aの「強い活性」に対応する脈拍情報の特徴量ベクトルの分布の中心ベクトルVμ（Tstr，Tint,Imax）が取得される。
【０２４１】
ステップＳ５４９において、出力制御部３２４は、中心ベクトルVμに基づいて、振動呈示部駆動信号を生成する。すなわち、出力のレベルをImaxとし、出力ON時間をTstrとし、出力OFF時間をTintとして、図６５に示されるような矩形波５９１の信号を生成し、ステップＳ５５０において振動呈示部３６２を駆動信号に基づいて、３回駆動させる。
【０２４２】
ステップＳ５４４において、蓄積情報が選択されていないと判定された場合、システム制御部３０７は、ステップＳ５５１に進み、エラー処理を実行して、処理を終了する。
【０２４３】
このようにして、使用者は、振動情報から特定された感情、状態、およびその強度を表示させ、認識することができる。また、振動呈示部を駆動させることにより、振動情報を体感することができる。
【０２４４】
実施の形態３
【０２４５】
図６６に本発明の第３の情報処理装置の構成例を示す。この情報処理装置は、パーソナルコンピュータなどに適用することができる。この情報処理装置には、感情申告情報、マウスクリック情報、マウス握り圧情報、環境温度情報の入力を受け付ける入力部６１１、入力部６１１から入力された情報を処理する処理部６１３、処理部６１３から出力された特徴情報と感情態情報に基づいて、学習、特定を行う学習部６１４、学習部６１４から出力された学習情報、特定情報を蓄積する蓄積部６１５、処理部６１３から出力された出力情報に基づいて、情報を出力する出力部６１２、通信を行う通信部６１６、および各部を制御するシステム制御部６１７が設けられている。
【０２４６】
処理部６１３には、入力部６１１から入力された情報を、感情・状態申告情報、環境温度情報、マウスクリック情報またはマウス握り圧情報に分別する情報弁別部６３１、マウスクリック情報とマウス握り圧情報から特徴情報を抽出する特徴抽出部６３２、および出力部６１２に出力情報を出力する出力制御部６１２が設けられている。通信部６１６には、情報の送信を行う情報送信部６３４、情報の受信を行う情報受信部６３５が設けられている。
【０２４７】
図６７に入力部６１１の構成例を示す。この例では、マウス６５１、使用者がマウスを握るときの強度を検知する握り強度センサ６７１、握り強度センサ６７１からの信号を圧力信号に変換する圧力検出部６５２、環境温度を測定する温度センサ６５３、および温度センサ６５３からの信号を増幅する電源アンプ部６５４により構成されている。
【０２４８】
図６８に出力部６１２の構成例を示す。この例では、所定の信号に基づいて熱を発生する温度呈示部６９２、温度呈示部を駆動する電源アンプ部６９１により構成されている。温度呈示部６９２は、電流を流すと温度が変化するペルチェ素子６９３で構成されている。
【０２４９】
使用者aがもっている情報処理装置を端末Aとし、使用者bがもっている情報処理装置を端末Bとして、使用者aと使用者bがそれぞれの端末を用いて、相互に通信を行う場合、図６９に示される手順で情報の送受信が行われる。最初に端末Aは、端末Bに接続要求を送信し、それに対応して端末Bは端末Aに接続応答を送信する。その後、端末Aと端末Bの間で、メール、チャットなどの文字情報などを送受信する。
【０２５０】
次に端末Aはクリック情報と握り圧情報（この例の場合、使用者がマウスを握るときの握り圧）の送受信の初期設定を行い、端末Bに送受信要求を送信する。このとき、実施の形態１の場合と同様に、端末Aから図１１に示される送信設定情報と受信設定情報が送信される。
【０２５１】
端末Aから振動情報の送信要求を受け取った端末Bは、クリック情報と握り圧情報送受信設定の変更を行い、端末Aに応答を送信する。
【０２５２】
そして端末Aから端末Bに使用者aのクリック情報と握り圧情報が送信され、端末Bから端末Aに使用者bの振動情報が送信される。端末A、端末Bにはそれぞれクリック情報と握り圧情報が蓄積される。
【０２５３】
端末Aから端末Bに接続終了要求が送信されると、端末Bはそれに応答し、通信は終了する。
【０２５４】
このようにして、端末Aと端末Bの間で通信が行われ、クリック情報と握り圧情報が蓄積される。クリック情報と握り圧情報が充分に蓄積された後は、図７０に示されるように情報の送受信が行われる。すなわち、端末Aと端末Bとの間でクリック情報と握り圧情報が送受信されると、端末Aと端末Bにおいて、使用者の感情・状態の特定処理が行われる。
【０２５５】
次に図７１を参照して、端末Bにおけるクリック情報、握り圧情報蓄積処理について説明する。最初に端末Bのシステム制御部６１７は、ステップＳ５７１において、端末Aとの通信開始時に、通信相手である端末Aの使用者aを特定する情報（例えば、氏名、ニックネームなど）PIDを取得し、ステップＳ５７２において、端末Aから送信されてきた環境温度情報Kを取得する。ステップＳ５７２において、端末Bのシステム制御部６１７は、情報弁別部６３１に、端末Aから感情・状態申告情報の入力があったか否かを判定させ、入力されたと判定されるまで待機する。
【０２５６】
端末Aのディスプレイには、図７６に示されるような感情・状態チャートが表示されており、使用者aは、この感情・状態チャートをマウスで所定の回数だけクリックすることにより感情・状態の申告を行う。感情・状態チャートをマウスでクリックすると、図７７に示される感情・状態申告情報が端末Aから端末Bに送信される。また感情・状態の強度は、感情・状態チャートをクリックする回数により申告することができ、強度が弱のときは２回、強度が中のときは３回、強度が強のときは４回クリックする。
【０２５７】
また、使用者の感情・状態の申告情報は、仮想空間における使用者のエージェント（例えば、アバターなど）を用いて取得することもできる。
【０２５８】
ステップＳ５７３において、感情・状態申告情報の入力があったと判定された場合、ステップＳ５７４に進み、端末Bのシステム制御部６１７は、特徴抽出部６３２に、端末Aから送信されてきた使用者aのクリック情報と握り圧情報のサンプリング処理を開始させる。そして、ステップＳ５７５に進み、端末Bのシステム制御部６１７は、感情・状態申告情報のから、感情情報Eを抽出し、ステップＳ５７６において、特徴抽出部６３２に、クリック情報と握り圧情報のサンプリング処理を終了させる。
【０２５９】
なお、マウスのクリック情報と握り圧情報のサンプリング処理は、端末Aの特徴抽出部６３２において行い、サンプリングした結果を端末Bに送信してもよい。
【０２６０】
使用者aが感情・状態申告チャートの驚きの部分をマウスで４回クリックした場合、感情情報Eとして、「強い驚き」が抽出される。
【０２６１】
ステップＳ５７７において、端末Bのシステム制御部６１７は、特徴抽出部６３２に、使用者aのクリック情報と握り圧情報に基づいて、特徴ベクトルVcの生成処理を実行させ、ステップＳ５７８に進み、環境温度Kの値が、基準値K1以上であるか否かを判定し、環境温度Kの値が、基準値K1以上であると判定された場合、ステップＳ５７９に進み、K≧K1におけるPIDとEに対応するクリック情報と握り圧情報を蓄積部６１５から読み出す。この場合、環境温度がK1以上のときの使用者aの強い驚きに対応するクリック情報と握り圧情報の特徴ベクトルが読み出される。
【０２６２】
ステップＳ５７８において、環境温度Kの値が、基準値K1未満であると判定された場合、端末Bのシステム制御部６１７は、ステップＳ５８０に進み、K＜K1におけるPIDとEに対応するクリック情報と握り圧情報を蓄積部６１５から読み出す。この場合、環境温度がK1未満のときの使用者aの強い驚きに対応するクリック情報と握り圧情報の特徴ベクトルが読み出される。
【０２６３】
そして、ステップＳ５８１に進み、端末Bのシステム制御部６１７は、学習部６１４に、読み出された特徴ベクトルに新たに生成された特徴ベクトルVcを加えて、ベクトルの分布fvc、分布の中心ベクトルVμ、標準偏差ベクトルVσを再計算させ、ステップＳ５８２において、再計算した結果を蓄積部６１５に記憶する。
【０２６４】
次に図７３を参照して、クリック情報と握り圧情報の特徴ベクトルVcの生成処理について説明する。この処理は、端末Bの特徴抽出部６３２で行われる。ステップＳ５９１において、端末Bの特徴抽出部６３２は、サンプリングしたクリック情報と握り圧情報を読み出し、その後、実施の形態１の場合と同様に、ステップＳ５９２において、図１６の極性判定処理を行い、ステップＳ５９３に進み、図１７のTV出力処理を行い、ステップＳ５９４において、図１８のVmin，Vmax判定処理を行い、ステップＳ５９５において、後述するクリック特徴算出処理を行い、値TclmとTcimを取得する。
【０２６５】
そして、ステップＳ５９６に進み、端末Bの特徴抽出部６３２は、サンプリングした握り圧情報を読み出し、ステップＳ５９７において、極性判定処理を行い、ステップＳ５９８に進み、TV出力処理を行い、ステップＳ５９９において、Vmin，Vmax判定処理を行い、ステップＳ６００において、後述する握り圧特徴算出処理を行い、値TgrpmとIgrpmを取得する。
【０２６６】
ステップＳ６０１において、端末Bの特徴抽出部６３２は、特徴量ベクトルVc（Tclm,Tcim,Tgrpm,Igrpm）を生成する。
【０２６７】
次に図７４を参照して、クリック特徴算出処理について説明する。
使用者がマウスをクリックするときのクリック情報の波形は図７９に示す波形のようになる。すなわち、使用者がマウスのクリックボタンを押下しているとき、パルス７７１、パルス７７３、パルス７７５、パルス７７７が出力され、クリックボタンが押下される間の時間７７２,時間７７４,時間７７６は、それぞれ出力が０となる。この波形をサンプリングし、極性判定処理、TV出力処理を行うと、Tv+、Tv0、Tv+、Tv0、Tv+．．．のような出力を得る。
【０２６８】
図７４のステップＳ６２１において、端末Bの特徴抽出部６３２は、変数ｎとＰに１をセットし、ステップＳ６２２に進みTcl(n)にTv+(P)の値をセットし、Tci(n)にTv0(P)の値をセットする。そして、ステップＳ６２３に進み、端末Bの特徴抽出部６３２は、Pとnの値を１だけインクリメントし、ステップＳ６２４において、Tv+(P)またはTv0(P)があるか否かを判定し、Tv+(P)またはTv0(P)があると判定された場合、ステップＳ６２２に戻り、以降の処理を繰り返し実行する。
【０２６９】
ステップＳ６２４において、Tv+(P)またはTv0(P)がないと判定された場合、端末Bの特徴抽出部６３２は、ステップＳ６２５に進み、Tclの平均値TclmとTciの平均値Tcimを計算する。図７９の場合、TclmとTcimは、それぞれ次の式で算出される。
Tclm=（Tcl(1)+Tcl(2)+Tcl(3)+Tcl(4)）／４
Tcim=（Tci(1)+Tci(2)+Tci(3)）／３
【０２７０】
次に、図７５を参照して、握り圧特徴算出処理について説明する。使用者がマウスを握るときの握り圧情報は、図８０に示すような波形７９１になる。この波形をサンプリングし、極性判定処理、TV出力処理を行うと、Tv+、Tv0、Tv+．．．のような出力を得る。すなわち、使用者がマウスを閾値Vth0より強い強度で握っている時間はTv+となり、閾値Vth0より弱い強度で握っている時間はTv0となる。
【０２７１】
また、Vmax,Vmin判定処理を行うと、使用者がマウスを閾値Vth0より強い強度で握っている時間Tv+における出力の最大強度Vmaxを得る。
【０２７２】
ステップＳ６４１において、端末Bの特徴抽出部６３２は、変数ｎとＰに１をセットし、ステップＳ６４２に進みTgrp(n)にTv+(P)の値をセットし、Igrp(n)にVmax(P)の値をセットする。
【０２７３】
ステップＳ６４３において端末Bの特徴抽出部６３２は、Pとnの値を１だけインクリメントして、ステップＳ６４４に進み、Tv+(P)またはTv0(P)があるか否かを判定し、Tv+(P)またはTv0(P)があると判定された場合、ステップＳ６４５に進み、Tgrpの平均値TgrpmとIgrpの平均値Igrpmを算出する。
図８０の場合、TgrpmとIgrpmは、それぞれ次の式で算出される。
Tgrpm=（Tgrp(1)+Tgrp(2)）／２
Igrpm=（Igrp(1)+Igrp(2)）／２
【０２７４】
このようにして、使用者aの強い驚きに対応するクリック情報と握り圧情報の特徴ベクトルVcが生成される。
【０２７５】
ここまで、端末Bが、端末Aから送信された使用者aのマウスのクリック情報と握り圧情報から特徴量ベクトルVcを生成し、蓄積する処理について説明したが、同様に端末Bは、使用者bのマウスのクリック情報と握り圧情報から特徴量ベクトルを生成し、蓄積する。その結果、端末Bの蓄積部６１５には、図７８にしめされるように、マウスのクリック情報と握り圧情報に関する学習結果７１１がそれぞれ、環境温度K≧K1の場合７３１と環境温度K＜K1の場合７３２に分けて蓄積される。さらに、環境温度K≧K1の場合７３１と環境温度K＜K1の場合７３２のそれぞれにおいて、マウスのクリック情報と握り圧情報は、使用者aと使用者bにに分けて蓄積される。
【０２７６】
また、端末Aも同様にして、マウスのクリック情報と握り圧情報に関する学習結果をそれぞれ、使用者aと使用者bに分けて蓄積することができる。
【０２７７】
上述したクリック情報と握り圧情報の蓄積処理を繰り返し行い、クリック情報と握り圧情報が充分蓄積された後は、クリック情報と握り圧情報をもとに、使用者の感情、状態、およびその強度を特定することができる。
【０２７８】
次に図８１を参照して、端末Bによる感情状態の特定処理について説明する。
【０２７９】
ステップＳ６６１において、端末Bのシステム制御部６１７は、端末Aとの通信開始時に、通信相手である端末Aの使用者aを特定する情報PIDを取得する。ステップＳ６６２において、端末Bのシステム制御部６１７は、情報弁別部６３１に、使用者aのマウス入力があったか否かを判定させ、入力があったと判定されるまで待機する。
【０２８０】
ステップＳ６６２において、マウス入力があったと判定された場合、ステップＳ６６３に進み、端末Bのシステム制御部６１７は、特徴抽出部６３２に、端末Aから送信されてきた使用者aのマウスのクリック情報と握り圧情報のサンプリング処理を開始させる。そして、ステップＳ６６４に進み、端末Bのシステム制御部６１７は、情報弁別部６３１にマウス入力が終わったか否かを判定させ、マウス入力が終わったと判定されるまで待機する。
【０２８１】
ステップＳ６６４において、マウス入力が終わったと判定された場合、端末Bのシステム制御部６１７は、特徴抽出部６３２に、端末Aから送信されてきた使用者aのマウスのクリック情報と握り圧情報のサンプリング処理を終了させる。
【０２８２】
なお、マウスのクリック情報と握り圧情報のサンプリング処理は、端末Aの特徴抽出部６３２において行い、サンプリングした結果を端末Bに送信してもよい。
【０２８３】
ステップＳ６６６において、端末Bのシステム制御部３１７は、特徴抽出部６３２に、特徴ベクトルVcの生成処理を実行させ、ステップＳ６６７に進み、学習部６１４にVcの感情、状態、およびその強度の特定処理を実行させ、ステップＳ６６８において、特定結果出力再計算処理を実行させる。
【０２８４】
次に図８２を参照して、Vc生成処理について説明する。この処理は端末Bの特徴抽出部６３２において実行される。ステップＳ６８１において、端末Bの特徴抽出部６３２は、サンプリングしたクリック情報と握り圧情報を読み出し、ステップＳ６８２において、極性判定処理を行い、ステップＳ６８３に進み、TV出力処理を行い、ステップＳ６８４において、Vmin，Vmax判定処理を行い、ステップＳ６８５において、後述するクリック特徴算出処理を行い、値TclmとTcimを取得する。
【０２８５】
そして、ステップＳ６８６に進み、端末Bの特徴抽出部６３２は、サンプリングした握り圧情報を読み出し、ステップＳ６８７において、極性判定処理を行い、ステップＳ６８８に進み、TV出力処理を行い、ステップＳ６８９において、Vmin，Vmax判定処理を行い、ステップＳ６９０において、後述する握り圧特徴算出処理を行い、値TgrpmとIgrpmを取得する。
【０２８６】
ステップＳ６９１において、端末Bの特徴抽出部６３２は、特徴量ベクトルVc（Tclm,Tcim,Tgrpm,Igrpm）を生成する。
【０２８７】
次に図８３を参照して、クリック特徴算出処理について説明する。
【０２８８】
ステップＳ７１１において、端末Bの特徴抽出部６３２は、変数ｎとＰに１をセットし、ステップＳ７１２に進みTcl(n)にTv+(P)の値をセットし、Tci(n)にTv0(P)の値をセットする。そして、ステップＳ７１３に進み、端末Bの特徴抽出部６３２は、Pとnの値を１だけインクリメントし、ステップＳ７１４において、Tv+(P)またはTv0(P)があるか否かを判定し、Tv+(P)またはTv0(P)があると判定された場合、ステップＳ７１２に戻り、以降の処理を繰り返し実行する。
【０２８９】
ステップＳ７１４において、Tv+(P)またはTv0(P)がないと判定された場合、端末Bの特徴抽出部６３２は、ステップＳ７１５に進み、Tclの平均値TclmとTciの平均値Tcimを計算する。
【０２９０】
次に、図８４を参照して、握り圧特徴算出処理について説明する。ステップＳ７３１において、端末Bの特徴抽出部６３２は、変数ｎとＰに１をセットし、ステップＳ７３２に進みTgrp(n)にTv+(P)の値をセットし、Igrp(n)にVmax(P)の値をセットする。
【０２９１】
ステップＳ７３３において端末Bの特徴抽出部６３２は、Pとnの値を１だけインクリメントして、ステップＳ７３４に進み、Tv+(P)またはTv0(P)があるか否かを判定し、Tv+(P)またはTv0(P)があると判定された場合、ステップＳ７３５に進み、Tgrpの平均値TgrpmとIgrpの平均値Igrpmを算出する。
【０２９２】
このようにして、使用者aのマウスのクリック情報と握り圧情報から特徴量ベクトルVcが生成される。
【０２９３】
次に図８５を参照して、Vcの感情、状態、およびその強度の特定処理について説明する。この処理は、端末Bの学習部６１４において実行される。
【０２９４】
ステップＳ７５１において、端末Bの学習部６１４は、端末Aから送信されてきた環境温度情報Kの値が基準値K1以上か否かを判定し、K1以上であると判定された場合、蓄積部６１５に蓄積されているK≧K1における使用者aに対応するマウスのクリック情報と握り圧情報の特徴量ベクトルの分布fvc、分布の中心ベクトルVμ、分布の標準偏差ベクトルVσを読み出す。ステップＳ７５１において、Kの値が基準値K1未満であると判定された場合、端末Bの学習部６１４は、蓄積部６１５に蓄積されているK＜K1における使用者aに対応するマウスのクリック情報と握り圧情報の特徴量ベクトルの分布fvc、分布の中心ベクトルVμ、分布の標準偏差ベクトルVσを読み出す。
【０２９５】
上述したように感情情報は３６通りあり、fvc,Vμ,Vσも感情情報に対応してそれぞれ３６通り存在する。
【０２９６】
ステップＳ７５４において、端末Bの学習部６１４は、変数Qに１をセットし、ステップＳ７５５に進み、ベクトルVμ(Q)とステップＳ６６６（図８１）で生成した特徴量ベクトルVcの内積値を算出し、内積値に対応させてVμ(Q)を記憶する。そして、ステップＳ７５６に進み、端末Bの学習部６１４は、Qの値を１だけインクリメントし、ステップ７５７において、全ての感情情報について計算したか否か、すなわち、３６種類の中心ベクトルVμについて、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップＳ７５５に戻り、以降の処理を繰り返し実行する。
【０２９７】
全ての感情情報に対応する３６種類の中心ベクトルVμについて内積値の計算が終わると、端末Bの学習部３０４の中にある図示せぬ記憶部には、実施の形態１の場合と同様に感情情報、内積値、中心ベクトルVμの種類、内積値の大きさの順序が含まれたデータが記憶されている。ステップＳ７５８において、端末Bの学習部６１４は、内積値の大きい順にデータをソートする。
【０２９８】
ステップＳ７５９において、端末Bの学習部６１４は、変数Ｒに１をセットし、Ｓ７６０において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップＳ７６１に進み、ソートしたデータを読み出す。ステップＳ７６２において、変数ｍに１をセットし、ステップＳ７６３に進み、Vμ(R)m−Vσ(R)m≦Vcm≦Vμ(R)m＋Vσ(R)mの条件を満たしているか否かを判定する。ここで、Vμ(R)mは、ベクトルVμ(R)のm番目の成分を表し、Vσ(R)m，Vcmもそれぞれ同様にベクトルVσ，Vchのｍ番目の成分を表す。マウスのクリック情報と握り圧情報の特徴量ベクトルは上述したようにTclm,Tcim,Tgrpm,Igrpmの４個の成分により構成されている。ｍの値が１のとき、Vμ(R)，Vσ(R)，Vcの各ベクトルのTclm成分が抽出され、処理が行われる。
【０２９９】
ステップＳ７６３において、Vμ(R)m−Vσ(R)m≦Vchm≦Vμ(R)m＋Vσ(R)mの条件を満たしていないと判定された場合、端末Bの学習部６１４は、ステップＳ７６８に進み、Ｒの値を１だけインクリメントして、ステップＳ７６０に戻り、以降の処理を繰り返し実行する。ステップＳ７６３において、Vμ(R)m−Vσ(R)m≦Vcm≦Vμ(R)m＋Vσ(R)mの条件を満たしていると判定された場合、端末Bの学習部６１４は、ステップＳ７６４に進み、ｍの値を１だけインクリメントして、ステップＳ７６５に進み、ｍの値が５と等しいか否かを判定し、ｍの値が５と等しくないと判定された場合、ステップＳ７６３に戻り、以降の処理を繰り返し実行する。
【０３００】
ステップＳ４９３において、ｍの値が５と等しいと判定された場合、すなわち、Vμ(R)，Vσ(R)，Vchの各ベクトルを構成する４個の成分について、Vμ(R)m−Vσ(R)m≦Vcm≦Vμ(R)m＋Vσ(R)mの条件を満たしていると判定された場合、端末Bの学習部６１４は、ステップＳ７６６に進み、VcはＲに対応する感情情報Eに属しているものと特定する。
【０３０１】
ステップＳ７６０において、全ての感情情報に関してデータを読み出したと判定された場合、端末Bの学習部６１４は、Vcの感情、状態、およびその強度を特定不能として処理を終了する。
【０３０２】
図８６は、使用者aの各感情情報に対応するマウスのクリック情報と握り圧情報の特徴量ベクトルを示した図である。この図は、Tclm軸、Tcim軸、Tgrpm軸、Igrpm軸からなる４次元空間として示されている。図８１のステップＳ６６６において生成された特徴量ベクトル８１１(Vc)は、「喜び・強」に対応する特徴量ベクトルの分布８１３の中心ベクトル８１２(Vμ1)と近接しており、上述したVcの感情、状態、およびその強度特定処理の結果、「喜び・強」を示す特徴量ベクトルであると特定される。
【０３０３】
このようにして、特徴量ベクトルVcから、使用者aの感情、状態、およびその強度が特定される。
【０３０４】
次に図６１を参照して、特定結果出力再計算処理について説明する。この処理は、端末Bの学習部６１４において実行される。ステップＳ６９１において、端末Bの学習部６１４は、特定結果を出力制御部６３３に出力し、ステップＳ６９２において使用者aの感情情報Eに対応するマウスのクリック情報と握り圧情報の特徴量ベクトルの分布fvc、分布の中心ベクトルVμ、分布の標準偏差ベクトルVσを再計算し、蓄積する。すなわち、ステップＳ６６６（図８１）で生成された特徴量ベクトルVcは、蓄積部に蓄積されている使用者aの「喜び・強」を示すマウスのクリック情報と握り圧情報の特徴量ベクトルに加えられ、あらたに、fvc、Vμ、およびVσが計算され、蓄積部６１５に蓄積される。
【０３０５】
このようにして、マウスのクリック情報と握り圧情報から感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴量ベクトルの情報が、あらたに蓄積される。
【０３０６】
ここまで、端末Bが、端末Aから送信された使用者aのマウスのクリック情報と握り圧情報から特徴量ベクトルVcを生成し、感情、状態、およびその強度を特定する処理について説明したが、同様に端末Bは、使用者bについてのマウスのクリック情報と握り圧情報から特徴量ベクトルを生成し、感情、状態、およびその強度を特定することもできる。
【０３０７】
また、端末Aも同様にして、使用者aと使用者bの感情、状態、およびその強度を特定することができる。
【０３０８】
次に、図８８と図８９を参照して、情報出力処理について説明する。ステップＳ７８１において、システム制御部６１７は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待機する。出力情報の選択は、実施の形態１の場合と同様に、例えば、端末のディスプレイ上に表示されたメニューを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の４種類がある。
【０３０９】
ステップＳ７８１において、出力情報が選択されたと判定された場合、システム制御部６１７は、ステップＳ７８２に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップＳ７８３において、特定結果に対応する２ビットの選択情報００を出力制御部６３３に送信する。
【０３１０】
ステップＳ７８４において、出力制御部６３３は、感情、状態、およびその強度の特定結果を出力する。例えば、端末のディスプレイ上に「強い喜びを示しているようです。」という文字が出力される。
【０３１１】
ステップＳ７８２において、特定結果が選択されていないと判定された場合、システム制御部６１７は、ステップＳ７８５に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステップＳ７８６に進み、特徴量に基づく情報に対応する２ビットの選択情報０１を出力制御部６３３に送信する。
【０３１２】
ステップＳ７８７において、出力制御部６３３は、特徴量（Tgrp，Igrp）を特徴抽出部６３２から取得し、ステップＳ７８８に進み、温度呈示部駆動信号を生成する。すなわち、出力のレベルをIgrpとし、出力ON時間をTgrpとして、図９０に示されるような矩形波信号を生成する。そして、ステップＳ７８９に進み、出力制御部６３３は、温度提示部６９２を駆動させる。
【０３１３】
ステップＳ７８５において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部６１７は、ステップＳ７９０において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、ステップＳ７９１において、波形情報に対応する２ビットの選択情報１０を出力制御部６３３に送信する。ステップＳ７９２において、出力制御部６３３は、特徴抽出部６３２からサンプリングされたマウスのクリック情報と握り圧情報を取得し、波形信号を生成し、ステップＳ７９３において温度呈示部６９２を駆動させる。
【０３１４】
ステップＳ７９０において、波形情報が選択されていないと判定された場合、システム制御部６１７は、ステップＳ７９４に進み、蓄積情報が選択されたか否かを判定し、蓄積情報が選択されたと判定された場合、ステップＳ７９５に進み、蓄積情報に対応する２ビットの選択情報０１を出力制御部３２４に送信する。
【０３１５】
蓄積情報が選択された場合、端末のディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報を出力するかを選択することができる。すなわち、マウスのクリック情報と握り圧情報などの情報の種類inf、個人を特定する情報PID、感情情報Eが選択される。例えば、infとしてマウスのクリック情報と握り圧情報、PIDとして個人a、Eとして「弱い驚き」などが選択される。
【０３１６】
ステップＳ７９６において、システム制御部６１７は、情報の種類inf、個人を特定する情報PID、感情情報Eが選択されたか否かを判定し、選択されたと判定されるまで待機する。
【０３１７】
ステップＳ７９７において、システム制御部６１７は、使用者に選択された情報に基づいて（inf，PID，E）の情報を生成し、出力制御部６３３に送信する。
【０３１８】
ステップＳ７９８において出力制御部６３３は、（inf，PID，E）に基づいて、蓄積部６１５からキーボードの振動情報の中心ベクトルを取得する。この場合、蓄積部に蓄積されている個人aの「弱い驚き」に対応する脈拍情報の特徴量ベクトルの分布の中心ベクトルVμ（Tcl,Tci,Tgrp,Igrp）が取得される。
【０３１９】
ステップＳ７９９において、出力制御部６３３は、中心ベクトルVμに基づいて、温度呈示部駆動信号を生成する。すなわち、出力のレベルをIgrpとし、出力ON時間をTgrpとし、出力OFF時間をTgrpとして、図９１に示されるような矩形波８５１の信号を生成し、ステップＳ８００において温度呈示部６９２を駆動信号に基づいて、３回駆動させる。
【０３２０】
ステップＳ７９４において、蓄積情報が選択されていないと判定された場合、システム制御部６１７は、ステップＳ８０１に進み、エラー処理を実行して、処理を終了する。
【０３２１】
このようにして、使用者は、マウスのクリック情報と握り圧情報から特定された感情、状態、およびその強度を表示させ、認識することができる。また、温度呈示部を駆動させることにより、握り圧情報を体感することができる。
【０３２２】
実施の形態４
【０３２３】
図９２は本発明の情報処理装置を利用した第２のコミュニケーションシステムの構成を示す図である。図１のシステムと異なり、端末１、端末２、および端末３に代わり、ゲーム機８７１、ゲーム機８７２、およびゲーム機８７３が、設置されている。そしてゲーム機８７１乃至８７３は、それぞれインターネットなどのネットワーク８８０を経由してサーバ８８１に接続され、互いに情報通信を行うように構成されている。
【０３２４】
ゲーム機８７１（ゲーム機Ａ）、ゲーム機８７２（ゲーム機Ｂ）、ゲーム機８７３（ゲーム機Ｃ）には、図１の場合と同様に、それぞれ、情報の入力を受け付ける入力部８９１Ａ乃至８９１Ｃ、入力された情報を処理する処理部８９３Ａ乃至８９３Ｃ、入力された情報から使用者の感情、状態、およびその強度を学習、特定する学習部８９４Ａ乃至８９４Ｃ、学習部によって学習、特定された情報を蓄積する蓄積部８９５Ａ乃至８９５Ｃ、学習部によって特定された情報、または蓄積部に蓄積された情報を出力する出力部８９２Ａ乃至８９２Ｃ、情報の送受信を行う通信部８９６Ａ乃至８９６Ｃ、および各部を制御するシステム制御部８９７Ａ乃至８９７Ｃが設けられている。
【０３２５】
なお、ゲーム機８７１（ゲーム機Ａ）乃至ゲーム機８７３（ゲーム機Ｃ）の構成は同一であるため、それらを構成する入力部８９１Ａ乃至システム制御部８９７Ａ、入力部８９１Ｂ乃至システム制御部８９７Ｂ、並びに入力部８９１Ｃ乃至システム制御部８９７Ｃは、それぞれ同一の機能を有している。以下においては、それらを個々に区別する必要がない場合には、入力部８９１乃至システム制御部８９７と、まとめて表現する。
【０３２６】
図９３にゲーム機８７１乃至８７３の構成例を示す。このゲーム機には、音声情報、加速度情報、およびゲーム機のコントローラ９４１（図９４）の握り圧情報の入力を受け付ける入力部８９１、入力部８９１から入力された情報を処理する処理部８９３、処理部８９３から出力された特徴情報と感情態情報に基づいて、学習、特定を行う学習部８９４、学習部８９４から出力された学習情報、特定情報を蓄積する蓄積部８９５、処理部８９３から出力された出力情報に基づいて、情報を出力する出力部８９２、通信を行う通信部８９６、および各部を制御するシステム制御部８９７が設けられている。
【０３２７】
処理部８９３には、入力部８９１から入力された情報から、加速度情報、握り圧情報、または音声情報を分別する情報弁別部９１１、加速度情報とコントローラ９４１の握り圧情報から特徴情報を抽出する特徴抽出部９１２、音声情報から感情情報を抽出する意味抽出部９１３、および出力部８９２に出力情報を出力する出力制御部９１４が設けられている。通信部８９６には、情報の送信を行う情報送信部９２１、情報の受信を行う情報受信部９２２が設けられている。
【０３２８】
入力部８９１は、マイクロホン、３軸（相互に垂直なＸ，Ｙ，Ｚ軸）方向の加速度を検知する加速度センサ、使用者がコントローラ９４１を握るときの強度を検知する握り圧センサにより構成され、ゲーム機に付属のコントローラ９４１に配置される。また、出力部８９２は、所定の信号に基づいて、光を発する光呈示部、および、所定の信号に基づいて振動する振動モータにより構成される振動呈示部により構成され、やはりコントローラ９４１に配置される。
【０３２９】
図９４にコントローラ９４１の構成例を示す。使用者は、コントローラ９４１の所定のボタンを操作することにより、ゲームを行う。コントローラ９４１内部の上部中央には、３軸加速度センサ９６１が設けられている。３軸加速度センサ９６１は、使用者がコントローラ９４１を動かすとき、Ｘ軸方向（図中紙面と平行な左右の方向）、Ｙ軸方向（図中紙面と平行な上下の方向）、Ｚ軸方向（図中紙面と垂直な前後の方向）のそれぞれの加速度を検知する。コントローラ９４１の下部中央には、マイクロホン９６２が設けられており、使用者が発する音声は、マイクロホン９６２に入力される。コントローラ９４１の下部の左右両端には、握り圧センサ９６３Ｌと９６３Ｒが設けられており、使用者がコントローラ９４１を使用するとき、通常握り圧センサ９６３Ｌと９６３Ｒが設置された部分が、それぞれ、使用者の左手と右手で握られる。
【０３３０】
また、３軸加速度センサ９６１の左右の両端の近傍には、それぞれ光呈示部９６４Ｌと９６４Ｒが設けられている。握り圧センサ９６３Ｌおよび９６３Ｒとほぼ同じ位置の下側に、それぞれ振動呈示部９６５Ｌおよび９６５Ｒが設けられている。上述したように、振動呈示部９６５Ｌおよび９６５Ｒは、コントローラ９４１に内蔵される振動モータにより構成される。
【０３３１】
使用者aがもっているゲーム機をゲーム機Aとし、使用者bがもっているゲーム機をゲーム機Bとして、使用者aと使用者bは、それぞれのゲーム機を用いて、多人数参加型のオンラインゲームに参加することができる。このオンラインゲームにおいて、参加者は、同じくゲームに参加している他の参加者と音声によるコミュニケーションを行うことができる。例えば、使用者ａの音声が、ゲーム機Aのコントローラのマイクロホン９６２から入力され、ゲーム機Bに送信され、ゲーム機Bが接続されているテレビのスピーカ、またはゲーム機専用のスピーカなどから出力され、使用者bに使用者ａが発した音声が伝えられる。同様に、使用者ｂが発した音声も使用者ａに伝えられ、使用者ａと使用者ｂは音声によるコミュニケーションを行うことができる。
【０３３２】
この場合、図９５に示される手順で情報の送受信が行われる。最初にゲーム機Aは、ステップＳ１００１でサーバ８８１に、接続要求を送信し、ステップＳ１１０１でサーバ８８１は、接続要求を受信する。サーバ８８１は、ステップＳ１１０２で接続要求に基づいて、認証を行う。ゲーム機Aから送信される接続要求には、使用者aを特定する、例えば、氏名、ニックネームなどの情報、およびゲームに参加するためのパスワードが含まれており、サーバ８８１は、これらの情報に基づいて、使用者ａがゲームに参加する資格があるか否かを判定（認証）し、使用者ａがゲームに参加する資格があると判定された場合、ステップ１１０３でゲーム機Aに接続要求受付を送信する。ゲーム機Aは、ステップＳ１００２で接続要求受付を受信し、ステップＳ１００３でゲーム機Aにおいてゲームが開始される。
【０３３３】
一方ゲーム機Bとサーバ８８１の間においても同様の手順で情報の送受信が行われ（ステップＳ１２０１（ステップＳ１００１に対応），Ｓ１１０４（ステップＳ１１０１に対応），Ｓ１１０５（ステップＳ１１０２に対応），Ｓ１１０６（ステップＳ１１０３に対応），Ｓ１２０２（ステップＳ１００３に対応））、ステップＳ１２０３で、ゲーム機Bにおいてもゲームが開始される。
【０３３４】
ステップＳ１００４で、ゲーム機Aから、サーバ８８１にゲーム機Bへの接続要求が送信されると、ステップＳ１１０７でサーバ８８１は、ゲーム機Bへの接続要求を受信する。そして、サーバ８８１は、ステップＳ１１０９でゲーム機Aに接続要求受付を送信し、これがステップＳ１００５でゲーム機Aに受信される。サーバ８８１は、ステップＳ１１０８でゲーム機Bの呼び出しを行い、これがステップＳ１２０４でゲーム機Bに受信される。サーバ８８１は、ステップＳ１２０５でゲーム機Bから送信された応答を、Ｓ１１１０で受信し、ステップＳ２１１１でゲーム機AとBの接続を開始する。サーバ８８１は、ステップＳ１１１２でゲーム機Aに接続確認を送信し、これは、ステップＳ１００６でゲーム機Aに受信される。
【０３３５】
そして、ゲーム機Aからサーバ８８１を介して、ゲーム機Bに音声情報が送信され、ゲーム機Bからサーバ８８１を介して、ゲーム機Aに音声情報が送信される（ステップＳ１００７，Ｓ１１１３，Ｓ１１１４，Ｓ１２０６，Ｓ１２０７，Ｓ１１１５，Ｓ１１１６，Ｓ１００８）。
【０３３６】
次にゲーム機Aは、ステップＳ１００９で、加速度情報と握り圧情報の送受信の初期設定を行い、ステップＳ１０１０で、サーバ８８１に加速度・握り圧情報送受信要求を送信する。これは、ステップＳ１１１７でサーバ８８１に受信される。サーバ８８１は、ステップＳ１１１８で、ゲーム機Bに加速度・握り圧情報送受信要求を送信する。このとき、実施の形態１の場合と同様に、ゲーム機Aから図１１に示される送信設定情報と受信設定情報が送信される。
【０３３７】
ステップＳ１２０８で、サーバ８８１から加速度・握り圧情報送受信要求を受信したゲーム機Bは、ステップＳ１２０９で加速度情報と握り圧情報の送受信設定の変更を行い、ステップＳ１２１０でサーバ８８１に応答を送信する。ステップＳ１１２０でゲーム機Bからの応答を受信すると、サーバ８８１は、ステップＳ１１２１でゲーム機AとBの加速度・握り圧情報送受信を開始する。サーバ８８１は、ステップＳ１１２２でゲーム機Aに接続確認を送信し、これが、ステップＳ１０１２でゲーム機Aに受信される。これにより、ゲーム機Aにおいて、ゲーム機Bから使用者bに関する加速度情報と握り圧情報が送信されてくることが認識され、ゲーム機Bにおいて、ゲーム機Aから使用者aに関する加速度情報と握り圧情報が送信されてくることが認識される。
【０３３８】
そして、サーバ８８１を介して、ゲーム機Aからゲーム機Bに、加速度・握り圧情報が送信され（ステップＳ１０１３，Ｓ１１２３，Ｓ１１２４，Ｓ１２１１）、ゲーム機Bにおいて、ステップＳ１１１２で、特徴情報蓄積処理が行われる。同様に、サーバ８８１を介して、ゲーム機Bからゲーム機Aに、加速度・握り圧情報が送信され（ステップＳ１２１３，Ｓ１１２５，Ｓ１１２６，Ｓ１０１４）、ゲーム機Aにおいて、ステップＳ１０１５で、特徴情報蓄積処理が行われる。なお、特徴情報蓄積処理については、図９７を参照して後述する。
【０３３９】
ステップＳ１０１６で、ゲーム機Aからサーバ８８１へゲーム機Bへの接続終了要求が送信されると、ステップＳ１１２７でサーバ８８１によりこれが受信され、さらに、ステップＳ１１２８でサーバ８８１からゲーム機Bにこれが送信される。ステップＳ１２１４で接続終了要求を受信したゲーム機Bは、ステップＳ１２１５でそれに応答し、ステップＳ１１３０で、サーバ８８１に受信される。この結果、通信は終了する。同様に、ステップＳ１１２９でサーバ８８１から接続終了要求受付が送信され、これがゲーム機AにおいてステップＳ１１０９で受信される。
【０３４０】
このようにして、サーバ８８１を介して、ゲーム機Aとゲーム機Bの間で通信が行われ、加速度情報と握り圧情報が蓄積される。加速度情報と握り圧情報が充分に蓄積された後、ゲーム機Aとゲーム機Bにおいて、図１１４を参照して後述する感情情報特定処理が行われる。この場合、図９６に示されるように情報の送受信が行われる。
【０３４１】
すなわち、図９６のゲーム機Aにおける、ステップＳ１３０１乃至Ｓ１３１７の処理は、図９５のゲーム機Aにおける、ステップＳ１００１乃至１０１７の処理と基本的に同様の処理であるが、ステップＳ１３１５において、ゲーム機Bから送信される加速度情報と握り圧情報に基づいて、感情情報特定処理が行われる。また、図９６のゲーム機Bにおける、ステップＳ１５０１乃至Ｓ１５１５の処理は、図９５のゲーム機Bにおける、ステップＳ１２０１乃至１２１５の処理と基本的に同様の処理であるが、ステップＳ１５１２において、ゲーム機Aから送信される加速度情報と握り圧情報に基づいて、感情情報特定処理が行われる。
【０３４２】
図９６のサーバ８８１における、ステップＳ１４０１乃至Ｓ１４３０の処理は、図９５のサーバ８８１における、ステップＳ１１０１乃至１１３０の処理と同様の処理なのでその説明は省略する。
【０３４３】
次に図９７を参照して、ゲーム機Aおよびゲーム機Bにおける特徴情報蓄積処理（図９５のステップＳ１０１５，Ｓ１２１２における処理）について説明する。ゲーム機Aは、ゲーム機Aに付属するコントローラ９４１から出力される使用者aに関する加速度情報と握り圧情報に基づいて、特徴情報蓄積処理を行うこともできるし、ゲーム機Bから送信される使用者bに関する加速度情報、握り圧情報に基づいて、特徴情報蓄積処理を行うことも可能である。
【０３４４】
最初にゲーム機Aが使用者aに関する加速度情報と握り圧情報に基づいて、特情報蓄積処理を行う場合について説明する。ゲーム機Aのシステム制御部８９７は、ステップＳ１６２１において、ゲーム機Aの使用者aを特定する情報（例えば、氏名、ニックネームなど）PIDを取得し、ステップＳ１６２２において、システム制御部８９７は、情報弁別部９１１に、使用者ａの音声情報の入力があったか否かを判定させ、入力されたと判定されるまで待機する。
【０３４５】
ステップＳ１６２２において、音声情報の入力があったと判定された場合、ステップＳ１６２３に進み、システム制御部８９７は、特徴抽出部９１２に、使用者aに関する加速度情報と握り圧情報のサンプリング処理を開始させる。そして、ステップＳ１６２４に進み、システム制御部８９７は、意味抽出部９１３に入力された音声情報の音声認識を行わせる。
【０３４６】
ステップＳ１６２５において、システム制御部８９７は、認識された音声の中に感情、状態およびその強度を表す語句があるか否かを判定し、感情、状態およびその強度を表す語句がないと判定された場合、ステップＳ１６２２に戻り、それ以降の処理を繰り返し実行する。実施の形態１で上述したように、感情と状態を表す語句は、図２３に示されるようなものであり、強度を示す語句は図２４に示されるようなものである。
【０３４７】
ステップＳ１６２５において、感情、状態およびその強度を示す語句があると判定された場合、システム制御部８９７は、ステップＳ１６２６において、認識された語句の主語は使用者か否か、すなわち、認識された語句が、使用者aの感情、状態およびその強度を表す語句であるか否かを判定し、主語は使用者ではないと判定された場合、ステップＳ１６２２に戻り、それ以降の処理を繰り返し実行する。
【０３４８】
ステップＳ１６２６において、主語は使用者であると判定された場合、システム制御部８９７は、ステップＳ１６２７において、使用者aの音声が１フレーズ分入力されたか否かを判定し、１フレーズ分入力されたと判定されるまで待機する。ステップＳ１６２７において、１フレーズ分入力されたと判定された場合、システム制御部８９７は、ステップＳ１６２８に進み、特徴抽出部９１２に、加速度情報と握り圧情報のサンプリング処理を終了させる。
【０３４９】
そして、ステップＳ１６２９に進み、システム制御部８９７は、意味抽出部９１３に、感情情報Eを抽出させる。
【０３５０】
例えば、使用者aが「びっくりした」と発話した場合、「びっくり」という語句に対応する感情、状態は驚きであり、その他特に形容詞（例えば、「とても」、「少し」など）がないことからその強度は中であると認識され、感情情報Eとして、「中の驚き」が抽出される。
【０３５１】
ステップＳ１６３０において、システム制御部８９７は、特徴抽出部９１２に、使用者aに関する加速度情報と握り圧情報に基づいて、特徴ベクトルVcの生成処理を実行させ、ステップＳ１６３１に進み、情報PIDと感情情報Eに対応する加速度情報と握り圧情報を蓄積部８９５から読み出す。この場合、使用者aの中の驚きに対応する加速度情報と握り圧情報の特徴ベクトルが読み出される。
【０３５２】
そして、ステップＳ１６３２に進み、システム制御部８９７は、学習部８９４に、読み出された特徴ベクトルに新たに生成された特徴ベクトルVcを加えて、ベクトルの分布fvc、分布の中心ベクトルVμ、標準偏差ベクトルVσを再計算させ、ステップＳ１６３３において、再計算した結果を蓄積部８９５に記憶する。
【０３５３】
このようにして、加速度情報と握り圧情報から使用者ａの中の驚きに対応する特徴ベクトルが生成され、ベクトルの分布、分布の中心ベクトル、および標準偏差ベクトルが再計算され、蓄積される。
【０３５４】
次に図９９を参照して、加速度情報と握り圧情報の特徴ベクトルVcの生成処理の詳細について説明する。この処理は、特徴抽出部９１２で行われる。ステップＳ１６５１において、特徴抽出部９１２は、図１００と図１０１を参照して後述する加速度情報の特徴量算出処理を行う。これにより、特徴ベクトルVcを構成する成分のうち、第１番目乃至第１２番目の成分（Acc+(1),Acc+(2),Acc+(3),Tac+(1),Tac+(2),Tac+(3),Acc-(1),Acc-(2),Acc-(3),Tac-(1),Tac-(2),Tac-(3)）が算出される。ステップＳ１６５２において、特徴抽出部９１２は、図１０４と図１０５を参照して後述する握り圧情報の特徴量算出処理を行う。これにより、特徴ベクトルVcを構成する成分のうち、第１３番目乃至第２０番目の成分（Igr_R(1),Igr_R(2),Tgr_R(1),Tgr_R(2), Igr_L(1),Igr_L(2),Tgr_L(1),Tgr_L(2)）が算出される。
【０３５５】
そして、ステップＳ１６５３において、特徴抽出部９１２は、特徴ベクトルVc（Acc+(1),Acc+(2),Acc+(3),Tac+(1),Tac+(2),Tac+(3),Acc-(1),Acc-(2),Acc-(3),Tac-(1),Tac-(2),Tac-(3), Igr_R(1),Igr_R(2),Tgr_R(1),Tgr_R(2), Igr_L(1),Igr_L(2),Tgr_L(1),Tgr_L(2)）を生成する。
【０３５６】
このようにして、加速度情報と握り圧情報から、使用者aの中の驚きに対応する特徴ベクトルVcが生成される。
【０３５７】
次に、図１００と図１０１を参照して、図９９のステップＳ８５１の加速度情報の特徴量算出処理について説明する。ステップＳ１６７１において、特徴抽出部９１２は、サンプリングされた加速度情報を読み込み、その後、実施の形態１の場合と同様に、ステップＳ１６７２において、図１６の極性判定処理を行い、ステップＳ１６７３に進み、図１７のTV出力処理を行い、ステップＳ１６７４において、図１８のVmin，Vmax判定処理を行う。
【０３５８】
図１０２は、コントローラ９４１の３軸加速度センサ９６１により、出力される加速度情報の波形の例を示す図である。３軸加速度センサ９６１は、上述したようにＸ軸方向の加速度、Ｙ軸方向の加速度、およびＺ軸方向の加速度を検知する。図１０２に示される加速度情報は、縦軸にＸ軸方向、Ｙ軸方向、およびＺ軸方向の加速度の和が示され、横軸に時間が示されている。この波形をサンプリングし、ステップＳ１６７２の極性判定処理、ステップＳ１６７４のTV出力処理を行うと、Tv+、Tv0、Tv-、Tv0、Tv+．．．のような出力が得られる。
【０３５９】
ここで、時間Tv+は、コントローラに対して、正方向の加速度が生じている時間を示すものであり、時間Tv-は、コントローラに対して、負方向の加速度が生じている時間を示すものであり、時間Tv0は、コントローラに対する加速度がほぼゼロとなる時間を示すものである。
【０３６０】
さらに、ステップＳ１６７４のVmin，Vmax判定処理が行われると、時間Tv+に対応する出力値Vmaxと時間Tv-に対応する出力値Vminが得られる。この結果、図１０３に示されるような波形の情報が得られる。
【０３６１】
図１０１のステップＳ１６７５において、特徴抽出部９１２は、時間の早い順にソートされている出力値Vmax(P)を、値の大きい順にソートして、出力値Vmax(1)、Vmax(2)、Vmax(3)を抽出し、ステップＳ１６７６において、出力値Vmax(1)、Vmax(2)、Vmax(3)に対応する時間Tv+(1)、Tv+(2)、Tv+(3)を抽出する。
【０３６２】
すなわち、図１０３に示される正方向の出力値をもつ３つの矩形波の中で出力値の最も大きいもの（図中、左側から３番目の矩形波）が選択され、その出力値がVmax(1)とされ、その時間がTv+(1)とされる。同様に、２番目に出力値の大きい矩形波の出力値がVmax(2)、その時間がTv+(2)とされ、３番目に出力値の大きい矩形波の出力値がVmax(3)、その時間がTv+(3)とされる。図１０３においては、正方向の出力値をもつ矩形波が３つある場合を例として説明したが、正方向の出力値をもつ矩形波が２つしかない場合は、Vmax(3)とTv+(3)の値は０とされる。
【０３６３】
図１０１に戻って、ステップＳ１６７７において、特徴抽出部９１２は、特徴ベクトルVcを構成する第１番目乃至第６番目の成分Acc+(1),Acc+(2),Acc+(3),Tac+(1),Tac+(2),Tac+(3)にそれぞれ、Vmax(1)、Vmax(2)、Vmax(3)、Tv+(1)、Tv+(2)、Tv+(3)の値をセットする。
【０３６４】
ステップＳ１６７８において、特徴抽出部９１２は、時間の早い順にソートされている出力値Vmin(P)を、値の小さい順にソートして、出力値Vmin(1)、Vmin(2)、Vmin(3)を抽出し、ステップＳ１６７９において、出力値Vmin(1)、Vmin(2)、Vmin(3)に対応する時間Tv-(1)、Tv-(2)、Tv-(3)を抽出する。
【０３６５】
すなわち、図１０３に示される負方向の出力値をもつ３つの矩形波の中で出力値の最も小さいもの（図中、左側の矩形波）が選択され、その出力値がVmin(1)とされ、その時間がTv-(1)とされる。同様に、２番目に出力値の小さい矩形波の出力値がVmin(2)、その時間がTv-(2)とされ、３番目に出力値の小さい矩形波の出力値がVmin(3)、その時間がTv-(3)とされる。図１０３においては、負方向の出力値をもつ矩形波が３つある場合を例として説明したが、負方向の出力値をもつ矩形波が２つしかない場合は、Vmin(3)とTv-(3)の値は０とされる。
【０３６６】
図１０１に戻って、ステップＳ１６８０において、特徴抽出部９１２は、特徴ベクトルVcを構成する第７番目乃至第１２番目の成分Acc-(1),Acc-(2),Acc-(3),Tac-(1),Tac-(2),Tac-(3)にそれぞれ、Vmin(1)、Vmin(2)、Vmin(3)、Tv-(1)、Tv-(2)、Tv-(3)の値をセットする。
【０３６７】
このようにして、加速度情報の特徴量が算出される。
【０３６８】
次に図１０４と図１０５を参照して、図９９のステップＳ１６５２の握り圧情報の特徴量算出処理について説明する。握り圧情報は、コントローラ９４１の右側の握り圧センサ９６３Ｒと左側の握り圧センサ９６３Ｌにより出力される。握り圧情報の特徴量算出処理は、握り圧センサ９６３Ｒにより出力された握り圧情報と、握り圧センサ９６３Ｌにより出力された握り圧情報のそれぞれに対して行われる。
【０３６９】
ステップＳ１７０１において、特徴抽出部９１２は、サンプリングされた握り圧情報を読み込み、その後、実施の形態１の場合と同様に、ステップＳ１７０２において、図１６の極性判定処理を行い、ステップＳ１７０３に進み、図１７のTV出力処理を行い、ステップＳ１７０４において、図１８のVmin，Vmax判定処理を行う。図１０６は、握り圧センサ９６３Ｒにより出力された握り圧情報の波形を示す図であり、図１０７は、握り圧センサ９６３Ｌにより出力された握り圧情報の波形を示す図である。図１０６および図１０７は、それぞれ縦軸に握り圧の出力値が示され、横軸に時間が示されている。
【０３７０】
この波形をサンプリングし、ステップＳ１７０２の極性判定処理、ステップＳ１７０３のTV出力処理を行うと、Tv+、Tv0、Tv+、Tv0．．．のような出力を得る。
【０３７１】
ここで、時間Tv+は、使用者ａがコントローラを所定の強度以上の強度で握っている時間を示すものであり、時間Tv0は、使用者ａがコントローラを所定の強度未満の強度で握っている時間を示すものである。
【０３７２】
さらに、ステップＳ１７０４のVmin，Vmax判定処理が行われると、時間Tv+に対応する出力値Vmaxと時間Tv-に対応する出力値Vminが得られる。この結果、図１０６に示される握り圧情報から図１０８に示されるような波形の情報が得られ、図１０７に示される握り圧情報から図１０９に示されるような波形の情報が得られる。
【０３７３】
図１０５のステップＳ１７０５において、特徴抽出部９１２は、右側の握り圧センサ９６３Ｒの出力について、時間の早い順にソートされているVmax(P)を、値の大きい順にソートして、Vmax(1)、Vmax(2)を抽出し、ステップＳ１７０６において、Vmax(1)、Vmax(2)に対応するTv+(1)、Tv+(2)を抽出する。
【０３７４】
すなわち、図１０８に示される正方向の出力値をもつ２つの矩形波の中で出力値の最も大きいもの（図中、左の矩形波）が選択され、その出力値がVmax(1)とされ、その時間がTv+(1)とされる。同様に、２番目に出力値の大きい矩形波の出力値がVmax(2)、その時間がTv+(2)とされる。図１０３においては、矩形波が２つある場合を例として説明したが、矩形波が１つしかない場合は、Vmax(2)とTv+(2)の値は０とされる。
【０３７５】
図１０５に戻って、ステップＳ１７０７において、特徴抽出部９１２は、特徴ベクトルVcを構成する第１３番目乃至第１６番目の成分Igr_R(1),Igr_R(2),Tgr_R(1),Tgr_R(2)にそれぞれ、Vmax(1)、Vmax(2)、Tv+(1)、Tv+(2)の値をセットする。
【０３７６】
ステップＳ１７０８において、特徴抽出部９１２は、右側の握り圧センサ９６３Ｒの出力について、時間の早い順にソートされているVmax(P)を、値の大きい順にソートして、Vmax(1)、Vmax(2)を抽出し、ステップＳ１７０９において、Vmax(1)、Vmax(2)に対応するTv+(1)、Tv+(2)を抽出する。
【０３７７】
そして、ステップＳ１７１０において、特徴抽出部９１２は、特徴ベクトルVcを構成する第１７番目乃至第２０番目の成分Igr_L(1),Igr_L(2),Tgr_L(1),Tgr_L(2)にそれぞれ、Vmax(1)、Vmax(2)、Tv+(1)、Tv+(2)の値をセットする。
【０３７８】
このようにして、握り圧情報の特徴量が算出される。
【０３７９】
ここまで、ゲーム機Aが、使用者ａに関する加速度情報と握り圧情報に基づいて、特徴情報蓄積処理を行う場合について説明したが、ゲーム機Aは、ゲーム機Bから送信される使用者ｂに関する加速度情報と握り圧情報に基づいて、特徴情報蓄積処理を行うこともできる。この場合、使用者bに関する加速度情報と握り圧情報について、ゲーム機Bの特徴抽出部９１２においてサンプリング処理が行われ、サンプリングされた値に、出力制御部９１４と情報送信部９２１において、所定のヘッダが付加され、ゲーム機Aに送信される。一方で使用者bが発した音声は、ゲーム機Aに送信され、ゲーム機Aの意味抽出部９１３において、使用者bの音声情報から感情情報の抽出が行われる。
【０３８０】
そして、ゲーム機Aは、ゲーム機Bから送信されてきた、使用者bに関する加速度情報と握り圧情報にもとづいて、図９７と図９８を参照して上述した特徴情報蓄積処理を行う。例えば、使用者bが、「これは焦る」と発話した場合、ゲーム機Aにおいて、特徴情報蓄積処理が行われ、図９７のステップＳ１６２９で感情情報として、「中の不安定」が抽出される。一方ゲーム機Bでは、使用者ｂが「これは焦る」と発話したとき、図１１０に示される波形の信号がゲーム機Bのコントローラ９４１の３軸加速度センサ９６１により検出され、図１１１に示される波形の信号がゲーム機Bのコントローラ９４１の握り圧センサ９６３Ｒにより検出され、図１１２に示される波形の信号がゲーム機Bのコントローラ９４１の握り圧センサ９６３Ｌにより検出される。
【０３８１】
図１１０乃至図１１２に示される波形の信号は、ゲーム機Bの特徴抽出部９１２により、それぞれ期間Tclkの間隔でサンプリングされる。そして、加速度情報として、図１１０の信号がサンプリングされた値Vs1，Vs2，Vs3，・・・Vsｎが、使用者bの加速度情報であること示すヘッダが付加されて、ゲーム機Aに送信される。同様に握り圧情報として、図１１１の信号がサンプリングされた値VsR1，VsR2，VsR3，・・・VsRnが、使用者bの右の握り圧情報であること示すヘッダが付加されて、ゲーム機A送信され、図１１２の信号がサンプリングされた値VsL1，VsL2，VsL3，・・・VsLnが、使用者bの左の握り圧情報であること示すヘッダが付加されて、ゲーム機Aに送信される。ゲーム機Aは、ゲーム機Bから送信された加速度情報と握り圧情報にもとづいて、図９８のステップＳ１６３０の特徴ベクトルVcの生成処理において、使用者ｂの中の不安定に対応する特徴ベクトルを生成し、蓄積する。
【０３８２】
同様にゲーム機Bは、使用者bの加速度情報と握り圧情報から特徴ベクトルを生成し、蓄積すると同時に、ゲーム機Aから送信される使用者ａの加速度情報と握り圧情報から特徴ベクトルを生成し、蓄積する。その結果、ゲーム機Aとゲーム機Bの蓄積部８９５には、図１１３に示されるように、加速度情報と握り圧情報に関する学習結果９８１がそれぞれ、使用者aの情報９９１と使用者bの情報９９２に分けて蓄積される。
【０３８３】
上述した特徴情報蓄積処理を繰り返し行い、加速度情報と握り圧情報が充分蓄積された後は、加速度情報と握り圧情報をもとに、使用者の感情、状態、およびその強度を特定することができる。
【０３８４】
次に図１１４を参照して、ゲーム機Bによる使用者ａの感情状態特定処理について説明する。ステップＳ１７３１において、ゲーム機Bのシステム制御部８９７は、通信相手であるゲーム機Aの使用者aを特定する情報PIDを取得する。ステップＳ１７３２において、ゲーム機Bのシステム制御部８９７は、情報弁別部９１１に、使用者aに関する加速度情報または握り圧情報の少なくとも一方の出力値が閾値を超えたか否かを判定させ、閾値を超えたと判定されるまで待機する。閾値は、プログラムなどにより予め設定しておいてもよいし、使用者がその都度設定するようにしてもよい。
【０３８５】
ステップＳ１７３２において、加速度情報または握り圧情報の少なくとも一方の出力値が閾値を超えたと判定された場合、ステップＳ１７３３に進み、システム制御部８９７は、特徴抽出部９１２の図示せぬ記憶部に、使用者ａに関する加速度情報と握り圧情報の出力値を記憶させる。そして、ステップＳ１７３４に進み、システム制御部８９７は、情報弁別部９１１に使用者ａに関する加速度情報または握り圧情報の出力値が所定の時間（例えば、１０秒）以上閾値以下になったか否かを判定させ、所定の時間以上閾値以下になっていないと判定された場合、ステップＳ１７３３に戻る。
【０３８６】
ステップＳ９３４において、使用者ａに関する加速度情報または握り圧情報の出力値が所定の時間以上閾値以下になったと判定された場合、ステップＳ１７３５に進み、システム制御部８９７は、特徴抽出部９１２に図１１５を参照して後述する特徴ベクトルVcag生成処理を実行させる。これにより、使用者aに関する加速度情報と握り圧情報に基づいて、特徴ベクトルVcagが生成される。ステップＳ１７３６において、システム制御部８９７は、学習部８９４に、図１２０を参照して後述するVcagの感情情報特定処理を実行させる。これにより、特徴ベクトルVcagに対応する感情情報が特定される。ステップＳ１７３７において、システム制御部８９７は、学習部８９４に、図１２２を参照して後述する特定結果出力再計算処理を実行させる。
【０３８７】
次に図１１５を参照して、Vcag生成処理について説明する。この処理はゲーム機Bの特徴抽出部９１２において実行される。ステップＳ１７５１において、特徴抽出部９１２は、加速度情報の特徴量算出処理（図１００と図１０１に示した処理と同様の処理なので、その説明は省略する）を行い、ステップＳ１７５２において、特徴抽出部９１２は、握り圧情報算出処理（図１０４と図１０５に示した処理と同様の処理なので、その説明は省略する）を実行する。そして、ステップＳ１７５３に進み、特徴抽出部９１２は、特徴ベクトルVcag（Acc+(1),Acc+(2),Acc+(3),Tac+(1),Tac+(2),Tac+(3),Acc-(1),Acc-(2),Acc-(3),Tac-(1),Tac-(2),Tac-(3), Igr_R(1),Igr_R(2),Tgr_R(1),Tgr_R(2), Igr_L(1),Igr_L(2),Tgr_L(1),Tgr_L(2)）を生成する。
【０３８８】
このようにして、使用者aに関する加速度情報と握り圧情報から特徴ベクトルVcagが生成される。
【０３８９】
次に図１１６を参照して、Vcagの感情情報特定処理について説明する。この処理は、ゲーム機Bの学習部８９４において実行される。
【０３９０】
ステップＳ１８３１において、学習部８９４は、蓄積部８９５に蓄積されている使用者aに関する加速度情報と握り圧情報の特徴ベクトルの分布fvc、分布の中心ベクトルVμ、分布の標準偏差ベクトルVσを読み出す。
【０３９１】
上述したように感情情報は３６通りあり、fvc,Vμ,Vσも感情情報に対応してそれぞれ３６通り存在する。
【０３９２】
ステップＳ１８３２において、学習部８９４は、変数Qに１をセットする。ここで変数Ｑは、１から３６までの整数とされ、３６種類の感情情報に対応する。ステップＳ１８３３において、学習部８９４は、ベクトルVμ(Q)とステップＳ１７３５（図１１４）で生成した特徴ベクトルVcagの内積値を算出し、内積値に対応させてVμ(Q)を記憶する。そして、ステップＳ１８３４に進み、学習部８９４は、Qの値を１だけインクリメントし、ステップＳ１８３５において、全ての感情情報について計算したか否か、すなわち、３６種類の中心ベクトルVμについて、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップＳ１８３３に戻り、以降の処理を繰り返し実行する。
【０３９３】
全ての感情情報に対応する３６種類の中心ベクトルVμについて内積値の計算が終わると、学習部８９４の中にある図示せぬ記憶部には、実施の形態１の場合と同様に感情情報、内積値、中心ベクトルVμの種類、内積値の大きさの順序が含まれたデータが記憶されている。ステップＳ１８３６において、学習部８９４は、内積値の大きい順にデータをソートする。このとき、内積値の大きさの順番が変数Ｒで表され、変数Ｒの値は１から３６までの整数となる。
【０３９４】
ステップＳ１８３７において、学習部８９４は、変数Ｒに１をセットし、Ｓ１８３８において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップＳ１８３９に進み、ステップＳ１８３６の処理によりソートされたデータを順番に読み出す。例えば、ステップＳ１８３３で３６種類の感情情報に対応する中心ベクトルと特徴ベクトルVcagの内積値が算出され、それらの中心ベクトルの中で、特徴ベクトルVcagとの内積値が最も大きくなる中心ベクトルが、使用者aの感情情報「活性・強」に対応する特徴ベクトルの中心ベクトルVμ３０であった場合、Ｒの値が１のとき中心ベクトルVμ３０と、使用者aの感情情報「活性・強」に対応する特徴ベクトルの標準偏差ベクトルVσ３０が読み出される。
【０３９５】
ステップＳ１８４０において、変数ｍに１をセットし、ステップＳ１８４１に進み、Vμ(R)m−Vσ(R)m≦Vcagm≦Vμ(R)m＋Vσ(R)mの条件を満たしているか否かを判定する。ここで、Vμ(R)mは、ベクトルVμ(R)のm番目の成分を表し、Vσ(R)m，Vcagmもそれぞれ同様にベクトルVσ，Vcagのｍ番目の成分を表す。加速度情報と握り圧情報の特徴ベクトルは上述したようにAcc+(1),Acc+(2),Acc+(3),Tac+(1),Tac+(2),Tac+(3),Acc-(1),Acc-(2),Acc-(3),Tac-(1),Tac-(2),Tac-(3),Igr_R(1),Igr_R(2),Tgr_R(1),Tgr_R(2),Igr_L(1),Igr_L(2),Tgr_L(1),Tgr_L(2)の２０個の成分により構成されている。ｍの値が１のとき、Vμ(R)，Vσ(R)，Vcagの各ベクトルの成分Acc+(1)が抽出され、処理が行われる。
【０３９６】
ステップＳ１８４１において、Vμ(R)m−Vσ(R)m≦Vcagm≦Vμ(R)m＋Vσ(R)mの条件を満たしていないと判定された場合、学習部８９４は、ステップＳ１８４６に進み、Ｒの値を１だけインクリメントして、ステップＳ１８３８に戻り、以降の処理を繰り返し実行する。ステップＳ１８４１において、Vμ(R)m−Vσ(R)m≦Vchm≦Vμ(R)m＋Vσ(R)mの条件を満たしていると判定された場合、学習部８９４は、ステップＳ１８４２に進み、ｍの値を１だけインクリメントして、ステップＳ１８４３に進み、ｍの値が２１と等しいか否か、すなわち、Vμ(R)，Vσ(R)，Vcagの各ベクトルを構成する２０個の成分について、すべてチェックしたか否か判定し、ｍの値が２１と等しくないと判定された場合、ステップＳ１８４１に戻り、それ以降の処理を繰り返し実行する。
【０３９７】
ステップＳ１８４３において、ｍの値が２１と等しいと判定された場合、すなわち、Vμ(R)，Vσ(R)，Vcagの各ベクトルを構成する２０個の成分について、全て、Vμ(R)m−Vσ(R)m≦Vcagm≦Vμ(R)m＋Vσ(R)mの条件を満たしていると判定された場合、学習部８９４は、ステップＳ１８４４に進み、VcagはＲに対応する感情情報Eに属しているものと特定する。例えば、Ｒが１の場合、ベクトルVμ３０およびVσ３０を構成する２０個の成分について、すべてVμ３０m−Vσ３０m≦Vcagm≦Vμ３０m＋Vσ３０mの条件を満たしているとき、特徴ベクトルVcagは、感情情報「活性・強」に属しているものと特定される。
【０３９８】
ステップＳ１８３８において、全ての感情情報に関してデータを読み出したと判定された場合、学習部８９４は、ステップＳ１８４５に進み、特徴ベクトルVcagに対応する感情情報を特定不能として処理を終了する。すなわち、３６種類の感情情報に対応する３６個の中心ベクトルVμ(R)と３６個の標準偏差ベクトルVσ(R)のそれぞれについて、Vμ(R)m−Vσ(R)m≦Vcagm≦Vμ(R)m＋Vσ(R)mの条件を満たしているか否かがチェックされ、その結果、Vμ(R)，Vσ(R)，Vcagの各ベクトルを構成する２０個の成分について、全て、Vμ(R)m−Vσ(R)m≦Vcagm≦Vμ(R)m＋Vσ(R)mの条件を満たしていると判定されたものがなかった場合、特徴ベクトルVcagに対応する感情情報は、特定不能と判定される。
【０３９９】
図１１７は、使用者aの各感情情報に対応する振動情報の特徴量ベクトルを示した図である。この図は、Acc+(1)軸,Acc+(2)軸,Acc+(3)軸,Tac+(1)軸,Tac+(2)軸,Tac+(3)軸,Acc-(1)軸,Acc-(2)軸,Acc-(3)軸,Tac-(1)軸,Tac-(2)軸,Tac-(3)軸, Igr_R(1)軸,Igr_R(2)軸,Tgr_R(1)軸,Tgr_R(2)軸,Igr_L(1)軸,Igr_L(2)軸,Tgr_L(1)軸,およびTgr_L(2)軸からなる２０次元空間として示されている。この空間には、使用者ａの感情情報「悲しみ・弱」に対応する特徴ベクトル郡V９の分布とその中心ベクトルVμ９、使用者ａの感情情報「嫌悪・弱」に対応する特徴ベクトル郡V１５の分布とその中心ベクトルVμ１５、使用者ａの感情情報「興味・中」に対応する特徴ベクトル郡V１７の分布とその中心ベクトルVμ１７などが存在する。
【０４００】
各感情情報に対応する中心ベクトルのうち、図１１４のステップＳ１７３５において生成された特徴ベクトルVcagは、感情情報「活性・強」に対応する特徴ベクトル群V３０の分布の中心ベクトルVμ３０と近接しており、上述したVcagの感情情報特定処理の結果、「活性・強」を示す特徴ベクトルであると特定される。
【０４０１】
このようにして、特徴ベクトルVcagから、使用者aの感情、状態、およびその強度が特定される。
【０４０２】
次に図１１８を参照して、特定結果出力再計算処理について説明する。この処理は、ゲーム機Bの学習部８９４において実行される。ステップＳ１８６１において、学習部８９４は、特定結果を出力制御部９１４に出力し、ステップＳ１８６２において使用者aの感情情報Eに対応する加速度情報と握り圧情報の特徴ベクトルの分布fvc、分布の中心ベクトルVμ、分布の標準偏差ベクトルVσを再計算し、蓄積する。すなわち、図１１４のステップＳ１７３５において生成された特徴ベクトルVcagは、蓄積部８９５に蓄積されている使用者aの強い活性を示す加速度情報と握り圧情報の特徴ベクトル郡に加えられ、あらたに、fvc、Vμ、およびVσが計算され、蓄積部８９５に蓄積される。
【０４０３】
このようにして、加速度情報と握り圧情報から使用者の感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴ベクトルの情報が、あらたに蓄積される。
【０４０４】
ここまで、ゲーム機Bが、ゲーム機Aから送信された使用者aに関する加速度情報と握り圧情報から特徴量ベクトルVcagを生成し、感情情報を特定する処理について説明したが、同様にゲーム機Bは、使用者bに関する加速度情報と握り圧情報から特徴ベクトルを生成し、感情情報を特定することもできる。
【０４０５】
また、ゲーム機Aも同様にして、使用者aと使用者bの感情情報を特定することができる。
【０４０６】
次に、図１１９と図１２０を参照して、情報出力処理について説明する。ステップＳ１８８１において、システム制御部８９７は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待機する。出力情報の選択は、例えば、ゲーム機に接続されたテレビまたはディスプレイ上に表示されたメニューを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の４種類がある。
【０４０７】
ステップＳ１８８１において、出力情報が選択されたと判定された場合、システム制御部８９７は、ステップＳ１８８２に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップＳ１８８３において、特定結果に対応する２ビットの選択情報００を出力制御部９１４に送信する。
【０４０８】
ステップＳ１８８４において、出力制御部９１４は、感情情報の特定結果に応じてキャラクタの表示を制御する。ゲーム機に接続されたテレビまたはディスプレイ上には、使用者が選択したキャラクタが表示されており、出力制御部９１４は、特定された感情情報にもとづいて、キャラクタの表情や動作を制御する。例えば、感情情報として「活性・強」が特定された場合、キャラクタの表情を元気にあふれた表情とし、また、キャラクタの手足を上下に動かし、元気な様子を表現する。
【０４０９】
ステップＳ１８８２において、特定結果が選択されていないと判定された場合、システム制御部８９７は、ステップＳ１８８５に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステップＳ１８８６に進み、特徴量に基づく情報に対応する２ビットの選択情報０１を出力制御部９１４に送信する。
【０４１０】
ステップＳ１８８７において、出力制御部９１４は、特徴量（Acc+(1),Acc+(2),Acc+(3),Tac+(1),Tac+(2),Tac+(3),Acc-(1),Acc-(2),Acc-(3),Tac-(1),Tac-(2),Tac-(3)）を特徴抽出部９１２から取得し、ステップＳ１８８８に進み、振動呈示部駆動信号を生成する。すなわち、図１２２に示されるように、出力のレベルをAcc+(1),Acc+(2),Acc+(3)とし、出力ON時間をTac+(1),Tac+(2),Tac+(3)とした矩形波と、出力のレベルをAcc-(1),Acc-(2),Acc-(3)とし、出力ON時間をTac-(1),Tac-(2),Tac-(3)とした矩形波からなる駆動信号が生成される。そして、ステップＳ１８８９に進み、出力制御部９１４は、生成された駆動信号にもとづいて、振動提示部９６５Ｌと９６５Ｒを同時に駆動させる。
【０４１１】
そして、ステップＳ１８９０において、出力制御部９１４は、特徴量（Igr_R(1),Igr_R(2),Tgr_R(1),Tgr_R(2),Igr_L(1),Igr_L(2),Tgr_L(1),Tgr_L(2)）を特徴抽出部９１２から取得し、ステップＳ１８９１に進み、光呈示部駆動信号を生成する。すなわち、図１２３に示されるように、出力の振幅をIgr_R(1)とし、出力ON時間をTgr_R(1)とした正弦波と、出力の振幅をIgr_R(2)とし、出力ON時間をTgr_R(2)とした正弦波からなる駆動信号が生成される。また、図１２４に示されるように、出力の振幅をIgr_L(1)とし、出力ON時間をTgr_L(1)とした正弦波と、出力の振幅をIgr_L(2)とし、出力ON時間をTgr_L(2)とした正弦波からなる駆動信号が生成される。
【０４１２】
ステップＳ１８９２において、出力制御部９１４は、図１２３に示される駆動信号に基づいて、光呈示部９６４Ｒを駆動し、図１２４に示される駆動信号に基づいて、光呈示部９６４Ｌを駆動する。
【０４１３】
ステップＳ１８８５において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部８９７は、ステップＳ１８９３において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、ステップＳ１８９４において、波形情報に対応する２ビットの選択情報１０を出力制御部９１４に出力する。
【０４１４】
ステップＳ１８９５において、出力制御部９１４は、特徴抽出部９１２からサンプリングされた加速度情報を取得し、取得された加速度情報に基づいて、振動呈示部９６５Ｌと９６５Ｒを駆動する駆動信号を生成し、ステップＳ１８９６において、振動呈示部９６５Ｌと９６５Ｒを駆動信号に基づいて、同時に駆動する。ステップＳ１８９７において、出力制御部９１４は、特徴抽出部９１２からサンプリングされた握り圧情報を取得し、取得された右側の握り圧情報（握り圧センサ９６３Ｒにより、検出された握り圧情報）に基づいて、光呈示部９６４Ｒを駆動する駆動信号を生成し、取得された左側の握り圧情報（握り圧センサ９６３Ｌにより、検出された握り圧情報）に基づいて、光呈示部９６４Ｌを駆動する駆動信号を生成し、ステップＳ１８９８において、光呈示部９６４Ｒと９６４Ｌをそれぞれの駆動信号に基づいて駆動する。
【０４１５】
ステップＳ１８９３において、波形情報が選択されていないと判定された場合、システム制御部８９７は、ステップＳ１８９９に進み、蓄積情報が選択されたか否かを判定する。蓄積情報が選択されていないと判定された場合、ステップＳ１９０４でエラー処理が実行される。ステップＳ１８９９で、蓄積情報が選択されたと判定された場合、システム制御部８９７は、ステップＳ１９００において、蓄積情報に対応する２ビットの選択情報０１を出力制御部９１４に出力する。
【０４１６】
蓄積情報が選択された場合、ゲーム機に接続されたテレビまたはディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報をどのゲーム機に出力するかを選択することができる。すなわち、加速度情報または握り圧情報を示す情報の種類inf、個人を特定する情報PID、感情情報E、および出力先を示す情報Toが選択される。例えば、infとして加速度情報または握り圧情報、PIDとして使用者a、Eとして強い活性、出力先として使用者ｂなどが選択される。
【０４１７】
ステップＳ１９０１において、システム制御部８９７は、情報の種類inf、個人を特定する情報PID、感情情報E、出力先Toが選択されたか否かを判定し、選択されたと判定されるまで待機する。
【０４１８】
ステップＳ１９０２において、システム制御部８９７は、使用者に選択された情報に基づいて（inf，PID，E，To）の情報を生成し、出力制御部９１４に送信する。
【０４１９】
ステップＳ１９０３において、出力制御部９１４は、図１２１を参照して後述する蓄積情報出力処理を行う。これにより、選択された情報の種類inf、個人を特定する情報PID、感情情報Eに基づく信号が生成され、出力先Toに基づいて、生成された信号が送信される。
【０４２０】
ここで、図１２１を参照して、図１２０のステップＳ１９０３の蓄積情報出力処理について説明する。
【０４２１】
ステップＳ１９２１において出力制御部９１４は、選択された情報（PID，E）に基づいて、蓄積部８９５から加速度情報と握り圧情報の中心ベクトルを取得する。この例では、蓄積部８９５に蓄積されている使用者aの「活性・強」に対応する加速度情報と握り圧情報の特徴ベクトルの分布の中心ベクトルVμ30（Acc+30(1),Acc+30(2),Acc+30(3),Tac+30(1),Tac+30(2),Tac+30(3),Acc-30(1),Acc-30(2),Acc-30(3),Tac-30(1),Tac-30(2),Tac-30(3),Igr_R30(1),Igr_R30(2),Tgr_R30(1),Tgr_R30(2),Igr_L30(1),Igr_L30(2),Tgr_L30(1),Tgr_L30(2)）が取得される。
【０４２２】
ステップＳ１９２２において、出力制御部９１４は、情報の種類infとして加速度情報が選択されたか否かを判定し、加速度情報が選択されたと判定された場合、ステップＳ１９２３に進み、Vμ30の第１番目乃至第１２番目の成分を抽出する。
【０４２３】
そして、ステップＳ１９２４に進み振動呈示部駆動信号を生成する。すなわち、図１２５に示されるように、出力のレベルをAcc+30(1),Acc+30(2),Acc+30(3)とし、出力ON時間をTac+30(1),Tac+30(2),Tac+30(3)とした矩形波と、出力のレベルをAcc-30(1),Acc-30(2),Acc-30(3)とし、出力ON時間をTac-30(1),Tac-30(2),Tac-30(3)とした矩形波からなる駆動信号が生成される。
【０４２４】
ステップＳ１９２５において、出力制御部９１４は、出力先Toが自端末（ゲーム機）の使用者か否かを判定し、自端末の使用者ではないと判定された場合、ステップＳ１９２７に進み、出力先の端末へ駆動信号を送信する。例えば、出力先Toとして使用者bが選択されている場合、使用者bの端末（ゲーム機B）に駆動信号が送信される。そして、ステップＳ１９２８において、ゲーム機Bでは、情報受信部９２２から駆動信号が受信され、情報弁別部９１１を介して、出力制御部９１４に駆動信号が供給される。ゲーム機Bの出力制御部９１４は、駆動信号に基づいて、ゲーム機Bの振動呈示部９６５Ｒと９６５Ｌを同時に駆動する。
【０４２５】
ステップＳ１９２５において、出力先Toが自端末（ゲーム機）の使用者であると判定された場合、ステップＳ１９２６に進み、出力制御部９１４は、駆動信号に基づいて、自端末（ゲーム機）の振動呈示部９６５Ｒと９６５Ｌを同時に駆動する。
【０４２６】
ステップＳ１９２２において、情報の種類infとして加速度情報が選択されていないと判定された場合（握り圧情報が選択された場合）、ステップＳ１９２９に進み、出力制御部９１４は、Vμ30の第１３番目乃至第２０番目の成分を抽出する。
【０４２７】
そして、ステップＳ１９３０に進み、出力制御部９１４は、光呈示部駆動信号を生成する。すなわち、図１２６に示されるように、出力の振幅をIgr_R30(1)とし、出力ON時間をTgr_R30(1)とした正弦波と、出力の振幅をIgr_R30(2)とし、出力ON時間をTgr_R30(2)とした正弦波からなる駆動信号が生成される。また、図１２７に示されるように、出力の振幅をIgr_L30(1)とし、出力ON時間をTgr_L30(1)とした正弦波と、出力の振幅をIgr_L30(2)とし、出力ON時間をTgr_L30(2)とした正弦波からなる駆動信号が生成される。
【０４２８】
ステップＳ１９３１において、出力制御部９１４は、出力先Toが自端末（ゲーム機）の使用者か否かを判定し、自端末の使用者ではないと判定された場合、ステップＳ１９３３に進み、出力先の端末へ駆動信号を送信する。例えば、出力先Toとして使用者bが選択されている場合、使用者bの端末（ゲーム機B）に駆動信号が送信される。そして、ステップＳ１９３４において、ゲーム機Bでは、情報受信部９２２から駆動信号が受信され、情報弁別部９１１を介して、出力制御部９１４に駆動信号が供給される。ゲーム機Bの出力制御部９１４は、図１２６に示される駆動信号に基づいて、ゲーム機Bの光呈示部９６４Ｒを駆動し、図１２７に示される駆動信号に基づいて、ゲーム機Bの光呈示部９６４Ｌを駆動する。
【０４２９】
ステップＳ１９３１において、出力先Toが自端末（ゲーム機）の使用者であると判定された場合、ステップＳ１９３２に進み、出力制御部９１４は、図１２６に示される駆動信号に基づいて、自端末（ゲーム機）の光呈示部９６４Ｒを駆動し、図１２７に示される駆動信号に基づいて自端末（ゲーム機）の光呈示部９６４Ｌを駆動する。
【０４３０】
このようにして、使用者は、加速度情報と握り圧情報から特定された感情、状態、およびその強度を表示させ、認識することができる。ゲーム機のコントローラの振動により、加速度情報を体感することができ、ゲーム機のコントローラが発する光により、握り圧情報を体感することができる。また、使用者が所望する特定の個人の特定の感情情報に対応する加速度情報または握り圧情報を指定して、特定の相手に体感させることができる。
【０４３１】
さらに、オンラインゲームにおいて、通信する相手の感情、状態、およびその強度を体感させることにより、より臨場感のあるゲームを行うことができる。
【０４３２】
以上では、本発明の実施の形態を、実施の形態１、実施の形態２、実施の形態３、および実施の形態４に分けて説明してきたが、実施の形態１、実施の形態２、実施の形態３、および実施の形態４を組み合わせて１つの端末を構成してもよい。
【０４３３】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０４３４】
【図１】本発明の情報処理装置の接続形態を示す図である。
【図２】本発明の情報処理装置おける入力される情報と蓄積される情報を示す図である。
【図３】感情・状態に対応する特徴量の分布を示す図である。
【図４】感情・状態に対応する特徴量ベクトルの分布を示す図である。
【図５】本発明の第１の情報処理装置の構成例を示すブロック図である。
【図６】図５の入力部の構成例を示す図でブロック図ある
【図７】図５の出力部の構成例を示すブロック図である。
【図８】図５の出力部の構成例を示すブロック図である。
【図９】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図１０】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図１１】送信設定情報と受信設定情報の内容を示す図である。
【図１２】生体情報蓄積処理を説明するフローチャートである。
【図１３】生体情報蓄積処理を説明するフローチャートである。
【図１４】特徴量ベクトルVc1生成処理を説明するフローチャートである。
【図１５】特徴量ベクトルVc1生成処理を説明するフローチャートである。
【図１６】極性判定処理を説明するフローチャートである。
【図１７】Tv出力処理を説明するフローチャートである。
【図１８】Vmin,Vmax判定処理を説明するフローチャートである。
【図１９】波形情報のサンプリング方法を示す図である。
【図２０】Tv出力処理、Vmin,Vmax判定処理の結果得られる情報を示す図である。
【図２１】特徴量ベクトルVc２生成処理を説明するフローチャートである。
【図２２】特徴量ベクトルVc２生成処理を説明するフローチャートである。
【図２３】感情・状態を表す語句を示す図である。
【図２４】感情・状態の強度を表す語句を示す図である。
【図２５】脈拍情報の波形を示す図である。
【図２６】体動情報の波形を示す図である。
【図２７】端末Ｂの蓄積部に蓄積される情報を示す図である。
【図２８】感情・状態特定処理を説明するフローチャートである。
【図２９】特徴量ベクトルVc１生成処理を説明するフローチャートである。
【図３０】特徴量ベクトルVc１生成処理を説明するフローチャートである。
【図３１】特徴量ベクトルVc２生成処理を説明するフローチャートである。
【図３２】特徴量ベクトルVc２生成処理を説明するフローチャートである。
【図３３】Vc１の感情、状態、およびその強度特定処理を説明するフローチャートである。
【図３４】Vc１と各ベクトルの内積値の計算結果データを示す図である。
【図３５】Vc１と各ベクトルの分布の関係を示す図である。
【図３６】Vc２の感情、状態、およびその強度特定処理を説明するフローチャートである。
【図３７】Vc２と各ベクトルの内積値の計算結果データを示す図である。
【図３８】Vc２と各ベクトルの分布の関係を示す図である。
【図３９】特定結果出力、再計算の処理を説明するフローチャートである。
【図４０】情報出力処理を説明するフローチャートである。
【図４１】情報出力処理を説明するフローチャートである。
【図４２】情報出力処理において出力される情報の波形を示す図である。
【図４３】情報出力処理において出力される情報の波形を示す図である。
【図４４】本発明の第２の情報処理装置の構成例を示すブロック図である。
【図４５】図４４の入力部の構成例を示す図でブロック図ある
【図４６】図４４の出力部の構成例を示すブロック図である。
【図４７】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図４８】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図４９】振動情報蓄積処理を説明するフローチャートである。
【図５０】振動情報蓄積処理を説明するフローチャートである。
【図５１】特徴量ベクトルVc生成処理を説明するフローチャートである。
【図５２】特徴量ベクトルVc生成処理を説明するフローチャートである。
【図５３】端末Ｂの蓄積部に蓄積される情報を示す図である。
【図５４】キーボード振動情報の波形を示す図である。
【図５５】キーボード振動情報から得られるデータを示す図である。
【図５６】感情・状態特定処理を説明するフローチャートである。
【図５７】特徴量ベクトルVch生成処理を説明するフローチャートである。
【図５８】特徴量ベクトルVch生成処理を説明するフローチャートである。
【図５９】Vchの感情、状態、およびその強度特定処理を説明するフローチャートである。
【図６０】Vchと各ベクトルの分布の関係を示す図である。
【図６１】特定結果出力、再計算の処理を説明するフローチャートである。
【図６２】情報出力処理を説明するフローチャートである。
【図６３】情報出力処理を説明するフローチャートである。
【図６４】情報出力処理において出力される情報の波形を示す図である。
【図６５】情報出力処理において出力される情報の波形を示す図である。
【図６６】本発明の第３の情報処理装置の構成例を示すブロック図である。
【図６７】図６６の入力部の構成例を示す図でブロック図ある
【図６８】図６６の出力部の構成例を示すブロック図である。
【図６９】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図７０】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図７１】クリック情報、握り圧情報蓄積処理を説明するフローチャートである。
【図７２】クリック情報、握り圧情報蓄積処理を説明するフローチャートである。
【図７３】特徴量ベクトルVc生成処理を説明するフローチャートである。
【図７４】クリック特徴算出処理を説明するフローチャートである。
【図７５】握り圧特徴算出処理を説明するフローチャートである。
【図７６】感情・状態申告チャートの表示例を示す図である。
【図７７】感情・状態申告情報の構成例を示す図である。
【図７８】端末Ｂの蓄積部に蓄積される情報を示す図である。
【図７９】マウスのクリック情報の波形を示す図である。
【図８０】マウスの握り圧情報の波形を示す図である。
【図８１】感情・状態特定処理を説明するフローチャートである。
【図８２】特徴量ベクトルVc生成処理を説明するフローチャートである。
【図８３】クリック特徴算出処理を説明するフローチャートである。
【図８４】握り圧特徴算出処理を説明するフローチャートである。
【図８５】Vcの感情、状態、およびその強度特定処理を説明するフローチャートである。
【図８６】Vcと各ベクトルの分布の関係を示す図である。
【図８７】特定結果出力、再計算の処理を説明するフローチャートである。
【図８８】情報出力処理を説明するフローチャートである。
【図８９】情報出力処理を説明するフローチャートである。
【図９０】情報出力処理において出力される情報の波形を示す図である。
【図９１】情報出力処理において出力される情報の波形を示す図である。
【図９２】本発明のゲーム機の接続形態を示す図である。
【図９３】本発明のゲーム機の構成例を示す図である。
【図９４】本発明のゲーム機のコントローラの構成例を示す図である。
【図９５】ゲーム機Ａ、ゲーム機Ｂ、およびサーバの間で送受信される情報を示す図である。
【図９６】ゲーム機Ａ、ゲーム機Ｂ、およびサーバの間で送受信される情報を示す図である。
【図９７】特徴情報蓄積処理を説明するフローチャートである。
【図９８】特徴情報蓄積処理を説明するフローチャートである。
【図９９】特徴ベクトルVcの生成処理を説明するフローチャートである。
【図１００】加速度情報の特徴量算出処理を説明するフローチャートである。
【図１０１】加速度情報の特徴量算出処理を説明するフローチャートである。
【図１０２】ゲーム機のコントローラの加速度情報の波形を示す図である。
【図１０３】ゲーム機のコントローラの加速度情報から得られるデータを示す図である。
【図１０４】握り圧情報の特徴量抽出処理を説明するフローチャートである。
【図１０５】握り圧情報の特徴量抽出処理を説明するフローチャートである。
【図１０６】ゲーム機のコントローラの右側の握り圧情報の波形を示す図である。
【図１０７】ゲーム機のコントローラの左側の握り圧情報の波形を示す図である。
【図１０８】ゲーム機のコントローラの右側の握り圧情報から得られるデータを示す図である。
【図１０９】ゲーム機のコントローラの左側の握り圧情報から得られるデータを示す図である。
【図１１０】ゲーム機のコントローラの加速度情報の波形を示す図である。
【図１１１】ゲーム機のコントローラの右側の握り圧情報の波形を示す図である。
【図１１２】ゲーム機のコントローラの左側の握り圧情報の波形を示す図である。
【図１１３】ゲーム機の蓄積部に蓄積される情報を示す図である。
【図１１４】感情状態特定処理を説明するフローチャートである。
【図１１５】特徴ベクトルVcagの生成処理を説明するフローチャートである。
【図１１６】Vcagの感情情報特定処理を説明するフローチャートである。
【図１１７】Vcagと各ベクトルの分布の関係を示す図である。
【図１１８】特定結果出力再計算処理を説明するフローチャートである。
【図１１９】情報出力処理を説明するフローチャートである。
【図１２０】情報出力処理を説明するフローチャートである。
【図１２１】蓄積情報出力処理を説明するフローチャートである。
【図１２２】情報出力処理において出力される振動呈示部駆動信号の波形を示す図である。
【図１２３】情報出力処理において出力される光呈示部駆動信号の波形を示す図である。
【図１２４】情報出力処理において出力される光呈示部駆動信号の波形を示す図である。
【図１２５】情報出力処理において出力される振動呈示部駆動信号の波形を示す図である。
【図１２６】情報出力処理において出力される光呈示部駆動信号の波形を示す図である。
【図１２７】情報出力処理において出力される光呈示部駆動信号の波形を示す図である。
【符号の説明】
【０４３５】
１乃至３  端末，  １１  ネットワーク，  ９１  入力部，  ９２  出力部，  ９４  学習部，  ９５  蓄積部，  ９７  システム制御部，  １３１  マイク，  １３２  脈波センサ，  １３３  測距センサ，  １５２  移動オブジェクト，  １９２  光呈示部，  ３０１  入力部，  ３０２  出力部，  ３０４  学習部，  ３０５  蓄積部，  ３０７  システム制御部，  ３４１  キーボード，  ３４２  振動センサ，  ３６２  振動呈示部，  ６１１  入力部，  ６１２  出力部，  ６１４  学習部，  ６１５  蓄積部，  ６１７  システム制御部，  ６５１  マウス，  ６７１  握り強度センサ，  ６５３  温度センサ，  ６９２  温度呈示部，  ６９２  ペルチェ素子，  ８７１乃至８７３ゲーム機，  ８９１
入力部，  ８９２  出力部，  ８９４  学習部，  ８９５  蓄積部，  ８９７  システム制御部，  ９４１  コントローラ，  ９６１  ３軸加速度センサ，  ９６３Ｌ握り圧センサ，  ９６３Ｒ握り圧センサ，  ９６４Ｌ  光呈示部，  ９６４Ｒ  光呈示部，  ９６５Ｌ  振動呈示部，  ９６５Ｒ  振動呈示部
【図１】
0004525712.tif 000003
【図２】
0004525712.tif 000004
【図３】
0004525712.tif 000005
【図４】
0004525712.tif 000006
【図５】
0004525712.tif 000007
【図６】
0004525712.tif 000008
【図７】
0004525712.tif 000009
【図８】
0004525712.tif 000010
【図９】
0004525712.tif 000011
【図１０】
0004525712.tif 000012
【図１１】
0004525712.tif 000013
【図１２】
0004525712.tif 000014
【図１３】
0004525712.tif 000015
【図１４】
0004525712.tif 000016
【図１５】
0004525712.tif 000017
【図１６】
0004525712.tif 000018
【図１７】
0004525712.tif 000019
【図１８】
0004525712.tif 000020
【図１９】
0004525712.tif 000021
【図２０】
0004525712.tif 000022
【図２１】
0004525712.tif 000023
【図２２】
0004525712.tif 000024
【図２３】
0004525712.tif 000025
【図２４】
0004525712.tif 000026
【図２５】
0004525712.tif 000027
【図２６】
0004525712.tif 000028
【図２７】
0004525712.tif 000029
【図２８】
0004525712.tif 000030
【図２９】
0004525712.tif 000031
【図３０】
0004525712.tif 000032
【図３１】
0004525712.tif 000033
【図３２】
0004525712.tif 000034
【図３３】
0004525712.tif 000035
【図３４】
0004525712.tif 000036
【図３５】
0004525712.tif 000037
【図３６】
0004525712.tif 000038
【図３７】
0004525712.tif 000039
【図３８】
0004525712.tif 000040
【図３９】
0004525712.tif 000041
【図４０】
0004525712.tif 000042
【図４１】
0004525712.tif 000043
【図４２】
0004525712.tif 000044
【図４３】
0004525712.tif 000045
【図４４】
0004525712.tif 000046
【図４５】
0004525712.tif 000047
【図４６】
0004525712.tif 000048
【図４７】
0004525712.tif 000049
【図４８】
0004525712.tif 000050
【図４９】
0004525712.tif 000051
【図５０】
0004525712.tif 000052
【図５１】
0004525712.tif 000053
【図５２】
0004525712.tif 000054
【図５３】
0004525712.tif 000055
【図５４】
0004525712.tif 000056
【図５５】
0004525712.tif 000057
【図５６】
0004525712.tif 000058
【図５７】
0004525712.tif 000059
【図５８】
0004525712.tif 000060
【図５９】
0004525712.tif 000061
【図６０】
0004525712.tif 000062
【図６１】
0004525712.tif 000063
【図６２】
0004525712.tif 000064
【図６３】
0004525712.tif 000065
【図６４】
0004525712.tif 000066
【図６５】
0004525712.tif 000067
【図６６】
0004525712.tif 000068
【図６７】
0004525712.tif 000069
【図６８】
0004525712.tif 000070
【図６９】
0004525712.tif 000071
【図７０】
0004525712.tif 000072
【図７１】
0004525712.tif 000073
【図７２】
0004525712.tif 000074
【図７３】
0004525712.tif 000075
【図７４】
0004525712.tif 000076
【図７５】
0004525712.tif 000077
【図７６】
0004525712.tif 000078
【図７７】
0004525712.tif 000079
【図７８】
0004525712.tif 000080
【図７９】
0004525712.tif 000081
【図８０】
0004525712.tif 000082
【図８１】
0004525712.tif 000083
【図８２】
0004525712.tif 000084
【図８３】
0004525712.tif 000085
【図８４】
0004525712.tif 000086
【図８５】
0004525712.tif 000087
【図８６】
0004525712.tif 000088
【図８７】
0004525712.tif 000089
【図８８】
0004525712.tif 000090
【図８９】
0004525712.tif 000091
【図９０】
0004525712.tif 000092
【図９１】
0004525712.tif 000093
【図９２】
0004525712.tif 000094
【図９３】
0004525712.tif 000095
【図９４】
0004525712.tif 000096
【図９５】
0004525712.tif 000097
【図９６】
0004525712.tif 000098
【図９７】
0004525712.tif 000099
【図９８】
0004525712.tif 000100
【図９９】
0004525712.tif 000101
【図１００】
0004525712.tif 000102
【図１０１】
0004525712.tif 000103
【図１０２】
0004525712.tif 000104
【図１０３】
0004525712.tif 000105
【図１０４】
0004525712.tif 000106
【図１０５】
0004525712.tif 000107
【図１０６】
0004525712.tif 000108
【図１０７】
0004525712.tif 000109
【図１０８】
0004525712.tif 000110
【図１０９】
0004525712.tif 000111
【図１１０】
0004525712.tif 000112
【図１１１】
0004525712.tif 000113
【図１１２】
0004525712.tif 000114
【図１１３】
0004525712.tif 000115
【図１１４】
0004525712.tif 000116
【図１１５】
0004525712.tif 000117
【図１１６】
0004525712.tif 000118
【図１１７】
0004525712.tif 000119
【図１１８】
0004525712.tif 000120
【図１１９】
0004525712.tif 000121
【図１２０】
0004525712.tif 000122
【図１２１】
0004525712.tif 000123
【図１２２】
0004525712.tif 000124
【図１２３】
0004525712.tif 000125
【図１２４】
0004525712.tif 000126
【図１２５】
0004525712.tif 000127
【図１２６】
0004525712.tif 000128
【図１２７】
0004525712.tif 000129