【手続補正書】
【提出日】平成17年12月16日(2005.12.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】明細書
【発明の名称】  情動状態検出装置及び方法
【特許請求の範囲】
【請求項１】  個人により発生された音声試料を入力するように作用するとともに、該音声試料から、ソーンに関連する情報とプラトーに関連する情報との内、少なくとも１つを含んでいる上記イントネーション情報を導出するように作用する、音声分析器と、
上記イントネーション情報に基づき個人の情動状態の出力表示を発生するように作用する、情動報告器と、
を含む、個人の情動状態検出装置。
【請求項２】  上記情動状態が、興奮レベル、心理学的に不協調な感情、話し言葉又は文章中に観察された考慮度数、ストレスレベル、覚醒、真誠さ、の内の少なくとも１つを含んでいる、請求項１に記載の装置。
【請求項３】  個人により発生された音声試料を入力するように作用するとともに、ソーンに関連する情報とプラトーに関連する情報との内、少なくとも１つに基づく上記音声試料についての複数の特徴事項のそれぞれを定量化するように作用する、多次元音声分析器と、
上記定量化された複数の特徴事項に基づき、うその検出を含む、個人の信頼性の出力表示を発生するように作用する、信頼性評価報告器と、
により構成された、うそ検出装置。
【請求項４】  複数の特徴事項が、興奮レベル、心理学的に不協調な感情、話し言葉又は文章中に観察された考慮度数、ストレスレベル、覚醒から選択した、少なくとも２つの情動状態に相当する、請求項３に記載のうそ検出装置。
【請求項５】  個人により発生された音声試料を受領するとともに、上記音声試料における複数の特徴事項を定量化するステップであって、上記複数の特徴事項のそれぞれが、ソーンに関連する情報と、プラトーに関連する情報との内、少なくとも１つに基づいているステップと、
上記定量化された複数の特徴事項に基づき、うその検出を含む、個人の信頼性の出力表示を発生するステップと、
を含む、多次元うそ検出方法。
【請求項６】  複数の特徴事項が、興奮レベル、心理学的に不協調な感情、話し言葉又は文章中に観察された考慮度数、ストレスレベル、覚醒から選択した、少なくとも２つの情動状態に相当する、請求項５に記載の方法。
【請求項７】  個人が情動の中立状態時にある第１の期間にわたって、ソーンに関連する情報とプラトーに関連する情報との内、少なくとも１つに、それぞれが基づく複数の情動関連パラメータに関して、上記個人をモニタするとともに、上記第１の期間中、上記情動関連パラメータの範囲の関数として特徴範囲を特定することにより、安息時に、上記個人の情動の範囲を特徴付ける、多次元特徴範囲を確立するステップと、
上記複数の情動関連パラメータの測定値を得、上記特徴範囲を考慮に入れるべく、これらの測定値を調整するために、上記個人の情動状態を検出することが望まれる、第２の期間にわたって、上記情動関連パラメータに関して上記個人をモニタするステップと、
を含む、情動状態検出方法。
【請求項８】  個人により発生された音声試料を受領するとともに、該音声試料からイントネーション情報を導出するステップであって、上記イントネーション情報は、ソーンに関連する情報と、プラトーに関連する情報との内、少なくとも１つを含む、ステップと、
上記イントネーション情報に基づき上記個人の情動状態の出力表示を発生させるようにしたステップと、
を含む、個人の情動状態検出方法。
【請求項９】  上記情動状態が、興奮レベル、心理学的に不協調な感情、話し言葉又は文章中に観察された考慮度数、ストレスレベル、覚醒、真誠さ、の内の少なくとも１つを含んでいる、請求項８に記載の方法。
【請求項１０】  少なくとも１つの情動関連パラメータの較正測定値を定めるために、少なくとも１つの音声セグメントをモニタするステップと、
少なくとも１つの情動関連パラメータの試験測定値を定めるために、１以上の追加の音声セグメントをモニタするステップと、
上記試験測定値の上記較正測定値からの偏差を演算するステップと、
偏差に基づいて情動状態の出力表示を生成するステップと、
を含む、少なくとも１つの情動関連パラメータに基づいて情動状態を検出する方法。
【請求項１１】  少なくとも１つの情動関連パラメータが、ソーンに関連する情報と、プラトーに関連する情報との内、少なくとも１つに基づくものである、請求項１０に記載の方法。
【発明の詳細な説明】
【０００１】
（技術分野）
本発明は情動検出装置及び方法に関する。
【０００２】
（背景技術）
ＰＣＴ国際出願（ＰＣＴ／ＩＬ９６／０００２７号）の公開公報ＷＯ９７／０１９８４号に、対象（人物）の情動に関する少なくとも１つの生理学的可変特性のバイオフィードバック制御方法、即ち、対象の情動状態、即ち、情動による少なくとも１つの音声パラメータ特徴を探索してその表示信号を発生する段階及び該表示信号を用いて当該対象を少なくとも１つの生理学的変数をもって表示する段階とを含む、生体自己制御方法が記載されている。このシステムは、スタンドアロンモードにて、即ち、電話回線を介して主体から隔てた場所で発生するようにして当該方法を実施するようにしたものである。対象人物の情動に関係する情報は遠隔当事者に口答で、即ち、インターネットを介して逐次伝送され、次いで、所望に処理される。
【０００３】
ヨーロッパ特許出願公報第９４８５０１８５．３号（特許公報第３０６６６４５３７Ａ２号）に、連続音声におけるアクセントを決定する方法及び装置が記載されている。会話中に認識された連続音声により音声モデルが作成される。音声会話中の一連の音声をモデル化した音声と比較することにより両者間の相違点が得られる。
【０００４】
米国特許公報第１３８４７２１号には、生理学的応答分析用の方法及び装置が  記載されている。
【０００５】
フュラー（Ｆuller）に付与された、米国特許公報第３８５５４１６号には、基本的な音声−エネルギー重み付けビブラート成分評価による真/偽決定を行うようにした、音声分析方法及び装置が記載されている。
【０００６】
フュラー（Ｆuller）に付与された、米国特許公報第３８５５４１７号には、スペクトルエネルギー領域の比較による真/偽決定を行うようにした、音声分析方法及び装置が記載されている。
【０００７】
フュラー（Ｆuller）に付与された、米国特許公報第３８５５４１８号には、ビブラート成分評価による真/偽決定を行うようにした、音声分析方法及び装置が記載されている。
本明細書で記述された全ての公報及びそれらの引用例に開示された事項は、参考用として本明細書に取込んで記述される。
【０００８】
（発明の開示）
（発明が解決しようとする技術的課題）
本発明は、改良された情動状態をモニタする装置及び方法を提供しようとするものである。
【０００９】
（課題の解決方法）
したがって、本発明の好ましい実施例により個人の情動状態を検出する装置を提供するものであり、該装置は、個人により発生された音声試料を入力するとともにこれらの入力音声試料からイントネーション情報を導出するようにした、音声分析器と、上記イントネーション情報に基づき個人の情動状態の出力表示を発生するようにした、情動報告器とを含む。
【００１０】
また、本発明の好ましい実施例によれば、音声試料が電話回線を介して音声分析器に供給される。
【００１１】
更に、本発明の好ましい実施例によれば、個人の情動状態についての報告は上記個人の情動状態に基づくうそ検出報告を含む。
【００１２】
また、本発明の好ましい実施例によれば、イントネーション情報は多次元イントネーション情報を含む。
【００１３】
更にまた、本発明の好ましい実施例によれば、多次元情報は少なくとも３次元情報を含む。
【００１４】
更に、本発明の好ましい実施例によれば、多次元イントネーション情報は少なくとも４次元情報を含む。
【００１５】
更にまた、本発明の好ましい実施例によれば、イントネーション情報はソーン（不安定期）に関連する情報を含む。
【００１６】
更に、本発明の好ましい実施例によれば、ソーン（不安定期）に関連する情報は予め定めた時間内に存在するソーンの数から構成される。
【００１７】
また、本発明の好ましい実施例によれば、ソーン（不安定期）に関連する情報は時間に関するソーン分布を含む。
【００１８】
更に、本発明の好ましい実施例によれば、イントネーション情報はプラトー（安定期）に関連する情報を含む。
【００１９】
更には、本発明の好ましい実施例によれば、プラトー（安定期）に関連する情報は予め定めた時間内に存在するプラトーの数から構成される。
【００２０】
更にまた、本発明の好ましい実施例によれば、プラトーに関連する情報はプラトー（安定期）の期間長さに関連する情報を含む。
【００２１】
更には、本発明の好ましい実施例によれば、プラトーの期間長さに関連する情報は予め定めた時間内の平均プラトー期間長さを含む。
【００２２】
更に、本発明の好ましい実施例によれば、プラトーの期間長さに関連する情報は予め定めた時間内のプラトー期間長さの標準誤差を含む。
【００２３】
また、本発明の好ましい実施例によれば、個人により発生された音声試料を入力するとともに該音声試料における複数の特徴事項を定量化するように作用する、多次元音声分析器、及び上記定量化された複数の特徴事項に基づき、うその検出を含む、個人の信頼性の出力表示を発生するように作用する、信頼性評価報告器により構成したうそ検出装置が提供される。
【００２４】
更に、本発明の好ましい実施例によれば、個人により発生された音声試料を受領するとともに該音声試料における複数の特徴事項を定量化する段階、及び上記定量化された複数の特徴事項に基づき、うその検出を含む、個人の信頼性の出力表示を発生する段階を含む、うそ検出方法が提供される。
【００２５】
更にまた、本発明の好ましい実施例によれば、音声試料が周期を有する主音声波により構成され、音声分析器は上記主音声波に重畳したローカル低周波により示されるプラトー（安定期）の出現率を決定するために上記音声試料を分析するように作用し、情動報告器は上記プラトーの出現率に基づいて適当な出力表示を提供する。例えば、プラトー出現率の変化が発見されたとき、情動報告器が適当な出力表示を提供するようにする。
【００２６】
同様に、各ソーンは、主音声波に局部的に比較的高い高周波が重畳していることを示す。本明細書に記載されると共に説明されるように、ソーン及びプラトーを分析する利点は、実質的に、音声波の全ての周波数が分析されることにある。
【００２７】
また、本発明の好ましい実施例によれば、安息時に、個人の情動の中立状態時における第１期間にわたって複数の情動関連パラメータに関して上記個人をモニタするとともに上記第１期間中、上記情動関連パラメータ範囲の関数として特徴範囲を特定することにより、上記個人の情動範囲を特徴付ける、多次元特徴範囲を確立し、及び上記個人の情動状態を検出しようとするとき、該個人を、第２期間にわたって上記情動関連パラメータに関してモニタし、上記複数の情動パラメータの測定値を得、これらの測定値を上記特徴範囲を考慮して調整するようにした、情動状態検出方法が提供される。
【００２８】
更にまた、本発明の好ましい実施例によれば、個人の情動状態を検出するにあたり、個人により発生された音声試料を受領するとともに該音声試料からイントネーション情報を導出し、上記イントネーション情報に基づき上記個人の情動状態の出力表示を発生するようにした、情動状態検出方法が提供される。
【００２９】
本明細書に添付の付録は、本明細書に開示される本発明の好ましい実施例の理解及び評価の便宜に供せられる。
【００３０】
付録Ａは、本明細書に開示される、本発明の好ましい実施例の好ましい実施ソフトウェアのコンピュータリストである。
【表１】
2002509267.tif 000001
【表２】
2002509267.tif 000002
【表３】
2002509267.tif 000003
【表４】
2002509267.tif 000004
【表５】
2002509267.tif 000005
【表６】
2002509267.tif 000006
【表７】
2002509267.tif 000007
【表８】
2002509267.tif 000008
【表９】
2002509267.tif 000009
【表１０】
2002509267.tif 000010
【表１１】
2002509267.tif 000011
【表１２】
2002509267.tif 000012
【表１３】
2002509267.tif 000013
【表１４】
2002509267.tif 000014
【表１５】
2002509267.tif 000015
【表１６】
2002509267.tif 000016
【表１７】
2002509267.tif 000017
【表１８】
2002509267.tif 000018
【表１９】
2002509267.tif 000019
【００３１】
（発明を実施するための最良の形態）
本特許出願書類の開示部分は著作権に属する事項を含んでいる。この著作権者は、米国特許商標庁における特許ファイル又は記録簿に存在し、さもなければ、当該著作権の全てが保存される限りにおいて、何人も当該特許書類又は特許開示物をファクシミリにより複製することに異存は無い。
【００３２】
図１Ａは、話者の情動状態をオン−ライン方式でモニタする装置の外観図である。実施例において、図示されるように、電話回線を伝わって入来する音声入力が当該装置により受信される。この装置は、話者の情動状態の表示を得るために、音声入力を分析し、例えば、図示するように、上記表示を表示器画面に示してユーザにリアルタイムに提供する。
【００３３】
図１Ｂは、話者の情動状態をオン−ライン方式でモニタする方法を説明する簡略化動作流れ図である。この図１Ｂの方法は、好ましくは次のステップを含む：
初期化ステップ１０：詳細に後述するように、種々の情動を指示しようとする範囲を特定する、色々なパラメータの閾値等の定数が定義される。
【００３４】
ステップ２０：周期的に又は要求により音声を記録する。例えば、０．５秒間の音声セグメント、即ち、０．５秒毎に連続して記録される。それに代えて、上記セグメントは、他の適当な長さとするか又は重複しない長さのものとすることができる。例えば、隣接するセグメントは、1つ又は数個のサンプルを除いて、略完全に重複するものとされる。
音声記録をデジタル化する。
上記記録を構成する追加的に、即ち、交番状に重複するセグメントの標本が採取される。
【００３５】
ステップ３０：音声セグメントの重要部、即ち、背景雑音とは対称的に実際に音声情報を包含すると思われる音声セグメントの部分を選定するために、音声セグメントを分析する。適当な音声情報検出基準は振幅であり、例えば、閾値を超える振幅の最初の部分が音声情報の開始部分とみなされ、音声情報の最終部は予め定められた期間中に閾値を超過する音声が見出せなくなった後の時点であるとみなされる。
【００３６】
好ましくは、重要部分のサンプルは正規化され、例えば、もし、８ビットのメモリが適用されるのであれば、例えば、＋／−１２７振幅ユニットを当該メモリに収容できる、振幅の全範囲を利用するために当該サンプルを増幅することにより正規化される。
【００３７】
ステップ４０：重要部分におけるソーン（不安定期）及びプラトー（安定期）の数を計数する。各同定されたプラトー長さを演算し、当該重要部分に対する平均プラトー長さ及び該プラトー長さに対する標準誤差を演算する。
【００３８】
“ソーン”はノッチ形態のものである。例えば、語“ソーン（不安定期）”とは、次のように定義される：
ａ．            隣接した３つの連続したサンプルであって、１番目及び３番目のサンプルの振幅が共に中間のサンプルより高いか、又は
ｂ．            隣接した３つの連続したサンプルであって、１番目及び３番目のサンプルの振幅が共に中間のサンプルより低いもの
好ましくは、ソーンは、たとえ、１番目及び３番目のサンプルの振幅が共に中間のサンプルより非常に僅かだけ相違する、即ち、サンプル間の違いに対する最小閾値の無いものであっても宣言される。一方、好ましくは、ソーンのベースラインに対し最小閾値とされ、即ち、非常に低い振幅をもって生じたソーンは無視され、それというのも、これらのセグメントは音声に関するものというより背景雑音に関するものと考えられるからである。
【００３９】
図２は、多数のソーン（不安定期）３４を含んだ音声セグメント３２のグラフを示す。
“プラトー（安定期）”は、音声波における局所的平坦部分である。プラトー（安定期）とは、例えば、連続した平坦部分の長さが予め定められた最小閾値より大きくかつ予め定められた最大閾値より小さいものと定義される。最小閾値は局所的平坦部分を無声又は沈黙期間と識別することを要する。もし、連続したサンプル間の振幅差が予め定められた閾値、例えば、８ビットメモリを適用したとき、５振幅目盛分小さければ、当該シーケンス（連続サンプル）は平坦であるとみなされる。
【００４０】
図３は、多数のプラトー（安定期）３８を含んだ音声セグメント３６のグラフである。付録Ａにおいて、プラトーは“ｊｕｍｐｓ（ジャンプ）”と称される。
本発明の装置は、代表的に、１つ又は２つのモードで操作される：
ａ．    較正（Calibration）――  対象（個人）は横臥及び/又は中立情動状態としたまま、該対象をモニタすることにより当該対象の真実／中立情動状態のプロフィールを確立する。
ｂ．    テスト（Testing）――  情動状態を確立する及び/又は当該対象を誠実状態かどうかを確立すべく、当該対象の音声と、較正時に確立されるような当該対象の真実／中立情動状態のプロフィールとの比較を行う。
【００４１】
上記装置を較正モードで使用するのであれば、ステップ５０からステップ６０までの方法が実行される。該装置をテストモードで使用するのであれば、ステップ５０からステップ８０までの方法が実行される。
【００４２】
ステップ６０：ステップ６０に到達したならば、現セグメントが較正の目的で処理に付されたことを示す。したがって、ステップ４０において導出されたソーン及びプラトー情報が較正テーブルに蓄積される。
ここで、ステップ２０〜ステップ５０の処理は“音声記録入力処理（voice recording entering processes）”と定義される。較正の目的で更に音声記録を入力する必要があれば、ステップ２０に戻る。較正の目的のための全ての音声記録の入力が完了すれば、当該方法はステップ８０に進む。
【００４３】
ステップ８０：現在試験されている対象人物に対する真実／中立情動状態のプロフィールを作成する。これは較正モードで操作される。引続いて、当該装置はテストモードに入り、虚偽又は緊張情動事態を同定するために、当該対象の音声記録がそれの真実／中立情動状態プロフィールと比較される。この対象のプロセッサーは、代表的に、ソーン/プラトー情報の中心傾向に反映されるとともに、代表的に、擬似較正状態を考慮して調整される。例えば、較正開始時における自然ストレスのため、初期音声記録はその後の音声記録よりも信頼性が低い。好ましくは、中心傾向の信頼できる表示を得るために、較正テーブルにおける極端な入力は排除されなければならない。
【００４４】
ステップ９０前のテストモードに入る。
ステップ９０：現セグメントのソーン/プラトー情報をステップ８０において演算された真実/中立情動プロフィールと比較する。
【００４５】
ステップ１００：種々の情動及び／又は虚偽事態を示すように、現セグメントを分類すべく、ステップ９０における比較処理結果に閾値を設定する。
【００４６】
ステップ１０５：オプションとして、持越（Carryover）を補償する。語“持越（Carryover）”とは、最初の知覚状態によって惹起された“現実的（Actual）”情動状態から持越される残存情動状態であり、該残存情動状態は初期知覚状態が既に終焉した後も消え去らないものである。ステップ１０５を実行するための適当な実施例が図８のフローチャート（動作流れ図）において記述される。
【００４７】
ステップ１１０：ステップ１００において決定されたカテゴリーを表示するメッセージを示す。
【００４８】
ステップ１２０：分析すべき音声セグメントの追加があれば、ステップ２０に戻る。それとも、終了する。適当な数ｍ個のセグメントが、例えば、５個のセグメントが較正に使用される。
【００４９】
図４は、図１Ｂにおけるステップ４０を実行するための好ましい方法を説明する簡略フローチャート（動作流れ図）である。上述したように、ステップ４０において、現音声記録セグメントの重要部分に対するソーン／プラトー情報が発生される。
【００５０】
プラトーの現在長さが“jj”と記される。
“Jjmap(jj)”は長さが正確にjjとされるプラトーの数である。
“Plat”は、長さに拘わらずプラトーの数を計数するカウンタである。
“Thorn”は、ソーンの数を計数するカウンタである。
ｎは、テスト中の重要部分におけるサンプル数である。
【００５１】
ステップ１５０において、ソーン及びプラトーの計数カウンタがリセットされる。
【００５２】
ステップ１６０において、重要部分の全てのサンプルについてループの実行が開始（loop on）される。このループは第１重要サンプルにおいて開始され、最後から２番目の重要サンプルにおいて終る。
【００５３】
ステップ１６４において、ループにおける各サンプルの振幅が記録される。
ステップ１７０及びステップ１８０において、ソーンの検出が行なわれ、ステップ１９０、ステップ１９５、ステップ２００及びステップ２１０において、プラトーの検出が行なわれる。
【００５４】
ステップ２００において、もし、候補プラトーの長さが妥当な範囲内のもの、例えば、３〜２０の範囲内のものであれば、長さjjのプラトー数が増分（インクリメント）されるとともにPlat、即ち、プラトーの総数が増分（インクリメント）される。そうでなければ、即ち、もし、候補プラトーの長さが３より小さいか、又は、２０を超えるものであれば、該候補プラトーはプラトーと認められない。
【００５５】
候補プラトーが“実（real）”プラトーとみなされるか又はみなされないと、プラトー長さ、jjは、零（０）とされる（ステップ２１０）。
【００５６】
ステップ２２０は当該ループの終わり、即ち、当該シーケンスにおける全てのサンプルのチェックが完了した時点である。
【００５７】
ステップ２３０において、プラトー長さ変数であるjjmapの、平均値（ＡＶＪ）及び標準誤差（ＪＱ）が演算される。
【００５８】
ステップ２４０において、ＳＰＴ及びＳＰＪを演算する。ＳＰＴは各サンプルあたりの平均ソーン数であり、好ましくは、適当に正規化される。ＳＰＪは各サンプルあたりの平均プラトー数であり、好ましくは、適当に正規化される。
【００５９】
上記説明された実施例によれば、情動状態検出は多次元をもって行なわれ、即ち、情動状態が、複数の、好ましくは独立した中間変数を介して音声情報から導出される。
【００６０】
図５は、図１Ｂの真実/中立情動プロフィール形成ステップを実施するための好ましい方法の簡略説明フローチャート（動作流れ図）である。
図５において、ＳＰＴ（ｉ）はセグメントｉのＳＰＴ値である。
MinＳＰＴは、任意のｍ個のセグメントについて計測された最小ＳＰＴ値である。
MaxＳＰＴは、任意のｍ個のセグメントについて計測された最大ＳＰＴ値である。
MinＳＰＪは、任意のｍ個のセグメントについて計測された最小ＳＰＪ値である。
MaxＳＰＪは、任意のｍ個のセグメントについて計測された最大ＳＰＪ値である。
MinＪＱは、任意のｍ個のセグメントについて計測された最小ＪＱ値である。
MaxＪＱは、任意のｍ個のセグメントについて計測された最大ＪＱ値である。
【００６１】
ＲｅｓＳＰＴは、較正時に遭遇したＳＰＴ値の範囲サイズである。より一般的には、ＲｅｓＳＰＴは、対象（人物）が真実／中立情動状態にあるときに予測され得るソーン数の変動程度を表示する。したがって、音声セグメントにおけるソーン数が、ＲｅｓＳＰＴに関して非標準的であれば、当該対象は、興奮又は準覚醒によって特徴付けられる情動状態等の非中立状態にあるといえる。よって、ＲｅｓＳＰＴは、代表的に、情動環境が知られない間に発生されたＳＰＴ値の計測処理に対する入力とされる。
【００６２】
ＲｅｓＳＰＪは、較正時に遭遇したＳＰＪ値の範囲サイズである。より一般的には、ＲｅｓＳＰＪは、対象（人物）が真実／中立情動状態にあるときに予測され得るプラトー数の変動程度を表示する。したがって、音声セグメントにおけるプラトー数が、ＲｅｓＳＰＪに関して非標準的であれば、当該対象は、内部矛盾又は認知的不協和感情によって特徴付けられる情動状態等の非中立状態にあるといえる。よって、ＲｅｓＳＰＪは、代表的に、情動環境が知られない間に発生されたＳＰＪ値の計測処理に対する入力とされる。
【００６３】
ResＪＱは、較正時に遭遇したＪＱ値の範囲のサイズであり、該ＪＱ値は、未知の情動環境時に発生されたＪＱ値を評価するための基準値として利用される。
上記基準値は、必ずしも、図５に示されるように、４次元のものとする必要は無く、それに代えて、１次元又は４次元以上の多次元のものであってもよい。
【００６４】
図６は、特定のセグメントについて図１Ｂのステップ９０を実行するための好ましい方法の簡略化した流れ図である。上述したように、ステップ９０において、現在セグメントのソーン／プラトー情報がステップ８０において演算された真実／中立情動基準値と比較される。
【００６５】
ステップ４００は初期化ステップである。
ステップ４１０は、現主要部の以前に演算された対象（人物）の真実／中立情動状態プロフィールからの偏差を演算する。説明された実施例において、偏差は、ソーン数に関連した第１成分、プラトー数に関連した第２成分、プラトー期間中の標準誤差に関連した第３成分及びプラトー期間の平均長さに関連した第４成分から構成される。一方、別異のアプリケーションには異なった成分を使用することが考えられる。例えば、幾つかのアプリケーションでは、ある時間間隔にわたる（均一なソーン、不規則なソーン等の）ソーン分布は対象の情動状態に関して情報を導出するのに有用である。
【００６６】
“破断点Ｔ”は、真実／中立情動環境における平均ソーン数と現主要部におけるソーン数との比率の許容範囲を特徴付ける閾値である。
“破断点Ｊ”は、真実／中立情動環境における平均プラトー数と現主要部におけるプラトー数との比率の許容範囲を特徴付ける閾値である。
“破断点Ｑ”は、真実／中立情動環境におけるプラトー数の平均標準誤差と現主要部におけるプラトー数の標準誤差との比率の許容範囲を特徴付ける閾値である。
“破断点Ａ”は、真実／中立情動環境における平均プラトー長さと現主要部における平均プラトー長さとの比率の許容範囲を特徴付ける閾値である。
【００６７】
ステップ４２０〜ステップ４７０は、現セグメントから発生された新しい情報を考慮するために対象プロフィールを更新する。上述した実施例において、現主要部の以前に演算された対象の真実／中立情動状態プロフィールからの偏差が非常に大きいか（例えば、最高限度値を超えるか）又は非常に小さい（例えば、最低限度値を下回る）とき、ＲｅｓＳＰＴ値及びＲｅｓＳＰＪ値のみが更新される。現主要部の上記真実／中立情動状態プロフィールからの偏差が非常に大きくないか又は小さくない（例えば、最高限度と最低限度間の値である）と、対象プロフィールは当該段階では代表的に変更されない。
【００６８】
ステップ４６０及びステップ４７０において、もし、ｚｚＳＰＴ及びｚｚＳＰＪがそれぞれ極めて零（０）に近い値であれば、当該装置の感度は、ＲｅｓＳＰＴ値及びＲｅｓＳＰＪ値をそれぞれ漸減することにより高められる。
【００６９】
ステップ４８０は、適当な代表的なアプリケーション、即ち、ステップ４１０において演算された偏差成分の特定の組合せが発生される。これらの組合せは、適当な情動分類基準、例えば、図７において特定される情動分類基準等の基礎として用いられる。図７の情動分類基準は、誇張であるか、不誠実であるか、言い紛らわしであるか、混沌とし若しくは不確かであるか、興奮しているか、又は辛辣であるかどうかを判定するものである。一方、異なった状況に在っては、異なった情動分類基準を適用するようにしてもよい。
【００７０】
上述の実施例において、ＳＰＴ情報は、主に、興奮レベルを判定するのに用いられる。更に、詳しくは、ｚｚＳＰＴはｃｒＥＸＣＩＴＥ値を決定するのに用いられる。ｃｒＥＸＣＩＴＥ値はｃｒＳＴＲＥＳＳ等の付加パラメータに依存するものである。例えば、ｃｒＥＸＣＩＴＥ値が、７０〜１２０の範囲内にあれば正常とみなされる一方、１２０〜１６０の範囲内にあれば中程度の興奮状態とみなされ、１６０を超えた値であれば、高レベルの興奮状態とみなされる。
【００７１】
上記実施例において、ＳＰＪ情報は、主に、心理学的に不協調な感情の判定に用いられる。例えば、ｚｚＳＰＪ値が０．６〜１．２の範囲内にあれば、正常とみなされるが、１．２〜１．７の範囲内にあれば、混沌としているか若しくは不確かを表示しているとみなされる。１．７を超えた値は、対象の部分についての音声意識及び／又は対象の音声制御の意図を表示しているものとみなされる。
【００７２】
上記実施例において、ｚｚＪＱ値及びｃｒＳＴＲＥＳＳ値は、主に、ストレスレベルを判定するのに用いられる。例えば、ｃｒＳＴＲＥＳＳ値が７０〜１２０の範囲内にあれば、正常とみなされる一方、１２０を超えた値であれば、高度のストレスを表わしているとみなされる。
【００７３】
上記実施例において、ＡＶＪ情報は、喋り言葉又は文章中に観察された考慮度数を判定するのに用いられる。例えば、ｃｒＴＨＩＮＫ値が１００を超えれば、最終の会話文中に検出された考慮度数は、較正位相において検出された考慮度数よりも高いことを表している。これは、較正位相において考慮したことよりも会話中のことについてより多く考慮していることを意味する。もし、該ｃｒＴＨＩＮＫ値が１００を下回れば、その人は、較正位相において考慮したよりも会話中のことについて考慮することが少ない。
【００７４】
上述した実施例において、ｃｒＬＩＥパラメータは真誠さを判定するのに用いられる。ｃｒＬＩＥ値が５０を下回るときは、不真誠であることを表わし、５０〜６０の範囲内にあれば、辛辣若しくはユーモアであることを表わし、６０〜１３０の範囲内に在れば、真誠であることを表わし、１３０〜１７０の範囲内に在れば、不正確若しくは誇張であること表わすものとみなされ、１７０を超えた値であれば、不誠実であることを表わすものとみなされる。
【００７５】
図６を振り返って見ると、上述したパラメータは、次のような値を受け取る：
破断点Ｔ＝破断点Ｊ＝破断点Ｑ＝破断点Ａ＝１．１
最高限度値Ｔ＝最高限度値Ｊ＝１．１
最低限度値Ｊ＝最低限度値Ｔ＝−０．６
増分Ｔ＝増分Ｊ＝減分Ｔ＝減分Ｊ＝０．１
最小値Ｔ＝最小値Ｊ＝０．１
上記の全ての数値は単なる一例であって、代表的なアプリケーションに依存するものである。
【００７６】
図７は、種々のパラメータを、例えば、図１に示されるように表示しようとするメッセージに変換する方法を示す図である。
【００７７】
図８は、真実／中立情動状態を微調整する方法を示す図である。
付録Ａは、本明細書に開示される本発明の好ましい実施例の実施ソフトウェアのコンピュータリストであり、該コンピュータリストは、本明細書において図面を参照して示されかつ記述される実施例とは若干異なっている。
【００７８】
実施ソフトウェアを発生する適当な方法は次のとうりである：
ａ．  マイクロフォン、音声カード及びビジュアルベーシックＴＭバージョン５ソフトウェアを具備したＰＣ（パーソナルコンピュータ）に新しいプロジェクトが発生される。
【００７９】
音声カードの記録セッティングすることにより次のパラメータ；１１ＫＨｚ、８ビット、モノラル、ＰＣＭに応じて作用する。
ｂ．  新しいプロジェクトに現れるデフォルトフォームにタイマー目標を設定する。このタイマー目標を“timer 1（タイマー１）”と称する。
ｃ．  上記フォームにＭＣＩマルチメディア制御目的を設定する。この目的を“mm control 1（ｍｍコントロール１）”と称する。
ｄ．  上記フォームに５つのラベル目的（label object）を設定する。これらのラベルを、ラベル１、ラベル２、ラベル３、ラベル４及びラベル６と称する。
ｅ．  上記フォームに４つのアレイを作成する。これらのアレイに次のような名前を付す；ＳＰＴ（０．４）、ＳＰＪ（０．４）、ＪＱ（０．４）及びＡＶＪ（０．４）。
ｆ．  上記フォームにコマンドボタンを設定するとともにその終了すべき主要特性を変更する。上記コマンドボタンを“command 1”と称する。
ｇ．  上記付録Ａにおける“form 1”と表題が付されたページに、キーボードからの入力操作により上記フォーム用のコードを発生する。
ｈ．  プロジェクトにモジュールを加える。上記付録Ａにおける“Feelings _detector”と表題が付されたページに、キーボードからの入力操作により上記モジュール用のコードを発生する。
ｉ．    上記ＰＣにマイクロフォンを接続する。
ｊ．    上記アプリケーションをスタートするために、キー（Ｆ５）又は“run”を押圧する。
【００８０】
図９は、上記アプリケーションの開始直前における、設計モードでの上記フォームを描いたディスプレイ表示画面の画像を示す図である。
【００８１】
図１０は、特定対象に対する較正時における、稼動モードでの上記フォームを描いたディスプレイ表示画面の画像を示す図である。
【００８２】
図１１は、対象のテスト時における、上記フォームを描いたディスプレイ表示画面の画像を示す図である。
【００８３】
付録ＡにおけるＣｏＲ＿ｍｓｇＸの各変数値はつぎのとおりである：
１---真誠、２---辛辣、３---興奮、４---混沌／不確か、５---興奮度大、
６---音声操作、７---うそ／偽表明、８---誇張／杜撰。
現在の主要部データを担う各変数は、次の文字で始まる名前を有する：cor_.
ベースライン要素は次の文字で始まる名前を有する：cal_.
破断点要素は、次の文字で始まる名前を有する：bp_.
ＲｅｓＳＰＴ及びｒｅｓＳＰＴは、それぞれ、ＲｅｓＴ及びＲｅｓＪと略称する。
【００８４】
図１２は、情動状態検出装置の簡略化機能ブロック図であり、該情動状態検出装置は本発明の好ましい実施例に応じて構成されるとともに作動し、図１Ｂの方法を実施するように作用する。図示するように、図１２の装置は、Ａ／Ｄ変換器を介して情動検出ワークステーション７３５により入力するようにした音声を発生する、テープレコーダ７００、マイクロフォン７１０又は電話器７２０等の音声入力機器を含む。音声窓記録器７５０は、代表的に、入来する音声表現信号を音声窓又はセグメントに区分して、それぞれ、音声窓分析器７６０により分析される。上記音声分析器は、各音声窓又はセグメントを、ユニット７７０に蓄積された較正データと比較する。この較正データは、代表的に、詳細に前述したように、各対象の個人から個別に導出される。表示器又はプリンタ７８０は、好ましくは、オン−ライン方式で、当該システムにおける各ユーザ用に情動状態報告を表示又は印刷する。
【００８５】
本発明のソフトウェア構成要素は、所望により、ＲＯＭ（リード−オンリーメモリ）形式で実装することができる。このようなソフトウェア構成要素は、一般に、所望により、公知の方法でハードウェアに実装するようにしてもよい。
【００８６】
付録Ａに記載した実施例は、単に本発明の詳細な実施例の開示にのみ供せられたものであり、それに限定する意図はない。
【００８７】
明瞭化のため、個別の複数の実施例に関連して記述された本発明の種々の特徴は、単一の実施例に組込むことができる。これと反対に、簡潔化のため、単一の実施例に関連して記述された本発明の種々の特徴は個別化し又は適当なサブコンビネーションをもって実施することができる。
【００８８】
本発明は、以上に記述された実施例に限定されるものではないことは当業者には明らかなことであり、むしろ、本発明の範囲は、請求の範囲の記載のみにより特定される。
【図面の簡単な説明】
【図１Ａ】  話者の情動状態をオン−ライン方式でモニタするシステムの説明図である。
【図１Ｂ】  話者情動状態をオン−ライン方式でモニタする好ましい方法の動作流れ図である。
【図２】  多数のソーンを含む音声セグメントのグラフである。
【図３】  多数のプラトーを含む音声セグメントのグラフである。
【図４】  図１Ｂのステップ４０を実行するための好ましい方法の簡略動作流れ図である。
【図５】  図１Ｂの真実／中立情動プロフィール確立ステップを実行するための好ましい方法の簡略動作流れ図である。
【図６】  特定のセグメントについて図１Ｂのステップ９０を実行するための好ましい方法の簡略動作流れ図である。
【図７】  図１Ｂのステップ１００を実行するための好ましい方法の簡略動作流れ図である。
【図８】  図１Ｂのステップ１０５を実行するための好ましい方法の簡略動作流れ図である。
【図９】  付録Ａのアプリケーションの開始直前における、設計モードでのフォームを描写した表示画面の画像図である。
【図１０】  付録Ａのアプリケーションの開始直前における、特定の対象に対する較正時でのフォームを描写した表示画面の画像図である。
【図１１】  付録Ａのアプリケーションの開始直前における、対象のテスト時でのフォームを描写した表示画面の画像図である。
【図１２】  図１Ｂの方法を実行するための好ましい装置の簡略ブロック図である。
【符号の説明】
３２  音声セグメント
３４  ソーン（不安定期）
３６  プラトー（安定期）
７００  テープレコーダ
７１０  マイクロフォン
７２０  電話器
７３０  音声入力装置（機器）
７３５  情動状態検出ワークステーション
７４０  Ａ／Ｄ変換器
７５０  音声窓又はセグメント記録器
７６０  音声窓又はセグメント分析器
７７０  較正データ蓄積器
７８０  表示器／プリンタ
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2002509267.tif 000020
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2002509267.tif 000021