(57)【特許請求の範囲】
【請求項１】
学習音声に含まれる音声特徴量の組である音声特徴量ベクトル、音声を発した話者の感情を示す情報、前記話者の感情表出状態の前記音声特徴量ベクトルの出現確率である感情表出確率、及び前記話者の感情表出がなかったときの前記音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する学習音声を用いて生成された符号帳を、笑い、怒り、悲しみの感情、および平静状態に対応させて作成し、作成した該符号帳を記憶する符号帳記憶手段と、
顔の像を含む顔画像を表す顔画像情報を記憶する画像情報記憶手段と、
利用者が発声した音声から得られた音声信号を受信する音声信号受信手段と、
前記音声信号受信手段によって受信された音声信号から前記音声特徴量ベクトルを抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段によって抽出された前記音声特徴量ベクトルから、笑い、怒り、悲しみ、それぞれの感情に対応した前記符号帳に基づいて前記利用者の笑い、怒り、悲しみ、それぞれの感情表出についての尤度である感情表出状態尤度を算出する感情表出尤度算出手段と、
前記音声特徴量抽出手段によって抽出された前記音声特徴量ベクトルから前記符号帳に基づいて前記利用者の平静状態についての尤度である平静状態尤度を算出する平静状態算出手段と、
前記笑い、怒り、悲しみ、それぞれの感情表出尤度及び前記平静状態尤度に基づき、感情表出があったときの前記利用者の笑い、怒り、悲しみのいずれかの感情表出を推測する感情推測手段と、
前記感情推測手段が推測した感情に対応する表情になるように前記顔画像を変化させる画像変化手段と、
前記画像変化手段によって変化された顔画像を表示する表示手段と
を備えたことを特徴とする情報処理装置。
【請求項２】
学習音声に含まれる音声特徴量の組である音声特徴量ベクトル、音声を発した話者の感情を示す情報、前記話者の感情表出状態の前記音声特徴量ベクトルの出現確率である感情表出確率、及び前記話者の感情表出がなかったときの前記音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する学習音声を用いて生成された符号帳を、笑い、怒り、悲しみの感情、および平静状態に対応させて作成し、作成した該符号帳を記憶する符号帳記憶手段と、顔の像を含む顔画像を表す顔画像情報を記憶する画像情報記憶手段とを有するコンピュータに、
利用者が発声した音声から得られた音声信号を受信する音声信号受信ステップと、
前記音声信号受信ステップで受信された音声信号から前記音声特徴量ベクトルを抽出する音声特徴量抽出ステップと、
前記音声特徴量抽出ステップによって抽出された前記音声特徴量ベクトルから、笑い、怒り、悲しみ、それぞれの感情に対応した前記符号帳に基づいて前記利用者の笑い、怒り、悲しみ、それぞれの感情表出についての尤度である感情表出状態尤度を算出する感情表出尤度算出ステップと、
前記音声特徴量抽出ステップによって抽出された前記音声特徴量ベクトルから前記符号帳に基づいて前記利用者の平静状態についての尤度である平静状態尤度を算出する平静状態算出ステップと、
前記笑い、怒り、悲しみ、それぞれの感情表出尤度及び前記平静状態尤度に基づき、感情表出があったときの前記利用者の笑い、怒り、悲しみのいずれかの感情表出を推測する感情推測ステップと、
前記感情推測ステップで推測した感情に対応する表情になるように前記顔画像を変化させる画像変化ステップと、
前記画像変化ステップで変化した顔画像を表示する表示ステップと
を実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声に基づいて人の感情の表出を検知する情報処理装置および情報処理プログラムに関する。
【背景技術】
【０００２】
従来の情報処理装置としては、表情変形用顔部品を描画させる描画ルールおよび表情変形用顔部品を変形させる変形ルールに関連付けられた表情変形用顔部品を表わす特徴点データ、並びに表情変形の無い不変顔部品を表わす特徴点データを獲得する手段と、ふつうの顔、笑った顔、怒った顔、または哀しい顔などの似顔絵の表情を指定する手段と、表情変形用顔部品の特徴点データに変形ルールを連用し特徴点データを変形する手段と、表情変形用顔部品の特徴点データに描画ルールを適用し、不変顔部品の描画ルールを特徴点データに適用し、似顔絵を描画する手段とを備え、顔の像を含む顔画像を表現するものが知られている（例えば特許文献１参照）。
【特許文献１】特開２００１−３０７１２３号公報（要約および第１図）
【特許文献２】特開２００２−２３０５９８号公報
【特許文献３】特開平５−２８９６９１号公報
【非特許文献１】「音響・音声工学」、吉井貞熙、近代科学社、１９９２
【非特許文献２】「音声符号化」、守谷健弘、電子情報通信学会、１９９８
【非特許文献３】「ディジタル音声処理」、吉井貞熙、東海大学出版会、１９８５
【非特許文献４】Y.Linde, A.Buzo and R.M.Gray. ”An algorithm for vector Quantizer design”,IEEE Trans.Commun.,vol. Com-28, pp.84-95, 1980
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような従来の情報処理装置は、笑った顔、怒った顔、または哀しい顔などの似顔絵の表情を利用者が手動で指定することにより、似顔絵を描画していたが、自動的に推測した利用者の感情に応じた顔画像を描画させることができなかった。
【０００４】
本発明はこのような課題を解決するためになされたもので、自動的に推測した利用者の感情に応じた顔画像を描画させることができる情報処理装置および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報処理装置は、
学習音声に含まれる音声特徴量の組である音声特徴量ベクトル、音声を発した話者の感情を示す情報、前記話者の感情表出状態の前記音声特徴量ベクトルの出現確率である感情表出確率、及び前記話者の感情表出がなかったときの前記音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する学習音声を用いて生成された符号帳を、笑い、怒り、悲しみの感情、および平静状態に対応させて作成し、作成した該符号帳を記憶する符号帳記憶手段と、
顔の像を含む顔画像を表す顔画像情報を記憶する画像情報記憶手段と、
利用者が発声した音声から得られた音声信号を受信する音声信号受信手段と、
前記音声信号受信手段によって受信された音声信号から前記音声特徴量ベクトルを抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段によって抽出された前記音声特徴量ベクトルから、笑い、怒り、悲しみ、それぞれの感情に対応した前記符号帳に基づいて前記利用者の笑い、怒り、悲しみ、それぞれの感情表出についての尤度である感情表出状態尤度を算出する感情表出尤度算出手段と、
前記音声特徴量抽出手段によって抽出された前記音声特徴量ベクトルから前記符号帳に基づいて前記利用者の平静状態についての尤度である平静状態尤度を算出する平静状態算出手段と、
前記笑い、怒り、悲しみ、それぞれの感情表出尤度及び前記平静状態尤度に基づき、感情表出があったときの前記利用者の笑い、怒り、悲しみのいずれかの感情表出を推測する感情推測手段と、
前記感情推測手段が推測した感情に対応する表情になるように前記顔画像を変化させる画像変化手段と、
前記画像変化手段によって変化された顔画像を表示する表示手段と
を備えた構成を有している。
この構成により、利用者が発生した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、自動的に推測した利用者の感情に応じた顔画像を描画させることができる。
【０００６】
この構成により、電子メールに含まれる画像情報から顔画像情報を検出したとき、利用者が発声した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、ビデオメールなどの電子メールに付加価値を与えることができる。
【０００７】
この構成により、ネットワークを介して相手の端末から得られた音声信号に基づいて通信相手の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、通信相手の感情面に着目して魅力的な通信を実現することができる。
【０００８】
本発明の情報処理プログラムは、
学習音声に含まれる音声特徴量の組である音声特徴量ベクトル、音声を発した話者の感情を示す情報、前記話者の感情表出状態の前記音声特徴量ベクトルの出現確率である感情表出確率、及び前記話者の感情表出がなかったときの前記音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する学習音声を用いて生成された符号帳を、笑い、怒り、悲しみの感情、および平静状態に対応させて作成し、作成した該符号帳を記憶する符号帳記憶手段と、顔の像を含む顔画像を表す顔画像情報を記憶する画像情報記憶手段とを有するコンピュータに、
利用者が発声した音声から得られた音声信号を受信する音声信号受信ステップと、
前記音声信号受信ステップで受信された音声信号から前記音声特徴量ベクトルを抽出する音声特徴量抽出ステップと、
前記音声特徴量抽出ステップによって抽出された前記音声特徴量ベクトルから、笑い、怒り、悲しみ、それぞれの感情に対応した前記符号帳に基づいて前記利用者の笑い、怒り、悲しみ、それぞれの感情表出についての尤度である感情表出状態尤度を算出する感情表出尤度算出ステップと、
前記音声特徴量抽出ステップによって抽出された前記音声特徴量ベクトルから前記符号帳に基づいて前記利用者の平静状態についての尤度である平静状態尤度を算出する平静状態算出ステップと、
前記笑い、怒り、悲しみ、それぞれの感情表出尤度及び前記平静状態尤度に基づき、感情表出があったときの前記利用者の笑い、怒り、悲しみのいずれかの感情表出を推測する感情推測ステップと、
前記感情推測ステップで推測した感情に対応する表情になるように前記顔画像を変化させる画像変化ステップと、
前記画像変化ステップで変化した顔画像を表示する表示ステップと
を実行させ。
このプログラムにより、利用者が発生した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、自動的に推測した利用者の感情に応じた顔画像を描画させることができる。
【０００９】
このプログラムにより、電子メールに含まれる画像情報から顔画像情報を検出したとき、利用者が発声した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、ビデオメールなどの電子メールに付加価値を与えることができる。
【００１０】
このプログラムにより、ネットワークを介して相手の端末から得られた音声信号に基づいて通信相手の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、通信相手の感情面に着目して魅力的な通信を実現することができる。
【発明の効果】
【００１１】
本発明は、話者の感情を推測し、推測した感情に応じた顔画像を描画させることができる情報処理装置および情報処理ブログラムを提供するものである。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を実施するための最良の形態について説明する。
【００１３】
まず、本発明の第１の実施の形態について、図面を用いて説明する。図１は、本発明の第１の実施の形態に係る情報処理装置のブロック構成図である。図１に示すように、情報処理装置１００は、画像情報記憶手段１１０、音声信号受信手段１２０、感情推測手段１３０、画像変化手段１４０、および表示手段１５０を備えて構成されている。
【００１４】
画像情報記憶手段１１０は、顔の像を含む顔画像を表す顔画像情報を記憶するようになっている。画像情報記憶手段１１０は、顔画像情報を電子ファイルとしてハードディスク１０５に記憶させるようにしてもよい。なお、顔画像情報は、予め利用者によって入力されている。顔画像は、人の顔の像でもよく、アニメーションのキャラクタを表す顔の像でもよい。
【００１５】
音声信号受信手段１２０は、利用者が発声した音声から得られた音声信号を受信するようになっている。なお、音声信号受信手段１２０は、マイクロフォンやインタフェース部１０６（後述）など介して音声信号を受信するようになっている。
【００１６】
感情推測手段１３０は、音声信号受信手段１２０によって受信された音声信号に基づいて利用者の感情を推測するようになっている。感情推測手段１３０の詳細な説明は後述する。
【００１７】
画像変化手段１４０は、感情推測手段１３０が推測した感情に対応する表情になるように、画像情報記憶手段１１０が記憶した顔画像を変化させるようになっている。なお、感情に対応して顔画像を変化させる技術は、ＦＡＣＳ（Facial Action Coding System）などを用いてもよい。
【００１８】
例えば、感情を表す感情情報が感情推測手段１３０によって出力されたとき、画像変化手段１４０は、感情情報に応じて顔画像を変化させるようになっている。感情情報が「笑い」を表していた場合、画像変化手段１４０は、「笑い」の表情になるように顔画像を変化させるようになっている。また、感情情報が「怒り」を表していた場合、画像変化手段１４０は、「怒り」の表情になるように、顔画像を変化させるようになっている。また、感情情報が「悲しみ」を表していた場合、画像変化手段１４０は、「悲しみ」の表情になるように、顔画像を変化させるようになっている。
【００１９】
このように、「笑い」、「怒り」、「悲しみ」などのように複数の種類の感情を用意しておき、画像変化手段１４０は、感情に対応して顔画像を変化させるようになっている。
【００２０】
表示手段１５０は、画像変化手段１４０によって変化された顔画像を表示するようになっている。例えば、表示手段１５０は、画像変化手段１４０によって変化された顔画像を表す情報をディスプレイ１０７に表示するようになっている。
【００２１】
次に、図２は、本発明の第１の実施の形態に係る情報処理装置のハードウエア構成を示す概略図である。ＣＰＵ（Central Processing Unit）１０１は、情報処理装置に関わるプログラムを実行するようになっている。ＲＯＭ（Read Only Memory）１０２は、ＣＰＵ１０１が読み出すプログラム、ＣＰＵ１０１を立ち上げるためのプログラム、その他のプログラム、および、制御用のパラメータ等を記憶するようになっている。なお、画像情報記憶手段１１０、音声信号受信手段１２０、感情推測手段１３０、画像変化手段１４０、および表示手段１５０は、ＣＰＵ１０１によって実行されるプログラムのモジュールでもよい。
【００２２】
ＲＡＭ（Random Access Memory）１０３は、ＣＰＵ１０１の動作中にＣＰＵ１０１の動作に要するプログラムやデータ等を記憶するようになっている。ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-only Memory）１０４は、プログラムや所定のデータを不揮発かつ書替可能に記憶するようになっている。ハードディスク１０５は、各種データなどを記憶するようになっている。インタフェース部１０６は、ネットワークに接続されている装置と所定の通信プロトコルに準拠して通信するようになっている。なお、情報処理装置１００の装置規模を大きくできない場合には、ハードディスク１０５に代えて他の小型記憶媒体を備えるようにしてもよい。
【００２３】
その他、情報処理装置１００は、液晶ディスプレイなどのディスプレイ１０７、マイクロフォン、キーボード、マウスなどの入力機器、およびスピーカなどの出力機器などを備え、情報処理装置１００の装置規模を大きくできる場合には、フレキシブルディスクドライブやＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等のドライブをさらに備えるようにしてもよい。なお、情報処理装置１００は、パソコンを含むコンピュータを用いても実現可能である。
【００２４】
記憶手段１３１は、学習音声を用いて生成されたた符号帳であって、学習音声に含まれる音声特徴量の組から生成されたベクトル量子化された音声特徴量ベクトルとそれに対応する符号、音声を発した話者の感情、話者の感情表出があったときの音声特徴量ベクトルの出現確率である感情表出確率、および、話者の感情表出がなかったときの音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する符号帳１３１ＣＢを予め記憶するようになっている。例えば、図９に示すように符号帳は、「笑い」、「怒り」、「悲しみ」などの感情に対応して作成されている。なお、感情毎に対応する符号帳は、「笑い」、「怒り」、「悲しみ」の３つに限定されず、多数用意してもよい。
【００２５】
音声特徴量抽出手段１３２は、音声信号受信手段１２によって受信された入力コンテンツに含まれる音声データから音声特徴量ベクトルを抽出するようになっている。
【００２６】
感情表出尤度算出手段１３３は、音声特徴量抽出手段１３２が抽出した音声特徴量ベクトルに対応する音声特徴量ベクトルを符号帳から検出し、この符号帳から検出された音声特徴量ベクトルに対応する感情表出確率に基づいて、話者の感情表出についての尤度である感情表出状態尤度を算出するようになっている。例えば、感情表出尤度算出手段１３３は、それぞれの感情に対応した符号帳に基づいてそれぞれの感情表出状態尤度を算出するようになっている。
【００２７】
平静状態尤度算出手段１３４は、音声特徴量抽出手段１３２が抽出した音声特徴量ベクトルに対応する音声特徴量ベクトルを符号帳から検出し、この符号帳から検出された音声特徴量ベクトルに対応する平静状態確率に基づいて、話者の平静状態についての尤度である平静状態尤度を算出するようになっている。例えば、平静状態尤度算出手段１３４は、それぞれの感情に対応した符号帳に基づいてそれぞれの平静状態尤度を算出するようになっている。
【００２８】
感情表出判定手段１３５は、感情表出尤度算出手段１３３が算出した感情表出状態尤度、および、平静状態尤度算出手段１３４が算出した平静状態尤度に基づいて、音声特徴量抽出手段１３２が音声データから抽出した音声特徴量ベクトルを含む音声の各区間に、話者の感情表出があったか否かを判定するようになっている。感情表出があったとき、感情表出判定手段１３５は、判定した感情を表す感情情報を画像抽出手段１４に出力するようになっている。
【００２９】
例えば、話者が「笑い」を感情表出していたか否かを判定する場合には、感情表出尤度算出手段１３３が「笑い」の符号帳を用いて算出した「笑い」に対応する感情表出尤度、および平静状態尤度算出手段１３４が「笑い」の符号帳を用いて算出した「笑い」に対応する平静状態尤度に基づいて、感情表出判定手段１３５が「笑い」の感情表出があったか否かを判定するようになっている。
【００３０】
図３には示していないが、音声特徴量抽出手段１３２はバッファメモリ手段を有しており、入力された音声コンテンツを一時的に格納し、そのバッファメモリ手段内のコンテンツに含まれる音声データを分析して音声特徴量ベクトルを抽出する。
【００３１】
以下、本発明の第１の実施の形態に係る情報処理装置が実行するプログラムについて、図面を参照して説明する。図４は、本発明の第１の実施の形態に係る情報処理装置の動作の流れを示すフローチャートである。
【００３２】
まず、利用者が発声した音声から得られた音声信号は、音声信号受信手段１２０によって受信され（Ｓ１０１）、受信された音声信号に基づいて利用者の感情は、感情推測手段１３０によって推測される（Ｓ１０２）。
【００３３】
次に、予め決められた顔画像は、画像変化手段１４０によって感情推測手段１３０が推測した感情に対応する表情になるように変化され（Ｓ１０３）、変化された顔画像は、表示手段１５０によって表示される（Ｓ１０４）。
【００３４】
次に、本発明の実施の形態に係る感情推測手段１３０の動作について説明する。図５は、本発明の実施の形態に係る感情推測手段１３０の動作を説明するためのフローチャートである。
【００３５】
まず、学習音声を用いて生成された符号帳であって、学習音声に含まれる所定の音声特徴量の組（パラメータの組）である音声特徴量ベクトル、音声を発した話者の感情、話者の感情表出があったとき（以下、感情表出状態という。）の音声特徴量ベクトルの出現確率である感情表出確率、および、話者の感情表出がなかったときの音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する符号帳が予め作成され、図１の記憶手段１３１に格納されている（Ｓ３１０）。この符号帳作成処理は、この発明の装置を構成する上で必要なものとして予め行う。符号帳作成の詳細については、後述するが、音声特徴量ベクトルは、特許文献２に開示されているような音声のフレーム毎に検出する少なくとも基本周波数、平均パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はそれらのフレーム間差分の少なくともいずれか１つ以上のパラメータの組を含むベクトルである。
【００３６】
ステップＳ３２０〜Ｓ３４０は感情表出検出処理である。まず、入力コンテンツの全体が記憶手段１３１に取り込まれ、その取り込まれた音声データから予め決められた複数種類の音声特徴量の組（音声特徴量ベクトル）を抽出する（Ｓ３２０）。
【００３７】
Ｓ３２０で音声データの所定区間（判定区間）から抽出した一連の音声特徴量ベクトルにそれぞれ最も近い音声特徴量ベクトルを符号帳から検出し、この符号帳からその検出された音声特徴量ベクトルの、感情表出状態での出現確率を読み出し、この一連の出願確率に基づいて、話者の感情表出についての尤度である感情表出状態尤度を算出する。この感情表出状態尤度の計算は、音声データの一連の音声特徴量ベクトルの判定区間ごと（例えば後述の音声小段落ごと、または一定区間長ごと）に行う。
【００３８】
同様に、音声データから抽出した音声特徴畳ベクトルの、平静状態での出現確率を符号帳から読み出し、この確率に基づいて、話者の平静状態についての尤度である平静状態尤度を上記感情表出状態尤度の算出と同じ判定区間ごとに算出する（Ｓ３３０）。
【００３９】
次に、ステップＳ３３０で算出した感情表出状態尤度、および平静状態尤度に基づいて、ステップＳ３２０で音声データから抽出した所定の音声特徴量の組を含む音声データの判定区間に、話者の感情表出があったか否かを判定する（Ｓ３４０）。
【００４０】
以下に、上記の各ステップでの処理について詳細に説明する。まず、各ステップでの処理についての詳細な説明に先立ち、上記の音声特徴量の組について説明する。音声特徴量としては、音声スペクトル等の情報に比べて、雑音環境下でも安定して得られ、かつ感情表出状態か否かの判定が話者依存性の低いものを用いる。このような条件を満たす音声特徴量として、本発明の実施の形態では、基本周波数ｆ０、パワーｐ、動的特徴量ｄ（ｔ）．無声区間ＴＳ等を抽出する。
【００４１】
これらの音声特徴量の抽出法は公知であり、その詳細については、例えば、非特許文献１、非特許文献２、非特許文献３等を参照されたい。
【００４２】
ここで、上記の動的特徴量ｄ（ｔ）は、以下の式（１）によって定義され、その時間変化量は発話速度の尺度となるパラメータである。
【００４３】
【数１】
0004691327.tif 000002
【００４４】
ここで、ｔは時刻、Ｃｋ（ｔ）は時刻ｔにおけるｋ次のＬＰＣケプストラム係数、±Ｆ０は対象とするフレーム（以下、現フレームという）の前後のフレーム数（必ずしも整数個のフレームでなくとも一定の時間区間でもよい）をいう。なお、動的特徴量ｄ（ｔ）としては、特許文献３に定義されたものを用いるのでもよい。
【００４５】
ＬＰＣケプストラム係数の次数ｋは、１からＫまでの整数のいずれかである。動的特徴量ｄ（ｔ）の単位時間当たりの極大点の数、または、単位時間当たりの変化率は発話速度の尺度となる。
【００４６】
以下では、１フレームの長さ（以下、フレーム長という）を１００ｍｓとし、このフレームの開始時刻から５０ｍｓずらして次のフレームを形成するものとする。また、フレーム毎に、平均基本周波数ｆ０’、平均パワーＰを算出するものとする。平均基本周波数ｆ０’及び平均パワーｐ’は、基本周波数ｆ０が信頼できるフレームについてのみ使用して算出する。例えば、基本周波数ｆ０の抽出の際の自己相関係数を利用してもよい。さらに、現フレームの基本周波数ｆ０’と、現フレームからｉフレーム前の基本周波数ｆ０’および現フレームからｉフレーム後の基本周波数ｆ０’のそれぞれと差分Δｆ０’（−ｉ）、Δｆ０’（ｉ）と、をとる。平均パワーｐ’についても同様に、現フレームの平均パワーｐ’と、現フレームからｉフレーム前の平均パワーｐ’および現フレームからｉフレーム後の平均パワーｐ’のそれぞれと差分Δｐ’（−ｉ）、Δｐ’（ｉ）と、をとる。
【００４７】
次に、これらフレーム毎の、基本周波数ｆ０’、基本周波数の差分Δｆ０’（−ｉ）、Δｆ０’（ｉ）、平均パワーｐ’、平均パワーの差分Δｐ’（−ｉ）、Δｐ’（ｉ）を規格化する。以下では、基本周波数ｆ０’、基本周波数の差分Δｆ０’（−ｉ）、Δｆ０’（ｉ）、平均パワーｐ’、平均パワーの差分Δｐ’（−ｉ）、Δｐ’（ｉ）のそれぞれを、単に、ｆ０’、Δｆ０’（−ｉ）、Δｆ０’（ｉ）、ｐ’、Δｐ’（−ｉ）、Δｐ’（ｉ）と表し、規格化されたものを、それぞれ、ｆ０”、Δｆ０”（−ｉ）、Δｆ０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）と表す。
【００４８】
この規格化は、例えば、ｆ０’、Δｆ０’（−ｉ）、Δｆ０’（ｉ）のそれぞれを、例えば、処理対象の音声データ全体の平均基本周波数で割ることによって行うのでもよいし、標準化して平均０、分散１にしてもよい。また、処理対象の音声データ全件の平均基本周波数の代わりに、後述する音声小段落や音声段落毎の平均基本周波数や、数秒や数分等の時間内での平均基本周波数を用いるのでもよい。
【００４９】
同様に、p’についても、処理対象の音声データ全件の平均パワーで割り、規格化又は標準化する。また、処理対象の音声データ全体の平均パワーの代わりに、後述する音声小段落や音声段落毎の平均パワーや、数秒や数分等の時間内での平均パワー等を用いるのでもよい。ここで、上記ｉの値を、例えば、４とする。
【００５０】
動的特徴量（ダイナミックメジャー）のピークの本数は、以下のように算出する。まず、現フレームの開始時刻を中心に現フレームより十分長い時間幅（２Ｔ１、ただし、Ｔ１は例えばフレーム長の１０倍程度とする）の区間を設ける。次に、この区間内における動的特徴量ｄ（ｔ）の時間変化の極大点を算出し、極大点の個数ｄｐ（以下、単にｄｐという）を計数する。
【００５１】
また、ダイナミックメジャーのピーク本数の差分値も、以下に述べるようにして算出しておく。即ち、現フレームの開始時刻のＴ２前の時刻を中心とする幅２Ｔ１内区間におけるｄｐから、現フレームのｄｐを差し引いた差成分Δｄｐ（−Ｔ２）を求める。同様に、現フレームの終了時刻のＴ３後の時刻を中心とする幅２Ｔ１内の区間におけるｄｐを、現フレームのｄｐから差し引いた差成分Δｄｐ（Ｔ３）を求める。
【００５２】
上記の、Ｔ１、Ｔ２、Ｔ３の値は、それぞれ、フレーム長より十分長いものとし、以下では、Ｔ１＝Ｔ２＝Ｔ３＝４５０ｍｓとする。ただし、これらの値に限られるものではない。また、フレームの前後の無声区間の長さを、それぞれ、ｔＳＢ、ｔＳＦとする。ステップＳ３２０では、上記のｆ０”、Δｆ０”（−ｉ）、Δｆ０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）、ｄｐ、Δｄｐ（−Ｔ２）、Δｄｐ（Ｔ３）等（以下、それぞれをパラメータと呼ぶ）の値をフレーム毎に抽出する。
【００５３】
符号帳作成の際は、上記のｆ０”、Δｆ０”（−ｉ）、Δｆ０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）、ｄｐ、Δｄｐ”（−Ｔ２）、Δｄｐ”（Ｔ３）等のパラメータの中から選択されたパラメータの組、例えば（ｆ０”、ｐ”、ｄｐ）（音声特徴量ベクトル）に対応させて、感情表出確率および平静状態確率が算出され、選ばれたパラメータと感情表出確率および平静状態確率とを対応させて符号帳に記録している。符号帳には、上記のパラメータの組と同じ組のパラメータが音声特徴量ベクトルとして記録されている。
【００５４】
ステップＳ３２０では、入力音声を対象に、上記の音声特徴量パラメータｆ０”、Δｆ０”（−ｉ）、Δｆ０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）、ｄｐ、Δｄｐ”（−Ｔ２）、Δｄｐ”（Ｔ３）等のパラメータのうち、符号帳に記憶された音声特徴量ベクトルで使用されているパラメータ、例えば前述の（ｆ０”、ｐ”、ｄｐ）の値をフレームごとに算出し、全音声コンテンツに渡る一連の音声特徴量ベクトルを得る。これによって、音声データの各音声特徴量ベクトルに対応する符号帳の音声特徴量ベクトルを特定でき、感情表出確率および平静状態確率を決定できることになる。
【００５５】
ステップＳ３３０での処理の詳細を、図６を用いて説明する。ステップＳ３３０では、まず、ステップＳ３３１〜Ｓ３３３で、音声小段落および音声段落を抽出する。次に、ステップＳ３３４、Ｓ３３５、Ｓ３３６で、感情表出状態尤度及び平静状態尤度を算出する。この実施例では音声小段落を、感情表出状態か否かを判定する対象の単位とし、音声段落は、例えば、４００ｍｓ程度またはそれ以上の無声区間ではさまれた、少なくとも１つ以上の音声小段落を含む区間であるものとする。図７に音声小段落と音声段落の関係を概念的に示す。
【００５６】
音声段落の抽出には、まず、音声データの無声区間と有声区間を抽出する（Ｓ３３１）。有声区間であるか無声区間であるかの判定（以下、単に、有声／無声の判走という）は、周期性の有無の判定と等価であるとみなして、自己相関関数や変形相関関数のピーク値に基づいて行われることが多い。
【００５７】
具体的には、入力信号の短時間スペクトルからスペクトル包絡を除去し、得られた予測残渣の自己相関関数（以下、変形相関関数という）を算出し、変形相関関数のピーク値が所定の閾値より大きいか否かによって有声／無声の判定を行う。また、そのようなピーク値が得られる相関処理の遅延時間に基づいて、ピッチ周期１／ｆ０の抽出を行う。
【００５８】
上記では、フレーム毎に各音声特徴量を音声データから抽出する場合について述べたが、音声データが、例えば、ＣＥＬＰ（Code-Excited Linear Prediction）などにより、既にフレーム毎に符号化（すなわ、分析）されており、この符号化で得られる係数または符号を用いて音声特徴量を生成するのでもよい。ＣＥＬＰによって得られる符号（以下、ＣＥＬＰ符号という）には、一般に、線形予測係数、利得係数、ピッチ周期等が含まれる。そのため、ＣＥＬＰ符号を復号して上記の音声特徴畳を得ることができる。
【００５９】
具体的には、復号された利得係数の絶対値または二乗値をパワーとして用い、ピッチ成分の利得係数と非周期成分の利得係数との比に基づいて有声／無線の判定を行うことができる。また、復号されたピッチ周期の逆数をピッチ周波数、すなわち基本周波数として用いることができる。また、上記の式（ｌ）で説明した動的特徴量の計算に使用するＬＰＣケプストラム係数は、ＣＥＬＰ符号を復号して得られたものを変換して求めることができる。
【００６０】
また、ＣＥＬＰ符号にＬＳＰ（Line Spectrum Pair）係数が含まれていれば、ＬＳＰ係数を一旦ＬＰＣケプストラム係数に変換し、変換して得られたＬＰＣケブストラム係数から求めてもよい。このように、ＣＥＬＰ符号には本発明で使用できる音声特徴量が含まれているので、ＣＥＬＰ符号を復号し、フレーム毎に必要な音声特徴量の組を取り出すことができる。
【００６１】
図６に戻って、有声区間の両側の無声区間の時間tＳＭ、tＳＦがそれぞれ予め決めたtＳ以上になるとき、その無声区間によって囲まれた有声区間を含む信号部分を音声小段落Ｓとして抽出する（Ｓ３３２）。以下では、この無声区間の時間tＳの値を、例えば、ｔＳ＝４００ｍｓとする。
【００６２】
次に、この音声小段落Ｓ内の、好ましくは後学部の有声区間内の平均パワーｐと、この音声小段落Ｓの平均パワー値ＰＳの定数β倍とを比較し、ｐ＜βＰＳであれば、その音声小段落Ｓを末尾音声小段落とし、直前の末尾音声小段落後の音声小段落から現在の末尾音声小段落までを音声段落と決定して抽出する（Ｓ３３３）。
【００６３】
音声小段落の抽出は、上記の有声区間を囲む無声区間の時間がｔＳ以上となるという条件で行う。図７に、音声小段落としてＳｊ−１、Ｓｊ、Ｓｊ＋１を示し、以下では音声小段落Ｓｊを処理対象の音声小段落とする。音声小段落Ｓｊは、Ｑｊ個の有声区間から構成され、音声小段落Ｓｊの平均パワーをＰｊとする。
【００６４】
また、音声小段落Ｓｊに含まれるｑ番目の有声区間Ｖｑ（ｑ＝１、２、・・・、Ｑ）の平均パワーをｐｑと表す。音声小段落Ｓｊが音声段落Ｂの末尾の音声小段落であるか否かは、音声小段落Ｓｊを構成する後半部分の有声区間の平均パワーに基づいで判定する。具体的には、以下の式（２）に示す条件が満たされるか否かで判定する。
【００６５】
【数２】
0004691327.tif 000003
【００６６】
この条件を満たすとき、音声小段落Ｓｊが音声段落Ｂの末尾音声小段落であると判定する。
【００６７】
ここで、αはＱｊ／２以下の値をとる定数であり、βは例えば０．５〜１．５程度の値をとる定数である。これらの値は、音声段落の抽出を最適化するように、予め実験により決めでおく。ただし、有声区間の平均パワーｐｑは、その有声区間内の全フレームの平均パワーである。本発明の実施の形態では、α＝３、β＝０．８とした。上記のようにすることによって、隣接する末尾音声小段落間の音声小段落の集合を音声段落と判定できる。あるいは、音声小段落を固定長ｔ（ｓ）、シフト幅Ｓ（ｓ）と決めてもよい。例えば、ｔ（ｓ）＝Ｓ（ｓ）＝１ｍｓｅｃの固定長、シフト幅としてもよい。音声段落についてもΔＳの無声区間で囲まれた区間としてもよい。
【００６８】
次に、図６に戻って感情表出状態尤度を算出する処理（Ｓ３３４、Ｓ３３５）について説明する（以下、この処理を感情表出判定処理という）。まず、ステップＳ３１０で予め作成した符号帳に記録される音声特徴量ベクトルに合わせて、ステップＳ３２０で抽出した入力音声に含まれる音声特徴量の組をベクトル量子化し、符号列Ｃ１，Ｃ２，Ｃ３，…を得る（Ｓ３３４）。
【００６９】
ステップＳ３３５での感情表出状態尤度の算出に先立って、図８を用いて符号帳の作成方法について説明する。まず、多数の学習用音声を被験者から採取し、感情表出があった発話と平静状態での発話とを識別できるようにラベルを付ける（Ｓ３１１）。例えば、音声が、笑っている、怒っている、悲しんでいる、とそれぞれ判断した区間にラベル付けを行う。
【００７０】
反対に平静状態と判定する理由を、上記の笑い、怒り、悲しみのいずれにも該当せず、発話が平静であると感じられることとする。
【００７１】
ステップＳ３１１で上記のラベル付けを行ったら、ラベル付けされた音声データから、ステップＳ３２０での処理と同様に予め決めたパラメータの組の音声特徴量、例えば（ｆ０”、ｐ”、ｄｐ）の値を音声特徴量ベクトル値としてフレームごとに抽出する（Ｓ３１２）。ラベル付けによって得られる感情表出状態または平静状態の情報と、感情表出状態または平静状態とされたラベル区間（ラベル付けされた音声区間）について得られる音声特徴量ベクトルとを用いて、ＬＢＧアルゴリズムに従って符号帳を作成する（Ｓ３１３）。
【００７２】
ＬＢＧアルゴリズムは公知であり、その詳細は、例えば、非特許文献４を参照されたい。
【００７３】
符号帳に記録されるエントリの数（以下、符号長サイズという）は、２ｍ個（ｍは、１以上の整数）確保できると共に可変であり、エントリのインデックスとしてコードＣが用いられ、インデックスにはコードＣに対応したｍビットの量子化ベクトル（Ｃ＝００…０〜１１…１）が用いられる。
【００７４】
符号長には、この量子化ベクトル（コードＣ）に対応させて、フレーム長より十分長い所望の区間、例えば学習音声のラベル区間に得られる全音声特徴量ベクトルを使って上記ＬＢＧアルゴリズムにより決められた代表ベクトルを音声特徴量代表ベクトルとして記録しておく。その際、各音声特徴量を、例えば、その平均値と標準偏差で規格化してもよい。以下の説明では、符号帳の音声特徴量代表ベクトルも単に音声特徴量ベクトルと呼ぶ。
【００７５】
入力音声データから抽出した音声特徴量のパラメータのうち、感情表出判定処理に使用するパラメータの組は、上記の符号帳作成に用いたパラメータの組と同じものである。感情表出状態または平静状態の音声小段落を特定するために、音声小段落中のコードＣ（エントリのインデックス）に対応させて、各感情表出状態での出現確率と平静状態での出現確率をそれぞれ算出する。その際、感情を「笑い」、「怒り」、「悲しみ」などに分類しておき、それぞれの感情について上記の感情表出状態と平静状態の各出現確率を算出し、１つの符号帳に記録する。従って、符号帳には、上記のコードＣと、音声特徴量ベクトルと、感情表出状態での出現確率と平静状態の出現確率とが対応して記録されている。これらは感情の種類毎に分類して別々の符号帳に記録してもよい。
【００７６】
以下に、ステップＳ３３５で行う話者の感情表出についての尤度である感情表出尤度の算出、および、ステップＳ３３６で行う平静状態についての尤度である平静状態尤度の算出方法の一例について説明する。まず、学習音声中のラベル区間に含まれるフレームの数をｎとし、それぞれのフレームから得られる音声特徴量の組に対応するコードが時系列でＣ１，Ｃ２，…，Ｃｎとなっているものとする。
【００７７】
上記で説明したように、ラベル区間は、符号帳を作成する処理のステップＳ３１１で、ラベルが付けられた１つの音声区間である。このとき、ステップＳ３３５、Ｓ３３６で算出される、ラベル区間Ａの感情表出尤度ＰＡｅｍｏおよび平静状態尤度ＰＡｎｒｍは、それぞれ、以下の式（３）および式（４）に示すように表される。
【００７８】
【数３】
0004691327.tif 000004
【００７９】
ここで、Ｐｅｍｏ（Ｃｉ｜Ｃ１…Ｃｉ−１）は、コード列Ｃ１，…，Ｃｉ−１の次にコードＣｉが感情表出状態となる条件付確率、Ｐｎｒｍ（Ｃｉ｜Ｃ１…Ｃｉ−１）は、同様にコード列Ｃ１，…，Ｃｉ−１の次にコードＣｉが平静状態となる条件付確率である。また、Ｐｅｍｏ（Ｃｉ）は、符号帳を作成する処理において、音声が感情表出状態とラベル付けされた部分に存在した音声特徴量ベクトルに対応するコードＣｉの総個数を数え、その総個数を、感情表出状態とラベル付けされた音声データの全コード数（＝フレーム数）で割算した値である。一方、Ｐｎｒｍ（Ｃｉ）は、コードＣｉが平静状態とラベル付けされた部分に存在した個数を，平静状態とラベル付けされた音声データの全コード数で割算した値である。
【００８０】
以下では、各条件付確率をＮ−ｇｒａｍ（Ｎ＜ｉ）モデルで近似し、感情表出状態尤度および平静状態尤度の計算を簡単にする。Ｎ−ｇｒａｍモデルは、ある時点でのある事象の出現がその直前のＮ−１個の事象の出現に依存すると近似するモデルである。ここで、Ｎ＝３のときはｔｒｉｇｒａｍ、Ｎ＝２のときはｂｉｇｒａｍ、Ｎ＝１のときはｕｎｉｇｒａｍとよばれる。このモデルでは、例えば、ｉ番目のフレームにコードＣｉが出現する確率Ｐ（Ｃｉ）は、Ｐ（Ｃｉ）＝Ｐ（Ｃｉ｜Ｃｉ−Ｎ＋１…Ｃｉ−１）とされる。
【００８１】
上記の式（３）および式（４）中の各条件付出現確率Ｐｅｍｏ（Ｃｉ｜Ｃｉ…Ｃｉ−１）、Ｐｎｒｍ（Ｃｉ｜Ｃｉ…Ｃｉ−１）にＮ−ｇｒａｍモデルを適用すると、各条件付出現確率は以下の式（５）および式（６）に示すように近似される。
【００８２】
Ｐｅｍｏ（Ｃｉ｜Ｃｉ…Ｃｉ−１）＝Ｐｅｍｏ（Ｃｉ｜Ｃｉ-Ｎ+1…Ｃｉ−１）    （５）
Ｐｎｒｍ（Ｃｉ｜Ｃｉ…Ｃｉ−１）＝Ｐｎｒｍ（Ｃｉ｜Ｃｉ-Ｎ+1…Ｃｉ−１）    （６）
【００８３】
上記の式（５）のＰｅｍｏ（Ｃｉ｜Ｃｉ−Ｎ＋１…Ｃｉ−１）および式（６）のＰｎｒｍ（Ｃｉ｜Ｃｉ−Ｎ＋１…Ｃｉ−１）は、通常、符号帳から全て得られるようになっているが、一部のものについては、学習音声から得られないものもある。その場合は、他の条件付出現確率や単独出現確率から補間によって求めたものでもよい。例えば、低次（即ち、コード列が短い）の条件付出現確率と単独出現確率等とから高次（即ち、コード列が長い）の条件付出現確率を補間して求めることができる。
【００８４】
以下に、この補間の方法について説明する。以下では、上記のｔｒｉｇｒａｍ（Ｎ＝３）、ｂｉｇｒａｍ（Ｎ＝２）、および、ｕｎｉｇｒａｍ（Ｎ＝１）を例にとり説明する。各出現確率は、ｔｒｉｇｒａｍ（Ｎ＝３）では、Ｐｅｍｏ（Ｃｉ｜Ｃｉ−２Ｃｉ−１）、Ｐｎｒｍ（Ｃｉ｜Ｃｉ−２Ｃｉ−１）、ｂｉｇｒａｍ（Ｎ＝２）では、Ｐｅｍｏ（Ｃｉ｜Ｃｉ−１）、Ｐｎｒｍ（Ｃｉ｜Ｃｉ−１）、そして、ｕｎｉｇｒａｍ（Ｎ＝１）では、Ｐｅｍｏ（Ｃｉ）、Ｐｎｒｍ（Ｃｉ）と表される。
【００８５】
この補間の方法では、Ｐｅｍｏ（Ｃｉ｜Ｃｉ−２Ｃｉ−１）およびＰｎｒｍ（Ｃｉ｜Ｃｉ−２Ｃｉ−１）を、上記の感情表出状態での３つの出現確率、または、平静状態での３つの出現確率を用い、以下の式（７）および式（８）に基づいて算出する。
【００８６】
【数４】
0004691327.tif 000005
【００８７】
ここで、上記のλｅｍｏ１、λｅｍｏ２、λｅｍｏ３は、ｔｒｉｇｒａｍの感情表出状態とラベル付けされた学習データのフレーム数をｎとし、時系列でコードＣ１，Ｃ２，…，Ｃｎが得られたとき、以下のように表される。
【００８８】
【数５】
0004691327.tif 000006
【００８９】
ただし、λｅｍｏ１、λｅｍｏ２、λｅｍｏ３を求めるときの音声データは、符号帳を作成するときの音声データ以外のものとする。符号帳を作成するときの音声データと同じ音声データを用いると、λｅｍｏ１＝１、λｅｍｏ２＝λｅｍｏ３＝０の自明な解となってしまうからである。同様に、λｎｒｍ１、λｎｒｍ２、λｎｒｍ３も求められる。
【００９０】
次に、ｔｒｉｇｒａｍを用い、ラベル区間Ａのフレーム数がＦＡであり、得られたコードがＣ１，Ｃ２，…，ＣＦＡのとき、このラベル区間Ａの感情表出状態尤度ＰＡｅｍｏおよび平静状態尤度ＰＡｎｒｍは、それぞれ、以下の式（９）および式（１０）に示すように表される。
【００９１】
ＰＡｅｍｏ＝Ｐｅｍｏ（Ｃ３｜Ｃ１Ｃ２）…Ｐｅｍｏ（ＣＦＡ｜ＣＦＡ−２ＣＦＡ−１）  （９）
ＰＡｎｒｍ＝Ｐｎｒｍ（Ｃ３｜Ｃ１Ｃ２）…Ｐｎｒｍ（ＣＦＡ｜ＣＦＡ−２ＣＦＡ−１）  （１０）
【００９２】
本発明の実施の形態では、上記のように補間と、感情表出状態尤度ＰＡｅｍｏおよび平静状態尤度ＰＡｎｒｍの算出とができるように、上記の例では、ｔｒｉｇｒａｍ（Ｎ＝３）、ｂｉｇｒａｍ（Ｎ＝２）、および、ｕｎｉｇｒａｍ（Ｎ＝１）を各コードについて算出しておき、符号帳に格納しておくものとする。つまり、符号帳には、各コードに対応して、音声特徴量ベクトルと、その感情表出状態での出現確率と、平静状態での出現確率との組が格納される。
【００９３】
その感情表出状態での出現確率としては、各コードが過去のフレームで出現したコードと無関係に感情表出状態で出現する確率（単独出現確率）、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが感情表出状態で出現する条件付確率、またはそれら両方を使用する。同様に、平静状態での出現確率、そのコードが過去のフレームで出現したコードと無関係に平静状態で出現する単独出現確率、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが平静状態で出現する条件付出現確率、またはそれら両方を使用する。
【００９４】
図９に、符号帳に記録される内容の一例を示す。以下の各符号帳の作成において、学習音声から使用する平静状態のフレーム総数と、対応する感情（例えば笑い）の表出状態のフレーム総数は等しく選ばれている。この例では学習音声中の笑いのラベル区間と平静のラベル区間を分析して作成した符号帳ＣＢ−１と、怒りのラベル区間と平静のラベル区間を分析して作成した符号帳ＣＢ−２と、悲しみのラベル区間と平静のラベル区間を分析して作成した符号帳ＣＢ−３とを示している。図９に示すように、符号帳には各コードＣ１，Ｃ２，…毎に、その音声特徴量ベクトルと、その単独出現確率が、感情表出状態および平静状態について格納され、条件付出現確率が感情表出状態および平静状態についてそれぞれ組として格納されている。ここで、コードＣ１，Ｃ２，Ｃ３，…は、符号帳の各音声特徴量ベクトルに対応したコード（インデックス）を表し、それぞれｍビットの値“００…００”、“００…０１”、“００…１０”、…である。
【００９５】
符号帳におけるｈ番目のコードをＣｈで表し、例えばＣ１は第１番目のコードを表すものとする。以下では、この発明に好適な音声特徴量の組の例として、パラメータｆ０”、ｐ”、ｄｐを使用し、符号帳サイズ（音声特徴量ベクトルの数）が２６の場合の感情表出状態および平静状態での、条件付出現確率をｔｒｉｇｒａｍで近似した例について説明する。
【００９６】
図１０は、音声データの処理を説明するための模式図である。時刻ｔから始まる音声小段落のうち、第１フレームから第４フレームまでを符号ｉ〜ｉ＋３を付して示している。フレーム長およびフレームシフトを、上記のように、それぞれ、１００ｍｓ、５０ｍｓとした。ここでは、フレーム番号ｉ（時刻ｔ〜ｔ＋１００）のフレームについてコードＣ１が、フレーム番号ｉ＋１（時刻ｔ＋５０〜ｔ＋１５０）のフレームについてコードＣ２が、フレーム番号ｉ＋２（時刻ｔ＋１００〜ｔ＋２００）のフレームについてコードＣ３が、そして、フレーム番号ｉ＋１（時刻ｔ＋５０〜ｔ＋１５０）のフレームについてコードＣ４が得られているものとする。すなわち、フレーム順にコードがＣ１、Ｃ２、Ｃ３、Ｃ４であるとする。
【００９７】
この場合、フレーム番号ｉ＋２以上のフレームでは、ｔｒｉｇｒａｍが計算できる。いま、音声小段落Ｓの感情表出状態尤度をＰＳｅｍｏ、平静状態尤度をＰＳｎｒｍとすると、第４フレームまでの各尤度はそれぞれ、以下の式（１１）および式（１２）によって与えられる。
【００９８】
ＰＳｅｍｏ＝Ｐｅｍｏ（Ｃ３｜Ｃ１Ｃ２）Ｐｅｍｏ（Ｃ４｜Ｃ２Ｃ３）    （１１）
ＰＳｎｒｍ＝Ｐｎｒｍ（Ｃ３｜Ｃ１Ｃ２）Ｐｎｒｍ（Ｃ４｜Ｃ２Ｃ３）    （１２）
【００９９】
この例では、符号帳からコードＣ３、Ｃ４の感情表出状態および平静状態の各単独出現確率を求め、コードＣ２の次にコードＣ３が感情表出状態および平静状態で出現する条件付確率を求め、さらに、コードＣ３が連続するコードＣ１Ｃ２の次に感情表出状態および平静状態で出現し、コードＣ４が連続するコードＣ２Ｃ３の次に感情表出状態および平静状態で出現する条件付確率を求めると以下のようになる。
【０１００】
Pemo(C3|C1C2)=λemo1Pemo(C3|C1C2)+λemo2Pemo(C3|C2)+λemo3Pemo(C3)    （１３）
Pemo(C4|C2C3)=λemo1Pemo(C4|C2C3)+λemo2Pemo(C4|C3)+λemo3Pemo(C4)    （１４）
Pnrm(C3|C1C2)=λnrm1Pnrm(C3|C1C2)+λnrm2Pnrm(C3|C2)+λnrm3Pemo(C3)    （１５）
Pnrm(C4|C2C3)=λnrm1Pnrm(C4|C2C3)+λnrm2Pnrm(C4|C3)+λnrm3Pnrm(C4)    （１６）
【０１０１】
上記の式（１３）〜（１６）を用いることによって、式（１１）と（１２）とで示される第３フレームまでの感情表出状態尤度ＰＳｅｍｏと平静状態尤度をＰＳｎｒｍが求まる。ここで、条件付出願確率Ｐｅｍｏ（Ｃ３｜Ｃ１Ｃ２）およびＰｎｒｍ（Ｃ３｜Ｃ１Ｃ２）は、フレーム番号ｉ＋２以降で計算できる。
【０１０２】
以上の説明は、第４フレームｉ＋３までの計算についてであったが、フレーム数ＦＳの音声小段落Ｓについても同様に適用できる。例えば、フレーム数ＦＳの音声小段落Ｓのそれぞれのフレームから得られたコードがＣ１、Ｃ２、…、ＣＦＡのとき、この音声小段落Ｓが感情表出状態になる尤度ＰＡｅｍｏと平静状態になる尤度ＰＡｎｒｍを以下の式（１７）および式（１８）に示すように計算する。
【０１０３】
【数６】
0004691327.tif 000007
【０１０４】
上記のように算出した尤度が、ＰＡｅｍｏ＞ＰＡｎｒｍ、であれば、その音声小段落Ｓの発話状態は、感情表出状態であると判定する。逆に、ＰＡｅｍｏ≦ＰＡｎｒｍであれば、実質的に平静状態と判定されることになる。同様に、ＰＡｅｍｏ／ＰＡｎｒｍ＞１、であることを感情表出状態と判定するための条件とするのでもよい。また、正の重み係数Ｗに対しＷＬＰＡｅｍｏ／ＰＡｎｒｍ、を満足することを条件とすることにより、あるいは
ＲＥ＝（ｌｏｇＰＡｅｍｏ−ｌｏｇＰＡｎｒｍ）／Ｌ＞Ｗ      （１９）
を満足することを条件とすることにより、小段落のフレーム数Ｌに応じて重み付けの影響を増減するようにしてもよい。ここでＬは例えばＬ＝ＦＡ−２としてもよい。
【０１０５】
「笑い」、「怒り」、「悲しみ」の各感情表出状態判定方法においても、用いる音声特徴量については前述の方法の場合と同様であり、音声特徴量の組としては例えばパラメータ基本周波数、パワー、動的特徴量の時間変化特性の少なくとも１つ以上及び／又はこれらのフレーム間差分の少なくとも１つ以上を含むことが好ましい。出現確率も単独出現確率又はこれと条件付出現確率の組合せでもよく、更にこの組合せを用いる場合は、条件付出現確率の計算に対し線形補間法を用いることが好ましい。またこの感情表出状態判定方法においても、音声小段落又はこれよりも長い適当な区間ごとに、あるいは全体の音声信号の各音声特徴量の平均値で各音声特徴量を規格化し、あるいは標準化してフレームごとの音声特徴量の組を形成し、ベクトル量子化以降の処理を行うことが好ましい。
【０１０６】
感情表出状態判定方法としては、例えば、音声小段落に対する「笑い」、「怒り」、「悲しみ」についての尤度ＰＡｌａｕ、ＰＡａｎｇ、ＰＡｓａｄを式（１７）と同様に次式
【０１０７】
【数７】
0004691327.tif 000008
【０１０８】
により計算し、これにより例えば「笑い」であるか、「平静」であるかを判定する場合には、前述と同様に笑いの表出尤度ＰＡｌａｕと生成状態尤度ＰＡｎｒｍから条件
（ａ１）ＰＡｌａｕ＞ＰＡｎｒｍ、
（ｂ１）ＷＬＰＡｌａｕ＞ＰＡｎｒｍ、
（ｃ１）ＲＬ＝（ｌｏｇＰＡｌａｕ−ｌｏｇＰＡｎｒｍ）／Ｌ＞Ｗ、
のいずれか予め決めた条件を使って、その条件を満足していれば笑いの表出状態であると判定する。「怒り」であるか「平静」であるかの判定は式（２１）を使って尤度ＰＡａｎｇを計算し、
【０１０９】
（ａ２）ＰＡａｎｇ＞ＰＡｎｒｍ、
（ｂ２）ＷＬＰＡａｎｇ＞ＰＡｎｒｍ、
（ｃ２）ＲＡ＝（ｌｏｇＰＡａｎｇ−ｌｏｇＰＡｎｒｍ）／Ｌ＞Ｗ、
のいずれか予め決めた条件を使って、その条件を満足していれば怒りの表出状態と判定する。同様に、「悲しみ」であるか「平静」であるかの判定は式（２２）を使って尤度ＰＡｓａｄを計算し、
【０１１０】
（ａ３）ＰＡｓａｄ＞ＰＡｎｒｍ、
（ｂ３）ＷＬＰＡｓａｄ＞ＰＡｎｒｍ、
（ｃ３）ＲＳ＝（ｌｏｇＰＡｓａｄ−ｌｏｇＰＡｎｒｍ）／Ｌ＞Ｗ、
のいずれか予め決めた条件を使って、その条件を満足するか判定すればよい。判定条件はこれ以外にもいろいろなものが容易に考えられる。
【０１１１】
感情表出が「笑い」であるか、「怒り」であるか、「悲しみ」であるかを判定する場合は、例えば上記条件式（ｃ１）、（ｃ２）、（ｃ３）による笑い尤度比ＲＬ、怒り尤度比ＲＡ、悲しみ尤度比ＲＳを計算し、これらの尤度比を比較することにより決めることができる。
【０１１２】
この発明の原理によれば、前述のように、音声特徴量として基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか1つ以上及び／又はこれらのフレーム間差分の少なくともいずれか１つ以上を使用すればよいが、これらの音声特徴量のうち、動的特徴量の時間変化特性を含むことが好ましい。更に、音声特徴量として少なくとも基本周波数、パワー、動的特徴量の時間変化特性又はそれらのフレーム間差分を使用することにより感情検出の精度を高めることができる。音声特徴量として少なくとも特に基本周波数、パワー、動的特徴量の時間変化特性は実用的な特徴量として好ましい。
【０１１３】
以上、この発明による感情表出検出方法で使用される符号帳の作成と、その符号帳を使った感情表出の検出について詳細に説明した。以下には、この発明を使って所望の感情表出、ここでは笑い、怒り、悲しみの所望の音声区間を抽出する実施形態を示す。
【０１１４】
第１実施形態
この実施形態は３つの感情、「笑い」、「怒り」、「悲しみ」を区別せず、何れの感情表出も「感情」として検出する場合である。
【０１１５】
学習音声中の「笑い」の表出区間、「怒り」の表出区間、「悲しみ」の表出区間を区別せず、全ての「感情」のラベリングをし、その他の区間を全て「平静」のラベリングをして図１１に示すように１つの符号帳を作成しておく。
【０１１６】
図１２は第１実施形態による感情表出区間の検出処理手順を示す。
ステップＳ１：入力コンテンツの音声データから所定の判定区間Ｓを取り込む。判定区間は前述の音声小段落であってもよいし、あるいは予め決めた少なくとも１フレームを含む一定長の音声区間であってもよい。
【０１１７】
ステップＳ２：取り込んだ判定区間を分析してフレーム毎の音声特徴量ベクトルを求め、図１１の符号帳を参照して例えば式（１７）、（１８）又は式（１９）、（２０）により平静状態尤度ＰＡｎｒｍと感情表出状態尤度ＰＡｅｍｏを計算する。
ステップＳ３：残りの判定区間があるか判定し、あればステップＳ１に戻り、次の判定区間について同様の処理を行う。
【０１１８】
ステップＳ４：全ての判定区間について感情表出状態尤度ＰＡｅｍｏと平静状態尤度ＰＡｎｒｍが例えば図１３に概念的に示すように求まると、ＷＬＰＡｅｍｏ＞ＰＡｎｒｍを満たす区間Ｓ’を検出し、その各検出区間Ｓ’の位置（例えば検出区間の開始及び終了フレーム番号、又はコンテンツの最初から検出区間の開始時刻及び終了時刻）を記憶手段に記憶する。Ｗは予め決めた正の定数であり、Ｌは各区間Ｓ毎のフレーム数である。尚、図１３には、ＷＬＰＡｅｍｏ，ＰＡｎｒｍを連続曲線で示しているが、実際には判定区間Ｓごとの不連続な曲線である。
【０１１９】
ステップＳ５：ステップＳ４で検出した区間Ｓ’の位置に対応する区間をコンテンツから感情表出区間として抽出する。
【０１２０】
第２実施形態
この実施形態は、上記第１実施形態において検出した感情表出区間Ｓ’を、図１２のステップＳ５において更に感情表出が「笑い」、「怒り」、「悲しみ」のどれであるかを判定する。この第２実施形態は第１実施形態で使用する図１１の感情表出検出用の符号帳に加えて次の符号帳を予め作成しておく。
【０１２１】
上記「感情」のラベルがつけられた学習音声区間中の笑いの表出区間に「笑い」をラベリングし、怒りの表出区間に「怒り」をラベリングし、悲しみの表出区間に「悲しみ」をラベリングし、これら「笑い」、「怒り」、「悲しみ」がラベリングされた音声区間に基づいて図１４に示す符号帳を作成する。
【０１２２】
図１５は、第２実施形態による「笑い」、「怒り」、「悲しみ」の感情表出区間を検出する処理手順を示す。ステップＳ１〜Ｓ４は図１１の符号帳を使って図１２に示した第１実施形態による感情表出区間の検出処理と同じであり、これにより、「笑い」、「怒り」、「悲しみ」のいずれかを含む感情表出区間Ｓ’が検出される。以降のステップＳ５〜Ｓ８により、感情表出区間Ｓ’の「笑い」、「怒り」、「悲しみ」のどれであるかを判別する。
【０１２３】
ステップＳ５：ステップＳ４で検出された感情表出区間Ｓ’内の一連の音声特徴量ベクトルを得る。これはステップＳ１〜Ｓ３において全音声区間についての音声特徴量ベクトルが既に求められているので、その中から区間Ｓ’に対応する一連の音声特徴量ベクトルを取り出せばよい。
【０１２４】
ステップＳ６：図１４の符号帳を参照して検出感情表出区間Ｓ’の笑い表出尤度ＰＡｌａｕ、怒りの表出尤度ＰＡａｎｇ、悲しみ表出尤度ＰＡｓａｄをそれぞれ計算する。
ステップＳ７：これら尤度ＰＡｌａｕ、ＰＡａｎｇ、ＰＡｓａｄのうち、最大の尤度を判定し、その最大尤度の感情を表すマーク、例えば笑いはＬａｕ、怒りはＡｎｇ、悲しみはＳａｄのマークをその検出区間Ｓ’の位置に対応して記憶する。
【０１２５】
ステップＳ８：未処理の感情表出検出区間Ｓ’が残っているか判定し、残っていればステップＳ５に戻り、次の感情表出検出区間Ｓ’について同様の処理を実行する。
ステップＳ９：全ての感情表出検出区間Ｓ’について最大尤度の判定が終了していれば、全ての感情表出検出区間Ｓ’の中からマークＬａｕ、Ａｎｇ、Ｓａｄのうち、例えば利用者により指定された感情のマークの検出区間に対応する区間をコンテンツから抽出する。
【０１２６】
このように、第２実施形態に拠れば、利用者が１種類又は複数種類の感情表出を指定すれば、その指定された感情表出に対応する部分をコンテンツから抽出することができる。
【０１２７】
第３実施形態
上述の第２実施形態では音声データからまず感情表出区間を検出し、次に各感情表出区間が「笑い」、「怒り」、「悲しみ」のいずれかであるかを判定する場合を示したが、この第３実施形態では、音声データから直接「笑い」、「怒り」、「悲しみ」の任意の感情表出を検出する。符号帳は図１４に示したものを使用する。図１６は第３実施形態による感情表出区間の検出処理手順を示す。
【０１２８】
ステップＳ１：判定区間Ｓを入力音声コンテンツから取り込む。
ステップＳ２：判定区間Ｓの一連のフレーム音声特徴量ベクトルを求め、図１４の符号帳を参照して笑い表出尤度ＰＡｌａｕ、怒り表出尤度ＰＡａｎｇ、悲しみ表出尤度ＰＡｓａｄをそれぞれ計算する。
【０１２９】
ステップＳ３：これら尤度ＰＡｌａｕ、ＰＡａｎｇ、ＰＡｓａｄのうち、最大の尤度を判定し、その最大尤度の感情を表すマーク例えば笑いはＬａｕ、怒りはＡｎｇ、悲しみはＳａｄのマークをその判定区間Ｓの位置に対応して記憶する。
【０１３０】
ステップＳ４：未処理の判定区間Ｓが残っているか判定し、残っていればステップＳ１に戻り、次の判定区間Ｓについて同様の処理を実行する。
ステップＳ５：全ての判定区間Ｓについて最大尤度の判定が終了していれば、全ての判定区間Ｓの中からマークＬａｕ、Ａｎｇ、Ｓａｄのうち、例えば利用者により指定されたマークの検出区間に対応する区間をコンテンツから抽出する。
【０１３１】
このように、第３実施形態によっても、利用者が１種類又は複数種類の感情表出を指定すれば、その指定された感情表出に対応する部分をコンテンツから抽出することができる。この第３実施形態の場合は、第１実施形態における符号帳は使用しないので、平静状態尤度を使用しないことになる。即ち、この発明による感情表出の検出には、平静状態尤度の計算を必ずしも必要としない。
【０１３２】
第４実施形態
この実施形態も、例えば「笑い」、「怒り」、「悲しみ」の３種類の感情表出の任意のもの（１つ又は複数）を抽出することを可能にするものであり、予め次の３つの符号帳を作成しておく（図９の例と同様である）。
【０１３３】
（１）学習音声中の全ての笑いの表出区間に「笑い」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして笑い検出用符号帳を作成する。
（２）学習音声中の全ての怒りの表出区間に「怒り」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして怒り検出用符号帳を作成する。
（３）学習音声中の全ての悲しみの表出区間に「悲しみ」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして悲しみ検出用符号帳を作成する。
【０１３４】
図１７は第４実施形態の処理手順を示す。この実施形態においても、３種類の感情表出の任意の１つ又は複数を検出できる。
ステップＳ１：コンテンツの音声データから判定区間Ｓを取り込む。判定区間Ｓは前述のように音声小段落でもよいし、予め決めた一定長の区間でもよい。
【０１３５】
ステップＳ２：判定区間Ｓを分析してフレーム毎の音声特徴量を求め、上記笑い検出用符号帳を参照して笑い表出尤度ＰＡｌａｕとそれに対する平静状態尤度ＰＡｎｒｍを求め、笑い尤度比
ＲＬ＝（ｌｏｇＰＡｌａｕ−ｌｏｇＰＡｎｒｍ）／Ｌ
を計算する。上記怒り検出用符号帳を参照して怒り表出尤度ＰＡａｎｇとそれに対する平静状態尤度ＰＡｎｒｍを求め、怒り尤度比
ＲＡ＝（ｌｏｇＰＡａｎｇ−ｌｏｇＰＡｎｒｍ）／Ｌ
を計算する。更に、上記悲しみ検出用符号帳を参照して悲しみ表出尤度ＰＡｓａｄとそれに対する平常状態尤度ＰＡｎｒｍを求め、悲しみ尤度比
ＲＳ＝（ｌｏｇＰＡｓａｄ−ｌｏｇＰＡｎｒｍ）／Ｌ
を計算する。計算したこれら尤度比ＲＬ，ＲＡ，ＲＳを記憶する。
【０１３６】
ステップＳ３：残りの判定区間Ｓがあるか判定し、あればステップＳ１に戻り次の判定区間Ｓについて同様の処理を実行する。音声データの全区間について終了していれば、利用者により指定された「笑い」、「怒り」、「悲しみ」の任意の１つ又は複数について次のステップＳ４，Ｓ５，Ｓ６のうち、指定された感情に対応するものを実行する。
【０１３７】
ステップＳ４，Ｓ５，Ｓ６：ステップＳ１，Ｓ２，Ｓ３の処理により例えば図１８に概念的に示すように、縦軸を尤度比Ｒとして笑い表出尤度比ＲＬ、怒り表出尤度比ＲＡ、悲しみ表出尤度比ＲＳの曲線がそれぞれ得られており、これらと予め決めた閾値Ｒｔｈを比較し、Ｒｔｈより大となる区間を検出し、それらの位置と感情マークＬａｕ，Ａｎｇ，Ｓａｄを対応させて記憶する。
【０１３８】
ステップＳ７：「笑い」、「怒り」、「悲しみ」のうち、利用者により指定されたものの検出区間をコンテンツから抽出する。
このように、この第３実施形態においても「笑い」、「怒り」、「悲しみ」の任意の感情表出を選択してコンテンツから抽出することが可能である。
【０１３９】
第５実施形態
この実施形態は第４実施形態の変形例である。第４実施形態では感情表出区間を検出するために各感情表出状態尤度比を一定閾値Ｒｔｈと比較したが、ここでは、各感情表出状態尤度を共通の平静状態尤度と比較して各感情表出区間を検出する。そのために、学習音声中の笑い表出区間、怒り表出区間、悲しみ表出区間にそれぞれ「笑い」、「怒り」、「悲しみ」をラベリングし、音声が平静となる区間に「平静」をそれぞれラベリングし、図１９に示す符号帳を作成しておく。図１９に示すように、符号帳には笑い、怒り、悲しみ、平静の各感情表出における符号の単独出現確率（ｕｎｉｇｒａｍ）、条件付出現確率（ｂｉｇｒａｍ、ｔｒｉｇｒａｍ）が学習音声から求められ、書き込まれている。
【０１４０】
図２０は第５実施形態の処理手順を示す。
ステップＳ１：コンテンツの音声データから判定区間Ｓを取り込む。
ステップＳ２：判定区間Ｓを分析してフレーム毎の音声特徴量を求め、図１９の符号帳を参照して笑い表出尤度ＰＡｌａｕ、怒り表出尤度ＰＡａｎｇ、悲しみ表出尤度ＰＡｓａｄ、平静状態尤度ＰＡｎｒｍを計算し、記憶する。
【０１４１】
ステップＳ３：残りの判定区間があるか判定し、あればステップＳ１に戻り、次の判定区間について同様の処理を実行する。残りの判定区間がなければ、「笑い」、「怒り」、「悲しみ」のうち利用者により指定された１つ又は複数についてステップＳ４、Ｓ５，Ｓ６の対応するものを実行する。
【０１４２】
ステップＳ４，Ｓ５，Ｓ６：ステップＳ１，Ｓ２，Ｓ３の処理が終了した段階で例えば図２１に概念的に示すように、笑い表出尤度ＰＡｌａｕ、怒り表出尤度ＰＡａｎｇ、悲しみ表出尤度ＰＡｓａｄ、平常状態尤度ＰＡｎｒｍの曲線が得られている。ただし、図２１ではフレーム数ＦＡの区間の各感情表出尤度ＰＡｌａｕ、ＰＡａｎｇ、ＰＡｓａｄに重みＷＬを乗算した曲線を示している。これら尤度曲線ＷＬＰＡｌａｕ、ＷＬＰＡａｎｇ、ＷＬＰＡｓａｄと曲線ＰＡｎｒｍと比較し、ＷＬＰＡｌａｕ＞ＰＡｎｒｍ、ＷＬＰＡａｎｇ＞ＰＡｎｒｍ、ＷＬＰＡｓａｄ＞ＰＡｎｒｍを満足し、かつＰＡｌａｕ、ＰＡａｎｇ、ＰＡｓａｄのうち最大のものの区間をそれぞれ検出し、それぞれ検出区間の位置とマークを対応させて記憶する。
ステップＳ７：「笑い」、「怒り」、「悲しみ」のうち、利用者に指定された感情の検出区間に対応する区間を音声コンテンツから抽出する。
【０１４３】
第６実施形態
この実施形態では、予め学習音声中の「笑い」、「怒り」、「悲しみ」の音声区間にそれぞれ対応するラベルをつけ、「笑い」の音声区間と「怒り」の音声区間の全フレームの音声特徴量スペクトルから笑い表出についての各量子化音声特徴量ベクトルの各出現確率と、怒り表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２２に示す符号帳ＣＢ−１を作成し、同様に「怒り」の音声区間と「悲しみ」の音声区間の全フレームの音声特徴量ベクトルから怒り表出についての各量子化音声特徴量ベクトルの各出現確率と、悲しみ表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２２に示す符号帳ＣＢ−２を作成し、「悲しみ」の音声区間と「笑い」の音声区間の全フレームの音声特徴量ベクトルから悲しみ表出についての各量子化音声特徴量ベクトルの各出現確率と、笑い表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２２に示す符号帳ＣＢ−３を作成しておく。
【０１４４】
図２３は第６実施形態による感情表出検出処理手順を示す。
ステップＳ１〜Ｓ４は図１２の各感情を区別しない場合の処理手順と同様であり、図１１の符号帳を使って全音声区間について得た感情表出状態尤度ＷＬＰＡｅｍｏと平静状態尤度ＰＡｎｒｍの曲線からＷＬＰＡｅｍｏ＞ＰＡｎｒｍとなる区間を感情表出区間Ｓ’として全て検出し、一時記憶する。
【０１４５】
ステップＳ５：感情表出区間Ｓ’を取り込む。
ステップＳ６：感情表出区間Ｓ’の一連の音声特徴量スペクトルから図２２の符号帳ＣＢ−１を参照して笑い表出尤度ＰＡｌａｕ１と怒り表出尤度ＰＡａｎｇ２を求め、符号帳ＣＢ−２を参照して怒り表出尤度ＰＡａｎｇ１と悲しみ表出尤度ＰＡｓａｄ２を求め、符号帳ＣＢ−３を参照して悲しみ表出尤度ＰＡｓａｄ１と笑い表出尤度ＰＡｌａｕ３を求める。
ステップＳ７：上記尤度から笑い、怒り、悲しみについてそれぞれ２つの尤度を以下のように決める。
【０１４６】
笑い尤度：ＰLAU1＝ＰAlau1／ＰAang2；  ＰLAU2＝ＰAlau2／ＰAsad1
怒り尤度：ＰANG1＝ＰAang1／ＰAsad2；  ＰANG2＝ＰAang2／ＰAlau1
悲しみ尤度：ＰSAD1＝ＰAsad1／ＰAlau2；  ＰSAD2＝ＰAsad2／ＰAang1
【０１４７】
ステップＳ８：笑い度、怒り度、悲しみ度を以下のように決める。
笑い度：ＬＡＵ＝（ＰＬＡＵ１＋ＰＬＡＵ２）／２
怒り度：ＡＮＧ＝（ＰＡＮＧ１＋ＰＡＮＧ２）／２
悲しみ度：ＳＡＤ＝（ＰＳＡＤ１＋ＰＳＡＤ２）／２
【０１４８】
ステップＳ９：図２４に示すように、
ＬＡＵ＞ＡＮＧかつＬＡＵ＞ＳＡＤの区間を検出し、Ｌａｕのマークを付ける。
ＡＮＧ＞ＳＡＤかつＡＮＧ＞ＬＡＵの区間を検出し、Ａｎｇのマークを付ける。
ＳＡＤ＞ＬＡＵかつＳＡＤ＞ＡＮＧの区間を検出し、Ｓａｄのマークを付ける。
【０１４９】
ステップＳ１０：全ての検出区間Ｓ’について処理が終了したか判定し、終了してなければステップＳ５に戻って次の感情表出検出区間Ｓ’についてステップＳ６〜Ｓ９で同様の処理を実行する。
ステップＳ１１：全ての検出区間Ｓ’について終了していれば、利用者により指定された感情のマークの区間を音声コンテンツから抽出する。あるいはユーザが希望する指定の時間長で要約を視聴したい、笑っているところだけを見たい、などの要求を満足する閾値Ｒｔｈ以上の区間を抽出してもよい（図２２の破線参照）。
【０１５０】
上述の第１から第６実施形態における各感情表出状態尤度ＰＡｌａｕ、ＰＡｎｇ、ＰＡｓａｄはいずれも前記式（１７）または（１９）のいずれを使用して計算してもよい。
【０１５１】
以上説明したように、本発明の第１の実施の形態に係る情報処理装置および情報処理プログラムは、利用者が発声した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、自動的に推測した利用者の感情に応じた顔画像を描画させることができる。
【０１５２】
また、入力音声の音声特徴量の組を量子化し、符号帳中の対応する音声特徴量ベクトルが感情表出状態で出現する確率を符号帳から求め、この出現確率からその感情表出であるか否かを判定しているため、利用者の声質に依存することなく利用者の感情を特定することができ、特定した感情に応じた顔画像を描画させることができる。
【０１５３】
Ｂ．第２の実施の形態
本発明の第２の実施の形態について、図面を用いて説明する。図２５は、本発明の第２の実施の形態に係る情報処理装置のブロック構成図である。図２５に示すように、情報処理装置２００は、画像情報記憶手段１１０、音声信号受信手段１２０、感情推測手段１３０、画像変化手段１４０、表示手段１５０、電子メール選択手段２６０、および顔画像検出手段２７０を備えて構成されている。これらの手段は、ＣＰＵ１０１によって実行されるプログラムのモジュールでもよい。また、情報処理装置２００は、パソコンを含むコンピュータを用いても実現可能である。
【０１５４】
なお、本発明の第２の実施の形態に係る情報処理装置を構成する手段のうち、本発明の第１の実施の形態に係る情報処理装置を構成する手段と同一の手段には同一の符号を付し、それぞれの説明を省略する。また、本発明の第２の実施の形態に係る情報処理装置のハードウエア構成は、本発明の第１の実施の形態に係る情報処理装置のハードウエア構成と同様である。
【０１５５】
電子メール選択手段２６０は、受信した電子メールのうち任意の電子メールを利用者に選択させるようになっている。例えば、電子メール選択手段２６０は、ＰＯＰ３、ＳＭＴＰ、またはＩＭＡＰ４などのプロトコルに準拠した電子メールのクライアントソフトなどによって構成されている。
【０１５６】
顔画像検出手段２７０は、電子メール選択手段２６０によって選択された電子メールに含まれる画像情報から顔画像情報を検出し、画像情報記憶手段１１０は、顔画像検出手段２７０が検出した顔画像情報を記憶するようになっている。例えば、顔画像検出手段２７０は、電子メールに添付された画像ファイルがあれば、顔認証技術を用いて画像ファイルから顔画像情報を検出するようになっている。
【０１５７】
以下、本発明の第２の実施の形態に係る情報処理装置が実行するプログラムについて、図面を参照して説明する。図２６は、本発明の第２の実施の形態に係る情報処理装置の動作の流れを示すフローチャートである。
【０１５８】
まず、利用者は電子メールのクライアントソフトを操作して、任意の電子メールを構成する電子ファイルが、電子メール選択手段２６０によって選択される（Ｓ２０１）。任意の電子メールを構成する電子ファイルが選択されたとき、電子メールに添付されている画像情報から顔画像情報が顔画像検出手段２７０によって検出されたか否か、確認される（Ｓ２０２）。
【０１５９】
顔画像情報が検出されたとき、顔画像情報は、画像情報記憶手段１１０によって記憶される（Ｓ２０３）。ここで、利用者が音声を発声すれば、利用者が発声した音声に従って利用者の感情が推定され、感情に対応する表情になるように顔画像検出手段２７０によって検出された顔画像は変化する。
【０１６０】
以上説明したように、本発明の第２の実施の形態に係る情報処理装置および情報処理プログラムは、電子メールに含まれる画像情報から顔画像情報を検出したとき、利用者が発声した音声から得られた音声信号に基づいて利用者の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、ビデオメールなどの電子メールに付加価値を与えることができる。
【０１６１】
また、本発明の第２の実施の形態に係る情報処理装置および情報処理プログラムは、顔画像を通じて感情を利用者に共有させることができ、例えば、利用者が悲しい内容の電子メールを読んでいるとき、利用者の泣き声に応じて顔画像が変化し、可笑しい内容の電子メールを読んでいるとき、利用者の笑い声に応じて顔画像が変化するため、顔画像を通じて感情を利用者に共有させることができる。
【０１６２】
Ｃ．第３の実施の形態
本発明の第３の実施の形態について、図面を用いて説明する。図２７は、本発明の第３の実施の形態に係る情報処理装置のブロック構成図である。図２７に示すように、情報処理装置３００は、通信手段３０１、画像情報記憶手段１１０、感情推測手段１３０、画像変化手段１４０、および表示手段１５０を備えて構成されている。これらの手段は、ＣＰＵ１０１によって実行されるプログラムのモジュールでもよい。また、情報処理装置３００は、パソコンを含むコンピュータを用いても実現可能である。
【０１６３】
なお、本発明の第３の実施の形態に係る情報処理装置を構成する手段のうち、本発明の第１の実施の形態に係る情報処理装置を構成する手段と同一の手段には同一の符号を付し、それぞれの説明を省略する。また、本発明の第３の実施の形態に係る情報処理装置のハードウエア構成は、本発明の第１の実施の形態に係る情報処理装置のハードウエア構成と同様である。
【０１６４】
通信手段３０１は、音声信号受信手段３２０を備えて構成されている。また、情報処理装置３００と通信端末１０との間では、ネットワーク２０を介してテレビ電話としての通信を行うようになっている。また、インタフェース部１０６などを介して発呼や着呼などに関わる処理、または、通信端末１０との間のデータの送受などを行うようになっている。
【０１６５】
音声信号受信手段３２０は、ネットワーク２０を介して相手の通信端末１０から得られた音声信号を受信するようになっている。
【０１６６】
以下、本発明の第３の実施の形態に係る情報処理装置が実行するプログラムについて、図面を参照して説明する。図２８は、本発明の第３の実施の形態に係る情報処理装置の動作の流れを示すフローチャートである。なお、本発明の第３の実施の形態に係る情報処理装置が行う処理のうち、本発明の第１の実施の形態に係る情報処理装置が行う処理と同一のものには同一の符号を付している。
【０１６７】
まず、相手が発声した音声から得られた音声信号は、音声信号受信手段３２０によってネットワーク２０を介して受信され（Ｓ３０１）、受信された音声信号に基づいて通信相手の感情は、感情推測手段１３０によって推測される（Ｓ１０２）。
【０１６８】
次に、予め決められた顔画像は、画像変化手段１４０によって感情推測手段１３０が推測した感情に対応する表情になるように変化され（Ｓ１０３）、変化された顔画像は、表示手段１５０によって表示される（Ｓ１０４）。なお、予め決められた顔画像に代えて、通信端末１０が有するカメラから相手の顔の像を撮像し、撮像された顔の像を表す情報をネットワーク２０を介して得られた顔画像でもよい。
【０１６９】
以上説明したように、本発明の第３の実施の形態に係る情報処理装置および情報処理プログラムは、ネットワーク２０を介して相手の端末から得られた音声信号に基づいて通信相手の感情を推測し、推測した感情に対応する表情になるように顔画像を変化させるため、通信相手の感情面に着目して魅力的な通信を実現することができる。
【０１７０】
また、本発明の実施の形態では、音声処理装置が上記のＳ３１０〜Ｓ３４０の各ステップでの処理を行う音声処理動作について説明したが、これらのステップＳ３１０〜Ｓ３４０を含む音声処理動作を実行させるための音声処理プログラムがインストールされた所定のコンピュータを用いて実施することも可能である。
【産業上の利用可能性】
【０１７１】
本発明に係る情報処理装置および情報処理プログラムは、自動的に推測した利用者の感情に応じた顔画像を描画させることができるという効果が有し、パソコン、携帯電話、または公共施設に設置されている端末などの用途にも利用可能である。
【図面の簡単な説明】
【０１７２】
【図１】本発明の第１の実施の形態に係る情報処理装置の構成を示すブロック図。
【図２】本発明の第１の実施の形態に係る情報処理装置のハードウエア構成を示す概略図。
【図３】本発明の第１の実施の形態に係る感情推測手段の構成を示すブロック図。
【図４】本発明の第１の実施の形態に係る情報処理装置の動作の流れを示すフローチャート。
【図５】本発明の第１の実施の形態に係る感情推測手段１３０の動作を説明するためのフローチャート。
【図６】ステップＳ３３０での処理の詳細を説明するためのフローチャート。
【図７】音声小段落、音声段落等を説明するための概念図。
【図８】ステップＳ３１０での処理の詳細を説明するためのフローチャート。
【図９】符号帳の記録例を示す図。
【図１０】音声データの処理を説明するための模式図。
【図１１】第１実施形態に使用する符号帳の例を示す図。
【図１２】第１実施形態の処理手順を示すフローチャート。
【図１３】尤度の比較による感情表出区間の検出を説明するための概念図。
【図１４】第１実施形態で使用される符号帳の例を示す図。
【図１５】第２実施形態の処理手順を示すフローチャート。
【図１６】第３実施形態の処理手順を示すフローチャート。
【図１７】第４実施形態の処理手順を示すフローチャート。
【図１８】尤度比に基づく感情表出区間の検出を説明するための概念図。
【図１９】第４実施形態で使用される符号帳の例を示す図。
【図２０】第５実施形態の処理手順を示すフローチャート。
【図２１】尤度比較に基づく感情表出区間の検出を説明するための概念図。
【図２２】第６実施形態で使用される符号帳の例を示す図。
【図２３】第６実施形態の処理手順を示すフローチャート。
【図２４】笑い度、怒り度、悲しみなどの比較による感情表出を説明するための概念図。
【図２５】本発明の第２の実施の形態に係る情報処理装置の構成を示すブロック図。
【図２６】本発明の第２の実施の形態に係る情報処理装置の動作の流れを示すフローチャート。
【図２７】本発明の第３の実施の形態に係る情報処理装置の構成を示すブロック図。
【図２８】本発明の第３の実施の形態に係る情報処理装置の動作の流れを示すフローチャート。
【符号の説明】
【０１７３】
１００，２００，３００  情報処理装置
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  ＥＥＰＲＯＭ
１０５  ハードディスク
１０６  インタフェース部
１０７  ディスプレイ
１１０  画像情報記憶手段
１２０，３２０  音声信号受信手段
１３０  感情推測手段
１３１  記憶手段
１３２  音声特徴量抽出手段
１３３  感情表出尤度算出手段
１３４  平静状態尤度算出手段
１３５  感情表出判定手段
１４０  画像変化手段
１５０  表示手段
２６０  電子メール選択手段
２７０  顔画像検出手段
３０１  通信手段
【図１】
0004691327.tif 000009
【図２】
0004691327.tif 000010
【図３】
0004691327.tif 000011
【図４】
0004691327.tif 000012
【図５】
0004691327.tif 000013
【図６】
0004691327.tif 000014
【図７】
0004691327.tif 000015
【図８】
0004691327.tif 000016
【図９】
0004691327.tif 000017
【図１０】
0004691327.tif 000018
【図１１】
0004691327.tif 000019
【図１２】
0004691327.tif 000020
【図１３】
0004691327.tif 000021
【図１４】
0004691327.tif 000022
【図１５】
0004691327.tif 000023
【図１６】
0004691327.tif 000024
【図１７】
0004691327.tif 000025
【図１８】
0004691327.tif 000026
【図１９】
0004691327.tif 000027
【図２０】
0004691327.tif 000028
【図２１】
0004691327.tif 000029
【図２２】
0004691327.tif 000030
【図２３】
0004691327.tif 000031
【図２４】
0004691327.tif 000032
【図２５】
0004691327.tif 000033
【図２６】
0004691327.tif 000034
【図２７】
0004691327.tif 000035
【図２８】
0004691327.tif 000036