(57)【要約】【課題】  利用者が撮像した多数の画像のうち関心ある画像を即座に検索することができる撮像装置および撮像プログラムを提供すること。【解決手段】  被写体を撮像して得られた静止画像を表す静止画像情報を蓄積する画像情報蓄積手段１１と、被写体を撮像したときの音声から得られた音声信号を受信する音声信号受信手段１２と、音声信号受信手段１２によって受信された音声信号が強調状態か否かを判定する強調状態判定手段１３と、強調状態判定手段１３が強調状態と判定したときの音声信号に対応する特定の静止画像情報を抽出する画像抽出手段１４とを備えて構成する。【選択図】  図１
2005354519.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して得られた静止画像を表す静止画像情報を記憶媒体に蓄積する画像情報蓄積手段と、
前記被写体を撮像したときの音声から得られた音声信号を受信する音声信号受信手段と、
前記音声信号受信手段によって受信された音声信号が強調状態であるか否かを判定する強調状態判定手段と、
前記強調状態判定手段が強調状態と判定したときの音声信号に対応する特定の静止画像情報を前記記憶媒体から抽出する画像抽出手段と
を備えたことを特徴とする撮像装置。
【請求項２】
被写体を撮像して得られた静止画像を表す静止画像情報を記憶媒体に蓄積する画像情報蓄積手段と、
前記被写体を撮像したときの音声から得られた音声信号を受信する音声信号受信手段と、
前記音声信号受信手段によって受信された音声信号に基づいて発話者の感情を推測する感情推測手段と、
前記感情推測手段が推測した発話者の感情が特定の感情であったときの音声信号に対応する特定の静止画像情報を前記記憶媒体から抽出する画像抽出手段と
を備えたことを特徴とする撮像装置。
【請求項３】
前記画像情報蓄積手段は、前記静止画像情報を時系列順に連続させて蓄積し、
前記画像抽出手段は、前記特定の静止画像情報を含む所定期間内の一連の静止画像情報を抽出することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
コンピュータに、
被写体を撮像して得られた静止画像を表す静止画像情報を記憶媒体に蓄積する画像情報蓄積ステップと、
前記被写体を撮像したときの音声から得られた音声信号を受信する音声信号受信ステップと、
前記音声信号受信ステップで受信した音声信号が強調状態であるか否かを判定する強調状態判定ステップと、
前記強調状態判定ステップで強調状態と判定したときの音声信号に対応する特定の静止画像情報を前記記憶媒体から抽出する画像抽出ステップと
を実行させることを特徴とする撮像プログラム。
【請求項５】
コンピュータに、
被写体を撮像して得られた静止画像を表す静止画像情報を記憶媒体に蓄積する画像情報蓄積ステップと、
前記被写体を撮像したときの音声から得られた音声信号を受信する音声信号受信ステップと、
前記音声信号受信ステップで受信した音声信号に基づいて発話者の感情を推測する感情推測ステップと、
前記感情推測ステップで推測した発話者の感情が特定の感情であったときの音声信号に対応する特定の静止画像情報を前記記憶媒体から抽出する画像抽出ステップと
を実行させることを特徴とする撮像プログラム。
【請求項６】
前記画像情報蓄積ステップで前記静止画像情報を時系列順に連続させて蓄積し
前記画像抽出ステップで前記特定の静止画像情報を含む所定期間内の一連の静止画像情報を抽出することを特徴とする請求項４または請求項５に記載の撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像するときの音声から得られた音声信号を受信する撮像装置および撮像プログラに関する。
【背景技術】
【０００２】
従来の撮像装置としては、周囲の音を集音するマイクと、画像の撮像方向あるいは撮像倍率を制御できるカメラと、マイクによって集音された音を認識する音認識手段と、カメラによって撮像された画像を認識する画像認識手段とを備え、音認識手段あるいは画像認識手段の出力に基づいて、カメラの撮像方向または撮像倍率を制御するものが知られている（例えば特許文献１参照）。また、従来の撮像装置は、所定の枚数分の画像を画像情報記憶回路に記憶するようになっており、利用者は、画像情報記憶回路に記憶された画像を表示して撮像した結果を確認することができる。
【特許文献１】特開平９−８３８５６号公報（第３頁〜第４頁、第１図〜第２図）
【特許文献２】特開２００２−２３０５９８号公報
【特許文献３】特開平５−２８９６９１号公報
【非特許文献１】「音響・音声工学」、吉井貞熙、近代科学社、１９９２
【非特許文献２】「音声符号化」、守谷健弘、電子情報通信学会、１９９８
【非特許文献３】「ディジタル音声処理」、吉井貞熙、東海大学出版会、１９８５
【非特許文献４】Y.Linde, A.Buzo and R.M.Gray. ”An algorithm for vector Quantizer design”,IEEE Trans.Commun.,vol. Com-28, pp.84-95, 1980
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような従来の撮像装置では、利用者が、画像情報記憶回路に記憶された多数の画像を一枚分ずつ表示して確認しない限り、関心ある画像を検索することができないという課題が残されていた。
【０００４】
本発明はこのような課題を解決するためになされたもので、利用者が撮像した多数の画像のうち関心ある画像を即座に検索することができる撮像装置および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の撮像装置は、被写体を撮像して得られた静止画像を表す静止画像情報を記憶媒体に蓄積する画像情報蓄積手段と、前記被写体を撮像したときの音声から得られた音声信号を受信する音声信号受信手段と、前記音声信号受信手段によって受信された音声信号が強調状態であるか否かを判定する強調状態判定手段と、前記強調状態判定手段が強調状態と判定したときの音声信号に対応する特定の静止画像情報を前記記憶媒体から抽出する画像抽出手段とを備えた構成を有している。
この構成により、静止画像情報を蓄積した記憶媒体から、強調状態と判定したときの音声信号に対応する特定の静止画像情報を抽出するため、利用者が撮像した多数の画像のうち関心ある画像を即座に検索することができる。
【０００６】
また、本発明の撮像装置は、被写体を撮像して得られた静止画像を表す静止画像情報を記憶媒体に蓄積する画像情報蓄積手段と、前記被写体を撮像したときの音声から得られた音声信号を受信する音声信号受信手段と、前記音声信号受信手段によって受信された音声信号に基づいて発話者の感情を推測する感情推測手段と、前記感情推測手段が推測した発話者の感情が特定の感情であったときの音声信号に対応する特定の静止画像情報を前記記憶媒体から抽出する画像抽出手段とを備えた構成を有している。
この構成により、静止画像情報を蓄積した記憶媒体から、発話者の感情が特定の感情であったときの音声信号に対応する特定の静止画像情報を抽出するため、利用者が撮像した多数の画像のうち関心ある画像を即座に検索することができる。
【０００７】
さらに、本発明の撮像装置は、前記画像情報蓄積手段は、前記静止画像情報を時系列順に連続させて蓄積し、前記画像抽出手段は、前記特定の静止画像情報を含む所定期間内の一連の静止画像情報を抽出する構成を有している。
この構成により、静止画像情報を時系列順に連続させて蓄積し、特定の静止画像情報を含む所定期間内の一連の静止画像情報を抽出するため、利用者の関心ある一連の画像を即座に検索することができる。
【０００８】
本発明の撮像プログラムは、コンピュータに、被写体を撮像して得られた静止画像を表す静止画像情報を記憶媒体に蓄積する画像情報蓄積ステップと、前記被写体を撮像したときの音声から得られた音声信号を受信する音声信号受信ステップと、前記音声信号受信ステップで受信した音声信号が強調状態であるか否かを判定する強調状態判定ステップと、前記強調状態判定ステップで強調状態と判定したときの音声信号に対応する特定の静止画像情報を前記記憶媒体から抽出する画像抽出ステップとを実行させる。
このプログラムにより、静止画像情報を蓄積した記憶媒体から、強調状態と判定したときの音声信号に対応する特定の静止画像情報を抽出するため、利用者が撮像した多数の画像のうち関心ある画像を即座に検索することができる。
【０００９】
また、本発明の撮像プログラムは、コンピュータに、被写体を撮像して得られた静止画像を表す静止画像情報を記憶媒体に蓄積する画像情報蓄積ステップと、前記被写体を撮像したときの音声から得られた音声信号を受信する音声信号受信ステップと、前記音声信号受信ステップで受信した音声信号に基づいて発話者の感情を推測する感情推測ステップと、前記感情推測ステップで推測した発話者の感情が特定の感情であったときの音声信号に対応する特定の静止画像情報を前記記憶媒体から抽出する画像抽出ステップとを実行させる。
このプログラムにより、静止画像情報を蓄積した記憶媒体から、発話者の感情が特定の感情であったときの音声信号に対応する特定の静止画像情報を抽出するため、利用者が撮像した多数の画像のうち関心ある画像を即座に検索することができる。
【００１０】
さらに、本発明の撮像プログラムは、前記画像情報蓄積ステップで前記静止画像情報を時系列順に連続させて蓄積し、前記画像抽出ステップで前記特定の静止画像情報を含む所定期間内の一連の静止画像情報を抽出する。
このプログラムにより、静止画像情報を時系列順に連続させて蓄積し、特定の静止画像情報を含む所定期間内の一連の静止画像情報を抽出するため、利用者の関心ある一連の画像を即座に検索することができる。
【発明の効果】
【００１１】
本発明は、利用者が撮像した多数の画像のうち関心ある画像を即座に検索することができる撮像装置および撮像プログラムを提供するものである。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を実施するための最良の形態について説明する。
【００１３】
図１は、本発明の実施の形態に係る撮像装置のブロック構成図である。図１に示すように、撮像装置１００は、画像情報蓄積手段１１、音声信号受信手段１２、強調状態判定手段１３、画像抽出手段１４、画像提示手段１５、および撮像手段１０７を備えて構成されている。なお、強調状態判定手段１３は、感情推測手段１３０を備えて構成されている。
【００１４】
画像情報蓄積手段１１は、被写体を撮像して撮像手段１０７から得られた静止画像を表す静止画像情報をメモリカード１０５（後述）などの記憶媒体に蓄積するようになっている。また、画像情報蓄積手段１１は、静止画像情報を時系列順に連続させて蓄積するようにしてもよい。なお、静止画像情報は、ＪＰＥＧ（Joint Photographic Experts Group）やＧＩＦ（Graphics Interchange Format）などの画像フォーマットに準拠した画像情報を表す電子ファイルでもよい。
【００１５】
音声信号受信手段１２は、被写体を撮像したときの音声をマイクロフォンなどを介して入力された音声信号を受信するようになっている。例えば、カメラマンがモデルとなる人物を撮像している最中に「いい顔してるね！」などの高揚を表すような強調された言葉を発声することがよくあり、音声信号受信手段１２は、カメラマンが発声したときの音声信号を受信するようになっている。
【００１６】
強調状態判定手段１３は、音声信号受信手段１２によって受信された音声信号が強調状態か否かを判定するようになっている。強調状態判定手段１３は、例えば、特開２００３−３１６３７８号公報に記載されているように、音声信号を構成する複数フレームから音声特徴量および音声段落に関する情報を抽出し、抽出した情報に基づいて話者の発話状態が平静状態か、または強調状態かを判定し、強調状態と判定したとき、強調状態を検出した旨を表す強調状態情報を画像抽出手段１４に出力するようになっている。
【００１７】
また、強調状態判定手段１３を構成する感情推測手段１３０が、音声信号受信手段１２によって入力された音声信号に基づいて発話者の感情を推測するようにしてもよい。発話者の感情を推測したときには、感情推測手段１３０が感情を表す感情情報を画像抽出手段１４に出力するようになっている。感情推測手段１３０の詳細な説明は後述する。
【００１８】
画像抽出手段１４は、強調状態判定手段１３が強調状態と判定したときの音声信号に対応する特定の静止画像情報を、画像情報蓄積手段１１が蓄積した記憶媒体から抽出するようになっている。
【００１９】
また、静止画像情報を抽出するための特定の感情を予め決めておき、画像抽出手段１４は、特定の感情に応じて特定の静止画像情報を抽出するようにしてもよい。例えば、予め決められた感情が「笑い」であった場合、画像抽出手段１４は、発話者の発声が「笑い」を表わしていたときの音声信号に対応する特定の静止画像情報を抽出するようになっている。
【００２０】
このように、画像抽出手段１４が特定の静止画像情報を抽出するため、例えば、強調状態判定手段１３によって出力された強調状態情報が入力されたときには、画像抽出手段１４が、画像情報蓄積手段１１によって蓄積されている最新の静止画像情報に強調状態情報を付加するようになっている。また、感情推測手段１３０によって出力された感情情報が入力されたときには、画像抽出手段１４が、最新の静止画像情報に感情情報を付加するようになっている。
【００２１】
また、利用者が画像の抽出を要求したとき、画像抽出手段１４は、画像情報蓄積手段１１が蓄積した記憶媒体から、強調状態情報または感情情報が付加された特定の静止画像情報を抽出するようになっている。
【００２２】
なお、強調された言葉が発声されて強調状態情報または感情情報が入力されたときの時刻と、最新の静止画像情報が蓄積された時刻との時間差が所定時間を超えていない場合だけ、画像抽出手段１４は、強調状態情報または感情情報を最新の静止画像情報に付加するようにしてもよい。これにより、強調された音声に対応する静止画像を確実に特定することができる。
【００２３】
また、利用者が画像の抽出を要求したとき、画像抽出手段１４は、画像情報蓄積手段１１が静止画像情報を時系列順に連続させて蓄積している記憶媒体から、特定の静止画像情報を含む所定期間内の一連の静止画像情報を抽出するようにしてもよい。
【００２４】
画像提示手段１５は、画像抽出手段１４が抽出した静止画像情報をディスプレイ１０８（後述）に提示するようになっている。また、画像提示手段１５は、画像抽出手段１４が抽出した静止画像情報をインタフェース部１０６（後述）を介してパソコンやテレビなどの装置に出力するようにしてもよい。さらに、画像抽出手段１４が特定の静止画像情報を含む所定期間内の一連の静止画像情報を抽出したときには、画像提示手段１５が、静止画像情報の一覧をサムネイルで表示させるようにしてもよい。
【００２５】
次に、図２は、本発明の実施の形態に係る撮像装置のハードウエア構成を示す概略図である。ＣＰＵ（Central Processing Unit）１０１は、撮像装置に関わるプログラムを実行するようになっている。なお、画像情報蓄積手段１１、音声信号受信手段１２、強調状態判定手段１３、画像抽出手段１４、および画像提示手段１５は、ＣＰＵ１０１によって実行されるプログラムのモジュールでもよい。
【００２６】
ＲＯＭ（Read Only Memory）１０２は、ＣＰＵ１０１が読み出すプログラム、ＣＰＵ１０１を立ち上げるためのプログラム、その他のプログラム、および、制御用のパラメータ等を記憶するようになっている。ＲＡＭ（Random Access Memory）１０３は、ＣＰＵ１０１の動作中にＣＰＵ１０１の動作に要するプログラムやデータ等を記憶するようになっている。ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）１０４は、プログラムや所定のデータを不揮発かつ書替可能に記憶するようになっている。メモリカード１０５は、フラッシュＥＥＰＲＯＭなどによって構成され、着脱可能な構造でもよい。インタフェース部１０６は、パソコンやテレビなどの装置と所定の通信ブロトコルに準拠して通信するようになっている。
【００２７】
また、撮像装置１００は、レンズ、シャッター、ＣＣＤ（Charge Coupled Device）などを含む撮像手段１０７、液晶ディスプレイなどのディスプレイ１０８、およびマイクロフォンなどの入力機器などを備えている。なお、撮像装置１００は、デジタルカメラ、パソコンを含むコンピュータ、または携帯電話を用いでも実現可能である。
【００２８】
次に、図３は、本発明の実施の形態に係る感情推測手段のブロック構成図である。図３に示すように、感情推測手段１３０は、記憶手段１３１、音声特徴量抽出手段１３２、感情表出尤度算出手段１３３、平静状態尤度算出手段１３４、および感情表出判定手段１３５を備えて構成されている。
【００２９】
記憶手段１３１は、学習音声を用いて生成されたた符号帳であって、学習音声に含まれる音声特徴量の組から生成されたベクトル量子化された音声特徴量ベクトルとそれに対応する符号、音声を発した話者の感情、話者の感情表出があったときの音声特徴量ベクトルの出現確率である感情表出確率、および、話者の感情表出がなかったときの音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する符号帳１３１ＣＢを予め記憶するようになっている。例えば、図９に示すように符号帳は、「笑い」、「怒り」、「悲しみ」などの感情に対応して作成されている。なお、感情毎に対応する符号帳は、「笑い」、「怒り」、「悲しみ」の３つに限定されず、多数用意してもよい。
【００３０】
音声特徴量抽出手段１３２は、音声信号受信手段１２によって受信された入力コンテンツに含まれる音声データから音声特徴量ベクトルを抽出するようになっている。
【００３１】
感情表出尤度算出手段１３３は、音声特徴量抽出手段１３２が抽出した音声特徴量ベクトルに対応する音声特徴量ベクトルを符号帳から検出し、この符号帳から検出された音声特徴量ベクトルに対応する感情表出確率に基づいて、話者の感情表出についての尤度である感情表出状態尤度を算出するようになっている。例えば、感情表出尤度算出手段１３３は、それぞれの感情に対応した符号帳に基づいてそれぞれの感情表出状態尤度を算出するようになっている。
【００３２】
平静状態尤度算出手段１３４は、音声特徴量抽出手段１３２が抽出した音声特徴量ベクトルに対応する音声特徴量ベクトルを符号帳から検出し、この符号帳から検出された音声特徴量ベクトルに対応する平静状態確率に基づいて、話者の平静状態についての尤度である平静状態尤度を算出するようになっている。例えば、平静状態尤度算出手段１３４は、それぞれの感情に対応した符号帳に基づいてそれぞれの平静状態尤度を算出するようになっている。
【００３３】
感情表出判定手段１３５は、感情表出尤度算出手段１３３が算出した感情表出状態尤度、および、平静状態尤度算出手段１３４が算出した平静状態尤度に基づいて、音声特徴量抽出手段１３２が音声データから抽出した音声特徴量ベクトルを含む音声の各区間に、話者の感情表出があったか否かを判定するようになっている。感情表出があったとき、感情表出判定手段１３５は、判定した感情を表す感情情報を画像抽出手段１４に出力するようになっている。
【００３４】
例えば、話者が「笑い」を感情表出していたか否かを判定する場合には、感情表出尤度算出手段１３３が「笑い」の符号帳を用いて算出した「笑い」に対応する感情表出尤度、および平静状態尤度算出手段１３４が「笑い」の符号帳を用いて算出した「笑い」に対応する平静状態尤度に基づいて、感情表出判定手段１３５が「笑い」の感情表出があったか否かを判定するようになっている。
【００３５】
図３には示していないが、音声特徴量抽出手段１３２はバッファメモリ手段を有しており、入力された音声コンテンツを一時的に格納し、そのバッファメモリ手段内のコンテンツに含まれる音声データを分析して音声特徴量ベクトルを抽出する。
【００３６】
以下、本発明の実施の形態に係る撮像装置が実行するプログラムについて、図面を参照して説明する。図４（ａ）は、本発明の実施の形態に係る撮像装置が画像情報を蓄積する動作の流れを示すフローチャートである。
【００３７】
まず、被写体を撮像して撮像手段１０７から得られた静止画像情報が、画像情報蓄積手段１１によって蓄積される（Ｓ１０１）。被写体を撮像したときの音声をマイクロフォンなどを介して入力された音声信号が、音声信号受信手段１２によって受信されていなければ、動作が終了し、受信されていれば、動作がＳ１０３へ進む（Ｓ１０２）。
【００３８】
次に、受信された音声信号に基づいて利用者等の感情が感情推測手段１３０によって推測され（Ｓ１０３）、推測された感情が特定の感情であったか否か、判定される（Ｓ１０４）。特定の感情であったとき、特定の感情を表す感情情報が、画像抽出手段１４によって最新の静止画像情報に付加される（Ｓ１０５）。
【００３９】
また、ステップＳ１０３からステップＳ１０５までは、受信された音声信号が強調状態であったか否かが、強調状態判定手段１３によって判定されてもよい。このとき、強調状態であったとき、強調状態情報が画像抽出手段１４によって最新の静止画像情報に付加される。
【００４０】
図４（ｂ）は、本発明の実施の形態に係る撮像装置が画像情報を抽出する動作の流れを示すフローチャートである。まず、利用者が画像の抽出を要求する旨の要求信号が、撮像装置１００に入力される（Ｓ１０６）。次に、特定の静止画像情報が、画像抽出手段１４によって画像情報蓄積手段１１が蓄積した記憶媒体から抽出される（Ｓ１０７）。抽出され静止画像情報は、画像提示手段１５によってディスプレイ１０８に出力またはパソコンやテレビなどの装置に出力される（Ｓ１０８）。
【００４１】
次に、本発明の実施の形態に係る感情推測手段１３０の動作について説明する。図５は、本発明の実施の形態に係る感情推測手段１３０の動作を説明するためのフローチャートである。
【００４２】
まず、学習音声を用いて生成された符号帳であって、学習音声に含まれる所定の音声特徴量の組（パラメータの組）である音声特徴量ベクトル、音声を発した話者の感情、話者の感情表出があったとき（以下、感情表出状態という。）の音声特徴量ベクトルの出現確率である感情表出確率、および、話者の感情表出がなかったときの音声特徴量ベクトルの出現確率である平静状態確率を対応付けて保持する符号帳が予め作成され、図１の記憶手段１３１に格納されている（Ｓ３１０）。この符号帳作成処理は、この発明の装置を構成する上で必要なものとして予め行う。符号帳作成の詳細については、後述するが、音声特徴量ベクトルは、特許文献２に開示されているような音声のフレーム毎に検出する少なくとも基本周波数、平均パワー、動的特徴量の時間変化特性の少なくともいずれか１つ以上及び／又はそれらのフレーム間差分の少なくともいずれか１つ以上のパラメータの組を含むベクトルである。
【００４３】
ステップＳ３２０〜Ｓ３４０は感情表出検出処理である。まず、入力コンテンツの全体が記憶手段１３１に取り込まれ、その取り込まれた音声データから予め決められた複数種類の音声特徴量の組（音声特徴量ベクトル）を抽出する（Ｓ３２０）。
【００４４】
Ｓ３２０で音声データの所定区間（判定区間）から抽出した一連の音声特徴量ベクトルにそれぞれ最も近い音声特徴量ベクトルを符号帳から検出し、この符号帳からその検出された音声特徴量ベクトルの、感情表出状態での出現確率を読み出し、この一連の出願確率に基づいて、話者の感情表出についての尤度である感情表出状態尤度を算出する。この感情表出状態尤度の計算は、音声データの一連の音声特徴量ベクトルの判定区間ごと（例えば後述の音声小段落ごと、または一定区間長ごと）に行う。
【００４５】
同様に、音声データから抽出した音声特徴畳ベクトルの、平静状態での出現確率を符号帳から読み出し、この確率に基づいて、話者の平静状態についての尤度である平静状態尤度を上記感情表出状態尤度の算出と同じ判定区間ごとに算出する（Ｓ３３０）。
【００４６】
次に、ステップＳ３３０で算出した感情表出状態尤度、および平静状態尤度に基づいて、ステップＳ３２０で音声データから抽出した所定の音声特徴量の組を含む音声データの判定区間に、話者の感情表出があったか否かを判定する（Ｓ３４０）。
【００４７】
以下に、上記の各ステップでの処理について詳細に説明する。まず、各ステップでの処理についての詳細な説明に先立ち、上記の音声特徴量の組について説明する。音声特徴量としては、音声スペクトル等の情報に比べて、雑音環境下でも安定して得られ、かつ感情表出状態か否かの判定が話者依存性の低いものを用いる。このような条件を満たす音声特徴量として、本発明の実施の形態では、基本周波数ｆ０、パワーｐ、動的特徴量ｄ（ｔ）．無声区間ＴＳ等を抽出する。
【００４８】
これらの音声特徴量の抽出法は公知であり、その詳細については、例えば、非特許文献１、非特許文献２、非特許文献３等を参照されたい。
【００４９】
ここで、上記の動的特徴量ｄ（ｔ）は、以下の式（１）によって定義され、その時間変化量は発話速度の尺度となるパラメータである。
【００５０】
【数１】
2005354519.tif 000003
【００５１】
ここで、ｔは時刻、Ｃｋ（ｔ）は時刻ｔにおけるｋ次のＬＰＣケプストラム係数、±Ｆ０は対象とするフレーム（以下、現フレームという）の前後のフレーム数（必ずしも整数個のフレームでなくとも一定の時間区間でもよい）をいう。なお、動的特徴量ｄ（ｔ）としては、特許文献３に定義されたものを用いるのでもよい。
【００５２】
ＬＰＣケプストラム係数の次数ｋは、１からＫまでの整数のいずれかである。動的特徴量ｄ（ｔ）の単位時間当たりの極大点の数、または、単位時間当たりの変化率は発話速度の尺度となる。
【００５３】
以下では、１フレームの長さ（以下、フレーム長という）を１００ｍｓとし、このフレームの開始時刻から５０ｍｓずらして次のフレームを形成するものとする。また、フレーム毎に、平均基本周波数ｆ０’、平均パワーＰを算出するものとする。平均基本周波数ｆ０’及び平均パワーｐ’は、基本周波数ｆ０が信頼できるフレームについてのみ使用して算出する。例えば、基本周波数ｆ０の抽出の際の自己相関係数を利用してもよい。さらに、現フレームの基本周波数ｆ０’と、現フレームからｉフレーム前の基本周波数ｆ０’および現フレームからｉフレーム後の基本周波数ｆ０’のそれぞれと差分Δｆ０’（−ｉ）、Δｆ０’（ｉ）と、をとる。平均パワーｐ’についても同様に、現フレームの平均パワーｐ’と、現フレームからｉフレーム前の平均パワーｐ’および現フレームからｉフレーム後の平均パワーｐ’のそれぞれと差分Δｐ’（−ｉ）、Δｐ’（ｉ）と、をとる。
【００５４】
次に、これらフレーム毎の、基本周波数ｆ０’、基本周波数の差分Δｆ０’（−ｉ）、Δｆ０’（ｉ）、平均パワーｐ’、平均パワーの差分Δｐ’（−ｉ）、Δｐ’（ｉ）を規格化する。以下では、基本周波数ｆ０’、基本周波数の差分Δｆ０’（−ｉ）、Δｆ０’（ｉ）、平均パワーｐ’、平均パワーの差分Δｐ’（−ｉ）、Δｐ’（ｉ）のそれぞれを、単に、ｆ０’、Δｆ０’（−ｉ）、Δｆ０’（ｉ）、ｐ’、Δｐ’（−ｉ）、Δｐ’（ｉ）と表し、規格化されたものを、それぞれ、ｆ０”、Δｆ０”（−ｉ）、Δｆ０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）と表す。
【００５５】
この規格化は、例えば、ｆ０’、Δｆ０’（−ｉ）、Δｆ０’（ｉ）のそれぞれを、例えば、処理対象の音声データ全体の平均基本周波数で割ることによって行うのでもよいし、標準化して平均０、分散１にしてもよい。また、処理対象の音声データ全件の平均基本周波数の代わりに、後述する音声小段落や音声段落毎の平均基本周波数や、数秒や数分等の時間内での平均基本周波数を用いるのでもよい。
【００５６】
同様に、p’についても、処理対象の音声データ全件の平均パワーで割り、規格化又は標準化する。また、処理対象の音声データ全体の平均パワーの代わりに、後述する音声小段落や音声段落毎の平均パワーや、数秒や数分等の時間内での平均パワー等を用いるのでもよい。ここで、上記ｉの値を、例えば、４とする。
【００５７】
動的特徴量（ダイナミックメジャー）のピークの本数は、以下のように算出する。まず、現フレームの開始時刻を中心に現フレームより十分長い時間幅（２Ｔ１、ただし、Ｔ１は例えばフレーム長の１０倍程度とする）の区間を設ける。次に、この区間内における動的特徴量ｄ（ｔ）の時間変化の極大点を算出し、極大点の個数ｄｐ（以下、単にｄｐという）を計数する。
【００５８】
また、ダイナミックメジャーのピーク本数の差分値も、以下に述べるようにして算出しておく。即ち、現フレームの開始時刻のＴ２前の時刻を中心とする幅２Ｔ１内区間におけるｄｐから、現フレームのｄｐを差し引いた差成分Δｄｐ（−Ｔ２）を求める。同様に、現フレームの終了時刻のＴ３後の時刻を中心とする幅２Ｔ１内の区間におけるｄｐを、現フレームのｄｐから差し引いた差成分Δｄｐ（Ｔ３）を求める。
【００５９】
上記の、Ｔ１、Ｔ２、Ｔ３の値は、それぞれ、フレーム長より十分長いものとし、以下では、Ｔ１＝Ｔ２＝Ｔ３＝４５０ｍｓとする。ただし、これらの値に限られるものではない。また、フレームの前後の無声区間の長さを、それぞれ、ｔＳＢ、ｔＳＦとする。ステップＳ３２０では、上記のｆ０”、Δｆ０”（−ｉ）、Δｆ０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）、ｄｐ、Δｄｐ（−Ｔ２）、Δｄｐ（Ｔ３）等（以下、それぞれをパラメータと呼ぶ）の値をフレーム毎に抽出する。
【００６０】
符号帳作成の際は、上記のｆ０”、Δｆ０”（−ｉ）、Δｆ０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）、ｄｐ、Δｄｐ”（−Ｔ２）、Δｄｐ”（Ｔ３）等のパラメータの中から選択されたパラメータの組、例えば（ｆ０”、ｐ”、ｄｐ）（音声特徴量ベクトル）に対応させて、感情表出確率および平静状態確率が算出され、選ばれたパラメータと感情表出確率および平静状態確率とを対応させて符号帳に記録している。符号帳には、上記のパラメータの組と同じ組のパラメータが音声特徴量ベクトルとして記録されている。
【００６１】
ステップＳ３２０では、入力音声を対象に、上記の音声特徴量パラメータｆ０”、Δｆ０”（−ｉ）、Δｆ０”（ｉ）、ｐ”、Δｐ”（−ｉ）、Δｐ”（ｉ）、ｄｐ、Δｄｐ”（−Ｔ２）、Δｄｐ”（Ｔ３）等のパラメータのうち、符号帳に記憶された音声特徴量ベクトルで使用されているパラメータ、例えば前述の（ｆ０”、ｐ”、ｄｐ）の値をフレームごとに算出し、全音声コンテンツに渡る一連の音声特徴量ベクトルを得る。これによって、音声データの各音声特徴量ベクトルに対応する符号帳の音声特徴量ベクトルを特定でき、感情表出確率および平静状態確率を決定できることになる。
【００６２】
ステップＳ３３０での処理の詳細を、図６を用いて説明する。ステップＳ３３０では、まず、ステップＳ３３１〜Ｓ３３３で、音声小段落および音声段落を抽出する。次に、ステップＳ３３４、Ｓ３３５、Ｓ３３６で、感情表出状態尤度及び平静状態尤度を算出する。この実施例では音声小段落を、感情表出状態か否かを判定する対象の単位とし、音声段落は、例えば、４００ｍｓ程度またはそれ以上の無声区間ではさまれた、少なくとも１つ以上の音声小段落を含む区間であるものとする。図７に音声小段落と音声段落の関係を概念的に示す。
【００６３】
音声段落の抽出には、まず、音声データの無声区間と有声区間を抽出する（Ｓ３３１）。有声区間であるか無声区間であるかの判定（以下、単に、有声／無声の判走という）は、周期性の有無の判定と等価であるとみなして、自己相関関数や変形相関関数のピーク値に基づいて行われることが多い。
【００６４】
具体的には、入力信号の短時間スペクトルからスペクトル包絡を除去し、得られた予測残渣の自己相関関数（以下、変形相関関数という）を算出し、変形相関関数のピーク値が所定の閾値より大きいか否かによって有声／無声の判定を行う。また、そのようなピーク値が得られる相関処理の遅延時間に基づいて、ピッチ周期１／ｆ０の抽出を行う。
【００６５】
上記では、フレーム毎に各音声特徴量を音声データから抽出する場合について述べたが、音声データが、例えば、ＣＥＬＰ（Code-Excited Linear Prediction）などにより、既にフレーム毎に符号化（すなわ、分析）されており、この符号化で得られる係数または符号を用いて音声特徴量を生成するのでもよい。ＣＥＬＰによって得られる符号（以下、ＣＥＬＰ符号という）には、一般に、線形予測係数、利得係数、ピッチ周期等が含まれる。そのため、ＣＥＬＰ符号を復号して上記の音声特徴畳を得ることができる。
【００６６】
具体的には、復号された利得係数の絶対値または二乗値をパワーとして用い、ピッチ成分の利得係数と非周期成分の利得係数との比に基づいて有声／無線の判定を行うことができる。また、復号されたピッチ周期の逆数をピッチ周波数、すなわち基本周波数として用いることができる。また、上記の式（ｌ）で説明した動的特徴量の計算に使用するＬＰＣケプストラム係数は、ＣＥＬＰ符号を復号して得られたものを変換して求めることができる。
【００６７】
また、ＣＥＬＰ符号にＬＳＰ（Line Spectrum Pair）係数が含まれていれば、ＬＳＰ係数を一旦ＬＰＣケプストラム係数に変換し、変換して得られたＬＰＣケブストラム係数から求めてもよい。このように、ＣＥＬＰ符号には本発明で使用できる音声特徴量が含まれているので、ＣＥＬＰ符号を復号し、フレーム毎に必要な音声特徴量の組を取り出すことができる。
【００６８】
図６に戻って、有声区間の両側の無声区間の時間tＳＭ、tＳＦがそれぞれ予め決めたtＳ以上になるとき、その無声区間によって囲まれた有声区間を含む信号部分を音声小段落Ｓとして抽出する（Ｓ３３２）。以下では、この無声区間の時間tＳの値を、例えば、ｔＳ＝４００ｍｓとする。
【００６９】
次に、この音声小段落Ｓ内の、好ましくは後学部の有声区間内の平均パワーｐと、この音声小段落Ｓの平均パワー値ＰＳの定数β倍とを比較し、ｐ＜βＰＳであれば、その音声小段落Ｓを末尾音声小段落とし、直前の末尾音声小段落後の音声小段落から現在の末尾音声小段落までを音声段落と決定して抽出する（Ｓ３３３）。
【００７０】
音声小段落の抽出は、上記の有声区間を囲む無声区間の時間がｔＳ以上となるという条件で行う。図７に、音声小段落としてＳｊ−１、Ｓｊ、Ｓｊ＋１を示し、以下では音声小段落Ｓｊを処理対象の音声小段落とする。音声小段落Ｓｊは、Ｑｊ個の有声区間から構成され、音声小段落Ｓｊの平均パワーをＰｊとする。
【００７１】
また、音声小段落Ｓｊに含まれるｑ番目の有声区間Ｖｑ（ｑ＝１、２、・・・、Ｑ）の平均パワーをｐｑと表す。音声小段落Ｓｊが音声段落Ｂの末尾の音声小段落であるか否かは、音声小段落Ｓｊを構成する後半部分の有声区間の平均パワーに基づいで判定する。具体的には、以下の式（２）に示す条件が満たされるか否かで判定する。
【００７２】
【数２】
2005354519.tif 000004
【００７３】
この条件を満たすとき、音声小段落Ｓｊが音声段落Ｂの末尾音声小段落であると判定する。
【００７４】
ここで、αはＱｊ／２以下の値をとる定数であり、βは例えば０．５〜１．５程度の値をとる定数である。これらの値は、音声段落の抽出を最適化するように、予め実験により決めでおく。ただし、有声区間の平均パワーｐｑは、その有声区間内の全フレームの平均パワーである。本発明の実施の形態では、α＝３、β＝０．８とした。上記のようにすることによって、隣接する末尾音声小段落間の音声小段落の集合を音声段落と判定できる。あるいは、音声小段落を固定長ｔ（ｓ）、シフト幅Ｓ（ｓ）と決めてもよい。例えば、ｔ（ｓ）＝Ｓ（ｓ）＝１ｍｓｅｃの固定長、シフト幅としてもよい。音声段落についてもΔＳの無声区間で囲まれた区間としてもよい。
【００７５】
次に、図６に戻って感情表出状態尤度を算出する処理（Ｓ３３４、Ｓ３３５）について説明する（以下、この処理を感情表出判定処理という）。まず、ステップＳ３１０で予め作成した符号帳に記録される音声特徴量ベクトルに合わせて、ステップＳ３２０で抽出した入力音声に含まれる音声特徴量の組をベクトル量子化し、符号列Ｃ１，Ｃ２，Ｃ３，…を得る（Ｓ３３４）。
【００７６】
ステップＳ３３５での感情表出状態尤度の算出に先立って、図８を用いて符号帳の作成方法について説明する。まず、多数の学習用音声を被験者から採取し、感情表出があった発話と平静状態での発話とを識別できるようにラベルを付ける（Ｓ３１１）。例えば、音声が、笑っている、怒っている、悲しんでいる、とそれぞれ判断した区間にラベル付けを行う。
【００７７】
反対に平静状態と判定する理由を、上記の笑い、怒り、悲しみのいずれにも該当せず、発話が平静であると感じられることとする。
【００７８】
ステップＳ３１１で上記のラベル付けを行ったら、ラベル付けされた音声データから、ステップＳ３２０での処理と同様に予め決めたパラメータの組の音声特徴量、例えば（ｆ０”、ｐ”、ｄｐ）の値を音声特徴量ベクトル値としてフレームごとに抽出する（Ｓ３１２）。ラベル付けによって得られる感情表出状態または平静状態の情報と、感情表出状態または平静状態とされたラベル区間（ラベル付けされた音声区間）について得られる音声特徴量ベクトルとを用いて、ＬＢＧアルゴリズムに従って符号帳を作成する（Ｓ３１３）。
【００７９】
ＬＢＧアルゴリズムは公知であり、その詳細は、例えば、非特許文献４を参照されたい。
【００８０】
符号帳に記録されるエントリの数（以下、符号長サイズという）は、２ｍ個（ｍは、１以上の整数）確保できると共に可変であり、エントリのインデックスとしてコードＣが用いられ、インデックスにはコードＣに対応したｍビットの量子化ベクトル（Ｃ＝００…０〜１１…１）が用いられる。
【００８１】
符号長には、この量子化ベクトル（コードＣ）に対応させて、フレーム長より十分長い所望の区間、例えば学習音声のラベル区間に得られる全音声特徴量ベクトルを使って上記ＬＢＧアルゴリズムにより決められた代表ベクトルを音声特徴量代表ベクトルとして記録しておく。その際、各音声特徴量を、例えば、その平均値と標準偏差で規格化してもよい。以下の説明では、符号帳の音声特徴量代表ベクトルも単に音声特徴量ベクトルと呼ぶ。
【００８２】
入力音声データから抽出した音声特徴量のパラメータのうち、感情表出判定処理に使用するパラメータの組は、上記の符号帳作成に用いたパラメータの組と同じものである。感情表出状態または平静状態の音声小段落を特定するために、音声小段落中のコードＣ（エントリのインデックス）に対応させて、各感情表出状態での出現確率と平静状態での出現確率をそれぞれ算出する。その際、感情を「笑い」、「怒り」、「悲しみ」などに分類しておき、それぞれの感情について上記の感情表出状態と平静状態の各出現確率を算出し、１つの符号帳に記録する。従って、符号帳には、上記のコードＣと、音声特徴量ベクトルと、感情表出状態での出現確率と平静状態の出現確率とが対応して記録されている。これらは感情の種類毎に分類して別々の符号帳に記録してもよい。
【００８３】
以下に、ステップＳ３３５で行う話者の感情表出についての尤度である感情表出尤度の算出、および、ステップＳ３３６で行う平静状態についての尤度である平静状態尤度の算出方法の一例について説明する。まず、学習音声中のラベル区間に含まれるフレームの数をｎとし、それぞれのフレームから得られる音声特徴量の組に対応するコードが時系列でＣ１，Ｃ２，…，Ｃｎとなっているものとする。
【００８４】
上記で説明したように、ラベル区間は、符号帳を作成する処理のステップＳ３１１で、ラベルが付けられた１つの音声区間である。このとき、ステップＳ３３５、Ｓ３３６で算出される、ラベル区間Ａの感情表出尤度ＰＡｅｍｏおよび平静状態尤度ＰＡｎｒｍは、それぞれ、以下の式（３）および式（４）に示すように表される。
【００８５】
【数３】
2005354519.tif 000005
【００８６】
ここで、Ｐｅｍｏ（Ｃｉ｜Ｃ１…Ｃｉ−１）は、コード列Ｃ１，…，Ｃｉ−１の次にコードＣｉが感情表出状態となる条件付確率、Ｐｎｒｍ（Ｃｉ｜Ｃ１…Ｃｉ−１）は、同様にコード列Ｃ１，…，Ｃｉ−１の次にコードＣｉが平静状態となる条件付確率である。また、Ｐｅｍｏ（Ｃｉ）は、符号帳を作成する処理において、音声が感情表出状態とラベル付けされた部分に存在した音声特徴量ベクトルに対応するコードＣｉの総個数を数え、その総個数を、感情表出状態とラベル付けされた音声データの全コード数（＝フレーム数）で割算した値である。一方、Ｐｎｒｍ（Ｃｉ）は、コードＣｉが平静状態とラベル付けされた部分に存在した個数を，平静状態とラベル付けされた音声データの全コード数で割算した値である。
【００８７】
以下では、各条件付確率をＮ−ｇｒａｍ（Ｎ＜ｉ）モデルで近似し、感情表出状態尤度および平静状態尤度の計算を簡単にする。Ｎ−ｇｒａｍモデルは、ある時点でのある事象の出現がその直前のＮ−１個の事象の出現に依存すると近似するモデルである。ここで、Ｎ＝３のときはｔｒｉｇｒａｍ、Ｎ＝２のときはｂｉｇｒａｍ、Ｎ＝１のときはｕｎｉｇｒａｍとよばれる。このモデルでは、例えば、ｉ番目のフレームにコードＣｉが出現する確率Ｐ（Ｃｉ）は、Ｐ（Ｃｉ）＝Ｐ（Ｃｉ｜Ｃｉ−Ｎ＋１…Ｃｉ−１）とされる。
【００８８】
上記の式（３）および式（４）中の各条件付出現確率Ｐｅｍｏ（Ｃｉ｜Ｃｉ…Ｃｉ−１）、Ｐｎｒｍ（Ｃｉ｜Ｃｉ…Ｃｉ−１）にＮ−ｇｒａｍモデルを適用すると、各条件付出現確率は以下の式（５）および式（６）に示すように近似される。
【００８９】
Ｐｅｍｏ（Ｃｉ｜Ｃｉ…Ｃｉ−１）＝Ｐｅｍｏ（Ｃｉ｜Ｃｉ-Ｎ+1…Ｃｉ−１）    （５）
Ｐｎｒｍ（Ｃｉ｜Ｃｉ…Ｃｉ−１）＝Ｐｎｒｍ（Ｃｉ｜Ｃｉ-Ｎ+1…Ｃｉ−１）    （６）
【００９０】
上記の式（５）のＰｅｍｏ（Ｃｉ｜Ｃｉ−Ｎ＋１…Ｃｉ−１）および式（６）のＰｎｒｍ（Ｃｉ｜Ｃｉ−Ｎ＋１…Ｃｉ−１）は、通常、符号帳から全て得られるようになっているが、一部のものについては、学習音声から得られないものもある。その場合は、他の条件付出現確率や単独出現確率から補間によって求めたものでもよい。例えば、低次（即ち、コード列が短い）の条件付出現確率と単独出現確率等とから高次（即ち、コード列が長い）の条件付出現確率を補間して求めることができる。
【００９１】
以下に、この補間の方法について説明する。以下では、上記のｔｒｉｇｒａｍ（Ｎ＝３）、ｂｉｇｒａｍ（Ｎ＝２）、および、ｕｎｉｇｒａｍ（Ｎ＝１）を例にとり説明する。各出現確率は、ｔｒｉｇｒａｍ（Ｎ＝３）では、Ｐｅｍｏ（Ｃｉ｜Ｃｉ−２Ｃｉ−１）、Ｐｎｒｍ（Ｃｉ｜Ｃｉ−２Ｃｉ−１）、ｂｉｇｒａｍ（Ｎ＝２）では、Ｐｅｍｏ（Ｃｉ｜Ｃｉ−１）、Ｐｎｒｍ（Ｃｉ｜Ｃｉ−１）、そして、ｕｎｉｇｒａｍ（Ｎ＝１）では、Ｐｅｍｏ（Ｃｉ）、Ｐｎｒｍ（Ｃｉ）と表される。
【００９２】
この補間の方法では、Ｐｅｍｏ（Ｃｉ｜Ｃｉ−２Ｃｉ−１）およびＰｎｒｍ（Ｃｉ｜Ｃｉ−２Ｃｉ−１）を、上記の感情表出状態での３つの出現確率、または、平静状態での３つの出現確率を用い、以下の式（７）および式（８）に基づいて算出する。
【００９３】
【数４】
2005354519.tif 000006
【００９４】
ここで、上記のλｅｍｏ１、λｅｍｏ２、λｅｍｏ３は、ｔｒｉｇｒａｍの感情表出状態とラベル付けされた学習データのフレーム数をｎとし、時系列でコードＣ１，Ｃ２，…，Ｃｎが得られたとき、以下のように表される。
【００９５】
【数５】
2005354519.tif 000007
【００９６】
ただし、λｅｍｏ１、λｅｍｏ２、λｅｍｏ３を求めるときの音声データは、符号帳を作成するときの音声データ以外のものとする。符号帳を作成するときの音声データと同じ音声データを用いると、λｅｍｏ１＝１、λｅｍｏ２＝λｅｍｏ３＝０の自明な解となってしまうからである。同様に、λｎｒｍ１、λｎｒｍ２、λｎｒｍ３も求められる。
【００９７】
次に、ｔｒｉｇｒａｍを用い、ラベル区間Ａのフレーム数がＦＡであり、得られたコードがＣ１，Ｃ２，…，ＣＦＡのとき、このラベル区間Ａの感情表出状態尤度ＰＡｅｍｏおよび平静状態尤度ＰＡｎｒｍは、それぞれ、以下の式（９）および式（１０）に示すように表される。
【００９８】
ＰＡｅｍｏ＝Ｐｅｍｏ（Ｃ３｜Ｃ１Ｃ２）…Ｐｅｍｏ（ＣＦＡ｜ＣＦＡ−２ＣＦＡ−１）  （９）
ＰＡｎｒｍ＝Ｐｎｒｍ（Ｃ３｜Ｃ１Ｃ２）…Ｐｎｒｍ（ＣＦＡ｜ＣＦＡ−２ＣＦＡ−１）  （１０）
【００９９】
本発明の実施の形態では、上記のように補間と、感情表出状態尤度ＰＡｅｍｏおよび平静状態尤度ＰＡｎｒｍの算出とができるように、上記の例では、ｔｒｉｇｒａｍ（Ｎ＝３）、ｂｉｇｒａｍ（Ｎ＝２）、および、ｕｎｉｇｒａｍ（Ｎ＝１）を各コードについて算出しておき、符号帳に格納しておくものとする。つまり、符号帳には、各コードに対応して、音声特徴量ベクトルと、その感情表出状態での出現確率と、平静状態での出現確率との組が格納される。
【０１００】
その感情表出状態での出現確率としては、各コードが過去のフレームで出現したコードと無関係に感情表出状態で出現する確率（単独出現確率）、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが感情表出状態で出現する条件付確率、またはそれら両方を使用する。同様に、平静状態での出現確率、そのコードが過去のフレームで出現したコードと無関係に平静状態で出現する単独出現確率、直前の連続した所定数のフレームの取り得るコードの列の次にそのコードが平静状態で出現する条件付出現確率、またはそれら両方を使用する。
【０１０１】
図９に、符号帳に記録される内容の一例を示す。以下の各符号帳の作成において、学習音声から使用する平静状態のフレーム総数と、対応する感情（例えば笑い）の表出状態のフレーム総数は等しく選ばれている。この例では学習音声中の笑いのラベル区間と平静のラベル区間を分析して作成した符号帳ＣＢ−１と、怒りのラベル区間と平静のラベル区間を分析して作成した符号帳ＣＢ−２と、悲しみのラベル区間と平静のラベル区間を分析して作成した符号帳ＣＢ−３とを示している。図９に示すように、符号帳には各コードＣ１，Ｃ２，…毎に、その音声特徴量ベクトルと、その単独出現確率が、感情表出状態および平静状態について格納され、条件付出現確率が感情表出状態および平静状態についてそれぞれ組として格納されている。ここで、コードＣ１，Ｃ２，Ｃ３，…は、符号帳の各音声特徴量ベクトルに対応したコード（インデックス）を表し、それぞれｍビットの値“００…００”、“００…０１”、“００…１０”、…である。
【０１０２】
符号帳におけるｈ番目のコードをＣｈで表し、例えばＣ１は第１番目のコードを表すものとする。以下では、この発明に好適な音声特徴量の組の例として、パラメータｆ０”、ｐ”、ｄｐを使用し、符号帳サイズ（音声特徴量ベクトルの数）が２６の場合の感情表出状態および平静状態での、条件付出現確率をｔｒｉｇｒａｍで近似した例について説明する。
【０１０３】
図１０は、音声データの処理を説明するための模式図である。時刻ｔから始まる音声小段落のうち、第１フレームから第４フレームまでを符号ｉ〜ｉ＋３を付して示している。フレーム長およびフレームシフトを、上記のように、それぞれ、１００ｍｓ、５０ｍｓとした。ここでは、フレーム番号ｉ（時刻ｔ〜ｔ＋１００）のフレームについてコードＣ１が、フレーム番号ｉ＋１（時刻ｔ＋５０〜ｔ＋１５０）のフレームについてコードＣ２が、フレーム番号ｉ＋２（時刻ｔ＋１００〜ｔ＋２００）のフレームについてコードＣ３が、そして、フレーム番号ｉ＋１（時刻ｔ＋５０〜ｔ＋１５０）のフレームについてコードＣ４が得られているものとする。すなわち、フレーム順にコードがＣ１、Ｃ２、Ｃ３、Ｃ４であるとする。
【０１０４】
この場合、フレーム番号ｉ＋２以上のフレームでは、ｔｒｉｇｒａｍが計算できる。いま、音声小段落Ｓの感情表出状態尤度をＰＳｅｍｏ、平静状態尤度をＰＳｎｒｍとすると、第４フレームまでの各尤度はそれぞれ、以下の式（１１）および式（１２）によって与えられる。
【０１０５】
ＰＳｅｍｏ＝Ｐｅｍｏ（Ｃ３｜Ｃ１Ｃ２）Ｐｅｍｏ（Ｃ４｜Ｃ２Ｃ３）    （１１）
ＰＳｎｒｍ＝Ｐｎｒｍ（Ｃ３｜Ｃ１Ｃ２）Ｐｎｒｍ（Ｃ４｜Ｃ２Ｃ３）    （１２）
【０１０６】
この例では、符号帳からコードＣ３、Ｃ４の感情表出状態および平静状態の各単独出現確率を求め、コードＣ２の次にコードＣ３が感情表出状態および平静状態で出現する条件付確率を求め、さらに、コードＣ３が連続するコードＣ１Ｃ２の次に感情表出状態および平静状態で出現し、コードＣ４が連続するコードＣ２Ｃ３の次に感情表出状態および平静状態で出現する条件付確率を求めると以下のようになる。
【０１０７】
Pemo(C3|C1C2)=λemo1Pemo(C3|C1C2)+λemo2Pemo(C3|C2)+λemo3Pemo(C3)    （１３）
Pemo(C4|C2C3)=λemo1Pemo(C4|C2C3)+λemo2Pemo(C4|C3)+λemo3Pemo(C4)    （１４）
Pnrm(C3|C1C2)=λnrm1Pnrm(C3|C1C2)+λnrm2Pnrm(C3|C2)+λnrm3Pemo(C3)    （１５）
Pnrm(C4|C2C3)=λnrm1Pnrm(C4|C2C3)+λnrm2Pnrm(C4|C3)+λnrm3Pnrm(C4)    （１６）
【０１０８】
上記の式（１３）〜（１６）を用いることによって、式（１１）と（１２）とで示される第３フレームまでの感情表出状態尤度ＰＳｅｍｏと平静状態尤度をＰＳｎｒｍが求まる。ここで、条件付出願確率Ｐｅｍｏ（Ｃ３｜Ｃ１Ｃ２）およびＰｎｒｍ（Ｃ３｜Ｃ１Ｃ２）は、フレーム番号ｉ＋２以降で計算できる。
【０１０９】
以上の説明は、第４フレームｉ＋３までの計算についてであったが、フレーム数ＦＳの音声小段落Ｓについても同様に適用できる。例えば、フレーム数ＦＳの音声小段落Ｓのそれぞれのフレームから得られたコードがＣ１、Ｃ２、…、ＣＦＡのとき、この音声小段落Ｓが感情表出状態になる尤度ＰＡｅｍｏと平静状態になる尤度ＰＡｎｒｍを以下の式（１７）および式（１８）に示すように計算する。
【０１１０】
【数６】
2005354519.tif 000008
【０１１１】
上記のように算出した尤度が、ＰＡｅｍｏ＞ＰＡｎｒｍ、であれば、その音声小段落Ｓの発話状態は、感情表出状態であると判定する。逆に、ＰＡｅｍｏ≦ＰＡｎｒｍであれば、実質的に平静状態と判定されることになる。同様に、ＰＡｅｍｏ／ＰＡｎｒｍ＞１、であることを感情表出状態と判定するための条件とするのでもよい。また、正の重み係数Ｗに対しＷＬＰＡｅｍｏ／ＰＡｎｒｍ、を満足することを条件とすることにより、あるいは
ＲＥ＝（ｌｏｇＰＡｅｍｏ−ｌｏｇＰＡｎｒｍ）／Ｌ＞Ｗ      （１９）
を満足することを条件とすることにより、小段落のフレーム数Ｌに応じて重み付けの影響を増減するようにしてもよい。ここでＬは例えばＬ＝ＦＡ−２としてもよい。
【０１１２】
「笑い」、「怒り」、「悲しみ」の各感情表出状態判定方法においても、用いる音声特徴量については前述の方法の場合と同様であり、音声特徴量の組としては例えばパラメータ基本周波数、パワー、動的特徴量の時間変化特性の少なくとも１つ以上及び／又はこれらのフレーム間差分の少なくとも１つ以上を含むことが好ましい。出現確率も単独出現確率又はこれと条件付出現確率の組合せでもよく、更にこの組合せを用いる場合は、条件付出現確率の計算に対し線形補間法を用いることが好ましい。またこの感情表出状態判定方法においても、音声小段落又はこれよりも長い適当な区間ごとに、あるいは全体の音声信号の各音声特徴量の平均値で各音声特徴量を規格化し、あるいは標準化してフレームごとの音声特徴量の組を形成し、ベクトル量子化以降の処理を行うことが好ましい。
【０１１３】
感情表出状態判定方法としては、例えば、音声小段落に対する「笑い」、「怒り」、「悲しみ」についての尤度ＰＡｌａｕ、ＰＡａｎｇ、ＰＡｓａｄを式（１７）と同様に次式
【０１１４】
【数７】
2005354519.tif 000009
【０１１５】
により計算し、これにより例えば「笑い」であるか、「平静」であるかを判定する場合には、前述と同様に笑いの表出尤度ＰＡｌａｕと生成状態尤度ＰＡｎｒｍから条件
（ａ１）ＰＡｌａｕ＞ＰＡｎｒｍ、
（ｂ１）ＷＬＰＡｌａｕ＞ＰＡｎｒｍ、
（ｃ１）ＲＬ＝（ｌｏｇＰＡｌａｕ−ｌｏｇＰＡｎｒｍ）／Ｌ＞Ｗ、
のいずれか予め決めた条件を使って、その条件を満足していれば笑いの表出状態であると判定する。「怒り」であるか「平静」であるかの判定は式（２１）を使って尤度ＰＡａｎｇを計算し、
【０１１６】
（ａ２）ＰＡａｎｇ＞ＰＡｎｒｍ、
（ｂ２）ＷＬＰＡａｎｇ＞ＰＡｎｒｍ、
（ｃ２）ＲＡ＝（ｌｏｇＰＡａｎｇ−ｌｏｇＰＡｎｒｍ）／Ｌ＞Ｗ、
のいずれか予め決めた条件を使って、その条件を満足していれば怒りの表出状態と判定する。同様に、「悲しみ」であるか「平静」であるかの判定は式（２２）を使って尤度ＰＡｓａｄを計算し、
【０１１７】
（ａ３）ＰＡｓａｄ＞ＰＡｎｒｍ、
（ｂ３）ＷＬＰＡｓａｄ＞ＰＡｎｒｍ、
（ｃ３）ＲＳ＝（ｌｏｇＰＡｓａｄ−ｌｏｇＰＡｎｒｍ）／Ｌ＞Ｗ、
のいずれか予め決めた条件を使って、その条件を満足するか判定すればよい。判定条件はこれ以外にもいろいろなものが容易に考えられる。
【０１１８】
感情表出が「笑い」であるか、「怒り」であるか、「悲しみ」であるかを判定する場合は、例えば上記条件式（ｃ１）、（ｃ２）、（ｃ３）による笑い尤度比ＲＬ、怒り尤度比ＲＡ、悲しみ尤度比ＲＳを計算し、これらの尤度比を比較することにより決めることができる。
【０１１９】
この発明の原理によれば、前述のように、音声特徴量として基本周波数、パワー、動的特徴量の時間変化特性の少なくともいずれか1つ以上及び／又はこれらのフレーム間差分の少なくともいずれか１つ以上を使用すればよいが、これらの音声特徴量のうち、動的特徴量の時間変化特性を含むことが好ましい。更に、音声特徴量として少なくとも基本周波数、パワー、動的特徴量の時間変化特性又はそれらのフレーム間差分を使用することにより感情検出の精度を高めることができる。音声特徴量として少なくとも特に基本周波数、パワー、動的特徴量の時間変化特性は実用的な特徴量として好ましい。
【０１２０】
以上、この発明による感情表出検出方法で使用される符号帳の作成と、その符号帳を使った感情表出の検出について詳細に説明した。以下には、この発明を使って所望の感情表出、ここでは笑い、怒り、悲しみの所望の音声区間を抽出する実施形態を示す。
【０１２１】
第１実施形態
この実施形態は３つの感情、「笑い」、「怒り」、「悲しみ」を区別せず、何れの感情表出も「感情」として検出する場合である。
【０１２２】
学習音声中の「笑い」の表出区間、「怒り」の表出区間、「悲しみ」の表出区間を区別せず、全ての「感情」のラベリングをし、その他の区間を全て「平静」のラベリングをして図１１に示すように１つの符号帳を作成しておく。
【０１２３】
図１２は第１実施形態による感情表出区間の検出処理手順を示す。
ステップＳ１：入力コンテンツの音声データから所定の判定区間Ｓを取り込む。判定区間は前述の音声小段落であってもよいし、あるいは予め決めた少なくとも１フレームを含む一定長の音声区間であってもよい。
【０１２４】
ステップＳ２：取り込んだ判定区間を分析してフレーム毎の音声特徴量ベクトルを求め、図１１の符号帳を参照して例えば式（１７）、（１８）又は式（１９）、（２０）により平静状態尤度ＰＡｎｒｍと感情表出状態尤度ＰＡｅｍｏを計算する。
ステップＳ３：残りの判定区間があるか判定し、あればステップＳ１に戻り、次の判定区間について同様の処理を行う。
【０１２５】
ステップＳ４：全ての判定区間について感情表出状態尤度ＰＡｅｍｏと平静状態尤度ＰＡｎｒｍが例えば図１３に概念的に示すように求まると、ＷＬＰＡｅｍｏ＞ＰＡｎｒｍを満たす区間Ｓ’を検出し、その各検出区間Ｓ’の位置（例えば検出区間の開始及び終了フレーム番号、又はコンテンツの最初から検出区間の開始時刻及び終了時刻）を記憶手段に記憶する。Ｗは予め決めた正の定数であり、Ｌは各区間Ｓ毎のフレーム数である。尚、図１３には、ＷＬＰＡｅｍｏ，ＰＡｎｒｍを連続曲線で示しているが、実際には判定区間Ｓごとの不連続な曲線である。
【０１２６】
ステップＳ５：ステップＳ４で検出した区間Ｓ’の位置に対応する区間をコンテンツから感情表出区間として抽出する。
【０１２７】
第２実施形態
この実施形態は、上記第１実施形態において検出した感情表出区間Ｓ’を、図１２のステップＳ５において更に感情表出が「笑い」、「怒り」、「悲しみ」のどれであるかを判定する。この第２実施形態は第１実施形態で使用する図１１の感情表出検出用の符号帳に加えて次の符号帳を予め作成しておく。
【０１２８】
上記「感情」のラベルがつけられた学習音声区間中の笑いの表出区間に「笑い」をラベリングし、怒りの表出区間に「怒り」をラベリングし、悲しみの表出区間に「悲しみ」をラベリングし、これら「笑い」、「怒り」、「悲しみ」がラベリングされた音声区間に基づいて図１４に示す符号帳を作成する。
【０１２９】
図１５は、第２実施形態による「笑い」、「怒り」、「悲しみ」の感情表出区間を検出する処理手順を示す。ステップＳ１〜Ｓ４は図１１の符号帳を使って図１２に示した第１実施形態による感情表出区間の検出処理と同じであり、これにより、「笑い」、「怒り」、「悲しみ」のいずれかを含む感情表出区間Ｓ’が検出される。以降のステップＳ５〜Ｓ８により、感情表出区間Ｓ’の「笑い」、「怒り」、「悲しみ」のどれであるかを判別する。
【０１３０】
ステップＳ５：ステップＳ４で検出された感情表出区間Ｓ’内の一連の音声特徴量ベクトルを得る。これはステップＳ１〜Ｓ３において全音声区間についての音声特徴量ベクトルが既に求められているので、その中から区間Ｓ’に対応する一連の音声特徴量ベクトルを取り出せばよい。
【０１３１】
ステップＳ６：図１４の符号帳を参照して検出感情表出区間Ｓ’の笑い表出尤度ＰＡｌａｕ、怒りの表出尤度ＰＡａｎｇ、悲しみ表出尤度ＰＡｓａｄをそれぞれ計算する。
ステップＳ７：これら尤度ＰＡｌａｕ、ＰＡａｎｇ、ＰＡｓａｄのうち、最大の尤度を判定し、その最大尤度の感情を表すマーク、例えば笑いはＬａｕ、怒りはＡｎｇ、悲しみはＳａｄのマークをその検出区間Ｓ’の位置に対応して記憶する。
【０１３２】
ステップＳ８：未処理の感情表出検出区間Ｓ’が残っているか判定し、残っていればステップＳ５に戻り、次の感情表出検出区間Ｓ’について同様の処理を実行する。
ステップＳ９：全ての感情表出検出区間Ｓ’について最大尤度の判定が終了していれば、全ての感情表出検出区間Ｓ’の中からマークＬａｕ、Ａｎｇ、Ｓａｄのうち、例えば利用者により指定された感情のマークの検出区間に対応する区間をコンテンツから抽出する。
【０１３３】
このように、第２実施形態に拠れば、利用者が１種類又は複数種類の感情表出を指定すれば、その指定された感情表出に対応する部分をコンテンツから抽出することができる。
【０１３４】
第３実施形態
上述の第２実施形態では音声データからまず感情表出区間を検出し、次に各感情表出区間が「笑い」、「怒り」、「悲しみ」のいずれかであるかを判定する場合を示したが、この第３実施形態では、音声データから直接「笑い」、「怒り」、「悲しみ」の任意の感情表出を検出する。符号帳は図１４に示したものを使用する。図１６は第３実施形態による感情表出区間の検出処理手順を示す。
【０１３５】
ステップＳ１：判定区間Ｓを入力音声コンテンツから取り込む。
ステップＳ２：判定区間Ｓの一連のフレーム音声特徴量ベクトルを求め、図１４の符号帳を参照して笑い表出尤度ＰＡｌａｕ、怒り表出尤度ＰＡａｎｇ、悲しみ表出尤度ＰＡｓａｄをそれぞれ計算する。
【０１３６】
ステップＳ３：これら尤度ＰＡｌａｕ、ＰＡａｎｇ、ＰＡｓａｄのうち、最大の尤度を判定し、その最大尤度の感情を表すマーク例えば笑いはＬａｕ、怒りはＡｎｇ、悲しみはＳａｄのマークをその判定区間Ｓの位置に対応して記憶する。
【０１３７】
ステップＳ４：未処理の判定区間Ｓが残っているか判定し、残っていればステップＳ１に戻り、次の判定区間Ｓについて同様の処理を実行する。
ステップＳ５：全ての判定区間Ｓについて最大尤度の判定が終了していれば、全ての判定区間Ｓの中からマークＬａｕ、Ａｎｇ、Ｓａｄのうち、例えば利用者により指定されたマークの検出区間に対応する区間をコンテンツから抽出する。
【０１３８】
このように、第３実施形態によっても、利用者が１種類又は複数種類の感情表出を指定すれば、その指定された感情表出に対応する部分をコンテンツから抽出することができる。この第３実施形態の場合は、第１実施形態における符号帳は使用しないので、平静状態尤度を使用しないことになる。即ち、この発明による感情表出の検出には、平静状態尤度の計算を必ずしも必要としない。
【０１３９】
第４実施形態
この実施形態も、例えば「笑い」、「怒り」、「悲しみ」の３種類の感情表出の任意のもの（１つ又は複数）を抽出することを可能にするものであり、予め次の３つの符号帳を作成しておく（図９の例と同様である）。
【０１４０】
（１）学習音声中の全ての笑いの表出区間に「笑い」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして笑い検出用符号帳を作成する。
（２）学習音声中の全ての怒りの表出区間に「怒り」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして怒り検出用符号帳を作成する。
（３）学習音声中の全ての悲しみの表出区間に「悲しみ」のラベリングをし、全ての平静状態区間に「平静」のラベリングをして悲しみ検出用符号帳を作成する。
【０１４１】
図１７は第４実施形態の処理手順を示す。この実施形態においても、３種類の感情表出の任意の１つ又は複数を検出できる。
ステップＳ１：コンテンツの音声データから判定区間Ｓを取り込む。判定区間Ｓは前述のように音声小段落でもよいし、予め決めた一定長の区間でもよい。
【０１４２】
ステップＳ２：判定区間Ｓを分析してフレーム毎の音声特徴量を求め、上記笑い検出用符号帳を参照して笑い表出尤度ＰＡｌａｕとそれに対する平静状態尤度ＰＡｎｒｍを求め、笑い尤度比
ＲＬ＝（ｌｏｇＰＡｌａｕ−ｌｏｇＰＡｎｒｍ）／Ｌ
を計算する。上記怒り検出用符号帳を参照して怒り表出尤度ＰＡａｎｇとそれに対する平静状態尤度ＰＡｎｒｍを求め、怒り尤度比
ＲＡ＝（ｌｏｇＰＡａｎｇ−ｌｏｇＰＡｎｒｍ）／Ｌ
を計算する。更に、上記悲しみ検出用符号帳を参照して悲しみ表出尤度ＰＡｓａｄとそれに対する平常状態尤度ＰＡｎｒｍを求め、悲しみ尤度比
ＲＳ＝（ｌｏｇＰＡｓａｄ−ｌｏｇＰＡｎｒｍ）／Ｌ
を計算する。計算したこれら尤度比ＲＬ，ＲＡ，ＲＳを記憶する。
【０１４３】
ステップＳ３：残りの判定区間Ｓがあるか判定し、あればステップＳ１に戻り次の判定区間Ｓについて同様の処理を実行する。音声データの全区間について終了していれば、利用者により指定された「笑い」、「怒り」、「悲しみ」の任意の１つ又は複数について次のステップＳ４，Ｓ５，Ｓ６のうち、指定された感情に対応するものを実行する。
【０１４４】
ステップＳ４，Ｓ５，Ｓ６：ステップＳ１，Ｓ２，Ｓ３の処理により例えば図１８に概念的に示すように、縦軸を尤度比Ｒとして笑い表出尤度比ＲＬ、怒り表出尤度比ＲＡ、悲しみ表出尤度比ＲＳの曲線がそれぞれ得られており、これらと予め決めた閾値Ｒｔｈを比較し、Ｒｔｈより大となる区間を検出し、それらの位置と感情マークＬａｕ，Ａｎｇ，Ｓａｄを対応させて記憶する。
【０１４５】
ステップＳ７：「笑い」、「怒り」、「悲しみ」のうち、利用者により指定されたものの検出区間をコンテンツから抽出する。
このように、この第３実施形態においても「笑い」、「怒り」、「悲しみ」の任意の感情表出を選択してコンテンツから抽出することが可能である。
【０１４６】
第５実施形態
この実施形態は第４実施形態の変形例である。第４実施形態では感情表出区間を検出するために各感情表出状態尤度比を一定閾値Ｒｔｈと比較したが、ここでは、各感情表出状態尤度を共通の平静状態尤度と比較して各感情表出区間を検出する。そのために、学習音声中の笑い表出区間、怒り表出区間、悲しみ表出区間にそれぞれ「笑い」、「怒り」、「悲しみ」をラベリングし、音声が平静となる区間に「平静」をそれぞれラベリングし、図１９に示す符号帳を作成しておく。図１９に示すように、符号帳には笑い、怒り、悲しみ、平静の各感情表出における符号の単独出現確率（ｕｎｉｇｒａｍ）、条件付出現確率（ｂｉｇｒａｍ、ｔｒｉｇｒａｍ）が学習音声から求められ、書き込まれている。
【０１４７】
図２０は第５実施形態の処理手順を示す。
ステップＳ１：コンテンツの音声データから判定区間Ｓを取り込む。
ステップＳ２：判定区間Ｓを分析してフレーム毎の音声特徴量を求め、図１９の符号帳を参照して笑い表出尤度ＰＡｌａｕ、怒り表出尤度ＰＡａｎｇ、悲しみ表出尤度ＰＡｓａｄ、平静状態尤度ＰＡｎｒｍを計算し、記憶する。
【０１４８】
ステップＳ３：残りの判定区間があるか判定し、あればステップＳ１に戻り、次の判定区間について同様の処理を実行する。残りの判定区間がなければ、「笑い」、「怒り」、「悲しみ」のうち利用者により指定された１つ又は複数についてステップＳ４、Ｓ５，Ｓ６の対応するものを実行する。
【０１４９】
ステップＳ４，Ｓ５，Ｓ６：ステップＳ１，Ｓ２，Ｓ３の処理が終了した段階で例えば図２１に概念的に示すように、笑い表出尤度ＰＡｌａｕ、怒り表出尤度ＰＡａｎｇ、悲しみ表出尤度ＰＡｓａｄ、平常状態尤度ＰＡｎｒｍの曲線が得られている。ただし、図２１ではフレーム数ＦＡの区間の各感情表出尤度ＰＡｌａｕ、ＰＡａｎｇ、ＰＡｓａｄに重みＷＬを乗算した曲線を示している。これら尤度曲線ＷＬＰＡｌａｕ、ＷＬＰＡａｎｇ、ＷＬＰＡｓａｄと曲線ＰＡｎｒｍと比較し、ＷＬＰＡｌａｕ＞ＰＡｎｒｍ、ＷＬＰＡａｎｇ＞ＰＡｎｒｍ、ＷＬＰＡｓａｄ＞ＰＡｎｒｍを満足し、かつＰＡｌａｕ、ＰＡａｎｇ、ＰＡｓａｄのうち最大のものの区間をそれぞれ検出し、それぞれ検出区間の位置とマークを対応させて記憶する。
ステップＳ７：「笑い」、「怒り」、「悲しみ」のうち、利用者に指定された感情の検出区間に対応する区間を音声コンテンツから抽出する。
【０１５０】
第６実施形態
この実施形態では、予め学習音声中の「笑い」、「怒り」、「悲しみ」の音声区間にそれぞれ対応するラベルをつけ、「笑い」の音声区間と「怒り」の音声区間の全フレームの音声特徴量スペクトルから笑い表出についての各量子化音声特徴量ベクトルの各出現確率と、怒り表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２２に示す符号帳ＣＢ−１を作成し、同様に「怒り」の音声区間と「悲しみ」の音声区間の全フレームの音声特徴量ベクトルから怒り表出についての各量子化音声特徴量ベクトルの各出現確率と、悲しみ表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２２に示す符号帳ＣＢ−２を作成し、「悲しみ」の音声区間と「笑い」の音声区間の全フレームの音声特徴量ベクトルから悲しみ表出についての各量子化音声特徴量ベクトルの各出現確率と、笑い表出についての量子化音声特徴量ベクトルの各出現確率を求め、図２２に示す符号帳ＣＢ−３を作成しておく。
【０１５１】
図２３は第６実施形態による感情表出検出処理手順を示す。
ステップＳ１〜Ｓ４は図１２の各感情を区別しない場合の処理手順と同様であり、図１１の符号帳を使って全音声区間について得た感情表出状態尤度ＷＬＰＡｅｍｏと平静状態尤度ＰＡｎｒｍの曲線からＷＬＰＡｅｍｏ＞ＰＡｎｒｍとなる区間を感情表出区間Ｓ’として全て検出し、一時記憶する。
【０１５２】
ステップＳ５：感情表出区間Ｓ’を取り込む。
ステップＳ６：感情表出区間Ｓ’の一連の音声特徴量スペクトルから図２２の符号帳ＣＢ−１を参照して笑い表出尤度ＰＡｌａｕ１と怒り表出尤度ＰＡａｎｇ２を求め、符号帳ＣＢ−２を参照して怒り表出尤度ＰＡａｎｇ１と悲しみ表出尤度ＰＡｓａｄ２を求め、符号帳ＣＢ−３を参照して悲しみ表出尤度ＰＡｓａｄ１と笑い表出尤度ＰＡｌａｕ３を求める。
ステップＳ７：上記尤度から笑い、怒り、悲しみについてそれぞれ２つの尤度を以下のように決める。
【０１５３】
笑い尤度：ＰLAU1＝ＰAlau1／ＰAang2；  ＰLAU2＝ＰAlau2／ＰAsad1
怒り尤度：ＰANG1＝ＰAang1／ＰAsad2；  ＰANG2＝ＰAang2／ＰAlau1
悲しみ尤度：ＰSAD1＝ＰAsad1／ＰAlau2；  ＰSAD2＝ＰAsad2／ＰAang1
【０１５４】
ステップＳ８：笑い度、怒り度、悲しみ度を以下のように決める。
笑い度：ＬＡＵ＝（ＰＬＡＵ１＋ＰＬＡＵ２）／２
怒り度：ＡＮＧ＝（ＰＡＮＧ１＋ＰＡＮＧ２）／２
悲しみ度：ＳＡＤ＝（ＰＳＡＤ１＋ＰＳＡＤ２）／２
【０１５５】
ステップＳ９：図２４に示すように、
ＬＡＵ＞ＡＮＧかつＬＡＵ＞ＳＡＤの区間を検出し、Ｌａｕのマークを付ける。
ＡＮＧ＞ＳＡＤかつＡＮＧ＞ＬＡＵの区間を検出し、Ａｎｇのマークを付ける。
ＳＡＤ＞ＬＡＵかつＳＡＤ＞ＡＮＧの区間を検出し、Ｓａｄのマークを付ける。
【０１５６】
ステップＳ１０：全ての検出区間Ｓ’について処理が終了したか判定し、終了してなければステップＳ５に戻って次の感情表出検出区間Ｓ’についてステップＳ６〜Ｓ９で同様の処理を実行する。
ステップＳ１１：全ての検出区間Ｓ’について終了していれば、利用者により指定された感情のマークの区間を音声コンテンツから抽出する。あるいはユーザが希望する指定の時間長で要約を視聴したい、笑っているところだけを見たい、などの要求を満足する閾値Ｒｔｈ以上の区間を抽出してもよい（図２２の破線参照）。
【０１５７】
上述の第１から第６実施形態における各感情表出状態尤度ＰＡｌａｕ、ＰＡｎｇ、ＰＡｓａｄはいずれも前記式（１７）または（１９）のいずれを使用して計算してもよい。
【０１５８】
以上説明したように、本発明の実施の形態に係る撮像装置および撮像プログラムは、静止画像情報を蓄積した記憶媒体から、強調状態と判定したときの音声信号に対応する特定の静止画像情報を抽出するため、利用者が撮像した多数の画像のうち関心ある画像を即座に検索することができる。
【０１５９】
また、静止画像情報を蓄積した記憶媒体から、発話者の感情が特定の感情であったときの音声信号に対応する特定の静止画像情報を抽出するため、利用者が撮像した多数の画像のうち関心ある画像を即座に検索することができる。
また、静止画像情報を時系列順に連続させて蓄積し、特定の静止画像情報を含む所定期間内の一連の静止画像情報を抽出するため、利用者の関心ある一連の画像を即座に検索することができる。
【０１６０】
また、入力音声の音声特徴量の組を量子化し、符号帳中の対応する音声特徴量ベクトルが感情表出状態で出現する確率を符号帳から求め、この出現確率からその感情表出か否かを判定しているため、話者の声質に依存することなく話者の感情を特定することができ、撮像した多数の画像のうち関心ある画像を即座に検索することができる。
【０１６１】
また、本発明の実施の形態では、音声処理装置が上記のＳ３１０〜Ｓ３４０の各ステップでの処理を行う音声処理動作について説明したが、これらのステップＳ３１０〜Ｓ３４０を含む音声処理動作を実行させるための音声処理プログラムがインストールされた所定のコンピュータを用いて実施することも可能である。
【産業上の利用可能性】
【０１６２】
本発明に係る撮像装置および撮像プログラムは、利用者が撮像した多数の画像のうち関心ある画像を即座に検索することができるという効果が有し、デジタルカメラ、パソコン、携帯電話、またはその他の端末などの用途にも利用可能である。
【図面の簡単な説明】
【０１６３】
【図１】本発明の実施の形態に係る撮像装置の構成を示すブロック図。
【図２】本発明の実施の形態に係る撮像装置のハードウエア構成を示す概略図。
【図３】本発明の実施の形態に係る感情推測手段の構成を示すブロック図。
【図４】本発明の実施の形態に係る撮像装置が画像情報を蓄積、抽出する動作の流れを示すフローチャート。
【図５】本発明の実施の形態に係る感情推測手段１３０の動作を説明するためのフローチャート。
【図６】ステップＳ３３０での処理の詳細を説明するためのフローチャート。
【図７】音声小段落、音声段落等を説明するための概念図。
【図８】ステップＳ３１０での処理の詳細を説明するためのフローチャート。
【図９】符号帳の記録例を示す図。
【図１０】音声データの処理を説明するための模式図。
【図１１】第１実施形態に使用する符号帳の例を示す図。
【図１２】第１実施形態の処理手順を示すフローチャート。
【図１３】尤度の比較による感情表出区間の検出を説明するための概念図。
【図１４】第１実施形態で使用される符号帳の例を示す図。
【図１５】第２実施形態の処理手順を示すフローチャート。
【図１６】第３実施形態の処理手順を示すフローチャート。
【図１７】第４実施形態の処理手順を示すフローチャート。
【図１８】尤度比に基づく感情表出区間の検出を説明するための概念図。
【図１９】第４実施形態で使用される符号帳の例を示す図。
【図２０】第５実施形態の処理手順を示すフローチャート。
【図２１】尤度比較に基づく感情表出区間の検出を説明するための概念図。
【図２２】第６実施形態で使用される符号帳の例を示す図。
【図２３】第６実施形態の処理手順を示すフローチャート。
【図２４】笑い度、怒り度、悲しみなどの比較による感情表出を説明するための概念図。
【符号の説明】
【０１６４】
１１  画像情報蓄積手段
１２  音声信号受信手段
１３  強調状態判定手段
１４  画像抽出手段
１５  画像提示手段
１００  撮像装置
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  ＥＥＰＲＯＭ
１０５  メモリカード
１０６  インタフェース部
１０７  撮像手段
１０８  ディスプレイ
１３０  感情推測手段
１３１  記憶手段
１３２  音声特徴量抽出手段
１３３  感情表出尤度算出手段
１３４  平静状態尤度算出手段
１３５  感情表出判定手段
【図１】
2005354519.tif 000010
【図２】
2005354519.tif 000011
【図３】
2005354519.tif 000012
【図４】
2005354519.tif 000013
【図５】
2005354519.tif 000014
【図６】
2005354519.tif 000015
【図７】
2005354519.tif 000016
【図８】
2005354519.tif 000017
【図９】
2005354519.tif 000018
【図１０】
2005354519.tif 000019
【図１１】
2005354519.tif 000020
【図１２】
2005354519.tif 000021
【図１３】
2005354519.tif 000022
【図１４】
2005354519.tif 000023
【図１５】
2005354519.tif 000024
【図１６】
2005354519.tif 000025
【図１７】
2005354519.tif 000026
【図１８】
2005354519.tif 000027
【図１９】
2005354519.tif 000028
【図２０】
2005354519.tif 000029
【図２１】
2005354519.tif 000030
【図２２】
2005354519.tif 000031
【図２３】
2005354519.tif 000032
【図２４】
2005354519.tif 000033