(57)【要約】    【課題】      音声から話者の感情を簡単かつ高精度に認識すること。    【解決手段】  韻律的特徴量抽出部１０２は、入力音声を音響分析して韻律的特徴量を算出し、時間パターン作成部１０７は、その韻律的特徴量の時間パターンを作成する。話者別単語韻律モデル記憶部１０８は予め話者ごと、単語ごとに登録されている韻律的特徴量の時間パターンの統計量である話者別単語韻律モデルを記憶している。感情認識部１０９は、話者別単語韻律モデルと入力音声の韻律的特徴量時間パターンとを照合して、話者の感情が平常状態と異なるか否かを判定する。そして、韻律モデル更新部１１０は、入力音声の韻律的特徴量時間パターンによって話者別単語韻律モデルを更新する。  【選択図】      図１
2005283647.tif 000002
【特許請求の範囲】
【請求項１】
入力音声から単語を認識する音声認識手段と、
前記入力音声の単語毎の韻律的特徴量の時間パターンを作成する時間パターン作成手段と、
前記時間パターンに基づいて感情を認識する感情認識手段と、
を有することを特徴とする感情認識装置。
【請求項２】
話者が過去に発した音声の韻律的特徴量時間パターンの統計量を韻律モデルとして記憶する記憶手段、をさらに有し、
前記感情認識手段は、
前記時間パターンと、認識された単語に対応する前記韻律モデルとを照合することにより、話者の感情を認識する、
ことを特徴とする請求項１記載の感情認識装置。
【請求項３】
前記感情認識手段は、
前記時間パターンと前記韻律モデルとを照合してその間の尤度を求め、その尤度が所定の閾値を超えた場合に、話者の感情が平常状態と異なると認識する、
ことを特徴とする請求項２記載の感情認識装置。
【請求項４】
前記感情認識手段は、
前記時間パターンと前記韻律モデルとを所定のルールと比較することにより話者の感情を認識する、
ことを特徴とする請求項２記載の感情認識装置。
【請求項５】
前記時間パターン作成手段によって作成された前記時間パターンにより前記記憶手段に記憶された前記韻律モデルを更新する更新手段、をさらに有する、
ことを特徴とする請求項３または請求項４記載の感情認識装置。
【請求項６】
前記時間パターン作成手段は、
音声の韻律的特徴量として、基本周波数と音圧の少なくとも一方を用いることを特徴とする請求項１記載の感情認識装置。
【請求項７】
入力音声から話者を認識する話者認識手段、をさらに備え、
前記感情認識手段は、
前記時間パターンと、認識された話者に対応する前記韻律モデルとを照合することにより、話者の感情を認識する、
ことを特徴とする請求項３または請求項４記載の感情認識装置。
【請求項８】
前記感情認識手段によって認識された感情を予め登録された登録者に通知する通知手段、をさらに有する、
ことを特徴とする請求項１記載の感情認識装置。
【請求項９】
前記感情認識手段によって認識された感情に基づいて内容を変えて話者に対し応答する応答手段、をさらに有する、
ことを特徴とする請求項１記載の感情認識装置。
【請求項１０】
入力音声から単語を認識するステップと、
前記入力音声の単語毎の韻律的特徴量の時間パターンを作成するステップと、
前記時間パターンに基づいて感情を認識するステップと、
を有することを特徴とする感情認識方法。
【請求項１１】
入力音声から単語を認識する機能と、
前記入力音声の単語毎の韻律的特徴量の時間パターンを作成する機能と、
前記時間パターンに基づいて感情を認識する機能と、
をコンピュータに実行させることを特徴とする感情認識用のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声から話者の感情を認識する感情認識装置に関する。
【背景技術】
【０００２】
音声入力を用いたインタフェースにおいて、話者の発声した音声から感情を理解することができれば、システムがそれに応じた反応をすることが可能になる。
【０００３】
従来、音声から感情を認識する方法としては、話者の発声した音声から声の高さ（ピッチ）、大きさ（パワー）、長さ（発話速度）などの韻律的特徴を抽出して、その特徴をルールにより分類して感情を認識する方法がある。例えば、「怒り」を表す韻律的特徴としては、非特許文献１に記述されている特徴があげられる。これによれば、単語中の最高パワーが大きく、発話速度が速く、ピッチが高い場合に「怒り」状態であることになる。しかし、声の高さ（ピッチ）や大きさ（パワー）や発話速度といった韻律的特徴には話者差が大きいので、普段から大声で早口で話す声の高い人は、常に怒っていると認識されてしまう（例えば、非特許文献１参照）。
【０００４】
そのため、例えば、特許文献１記載の感情認識装置のように、このような韻律的特徴の話者差を正規化して、正しく感情を認識するものである。この装置では、予め話者ごとに、認識の感情を有していない状態におけるその人の平均的な声の高さや大きさなどの韻律的特徴量の上限値と下限値を求めて記憶しておき、認識する際に話者が発声した音声から話者を認識し、入力された音声全体の声の高さや大きさが、その話者の下限から上限に入っているか、それよりも大きいか、あるいは小さいかによって、韻律的特徴量の大きさを判断している（例えば、特許文献１参照）。
【０００５】
また、この他に、話者照合をする方法として、非特許文献２にあるような発話内容に依存しない方法もある。この場合は、話者は所定の言葉を発声する必要がない（例えば、非特許文献２参照）。
【特許文献１】特開２００１−８３９８４号公報
【非特許文献１】武田昌一、他３名、「日本語音声における怒りを表現する韻律的特徴の解析」、日本音響学会誌、VOL．５８，Ｎｏ．９，２００２，Ｐ５６１−Ｐ５６８
【非特許文献２】長内隆、他１名、「単独発声単語中の母音を用いた話者照合」、日本音響学会講演論文集、１９９０年度春季研究発表会、２−３−８
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来技術においては、話者が発声した単語のイントネーションなどの時間的な特徴量を用いていなかったため、精度良く感情を認識することができなかった。
【０００７】
また、韻律的特徴は、話者ごとに差があるだけでなく、例えば、母音の/a/はパワーが大きく、/i/はパワーが小さくなりやすいため、/a/を多く含む単語はパワーが大きくなり易い一方、イントネーションのはっきりした単語もあればもともと平坦なイントネーションの単語もあるなど、単語ごとにも差がある。そのため、単語の平均的な音の大きさや、高さだけからは、精度良く感情を認識することが困難であった。
【０００８】
例えば、いつも抑揚を大きく「ただいま〜！」と言うのに、ムッとした声で平坦に「ただいま…」と話した場合、平均的な音の大きさや高さでは区別がつかない可能性がある。特許文献１では音声認識結果から得られる発声間隔も用いているが、発声間隔を用いても区別がつかない可能性がある。
【０００９】
このように、従来技術では、時間的に平均してしまえば声の大きさや高さが同じになってしまう、あるいは発声間隔が同じになってしまうような発声に対しては感情を区別することができないという課題を有していた。
【００１０】
また、従来技術では、韻律的特徴量の大きさによって、いろいろな感情に対する確率がどれくらいであるかを予め分析して求めておく必要があった。このような知見を得るには大量のデータを分析する必要があり、実際上困難であった。
【００１１】
本発明はかかる点に鑑みなされたものであり、入力音声から話者の感情を簡単かつ高精度に認識することができる感情認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の感情認識装置は、入力音声から単語を認識する音声認識手段と、前記入力音声の単語毎の韻律的特徴量の時間パターンを作成する時間パターン作成手段と、前記時間パターンに基づいて感情を認識する感情認識手段と、を有する構成を採る。
【００１３】
この構成によれば、入力音声から単語を認識し、入力音声の単語毎の韻律的特徴量の時間パターンに基づいて感情を認識するため、入力音声から話者の感情を簡単かつ高精度に認識することができる。
【００１４】
本発明の感情認識装置は、前記構成において、話者が過去に発した音声の韻律的特徴量時間パターンの統計量を韻律モデルとして記憶する記憶手段、をさらに有し、前記感情認識手段は、前記時間パターンと、認識された単語に対応する前記韻律モデルとを照合することにより、話者の感情を認識する、構成を採る。
【００１５】
この構成によれば、話者が過去に発した音声の韻律的特徴量時間パターンの統計量を韻律モデルとして記憶しておき、入力音声の韻律的特徴量の時間パターンと、認識された単語に対応する韻律モデルとを照合することにより、話者の感情を認識するため、入力音声から話者の感情を簡単かつ高精度に認識することができる。
【００１６】
本発明の感情認識装置は、前記構成において、前記感情認識手段は、前記時間パターンと前記韻律モデルとを照合してその間の尤度を求め、その尤度が所定の閾値を超えた場合に、話者の感情が平常状態と異なると認識する、構成を採る。
【００１７】
この構成によれば、入力音声の韻律的特徴量時間パターンと前記韻律モデルとの間の尤度を求め、求めた尤度が所定の閾値を超えたときに、話者の感情が平常状態と異なると認識するため、専門的知識の必要なルールも必要なく簡単に話者が発声した音声から話者の感情を認識することができる。
【００１８】
本発明の感情認識装置は、前記構成において、前記感情認識手段は、前記時間パターンと前記韻律モデルとを所定のルールと比較することにより話者の感情を認識する、構成を採る。
【００１９】
この構成によれば、入力音声の韻律的特徴量時間パターンと前記韻律モデルとの間の尤度が予め定めたルールにより話者の感情を認識するため、話者が発声した音声から話者のより複雑な感情を認識することができる。
【００２０】
本発明の感情認識装置は、前記構成において、前記時間パターン作成手段によって作成された前記時間パターンにより前記記憶手段に記憶された前記韻律モデルを更新する更新手段、をさらに有する、構成を採る。
【００２１】
この構成によれば、新たに作成された入力音声の韻律的特徴量の時間パターンにより韻律モデルが更新されるため、常に最新の韻律モデルに更新することができる。
【００２２】
本発明の感情認識装置は、前記構成において、前記時間パターン作成手段は、音声の韻律的特徴量として、基本周波数と音圧の少なくとも一方を用いる、構成を採る。
【００２３】
この構成によれば、前記時間パターン作成手段は、音声の韻律的特徴量として、基本周波数と音圧の少なくとも１つを用いるため、話者の感情を確実に認識することができる。
【００２４】
本発明の感情認識装置は、前記構成において、入力音声から話者を認識する話者認識手段、をさらに備え、前記感情認識手段は、前記時間パターンと、認識された話者に対応する前記韻律モデルとを照合することにより、話者の感情を認識する、構成を採る。
【００２５】
この構成によれば、話者認識結果によって認識された話者に対応する話者別単語韻律モデルと照合を行うため、話者に応じて話者の感情を確実に認識することができる。
【００２６】
本発明の感情認識装置は、前記構成において、前記感情認識手段によって認識された感情を予め登録された登録者に通知する通知手段、をさらに有する、構成を採る。
【００２７】
この構成によれば、音声から認識された感情は予め登録された登録者に通知されるため、その登録者が離れた場所にいても、入力音声から簡単かつ高精度に認識した話者の感情を知らせることができる。
【００２８】
本発明の感情認識装置は、前記構成において、前記感情認識手段によって認識された感情に基づいて内容を変えて話者に対し応答する応答手段、をさらに有する、構成を採る。
【００２９】
この構成によれば、音声から認識された感情に基づいて内容を変えて応答するため、話者の音声に基づいて自動的に内容を変えて応答することができる。
【００３０】
本発明の感情認識方法は、入力音声から単語を認識するステップと、前記入力音声の単語毎の韻律的特徴量の時間パターンを作成するステップと、前記時間パターンに基づいて感情を認識するステップと、を有するようにした。
【００３１】
この方法によれば、入力音声から単語を認識し、入力音声の単語毎の韻律的特徴量の時間パターンに基づいて感情を認識するため、入力音声から話者の感情を簡単かつ高精度に認識することができる。
【００３２】
本発明の感情認識用のプログラムは、入力音声から単語を認識する機能と、前記入力音声の単語毎の韻律的特徴量の時間パターンを作成する機能と、前記時間パターンに基づいて感情を認識する機能と、をコンピュータに実行させるようにした。
【００３３】
このプログラムによれば、入力音声から単語を認識し、入力音声の単語毎の韻律的特徴量の時間パターンに基づいて感情を認識するため、入力音声から話者の感情を簡単かつ高精度に認識することができる。
【発明の効果】
【００３４】
以上説明したように、本発明によれば、入力音声から話者の感情を簡単かつ高精度に認識することができる。
【発明を実施するための最良の形態】
【００３５】
本発明の骨子は、入力音声の韻律的特徴量の時間パターンに基づいて感情を認識することである。
【００３６】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３７】
（実施の形態１）
図１は、本発明の実施の形態１に係る感情認識装置の構成を示すブロック図である。
【００３８】
図１において、この感情認識装置１００は、未知の入力音声を音響分析し話者認識及び音声認識に必要な特徴パラメータを算出する音声特徴量抽出部１０１、感情認識のために必要な韻律的特徴量を算出する韻律的特徴量抽出部１０２、話者を認識するために必要な話者の声の特徴を予め登録してある話者認識用参照データ記憶部１０３、入力音声を発したのが誰であるかを認識する話者認識部１０４、音声認識の対象語彙辞書を記憶した認識語彙辞書記憶部１０５、入力音声の言葉を認識する音声認識部１０６、韻律的特徴量抽出部１０２から抽出された韻律的特徴量の時間パターンを作成する時間パターン作成部１０７、予め話者別で且つ単語ごとに登録されている韻律的特徴量の時間パターンを表す話者別単語韻律モデルを記憶しておく話者別単語韻律モデル記憶部１０８、入力音声の韻律的特徴量時間パターンと話者別単語韻律モデルとを照合して、話者の感情が平常状態と異なるか否かを判定する感情認識部１０９、入力音声の韻律的特徴量時間パターンによって話者別単語韻律モデルを更新する韻律モデル更新部１１０を有している。
【００３９】
次いで、上記構成を有する実施の形態１に係る感情認識装置の動作について、図２を参照して説明する。
【００４０】
図２は、実施の形態１に係る感情認識装置１００の動作を示すフローチャートである。
【００４１】
まず、ステップＳ１０１０にて、音声特徴量抽出部１０１が、入力された入力音声を音響分析の時間的単位であるフレーム毎に音響分析し、話者認識及び音声認識に必要な音声特徴パラメータの時系列を算出する。音声認識や話者認識の特徴パラメータとして、例えば、周知のメル周波数ケプストラム係数（ＭＦＣＣ）を用いる。なお、音響分析する際の１フレームは、１０ｍｓとする。
【００４２】
次にステップＳ１０２０にて、韻律的特徴量抽出部１０２が、入力音声をフレームごとに音響分析し、音声の韻律的特徴を表す特徴パラメータの時系列を算出する。韻律的特徴量としては、音の高さである基本周波数（ピッチ周波数）、または音の大きさである音圧（音声パワー）の少なくとも１つ以上を用いるものとする。これにより、音の高さまたは音の大きさの少なくとも１つ以上が韻律的特徴量となるので、その時間パターンを作成した際に、音の高さや大きさの時間変化で表されるイントネーションやアクセントの特徴を捉えることができる。
【００４３】
次にステップＳ１０３０にて、話者認識部１０４が、ステップＳ１０１０で得られた音声特徴量時系列と、話者認識用参照データ記憶部１０３から読み出した話者認識用参照データとを比較して、入力音声を発声したのが誰であるかを認識し、認識できた場合には、認識結果を感情認識部１０９へ出力する。
【００４４】
ここで、話者認識には、予め決まった言葉を発声するテキスト依存型と、自由な言葉を発声しても良いテキスト独立型がある。本実施の形態では、自由な言葉を発声しても良いテキスト独立型の話者認識を行うものとする。話者認識用参照データは予め登録したい話者の声の特徴を登録したものである。ここで、話者に特定の言葉を発声させることなく話者認識を可能とするために、非特許文献２にあるような５母音を登録する方法を用いるようにしても良い。このようにすれば、話者は特定の言葉を発声する必要がなく、話者認識部１０４は、任意の言葉で話者の認識が可能である。
【００４５】
次にステップＳ１０４０にて、音声認識部１０６が、認識語彙辞書記憶部１０５に記憶されている認識語彙辞書を参照して、入力音声がどのような言葉であったかを認識し、認識できた場合には、認識結果を感情認識部１０９へ出力する。
【００４６】
次にステップＳ１０５０にて、時間パターン作成部１０７がフレームごとの韻律的特徴量を時系列に並べた時間パターンを作成して、感情認識部１０９へ出力する。これにより音の高さや大きさの時間変化で表されるイントネーションやアクセントの特徴を捉えることができる。
【００４７】
つまり、話者の感情状態により、イントネーションやアクセントは変化するが、イントネーションやアクセントは話者および単語に依存するものである。そのため、予め話者が過去にその言葉を発声したときの音声の韻律的特徴量の時間パターンの統計量として、例えばその平均を、話者別で且つ単語ごとに話者別単語韻律モデル記憶部１０８に登録しておき、これらと比較することによって入力された音声の韻律的特徴量が平常状態と異なるかどうかを判断することが可能になる。
【００４８】
ここで、話者が過去にその言葉を発声したときの韻律的特徴量時間パターンは、１回の発声から登録するのではなく、数回からそれ以上の発声の平均時間パターンを登録すると良い。このようにすれば、話者の感情がその時々に変化したとしても平均的な、すなわち平常状態の韻律的特徴量時間パターンになる。
【００４９】
次にステップＳ１０６０にて、感情認識部１０９は、認識された話者および単語に対応する話者別単語韻律モデルが、話者別単語韻律モデル記憶部１０８に登録されているか否か判断し、登録されていればステップＳ１０７０、Ｓ１０８０、Ｓ１０９０の処理を行う一方、登録されていなければ、ステップＳ１０７０、Ｓ１０８０の処理を行わず、ステップＳ１０９０へ進む。
【００５０】
つまり、前記ステップＳ１０３０およびＳ１０４０の処理にて認識された話者および単語に対応する話者別単語韻律モデルが話者別単語韻律モデル記憶部１０８に登録されている場合のみ、感情認識部１０９は、まず、ステップＳ１０７０にて、認識された話者の認識された単語に対応する話者別単語韻律モデルを、話者別単語韻律モデル記憶部１０８から取り出す。
【００５１】
次にステップＳ１０８０にて、感情認識部１０９は、ステップＳ１０５０にて作成された入力音声の韻律的特徴量時間パターンと、ステップＳ１０６０にて抽出された話者別単語韻律モデルとの照合を行う。時間パターンの照合には、例えば、動的計画法（ＤＰマッチング）を用いる。距離尺度は、ユークリッド距離、重み付けユークリッド距離などを用いる。ＤＰマッチングにより、話者別単語韻律モデルに対して時間整合をとったときのフレームごとの距離の累積である尤度が求まる。感情認識部１０９は、この尤度と所定の閾値を比較したり、あるいはこの尤度と所定のルールとを比較することにより、感情を認識する。
【００５２】
ここで、これらの感情認識の手順について簡単に説明する。
【００５３】
図３（Ａ）は、認識の話者であるＡさんが例えば「ただいま」と発声した場合における話者別単語韻律モデル１０８ａを示しており、話者別単語韻律モデル１０８ａは、話者別単語韻律モデル記憶部１０８に記憶されるものである。また、同図（Ｂ）は、認識の話者であるＡさんが例えば「ただいま」と発声した場合における入力音声の韻律的特徴量時間パターン１０７ａを示しており、韻律的特徴量時間パターン１０７ａは、時間パターン作成部１０７により作成されるものである。
【００５４】
感情認識部１０９は、入力音声の韻律的特徴量時間パターン１０７ａの時間の長さを、話者別単語韻律モデル１０８ａに合わせる。そして、単位時間、例えば、１フレーム時間である１０ｍｓ毎に、入力音声の韻律的特徴量時間パターン１０７ａと、話者別単語韻律モデル１０８ａとを照合し、波形が離れている場合にはその距離を計算して、入力音声の韻律的特徴量時間パターン１０７ａ全体の尤度を算出する。そして、算出した尤度と、話者の平常状態を示す閾値とを比較し、閾値を超える場合には、平常状態と異なると判断する。
【００５５】
また、この尤度の大きさによって、どれくらい平常状態からかけ離れているかの度合いがわかる。このような方法では、韻律的特徴量と感情との関係付けをルール化する必要が無いため、専門的知識の必要なルールも必要なく簡単に感情を認識することが可能となる。また、感情認識を利用したシステムの多くは、話者の感情がいつもと異なるかどうかだけわかるだけでも十分に有用であるので、このような尤度と所定の閾値との比較による感情認識でも十分である。
【００５６】
また、尤度の大きさによって平常状態と異なるかどうかを認識するのではなく、時間パターンの一定の割合以上のフレームにおいてピッチ周波数およびパワーが高い場合は「怒り」の感情であるなどの予め定められたルールによって、感情を認識する方法もある。
【００５７】
ルールによる感情認識をする場合の手順について説明する。
【００５８】
図４（Ａ）は、認識の話者であるＡさんが例えば「ただいま」と発声した場合における話者別単語韻律モデル１０８ａを示し、図３（Ａ）に示す話者別単語韻律モデル１０８ａと同じである。図４（Ｂ）は、そのＡさんが例えば「ただいま」と発声した場合における入力音声１の韻律的特徴量時間パターン１０７ｂ、同図（Ｃ）は、そのＡさんが例えば「ただいま」と発声した場合における入力音声２の韻律的特徴量時間パターン１０７ｃを示す。
【００５９】
この場合、感情認識部１０９は、入力音声の韻律的特徴量時間パターン１０７ｂ，１０７ｃの時間の長さを、話者別単語韻律モデル１０８ａに合わせる。そして、単位時間、例えば、１０ｍｓ毎に、話者別単語韻律モデル１０８ａと、入力音声の韻律的特徴量時間パターンとを比較し、入力音声全体の音声パワー、ピッチ周波数の高低を算出して、入力音声全体の高低に基づいて、感情認識を行うようにする。
【００６０】
つまり、図４（Ｂ）に示す入力音声２の韻律的特徴量時間パターン１０７ｂの場合、図４（Ａ）に示す話者別単語韻律モデル１０８ａと対応する各フレームにおいて、音声パワーが大きく、かつ、ピッチ周波数が高いので、例えば、「怒り」と感情認識をすることができる。
【００６１】
また、図４（Ｃ）に示す入力音声２の韻律的特徴量時間パターン１０７ｃの場合、図４（Ａ）に示す話者別単語韻律モデル１０８ａと対応する各フレームにおいて、音声パワーが小さく、かつ、ピッチ周波数も低く平坦であるため、例えば、「悲しみ」と感情認識をすることができる。
【００６２】
このように、感情認識部１０９は、話者別単語韻律モデルと入力音声の韻律的特徴量の時間パターンとの照合を行い、予め定められたルールにより話者の感情を認識するようにすれば、より複雑な感情を認識することができる。
【００６３】
そして、ステップＳ１０８０の処理が終了すると、ステップＳ１０９０へ進み、韻律モデル更新部１１０が、入力音声の韻律的特徴量時間パターンを用いて、対応する話者別単語韻律モデルを更新する。
【００６４】
ここで、ステップＳ１０９０における話者別単語韻律モデルの更新の方法には、例えば、次のようのものである。まず、ＤＰマッチングにより、登録されている話者別単語韻律モデルである韻律的特徴量の時間パターンと、入力音声の韻律的特徴量時間パターンとの時間整合を取る。そして、対応するフレームごとに、登録されている話者別単語韻律モデルの韻律的特徴量μと、入力音声の韻律的特徴量ｐとを（Ｎ−１）：１の比率で足し合わせる。すなわち新たな韻律モデルμ’は（式１）のようになる。
【００６５】
μ’＝（（Ｎ−１）μ＋ｐ）／Ｎ・・・（式１）
【００６６】
過去に発声した回数がＮ回に満たないときは、それまでに発声した回数分の１の重みで足し混ぜ合わせる。また、Ｎ回と予め決めるのではなく、これまでに発声が行われた回数ｎを記憶しておき、入力音声から得られた韻律的特徴量時間パターンを１／ｎの重みで足し合わせても良い。
【００６７】
なお、認識された話者および単語に対応する話者別単語韻律モデルが、話者別単語韻律モデル記憶部１０８に登録されていない場合も、ステップＳ１０９０へ進み、韻律モデル更新部１１０が、入力音声の韻律的特徴量時間パターンを用いて、対応する話者別単語韻律モデルを更新する。これは、話者が過去にその言葉を発声したことがなければ、話者別単語韻律モデルは登録されていないからである。
【００６８】
ただし、対応する話者別単語韻律モデルが登録されていない場合であるので、入力音声の韻律的特徴量時間パターンを新たに話者別単語韻律モデルとして登録する。ここで、話者別単語韻律モデルの新規登録は、これまでに発声された回数が予め決めておいた一定の回数を超えたときに初めて登録するようにしても良い。これは、数回以上の発声から単語韻律モデルを求めた方が、より平均的な平常状態を表すモデルになるからである。つまり、このようにすれば、ある話者が同じ言葉を所定回数以上発声した場合の韻律的特徴量時間パターンが話者別単語韻律モデルとして登録されるので、各話者別単語韻律モデルは、話者がいつもしゃべっているときのイントネーションやアクセントなどの癖が反映されたモデルになり、話者の平常状態を確実に登録することができることになる。
【００６９】
このように、実施の形態１によれば、入力音声の韻律的特徴量時間パターンを、過去に話者がその言葉を発したときの韻律的特徴量時間パターンの特徴量である話者別単語韻律モデルと照合して感情認識を行うので、話者の感情を簡単かつ高精度に認識することができる。
【００７０】
特に、実施の形態１では、感情認識部１０９が、発声した話者および単語に依存した韻律的特徴量の時間パターンを、話者認識結果および音声認識結果によって認識された単語に対応する話者別単語韻律モデルと照合するため、話者および単語に応じて話者の感情をより精度高く認識することができる。
【００７１】
また、実施の形態１では、韻律モデル更新部１１０が入力音声の韻律的特徴量時間パターンによって話者別単語韻律モデルを更新するので、常に最新の状態の話者別単語韻律モデルを使用して感情を認識することが可能となる。
【００７２】
なお、この実施の形態１では、感情認識装置１００に話者別単語韻律モデル記憶部１０８を設けて説明したが、本発明では、これに限らず、感情認識装置１００の外に設けて、ネットワーク等を介し通信して話者別単語韻律モデルを読み込むようにしても勿論よい。このことは、後述する実施の形態２，３でも同様である。
【００７３】
また、この実施の形態１では、感情認識装置１００を、図１に示すようにブロック図によりハードウエア的に構成して説明したが、本発明では、これに限らず、この図１による実行される機能を、ＣＰＵがプログラムを実行することによりソフトウエア的に実行するように構成しても勿論よい。このことは、後述する実施の形態２，３でも同様である。
【００７４】
（実施の形態２）
実施の形態１では、話者認識部１０４および音声認識部１０６により話者認識および音声認識をした後に感情認識部１０９が感情認識を行うように説明したが、予め定められたキーワードを発声することがわかっているシステムにおいては、発声された言葉の音声認識を行う必要はなく、話者認識によって発声した話者を認識できれば良い。実施の形態２では、予め定められたキーワードを発声することを前提としたテキスト依存型の話者認証および話者認識を行う感情認識装置について説明する。
【００７５】
実施の形態２に係る感情認識装置２００は、決められた言葉をキーとして、かつ、話者認証によって個人を認証して玄関ドアの開錠するインターホンシステに適用したもので、玄関ドアの開錠と同時にそのときの話者の感情を認識し、認識感情を常に、または通常と異なる感情状態にあると判定されたときにのみ、認識した感情を予め指定しておいた登録者へ連絡をする自動連絡機能付きのインターホンシステムである。
【００７６】
例えば、留守家庭において、子どもが１人で帰宅したときに、子どもが物理的な鍵を使ってドアを開けることは、他社に見られた場合に留守家庭であることがわかってしまうため安全ではない。そこでインターホンに向かって、あたかも家の中に人が居るかのような発声をさせ、それをキーワードとして音声認証し、ドアを開錠するインターホンシステムが考えられる。しかし、それでは保護者には子どもである話者が、楽しい気持ちで帰ってきたのか、悲しい気持ちで帰ってきたのか認識できない。そのため、インターホンに対して話した言葉から感情を認識して、平常状態と異なる場合に、保護者など予め登録された人にメールを送ることにより、保護者は適切な対応を取ることができ安心することができる。
【００７７】
図５は、本発明の実施の形態２に係る感情認識装置２００を含むインターホンシステムの構成図である。
【００７８】
図５において、このインターホンシステムは、実施の形態２に係る感情認識装置２００、玄関に取り付けられたインターホン２１０、インターホンに取り付けられた音声入力のためのマイク２２０、玄関ドア２４０に取り付けられた電気錠２３０から構成されている。なお、受信端末２５０は、感情認識装置２００によって認識された感情が通知される携帯電話等である。
【００７９】
図６は、実施の形態２における感情認識装置２００の詳細構成を示すブロック図である。なお、図４において、図１に示す実施の形態１の感情認識装置１００と同じ構成要素については同じ符号を用いて、説明を省略する。
【００８０】
図６において、この実施の形態２に係る感情認識装置２００は、入力音声の特徴量と話者認識用参照データ記憶部１０３に記憶された話者認識用参照データを参照して話者認証を含む話者認識を行う話者認識部２０１と、玄関ドア２４０の電気錠２３０を開錠するドア開錠部２０２と、感情認識結果が平常状態と異なると判定された場合に、予め登録してある登録者にメールを送るメール通知部２０３と、インターホン２１０を使用する家族等の個人別の韻律モデルを記憶した話者別韻律モデル記憶部２０４を有している。なお、他の構成要素は、図１に示す実施の形態１の感情認識装置１００と同じである。
【００８１】
次いで、前記構成を有する実施の形態２に係るインターホンシステムの動作を、図面を参照して説明する。
【００８２】
図７は、実施の形態２に係るインターホンシステムの動作を示すフローチャートである。
【００８３】
実施の形態１と同様に、ステップＳ２０１０にて、音声特徴量抽出部１０１が、未知の入力音声を音響分析の時間的単位であるフレーム毎に音響分析し、音声特徴パラメータの時系列を算出し、ステップＳ２０２０にて、韻律的特徴量抽出部１０２が、入力音声をフレームごとに音響分析し、韻律的特徴パラメータの時系列を算出する。
【００８４】
次に、ステップＳ２０３０にて、話者認識部２０１が、話者認識用参照データ記憶部１０３に記憶された話者認識用参照データを参照して、入力音声に対して話者認証を含む話者認識を行う。話者認証は、入力された音声が本人の声のものであるか照合を行う方法である。話者認証も、予め決まった言葉を発声するテキスト依存型と、自由な言葉を発声しても良いテキスト独立型がある。本実施の形態では、テキスト依存型の話者認証を行うものとする。
【００８５】
ここで、本実施の形態の場合、インターホンシステムであるので、話者は、インターホン２１０に取り付けられたマイク２２０に向かって、決められた言葉、例えば「ただいま、開けて。」等の言葉を発声する。つまり、この「ただいま、開けて。」等の決められた言葉が、ドアの鍵となっている。
【００８６】
その声がすると、話者認識部２０１が話者認証を行い、家族など予め登録された人物の声である場合、ドア開錠部２０２に指令を出して、玄関ドア２４０に取り付けられた電気錠２３０を開錠させる。
【００８７】
また、これと同時に、話者認識部２０１は、話者認識用参照データを参照してその声から話者認識まで行い、家族のうちの誰であるかを認識できた場合には、その認識結果を感情認識部１０９へ出力する。
【００８８】
次にステップＳ２０４０にて、時間パターン作成部１０７がフレームごとの韻律的特徴量を時系列に並べた時間パターンを作成し、続くステップＳ２０５０にて、感情認識部１０９は、話者認識部２０１にて認識された話者に対応する話者別韻律モデルが話者別韻律モデル記憶部２０４に登録されているか否か判断する。
【００８９】
そして、話者別韻律モデルが登録されていれば、ステップＳ２０６０、Ｓ２０７０、Ｓ２０８０，Ｓ２０９０の処理を行う一方、登録されていなければ、話者が過去にその言葉を発声したことがないということなので、ステップＳ２０６０、Ｓ２０７０，Ｓ２０８０の処理は行わずにステップＳ２０９０の処理を行う。
【００９０】
つまり、話者別韻律モデルが登録されている場合のみ、ステップＳ２０６０へ進み、感情認識部１０９は、認識された話者に対応する話者別韻律モデルを話者別韻律モデル記憶部２０４から取り出し、次のステップＳ２０７０にて、時間パターン作成部１０７が作成した入力音声の韻律的特徴量時間パターンと、読み出した話者別韻律モデルとを照合して、実施の形態１と同様に入力音声の感情を認識する。
【００９１】
ここで、本実施の形態の場合、感情認識部１０９は、入力音声の感情を認識すると、その認識結果をメール通知部２０３へ出力する。
【００９２】
そして、ステップＳ２０８０にて、メール通知部２０３は、感情認識部１０９から入力音声の感情の認識結果が入力すると、予め登録してある登録者の携帯電話やＰＣ等に電子メールを送り、認識結果を通知する。
【００９３】
なお、認識結果の通知は、電子メールに限らず、電子メール以外にも、ポケットベルや携帯電話など他の通知方法を用いてもよい。また、認識結果の通知方法としては、感情の認識結果である、例えば「喜んでいる」、「落ち込んでいる。」等を記述したテキスト文を送信したり、認識結果を絵文字や図形で表したメールを送信する方法がある。また、インターホンにカメラが設けられていて、言葉を出したときに自動的撮影される場合などには、感情の認識結果が平常状態と異なる場合のみ、その撮影映像を送信するようにしても良い。
【００９４】
また、ここでは、入力音声の感情を認識した場合、常に認識結果をメール通知部２０３へ出力するようにしているが、これに限らず、平常状態と異なる感情状態であることが検出された場合のみ、メール通知部２０３に指令を出力して、予め登録されている登録者に電子メールを送信するようにして勿論よい。このようにすれば、このインターホンシステムを利用した家族の感情が平常状態の場合には、認識された感情が登録者にメール通知されないので、通信コストを低減することができる。
【００９５】
そして、ステップＳ２０８０の処理が終了すると、ステップＳ２０９０へ進み、韻律モデル更新部１１０が、実施の形態１の場合と同様に、入力音声の韻律的特徴量時間パターンを用いて、対応する話者別韻律モデルを更新する。
【００９６】
一方、認証された個人に対応する話者別韻律モデルが、話者別韻律モデル記憶部２０４に登録されていない場合も、ステップＳ２０９０へ進み、韻律モデル更新部１１０が、入力音声の韻律的特徴量時間パターンを用いて、対応する話者別韻律モデルを更新する。
【００９７】
このように、実施の形態２によれば、入力音声の韻律的特徴量時間パターンと話者別韻律モデルとを照合して、入力音声の感情を認識し、メール通知部２０３がその認識結果を予め登録された登録者にメールを送るようにしたため、実施の形態１と同様の効果が得られると共に、離れていても認識結果を知らせることができる。
【００９８】
その結果、前述したように、この感情認識装置２００をインターホンシステムに使用すれば、例えば子供がインターホンに対して話した言葉から感情を認識して、認識した感情を保護者など予め登録された者にメール等により送ることが可能となり、そのメールを受けた保護者等は適切な対応を取ることができ、有益なインターホンシステムを提供することが可能となる。
【００９９】
なお、本実施の形態は、話者が予め決められた言葉を話すテキスト依存型の話者認証であるため、実施の形態１の音声認識部１０６および認識語彙辞書記憶部１０５（図１参照）は必要ない。しかし、任意の言葉を受け付けるテキスト独立型の話者認証を用いるのであれば、実施の形態１の構成のように、音声認識部１０６および認識語彙辞書記憶部１０５を設けると共に、話者別韻律モデル記憶部２０４の代わりに話者別単語韻律モデル記憶部１０８を設けるようにすれば良い。このようにすれば、ユーザが決まった言葉を発声しなくても、音声から感情を認識して、通知することが可能となる。
【０１００】
（実施の形態３）
実施の形態１では、話者認識部１０４および音声認識部１０６により話者認識および音声認識をした後に感情認識部１０９が感情認識を行うように説明し、また、実施の形態２では、予め定められたキーワードを発声することを前提とし音声認識を行わない感情認識装置について説明したが、予め使用する話者が１人に限定されている場合には、話者認識を行う必要はなく、音声認識によって発声した単語を認識できれば良い。実施の形態３では、カーナビゲーション装置（以下、カーナビという。）や携帯電話など、使う話者を１人に限定できることが多い装置に採用した感情認識装置について説明する。
【０１０１】
図８は、実施の形態３に係る感情認識装置３００のブロック図である。図８において、図１と同じ構成要素については同じ符号を用い、説明を省略する。
【０１０２】
図８において、この実施の形態３に係る感情認識装置３００は、音声認識結果及び感情認識結果によって感情認識装置のシステム側の応答を生成する応答生成部３０１、この感情認識装置が採用されるカーナビ等を使用する特定のユーザの各単語別の登録されている韻律的特徴量の時間パターンの統計量である単語韻律モデルを予め記憶した単語韻律モデル記憶部３０２を有している。なお、その他の構成要素は、図１に示す実施の形態１の感情認識装置１００の構成要素と同一である。
【０１０３】
ここで、本実施の形態の場合、単語韻律モデル記憶部３０２は、カーナビの住所認識など辞書数が大きい場合、メモリ用、処理量削減のために全ての単語に対する韻律的特徴モデルを登録するのではなく、頻度の高い上位の単語のみを登録するようにしてもよい。
【０１０４】
次いで、前記構成を有する感情認識装置３００の動作について、図面を参照して説明する。
【０１０５】
図９は、実施の形態３に係る感情認識装置３００の動作を示すフローチャートである。
【０１０６】
実施の形態１と同様に、ステップＳ３０１０にて、音声特徴量抽出部１０１が、入力音声を音響分析の時間的単位であるフレーム毎に音響分析し、音声認識に必要な音声特徴パラメータの時系列を算出し音声認識部１０６へ出力する。
【０１０７】
また、ステップＳ３０２０にて、韻律的特徴量抽出部１０２が、入力音声をフレームごとに音響分析し、感情認識に必要な音声の韻律的特徴を表す特徴パラメータの時系列を算出する。
【０１０８】
次にステップＳ３０３０にて、音声認識部１０６が、認識語彙辞書記憶部１０５に記憶されている認識語彙辞書を参照して入力音声がどのような言葉であったかを認識し、その認識結果を感情認識部１０９および応答生成部３０１へ出力する。
【０１０９】
一方、ステップＳ３０４０にて、時間パターン作成部１０７がフレームごとの韻律的特徴量を時系列に並べた時間パターンを作成して、感情認識部１０９へ出力する。
【０１１０】
次にステップＳ３０５０にて、感情認識部１０９が、認識された単語に対応する単語韻律モデルが、単語韻律モデル記憶部３０２に登録されているか否か判断し、登録されていればステップＳ３０６０、Ｓ３０７０、Ｓ３０８０、Ｓ３０９０の処理を行う一方、登録されていない場合には、ステップＳ３０６０，Ｓ３０７０の処理は行わずに、ステップＳ３０８０の処理を行う。
【０１１１】
つまり、単語韻律モデルが単語韻律モデル記憶部３０２に登録されている場合のみ、まず、ステップＳ３０６０にて、感情認識部１０９は、認識された単語に対応する単語韻律モデルを、単語韻律モデル記憶部３０２から取り出す。次にステップＳ３０７０にて、感情認識部１０９は、ステップＳ３０４０にて作成された入力音声の韻律的特徴量時間パターンと、ステップＳ３０６０にて抽出された単語韻律モデルとの照合を行い、感情を認識する。
【０１１２】
そして、ステップＳ３０８０にて、応答生成部３０１は、音声認識部１０６によって認識された言葉の内容、および感情認識部１０９によって感情に従った応答を生成し出力する。
【０１１３】
例えば、カーナビにおいて、話者が音声入力により目的地を設定したり、レストラン検索をしたりすると、その内容により対話の応答文を生成し、合成音声で出力する。しかし、話者の感情状態が平常状態と異なることが検出された場合には、運転者である話者が眠い、興奮している、怒っている等が考えられる。このような心理状態のときには、感情認識装置が話者に警告するような応答音声を出力したり、休憩を入れるように促す応答音声を出力したり、音楽をかけたりする。
【０１１４】
また、平常状態と異なる度合いによっては、すぐに警告を出すのではなく、カーナビシステムの発する応答文をいつもと違うものにするだけでも話者の注意を引き、気分を変えることができる。
【０１１５】
そして、最後に、ステップＳ３０９０にて、韻律モデル更新部１１０が、入力音声の韻律的特徴量時間パターンを用いて、対応する単語韻律モデルを更新する。なお、認識対象となる音声は、単語ではなく連続音声でもよい。
【０１１６】
一方、単語韻律モデル記憶部３０２にユーザの単語韻律モデルが登録されておらず、ステップＳ３０６０、Ｓ３０７０の処理により感情認識が行われなかった場合、ステップＳ３０８０へ進むと、感情認識されていないので、平常状態の感情と仮定して、音声認識部１０６によって認識された言葉の内容に従った応答を生成し出力する。そして、最後に、ステップＳ３０９０にて、韻律モデル更新部１１０が、入力音声の韻律的特徴量時間パターンを用いて、対応する単語韻律モデルを更新する。
【０１１７】
このように、実施の形態３によれば、入力音声の韻律的特徴量時間パターンと、単語韻律モデルとを照合して入力音声の感情を認識し、応答生成部３０１が入力音声から認識した言葉および感情の認識結果に基づいて話者に応答するようにしたので、実施の形態１と同様の効果が得られると共に、話者の発する音声から簡単かつ高精度に認識した感情に従った応答をすることができる。
【０１１８】
その結果、特に、使用する話者が１人に限定できることが多いカーナビや携帯電話などの装置にこの実施の形態３の感情認識装置を採用した場合、話者の発する音声から簡単かつ高精度に認識した感情に基づき応答を変えることにより、音声から認識した感情に基づいて自動的に応答することができることになる。
【０１１９】
なお、本実施の形態は、言葉を話す話者が予め決められている話者依存型の話者認証であるため、実施の形態１の音声認識部１０６および認識語彙辞書記憶部１０５（図１参照）を設けていないが、任意の言葉を受け付けるテキスト独立型の話者認証を用いるのであれば、実施の形態１の構成のように、音声認識部１０６および認識語彙辞書記憶部１０５を設ければ良い。このようにすれば、使用する話者が複数人の装置にも、音声認識した感情に基づいて自動応答する本発明に係る感情認識装置を適用することが可能となる。
【０１２０】
また、本実施の形態では、本発明に係る感情認識装置をカーナビに採用して説明したが、携帯電話や音声入力可能なテレビ等のリモコンに適用しても勿論良い。例えば、本発明に係る感情認識装置を、携帯電話に適用すれば、音声通話をした際に、携帯電話がその音声から感情を自動的に認識して、その音声通話をしたユーザに感情に応じてメッセージを表示する等の感情に応じた応答をすることができる。また、音声入力可能なテレビ等のリモコンに適用した場合には、番組を検索するだけでなく、その音声に基づいて話者の現在の感情を認識して、認識した感情に基づく応答をそのリモコンのディスプレイ部分に表示したり、認識した感情に基づく番組検索を話者に自動的に提案することが可能となる。
【産業上の利用可能性】
【０１２１】
本発明に係る感情認識装置は、音声から話者の感情を簡単かつ高精度に認識することができる、という効果を有し、音声から感情を認識する感情認識装置や、音声から認識した感情の認識結果をメール等により通知するインターホンシステム等における感情認識装置、カーナビや携帯電話装置、音声入力可能なテレビのリモコン等の音声入力により応答を行う感情認識装置に有用である。
【図面の簡単な説明】
【０１２２】
【図１】本発明の実施の形態１に係る感情認識装置の構成を示すブロック図
【図２】実施の形態１係る感情認識装置の動作を示すフローチャート
【図３】閾値に基づく感情認識を説明するための図
【図４】ルールによる感情認識を説明するための図
【図５】実施の形態２に係る感情認識装置を含むインターホンシステム全体の構成を示すブロック
【図６】実施の形態２に係る感情認識装置の構成を示すブロック図
【図７】実施の形態２に係る感情認識装置の動作を示すフローチャート
【図８】実施の形態３に係る感情認識装置の構成を示すブロック図
【図９】実施の形態３に係る感情認識装置の動作を示すフローチャート
【符号の説明】
【０１２３】
１００，２００，３００  感情認識装置
１０１  音声特徴量抽出部
１０２  韻律的特徴量抽出部
１０３  話者認識用参照データ記憶部
１０４，２０１  話者認識部
１０５  認識語彙辞書記憶部
１０６  音声認識部
１０７  時間パターン作成部
１０８  話者別単語韻律モデル記憶部
１０９  感情認識部
１１０  韻律モデル更新部
２０３  メール通知部
２０４  話者別韻律モデル記憶部
３０１  応答生成部
３０２  単語韻律モデル記憶部
【図１】
2005283647.tif 000003
【図２】
2005283647.tif 000004
【図３】
2005283647.tif 000005
【図４】
2005283647.tif 000006
【図５】
2005283647.tif 000007
【図６】
2005283647.tif 000008
【図７】
2005283647.tif 000009
【図８】
2005283647.tif 000010
【図９】
2005283647.tif 000011