(57)【要約】【課題】  音声信号を処理して話者の感情の認識及び話者の識別を行う。【解決手段】  話者の音声入力信号（ＳＩ）を受信するステップと、この音声入力信号から音声パラメータ（ＳＰ）を生成するステップと、この音声入力信号の絶対音量（Ｌ）を表すパラメータを決定するステップと、上述の絶対音量（Ｌ）を表すパラメータを使用している音声入力信号（ＳＩ）及び／又は音声パラメータ（ＳＰ）を評価するステップとを有する音声信号を処理する方法。【選択図】  図１
2004199053.tif 000002
【特許請求の範囲】
【請求項１】
話者の音声入力信号を受信する受信ステップと、
前記音声入力信号から音声パラメータを生成する生成ステップと、
前記音声入力信号の絶対音量を表すパラメータを決定する決定ステップと、
前記絶対音量を表すパラメータを使用して前記音声入力信号及び／又は前記音声パラメータを評価する評価ステップとを有する音声信号処理方法。
【請求項２】
前記評価ステップは、感情を認識するステップを含むことを特徴とする請求項１に記載の音声信号処理方法。
【請求項３】
前記評価のステップは、話者を識別するステップを含むことを特徴とする請求項１又は２に記載の音声信号処理方法。
【請求項４】
複数のマイクロホンからなるマイクロホンアレーが前記絶対音量を表すパラメータを決定するのに使われることを特徴とする請求項１乃至３のいずれか１項に記載の音声信号処理方法。
【請求項５】
場所及び／又は話者の距離を決定するステップを有する請求項１乃至４のいずれか１項に記載の音声信号処理方法。
【請求項６】
前記絶対音量は、聴覚及び／又はバイノーラルの処理のためのアルゴリズムを使用して決定されることを特徴とする請求項１乃至５のいずれか１項に記載の音声信号処理方法。
【請求項７】
前記絶対音量は、測定された音量又はエネルギを前記距離で正規化することによって計算されることを特徴とする請求項５又は６に記載の音声信号処理方法。
【請求項８】
前記距離は、前記複数のマイクロホン間の音声入力信号の遅延時間を使用して決定されることを特徴とする請求項５乃至７のいずれか１項に記載の音声信号処理方法。
【請求項９】
請求項１乃至８のいずれか１項に記載の音声信号処理方法又はそのステップを実行又は実現する音声信号処理装置。
【請求項１０】
コンピュータ、デジタルシグナルプロセッサ、又はその種の装置で実行されるとき、請求項１乃至８のいずれか１項に記載の音声信号処理方法又はそのステップを実行又は実現するためのコンピュータプログラム製品。
【請求項１１】
請求項１０に記載のコンピュータプログラム製品を格納したコンピュータで読出し可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理方法に関するものであり、特に感情の認識及び話者の識別の方法に対する音声信号処理方法に関する。
【背景技術】
【０００２】
マンマシンインタフェース（ＭＭＩ）を備える多くの装置においては、人間によって使用されるいろいろな通信径路を通じて取り込まれる多くの情報をできるだけ統合することが望ましい。特に、例えば装置を使用しているユーザの感情を表す情報、すなわち例えばユーザが怒っているか、幸福であるか、悲しいのかといった感情の情報を含むようになれば、非常に役立つ。この感情の情報は、ユーザの音声信号から取り出すことができ、この感情の情報に従って、装置の対応する反応を生成するために用いることができる。
【０００３】
感情の情報が役立つ装置の具体例としては、音声で作動される現金自動預け払い機（ＡＴＭ）がある。装置がユーザに数回命令を繰り返すように依頼する場合、すなわち、ユーザが装置の使用に際し悩んでいる場合には、ユーザはイライラする。この感情の状態は装置によって検出することができ、装置の入力モードを、音声入力型からタッチスクリーンを使用するグラフィック／触覚型の入力に切り替えることができる。
【０００４】
今日のＭＭＩ装置の他の重要なポイントは、話者の識別にある。多くの装置において、誰が装置と相互に作用しているかを知ることは、大変重要である。例えば、数人で車を共有している場合、装置の特定のパラメータは現在運転している人に依存して設定する必要がある。この場合、現在運転している人を識別する必要があり、これは一般的にＭＭＩ装置に含まれる話者の識別ルーチンによって達成することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、音声信号を処理する方法、特に感情の認識及び／又は話者の識別のための音声信号を処理する方法を提供することである。
【課題を解決するための手段】
【０００６】
この目的を達成するために、本発明は特許請求の範囲に記載されるような音声信号を処理する方法を提供する。更にそれに加えて、本発明は音声信号処理装置、それに関するコンピュータプログラム製品及びそのプログラムが記憶された計算機で読み取り可能な記憶媒体を提供する。
【０００７】
更なる特徴及び好ましい実施例は、それぞれの従属する特許請求の範囲や、以下記した説明において定められる。
【０００８】
本発明に係る音声信号処理方法は、話者の音声入力信号を受信する受信ステップと、受信した音声入力信号から音声パラメータを生成する生成ステップと、音声入力信号の絶対音量を表すパラメータを決定する決定ステップと、絶対音量を表すパラメータを用いて音声入力信号及び／又は音声パラメータを評価する評価ステップを備える。
【０００９】
これらは次のことを意味する。すなわち、絶対音量が分類器（例えば話者の感情の状態を決定するために分類する分類器）で使用される、例えば韻律的特徴又は音質特徴等の他のパラメータに加えて、音声入力信号の評価に用いられる。音声の質的特徴、すなわち聴覚的特徴は原信号の変化及び声道の性質に起因し、これらはまた特に話者に依存する。
【００１０】
好ましくは、上述の評価ステップは、感情の認識のステップ及び／又は話者の識別のステップを含む。感情の認識及び話者の識別のためのパラメータとして、絶対音量を用いることが、本発明の重要な特徴である。感情の認識の成功率及び話者の識別の成功率は、それぞれの認識装置用の追加的な入力パラメータとして絶対音量を用いることにより格段に改善された。
【００１１】
好ましくは、複数のマイクロホン（少なくとも２つのマイクロホン）からなるマイクロホンアレーが、絶対音量を表すパラメータを決定するために使われる。マイクロホンアレーに関し、マイクロホンアレーからの話者までの距離は標準のアルゴリズムで決定され、その音量は距離で正規化される。これは、相関技術によるマイクロホン間の時間差を推定することによってなされる。
【００１２】
更に話者の位置及び／又は話者までの距離が決定され、そして、絶対音量は聴覚及び／又はバイノーラルの処理のための標準のアルゴリズムを用いて決定される。したがって、耳位置に載置される２つのマイクロホンを有する人工の頭や類似した形状が使われる。耳の中での処理がシミュレーションされ、すなわち、２つの耳の間の遅延時間や振幅の差異の情報が推定され、正確に話者位置を決定するのに用いられる。
【００１３】
上述した絶対音量は、好ましくは、マイクロホンの位置で測定された音量（信号利得）又はエネルギを距離で正規化することによって計算される。好ましくは、これは掛け算、すなわち距離×エネルギで得られる。
【００１４】
この距離は、話者の位置測定（ローカライゼーション）のための標準のアルゴリズムを使用して決定される。正規化により、測定された音量が絶対音量に変換されるので、距離による正規化は本発明の重要な特徴である。距離によって音量を正規化することによって決定された絶対音量は、マイクロホンから話者までの距離に依存せず独立となる。
【００１５】
従来の感情の認識装置及び話者の識別装置にあっては、同じ音量で話している話者が、マイクロホンとの距離に依存して、異なる音量で話しているようなり、したがって、音量を使うことができなかった。
【００１６】
本発明に係る音声信号処理装置にあっては、音声信号を認識又は実現する発明の方法及び／又はそれらのステップを実行又は実現することができる。
【００１７】
本発明係るコンピュータプログラム製品は、それがコンピュータや、デジタルシグナルプロセッサ等で実行されるとき、音声信号を認識又は実現する発明の方法及び／又はそれらのステップを実行又は実現するのに適したものである。本発明係る計算機で読み取り可能な記憶媒体は、本発明のコンピュータプログラム製品を格納している。
【発明の効果】
【００１８】
本発明によれば、感情の認識及び話者の識別のためのパラメータとして絶対音量を用いることで、感情の認識の成功率及び話者の識別の成功率を格段に改善することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明に係る音声信号処理装置の実施例を図を参照して説明する。
【００２０】
図１において、以下この装置のユーザとする話者Ｓの音声入力信号ＳＩは、マイクロホンアレーＭＡによって受け取られる。その後、受け取られた音声入力信号ＳＩから音声パラメータＳＰが抽出される。
【００２１】
音声パラメータは、スペクトル及び／又は時系列、例えば音質特徴、韻律的特徴から抽出されるあらゆる種類の音響特性であり得る。
【００２２】
距離計算ステップＣＤにおいて、マイクロホンアレーＭＡからの話者Ｓの距離Ｄが決定される、すなわち、話者の位置設定がなされる。このことにより、マイクロホン間の時間差ＴＤ（また、遅延時間とも称する）は相関技術を用いて推定することができる。
【００２３】
距離Ｄは音量計算ステップＣＬにおいても使われ、そこで、ｄＢＡの単位で測定される絶対音量Ｌが決定される。絶対音量Ｌは、信号エネルギを用いて決定され、すなわち、絶対音量は距離Ｄによって正規化されたエネルギである。
【００２４】
したがって、信号エネルギは、次の式で特定されるウィンドウにおいて測定される。
【００２５】
【数１】
2004199053.tif 000003
【００２６】
ここで、Ｓｎはデジタル化された音声信号である。
【００２７】
このほかにも使える多くの他の式が存在する。同様にして、信号エネルギＥはスペクトルから計算することができる。この場合、異なる周波数帯における耳の感度に従って、周波数に基づく重み付けが適用される。エネルギは１／Ｄに比例して減少し、Ｄが話者とマイクロホン間の距離Ｄ（図２）なので、絶対エネルギ又は音量はＤ×Ｅ、すなわち距離ＤとエネルギＥ掛け合わすことにより計算される。この絶対音量Ｌは、評価ステップＥＶにおいて使われる。この評価ステップＥＶは、話者の識別及び／又は感情の認識処理を有する。
【００２８】
絶対音量Ｌの他に、標準的特徴ＥＳＦが評価ステップＥＶにおいて使われる。これらの標準的特徴ＥＳＦは距離計算ステップＣＤと平行して抽出され、そして、音量計算ステップＣＬもまた標準的特徴の抽出ステップＳＦＥＳと平行して抽出される。この標準的特徴の抽出ステップＳＦＥＳにおいて、マイクロホンアレーＭＡから受け取られる音声パラメータＳＰが処理される。
【００２９】
図２に、話者Ｓが示される。話者Ｓは、マイクロホンアレーＭＡから特定の距離Ｄを有する。上述したように、距離Ｄは、図１の距離計算ステップＣＤで決定され、更に絶対音量Ｌを決定するために用いられる。これにより、マイクロホンアレーの異なるマイクロホンに到達する信号の時間差が相関技術を使用して決定される。
【００３０】
従来の装置に於いては、１つのマイクロホンしか使われなかったので、従来の装置における感情の認識及び／又は話者の識別にその音量を使うことができなかった。もし、１つのマイクロホンしか使わないとすると、その音量はマイクロホンと話者との距離に依存する。更に、従来の装置では、音声信号は音量のあらゆる「妨害」による変化を省略して正規化されてしまう。このことが従来の装置による感情の認識及び／又は話者の識別において、音量の使用の妨げとなっている。
【００３１】
本発明によれば、絶対音量を決定することができ、それを感情の認識及び／又は話者の識別のために使うことができる。この明細書において、絶対音量は感情を認識するために重要であり、更に話者の特性であって、したがって、話者の識別のための有益な情報を担持する。
【図面の簡単な説明】
【００３２】
【図１】本発明のステップの一例のフローチャートを示す。
【図２】本発明の実施例における話者とマイクロホンアレーの関係を示す。
【符号の説明】
【００３３】
ＳＩ  音声入力信号、ＣＤ  話者との距離の計算、ＭＡ  マイクロホンアレー、ＣＬ  音量の計算、ＳＦＥＳ  標準的特徴の抽出、ＥＶ  話者の識別及び／又は感情の認識、ＳＰ  音声パラメータ、Ｄ  距離、Ｌ  絶対音量、ＥＳＦ  抽出された標準的特徴、Ｓ  話者、ＴＤ  時間差
【図１】
2004199053.tif 000004
【図２】
2004199053.tif 000005