(57)【要約】単一チャネルオーディオ信号におけるオーディオフレームの人間のスピーチ品質を評価することを一般に含むスピーチ品質評価技術の実施形態が説明される。フレームのハーモニックコンポーネントの表現が合成され、フレームの非ハーモニックコンポーネントを計算するために使用される。次いで、合成されたハーモニックコンポーネントの表現と非ハーモニックコンポーネントとを使用して、ハーモニック対非ハーモニック比（ＨｎＨＲ）を計算する。このＨｎＨＲは、ユーザのスピーチの品質を示すものであり、フレームのスピーチ品質の評価値として規定される。一実施例において、ＨｎＨＲを使用して、最小スピーチ品質閾値を設定する。最小スピーチ品質閾値未満では、ユーザのスピーチの品質が許容できないとみなされる。次いで、ＨｎＨＲが閾値を下回るかどうかに基づいて、ユーザへのフィードバックが提供される。
2015500511.tif 000002
【特許請求の範囲】
【請求項１】
人間のスピーチコンポーネントを含む単一チャネルオーディオ信号におけるオーディオフレームのスピーチ品質を評価するためのコンピュータで実施されるプロセスであって、
前記オーディオ信号のフレームを入力するプロセスアクションと、
前記入力されたフレームを時間領域から周波数領域に変換するプロセスアクションと、
前記変換されたフレームのハーモニックコンポーネントを計算するプロセスアクションと、
前記変換されたフレームの非ハーモニックコンポーネントを計算するプロセスアクションと、
ハーモニック対非ハーモニック比（ＨｎＨＲ）を計算するプロセスアクションと、
前記単一チャネルオーディオ信号における前記入力されたフレームの前記スピーチ品質の評価値として、前記計算されたＨｎＨＲを規定するプロセスアクションと、
をコンピュータを用いて実施することを含む、プロセス。
【請求項２】
人間のスピーチコンポーネントを含む単一チャネルオーディオ信号におけるオーディオフレームのスピーチ品質を評価するためのコンピュータで実施されるプロセスであって、
前記オーディオ信号のフレームを入力するプロセスアクションと、
前記入力されたフレームの基本周波数を推定するプロセスアクションと、
フレームの周波数スペクトルを生成するために、前記入力されたフレームを時間領域から周波数領域に変換するプロセスアクションと、
所定の数の前記基本周波数の整数倍数の各々に対応する、前記フレームの前記周波数スペクトルにおける周波数の振幅値及び位相値を計算するプロセスアクションと、
前記計算された振幅値及び位相値に基づいて、前記入力されたフレームに関するサブハーモニック対ハーモニック比（ＳＨＲ）を計算するプロセスアクションと、
前記基本周波数、並びに前記振幅値及び前記位相値とともに前記計算されたＳＨＲに基づいて、前記入力されたフレームのハーモニックコンポーネントの表現を合成するプロセスアクションと、
前記合成されたハーモニックコンポーネントの表現とともに前記振幅値及び前記位相値に基づいて、前記入力されたフレームの非ハーモニックコンポーネントを計算するプロセスアクションと、
前記合成されたハーモニックコンポーネントの表現と前記非ハーモニックコンポーネントとに基づいて、ハーモニック対非ハーモニック比（ＨｎＨＲ）を計算するプロセスアクションと、
前記単一チャネルオーディオ信号における前記入力されたフレームの前記スピーチ品質の評価値として、前記計算されたＨｎＨＲを規定するプロセスアクションと、
をコンピュータを用いて実施することを含む、プロセス。
【請求項３】
前記計算された振幅値及び位相値に基づいて、前記入力されたフレームに関するサブハーモニック対ハーモニック比（ＳＨＲ）を計算する前記プロセスアクションは、
前記所定の数の前記基本周波数の整数倍数の各々に対応する、前記フレームの前記周波数スペクトルにおける各周波数に対して計算された前記振幅値の合計を、前記所定の数の前記基本周波数の整数倍数から前記基本周波数の０．５倍を差し引いた各々に対応する、前記フレームの前記周波数スペクトルにおける各周波数に対して計算された振幅値の合計で割った商を計算するプロセスアクション
を含む、請求項２記載のプロセス。
【請求項４】
前記基本周波数、並びに前記振幅値及び前記位相値とともに前記計算されたＳＨＲに基づいて、前記入力されたフレームのハーモニックコンポーネントの表現を合成する前記プロセスアクションは、
残響テールインターバルにおけるフレームのハーモニックコンポーネント信号の合成された表現のエネルギを徐々に低減させる振幅重み付け因子Ｗ（ｌ）を計算するプロセスアクションと、
以下の式を用いて、一連のサンプル時間に関するフレームの時間領域ハーモニックコンポーネント
［外１］
2015500511.tif 000030
を合成するプロセスアクションであって、
【数１】
2015500511.tif 000031
ｌは、検討中のフレームであり、ｔは、サンプル時間値であり、Ｆ０は、前記基本周波数であり、ｋは、前記基本周波数の整数倍数であり、Ｋは、最大整数倍数であり、Ｓは、前記フレームに対応する時間領域信号である、合成するプロセスアクションと、
前記所定の数の前記基本周波数の整数倍数の各々に対応する、前記フレームの前記周波数スペクトルにおける各周波数ｆでの前記フレームｌに関する合成された周波数領域ハーモニックコンポーネント
［外２］
2015500511.tif 000032
を生成するために、前記フレームに関する前記合成された時間領域ハーモニックコンポーネント
［外３］
2015500511.tif 000033
を、離散フーリエ変換（ＤＦＴ）を用いて周波数領域に変換するプロセスアクションと、
を含む、請求項２記載のプロセス。
【請求項５】
振幅重み付け因子Ｗ（ｌ）を計算する前記プロセスアクションは、
前記計算されたＳＨＲの４乗を、前記計算されたＳＨＲの４乗と所定の重み付けパラメータとの和で割った商を計算するプロセスアクション
を含む、請求項４記載のプロセス。
【請求項６】
前記合成されたハーモニックコンポーネントの表現とともに前記振幅値及び前記位相値に基づいて、前記入力されたフレームの非ハーモニックコンポーネントを計算する前記プロセスアクションは、
前記基本周波数の整数倍数に対応する、前記フレームの前記周波数スペクトルにおける各周波数に対して、前記各周波数での前記フレームの前記計算された振幅値から、前記各周波数に関連付けられた前記合成された周波数領域ハーモニックコンポーネントを減算して、差値を生成するプロセスアクションと、
期待値演算子関数を用いて、前記生成された差値から非ハーモニックコンポーネント期待値を計算するプロセスアクションと、
を含む、請求項４記載のプロセス。
【請求項７】
ＨｎＨＲを計算する前記プロセスアクションは、
期待値演算子関数を用いて、前記基本周波数の整数倍数に対応する、前記フレームの前記周波数スペクトルにおける前記周波数に関連付けられた前記合成された周波数領域ハーモニックコンポーネントから、ハーモニックコンポーネント期待値を計算するプロセスアクションと、
前記計算されたハーモニックコンポーネント期待値を、前記計算された非ハーモニックコンポーネント期待値で割った商を計算するプロセスアクションと、
前記商を前記ＨｎＨＲとして規定するプロセスアクションと、
を含む、請求項６記載のプロセス。
【請求項８】
ＨｎＨＲを計算する前記プロセスアクションは、
前記オーディオ信号の１以上の先行するフレームに関して計算されたＨｎＨＲの一部分を用いて平滑化される平滑化されたＨｎＨＲを計算するプロセスアクション
を含む、請求項４記載のプロセス。
【請求項９】
前記合成されたハーモニックコンポーネントの表現とともに前記振幅値及び前記位相値に基づいて、前記入力されたフレームの非ハーモニックコンポーネントを計算する前記プロセスアクションは、
前記基本周波数の整数倍数に対応する、前記フレームの前記周波数スペクトルにおける各周波数に対して、前記各周波数での前記フレームの前記計算された振幅値から、前記各周波数に関連付けられた前記合成された周波数領域ハーモニックコンポーネントを減算して、差値を生成するプロセスアクションと、
期待値演算子関数を用いて、前記生成された差値から非ハーモニックコンポーネント期待値を計算するプロセスアクションと、
現在のフレームに関する平滑化された非ハーモニックコンポーネント期待値を生成するために、前記現在のフレームに関して計算された前記非ハーモニックコンポーネント期待値に、前記現在のフレームに先行する直近の前記オーディオ信号のフレームに関して計算された平滑化された非ハーモニックコンポーネント期待値の所定のパーセンテージを付加するプロセスアクションと、
を含む、請求項８記載のプロセス。
【請求項１０】
平滑化されたＨｎＨＲを計算する前記プロセスアクションは、
期待値演算子関数を用いて、前記基本周波数の整数倍数に対応する、前記フレームの前記周波数スペクトルにおける前記周波数に関連付けられた前記合成された周波数領域ハーモニックコンポーネントから、ハーモニックコンポーネント期待値を計算するプロセスアクションと、
前記現在のフレームに関する平滑化されたハーモニックコンポーネント期待値を生成するために、前記現在のフレームに関して計算された前記ハーモニックコンポーネント期待値に、前記現在のフレームに先行する直近の前記オーディオ信号の前記フレームに関して計算された平滑化されたハーモニックコンポーネント期待値の所定のパーセンテージを付加するプロセスアクションと、
前記平滑化されたハーモニックコンポーネント期待値を、前記平滑化された非ハーモニックコンポーネント期待値で割った商を計算するプロセスアクションと、
前記商を前記平滑化されたＨｎＨＲとして規定するプロセスアクションと、
を含む、請求項９記載のプロセス。
【発明の詳細な説明】
【背景技術】
【０００１】
閉鎖空間における離れた音源からの音響信号は、室内インパルス応答（ＲＩＲ）に応じて変化する残響音を生成する。そのような空間内の残響のレベルを考慮した観測信号における人間のスピーチの品質の評価は、貴重な情報を提供する。例えば、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）システム、ビデオ会議システム、ハンズフリー電話、音声制御システム、及び補聴器といった典型的なスピーチ通信システムでは、室内残響にかかわらず生成された信号におけるスピーチが明瞭であるかどうかを知ることが有用である。
【発明の概要】
【課題を解決するための手段】
【０００２】
本明細書で説明するスピーチ品質評価技術の実施形態は、一般に、単一チャネルオーディオ信号におけるオーディオフレームの人間のスピーチ品質を評価することを含む。例示的な実施形態では、オーディオ信号のフレームが入力され、フレームの基本周波数が推定される。さらに、フレームが、時間領域から周波数領域に変換される。次いで、変換されたフレームのハーモニックコンポーネント（harmonic  component）が、非ハーモニックコンポーネント（non-harmonic  component）とともに計算される。次いで、ハーモニックコンポーネント及び非ハーモニックコンポーネントを使用して、ハーモニック対非ハーモニック比（ＨｎＨＲ：harmonic  to  non-harmonic  ratio）を計算する。このＨｎＨＲは、この比を計算するために使用される単一チャネルオーディオ信号におけるユーザのスピーチの品質を示すものである。したがって、ＨｎＨＲは、フレームのスピーチ品質の評価値として規定される。
【０００３】
一実施形態において、オーディオ信号のフレームの評価されたスピーチ品質は、ユーザにフィードバックを提供するために使用される。このことは、一般に、キャプチャされたオーディオ信号を入力することと、次いで、オーディオ信号のスピーチ品質が所定の許容できるレベルを下回ったかどうかを判定することとを含む。スピーチ品質が所定の許容できるレベルを下回った場合、フィードバックがユーザに提供される。一実施例において、ＨｎＨＲを使用して、最小スピーチ品質閾値を設定する。最小スピーチ品質閾値未満では、信号におけるユーザのスピーチの品質が許容できないとみなされる。次いで、所定の数の連続するオーディオフレームが所定のスピーチ品質閾値を超えない計算されたＨｎＨＲを有するかどうかに基づいて、ユーザへのフィードバックが提供される。
【０００４】
この概要は、以下の詳細な説明にさらに記載されるコンセプトのうち選択したものを単純化された形で紹介するために提供されることに留意すべきである。この概要は、特許請求される主題の主要な特徴又は必要不可欠な特徴を特定することを意図するものではないし、特許請求される主題の範囲を決定する際の助けとして使用されることを意図するものでもない。
【図面の簡単な説明】
【０００５】
【図１】本明細書で説明するスピーチ品質評価技術の実施形態を実現する例示的なコンピューティングプログラムアーキテクチャの図。
【図２】残響テールインターバルにおける合成されたハーモニックコンポーネント信号のエネルギを徐々に低減させる例示的なフレームベースの振幅重み付け因子のグラフ。
【図３】残響信号のフレームのスピーチ品質を評価するためのプロセスの一実施形態を概略的に説明するフロー図。
【図４】キャプチャされた単一チャネルオーディオ信号における人間のスピーチの品質に関するフィードバックをオーディオスピーチキャプチャリングシステムのユーザに提供するためのプロセスの一実施形態を概略的に説明するフロー図。
【図５Ａ】オーディオ信号のスピーチ品質が所定のレベルを下回ったかどうかを判定するための、図４のプロセスアクションの一実施例を概略的に説明するフロー図。
【図５Ｂ】オーディオ信号のスピーチ品質が所定のレベルを下回ったかどうかを判定するための、図４のプロセスアクションの一実施例を概略的に説明するフロー図。
【図６】本明細書で説明するスピーチ品質評価技術の実施形態を実現する例示的なシステムを構成する汎用コンピューティングデバイスを示す図。
【発明を実施するための形態】
【０００６】
本開示の特定の特徴、態様、及び効果が、以下の説明、添付の特許請求の範囲、及び添付の図面を参照すると、より良く理解されよう。
【０００７】
スピーチ品質評価技術の実施形態に関する以下の説明において、本明細書の一部分を形成する添付の図面が参照される。添付の図面において、本技術を実行することができる特定の実施形態が、例示の目的で示されている。他の実施形態も利用することができ、本技術の範囲から逸脱することなく構造的変更を施すことができることを理解されたい。
【０００８】
１．０  スピーチ品質評価
一般に、本明細書で説明するスピーチ品質評価技術の実施形態は、ユーザに対してユーザ自身の音声品質に関するフィードバックを自動的に提供することにより、ユーザの体験を向上させることができる。ノイズレベル、エコーリーク、ゲインレベル、及び残響といった多くの要因が、知覚される音声品質に影響を与える。それらの中でも、最も困難なものが、残響である。今まで、観測されたスピーチだけを用いて残響の量を測定する知られている方法はなかった。本明細書で説明するスピーチ品質評価技術の実施形態は、単一オーディオチャネルを表す信号からの観測されたスピーチサンプルだけを用いて、残響を盲目的に（すなわち、比較のための「クリーンな」信号を必要とすることなく）測定するメトリックを提供する。これは、十分な量の背景ノイズを含む様々な室内環境におけるスピーカ及びセンサのランダムな位置に対して可能であることが分かった。
【０００９】
より詳細には、本明細書で説明するスピーチ品質評価技術の実施形態は、ユーザのスピーチの品質を評価するために、観測された単一チャネルオーディオ信号のハーモニシティ（harmonicity）を盲目的に利用する。ハーモニシティは、人間の音声スピーチの独特な特性である。前に示したように、室内残響状態及びスピーカとセンサとの距離に依存する観測信号の品質に関する情報は、スピーカに対して有用なフィードバックを提供する。前述したハーモニシティの利用について、以下のセクション群において、より詳細に説明する。
【００１０】
１．１  信号モデリング
残響は、閉鎖空間における音源からセンサまでの音響音のマルチパス伝搬プロセスによりモデル化することができる。一般に、受信信号は、早期残響（及び直接パス音）と後期残響の２つのコンポーネントに分解することができる。直接音の直後に到達する早期残響は、音を補強するものであり、スピーチの明瞭度を決定するための有用なコンポーネントである。早期残響はスピーカ位置及びセンサ位置に応じて変化するという事実により、これは、空間のボリューム（volume）及びスピーカの距離に関する情報も提供する。後期残響は、直接音の到達後のより長い遅延を有する反射音により生じるものであり、スピーチの明瞭度を弱める。こうした弊害をもたらす影響は、一般に、音源とセンサとの距離が長くなると増大する。
【００１１】
１．１．１  残響信号モデル
ｈ（ｎ）として示される室内インパルス応答（ＲＩＲ）は、室内におけるセンサとスピーカとの間の音響特性を表す。前に示したように、音響信号は、以下の式により示される早期残響（直接パスを含む）と後期残響の２つの部分に分けることができる。
【数１】
2015500511.tif 000003
ここで、ｈｅ（ｔ）及びｈｌ（ｔ）は、それぞれ、ＲＩＲの早期残響及び後期残響である。パラメータＴ１は、アプリケーション又は主観的プリファレンス（subjective  preference）に応じて調整され得る。一実施例において、Ｔ１は予め定められたものであり、５０ｍｓ〜８０ｍｓの範囲である。無響スピーチ信号ｓ（ｎ）とｈ（ｎ）の畳み込みにより得られる残響信号ｘ（ｔ）は、以下の式により表すことができる。
【数２】
2015500511.tif 000004
【００１２】
直接音は、まったく反射がない自由野（free-field）を介して受信される。早期残響ｘｅ（ｔ）は、Ｔ１の時間期間まで１以上の表面から反射される音により構成される。早期残響は、部屋のサイズの情報と、スピーカの位置及びセンサの位置とを含む。長い遅延を有する反射音により生じる他の音が、後期残響ｘｌ（ｔ）であり、これは、スピーチの明瞭度を弱める。後期残響は、指数関数的に減衰するガウスモデルにより表すことができる。したがって、早期残響と後期残響とは相関がないということは、合理的な仮定である。
【００１３】
１．１．２  ハーモニック信号モデル
スピーチ信号は、ハーモニック信号ｓｈ（ｔ）と非ハーモニック信号ｓｎ（ｔ）との和として、
ｓ（ｔ）＝ｓｈ（ｔ）＋ｓｎ（ｔ）                （３）
のように、モデル化することができる。
【００１４】
ハーモニック部分は、スピーチ信号の準周期的コンポーネント（音声など）から成るのに対し、非ハーモニック部分は、その非周期的コンポーネント（摩擦ノイズ又は呼吸ノイズ、及び声門励起（glottal  excitation）により生じる過渡的変化など）から成る。ハーモニック信号ｓｈ（ｔ）の（準）周期性は、Ｋ個の正弦波成分の和としておおよそモデル化され、その周波数は、基本周波数Ｆ０の整数倍数に対応する。Ａｋ（ｔ）及びθｋ（ｔ）が、それぞれ、ｋ番目のハーモニックコンポーネントの振幅及び位相であると仮定すると、ハーモニック信号は、以下のように表すことができる。
【数３】
2015500511.tif 000005
ここで、
［外１］
2015500511.tif 000006
は、ｋ番目のハーモニックコンポーネントの位相の時間導関数であり、
［外２］
2015500511.tif 000007
は、Ｆ０である。一般性を失うことなく、Ａｋ（ｔ）及びθｋ（ｔ）は、時間インデックスｎ０の周りの信号Ｓ（ｆ）の短時間フーリエ変換（ＳＴＦＴ）から導出することができ、それらは、以下の式により与えられる。
【数４】
2015500511.tif 000008
ここで、Γ＝２γ＋１は、ハーモニック信号の時変特徴を抽出する十分に小さな分析窓である。
【００１５】
１．２  ハーモニック対非ハーモニック比の推定
前述の信号モデルを仮定すると、スピーチ品質評価技術の一実施例は、観測信号のハーモニックコンポーネントと非ハーモニックコンポーネントとの間の比を使用する単一チャネルスピーチ品質評価アプローチを含む。ハーモニック対非ハーモニック比（ＨｎＨＲ）を定義した後、理想的なＨｎＨＲが標準的な室内音響パラメータに対応することが示される。
【００１６】
１．２．１  室内音響パラメータ
ＩＳＯ３３８２標準は、いくつかの室内音響パラメータを定義しており、既知の室内インパルス応答（ＲＩＲ）を使用した前述のパラメータの測定方法を規定している。それらのパラメータの中でも、本明細書で説明するスピーチ品質評価技術の実施形態は、残響時間（Ｔ６０）、及び明瞭度（Ｃ５０、Ｃ８０）パラメータを効果的に使用する。というのは、１つには、それらのパラメータが、室内の状態を表すだけでなく、スピーカからセンサまでの距離も表すからである。残響時間（Ｔ６０）は、励起が止まった後、音エネルギが６０ｄＢ減衰するのに必要な時間間隔として定義される。これは、部屋のボリューム及び残響全体の量に密接に関係する。しかしながら、スピーチ品質は、同一の室内で測定されたとしても、センサとスピーカとの距離によっても変わり得る。明瞭度パラメータは、早期残響と後期残響との間のインパルス応答の対数エネルギ比として定義され、以下の式により与えられる。
【数５】
2015500511.tif 000009
ここで、一実施形態において、Ｃ＃は、Ｃ５０を指し、スピーチの明瞭度を表すために使用される。Ｃ８０は、音楽により良く適しており、音楽の明瞭度を伴う実施形態において使用されることに留意されたい。＃が非常に小さい（例えば、４ミリ秒よりも小さい）場合、明瞭度パラメータは、直接エネルギ対残響エネルギ比（ＤＲＲ：direct-to-reverberant  energy  ratio）の良好な近似となり、これは、スピーカからセンサまでの距離の情報を提供することにさらに留意されたい。実際、明瞭度インデックスは、前述の距離と密接に関係する。
【００１７】
１．２．２  残響信号のハーモニックコンポーネント
実際的なシステムにおいて、ｈ（ｎ）は知られておらず、正確なＲＩＲを盲目的に推定することは非常に難しい。しかしながら、観測信号のハーモニックコンポーネントと非ハーモニックコンポーネントとの間の比は、スピーチ品質に関する有用な情報を提供する。式（１）、式（２）、及び式（３）を用いると、観測信号ｘ（ｔ）は、以下のハーモニックコンポーネントｘｅｈ（ｔ）と非ハーモニックコンポーネントｘｎｈ（ｔ）とに分解することができる。
【数６】
2015500511.tif 000010
ここで、＊は、畳み込み処理を表す。ｘｅｈ（ｔ）は、ハーモニック信号の早期残響であり、短い遅延を有するいくつかの反射音の和から構成される。ｈｅ（ｔ）の長さは、本質的に短いので、ｘｅｈ（ｔ）は、低周波帯においてハーモニック信号として観察することができる。したがって、式（４）に類似する式を用いて、ｘｅｈ（ｔ）をハーモニック信号としてモデル化することが可能である。ｘｌｈ（ｔ）及びｘｎ（ｔ）は、それぞれ、ハーモニック信号の後期残響及びノイジ信号ｓｎ（ｔ）の残響である。
【００１８】
１．２．３  ハーモニック対非ハーモニック比（ＨｎＨＲ）
早期信号対後期信号比（ＥＬＲ：early-to-late  signal  ratio）は、スピーチの明瞭度に関連する室内音響パラメータの１つとしてみなすことができる。理想的には、ｈ（ｔ）とｓ（ｔ）とは独立であると仮定した場合、ＥＬＲは以下のように表すことができる。
【数７】
2015500511.tif 000011
ここで、Ｅ｛｝は、期待値演算子を表す。実際、式（８）は、（（式（２）の）Ｔが５０ｍｓである場合、）Ｃ５０になるが、ｘｅ（ｔ）及びｘｌ（ｔ）は、実際には知られていない。式（２）から式（７）まで、ｘｅｈ（ｔ）及びｘｎｈ（ｔ）は、それぞれ、ｘｅ（ｔ）及びｘｌ（ｔ）に従うと仮定することができる。というのは、信号対ノイズ比（ＳＮＲ）が妥当である場合、ｓｎ（ｔ）は、ｓｈ（ｔ）よりもかなり小さなエネルギを有するからである。したがって、式（９）により与えられるハーモニック対非ハーモニック比（ＨｎＨＲ）は、ＥＬＲ値に対する代替とみなすことができる。
【数８】
2015500511.tif 000012
【００１９】
１．２．４  ＨｎＨＲ推定技術
本明細書で説明するスピーチ品質評価技術の実施形態を実現する例示的なコンピューティングプログラムアーキテクチャが、図１に示されている。このアーキテクチャは、コンピューティングデバイス（後に続く例示的な動作環境のセクションにおいて説明されるものなど）により実行可能な様々なプログラムモジュールを含む。
【００２０】
１．２．４．１  離散フーリエ変換及びピッチ推定
より詳細には、残響信号
［外３］
2015500511.tif 000013
の各フレームｌ１００が、初めに、離散フーリエ変換（ＤＦＴ）モジュール１０２及びピッチ推定モジュール１０４に与えられる。一実施例において、フレーム長は、１０ミリ秒のスライディングハニング窓を有する３２ミリ秒に設定される。ピッチ推定モジュール１０４は、フレーム１００の基本周波数Ｆ０１０６を推定し、その推定値をＤＦＴモジュール１０２に提供する。Ｆ０は、任意の適切な方法を用いて計算することができる。
【００２１】
ＤＦＴモジュール１０２は、フレーム１００を時間領域から周波数領域に変換し、次いで、所定の数の基本周波数Ｆ０１０６の整数倍数（ｋ倍）の各々（すなわち、ハーモニック周波数）に対応する、結果として得られる周波数スペクトルにおける周波数の振幅及び位相（
［外４］
2015500511.tif 000014
１０８）を出力する。一実施例において、ＤＦＴのサイズは、フレーム長の４倍よりも長いことに留意されたい。
【００２２】
１．２．４．２  サブハーモニック対ハーモニック比
振幅値及び位相値１０８は、サブハーモニック対ハーモニック比（ＳＨＲ：sub  harmonic-to-harmonic  ratio）モジュール１１０に入力される。ＳＨＲは、これらの値を使用して、検討中のフレームに関するサブハーモニック対ハーモニック比ＳＨＲ（ｌ）１１２を計算する。一実施例において、これは、以下の式（１０）を用いて達成される。
【数９】
2015500511.tif 000015
ここで、ｋは、整数であり、ｋと基本周波数Ｆ０１０６との積が所定の周波数範囲を保つような値の範囲となる。一実施例において、所定の周波数範囲は、５０〜５０００ヘルツである。この計算は、ノイジな残響環境において堅牢なパフォーマンスを提供することが分かる。ハーモニシティは比較的低く、推定ハーモニック周波数は低周波帯と比較して誤っている場合があるので、より高い周波帯は無視されることに留意されたい。
【００２３】
１．２．４．３  重み付けハーモニックコンポーネントモデリング
基本周波数Ｆ０１０６、並びに振幅値及び位相値１０８とともに、検討中のフレームに関するサブハーモニック対ハーモニック比ＳＨＲ（ｌ）１１２が、重み付けハーモニックモデリングモジュール１１４に提供される。重み付けハーモニックモデリングモジュール１１４は、推定されたＦ０１０６と、各ハーモニック周波数における振幅及び位相とを使用して、以下で説明されるように、時間領域におけるハーモニックコンポーネントｘｅｈ（ｔ）を合成する。しかしながら、まず、入力フレームの残響テールインターバル（reverberation  tail  interval）は、スピーチオフセットインスタント（speech  offset  instant）後、徐々に低減し、無視され得ることに留意されたい。例えば、音声区間検出（ＶＡＤ：voice  activity  detection）技術を使用して、ＤＦＴモジュールにより生成されたどの振幅値が所定のカットオフ閾値を下回るかを識別することができる。振幅値が前述のカットオフ閾値を下回る場合、それは、処理されているフレームに関して取り除かれる。残響テールに関連付けられたハーモニック周波数が通常カットオフ閾値を下回るように、カットオフ閾値が設定される。それにより、テールハーモニック（tail  harmonic）が取り除かれる。しかしながら、残響テールインターバルは前述のＨｎＨＲに影響を与えることにさらに留意されたい。というのは、後期残響コンポーネントの大部分がこのインターバルに含まれるからである。したがって、全てのテールハーモニックを取り除く代わりに、一実施例において、フレームベースの振幅重み付け因子を適用して、残響テールインターバルにおける合成ハーモニックコンポーネント信号のエネルギを徐々に低減させる。一実施例において、この因子は、以下のように計算される。
【数１０】
2015500511.tif 000016
ここで、εは、重み付けパラメータである。テスト実施形態において、５に設定したεが、満足できる結果を残したことが分かったが、他の値を代わりに使用してもよい。前述の重み付け関数が、図２でグラフ化されている。見て分かるように、ＳＨＲが７ｄＢよりも大きい場合、オリジナルハーモニックモデルが維持され（Ｗ（ｌ）＝１．０）、ＳＨＲが７ｄＢよりも小さい場合、調和的にモデル化された信号の振幅は徐々に減少する。
【００２４】
上記を仮定すると、時間領域ハーモニックコンポーネントｘｅｈ（ｔ）は、式（４）を参照し重み付け因子Ｗ（ｌ）を用いて、一連のサンプル時間に対して、以下のように合成される。
【数１１】
2015500511.tif 000017
ここで、
［外５］
2015500511.tif 000018
は、検討中のフレームに関する、合成された時間領域ハーモニックコンポーネントである。一実施例において、１６キロヘルツのサンプリング周波数を使用して、一連のサンプル時間ｔにおける
［外６］
2015500511.tif 000019
を生成したことに留意されたい。次いで、フレームに関する合成された時間領域ハーモニックコンポーネントが、さらなる処理のために、周波数領域に変換される。この目的のため、
【数１２】
2015500511.tif 000020
ここで、
［外７］
2015500511.tif 000021
は、検討中のフレームに関する合成された周波数領域ハーモニックコンポーネントである。
【００２５】
１．２．４．４  非ハーモニックコンポーネント推定
振幅値及び位相値１０８は、合成された周波数領域ハーモニックコンポーネント
［外８］
2015500511.tif 000022
１１６とともに、非ハーモニックコンポーネント推定モジュール１１８に提供される。非ハーモニックコンポーネント推定モジュール１１８は、各ハーモニック周波数における振幅及び位相と、合成された周波数領域ハーモニックコンポーネント
［外９］
2015500511.tif 000023
１１６とを使用して、周波数領域非ハーモニックコンポーネントＸｎｈ（ｌ，ｆ）１２０を計算する。一般性を失うことなく、ハーモニック信号コンポーネントと非ハーモニック信号コンポーネントとは相関がないと仮定することができる。したがって、一実施例において、非ハーモニック部分のスペクトル分散は、スペクトルサブトラクション法から、以下のように導出することができる。
【数１３】
2015500511.tif 000024
【００２６】
１．２．４．５  ハーモニック対非ハーモニック比
合成された周波数領域ハーモニックコンポーネント
［外１０］ 
2015500511.tif 000025
１１８、及び、周波数領域非ハーモニックコンポーネント｜Ｘｎｈ（ｌ，ｆ）｜１２０が、ＨｎＨＲモジュール１２２に提供される。ＨｎＨＲモジュール１２２は、式（９）のコンセプトを用いて、ＨｎＨＲ１２４を推定する。より詳細には、フレームに関するＨｎＨＲ１２４は、以下のように計算される。
【数１４】
2015500511.tif 000026
【００２７】
一実施例において、式（１５）は、以下のように単純化される。
【数１５】
2015500511.tif 000027
ここで、ｆは、所定の数の基本周波数の整数倍数の各々に対応する、フレームの周波数スペクトルにおける周波数を指す。
【００２８】
信号フレームを分離して見るのではなく、ＨｎＨＲ１２４は、１以上の先行するフレームを考慮して平滑化され得ることに留意されたい。例えば、一実施例において、平滑化されるＨｎＨＲは、０．９５の忘却因子を伴う一次再帰平均化技術を用いて以下のように計算される。
【数１６】
2015500511.tif 000028
【００２９】
一実施例において、式（１７）は、以下のように単純化される。
【数１７】
2015500511.tif 000029
【００３０】
１．２．４．６  例示的なプロセス
前述のコンピューティングプログラムアーキテクチャを効果的に使用して、本明細書で説明するスピーチ品質評価技術の実施形態を実現することができる。一般に、単一チャネルオーディオ信号におけるオーディオフレームのスピーチ品質を評価することは、フレームを時間領域から周波数領域に変換することと、次いで、変換されたフレームのハーモニックコンポーネント及び非ハーモニックコンポーネントを計算することとを含む。次いで、フレームのスピーチ品質の評価値を表すハーモニック対非ハーモニック比（ＨｎＨＲ）が計算される。
【００３１】
より詳細には、図３を参照して、残響信号のフレームのスピーチ品質を評価するためのプロセスの一実施例が提供される。このプロセスは、信号のフレームを入力すること（プロセスアクション３００）により開始し、フレームの基本周波数が推定される（プロセスアクション３０２）。入力フレームが、時間領域から周波数領域に変換される（プロセスアクション３０４）。次いで、所定の数の基本周波数の整数倍数の各々（すなわち、ハーモニック周波数）に対応する、フレームの結果として得られる周波数スペクトルにおける周波数の振幅及び位相が計算される（プロセスアクション３０６）。次いで、振幅値及び位相値を使用して、入力フレームに関するサブハーモニック対ハーモニック比（ＳＨＲ）を計算する（プロセスアクション３０８）。次いで、基本周波数、並びに振幅値及び位相値とともにＳＨＲを使用して、残響信号フレームのハーモニックコンポーネントの表現を合成する（プロセスアクション３１０）。前述の振幅値及び位相値、並びに合成されたハーモニックコンポーネントが与えられると、次いでプロセスアクション３１２において、（例えば、スペクトルサブトラクション法を用いることにより、）残響信号フレームの非ハーモニックコンポーネントが計算される。次いで、ハーモニックコンポーネント及び非ハーモニックコンポーネントを使用して、ハーモニック対非ハーモニック比（ＨｎＨＲ）を計算する（プロセスアクション３１４）。前に示したように、ＨｎＨＲは、入力フレームのスピーチ品質を示すものである。したがって、計算されたＨｎＨＲが、フレームのスピーチ品質の評価値として規定される（プロセスアクション３１６）。
【００３２】
１．３  ユーザへのフィードバック
前述したように、ＨｎＨＲは、この比を計算するために使用される単一チャネルオーディオ信号におけるユーザのスピーチの品質を示すものである。これは、ＨｎＨＲを使用して最小スピーチ品質閾値を設定する機会を提供し、最小スピーチ品質閾値未満では、信号におけるユーザのスピーチの品質が許容できないとみなされる。いくつかのアプリケーションは、他のアプリケーションよりも高い品質を必要とするので、実際の閾値は、アプリケーションに依存する。必要以上の実験なく、アプリケーションのために閾値を容易に設定することができるので、その設定について本明細書では詳細に説明はしない。しかしながら、ノイズのない状態を伴う一テスト実施例において、最小スピーチ品質閾値は、許容できる結果を伴って、１０ｄＢに主観的に設定された。
【００３３】
最小スピーチ品質閾値が与えられると、所定の数の連続するオーディオフレームがその閾値を超えない計算されたＨｎＨＲを有するときはいつでも、キャプチャされたオーディオ信号のスピーチ品質が許容できるレベルを下回るというフィードバックをユーザに提供することができる。このフィードバックは、任意の適切な形態で提供することができる。例えば、フィードバックは、視覚的、聴覚的、触覚的などとすることができる。フィードバックには、キャプチャされたオーディオ信号のスピーチ品質を改善するための、ユーザに対する指示を含めることもできる。例えば、一実施例において、フィードバックには、ユーザがオーディオキャプチャリングデバイスにより近づくよう要求することを含めることができる。
【００３４】
１．３．１  例示的なユーザフィードバックプロセス
（任意的な性質を示すため破線のボックスとして示される）フィードバックモジュール１２６の任意的な追加により、図１の前述のコンピューティングプログラムアーキテクチャを効果的に使用して、キャプチャされたオーディオ信号におけるユーザのスピーチの品質が所定の閾値を下回るかどうかに関するフィードバックをユーザに提供することができる。より詳細には、図４を参照して、キャプチャされた単一チャネルオーディオ信号における人間のスピーチの品質に関するフィードバックをオーディオスピーチキャプチャリングシステムのユーザに提供するためのプロセスの一実施例が提供される。
【００３５】
このプロセスは、キャプチャされたオーディオ信号を入力すること（プロセスアクション４００）により開始する。キャプチャされたオーディオ信号がモニタされ（プロセスアクション４０２）、オーディオ信号のスピーチ品質が所定の許容できるレベルを下回ったかどうかが周期的に判定される（プロセスアクション４０４）。オーディオ信号のスピーチ品質が所定の許容できるレベルを下回っていない場合、プロセスアクション４０２及び４０４が繰り返される。しかしながら、オーディオ信号のスピーチ品質が所定の許容できるレベルを下回ったと判定された場合、フィードバックがユーザに提供される（プロセスアクション４０６）。
【００３６】
オーディオ信号のスピーチ品質が所定の許容できるレベルを下回ったかどうかを判定するアクションは、図３を参照して説明した方法とほぼ同一の方法により実現される。より詳細には、図５Ａ〜図５Ｂを参照すると、そのようなプロセスの一実施例は、初めにオーディオ信号をオーディオフレームに分割することを含む（プロセスアクション５００）。オーディオ信号は、この例示的なプロセスのリアルタイム実施例においてキャプチャされているものとして入力することができることに留意されたい。以前に選択されていないオーディオフレームが、最も古いものから始まる時間順に選択される（プロセスアクション５０２）。フレームは、時間順に分割することができ、このプロセスのリアルタイム実施例において生成されるときに選択することができることに留意されたい。
【００３７】
次いで、選択されたフレームの基本周波数が推定される（プロセスアクション５０４）。フレームの周波数スペクトルを生成するために、選択されたフレームが、時間領域から周波数領域に変換される（プロセスアクション５０６）。次いで、所定の数の基本周波数の整数倍数の各々（すなわち、ハーモニック周波数）に対応する、選択されたフレームの周波数スペクトルにおける周波数の振幅及び位相が計算される（プロセスアクション５０８）。
【００３８】
次いで、振幅値及び位相値を使用して、選択されたフレームに関するサブハーモニック対ハーモニック比（ＳＨＲ）を計算する（プロセスアクション５１０）。次いで、基本周波数、並びに振幅値及び位相値とともにＳＨＲを使用して、選択されたフレームのハーモニックコンポーネントの表現を合成する（プロセスアクション５１２）。前述の振幅値及び位相値、並びに合成されたハーモニックコンポーネントが与えられると、次いで、選択されたフレームの非ハーモニックコンポーネントが計算される（プロセスアクション５１４）。次いで、ハーモニックコンポーネント及び非ハーモニックコンポーネントを使用して、選択されたフレームに関するハーモニック対非ハーモニック比（ＨｎＨＲ）を計算する（プロセスアクション５１６）。
【００３９】
次いで、選択されたフレームに関して計算されたＨｎＨＲが、所定の最小スピーチ品質閾値と等しいか、又は所定の最小スピーチ品質閾値を超えるかどうかが判定される（プロセスアクション５１８）。選択されたフレームに関して計算されたＨｎＨＲが、所定の最小スピーチ品質閾値と等しいか、又は所定の最小スピーチ品質閾値を超える場合、プロセスアクション５１２〜５１８が繰り返される。選択されたフレームに関して計算されたＨｎＨＲが、所定の最小スピーチ品質閾値未満の場合、プロセスアクション５２０において、所定の数の直近の先行するフレーム（例えば、３０個の先行するフレーム）に関して計算されたＨｎＨＲも、所定の最小スピーチ品質閾値未満であったかどうかが判定される。所定の数の直近の先行するフレームに関して計算されたＨｎＨＲが、所定の最小スピーチ品質閾値と等しいか、又は所定の最小スピーチ品質閾値を超える場合、プロセスアクション５０２〜５２０が繰り返される。しかしながら、所定の数の直近の先行するフレームに関して計算されたＨｎＨＲが、所定の最小スピーチ品質閾値未満の場合、オーディオ信号のスピーチ品質が所定の許容できるレベルを下回ったとみなされ、その旨のフィードバックが、ユーザに提供される（プロセスアクション５２２）。次いで、このプロセスがアクティブである限り、プロセスアクション５０２〜５２２が必要に応じて繰り返される。
【００４０】
２．０  例示的な動作環境
本明細書で説明したスピーチ品質評価技術の実施形態は、様々なタイプの汎用コンピューティングシステム環境若しくは構成、又は特殊目的コンピューティングシステム環境若しくは構成において動作可能である。図６は、様々な実施形態、及び本明細書で説明したスピーチ品質評価技術の実施形態の要素を実現することができる汎用コンピュータシステムの単純化された例を示している。図６の破線により表される任意のボックスが、単純化されたコンピューティングデバイスの代替実施形態を表しており、こうした代替実施形態のいずれか又は全てが、以下で説明されるように、本明細書を通じて説明される他の代替実施形態と組み合わせて使用できることに留意すべきである。
【００４１】
例えば、図６は、単純化されたコンピューティングデバイス１０を示す一般的なシステム図を示している。このようなコンピューティングデバイスは、通常、少なくとも最小演算能力を有するデバイスにおいて見つけることができる。このようなコンピューティングデバイスは、パーソナルコンピュータ（ＰＣ）、サーバコンピュータ、ハンドヘルドコンピューティングデバイス、ラップトップコンピュータ又はモバイルコンピュータ、携帯電話及びＰＤＡなどの通信デバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な民生電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、オーディオメディアプレーヤ又はビデオメディアプレーヤなどを含むが、これらに限定されるものではない。
【００４２】
デバイスが本明細書で説明したスピーチ品質評価技術の実施形態を実現することを可能にするために、デバイスは、十分な演算能力と、基本的な演算動作を可能にするシステムメモリとを有するべきである。特に、図６に示されるように、演算能力は、一般に、１以上の処理ユニット１２により示されており、１以上のＧＰＵ１４を含んでもよい。それらの一方又は両方が、システムメモリ１６と通信する。一般的なコンピューティングデバイスの１以上の処理ユニット１２は、ＤＳＰ、ＶＬＩＷ、又は他のマイクロコントローラなどの専用マイクロプロセッサであってもよいし、マルチコアＣＰＵ内に専用ＧＰＵベースコアを含む１以上の処理コアを有する従来型のＣＰＵであってもよいことに留意されたい。
【００４３】
さらに、図６の単純化されたコンピューティングデバイスは、例えば、通信インターフェース１８などの他のコンポーネントを含んでもよい。図６の単純化されたコンピューティングデバイスは、１以上の従来型のコンピュータ入力デバイス２０（例えば、ポインティングデバイス、キーボード、オーディオ入力デバイス、ビデオ入力デバイス、触覚入力デバイス、有線または無線データ伝送を受け取るためのデバイスなど）を含んでもよい。図６の単純化されたコンピューティングデバイスは、例えば、１以上の従来型のディスプレイデバイス２４や他のコンピュータ出力デバイス２２（例えば、オーディオ出力デバイス、ビデオ出力デバイス、有線または無線データ伝送を送信するためのデバイスなど）などの他のオプションのコンポーネントを含んでもよい。汎用コンピュータ向けの一般的な通信インターフェース１８、入力デバイス２０、出力デバイス２２、及びストレージデバイス２６は、当業者にはよく知られたものであり、本明細書では詳細に説明しないことに留意されたい。
【００４４】
図６の単純化されたコンピューティングデバイスは、様々なコンピュータ読み取り可能な媒体を含んでもよい。コンピュータ読み取り可能な媒体は、ストレージデバイス２６を介してコンピュータ１０によりアクセスすることができる任意の利用可能な媒体とすることができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な命令又はコンピュータ実行可能な命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するための、着脱可能なストレージ２８及び／又は着脱不可能なストレージ３０である揮発性媒体及び不揮発性媒体の両方を含む。例えば、コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体及び通信媒体を含み得るが、これらに限定されるものではない。コンピュータ記憶媒体は、コンピュータ読み取り可能な媒体若しくはマシン読み取り可能な媒体、又はストレージデバイスを含むが、これらに限定されるものではない。コンピュータ読み取り可能な媒体若しくはマシン読み取り可能な媒体、又はストレージデバイスとして、例えば、ＤＶＤ、ＣＤ、フロッピディスク、テープドライブ、ハードドライブ、光ドライブ、ソリッドステートメモリデバイス、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、又は所望の情報を記憶するために使用でき１以上のコンピューティングデバイスによりアクセスすることができる任意の他のデバイスがある。
【００４５】
コンピュータ読み取り可能な命令又はコンピュータ実行可能な命令、データ構造、プログラムモジュールなどの情報の保持は、前述の様々な通信媒体のいずれかを使用して、１以上の変調されたデータ信号、搬送波、他の伝送メカニズム、又は通信プロトコルを符号化することによっても実現され得、任意の有線又は無線情報配信メカニズムを含む。用語「変調されたデータ信号」又は「搬送波」は、一般に、信号中に情報を符号化するような方法により設定又は変更された１以上の特性を有する信号を意味する。例えば、通信媒体は、１以上の変調されたデータ信号を運ぶ有線ネットワーク又は直接配線接続などの有線媒体と、音響、ＲＦ、赤外線、レーザ、及び１以上の変調されたデータ信号又は搬送波を送信及び／又は受信するための他の無線媒体などの無線媒体とを含む。上記の任意の組合せもまた、通信媒体の範囲内に含まれるべきである。
【００４６】
さらに、本明細書で説明した様々なスピーチ品質評価技術の実施形態のうちのいくつか又は全てを具現化するソフトウェア、プログラム、及び／又はコンピュータプログラム製品、又はその一部は、コンピュータ読み取り可能な媒体若しくはマシン読み取り可能な媒体、又はストレージデバイスと、通信媒体との任意の所望の組合せに対して、コンピュータ実行可能な命令又は他のデータ構造の形態で記憶でき、受信でき、送信でき、又は、読み取ることできる。
【００４７】
最後に、本明細書で説明したスピーチ品質評価技術の実施形態は、コンピューティングデバイスにより実行されるプログラムモジュールなどのコンピュータ実行可能な命令の一般的なコンテキストにおいて、さらに説明され得る。一般に、プログラムモジュールは、特定のタスクを実行するか、又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。本明細書で説明した実施形態は、１以上のリモート処理デバイスによりタスクが実行される、又は１以上の通信ネットワークを介してリンクされる１以上のデバイスのクラウド内でタスクが実行される分散コンピューティング環境においても実現され得る。分散コンピューティング環境においては、プログラムモジュールは、媒体ストレージデバイスを含む、ローカルコンピュータ記憶媒体及びリモートコンピュータ記憶媒体の両方に配置され得る。さらに、前述の命令は、部分的に又は全体として、プロセッサを含み得る又は含み得ないハードウェア論理回路として実現され得る。
【００４８】
３．０  他の実施形態
これまで説明したスピーチ品質評価技術の実施形態は、キャプチャされたオーディオ信号から導出された各フレームを処理したが、このようである必要はない。一実施形態において、各オーディオフレームが処理される前に、ＶＡＤ技術を使用して、フレームに関連付けられた信号のパワーが所定の最小パワー閾値よりも小さいかどうかを判定することができる。フレームの信号のパワーが所定の最小パワー閾値よりも小さい場合、フレームは、音声アクティビティを有していないとみなされ、さらなる処理から取り除かれる。これは、低減した処理コスト及び高速の処理をもたらし得る。残響テールに関連付けられたハーモニック周波数のほとんどが通常所定の最小パワー閾値を超えるように、所定の最小パワー閾値は設定されることに留意されたい。それにより、前に説明した理由でテールハーモニックを防ぐことができる。一実施例において、所定の最小パワー閾値は、平均信号パワーの３％に設定される。
【００４９】
本記載を通じた前述の実施形態のいずれか又は全てが、追加の合成実施形態を形成するために所望の組み合わせで使用され得ることに留意されたい。さらに、主題が構造的特徴及び／又は方法論的動作に特有の言葉で説明されてきたが、添付の特許請求の範囲において定められる主題は、上述された特定の特徴又は動作に必ずしも限定されないことを理解されたい。むしろ、上述の特定の特徴及び動作は、請求項を実施する例示的形態として開示されたものである。
【図１】
2015500511.tif 000034
【図２】
2015500511.tif 000035
【図３】
2015500511.tif 000036
【図４】
2015500511.tif 000037
【図５Ａ】
2015500511.tif 000038
【図５Ｂ】
2015500511.tif 000039
【図６】
2015500511.tif 000040
【国際調査報告】
2015500511.tif 000041
2015500511.tif 000042