(57)【要約】  一実施形態では、受信された音声信号における歪みが、主観的品質評価データに基づいて訓練された少なくとも１つのモデルを使用して推定される。次に、受信された音声信号に関する音声品質評価が、推定された歪みに基づいて判定される。
2009500952.tif 000002
【特許請求の範囲】
【請求項１】
受信された音声信号における歪みを、主観的品質評価データに基づいて訓練された少なくとも１つのモデルを使用して推定すること、および
前記受信された音声信号に関する音声品質評価を、前記推定された歪みに基づいて判定することを含む音声品質評価方法。
【請求項２】
前記推定する工程は、前記主観的品質評価データに基づいて訓練された第１のモデルを使用して、前記受信された音声信号における音声歪みを推定することを含む請求項１に記載の方法。
【請求項３】
前記推定する工程は、前記主観的品質評価データに基づいて訓練された前記第１のモデルを使用して、前記受信された音声信号における背景雑音歪みを推定することを含む請求項２に記載の方法。
【請求項４】
前記受信された音声信号から平均調音パワーおよび平均非調音パワーを算出することをさらに含み、
前記音声歪みを推定する工程は、前記算出された平均調音パワー、前記算出された平均非調音パワー、および前記第１のモデルを使用して前記音声歪みを推定し、
前記背景雑音歪みを推定する工程は、前記算出された平均調音パワー、前記算出された平均非調音パワー、および前記第１のモデルを使用して前記背景雑音歪みを推定する請求項３に記載の方法。
【請求項５】
前記推定する工程は、前記主観的品質評価データに基づいて訓練された第２のモデルを使用して、前記受信された音声信号の中のミュートによって生じた歪みを推定することを含む請求項３に記載の方法。
【請求項６】
前記検出されたミュートによって生じた歪みを前記推定する工程は、前記受信された音声信号の中でより後期のミュートが、前記受信された音声信号の中でより早期のミュートより大きい影響を及ぼすように前記ミュート歪みを推定する請求項５に記載の方法。
【請求項７】
前記推定する工程は、主観的品質評価データに基づいて訓練されたモデルを使用して、前記受信された音声信号におけるミュート歪みを推定することを含む請求項１に記載の方法。
【請求項８】
前記判定する工程は、前記推定された歪みを主観的品質評価メトリックにマップする請求項１に記載の方法。
【請求項９】
主観的品質評価データに基づいて訓練された少なくとも１つのモデルを使用して、受信された音声信号における歪みを推定する少なくとも１つのエスティメータと、
前記推定された歪みを音声品質メトリックにマップするマッピング・ユニットとを含む音声品質評価のための装置。
【請求項１０】
品質評価システムを訓練する方法であって、
第１の主観的品質評価データを使用して、前記システムの第２の歪み推定パスからの影響を排除しながら、前記システムの第１の歪み推定パスを訓練し、前記第１の主観的品質評価データは、第１の音声信号と、第１の関連する主観的品質メトリックとを含み、前記第１の音声信号には、ミュート歪みが欠如していること、
第２の主観的品質評価データを使用して、前記システムの第２の歪み推定パスを訓練し、前記第２の主観的品質評価データは、第２の音声信号と、第２の関連する主観的品質メトリックとを含み、前記第２の音声信号は、ミュート歪みを含むこと、および
前記第１及び第２の品質評価データを使用して、前記第２の歪みパスの影響を含めながら、前記第１の歪みパスを再訓練すること、
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声品質評価に関する。
【背景技術】
【０００２】
最新の電気通信ネットワークが、より複雑になり、回線交換網から、ＶｏＩＰ（ボイス・オーバー・インターネット・プロトコル）などのパケット・ベースのネットワークに進化するにつれ、知覚される音声品質に影響を及ぼす新たなタイプの歪みに直面している。このため、稼動中のネットワークのＱｏＳ（サービス品質）を維持し、向上させることは、引き続き重要な問題である。現行の技術では、主観的音声品質評価が、最も信頼でき、音声品質を評価するための一般に受け入れられているやり方である。主観的音声品質評価では、人間の聴取者が、処理済みの音声の音声品質を格付けするのに使用され、処理済みの音声とは、受信機において処理されている、例えば、復号されている伝送された音声信号である。この技術は、個別の人間の知覚に基づくため、主観的である。しかし、主観的音声品質評価は、十分に大きい数の音声サンプルおよび聴取者が、統計的に信頼できる結果を得るのに必要であるため、費用が高く、時間のかかる技術である。例えば、１から５までの段階で音声品質を格付けする、これらの主観的結果が平均されて、ＭＯＳ（平均オピニオン評点）が得られる。
【０００３】
客観的音声品質評価が、音声品質を評価するための別の技術である。主観的音声品質評価とは異なり、客観的音声品質評価は、個別の人間の知覚には基づかない。客観的音声品質評価は、２つのタイプのいずれかであることが可能である。第１のタイプの客観的音声品質評価は、知られているソース音声に基づき、しばしば、侵入的評価と呼ばれる。この第１のタイプの客観的音声品質評価では、例えば、移動局が、知られているソース音声から導き出された、例えば、符号化された音声信号を伝送する。伝送された音声信号が、受信され、処理され、その後、記録される。記録された処理済みの音声信号は、ＰＥＳＱ（音声品質の知覚評価）などの、よく知られている音声評価技術を使用して、知られているソース音声と比較されて、音声品質が判定される。ソース音声信号が、知られていない場合、または伝送された音声信号が、知られているソース音声から導き出されていない場合、この第１のタイプの客観的音声品質評価は、利用することができない。
【０００４】
第２のタイプの客観的音声品質評価は、知られているソース音声には基づかず、非侵入的評価、シングルエンド評価、または出力ベースの評価と呼ばれる。この第２のタイプの客観的音声品質評価のほとんどの実施形態には、処理済みの音声からソース音声を推定し、次に、よく知られている音声評価技術を使用して、その推定されたソース音声を処理済みの音声と比較することがかかわる。非侵入的な方法は、現実の応用例において、例えば、ソース音声信号が利用できない場合に稼動中のネットワークの音声品質を監視する応用例において、大きい可能性を有する。劣化していないソース音声データベースから導き出された符号語からの、劣化した音声信号の特徴ベクトルの偏差を測定することによる、または電気通信ネットワーク歪みに対する感度のよい声道モデルのパラメータ化により、非侵入的測定システムを構築する、いくつかの試みが、行われている。最近、ＩＴＵ−Ｔにおいて、Ｐ．ＳＥＡＭ（Ｓｉｎｇｌｅ−Ｅｎｄｅｄ  Ａｓｓｅｓｓｍｅｎｔ  Ｍｏｄｅｌ）と呼ばれる標準化活動が、音声品質の非侵入的推定のためのアルゴリズムを標準化するように創設された。いくつかのモデルが、提案され、それらのモデルの１つが、標準勧告Ｐ．５６３として採用された。しかし、ＩＴＵ−Ｔ  Ｐ．５６３モデルは、このモデルの開発において使用される、知られているＭＯＳデータに関してさえ、非常に限られたパフォーマンス、すなわち、２４回のＭＯＳ試験に関して、主観的評点と客観的評点との間で平均、約０．８８の相関を示す。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、客観的音声品質評価を提供する。
【課題を解決するための手段】
【０００６】
一実施形態では、受信された音声信号における歪みが、主観的品質評価データに基づいて訓練された少なくとも１つのモデルを使用して推定される。次に、受信された音声信号に関する音声品質評価が、推定された歪みに基づいて判定される。
例えば、推定する工程は、主観的品質評価データに基づいて訓練された第１のモデルを使用して、受信された音声信号における音声歪みを推定することを含むことが可能である。推定する工程は、主観的品質評価データに基づいて訓練された第１のモデルを使用して、受信された音声信号における背景雑音歪みを推定することをさらに含むことが可能である。
【０００７】
第１のモデルは、音声信号における歪みの主観的判定をモデル化することが可能である。
また、推定する工程は、主観的品質評価データに基づいて訓練された第２のモデルを使用して、受信された音声信号におけるミュートによって生じた歪みを評価することをさらに含むことも可能である。
【０００８】
本発明の別の実施形態では、音声品質評価のための装置が、主観的品質評価データに基づいて訓練された少なくとも１つのモデルを使用して、受信された音声信号における歪みを推定する少なくとも１つのエスティメータと、推定された歪みを音声品質メトリックにマップするマッピング・ユニットとを含む。
【０００９】
本発明のさらに別の実施形態は、フレーム歪みを推定する方法を提供する。この実施形態では、受信された信号における音声歪みが、主観的品質評価データに基づいて訓練されたモデルを使用して推定され、受信された信号における背景雑音歪みが、主観的品質評価データに基づいて訓練されたモデルを使用して推定される。推定された音声歪みと推定された背景雑音歪みが組み合わされて、フレーム歪み推定値が得られる。
【００１０】
本発明のさらなる実施形態は、ミュート歪みを推定する方法を提供する。この実施形態では、受信された音声信号におけるミュートが、検出され、検出されたミュートによって生じた歪みが、主観的品質評価データに基づいて訓練されたモデルを使用して評価される。
【００１１】
本発明は、品質評価システムを訓練する方法をさらに含む。一実施形態では、方法は、第１の主観的品質評価データを使用して、システムの第２の歪み推定パスからの影響を排除しながら、システムの第１の歪み推定パスを訓練することを含む。第１の主観的品質評価データは、第１の音声信号と、第１の関連する主観的品質メトリックとを含み、第１の音声信号には、ミュート歪みが欠如している。次に、システムの第２の歪み推定パスが、第２の主観的品質評価データを使用して訓練される。第２の主観的品質評価データは、第２の音声信号と、第２の関連する主観的品質メトリックとを含み、第２の音声信号は、ミュート歪みを含む。次に、第１の歪みパスが、第２の歪みパスの影響を含みながら、第１の品質評価データ、および第２の品質評価データを使用して再訓練される。
【００１２】
本発明は、後段で与えられる詳細な説明、および単に例として与えられる添付の図面から、より完全に理解されよう。図面では、同様の符号は、様々な図面において対応する部分を示す。
【発明を実施するための最良の形態】
【００１３】
図１は、本発明の実施形態による音声品質評価システムのブロック図を示す。図示されるとおり、フィルタ１０が、音声信号ｘ（ｎ）に対してレベル正規化、および変形ＲＸ−ＩＲＳ（受信中間基準システム）フィルタリングを実行する。フィルタ１０は、よく知られているＰ．５６音声電圧計を使用して、音声信号ｘ（ｎ）を２６ｄＢｏｖに正規化する。次に、主観的リスト試験において使用されるハンドセットの特性を反映する、よく知られているＲＸ−ＩＲＳフィルタリングが、フィルタ１０によって適用される。正規化とＲＸ−ＩＲＳフィルタリングはともに、よく知られているため、これらの動作を詳細に説明することはしない。
【００１４】
正規化され、フィルタリングされた音声信号は、調音解析ユニット１２による調音解析を受ける。調音解析ユニット１２は、特徴ベクトルを生成し、特徴ベクトルのそれぞれは、自然な人間音声と関係のある信号成分を反映する平均調音パワー成分と、人間の調音系の速度を超えたレートで生成される知覚的にうるさい歪みを反映する平均非調音パワー成分とを含む。次に、フレーム歪みエスティメータ１４が、各フレームｍに関する特徴ベクトルに基づき、各フレームｍに関する音声歪みおよび背景雑音歪みを推定する。フレーム歪みエスティメータ１４は、いくつかのフレームに関する音声歪みおよび背景歪みを蓄積し、蓄積された音声歪みおよび背景雑音歪みを正規化して、フレーム歪みをもたらす。フレーム歪みエスティメータ１４の動作は、後段で詳細に説明する。
【００１５】
また、フィルタ１０からのフィルタリングされた音声信号は、ミュート検出ユニット１６にも供給される。ミュート検出ユニット１６は、例えば、パケット損失によって生じる予期されない、不要な休止であるミュートを検出する。より具体的には、ミュート検出ユニット１６は、ミュートの時間的な位置、およびミュートの長さ（深度とも呼ばれる）を検出する。ミュート検出ユニット１６の動作は、後段で詳細に説明する。
【００１６】
ミュート歪みエスティメータ１８が、ミュート検出ユニット１６から情報を受け取り、ミュートによって生じる知覚的歪み（以降、「ミュート歪み」と呼ぶ）を推定する。ミュート歪みエスティメータ１８の動作は、後段で詳細に説明する。
【００１７】
コンバイナ２０が、フレーム歪み推定値とミュート歪み推定値を組み合わせて、客観的歪み推定値を生成する。マッピング・ユニット２２が、その客観的歪み推定値を、ＭＯＳなどの、対応する主観的音声品質性能指数にマップする。例えば、マッピング・ユニット２２は、客観的歪み推定値をＭＯＳに変換するためのルックアップ・テーブルを格納することができる。ルックアップ・テーブルの中の歪み推定ポイント間にある値に関しては、補間が実行されて、ＭＯＳが得られることが可能である。図２は、ルックアップ・テーブルによって表されるＭＯＳに対する推定された客観的歪みの曲線を示す。代替として、マッピング・ユニット２２は、図２における曲線を特徴付ける数式を格納し、推定された客観的歪みを入力として、その数式に適用して、結果のＭＯＳを得てもよい。例えば、図２に関して、ＭＯＳ値Ｑｘは、（−３．５＊客観的歪み推定値＋４．５）に等しく、最大ＭＯＳが、４．５であり、最小ＭＯＳが、１．０であるようになっていてもよい。
次に、調音解析ユニット１２、フレーム歪みエスティメータ１４、ミュート検出ユニット１６、およびミュート歪みエスティメータ１８の動作を説明する。
【００１８】
（調音解析ユニット）
図３は、本発明の実施形態による図１の調音解析ユニットにおいて使用される音声品質評価構成を示す。この音声品質評価構成は、蝸牛フィルタバンク２、エンベロープ解析モジュール４、および調音解析モジュール６から成る。この音声品質評価構成において、正規化され、ＲＸ−ＩＲＳフィルタリングされた音声信号ｓ（ｔ）が、蝸牛フィルタバンク２に入力として与えられる。蝸牛フィルタバンク２は、末梢聴覚系の第１の段階に従って音声信号ｓ（ｔ）を処理するための複数の蝸牛フィルタｈｉ（ｔ）を含み、ただし、ｉ＝１，２，．．．，ＮＣは、特定の蝸牛フィルタ・チャネルを表し、ＮＣは、蝸牛フィルタ・チャネルの総数を表す。具体的には、蝸牛フィルタバンク２は、音声信号ｓ（ｔ）をフィルタリングして、複数の臨界帯域信号ｓｉ（ｔ）をもたらし、臨界帯域信号ｓｉ（ｔ）は、ｓ（ｔ）＊ｈｉ（ｔ）に等しい。
複数の臨界帯域信号ｓｉ（ｔ）は、エンベロープ解析モジュール４に入力として与えられる。エンベロープ解析モジュール４において、複数の臨界帯域信号ｓｉ（ｔ）は、処理されて、複数のエンベロープａｉ（ｔ）が得られ、ただし、
【数１】
2009500952.tif 000003
および
【数２】
2009500952.tif 000004
は、ｓｉ（ｔ）のヒルベルト変換である。
【００１９】
次に、複数のエンベロープａｉ（ｔ）が入力として調音解析モジュール６に与えられる。調音解析モジュール６において、複数のエンベロープａｉ（ｔ）が処理されて、音声信号ｓ（ｔ）に関する音声品質評価が得られる。具体的には、調音解析モジュール６は、人間の調音系からは生成されていない信号に関連するパワー（以降、「非調音パワーＰＮＡ（ｍ，ｉ）」と呼ぶ）を伴う、人間の調音系から生成された信号に関連するパワー（以降、「調音パワーＰＡ（ｍ，ｉ）」と呼ぶ）に基づいて、特徴ベクトルを生成する。
【００２０】
図４は、本発明の一実施形態による調音解析モジュール６において複数のエンベロープａｉ（ｔ）を処理するための流れ図２００を示す。工程２１０で、複数のエンベロープａｉ（ｔ）の各エンベロープのフレームｍに対してフーリエ変換が実行されて、変調スペクトルＡｉ（ｍ，ｆ）が生成され、ただし、ｆは、周波数である。
【００２１】
図５は、パワー対周波数の点で変調スペクトルＡｉ（ｍ，ｆ）を示す例を示す。図示されるとおり、調音パワーＰＡ（ｍ，ｉ）は、周波数２〜３０Ｈｚに関連するパワーであり、非調音パワーＰＮＡ（ｍ，ｉ）は、３０Ｈｚを超える周波数に関連するパワーである。２Ｈｚ未満の周波数に関連するパワーＰＮｏ（ｍ，ｉ）は、臨界帯域信号ｓｉ（ｔ）のフレームｍのＤＣ成分である。この例では、調音パワーＰＡ（ｍ，ｉ）は、人間の調音の速度が、２〜３０Ｈｚであり、調音パワーＰＡ（ｍ，ｉ）に関連する周波数範囲と非調音パワーＰＮＡ（ｍ，ｉ）に関連する周波数範囲（以降、それぞれ、「調音周波数範囲」および「非調音周波数範囲」と呼ぶ）が、隣接した、重なり合わない周波数範囲であるという事実に基づき、周波数２〜３０Ｈｚに関連するパワーとして選択される。本明細書の目的として、「調音パワーＰＡ（ｍ，ｉ）」という用語は、人間の調音の周波数範囲、または前述した周波数範囲２〜３０Ｈｚに限定されるべきではないことを理解されたい。同様に、「非調音パワーＰＮＡ（ｍ，ｉ）」という用語も、調音パワーＰＡ（ｍ，ｉ）に関連する周波数範囲を超える周波数範囲に限定されるべきではない。非調音周波数範囲は、調音周波数範囲と重なり合っていても、重なり合っていなくても、隣接していても、隣接していなくてもよい。非調音周波数範囲は、臨界帯域信号ｓｉ（ｔ）のフレームｍのＤＣ成分に関連する周波数などの、調音周波数範囲における最低の周波数より低い周波数も含むことが可能である。
【００２２】
次に、特徴ベクトルζｋ（ｍ）が、以下のとおり定義される。すなわち、
【数３】
2009500952.tif 000005
は、自然な人間音声と関係のある信号成分を反映する平均調音パワーであり、
【数４】
2009500952.tif 000006
は、人間の調音系の速度を超えるレートで生成される知覚的にうるさい歪みを表す平均非調音パワーである。人間の調音系の動きの速度に対応する２〜３０Ｈｚの周波数範囲を扱うため、数式（２）および（３）におけるＬＡは、例えば、４として設定される。平均非調音パワーΨｋ，Ｎ（ｍ）の計算のために、第（ＬＡ＋１）番の帯域からＬＮ（ｋ）番の帯域までの変調帯域パワーが、数式（３）において見ることができるとおり、考慮される。このことは、非調音パワーを推定する際の最高の変調周波数が、異なる臨界帯域に関して異なるように選択されることを意味する（ＬＮは、ｋの関数であることに留意されたい）。このことの理由は、臨界帯域エンベロープ検出器の上限カットオフ周波数に関してＧｈｉｔｚａによって実行された調査に基づく。Ｇｈｉｔｚａの心理学的実験では、所与の聴覚チャネルにおいて、音声品質を保つのに要求されるエンベロープ情報の最小帯域幅は、そのチャネルの臨界帯域幅のおおよそ１／２であることが示された。このことは、臨界帯域幅の半分までの変調周波数成分だけしか、音声品質の知覚と関係していないことを暗示する。このため、ＬＮ（ｋ）は、Ψｋ，Ｎ（ｍ）を計算する際に考慮される変調フィルタ・チャネルが、臨界帯域幅の約半分までを範囲に含むように決定される。
【００２３】
（フレーム歪みエスティメータ）
フレーム歪みエスティメータ１４は、調音解析ユニット１２から、各フレームｍに関する特徴ベクトルζｋ（ｍ）を受け取る。各フレームに関する特徴ベクトルを、ニューラル・ネットワーク、例えば、フレーム歪みエスティメータ１４の一部分を形成する多層パーセプトロンへの入力として使用することにより、各フレームの客観的歪みが、多層パーセプトロンによって推定される。図６は、フレーム歪みエスティメータ１４において使用されるような多層パーセプトロンの例を示す。第ｍ番のフレームζｋ（ｍ）における入力ベクトルに関する多層パーセプトロンの出力Ｏ（ｍ）は、以下のとおり表現される。すなわち、
【数５】
2009500952.tif 000007
ただし、ｗｊｋおよびＷｊは、それぞれ、入力層および隠れ層に関する結合加重であり、ｇ（ｘ）は、非線形シグモイド関数である。音声Ｄｓ（ｍ）に関する第ｍ番のフレーム歪みが、時間とともに蓄積され、次に、音声フレームの総数ＴＳによって正規化されて、音声歪みＤｓが見出される。また、背景雑音も、音声の知覚される品質に影響を及ぼすので、フレーム歪みＤｖが、以下によって表現されるとおり、音声歪みＤｓと背景雑音歪みＤｂ（やはり、蓄積され、背景雑音フレーム、つまり、非調音フレームの総数Ｔｂによって正規化される）の合計によってモデル化される。すなわち、
【数６】
2009500952.tif 000008
ただし、Ｐｂ（ｍ）は、第ｍ番のフレームにおける信号のエネルギーであり、Ｐｔｈは、可聴の背景雑音に関する閾値であり、ＴｓおよびＴｂは、それぞれ、音声に関するフレームの数、および背景雑音に関するフレームの数である。
【００２４】
理解されるとおり、フレーム歪みエスティメータ１４は、この実施形態における多層パーセプトロンである、ニューラル・ネットワークであるため、ニューラル・ネットワークは、意味のある出力を生成するように訓練される。フレーム歪みエスティメータ１４の訓練は、後段で詳細に説明する。
【００２５】
（ミュート検出ユニット）
最新の電気通信ネットワークは、ますます複雑になっている。既存の従来のＰＳＴＮ（公衆交換電話網）に加え、ＧＳＭ（ｇｌｏｂａｌ  ｓｙｓｔｅｍ  ｆｏｒ  ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＣＤＭＡ（符号分割多元接続）、ＵＭＴＳ（ｕｎｉｖｅｒｓａｌ  ｍｏｂｉｌｅ  ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｓｙｓｔｅｍ）、およびＶｏＩＰ（ボイス・オーバー・インターネット・プロトコル）などの、様々なタイプのネットワークが、日常生活において広く使用されており、あるいは、もうすぐ世界中で展開されようとしている。電話網が、回線交換網からパケット網（特に、ＶｏＩＰのための）に進化するなかで、パケット損失および遅延ジッタが、伝送される音声品質を低下させる重大な歪みのタイプである。これらのタイプの歪みは、しばしば、音声信号における不要なミュートをもたらす。
【００２６】
ミュート検出ユニット１６において、フレーム対数パワーが、以下のとおり、４ミリ秒ごとに計算される。すなわち、
【数７】
2009500952.tif 000009
ただし、ｓ（ｌ；ｎ）は、フィルタ１０の出力であるｓ（ｎ）の第ｌ番のフレーム信号であり、ｈｗ（ｎ）は、長さ６４（＝８ｋＨｚのサンプリング・レートに関して８ミリ秒）のハミング窓である。ｅ（ｌ）の時間微分が、以下のとおり、得られる。すなわち、
【数８】
2009500952.tif 000010
【００２７】
音声活動プロファイルが、ｅ（ｌ）の値を使用することによって生成される。図７は、時間につれての音声活動に関するプロファイルの説明的な例を示す。図示されるとおり、Ｖｉは、音声活動の時間であり、Ｇｉ−ｌ，ｉは、隣接する２つの音声活動Ｖｉ−１とＶｉの間の間隙である。
Ｖｉの終わりに位置するフレームｌＭは、以下の条件が満たされる場合、異常な突然の停止として識別される。すなわち、
Δｅ（ｌＭ）＜Δｅｓｔｏｐ＝−７
Ｌｓｔｏｐ（Ｚｓｔｏｐ（ｌＭ））≧Ｌｔｈ，ｓｔｏｐ＝０．５５  （８）
ただし、Ｌｓｔｏｐ（Ｚｓｔｏｐ（ｌＭ））は、Ｚｓｔｏｐ（ｌＭ）を、２つの時間インスタンスｌＭ、およびｌＭより１５ミリ秒前において抽出された入力特徴ベクトルとする異常な停止に関するニューラル・ネットワーク検出器の出力である。各時間フレームに関して、１２次のＭＦＣＣ（メル周波数ケプストラル係数）および有声率が、３０ミリ秒の解析長で得られて、入力特徴ベクトルＺｓｔｏｐ（ｌＭ）の次元が２６にされる。有声率は、音声のセグメントが、いくつかの周期的成分を含むかを示し、以下のとおり、５０〜４００Ｈｚのピッチ周期範囲（時間サンプルにおいて２０〜１６０に相当する）内の正規化された自己相関として定義される。すなわち、
【数９】
2009500952.tif 000011
【００２８】
ニューラル・ネットワーク検出器は、後段で詳細に説明されるとおり、訓練データベース上で訓練される多層パーセプトロンである。
Ｖｉの始めに位置するフレームｌＭは、以下の条件が満たされる場合、異常な突然の停止として識別される。すなわち、
Δｅ（ｌＭ）＞Δｅｓｔａｒｔ＝１３
Ｌｓｔａｒｔ（Ｚｓｔａｒｔ（ｌＭ））≧Ｌｔｈ，ｓｔａｒｔ＝０．５５  （１０）
ただし、Ｌｓｔａｒｔ（Ｚｓｔａｒｔ（ｌＭ））は、Ｚｓｔａｒｔ（ｌＭ）を、２つの時間インスタンスｌＭ、およびｌＭより１５ミリ秒後において抽出された入力特徴ベクトルとする異常な開始に関するニューラル・ネットワーク検出器の出力である。各時間フレームに関して、１２次のＭＦＣＣ（メル周波数ケプストラル係数）、（９）において定義された有声率、およびスペクトル中心が、３０ミリ秒の解析長で得られる。スペクトル中心は、
【数１０】
2009500952.tif 000012
として定義され、ただし、｜Ｘ（ｋ）｜は、音声セグメントのＦＦＴ振幅である。異常な停止に関するニューラル・ネットワーク検出器、および異常な開始に関するニューラル・ネットワーク検出器はそれぞれ、多層パーセプトロンであることが可能である。例えば、突然の停止に関するニューラル・ネットワークは、２６の入力ニューロンと、少なくとも１つの隠れ層と、１つの出力ニューロンとを有することが可能である。このネットワークは、突然の停止が存在する場合、「１」を出力としてもたらし、その他の場合、「０」をもたらすように訓練される。誤差費用関数の勾配を利用する従来の誤差逆伝播アルゴリズムなどの、任意のよく知られた訓練アルゴリズムが、使用されることが可能である。突然の開始に関するニューラル・ネットワークも、突然の開始に関して「１」をもたらし、それ以外の場合、「０」をもたらすように、同じように構築されて、訓練されることが可能である。
【００２９】
（ミュート歪みエスティメータ）
最近の実験は、人間が、音声の品質を、時間をかけて継続的に評価する可能性があること、および知覚される全体的品質に、いくらかの新近性効果があることも明らかにしている。すなわち、歪み（例えば、不要なミュート）が新しいほど、音声品質に及ぼす影響は、大きい。このことは、生物学的な短期記憶と関係しており、最近の事象が、過去の事象より大きい役割を果たすことを意味する。知られている機構は、全く存在しないものの、本発明のこの実施形態によるモデルは、ミュートの影響を、瞬間的な歪みの後に、短期記憶効果をシミュレートする減衰が続く組み合わせとしてモデル化する。したがって、後段で示すとおり、ミュート、およびミュートの時間を考慮に入れることに加え、ミュート歪みエスティメータ１８は、ミュート歪みを推定する際に、新近性効果も考慮に入れる。
【００３０】
音声信号が、Ｋ個のミュートを含み、ｔｉ、ｉ＝１，２，．．．，Ｍが、各ミュートが終了する時間インスタンスであるものと想定されたい。ミュートによって生じる客観的歪みは、ミュート歪みエスティメータ１８によって以下のとおり、モデル化される。すなわち、
【数１１】
2009500952.tif 000013
ただし、ｕ（ｘ）は、ｘ≧０の場合に１であり、ｘ＜０の場合に０である単位ステップ関数であり、ｈｉは、時刻ｔｉにおける第ｉ番のミュートの瞬間的歪みであり、Ｔは、音声信号の時間的な長さであり、τは、時間につれてのミュート事象の影響の減衰に関する時定数である。各ミュートに関して、知覚される歪みは、そのミュート事象の終わりにｈｉという量だけ増加され、時間とともに時定数τで減衰する。すなわち、数式（１２）が示すとおり、ミュート事象が新しいほど、推定されるミュート歪みＤＭに与える影響が大きい。
第ｉ番のミュートｈｉの瞬間的歪みは、以下によって推定される。すなわち、
ｈｉ＝ｐ１ｌｏｇ（Ｌｉ）＋ｐ２  （１３）
ただし、Ｌｉは、第ｉ番のミュートの長さであり、ｐ１およびｐ２は、後段で詳細に説明するとおり、訓練データから決定される定数である。
【００３１】
（フレーム歪みエスティメータおよびミュート歪みエスティメータを訓練すること）
図８Ａ〜図８Ｃは、フレーム歪みエスティメータ１４およびミュート歪みエスティメータ１８の訓練を示す。図８Ａは、フレーム歪みエスティメータ１４が初期に訓練される訓練プロセスにおける第１の工程を示す。したがって、この訓練プロセスに関与しない図１の要素は、簡明のために示されていない（例えば、ミュート検出ユニット１６、ミュート歪みエスティメータ１８、コンバイナ２０、およびマッピング・ユニット２２）。図示されるとおり、データベース２４が、提供されている。データベース２４は、複数の音声信号と、よく知られているやり方で決定された関連する主観的ＭＯＳとを含む。データベース２４の中の音声信号は、歪みを含む可能性があるが、時間的不連続性（例えば、ミュート）歪みは、含まない。
【００３２】
データベースの中の各音声信号（または音声信号の少なくともサブセット）が、フィルタ１０に供給される。対応する主観的ＭＯＳが、逆マッピング・ユニット３０に供給され、ユニット３０は、そのＭＯＳを主観的歪みに変換する。逆マッピング・ユニット３０の変換動作は、マッピング・ユニット２２によって実行される変換動作の逆である。したがって、逆マッピング・ユニット３０は、ルックアップ・テーブル、数式などを使用して変換を実行する。例えば、図２を参照すると、逆マッピングの数式は、主観的歪みが、−（ｍｉｎ（ＭＯＳ（ｐ），４．５）−４．５）／３．５に等しいことであることが可能であり、ただし、ＭＯＳ（ｐ）は、データベースの中の第ｐ番の音声信号のＭＯＳである。
【００３３】
フィルタ１０、調音解析ユニット１２、およびフレーム歪みエスティメータ１４は、フレーム歪みエスティメータ１４の加重ＷｊおよびＷｊｋが、非常に小さい乱数に初期設定されること以外は、図１に関連して前述したとおり、動作する。誤差ジェネレータ３２が、フレーム歪み推定値、および逆マッピング・ユニット３０からの主観的歪みを受け取り、誤差信号を生成する。より具体的には、一実施形態では、誤差ジェネレータ３２は、主観的歪みからフレーム歪み推定値を引いて、誤差信号を生成する。
フレーム歪みエスティメータ１４は、以下の歪みモデル
【数１２】
2009500952.tif 000014
によってもたらされる、主観的歪みＤｓｂｊと客観的フレーム歪み推定値Ｄｖ（ｐ）の間の、訓練サンプル全体にわたる累積２乗差を最小にすることによって訓練され、したがって、
【数１３】
2009500952.tif 000015
であり、ただし、上付き文字（ｐ）は、第ｐ番の音声信号を表す。（１４）において最小化されるべき費用関数は、以下のとおり、（５）を使用することによって表現されることが可能である。すなわち、
【数１４】
2009500952.tif 000016
勾配降下規則をとることにより、以下のとおり、第ｔ番の工程における更新規則が与えられる。すなわち、
【数１５】
2009500952.tif 000017
であり、加重は、以下のとおり、
【数１６】
2009500952.tif 000018
ただし、
ｃ（ｐ）（ｍ）＝α（Ｐ（ｐ）（ｍ）−Ｐｔｈ）＋βであり、
【数１７】
2009500952.tif 000019
費用関数（１５）が、事前定義された誤差限度に達するまで、更新される。
【００３４】
これは、入力フレームのシーケンスから成る音声ファイルの全体的な目標は、与えられるが、各フレームに関する個別の目標は、与えられない、監督された訓練と監督されない訓練の混合である。十分に大量の整合性のある音声サンプルを使用して、訓練プロセスは、フレーム特徴ベクトルをフレーム品質と関係付ける固有の規則を学習するフレーム歪みモデルを導き出すことができる。
【００３５】
フレーム歪みエスティメータ１４の初期訓練の後、ミュート歪みエスティメータ１８のミュート影響モデルが、訓練される。図７Ｂは、訓練プロセスのこの工程を示す。この訓練プロセスに関与しない図１の要素は、簡明のために示されていない（例えば、マッピング・ユニット２２）。図示されるとおり、データベース２６が、提供されている。データベース２６は、複数の音声信号と、よく知られているやり方で決定された関連する主観的ＭＯＳとを含む。データベース２４の中の音声信号は、時間的不連続性（例えば、ミュート）歪みは含まない歪みを含むことが可能である。
【００３６】
データベースの中の各音声信号（または音声信号の少なくともサブセット）が、フィルタ１０に供給される。対応する主観的ＭＯＳが、逆マッピング・ユニット３０に供給され、ユニット３０は、そのＭＯＳを歪みに変換する。フィルタ１０、調音解析ユニット１２、およびフレーム歪みエスティメータ１４は、フレーム歪みエスティメータ１４の加重ＷｊおよびＷｊｋが、訓練プロセスの第１の工程において訓練されるとおりであること以外は、図１に関連して前述したとおり、動作する。また、ミュート検出ユニット１６およびミュート歪みエスティメータ１８も、図１に関連して前述したとおり、動作する。この訓練工程において、コンバイナ２０が、訓練ループの中に含められて、フレーム歪み推定値とミュート歪み推定値の組み合わせを誤差信号ジェネレータ３２に供給する。誤差ジェネレータ３２は、コンバイナ２０から全体的な歪み推定値を受け取り、逆マッピング・ユニット３０から主観的歪みを受け取り、誤差信号を生成する。より具体的には、一実施形態では、誤差ジェネレータ３２は、主観的歪みから全体的歪みを引いて、誤差信号を生成する。
訓練は、回帰によって（１３）における最適なパラメータ・セットＡｍ、すなわち、ｐ１およびｐ２を求めることであり、したがって、
【数１８】
2009500952.tif 000020
であり、ただし、以前に訓練されたフレーム歪みモデル
【数１９】
2009500952.tif 000021
が、使用される。
【００３７】
訓練プロセスの第３の、最後の工程は、フレーム歪みエスティメータ１４を再訓練することである。図７Ｃは、この最後の訓練を示す。図示されるとおり、データベース２４と、データベース２６とを含むデータベース２８が、音声信号および主観的ＭＯＳを供給する。誤差ジェネレータ３２からの誤差信号が、フレーム歪みエスティメータ１４に供給される。この再訓練工程は、フレーム歪みモデルが、ミュート影響モデルの残差を補償することを可能にする。これは、以下の歪みモデル
【数２０】
2009500952.tif 000022
によってもたらされる、主観的歪みＤｓｂｊと客観的フレーム歪み推定値Ｄｖ（ｐ）の間の、訓練サンプル全体にわたる累積２乗差を最小にすることによって訓練され、したがって、
【数２１】
2009500952.tif 000023
である。この訓練は、
【数２２】
2009500952.tif 000024
をモデルの初期パラメータとして、訓練工程１と同じように実行されることが可能である。
【００３８】
前述の実施形態から理解されるとおり、この音声品質推定システムは、コンピュータ上で実行されたソフトウェア、配線によって組まれている回路、デジタル・シグナル・プロセッサなどとして実施されることが可能である。
【００３９】
本発明は、このように説明したが、本発明は、多様に変形されることが可能であることが明らかであろう。そのような変形形態は、本発明からの逸脱と見なされるべきではなく、すべてのそのような変更形態が、本発明の範囲に含められるべきものとする。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態による音声品質評価システムを示すブロック図である。
【図２】ルックアップ・テーブルによって表されるＭＯＳに対する推定された客観的歪みの曲線を示す図である。
【図３】本発明の実施形態による調音解析ユニットにおいて使用される音声品質評価構成を示す図である。
【図４】本発明の一実施形態による図３の調音解析モジュールにおいて複数のエンベロープａｉ（ｔ）を処理するための流れ図を示す。
【図５】パワー対周波数の点で変調スペクトルＡｉ（ｍ，ｆ）を示す例を示す図である。
【図６】図１のフレーム歪みエスティメータにおいて使用されるような多層パーセプトロンの例を示す図である。
【図７】時間につれての音声活動に関するプロファイルを図示する例を示す図である。
【図８Ａ】図１のフレーム歪みエスティメータおよびミュート歪みエスティメータの訓練を示す図である。
【図８Ｂ】図１のフレーム歪みエスティメータおよびミュート歪みエスティメータの訓練を示す図である。
【図８Ｃ】図１のフレーム歪みエスティメータおよびミュート歪みエスティメータの訓練を示す図である。
【図１】
2009500952.tif 000025
【図２】
2009500952.tif 000026
【図３】
2009500952.tif 000027
【図４】
2009500952.tif 000028
【図５】
2009500952.tif 000029
【図６】
2009500952.tif 000030
【図７】
2009500952.tif 000031
【図８Ａ】
2009500952.tif 000032
【図８Ｂ】
2009500952.tif 000033
【図８Ｃ】
2009500952.tif 000034
【国際調査報告】
2009500952.tif 000035
2009500952.tif 000036
2009500952.tif 000037
2009500952.tif 000038
2009500952.tif 000039