(57)【要約】本出願は、被評価音声データを受信することと、前記被評価音声データの評価特徴を抽出することと、前記被評価音声データの評価特徴及び構築された音声品質評価用モデルに基づいて、前記被評価音声データに対して品質評価を行うこととを含み、前記音声品質評価用モデルは、片端音声データの評価特徴と前記片端音声データの品質情報との間の関係を示す音声品質評価方法及びその装置を提供する。この方法によって、音声品質評価の利用範囲の拡大を図ることが可能となる。
2019531494.tif 000002
【特許請求の範囲】
【請求項１】
被評価音声データを受信することと、
前記被評価音声データの評価特徴を抽出することと、
前記被評価音声データの評価特徴及び構築された音声品質評価用モデルに基づいて、前記被評価音声データに対して品質評価を行うこととを含み、
前記音声品質評価用モデルは、片端音声データの評価特徴と前記片端音声データの品質情報との間の関係を示す、ことを特徴とする音声品質評価方法。
【請求項２】
前記被評価音声データは、通信ネットワークを通過した後の退化音声データを含む、ことを特徴とする請求項１に記載の方法。
【請求項３】
音声品質評価モジュールを構築することをさらに含み、
前記音声品質評価モジュールを構築することは、
クリーンな音声データと退化音声データを含む音声データを取得することと、
前記クリーンな音声データから処理すべきクリーンな音声データを取得し、及び、前記退化音声データから処理すべき退化音声データを取得することと、
処理すべきクリーンな音声データと処理すべき退化音声データに基づいて、処理すべき退化音声データの評価スコアを算出することと、
処理すべき退化音声データの評価特徴を抽出することと、
前記処理すべき退化音声データの評価特徴及び前記処理すべき退化音声データの評価スコアに基づいてトレーニングを行うことによって、音声品質評価用モデルを構築することとを含む、ことを特徴とする請求項２に記載の方法。
【請求項４】
前記音声品質評価用モデルは、深層学習方式によるトレーニングが実施された後に構築されている、ことを特徴とする請求項１〜３のいずれか１項に記載の方法。
【請求項５】
前記処理すべき退化音声データの評価特徴及び前記処理すべき退化音声データの評価スコアに基づいてトレーニングを行うことによって、音声品質評価用モデルを構築することは、
回帰モデルを利用して前記音声品質評価用モデルを表現した後、前記処理すべき退化音声データの評価特徴と前記処理すべき退化音声データの評価スコアをそれぞれモデル入力又はモデル出力とし、モデルパラメータをトレーニングし、音声品質評価用モデルを構築すること、または、
分類化を利用して前記音声品質評価用モデルを表現した後、前記処理すべき退化音声データの評価特徴をモデル入力とし、前記処理すべき退化音声データの評価スコアを定量化して、評価カテゴリを得、評価スコア種別をモデル出力とし、モデルパラメータをトレーニングし、音声品質評価用モデルを構築することを含む、ことを特徴とする請求項４に記載の方法。
【請求項６】
前記クリーンな音声データから処理すべきクリーンな音声データを取得することは、
得られたクリーンな音声データをそのまま処理すべきクリーンな音声データとすること、または、
得られたクリーンな音声データの有効な音声区間を抽出し、前記クリーンな音声データの有効な音声区間を処理すべきクリーンな音声データとすることを含む、ことを特徴とする請求項３に記載の方法。
【請求項７】
前記退化音声データから処理すべき退化音声データを取得することは、
得られた退化音声データをそのまま処理すべき退化音声データとすること、または、
得られた退化音声データの有効な音声区間を抽出し、前記退化音声データの有効な音声
区間を処理すべき退化音声データとすること、または、
得られた退化音声データをクラスタリングし、クラスタ中心に対応する退化音声データを処理すべき退化音声データとすること、または、
得られた退化音声データの有効な音声区間を抽出し、前記退化音声データの有効な音声区間をクラスタリングし、クラスタ中心に対応する退化音声データの有効な音声区間を処理すべき退化音声データとすることを含む、ことを特徴とする請求項３に記載の方法。
【請求項８】
被評価音声データを受信する受信モジュールと、
前記被評価音声データの評価特徴を抽出する抽出モジュールと、
前記被評価音声データの評価特徴及び構築された音声品質評価用モデルに基づいて、前記被評価音声データに対して品質評価を行う評価モジュールとを備え、
前記音声品質評価用モデルは、片端音声データの評価特徴と前記片端音声データの品質情報との間の関係を示す、ことを特徴とする音声品質評価装置。
【請求項９】
前記被評価音声データは、通信ネットワークを通過した後の退化音声データを含む、ことを特徴とする請求項８に記載の装置。
【請求項１０】
音声品質評価用モデルを構築する構築モジュールを含み、
前記構築モジュールは、
クリーンな音声データと退化音声データを含む音声データを取得する第１の取得サブモジュールと、
前記クリーンな音声データから処理すべきクリーンな音声データを取得し、及び、前記退化音声データから処理すべき退化音声データを取得する第２の取得サブモジュールと、
処理すべきクリーンな音声データと処理すべき退化音声データに基づいて、処理すべき退化音声データの評価スコアを算出する算出サブモジュールと、
処理すべき退化音声データの評価特徴を抽出する抽出サブモジュールと、
前記処理すべき退化音声データの評価特徴及び前記処理すべき退化音声データの評価スコアに基づいてトレーニングを行うことによって、音声品質評価用モデルを構築するトレーニングサブモジュールとを備える、ことを特徴とする請求項９に記載の装置。
【請求項１１】
前記音声品質評価用モデルは、深層学習方式によるトレーニングが実施された後に構築されている、ことを特徴とする請求項８〜１０のいずれか１項に記載の装置。
【請求項１２】
前記トレーニングサブモジュールは、具体的に、
回帰モデルを利用して前記音声品質評価用モデルを表現した後、前記処理すべき退化音声データの評価特徴と前記処理すべき退化音声データの評価スコアをそれぞれモデル入力とモデル出力とし、モデルパラメータをトレーニングし、音声品質評価用モデルを構築し、または、
分類化を利用して前記音声品質評価用モデルを表現した後、前記処理すべき退化音声データの評価特徴をモデル入力とし、前記処理すべき退化音声データの評価スコアを定量化して、評価カテゴリを得、評価スコア種別をモデル出力とし、モデルパラメータをトレーニングし、音声品質評価用モデルを構築する、ことを特徴とする請求項１１に記載の装置。
【請求項１３】
前記第２の取得サブモジュールは、前記クリーンな音声データから処理すべきクリーンな音声データを取得し、具体的に、
得られたクリーンな音声データをそのまま処理すべきクリーンな音声データとすること、または、
得られたクリーンな音声データの有効な音声区間を抽出し、前記クリーンな音声データの有効な音声区間を処理すべきクリーンな音声データとすることを含む、ことを特徴とす
る請求項１０に記載の装置。
【請求項１４】
前記第２の取得サブモジュールは前記退化音声データから処理すべき退化音声データを取得し、具体的に、
得られた退化音声データをそのまま処理すべき退化音声データとすること、または、
得られた退化音声データの有効な音声区間を抽出し、前記退化音声データの有効な音声区間を処理すべき退化音声データとすること、または、
得られた退化音声データをクラスタリングし、クラスタ中心に対応する退化音声データを処理すべき退化音声データとすること、または、
得られた退化音声データの有効な音声区間を抽出し、前記退化音声データの有効な音声区間をクラスタリングし、クラスタ中心に対応する退化音声データの有効な音声区間を処理すべき退化音声データとすることを含む、ことを特徴とする請求項１０に記載の装置。
【請求項１５】
１つ以上のプロセッサーと、
１つ以上のプログラムを記憶するためのメモリとを備え、
前記１つ以上のプログラムが前記１つ以上のプロセッサーにて実行されることによって、前記１つ以上のプロセッサーに請求項１〜７のいずれか１項に記載の方法を実行させる、ことを特徴とする装置。
【請求項１６】
非揮発性なコンピュータ読取可能な記憶媒体であって、該当記憶媒体で記憶されている１つ以上のプログラムが装置の１つ以上のプロセッサーにて実行されることによって、前記１つ以上のプロセッサーに請求項１〜７のいずれか１項に記載の方法を実行させる、ことを特徴とする非揮発性なコンピュータ読取可能な記憶媒体。
【請求項１７】
コンピュータプログラムであって、該当コンピュータプログラムが前記装置の１つ以上のプロセッサーにて実行されることによって、前記１つ以上のプロセッサーに請求項１〜７のいずれか１項に記載の方法を実行させる、ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本出願は、アイフライテックカンパニー，リミテッドが２０１６年１０月１２日に出願した、「音声品質評価方法及び装置」と題する出願番号が２０１６１０８９２１７６．１である中国特許出願に基づく優先権を主張する。
［技術分野］
本出願は、通信の技術分野に関し、特に音声品質評価方法及び装置に関する。
【背景技術】
【０００２】
技術の急速な発展に伴い、通信技術、例えば、通信ネットワークを介する音声データの伝送などは人々の生活の中でますます重要な役割を果たすようになってきた。中でも、音声品質は、通信ネットワークの通信品質を評価する１つの重要な要因とされている。そこで、音声品質を評価するためには、有効な音声品質評価アルゴリズムを開発することが求められるようになってきた。
【０００３】
従来の関連技術において、通信ネットワークにおける音声品質評価アルゴリズムは、音声品質の知覚的評価（Perceptual Evaluation of Speech Quality，PESQ）アルゴリズム
と、受聴品質の知覚的な客観評価（Perceptual Objective Listening Quality Analysis
，POLQA）アルゴリズムを含んでいる。これらのアルゴリズムを実現する際に、通常、ク
リーンな音声データである入力音声データと、通信ネットワークを通過した後の退化音声データである出力音声データとを取得し、入力音声データと出力音声データを解析することによって、出力音声データの品質評価を行う必要がある。ここで、入力音声データは、一般的に運営会社の路上測定車から収集されている。しかしながら、ビルやデパートなどの建物内では、路面性状測定車によるデータ収集は不可能であるため、入力音声データを入手できず、また入力音声データを通じて音声品質評価を行うこともできず、その結果、入力音声データ及び出力音声データに基づいて出力音声データに対して音声品質評価を行うための前記アルゴリズムの利用は、特定の場合のみに限られたという問題があった。
【発明の概要】
【０００４】
本出願は、関連技術の中に存在している技術的課題の一つを少なくともある程度で解決することを目的としている。
【０００５】
そこで、本出願の一つの目的は、被評価音声データに対して音声品質評価を行う場合、相応する入力音声データを必要とせずに、片端音声データのみに依存する音声品質評価を実現し、利用範囲の拡大を図ることが可能な音声品質評価方法を提供することにある。
【０００６】
本出願の別の一つの目的は、音声品質評価装置を提供することにある。
【０００７】
前記目的を達成するために、本出願の第１の実施例に係る音声品質評価方法は、被評価音声データを受信することと、前記被評価音声データの評価特徴を抽出することと、前記被評価音声データの評価特徴及び構築された音声品質評価用モデルに基づいて、前記被評価音声データに対して品質評価を行うこととを含み、前記音声品質評価用モデルは、片端音声データの評価特徴と前記片端音声データの品質情報との間の関係を示す。
【０００８】
本出願の第１の実施例に係る音声品質評価方法は、音声品質評価用モデルを利用して被評価音声データに対して品質評価を行うことによって、音声の品質評価を行う際に、片端音声データを利用するだけでよいので、両端音声データへの依存に起因した利用場面の制
限などを回避することができ、利用範囲の拡大を図ることが可能となる。
【０００９】
前記目的を達成するために、本出願の第２の実施例に係る音声品質評価装置は、被評価音声データを受信する受信モジュールと、前記被評価音声データの評価特徴を抽出する抽出モジュールと、前記被評価音声データの評価特徴及び構築された音声品質評価用モデルに基づいて、前記被評価音声データに対して品質評価を行う評価モジュールとを備え、前記音声品質評価用モデルは、片端音声データの評価特徴と前記片端音声データの品質情報との間の関係を示す。
【００１０】
本出願の第２の実施例に係る音声品質評価装置は、音声品質評価用モデルを利用して被評価音声データに対して品質評価を行うことによって、音声の品質評価を行う際に、片端音声データを利用するだけでよいので、両端音声データへの依存に起因された利用場面の制限などを回避することができ、利用範囲の拡大を図ることが可能となる。
【００１１】
本出願の実施例は、さらに、１つ以上のプロセッサーと、１つ以上のプログラムを記憶するためのメモリとを備え、前記１つ以上のプログラムが前記１つ以上のプロセッサーによって実行されると、前記１つ以上のプロセッサーに本出願の第１の実施例に列挙されたいずれか１項に記載の方法を実行させる装置を提供する。
【００１２】
本出願の実施例は、さらに、中に記憶された１つ以上のプログラムが装置の１つ以上のプロセッサーによって実行されると、前記１つ以上のプロセッサーに本出願の第１の実施例に列挙されたいずれか１項に記載の方法を実行させる非揮発性なコンピュータ読取可能な記憶媒体を提供する。
【００１３】
本出願の実施例は、さらに、装置の中の１つ以上のプロセッサーによって実行されると、前記１つ以上のプロセッサーに本出願の第１の実施例に列挙されたいずれか１項に記載の方法を実行させるコンピュータプログラムを提供する。
【００１４】
以下にて、本出願に付加された態様及び利点の一部分について説明する。その中の一部は、以下の開示から明らかになるか、または本出願の実施によって理解されうる。
【図面の簡単な説明】
【００１５】
本出願に記載および/又は付加された態様及び利点は、以下の図面を参照した実施例に
ついての説明から明らかになり、容易に理解されうる。
【００１６】
【図１】本出願の１つの実施例に係る音声品質評価方法の流れを示すフローチャートである。
【図２】本出願の別の１つの実施例に係る音声品質評価方法の流れを示すフローチャートである。
【図３】本出願の１つの実施例に係る音声品質評価装置の構造を示す概略図である。
【図４】本出願の別の１つの実施例に係る音声品質評価装置の構造を示す概略図である。
【発明を実施するための形態】
【００１７】
以下で、本出願の実施例について詳細に説明する。前記実施例の好適な事例は図面に示され、その中に頻繁に使われている同一又は類似する記号は、同一又は類似するモジュール、或いは、同一又は類似する機能を有するモジュールを示している。以下、図面を参照に記述される実施例は例示的なものであって、本出願を解釈する場合のみに使用されるが、本出願を制限するものと解されるべきではない。その代わりに、本出願の実施例には、付加された特許請求の範囲の趣旨及び範疇に該当する全ての変更や修正及び均等物が含ま
れている。
【００１８】
前記ＰＥＳＱアルゴリズムを伴った問題を解決し、さらに４ＧＬＴＥ時代に求められている音声品質評価の需要に応じるべく、２００６年からはＩＴＵ−ＴにおいてＰＯＬＱＡアルゴリズムへの研究開発が始まり、２０１１年の年初にＩＴＵ−ＴＰ.８６３が標準化
された。このアルゴリズムは、主に、音声符号化技術とネットワーク伝送技術をカバーでき、３Ｇ、４Ｇ/ＬＴＥ、ＶｏＩＰネットワークに適用したとき帯域幅５０Ｈｚ〜１４Ｋ
Ｈｚの広帯域における音声伝送、品質がいい音声伝送を精度よくサポートできるなど利点がある。したがって、ＰＯＬＱＡアルゴリズムは、現在まで、通信ネットワークの音声品質を評価するために最も広く用いられてきたアルゴリズムといえる。
【００１９】
深層学習という概念は、ニューラルネットワークの研究中に提出された。複数の隠れ層を含む多層パーセプトロンは深層学習の仕組みの一種とされている。深層学習とは、下位層の特徴を組み合わせて、プロパティ種類や特徴を示すより抽象的な上位層を形成することによって、データの分散表現を発見する手法である。従来より、深層学習は、主として、コンピュータビジョン、音声識別のための音響モデルトレーニング、機械翻訳及びテキストマイニングなどの言語処理分野などの分野で活用されている。
【００２０】
ところで、深層学習は、発展が進んでいる新技術なので、前記幾つかの限られた分野だけで活用されていることが現状である。発明者の知る限りでは、通信分野において、特に通信分野の音声品質評価においては活用されていない。
【００２１】
本出願の発明者は通信分野の技術者として、音声品質評価を行おうとしたとき、ＰＯＬＱＡアルゴリズムも頻繁に採用されてきたが、ＰＯＬＱＡアルゴリズムでは両端の音声データが必要となり、つまり、出力音声データの音声品質を評価するとき、出力音声データだけではなく、入力音声データも必須とされていることが発見された。しかしながら、ある状況では、入力音声データの入手が困難になるため、ＰＯＬＱＡアルゴリズムの利用場面が制限される問題が起こりうる。ここでは、利用場面の制限を回避するために、新しい解決策を提案することが求められている。発明者らが鋭意検討をしたところ、深層学習手法で構築されるモデルは優れた性能を有し、深層学習を音声品質評価アルゴリズムに導入することができる知見を得た。さらに、両端音声データの収集による利用場面の制限などを避けるべく、深層学習によってモデルを構築する際に、片端音声データのみをサンプルとしてトレーニングすることができるので、構築されたモデルを利用して音声品質評価を行う際に、被評価音声データといった片端音声データのみを取得すればよい。
【００２２】
そこで、本出願の主な技術思想は、深層学習を音声品質評価の中、特に通信分野における音声品質評価の中に導入することにある。こうして、通信分野における音声品質評価のために片端音声のみに依存する新しい解決策を提供するほか、片端音声データのみに依存する場合に、深層学習手法でモデルを構築することによってモデルの優れた性能を確保することができるため、利用制限を少なく性能を最適にする音声品質評価を実現することが可能になる。なお、前記において本出願の主な技術構想について説明したが、具体的な技術案は前記主な技術構想だけに限定されるものではなく、その他の特徴と組み合わせてもよく、これら異なる技術的特徴同士間の組み合わせも本出願の保護範囲に属する。
【００２３】
なお、前記において主に解決しようとする技術的課題について述べたが、本出願は、前記技術的課題のみを解決できるものではなく、本出願を適用することによって解決できるその他の技術的課題も本出願の保護範囲に属する。
【００２４】
なお、前記において本出願の主な技術構想について説明し、また、以下において実施例を参照しながら幾つかの特別な要点について説明するが、本出願の技術点は前記の主な構
想及び特別要点に言及されている内容だけに限定されるものではなく、本出願の中に特に説明されていない内容の中にも、本出願の技術要点が含まれる可能性は排除できない。
【００２５】
以上において多少説明したが、他にも解決策があることは排除できないので、以下に本出願に記載される実施例と同一、類似又は等しい技術案も本出願の保護範囲に属することは理解されるべきであろう。
【００２６】
以下で、具体的な実施例を参照しながら、本出願の技術案について説明する。
【００２７】
図１は、本出願の１つの実施例に係る音声品質評価方法の流れを示すフローチャートである。
【００２８】
図１に示すように、本実施例に係る方法は以下のステップを含む。
【００２９】
ステップＳ１１：被評価音声データを受信する。
【００３０】
例えば、通信分野では、被評価音声データとは、具体的に、通信ネットワークの出力音声データ、即ち入力音声データが通信ネットワークを経過した後の退化音声データをいう。入力音声データは、一般に、クリーンな音声データ又はオリジナル音声データを指している一方、退化音声データは、オリジナル音声データに比べて、明瞭さが退化したり、遅延が生じたり雑音が出たりするなど品質に劣った音声データのことを意味している。
【００３１】
ステップＳ１２：前記被評価音声データの評価特徴を抽出する。
【００３２】
前記評価特徴は、音声品質モデルの構築時に退化音声データから抽出された評価特徴と同じであり、具体的に実際の需要に応じて特定されうる。
【００３３】
典型的には、評価特徴は、人の耳で聴覚的に感知する観点から音声データを表現する特徴であり、具体的な内容は以下に記載される如くである。
【００３４】
ステップＳ１３：前記被評価音声データの評価特徴及び構築された音声品質評価用モデルに基づいて、前記被評価音声データに対して品質評価を行う。ここで、前記音声品質評価用モデルは、片端音声データの評価特徴と前記片端音声データの品質情報との間の関係を示している。
【００３５】
その中で、音声品質評価用モデルは、音声品質評価を行うことが求められる前に予め構築されたものであってもよく、例えば、オフライン方式で音声品質評価用モデルを先に構築しておき、音声品質評価が必要な場合に、この予め構築された音声品質評価用モデルを直接に利用することができる。もちろん、音声品質評価用モデルはオンラインで構築され、例えば音声品質評価が必要な場合にオンラインで構築されていてもよい。具体的な構築については、以下に記載される如くである。
【００３６】
音声品質評価用モデルの入力と出力は、それぞれ片端音声データの評価特徴と品質情報であるので、被評価音声データの評価特徴を抽出した後、この評価特徴を音声品質評価用モデルの入力とすることができ、こうして得られた出力は即ち被評価音声データの品質情報であり、これにより、音声品質評価を実現できる。
【００３７】
さらに、音声品質評価用モデルは回帰モデル又は分類モデルで表現されることができるが、異なるモデルで表現される場合、前記品質情報の具体的な内容は異なっている。例えば、音声品質評価用モデルは回帰モデルで表されると、得られた品質情報は具体的な評価
スコア、例えば１〜５点のうちの一つとなる。また、音声品質評価用モデルは分類モデルで表されると、得られた品質情報は、例えば「悪い」、「かなり悪い」、「普通」、「良い」、「かなり良い」のうちの一つの段階で評価される評価カテゴリである。
【００３８】
また、幾つかの実施例において、音声品質評価の精度向上を図るために、ステップＳ１３において得られた品質評価の結果を適宜調整することができる。例えば、品質評価の結果が評価スコアで表される場合、適宜調整するとき、Ｓ１３において得られた評価スコアを直接に最終的な評価スコアとするか、または、通信ネットワークのパケット損失、ジッタ、遅延などの関連パラメータを結合して、ステップＳ１３において得られた評価スコアを適宜調整し、最終的な評価スコアを得る。具体的にネットワークパラメータを結合して適宜調整を行うアルゴリズムは設定可能であり、例えばステップＳ１３において得られた評価スコアに１つの係数（この係数は通信ネットワークの前記パラメータと関連付けられる）で乗算したものを最終的な評価スコアとすることができるが、ここでは詳細な説明を省略する。
【００３９】
本実施例では、音声品質評価用モデルを利用して被評価音声データに対して品質評価を行うことによって、音声の品質評価を行う際に、片端音声データを利用するだけでよいので、両端音声データの依存に起因した利用場面の制限などを回避することができ、利用範囲の拡大を図ることが可能となる。
【００４０】
図２は、本出願の別の１つの実施例に係る音声品質評価方法の流れを示すフローチャートである。
【００４１】
本実施例は、被評価音声データが通信ネットワークを通過した後の退化音声データであることを例として説明する。また、音声品質評価用モデルを構築する際に、深層学習手法による構築を例として説明する。
【００４２】
図２を参照して、本実施例に係る方法は以下のステップを含む。
【００４３】
ステップＳ２１：クリーンな音声データと退化音声データを含む音声データを取得する。
【００４４】
その中で、収集方式および／又は既存のソースから直接に取得する方式によって音声データを入手することができる。構築された音声品質評価用モデルの精度向上を図るために、ここで、可能な限りに多くの音声データを入手することが望まれている。
【００４５】
例えば収集方式を用いる場合、具体的に音声データを収集する際に、アナログ通信方式によって、通話時のクリーンな音声データと、通信ネットワークを通過した後の退化音声データをそれぞれに収集することができる。具体的に、まず、高忠実度のレコーディングスタジオから大量のクリーンな音声データ、例えば２０００時間のクリーンな音声データを収集し、その後、複数の携帯電話によるアナログ通話方式を利用し、即ち１つの携帯電話で電話を掛けて前記クリーンな音声データを再生し、また別の１つの携帯電話でこれらのクリーンな音声データを受信し、そして、送信されてきたデータパケットを通信ネットワークにおける各種のインターフェースで復元することによって、通信ネットワークを通過した後の退化音声データを得る。
【００４６】
もちろん、ネットワーク通話の実音声データをそのまま収集し、相応するクリーンな音声データと退化音声データをそれぞれに取得することもできるが、本出願では、具体的な取得方式について限定しない。
【００４７】
さらに、音声データを収集する際に、クリーンな音声データと退化音声データを分けて収集できるため、クリーンな音声データと退化音声データを別々に取得することが可能になるか、或いは、音声データを収集する際に、クリーンな音声データと退化音声データを一緒に収集し、この場合、クリーンな音声データと退化音声データを見分けるために両者にそれぞれのタグを付けて、例えばクリーンな音声データを１で表し、退化音声データを０で表し、こうしてタグごとにクリーンな音声データと退化音声データをそれぞれに取得することが可能である。
【００４８】
ステップＳ２２：前記クリーンな音声データから処理すべきクリーンな音声データを取得し、及び、前記退化音声データから処理すべき退化音声データを取得する。
その中には、
得られた退化音声データをそのままに処理すべき退化音声データとすること、または、
得られた退化音声データから有効な音声区間を抽出し、前記退化音声データの有効な音声区間を処理すべき退化音声データとすること、または、
得られた退化音声データをクラスタリングし、クラスタ中心に対応する退化音声データを処理すべき退化音声データとすること、または、
得られた退化音声データの有効な音声区間を抽出し、前記退化音声データの有効な音声区間をクラスタリングし、クラスタ中心に対応する退化音声データの有効な音声区間を処理すべき退化音声データとすることを含む。
【００４９】
具体的には、クリーンな音声データと退化音声データを取得した後、得られたクリーンな音声データと退化音声データのそれぞれを、そのまま、処理すべきクリーンな音声データと処理すべき退化音声データとして用いることができる。さらに、クリーンな音声データと退化音声データを取得した後、有効な音声区間の抽出を行い、こうして抽出されたクリーンな音声データの有効な音声区間を処理すべきクリーンな音声データとし、また抽出された退化音声データの有効な音声区間を処理すべき退化音声データとすることができる。具体的に有効な音声区間を抽出する方式は限定されず、例えば音声区間検出（Voice Activity Detection,ＶＡＤ）方式を用いることができる。こうして有効な音声区間のみを
処理することによって、演算量と複雑性の削減が図れる。
【００５０】
さらに、処理すべき退化音声データを取得する際に、音声データに含まれる全ての退化音声データ又は全ての退化音声データの有効な音声区間を処理すべき退化音声データとするか、或いは、一部分の退化音声データ又はその有効な音声区間のみを選択し、処理すべき退化音声データとすることができる。選択を行うとき、クラスタリング方式によって、すべての退化音声データ又はその有効な音声区間をクラスタリングし、そして、クラスタ中心に対応する退化音声データ又はその有効な音声区間を処理すべき退化音声データとすることができる。
【００５１】
例えば、クラスタリングを行うとき、退化音声データの有効な音声区間からivector特
徴量を抽出し、そして、この抽出したivector特徴をk-means法でクラスタリングして、ｋ個のクラスタ中心を得、その後、各クラスタ中心に対応する退化音声データ又はその有効な音声区間を処理すべき退化音声データとする。こうしてクラスタリングし、またクラスタ中心に対応する退化音声データのみを対象に処理することによって、データ処理量の削減と演算効率の向上を両立することができる。
【００５２】
ステップＳ２３：処理すべきクリーンな音声データと処理すべき退化音声データに基づいて、処理すべき退化音声データの評価スコアを算出する。
【００５３】
例えば、処理すべきデータが有効な音声区間である場合、クリーンな音声データの有効な音声区間と退化音声データの有効な音声区間を得た後、クリーンな音声データの有効な
音声区間に基づいて、退化音声データの各々の有効な音声区間に対してフレームごとに解析し、退化音声データの有効な音声区間の評価スコアを算出する。ここで、算出方式は限定されず、例えば前記評価スコアは、音声データの平均オピニオン（Mean Opinion Score,ＭＯＳ）であり、またその具体的な算出方法は現有技術と同じであってもよく、例えば
ＰＯＬＱＡアルゴリズム又はＰＥＳＱアルゴリズムで算出されてもよいが、ここでは詳細な説明を省略する。
【００５４】
ステップＳ２４：処理すべき退化音声データの評価特徴を抽出する。
【００５５】
前記評価特徴は、人の耳で聴覚的に感知する観点から音声データを特徴づけている。前記評価特徴を具体的に抽出する際に、まず、処理すべき退化音声データのタイムドメイン特徴、例えば音声データの短時間平均エネルギー、音声セグメンテーションノイズ、音声の短時間波形衝撃や変動、基本周波数特性及び基本周波数の差分特性、例えば基本周波数特性の１次、２次差分値などを抽出し、その後、処理すべき退化音声データの周波数ドメイン特徴、例えばFilterBank特徴や、線形予測コーディング(linear predictive coding:
LPC)特徴などを抽出する。前記周波数ドメイン特徴量を抽出する際に、人間の聴覚を反
映できる蝸牛フィルターを用いることにより、抽出された周波数ドメイン特徴に人の耳で聴覚的に感知する観点から音声データを表現させることができる。また、退化音声データをより効果的に特徴づけることができるように、各種の周波数ドメイン特徴の平均値、分散、最大値、最小値、及び１次、２次差分値などの差分特徴をさらに抽出してもよい。具体的にどのような評価特徴を抽出するかは、使用上の需要及び音声データの退化実態に応じて決定できるが、本出願では具体的に限定されない。
【００５６】
ステップＳ２５：前記処理すべき退化音声データの評価特徴及び前記処理すべき退化音声データの評価スコアに基づいてトレーニングを行うことによって、音声品質評価用モデルを構築する。
【００５７】
トレーニングを行う際に、具体的に深層学習手法によるトレーニングで音声品質評価用モデルのパラメータを取得し、音声品質評価用モデルを構築することができる。
【００５８】
深層学習手法に活用されたネットワークトポロジー構造は、ディープニューラルネットワーク（Deep Neural Networks: DNN）、畳み込みニューラルネットワーク(Convolutional Neural Networks: CNN)、リカレントニューラルネットワーク(Recurrent Neural Networks: RNN)、長短期記憶(Long Short-Term Memory: LSTM)ニューラルネットワークなどの
うちの一つ又は複数の組み合わせであってもよいが、本出願では具体的に限定されない。ネットワークの具体的な選択は実際の需要に応じて特定されうる。モデルの入力と出力を特定した後、パラメータのトレーニング過程は従来技術と同じであるので、ここでは詳細な説明を省略する。
【００５９】
さらに、音声品質評価用モデルは、異なるモデルで表され、例えば回帰モデル又は分類モデルで表されることができる。また、異なるモデルで表される場合、モデルに対応する入力と出力を適度に調整することができる。
【００６０】
具体的には、回帰モデルを利用して音声品質評価用モデルを表す場合、前記取得された処理すべき退化音声データの評価特徴と処理すべき退化音声データの評価スコアを、そのまま、モデルの入力と出力としている。
【００６１】
その一方、分類モデルを用いて音声品質評価用モデルを表す場合、前記取得された処理すべき退化音声データの評価特徴をそのままモデルの入力としているが、モデルの出力は、処理すべき退化音声データの評価スコアを定量化した評価カテゴリである。
【００６２】
具体的に定量化する際に、固定ステップ又は非固定ステップで退化音声データの評価スコアを定量化することができる。例えば、固定ステップを用いる場合、固定ステップが０．２であり、全ての退化音声データの評価スコアを定量化して、定量化された退化音声データの尺度を取得する。例えば、ＭＯＳスコアの場合、０．２の固定ステップで定量化するとき、１点〜５点で定量化すると、２０個程度の評価カテゴリが得られる。また、非固定ステップを用いる場合、アプリケーションの需要に応じて、退化音声データの各範囲内の評価スコアの量子化ステップを決定することができる。評価スコアが低い範囲内になれば、大きなステップで定量化できる一方、評価スコアが高い範囲内になれば、小さなステップで定量化できる。例えば、ＭＯＳスコアの場合、１〜３点が低い点数であり、このとき、大きなステップ、例えば０．５で定量化できる。一方、３〜５点が高い点数であり、このとき、小さなステップ、例えば０．２で定量化でき、こうして定量化した後、全部１４つの評価カテゴリが得られる。
【００６３】
もちろん、その他の手法で前記評価スコアを定量化し、その評価スコアを複数の評価カテゴリに分け、例えば定量化後に、「悪い」、「かなり悪い」、「普通」、「良い」、「かなり良い」という段階で評価することができるが、本出願では具体的に限定されない。
【００６４】
ステップＳ２６：通信ネットワークを通過した後の退化音声データを受信する。
【００６５】
ステップＳ２７：前記退化音声データの評価特徴を抽出する。
【００６６】
評価特徴の抽出方式は、トレーニング過程中に実施された抽出方式と同じであるので、ここでは、詳細な説明を省略する。
【００６７】
ステップＳ２８：前記評価特徴及び前記構築された音声品質評価用モデルに基づいて、前記退化音声データに対して品質評価を行う。
【００６８】
具体的には、既存の退化音声データの評価特徴を音声品質評価用モデルの入力とし、モデルの出力を既存の退化音声データの品質評価結果としている。中では、音声品質評価用モデルは回帰モデルで表現される場合、品質評価結果は評価スコアで示される。また、音声品質評価モデルは分類モデルで表現される場合、品質評価結果は評価カテゴリである。
【００６９】
本実施例では、音声品質評価モデルを利用して被評価音声データに対して品質評価を行うことによって、音声の品質評価を行う際に、片端音声データを利用するだけでよいので、両端音声データの依存に起因した利用場面の制限などを回避することができ、利用範囲の拡大を図ることが可能になる。さらに、深層学習手法を利用してトレーニングすることによって、深層学習手法の優れた性能を活用して音声品質評価用モデルの精度を向上し、その結果、音声品質評価結果の正確性をより一層向上することができる。さらに、通信分野の音声データに対して品質評価を施すことによって、深層学習手法を通信分野の音声品質評価に適用することができるため、通信分野での音声品質評価に新しい解決策が提案されている。
【００７０】
図３は、本出願の１つの実施例に係る音声品質評価装置の構造を示す概略図である。
【００７１】
図３に示すように、本実施例に係る装置３０は、受信モジュール３１と、抽出モジュール３２と評価モジュール３３とを備える。ここで、
受信モジュール３１は、被評価音声データを受信する；
抽出モジュール３２は、前記被評価音声データの評価特徴を抽出する；
評価モジュール３３は、前記被評価音声データの評価特徴及び構築された音声品質評価
用モデルに基づいて、前記被評価音声データに対して品質評価を行う。ここで、前記音声品質評価用モデルは、片端音声データの評価特徴と前記片端音声データの品質情報との間の関係を示している。
【００７２】
幾つかの実施例では、前記被評価音声データは、通信ネットワークを通過した後の退化音声データを含む。
【００７３】
幾つかの実施例では、図４を参照して、本実施例に係る装置３０は、音声品質評価用モデルを構築する構築モジュール３４をさらに備える。前記構築モジュール３４は、
クリーンな音声データと退化音声データを含む音声データを取得する第１の取得サブモジュール３４１と、
前記クリーンな音声データから処理すべきクリーンな音声データを取得し、及び、前記退化音声データから処理すべき退化音声データを取得する第２の取得サブモジュール３４２と、
処理すべきクリーンな音声データと処理すべき退化音声データに基づいて、処理すべき退化音声データの評価スコアを算出する算出サブモジュール３４３と、
処理すべき退化音声データの評価特徴を抽出する抽出サブモジュール３４４と、
前記処理すべき退化音声データの評価特徴及び前記処理すべき退化音声データの評価スコアに基づいてトレーニングを行うことによって、音声品質評価用モデルを構築するトレーニングサブモジュール３４５とを備える。
【００７４】
幾つかの実施例では、前記音声品質評価用モデルは、深層学習手法によるトレーニングを施した後に構築されている。
【００７５】
幾つかの実施例では、前記トレーニングサブモジュール３４５は、具体的に、
回帰モデルを利用して前記音声品質評価用モデルを表現した後、前記処理すべき退化音声データの評価特徴と前記処理すべき退化音声データの評価スコアをそれぞれモデル入力とモデル出力とし、モデルパラメータをトレーニングし、音声品質評価用モデルを構築する、または、
分類化を利用して前記音声品質評価用モデルを表現した後、前記処理すべき退化音声データの評価特徴をモデル入力とし、前記処理すべき退化音声データの評価スコアを定量化して、評価カテゴリを得、評価スコア種別をモデル出力とし、モデルパラメータをトレーニングし、音声品質評価用モデルを構築する。
【００７６】
幾つかの実施例では、前記第２の取得サブモジュール３４２は、前記クリーンな音声データから処理すべきクリーンな音声データを取得する。具体的には、
得られたクリーンな音声データをそのまま処理すべきクリーンな音声データとすること、または、
得られたクリーンな音声データの有効な音声区間を抽出し、クリーンな音声データの有効な音声区間を処理すべきクリーンな音声データとすることを含む。
【００７７】
幾つかの実施例では、前記第２の取得サブモジュール３４２は、前記退化音声データに基づいて、処理すべき退化音声データを取得する。具体的には、
得られた退化音声データをそのまま処理すべき退化音声データとすること、または、
得られた退化音声データから有効な音声区間を抽出し、前記退化音声データの有効な音声区間を処理すべき退化音声データとすること、または、
得られた退化音声データをクラスタリングし、クラスタ中心に対応する退化音声データを処理すべき退化音声データとすること、または、
得られた退化音声データの有効な音声区間を抽出し、前記退化音声データの有効な音声区間をクラスタリングし、クラスタ中心に対応する退化音声データの有効な音声区間を処
理すべき退化音声データとすることを含む。
【００７８】
ここでは、本実施例に係る装置は前記方法の実施例に対応している。具体的な内容は、方法の実施例についての説明を参照できるが、ここでは詳細な説明を省略する。
【００７９】
本実施例では、音声品質評価モデルを利用して被評価音声データに対して品質評価を行うことによって、音声の品質評価を行う際に、片端音声データを利用するだけでよいので、両端音声データの依存に起因した利用場面の制限などを回避することができ、利用範囲の拡大を図ることが可能になる。
【００８０】
本出願の実施例は、さらに、１つ以上のプロセッサーと、１つ以上のプログラムを記憶するためのメモリとを備える装置を提供する。前記１つ以上のプログラムが前記１つ以上のプロセッサーによって実行されると、前記１つ以上のプロセッサーに下記のような方法を実行させる。係る方法においては、被評価音声データを受信する；前記被評価音声データの評価特徴を抽出する；前記被評価音声データの評価特徴及び構築された音声品質評価用モデルに基づいて、前記被評価音声データに対して品質評価を行う；ここで、前記音声品質評価用モデルは、片端音声データの評価特徴と前記片端音声データの品質情報との間の関係を示している。
【００８１】
本出願の実施例は、さらに、非揮発性なコンピュータ読取可能な記憶媒体を提供する。前記記憶媒体の中に記憶された１つ以上のプログラムが装置の１つ以上のプロセッサーにて実行されることによって、前記１つ以上のプロセッサーに下記のような方法を実行させる。係る方法においては、被評価音声データを受信する；前記被評価音声データの評価特徴を抽出する；前記被評価音声データの評価特徴及び構築された音声品質評価用モデルに基づいて、前記被評価音声データに対して品質評価を行う；ここで、前記音声品質評価用モデルは、片端音声データの評価特徴と前記片端音声データの品質情報との間の関係を示している。
【００８２】
本出願の実施例は、さらに、コンピュータプログラムを提供する。前記コンピュータプログラムが装置の中の１つ以上のプロセッサーにて実行されることによって、前記１つ以上のプロセッサーに下記のような方法を実行させる。係る方法においては、被評価音声データを受信する；前記被評価音声データの評価特徴を抽出する；前記被評価音声データの評価特徴及び構築された音声品質評価用モデルに基づいて、前記被評価音声データに対して品質評価を行う；ここで、前記音声品質評価用モデルは、片端音声データの評価特徴と前記片端音声データの品質情報との間の関係を示している。
【００８３】
前記各実施例の中の同一又は類似する部分を互いに参照すればよい。幾つかの実施例において詳細な説明がなされていない内容については、その他の実施例の中の同一または類似する部分を参酌可能であることは理解されるべきであろう。
【００８４】
なお、本出願の中に記載されている「第１」、「第２」などは、内容を説明する目的だけで使われているが、相対的な重要性などを指示又は暗示しているものと解されるべきではない。また、本出願を作成する際には、別途説明がない限り、「複数」とは、少なくとも２つのことをいう。
【００８５】
フローチャート或いはここにその他の形式で記述された任意の過程又は方法は、特定の論理機能又は過程のステップを実現するための、指令を実行可能なコードを１つ以上含むモジュール、セグメント又は一部分を示しているものと理解されることができる。かつ、本出願の好適な実施形態の範囲には、その他の実現方式を含み、中では、明示又は検討された順序ではなく、例えば言及された機能に基づいて基本的に並行する方式又は逆な順序
で機能を実行させることを含んでもよく、これは本出願の実施例に係る当業者にとって明確であろう。
【００８６】
また、本出願の各部分は、ハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせによって実現されうることが理解されるべきであろう。前記実施形態においては、複数のステップや方法は、メモリに記憶されかつ適当な指令実行システムによって実行されたソフトウェア又はファームウェアによって実現されうる。例えば、ハードウェアによって実現される場合、別の実施形態と同じように、当分野で周知される下記の技術、即ちデータ信号に論理機能を実施するための論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する特定用途向け集積回路（ＡＳＩＣ）、プログラマブル・ゲート・アレイ（ＰＧＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）から選ばれるいずれか１つ又はそれらの組み合わせによって実現されうる。
【００８７】
前記実施例に係る方法のステップの全部または一部分の実現は、プログラムを介して関連のハードウェアを指令して完成されることは、当業者であれば理解されるべきであろう。前記プログラムはコンピュータ読取可能な記憶媒体に格納されていてもよく、このプログラムを実行する際に、方法実施例のステップのうちの１つ又はその組み合わせを含んでいる。
【００８８】
また、本出願の各実施例における各々の機能ユニットを、１つの処理モジュールに集成してもよいし、各ユニットが単独で物理的に存在してもよいし、２つ以上のユニットを1
つのモジュールに集成することもできる。なお、前記集成されたモジュールは、ハードウェアの形式にて実現されてもよいし、ソフトウェア機能モジュールの形式にて実現されることもできる。前記集成されたモジュールはソフトウェア機能モジュールの形式で実現されかつ独立した製品として販売又は使用されている場合、１つのコンピュータ読取可能な記憶媒体に格納されていてもよい。
【００８９】
前記言及された記憶媒体は、ＲＯＭ、磁気ディスク又は光ディスクなどであってもよい。
【００９０】
明細書の記述においては、「１つの実施例」、「幾つかの実施例」、「事例」、「具体的な事例」又は「幾つかの事例」などの参照用語は、当該実施例又は例を結合して記載されている具体的な特徴、構造、材料又は特性が本出願の少なくとも１つの実施例又は事例の中に含まれていることを意味している。本明細書においては、前記用語に対する例示的な表現は、必ずしも同一の実施例又は事例を指しているとは限らない。かつ、中に記載されている具体的な特徴、構造、材料又は特性は、いずれか１つ又は複数の実施例又は事例の中で適当な方式によって結合されることが可能となる。
【００９１】
本出願の実施例は以上のように明示及び記述されているが、前記実施例は例示的なものに過ぎず、本出願にいかなる形式の制限をもしていないことが理解されるべきであろう。当業者は、本出願技術案の範囲を逸脱することなく、前記実施例に様々な変化、修正、変更及び修飾を施すことができる。
【図１】
2019531494.tif 000003
【図２】
2019531494.tif 000004
【図３】
2019531494.tif 000005
【図４】
2019531494.tif 000006
【国際調査報告】
2019531494.tif 000007
2019531494.tif 000008
2019531494.tif 000009
2019531494.tif 000010