(57)【要約】声紋識別方法を提供し、識別待ちの目標音声情報を取得するステップ１０１と、声紋識別モデルによって、前記目標音声情報の目標特徴情報を取得するステップであって、前記声紋識別モデルは、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものであるステップ１０２と、目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定するステップであって、前記登録特徴情報は、識別待ち対象の音声情報が声紋識別モデルを通過してから得られたものであるステップ１０３と、を含む。さらに、モデルトレーニング方法及びサーバを提供する。２つの関数を用いて音声識別モデルの監視と学習を同時に行うことで、深度特徴がよりよい区別性を有し、識別性能を向上させることができる。
2021527840.tif 000002
【特許請求の範囲】
【請求項１】
識別待ちの目標音声情報を取得するステップと、
声紋識別モデルによって、前記目標音声情報の目標特徴情報を取得するステップであって、前記声紋識別モデルは、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものであるステップと、
前記目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定するステップであって、前記登録特徴情報は、識別待ち対象の音声情報が前記声紋識別モデルを通過してから得られたものであるステップと、を含む声紋識別方法。
【請求項２】
前記目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定する前記ステップは、
前記目標特徴情報及び登録特徴情報に基づいてコサイン類似度を算出するステップと、
前記コサイン類似度が第１類似度閾値以上であれば、前記目標音声情報が前記識別待ち対象の音声情報であると特定するステップと、
前記コサイン類似度が前記第１類似度閾値に達していなければ、前記目標音声情報が前記識別待ち対象の音声情報ではないと特定するステップと、を含む、請求項１に記載の方法。
【請求項３】
前記目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定する前記ステップは、
ＰＬＤＡ分類機によって前記目標特徴情報と前記登録特徴情報との間の対数尤度比を算出するステップと、
前記対数尤度比が第２類似度閾値以上であれば、前記目標音声情報が前記識別待ち対象の音声情報であると特定するステップと、
前記対数尤度比が前記第２類似度閾値に達していなければ、前記目標音声情報が前記識別待ち対象の音声情報ではないと特定するステップと、を含む、請求項１に記載の方法。
【請求項４】
トレーニング待ち音声情報集合を取得するステップであって、前記トレーニング待ち音声情報集合は、少なくとも１つの対象に対応する音声情報を含むステップと、
前記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、モデル調節関数を特定するステップであって、前記モデル調節関数は、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とを含むステップと、
前記モデル調節関数に基づいてトレーニングすることで声紋識別モデルを得るステップと、を含むモデルトレーニング方法。
【請求項５】
前記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、モデル調節関数を特定する前記ステップは、
ＣＮＮによって各音声情報の深度特徴を特定するステップと、
前記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、接続層重み行列を取得するステップと、
前記各音声情報の深度特徴及び前記接続層重み行列に基づいて前記第１損失関数を特定するステップと、を含む、請求項４に記載の方法。
【請求項６】
前記各音声情報の深度特徴及び前記接続層重み行列に基づいて前記第１損失関数を特定する前記ステップは、
以下の式で前記第１損失関数を特定するステップであって、
【数１】
2021527840.tif 000137
前記
2021527840.tif 000138
は前記第１損失関数を示し、前記
2021527840.tif 000139
は
2021527840.tif 000140
番目の対象からの
2021527840.tif 000141
番目の深度特徴を示し、
2021527840.tif 000142
は前記接続層重み行列における第
2021527840.tif 000143
列を示し、前記
2021527840.tif 000144
は第
2021527840.tif 000145
クラスの誤差項を示し、各クラスは１つの対象に対応し、前記
2021527840.tif 000146
は前記トレーニング待ち音声情報集合に対応するトレーニングセット組みのサイズを示し、前記
2021527840.tif 000147
は前記トレーニング待ち音声情報集合に対応する対象数を示すステップを含む、請求項５に記載の方法。
【請求項７】
前記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、モデル調節関数を特定する前記ステップは、
ＣＮＮによって各音声情報の深度特徴を特定するステップと、
前記各音声情報の深度特徴に基づいて深度特徴勾配を算出するステップと、
前記深度特徴勾配及び第１音声平均値に基づいて第２音声平均値を算出するステップと、
前記各音声情報の深度特徴及び前記第２音声平均値に基づいて、前記第２損失関数を特定するステップと、を含む、請求項４に記載の方法。
【請求項８】
前記各音声情報の深度特徴に基づいて深度特徴勾配を算出する前記ステップは、
以下の式で前記深度特徴勾配を算出するステップであって、
【数２】
2021527840.tif 000148
前記
2021527840.tif 000149
は前記深度特徴勾配を示し、前記
2021527840.tif 000150
は前記トレーニング待ち音声情報集合に対応するトレーニングセット組みのサイズを示し、前記
2021527840.tif 000151
はクラスを示し、各クラスは１つの対象に対応し、前記
2021527840.tif 000152
は
2021527840.tif 000153
番目の対象を示すステップを含み、
前記深度特徴勾配及び第１音声平均値に基づいて第２音声平均値を算出する前記ステップは、
以下の式で前記第２音声平均値を算出するステップであって、
【数３】
2021527840.tif 000154
前記
2021527840.tif 000155
は時刻を示し、前記
2021527840.tif 000156
は
2021527840.tif 000157
時刻に対応する前記第２音声平均値を示し、前記
2021527840.tif 000158
は
2021527840.tif 000159
時刻に対応する前記第１音声平均値を示し、前記
2021527840.tif 000160
は
2021527840.tif 000161
時刻に対応する前記深度特徴勾配を示し、前記
2021527840.tif 000162
は学習速度パラメータを示し、且つ前記
2021527840.tif 000163
の値の範囲は０以上１以下であるステップを含み、
前記各音声情報の深度特徴及び前記第２音声平均値に基づいて、前記第２損失関数を特定する前記ステップは、
以下の式で前記第２損失関数を特定するステップであって、
【数４】
2021527840.tif 000164
前記
2021527840.tif 000165
は前記第２損失関数を示し、前記
2021527840.tif 000166
は
2021527840.tif 000167
番目の対象からの
2021527840.tif 000168
番目の深度特徴を示し、前記
2021527840.tif 000169
は前記
2021527840.tif 000170
からの深度区分特徴平均値を示すステップを含む、請求項７に記載の方法。
【請求項９】
前記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、モデル調節関数を特定する前記ステップは、
前記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、前記第１損失関数を特定するステップと、
前記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、前記第２損失関数を特定するステップと、
前記第１損失関数と前記第２損失関数とに基づいて、前記モデル調節関数を特定するステップと、を含む、請求項４乃至請求項８のうちのいずれか１項に記載の方法。
【請求項１０】
前記第１損失関数と前記第２損失関数とに基づいて、前記モデル調節関数を特定する前記ステップは、
以下の式で前記モデル調節関数を特定するステップであって、
【数５】
2021527840.tif 000171
前記
2021527840.tif 000172
は前記モデル調節関数を示し、前記
2021527840.tif 000173
は前記第１損失関数を示し、前記
2021527840.tif 000174
は前記第２損失関数を示し、前記
2021527840.tif 000175
は制御パラメータを示すステップを含む、請求項９に記載の方法。
【請求項１１】
１つまたは複数のプロセッサと、１つまたは複数のプログラムモジュールを記憶するメモリと、を含むサーバであって、
前記プロセッサは、
識別待ちの目標音声情報を取得するとともに、
声紋識別モデルによって、前記目標音声情報の目標特徴情報を取得するように構成された取得モジュールであって、前記声紋識別モデルは、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものである取得モジュールと、
前記取得モジュールによって取得された前記目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定するように構成された特定モジュールであって、前記登録特徴情報は、識別待ち対象の音声情報が前記声紋識別モデルを通過してから得られたものである特定モジュールと、を含む前記プログラムモジュールを実行する、サーバ。
【請求項１２】
１つまたは複数のプロセッサと、１つまたは複数のプログラムモジュールを記憶するメモリと、を含むサーバであって、
前記プロセッサは、
トレーニング待ち音声情報集合を取得するように構成された取得モジュールであって、前記トレーニング待ち音声情報集合は、少なくとも１つの対象に対応する音声情報を含む取得モジュールと、
前記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、モデル調節関数を特定するように構成された特定モジュールであって、前記モデル調節関数は、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とを含む特定モジュールと、
前記特定モジュールによって特定されたモデル調節関数に基づいて、トレーニングすることで声紋識別モデルを得るように構成されたトレーニングモジュールと、を含むプログラムモジュールを実行する、サーバ。
【請求項１３】
メモリと、受送信機と、プロセッサと、バスシステムと、を含むサーバであって、
前記メモリは、プログラムを記憶するように構成され、
前記プロセッサは、
識別待ちの目標音声情報を取得するステップと、
声紋識別モデルによって、前記目標音声情報の目標特徴情報を取得するステップであって、前記声紋識別モデルは、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものであるステップと、
前記目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定するステップであって、前記登録特徴情報は、識別待ち対象の音声情報が前記声紋識別モデルを通過してから得られたものであるステップと、を含む前記メモリにおけるプログラムを実行するように構成され、
前記バスシステムは、前記メモリ及び前記プロセッサに接続され、前記メモリと前記プロセッサとの通信を行うように構成された、サーバ。
【請求項１４】
メモリと、受送信機と、プロセッサと、バスシステムと、を含むサーバであって、
前記メモリは、プログラムを記憶するように構成され、
前記プロセッサは、
トレーニング待ち音声情報集合を取得するステップであって、前記トレーニング待ち音声情報集合は、少なくとも１つの対象に対応する音声情報を含むステップと、
前記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、モデル調節関数を特定するステップであって、前記モデル調節関数は、正規化指数関数である第１損失関数と集中化関数である第２損失関数とを含むステップと、
前記モデル調節関数に基づいてトレーニングすることで声紋識別モデルを得るステップと、を含む前記メモリにおけるプログラムを実行するように構成され、
前記バスシステムは、前記メモリ及び前記プロセッサに接続され、前記メモリと前記プロセッサとの通信を行うように構成された、サーバ。
【請求項１５】
コンピュータに請求項１乃至請求項３のうちのいずれか１項に記載の方法、または請求項４乃至請求項１０のうちのいずれか１項に記載の方法のステップを実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年１０月１０日に中国特許局に出願された、優先権番号が２０１８１１１７９８５６４で、発明名称が「声紋識別方法、モデルトレーニング方法、及びサーバ」である中国特許出願を基礎とする優先権を主張し、その開示のすべてをここに援用する。
【０００２】
技術分野
本願の実施例は、人工知能分野に関し、特に、声紋識別方法、モデルトレーニング方法、サーバ、及びコンピュータプログラムに関する。
【背景技術】
【０００３】
ネットワーク情報技術が高速に発展するとともに、人々は各種の情報を簡単に取得でき、これにより情報セキュリティ問題も発生する。情報のセキュリティや機密性に関わるますます多い箇所に信頼性の高い身元認証システムが必要となっているため、指紋、虹彩、人顔、手書きの署名、及び音声に基づく身元認証技術は、いずれも応用ニーズによって促進されて大幅な発展を実現した。音声は身元情報の重要なキャリアとして、顔や指紋等の他の生体特徴に比べて、その取得コストが低く、利用が簡単であり、データの遠隔収集が便利であり、また、音声に基づくヒューマンマシン対話インターフェースが友好であるため、話者識別技術が重要な自動身元認証技術になっている。最近、話者識別技術はスマートホーム分野での身元認証、音声支払い、及び個性化〔パーソナル化〕推薦においてますます重要な応用価値を持つことになっている。
【０００４】
現在、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮと略称）に基づいてトレーニングされたシステムは、話者を識別することが可能である。このようなシステムは、通常短い音声から一定の時間長の音声周波数を切り出して、該音声周波数をピクチャに変換しＣＮＮネットワークに出力して、トレーニングを行わせ、予め定義されたｓｏｆｔｍａｘ損失関数によってネットワーク全体を調整する。
【０００５】
しかしながら、ｓｏｆｔｍａｘ損失関数に基づくシステムの場合、トレーニング中において過学習現象が発生しやすく、つまりトレーニングセットでの性能が優れているが、トレーニングされたことのないテスト集合ではその性能が悪い。
【発明の概要】
【０００６】
本願の実施例において、正規化指数関数及び集中化関数（ｃｅｎｔｒａｌｉｚａｔｉｏｎ  ｆｕｎｃｔｉｏｎ）を利用して、声紋識別モデルに対して組合せ最適化を行うことで、同一の話者からの深度特徴同士のクラス内変動を減少することができる声紋識別方法、モデルトレーニング方法及びサーバを提供する。２つの関数を用いて声紋識別モデルの監視と学習を同時に行うことで、深度特徴がよりよい区別性を有し、識別性能を向上させる。
【０００７】
これに鑑みて、本願の実施例の第１側面によると、
識別待ちの目標音声情報を取得するステップと、
声紋識別モデルによって、上記目標音声情報の目標特徴情報を取得するステップであって、上記声紋識別モデルは、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものであるステップと、
上記目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定するステップであって、上記登録特徴情報は、識別待ち対象の音声情報が上記声紋識別モデルを通過してから得られたものであるステップと、を含む、声紋識別方法を提供する。
【０００８】
本願の実施例の第２側面によると、
トレーニング待ち音声情報集合を取得するステップであって、上記トレーニング待ち音声情報集合は、少なくとも１つの対象に対応する音声情報を含むステップと、
上記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、モデル調節関数を特定するステップであって、上記モデル調節関数は、正規化指数関数である第１損失関数と集中化関数である第２損失関数とを含むステップと、
上記モデル調節関数に基づいてトレーニングすることで声紋識別モデルを得るステップと、を含む、モデルトレーニング方法を提供する。
【０００９】
本願の実施例の第３側面によると、１つまたは複数のプロセッサと、１つまたは複数のプログラムモジュールを記憶するメモリと、を含むサーバであって、プロセッサは、
識別待ちの目標音声情報を取得するとともに、
声紋識別モデルによって、上記目標音声情報の目標特徴情報を取得するように構成された取得モジュールであって、上記声紋識別モデルは、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものである取得モジュールと、
上記取得モジュールによって取得された上記目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定するように構成された特定モジュールであって、上記登録特徴情報は、識別待ち対象の音声情報が上記声紋識別モデルを通過してから得られたものである特定モジュールと、を含むプログラムモジュールを実行する、サーバを提供する。
【００１０】
本願の実施例の第４側面によると、１つまたは複数のプロセッサと、１つまたは複数のプログラムモジュールを記憶するメモリと、を含むサーバであって、プロセッサは、
トレーニング待ち音声情報集合を取得するように構成された取得モジュールであって、上記トレーニング待ち音声情報集合は、少なくとも１つの対象に対応する音声情報を含む取得モジュールと、
上記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定するための特定モジュールであって、上記モデル調節関数は、正規化指数関数である第１損失関数と集中化関数である第２損失関数とを含む特定モジュールと、
上記特定モジュールによって特定されたモデル調節関数に基づいてトレーニングすることで声紋識別モデルを得るように構成されたトレーニングモジュールと、を含むプログラムモジュールを実行する、サーバを提供する。
【００１１】
本願の実施例の第５側面によると、メモリと、受送信機と、プロセッサと、バスシステムと、を含むサーバであって、
上記メモリは、プログラムを記憶するように構成され、
上記プロセッサは、
識別待ちの目標音声情報を取得するステップと、
声紋識別モデルによって、上記目標音声情報の目標特徴情報を取得するステップであって、上記声紋識別モデルは、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものであるステップと、
上記目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定するステップであって、上記登録特徴情報は、識別待ち対象の音声情報が上記声紋識別モデルを通過してから得られたものであるステップと、を含む上記メモリにおけるプログラムを実行し、
上記バスシステムは、上記メモリ及び上記プロセッサに接続され、上記メモリと上記プロセッサとの通信を行うように構成された、サーバを提供する。
【００１２】
本願の実施例の第６側面によると、メモリと、受送信機と、プロセッサと、バスシステムと、を含むサーバであって、
上記メモリにプログラムが記憶され、
上記プロセッサにより、
トレーニング待ち音声情報集合を取得するステップであって、上記トレーニング待ち音声情報集合は、少なくとも１つの対象に対応する音声情報を含むステップと、
上記トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、モデル調節関数を特定するステップであって、上記モデル調節関数は、正規化指数関数である第１損失関数と集中化関数である第２損失関数とを含むステップと、
上記モデル調節関数に基づいてトレーニングすることで声紋識別モデルを得るステップと、を含む上記メモリにおけるプログラムを実行し、
上記バスシステムは、上記メモリ及び上記プロセッサに接続され、上記メモリと上記プロセッサとの通信を行うように構成された、サーバを提供する。
【００１３】
本願の実施例の第７側面によると、コンピュータに上記各態様による方法のステップを実行させるコンピュータプログラムを提供する。
【００１４】
以上の態様によると、本願の実施例は以下のメリットを有する：
本願の実施例において、声紋識別方法を提供し、まずサーバが識別待ちの目標音声情報を取得し、その後、サーバが声紋識別モデルによって目標音声情報の目標特徴情報を取得し、ここで、声紋識別モデルは正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものである。さらに、サーバが目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定し、ここで、登録特徴情報は、識別待ち対象の音声情報が声紋識別モデルを通過してから得られたものである。上記態様によると、正規化指数関数及び集中化関数を用いて声紋識別モデルに対して組合せ最適化を行い、正規化指数関数を損失関数とすることで、深度特徴空間における異なる話者同士の区別性を向上させることができる一方、集中化関数を損失関数とすることで、同一の話者からの深度特徴同士のクラス内変動を選択的に減少することができる。２つの損失関数を用いて声紋識別モデルの監視と学習を同時に行うことで、深度特徴がよりよい区別性を有し、識別性能を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】本願の実施例における声紋識別システムの構成を示す概略図である。
【図２】本願の実施例における声紋識別方法の実施例を示す概略図である。
【図３】本願の実施例における声紋識別結果を特定するプロセスを示す概略図である。
【図４】本願の実施例におけるコサイン類似度に基づいて声紋識別結果を特定することを示す概略図である。
【図５】本願の実施例におけるモデルトレーニング方法の実施例を示す概略図である。
【図６】本願の実施例における音声情報に対して前処理を行うプロセスを示す概略図である。
【図７】本願の実施例における畳み込みニューラルネットワークの全体構造を示す概略図である。
【図８】本願の実施例における畳み込みニューラルネットワークの一部の構造を示す概略図である。
【図９】本願の実施例における検証セットが異なるネットワークに応用される場合の正確率を比較して示す概略図である。
【図１０】本願の実施例におけるサーバの実施例を示す概略図である。
【図１１】本願の実施例におけるサーバの他の実施例を示す概略図である。
【図１２】本願の実施例におけるサーバの構造を示す概略図である。
【発明を実施するための形態】
【００１６】
本願の実施例は、声紋識別方法、モデルトレーニング方法及びサーバを提供し、正規化指数関数及び集中化関数を用いて声紋識別モデルに対して組合せ最適化を行うことで、同一の話者からの深度特徴同士のクラス内変動を減少することができる。２つの関数を用いて声紋識別モデルの監視と学習を同時に行うことで、深度特徴がよりよい区別性を有し、識別性能を向上させる。
【００１７】
本願の実施例の明細書、特許請求の範囲及び図面に用いられる「第１」、「第２」、「第３」、「第４」等（記載されていれば）の用語は類似する対象を区別するためのもので、特定の順又は前後順を限定するものではない。ここで説明する本願の実施例を図面に示す又は説明した順との異なる順でも実現できるように、このように使用される数値は適切な状況において交換可能である。また、「含む」、「有する」及びそれらの変形用語は、非排他的に含むことをカバーするもので、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明確に例示されたステップ又はユニットによって限定されず、明確に例示されていない又はこれらのプロセス、方法、製品又は機器固有の他のステップ又はユニットを含むこともできる。
【００１８】
なお、本願の実施例を声紋識別状況に応用することができ、識別ジョブの違いに応じて、話者識別が話者判別（Ｓｐｅａｋｅｒ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と話者確認（Ｓｐｅａｋｅｒ  Ｖｅｒｉｆｉｃａｔｉｏｎ）との２つに分けられることは理解できることである。話者判別は、一区間の測定候補音声が既知の登録済みの話者集合のうちのどれであるかを判断することを目的とし、１対多数の識別問題である。一方、話者確認は測定待ち音声が登録済みの目標話者であるか否かを判断することを目的とし、一対一の確認問題である。話者判別は登録済みの話者の範囲内で行われ、クローズドセットでの識別問題であり、登録される人数の増加に伴って、アルゴリズムの複雑性が大きくなり、システムの性能が低下する。一方、話者確認は各回のテストが１名の目標話者のみに係っているため、オープンセットでの識別問題であり、システムの性能が人数の増加の影響をあまり受けない。
【００１９】
ここで、音声情報に対する要求に応じて、話者識別はさらにテキスト依存型（Ｔｅｘｔ−ｄｅｐｅｎｄｅｎｔ）とテキスト独立型（Ｔｅｘｔ−ｉｎｄｅｐｅｎｄｅｎｔ）との２つに分けられることができる。前者は登録された音声とテスト音声とが同様な語義を持つことを要求し、話者がよく協力する状況に応用され、同様な語義の内容が識別システムにより多い補充情報を提供可能であるため、このようなタイプのシステムは識別効果が優れており、システムの性能が音声の時間長の変化に敏感でなく、時間長が短い場合であっても高い正確性を維持できる。一方、後者の場合、音声信号における語義内容に注目せず、前者に比べると、制限要素が少なく、応用がより柔軟で広いが、語義内容が制限されないため、トレーニングやテスト段階で音声系の不一致現象が発生し、このようなタイプのシステムは識別難度が高く且つ性能が悪く、良好な識別性能を得ようとすると、大量のトレーニングコーパスが必要である。テキスト独立型の話者識別システムはテスト音声の時間長の短縮に伴って性能が急速に低下して、ユーザの体験が悪い。
【００２０】
識別システムが異なる長さの音声情報によりよく適用されるように、本願の実施例において話者識別方法を提供する。該方法は図１に示す識別システムに応用され、本願の実施例における識別システムの構成を示す概略図である図１を参照すると、端末機器によって声紋識別要求を発することができ（例えば、一節の音声を出す）、サーバは端末機器から送信された声紋識別要求を受信すると、トレーニングされた声紋識別モデルに基づいて、話者を確認し、すなわち話者が登録済の話者であるか否かを判断して、声紋識別結果を生成することができる。なお、端末機器としては、タブレットＰＣ、ノートパソコン、携帯情報端末、携帯電話及びパーソナルコンピュータ（ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ、ＰＣと略称）を含むが、ここでは限定されない。
【００２１】
つまり、本実施例による声紋識別システムにおいて、端末機器とサーバとを含むことができるが、これに限定されない。ここで、端末機器は、話者の目標音声情報を収集してから、該目標音声情報をサーバへ送信する。サーバは目標音声情報を受信すると、予めトレーニングされた声紋識別モデルを呼び出して、上記取得した目標音声情報に対して特徴抽出を行って目標特徴情報を得る。その後、該目標特徴情報及び登録特徴情報に基づいて、上記目標音声情報に対応する声紋識別結果を特定する。これにより、端末機器とサーバとの対話プロセスを経て、話者の音声に対する声紋識別を実現し、端末機器の処理負荷を低減し、声紋識別の効率と正確性を向上させる。
【００２２】
また、上記声紋識別システムは、単独の端末機器またはサーバを含んで、端末機器またはサーバによって単独に上記声紋識別プロセスを完成することもでき、本実施例においては詳細な説明を省略する。
【００２３】
以下、サーバの方面から、本願の実施例における声紋識別方法を説明し、図２を参照すると、本願の実施例における声紋識別方法の一実施例は１０１〜１０３を含む。
【００２４】
１０１において、サーバが、識別待ちの目標音声情報を取得する。
【００２５】
本実施例において、話者が端末機器を介して一節の音声を出し、当該一節の音声は識別待ちの目標音声情報であり、端末機器により識別待ちの目標音声情報をサーバへ送信する。
【００２６】
１０２において、サーバが、声紋識別モデルによって目標音声情報の目標特徴情報を取得し、声紋識別モデルは正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものである。
【００２７】
本実施例において、サーバが、識別待ちの目標音声情報を声紋識別モデルに入力し、その後、該声紋識別モデルによって対応する目標特徴情報を出力する。ここで、声紋識別モデルは第１損失関数としての正規化指数関数（ｓｏｆｔｍａｘ損失関数）及び第２損失関数としての集中化関数（ｃｅｎｔｅｒ損失関数）による共同トレーニングによるものである。
【００２８】
ここで、損失関数は、予測値と真実値との間の差を計量し、ｓｏｆｔｍａｘ損失関数である。
【００２９】
１０３において、サーバが、目標特徴情報及び登録特徴情報に基づいて、声紋識別結果を特定し、登録特徴情報は、識別待ち対象の音声情報が声紋識別モデルを通過してから得られたものである。
【００３０】
本実施例において、サーバが話者を識別する過程において、識別待ちの音声情報の特徴を抽出する以外にも、テスト得点を算出しなければならず、最後にテスト得点に基づいて声紋識別結果を特定する。説明の便宜を図るために、本願の実施例において声紋識別結果を特定するプロセスを示す概略図である図３を参照すると、声紋識別モデルはトレーニング済の畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮと略称）であることができ、まず登録音声及びテスト音声を小さい音声セグメントのシーケンスに分割し、音声が短すぎると、繋ぎ合わせる形態で適切な時間長の音声セグメントを生成し、声紋識別モデルに入力する。その後、統計平均層によって登録音声に対応する登録特徴情報を取得し、統計平均層によってテスト音声に対応する目標特徴情報を取得する。ここでの登録特徴情報及び目標特徴情報はいずれも文レベルの深度特徴である。続いて、Ｌ２−Ｎｏｒｍ層が、登録特徴情報及び目標特徴情報に対して選択的に整理を行う。ここで、Ｌ２−Ｎｏｒｍ〔Ｌ２ノルム〕層とは、ユークリッド距離のことである。最後に、コサイン距離または確率的線形判別分析（Ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｌｉｎｅａｒ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ、ＰＬＤＡと略称）分類機を用いて、テスト得点を算出する。
【００３１】
本願の実施例において、声紋識別方法を提供し、まずサーバは、識別待ちの目標音声情報を取得し、その後、サーバが声紋識別モデルによって目標音声情報の目標特徴情報を取得する。ここで、声紋識別モデルは正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものである。サーバは、さらに、目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定する。ここで、登録特徴情報は、識別待ち対象の音声情報が声紋識別モデルを通過してから得られたものである。上記態様によると、正規化指数関数及び集中化関数を用いて声紋識別モデルに対して組合せ最適化を行い、正規化指数関数を損失関数とすることで、深度特徴空間における異なる話者同士の区別性を向上させることができる一方、集中化関数を損失関数とすることで、同一の話者からの深度特徴同士のクラス内変動を選択的に減少することができる。２つの損失関数を用いて声紋識別モデルの監視と学習を同時に行うことで、深度特徴がよりよい区別性を有し、識別性能を向上させることができる。
【００３２】
あるいはまた、上記図２に対応する実施例を基にする、本願の実施例によるモデルトレーニング方法の第１の好ましい実施例において、目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定するステップは、
サーバが目標特徴情報及び登録特徴情報に基づいて、コサイン類似度を算出するステップと、
コサイン類似度が第１類似度閾値に達すると、サーバは目標音声情報が識別待ち対象の音声情報であると特定するステップと、
コサイン類似度が第１類似度閾値に達していなければ、サーバは目標音声情報が識別待ち対象の音声情報ではないと特定するステップと、を含むことができる。
【００３３】
本実施例において、話者が登録済の話者であるか否かを判断する方法を提供する。あるいはまた、コサイン類似度を用いて得点を評価するプロセスは、得られた登録特徴情報の場合、データのトレーニングによって得られたものであれば、同一の対象に属する特徴情報を１クラスとして、該１クラスの平均を算出し、該平均値が登録特徴情報となる。得点を評価しようとする目標特徴情報の場合、２つの特徴情報のコサイン類似度を算出して、コサイン類似度に基づいて識別結果を特定することができる。
【００３４】
説明の便宜を図るために、本願の実施例におけるコサイン類似度に基づいて声紋識別結果を特定することを示す概略図である図４を参照すると、まずベクトルａとベクトルｂとの角度θを求め、角度θに対応するコサイン値ｃｏｓθを得て、当該コサイン値によって当該２つのベクトルの類似度を表すことができる。角度が小さいほど、コサイン値が１に近接し、これらの方向がより合致し、より類似する。コサイン類似度は、ベクトル空間における２つのベクトル角度のコサイン値を２つの個体間の差異の大きさとして評価する。距離による計量に比べ、コサイン類似度は距離または長さにおける差異ではなく、２つのベクトルの方向における差異をもっと重視する。
【００３５】
コサイン類似度（例えば０．９）が第１類似度閾値（例えば０．８）に以上であれば、サーバは目標音声情報が識別待ち対象の音声情報であると特定する。コサイン類似度（例えば０．７）が第１類似度閾値（例えば０．８）に達していなければ、サーバは目標音声情報が識別待ち対象の音声情報ではないと特定する。
【００３６】
なお、実際の応用において、上記したコサイン類似度を用いて声紋識別結果を特定することができる以外、ユークリッド距離、ミンコフスキー距離、マンハッタン距離、チェビシェフ距離、マハラノビス距離、ピアソン相関係数またはＪａｃｃａｒｄ類似係数を用いて類似度の検出を行うこともできる。
【００３７】
次に、本願の実施例において、サーバが目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定する過程において、まず目標特徴情報及び登録特徴情報に基づいてコサイン類似度を算出し、コサイン類似度が第１類似度閾値に達すると、サーバは目標音声情報が識別待ち対象の音声情報であると特定する。コサイン類似度が第１類似度閾値に達していなければ、サーバは目標音声情報が識別待ち対象の音声情報ではないと特定する。上記態様によると、コサイン類似度が方向において差異を区別し、主にユーザによる内容の得点の評価を用いてユーザの類似度や差異を区別し、同時に、ユーザ同士で計量標準が統一されていない課題を解決し、声紋識別結果の信頼性の向上に寄与する。
【００３８】
あるいはまた、上記図２に対応する実施例を基にする、本願の実施例によるモデルトレーニング方法の第２の好ましい実施例において、目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定するステップは、
サーバがＰＬＤＡ分類機によって、目標特徴情報と登録特徴情報との間の対数尤度比を算出するステップと、
対数尤度比が第２類似度閾値に達すると、サーバが目標音声情報が識別待ち対象の音声情報であると特定するステップと、
対数尤度比が第２類似度閾値に達していなければ、サーバが目標音声情報が識別待ち対象の音声情報ではないと特定するステップと、を含むことができる。
【００３９】
本実施例において、他の話者が登録済の話者であるか否かを判断する方法を提供する。具体的に、ＰＬＤＡ分類機によって得点を評価するプロセスは、
声紋識別分野において、トレーニングデータ音声がＩ個の話者の音声からなり、各話者が異なるＪ節の音声を有するとする。この場合、ｉ番目の話者のｊ本目の音声をＸｉｊにし、また、因子に基づいて分析して、Ｘｉｊの生成モデルを、
【数１】
2021527840.tif 000003
と定義する。
【００４０】
当該モデルを２つの部分とみなすことができ、等号の右側の最初の２つの因子は、単に話者に関連し、話者の具体的な音声とは関連せず、信号部分と呼ばれ、話者のクラス間の差異を示す。等号の右側の最後の２つの因子は、同一の話者の異なる音声間の差異を示し、雑音部分と呼ばれる。このように、このような２つの仮想変数で１つの音声のデータ構造を説明する。当該２つの行列ＦとＧはそれぞれの仮想変数空間における基本因子を含み、これらの因子をそれぞれの空間の特徴ベクトルとすることができる。例えば、Ｆの各列はクラス間空間の特徴ベクトルに相当し、Ｇの各列はクラス内空間の特徴ベクトルに相当する。２つのベクトルをそれぞれの空間での特徴を表すものと見なすことができ、例えばｈｉをＸｉｊの話者空間における特徴を表すものと見なすことができる。識別して得点を評価する段階において、２つの音声のｈｉ特徴が同様である尤度が大きいほど、当該２つの音声がより確実に同一の話者に属する。
【００４１】
ＰＬＤＡのモデルパラメーターは、数値平均値
2021527840.tif 000004
、空間特徴行列ＦとＧ、雑音共分散
2021527840.tif 000005
との合計で４つである。モデルのトレーニングは典型的な期待値最大化アルゴリズムを利用して繰り返して求める。
【００４２】
次に、本願の実施例において、サーバが目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定する過程において、まずＰＬＤＡ分類機によって目標特徴情報と登録特徴情報との間の対数尤度比を算出し、対数尤度比が第２類似度閾値に達すると、サーバが目標音声情報が識別待ち対象の音声情報であると特定することができる。対数尤度比が第２類似度閾値に達していなければ、サーバが目標音声情報が識別待ち対象の音声情報ではないと特定する。上記態様によると、ＰＬＤＡをチャネル補償アルゴリズムとし、そのチャネル補償能力が既存の線形判別分析分類機より優れており、声紋識別結果の信頼性の向上に寄与する。
【００４３】
以下、サーバの方面から、本願の実施例におけるモデルのトレーニング方法を説明し、図５を参照すると、本願の実施例におけるモデルのトレーニング方法の一実施例は、２０１〜２０３を含む。
【００４４】
２０１において、サーバが、トレーニング待ち音声情報集合を取得し、トレーニング待ち音声情報集合は少なくとも１つの対象に対応する音声情報を含む。
【００４５】
本実施例において、まずサーバがトレーニング待ちの音声情報集合を取得し、該音声情報集合に少なくとも１つの対象の音声情報が含まれる必要がある。
【００４６】
あるいはまた、サーバがさらにトレーニング待ち音声情報集合にうちの各音声情報に対して前処理を行う必要があり、本願の実施例における音声情報に対して前処理を行うプロセスを示す概略図である図６を参照すると、
ステップＳ１において、まずトレーニング待ち音声情報集合のうちの各音声情報に対して音声区間検出（Ｖｏｉｃｅ  Ａｃｔｉｖｉｔｙ  Ｄｅｔｅｃｔｉｏｎ、ＶＡＤと略称）を行う必要があり、これは、声音信号ストリームから長時間の無音期間を識別し削除して、業務品質を低下させずに通話経路リソースを節約する役割を実現してユーザの感じるエンドツーエンドの遅延の低減に有利にするためである。
【００４７】
無音の検出を行う時に注意すべきことが２つある。その１つは背景雑音問題で、すなわち如何にして背景雑音が大きい状況で無音を検出するかであり、他の１つは前後エッジカット問題である。いわゆる前後エッジカットとは、音声を再生する時に実際に発話を開始してから音声が検出されるまでに一定の判断閾値及び遅延があるため、音声の波形の開始と終了部分が無音として除去される場合があって再生された音声に変化があるため、バースト音声パケットの前または後ろに音声パケットを追加して平滑化して当該問題を解決する必要がある。
【００４８】
ステップＳ２において、プリエンファシスは高周波部分を高めるために行われ、音声情報の高周波部分に対してエンファシスを行うことで、唇による影響を除去し、音声の高周波の識別性を高めて、信号のスペクトルを平坦化し、低周波数から高周波数までの周波数全体において同様な信号対雑音比でスペクトルが求められるように確保する。これは、音声信号の場合、音声の低周波数区間のエネルギーが大きく、エネルギーが主に低周波数区間に分布されて、音声のパワースペクトル密度が周波数の増加に伴って低下し、これにより、周波数弁別器の出力の場合、高周波数区間の出力の信号対雑音比が明らかに低下して、高周波伝送が減衰されて、高周波の伝送が困難になり、その結果信号の品質に大きい影響を及ぼすからである。よって、伝送する前に、信号の高周波部分に対してエンファシスを行い、その後、受信端においてデエンファシスすることで、信号伝送品質を向上させることができる。
【００４９】
ステップＳ３において、各フレームの信号は通常平滑化した１つの窓関数が乗算されて、フレームの両端が平滑にゼロまで減衰され、これにより、フーリエ変換後のサイドローブの強度を低減し、さらに高品質のスペクトルを取得することができる。各フレームに対して、１つの窓関数を選択し、窓関数の幅がフレーム長さである。よく使われる窓関数としては、方形窓、ハミング窓、ハニング窓及びガウス窓等がある。
【００５０】
ステップＳ４において、信号の時間領域での変換によって通常信号の特性を判別しにくいため、通常それを周波数領域でのエネルギー分布に変換して観察し、異なるエネルギー分布は異なる音声の特性を表すことができる。従って、ハミング窓を乗算した後、各フレームはさらに高速フーリエ変換を経てスペクトルでのエネルギー分布を得なければならない。
【００５１】
ステップＳ５において、高速フーリエ変換を経た後、それをメル（Ｍａｙａ  Ｅｍｂｅｄｄｅｄ  Ｌａｎｇｕａｇｅ、Ｍｅｌと略称）フィルターを通過させるとＭｅｌスペクトルが得られ、さらに対数を取り、これで音声情報に対する前処理を完了し、特徴ベクトルを生成する。
【００５２】
２０２において、トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、モデル調節関数を特定し、モデル調節関数は正規化指数関数である第１損失関数と、集中化関数である第２損失関数とを含む。
【００５３】
本実施例において、サーバが前処理を経た後の音声情報に基づいて第１損失関数と第２損失関数とを生成し、第１損失関数と第２損失関数とを組合せてモデル調節関数を得て、モデル調節関数を用いて声紋識別モデルに対して調節を行うことができる。
【００５４】
ここで、声紋識別モデルは、第１損失関数としての正規化指数関数（ｓｏｆｔｍａｘ損失関数）と第２損失関数としての集中化関数（ｃｅｎｔｅｒ損失関数）とによって共同でトレーニングされたものである。
【００５５】
２０３において、サーバがモデル調節関数に基づいてトレーニングすることで声紋識別モデル得る。
【００５６】
本実施例において、サーバが得られたモデル調節関数に基づいてトレーニングや学習を経て声紋識別モデルを得る。そして、識別待ちの音声識別情報を受信すると、識別待ちの目標音声情報を声紋識別モデルに入力し、その後、該声紋識別モデルにより対応する目標特徴情報を出力する。
【００５７】
本願の実施例において、モデルトレーニング方法を提供し、すなわちサーバがまずトレーニング待ち音声情報集合を取得する。ここで、トレーニング待ち音声情報集合は少なくとも１つの対象に対応する音声情報を含む。その後、サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定する。ここで、モデル調節関数は正規化指数関数である第１損失関数と集中化関数である第２損失関数とを含む。最後に、モデル調節関数に基づいてトレーニングすることで声紋識別モデルを得る。上記態様によると、正規化指数関数及び集中化関数を用いて声紋識別モデルに対して組合せ最適化を行い、正規化指数関数を損失関数とすることで、深度特徴空間における異なる話者同士の区別性を向上させることができる一方、集中化関数を損失関数とすることで、同一の話者からの深度特徴同士のクラス内変動をさらに減少することができる。２つの損失関数を用いて声紋識別モデルの監視と学習を同時に行うことで、深度特徴がよりよい区別性を有し、識別性能を向上させることができる。
【００５８】
あるいはまた、上記図５に対応する実施例を基にする、本願の実施例によるモデルトレーニング方法の第１の好ましい実施例において、サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定するステップは、
サーバがＣＮＮによって各音声情報の深度特徴を特定するステップと、
サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、接続層重み行列を取得するステップと、
サーバが各音声情報の深度特徴及び接続層重み行列に基づいて第１損失関数を特定するステップと、を含むことができる。
【００５９】
本実施例において、サーバがＩｎｃｅｐｔｉｏｎ−ＲｅｓＮｅｔ構造に基づく深度ＣＮＮを用いてモデル調節関数を生成する。容易に理解するように、本願の実施例における畳み込みニューラルネットワークの全体構造を示す概略図である図７を参照すると、全体構造として、サブブロックであるＩｎｃｅｐｔｉｏｎ−ＲｅｓＮｅｔ−Ａ、Ｉｎｃｅｐｔｉｏｎ−ＲｅｓＮｅｔ−Ｂ、Ｉｎｃｅｐｔｉｏｎ−ＲｅｓＮｅｔ−Ｃ、Ｒｅｄｕｃｔｉｏｎ−Ａ及びＲｅｄｕｃｔｉｏｎ−Ｂを含む。ここで、ブロックＡ１及びブロックＡ２の場合、具体的に図８に示す構造を有し、本願の実施例における畳み込みニューラルネットワークの一部の構造を示す概略図である図８を参照すると、入力される音声情報の特徴を考慮して、一番目の畳み込み層に非対称畳み込みカーネルを用いてることで、時間軸方向でのより広い幅の畳み込みが可能になる。
【００６０】
改善されたＩｎｃｅｐｔｉｏｎ−ＲｅｓＮｅｔ構造が一言を学習する深度特徴に基づいて、トレーニング過程において、各音声から一定の時間長の音声セグメントを切り取ってピクチャ形式でネットワークの入力とし、所定のトレーニング済のネットワークと組合せて、入力された音声セグメントに対応する話者特徴の平均値を算出して、文レベルの話者特徴を得る。
【００６１】
次に、本願の実施例において、サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定する形態は、まずＣＮＮによって各音声情報の深度特徴を特定し、その後、トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて接続層重み行列を取得し、最後に各音声情報の深度特徴及び接続層重み行列に基づいて第１損失関数を特定することができる。上記態様によると、方案の実現のために実行可能な実現形態を提供して、方案の実用性や実行可能性を向上させた。
【００６２】
あるいはまた、上記図５に対応する第１の実施例を基にする、本願の実施例によるモデルトレーニング方法の第２の好ましい実施例において、サーバが各音声情報の深度特徴及び接続層重み行列に基づいて第１損失関数を特定するステップは、
サーバが以下の式で第１損失関数を特定するステップを含むことができる。
【数２】
2021527840.tif 000006
ここで、
2021527840.tif 000007
は第１損失関数を示し、
2021527840.tif 000008
は
2021527840.tif 000009
番目の対象からの
2021527840.tif 000010
番目の深度特徴を示し、
2021527840.tif 000011
は接続層重み行列における第
2021527840.tif 000012
列を示し、
2021527840.tif 000013
は第
2021527840.tif 000014
クラスの誤差項を示し、各クラスは１つの対象に対応し、
2021527840.tif 000015
はトレーニング待ち音声情報集合に対応するトレーニングセット組みのサイズを示し、
2021527840.tif 000016
はトレーニング待ち音声情報集合に対応する対象の数を示す。
【００６３】
本実施例において、第１損失関数を算出する具体的な形態を説明する。即ち、以下の式で算出する。
【数３】
2021527840.tif 000017
ここで、ｌｏｇ関数の入力がｓｏｆｔｍａｘの結果であり、
2021527840.tif 000018
はｓｏｆｔｍａｘ損失の結果を示し、ｗｘ＋ｂは全接続層の出力を示すため、ｌｏｇの入力は
2021527840.tif 000019
が
2021527840.tif 000020
クラスである確率を示す。
【００６４】
さらに、本願の実施例において、第１損失関数を取得する具体的な形態を説明し、すなわちサーバが各音声情報の深度特徴及び接続層重み行列に基づいて第１損失関数を特定する。上記態様によると、方案の実行可能性や操作可能性を向上させる。
【００６５】
あるいはまた、上記図５に対応する実施例を基にする、本願の実施例によるモデルトレーニング方法の第３の好ましい実施例において、サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定するステップは、
サーバがＣＮＮによって各音声情報の深度特徴を特定するステップと、
サーバが各音声情報の深度特徴に基づいて深度特徴勾配を算出するステップと、
サーバが深度特徴勾配及び第１音声平均値に基づいて第２音声平均値を算出するステップと、
サーバが各音声情報の深度特徴及び第２音声平均値に基づいて、第２損失関数を特定するステップと、を含むことができる。
【００６６】
本実施例において、第２損失関数としてのｃｅｎｔｅｒ損失関数を特定する形態を説明する。第２損失関数を特定する過程において、ミニバッチ（ｍｉｎｉ−ｂａｔｃｈ）勾配降下法を用いて、毎回トレーニングセット全体の少ない一部のみを用いてトレーニングを行い、例えば合計で５０００個のサンプルがある場合、毎回１００個のサンプルで損失を算出し、パラメータを更新する。５０回行った後、サンプル集合の全体のトレーニングを完了することになり、すなわち１ラウンドのトレーニングを完了することになる。毎回の更新に多くのサンプルを用いて損失を算出するため、損失の算出とパラメータの更新がさらに代表性を持つ。損失の降下がさらに安定的であるともに、ミニバッチの算出によって算出リソースの占用を減少する。
【００６７】
勾配降下法で解を求める過程において、損失関数の１次導関数を解くだけで、算出のコストが小さく、これにより勾配降下法が多くの大規模データセットに応用可能になる。勾配降下法とは、現在点の勾配方向によって新しい繰り返し点を探すことを意味する。
【００６８】
次に、本願の実施例において、第２損失関数を取得する形態を提供し、すなわちサーバが各音声情報の深度特徴に基づいて深度特徴勾配を算出し、深度特徴勾配及び第１音声平均値に基づいて第２音声平均値を算出し、最後に各音声情報の深度特徴及び第２音声平均値に基づいて第２損失関数を特定する。上記態様によると、方案を実現するために適切な根拠を提供し、方案の実行可能性や実用性を向上させる。
【００６９】
あるいはまた、上記図５に対応する第３の実施例を基にする、本願の実施例によるモデルトレーニング方法の第４の好ましい実施例において、サーバが各音声情報の深度特徴に基づいて深度特徴勾配を算出するステップは、
以下の式で深度特徴勾配を算出するステップを含むことができる。
【数４】
2021527840.tif 000021
ここで、
2021527840.tif 000022
は深度特徴勾配を示し、
2021527840.tif 000023
はトレーニング待ち音声情報集合に対応するトレーニングセット組みのサイズを示し、
2021527840.tif 000024
はクラスを示し、各クラスは１つの対象に対応し、
2021527840.tif 000025
は
2021527840.tif 000026
番目の対象を示す。
【００７０】
深度特徴勾配及び第１音声平均値に基づいて第２音声平均値を算出するステップは、
以下の式で第２音声平均値を算出するステップを含むことができる。
【数５】
2021527840.tif 000027
ここで、
2021527840.tif 000028
は時刻を示し、
2021527840.tif 000029
は
2021527840.tif 000030
時刻に対応する第２音声平均値を示し、
2021527840.tif 000031
は
2021527840.tif 000032
時刻に対応する第１音声平均値を示し、
2021527840.tif 000033
は
2021527840.tif 000034
時刻に対応する深度特徴勾配を示し、
2021527840.tif 000035
は学習速度パラメータを示し、且つ
2021527840.tif 000036
の値の範囲は０以上１以下である。
【００７１】
各音声情報の深度特徴及び第２音声平均値に基づいて、第２損失関数を特定するステップは、
以下の式で第２損失関数を特定するステップを含むことができる。
【数６】
2021527840.tif 000037
ここで、
2021527840.tif 000038
は第２損失関数を示し、
2021527840.tif 000039
は
2021527840.tif 000040
番目の対象からの
2021527840.tif 000041
番目の深度特徴を示し、
2021527840.tif 000042
は
2021527840.tif 000043
からの深度区分特徴平均値を示す。
【００７２】
本実施例において、第２損失関数を算出する具体的な形態を説明する。すなわちサーバが以下の式で算出する。
【数７】
2021527840.tif 000044
ここで、
2021527840.tif 000045
は話者
2021527840.tif 000046
からの深度区分特徴の平均値を示す。なお、各種の平均値はミニバッチ（ｍｉｎｉ−ｂａｔｃｈ）単位で更新される。各トレーニング繰り返しステップにおいて、ミニバッチに現れる話者の深度特徴によって対応する話者の平均値が更新される。平均値を更新する式は以下のとおりである。
【数８】
2021527840.tif 000047
ここで、ｃｅｎｔｅｒ損失関数の
2021527840.tif 000048
に関する勾配は
2021527840.tif 000049
である。１つのｂａｔｃｈにおける各サンプルは特徴と特徴センターとの距離の平方和が小さいほどよく、つまり、クラス内距離が小さいほどよい。これがｃｅｎｔｅｒ  ｌｏｓｓである。
【００７３】
さらに、本願の実施例において、第２損失関数を取得する具体的な形態を説明する。上記態様によると、方案の実行可能性や操作可能性を向上させる。
【００７４】
あるいはまた、上記図５及び図５に対応する第１〜第４の実施例のうちのいずれか１つを基にする、本願の実施例によるモデルトレーニング方法の第５の好ましい実施例において、サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定するステップは、
サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて第１損失関数を特定するステップと、
サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて第２損失関数を特定するステップと、
サーバが第１損失関数と第２損失関数とに基づいて、モデル調節関数を特定するステップと、を含むことができる。
【００７５】
本実施例において、サーバが第１損失関数と第２損失関数とを取得した後、第１損失関数と第２損失関数とを組み合わせて、モデル調節関数を得る。
【００７６】
あるいはまた、ここでの第１損失関数はｓｏｆｔｍａｘ損失関数であり、第２損失関数はｃｅｎｔｅｒ損失関数である。ｓｏｆｔｍａｘ損失関数のみによって損失を求めると、トレーニングデータセットであれテストデータセットであれ、いずれも比較的に明瞭なクラス境界が現れる。ｓｏｆｔｍａｘ損失関数にｃｅｎｔｅｒ損失関数を追加すると、クラス間の距離が大きくなり、クラス内の距離が減少される。
【００７７】
あるいはまた、本願の実施例において、サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定するステップは、具体的に、サーバがまずトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて第１損失関数を特定し、その後、サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて第２損失関数を特定し、最後に第１損失関数と第２損失関数とに基づいて、モデル調節関数を特定する。上記態様によると、方案の実行可能性や操作可能性を向上させることができる。
【００７８】
あるいはまた、上記図５に対応する第５の実施例を基にする、本願の実施例によるモデルトレーニング方法の第６の好ましい実施例において、第１損失関数と第２損失関数とに基づいて、モデル調節関数を特定するステップは、
サーバが以下の式でモデル調節関数を特定するステップを含むことができる。
【数９】
2021527840.tif 000050
ここで、
2021527840.tif 000051
はモデル調節関数を示し、
2021527840.tif 000052
は第１損失関数を示し、
2021527840.tif 000053
は第２損失関数を示し、
2021527840.tif 000054
は制御パラメータを示す。
【００７９】
本実施例において、モデル調節関数を算出する具体的な形態を説明する。すなわちサーバが以下の式で算出する。
【数１０】
2021527840.tif 000055
ここで、本願の実施例に用いられた損失関数は第１損失関数（ｓｏｆｔｍａｘ損失関数）と第２損失関数（ｃｅｎｔｅｒ損失関数）との線形組み合わせであり、第１損失関数の重みは１で、第２損失関数の重みは
2021527840.tif 000056
である。ここでのＭはミニバッチ（ｍｉｎｉ−ｂａｔｃｈ）に含まれるサンプル数を示し、Ｎはクラス数を示す。
【００８０】
あるいはまた、本願の実施例において、第１損失関数と第２損失関数とに基づいて、サーバがモデル調節関数を特定する具体的な算出方法を提供する。上記態様によると、制御パラメータを用いて第１損失関数と第２損失関数との間の比例を制御しすることで、算出の信頼性の向上に寄与し、またサーバが異なる応用に応じて調整することができ、方案の柔軟性を向上させることができる。
【００８１】
本願の実施例による声紋識別方法の応用効果を検証するために、大規模なデータセットで検証比較し、該データセットには２５００名の話者からの７６０２２０個の音声が含まれており、話者ごとに平均３００個であり、該数値の平均時間長は２．６ｓである。データセットを、トレーニングセット、検証セット、テストセットとの３つの部分に分けた。容易に理解するように、異なるネットワークの配置状況を示す表１を参照する。
【表１】
2021527840.tif 000057
ここで、Ｉｎｃｅｐｔｉｏｎ−ＲｅｓＮｅｔ−ｖ１ネットワークの場合、該ネットワークの正常なトレーニングを確保するために、１２０次元のｌｏｇ−ｍｅｌ特徴を該ネットワークの入力とした。本願の実施例における検証セットが異なるネットワークに応用される場合の正確率を比較して示す概略図である図９を参照すると、２つの損失関数を用いてネットワークトレーニングの最適化を同時に行うほうが、１つのｓｏｆｔｍａｘより損失が良好であり、且つ本願の実施例のネットワーク構造によると、入力される特徴次元が小さく、入力される音声の最小時間長が最も短い場合で検証セットにて最高の正確率に達することができる。
【００８２】
以下、本願の実施例によるシステムとディープニューラルネットワーク（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＤＮＮと略称）／身元認証矢量（ｉｄｅｎｔｉｔｙ  ｖｅｃｔｏｒ、ｉ−ｖｅｃｔｏｒと略称）に基づくシステムとを比較し、本願の実施例によるシステムとＤＮＮ／ｉ−ｖｅｃｔｏｒシステムとの性能を比較して示す表２を参照する。
【表２】
2021527840.tif 000058
表２から分かるように、本願の実施例による声紋識別方法によると、短い音声の場合に既存のＤＮＮ／Ｉ−ｖｅｃｔｏｒ方法より明らかに優れており、長い音声の場合、ＤＮＮ／Ｉ−ｖｅｃｔｏｒとの性能の差異が大きくないが、短い音声の場合、深度区分特徴に基づく話者識別システムは複雑なプロセスを設計する必要がないため、方案の応用効率を向上させる。
【００８３】
以下、本願の実施例におけるサーバを詳しく説明し、本願の実施例におけるサーバの一実施例を示す概略図である図１０を参照すると、サーバ３０は１つまたは複数のプロセッサと、１つまたは複数のプログラムモジュールを記憶するメモリと、を含む。ここで、プログラムはプロセッサによって実行され、該プログラムモジュールは、
識別待ちの目標音声情報を取得するように構成され、
さらに、声紋識別モデルによって目標音声情報の目標特徴情報を取得するように構成された取得モジュールであって、声紋識別モデルは正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものである取得モジュール３０１と、
取得モジュール３０１によって取得された目標特徴情報及び登録特徴情報に基づいて、声紋識別結果を特定するように構成された特定モジュールであって、登録特徴情報は、識別待ち対象の音声情報が声紋識別モデルを通過してから得られたものである特定モジュール３０２と、を含む。
【００８４】
本実施例において、取得モジュール３０１は、識別待ちの目標音声情報を取得し、声紋識別モデルによって目標音声情報の目標特徴情報を取得する。ここで、声紋識別モデルは第１損失関数と第２損失関数とに基づいてトレーニングされたものであり、第１損失関数は正規化指数関数であり、第２損失関数は集中化関数である。特定モジュール３０２は、取得モジュール３０１によって取得された目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定する。ここで、登録特徴情報は、識別待ち対象の音声情報が声紋識別モデルを通過してから得られたものである。
【００８５】
本願の実施例において、サーバを提供し、サーバは、まず識別待ちの目標音声情報を取得し、その後、声紋識別モデルによって目標音声情報の目標特徴情報を取得する。ここで、声紋識別モデルは正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものである。サーバは、さらに、目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定する。ここで、登録特徴情報は、識別待ち対象の音声情報が声紋識別モデルを通過してから得られたものである。上記態様によると、正規化指数関数及び集中化関数を用いて声紋識別モデルに対して組合せ最適化を行い、正規化指数関数を損失関数とすることで、深度特徴空間における異なる話者同士の区別性を向上させることができる一方、集中化関数を損失関数とすることで、同一の話者からの深度特徴同士のクラス内変動を選択的に減少することができる。２つの損失関数を用いて声紋識別モデルの監視と学習を同時に行うことで、深度特徴がよりよい区別性を有し、識別性能を向上させることができる。
【００８６】
あるいはまた、上記図１０に対応する実施例を基にして、本願の実施例によるサーバ３０の他の実施例において、
特定モジュール３０２は、具体的に、目標特徴情報及び登録特徴情報に基づいてコサイン類似度を算出し、
コサイン類似度が第１類似度閾値に達すると、目標音声情報が識別待ち対象の音声情報であると特定し、
コサイン類似度が第１類似度閾値に達していなければ、目標音声情報が識別待ち対象の音声情報ではないと特定する。
【００８７】
次に、本願の実施例において、サーバが目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定する過程において、まず目標特徴情報及び登録特徴情報に基づいてコサイン類似度を算出し、コサイン類似度が第１類似度閾値に達すると、目標音声情報が識別待ち対象の音声情報であると特定することができる。コサイン類似度が第１類似度閾値に達していなければ、サーバは、目標音声情報が識別待ち対象の音声情報ではないと特定する。上記態様によると、コサイン類似度が方向において差異を区別し、主にユーザによる内容得点の評価を用いてユーザの類似度や差異を区別し、同時に、ユーザ間で計量標準が統一されていない課題を解決し、声紋識別結果の信頼性の向上に寄与する。
【００８８】
あるいはまた、上記図１０に対応する実施例を基にして、本願の実施例によるサーバ３０の他の実施例において、
特定モジュール３０２は、具体的に、ＰＬＤＡ分類機によって目標特徴情報と登録特徴情報との間の対数尤度比を算出し、
対数尤度比が第２類似度閾値に達すると、目標音声情報が識別待ち対象の音声情報であると特定し、
対数尤度比が第２類似度閾値に達していなければ、目標音声情報が識別待ち対象の音声情報ではないと特定する。
【００８９】
次に、本願の実施例において、サーバが目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定する過程において、まずＰＬＤＡ分類機によって目標特徴情報と登録特徴情報との間の対数尤度比を算出し、対数尤度比が第２類似度閾値に達すると、目標音声情報が識別待ち対象の音声情報であると特定することができる。対数尤度比が第２類似度閾値に達していなければ、サーバが目標音声情報が識別待ち対象の音声情報ではないと特定する。上記態様によると、ＰＬＤＡをチャネル補償アルゴリズムとし、そのチャネル補償能力が既存の線形判別分析分類機より優れており、声紋識別結果の信頼性の向上に寄与する。
【００９０】
以下、本願の実施例におけるサーバを詳しく説明し、本願の実施例におけるサーバの一実施例を示す概略図である図１１を参照すると、サーバ４０は、１つまたは複数のプロセッサと、１つまたは複数のプログラムモジュールを記憶するメモリと、を含み、プログラムモジュールはプロセッサによって実行され、該プログラムモジュールは、
トレーニング待ち音声情報集合を取得するように構成されたモジュールであって、トレーニング待ち音声情報集合は少なくとも１つの対象に対応する音声情報を含む取得モジュール４０１と、
取得モジュール４０１によって取得されたトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、モデル調節関数を特定するように構成された特定モジュールであって、モデル調節関数は正規化指数関数である第１損失関数と、集中化関数である第２損失関数とを含む特定モジュール４０２と、
特定モジュール４０２によって特定されたモデル調節関数に基づいてトレーニングすることで声紋識別モデルを得るように構成されたトレーニングモジュール４０３と、を含む。
【００９１】
本実施例において、取得モジュール４０１は、トレーニング待ち音声情報集合を取得する。ここで、トレーニング待ち音声情報集合は少なくとも１つの対象に対応する音声情報を含む。特定モジュール４０２は、取得モジュール４０１によって取得されたトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定する。ここで、モデル調節関数は、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とを含む。トレーニングモジュール４０３は、特定モジュール４０２によって特定されたモデル調節関数に基づいてトレーニングすることで声紋識別モデルを得る。
【００９２】
本願の実施例において、モデルトレーニング方法を提供し、すなわち、サーバは、まずトレーニング待ち音声情報集合を取得する。ここで、トレーニング待ち音声情報集合は少なくとも１つの対象に対応する音声情報を含む。その後、サーバは、トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定する。ここで、モデル調節関数は、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とを含む。最後に、モデル調節関数に基づいてトレーニングすることで声紋識別モデルを得る。上記態様によると、正規化指数関数及び集中化関数を用いて声紋識別モデルに対して組合せ最適化を行い、正規化指数関数を損失関数とすることで、深度特徴空間における異なる話者同士の区別性を向上させることができる一方、集中化関数を損失関数とすることで、同一の話者からの深度特徴との間のクラス内変動を減少することができる。２つの損失関数を用いて声紋識別モデルの監視と学習を同時に行うことで、深度特徴がよりよい区別性を有し、識別性能を向上させることができる。
【００９３】
あるいはまた、上記図１１に対応する実施例を基にして、本願の実施例によるサーバ４０の他の実施例において、
特定モジュール４０２は、具体的に、畳み込みニューラルネットワークＣＮＮによって各音声情報の深度特徴を特定し、
トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、接続層重み行列を取得し、
各音声情報の深度特徴及び接続層重み行列に基づいて、第１損失関数を特定する。
【００９４】
次に、本願の実施例において、サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定する形態は、まず畳み込みニューラルネットワークＣＮＮによって各音声情報の深度特徴を特定し、その後、トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、接続層重み行列を取得し、最後に各音声情報の深度特徴及び接続層重み行列に基づいて第１損失関数を特定することができる。上記態様によると、方案の実現のために実行可能な実現形態を提供し、方案の実用性や実行可能性を向上させる。
【００９５】
あるいはまた、上記図１１に対応する実施例を基にして、本願の実施例によるサーバ４０の他の実施例において、
特定モジュール４０２は、具体的に、以下の式で第１損失関数を特定する。
【数１１】
2021527840.tif 000059
ここで、
2021527840.tif 000060
は第１損失関数を示し、
2021527840.tif 000061
は
2021527840.tif 000062
番目の対象からの
2021527840.tif 000063
番目の深度特徴を示し、
2021527840.tif 000064
は接続層重み行列における第
2021527840.tif 000065
列を示し、
2021527840.tif 000066
は第
2021527840.tif 000067
クラスの誤差項を示し、各クラスは１つの対象に対応し、
2021527840.tif 000068
はトレーニング待ち音声情報集合に対応するトレーニングセット組みのサイズを示し、
2021527840.tif 000069
はトレーニング待ち音声情報集合に対応する対象の数を示す。
【００９６】
さらに、本願の実施例において、第１損失関数を取得する具体的にな形態を説明し、すなわち各音声情報の深度特徴及び接続層重み行列に基づいて第１損失関数を特定する。上記態様によると、方案の実行可能性や操作可能性を向上させる。
【００９７】
あるいはまた、上記図１１に対応する実施例を基にして、本願の実施例によるサーバ４０の他の実施例において、
特定モジュール４０２は、具体的に、畳み込みニューラルネットワークＣＮＮによって各音声情報の深度特徴を特定し、
各音声情報の深度特徴に基づいて深度特徴勾配を算出し、
深度特徴勾配及び第１音声平均値に基づいて第２音声平均値を算出し、
各音声情報の深度特徴及び第２音声平均値に基づいて、第２損失関数を特定する。
【００９８】
次に、本願の実施例において、第２損失関数を取得する形態を説明し、すなわちサーバが各音声情報の深度特徴に基づいて深度特徴勾配を算出し、深度特徴勾配及び第１音声平均値に基づいて第２音声平均値を算出し、最後に各音声情報の深度特徴及び第２音声平均値に基づいて、第２損失関数を特定する。上記態様によると、方案の実現のために適切な根拠を提供して、方案の実行可能性や実用性を向上させる。
【００９９】
あるいはまた、上記図１１に対応する実施例を基にして、本願の実施例によるサーバ４０の他の実施例において、
特定モジュール４０２は、具体的に以下の式で深度特徴勾配を算出する。
【数１２】
2021527840.tif 000070
ここで、
2021527840.tif 000071
は深度特徴勾配を示し、
2021527840.tif 000072
はトレーニング待ち音声情報集合に対応するトレーニングセット組みのサイズを示し、
2021527840.tif 000073
はクラスを示し、各クラスは１つの対象に対応し、
2021527840.tif 000074
は
2021527840.tif 000075
番目の対象を示す。
【０１００】
特定モジュール４０２は、以下の式で第２音声平均値を算出する。
【数１３】
2021527840.tif 000076
ここで、
2021527840.tif 000077
は時刻を示し、
2021527840.tif 000078
は
2021527840.tif 000079
時刻に対応する第２音声平均値を示し、
2021527840.tif 000080
は
2021527840.tif 000081
時刻に対応する第１音声平均値を示し、
2021527840.tif 000082
は
2021527840.tif 000083
時刻に対応する深度特徴勾配を示し、
2021527840.tif 000084
は学習速度パラメータを示し、且つ
2021527840.tif 000085
の値の範囲は０以上１以下である。
【０１０１】
特定モジュール４０２は、以下の式で第２損失関数を特定する。
【数１４】
2021527840.tif 000086
ここで、
2021527840.tif 000087
は第２損失関数を示し、
2021527840.tif 000088
は
2021527840.tif 000089
番目の対象からの
2021527840.tif 000090
番目の深度特徴を示し、
2021527840.tif 000091
は
2021527840.tif 000092
からの深度区分特徴平均値を示す。
【０１０２】
さらに、本願の実施例において、第２損失関数を取得する具体的な形態を説明する。上記態様によると、方案の実行可能性や操作可能性を向上させることができる。
【０１０３】
あるいはまた、上記図１１に対応する実施例を基にして、本願の実施例によるサーバ４０の他の実施例において、
特定モジュール４０２は、具体的に、トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて、第１損失関数を特定し、
トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて第２損失関数を特定し、
第１損失関数と第２損失関数とに基づいて、モデル調節関数を特定する。
【０１０４】
あるいはまた、本願の実施例において、サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定するステップは、具体的に、サーバが、まずトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて第１損失関数を特定し、その後、サーバがトレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて第２損失関数を特定し、最後に第１損失関数と第２損失関数とに基づいて、モデル調節関数を特定することができる。上記態様によると、方案の実行可能性や操作可能性を向上させることができる。
【０１０５】
あるいはまた、上記図１１に対応する実施例を基にして、本願の実施例によるサーバ４０の他の実施例において、
特定モジュール４０２は、具体的に以下の式でモデル調節関数を特定する。
【数１５】
2021527840.tif 000093
ここで、
2021527840.tif 000094
はモデル調節関数を示し、
2021527840.tif 000095
は第１損失関数を示し、
2021527840.tif 000096
は第２損失関数を示し、
2021527840.tif 000097
は制御パラメータを示す。
【０１０６】
あるいはまた、本願の実施例において、第１損失関数と第２損失関数とに基づいて、サーバがモデル調節関数を特定する具体的な算出形態を説明する。上記態様によると、制御パラメータを用いて第１損失関数と第２損失関数との間の比例を制御して、算出の信頼性の向上に寄与し、異なる応用に応じて調整して方案の柔軟性を向上させることができる。
【０１０７】
図１２は本願の実施例によるサーバの構造を示す概略図で、該サーバ５００は配置または性能の違いによって大きい差異を発生し、１つまたはそれ以上の中央処理装置（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔｓ、ＣＰＵと略称）５２２（例えば、１つまたはそれ以上のプロセッサ）及びメモリ５３２と、１つまたはそれ以上のアプリケーション５４２またはデータ５４４を記憶する記憶媒体５３０（例えば、１つまたはそれ以上のＵＳＢマスストレージ）を含むことができる。ここで、メモリ５３２と記憶媒体５３０は一時記憶または永久記憶であることができる。記憶媒体５３０に記憶されるプログラムは、１つまたはそれ以上のモジュール（未図示）を含むことができ、各モジュールはサーバにおける一連の命令操作を含むことができる。さらに、中央処理装置５２２は記憶媒体５３０と通信して、サーバ５００にて記憶媒体５３０における一連の命令操作を実行するように構成されることができる。
【０１０８】
サーバ５００はさらに１つまたはそれ以上の電源５２６と、１つまたはそれ以上の有線/無線ネットワークインターフェース５５０と、１つまたはそれ以上の入出力インターフェース５５８及び／又は、例えばＷｉｎｄｏｗｓ  ＳｅｒｖｅｒＴＭ、Ｍａｃ  ＯＳ  ＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ等の１つまたはそれ以上のオペレーティング・システム５４１とを含むことができる。
【０１０９】
上記実施例においてサーバによって実行されるステップは、該図１２に示すサーバの構造を基にするものである。
【０１１０】
本願の実施例において、ＣＰＵ５２２は、
識別待ちの目標音声情報を取得するステップと、
声紋識別モデルによって前記目標音声情報の目標特徴情報を取得するステップであって、前記声紋識別モデルは正規化指数関数である第１損失関数と、集中化関数である第２損失関数とに基づいてトレーニングされたものであるステップと、
目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定するステップであって、登録特徴情報は、識別待ち対象の音声情報が声紋識別モデルを通過してから得られたものであるステップと、を実行する。
【０１１１】
あるいはまた、本願の実施例において、ＣＰＵ５２２は、具体的に、
前記目標特徴情報及び登録特徴情報に基づいてコサイン類似度を算出するステップと、
コサイン類似度が第１類似度閾値に達すると、目標音声情報が識別待ち対象の音声情報であると特定するステップと、
コサイン類似度が第１類似度閾値に達していなければ、目標音声情報が識別待ち対象の音声情報ではないと特定するステップと、を実行する。
【０１１２】
あるいはまた、本願の実施例において、ＣＰＵ５２２は、具体的に、
ＰＬＤＡ分類機によって目標特徴情報と登録特徴情報との間の対数尤度比を算出するステップと、
対数尤度比が第２類似度閾値に達すると、目標音声情報が識別待ち対象の音声情報であると特定するステップと、
対数尤度比が第２類似度閾値に達していなければ、目標音声情報が識別待ち対象の音声情報ではないと特定するステップと、を実行する。
【０１１３】
本願の実施例において、ＣＰＵ５２２は、
トレーニング待ち音声情報集合を取得するステップであって、トレーニング待ち音声情報集合は少なくとも１つの対象に対応する音声情報を含むステップと、
トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいてモデル調節関数を特定するステップであって、モデル調節関数は、正規化指数関数である第１損失関数と、集中化関数である第２損失関数とを含むステップと、
モデル調節関数に基づいてトレーニングすることで声紋識別モデルを得るステップと、を実行する。
【０１１４】
あるいはまた、本願の実施例において、ＣＰＵ５２２は、具体的に、
ＣＮＮによって各音声情報の深度特徴を特定するステップと、
トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて接続層重み行列を取得するステップと、
各音声情報の深度特徴及び接続層重み行列に基づいて第１損失関数を特定するステップと、を実行する。
【０１１５】
あるいはまた、本願の実施例において、ＣＰＵ５２２は、具体的に、
以下の式で第１損失関数を特定するステップを実行する。
【数１６】
2021527840.tif 000098
ここで、
2021527840.tif 000099
は第１損失関数を示し、
2021527840.tif 000100
は
2021527840.tif 000101
番目の対象からの
2021527840.tif 000102
番目の深度特徴を示し、
2021527840.tif 000103
は接続層重み行列における第
2021527840.tif 000104
列を示し、
2021527840.tif 000105
は第
2021527840.tif 000106
クラスの誤差項を示し、各クラスは１つの対象に対応し、
2021527840.tif 000107
はトレーニング待ち音声情報集合に対応するトレーニングセット組みのサイズを示し、
2021527840.tif 000108
はトレーニング待ち音声情報集合に対応する対象の数を示す。
【０１１６】
あるいはまた、本願の実施例において、ＣＰＵ５２２は、具体的に、
ＣＮＮによって各音声情報の深度特徴を特定するステップと、
各音声情報の深度特徴に基づいて深度特徴勾配を算出するステップと、
深度特徴勾配及び第１音声平均値に基づいて第２音声平均値を算出するステップと、
各音声情報の深度特徴及び第２音声平均値に基づいて、第２損失関数を特定するステップと、を実行する。
【０１１７】
あるいはまた、本願の実施例において、ＣＰＵ５２２は、具体的に、
以下の式で深度特徴勾配を算出するステップであって、
【数１７】
2021527840.tif 000109
2021527840.tif 000110
は深度特徴勾配を示し、
2021527840.tif 000111
はトレーニング待ち音声情報集合に対応するトレーニングセット組みのサイズを示し、
2021527840.tif 000112
はクラスを示し、各クラスは１つの対象に対応し、
2021527840.tif 000113
は
2021527840.tif 000114
番目の対象を示すステップと、
以下の式で第２音声平均値を算出するステップであって、
【数１８】
2021527840.tif 000115
2021527840.tif 000116
は時刻を示し、
2021527840.tif 000117
は
2021527840.tif 000118
時刻に対応する第２音声平均値を示し、
2021527840.tif 000119
は
2021527840.tif 000120
時刻に対応する第１音声平均値を示し、
2021527840.tif 000121
は
2021527840.tif 000122
時刻に対応する深度特徴勾配を示し、
2021527840.tif 000123
は学習速度パラメータを示し、且つ
2021527840.tif 000124
の値の範囲は０以上１以下であるステップと、
以下の式で第２損失関数を特定するステップであって、
【数１９】
2021527840.tif 000125
2021527840.tif 000126
は第２損失関数を示し、
2021527840.tif 000127
は
2021527840.tif 000128
番目の対象からの
2021527840.tif 000129
番目の深度特徴を示し、
2021527840.tif 000130
は
2021527840.tif 000131
からの深度区分特徴平均値を示すステップと、を実行する。
【０１１８】
あるいはまた、本願の実施例において、ＣＰＵ５２２は、具体的に、
トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて第１損失関数を特定するステップと、
トレーニング待ち音声情報集合のうち、各対象に対応する音声情報に基づいて第２損失関数を特定するステップと、
第１損失関数と第２損失関数とに基づいて、モデル調節関数を特定するステップとを実行する。
【０１１９】
あるいはまた、本願の実施例において、ＣＰＵ５２２は、具体的に、
以下の式でモデル調節関数を特定するステップであって、
【数２０】
2021527840.tif 000132
2021527840.tif 000133
はモデル調節関数を示し、
2021527840.tif 000134
は第１損失関数を示し、
2021527840.tif 000135
は第２損失関数を示し、
2021527840.tif 000136
は制御パラメータを示すステップを実行する。
【０１２０】
説明の便宜や簡略化を図るために、上記説明したシステム、装置、及びユニットの具体的な作動フローについては、上述した方法実施例における対応するプロセスを参照可能ということは、当業者でれば理解でき、ここでは詳細な説明を省略する。
【０１２１】
本願の実施例による幾つかの実施例において開示されたシステム、装置、及び方法を他の形態で実現可能であることは理解できる。例えば、上述した装置実施例は例示的なものにすぎず、例えば、ユニットの区画はロジック機能の区画であり、実際に実現する場合には他の区画形態であることもでき、例えば複数のユニットまたは部品を他のシステムに組み入れまたは集積するか、または一部の特徴を無視するかまたは実行しないこともできる。一方、表示または検討されたお互いの結合または直接結合または通信接続は、インターフェース、装置またはユニットを介して間接的に結合または通信接続されることもでき、電気的、機械的または他の形式の接続であることもできる。
【０１２２】
上述した分離部品として説明されたユニットは、物理的に分離されていても、いなくてもよく、ユニットとして表す部品は、物理ユニットであってもよく、物理ユニットでなくてもよい。つまり、１つの箇所に位置することができれば、複数のネットワークユニットに分布されることもできる。実際の需要に応じて、その中の一部又は全部のユニットを選択して、本実施例の技術案を実現する目的を実現することができる。
【０１２３】
そして、本願の各実施例における各機能ユニットは、１つの処理ユニットに集積されることができ、各ユニットが物理的に独立されることもでき、２つ又はそれ以上のユニットが１つのユニットに集積されることもできる。上記集積されたユニットをハードウェアとして実現できれば、ソフトウェア機能ユニットとして実現することもできる。
【０１２４】
集積されたユニットは、ソフトウェア機能ユニットとして実現され、独立製品として販売されたり使用されたりする場合、コンピュータ読み取り可能な記憶媒体に記憶されることができる。従って、本願の実施例の技術案の実質又は既存技術に対する貢献のある部分又は該技術案の全部又は一部をソフトウェア製品として実現することができ、このコンピューターソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ又はネットワーク機器等）に本願の各実施例に記載の方法の全部又は一部のステップを実行させる複数の命令を含むことができる。上述した記憶媒体は、ＵＳＢ、モバイルハードドライブ、読み出し専用メモリ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ、ＲＯＭと略称）、ランダムアクセスメモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、ＲＡＭと略称）、磁気ディスク又は光ディスク等のプログラムコードを記憶可能なさまざまな媒体を含む。
【０１２５】
以上のように、以上の実施例は本願の実施例の技術案を限定するものではなく、本願の実施例の技術案を説明するためのものである。上記実施例を参照して本願の実施例を詳しく説明したが、上記各実施例に記載の技術案を修正することができ、またはその中の一部の特徴を同等置換することができるが、対応する技術案の実質がこれらの修正または置換によって本願の各実施例の技術案の思想や範囲を離脱しないことを当業者は理解できる。
【産業上の利用可能性】
【０１２６】
本願において、識別待ちの目標音声情報を取得し、音声識別モデルによって目標音声情報の目標特徴情報を取得し、音声識別モデルは第１損失関数と第２損失関数とに基づいてトレーニングされたものであり、第１損失関数は正規化指数関数であり、第２損失関数は集中化関数であり、さらに、目標特徴情報及び登録特徴情報に基づいて声紋識別結果を特定し、登録特徴情報は、識別待ち対象の音声情報が音声識別モデルを通過した後に得られるものである。正規化指数関数と集中化関数を用いて、音声識別モデルに対して組合せ最適化を行うことで、同一の話者からの深度特徴同士のクラス内変動を減少することができ、２つの関数を用いて音声識別モデルの監視と学習を同時に行うことで、深度特徴がよりよい区別性を有し、識別性能を向上させる。
【図１】
2021527840.tif 000176
【図２】
2021527840.tif 000177
【図３】
2021527840.tif 000178
【図４】
2021527840.tif 000179
【図５】
2021527840.tif 000180
【図６】
2021527840.tif 000181
【図７】
2021527840.tif 000182
【図８】
2021527840.tif 000183
【図９】
2021527840.tif 000184
【図１０】
2021527840.tif 000185
【図１１】
2021527840.tif 000186
【図１２】
2021527840.tif 000187
【国際調査報告】
2021527840.tif 000188
2021527840.tif 000189
2021527840.tif 000190
2021527840.tif 000191
2021527840.tif 000192