(57)【要約】  電子装置、身元認証方法、システム及びコンピュータ読み取り可能な記憶媒体であって、前記電子装置は、記憶機器と、処理機器とを含み、記憶機器に身元認証システムが記憶され、身元認証システムを処理機器が実行するとき、身元認証対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップと、所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップと、観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップと、複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、前記対象ユーザに対して身元認証を行うステップとを実現する。本発明は、短い音声に対する認識の誤り率を下げることができる。
2019531492.tif 000002
【特許請求の範囲】
【請求項１】
電子装置であって、
前記電子装置は、記憶機器と、前記記憶機器に接続された処理機器とを含み、
前記記憶機器には前記処理機器上で実行可能な身元認証システムが記憶され、
前記身元認証システムを前記処理機器が実行するとき、
身元認証の対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップＳ１と、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップＳ２と、
観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップＳ３と、
複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うステップＳ４と、
を含むことを特徴とする電子装置。
【請求項２】
前記所定のフィルタは、メルフィルタであり、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出する前記ステップは、
前記音声フレームに窓関数をかけ合わせることと、
窓かけが行われた各音声フレームに対してフーリエ変換を行って対応するスペクトルを得ることと、
前記スペクトルをメルフィルタに入力して、出力されたメル周波数スペクトラムを得ることと、
メル周波数スペクトラムに対してケプストラム分析を行ってメル周波数ケプストラム係数ＭＦＣＣを得て、前記メル周波数ケプストラム係数ＭＦＣＣを前記音声フレームの音声学的特徴とすることと、を含む
ことを特徴とする請求項１に記載の電子装置。
【請求項３】
抽出された音声学的特徴に基づき前記その時点の音声データに対応する複数の観測特徴ユニットを生成する前記ステップは、
前記その時点の音声データの各録音データにおける音声フレームを音声フレームセットとして、前記音声フレームセットにおける各音声フレームの２０次元のメル周波数ケプストラム係数ＭＦＣＣを対応する音声フレームのフレーム化の時間順につなげることにより、（２０，Ｎ）次元の行列の対応する観測特徴ユニットを生成する（ただし、前記Ｎは前記音声フレームセットのフレームの総数）ことを含む
ことを特徴とする請求項２に記載の電子装置。
【請求項４】
前記訓練により予め生成された所定タイプの身元認証モデルは、深層畳み込みニューラルネットワークモデルであり、
前記深層畳み込みニューラルネットワークモデルは認識関数により身元認証を行い、前記認識関数は、
2019531492.tif 000006
であり、
ここで、Ｏｂｊは前記深層畳み込みニューラルネットワークモデルの目的関数を表し、ｘは観測特徴ユニット対における１つの観測特徴ユニットにより、正規化層にて得られるユーザ特徴を表し、ｙは前記観測特徴ユニット対におけるもう１つの観測特徴ユニットにより、前記正規化層にて得られるユーザ特徴を表し、Ｋは定数であり、Ｐ（ｘ，ｙ）により観測特徴ユニット対が同一ユーザによる確率を計算し、Ｌ（ｘ，ｙ）により観測特徴ユニット対の類似度Ｌを計算し、ただし、Ｕはユーザのクラス内接続行列、Ｖはユーザのクラス間接続行列を表し、ｂはバイアスであり、Ｔは行列の転置を表す
ことを特徴とする請求項３に記載の電子装置。
【請求項５】
前記ステップＳ４の前は、さらに、
第１の所定数量の同一ユーザによる音声対を取得し、そして第２の所定数量の異なるユーザによる音声対を取得し、各音声対の音声に対してそれぞれ所定のフレーム化のパラメータに基づきフレーム化処理を行うことにより、各音声対に対応する複数の音声フレームを得ることと、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づき各音声対の複数の観測特徴ユニットを生成することと、
同一ユーザ及び異なるユーザによる２つの音声に対応する観測特徴ユニットを２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得ることと、
各音声対を第１の百分率で占める訓練セットと、第２の百分率で占める検証セットとに分ける（ただし、前記第１の百分率と第２の百分率との和は１以下）ことと、
訓練セットにおける各音声対の各観測特徴ユニット対を用いて、深層畳み込みニューラルネットワークモデルを訓練し、訓練完了後、検証セットを用いて、訓練された深層畳み込みニューラルネットワークモデルの正確率を検証することと、
前記正確率が所定の閾値を超えた場合、訓練を終了し、訓練された深層畳み込みニューラルネットワークモデルを前記ステップＳ４における深層畳み込みニューラルネットワークモデルとして適用し、前記正確率が前記所定の閾値以下の場合、訓練用の音声対の数量を増加して、再度訓練を行うことと、
を含むことを特徴とする請求項４に記載の身元認証方法。
【請求項６】
身元認証方法であって、
前記身元認証方法は、
身元認証の対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップＳ１と、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップＳ２と、
観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップＳ３と、
複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うステップＳ４と、
を含むことを特徴とする身元認証方法。
【請求項７】
前記所定のフィルタは、メルフィルタであり、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出する前記ステップは、
前記音声フレームに窓関数をかけ合わせることと、
窓かけが行われた各音声フレームに対してフーリエ変換を行って対応するスペクトルを得ることと、
前記スペクトルをメルフィルタに入力して、出力されたメル周波数スペクトラムを得ることと、
メル周波数スペクトラムに対してケプストラム分析を行ってメル周波数ケプストラム係数ＭＦＣＣを得て、前記メル周波数ケプストラム係数ＭＦＣＣを前記音声フレームの音声学的特徴とすることと、
を含むことを特徴とする請求項６に記載の身元認証方法。
【請求項８】
抽出された音声学的特徴に基づき前記その時点の音声データに対応する複数の観測特徴ユニットを生成する前記ステップは、
前記その時点の音声データの各録音データにおける音声フレームを音声フレームセットとして、前記音声フレームセットにおける各音声フレームの２０次元のメル周波数ケプストラム係数ＭＦＣＣを対応する音声フレームのフレーム化の時間順につなげることにより、（２０，Ｎ）次元の行列の対応する観測特徴ユニットを生成する（ただし、前記Ｎは前記音声フレームセットのフレームの総数）ことを含む
ことを特徴とする請求項７に記載の身元認証方法。
【請求項９】
前記訓練により予め生成された所定タイプの身元認証モデルは、深層畳み込みニューラルネットワークモデルであり、
前記深層畳み込みニューラルネットワークモデルは認識関数により身元認証を行い、前記認識関数は、
2019531492.tif 000007
であり、
ここで、Ｏｂｊは前記深層畳み込みニューラルネットワークモデルの目的関数を表し、ｘは観測特徴ユニット対における１つの観測特徴ユニットにより、正規化層にて得られるユーザ特徴を表し、ｙは前記観測特徴ユニット対におけるもう１つの観測特徴ユニットにより、前記正規化層にて得られるユーザ特徴を表し、Ｋは定数であり、Ｐ（ｘ，ｙ）により観測特徴ユニット対が同一ユーザによる確率を計算し、Ｌ（ｘ，ｙ）により観測特徴ユニット対の類似度Ｌを計算し、ただし、Ｕはユーザのクラス内接続行列、Ｖはユーザのクラス間接続行列を表し、ｂはバイアスであり、Ｔは行列の転置を表す
ことを特徴とする請求項８に記載の身元認証方法。
【請求項１０】
前記ステップＳ４の前は、さらに、
第１の所定数量の同一ユーザによる音声対を取得し、そして第２の所定数量の異なるユーザによる音声対を取得し、各音声対の音声に対してそれぞれ所定のフレーム化のパラメータに基づきフレーム化処理を行うことにより、各音声対に対応する複数の音声フレームを得ることと、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づき各音声対の複数の観測特徴ユニットを生成することと、
同一ユーザ及び異なるユーザによる２つの音声に対応する観測特徴ユニットを２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得ることと、
各音声対を第１の百分率で占める訓練セットと、第２の百分率で占める検証セットとに分ける（ただし、前記第１の百分率と第２の百分率との和は１以下）ことと、
訓練セットにおける各音声対の各観測特徴ユニット対を用いて、深層畳み込みニューラルネットワークモデルを訓練し、訓練完了後、検証セットを用いて、訓練された深層畳み込みニューラルネットワークモデルの正確率を検証することと、
前記正確率が所定の閾値を超えた場合、訓練を終了し、訓練された深層畳み込みニューラルネットワークモデルを前記ステップＳ４における深層畳み込みニューラルネットワークモデルとして適用し、前記正確率が前記所定の閾値以下の場合、訓練用の音声対の数量を増加して、再度訓練を行うことと、を含む
ことを特徴とする請求項９に記載の身元認証方法。
【請求項１１】
コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体に身元認証システムが記憶され、
前記身元認証システムを少なくとも１つの処理機器が実行することで、
身元認証の対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップＳ１と、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップＳ２と、
観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップＳ３と、
複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うステップＳ４と、を実現できる
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１２】
前記所定のフィルタは、メルフィルタであり、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出する前記ステップは、
前記音声フレームに窓関数をかけ合わせることと、
窓かけが行われた各音声フレームに対してフーリエ変換を行って対応するスペクトルを得ることと、
前記スペクトルをメルフィルタに入力して、出力されたメル周波数スペクトラムを得ることと、
メル周波数スペクトラムに対してケプストラム分析を行ってメル周波数ケプストラム係数ＭＦＣＣを得て、前記メル周波数ケプストラム係数ＭＦＣＣを前記音声フレームの音声学的特徴とすることと、を含む
ことを特徴とする請求項１１に記載のコンピュータ読み取り可能な記憶媒体。
【請求項１３】
抽出された音声学的特徴に基づき前記その時点の音声データに対応する複数の観測特徴ユニットを生成する前記ステップは、
前記その時点の音声データの各録音データにおける音声フレームを音声フレームセットとして、前記音声フレームセットにおける各音声フレームの２０次元のメル周波数ケプストラム係数ＭＦＣＣを対応する音声フレームのフレーム化の時間順につなげることにより、（２０，Ｎ）次元の行列の対応する観測特徴ユニットを生成する（ただし、前記Ｎは前記音声フレームセットのフレームの総数）ことを含む
ことを特徴とする請求項１２に記載のコンピュータ読み取り可能な記憶媒体。
【請求項１４】
前記訓練により予め生成された所定タイプの身元認証モデルは、深層畳み込みニューラルネットワークモデルであり、
前記深層畳み込みニューラルネットワークモデルは認識関数により身元認証を行い、前記認識関数は、
2019531492.tif 000008
であり、
ここで、Ｏｂｊは前記深層畳み込みニューラルネットワークモデルの目的関数を表し、ｘは観測特徴ユニット対における１つの観測特徴ユニットにより、正規化層にて得られるユーザ特徴を表し、ｙは前記観測特徴ユニット対におけるもう１つの観測特徴ユニットにより、前記正規化層にて得られるユーザ特徴を表し、Ｋは定数であり、Ｐ（ｘ，ｙ）により観測特徴ユニット対が同一ユーザによる確率を計算し、Ｌ（ｘ，ｙ）により観測特徴ユニット対の類似度Ｌを計算し、ただし、Ｕはユーザのクラス内接続行列、Ｖはユーザのクラス間接続行列を表し、ｂはバイアスであり、Ｔは行列の転置を表す
ことを特徴とする請求項１３に記載のコンピュータ読み取り可能な記憶媒体。
【請求項１５】
前記ステップＳ４の前は、さらに、
第１の所定数量の同一ユーザによる音声対を取得し、そして第２の所定数量の異なるユーザによる音声対を取得し、各音声対の音声に対してそれぞれ所定のフレーム化のパラメータに基づきフレーム化処理を行うことにより、各音声対に対応する複数の音声フレームを得ることと、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づき各音声対の複数の観測特徴ユニットを生成することと、
同一ユーザ及び異なるユーザによる２つの音声に対応する観測特徴ユニットを２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得ることと、
各音声対を第１の百分率で占める訓練セットと、第２の百分率で占める検証セットとに分ける（ただし、前記第１の百分率と第２の百分率との和は１以下）ことと、
訓練セットにおける各音声対の各観測特徴ユニット対を用いて、深層畳み込みニューラルネットワークモデルを訓練し、訓練完了後、検証セットを用いて、訓練された深層畳み込みニューラルネットワークモデルの正確率を検証することと、
前記正確率が所定の閾値を超えた場合、訓練を終了し、訓練された深層畳み込みニューラルネットワークモデルを前記ステップＳ４における深層畳み込みニューラルネットワークモデルとして適用し、前記正確率が前記所定の閾値以下の場合、訓練用の音声対の数量を増加して、再度訓練を行うことと、を含む
ことを特徴とする請求項１４に記載のコンピュータ読み取り可能な記憶媒体。
【請求項１６】
身元認証システムであって、
前記身元認証システムが記憶機器に記憶され、
前記身元認証システムを少なくとも１つの処理機器が実行することで、
身元認証の対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップＳ１と、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップＳ２と、
観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップＳ３と、
複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うステップＳ４と、を実現できる
ことを特徴とする身元認証システム。
【請求項１７】
前記所定のフィルタは、メルフィルタであり、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出する前記ステップは、
前記音声フレームに窓関数をかけ合わせることと、
窓かけが行われた各音声フレームに対してフーリエ変換を行って対応するスペクトルを得ることと、
前記スペクトルをメルフィルタに入力して、出力されたメル周波数スペクトラムを得ることと、
メル周波数スペクトラムに対してケプストラム分析を行ってメル周波数ケプストラム係数ＭＦＣＣを得て、前記メル周波数ケプストラム係数ＭＦＣＣを前記音声フレームの音声学的特徴とすることと、を含む
ことを特徴とする請求項１６に記載の身元認証システム。
【請求項１８】
抽出された音声学的特徴に基づき前記その時点の音声データに対応する複数の観測特徴ユニットを生成する前記ステップは、
前記その時点の音声データの各録音データにおける音声フレームを音声フレームセットとして、前記音声フレームセットにおける各音声フレームの２０次元のメル周波数ケプストラム係数ＭＦＣＣを対応する音声フレームのフレーム化の時間順につなげることにより、（２０，Ｎ）次元の行列の対応する観測特徴ユニットを生成する（ただし、前記Ｎは前記音声フレームセットのフレームの総数）ことを含む
ことを特徴とする請求項１７に記載の身元認証システム。
【請求項１９】
前記訓練により予め生成された所定タイプの身元認証モデルは、深層畳み込みニューラルネットワークモデルであり、
前記深層畳み込みニューラルネットワークモデルは認識関数により身元認証を行い、前記認識関数は、
2019531492.tif 000009
であり、
ここで、Ｏｂｊは前記深層畳み込みニューラルネットワークモデルの目的関数を表し、ｘは観測特徴ユニット対における１つの観測特徴ユニットにより、正規化層にて得られるユーザ特徴を表し、ｙは前記観測特徴ユニット対におけるもう１つの観測特徴ユニットにより、前記正規化層にて得られるユーザ特徴を表し、Ｋは定数であり、Ｐ（ｘ、ｙ）により観測特徴ユニット対が同一ユーザによる確率を計算し、Ｌ（ｘ、ｙ）により観測特徴ユニット対の類似度Ｌを計算し、ただし、Ｕはユーザのクラス内接続行列、Ｖはユーザのクラス間接続行列を表し、ｂはバイアスであり、Ｔは行列の転置を表す
ことを特徴とする請求項１８に記載の身元認証システム。
【請求項２０】
前記ステップＳ４の前は、さらに、
第１の所定数量の同一ユーザによる音声対を取得し、そして第２の所定数量の異なるユーザによる音声対を取得し、各音声対の音声に対してそれぞれ所定のフレーム化のパラメータに基づきフレーム化処理を行うことにより、各音声対に対応する複数の音声フレームを得ることと、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づき各音声対の複数の観測特徴ユニットを生成することと、
同一ユーザ及び異なるユーザによる２つの音声に対応する観測特徴ユニットを２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得ることと、
各音声対を第１の百分率で占める訓練セットと、第２の百分率で占める検証セットとに分ける（ただし、前記第１の百分率と第２の百分率との和は１以下）ことと、
訓練セットにおける各音声対の各観測特徴ユニット対を用いて、深層畳み込みニューラルネットワークモデルを訓練し、訓練完了後、検証セットを用いて、訓練された深層畳み込みニューラルネットワークモデルの正確率を検証することと、
前記正確率が所定の閾値を超えた場合、訓練を終了し、訓練された深層畳み込みニューラルネットワークモデルを前記ステップＳ４における深層畳み込みニューラルネットワークモデルとして適用し、前記正確率が前記所定の閾値以下の場合、訓練用の音声対の数量を増加して、再度訓練を行うことと、を含む
ことを特徴とする請求項１９に記載の身元認証システム。
【発明の詳細な説明】
【技術分野】
【０００１】
「関連出願の相互参照」
本願は、２０１７年７月２５日に中国国家知識産権局に出願された、中国特許出願第２０１７１０６１４６４９．６号の「電子装置、身元認証方法及びコンピュータ読み取り可能な記憶媒体」と題する中国特許出願の優先権を主張し、当該出願の全体が参照により本願に援用される。
【０００２】
本発明は、通信技術分野に関し、詳しく言えば、電子装置、身元認証方法、システム及びコンピュータ読み取り可能な記憶媒体に関するものである。
【背景技術】
【０００３】
声紋認識は、コンピュータシミュレーションにより音声を認識する身元認証技術であり、インターネット、銀行システム、治安・司法などの分野に幅広く利用されている。従来の声紋認識は、混合ガウスモデルに基づくユニバーサル背景モデル（Ｕｎｉｖｅｒｓａｌ  Ｂａｃｋｇｒｏｕｎｄ  Ｍｏｄｅｌ，ＵＢＭ）により話者の発音を録音して差異を分析し、差異に基づき声紋特徴を抽出し、さらに、類似度を測定して評点することにより、認識結果を与えるものである。この種の声紋認識方法は、長い録音（例えば、３０秒以上）を認識する場合、誤り率が低く、満足のいく識別効果を得ることができるが、様々な業務環境から得られた大量の短い録音（例えば、３０秒未満）を取り扱う場合には、パラメータ上の制限のため、ＵＢＭでは録音のわずかな差異に対してモデルを効率的に作成することができず、短い音声に対する認識能力が低くなり、誤り率が上がるのが現状である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、短い音声に対する認識の誤り率を下げるために、電子装置、身元認証方法、システム及びコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、電子装置を提供し、
前記電子装置は、
記憶機器と、前記記憶機器に接続された処理機器とを含み、
前記記憶機器には前記処理機器上で実行可能な身元認証システムが記憶され、
前記身元認証システムを前記処理機器が実行するとき、
身元認証対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップＳ１と、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップＳ２と、
観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップＳ３と、
複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うステップＳ４と、
を実現できる。
【０００６】
本発明は、さらに、身元認証方法を提供し、
前記身元認証方法は、
身元認証対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップＳ１と、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップＳ２と、
観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップＳ３と、
複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うステップＳ４と、
を含む。
【０００７】
本発明は、さらに、コンピュータ読み取り可能な記憶媒体を提供し、
前記コンピュータ読み取り可能な記憶媒体に身元認証システムが記憶され、
前記身元認証システムを少なくとも１つの処理機器が実行することで、
身元認証対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップＳ１と、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップＳ２と、
観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップＳ３と、
複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うステップＳ４と、
を実現できる。
【０００８】
本発明は、さらに、身元認証システムを提供し、
前記身元認証システムが記憶機器に記憶され、少なくとも１つの処理機器により実行されことで、
身元認証対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップＳ１と、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップＳ２と、
観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップＳ３と、
複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うステップＳ４と、
を実現できる。
【発明の効果】
【０００９】
本発明は、その時点の音声データに対してフレーム化処理を行って複数の音声フレームを取得し、所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成し、さらに、観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得て、複数のマッチングされた観測特徴ユニット対を、所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うものである。本発明により様々な業務環境から得られた短い録音を用いて身元認証を行うとき、短い録音をフレーム化し、音声学的特徴を抽出して観測特徴ユニットに変換し、最終的にマッチングされた観測特徴ユニットを身元認証モデルに入力することにより身分認証を行うため、短い録音に対する認識能力が高く、誤り率を下げることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の各実施例を実現する一つの可能な環境の概略図である。
【図２】本発明の身元認証方法の一実施例のフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の目的、技術的解決手段及び利点をより明瞭にするために、以下にて実施例及び図面を踏まえて本発明を詳細に説明する。ただし、本明細書に記載された実施例は、本発明を説明するためのものに過ぎず、本発明を限定するためのものではない。当業者は、本発明の実施例に基づき、創造的な労働をすることなく得られる他の全ての実施例は、本発明の保護範囲に含まれるものとする。
【００１２】
なお、本明細書における「第１」、「第２」などの語彙は、記載上の便宜を図るためのものに過ぎず、重要性を示唆するものでも、技術的特徴の数量を表すものでもない。これにより、「第１」及び「第２」により限定される特徴は、少なくとも1つの当該特徴を明示的にまたは暗黙的に含む。また、各実施例間で技術的解決手段を互いに組み合わせることができるが、ただし、当業者が実現できる範囲に限られ、技術的解決手段を組み合わせることにより矛盾が生じたり、実現できなかったりする場合、当該技術的解決手段の組み合わせを認めず、本発明が請求する保護範囲にないものとする。
【００１３】
図１は、本発明の身元認証方法の好ましい実施例を実現する環境の概略図である。図１によると、前記環境は、電子装置１と、端末機器２とを含む。電子装置１は、インターネットや近距離通信技術などの適切な技術により、端末機器２とデータ交換を行うことができる。
【００１４】
端末機器２は、キーボード、マウス、リモートコントローラ、タッチパッド、又は音声制御機器などの手段によりユーザとマンマシンインタラクションを行って、音声収集装置（例えばマイク）でユーザの音声データを収集できる任意の電子製品、例えば、ＰＣ、タブレットＰＣ、スマートフォン、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ゲーム機、インターネットプロトコル放送テレビ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ  Ｔｅｌｅｖｉｓｉｏｎ、  ＩＰＴＶ）、ウェアラブル端末、ナビゲーション装置などの携帯型機器、又はデジタルＴＶ、デスクトップＰＣ、ノートＰＣ、サーバなどの固定端末を含むが、これらに限定されない。
【００１５】
前記電子装置１は、予め設定された又は記憶されているコマンドに従って、数値計算及び／又は情報処理を自動的に行うことができる機器である。前記電子装置1には、コンピュータ、単一のネットワークサーバ、複数のネットワークサーバからなるサーバ群、もしくはクラウドコンピューティングに基づく大量のホストやネットワークサーバからなるクラウド型機器が挙げられ、クラウドコンピューティングとは、分散コンピューティングの一種であり、疎結合されている複数のコンピュータクラスターからなる大型仮想コンピュータを指すものである。
【００１６】
本実施例では、電子装置１が、相互に通信できるようにシステムバスによって接続された記憶機器１１と、処理機器１２と、ネットワークインタフェース１３とを含むが、これらに限定されない。図１は部品１１と、部品１２と、部品１３とを備えた電子装置１を示しているが、必ずしも示された全ての部品で実施するとは限らず、代替案として、より多い又はより少ない部品で実施してもよい。
【００１７】
このうち、記憶機器１１はメモリと、少なくとも１つのタイプの読み取り可能な記憶媒体とを含む。メモリは、電子装置１の動作時にバッファを提供し、読み取り可能な記憶媒体は、例えば、フラッシュメモリ、ハードディスク、マルチメディアカード、カード型メモリ（ＳＤ又はＤＸメモリなど）、ランダムアクセスメモリ（ＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、磁気メモリ、磁気ディスク、ＣＤＲＯＭなどの不揮発性記憶媒体である。いくつかの実施例では、読み取り可能な記憶媒体が、電子装置１の内部記憶手段、例えば、電子装置１のハードディスクであり、別の実施例では、前記不揮発性記憶媒体が、電子装置１の外部記憶機器、例えば、電子装置１に搭載された外付けハードディスク、スマートメディアカード（Ｓｍａｒｔ  Ｍｅｄｉａ（登録商標）  Ｃａｒｄ、ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ、ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ  Ｃａｒｄ）などである。本実施例では、記憶機器１１の読み込み可能な記憶媒体は一般的に、電子装置１にインストールされるオペレーティングシステム及び各種アプリケーションソフトウェア、例えば、本発明の一実施例による身元認証システムのプログラムコードなどを記憶することに用いられる。記憶機器１１は、すでに出力された又は出力する各種データを一時的に記憶することにも用いられる。
【００１８】
いくつかの実施例では、前記処理機器１２が、例えば、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＣＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又はその他のデータ処理チップである。この処理機器１２は、一般的に、前記電子装置１全体の動作、例えば、前記端末機器２とのデータ交換又は通信に関連する制御及び処理などの実行を制御することに用いられる。本実施例では、前記処理機器１２が、前記記憶機器１１に記憶されているプログラムコードを実行し又はデータを処理し、例えば、身元認証システムなどを実行することに用いられる。
【００１９】
前記ネットワークインタフェース１３は、無線ネットワークインタフェース、又は有線ネットワークインタフェースを含んでもよく、当該ネットワークインタフェース１３は、一般的に、前記電子装置１とその他の電子機器との間に通信接続を確立することに用いられる。本実施例では、ネットワークインタフェース１３は、主に電子装置1と１つ又は複数の端末機器２を接続させることで、電子装置１と１つ又は複数の端末機器２との間にデータ伝送チャンネル及び通信接続を確立することに用いられる。
【００２０】
前記身元認証システムは、記憶機器１１に記憶されている少なくとも１つのコンピュータ読み取り可能なコマンドを含み、前記少なくとも１つのコンピュータ読み取り可能なコマンドを処理機器１２が実行することで、本発明の各実施例による方法を実現でき、また、前記少なくとも１つのコンピュータ読み取り可能なコマンドは、その各部分が実現する機能の違いにより、異なる論理モジュールに分けられてもよい。
【００２１】
一実施例では、前記身元認証システムを前記処理機器１２が実行することで、ステップＳ１と、ステップＳ２と、ステップＳ３と、ステップＳ４とを実現できる。
【００２２】
ステップＳ１：身元認証対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得る。
【００２３】
本実施例では、様々な業務環境において、ユーザが録音する必要があり、録音過程で受信したその時点の音声データは複数の録音データ断片からなり、前記複数の録音データ断片はすなわち短い音声である。
【００２４】
録音時は、環境ノイズ及び音声収集機器の干渉を可能な限り回避する。録音機器はユーザから適切な距離をあけて設置し、大きな歪みを伴う録音機器は推奨しない。電源には、商用電源を使用し、電流を安定的に保持するのが好ましい。通話を録音するときは、センサを使用する。フレーム化処理を行う前に、音声データに対してノイズ除去を行うと、干渉をさらに低減することができる。
【００２５】
所定のフレーム化のパラメータに基づき、その時点の音声データ中の各録音データ断片に対してフレーム化処理を行うとき、所定のフレーム化のパラメータは、例えば、フレーム長が２５ｍｓ、フレームシフト長が１０ｍｓである。フフレーム化処理を経た各録音データ断片から複数の音声フレームを得る。当然ながら、本実施例は、上記のフレーム化処理に限定されるものではなく、その他のフレーム化のパラメータによりフフレーム化処理を行ってもよく、その全ては本実施例の保護範囲に含まれる。
【００２６】
ステップＳ２：所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成する。
【００２７】
本実施例では、所定のフィルタとしてメルフィルタが好ましく、音声学的特徴は、すなわち声紋特徴であり、声紋特徴には、広帯域声紋、狭帯域声紋、振幅声紋など多くのタイプがあり、本実施例の声紋特徴は、メル周波数ケプストラム係数（Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ、ＭＦＣＣ）が好ましい。
【００２８】
音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するとき、メル周波数ケプストラム係数に基づき特徴データ行列を構成し、具体的には、各録音データ断片のメル周波数ケプストラム係数に基づき特徴データ行列を構成し、複数の録音データ断片に対応する特徴データ行列は、すなわちその時点の音声データに対応する複数の観測特徴ユニットである。
【００２９】
ステップＳ３：観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得る。
【００３０】
ステップＳ４：複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行う。
【００３１】
本実施例では、予め多くのユーザの観測特徴ユニットを記憶し、その時点の音声データに対応する複数の観測特徴ユニットを生成したのち、生成された多くの観測特徴ユニットを予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数の観測特徴ユニット対を得る。
【００３２】
ただし、所定タイプの認証モデルは、深層畳み込みニューラルネットワークモデルが好ましく、深層畳み込みニューラルネットワークモデルは、１つの入力層と、４つの畳み込み層と、１つのプーリング層と、２つの全結合層と、１つの正規化層と、１つの分類層とにより構成される。前記深層畳み込みニューラルネットワークモデルの詳細な構造は、次の表１に示すとおりである。
【００３３】
表１
2019531492.tif 000003
【００３４】
ここで、Ｌａｙｅｒ  Ｎａｍｅ列には各層の名称を示しており、Ｉｎｐｕｔは入力層、Ｃｏｎｖは畳み込み層、Ｃｏｎｖ１は第１の畳み込み層、Ｍｅａｎ＿ｓｔｄ＿ｐｏｏｌｉｎｇはプーリング層、Ｆｕｌｌ  ｃｏｎｎｅｃｔｅｄは全結合層、Ｎｏｒｍａｌｉｚｅ  Ｗｒａｐは正規化層、Ｓｃｏｒｉｎｇは分類層を表す。Ｂａｔｃｈ  Ｓｉｚｅは当該層に入力された観測特徴ユニットの数を表し、Ｋｅｒｎｅｌ  Ｓｉｚｅは当該層の畳み込みカーネルのサイズを表す（例えば、Ｋｅｒｎｅｌ  Ｓｉｚｅを３とすると、畳み込みカーネルのサイズが３×３である）。Ｓｔｒｉｄｅ  Ｓｉｚｅは畳み込みカーネルの適用間隔を表し、すなわち、畳み込みが完了して次の畳み込み位置まで進むのに経過する距離である。Ｆｉｌｔｅｒ  ｓｉｚｅは各層の出力するチャンネル数を表し、例えば、Ｉｎｐｕｔ層の入力音声（すなわち原データ）は１チャンネルであり、Ｉｎｐｕｔ層を経るとチャンネル数は５１２となる。具体的には、入力層は、入力された観測特徴ユニットに対するサンプリングのことであり、Ｃｏｎｖ層の１＊１の畳み込みカーネルは、入力に対する縮小・拡大及び特徴の組み合わせを行うことができ、Ｎｏｒｍａｌｉｚｅ  Ｗｒａｐ層は入力に対して分散の正規化を行い、Ｓｃｏｒｉｎｇ層はユーザのクラス内接続行列Ｕ及びユーザのクラス間接続行列Ｖを訓練し、行列のサイズはいずれも３００＊３００である。
【００３５】
本実施例では、複数のマッチングされた観測特徴ユニット対を深層畳み込みニューラルネットワークモデルに入力して、出力された身元認証結果を取得する（認証結果は認証成功及び認証失敗を含む）ことにより、対象ユーザに対して身元認証を行う。
【００３６】
従来技術と比べたところ、本実施例は、その時点の音声データに対してフレーム化処理を行って複数の音声フレームを取得し、所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成し、さらに、観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得て、複数のマッチングされた観測特徴ユニット対を、所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うものである。本発明により様々な業務環境から得られた短い録音を用いて身元認証を行うとき、短い録音をフレーム化し、音声学的特徴を抽出して観測特徴ユニットに変換し、最終的にマッチングされた観測特徴ユニットを身元認証モデルに入力することにより身分認証を行うため、短い録音に対する認識能力が高く、誤り率を下げることができる。
【００３７】
一つの好ましい実施例として、図１の実施例をベースに、所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出する前記ステップは、前記音声フレームに窓関数をかけ合わせる（窓かけ）ことと、窓かけが行われた各音声フレームに対してフーリエ変換を行って対応するスペクトルを得ることと、前記スペクトルをメルフィルタに入力して、出力されたメル周波数スペクトラムを得ることと、メル周波数スペクトラムに対してケプストラム分析を行ってメル周波数ケプストラム係数ＭＦＣＣを得て、前記メル周波数ケプストラム係数ＭＦＣＣを前記音声フレームの音声学的特徴とすることとを含む。
【００３８】
ただし、音声データにフレーム化処理を行った後、各フレームのデータをいずれも定常信号として処理する。後続の処理のとき、メル周波数ケプストラム特徴を得るにはフーリエ級数展開における各項を用いるため、ギブス現象が起こり、すなわち、不連続点を有する周期関数（例えば矩形波）をフーリエ級数に展開して、有限の項を選んで合成し、項数が多いほど、合成波形におけるひげが原信号の不連続点に近づき、項数が非常に大きくなると、ひげの値は、跳びの約９％でほぼ定数となる。ギブス現象を回避するためには、音声フレームに窓かけを行うことにより、音声フレームの先頭及び末尾の部分における信号の不連続を緩和する必要がある。
【００３９】
ケプストラム分析は、例えば、対数化し逆フーリエ変換を行うことであり、逆フーリエ変換は、一般的に離散コサイン変換（ＤＣＴ）により実現し、ＤＣＴした後の第２から第１３の係数をメル周波数ケプストラム係数ＭＦＣＣとする。メル周波数ケプストラム係ＭＦＣＣ数は、すなわちこのフレームの音声データの声紋特徴であり、各フレームのメル周波数ケプストラム係数ＭＦＣＣにより特徴データ行列を構成し、この特徴データ行列は、すなわち音声フレームの音声学的特徴である。
【００４０】
一つの好ましい実施例として、上記の実施例をベースに、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成する前記ステップは、その時点の音声データ中の各録音データにおける全ての音声フレームを音声フレームセットとし、前記音声フレームセットにおける各音声フレームの２０次元のメル周波数ケプストラム係数ＭＦＣＣ（すなわち、音声学的特徴）を、対応する音声フレームのフレーム化の時間順につなげることにより、(20，N)次元の行列の対応する観測特徴ユニットを生成し、ただし、前記Ｎは前記音声フレームセットのフレームの総数である。
【００４１】
一つの好ましい実施例として、上記の実施例をベースに、深層畳み込みニューラルネットワークモデルは認識関数により身元認証を行い、前記認識関数は、
2019531492.tif 000004
である。
【００４２】
ここで、Ｏｂｊは前記深層畳み込みニューラルネットワークモデルの目的関数を表し、目的関数を最大化することで、深層畳み込みニューラルネットワークモデルによる判断が正しい確率を収束するまで上げることにより、ユーザに対して身元認証を行う。ｘは観測特徴ユニット対における１つの観測特徴ユニットにより、正規化層にて得られるユーザ特徴を表し、ｙは前記観測特徴ユニット対におけるもう１つの観測特徴ユニットにより、前記正規化層にて得られるユーザ特徴を表し、Ｋは定数であり、Ｐ（ｘ，ｙ）により観測特徴ユニット対が同一ユーザによる確率を計算し、Ｌ（ｘ，ｙ）により観測特徴ユニット対の類似度Ｌを計算し、ただし、Ｕはユーザのクラス内接続行列、Ｖはユーザのクラス間接続行列を表し、ｂはバイアスであり、Ｔは行列の転置を表す。
【００４３】
図２は、本発明による身元認証方法の一実施例のフローチャートであり、図２によると、前記身元認証方法は、ステップＳ１と、ステップＳ２と、ステップＳ３と、ステップＳ４とを含む。
【００４４】
ステップＳ１：身元認証対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得る。
【００４５】
本実施例では、様々な業務環境において、ユーザが録音する必要があり、録音過程で受信したその時点の音声データは複数の録音データ断片からなり、前記複数の録音データ断片はすなわち短い音声である。
【００４６】
録音時は、環境ノイズ及び音声収集機器の干渉を可能な限り回避する。録音機器はユーザから適切な距離をあけて設置し、大きな歪みを伴う録音機器は推奨しない。電源には、商用電源を使用し、電流を安定的に保持するのが好ましい。通話を録音するときは、センサを使用する。フレーム化処理を行う前に、音声データに対してノイズ除去を行うと、干渉をさらに低減することができる。
【００４７】
所定のフレーム化のパラメータに基づき、その時点の音声データ中の各録音データ断片に対してフレーム化処理を行うとき、所定のフレーム化のパラメータは、例えば、フレーム長が２５ｍｓ、フレームシフト長が１０ｍｓである。フフレーム化処理を経た各録音データ断片から複数の音声フレームを得る。当然ながら、本実施例は、上記のフレーム化処理に限定されるものではなく、その他のフレーム化のパラメータによりフフレーム化処理を行ってもよく、その全ては本実施例の保護範囲に含まれる。
【００４８】
ステップＳ２：所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成する。
【００４９】
本実施例では、所定のフィルタとしてメルフィルタが好ましく、音声学的特徴は、すなわち声紋特徴であり、声紋特徴は、広帯域声紋、狭帯域声紋、振幅声紋など多くのタイプがあり、本実施例の声紋特徴は、メル周波数ケプストラム係数が好ましい。
【００５０】
音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するとき、メル周波数ケプストラム係数に基づき特徴データ行列を構成し、具体的には、各録音データ断片のメル周波数ケプストラム係数に基づき特徴データ行列を構成し、複数の録音データ断片に対応する特徴データ行列は、すなわちその時点の音声データに対応する複数の観測特徴ユニットである。
【００５１】
ステップＳ３：観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得る。
【００５２】
ステップＳ４：複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行う。
【００５３】
本実施例では、予め多くのユーザの観測特徴ユニットを記憶し、その時点の音声データに対応する複数の観測特徴ユニットを生成したのち、生成された多くの観測特徴ユニットを予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数の観測特徴ユニット対を得る。
【００５４】
ただし、所定タイプの認証モデルは、深層畳み込みニューラルネットワークモデルが好ましく、深層畳み込みニューラルネットワークモデルは、１つの入力層と、４つの畳み込み層と、１つのプーリング層と、２つの全結合層と、１つの正規化層と、１つの分類層とにより構成される。前記深層畳み込みニューラルネットワークモデルの詳細な構造は、上記の表１に示されるため、ここでは記載を省略する。
【００５５】
ここで、Ｌａｙｅｒ  Ｎａｍｅ列には各層の名称を示しており、Ｉｎｐｕｔは入力層、Ｃｏｎｖは畳み込み層、Ｃｏｎｖ１は第１の畳み込み層、Ｍｅａｎ＿ｓｔｄ＿ｐｏｏｌｉｎｇはプーリング層、Ｆｕｌｌ  ｃｏｎｎｅｃｔｅｄは全結合層、Ｎｏｒｍａｌｉｚｅ  Ｗｒａｐは正規化層、Ｓｃｏｒｉｎｇは分類層を表す。Ｂａｔｃｈ  Ｓｉｚｅは当該層に入力された観測特徴ユニットの数を表し、Ｋｅｒｎｅｌ  Ｓｉｚｅは当該層の畳み込みカーネルのサイズを表す（例えば、Ｋｅｒｎｅｌ  Ｓｉｚｅを３とすると、畳み込みカーネルのサイズが３×３である）。Ｓｔｒｉｄｅ  Ｓｉｚｅは畳み込みカーネルの適用間隔を表し、すなわち、畳み込みが完了して次の畳み込み位置まで進むのに経過する距離である。Ｆｉｌｔｅｒ  ｓｉｚｅは各層の出力するチャンネル数を表し、例えば、Ｉｎｐｕｔ層の入力音声（すなわち原データ）は１チャンネルであり、Ｉｎｐｕｔ層を経るとチャンネル数は５１２となる。具体的には、入力層は、入力された観測特徴ユニットに対するサンプリングのことであり、Ｃｏｎｖ層の１＊１の畳み込みカーネルは、入力に対する縮小・拡大及び特徴の組み合わせを行うことができ、Ｎｏｒｍａｌｉｚｅ  Ｗｒａｐ層は入力に対して分散の正規化を行い、Ｓｃｏｒｉｎｇ層はユーザのクラス内接続行列Ｕ及びユーザのクラス間接続行列Ｖを訓練し、行列のサイズはいずれも３００＊３００である。
【００５６】
本実施例では、複数のマッチングされた観測特徴ユニット対を深層畳み込みニューラルネットワークモデルに入力して、出力された身元認証結果を取得する（認証結果は認証成功及び認証失敗を含む）ことにより、対象ユーザに対して身元認証を行う。
【００５７】
一つの好ましい実施例として、図２の実施例をベースに、前記ステップＳ２で所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出することが、前記音声フレームに窓関数をかけ合わせる（窓かけ）ことと、窓かけが行われた各音声フレームに対してフーリエ変換を行って対応するスペクトルを得ることと、前記スペクトルをメルフィルタに入力して、出力されたメル周波数スペクトラムを得ることと、メル周波数スペクトラムに対してケプストラム分析を行ってメル周波数ケプストラム係数ＭＦＣＣを得て、前記メル周波数ケプストラム係数ＭＦＣＣを前記音声フレームの音声学的特徴とすることとを含む。
【００５８】
ただし、音声データにフレーム化処理を行った後、各フレームのデータをいずれも定常信号として処理する。後続の処理のとき、メル周波数ケプストラム特徴を得るにはフーリエ級数展開における各項を用いるため、ギブス現象が起こり、すなわち、不連続点を有する周期関数（例えば矩形波）をフーリエ級数に展開して、有限の項を選んで合成し、項数が多いほど、合成波形におけるひげが原信号の不連続点に近づき、項数が非常に大きくなると、ひげの値は、跳びの約９％でほぼ定数となる。ギブス現象を回避するためには、音声フレームに窓かけを行うことにより、音声フレームの先頭及び末尾の部分における信号の不連続を緩和する必要がある。
【００５９】
ケプストラム分析は、例えば、対数化し逆フーリエ変換を行うことであり、逆フーリエ変換は、一般的にＤＣＴにより実現し、ＤＣＴした後の第２から第１３の係数をメル周波数ケプストラム係数ＭＦＣＣとする。メル周波数ケプストラム係数ＭＦＣＣは、すなわちこのフレームの音声データの声紋特徴であり、各フレームのメル周波数ケプストラム係数ＭＦＣＣにより特徴データ行列を構成し、この特徴データ行列は、すなわち音声フレームの音声学的特徴である。
【００６０】
一つの好ましい実施例として、上記の実施例をベースに、前記ステップＳ２で抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成することが、その時点の音声データ中の各録音データにおける全ての音声フレームを音声フレームセットとし、前記音声フレームセットにおける各音声フレームの２０次元のメル周波数ケプストラム係数ＭＦＣＣ（すなわち、音声学的特徴）を対応する音声フレームのフレーム化の時間順につなげることにより、(20，N)次元の行列の対応する観測特徴ユニットを生成し、ただし、前記Ｎは前記音声フレームセットのフレームの総数である。
【００６１】
一つの好ましい実施例として、上記の実施例をベースに、深層畳み込みニューラルネットワークモデルは認識関数により身元認証を行い、前記認識関数は、
【００６２】
2019531492.tif 000005
である。
【００６３】
ここで、Ｏｂｊは前記深層畳み込みニューラルネットワークモデルの目的関数を表し、目的関数を最大化することで、深層畳み込みニューラルネットワークモデルによる判断が正しい確率を収束するまで上げることにより、ユーザに対して身元認証を行う。ｘは観測特徴ユニット対における１つの観測特徴ユニットにより、正規化層にて得られるユーザ特徴を表し、ｙは前記観測特徴ユニット対におけるもう１つの観測特徴ユニットにより、前記正規化層にて得られるユーザ特徴を表し、Ｋは定数であり、Ｐ（ｘ，ｙ）により観測特徴ユニット対が同一ユーザによる確率を計算し、Ｌ（ｘ，ｙ）により観測特徴ユニット対の類似度Ｌを計算し、ただし、Ｕはユーザのクラス内接続行列、Ｖはユーザのクラス間接続行列を表し、ｂはバイアスであり、Ｔは行列の転置を表す。
【００６４】
一つの好ましい実施例として、上記の実施例をベースに、前記ステップＳ４の前は、さらに、
第１の所定数量の同一ユーザによる音声対を取得し、（例えば、１０００人のユーザから、ユーザ１人あたり１０００の音声対を取得し、各音声対が同一ユーザの２つの異なる発話内容に対応する２つの音声断片からなる）、そして第２の所定数量の異なるユーザによる音声対を取得し（例えば、１０００人のユーザから取得し、ユーザを２人ずつマッチングし、各ユーザ対が同一の発話内容に対応することで１つの音声対を得る）、各音声対の音声に対してそれぞれ所定のフレーム化のパラメータに基づきフレーム化処理を行い（例えば、前記所定のフレーム化のパラメータは、フレーム長が２５ｍｓ、フレームシフト長が１０ｍｓである）、これにより各音声対に対応する複数の音声フレームを得ることと、
所定のフィルタ（例えば、メルフィルタ）を用いて、各音声フレームから所定タイプの音声学的特徴（例えば、２０次元のメル周波数ケプストラム係数、すなわちメル周波数ケプストラム特徴）を抽出し、抽出された音声学的特徴に基づき各音声対の複数の観測特徴ユニットを生成し、すなわちメル周波数ケプストラム係数に基づき複数の特徴データ行列、すなわち観測特徴ユニットを生成することと、
同一ユーザ及び異なるユーザによる２つの音声に対応する観測特徴ユニットを２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得ることと、
各音声対を第１の百分率（例えば７０％）で占める訓練セットと、第２の百分率（例えば２０％）で占める検証セットとに分ける（ただし、前記第１の百分率と第２の百分率との和は１以下）ことと、
訓練セットにおける各音声対の各観測特徴ユニット対を用いて、深層畳み込みニューラルネットワークモデルを訓練し、訓練完了後、検証セットを用いて、訓練された深層畳み込みニューラルネットワークモデルの正確率を検証することと、
前記正確率が所定の閾値（例えば、９８．５％）を超えた場合、訓練を終了し、訓練された深層畳み込みニューラルネットワークモデルを前記ステップＳ４における深層畳み込みニューラルネットワークモデルとして適用し、前記正確率が所定の閾値以下の場合、訓練用の音声対の数量を増加して、訓練された後の深層畳み込みニューラルネットワークモデルの正確率が所定の閾値を超えるまで、前記ステップを再度実行して訓練を繰り返すことと、を含む。
【００６５】
本発明は、さらに、コンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ読み取り可能な記憶媒体に身元認証システムが記憶され、前記身元認証システムを処理機器が実行するとき、前記身元認証方法のステップを実現する。
【００６６】
本発明の実施例に付与した番号は、記載上の便宜を図るためのものに過ぎず、実施例の優劣を示すものではない。
【００６７】
当業者は、実施形態に関する上記の記載により、上記の実施例による方法は、ソフトウェアと、必要な汎用ハードウェアプラットフォームとを組み合わせた方式により実現でき、当然ながら、ハードウェアでも実現できるが、多くの場合には、前者がより好ましい実施形態であることを理解できるであろう。これにより、本発明の技術的解決手段の趣旨又は従来技術について改良した部分を、ソフトウェア製品の形態で実現でき、前記コンピュータソフトウェア製品は、１つの記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、ＣＤＲＯＭ）に記憶されており、且つ、端末装置（例えば、携帯電話、コンピュータ、サーバ、空調設備、又はネットワーク機器）により本発明の各実施例の方法を実行可能とするための複数のコマンドを含む。
【００６８】
以上は本発明の好ましい実施例を記載したに過ぎず、これをもって本発明の特許請求の範囲を限定するものではなく、本発明の明細書及び図面の内容に基づいてなされた同等な構造やプロセス上の同等な変更、又はその他の関連する技術分野への直接的もしくは間接的な適用は、いずれも本発明の特許保護の範囲に含まれるものとする。
【図１】
2019531492.tif 000010
【図２】
2019531492.tif 000011
【手続補正書】
【提出日】平成30年9月19日(2018.9.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
電子装置であって、
前記電子装置は、記憶機器と、前記記憶機器に接続された処理機器とを含み、
前記記憶機器には前記処理機器上で実行可能な身元認証システムが記憶され、
前記身元認証システムを前記処理機器が実行するとき、
身元認証の対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップＳ１と、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップＳ２と、
観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップＳ３と、
複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うステップＳ４と、
を含むことを特徴とする電子装置。
【請求項２】
前記所定のフィルタは、メルフィルタであり、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出する前記ステップは、
前記音声フレームに窓関数をかけ合わせることと、
窓かけが行われた各音声フレームに対してフーリエ変換を行って対応するスペクトルを得ることと、
前記スペクトルをメルフィルタに入力して、出力されたメル周波数スペクトラムを得ることと、
メル周波数スペクトラムに対してケプストラム分析を行ってメル周波数ケプストラム係数ＭＦＣＣを得て、前記メル周波数ケプストラム係数ＭＦＣＣを前記音声フレームの音声学的特徴とすることと、を含む
ことを特徴とする請求項１に記載の電子装置。
【請求項３】
抽出された音声学的特徴に基づき前記その時点の音声データに対応する複数の観測特徴ユニットを生成する前記ステップは、
前記その時点の音声データの各録音データにおける音声フレームを音声フレームセットとして、前記音声フレームセットにおける各音声フレームの２０次元のメル周波数ケプストラム係数ＭＦＣＣを対応する音声フレームのフレーム化の時間順につなげることにより、（２０，Ｎ）次元の行列の対応する観測特徴ユニットを生成する（ただし、前記Ｎは前記音声フレームセットのフレームの総数）ことを含む
ことを特徴とする請求項２に記載の電子装置。
【請求項４】
前記訓練により予め生成された所定タイプの身元認証モデルは、深層畳み込みニューラルネットワークモデルであり、
前記深層畳み込みニューラルネットワークモデルは認識関数により身元認証を行い、前記認識関数は、
2019531492.tif 000012
ここで、Ｏｂｊは前記深層畳み込みニューラルネットワークモデルの目的関数を表し、ｘは観測特徴ユニット対における１つの観測特徴ユニットにより、正規化層にて得られるユーザ特徴を表し、ｙは前記観測特徴ユニット対におけるもう１つの観測特徴ユニットにより、前記正規化層にて得られるユーザ特徴を表し、Ｋは定数であり、Ｐ（ｘ，ｙ）により観測特徴ユニット対が同一ユーザによる確率を計算し、Ｌ（ｘ，ｙ）により観測特徴ユニット対の類似度Ｌを計算し、ただし、Ｕはユーザのクラス内接続行列、Ｖはユーザのクラス間接続行列を表し、ｂはバイアスであり、Ｔは行列の転置を表す
ことを特徴とする請求項３に記載の電子装置。
【請求項５】
前記ステップＳ４の前は、さらに、
第１の所定数量の同一ユーザによる音声対を取得し、そして第２の所定数量の異なるユーザによる音声対を取得し、各音声対の音声に対してそれぞれ所定のフレーム化のパラメータに基づきフレーム化処理を行うことにより、各音声対に対応する複数の音声フレームを得ることと、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づき各音声対の複数の観測特徴ユニットを生成することと、
同一ユーザ及び異なるユーザによる２つの音声に対応する観測特徴ユニットを２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得ることと、
各音声対を第１の百分率で占める訓練セットと、第２の百分率で占める検証セットとに分ける（ただし、前記第１の百分率と第２の百分率との和は１以下）ことと、
訓練セットにおける各音声対の各観測特徴ユニット対を用いて、深層畳み込みニューラルネットワークモデルを訓練し、訓練完了後、検証セットを用いて、訓練された深層畳み込みニューラルネットワークモデルの正確率を検証することと、
前記正確率が所定の閾値を超えた場合、訓練を終了し、訓練された深層畳み込みニューラルネットワークモデルを前記ステップＳ４における深層畳み込みニューラルネットワークモデルとして適用し、前記正確率が前記所定の閾値以下の場合、訓練用の音声対の数量を増加して、再度訓練を行うことと、
を含むことを特徴とする請求項４に記載の電子装置。
【請求項６】
身元認証方法であって、
前記身元認証方法は、
身元認証の対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップＳ１と、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップＳ２と、
観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップＳ３と、
複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うステップＳ４と、
を含むことを特徴とする身元認証方法。
【請求項７】
前記所定のフィルタは、メルフィルタであり、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出する前記ステップは、
前記音声フレームに窓関数をかけ合わせることと、
窓かけが行われた各音声フレームに対してフーリエ変換を行って対応するスペクトルを得ることと、
前記スペクトルをメルフィルタに入力して、出力されたメル周波数スペクトラムを得ることと、
メル周波数スペクトラムに対してケプストラム分析を行ってメル周波数ケプストラム係数ＭＦＣＣを得て、前記メル周波数ケプストラム係数ＭＦＣＣを前記音声フレームの音声学的特徴とすることと、
を含むことを特徴とする請求項６に記載の身元認証方法。
【請求項８】
抽出された音声学的特徴に基づき前記その時点の音声データに対応する複数の観測特徴ユニットを生成する前記ステップは、
前記その時点の音声データの各録音データにおける音声フレームを音声フレームセットとして、前記音声フレームセットにおける各音声フレームの２０次元のメル周波数ケプストラム係数ＭＦＣＣを対応する音声フレームのフレーム化の時間順につなげることにより、（２０＊Ｎ）次元の行列の対応する観測特徴ユニットを生成する（ただし、前記Ｎは前記音声フレームセットのフレームの総数）ことを含む
ことを特徴とする請求項７に記載の身元認証方法。
【請求項９】
前記訓練により予め生成された所定タイプの身元認証モデルは、深層畳み込みニューラルネットワークモデルであり、
前記深層畳み込みニューラルネットワークモデルは認識関数により身元認証を行い、前記認識関数は、
2019531492.tif 000013
ここで、Ｏｂｊは前記深層畳み込みニューラルネットワークモデルの目的関数を表し、ｘは観測特徴ユニット対における１つの観測特徴ユニットにより、正規化層にて得られるユーザ特徴を表し、ｙは前記観測特徴ユニット対におけるもう１つの観測特徴ユニットにより、前記正規化層にて得られるユーザ特徴を表し、Ｋは定数であり、Ｐ（ｘ，ｙ）により観測特徴ユニット対が同一ユーザによる確率を計算し、Ｌ（ｘ，ｙ）により観測特徴ユニット対の類似度Ｌを計算し、ただし、Ｕはユーザのクラス内接続行列、Ｖはユーザのクラス間接続行列を表し、ｂはバイアスであり、Ｔは行列の転置を表す
ことを特徴とする請求項８に記載の身元認証方法。
【請求項１０】
前記ステップＳ４の前は、さらに、
第１の所定数量の同一ユーザによる音声対を取得し、そして第２の所定数量の異なるユーザによる音声対を取得し、各音声対の音声に対してそれぞれ所定のフレーム化のパラメータに基づきフレーム化処理を行うことにより、各音声対に対応する複数の音声フレームを得ることと、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づき各音声対の複数の観測特徴ユニットを生成することと、
同一ユーザ及び異なるユーザによる２つの音声に対応する観測特徴ユニットを２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得ることと、
各音声対を第１の百分率で占める訓練セットと、第２の百分率で占める検証セットとに分ける（ただし、前記第１の百分率と第２の百分率との和は１以下）ことと、
訓練セットにおける各音声対の各観測特徴ユニット対を用いて、深層畳み込みニューラルネットワークモデルを訓練し、訓練完了後、検証セットを用いて、訓練された深層畳み込みニューラルネットワークモデルの正確率を検証することと、
前記正確率が所定の閾値を超えた場合、訓練を終了し、訓練された深層畳み込みニューラルネットワークモデルを前記ステップＳ４における深層畳み込みニューラルネットワークモデルとして適用し、前記正確率が前記所定の閾値以下の場合、訓練用の音声対の数量を増加して、再度訓練を行うことと、を含む
ことを特徴とする請求項９に記載の身元認証方法。
【請求項１１】
コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体に身元認証システムが記憶され、
前記身元認証システムを少なくとも１つの処理機器が実行することで、
身元認証の対象ユーザのその時点の音声データを受信した後、所定のフレーム化のパラメータに基づき、前記その時点の音声データに対してフレーム化処理を行うことにより、複数の音声フレームを得るステップＳ１と、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づきその時点の音声データに対応する複数の観測特徴ユニットを生成するステップＳ２と、
観測特徴ユニットごとに、予め記憶された観測特徴ユニットと２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得るステップＳ３と、
複数のマッチングされた観測特徴ユニット対を、訓練により予め生成された所定タイプの身元認証モデルに入力して、出力された身元認証結果を取得することにより前記対象ユーザに対して身元認証を行うステップＳ４と、を実現できる
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１２】
前記所定のフィルタは、メルフィルタであり、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出する前記ステップは、
前記音声フレームに窓関数をかけ合わせることと、
窓かけが行われた各音声フレームに対してフーリエ変換を行って対応するスペクトルを得ることと、
前記スペクトルをメルフィルタに入力して、出力されたメル周波数スペクトラムを得ることと、
メル周波数スペクトラムに対してケプストラム分析を行ってメル周波数ケプストラム係数ＭＦＣＣを得て、前記メル周波数ケプストラム係数ＭＦＣＣを前記音声フレームの音声学的特徴とすることと、を含む
ことを特徴とする請求項１１に記載のコンピュータ読み取り可能な記憶媒体。
【請求項１３】
抽出された音声学的特徴に基づき前記その時点の音声データに対応する複数の観測特徴ユニットを生成する前記ステップは、
前記その時点の音声データの各録音データにおける音声フレームを音声フレームセットとして、前記音声フレームセットにおける各音声フレームの２０次元のメル周波数ケプストラム係数ＭＦＣＣを対応する音声フレームのフレーム化の時間順につなげることにより、（２０，Ｎ）次元の行列の対応する観測特徴ユニットを生成する（ただし、前記Ｎは前記音声フレームセットのフレームの総数）ことを含む
ことを特徴とする請求項１２に記載のコンピュータ読み取り可能な記憶媒体。
【請求項１４】
前記訓練により予め生成された所定タイプの身元認証モデルは、深層畳み込みニューラルネットワークモデルであり、
前記深層畳み込みニューラルネットワークモデルは認識関数により身元認証を行い、前記認識関数は、
2019531492.tif 000014
ここで、Ｏｂｊは前記深層畳み込みニューラルネットワークモデルの目的関数を表し、ｘは観測特徴ユニット対における１つの観測特徴ユニットにより、正規化層にて得られるユーザ特徴を表し、ｙは前記観測特徴ユニット対におけるもう１つの観測特徴ユニットにより、前記正規化層にて得られるユーザ特徴を表し、Ｋは定数であり、Ｐ（ｘ，ｙ）により観測特徴ユニット対が同一ユーザによる確率を計算し、Ｌ（ｘ，ｙ）により観測特徴ユニット対の類似度Ｌを計算し、ただし、Ｕはユーザのクラス内接続行列、Ｖはユーザのクラス間接続行列を表し、ｂはバイアスであり、Ｔは行列の転置を表す
ことを特徴とする請求項１３に記載のコンピュータ読み取り可能な記憶媒体。
【請求項１５】
前記ステップＳ４の前は、さらに、
第１の所定数量の同一ユーザによる音声対を取得し、そして第２の所定数量の異なるユーザによる音声対を取得し、各音声対の音声に対してそれぞれ所定のフレーム化のパラメータに基づきフレーム化処理を行うことにより、各音声対に対応する複数の音声フレームを得ることと、
所定のフィルタを用いて、各音声フレームから所定タイプの音声学的特徴を抽出し、抽出された音声学的特徴に基づき各音声対の複数の観測特徴ユニットを生成することと、
同一ユーザ及び異なるユーザによる２つの音声に対応する観測特徴ユニットを２つずつマッチングすることにより、複数のマッチングされた観測特徴ユニット対を得ることと、
各音声対を第１の百分率で占める訓練セットと、第２の百分率で占める検証セットとに分ける（ただし、前記第１の百分率と第２の百分率との和は１以下）ことと、
訓練セットにおける各音声対の各観測特徴ユニット対を用いて、深層畳み込みニューラルネットワークモデルを訓練し、訓練完了後、検証セットを用いて、訓練された深層畳み込みニューラルネットワークモデルの正確率を検証することと、
前記正確率が所定の閾値を超えた場合、訓練を終了し、訓練された深層畳み込みニューラルネットワークモデルを前記ステップＳ４における深層畳み込みニューラルネットワークモデルとして適用し、前記正確率が前記所定の閾値以下の場合、訓練用の音声対の数量を増加して、再度訓練を行うことと、を含む
ことを特徴とする請求項１４に記載のコンピュータ読み取り可能な記憶媒体。
【国際調査報告】
2019531492.tif 000015
2019531492.tif 000016
2019531492.tif 000017
2019531492.tif 000018