(57)【要約】【課題】本発明は、声紋に基づく身分確認方法及び装置を提供する。【解決手段】声紋に基づく身分確認方法は、未知語音を受信し；予めトレーニングされたニューラルネットワークに基づく声紋抽出器を用いて、前記未知語音中の声紋を抽出し；抽出された声紋と、予め記憶された声紋とを繋ぎ合わせて、繋ぎ合わせられた声紋を取得し；及び、予めトレーニングされた分類モデルを用いて、繋ぎ合わせられた声紋に対して判断を行い、抽出された声紋及び予め記憶された声紋が同じ人からのものであるかを確認することを含む。【選択図】図１
2018112740.tif 000002
【特許請求の範囲】
【請求項１】
声紋に基づく身分確認方法であって、
未知語音を受信し；
予めトレーニングされた、ニューラルネットワークに基づく声紋抽出器を用いて、前記未知語音中の声紋を抽出し；
抽出された声紋と、予め記憶された声紋とを繋ぎ合わせて、繋ぎ合わせられた声紋を取得し；及び
予めトレーニングされた分類モデルを用いて、繋ぎ合わせられた声紋に対して判断を行い、抽出された声紋及び予め記憶された声紋が同じ人からのものであるかを確認することを含む、身分確認方法。
【請求項２】
請求項1に記載の身分確認方法であって、
異なるスピーカー（話す人）の語音を採集し；
スピーカーの補助情報をニューラルネットワークのグループラベルとしてラベル付けを行い、ラベル付き語音をトレーニングサンプルとしてニューラルネットワークに入力し；及び
ディープラーニングを行うことにより、ニューラルネットワークに基づく声紋抽出器を得る、身分確認方法。
【請求項３】
請求項2に記載の身分確認方法であって、
スピーカーの補助情報は、スピーカーの言語種類、音素列、発声チャネル、情感、年齢、生活領域及び性別のうちの１つ又は複数を含む、身分確認方法。
【請求項４】
請求項2に記載の身分確認方法であって、
ディープラーニングを行うことにより、ニューラルネットワークに基づく声紋抽出器を得ることは、
階層型ニューラルネットワークを用いて、異なるグループラベルを異なる層にそれぞれ置いてディープラーニングを行うことにより、階層型ネットワーク抽出器を取得し；及び
フラットニューラルネットワークを用いて、全てのグループラベルを出力層に置いてディープラーニングを行うことにより、フラットネットワーク抽出器を得ることを含む、身分確認方法。
【請求項５】
請求項4に記載の身分確認方法であって、
予めトレーニングされた、ニューラルネットワークに基づく声紋抽出器を用いて、前記未知語音中の声紋を抽出することは、
前記階層型ネットワーク抽出器及び前記フラットネットワーク抽出器をそれぞれ用いて、前記未知語音中の声紋を抽出し；及び
前記階層型ネットワーク抽出器により抽出された声紋と、前記フラットネットワーク抽出器により抽出された声紋とを繋ぎ合わせて、抽出された前記未知語音中の声紋とすることを含む、身分確認方法。
【請求項６】
請求項4に記載の身分確認方法であって、
前記グループラベルに含まれる情報が簡単であればあるほど、該グループラベルの階層型ニューラルネットワーク中での位置が前の方の層にある、身分確認方法。
【請求項７】
請求項2に記載の身分確認方法であって、
前記ディープラーニングは、ランダム勾配降下法により行われ、
前記ランダム勾配方法は、
【数１】
2018112740.tif 000015
を用いて、ニューラルネットワークの重みを計算し、
そのうち、wtは、重みであり、
【数２】
2018112740.tif 000016
であり、εt′は、学習率であり、▽f(wt)は、損失関数fの勾配であり、a0=1であり、
【数３】
2018112740.tif 000017
である、身分確認方法。
【請求項８】
請求項1に記載の身分確認方法であって、
予めトレーニングされた分類モデルを用いて、繋ぎ合わせられた声紋に対して判断を行い、抽出された声紋及び予め記憶された声紋が同じ人からのものであるかを確認することは、
第一混合ガウスモデル及び第二混合ガウスモデルをトレーニングし、前記第一混合ガウスモデルは、２つの声紋が同じ人に属するケースに対応し、前記第二混合ガウスモデルは、２つの声紋が同じ人に属しないケースに対応し；
繋ぎ合わせられた声紋の、前記第一混合ガウスモデル上での第一確率及び前記第二混合ガウスモデル上での第二確率をそれぞれ計算し；及び
前記第一確率が前記第二確率よりも大きい場合、抽出された声紋及び予め記憶された声紋が同じ人からのものであると確認し、そうでない場合、異なる人からものであると確認することを含む、身分確認方法。
【請求項９】
請求項2に記載の身分確認方法であって、
抽出された前記未知語音中の声紋は、スピーカーの補助情報を含む、身分確認方法。
【請求項１０】
声紋に基づく身分確認装置であって、
未知語音を受信するように構成される語音受信ユニット；
予めトレーニングされた、ニューラルネットワークに基づく声紋抽出器を用いて、前記未知語音中の声紋を抽出するように構成される声紋抽出ユニット；
抽出された声紋と、予め記憶された声紋とを繋ぎ合わせて、繋ぎ合わせられた声紋を得るように構成される声紋繋ぎ合わせユニット；及び
予めトレーニングされた分類モデルを用いて、繋ぎ合わせられた声紋に対して判断を行い、抽出された声紋及び予め記憶された声紋が同じ人からのものであるかを確認するように構成される身分確認ユニットを含む、身分確認装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、語音処理分野に関し、より具体的には、声紋に基づく身分確認（identity  verification）方法及び装置に関する。
【背景技術】
【０００２】
声紋は、既に多くの分野、例えば、ユーザインターフェース、国土安全、テレホンバンキングなどに幅広く用いられている。従来の方法は、ジョイント因子分析（joint  factor  analysis）によって語音セグメントをある空間にマッピングすることで、声紋としてi-vectorを取得する。しかし、このような方法は、次のような２つの欠点があり、即ち、（1）満足できるパフォーマンスを得るために、比較的長い（20-30秒）語音セグメントを採用してi-vectorを抽出する必要があり、（2）身分確認のために、スピーカー（話す人であり、以下は同様である）の他の情報、例えば、年齢、性別、言語種類などの情報を要するが、今のところ、このような情報を追加することが不可能又はかなり困難である。
【０００３】
よって、スピーカーの複数種類の情報を含む比較的短い声紋に基づいて身分確認を行うことができる方法及び装置を提供することが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の主な目的は、声紋に基づく身分確認方法であって、未知語音を受信し、トレーニングにより予め得られたニューラルネットワークに基づく声紋抽出器を用いて、前記未知語音中の声紋を抽出し、抽出された声紋と予め記憶された声紋とに対して繋ぎ合わせ（stitching）を行って、繋ぎ合わせられた声紋を取得し、及び予めトレーニングされた分類モデルを用いて、繋ぎ合わせられた声紋を判断することで、抽出された声紋と予め記憶された声紋とが同じ人からのものであるかを確認することを含む身分確認方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の一側面によれば、声紋に基づく身分確認装置が提供され、それは、
未知語音を受信するための語音受信ユニット；
トレーニングにより予め得られたニューラルネットワークに基づく声紋抽出器を用いて、前記未知語音中の声紋を抽出するための声紋抽出ユニット；
抽出された声紋と、予め記憶された声紋とに対して繋ぎ合わせを行い、繋ぎ合わせられた声紋を得るための声紋繋ぎ合わせユニット；及び
予めトレーニングされた分類モデルを用いて、前記繋ぎ合わせられた声紋に対して判断を行い、抽出された声紋と予め記憶された声紋とが同じ人からのものであるかを確認するための身分確認ユニットを含む。
【０００６】
また、本発明の実施例は、さらに、上述の方法を実現し得るコンピュータプログラムを提供する。
【０００７】
また、本発明の実施例は、さらに、少なくとも、コンピュータ可読媒体形式のコンピュータプログラムプロダクトを提供し、その中には、上述の方法を実現し得るコンピュータプログラムコードが記録されている。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例における声紋に基づく身分確認方法のフローチャートである。
【図２】トレーニングによりニューラルネットワークに基づく声紋抽出器を得るプロセスのフローチャートである。
【図３Ａ】声紋を抽出するための階層型ニューラルネットワークを示す図である。
【図３Ｂ】声紋を抽出するためのフラットニューラルネットワークを示す図である。
【図４】本発明の他の実施例における声紋に基づく身分確認装置の構成図である。
【図５】声紋抽出器をトレーニングするための声紋抽出器トレーニング装置の構成図である。
【図６】本発明の実施例における声紋に基づく身分確認方法及び装置を実施し得る計算装置の構成図である。
【発明を実施するための形態】
【０００９】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
【００１０】
本発明は、声紋に基づく身分確認方法を提供し、該方法は、比較的短い(例えば、3-5秒)の語音からスピーカーの身分情報を抽出することができるとともに、他のスピーカーの情報、例えば、発声チャネル、音素列、性別、年齢、言語種類、生活領域、情感などの情報を含む「ホログラフィック声紋」と称される情報を抽出することもできる。
【００１１】
以下、図面を参照しながら、本発明の実施例における声紋に基づく身分確認方法及び装置を次のような順序、即ち、
1．声紋に基づく身分確認方法
2．声紋に基づく身分確認装置
3．実施例による方法及び装置を実現し得る計算装置
という順序に従って詳しく説明する。
【００１２】
＜1．声紋に基づく身分確認方法＞
図1は、本発明の一実施例における声紋に基づく身分確認方法100の例示的なフローチャートである。
【００１３】
まず、ステップS102では、未知語音を受信する。
【００１４】
次に、ステップS104では、トレーニングにより予め得られたニューラルネットワークに基づく声紋抽出器を用いて、未知語音中の声紋を抽出する。
【００１５】
図2は、トレーニングによりニューラルネットワークに基づく声紋抽出器を得る例示的なプロセスのフローチャートである。
【００１６】
図2に示すように、ステップS1042では、異なるスピーカー（speaker）の語音を採集する。
【００１７】
次に、ステップS1044では、スピーカーの補助情報をニューラルネットワークのグループラベルとしてラベル付けを行い、ラベル付き語音をトレーニングサンプルとしてニューラルネットワークに入力する。
【００１８】
具体的には、異なるスピーカーの大量の語音を収集し、そして、これらの語音に対してラベル付けを行う必要がある。スピーカーの身分（ID）、言語種類、音素列、発声チャネル、情感、年齢、生活領域、性別などの情報を含んでも良い。本発明では、抽出された声紋がこれらの情報を含むようにさせることで、本発明による身分確認方法は、よりロバストになる。これらのラベル付き語音は、トレーニングサンプルとしてニューラルネットワークに入力される。
【００１９】
通常、次のような方法を用いて、収集された語音データに対して処理を行い。ラベル付き語音データを、フレーム長が25msであり且つフレームシフトが10msである信号に分割し、そして、13次元のメル周波数ケプストラム係数（MFCCs）を抽出して該係数の１階差分及び２階差分と接続させてトータルで39次元の特徴を形成し、また、上下文（context）の計39フレーム（左の25フレーム及び右の13フレーム）とジョイントして最終的な特徴としてトータルで1521次元（39*39）の特徴を形成する。
【００２０】
なお、当業者が理解すべきは、語音データに対しての処理は、この分野における他の周知の方法を採用しても良い。ここでは、便宜のため、その詳しい説明を省略する。
【００２１】
そのうち、スピーカーの補助情報は、スピーカーの言語種類、音素列、発声チャネル、情感、年齢、生活領域及び性別のうちの１つ又は複数を含んでも良い。
【００２２】
最後に、ステップS1046では、ディープラーニングを行い、前記ニューラルネットワークに基づく声紋抽出器を得る。
【００２３】
本発明では、２種類のニューラルネットワーク、即ち、階層型ニューラルネットワーク（hierarchical  neural  network）及びフラットニューラルネットワーク（flat  neural  network）をそれぞれ採用してディープラーニングを行う。図3Aは、声紋を抽出するための階層型ニューラルネットワークを示しており、図3Bは、声紋を抽出するためのフラットニューラルネットワークを示している。この２種類のニューラルネットワークの相違点は、グループラベルを何処に置くかにある。図3Aに示すように、階層型ニューラルネットワークの場合、異なるグループラベルをニューラルネットワークの異なる層にそれぞれ置いてディープラーニングを行うことで、声紋を抽出するための階層型ネットワーク抽出器を得ることができる。また、図3Bに示すように、フラットニューラルネットワークの場合、全てのグループラベルをニューラルネットワークの出力層に置いてディープラーニングを行うことで、声紋を抽出するためのフラットネットワーク抽出器を得ることができる。
【００２４】
２種類のニューラルネットワークの入力は、ステップS1044で得られた39*39の語音特徴であり、出力ニューロン（ノード）は、若干個（複数）のブロックに分割され、各ブロックは、スピーカーの１種類の情報に関し、例えば、第一ブロックは、スピーカーのIDに関し、第二ブロックは、年齢に関する。各ブロックのニューロンの数量は、スピーカーの数量、年齢層、性別の種類、言語種類の数量、テキストの類別、発声チャネルの種類（移動電話、固定電話など）、情感の類別などである。出力されたラベルは、ワン・ホット（one-hot）ベクトルであり、そのうち、ゼロでない要素は、スピーカーの身分、性別、年齢などに対応する。
【００２５】
ステップS104（トレーニングにより予め得られたニューラルネットワークに基づく声紋抽出器を用いて、未知語音中の声紋を抽出するステップ）は、具体的に、前記階層型ネットワーク抽出器及び前記フラットネットワーク抽出器をそれぞれ利用して、未知語音中の声紋を抽出し、そして、前記階層型ネットワーク抽出器により抽出された声紋と、前記フラットネットワーク抽出器により抽出された声紋とを繋ぎ合わせて、抽出された未知語音中の声紋とすることを含む。
【００２６】
好ましくは、階層型ニューラルネットワークでは、グループラベルに含まれる情報が簡単であればあるほど、該グループラベルのニューラルネットワークにおける位置が前の方にある。
【００２７】
例えば、性別に関するニューロンの数量が2の場合、性別ラベルを階層型ニューラルネットワーク中の前の方の層に置き、音素列や情感などに含まれるニューロンの数量が比較的多い場合、それらを階層型ニューラルネットワーク中の後の方の層に置く。
【００２８】
一例では、ランダム勾配降下法（random  gradient  descent）により、上述の２種類のニューラルネットワークに対してディープラーニングを行うことができる。ランダム勾配降下法は、以下の公式を用いてニューラルネットワークの重みを計算することができる。
【数１】
2018112740.tif 000003
【００２９】
そのうち、wtは、重みであり、
【数２】
2018112740.tif 000004
であり、εt′は、学習率であり、▽f(wt)は、損失関数fの勾配であり、a0=1であり、
【数３】
2018112740.tif 000005
である。
【００３０】
この公式を用いてニューラルネットワークの重みを計算することで、ランダム勾配下降の収斂（convergence）速度をより速くさせることができる。
【００３１】
次に、ステップS106では、抽出された声紋と、予め記憶された声紋とを繋ぎ合わせることで、繋ぎ合わせられた声紋を取得する。
【００３２】
身分確認を要する装置では、通常、予め該装置の許可ユーザ（valid  user）の声紋が記憶されている。身分確認を行う時に、抽出された未知語音中の声紋と、予め記憶された声紋とを繋ぎ合わせた後に、次のような判断を行う。
【００３３】
即ち、最後に、ステップS108では、予めトレーニングされた分類モデルを利用して、繋ぎ合わせられた声紋に対して判断を行い、抽出された声紋と、予め記憶された声紋とが同じ人からのものであるかを確認する。
【００３４】
具体的には、２種類のケースにそれぞれ対応するように、２つの混合ガウスモデル（Gaussian  mixture  model／GMM）をトレーニングすることができる。１つの混合ガウスモデルは、２つの声紋が同じ人に属するケースに対応し、もう１つの混合ガウスモデルは、２つの声紋が同じ人に属しないケースに対応する。
【００３５】
判断を行うときに、繋ぎ合わせられた声紋の、第一混合ガウスモデル上での第一確率及び第二混合ガウスモデル上での第二確率をそれぞれ計算する。第一確率が第二確率よりも大きい場合、抽出された声紋及び予め記憶された声紋が同じ人に由来すると確定し、そうでない場合、異なる人からものであると確定する。
【００３６】
また、さらに判別モデルを用いて、抽出された声紋及び予め記憶された声紋が同じ人からのものであるかを判断することもできる。例えば、サポートベクターマシン（support  vector  machine／SVM）、ニューラルネットワークなどを用いて境界面を形成することで、声紋が同じ人に由来するかどうかを区分することができる。
【００３７】
本発明のトレーニング方法で得られたニューラルネットワークに基づく声紋抽出器により抽出された語音中の声紋は、スピーカーの補助情報を含む。
【００３８】
本発明は、次のような利点を有し、即ち、
1）従来技術に比べ、比較的短い(例えば、3-5秒)語音からスピーカーの声紋を抽出することができ；
2）声紋を抽出するための２種類のニューラルネットワーク（１つは、階層型ニューラルネットワークであり、もう１つは、フラットニューラルネットワークである）を設計することで、スピーカーのホログラフィック声紋を抽出することができ、これにより、本発明による身分確認方法をよりロバストにさせることができ；
3）新しいニューラルネットワークのトレーニングアルゴリズムを採用することにより、収斂速度を加速することができ；及び
4）２種類の声紋確認方法を提案しているという利点を有する。
【００３９】
＜2．声紋に基づく身分確認装置＞
図4は、本発明の他の実施例の声紋に基づく身分確認装置400の例示的なブロック図である。
【００４０】
図4に示すように、声紋に基づく身分確認装置400は、語音受信ユニット402、声紋抽出ユニット404、声紋繋ぎ合わせユニット406及び身分確認ユニット408を含む。
【００４１】
そのうち、語音受信ユニット402は、未知語音を受信し；声紋抽出ユニット404は、声紋抽出器トレーニング装置のトレーニングにより得られた、ニューラルネットワークに基づく声紋抽出器を用いて、前記未知語音中の声紋を抽出し；声紋繋ぎ合わせユニット406は、抽出された声紋と、予め記憶された声紋とを繋ぎ合わせて、繋ぎ合わせられた声紋を取得し；身分確認ユニット408は、予めトレーニングされた分類モデルを用いて、前記繋ぎ合わせられた声紋に対して判断を行い、抽出された声紋及び予め記憶された声紋が同じ人からのものであるかを判断する。
【００４２】
図5は、声紋抽出器をトレーニングするための声紋抽出器トレーニング装置500の例示的なブロック図である。図5に示すように、声紋抽出器トレーニング装置500は、語音採集ユニット502、ラベル付けユニット504及びトレーニングユニット506を含む。
【００４３】
そのうち、語音採集ユニット502は、異なるスピーカー（話す人）からの語音を採集し；ラベル付けユニット504は、スピーカーの補助情報をニューラルネットワークのグループラベルとしてラベル付けを行い、ラベル付き語音をトレーニングサンプルとしてニューラルネットワークに入力し；トレーニングユニット506は、ディープラーニングを行うことで、前記ニューラルネットワークに基づく声紋抽出器を得る。
【００４４】
そのうち、前記スピーカーの補助情報は、スピーカーの言語種類、音素列、発声チャネル、情感、年齢、生活領域及び性別のうちの１つ又は複数を含む。
【００４５】
そのうち、トレーニングユニットは、さらに、階層型ニューラルネットワークにより、異なるグループラベルを異なる層にそれぞれ置いてディープラーニングを行うことで、階層型ネットワーク抽出器を取得し；また、フラットニューラルネットワークにより、全でのグループラベルを出力層に置いてディープラーニングを行うことで、フラットネットワーク抽出器を取得する。
【００４６】
そのうち、声紋抽出ユニットは、さらに、前記階層型ネットワーク抽出器及び前記フラットネットワーク抽出器をそれぞれ用いて、前記未知語音中の声紋を抽出し；また、前記階層型ネットワーク抽出器により抽出された声紋と、前記フラットネットワーク抽出器により抽出された声紋とを繋ぎ合わせて、抽出された前記未知語音中の声紋とする。
【００４７】
そのうち、前記グループラベルに含まれる情報が簡単であればあるほど、該グループラベルの階層型ニューラルネットワーク中での位置が前の方にある。
【００４８】
ディープラーニングは、ランダム勾配降下法により行われても良い。前記ランダム勾配方法は、以下の公式を用いて、ニューラルネットワークの重みを計算することができる。
【数４】
2018112740.tif 000006
【００４９】
そのうち、wtは、重みであり、
【数５】
2018112740.tif 000007
であり、εt′は、学習率であり、▽f(wt)は、損失関数fの勾配であり、a0=1であり、
【数６】
2018112740.tif 000008
である。
【００５０】
そのうち、身分確認ユニットは、さらに、第一混合ガウスモデル及び第二混合ガウスモデルをトレーニングし、そのうち、前記第一混合ガウスモデルは、２つの声紋が同じ人に属するケースに対応し、前記第二混合ガウスモデルは、２つの声紋が同じ人に属しないケースに対応し；前記繋ぎ合わせられた声紋の、前記第一混合ガウスモデル上での第一確率及前記第二混合ガウスモデル上での第二確率をそれぞれ計算し；そして、前記第一確率が前記第二確率よりも大きい場合、抽出された声紋及び予め記憶された声紋が同じ人に由来すると確定し、そうでない場合、異なる人からのものであると確定する。
【００５１】
そのうち、抽出された未知語音中の声紋は、前記スピーカーの補助情報を含む。
【００５２】
声紋に基づく身分確認装置400及び声紋抽出器トレーニング装置500の各ユニットの処理及び機能の細部については、図1-図3をもとに説明された、本発明の声紋に基づく身分確認方法の実施例を参照することができるため、ここでは、その詳しい記載を省略する。
【００５３】
なお、図4-図5に示す声紋に基づく身分確認装置400及び声紋抽出器トレーニング装置500並びにそれらの構成ユニットは、例示に過ぎず、当業者は、ニーズに応じて、図4-図5に示す構成に対して変更などを行っても良い。
【００５４】
本発明の実施例の声紋に基づく身分確認方法及び装置により、比較的短い(例えば、3-5秒)語音からスピーカーのホログラフィック声紋を抽出することができ、これにより、本発明の身分確認方法をよりロバストにさせることができる。
【００５５】
＜3．実施例による方法及び装置を実現し得る計算装置＞
以上では、具体的な実施例に基づいて本発明の基本原理を説明したが、当業者が理解すべきは、本発明による方法及び装置の全て又は任意のステップ又は部品は、任意の計算装置（処理器、記憶媒体などを含む）又は計算装置のネットワークで、ハードウェア、ファームウェア、ソフトウェア又はその組み合わせの形式で実現することができる。これは、当業者が本発明の説明を読んだ上で彼らの基本スキルを用いることで実現することができる。
【００５６】
よって、本発明の目的は、さらに、任意の計算装置上で１つのプログラム又は一組のプログラムを実行することで実現され得る。前記計算装置は、周知の汎用装置であっても良い。よって、本発明の目的は、前記方法又は装置を実現し得るプログラムコードのみを含むプログラムプロダクトにより実現することもできる。言い換えると、このようなプログラムプロダクトは、本発明の実施例を構成し、また、このようなプログラムプロダクトを記憶している記憶媒体も本発明の実施例を構成する。もちろん、前記記憶媒体は、周知の任意の記憶媒体又は将来開発される任意の記憶媒体であっても良い。
【００５７】
ソフトウェア及び／又はファームウェアにより本発明の実施例を実現する場合、記憶媒体又はネットワークから、専用ハードウェア構造を持つコンピュータ、例えば、図6に示すような汎用の計算装置600に該ソフトウェアを構成するプログラムをインストールし、該コンピュータは、各種のプログラムがインストールされているときに、各種の機能などを実行することができる。
【００５８】
図6は、実施例による方法及び装置を実施し得る計算装置600の構成図である。計算装置600は、例えば、コンピュータシステムなどの汎用の計算装置であっても良い。なお、計算装置600は、例示に過ぎず、実施例による方法及び装置の使用範囲又は機能を限定するものでない。
【００５９】
図6に示すように、中央処理ユニット（ＣＰＵ）601は、リードオンリーメモリ（ＲＯＭ）602に記憶されているプログラム、又は、記憶部608からランダムアクセスメモリ（ＲＡＭ）603にロードされているプログラムに基づいて各種の処理を行うことができる。ＲＡＭ603は、ニーズに応じて、ＣＰＵ601が各種の処理などを実行するときに必要なデータを記憶しても良い。ＣＰＵ601、ＲＯＭ602及びＲＡＭ603は、バス604を経由して互いに接続される。また、入力／出力インターフェース605もバス604に接続される。
【００６０】
入力／出力インターフェース605には、入力部606（キーボードやマウスなどを含む）、出力部607（表示器、例えばＣＲＴ、ＬＣＤ、スピーカーなどを含む）、記憶部608（ハードディスクなどを含む）及び通信部609（ネットワーク接続カード、例えばＬＡＮカード、モデムなどを含む）が接続される。通信部609は、ネットワーク、例えばインターネットを経由して通信処理を行う。また、ドライブ610は、ニーズに応じて入力／出力インターフェース605に接続されても良い。また、ニーズに応じて、取り外し可能な媒体611、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどをドライブ610にセットすることにより、その中から読み出したコンピュータプログラムを記憶部608にインストールしても良い。
【００６１】
ソフトウェアにより上述の処理を実現する場合は、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体611から、このソフトウェアを構成するプログラムをインストールしても良い。
【００６２】
なお、当業者が理解すべきは、このような記憶媒体は、その中にプログラムが記憶されており、ユーザにプログラムを提供するように装置と独立して配られる図6に示すような取り外し可能な媒体611に限定されない。取り外し可能な媒体611の例としては、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体メモリを含む。或いは、記憶媒体は、ＲＯＭ602、記憶部608に含まれるハードディスクなどであってもよく、それらにプログラムが記憶されており、且つそれらを含む装置とともにユーザに配られても良い。
【００６３】
また、本発明は、マシン（例えば、コンピュータ）読み取り可能な命令コードからなるプログラムプロダクトにも関する。この命令コードは、マシンに読み取られて実行されるときに、上述の実施例による方法を実行することができる。
【００６４】
さらに、上述のマシン読取可能な命令コードからなるプログラムプロダクトを記憶している記憶媒体も本発明に含まれている。このような記憶媒体は、磁気ディスク（フロッピーディスク）、光ディスク、光磁気ディスク、メモリカード、メモリスティックなどを含むが、これらに限定されない。
【００６５】
本発明の上述の実施例による方法は、明細書に記載の又は図面に図示の順序に従って実行することに限定されず、他の順序に従って、並列に又は独立して実行しても良い。よって、本明細書又は図面に記載の方法の実行順序は、本発明の技術的範囲を限定しない。
【００６６】
また、もちろん、本発明の上述の方法の各処理プロセスは、各種のマシン可読記憶媒体に保存されたコンピュータ実行可能なプログラムの方式により実現されても良い。
【００６７】
また、本発明の目的は、上述の実行可能なプログラムコードを記憶している記憶媒体を直接又は間接にシステム又は装置に提供し、該システム又は装置中のコンピュータ又は中央処理ユニット（CPU）が上述のプログラムコードを読み出して実行させる方式で実現されても良い。
【００６８】
また、該システム又は装置はプログラムを実行する機能を有すれば、本発明の実施方式はプログラムに限定されず、また、該プログラムは他の任意の形式、例えば、オブジェクトプログラム、インタープリター実行用プログラム、又は、オペレーティングシステム操作システムに提供するスクリプトプログラムなどであっても良い。
【００６９】
上述のマシン可読記憶媒体は、各種の記憶装置及び記憶ユニット、半導体装置、ディスユニット、例えば光、磁気及び光磁気ディス、及び他の任意の使用可能な情報記憶媒体などであっても良い。
【００７０】
また、クライントコンピュータが、インターネットに接続されている所定のウェブサイトを経由して、本発明の上述の実施例によるコンピュータプログラムコードをダウンロードし、コンピュータにインストールした後に、該プログラムを実行することにより、本発明を実現することもできる。
【００７１】
また、以上の複数の実施例に関し、さらに、次のような付記も開示する。
【００７２】
（付記1）
声紋に基づく身分確認方法であって、
未知語音を受信し；
トレーニングにより予め得られた、ニューラルネットワークに基づく声紋抽出器を用いて、前記未知語音中の声紋を抽出し；
抽出された声紋と、予め記憶された声紋とを繋ぎ合わせて、繋ぎ合わせられた声紋を取得し；及び
予めトレーニングされた分類モデルにより、前記繋ぎ合わせられた声紋に対して判断を行い、抽出された声紋及び予め記憶された声紋が同じ人からのものであるかを確認することを含む、方法。
【００７３】
（付記2）
付記1に記載の身分確認方法であって、
以下のステップによりトレーニングを行い、ニューラルネットワークに基づく声紋抽出器を取得し、即ち、
異なるスピーカー（話す人）の語音を採集し；
スピーカーの補助情報をニューラルネットワークのグループラベルとしてラベル付けを行い、ラベル付き語音をトレーニングサンプルとしてニューラルネットワークに入力し；及び
ディープラーニングを行い、前記ニューラルネットワークに基づく声紋抽出器を得るステップである、方法。
【００７４】
（付記3）
付記2に記載の身分確認方法であって、
前記スピーカーの補助情報は、スピーカーの言語種類、音素列、発声チャネル、情感、年齢、生活領域及び性別のうちの１つ又は複数を含む、方法。
【００７５】
（付記4）
付記2に記載の身分確認方法であって、
ディープラーニングを行い、前記ニューラルネットワークに基づく声紋抽出器を得ることは、
階層型ニューラルネットワークを用いて、異なるグループラベルを異なる層にそれぞれ置いてディープラーニングを行い、階層型ネットワーク抽出器を取得し；及び
フラットニューラルネットワークを用いて、全てのグループラベルを出力層に置いてディープラーニングを行い、フラットネットワーク抽出器を得ることを含む、方法。
【００７６】
（付記5）
付記4に記載の身分確認方法であって、
トレーニングにより予め得られた、ニューラルネットワークに基づく声紋抽出器を用いて、前記未知語音中の声紋を抽出するステップは、
前記階層型ネットワーク抽出器及び前記フラットネットワーク抽出器をそれぞれ用いて、前記未知語音中の声紋を抽出し；及び
前記階層型ネットワーク抽出器により抽出された声紋と、前記フラットネットワーク抽出器により抽出された声紋とを繋ぎ合わせて、抽出された前記未知語音中の声紋とすることを含む、方法。
【００７７】
（付記6）
付記4に記載の身分確認方法であって、
前記グループラベルに含まれる情報が簡単であればあるほど、該グループラベルの階層型ニューラルネットワーク中での位置が前の方にある、方法。
【００７８】
（付記7）
付記2に記載の身分確認方法であって、
ランダム勾配降下法を用いて前記ディープラーニングを行い、前記ランダム勾配方法は、以下の公式を用いてニューラルネットワークの重みを計算し、即ち、
【数７】
2018112740.tif 000009
であり、
そのうち、wtは、重みであり、
【数８】
2018112740.tif 000010
であり、εt′は、学習率であり、▽f(wt)は、損失関数fの勾配であり、a0=1であり、
【数９】
2018112740.tif 000011
である、方法。
【００７９】
（付記8）
付記1に記載の身分確認方法であって、
予めトレーニングされた分類モデルを用いて、前記繋ぎ合わせられた声紋に対して判断を行い、抽出された声紋及び予め記憶された声紋が同じ人からのものであるかを確認するステップは、
第一混合ガウスモデル及び第二混合ガウスモデルをトレーニングし、そのうち、前記第一混合ガウスモデルは、２つの声紋が同じ人に属するケースに対応し、前記第二混合ガウスモデルは、２つの声紋が同じ人に属しないケースに対応し；
前記繋ぎ合わせられた声紋の、前記第一混合ガウスモデル上での第一確率及び前記第二混合ガウスモデル上での第二確率をそれぞれ計算し；及び
前記第一確率が前記第二確率よりも大きい場合、抽出された声紋及び予め記憶された声紋が同じ人に由来すると確認し、そうでない場合、異なる人からのものであると確認することを含む、方法。
【００８０】
（付記9）
付記2に記載の身分確認方法であって、
抽出された前記未知語音中の声紋は、前記スピーカーの補助情報を含む、方法。
【００８１】
（付記10）
声紋に基づく身分確認装置であって、
未知語音を受信するための語音受信ユニット；
声紋抽出器トレーニング装置のトレーニングにより予め得られた、ニューラルネットワークに基づく声紋抽出器を用いて、前記未知語音中の声紋を抽出するための声紋抽出ユニット；
抽出された声紋と、予め記憶された声紋とを繋ぎ合わせて、繋ぎ合わせられた声紋を得るための声紋繋ぎ合わせユニット；及び
予めトレーニングされた分類モデルを用いて、前記繋ぎ合わせられた声紋に対して判断を行い、抽出された声紋及び予め記憶された声紋が同じ人からのものであるかを確認するための身分確認ユニットを含む、装置。
【００８２】
（付記11）
付記10に記載の身分確認装置であって、
前記声紋抽出器トレーニング装置は、
異なるスピーカー（話す人）の語音を採集するための語音採集ユニット；
スピーカーの補助情報をニューラルネットワークのグループラベルとしてラベル付けを行い、ラベル付き語音をトレーニングサンプルとしてニューラルネットワークに入力するためのラベル付けユニット；及び
ディープラーニングを行い、前記ニューラルネットワークに基づく声紋抽出器を得るためのトレーニングユニットを含む、装置。
【００８３】
（付記12）
付記11に記載の身分確認装置であって、
前記スピーカーの補助情報は、スピーカーの言語種類、音素列、発声チャネル、情感、年齢、生活領域及び性別のうちの１つ又は複数を含む、装置。
【００８４】
（付記13）
付記11に記載の身分確認装置であって、
前記トレーニングユニットは、さらに、
階層型ニューラルネットワークを用いて、異なるグループラベルを異なる層にそれぞれ置いてディープラーニングを行い、階層型ネットワーク抽出器を取得し；及び
フラットニューラルネットワークを用いて、全てのグループラベルを出力層に置いてディープラーニングを行い、フラットネットワーク抽出器を得るように構成される、装置。
【００８５】
（付記14）
付記13に記載の身分確認装置であって、
前記声紋抽出ユニットは、さらに、
前記階層型ネットワーク抽出器及び前記フラットネットワーク抽出器をそれぞれ利用して前記未知語音中の声紋を抽出し；及び
前記階層型ネットワーク抽出器により抽出された声紋と、前記フラットネットワーク抽出器により抽出された声紋とを繋ぎ合わせて、抽出された前記未知語音中の声紋とするように構成される、装置。
【００８６】
（付記15）
付記13に記載の身分確認装置であって、
前記グループラベルに含まれる情報が簡単であればあるほど、該グループラベルの階層型ニューラルネットワーク中での位置が前の方にある、装置。
【００８７】
（付記16）
付記11に記載の身分確認装置であって、
前記ディープラーニングは、ランダム勾配降下法により行われ、前記ランダム勾配方法は、以下の公式を用いてニューラルネットワークの重みを計算し、即ち、
【数１０】
2018112740.tif 000012
であり、
そのうち、wtは、重みであり、
【数１１】
2018112740.tif 000013
であり、εt′は、学習率であり、▽f(wt)は、損失関数fの勾配であり、a0=1であり、
【数１２】
2018112740.tif 000014
である、装置。
【００８８】
（付記17）
付記10に記載の身分確認装置であって、
前記身分確認ユニットは、さらに、
第一混合ガウスモデル及び第二混合ガウスモデルをトレーニングし、前記第一混合ガウスモデルは、２つの声紋が同じ人に属するケースに対応し、前記第二混合ガウスモデルは、２つの声紋が同じ人に属しないケースに対応し；
前記繋ぎ合わせられた声紋の、前記第一混合ガウスモデル上での第一確率及び前記第二混合ガウスモデル上での第二確率をそれぞれ計算し；及び
前記第一確率が前記第二確率よりも大きい場合、抽出された声紋及び予め記憶された声紋が同じ人に由来すると確認し、そうでない場合、異なる人からのものであると確認するように構成される、装置。
【００８９】
（付記18）
付記11に記載の身分確認装置であって、
抽出された前記未知語音中の声紋は、前記スピーカーの補助情報を含む、装置。
【００９０】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2018112740.tif 000018
【図２】
2018112740.tif 000019
【図３Ａ】
2018112740.tif 000020
【図３Ｂ】
2018112740.tif 000021
【図４】
2018112740.tif 000022
【図５】
2018112740.tif 000023
【図６】
2018112740.tif 000024