(57)【要約】【課題】話者識別において登録される識別対象が多い場合でも、識別にかかる所要時間を短くする。【解決手段】すべての被登録者それぞれの音声特徴データである登録データを、登録データどうしの類似度でクラスタリングされたグループに分類して、被登録者それぞれに付与された識別符号と対応づけて記憶する記憶部１５と、入力された音声データから音声特徴データである照合データを抽出する特徴抽出部１１と、照合データがいずれのグループに分類されるべきかを判定する分類判定部１３と、照合データが分類されるべきグループに分類されている登録データのうち、照合データとの類似度が最も高く、かつ、照合データとの類似度が閾値を超えている登録データに対応づけられた識別符号が付与された被登録者を、照合データの発声者と判定する話者識別部１６と、を備える。【選択図】図１
2020154061.tif 000002
【特許請求の範囲】
【請求項１】
すべての被登録者それぞれの音声特徴データである登録データを、登録データどうしの類似度でクラスタリングされたグループに分類して、前記被登録者それぞれに付与された識別符号と対応づけて記憶する記憶部と、
入力された音声データから音声特徴データである照合データを抽出する特徴抽出部と、
前記照合データがいずれの前記グループに分類されるべきかを判定する分類判定部と、
前記照合データが分類されるべき前記グループに分類されている前記登録データのうち、前記照合データとの類似度が最も高く、かつ、前記照合データとの類似度が閾値を超えている前記登録データに対応づけられた前記識別符号が付与された前記被登録者を、前記照合データの発声者と判定する話者識別部と、
を備える話者識別装置。
【請求項２】
前記記憶部は、前記登録データそれぞれの発声内容を示す、音素列、音節列もしくは文字列を、前記登録データに対応づけて記憶し、
前記話者識別装置は、入力された音声データから、発声内容を示す音素列、音節列もしくは文字列を抽出する音声認識部をさらに備え、
前記話者識別部は、前記照合データが分類されるべき前記グループに分類され、かつ、発声内容が前記照合データの発声内容と同じ前記登録データのうち、前記照合データとの類似度が最も高く、かつ、前記照合データとの類似度が閾値を超えている前記登録データに対応づけられた前記識別符号が付与された前記被登録者を、前記照合データの発声者と判定する、
請求項１に記載の話者識別装置。
【請求項３】
前記分類判定部は、前記クラスタリングで前記グループに分類された前記被登録者の音声特徴データを学習データとして機械学習させた、ニューラルネットワークの学習済みモデルを含む、請求項１または２に記載の話者識別装置。
【請求項４】
入力された音声データから音声特徴データである照合データを抽出する特徴抽出ステップと、
前記照合データが、すべての被登録者それぞれの音声特徴データである登録データを登録データどうしの類似度でクラスタリングしたグループの、いずれのグループに分類されるべきかを判定する分類判定ステップと、
前記登録データを前記クラスタリングされたグループに分類して、前記被登録者それぞれに付与された識別符号と対応づけて記憶されている前記登録データの中の、前記照合データが分類されるべき前記グループに分類されている前記登録データのうち、前記照合データとの類似度が最も高く、かつ、前記照合データとの類似度が閾値を超えている前記登録データに対応づけられた前記識別符号が付与された前記被登録者を、前記照合データの発声者と判定する話者識別ステップと、
を備える話者識別方法。
【請求項５】
コンピュータを、
すべての被登録者それぞれの音声特徴データである登録データを、登録データどうしの類似度でクラスタリングされたグループに分類して、前記被登録者それぞれに付与された識別符号と対応づけて記憶する記憶部、
入力された音声データから識別すべき音声特徴データである照合データを抽出する特徴抽出部、
前記照合データがいずれの前記グループに分類されるべきかを判定する分類判定部、および
前記照合データが分類されるべき前記グループに分類されている前記登録データのうち、前記照合データとの類似度が最も高く、かつ、前記照合データとの類似度が閾値を超えている前記登録データの前記識別符号に対応する前記被登録者を、前記照合データの発声者と判定する話者識別部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者の音声データと登録されている音声データとを照合して話者を識別する、話者識別装置、話者識別方法およびプログラムに関する。
【背景技術】
【０００２】
個人を認証する方法として、話者から発声された音声と登録されている音声とを照合して、話者を認証する音声認証技術が実用化されている。たとえば、特許文献１および特許文献２には音声による個人認証システムが記載されている。
【０００３】
特許文献１の個人認証システムは、コンピュータを用いて入力された音声によって個人を特定する個人認証システムにおいて、（１）認証の対象となる言葉を音声で入力し、当該入力音声を音声分析して認証用符号化音声データを作成する手段、（２）前記認証用符号化音声データを、音響モデル、言語モデルおよび単語辞書を用いて音声認識分析によって言葉を抽出して、言葉で分類された前記声紋データベースの中から該言葉に対応するデータのみを抜き出して、認識用符号化音声データと声紋照合する手段、を備える。
【０００４】
特許文献２の個人認証システムは、被認証者に音声入力させ個人を特定する個人認証システムにおいて、（１）予めボイスプリントデータベースに登録されている認証の対象となる複数の単語と認証の対象とならない単語を含む複数の単語を被認証者に提示し、（２）被認証者が音声入力した音声データを取り込み、前記認証対象の単語に対して認証処理を行うと共に、前記認証の対象とならない単語を前記ボイスプリントデータベースに登録する手段、を備える。
【０００５】
特許文献３には、話者の判定精度を向上する技術が記載されている。特許文献３の話者判定装置は、音声信号の音声区間を所定時間長に分割してなる各分割音声区間の話者特徴量と、窓口担当者毎に予め生成された話者特徴量との類似度を算出する類似度算出部と、類似度から、各分割音声区間の話者ＩＤを表す一次判定情報を生成する話者一次判定部と、任意の分割音声区間の前または後の所定数の分割音声区間において最も当てはまる話者である近傍話者の話者特徴量と、任意の分割音声区間の話者特徴量との類似度が所定の条件を充たす場合に、近傍話者の話者ＩＤを任意の分割音声区間の二次判定情報とすることにより、二次判定情報を生成する話者二次判定部と、顧客であることを示す二次判定情報と対応する分割音声区間の話者特徴量、すなわち顧客話者特徴量の集合をクラスタリングして顧客の話者ＩＤを生成し、三次判定情報を生成する話者クラスタリング部を含む。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−３２３１９７号公報
【特許文献２】特開２００３−３０２９９９号公報
【特許文献３】特開２０１９−８１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
音声による個人の認証では、特許文献３の話者判定装置のように、基本的に全ての登録音声と照合音声を比較して個人を特定していた。登録されている話者の対象が多くなるにつれ、類似度を判定する登録数に比例して結果を得るまでの時間がかかる。特許文献１の個人認証システムでは、発声された言葉に対応するデータのみと比較するが、同じ言葉の登録データが多くなれば、同じ問題が生じる。
【０００８】
特許文献２の個人認証システムでは、被認証者のＩＤがクレジットカードなどで特定されていて、パスワードに代えて音声認証を用いることが前提であり、類似度を判定する登録データはＩＤで限定されている。被認証者のＩＤを含めて音声で話者識別する場合には、すべての登録データと比較する必要がある。
【０００９】
本発明は上述の事情に鑑みてなされたもので、話者識別において登録される識別対象が多い場合でも、識別にかかる所要時間を短くすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の観点に係る話者識別装置は、すべての被登録者それぞれの音声特徴データである登録データを、登録データどうしの類似度でクラスタリングされたグループに分類して、前記被登録者それぞれに付与された識別符号と対応づけて記憶する記憶部と、入力された音声データから音声特徴データである照合データを抽出する特徴抽出部と、前記照合データがいずれの前記グループに分類されるべきかを判定する分類判定部と、前記照合データが分類されるべき前記グループに分類されている前記登録データのうち、前記照合データとの類似度が最も高く、かつ、前記照合データとの類似度が閾値を超えている前記登録データに対応づけられた前記識別符号が付与された前記被登録者を、前記照合データの発声者と判定する話者識別部と、を備える。
【００１１】
本発明によれば、登録データを予めクラスタリングしたグループのいずれに、照合データが分類されるべきかを判定し、その分類されるべきグループに類似度判定対象の登録データを限定するので、登録データすべてと比較する場合よりも、識別にかかる所要時間を短くすることができる。
【００１２】
好ましくは、前記記憶部は、前記登録データそれぞれの発声内容を示す、音素列、音節列もしくは文字列を、前記登録データに対応づけて記憶し、前記話者識別装置は、入力された音声データから、発声内容を示す音素列、音節列もしくは文字列を抽出する音声認識部をさらに備え、前記話者識別部は、前記照合データが分類されるべき前記グループに分類され、かつ、発声内容が前記照合データの発声内容と同じ前記登録データのうち、前記照合データとの類似度が最も高く、かつ、前記照合データとの類似度が閾値を超えている前記登録データに対応づけられた前記識別符号が付与された前記被登録者を、前記照合データの発声者と判定する。
【００１３】
その場合、照合データが分類されるべきグループの中で、照合データと発声内容が同じである登録データに比較対象が限定されるので、さらに識別にかかる所要時間を短くすることができる。その上、発声内容が同じである登録データに限って比較するので、誤認識する可能性をより小さくできる。
【００１４】
好ましくは、前記分類判定部は、前記クラスタリングで前記グループに分類された前記被登録者の音声特徴データを学習データとして機械学習させた、ニューラルネットワークの学習済みモデルを含む。
【００１５】
ニューラルネットワークの学習済みモデルで分類を判定する場合、登録データが分類されるグループの数が増加しても、識別にかかる所要時間が増加するのを抑制することができる。
【００１６】
本発明の第２の観点に係る話者識別方法は、入力された音声データから音声特徴データである照合データを抽出する特徴抽出ステップと、前記照合データが、すべての被登録者それぞれの音声特徴データである登録データを登録データどうしの類似度でクラスタリングしたグループの、いずれのグループに分類されるべきかを判定する分類判定ステップと、前記登録データを前記クラスタリングされたグループに分類して、前記被登録者それぞれに付与された識別符号と対応づけて記憶されている前記登録データの中の、前記照合データが分類されるべき前記グループに分類されている前記登録データのうち、前記照合データとの類似度が最も高く、かつ、前記照合データとの類似度が閾値を超えている前記登録データに対応づけられた前記識別符号が付与された前記被登録者を、前記照合データの発声者と判定する話者識別ステップと、を備える。
【００１７】
本発明の第３の観点に係るプログラムは、コンピュータを、すべての被登録者それぞれの音声特徴データである登録データを、登録データどうしの類似度でクラスタリングされたグループに分類して、前記被登録者それぞれに付与された識別符号と対応づけて記憶する記憶部、入力された音声データから識別すべき音声特徴データである照合データを抽出する特徴抽出部、前記照合データがいずれの前記グループに分類されるべきかを判定する分類判定部、および、前記照合データが分類されるべき前記グループに分類されている前記登録データのうち、前記照合データとの類似度が最も高く、かつ、前記照合データとの類似度が閾値を超えている前記登録データの前記識別符号に対応する前記被登録者を、前記照合データの発声者と判定する話者識別部、として機能させる。
【発明の効果】
【００１８】
本発明によれば、話者識別において登録される識別対象が多い場合でも、識別にかかる所要時間を短くできる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係る話者識別装置の構成を示すブロック図
【図２】実施の形態に係る音声登録装置の構成を示すブロック図
【図３】実施の形態に係る声特徴データベースの例を示す図
【図４】実施の形態に係る分類判定部のニューラルネットワークの例を示す図
【図５】実施の形態に係る話者識別の動作の例を示すフローチャート
【図６】実施の形態の変形例に係る話者識別装置のブロック図
【図７】変形例に係る話者識別の動作の例を示すフローチャート
【図８】実施の形態に係る話者識別装置のハードウェア構成の一例を示すブロック図
【発明を実施するための形態】
【００２０】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。
【００２１】
実施の形態．
図１は、本発明の実施の形態に係る話者識別装置の構成を示すブロック図である。話者識別装置１は、マイク２１から入力された音声から抽出した音声特徴データである照合データと、記憶部１５に記憶されている音声特徴データである登録データとを比較して、発声者が被登録者のいずれであるかを識別する。話者識別装置１は、音声入力部１０、特徴抽出部１１、音声認識部１２、分類判定部１３、データ抽出部１４、記憶部１５、および、話者識別部１６を備える。登録データは、登録データどうしの類似度でクラスタリングされたグループに分類され、被登録者それぞれに付与された識別符号と対応づけられた声特徴データベースとして、記憶部１５に記憶されている。登録データには、それぞれの発声内容を示す、音素列、音節列もしくは文字列が対応づけられている。
【００２２】
（音声登録）
話者識別装置１の記憶部１５には、話者識別に先立って、事前に音声登録装置により被登録者の音声特徴データである登録データが記憶されている。図２は、実施の形態に係る音声登録装置の構成を示すブロック図である。音声登録装置２は、音声入力部１０、特徴抽出部１１、音声認識部１２、クラスタリング部１７、入力部１８、データ登録部１９、および記憶部１５を備える。音声登録装置２には、話者識別装置１と同じ装置を共通して用いてもよい。音声入力部１０、特徴抽出部１１、音声認識部１２および記憶部１５は、話者識別装置１と音声登録装置２とで同じものであり、話者識別装置１と音声登録装置２が同じ装置の場合、それらは共通である。
【００２３】
音声入力部１０は、被登録者によってマイク２１から入力された音声信号を、所定の周波数でサンプリングし、Ａ−Ｄ変換して音声データを生成する。音声入力部１０は、音声データを特徴抽出部１１と音声認識部１２に送る。
【００２４】
特徴抽出部１１は、音声データから、音声特徴データである登録データを抽出する。音声特徴データは、例えば、ＧＭＭスーパベクトル（Gaussian Mixture Model Supervector）、ｉ−ｖｅｃｔｏｒ、またはテンソル分解に基づく話者情報表現である。
【００２５】
ＧＭＭスーパベクトル（GMM Supervector：ＧＭＭ−ＳＶ）は、音声を混合ガウス分布（Gaussian Mixture Model：ＧＭＭ）によってモデル化し、ＧＭＭを構成する各ガウス分布の平均ベクトルを一列に連結した特徴量である。ＧＭＭは、複数のガウス分布の重み付き線形和で表される確率分布である（W. M. Campbell, D. E. Sturim, and D. A. Reynoldes, "Support Vector Machines using GMM Supervectors for Speaker Verification," IEEE Signal Processing Letters, vol. 13, pp. 308-311, 2006.）。
【００２６】
ｉ−ｖｅｃｔｏｒは、ＧＭＭスーパベクトル（GMM Supervector：ＧＭＭ−ＳＶ）を因子分析に基づき次元圧縮することによって得られる特徴量である。一発話から抽出されたＧＭＭ−ＳＶであるＭは、話者と言語に依存しないユニバーサルバックグラウンドモデル（Universal Background Model：ＵＢＭ）のＧＭＭ−ＳＶであるｍと、発話内容、話者・収録環境の変化による音声のばらつきをモデル化した低次元空間への射影行列Ｔを用いて、Ｍ＝ｍ＋Ｔｗと分解される。このｗがｉ−ｖｅｃｔｏｒである（N. Dehak, P. J. Kenny, R. Dehak, P. Dumouchel, and P. Ouellet, "Front-End Factor Analysis for Speaker Verification," IEEE Transactions on Audio, Speech, and Language Processing, vol. 19, no. 4, pp. 788-798, 2011.）。
【００２７】
テンソル分解に基づく話者情報表現は、ｉ−ｖｅｃｔｏｒのアプローチを拡張したテンソル分解に基づく話者情報表現である。行および列がそれぞれＧＭＭの各分布と平均ベクトルに対応するような行列によって一発話を表現し、多数話者分の行列をテンソルとして扱い、テンソル解析を導入することで話者情報を表現する（チン・トゥアン・トゥー、斎藤大輔、峯松信明、広瀬啓吉、“テンソル分解に基づく話者情報表現を用いた話者識別の検討、”  日本音響学会春季講演論文集、pp. 217-220, 2005.）。
【００２８】
ここでは、音声特徴データとしてｉ−ｖｅｃｔｏｒを用いる場合を例に説明する。特徴抽出部１１は、抽出したｉ−ｖｅｃｔｏｒである登録データを、クラスタリング部１７およびデータ登録部１９に送る。
【００２９】
音声認識部１２は、音声データから音声特徴を抽出し、その音声特徴に最も近くなるような発話内容を探索し、発声内容を示す音素列、音節列もしくは文字列を抽出する。音声認識部１２は、得られた音素列、音節列もしくは文字列をデータ登録部１９に送る。
【００３０】
入力部１８は、マイク２１から音声を入力した被登録者を識別するための、識別符号の入力を受け付け、入力された識別符号をデータ登録部１９に送る。入力部１８は、例えば、キーボード、マウスもしくはタッチパネルなどのポインティングデバイスとディスプレイ、ＩＣカードリーダ、バーコードリーダ、または二次元コードリーダを備える。識別符号は、キーボード操作、ポインティングデバイスによる選択、あるいは、ＩＣカード、バーコードもしくは二次元コードで入力されるコードである。入力部１８は、指紋、光彩、指もしくは手の静脈などの生体情報を読み取って、事前に登録されている生体情報と照合して、参照した被登録者の識別符号をデータ登録部１９に送ってもよい。
【００３１】
データ登録部１９は、特徴抽出部１１から送られた音声特徴データである登録データと、入力部１８から送られた被登録者の識別符号と、音声認識部１２から送られた音素列、音節列もしくは文字列とを対応付けて、記憶部１５に記憶させる。
【００３２】
すべての被登録者の音声特徴データを記憶部１５に記憶させたのち、クラスタリング部１７は、すべての被登録者それぞれの音声特徴データである登録データを、登録データどうしの類似度でクラスタリングしてグループに分類する。類似度は、例えば、コサイン類似度または対数尤度比である。クラスタリングには、例えば、ｋ−ｍｅａｎｓ＋＋法、ｋ−ｍｅａｎｓ法、またはウォード法を用いることができる。
【００３３】
クラスタリング部１７は、登録データそれぞれが分類されるグループの番号を、データ登録部１９に送る。データ登録部１９は、登録データそれぞれに、割り当てられたグループ番号を対応づけて記憶部１５に記憶させる。すなわち、登録データは、登録データどうしの類似度でクラスタリングされたグループに分類されて、被登録者それぞれに付与された識別符号および登録データの発声内容と対応づけて記憶される。
【００３４】
図３は、実施の形態に係る声特徴データベースの例を示す図である。声特徴データベースは、記憶部１５に記憶されている。声特徴データベースのレコードは、登録者ＩＤ、グループＩＤ、発声内容および音声特徴データから構成される。登録者ＩＤは、被登録者の識別符号である。グループＩＤは、登録データそれぞれが分類されるグループの番号である。発声内容は、登録データの発声内容である音素列、音節列もしくは文字列である。音声特徴データの欄は、音声特徴データそのものであってもよいし、音声特徴データが記憶されているファイルなどへのポインタであってもよい。
【００３５】
声特徴データベースには、異なる登録者ＩＤで発声内容が同じ登録データがあってもよい。また、登録者ＩＤが共通する同じ被登録者で、発声内容が異なる複数の登録データがあってもよい。登録者ＩＤが共通する登録データは、通常、グループＩＤも共通する。
【００３６】
話者識別装置１と音声登録装置２が異なる装置の場合、音声登録装置２は、すべての被登録者の登録データがグループに分類されて、被登録者それぞれの識別符号および発声内容と対応づけて記憶部１５に記憶された声特徴データベースを、話者識別装置１に転送する。話者識別装置１と音声登録装置２が共通の装置の場合は、音声登録装置２の記憶部１５がそのまま、話者識別装置１の記憶部１５として使用される。音声登録装置２と話者識別装置１とで共通の記憶部１５にアクセスできるようにしてもよい。以上で、音声登録を完了する。
【００３７】
（話者識別）
図１に示す話者識別装置１は、マイク２１から入力された音声から抽出した音声特徴データである照合データと、音声登録装置２で作成された記憶部１５に記憶されている音声特徴データである登録データとを比較して、発声者が被登録者のいずれであるかを識別する。話者識別装置１の音声入力部１０、特徴抽出部１１、音声認識部１２および記憶部１５に記憶されている声特徴データベースは、音声登録装置２のものと同じである。
【００３８】
音声入力部１０は、被識別対象者である話者によってマイク２１から入力された音声信号を、所定の周波数でサンプリングし、Ａ−Ｄ変換して音声データを生成する。音声入力部１０は、音声データを特徴抽出部１１と音声認識部１２に送る。
【００３９】
特徴抽出部１１は、音声データから、被識別対象者の音声特徴データである照合データを抽出する。音声特徴データは、例えば、ＧＭＭ（Gaussian Mixture Model）スーパベクトル、ｉ−ｖｅｃｔｏｒ、またはテンソル分解に基づく話者情報表現である。照合データの音声特徴データの種類は、登録データの音声特徴データの種類と同じである。すなわち、登録データが例えばｉ−ｖｅｃｔｏｒの場合、照合データはｉ−ｖｅｃｔｏｒである。
【００４０】
ここでは、音声特徴データとしてｉ−ｖｅｃｔｏｒを用いる場合を例に説明する。特徴抽出部１１は、抽出したｉ−ｖｅｃｔｏｒである照合データを、分類判定部１３に送る。
【００４１】
分類判定部１３では、照合データが、記憶部１５に記憶されている音声特徴データである登録データを登録データどうしの類似度でクラスタリングしたグループの、いずれのグループに分類されるべきかを判定する。登録データは、音声登録装置２によってあらかじめ登録データどうしの類似度でクラスタリングしたグループに分類されている。類似度は、例えば、コサイン類似度または対数尤度比である。
【００４２】
分類判定には、例えば、グループに分類された登録データを学習データとして、機械学習させた人工ニューラルネットワーク（以下、単にニューラルネットワークという）を用いることができる。分類判定部１３は、各グループのセントロイドのベクトルと照合データを比較して、最も類似度が大きいセントロイドのグループを、照合データが分類されるべきグループと判定してもよい。分類判定部１３は、照合データが分類されるべき、すなわち照合データが属する最も確からしい、グループの番号をデータ抽出部１４に送る。
【００４３】
図４は、実施の形態に係る分類判定部のニューラルネットワークの例を示す図である。ニューラルネットワークは、それぞれ人工ニューロン（以下、単にニューロンという）から構成されるノードを含む入力層、中間層および出力層、ならびに、互いに隣接する層の間でノードを相互に接続するエッジから構成される。中間層は、１層以上のｎ層を含む。入力層の各ノードｉ（ｉ＝１．．．ｋ）には、音声特徴データのそれぞれの要素ｘｉが入力される。中間層では、それぞれ前の層の出力が結合され活性化関数で演算された結果が後の層に伝達されて、最終的に出力層に出力される。出力層は、登録データがクラスタリングされたグループの数のノードを有し、ノードｊ（ｊ＝１．．．Ｍ）はそれぞれ、照合データがそのグループｊに分類される確率ｙｊを出力する。
【００４４】
ニューラルネットワークには、グループに分類された登録データを入力し、登録データが分類されているグループと、ニューラルネットワークの出力との差をバックプロパゲーションして各パラメータを調整することで、機械学習させておく。
【００４５】
分類判定部１３は、ニューラルネットワークの学習済みモデルに照合データを入力し、出力層の出力が最も大きいノードの番号、すなわち最も確からしいグループの番号を、照合データが分類されるべきグループの番号とする。分類判定部１３は、照合データが分類されるべきグループの番号をデータ抽出部１４に送る。
【００４６】
ニューラルネットワークで照合データの分類を判定する場合、判定の演算量は入力層のノード数と中間層の層数でほぼ決まり、出力層のノード数には比例しない。そのため、各グループのセントロイドとの類似度でグループの分類を判定する方法に比べて、グループの数が増えた場合の演算量は少ない。その結果、グループの数が増加しても、識別にかかる所要時間が増加するのを抑制することができる。
【００４７】
音声認識部１２は、音声データから音声特徴を抽出し、その音声特徴に最も近くなるような発話内容を探索し、発声内容を示す音素列、音節列もしくは文字列を抽出する。音声認識部１２は、得られた音素列、音節列もしくは文字列をデータ抽出部１４に送る。
【００４８】
データ抽出部１４は、分類判定部１３から送られた番号のグループに属する登録データのうち、音声認識部１２から送られた発声内容と同じ発声内容の登録データを、記憶部１５から読み出して、話者識別部１６に送る。
【００４９】
話者識別部１６は、データ抽出部１４から送られた登録データのそれぞれと、照合データとを比較し、最も高い類似度が定めた閾値を超えている場合に、その最も高い類似度の登録データの被登録者を、話者である被識別対象者と判定する。すなわち、照合データが分類されるべきグループに分類され、かつ、発声内容が照合データの発声内容と同じ登録データのうち、照合データとの類似度が最も高く、かつ、照合データとの類似度が閾値を超えている登録データに対応づけられた識別符号が付与された被登録者を、照合データの発声者と判定する。
【００５０】
登録データと照合データとを比較する類似度の種類は、登録データをクラスタリングしたときの類似度の種類と同じである。例えば、登録データをコサイン類似度でクラスタリングした場合は、コサイン類似度で登録データと照合データとの類似度を算出する。
【００５１】
被識別対象者が被登録者のいずれかであると判定された結果をもって、話者識別装置１に接続されている装置に、その被登録者に許可された動作を行わせることができる。例えば、ドアの解錠、被登録者に固有の情報へのアクセスの許可、または、被登録者に適したＡＩスピーカの応答などを行わせることができる。話者識別装置１は、例えば、建物のセキュリティシステム、顧客情報管理装置、または、ＡＩスピーカなどに組み込まれていてもよい。
【００５２】
図５は、実施の形態に係る話者識別の動作の例を示すフローチャートである。話者識別装置１は、被識別対象者である話者から音声が入力されると音声信号から音声データを生成する（ステップＳ１０）。特徴抽出部１１は、音声データから照合データを抽出して分類判定部１３に送る（ステップＳ１１）。音声認識部１２は、音声データから発声内容を認識して、データ抽出部１４に送る（ステップＳ１２）。分類判定部１３は、照合データが分類されるべきグループを判定しデータ抽出部１４に送る（ステップＳ１３）。
【００５３】
データ抽出部１４が、照合データが分類されるべきグループに属する登録データのうち、照合データの発声内容と同じ発声内容の登録データを、記憶部１５から読み出して話者識別部１６に送ると、話者識別部１６は、読み出された登録データの１つを選択する（ステップ１４）。そして、照合データと選択した登録データとの類似度を算出する（ステップＳ１５）。まだ選択していない登録データがあれば（ステップＳ１６；Ｙ）、再び未選択の登録データの１つを選択して（ステップＳ１４）、類似度を算出する（ステップＳ１５）。
【００５４】
話者識別部１６は、データ抽出部１４から送られた登録データのすべてについて照合データとの類似度を算出すると（ステップＳ１６；Ｎ）、算出した類似度の最大値を選択する（ステップＳ１７）。算出した類似度の最大値が閾値より大きければ（ステップＳ１８；Ｙ）、その類似度に対応する登録データに対応づけられた識別符号が付与された被登録者を、照合データの発声者（話者）であると判定する（ステップＳ１９）。最大値が閾値以下なら（ステップＳ１８；Ｎ）、照合データの話者は被登録者のいずれでもないと判定する（ステップＳ２０）。
【００５５】
照合データの話者が被登録者のいずれかに特定された場合、話者識別装置１は、接続されている装置に、その被登録者に許可された動作を行わせることができる。照合データの話者が被登録者のいずれでもないと判定された場合は、被識別対象者に、再度、発声を促すことができる。記憶部１５に記憶されている、照合データが分類されるべきグループに属する登録データに、音声認識部１２で認識した発声内容に該当する登録データがない場合も、被識別対象者に、再度、発声を促すことができる。
【００５６】
話者識別部１６は、類似度の最大値を閾値と比較せず、単に、最大値の類似度に対応する登録データに対応づけられた識別符号が付与された被登録者を、照合データの発声者（話者）であると判定してもよい。その場合、閾値は類似度の取り得る最小値であるとみなすことができる。
【００５７】
以上説明したように、実施の形態に係る話者識別装置１は、登録データを予めクラスタリングしたグループのいずれに、照合データが分類されるべきかを判定し、その分類されるべきグループに類似度判定対象の登録データを限定するので、登録データすべてと比較する場合よりも、識別にかかる所要時間を短くすることができる。また、照合データが分類されるべきグループの中で、照合データと発声内容が同じである登録データに比較対象を限定するので、さらに識別にかかる所要時間を短くすることができる。その上、話者の特徴とは無関係である発話内容を用いて、発声内容が同じである登録データに限って比較するので、比較対象となる登録データどうしが相互に類似する可能性が減少し、話者を誤認識する可能性が減少する。
【００５８】
なお、分類判定部１３で照合データがどのグループに分類されるべきかを判定する際に、ニューラルネットワークの出力層の最も大きい出力、すなわち、グループに分類される確率の最大値、が基準の値より小さい場合に、照合データはいずれのグループにも分類されないと判断して、照合データの話者は被登録者のいずれでもないと判定してもよい。この場合の基準の値は、登録データの数およびグループの数に応じて定めてもよい。グループに分類される確率の最大値が基準の値より小さい場合、そのグループのいずれの登録データの類似度も、閾値より小さいことが推定される。この場合、登録データとの類似度を算出することなく、話者が被登録者でないと判断されるので、話者識別にかかる所用時間をさらに短くすることができる。
【００５９】
変形例．
図６は、実施の形態の変形例に係る話者識別装置のブロック図である。変形例では音声認識部１２を備えず、音声認識を行わない。その他の構成は、実施の形態と同様である。
【００６０】
変形例では、データ抽出部１４は、分類判定部１３から送られた番号のグループに属する登録データを、記憶部１５から読み出して、話者識別部１６に送る。話者識別部１６に送られる登録データには、発声内容が異なる音声特徴データが含まれる。
【００６１】
変形例において、記憶部１５に記憶されている声特徴データベースは、実施の形態と同様に、登録データに発声内容が対応づけられていてもよいし、発生内容を含まなくてもよい。発声内容を含まない場合でも、登録者ＩＤが共通する同じ被登録者で、発声内容が異なる複数の登録データがあってもよい。
【００６２】
話者識別部１６は、データ抽出部１４から送られた登録データのそれぞれと、照合データとを比較し、最も高い類似度が定めた閾値を超えている場合に、その最も高い類似度の登録データの被登録者を、話者である被識別対象者と判定する。変形例では、照合データが分類されるべきグループに分類されている登録データのうち、照合データとの類似度が最も高く、かつ、照合データとの類似度が閾値を超えている登録データに対応づけられた識別符号が付与された被登録者を、照合データの発声者と判定する。
【００６３】
図７は、変形例に係る話者識別の動作の例を示すフローチャートである。変形例では、図５の実施の形態の動作のうち、音声認識のステップＳ１２が省略されている。また、データ抽出部１４は、照合データが分類されるべきグループに属する登録データを、記憶部１５から読み出して話者識別部１６に送るので、話者識別部１６は、照合データが分類されるべきグループに属する登録データの１つを選択する（ステップＳ１４’）。その他の動作は、図５のフローチャートと同様である。
【００６４】
変形例では、音声認識しないので、異なる発生内容の登録データとも照合データと比較するが、照合データが分類されるべきグループに限定されているので、登録データすべてと比較するよりも識別にかかる所要時間を短くできる。また、音声認識を行わないので、その分処理時間は短い。
【００６５】
図８は、実施の形態に係る話者識別装置のハードウェア構成の一例を示すブロック図である。話者識別装置１は、図８に示すように、制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５、入出力部４６および送受信部４７を備える。主記憶部４２、外部記憶部４３、操作部４４、表示部４５、入出力部４６および送受信部４７はいずれも内部バス４０を介して制御部４１に接続されている。
【００６６】
制御部４１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部４３に記憶されている制御プログラム５０に従って、話者識別装置１の音声入力部１０、特徴抽出部１１、音声認識部１２、分類判定部１３、データ抽出部１４、記憶部１５、および、話者識別部１６の各処理を実行する。
【００６７】
主記憶部４２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部４３に記憶されている制御プログラム５０をロードし、制御部４１の作業領域として用いられる。
【００６８】
外部記憶部４３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、話者識別装置１の処理を制御部４１に行わせるためのプログラムを予め記憶し、また、制御部４１の指示に従って、このプログラムが記憶するデータを制御部４１に供給し、制御部４１から供給されたデータを記憶する。
【００６９】
操作部４４はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス４０に接続するインタフェース装置から構成されている。操作部４４を介して、音声認識結果の選択指示などが入力され、制御部４１に供給される。
【００７０】
表示部４５は、ＬＣＤ（Liquid Crystal Display）または有機ＥＬディスプレイなどから構成され、話者識別の結果や音声認識した音声内容の文字列などを表示する。
【００７１】
入出力部４６は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入出力部４６は、マイク２１を接続して音声信号を入力する。また、スピーカ（図示せず）を接続して、例えば、被識別対象者に音声の入力を促すメッセージを再生する。
【００７２】
送受信部４７は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。送受信部４７は、ネットワークを介して、例えば、話者認識結果を使用する装置とのデータのやりとりを行う。
【００７３】
図１に示す話者識別装置１の音声入力部１０、特徴抽出部１１、音声認識部１２、分類判定部１３、データ抽出部１４、記憶部１５、および、話者識別部１６の処理は、制御プログラム５０が、制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５、入出力部４６および送受信部４７などを資源として用いて処理することによって実行する。
【００７４】
なお、各実施の形態で説明した話者識別装置１の構成は一例であり、任意に変更および修正が可能である。話者識別装置１の構成は、実施の形態で示したものがすべてではなく、これらに限定されるものではない。例えば、実施の形態で説明したように、話者識別装置１と音声登録装置２とで同じ装置を共通して用いてもよい。また、ネットワーク上に記憶部１５を設置して、話者識別装置１および音声登録装置２から、ネットワークを介して、記憶部１５にアクセスしてもよい。
【００７５】
その他、前記のハードウエア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００７６】
音声入力部１０、特徴抽出部１１、音声認識部１２、分類判定部１３、データ抽出部１４、記憶部１５、および、話者識別部１６等から構成される話者識別装置１の話者識別処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読みとり可能な記録媒体（ＵＳＢメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する話者識別装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで話者識別装置１を構成してもよい。
【００７７】
また、話者識別装置１を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合等には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００７８】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【符号の説明】
【００７９】
１  話者識別装置
２  音声登録装置
１０  音声入力部
１１  特徴抽出部
１２  音声認識部
１３  分類判定部
１４  データ抽出部
１５  記憶部
１６  話者識別部
１７  クラスタリング部
１８  入力部
１９  データ登録部
２１  マイク
４０  内部バス
４１  制御部
４２  主記憶部
４３  外部記憶部
４４  操作部
４５  表示部
４６  入出力部
４７  送受信部
５０  制御プログラム
【図１】
2020154061.tif 000003
【図２】
2020154061.tif 000004
【図３】
2020154061.tif 000005
【図４】
2020154061.tif 000006
【図５】
2020154061.tif 000007
【図６】
2020154061.tif 000008
【図７】
2020154061.tif 000009
【図８】
2020154061.tif 000010