(57)【要約】【課題】音声は経年変化により変動することを考慮して、登録話者の識別器を低いコストで更新できる話者照合装置等を提供すること【解決手段】登録話者音声特徴量データを登録話者の話者識別器に入力して仮説スコアを取得しこの仮説スコアを要素とする複数のベクトルからなる登録話者スコアベクトル列を生成する機能と、背景話者音声特徴量データを登録話者の話者識別器に入力して仮説スコアを取得しこの仮説スコアを要素とする複数のベクトルからなる背景話者スコアベクトル列を生成する機能と、登録話者スコアベクトル列と背景話者スコアベクトル列とを記憶装置１８に格納する機能とを備えた更新用データ生成手段１７を備えた更新用データ生成装置１０。【選択図】図２
2007057714.tif 000002
【特許請求の範囲】
【請求項１】
複数仮説の重み付き和で構成される話者識別器の更新に用いる話者識別器更新用データを生成する更新用データ生成装置において、
登録話者音声特徴量データを登録話者の話者識別器に入力し前記複数仮説の出力である仮説スコアを取得しこの仮説スコアを要素とする複数のベクトルからなる登録話者スコアベクトル列を生成する機能と、背景話者音声特徴量データを前記登録話者の前記話者識別器に入力し前記複数仮説の出力である仮説スコアを取得しこの仮説スコアを要素とする複数のベクトルからなる背景話者スコアベクトル列を生成する機能と、前記登録話者スコアベクトル列と前記背景話者スコアベクトル列とを記憶装置に格納する機能とを備えた更新用データ生成手段を備えたことを特徴とした更新用データ生成装置。
【請求項２】
前記更新用データ生成手段は、前記登録話者スコアベクトル列と前記背景話者スコアベクトル列のベクトル空間における分布の十分統計量を算出することを特徴とした請求項１に記載の更新用データ生成装置。
【請求項３】
前記十分統計量は、前記登録話者音声特徴量データの個数と、前記背景話者音声特徴量データの個数と、前記登録話者スコアベクトル列の平均値と、前記背景話者スコアベクトル列の平均値と、登録話者スコアベクトルとこのベクトルの転置ベクトルを乗算して得られるベクトルの平均値と、背景話者スコアベクトルとこのベクトルの転置ベクトルを乗算して得られるベクトルの平均値とを含むことを特徴とした請求項２に記載の更新用データ生成装置。
【請求項４】
登録話者毎にＭ個の仮説の重み付き和で構成される話者識別器を予め記憶した話者識別器記憶部と前記話者識別器により話者照合を行う話者照合手段とを備えた話者照合装置において、
登録話者音声特徴量データを登録話者の話者識別器に入力し前記複数仮説の出力として得られる仮説スコアを要素とする複数のベクトルからなる登録話者スコアベクトル列と、背景話者音声特徴量データを前記登録話者の前記話者識別器に入力し前記複数仮説の出力として得られる仮説スコアを要素とする複数のベクトルからなる背景話者スコアベクトル列とが予め記憶された更新用データ記憶部と、
前記話者照合手段により照合話者が主張する話者が正当であると判断された場合に、前記照合話者の音声の特徴量データを前記照合話者の話者識別器を構成する前記各仮説に入力しその出力として得られる仮説スコアを要素とする複数のベクトルからなる照合話者スコアベクトル列を生成し、このベクトルを前記登録話者スコアベクトル列に結合することにより前記登録話者スコアベクトル列を更新する機能を備えた更新用データ更新手段と、
前記登録話者スコアベクトル列と前記背景話者スコアベクトル列に対してＭ次元空間における２クラスの最適分離問題を適用することにより射影方向のＭ次元ベクトルを求めこのベクトルの各要素を前記重みとすることにより前記照合話者の話者識別器を更新する機能を備えた話者識別器更新手段と、
を備えたことを特徴とした話者照合装置。
【請求項５】
前記更新用データ記憶部には、前記登録話者スコアベクトル列と前記背景話者スコアベクトル列のベクトル空間における分布の十分統計量が格納されており、
前記話者識別器更新手段は、前記十分統計量に基づいて前記照合話者と前記背景話者のスコアベクトルの分布を算出する機能を備えたことを特徴とした請求項４に記載の話者照合装置。
【請求項６】
前記十分統計量は、前記登録者音声特徴量データの個数と、前記背景話者音声特徴量データの個数と、前記登録話者スコアベクトル列の平均値と、前記背景話者スコアベクトル列の平均値と、前記登録話者スコアベクトルとこのベクトルの転置ベクトルを乗算して得られるベクトルの平均値と、前記背景話者スコアベクトルとこのベクトルの転置ベクトルを乗算して得られるベクトルの平均値であり、
前記話者識別器更新手段は、前記十分統計量から前記登録話者スコアベクトル列と前記背景話者スコアベクトル列のＭ次元正規分布を生成し、このＭ次元正規分布に基づいて前記登録話者スコアベクトル列と前記背景話者スコアベクトル列の分離が最も良くなる１次元射影を算出し、この射影の方向を示すＭ次元ベクトルのノルムを１に正規化したベクトルの各要素を前記重みとすることを特徴とした請求項５に記載の話者照合装置。
【請求項７】
複数仮説の重み付き和で構成される話者識別器の更新に用いる話者識別器更新用データを生成する方法において、
登録話者音声特徴量データを取得してこの登録話者音声特徴データを登録話者の話者識別器に入力し前記複数仮説の出力である仮説スコアを取得しこの仮説スコアを要素とする複数のベクトルからなる登録話者スコアベクトル列を生成する工程と、
背景話者音声特徴量データを取得して前記登録話者の前記話者識別器に入力し前記複数仮説の出力である仮説スコアを取得しこの仮説スコアを要素とする複数のベクトルからなる背景話者スコアベクトル列を生成する工程と、
前記登録話者スコアベクトル列と前記背景話者スコアベクトル列のベクトル空間における分布の十分統計量を算出しこの十分統計量を話者識別器更新用データとして記憶装置に記録する工程と
を備えたことを特徴とした話者識別器更新用データの生成方法。
【請求項８】
複数仮説の重み付き和で構成される話者識別器を更新する方法において、
前記話者識別器を用いて照合話者の正当性を判断する話者照合工程と、
この話者照合工程において前記照合話者の正当性が確認された場合に、前記照合話者の音声特徴量データを前記照合話者の前記話者識別器に入力してその出力結果である仮説スコアを取得し、この仮説スコアを要素とする複数のベクトルからなる照合話者スコアベクトル列を生成する工程と、
前記照合話者スコアベクトル列のベクトル空間における分布を示す照合話者十分統計量を算出する十分統計量算出工程と、
前記照合話者十分統計量と記憶装置に予め格納されている更新用データを結合して更新用データを更新し、更新後の更新用データを前記記憶装置に格納する更新用データ更新工程と、
前記更新用データ更新工手で更新された後の更新用データに基づいて照合話者と背景話者のスコアベクトルの分布を算出する分布算出工程と、
前記分布に基づいて前記照合話者のスコアベクトルと前記背景話者のスコアベクトルの分離が最も良くなる１次元射影を算出し、その射影方向を示すベクトルの各要素を前記照合話者の話者識別器の前記重みとすることにより前記照合話者の話者識別器を更新する話者識別器更新工程とを備えたことを特徴とした話者識別器の更新方法。
【請求項９】
複数仮説の重み付き和で構成される話者識別器の更新に用いる話者識別器更新用データを生成するプログラムにおいて、
コンピュータに、
登録話者音声特徴量データを取得してこの登録話者音声特徴データを登録話者の話者識別器に入力し前記複数仮説の出力である仮説スコアを取得しこの仮説スコアを要素とする複数のベクトルからなる登録話者スコアベクトル列を生成する機能と、
背景話者音声特徴量データを取得して前記登録話者の前記話者識別器に入力し前記複数仮説の出力である仮説スコアを取得しこの仮説スコアを要素とする複数のベクトルからなる背景話者スコアベクトル列を生成する機能と、
前記登録話者スコアベクトル列と前記背景話者スコアベクトル列のベクトル空間における分布の十分統計量を算出しこの十分統計量を話者識別器更新用データとして記憶装置に記録する機能と
を実行させることを特徴とした話者識別器更新用データの生成プログラム。
【請求項１０】
複数仮説の重み付き和で構成される話者識別器を更新するプログラムにおいて、
コンピュータに、
前記話者識別器を用いて照合話者の正当性を判断する話者照合機能と、
この話者照合機能により前記照合話者の正当性が確認された場合に、前記照合話者の音声特徴量データを前記照合話者の前記話者識別器に入力してその出力結果である仮説スコアを取得し、この仮説スコアを要素とする複数のベクトルからなる照合話者スコアベクトル列を生成する機能と、
前記照合話者スコアベクトル列のベクトル空間における分布を示す照合話者十分統計量を算出する十分統計量算出機能と、
前記照合話者十分統計量と記憶装置に予め格納されている更新用データを結合して更新用データを更新し、更新後の更新用データを前記記憶装置に格納する更新用データ更新機能と、
前記更新用データ更新機能により更新された後の更新用データに基づいて照合話者と背景話者のスコアベクトルの分布を算出する分布算出機能と、
前記分布に基づいて前記照合話者のスコアベクトルと前記背景話者のスコアベクトルの分離が最も良くなる１次元射影を算出し、その射影方向を示すベクトルの各要素を前記照合話者の話者識別器の前記重みとすることにより前記照合話者の話者識別器を更新する話者識別器更新機能とを実行させること特徴とした話者識別器の更新プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者照合技術に関し、特に複数仮説の重み付き和により構成される話者識別器の更新に有用な更新用データの生成方法およびこの更新用データを用いた話者識別器の更新方法等に関する。
【背景技術】
【０００２】
従来の話者照合方法の一例が、非特許文献１に記載されている。
この方法を用いた話者識別器学習装置を図７に示す。この話者識別器学習装置は、音声入力部３０１と、音声分析手段３０２と、話者識別器学習手段３０３と、背景話者データ記憶部３０４と、話者識別器記憶部３０５とから構成されている。
従来の話者照合方法を用いた話者照合装置を図４に示す。この従来の話者照合装置は、音声入力部４０１と、音声分析手段４０２と、話者照合手段４０３と、話者識別器記憶部４０５と、照合結果出力部４０４とから構成されている。
【０００３】
このような構成を有する従来の話者識別器学習装置および話者照合装置はつぎのように動作する。
すなわち、話者登録時は、音声入力部３０１から登録話者の音声を入力し、音声分析手段３０２で特徴量データに変換し、この登録話者音声特徴量データと、背景話者データ記憶部３０４に記憶した不特定多数話者の発声の特徴量データである背景話者音声特徴量データを用いて、話者識別器学習手段３０３で登録話者音声とその他の話者である背景話者音声を識別する話者識別器を学習し、話者識別器記憶部３０５に登録話者の識別器を記憶する。
話者照合時は、音声入力部４０１から照合話者の音声を入力し、音声分析手段４０２で特徴量データに変換し、この照合音声特徴量データと、話者識別器記憶部４０５に記憶されている照合話者が主張した主張者話者の識別器をもちいて、話者照合手段４０３で照合話者音声が主張者話者と同一話者のものか否か判定し、照合結果出力部４０４に照合結果を出力する。
【０００４】
従来の話者識別器学習手段３０３について説明する。
学習データは（数１）であらわされる。音声特徴量データをｘ、教師クラスラベルをｙで表す。ここでyは登録話者音声については+1、背景話者音声については-1である。
【数１】
2007057714.tif 000003
【０００５】
また、登録話者音声特徴データ数をNa、背景話者音声特徴データ数をNbとし、学習データ総数をN=Na+Nbとする。
学習される話者識別器は（数２）であらわされる。識別器H（ｘ）はM個の仮説ｈm（ｘ）の重みαmつきの和で構成される。
【数２】
2007057714.tif 000004
識別器学習は学習データに対して、損失関数（数３）を最小化するように、ｈm(x), およびαmが決定される。
【数３】
2007057714.tif 000005
【０００６】
このhm(x)およびαm決定はアダブーストアルゴリズムをもちいて実行される。
各仮説hm(x)は入力データｘについて-1から1の実数値を出力する関数であり、出力値が否負であれば登録話者音声、負であればその他話者音声と判別する。各仮説hm(x)の出力値を仮説スコアと呼ぶ。
この従来の方式では、これら仮説hm(x)は判別精度が十分によいものである必要はなく、判別精度が低い場合でも登録話者音声と背景話者音声を用いて複数の仮説の重みつき和の識別器H(x)は識別精度が良いものを構成できる。
話者照合手段４０３では、主張者話者の識別器H(x)に照合音声データを入力し、そのスコアを閾値と比較し、照合音声が主張者話者と同一話者のものとみなすことができるか否かを判定する。
【０００７】
【非特許文献１】Stan Z. Li, Dong Zhang, Chengyuan Ma, Heung-Yeung Shum, and Eric Chang,”Learning to Boost GMM Based Speaker Verifications”, Proceedings of EUROSPEECH Conference 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記の従来の話者識別器の第１の問題点は、登録時と照合時で時間が経つと性能劣化が大きいことである。
その理由は、音声は経年変化により変動することが知られているが、従来の識別器の学習は登録話者音声と背景話者音声を区別するように学習しているため、登録時の音声と照合時の音声で変動が大きくなると、本人であっても誤って棄却されることが多くなるためである。
第2の問題点は、識別器の再学習や更新を行うコストが高いことである。
その理由は、従来の識別器学習方式では、背景話者データを記憶しておく必要があり、また複数の仮説の重みつき和からなる話者識別器を学習するため計算量が多いからである。
【０００９】
そこで、本発明は、音声は経年変化により変動することを考慮して、登録話者の識別器を低いコストで更新できる話者照合装置等を提供することをその目的とする。
【課題を解決するための手段】
【００１０】
本発明の更新用データ生成装置は、登録話者の音声特徴量と背景話者の音声特徴量を登録話者の話者識別器に入力することにより登録話者スコアベクトル列と背景話者スコアベクトル列を生成する更新用データ生成装置を備えている（請求項１）。
【００１１】
上記更新用データ生成装置により生成される登録話者スコアベクトル列と背景話者スコアベクトル列は、登録話者の話者識別器に登録話者の音声特徴量と登録話者以外のものである背景話者の音声特徴量を入力したときに得られるスコアの傾向を統計的に示すものである。そのため、これらのデータを用いれば、背景話者の音声特徴量そのものを使用することなく登録話者の音声の経年変化による変動等を考慮した話者識別器の更新を行うことができる。
また、登録話者スコアベクトル列と背景話者スコアベクトル列のデータサイズは、多数の背景話者の音声特徴量のデータサイズに比べ小さいので、話者識別器を更新するために必要なデータを保持しておくための記憶容量を削減することができる。
【００１２】
上記更新用データ生成装置において、登録話者スコアベクトル列と背景話者スコアベクトル列のベクトル空間における分布の十分統計量を算出するようにしても良い（請求項２）。
このようにすれば、スコアベクトル列そのものを記憶する場合に比べ、話者識別器を更新するために必要なデータを保持しておくための記憶容量を削減することができる。
【００１３】
上記更新用データ生成装置において、十分統計量として、登録者音声特徴量データの個数と、背景話者音声特徴量データの個数と、登録話者スコアベクトル列の平均値と、背景話者スコアベクトルの平均値と、登録話者スコアベクトルとこのベクトルの転置ベクトルを乗算して得られるベクトルの平均値と、背景話者スコアベクトルとこのベクトルの転置ベクトルを乗算して得られるベクトルの平均値を算出するようにしても良い（請求項３）。
このようにすれば、仮説スコアの分布を正規分布と仮定して十分統計量から仮説スコア分布を算出することができる。
【００１４】
本発明の音声照合装置は、更新用データ記憶部を備えこの記憶部には、登録話者スコアベクトル列と背景話者スコアベクトル列が予め記憶されている。更新用データ更新手段は、正当性が確認された照合話者の音声の特徴量データを照合話者の話者識別器を構成するＭ個の仮説に入力しその出力として得られる仮説スコアを要素とする複数のベクトルからなる照合話者スコアベクトル列を生成し、このベクトルを更新用データ記憶部に記憶されている登録話者スコアベクトル列に結合することにより登録話者スコアベクトル列を更新する。話者識別器更新手段は、更新された登録話者スコアベクトル列と背景話者スコアベクトル列に対してＭ次元空間における２クラスの最適分離問題を適用することにより射影方向のＭ次元ベクトルを求めこのベクトルの各要素を照合話者の話者識別器の重みとすることにより照合話者の話者識別器を更新する（請求項４）。
【００１５】
上記話者照合装置によれば、照合時に得られた照合話者スコアベクトル列により登録話者スコアベクトル列を更新し、この更新後の登録話者スコアベクトル列と背景話者スコアベクトル列に基づいて照合話者の話者識別器を更新する。
そのため、背景話者の音声特徴量を保持していなくても経年変化等による照合話者の音声の変化に対応して照合話者の音声識別器を更新することができる。
【００１６】
上記音声照合装置において、更新用データ記憶部には、登録話者スコアベクトル列と背景話者スコアベクトル列のベクトル空間における分布の十分統計量を予め格納しておき、話者識別器更新手段は、十分統計量に基づいて照合話者スコアベクトル列と背景話者スコアベクトル列の分布を算出するようにしても良い（請求項５）。
このようにすれば、話者識別器の更新用データとしてスコアベクトル列そのものを記憶しておく場合に比べ、必要な記憶容量を削減することができる。
【００１７】
上記音声照合装置において、十分統計量として、登録話者音声特徴量データの個数と、背景話者音声特徴量データの個数と、登録話者スコアベクトル列の平均値と、背景話者スコアベクトルの平均値と、登録話者スコアベクトルとこのベクトルの転置ベクトルを乗算して得られるベクトルの平均値と、背景話者スコアベクトルとこのベクトルの転置ベクトルを乗算して得られるベクトルの平均値を記憶しておき、話者識別器更新手段は、これらのデータからＭ次元正規分布を生成し、このＭ次元正規分布に基づいて登録話者スコアベクトル列と背景話者スコアベクトル列の分離が最も良くなる１次元射影を算出し、この射影の方向を示すＭ次元ベクトルのノルムを１に正規化したベクトルの各要素を重みとすることにより照合話者の話者識別器を更新するようにしても良い（請求項６）。
このようにすれば、スコアベクトルの分布を正規分布と仮定して話者識別器の更新を行うことができる。
【００１８】
本発明の話者識別器更新用データの生成方法は、登録話者音声特徴量データを取得してこの登録話者音声特徴データを登録話者の話者識別器に入力し複数仮説の出力である仮説スコアを取得しこの仮説スコアを要素とする複数のベクトルからなる登録話者スコアベクトル列を生成する工程と、背景話者音声特徴量データを取得して前記と同様に背景話者スコアベクトル列を生成する工程と、登録話者スコアベクトル列と背景話者スコアベクトル列のベクトル空間における分布の十分統計量を算出しこの十分統計量を話者識別器更新用データとして記憶装置に記録する工程とを備えている（請求項７）。
【００１９】
上記更新用データの生成方法により生成される登録話者スコアベクトル列と背景話者スコアベクトル列は、登録話者の識別器に登録話者の音声特徴量と登録話者以外のものである背景話者の音声特徴量を入力したときに得られるスコアの傾向を統計的に示すものである。
このスコアベクトル列から生成される十分統計量からは、スコアベクトルの分布を算出することができる。そのため、この方法により算出される十分統計量を用いれば、背景話者の音声特徴量そのものを使用することなく登録話者の音声の経年変化による変動等を考慮した話者識別器の更新を行うことができる。
また、十分統計量のデータサイズは、多数の背景話者の音声特徴量のデータサイズに比べ小さいので、話者識別器を更新するために必要なデータを保持しておくための記憶容量を削減することができる。
【００２０】
本発明の話者識別器の更新方法は、話者識別器を用いて照合話者の正当性を判断する話者照合工程と、この話者照合工程において照合話者の正当性が確認された場合に、照合話者の音声特徴量データを照合話者の話者識別器に入力してその出力結果である仮説スコアを取得し、この仮説スコアを要素とする複数のベクトルからなる照合話者スコアベクトル列を生成する工程と、照合話者ベクトル列のベクトル空間における分布を示す照合話者十分統計量を算出する十分統計量算出工程と、照合話者十分統計量と記憶装置に予め格納されている更新用データを結合して更新用データを更新し、更新後の更新用データを記憶装置に格納する更新用データ更新工程と、更新用データ更新工手で更新された後の更新用データに基づいて照合話者と背景話者のスコアベクトルの分布を算出する分布算出工程と、この分布に基づいて照合話者のスコアベクトルと背景話者のスコアベクトルの分離が最も良くなる１次元射影を算出し、その射影方向を示すベクトルの各要素を照合話者の話者識別器の重みとすることにより照合話者の話者識別器を更新する話者識別器更新工程とを備えている（請求項８）。
【００２１】
上記話者識別器の更新方法によれば、照合時に得られた照合話者の音声特徴量を話者識別器の更新用データに反映することができる。そして、背景話者の音声特徴量データを用いることなく、最新の更新用データを用いてスコアベクトルの分布を算出し、この分布に基づいて照合話者の話者識別器を更新することができる。
そのため、経年変化等による話者の音声の変化に対応して話者識別器を更新することができると共に、更新のためのデータを保持する記憶装置の記憶容量を削減することができる。
【００２２】
本発明の話者識別器更新用データの話者識別器更新用データの生成プログラムは、コンピュータに、登録話者音声特徴量データを取得してこの登録話者音声特徴データを登録話者の話者識別器に入力し前記複数仮説の出力である仮説スコアを取得しこの仮説スコアを要素とする複数のベクトルからなる登録話者スコアベクトル列を生成する機能と、背景話者音声特徴量データを取得して前記登録話者の前記話者識別器に入力し前記複数仮説の出力である仮説スコアを取得しこの仮説スコアを要素とする複数のベクトルからなる背景話者スコアベクトル列を生成する機能と、前記登録話者スコアベクトル列と前記背景話者スコアベクトル列のベクトル空間における分布の十分統計量を算出しこの十分統計量を話者識別器更新用データとして記憶装置に記録する機能とを実行させる（請求項９）。
【００２３】
上記プログラムによれば、コンピュータを話者識別器更新用データの生成装置として動作させ、話者識別器を構成する仮説の出力であるスコアの分布を示す十分統計量を更新用データとして生成することができる。この十分統計量からは、スコアベクトルの分布を算出することができる。
そのため、上記プログラムにより算出される十分統計量を用いれば、背景話者の音声特徴量そのものを使用することなく登録話者の音声の経年変化による変動等を考慮した話者識別器の更新を行うことができる。
また、十分統計量のデータサイズは、多数の背景話者の音声特徴量のデータサイズに比べ小さいので、話者識別器を更新するために必要なデータを保持しておくための記憶容量を削減することができる。
【００２４】
本発明の話者識別器更新プログラムは、コンピュータに、話者識別器を用いて照合話者の正当性を判断する話者照合機能と、この話者照合機能により照合話者の正当性が確認された場合に、照合話者の音声特徴量データを照合話者の話者識別器に入力してその出力結果である仮説スコアを取得し、この仮説スコアを要素とする複数のベクトルからなる照合話者スコアベクトル列を生成する機能と、照合話者ベクトル列のベクトル空間における分布を示す照合話者十分統計量を算出する十分統計量算出機能と、照合話者十分統計量と記憶装置に予め格納されている更新用データを結合して更新用データを更新し、更新後の更新用データを記憶装置に格納する更新用データ更新機能と、更新用データ更新機能により更新された後の更新用データに基づいて照合話者と背景話者のスコアベクトルの分布を算出する分布算出機能と、この分布に基づいて前記照合話者のスコアベクトルと背景話者のスコアベクトルの分離が最も良くなる１次元射影を算出し、その射影方向を示すベクトルの各要素を照合話者の話者識別器の重みとすることにより照合話者の話者識別器を更新する話者識別器更新機能とを実行させる（請求項１０）。
【００２５】
上記話者識別器更新プログラムによれば、コンピュータを話者識別器を更新する装置として動作させ、照合時に得られた照合話者の音声特徴量を話者識別器の更新用データに反映することができる。そして、背景話者の音声特徴量データを用いることなく、最新の更新用データを用いてスコアベクトルの分布を算出し、この分布に基づいて照合話者の話者識別器を更新することができる。
そのため、経年変化等による話者の音声特徴量の変化に対応して話者識別器を更新することができると共に、更新のためのデータを保持する記憶装置の記憶容量を削減することができる。
【発明の効果】
【００２６】
本発明によれば、更新用データ生成装置は、背景話者と登録話者の音声特徴量のスコアの統計的傾向を示す登録話者スコアベクトル列と背景話者スコアベクトル列生成することができる。
そのため、これらのデータを用いれば、背景話者の音声特徴量そのものを使用することなく登録話者の音声の経年変化による変動等を考慮した話者識別器の更新を行うことができる。
また、登録話者スコアベクトルと背景話者スコアベクトルのデータサイズは、多数の背景話者の音声特徴量のデータサイズに比べ小さいので、話者識別器を更新するために必要なデータを保持しておくための記憶容量を削減することができる。
【発明を実施するための最良の形態】
【００２７】
以下、図を参照しながら本発明の一実施形態である話者照合システム１の構成と動作について説明する。
図１は、話者照合システム１の全体構成を示す概略図である。
話者照合システム１は、データセンター３に設置された話者登録装置（更新用データ生成装置）１０と複数の店舗２に配置された話者照合装置２０とを備えている。話者登録装置１０と話者照合装置２０は、ネットワーク４を介して相互に通信を行うことができる。
利用者（話者）はまず、話者登録装置１０に自己の音声を入力して登録を受ける。このとき、話者登録装置１０は、話者照合のために必要な話者識別器の学習と、話者識別器の更新のための必要な仮説スコア分布の生成を行う。
話者による音声の入力は、話者がデータセンター３に出向いて話者登録装置１０に直接入力するようにしても良いし、話者照合装置２０または他の通信端末に入力し、そのデータをネットワーク４を介して話者登録装置１０に転送するようにしても良い。
話者登録装置１０が生成した話者識別器と仮説スコア分布は、ネットワーク４を介して話者照合装置２０に配信するようにしてもよいし、これらのデータを格納した記憶媒体を配布するようにしても良い。
登録を行った話者は、例えば店舗２でクレジットカードを利用する際に認証を受けるために話者照合装置２０に音声を入力する。話者照合装置２０は、入力された音声が登録されている話者のものとみなせる確率を判定し、これが高い場合に話者を認証する。また、話者照合装置２０は仮説スコア分布と話者識別器の更新も行う。
【００２８】
（話者登録装置１０の構成）
図２は、話者登録装置１０の構成を示す機能ブロック図である。
話者登録装置１０は、例えばパーソナルコンピュータであり、音声入力部１１と、音声分析手段１２と、話者識別器学習手段１３と、背景話者データ記憶部１４と、仮説スコア分布算出手段（更新用データ生成手段）１７と、記憶装置１８とを備えている。
【００２９】
記憶装置１８は、例えばハードディスク装置であり、背景話者データ記憶部１４と、話者識別機器記憶部１５と、仮説スコア分布記憶部１６とを備えている。
背景話者データ記憶部１４には、登録者以外の者が発生した音声の特徴量データ（背景話者音声特徴量データ）が予め記憶されている。このデータは、登録者の話者識別器を学習するために使用される。
話者識別器記憶部１５には、話者識別器学習手段１３によって学習が行われた後の話者識別器が記憶される。
仮説スコア分布記憶部１６には、仮説スコア分布算出手段１７により算出された、仮説スコア分布が記憶される。
【００３０】
音声入力部１１は、例えばマイクロフォンによって構成され、音波として入力された登録者の音声を電気信号に変換して音声分析手段１２に出力する。
音声分析手段１２は、音声入力部から入力した音声（登録話者音声）を分析し特徴量データ（登録話者音声特徴量データ）に変換する。この変換は、たとえば一般に音声認識や話者照合において特徴量を求める場合と同様に、ケプストラム分析等により行う。
特徴量データは、従来例と同様に（数１）で表される。
【００３１】
話者識別器学習手段１３は、登録話者音声の特徴量データと、背景話者データ記憶部１４に記憶されている背景話者音声特徴量データを用いて、登録話者とその他話者を識別する話者識別器を学習し、話者識別器記憶部１５に登録話者の話者識別器を記憶する。
話者識別器は（数２）であらわされ、M個の仮説ｈm（ｘ）の重みαmつきの和で構成される。話者識別器学習手段１３は、たとえば非特許文献1に記載された手順でアダブーストアルゴリズムを用いて学習データの損失関数（（数３）参照）を最小化するように学習を行う。
【００３２】
仮説スコア分布算出手段１７は、登録話者音声特徴量データと背景話者データ記憶部１４に記憶された背景話者音声特徴量データを、学習した登録話者の話者識別器を構成する複数の仮説スコアのベクトル列に変換し、このベクトル列の仮説スコアベクトル空間における分布の十分統計量を、それぞれ仮説スコア分布記憶部１６に記憶する。
ここで、仮説スコアベクトル列とは（数４）であらわされ、入力特徴量データｘに対し、識別器を構成するM個の仮説に対する仮説スコアのベクトル列で構成されるz(x)である。仮説スコア分布算出手段１７は、入力特徴量データ集合{x}から、この仮説スコアベクトル集合{z}を算出し、教師クラスラベル毎にすなわちy=+1およびy=-1毎に、推定分布の十分統計量を計算する。
仮説スコア分布算出手段１７は十分統計量として、たとえば、仮説スコアベクトル空間における分布をＭ次元正規分布と仮定したときには、入力特徴量データ個数Nzと、（数５）であらわされる仮説スコアベクトルの平均値<z>と、（数６）であらわされる仮説スコアベクトルの積の行列の平均値を、教師クラスラベルごとに算出して記憶する。なお（数６）においてｚの上付きｔはベクトルの転置を表す（（数７）以降の式においても同様）。
あるいはまた、仮説スコアベクトル集合の分布を仮定せずに、仮説スコアベクトル集合そのものを、教師クラスごとに仮説スコア分布記憶部１６に記憶するようにしても良い。
【数４】
2007057714.tif 000006
【数５】
2007057714.tif 000007
【数６】
2007057714.tif 000008
【００３３】
図３は、仮説スコア記憶部１６に記憶されるデータの一例を示す概略図である。教師クラスラベルｙが＋１のデータに対応する仮説スコアベクトル列の仮説スコアベクトル空間における分布の十分統計量（以下、単に十分統計量という）３０と、教師クラスラベルｙが−１のデータに対応する十分統計量３１が、それぞれ格納されている。
十分統計量３０は、教師クラスラベルが＋１である入力特徴量データの個数を示すデータ個数（Ｎｚ）３０ａと、仮説スコアベクトル平均値（数５）の＜ｚ＞）３０ｂと、仮説スコアベクトルの積の行列の平均値（（数６）の＜ｚｔｚ＞）３０ｃを含んでいる。
十分統計量３１も同様に、教師クラスラベルが−１である入力特徴量データの個数を示すデータ個数（Ｎｚ）３１ａと、仮説スコアベクトル平均値（（数５）の＜ｚ＞）３１ｂと、仮説スコアベクトルの積の行列の平均値（（数６）の＜ｚｔｚ＞）３１ｃを含んでいる。
ここで、各データの概略のサイズについて検討すると、Ｎｚ３０ａ、３０ｂは整数であるから、それぞれ４バイト程度、＜Ｚ＞３０ｂ、３１ｂは、Ｍ個の実数を要素とするベクトルであるから仮にＭを１０とするとそれぞれ４０（４×１０）バイト程度、＜ｚｔｚ＞はＭ行×Ｍ列の行列であるから４００（４×１０×１０）バイト程度である。すなわち、仮説スコア分布記憶部１６に記憶される十分統計量のデータサイズは、１Ｋバイトにも満たない。
これに対して背景話者データは、男女それぞれ１０００名の話者について１２０秒のデータを用意し、１秒当たり１００フレーム、４０次元とするとデータサイズは、３．８Ｇバイト（２×１０００×１２０×１００×４０×４）にも及ぶ。
このように、本発明によれば、話者識別器更新のために必要なデータサイズを、背景話者データを用いる場合に比べ大幅に削減できていることがわかる。
【００３４】
図４は、話者照合装置２０の構成を示す機能ブロック図である。
話者照合装置２０は、音声入力部２１と、音声分析手段２２と、話者照合手段２３と、照合結果出力部２４と、仮説スコア分布更新手段２５と、話者識別器更新手段２８と、話者識別器記憶部２６と、仮説スコア分布記憶部２７と、記憶装置２９と、を備えている。
【００３５】
音声入力部２１は、例えばマイクロフォンによって構成され、音波として入力された照合話者の音声（照合話者音声）を電気信号に変換して音声分析手段２２に出力する。
音声分析手段２２は、音声入力部から入力した音声を分析し特徴量データに変換する。
話者照合手段２３は、照合音声の特徴量データと話者識別器記憶部２６に記憶した照合話者が主張した主張者話者の話者識別器を用いて、照合音声が主張話者により発声されたものとみなせるか否かを判定する。この判定は、たとえば、主張者話者の識別器に照合音声データを入力し、出力されたスコアを閾値と比較することにより行う。
照合結果出力部２４は、話者照合手段によりなされた照合結果を、例えばディスプレイ装置に画像として出力して話者に通知する。
【００３６】
仮説スコア分布更新手段２５は、話者照合手段２３で同一の話者のものとみなされた話者識別器更新用特徴量データを、主張者話者の識別器を構成する複数の仮説に対応する仮説スコアのベクトル列に変換して仮説スコア分布記憶部２７に記憶された主張者話者のクラスラベルy=+1の仮説スコア分布の十分統計量３０を更新する。
すなわち、まず入力された照合音声データ列で主張者話者と同一話者からのものとみなされたものを{x’}とし、この{x’}を主張者話者の識別器を構成する各仮説の仮説スコアベクトル集合{z’}に変換する。
次に、この{z’}の仮説スコアベクトル空間における分布の十分統計量を算出し、これと、仮説スコア分布記憶部２７に記憶された主張者話者のクラスラベルy=+1の仮説スコア分布の十分統計量３０を結合し更新する。
【００３７】
たとえば、仮説スコア分布をM次元正規分布と仮定したときには、仮説スコアベクトル平均値を（数７）で、仮説スコアベクトル積行列の平均値を（数８）で、特徴量データ個数を（数９）で更新する。（数９）において、Nz’は、話者識別器更新用特徴量データの要素数である。
あるいはまた、仮説スコアベクトル集合の分布を仮定しない場合には、スコアベクトル集合そのものを結合して更新する。
あるいはまた、仮説スコア分布更新手段２５に入力する話者識別器更新用特徴量データとして、外部の話者認証システムあるいはユーザのパスワード入力による認証などにより、正当性が確認された発声データを用いて話者識別器を更新する。
【数７】
2007057714.tif 000009
【数８】
2007057714.tif 000010
【数９】
2007057714.tif 000011
【００３８】
話者識別器更新手段２８は、仮説スコア分布記憶部２７に記憶された主張者話者のクラスラベルy=+1およびy=-1の仮説スコアベクトル分布の十分統計量３０、３１から、主張者話者とその背景話者の分布を算出し、M次元空間における2クラスの分離が最も良くなる1次元射影を算出し、その射影方向のM次元ベクトルを、話者識別器記憶部２６に記憶された主張者話者の話者識別器のαmとして、主張者話者識別器を更新する。
【００３９】
たとえば、仮説スコア分布をM次元正規分布と仮定したときには、仮説スコア分布記憶部１６に記憶された主張者話者のクラスラベルy=+1およびy=-1の十分統計量３０，３１からM次元正規分布をそれぞれ算出する。そして、前記2クラスの正規分布から線形判別分析により射影方向のM次元ベクトルを求め、そのベクトルのノルムを１に正規化したものを、話者識別器記憶部２６に記憶された主張者話者の話者識別器の重みαmとして、主張者話者識別器を更新する。
【００４０】
あるいはまた、仮説スコアベクトル集合の分布を仮定しない場合は、M次元空間における2クラスの最適分離問題として、線形判別分析などによって射影方向のM次元ベクトルを求め主張者話者の識別器のαmとして、主張者話者識別器を更新する。
あるいはさらにまた、M次元の仮説スコアベクトル空間において、2クラスの分布あるいはデータ列において、損失関数（（数３）参照）を最小化するようにαmを算出し、主張者話者識別器を更新する。
【００４１】
（話者登録装置１０および話者照合装置２０の動作）
図４は、話者登録装置１０の動作を示すフローチャートである。
登録者の音声が音声入力部１１に入力されると（ＳＴ１００）、音声分析手段１２がこの音声を分析し特徴量データに変換する（ＳＴ１０１）。話者識別器学習手段１１３は、音声分析手段１２から取得した登録話者の音声の特徴量データと背景話者データ記憶部１４から読み出した背景話者音声特徴量データを用いて登録話者の話者識別器を学習する（ＳＴ１０２）。話者識別器学習手段１３は、話者識別器を話者識別器記憶部１５に記憶する（ＳＴ１０３）。
【００４２】
仮説スコア分布算出手段１７は、音声分析手段１２から取得した特徴量データと背景話者データ記憶部１４から読み出した背景話者音声特徴量データを登録話者の話者識別器を構成する複数の仮説スコアのベクトル列に変換する（ＳＴ１０４）。仮説スコア分布算出手段１７は、この仮説スコアのベクトル空間における分布の十分統計量を算出し、仮説スコアの分布記憶部１６に記憶する（ＳＴ１０５）。
【００４３】
図６は、話者照合装置２０の動作を示すフローチャートである。
音声入力部２１に照合音声が入力されると（ＳＴ１１０）、音声分析手段２２はこの音声を分析し特徴量に変換する（ＳＴ１１１）。
話者照合手段２３は、例えば、主張者話者の識別器H(x)に特徴量データを入力し、その出力スコアを閾値と比較し、照合音声が主張者話者と同一話者のものとみなすことができるか否かを判定する（ＳＴ１１２）。同一話者のものではないと判断した場合には、照合結果を出力して処理を終了する（ＳＴ１１２の判定がノー、ＳＴ１１６）。
【００４４】
話者照合手段２３が、照合音声が主張者話者のものであると判定した（ＳＴ１１２の判定がイエスの）場合は、仮説スコア分布更新手段２５が、仮説スコア分布記憶部２７に記憶されている十分統計量の更新を行う。
仮説スコア分布更新手段２５は、まず、照合音声の特徴量データを主張者話者の話者識別器に入力し、仮説スコアのベクトル列に変換する（ＳＴ１１３）。仮説スコア分布更新手段２５は、算出したベクトルの仮説スコアベクトル空間における分布の十分統計量を算出し、これと、仮説スコア分布記憶部１６に記憶された主張者話者のクラスラベルy=+1の仮説スコア分布の十分統計量３０を結合し更新する（ＳＴ１１４）。
【００４５】
次に、話者識別器更新手段２８は、更新された十分統計量３０を用いて、主張者話者の話者識別器を更新する（ＳＴ１１５）。具体的には、仮説スコア分布記憶部１６に記憶された主張者話者のクラスラベルy=+1およびy=-1の仮説スコアベクトル分布の十分統計量３０、３１から、主張者話者とその背景話者の分布を算出し、M次元空間における2クラスの分離が最も良くなる1次元射影を算出し、その射影方向のM次元ベクトルを、話者識別器記憶部１５に記憶された主張者話者の話者識別器のαmとして、主張者話者識別器を更新する。
最後に、照合結果出力部２５が照合結果を出力して照合処理を終了する（ＳＴ１１６）。
【００４６】
本発明は、上記の各処理をコンピュータに実行させるプログラムとしても実施することができる。
【００４７】
話者識別システム１では、話者登録時に、話者登録装置１０の仮説スコア分布算出手段１７が、登録話者スコアベクトル列および背景話者スコアベクトル列を算出しこれらのデータの十分統計量を仮説スコア分布記憶部１６に十分統計量３０、３１として記憶しておく。
話者照合時には、話者照合装置２０の仮設スコア分布更新手段２５が、照合時に入力された照合話者の音声に基づいて仮説スコア分布記憶部２７に記憶された十分統計量３０を分布を更新する。
また、話者識別器更新手段２８は、更新された十分統計量３０と、十分統計量３１に基づいて照合話者の話者識別器を更新する。
【００４８】
このように、話者識別器の更新のために必要な情報を、十分統計量の形で記憶しているから、背景話者の音声の特徴量をそのまま記憶しておく場合に比べてデータ記憶量を削減することができる。
また、話者照合時、認証が成功した音声をもちいて、話者識別器を構成する仮説hm(x)を変更せずに仮説重みαmを更新することにより話者識別器を更新するから、仮説を更新する場合に比べて、話者識別器の更新のための計算量を削減することができる。
すなわち、話者照合システム１によれば、話者の音声の経年変化による変動を考慮した登録話者の識別器の更新を低いコストで実現することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の一実施形態である話者照合システムを示す全体図である。
【図２】話者登録装置の機能ブロック図である。
【図３】仮説スコア分布記憶部に記憶される十分統計量を示す図である。
【図４】話者照合装置の機能ブロック図である。
【図５】話者登録装置の動作を示すフローチャートである。
【図６】話者照合装置の動作を示すフローチャートである。
【図７】従来の話者識別器学習装置の機能ブロック図である。
【図８】従来の話者照合装置の機能ブロック図である。
【符号の説明】
【００５０】
１  話者照合システム
１０  話者登録装置（更新用データ生成装置）
１１  音声入力部
１２  音声分析手段
１３  話者識別器学習手段
１７  仮説スコア分布算出手段（更新用データ生成手段）
１８  記憶装置
２０  話者照合装置
２１  音声入力部
２２  音声分析手段
２３  話者照合手段
２５  仮説スコア分布更新手段（更新用データ更新手段）
２８  話者識別器更新手段
２９  記憶装置
３０、３１  十分統計量
【図１】
2007057714.tif 000012
【図２】
2007057714.tif 000013
【図３】
2007057714.tif 000014
【図４】
2007057714.tif 000015
【図５】
2007057714.tif 000016
【図６】
2007057714.tif 000017
【図７】
2007057714.tif 000018
【図８】
2007057714.tif 000019