(57)【要約】【課題】話者の判定精度が向上する話者判定装置を提供する。【解決手段】音声信号の音声区間を所定時間長に分割してなる各分割音声区間の話者特徴量と、窓口担当者毎に予め生成された話者特徴量との類似度を算出する類似度算出部と、類似度から、各分割音声区間の話者ＩＤを表す一次判定情報を生成する話者一次判定部と、任意の分割音声区間の前または後の所定数の分割音声区間において最も当てはまる話者である近傍話者の話者特徴量と、任意の分割音声区間の話者特徴量との類似度が所定の条件を充たす場合に、近傍話者の話者ＩＤを任意の分割音声区間の二次判定情報とすることにより、二次判定情報を生成する話者二次判定部と、顧客であることを示す二次判定情報と対応する分割音声区間の話者特徴量、すなわち顧客話者特徴量の集合をクラスタリングして顧客の話者ＩＤを生成し、三次判定情報を生成する話者クラスタリング部を含む。【選択図】図１
2019008131.tif 000002
【特許請求の範囲】
【請求項１】
窓口担当者と顧客の会話を記録した音声信号から話者を判定する話者判定装置であって、
前記音声信号の音声区間を所定時間長に分割してなる各分割音声区間の話者特徴量と、前記窓口担当者毎に予め生成された話者特徴量との類似度を算出する類似度算出部と、
前記類似度から、各分割音声区間の話者ＩＤを表す一次判定情報を生成する話者一次判定部と、
任意の分割音声区間の前または後の所定数の分割音声区間において最も当てはまる話者である近傍話者の話者特徴量と、前記任意の分割音声区間の話者特徴量との類似度が所定の条件を充たす場合に、前記近傍話者の話者ＩＤを前記任意の分割音声区間の二次判定情報とすることにより、二次判定情報を生成する話者二次判定部と、
前記顧客であることを示す前記二次判定情報と対応する分割音声区間の話者特徴量、すなわち顧客話者特徴量の集合をクラスタリングして顧客の話者ＩＤを生成し、三次判定情報を生成する話者クラスタリング部
を含む話者判定装置。
【請求項２】
請求項１に記載の話者判定装置であって、
前記話者クラスタリング部は、
前記顧客話者特徴量とこれに対応する時間情報を結合してなる顧客結合話者特徴量の集合をクラスタリングする
話者判定装置。
【請求項３】
請求項１に記載の話者判定装置であって、
前記話者クラスタリング部は、
前記顧客話者特徴量の集合をクラスタリングして各特徴クラスタを求め、前記各特徴クラスタの時間方向のセントロイドに基づいて各時間クラスタを求め、前記各時間クラスタの特徴方向のセントロイドに基づいて前記各特徴クラスタを更新し、更新された各特徴クラスタの時間方向のセントロイドに基づいて各時間クラスタを更新し、前記更新を前記時間方向のセントロイドが収束するまで繰り返し実行する
話者判定装置。
【請求項４】
請求項２に記載の話者判定装置であって、
前記話者クラスタリング部は、
前記顧客結合話者特徴量の集合をクラスタリングして各特徴クラスタを求め、前記各特徴クラスタの時間方向のセントロイドに基づいて各時間クラスタを求め、前記各時間クラスタの特徴方向のセントロイドに基づいて前記各特徴クラスタを更新し、更新された各特徴クラスタの時間方向のセントロイドに基づいて各時間クラスタを更新し、前記更新を前記時間方向のセントロイドが収束するまで繰り返し実行する
話者判定装置。
【請求項５】
窓口担当者と顧客の会話を記録した音声信号から話者を判定する話者判定情報生成方法であって、
前記音声信号の音声区間を所定時間長に分割してなる各分割音声区間の話者特徴量と、前記窓口担当者毎に予め生成された話者特徴量との類似度を算出する類似度算出ステップと、
前記類似度から、各分割音声区間の話者ＩＤを表す一次判定情報を生成する話者一次判定ステップと、
任意の分割音声区間の前または後の所定数の分割音声区間において最も当てはまる話者である近傍話者の話者特徴量と、前記任意の分割音声区間の話者特徴量との類似度が所定の条件を充たす場合に、前記近傍話者の話者ＩＤを前記任意の分割音声区間の二次判定情報とすることにより、二次判定情報を生成する話者二次判定ステップと、
前記顧客であることを示す前記二次判定情報と対応する分割音声区間の話者特徴量、すなわち顧客話者特徴量の集合をクラスタリングして顧客の話者ＩＤを生成し、三次判定情報を生成する話者クラスタリングステップを、
話者判定装置が実行する話者判定情報生成方法。
【請求項６】
請求項５に記載の話者判定情報生成方法であって、
前記話者クラスタリングステップは、
前記顧客話者特徴量とこれに対応する時間情報を結合してなる顧客結合話者特徴量の集合をクラスタリングする
話者判定情報生成方法。
【請求項７】
請求項５に記載の話者判定情報生成方法であって、
前記話者クラスタリングステップは、
前記顧客話者特徴量の集合をクラスタリングして各特徴クラスタを求め、前記各特徴クラスタの時間方向のセントロイドに基づいて各時間クラスタを求め、前記各時間クラスタの特徴方向のセントロイドに基づいて前記各特徴クラスタを更新し、更新された各特徴クラスタの時間方向のセントロイドに基づいて各時間クラスタを更新し、前記更新を前記時間方向のセントロイドが収束するまで繰り返し実行する
話者判定情報生成方法。
【請求項８】
コンピュータを請求項１から４の何れかに記載の話者判定装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号から話者を判定する話者判定装置、話者判定情報生成方法、プログラムに関する。
【背景技術】
【０００２】
近年、企業の顧客満足度が需要視されている。直接要望を聞くことができる企業の応対窓口は顧客満足度において重要な顧客接点である。近年では、窓口に来た顧客の声からマーケティング情報を収集したいという要望や、顧客満足度の向上を目的とした窓口担当者教育において、顧客の属性（性別、年代等）に応じた声の分析や、窓口担当者の応対品質を分析をしたいという要望が存在する。
【０００３】
これらの要望を実現するために、窓口にマイクを置いて音声収録を行い、窓口担当者・顧客が話している区間を判定し、判定した窓口担当者・顧客の音声認識等を行い、頻出している要望やキーワード等を元に顧客要望を分析し、マーケティング情報を収集する方法が考えられる。また顧客の属性推定には、顧客が話している区間について従来の属性推定技術（性別、年代等を推定する技術）を応用すればよい。
【０００４】
顧客が話している区間を判定するには、話者ダイアライゼーション技術を応用することができる。話者ダイアライゼーション技術とは、対話等の音声から「いつ、誰が発話したか」を判定する技術である。話者ダイアライゼーション技術を応用すれば、窓口担当者が話している区間と、顧客が話している区間を判定することが可能となる。従来の話者ダイアライゼーション技術の概要を以下に示す。
（ｉ）予め複数名の窓口担当者について話者ダイアライゼーションシステムに窓口担当者音声として登録をする。
（ｉｉ）収録した音声信号について、ＶＡＤ等の発話区間検出技術により、不要な雑音・無音部分を取り除き、音声区間を検出する。
（ｉｉｉ）検出した音声区間それぞれに対して、登録されている窓口担当者との類似度を求め、類似度が所定の閾値以上の場合は窓口担当者の音声、類似度が所定の閾値未満の場合は登録されていない話者であるため顧客の音声と判定する。
（ｉｖ）（ｉｉｉ）において窓口担当者として判定された音声区間については、一番類似度が高い窓口担当者を、その音声区間の話者と判定する。
（ｖ）（ｉｉｉ）において顧客と判定された音声区間については、当該音声区間全体を用いて、話者クラスタリングを行い、各話者の音声区間を判定する。話者クラスタリングとは、発話ごとに話者性を示すベクトル（i-vector等）を求めて空間上にプロットし、近い距離にあるベクトルの発話を同一の話者として判定する技術である。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】奥貴裕ら、「対談音声認識のための話者ダイアライゼーション」、NHK技研R&D、No.147、2014年9月、p.37-44
【非特許文献２】M. Fujimoto, K. Ishizuka, and T. Nakatani, “A Voice Activity Detection Based on the Adaptive Integration of Multiple Speech Features and a Signal Decision Scheme, ” ICASSP2008, pp. 4441--4444, 2008.
【非特許文献３】N. Dehak, P. Kenny, R. Dehak, P. Dumouchel and P. Ouellet, “Front-end factor analysis for speaker verification,” IEEE Transactions on Audio, Speech, And Language Processing, vol.19, pp.788--798, 2011.
【非特許文献４】D. Pelleg, A.Moore, “X-means: Extending K-means with Efficient Estimation of the Number of Clusters, ” Proc. of ICML, pp.724-734, 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
窓口における会話では、複数の顧客と複数の窓口担当者が存在する。従来の話者ダイアライゼーション技術では、音韻の偏りや、短い発話等により、次のような話者の誤判定が発生する場合があった。
（ａ）ある窓口担当者の発話を別の窓口担当者の発話と誤判定
（ｂ）ある顧客の発話を、当該顧客を担当していない窓口担当者の発話と誤判定
（ｃ）ある顧客の発話を、別の顧客の発話と誤判定
そこで本発明では、話者の判定精度が向上する話者判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の話者判定装置は、窓口担当者と顧客の会話を記録した音声信号から話者を判定する話者判定装置である。本発明の話者判定装置は、類似度算出部と、話者一次判定部と、話者二次判定部と、話者クラスタリング部を含む。
【０００８】
類似度算出部は、音声信号の音声区間を所定時間長に分割してなる各分割音声区間の話者特徴量と、窓口担当者毎に予め生成された話者特徴量との類似度を算出する。
【０００９】
話者一次判定部は、類似度から、各分割音声区間の話者ＩＤを表す一次判定情報を生成する。
【００１０】
話者二次判定部は、任意の分割音声区間の前または後の所定数の分割音声区間において最も当てはまる話者である近傍話者の話者特徴量と、任意の分割音声区間の話者特徴量との類似度が所定の条件を充たす場合に、近傍話者の話者ＩＤを任意の分割音声区間の二次判定情報とすることにより、二次判定情報を生成する。
【００１１】
話者クラスタリング部は、顧客であることを示す二次判定情報と対応する分割音声区間の話者特徴量、すなわち顧客話者特徴量の集合をクラスタリングして顧客の話者ＩＤを生成し、三次判定情報を生成する。
【発明の効果】
【００１２】
本発明の話者判定装置によれば、話者の判定精度が向上する。
【図面の簡単な説明】
【００１３】
【図１】実施例１の話者判定装置の構成を示すブロック図。
【図２】実施例１の話者判定装置の動作を示すフローチャート。
【図３】音声信号から検出された音声区間を所定時間長に分割する例を示す図。
【図４】実施例１の話者二次判定部の構成を示すブロック図。
【図５】実施例１の話者二次判定部の動作を示すフローチャート。
【図６】実施例１の話者クラスタリング部の構成を示すブロック図。
【図７】実施例１の話者クラスタリング部の動作を示すフローチャート。
【図８】実施例２の話者判定装置の構成を示すブロック図。
【図９】実施例２の話者判定装置の一部の動作を示すフローチャート。
【図１０】実施例２の話者クラスタリング部の構成を示すブロック図。
【図１１】実施例２の話者クラスタリング部の動作を示すフローチャート。
【図１２】実施例３の話者判定装置の構成を示すブロック図。
【図１３】実施例３の話者判定装置の一部の動作を示すフローチャート。
【図１４】実施例３の話者クラスタリング部の動作を示すフローチャート。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例１】
【００１５】
以下、図１を参照して実施例１の話者判定装置の構成を説明する。本実施例の話者判定装置１は、音声分割部１１と、話者特徴量抽出部１２と、窓口担当者話者特徴量記憶部１３Ａと、類似度算出部１３と、話者一次判定部１４と、話者二次判定部１５と、話者クラスタリング部１６と、話者発話区間決定部１７を含む。
【００１６】
なお、図1に入力として記載した音声信号s(t)は、窓口担当者と顧客の会話を記録した音声信号であって、そのサンプリング周波数をfs[Hz]とした場合の、サンプル時間t（t=0,1, …,S-1）における振幅である。以下、図２を参照して各構成要件の動作を説明する。
【００１７】
＜音声分割部１１＞
音声分割部１１は、音声信号s(t)を取得して、時間情報Tkを出力する（Ｓ１１）。音声分割部１１の動作について図３を参照してさらに説明する。同図に示すように音声分割部１１は、はじめに音声信号s(t)から音声区間を検出する。続いて音声分割部１１は、音声区間を所定時間長（σ秒、例えばσ＝２）で分割する。音声区間は、例えば非特許文献２のような従来の方法で検出できる。
【００１８】
所定時間長σに分割された音声区間のそれぞれを分割音声区間という。時間情報Tkは、k番目（k=1,...,K, Kは分割音声区間の総数を表す任意の自然数）の分割音声区間の開始時間を意味する。
【００１９】
＜話者特徴量抽出部１２＞
話者特徴量抽出部１２は、各分割音声区間について、話者の特徴を示すベクトルを求める（Ｓ１２）。話者の特徴を示すベクトルを以下、話者特徴量と呼ぶ。話者特徴量は、i-vector（非特許文献３）等を用い、従来の技術にて抽出する。Tkから開始するk番目の分割音声区間から抽出した話者特徴量をIkと表記する。説明を分かりやすくするため、以降は適宜k番目の分割音声区間に注目して説明を進める。
【００２０】
＜窓口担当者話者特徴量記憶部１３Ａ＞
窓口担当者話者特徴量記憶部１３Ａには、予め窓口担当者毎の話者特徴量Jmが生成され、登録されている。mは窓口担当者の話者ＩＤであり、m=1,・・・,Mとする。Mは登録されている窓口担当者の総数であり、任意の自然数である。
【００２１】
＜類似度算出部１３＞
類似度算出部１３は、話者特徴量Ikと話者特徴量Jmを用いて類似度Sk=(Sk1,Sk2,Sk3,・・・,SkM)を算出する（Ｓ１３）。なお、Skmは、k番目の分割音声区間の話者特徴量Ikと、窓口担当者話者特徴量記憶部１３Ａに予め登録されたm番目の窓口担当者の話者特徴量Jmの類似度であり、ユークリッド距離や、コサイン距離を用いる。
【００２２】
＜話者一次判定部１４＞
話者一次判定部１４は、類似度Skから一次判定情報SPkを生成する（Ｓ１４）。一次判定情報SPkは、k番目の分割音声区間の話者ＩＤを表し、SPk∈{1,2,3,…,m,…,M}+{0}であり、SPk=0の場合、窓口担当者ではなく顧客であることを示す。SPkは閾値δを用いて、次の式から求める。
【００２３】
【数１】
2019008131.tif 000003
【００２４】
上の式はすなわち、類似度Skm（m=1,...,M）のうちの最大値が所定の閾値δ以上となる場合には、その最大値に該当する話者ＩＤを一次判定情報SPkとすることを表す。一方、類似度Skm（m=1,...,M）のうちの最大値が所定の閾値δ未満となる場合には、何れの窓口担当者も該当せず、顧客であることを示す話者ＩＤ＝０を一次判定情報SPkとすることを表す。なお、類似度算出部１３で、コサイン距離を用いた場合は、閾値δは0.5近傍の値とすれば好適である。
【００２５】
＜話者二次判定部１５＞
話者一次判定部１４による判定は、音声の言いよどみや音韻の偏り等により誤判定となる場合がある。そこで、話者二次判定部１５は、一次判定情報SPkを修正し、二次判定情報SP'kを生成する（Ｓ１５）。
【００２６】
図４、図５を参照して話者二次判定部１５の構成および動作について説明する。図４に示すように話者二次判定部１５は、近傍話者検出部１５１と、二次判定情報生成部１５２を含む。
【００２７】
注目している任意の分割音声区間（ここでは前述に引き続きk番目の分割音声区間とする）の前後の所定数（L個とする）の分割音声区間において最も当てはまる（最も判定結果が多かった）話者を近傍話者と呼び、近傍話者の話者ＩＤを
【００２８】
【数２】
2019008131.tif 000004
【００２９】
とする。近傍話者検出部１５１は、近傍話者の話者ＩＤを下記のように検出する（Ｓ１５１）。
【００３０】
【数３】
2019008131.tif 000005
【００３１】
上の式はすなわち、k-L番目〜k+L番目の分割音声区間において当てはまる（τ(0)=1）回数が最も多い話者ＩＤが、近傍話者の話者ＩＤとして求められることを意味する。なお、k番目の分割音声区間の前にある所定数(L個)の分割音声区間のみについて近傍話者を求めてもよいし、k番目の分割音声区間の後ろにある所定数(L個)の分割音声区間のみについて近傍話者を求めてもよい。この場合、上式は以下のように変形される。
【００３２】
【数４】
2019008131.tif 000006
【００３３】
次に、二次判定情報生成部１５２は、近傍話者の話者特徴量とk番目の分割音声区間の話者特徴量の類似度Skm^を用いて二次判定情報SP'kを生成する（Ｓ１５２）。具体的には二次判定情報生成部１５２は、下記のように二次判定情報SP'kを生成する。
【００３４】
【数５】
2019008131.tif 000007
【００３５】
上の式はすなわち、類似度Skm^が所定の閾値δ'以上となる場合には、近傍話者に該当する話者ＩＤを二次判定情報SP'kとし、所定の閾値δ'未満となる場合には、顧客に該当する話者ＩＤ＝０を二次判定情報SP'kとすることを表している。なお、閾値δ'をステップＳ１４で使用したδ以上の値にし、判定を厳しくしてもよい。また、近傍話者は前後の一定の窓幅の類似度Skを用いて判定してもよい。具体的には以下の式のように近傍話者を計算してもよい。
【００３６】
【数６】
2019008131.tif 000008
【００３７】
＜話者クラスタリング部１６＞
以下の説明では、顧客であることを示す二次判定情報(SP'k=0)と対応する分割音声区間の話者特徴量を顧客話者特徴量と呼ぶ。
【００３８】
話者クラスタリング部１６は、顧客話者特徴量の集合をクラスタリングして、同一の顧客が発話していると思われる分割音声区間をひとまとめにして、顧客の話者ＩＤを生成して付与し、三次判定情報SP''kを生成する（Ｓ１６）。
【００３９】
図６、図７を参照して話者クラスタリング部１６の構成および動作について説明する。図６に示すように話者クラスタリング部１６は、顧客話者特徴量集合生成部１６１と、特徴クラスタ生成部１６２と、三次判定情報生成部１６３を含む。
【００４０】
顧客話者特徴量集合生成部１６１は、クラスタリング対象である顧客話者特徴量の集合V={Ik|SP'k=0}を生成する（Ｓ１６１）。
【００４１】
特徴クラスタ生成部１６２は、k-means等の一般的なクラスタリング手法により、Vをクラスタリングし、特徴クラスタの集合V1,V2,…,VH（Hは特徴クラスタの総数）を生成する（Ｓ１６２）。
【００４２】
三次判定情報生成部１６３は、三次判定情報SP''kを生成する（Ｓ１６３）。三次判定情報生成部１６３は、例えば次のようにSP''kを生成する。
【００４３】
【数７】
2019008131.tif 000009
【００４４】
Ik∈Vh（h=1,2,…,H）となるIkの所属する特徴クラスタの集合を示す関数である。窓口担当者の話者ＩＤと区別するために、顧客の話者ＩＤは負の値とした。
【００４５】
ステップＳ１６２のクラスタリングのk-means法では、予め特徴クラスタの数として顧客数を与える必要がある。顧客数が未知の場合には、非特許文献４のようにBICを用いたx-means法を用いることも可能である。
【００４６】
＜話者発話区間決定部１７＞
話者発話区間決定部１７は、最終的な処理結果として話者と分割音声区間を統合する。話者発話区間決定部１７は、例えば下記の式で話者と当該話者に対応する分割音声区間の統合を行い、話者判定情報Dkを生成し、出力する（Ｓ１７）。
Dk={SP''k,Tk,Tk+1-1}
本実施例の話者判定装置１によれば、ある分割音声区間の話者を判定する際に、当該分割音声区間だけではなく、当該分割音声区間の前または後の所定数の分割音声区間の類似度を用いることとしたため、話者の判定精度が向上する。
【実施例２】
【００４７】
以下、図８を参照して実施例２の話者判定装置の構成を説明する。本実施例の話者判定装置２は、実施例１と異なる話者クラスタリング部２６を含む。話者クラスタリング部２６以外の構成要件については実施例１と同じである。以下、話者クラスタリング部２６についてのみ説明を行う。
【００４８】
＜話者クラスタリング部２６＞
本実施例の話者クラスタリング部２６は、顧客話者特徴量と対応する時間情報をベクトル結合してなる顧客結合話者特徴量を用いることを特徴とする。
【００４９】
図９に示すように、話者クラスタリング部２６は、顧客結合話者特徴量の集合をクラスタリングして、同一の顧客が発話していると思われる分割音声区間をひとまとめにして、顧客の話者ＩＤを生成して付与し、三次判定情報SP''kを生成する（Ｓ２６）。
【００５０】
図１０、図１１を参照して話者クラスタリング部２６の構成および動作について説明する。図１０に示すように話者クラスタリング部２６は、結合話者特徴量生成部２６１と、顧客結合話者特徴量集合生成部２６２と、特徴クラスタ生成部２６３と、三次判定情報生成部２６４を含む。
【００５１】
結合話者特徴量生成部２６１は、話者特徴量Ikとこれに対応する時間情報Tkを結合し、結合話者特徴量I'k＝（Ik,Tk）を生成する（Ｓ２６１）。結合の方法として、通常は（Ik,Tk）を一つのベクトルとするが、重み係数αを用いて、（Ik,αTk）としたうえで結合してもよい。なお、（Ik,αTk）を結合してクラスタリングを行ったところ、（Ik,Tk）を結合してクラスタリングを行った場合よりも精度が向上することがわかった。
【００５２】
以下、顧客であることを示す二次判定情報(SP'k=0)と対応する分割音声区間の結合話者特徴量を顧客結合話者特徴量と呼ぶ。
【００５３】
顧客結合話者特徴量集合生成部２６２は、顧客結合話者特徴量の集合V'={I'k|SP'k=0（k=1,2,3,・・・,K）}を生成する（Ｓ２６２）。
【００５４】
特徴クラスタ生成部２６３は、k-means等の一般的なクラスタリング手法により、V'をクラスタリングし、特徴クラスタの集合V'1,V'2,…,V'Hを生成する（Ｓ２６３）。
【００５５】
三次判定情報生成部２６４は、三次判定情報SP''kを生成する（Ｓ２６４）。例えば次のようにSP''kを生成する。
【００５６】
【数８】
2019008131.tif 000010
【００５７】
I'k∈V'h（h=1,2,…,H）となるI'kの所属する特徴クラスタの集合を示す関数である。
【００５８】
本実施例の話者判定装置２によれば、クラスタリング対象である顧客結合話者特徴量に時間情報を含むようにしたため、近い時間に話している話者を同一の話者と判定しやすくすることができ、話者の判定精度が向上する。
【実施例３】
【００５９】
以下、図１２を参照して実施例３の話者判定装置の構成を説明する。本実施例の話者判定装置３は、実施例１、２と異なる話者クラスタリング部３６を含む。話者クラスタリング部３６以外の構成要件については実施例１、２と同じである。以下、話者クラスタリング部３６についてのみ説明を行う。
【００６０】
＜話者クラスタリング部３６＞
図１２、図１３を参照して話者クラスタリング部３６の構成および動作について説明する。図１２に示すように話者クラスタリング部３６は、特徴クラスタ更新部３６１と、時間クラスタ更新部３６２を含む。
【００６１】
図１３に示すように、話者クラスタリング部３６は、顧客話者特徴量の集合をクラスタリングして各特徴クラスタを求め、各特徴クラスタの時間方向のセントロイドに基づいて各時間クラスタを求め、各時間クラスタの特徴方向のセントロイドに基づいて各特徴クラスタを更新し、更新された各特徴クラスタの時間方向のセントロイドに基づいて各時間クラスタを更新し、更新を時間方向のセントロイドが収束するまで繰り返し実行する（Ｓ３６）。以下、図１４を参照してステップＳ３６をさらに具体的に説明する。
【００６２】
まず特徴クラスタ更新部３６１は、クラスタリング対象である顧客話者特徴量の集合V={Ik|SP'k=0（k=1,2,3,・・・,K）}を生成する（Ｓ３６１−１）。
【００６３】
次に時間クラスタ更新部３６２は、顧客時間情報の集合U={Tk|SP'k=0（k=1,2,3,・・・,K）}を生成する（Ｓ３６２−１）。
【００６４】
次に特徴クラスタ更新部３６１は、実施例１と同様に、Vを特徴方向にクラスタリングし、特徴クラスタの集合V1,V2,…,VHを生成し、各特徴クラスタの特徴方向のセントロイドc1,c2,…,cHを求める（Ｓ３６１−２）。
【００６５】
次に時間クラスタ更新部３６２は、特徴クラスタの集合V1,V2,…,VHを用いて、時間方向のセントロイドt1,t2,…,tHを求める。具体的には、下記のように求める。
【００６６】
【数９】
2019008131.tif 000011
【００６７】
さらに、時間クラスタ更新部３６２は、各特徴クラスタの時間方向のセントロイドt1,t2,…,tHから、時間方向の話者の境界rh,h+1を求め、時間クラスタの集合U1,U2,…,UHを生成する（Ｓ３６２−２）。例えば時間方向の話者の境界は、下記のように時間方向のセントロイドの中点として与えたり、特徴クラスタにおける所属クラスタと時間クラスタにおける所属クラスタとの一致数の最大化によって、求めることができる。
【００６８】
（１）時間方向の中点に基づく方法
(１−１)時間方向の境界を次のように求める。
rh,h+1=(th+th+1)/2
（１−２）時間クラスタを次のように求める。
Uh={Tk|Tk≧rh,h+1∧Tk<rh+1,h+2}
【００６９】
（２）一致数の最大化に基づく方法
（２−１）時間方向の境界を次のように求める。
rh,h+1=argtmax{|gh(t)|+|g'h(t)|}
ただし、gh(t)={k|Ik∈Vh∧Tk≦t(k=1,2,…,K)},g'h(t)={k|Ik∈Vh+1∧Tk>t(k=1,2,…,K)}とし、g,g'は時間境界t以下／より大にあり、同様に同じクラスタに属している音声の数となる。
（２−２）（１−２）と同様に、時間クラスタを求める。
Uh={Tk|Tk≧rh,h+1∧Tk<rh+1,h+2}
【００７０】
次に特徴クラスタ更新部３６１は、各時間クラスタから特徴方向の初期セントロイドc1,c2,…,cHを求め、特徴方向のクラスタリングを行い、特徴方向のセントロイドc1,c2,…,cHと特徴クラスタの集合V1,V2,…,VHを更新する（Ｓ３６１−３）。特徴クラスタ更新部３６１は、特徴方向の初期セントロイドを下記のように求める。
【００７１】
【数１０】
2019008131.tif 000012
【００７２】
次に時間クラスタ更新部３６２は、各特徴クラスタの時間方向のセントロイドt1,t2,…,tHから、時間方向の話者の境界rh,h+1を求め、時間クラスタの集合U1,U2,…,UHを更新する（Ｓ３６２−３）。
【００７３】
ステップＳ３６１−３、Ｓ３６２−３は、時間方向のセントロイドthが収束し、変化しなくなるまで交互に繰り返し実行される。
【００７４】
その後、時間クラスタ更新部３６２は、時間クラスタの集合U1,U2,…,UHを、特徴クラスタの集合V1,V2,…,VHに反映し（Vh={Ik|Tk∈Uh(k=1,2,…,K)}）、三次判定情報SP''kを生成する（Ｓ３６２−４）。時間クラスタ更新部３６２は、例えば次のようにSP''kを生成する。
【００７５】
【数１１】
2019008131.tif 000013
【００７６】
Ik∈Vh（h=1,2,…,H）となるIkの所属する特徴クラスタの集合を示す関数である。
【００７７】
本実施例における交互の話者クラスタリングも同様に、x-meansの方法を応用し話者数を自動決定してもよい。また、実施例２と実施例３を組み合わせて、顧客結合話者特徴量の集合に対して特徴方向のクラスタリングと、時間方向のクラスタリングを交互に実施してもよい。
【００７８】
本実施例の話者判定装置３によれば、特徴方向のクラスタリングと、時間方向のクラスタリングを交互に実行することにより、誤判定を削減することができる。時間方向のクラスタリングについては、窓口の応対では頻繁に顧客が変わらないであろうという仮定を置いており、この仮定は多くの場合は正しいため、時間方向の１次元のクラスタリングを実行することにより、話者の判定精度が向上する。
【００７９】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００８０】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００８１】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００８２】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００８３】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００８４】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００８５】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８６】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００８７】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００８８】
なお、明細書、特許請求の範囲に記載された各ステップは各種の情報を生成する方法の各ステップに該当する。ここでいう各種の情報は特許法第二条第四項に規定するプログラム等（プログラム…その他電子計算機による処理の用に供する情報であってプログラムに準ずるもの）に該当するため、ここでいう各種の情報は、特許法第二条第三項第一号に規定する物に該当する。従って、明細書、特許請求の範囲に記載された各種の情報を生成する方法はすなわち、特許法第二条第三項第三号に規定する物を生産する方法に該当することはいうまでもない。
【図１】
2019008131.tif 000014
【図２】
2019008131.tif 000015
【図３】
2019008131.tif 000016
【図４】
2019008131.tif 000017
【図５】
2019008131.tif 000018
【図６】
2019008131.tif 000019
【図７】
2019008131.tif 000020
【図８】
2019008131.tif 000021
【図９】
2019008131.tif 000022
【図１０】
2019008131.tif 000023
【図１１】
2019008131.tif 000024
【図１２】
2019008131.tif 000025
【図１３】
2019008131.tif 000026
【図１４】
2019008131.tif 000027