(57)【特許請求の範囲】
【請求項１】
音声信号の波形の包絡線の谷部を境界として前記音声信号を時間軸上で複数の可変長の区間に区分する音声区分手段と、
前記各区間の分類先となる対象クラスタを順次に指定するクラスタ指定手段と、
前記対象クラスタの音響モデルを含むクラスタ情報を生成するクラスタ情報生成手段と、
前記対象クラスタの指定中に前記音声信号の未分類の前記各区間を時間の長い順番で順次に選択区間として選択する区間選択手段と、
前記選択区間内の前記音声信号の特徴量と前記対象クラスタの音響モデルとの類否を判定する類否判定手段と、
前記類否判定手段が類似と判定した場合に前記選択区間を前記対象クラスタに分類する区間分類手段と、
前記類否判定手段が類似と判定した場合に、前記選択区間内の前記音声信号の特徴量に基づいて前記対象クラスタの音響モデルを更新する更新手段と
を具備する音声処理装置。
【請求項２】
前記クラスタ情報生成手段は、未分類で最長の区間内の音声信号の特徴量に基づいて前記音響モデルを生成する
請求項１の音声処理装置。
【請求項３】
前記対象クラスタの前記クラスタ情報は、
別個の方法で各々が生成された第１モデルおよび第２モデルを含む前記音響モデルと、
当該対象クラスタに分類された区間の時間長に応じた分類区間長とを含み、
前記類否判定手段は、
前記クラスタ情報内の分類区間長が閾値を上回るか否かを判定し、
前記判定の結果が肯定である場合に前記選択区間内の前記音声信号の特徴量と前記第１モデルとの類否を判定し、前記判定の結果が否定である場合に前記選択区間内の前記音声信号の特徴量と前記第２モデルとの類否を判定する
請求項１または請求項２の音声処理装置。
【請求項４】
前記対象クラスタの前記クラスタ情報は、当該対象クラスタに分類された区間の時間長に応じた分類区間長を含み、
前記類否判定手段は、前記選択区間内の前記音声信号の特徴量と前記対象クラスタの音響モデルとの類否指標値を類否判定閾値と比較することで両者の類否を判定し、
前記クラスタ情報内の前記分類区間長に応じて前記類否判定閾値を可変に設定する閾値設定手段を具備する
請求項１から請求項３の何れかの音声処理装置。
【請求項５】
話者数を特定する話者数特定手段を具備し、
前記話者数に応じた個数のクラスタに前記各区間が分類された段階で分類を終了する
請求項１から請求項４の何れかの音声処理装置。
【請求項６】
話者数を特定する話者数特定手段と、
前記各区間を分類したクラスタの総数が前記話者数を上回る場合に、クラスタの総数が話者数以下となるまで複数のクラスタを併合するクラスタ併合手段と
を具備する請求項１から請求項４の何れかの音声処理装置。
【請求項７】
前記類否判定手段が何れのクラスタにも分類しなかった未分類区間を、既存の複数のクラスタのうち当該未分類区間内の音声信号の特徴量に最も類似する音響モデルのクラスタに分類する未分類区間処理手段
を具備する請求項１から請求項６の何れかの音声処理装置。
【請求項８】
コンピュータに、
音声信号の波形の包絡線の谷部を境界として前記音声信号を時間軸上で複数の可変長の区間に区分する音声区分処理と、
前記各区間の分類先となる対象クラスタを順次に指定するクラスタ指定処理と、
前記対象クラスタの音響モデルを含むクラスタ情報を生成するクラスタ情報生成処理と、
前記対象クラスタの指定中に前記音声信号の未分類の前記各区間を時間の長い順番で順次に選択区間として選択する区間選択処理と、
前記選択区間内の前記音声信号の特徴量と前記対象クラスタの音響モデルとの類否を判定する類否判定処理と、
前記類否判定処理で類似と判定した場合に前記選択区間を前記対象クラスタに分類する区間分類処理と、
前記類否判定処理で類似と判定した場合に、前記選択区間内の前記音声信号の特徴量に基づいて前記対象クラスタの音響モデルを更新する更新処理と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号を時間軸上で区分した複数の区間を発声者毎に分類（クラスタリング）する技術に関する。
【背景技術】
【０００２】
複数の発声者が随時に発声する環境（例えば会議）で採取された音声信号を発声者毎に区分および分類できれば、例えば会議の議事録の作成などに利用できて便利である。特許文献１には、音声信号を所定の時間毎に区分した複数の区間の各々について音響的な特徴量を抽出し、特徴量が類似する複数の区間を同じ発声者の音声として分類する技術が開示されている。
【特許文献１】特開２００５−３２１５３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、例えば時間の短い順番や時系列の順番で各区間を選択して分類する構成では、複数の区間を発声者毎に正確に分類することは困難である。以上の事情に鑑みて、本発明は、音声信号を区分した複数の区間を正確に分類するという課題の解決をひとつの目的としている。
【課題を解決するための手段】
【０００４】
以上の課題を解決するために、本発明に係る音声処理装置は、音声信号の波形の包絡線の谷部を境界として音声信号を時間軸上で複数の可変長の区間に区分する音声区分手段と、各区間の分類先となる対象クラスタを順次に指定するクラスタ指定手段と、対象クラスタの音響モデルを含むクラスタ情報を生成するクラスタ情報生成手段と、対象クラスタの指定中に音声信号の未分類の各区間を時間の長い順番で順次に選択区間として選択する区間選択手段と、選択区間内の音声信号の特徴量と対象クラスタの音響モデルとの類否を判定する類否判定手段と、類否判定手段が類似と判定した場合に選択区間を対象クラスタに分類する区間分類手段と、類否判定手段が類似と判定した場合に、選択区間内の音声信号の特徴量に基づいて対象クラスタの音響モデルを更新する更新手段とを具備する。以上の構成によれば、音声信号の波形の包絡線の谷部を境界として音声信号を区分した複数の可変長の区間のうち未分類の区間が時間の長い順番で選択されたうえで、対象クラスタに分類された選択区間の特徴量が音響モデルの更新に使用されるから、例えば時間の短い順番や時系列の順番で未分類の区間が選択される構成と比較して、音響モデルの信頼性を早期に高めて各区間を高精度に分類することが可能となる。
【０００５】
本発明の好適な態様において、クラスタ情報生成手段は、未分類で最長の区間内の音声信号の特徴量に基づいて音響モデルを生成する（例えば図３や図６のステップＳA2からステップＳA4）。本態様によれば、未分類で最短の区間や時間的に最先にある区間を音響モデルの作成に使用する構成と比較して、音響モデルの信頼性を早期に高めることができる。
【０００６】
本発明の好適な態様において、対象クラスタのクラスタ情報は、別個の方法で各々が生成された第１モデルおよび第２モデルを含む音響モデルと、当該対象クラスタに分類された区間の時間長に応じた分類区間長とを含み、類否判定手段は、クラスタ情報内の分類区間長が閾値を上回るか否かを判定し、判定の結果が肯定である場合に選択区間内の音声信号の特徴量と第１モデルとの類否を判定し、判定の結果が否定である場合に選択区間内の音声信号の特徴量と第２モデルとの類否を判定する。以上の構成によれば第１モデルおよび第２モデルの双方の利点を利用できるから、各区間の分類の精度をさらに高めることが可能となる。なお、第１モデルには、分類区間長が長い場合に特に信頼性が向上する性質の音響モデル（例えばガウス混合モデルなどの混合モデル）が好適に採用され、第２モデルには、分類区間長が短い場合でも信頼性が確保できる性質の音響モデル（例えば符号帳）が好適に採用される。また、分類区間長は、例えば、対象クラスタに分類された区間の時間長の総和や、対象クラスタに分類された区間から抽出された特徴量の総数である。
【０００７】
本発明の具体的な態様において、対象クラスタのクラスタ情報は、当該対象クラスタに分類された区間の時間長に応じた分類区間長を含み、類否判定手段は、選択区間内の音声信号の特徴量と対象クラスタの音響モデルとの類否指標値（例えば平均尤度ＬやＶＱ歪Ｄ）を類否判定閾値（例えば閾値ＬthやＤth）と比較することで両者の類否を判定し、クラスタ情報内の分類区間長に応じて類否判定閾値を可変に設定する閾値設定手段を具備する。以上の態様によれば、類否判定閾値が可変に制御されるから、分類漏れまたは類否の誤判定を有効に防止できるという利点がある。
【０００８】
本発明の好適な態様に係る音声処理装置は、話者数を特定する話者数特定手段を具備し、話者数に応じた個数のクラスタに各区間が分類された段階で分類を終了する。別の態様に係る音声処理装置は、話者数を特定する話者数特定手段と、各区間を分類したクラスタの総数が話者数を上回る場合に、クラスタの総数が話者数以下となるまで複数のクラスタを併合するクラスタ併合手段とを具備する。以上の各態様によれば、話者数に応じた個数のクラスタに各区間を容易に分類することができる。
【０００９】
さらに好適な態様に係る音声処理装置は、類否判定手段が何れのクラスタにも分類しなかった未分類区間を、既存の複数のクラスタのうち当該未分類区間内の音声信号の特徴量に最も類似する音響モデルのクラスタに分類する未分類区間処理手段を具備する。本態様によれば、各区間の分類漏れを有効に防止できるという利点がある。
【００１０】
本発明に係る音声処理装置は、音声の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、音声信号の波形の包絡線の谷部を境界として音声信号を時間軸上で複数の可変長の区間に区分する音声区分処理と、各区間の分類先となる対象クラスタを順次に指定するクラスタ指定処理（例えば図３や図６のステップＳA1およびＳA14）と、対象クラスタの音響モデルを含むクラスタ情報を生成するクラスタ情報生成処理（例えば図３や図６のステップＳA4）と、対象クラスタの指定中に音声信号の未分類の各区間を時間の長い順番で順次に選択区間として選択する区間選択処理（例えば図３や図６のステップＳA5）と、選択区間内の音声信号の特徴量と対象クラスタの音響モデルとの類否を判定する類否判定処理（例えば図３や図６のステップＳA6からステップＳA10）と、類否判定処理で類似と判定した場合に選択区間を対象クラスタに分類する区間分類処理（例えば図３や図６のステップＳA11）と、類否判定処理で類似と判定した場合に、選択区間内の音声信号の特徴量に基づいて対象クラスタの音響モデルを更新する更新処理（例えば図３や図６のステップＳA12）とをコンピュータに実行させる。以上のプログラムによっても、本発明に係る音声処理装置と同様の作用および効果が奏される。なお、本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【発明を実施するための最良の形態】
【００１２】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音声処理装置の構成を示すブロック図である。同図に示すように、音声処理装置１００は、制御装置１０と記憶装置２０とを具備するコンピュータシステムである。制御装置１０は、プログラムを実行する演算処理装置である。記憶装置２０は、制御装置１０が実行するプログラムや制御装置１０が使用する各種のデータを記憶する。半導体記憶装置や磁気記憶装置など公知の記録媒体が記憶装置２０として任意に採用される。制御装置１０には入力装置２５と出力装置３０とが接続される。入力装置２５は、利用者による操作の内容を制御装置１０に通知する。出力装置３０は、制御装置１０による制御のもとに各種の画像を表示する表示機器である。
【００１３】
記憶装置２０は、音声の時間軸上における波形を表わす音声信号Ｓを記憶する。図２の部分(A)には、音声信号Ｓの時間軸上の波形が例示されている。本形態の音声信号Ｓが表わす音声は、複数の参加者が随時に発言する会議において収音機器を利用して収録された音声である。
【００１４】
図１の制御装置１０は、記憶装置２０に格納されたプログラムを実行することで音声信号Ｓから会議の議事録を作成する。議事録は、各参加者の発言の内容を参加者毎に時系列に配列した会議の記録である。図１に示すように、制御装置１０は、音声区分部１２と特徴抽出部１３と分類処理部１４と音声認識部１６として機能する。なお、制御装置１０の各機能は、音声の処理に専用されるＤＳＰなどの電子回路によっても実現される。また、制御装置１０は、複数の集積回路に分散して実装されてもよい。
【００１５】
音声区分部１２は、図２の部分(D)に示すように、記憶装置２０に格納された音声信号Ｓを、時間軸上で複数の発音区間ＰA（ＰA1，ＰA2，……）と複数の非発音区間ＰBとに区分する。各発音区間ＰAは、ひとりの発声者が連続して発声したと推定される可変長の区間である。非発音区間ＰBは、発声音の音量が充分に小さい（または発声音が存在しない）可変長の区間である。
【００１６】
音声区分部１２は、第１処理と第２処理とを実行する。第１処理は、図２の部分(B)に示すように、音声信号ＳのうちＳＮ比や音量（振幅）が閾値を上回る区間を発音区間ＰAとして検出する処理である。発音区間ＰA以外の区間が非発音区間ＰBとなる。
【００１７】
複数の発声者による発声が間隔をあけずに連続する場合や部分的に重複する場合、第１処理だけでは音声信号Ｓを発声者毎に区分することは困難である。そこで、音声区分部１２は、図２の部分(C)および部分(D)に示すように、音声信号Ｓの波形の包絡線（エンベロープ）Ｅに現れる複数の谷部Ｄの各々を境界として各発音区間ＰAを区分する第２処理を実行する。人間による一連の発話には、一般的に、発話の開始点から音量が徐々に増加するとともに中途の時点から発話の終了点にかけて音量が徐々に減少するという傾向がある。したがって、谷部Ｄを境界として発音区間ＰAを区分する構成によれば、複数の発話が連続または重複する場合であっても、各発声者による発声は別個の発音区間ＰAに区分される。音声区分部１２による区分後の発音区間ＰA（ＰA1，ＰA2，……）の総数を以下ではＪ個（Ｊは２以上の正数）とする。なお、図２の部分(D)に示すように、非発音区間ＰBは、内部に谷部Ｄがあっても第２処理では分割されない。
【００１８】
図１の特徴抽出部１３は、Ｊ個の発音区間ＰAの各々について音声信号Ｓの音響的な特徴量を抽出して記憶装置２０に格納する。本形態においてひとつの発音区間ＰAから抽出される特徴量は、当該発音区間ＰAを区分した各フレームの音声信号Ｓから算定されたＭＦＣＣ(Mel Frequency Cepstral Coefficient)のベクトル（以下「特徴ベクトル」という）ｘの時系列である。
【００１９】
分類処理部１４は、音声区分部１２が画定したＪ個の発音区間ＰAを、特徴抽出部１３が抽出した特徴ベクトルｘに基づいて発声者（会議の参加者）毎に分類する。すなわち、Ｊ個の発音区間ＰAのうち同じ発声者が発声した可能性の高い発音区間ＰAは共通の集合（クラスタ）に分類される。非発音区間ＰBは分類の対象から除外される。
【００２０】
音声認識部１６は、分類処理部１４による分類後の各発音区間ＰAの音声信号Ｓから発声者毎の発言の内容を文字として特定する。各発音区間ＰAの音声信号Ｓから文字を認識する処理には、公知の音声認識技術が任意に採用される。例えば、音声認識部１６は、第１に、ひとつのクラスタに分類された各発音区間ＰAの音声信号Ｓの音響的な特徴量に応じて初期的な音響モデルを更新（話者適応）することで、当該クラスタに対応した発声者の特徴を固有に反映した音響モデルを生成し、第２に、話者適応後の音響モデルとクラスタ内の各発音区間ＰAの音声信号から抽出された特徴量を対比することで、発声者が発言した文字を特定する。制御装置１０は、音声認識部１６による処理の結果を出力装置３０に出力する。出力装置３０は、発声の時刻と、発声者の識別符号（例えば発声者の氏名）と、当該発声の内容について音声認識部１６が同定した文字とを時系列に配列した議事録の画像を表示する。
【００２１】
次に、図３を参照して分類処理部１４の動作を詳述する。入力装置２５の操作によって利用者が議事録の作成を指示すると、音声区分部１２による音声信号Ｓの区分と特徴抽出部１３による特徴ベクトルｘの抽出とに続いて図３の処理が開始される。
【００２２】
議事録の作成を指示すると、利用者は、入力装置２５を適宜に操作することで音声信号Ｓの収録時における話者数Ｖを入力する。分類処理部１４は、利用者が入力した話者数Ｖを入力装置２５から取得する（ステップＳA0）。さらに、分類処理部１４は、各発音区間ＰAの分類先の候補となる各クラスタの番号（以下「クラスタ番号」という）ｎを「１」に初期化する（ステップＳA1）。すなわち、分類処理部１４は、クラスタ番号ｎが「１」であるクラスタＣL1を指定する。分類処理部１４が現に指定しているクラスタを以下では特に「対象クラスタ」と表記する。
【００２３】
次いで、分類処理部１４は、現段階で何れのクラスタにも分類されていない発音区間ＰAのうち時間長が最長であるひとつの発音区間ＰAを選択する（ステップＳA2）。そして、分類処理部１４は、ステップＳA2で選択した発音区間ＰAを対象クラスタＣLnに分類する（ステップＳA3）。すなわち、分類処理部１４は、ステップＳA2で選択した発音区間ＰAの始点および終点の時刻と現段階のクラスタ番号ｎとを対応させて記憶装置２０に格納する。図２の部分(E1)には、図３の処理を開始した直後のステップＳA3にて発音区間ＰA4を対象クラスタＣL1に分類した状態が例示されている。
【００２４】
さらに、分類処理部１４は、対象クラスタＣLnのクラスタ情報ＣINF[n]を新規に作成して記憶装置２０に格納する（ステップＳA4）。ひとつのクラスタ情報ＣINF[n]は、図４に示すように、分類区間長Ｔと音響モデルＸとを含む。分類区間長Ｔは、対象クラスタＣLnに分類された発音区間ＰAの時間長の総和である。ステップＳA4の段階ではステップＳA2で選択した発音区間ＰAのみが対象クラスタＣLnに分類されているから、分類処理部１４は、当該発音区間ＰAの時間長を分類区間長Ｔとして設定する。音響モデルＸは、対象クラスタＣLnに分類されるべき発音区間ＰAの音響的な特徴量をモデル化する。本形態の音響モデルＸは、混合モデルλと符号帳（コードブック）ＣAとで構成される。
【００２５】
混合モデルλは、ステップＳA2で選択した発音区間ＰAの音声信号Ｓから特徴抽出部１３が抽出した特徴ベクトルｘの時系列をＭ個の確率分布の加重和としてモデル化する関数である。本形態においては、Ｍ個の正規分布の加重和として以下の式(1)で表現されるガウス混合モデルを混合モデルλとして採用する。混合モデルλの生成にはＥＭ（Expectation-Maximization）アルゴリズムなど公知の技術が任意に採用される。
λ＝｛ｐi，μi，Σi｝  （ｉ＝１〜Ｍ）  ……(1)
式(1)のｐiは、第ｉ番目の正規分布の加重値（重み値）である。加重値ｐ1〜ｐMの総和は１である。式(1)のμiは第ｉ番目の正規分布の平均ベクトルであり、Σiは第ｉ番目の正規分布の共分散行列である。なお、式(1)のμiのように、実際にはベクトルを意味する記号であっても、当該記号がベクトルを意味することを例えば「平均ベクトル」という表現で明示したうえで、本明細書ではベクトルの記号（文字上の右向き矢印）を省略する。
【００２６】
符号帳ＣAは、ステップＳA2で選択した発音区間ＰA内の特徴ベクトルｘの時系列に対応した複数のセントロイドベクトル（コードベクトル）を定義する。符号帳ＣAの作成には、k-means法やLBGアルゴリズムなど公知の技術が任意に採用される。
【００２７】
以上の手順で新規なクラスタ情報ＣINF[n]を作成すると、分類処理部１４は、現段階で何れのクラスタにも分類されていない発音区間ＰAのなかから時間長が最長であるひとつの発音区間ＰAを選択する（ステップＳA5）。次いで、分類処理部１４は、ステップＳA5で選択した発音区間ＰA（以下では特に「選択区間ＰA」という）の特徴ベクトルｘの時系列とクラスタ情報ＣINF[n]の音響モデルＸとの類否を判定する（ステップＳA6からステップＳA10）。なお、ステップＳA6からステップＳA10までの処理の詳細については後述する。
【００２８】
選択区間ＰAの特徴ベクトルｘと音響モデルＸとが類似すると判定した場合、分類処理部１４は、選択区間ＰAを対象クラスタＣLnに分類する（ステップＳA11）。すなわち、分類処理部１４は、選択区間ＰAの始点および終点の時刻と現段階のクラスタ番号ｎとを対応させて記憶装置２０に格納する。図２の部分(E2)には、発音区間ＰA5を対象クラスタＣL1に分類した状態が例示されている。
【００２９】
さらに、分類処理部１４は、対象クラスタＣLnのクラスタ情報ＣINF[n]を選択区間ＰAの特徴ベクトルｘに基づいて更新する（ステップＳA12）。すなわち、分類処理部１４は、過去に対象クラスタＣLnに分類された総ての発音区間ＰAの特徴ベクトルｘと直前のステップＳA11にて新規に対象クラスタＣLnに分類された選択区間ＰAの特徴ベクトルｘとに基づいて混合モデルλと符号帳ＣAとを生成したうえで更新後の音響モデルＸとして記憶装置２０に格納する。さらに、分類処理部１４は、クラスタ情報ＣINF[n]の分類区間長Ｔに今回の選択区間ＰAの時間長を加算する。以上の更新が完了すると、分類処理部１４は、ステップＳA13に処理を移行する。
【００３０】
一方、選択区間ＰAの特徴ベクトルｘと音響モデルＸとが類似しないと判定した場合、分類処理部１４は、ステップＳA11およびステップＳA12を経ずにステップＳA13に処理を移行する。すなわち、対象クラスタＣLnの音響モデルＸに音響的な特徴が類似しない発音区間ＰAは当該対象クラスタＣLnに分類されない。
【００３１】
ステップＳA13において、分類処理部１４は、未分類の総ての発音区間ＰAについてステップＳA5からステップＳA12までの処理を完了したか否かを判定する。ステップＳA13の結果が否定である場合、分類処理部１４は、未分類で最長の発音区間ＰAをステップＳA5にて新たな選択区間ＰAとして選択したうえで、ステップＳA6以後の処理を実行する。図２の部分(E3)には、２回目以降のステップＳA11にて発音区間ＰA1を対象クラスタＣL1に分類した状態が例示されている。以上のように、分類処理部１４は、ひとつの対象クラスタＣLnの指定中に未分類の各発音区間ＰAを時間の長い順番で順次に選択区間ＰAとして選択し、選択区間ＰAが対象クラスタＣLnに分類されるたびに、当該選択区間ＰAの特徴ベクトルｘに基づいて対象クラスタＣLnのクラスタ情報ＣINF[n]（音響モデルＸおよび分類区間長Ｔ）を更新する。
【００３２】
ところで、混合モデルλや符号帳ＣAの生成に使用された特徴ベクトルｘの個数が少ない場合、符号帳ＣAは、混合モデルλと比較して音声信号Ｓの音響的な特徴を忠実に反映するという傾向がある。一方、特徴ベクトルｘの個数が多ければ、混合モデルλは、符号帳ＣAと比較して音声信号Ｓの音響的な特徴を忠実に反映する。したがって、選択区間ＰAの特徴ベクトルｘと対比される音響モデルＸとしては、符号帳ＣAや混合モデルλの生成に使用された特徴ベクトルｘの個数が少ない段階では符号帳ＣAが好適であり、充分な個数の特徴ベクトルｘが確保された段階では混合モデルλが好適である。そこで、本形態のステップＳA6からステップＳA10における選択区間ＰAとの類否の判定には、クラスタ情報ＣINF[n]の分類区間長Ｔが閾値Ｔthを上回る場合（すなわち音響モデルＸの生成に使用された特徴ベクトルｘの個数が多い場合）には混合モデルλを使用し、分類区間長Ｔが閾値Ｔth以下である場合（すなわち特徴ベクトルｘの個数が少ない場合）には符号帳ＣAを使用する。さらに詳述すると以下の通りである。
【００３３】
ステップＳA6において、分類処理部１４は、クラスタ情報ＣINF[n]の分類区間長Ｔが閾値Ｔthを上回るか否かを判定する。ステップＳA6の結果が肯定である場合、分類処理部１４は、クラスタ情報ＣINF[n]の混合モデルλと選択区間ＰAから抽出された特徴ベクトルｘの時系列とに基づいて平均尤度Ｌを算定する（ステップＳA7）。平均尤度Ｌは、以下に詳述するように、選択区間ＰAの各特徴ベクトルｘが混合モデルλから出現する確率（尤度）を当該選択区間ＰA内の総ての特徴ベクトルｘについて平均した数値である。
【００３４】
ひとつの特徴ベクトルｘをＤ次元のベクトルとすると、混合モデルλから特徴ベクトルｘが出現する尤度は以下の式(2)で算定される。
【数１】
0004973352.tif 000002
【００３５】
分類処理部１４は、選択区間ＰAについて特徴抽出部１３が抽出したＫ個の特徴ベクトルｘ（ｘ1〜ｘK）を以下の式(3)に代入することで平均尤度Ｌを算定する。式(3)から理解されるように、混合モデルλの表わす音響的な特徴と特徴ベクトルｘの表わす音響的な特徴とが類似するほど平均尤度Ｌは大きくなる。
【数２】
0004973352.tif 000003
【００３６】
次に、分類処理部１４は、ステップＳA7にて算定した平均尤度Ｌが閾値Ｌthを上回るか否かを判定する（ステップＳA8）。分類処理部１４は、ステップＳA8の結果が肯定である場合（すなわち混合モデルλと選択区間ＰAの特徴ベクトルｘとが類似する場合）には処理をステップＳA11に移行し、ステップＳA8の結果が否定である場合には処理をステップＳA13に移行する。
【００３７】
一方、ステップＳA6の結果が否定である場合（すなわち音響モデルＸの作成に使用された特徴ベクトルｘの個数が未だ少ない場合）、分類処理部１４は、クラスタ情報ＣINF[n]の符号帳ＣAと選択区間ＰAから抽出された特徴ベクトルｘ（ｘ1〜ｘK）の時系列とに基づいてＶＱ（Vector-Quantization）歪Ｄを算定する（ステップＳA9）。ＶＱ歪Ｄは、例えば以下の式(4)で算定される。
【数３】
0004973352.tif 000004
【００３８】
式(4)における|ＣA|は、符号帳ＣAのサイズであり、ＣA(i)は、符号帳ＣAにおける第ｉ番目のセントロイドベクトルである。また、ｄ(X,Y)は、ベクトルＸとベクトルＹとのユークリッド距離を意味する。以上のように、ＶＱ歪Ｄは、符号帳ＣA内の|ＣA|個のセントロイドベクトルと選択区間ＰAの特徴ベクトルｘとの最小値（min）をＫ個の特徴ベクトルｘ1〜ｘKにわたって平均化した数値である。したがって、符号帳ＣAの表わす音響的な特徴と特徴ベクトルｘの表わす音響的な特徴とが類似するほどＶＱ歪Ｄは小さくなる。
【００３９】
分類処理部１４は、ステップＳA9にて算定したＶＱ歪Ｄが閾値Ｄthを下回るか否かを判定する（ステップＳA10）。分類処理部１４は、ステップＳA10の結果が肯定である場合（すなわち符号帳ＣAと選択区間ＰAの特徴ベクトルｘとが類似する場合）には処理をステップＳA11に移行し、ステップＳA10の結果が否定である場合には処理をステップＳA13に移行する。
【００４０】
以上に説明した類否の判定後のステップＳA13において未分類の総ての発音区間ＰAの処理が完了したと判定すると、分類処理部１４は、クラスタ番号ｎに「１」を加算する（ステップＳA14）。すなわち、未分類の総ての発音区間ＰAについてステップＳA5からステップＳA12までの処理を完了するたびに新たな対象クラスタＣLnが順次に指定される。
【００４１】
次に、分類処理部１４は、ステップＳA14における加算後のクラスタ番号ｎが、ステップＳA0にて取得した話者数Ｖを上回るか否かを判定する（ステップＳA15）。ステップＳA15の結果が否定である場合、分類処理部１４は、ステップＳA14における更新後のクラスタ番号ｎについてステップＳA2以後の処理を実行することで各発音区間ＰAを新たな対象クラスタＣLnに分類する。
【００４２】
例えば、ステップＳA14で新たな対象クラスタＣL2が選択された直後のステップＳA3においては、図２の部分(E4)のように未分類で最長の発音区間ＰA2が対象クラスタＣL2に分類される。そして、直後のステップＳA4においてはクラスタ情報ＣINF[2]が記憶装置２０に生成される。すなわち、新規な対象クラスタＣLnが指定されるたびに、図４のように新規なクラスタ情報ＣINF[n]が順次に生成される。また、図２の部分(E5)には、対象クラスタＣL2の指定中のステップＳA11にて発音区間ＰA3を当該対象クラスタＣL2に分類した状態が例示されている。
【００４３】
一方、ステップＳA15の結果が肯定である場合（すなわち発音区間ＰAが話者数Ｖのクラスタに分類された場合）、分類処理部１４は処理をステップＳA16に移行する。ステップＳA16において、分類処理部１４は、未だ何れのクラスタにも分類されていない発音区間ＰA（以下では特に「未分類区間ＰA」という）を、既存のＶ個のクラスタＣL1〜ＣLVのうち、未分類区間ＰAの特徴ベクトルｘの時系列が最も類似する混合モデルλのクラスタＣLに分類する未分類区間処理を実行する。以下では図５を参照して未分類区間処理の具体的な内容を説明する。
【００４４】
未分類区間処理を開始すると、分類処理部１４は、未分類区間ＰAが存在するか否かを判定する（ステップＳB1）。ステップＳB1の結果が肯定である場合、分類処理部１４は、記憶装置２０に格納された総て（Ｖ個）のクラスタ情報ＣINF（ＣINF[1]〜ＣINF[V]）の各々について、混合モデルλとひとつの未分類区間ＰAの特徴ベクトルｘの時系列との平均尤度Ｌを式(3)に基づいて算定する（ステップＳB2）。次いで、分類処理部１４は、ステップＳB2にて算定したＶ個の平均尤度Ｌのなかから最大値Ｌmaxを選定し（ステップＳB3）、最大値Ｌmaxが閾値ＴＨを上回るか否かを判定する（ステップＳB4）。閾値ＴＨは、ステップＳA8の閾値Ｌthよりも小さい数値に設定される。
【００４５】
ステップＳB4の結果が肯定である場合（類似）、分類処理部１４は、平均尤度Ｌが最大値ＬmaxとなったクラスタＣLに未分類区間ＰAを分類する（ステップＳB5）。一方、ステップＳB4の結果が否定である場合、分類処理部１４はステップＳB5を実行しない。すなわち、未分類区間ＰAは何れのクラスタＣL1〜ＣLVの何れにも分類されず、非発音区間ＰBと同等に処理される。ステップＳB2からステップＳB5の処理は総ての未分類区間ＰAについて反復される。分類処理部１４は、総ての未分類区間ＰAについて処理が完了した段階（ステップＳB1：NO）で未分類区間処理を終了する。
【００４６】
以上に説明したように、本形態においては、音声信号Ｓを各発声者の発話毎に可変長の発音区間ＰAに区分したうえで分類するから、音声信号Ｓが固定長に区分される特許文献１の構成と比較して、各発音区間ＰAを高い精度で発声者毎に分類することが可能である。したがって、音声信号Ｓから正確な議事録を作成することができる。
【００４７】
さらに、未分類の発音区間ＰAが時間の長い順番で選択区間ＰAとして順次に選択され、対象クラスタＣLnに分類された選択区間ＰAがクラスタ情報ＣINF[n]の更新に使用される。発音区間ＰAの時間長が長いほど多数の特徴ベクトルｘが当該発音区間ＰAから抽出されるから、例えば未分類の発音区間ＰAを時間の短い順番や時系列の順番に選択区間ＰAとして選択する構成と比較して迅速に、クラスタ情報ＣINF[n]の音響モデルＸを、多数の特徴ベクトルｘを反映した信頼性の高い音響モデル（すなわち各発声者の実際の発声音の特性を忠実に反映した音響モデル）に更新することが可能である。また、ステップＳA4におけるクラスタ情報ＣINF[n]（音響モデルＸ）の新規作成には、未分類で最長の発音区間ＰAが使用されるから、例えば時間長が最短の発音区間ＰAや時間的に最先の発音区間ＰAがクラスタ情報ＣINF[n]の作成に使用される構成と比較して、ステップＳA4で新規に作成される音響モデルＸの信頼性も高い。以上のように分類の早期の段階で音響モデルＸの信頼性が確保されるから、本形態によれば各発音区間ＰAを高精度に分類できるという利点がある。
【００４８】
また、選択区間ＰAの特徴ベクトルｘと音響モデルＸとの類否の判定（ステップＳA6からステップＳA10）においては混合モデルλと符号帳ＣAとが分類区間長Ｔに応じて選択的に使用されるから、多数の特徴ベクトルｘが生成に使用された場合に特に信頼性が高いという混合モデルλの利点と、生成に使用される特徴ベクトルｘが少数であっても信頼性が確保されるという符号帳ＣAの利点とをともに享受できる。したがって、１種類の音響モデルＸ（混合モデルλおよび符号帳ＣAの一方）のみが使用される構成と比較して、各発音区間ＰAの分類の精度を高めることが可能である。
【００４９】
本形態においては、発音区間ＰAの分類数が話者数Ｖに到達した段階で分類が終了するから、発音区間ＰAを現実の発声者の総数に分類することが容易である。さらに、分類の終了時における未分類区間ＰAは、音響的な特性が最も類似するクラスタＣLに分類されるから、例えば未分類区間ＰAを破棄する構成（ステップＳA16を省略した構成）と比較して、発音区間ＰAの分類の漏れが有効に抑制される。会議の議事録においては発言の欠落（記載漏れ）が特に重大な問題となり得るから、未分類区間処理による以上の効果は格別に有効である。
【００５０】
＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態について説明する。第１実施形態においては、発音区間ＰAの分類数（クラスタ数）が話者数Ｖに到達した段階で分類を終了する構成を例示した。これに対し、本形態においては、Ｊ個の発音区間ＰAの総てが何れかのクラスタＣLに分類されるまで発音区間ＰAの分類が継続される。なお、以下の各形態において作用や機能が第１実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
【００５１】
図６は、分類処理部１４の動作を示すフローチャートである。同図に示すように、ステップＳA0からステップＳA14までの処理は第１実施形態と同様である。ステップＳA14に続いて、分類処理部１４は、全部（Ｊ個）の発音区間ＰAを分類し終えたか否かを判定する（ステップＳA17）。ステップＳA17の結果が否定である場合、分類処理部１４は、直前のステップＳA14にて新たに指定した対象クラスタＣLnを対象としてステップＳA2以後の処理を実行する。すなわち、総ての発音区間ＰAが何れかのクラスタＣLに分類されるまでステップＳA2からステップＳA14の処理が反復される。したがって、最終的な分類数（クラスタ数）Ｎは話者数Ｖを上回る可能性がある。
【００５２】
ステップＳA17の結果が肯定である場合、分類処理部１４は、現段階における分類数ＮがステップＳA0にて特定された話者数Ｖを上回るか否かを判定する（ステップＳA18）。ステップＳA18の結果が否定である場合（すなわち発音区間ＰAが話者数Ｖのクラスタに分類された場合）、分類処理部１４は、図６の処理を終了する。一方、ステップＳA18の結果が肯定である場合、分類処理部１４は、分類数Ｎが話者数Ｖ以下となるまで複数のクラスタを順次に併合する（ステップＳA19およびステップＳA20）。
【００５３】
ステップＳA19において、分類処理部１４は、Ｎ個のなかから２個のクラスタを選択する全通り（NＣ2通り）の組合せについて、両者の音響モデルＸの類否の指標となる数値（以下「クラスタ類否指標値」という）を算定する。例えば、クラスタ類否指標値は、２個のクラスタについてクラスタ情報ＣINFの混合モデルλを対比することで算定される。すなわち、分類処理部１４は、一方のクラスタＣLaの混合モデルλにおけるＭ個の平均ベクトルμaの各々について、他方のクラスタＣLbの混合モデルλにおけるＭ個の平均ベクトルμbのうち平均ベクトルμaとの距離（例えばユークリッド距離）が最小となる平均ベクトルμbを重複なく選択することで平均ベクトルμaとμbとのＭ個の組合せを決定する。そして、分類処理部１４は、各組合せに属する平均ベクトルμaとμbとの距離をＭ個の組合せについて加算した数値をクラスタ類否指標値として算定する。したがって、クラスタＣLaとＣLbとで混合モデルλが類似するほどクラスタ類否指標値は小さくなる。
【００５４】
ステップＳA20において、分類処理部１４は、NＣ2通りの組合せのうちクラスタ類否指標値が最小となる組合せに属する２個のクラスタを併合したうえで分類数Ｎから「１」を減算する。クラスタの併合には公知の技術が任意に採用される。以上に説明したクラスタの併合が反復されることでステップＳA18の結果が否定に変化する。なお、ステップＳA19においては、各クラスタの符号帳ＣAにおけるセントロイドベクトルを混合モデルλの平均ベクトルμの代わりに利用することでクラスタ類否指標値を算定してもよい。本形態においても第１実施形態と同様の効果が奏される。
【００５５】
＜Ｃ：第３実施形態＞
次に、本発明の第３実施形態について説明する。以上の各形態においては、ステップＳA8で使用する閾値ＬthおよびステップＳA10で使用する閾値Ｄthを固定値とした。これに対して本形態においては、分類処理部１４が閾値Ｌthおよび閾値Ｄthを可変に制御する。
【００５６】
図７は、分類処理部１４の動作を部分的に示すフローチャートである。同図に示すように、本形態においては、ステップＳA6の結果が肯定である場合にステップＳC1が実行されるとともにステップＳA6の結果が否定である場合にステップＳC2が実行される。ステップＳC1およびＳC2以外の処理は第１実施形態や第２実施形態と同様である。
【００５７】
ステップＳC1において、分類処理部１４は、対象クラスタＣLnのクラスタ情報ＣINF[n]内の分類区間長Ｔに応じて閾値Ｌthを可変に制御する。分類区間長Ｔが長いほど混合モデルλの信頼性は高まるから、選択区間ＰAの特徴ベクトルｘと混合モデルλとが類似の場合と非類似の場合とで平均尤度Ｌの相違は拡大する。そこで、分類処理部１４は、分類区間長Ｔが長いほど閾値Ｌthを小さい数値に設定する。以上の構成によれば、特定の発声者による発声音の特性（例えば音高や音量）が変化した場合であってもステップＳA8にて類似と判定できる可能性が高まる。したがって、発音区間ＰAの分類の漏れ（本来ならば対象クラスタＣLnに分類されるべき発音区間ＰAが分類されない状態）を防止することが可能である。
【００５８】
一方、ステップＳC2において、分類処理部１４は、クラスタ情報ＣINF[n]内の分類区間長Ｔに応じて閾値Ｄthを可変に制御する。例えば、分類処理部１４は、分類区間長Ｔが長いほど閾値Ｄthを大きい数値に設定する。以上の構成によれば、ステップＳC1と同様に、発音区間ＰAの分類の漏れの可能性が低減される。
【００５９】
なお、以上においては分類漏れの防止を優先させた場合を例示したが、類否の判定の厳格化を優先させるべき場合には閾値ＬthやＤthを分類区間長Ｔに対して以上の例示とは逆方向に変化させてもよい。すなわち、分類区間長Ｔが長いほど分類処理部１４が閾値Ｌthを増加させるとともに閾値Ｄthを減少させる構成によれば、特定の発声者に対応した音響モデルＸと別人の特徴ベクトルｘとが類似すると誤判定される可能性を低減することが可能である。また、閾値ＬthおよびＤthを制御する時期は以上の例示に限定されない。例えば、ステップＳA6の判定に先立って閾値ＬthおよびＤthの双方が分類区間長Ｔに応じて設定される構成も採用できる。
【００６０】
＜Ｄ：変形例＞
以上の各形態には様々な変形を加えることができる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から２以上の態様を任意に選択して組合わせてもよい。
【００６１】
（１）変形例１  
以上の各形態においては、未分類で最長の発音区間ＰAをステップＳA4でクラスタ情報ＣINF[n]の作成に利用したが、クラスタ情報ＣINF[n]の新規作成に利用される発音区間ＰAの条件は適宜に変更される。例えば、時間軸上で最先（最も古い）にある未分類の発音区間ＰAをステップＳA2にて選択したうえで当該発音区間ＰAの特徴ベクトルｘからクラスタ情報ＣINF[n]を作成してもよい。ただし、以上の各形態のように最長の発音区間ＰAをステップＳA4にて使用する構成によれば、前述のように音響モデルＸの信頼性を早い段階で高めることができるという利点がある。
【００６２】
（２）変形例２  
以上の各形態においては混合モデルλと符号帳ＣAとを音響モデルＸとして採用したが、音響モデルＸの態様は適宜に変更される。分類区間長Ｔ（特徴ベクトルｘの総数）に応じて複数の音響モデルの何れかを選択する構成においては、分類区間長Ｔが長い場合に充分な信頼性が得られる音響モデルと、分類区間長Ｔが短い場合であっても信頼性が得られる音響モデルとを選択的に使用する構成が好適である。もっとも、複数の音響モデルを選択的に使用する構成は本発明において必須ではない。すなわち、混合モデルλのみを音響モデルＸとして使用する構成（例えばステップＳA6，ＳA9およびＳA10を省略した構成）や、符号帳ＣAのみを音響モデルＸとして使用する構成（例えばステップＳA6，ＳA7およびＳA8を省略した構成）も採用される。
【００６３】
（３）変形例３  
第１実施形態においては未分類区間処理（図５）にて未分類区間ＰAの特徴ベクトルｘと混合モデルλとの類否を判定したが、未分類区間ＰAの特徴ベクトルｘと符号帳ＣAとの類否を判定する構成も採用される。すなわち、分類処理部１４は、未分類区間ＰAと総てのクラスタＣLの符号帳ＣAとのＶＱ歪Ｄを算定する（ステップＳB2）とともにＶＱ歪Ｄの最小値Ｄminを選定し（ステップＳB3）、最小値Ｄminが閾値ＴＨを下回る場合（ステップＳB4：YES）には最小値Ｄminが算定されたクラスタに未分類区間ＰAを分類する（ステップＳB5）。
【００６４】
（４）変形例４  
第３実施形態においては分類区間長Ｔに応じて閾値ＬthおよびＤthを制御したが、閾値ＬthやＤthを決定する基準となる数値は分類区間長Ｔに限定されない。例えば、音声信号ＳのＳＮ比に基づいて閾値ＬthやＤthを制御する構成も採用される。すなわち、分類処理部１４は、ステップＳA5にて選択した選択区間ＰAの音声信号ＳからＳＮ比を算定し、ＳＮ比が低いほど閾値Ｌthを小さい数値に設定するとともに閾値Ｄthを大きい数値に設定する。音声信号Ｓの特徴ベクトルｘは雑音の影響を受けるから、閾値ＬthやＤthが固定であるとすれば、音声信号ＳのＳＮ比が低いほど、音響モデルＸに実際には類似する選択区間ＰAの特徴ベクトルｘがステップＳA8やＳA10にて非類似と誤判定される可能性が高い。ＳＮ比に応じて閾値ＬthやＤthを可変に制御する構成によれば、ＳＮ比に起因した誤判定の可能性が低減されるという利点がある。なお、選択区間ＰA（発音区間ＰA）のＳＮ比は、選択区間ＰA内の音声信号Ｓの平均強度と選択区間ＰAの直前の非発音区間ＰBの平均強度との相対比として算定される。
【００６５】
（５）変形例５  
音声信号Ｓの区分には、以上の例示の他にも公知の技術が任意に採用される。例えば、ＳＮ比や音量と閾値との大小のみに応じて音声信号Ｓを発音区間ＰAと非発音区間ＰBとに区分する構成（音声区分部１２が第１処理のみを実行する構成）も採用される。また、発音区間ＰAと非発音区間ＰBとを区別する必要は必ずしもない。例えば、包絡線Ｅの谷部Ｄのみを境界として音声信号Ｓを複数の区間に区分する構成（音声区分部１２が第２処理のみを実行する構成）も採用される。
【００６６】
（６）変形例６  
分類区間長Ｔは、音響モデルＸの信頼性の指標となる数値であれば足り、対象クラスタＣLnに分類された発音区間ＰAの時間長の総和に限定されない。例えば、音響モデルＸの生成に使用された特徴ベクトルｘの個数が増加する（分類区間長Ｔが増加する）ほど音響モデルＸの信頼性は高まるから、対象クラスタＣLnに分類された発音区間ＰAの特徴ベクトルｘの総数や当該発音区間ＰA内のフレームの総数を分類区間長Ｔとして利用してもよい。
【００６７】
（７）変形例７  
音声処理装置１００が作成した議事録を印刷する印刷装置を出力装置３０として採用してもよい。もっとも、音声処理装置１００による処理の結果が議事録（文字）の形式で出力される必要はなく、例えば分類処理部１４による分類の結果を出力することも可能である。例えば、複数の発音区間ＰAのうち利用者が指定した時刻を含む発音区間ＰA内の音声信号Ｓを放音装置（例えばスピーカ）から音波として出力する構成によれば、利用者が各発声者の発言を選択的に聴取して適宜に確認しながら会議の議事録を作成するといった作業を有効に支援することが可能である。また、音声信号Ｓが複数の区間に区分された状態で記憶装置２０に格納された構成や、音声信号Ｓの各区間から抽出された特徴ベクトルｘ（特徴量）が記憶装置２０に事前に格納された構成も採用される。以上のように、音声区分部１２や特徴抽出部１３や音声認識部１６は音声処理装置１００にとって必須の要素ではない。
【００６８】
（８）変形例８  
以上の各形態においては記憶装置２０に予め記憶された音声信号Ｓを処理の対象としたが、収音装置（マイクロホン）から供給される音声信号Ｓや通信網を経由して順次に供給される音声信号Ｓを対象として実時間的に処理を実行してもよい。
【００６９】
（９）変形例９  
音声信号Ｓが表わす音の種類は人間の発声音に限定されない。例えば、複数種の楽器が順次に演奏されたときの演奏音を採取した音声信号Ｓを音声処理装置１００による処理の対象とすれば、各楽器の演奏音の区間を楽器の種類毎に複数のクラスタに分類することが可能となる。
【図面の簡単な説明】
【００７０】
【図１】本発明の第１実施形態に係る音声処理装置の構成を示すブロック図である。
【図２】音声区分部および分類処理部の動作の具体例を説明するための概念図である。
【図３】分類処理部の動作を示すフローチャートである。
【図４】クラスタ情報の内容を説明するための概念図である。
【図５】未分類区間処理の内容を示すフローチャートである。
【図６】本発明の第２実施形態における分類処理部の動作を示すフローチャートである。
【図７】本発明の第３実施形態における分類処理部の動作を示すフローチャートである。
【符号の説明】
【００７１】
１００……音声処理装置、１０……制御装置、１２……音声区分部、１３……特徴抽出部、１４……分類処理部、１６……音声認識部、２０……記憶装置、２５……入力装置、３０……出力装置、Ｓ……音声信号、ＰA（ＰA1，ＰA2，…）……発音区間、ＣINF[n]……クラスタ情報、ＣL（ＣL1，ＣL2，…）……クラスタ、Ｘ……音響モデル、λ……混合モデル、ＣA……符号帳、Ｔ……分類区間長。
【図１】
0004973352.tif 000005
【図２】
0004973352.tif 000006
【図３】
0004973352.tif 000007
【図４】
0004973352.tif 000008
【図５】
0004973352.tif 000009
【図６】
0004973352.tif 000010
【図７】
0004973352.tif 000011