(57)【特許請求の範囲】
【請求項１】
標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの、前記リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードの情報として抽出する固有空間抽出手段
を具備することを特徴とする階層的固有空間抽出装置。
【請求項２】
前記固有空間抽出手段は、階層的クラス化情報と複数学習話者のモデル集合を入力する入力手段と、前記階層的クラス化情報に従って、最下位階層から上位階層に向かって、着目するノード直下の分岐先ノードにおいてリーフでは対応付けられた標準パタンを構成する変数、リーフでなければそのノードにおける固有空間に射影された変数をもちいて、着目するノードの固有空間算出を階層的に繰り返す、階層的次元数を削減する階層的次元数削減手段とを具備することを特徴とする請求項１記載の階層的固有空間抽出装置。
【請求項３】
前記階層的次元数削減手段は、各クラスの次元数削減を、前記各クラスにおいて同一でなくてもよい、主成分分析法、線形識別分析法、因子分析法、独立成分分析法および特異値分解法のうちのいずれかの変換処理によって実行することを特徴とする請求項２記載の階層的固有空間抽出装置。
【請求項４】
前記階層的クラス化されたモデルは、同一階層の各ノードあるいは各リーフがそれぞれ１つ上の特定の１つのノードにのみ合流するような木構造で表わされたモデルとなっていることを特徴とする請求項１記載の階層的固有空間抽出装置。
【請求項５】
前記階層的クラス化されたモデルは、同一階層の各ノードあるいは各リーフがそれぞれ１つ以上上の２以上のノードに合流するような木構造で表わされたモデルとなっていることを特徴とする請求項１記載の階層的固有空間抽出装置。
【請求項６】
標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置し、前記リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードの情報として抽出して配置してなる階層的クラス化されたモデルを基にして、入力された特定話者の音声情報から適応可能な階層のノードを起点としたクラスとしての適応クラスを判別する適応クラス判別手段と、
この適応クラス判別手段で判別された適応クラスにおける各ノードの前記固有空間に制限して前記特定話者の標準パタンを適応して生成する話者適応モデル作成手段
とを具備することを特徴とする適応モデル作成装置。
【請求項７】
前記話者適応モデル作成手段は、前記特定話者の発声に対してモデルを適応するとき、適応クラスにおける固有空間情報およびその適応クラス以下の階層のすべてのクラスの固有空間情報を用いて、適応クラス固有空間に制限しつつモデルを変形させる線形行列の部分行列を順次計算して実行する計算実行手段を具備することを特徴とする請求項６記載の適応モデル作成装置。
【請求項８】
前記適応クラス判別手段は、適応クラスを、各クラスに含まれるモデルに対応する適応データの出現個数閾値で決定することを特徴とする請求項６記載の適応モデル作成装置。
【請求項９】
標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの、前記リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードの情報として抽出する固有空間抽出ステップ
を具備することを特徴とする階層的固有空間抽出方法。
【請求項１０】
前記固有空間抽出ステップは、階層的クラス化情報と複数学習話者のモデル集合を入力する入力ステップと、前記階層的クラス化情報に従って、最下位階層から上位階層に向かって、着目するノード直下の分岐先ノードにおいてリーフでは対応付けられた標準パタンを構成する変数、リーフでなければそのノードにおける固有空間に射影された変数をもちいて、着目するノードの固有空間算出を階層的に繰り返す、階層的次元数を削減する階層的次元数削減ステップとを具備することを特徴とする請求項９記載の階層的固有空間抽出方法。
【請求項１１】
前記階層的次元数削減ステップは、各クラスの次元数削減を、前記各クラスにおいて同一でなくてもよい、主成分分析法、線形識別分析法、因子分析法、独立成分分析法および特異値分解法のうちのいずれかの変換処理によって実行することを特徴とする請求項１０記載の階層的固有空間抽出方法。
【請求項１２】
前記階層的クラス化されたモデルは、同一階層の各ノードあるいは各リーフがそれぞれ１つ上の特定の１つのノードにのみ合流するような木構造で表わされたモデルとなっていることを特徴とする請求項９記載の階層的固有空間抽出方法。
【請求項１３】
前記階層的クラス化されたモデルは、同一階層の各ノードあるいは各リーフがそれぞれ１つ以上上の２以上のノードに合流するような木構造で表わされたモデルとなっていることを特徴とする請求項９記載の階層的固有空間抽出方法。
【請求項１４】
特定話者の発声を入力する発声入力ステップと、
標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置し、前記リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードの情報として抽出して配置してなる階層的クラス化されたモデルを基にして、入力された特定話者の音声情報から適応可能な階層のノードを起点としたクラスとしての適応クラスを判別する適応クラス判別ステップと、
この適応クラス判別ステップで判別された適応クラスにおける各ノードの前記固有空間に制限して前記特定話者の前記標準パタンを適応して生成する話者適応モデル作成ステップ
とを具備することを特徴とする適応モデル作成方法。
【請求項１５】
前記話者適応モデル作成ステップでは、前記特定話者の発声に対してモデルを適応するとき、適応クラスにおける固有空間情報およびその適応クラス以下の階層のすべてのクラスの固有空間情報を用いて、適応クラス固有空間に制限しつつモデルを変形させる線形行列の部分行列を順次計算して実行することを特徴とする請求項１４記載の適応モデル作成方法。
【請求項１６】
前記適応クラス判別ステップでは、適応クラスを、各クラスに含まれるモデルに対応する適応データの出現個数閾値で決定することを特徴とする請求項１４記載の適応モデル作成方法。
【請求項１７】
コンピュータに、
標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの、前記リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードの情報として抽出する固有空間抽出処理
を実行させることを特徴とする階層的固有空間抽出プログラム。
【請求項１８】
前記固有空間抽出処理は、
階層的クラス化情報と複数学習話者のモデル集合を入力する入力処理と、
前記階層的クラス化情報に従って、最下位階層から上位階層に向かって、着目するノード直下の分岐先ノードにおいてリーフでは対応付けられた標準パタンを構成する変数、リーフでなければそのノードにおける固有空間に射影された変数をもちいて、着目するノードの固有空間算出を階層的に繰り返す、階層的次元数を削減する階層的次元数削減処理
とを実行することを特徴とする請求項１７記載の階層的固有空間抽出プログラム。
【請求項１９】
前記階層的次元数削減処理は、
各クラスの次元数削減を、前記各クラスにおいて同一でなくてもよい、主成分分析法、線形識別分析法、因子分析法、独立成分分析法および特異値分解法のうちのいずれかの変換処理を実行する
ことを特徴とする請求項１８記載の階層的固有空間抽出プログラム。
【請求項２０】
前記階層的クラス化されたモデルは、
同一階層の各ノードあるいは各リーフがそれぞれ１つ上の特定の１つのノードにのみ合流するような木構造で表わされたモデルとなっている
ことを特徴とする請求項１７記載の階層的固有空間抽出プログラム。
【請求項２１】
前記階層的クラス化されたモデルは、
同一階層の各ノードあるいは各リーフがそれぞれ１つ以上上の２以上のノードに合流するような木構造で表わされたモデルとなっている
ことを特徴とする請求項１７記載の階層的固有空間抽出プログラム。
【請求項２２】
コンピュータに、
特定話者の発声を入力する発声入力処理と、
標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置し、前記リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードの情報として抽出して配置してなる階層的クラス化されたモデルを基にして、入力された特定話者の音声情報から適応可能な階層のノードを起点としたクラスとしての適応クラスを判別する適応クラス判別処理と、
この適応クラス判別処理で判別された適応クラスにおける各ノードの前記固有空間に制限して前記特定話者の前記標準パタンを適応して生成する話者適応モデル作成処理
とを実行させることを特徴とする適応モデル作成プログラム。
【請求項２３】
前記話者適応モデル作成処理では、前記特定話者の発声に対してモデルを適応するとき、適応クラスにおける固有空間情報およびその適応クラス以下の階層のすべてのクラスの固有空間情報を用いて、適応クラス固有空間に制限しつつモデルを変形させる線形行列の部分行列を順次計算して実行することを特徴とする請求項２２記載の適応モデル作成プログラム。
【請求項２４】
前記適応クラス判別処理では、適応クラスを、各クラスに含まれるモデルに対応する適応データの出現個数閾値で決定することを特徴とする請求項２２記載の適応モデル作成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はたとえば携帯電話機や携帯通訳装置のように話者が特定される情報処理装置でその話者の音声を認識するのに好適な階層的固有空間抽出装置、適応モデル作成装置、これらの抽出、作成方法ならびに抽出、作成プログラムに係わり、特に情報処理装置側が話者に対する十分な学習を行わない状態でも比較的良好な音声認識を実現することのできる階層的固有空間抽出装置、適応モデル作成装置、階層的固有空間抽出方法、適応モデル作成方法、階層的固有空間抽出プログラムおよび適応モデル作成プログラムに関する。
【０００２】
【従来の技術】
音声認識技術の向上と共に、各種の分野で音声認識技術が使用されている。音声認識の手法は、標準パターンを取得する方式として、特定話者方式と不特定話者方式に大別することができる。ここで標準パターンとは、たとえば「ａ」、「ｉ」、「ｕ」といったようなそれぞれの単音素に対応したパターンである。
【０００３】
特定話者方式では、特定された話者についての大量の発声データを使用してそれぞれの音に対応したその話者の標準パターンを学習するようになっている。これに対して不特定話者方式では多数の話者の発声データを用いて、不特定人に適応できる標準パターンを学習する。一般に不特定話者方式は汎用の音声認識技術であるため、一人の個人に着目すると特定話者方式よりも音声の認識性能が劣ることになる。特に、話者によっては音声の認識性能が著しく悪くなる場合もある。
【０００４】
不特定話者方式の抱えるこのよう問題を解決するために、不特定話者の標準パターンを用いながら、その音声認識装置を使用する新しい話者（新話者）の比較的少数の発声データを用いて標準パターンをこの新話者に適応させる話者適応化の技術が研究されている。
【０００５】
ところで、少数の発声データからなる適応データを使用して話者適応を行おうとする場合、全部の音素に対応した文章等を含んだ発声データを使用することは難しい。すなわち、標準パターンのすべての音響モデルに対する適応データは存在し得ない。このため、比較的少数の適応データを使用した話者適応技術を使用する場合には、適応データに存在しない音響モデルを如何に適応するかという問題がある。
【０００６】
従来では、このような問題を解決する２つの方針が出されている。このうちの第１の方針では、音響モデルあるいは音響モデルを構成する変数を複数のクラスにグループ化している。そして、同一のクラスに含まれるモデルは同一の基準に基づいて適応させている。たとえば特開平８−２１１８８９号公報では、木構造を用いた階層的クラス化を利用した適応化技術が開示されている。
【０００７】
図１９は、この公報に記載された技術を表わしたものであり、音響モデルあるいは音響モデルを構成する変数が木構造的に階層的にクラス化された様子を示している。この図で黒丸はそれぞれ結節点（ノード）“０１”〜“０３”を表わしている。また、白丸は自分自身よりも下層に“子”を持たないリーフ“０４”〜“０８”を表わしている。この図では木構造の一部のみを示しているが、ノード“０１”、“０２”、……のうちで、特に１番上の階層で自分自身よりも上に“親”を持たないものをルートと呼んでいる。
【０００８】
音響モデルに、隠れマルコフモデル（ＨＭＭ）を用いて、これらを構成するガウス分布の平均ベクトルを木構造にクラス化し適応する場合について次に説明する。このときの各ガウス分布の平均ベクトルは図１９に示したそれぞれのリーフ“０４”〜“０８”に対応付けられている。たとえば各音響モデルに１つのガウス分布のみが含まれているものとする。一例を挙げると、「ａ」、「ｉ」、「ｕ」、「ｅ」、「ｏ」の５母音を考えてみることにし、これらの音響モデルのガウス分布平均ベクトル「μ＿ａ」、「μ＿ｉ」、「μ＿ｕ」、「μ＿ｅ」、「μ＿ｏ」を、リーフ“０４”〜“０８”に１つずつ対応付ける。
【０００９】
木構造におけるクラス化では、特定のノードとしてたとえばノード“０２”を選択した際には、これよりも１つ下層のリーフ“０４”〜“０６”が１つのグループとしてクラス化される。また、他のノード“０３”を選択したような場合には、これよりも１つ下層のリーフ“０７”、“０８”が更なる１つのグループとしてクラス化される。また、より上位の階層のノード“０１”を選択した場合には、これよりも下層のリーフ“０４”〜“０８”が１つのグループにクラス分けされることになる。したがって、図示しない更に上位に位置するルートノードを選択したような場合には、この図には一部しか示していないが全リーフが１つのグループにクラス分けされることになる。
【００１０】
このような木構造におけるクラス化を話者適応に使用する利点は次の点にある。今、適応データに２つのリーフ“０４”、“０５”のガウス分布に対応付けられるデータ（「ａ」、「ｉ」の音のデータ）のみが出現し、他の３つのリーフ“０６”〜“０８”に対応付けられるデータ（「ｕ」、「ｅ」、「ｏ」の音のデータ）が存在しなかったものとする。特定の話者からその話者に情報処理装置を適応させるための学習用に得られるサンプルの数が限られているような場合には、このように一部の音のデータのみしか得られない場合がある。この例で、たとえばリーフ“０６”（「ｕ」）のガウス分布は、ノード“０２”を選択した場合にリーフ“０４”（「ａ」）およびリーフ“０５”（「ｉ」）と同じクラスに所属している。したがって、これらリーフ“０４”（「ａ」）およびリーフ“０５”（「ｉ」）についての適応データ（「ａ」、「ｉ」の音のデータ）を用いた同一基準で適応できることになる。すなわち、出現した「ａ」、「ｉ」の音のデータとこれらに対応する２つのリーフ“０４”（「ａ」）、リーフ“０５”（「ｉ」）のガウス分布との空間的な位置の差を求めることで、サンプルでは得られなかった話者の「ｕ」の音のデータを推測することができる。
【００１１】
他の２つのリーフ“０７”（「ｅ」）、リーフ“０８”（「ｏ」）については、これらの共通するノード“０３”はノード“０２”と異なる。しかしながら、ノード“０３”の１つ上のノード“０１”を選択した場合に２つのリーフ“０４”（「ａ」）、リーフ“０５”（「ｉ」）と同じクラスに所属することになる。したがって、リーフ“０７”（「ｅ」）およびリーフ“０８”（「ｏ」）の適応データ（「ａ」、「ｉ」の音のデータ）を用いた同一基準で適応できることになる。
【００１２】
このように、適応データの出現個数に応じて、適応する際のノードあるいはクラスの選択は、より細かな下位のノードから大きなクラスとなる上位のノードまで決定することができる。これにより、階層的なクラスを利用して、適応データ数に応じたクラスにおける適応規則の共有化を図り、適応データに出現していないモデルを含んだ適応化が可能になる。
【００１３】
従来の問題を解決する第２の方針では、事前に多数の話者のデータを用いて話者性に基づく知識を抽出するようにしている。そして、適応データが出現しなかったモデルについては、出現したデータと、この抽出しておいた知識を用いて適応するようにしている。
【００１４】
たとえば特開２０００−８１８９３号公報では、多数の話者の学習データから主成分分析法等の手法を使用して話者性の知識を固有空間という形で抽出している。そして、適応データを基にして固有空間における新話者の位置を推定することによって、適応データが出現しなかったモデルについても適応させるようにしている。
【００１５】
図２０は、この第２の方針に基づいて固有空間抽出とそれを利用して適応データによる話者適応を行う処理を表わしたものである。多数話者がＴ人であるとする。多数話者から取得された学習用話者データ２１が用意されている。この学習用話者データ２１は話者モデル作成手段２２に入力され、各人に対応したＴ個の話者モデル２３が作成される。ここで話者モデル２３とは、各学習話者の話者性を反映した音響モデルからなるものである。
【００１６】
話者モデル２３は、話者モデル作成手段２２でそれぞれの学習話者ごとに特定話者標準パターンを作成することによって作成される。たとえば単音素が認識単位であるとすると、「ａ」、「ｉ」、……等の全音響モデルが各話者ごとにＴセット作成されることになる。
【００１７】
次にこのようにして作成されたＴ個の話者モデル２３を次元数削減手段２４および固有空間抽出手段２５を順次通過させることで、固有空間２６が作成される。これは次の手続きで実行される。まず、Ｔ個の話者モデル２３からＴ個のスーパベクトル、すなわち各話者モデルの音響モデルを構成する変数（特に隠れマルコフモデル（ＨＭＭ）を用いた音響モデルでその隠れマルコフモデルを構成する変数）の少なくとも一部を順序付けした各話者ごとのリストを作成する。ここでこの順序の付け方は全話者共通である。
【００１８】
たとえば単音素が認識単位であって、音響モデルとして各モデルにガウス分布が１つのみのマルコフモデルを使用したときで、そのガウス分布の平均ベクトルを適応する場合、各学習話者ごとに音響モデルのガウス分布平均ベクトルを並べたスーパベクトル［μ＿ａ，μ＿ｉ，……］をＴ個作成する。固有空間抽出手段２５ではＴ個の固有ベクトルから、特にＴ個以下の固有ベクトルを選択して、これら選択された固有ベクトルが張る空間を固有空間２６として抽出する。
【００１９】
たとえばＴセットのスーパベクトルを主成分分析して、Ｔ個以下の値としてのＥ個の主成分を選択し、このＥ個の主成分ベクトルが張る空間を固有空間２６とする。この固有空間２６が、Ｔ個の話者モデルから、すなわちＴ人の学習用話者データから、話者性に基づいて抽出された知識である。
【００２０】
次に新話者の適応データ２７を適応化手段２８で最尤固有音声分解（ＭＬＥＤ）技術を使用して、学習話者データから抽出された固有空間２６における新話者の位置を推定する。これにより、新話者の推定された位置からスーパベクトルが構成され、全音響モデルのリストが構成される。すなわち、推定された新話者モデルとしての適応モデル２９が構成されることになる。
【００２１】
ここで、固有空間における新話者の位置の推定は、適応データ２７に出現するモデルのみを用いて実行することが可能である。これにより、多数話者のデータを用いて話者性に基づく知識と適応データを基に出現しなかったモデルについても適応できるようになる。最尤固有音声分解技術では、この推定に適応データに対する尤度基準を用いるものである。
【００２２】
以上、話者に関して話者適応技術を説明したが、話者から直接取得した音声のみに限らず周囲雑音、マイクロフォン、通信回線等の音響環境の違いに対する話者の音声の適応技術に一般化することができる。
【００２３】
【発明が解決しようとする課題】
ところで以上説明した第１および第２の方針のうちの第１の方針では標準的な木構造を用意している。したがって、新たな話者から得られる音声データのサンプルが少ない場合には、より上位の階層のノードにまで辿って、これと同じクラスの広範囲に適用される基準を使用せざるを得ない。したがって、サンプルで得られなかった音のデータについてはその認識率が低くならざるを得ない。特にこの第１の方針では標準的なものとして１種類の木構造が用意されるので、新たな話者がこの標準的な音のデータから空間的に遠い位置の音を発する者であるような場合には、数少ないサンプルから別の音についての空間的な位置を推定することはかなり困難となる。このため、認識率が極端に低下する可能性が大きい。以上のように、第１の方針に沿って音声認識を実用レベルにまで高めようとすると、新たな話者に対してかなりの量のサンプルを要求することになって、話者の負担が大きくなるという問題がある。
【００２４】
一方、第２の方針では多数の話者から幾つかの特徴的な話者モデルを仮想的に作成し、これらの話者モデルのうちの幾つかをピックアップしこれらを所定の比率で掛け合わせるような形で新たな話者の各音のデータを適応させる。したがって、新たな話者の音のデータが標準的なものから掛け離れているような場合でも、幾つかの特徴的な話者モデルを用意している関係上、これらのどれかには特徴が似てくることになる。したがって、比較的少ないサンプルであっても、話者モデルの幾つかを掛け合わせることで比較的精度のよい認識が可能である。
【００２５】
しかしながら、第２の方針では、学習話者からの情報の抽出の際、すなわち多数の学習話者データから固有話者空間を抽出する際に、大規模の計算が伴う。現在、大規模音声認識システムで一般的に使用される隠れマルコフモデル（ＨＭＭ）を用いたシステムでは、独立した１音づつを認識単位として用いるのではなく、更に精度を上げるために、その音の前後の音素環境を考慮した三つ組み音素としてのトライフォンが用いられることが多い。このときに、話者適応で最も効果が大きいとされる隠れマルコフモデル構成要素のガウス分布の平均ベクトルを適用することのみを考えるとしても、スーパベクトルの次元ｎｓは次の（１）式のようになる。
【００２６】
ｎｓ＝全ガウス分布数（＝トライフォン数×状態数×混合ガウス分布数）×特徴ベクトル次元数      ……（１）
【００２７】
したがって、固有話者空間抽出で最も有効とされる主成分分析を実行するために（１）式で示したｎｓ行ｎｓ列の行列を対角化して、その固有ベクトルを求める必要がある。このとき、スーパベクトルの次元ｎｓは、数十万の値を持ち、主成分分析は計算量的な困難性を伴う。
【００２８】
また、この第２の方針による音声認識では、新たな話者から比較的少数のサンプルを得たときに第１の方針と比べて良好な音声認識を行うことができるものの、サンプルが少数であるために必ずしも満足できる認識率には達しない。そこで認識率を向上させようとして新たな話者からのサンプル数を増加していくと、第１の方針の場合にはその効果としての認識率の向上が着実に現われていくのに対して、第２の方針の場合には効果が早期に飽和してしまう。したがって、サンプル数を順次増加していくと、最初の段階では第２の方針が認識率で第１の方針よりも優れるが、ある時点からは木構造を使用した第１の方針の方が良好な認識率を達成する。
【００２９】
そこで、第１および第２の方針を単に共に利用する手法が考えられる。この手法では、音響モデルあるいはその変数の一部をグループ化し、更に個々のグループ化されたクラスにおいて話者性に基づく知識を多数の話者から抽出しておいて適応化を行う。ところが、この手法でも問題がある。
【００３０】
すなわち、この手法では、個々のグループ化されたクラス間の関係が無関係となる。このため、異なるクラス間にまたがる話者性に基づいた知識を抽出することができない。また、適応データ数が少ない場合には、一つのクラスに含まれるモデル数が多くなるので、このクラスにおいて主成分分析などの計算を行う際に計算量的な困難が増大するという問題がある。階層的なクラスとして特に木構造を採用したような場合には、適応データが非常に少ないと１番上の階層としてのルートを選択することになって、全モデルが１つのクラスに含まれてしまうという不具合が生じる。
【００３１】
そこで本発明の目的は、階層的クラス分けを用いた適応データ数に応じたグループ分けを行い、各グループで話者性に基づく知識を抽出してこれと適応データを用いて話者適応を行う場合において、個々のクラスにまたがる話者性に基づいた知識を抽出することができ、また、適応データ数が少なく一つのクラスに含まれるモデル数が多くなっても計算量的な困難性を回避することのできる階層的固有空間抽出装置、階層的固有空間抽出方法、および階層的固有空間抽出プログラムを提供すること、ならびにこのような階層的固有空間抽出装置、階層的固有空間抽出方法あるいは階層的固有空間抽出プログラムを使用して作成された階層的固有空間を用いて特定話者に適応する適応モデルを作成する適応モデル作成装置、適応モデル作成方法、および適応モデル作成プログラムを提供することにある。
【００３２】
本発明の他の目的は、第２の方針における固有話者として適切なものを設定することで、比較的少数のサンプルであっても認識率が比較的良好で、サンプル数が増加する場合にはこれによる認識率の向上がより期待できる階層的固有空間抽出装置、適応モデル作成装置、階層的固有空間抽出方法、適応モデル作成方法、階層的固有空間抽出プログラムおよび適応モデル作成プログラムを提供することにある。
【００３３】
【課題を解決するための手段】
請求項１記載の発明では、標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの、リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードの情報として抽出する固有空間抽出手段を階層的固有空間抽出装置に具備させる。
【００３４】
すなわち請求項１記載の発明では、階層的固有空間抽出装置に固有空間抽出手段を具備させる。ここで固有空間抽出手段は、階層的クラス化されたモデルの、リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、複数話者による話者性情報を表わした固有空間をそれら個々のノードの情報として抽出するようにしている。すなわち、固有空間抽出手段で抽出される固有空間は、そのノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報としてバラエティに富んだ情報を多く含んでおり、この点で従来、各ノードに持たせた下位の階層のノードに共通した情報と大きく相違している。したがって、これらのノードの固有空間を参照することで、比較的少数のサンプルであっても認識率が比較的良好で、サンプル数が増加する場合にはこれによる認識率の向上がより期待できる階層的固有空間抽出装置を実現することができる。
【００３５】
請求項２記載の発明では、請求項１記載の階層的固有空間抽出装置で、固有空間抽出手段は、（イ）階層的クラス化情報と複数学習話者のモデル集合を入力する入力手段と、（ロ）階層的クラス化情報に従って、最下位階層から上位階層に向かって、着目するノード直下の分岐先ノードにおいてリーフでは対応付けられた標準パタンを構成する変数、リーフでなければそのノードにおける固有空間に射影された変数をもちいて、着目するノードの固有空間算出を階層的に繰り返す、階層的次元数を削減する階層的次元数削減手段とを具備することを特徴としている。
【００３６】
すなわち本発明では、請求項１記載の階層的固有空間抽出装置で、固有空間抽出手段が、階層的クラス化情報に従って、最下位階層から上位階層に向かって、着目するノード直下の分岐先ノードにおいてリーフでは対応付けられた標準パタンを構成する変数、リーフでなければそのノードにおける固有空間に射影された変数をもちいて、着目するノードの固有空間算出を階層的に繰り返す、階層的次元数を削減する階層的次元数削減手段を備えることで、個々の固有空間の算出の簡易化を実現している。
【００３７】
請求項３記載の発明では、請求項２記載の階層的固有空間抽出装置で、階層的次元数削減手段は、各クラスの次元数削減を、各クラスにおいて同一でなくてもよい、主成分分析法、線形識別分析法、因子分析法、独立成分分析法および特異値分解法のうちのいずれかの変換処理によって実行することを特徴としている。
【００３８】
すなわち請求項３記載の発明では、各クラスの次元数削減を、主成分分析法、線形識別分析法、因子分析法、独立成分分析法および特異値分解法のうちのいずれかの変換処理によって実行できることを示している。この際に各クラスの次元数削減は同一の分析法を採用する必要はない。
【００３９】
請求項４記載の発明では、請求項１記載の階層的固有空間抽出装置で、階層的クラス化されたモデルは、同一階層の各ノードあるいは各リーフがそれぞれ１つ上の特定の１つのノードにのみ合流するような木構造で表わされたモデルとなっていることを特徴としている。
【００４０】
すなわち請求項４記載の発明では、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの一例として、典型的な木構造を扱う場合を示している。
【００４１】
請求項５記載の発明では、請求項１記載の階層的固有空間抽出装置で、階層的クラス化されたモデルは、同一階層の各ノードあるいは各リーフがそれぞれ１つ以上上の２以上のノードに合流するような木構造で表わされたモデルとなっていることを特徴としている。
【００４２】
すなわち請求項５記載の発明では、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの他の例として、同一階層の各ノードあるいは各リーフがそれぞれ１つ以上上の２以上のノードに合流するような構造を扱う場合を示している。
【００４５】
請求項６記載の発明では、（イ）標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置し、リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードに対応した情報として抽出して配置してなる階層的クラス化されたモデルを基にして、入力された特定話者の音声情報から適応可能な階層のノードを起点としたクラスとしての適応クラスを判別する適応クラス判別手段と、（ロ）この適応クラス判別手段で判別された適応クラスにおける各ノードの固有空間に制限して特定話者の標準パタンを適応して生成する話者適応モデル作成手段とを適応モデル作成装置に具備させる。
【００４６】
すなわち本発明では、請求項１記載の発明における固有空間抽出手段で抽出した固有空間を全ノードのうちの少なくとも一部のノードに対応させた情報として使用することにしている。固有空間抽出手段で抽出される固有空間は、そのノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報としてバラエティに富んだ情報を多く含んでいる。したがって、特定話者の比較的少数のサンプルであってもその話者の標準パタンを適応して生成することができる。
【００４７】
請求項７記載の発明では、請求項６記載の適応モデル作成装置で、話者適応モデル作成手段は、特定話者の発声に対してモデルを適応するとき、適応クラスにおける固有空間情報およびその適応クラス以下の階層のすべてのクラスの固有空間情報を用いて、適応クラス固有空間に制限しつつモデルを変形させる線形行列の部分行列を順次計算して実行する計算実行手段を具備することを特徴としている。
【００４８】
すなわち本発明では、話者適応モデル作成手段が、適応クラスにおける固有空間情報およびその適応クラス以下の階層のすべてのクラスの固有空間情報を用いて、適応クラス固有空間に制限しつつモデルを変形させる線形行列の部分行列を順次計算して実行する計算実行手段を備えることを示している。これによれば適応クラスに該当するノードの、“直下の”階層での分岐先としての各ノードあるいはリーフでの固有空間に制限しつつ、各リーフに対応付けられたモデルに変形させることができる。
【００４９】
請求項８記載の発明では、請求項６記載の適応モデル作成装置で、適応クラス判別手段は、適応クラスを、各クラスに含まれるモデルに対応する適応データの出現個数閾値で決定することを特徴としている。
【００５０】
すなわち本発明では、特定話者の発声サンプルに基づいた適応クラスの判別を適応データの出現個数を所定の閾値と比較することで行うようになっている。
【００５３】
請求項９記載の発明では、標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの、リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードの情報として抽出する固有空間抽出ステップを階層的固有空間抽出方法に具備させる。
【００５４】
すなわち本発明では、階層的固有空間抽出方法に固有空間抽出ステップを具備させる。ここで固有空間抽出ステップでは、階層的クラス化されたモデルの、リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、複数話者による話者性情報を表わした固有空間をそれら個々のノードの情報として抽出するようにしている。すなわち、固有空間抽出ステップで抽出される固有空間は、そのノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報としてバラエティに富んだ情報を多く含んでおり、この点で従来、各ノードに持たせた下位の階層のノードに共通した情報と大きく相違している。したがって、これらのノードの固有空間を参照することで、比較的少数のサンプルであっても認識率が比較的良好で、サンプル数が増加する場合にはこれによる認識率の向上がより期待できる階層的固有空間抽出方法を実現することができる。
【００５５】
請求項１０記載の発明では、請求項９記載の階層的固有空間抽出方法で、固有空間抽出ステップは、（イ）階層的クラス化情報と複数学習話者のモデル集合を入力する入力ステップと、（ロ）階層的クラス化情報に従って、最下位階層から上位階層に向かって、着目するノード直下の分岐先ノードにおいてリーフでは対応付けられた標準パタンを構成する変数、リーフでなければそのノードにおける固有空間に射影された変数をもちいて、着目するノードの固有空間算出を階層的に繰り返す、階層的次元数を削減する階層的次元数削減ステップとを具備することを特徴としている。
【００５６】
すなわち本発明では、請求項９記載の階層的固有空間抽出方法で、固有空間抽出ステップが階層的次元数削減ステップを備えることで、個々の固有空間の算出の簡易化を実現している。
【００５７】
請求項１１記載の発明では、請求項１０記載の階層的固有空間抽出方法で、階層的次元数削減ステップは、各クラスの次元数削減を、各クラスにおいて同一でなくてもよい、主成分分析法、線形識別分析法、因子分析法、独立成分分析法および特異値分解法のうちのいずれかの変換処理によって実行することを特徴としている。
【００５８】
すなわち本発明では、各クラスの次元数削減を、主成分分析法、線形識別分析法、因子分析法、独立成分分析法および特異値分解法のうちのいずれかの変換処理によって実行できることを示している。この際に各クラスの次元数削減は同一の分析法を採用する必要はない。
【００５９】
請求項１２記載の発明では、請求項９記載の階層的固有空間抽出方法で、階層的クラス化されたモデルは、同一階層の各ノードあるいは各リーフがそれぞれ１つ上の特定の１つのノードにのみ合流するような木構造で表わされたモデルとなっていることを特徴としている。
【００６０】
すなわち本発明では、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの一例として、典型的な木構造を扱う場合を示している。
【００６１】
請求項１３記載の発明では、請求項９記載の階層的固有空間抽出方法で、階層的クラス化されたモデルは、同一階層の各ノードあるいは各リーフがそれぞれ１つ以上上の２以上のノードに合流するような木構造で表わされたモデルとなっていることを特徴としている。
【００６２】
すなわち本発明では、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの他の例として、同一階層の各ノードあるいは各リーフがそれぞれ１つ以上上の２以上のノードに合流するような構造を扱う場合を示している。
【００６５】
請求項１４記載の発明では、（イ）標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置し、リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードに対応した情報として抽出して配置してなる階層的クラス化されたモデルを基にして、入力された特定話者の音声情報から適応可能な階層のノードを起点としたクラスとしての適応クラスを判別する適応クラス判別ステップと、（ロ）この適応クラス判別ステップで判別された適応クラスにおける各ノードの固有空間に制限して特定話者の標準パタンを適応して生成する話者適応モデル作成ステップとを適応モデル作成方法に具備させる。
【００６６】
すなわち本発明では、請求項９記載の発明における固有空間抽出ステップで抽出した固有空間を全ノードのうちの少なくとも一部のノードに対応させた情報として使用することにしている。固有空間抽出ステップで抽出される固有空間は、そのノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報としてバラエティに富んだ情報を多く含んでいる。したがって、特定話者の比較的少数のサンプルであってもその話者の標準パタンを適応して生成することができる。
【００６７】
請求項１５記載の発明では、請求項１４記載の適応モデル作成方法で、話者適応モデル作成ステップでは、特定話者の発声に対してモデルを適応するとき、適応クラスにおける固有空間情報およびその適応クラス以下の階層のすべてのクラスの固有空間情報を用いて、適応クラス固有空間に制限しつつモデルを変形させる線形行列の部分行列を順次計算して実行することを特徴としている。
【００６８】
すなわち本発明では、話者適応モデル作成ステップが、適応クラスにおける固有空間情報およびその適応クラス以下の階層のすべてのクラスの固有空間情報を用いて、適応クラス固有空間に制限しつつモデルを変形させる線形行列の部分行列を順次計算して実行する計算実行ステップを備えることを示している。これによれば適応クラスに該当するノードの、“直下の”階層での分岐先としての各ノードあるいはリーフでの固有空間に制限しつつ、各リーフに対応付けられたモデルに変形させることができる。
【００６９】
請求項１６記載の発明では、請求項１４記載の適応モデル作成方法で、適応クラス判別ステップでは、適応クラスを、各クラスに含まれるモデルに対応する適応データの出現個数閾値で決定することを特徴としている。
【００７０】
すなわち本発明では、特定話者の発声サンプルに基づいた適応クラスの判別を適応データの出現個数を所定の閾値と比較することで行うようになっている。
【００７３】
請求項１７記載の発明の階層的固有空間抽出プログラムでは、コンピュータに、標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの、リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードの情報として抽出する固有空間抽出処理を実行させることを特徴としている。
【００７４】
すなわち本発明では、階層的固有空間抽出プログラムがコンピュータに、固有空間抽出処理を実行させるようにしている。ここで固有空間抽出処理では、階層的クラス化されたモデルの、リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、複数話者による話者性情報を表わした固有空間をそれら個々のノードの情報として抽出するようにしている。すなわち、固有空間抽出処理で抽出される固有空間は、そのノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報としてバラエティに富んだ情報を多く含んでおり、この点で従来、各ノードに持たせた下位の階層のノードに共通した情報と大きく相違している。したがって、これらのノードの固有空間を参照することで、比較的少数のサンプルであっても認識率が比較的良好で、サンプル数が増加する場合にはこれによる認識率の向上がより期待できる階層的固有空間抽出プログラムを実現することができる。
【００７５】
請求項１８記載の発明では、請求項１７記載の階層的固有空間抽出プログラムで、固有空間抽出処理は、（イ）階層的クラス化情報と複数学習話者のモデル集合を入力する入力処理と、（ロ）階層的クラス化情報に従って、最下位階層から上位階層に向かって、着目するノード直下の分岐先ノードにおいてリーフでは対応付けられた標準パタンを構成する変数、リーフでなければそのノードにおける固有空間に射影された変数をもちいて、着目するノードの固有空間算出を階層的に繰り返す、階層的次元数を削減する階層的次元数削減処理とを実行することを特徴としている。
【００７６】
すなわち本発明では、請求項１７記載の階層的固有空間抽出プログラムは、固有空間抽出処理で階層的次元数削減処理を実行することで、個々の固有空間の算出の簡易化を実現している。
【００７７】
請求項１９記載の発明では、請求項１８記載の階層的固有空間抽出プログラムで、階層的次元数削減処理は、各クラスの次元数削減を、各クラスにおいて同一でなくてもよい、主成分分析法、線形識別分析法、因子分析法、独立成分分析法および特異値分解法のうちのいずれかの変換処理によって実行することを特徴としている。
【００７８】
すなわち本発明では、プログラムによる各クラスの次元数削減を、主成分分析法、線形識別分析法、因子分析法、独立成分分析法および特異値分解法のうちのいずれかの変換処理によって実行できることを示している。この際に各クラスの次元数削減は同一の分析法を採用する必要はない。
【００７９】
請求項２０記載の発明では、請求項１７記載の階層的固有空間抽出プログラムで、階層的クラス化されたモデルは、同一階層の各ノードあるいは各リーフがそれぞれ１つ上の特定の１つのノードにのみ合流するような木構造で表わされたモデルとなっていることを特徴としている。
【００８０】
すなわち本発明では、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの一例として、典型的な木構造を扱う場合を示している。
【００８１】
請求項２１記載の発明では、請求項１７記載の階層的固有空間抽出プログラムで、階層的クラス化されたモデルは、同一階層の各ノードあるいは各リーフがそれぞれ１つ以上上の２以上のノードに合流するような木構造で表わされたモデルとなっていることを特徴としている。
【００８２】
すなわち本発明では、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置してなる階層的クラス化されたモデルの他の例として、同一階層の各ノードあるいは各リーフがそれぞれ１つ以上上の２以上のノードに合流するような構造を扱う場合を示している。
【００８５】
請求項２２記載の発明では、コンピュータに、（イ）標準パタンを構成する変数の少なくとも一部を最下位階層に位置する各リーフに１つずつ対応付け、上の階層に行くに従ってこれらを全体として統合するようにそれぞれのノードを配置し、リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、それぞれ該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードに対応した情報として抽出して配置してなる階層的クラス化されたモデルを基にして、入力された特定話者の音声情報から適応可能な階層のノードを起点としたクラスとしての適応クラスを判別する適応クラス判別処理と、（ロ）この適応クラス判別処理で判別された適応クラスにおける各ノードの固有空間に制限して特定話者の標準パタンを適応して生成する話者適応モデル作成処理とを実行させることを特徴としている。
【００８６】
すなわち本発明では、請求項１７記載の発明における固有空間抽出処理で抽出した固有空間を全ノードのうちの少なくとも一部のノードに対応させた情報として使用することにしている。固有空間抽出処理で抽出される固有空間は、そのノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報としてバラエティに富んだ情報を多く含んでいる。したがって、特定話者の比較的少数のサンプルであってもその話者の標準パタンを適応して生成することができる。
【００８７】
請求項２３記載の発明では、請求項２２記載の適応モデル作成プログラムで、話者適応モデル作成処理では、特定話者の発声に対してモデルを適応するとき、適応クラスにおける固有空間情報およびその適応クラス以下の階層のすべてのクラスの固有空間情報を用いて、適応クラス固有空間に制限しつつモデルを変形させる線形行列の部分行列を順次計算して実行することを特徴としている。
【００８８】
すなわち本発明では、話者適応モデル作成処理が、適応クラスにおける固有空間情報およびその適応クラス以下の階層のすべてのクラスの固有空間情報を用いて、適応クラス固有空間に制限しつつモデルを変形させる線形行列の部分行列を順次計算して実行する計算実行処理を有することを示している。これによれば適応クラスに該当するノードの、“直下の”階層での分岐先としての各ノードあるいはリーフでの固有空間に制限しつつ、各リーフに対応付けられたモデルに変形させることができる。
【００８９】
請求項２４記載の発明では、請求項２２記載の適応モデル作成プログラムで、適応クラス判別処理では、適応クラスを、各クラスに含まれるモデルに対応する適応データの出現個数閾値で決定することを特徴としている。
【００９０】
すなわち本発明では、特定話者の発声サンプルに基づいた適応クラスの判別を適応データの出現個数を所定の閾値と比較することで行うようになっている。
【００９３】
【発明の実施の形態】
次に本発明を実施の形態ならびに実施例に基づいて説明する。
【００９４】
［第１の実施の形態］
【００９５】
現在、大規模音声認識システムに広く使用されている効果的な標準パターンとしての全音声認識単位ごとの音響モデルの集合では、音響モデルとして隠れマルコフモデル（ＨＭＭ）を採用している。音響モデルとして用いられるマルコフモデルでは、音声を単語、音素、前後環境依存音素等の任意の音声単位でモデル化することができる。ここで前後環境依存音素とは、たとえばトライフォンのように独立した１音づつを認識単位として用いるのではなく前後の音素環境を考慮した三つ組み音素を認識単位とするものである。
【００９６】
隠れマルコフモデルは、状態の集合と、自分自身も含めた各状態間を単位時間ごとに遷移させる遷移確率と、各状態でのデータ出現確率を表わす確率密度関数とからなっている。各状態での確率密度関数は、混合ガウス分布、すなわち複数のガウス分布に重みを付けて足し合わせたものが用いられることが多い。入力データを音声データからの特徴ベクトル時系列として表わして教師として用いることで、隠れマルコフモデルのモデル変数推定アルゴリズムである、バウム−ウェルチアルゴリズムによって隠れマルコフモデルを構成する変数が学習される。また、これと逆に観測音声データからの特徴ベクトルの時系列を使用すると、入力データの各隠れマルコフモデルにおける発生確率を計算することができ、音声の認識に用いることができる。
【００９７】
本発明の第１の実施の形態では、学習データからの話者性情報を抽出する▲１▼階層的クラスにおける話者性情報抽出と、抽出された話者性情報と適応データを用いて適応化を行う▲２▼階層的クラスにおける適応化とを採用している。いずれも音響モデルとしてマルコフモデルを採用したモデル対に対して適合することができ、大規模音声認識システムにおける話者適応として有効である。もちろん、大規模音声認識システムに限るものではない。
【００９８】
階層的クラスにおける話者性情報の抽出
【００９９】
図１は、階層的固有空間抽出装置における話者性に基づく知識を抽出する部分を示したものである。この図に示した部分では、階層的なクラスを用いてグループ分けされたモデル集合に、多数話者からなる学習用話者データからの話者性に基づく知識を、各階層における固有空間射影行列として抽出するようになっている。
【０１００】
話者性情報の抽出に際しては、まず、多数話者の学習用話者データ２０１を話者モデル作成手段２０２に入力し、話者モデル２０３を作成する。ここで話者モデル２０３とは、各学習話者の話者性を反映した音響モデルからなるものである。話者モデル作成手段２０２では、それぞれの学習話者ごとに特定話者標準パターンを作成することで話者モデル２０３を作成する。学習話者がＴ人（Ｔは正の整数）のときには、Ｔ個の話者モデル２０３が作成される。
【０１０１】
話者モデル作成手段２０２では、各学習話者のデータのみを用いて特定話者標準パターンをＴ個作成することができる。また、全学習話者データ作成した不特定標準パターンを基にして、各学習話者のデータを教師として追加学習を行い、特定話者標準パターンをＴ個作成することもできる。更に、不特定標準パターンを基にして、最大事後推定法（ＭＡＰ）や最尤線形回帰分析法（ＭＬＬＲ）等の適応化技術を用いることで話者モデルを作成することもできる。あるいは、これら特定話者学習法と適応化技術の双方を組み合わせて話者モデルを作成することも可能である。
【０１０２】
もちろん、先の特開２０００−８１８９３号公報で示されている用に、音響モデルそのものを話者モデルとするのではなく、たとえば最尤線形回帰分析法等の学習用話者データを変換行列にかけて、その結果として生成された変換行列を利用することもできる。
【０１０３】
階層的クラス固有空間抽出手段２０４は、階層的クラスにグループ分けされたモデル集合に対して話者性に基づく知識を抽出するようになっている。この階層的クラス固有空間抽出手段２０４は、後に詳細に説明するが、階層的クラス制御処理２１１、クラス構成変数話者モデル２１２、次元数削減処理２１３、固有空間抽出処理２１４、固有空間射影行列２１５、話者モデル抽出処理２１６およびクラス構成変数固有空間話者モデル２１７から構成されている。
【０１０４】
ところで、モデルの階層的クラスにグループ分けされた情報は、階層的クラスデータ記憶部２０５に記憶されているものとする。ここで階層的クラスを木構造クラスを用いて説明する。
【０１０５】
図１９に示したように、音響モデルあるいは音響モデルを構成する変数が木構造にクラス化されているものとする。ここでは木構造へのクラス化の方法は問わない。たとえば類似音素単位にクラス化を行うこともできるし、学習された標準パターンの情報を用いて階層的クラス化を実行することもできる。たとえばマルコフモデルのうちで混合ガウス分布の平均ベクトルのみを適応化することを考えるものとする。この場合には、全混合ガウス分布の集合を互いのガウス分布間距離として、平均ベクトル間のユークリッド距離あるいは、バタチャリア距離等の任意のものを用い、ｋ−近傍アルゴリズムあるいはファジイクラスタリグアルゴリズム等の任意の階層的クラスタリングアルゴリズムで、木構造クラスを形成することができる。
【０１０６】
階層的クラス固有空間抽出手段２０４内の階層的クラス制御処理２１１は、階層的クラスデータ記憶部２０５から読み出されるモデルの階層的クラスにグループ分けされた情報２２１と、話者モデル２０３あるいは、クラス構成変数固有空間話者モデル２１７から、着目するノードの直下のノードまたはリーフに置ける複数話者の話者モデルとを入力するようになっている。これらを基にして階層的クラス制御処理２１１は、階層的クラスの下位から上位に向けて階層ごとに各ノードに着目して制御し、話者性に基づく知識を抽出する手続きを順次実行していく。
【０１０７】
図２は、この階層的クラス制御処理の制御手順の詳細を表わしたものである。今、図１９に示したようにモデルがクラス化されているものとする。下層に“子”を持たない各リーフ１２1〜１２5には、それぞれ１つのモデル（あるいはモデルを構成する変数）が対応付けられているものとする。階層的クラス制御処理２１１では最も下位の階層にまず着目する（ステップＳ１０１）。そして、それがルートではなく（ステップＳ１０２：Ｎ）、その階層のすべてのノードの処理がまだ終了していないならば（ステップＳ１０３：Ｎ）、この階層の未処理ノードを選択する（ステップＳ１０４）。ここでは、この階層に存在するノード“０２”がまず一例として選択される。階層的クラス制御処理２１１ではこのノード“０２”に対して話者モデル２０３のデータを用いて図１に示す階層的クラス固有空間抽出手段２０４内での各部の手続きを実行する（ステップＳ１０５）。この際に、固有空間射影行列２１５とクラス構成変数固有話者空間話者モデルをノード“０２”に付随する値として記憶する。なお図１に示した階層的クラス固有空間抽出手段２０４の詳細は後に説明する。
【０１０８】
ノード“０２”についての処理が終了したら、ステップＳ１０３に戻ってこの階層のすべてのノードの処理が終了したかどうかの判別が行われる。この階層にはノード“０３”も存在する。そこで、図１９に示すノード“０３”についても以上の作業が行われる。同様に同階層に他のノードが存在すれば、これらのすべてのノードに対して以上の作業が行われる。これにより最下位層のノードの作業が終了する（ステップＳ１０３：Ｙ）。そこで階層的クラス制御処理２１１は、引き続いてこれよりも一つ上の階層に着目し（ステップＳ１０６）、該当のノード“０１”に対して、前記した作業で得られたノード“０２”、“０３”に付随するクラス構成変数固有空間話者モデル２１７のデータを用いて、図１に示した階層的クラス固有空間抽出手段２０４内での手続きを実行する（ステップＳ１０５）。この際には、固有空間射影行列２１５とクラス構成変数固有話者空間話者モデルをノード“０１”に付随する値として記憶する。
【０１０９】
ここで特に注意すべき点は、ノード“０１”においては話者モデル２０３のデータを用いるのではなく、ノード“０１”の直下の子ノード“０２”、“０３”に付随するクラス構成変数固有空間話者モデル２１７のデータを用いている点である。同階層のすべてのノードに対して上記した作業を行い（ステップＳ１０３）、更に引き続いて一つ上の階層に着目する（ステップＳ１０６）。階層的クラス制御処理２１１ではこれらの作業を全ノードに対して最も上の階層であるルートに至るまで実行し（ステップＳ１０６：Ｙ）、一連の手順を終了させる（エンド）。これら手順により全階層的クラスにおいて固有空間射影行列が作成できることになる。
【０１１０】
次にノード“０２”での手続きを用いて図１に具体的に示した階層的クラス固有空間抽出手段２０４の詳細を説明する。
【０１１１】
図１９に示すように、ノード“０２”の子ノードはリーフ“０４”〜“０６”である。階層的クラス制御処理２１１は子ノードがリーフである場合には話者モデル２０３から、子ノードに含まれる、すなわちここではリーフ“０４”〜“０６”に対応づけられている音響モデルあるいは音響モデルを構成する変数を抜き出す。そして、話者モデルの中で特にこのクラスを構成している変数として、これをクラス構成変数話者モデル２１２とする。
【０１１２】
説明を分かりやすくするために、一例として日本語の母音（「ａ」、「ｉ」、「ｕ」、「ｅ」、「ｏ」）のみの音響モデルを考える。更に各モデルで一つのガウス分布から構成されている隠れマルコフモデルを想定し、このガウス分布の平均ベクトルを適応する場合を考える。この例の場合には、木構造クラスとして図１９のリーフ“０４”、“０５”、“０６”、“０７”、“０８”にそれぞれ「ａ」、「ｉ」、「ｕ」、「ｅ」、「ｏ」を対応づけたものとする。この例ではノード“０１”がルートとなる。
【０１１３】
このときの各ガウス分布の平均ベクトルをそれぞれ「μ＿ａ」、「μ＿ｉ」、「μ＿ｕ」、「μ＿ｅ」、「μ＿ｏ」で表わすと、話者モデル２０３には「μ＿ａ」、「μ＿ｉ」、「μ＿ｕ」、「μ＿ｅ」、「μ＿ｏ」それぞれが学習話者数だけのＴ個あり、階層的クラス制御処理２１１によりクラス構成変数話者モデル２１２は、「μ＿ａ」、「μ＿ｉ」、「μ＿ｕ」がそれぞれＴ個となる。
【０１１４】
次に次元数削減処理２１３では、まずクラス構成変数話者モデル２１２のスーパベクトルを各話者モデルについて作成し、次元数削減処理を行う。ここで次元数削減処理は、主成分分析法（ＰＣＡ）、線形識別分析法（ＬＤＡ）、因子分析法（ＦＡ）、独立成分分析法（ＩＣＡ）、特異値分解法（ＳＶＤ）および共分散行列に基づいて削減基準を適用するその他の変換技術を利用することができる。また採用する次元数削減処理技術はノードごとに異なるものでもまったく問題はない。特に本発明では各クラス構成変数話者モデル２１２に対してスーパベクトルを構成し、次元数削減処理を行っているので、取り扱わなければならない共分散行列のサイズは各ノードの子ノードのみによって決定される。このため大規模計算を回避することができる。
【０１１５】
固有空間抽出処理２１４では、次元数削減処理２１３によって得られたＴ個の固有ベクトルの中からＥ個（Ｅ≦Ｔ）を選択し、これらＥ個の固有ベクトルが張る空間を固有空間とする。ここで選択した固有ベクトルを各列にもつ行列Ｍを作成し、固有空間射影行列２１５にノード“０２”に付随する固有空間射影行列として記憶する。
【０１１６】
ここで行列Ｍを転置したものは、スーパベクトル次元数を“ｎｓ”としたとき、Ｅ行ｎｓ列の行列である。スーパベクトルにこの行列Ｍの転置行列を掛けることにより、ノード“０２”の固有空間へ射影したベクトルを計算することができる。各学習話者ごとのＴ個のスーパベクトルを固有空間に射影したベクトルを、ノード“０２”に付随するＴ個のクラス構成変数固有空間話者モデルとして記憶する。
【０１１７】
先に示した日本語母音の例をここでも用い、更に次元数削減処理として主成分分析法を用いた場合を例とする。ノード“０２”におけるスーパベクトルは次の（２）式で示す通り、「ａ」、「ｉ」、「ｕ」についてのガウス分布の平均ベクトルをリストにしたものを列ベクトルにしたものであり、話者を符号ｐで表わすと、ｐは（５）式で示ように１からＴまでの変数となる。
【０１１８】
ｓｖ＿０２（ｐ）＝［μ＿ａ（ｐ），μ＿ｉ（ｐ），μ＿ｕ（ｐ）］t,  ｐ＝1・・・Ｔ    ……（２）
【０１１９】
【数１】
0003972238.tif 000002
【０１２０】
ただしｓｖ_０２（Ｍｅａｎ）、は式（４）で定義される
【０１２１】
【数２】
0003972238.tif 000003
【０１２２】
ｐ＝１〜Ｔ    ……（５）
【０１２３】
次にこれらについて主成分分析法を行う。すなわち（３）式で示す、Ｔ個のスーパベクトルの共分散行列Ｓ、を求め、共分散行列Ｓの固有値解析を行い、次の（６）式で示す固有値λと固有ベクトルｖたちを求める。
【０１２４】
（λ１，ｖ１），（λ２，ｖ２），・・・，（λＴ，ｖＴ）    ……（６）
ただしλ１≧λ２・・・≧λＴ
【０１２５】
更に主成分として固有値の値の大きなものからＥ＿０２（Ｅ＿０２≦Ｔ）個の固有ベクトルを採用して、ノード“０２”に付随する固有空間射影行列Ｍ＿０２、（７）式を構成する。また（８）式で示すようにノード“０２”におけるスーパベクトルを固有空間に射影したベクトルを求め、クラス構成変数固有空間話者モデルとする。
【０１２６】
Ｍ＿０２＝[ｖ１ｖ２・・・ｖＥ＿０２]    ……（７）
【０１２７】
μ＿０２（ｐ）=Ｍ＿０２tｓｖ＿０２（ｐ），  ｐ＝１・・・Ｔ    ……（８）
【０１２８】
主成分分析法における、採用する主成分数Ｅは計算機性能に応じて事前に決定してもよいし、累積寄与率α、（９）式、に対する閾値κを与えて（１０）式を用いて決定することもできる。またノードごとに採用する主成分数を変えることもまったく問題がない。
【０１２９】
【数３】
0003972238.tif 000004
【０１３０】
α（Ｅ）≦κ≦α（Ｅ＋１）    ……（１０）
【０１３１】
更に次にノード“０１”での手続きを用いて最下位層より上のノードでの手続きを説明する。階層的クラス制御処理２１１ではノード“０１”の子ノードであるノード“０２”とノード“０３”に付随するクラス構成変数固有話者モデルをクラス構成変数話者モデル２１２とする。ここで階層的クラス制御処理２１１でノード“０１”についての作業を行う際には、ノード“０１”より下位の階層のすべてのノードに付随するクラス構成変数固有空間話者モデル２１７が計算されていることを注意されたい。以降の手続きは最下位階層での手続きとまったく同等である。ただし最下位層より上のノードにおける次元数削減手段においても、リーフにおける話者モデルによらず、子ノードにおいて次元数削減が行われた後の各クラス構成変数話者モデル２１２に対してスーパベクトルを構成し、次元数削減処理を行っている。このため、取り扱わなければならない共分散行列のサイズは各ノードの子ノードのみによって決定される。したがって、従来の手法と異なり大規模計算を回避することができ、更にここで子ノード間のクラスにまたがる話者性に基づく知識を抽出している。
【０１３２】
先に示した日本語母音での例を引き続き用いる。最下位階層ノード“０２”、“０３”でそれぞれのノードに付随する固有空間射影行列、Ｍ＿０２、Ｍ＿０３とクラス構成変数固有空間話者モデル、μ＿０２、μ＿０３が計算されている。ノード“０１”におけるスーパベクトルは（１１）式に示すとおり構成される。
【０１３３】
ｓｖ＿０１（ｐ）＝[μ＿０２（ｐ），μμ＿０３（ｐ）]ｔ，  ｐ＝１・・・Ｔ    ……（１１）
【０１３４】
これ以降では、ｓｖ＿０１を用いて定義される共分散行列Ｓに対し主成分分析法を行い、ノード“０１”に付随する固有空間射影行列Ｍ＿０１とクラス構成変数固有話者モデルμ＿０１が計算される。
【０１３５】
図３は、これら日本語母音での例を示したものである。すなわち最下位層のノードでは話者モデルからリーフに対応付けられたモデルに関するスーパベクトルを構成し、主成分分析法によって固有空間射影行列が計算され、更に抽出された固有空間へ射影したベクトルを求め、クラス構成変数固有空間話者モデルとする。更に階層を上げ、クラス構成変数固有空間話者モデルμ＿０２とμ＿０３からスーパベクトルｓｖ０１を構成しさらにルートにおける固有空間射影行列を求め、またその固有空間への射影ベクトルを求める様子を図で模式的に表わしたものである。
【０１３６】
以上説明した実施の形態では日本語母音のみの簡単な例をあげたが、これに制限されるものではない。すなわち、より複雑な任意の認識単位の音響モデルに対しても、階層的クラスにおける話者性情報抽出を実行することができる。
【０１３７】
階層的クラスにおける適応化
【０１３８】
図４は、階層的なクラスを用いてグループ分けされたモデル集合において、多数話者からなる学習用話者データから抽出された話者性に基づく知識（固有空間射影行列）と適応データを用いてモデルを適応する手段を示すものである。この話者適応モデル作成手段３００は、階層的クラスデータ３０１から適応時に使用するクラス（適応クラス）を決定するための適応クラス選択処理３０２と新話者用にモデルを適応化させる適応化処理３０４とを備えている。適応クラスの決定方法としては、たとえば事前に任意のクラスを与えてるような方法であってもよいし、あるいは適応データ３０３を用いてクラスごとのデータ出現個数を計算し、出現データ数閾値を用いたクラス選択基準を用いるようにすることもできる。またあるいは、適応化処理３０４において尤度基準（以下で説明するＭＬＥＤ＝最尤固有音声分解技術など）を用いた場合には、最適化された尤度と、各ノードにおける固有空間次元すなわち適応時に最適化される自由度数とを用いた情報量基準、たとえば記述長最小基準（ＭＤＬ）や赤池情報量基準（ＡＩＣ）等を用いて適応ノードを決定することもできる。
【０１３９】
適応化処理３０４では、決定された適応クラスに含まれるすべてのノードの固有空間射影行列３０５と適応データ３０３を用いて、適応クラス（ノード）における固有空間に制限した空間における適応化を行う。ここで適応ノードでの固有空間次元数がＥであったとすると、Ｅ次元の変数を何らかの最適化基準、たとえば適応データに対する尤度最大基準に基づいて適応化を行い、適応モデル３０６を推定する。適応化処理３０４は、決定された適応クラスに含まれるすべてのノードの固有空間射影行列３０５と適応データ３０３を用いて、適応クラス（ノード）における固有空間に制限した空間における適応化を行うようになっている。
【０１４０】
図５は、適応化手段を用いて日本語母音のガウス分布平均ベクトルを適応化する例を示したものである。ここで適応データｘは「ａ」、「ｉ」音のみ存在し、適応ノード（クラス）はルートであったとする。適応ノードでの固有空間次元数はＥ＿０１であり、この固有空間に制限した変数、すなわちＥ＿０１次元の変数ｚ＿０１を適応データｘ（ｘ＿ａ，  ｘ＿ｉ）に対して最適化基準関数Ｌに従い最適化する。
【０１４１】
このときリーフにおけるガウス分布平均ベクトルは次のように構成される。まずｚ＿０１を固有空間射影行列の転置行列に掛けて下の階層でのスーパベクトル[ｙ＿０２，ｙ＿０３]を構成する。ここで、符号ｙ＿０２、ｙ＿０３は子ノードでの固有空間次元数であり、符号Ｅ＿０２、Ｅ＿０３は次元の変数である。更に下の階層に同様の操作を行うことでリーフまで伝播させて変数ｙ＿ａ〜ｙ＿ｏの計算が行われる。ただし子ノードでの固有空間次元数ｙ＿０２、ｙ＿０３等中間の変数は必ずしも必要はなく、Ｍ＿０１Ｔ（Ｔは転置を表す）の上部Ｅ＿０２行の部分行列とＭ＿０２ＴおよびＭ＿０１Ｔの下部Ｅ＿０３行の部分行列とＭ＿０３Ｔを掛ければそれぞれｚ＿０１からｙ＿ａ〜ｙ＿ｕおよびｙ＿ｅ、ｙ＿ｏへの線形変換行列が構成でき、このように固有空間射影行列をリーフまで伝播させることと同値である。
【０１４２】
ところで現在示している例では、適応データがｘ＿ａ，ｘ＿ｉのみ存在している。したがって、ｙ＿ａとｘ＿ａおよびｙ＿ｉとｘ＿ｉから最適化基準関数が計算される。ただしｙ＿ａ〜ｙ＿ｏは自由に動ける変数ではなく適応クラスにおける固有空間に制限された、すなわちＥ＿０１次元のｚ＿０１から計算されるものであり、ｚ＿０１が決定されるとすべてのリーフの変数が適応化される。
【０１４３】
次に最適化基準として尤度最大とすることを考える。最尤法に基づく適応化処理では、標準パタンを構成する変数を観測データに対して尤度関数最大となるよう適応させる。特に隠れた変数、隠れマルコフモデル（ＨＭＭ）では出力されるデータ時系列から隠れマルコフモデルの状態系列は観測されないため状態系列は隠れた変数である、を含む場合補助関数Ｑ、（１２）式を反復最大化して適応を行う。よって次の（１３）式が成立する必要がある。ここでＰ（ａ，ｂ｜ｃ）は条件ｃのとき確率変数ａかつｂが観測される確率で、符号ｏは観測データ時系列、符号θは状態系列、符号Λおよび符号Λ’は標準パタン構成変数で、標準パタン構成変数Λは反復計算の現行値を表わし、標準パタン構成変数Λ’は推定値を表わしている。
【０１４４】
【数４】
0003972238.tif 000005
【０１４５】
【数５】
0003972238.tif 000006
【０１４６】
前記した特開２０００−８１８９３号公報で用いられている最尤固有音声分解（ＭＬＥＤ）技術では、適応化する変数を、全適応変数を一つのクラスとして話者性に基づく情報として抽出した、単一の固有空間に拘束して最尤法を用いて適応化を行っている。これにより観測データ時系列すなわち適応データが少数であっても、抽出した情報により補って適応が可能となる。本発明で使用する適応化方式は、特に最適化基準として尤度最大としたときに最尤固有音声分解技術を階層的クラスに対して拡張したものとなる。
【０１４７】
ここで図１９にクラス化された隠れマルコフモデルのガウス分布の平均ベクトルを適応する例を用いて詳細に説明する。
【０１４８】
今、ノード“０２”およびノード“０３”の両クラスで適応化に十分なデータが出現していた場合、適応ノードはノード“０２”およびノード“０３”が選択される。このときクラス０２と０３で個別に特開２０００−８１８９３号公報に開示された手法を用いて適応を行うことができる。ただしこのときリーフ“０４”〜“０６”とリーフ“０７”、“０８”にまたがる情報は利用されていない。しかしながら適応データが十分に存在して、ノード“０２”およびノード“０３”が選択されている今の場合には問題なく十分に適応ができる。
【０１４９】
一方、ノード“０２”では十分な適応データが存在するが、ノード“０３”には出現しなかった場合、適応ノードは“０２”と“０１”が選択される。ノード“０２”における適応化は先と同様に行える。ノード“０１”における適応化ではまず、階層的クラスにおける話者性情報抽出法で抽出された、ノード“０１”、“０２”、“０３”に付随する固有空間射影行列を用いて射影操作をノード“０１”からリーフまで伝播させる。
【０１５０】
この操作により尤度最大基準で適応化を行うことが、適応ノードにおける最尤固有音声分解（ＭＬＥＤ）操作となっていることは次の（１４）式で定義される線形変換行列Ｗ＿０１を用いることによりわかる。
【０１５１】
【数６】
0003972238.tif 000007
【０１５２】
ここでＭ＿０１ＴはＥ＿０１行ｎｓ＿０１列、Ｍ＿０２ＴはＥ＿０２行ｎｓ＿０２列、Ｍ＿０３ＴはＥ＿０３行ｎｓ＿０３列の行列である。ただし（１３）式における右辺第二項の行列はＭ＿０２Ｔであり、Ｍ＿０３Ｔに含まれない項は“０”としたものである。また、符号ｎｓは各クラスのスーパベクトル次元数を示したものであり、次の（１５）式で示される。
【０１５３】
ｎｓ＿０１＝Ｅ＿０２＋Ｅ＿０３    ……（１５）
【０１５４】
次にノード“０１”におけるＥ＿０１次元の適応変数をｚ＿０１とすると、線形変換Ｗ＿０１をｚ＿０１に掛けることによりリーフにおける適応ベクトルすなわち適応モデルが表現される。これはすなわちＷ＿０１を用いることで前記した特開２０００−８１８９３号公報における最尤固有音声分解（ＭＬＥＤ）手法と同等の定式化で、階層的に抽出された空間に拘束してｚ＿０１を観測データの尤度最大化基準で適応が行えることを示したこととなる。
【０１５５】
これでノード“０１”においてリーフにおける適応モデルを推定し、リーフ“０７”、“０８”における適応モデルが決定される。このように構成する線形変換行列Ｗは任意のノードからリーフまで形成でき、特開２０００−８１８９３号公報に開示された最尤固有音声分解（ＭＬＥＤ）技術を階層的クラスに対して拡張できることが示された。
【０１５６】
ここでリーフ“０７”、“０８”における値が決定できたのは、ノード“０１”に付随する固有話者射影行列を利用したことに注意されたい。更に実際の計算時には（１２）式のＷ＿０１（ｎｓ＿０２＋ｎｓ＿０３行Ｅ＿０１列）は全要素すべて同時に求める必要がなく、ノードごとに計算した部分行列を伝播させていく方法、ｎｓ＿０２行Ｅ＿０１列の行列とｎｓ＿０３行Ｅ＿０１列の行列を個別に求める方法でよい。
【０１５７】
次に、以上説明した第１の実施の形態で得られる効果を説明する。第１の実施の形態では階層的にクラス分けられたモデルにおける話者性情報を抽出することによって、話者性情報を抽出時の次元数削減技術に伴う大規模行列計算を避けることができる。これにより前後環境依存音素を認識単位とし多数混合ガウス分布を有する隠れマルコフモデル（ＨＭＭ）を音響モデルとして採用した、複雑な標準パタンにおいても、小規模行列計算により話者情報を抽出することができる。またここで抽出した情報を用いて、適応データ数に応じたクラス選択基準を用いた適応が可能となる。更に適応データが少なくより上位のノードが選択された場合においても、階層的に固有空間射影行列を伝播させることにより適応化の計算が可能であり、大規模行列計算は不要となる。また同一階層の異なるクラス間にわたる話者性に基づく情報はそれより上位の階層において取り入れられ適応時に利用することができる。
【０１５８】
［第２の実施の形態］
【０１５９】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。第１の実施の形態では階層的クラスとして主に単純な木構造、すなわち自分自身の親は１つしかなく、また階層をまたがる親子関係も存在しない場合を取り扱った。第２の実施の形態ではより複雑な階層的クラスを用いて音声の認識を行う。
【０１６０】
図６は、本実施の形態で採用する複雑な階層的クラスの一部を表わしたものである。階層的クラスにおける話者性情報抽出は注目するノードの子供にノードとリーフが混ざっている場合、すなわち図示しないトップ（最上階層）に位置するノードから分岐した所定階層のノード“０２Ａ”と、これと同一階層のノード“０３Ａ”は、これらよりも１階層下のノード“０５Ａ”を共通した接続先としている。この例のような場合に、図１における階層的クラス制御処理２１１は、クラス構成変数話者モデル２１２として、ノード“０３Ａ”に対してはクラス構成変数固有空間話者モデル２１７を、リーフ“０７Ａ”に対しては話者モデル２０３（図１の話者モデル２３）からリーフ“０７Ａ”に対応する部分を抜き出すように注意する。他の部分もまったく変更なく実行できる。
【０１６１】
階層的クラスにおける適応化では、第１の実施の形態で示した図４において適応クラス選択手段がノード“０２Ａ”あるいは“０３Ａ”を選択した場合では第１の実施の形態とまったく同様に適応を行い、リーフ“０５Ａ”はノード“０２Ａ”、“０３Ａ”のクラスに所属する重み付けによって、ノード“０２Ａ”、“０３Ａ”でそれぞれ推定された適応モデルを、重み付け平均すればよい。
【０１６２】
また選択ノードが“０１Ｂ”のように階層をまたがる親子関係がある場合は、先の（１４）式で与えられていた線形変換行列Ｗを次の（１６）式のように変更すればよい。
【０１６３】
【数７】
0003972238.tif 000008
【０１６４】
ここでここで符号Ｉは単位行列であり、符号Ａはリーフ“０３Ｂ”がノード“０１Ｂ”と“０２Ｂ”に重み［ａ，ｂ（ａ+ｂ=１）］で所属するとして、次の（１７）式で与えられる。ただし（１７）式はリーフ“０３Ｂ”のベクトル次元数が“２”の場合であるが、重みつき平均で与えられる意味を考えると任意の次元数に一般化することは自明であろう。
【０１６５】
【数８】
0003972238.tif 000009
【０１６６】
更により複雑な階層クラスの場合でも上記の例を組み合わせると一般化できることも理解されるであろう。これにより第１の実施の形態と同様にふたたび線形変換行列Ｗが定義されるので、他の部分はまったく変更なく実行できる。
【０１６７】
この第２の実施の形態による効果は、第１の実施の形態による効果に加え、より複雑な階層クラスにおいても適応化が可能な点である。
【０１６８】
【実施例】
次に本発明を具体的な装置として適用した簡易な例を実施例として具体的に説明する。
【０１６９】
階層的固有空間抽出装置の概要
【０１７０】
図７は本発明の一実施例における階層的固有空間抽出装置の概要を表わしたものである。この階層的固有空間抽出装置４０１は、学習用話者データ記憶部４０２および話者モデル記憶部４０３を備えており、これらは話者モデル作成処理部４０４によって制御されるようになっている。
【０１７１】
ここで学習用話者データ記憶部４０２は、多数の学習用話者データを予め用意して記憶しておく部分である。学習用話者の数は多いほど良いが、本実施例では説明を簡単にするためにこの数を２０人とする。話者モデル作成処理部４０４は、図示しないＣＰＵ（中央処理装置）と作業用メモリおよびＣＰＵに所定の制御を行わせるための制御用プログラムを格納した磁気ディスク等の記憶媒体から構成されている。この話者モデル作成処理部４０４は学習用話者データ記憶部４０２に記憶された学習用話者データから各学習話者についてのモデル（話者モデル）を作成し、これを話者モデル記憶部４０３に記憶するようになっている。
【０１７２】
図８は、学習用話者データ記憶部に記憶された２０人分の学習用話者データを示している。ただしここでは説明を簡単にするために各学習用話者Ｐ1〜Ｐ20の音声データとして「ａ、ｉ、ｕ、ｅ、ｏ」の合計５個の日本語の母音を例として示している。
【０１７３】
図９は、本実施例で使用するこれら５個の母音に対する木構造を示したものであり、図１９に対応するものである。５個の母音「ａ、ｉ、ｕ、ｅ、ｏ」の音声モデルは、それぞれ変数μ＿ａ、μ＿ｉ、μ＿ｕ、μ＿ｅ、μ＿ｏで記述されるものとする。この場合の各μ（μ＿ａ、μ＿ｉ等）は１０次元のベクトルでそれぞれ表わされるものとする。この例の場合、学習用話者データ記憶部４０２には２０名分の５母音として次の（１８）式で表わすデータが記憶されている。
【０１７４】
（μ＿ａ、μ＿ｉ、μ＿ｕ、μ＿ｅ、μ＿ｏ）P=1〜20    ……（１８）
【０１７５】
図１０は、話者モデル記憶部に記憶された話者モデルの内容を示したものである。話者モデル記憶部４０３には各学習用話者Ｐ1〜Ｐ20に対応させてそれぞれの話者モデルμ＿ａ、μ＿ｉ、μ＿ｕ、μ＿ｅ、μ＿ｏが記憶されている。ここで話者モデルは各学習者用の音のモデルであり、この作成方法については後に説明する。
【０１７６】
話者モデル記憶部４０３と階層的クラス記憶部４０６および固有空間射影行列記憶部４０７とは階層的クラス固有空間抽出処理部４０８に接続されており、これによって階層的クラス固有空間の抽出のための制御を受けるようになっている。ここで階層的クラス固有空間抽出処理部４０８は話者モデル作成処理部４０４と同様に図示しないＣＰＵ（中央処理装置）と作業用メモリおよびＣＰＵに所定の制御を行わせるための制御用プログラムを格納した磁気ディスク等の記憶媒体から構成されている。ただし、これらのＣＰＵ等が話者モデル作成処理部４０４と共用されていてもよい。
【０１７７】
図１１は、本実施例における単純化された形での階層的クラス記憶部の記憶内容を示したものである。階層的クラス記憶部４０６には、取り扱う５個の母音に対する木構造のクラスが示されている。たとえば図９に示した最も上のノード“０１”の子のノードは、２つのノード“０２”および“０３”であり、最下位階層のリーフ“０４”については子が存在していない。
【０１７８】
階層的クラス固有空間抽出処理部４０８では、話者モデル記憶部４０３に記憶されている２０個の話者モデルと、階層的クラス記憶部４０６に記憶されている図９に示した各モデル変数の木構造クラス情報を用いて、各ノード（クラス）における固有空間射影行列を順次計算する。そして、計算された各クラスの固有空間射影行列を固有空間射影行列記憶部４０７に記憶するようになっている。本実施例の場合には、固有空間射影行列記憶部４０７に、各ノードに対応した固有空間射影行列Ｍ＿０１、Ｍ＿０２およびＭ＿０３の３つの行列が記憶されることになる。
【０１７９】
図１２は、この階層的クラス固有空間抽出処理部とその周囲を表わしたものである。固有空間抽出処理部４０８は階層的クラス制御処理部４１１と、次元数削減固有空間処理部４１２および話者モデル射影処理部４１３の３つの処理部と、クラス構成変数記憶部４１４およびクラス構成変数固有空間話者モデル記憶部４１５の２つの記憶部を備えている。
【０１８０】
このうち階層的クラス制御処理部４１１は、階層的クラス記憶部４０６に記憶された図１１に示す音声モデル変数μの木構造クラス情報に従って、下の階層から上の階層に、各階層ごとに制御対象を移動させる。この点については図２の説明と対応する。本実施例では図９に示したノード“０２”、“０３”、“０１”の順に制御対象が移動する。この順に次に説明する操作を行って、各ノードでの固有空間射影行列を計算していく。これについての詳細は第１０７段落から第１０９段落で説明している。
【０１８１】
今、図９に示すノード“０２”に着目する。ノード“０２”の子ノードはリーフ“０４”〜“０６”である。階層的クラス制御処理部４１１は、図１２に示す話者モデル記憶部４０３からこれらのリーフ“０４”〜“０６”の変数μ＿ａ、μ＿ｉ、μ＿ｕを２０名分取り出す。そしてノード“０２”で表わされるクラスを構成する変数として、クラス構成変数変数記憶部４１４に記憶する。
【０１８２】
図１３はこのクラス構成変数記憶部の記憶内容を表わしたものである。クラス構成変数記憶部４１４には、次の（１９）式で表わすデータが記憶されることになる。
【０１８３】
（μ＿ａ、μ＿ｉ、μ＿ｕ）P=1〜20    ……（１９）
【０１８４】
次に次元数削減固有空間処理部４１２は、まずクラス構成変数記憶部４１４に記憶されている各話者のクラス構成変数を並べて、１つのベクトルとしたスーパベクトルを２０個作成する。すなわちノード“０２”におけるスーパベクトルをｓｖ＿０２（（２）式）は、３０次元（３×１０次元）のベクトルが２０個となる。
【０１８５】
この２０個のベクトルに対して主成分分析を行い、主成分を３個採用する。実際には２０個のうちのどの３個でもよい。これは図２および次元数削減処理２１３および固有空間抽出処理２１４に対応している。これにより、主成分分析によって学習話者の２０名から話者の特性が顕著に表わされる３組の情報が得られたことになる。この主成分分析によって得られた組から作られる空間を固有空間と呼ぶ。
【０１８６】
特開２０００−８１８９３号公報にも記載されていたように、この各組の情報は話者の特性が顕著に表わされる情報が取り出されている。このうち第１組の情報は男女間の違いによる情報と考えられる。
【０１８７】
ここで得られた固有空間と元の空間とを関係付ける線形変換行列をＭ＿０２とし（３０行３列の行列）、固有空間射影行列記憶部４０７に記憶する。
【０１８８】
図１４は、固有空間射影行列記憶部の記憶内容を表わしたものである。固有空間射影行列記憶部４０７には各ノード別に固有空間射影行列が格納される。
【０１８９】
次に話者モデル射影処理部４１３では、次元数削減固有空間処理部４１２で作成したスーパベクトルを固有空間射影行列Ｍ＿０２と行列積することによって、固有空間に射影してクラス構成変数固有空間話者モデルμ＿０２を求める（（８）式）。これは図１における話者モデル抽出処理２１６に対応する。
【０１９０】
ここで得られた各学習話者のスーパベクトルの射影ベクトルをクラス構成変数固有空間話者モデル記憶部４１５に記憶する。ここでクラス構成変数固有空間話者モデル記憶部４１５には、クラス構成変数固有空間話者モデルμ＿０２について３次元のベクトルが２０個作成される。
【０１９１】
図１５は、クラス構成変数固有空間話者モデル記憶部の記憶内容を表わしたものである。クラス構成変数固有空間話者モデル記憶部４１５にはそれぞれのノードに対応させてクラス構成変数固有空間話者モデルが格納されるようになっている。
【０１９２】
ノード“０３”でも同様の手続きを行い、スーパベクトルを固有空間射影行列Ｍ＿０３を固有空間射影行列記憶部４０７に、クラス構成変数固有空間話者モデルμ＿０３をクラス構成変数固有空間話者モデル記憶部４１５に記憶する。ここで、ノード“０３”において採用した主成分数はたとえば“２”とする。
【０１９３】
このようにして最下位階層のノードの処理が終了したので、その上の階層のノード“０１”に着目する。なお、すでに説明したようにノード“０１”の子は２つのノード“０２”、“０３”であり、これらはリーフとは異なる。階層的クラス制御処理部４１１は、クラス構成変数固有空間話者モデル記憶部４１５から２つのノード“０２”、“０３”の固有空間におけるモデル変数μ＿０２、μ＿０３を２０名分取り出す。そしてノード“０１”で表わされるクラスを構成する変数として、これをクラス構成変数記憶部４１４に記憶する。モデル変数μ＿０２、μ＿０３は先程計算しており、クラス構成変数記憶部４１４には、次の（２０）式で表わすデータが記憶されている。
【０１９４】
（μ＿０２、μ＿０３）P=1〜20    ……（２０）
【０１９５】
次に次元数削減固有空間処理部４１２では各話者のクラス構成変数を並べて、１つのベクトルとしたスーパベクトルを２０個作成する。すなわちノード“０１”におけるスーパベクトルｓｖ＿０１（（２）式）は、５次元（３＋２次元）のベクトルが２０個となる。これ以降は、ノード“０２”で説明したと同様の手続きが行われ、線形変数行列Ｍ＿０１を計算し、固有空間射影行列記憶部４０７に記憶する。ここで、ノード“０１”において採用した主成分数を“２”とする。先に示した図は以上説明した一連の手続きを示している。
【０１９６】
適応モデル作成装置の概要
【０１９７】
図１６はこの実施例における適応モデル作成装置の概要を表わしたものである。適応モデル作成装置５０１は、話者５０２の発声を入力するマイクロフォン等の入力装置５０３と、この入力装置５０３の出力する音データ５０４を入力して適応データ５０５を計算する適応データ計算部５０６を備えている。適応データ計算部５０６の計算した適応データ５０５は適応データ記憶部５０７に格納されるようになっている。この適応データ記憶部５０７と、固有空間射影行列記憶部５０８、階層的クラス記憶部５０９および適応モデル記憶部５１０は、適応クラス選択処理部５１１および適応処理部５１２と接続されており、これらの制御を受けるようになっている。
【０１９８】
ただし、このうち固有空間射影行列記憶部５０８は、図８あるいは図１２に示した階層的固有空間抽出装置４０１における固有空間射影行列記憶部４０７の記憶内容（図１４参照）が記憶されており、階層的クラス記憶部５０９には同じく図８あるいは図１２に示した階層的固有空間抽出装置４０１における階層的クラス記憶部４０６と同一の内容（図１１参照）が記憶されている。また、適応クラス選択処理部５１１および適応処理部５１２は、図示しないＣＰＵと作業用メモリおよびＣＰＵに所定の制御を行わせるための制御用プログラムを格納した磁気ディスク等の記憶媒体から構成されている。
【０１９９】
図１７は、適応データ記憶部の記憶内容の一例を示したものであり、図１８は適応モデル記憶部の記憶内容の一例を示したものである。適応データ記憶部５０７には適応データｘ＿ａ、ｘ＿ｅが記憶され、適応モデル記憶部５１０には、音声モデルの変数ｙ＿ａ、ｙ＿ｉ、ｙ＿ｕ、ｙ＿ｅ、ｙ＿ｏが記憶されるようになっている。
【０２００】
ところで、適応データ計算部５０６は話者５０２の発声に基づく音データ５０４から各音声モデルに対応付けを行って、この結果を適応データ計算部５０６に記憶する。簡単な例として、話者５０２の発声が「ａ」と「ｅ」の音のみを１つずつ出現させるものであったとする。この場合、適応データ５０５はそれらのモデルに対する１０次元ベクトルで記述される適応データｘ＿ａとｘ＿ｅが記憶されることになる。
【０２０１】
適応クラス選択処理部５１１では、階層的クラス記憶部５０９に記憶された木構造クラス情報と、適応データ記憶部５０７に記憶された適応データ出現数とに応じて、適応ノード（クラス）を選択する。これについては、第１３５段落ならびに図４の適応クラス選択処理３０２として説明した。
【０２０２】
たとえば、一定しきい値以上の累積データ出現個数があることを基準としてクラスの選択が行われる。今、しきい値を“２”とすると、ノード“０１”では２個であり、ノード“０２”では１個、ノード“０３”も１個である。したがって、ノード“０１”で表わされるクラスがこの条件を満たしており、選択される。
【０２０３】
適応処理部５１２では固有空間射影行列記憶部５０８に記憶されている、事前に抽出された話者５０２の特性の情報としての固有空間射影行列と、適応データ記憶部５０７に記憶されている適応データ５０５を用いて、新話者用の音声モデルである適応モデルを作成する。この点については、図４の適応化処理３０４で説明した。
【０２０４】
今、選択されたノードはノード“０１”である。ノード“０１”における固有空間の次元は、そこで選択された主成分数の“２”である。新話者のモデルは、この選択されたノード“０１”での固有空間において、適応データとの「ずれ」が小さくなるように、すなわち尤度が最も高くなるモデルとなるように決定される。すなわち、ここで最適化される変数は２次元のｚ＿０１である。図５にこの変数ｚ＿０１を調整することによって、音声モデルが新話者に適応化されて、音声モデルで記述する各変数ｙ＿ａ、ｙ＿ｉ、ｙ＿ｕ、ｙ＿ｅ、ｙ＿ｏが作成できることを示している。
【０２０５】
すなわち変数ｚ＿０１を固有空間射影行列に行列積することによって、ノード“０１”での５次元のスーパベクトル［ｙ＿０２ｙ＿０３］が記述され、これはそれぞれノード“０２”、“０３”の固有空間での変数ｙ＿０２とｙ＿０３に分解できる。なお、この分解の次元数は、固有空間射影行列記憶部５０８に記憶されている行列サイズから分かり、ここでは２次元と３次元となる。以上のような処理を同様に繰り返し、リーフにおける音声モデルの各変数ｙ＿ａ、ｙ＿ｉ、ｙ＿ｕ、ｙ＿ｅ、ｙ＿ｏが記述される。
【０２０６】
また、変数ｙ＿ａとｘ＿ａ、ｙ＿ｅとｘ＿ｅとの「ずれ」を比較することによって、変数ｚ＿０１を決定することができ、同時に音声モデルの変数ｙ＿ａ、ｙ＿ｉ、ｙ＿ｕ、ｙ＿ｅ、ｙ＿ｏが決定できる。すなわち、これによって新話者用に適応化された音声モデルが、一部のモデルに対する適応データのみを用いて決定できることが分かる。
【０２０７】
ここで注意すべきは最適化するときに適応化される変数は、ノード“０１”における固有空間に制限された２次元の変数ｚ＿０１であり、これはこのノードにおける話者の特性が顕著に表わされる情報を含んでいる。このため、適応データに出現する一部の変数ｘ＿ａ、ｘ＿ｅについての「ずれ」を見て適応するだけで、すべてのモデルが適応されることになる。
【０２０８】
【発明の効果】
以上説明したように請求項１〜請求項５、請求項９〜請求項１３、請求項１７〜請求項２１記載の発明では、階層的クラス化されたモデルの、リーフよりも上の階層に位置する全ノードのうちの少なくとも一部のノードに対応させて、該当するノードの直下の階層での分岐先としての各ノードあるいはリーフでの複数話者による話者性情報を表わした固有空間を、それら個々のノードの情報として抽出することにした。このように、これらのノードでは下位の階層の複数話者のバラエティに富んだ特徴を抽出しているので、比較的少数のサンプルであっても認識率が比較的良好で、サンプル数が増加する場合にはこれによる認識率の向上がより期待できる階層的固有空間抽出装置を実現することができる。また、話者性に基づく知識を、階層的に固有空間という形で抽出しているので、個々のクラス間に跨がった知識を抽出することができる。
【０２０９】
また、請求項３、請求項１１および請求項１９によれば、話者性に基づく知識抽出の際に、階層的なクラスにしたがい各階層のクラスにおいて次元数削減を行うので、大規模計算を回避することができ、装置の開発コストを削減することができる。
【０２１０】
更に請求項６〜請求項８、請求項１４〜請求項１６および請求項２２〜請求項２４記載の発明によれば、抽出した話者性に基づく知識を、適応クラスを判別してこれらのクラスにおける各ノードの固有空間に制限して、特定話者の標準パタンを適応して生成するので、その処理を従来に比して簡易に実現することができる。
【０２１１】
また、請求項７、請求項１５および請求項２３によれば、適応クラスに該当するノードの、“直下の”階層での分岐先としての各ノードあるいはリーフでの固有空間に制限しつつ、各リーフに対応付けられたモデルに変形させることができる。
【０２１２】
更に、請求項８、請求項１６および請求項２４によれば、適応クラス判別手段は、適応クラスを、各クラスに含まれるモデルに対応する適応データの出現個数閾値で画一的に決定するので、処理が簡単になるという利点がある。
【図面の簡単な説明】
【図１】本発明の階層的固有空間抽出装置における話者性に基づく知識を抽出する部分を示したブロック図である。
【図２】階層的クラス制御処理による階層的クラスの制御手順の詳細を表わした流れ図である。
【図３】本発明の階層的固有空間抽出法の一例を模式的に表わした説明図である。
【図４】多数話者からなる学習用話者データから抽出された話者性に基づく知識（固有空間射影行列）と適応データを用いてモデルを適応する説明図である。
【図５】適応化手段を用いて日本語母音のガウス分布平均ベクトルを適応化する例を示した説明図である。
【図６】複雑な階層的クラスの一部を表わした説明図である。
【図７】本発明の一実施例における階層的固有空間抽出装置の概要を表わしたブロック図である。
【図８】本実施例で学習用話者データ記憶部に記憶された２０人分の学習用話者データを示した説明図である。
【図９】本実施例で使用するこれら５個の母音に対する木構造を示した説明図である。
【図１０】本実施例の話者モデル記憶部に記憶された話者モデルの内容を示した説明図である。
【図１１】本実施例における単純化された形での階層的クラス記憶部の記憶内容を示した説明図である。
【図１２】本実施例の階層的クラス固有空間抽出処理部とその周囲を表わしたブロック図である。
【図１３】本実施例におけるクラス構成変数記憶部の記憶内容を表わした説明図である。
【図１４】本実施例における固有空間射影行列記憶部の記憶内容を表わした説明図である。
【図１５】本実施例におけるクラス構成変数固有空間話者モデル記憶部の記憶内容を表わした説明図である。
【図１６】本実施例における適応モデル作成装置の概要を表わしたブロック図である。
【図１７】本実施例における適応データ記憶部の記憶内容の一例を示した説明図である。
【図１８】本実施例における適応モデル記憶部の記憶内容の一例を示した説明図である。
【図１９】木構造の一例を示す説明図である。
【図２０】第２の方針に基づいて固有空間抽出とそれを利用して適応データによる話者適応を行う処理を表わした説明図である。
【符号の説明】
３０１  階層的クラスデータ
３０２  適応クラス選択処理
３０３  適応データ
３０４  適応化処理
３０５  固有空間射影行列
３０６  適応モデル
４０１  階層的固有空間抽出装置
４０２  学習用話者データ記憶部
４０３  話者モデル記憶部
４０４  話者モデル作成処理部
４０６、５０９  階層的クラス記憶部
４０７、５０８  固有空間射影行列記憶部
４０８  階層的クラス固有空間抽出処理部
４１１  階層的クラス制御処理部
４１２  次元数削減固有空間処理部
４１３  話者モデル射影処理部
４１４  クラス構成変数記憶部
４１５  クラス構成変数固有空間話者モデル記憶部
５０２  話者
５０３  入力装置
５０６  適応データ計算部
５０７  適応データ記憶部
５１０  適応モデル記憶部
５１１  適応クラス選択処理部
５１２  適応処理部
【図１】
0003972238.tif 000010
【図２】
0003972238.tif 000011
【図３】
0003972238.tif 000012
【図４】
0003972238.tif 000013
【図５】
0003972238.tif 000014
【図６】
0003972238.tif 000015
【図７】
0003972238.tif 000016
【図８】
0003972238.tif 000017
【図９】
0003972238.tif 000018
【図１０】
0003972238.tif 000019
【図１１】
0003972238.tif 000020
【図１２】
0003972238.tif 000021
【図１３】
0003972238.tif 000022
【図１４】
0003972238.tif 000023
【図１５】
0003972238.tif 000024
【図１６】
0003972238.tif 000025
【図１７】
0003972238.tif 000026
【図１８】
0003972238.tif 000027
【図１９】
0003972238.tif 000028
【図２０】
0003972238.tif 000029