(57)【特許請求の範囲】
【請求項１】
複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類手段と、
前記データ分類手段によって分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成手段と、
前記パターンモデル生成手段によって各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出手段と、
前記数学的距離算出手段によって算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換手段と、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示手段と、を備えることを特徴とするデータ処理装置。
【請求項２】
前記複数対象に係る複数の所定データは、音声データ、生活周囲音データ、鳴声データ、画像データ、赤外線データ及び加速度データのいずれか１つであることを特徴とする請求項１記載のデータ処理装置。
【請求項３】
前記複数対象に係る複数の所定データは、複数話者の発声した複数の音声のデータであり、
前記複数の特定条件は、少なくとも、話者の種類、発話語彙、発話様式及び発話環境を含むことを特徴とする請求項１記載のデータ処理装置。
【請求項４】
前記データ分類手段は、前記複数の特定条件をそれぞれ任意に組み合わせた各組毎に前記グループを形成することを特徴とする請求項１乃至請求項３のいずれか１項に記載のデータ処理装置。
【請求項５】
前記パターンモデルは、ＨＭＭ（Hidden Markov Model）によって生成されることを特徴とする請求項１乃至請求項４のいずれか１項に記載のデータ処理装置。
【請求項６】
前記数学的距離算出手段は、前記ＨＭＭによって生成された、前記パターンモデルの正規分布の標準偏差により正規化された当該パターンモデルの正規分布の平均ベクトルに基づくユークリッド距離、及び、前記パターンモデルの正規分布に基づくバタチャリア距離のいずれか１つを用いて前記数学的距離を算出することを特徴とする請求項５記載のデータ処理装置。
【請求項７】
前記パターンモデル変換手段は、Ｓａｍｍｏｎ法を用いて、前記パターンモデルを前記パターンモデル対応低次元ベクトルへと変換することを特徴とする請求項１乃至請求項６のいずれか１項に記載のデータ処理装置。
【請求項８】
前記パターンモデル対応低次元ベクトル表示手段によって前記低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルの座標点を、前記低次元空間上において複数の領域に自動的に区分する領域区分手段を備えることを特徴とする請求項１乃至請求項７項のいずれか１項に記載のデータ処理装置。
【請求項９】
前記領域区分手段は、前記複数のパターンモデル対応低次元ベクトルを、当該全パターンモデル対応低次元ベクトルの座標点の重心を中心とし且つ前記重心と当該重心から最も離れた位置のパターンモデル対応低次元ベクトルの座標点との距離を半径とした１つの外円と、前記重心を中心とし且つ前記外円よりも小さな半径のｎ個の内円（ｎは１以上の整数）と、により区分し、更に、前記外円及び内円からなる複数の同心円同士の各外周間に形成される環状の領域を、半径方向に伸びる線によって複数に区分することを特徴とする請求項８記載のデータ処理装置。
【請求項１０】
前記領域区分手段によって自動区分された区分内容を変更する区分内容変更手段を備えることを特徴とする請求項８又は請求項９記載のデータ処理装置。
【請求項１１】
前記領域区分手段によって区分された各領域毎に複数の前記パターンモデル対応低次元ベクトルを選択可能な領域選択手段と、当該領域選択手段によって選択された領域内にある前記複数のパターンモデル対応低次元ベクトルにそれぞれ対応する前記パターンモデルに係る、前記所定データに基づき、前記パターンモデルを生成する領域パターンモデル生成手段と、を備えることを特徴とする請求項８乃至請求項１０のいずれか１項に記載のデータ処理装置。
【請求項１２】
請求項１記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類ステップと、
前記データ分類ステップにおいて分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成ステップと、
前記パターンモデル生成ステップにおいて各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出ステップと、
前記数学的距離算出ステップにおいて算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換ステップと、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とするデータ処理装置制御プログラム。
【請求項１３】
前記パターンモデル対応低次元ベクトル表示ステップにおいて低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルを、前記低次元空間上において複数の領域に自動的に区分する領域区分ステップと、
前記領域区分ステップによって自動区分された区分内容を変更する区分内容変更ステップと、
前記領域区分ステップによって区分された各領域毎に複数の前記パターンモデル対応低次元ベクトルを選択する領域選択ステップと、
前記領域選択ステップによって選択された領域内の前記パターンモデル対応低次元ベクトルに対応する前記パターンモデルに係る、前記所定データに基づき、選択領域に対応した前記パターンモデルを生成する領域パターンモデル生成ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とする請求項１２記載のデータ処理装置制御プログラム。
【請求項１４】
請求項１乃至請求項７項のいずれか１項に記載のデータ処理装置と、
前記データ処理装置によって表示された前記低次元空間上の座標点を、前記低次元空間上において複数の領域に自動的に区分する領域区分手段と、
前記区分された領域内に含まれる前記パターンモデル対応低次元ベクトルの座標点に対応する所定データに基づき、各領域毎のパターンモデルを生成する領域パターンモデル生成手段と、
新規対象に係る所定データを取得する所定データ取得手段と、
前記取得した所定データに対する前記区分された各領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度に基づき前記新規対象の所定データの認識に適した認識性能の領域パターンモデルを探索する領域パターンモデル探索手段と、を備えることを特徴とするパターンモデル探索装置。
【請求項１５】
請求項１４記載のパターンモデル探索装置を制御するためのパターンモデル探索装置制御プログラムであって、
複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類ステップと、
前記データ分類ステップにおいて分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成ステップと、
前記パターンモデル生成ステップにおいて各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出ステップと、
前記数学的距離算出ステップにおいて算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換ステップと、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示ステップと、
前記パターンモデル対応低次元ベクトル表示ステップにおいて表示された前記低次元空間上の座標点を、前記低次元空間上において複数の領域に自動的に区分する領域区分ステップと、
前記区分された領域内に含まれる前記パターンモデル対応低次元ベクトルの座標点に対応する所定データに基づき、各領域毎のパターンモデルを生成する領域パターンモデル生成ステップと、
新規対象に係る所定データを取得する所定データ取得ステップと、
前記取得した所定データに対する前記区分された各領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度に基づき前記新規対象の所定データの認識に適した認識性能の領域パターンモデルを探索する領域パターンモデル探索ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とするパターンモデル探索装置制御プログラム。
【請求項１６】
複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類手段と、
前記データ分類手段によって分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成手段と、
前記パターンモデル生成手段によって各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出手段と、
前記数学的距離算出手段によって算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換手段と、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示手段と、を備え、
前記数学的距離算出手段は、前記数学的距離の算出において、前記複数対象に係る複数の所定データにおける各パターン単位の出現頻度を前記数学的距離の重み付けに用いることを特徴とするデータ処理装置。
【請求項１７】
前記パターン単位の出現頻度は、前記複数の所定データに対する前記パターンモデルを用いたパターン認識における前記複数対象に係る複数の所定データのうち、認識性能が所定の閾値より低いパターン単位の出現頻度であることを特徴とする請求項１６記載のデータ処理装置。
【請求項１８】
複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類手段と、
前記データ分類手段によって分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成手段と、
前記パターンモデル生成手段によって各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出手段と、
前記数学的距離算出手段によって算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換手段と、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示手段と、
前記パターンモデル対応低次元ベクトル表示手段によって前記低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルの座標点を、前記低次元空間上において複数の領域に自動的に区分する領域区分手段と、
前記区分された領域内に含まれる前記パターンモデル対応低次元ベクトルの座標点に対応する所定データに基づき、各領域毎の領域パターンモデルを生成する領域パターンモデル生成手段と、
新規対象に係る所定データを取得する所定データ取得手段と、
前記取得した所定データに対する前記区分された各領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度に基づき、前記領域パターンモデル生成手段によって生成された領域パターンモデルの中から前記新規対象の所定データの認識に適した認識性能の領域パターンモデルを探索する領域パターンモデル探索手段と、を備えることを特徴とするデータ処理装置。
【請求項１９】
前記数学的距離算出手段は、前記数学的距離の算出において、前記複数対象に係る複数の所定データにおける各パターン単位の出現頻度を前記数学的距離の重み付けに用いることを特徴とする請求項１８記載のデータ処理装置。
【請求項２０】
前記パターン単位の出現頻度は、前記複数対象に係る複数の所定データに対する前記パターンモデルを用いたパターン認識における前記複数対象に係る複数のパターン単位のうち、認識性能が所定の閾値より低いパターン単位の出現頻度であることを特徴とする請求項１９記載のデータ処理装置。
【請求項２１】
前記領域区分手段は、前記複数のパターンモデル対応低次元ベクトルを、当該全パターンモデル対応低次元ベクトルの座標点の重心を中心とし且つ前記重心と当該重心から最も離れた位置のパターンモデル対応低次元ベクトルの座標点との距離を半径とした１つの外円と、前記重心を中心とし且つ前記外円よりも小さな半径のｎ個の内円（ｎは１以上の整数）と、により区分し、更に、前記外円及び内円からなる複数の同心円同士の各外周間に形成される環状の領域を、半径方向に伸びる線によって複数に区分することを特徴とする請求項１８乃至請求項２０のいずれか１項に記載のデータ処理装置。
【請求項２２】
前記領域区分手段は、最内円から外円方向に向かう程、前記各環状の領域に含まれるパターンモデル対応低次元ベクトルを細かく区分することを特徴とする請求項２１記載のデータ処理装置。
【請求項２３】
前記領域区分手段は、区分結果の各領域において、当該各領域に含まれるパターンモデル対応低次元ベクトルとこれと隣り合う領域に含まれるパターンモデル対応低次元ベクトルとの一部が重複するように領域を区分することを特徴とする請求項２１又は請求項２２記載のデータ処理装置。
【請求項２４】
前記領域パターンモデル探索手段は、前記区分結果の最内円から外円方向に向かって順に、前記取得した所定データに対する前記区分された領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度に基づき、前記領域パターンモデル生成手段によって生成された領域パターンモデルの中から前記新規対象の所定データの認識に適した認識性能の領域パターンモデルを探索することを特徴とする請求項２１乃至請求項２３のいずれか１項に記載のデータ処理装置。
【請求項２５】
前記領域パターンモデル探索手段は、前記取得した所定データに対する、最内円の領域に対応した領域パターンモデルの尤度を算出し、次に、最内円に隣接する環状の領域における各区分領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度のうち最も高い尤度の領域パターンモデルに対応する領域に隣接した外円方向の領域に対応した領域パターンモデルの尤度を算出し、以降は、外円方向に向かって順に、一つ内側の環状の領域において算出された尤度の最も高い領域パターンモデルの対応した領域に隣接する外円方向の領域に対応した領域パターンモデルの尤度を算出することを特徴とする請求項２４に記載のデータ処理装置。
【請求項２６】
前記領域パターンモデル探索手段は、前記取得した所定データに対する、最内円の領域に対応した領域パターンモデルの尤度を算出し、次に、最内円に隣接する環状の領域における各区分領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度のうち上位ｍ個の尤度に対応する領域パターンモデル（ｍは２以上の整数）にそれぞれ対応する領域に隣接した外円方向の区分領域に対応した領域パターンモデルの尤度を算出し、以降は、外円方向に向かって順に、一つ内側の環状の領域において算出された尤度の最も高い領域パターンモデルの対応した領域に隣接する外円方向の領域に対応した領域パターンモデルの尤度を算出することを特徴とする請求項２４に記載のデータ処理装置。
【請求項２７】
前記複数対象に係る複数の所定データは、複数話者の発声した複数の音声のデータであり、
前記複数の特定条件は、少なくとも、話者の種類、発話語彙、発話様式及び発話環境を含むことを特徴とする請求項１８乃至請求項２６のいずれか１項に記載のデータ処理装置。
【請求項２８】
前記データ分類手段は、前記複数の特定条件をそれぞれ任意に組み合わせた各組毎に前記グループを形成することを特徴とする請求項１８乃至請求項２７のいずれか１項に記載のデータ処理装置。
【請求項２９】
前記パターンモデルは、ＨＭＭ（Hidden Markov Model）によって生成されることを特徴とする請求項１８乃至請求項２８のいずれか１項に記載のデータ処理装置。
【請求項３０】
前記数学的距離算出手段は、前記ＨＭＭによって生成された、前記パターンモデルの正規分布の標準偏差により正規化された当該パターンモデルの正規分布の平均ベクトルに基づくユークリッド距離、及び、前記パターンモデルの正規分布に基づくバタチャリア距離のいずれか１つを用いて前記数学的距離を算出することを特徴とする請求項２９記載のデータ処理装置。
【請求項３１】
前記パターンモデル変換手段は、Ｓａｍｍｏｎ法を用いて、前記パターンモデルを前記パターンモデル対応低次元ベクトルへと変換することを特徴とする請求項１８乃至請求項３０のいずれか１項に記載のデータ処理装置。
【請求項３２】
前記領域区分手段によって自動区分された区分内容を変更する区分内容変更手段を備えることを特徴とする請求項１８乃至請求項３１のいずれか記載のデータ処理装置。
【請求項３３】
前記領域パターンモデル探索手段によって探索された領域パターンモデルを新規対象の所定データに基づき、前記新規対象用に適応するパターンモデル適応手段を備えることを特徴とする請求項１８乃至請求項３２のいずれか１項に記載のデータ処理装置。
【請求項３４】
前記パターンモデル変換手段は、前記領域パターンモデル探索手段によって探索された領域パターンモデルに対応する領域内に含まれる前記複数のパターンモデル対応低次元ベクトルに対応する高次元パターンモデルを、前記パターンモデル対応低次元ベクトルに変換可能であり、
前記パターンモデル対応低次元ベクトル表示手段は、前記変換後のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示可能であり、
前記領域区分手段は、前記低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルの座標点を、前記低次元空間上において複数の領域に自動的に区分可能であることを特徴とする請求項３３記載のデータ処理装置。
【請求項３５】
請求項１６記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類ステップと、
前記データ分類ステップにおいて分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成ステップと、
前記パターンモデル生成ステップにおいて各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出ステップと、
前記数学的距離算出ステップにおいて算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換ステップと、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含み、
前記数学的距離算出ステップにおいては、前記数学的距離の算出において、前記複数対象に係る複数の所定データにおける各パターン単位の出現頻度を前記数学的距離の重み付けに用いることを特徴とするデータ処理装置制御プログラム。
【請求項３６】
請求項１８記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類ステップと、
前記データ分類ステップにおいて分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成ステップと、
前記パターンモデル生成ステップにおいて各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出ステップと、
前記数学的距離算出ステップにおいて算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換ステップと、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示ステップと、
前記パターンモデル対応低次元ベクトル表示ステップにおいて前記低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルの座標点を、前記低次元空間上において複数の領域に自動的に区分する領域区分ステップと、
前記区分された領域内に含まれる前記パターンモデル対応低次元ベクトルの座標点に対応する所定データに基づき、各領域毎のパターンモデルを生成する領域パターンモデル生成ステップと、
新規対象に係る所定データを取得する所定データ取得ステップと、
前記取得した所定データに対する前記区分された各領域に対応した前記領域パターンモデルの尤度を算出し、当該算出した尤度に基づき前記新規対象の所定データの認識に適した認識性能の領域パターンモデルを探索する領域パターンモデル探索ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とするデータ処理装置制御プログラム。
【請求項３７】
システム利用者の管理下にある情報処理端末と、
請求項１８乃至請求項３４のいずれか１項に記載のデータ処理装置と、を備え、
前記情報処理端末及び前記データ処理装置を互いにデータ通信可能に接続し、
前記データ処理装置において、前記複数対象に係る複数の所定データは、複数話者の発声した複数の音声のデータであり、
前記情報処理端末は、
前記システム利用者の発声した音声のデータを取得し、当該取得した音声データを前記データ処理装置に送信する音声データ送信手段と、
前記データ処理装置から前記システム利用者の音声データをパターン認識するのに適した前記特定パターンモデルを取得する特定パターンモデル取得手段と、を備え、
前記データ処理装置は、
前記所定データ取得手段によって前記情報処理端末からの前記音声データを取得し、更に、当該取得した音声データに基づき前記システム利用者用の前記特定パターンモデルを生成するようになっており、
前記生成した特定パターンモデルを前記情報処理端末に送信する特定パターンモデル送信手段を更に備えることを特徴とする特定パターンモデル提供システム。
【請求項３８】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択した特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置算出手段によって算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価手段と、
前記音声データ評価手段の評価結果を表示する評価結果表示手段と、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴とするデータ処理装置。
【請求項３９】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置算出手段によって算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価手段と、
前記音声データ評価手段の評価結果を表示する評価結果表示手段と、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴とするデータ処理装置。
【請求項４０】
前記音声データ評価手段は、前記位置算出手段によって算出された前記対象話者の音声データの位置から所定距離の範囲内に存在する前記パターンモデルの数に基づき、前記音声データの価値を評価することを特徴とする請求項３８又は請求項３９記載のデータ処理装置。
【請求項４１】
前記所定距離は、段階的に設定されており、
前記音声データ評価手段は、各段階毎に設定された各距離範囲内における前記パターンモデルの数に基づき、前記音声データの価値を評価することを特徴とする請求項４０記載のデータ処理装置。
【請求項４２】
前記音声データ評価手段は、前記複数のパターンモデルのうち、前記対象話者の音声データの特徴と類似した特徴を有する上位いくつかのパターンモデルを、前記対象話者のパターンモデルとして前記評価に用いることを特徴とする請求項３８乃至請求項４１のいずれか１項に記載のデータ処理装置。
【請求項４３】
前記パターンモデルをＨＭＭ（Hidden Markov Model）により構成したことを特徴とする請求項３８乃至請求項４２のいずれか１項に記載のデータ処理装置。
【請求項４４】
前記音声データ評価手段は、前記対象話者の音声データにおける音素毎の価値を評価するようになっており、
前記評価結果表示手段は、前記対象話者の音声データの音素毎の評価結果を表示することを特徴とする請求項３８乃至請求項４３のいずれか１項に記載のデータ処理装置。
【請求項４５】
前記評価結果表示手段は、前記音声データ評価手段によって前記対象話者の音声データの価値が低いと評価された場合に、その音声データに対する補正情報を表示することを特徴とする請求項３８乃至請求項４４のいずれか１項に記載のデータ処理装置。
【請求項４６】
前記対象話者との間で前記音声データの提供可否に関する交渉を行うための交渉手段と、
前記交渉手段によって交渉が成立した前記音声データを記憶する音声データ記憶手段と、を備えることを特徴とする請求項３８乃至請求項４５のいずれか１項に記載のデータ処理装置。
【請求項４７】
対象話者の管理下にある情報処理端末と、
請求項３８乃至請求項４６のいずれか１項に記載のデータ処理装置と、を備え、
前記情報処理端末と前記データ処理装置とを互いにデータ通信可能に接続し、
前記情報処理端末は、前記対象話者の音声データを取得し、当該取得した音声データを前記データ処理装置に送信する音声データ送信手段と、前記データ処理装置から取得した、前記対象話者の音声データの評価結果に係る情報を表示する評価情報表示手段と、を備え、
前記データ処理装置は、前記評価結果に係る情報を前記情報処理端末に送信する評価情報送信手段を備えることを特徴とするデータ処理システム。
【請求項４８】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択した特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴とするデータ処理方法。
【請求項４９】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと、前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴とするデータ処理方法。
【請求項５０】
請求項３８記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択した特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とするデータ処理装置制御プログラム。
【請求項５１】
請求項３９記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと、前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とするデータ処理装置制御プログラム。
【請求項５２】
請求項４７記載のデータ処理システムに適用可能な前記データ処理装置であって、
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択した特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置算出手段によって算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価手段と、
前記音声データ評価手段の評価結果を表示する評価結果表示手段と、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、
前記評価結果に係る情報を前記情報処理端末に送信する評価情報送信手段と、を備えることを特徴とするデータ処理装置。
【請求項５３】
請求項４７記載のデータ処理システムに適用可能な前記データ処理装置であって、
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置算出手段によって算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価手段と、
前記音声データ評価手段の評価結果を表示する評価結果表示手段と、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、
前記評価結果に係る情報を前記情報処理端末に送信する評価情報送信手段と、を備えることを特徴とするデータ処理装置。
【請求項５４】
請求項５２記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
前記データ処理装置は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を備えており、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択した特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、
前記評価結果に係る情報を前記情報処理端末に送信する評価情報送信ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とするデータ処理装置制御プログラム。
【請求項５５】
請求項５３記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
前記データ処理装置は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を備えており、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと、前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、
前記評価結果に係る情報を前記情報処理端末に送信する評価情報送信ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とするデータ処理装置制御プログラム。
【請求項５６】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出手段と、
前記位置と前記類似話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴とするデータ処理装置。
【請求項５７】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出手段と、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出手段と、
前記位置と前記類似話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴とするデータ処理装置。
【請求項５８】
前記複数話者の中から特定話者を指定する特定話者指定手段と、
前記位置と前記音響空間内における前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価手段と、
前記類似性評価手段の評価結果を表示する評価結果表示手段と、を備え、
前記位置関係情報表示手段は、前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示するようになっていることを特徴とする請求項５６又は請求項５７記載のデータ処理装置。
【請求項５９】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
前記複数話者の中から特定話者を指定する特定話者指定手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価手段と、
前記類似性評価手段の評価結果を表示する評価結果表示手段と、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴とするデータ処理装置。
【請求項６０】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
前記複数話者の中から特定話者を指定する特定話者指定手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出手段と、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価手段と、
前記類似性評価手段の評価結果を表示する評価結果表示手段と、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴とするデータ処理装置。
【請求項６１】
前記類似性評価手段の評価結果に基づき、前記対象話者の音声と前記特定話者の音声との類似性を高めるための前記対象話者の音声に対する矯正内容を示す矯正情報を生成する矯正情報生成手段と、
前記矯正情報を表示する矯正情報表示手段と、を備えることを特徴とする請求項５８乃至請求項６０のいずれか１項に記載のデータ処理装置。
【請求項６２】
前記類似話者検出手段は、前記位置に基づき、前記複数のパターンモデルのうち、前記対象話者の音声データの特徴と類似した特徴を有する上位いくつかのパターンモデルを、前記対象話者のパターンモデルとして用い、
前記類似性評価手段は、前記位置に基づき、前記複数のパターンモデルのうち、前記対象話者の音声データの特徴と類似した特徴を有する上位いくつかのパターンモデルを、前記対象話者のパターンモデルとして用いることを特徴とする請求項５８記載のデータ処理装置。
【請求項６３】
前記類似性評価手段は、前記対象話者の音声データにおける音素毎の類似性を評価するようになっていることを特徴とする請求項５８乃至請求項６２のいずれか１項に記載のデータ処理装置。
【請求項６４】
前記音響空間は、複数種類の発話様式によりそれぞれ発声された前記複数話者の音声データより生成された複数のパターンモデルから構成されており、
前記類似性評価手段は、前記発話様式の種類毎に、前記類似性の評価を行うようになっていることを特徴とする請求項５８乃至請求項６３のいずれか１項に記載のデータ処理装置。
【請求項６５】
前記位置関係表示手段は、前記複数のパターンモデルにそれぞれ対応した前記発話様式に基づき、前記低次元空間の座標軸を設定するようになっていることを特徴とする請求項６４記載のデータ処理装置。
【請求項６６】
前記パターンモデルをＨＭＭ（Hidden Markov Model）により構成したことを特徴とする請求項５６乃至請求項６５のいずれか１項に記載のデータ処理装置。
【請求項６７】
対象話者の管理下にある情報処理端末と、
請求項５６乃至請求項６６のいずれか１項に記載のデータ処理装置と、を備え、
前記情報処理端末と前記データ処理装置とを互いにデータ通信可能に接続し、
前記情報処理端末は、前記対象話者の音声データを取得し、当該取得した音声データを前記データ処理装置に送信する音声データ送信手段と、前記データ処理装置から取得した前記音声データの処理結果に係る情報を表示する情報表示手段と、を備え、
前記データ処理装置は、前記音声データの処理結果に係る情報を前記情報処理端末に送信する情報送信手段を備えることを特徴とするデータ処理システム。
【請求項６８】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出ステップと、
前記位置と前記類似話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴とするデータ処理方法。
【請求項６９】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出ステップと、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出ステップと、
前記位置と前記類似話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴とするデータ処理方法。
【請求項７０】
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
前記位置と前記音響空間内における前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、を含み、
前記位置関係情報表示ステップにおいては、前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示するようになっていることを特徴とする請求項６８又は請求項６９記載のデータ処理方法。
【請求項７１】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴とするデータ処理方法。
【請求項７２】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴とするデータ処理方法。
【請求項７３】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
前記位置と前記音響空間内における前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とするデータ処理プログラム。
【請求項７４】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出ステップと、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
前記位置と前記音響空間内における前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とするデータ処理プログラム。
【請求項７５】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とするデータ処理プログラム。
【請求項７６】
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴とするデータ処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、不特定対象の所定データをパターン認識するためのパターンモデルの生成に係り、特に、対象の種類、所定データの測定環境等の複数の要因の組み合わせによる特定条件によって、多様化する特徴パラメータの分布を考慮して不特定対象用のパターンモデルを生成するのに好適で、且つ、特定の対象の所定データのパターン認識に適合した不特定対象用のパターンモデルを提供するのに好適なデータ処理装置、データ処理装置制御プログラム、パターンモデル探索装置、パターンモデル探索装置制御プログラム及び特定パターンモデル提供システムと、複数話者の音声データに対して生成されたパターンモデルを用いて不特定話者の音声データの価値を評価するのに好適なデータ処理装置、データ処理システム、データ処理方法及びデータ処理装置制御プログラムと、複数話者の中から対象話者と音声の類似した話者を検出するのに好適で、且つ、対象話者に対して、当該対象話者の音声と目的話者の音声との類似性を高めるための情報を提供するのに好適なデータ処理装置、データ処理システム、データ処理方法及びデータ処理装置制御プログラムに関する。
【背景技術】
【０００２】
従来、ある対象についてその性質のいくつかを観測あるいは測定し、その結果得られるデータに基づいて対象を識別分類するパターン認識という情報処理技術がある。
一般に、パターン認識の１つである音声認識は、話者が発声した音声サンプルをある特徴パラメータの系列に変換する音響分析部と、音響分析部で得られた特徴パラメータの系列を予めメモリやハードディスクなどの記憶装置に蓄積した語彙単語の特徴パラメータに関する情報と照合して、最も類似度の高い語彙単語を認識結果とする音声照合部と、の２つの部分から構成される。
【０００３】
音声サンプルをある特徴パラメータの系列に変換する音響分析方法としては、ケプストラム分析や線形予測分析などが知られており、非特許文献１にも詳述されている。
音声認識の中で、不特定話者の音声を認識する技術を一般に不特定話者音声認識と呼ぶ。不特定話者音声認識においては、語彙単語の特徴パラメータに関する情報が予め記憶装置に蓄積されているため、特定話者音声認識のようにユーザーが音声認識させたい単語を登録するという作業は発生しない。
【０００４】
また、語彙単語の特徴パラメータに関する情報の作成およびその情報と入力された音声から変換された特徴パラメータの系列との音声照合方法としては、隠れマルコフモデル（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ，ＨＭＭ）による方法が一般に用いられている。ＨＭＭによる方法においては、音節、半音節、音韻、音素、ｂｉｐｈｏｎｅ、ｔｒｉｐｈｏｎｅなどの音声単位がＨＭＭによりモデル化される。これら音声単位のパターンモデルを一般に、音響モデルと呼ぶ。
【０００５】
音響モデルの作成方法については、非特許文献１に詳しく述べられている。
また、非特許文献１の第４章に記載されているＶｉｔｅｒｂｉアルゴリズムにより、当業者は不特定話者音声認識装置を容易に構成することができる。
そして、従来、音響モデルは、男性／女性の性別、子供／大人／高齢者の年齢別、雑音に依存する発話環境別に、複数個作られることが多かった。
【０００６】
また、非特許文献２には、複数の高次元の音響モデルにおける各音響モデル相互間の距離を用いて、複数の高次元の音響モデルを自動的にクラスタリングする方法について開示されている。このクラスタリング方法は、多数のクラスタリング条件を設定して、好適なクラスタリング結果を得るまで、試行錯誤的に何回もクラスタリングを行うものである。
【非特許文献１】
Ｌ．Ｒａｂｉｎｅｒ  ｅｔ  ａｌ．，″Ｆｕｎｄａｍｅｎｌｓ  ｏｆ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｌｏｎ，″Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ，Ｉｎｃ．，１９９３．
【非特許文献２】
Ｔ．Ｋｏｓａｋａ  ｅｔ  ａｌ．，″Ｔｒｅｅ−Ｓｔｒｕｃｔｕｒｅｄ  Ｓｐｅａｋｅｒ  Ｃｌｕｓｔｅｒｉｎｇ  ｆｏｒ  Ｆａｓｔ  Ｓｐｅａｋｅｒ  Ａｄａｐｔａｔｉｏｎ，″Ｐｒｏｃ．ＩＣＡＳＳＰ，ｖｏｌ．Ｉ，ｐｐ．Ｉ−２４５−２４８，Ａｄｅｌａｉｄｅ，Ａｕｓｔｒａｌｉａ，１９９４．しかしながら、上記したように、音響モデルの種類は、高々、男性／女性の性別、子供／大人／高齢者の年齢別、雑音に依存する発話環境別に少数個作られることが多い。そのため、これらの音響モデルの分割は、先験的な知識に基づいたヒューリスティックな方法にならざるをえず、得られる認識率には限界があった。
【０００７】
また、上記非特許文献２においては、音響モデルの相対的な遠近、音響モデルの固まりの数や固まりの大小などの複数の音響モデルの相互関係を、視覚などにより簡易に把握するための手段がないため、好適なクラスタリング結果を得るために、多数のクラスタリング条件に対する計算を何度も繰り返し行うこととなり、多大な計算時間を必要とするといった問題があった。
【０００８】
また、一般に、高精度の音声認識を実現するために、音響モデルは、上記したケプストラムや、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）等の高次元（１０〜３０次元）の特徴パラメータを利用して生成されるため、複数の音響モデルの相互関係を視覚的に表示することは困難であった。
上記したことは、音響モデルに限らず、画像認識等の他の分野のパターンモデルに対しても言えることである。
【０００９】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、複数の要因の組み合わせによる特定条件によって、多様化する特徴パラメータの分布を考慮して不特定対象用のパターンモデルを生成するのに好適で、且つ、特定の対象の所定データのパターン認識に適合した不特定対象用のパターンモデルを提供するのに好適なデータ処理装置、データ処理装置制御プログラム、パターンモデル探索装置、パターンモデル探索装置制御プログラム及び特定パターンモデル提供システム、複数話者の音声データに対して生成されたパターンモデルを用いて不特定話者の音声データの価値を評価するのに好適なデータ処理装置、データ処理システム、データ処理方法及びデータ処理装置制御プログラム、並びに、複数話者の中から対象話者と音声の類似した話者を検出するのに好適で、且つ、対象話者に対して、当該対象話者の音声と目的話者の音声との類似性を高めるための情報を提供するのに好適なデータ処理装置、データ処理システム、データ処理方法及びデータ処理装置制御プログラムを提供することを目的としている。
【発明の開示】
【００１０】
上記目的を達成するために、本発明に係る請求項１記載のデータ処理装置は、複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類手段と、
前記データ分類手段によって分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成手段と、
前記パターンモデル生成手段によって各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出手段と、
前記数学的距離算出手段によって算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換手段と、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示手段と、を備えることを特徴としている。
［００１１］
このような構成であれば、データ分類手段によって、複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類することが可能であり、パターンモデル生成手段によって、前記データ分類手段によって分類された所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成することが可能であり、数学的距離算出手段によって、前記パターンモデル生成手段によって各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出することが可能であり、パターンモデル変換手段によって、前記数学的距離算出手段によって算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換することが可能であり、パターンモデル対応低次元ベクトル表示手段によって、前記複数のパターンモデル対応低次元ベクトルパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示することが可能である。
【００１２】
従って、各パターンモデル相互間の距離関係（類似関係）を視覚的に簡易に捉えることが可能となる。また、４次元以上の高次元のパターンモデルを３次元以下の低次元のパターンモデルに変換することが可能となるので、クラスタリング等の様々な処理が行い易くなる。
ここで、パターンモデルとは、例えば、所定データが音声データである場合に、この音声データに対してマッチングを行うパターンをモデル化したものであり、統計モデルなどを用いて表現されるものである。
【００１３】
また、所定データとしては、例えば、人間の音声、住宅内の生活雑音、工場騒音、交通騒音などの音響データや野鳥、昆虫、蛙、蝙蝠、動物などの野生生物の鳴声データ、画像データ、赤外線センサデータ、加速度センサデータ、方位角センサデータ、圧力センサデータ、圧電素子や振動計などの振動センサデータ及びその他の全てのセンサデータ、リチウムイオン２次電池や燃料電池などの電池の充電状況に関する物理的データ、心電図、筋電図、血圧、体重などの生体信号データ、遺伝子解析用のマイクロアレイデータ、気温、湿度、気圧などの気象データ、酸素濃度、窒素酸化物濃度などの環境データ、株価、物価などの経済動向データなどの時系列データ等がある。
【００１４】
また、パターンモデルを４次元以上の高次元の要素を含むモデルとしたが、これは、例えば、音声認識等のパターン認識において、少なくとも、４次元以上の特徴パラメータを利用しないと、高い認識性能が得られないためであり、また、音声認識においては、実用上有効な認識性能を実現可能な３次元以下の特徴パラメータが現在のところ発見されていないためである。
【００１５】
また、所定データとは、例えば、複数対象から測定できるデータそのもの、当該データから抽出した特徴量、当該特徴量に基づき生成したパターンモデルなどと、それらの内容を記述したテキストファイルとの組を指す。例えば、複数の話者の発声した音声のデータ、当該音声データから抽出した特徴量、当該特徴量に基づき生成したパターンモデルなどと、それらの発声内容を記述したテキストファイルとの組となる。
［００１６］
また、数学的距離とは、特定対象の所定データから生成されるパターンモデルと複数対象のパターンモデルとの類似度を示すもので、本発明においては、数学的距離として、パターンモデルの正規分布の標準偏差により正規化されたパターンモデルの正規分布の平均ベクトルに基づくユークリッド距離、バタチャリヤ（Ｂｈａｔｔａｃｈａｒｒｙａ）距離、カルバック情報量などパターンモデルの正規分布の分散に基づき算出され、パターンモデル間の類似度を示すものであれば何でも良い。
［００１７］
また、上記したパターンモデル変換手段は、例えば、射影等を用いて、４次元以上の高次元の情報を、処理の行いやすい２次元や３次元等の低次元の情報に変換する。例えば、相互間の数学的距離が小さい２つのパターンモデルは互いに近くに、相互間の数学的距離が大きい２つのパターンモデルは互いに遠くに位置するように全てのパターンモデルを低次元空間（例えば、２次元、３次元空間）に射影する。
［００１８］
例えば、数学的距離の算出にユークリッド距離を用いた場合、射影された低次元空間において、ユークリッド距離が近いパターンモデルはパターンモデル相互に類似していることを意味していると考えられる。
また、高次のパターンモデルを、これより低次のパターンモデル対応低次元ベクトルに変換して低次元空間上に表示する公知の手法としては、Ｓａｍｍｏｎ法（Ｊ．Ｗ．Ｓａｍｍｏｎ，″Ａ  ｎｏｎｌｉｎｅａｒ  ｍａｐｐｉｎｇ  ｆｏｒ  ｄａｔａ  ｓｔｒｕｃｔｕｒｅ  ａｎａｌｙｓｉｓ，″ＩＥＥＥ  Ｔｒａｎｓ．Ｃｏｍｐｕｔｅｒｓ，ｖｏｌ．Ｃ−１８，ｎｏ．５，ｐｐ．４０１−４０９，Ｍａｙ  １９６９．参照）、判別分析法（Ｒ．Ａ．Ｆｉｓｈｅｒ，″Ｔｈｅ  ｕｓｅ  ｏｆ  ｍｕｌｔｉｐｌｅ  ｍｅａｓｕｒｅｍｅｎｔｓ  ｉｎ  ｔａｘｏｎｏｍｉｃ  Ｐｒｏｂｌｅｍｓ，″Ａｎｎ．Ｅｕｇｅｎｉｃｓ，ｖｏｌ．７，ｎｏ．ＰａｒｔＩＩ，ｐｐ．１７９−１８８，１９３６．参照）、Ａｌａｄｊａｍ法（Ｍ．Ａｌａｄｊｅｍ，″Ｍｕｌｔｉｃｌａｓｓ  ｄｉｓｃｒｉｍｉｎａｎｔ  ｍａｐｐｉｎｇｓ，″Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓ．，ｖｏｌ．３５，ｐｐ．１−１８，１９９４．参照）、ニューラルネットワークによる手法（Ｊ．Ｍａｏ  ｅｔ  ａｌ．，″Ａｒｔｉｆｉｃｉａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｆｅａｔｕｒｅ  ｅｘｔｒａｃｔｉｏｎ  ａｎｄ  ｍｕｌｔｉｖａｒｉａｔｅ  ｄａｔａ  ｐｒｏｊｅｃｔｉｏｎ，″ＩＥＥＥ  Ｔｒａｎｓ．Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ，ｖｏｌ．６，ｎｏ．２，ｐｐ．２９６−３１７，１９９５．参照）、グラフを利用した手法（Ｙ．Ｍｏｒｉ  ｅｔ  ａｌ．，″Ｃｏｍｐａｒｉｓｏｎ  ｏｆ  ｌｏｗ−ｄｉｍｅｎｓｉｏｎａｌ  ｍａｐｐｉｎｇ  ｔｅｃｈｎｉｑｕｅｓ  ｂａｓｅｄ  ｏｎ  ｄｉｓｃｒｉｍｉｎａｔｏｒｙ  ｉｎｆｏｒｍａｔｉｏｎ，″Ｐｒｏｃ．２ｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  ＩＣＳＣ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ａｄｖａｎｃｅｓ  ｉｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｄａｔａ  Ａｎａｌｙｓｉｓ（ＡＩＤＡ’２００１），ＣＤ−ＲＯＭ  Ｐａｐｅｒ−ｎｏ．１７２４−１６６，Ｂａｎｇｏｒ，Ｕｎｉｔｅｄ  Ｋｉｎｇｄｏｍ，２００１．参照）、射影追跡法（Ｊ．Ｈ．Ｆｒｅｉｄｍａｎ  ｅｔ  ａｌ．，″Ａ  ｐｒｏｊｅｃｔｉｏｎ  ｐｕｒｓｕｉｔ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｅｘｐｌｏｒａｔｏｒｙ  ｄａｔａ  ａｎａｌｙｓｉｓ，″ＩＥＥＥ  Ｔｒａｎｓ．Ｃｏｍｐｕｔ．，ｖｏｌ．Ｃ−１８，ｎｏ．５，ｐｐ．４０１−４０９，１９６９．参照）、ＳＯＭ法（Ｔ．Ｋｏｈｏｎｅｎ，″Ｓｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ  Ｍａｐｓ，″Ｓｐｒｉｎｇｅｒ  Ｓｅｒｉｅｓ  ｉｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｃｉｅｎｃｅｓ，ｖｏｌ．３０，Ｂｅｒｌｉｎ，１９９５．参照）等がある。
【００１９】
また、請求項２に係る発明は、請求項１記載のデータ処理装置において、前記複数対象に係る複数の所定データは、音声データ、生活周囲音データ、鳴声データ、画像データ、赤外線データ及び加速度データのいずれか１つであることを特徴としている。
つまり、データ処理装置において、人間の音声のデータ、住宅内の生活雑音などの生活周囲音データ、野鳥、昆虫、蛙、蝙蝠、動物などの野生生物の鳴声データ、画像データ、赤外線センサデータ及び加速度センサデータのいずれか１種類のデータからパターンモデルを生成することが可能である。
【００２０】
また、請求項３に係る発明は、請求項１記載のデータ処理装置において、前記複数対象に係る複数の所定データは、複数話者の発声した複数の音声のデータであり、
前記複数の特定条件は、少なくとも、話者の種類、発話語彙、発話様式及び発話環境を含むことを特徴としている。
【００２１】
従って、少なくとも、話者の名前、男性／女性の性別、子供／大人／高齢者の年齢別等の話者の種類、発話する、数字、文章、単語等の発話語彙、発話速度、発話音量、方言に由来する特徴等の発話様式及び室内、自動車内、工場内、屋外（場所等により種類分けする）等の発話環境を考慮して音声データに対するパターンモデルを生成することが可能である。
【００２２】
また、請求項４に係る発明は、請求項１乃至請求項３のいずれか１項に記載のデータ処理装置において、前記データ分類手段は、前記複数の特定条件をそれぞれ任意に組み合わせた各組毎に前記グループを形成することを特徴としている。
つまり、前記データ分類手段は、前記複数の特定条件をそれぞれ任意に組み合わせた各組毎に前記グループを形成することが可能である。
［００２３］
従って、例えば、所定データが音声データの場合に、室内（発話環境）で大人の男（話者の種類）が単語（発話語彙）を早口（発話様式）で発話したといったように、任意の特定条件の組み合わせを一つのグループとして形成することが可能となる。無論、例えば、室内（発話環境）で大人の男（話者の種類）が発話したといったように、もっと大きな括りでグループ分けしても良い。
【００２４】
また、請求項５に係る発明は、請求項１乃至請求項４のいずれか１項に記載のデータ処理装置において、前記パターンモデルは、ＨＭＭ（Hidden Markov Model）によって生成されることを特徴としている。
つまり、前記パターンモデルは、ＨＭＭ（Hidden Markov Model）によって生成される。
【００２５】
例えば、音声は、話すスピードによりその時間的な長さが変わり、発声内容により、周波数領域上で特徴的な形状（スペクトル包絡という）を示すが、その形状は上記した特定条件に依存し揺らぎが生じる。例えば、上記したＨＭＭは、そのような揺らぎを吸収することのできる統計的モデルである。
また、請求項６に係る発明は、請求項５記載のデータ処理装置において、前記数学的距離算出手段は、前記ＨＭＭによって生成された、前記パターンモデルの正規分布の標準偏差により正規化された当該パターンモデルの正規分布の平均ベクトルに基づくユークリッド距離、及び、前記パターンモデルの正規分布に基づくバタチャリア距離のいずれか１つを用いて前記数学的距離を算出することを特徴としている。
［００２６］
つまり、前記数学的距離算出手段は、前記ＨＭＭによって生成された、前記パターンモデルの正規分布の標準偏差により正規化された当該パターンモデルの正規分布の平均ベクトルに基づくユークリッド距離、及び、前記パターンモデルの正規分布に基づくバタチャリア距離のいずれか１つを用いて前記数学的距離を算出することが可能である。
【００２７】
従って、上記いずれかの距離を用いることで、各パターンモデル間のより適切な数学的距離を算出することが可能である。
また、請求項７に係る発明は、請求項１乃至請求項６のいずれか１項に記載のデータ処理装置において、前記パターンモデル変換手段は、Ｓａｍｍｏｎ法を用いて、前記パターンモデルを前記パターンモデル対応低次元ベクトルへと変換することを特徴としている。
［００２８］
つまり、前記パターンモデル変換手段は、Ｓａｍｍｏｎ法を用いて、前記パターンモデルを前記パターンモデル対応低次元ベクトルへと変換することが可能である。
従って、公知のＳａｍｍｏｎ法を用いることで、各パターンモデル相互間の距離関係を保持しながら、複数のパターンモデルをこれと同数のパターンモデル対応低次元ベクトルに変換することが可能である。
【００２９】
また、請求項８に係る発明は、請求項１乃至請求項７のいずれか１項に記載のデータ処理装置において、前記パターンモデル対応低次元ベクトル表示手段によって前記低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルの座標点を、前記低次元空間上において複数の領域に自動的に区分する領域区分手段を備えることを特徴としている。
［００３０］
このような構成であれば、領域区分手段によって、前記パターンモデル対応低次元ベクトル表示手段によって前記低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルの座標点を、前記低次元空間上において複数の領域に自動的に区分することが可能である。
従って、複数のパターンモデル対応低次元ベクトルの座標点を簡易に区分することが可能であり、これにより、特定のパターンモデルがどの区分領域に該当するのかを、視覚的に簡易に知ることが可能となる。
【００３１】
また、請求項９に係る発明は、請求項８記載のデータ処理装置において、前記領域区分手段は、前記複数のパターンモデル対応低次元ベクトルを、当該全パターンモデル対応低次元ベクトルの座標点の重心を中心とし且つ前記重心と当該重心から最も離れた位置のパターンモデル対応低次元ベクトルの座標点との距離を半径とした１つの外円と、前記重心を中心とし且つ前記外円よりも小さな半径のｎ個の内円（ｎは１以上の整数）と、により区分し、更に、前記外円及び内円からなる複数の同心円同士の各外周間に形成される環状の領域を、半径方向に伸びる線によって複数に区分することを特徴としている。
【００３２】
従って、前記外円及び内円からなる複数の同心円同士の各外周間に形成される環状の領域を、複数の扇形の領域に区分することが可能となる。
また、請求項１０に係る発明は、請求項８又は請求項９記載のデータ処理装置において、前記領域区分手段によって自動区分された区分内容を変更する区分内容変更手段を備えることを特徴としている。
【００３３】
このような構成であれば、区分内容変更手段によって、前記領域区分手段によって自動区分された区分内容を変更することが可能である。
従って、区分内容が適切でないときや、新たなパターンモデルが加わったときなどに、適切な区分内容に変更することが可能である。また、視覚化されたパターンモデルの区分内容を変更することになるので、容易に区分内容の変更を行うことが可能である。
【００３４】
また、請求項１１に係る発明は、請求項８乃至請求項１０のいずれか１項に記載のデータ処理装置において、前記領域区分手段によって区分された各領域毎に複数の前記パターンモデル対応低次元ベクトルを選択可能な領域選択手段と、当該領域選択手段によって選択された領域内にある前記複数のパターンモデル対応低次元ベクトルにそれぞれ対応する前記パターンモデルに係る、前記所定データに基づき、前記パターンモデルを生成する領域パターンモデル生成手段と、を備えることを特徴としている。
【００３５】
このような構成であれば、領域選択手段によって、前記領域区分手段によって区分された各領域毎に複数の前記パターンモデル対応低次元ベクトルを選択することが可能であり、領域パターンモデル生成手段によって、当該領域選択手段によって選択された領域内にある前記複数のパターンモデル対応低次元ベクトルにそれぞれ対応する前記パターンモデルに係る、前記音声データに基づき、前記パターンモデルを生成することが可能である。
【００３６】
従って、例えば、特定対象のパターンモデル対応低次元ベクトルが含まれる領域に対応した所定データを用いてパターンモデルを生成することにより、特定対象に向けた適切なパターンモデルの生成が可能である。
また、特定区分領域の所定データを用いてパターンモデルを生成するので、パターンモデルを小規模にすることが可能であり、パターンモデルが使用するメモリ容量を軽減することが可能である。
【００３７】
また、請求項１２記載のデータ処理装置制御プログラムは、請求項１記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類ステップと、
前記データ分類ステップにおいて分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成ステップと、
前記パターンモデル生成ステップにおいて各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出ステップと、
前記数学的距離算出ステップにおいて算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換ステップと、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【００３８】
ここで、本発明は、請求項１記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項１３に係る発明は、請求項１２記載のデータ処理装置制御プログラムにおいて、前記パターンモデル対応低次元ベクトル表示ステップにおいて低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルを、前記低次元空間上において複数の領域に自動的に区分する領域区分ステップと、
前記領域区分ステップによって自動区分された区分内容を変更する区分内容変更ステップと、
前記領域区分ステップによって区分された各領域毎に複数の前記パターンモデル対応低次元ベクトルを選択する領域選択ステップと、
前記領域選択ステップによって選択された領域内の前記パターンモデル対応低次元ベクトルに対応する前記パターンモデルに係る、前記所定データに基づき、選択領域に対応した前記パターンモデルを生成する領域パターンモデル生成ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【００３９】
ここで、本発明は、請求項１１記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項１４記載のパターンモデル探索装置は、請求項１乃至請求項７項のいずれか１項に記載のデータ処理装置と、
前記データ処理装置によって表示された前記低次元空間上の座標点を、前記低次元空間上において複数の領域に自動的に区分する領域区分手段と、
前記区分された領域内に含まれる前記パターンモデル対応低次元ベクトルの座標点に対応する所定データに基づき、各領域毎のパターンモデルを生成する領域パターンモデル生成手段と、
新規対象に係る所定データを取得する所定データ取得手段と、
前記取得した所定データに対する前記区分された各領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度に基づき前記新規対象の所定データの認識に適した認識性能の領域パターンモデルを探索する領域パターンモデル探索手段と、を備えることを特徴としている。
【００４０】
このような構成であれば、領域区分手段によって、前記低次元空間上の座標点を、前記低次元空間上において複数の領域に自動的に区分することが可能であり、領域パターンモデル生成手段によって、前記区分された領域内に含まれる前記パターンモデル対応低次元ベクトルの座標点に対応する所定データに基づき、各領域毎の領域パターンモデルを生成することが可能であり、所定データ取得手段によって、前記新規対象に係る所定データを取得することが可能であり、領域パターンモデル探索手段によって、前記取得した所定データに対する前記区分された各領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度に基づき前記新規対象の所定データの認識に適した認識性能の領域パターンモデルを探索することが可能である。
【００４１】
従って、新規対象に係る所定データに対する区分結果の各領域に対応した領域パターンモデルの尤度に基づき、各領域パターンモデルの中から新規対象の所定データをパターン認識するのに適した領域パターンモデルを探索することが可能である。
また、請求項１５記載のパターンモデル探索装置制御プログラムは、請求項１４記載のパターンモデル探索装置を制御するためのパターンモデル探索装置制御プログラムであって、
複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類ステップと、
前記データ分類ステップにおいて分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成ステップと、
前記パターンモデル生成ステップにおいて各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出ステップと、
前記数学的距離算出ステップにおいて算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換ステップと、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示ステップと、
前記パターンモデル対応低次元ベクトル表示ステップにおいて表示された前記低次元空間上の座標点を、前記低次元空間上において複数の領域に自動的に区分する領域区分ステップと、
前記区分された領域内に含まれる前記パターンモデル対応低次元ベクトルの座標点に対応する所定データに基づき、各領域毎のパターンモデルを生成する領域パターンモデル生成ステップと、
新規対象に係る所定データを取得する所定データ取得ステップと、
前記取得した所定データに対する前記区分された各領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度に基づき前記新規対象の所定データの認識に適した認識性能の領域パターンモデルを探索する領域パターンモデル探索ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【００４２】
ここで、本発明は、請求項１４記載のパターンモデル探索装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
一方、上記目的を達成するために、本発明に係る請求項１６記載のデータ処理装置は、複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類手段と、
前記データ分類手段によって分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成手段と、
前記パターンモデル生成手段によって各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出手段と、
前記数学的距離算出手段によって算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換手段と、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示手段と、を備え、
前記数学的距離算出手段は、前記数学的距離の算出において、前記複数対象に係る複数の所定データにおける各パターン単位の出現頻度を前記数学的距離の重み付けに用いることを特徴としている。
【００４３】
このような構成であれば、データ分類手段によって、複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類することが可能であり、パターンモデル生成手段によって、前記データ分類手段によって分類された所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成することが可能であり、数学的距離算出手段によって、前記パターンモデル生成手段によって各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出することが可能であり、パターンモデル変換手段によって、前記数学的距離算出手段によって算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換することが可能であり、パターンモデル対応低次元ベクトル表示手段によって、前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示することが可能であり、前記数学的距離算出手段は、前記数学的距離の算出において、前記複数対象に係る複数の所定データにおける各パターン単位の出現頻度を用いることが可能である。
【００４４】
従って、各パターンモデル相互間の距離関係（類似関係）を視覚的に簡易に捉えることが可能となる。また、４次元以上の高次元のパターンモデルを３次元以下の低次元のパターンモデル対応低次元ベクトルに変換することが可能となるので、クラスタリング等の様々な処理が行い易くなる。更に、数学的距離の算出に各パターン単位の出現頻度を用いたので、例えば、この出現頻度により数学的距離に重み付けを行うことにより、各パターンモデルに対応する全てのパターン単位を考慮したパターンモデル相互間の距離を定義することが可能となり、パターンモデル相互間の距離関係を正確に算出することが可能となる。
【００４５】
ここで、例えば、所定データが音声のデータである場合は、上記パターン単位として、音節、音韻、音素、ｂｉｐｈｏｎｅ、ｔｒｉｐｈｏｎｅなどの音声単位を用いる。
また、請求項１７に係る発明は、請求項１６記載のデータ処理装置において、前記パターン単位の出現頻度は、前記複数の所定データに対する前記パターンモデルを用いたパターン認識における前記複数対象に係る複数のパターン単位のうち、認識性能が所定の閾値より低いパターン単位の出現頻度であることを特徴としている。
【００４６】
つまり、数学的距離の算出に用いる出現頻度に、認識性能が所定の閾値より低いパターン単位の出現頻度を用いるようにしたので、これにより、認識性能の低い対象のパターンモデルを正確な距離関係で低次元表示することが可能となり、これにより、認識性能の低い対象のパターンモデルをクラスタリング等し易くすることが可能である。
ここで、所定の閾値としては、例えば、０％以上１００％未満の範囲の値を用いれば良い。
【００４７】
また、上記目的を達成するために、本発明に係る請求項１８記載のデータ処理装置は、複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類手段と、
前記データ分類手段によって分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成手段と、
前記パターンモデル生成手段によって各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出手段と、
前記数学的距離算出手段によって算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換手段と、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示手段と、
前記パターンモデル対応低次元ベクトル表示手段によって前記低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルの座標点を、前記低次元空間上において複数の領域に自動的に区分する領域区分手段と、
前記区分された領域内に含まれる前記パターンモデル対応低次元ベクトルの座標点に対応する所定データに基づき、各領域毎の領域パターンモデルを生成する領域パターンモデル生成手段と、
新規対象に係る所定データを取得する所定データ取得手段と、
前記取得した所定データに対する前記区分された各領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度に基づき、前記領域パターンモデル生成手段によって生成された領域パターンモデルの中から前記新規対象の所定データの認識に適した認識性能の領域パターンモデルを探索する領域パターンモデル探索手段と、を備えることを特徴としている。
【００４８】
このような構成であれば、データ分類手段によって、複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類することが可能であり、パターンモデル生成手段によって、前記データ分類手段によって分類された所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成することが可能であり、数学的距離算出手段によって、前記パターンモデル生成手段によって各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出することが可能であり、パターンモデル変換手段によって、前記数学的距離算出手段によって算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換することが可能であり、パターンモデル対応低次元ベクトル表示手段によって、前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示することが可能であり、領域区分手段によって、前記パターンモデル対応低次元ベクトル表示手段によって前記低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルの座標点を、前記低次元空間上において複数の領域に自動的に区分することが可能であり、領域パターンモデル生成手段によって、前記区分された領域内に含まれる前記パターンモデル対応低次元ベクトルの座標点に対応する所定データに基づき、各領域毎の領域パターンモデルを生成することが可能であり、所定データ取得手段によって、新規対象に係る所定データを取得することが可能であり、領域パターンモデル探索手段によって、前記取得した所定データに対する前記区分された各領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度に基づき前記新規対象に適した認識性能の領域パターンモデルを探索することが可能である。
【００４９】
従って、各パターンモデル相互間の距離関係（類似関係）を視覚的に簡易に捉えることが可能となると共に、複数のパターンモデル対応低次元ベクトルの座標点を簡易に区分できるようにしたので、特定のパターンモデルがどの区分領域に該当するのか等を視覚的に簡易に知ることが可能となる。更に、新規対象に係る所定データに対する区分結果の各領域に対応した領域パターンモデルの尤度に基づき、各領域パターンモデルの中から新規対象の所定データをパターン認識するのに適した領域パターンモデルを探索することが可能である。
【００５０】
また、請求項１９に係る発明は、請求項１８記載のデータ処理装置において、前記数学的距離算出手段は、前記数学的距離の算出において、前記複数対象に係る複数の所定データにおける各パターン単位の出現頻度を前記数学的距離の重み付けに用いることを特徴としている。
従って、数学的距離の算出にパターン単位の出現頻度を用いたので、この出現頻度により数学的距離に重み付けを行うことにより、各パターンモデルに対応する全てのパターン単位を考慮したパターンモデル相互間の距離を定義することが可能となり、パターンモデル相互間の距離関係を正確に算出することが可能となる。
【００５１】
また、請求項２０に係る発明は、請求項１９記載のデータ処理装置において、前記パターン単位の出現頻度は、前記複数対象に係る複数の所定データに対する前記パターンモデルを用いたパターン認識における前記複数対象に係る複数のパターン単位のうち、認識性能が所定の閾値より低いパターン単位の出現頻度であることを特徴としている。
【００５２】
つまり、数学的距離の算出に用いる出現頻度に、認識性能が所定の閾値より低いパターン単位の出現頻度を用いるようにしたので、これにより、認識性能の低い対象のパターンモデルを正確な距離関係で低次元表示することが可能となり、これにより、認識性能の低い対象のパターンモデルをクラスタリング等し易くすることが可能である。
また、請求項２１に係る発明は、請求項１８項乃至請求項２０のいずれか１項に記載のデータ処理装置において、前記領域区分手段は、前記複数のパターンモデル対応低次元ベクトルを、当該全パターンモデル対応低次元ベクトルの座標点の重心を中心とし且つ前記重心と当該重心から最も離れた位置のパターンモデル対応低次元ベクトルの座標点との距離を半径とした１つの外円と、前記重心を中心とし且つ前記外円よりも小さな半径のｎ個の内円（ｎは１以上の整数）と、により区分し、更に、前記外円及び内円からなる複数の同心円同士の各外周間に形成される環状の領域を、半径方向に伸びる線によって複数に区分することを特徴としている。
【００５３】
従って、前記外円及び内円からなる複数の同心円同士の各外周間に形成される環状の領域を、複数の扇形の領域に区分することが可能となる。
また、請求項２２に係る発明は、請求項２１記載のデータ処理装置において、前記領域区分手段は、最内円から外円方向に向かう程、前記各環状の領域に含まれるパターンモデル対応低次元ベクトルを細かく区分することを特徴としている。
【００５４】
つまり、２次元視覚化されたパターンモデルは、中心から外側に向かうほど認識性能の低い（他のモデルと類似性の低い）パターンモデルが分布する特性があるので、認識性能が低いパターンモデルの分布している領域を細かく区分することでより正確なグルーピングが可能となる。
また、請求項２３に係る発明は、請求項２１又は請求項２２に記載のデータ処理装置において、前記領域区分手段は、区分結果の各領域において、当該各領域に含まれるパターンモデル対応低次元ベクトルとこれと隣り合う領域に含まれるパターンモデル対応低次元ベクトルとの一部が重複するように領域を区分することを特徴としている。
【００５５】
従って、特定対象用のパターンモデルを生成する際に、当該特定対象の所定データが区分された領域の境界に位置するような場合にも簡易に対応することが可能となる。
また、請求項２４に係る発明は、請求項２１乃至請求項２３のいずれか１項に記載のデータ処理装置において、前記領域パターンモデル探索手段は、前記区分結果の最内円から外円方向に向かって順に、前記取得した所定データに対する前記区分された領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度に基づき、前記領域パターンモデル生成手段によって生成された領域パターンモデルの中から前記新規対象の所定データの認識に適した認識性能の領域パターンモデルを探索することを特徴としている。
【００５６】
つまり、最内円から外円方向に向かって新規対象の所定データに対する領域パターンモデルの尤度を算出するようにしたので、新規対象の所定データに適合した区分領域の領域パターンモデルを高速に探索することが可能となる。
また、請求項２５に係る発明は、請求項２４記載のデータ処理装置において、前記領域パターンモデル探索手段は、前記領域パターンモデル探索手段は、前記取得した所定データに対する、最内円の領域に対応した領域パターンモデルの尤度を算出し、次に、最内円に隣接する環状の領域における各区分領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度のうち最も高い尤度の領域パターンモデルに対応する領域に隣接した外円方向の領域に対応した領域パターンモデルの尤度を算出し、以降は、外円方向に向かって順に、一つ内側の環状の領域において算出された尤度の最も高い領域パターンモデルの対応した領域に隣接する外円方向の領域に対応した領域パターンモデルの尤度を算出することを特徴としている。
【００５７】
つまり、区分結果の最内円から外円方向に向かって順に、最も尤度の高い（認識性能の高い）領域パターンモデルに対応した区分領域に向かって探索するようにしたので、新規対象の所定データに適合した区分領域の領域パターンモデルを高速に探索することが可能となる。
また、請求項２６に係る発明は、請求項２４記載のデータ処理装置において、前記領域パターンモデル探索手段は、前記取得した所定データに対する、最内円の領域に対応した領域パターンモデルの尤度を算出し、次に、最内円に隣接する環状の領域における各区分領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度のうち上位ｍ個の尤度に対応する領域パターンモデル（ｍは２以上の整数）にそれぞれ対応する領域に隣接した外円方向の区分領域に対応した領域パターンモデルの尤度を算出し、以降は、外円方向に向かって順に、一つ内側の環状の領域において算出された尤度の最も高い領域パターンモデルの対応した領域に隣接する外円方向の領域に対応した領域パターンモデルの尤度を算出することを特徴としている。
【００５８】
つまり、区分結果の最内円から外円方向に向かって順に、上位ｍ個の尤度に対応する領域パターンモデルに対応した区分領域に向かって探索するようにしたので、新規対象の所定データにより適合した区分領域の領域パターンモデルを高速に探索することが可能となる。
また、請求項２７に係る発明は、請求項１８乃至請求項２６のいずれか１項に記載のデータ処理装置において、前記複数対象に係る複数の所定データは、複数話者の発声した複数の音声のデータであり、
前記複数の特定条件は、少なくとも、話者の種類、発話語彙、発話様式及び発話環境を含むことを特徴としている。
【００５９】
従って、少なくとも、話者の名前、男性／女性の性別、子供／大人／高齢者の年齢別等の話者の種類、発話する、数字、文章、単語等の発話語彙、発話速度、発話音量、方言に由来する特徴等の発話様式及び室内、自動車内、工場内、屋外（場所等により種類分けする）等の発話環境を考慮して音声データに対するパターンモデルを生成することが可能である。
【００６０】
また、請求項２８に係る発明は、請求項１８乃至請求項２７のいずれか１項に記載のデータ処理装置において、前記データ分類手段は、前記複数の特定条件をそれぞれ任意に組み合わせた各組毎に前記グループを形成することを特徴としている。
従って、例えば、所定データが音声データの場合に、室内（発話環境）で大人の男（話者の種類）が単語（発話語彙）を早口（発話様式）で発話したといったように、任意の特定条件の組み合わせを一つのグループとして形成することが可能となる。無論、例えば、室内（発話環境）で大人の男（話者の種類）が発話したといったように、もっと大きな括りでグループ分けしても良い。
【００６１】
また、請求項２９に係る発明は、請求項１８乃至請求項２８のいずれか１項に記載のデータ処理装置において、前記パターンモデルは、ＨＭＭ（Hidden Markov Model）によって生成されることを特徴としている。
つまり、前記パターンモデルは、ＨＭＭ（Hidden Markov Model）によって生成される。
【００６２】
例えば、音声は、話すスピードによりその時間的な長さが変わり、発声内容により、周波数領域上で特徴的な形状（スペクトル包絡という）を示すが、その形状は上記した特定条件に依存し揺らぎが生じる。例えば、上記したＨＭＭは、そのような揺らぎを吸収することのできる統計的モデルである。
また、請求項３０に係る発明は、請求項２９記載のデータ処理装置において、前記数学的距離算出手段は、前記ＨＭＭによって生成された、前記パターンモデルの正規分布の標準偏差により正規化された当該パターンモデルの正規分布の平均ベクトルに基づくユークリッド距離、及び、前記パターンモデルの正規分布に基づくバタチャリア距離のいずれか１つを用いて前記数学的距離を算出することを特徴としている。
【００６３】
従って、上記いずれかの距離を用いることで、各パターンモデル間のより適切な数学的距離を算出することが可能である。
また、請求項３１に係る発明は、請求項１８乃至請求項３０のいずれか１項に記載のデータ処理装置において、前記パターンモデル変換手段は、Ｓａｍｍｏｎ法を用いて、前記パターンモデルを前記パターンモデル対応低次元ベクトルへと変換することを特徴としている。
【００６４】
つまり、前記パターンモデル変換手段は、Ｓａｍｍｏｎ法を用いて、前記パターンモデルを前記パターンモデル対応低次元ベクトルへと変換することが可能である。
従って、公知のＳａｍｍｏｎ法を用いることで、各パターンモデル相互間の距離関係を保持しながら、複数のパターンモデルをこれと同数のパターンモデル対応低次元ベクトルに変換することが可能である。
【００６５】
また、請求項３２に係る発明は、請求項１８乃至請求項３１のいずれか１項に記載のデータ処理装置において、前記領域区分手段によって自動区分された区分内容を変更する区分内容変更手段を備えることを特徴としている。
従って、区分内容が適切でないときや、新たなパターンモデルが加わったときなどに、適切な区分内容に変更することが可能である。また、視覚化されたパターンモデルの区分内容を変更することになるので、容易に区分内容の変更を行うことが可能である。
【００６６】
また、請求項３３に係る発明は、請求項１８乃至請求項３２のいずれか１項に記載のデータ処理装置において、前記領域パターンモデル探索手段によって探索された領域パターンモデルを新規対象の所定データに基づき、前記新規対象用に適応するパターンモデル適応手段を備えることを特徴としている。
このような構成であれば、パターンモデル適応手段によって、前記領域パターンモデル探索手段によって探索された領域パターンモデルを新規対象の所定データに基づき、前記新規対象用に適応することが可能である。
【００６７】
従って、新規対象に向けた適切なパターンモデルの生成が可能であり、また、特定区分領域の所定データを用いてパターンモデルを生成するので、パターンモデルを小規模にすることが可能であり、パターンモデルが使用するメモリ容量を軽減することが可能である。ここで、適応には、話者適応法ＭＬＬＲ等を用いることが可能である。
また、請求項３４に係る発明は、請求項３３記載のデータ処理装置において、前記パターンモデル変換手段は、前記領域パターンモデル探索手段によって探索された領域パターンモデルに対応する領域内に含まれる前記複数のパターンモデル対応低次元ベクトルに対応する高次元パターンモデルを、前記パターンモデル対応低次元ベクトルに変換可能であり、
前記パターンモデル対応低次元ベクトル表示手段は、前記変換後のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示可能であり、
前記領域区分手段は、前記低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルの座標点を、前記低次元空間上において複数の領域に自動的に区分可能であることを特徴としている。
【００６８】
つまり、領域パターンモデル探索手段によって探索された領域パターンモデルに対応する領域に含まれる、複数のパターンモデル対応低次元ベクトルに対応した高次元パターンモデルを、再度パターンモデル対応低次元ベクトルに変換し、且つ区分けするようにしたので、当該区分けした領域から再度新規対象に適した領域パターンモデルを探索することで、新規対象に係る所定データのパターン認識により適した特定パターンモデルの生成が可能となる。
【００６９】
また、請求項３５記載のデータ処理装置制御プログラムは、請求項１６記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類ステップと、
前記データ分類ステップにおいて分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成ステップと、
前記パターンモデル生成ステップにおいて各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出ステップと、
前記数学的距離算出ステップにおいて算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換ステップと、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含み、
前記数学的距離算出ステップにおいては、前記数学的距離の算出において、前記複数対象に係る複数の所定データにおける各パターン単位の出現頻度を前記数学的距離の重み付けに用いることを特徴としている。
ここで、本発明は、請求項１６記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
【００７０】
また、請求項３６記載のデータ処理装置制御プログラムは、請求項１８記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
複数対象に係る複数の所定データを、複数の特定条件に基づき、複数のグループに分類するデータ分類ステップと、
前記データ分類ステップにおいて分類された前記所定データに基づき、当該所定データの各グループ毎に４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルを生成するパターンモデル生成ステップと、
前記パターンモデル生成ステップにおいて各グループ毎に生成された分散を含んでなるパターンモデルの各パターンモデル相互間の数学的距離を前記分散に基づき算出する数学的距離算出ステップと、
前記数学的距離算出ステップにおいて算出された前記数学的距離に基づき、前記各パターンモデル相互間の距離関係を保持しながら、前記複数のパターンモデルをこれより低次元の同数のパターンモデル対応低次元ベクトルへと変換するパターンモデル変換ステップと、
前記複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同じ次元の低次元空間上の座標点として表示するパターンモデル対応低次元ベクトル表示ステップと、
前記パターンモデル対応低次元ベクトル表示ステップにおいて前記低次元空間上に表示される前記複数のパターンモデル対応低次元ベクトルの座標点を、前記低次元空間上において複数の領域に自動的に区分する領域区分ステップと、
前記区分された領域内に含まれる前記パターンモデル対応低次元ベクトルの座標点に対応する所定データに基づき、各領域毎のパターンモデルを生成する領域パターンモデル生成ステップと、
新規対象に係る所定データを取得する所定データ取得ステップと、
前記取得した所定データに対する前記区分された各領域に対応した前記領域パターンモデルの尤度を算出し、当該算出した尤度に基づき前記新規対象の所定データの認識に適した認識性能の領域パターンモデルを探索する領域パターンモデル探索ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
ここで、本発明は、請求項１８記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
【００７１】
また、請求項３７記載の特定パターンモデル提供システムは、システム利用者の管理下にある情報処理端末と、
請求項１８乃至請求項３４のいずれか１項に記載のデータ処理装置と、を備え、
前記情報処理端末及び前記データ処理装置を互いにデータ通信可能に接続し、
前記データ処理装置において、前記複数対象に係る複数の所定データは、複数話者の発声した複数の音声のデータであり、
前記情報処理端末は、
前記システム利用者の発声した音声のデータを取得し、当該取得した音声データを前記データ処理装置に送信する音声データ送信手段と、
前記データ処理装置から前記システム利用者の音声データをパターン認識するのに適した前記特定パターンモデルを取得する特定パターンモデル取得手段と、を備え、
前記データ処理装置は、
前記所定データ取得手段によって前記情報処理端末からの前記音声データを取得し、更に、当該取得した音声データに基づき前記システム利用者用の前記特定パターンモデルを生成するようになっており、
前記生成した特定パターンモデルを前記情報処理端末に送信する特定パターンモデル送信手段を更に備えることを特徴としている。
【００７２】
このような構成であれば、情報処理端末は、音声データ送信手段によって、前記システム利用者の発声した音声のデータを取得し、当該取得した音声データを前記データ処理装置に送信することが可能であり、特定パターンモデル取得手段によって、前記データ処理装置から前記システム利用者の音声データをパターン認識するのに適切な前記特定パターンモデルを取得することが可能である。
【００７３】
また、データ処理装置は、前記所定データ取得手段によって前記情報処理端末からの前記音声データを取得することが可能であり、更に、当該取得した音声データに基づき前記システム利用者用に前記特定パターンモデルを生成することが可能であり、特定パターンモデル送信手段によって、前記生成した特定パターンモデルを前記情報処理端末に送信することが可能である。
【００７４】
従って、システム利用者は、例えばインターネット等を介してＰＣ、携帯電話、ＰＤＡ等の情報処理端末と、データ処理装置とを接続して、自己の音声データをデータ処理装置に送信することで、自己の音声データを音声認識するのに適した特定パターンモデルを簡易に取得することが可能である。
一方、上記目的を達成するために、本発明に係る請求項３８記載のデータ処理装置は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択した特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置算出手段によって算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価手段と、
前記音声データ評価手段の評価結果を表示する評価結果表示手段と、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴としている。
【００７５】
このような構成であれば、音声データ取得手段によって、対象話者の音声データを取得することが可能であり、位置算出手段によって、前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択した特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出することが可能であり、音声データ評価手段によって、前記位置算出手段によって算出された前記位置に基づき、前記対象話者の音声データの価値を評価することが可能であり、評価結果表示手段によって、前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。
【００７６】
従って、音響空間内における対象話者の音声データと他のパターンモデルとの位置関係に基づいて、対象話者の音声データの価値の評価を行い、その評価結果を表示することが可能である。更に、対象話者の音声データと複数話者の複数のパターンモデルとの尤度を算出して、類似性を判断することが可能であり、これにより、対象話者の音声データの特徴と類似した特徴を有するパターンモデルを簡易に選択することが可能である。更に、対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの位置関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。つまり、このシステムを利用することで、対象話者の発声した音声データの価値が高いか否かを視覚的に簡易に判断することが可能となり、更に、対象話者の音声データの音響空間内の位置を視覚的に簡易に知ることが可能である。また、対象話者の発声した音声のパターンモデルを生成せずに、類似したパターンモデルの位置を対象話者の発声した音声データの音響空間内の位置とすることになるので、計算量が少なくなり、リアルタイムの処理等に適している。
【００７７】
ここで、パターンモデルとは、音声データに対してマッチングを行うパターンであり、統計モデルなどを用いて表現されるものである。
また、音声データとは、例えば、複数の話者の発声した音声のデータ、当該音声データから抽出した特徴量、当該特徴量に基づき生成したパターンモデルなどと、それらの発声内容を記述したテキストファイルとの組を指す。従って、上記した音声データ取得手段は、対象話者の発話した音声をマイク等により取得し、当該取得した音声をデータ化し、必要に応じて、当該データを分析して特徴量の抽出等を行う各処理手段を有する。
また、数学的距離とは、対象話者の音声データから生成される音響モデルと複数話者の音響モデルとの類似度を示すもので、この類似度を測るモノサシの種類により様々なものがある。このモノサシは、例えば、ユークリッド距離などの普通のモノサシでも測れる距離に対応したものや、類似度を測る距離を二つのベクトルの内積とし、二つのベクトルの成す角を類似度として評価するマハラノビスの汎距離などの、普通のモノサシでは測れない類似度に対応したものがある。 なお、本発明においては、数学的距離として、他に、バタチャリヤ（Bhattacharrya）距離、平方ユークリッド距離、コサイン距離、ピアソンの相関、チェビシェフ、都市ブロック距離（あるいはマンハッタン距離）、ミンコウスキー和、カルバック情報量、チェルノフ距離などがある。つまり、距離と称してはいるが、類似度を示すものであれば何でも良い。このことは、以降の請求項についても同様である。
また、音声データ及びパターンモデルが多次元（４次元以上）の情報を持つ場合は、その位置情報も多次元となる。評価結果表示手段は、このようなときに、音声データ及びパターンモデルを、例えば、射影等を用いて、多次元の情報を２次元等の低次元の情報に変換してから、その低次元の空間上に座標点として表示することが可能である。このような、射影方法としては、例えば、公知のＳａｍｍｏｎ法などがある。このことは、以降の請求項についても同様である。
また、上記目的を達成するために、本発明に係る請求項３９記載のデータ処理装置は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置算出手段によって算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価手段と、
前記音声データ評価手段の評価結果を表示する評価結果表示手段と、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴としている。
このような構成であれば、音声データ取得手段によって、対象話者の音声データを取得することが可能であり、位置算出手段によって、前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出することが可能であり、音声データ評価手段によって、前記位置算出手段によって算出された前記位置に基づき、前記対象話者の音声データの価値を評価することが可能であり、評価結果表示手段によって、前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。
従って、音響空間内における対象話者の音声データと他のパターンモデルとの位置関係に基づいて、対象話者の音声データの価値の評価を行い、その評価結果を表示することが可能である。更に、対象話者の音声データを高次元の特徴量データに変換し、当該特徴量データから対象話者用のパターンモデルを生成することが可能である。更に、対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの位置関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。つまり、このシステムを利用することで、対象話者の発声した音声データの価値が高いか否かを視覚的に簡易に判断することが可能となり、更に、対象話者の音声データの音響空間内の位置を視覚的に簡易に知ることが可能である。
【００７８】
また、請求項４０に係る発明は、請求項３８又は請求項３９記載のデータ処理装置において、前記音声データ評価手段は、前記位置算出手段によって算出された前記対象話者の音声データの位置から所定距離の範囲内に存在する前記パターンモデルの数に基づき、前記音声データの価値を評価することを特徴としている。
つまり、前記音声データ評価手段は、前記位置算出手段によって算出された前記対象話者の音声データの位置から所定距離の範囲内に存在する前記パターンモデルの数に基づき、前記音声データの価値を評価することが可能である。
【００７９】
従って、例えば、対象話者の音声データ周辺に他の話者のパターンモデルがあまり存在していなければ、その音声データの価値が高いと判断し、一方、周辺にたくさんのパターンモデルが存在していれば、その音声データの価値は低いと判断するといった評価方法が可能となる。
また、請求項４１に係る発明は、請求項４０記載のデータ処理装置において、前記所定距離は、前記音声データの価値の度合いに応じて段階的に設定されており、
前記音声データ評価手段は、各段階毎に設定された各距離範囲内における前記パターンモデルの数に基づき、前記音声データの価値を評価することを特徴としている。
【００８０】
つまり、前記所定距離は、前記音声データの価値の度合いに応じて段階的に設定されており、
前記音声データ評価手段は、各段階毎に設定された各距離範囲内における前記パターンモデルの数に基づき、前記音声データの価値を評価することが可能である。
従って、各範囲内のパターンモデルの数によって、対象話者の音声データの価値を段階的に評価することが可能である。
【００８３】
また、請求項４２に係る発明は、請求項３８乃至請求項４１のいずれか１項に記載のデータ処理装置において、前記音声データ評価手段は、前記複数のパターンモデルのうち、前記対象話者の音声データの特徴と類似した特徴を有する上位いくつかのパターンモデルを、前記対象話者のパターンモデルとして前記評価に用いることを特徴としている。
つまり、前記音声データ評価手段は、前記複数のパターンモデルのうち、前記対象話者の音声データの特徴と類似した特徴を有する上位いくつかのパターンモデルを、前記対象話者のパターンモデルとして前記評価に用いることが可能である。
【００８４】
従って、例えば、類似度の高い順に上位いくつかのパターンモデルを選択し、これら複数のパターンモデルの平均値を評価に用いるなどすることで、パターンモデルを単数で選択して用いる場合において類似していると判断して選択されたパターンモデルが実際は類似していなかったものであったときなどと比べて、誤ったパターンモデルが選択されてもその誤差を軽減することが可能となる。
【００９２】
また、請求項４３に係る発明は、請求項３８乃至請求項４２のいずれか１項に記載のデータ処理装置において、前記パターンモデルをＨＭＭ（Hidden Markov Model）により構成したことを特徴としている。
つまり、パターンモデルを、公知の技術であるＨＭＭを用いて構成したものである。
ここで、音声は、話すスピードによりその時間的な長さが変わり、発声内容により、周波数領域上で特徴的な形状（スペクトル包絡という）を示すが、その形状は発声する人、環境、内容等に依存し揺らぎが生じる。例えば、上記したＨＭＭは、そのような揺らぎを吸収することのできる統計的モデルである。
【００９３】
また、請求項４４に係る発明は、請求項３８乃至請求項４３のいずれか１項に記載のデータ処理装置において、前記音声データ評価手段は、前記対象話者の音声データにおける音素毎の価値を評価するようになっており、
前記評価結果表示手段は、前記対象話者の音声データの音素毎の評価結果を表示することを特徴としている。
【００９４】
つまり、対象話者の音声データを、単語や文章単位ではなく、音素単位でその価値を評価し、音素毎に評価結果を表示するので、簡易に音素単位の価値の判断が可能となる。
また、請求項４５に係る発明は、請求項３８乃至請求項４４のいずれか１項に記載のデータ処理装置において、前記評価結果表示手段は、前記音声データ評価手段によって前記対象話者の音声データの価値が低いと評価された場合に、その音声データに対する補正情報を表示することを特徴としている。
【００９５】
つまり、補正情報として、発音の仕方や発話速度等の、評価対象（あるいは取得対象）として希望する音声データの発話を促す情報を表示することで、同じ対象話者から様々な音声データを取得し評価することが可能となる。要するに、同じ対象話者の音声データでも、発音の仕方などによっては、価値が高まる可能性があるので、それを考慮したものである。
【００９６】
また、請求項４６に係る発明は、請求項３８乃至請求項４５のいずれか１項に記載のデータ処理装置において、前記対象話者との間で前記音声データの提供可否に関する交渉を行うための交渉手段と、
前記交渉手段によって交渉が成立した前記音声データを記憶する音声データ記憶手段と、を備えることを特徴としている。
【００９７】
つまり、交渉手段によって、前記対象話者との間で前記音声データの提供可否に関する交渉を行うことが可能であり、音声データ記憶手段によって、前記交渉手段によって交渉が成立した前記音声データを記憶することが可能である。
これにより、対象話者の発話した音声データが、例えば、価値が高いと評価されたデータであった場合に、対象話者と交渉して、その音声データを取得することが可能となる。
【００９８】
また、請求項４７記載のデータ処理システムは、対象話者の管理下にある情報処理端末と、
請求項３８乃至請求項４６のいずれか１項に記載のデータ処理装置と、を備え、
前記情報処理端末と前記データ処理装置とを互いにデータ通信可能に接続し、
前記情報処理端末は、前記対象話者の音声データを取得し、当該取得した音声データを前記データ処理装置に送信する音声データ送信手段と、前記データ処理装置から取得した、前記対象話者の音声データの評価結果に係る情報を表示する評価情報表示手段と、を備え、
前記データ処理装置は、前記評価結果に係る情報を前記情報処理端末に送信する評価情報送信手段を備えることを特徴としている。
【００９９】
つまり、前記情報処理端末は、音声データ送信手段によって、前記対象話者の音声データを取得し、当該取得した音声データを前記データ処理装置に送信することが可能であり、評価情報表示手段によって、前記データ処理装置から取得した、前記対象話者の音声データの評価結果に係る情報を表示することが可能であり、前記データ処理装置は、評価情報送信手段によって、前記評価結果に係る情報を前記情報処理端末に送信することが可能である。
ここで、本発明は、上記請求項３８乃至請求項４６のいずれか１項に記載のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
【０１００】
従って、例えば、インターネット等を介して情報処理端末とデータ処理装置とを接続することで、インターネットを介して、多数の対象話者の音声データの評価を行うことが可能となり、価値の高い音声データの取得をより簡易に行うことが可能となる。
また、請求項４８記載のデータ処理方法は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択した特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴としている。
【０１０１】
ここで、本発明は、上記請求項３８に記載のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項４９記載のデータ処理方法は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと、前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴としている。
ここで、本発明は、上記請求項３９に記載のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項５０記載のデータ処理装置制御プログラムは、請求項３８記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択した特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【０１０２】
ここで、本発明は、請求項３８記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項５１記載のデータ処理装置制御プログラムは、請求項３９記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと、前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
ここで、本発明は、請求項３９記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項５２記載のデータ処理装置は、請求項４７記載のデータ処理システムに適用可能な前記データ処理装置であって、
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択した特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置算出手段によって算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価手段と、
前記音声データ評価手段の評価結果を表示する評価結果表示手段と、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、
前記評価結果に係る情報を前記情報処理端末に送信する評価情報送信手段と、を備えることを特徴としている。
【０１０３】
ここで、本発明は、請求項３８を引用する請求項４７記載のデータ処理システムにおけるデータ処理装置と同様の作用効果となるので、記載を省略する。
また、請求項５３記載のデータ処理装置は、請求項４７記載のデータ処理システムに適用可能な前記データ処理装置であって、
複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置算出手段によって算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価手段と、
前記音声データ評価手段の評価結果を表示する評価結果表示手段と、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、
前記評価結果に係る情報を前記情報処理端末に送信する評価情報送信手段と、を備えることを特徴としている。
ここで、本発明は、請求項３９を引用する請求項４７記載のデータ処理システムにおけるデータ処理装置と同様の作用効果となるので、記載を省略する。
【０１０４】
また、請求項５４記載のデータ処理装置制御プログラムは、請求項５２記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
前記データ処理装置は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を備えており、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択した特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、
前記評価結果に係る情報を前記情報処理端末に送信する評価情報送信ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【０１０５】
ここで、本発明は、請求項５２記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項５５記載のデータ処理装置制御プログラムは、請求項５３記載のデータ処理装置を制御するためのデータ処理装置制御プログラムであって、
前記データ処理装置は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を備えており、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された前記対象話者の音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと、前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置算出ステップにおいて算出された前記位置に基づき、前記対象話者の音声データの価値を評価する音声データ評価ステップと、
前記音声データ評価ステップの評価結果を表示する評価結果表示ステップと、
前記算出された位置に基づき、前記対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、
前記評価結果に係る情報を前記情報処理端末に送信する評価情報送信ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
ここで、本発明は、請求項５３記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
【０１０６】
一方、上記目的を達成するために、本発明に係る請求項５６記載のデータ処理装置は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出手段と、
前記位置と前記類似話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴としている。
【０１０７】
このような構成であれば、音響空間記憶手段によって、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶することが可能であり、音声データ取得手段によって、対象話者の音声データを取得することが可能であり、位置算出手段によって、前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出することが可能であり、類似話者検出手段によって、前記位置と前記複数のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。
【０１０８】
つまり、対象話者の音声データと複数話者の複数のパターンモデルとの尤度を算出して、類似性を判断することが可能であり、これにより、対象話者の音声データの特徴と類似した特徴を有するパターンモデルを簡易に選択することが可能である。
また、前記位置関係情報表示手段は、前記対象話者の音声データに対応するパターンモデルと類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの位置関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。
従って、対象話者の音声が、複数話者の中の誰の音声に似ているかを視覚的に簡易に知ることが可能である。
また、対象話者の発声した音声のパターンモデルを生成せずに、類似したパターンモデルの位置を対象話者の発声した音声データの音響空間内の位置とするようにしたので計算量を少なくでき、更に、対象話者の発声した音声のパターンモデルを生成せずに、類似したパターンモデルの位置を対象話者の発声した音声データの音響空間内の位置とするようにしたのでこれによっても計算量を少なくできるので、本発明はリアルタイムの処理等に適している。
ここで、数学的距離とは、対象話者の音声データから生成される音響モデルと複数話者の音響モデルとの類似度を示すもので、この類似度を測るモノサシの種類により様々なものがある。このモノサシは、例えば、ユークリッド距離などの普通のモノサシでも測れる距離に対応したものや、類似度を測る距離を二つのベクトルの内積とし、二つのベクトルの成す角を類似度として評価するマハラノビスの汎距離などの、普通のモノサシでは測れない類似度に対応したものがある。 なお、本発明においては、数学的距離として、他に、バタチャリヤ（Bhattacharrya）距離、平方ユークリッド距離、コサイン距離、ピアソンの相関、チェビシェフ、都市ブロック距離（あるいはマンハッタン距離）、ミンコウスキー和、カルバック情報量、チェルノフ距離などがある。つまり、距離と称してはいるが、類似度を示すものであれば何でも良い。以下の各請求の範囲において同じである。
また、音声データ及びパターンモデルが多次元（４次元以上）の情報を持つ場合は、その位置情報も多次元となる。評価結果表示手段は、このようなときに、音声データ及びパターンモデルを、例えば、射影等を用いて、多次元の情報を２次元等の低次元の情報に変換してから、その低次元の空間上に座標点として表示することが可能である。このような、射影方法としては、例えば、公知のＳａｍｍｏｎ法などがある。以下の各請求の範囲において同じである。
また、上記目的を達成するために、本発明に係る請求項５７記載のデータ処理装置は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出手段と、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出手段と、
前記位置と前記類似話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴としている。
このような構成であれば、音響空間記憶手段によって、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶することが可能であり、音声データ取得手段によって、対象話者の音声データを取得することが可能であり、位置算出手段によって、前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出することが可能であり、類似話者検出手段によって、前記位置と前記複数のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。
つまり、前記位置算出手段は、前記音声データ取得手段によって取得された音声データを高次元の特徴量データに変換し、当該特徴量データに基づき対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記複数話者の複数のパターンモデルとの相互間の数学的距離を算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された対象話者の音声データの位置を算出することが可能である。
また、前記位置関係情報表示手段は、前記対象話者の音声データに対応するパターンモデルと類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの位置関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。
従って、対象話者の音声が、複数話者の中の誰の音声に似ているかを視覚的に簡易に知ることが可能である。
また、請求項５８に係る発明は、請求項５６又は請求項５７記載のデータ処理装置において、前記複数話者の中から特定話者を指定する特定話者指定手段と、
前記位置と前記音響空間内における前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価手段と、
前記類似性評価手段の評価結果を表示する評価結果表示手段と、を備え、
前記位置関係情報表示手段は、前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示するようになっていることを特徴としている。
【０１０９】
つまり、特定話者指定手段によって、前記複数話者の中から特定話者を指定することが可能であり、類似性評価手段によって、前記位置と前記音響空間内における前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価することが可能であり、評価結果表示手段によって、前記類似性評価手段の評価結果を表示することが可能であり、前記位置関係情報表示手段は、前記位置と前記類似話者のパターンモデルと前記特定話者のパターンモデルとに基づき、前記音響空間内における、前記対象話者の音声データと類似話者のパターンデータと前記特定話者のパターンモデルとの位置関係を示す情報を表示することが可能である。
【０１１０】
従って、指定した特定話者の音声と対象話者の音声との類似性を視覚的に簡易に知ることが可能であり、更に、音響空間内における対象話者の音声データに対応するパターンモデルと類似話者のパターンモデルと特定話者のパターンモデルとの位置関係を視覚的に簡易に知ることが可能である。
また、請求項５９記載のデータ処理装置は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
前記複数話者の中から特定話者を指定する特定話者指定手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出手段と、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価手段と、
前記類似性評価手段の評価結果を表示する評価結果表示手段と、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴としている。
【０１１１】
このような構成であれば、音響空間記憶手段によって、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶することが可能であり、特定話者指定手段によって、前記複数話者の中から特定話者を指定することが可能であり、音声データ取得手段によって、対象話者の音声データを取得することが可能であり、位置算出手段によって、前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出することが可能であり、類似性評価手段によって、前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価することが可能であり、評価結果表示手段によって、前記類似性評価手段の評価結果を表示することが可能であり、位置関係情報表示手段によって、前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。
【０１１２】
つまり、対象話者の音声データと複数話者の複数のパターンモデルとの尤度を算出して、類似性を判断することが可能であり、これにより、対象話者の音声データの特徴と類似した特徴を有する特定のパターンモデルを簡易に選択することが可能である。
また、類似性評価手段は、前記特定話者の音声と前記対象話者の音声との類似性を評価することが可能である。
また、前記位置関係情報表示手段は、前記対象話者の音声データに対応するパターンモデルと特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの位置関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。
従って、指定した特定話者の音声と対象話者の音声との類似性を視覚的に簡易に知ることが可能であり、更に、音響空間内における対象話者の音声データと特定話者のパターンモデルとの位置関係を視覚的に簡易に知ることが可能である。
また、対象話者の発声した音声のパターンモデルを生成せずに、類似したパターンモデルの位置を対象話者の発声した音声データの音響空間内の位置とするようにしたので計算量を少なくでき、更に、対象話者の発声した音声のパターンモデルを生成せずに、類似したパターンモデルの位置を対象話者の発声した音声データの音響空間内の位置とするようにしたのでこれによっても計算量を少なくできるので、本発明はリアルタイムの処理等に適している。
また、請求項６０記載のデータ処理装置は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶手段と、
前記複数話者の中から特定話者を指定する特定話者指定手段と、
対象話者の音声データを取得する音声データ取得手段と、
前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出手段と、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価手段と、
前記類似性評価手段の評価結果を表示する評価結果表示手段と、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示手段と、を備えることを特徴としている。
このような構成であれば、音響空間記憶手段によって、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶することが可能であり、特定話者指定手段によって、前記複数話者の中から特定話者を指定することが可能であり、音声データ取得手段によって、対象話者の音声データを取得することが可能であり、位置算出手段によって、前記音声データ取得手段によって取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出することが可能であり、類似性評価手段によって、前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価することが可能であり、評価結果表示手段によって、前記類似性評価手段の評価結果を表示することが可能であり、位置関係情報表示手段によって、前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。
つまり、位置算出手段は、対象話者の音声データに対応するパターンモデルを生成して、このパターンモデルの音響空間内の位置を算出することが可能である。
また、類似性評価手段は、前記特定話者の音声と前記対象話者の音声との類似性を評価することが可能である。
また、前記位置関係情報表示手段は、前記対象話者の音声データに対応するパターンモデルと特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの位置関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。
また、請求項６１に係る発明は、請求項５８乃至請求項６０のいずれか１項に記載のデータ処理装置において、前記類似性評価手段の評価結果に基づき、前記対象話者の音声と前記特定話者の音声との類似性を高めるための前記対象話者の音声に対する矯正内容を示す矯正情報を生成する矯正情報生成手段と、
前記矯正情報を表示する矯正情報表示手段と、を備えることを特徴としている。
【０１１３】
つまり、矯正情報生成手段によって、前記類似性評価手段の評価結果に基づき、前記対象話者の音声と前記特定話者の音声との類似性を高めるための前記対象話者の音声に対する矯正内容を示す矯正情報を生成することが可能であり、矯正情報表示手段によって、前記矯正情報を表示することが可能である。
従って、対象話者は、表示された矯正情報を見て、自己の発声方法を矯正することが可能である。
【０１１７】
また、請求項６２に係る発明は、請求項５８記載のデータ処理装置において、前記類似話者検出手段は、前記位置に基づき、前記複数のパターンモデルのうち、前記対象話者の音声データの特徴と類似した特徴を有する上位いくつかのパターンモデルを、前記対象話者のパターンモデルとして用い、
前記類似性評価手段は、前記位置に基づき、前記複数のパターンモデルのうち、前記対象話者の音声データの特徴と類似した特徴を有する上位いくつかのパターンモデルを、前記対象話者のパターンモデルとして用いることを特徴としている。
【０１１８】
つまり、前記類似話者検出手段は、前記位置に基づき、前記複数のパターンモデルのうち、前記対象話者の音声データの特徴と類似した特徴を有する上位いくつかのパターンモデルを、前記対象話者のパターンモデルとして用いることが可能であり、前記類似性評価手段は、前記位置に基づき、前記複数のパターンモデルのうち、前記対象話者の音声データの特徴と類似した特徴を有する上位いくつかのパターンモデルを、前記対象話者のパターンモデルとして用いることが可能である。
【０１１９】
従って、例えば、類似度の高い順に上位いくつかのパターンモデルを選択し、これら複数のパターンモデルの平均値を検出処理及び評価処理等に用いることで、パターンモデルを単数で選択して用いる場合において類似していると判断して選択されたパターンモデルが実際は類似していなかったものであったときなどと比べて、誤ったパターンモデルが選択されてもその誤差を軽減することが可能となる。
【０１２７】
また、請求項６３に係る発明は、請求項５８乃至請求項６２のいずれか１項に記載のデータ処理装置において、前記類似性評価手段は、前記対象話者の音声データにおける音素毎の類似性を評価するようになっていることを特徴としている。
つまり、前記類似性評価手段は、前記対象話者の音声データにおける音素毎の類似性を評価することが可能であるので、対象話者の音声データを、単語や文章単位ではなく、音素単位でその類似性を評価し、音素毎に評価結果を表示するので、簡易に音素単位の類似性の評価結果を知ることが可能となる。
【０１２８】
また、請求項６４に係る発明は、請求項５８乃至請求項６３のいずれか１項に記載のデータ処理装置において、前記音響空間は、複数種類の発話様式によりそれぞれ発声された前記複数話者の音声データより生成された複数のパターンモデルから構成されており、
前記類似性評価手段は、前記発話様式の種類毎に、前記類似性の評価を行うようになっていることを特徴としている。
【０１２９】
つまり、前記音響空間は、複数種類の発話様式によりそれぞれ発声された前記複数話者の音声データより生成された複数のパターンモデルから構成されており、
前記類似性評価手段は、前記発話様式の種類毎に、前記類似性の評価を行うことが可能である。
従って、例えば、高い声による発声、低い声により発声、早口で発声、ゆっくりと発声などの色々な種類の発話様式で発声された特定話者の音声に対して、対象話者の音声の類似性を評価することが可能である。これにより、例えば、対象話者は、自分に合った発話様式で発声された特定話者の音声を真似することなどが可能となる。
【０１３０】
また、請求項６５に係る発明は、請求項６４記載のデータ処理装置において、前記位置関係表示手段は、前記複数のパターンモデルにそれぞれ対応した前記発話様式に基づき、前記低次元空間の座標軸を設定するようになっていることを特徴としている。
つまり、低次元空間の軸を、例えば、発話速度や音の高さなどにより設定することで、対象話者の音声データの特徴や、その周辺の複数話者あるいは特定話者の音声データの特徴等を容易に把握することが可能となる。
【０１３１】
また、請求項６６に係る発明は、請求項５６乃至請求項６５のいずれか１項に記載のデータ処理装置において、前記パターンモデルをＨＭＭ（Hidden Markov Model）により構成したことを特徴としている。
つまり、パターンモデルを、公知の技術であるＨＭＭを用いて構成したものである。
ここで、音声は、話すスピードによりその時間的な長さが変わり、発声内容により、周波数領域上で特徴的な形状（スペクトル包絡という）を示すが、その形状は発声する人、環境、内容等に依存し揺らぎが生じる。例えば、上記したＨＭＭは、そのような揺らぎを吸収することのできる統計的モデルである。
【０１３２】
また、請求項６７記載のデータ処理システムは、対象話者の管理下にある情報処理端末と、
請求項５６乃至請求項６６のいずれか１項に記載のデータ処理装置と、を備え、
前記情報処理端末と前記データ処理装置とを互いにデータ通信可能に接続し、
前記情報処理端末は、前記対象話者の音声データを取得し、当該取得した音声データを前記データ処理装置に送信する音声データ送信手段と、前記データ処理装置から取得した前記音声データの処理結果に係る情報を表示する情報表示手段と、を備え、
前記データ処理装置は、前記音声データの処理結果に係る情報を前記情報処理端末に送信する情報送信手段を備えることを特徴としている。
【０１３３】
つまり、前記情報処理端末は、音声データ送信手段によって、前記対象話者の音声データを取得し、当該取得した音声データを前記データ処理装置に送信することが可能であり、情報表示手段によって、前記データ処理装置から取得した前記音声データの処理結果に係る情報を表示することが可能である。
また、前記データ処理装置は、情報送信手段によって、前記音声データの処理結果に係る情報を前記情報処理端末に送信することが可能である。
【０１３４】
従って、例えば、インターネット等を介して情報処理端末とデータ処理装置とを接続することで、インターネットを介して、対象話者の音声データに対して、上記した検出処理や評価処理等を行うことが可能となり、対象話者は、自宅等から簡易に自己の音声の検出処理又は評価処理を行うことが可能である。
また、請求項６８項記載のデータ処理方法は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出ステップと、
前記位置と前記類似話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴としている。
【０１３５】
ここで、本発明は、上記請求項５６記載のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項６９記載のデータ処理方法は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出ステップと、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出ステップと、
前記位置と前記類似話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記類似話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴としている。
ここで、本発明は、上記請求項５７記載のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項７０に係る発明は、請求項６８又は請求項６９項記載のデータ処理方法において、前記複数話者の中から特定話者を指定する特定話者指定ステップと、
前記位置と前記音響空間内における前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、を含み、
前記位置関係情報表示ステップにおいては、前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示するようになっていることを特徴としている。
【０１３６】
ここで、本発明は、上記請求項５８記載のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項７１記載のデータ処理方法は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴としている。
【０１３７】
ここで、本発明は、上記請求項５９記載のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項７２記載のデータ処理方法は、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を含むことを特徴としている。
ここで、本発明は、上記請求項６０記載のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項７３項記載のデータ処理装置制御プログラムは、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
前記位置と前記音響空間内における前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【０１３８】
ここで、本発明は、請求項５６記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項７４項記載のデータ処理装置制御プログラムは、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出ステップと、
前記位置と前記複数のパターンモデルとに基づき、前記複数話者の中から前記対象話者の音声と類似した音声を有する類似話者を検出する類似話者検出ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
前記位置と前記音響空間内における前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
ここで、本発明は、請求項５７記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項７５項記載のデータ処理装置制御プログラムは、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとに基づき、前記特徴量データと各パターンモデルとの尤度を算出し、当該算出された尤度に基づき前記複数話者の複数のパターンモデルの中から特定のパターンモデルを選択し、当該選択された特定のパターンモデルと他のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記対象話者の音声データの位置を算出する位置算出ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
【０１３９】
ここで、本発明は、請求項５９記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項７６項記載のデータ処理装置制御プログラムは、複数話者の音声データから生成された、４次元以上の高次元の要素を有する分散を含んでなる複数のパターンモデルによって構成された音響空間を記憶する音響空間記憶ステップと、
前記複数話者の中から特定話者を指定する特定話者指定ステップと、
対象話者の音声データを取得する音声データ取得ステップと、
前記音声データ取得ステップにおいて取得された音声データを４次元以上の高次元の特徴量データに変換し、当該特徴量データに基づき４次元以上の高次元の要素を有する分散を含んでなる対象話者用のパターンモデルを生成し、当該生成されたパターンモデルと前記音響空間記憶ステップにおいて記憶された前記音響空間内の前記複数話者の複数のパターンモデルとの相互間の数学的距離を前記分散に基づき算出し、当該算出された数学的距離に基づき、前記音響空間内における、前記取得された音声データの位置を算出する位置算出ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記特定話者の音声と前記対象話者の音声との類似性を評価する類似性評価ステップと、
前記類似性評価ステップの評価結果を表示する評価結果表示ステップと、
前記位置と前記特定話者のパターンモデルとに基づき、前記対象話者の音声データに対応するパターンモデルと前記特定話者のパターンモデルとを含む前記音響空間内の複数のパターンモデルを、これらの距離関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示する位置関係情報表示ステップと、を有する処理をコンピュータに実行させるためのプログラムを含むことを特徴としている。
ここで、本発明は、請求項６０記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
【図面の簡単な説明】
【０１４０】
【図１】本発明に係るデータ処理装置１の構成を示すブロック図である。
【図２】２次元の音響モデル対応低次元ベクトルの２次元空間上への表示の一例を示す図である。
【図３】表示された座標点の２次元空間上における領域区分の一例を示す図である。
【図４】第１の区分領域を示す図である。
【図５】第２の区分領域を示す図である。
【図６】第３の区分領域を示す図である。
【図７】第４の区分領域を示す図である。
【図８】第５の区分領域を示す図である。
【図９】図３に示す区分内容の変更の一例を示す図である。
【図１０】データ処理装置１の動作処理を示すフローチャートである。
【図１１】データ処理装置１における特定パターンモデルの生成処理を示すフローチャートである。
【図１２】データ処理装置１における区分内容の変更処理を示すフローチャートである。
【図１３】実施例における音響モデル対応低次元ベクトルの表示内容を示す図である。
【図１４】各区分領域毎に生成した領域音響モデル及び全領域に対する音響モデルの認識率を示す図である。
【図１５】発話様式を示す図である。
【図１６】図１５に示す発話様式の組み合わせ毎に作成した音響モデルを２次元射影表示した一例を示す図である。
【図１７】生活雑音、野鳥の鳴声、人間の音声のデータを用いて作成した音響モデルを２次元射影表示した一例を示す図である。
【図１８】人間の口唇部の画像データを用いて作成したパターンモデルを２次元射影表示した一例を示す図である。
【図１９】赤外線センサの出力データを用いて作成したパターンモデルを２次元射影表示した一例を示す図である。
【図２０】加速度センサの出力データを用いて作成したパターンモデルを２次元射影表示した一例を示す図である。
【図２１】本発明に係るデータ処理装置２１の構成を示すブロック図である。
【図２２】データ処理装置１とデータ処理装置２１との領域区分方法の違いを示す図である。
【図２３】高次元音響モデルを２次元座標表示した際の、認識率の高い話者と認識率の低い話者との分布を示す図である。
【図２４】各区分領域の構造を示す図である。
【図２５】領域パターンモデルの第１の探索方法を示す図である。
【図２６】領域パターンモデルの第２の探索方法を示す図である。
【図２７】領域パターンモデル探索部２１ｃの第１の探索方法による探索処理を示すフローチャートである。
【図２８】領域パターンモデル探索部２１ｃの第２の探索方法による探索処理を示すフローチャートである。
【図２９】（ａ）は、音響モデルの生成に用いる発話様式の種類を示す図であり、（ｂ）は、本発明に係るデータ処理装置２１によって２次元平面上に表示された音響モデル対応低次元ベクトルを示す図である。
【図３０】本発明に係るデータ処理装置２１の探索方法を用いて選択した音響モデルと、従来法の話者適応手法ＭＬＬＲを用いて選択した音響モデルとに対する各話者と認識性能との関係を示す図である。
【図３１】音響モデル探索時の発声数と、当該発声数により選択した音響モデルの認識性能との関係を示す図である。
【図３２】第１の探索方法を用いて探索した音響モデルと、全領域音響モデルとの尤度計算により探索した音響モデルとについて、各話者と認識率との関係を示す図である。
【図３３】重みに２種類の出現頻度を用いた場合と、重みに通常の出現頻度を用いた場合と、重みに認識性能が所定の閾値より低い語彙単語に含まれる音声単位の出現頻度を用いた場合とについて、話者と認識率との関係を示した図である。
【図３４】（ａ）は、出現頻度として単純なｄｉｐｈｏｎｅの出現頻度を用いて生成した音響空間地図を示す図であり、（ｂ）は、出現頻度として認識性能の低ｄｉｐｈｏｎｅの出現頻度を用いて生成した音響空間地図を示す図である。
【図３５】本発明に係るデータ処理システムの構成を示すブロック図である。
【図３６】情報処理端末３５０の詳細な構成を示す図である。
【図３７】データ処理装置３７の詳細構成を示すブロック図である。
【図３８】システム利用者に適した音響モデルの配信を行う際の表示情報の一例を示す図である。
【図３９】システム利用者の使用している音響モデルの性能を評価し、新たな音響モデルを配信する際の表示情報の一例を示す図である。
【図４０】情報処理端末３５０におけるデータ送信処理を示すフローチャートである。
【図４１】データ処理装置３７の動作処理を示すフローチャートである。
【図４２】情報処理端末３５０における表示用情報受信時の動作処理を示すフローチャートである。
【図４３】本発明に係るデータ処理システムの構成を示すブロック図である。
【図４４】情報処理端末２の詳細な構成を示す図である。
【図４５】データ処理装置３の詳細構成を示すブロック図である。
【図４６】データ処理システム７の初期データベースの構築処理及びデータ評価処理の流れを示す図である。
【図４７】音響空間を２次元射影して表示した一例を示す図である。
【図４８】情報処理端末２の動作処理を示すフローチャートである。
【図４９】データ処理装置３の動作処理を示すフローチャートである。
【図５０】第２の情報表示部３ｆにおける２次元射影化による座標情報の表示処理を示すフローチャートである。
【図５１】本発明に係るデータ処理システムの構成を示すブロック図である。
【図５２】情報処理端末９の詳細な構成を示す図である。
【図５３】データ処理装置１０の詳細構成を示すブロック図である。
【図５４】データ処理システム８の初期データベースの構築処理及びデータ評価処理の流れを示す図である。
【図５５】音響空間を２次元射影して表示した一例を示す図であり、（ａ）は、ＨＭＭを単語（又は文章）単位で扱った場合のＨＭＭの各座標を点で表示したものであり、（ｂ）は、ＨＭＭを音素単位（図では「ａ」，「ｉ」，「ｕ」，「ｅ」，「ｏ」）で扱った場合の各ＨＭＭの音素毎の各座標を点で表示したものである。
【図５６】発話様式を軸の要素としたときの２次元射影表示の一例を示す図である。
【図５７】情報処理端末９の動作処理を示すフローチャートである。
【図５８】データ処理装置１０の動作処理を示すフローチャートである。
【図５９】第２の情報表示部１０ｇにおける２次元射影化による座標情報の表示処理を示すフローチャートである。
【発明を実施するための最良の形態】
【０１４１】
［第１の実施形態］
以下、本発明の第１の実施形態を図面に基づき説明する。図１〜図１４は、本発明に係るデータ処理装置の第１の実施形態を示す図である。
まず、本発明に係るデータ処理装置の構成を図１に基づき説明する。図１は、本発明に係るデータ処理装置１の構成を示すブロック図である。
【０１４２】
データ処理装置１は、データ分類部１ａと、データ記憶部１ｂと、パターンモデル生成部１ｃと、データ制御部１ｄと、数学的距離算出部１ｅと、パターンモデル変換部１ｆと、パターンモデル表示部１ｇと、領域区分部１ｈと、区分内容変更部１ｉと、領域選択部１ｊと、特定パターンモデル生成部１ｋと、を含んだ構成となっている。
データ分類部１ａは、複数対象に係る不特定多数のデータを、複数の特定条件に基づき、グループ分けするものである。本実施形態においては、複数話者から取得した不特定多数の音声データを、話者の名前、男性／女性の性別、子供／大人／高齢者の年齢別等の「話者の種類」、発話する、数字、文章、単語等の「発話語彙」、発話速度、発話音量、方言に由来する特徴等の「発話様式」及び室内、自動車内、工場内、屋外（場所等により種類分けする）等の「発話環境」の４つの特定条件に基づき、グループ分けする。ここで、各特定条件の組み合わせ（特定条件内の各要素の組み合わせ及び特定条件同士の組み合わせなど）については、利用者によって任意の内容に設定可能である。
【０１４３】
データ記憶部１ｂは、複数対象に係るデータや、当該データから生成したパターンモデル等のデータ処理に係るデータを記憶するものである。本実施形態においては、上記した音声データや、音声データから生成したパターンモデル（以下、音響モデルと称す）等の音声データ処理に係るデータを記憶する。
パターンモデル生成部１ｃは、データ分類部１ａによってグループ分けしたデータに基づき、各グループ毎に４次元以上の高次元のパターンモデルを生成するものである。本実施形態においては、データ分類部１ａによってグループ分けした音声データに基づき、各グループ毎に４次元以上の高次元の音響モデル（以下、高次元音響モデルと称す）を生成する。
【０１４４】
データ制御部１ｄは、データ処理装置１を構成する各構成要素間のデータの流れを制御したり、各部の動作の流れを制御したりするものである。
数学的距離算出部１ｅは、パターンモデル生成部１ｃにおいて生成された複数のパターンモデルにおける、各パターンモデル相互間の数学的距離を算出するものである。本実施形態においては、各高次元音響モデル相互間の数学的距離を算出する。
【０１４５】
パターンモデル変換部１ｆは、パターンモデル生成部１ｃにおいて生成されたパターンモデル及び数学的距離算出部１ｅにおいて算出された数学的距離に基づき、パターンモデルを当該パターンモデルよりも低次元のモデル（以下、パターンモデル対応低次元ベクトルと称す）に変換するものである。本実施形態においては、パターンモデル生成部１ｃにおいて生成された高次元音響モデル及び数学的距離算出部１ｅにおいて算出された数学的距離に基づき、高次元音響モデルを当該高次元音響モデルよりも低次元の音響モデル（以下、音響モデル対応低次元ベクトルと称す）に変換する。
【０１４６】
パターンモデル表示部１ｇは、パターンモデル変換部１ｆにおいて、パターンモデル対応低次元ベクトルへと変換されたパターンモデルを、これと同次元の低次元空間上の座標点として表示するものである。本実施形態においては、パターンモデル変換部１ｆにおいて、音響モデル対応低次元ベクトルへと変換された音響モデルを、これと同次元の低次元空間上の座標点として表示する。
【０１４７】
領域区分部１ｈは、パターンモデル表示部１ｇによって低次元空間上の座標点として表示されたパターンモデル対応低次元ベクトルを、当該低次元空間上において複数の領域に自動区分するものである。本実施形態においては、パターンモデル表示部１ｇによって低次元空間上の座標点として表示された音響モデル対応低次元ベクトルを、当該低次元空間上において複数の領域に自動区分する。また、本実施形態においては、複数に区分された領域のそれぞれを区分領域と称することとする。
【０１４８】
区分内容変更部１ｉは、データ処理装置１の備える図示しない入力デバイスからの入力情報に基づき、領域区分部１ｈによって区分された区分内容を変更するものである。
領域選択部１ｊは、データ処理装置１の備える図示しない入力デバイスからの入力情報に基づき、領域区分部１ｈによって形成された複数の区分領域の中から、特定の区分領域を選択するものである。
【０１４９】
特定パターンモデル生成部１ｋは、領域選択部１ｊによって選択された特定領域内のパターンモデル対応低次元ベクトルに対応したパターンモデルに係るデータに基づき、高次元のパターンモデルを生成するものである。また、本実施形態においては、領域選択部１ｊによって選択された特定領域内の音響モデル対応低次元ベクトルに対応した高次元音響モデルに係る音声データに基づき、高次元の音響モデルを生成する。ここで、本実施形態においては、特定パターンモデル生成部１ｋによって生成される高次元のパターンモデルを特定パターンモデル（本実施形態では、特定音響モデル）と称することとする。
【０１５０】
なお、本実施形態において、データ処理装置１は、図示しないプロセッサと、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、専用のプログラムの記憶されたＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、を備えており、プロセッサにより専用のプログラムを実行することにより上記各部の機能を果たす。ここで、上記各部は、専用のプログラムのみでその機能を果たすもの、専用のプログラムによりハードウェアを制御してその機能を果たすもの等が混在している。
【０１５１】
更に、図２〜図９に基づき、データ処理装置１の具体的な動作を説明する。
図２は、２次元の音響モデル対応低次元ベクトルの２次元空間上への表示の一例を示す図であり、図３は、表示された座標点の２次元空間上における領域区分の一例を示す図であり、図４〜図８は、図３における各区分領域を示す図であり、図９は、図３に示す区分内容の変更の一例を示す図である。
【０１５２】
まず、データ分類部１ａによって、データ記憶部１ｂに記憶された複数話者の音声データを、上記した、話者の種類、発話語彙、発話様式及び発話環境の４つの特定条件に基づき、グループ分けする。例えば、話者の名前、単語、早口、室内で１グループ、話者の名前、単語、大声、室内で１グループ、話者の名前、単語、早口、屋外で１グループといったように、４つの特定条件を全て含む組み合わせでグループ分けする。ここで、音声データには、グループ分けに関する情報が付加されることになる。
【０１５３】
次に、パターンモデル生成部１ｃによって、上記グループ分けされた音声データを用いて、各グループ毎に高次元音響モデルを生成する。音響モデルは、例えばＨＭＭ等の公知の手法を用いて生成される。生成された高次元音響モデルは、生成時の音声データに対応付けてデータ記憶部１ｂに記憶される。
更に、数学的距離算出部１ｅによって、上記生成された各高次元音響モデル相互間の数学的距離を算出する。一般に高次元音響モデルは複数の音声単位のＨＭＭの集合から成る。そこで、高次元音響モデルｉ及びｊの距離を下式（１）で定義する。
【０１５４】
【数１】
0004413867.tif 000002
【０１５５】
上式（１）において、ｄ＊ｉｊは、高次元音響モデルｉと高次元音響モデルｊの相互距離であり、ｄ（ｉ．ｊ，ｋ）は、高次元音響モデルｉに含まれる音声単位ｋのモデルと高次元音響モデルｊに含まれる音声単位ｋのモデルの相互距離である。ｗ（ｋ）は、音声単位ｋの出現頻度であり、用途により任意に設定することができる。Ｋは、数学的距離を算出する際に用いる音声単位の数である。
［０１５６］
また、数学的距離を算出する際に用いる音声単位としては、音声単位全体、音響的に同種の音声単位の集合、または特定の音声単位を目的に応じて選択すればよい。
ｄ（ｉ，ｊ，ｋ）としては、バタチャリア距離、カルバック情報量などの公知の距離尺度を用いることが可能であるが、ここでは、認識性能に対する効果がカルバック情報量と同程度であることが明らかにされた、正規分布の標準偏差の積で正規化された平均値ベクトルのユークリッド距離を利用する。全ての高次元音響モデルの音声単位ｋのＨＭＭが同一構造の混合正規分布に従うとする。音響モデルの状態アライメントが、１：１であると仮定すると、ｄ（ｉ，ｊ，ｋ）を下式（２）〜（５）で定義できる。
［０１５７］
［数２］
0004413867.tif 000003
［０１５８］
ここで、μ（ｉ，ｋ，ｓ，ｌ，ｍ）、δ（ｉ，ｋ，ｓ，ｌ，ｍ）及びｐ（ｉ，ｋ，ｓ，ｌ，ｍ）は、それぞれ高次元音響モデルｉ、音声単位ｋ、状態ｓ、次元ｌ及びｍ番目の正規分布における平均値、標準偏差及び重みである。Ｓ（ｋ）は音声単位ｋの状態数、Ｌは次元数，Ｍｉ，Ｍｊは、それぞれ高次元音響モデルｉ及びｊの正規分布の混合数を表す。音響パラメータとして、例えば、１０次元のメル周波数ケプストラム係数（ＭＦＣＣ）と、その一次差分（ΔＭＦＣＣ）と、パワーの１次差分（Δｌｏｇ−Ｐｏｗｅｒ）との計２１次元を用いる。また、モデルサイズの観点から、単一正規分布による高次元音響モデルを前提とし、分布間の距離計算にも同様に単一正規分布間の距離を用いると、上式（２）〜（５）は下式（６）に簡単化される。
【０１５９】
【数３】
0004413867.tif 000004
【０１６０】
更に、パターンモデル変換部１ｆによって、上記算出された数学的距離を利用して、複数の高次元音響モデルを、これと同数の音響モデル対応低次元ベクトルに変換する。ここで、相互間の数学的距離が小さい２つの高次元音響モデルは互いに近くに、相互間の数学的距離が大きい２つの高次元音響モデルは互いに遠くに位置するように、全ての高次元音響モデルを相互間の距離関係を保持したまま音響モデル対応低次元ベクトル（２次元又は３次元）に変換する。本実施形態において、パターンモデル変換部１ｆは、高次元音響モデルを２次元の音響モデル対応低次元ベクトルに変換することとする。
【０１６１】
ここで、距離関係を保持したままで高次元音響モデルを２次元の音響モデル対応低次元ベクトルに変換する変換方法としては、当業者には公知であるＳａｍｍｏｎ法がある。
Ｓａｍｍｏｎ法は、高次元空間上の高次元情報の相互距離の総和と低次元空間上の写像位置座標の相互ユークリッド距離の総和の差が最小となるように，最急降下法により低次元空間上の写像位置座標を最適化する非線形写像手法である。相互距離が小さい２つの高次元情報は低次元空間上でも互いに近くに、相互距離が大きい２つの高次元情報は低次元空間上でも互いに遠くに位置するように全ての高次元情報を低次元空間に射影する。ここで、Ｓａｍｍｏｎ法において最小化すべき誤差関数Ｅ（ｔ）は下式（７）で与えられる。
【０１６２】
【数４】
0004413867.tif 000005
【０１６３】
本実施形態において、パターンモデル変換部１ｆは、上記Ｓａｍｍｏｎ法を用いて高次元音響モデルを２次元の音響モデル対応低次元ベクトルに変換する。従って、この場合の変換処理は、高次元音響モデルに低次元空間座標を付与して、複数の高次元音響モデルを低次元空間に射影することになる。
つまり、変換された音響モデル対応低次元ベクトルと同次元の低次元空間において、低次元空間座標の数学的距離（例えば、ユークリッド距離）が近い音響モデル対応低次元ベクトルに対応した高次元音響モデルは相互に類似しており、対応する特定条件も類似していることを意味していると考えられる。また、高次元音響モデルが中央に位置する程、対応する特定条件はより平均的であると考えられる。
【０１６４】
ここで、本実施形態においては、この座標情報が音響モデル対応低次元ベクトルの要素の値となる。また、付与される座標情報は、対応する高次元音響モデルに対応付けてデータ記憶部１ｂに記憶される。
更に、パターンモデル表示部１ｇによって、複数の音響モデル対応低次元ベクトルの要素の値（座標情報）に基づき、当該複数の音響モデル対応低次元ベクトルを、図２に示すように、これらの座標情報の重心を中心（原点）とした２次元空間上の座標点として表示する。以下、こうして作成された図を音響空間地図と呼ぶこととする。
【０１６５】
更に、領域区分部１ｈによって、２次元空間内の座標点の存在する領域を、図３に示すように、第１〜第５の区分領域３０〜３４の５つの区分領域に区分する。
つまり、２次元空間内の座標点の存在する領域を、中心から最も離れた点と中心との間の距離を半径とした外円と、この外円内の第１の区分領域３０である内円と、により区分し、更に、内円と外円の両外周間に形成される環状の領域を４つに区分（第２〜第５の区分領域３１〜３４）する。
【０１６６】
従って、パターンモデル表示部１ｇは、領域区分部１ｈによる区分内容に基づき、図３に示すように、表示座標点に合わせて区分内容を表示する。この区分処理により、図４〜図８に示す第１〜第５の区分領域３０〜３４のように、外円内の複数の音響モデル対応低次元ベクトルが、各区分領域内の音響モデル対応低次元ベクトルにグループ分けされることになる。
【０１６７】
更に、マウスやキーボード等の入力デバイスからの入力情報に基づき、領域選択部１ｊにより第１〜第５の区分領域３０〜３４のいずれかが選択される。そして、特定の区分領域が選択されると、特定パターンモデル生成部１ｋによって、前記選択された区分領域内の音響モデル対応低次元ベクトルに対応した高次元音響モデルの生成時に用いられた音声データに基づき、特定音響モデルが生成される。ここで、特定音響モデルは、上記高次元音響モデルと同様に、例えばＨＭＭ等の公知の手法を用いて生成される。生成された特定音響モデルは、データ記憶部１ｂに記憶される。
【０１６８】
更に、本実施形態においては、区分内容変更部１ｉによって、領域区分部１ｈにより自動的に区分された区分内容を変更することが可能である。例えば、変更内容としては、図９に示すように、マウスやキーボード等の入力デバイスからの入力情報に基づき、領域区分部１ｈによる区分内容をそのままに、全体を図中の矢印の方向に回転させたり、内円３５を１つ増やし、新たな区分領域３０ａ〜３０ｄを形成したりといったことが可能である。ここで、区分内容変更部１ｉは、請求の範囲第１０項記載の区分内容変更手段に対応する。
【０１６９】
更に、図１０に基づき、データ処理装置１の動作処理の流れを説明する。図１０は、データ処理装置１の動作処理を示すフローチャートである。なお、図１０に示すフローチャートにおいては、実施形態に合わせて、扱うデータを音声データとし、生成するパターンモデルを音響モデルとしているが、これに限定されるものではなく、用途に応じて様々なデータやパターンモデルを扱うことが可能である。
【０１７０】
図１０に示すように、まずステップＳ１００に移行し、データ分類部１ａにおいて、データ記憶部１ｂに記憶された複数話者の音声データをデータ制御部１ｄを介して読み出し、ステップＳ１０２に移行する。
ステップＳ１０２では、データ分類部１ａにおいて、上記した各特定条件の組み合わせに基づき、読み出した音声データをグループ分けしてステップＳ１０４に移行する。
【０１７１】
ステップＳ１０４では、データ制御部１ｄにおいて、データ分類部１ａのグループ分け処理が完了したか否かを判定し、完了したと判定された場合（Ｙｅｓ）はステップＳ１０６に移行し、そうでない場合（Ｎｏ）はステップＳ１００に移行する。
ステップＳ１０６に移行した場合は、パターンモデル生成部１ｃにおいて、グループ分けされた各グループ毎に音声データを読み出し、各グループ毎に高次元音響モデルを生成してステップＳ１０８に移行する。
【０１７２】
ステップＳ１０８では、数学的距離算出部１ｅにおいて、各グループ毎に生成された上記複数の高次元音響モデル相互間の数学的距離を上記式（１）を用いて算出してステップＳ１１０に移行する。
ステップＳ１１０では、パターンモデル変換部１ｆにおいて、上記生成された複数の高次元音響モデル及び各高次元音響モデル相互間の数学的距離に基づき、Ｓａｍｍｏｎ法を用いて、高次元音響モデルを音響モデル対応低次元ベクトルに変換してステップＳ１１２に移行する。
【０１７３】
ステップＳ１１２では、データ制御部１ｄにおいて、パターンモデル変換部１ｆによる変換処理が終了したか否かを判定し、終了したと判定された場合（Ｙｅｓ）はステップＳ１１４に移行し、そうでない場合（Ｎｏ）はステップＳ１１０に移行して変換処理を続行する。
ステップＳ１１４に移行した場合は、パターンモデル表示部１ｇにおいて、複数の音響モデル対応低次元ベクトルを低次元空間上に表示する処理を行いステップＳ１１６に移行する。
【０１７４】
ステップＳ１１６に移行すると、領域区分部１ｈにおいて、低次元空間における音響モデル対応低次元ベクトルの存在する領域を複数の区分領域に区分する処理を行い処理を終了する。
更に、図１１に基づき、データ処理装置１における特定音響モデルの生成処理の流れを説明する。図１１は、データ処理装置１における特定音響モデルの生成処理を示すフローチャートである。なお、図１１に示すフローチャートにおいては、実施形態に合わせて、扱うデータを音声データとし、生成する特定パターンモデルを特定音響モデルとしているが、これに限定されるものではなく、用途に応じて様々なデータや特定パターンモデルを扱うことが可能である。
【０１７５】
図１１に示すように、データ制御部１ｄにおいて、まずステップＳ２００に移行し、領域選択部１ｊにより、入力情報に基づく区分領域が選択されたか否かを判定し、選択されたと判定された場合（Ｙｅｓ）はステップＳ２０２に移行し、そうでない場合（Ｎｏ）は選択されるまで待機する。
ステップＳ２０２に移行した場合は、特定パターンモデル生成部１ｋにおいて、領域選択部１ｊにより選択された区分領域内の音響モデル対応低次元ベクトルに対応する高次元音響モデルに係る音声データを、データ制御部１ｄを介してデータ記憶部１ｂから読み出しステップＳ２０４に移行する。
【０１７６】
ステップＳ２０４では、特定パターンモデル生成部１ｋにおいて、上記読み出した音声データから特定音響モデルを生成してステップＳ２０６に移行する。
ステップＳ２０６では、特定音響モデル１ｋにおいて、上記生成した特定音響モデルを、データ制御部１ｄを介してデータ記憶部１ｂに記憶して処理を終了する。
更に、図１２に基づき、データ処理装置１における区分内容の変更処理の流れを説明する。図１２は、データ処理装置１における区分内容の変更処理を示すフローチャートである。
【０１７７】
図１２に示すように、まずステップＳ３００に移行し、区分内容変更部１ｉにおいて変更モードが選択されたか否かを判定し、選択されたと判定された場合（Ｙｅｓ）はステップＳ３０２に移行し、そうでない場合（Ｎｏ）は選択されるまで待機する。ここで、本実施形態においては、変更モードを選択することにより区分内容の変更処理が可能となる。
ステップＳ３０２に移行した場合は、区分内容変更部１ｉにおいて、変更内容が入力されたか否かを判定し、入力されたと判定された場合（Ｙｅｓ）はステップＳ３０４に移行し、そうでない場合（Ｎｏ）は入力されるまで待機する。
【０１７８】
ステップＳ３０４に移行した場合は、区分内容変更部１ｉにおいて、入力された変更内容に基づき区分内容を変更してステップＳ３０６に移行する。
ステップＳ３０６では、区分内容変更部１ｉにおいて、入力デバイスからの入力により変更処理が終了したと判定された場合（Ｙｅｓ）はステップＳ３０８に移行し、そうでない場合（Ｎｏ）はステップＳ３０２に移行する。
【０１７９】
ステップＳ３０８に移行した場合は、区分内容変更部１ｉにおいて、データ制御部１ｄを介して、変更された区分内容の情報をデータ記憶部１ｂに記憶してステップＳ３０２に移行する。ここで、本実施形態においては、入力デバイスから変更モードの終了を指示する入力があると、変更モード自体を終了する。
以上、データ分類部１ａによって、複数対象に係る所定データ（上記実施形態においては、複数話者の音声データ）を、特定条件に基づきグルー分けすることが可能である。
【０１８０】
また、パターンモデル生成部１ｃによって、グループ分けされた所定データ（上記実施形態においては、音声データ）から各グループ毎のパターンモデル（上記実施形態においては、高次元音響モデル）を生成することが可能である。
また、数学的距離算出部１ｅによって、複数のパターンモデル（上記実施形態においては、高次元音響モデル）における、各パターンモデル相互間の数学的距離を算出することが可能である。
【０１８１】
また、パターンモデル変換部１ｆによって、複数のパターンモデル（上記実施形態においては、高次元音響モデル）及びこれら相互間の数学的距離に基づき、複数のパターンモデル（上記実施形態においては、高次元音響モデル）をこれと同数のパターンモデル対応低次元ベクトル（上記実施形態においては、音響モデル対応低次元ベクトル）に変換することが可能である。
【０１８２】
また、パターンモデル表示部１ｇによって、複数のパターンモデル対応低次元ベクトル（上記実施形態においては、音響モデル対応低次元ベクトル）を、これと同次元の低次元空間（上記実施形態では２次元空間）上に座標点として表示することが可能である。こうして作成された図をパターン空間地図と呼ぶこととする。
また、領域区分部１ｈによって、最内円から外円方向に向かうほど、環状領域に含まれるパターンモデル対応低次元ベクトル（上記実施形態においては、音響モデル対応低次元ベクトル）が細かく区分されるように、低次元空間上の座標点の存在する領域を自動的に区分することが可能である。
【０１８３】
また、区分内容変更部１ｉによって、領域区分部１ｈによって自動的に区分された区分内容を入力情報に基づき変更することが可能である。
また、領域選択部１ｊによって、表示された区分領域のうち入力された情報に基づく区分領域を選択することが可能である。
また、特定パターンモデル生成部１ｋによって、領域選択部１ｉにより選択された区分領域内の複数のパターンモデル対応低次元ベクトル（上記実施形態においては、音響モデル対応低次元ベクトル）に対応するパターンモデル（上記実施形態においては、高次元音響モデル）に係るデータ（上記実施形態においては、音声データ）から、特定パターンモデル（上記実施形態においては、特定音響モデル）を生成することが可能である。
【０１８４】
［第１実施例］
更に、上記データ処理装置１による特定音響モデル生成の実施例を図面に基づき説明する。図１３及び図１４は、本発明の実施例を示す図である。図１３は、実施例における音響モデル対応低次元ベクトルの表示内容を示す図であり、図１４は、各区分領域毎に生成した特定音響モデル及び全領域に対する音響モデルの認識率を示す図である。
【０１８５】
本実施例においては、「通常（対象話者の普段の口調）」、「早口」、「大声」、「仮名強調（仮名一文字ずつ区切った喋り方）」、「小声」の５種類の発話様式を複数の話者に呈示して同一の日本語語彙を発声させた。この時、各話者が呈示された発話様式の通りに忠実に発声するようには強制しなかったため、必ずしも呈示された発話様式と実際の発話様式は一致していない。このような状況では、呈示した発話様式のような先見的な情報が完全に正しいという前提で呈示した発話様式のみに従って音響モデルを作成しても、最高の性能が得られる保証はない。そこで、最高の性能を得られるように、本発明を実施した例を以下に示す。
【０１８６】
まず、「通常」、「早口」、「大声」、「仮名強調」、「小声」の５種類の発話様式を複数の話者に呈示して同一の語彙を発声させた音声データをデータ記憶部１ｂに記憶した。
ここでは、呈示した発話様式と話者（名前等）の組み合わせを特定条件の一組とし、この一組の特定条件毎にデータ分類部１ａでグループ分けをした後、パターンモデル生成部１ｃにおいて各グループ毎に高次元音響モデルをＨＭＭにより生成することで、多数の高次元音響モデルを得た。
【０１８７】
ここで、本実施例において、音声単位としては、ｂｉｐｈｏｎｅを使用し、ＨＭＭの状態数は３で、各状態は１つの正規分布を有することとした。
更に、数学的距離算出部１ｅにおいて、各高次元音響モデル相互間の数学的距離を上記式（１）により算出した。ここで、正規分布間の数学的距離として、正規分布の標準偏差で正規化された平均ベクトルのユークリッド距離を使用した。また、語彙に含まれるｂｉｐｈｏｎｅの出現頻度ｗ（ｋ）も、上記式（１）による算出処理において使用した。
【０１８８】
更に、算出された数学的距離を用いて、パターンモデル変換部１ｆにおいて、Ｓａｍｍｏｎ法により高次元音響モデルを音響モデル対応低次元ベクトルに変換する処理を行い、第１図３に示すように、パターンモデル表示部１ｇにより２次元平面上で座標点により表示した。つまり、これら各点が、話者と発話様式の組み合わせを有する各高次元音響モデル相互間の距離関係を表している。
【０１８９】
更に、図１３に示すように、領域区分部１ｈによって、２次元空間上における座標点の存在する領域を、上記実施形態と同様に、第１〜第５の区分領域３０〜３４の５つの区分領域に区分した。
本実施例では、図１３中のＡ〜Ｄの４つの音響モデル対応低次元ベクトルの特定条件にそれぞれ対応した特定音響モデルを生成した。ここで、Ａ〜Ｄは第３の区分領域３２内にあるので、ここでは、領域選択部１ｊによって、第３の区分領域３２を選択させた。
【０１９０】
第３の区分領域３２が選択されると、特定パターンモデル生成部１ｋによって、第３の区分領域３２内の複数の音響モデル対応低次元ベクトルにそれぞれ対応する複数の高次元音響モデルに係る音声データから１つの領域音響モデルが生成される。
更に、比較のために、第１、第２、第４、第５の区分領域３０、３１、３３、３４についても、それぞれの領域内の複数の音響モデル対応低次元ベクトルにそれぞれ対応する複数の高次元音響モデルに係る音声データからそれぞれの領域音響モデルを生成した。
【０１９１】
更に、従来の音響モデルとの比較も行うために、領域内の全ての音響モデル対応低次元ベクトルにそれぞれ対応する高次元音響モデルにそれぞれ係る音声データから１つの領域音響モデルを生成した。
そして、これら作成した６つの領域音響モデルを用いた場合の上記Ａ〜Ｄの４つの特定音響モデルに対する全音声データの音声認識率を測定した結果が図１４である。ここで、語彙サイズは、１７６単語である。
【０１９２】
図１４の測定結果から以下のことが解る。
（１）第３の区分領域３２に属する４つの特定条件（Ａ、Ｂ、Ｃ、Ｄ）は、いずれも、自らが属する区分領域である第３の区分領域３２に対応する領域音響モデルが最も高い認識率を与える。次に、認識率が高いのは、全領域に対応する領域音響モデルである。
（２）全領域から作成された領域音響モデルを用いた場合、Ａ〜Ｄの４つの特定音響モデルに対する全音声データの認識率を比較すると、図１３の中心点とＡ〜Ｄの４つの各点との間のそれぞれのユークリッド距離と、認識率と、に線形の関係があることが分かる。すなわち、中心点からの距離が遠い程、認識率が低いことが分かる。
【０１９３】
上記実施例から、本発明の効果が以下のようにまとめられる。
（１）座標点の存在する領域をいくつかの区分領域に分割し、各区分領域毎の領域音響モデルを作成することにより、全領域に対応する全ての音声データから作成された音響モデルよりも高い認識率を得ることができる。
（２）中心点からの距離を利用すると、各特定条件の認識率を予測することができる。中心から遠い位置にある音響モデル対応低次元ベクトルの特定条件は認識性能が低い。逆に、中心に近い位置にある音響モデル対応低次元ベクトルの特定条件ほど認識性能が高い。
【０１９４】
［第２実施例］
更に、図１５及び図１６に基づいて、本発明を用いて発話様式の組み合わせ毎に作成した音響モデルを２次元射影表示した実施例について説明する。図１５は、発話様式を示す図であり、図１６は、図１５に示す発話様式の組み合わせ毎に作成した音響モデルを２次元射影表示した図である。
【０１９５】
本実施例においては、男性１４５名に、表１に示す発話様式の中から複数の発話様式を指定して、５２４０単語の中の１７６単語から成る複数の単語リストを発声して貰った。
音声データ収録時における発話様式としては、図１５に示すように、通常（普段の速度で単語リストを読め）、早口（通常より早口で単語リストを読め）、高い声（通常より高い声で単語リストを読め）、小声（近くの人に聞こえないように単語リストを読め）、大声（離れた人にも聞こえるように大きい声で単語リストを読め）、ロンバード（自動車雑音を聞きながら単語リストを読め）、仮名強調（読み仮名それぞれを強調するように単語リストを読め）の７種類が適用され、収録時には対象者に括弧内の指示を行った。
【０１９６】
まず、収録された全てのデータを利用して、男性用不特定話者音響モデルを作成した。次に、この音響モデルを初期モデルとして、連結学習により、話者と収録時に指示された発話様式の組み合わせ毎に音響モデル（以下、話者・発話様式音響モデルと呼ぶ）を作成した。こうして作成された話者・発話様式音響モデルを、Ｓａｍｍｏｎ法を用いて２次元射影化し、図１５に示すように、その座標点を表示した。ここで、上式（１）のｗ（ｋ）として、５２４０単語の音声単位の出現頻度を利用した。中心付近に表示されている「▲」は、初期モデルとして使用した男性用不特定話者音響モデルの座標点を表す。
【０１９７】
図１６から、以下のことが観察された。
１）同一の発話様式を指定したとしても、実際の発話様式は話者によって異なることが分かる。このことは、予め付与された発話様式名を鵜呑みにして、発話様式毎の不特定話者音響モデルを作成する場合のデメリットを示唆している。
２）発声速度および発声音量が対極の発話様式（例えば、仮名強調ｖｓ早口、ささやき声ｖｓ大声／ロンバード）が、原点対称の場所に位置している。
【０１９８】
また、図１６に示す座標点を上記同様に領域区分部１ｈによって同心円上の領域に分割し、更に、特定パターンモデル生成部１ｋによって各区分領域毎に音響モデルを再作成すると、全領域のデータから作成した不特定話者音響モデルと比較して、周辺部に位置する話者に関し、顕著な性能改善が得られることが分かった。
なお、上記第１の実施形態、第１及び第２実施例においては、人間の音声を例に取り説明してきたが、本願発明は人間の音声に対してのみ適用可能というわけではなく、対象データとして、人間の音声以外のデータを利用した場合でも同様の課題を解決し、同様の効果を有する。
【０１９９】
人間の音声以外のデータとしては、例えば、住宅内の生活雑音、工場騒音、交通騒音などの音響データや野鳥、昆虫、蛙、蝙蝠、動物などの野生生物の鳴声データ、画像データ、赤外線センサデータ、加速度センサデータ、方位角センサデータ、圧力センサデータ、圧電素子や振動計などの振動センサデータ及びその他の全てのセンサデータ、リチウムイオン２次電池や燃料電池などの電池の充電状況に関する物理的データ、心電図、筋電図、血圧や体重などの生体信号データ、遺伝子解析用のマイクロアレイデータ、気温、湿度、気圧などの気象データ、酸素濃度、窒素酸化物濃度などの環境データ、株価、物価などの経済動向データなどの時系列データ等がある。
【０２００】
［第３実施例］
以下では、図１７に基づき、上記データ処理装置１において、生活雑音、野鳥の鳴声、人間の音声のデータを用いてパターンモデルを生成し、これら生成したパターンモデルを２次元射影表示した実施例を示す。ここで、図１７は、生活雑音、野鳥の鳴声、人間の音声のデータを用いて作成したパターンモデルを２次元射影表示した一例を示す図である。
【０２０１】
本実施例においては、スリッパの音、雨戸を閉める音、ペンを板張りの床に落とす音などの住宅内の３３種の生活雑音、カラス、ヒヨドリ、キジバトなど４０種の野鳥の鳴声及び日本人の日本語の２５種の音素（母音５種、半母音２種、子音１８種）のスペクトルデータからＨＭＭによりパターンモデルを生成した。そして、当該生成されたパターンモデルを音響モデル変換部１ｆにおいて、２次元のパターンモデル対応低次元ベクトルに変換し、この変換結果を、図１７に示すように２次元空間上の座標点として表示した。
【０２０２】
図１７中、生活雑音のパターンモデルは▲で、野鳥の鳴声のパターンモデルは×で、日本人男性の日本語の音素のパターンモデルは■で、日本人女性の日本語の音素のパターンモデルは□でそれぞれ表した。
この表示結果から、生活雑音、野鳥の鳴声、人間の音声は、それぞれが、ほぼ３つの領域に分かれており、これにより、生活雑音か、野鳥の鳴声か、人間の音声かを識別することは容易であると推察される。
【０２０３】
つまり、音響データ、鳴声データ、人間の音声データといったように、様々な種類の音を識別可能かどうかを判断する上で、本願発明により得られる、パターンモデルの低次元（ここでは、２次元）空間上への表示結果は大変有用であると言える。
［第４実施例］
更に、図１８に基づき、上記データ処理装置１において、人間の口唇部の画像データを用いてパターンモデルを生成し、これら生成したパターンモデルを２次元射影表示した実施例を示す。ここで、図１８は、人間の口唇部の画像データを用いて作成したパターンモデルを２次元射影表示した一例を示す図である。
【０２０４】
本実施例においては、９名の男性の顔画像から抽出した口唇部の動画像データを、発話に伴う開閉の状況に従って、閉じている状況、閉じている状態から開いている状態に遷移している状況、開いている状況、開いている状態から閉じている状態に遷移している状況の４つの静止画像グループに分類し、それぞれについて２次元ケプストラムとその差分を特徴ベクトルとしてＨＭＭによりパターンモデルを生成した。そして、当該生成されたパターンモデルを音響モデル変換部１ｆにおいて、２次元のパターンモデル対応低次元ベクトルに変換し、この変換結果を、図１８に示すように２次元空間上の座標点として表示した。
【０２０５】
図１８中、閉じている状況の９個のパターンモデルは■で、閉じている状態から開いている状態に遷移している状況の９個のパターンモデルは▲で、開いている状況の９個のパターンモデルは□で、開いている状態から閉じている状態に遷移している状況の９個のパターンモデルは△でそれぞれ表した。
この表示結果から、閉じている状況、閉じている状態から開いている状態に遷移している状況、開いている状況、開いている状態から閉じている状態に遷移している状況の４つの静止画像グループが明確に分離されて固まりを形成していることから、口唇の４つの開閉状況を識別することは容易であると推察される。
【０２０６】
つまり、口唇画像の開閉の状況を示す画像データといったように、対象の様々な状態を示す画像を識別可能かどうかを判断する上で、本願発明により得られる、パターンモデルの低次元（ここでは、２次元）空間上への表示結果は大変有用であると言える。
［第５実施例］
更に、図１９に基づき、赤外線センサデータを用いてパターンモデルを生成し、これら生成したパターンモデルを２次元射影表示した実施例を示す。ここで、図１９は、赤外線センサの出力データを用いて作成したパターンモデルを２次元射影表示した一例を示す図である。
【０２０７】
本実施例においては、アナログ出力型の赤外線センサ（本実施例では、焦電センサ）を高さ２．４ｍの天井に設置し、その真下を人が３１４４回、犬が６３２回歩行した場合の赤外線センサの出力データをＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅ  Ｔｒａｎｓｆｏｒｍ）した結果から、ＨＭＭによりパターンモデルを生成した。そして、当該生成されたパターンモデルをパターンモデル変換部１ｆにおいて、２次元のパターンモデル対応低次元ベクトルに変換し、この変換結果を、図１９に示すように２次元空間上の座標点として表示した。
【０２０８】
図１９中、人のパターンモデルを×で、犬のパターンモデルを▲でそれぞれ表す。
この表示結果から、人と犬とはそれぞれ異なった固まりを形成することから、赤外線センサを用いた人か犬かの識別は容易であることが分かる。
つまり、人や犬などの行動に対する赤外線センサの出力データといったように、対象の状態（例えば、動作状態等）に対する赤外線センサの出力データから対象を識別可能かどうかを判断する上で、本願発明により得られる、パターンモデルの低次元（ここでは、２次元）空間上への表示結果は大変有用であると言える。
【０２０９】
［第６実施例］
更に、図２０に基づき、加速度センサの出力データを用いてパターンモデルを生成し、これら生成したパターンモデルを２次元射影表示した実施例を示す。ここで、図２０は、赤外線センサの出力データを用いて作成したパターンモデルを２次元射影表示した一例を示す図である。
【０２１０】
本実施例においては、男性１名に加速度センサをズボンのポケットに挿入して貰い、階段を降下した場合、階段を上昇した場合、廊下を直進歩行した場合の加速度センサの３軸（Ｘ軸、Ｙ軸、Ｚ軸）の時系列データをＦＦＴした結果から、ＨＭＭによりパターンモデルを生成した。生成したパターンモデルの数は、階段を降下した場合２９個、階段を上昇した場合２８個、廊下を直進歩行した場合２４個である。そして、当該生成されたパターンモデルをパターンモデル変換部１ｆにおいて、２次元のパターンモデル対応低次元ベクトルに変換し、この変換結果を、図２０に示すように２次元空間上の座標点として表示した。
【０２１１】
図２０中、階段を降下した場合のパターンモデルは■で、階段を降下した場合のパターンモデルは▲で、廊下を直進歩行した場合のパターンモデルは×でそれぞれ表した。
この表示結果から、通常に階段を降下した場合のパターンモデルは、座標点の表示領域上部の楕円で囲まれる範囲に固まっているが、表示領域下部の楕円で囲まれる範囲にも散見される。これは、階段を降下しているときに踊場に差し掛かり、３軸の加速度パターンに変化が生じ、廊下の直進歩行に近い歩行状態になったことを示唆している。
【０２１２】
つまり、人間の歩行パターンに対する赤外線センサの出力データといったように、対象の行動に対する加速度センサの出力データから対象の行動内容を識別可能かどうかを判断する上で、本願発明により得られる、パターンモデルの低次元（ここでは、２次元）空間上への表示結果は大変有用であると言える。
ここで、図１に示す、データ分類部１ａは、請求の範囲第１、４及び１２のいずれか１項に記載のデータ分類手段に対応し、パターンモデル生成部１ｃは、請求の範囲第１、１１及び１２のいずれか１項に記載のパターンモデル生成手段に対応し、数学的距離算出部１ｅは、請求の範囲第１、６及び１２のいずれか１項に記載の数学的距離算出手段に対応し、パターンモデル変換部１ｆは、請求の範囲第１項又は第７項記載のパターンモデル変換手段に対応し、パターンモデル表示部１ｇは、請求の範囲第１項又は第８項記載のパターンモデル対応低次元ベクトル表示手段に対応し、領域区分部１ｈは、請求の範囲第８〜１１のいずれか１項に記載の領域区分手段に対応し、区分内容変更部１ｉは、請求の範囲第１０項記載の区分内容変更手段に対応し、領域選択部１ｊは、請求の範囲第１１項記載の領域選択手段に対応し、特定パターンモデル生成部１ｋは、請求の範囲第１１項記載の特定パターンモデル生成手段に対応する。
【０２１３】
なお、上記第１の実施形態においては、パターンモデル変換部１ｆによる変換後の音響モデル対応低次元ベクトルを２次元としたが、これに限らず、１次元や３次元に変換するようにしても良い。
また、上記実施形態においては、領域区分部１ｈによる領域の区分処理において、各区分領域内の音響モデル対応低次元ベクトルが他の区分領域と重複しないように区分されているが、これに限らず、各区分領域が他の区分領域の音響モデル対応低次元ベクトルを重複して含むような区分内容で区分しても良い。
【０２１４】
更に、上記第１の実施形態において、各区分領域毎に区分領域内の音響モデル対応低次元ベクトルに対応する高次元音響モデルのみを、同様に本発明を適用して、新たな音響モデル対応低次元ベクトルへと変換して、新たな低次元空間上に再表示し、更に、細かい領域に区分して、領域音響モデルを生成することにより、より高い認識性能を得ることが可能であることはいうまでもない。
［第２の実施形態］
更に、本発明の第２の実施形態を図面に基づき説明する。図２１〜図３９は、本発明に係るデータ処理装置の第２の実施形態を示す図である。
【０２１５】
まず、本発明に係るデータ処理装置の構成を図２１に基づき説明する。図２１は、本発明に係るデータ処理装置２１の構成を示すブロック図である。なお、上記第１の実施形態におけるデータ処理装置１と重複する機能部は同じ符号を付し、機能が同じものについてはその説明を省略する。
データ処理装置２１は、データ分類部１ａと、データ記憶部１ｂと、パターンモデル生成部１ｃと、データ制御部１ｄと、数学的距離算出部１ｅ’と、パターンモデル変換部１ｆと、パターンモデル表示部１ｇと、領域区分部１ｈと、区分内容変更部１ｉと、領域選択部１ｊと、特定パターンモデル生成部１ｋと、領域パターンモデル生成部２１ａと、データ取得部２１ｂと、領域パターンモデル探索部２１ｃと、を含んだ構成となっている。
【０２１６】
数学的距離算出部１ｅ’は、パターンモデル生成部１ｃにおいて生成された複数のパターンモデルにおける、各パターンモデル相互間の数学的距離を算出するものである。本実施形態においては、高次元音響モデルにおける、各高次元音響モデル相互間の数学的距離を算出する。なお、上記第１の実施形態における数学的距離算出部１ｅと異なる点は、数学的距離の算出における上式（１）における音声単位ｋの出現頻度ｗ（ｋ）に、パターンモデル生成部１ｃにおいて生成された音響モデルに対して認識性能が所定の閾値より低い音声単位の出現頻度を用いていることである。第１実施形態においては、単純な出現頻度（例えば、音声データ中の音素「ａ」の出現頻度）をｗ（ｋ）として用いている。
【０２１７】
領域パターンモデル生成部２１ａは、領域区分部１ｈにおいて自動区分された、各区分領域毎のパターンモデル対応低次元ベクトルに対応したパターンモデルの生成に係るデータに基づき、各区分領域毎のパターンモデルである領域パターンモデルを生成する機能を有したものである。本実施形態においては、領域区分部１ｈにおいて自動区分された、各区分領域毎の音響モデル対応低次元ベクトルに対応した高次元音響モデルの生成に係る音声データに基づき、各区分領域毎の高次元音響モデルである領域音響モデルを生成する。
【０２１８】
データ取得部２１ｂは、パターンモデルの生成対象に係る所定データを取得する機能を有したものであり、これにより、新規対象（未知の対象）に係る所定データを取得することが可能である。本実施形態においては、マイク等の話者の発声した音声（アナログデータ）を取得する手段と、Ａ／Ｄ変換器等の当該アナログデータである音声をデジタルデータに変換する手段と、を備えている。
【０２１９】
領域パターンモデル探索部２１ｃは、データ取得部２１ｂによって取得された新規対象に係る所定データに基づき、当該所定データに対する各区分領域に対応した領域パターンモデルの尤度を算出し、当該算出した尤度に基づき、新規対象の所定データをパターン認識するのに適した領域パターンモデルを探索する機能を有したものである。本実施形態においては、データ取得部２１ｂによって取得された新規話者の音声データに対する各区分領域に対応した領域音響モデルの尤度を算出し、当該算出した尤度に基づき、新規話者の音声データをパターン認識するのに適した領域音響モデルを探索する。
【０２２０】
更に、図２２〜図２６に基づき、データ処理装置２１の具体的な動作を説明する。
図２２は、データ処理装置１とデータ処理装置２１との領域区分方法の違いを示す図である。また、図２３は、高次元音響モデルを２次元座標表示した際の、認識率の高い話者と認識率の低い話者との分布を示す図である。また、図２４は、各区分領域の構造を示す図である。また、図２５は、領域パターンモデルの第１の探索方法を示す図であり、図２６は、領域パターンモデルの第２の探索方法を示す図である。
【０２２１】
まず、データ分類部１ａによって、データ記憶部１ｂに記憶された複数話者の音声データを、上記した、話者の種類、発話語彙、発話様式及び発話環境の４つの特定条件に基づき、グループ分けする。例えば、話者の名前、単語、早口、室内で１グループ、話者の名前、単語、大声、室内で１グループ、話者の名前、単語、早口、屋外で１グループといったように、４つの特定条件を全て含む組み合わせでグループ分けする。ここで、音声データには、グループ分けに関する情報が付加されることになる。
【０２２２】
次に、パターンモデル生成部１ｃによって、上記グループ分けされた音声データを用いて、各グループ毎に高次元音響モデルを生成する。音響モデルは、例えばＨＭＭ等の公知の手法を用いて生成される。生成された高次元音響モデルは、生成時の音声データに対応付けてデータ記憶部１ｂに記憶される。
更に、数学的距離算出部１ｅ’によって、上記生成された各高次元音響モデル相互間の数学的距離を算出する。算出にあたっては、例えば、上記式（１）を用いる。
【０２２３】
このとき、上記式（１）における音声単位ｋに対する出現頻度ｗ（ｋ）として、パターンモデル生成部１ｃによって生成された高次元音響モデルとデータ記憶部１ｂに記憶された複数話者の音声データとの尤度を算出して、尤度（認識性能）が所定の閾値より低い音声単位の出現頻度を用いた。
一般に、音響的に話者の遠近を距離で定義する場合、その遠近関係は音素により異なる。音素毎に距離を求める場合は問題ないが、全ての音素を考慮した話者間の距離を定義する場合、なんらかの重み付けが必要となる。重みには認識性能に寄与するものを用いることが重要である。上記第１の実施形態において、重みに音声単位（音素等）の出現頻度を用いているが、これは、出現頻度の高い音声単位が認識の際に重要な音声単位であると仮定しているため、例えば、出現頻度が「０」の音素は認識に必要でないため、距離計算の際にも必要でないとの判断によるものである。
【０２２４】
本実施形態においては、上記したように、認識性能が所定の閾値より低い音声単位の出現頻度を用いているが、これは、例えば、出現頻度が高い音声単位でも、どの話者が話しても高確率で認識する音声単位（音素等）であれば特に考慮する必要はなく、よって距離計算においても不必要であると判断できることと、認識性能の低い音声単位を距離計算で考慮に入れることで、誤認識の傾向と音響的特徴の両方を考慮し、認識性能の低い話者に、より焦点を当てたクラスタリングを行うことを目的としていることによる。
【０２２５】
また、数学的距離を算出する際に用いる音声単位としては、音声単位全体、音響的に同種の音声単位の集合、または特定の音声単位を目的に応じて選択すればよい。
更に、パターンモデル変換部１ｆによって、上記算出された数学的距離を利用して、複数の高次元音響モデルを、これと同数の音響モデル対応低次元ベクトルに変換する。ここで、相互間の数学的距離が小さい２つの高次元音響モデルは互いに近くに、相互間の数学的距離が大きい２つの高次元音響モデルは互いに遠くに位置するように、全ての高次元音響モデルを相互間の距離関係を保持したまま音響モデル対応低次元ベクトル（２次元又は３次元）に変換する。本実施形態において、パターンモデル変換部１ｆは、高次元音響モデルを２次元の音響モデル対応低次元ベクトルに変換することとする。ここで、距離関係を保持したままで高次元音響モデルを２次元の音響モデル対応低次元ベクトルに変換する変換方法としては、上記第１の実施形態と同様に、当業者には公知であるＳａｍｍｏｎ法を用いる。
【０２２６】
つまり、上記第１の実施形態と同様に、パターンモデル変換部１ｆは、上記Ｓａｍｍｏｎ法を用いて高次元音響モデルを２次元の音響モデル対応低次元ベクトルに変換する。従って、この場合の変換処理は、高次元音響モデルに低次元空間座標を付与して、複数の高次元音響モデルを低次元空間に射影することになる。
上記第１の実施形態と同様に、変換された音響モデル対応低次元ベクトルと同次元の低次元空間において、低次元空間座標の数学的距離（例えば、ユークリッド距離）が近い音響モデル対応低次元ベクトルに対応した高次元音響モデルは相互に類似しており、対応する特定条件も類似していることを意味していると考えられる。また、高次元音響モデルが中央に位置する程、対応する特定条件はより平均的であると考えられる。
【０２２７】
ここで、本実施形態においては、この座標情報が音響モデル対応低次元ベクトルの要素の値となる。また、付与される座標情報は、対応する高次元音響モデルに対応付けてデータ記憶部１ｂに記憶される。
更に、パターンモデル表示部１ｇによって、上記第１の実施形態と同様に、複数の音響モデル対応低次元ベクトルの要素の値（座標情報）に基づき、当該複数の音響モデル対応低次元ベクトルを、図２に示すように、これらの重心を中心（原点）とした２次元空間上の座標点として表示する。
【０２２８】
更に、領域区分部１ｈによって、２次元空間内の座標点の存在する領域を、複数の区分領域に区分する。本実施形態において、領域の区分方法は、上記第１の実施形態におけるデータ処理装置１の方法（図２２（ａ）参照）と異なり、図２２（ｂ）に示すように、最内円２２０から外円方向に向かうほど、内円と外円の両外周間に形成される各環状の領域が細かく区分されるようになっている。つまり、最内円２２０の中心を原点Ｏとし、横軸をｘ、縦軸をｙとした２次元空間上の座標点Ｐ（ｘ，ｙ）に対して、この座標点Ｐを、半径ｒ及びｘ軸とＰとが成す角度θとで表される、所謂極座標系で捉えた場合に、半径ｒの値が大きい座標点の位置する領域ほど細かく区分されることになる。
【０２２９】
このように、座標点の分布における周辺部ほどより細かく区分することの有効性を、図２３に基づき説明する。図２３に示す実施例は、評価話者を含む複数話者に対して、当該複数話者から取得した全音声データを用いて生成した不特定話者音響モデルを用いた音声認識の結果に基づくものであり、２次元座標表示された高次元音響モデルにおいて、認識性能が８０％以下となる話者の座標点形状を「×」、それ以外を「○」としたものである。
【０２３０】
図２３に示すように、認識性能の低い話者（図中「×」）が、座標点の分布の周辺部に近づくほど顕著に存在する。従って、周辺部に存在する話者に対して音響モデルの認識性能を向上させるためには、より精度の高い（特化した）音響モデルを生成する必要がある。つまり、認識性能の低い話者の存在する周辺部に近づくほど領域を細かく区分することによって、各区分領域における音響モデルの性質のばらつきを抑え、これら区分された領域に含まれる音声データから認識性能の低い話者用に不特定話者音響モデルを生成することにより、認識性能を向上させる。
【０２３１】
また、領域区分部１ｈは、領域を区分する際に、図２４に示すように、実際に示される各区分領域の区分線に対して、図２４中の点線で示すように、隣接する区分領域の一部を含むように幅を持たせている。これにより、領域音響モデルの生成時などにおいて問題となる、各区分領域の境界に位置するような座標点に対応するようになっている。
上記したように領域が区分されると、パターンモデル表示部１ｇは、領域区分部１ｈによる区分内容に基づき、図２２（ｂ）に示すように、表示座標点に合わせて区分内容を表示する。この区分処理により、領域内の複数の音響モデル対応低次元ベクトルが、各区分領域内の音響モデル対応低次元ベクトルにグループ分けされることになる。
【０２３２】
更に、マウスやキーボード等の入力デバイスからの入力情報に基づき、領域選択部１ｊによって上記区分された領域の中から特定の区分領域が選択されると、特定パターンモデル生成部１ｋによって、前記選択された区分領域内の音響モデル対応低次元ベクトルに対応した高次元音響モデルの生成時に用いられた音声データに基づき、領域音響モデルを生成することが可能である。ここで、領域音響モデルは、上記高次元音響モデルと同様に、例えばＨＭＭ等の公知の手法を用いて生成される。生成された領域音響モデルは、データ記憶部１ｂに記憶される。
【０２３３】
また、領域選択部１ｊによって上記区分された領域の中から特定の区分領域が選択されると、パターンモデル変換部１ｆによって、前記選択された区分領域内の音響モデル対応低次元ベクトルに対応した複数の高次元音響モデルを、再度Ｓａｍｍｏｎ法を用いて、２次元の音響モデル対応低次元ベクトルに変換することが可能である。このようにして、再度の変換を行うことで座標点の分布態様が変わり、これを再度領域区分部１ｈによって区分することにより、より特化した不特定話者音響モデルの生成が可能となる。
【０２３４】
なお、上記した選択領域に対する領域音響モデルの生成処理及び再度の音響モデル対応低次元ベクトルへの変換処理は、本装置の利用者がいずれかを任意に選択できるものとする。
更に、本実施形態においては、区分内容変更部１ｉによって、領域区分部１ｈにより自動的に区分された区分内容を変更することが可能である。例えば、変更内容としては、上記第１の実施形態と同様に、マウスやキーボード等の入力デバイスからの入力情報に基づき、領域区分部１ｈによる区分内容をそのままに、区分線全体を回転させたり、内円３５を１つ増やし、新たな区分領域３０ａ〜３０ｄを形成したり、領域の区分数を変更したりといったことが可能である。
【０２３５】
更に、図２５及び図２６に基づき、領域パターンモデル生成部２１ａ、データ取得部２１ｂ及び領域パターンモデル探索部２１ｃにより、新規話者（評価話者に同じ）の音声データを音声認識するのに適切な領域パターンモデル（本実施形態においては、領域音響モデル）を探索する処理を説明する。
本実施形態において、領域パターンモデルの探索処理を行うか否かのモード設定は、データ処理装置２１の利用者により行うことが可能となっている。領域パターンモデルの探索処理を行うモードに設定されている場合は、上記領域区分部１ｈによる領域の区分処理の後に、領域パターンモデル生成部２１ａによって、各区分領域内に含まれる音響モデル対応低次元ベクトルに対応した音声データを用いて、各区分領域毎の領域音響モデルを生成する。そして、データ取得部２１ｂによって、新規話者の音声データを取得すると、領域パターンモデル探索部２１ｃによって、当該取得した音声データと各区分領域の領域音響モデルとに基づき、新規話者の音声データを音声認識するのに適切な領域音響モデルの探索処理を行う。ここで、本実施形態において、探索方法は、第１の探索方法及び第２の探索方法の２種類があり、データ処理装置２１の利用者により、どちらの探索方法を用いるのかを任意に設定することが可能である（両方を用いるような設定も可能）。
【０２３６】
まず、図２５に基づき、第１の探索方法を用いた場合の探索処理について説明する。図２５の（１）に示すように、領域パターンモデル探索部２１ｃは、まず再内円２５０の領域に対応した領域音響モデルと新規話者の音声データとの尤度を算出し、当該算出した尤度を領域音響モデルに対応させてＲＡＭに保存する。
次に、図２５の（２）に示すように、最内円２５０とその１つ外側の外円とにより形成された４つに区分された環状の領域に対して、これら４つの区分領域にそれぞれ対応する領域音響モデルと新規話者の音声データとの尤度をそれぞれ算出し、当該算出した４つの尤度をそれぞれ比較する。そして、この比較により、算出された尤度のうち最も高い尤度を、その領域音響モデルに対応させてＲＡＭに保存すると共に、この領域音響モデルに対応した区分領域に対し外円方向に向かって隣接する区分領域を次の探索方向として決定する。
【０２３７】
つまり、本実施形態においては、図２５の（３）に示す４つに区分された環状領域の右上の扇形の区分領域に対応した領域音響モデルの尤度が最も高いとして、この区分領域に対し外円方向に隣接する２つの区分領域を次の探索方向として決定し、これら２つの区分領域にそれぞれ対応する領域音響モデルと新規話者の音声データとの尤度を算出する。そして、上記（２）と同様に、これら算出した２つの尤度を比較し、算出された尤度のうち高い方の尤度を、その領域音響モデルに対応させてＲＡＭに保存すると共に、この領域音響モデルに対応した区分領域に対し外円方向に向かって隣接する区分領域を次の探索方向として決定する。
【０２３８】
つまり、本実施形態においては、図２５の（４）に示す上記右上の扇形の２つの区分領域の左側の区分領域に対応した領域音響モデルの尤度の方が高いとして、この区分領域に対し外円方向に隣接する２つの区分領域を次の探索方向として決定し、これら２つの区分領域にそれぞれ対応する領域音響モデルと新規話者の音声データとの尤度を算出する。そして、上記（３）と同様に、これら算出した２つの尤度を比較し、算出された尤度のうち高い方の尤度を、その領域音響モデルに対応させてＲＡＭに保存すると共に、この領域音響モデルに対応した区分領域に対し外円方向に向かって隣接する区分領域を次の探索方向として決定する。
【０２３９】
つまり、本実施形態においては、図２５の（５）に示す、上記（４）で探索方向として決定された２つの区分領域の右側の扇形に対応した領域音響モデルの尤度の方が高いとして、この区分領域に対し外円方向に隣接する区分領域を次の探索方向として決定し、これら２つの区分領域にそれぞれ対応する領域音響モデルと新規話者の音声データとの尤度を算出する。そして、これら算出した２つの尤度を比較し、算出された尤度のうち高い方の尤度を、その領域音響モデルに対応させてＲＡＭに保存する。その結果、本実施形態においては、図２５の（６）に示す区分領域の尤度の方が高いことになる。また、この時点で、探索は最外周の環状領域に到達しているので探索処理を終了する。
【０２４０】
最終的に、領域パターンモデル探索部２１ｃは、上記ＲＡＭに保存した尤度をそれぞれ比較し、最も尤度の高い領域音響モデルを、新規話者の音声データを音声認識するのに適切な音響モデルとして選択する。
つまり、最内円から外円方向に向かって尤度計算を行う際に、各環状の領域における最大尤度の区分領域に隣接した区分領域を探索方向として決定すると共に、各環状の領域における該当区分領域の尤度計算結果をそれぞれ比較し、当該比較結果に基づき最大尤度を保存する。これらの処理を、最外周の環状領域に到達するまで行い、最終的に、保存された尤度中の最大尤度の領域音響モデルを新規話者に適した音響モデルとして選択する。
【０２４１】
なお、第１の探索方法においては、最外周の環状領域に到達するまで順番に尤度の算出を行ってから、最終的に探索対象となった各区分領域中の最大尤度の中から最も高い尤度を選択することで、新規話者に適した領域音響モデルを選択するようにしているが、これに限らず、尤度算出に該当する区分領域の尤度と、そのひとつ内側の領域の既に算出された尤度とを比較し、該当区分領域のいずれかの尤度が、そのひとつ内側の領域の既に算出された最大尤度より大きい場合は、上記第１の探索方法と同様に外円方向に向かって探索を続行し、一方、ひとつ内側の領域の尤度の方が大きかった場合は、そこで探索を打ち切り、当該ひとつ内側の最大尤度を新規話者に適した領域音響モデルとして選択するようにしても良い。
【０２４２】
次に、図２６に基づき、第２の探索方法を用いた場合の探索処理について説明する。図２６の（１）に示すように、領域パターンモデル探索部２１ｃは、まず再内円２５０の領域に対応した領域音響モデルと新規話者の音声データとの尤度を算出し、当該算出した尤度を領域音響モデルに対応させてＲＡＭに保存する。次に、図２６の（２）に示すように、最内円２５０とその１つ外側の外円とにより形成された４つに区分された環状の領域に対して、これら４つの区分領域にそれぞれ対応する領域音響モデルと新規話者の音声データとの尤度をそれぞれ算出し、当該算出した４つの尤度をそれぞれ比較する。そして、この比較により、算出された尤度のうち最も高い尤度を、その領域音響モデルに対応させてＲＡＭに保存すると共に、この領域音響モデルに対応した区分領域に対し外円方向に向かって隣接する区分領域を次の探索方向として決定する。
【０２４３】
つまり、本実施形態においては、図２６の（３）に示す４つに区分された環状領域の右上及び右下の２つの扇形の区分領域に対応した領域音響モデルの尤度が１番目及び２番目に高いとして、この区分領域に対し外円方向に隣接する４つの区分領域を次の探索方向として決定し、これら４つの区分領域にそれぞれ対応する領域音響モデルと新規話者の音声データとの尤度を算出する。そして、上記（２）と同様に、これら算出した４つの尤度を比較し、算出された尤度のうち最も高い尤度及びその次に高い尤度を、それぞれの領域音響モデルに対応させてＲＡＭに保存すると共に、この領域音響モデルに対応した区分領域に対し外円方向に向かって隣接する区分領域を次の探索方向として決定する。
【０２４４】
つまり、本実施形態においては、図２６の（４）に示す上記右上の扇形の２つの区分領域の右側の区分領域に対応した領域音響モデルの尤度と、上記右下の扇形の２つの区分領域の左側の区軍領域に対応した領域音響モデルの尤度とが１番目及び２番目に高いとして、これらの区分領域に対し外円方向に隣接する４つの区分領域を次の探索方向として決定し、これら４つの区分領域にそれぞれ対応する領域音響モデルと新規話者の音声データとの尤度を算出する。そして、上記（３）と同様に、これら算出した４つの尤度を比較し、算出された尤度のうち最も高い尤度及びその次に高い尤度を、それぞれの領域音響モデルに対応させてＲＡＭに保存すると共に、この領域音響モデルに対応した区分領域に対し外円方向に向かって隣接する区分領域を次の探索方向として決定する。
【０２４５】
つまり、本実施形態においては、図２６の（５）に示すように、上記（４）で探索方向として決定された４つの区分領域から成る２つの扇形領域の下側の扇形に対応した２つの領域音響モデルの尤度が１番目及び２番目に高いとして、これらの区分領域に対し外円方向に隣接する４つの区分領域を次の探索方向として決定し、これら４つの区分領域にそれぞれ対応する領域音響モデルと新規話者の音声データとの尤度を算出する。そして、これら算出した４つの尤度を比較し、算出された尤度のうち最も高い尤度及びその次に高い尤度を、それぞれの領域音響モデルに対応させてＲＡＭに保存する。その結果、本実施形態においては、図２６の（６）に示す２つの区分領域の尤度が１番目及び２番目に高いことになる。また、この時点で、探索は最外周の環状領域に到達しているので探索処理を終了する。
【０２４６】
最終的に、領域パターンモデル探索部２１ｃは、上記ＲＡＭに保存した尤度をそれぞれ比較し、最も尤度の高い領域音響モデルを、新規話者の音声データを音声認識するのに適切な音響モデルとして選択する。
つまり、最内円から外円方向に向かって尤度計算を行う際に、各環状の領域における最大尤度及びその次に大きい尤度の２つの区分領域に隣接した区分領域を探索方向として決定すると共に、各環状の領域における該当区分領域の尤度計算結果をそれぞれ比較し、当該比較結果に基づき最大尤度及びその次に大きい尤度を保存する。これらの処理を、最外周の環状領域に到達するまで行い、最終的に、保存された尤度中の最大尤度の領域音響モデルを新規話者に適した音響モデルとして選択する。
【０２４７】
なお、上記第２の探索方法においては、上位２つの尤度に対応する区分領域に対し外円方向に隣接した区分領域を次の探索方向として決定し、且つ、各区分領域毎の上位２つの尤度を保存するようにしているが、これに限らず、上位ｎ個（ｎは整数且つ該当環状領域の分割個数未満）に対応する区分領域に対し外円方向に隣接した区分領域を次の探索方向として決定し、且つ、各区分領域毎の上位ｎ個の尤度を保存するようにしても良い。
【０２４８】
また、上記第１の探索方法及び第２の探索方法により選択された音響モデルは、新規話者の有する携帯電話やＰＤＡ等の情報処理端末にケーブル等を用いて伝送できるようにしても良い。
また、上記第１の探索方法及び第２の探索方法による領域音響モデルの探索は、認識性能が所定の閾値より低い音声単位の出現頻度をｗ（ｋ）として用いた場合の、２次元射影表示された探索空間に対して行っているが、これに限らず、認識性能が所定の閾値より低い音声単位の出現頻度と、単純な出現頻度とを用いて、別々に探索空間を生成し、それぞれの探索空間に対して上記第１の探索方法又は第２の探索方法による領域音響モデルの探索を行い、最終的に探索された各探索空間の領域音響モデルの尤度を比較し、より高い尤度を与えた探索空間の領域パターンモデルを選択するようにしても良い。
【０２４９】
更に、図２７に基づき、データ処理装置２１における領域パターンモデル探索部２１ｃの第１の探索方法による探索処理の流れを説明する。図２７は、領域パターンモデル探索部２１ｃの第１の探索方法による探索処理を示すフローチャートである。
図２７に示すように、まずステップＳ４００に移行し、データ処理装置２１の利用者の入力デバイスの操作により、第１の探索方法が選択されるとステップＳ４０２に移行する。
【０２５０】
ステップＳ４０２では、データ取得部２１ｂが新規データを取得したか否かを判定し、取得したと判定された場合（Ｙｅｓ）はステップＳ４０４に移行し、そうでない場合（Ｎｏ）は取得するまで判定処理を続行する。ここで、新規データは、新規話者等の新規対象に係るデータを示す。例えば、新規話者の音声データ等が該当する。
ステップＳ４０４に移行した場合は、上記取得した新規データをデータ記憶部１ｂに記憶してステップＳ４０６に移行する。
【０２５１】
ステップＳ４０６では、データ処理装置２１の利用者の入力デバイスの操作により、データ制御部１ｄから探索開始指令を受け付けたか否かを判定し、受け付けたと判定された場合（Ｙｅｓ）はステップＳ４０８に移行し、そうでない場合（Ｎｏ）は受け付けるまで判定処理を続行する。
ステップＳ４０８に移行した場合は、データ記憶部１ｂから上記保存した新規データを読み出し、当該読み出した新規データと、領域区分部１ｈにより区分された領域のうち、最内円の領域に対応した領域パターンモデルとの尤度を算出してステップＳ４１０に移行する。
【０２５２】
ステップＳ４１０では、ステップＳ４０８で算出した尤度をＲＡＭに保存してステップＳ４１２に移行する。
ステップＳ４１２では、最内円に隣接する環状領域に含まれる区分領域に対応した領域パターンモデルと、上記読み出した新規データとの尤度を算出してステップＳ４１４に移行する。
【０２５３】
ステップＳ４１４では、算出した区分領域の尤度をそれぞれ比較してステップＳ４１６に移行する。
ステップＳ４１６では、ステップＳ４１４の比較結果から、最大の尤度をその領域パターンモデルに対応させてＲＡＭに保存してステップＳ４１８に移行する。
ステップＳ４１８では、尤度の算出が最外周の環状領域に到達したか否かを判定し、最外周に到達したと判定された場合（Ｙｅｓ）はステップＳ４２０に移行し、そうでない場合（Ｎｏ）はステップＳ４２４に移行する。
【０２５４】
ステップＳ４２０に移行した場合は、ＲＡＭに保存された全ての尤度をそれぞれ比較してステップＳ４２２に移行する。
ステップＳ４２２では、ステップＳ４２０の比較結果から、最大尤度に対応した領域パターンモデルを選択して処理を終了する。
一方、ステップＳ４１８において、最外周に到達してなくステップＳ４２４に移行した場合は、ステップＳ４１４の比較結果から、最大尤度の領域に対し外円方向に隣接した区分領域の尤度を算出してステップＳ４１４に移行する。
【０２５５】
更に、図２８に基づき、データ処理装置２１における領域パターンモデル探索部２１ｃの第２の探索方法による探索処理の流れを説明する。図２８は、領域パターンモデル探索部２１ｃの第２の探索方法による探索処理を示すフローチャートである。
図２８に示すように、まずステップＳ５００に移行し、データ処理装置２１の利用者の入力デバイスの操作により、第２の探索方法が選択されるとステップＳ５０２に移行する。
【０２５６】
ステップＳ５０２では、データ取得部２１ｂが新規データを取得したか否かを判定し、取得したと判定された場合（Ｙｅｓ）はステップＳ５０４に移行し、そうでない場合（Ｎｏ）は取得するまで判定処理を続行する。ここで、新規データは、新規話者等の新規対象に係るデータを示す。例えば、新規話者の音声データ等が該当する。
ステップＳ５０４に移行した場合は、上記取得した新規データをデータ記憶部１ｂに記憶してステップＳ５０６に移行する。
【０２５７】
ステップＳ５０６では、データ処理装置２１の利用者の入力デバイスの操作により、データ制御部１ｄから探索開始指令を受け付けたか否かを判定し、受け付けたと判定された場合（Ｙｅｓ）はステップＳ５０８に移行し、そうでない場合（Ｎｏ）は受け付けるまで判定処理を続行する。
ステップＳ５０８に移行した場合は、データ記憶部１ｂから上記保存した新規データを読み出し、当該読み出した新規データと、領域区分部１ｈにより区分された領域のうち、最内円の領域に対応した領域パターンモデルとの尤度を算出してステップＳ５１０に移行する。
【０２５８】
ステップＳ５１０では、ステップＳ５０８で算出した尤度をＲＡＭに保存してステップＳ４１２に移行する。
ステップＳ５１２では、最内円に隣接する環状領域に含まれる区分領域に対応した領域パターンモデルと、上記読み出した新規データとの尤度を算出してステップＳ５１４に移行する。
【０２５９】
ステップＳ５１４では、算出した区分領域の尤度をそれぞれ比較してステップＳ５１６に移行する。
ステップＳ５１６では、ステップＳ５１４の比較結果から、尤度の大きい方から順に上位ｎ個の尤度をそれぞれの領域パターンモデルに対応させてＲＡＭに保存してステップＳ５１８に移行する。
【０２６０】
ステップＳ５１８では、尤度の算出が最外周の環状領域に到達したか否かを判定し、最外周に到達したと判定された場合（Ｙｅｓ）はステップＳ５２０に移行し、そうでない場合（Ｎｏ）はステップＳ５２４に移行する。
ステップＳ５２０に移行した場合は、ＲＡＭに保存された全ての尤度をそれぞれ比較してステップＳ５２２に移行する。
【０２６１】
ステップＳ５２２では、ステップＳ５２０の比較結果から、最大尤度に対応した領域パターンモデルを選択して処理を終了する。
一方、ステップＳ５１８において、最外周に到達してなくステップＳ５２４に移行した場合は、ステップＳ５１４の比較結果から、上位ｎ個の尤度に対応した領域に対し外円方向に隣接した区分領域の尤度を算出してステップＳ５１４に移行する。
【０２６２】
以上、データ分類部１ａによって、複数対象に係る所定データ（上記実施形態においては、複数話者の音声データ）を、特定条件に基づきグルー分けすることが可能である。
また、パターンモデル生成部１ｃによって、グループ分けされた所定データ（上記実施形態においては、音声データ）から各グループ毎のパターンモデル（上記実施形態においては、高次元音響モデル）を生成することが可能である。
【０２６３】
また、数学的距離算出部１ｅ’によって、上記式（１）におけるｗ（ｋ）に認識性能が所定の閾値より低いパターン単位（上記実施形態においては、音声単位）の出現頻度を用いて、複数のパターンモデル（上記実施形態においては、高次元音響モデル）における、各パターンモデル相互間の数学的距離を算出することが可能である。
また、パターンモデル変換部１ｆによって、複数のパターンモデル（上記実施形態においては、高次元音響モデル）及びこれら相互間の数学的距離に基づき、複数のパターンモデル（上記実施形態においては、高次元音響モデル）をこれと同数のパターンモデル対応低次元ベクトル（上記実施形態においては、音響モデル対応低次元ベクトル）に変換することが可能である。
【０２６４】
また、パターンモデル表示部１ｇによって、複数のパターンモデル対応低次元ベクトル（上記実施形態においては、音響モデル対応低次元ベクトル）を、これと同次元の低次元空間（上記実施形態では２次元空間）上に座標点として表示することが可能である。
また、領域区分部１ｈによって、最内円から外円方向に向かうほど、環状領域に含まれるパターンモデル対応低次元ベクトル（上記実施形態においては、音響モデル対応低次元ベクトル）が細かく区分されるように、低次元空間上の座標点の存在する領域を自動的に区分することが可能である。
【０２６５】
また、区分内容変更部１ｉによって、領域区分部１ｈによって自動的に区分された区分内容を入力情報に基づき変更することが可能である。
また、領域選択部１ｊによって、表示された区分領域のうち入力された情報に基づく区分領域を選択することが可能である。
また、特定パターンモデル生成部１ｋによって、領域選択部１ｉにより選択された区分領域内の複数のパターンモデル対応低次元ベクトル（上記実施形態においては、音響モデル対応低次元ベクトル）に対応するパターンモデル（上記実施形態においては、高次元音響モデル）に係るデータ（上記実施形態においては、音声データ）から、特定パターンモデル（上記実施形態においては、特定音響モデル）を生成することが可能である。
【０２６６】
また、領域パターンモデル生成部２１ａによって、領域区分部１ｈによって区分された各区分領域に対応した領域パターンモデル（上記実施形態においては、領域音響モデル）を生成することが可能である。
また、データ取得部２１ｂによって、新規対象に係る所定データ（上記実施形態においては、新規話者の音声データ）を取得することが可能である。
【０２６７】
また、領域パターンモデル探索部２１ｃによって、第１の探索方法又は第２の探索方法を用いて、領域区分部１ｈによって区分された各区分領域に対応した領域パターンモデル（上記実施形態においては、領域音響モデル）の中から、データ取得部２１ｂによって取得した所定データ（上記実施形態においては、音声データ）をパターン認識するのに適した領域パターンモデルを探索することが可能である。
【０２６８】
［第７実施例］
図２９〜図３１に基づき、上記第２の実施形態におけるデータ処理装置２１により発話様式毎に複数の高次元音響モデルを２次元射影表示すると共に複数の区分領域に区分し、当該区分領域毎に生成した複数の領域音響モデル（以下、音響モデルライブラリと称す）に対して、上記第１の探索方法を用いて選択した領域音響モデルと、従来法のＭＬＬＲ（Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ  Ｌｉｎｅａｒ  Ｒｅｇｒｅｓｓｉｏｎ）により得られる音響モデルとの性能比較を行った実施例を説明する。
【０２６９】
ここで、図２９（ａ）は、音響モデルの生成に用いる発話様式の種類を示す図であり、（ｂ）は、本発明に係るデータ処理装置２１によって２次元平面上に表示された音響モデル対応低次元ベクトルを示す図である。また、図３０は、本発明に係るデータ処理装置２１の探索方法を用いて選択した音響モデルと、従来法の話者適応法ＭＬＬＲを用いて選択した音響モデルとに対する各話者と認識性能との関係を示す図である。また、図３１は、音響モデル探索時の発声数と、当該発声数により選択した音響モデルの認識性能との関係を示す図である。
【０２７０】
まず、性能比較には、５２４０単語の音素バランス単語を１７５単語からなる複数の単語リストに分割し、男性話者１４５名が、複数の発話様式により発声した音声データを用いた。のべ話者数は５６１名であり、５３３名を学習データ話者、２８名を評価データ話者としている。評価話者の選定に関する詳細は後述する。音声データには展示会で収録された背景雑音がＳＮ比２０ｄＢで重畳されている。サンプリング周波数は１１．０２５ｋＨｚである。発声された発話様式の概要は、図２９（ａ）に示すように、通常（普段の速度で発声）、早口（通常より早口で発声）、高い声（通常より高い声で発声）、小声（近くの人に聞こえないように発声）、大声（離れた人にも聞こえるように大きい声で発声）、ロンバード（自動車雑音を聞きながら発声）、仮名強調（仮名それぞれを強調するように発声）の７通りとなっている。音響モデルは、単一正規分布によるｄｉｐｈｏｎｅをＨＭＭによりモデル化したものである。
【０２７１】
図２９（ｂ）は、学習データ話者である男性５３３名の特定話者音響モデルを、データ処理装置２１により、２次元平面上に座標点表示した音響空間地図である。このとき、式（１）における音声単位ｋの出現頻度ｗ（ｋ）には、学習データ内でのｄｉｐｈｏｎｅの出現頻度を用いた。ここで、本実施例では、データ処理装置２１において、上記式（１）の出現頻度ｗ（ｋ）として、単純なｄｉｐｈｏｎｅの出現頻度と、認識性能が所定の閾値より低いｄｉｐｈｏｎｅの出現頻度の２種類を用い、領域音響モデルの探索においては、これら２種類の出現頻度から生成されたそれぞれの音響空間地図において探索した結果を比較して、より高い尤度を与えた領域音響モデルを選択する。
【０２７２】
また、各座標点のシンボルは図２９（ａ）に従う。
第２９（ｂ）図から、発話様式毎に座標点が集まっていることが分かる。これは発話様式の違いにより音響的特徴が異なることを示していると考えられる。分布の中心には「通常」の座標点が集まっていることから、データ処理装置２１によって２次元平面に写像された場合、より平均的な特徴を有する発話様式が中心に現れると考えられる。点線の矢印は発話様式が異なる同一話者の音響空間上での違いを示した例である。音響解析を施され、更に統計処理された場合、発話様式の変化による音響的特徴の差異が話者性のそれに比べ、より大きいことを示している。
【０２７３】
評価話者は、図２９（ｂ）において分布の外縁、内縁に存在する話者を発話様式毎にそれぞれ２名ずつ選択している（計２８名）。評価にはＨＴＫ（Ｔｈｅ  Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ  Ｔｏｏｌｋｉｔ：「ｈｔｔｐ：／／ｈｔｋ．ｅｎｇ．ｃａｍ．ａｃ．ｕｋ／」参照（２００４／７／１２に存在確認））を用い、各評価話者に対して、収録語彙である１７５単語の並列ネットワークを用いる。評価に用いる尺度として、単語正解精度（以下単に認識性能）に加え、認識性能Ｘ％以下の評価話者の割合（以下、Ｐｏｐｕｌａｔｉｏｎと称す）を用いる。これは組み込み機器メーカ側が音声認識ベンダに求める性能保証の指標の１つである。
【０２７４】
これらの評価データに対し、音響モデルライブラリの評価を行う。音響モデルライブラリに対し、少量の音声サンプルをもとに上記第１の探索方法により選択された音響モデルをカスタム音響モデルと呼ぶ。まず、このカスタム音響モデルとベースラインの性能として不特定話者音響モデルとの性能比較、及びカスタム音響モデルと従来法として話者適応手法であるＭＬＬＲにより得られる話者適応音響モデルとの性能比較を行う。次に、モデル選択時に必要となる音声サンプル数による性能の比較を行い、十分な性能改善に必要な音声サンプル数について検討を行う。ここで、モデル選択時、もしくはＭＬＬＲによる話者適応を施すときに用いる音声サンプルには、実用上ではタスク内の単語を用いることが一般的と考え、各評価話者の評価データ内からランダムに選択したものを用いる。
【０２７５】
図３０に各評価話者に対する不特定話者音響モデル、話者適応音響モデル（適応発声数１０（図３０中、ＭＬＬＲ＃Ｎ１０），３０（図３０中、ＭＬＬＲ＃Ｎ３０））及びカスタム音響モデル（モデル選択用発声数５（図３０中、Ｃｕｓｔｏｍ＃Ｎ５））の認識性能の比較を示す。ここで、図３０において、横軸は各話者（ｓｐｅａｋｅｒ）に対応する番号であり、縦軸は各話者に対応する各音響モデルの認識率である。また、話者適応音響モデルはそれぞれ最も高い性能を示す学習回数により適応化が行われているものとする。ここで、適応発声数及びモデル選択用発声数は、モデル選択の際に必要な各話者の音声サンプル数である。
【０２７６】
図３０に示すように、カスタム音響モデル（第３０中の「■」）が、不特定話者音響モデル（図３０中の「×」）を、特に、ｓｐｅａｋｅｒ１〜１１については大幅に上回る性能を示し、適応発声数３０のＭＬＬＲによる話者適応音響モデル（第３０中の「◇」）と同等以上の性能を示していることが分かる。従って、探索に必要な音声サンプル数が従来法より少なくて済む（つまり、演算量が従来法より少なくて済む）ので、各話者に適切なカスタム音響モデルを、従来法より高速に探索することが可能なことを示す。また、不特定話者音響モデルやＭＬＬＲによる話者適応音響モデルにおいて認識性能の悪い話者（図３０中のｓｐｅａｋｅｒ１〜４）に対して、カスタム音響モデルは、全て認識率８０％以上という高性能を示していることから、音響モデル間の距離算出において、上記式（１）の出現頻度ｗ（ｋ）に、単純なｄｉｐｈｏｎｅの出現頻度と、認識性能が所定の閾値より低いｄｉｐｈｏｎｅの出現頻度との２種類を用い、これら２種類の出現頻度による各音響モデル相互間の距離を用いて生成された音響空間地図に対して選択的な領域音響モデルの探索を行った点も有効であったと考えられる。
【０２７７】
更に、図３１に、本発明に係るデータ処理装置２１によって探索するカスタム音響モデルについて、探索時の音声サンプル数によるカスタム音響モデルの認識性能の比較として、発声数と平均認識性能との関係（図３１中の「■」）と、発声数と認識率８０％以下のＰｏｐｕｌａｔｉｏｎとの関係（図３１中の「●」）を示す。ここで、図３１中のＮ＝０の結果は不特定話者音響モデル（Ｂａｓｅ＃Ｌｉｎｅ）によるものである。また、図３１において、横軸は発声数であり、縦第１軸（左側）は認識率（話者平均）であり、縦第２軸（右側）は認識率が８０％以下の話者の割合である。
【０２７８】
図３１より、発声数と平均認識性能との関係（横軸と縦第１軸）から、わずか３単語、もしくは５単語で、認識率の大幅な改善が見られ、また、発声数と認識率８０％以下のＰｏｐｕｌａｔｉｏｎとの関係（横軸と縦第２軸）から、わずか３単語で、認識率８０％以下のＰｏｐｕｌａｔｉｏｎの割合が０となった。このことから、本発明に係るデータ処理装置２１は、３単語もしくは５単語という少ない発声数でも、各話者に対して十分な認識性能を有した音響モデルを探索することが可能である。
【０２７９】
［第８実施例］
更に、図３２に基づき、本発明に係るデータ処理装置２１において、上記第１の探索方法を用いて新規話者に適切な領域音響モデルの探索を行った場合と、全ての領域音響モデルとの尤度計算を行って新規話者に適切な領域音響モデルの探索を行った場合との認識性能の比較を行った実施例を説明する。発話様式や評価者などについては上記第７実施例と同様である。
【０２８０】
ここで、図３２は、第１の探索方法を用いて探索した音響モデルと、全領域音響モデルとの尤度計算により探索した音響モデルとについて、各話者と認識率との関係を示す図である。
図３２において、探索には上記第７実施例と同様に各話者の音声サンプルの中からランダムに５つを選択したものを用いた。図３２に示すように、全ての領域音響モデルと音声サンプルとの尤度計算を行い、これら算出した尤度の比較により最大尤度の領域音響モデルを選択する方法（図３２中の「▲」）と、上記第１の探索方法を用いた方法（図３２中の「●」）との認識率は、一部互いに優劣があるものの、全体としてほぼ同等であると見て取れる。従って、上記第１の探索方法のように、全ての領域音響モデルとの尤度計算を行わなくても各話者に適切な領域音響モデルの探索が可能であることが解る。このことから、領域音響モデルの探索に上記第１の探索方法及び第２の探索方法を用いることは有効であり、これにより話者に適切な領域音響モデルの探索を高速に行うことが可能である。
【０２８１】
［第９実施例］
更に、図３３及び図３４に基づき、上記式（１）の出現頻度ｗ（ｋ）の違いによる認識性能の比較を行った実施例を説明する。発話様式や評価者などについては上記第７実施例と同様である。
ここで、図３３は、重みに２種類の出現頻度を用いた場合と、重みに通常の出現頻度を用いた場合と、重みに認識性能が所定の閾値より低い音声単位の出現頻度を用いた場合とについて、話者と認識率との関係を示した図である。また、図３４（ａ）は、距離の重みに単純なｄｉｐｈｏｎｅの出現頻度を用いて生成した音響空間地図を示す図であり、（ｂ）は、距離の重みに認識性能が所定の閾値より低いｄｉｐｈｏｎｅの出現頻度を用いて生成した音響空間地図を示す図である。
【０２８２】
図３３中の、Ｂａｓｅ＃Ｌｉｎｅ（「×」）は、全領域音響モデルから生成した不特定話者音響モデルを用いた場合、Ｃｕｓｔｏｍ＃Ｎ５（「■」）は、上記第７実施例と同様に、上記式（１）の出現頻度ｗ（ｋ）に、単純なｄｉｐｈｏｎｅの出現頻度と、認識性能が最低のｄｉｐｈｏｎｅの出現頻度の２種類を用いて生成された音響空間地図に対して選択的な領域音響モデルの探索を行った場合であり、Ｆｒｅｑｕｅｎｃｙ（「○」）は、単純なｄｉｐｈｏｎｅの出現頻度を用いて生成された音響空間地図に対して領域音響モデルの探索を行った場合であり、Ｂａｄｐｈｏｎｅｍｅ  Ｆｒｅｑｕｅｎｃｙ（「◇」）は、認識性能が最低のｄｉｐｈｏｎｅの出現頻度を用いて生成された音響空間地図に対して領域音響モデルの探索を行った場合である。
【０２８３】
図３３を見ると解るように、Ｆｒｅｑｕｅｎｃｙにおいてはｓｐｅａｋｅｒ１に対して認識率が７５％以下と認識性能が悪いが、Ｂａｄｐｈｏｎｅｍｅ  Ｆｒｅｑｕｅｎｃｙにおいてはｓｐｅａｋｅｒ１に対して認識率８０％以上と認識性能が良い。一方、Ｆｒｅｑｕｅｎｃｙにおいてはｓｐｅａｋｅｒ２に対して認識率８０％以上と認識性能が良いが、Ｂａｄｐｈｏｎｅｍｅ  Ｆｒｅｑｕｅｎｃｙにおいてはｓｐｅａｋｅｒ２に対して認識率が７０％以下と認識性能が悪い。このように、数は少ないとは言え、重みに用いる出現頻度の違いで話者によっては認識性能に大きな違いが発生することが解る。従って、Ｆｒｅｑｕｅｎｃｙ及びＢａｄｐｈｏｎｅｍｅ  Ｆｒｅｑｕｅｎｃｙの両者から尤度の高い領域音響モデルを選択するＣｕｓｔｏｍ＃Ｎ５は、Ｆｒｅｑｕｅｎｃｙ及びＢａｄｐｈｏｎｅｍｅ  Ｆｒｅｑｕｅｎｃｙのそれぞれの短所（苦手な話者）を互いが補うことになり、より幅広く様々な話者に対応できると言える。
【０２８４】
更に、図３４（ａ）中には、丸で囲まれた５つの座標点があるが、これら５つの座標点はそれぞれが近傍に位置していることが解る。一方、図３４（ｂ）中においては、丸で囲まれた座標点は図３４（ａ）中の座標点に比べ異なる位置に散らばっていることが解る。ここで、図３４（ａ）において丸で囲まれた５つの座標点の音響モデルと、図３４（ｂ）において、同じく丸で囲まれた５つの座標点の音響モデルは同じものであり、このことから、用いる出現頻度によって、音響モデルの分布が大きく変わるものがあると言える。すでに述べたように、話者の遠近を距離で定義する場合、その遠近関係は音声単位（音素等）により異なるが、この問題は出現頻度を用いた場合でも完全に解消されるものではなく、ある一つの出現頻度を用いて得られた距離に従う遠近関係は、必ずしも全ての音声単位において成り立つわけではない。中には、認識時に重要な音声単位でありながら、遠近関係が正しく得られていない場合もある。よって、本実施例の２種類の出現頻度を用いて距離を計算しているＣｕｓｔｏｍ＃Ｎ５のように、複数の出現頻度を用いて各音響モデル間の距離を計算し、各出現頻度ごとに複数の音響空間地図を生成することで、領域音響モデルの探索の際には、それぞれの音響空間地図で互いの短所を補完し合い上記問題を緩和する。
【０２８５】
上記第２の実施の形態において、データ分類部１ａは、請求の範囲第１６、１８及び２８項のいずれか１項に記載のデータ分類手段に対応し、パターンモデル生成部１ｃは、請求の範囲第１６、１８、２４、３３及び３７項のいずれか１項に記載のパターンモデル生成手段に対応し、数学的距離算出部１ｅ’は、請求の範囲第１６、１９及び３０項のいずれか１項に記載の数学的距離算出手段に対応し、パターンモデル変換部１ｆは、請求の範囲第１６、１８、３１項のいずれか１項に記載のパターンモデル変換手段に対応し、パターンモデル表示部１ｇは、請求の範囲第１６、１８及び３４項のいずれか１項に記載のパターンモデル対応低次元ベクトル表示手段に対応し、領域区分部１ｈは、請求の範囲第１８、２１〜２３、３２、３４及び３７項のいずれか１項に記載の領域区分手段に対応し、領域パターンモデル生成部２１ａは、請求の範囲第１８、２４及び３７項のいずれか１項に記載の領域パターンモデル生成手段に対応し、データ取得部２１ｂは、請求の範囲第１８又は３７項に記載の所定データ取得手段に対応し、領域パターンモデル探索部２１ｃは、請求の範囲第１８、２４〜２６、３３、３４及び３７項のいずれか１項に記載の領域パターンモデル探索手段に対応し、区分内容変更部１ｉは、請求の範囲第３２項記載の区分内容変更手段に対応し、パターンモデル適応部１ｋは、請求の範囲第３３項記載のパターンモデル適応手段に対応する。
【０２８６】
なお、上記第２の実施の形態においては、人間の音声を例に取り説明してきたが、本願発明は人間の音声に対してのみ適用可能というわけではなく、対象データとして、人間の音声以外のデータを利用した場合でも同様の課題を解決し、同様の効果を有する。
また、上記第２の実施形態においては、パターンモデル変換部１ｆによる変換後の音響モデル対応低次元ベクトルを２次元としたが、これに限らず、１次元や３次元に変換するようにしても良い。
【０２８７】
［第３の実施形態］
以下、本発明の第３の実施形態を図面に基づき説明する。図３５〜図４２は、本発明に係るデータ処理システムの第３の実施形態を示す図である。
まず、本発明に係るデータ処理システムの構成を図３５に基づき説明する。図３５は、本発明に係るデータ処理システムの構成を示すブロック図である。
【０２８８】
図３５に示されるように、データ処理システム５は、情報処理端末３５０Ａ、３５０Ｂ、３５０Ｃ、・・・と、データ処理装置３７と、ネットワーク６と、を含んだ構成となっている。
情報処理端末３５０Ａ〜３５０Ｃは、システム利用者Ａ〜Ｃの管理下にある端末であり、各システム利用者の音声データを取得し、これをネットワーク６を介してデータ処理装置３７に送信する機能と、データ処理装置３７から取得した情報を表示する機能と、を備えている。本実施形態においては、携帯電話、ＰＤＡ、ＰＣ、ＷＳ等の情報処理装置に、上記した機能を実現するためのハードウェア及びソフトウェアを備えたものである。なお、詳細な構成は後述する。
【０２８９】
データ処理装置３７は、情報処理端末３５０Ａ〜３５０Ｃからネットワーク６を介して取得した音声データに基づき領域区分された音響空間地図から取得した音声データの話者に適切な領域音響モデルを探索する機能と、複数話者の音響モデルから構成された音響空間地図内における前記取得した音声データの位置情報及び前記探索結果を表示する機能と、探索結果の音響モデルをシステム利用者に送信する機能とを備えている。なお、詳細な構成は後述する。
【０２９０】
ネットワーク６は、ＬＡＮやＷＡＮなどの複数の情報処理機器を相互にデータ通信可能に接続するネットワークであり、本実施形態においては、インターネットを適用する。
更に、図３６に基づき情報処理端末３５０Ａ〜３５０Ｃの詳細な構成を説明する。図３６は、情報処理端末３５０の詳細な構成を示す図である。ここで、本実施形態において、情報処理端末３５０Ａ〜３５０Ｃ（他にも多数の端末が存在して良い）は同様の構成となっており、これらをまとめて情報処理端末３５０として説明を行う。また、以降、情報処理端末３５０Ａ〜３５０Ｃに共通した事項を説明する場合には、これらを総称した情報処理端末３５０に対して説明を行う。また、図３５に示すように、情報処理端末は、３５０Ａ〜３５０Ｃの３台に限らず、他にも別のシステム利用者の管理下にある情報処理端末が接続された構成としても良い。
【０２９１】
図３６に示されるように、情報処理端末３５０は、音声データ取得部３５０ａと、第１のデータ制御部３５０ｂと、第１のデータ通信部３５０ｃと、情報表示部３５０ｄと、操作部３５０ｅと、を含んだ構成となっている。
音声データ取得部３５０ａは、マイク等の対象話者の発声した音声（アナログデータ）を取得する手段と、Ａ／Ｄ変換器等の当該アナログデータである音声をデジタルデータに変換する手段と、を備えたものである。
【０２９２】
第１のデータ制御部３５０ｂは、音声データ取得部３５０ａにおいて取得された音声データを第１のデータ通信部３５０ｃを介してデータ処理装置３７に送信する処理を制御する機能、データ処理装置３７から取得した情報を情報表示部３５０ｄによって表示する処理を制御する機能等の、各部の処理を制御する機能を有したものである。
第１のデータ通信部３５０ｃは、第１のデータ制御部３５０ｂの制御により、ネットワーク６を介して、データ処理装置３７との間で各種データ通信を行う機能を有したものである。
【０２９３】
情報表示部３５０ｄは、第１のデータ制御部３５０ｂの制御により、データ処理装置３７から取得した各種情報を表示するなど、情報の表示処理を行う機能を有したものである。
操作部３５０ｅは、システム利用者が、特定話者を指定したり、音声データ処理の制御プログラムに対する設定を行ったりするための情報入力を行うためのものである。
【０２９４】
ここで、本実施形態において、情報処理端末３５０は、図示しないプロセッサと、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、専用のプログラムの記憶されたＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、を備えており、プロセッサにより専用のプログラムを実行することにより上記各部の制御を行う。
図３７に基づき、データ処理装置３７の詳細な構成を説明する。図３７は、データ処理装置３７の詳細構成を示すブロック図である。なお、上記第２の実施形態におけるデータ処理装置２１と重複する機能部は同じ符号を付し、機能が同じものについてはその説明を省略する。
【０２９５】
データ処理装置３７は、データ分類部１ａと、データ記憶部１ｂと、パターンモデル生成部１ｃと、データ制御部１ｄ’と、数学的距離算出部１ｅ’と、パターンモデル変換部１ｆと、パターンモデル表示部１ｇと、領域区分部１ｈと、区分内容変更部１ｉと、領域選択部１ｊと、特定パターンモデル生成部１ｋと、領域パターンモデル生成部２１ａと、第２のデータ通信部３７ａと、領域パターンモデル探索部２１ｃと、を含んだ構成となっている。
【０２９６】
つまり、データ処理装置２１におけるデータ取得部２１ｂに代えて、第２のデータ通信部３７ａが加わったことになる。
データ制御部１ｄ’は、上記第２の実施の形態におけるデータ制御部１ｄの機能に加え、情報処理端末３５０からのシステム利用者の音声データに基づき、当該音声データが、複数話者の音声データから予め生成された音響空間地図のどの領域に属しているかを算出し、且つ、該当する領域の価値を算出し、これらの算出結果及び算出結果に対するコメントのデータを情報処理端末３５０に送信する処理を制御する。更に、新たに取得したシステム利用者の音声データに基づき、当該システム利用者の現在用いている音響モデルの性能を評価し、当該評価結果とそれに対するコメントのデータを情報処理端末３５０に送信する処理を制御する。
【０２９７】
第２のデータ通信部３７ａは、第２のデータ制御部１ｄ’の制御により、ネットワーク６を介して、情報処理端末３５０との間で各種データ通信を行う機能を有したものである。
以下、図３８及び図３９に基づき、データ処理システム５のより具体的な動作を説明する。ここで、図３８は、システム利用者に適した音響モデルの配信を行う際の表示情報の一例を示す図であり、図３９は、システム利用者の使用している音響モデルの性能を評価し、新たな音響モデルを配信する際の表示情報の一例を示す図である。
【０２９８】
まず、データ処理装置３７は、上記第２の実施の形態と同様の手順で、複数話者の音声データから高次元音響モデルを生成し、これを音響モデル対応低次元ベクトルに変換して２次元平面上に座標点表示する。更に、音響モデル対応低次元ベクトルが座標点表示された音響空間を複数の領域に区分し、各区分領域の音響モデル対応低次元ベクトルに対応する音声データから、各区分領域毎の領域音響モデルを生成する。領域音響モデルが生成されると、情報処理端末３５０からのシステム利用者に適した音響モデルの配信依頼及び音響モデルの評価依頼を待ち受ける。
【０２９９】
一方、システム利用者は、自分の音声を認識するのに適した音響モデルを取得するために、情報処理端末３５０の操作部３５０ｅを操作して第１のデータ制御部３５０ｂに指示を与えて音声データの取得プログラムを起動し、まず音声データ取得部３５０ａにより自分の音声データを取得させる。その後、操作部３５０ｅの操作により第１のデータ制御部３５０ｂに指示を与え、取得させた音声データと音響モデルの配信依頼情報及び評価依頼情報とを組にしてデータ処理装置３７に送信させる。
【０３００】
データ処理装置３７は、情報処理端末３５０から音声データ、配信依頼情報及び評価依頼情報を受信すると、上記第２の実施の形態における第１の探索方法により、当該取得した音声データを音声認識するのに適した領域音響モデルの探索を行う。また、取得した音声データからシステム利用者の音声データがどの発話様式に属するか等も解る。このようにして、システム利用者の音声データに対して得られた情報は、予め用意されたコメントデータと共に表示用情報として、音声データの送信元の情報処理端末３５０に送信される。ここで、本実施の形態において、データ処理装置３７は、過去にシステム利用者に配信した音響モデルの履歴を有しており、この履歴から、今回の音声データに対する過去に配信した音響モデルの性能を評価し、今回新たに探索された音響モデルとの性能比較を行う。これは、データ処理装置３７に蓄積された音声データが新規話者等の音声データの追加等により日々更新され、この更新に伴い音響空間地図も更新されるために行われる。この性能比較により、新たな音響空間地図から探索される音響モデルが過去の音響モデルの認識性能を上回っているか否か等を判断することができ、より認識性能の高い音響モデルの獲得が可能となる。従って、本実施の形態において、評価結果の情報も表示用情報として情報処理端末３５０に送信される。また、配信依頼情報には、システム利用者を識別するための識別情報が含まれている。
【０３０１】
情報処理端末３５０は、データ処理装置３７からの表示用情報を受信すると、第１のデータ制御部３５０ｂの制御により、情報表示部３５０ｄは受信した表示用情報に基づいた情報を表示する。表示内容としては、例えば、図３８に示すように、発話様式毎の音響空間と、システム利用者の音声データの属する音響空間を上記第２の実施の形態の手法で領域区分した結果、これら音響空間及び区分領域におけるシステム利用者の音声データの相対位置、発話様式毎の大きな区分における音響モデルの価格算出式、領域区分された各環状領域（ここでは、ＢＡＮＤと称す）毎の音響モデルの価格算出式、システム利用者に適した音響モデルの説明文、購入するか否かの決定、又は、システム利用者に好きな音響モデルを選択させるためのメニュー、音響モデルの選択数及び累計金額の情報等がある。
【０３０２】
システム利用者は、図３８に示される説明文を読んで、現在使用している音響モデルよりも、今回新たに探索された音響モデルの方が認識性能が高くなることを知り、探索された各モデルの値段を見て購入するか否か、又は、自分で新たな音響モデルを選択するか否かを判断し、操作部３５０ｅの操作により希望のメニュー選択して実行する。音響モデルの購入をする（「はい」）を選択して実行した場合は、その情報がデータ処理装置３７に送信され、当該情報受信したデータ処理装置３７は、選択された音響モデルを情報処理端末３５０に配信する。一方、「自分で購入する音響モデルを選ぶ」が選択実行された場合は、発話様式毎の音響空間と、システム利用者の音声データの属する音響空間を上記第２の実施の形態の手法で領域区分した結果に対してカーソルを合わせて希望の音響モデルを選択する。これにより選択された音響モデルの情報がデータ処理装置３７に送信され、当該情報受信したデータ処理装置３７は、選択された音響モデルを情報処理端末３５０に配信する。
【０３０３】
更に、データ処理システム５を、システム利用者の現在使用している音響モデルの評価及びその入れ替えに利用した場合の別の形態を説明する。
システム利用者は、自分の使用している音響モデルを評価するために、情報処理端末３５０の操作部３５０ｅを操作して第１のデータ制御部３５０ｂに指示を与えて音声データの取得プログラムを起動し、まず音声データ取得部３５０ａにより自分の音声データを取得させる。その後、操作部３５０ｅの操作により第１のデータ制御部３５０ｂに指示を与え、取得させた音声データと音響モデルの評価依頼情報とを組にしてデータ処理装置３７に送信させる。このとき、評価依頼情報には、システム利用者の識別情報が含まれている。
【０３０４】
データ処理装置３７は、情報処理端末３５０から音声データ及び評価依頼情報を受信すると、上記第２の実施の形態における第１の探索方法により、当該取得した音声データを音声認識するのに適した領域音響モデルの探索を行う。また、取得した音声データからシステム利用者の音声データがどの発話様式に属するか等も解る。そして、評価依頼情報に含まれる識別情報から、過去に配信した音響モデルの情報を取得し、この音響モデルに対する現在の認識率を算出すると共に、上記探索された音響モデルに対する取得した音声データの認識率を算出して、これら算出結果に基づくコメントを生成する。これらシステム利用者の音声データに対して得られた情報は、予め用意されたコメントデータと共に表示用情報として、音声データの送信元の情報処理端末３５０に送信される。
【０３０５】
情報処理端末３５０は、データ処理装置３７からの表示用情報を受信すると、第１のデータ制御部３５０ｂの制御により、情報表示部３５０ｄは受信した表示用情報に基づいた情報を表示する。表示内容としては、例えば、図３９に示すように、発話様式毎の音響空間と、システム利用者の音声データの属する音響空間を上記第２の実施の形態の手法で領域区分した結果、これら音響空間及び区分領域におけるシステム利用者の音声データの相対位置、システム利用者の使用している音響モデルの評価内容文、現在の音響モデルを入れ替えるか否かの決定、又は、システム利用者に好きな音響モデルを選択させるためのメニュー、音響モデルの選択数の情報等がある。
【０３０６】
システム利用者は、図３９に示される評価内容文を読んで、現在使用している音響モデルよりも、今回新たに探索された音響モデルの方が認識性能が高くなることを知り、探索された音響モデルに入れ替えるか否か、又は、自分で新たな音響モデルを選択するか否かを判断し、操作部３５０ｅの操作により希望のメニュー選択して実行する。音響モデルを入れ替える（「はい」）を選択して実行した場合は、その情報がデータ処理装置３７に送信され、当該情報受信したデータ処理装置３７は、選択された音響モデルを情報処理端末３５０に配信する。一方、「自分で入れ替える音響モデルを選ぶ」が選択実行された場合は、発話様式毎の音響空間と、システム利用者の音声データの属する音響空間を上記第２の実施の形態の手法で領域区分した結果に対してカーソルを合わせて希望の音響モデルを選択する。これにより選択された音響モデルの情報がデータ処理装置３７に送信され、当該情報受信したデータ処理装置３７は、選択された音響モデルを情報処理端末３５０に配信する。音響モデルの性能は、例えば、対象話者の、発声の仕方、発声する単語の種類、発声する時期、発声する環境、体調等によって変化するため、体調が悪かったり、発声する環境が急に変わったときなどに、現在の音響モデルでは十分な認識性能が得られないことがある。このようなときに、現在使用している音響モデルを評価し、その評価結果に基づいて新たな音響モデルに入れ替えることで認識性能を向上させることが可能である。
【０３０７】
更に、図４０に基づき、情報処理端末３５０におけるデータ送信処理の流れを説明する。図４０は、情報処理端末３５０におけるデータ送信処理を示すフローチャートである。
図４０に示すように、まずステップＳ６００に移行し、第１のデータ制御部３５０ｂにおいて、音声取得モードが起動しているか否かを判定し、起動していると判定された場合（Ｙｅｓ）はステップＳ６０２に移行し、そうでない場合（Ｎｏ）は起動されるまで待機する。
【０３０８】
ステップＳ６０２に移行した場合は、第１のデータ制御部３５０ｂによって、音声データ取得部３５０ａを介して音声データを取得したか否かを判定し、取得したと判定された場合（Ｙｅｓ）はステップＳ６０４に移行し、そうでない場合（Ｎｏ）は取得するまで待機する。
ステップＳ６０４に移行した場合は、第１のデータ制御部３５０ｂによって、取得した音声データ（アナログデータ）をデジタルデータに変換してステップＳ６０６に移行する。
【０３０９】
ステップＳ６０６では、第１のデータ制御部３５０ｂにおいて、システム利用者の操作部３５０ｅの操作により、音響モデルの購入が指定されたか否かを判定し、指定されたと判定された場合（Ｙｅｓ）はステップＳ６０８に移行し、そうでない場合（Ｎｏ）はステップＳ６１０に移行する。
ステップＳ６０８に移行した場合は、第１のデータ制御部３５０ｂにおいて、音声データのデジタルデータと、識別情報を含む配信依頼情報と、評価依頼情報とを組にして、第１のデータ通信部３５０ｃを介してデータ処理装置３７に送信して処理を終了する。
【０３１０】
一方、ステップＳ６１０に移行した場合は、システム利用者の操作部３５０ｅの操作により、評価依頼が指定されたか否かを判定し、指定されたと判定された場合（Ｙｅｓ）はステップＳ６１２に移行し、そうでない場合（Ｎｏ）はステップＳ６１４に移行する。
ステップＳ６１２に移行した場合は、第１のデータ制御部３５０ｂにおいて、音声データのデジタルデータと、識別情報を含む評価依頼情報とを組にして、第１のデータ通信部３５０ｃを介してデータ処理装置３７に送信して処理を終了する。
【０３１１】
一方、ステップＳ６１４に移行した場合は、第１のデータ制御部３５０ｂにおいて、システム利用者の操作部３５０ｅの操作により、処理終了が指定されたか否かを判定し、指定されたと判定された場合（Ｙｅｓ）は処理を終了し、そうでない場合（Ｎｏ）はステップＳ６０６に移行する。
更に、図４１に基づき、データ処理装置３７の領域音響モデル生成後の動作処理の流れを説明する。図４１は、データ処理装置３７の動作処理を示すフローチャートである。
【０３１２】
図４１に示すように、まずステップＳ７００に移行し、第２のデータ制御部１ｄ’において、情報処理端末３５０からの情報を受信したか否かを判定し、受信したと判定された場合（Ｙｅｓ）はステップＳ７０２に移行し、そうでない場合（Ｎｏ）は受信するまで待機する。
ステップＳ７０２に移行した場合は、第２のデータ制御部１ｄ’において、受信した情報が配信依頼情報及び評価依頼情報の両方を含んでいるか否かを判定し、含んでいると判定された場合（Ｙｅｓ）はステップＳ７０４に移行し、そうでない場合（Ｎｏ）はステップＳ７１０に移行する。
【０３１３】
ステップＳ７０４に移行した場合は、第２のデータ制御部１ｄ’の制御により、領域音響モデルの探索及び音響モデルの評価等の上記した音声データ処理を行いステップＳ７０６に移行する。
ステップＳ７０６では、第２のデータ制御部１ｄ’において、ステップＳ７０４の音声データ処理結果に基づき、表示用情報を生成してステップＳ７０８に移行する。
【０３１４】
ステップＳ７０８では、第２のデータ制御部１ｄ’において、第２のデータ通信部３７ａを介して、ステップＳ７０６で生成された表示用情報を該当する情報処理端末３５０に送信してステップＳ７００に移行する。
一方、ステップＳ７０２において、受信した情報に配信依頼情報が含まれておらずステップＳ７１０に移行した場合は、第２のデータ制御部１ｄ’において、受信した情報が評価依頼情報のみを含んでいるか否かを判定し、含んでいると判定された場合（Ｙｅｓ）はステップＳ７１２に移行し、そうでない場合（Ｎｏ）はステップＳ７１８に移行する。
【０３１５】
ステップＳ７１２に移行した場合は、第２のデータ制御部１ｄ’の制御により、領域音響モデルの探索及び音響モデルの評価等の上記した音声データ処理を行いステップＳ７１４に移行する。
ステップＳ７１４では、第２のデータ制御部１ｄ’において、ステップＳ７１２の音声データ処理結果に基づき、表示用情報を生成してステップＳ７１６に移行する。
【０３１６】
ステップＳ７１６では、第２のデータ制御部１ｄ’において、第２のデータ通信部３７ａを介して、ステップＳ７１４で生成された表示用情報を該当する情報処理端末３５０に送信してステップＳ７００に移行する。
一方、ステップＳ７１０で受信した情報が評価依頼でもなくてステップＳ７１８に移行した場合は、受信した情報を破棄してステップＳ７００に移行する。
【０３１７】
更に、図４２に基づき、情報処理端末３５０における表示用情報受信時の動作処理の流れを説明する。図４２は、情報処理端末３５０における表示用情報受信時の動作処理を示すフローチャートである。
図４２に示すように、まずステップＳ８００に移行し、第１のデータ制御部３５０ｂにおいて、データ処理装置３７からの表示用情報を受信したか否かを判定し、受信したと判定された場合（Ｙｅｓ）はステップＳ８０２に移行し、そうでない場合（Ｎｏ）は受信するまで待機する。
【０３１８】
ステップＳ８０２に移行した場合は、第１のデータ制御部３５０ｂの制御により、情報表示部３５０ｄにより、上記受信した表示用情報に基づき情報を表示してステップＳ８０４に移行する。
ステップＳ８０４では、第１のデータ制御部３５０ｂにおいて、システム利用者の操作部３５０ｅの操作により、表示されたメニューから音響モデルが選択されたか否かを判定し、選択されたと判定された場合（Ｙｅｓ）はステップＳ８０６に移行し、そうでない場合（Ｎｏ）はステップＳ８１２に移行する。
【０３１９】
ステップＳ８０６に移行した場合は、第１のデータ制御部３５０ｂにおいて、選択された音響モデルの情報を、第１のデータ通信部３５０ｃを介してデータ処理装置３７に送信してステップＳ８０８に移行する。
ステップＳ８０８では、第１のデータ制御部３５０ｂにおいて、データ処理装置３７から上記選択した音響モデルを受信したか否かを判定し、受信したと判定された場合（Ｙｅｓ）はステップＳ８１０に移行し、そうでない場合（Ｎｏ）は受信するまで待機する。
【０３２０】
ステップＳ８１０に移行した場合は、第１のデータ制御部３５０ｂにおいて、上記受信した音響モデルを図示しない記憶部に記憶して処理を終了する。
一方、ステップＳ８０４において、音響モデルが選択されずステップＳ８１２に移行した場合は、第１のデータ制御部３５０ｂにおいて、システム利用者の操作部３５０ｅの操作により、表示されたメニューから音響モデルの入れ替えが選択されたか否かを判定し、選択されたと判定された場合（Ｙｅｓ）はステップＳ８１４に移行し、そうでない場合（Ｎｏ）はステップＳ８０４に移行する。
【０３２１】
ステップＳ８１４に移行した場合は、第１のデータ制御部３５０ｂにおいて、選択された音響モデルの入れ替えの情報を、第１のデータ通信部３５０ｃを介してデータ処理装置３７に送信してステップＳ８１６に移行する。
ステップＳ８１６では、第１のデータ制御部３５０ｂにおいて、データ処理装置３７から上記選択した音響モデルを受信したか否かを判定し、受信したと判定された場合（Ｙｅｓ）はステップＳ８１８に移行し、そうでない場合（Ｎｏ）は受信するまで待機する。
【０３２２】
ステップＳ８１８では、第１のデータ制御部３５０ｂにおいて、現在使用している音響モデルを、上記受信した音響モデルへと更新して処理を終了する。
上記第３の実施形態において、第１のデータ制御部３５０ｂ及び第１のデータ通信部３５０ｃによる音声データの送信処理は、請求の範囲第３７項記載の音声データ送信手段に対応し、第１のデータ制御部３５０ｂ及び第１のデータ通信部３５０ｃによる音響モデルの受信処理は、請求の範囲第３７項記載の特定パターンモデル取得手段に対応し、第２のデータ制御部１ｄ’及び第２のデータ通信部３７ａによる音響モデルの配信処理は、請求項範囲第３７項記載の特定パターンモデル送信手段に対応する。
［第４の実施形態］
以下、本発明の第４の実施形態を図面に基づいて説明する。図４３乃至図５０は、本発明に係るデータ処理システムの第４の実施形態を示す図である。
【０３２３】
まず、本発明に係るデータ処理システムの構成を図４３に基づいて説明する。図４３は、本発明に係るデータ処理システムの構成を示すブロック図である。
図４３に示されるように、データ処理システム７は、情報処理端末２Ａ〜２Ｃと、データ処理装置３と、ネットワーク４と、を含んだ構成となっている。
情報処理端末２Ａ〜２Ｃは、システム利用者Ａ〜Ｃの管理下にある端末であり、各システム利用者の音声データを取得し、これをネットワーク４を介してデータ処理装置３に送信する機能と、データ処理装置３から取得した情報を表示する機能と、データ処理装置３との間で、音声データの提供可否に関する交渉を行う機能と、を備えている。本実施形態においては、ＰＣやＷＳ等の情報処理装置に、上記した機能を実現するためのハードウェア及びソフトウェアを備えたものである。なお、詳細な構成は後述する。
【０３２４】
データ処理装置３は、情報処理端末２Ａ〜２Ｃからネットワーク４を介して取得した音声データの価値を評価する機能と、複数話者のパターンモデルから構成された音響空間内における前記取得した音声データの位置情報及び前記評価結果を表示する機能と、ネットワーク４を介して情報処理端末２Ａ〜２Ｃとの間で音声データの提供可否に関する交渉を行う機能と、を備えている。なお、詳細な構成は後述する。
【０３２５】
ネットワーク４は、ＬＡＮやＷＡＮなどの複数の情報処理機器を相互にデータ通信可能に接続するネットワークであり、本実施形態においては、ＷＡＮの１つであるインターネットを適用する。
更に、図４４に基づき情報処理端末２Ａ〜２Ｃの詳細な構成を説明する。図４４は、情報処理端末２の詳細な構成を示す図である。ここで、本実施形態において、情報処理端末２Ａ〜２Ｃ（実際は他にも端末は存在する）は同様の構成となっており、これらをまとめて情報処理端末２として説明を行う。また、以降、情報処理端末２Ａ〜２Ｃに共通した事項を説明する場合には、これらを総称した情報処理端末２に対して説明を行う。また、図４３に示すように、情報処理端末は、２Ａ〜２Ｃの３台に限らず、他にも別のシステム利用者の管理下にある情報処理端末が接続された構成となっている。
【０３２６】
図４４に示されるように、情報処理端末２は、第１のデータ取得部２ａと、第１のデータ制御部２ｂと、第１のデータ通信部２ｃと、第１の情報表示部２ｄと、第１の交渉部２ｅと、を含んだ構成となっている。
第１のデータ取得部２ａは、マイク等の対象話者の発声した音声（アナログデータ）を取得する手段と、Ａ／Ｄ変換器等の当該アナログデータである音声をデジタルデータに変換する手段と、を備えたものである。
【０３２７】
第１のデータ制御部２ｂは、第１のデータ取得部２ａにおいて取得された音声データを第１のデータ通信部２ｃを介してデータ処理装置３に送信する処理を制御する機能、データ処理装置３から取得した情報を第１の情報表示部２ｄによって表示する処理を制御する機能、第１の交渉部２ｅによるデータ処理装置３との間の交渉処理を制御する機能等の、各部の処理を制御する機能を有したものである。
【０３２８】
第１のデータ通信部２ｃは、第１のデータ制御部２ｂの制御により、ネットワーク４を介して、データ処理装置３との間で各種データ通信を行う機能を有したものである。
第１の情報表示部２ｄは、第１のデータ制御部２ｂの制御により、データ処理装置３から取得した各種情報を表示するなど、情報の表示処理を行う機能を有したものである。
第１の交渉部２ｅは、第１のデータ制御部２ｂの制御により、データ処理装置３との間で、ネットワーク４を介した音声データ提供可否の交渉処理を行う機能を有したものである。ここで、交渉処理とは、例えば、チャット機能を備えたソフト等によりシステム利用者とデータ処理装置３を管理するオペレータとの間でメッセージのやり取りを行ったり、データ処理装置３が価値の高い音声データに対して予め用意された情報（評価結果やメッセージ等）を情報処理端末２に自動的に送信し、その情報を見てシステム利用者が応答を返したりするなど、最終的には、システム利用者が、自己の音声データの提供可否の判断を行い、その判断結果をデータ処理装置３に返すものである。
【０３２９】
更に、図４５に基づき、データ処理装置３の詳細な構成を説明する。図４５は、データ処理装置３の詳細構成を示すブロック図である。
図４５に示されるように、データ処理装置３は、第２のデータ通信部３ａと、第２のデータ取得部３ｂと、第２のデータ制御部３ｃと、位置算出部３ｄと、データ評価部３ｅと、第２の情報表示部３ｆと、第２の交渉部３ｇと、操作部３ｈと、データ記憶部３ｉと、を含んだ構成となっている。
【０３３０】
第２のデータ通信部３ａは、第２のデータ制御部３ｃの制御により、ネットワーク４を介して、情報処理端末２との間で各種データ通信を行う機能を有したものである。
第２のデータ取得部３ｂは、第２のデータ通信部３ａを介して、情報処理端末２からの音声データを取得する機能を有したもので、取得した音声データを解析してその特徴部分である特徴量データを抽出する手段も備えている。更に、この抽出された特徴量データに基づき、ＨＭＭを構成することで対象話者のパターンモデルを生成する手段も備えている。なお、本実施形態においては、上記した特徴量データ及び対象話者のパターンモデルを共に、音声データと称する。
【０３３１】
第２のデータ制御部３ｃは、データ処理装置３の各構成要素間のデータの授受を制御したり、処理の流れを制御したりする機能を備えたものである。
位置算出部３ｄは、取得した音声データと複数話者のパターンモデルとの位置関係を算出する機能を有したものである。
つまり、特徴量データが音声データである場合は、この音声データと後述するデータ記憶部３１に記憶された複数話者のパターンモデルとの尤度計算を行い、この算出結果に基づき、複数話者のパターンモデルの中から最も尤度の高いパターンモデルを選択し、このパターンモデルを上記対象話者の音声データと等価なものとして扱う。ここで、本実施形態において、上記複数話者のパターンモデルはＨＭＭにより生成されており、これらの中から特定のパターンモデル（対象話者の音声データに対応したパターンモデルでも良い）を基準として、それぞれ相対位置が決められる。そして、この相対位置情報を有するパターンモデルにより音響空間が形成される。
【０３３２】
従って、この場合は、選択されたパターンモデルの相対位置情報が対象話者の音声データの位置情報となる。
一方、特徴量データからＨＭＭを構成することにより生成されたパターンモデルが音声データである場合は、この音声データと上記した基準となるパターンモデルとの相対位置を算出し、この算出結果を音声データの位置情報とする。
【０３３３】
データ評価部３ｅは、特徴量データが音声データである場合は、選択されたパターンモデルとそれ以外の複数話者のパターンモデルとの数学的距離を算出して、この算出された各距離を、予め設定された数学的距離の閾値Ｔｈと比較し、当該比較結果に基づき対象話者の音声データの価値を評価するものである。例えば、閾値Ｔｈ内に存在するパターンモデルが少数の場合は、対象話者の音声データは疎な空間にあり、類似した特徴のものが少ないので希少価値が高いと評価し、一方、閾値Ｔｈ内に存在するパターンモデルが多数の場合は、密な空間にあり、類似した特徴のものが多いので希少価値が低いと評価する。ここで、本実施形態においては、数学的距離として、下式（８）に示すユークリッド距離又は下式（９）に示すバタチャリヤ距離を算出する。
【０３３４】
【数５】
0004413867.tif 000006
【０３３５】
但し、上記式（８）及び式（９）における、Ｊは次元数、ＬはＨＭＭの状態数、μはＨＭＭの出力確率の平均、ΣはＨＭＭの出力確率の分散である。
ここで、数学的距離の算出は音素毎に行うことが可能であり、音声データの価値を評価する処理も音素毎に行うことが可能である。本実施形態では、この処理方法を、システム利用者が任意に切り替えて設定することが可能である。
【０３３６】
第２の情報表示部３ｆは、データ評価部３ｅの評価結果等の情報を表示する機能を有したものである。ここで表示される情報としては、例えば、評価結果を数値化した情報、ＨＭＭであるパターンモデルの上記算出された数学的距離の関係を元に、公知のＳａｍｍｏｎ法により、当該ＨＭＭの距離関係を２次元に射影したものなどがある。
第２の交渉部３ｇは、第２のデータ制御部３ｃの制御により、情報処理端末２との間で、ネットワーク４を介した音声データ提供可否の交渉処理を行う機能を有したものである。
【０３３７】
操作部３ｈは、オペレータが、第２の情報表示部３ｆに表示された情報を見てシステム利用者と交渉を行うか否かを判断したり、システム利用者との間でメッセージをやりとりするときのメッセージの入力等を行うためのものである。
データ記憶部３ｉは、複数話者のパターンモデル、交渉が成立した音声データ等の必要なデータを記憶するものである。
【０３３８】
ここで、本実施形態において、データ処理装置３は、図示しないプロセッサと、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、専用のプログラムの記憶されたＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、を備えており、プロセッサにより専用のプログラムを実行することにより上記各部の制御を行う。
更に、図４６及び図４７に基づき、データ処理システム７のより具体的な動作を説明する。図４６は、データ処理システム７の初期データベースの構築処理及びデータ評価処理の流れを示す図であり、図４７は、音響空間地図を２次元射影して表示した一例を示す図である。
【０３３９】
以下、図４６（ａ）及び図４７に基づき、特徴量データが音声データである場合の初期データベースの構築処理及びデータ評価処理の第１の実施形態を説明する。
まず、図４６（ａ）の（１）〜（４）に示す、評価処理を行うための初期データベースの生成処理の流れを説明する。ここで、既にデータベースが生成されている場合は、この（１）〜（４）の処理は必要がない。
【０３４０】
（１）第２のデータ取得部３ｂによって、登録対象話者Ｎ人（Ｎは整数）の音声を取得する。
（２）第２のデータ取得部３ｂによって、取得した音声の音響分析を行い特徴量の抽出を行う。
（３）第２のデータ取得部３ｂによって、抽出された特徴量に基づき特定話者及び不特定話者用のＨＭＭを生成し、各特定話者用のパターンモデル及び不特定話者のパターンモデルを生成するために所定の学習手法を用いて前記各ＨＭＭの学習を行う。
【０３４１】
（４）第２のデータ取得部３ｂによって、特定話者Ｎ人分のパターンモデル（ＨＭＭ）及び不特定話者のパターンモデル（ＨＭＭ）をデータ記憶部３ｉに記憶する。
次に、図４６（ａ）の（５）〜（１０）に示す、音声データの評価処理の流れを説明する。
（５）第２のデータ取得部３ｂによって、情報処理端末２からシステム利用者の音声データを取得する。
【０３４２】
（６）第２のデータ取得部３ｂによって、取得した音声データの分析を行い特徴量の抽出を行う。
（７）位置算出部３ｄによって、抽出した特徴量データと複数の特定話者のパターンモデルとの尤度を算出する。ここで、発声内容は既知とする（発声時に入力されているものとする）。
【０３４３】
（８）位置算出部３ｄによって、算出された尤度から最も尤度の高いパターンモデルを選択し、このパターンモデルと他の特定話者のパターンモデルとの数学的距離を算出する。このとき、上位Ｍ個（Ｍは整数（Ｍ＜Ｎ））のパターンモデルを用いても良く、この場合は、選択されたＭ個のパターンモデルそれぞれについて、他のパターンモデルとの数学的距離を算出する。ここで、本実施形態においては、オペレータが、音声データの位置関係を視覚的に判断可能なように、数学的距離が算出された時点で、後述する（１１）及び（１２）の処理により、これら算出された数学的距離に基づく２次元射影化により、その座標データを図４７に示すように表示することが可能となっている。
【０３４４】
（９）データ評価部３ｅによって、上記算出された数学的距離に基づき、音声データの価値の評価を行う。つまり、上記したように閾値Ｔｈと算出された対象話者用のパターンモデルとの距離が閾値Ｔｈ以下であるものが多数あった場合は、対象話者用のパターンモデルの周辺に音響的特徴の類似したパターンモデルが多数あると判断される。一方、閾値Ｔｈ以下のものが少数の場合は、周辺に音響的特徴の類似したパターンモデルは少数しかないと判断される。
【０３４５】
このことから、周辺に音響的特徴の類似したパターンモデルが多数ある場合は、その音声データは希少価値が低いと評価され、周辺に音響的特徴の類似したパターンモデルが少数しかない場合は、その音声データは希少価値が高いと評価される。
評価結果に係る情報は、第２のデータ通信部３ａを介して、例えば、対象話者がシステム利用者Ａであれば、情報処理端末２Ａに送信される。
【０３４６】
ここで、本実施形態において、評価結果に係る情報は、希少価値が高いと評価された場合は、２次元射影化された位置関係情報、評価結果を示す情報（数値や希少価値の高低等）及び取得希望であることを示す情報となり、一方、希少価値が低いと評価された場合は、２次元射影化された位置関係情報、評価結果を示す情報（数値や希少価値の高低等）、取得希望ではないことを示す情報及び取得希望の音声データの特性を示す情報となる。また、取得希望の音声データの特性を示す情報とは、例えば、ささやいた音声や寝た姿勢で話す音声等の発話方法を示す情報などである。
【０３４７】
また、上記したように上位Ｍ個のパターンモデルについて数学的距離を算出した場合、これは選択されたパターンモデルが間違いであった場合を考慮したものであり、この場合は、それぞれについて閾値Ｔｈの距離内に他の話者がどれだけ存在するかを調べ、その平均に対して上記同様の評価を行う。
ここで、本実施形態において、上記評価は、データ評価部３ｅにより自動的に行っているが、２次元射影化により表示された音響空間やその他の表示情報からオペレータが自分で評価するようにしても良い。
【０３４８】
なお、音声データが、希少価値が高いと評価された場合は、図４６（ａ）における処理（１０）に移行する。
（１０）第２の交渉部３ｇによって、取得希望の音声データの送信元である情報処理端末２との間で交渉処理を行う。本実施形態においては、データ処理装置３から予め設定されたメッセージをネットワーク４を介して情報処理端末２に送信し、そのメッセージに対するシステム利用者からの応答を同様にネットワーク４を介してデータ処理装置３によって受信する。ここで、例えば、どうしても入手したい音声データに対して、システム利用者が提供を拒否してきた場合に備えて、データ処理装置３及び情報処理端末２の間でネットワーク４を介したメッセージのやり取りを行うことにより、システム利用者とオペレータとの間でメッセージによる交渉を行えるようにしても良い。
【０３４９】
（１１）第２の情報表示部３ｆによって、上記算出された数学的距離に基づき、公知のＳａｍｍｏｎ法により全てのパターンモデル（ＨＭＭ）の距離関係を２次元に射影する。
（１２）第２の情報表示部３ｆによって、上記２次元に射影された各ＨＭＭの座標情報を図５５（ａ）、（ｂ）に示すように平面上の点として表示する。図５５（ａ）は、ＨＭＭを単語（又は文章）単位で扱った場合のＨＭＭの各座標を点で表示したものである。つまり、一つ一つの点が各話者のパターンモデルとなり、点と点との距離が両者の類似度を示す（両者の距離が短い方が類似度が高い）。
【０３５０】
従って、図中、点４０のような位置の点は、周辺のすぐそばに多くの点があるため、似たような音響的特徴を有するパターンモデルが多く、このパターンモデルの希少価値は低いということが視覚的に評価できる。
一方、図中、点４１のような位置の点は、周辺のすぐそばには他の点がほとんど無く、音響空間内の外れに位置しているので希少価値が高いと視覚的に評価できる。
【０３５１】
更に、図５５（ｂ）は、ＨＭＭを音素単位（図では「ａ」，「ｉ」，「ｕ」，「ｅ」，「ｏ」）で扱った場合の各ＨＭＭの音素毎の各座標を点で表示したものである。この場合は、音声データの価値を音素毎に視覚的に評価することが可能である。
更に、上記したように、パターンモデルの疎密の関係や評価結果を数値化した数値そのものや当該数値をグラフにしたもの等を表示する。図５５（ａ）に示すように、システム利用者Ａの音声データが☆５２の位置にあった場合は、例えば、図の右下に示すように、その音声データの価値度を数値の７０で表示する。価値度の平均値が５７とすると、音声データの価値は平均値より高いと簡易に判断することが可能となる。
【０３５２】
（１３）上記（１０）の交渉処理によって、システム利用者との間で交渉が成立した場合は、第２のデータ制御部３ｃ及びデータ記憶部３ｉによって、対象の音声データを記憶する処理を行う。ここで、本実施形態において、音声データは、ＨＭＭによりパターンモデル化してから、上記生成された初期データベースに追加する形で記憶される。
更に、図４６（ｂ）及び図５５に基づき、特徴量データから生成されたパターンモデルが音声データである場合の初期データベースの構築処理及び照合性能判断処理の第２の実施形態を説明する。
【０３５３】
まず、図４６（ｂ）の（１）〜（４）に示す、話者照合を行うためのデータベースの生成処理は、上記第１の実施形態における図４６（ａ）の（１）〜（４）と同様であるので記載を省略する。
次に、図４６（ｂ）の（５）〜（１１）に示す、音声データの評価処理の流れを説明する。
【０３５４】
（５）第２のデータ取得部３ｂによって、情報処理端末２からシステム利用者の音声データを取得する。
（６）第２のデータ取得部３ｂによって、取得した音声データの分析を行い特徴量の抽出を行う。
（７）第２のデータ取得部３ｂによって、抽出された特徴量データに基づき取得した音声のＨＭＭを構成し、所定の学習手法により学習を行う。
【０３５５】
（８）第２のデータ取得部３ｂによって、ＨＭＭの学習により、対象話者の音声のパターンモデルを生成してデータ記憶部３ｉに記憶する。
（９）位置算出部３ｄによって、上記生成された対象話者のパターンモデルと他の特定話者のパターンモデルとの数学的距離を算出する。ここで、本実施形態においては、オペレータが、音声データの位置関係を視覚的に判断可能なように、数学的距離が算出された時点で、後述する（１２）及び（１３）の処理により、これら算出された数学的距離に基づく２次元射影化により、その座標データを図５５に示すように表示することが可能となっている。
【０３５６】
（１０）データ評価部３ｅによって、上記算出された数学的距離に基づき、音声データの価値の評価を行う。つまり、上記したように閾値Ｔｈと算出された対象話者用のパターンモデルとの距離が閾値Ｔｈ以下であるものが多数あった場合は、対象話者用のパターンモデルの周辺に音響的特徴の類似したパターンモデルが多数あると判断される。一方、閾値Ｔｈ以下のものが少数の場合は、周辺に音響的特徴の類似したパターンモデルは少数しかないと判断される。
【０３５７】
このことから、周辺に音響的特徴の類似したパターンモデルが多数ある場合は、その音声データは希少価値が低いと評価され、周辺に音響的特徴の類似したパターンモデルが少数しかない場合は、その音声データは希少価値が高いと評価される。
評価結果に係る情報は、第２のデータ通信部３ａを介して、例えば、対象話者がシステム利用者Ｂであれば、情報処理端末２Ｂに送信される。
【０３５８】
また、上記したように上位Ｍ個のパターンモデルについて数学的距離を算出した場合、これは選択されたパターンモデルが間違いであった場合を考慮したものであり、この場合は、それぞれについて閾値Ｔｈの距離内に他の話者がどれだけ存在するかを調べ、その平均に対して上記同様の評価を行う。
ここで、本実施形態において、上記評価は、データ評価部３ｅにより自動的に行っているが、２次元射影化により表示された音響空間やその他の表示情報からオペレータが自分で評価するようにしても良い。
【０３５９】
なお、音声データが、希少価値が高いと評価された場合は、図４６（ｂ）における処理（１１）に移行する。
（１１）第２の交渉部３ｇによって、取得希望の音声データの送信元である情報処理端末２との間で交渉処理を行う。本実施形態においては、データ処理装置３から予め設定されたメッセージをネットワーク４を介して情報処理端末２に送信し、そのメッセージに対するシステム利用者からの応答を同様にネットワーク４を介してデータ処理装置３によって受信する。ここで、例えば、どうしても入手したい音声データに対して、システム利用者が提供を拒否してきた場合に備えて、データ処理装置３及び情報処理端末２の間でネットワーク４を介したメッセージのやり取りを行うことにより、システム利用者とオペレータとの間でメッセージによる交渉（例えば、金額交渉等）を行えるようにしても良い。
【０３６０】
ここで、図４６（ｂ）の（１２）、（１３）に示す、２次元射影化による音響空間の表示処理及び評価結果の表示処理は、上記した第１の実施形態における図４６（ａ）の（１１）、（１２）と同様の処理であるので記載を省略する。
更に、図４８に基づき、情報処理端末２の動作処理の流れについて説明する。図４８は、情報処理端末２の動作処理を示すフローチャートである。
【０３６１】
図４８に示すように、まずステップＳ９００に移行し、第１のデータ制御部２ｂにおいて、音声データの取得処理が開始されたか否かを判定し、開始されたと判定された場合（Ｙｅｓ）はステップＳ９０２に移行し、そうでない場合（Ｎｏ）は開始されるまで判定処理を続行する。
ステップＳ９０２に移行した場合は、第１のデータ取得部２ａによって、対象話者（本実施形態では、システム利用者Ａ〜Ｃのいずれか）の発声した音声（アナログデータ）を取得しステップＳ９０４に移行する。
【０３６２】
ステップＳ９０４では、第１のデータ取得部２ａにおいて、取得した音声（アナログデータ）をデジタルデータに変換してステップＳ９０６に移行する。
ステップＳ９０６では、第１のデータ制御部２ｂによって、上記デジタルデータに変換された音声データを、第１のデータ通信部２ｃを介してデータ処理装置３に送信してステップＳ９０８に移行する。
【０３６３】
ステップＳ９０８では、第１のデータ制御部２ｂにおいて、データ処理装置３から上記送信した音声データに対する評価結果を、第１のデータ通信部２ｃを介して受信したか否かを判定し、受信したと判定された場合（Ｙｅｓ）はステップＳ９１０に移行し、そうでない場合（Ｎｏ）は受信するまで判定処理を続行する。
ステップＳ９１０に移行した場合は、第１のデータ制御部２ｂの制御命令に応じて、第１の情報表示部２ｄにおいて、上記受信した評価結果を表示してステップＳ９１２に移行する。
【０３６４】
ステップＳ９１２では、第１のデータ制御部２ｂにおいて、上記受信した評価結果から交渉要求があるか否かを判定し、交渉要求があると判定された場合（Ｙｅｓ）はステップＳ９１４に移行し、そうでない場合（Ｎｏ）はステップＳ９１８に移行する。
ステップＳ９１４に移行した場合は、第１のデータ制御部２ｂ、第１の交渉部２ｅ及び第１のデータ通信部２ｃにおいて、データ処理装置３との間でネットワーク４を介した音声データの提供可否の交渉を行う交渉処理を開始してステップＳ９１６に移行する。
【０３６５】
ステップＳ９１６では、第１のデータ制御部２ｂ、第１の交渉部２ｅ及び第１のデータ通信部２ｃにおいて、対象話者からの入力情報に基づき、音声データの提供可否の判断結果をデータ処理装置３に送信してステップＳ９１８に移行する。
ステップＳ９１８では、第１のデータ制御部２ｂにおいて、音声データの取得処理を終了するか否かを判定し、終了すると判定された場合（Ｙｅｓ）はステップＳ９００に移行し、そうでない場合（Ｎｏ）はステップＳ９０２に移行する。
【０３６６】
ここで、終了の判断は、図示しない、マウスやキーボード等の入力デバイスによるシステム利用者からの入力情報に基づき行われる。
更に、図４９に基づき、データ処理装置３の動作処理の流れを説明する。図４９は、データ処理装置３の動作処理を示すフローチャートである。
図４９に示すように、まずステップＳ１０００に移行し、第２のデータ制御部３ｃにおいて、第２のデータ通信部３ａを介して情報処理端末２から音声データを取得したか否かを判定し、取得したと判定された場合（Ｙｅｓ）はステップＳ１００２に移行し、そうでない場合（Ｎｏ）は取得するまで判定処理を続行する。
【０３６７】
ステップＳ１００２に移行した場合は、第２のデータ取得部３ｂにおいて、取得した音声の特徴量を抽出してステップＳ１００４に移行する。ここで、上記した第１の実施形態においては、上記した尤度計算を行い、複数話者のパターンモデルの中から最も音響的特徴の類似したパターンを選択し、これを取得した音声のパターンモデルとする。一方、上記した第２の実施形態の場合は、抽出した特徴量から取得した音声のパターンモデルを生成する。
【０３６８】
ステップＳ１００４では、位置算出部３ｄにおいて、取得した音声のパターンモデルと他の複数話者のパターンモデルとの数学的距離を算出してステップＳ１００６に移行する。
ステップＳ１００６では、データ評価部３ｅにおいて、上記算出された数学的距離に基づき、取得した音声データの価値を評価してステップＳ１００８に移行する。
【０３６９】
ステップＳ１００８では、第２の情報表示部３ｆにおいて、上記評価結果を表示してステップＳ１０１０に移行する。
ステップＳ１０１０では、第２のデータ制御部３ｃによって、第２のデータ通信部３ａを介して、上記評価結果を対象の情報処理端末２に送信してステップＳ１０１２に移行する。
【０３７０】
ステップＳ１０１２では、第２のデータ制御部３ｃにおいて、上記評価により、取得した音声データの提供可否の交渉を行うか否かを判定し、交渉を行うと判定された場合（Ｙｅｓ）はステップＳ１０１４に移行し、そうでない場合（Ｎｏ）はステップＳ１０００に移行する。
ステップＳ１０１４に移行した場合は、第２のデータ制御部３ｃ、第２の交渉部３ｇ及び第２のデータ通信部３ａにおいて、情報処理端末２との間のネットワーク４を介した上記交渉処理を行いステップＳ１０１６に移行する。
【０３７１】
ステップＳ１０１６では、第２のデータ制御部３ｃにおいて、対象の情報処理端末２から交渉結果を取得したか否かを判定し、取得したと判定された場合（Ｙｅｓ）はステップＳ１０１８に移行し、そうでない場合（Ｎｏ）は取得するまで判定処理を続行する。
ステップＳ１０１８に移行した場合は、第２のデータ制御部３ｃにおいて、上記取得した交渉結果に基づき、交渉が成立したか否かを判定し、交渉が成立したと判定された場合（Ｙｅｓ）はステップＳ１０２０に移行し、そうでない場合（Ｎｏ）はステップＳ１０２２に移行する。
【０３７２】
ステップＳ１０２０に移行した場合は、第２のデータ制御部によって、交渉の成立した音声データをデータ記憶部３ｉに記憶してステップＳ１０００に移行する。
一方、ステップＳ１０２２に移行した場合は、第２のデータ制御部３ｃにおいて、交渉の決裂した音声データを破棄してステップＳ１０００に移行する。
更に、図５０に基づき、第２の情報表示部３ｆにおける２次元射影化による座標情報の表示処理の流れを説明する。図５０は、第２の情報表示部３ｆにおける２次元射影化による座標情報の表示処理を示すフローチャートである。
【０３７３】
図５０に示すように、まずステップＳ１１００に移行し、位置算出部３ｄにおいて数学的距離の算出が完了したか否かを判定し、完了したと判定された場合（Ｙｅｓ）はステップＳ１１０２に移行し、そうでない場合（Ｎｏ）は完了するまで待機する。
ステップＳ１１０２に移行した場合は、公知のＳａｍｍｏｎ法を用いて、対象話者の音声のパターンモデルと他の複数話者のパターンモデルと数学的距離を２次元射影化してステップＳ１１０４に移行する。
【０３７４】
ステップＳ１１０４では、上記２次元射影化処理により２次元の情報となった数学的距離に基づき、各パターンモデルの座標情報を平面上の点として表示して処理を終了する。
以上、第２のデータ取得部３ｂによって、対象話者の音声データを取得し、位置算出部３ｄ及びデータ評価部３ｅによって、当該音声データの価値を評価し、第２の情報表示部３ｆによって、この評価結果と、対象話者の音声のパターンモデルと他の複数話者のパターンモデルとの位置関係を２次元の座標として表示することが可能である。
【０３７５】
また、情報処理端末２の第１の交渉部２ｅ及びデータ処理装置３の第２の交渉部３ｇによって、音声データの提供可否に関する交渉処理を行うことが可能である。
また、データ処理装置３は、交渉の成立した音声データをデータ記憶部３ｉに記憶することが可能である。
ここで、図４４に示す、第１のデータ取得部２ａ、第１のデータ制御部２ｂ及び第１のデータ通信部２ｃによる、音声データの取得処理及び送信処理は、請求項４７記載の音声データ送信手段に対応し、第１のデータ制御部２ｂ及び第１の情報表示部２ｄによる評価結果に係る情報の表示処理は、請求項４７記載の評価情報表示手段に対応する。
【０３７６】
更に、図４５に示す、第２のデータ通信部３ａ及び第２のデータ取得部３ｂによる音声データの取得処理は、請求の範囲第３８、３９、５２及び５３項のいずれか１項に記載の音声データ取得手段に対応し、位置算出部３ｄは、請求項３８、３９、４０、４１、５２及び５３のいずれか１項に記載の位置算出手段に対応し、データ評価部３ｅは、請求項３８〜４２、４４、４５、５２及び５３のいずれか１項に記載の音声データ評価手段に対応し、第２の情報表示部３ｆは、請求項３８、３９、４４、４５、５２及び５３のいずれか１項に記載の評価結果表示手段、及び、請求項３８、３９、５２及び５３のいずれか１項に記載の位置関係情報表示手段に対応し、第２の交渉部３ｇは、請求項４６記載の交渉手段に対応し、データ記憶部３ｉは、請求項４６記載の音声データ記憶手段に対応する。
［第５の実施形態］
以下、本発明の第５の実施形態を図面に基づき説明する。図５１〜図５９は、本発明に係るデータ処理システムの第５の実施形態を示す図である。
【０３７７】
まず、本発明に係るデータ処理システムの構成を図５１に基づき説明する。図５１は、本発明に係るデータ処理システムの構成を示すブロック図である。
図５１に示されるように、データ処理システム８は、情報処理端末９Ａ〜９Ｃと、データ処理装置１０と、ネットワーク１１と、を含んだ構成となっている。
情報処理端末９Ａ〜９Ｃは、システム利用者Ａ〜Ｃの管理下にある端末であり、各システム利用者の音声データを取得し、これをネットワーク１１を介してデータ処理装置１０に送信する機能と、データ処理装置１０から取得した情報を表示する機能と、を備えている。本実施形態においては、ＰＣやＷＳ等の情報処理装置に、上記した機能を実現するためのハードウェア及びソフトウェアを備えたものである。なお、詳細な構成は後述する。
【０３７８】
データ処理装置１０は、情報処理端末９Ａ〜９Ｃからネットワーク１１を介して取得した音声データと他の話者の音声データとの類似性を評価する機能と、複数話者のパターンモデルから構成された音響空間内における前記取得した音声データの位置情報及び前記評価結果を表示する機能と、を備えている。なお、詳細な構成は後述する。
ネットワーク１１は、ＬＡＮやＷＡＮなどの複数の情報処理機器を相互にデータ通信可能に接続するネットワークであり、本実施形態においては、ＷＡＮの１つであるインターネットを適用する。
【０３７９】
更に、図５２に基づき情報処理端末９Ａ〜９Ｃの詳細な構成を説明する。図５２は、情報処理端末９の詳細な構成を示す図である。ここで、本実施形態において、情報処理端末９Ａ〜９Ｃ（他にも多数の端末が存在して良い）は同様の構成となっており、これらをまとめて情報処理端末９として説明を行う。また、以降、情報処理端末９Ａ〜９Ｃに共通した事項を説明する場合には、これらを総称した情報処理端末９に対して説明を行う。また、図５１に示すように、情報処理端末は、２Ａ〜２Ｃの３台に限らず、他にも別のシステム利用者の管理下にある情報処理端末が接続された構成としても良い。
【０３８０】
図５２に示されるように、情報処理端末９は、第１のデータ取得部９ａと、第１のデータ制御部９ｂと、第１のデータ通信部９ｃと、第１の情報表示部９ｄと、操作部９ｅと、を含んだ構成となっている。
第１のデータ取得部９ａは、マイク等の対象話者の発声した音声（アナログデータ）を取得する手段と、Ａ／Ｄ変換器等の当該アナログデータである音声をデジタルデータに変換する手段と、を備えたものである。
【０３８１】
第１のデータ制御部９ｂは、第１のデータ取得部９ａにおいて取得された音声データを第１のデータ通信部９ｃを介してデータ処理装置１０に送信する処理を制御する機能、データ処理装置１０から取得した情報を第１の情報表示部９ｄによって表示する処理を制御する機能等の、各部の処理を制御する機能を有したものである。
第１のデータ通信部９ｃは、第１のデータ制御部９ｂの制御により、ネットワーク１１を介して、データ処理装置１０との間で各種データ通信を行う機能を有したものである。
【０３８２】
第１の情報表示部９ｄは、第１のデータ制御部９ｂの制御により、データ処理装置１０から取得した各種情報を表示するなど、情報の表示処理を行う機能を有したものである。
操作部９ｅは、システム利用者が、特定話者を指定したり、音声データ処理の制御プログラムに対する設定を行ったりするための情報入力を行うためのものである。
更に、図５３に基づき、データ処理装置１０の詳細な構成を説明する。図５３は、データ処理装置１０の詳細構成を示すブロック図である。
【０３８３】
図５３に示されるように、データ処理装置１０は、第２のデータ通信部１０ａと、第２のデータ取得部１０ｂと、第２のデータ制御部１０ｃと、位置算出部１０ｄと、類似話者検出部１０ｅと、類似性評価部１０ｆと、第２の情報表示部１０ｇと、矯正情報生成部１０ｈと、データ記憶部１０ｉと、を含んだ構成となっている。
第２のデータ通信部１０ａは、第２のデータ制御部１０ｃの制御により、ネットワーク１１を介して、情報処理端末９との間で各種データ通信を行う機能を有したものである。
【０３８４】
第２のデータ取得部１０ｂは、第２のデータ通信部１０ａを介して、情報処理端末９からの音声データを取得する機能を有したもので、取得した音声データを解析してその特徴部分である特徴量データを抽出する手段も備えている。更に、この抽出された特徴量データに基づき、ＨＭＭを構成することで対象話者のパターンモデルを生成する手段も備えている。なお、本実施形態においては、上記した特徴量データ及び対象話者のパターンモデルを共に、音声データと称する。
【０３８５】
第２のデータ制御部１０ｃは、データ処理装置１０の各構成要素間のデータの授受を制御したり、処理の流れを制御したりする機能を備えたものである。
位置算出部１０ｄは、取得した音声データと複数話者のパターンモデルとの位置関係を算出する機能を有したものである。
つまり、特徴量データが音声データである場合は、この音声データと後述するデータ記憶部１０ｉに記憶された複数話者のパターンモデルとの尤度計算を行い、この算出結果に基づき、複数話者のパターンモデルの中から最も尤度の高いパターンモデルを選択し、このパターンモデルを上記対象話者の音声データと等価なものとして扱う。ここで、本実施形態において、上記複数話者のパターンモデルはＨＭＭにより生成されており、これらの中から特定のパターンモデル（対象話者の音声データに対応したパターンモデルでも良い）を基準として、それぞれ相対位置が決められる。そして、この相対位置情報を有するパターンモデルにより音響空間が形成される。
【０３８６】
従って、この場合は、選択されたパターンモデルの相対位置情報が対象話者の音声データの位置情報となる。
一方、特徴量データからＨＭＭを構成することにより生成されたパターンモデルが音声データである場合は、この音声データと上記した基準となるパターンモデルとの相対位置を算出し、この算出結果を音声データの位置情報とする。
【０３８７】
類似話者検出部１０ｅは、特徴量データが音声データである場合は、選択されたパターンモデルとそれ以外の複数話者のパターンモデルとの数学的距離を算出して、この算出された各距離を、予め設定された数学的距離の閾値Ｔｈと比較し、当該比較結果に基づき対象話者の音声データから閾値Ｔｈの距離内にある音声データを検出し、その音声データに対応する話者を類似話者とするものである。
【０３８８】
例えば、閾値Ｔｈ内に存在するパターンモデルのうち対象話者の音声データと最も近い位置にあるものに対応した話者を類似話者としたり、対象話者の音声データに近い順に幾つかの音声データに対応した話者を類似話者としたり、あるいは、閾値Ｔｈ内に存在するパターンモデルが一つもない場合は、閾値を変更して再度比較処理を行ったり、類似話者無しと判断したりする。ここで、本実施形態においては、数学的距離として、上式（８）に示すユークリッド距離又は上式（９）に示すバタチャリヤ距離を算出する。
【０３８９】
ここで、数学的距離の算出は音素毎に行うことが可能であり、類似話者を検出する処理も音素毎に行うことが可能である。本実施形態では、この処理方法を、システム利用者が任意に切り替えて設定することが可能である。
類似性評価部１０ｆは、操作部３ｈにより特定話者が指定されたときに、この特定話者のパターンモデルと対象話者の音声データとの数学的距離を算出して、この算出された距離に基づき対象話者の音声と特定話者の音声との類似性を評価するものである。
【０３９０】
ここで、音響空間の構築において、パターンモデルとしては、高い声により発声された音声データ、低い声により発声された音声データ、早口で発声された音声データ、ゆっくりと発声された音声データなどの色々な種類の発話様式により発声された音声データから構成されたものを用いる。
従って、上記した類似性の評価は、複数種類の発話様式のパターンモデルに対して行われることになる。
【０３９１】
第２の情報表示部１０ｇは、類似話者検出部１０ｅの検出結果や類似性評価部１０ｆの評価結果等の情報を表示する機能を有したものである。ここで表示される情報としては、例えば、評価結果を数値化した情報、ＨＭＭであるパターンモデルの上記算出された数学的距離の関係を元に、公知のＳａｍｍｏｎ法により、当該ＨＭＭの距離関係を２次元に射影したものなどがある。
【０３９２】
矯正情報生成部１０ｈは、類似性評価部１０ｆの評価結果に基づき、対象話者の音声と特定話者の音声との類似性を高めるために、対象話者が自己の音声をどのように矯正したら良いのかを示す矯正情報を生成するものである。生成された矯正情報は、第１のデータ制御部９ｂ及び第２のデータ通信部１０ａにより、対応する情報処理端末９に送信される。ここで、矯正情報は、例えば、予め対象話者の発話時の特徴データを取得しておき、この特徴データと評価結果とに基づき生成されるもので、対象話者の音声と特定話者の音声との類似性を高めるために、発声するときの口の形をどうすれば良いのかを指示する情報や、アクセント位置を指示する情報などを含んだものである。
【０３９３】
データ記憶部１０ｉは、複数話者のパターンモデル等の必要なデータを記憶するものである。
ここで、本実施形態において、データ処理装置１０は、図示しないプロセッサと、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、専用のプログラムの記憶されたＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、を備えており、プロセッサにより専用のプログラムを実行することにより上記各部の制御を行う。
【０３９４】
更に、図５４〜図５６に基づき、データ処理システム８のより具体的な動作を説明する。図５４は、データ処理システム８の初期データベースの構築処理及びデータ評価処理の流れを示す図であり、図５５は、音響空間を２次元射影して表示した一例を示す図であり、（ａ）は、ＨＭＭを単語（又は文章）単位で扱った場合のＨＭＭの各座標を点で表示したものであり、（ｂ）は、ＨＭＭを音素単位（図では「ａ」，「ｉ」，「ｕ」，「ｅ」，「ｏ」）で扱った場合の各ＨＭＭの音素毎の各座標を点で表示したものであり、図５６は、発話様式を軸の要素としたときの２次元射影表示の一例を示す図である。
【０３９５】
以下、図５４（ａ）及び図５５に基づき、特徴量データが音声データである場合の初期データベースの構築処理、類似話者の検出処理及び類似性評価処理の第１の実施形態を説明する。
まず、図５４（ａ）の（１）〜（４）に示す、評価処理を行うための初期データベースの生成処理の流れを説明する。ここで、既にデータベースが生成されている場合は、以下の（１）〜（４）の処理は行う必要がない。
【０３９６】
（１）第２のデータ取得部１０ｂによって、登録対象話者Ｎ人（Ｎは整数）の音声を取得する。上記したように、本実施形態においては、高い声により発声された音声、低い声により発声された音声、早口で発声された音声、ゆっくりと発声された音声などの色々な種類の発話様式により発声された音声を取得する。
（２）第２のデータ取得部１０ｂによって、取得した音声の音響分析を行い特徴量の抽出を行う。
【０３９７】
（３）第２のデータ取得部１０ｂによって、抽出された特徴量に基づき特定話者及び不特定話者用のＨＭＭを生成し、各特定話者用のパターンモデル及び不特定話者のパターンモデルを生成するために所定の学習手法を用いて前記各ＨＭＭの学習を行う。
（４）第２のデータ取得部１０ｂによって、特定話者Ｎ人分のパターンモデル（ＨＭＭ）及び不特定話者のパターンモデル（ＨＭＭ）をデータ記憶部１０ｉに記憶する。
【０３９８】
次に、図５４（ａ）の（５）〜（１０）に示す、類似話者の検出処理及び類似性の評価処理の流れを説明する。
（５）第２のデータ取得部１０ｂによって、情報処理端末９からシステム利用者の音声データを取得する。
（６）第２のデータ取得部１０ｂによって、取得した音声データの分析を行い特徴量の抽出を行う。
【０３９９】
（７）位置算出部１０ｄによって、抽出した特徴量データと複数の特定話者のパターンモデルとの尤度を算出する。ここで、発声内容は既知とする（発声時に入力されているものとする）。
（８）位置算出部１０ｄによって、算出された尤度から最も尤度の高いパターンモデルを選択し、このパターンモデルと他の特定話者のパターンモデルとの数学的距離を算出する。このとき、上位Ｍ個（Ｍは整数（Ｍ＜Ｎ））のパターンモデルを用いても良く、この場合は、選択されたＭ個のパターンモデルそれぞれについて、他のパターンモデルとの数学的距離を算出する。ここで、本実施形態においては、オペレータが、音声データの位置関係を視覚的に判断可能なように、数学的距離が算出された時点で、後述する（１２）及び（１３）の処理により、これら算出された数学的距離に基づく２次元射影化により、その座標データを図５５に示すように表示することが可能となっている。
【０４００】
（９）類似話者検出部１０ｅによって、上記算出された数学的距離に基づき、類似話者の検出処理を行う。つまり、上記算出された対象話者用のパターンモデルからの距離が閾値Ｔｈ以内にあるパターンモデルを検出する。例えば、図５５（ａ）に示すように、対象話者のパターンモデルが図中の×印で示された座標点５０である場合に、そのパターンモデルを中心とした半径Ｔｈの円内にあるパターンモデルの中から類似話者を検出する。ここでは、図５５（ａ）中における、座標点５０に近い順に座標点５０ａ〜５０ｃの３つのパターンモデルを選択する。
【０４０１】
このようにして、選択されたパターンモデルに対応する話者が、対象話者の音声に類似した音声を有する類似話者として検出される。検出結果は、第２のデータ制御部２ｃ及び第２の情報表示部１０ｇによって表示される。
更に、上記検出結果に係る情報は、第２のデータ通信部１０ａを介して、例えば、対象話者がシステム利用者Ａであれば、情報処理端末９Ａに送信される。
【０４０２】
ここで、本実施形態において、検出結果に係る情報は、選択されたパターンモデルに対応する話者の名前等の類似話者に関する情報、２次元射影化された対象話者のパターンモデルと類似話者のパターンモデルとの位置関係情報となる。
また、上記したように上位Ｍ個のパターンモデルについて数学的距離を算出した場合、これは選択されたパターンモデルが間違いであった場合（選択されたパターンモデルが対象話者の音声とかけはなれた特徴を有していた場合など）を考慮したものであり、この場合は、それぞれについて閾値Ｔｈの距離内にある他者のパターンモデルを選択し、これらを類似話者とする。
【０４０３】
ここで、本実施形態において、上記検出処理は、類似話者検出部１０ｅにより自動的に行っているが、２次元射影化により表示された音響空間やその他の表示情報からオペレータが自分で判断して検出するようにしても良い。
また、上記検出処理は、上記した複数種類の発話様式に対応するパターンモデルに対してそれぞれ行うことで、発話様式Ａの音声は類似しているが、発話様式Ｂの音声は類似していないといったように、発話様式の種類毎の検出が可能であり、これらの検出結果から類似している音声の最も多い話者を類似話者としたり、それぞれの発話様式毎に最も近い話者を類似話者としたりすることが可能である。
【０４０４】
なお、類似話者が検出され、そのデータが情報処理端末９に送信されると、情報処理端末９側では、取得した情報が表示される。つまり、上記した類似話者に関する情報及び２次元射影化された対象話者のパターンモデルと類似話者のパターンモデルとの位置関係情報が表示される。これにより、システム利用者は、操作部９ｅの操作により、表示された情報を見て、音声を真似したい特定の話者を指定する。指定された情報は、データ処理装置１０に送信され、図５４（ａ）における処理（１０）に移行する。
【０４０５】
（１０）類似性評価部１０ｆによって、システム利用者（対象話者）により指定された特定話者のパターンモデルと対象話者のパターンモデルとの類似性を評価する。
例えば、対象話者のパターンモデルと特定話者のパターンモデルとの数学的距離に基づき、両者間の距離が短ければ類似性が高く、一方、距離が長ければ類似性は低いといったように評価を行う。
【０４０６】
本実施形態においては、両者の座標が一致したときを類似率１００％（そっくり）とし、対象話者の座標点５２から距離Ｓ以上の位置にあるパターンモデルを特定話者のパターンモデルとの類似率０％（全く類似していない）として、図５５（ａ）に示すように、対象話者の座標点５２から特定話者の座標点５２ａまでの距離を類似率（％）で表したものを評価結果として表示する。
【０４０７】
ここで、類似性の評価処理は、特定話者の上記した複数種類の発話様式に対応するパターンモデルについてそれぞれ行う。
また、評価結果に係る情報は、第２のデータ通信部１０ａを介して、例えば、対象話者がシステム利用者Ｂであれば、情報処理端末９Ｂに送信される。
また、本実施形態において、評価結果に係る情報は、特定話者の複数種類の発話様式にそれぞれ対応したパターンモデルに対する評価結果、これらパターンモデルと対象話者のパターンモデルとの２次元射影化された位置関係情報、後述する矯正情報となる。
【０４０８】
（１１）矯正情報生成部１０ｈによって、上記類似性評価部１０ｆの評価結果に基づき、対象話者の音声と特定話者の音声との類似性を高めるための、対象話者の音声に対する矯正情報を生成する。
ここで、この矯正情報の生成は、改めて対象話者の音声データを取得して、その音声データに対応するパターンモデルに対して行っても良いし、上記処理（５）及び処理（６）において始めに取得した音声データに対して行っても良い。
【０４０９】
更に、生成された矯正情報は、上記した評価結果に係る情報に含んで情報処理端末９に送信される。
一方、情報処理端末９では、上記矯正情報を取得すると、第１の情報表示部９ｄによって矯正情報を表示する。従って、対象話者は、表示された矯正情報を見て、自己の音声を矯正し特定話者の音声と自己の音声との類似性を高める練習を行うことが可能である。
【０４１０】
（１２）第２の情報表示部１０ｇによって、上記算出された数学的距離の関係（相対距離）に基づき、公知のＳａｍｍｏｎ法により全てのパターンモデル（ＨＭＭ）の距離関係を２次元に射影する。
（１３）第２の情報表示部１０ｇによって、上記２次元に射影された各ＨＭＭの座標情報を図５５（ａ）、（ｂ）に示すように平面上の点として表示する。つまり、一つ一つの点が各話者のパターンモデルとなり、点と点との距離が両者の類似度を示す（両者の距離が短い方が類似度が高い）。
【０４１１】
更に、図５５（ｂ）は、上記したように、ＨＭＭを音素単位（図では「ａ」，「ｉ」，「ｕ」，「ｅ」，「ｏ」）で扱った場合の各ＨＭＭの音素毎の各座標を点で表示したものである。この場合は、上記した類似話者の検出や類似性の評価を音素毎に視覚的に行うことが可能である。
更に、発話様式毎のパターンモデルに対して、例えば、それぞれの発話様式の情報を付加することにより、図５６に示すように、発話様式の要素（ここでは発話速度及び声の高さ）を軸とした２次元空間を構成することが可能である。このような発話様式の要素を軸とした２次元射影化表示を情報処理端末９側でリアルタイムに行うことで、対象話者は、発話する毎に、自己の音声データの位置の変移を視覚的に把握することができるので、自己の音声を、目標とする特定話者の音声に似せるための発話方法を会得しやすくなる。但し、リアルタイム表示を行うためには上記した情報処理端末９とデータ処理装置１０とをインターネットを介して接続する構成とはせずに、データ処理装置１０に直接対象話者の音声を入力する構成の方が適している。
【０４１２】
更に、図５４（ｂ）及び図５５に基づき、特徴量データから生成されたパターンモデルが音声データである場合の初期データベースの構築処理及び照合性能検出処理の第２の実施形態を説明する。
まず、図５４（ｂ）の（１）〜（４）に示す、話者照合を行うためのデータベースの生成処理は、上記第１の実施形態における図５４（ａ）の（１）〜（４）と同様であるので記載を省略する。
【０４１３】
次に、図５４（ｂ）の（５）〜（１１）に示す、類似話者の検出処理及び類似性の評価処理の流れを説明する。
（５）第２のデータ取得部１０ｂによって、情報処理端末９からシステム利用者の音声データを取得する。
（６）第２のデータ取得部１０ｂによって、取得した音声データの分析を行い特徴量の抽出を行う。
【０４１４】
（７）第２のデータ取得部１０ｂによって、抽出された特徴量データに基づき取得した音声のＨＭＭを構成し、所定の学習手法により学習を行う。
（８）第２のデータ取得部１０ｂによって、ＨＭＭの学習により、対象話者の音声のパターンモデルを生成してデータ記憶部１０ｉに記憶する。
（９）位置算出部１０ｄによって、上記生成された対象話者のパターンモデルと他の特定話者のパターンモデルとの数学的距離を算出する。ここで、本実施形態においては、オペレータが、音声データの位置関係を視覚的に判断可能なように、数学的距離が算出された時点で、後述する（１３）及び（１４）の処理により、これら算出された数学的距離に基づく２次元射影化により、その座標データを図５５に示すように表示することが可能となっている。
【０４１５】
（１０）類似話者検出部１０ｅによって、上記算出された数学的距離に基づき、類似話者の検出処理を行う。つまり、上記算出された対象話者用のパターンモデルからの距離が閾値Ｔｈ以内にあるパターンモデルを検出する。例えば、図５５（ａ）に示すように、対象話者のパターンモデルが図中の×印で示された座標点５０である場合に、そのパターンモデルを中心とした半径Ｔｈの円内にあるパターンモデルの中から類似話者を検出する。ここでは、図５５（ａ）中における、座標点５０に近い順に座標点５０ａ〜５０ｃの３つのパターンモデルを選択する。
【０４１６】
このようにして、選択されたパターンモデルに対応する話者が、対象話者の音声に類似した音声を有する類似話者として検出される。検出結果は、第２のデータ制御部２ｃ及び第２の情報表示部１０ｇによって表示される。
更に、検出結果に係る情報は、第２のデータ通信部１０ａを介して、例えば、対象話者がシステム利用者Ａであれば、情報処理端末９Ａに送信される。
【０４１７】
ここで、本実施形態において、検出結果に係る情報は、選択されたパターンモデルに対応する話者の名前等の類似話者に関する情報、２次元射影化された位置関係情報となる。
また、上記したように上位Ｍ個のパターンモデルについて数学的距離を算出した場合、これは選択されたパターンモデルが間違いであった場合（選択されたパターンモデルが対象話者の音声とかけはなれた特徴を有していた場合など）を考慮したものであり、この場合は、それぞれについて閾値Ｔｈの距離内にある他者のパターンモデルから類似話者を検出する。
【０４１８】
ここで、本実施形態において、上記検出処理は、類似話者検出部１０ｅにより自動的に行っているが、２次元射影化により表示された音響空間やその他の表示情報からオペレータが自分で判断して検出するようにしても良い。
また、上記検出処理は、上記した複数種類の発話様式に対応するパターンモデルに対してそれぞれ行うことで、発話様式Ａの音声は類似しているが、発話様式Ｂの音声は類似していないといったように、発話様式の種類毎の検出が可能であり、これらの検出結果から類似している音声の最も多い話者を類似話者としたり、それぞれの発話様式毎に最も近い話者を類似話者としたりすることが可能である。
【０４１９】
なお、類似話者が検出され、そのデータが情報処理端末９に送信されると、情報処理端末９側では、取得した情報が表示される。つまり、上記した類似話者に関する情報及び２次元射影化された対象話者のパターンモデルと類似話者のパターンモデルとの位置関係情報が表示される。これにより、システム利用者は、操作部９ｅの操作により、表示された情報を見て、音声を真似したい特定の話者を指定する。指定された情報は、データ処理装置１０に送信され、図５４（ｂ）における処理（１１）に移行する。
【０４２０】
（１１）類似性評価部１０ｆによって、システム利用者（対象話者）により指定された特定話者のパターンモデルと対象話者のパターンモデルとの類似性を評価する。
例えば、対象話者のパターンモデルと特定話者のパターンモデルとの数学的距離に基づき、両者間の距離が短ければ類似性が高く、一方、両者間の距離が長ければ類似性は低いといったように評価を行う。
【０４２１】
本実施形態においては、両者の座標が一致したときを類似率１００％（そっくり）とし、対象話者の座標点５２から距離Ｓ以上の位置にあるパターンモデルを特定話者のパターンモデルとの類似率０％（全く類似していない）として、図５５（ａ）に示すように、対象話者の座標点５２から特定話者の座標点５２ａまでの距離を類似率（％）で表したものを評価結果として表示する。
【０４２２】
ここで、類似性の評価処理は、特定話者の上記した複数種類の発話様式に対応するパターンモデルについてそれぞれ行う。
また、評価結果に係る情報は、第２のデータ通信部１０ａを介して、例えば、対象話者がシステム利用者Ｂであれば、情報処理端末９Ｂに送信される。
また、本実施形態において、評価結果に係る情報は、特定話者の複数種類の発話様式にそれぞれ対応したパターンモデルに対する評価結果、これらパターンモデルと対象話者のパターンモデルとの２次元射影化された位置関係情報及び後述する矯正情報となる。
【０４２３】
（１２）矯正情報生成部１０ｈによって、上記類似性評価部１０ｆの評価結果に基づき、対象話者の音声と特定話者の音声との類似性を高めるための、対象話者の音声に対する矯正情報を生成する。
ここで、この矯正情報の生成は、改めて対象話者の音声データを取得して、その音声データに対応するパターンモデルに対して行っても良いし、上記処理（５）及び処理（６）において始めに取得した音声データに対して行っても良い。
【０４２４】
更に、生成された矯正情報は、上記した評価結果に係る情報に含んで情報処理端末９に送信される。
一方、情報処理端末９では、上記矯正情報を取得すると、第１の情報表示部９ｄによって矯正情報を表示する。従って、対象話者は、表示された矯正情報を見て、それに習って自己の音声を矯正し特定話者の音声と自己の音声との類似性を高める練習を行うことが可能である。
【０４２５】
ここで、図５４（ｂ）の（１３）、（１４）に示す２次元射影化による音響空間の表示処理及び評価結果の表示処理は、上記した第１の実施形態における図５４（ａ）の（１２）、（１３）と同様の処理であるので記載を省略する。
更に、図５７に基づき、情報処理端末９の動作処理の流れについて説明する。図５７は、情報処理端末９の動作処理を示すフローチャートである。
【０４２６】
図５７に示すように、まずステップＳ１２００に移行し、第１のデータ制御部９ｂにおいて、音声データの取得処理が開始されたか否かを判定し、開始されたと判定された場合（Ｙｅｓ）はステップＳ１２０２に移行し、そうでない場合（Ｎｏ）は開始されるまで判定処理を続行する。
ステップＳ１２０２に移行した場合は、第１のデータ取得部９ａによって、対象話者（本実施形態では、システム利用者Ａ〜Ｃのいずれか）の発声した音声（アナログデータ）を取得しステップＳ１２０４に移行する。
【０４２７】
ステップＳ１２０４では、第１のデータ取得部９ａにおいて、取得した音声（アナログデータ）をデジタルデータに変換してステップＳ１２０６に移行する。
ステップＳ１２０６では、第１のデータ制御部９ｂによって、上記デジタルデータに変換された音声データを、第１のデータ通信部９ｃを介してデータ処理装置１０に送信してステップＳ１２０８に移行する。
【０４２８】
ステップＳ１２０８では、第１のデータ制御部９ｂにおいて、データ処理装置１０から上記送信した音声データに対する類似話者の検出結果情報を、第１のデータ通信部９ｃを介して受信したか否かを判定し、受信したと判定された場合（Ｙｅｓ）はステップＳ１２１０に移行し、そうでない場合（Ｎｏ）は受信するまで判定処理を続行する。
ステップＳ１２１０に移行した場合は、第１のデータ制御部９ｂの制御命令に応じて、第１の情報表示部９ｄにおいて、上記受信した検出結果情報を表示してステップＳ１２１２に移行する。
【０４２９】
ステップＳ１２１２では、第１のデータ制御部９ｂにおいて、操作部９ｅの操作によって、特定話者が選択されたか否かを判定し、選択されたと判定された場合（Ｙｅｓ）はステップＳ１２１４に移行し、そうでない場合（Ｎｏ）は選択されるまで待機する。
ステップＳ１２１４に移行した場合は、第１のデータ制御部９ｂによって、上記選択された話者の情報を、第１のデータ通信部９ｃを介してデータ処理装置１０に送信してステップＳ１２１６に移行する。
【０４３０】
ステップＳ１２１６では、第１のデータ制御部９ｂにおいて、データ処理装置１０から上記送信した音声データ及び選択話者情報に対する評価結果情報を、第１のデータ通信部９ｃを介して受信したか否かを判定し、受信したと判定された場合（Ｙｅｓ）はステップＳ１２１８に移行し、そうでない場合（Ｎｏ）は受信するまで判定処理を続行する。
ステップＳ１２１６に移行した場合は、第１のデータ制御部９ｂの制御命令に応じて、第１の情報表示部９ｄにおいて、上記受信した評価結果情報を表示してステップＳ１２００に移行する。
【０４３１】
更に、図５８に基づき、データ処理装置１０の動作処理の流れを説明する。図５８は、データ処理装置１０の動作処理を示すフローチャートである。
図５８に示すように、まずステップＳ１３００に移行し、第２のデータ制御部１０ｃにおいて、第２のデータ通信部１０ａを介して情報処理端末９から音声データを取得したか否かを判定し、取得したと判定された場合（Ｙｅｓ）はステップＳ１３０２に移行し、そうでない場合（Ｎｏ）は取得するまで判定処理を続行する。
【０４３２】
ステップＳ１３０２に移行した場合は、第２のデータ取得部１０ｂにおいて、取得した音声の特徴量を抽出してステップＳ１３０４に移行する。ここで、上記した第１の実施形態においては、上記した尤度計算を行い、複数話者のパターンモデルの中から最も音響的特徴の類似したパターンを選択し、これを取得した音声のパターンモデルとする。一方、上記した第２の実施形態の場合は、抽出した特徴量から取得した音声のパターンモデルを生成する。
【０４３３】
ステップＳ１３０４では、位置算出部１０ｄにおいて、取得した音声のパターンモデルと他の複数話者のパターンモデルとの数学的距離を算出してステップＳ１３０６に移行する。
ステップＳ１３０６では、類似話者検出部１０ｅにおいて、上記算出された数学的距離に基づき、取得した音声データに対する類似話者検出処理を行いステップＳ１３０８に移行する。
【０４３４】
ステップＳ１３０８では、第２の情報表示部１０ｇにおいて、上記検出結果に係る情報である検出結果情報を表示してステップＳ１３１０に移行する。
ステップＳ１３１０では、第２のデータ制御部１０ｃによって、第２のデータ通信部１０ａを介して、上記検出結果情報を対象の情報処理端末９に送信してステップＳ１３１２に移行する。
【０４３５】
ステップＳ１３１２では、第２のデータ制御部１０ｃにおいて、第２のデータ通信部１０ａを介して情報処理端末９から選択話者情報を取得したか否かを判定し、取得したと判定された場合（Ｙｅｓ）はステップＳ１３１４に移行し、そうでない場合（Ｎｏ）は取得するまで判定処理を続行する。
ステップＳ１３１４に移行した場合は、類似性評価部１０ｆにおいて、対象話者のパターンモデルと選択された話者のパターンモデルとに基づき、両者の類似性を評価してステップＳ１３１６に移行する。ここで、類似性の評価後に、当該評価結果に基づき矯正情報生成部１０ｈにおいて、対象話者の音声と特定話者の音声との類似性を高めるための矯正情報を生成する。
【０４３６】
ステップＳ１３１６では、第２の情報表示部１０ｇにおいて、上記評価結果に係る情報である評価結果情報を表示してステップＳ１３１８に移行する。
ステップＳ１３１８では、第２のデータ制御部１０ｃによって、第２のデータ通信部１０ａを介して、上記評価結果情報を対象の情報処理端末９に送信してステップＳ１３００に移行する。
【０４３７】
更に、図５９に基づき、第２の情報表示部１０ｇにおける２次元射影化による座標情報の表示処理の流れを説明する。図５９は、第２の情報表示部１０ｇにおける２次元射影化による座標情報の表示処理を示すフローチャートである。
図５９に示すように、まずステップＳ１４００に移行し、位置算出部１０ｄにおいて数学的距離の算出が完了したか否かを判定し、完了したと判定された場合（Ｙｅｓ）はステップＳ１４０２に移行し、そうでない場合（Ｎｏ）は完了するまで待機する。
【０４３８】
ステップＳ１４０２に移行した場合は、公知のＳａｍｍｏｎ法を用いて、対象話者の音声のパターンモデルと他の複数話者のパターンモデルと数学的距離を２次元射影化してステップＳ１４０４に移行する。
ステップＳ１４０４では、上記２次元射影化処理により２次元の情報となった数学的距離に基づき、各パターンモデルの座標情報を平面上の点として表示して処理を終了する。
【０４３９】
以上、データ処理装置１０は、第２のデータ取得部１０ｂによって、対象話者の音声データを取得し、位置算出部１０ｄ及びデータ評価部３ｅによって、当該音声データと類似した音声を有する話者を検出し、第２の情報表示部１０ｇによって、この検出結果に係る検出結果情報を表示し、更に、対象話者の音声のパターンモデルと、類似話者又は他の複数話者のパターンモデルとの位置関係を２次元の座標として表示することが可能である。
【０４４０】
また、情報処理端末９は、データ処理装置１０から上記した検出結果情報を取得し、第１の情報表示部９ｄにより、前記検出結果情報を表示し、対象話者は、操作部９ｅを操作することで表示された検出結果情報に基づき、特定の話者を選択し指定することが可能である。
また、データ処理装置１０は、上記指定された特定話者の情報を取得し、類似性評価部１０ｆによって、前記特定話者の音声と対象話者の音声との類似性を評価し、第２の情報表示部１０ｇによって、当該評価結果情報を表示することが可能である。
【０４４１】
また、情報処理端末９は、データ処理装置１０から上記した評価結果情報を取得し、第１の情報表示部９ｄにより、前記評価結果情報を表示することが可能である。
ここで、図５２に示す、第１のデータ取得部９ａ、第１のデータ制御部９ｂ及び第１のデータ通信部９ｃによる、音声データの取得処理及び送信処理は、請求項６７記載の音声データ送信手段に対応し、第１のデータ制御部９ｂ及び第１の情報表示部９ｄによる検出結果情報及び評価結果情報の表示処理は、請求項６７記載の情報表示手段に対応し、操作部９ｅによる特定話者の選択処理は、請求項５９又は６０記載の特定話者指定手段に対応する。
【０４４２】
更に、図５３に示す、第２のデータ通信部１０ａ及び第２のデータ取得部１０ｂによる音声データの取得処理は、請求項５６又は５７に記載の音声データ取得手段に対応し、位置算出部１０ｄは、請求項５６又は５７項に記載の位置算出手段に対応し、類似話者検出部１０ｅは、請求項５６、５７及び６２のいずれか１項に記載の類似話者検出手段に対応し、類似性評価部１０ｆは、請求項５８乃至６４のいずれか１項に記載の類似性評価手段に対応し、第２の情報表示部１０ｇは、請求項５６又は５７記載の検出結果表示手段、請求項５８記載の評価結果表示手段、及び、請求項５６、５７、５９及び６０のいずれか１項に記載の位置関係情報表示手段に対応し、矯正情報生成部１０ｈは、請求項６１記載の矯正情報生成手段に対応する。
【０４４３】
なお、上記実施形態においては、情報処理端末９とデータ処理装置１０とをインターネットを介して接続する構成としているが、これに限らず、データ処理装置１０に直接対象話者の音声を入力する構成としても良い。これにより、入力される対象話者の音声に対する特定話者の音声との類似性の評価結果をリアルタイムに表示する等の応答速度を必要とする処理が容易となる。
【産業上の利用可能性】
【０４４４】
以上説明したように、本発明に係る請求の範囲第１項〜請求の範囲第７項のいずれかに記載のデータ処理装置によれば、複数のパターンモデル対応低次元ベクトルを、低次元の要素の値に基づき、前記距離関係を保持した状態で、前記パターンモデル対応低次元ベクトルと同一次元の低次元空間上の座標点として表示するようにしたので、各パターンモデル相互間の距離関係（類似関係）を視覚的に簡易に捉えることが可能となる。更に、４次元以上の高次元のパターンモデルを３次元以下の低次元のパターンモデル対応低次元ベクトルに変換することが可能となるので、クラスタリング等の様々な処理が行い易くなる。
【０４４５】
また、請求の範囲第８項又は請求の範囲第９項記載のデータ処理装置によれば、パターンモデル対応低次元ベクトル表示手段によって低次元空間上に表示される複数のパターンモデル対応低次元ベクトルの座標点を、前記低次元空間上において複数の領域に自動的に区分するようにしたので、複数のパターンモデル対応低次元ベクトルの座標点を簡易に区分することが可能であり、これにより、特定のパターンモデルがどの区分領域に該当するのかを、視覚的に簡易に知ることが可能である。
【０４４６】
また、請求の範囲第１０項記載のデータ処理装置によれば、領域区分手段によって自動区分された区分内容を変更出来るようにしたので、区分内容が適切でないときや、新たなパターンモデルが加わったときなどに、適切な区分内容に変更することが可能である。
また、請求の範囲第１１項記載のデータ処理装置によれば、区分された各領域毎に選択されたパターンモデル対応低次元ベクトルに対応した対象の所定データに基づき特定パターンモデルを生成するようにしたので、例えば、特定の対象のパターンモデルが含まれる領域内のパターンモデル対応低次元ベクトルに対応した対象の所定データを用いてパターンモデルを生成することにより、特定の対象に向けた適切なパターンモデルの生成が可能である。また、特定領域の所定データを用いてパターンモデルを生成するので、パターンモデルが使用するメモリ容量を軽減することが可能である。
【０４４７】
ここで、請求の範囲第１２項記載のデータ処理装置制御プログラムは、請求の範囲第１項記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求の範囲第１３項記載のデータ処理装置制御プログラムは、請求の範囲第１１項記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
【０４４８】
また、請求の範囲第１４項記載のパターンモデル探索装置によれば、新規対象に係る所定データに対する区分結果の各領域に対応した領域パターンモデルの尤度に基づき、各領域パターンモデルの中から新規対象の所定データをパターン認識するのに適した領域パターンモデルを探索することが可能である。
また、請求の範囲第１５項記載のパターンモデル探索装置制御プログラムは、請求の範囲第１４項記載のパターンモデル探索装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
【０４４９】
また、請求の範囲第１６項記載のデータ処理装置によれば、各パターンモデル相互間の距離関係（類似関係）を視覚的に簡易に捉えることが可能となる。また、４次元以上の高次元のパターンモデルを３次元以下の低次元のパターンモデル対応低次元ベクトルに変換することが可能となるので、クラスタリング等の様々な処理が行い易くなる。更に、数学的距離の算出に所定データの出現頻度を用いたので、例えば、この出現頻度により数学的距離に重み付けを行うことにより、各パターンモデルに対応する全ての所定データを考慮したパターンモデル相互間の距離を定義することが可能となり、パターンモデル相互間の距離関係を正確に算出することが可能となる。
【０４５０】
また、請求の範囲第１７項記載のデータ処理装置によれば、請求の範囲第１６項の前記効果に加え、数学的距離の算出に用いる出現頻度に、認識性能が所定の閾値より低いパターン単位の出現頻度を用いるようにしたので、これにより、認識性能の低い対象のパターンモデルを正確な距離関係で低次元表示することが可能となり、これにより、認識性能の低い対象のパターンモデルをクラスタリング等し易くすることが可能である。
【０４５１】
また、請求の範囲第１８項記載のデータ処理装置によれば、各パターンモデル相互間の距離関係（類似関係）を視覚的に簡易に捉えることが可能となると共に、複数のパターンモデル対応低次元ベクトルの座標点を簡易に区分できるようにしたので、特定のパターンモデルがどの区分領域に該当するのか等を視覚的に簡易に知ることが可能となる。更に、新規対象に係る所定データに対する区分結果の各領域に対応した領域パターンモデルの尤度に基づき、各領域パターンモデルの中から新規対象の所定データをパターン認識するのに適した領域パターンモデルを探索することが可能である。
【０４５２】
また、請求の範囲第１９項記載のデータ処理装置によれば、請求の範囲第１８項の前記効果に加え、数学的距離の算出に音声データの出現頻度を用いたので、例えば、この出現頻度により数学的距離に重み付けを行うことにより、各パターンモデルに対応する全ての所定データを考慮したパターンモデル相互間の距離を定義することが可能となり、パターンモデル相互間の距離関係を正確に算出することが可能となる。
【０４５３】
また、請求の範囲第２０項記載のデータ処理装置によれば、請求の範囲第１９項の前記効果に加え、数学的距離の算出に用いる出現頻度に、認識性能が所定の閾値より低いパターン単位の出現頻度を用いるようにしたので、これにより、認識性能の低い対象のパターンモデルを正確な距離関係で低次元表示することが可能となり、これにより、認識性能の低い対象のパターンモデルをクラスタリング等し易くすることが可能である。
【０４５４】
また、請求の範囲第２１項記載のデータ処理装置によれば、請求の範囲第１８項乃至請求の範囲第２０項のいずれか前記効果に加え、前記外円及び内円からなる複数の同心円同士の各外周間に形成される環状の領域を、複数の扇形の領域に区分することが可能となる。
また、請求の範囲第２２項記載のデータ処理装置によれば、請求の範囲第２１項の前記効果に加え、２次元視覚化されたパターンモデルは、中心から外側に向かうほど認識性能の低い（他のモデルと類似性の低い）パターンモデルが分布する特性があるので、認識性能が低いパターンモデルの分布している領域を細かく区分することでより正確なグルーピングが可能となる。
【０４５５】
また、請求の範囲第２３項記載のデータ処理装置によれば、請求の範囲第２１項又は請求の範囲第２２項の前記効果に加え、特定対象用のパターンモデルを生成する際に、当該特定対象の所定データが区分された領域の境界に位置するような場合にも簡易に対応することが可能となる。
また、請求の範囲第２４項記載のデータ処理装置によれば、請求の範囲第２１項乃至請求の範囲第２３項のいずれかの前記効果に加え、最内円から外円方向に向かって新規対象の所定データに対する領域パターンモデルの尤度を算出するようにしたので、新規対象の所定データに適合した区分領域の領域パターンモデルを高速に探索することが可能となる。
【０４５６】
また、請求の範囲第２５項記載のデータ処理装置によれば、請求の範囲第２４項の前記効果に加え、区分結果の最内円から外円方向に向かって順に、最も尤度の高い（認識性能の高い）領域パターンモデルに対応した区分領域に向かって探索するようにしたので、新規対象の所定データに適合した区分領域の領域パターンモデルを高速に探索することが可能となる。
【０４５７】
また、請求の範囲第２６項記載のデータ処理装置によれば、請求の範囲第２４項の前記効果に加え、区分結果の最内円から外円方向に向かって順に、上位ｍ個の尤度に対応する領域パターンモデルに対応した区分領域に向かって探索するようにしたので、新規対象の所定データにより適合した区分領域の領域パターンモデルを高速に探索することが可能となる。
【０４５８】
また、請求の範囲第２７項記載のデータ処理装置によれば、請求の範囲第１８項乃至請求の範囲第２６項のいずれか１の前記効果に加え、少なくとも、話者の名前、男性／女性の性別、子供／大人／高齢者の年齢別等の話者の種類、発話する、数字、文章、単語等の発話語彙、発話速度、発話音量、方言に由来する特徴等の発話様式及び室内、自動車内、工場内、屋外（場所等により種類分けする）等の発話環境を考慮して音声データに対するパターンモデルを生成することが可能である。
【０４５９】
また、請求の範囲第２８項記載のデータ処理装置によれば、請求の範囲第１８項乃至請求の範囲第２７項のいずれか１の前記効果に加え、例えば、所定データが音声データの場合に、室内（発話環境）で大人の男（話者の種類）が単語（発話語彙）を早口（発話様式）で発話したといったように、任意の特定条件の組み合わせを一つのグループとして形成することが可能となる。無論、例えば、室内（発話環境）で大人の男（話者の種類）が発話したといったように、もっと大きな括りでグループ分けしても良い。
【０４６０】
また、請求の範囲第３０項記載のデータ処理装置によれば、各パターンモデル間のより適切な数学的距離を算出することが可能である。
また、請求の範囲第３１項記載のデータ処理装置によれば、請求の範囲第１８項乃至請求の範囲第３０項のいずれか１の前記効果に加え、各パターンモデル相互間の距離関係を保持しながら、複数のパターンモデルをこれと同数のパターンモデル対応低次元ベクトルに変換することが可能である。
【０４６１】
また、請求の範囲第３２項記載のデータ処理装置によれば、請求の範囲第１８項乃至請求の範囲第３１項のいずれか１の前記効果に加え、区分内容が適切でないときや、新たなパターンモデルが加わったときなどに、適切な区分内容に変更することが可能である。また、視覚化されたパターンモデルの区分内容を変更することになるので、容易に区分内容の変更を行うことが可能である。
【０４６２】
また、請求の範囲第３３項記載のデータ処理装置によれば、請求の範囲第１８項乃至請求の範囲第３２項のいずれか１の前記効果に加え、特定区分領域の領域パターンモデルを新規対象に向けて適応することが可能であり、パターンモデルが使用するメモリ容量を軽減することが可能である。
また、請求の範囲第３４項記載のデータ処理装置によれば、請求の範囲第３３項の前記効果に加え、領域パターンモデル探索手段によって探索された領域パターンモデルに対応する領域に含まれる、複数のパターンモデル対応低次元ベクトルに対応したパターンモデルを、再度パターンモデル対応低次元ベクトルに変換し、且つ区分けするようにしたので、当該区分けした領域から再度新規対象に適した領域パターンモデルを探索することで、新規対象に係る所定データのパターン認識により適した特定パターンモデルの生成が可能となる。
【０４６３】
ここで、請求の範囲第３５項記載のデータ処理装置制御プログラムは、請求の範囲第１６項記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求の範囲第３６項記載のデータ処理装置制御プログラムは、請求の範囲第１８項記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
【０４６４】
また、請求の範囲第３７項記載の特定パターンモデル提供システムによれば、システム利用者は、例えばインターネット等を介してＰＣ、携帯電話、ＰＤＡ等の情報処理端末と、データ処理装置とを接続して、自己の音声データをデータ処理装置に送信することで、自己の音声データを音声認識するのに適した特定パターンモデルを簡易に取得するとが可能である。
【０４６５】
また、請求項３８記載のデータ処理装置によれば、音響空間内における対象話者の音声データと他のパターンモデルとの位置関係に基づいて、対象話者の音声データの価値の評価を行い、その評価結果を表示することが可能である。更に、対象話者の音声データと複数話者の複数のパターンモデルとの尤度を算出して、類似性を判断することが可能であり、これにより、対象話者の音声データの特徴と類似した特徴を有するパターンモデルを簡易に選択することが可能である。更に、対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの位置関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。これによって、対象話者の音声データの音響空間内の位置を視覚的に簡易に知ることが可能である。
また、請求項３９記載のデータ処理装置によれば、音響空間内における対象話者の音声データと他のパターンモデルとの位置関係に基づいて、対象話者の音声データの価値の評価を行い、その評価結果を表示することが可能である。更に、対象話者の音声データを高次元の特徴量データに変換し、当該特徴量データから対象話者用のパターンモデルを生成することが可能である。更に、対象話者の音声データに対応するパターンモデルを含む前記音響空間内の複数のパターンモデルを、これらの位置関係を維持した状態で、これより低次元のパターンモデルに変換し、当該変換後のパターンモデルを低次元空間上の座標点として表示することが可能である。これによって、対象話者の音声データの音響空間内の位置を視覚的に簡易に知ることが可能である。
【０４６６】
また、請求項４０記載のデータ処理装置によれば、請求項３８又は３９の前記効果に加え、音響空間内における前記対象話者の音声データの位置から所定距離の範囲内に存在する前記パターンモデルの数に基づき、前記音声データの価値を評価するようにしたので、例えば、対象話者の音声データ周辺に他の話者のパターンモデルがあまり存在していなければ、その音声データの価値が高いと判断し、一方、周辺にたくさんのパターンモデルが存在していれば、その音声データの価値は低いと判断するといった評価方法が可能となる。
【０４６７】
また、請求項４１記載のデータ処理装置によれば、請求項３８乃至４０のいずれか１項の前記効果に加え、前記所定距離を、前記音声データの価値の度合いに応じて段階的に設定するようにしたので、各段階毎に設定された各距離範囲内における前記パターンモデルの数に基づき、前記音声データの価値を評価することが可能であり、これにより、各範囲内のパターンモデルの数によって、対象話者の音声データの価値を段階的に評価することが可能となる。
【０４６９】
また、請求項４２記載のデータ処理装置によれば、請求項３８の前記効果に加え、前記複数のパターンモデルのうち、前記対象話者の音声データの特徴と類似した特徴を有する上位いくつかのパターンモデルを、前記対象話者のパターンモデルとして前記評価に用いるようにしたので、例えば、類似度の高い順に上位いくつかのパターンモデルを選択し、これら複数のパターンモデルの平均値を評価に用いるなどすることで、パターンモデルを単数で選択して用いる場合において類似していると判断して選択されたパターンモデルが実際は類似していなかったものであったときなどと較べて、誤ったパターンモデルが選択されてもその誤差を軽減することが可能となる。
【０４７２】
また、請求項４３記載のデータ処理装置によれば、請求項３８乃至４２のいずれか１の前記効果に加え、パターンモデルを、公知の技術であるＨＭＭ（日本語では隠れマルコフモデルと言われている）を用いて構成するようにしたので、音声データを適切にモデル化することが可能である。
また、請求項４４記載のデータ処理装置によれば、請求項３８乃至４３のいずれか１の前記効果に加え、対象話者の音声データを、単語や文章単位ではなく、音素単位でその価値を評価し、音素毎に評価結果を表示するようにしたので、簡易に音素単位の価値の判断が可能となる。
【０４７３】
また、請求項４５記載のデータ処理装置によれば、請求項３８乃至４４のいずれか１の前記効果に加え、補正情報として、発音の仕方や発話速度等の、評価対象（あるいは取得対象）として希望する音声データの発話を促す情報を表示するようにしたので、同じ対象話者から様々な音声データを取得し評価することが可能となる。
また、請求項４６記載のデータ処理装置によれば、請求項３８乃至４５のいずれか１の前記効果に加え、前記対象話者との間で前記音声データの提供可否に関する交渉を行い、交渉が成立した前記音声データを記憶するようにしたので、例えば、対象話者の発話した音声データが価値が高いと評価されたデータであった場合に、対象話者と交渉して、その音声データを取得することが可能となる。
【０４７４】
また、請求項４７記載のデータ処理システムによれば、例えば、インターネット等を介して情報処理端末とデータ処理装置とを接続することで、インターネットを介して、多数の対象話者の音声データの評価を行うことが可能となり、価値の高い音声データの取得をより簡易に行うことが可能となる。
ここで、請求項４８記載のデータ処理方法は、上記請求項３８記載のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項４９記載のデータ処理方法は、上記請求項３９記載のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
【０４７５】
また、請求項５０記載のデータ処理装置制御プログラムは、上記請求項３８記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項５１記載のデータ処理装置制御プログラムは、上記請求項３９記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項５２記載のデータ処理装置は、上記請求項３８を引用する上記請求項４７記載のデータ処理システムにおけるデータ処理装置と同様の効果となるので、記載を省略する。
また、請求項５３記載のデータ処理装置は、上記請求項３９を引用する上記請求項４７記載のデータ処理システムにおけるデータ処理装置と同様の効果となるので、記載を省略する。
【０４７６】
また、請求項５４記載のデータ処理装置制御プログラムは、上記請求項５２記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項５５記載のデータ処理装置制御プログラムは、上記請求項５３記載のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
【０４７７】
また、請求項５６又は５７記載のデータ処理装置によれば、対象話者の音声が、複数話者の中の誰の音声に似ているかを視覚的に簡易に知ることができるという効果が得られる。
【０４７８】
また、請求項５８記載のデータ処理装置によれば、請求項５６又は５７の前記効果に加え、指定した特定話者の音声と対象話者の音声との類似性を視覚的に簡易に知ることができ、更に、音響空間内における対象話者の音声データと特定話者のパターンモデルとの位置関係を視覚的に簡易に知ることができるという効果が得られる。
また、請求項５９又は６０記載のデータ処理装置によれば、指定した特定話者の音声と対象話者の音声との類似性を視覚的に簡易に知ることができ、更に、音響空間内における対象話者の音声データと特定話者のパターンモデルとの位置関係を視覚的に簡易に知ることができるという効果が得られる。
【０４７９】
また、請求項６１記載のデータ処理装置によれば、請求項５８乃至請求項６０のいずれか１項の前記効果に加え、対象話者は、表示された矯正情報を見て、自己の発声方法を矯正することができるという効果が得られる。
【０４８０】
また、請求項６２記載のデータ処理装置によれば、請求項５８の前記効果に加え、例えば、類似度の高い順に上位いくつかのパターンモデルを選択し、これら複数のパターンモデルの平均値を検出処理及び評価処理等に用いることで、パターンモデルを単数で選択して用いる場合において類似していると判断して選択されたパターンモデルが実際は類似していなかったものであったときなどと比べて、誤ったパターンモデルが選択されてもその誤差を軽減することが可能となる。
【０４８３】
また、請求項６３記載のデータ処理装置によれば、請求項５８乃至請求項６２のいずれか１の前記効果に加え、対象話者の音声データを、単語や文章単位ではなく、音素単位でその価値を評価し、音素毎に評価結果を表示するようにしたので、簡易に音素単位の類似性の評価結果を知ることができるという効果が得られる。
また、請求項６４記載のデータ処理装置によれば、請求項５８乃至請求項６３のいずれか１の前記効果に加え、例えば、高い声による発声、低い声により発声、早口で発声、ゆっくりと発声などの色々な種類の発話様式で発声された特定話者の音声に対して、対象話者の音声の類似性を評価するようにしたので、対象話者は、自分に合った発話様式で発声された特定話者の音声を真似することなどができるという効果が得られる。
【０４８４】
また、請求項６５記載のデータ処理装置によれば、請求項５８乃至請求項６４のいずれか１の前記効果に加え、低次元空間の軸を、例えば、発話速度や音の高さなどにより設定することで、対処話者の音声データの特徴や、その周辺の複数話者あるいは特定話者の音声データの特徴等を容易に把握することができるという効果が得られる。
【０４８５】
また、請求項６６記載のデータ処理装置によれば、請求項５６乃至請求項６５のいずれか１の前記効果に加え、パターンモデルを、公知の技術であるＨＭＭを用いて構成するようにしたので、取得した音声データの波形に生じる揺らぎを吸収することなどができるという効果が得られる。
また、請求項６７記載のデータ処理システムによれば、例えば、インターネット等を介して情報処理端末とデータ処理装置とを接続することで、インターネットを介して、対象話者の音声データに対して、上記した検出処理や評価処理等を行うことが可能となり、対象話者は、自宅等から簡易に自己の音声の検出処理又は評価処理を行うことができるという効果などが得られる。
【０４８６】
ここで、請求項６８記載のデータ処理方法は、請求項５６のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項６９記載のデータ処理方法は、請求項５７のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項７０記載のデータ処理方法は、請求項５８のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項７１記載のデータ処理方法は、請求項５９のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
また、請求項７２記載のデータ処理方法は、請求項６０のデータ処理装置によって実現されるものであり、その効果は重複するので記載を省略する。
【０４８７】
また、請求項７３記載のデータ処理装置制御プログラムは、請求項５６のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項７４記載のデータ処理装置制御プログラムは、請求項５７のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項７５記載のデータ処理装置制御プログラムは、請求項５９のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
また、請求項７６記載のデータ処理装置制御プログラムは、請求項６０のデータ処理装置を制御するためのプログラムであり、その効果は重複するので記載を省略する。
【図１】
0004413867.tif 000007
【図２】
0004413867.tif 000008
【図３】
0004413867.tif 000009
【図４】
0004413867.tif 000010
【図５】
0004413867.tif 000011
【図６】
0004413867.tif 000012
【図７】
0004413867.tif 000013
【図８】
0004413867.tif 000014
【図９】
0004413867.tif 000015
【図１０】
0004413867.tif 000016
【図１１】
0004413867.tif 000017
【図１２】
0004413867.tif 000018
【図１３】
0004413867.tif 000019
【図１４】
0004413867.tif 000020
【図１５】
0004413867.tif 000021
【図１６】
0004413867.tif 000022
【図１７】
0004413867.tif 000023
【図１８】
0004413867.tif 000024
【図１９】
0004413867.tif 000025
【図２０】
0004413867.tif 000026
【図２１】
0004413867.tif 000027
【図２２】
0004413867.tif 000028
【図２３】
0004413867.tif 000029
【図２４】
0004413867.tif 000030
【図２５】
0004413867.tif 000031
【図２６】
0004413867.tif 000032
【図２７】
0004413867.tif 000033
【図２８】
0004413867.tif 000034
【図２９】
0004413867.tif 000035
【図３０】
0004413867.tif 000036
【図３１】
0004413867.tif 000037
【図３２】
0004413867.tif 000038
【図３３】
0004413867.tif 000039
【図３４】
0004413867.tif 000040
【図３５】
0004413867.tif 000041
【図３６】
0004413867.tif 000042
【図３７】
0004413867.tif 000043
【図３８】
0004413867.tif 000044
【図３９】
0004413867.tif 000045
【図４０】
0004413867.tif 000046
【図４１】
0004413867.tif 000047
【図４２】
0004413867.tif 000048
【図４３】
0004413867.tif 000049
【図４４】
0004413867.tif 000050
【図４５】
0004413867.tif 000051
【図４６】
0004413867.tif 000052
【図４７】
0004413867.tif 000053
【図４８】
0004413867.tif 000054
【図４９】
0004413867.tif 000055
【図５０】
0004413867.tif 000056
【図５１】
0004413867.tif 000057
【図５２】
0004413867.tif 000058
【図５３】
0004413867.tif 000059
【図５４】
0004413867.tif 000060
【図５５】
0004413867.tif 000061
【図５６】
0004413867.tif 000062
【図５７】
0004413867.tif 000063
【図５８】
0004413867.tif 000064
【図５９】
0004413867.tif 000065