(57)【要約】【課題】話者変動、様式変動および環境変動が複合的に影響する場合に、特徴パラメータ系列を精度よく変換するのに好適な音声信号変換装置を提供する。【解決手段】入力音声信号から特徴パラメータ系列を抽出し、入力音声信号の特徴パラメータ系列を第１基準話者１６ａの音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を第１基準様式１６ｂの音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を第２基準様式１６ｃの音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を第２基準話者１６ｄの音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列から出力音声信号を生成する。【選択図】  図２
2008026489.tif 000002
【特許請求の範囲】
【請求項１】
入力音声信号を目標の出力音声信号に変換する音声信号変換装置であって、
前記入力音声信号から所定次元数以上の高次元の特徴パラメータ系列を抽出する特徴パラメータ系列抽出手段と、
複数話者から取得した音声データを話者属性、様式属性および環境属性の３つの属性に基づいてグループ分けし、当該各グループに属する音声データに基づいて所定次元数以上の高次元の特徴パラメータ系列を有する高次元音響モデルを生成し、当該高次元音響モデル相互間の数学的距離関係を保持しながら前記高次元音響モデルから変換した前記高次元の次元数未満の音響モデル対応低次元ベクトルから構成される音響モデルマップを、前記高次元音響モデルとともに記憶する音響モデルマップ記憶手段と、
話者属性間の変動、様式属性間の変動および環境属性間の変動のうち少なくとも２つの組み合わせに応じて、前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する特徴パラメータ系列変換手段と、
前記特徴パラメータ系列変換手段で変換した特徴パラメータ系列から前記出力音声信号を生成する音声信号生成手段とを備え、
前記音響モデルマップは、環境属性が同一である音響モデル対応低次元ベクトルの分布領域が、様式属性の異なる複数の音響モデル対応低次元ベクトルの分布領域を包含する関係と、前記様式属性の異なる複数の音響モデル対応低次元ベクトルの分布領域それぞれが、話者属性の異なる複数の音響モデル対応低次元ベクトルの分布領域を包含する関係とを有することを特徴とする音声信号変換装置。
【請求項２】
請求項１において、
前記話者属性間の変動は、前記入力音声信号の話者の声道に関する話者属性と、前記出力音声信号の話者の声道に関する話者属性との間の変動であることを特徴とする音声信号変換装置。
【請求項３】
請求項１において、
前記様式属性間の変動は、前記入力音声信号の発話様式または発話内容に関する様式属性と、前記出力音声信号の発話様式または発話内容に関する様式属性との間の変動であることを特徴とする音声信号変換装置。
【請求項４】
請求項１において、
前記環境属性間の変動は、前記入力音声信号の発声環境の雑音または残響に関する環境属性と、前記出力音声信号の発声環境の雑音または残響に関する環境属性との間の変動であることを特徴とする音声信号変換装置。
【請求項５】
請求項１ないし４のいずれか１項において、
前記特徴パラメータ系列変換手段は、
前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を、前記入力音声信号とは異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列、前記入力音声信号とは異なる様式属性を有する第１基準様式の音声信号の特徴パラメータ系列、並びに前記出力音声信号とは異なる様式属性を有する第２基準様式の音声信号の特徴パラメータ系列のうちいずれか１つに変換する第１変動変換手段と、
前記第１変動変換手段で変換した特徴パラメータ系列を、前記第１基準様式の音声信号の特徴パラメータ系列、前記第２基準様式の音声信号の特徴パラメータ系列、並びに前記出力音声信号とは異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列のうちいずれか１つであって、前記第１基準話者、前記第１基準様式、前記第２基準様式および前記第２基準話者の順列において、前記第１変動変換手段の変換先となる対象よりも後段の特徴パラメータ系列に変換する第２変動変換手段と、
前記第２変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号の特徴パラメータ系列に変換する第３変動変換手段とを備え、
前記第１基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、
前記第１基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、
前記第２基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、
前記第２基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であることを特徴とする音声信号変換装置。
【請求項６】
請求項１ないし４のいずれか１項において、
前記特徴パラメータ系列変換手段は、
前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を、前記入力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列に変換する第１話者変動変換手段と、
前記第１話者変動変換手段で変換した特徴パラメータ系列を、前記入力音声信号と同一の環境属性および異なる様式属性を有する第１基準様式の音声信号の特徴パラメータ系列に変換する第１様式変動変換手段と、
前記第１様式変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号と同一の環境属性および異なる様式属性を有する第２基準様式の音声信号の特徴パラメータ系列に変換する環境変動変換手段と、
前記環境変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列に変換する第２様式変動変換手段と、
前記第２様式変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号の特徴パラメータ系列に変換する第２話者変動変換手段とを備え、
前記第１基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、
前記第１基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、
前記第２基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、
前記第２基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であることを特徴とする音声信号変換装置。
【請求項７】
請求項１ないし４のいずれか１項において、
前記特徴パラメータ系列変換手段は、
前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を、前記入力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列に変換する第１話者変動変換手段と、
前記第１話者変動変換手段で変換した特徴パラメータ系列を、前記入力音声信号と同一の環境属性および異なる様式属性を有する第１基準様式または前記出力音声信号と同一の環境属性および異なる様式属性を有する第２基準様式の音声信号の特徴パラメータ系列に変換する第１様式変動変換手段と、
前記第１様式変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列に変換する第２様式変動変換手段と、
前記第２様式変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号の特徴パラメータ系列に変換する第２話者変動変換手段とを備え、
前記第１基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、
前記第１基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、
前記第２基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、
前記第２基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であることを特徴とする音声信号変換装置。
【請求項８】
請求項５ないし７のいずれか１項において、
前記音響モデルマップ記憶手段は、音声信号の複数の話者属性に対応する話者属性高次元音響モデルの集合、音声信号の複数の様式属性に対応する様式属性高次元音響モデルの集合および音声信号の複数の環境属性に対応する環境属性高次元音響モデルの集合をさらに記憶し、
前記音響モデルマップ記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記入力音声信号の話者属性、様式属性および環境属性として同定する入力音声信号属性同定手段と、
前記出力音声信号のサンプルから特徴パラメータ系列を抽出する出力特徴パラメータ系列抽出手段と、
前記属性モデル記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、前記出力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記出力音声信号の話者属性、様式属性および環境属性として同定する出力音声信号属性同定手段と、
与えられた特徴パラメータ系列を前記第１基準話者の音声信号の特徴パラメータ系列に変換する複数の第１話者変動変換関数、与えられた特徴パラメータ系列を前記第１基準様式の音声信号の特徴パラメータ系列に変換する複数の第１様式変動変換関数、与えられた特徴パラメータ系列を前記第２基準様式の音声信号の特徴パラメータ系列に変換する複数の環境変動変換関数、与えられた特徴パラメータ系列を前記第２基準話者の音声信号の特徴パラメータ系列に変換する複数の第２様式変動変換関数、および与えられた特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する複数の第２話者変動変換関数を記憶する変動変換関数記憶手段と、
前記入力音声信号属性同定手段および前記出力音声信号属性同定手段で同定した属性に基づいて、前記第１話者変動変換関数、前記第１様式変動変換関数、前記環境変動変換関数、前記第２様式変動変換関数および前記第２話者変動変換関数を前記変動変換関数記憶手段のなかから選択する変動変換関数選択手段とを備え、
前記特徴パラメータ系列変換手段は、前記変動変換関数選択手段で選択した変動変換関数に基づいて特徴パラメータ系列を変換することを特徴とする音声信号変換装置。
【請求項９】
請求項５ないし７のいずれか１項において、
前記音響モデルマップ記憶手段は、音声信号の複数の話者属性に対応する話者属性高次元音響モデルの集合、音声信号の複数の様式属性に対応する様式属性高次元音響モデルの集合および音声信号の複数の環境属性に対応する環境属性高次元音響モデルの集合を記憶する属性モデル記憶手段と、
前記属性モデル記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記入力音声信号の話者属性、様式属性および環境属性として同定する入力音声信号属性同定手段と、
前記出力音声信号の話者属性、様式属性および環境属性を入力する出力音声信号属性入力手段と、
前記出力音声信号属性入力手段で入力した話者属性、様式属性および環境属性に最も適合する話者属性、様式属性および環境属性を有する混合正規分布モデルを求め、当該混合正規分布モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記出力音声信号の話者属性、様式属性および環境属性として同定する出力音声信号属性同定手段と、
与えられた特徴パラメータ系列を前記第１基準話者の音声信号の特徴パラメータ系列に変換する複数の第１話者変動変換関数、与えられた特徴パラメータ系列を前記第１基準様式の音声信号の特徴パラメータ系列に変換する複数の第１様式変動変換関数、与えられた特徴パラメータ系列を前記第２基準様式の音声信号の特徴パラメータ系列に変換する複数の環境変動変換関数、与えられた特徴パラメータ系列を前記第２基準話者の音声信号の特徴パラメータ系列に変換する複数の第２様式変動変換関数、および与えられた特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する複数の第２話者変動変換関数を記憶する変動変換関数記憶手段と、
前記入力音声信号属性同定手段および前記出力音声信号属性同定手段で同定した属性に基づいて、前記第１話者変動変換関数、前記第１様式変動変換関数、前記環境変動変換関数、前記第２様式変動変換関数および前記第２話者変動変換関数を前記変動変換関数記憶手段のなかから選択する変動変換関数選択手段とを備え、
前記特徴パラメータ系列変換手段は、前記変動変換関数選択手段で選択した変動変換関数に基づいて特徴パラメータ系列を変換することを特徴とする音声信号変換装置。
【請求項１０】
入力音声信号を目標の出力音声信号に変換する音声信号変換方法であって、
前記入力音声信号から所定次元数以上の高次元の特徴パラメータ系列を抽出する特徴パラメータ系列抽出ステップと、
複数話者から取得した音声データを話者属性、様式属性および環境属性の３つの属性に基づいてグループ分けし、当該各グループに属する音声データに基づいて所定次元数以上の高次元の特徴パラメータ系列を有する高次元音響モデルを生成し、当該高次元音響モデル相互間の数学的距離関係を保持しながら前記高次元音響モデルから変換した前記高次元の次元数未満の音響モデル対応低次元ベクトルから構成される音響モデルマップを、前記高次元音響モデルとともに記憶する音響モデルマップ記憶ステップと、
話者属性間の変動、様式属性間の変動および環境属性間の変動のうち少なくとも２つの組み合わせに応じて、前記特徴パラメータ系列抽出ステップで抽出した特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する特徴パラメータ系列変換ステップと、
前記特徴パラメータ系列変換ステップで変換した特徴パラメータ系列から前記出力音声信号を生成する音声信号生成ステップとを含み、
前記音響モデルマップは、環境属性が同一である音響モデル対応低次元ベクトルの分布領域が、様式属性の異なる複数の音響モデル対応低次元ベクトルの分布領域を包含する関係と、前記様式属性の異なる複数の音響モデル対応低次元ベクトルの分布領域それぞれが、話者属性の異なる複数の音響モデル対応低次元ベクトルの分布領域を包含する関係とを有することを特徴とする音声信号変換方法。
【請求項１１】
変換関数提供端末と、携帯端末とを通信可能に接続し、入力音声信号を目標の出力音声信号に変換する音声変換サービスを提供する音声信号変換サービス提供システムであって、
前記変換関数提供端末は、
複数話者から取得した音声データを話者属性、様式属性および環境属性の３つの属性に基づいてグループ分けし、当該各グループに属する音声データに基づいて所定次元数以上の高次元の特徴パラメータ系列を有する高次元音響モデルを生成し、当該高次元音響モデル相互間の数学的距離関係を保持しながら前記高次元音響モデルから変換した前記高次元の次元数未満の音響モデル対応低次元ベクトルから構成される音響モデルマップを、前記高次元音響モデルとともに記憶し、さらに、音声信号の複数の話者属性に対応する話者属性高次元音響モデルの集合、音声信号の複数の様式属性に対応する様式属性高次元音響モデルの集合および音声信号の複数の環境属性に対応する環境属性高次元音響モデルの集合を記憶する音響モデルマップ記憶手段と、
前記入力音声信号の特徴パラメータ系列を受信する入力特徴パラメータ系列受信手段と、
前記音響モデルマップ記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、前記入力特徴パラメータ系列受信手段で受信した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記入力音声信号の話者属性、様式属性および環境属性として同定する入力音声信号属性同定手段と、
前記出力音声信号の特徴パラメータ系列を受信する出力特徴パラメータ系列受信手段と、
前記音響モデルマップ記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、前記出力特徴パラメータ系列受信手段で受信した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記出力音声信号の話者属性、様式属性および環境属性として同定する出力音声信号属性同定手段と、
与えられた特徴パラメータ系列を、前記入力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列に変換する複数の第１話者変動変換関数、与えられた特徴パラメータ系列を、前記入力音声信号と同一の環境属性および異なる様式属性を有する第１基準様式の音声信号の特徴パラメータ系列に変換する複数の第１様式変動変換関数、与えられた特徴パラメータ系列を、前記出力音声信号と同一の環境属性および異なる様式属性を有する第２基準様式の音声信号の特徴パラメータ系列に変換する複数の環境変動変換関数、与えられた特徴パラメータ系列を、前記出力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列に変換する複数の第２様式変動変換関数、並びに与えられた特徴パラメータ系列を、前記出力音声信号の特徴パラメータ系列に変換する複数の第２話者変動変換関数を記憶する変動変換関数記憶手段と、
前記入力音声信号属性同定手段および前記出力音声信号属性同定手段で同定した属性に基づいて、前記第１話者変動変換関数、前記第１様式変動変換関数、前記環境変動変換関数、前記第２様式変動変換関数および前記第２話者変動変換関数を前記変動変換関数記憶手段のなかから選択する変動変換関数選択手段と、
前記変動変換関数選択手段で選択した変換関数を前記携帯端末に送信する変換関数送信手段とを備え、
前記携帯端末は、
前記入力音声信号を入力する入力音声信号入力手段と、
前記入力音声信号入力手段で入力した入力音声信号から所定次元数以上の高次元の特徴パラメータ系列を抽出する入力特徴パラメータ系列抽出手段と、
前記入力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記変換関数提供端末に送信する入力特徴パラメータ系列送信手段と、
前記出力音声信号のサンプルを入力する出力音声信号入力手段と、
前記出力音声信号入力手段で入力した出力音声信号から特徴パラメータ系列を抽出する出力特徴パラメータ系列抽出手段と、
前記出力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記変換関数提供端末に送信する出力特徴パラメータ系列送信手段と、
前記変換関数を受信する変換関数受信手段と、
前記変換関数受信手段で受信した変換関数に基づいて、前記入力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する特徴パラメータ系列変換手段と、
前記特徴パラメータ系列変換手段で変換した特徴パラメータ系列から前記出力音声信号を生成する音声信号生成手段とを備えることを特徴とする音声信号変換サービス提供システム。
【請求項１２】
変換関数提供端末と、携帯端末とを通信可能に接続し、入力音声信号を目標の出力音声信号に変換する音声変換サービスを提供する音声信号変換サービス提供システムであって、
前記変換関数提供端末は、
複数話者から取得した音声データを話者属性、様式属性および環境属性の３つの属性に基づいてグループ分けし、当該各グループに属する音声データに基づいて所定次元数以上の高次元の特徴パラメータ系列を有する高次元音響モデルを生成し、当該高次元音響モデル相互間の数学的距離関係を保持しながら前記高次元音響モデルから変換した前記高次元の次元数未満の音響モデル対応低次元ベクトルから構成される音響モデルマップを、前記高次元音響モデルとともに記憶し、さらに、音声信号の複数の話者属性に対応する話者属性高次元音響モデルモデルの集合、音声信号の複数の様式属性に対応する様式属性高次元音響モデルモデルの集合および音声信号の複数の環境属性に対応する環境属性高次元音響モデルモデルの集合を記憶する音響モデルマップ記憶手段と、
前記入力音声信号の特徴パラメータ系列を受信する入力特徴パラメータ系列受信手段と、
前記音響モデルマップ記憶手段の話者属性高次元音響モデルモデル、様式属性高次元音響モデルモデルおよび環境属性高次元音響モデルモデルについて、前記入力特徴パラメータ系列受信手段で受信した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデルモデル、様式属性高次元音響モデルモデルおよび環境属性高次元音響モデルモデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記入力音声信号の話者属性、様式属性および環境属性として同定する入力音声信号属性同定手段と、
前記出力音声信号の話者属性、様式属性および環境属性を示す属性データを受信する属性データ受信手段と、
前記属性データ受信手段で受信した属性データの話者属性、様式属性および環境属性に最も適合する話者属性、様式属性および環境属性を有する混合正規分布モデルを求め、当該混合正規分布モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記出力音声信号の話者属性、様式属性および環境属性として同定する出力音声信号属性同定手段と、
与えられた特徴パラメータ系列を、前記入力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列に変換する複数の第１話者変動変換関数、与えられた特徴パラメータ系列を、前記入力音声信号と同一の環境属性および異なる様式属性を有する第１基準様式の音声信号の特徴パラメータ系列に変換する複数の第１様式変動変換関数、与えられた特徴パラメータ系列を、前記出力音声信号と同一の環境属性および異なる様式属性を有する第２基準様式の音声信号の特徴パラメータ系列に変換する複数の環境変動変換関数、与えられた特徴パラメータ系列を、前記出力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列に変換する複数の第２様式変動変換関数、並びに与えられた特徴パラメータ系列を、前記出力音声信号の特徴パラメータ系列に変換する複数の第２話者変動変換関数を記憶する変動変換関数記憶手段と、
前記入力音声信号属性同定手段および前記出力音声信号属性同定手段で同定した属性に基づいて、前記第１話者変動変換関数、前記第１様式変動変換関数、前記環境変動変換関数、前記第２様式変動変換関数および前記第２話者変動変換関数を前記変動変換関数記憶手段のなかから選択する変動変換関数選択手段と、
前記変動変換関数選択手段で選択した変換関数を前記携帯端末に送信する変換関数送信手段とを備え、
前記携帯端末は、
前記入力音声信号を入力する入力音声信号入力手段と、
前記入力音声信号入力手段で入力した入力音声信号から所定次元数以上の高次元の特徴パラメータ系列を抽出する入力特徴パラメータ系列抽出手段と、
前記入力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記変換関数提供端末に送信する入力特徴パラメータ系列送信手段と、
前記出力音声信号の話者属性、様式属性および環境属性を入力する出力音声信号属性入力手段と、
前記出力音声信号属性入力手段で入力した話者属性、様式属性および環境属性を示す属性データを前記変換関数提供端末に送信する属性データ送信手段と、
前記変換関数を受信する変換関数受信手段と、
前記変換関数受信手段で受信した変換関数に基づいて、前記入力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する特徴パラメータ系列変換手段と、
前記特徴パラメータ系列変換手段で変換した特徴パラメータ系列から前記出力音声信号を生成する音声信号生成手段とを備えることを特徴とする音声信号変換サービス提供システム。
【請求項１３】
請求項１１および１２のいずれか１項において、
前記変換関数提供端末は、さらに、
前記変換関数送信手段で前記変換関数を送信する際に、前記携帯端末のユーザに対する課金処理を行う課金手段を備えることを特徴とする音声信号変換サービス提供システム。
【請求項１４】
請求項１１記載の音声信号変換サービス提供システムに適用される変換関数提供端末であって、
前記音響モデルマップ記憶手段、前記入力特徴パラメータ系列受信手段、前記入力音声信号属性同定手段、前記出力特徴パラメータ系列受信手段、前記出力音声信号属性同定手段、前記変動変換関数記憶手段、前記変動変換関数選択手段および前記変換関数送信手段を備えることを特徴とする変換関数提供端末。
【請求項１５】
請求項１２記載の音声信号変換サービス提供システムに適用される変換関数提供端末であって、
前記音響モデルマップ記憶手段、前記入力特徴パラメータ系列受信手段、前記入力音声信号属性同定手段、前記属性データ受信手段、前記出力音声信号属性同定手段、前記変動変換関数記憶手段、前記変動変換関数選択手段および前記変換関数送信手段を備えることを特徴とする変換関数提供端末。
【請求項１６】
請求項１１記載の音声信号変換サービス提供システムに適用される携帯端末であって、
前記入力音声信号入力手段、前記入力特徴パラメータ系列抽出手段、前記入力特徴パラメータ系列送信手段、前記出力音声信号入力手段、前記出力特徴パラメータ系列抽出手段、前記出力特徴パラメータ系列送信手段、前記変換関数受信手段、前記特徴パラメータ系列変換手段および前記音声信号生成手段を備えることを特徴とする携帯端末。
【請求項１７】
請求項１２記載の音声信号変換サービス提供システムに適用される携帯端末であって、
前記入力音声信号入力手段、前記入力特徴パラメータ系列抽出手段、前記入力特徴パラメータ系列送信手段、前記出力音声信号属性入力手段、前記属性データ送信手段、前記変換関数受信手段、前記特徴パラメータ系列変換手段および前記音声信号生成手段を備えることを特徴とする携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号を変換する装置および方法、音声信号を変換するサービスを提供するシステムおよび端末に係り、特に、話者変動、様式変動および環境変動が複合的に影響する場合に、音声信号の特徴パラメータ系列を精度よく変換するのに好適な音声信号変換装置に関する。この音声信号装置が、音声認識における音響モデルの特徴量パラメータ系列を変換することにより、その応用分野を音響モデルの変換とすることができる。また、入力音声を、別の声質や発話様式を有する音声に変換する声質変換にも応用が可能で、この場合には変換後の特徴量パラメータ系列から音声信号を生成する。
【背景技術】
【０００２】
音声認識処理は、話者が発声した音声サンプルをある特徴パラメータ系列に変換する特徴分析処理と、特徴分析処理で得られた特徴パラメータ系列をあらかじめメモリやハードディスク等の記憶装置に蓄積した語彙単語の特徴パラメータに関する情報と照合し、最も類似度の高い音声を認識結果とする特徴照合処理の２つの部分から構成される。音声サンプルをある特徴パラメータ系列に変換する特徴分析処理方法としては、ケプストラム分析法や線形予測分析法等が知られており、非特許文献１のChapter 3 Signal Processing and Analysis Methods for Speech Recognitionにも詳述されている。音声認識のなかで、不特定話者の音声を認識する技術を一般に不特定話者音声認識と呼ぶ。不特定話者音声認識においては、語彙単語の特徴パラメータに関する情報があらかじめ記憶装置に蓄積されているため、特定話者音声認識のようにユーザが音声認識させたい単語を登録するという作業は発生しない。また、語彙単語の特徴パラメータに関する情報の作成方法、およびその情報と入力された音声から変換された特徴パラメータ系列との音声照合方法としては、隠れマルコフモデル（以下、ＨＭＭ（Hidden Markov Model）と略記する。）による方法が一般に用いられている。ＨＭＭによる方法においては、音節、半音節、音韻、ｂｉｐｈｏｎｅ、ｔｒｉｐｈｏｎｅ等の音声単位がＨＭＭによりモデル化される。これらのモデルを一般に、音響モデルと呼ぶ。音響モデルの作成方法、例えば、公知のＥＭアルゴリズムについては、非特許文献１のChapter 6 Theory and Implementation of Hidden Markov Modelsに詳しく述べられている。また、同文献に記載されている公知のＶｉｔｅｒｂｉアルゴリズムにより、当業者は不特定話者音声認識装置を容易に構成することができる。
【０００３】
一方、声質変換において、入力音声信号を目標の出力音声信号に変換する場合、音声信号に関する主な変動要因が、入力音声信号の話者の声道と出力音声信号の話者の声道との間の変動である話者変動であるときは、混合正規分布モデル（ＧＭＭ）に基づく特徴パラメータ系列変換処理方法として、非特許文献２、３の方法が有効であることが知られている。
【非特許文献１】Lawrence Rabiner and Biing-Hwang Juang, "Fundamentals of Speech Recognition," Prentice Hall Signal Processing Series, 1993.
【非特許文献２】Y.Stylianou, O.Cappe and E.Moulines,."Continuous Probabilistic Transform for Voice Conversion".IEEE Proc. on Speech and Audio Processing., 1996.
【非特許文献３】A.Kain and M.Macon."Spectral Voice Conversion for Text-to-Speech Synthesis".ICASSP, 1998.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
音声認識においては、大量の音声コーパスから、上記のように、ＨＭＭによる不特定話者用音響モデルを事前に開発する。従来、音声コーパスのサイズは大きければ大きいほど、音声認識性能は向上すると信じられ、大量の音声コーパスが収集された。しかし、最近になって、音声コーパスのサイズをむやみやたらと増やしても、音声認識性能の向上が鈍化し、根本的な音声認識性能の向上にはつながらないことが明らかになってきた。例えば、文章を読み上げた音声コーパスをたくさん使って音響モデルを作成しても、単語や連続数字の音声認識性能は決して改善しない。また、同じ文章であっても、音素バランス文を読み上げた音声コーパスから作成した音響モデルでは、講演音声の音声認識性能は改善しないし、その逆の場合もまた同じであることが明らかにされてきた。すなわち、同じ母音の「ａ」であっても、数字の「３（ｓａｎ）」の「ａ」、孤立単語の「あさひ（ａｓａｈｉ）」の「ａ」と文章のなかに現れる「ａ」は、同一の話者であっても、異なる周波数スペクトルを持つ場合がある。ましてや、話者が異なれば、声の高低や喋り方等が異なるので、周波数スペクトルの変動は大きくなる。したがって、どの「ａ」とどの「ａ」が同じ周波数スペクトルを有するのかは、それらの「ａ」を含む数字、単語、文章の発音表記、すなわち、音素表記だけでは一概に判断ができない。従来、日本語は、母音と子音とから成る音韻セットから構成されると体系化されているが、人間はロボットではなく、数字、単語、文章のなかに含まれる「ａ」を毎回必ず同じように発音することはできない。その前後の１つ以上の音韻の影響を受けて、周波数スペクトルは変化する。残念ながら、この周波数スペクトルの変化の具合は、すべてが明らかにされたとは言えないし、数式化されたとは言えない。従来の技術では、既に収集された音声コーパスに含まれていない数字・単語・文章のなかの「ａ」の周波数スペクトルの特徴パラメータ系列を得るためには、必要とする数字・単語・文章を含む音声コーパスを新たに収集しなければならず、音声コーパス収集コストが増大するという問題があった。
【０００５】
また、カーナビゲーションシステムやハンズフリー通話システムは、自動車における音声認識の応用として顕在化している。これまでの研究結果から、同一の話者であっても、自動車のなかで運転行動中に発話する場合の周波数スペクトルと静寂な部屋に座って発声する場合の周波数スペクトルは変化することが明らかになってきた。静寂な部屋に座って発声する場合の音声コーパスの収集コストは比較的安価であり、音声コーパスの量も多い。しかし、従来の技術において、運転行動中の発話音声の周波数スペクトルを得るには、自動車のなかで運転行動中に発話した音声コーパスを新たに収集する必要があるが、その収集コストは非常に高価となり、そのコストが制約を受ける場合には収集可能な音声コーパスの量も大きく制限されてしまうという問題があった。
【０００６】
そこで、上記の問題を解決するために、既に収集された音声コーパスに対して音声信号変換技術を適用して、所望の収録条件を有する音声コーパスを擬似的に生成することが考えられる。具体的には、既に収集された小規模の音声コーパスに含まれる数字・単語・文章の周波数スペクトルの特徴パラメータ系列を変換元とし、変換先が所望の収録条件を有する数字・単語・文章の周波数スペクトルの特徴パラメータ系列である特徴パラメータ系列変換処理を、既に収集された音声コーパスと所望の収録条件下で収集された小規模の音声コーパスとの学習に基づいて行う。同様に、運転行動中の発話音声の周波数スペクトルの特徴パラメータ系列については、特徴パラメータ系列変換処理を、静寂な部屋に座って収録した音声コーパスと運転行動中の少量の音声コーパスとを使用した学習に基づいて行う。
【０００７】
ところが、従来の音声信号変換処理では、音声信号に関する主な変動要因が話者変動である場合は、非特許文献２、３の技術等を用いて特徴パラメータ系列を精度よく変換することができるが、話者変動以外の要因が影響する場合は、特徴パラメータ系列を精度よく変換することができないという問題がある。例えば、上記のように、数字・単語・文章間で音声信号の周波数スペクトルを変換しようとする場合は、入力音声信号の発話様式または発話内容と、出力音声信号の発話様式または発話内容との間の様式変動が影響すると考えられる。また例えば、上記のように、静寂な環境で発声した音声信号を喧噪な環境で発声した音声信号に変換しようとする場合は、音声信号に関する変動要因として、入力音声信号の発声環境の雑音または残響と、出力音声信号の発声環境の雑音または残響との間の環境変動が影響すると考えられる。ここで、精度よく変換するとは、所定の話者の音声信号から目標の話者が発声した音声に近い音声信号が得られるように、特徴パラメータ系列を変換することをいう。
【０００８】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、話者変動、様式変動および環境変動が複合的に影響する場合に、特徴パラメータ系列を精度よく変換するのに好適な音声信号変換装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る請求項１記載の音声信号変換装置は、入力音声信号を目標の出力音声信号に変換する音声信号変換装置であって、前記入力音声信号から所定次元数以上の高次元の特徴パラメータ系列を抽出する特徴パラメータ系列抽出手段と、複数話者から取得した音声データを話者属性、様式属性および環境属性の３つの属性に基づいてグループ分けし、当該各グループに属する音声データに基づいて所定次元数以上の高次元の特徴パラメータ系列を有する高次元音響モデルを生成し、当該高次元音響モデル相互間の数学的距離関係を保持しながら前記高次元音響モデルから変換した前記高次元の次元数未満の音響モデル対応低次元ベクトルから構成される音響モデルマップを、前記高次元音響モデルとともに記憶する音響モデルマップ記憶手段と、話者属性間の変動、様式属性間の変動および環境属性間の変動のうち少なくとも２つの組み合わせに応じて、前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する特徴パラメータ系列変換手段と、前記特徴パラメータ系列変換手段で変換した特徴パラメータ系列から前記出力音声信号を生成する音声信号生成手段とを備え、前記音響モデルマップは、環境属性が同一である音響モデル対応低次元ベクトルの分布領域が、様式属性の異なる複数の音響モデル対応低次元ベクトルの分布領域を包含する関係と、前記様式属性の異なる複数の音響モデル対応低次元ベクトルの分布領域それぞれが、話者属性の異なる複数の音響モデル対応低次元ベクトルの分布領域を包含する関係とを有する。
【００１０】
このような構成であれば、特徴パラメータ系列抽出手段により、入力音声信号から所定次元数以上の高次元の特徴パラメータ系列が抽出され、特徴パラメータ系列変換手段により、話者属性間の変動、様式属性間の変動および環境属性間の変動のうち少なくとも２つの変動の組み合わせに応じて、抽出された特徴パラメータ系列が出力音声信号の特徴パラメータ系列に変換される。そして、音声信号生成手段により、変換された特徴パラメータ系列から出力音声信号が生成される。
【００１１】
ここで、話者属性間の変動に応じた変換としては、例えば、変換元の特徴パラメータ系列を、異なる話者属性を有する特徴パラメータ系列に変換を行うこと、または特徴パラメータ系列のうち話者に関するものを変換することが含まれる。以下、請求項１０記載の音声信号変換方法において同じである。
また、様式属性間の変動に応じた変換としては、例えば、変換元の特徴パラメータ系列を、異なる様式属性を有する特徴パラメータ系列に変換を行うこと、または特徴パラメータ系列のうち様式に関するものを変換することが含まれる。以下、請求項１０記載の音声信号変換方法において同じである。
【００１２】
また、環境属性間の変動に応じた変換としては、例えば、変換元の特徴パラメータ系列を、異なる環境属性を有する特徴パラメータ系列に変換を行うこと、または特徴パラメータ系列のうち環境に関するものを変換することが含まれる。以下、請求項１０記載の音声信号変換方法において同じである。
さらに、本発明に係る請求項２記載の音声信号変換装置は、請求項１記載の音声信号変換装置において、前記話者属性間の変動は、前記入力音声信号の話者の声道に関する話者属性と、前記出力音声信号の話者の声道に関する話者属性との間の変動である。
【００１３】
このような構成であれば、話者変動に応じて変換を行う場合は、特徴パラメータ系列変換手段により、入力音声信号の話者の声道に関する話者属性と、出力音声信号の話者の声道に関する話者属性との間の変動に応じて特徴パラメータ系列が変換される。
さらに、本発明に係る請求項３記載の音声信号変換装置は、請求項１記載の音声信号変換装置において、前記様式属性間の変動は、前記入力音声信号の発話様式または発話内容に関する様式属性と、前記出力音声信号の発話様式または発話内容に関する様式属性との間の変動である。
【００１４】
このような構成であれば、様式変動に応じて変換を行う場合は、特徴パラメータ系列変換手段により、入力音声信号の発話様式または発話内容に関する様式属性と、出力音声信号の発話様式または発話内容に関する様式属性との間の変動に応じて特徴パラメータ系列が変換される。
さらに、本発明に係る請求項４記載の音声信号変換装置は、請求項１記載の音声信号変換装置において、前記環境属性間の変動は、前記入力音声信号の発声環境の雑音または残響に関する環境属性と、前記出力音声信号の発声環境の雑音または残響に関する環境属性との間の変動である。
【００１５】
このような構成であれば、環境変動に応じて変換を行う場合は、特徴パラメータ系列変換手段により、入力音声信号の発声環境の雑音または残響に関する環境属性と、出力音声信号の発声環境の雑音または残響に関する環境属性との間の変動に応じて特徴パラメータ系列が変換される。
本発明者は、さらに、話者変動、様式変動および環境変動が複合的に影響する場合は、環境変動、様式変動および話者変動の順で影響が大きいこと、そして、この順序を考慮して特徴パラメータ系列を変換することで精度を向上することができることを見いだした。
【００１６】
さらに、本発明に係る請求項５記載の音声信号変換装置は、請求項１ないし４のいずれか１項に記載の音声信号変換装置において、前記特徴パラメータ系列変換手段は、前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を、前記入力音声信号とは異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列、前記入力音声信号とは異なる様式属性を有する第１基準様式の音声信号の特徴パラメータ系列、並びに前記出力音声信号とは異なる様式属性を有する第２基準様式の音声信号の特徴パラメータ系列のうちいずれか１つに変換する第１変動変換手段と、前記第１変動変換手段で変換した特徴パラメータ系列を、前記第１基準様式の音声信号の特徴パラメータ系列、前記第２基準様式の音声信号の特徴パラメータ系列、並びに前記出力音声信号とは異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列のうちいずれか１つであって、前記第１基準話者、前記第１基準様式、前記第２基準様式および前記第２基準話者の順列において、前記第１変動変換手段の変換先となる対象よりも後段の特徴パラメータ系列に変換する第２変動変換手段と、前記第２変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号の特徴パラメータ系列に変換する第３変動変換手段とを備え、前記第１基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、前記第１基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、前記第２基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、前記第２基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。
【００１７】
このような構成であれば、第１変動変換手段により、抽出された特徴パラメータ系列が、第１基準話者の音声信号の特徴パラメータ系列、第１基準様式の音声信号の特徴パラメータ系列、および第２基準様式の音声信号の特徴パラメータ系列のうちいずれか１つに変換される。次いで、第２変動変換手段により、変換された特徴パラメータ系列が、第１基準様式の音声信号の特徴パラメータ系列、第２基準様式の音声信号の特徴パラメータ系列、および第２基準話者の音声信号の特徴パラメータ系列のうちいずれか１つであって、第１基準話者、第１基準様式、第２基準様式および第２基準話者の順列において、第１変動変換手段の変換先となる対象よりも後段の特徴パラメータ系列に変換される。そして、第３変動変換手段により、変換された特徴パラメータ系列が出力音声信号の特徴パラメータ系列に変換される。第１基準話者の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、入力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列特徴である。第１基準様式の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、入力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。第２基準様式の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、出力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。第２基準話者の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、出力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。
【００１８】
すなわち、第１変動変換手段および第２変動変換手段によれば、第１基準話者および第１基準様式を経た変換、第１基準話者および第２基準様式を経た変換、第１基準話者および第２基準話者を経た変換、第１基準様式および第２基準様式を経た変換、第１基準様式および第２基準話者を経た変換、または第２基準様式および第２基準話者を経た変換が行われる。ここで、第１基準話者への変換は、入力音声信号の話者と第１基準話者との間の話者変動に応じた変換となり、第１基準話者から第１基準様式への変換は、入力音声信号の様式と第１基準様式との間の様式変動に応じた変換となる。また、第１基準様式から第２基準様式への変換は、入力音声信号および出力音声信号の環境の間の環境変動に応じた変換となり、第２基準様式から第２基準話者への変換は、第２基準様式と出力音声信号の様式との間の様式変動に応じた変換となる。したがって、第１変動変換手段および第２変動変換手段による変換は、話者変動、様式変動および環境変動の順序で行われる。
【００１９】
ここで、第１変動変換手段は、第１基準話者の音声信号の特徴パラメータ系列、第１基準様式の音声信号の特徴パラメータ系列、および第２基準様式の音声信号の特徴パラメータ系列のうちいずれか１つに変換すればよいが、変換にあたっては、特徴パラメータ系列を多段階で変換してもよい。例えば、第１基準様式の音声信号の特徴パラメータ系列に変換する場合、入力音声信号の特徴パラメータ系列を第１基準話者の音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を第１基準様式の音声信号の特徴パラメータ系列に変換してもよい。このことは、第２変動変換手段についても同じである。
【００２０】
さらに、本発明に係る請求項６記載の音声信号変換装置は、請求項１ないし４のいずれか１項に記載の音声信号変換装置において、前記特徴パラメータ系列変換手段は、前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を、前記入力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列に変換する第１話者変動変換手段と、前記第１話者変動変換手段で変換した特徴パラメータ系列を、前記入力音声信号と同一の環境属性および異なる様式属性を有する第１基準様式の音声信号の特徴パラメータ系列に変換する第１様式変動変換手段と、前記第１様式変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号と同一の環境属性および異なる様式属性を有する第２基準様式の音声信号の特徴パラメータ系列に変換する環境変動変換手段と、前記環境変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列に変換する第２様式変動変換手段と、前記第２様式変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号の特徴パラメータ系列に変換する第２話者変動変換手段とを備え、前記第１基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、前記第１基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、前記第２基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、前記第２基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。
【００２１】
このような構成であれば、第１話者変動変換手段により、抽出された特徴パラメータ系列が第１基準話者の音声信号の特徴パラメータ系列に変換される。この変換は、入力音声信号の話者と第１基準話者との間の話者変動に応じた変換となる。第１基準話者の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、入力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列特徴である。
【００２２】
次いで、第１様式変動変換手段により、変換された特徴パラメータ系列が第１基準様式の音声信号の特徴パラメータ系列に変換される。この変換は、入力音声信号の様式と第１基準様式との間の様式変動に応じた変換となる。第１基準様式の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、入力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。
【００２３】
次いで、環境変動変換手段により、変換された特徴パラメータ系列が第２基準様式の音声信号の特徴パラメータ系列に変換される。この変換は、入力音声信号および出力音声信号の環境の間の環境変動に応じた変換となる。第２基準様式の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、出力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。
【００２４】
次いで、第２様式変動変換手段により、変換された特徴パラメータ系列が第２基準話者の音声信号の特徴パラメータ系列に変換される。この変換は、第２基準様式と出力音声信号の様式との間の様式変動に応じた変換となる。第２基準話者の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、出力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。
【００２５】
そして、第２話者変動変換手段により、変換された特徴パラメータ系列が出力音声信号の特徴パラメータ系列に変換される。この変換は、第２基準話者と出力音声信号の話者との間の話者変動に応じた変換となる。
したがって、入力音声信号の特徴パラメータ系列は、話者変動、様式変動および環境変動の順序で出力音声信号の特徴パラメータ系列に変換される。
【００２６】
さらに、本発明に係る請求項７記載の音声信号変換装置は、請求項１ないし４のいずれか１項に記載の音声信号変換装置において、前記特徴パラメータ系列変換手段は、前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を、前記入力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列に変換する第１話者変動変換手段と、前記第１話者変動変換手段で変換した特徴パラメータ系列を、前記入力音声信号と同一の環境属性および異なる様式属性を有する第１基準様式または前記出力音声信号と同一の環境属性および異なる様式属性を有する第２基準様式の音声信号の特徴パラメータ系列に変換する第１様式変動変換手段と、前記第１様式変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列に変換する第２様式変動変換手段と、前記第２様式変動変換手段で変換した特徴パラメータ系列を、前記出力音声信号の特徴パラメータ系列に変換する第２話者変動変換手段とを備え、前記第１基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、前記第１基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記入力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、前記第２基準様式の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列であり、前記第２基準話者の音声信号の特徴パラメータ系列は、前記音響モデルマップにおいて、前記出力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。
【００２７】
このような構成であれば、第１話者変動変換手段により、抽出された特徴パラメータ系列が第１基準話者の音声信号の特徴パラメータ系列に変換される。この変換は、入力音声信号の話者と第１基準話者との間の話者変動に応じた変換となる。第１基準話者の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、入力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列特徴である。
【００２８】
次いで、第１様式変動変換手段により、変換された特徴パラメータ系列が第１基準様式または第２基準様式の音声信号の特徴パラメータ系列に変換される。この変換は、入力音声信号の様式と第１基準様式または第２基準様式との間の様式変動に応じた変換となる。第１基準様式の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、入力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。第２基準様式の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、出力音声信号と同一の環境属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な様式属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。
【００２９】
次いで、第２様式変動変換手段により、変換された特徴パラメータ系列が第２基準話者の音声信号の特徴パラメータ系列に変換される。この変換は、第１基準様式または第２基準様式と出力音声信号の様式との間の様式変動に応じた変換となる。第２基準話者の音声信号の特徴パラメータ系列は、音響モデルマップにおいて、出力音声信号と同一の環境属性および様式属性を有する音響モデル対応低次元ベクトルの分布領域内での平均的な話者属性を有する音響モデル対応低次元ベクトルに対応する高次元音響モデルの特徴パラメータ系列である。
【００３０】
そして、第２話者変動変換手段により、変換された特徴パラメータ系列が出力音声信号の特徴パラメータ系列に変換される。この変換は、第２基準話者と出力音声信号の話者との間の話者変動に応じた変換となる。
したがって、入力音声信号の特徴パラメータ系列は、話者変動、様式変動および環境変動の順序で出力音声信号の特徴パラメータ系列に変換される。
【００３１】
さらに、本発明に係る請求項８記載の音声信号変換装置は、請求項５ないし７のいずれか１項に記載の音声信号変換装置において、前記音響モデルマップ記憶手段は、音声信号の複数の話者属性に対応する話者属性高次元音響モデルの集合、音声信号の複数の様式属性に対応する様式属性高次元音響モデルの集合および音声信号の複数の環境属性に対応する環境属性高次元音響モデルの集合をさらに記憶し、前記音響モデルマップ記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記入力音声信号の話者属性、様式属性および環境属性として同定する入力音声信号属性同定手段と、前記出力音声信号のサンプルから特徴パラメータ系列を抽出する出力特徴パラメータ系列抽出手段と、前記属性モデル記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、前記出力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記出力音声信号の話者属性、様式属性および環境属性として同定する出力音声信号属性同定手段と、与えられた特徴パラメータ系列を前記第１基準話者の音声信号の特徴パラメータ系列に変換する複数の第１話者変動変換関数、与えられた特徴パラメータ系列を前記第１基準様式の音声信号の特徴パラメータ系列に変換する複数の第１様式変動変換関数、与えられた特徴パラメータ系列を前記第２基準様式の音声信号の特徴パラメータ系列に変換する複数の環境変動変換関数、与えられた特徴パラメータ系列を前記第２基準話者の音声信号の特徴パラメータ系列に変換する複数の第２様式変動変換関数、および与えられた特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する複数の第２話者変動変換関数を記憶する変動変換関数記憶手段と、前記入力音声信号属性同定手段および前記出力音声信号属性同定手段で同定した属性に基づいて、前記第１話者変動変換関数、前記第１様式変動変換関数、前記環境変動変換関数、前記第２様式変動変換関数および前記第２話者変動変換関数を前記変動変換関数記憶手段のなかから選択する変動変換関数選択手段とを備え、前記特徴パラメータ系列変換手段は、前記変動変換関数選択手段で選択した変動変換関数に基づいて特徴パラメータ系列を変換する。
【００３２】
このような構成であれば、入力音声信号属性同定手段により、音響モデルマップ記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、抽出された特徴パラメータ系列に対する尤度が求められ、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性が入力音声信号の属性として同定される。
【００３３】
また、出力特徴パラメータ系列抽出手段により、出力音声信号のサンプルから特徴パラメータ系列が抽出される。次いで、出力音声信号属性同定手段により、音響モデルマップ記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、抽出された特徴パラメータ系列に対する尤度が求められ、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性が出力音声信号の属性として同定される。
【００３４】
そして、変動変換関数選択手段により、同定された属性に基づいて、第１話者変動変換関数、第１様式変動変換関数、環境変動変換関数、第２様式変動変換関数および第２話者変動変換関数が変動変換関数記憶手段のなかから選択され、特徴パラメータ系列変換手段により、選択された変動変換関数に基づいて特徴パラメータ系列が変換される。
さらに、本発明に係る請求項９記載の音声信号変換装置は、請求項５ないし７のいずれか１項に記載の音声信号変換装置において、前記音響モデルマップ記憶手段は、音声信号の複数の話者属性に対応する話者属性高次元音響モデルの集合、音声信号の複数の様式属性に対応する様式属性高次元音響モデルの集合および音声信号の複数の環境属性に対応する環境属性高次元音響モデルの集合を記憶する属性モデル記憶手段と、前記属性モデル記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、前記特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記入力音声信号の話者属性、様式属性および環境属性として同定する入力音声信号属性同定手段と、前記出力音声信号の話者属性、様式属性および環境属性を入力する出力音声信号属性入力手段と、前記出力音声信号属性入力手段で入力した話者属性、様式属性および環境属性に最も適合する話者属性、様式属性および環境属性を有する混合正規分布モデルを求め、当該混合正規分布モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記出力音声信号の話者属性、様式属性および環境属性として同定する出力音声信号属性同定手段と、与えられた特徴パラメータ系列を前記第１基準話者の音声信号の特徴パラメータ系列に変換する複数の第１話者変動変換関数、与えられた特徴パラメータ系列を前記第１基準様式の音声信号の特徴パラメータ系列に変換する複数の第１様式変動変換関数、与えられた特徴パラメータ系列を前記第２基準様式の音声信号の特徴パラメータ系列に変換する複数の環境変動変換関数、与えられた特徴パラメータ系列を前記第２基準話者の音声信号の特徴パラメータ系列に変換する複数の第２様式変動変換関数、および与えられた特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する複数の第２話者変動変換関数を記憶する変動変換関数記憶手段と、前記入力音声信号属性同定手段および前記出力音声信号属性同定手段で同定した属性に基づいて、前記第１話者変動変換関数、前記第１様式変動変換関数、前記環境変動変換関数、前記第２様式変動変換関数および前記第２話者変動変換関数を前記変動変換関数記憶手段のなかから選択する変動変換関数選択手段とを備え、前記特徴パラメータ系列変換手段は、前記変動変換関数選択手段で選択した変動変換関数に基づいて特徴パラメータ系列を変換する。
【００３５】
このような構成であれば、入力音声信号属性同定手段により、属性モデル記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、抽出された特徴パラメータ系列に対する尤度が求められ、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性が入力音声信号の属性として同定される。
【００３６】
また、出力音声信号属性入力手段により、出力音声信号の話者属性、様式属性および環境属性が入力される。次いで、出力音声信号属性同定手段により、入力された話者属性、様式属性および環境属性に最も適合する話者属性、様式属性および環境属性を有する混合正規分布モデルが求められ、その混合正規分布モデルに対応する話者属性、様式属性および環境属性が出力音声信号の属性として同定される。
そして、変動変換関数選択手段により、同定された属性に基づいて、第１話者変動変換関数、第１様式変動変換関数、環境変動変換関数、第２様式変動変換関数および第２話者変動変換関数が変動変換関数記憶手段のなかから選択され、特徴パラメータ系列変換手段により、選択された変動変換関数に基づいて特徴パラメータ系列が変換される。
【００３７】
一方、上記目的を達成するために、本発明に係る請求項１０記載の音声信号変換方法は、入力音声信号を目標の出力音声信号に変換する音声信号変換方法であって、前記入力音声信号から所定次元数以上の高次元の特徴パラメータ系列を抽出する特徴パラメータ系列抽出ステップと、複数話者から取得した音声データを話者属性、様式属性および環境属性の３つの属性に基づいてグループ分けし、当該各グループに属する音声データに基づいて所定次元数以上の高次元の特徴パラメータ系列を有する高次元音響モデルを生成し、当該高次元音響モデル相互間の数学的距離関係を保持しながら前記高次元音響モデルから変換した前記高次元の次元数未満の音響モデル対応低次元ベクトルから構成される音響モデルマップを、前記高次元音響モデルとともに記憶する音響モデルマップ記憶ステップと、話者属性間の変動、様式属性間の変動および環境属性間の変動のうち少なくとも２つの組み合わせに応じて、前記特徴パラメータ系列抽出ステップで抽出した特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する特徴パラメータ系列変換ステップと、前記特徴パラメータ系列変換ステップで変換した特徴パラメータ系列から前記出力音声信号を生成する音声信号生成ステップとを含み、前記音響モデルマップは、環境属性が同一である音響モデル対応低次元ベクトルの分布領域が、様式属性の異なる複数の音響モデル対応低次元ベクトルの分布領域を包含する関係と、前記様式属性の異なる複数の音響モデル対応低次元ベクトルの分布領域それぞれが、話者属性の異なる複数の音響モデル対応低次元ベクトルの分布領域を包含する関係とを有する。
【００３８】
一方、上記目的を達成するために、本発明に係る請求項１１記載の音声信号変換サービス提供システムは、変換関数提供端末と、携帯端末とを通信可能に接続し、入力音声信号を目標の出力音声信号に変換する音声変換サービスを提供する音声信号変換サービス提供システムであって、前記変換関数提供端末は、複数話者から取得した音声データを話者属性、様式属性および環境属性の３つの属性に基づいてグループ分けし、当該各グループに属する音声データに基づいて所定次元数以上の高次元の特徴パラメータ系列を有する高次元音響モデルを生成し、当該高次元音響モデル相互間の数学的距離関係を保持しながら前記高次元音響モデルから変換した前記高次元の次元数未満の音響モデル対応低次元ベクトルから構成される音響モデルマップを、前記高次元音響モデルとともに記憶し、さらに、音声信号の複数の話者属性に対応する話者属性高次元音響モデルの集合、音声信号の複数の様式属性に対応する様式属性高次元音響モデルの集合および音声信号の複数の環境属性に対応する環境属性高次元音響モデルの集合を記憶する音響モデルマップ記憶手段と、前記入力音声信号の特徴パラメータ系列を受信する入力特徴パラメータ系列受信手段と、前記音響モデルマップ記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、前記入力特徴パラメータ系列受信手段で受信した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記入力音声信号の話者属性、様式属性および環境属性として同定する入力音声信号属性同定手段と、前記出力音声信号の特徴パラメータ系列を受信する出力特徴パラメータ系列受信手段と、前記音響モデルマップ記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、前記出力特徴パラメータ系列受信手段で受信した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記出力音声信号の話者属性、様式属性および環境属性として同定する出力音声信号属性同定手段と、与えられた特徴パラメータ系列を、前記入力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列に変換する複数の第１話者変動変換関数、与えられた特徴パラメータ系列を、前記入力音声信号と同一の環境属性および異なる様式属性を有する第１基準様式の音声信号の特徴パラメータ系列に変換する複数の第１様式変動変換関数、与えられた特徴パラメータ系列を、前記出力音声信号と同一の環境属性および異なる様式属性を有する第２基準様式の音声信号の特徴パラメータ系列に変換する複数の環境変動変換関数、与えられた特徴パラメータ系列を、前記出力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列に変換する複数の第２様式変動変換関数、並びに与えられた特徴パラメータ系列を、前記出力音声信号の特徴パラメータ系列に変換する複数の第２話者変動変換関数を記憶する変動変換関数記憶手段と、前記入力音声信号属性同定手段および前記出力音声信号属性同定手段で同定した属性に基づいて、前記第１話者変動変換関数、前記第１様式変動変換関数、前記環境変動変換関数、前記第２様式変動変換関数および前記第２話者変動変換関数を前記変動変換関数記憶手段のなかから選択する変動変換関数選択手段と、前記変動変換関数選択手段で選択した変換関数を前記携帯端末に送信する変換関数送信手段とを備え、前記携帯端末は、前記入力音声信号を入力する入力音声信号入力手段と、前記入力音声信号入力手段で入力した入力音声信号から所定次元数以上の高次元の特徴パラメータ系列を抽出する入力特徴パラメータ系列抽出手段と、前記入力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記変換関数提供端末に送信する入力特徴パラメータ系列送信手段と、前記出力音声信号のサンプルを入力する出力音声信号入力手段と、前記出力音声信号入力手段で入力した出力音声信号から特徴パラメータ系列を抽出する出力特徴パラメータ系列抽出手段と、前記出力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記変換関数提供端末に送信する出力特徴パラメータ系列送信手段と、前記変換関数を受信する変換関数受信手段と、前記変換関数受信手段で受信した変換関数に基づいて、前記入力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する特徴パラメータ系列変換手段と、前記特徴パラメータ系列変換手段で変換した特徴パラメータ系列から前記出力音声信号を生成する音声信号生成手段とを備える。
【００３９】
このような構成であれば、請求項８記載の音声信号変換装置と同等の作用が得られる。すなわち、携帯端末では、入力音声信号入力手段により入力音声信号が入力されると、入力特徴パラメータ系列抽出手段により、入力された入力音声信号から特徴パラメータ系列が抽出され、入力特徴パラメータ系列送信手段により、抽出された特徴パラメータ系列が変換関数提供端末に送信される。
【００４０】
変換関数提供端末では、入力特徴パラメータ系列受信手段により特徴パラメータ系列を受信すると、入力音声信号属性同定手段により、属性モデル記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、受信した特徴パラメータ系列に対する尤度が求められ、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性が入力音声信号の属性として同定される。
【００４１】
また、携帯端末では、出力音声信号入力手段により出力音声信号のサンプルが入力されると、出力特徴パラメータ系列抽出手段により、入力された出力音声信号から所定次元数以上の高次元の特徴パラメータ系列が抽出され、出力特徴パラメータ系列送信手段により、抽出された特徴パラメータ系列が変換関数提供端末に送信される。
変換関数提供端末では、出力特徴パラメータ系列受信手段により特徴パラメータ系列を受信すると、出力音声信号属性同定手段により、音響モデルマップ記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、受信した特徴パラメータ系列に対する尤度が求められ、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性が出力音声信号の属性として同定される。
【００４２】
入力音声信号および出力音声信号の属性が同定されると、変動変換関数選択手段により、同定された属性に基づいて、第１話者変動変換関数、第１様式変動変換関数、環境変動変換関数、第２様式変動変換関数および第２話者変動変換関数が変動変換関数記憶手段のなかから選択され、変換関数送信手段により、選択された変換関数が携帯端末に送信される。
携帯端末では、変換関数受信手段により変換関数を受信すると、特徴パラメータ系列変換手段により、受信した変換関数に基づいて、抽出された入力音声信号の特徴パラメータ系列が出力音声信号の特徴パラメータ系列に変換される。そして、音声信号生成手段により、変換された特徴パラメータ系列から出力音声信号が生成される。
【００４３】
さらに、本発明に係る請求項１２記載の音声信号変換サービス提供システムは、変換関数提供端末と、携帯端末とを通信可能に接続し、入力音声信号を目標の出力音声信号に変換する音声変換サービスを提供する音声信号変換サービス提供システムであって、前記変換関数提供端末は、複数話者から取得した音声データを話者属性、様式属性および環境属性の３つの属性に基づいてグループ分けし、当該各グループに属する音声データに基づいて所定次元数以上の高次元の特徴パラメータ系列を有する高次元音響モデルを生成し、当該高次元音響モデル相互間の数学的距離関係を保持しながら前記高次元音響モデルから変換した前記高次元の次元数未満の音響モデル対応低次元ベクトルから構成される音響モデルマップを、前記高次元音響モデルとともに記憶し、さらに、音声信号の複数の話者属性に対応する話者属性高次元音響モデルモデルの集合、音声信号の複数の様式属性に対応する様式属性高次元音響モデルモデルの集合および音声信号の複数の環境属性に対応する環境属性高次元音響モデルモデルの集合を記憶する音響モデルマップ記憶手段と、前記入力音声信号の特徴パラメータ系列を受信する入力特徴パラメータ系列受信手段と、前記音響モデルマップ記憶手段の話者属性高次元音響モデルモデル、様式属性高次元音響モデルモデルおよび環境属性高次元音響モデルモデルについて、前記入力特徴パラメータ系列受信手段で受信した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデルモデル、様式属性高次元音響モデルモデルおよび環境属性高次元音響モデルモデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記入力音声信号の話者属性、様式属性および環境属性として同定する入力音声信号属性同定手段と、前記出力音声信号の話者属性、様式属性および環境属性を示す属性データを受信する属性データ受信手段と、前記属性データ受信手段で受信した属性データの話者属性、様式属性および環境属性に最も適合する話者属性、様式属性および環境属性を有する混合正規分布モデルを求め、当該混合正規分布モデルに対応する前記話者属性、前記様式属性および前記環境属性を、前記出力音声信号の話者属性、様式属性および環境属性として同定する出力音声信号属性同定手段と、与えられた特徴パラメータ系列を、前記入力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列に変換する複数の第１話者変動変換関数、与えられた特徴パラメータ系列を、前記入力音声信号と同一の環境属性および異なる様式属性を有する第１基準様式の音声信号の特徴パラメータ系列に変換する複数の第１様式変動変換関数、与えられた特徴パラメータ系列を、前記出力音声信号と同一の環境属性および異なる様式属性を有する第２基準様式の音声信号の特徴パラメータ系列に変換する複数の環境変動変換関数、与えられた特徴パラメータ系列を、前記出力音声信号と同一の様式属性および環境属性並びに異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列に変換する複数の第２様式変動変換関数、並びに与えられた特徴パラメータ系列を、前記出力音声信号の特徴パラメータ系列に変換する複数の第２話者変動変換関数を記憶する変動変換関数記憶手段と、前記入力音声信号属性同定手段および前記出力音声信号属性同定手段で同定した属性に基づいて、前記第１話者変動変換関数、前記第１様式変動変換関数、前記環境変動変換関数、前記第２様式変動変換関数および前記第２話者変動変換関数を前記変動変換関数記憶手段のなかから選択する変動変換関数選択手段と、前記変動変換関数選択手段で選択した変換関数を前記携帯端末に送信する変換関数送信手段とを備え、前記携帯端末は、前記入力音声信号を入力する入力音声信号入力手段と、前記入力音声信号入力手段で入力した入力音声信号から所定次元数以上の高次元の特徴パラメータ系列を抽出する入力特徴パラメータ系列抽出手段と、前記入力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記変換関数提供端末に送信する入力特徴パラメータ系列送信手段と、前記出力音声信号の話者属性、様式属性および環境属性を入力する出力音声信号属性入力手段と、前記出力音声信号属性入力手段で入力した話者属性、様式属性および環境属性を示す属性データを前記変換関数提供端末に送信する属性データ送信手段と、前記変換関数を受信する変換関数受信手段と、前記変換関数受信手段で受信した変換関数に基づいて、前記入力特徴パラメータ系列抽出手段で抽出した特徴パラメータ系列を前記出力音声信号の特徴パラメータ系列に変換する特徴パラメータ系列変換手段と、前記特徴パラメータ系列変換手段で変換した特徴パラメータ系列から前記出力音声信号を生成する音声信号生成手段とを備える。
【００４４】
このような構成であれば、請求項９記載の音声信号変換装置と同等の作用が得られる。すなわち、携帯端末では、入力音声信号入力手段により入力音声信号が入力されると、入力特徴パラメータ系列抽出手段により、入力された入力音声信号から所定次元数以上の高次元の特徴パラメータ系列が抽出され、入力特徴パラメータ系列送信手段により、抽出された特徴パラメータ系列が変換関数提供端末に送信される。
【００４５】
変換関数提供端末では、入力特徴パラメータ系列受信手段により特徴パラメータ系列を受信すると、入力音声信号属性同定手段により、記憶手段の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、受信した特徴パラメータ系列に対する尤度が求められ、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性が入力音声信号の属性として同定される。
【００４６】
また、携帯端末では、出力音声信号属性入力手段により、出力音声信号の話者属性、様式属性および環境属性が入力されると、属性データ送信手段により、入力された話者属性、様式属性および環境属性を示す属性データが変換関数提供端末に送信される。
変換関数提供端末では、属性データ受信手段により属性データを受信すると、出力音声信号属性同定手段により、受信した属性データの話者属性、様式属性および環境属性に最も適合する話者属性、様式属性および環境属性を有する混合正規分布モデルが求められ、その混合正規分布モデルに対応する話者属性、様式属性および環境属性が出力音声信号の属性として同定される。
【００４７】
入力音声信号および出力音声信号の属性が同定されると、変動変換関数選択手段により、同定された属性に基づいて、第１話者変動変換関数、第１様式変動変換関数、環境変動変換関数、第２様式変動変換関数および第２話者変動変換関数が変動変換関数記憶手段のなかから選択され、変換関数送信手段により、選択された変換関数が携帯端末に送信される。
【００４８】
携帯端末では、変換関数受信手段により変換関数を受信すると、特徴パラメータ系列変換手段により、受信した変換関数に基づいて、抽出された入力音声信号の特徴パラメータ系列が出力音声信号の特徴パラメータ系列に変換される。そして、音声信号生成手段により、変換された特徴パラメータ系列から出力音声信号が生成される。
さらに、本発明に係る請求項１３記載の音声信号変換サービス提供システムは、請求項１１および１２のいずれか１項に記載の音声信号変換サービス提供システムにおいて、前記変換関数提供端末は、さらに、前記変換関数送信手段で前記変換関数を送信する際に、前記携帯端末のユーザに対する課金処理を行う課金手段を備える。
【００４９】
このような構成であれば、変換関数提供端末では、変換関数送信手段により変換関数が送信されると、課金手段により、携帯端末のユーザに対する課金処理が行われる。
一方、上記目的を達成するために、本発明に係る請求項１４記載の変換関数提供端末は、請求項１１記載の音声信号変換サービス提供システムに適用される変換関数提供端末であって、前記音響モデルマップ記憶手段、前記入力特徴パラメータ系列受信手段、前記入力音声信号属性同定手段、前記出力特徴パラメータ系列受信手段、前記出力音声信号属性同定手段、前記変動変換関数記憶手段、前記変動変換関数選択手段および前記変換関数送信手段を備える。
【００５０】
このような構成であれば、請求項１１記載の音声信号変換サービス提供システムにおける変換関数提供端末と同等の作用が得られる。
さらに、本発明に係る請求項１５記載の変換関数提供端末は、請求項１２記載の音声信号変換サービス提供システムに適用される変換関数提供端末であって、前記音響モデルマップ記憶手段、前記入力特徴パラメータ系列受信手段、前記入力音声信号属性同定手段、前記属性データ受信手段、前記出力音声信号属性同定手段、前記変動変換関数記憶手段、前記変動変換関数選択手段および前記変換関数送信手段を備える。
【００５１】
このような構成であれば、請求項１２記載の音声信号変換サービス提供システムにおける変換関数提供端末と同等の作用が得られる。
一方、上記目的を達成するために、本発明に係る請求項１６記載の携帯端末は、請求項１１記載の音声信号変換サービス提供システムに適用される携帯端末であって、前記入力音声信号入力手段、前記入力特徴パラメータ系列抽出手段、前記入力特徴パラメータ系列送信手段、前記出力音声信号入力手段、前記出力特徴パラメータ系列抽出手段、前記出力特徴パラメータ系列送信手段、前記変換関数受信手段、前記特徴パラメータ系列変換手段および前記音声信号生成手段を備える。
【００５２】
このような構成であれば、請求項１１記載の音声信号変換サービス提供システムにおける携帯端末と同等の作用が得られる。
さらに、本発明に係る請求項１７記載の携帯端末は、請求項１２記載の音声信号変換サービス提供システムに適用される携帯端末であって、前記入力音声信号入力手段、前記入力特徴パラメータ系列抽出手段、前記入力特徴パラメータ系列送信手段、前記出力音声信号属性入力手段、前記属性データ送信手段、前記変換関数受信手段、前記特徴パラメータ系列変換手段および前記音声信号生成手段を備える。
このような構成であれば、請求項１２記載の音声信号変換サービス提供システムにおける携帯端末と同等の作用が得られる。
【発明の効果】
【００５３】
以上説明したように、本発明に係る請求項１記載の音声信号変換装置によれば、話者属性間の変動、様式属性間の変動および環境属性間の変動のうち少なくとも２つの組み合わせに応じて特徴パラメータ系列が変換されるので、従来に比して、特徴パラメータ系列を精度よく変換することができるという効果が得られる。
さらに、本発明に係る請求項５ないし７記載の音声信号変換装置によれば、話者属性間の変動、様式属性間の変動および環境属性間の変動の順序を考慮して特徴パラメータ系列が変換されるので、特徴パラメータ系列をさらに精度よく変換することができるという効果が得られる。
【００５４】
さらに、本発明に係る請求項８または９記載の音声信号変換装置によれば、入力音声信号および出力音声信号の話者属性、様式属性および環境属性を同定した上で特徴パラメータ系列が変換されるので、特徴パラメータ系列をさらに精度よく変換することができるという効果が得られる。
一方、本発明に係る請求項１０記載の音声信号変換方法によれば、請求項１記載の音声信号変換装置と同等の効果が得られる。
【００５５】
一方、本発明に係る請求項１１記載の音声信号変換サービス提供システムによれば、請求項８記載の音声信号変換装置と同等の効果が得られる。
さらに、本発明に係る請求項１２記載の音声信号変換サービス提供システムによれば、請求項９記載の音声信号変換装置と同等の効果が得られる。
一方、本発明に係る請求項１４記載の変換関数提供端末によれば、請求項１１記載の音声信号変換サービス提供システムと同等の効果が得られる。
【００５６】
さらに、本発明に係る請求項１５記載の変換関数提供端末によれば、請求項１２記載の音声信号変換サービス提供システムと同等の効果が得られる。
一方、本発明に係る請求項１６記載の携帯端末によれば、請求項１１記載の音声信号変換サービス提供システムと同等の効果が得られる。
さらに、本発明に係る請求項１７記載の携帯端末によれば、請求項１２記載の音声信号変換サービス提供システムと同等の効果が得られる。
【発明を実施するための最良の形態】
【００５７】
以下、本発明の第１の実施の形態を図面を参照しながら説明する。図１ないし図１０は、本発明に係る音声信号変換装置の第１の実施の形態を示す図である。また、図１４、図１５および図１６は、複数話者から取得した音声データに基づいて作成した音響モデルマップの例である。
まず、本実施の形態の基本原理を説明する。
【００５８】
図１４、図１５および図１６で例示される音響モデルマップを作成するために使用した音声データは、静粛な部屋で多数の女性に５種類のタスク（コマンド、都市名、４桁数字、仮名、苗字）を発声して貰って取得したものである。このクリーン音声に信号雑音比（SNR:Signal-to-Noise Ratio）２０ｄＢで展示会雑音を重畳した。このクリーン音声と雑音重畳音声から、２１次元の特徴パラメータ系列を求め、タスク毎かつ女性話者毎に特定話者音響モデルを作成した。図１４は、これらの特定話者音響モデルから、以下で説明するＣＯＳＭＯＳ法により２次元平面上にマッピングした場合の音響モデルの分布を示す図である。ここで、図１４の各記号は、それぞれ、■：コマンド、◆：都市名、▲：４桁数字、□：仮名、△：苗字の通り、各タスクを表す。また、図１４には、クリーン音声と雑音重畳音声の区切りの曲線も示す。図１４が示す通り、クリーン音声と雑音重畳音声の固まりは分離しており、環境属性（クリーンであるか、雑音重畳であるか）が様式属性（タスクの種類）、話者属性に比して、最も大きな影響を有していることが分かる。さらに、ＳＮＲ２０ｄＢの雑音重畳音声に限定して、図１５に示す通り音響モデルマップを作成した。ここで、図１５の各記号は、それぞれ、■：コマンド、◆：都市名、▲：４桁数字、□：仮名、△：苗字の通り、各タスクを表す。図１５が示す通り、多少の重なりはあるものの、コマンド、都市名、４桁数字、仮名、苗字のタスク毎の固まりが分離していること分かる。この現象は、クリーン音声においても同様である。さらに、ＳＮＲ２０ｄＢの雑音重畳音声であり、かつコマンドのタスクに限定して、図１６に示す通り音響モデルマップを作成した。ここで、図１６の記号は、■：コマンドのタスクを表す。図１６が示す通り、コマンドのタスクの特定話者音響モデルは円状の固まりを形成していること分かる。この現象は、別の５種類のタスクおよびクリーン音声においても同様である。
【００５９】
以上の結果から、環境属性間の変動、様式属性間の変動、話者属性間の変動の順に変動量が多く、様式属性間の変動は話者属性間の変動を包含し、環境属性間の変動は様式属性間の変動を包含していることが分かる。
図１は、話者属性、様式属性および環境属性を有する音響モデルを以下で説明するＣＯＳＭＯＳ法により２次元平面上にマッピングした場合の音響モデルの分布を示す概念図である。環境属性が同一である音響モデル対応低次元ベクトルの分布領域が、様式属性の異なる複数の音響モデル対応低次元ベクトルの分布領域を包含し、様式属性の異なる複数の音響モデル対応低次元ベクトルの分布領域が、話者属性の異なる複数の音響モデル対応低次元ベクトルの分布領域を包含している。加えて、環境属性と様式属性を固定した場合には、話者属性の異なる複数の音響モデル対応低次元ベクトルの分布領域は、円状に拡がり、円の中心には最も平均的な話者属性の音響モデル対応低次元ベクトルが位置することが、M. Shozakai and G. Nagino, "Acoustic Space Analysis Method Utilizing Statistical Multidimensional Scaling Technique," Proc. NSIP(International Workshop on Nonlinear Signal and Image Processing), pp. 430-435, Sapporo, Japan, May 2005.で示されている。
【００６０】
本実施の形態では、話者変動、様式変動および環境変動に応じて、入力音声信号の特徴パラメータ系列を目標の出力音声信号の特徴パラメータ系列に変換する。変換にあたっては、図１に示すような、話者属性、様式属性および環境属性を有する音響モデルをＣＯＳＭＯＳ法により２次元平面上にマッピングした音響モデルマップが参照される。
図１の音響モデルマップの作成方法を簡単に説明する。
【００６１】
ＣＯＳＭＯＳ法では、まず、複数話者から取得した不特定多数の音声コーパスを、話者の声道に関する話者属性、発話様式または発話内容に関する様式属性、および発声環境の雑音または残響に関する環境属性の３つの特定条件に基づいてグループ分けする。ここで、音声コーパスには、話者属性、様式属性および環境属性を示す属性データが付与される。
【００６２】
次いで、各グループごとに、そのグループの音声コーパスに基づいて、高次元の特徴パラメータからなる特徴パラメータ系列を有する高次元の音響モデル（以下、高次元音響モデルという。）を生成する。高次元音響モデルは、複数の音声単位のＨＭＭの集合から構成される。
次いで、生成した高次元音響モデル相互間の数学的距離を算出し、生成した高次元音響モデルおよび算出した数学的距離に基づいて、高次元音響モデルを音響モデル対応低次元ベクトル変換する。ここで、数学的距離が小さい２つの高次元音響モデルは互いに近くに、数学的距離が大きい２つの高次元音響モデルは互いに遠くに位置するように、すべての高次元音響モデルを相互間の距離関係を保持したまま音響モデル対応低次元ベクトルに変換する。
【００６３】
そして、各音響モデル対応低次元ベクトルを、２次元平面においてマッピングした音響モデルマップが図１である。
なお、ＣＯＳＭＯＳ法については、「M. Shozakai and G. Nagino, "Analysis of Speaking Styles by Two-Dimensional Visualization of Aggregate of Acoustic Models," Proc. ICSLP, vol.1, pp.717-720, 2004.」に詳述されている。
【００６４】
図１の音響モデルマップは、２つの環境属性１０ａ、１０ｂ、４つの様式属性１２ａ〜１２ｂおよび４つの話者属性１４ａ〜１４ｄによって音声コーパスをグループ分けした場合である。図１によれば、２次元平面上には、各環境属性１０ａ、１０ｂごとに分布領域が形成される。これは、音響モデルの類似性に対して環境変動が最も大きな影響を与えることを示している。すなわち、環境属性が異なれば、同一話者、同一様式であっても音響モデルは大きく異なるのである。
【００６５】
さらに、環境属性１０ａの分布領域には、各様式属性１２ａ〜１２ｄごとに分布領域が形成される。環境属性１０ｂの分布領域についても同様に、各様式属性１２ａ〜１２ｄごとに分布領域が形成される。これは、音響モデルの類似性に対して様式変動による影響が次に大きいことを示している。すなわち、様式属性が異なれば、同一話者であっても音響モデルは大きく異なるのである。
【００６６】
さらに、様式属性１２ａの各分布領域には、各話者属性１４ａ〜１４ｄごとに分布領域が形成される。様式属性１２ｂの各分布領域、様式属性１２ｃの各分布領域および様式属性１２ｄの各分布領域についても同様に、各話者属性１４ａ〜１４ｄごとに分布領域が形成される。これは、音響モデルの類似性に対して話者変動による影響が最も小さいことを示している。
【００６７】
次に、特徴パラメータ系列を変換する手順を説明する。
図２は、話者変動、様式変動および環境変動に応じて、入力音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する場合を示す図である。
話者変動、様式変動および環境変動が複合的に影響する場合は、入力音声信号の特徴パラメータ系列から出力音声信号の特徴パラメータ系列に直接変換するのではなく、環境変動、様式変動および話者変動の順で影響が大きいので、この順序を考慮して段階的に特徴パラメータ系列を変換する。
【００６８】
高次元音響モデルは、話者属性、様式属性および環境属性によってグループ分けされた音声コーパスのうち、その高次元音響モデルが属するグループの音声コーパスに基づいて生成されるため、話者属性、様式属性および環境属性を有する。属性付けは、高次元音響モデルに対して、その高次元音響モデルの生成の元となった音声コーパスの属性データを対応付けることにより行う。
【００６９】
変換に先立って、入力音声信号を入力し、入力した入力音声信号から特徴パラメータ系列を抽出し、抽出した特徴パラメータ系列に基づいて入力音声信号の話者属性、様式属性および環境属性を同定する。これにより、入力音声信号の特徴パラメータ系列の音響モデルマップ上での位置を特定する。
また、出力音声信号のサンプルを入力し、入力した出力音声信号から特徴パラメータ系列を抽出し、抽出した特徴パラメータ系列に基づいて出力音声信号の話者属性、様式属性および環境属性を同定する。これにより、出力音声信号の特徴パラメータ系列の音響モデルマップ上での位置を特定する。
【００７０】
属性の同定が完了すると、影響が小さい話者変動、様式変動および環境変動の順で入力音声信号の特徴パラメータ系列を変換していく。
まず、話者変動による影響が最も小さいので、図２に示すように、入力音声信号の特徴パラメータ系列を第１基準話者１６ａの音声信号の特徴パラメータ系列に変換する。第１基準話者１６ａの音声信号の特徴パラメータ系列は、入力音声信号と同一の環境属性および様式属性のなかで平均的な話者属性を有する話者の音声信号の特徴パラメータ系列である。この変換は、入力音声信号の話者と第１基準話者１６ａとの間の話者変動に応じた変換となる。
【００７１】
次いで、様式変動による影響が小さいので、第１基準話者１６ａの音声信号の特徴パラメータ系列を第１基準様式１６ｂの音声信号の特徴パラメータ系列に変換する。第１基準様式１６ｂの音声信号の特徴パラメータ系列は、入力音声信号と同一の環境属性のなかで平均的な様式属性を有する様式の音声信号の特徴パラメータ系列である。この変換は、入力音声信号の様式と第１基準様式１６ｂとの間の様式変動に応じた変換となる。
【００７２】
そして、環境変動による影響が最も大きいので、第１基準様式１６ｂの音声信号の特徴パラメータ系列を第２基準様式１６ｃの音声信号の特徴パラメータ系列に変換する。第２基準様式１６ｃの音声信号の特徴パラメータ系列は、出力音声信号と同一の環境属性のなかで平均的な様式属性を有する様式の音声信号の特徴パラメータ系列である。この変換は、第２基準様式１６ｃと出力音声信号の様式との間の様式変動に応じた変換となる。
【００７３】
以降は、話者変動、様式変動および環境変動の逆順で出力音声信号の特徴パラメータ系列に変換していく。
まず、第２基準様式１６ｃの音声信号の特徴パラメータ系列を第２基準話者１６ｄの音声信号の特徴パラメータ系列に変換する。第２基準話者１６ｄの音声信号の特徴パラメータ系列は、出力音声信号と同一の環境属性および様式属性のなかで平均的な話者属性を有する話者の音声信号の特徴パラメータ系列である。この変換は、第２基準様式１６ｃと出力音声信号の様式との間の様式変動に応じた変換となる。
【００７４】
そして、第２基準話者１６ｄの音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する。この変換は、第２基準話者１６ｄと出力音声信号の話者との間の話者変動に応じた変換となる。
これらの変換は、ＧＭＭに基づく音声信号変換方法などを適宜用いればよい。この場合、各変換手段は、音声信号変換関数として構成することができる。このような構成にしておけば、入力音声信号の特徴パラメータ系列、第１基準話者１６ａの音声信号の特徴パラメータ系列、第１基準様式１６ｂの音声信号の特徴パラメータ系列、第２基準様式１６ｃの音声信号の特徴パラメータ系列、第２基準話者１６ｄの音声信号の特徴パラメータ系列、または出力音声信号の特徴パラメータ系列のいずれかが変わった場合でも、音声信号変換関数のすべてを変更することなく、最小限の音声信号変換関数を変更すればよい。例えば、環境変動を跨いで出力音声信号の話者のみを変える場合は、第２基準話者１６ｄの音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する変換関数のみを変更すればよいし、出力音声信号の様式と話者を変える場合には、第２基準様式１６ｃの音声信号の特徴パラメータ系列を第２基準話者１６ｄの音声信号の特徴パラメータ系列に変換する変換関数、および第２基準話者１６ｄの音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する変換関数を変更すればよい。
【００７５】
次に、本発明を適用するネットワークシステムの構成を説明する。
図３は、本発明を適用するネットワークシステムの構成を示すブロック図である。
ネットワーク１９９には、図３に示すように、音声信号変換サーバ１００と、携帯端末２００とネットワーク１９９との通信を中継する中継局２２０とが接続されている。
中継局２２０には、携帯端末２００と無線通信を行う複数の基地局２１０が接続されており、中継局２２０は、携帯端末２００がネットワーク１９９に接続するときは、携帯端末２００に代わってネットワーク１９９上での一端末となって、基地局２１０を介して受信した携帯端末２００からのデータをネットワーク１９９を介して目的の端末に送信するとともに、ネットワーク１９９上にある目的の端末のデータを基地局２１０を介して携帯端末２００に送信する。
【００７６】
次に、音声信号変換サーバ１００の構成を説明する。
図４は、音声信号変換サーバ１００のハードウェア構成を示す図である。
音声信号変換サーバ１００は、図４に示すように、制御プログラムに基づいて演算およびシステム全体を制御するＣＰＵ３０と、所定領域にあらかじめＣＰＵ３０の制御プログラム等を格納しているＲＯＭ３２と、ＲＯＭ３２等から読み出したデータやＣＰＵ３０の演算過程で必要な演算結果を格納するためのＲＡＭ３４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ３８とで構成されており、これらは、データを転送するための信号線であるバス３９で相互にかつデータ授受可能に接続されている。
【００７７】
Ｉ／Ｆ３８には、外部装置として、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置４０と、データやテーブル等をファイルとして格納する記憶装置４２と、画像信号に基づいて画面を表示する表示装置４４と、ネットワーク１９９に接続するための信号線とが接続されている。
次に、記憶装置４２のデータ構造を説明する。
【００７８】
図５は、属性モデルのデータ構造を模式化した図である。
記憶装置４２には、図５に示すように、音声信号の複数の話者属性に対応する話者属性高次元音響モデルの集合と、音声信号の複数の様式属性に対応する様式属性高次元音響モデルの集合と、音声信号の複数の環境属性に対応する環境属性高次元音響モデルの集合がデータとして記憶されている。
【００７９】
話者属性高次元音響モデルは、話者の声道に関する話者属性の異なりに対応したＧＭＭで、様式属性高次元音響モデルは、発話様式や発話内容に関する様式属性の異なりに対応したＧＭＭで、環境属性高次元音響モデルは、発声環境の雑音や残響に関する環境属性の異なりに対応したＧＭＭでそれぞれモデル化することができる。これら属性モデルは、入力音声信号および出力音声信号を同定するために用いられる。
【００８０】
図６は、音声信号変換関数のデータ構造を模式化した図である。
記憶装置４２には、図６に示すように、与えられた特徴パラメータ系列を第１基準話者１６ａの音声信号の特徴パラメータ系列に変換する複数の第１話者変動変換関数と、与えられた特徴パラメータ系列を第１基準様式１６ｂの音声信号の特徴パラメータ系列に変換する複数の第１様式変動変換関数がデータとして記憶されている。また、与えられた特徴パラメータ系列を第２基準様式１６ｃの音声信号の特徴パラメータ系列に変換する複数の環境変動変換関数と、与えられた特徴パラメータ系列を第２基準話者１６ｄの音声信号の特徴パラメータ系列に変換する複数の第２様式変動変換関数と、与えられた特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する複数の第２話者変動変換関数がデータとして記憶されている。これら変換関数は、例えば、非特許文献２、３の方法により作成することができる。
【００８１】
次に、ＣＰＵ３０で実行される処理を説明する。
ＣＰＵ３０は、マイクロプロセッシングユニット等からなり、ＲＯＭ３２の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図７のフローチャートに示す変換関数提供処理を実行する。
図７は、変換関数提供処理を示すフローチャートである。
【００８２】
変換関数提供処理は、ＣＰＵ３０において実行されると、図７に示すように、まず、ステップＳ１００に移行する。
ステップＳ１００では、音声信号変換関数の取得要求を受信したか否かを判定し、取得要求を受信したと判定したとき(Yes)は、ステップＳ１０２に移行するが、そうでないと判定したとき(No)は、取得要求を受信するまでステップＳ１００で待機する。
【００８３】
ステップＳ１０２では、入力音声信号の特徴パラメータ系列を受信し、ステップＳ１０４に移行して、出力音声信号の特徴パラメータ系列を受信し、ステップＳ１０６に移行する。
ステップＳ１０６では、記憶装置４２の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、ステップＳ１０２で受信した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性を、入力音声信号の話者属性、様式属性および環境属性として同定する。
【００８４】
次いで、ステップＳ１０８に移行して、記憶装置４２の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、ステップＳ１０４で受信した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性を、出力音声信号の話者属性、様式属性および環境属性として同定する。
【００８５】
次いで、ステップＳ１１０に移行して、ステップＳ１０６、Ｓ１０８で同定した属性に基づいて、入力音声信号および出力音声信号の話者属性、様式属性および環境属性に対応する第１話者変動変換関数、第１様式変動変換関数、環境変動変換関数、第２様式変動変換関数および第２話者変動変換関数を記憶装置４２のなかから選択し、ステップＳ１１２に移行して、選択した変換関数を要求元の携帯端末２００に送信する。
【００８６】
次いで、ステップＳ１１４に移行して、要求元の携帯端末２００のユーザに対する課金処理を実行する。携帯端末２００のユーザは、例えば、変換関数の提供にあたって携帯端末２００にユーザ情報を要求し、これに応じて受信したユーザ情報に基づいて特定することができる。
ステップＳ１１４の処理が終了すると、一連の処理を終了して元の処理に復帰させる。
【００８７】
次に、携帯端末２００の構成を説明する。
図８は、携帯端末２００のハードウェア構成を示す図である。
携帯端末２００は、図８に示すように、制御プログラムに基づいて演算およびシステム全体を制御するＣＰＵ５０と、所定領域にあらかじめＣＰＵ５０の制御プログラム等を格納しているＲＯＭ５２と、ＲＯＭ５２等から読み出したデータやＣＰＵ５０の演算過程で必要な演算結果を格納するためのＲＡＭ５４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ５８とで構成されており、これらは、データを転送するための信号線であるバス５９で相互にかつデータ授受可能に接続されている。
【００８８】
Ｉ／Ｆ５８には、基地局２１０と無線通信を行う無線通信装置６０と、ヒューマンインターフェースとして複数のキーによりデータの入力が可能なキーパネル６２と、画像信号に基づいて画面を表示するＬＣＤ（Liquid Crystal Display）６４と、音声を入力して音声信号に変換するマイク６６と、音声信号を入力して音声に変換するスピーカ６８とが接続されている。
【００８９】
ＣＰＵ５０は、マイクロプロセッシングユニット等からなり、ＲＯＭ５２の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図９および図１０のフローチャートに示す変換関数取得処理および音声信号変換処理をそれぞれ時分割で実行する。
初めに、変換関数取得処理を説明する。
【００９０】
図９は、変換関数取得処理を示すフローチャートである。
変換関数取得処理は、ＣＰＵ５０において実行されると、図９に示すように、まず、ステップＳ２００に移行する。
ステップＳ２００では、音声信号変換関数の取得要求をキーパネル６２から入力したか否かを判定し、取得要求を入力したと判定したとき(Yes)は、ステップＳ２０２に移行するが、そうでないと判定したとき(No)は、取得要求を入力するまでステップＳ２００で待機する。
【００９１】
ステップＳ２０２では、入力音声信号をマイク６６から入力し、ステップＳ２０４に移行して、入力音声信号の入力を開始してから所定時間が経過したか否かを判定し、所定時間が経過したと判定したとき(Yes)は、ステップＳ２０６に移行して、入力した入力音声信号から特徴パラメータ系列を抽出し、ステップＳ２０８に移行する。
ステップＳ２０８では、出力音声信号のサンプルをマイク６６から入力し、ステップＳ２１０に移行して、出力音声信号の入力を開始してから所定時間が経過したか否かを判定し、所定時間が経過したと判定したとき(Yes)は、ステップＳ２１２に移行して、入力した出力音声信号から特徴パラメータ系列を抽出し、ステップＳ２１４に移行する。
【００９２】
ステップＳ２１４では、音声信号変換関数の取得要求を音声信号変換サーバ１００に送信し、ステップＳ２１６に移行して、抽出した入力音声信号の特徴パラメータ系列を音声信号変換サーバ１００に送信し、ステップＳ２１８に移行して、抽出した出力音声信号の特徴パラメータ系列を音声信号変換サーバ１００に送信し、ステップＳ２２０に移行する。
【００９３】
ステップＳ２２０では、変換関数を受信したか否かを判定し、変換関数を受信したと判定したとき(Yes)は、ステップＳ２２２に移行して、受信した変換関数をＲＡＭ５４に格納し、一連の処理を終了して元の処理に復帰させる。
一方、ステップＳ２２０で、変換関数を受信しないと判定したとき(No)は、変換関数を受信するまでステップＳ２２０で待機する。
【００９４】
一方、ステップＳ２１０で、出力音声信号の入力を開始してから所定時間が経過していないと判定したとき(No)は、ステップＳ２０８に移行する。
一方、ステップＳ２０４で、入力音声信号の入力を開始してから所定時間が経過していないと判定したとき(No)は、ステップＳ２０２に移行する。
次に、音声信号変換処理を説明する。
【００９５】
図１０は、音声信号変換処理を示すフローチャートである。
音声信号変換処理は、ＣＰＵ５０において実行されると、図１０に示すように、まず、ステップＳ３００に移行する。
ステップＳ３００では、音声信号の変換要求をキーパネル６２から入力したか否かを判定し、変換要求を入力したと判定したとき(Yes)は、ステップＳ３０２に移行するが、そうでないと判定したとき(No)は、変換要求を入力するまでステップＳ３００で待機する。
【００９６】
ステップＳ３０２では、変換関数をＲＡＭ５４から読み出し、ステップＳ３０４に移行して、入力音声信号をマイク６６から入力し、ステップＳ３０６に移行して、入力した入力音声信号から特徴パラメータ系列を抽出し、ステップＳ３０８に移行する。
ステップＳ３０８では、読み出した変換関数に基づいて、抽出した入力音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換し、ステップＳ３１０に移行して、変換した特徴パラメータ系列から出力音声信号を生成してスピーカ６８から出力し、ステップＳ３１２に移行する。
【００９７】
ステップＳ３１２では、音声信号変換の終了要求をキーパネル６２から入力したか否かを判定し、終了要求を入力したと判定したとき(Yes)は、一連の処理を終了して元の処理に復帰させる。
一方、ステップＳ３１２で、終了要求を入力しないと判定したとき(No)は、ステップＳ３０４に移行する。
【００９８】
次に、本実施の形態の動作を説明する。
まず、携帯端末２００で変換関数を取得する場合を説明する。
変換関数を取得する場合、ユーザは、携帯端末２００において、取得要求を入力し、入力音声信号と、出力音声信号のサンプルをそれぞれマイク６６から入力する。
携帯端末２００では、入力音声信号が入力されると、ステップＳ２０６を経て、入力された入力音声信号から特徴パラメータ系列が抽出される。また、出力音声信号のサンプルが入力されると、ステップＳ２１２を経て、入力された出力音声信号から特徴パラメータ系列が抽出される。そして、ステップＳ２１４〜Ｓ２１８を経て、抽出された入力音声信号および出力音声信号の特徴パラメータ系列が取得要求とともに音声信号変換サーバ１００に送信される。
【００９９】
音声信号変換サーバ１００では、取得要求とともに特徴パラメータ系列を受信すると、ステップＳ１０６を経て、記憶装置４２の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、入力音声信号の特徴パラメータ系列に対する尤度が求められ、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性が入力音声信号の属性として同定される。また、ステップＳ１０８を経て、記憶装置４２の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、受信した特徴パラメータ系列に対する尤度が求められ、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性が出力音声信号の属性として同定される。
【０１００】
そして、ステップＳ１１０、Ｓ１１２を経て、同定された属性に基づいて、第１話者変動変換関数、第１様式変動変換関数、環境変動変換関数、第２様式変動変換関数および第２話者変動変換関数が選択され、選択された変換関数が携帯端末２００に送信される。また、ステップＳ１１４を経て、携帯端末２００のユーザに対する課金処理が行われる。
携帯端末２００では、変換関数を受信すると、ステップＳ２２２を経て、受信した変換関数がＲＡＭ５４に格納される。
【０１０１】
次に、音声信号を変換する場合を説明する。
音声信号を変換する場合、ユーザは、携帯端末２００において、変換要求を入力し、入力音声信号をマイク６６から入力する。
携帯端末２００では、変換要求が入力されると、ステップＳ３０２を経て、変換関数がＲＡＭ５４から読み出される。そして、入力音声信号が入力されると、ステップＳ３０６、Ｓ３０８を経て、入力された入力音声信号から特徴パラメータ系列が抽出され、読み出された変換関数に基づいて、抽出された入力音声信号の特徴パラメータ系列が出力音声信号の特徴パラメータ系列に変換される。そして、ステップＳ３１０を経て、変換された特徴パラメータ系列から出力音声信号が生成されてスピーカ６８から出力される。音声信号の変換は、終了要求が入力されるまで行われる。
【０１０２】
なお、以上の説明では、同一の携帯端末２００において出力音声信号のサンプルおよび入力音声信号を入力する場合を説明したが、これに限らず、異なる携帯端末２００において出力音声信号のサンプルおよび入力音声信号をそれぞれ入力してもよい。
また、以上の説明では、同一の携帯端末２００において入力音声信号の入力、特徴パラメータ系列の変換および出力音声信号の出力を行う場合を説明したが、これに限らず、異なる携帯端末２００において入力音声信号の入力および出力音声信号の出力をそれぞれ行ってもよい。この場合、例えば、２者間の通話において一方の話者の音声を他の音声に変換して通話を行う場合に応用することができる。
【０１０３】
このようにして、本実施の形態では、入力音声信号から特徴パラメータ系列を抽出し、入力音声信号の特徴パラメータ系列を第１基準話者１６ａの音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を第１基準様式１６ｂの音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を第２基準様式１６ｃの音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を第２基準話者１６ｄの音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列から出力音声信号を生成する。
【０１０４】
これにより、話者変動、様式変動および環境変動の順序を考慮して特徴パラメータ系列が変換されるので、従来に比して、特徴パラメータ系列をさらに精度よく変換することができる。
本実施の形態による音声信号変換処理は、例えば、数字・単語・文章の音声認識を行う場合に、数字・単語・文章間の周波数スペクトルの特徴パラメータ系列変換処理を既に収集された小規模の音声コーパスから学習することに応用することができる。具体的には、例えば、数字の音声コーパスを収集しておき、数字の音声コーパスから特徴パラメータ系列を抽出し、単語または文章の音声コーパスの特徴パラメータ系列に変換する。これにより、新たに大規模な音声コーパスを収集することなく、数字・単語・文章間相互の周波数スペクトルの変換を行うことができるので、音声コーパス収集コストを大幅に節約できて経済的である。
【０１０５】
また、例えば、カーナビゲーションシステム等の音声認識を行う場合に、静寂な部屋に座って発声する場合の音声コーパスを自動車のなかで運転行動中の少量の音声コーパスに変換する特徴パラメータ系列変換処理を学習することに応用することができる。具体的には、静寂な部屋で不特定話者の音声コーパスを収集しておき、静寂な部屋の音声コーパスから特徴パラメータ系列を抽出し、自動車のなかで運転行動中の音声コーパスの特徴パラメータ系列に変換する。これにより、新たに自動車のなかで運転行動中の大規模な音声コーパスを収集することなく、周波数スペクトルの変換を行うことができるので、音声コーパス収集コストを大幅に節約できて経済的である。
【０１０６】
さらに、本実施の形態では、入力音声信号および出力音声信号の特徴パラメータ系列並びに属性モデルに基づいて入力音声信号および出力音声信号の属性を同定し、同定した属性に基づいて、第１話者変動変換関数、第１様式変動変換関数、環境変動変換関数、第２様式変動変換関数および第２話者変動変換関数を選択し、選択した変動変換関数に基づいて特徴パラメータ系列を変換する。
【０１０７】
これにより、入力音声信号および出力音声信号の属性を同定した上で特徴パラメータ系列が変換されるので、特徴パラメータ系列をさらに精度よく変換することができる。
上記第１の実施の形態において、音声信号変換サーバ１００は、請求項１１、１３または１４記載の変換関数提供端末に対応し、記憶装置４２は、請求項８記載の属性モデル記憶手段、または請求項８、１１若しくは１４記載の変動変換関数記憶手段に対応し、ステップＳ１０２は、請求項１１または１４記載の入力特徴パラメータ系列受信手段に対応している。また、ステップＳ１０４は、請求項１１または１４記載の出力特徴パラメータ系列受信手段に対応し、ステップＳ１０６は、請求項８、１１または１４記載の入力音声信号属性同定手段に対応し、ステップＳ１０８は、請求項８、１１または１４記載の出力音声信号属性同定手段に対応している。
【０１０８】
また、上記第１の実施の形態において、ステップＳ１１０は、請求項８、１１または１４記載の変動変換関数選択手段に対応し、ステップＳ１１２は、請求項１１、１３または１４記載の変換関数送信手段に対応し、ステップＳ１１４は、請求項１３記載の課金手段に対応し、ステップＳ２０２は、請求項１１または１６記載の入力音声信号入力手段に対応している。また、ステップＳ２０６、Ｓ３０６は、請求項１、５、６若しくは８記載の特徴パラメータ系列抽出手段、請求項１１若しくは１６記載の入力特徴パラメータ系列抽出手段、または請求項１０記載の特徴パラメータ系列抽出ステップに対応し、ステップＳ２０８は、請求項１１または１６記載の出力音声信号入力手段に対応している。
【０１０９】
また、上記第１の実施の形態において、ステップＳ２１２は、請求項８、１１または１６記載の出力特徴パラメータ系列抽出手段に対応し、ステップＳ２１６は、請求項１１または１６記載の入力特徴パラメータ系列送信手段に対応し、ステップＳ２１８は、請求項１１または１６記載の出力特徴パラメータ系列送信手段に対応している。また、ステップＳ２２２は、請求項１１または１６記載の変換関数受信手段に対応し、ステップＳ３０８は、請求項１、５、６、８、１１若しくは１６記載の特徴パラメータ系列変換手段、または請求項１０記載の特徴パラメータ系列変換ステップに対応している。
【０１１０】
また、上記第１の実施の形態において、第１話者変動変換関数および第１話者変動変換関数は、請求項５記載の第１変動変換手段に対応し、環境変動変換関数および第２様式変動変換関数は、請求項５記載の第２変動変換手段に対応し、第１話者変動変換関数は、請求項６記載の第１話者変動変換手段に対応している。また、第１様式変動変換関数は、請求項６記載の第１様式変動変換手段に対応し、環境変動変換関数は、請求項６記載の環境変動変換手段に対応し、第２様式変動変換関数は、請求項６記載の第２様式変動変換手段に対応し、第２話者変動変換関数は、請求項５記載の第３変動変換手段、または請求項６記載の第２話者変動変換手段に対応している。
【０１１１】
また、上記第１の実施の形態において、ステップＳ３１０は、請求項１、１１若しくは１６記載の音声信号生成手段、または請求項１０記載の音声信号生成ステップに対応している。
次に、本発明の第２の実施の形態を図面を参照しながら説明する。図１１および図１２は、本発明に係る音声信号変換装置の第２の実施の形態を示す図である。
【０１１２】
本実施の形態は、上記第１の実施の形態に対して、出力音声信号のサンプルではなく、出力音声信号の属性データに基づいて出力音声信号の属性を同定する点が異なる。なお、以下、上記第１の実施の形態と異なる部分についてのみ説明し、上記第１の実施の形態と重複する部分については同一の符号を付して説明を省略する。
まず、ＣＰＵ３０で実行される処理を説明する。
【０１１３】
ＣＰＵ３０は、図７の変換関数提供処理に代えて、図１１のフローチャートに示す変換関数提供処理を実行する。
図１１は、変換関数提供処理を示すフローチャートである。
変換関数提供処理は、ＣＰＵ３０において実行されると、図１１に示すように、まず、ステップＳ４００に移行する。
【０１１４】
ステップＳ４００では、音声信号変換関数の取得要求を受信したか否かを判定し、取得要求を受信したと判定したとき(Yes)は、ステップＳ４０２に移行するが、そうでないと判定したとき(No)は、取得要求を受信するまでステップＳ４００で待機する。
ステップＳ４０２では、入力音声信号の特徴パラメータ系列を受信し、ステップＳ４０４に移行して、出力音声信号の話者属性、様式属性および環境属性を示す属性データを受信し、ステップＳ４０６に移行する。
【０１１５】
ステップＳ４０６では、記憶装置４２の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、ステップＳ４０２で受信した特徴パラメータ系列に対する尤度を求め、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性を、入力音声信号の話者属性、様式属性および環境属性として同定する。
【０１１６】
次いで、ステップＳ４０８に移行して、ステップＳ４０４で受信した属性データの話者属性、様式属性および環境属性に最も適合する話者属性、様式属性および環境属性を有するＧＭＭを求め、そのＧＭＭに対応する話者属性、様式属性および環境属性を、出力音声信号の話者属性、様式属性および環境属性として同定する。
次いで、ステップＳ４１０に移行して、ステップＳ４０６、Ｓ４０８で同定した属性に基づいて、入力音声信号および出力音声信号の話者属性、様式属性および環境属性に対応する第１話者変動変換関数、第１様式変動変換関数、環境変動変換関数、第２様式変動変換関数および第２話者変動変換関数を記憶装置４２のなかから選択し、ステップＳ４１２に移行して、選択した変換関数を要求元の携帯端末２００に送信する。
【０１１７】
次いで、ステップＳ４１４に移行して、要求元の携帯端末２００のユーザに対する課金処理を実行する。携帯端末２００のユーザは、例えば、変換関数の提供にあたって携帯端末２００にユーザ情報を要求し、これに応じて受信したユーザ情報に基づいて特定することができる。
ステップＳ４１４の処理が終了すると、一連の処理を終了して元の処理に復帰させる。
【０１１８】
次に、ＣＰＵ５０で実行される処理を説明する。
ＣＰＵ５０は、図９の変換関数取得処理に代えて、図１２のフローチャートに示す変換関数取得処理を実行する。
図１２は、変換関数取得処理を示すフローチャートである。
変換関数取得処理は、ＣＰＵ５０において実行されると、図１２に示すように、まず、ステップＳ５００に移行する。
【０１１９】
ステップＳ５００では、音声信号変換関数の取得要求をキーパネル６２から入力したか否かを判定し、取得要求を入力したと判定したとき(Yes)は、ステップＳ５０２に移行するが、そうでないと判定したとき(No)は、取得要求を入力するまでステップＳ５００で待機する。
ステップＳ５０２では、入力音声信号をマイク６６から入力し、ステップＳ５０４に移行して、入力音声信号の入力を開始してから所定時間が経過したか否かを判定し、所定時間が経過したと判定したとき(Yes)は、ステップＳ５０６に移行して、入力した入力音声信号から特徴パラメータ系列を抽出し、ステップＳ５０８に移行する。
【０１２０】
ステップＳ５０８では、出力音声信号の話者属性、様式属性および環境属性を示す属性データをキーパネル６２から入力し、ステップＳ５１４に移行する。
ステップＳ５１４では、音声信号変換関数の取得要求を音声信号変換サーバ１００に送信し、ステップＳ５１６に移行して、抽出した入力音声信号の特徴パラメータ系列を音声信号変換サーバ１００に送信し、ステップＳ５１８に移行して、入力した出力音声信号の属性データを音声信号変換サーバ１００に送信し、ステップＳ５２０に移行する。
【０１２１】
ステップＳ５２０では、変換関数を受信したか否かを判定し、変換関数を受信したと判定したとき(Yes)は、ステップＳ５２２に移行して、受信した変換関数をＲＡＭ５４に格納し、一連の処理を終了して元の処理に復帰させる。
一方、ステップＳ５２０で、変換関数を受信しないと判定したとき(No)は、変換関数を受信するまでステップＳ５２０で待機する。
【０１２２】
一方、ステップＳ５０４で、入力音声信号の入力を開始してから所定時間が経過していないと判定したとき(No)は、ステップＳ５０２に移行する。
次に、本実施の形態の動作を説明する。
変換関数を取得する場合、ユーザは、携帯端末２００において、取得要求を入力し、入力音声信号をマイク６６から、出力音声信号の属性データをキーパネル６２からそれぞれ入力する。
【０１２３】
携帯端末２００では、入力音声信号および属性データが入力されると、ステップＳ５０６〜Ｓ５１８を経て、入力された入力音声信号から特徴パラメータ系列が抽出され、抽出された入力音声信号の特徴パラメータ系列および入力された属性データが取得要求とともに音声信号変換サーバ１００に送信される。
音声信号変換サーバ１００では、取得要求とともに特徴パラメータ系列および属性データを受信すると、ステップＳ４０６を経て、記憶装置４２の話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルについて、入力音声信号の特徴パラメータ系列に対する尤度が求められ、最大の尤度を与える話者属性高次元音響モデル、様式属性高次元音響モデルおよび環境属性高次元音響モデルに対応する話者属性、様式属性および環境属性が入力音声信号の属性として同定される。また、ステップＳ４０８を経て、受信した属性データの話者属性、様式属性および環境属性に最も適合する話者属性、様式属性および環境属性を有するＧＭＭが求められ、そのＧＭＭに対応する話者属性、様式属性および環境属性が出力音声信号の属性として同定される。
【０１２４】
そして、ステップＳ４１０、Ｓ４１２を経て、同定された属性に基づいて、第１話者変動変換関数、第１様式変動変換関数、環境変動変換関数、第２様式変動変換関数および第２話者変動変換関数が選択され、選択された変換関数が携帯端末２００に送信される。また、ステップＳ４１４を経て、携帯端末２００のユーザに対する課金処理が行われる。
携帯端末２００では、変換関数を受信すると、ステップＳ５２２を経て、受信した変換関数がＲＡＭ５４に格納される。
なお、音声信号を変換する場合は、上記第１の実施の形態と同様に行われる。
【０１２５】
また、以上の説明では、同一の携帯端末２００において出力音声信号の属性データおよび入力音声信号を入力する場合を説明したが、これに限らず、異なる携帯端末２００において出力音声信号の属性データおよび入力音声信号をそれぞれ入力してもよい。
このようにして、本実施の形態では、入力音声信号の特徴パラメータ系列および属性モデルに基づいて入力音声信号の属性を同定し、出力音声信号の属性データに基づいて出力音声信号の属性を同定し、同定した属性に基づいて、第１話者変動変換関数、第１様式変動変換関数、環境変動変換関数、第２様式変動変換関数および第２話者変動変換関数を選択し、選択した変動変換関数に基づいて特徴パラメータ系列を変換する。
【０１２６】
これにより、入力音声信号および出力音声信号の属性を同定した上で特徴パラメータ系列が変換されるので、上記第１の実施の形態と同様に、特徴パラメータ系列を精度よく変換することができる。
上記第２の実施の形態において、音声信号変換サーバ１００は、請求項１２または１５記載の変換関数提供端末に対応し、記憶装置４２は、請求項９記載の属性モデル記憶手段、または請求項９、１２若しくは１５記載の変動変換関数記憶手段に対応し、ステップＳ４０２は、請求項１２または１５記載の入力特徴パラメータ系列受信手段に対応している。また、ステップＳ４０４は、請求項１２または１５記載の属性データ受信手段に対応し、ステップＳ４０６は、請求項９、１２または１５記載の入力音声信号属性同定手段に対応し、ステップＳ４０８は、請求項９、１２または１５記載の出力音声信号属性同定手段に対応している。
【０１２７】
また、上記第２の実施の形態において、ステップＳ４１０は、請求項９、１２または１５記載の変動変換関数選択手段に対応し、ステップＳ４１２は、請求項１２または１５記載の変換関数送信手段に対応し、ステップＳ５０２は、請求項１２または１７記載の入力音声信号入力手段に対応している。また、ステップＳ５０６、Ｓ３０６は、請求項９記載の特徴パラメータ系列抽出手段、または請求項１２若しくは１７記載の入力特徴パラメータ系列抽出手段に対応し、ステップＳ５０８は、請求項９、１２または１７記載の出力音声信号属性入力手段に対応している。
【０１２８】
また、上記第２の実施の形態において、ステップＳ５１６は、請求項１２または１７記載の入力特徴パラメータ系列送信手段に対応し、ステップＳ５１８は、請求項１２または１７記載の属性データ送信手段に対応し、ステップＳ５２２は、請求項１２または１７記載の変換関数受信手段に対応している。また、ステップＳ３０８は、請求項９、１２または１７記載の特徴パラメータ系列変換手段に対応し、ステップＳ３１０は、請求項１２または１７記載の音声信号生成手段に対応している。
【０１２９】
なお、上記第１および第２の実施の形態においては、環境変動を跨いで特徴パラメータ系列を変換するように構成したが、これに限らず、入力音声信号および出力音声信号の環境属性が同一である場合は、次のように特徴パラメータ系列を変換するように構成することができる。
図１３は、話者変動および様式変動に応じて、入力音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する場合を示す図である。
【０１３０】
図１３の音響モデルマップは、１つの環境属性１０ａ、４つの様式属性１２ａ〜１２ｂおよび４つの話者属性１４ａ〜１４ｄによって音声コーパスをグループ分けした場合である。図１３によれば、２次元平面上には、環境属性１０ａに対応する分布領域が１つだけ形成される。
属性の同定が完了すると、影響が小さい話者変動および様式変動の順で入力音声信号の特徴パラメータ系列を変換していく。
【０１３１】
まず、話者変動による影響が最も小さいので、図１３に示すように、入力音声信号の特徴パラメータ系列を第１基準話者１６ａの音声信号の特徴パラメータ系列に変換する。
そして、様式変動による影響が最も大きいので、第１基準話者１６ａの音声信号の特徴パラメータ系列を第３基準様式１６ｅの音声信号の特徴パラメータ系列に変換する。第３基準様式１６ｅの音声信号の特徴パラメータ系列は、入力音声信号および出力音声信号と同一の環境属性のなかで平均的な様式属性を有する様式の音声信号の特徴パラメータ系列である。この変換は、入力音声信号および出力音声信号の様式と第３基準様式１６ｅとの間の様式変動に応じた変換となる。
【０１３２】
以降は、話者変動および様式変動の逆順で出力音声信号の特徴パラメータ系列に変換していく。
まず、第３基準様式１６ｅの音声信号の特徴パラメータ系列を第２基準話者１６ｄの音声信号の特徴パラメータ系列に変換する。
そして、第２基準話者１６ｄの音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する。
【０１３３】
また、上記第１および第２の実施の形態においては、話者変動、様式変動および環境変動に応じて特徴パラメータ系列を変換するように構成したが、これに限らず、話者変動および様式変動に応じて変換を行う構成、話者変動および環境変動に応じて変換を行う構成、並びに様式変動および環境変動に応じて変換を行う構成を採用することもできる。
話者変動および様式変動に応じて変換を行う場合は、入力音声信号の特徴パラメータ系列を、入力音声信号と同一の様式属性および異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を、出力音声信号と同一の様式属性および異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する。この場合、さらに、入力音声信号の特徴パラメータ系列を第２基準話者の音声信号の特徴パラメータ系列に直接変換してもよいし、第１基準話者の音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に直接変換してもよい。
【０１３４】
また、話者変動および環境変動に応じて変換を行う場合は、入力音声信号の特徴パラメータ系列を、入力音声信号と同一の環境属性および異なる話者属性を有する第１基準話者の音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を、出力音声信号と同一の環境属性および異なる話者属性を有する第２基準話者の音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する。この場合、さらに、入力音声信号の特徴パラメータ系列を第２基準話者の音声信号の特徴パラメータ系列に直接変換してもよいし、第１基準話者の音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に直接変換してもよい。
【０１３５】
また、様式変動および環境変動に応じて変換を行う場合は、入力音声信号の特徴パラメータ系列を、入力音声信号と同一の環境属性および異なる様式属性を有する第１基準様式の音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を、出力音声信号と同一の環境属性および異なる様式属性を有する第２基準様式の音声信号の特徴パラメータ系列に変換し、変換した特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する。この場合、さらに、入力音声信号の特徴パラメータ系列を第２基準様式の音声信号の特徴パラメータ系列に直接変換してもよいし、第１基準様式の音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に直接変換してもよい。
【０１３６】
また、上記第１および第２の実施の形態においては、第１基準話者１６ａ、第１基準様式１６ｂ、第２基準様式１６ｃおよび第２基準話者１６ｄを経た変換を行うように構成したが、これに限らず、第１基準話者１６ａ、第１基準様式１６ｂ、第２基準様式１６ｃおよび第２基準話者１６ｄのうち少なくとも２つを経た変換を行えばよい。図１３の例においても同様に、第１基準話者１６ａ、第３基準様式１６ｅおよび第２基準話者１６ｄのうち少なくとも２つを経た変換を行えばよい。
【０１３７】
また、上記第２の実施の形態においては、出力音声信号の属性データに基づいて出力音声信号の属性を同定するように構成したが、これに限らず、入力音声信号の属性データに基づいて入力音声信号の属性を同定するように構成することもできる。
また、上記第１および第２の実施の形態においては、音声信号変換サーバ１００および携帯端末２００を有するネットワークシステムとして構成したが、これに限らず、音声信号変換サーバ１００および携帯端末２００を一体の装置として構成することもできる。
【０１３８】
また、上記第１および第２の実施の形態において、図７、図９、図１０、図１１および図１２のフローチャートに示す処理を実行するにあたってはいずれも、ＲＯＭ３２、５２にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ３４、５４に読み込んで実行するようにしてもよい。
【０１３９】
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【図面の簡単な説明】
【０１４０】
【図１】話者属性、様式属性および環境属性を有する音響モデルをＣＯＳＭＯＳ法により２次元平面上にマッピングした場合の音響モデルの分布を示す図である。
【図２】話者変動、様式変動および環境変動に応じて、入力音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する場合を示す図である。
【図３】本発明を適用するネットワークシステムの構成を示すブロック図である。
【図４】音声信号変換サーバ１００のハードウェア構成を示す図である。
【図５】属性モデルのデータ構造を模式化した図である。
【図６】音声信号変換関数のデータ構造を模式化した図である。
【図７】変換関数提供処理を示すフローチャートである。
【図８】携帯端末２００のハードウェア構成を示す図である。
【図９】変換関数取得処理を示すフローチャートである。
【図１０】音声信号変換処理を示すフローチャートである。
【図１１】変換関数提供処理を示すフローチャートである。
【図１２】変換関数取得処理を示すフローチャートである。
【図１３】話者変動および様式変動に応じて、入力音声信号の特徴パラメータ系列を出力音声信号の特徴パラメータ系列に変換する場合を示す図である。
【図１４】複数話者から取得した、２種類の環境属性および５種類の様式属性を有する音声データに基づいて作成した２次元平面上における音響モデルマップの例である。
【図１５】複数話者から取得した、１種類の環境属性および５種類の様式属性を有する音声データに基づいて作成した２次元平面上における音響モデルマップの例である。
【図１６】複数話者から取得した、１種類の環境属性および１種類の様式属性を有する音声データに基づいて作成した２次元平面上における音響モデルマップの例である。
【符号の説明】
【０１４１】
１０ａ、１０ｂ…環境属性、  １２ａ〜１２ｄ…様式属性、  １４ａ〜１４ｄ…話者属性、  １６ａ…第１基準話者、  １６ｂ…第１基準様式、  １６ｃ…第２基準様式、  １６ｄ…第２基準話者、  １６ｅ…第３基準様式、  １００…音声信号変換サーバ、  ２００…携帯端末、  ３０、５０…ＣＰＵ、  ３２、５２…ＲＯＭ、  ３４、５４…ＲＡＭ、  ３８、５８…Ｉ／Ｆ、  ３９、５９…バス、  ４０…入力装置、  ４２…記憶装置、  ４４…表示装置、  ６０…無線通信装置、  ６２…キーパネル、  ６４…ＬＣＤ、  ６６…マイク、  ６８…スピーカ、  ２１０…基地局、  ２２０…中継局、  １９９…ネットワーク
【図１】
2008026489.tif 000003
【図２】
2008026489.tif 000004
【図３】
2008026489.tif 000005
【図４】
2008026489.tif 000006
【図５】
2008026489.tif 000007
【図６】
2008026489.tif 000008
【図７】
2008026489.tif 000009
【図８】
2008026489.tif 000010
【図９】
2008026489.tif 000011
【図１０】
2008026489.tif 000012
【図１１】
2008026489.tif 000013
【図１２】
2008026489.tif 000014
【図１３】
2008026489.tif 000015
【図１４】
2008026489.tif 000016
【図１５】
2008026489.tif 000017
【図１６】
2008026489.tif 000018