(57)【特許請求の範囲】
【請求項１】
第１発声者の音声の特徴量情報と第２発声者の音声の特徴量情報との確率分布を示す混合分布モデルから生成されて第１発声者の音声を第２発声者の音声に変換する変換関数を、前記第１発声者の発声音を示す音声素片毎の素片データに適用することで、第２発声者の音声に対応する素片データを順次に生成する声質変換手段と、
前記声質変換手段が生成した各素片データから音声を合成する音声合成手段とを具備し、
前記声質変換手段は、
合成対象の発音文字に対応した素片データが示す音声の周波数領域の包絡線における各ピークの高さを各々の粗密で表現する線スペクトルの周波数を示す複数の係数値を含む特徴量情報を取得する特徴量取得手段と、
前記特徴量取得手段が取得した特徴量情報に前記変換関数を適用する変換処理手段と、
前記変換処理手段による変換後の特徴量情報の各係数値を補正する手段であって、次数毎の係数値の時系列における分散が増加するように前記各係数値を補正する第３補正手段を含む係数補正手段と、
前記係数補正手段による補正後の特徴量情報に対応する素片データを生成する素片データ生成手段とを含む
音声処理装置。
【請求項２】
前記係数補正手段は、所定の範囲の外側にある係数値を当該範囲の内側の数値に変更する第１補正手段を含む
請求項１の音声処理装置。
【請求項３】
前記係数補正手段は、相互に隣合う各線スペクトルに対応する各係数値の差分が所定値を下回る場合に、当該差分が増加するように前記各係数値を補正する第２補正手段を含む
請求項１または請求項２の音声処理装置。
【請求項４】
コンピュータを、
第１発声者の音声の特徴量情報と第２発声者の音声の特徴量情報との確率分布を示す混合分布モデルから生成されて第１発声者の音声を第２発声者の音声に変換する変換関数を、前記第１発声者の発声音を示す音声素片毎の素片データに適用することで、第２発声者の音声に対応する素片データを順次に生成する声質変換手段、および、
前記声質変換手段が生成した各素片データから音声を合成する音声合成手段
として機能させるプログラムであって、
前記声質変換手段は、
合成対象の発音文字に対応した素片データが示す音声の周波数領域の包絡線における各ピークの高さを各々の粗密で表現する線スペクトルの周波数を示す複数の係数値を含む特徴量情報を取得する特徴量取得手段と、
前記特徴量取得手段が取得した特徴量情報に前記変換関数を適用する変換処理手段と、
前記変換処理手段による変換後の特徴量情報の各係数値を補正する手段であって、次数毎の係数値の時系列における分散が増加するように前記各係数値を補正する第３補正手段を含む係数補正手段と、
前記係数補正手段による補正後の特徴量情報に対応する素片データを生成する素片データ生成手段とを含む
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を合成する技術に関する。
【背景技術】
【０００２】
音声素片を示す複数の素片データを選択的に結合することで所望の音声を合成する素片接続型の音声合成技術が従来から提案されている（例えば特許文献１）。各音声素片の素片データは、特定の発声者の音声を収録して音声素片毎に区分および解析することで事前に用意される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２５５９９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術では、合成音声の声質毎（発声者毎）に別個に全部の音声素片の素片データが必要である。したがって、声質が相違する複数種の音声を合成する場合には、素片データの記憶に膨大な記憶容量が必要になるという問題がある。以上の事情を考慮して、本発明は、音声合成に必要な素片データの個数を削減することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために本発明が採用する手段を説明する。なお、本発明の理解を容易にするために、以下の説明では、本発明の要素と後述の実施形態の要素との対応を括弧書で付記するが、本発明の範囲を実施形態の例示に限定する趣旨ではない。
【０００６】
本発明の第１態様に係る音声処理装置（音声合成装置）は、第１発声者の音声の特徴量情報と第２発声者（例えば発声者ＵT）の音声の特徴量情報との確率分布を示す混合分布モデルから生成されて第１発声者の音声を第２発声者の音声に変換する変換関数（例えば変換関数Ｆ(X)）を、第１発声者（例えば発声者ＵS）の発声音を示す音声素片毎の素片データ（例えば素片データＤS）に適用することで、第２発声者の音声に対応する素片データ（例えば素片データＤST）を順次に生成する声質変換手段（例えば声質変換部２４）と、声質変換手段が生成した各素片データから音声を合成する音声合成手段（例えば音声合成部２６）とを具備する。以上の構成においては、第１発声者の素片データに対する変換関数の適用で第２発声者の音声の素片データが生成されるから、音声合成の段階で第２発声者の素片データは不要である。したがって、第２発声者の音声の合成に第２発声者の素片データが必要となる構成と比較して、音声合成に必要な素片データの個数が削減されるという利点がある。なお、第１発声者と第２発声者との区別は、発声音の特性の相違（第１発声者の発声音と第２発声者の発声音とで特性が相違すること）を意味し、第１発声者と第２発声者との異同（別人／同一人）は不問である。
【０００７】
本発明の好適な態様における声質変換手段は、合成対象の発音文字に対応した素片データが示す音声の周波数領域の包絡線における各ピークの高さを各々の粗密で表現する線スペクトルの周波数を示す複数の係数値を含む特徴量情報を取得する特徴量取得手段と、特徴量取得手段が取得した特徴量情報に変換関数を適用する変換処理手段と、変換処理手段による変換後の特徴量情報に対応する素片データを生成する素片データ生成手段とを含む。以上の態様においては、素片データの音声の包絡線の各ピークの高さを各々の粗密で表現する線スペクトルの周波数を示す複数の係数値を利用して、音声の包絡線を正確に表現できるという利点がある。
【０００８】
特徴量取得手段は、例えば、素片データが示す音声の周波数スペクトルのピーク間の補間（例えば３次スプライン補間）で包絡線を生成する包絡線生成手段（例えば処理Ｓ13）と、包絡線を近似する自己回帰モデルを推定するとともに当該自己回帰モデルに応じて複数の係数値を設定する特徴量特定手段（例えば処理Ｓ16および処理Ｓ17）とを含む。以上の態様によれば、周波数スペクトルのピーク間の補間で生成された包絡線を近似する自己回帰モデルに応じて特徴量情報の複数の係数値が設定されるから、例えば素片データの標本化周波数が高い場合でも、包絡線を正確に表現する特徴量情報が生成されるという利点がある。
【０００９】
本発明の好適な態様に係る音声処理装置は、変換処理手段による変換後の特徴量情報の各係数値を補正する係数補正手段を具備し、素片データ生成手段は、係数補正手段による補正後の特徴量情報に対応する素片データを生成する。以上の態様においては、変換関数を利用した変換後の特徴量情報の各係数値を係数補正手段が補正するから、例えば変換関数による変換の影響（例えば各係数値の分散の低減）が抑制されるように各係数値を補正することで、聴感的に自然な印象の合成音を生成することが可能である。なお、以上の態様の具体例は、例えば第２実施形態として後述される。
【００１０】
本発明の好適な態様において、係数補正手段は、所定の範囲の外側にある係数値を当該範囲の内側の数値に変更する第１補正手段（例えば第１補正部５８１）を含む。また、係数補正手段は、相互に隣合う各線スペクトルに対応する各係数値の差分が所定値を下回る場合に、当該差分が増加するように各係数値を補正する第２補正手段（例えば第２補正部５８２）を含む。以上の態様によれば、相互に隣合う各係数値の差分が過度に小さい場合に当該差分が第２補正手段による補正で拡大するから、特徴量情報が表現する包絡線における過剰なピークが抑制されるという利点がある。
【００１１】
また、本発明の好適な態様において、係数補正手段は、次数毎の係数値の時系列における分散が増加するように各係数値を補正する第３補正手段（例えば第３補正部５８３）を含む。以上の態様においては、次数毎の係数値の分散が第３補正手段による補正で増加するから、特徴量情報が表現する包絡線に適度なピークを発生させることが可能である。
【００１２】
本発明の第２態様に係る音声処理装置（変換関数生成装置）は、以上の各態様にて利用される変換関数を生成する。第２態様の音声処理装置は、第１発声者（例えば発声者ＵS）の発声音を示す素片データ（例えば素片データＤS）と第２発声者（例えば発声者ＵT）の発声音を示す素片データ（例えば素片データＤT）とを音声素片毎に記憶する記憶手段（例えば記憶装置１４）と、第１発声者の素片データが示す音声の特徴量情報（例えば特徴量情報Ｘ）と第２発声者の素片データが示す音声の特徴量情報（例えば特徴量情報Ｙ）とを取得する特徴量取得手段（例えば特徴量取得部３２）と、特徴量取得手段が取得した第１発声者の特徴量情報と第２発声者の特徴量情報との確率分布を示す混合分布モデルから、第１発声者の音声を第２発声者の音声に変換する変換関数（例えば変換関数Ｆ(X)）を特定する関数生成手段（例えば関数生成部３６）とを具備する。
【００１３】
第２態様に係る音声処理装置の好適例において、特徴量取得手段は、第１発声者および第２発声者の各々について、素片データが示す音声の周波数スペクトルのピーク間の補間（例えば３次スプライン補間）で包絡線を生成する包絡線生成手段（例えば処理Ｓ13）と、包絡線を近似する自己回帰モデルを推定するとともに当該自己回帰モデルに応じて複数の係数値を設定する特徴量特定手段（例えば処理Ｓ16および処理Ｓ17）とを含む。以上の態様によれば、周波数スペクトルのピーク間の補間で生成された包絡線を近似する自己回帰モデルに応じて特徴量情報の複数の係数値が設定されるから、例えば素片データの標本化周波数が高い場合でも、包絡線を正確に表現する特徴量情報が生成されるという利点がある。
【００１４】
第１態様および第２態様に係る音声処理装置は、ＤＳＰ（Digital Signal Processor）等の専用の電子回路で実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働でも実現される。第１態様および第２態様の各装置の要素（各手段）としてコンピュータを機能させるプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態の音響処理装置のブロック図である。
【図２】関数特定部のブロック図である。
【図３】特徴量取得部および時間整合部の動作の説明図である。
【図４】特徴量取得部の動作の説明図である。
【図５】包絡線を生成する処理（補間）の説明図である。
【図６】関数生成部の動作の説明図である。
【図７】声質変換部および音声合成部のブロック図である。
【図８】第２実施形態における声質変換部および音声合成部のブロック図である。
【図９】係数補正部のブロック図である。
【図１０】第２補正部の動作の説明図である。
【図１１】各次数の係数値の時系列と包絡線との関係の説明図である。
【図１２】第３補正部の動作の説明図である。
【発明を実施するための形態】
【００１６】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音声処理装置１００のブロック図である。音声処理装置１００は、所望の歌唱音を合成する音声合成装置（歌唱合成装置）であり、図１に示すように、演算処理装置１２と記憶装置１４とを具備するコンピュータシステムで実現される。
【００１７】
記憶装置１４は、演算処理装置１２が実行するプログラムＰGMや演算処理装置１２が使用する各種のデータ（素片群ＧS，素片群ＧT）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置１４として任意に利用される。
【００１８】
素片群ＧSは、相異なる音声素片に対応する複数の素片データＤSの集合（音声合成の素材となる音声合成用ライブラリ）である。同様に、素片群ＧTは、相異なる音声素片に対応する複数の素片データＤTを含んで構成される。音声素片は、言語上の意味の区別の最小単位（例えば母音や子音）に相当する１個の音素（monophone）、または複数の音素を連結した音素連鎖（diphone，triphone）である。素片データＤSおよび素片データＤTは、音声合成に必要な全種類（例えば日本語の音声を合成する場合には500個程度、英語の音声を合成する場合には2000個程度）の音声素片の各々について事前に用意される。
【００１９】
素片群ＧSの各素片データＤSは、発声者ＵS（Ｓ：source）が発声した音声の各音声素片の波形の特徴を示す時系列データである。他方、素片群ＧTの各素片データＤTは、発声者ＵSとは声質が相違する発声者ＵT（Ｔ：target）の音声における各音声素片の時間波形を示す時系列データである。本実施形態の素片データＤSおよび素片データＤTは、各音声素片の時間波形を所定の周波数Ｆsで標本化した数値列で構成される。高品位な音声の合成を実現するために、素片データＤSや素片データＤTの生成時の標本化周波数Ｆsは高い周波数（例えば一般的な音楽用ＣＤと同等の44.1kHz）に設定される。なお、素片データＤSと素片データＤTとは、別個の発声者が発声した各音声のほか、ひとりの発声者が相異なる声質で発声した各音声からも生成され得る。すなわち、発声者ＵSと発声者ＵTとは同一の人物であり得る。
【００２０】
図１の演算処理装置１２は、記憶装置１４に格納されたプログラムＰGMの実行で複数の機能（関数特定部２２，声質変換部２４，音声合成部２６）を実現する。関数特定部２２は、発声者ＵSの素片群ＧS（素片データＤS）と発声者ＵTの素片群ＧT（素片データＤT）とを利用して変換関数Ｆ(X)を特定する。変換関数Ｆ(X)は、発声者ＵSの声質の音声を発声者ＵTの声質の音声に変換するための写像関数である。
【００２１】
図１の声質変換部２４は、関数特定部２２が特定した変換関数Ｆ(X)を発声者ＵSの各素片データＤSに適用することで、発声者ＵTの声質に近似（理想的には合致）する音声の素片データＤSTを順次に生成する。音声合成部２６は、記憶装置１４内の各素片データＤSに応じた発声者ＵSの音声や、声質変換部２４が生成した素片データＤSTに応じた発声者ＵTの音声を合成して合成音の音声信号ＶSYNを生成する。
【００２２】
以上に概説したように本実施形態では、変換関数Ｆ(X)を利用した素片データＤSの変換で発声者ＵTの音声の素片データＤSTが生成されるから、音声合成の段階では素片群ＧTは不要である。すなわち、素片群ＧTは記憶装置１４から削除され得る。したがって、発声者ＵTの音声の合成に必要な素片データの容量が削減されるという利点がある。関数特定部２２と声質変換部２４と音声合成部２６との具体的な構成や動作を以下に説明する。
【００２３】
＜関数特定部２２＞
図２は、関数特定部２２のブロック図である。図２に示すように、関数特定部２２は、特徴量取得部３２と時間整合部３４と関数生成部３６とを含んで構成される。図３に示すように、特徴量取得部３２は、発声者ＵSの音声（素片データＤS）の特徴を示す特徴量情報Ｘの時系列と、発声者ＵTの音声（素片データＤT）の特徴を示す特徴量情報Ｙの時系列とを生成する。具体的には、音声素片の所定の順番（＃1，＃2，＃3，……）で時系列に配列された複数の素片データＤSの各々について単位区間（フレーム）ＴF毎に特徴量情報Ｘが生成され、素片データＤSと同様の順番で時系列に配列された複数の素片データＤTの各々について単位区間ＴF毎に特徴量情報Ｙが生成される。日本語の音声の合成には500個程度の素片データＤSが使用されるから、各素片データＤSを60個程度の単位区間ＴFに区分した場合には、合計30000個程度の特徴量情報Ｘが生成される。特徴量情報Ｙも同様に30000個程度が生成される。
【００２４】
図４は、特徴量取得部３２の動作の説明図である。素片群ＧS内の各素片データＤSから特徴量情報Ｘを生成する場合を以下では想定する。図４に示すように、特徴量取得部３２は、周波数分析（Ｓ11，Ｓ12）と包絡線生成（Ｓ13，Ｓ14）と特徴量特定（Ｓ15〜Ｓ17）とを、各素片データＤSの単位区間ＴF毎に順次に実行して特徴量情報Ｘを生成する。
【００２５】
図４の処理を開始すると、特徴量取得部３２は、素片データＤSの単位区間ＴFに対する周波数分析（例えば短時間フーリエ変換）で周波数スペクトルＳPを算定する（Ｓ11）。各単位区間ＴFの時間長や位置は、素片データＤSが示す音声の基本周波数に応じて可変に設定される（ピッチ同期分析）。図５に破線で図示されるように、処理Ｓ11で算定される周波数スペクトルＳPには調波成分（基音成分および倍音成分）に対応する複数のピークが存在する。特徴量取得部３２は、周波数スペクトルＳPの複数のピークを検出する（Ｓ12）。
【００２６】
特徴量取得部３２は、図５に実線で図示されるように、処理Ｓ12で検出した各ピーク（調波成分）間を補間することで包絡線ＥNVを特定する（Ｓ13）。処理Ｓ13での補間には、例えば３次スプライン補間等の公知の曲線補間技術が好適に採用される。そして、特徴量取得部３２は、補間で生成された包絡線ＥNVの周波数をメル周波数に変換（メル尺度化）することで低域成分を強調する（Ｓ14）。なお、処理Ｓ14は省略され得る。
【００２７】
特徴量取得部３２は、処理Ｓ14の実行後の包絡線ＥNVに対して逆フーリエ変換を実行することで自己相関関数を算定し（Ｓ15）、包絡線ＥNVを近似する自己回帰モデル（全極型伝達関数）を処理Ｓ15の自己相関関数から推定する（Ｓ16）。処理Ｓ16の自己回帰（ＡＲ：autoregressive）モデルの推定には例えばYule-Walker方程式が好適に利用される。処理Ｓ16で推定された自己回帰モデルの係数（自己回帰係数）を変換して得られるＫ個の係数値（線スペクトル周波数）Ｌ[1]〜Ｌ[K]を要素とするＫ次元のベクトルが特徴量情報Ｘとして生成される（Ｓ17）。
【００２８】
係数値Ｌ[1]〜Ｌ[K]は、自己回帰モデルのＫ個の線スペクトルの各々の周波数（ＬＳＦ：Line Spectral Frequency）に相当する。すなわち、処理Ｓ16の自己回帰モデルで近似される包絡線ＥNVの各ピークの高低に応じて、相互に隣合う線スペクトルの間隔（粗密）が変化するように、各線スペクトルに対応する係数値Ｌ[1]〜Ｌ[K]が設定される。具体的には、周波数（メル周波数）軸上で相互に隣合う係数値Ｌ[k-1]と係数値Ｌ[k]との差異（すなわち線スペクトルの間隔）が小さいほど包絡線ＥNVのピークが高いことを意味する。なお、処理Ｓ16で推定される自己回帰モデルの次数Ｋは、標本化周波数Ｆsと素片データ（ＤS，ＤT）の基本周波数の最小値Ｆ0minとに応じて設定され、具体的には所定値（Ｆs／(２・Ｆ0min)）を下回る範囲内の最大値（例えばＫ＝50〜70）に設定される。
【００２９】
以上の処理（Ｓ11〜Ｓ17）が反復されることで各素片データＤSの単位区間ＴF毎に特徴量情報Ｘが生成される。また、特徴量取得部３２は、以上に説明した周波数分析（Ｓ11，Ｓ12）と包絡線生成（Ｓ13，Ｓ14）と特徴量特定（Ｓ15〜Ｓ17）とを、素片群ＧT内の各素片データＤTを区分した複数の単位区間ＴFの各々についても同様に実行する。したがって、Ｋ個の係数値Ｌ[1]〜Ｌ[K]を要素とするＫ次元のベクトルが特徴量情報Ｙとして単位区間ＴF毎に生成される。特徴量情報Ｙ（係数値Ｌ[1]〜Ｌ[K]）は、各素片データＤTが示す発声者ＵTの音声の周波数スペクトルＳPの包絡線ＥNVを表現する。
【００３０】
ところで、包絡線ＥNVを表現する方法としては公知の線形予測分析（ＬＰＣ：Linear Prediction Coding）も採用され得る。ただし、線形予測分析のもとで分析次数を大きい数値に設定すると、分析対象（素片データＤS，素片データＤT）の標本化周波数Ｆsが高い場合に、各ピークが過度に強調された包絡線（すなわち現実との乖離が大きい包絡線）ＥNVが推定されるという傾向がある。他方、前述のように各ピークの補間（Ｓ13）と自己回帰モデルの推定（Ｓ16）とで包絡線ＥNVを近似する本実施形態の構成によれば、分析対象の標本化周波数Ｆsが高い場合（例えば前述の44.1kHz）でも包絡線ＥNVを正確に表現できるという利点がある。
【００３１】
図２の時間整合部３４は、図３に示すように、特徴量取得部３２が生成した各特徴量情報Ｘと各特徴量情報Ｙとの時間的な対応を探索する。特徴量情報Ｘと特徴量情報Ｙとの整合には、ＤＰ（Dynamic Programming）マッチング等の公知の動的時間伸縮（ＤＴＷ：Dynamic Time Warping）が好適に採用される。すなわち、時間整合部３４は、各特徴量情報Ｘと各特徴量情報Ｙとの組合せ毎に両者間のコスト関数（距離や類似度）を算定し、コスト関数が最小となるように特徴量情報Ｘと特徴量情報Ｙとの対応を決定する。コスト関数としては、素片データＤSの各単位区間ＴFのＭＦＣＣ（Mel-Frequency cepstral coefficients）と素片データＤTの各単位区間ＴFのＭＦＣＣとの平均二乗誤差が好適である。時間整合部３４は、動的時間伸縮で相互に対応させた特徴量情報Ｘと特徴量情報Ｙとを要素とする(２×Ｋ)次元のベクトル（結合特徴量ベクトル）を、特徴量情報Ｚ（Ｚ＝［Ｘ Ｙ］）として、特徴量情報Ｘと特徴量情報Ｙとの対毎に生成する。すなわち、相異なる単位区間ＴFに対応する30000個程度の特徴量情報Ｚが生成される。
【００３２】
図２の関数生成部３６は、発声者ＵSの声質の音声を発声者ＵTの声質の音声に変換するための変換関数Ｆ(X)を生成する。図６は、関数生成部３６の処理の説明図である。図６の処理を開始すると、関数生成部３６は、複数（30000個程度）の特徴量情報Ｚの確率分布を近似する混合分布モデルλ(Z)を推定する（Ｓ21）。本実施形態の混合分布モデルλ(Z)は、合計Ｑ個の正規分布Ｎの加重和（線形結合）として以下の数式(1)で表現される正規混合分布モデル（ＧＭＭ：Gaussian Mixture Model）である。混合数Ｑは任意であるが、例えば16程度が好適である。
【数１】
0005573529.tif 000002
【００３３】
数式(1)の記号αqは第ｑ番目（ｑ＝１〜Ｑ）の正規分布Ｎの加重値を意味する。また、数式(1)の記号μqZは第ｑ番目の正規分布Ｎの平均（平均ベクトル）を意味し、記号ΣqZは第ｑ番目の正規分布Ｎの共分散行列を意味する。数式(1)の混合分布モデルλ(Z)（加重値αq，平均μqZ，共分散行列ΣqZ）の推定には、ＥＭ（Expectation-Maximization）アルゴリズム等の反復型の最尤推定アルゴリズムが任意に採用される。
【００３４】
以下の数式(2)で表現されるように、処理Ｓ21で算定される平均μqZは、第ｑ番目の正規分布Ｎにおける各特徴量情報Ｘの平均μqXと各特徴量情報Ｙの平均μqYとを含んで構成される。
【数２】
0005573529.tif 000003
【００３５】
また、処理Ｓ21で算定される共分散行列ΣqZは以下の数式(3)で表現される。
【数３】
0005573529.tif 000004
数式(3)の記号ΣqXXは、第ｑ番目の正規分布Ｎにおける各特徴量情報Ｘの共分散行列（自己共分散行列）を意味し、記号ΣqYYは、第ｑ番目の正規分布Ｎにおける各特徴量情報Ｙの共分散行列（自己共分散行列）を意味する。また、数式（3）の記号ΣqXYおよび記号ΣqYXは、第ｑ番目の正規分布Ｎにおける特徴量情報Ｘと特徴量情報Ｙとの共分散行列（相互共分散行列）を意味する。
【００３６】
関数生成部３６は、処理Ｓ21で推定した混合分布モデルλ(Z)から変換関数Ｆ(X)を特定する（Ｓ22）。変換関数Ｆ(X)は、例えば以下の数式(4)で定義される。
【数４】
0005573529.tif 000005
数式(4)の関数ｐ(ｃq|Ｘ)は、特徴量情報ＸがＱ個の正規分布Ｎのうちの第ｑ番目の正規分布Ｎに属する確率を意味し、以下の数式(5)で定義される。
【数５】
0005573529.tif 000006
【００３７】
関数生成部３６は、処理Ｓ21で算定した数式(2)の平均μqXおよび平均μqYと、数式(3)の共分散行列ΣqXXおよび共分散行列ΣqYXとを数式(4)に適用することで変換関数Ｆ(X)を特定する。処理Ｓ22で生成された変換関数Ｆ(X)（実際には変換関数Ｆ(X)の各変数の数値）は記憶装置１４に格納される。以上が関数特定部２２の構成および動作である。
【００３８】
＜声質変換部２４および音声合成部２６＞
図７は、声質変換部２４および音声合成部２６のブロック図である。図７の楽譜情報ＳCは、合成対象となる各指定音の音符（音高，継続長）と歌詞（発音文字）とを時系列に指定する情報であり、利用者からの指示（各指定音の追加や編集の指示）に応じて作成されて記憶装置１４に格納される。
【００３９】
図７に示すように、音声合成部２６は、素片選択部４２と合成処理部４４とを含んで構成される。素片選択部４２は、記憶装置１４に記憶された素片群ＧSの複数の素片データＤSのうち楽譜情報ＳCで指定される歌詞（発音文字）に対応する音声素片の素片データＤSを順次に選択する。
【００４０】
利用者は、発声者ＵSまたは発声者ＵTを選択して音声の合成を指示することが可能である。利用者が発声者ＵSを選択した場合、素片選択部４２が選択した素片データＤSは合成処理部４４に順次に供給される。合成処理部４４は、素片選択部４２が順次に選択する素片データＤSを楽譜情報ＳCの各指定音の音高や継続長に調整して相互に連結することで音声信号ＶSYNを生成する。音声合成部２６が生成した音声信号ＶSYNは例えばスピーカ等の放音機器に供給されて音波として再生される。すなわち、楽譜情報ＳCの各指定音の歌詞を発声者ＵSが発声した歌唱音が再生される。
【００４１】
他方、利用者が発声者ＵTを選択した場合、素片選択部４２が選択した各素片データＤSは声質変換部２４に順次に供給される。声質変換部２４は、関数特定部２２が生成した変換関数Ｆ(X)を素片データＤSに適用することで素片データＤSTを生成する。素片データＤSTの生成（素片データＤSの変換）は、素片選択部４２が素片データＤSを選択するたびに順次に実行される。
【００４２】
図７に示すように、声質変換部２４は、特徴量取得部５２と変換処理部５４と素片データ生成部５６とを含んで構成される。特徴量取得部５２は、素片選択部４２が選択した素片データＤSの単位区間ＴF毎に特徴量情報Ｘを生成する。特徴量取得部５２が生成する特徴量情報Ｘは、前述の特徴量取得部３２が生成する特徴量情報Ｘと同様である。すなわち、特徴量取得部５２は、関数特定部２２の特徴量取得部３２と同様に、図４の処理を実行することで素片データＤSの単位区間ＴF毎に特徴量情報Ｘを生成する。したがって、特徴量取得部５２が生成する特徴量情報Ｘは、素片データＤSの周波数スペクトルＳPの包絡線ＥNVを近似する自己回帰モデルの各係数（自己回帰係数）を表現するＫ個の係数値（線スペクトル周波数）Ｌ[1]〜Ｌ[K]で構成されるＫ次元のベクトルである。
【００４３】
図７の変換処理部５４は、特徴量取得部５２が単位区間ＴF毎に生成する特徴量情報Ｘについて、関数特定部２２が生成した数式(4)の変換関数Ｆ(X)の演算を実行することで、単位区間ＴF毎に特徴量情報ＸTを生成する。特徴量情報ＸTは、変換前の特徴量情報Ｘと同様に、Ｋ個の係数値（線スペクトル周波数）ＬT[1]〜ＬT[K]を要素とするＫ次元のベクトルであり、素片データＤSが示す発声者ＵSの音声の声質を発声者ＵTの声質に変換した音声（すなわち素片データＤSの音声素片を発声者ＵTが発声した音声）の周波数スペクトルの包絡線ＥNV_Tを表現する。
【００４４】
素片データ生成部５６は、変換処理部５４が生成した特徴量情報ＸTに対応する素片データＤSTを単位区間ＴF毎に順次に生成する。図７に示すように、素片データ生成部５６は、差分生成部５６２と加工処理部５６４とを含んで構成される。差分生成部５６２は、
特徴量取得部５２が素片データＤSから生成した特徴量情報Ｘで表現される包絡線ＥNVと、変換処理部５４による変換後の特徴量情報ＸTで表現される包絡線ＥNV_Tとの差分ΔＥ（ΔＥ＝ＥNV−ＥNV_T）を生成する。すなわち、差分ΔＥは、発声者ＵSと発声者ＵTとの声質（周波数スペクトルの包絡線）の相違に相当する。
【００４５】
加工処理部５６４は、素片選択部４２が選択した素片データＤSの周波数スペクトルＳPと差分生成部５６２が生成した差分ΔＥとの合成（例えば加算）で周波数スペクトルＳP_T（ＳP_T＝ＳP＋ΔＥ）を生成する。以上の説明から理解されるように、周波数スペクトルＳP_Tは、素片データＤSが示す音声素片を発声者ＵTが発声した音声の周波数スペクトルに相当する。加工処理部５６４は、合成後の周波数スペクトルＳP_Tを逆フーリエ変換で時間領域の素片データＤSTに変換する。
【００４６】
素片データ生成部５６が生成した素片データＤSTは音声合成部２６の合成処理部４４に順次に供給される。合成処理部４４は、素片データ生成部５６が順次に生成する各素片データＤSTを楽譜情報ＳCの各指定音の音高や継続長に調整して相互に連結することで音声信号ＶSYNを生成する。音声合成部２６が生成した音声信号ＶSYNは放音機器に供給されて音波として再生される。すなわち、楽譜情報ＳCの各指定音の歌詞を発声者ＵTが発声した歌唱音が再生される。
【００４７】
以上の形態においては、素片データＤS（特徴量情報Ｘ）に対する変換関数Ｆ(X)の適用で発声者ＵTの音声の素片データＤSTが生成されるから、音声合成の段階で発声者ＵTの素片群ＧTは不要である。したがって、素片群ＧSおよび素片群ＧTの双方を記憶装置１４に格納して発声者ＵSおよび発声者ＵTの各々の音声を合成する構成と比較して、声質が相違する複数種の音声（発声者ＵSおよび発声者ＵTの音声）の合成に必要な素片データの個数が削減されるという利点がある。
【００４８】
＜Ｂ：第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各態様において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００４９】
図８は、第２実施形態における声質変換部２４および音声合成部２６のブロック図である。図８に示すように、第２実施形態の声質変換部２４は、第１実施形態の声質変換部２４に係数補正部５８を追加した構成である。係数補正部５８は、変換処理部５４が単位区間ＴF毎に生成した特徴量情報ＸTの係数値ＬT[1]〜ＬT[K]を補正する。
【００５０】
図９に示すように、係数補正部５８は、第１補正部５８１と第２補正部５８２と第３補正部５８３とを含んで構成される。図８の素片データ生成部５６は、第１補正部５８１と第２補正部５８２と第３補正部５８３とによる補正後の係数値ＬT[1]〜ＬT[K]で構成される特徴量情報ＸTに対応する素片データＤSTを、第１実施形態と同様の方法で単位区間ＴF毎に順次に生成する。係数値ＬT[1]〜ＬT[K]に対する補正を以下に詳述する。
【００５１】
＜第１補正部５８１＞
包絡線ＥNV_Tを表現する係数値（線スペクトル周波数）ＬT[1]〜ＬT[K]は、０からπまでの範囲Ｒ内の数値（０＜ＬT[1]＜ＬT[2]＜…＜ＬT[K]＜π）である必要がある。しかし、声質変換部２４による処理（変換関数Ｆ(X)による変換）に起因して係数値ＬT[1]〜ＬT[K]が範囲Ｒの外側の数値となる可能性がある。そこで、第１補正部５８１は、係数値ＬT[1]〜ＬT[K]を範囲Ｒ内の数値に補正する。具体的には、係数値ＬT[k]がゼロを下回る場合（ＬT[k]＜０）には、係数値ＬT[k]を、周波数軸上で正側に隣合う係数値ＬT[k+1]の数値に変更する（ＬT[k]＝ＬT[k+1]）。他方、係数値ＬT[k]がπを上回る場合（ＬT[k]＞π）には、係数値ＬT[k]を、周波数軸上で負側に隣合う係数値ＬT[k-1]の数値に変更する（ＬT[k]＝ＬT[k-1]）。したがって、補正後の係数値ＬT[1]〜ＬT[K]は範囲Ｒ内に分布する。
【００５２】
＜第２補正部５８２＞
相互に隣合う２個の係数値ＬT[k]および係数値ＬT[k-1]の差分ΔＬ（ΔＬ＝ＬT[k]−ＬT[k-1]）が過度に小さい場合（すなわち線スペクトル同士が過度に接近する場合）、包絡線ＥNV_Tのピークの数値が異常に大きい数値となり、音声信号ＶSYNの再生音が聴感的に不自然な印象の音響となる可能性がある。そこで、第２補正部５８２は、相互に隣合う２個の係数値ＬT[k-1]および係数値ＬT[k]の差分ΔＬが所定値Δminを下回る場合に両者間の差異を拡大する。
【００５３】
具体的には、係数値ＬT[k-1]と係数値ＬT[k]との差分ΔＬが所定値Δminを下回る場合、図１０に示すように、負側の係数値ＬT[k-1]は、係数値ＬT[k-1]と係数値ＬT[k]との中央値Ｗ（Ｗ＝（ＬT[k-1]＋ＬT[k]）／２）から所定値Δminの半分を減算した数値に設定される（ＬT[k-1]＝Ｗ−Δmin／２）。他方、補正前の正側の係数値ＬT[k]は、中央値Ｗに所定値Δminの半分を加算した数値に設定される（ＬT[k]＝Ｗ＋Δmin／２）。したがって、図１０に示すように、第２補正部５８２による補正後の係数値ＬT[k-1]と係数値ＬT[k]は、中央値Ｗを中心として所定値Δminだけ離間した数値に設定される。すなわち、係数値ＬT[k-1]の線スペクトルと係数値ＬT[k]の線スペクトルとの間隔が所定値Δminに拡大する。
【００５４】
＜第３補正部５８３＞
図１１は、変換関数Ｆ(X)による変換前の係数値Ｌ[k]の次数ｋ毎の時系列（軌跡）である。図１１に示すように、変換関数Ｆ(X)による変換前の各係数値Ｌ[k]は適度に分散する（すなわち時間的に適度に変動する）から、相互に隣合う係数値Ｌ[k]と係数値Ｌ[k-1]とが適度に接近する期間が発生する。したがって、図１１に示すように、変換前の特徴量情報Ｘで表現される包絡線ＥNVには適切な高さのピークが発生する。
【００５５】
図１２の実線は、変換関数Ｆ(X)による変換後の係数値ＬTa[k]の次数ｋ毎の時系列（軌跡）である。係数値ＬTa[k]は、第３補正部５８３の補正前の係数値ＬT[k]を意味する。数式(4)から理解されるように、変換関数Ｆ(X)においては、特徴量情報Ｘから平均μqXが減算され、共分散行列ΣqXXに対する共分散行列ΣqYXの比（ΣqYX／ΣqXX）が乗算される。比（ΣqYX／ΣqXX）の各数値は１を下回る。以上に説明した平均μqXの減算や比（ΣqYX／ΣqXX）の乗算に起因して、変換関数Ｆ(X)を利用した変換後の各係数値ＬTa[k]は、図１２に示すように変換前（図１１）と比較して分散が低減される。すなわち、係数値ＬTa[k]の時間的な変動が抑制される。したがって、相互に隣合う係数値ＬTa[k-1]と係数値ＬTa[k]との差分ΔＬが大きい数値に維持され、図１２に示すように、特徴量情報ＸTで表現される包絡線ＥNV_Tのピークが抑圧（平滑化）されるという傾向がある。以上のように包絡線ＥNV_Tのピークが抑圧された場合、音声信号ＶSYNの再生音が聴感的に不明瞭で不自然な印象の音響となる可能性がある。
【００５６】
そこで、第３補正部５８３は、係数値ＬTa[k]の次数ｋ毎の分散が増加する（係数値ＬT[k]が経時的に変動する範囲が拡大する）ように係数値ＬTa[1]〜ＬTa[K]の各々を補正する。具体的には、第３補正部５８３は、以下の数式(6)の演算で補正後の係数値ＬT[k]を算定する。
【数６】
0005573529.tif 000007
【００５７】
数式(6)の記号mean(ＬTa[k])は、所定の期間ＰL内における係数値ＬTa[k]の平均を意味する。期間ＰLの時間長は任意であるが、例えば歌唱曲の１フレーズ程度の時間長に設定される。数式(6)の記号std(ＬTa[k])は、期間ＰL内の各係数値ＬTa[k]の標準偏差を意味する。
【００５８】
数式(6)の記号σkは、発声者ＵTに対応する素片群ＧTの各素片データＤTの各単位区間ＴFの特徴量情報Ｙ（図３）を構成するＫ個の係数値Ｌ[1]〜Ｌ[K]のうち次数ｋの係数値Ｌ[k]の標準偏差を意味する。関数特定部２２が変換関数Ｆ(X)を生成する過程（図３の処理）において各素片データＤTの特徴量情報Ｙから次数ｋ毎に標準偏差σkが算定されて記憶装置１４に格納される。第３補正部５８３は、記憶装置１４に格納された標準偏差σkを数式(6)の演算に適用する。数式(6)の記号αstdは、所定の定数（正規化パラメータ）である。定数αstdは、聴感的に自然な合成音が生成されるように統計的または実験的に選定されるが、例えば0.7程度の数値が好適である。
【００５９】
数式(6)から理解されるように、補正前の係数値ＬTa[k]から平均mean(ＬTa[k])を減算した数値を標準偏差std(ＬTa[k])で除算することで係数値ＬTa[k]の分散が正規化され、定数αstdと標準偏差σkとを乗算することで係数値ＬTa[k]の分散が拡大する。具体的には、各素片データＤTの特徴量情報Ｙの係数値Ｌ[k]の標準偏差（分散）σkが大きいほど補正後の係数値ＬT[k]の分散は補正前と比較して拡大する。数式(6)の平均mean(ＬTa[k])の加算は、補正後の係数値ＬT[k]の平均を補正前の係数値ＬTa[k]の平均に合致させる演算である。
【００６０】
以上に説明した演算の結果、図１２に破線で図示されるように、補正後の係数値ＬT[k]の時系列では、補正前の係数値ＬTa[k]と比較して分散が増加する（すなわち数値の経時的な変動が拡大する）。したがって、相互に隣合う係数値ＬT[k-1]と係数値ＬT[k]とが適度に接近する。すなわち、第３補正部５８３による補正後の特徴量情報ＸTで表現される包絡線ＥNV_Tには、図１２に破線で図示されるように、変換関数Ｆ(X)による補正前（図１１）と同等のピークが適当な頻度で発生する（変換関数Ｆ(X)による変換の影響が低減される）。したがって、聴感的に明瞭で自然な印象の音響を合成することが可能である。
【００６１】
第２実施形態でも第１実施形態と同様の効果が実現される。また、第２実施形態では、声質変換部２４による変換後の特徴量情報ＸT（係数値ＬT[1]〜ＬT[K]）が補正されるから、変換関数Ｆ(X)による変換の影響を低減して聴感的に自然な印象の音響を生成することが可能である。なお、以上に例示した第１補正部５８１と第２補正部５８２と第３補正部５８３との少なくともひとつは省略され得る。また、係数補正部５８による各補正の順番は任意に変更される。例えば、第３補正部５８３の補正後に第１補正部５８１や第２補正部５８２の補正を実行する構成も採用され得る。
【００６２】
＜Ｃ：変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。
【００６３】
（１）変形例１  
素片データＤ（ＤS，ＤT，ＤST）の形式は任意である。例えば、素片データＤが音声の周波数スペクトルを示す構成や、素片データＤが特徴量情報（Ｘ，Ｙ，ＸT）を示す構成も採用され得る。素片データＤが周波数スペクトルを示す構成では、図３の周波数分析（Ｓ11，Ｓ12）が省略される。また、素片データＤが特徴量情報（Ｘ，Ｙ，ＸT）を示す構成では、特徴量取得部３２や特徴量取得部５２は素片データＤを取得する要素として機能し、図４の処理（周波数分析（Ｓ11，Ｓ12）や包絡線特定（Ｓ13，Ｓ14）等）は省略される。音声合成部２６（合成処理部４４）による音声信号ＶSYNの生成の方法は、素片データＤの形式に応じて適宜に選定される。
【００６４】
また、以上の各形態では、自己回帰モデルの線スペクトルを規定するＫ個の係数値Ｌ[1]〜Ｌ[K]（ＬT[1]〜ＬT[K]）の系列を特徴量情報（Ｘ，Ｙ，ＸT）として例示したが、特徴量情報が示す特徴量は以上の例示に限定されない。例えば、特徴量情報（Ｘ，Ｙ，ＸT）がＭＦＣＣ等の特徴量を示す構成も採用され得る。
【００６５】
（２）変形例２  
以上の各形態では、関数特定部２２と声質変換部２４と音声合成部２６とを含む音声処理装置１００を例示したが、以上の各要素は複数の装置に個別に搭載され得る。例えば、素片群ＧSおよび素片群ＧTを記憶する記憶装置１４と関数特定部２２とを具備する音声処理装置（声質変換部２４や音声合成部２６を省略した構成）は、別装置の声質変換部２４が使用する変換関数Ｆ(X)を特定する装置（変換関数生成装置）として利用される。また、素片群ＧSを記憶する記憶装置１４と声質変換部２４および音声合成部２６とを具備する音声処理装置（関数特定部２２を省略した構成）は、別装置の関数特定部２２が特定した変換関数Ｆ(X)を利用して音声を合成する装置（音声合成装置）として利用される。また、素片群ＧSを記憶する記憶装置１４と声質変換部２４とを具備する音声処理装置（関数特定部２２や音声合成部２６を省略した構成）は、素片群ＧSと変換関数Ｆ(X)とから発声者ＵTの素片データＤSTを生成する装置（素片データ生成装置）として利用される。
【００６６】
（３）変形例３  
以上の各形態では歌唱音の合成を例示したが、歌唱音以外の発話音（例えば会話音）を合成する場合にも、以上の各形態と同様に本発明を同様に適用することが可能である。
【符号の説明】
【００６７】
１００……音声処理装置、１２……演算処理装置、１４……記憶装置、２２……関数特定部、２４……声質変換部、２６……音声合成部、３２……特徴量取得部、３４……時間整合部、３６……関数生成部、４２……素片選択部、４４……合成処理部、５２……特徴量取得部、５４……変換処理部、５６……素片データ生成部、５６２……差分生成部、５６４……加工処理部、５８……係数補正部。
【図１】
0005573529.tif 000008
【図２】
0005573529.tif 000009
【図３】
0005573529.tif 000010
【図４】
0005573529.tif 000011
【図５】
0005573529.tif 000012
【図６】
0005573529.tif 000013
【図７】
0005573529.tif 000014
【図８】
0005573529.tif 000015
【図９】
0005573529.tif 000016
【図１０】
0005573529.tif 000017
【図１１】
0005573529.tif 000018
【図１２】
0005573529.tif 000019