(57)【要約】【課題】  変換の量及び内容が連続的でかつ自然性が高く、しかもユーザが直感的に調整しやすい声質変換処理は、従来不可能であった。【解決手段】  音声を分析した結果得られる音響特徴パラメタ列（１００）に、声質変換パラメタデータベース（１０５）に基づき、声質変換制御部（１０３）に従った変形を加え、それによって音響特徴パラメタ（１００）もしくは音声特徴パラメタから計算できる特徴変数のうち少なくとも１つがあらかじめ設定された限界値（１０６）を超えるなら、声質変換結果の音声に品質劣化が起こると判断し、声質変換処理の内容に調整を加えて品質劣化が起こらない状態にする。【選択図】  図１
2007041012.tif 000002
【特許請求の範囲】
【請求項１】
音声の音響的特徴を表す複数のパラメタ（音響特徴パラメタ列）に対して所定の変換処理を行う特徴パラメタ変換部と、
所望する声質に応じた変換指示を前記特徴パラメタ変換部に与える声質変換制御部と、
声質パラメタ調整部とを備え、
前記特徴パラメタ変換部は、
前記声質変換制御部からの変換指示に従って前記音響特徴パラメタ列に対する変換処理を行い、
前記声質パラメタ調整部は、
前記声質変換制御部からの変換指示に従った変換処理が前記音響特徴パラメタ列に対して行われたと仮定した場合における当該変換処理後の音響特徴パラメタ列の値が所定の範囲内に収まっているか否かを判断し、当該変換処理後の音響特徴パラメタ列のうち少なくとも１つのパラメタが前記所定の範囲を超えるときには、そのパラメタが前記所定の範囲内に収まるように前記声質変換制御部から前記特徴パラメタ変換部への変換指示を変更する、
ことを特徴とする声質変換装置。
【請求項２】
請求項１において、
前記音響特徴パラメタ列について自然性を保った合成音声が得られるための限界条件を保持する音声合成パラメタ限界値データベースをさらに備え、
前記声質パラメタ調整部は、
前記音声合成パラメタ限界値データベースを参照して上記判断処理および変換指示の変更処理を行う、
ことを特徴とする声質変換装置。
【請求項３】
請求項１において、
前記声質パラメタ調整部は、
制約充足アルゴリズムを用いて上記変換指示の変更処理を行う、
ことを特徴とする声質変換装置。
【請求項４】
請求項１において、
変換可能な１または複数の声質の各々について、その声質の変換量と当該変換量の声質変換を行うために必要な音響特徴パラメタ列の変換量とを対応づけた声質変換パラメタデータベースをさらに備え、
前記声質変換制御部は、
変換可能な１または複数の声質をユーザに提示し、声質および当該声質の変換量をユーザに指定させ、ユーザにより指定された声質および変換量と前記声質変換パラメタデータベースとに基づいて前記特徴パラメタ変換部に変換指示を与える、
ことを特徴とする声質変換装置。
【請求項５】
請求項４において、
前記声質変換制御部は、
前記１または複数の声質の各々に対応する声質変換パラメタ調整コントロールをユーザに提示し、
前記声質変換パラメタ調整コントロールは、
対応する声質の変換可能量に対応した移動可能範囲と、当該移動可能範囲内の任意の位置を指示可能なポインタとを有しており、
前記声質変換制御部は、
前記声質変換パラメタ調整コントロールのポインタをユーザに操作させることにより声質および変換量を指定させる、
ことを特徴とする声質変換装置。
【請求項６】
請求項５において、
前記声質変換パラメタ調整コントロールは、スライダもしくはボリュームスイッチの形状をしている、
ことを特徴とする声質変換装置。
【請求項７】
請求項５において、
前記声質変換制御部は、
ある声質に対応する声質変換パラメタ調整コントロールのポインタがユーザにより操作されると、その操作に応じた声質の変換量に対応する音響特徴パラメタ列の変換量と他の声質に対応する音響特徴パラメタ列の変換量とに基づいて、当該他の声質に対応する声質変換パラメタ調整コントロールの移動可能範囲を変更する、
ことを特徴とする声質変換装置。
【請求項８】
請求項５において、
前記声質変換制御部は、
ある声質に対応する声質変換パラメタ調整コントロールのポインタがユーザにより操作されると、その操作に応じた声質の変換量に対応する音響特徴パラメタ列の変換量と他の声質に対応する音響特徴パラメタ列の変換量とに基づいて、当該他の声質に対応する声質変換パラメタ調整コントロールのポインタの位置を変更する、
ことを特徴とする声質変換装置。
【請求項９】
請求項５から８のいずれか１つにおいて、
前記声質変換パラメタ調整コントロールは、
各々の声質変換パラメタ調整コントロールの操作に応じて音響特徴パラメタ列に加えられる変化の内容が似通っているものほど近い位置にあるように配置されている、
ことを特徴とする声質変換装置。
【請求項１０】
請求項５から８のいずれか１つにおいて、
前記声質変換パラメタ調整コントロールは、
各々の声質変換パラメタ調整コントロールの操作に応じて音響特徴パラメタ列に加えられる変化の内容が似通っているものほどコントロール間の角度が小さくなるように配置されている、
ことを特徴とする声質変換装置。
【請求項１１】
請求項１に記載の声質変換装置と、
テキスト情報を入力として音響特徴パラメタ列を出力する音声合成部とを備え、
前記声質変換装置の特徴パラメタ変換部は、前記音声合成部からの音響特徴パラメタに対して前記所定の変換処理を行う、
ことを特徴とする音声合成装置。
【請求項１２】
請求項１に記載の声質変換装置と、
音声合成処理に用いられる音声合成データベースとを備え、
前記声質変換装置の声質変換パラメタ調整部は、前記声質変換制御部の指示通りの変換処理を行うと出力音声の品質劣化が起こることを、前記音声合成データベースを参照して検出する、
ことを特徴とする音声合成装置。
【請求項１３】
請求項１に記載の声質変換装置と、
音声合成処理に用いられる音声合成データベースに関する、出力音声に品質劣化を起こす変換処理を検出するための特徴的な情報を収めた音声合成データベース特徴テーブルとを備え、
前記声質変換装置の声質変換パラメタ調整部は、前記声質変換制御部の指示通りの変換処理を行うと出力音声の品質劣化が起こることを、前記音声合成データベース特徴テーブルを参照して検出する、
ことを特徴とする音声合成装置。
【請求項１４】
請求項１に記載の声質変換装置と、
テキスト情報を入力として音響特徴パラメタ列を出力する音声合成装置と、
音声合成処理に用いられる音声合成データベースとを備え、
前記音声合成データベースに収められたデータを前記特徴パラメタ変換部で変換し、変換されたデータを使用して音声合成を行う、
ことを特徴とする音声合成装置。
【請求項１５】
請求項１において、
音声波形データを音響特徴パラメタ列に変換する音声分析部をさらに備え、
入力された音声波形データを前記音声分析部で音響特徴パラメタ列に変換し、前記特徴パラメタ変換部で変換して出力することで、音声波形データの声質変換処理を行う、
ことを特徴とする声質変換装置。
【請求項１６】
請求項１５において、
特定の声質を持つ音声波形データを変換すると出力音声に品質劣化を起こすような変換処理を検出するための、特徴的な情報を収めた１つないしは複数の波形特徴テーブルをさらに備え、
前記波形特徴テーブル内の、入力された音声波形データに対応する情報を用いて出力音声の品質劣化を検出する、
ことを特徴とする声質変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声の声質を変換する声質変換装置、及び声質可変な音声合成装置に関する。
【背景技術】
【０００２】
音声を人工的に生成する音声合成装置において合成音声の声質を変換する方法として特許文献１（特開平０７−３１９４９５号公報），特許文献２（特開平０８−１５２９００号公報）に記載の技術が存在する。
【０００３】
特許文献１に記載の技術では、複数話者の音声から得た合成単位データがデータベースにあらかじめ蓄積されている。音声合成に用いたい合成単位と声質とが指定されると、まず、指定された合成単位に最も近い合成単位データがデータベースから選択される。次に、その選択した合成単位データの話者の声質が指定された声質とどの程度異なるかチェックされ、所定の程度以上異なる場合には、指定声質に近くなるように合成単位データに対し声質変換が行われる。ここでは、選択した合成単位データの話者のコードブック（声質の特徴を表した情報）から、指定の声質にマッチする声質を持った話者のコードブックへコードブックマッピングを行うことにより、選択された合成単位データの声質を指定の声質に変換している。
【０００４】
また、特許文献２に記載の技術では、デジタル音声データをアナログ音声信号に変換する際のサンプリング周波数を変換することにより合成音声の声質を変換している。さらに、出力される音声が適切になるように基本周波数や音韻継続時間などのいわゆる韻律情報（スペクトルパラメタ）をサンプリング周波数の変更に応じて適切に設定している。
【特許文献１】特開平０７−３１９４９５号公報
【特許文献２】特開平０８−１５２９００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の方法を用いた場合、声質変換の自由度が狭かったり、声質の調整が非常に困難であったりする。
【０００６】
例えば特許文献１のように音声素片データベースを切り替える方法では、１種類の声質に対して１つの音声素片データベースが必要となり、さらに声質の連続的な変化を表現することができない。
【０００７】
また、例えば特許文献２のようにスペクトルパラメタを変換する方法では、「明るくかつ怒った声にする」などのように、複数の観点で声質変換を同時に行う場合、声質に破綻が起こらないように音声の品質を維持するのが困難である。
【課題を解決するための手段】
【０００８】
本発明による声質変換装置は、特徴パラメタ変換部と、声質変換制御部と、声質パラメタ調整部とを備える。特徴パラメタ変換部は、音声の音響的特徴を表す複数のパラメタ（音響特徴パラメタ列）に対して所定の変換処理を行う。声質変換制御部は、所望する声質に応じた変換指示を特徴パラメタ変換部に与える。特徴パラメタ変換部は、声質変換制御部からの変換指示に従って上記音響特徴パラメタ列に対する変換処理を行う。声質パラメタ調整部は、声質変換制御部からの変換指示に従った変換処理が上記音響特徴パラメタ列に対して行われたと仮定した場合における当該変換処理後の音響特徴パラメタ列の値が所定の範囲内に収まっているか否かを判断し、当該変換処理後の音響特徴パラメタ列のうち少なくとも１つのパラメタが上記所定の範囲を超えるときには、そのパラメタが上記所定の範囲内に収まるように声質変換制御部から特徴パラメタ変換部への変換指示を変更する。
【発明の効果】
【０００９】
本発明によれば、音質が良く自由度の高い声質変換が可能になり、かつ声質変換の調整を直感的に行うことができるようになる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について、図を参照しながら説明する。なお、図面において同一または相当部分には同一の参照符号を付してその説明は繰り返さない。
【００１１】
（実施の形態１）
図１は、本発明の実施の形態１による声質変換装置の構成であり、音声を分析した結果得られ、これをもとに再合成を行うことで元の音声波形が得られる音響特徴パラメタ列１００を特徴パラメタ変換部１０１で変換し、変換済み音響特徴パラメタ列１０２を得ることができる。特徴パラメタ変換部１０１で行う変換処理の内容は声質変換制御部１０３によって指示され、声質変換パラメタ調整部１０４は、声質変換制御部１０３の指示する変換処理の内容が変形済み音響特徴パラメタ１０２に音質劣化を起こす場合を検知し、声質変換制御部１０３に働きかけて、音質劣化を起こさないように変換処理の内容を調整することができる。声質変換パラメタデータベース１０５は、特徴パラメタ変換部１０１が声質変換処理を行う際のテンプレートとなるデータを保持する。また、音声合成パラメタ限界値データベース１０６には、音響特徴パラメタ列について自然性を保った合成音声が得られるための限界条件（各音響特徴パラメタの限界値など）が格納されており、声質変換パラメタ調整部１０４は、音声合成パラメタ限界値データベース１０６に収められたデータを元に声質変換処理の内容の調整を行うこともできる。
【００１２】
以下、本実施の形態において声質変換処理を行う際の処理の流れを具体的に示す。
【００１３】
図２は、本実施の形態における声質変換装置の動作初期状態である。
【００１４】
声質変換制御部１０３は、１または複数の声質の各々に対応する声質変換パラメタ調整コントロールをユーザに提示する。声質変換パラメタ調整コントロールは、対応する声質の変換可能量に対応した移動可能範囲と、当該移動可能範囲内の任意の位置を指示可能なポインタとを有している。声質変換制御部１０３は、声質変換パラメタ調整コントロールのポインタをユーザに操作させることにより声質および変換量を指定させる。たとえば図２に示すように、声質変換制御部１０３は、変換可能な声質（ここでは、明るさ・暗さ・男性らしさ・早口の４つ）に対応する声質変換パラメタをそれぞれ０から１０の範囲内で連続的に調整可能なスライダ（もしくはボリュームスイッチ等でもよい）をユーザに提示する。ユーザは各声質変換パラメタに対応するスライダを０から１０の範囲内で動かすことにより変換したい声質および変換量を指定する。ここでは調整を加えない場合は０、調整の度合いが大きくなるにつれ１０に近付くものとする。なお、図２では、明るさを「明」、暗さを「暗」、男性らしさを「男」、早口を「早」で示している。音響特徴パラメタ列１００は、調整可能な音響特徴パラメタとして、各分析フレームごとに基本周波数（Ｆ０）、第一フォルマント周波数（Ｆ１）、第二フォルマント周波数（Ｆ２）、フレーム継続長（ＦＲ）、音源パワー（ＰＷ）の５つのパラメタを持つ。声質変換パラメタデータベース１０５は、声質変換制御部１０３の持つ声質変換パラメタの値を調整したとき（１増やしたとき）、それぞれの音響特徴パラメタ値に加えるべき値を保持している。図２では、声質変換制御部１０３上で全ての声質変換パラメタの設定値が０となっているため、出力の音響特徴パラメタ列１０２の内容は入力の音響特徴パラメタ列１００と同一である。
【００１５】
図３は、声質変換制御部１０３で明るさの声質変換パラメタを５に、早口の声質変換パラメタを３に設定した状態での動作例を表す。入力の音響特徴パラメタ列１００のある分析フレームに着目したとき、例えばこの分析フレームにおける音響特徴パラメタＦ０の値が３００であったとすると、出力の音響特徴パラメタ列１０２における、対応する分析フレームでのＦ０の値は、明るさの声質変換パラメタを１増やすごとに＋５となり、早口の声質変換パラメタを１増やすごとに＋１となることが声質変換パラメタデータベース１０５から分かるので、３００＋５×（＋５）＋３×（＋１）＝３２８として求められる。他の音響特徴パラメタ値についても同様に計算を行えばよい。
【００１６】
図４は、図３に示される状態の後、声質変換制御部１０３で暗さの声質変換パラメタを７に設定した結果を示す。声質変換パラメタデータベース１０５によれば、暗さの声質変換パラメタは明るさの声質変換パラメタと逆の内容になっているので、暗さの声質変換パラメタを増やそうとしたとき、明るさの声質変換パラメタが０より大きければ、暗さの声質変換パラメタを増やす代わりに明るさの声質変換パラメタをまず減らしてやることで同じ効果が得られる。図４の場合、図３で明るさの声質変換パラメタが５であった状態から暗さの声質変換パラメタが７に変更されたが、明るさの声質変換パラメタを０にすることで暗さの声質変換パラメタを５増やすのと同じ効果が得られるので、暗さの声質変換パラメタを７にする代わりに、明るさの声質変換パラメタを０に、暗さの声質変換パラメタを２にすればよい。このように、声質変換制御部１０３で指定された声質変換処理を、各声質変換パラメタの値が最小になるような組み合わせに声質変換パラメタ調整部１０４で調整することにより、ユーザにとって操作しやすい声質変換制御インタフェイスが実現される。
【００１７】
さらに、音響特徴パラメタＦ０の値が３５０を超えると、音響特徴パラメタ列の再合成によって出力される合成音の音質が著しく劣化することが分かっているとする。図５は、明るさの声質変換パラメタが１０に設定されており、その結果出力される音響特徴パラメタ列のある分析フレームでＦ０の値が３５０になっている状態を表す。
【００１８】
図６は、図５の状態からさらに早口の声質変換パラメタ値を５に増やした状態を表す。早口の声質変換パラメタ値を５増やすと音響特徴パラメタＦ０の値が５増えるが、図５において音響特徴パラメタＦ０の値はある分析フレームで既に３５０となっているため、明るさの声質変換パラメタを１減らすことで音響特徴パラメタＦ０の値を３５０に収める。結果として、明るさの声質変換パラメタ値は９に、早口の声質変換パラメタ値は５になる。このように、声質変換パラメタ調整部１０４によって声質変換パラメタの値を自動的に調整することで、ユーザは各音響特徴パラメタの限界値を意識することなく、声質変換の操作を行うことができる。
【００１９】
声質パラメタ調整部１０４は、声質変換制御部１０３からの変換指示に従った変換処理が音響特徴パラメタ列１００に対して行われたと仮定した場合における当該変換処理後の音響特徴パラメタ列の値が所定の範囲内に収まっているか否かを判断し、当該変換処理後の音響特徴パラメタ列のうち少なくとも１つのパラメタが上記所定の範囲を超えるときには、そのパラメタが上記所定の範囲内に収まるように声質変換制御部１０３から特徴パラメタ変換部１０１への変換指示を変更する。
【００２０】
なお、音声合成パラメタ限界値データベース１０６に格納されている限界条件（たとえば、音響特徴パラメタＦ０の値が３５０を超えてはならないというような各音響特徴パラメタの限界値や、音響特徴パラメタＦ０と音響特徴パラメタＦ２の値を加算した結果は２０００を越えてはならないというようなデータ）を声質変換パラメタ調整部１０４が必要に応じて参照するという構成を取っても良い。
【００２１】
なお、特徴パラメタ変換部１０１によって音響特徴パラメタ列１００に与えられる変化は全分析フレームに対して一律でなくてもよく、分析フレームごとに声質変換パラメタデータベース１０５の内容が変化するようになっていてもよい。
【００２２】
なお、声質変換パラメタ調整部１０４による声質変換パラメタ値の調整は、制約充足アルゴリズムを用いて自動的に行っても良い。制約充足アルゴリズムには、例えば参考文献１のＩｎｄｉｇｏアルゴリズムがある。図５と図６に示される声質変換パラメタの調整を行う制約条件の音響特徴パラメタＦ０に関する部分を、Ｉｎｄｉｇｏアルゴリズムの制約階層で記述すると以下のようになる。
【００２３】
ＲＥＱＵＩＲＥＤ制約Ｃ１：出力Ｆ０≦３５０
ＲＥＱＵＩＲＥＤ制約Ｃ２：入力Ｆ０＝３００
ＲＥＱＵＩＲＥＤ制約Ｃ３：明るさ×５＝ｔ１
ＲＥＱＵＩＲＥＤ制約Ｃ４：暗さ×−５＝ｔ２
ＲＥＱＵＩＲＥＤ制約Ｃ５：男性らしさ×−３＝ｔ３
ＲＥＱＵＩＲＥＤ制約Ｃ６：早口×１＝ｔ４
ＲＥＱＵＩＲＥＤ制約Ｃ７：ｔ１＋ｔ２＝ｔ５
ＲＥＱＵＩＲＥＤ制約Ｃ８：ｔ３＋ｔ４＝ｔ６
ＲＥＱＵＩＲＥＤ制約Ｃ９：ｔ５＋ｔ６＝ｔ７
ＲＥＱＵＩＲＥＤ制約Ｃ１０：入力Ｆ０＋ｔ７＝ｔ８
ＲＥＱＵＩＲＥＤ制約Ｃ１１：ｔ８＝出力Ｆ０
ＳＴＲＯＮＧ制約Ｃ１２：早口＝５
ＷＥＡＫ制約Ｃ１３：男性らしさ＝０
ＷＥＡＫ制約Ｃ１４：暗さ＝０
ＷＥＡＫ制約Ｃ１５：明るさ＝１０
以上の制約条件を、制約グラフの形で表すと図７のようになる。なお、変数ｔ１からｔ８は、制約充足の計算の途中結果を保持するための変数である。また、簡単のため省略したが、より望ましい結果を出すためには、各声質変換パラメタの値を０以上１０以下の値に束縛するＲＥＱＵＩＲＥＤ制約を設けてあることが望ましい。
【００２４】
以上の制約条件をＩｎｄｉｇｏアルゴリズムで解く場合の処理の概略を以下に示す。
【００２５】
初期状態：全ての変数の値域が[−∞，＋∞]
Ｃ１追加：出力Ｆ０の値域が[−∞，３５０]になる
Ｃ２追加：入力Ｆ０の値域が[３００，３００]になる
Ｃ３〜Ｃ１０追加：各変数の値域に変化無し
Ｃ１１追加：ｔ８の値域が[−∞，３５０]になる
Ｃ１０を伝播してｔ７の値域が[−∞，５０]になる
Ｃ１２追加：早口の値域が[５，５]になる
Ｃ６を伝播してｔ４の値域が[５，５]になる
Ｃ１３追加：男性らしさの値域が[０，０]になる
Ｃ５を伝播してｔ３の値域が[０，０]になる
Ｃ８を伝播してｔ６の値域が[５，５]になる
Ｃ９を伝播してｔ５の値域が[−∞，４５]になる
Ｃ１４追加：暗さの値域が[０，０]になる
Ｃ４を伝播してｔ２の値域が[０，０]になる
Ｃ７を伝播してｔ１の値域が[−∞，４５]になる
Ｃ３を伝播して明るさの値域が[−∞，９]になる
Ｃ１５追加：明るさの値域が[９，９]になる
＜参考文献１＞
A. Borning, R. Anderson, B. Freeman-Benson: The Indigo Algorithm, TR 96-05-01, Department of Computer Science and Engineering, University of Washington, July 1996
（実施の形態２）
本発明の実施の形態２による声質変換パラメタ調整コントロールの配置決定方法の一例を、図８を用いて説明する。
【００２６】
声質変換パラメタデータベース１０５に収められる、各音響特徴パラメタの差分値のデータが図８のようになっているものとする。各声質変換パラメタが音響特徴パラメタに及ぼす変化の内容の近さを、声質変換パラメタデータベース１０５に収められる各音響特徴パラメタの差分値同士のユークリッド距離であると定義すると、それぞれの距離は表８００のように計算できる。あとは、距離の近いものほど近くに配置されるように声質変換パラメタ調整コントロールの配置を行えばよい。表８００では男性らしさと暗さの声質変換パラメタが最も近く、次に明るさと早口、その次に早口と暗さという結果になっているので、８０１に示されるような配置を行うことができる。
【００２７】
このような配置を行い、さらに以下に示すような方法で声質変換パラメタの調整を行うことによって、ユーザは直感的に分かり易い方法で声質変換の操作を行うことができる。
【００２８】
ＳＴＥＰ０：ある１つの声質変換パラメタの値が、ユーザにより変更される。たとえば図９の８０２ａ，８０２ｂに示すようにすべての声質パラメタが０の状態から明るさ（明）の声質変換パラメタが１０に変更されたものとする。なお、ここでは入力された音響特徴パラメタの値や音響特徴パラメタの限界値等の条件は図５に示したのと同様であるものとする。
【００２９】
ＳＴＥＰ１：声質変換パラメタｉをあとＸｉ増やすと、音響特徴パラメタもしくは音響特徴パラメタの値を元に計算できる特徴変数のうちいずれか１つがあらかじめ設定された値域を外れてしまうような数Ｘｉを求める。これを全ての声質変換パラメタｉについて計算する。たとえば、図９の８０２ｂのように明るさの声質変換パラメタが１０に設定された場合には、早口（早）の声質変換パラメタを０より大きくすると音響特徴パラメタＦ０の値が限界値３５０を超えてしまい合成音の音質が劣化してしまう。したがって早口の声質変換パラメタについてのＸｉは０となる。
【００３０】
ＳＴＥＰ２：各声質変換パラメタｉの現在の値をＹｉとして、Ｘｉ＋Ｙｉを声質変換パラメタｉの声質変換パラメタ調整コントロールの最大値、０が最小値、Ｙｉが現在値となるように声質変換パラメタ調整コントロールを再描画する。これを全ての声質変換パラメタｉについて行う。上述の例の場合には図９の８０２ｂに示すように、早口の最大値＝０、最小値＝０、現在値＝０となるように再描画する。なお、この状態（８０２ｂ）で明るさの声質変換パラメタが１０から９に下げられた場合には、上述のＳＴＥＰ０〜２により、図９の８０２ｃに示すように早口の声質変換パラメタの最大値は０から５に上昇する。
【００３１】
以上の方法によれば、ある声質変換パラメタの値が増やされたとき、音響特徴パラメタに加える変化の内容がそれと似通っている声質変換パラメタほど、どの音響特徴パラメタや音響特徴パラメタを元に計算される特徴変数の値もあらかじめ定められた値域を外れさせずに増加させられる余裕はなくなるので、ＳＴＥＰ１におけるＸｉが小さくなり、結果ＳＴＥＰ２の再描画で現在の設定値Ｙｉが、設定可能な最大値に近付いているように描画できる。本実施例では、各音響特徴パラメタに与える変化の内容が近い声質変換パラメタ調整コントロールほど近くに配置されるようになっているので、ユーザには、ある声質変換パラメタ調整コントロールを操作すると、近くに配置されている声質変換パラメタ調整コントロールほど同じ方向につられて動き、遠くに配置されている声質変換パラメタ調整コントロールほど逆の方向につられて動くように提示される。したがって、ユーザはスライダ（声質変換パラメタコントロール）の操作によって声質がどのように変換されるのかを直感的に分かりやすくなる。また、声質変換パラメタの設定に連動して各声質変換パラメタの設定可能な最大値が自動的に変更されるため、ユーザは音声の品質を破綻させずに声質を変換するための各音響特徴パラメタの限界値を意識することなく、声質変換の操作を行うことができる。
【００３２】
なお、ここではユーザによる声質変換パラメタの設定に連動して関連する声質変換パラメタの最大値を変化させる例を示したが、図９の８０２ｄ〜８０２ｆに示すように声質変換パラメタの設定に連動して関連する声質変換パラメタを変化させるようにすることも可能である。たとえば図８０２ｅに示すように、明るさの声質変換パラメタを１０に設定するとこれに連動して早口の声質変換パラメタも１０に設定される。ただし、ここでは早口の声質変換パラメタのスライダを１０の位置に移動させただけであり、早さの声質変換パラメタが１０に設定されることに応じた音響特徴パラメタの変換は行われない。上述のとおり、明るさの声質パラメタを１０に設定した場合において早口の声質パラメタを１以上に設定すると音響特徴パラメタＦ０の値が限界値３５０を超えてしまい合成音の音質が劣化してしまう。しかし図８０２ｅに示すように、明るさの声質変換パラメタが１０に設定されるのに連動して早口の声質変換パラメタも１０（最大値）に設定されるため、早さの声質変換パラメタの値をこれ以上増やすことはできない。この状態（８０２ｅ）で明るさの声質変換パラメタが１０から９に下げられた場合には、図９の８０２ｆに示すように早口の声質変換パラメタは１０から５に下げられる。ただし、この場合も早口の声質変換パラメタのスライダを５の位置に移動させただけであり、早さの声質変換パラメタが５に設定されることに応じた音響特徴パラメタの変換は行われない。このように、声質変換パラメタの設定に連動して各声質変換パラメタの値が自動的に変更されるため、ユーザは音声の品質を破綻させずに声質を変換するための各音響特徴パラメタの限界値を意識することなく、声質変換の操作を行うことができる。
【００３３】
（実施の形態３）
本発明の実施の形態３による声質変換パラメタ調整コントロールの配置決定方法の一例を、図１０を用いて説明する。
【００３４】
上記実施の形態２に記載の方法と同様の方法で、声質変換パラメタデータベース１０５から表８００が作成できる。表８００を元に、各声質変換パラメタ調整コントロールの下限を一点にまとめ、さらに表８００で互いの距離が近い声質変換パラメタほど声質変換パラメタ調整コントロール間の角度が小さくなるように配置したものを９００に示す。
【００３５】
このような配置を行い、さらに上記実施の形態２に記載の方法と同様の方法で声質変換パラメタの調整を行うと、９０１に示されるように、ある声質変換パラメタ調整コントロールの操作によって、他の声質変換パラメタ調整コントロールも同じ方向につられて動くように見える。これにより、ユーザにとって直感的に分かり易い声質変換インタフェイスを提供することが可能になる。
【００３６】
（実施の形態４）
本発明の実施の形態４による音声合成装置の構成を図１１に示す。この装置は、テキスト情報を入力として様々な声質で音声合成を行うことが可能な声質可変音声合成装置である。
【００３７】
この構成では、音声合成データベース１０００に収められた音声素片から、入力のテキスト情報１００１に合致するデータを音声合成部１００２が選び出し、それを元に音響特徴パラメタ列１００を生成する。音響特徴パラメタ列１００は上記実施の形態１、２、３に示される方法で変形され、変形済み音響特徴パラメタ列１０２が出力される。この変形済み音響特徴パラメタ列１０２を用いて波形生成部１００３が合成音波形１００４を生成し、スピーカ装置１００５によって再生することで、ユーザが入力した任意のテキスト情報１００１を、声質変換制御部１０３で指定された声質の合成音で再生することができる。
【００３８】
（実施の形態５）
本発明の実施の形態５による音声合成装置の構成を図１２に示す。この装置は、様々な声質で音声合成を行うことが可能な声質可変音声合成装置である。この構成は、上記実施の形態４と同様の効果を別の構成で可能にする。この構成と上記実施の形態４の違いは、上記実施の形態４では声質変換パラメタ調整部１０４が音声合成部１００２の出力した音響特徴パラメタ列を用いて出力音声の品質劣化を検出しているが、本実施例では音声合成データベース１０００に収められたデータの一部または全部を用いて、この音声合成データベース１０００を元に音声合成部１００２が出力する音響特徴パラメタ列１００に現れる音響特徴パラメタ値の傾向を予測し、声質変換パラメタの調整処理を行う点である。声質変換パラメタ調整部１０４は、例えば音声合成データベース１０００から全ての音素の素片データを１つずつ選び出し、それらの素片データを声質変換パラメタ調整部１０４に従って変換した場合に出力音声の品質が劣化するかどうかを基準に、声質変換パラメタの調整処理を行えばよい。
【００３９】
本実施の形態の上記実施の形態４に対する優位点は、本実施の形態では音声合成データベース１０００を入れ替えない限りどのようなテキスト情報１００１が入力されても、声質変換パラメタの調整処理の内容が同一で済むことである。ただし、テキスト情報１００１の内容によって音響特徴パラメタ列１００の内容が大きく異なる場合は、テキスト情報１００１の内容によって出力音声の品質が劣化する場合が有り得る。
【００４０】
なお、本実施の形態における音響特徴パラメタ列１００は直接音声合成データベース１０００から音声合成処理によって生成されるものでなくても良く、何らかの方法で生成された音響特徴パラメタ列１００の声質が、音声合成データベース１０００の内容と十分似ていれば同等の効果が得られる。
【００４１】
（実施の形態６）
本発明の実施の形態６による音声合成装置の構成を図１３に示す。この装置は、様々な声質で音声合成を行うことが可能な声質可変音声合成装置である。この構成は、上記実施の形態５と同様の効果が期待できる別の構成である。この構成と上記実施の形態５の違いは、上記実施の形態５では音声合成データベース１０００の内容を声質変換パラメタ調整部１０４が直接参照していたのに対し、本実施の形態では音声合成データベース１０００から、声質変換処理による品質劣化を検出するのに必要十分なデータのみをあらかじめ抽出した音声合成データベース特徴テーブル１２００を持ち、これを元に声質変換パラメタの調整処理を行うことである。音声合成データベース特徴テーブル１２００は、例えば音声合成データベース１０００に収められた全データの中から、各音響特徴パラメタの上限値・下限値・平均値のみを抜き出して持っておけば、声質変換パラメタ調整部１０４は出力音声の品質劣化を検出するために必要十分なデータのみを高速に参照して声質変換パラメタの調整処理を行うことができる。
【００４２】
なお、上記実施の形態５と同様に、本実施の形態においても音響特徴パラメタ列１００は直接音声合成データベース１０００から音声合成処理によって生成されるものでなくて良く、何らかの方法で生成された音響特徴パラメタ列１００の声質が、音声合成データベース特徴テーブル１２００の内容と十分合致していれば同等の効果が得られる。
【００４３】
（実施の形態７）
本発明の実施の形態７による音声合成装置の構成を図１４に示す。この装置は、テキスト情報を入力として様々な声質で音声合成を行うことが可能な声質可変音声合成装置である。この構成では、音声合成部１００２は、音声合成データベース１０００に収められたデータを特徴パラメタ変換部１０１によって声質変換処理を行った後音声合成に使用することで、声質可変音声合成を実現する。声質変換パラメタ調整部１０４による声質変換パラメタの調整は、上記実施の形態５のように音声合成データベース１０００を参照して行う。
【００４４】
本実施の形態と、上記実施の形態５のどちらの構成を取るかは、実装の容易さを鑑みて選択すればよい。
【００４５】
なお、声質変換パラメタ調整部１０４は、上記実施の形態６のように、出力される音声の品質劣化を検出するのに必要十分なデータを収めた音声合成データベース特徴テーブルを利用して声質変換パラメタの調整処理を行ってもよい。
【００４６】
（実施の形態８）
本発明の実施の形態８による声質変換装置の構成を図１５に示す。この装置は、音声波形データを入力として、変換された音声波形データを出力する声質変換装置である。この構成では、入力された音声波形１４００は音声分析部１４０１で分析され、分析結果の音響特徴パラメタ列１００が声質変換パラメタ調整部１０４及び特徴パラメタ変換部１０１の入力となる。
【００４７】
この構成によって、テキスト情報から生成する合成音のみならず、肉声の音声波形データにも、直感的に操作しやすいインタフェイスを通じて、品質劣化を防止しつつ声質変換処理を加えることが可能となる。
【００４８】
（実施の形態９）
本発明の実施の形態９による声質変換装置の構成を図１６に示す。この装置は、音声波形データを入力として、変換された音声波形データを出力する声質変換装置である。本実施の形態における構成と、上記実施の形態８における構成の違いは、声質変換パラメタ調整部が音響特徴パラメタ列１００ではなく、波形特徴テーブル１５００を参照して声質変換パラメタの調整処理を行う点である。波形特徴テーブル１５００は、例えば音声波形１４００を発声したのと同じ話者が事前に発声したサンプル音声を分析した結果から、声質変換処理による品質劣化を検出するのに必要十分なデータのみをあらかじめ抽出したものであり、例えばサンプル音声の分析結果の各音響特徴パラメタから、上限値・下限値・平均値のみを抜き出したものである。
【００４９】
なお、波形特徴テーブル１５００は複数あってもよく、例えば話者の年齢・性別などの属性によって、音声波形１４００及び音響特徴パラメタ列１００の特徴を最もよく表す波形特徴テーブル１５００を選択して使用することもできる。
【００５０】
この構成によって、声質変換パラメタ調整部１０４は音響特徴パラメタ列１００の入力に先行して声質変換パラメタの調整処理を行うことができるようになり、さらに音響特徴パラメタ列１００の特徴をコンパクトに表す波形特徴テーブル１５００の利用によって、声質変換パラメタの調整処理を高速に行うことが可能になる。
【産業上の利用可能性】
【００５１】
本発明の声質変換装置は、合成音を利用するエージェントアプリケーションやテキスト読み上げアプリケーション、声質変換機能を利用する通信装置、音声の声質エディタ装置等として有用である。
【図面の簡単な説明】
【００５２】
【図１】実施の形態１による声質変換装置の構成を示すブロック図である。
【図２】図１に示した声質変換装置の動作初期状態を表す概略図である。
【図３】図２に示した状態の後、２つの声質変換パラメタ値を操作した状態を表す概略図である。
【図４】図３に示した状態の後、さらに１つの声質変換パラメタ値を操作した際の、声質変換パラメタ調整処理を表す概略図である。
【図５】図１に示した声質変換装置で、初期状態から１つの声質変換パラメタ値を操作した状態を表す概略図である。
【図６】図５に示した状態の後、さらに１つの声質変換パラメタ値を操作した際の、声質変換パラメタ調整処理を表す概略図である。
【図７】声質変換パラメタ調整処理をＩｎｄｉｇｏアルゴリズムによって行う場合の制約グラフである。
【図８】実施の形態２による声質変換パラメタ調整コントロールの配置方法を表す概略図である。
【図９】実施の形態２による声質変換パラメタ調整コントロールの配置方法を表す概略図である。
【図１０】実施の形態３による声質変換パラメタ調整コントロールの配置方法と動作例を表す概略図である。
【図１１】実施の形態４による声質可変音声合成装置の構成を示すブロック図である。
【図１２】実施の形態５による声質可変音声合成装置の構成を示すブロック図である。
【図１３】実施の形態６による声質可変音声合成装置の構成を示すブロック図である。
【図１４】実施の形態７による声質可変音声合成装置の構成を示すブロック図である。
【図１５】実施の形態８による声質変換装置の構成を示すブロック図である。
【図１６】実施の形態９による声質変換装置の構成を示すブロック図である。
【符号の説明】
【００５３】
１００  音響特徴パラメタ列
１０１  特徴パラメタ変換部
１０２  変換済み音響特徴パラメタ列
１０３  声質変換制御部
１０４  声質変換パラメタ調整部
１０５  声質変換パラメタデータベース
１０６  音声合成パラメタ限界値データベース
８００  声質変換パラメタ間の相互距離表
８０１  声質変換制御部への、声質変換パラメタ調整コントロールの配置例
９００  声質変換制御部への、声質変換パラメタ調整コントロールの配置例
９０１  声質変換制御部へ配置された声質変換パラメタ調整コントロールの動作例
１０００  音声合成データベース
１００１  テキスト情報
１００２  音声合成部
１００３  波形生成部
１００４  合成音波形
１００５  スピーカ装置
１２００  音声合成データベース特徴テーブル
１４００  音声波形
１４０１  音声分析部
ｔ１〜ｔ８  図７の制約グラフにおける、制約充足計算の途中結果を保持する変数
Ｃ１〜Ｃ１５  図７の制約グラフにおける各制約条件
【図１】
2007041012.tif 000003
【図２】
2007041012.tif 000004
【図３】
2007041012.tif 000005
【図４】
2007041012.tif 000006
【図５】
2007041012.tif 000007
【図６】
2007041012.tif 000008
【図７】
2007041012.tif 000009
【図８】
2007041012.tif 000010
【図９】
2007041012.tif 000011
【図１０】
2007041012.tif 000012
【図１１】
2007041012.tif 000013
【図１２】
2007041012.tif 000014
【図１３】
2007041012.tif 000015
【図１４】
2007041012.tif 000016
【図１５】
2007041012.tif 000017
【図１６】
2007041012.tif 000018