(57)【特許請求の範囲】
【請求項１】
入力音声信号から周波数スペクトルに関する入力フレームデータを抽出する入力フレームデータ抽出手段と、
前記入力音声信号から特徴ベクトルを抽出する特徴分析手段と、
前記特徴ベクトルを予め決められたアルゴリズムにより解析して、音声変換対象となるターゲット音声のピッチおよび音素の時間的変化が規定されたターゲット挙動データと対応付けて、前記入力フレームデータに対応する前記ターゲット挙動データにおける時間的位置を判別するアライメント処理手段と、
前記アライメント処理手段によって判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素が安定状態、あるいは、第１の音素から第２の音素に遷移する途中である遷移状態のいずれにあるかを判別する状態判別手段と、
前記状態判別手段によって前記音素が遷移状態にあると判別された場合に、音素毎に複数のピッチに対応したスペクトル・シェイプを有するターゲット音素辞書のスペクトル・シェイプのうち、前記アライメント処理手段によって判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素について、前記第１の音素に対応する二つのスペクトル・シェイプであって当該時間的位置の前記ターゲット挙動データにおけるターゲット音声のピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第１の音素のスペクトル・シェイプを算出し、前記第２の音素に対応する二つのスペクトル・シェイプであって当該時間的位置の前記ターゲット挙動データにおけるターゲット音声のピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第２の音素のスペクトル・シェイプを算出し、前記第１の音素のスペクトル・シェイプと前記第２の音素のスペクトル・シェイプとを用いて前記入力フレームデータに対応するスペクトル・シェイプを算出するスペクトル・シェイプ補間手段と、
前記スペクトル・シェイプ補間手段によって算出されたスペクトル・シェイプに基づいて変換音声信号を生成し出力する変換音声信号生成手段と
を備えたことを特徴とする音声変換装置。
【請求項２】
入力音声信号から周波数スペクトルに関する入力フレームデータを抽出する入力フレームデータ抽出手段と、
前記入力音声信号から特徴ベクトルを抽出する特徴分析手段と、
前記特徴ベクトルを予め決められたアルゴリズムにより解析して、音声変換対象となるターゲット音声のピッチおよび音素の時間的変化が規定されたターゲット挙動データと対応付けて、前記入力フレームデータに対応する前記ターゲット挙動データにおける時間的位置を判別するアライメント処理手段と、
前記アライメント処理手段によって判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素が安定状態、あるいは、第１の音素から第２の音素に遷移する途中である遷移状態のいずれにあるかを判別する状態判別手段と、
前記状態判別手段によって前記音素が遷移状態にあると判別された場合に、音素毎に複数のピッチに対応したスペクトル・シェイプを有するターゲット音素辞書のスペクトル・シェイプのうち、前記アライメント処理手段によって判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素について、前記第１の音素に対応する二つのスペクトル・シェイプであって前記入力フレームデータから得られるピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第１の音素のスペクトル・シェイプを算出し、前記第２の音素に対応する二つのスペクトル・シェイプであって前記入力フレームデータから得られるピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第２の音素のスペクトル・シェイプを算出し、前記第１の音素のスペクトル・シェイプと前記第２の音素のスペクトル・シェイプとを用いて前記入力フレームデータに対応するスペクトル・シェイプを算出するスペクトル・シェイプ補間手段と、
前記スペクトル・シェイプ補間手段によって算出されたスペクトル・シェイプに基づいて変換音声信号を生成し出力する変換音声信号生成手段と
を備えたことを特徴とする音声変換装置。
【請求項３】
請求項１または請求項２に記載の音声変換装置において、
前記スペクトル・シェイプ補間手段は、二つのスペクトル・シェイプを用いて補間を行うに際し、前記二つのスペクトル・シェイプ間における遷移関数を用いて補間処理を行う
ことを特徴とする音声変換装置。
【請求項４】
請求項３に記載の音声変換装置において、
前記遷移関数は、線形関数あるいは非線形関数として予め定義されている
ことを特徴とする音声変換装置。
【請求項５】
請求項３に記載の音声変換装置において、
前記二つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域毎に前記遷移関数を定める
ことを特徴とする音声変換装置。
【請求項６】
請求項３に記載の音声変換装置において、
前記スペクトル・シェイプ補間手段は、前記第２の音素に対応させて前記遷移関数を定める
ことを特徴とする音声変換装置。
【請求項７】
請求項３記載の音声変換装置において、
前記スペクトル・シェイプ補間手段は、前記二つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域に属する前記二つのスペクトル・シェイプ上の実在の周波数およびマグニチュードの組に対し、前記遷移関数としての線形関数を用いた補間処理を前記複数の領域にわたって行う
ことを特徴とする音声変換装置。
【請求項８】
請求項７に記載の音声変換装置において、
前記スペクトル・シェイプ補間手段は、
前記各領域に属する一方のスペクトル・シェイプの周波数である第１周波数及び当該第１周波数に対応する他方のスペクトル・シェイプの周波数である第２周波数を前記線形関数を用いて補間することにより補間周波数を算出する周波数補間手段と、
前記各領域に属する一方のスペクトル・シェイプのマグニチュードである第１マグニチュードおよび当該第１マグニチュードに対応する他方のスペクトル・シェイプのマグニチュードである第２マグニチュードを前記線形関数を用いて補間するマグニチュード補間手段と
を備えた
ことを特徴とする音声変換装置。
【請求項９】
請求項１に記載の音声変換装置において、
前記ターゲット挙動データには、さらにターゲット音声のアンプリチュードの時間的変化が規定され、
前記アライメント処理手段によって判別された前記ターゲット挙動データにおける時間的位置のアンプリチュードに応じて、前記スペクトル・シェイプ補間手段によって算出されたスペクトル・シェイプのスペクトル傾きを補正するスペクトル傾き補正手段
を備え、
前記変換音声信号生成手段は、前記スペクトル傾き補正手段によってスペクトルの傾きが補正されたスペクトル・シェイプに基づいて変換音声信号を生成し出力する
ことを特徴とする音声変換装置。
【請求項１０】
請求項２に記載の音声変換装置において、
前記スペクトル・シェイプ補間手段によって算出されたスペクトル・シェイプのスペクトル傾きと、前記入力フレームデータから得られるスペクトル・シェイプのスペクトル傾きとの比較結果に応じて、前記スペクトル・シェイプ補間手段によって算出されたスペクトル・シェイプのスペクトル傾きを補正するスペクトル傾き補正手段
を備えた
ことを特徴とする音声変換装置。
【請求項１１】
入力音声信号から周波数スペクトルに関する入力フレームデータを抽出する入力フレームデータ抽出過程と、
前記入力音声信号から特徴ベクトルを抽出する特徴分析過程と、
前記特徴ベクトルを予め決められたアルゴリズムにより解析して、音声変換対象となるターゲット音声のピッチおよび音素の時間的変化が規定されたターゲット挙動データと対応付けて、前記入力フレームデータに対応する前記ターゲット挙動データにおける時間的位置を判別するアライメント処理過程と、
前記アライメント処理過程において判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素が安定状態、あるいは、第１の音素から第２の音素に遷移する途中である遷移状態のいずれにあるかを判別する状態判別過程と、
前記状態判別過程において前記音素が遷移状態にあると判別された場合に、音素毎に複数のピッチに対応したスペクトル・シェイプを有するターゲット音素辞書のスペクトル・シェイプのうち、前記アライメント処理過程において判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素について、前記第１の音素に対応する二つのスペクトル・シェイプであって当該時間的位置の前記ターゲット挙動データにおけるターゲット音声のピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第１の音素のスペクトル・シェイプを算出し、前記第２の音素に対応する二つのスペクトル・シェイプであって当該時間的位置の前記ターゲット挙動データにおけるターゲット音声のピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第２の音素のスペクトル・シェイプを算出し、前記第１の音素のスペクトル・シェイプと前記第２の音素のスペクトル・シェイプとを用いて前記入力フレームデータに対応するスペクトル・シェイプを算出するスペクトル・シェイプ補間過程と、
前記スペクトル・シェイプ補間過程において算出されたスペクトル・シェイプに基づいて変換音声信号を生成し出力する変換音声信号生成過程と
を備えたことを特徴とする音声変換方法。
【請求項１２】
入力音声信号から周波数スペクトルに関する入力フレームデータを抽出する入力フレームデータ抽出過程と、
前記入力音声信号から特徴ベクトルを抽出する特徴分析過程と、
前記特徴ベクトルを予め決められたアルゴリズムにより解析して、音声変換対象となるターゲット音声のピッチおよび音素の時間的変化が規定されたターゲット挙動データと対応付けて、前記入力フレームデータに対応する前記ターゲット挙動データにおける時間的位置を判別するアライメント処理過程と、
前記アライメント処理過程において判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素が安定状態、あるいは、第１の音素から第２の音素に遷移する途中である遷移状態のいずれにあるかを判別する状態判別過程と、
前記状態判別過程において前記音素が遷移状態にあると判別された場合に、音素毎に複数のピッチに対応したスペクトル・シェイプを有するターゲット音素辞書のスペクトル・シェイプのうち、前記アライメント処理過程において判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素について、前記第１の音素に対応する二つのスペクトル・シェイプであって前記入力フレームデータから得られるピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行い、うことによって前記第１の音素のスペクトル・シェイプを算出し、前記第２の音素に対応する二つのスペクトル・シェイプであって前記入力フレームデータから得られるピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第２の音素のスペクトル・シェイプを算出し、前記第１の音素のスペクトル・シェイプと前記第２の音素のスペクトル・シェイプとを用いて前記入力フレームデータに対応するスペクトル・シェイプを算出するスペクトル・シェイプ補間過程と、
前記スペクトル・シェイプ補間過程において算出されたスペクトル・シェイプに基づいて変換音声信号を生成し出力する変換音声信号生成過程と
を備えたことを特徴とする音声変換方法。
【請求項１３】
請求項１１または請求項１２に記載の音声変換方法において、
前記スペクトル・シェイプ補間過程は、二つのスペクトル・シェイプを用いて補間を行うに際し、前記二つのスペクトル・シェイプ間における遷移関数を用いて補間処理を行う
ことを特徴とする音声変換方法。
【請求項１４】
請求項１３に記載の音声変換方法において、
前記遷移関数は、線形関数あるいは非線形関数として予め定義されている
ことを特徴とする音声変換方法。
【請求項１５】
請求項１３に記載の音声変換方法において、
前記二つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域毎に前記遷移関数を定める
ことを特徴とする音声変換方法。
【請求項１６】
請求項１３に記載の音声変換方法において、
前記スペクトル・シェイプ補間過程は、前記第２の音素に対応させて前記遷移関数を定める
ことを特徴とする音声変換方法。
【請求項１７】
請求項１３に記載の音声変換方法において、
前記スペクトル・シェイプ補間過程は、前記二つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域に属する前記二つのスペクトル・シェイプ上の実在の周波数およびマグニチュードの組に対し、前記遷移関数としての線形関数を用いた補間処理を前記複数の領域にわたって行う
ことを特徴とする音声変換方法。
【請求項１８】
請求項１７に記載の音声変換方法において、
前記スペクトル・シェイプ補間過程は、
前記各領域に属する一方のスペクトル・シェイプの周波数である第１周波数及び当該第１周波数に対応する他方のスペクトル・シェイプの周波数である第２周波数を前記線形関数を用いて補間することにより補間周波数を算出する周波数補間過程と、
前記各領域に属する一方のスペクトル・シェイプのマグニチュードである第１マグニチュードおよび当該第１マグニチュードに対応する他方のスペクトル・シェイプのマグニチュードである第２マグニチュードを前記線形関数を用いて補間するマグニチュード補間過程と
を備えた
ことを特徴とする音声変換方法。
【請求項１９】
請求項１１に記載の音声変換方法において、
前記ターゲット挙動データには、さらにターゲット音声のアンプリチュードの時間的変化が規定され、
前記アライメント処理過程において判別された前記ターゲット挙動データにおける時間的位置のアンプリチュードに応じて、前記スペクトル・シェイプ補間過程において算出されたスペクトル・シェイプのスペクトル傾きを補正するスペクトル傾き補正過程
を備え、
前記変換音声信号生成過程は、前記スペクトル傾き補正過程においてスペクトルの傾きが補正されたスペクトル・シェイプに基づいて変換音声信号を生成し出力する
ことを特徴とする音声変換方法。
【請求項２０】
請求項１２に記載の音声変換方法において、
前記スペクトル・シェイプ補間過程において算出されたスペクトル・シェイプのスペクトル傾きと、前記入力フレームデータから得られるスペクトル・シェイプのスペクトル傾きとの比較結果に応じて、前記スペクトル・シェイプ補間過程において算出されたスペクトル・シェイプのスペクトル傾きを補正するスペクトル傾き補正過程
を備えた
ことを特徴とする音声変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、処理対象となる音声を目標とする他の音声に近似させる音声変換装置、音声変換方法ならびに音声変換を行うに際し用いる他の音声に対応する音声変換用辞書を生成する音声変換用辞書の生成方法に係り、特にカラオケ装置に用いるのに好適な音声変換装置、音声変換方法及び音声変換用辞書の生成方法に関する。
【０００２】
【従来の技術】
入力された音声の周波数特性などを変えて出力する音声変換装置は種々開発されており、例えば、カラオケ装置の中には、歌い手の歌った歌声のピッチを変換して、男性の声を女性の声に、あるいはその逆に変換させるものもある（例えば、特表平８−５０８５８１号）。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の音声変換装置においては、音声の変換（例えば、男声→女声、女声→男声など）は行われるものの、単に声質を変えるだけに止まっていたので、例えば、特定の歌唱者（例えば、プロの歌手）の声に似せるように変換するということはできなかった。
また、声質だけでなく、歌い方までも特定の歌唱者に似させるという、ものまねのような機能があれば、カラオケ装置などにおいては大変に面白いが、従来の音声変換装置ではこのような処理は不可能であった。
【０００４】
そこで、発明者らは、声質を目標（ターゲット）とする歌唱者（ターゲット歌唱者）の声に似させるために、ターゲット歌唱者の音声を分析し、得られた分析データである正弦波成分属性ピッチ、アンプリチュード、スペクトル・シェイプ及び残差成分を１曲分全てのフレームについてターゲットフレームデータとして保持し、入力音声を分析して得られる入力ターゲットフレームデータとの同期をとって、変換処理を行うことによりターゲット歌唱者の声に似せるように変換を行う音声変換装置を提案している（特願平１０−１８３３３８号等参照）。
上記音声変換装置は、声質だけでなく、歌い方までも特定の歌唱者に似させることができるが、ターゲット歌唱者の分析データが一曲毎に必要となり、複数の曲の分析データを記憶させるような場合には、データ量が膨大になってしまうという不具合があった。
【０００５】
そこで、本発明の目的は、入力された歌唱者の音声を目標とする歌唱者の歌い方に似せることができるとともに、ターゲット歌唱者の分析データの容量を低減することが可能な音声変換装置、音声変換方法および音声変換用辞書の生成方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の構成は、入力音声信号から周波数スペクトルに関する入力フレームデータを抽出する入力フレームデータ抽出手段と、前記入力音声信号から特徴ベクトルを抽出する特徴分析手段と、前記特徴ベクトルを予め決められたアルゴリズムにより解析して、音声変換対象となるターゲット音声のピッチおよび音素の時間的変化が規定されたターゲット挙動データと対応付けて、前記入力フレームデータに対応する前記ターゲット挙動データにおける時間的位置を判別するアライメント処理手段と、前記アライメント処理手段によって判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素が安定状態、あるいは、第１の音素から第２の音素に遷移する途中である遷移状態のいずれにあるかを判別する状態判別手段と、前記状態判別手段によって前記音素が遷移状態にあると判別された場合に、音素毎に複数のピッチに対応したスペクトル・シェイプを有するターゲット音素辞書のスペクトル・シェイプのうち、前記アライメント処理手段によって判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素について、前記第１の音素に対応する二つのスペクトル・シェイプであって当該時間的位置の前記ターゲット挙動データにおけるターゲット音声のピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第１の音素のスペクトル・シェイプを算出し、前記第２の音素に対応する二つのスペクトル・シェイプであって当該時間的位置の前記ターゲット挙動データにおけるターゲット音声のピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第２の音素のスペクトル・シェイプを算出し、前記第１の音素のスペクトル・シェイプと前記第２の音素のスペクトル・シェイプとを用いて前記入力フレームデータに対応するスペクトル・シェイプを算出するスペクトル・シェイプ補間手段と、前記スペクトル・シェイプ補間手段によって算出されたスペクトル・シェイプに基づいて変換音声信号を生成し出力する変換音声信号生成手段とを備えたことを特徴としている。
【０００７】
請求項２に記載の構成は、入力音声信号から周波数スペクトルに関する入力フレームデータを抽出する入力フレームデータ抽出手段と、前記入力音声信号から特徴ベクトルを抽出する特徴分析手段と、前記特徴ベクトルを予め決められたアルゴリズムにより解析して、音声変換対象となるターゲット音声のピッチおよび音素の時間的変化が規定されたターゲット挙動データと対応付けて、前記入力フレームデータに対応する前記ターゲット挙動データにおける時間的位置を判別するアライメント処理手段と、前記アライメント処理手段によって判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素が安定状態、あるいは、第１の音素から第２の音素に遷移する途中である遷移状態のいずれにあるかを判別する状態判別手段と、前記状態判別手段によって前記音素が遷移状態にあると判別された場合に、音素毎に複数のピッチに対応したスペクトル・シェイプを有するターゲット音素辞書のスペクトル・シェイプのうち、前記アライメント処理手段によって判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素について、前記第１の音素に対応する二つのスペクトル・シェイプであって前記入力フレームデータから得られるピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第１の音素のスペクトル・シェイプを算出し、前記第２の音素に対応する二つのスペクトル・シェイプであって前記入力フレームデータから得られるピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第２の音素のスペクトル・シェイプを算出し、前記第１の音素のスペクトル・シェイプと前記第２の音素のスペクトル・シェイプとを用いて前記入力フレームデータに対応するスペクトル・シェイプを算出するスペクトル・シェイプ補間手段と、前記スペクトル・シェイプ補間手段によって算出されたスペクトル・シェイプに基づいて変換音声信号を生成し出力する変換音声信号生成手段とを備えたことを特徴としている。
【００１３】
請求項３に記載の構成は、請求項１または請求項２に記載の音声変換装置において、前記スペクトル・シェイプ補間手段は、二つのスペクトル・シェイプを用いて補間を行うに際し、前記二つのスペクトル・シェイプ間における遷移関数を用いて補間処理を行うことを特徴としている。
【００１４】
請求項４に記載の構成は、請求項３に記載の音声変換装置において、前記遷移関数は、線形関数あるいは非線形関数として予め定義されていることを特徴としている。
【００１５】
請求項５に記載の構成は、請求項３に記載の音声変換装置において、前記二つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域毎に前記遷移関数を定めることを特徴としている。
【００１６】
請求項６に記載の構成は、請求項３に記載の音声変換装置において、前記スペクトル・シェイプ補間手段は、前記第２の音素に対応させて前記遷移関数を定めることを特徴としている。
【００１８】
請求項７に記載の構成は、請求項３記載の音声変換装置において、前記スペクトル・シェイプ補間手段は、前記二つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域に属する前記二つのスペクトル・シェイプ上の実在の周波数およびマグニチュードの組に対し、前記遷移関数としての線形関数を用いた補間処理を前記複数の領域にわたって行うことを特徴としている。
【００１９】
請求項８に記載の構成は、請求項７に記載の音声変換装置において、前記スペクトル・シェイプ補間手段は、前記各領域に属する一方のスペクトル・シェイプの周波数である第１周波数及び当該第１周波数に対応する他方のスペクトル・シェイプの周波数である第２周波数を前記線形関数を用いて補間することにより補間周波数を算出する周波数補間手段と、前記各領域に属する一方のスペクトル・シェイプのマグニチュードである第１マグニチュードおよび当該第１マグニチュードに対応する他方のスペクトル・シェイプのマグニチュードである第２マグニチュードを前記線形関数を用いて補間するマグニチュード補間手段とを備えたことを特徴としている。
【００２０】
請求項９に記載の構成は、請求項１に記載の音声変換装置において、前記ターゲット挙動データには、さらにターゲット音声のアンプリチュードの時間的変化が規定され、前記アライメント処理手段によって判別された前記ターゲット挙動データにおける時間的位置のアンプリチュードに応じて、前記スペクトル・シェイプ補間手段によって算出されたスペクトル・シェイプのスペクトル傾きを補正するスペクトル傾き補正手段を備え、前記変換音声信号生成手段は、前記スペクトル傾き補正手段によってスペクトルの傾きが補正されたスペクトル・シェイプに基づいて変換音声信号を生成し出力することを特徴としている。
【００２１】
請求項１０に記載の構成は、請求項２に記載の音声変換装置において、前記スペクトル・シェイプ補間手段によって算出されたスペクトル・シェイプのスペクトル傾きと、前記入力フレームデータから得られるスペクトル・シェイプのスペクトル傾きとの比較結果に応じて、前記スペクトル・シェイプ補間手段によって算出されたスペクトル・シェイプのスペクトル傾きを補正するスペクトル傾き補正手段を備えたことを特徴としている。
【００２２】
請求項１１の構成は、入力音声信号から周波数スペクトルに関する入力フレームデータを抽出する入力フレームデータ抽出過程と、前記入力音声信号から特徴ベクトルを抽出する特徴分析過程と、前記特徴ベクトルを予め決められたアルゴリズムにより解析して、音声変換対象となるターゲット音声のピッチおよび音素の時間的変化が規定されたターゲット挙動データと対応付けて、前記入力フレームデータに対応する前記ターゲット挙動データにおける時間的位置を判別するアライメント処理過程と、前記アライメント処理過程において判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素が安定状態、あるいは、第１の音素から第２の音素に遷移する途中である遷移状態のいずれにあるかを判別する状態判別過程と、前記状態判別過程において前記音素が遷移状態にあると判別された場合に、音素毎に複数のピッチに対応したスペクトル・シェイプを有するターゲット音素辞書のスペクトル・シェイプのうち、前記アライメント処理過程において判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素について、前記第１の音素に対応する二つのスペクトル・シェイプであって当該時間的位置の前記ターゲット挙動データにおけるターゲット音声のピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第１の音素のスペクトル・シェイプを算出し、前記第２の音素に対応する二つのスペクトル・シェイプであって当該時間的位置の前記ターゲット挙動データにおけるターゲット音声のピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第２の音素のスペクトル・シェイプを算出し、前記第１の音素のスペクトル・シェイプと前記第２の音素のスペクトル・シェイプとを用いて前記入力フレームデータに対応するスペクトル・シェイプを算出するスペクトル・シェイプ補間過程と、前記スペクトル・シェイプ補間過程において算出されたスペクトル・シェイプに基づいて変換音声信号を生成し出力する変換音声信号生成過程とを備えたことを特徴としている。
【００２３】
請求項１２に記載の構成は、入力音声信号から周波数スペクトルに関する入力フレームデータを抽出する入力フレームデータ抽出過程と、前記入力音声信号から特徴ベクトルを抽出する特徴分析過程と、前記特徴ベクトルを予め決められたアルゴリズムにより解析して、音声変換対象となるターゲット音声のピッチおよび音素の時間的変化が規定されたターゲット挙動データと対応付けて、前記入力フレームデータに対応する前記ターゲット挙動データにおける時間的位置を判別するアライメント処理過程と、前記アライメント処理過程において判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素が安定状態、あるいは、第１の音素から第２の音素に遷移する途中である遷移状態のいずれにあるかを判別する状態判別過程と、前記状態判別過程において前記音素が遷移状態にあると判別された場合に、音素毎に複数のピッチに対応したスペクトル・シェイプを有するターゲット音素辞書のスペクトル・シェイプのうち、前記アライメント処理過程において判別された時間的位置の前記ターゲット挙動データにおけるターゲット音声の音素について、前記第１の音素に対応する二つのスペクトル・シェイプであって前記入力フレームデータから得られるピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行い、うことによって前記第１の音素のスペクトル・シェイプを算出し、前記第２の音素に対応する二つのスペクトル・シェイプであって前記入力フレームデータから得られるピッチに近い二つのピッチに対応する二つのスペクトル・シェイプを用いて補間処理を行うことによって前記第２の音素のスペクトル・シェイプを算出し、前記第１の音素のスペクトル・シェイプと前記第２の音素のスペクトル・シェイプとを用いて前記入力フレームデータに対応するスペクトル・シェイプを算出するスペクトル・シェイプ補間過程と、前記スペクトル・シェイプ補間過程において算出されたスペクトル・シェイプに基づいて変換音声信号を生成し出力する変換音声信号生成過程とを備えたことを特徴としている。
【００２７】
請求項１３に記載の構成は、請求項１１または請求項１２に記載の音声変換方法において、前記スペクトル・シェイプ補間過程は、二つのスペクトル・シェイプを用いて補間を行うに際し、前記二つのスペクトル・シェイプ間における遷移関数を用いて補間処理を行うことを特徴としている。
【００２８】
請求項１４に記載の構成は、請求項１３に記載の音声変換方法において、前記遷移関数は、線形関数あるいは非線形関数として予め定義されていることを特徴としている。
【００２９】
請求項１５に記載の構成は、請求項１３に記載の音声変換方法において、前記二つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域毎に前記遷移関数を定めることを特徴としている。
【００３０】
請求項１６に記載の構成は、請求項１３に記載の音声変換方法において、前記スペクトル・シェイプ補間過程は、前記第２の音素に対応させて前記遷移関数を定めることを特徴としている。
【００３２】
請求項１７に記載の構成は、請求項１３に記載の音声変換方法において、前記スペクトル・シェイプ補間過程は、前記二つのスペクトル・シェイプを周波数軸上でそれぞれ複数の領域に分け、各領域に属する前記二つのスペクトル・シェイプ上の実在の周波数およびマグニチュードの組に対し、前記遷移関数としての線形関数を用いた補間処理を前記複数の領域にわたって行うことを特徴としている。
【００３３】
請求項１８に記載の構成は、請求項１７に記載の音声変換方法において、前記スペクトル・シェイプ補間過程は、前記各領域に属する一方のスペクトル・シェイプの周波数である第１周波数及び当該第１周波数に対応する他方のスペクトル・シェイプの周波数である第２周波数を前記線形関数を用いて補間することにより補間周波数を算出する周波数補間過程と、前記各領域に属する一方のスペクトル・シェイプのマグニチュードである第１マグニチュードおよび当該第１マグニチュードに対応する他方のスペクトル・シェイプのマグニチュードである第２マグニチュードを前記線形関数を用いて補間するマグニチュード補間過程とを備えたことを特徴としている。
【００３４】
請求項１９に記載の構成は、請求項１１に記載の音声変換方法において、前記ターゲット挙動データには、さらにターゲット音声のアンプリチュードの時間的変化が規定され、前記アライメント処理過程において判別された前記ターゲット挙動データにおける時間的位置のアンプリチュードに応じて、前記スペクトル・シェイプ補間過程において算出されたスペクトル・シェイプのスペクトル傾きを補正するスペクトル傾き補正過程を備え、前記変換音声信号生成過程は、前記スペクトル傾き補正過程においてスペクトルの傾きが補正されたスペクトル・シェイプに基づいて変換音声信号を生成し出力することを特徴としている。
【００３５】
請求項２０に記載の構成は、請求項１２に記載の音声変換方法において、前記スペクトル・シェイプ補間過程において算出されたスペクトル・シェイプのスペクトル傾きと、前記入力フレームデータから得られるスペクトル・シェイプのスペクトル傾きとの比較結果に応じて、前記スペクトル・シェイプ補間過程において算出されたスペクトル・シェイプのスペクトル傾きを補正するスペクトル傾き補正過程を備えたことを特徴としている。
【００３７】
【発明の実施の形態】
次に図面を参照して本発明の好適な実施形態について説明する。
［Ａ］  第１実施形態
まず、本発明の第１実施形態について説明する。
［１］  音声変換装置の全体構成
図１に実施形態の音声変換装置（音声変換方法）をカラオケ装置に適用し、ものまねを行うことができるカラオケ装置として構成した場合の例である。
音声変換装置１０は、歌唱者の音声が入力され、歌唱信号を出力する歌唱信号入力部１１と、予め定めたコードブックに基づいて歌唱信号から各種特徴ベクトルを抽出する認識特徴分析部１２と、歌唱信号のＳＭＳ（Spectral Modeling Synthesis）分析を行って入力ＳＭＳフレームデータおよび有声／無声情報を出力するＳＭＳ分析部１３と、各種コードブックおよび各音素の隠れマルコフモデル（ＨＭＭ）を予め記憶した認識用音素辞書記憶部１４と、曲に依存したターゲット挙動データを記憶するターゲット挙動データ記憶部１５と、キー情報、テンポ情報、似具合パラメータ、変換パラメータなどの各種パラメータを制御するためのパラメータコントロール部１６と、ターゲット挙動データ記憶部に記憶されたターゲット挙動データ、キー情報およびテンポ情報に基づいてデータ変換を行い、変換された持続時間付音素表記情報、ピッチ情報およびアンプリチュード（振幅）情報を生成し出力するデータ変換部１７と、を備えて構成されている。
【００３８】
また、音声変換装置１０は、抽出された特徴ベクトル、各音素のＨＭＭおよび持続時間付音素表記情報に基づいて歌唱者が対象としている曲中のどの部分を歌っているかをビタビアルゴリズムを用いて求め、アライメント情報（＝ターゲット歌手が歌うべき曲中の歌唱位置および音素）を検出するアライメント処理部１８と、ターゲット歌手に依存するスペクトル・シェイプ情報を記憶するターゲット音素辞書記憶部１９と、アライメント情報、ターゲット挙動データのピッチ情報、ターゲット挙動データのアンプリチュード情報、入力ＳＭＳフレームデータおよびターゲット音素辞書のスペクトル・シェイプ情報に基づいてターゲットのフレームデータ（以下、ターゲットフレームデータという。）ＴＧＦＬを生成し出力するターゲット・デコーダ部２０と、パラメータコントロール部１６から入力される似具合パラメータ、ターゲットフレームデータＴＧＦＬおよびＳＭＳフレームデータＦSMSに基づいてモーフィング処理を行い、モーフィングフレームデータＭＦＬを出力するモーフィング処理部２１と、モーフィングフレームデータＭＦＬおよびパラメータコントロール部１６より入力された変換パラメータに基づいて変換処理を行い、変換フレームデータＭＭＦＬを出力する変換処理部２２と、を備えて構成されている。
【００３９】
さらに、音声変換装置１０は、変換フレームデータＭＭＦＬのＳＭＳ合成を行い、変換音声信号である波形信号ＳWAVを出力するＳＭＳ合成部２３と、ＳＭＳ分析部１３からの有声／無声情報に基づいて波形信号ＳWAVあるいは入力された歌唱信号ＳVのいずれかを選択的に出力する選択部２４と、パラメータコントロール部１６からのキー情報およびテンポ情報に基づいて音源部２５を駆動するシーケンサ２６と、選択部２４から出力された波形信号ＳWAVあるいは歌唱信号ＳVと音源部２５からの出力信号であるミュージック信号ＳMSCを加算して出力する加算部２７と、加算部２７の出力信号を増幅等行ってカラオケ信号として出力する出力部２８と、を備えて構成されている。
【００４０】
ここで、音声変換装置の各部の構成の説明に先立ち、ＳＭＳ分析について説明する。
ＳＭＳ分析では、まず標本化された音声波形に窓関数を乗じた音声波形（Frame）を切り出し、高速フーリエ変換（FFT）を行って得られる周波数スペクトルから、正弦波成分と残差成分とを抽出する。
この場合において、正弦波成分とは、基本周波数（Pitch）および基本周波数の倍数にあたる周波数（倍音）の成分をいう。
そして、正弦波成分として本実施形態では、基本周波数、各成分の平均アンプリチュードおよびスペクトル包絡をエンベロープとして保持する。
また、残差成分とは、入力信号から正弦波成分を除いた成分であり、本実施形態では周波数領域のデータとして保持する。
さらに得られた正弦波成分および残差成分で示される周波数分析データは、フレーム単位で記憶されることとなる。このとき、フレーム間の時間間隔は固定（例えば、５ｍｓ）となっているので、フレームをカウントすることによって時間を特定することができるようになっている。さらに各フレームには曲の冒頭からの経過時間に相当するタイムスタンプが付されている。
【００４１】
［２］  音声変換装置の各部の構成
［２．１］  認識用音素辞書記憶部
認識用音素辞書記憶部１４は、コードブック及び音素の隠れマルコフモデルを記憶している。
記憶しているコードブックは、歌唱信号を各種特徴ベクトル（より具体的には、メルケプストラム、差分メルケプストラム、エネルギー、差分エネルギー、ボイスネス（有声音尤度））にベクトル量子化するために用いられる。
また、本音声変換装置においては、アライメント処理を行うために音声認識の一手法である隠れマルコフモデル（ＨＭＭ）を用いており、ＨＭＭパラメータ（初期状態分布、状態遷移確率行列、観測シンボル確率行列）を各音素（/a/、/i/等）について求めたものが記憶されている。
【００４２】
［２．２］  ターゲット挙動データ記憶部
ターゲット挙動データ記憶部１５はターゲット挙動データを記憶しており、このターゲット挙動データは、音声変換を行う曲それぞれに対応した曲依存のデータである。
具体的には、対象となる曲を物まねの対象となるターゲット歌手が歌ったものから、ピッチ、アンプリチュードの時間的変化を抽出したもの（なお、これらを静的変化成分、ビブラート的変化成分に分離して抽出しておくと、後処理の自由度がより高くなる）および対象となる曲の歌詞に基づいて歌詞を音素列の並びに置き換えた音素表記に持続時間を含めた持続時間付音素表記が含まれる。
例えば、持続時間付音素表記は、音素表記/n//a//k//i/……に対し、各々の持続時間、すなわち、/n/の持続時間、/a/の持続時間、/k/の持続時間、/i/の持続時間、……が含められる。
【００４３】
［２．３］  ターゲット音素辞書記憶部
ターゲット音素辞書記憶部は、物まね対象となるターゲット歌手の各音素に対応したスペクトル情報であるターゲット音素辞書を記憶しており、ターゲット音素辞書には、何種類かのピッチに対応したスペクトル・シェイプおよびスペクトル補間を行うためのアンカーポイント情報が含まれている。
ここで、ターゲット音素辞書記憶部１９に記憶されている音声変換用辞書としてのターゲット音素辞書の作成について図２及び図３を参照して説明する。
［２．３．１］  ターゲット音素辞書
ターゲット音素辞書は、各音素毎にいくつかのピッチに対応してスペクトル・シェイプと、アンカーポイント情報を有している。
図２にターゲット音素辞書の説明図を示す。
図２（ｂ）、（ｃ）、（ｄ）は、ある音素におけるピッチｆ0i+1、ｆ0i、ｆ0i-1にそれぞれ対応するスペクトル・シェイプを示したものであり、一つの音素に対して複数の（上述の例の場合、３個）スペクトル・シェイプがターゲット音素辞書には含まれる。このように複数のピッチに対応したスペクトル・シェイプをターゲット音素辞書として持つ理由は、一般的に同一人物が同一の音素を発声したとしても、ピッチに応じてスペクトル・シェイプの形状は多少変化するものだからである。
また、図２（ｂ）、（ｃ）、（ｄ）中、点線は周波数軸上で複数の領域に分ける際の境界線であり、各領域の境界の周波数がアンカーポイントであり、アンカーポイント情報として当該周波数がターゲット音素辞書に含まれている。
【００４４】
［２．３．２］  ターゲット音素辞書の作成
次にターゲット音素辞書の作成について説明する。
まず、ターゲット歌手がそれぞれの音素について出しうる一番低いピッチから一番高いピッチまで、連続して発生したものを録音する。
より具体的には図２（ａ）のように、時間とともにピッチをあげていくように発声する。
このように録音を行う理由は、より正確なスペクトル・シェイプを算出するためである。
すなわち、ある固定ピッチで発生したサンプルから分析して求めたスペクトル・シェイプには、実際に存在するフォルマントが必ずしも現れるとは限らないからである。従って、求めるスペクトル・シェイプに正確にフォルマントが現れるようにするために、あるピッチの前後で同じスペクトル・シェイプとみなせる範囲内の分析結果の全てを用いる必要がある。
【００４５】
同じスペクトル・シェイプと見なせるピッチの周波数範囲を同じセグメントであるとすると、ｉ番目のセグメントの中心周波数ｆ0iは、
【数１】
0004430174.tif 000002
ここで、ｆi(low)、ｆi(high)は、ある音素のｉ番目のセグメントの境界のピッチ周波数であり、ｆi(low)が低ピッチ側のピッチ周波数を表し、ｆi(high)が高ピッチ側のピッチ周波数を表す。
同じセグメントとみなせるピッチにおけるスペクトル・シェイプの全ての値（周波数及びマグニチュードの組）を一つにまとめる。
より具体的には、例えば、図３（ａ）に示すように、同じセグメントとみなせるピッチにおけるスペクトル・シェイプを同一の周波数軸／マグニチュード軸上にプロットする。
次に周波数軸上で周波数範囲［０，ｆS／２］を等間隔（例えば３０［Ｈｚ］）に分割する。ここで、ｆSは、サンプリング周波数である。
【００４６】
このときの分割幅をＢＷ［Ｈｚ］、分割数をＢ（バンド番号ｂ∈［０，Ｂ−１］）とし、各分割範囲内に含まれる実際の周波数及びマグニチュードの組を
（ｘn、ｙn）
ここで、ｎ＝０、……、Ｎ−１である。
とすると、当該バンドｂの中心周波数ｆb及び平均マグニチュードＭbは、それぞれ、
【数２】
0004430174.tif 000003
と計算される。
このようにして求めた
（ｆb、Ｍb）
ここで、ｂ＝０、……、Ｂ−１である。
の組が最終的なあるピッチにおけるスペクトル・シェイプである。
【００４７】
より具体的には、図３（ａ）に示した周波数及びマグニチュードの組を用いてスペクトル・シェイプを算出した場合には、図３（ｃ）に示すようにターゲット音素辞書に格納すべき、フォルマントがはっきりと現れた良好なスペクトル・シェイプが得られる。
これに対し図３（ｂ）に示すように、同じセグメントとみなすことができないようなピッチにおけるスペクトル・シェイプの全ての値（周波数及びマグニチュードの組）を一つにまとめ、まとめた周波数及びマグニチュードの組を用いてスペクトル・シェイプを算出した場合には、図３（ｄ）に示すように、図３（ｃ）の場合と比較してフォルマントがあまりはっきりしないスペクトル・シェイプが得られることとなる。
【００４８】
［２．４］  ターゲット・デコーダ部
［２．４．１］  ターゲット・デコーダ部の構成
図４にターゲット・デコーダ部の構成ブロック図を示す。
ターゲット・デコーダ部２０は、歌唱者及びターゲット歌唱者のピッチ、アライメントおよび既に処理済みのデコードフレームからデコードされるべきフレームに対応する音素が安定状態にあるかあるいは他の音素に移行する遷移状態にあるかを決定する安定状態／遷移状態決定部３１と、スムーズなフレームデータの生成のために既に処理済みのデコードフレームを格納するフレームメモリ部３２と、安定状態／遷移状態決定部３１における決定結果に基づいてデコードされるべきフレームに対応する音素が安定状態にある場合には現在の音素のスペクトル・シェイプを現在のターゲットのピッチ付近の二つのスペクトル・シェイプから後述のスペクトル補間の方法を用いて第１補間スペクトル・シェイプＳＳ１として生成し、デコードされるべきフレームに対応する音素が遷移状態にある場合には遷移元の音素のスペクトル・シェイプを現在のターゲットのピッチ付近の二つのスペクトル・シェイプから後述のスペクトル補間の方法を用いて第２補間スペクトル・シェイプＳＳ２として生成する第１スペクトル補間部３３と、を備えて構成されている。
【００４９】
また、ターゲット・デコーダ部２０は、安定状態／遷移状態決定部３１における決定結果に基づいてデコードされるべきフレームに対応する音素が遷移状態にある場合に遷移先の音素のスペクトル・シェイプを現在のターゲットのピッチ付近の二つのスペクトル・シェイプから後述のスペクトル補間の方法を用いて第３補間スペクトル・シェイプＳＳ３として生成する第２スペクトル補間部３４と、遷移元の音素及び遷移先の音素並びに歌唱者のピッチ、ターゲット歌唱者のピッチ及びスペクトル・シェイプなどを考慮に入れて遷移元の音素から遷移先の音素に遷移させる場合の遷移のさせかたを規定する遷移関数を発生する遷移関数発生部３５と、安定状態／遷移状態決定部３１における決定結果に基づいてデコードされるべきフレームに対応する音素が遷移状態にある場合に遷移関数発生部３５において発生された遷移関数並びに第２補間スペクトル・シェイプＳＳ２及び第３補間スペクトル・シェイプＳＳ３の二つのスペクトル・シェイプから後述のスペクトル補間の方法を用いて第４スペクトル・シェイプＳＳ４として生成する第３スペクトル補間部３６と、を備えて構成されている。
【００５０】
さらに、ターゲット・デコーダ部２０は、出力されるデコードフレームがよりリアルであるようにターゲットのピッチ及びフレームメモリ部３２に格納されている処理済みのデコードフレームに基づいてスペクトル・シェイプの微細構造を時間軸に沿って変化させ（例えば、マグニチュードを時間とともに少しずつ変化させる）、時間的変化が付加されたスペクトル・シェイプＳＳｔを出力する時間的変化付加部３７と、時間的変化付加部３７により時間的変化が付加されたスペクトル・シェイプＳＳｔをさらにリアルにするためにターゲットのアンプリチュードに対応させてスペクトル・シェイプＳＳｔのスペクトル傾きを補正してターゲットスペクトル・シェイプＳＳＴＧとして出力するスペクトル傾き補正部３８と、アライメント情報、ターゲットのピッチ及びアンプリチュードに基づいて出力するデコードフレームに対応するターゲットのピッチおよびアンプリチュードを算出するターゲットピッチ／アンプリチュード算出部３９と、を備えて構成されている。
【００５１】
［２．４．２］  ターゲット・デコーダ部の詳細動作
ここで、ターゲット・デコーダ部２０の詳細動作について説明する。
この場合において、よりスムーズなフレームデータの生成の為、ターゲット・デコーダ部２０が出力すべきフレームデータ（デコードフレーム；ターゲットスペクトル・シェイプ）はフレームメモリ部に記憶される。
ターゲット・デコーダ部２０への入力情報としては、歌唱音声の情報（ピッチ、アンプリチュード、スペクトル・シェイプ、アライメント）、ターゲット挙動データ（ピッチ、アンプリチュード、持続時間付音素表記）、ターゲット音素辞書（スペクトル・シェイプ）が含まれている。
【００５２】
そして、安定状態／遷移状態決定部３１は、歌唱者、ターゲット歌手のピッチ、アライメント情報、過去のデコード・フレームからデコードされるべきフレームが安定状態（ある音素からある音素への遷移（変化）途中ではなく、ある音素であることが特定できる状態にあるか否かを決定し、決定結果を第１スペクトル補間部３３及び第２スペクトル補間部３４に通知する。
第１スペクトル補間部３３は、安定状態／遷移状態決定部３１の通知に基づいて、デコードされるべきフレームが安定状態である場合には、現在の音素のスペクトル・シェイプを現在のターゲットのピッチ付近の２つのスペクトル・シェイプから、後述するスペクトル補間の方法を用いて補間されたスペクトル・シェイプである第１補間スペクトル・シェイプＳＳ１を算出し時間的変化付加部３７に出力する。
【００５３】
また、第１スペクトル補間部３３は、安定状態／遷移状態決定部３１の通知に基づいて、デコードされるべきフレームが遷移状態である場合には、遷移元の音素（第１の音素から第２の音素に遷移途中の場合における、第１の音素）のスペクトル・シェイプを現在のターゲットのピッチ付近の２つのスペクトル・シェイプから、後述するスペクトル補間の方法を用いて補間されたスペクトル・シェイプである第２補間スペクトル・シェイプＳＳ２を算出し、第３スペクトル補間部３６に出力する。
一方、第２スペクトル補間部３４は、安定状態／遷移状態決定部３１の通知に基づいて、デコードされるべきフレームが遷移状態である場合に、遷移先の音素（第１の音素から第２の音素に遷移途中の場合における、第２の音素）のスペクトル・シェイプを現在のターゲットのピッチ付近の２つのスペクトル・シェイプから、後述するスペクトル補間の方法を用いて補間されたスペクトル・シェイプである第３補間スペクトル・シェイプを算出し、第３スペクトル補間部３６に出力する。
【００５４】
これらの結果、第３スペクトル補間部３６は、安定状態／遷移状態決定部３１の通知に基づいて、デコードされるべきフレームが遷移状態である場合に、第２補間スペクトル・シェイプおよび第２スペクトル補間処理において算出された第３補間スペクトル・シェイプに基づいて後述するスペクトル補間の方法を用いて補間し、第４スペクトル・シェイプＳＳ４を算出し、時間的変化付加部３７に出力する。この第４スペクトル・シェイプＳＳ４は、二つの異なる音素の中間的な音素のスペクトル・シェイプに相当するものとなる。この場合において、第４スペクトル・シェイプＳＳ４を求めるべく補間を行う際には、単純にある時間に亘って対応する領域（その境界点はアンカー・ポイントで示される。）内で線形に補間を行うのではなく、遷移関数発生部３５において生成される遷移関数に従ってスペクトル補間を行うことにより、より現実に近いスペクトル補間を行うことができる。
【００５５】
例えば、遷移関数発生部３５は、音素/a/から音素/e/に変化する際には、１０フレームかけて対応する領域内（後述するアンカー・ポイント間）のスペクトルを時間的に線形に変化させ、また、音素/a/から音素/u/に変化する際には、５フレームかけて変化するが、ある周波数帯域内（後述するアンカー・ポイント間）のスペクトルについては、線形に変化させ、他の周波数帯域内（後述するアンカー・ポイント間）のスペクトルについては、指数関数的に変化させることにより、自然な音素間の移動をスムーズに実現することができる。
このため、遷移関数発生処理においては、音素、ピッチに基づくとともに、歌唱者、ターゲットのピッチやスペクトル・シェイプ等を考慮に入れて、遷移関数を発生させる。
この場合において、後述するようにターゲット音素辞書の中にこれらの情報を含めてしまうように構成することも可能である。
次に時間的変化付加部３７は、入力された第１補間スペクトル・シェイプＳＳ１または第４補間スペクトル・シェイプＳＳ４に対し、ターゲット・デコーダ部２０より出力されるターゲットスペクトル・シェイプ（＝デコードフレーム）がより実在するフレームと近似するようにターゲットのピッチおよび過去のデコードフレームに基づいて、スペクトル・シェイプの微細構造を変化させ、時間的変化付加スペクトル・シェイプＳＳｔとしてスペクトル傾き補正部３８に出力する。
【００５６】
例えば、スペクトル・シェイプの微細構造としてのマグニチュードを時間的に少しづつ変化させるようにする。
スペクトル傾き補正部３８は、入力された時間的変化付加スペクトル・シェイプＳＳｔに対し、出力されるターゲットスペクトル・シェイプ（＝デコードフレーム）ＳＳＴＧがより実在するフレームと近似するようにターゲットのアンプリチュードに応じたスペクトル傾きを有するように補正を行い、補正後のスペクトル・シェイプをターゲットスペクトル・シェイプＳＳＴＧとして出力する。
スペクトル傾き補正処理としては、出力する音量が大きいときは一般的にスペクトル・シェイプの高域が豊か（リッチ）であり、音量が小さいときはスペクトル・シェイプの高域が乏しい（＝こもったような音）ことをシミュレートするために、スペクトル・シェイプの高域部の形状を音量に応じて変化させてやるのである。
そして、スペクトル傾き補正して得られるターゲットスペクトル・シェイプＳＳＴＧをフレームメモリ部３２に格納することとなる。
一方、ターゲットピッチ／アンプリチュード算出部３９は、出力するターゲットスペクトル・シェイプＳＳＴＧに対応するピッチＴＧＰ、アンプリチュードＴＧＡを算出し出力する。
【００５７】
［２．４．３］  スペクトル補間処理
ここで、図５を参照してターゲット・デコーダ部のスペクトル補間処理について説明する。
［２．４．３．１］  スペクトル補間処理の概要
まず、安定状態／遷移状態決定部３１における決定結果に基づいてデコードされるべきフレームに対応する音素が安定状態にある場合には、ターゲットデコーダ部２０は、当該音素に対応する二つのスペクトル・シェイプをターゲットの音素辞書から取り出し、また、デコードされるべきフレームに対応する音素が遷移状態にある場合には、遷移元の音素に対応する二つのスペクトル・シェイプをターゲットの音素辞書から取り出す。
図５（ａ）及び図５（ｂ）は、安定状態にある音素あるいは遷移元の音素に対応させてターゲット音素辞書から取り出された二つのスペクトル・シェイプであり、この二つのスペクトル・シェイプのピッチは異なっている。
例えば、求めたいスペクトル・シェイプがピッチ１４０［Ｈｚ］、音素/a/のものだとすると、図５（ａ）のスペクトル・シェイプは、ピッチ１００［Ｈｚ］の音素/a/に対応するものであり、図５（ｂ）のスペクトル・シェイプは、ピッチ２００［Ｈｚ］の音素/a/に対応するものである。すなわち、求めたいスペクトル・シェイプのピッチを挟むような前後のピッチでそれぞれ最も近いピッチを有する二つのスペクトル・シェイプであって、かつ、求めたいスペクトル・シェイプと同一の音素に対応する二つのスペクトル・シェイプを用いる。
【００５８】
得られた二つのスペクトル・シェイプを第１スペクトル補間部３３でスペクトル補間の方法で補間することにより、図５（ｅ）に示すような所望のスペクトル・シェイプ（第１スペクトル・シェイプＳＳ１あるいは第２スペクトル・シェイプＳＳ２に相当）を得る。得られたスペクトル・シェイプは、安定状態／遷移状態決定部３１における決定結果に基づいてデコードされるべきフレームに対応する音素が安定状態にある場合には、そのまま得られたスペクトル・シェイプを時間的変化付加部３７に出力する。、
さらに安定状態／遷移状態決定部３１における決定結果に基づいてデコードされるべきフレームに対応する音素が遷移状態にある場合には、遷移先の音素に対応する二つのスペクトル・シェイプをターゲットの音素辞書から取り出す。
図５（ｃ）及び図５（ｄ）は、遷移先の音素に対応させてターゲット音素辞書から取り出された二つのスペクトル・シェイプであり、この二つのスペクトル・シェイプのピッチも図５（ａ）及び図５（ｂ）の場合と同様に異なっている。
そして得られた二つのスペクトル・シェイプを第２スペクトル補間部３４で補間することにより、図５（ｆ）に示すような所望のスペクトル・シェイプ（第３スペクトル・シェイプＳＳ３に相当）を得る。
さらにまた、安定状態／遷移状態決定部３１における決定結果に基づいてデコードされるべきフレームに対応する音素が遷移状態にある場合には、図５（ｅ）及び図５（ｆ）に示したスペクトル・シェイプを第３スペクトル補間部３６でスペクトル補間の方法で補間することにより、図５（ｇ）に示すような所望のスペクトル・シェイプ（第４スペクトル・シェイプＳＳ４に相当）を得る。
【００５９】
［２．４．３．２］  スペクトル補間手法
ここで、スペクトル補間の手法について詳細に説明する。
スペクトル補間を用いる目的は、以下の二つに大別される。
（１）  二つの時間的に連続するフレームのスペクトル・シェイプを補間し、時間的に二つのフレームの間にあるフレームのスペクトル・シェイプを求める。
（２）  二つの異なる音のスペクトル・シェイプを補間し、中間的な音のスペクトル・シェイプを求める。
図６（ａ）に示すように、補間のもととなる二つのスペクトル・シェイプ（以下、便宜上、第１スペクトル・シェイプＳＳ１１および第２スペクトル・シェイプＳＳ１２とする。なお、これらは、上述の第１スペクトル・シェイプＳ１および第２スペクトル・シェイプＳ２とは全く別個のものである。）を各々周波数軸上で複数の領域Ｚ１、Ｚ２、……に分割する。
そして、各領域を区切る境界の周波数を各スペクトル・シェイプ毎にそれぞれ以下のように設定する。この設定した境界の周波数をアンカー・ポイントと呼んでいる。
第１スペクトル・シェイプＳＳ１１：ＲＢ1,1、ＲＢ2,1、……、ＲＢN,1
第２スペクトル・シェイプＳＳ１２：ＲＢ1,2、ＲＢ2,2、……、ＲＢM,2
【００６０】
図６（ｂ）に線形スペクトル補間の説明図を示す。
線形スペクトル補間は、補間位置により定義され、補間位置Ｘは、０から１までの範囲である。この場合において、補間位置Ｘ＝０は、第１スペクトル・シェイプＳＳ１１そのもの、補間位置Ｘ＝１は第２スペクトル・シェイプＳＳ１２そのものに相当する。
図６（ｂ）は、補間位置Ｘ＝０．３５の場合である。
また、図６（ｂ）において、縦軸上の白丸（○）は、スペクトル・シェイプを構成する周波数およびマグニチュードの組のそれぞれを示す。従って、紙面垂直方向にマグニチュード軸が存在すると考えるのが適当である。
補間位置Ｘ＝０の軸上の第１スペクトル・シェイプＳＳ１１の注目するある領域Ｚｉに対応するアンカー・ポイントが、
ＲＢi,1およびＲＢi+1,1
であり、当該領域Ｚｉに属する具体的な周波数およびマグニチュードの組のうちいずれかの組の周波数＝ｆi1であり、マグニチュード＝Ｓ1（ｆi1）であるものとする。
補間位置Ｘ＝１の軸上の第２スペクトル・シェイプＳＳ１２の注目するある領域Ｚｉに対応するアンカー・ポイントが、
ＲＢi,2およびＲＢi+1,2
であり、当該領域Ｚｉに属する具体的な周波数およびマグニチュードの組のうちいずれかの組の周波数＝ｆi2であり、マグニチュード＝Ｓ2（ｆi2）であるものとする。
ここで、スペクトル遷移関数ｆtrans1（ｘ）及びスペクトル遷移関数ｆtrans2（ｘ）を求める。
【００６１】
例えば、これらを最も簡単な線形関数で表すとすると、以下のようになる。
ｆtrans1（ｘ）＝ｍ1・ｘ＋ｂ1
ｆtrans2（ｘ）＝ｍ2・ｘ＋ｂ2
ここで、
ｍ1＝ＲＢi,2−ＲＢi,1
ｂ1＝ＲＢi,1
ｍ2＝ＲＢi+1,2−ＲＢi+1,1
ｂ2＝ＲＢi+1,2
である。
次に第１スペクトル・シェイプＳＳ１１上に実在する周波数およびマグニチュードの組に対応する補間スペクトル・シェイプ上の周波数およびマグニチュードの組を求める。
【００６２】
まず、第１スペクトル・シェイプＳＳ１１上に実在する周波数およびマグニチュードの組、具体的には、周波数ｆi1、マグニチュードＳ1（ｆi1）に対応する第２スペクトル・シェイプ上の周波数＝ｆi1,2、マグニチュード＝Ｓ2（ｆi1,2）を以下のように算出する。
【数３】
0004430174.tif 000004
ここで、
Ｗ1 ＝ＲＢi+1,1−ＲＢi,1
Ｗ2 ＝ＲＢi+1,2−ＲＢi,2
である。
マグニチュード＝Ｓ2（ｆi1,2）を算出するにあたり、第２スペクトル・シェイプＳＳ１２上に実在する周波数およびマグニチュードの組のうちで周波数＝ｆi1,2をはさむように最も近い周波数をそれぞれ、(+)、(-)のサフィックスを付して表すとすると、
【数４】
0004430174.tif 000005
となる。
【００６３】
以上から、補間位置＝ｘとすると、第１スペクトル・シェイプＳＳ１１上に実在する周波数およびマグニチュードの組に対応する補間スペクトル・シェイプ上の周波数ｆi1,xおよびマグニチュードＳx（ｆi1,x）は以下の式で求められる。
【数５】
0004430174.tif 000006
Ｓx（ｆi1,x）＝Ｓ1 （ｆi1）＋｛Ｓ2（ｆi1,2）−Ｓ1（ｆi1）｝・ｘ同様にして、第１スペクトル・シェイプＳＳ１１上の全ての周波数およびマグニチュードの組に対して算出する。
続いて、第２スペクトル・シェイプＳＳ１２上に実在する周波数およびマグニチュードの組に対応する補間スペクトル・シェイプ上の周波数およびマグニチュードの組を求める。
【００６４】
まず、第２スペクトル・シェイプＳＳ１２上に実在する周波数およびマグニチュードの組、具体的には、周波数ｆi2、マグニチュードＳ2（ｆi2）に対応する第１スペクトル・シェイプ上の周波数＝ｆi1,1、マグニチュード＝Ｓ1（ｆi1,1）を以下のように算出する。
【数６】
0004430174.tif 000007
ここで、
Ｗ1 ＝ＲＢi+1,1−ＲＢi,1
Ｗ2 ＝ＲＢi+1,2−ＲＢi,2
である。
マグニチュード＝Ｓ1（ｆi1,1 2）を算出するにあたり、第１スペクトル・シェイプＳＳ１１上に実在する周波数およびマグニチュードの組のうちで周波数＝ｆi2,1をはさむように最も近い周波数をそれぞれ、(+)、(-)のサフィックスを付して表すとすると、
【数７】
0004430174.tif 000008
となる。
以上から、補間位置＝ｘとすると、第２スペクトル・シェイプＳＳ１２上に実在する周波数およびマグニチュードの組に対応する補間スペクトル・シェイプ上の周波数ｆi2,xおよびマグニチュードＳx（ｆi2,x）は以下の式で求められる。
【数８】
0004430174.tif 000009
Ｓx（ｆi2,x）＝Ｓ2（ｆi2）＋｛Ｓ2（ｆi1,2）−Ｓ1（ｆi2）｝・（ｘ−１）
【００６５】
同様にして、第２スペクトル・シェイプＳＳ１２上の全ての周波数およびマグニチュードの組に対して算出する。
上述したように第１スペクトル・シェイプＳＳ１１上に実在する周波数ｆi1およびマグニチュードＳ1（ｆi1）の組に対応する補間スペクトル・シェイプ上の周波数＝ｆi1,x、マグニチュード＝Ｓx（ｆi1,x）並びに第２スペクトル・シェイプ上に実在する周波数ｆi2およびマグニチュードＳ2（ｆi2）の組に対応する補間スペクトル・シェイプ上の周波数ｆi2,xおよびマグニチュードＳx（ｆi2,x）の全ての算出結果を周波数順に並び替えることにより、補間スペクトル・シェイプを求める。
これらを全ての領域Ｚ1 、Ｚ2、……について行い、全周波数帯域の補間スペクトル・シェイプを算出する。
上述の例においては、スペクトル遷移関数ｆtrans1（ｘ）、ｆtrans2（ｘ）を線形な関数としたが、二次関数、指数関数など非線形な関数として定義あるいは関数に対応する変化をテーブルとして用意するように構成することも可能である。
【００６６】
また、アンカー・ポイントに応じてそれらの遷移関数を変更してやることによりより現実に近いスペクトル補間を行うことが可能である。
この場合、ターゲット音素辞書の内容は、アンカー・ポイントに付随した遷移関数情報を含めるように構成すればよい。
さらに遷移関数情報としては、遷移先の音素に応じて設定するようにすればよい。すなわち、遷移先の音素が音素Ｂの場合には、遷移関数Ｙを用い、遷移先の音素が音素Ｃの場合には、遷移関数Ｚを用いる等のように設定し、設定状態を音素辞書に組み込むようにすればよい。
さらに歌唱者、ターゲット歌手のピッチやスペクトル・シェイプ等を考慮に入れ、リアルタイムに最適な遷移関数を設定するようにしても良い。
【００６７】
［３］  全体動作
次に音声変換装置１０の全体動作を順を追って説明する。
まず、歌唱信号入力部１１により、信号入力処理が行われ、歌唱者の歌った信号を入力する。
続いて認識特徴分析部１２により認識特徴分析処理が行われ、歌唱信号入力部１１を介して入力された歌唱信号ＳVを以降のアライメント処理部１８へ入力すべく、認識用音素辞書に含まれるコードブックに基づいてベクトル量子化を行い、各特徴ベクトルＶＣ（メルケプストラム、差分メルケプストラム、エネルギー、差分エネルギー、ボイスネス（有声音尤度）など）を算出する。
なお、差分メルケプストラムとは、前フレームと現在のフレームのメルケプストラムの差分値を示す。差分エネルギーとは、前フレームと現在のフレームの信号エネルギーの差分値を示す。ボイスネスとは、ゼロ交差数、ピッチ検出を行うときに求まる検出誤差等から総合的に求められる値、あるいは、総合的に重み付けして求められる値であり、有声音らしさを表す数値である。
【００６８】
一方、ＳＭＳ分析部１３は、歌唱信号入力部１１を介して入力された歌唱信号ＳVをＳＭＳ分析して、ＳＭＳフレームデータＦSMSを得て、ターゲット・デコーダ部２０およびモーフィング処理部２１に出力する。具体的には、ピッチに応じた窓幅で切り出した波形に対して、
（１）  高速フーリエ変換（ＦＦＴ）処理
（２）  ピーク検出処理
（３）  有声／無声判別処理およびピッチ検出処理
（４）  ピーク連携処理
（５）  正弦波成分属性ピッチ、アンプリチュード、スペクトル・シェイプの計算処理
（６）  残差成分算出処理
が行われる。
アライメント処理部１８は、認識特徴分析部１２により出力された各種特徴ベクトルＶＣ、認識用音素辞書１４からの各音素のＨＭＭおよびターゲット挙動データに含まれる持続時間付音素表記情報より、歌唱者が対象としている曲中のどの部分を歌っているかをビタビアルゴリズムを用いて求める。
これにより、アライメント情報が求まり、この結果、ターゲット歌手が歌うべきピッチ、アンプリチュード、音素を検出することができる。
【００６９】
この処理のなかで、歌唱者がある音素をターゲット歌唱者に比較して長く歌った場合には、持続時間付音素表記情報の持続時間を超えてある音素を歌っていると判断し、ループ処理に入る旨をアライメント情報に含めて出力することとなる。
これらの結果、ターゲット・デコーダ部２０は、アライメント処理部１８により出力されたアライメント情報およびターゲット音素辞書１９に含まれるスペクトル情報よりターゲット歌手のフレーム情報（ピッチ、アンプリチュード、スペクトル・シェイプ）であるターゲットスペクトル・シェイプＳＳＴＧ、ピッチＴＧＰ、アンプリチュードＴＧＡを算出し、ターゲットフレームデータＴＧＦＬとしてモーフィング処理部２１に出力する。
モーフィング処理部２１は、ターゲット・デコーダ部２０から出力されたターゲットフレームデータＴＧＦＬおよび歌唱信号ＳVに対応するＳＭＳフレームデータＦSMS並びにパラメータコントロール部１６から入力された似具合パラメータに基づいてモーフィング処理を行い、似具合パラメータに応じた所望のスペクトル・シェイプ、ピッチ、アンプリチュードを有するモーフィングフレームデータＭＦＬを生成し、変換処理部２２に出力する。
【００７０】
変換処理部２２は、パラメータコントロール部１６からの変換パラメータに従って、モーフィングフレームデータＭＦＬを変形し、変換フレームデータＭＭＦＬとしてＳＭＳ合成部２３に出力する。この場合において、出力アンプリチュードに応じたスペクトル傾き補正を行うことにより、よりリアルな出力音声を得ることが可能となる。
また、変換処理部２２で行う処理としては、例えば偶数倍音をなくす等の処理があげられる。
ＳＭＳ合成部２３は、変換フレームデータＭＭＦＬをフレームスペクトルに変換し、逆高速フーリエ変換（ＩＦＦＴ）、オーバーラップ処理および加算処理を行い、波形信号ＳWAVとして選択部２４に出力する。
選択部２４は、ＳＭＳ分析部１３からの有声／無声情報に基づいて歌唱信号ＳVに対応する歌唱者の音声が無声音である場合には、歌唱信号ＳVをそのまま加算部２７に出力し、歌唱信号ＳVに対応する歌唱者の音声が有声音である場合には、
波形信号ＳWAVを加算部２７に出力する。
【００７１】
これらの動作と並行して、シーケンサ２６は、パラメータコントロール部１６の制御下で音源２５を駆動してミュージック信号ＳMSCを生成して加算部２７に出力する。
加算部２７は、選択部２４から出力された波形信号ＳWAVあるいは歌唱信号Ｓvと音源２５から出力されたミュージック信号ＳMSCとを適当な割合で混合して加算し、出力部２８に出力する。
出力部２８は、加算部２７の出力信号に基づいてカラオケ信号（音声＋ミュージック）を出力することとなる。
【００７２】
［Ｂ］  第２実施形態
次に、本発明の第２実施形態について説明する。本第２実施形態が第１実施形態と異なる点は、第１実施形態のターゲット・デコーダ部においては、モーフィング処理部に出力されるスペクトル・シェイプは、ターゲット挙動データに含まれるターゲットのピッチ、アンプリチュードに基づいて算出していたが、本第２実施形態においては、歌唱者のピッチ及びスペクトル傾き情報に基づいて算出している点である。
これに伴い、本第２実施形態のＳＭＳ分析部では、正弦波成分属性として、ピッチアンプリチュード、スペクトル・シェイプに加えて、スペクトル傾きも算出しておく必要があるが、ターゲット・デコーダ部を除く各部の構成は第１実施形態と同様である。
【００７３】
［１］  ターゲット・デコーダ部
図７に第２実施形態のターゲット・デコーダ部の構成ブロック図を示す。図７において図４の第１実施形態と同様の部分には同一の符号を付し、その詳細な説明を省略する。
ターゲット・デコーダ部５０は、安定状態／遷移状態決定部３１と、フレームメモリ部３２と、第１スペクトル補間部３３と、第２スペクトル補間部３４と、遷移関数発生部３５と、第３スペクトル補間部３６と、出力されるデコードフレームがよりリアルであるように歌唱者のピッチ及びフレームメモリ部３２に格納されている処理済みのデコードフレームに基づいてスペクトル・シェイプの微細構造を時間軸に沿って変化させる（例えば、マグニチュードを時間とともに少しずつ変化させる）時間的変化付加部５７と、時間的変化付加部５７により時間的変化が付加されたスペクトル・シェイプをさらにリアルにするために歌唱者のスペクトル傾きと既に生成されたスペクトル・シェイプの傾きを比較し、スペクトル・シェイプのスペクトル傾きを補正して補正後のスペクトル・シェイプをターゲットスペクトル・シェイプＳＳＴＧとして出力し、フレームメモリ部３２にターゲットスペクトル・シェイプＳＳＴＧを格納するスペクトル傾き補正部５８と、ターゲットピッチ／アンプリチュード算出部３９と、を備えて構成されている。
【００７４】
［２］  第２実施形態の動作
本第２実施形態の動作は全体としては、第１実施形態と同様であるので、主要部の動作のみを説明する。
ターゲット・デコーダ部５０の時間的変化付加部５７は、出力されるデコードフレームであるターゲットフレームがよりリアルであるように歌唱者のピッチ及びフレームメモリ部３２に格納されている処理済みのデコードフレームに基づいてスペクトル・シェイプ（第１スペクトル・シェイプＳＳ１あるいは第４スペクトル・シェイプＳＳ４）の微細構造を時間軸に沿って変化させて（例えば、マグニチュードを時間とともに少しずつ変化させて）、スペクトル傾き補正部５８に出力する。
スペクトル傾き補正部５８は、ターゲット・デコーダ部５０から出力するターゲットスペクトル・シェイプＳＳＴＧをさらにリアルにするために歌唱者のスペクトル傾きと既に生成されたスペクトル・シェイプの傾きを比較し、スペクトル・シェイプのスペクトル傾きを補正して補正後のスペクトル・シェイプをターゲットスペクトル・シェイプＳＳＴＧとして出力し、フレームメモリ部３２にターゲットスペクトル・シェイプＳＳＴＧを格納する。
より具体的には、歌唱者のスペクトル傾きと生成されたターゲットのスペクトル・シェイプのスペクトル傾きの差であるスペクトル傾き補正値（Tilt Correction値）を算出し、図８に示すように、スペクトル傾き補正値に応じた特性を有するスペクトル傾き補正フィルタを生成されたターゲットのスペクトル・シェイプに対してかける。
これにより、より自然なスペクトル・シェイプを得ることが可能となる。
【００７５】
［Ｃ］  実施形態の変形例
［１］  第１変形例
ピッチ、アンプリチュードに関して、前もって静的変化成分と、ビブラート的変化成分（ビブラートを早さ、深さのパラメータとして有する）に分けた情報として持っていれば、例えば、同じ音素を歌唱者がターゲットに比較して長く歌った場合でも、適切なビブラートを付加したピッチ、アンプリチュードを生成することができるので、自然な音の伸びを得ることができる。
このような処理を行う理由としては、このような処理を行わない場合には、歌唱者がターゲット歌手と比較して長く音をのばした場合などには、途中でビブラートがかからなくなるなどの現象が生じ、不自然なものとなり、また、歌唱者がターゲット歌手と比較してテンポを変更した場合については、ビブラート成分を持っていない場合には、テンポを挙げるとビブラートが早くなってしまい同様に不自然なものとなるからである。
【００７６】
［２］  第２変形例
以上の説明においては、ターゲット歌唱者の残差成分については、考慮していないものであったが、ターゲット歌唱者の残差成分を考慮する場合に、全てのフレームについて残差成分を保持することは、情報圧縮の観点からいっても本音声変換装置のシステムには適合しない。
そこで、残差について予め代表的なスペクトルエンベロープを用意し、これらのスペクトルエンベロープを特定するためのインデックス情報を持つようにすればよい。
より具体的には、ターゲット挙動データとして残差スペクトルエンベロープ情報インデックスを持たせ、例えば、歌唱経過時間０秒〜２秒の間は、残差スペクトルエンベロープ情報インデックス＝１のスペクトルエンベロープを使用し、歌唱経過時間２秒〜３秒までは残差スペクトルエンベロープ情報インデックス＝３のスペクトルエンベロープを使用する。
そして、残差スペクトルエンベロープ情報インデックスに対応するスペクトルエンベロープから実際の残差スペクトルを生成して、モーフィング処理において用いるようにすれば、残差についてもモーフィングを可能とすることができる。
【００７７】
【発明の効果】
本発明によれば、入力された歌唱者の音声を目標とするターゲット歌唱者の歌い方に似せることができるとともに、ターゲット歌唱者の分析データの容量を低減して、リアルタイムに処理を行うことが可能となる。
【図面の簡単な説明】
【図１】実施形態にかかる音声変換装置の概要構成ブロック図である。
【図２】ターゲット音素辞書の説明図（その１）である。
【図３】ターゲット音素辞書の説明図（その２）である。
【図４】第１実施形態のターゲット・デコーダ部の概要構成ブロック図である。
【図５】ターゲット・デコーダ部のスペクトル補間処理の説明図（その１）である。
【図６】ターゲット・デコーダ部のスペクトル補間処理の説明図（その２）である。
【図７】第２実施形態のターゲット・デコーダ部の概要構成ブロック図である。
【図８】第２実施形態のスペクトル傾き補正フィルタの特性説明図である。
【符号の説明】
１０…音声変換装置、１１…歌唱信号入力部、１２…認識特徴分析部、１３…ＳＭＳ分析部、１４…認識用音素辞書、１５…ターゲット挙動データ、１６…パラメータコントロール部、１７…データ変換部、１８…アライメント処理部、１９…ターゲット音素辞書、２０…ターゲット・デコーダ部、２１…モーフィング処理部、２２…変換処理部、２３…ＳＭＳ合成部、２４…選択部、２５…音源、２６…シーケンサ、２７…加算部、２８…出力部、３１…安定状態／遷移状態決定部、３２…フレームメモリ部、３３…第１スペクトル補間部、３４…第２スペクトル補間部、３５…遷移関数発生部、３６…第３スペクトル補間部、３７…時間的変化付加部、３８…スペクトル傾き補正部、３９…ターゲットピッチ／アンプリチュード算出部、５０…ターゲット・デコーダ部、５７…時間的変化付加部、５８…スペクトル傾き補正部、ＳＳ１…第１スペクトル・シェイプ、ＳＳ２…第２スペクトル・シェイプ、ＳＳ３…第３スペクトル・シェイプ、ＳＳ４…第４スペクトル・シェイプ、ＳＳｔ…時間的変化付加スペクトル・シェイプ、ＳＳＴＧ…ターゲットスペクトル・シェイプ。
【図１】
0004430174.tif 000010
【図２】
0004430174.tif 000011
【図３】
0004430174.tif 000012
【図４】
0004430174.tif 000013
【図５】
0004430174.tif 000014
【図６】
0004430174.tif 000015
【図７】
0004430174.tif 000016
【図８】
0004430174.tif 000017