(57)【特許請求の範囲】
【請求項１】
楽器音に対応する入力音声信号から正弦波成分及び残差成分を抽出する成分抽出手段と、
歌声に対応するターゲット音声信号から抽出したターゲット正弦波成分及びターゲット残差成分と、
前記正弦波成分を変形して新規正弦波成分を生成し、前記残差成分を変形して新規残差成分を生成する新規成分生成手段と、
前記新規成分生成手段が生成した前記新規正弦波成分及び前記新規残差成分を合成し変換音声信号を生成して出力する変換音声信号生成手段と、
前記変換音声信号を生成するに際し、前記ターゲット音声信号の部分であって、前記入力音声信号に対応させるべき部分が無音部であるか否かを検出する無音部検出手段と、
前記対応させるべき部分が無音部である場合に、予め設定した無音部正弦波成分及び無音部残差成分を出力する無音部成分出力手段とを備え、
前記新規成分生成手段は、前記対応させるべき部分が無音部である場合には、前記無音部正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、前記無音部残差成分に基づいて前記残差成分を変形して新規残差成分を生成する一方、前記対応させるべき部分が無音部で無い場合には、前記ターゲット正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、前記ターゲット残差成分に基づいて前記残差成分を変形して新規残差成分を生成することを特徴とする音声変換装置。
【請求項２】
歌声に対応する入力音声信号から正弦波成分及び残差成分を抽出する成分抽出手段と、
楽器音に対応するターゲット音声信号から抽出したターゲット正弦波成分及びターゲット残差成分と、
前記正弦波成分を変形して新規正弦波成分を生成し、前記残差成分を変形して新規残差成分を生成する新規成分生成手段と、
前記新規成分生成手段が生成した前記新規正弦波成分及び前記新規残差成分を合成し変換音声信号を生成して出力する変換音声信号生成手段と、
前記変換音声信号を生成するに際し、前記ターゲット音声信号の部分であって、前記入力音声信号に対応させるべき部分が無音部であるか否かを検出する無音部検出手段と、
前記対応させるべき部分が無音部である場合に、予め設定した無音部正弦波成分及び無音部残差成分を出力する無音部成分出力手段とを備え、
前記新規成分生成手段は、前記対応させるべき部分が無音部である場合には、前記無音部正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、前記無音部残差成分に基づいて前記残差成分を変形して新規残差成分を生成する一方、前記対応させるべき部分が無音部で無い場合には、前記ターゲット正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、前記ターゲット残差成分に基づいて前記残差成分を変形して新規残差成分を生成することを特徴とする音声変換装置。
【請求項３】
請求項１または請求項２に記載の音声変換装置において、
前記入力音声信号が無声音であるか否かを検出する無声検出手段を備え、
前記無声検出手段により前記入力音声信号が無声音であると検出された場合には、前記ターゲット音声信号を前記変換音声信号として出力すること
を特徴とする音声変換装置。
【請求項４】
楽器音に対応する入力音声信号から正弦波成分及び残差成分を抽出する成分抽出工程と、
前記正弦波成分を変形して新規正弦波成分を生成し、前記残差成分を変形して新規残差成分を生成する新規成分生成工程と、
前記新規正弦波成分及び前記新規残差成分を合成して変換音声を生成する変換音声生成工程と、
前記変換音声を生成するに際し、前記ターゲット音声の部分であって、前記入力音声に対応させるべき部分が無音部分であるか否かを検出する無音部分検出工程とを備え、
前記新規成分生成工程は、前記対応させるべき部分が無音部である場合には、予め設定した無音部正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、予め設定した無音部残差成分に基づいて前記残差成分を変形して新規残差成分を生成する一方、前記対応させるべき部分が無音部で無い場合には、歌声に対応するターゲット音声から抽出したターゲット正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、歌声に対応するターゲット音声から抽出したターゲット残差成分に基づいて前記残差成分を変形して新規残差成分を生成することを特徴とする音声変換方法。
【請求項５】
歌声に対応する入力音声信号から正弦波成分及び残差成分を抽出する成分抽出工程と、
前記正弦波成分を変形して新規正弦波成分を生成し、前記残差成分を変形して新規残差成分を生成する新規成分生成工程と、
前記新規正弦波成分及び前記新規残差成分を合成して変換音声を生成する変換音声生成工程と、
前記変換音声を生成するに際し、前記ターゲット音声の部分であって、前記入力音声に対応させるべき部分が無音部分であるか否かを検出する無音部分検出工程とを備え、
前記新規成分生成工程は、前記対応させるべき部分が無音部である場合には、予め設定した無音部正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、予め設定した無音部残差成分に基づいて前記残差成分を変形して新規残差成分を生成する一方、前記対応させるべき部分が無音部で無い場合には、楽器音に対応するターゲット音声から抽出したターゲット正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、楽器音に対応するターゲット音声から抽出したターゲット残差成分に基づいて前記残差成分を変形して新規残差成分を生成することを特徴とする音声変換方法。
【請求項６】
請求項４または請求項５記載の音声変換方法において、
前記入力音声が無声音であるか否かを検出する無声検出工程を備え、
前記無声検出工程において前記入力音声が無声音であると検出された場合には、前記ターゲット音声を前記変換音声として出力すること
を特徴とする音声変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声変換装置及び音声変換方法に係り、特に、楽器の音を予め定めた歌唱者の歌声に似せて変換させたり、歌唱者の歌声を予め定めた楽器の音に似せて変換する場合のように、音声の発生源が全く異質の場合でも音声変換を行うことが可能な音声変換装置及び音声変換方法に関する。
【０００２】
【従来の技術】
入力された音声の周波数特性などを変えて出力する音声変換装置は、種々開発されており、例えば、カラオケ装置の中には、歌唱者の歌声のピッチを変換して、男性の声を女性の声に、あるいはその逆に変換するものがある（例えば、ＵＳＰ５５６７９０１、特表平８−５０８５８１号公報参照。）。
【０００３】
【発明が解決しようとする課題】
上記従来の音声変換装置では、ピッチ変換による音声の変換は行われるものの、声質そのものの変換は行われていなかった。
ところで、例えば、入力された楽器音を誰かの歌声に似せるように変換するという機能があれば、楽器を演奏することで歌声を出力することが可能となり、カラオケ装置などにおいては大変に面白いと思われる。
しかしながら、従来の音声変換装置ではこのような処理を行うことは困難であった。
【０００４】
ところで、このような音声変換装置をカラオケ装置として実現しようとする場合に、入力された楽器音を誰かの歌声に変換する機能を設ける場合に、誰かの歌声（ターゲット音声）を予め設定しておき、このターゲット音声に基づいて入力された楽器音の音声変換を行うという構成が考えられる。
このような構成を採った場合に、ターゲット音声に対応する楽曲の前奏部分、間奏部分あるいは後奏部分などのターゲット音声が存在しない部分において、楽器音が入力されてしまった場合などには、音声変換が行えない可能性がある。
【０００５】
そこで、本発明の目的は、楽器の音を予め定めた歌唱者の歌声（＝ターゲット音声）に似せて変換させたり、歌唱者の歌声を予め定めた楽器の音（＝ターゲット音声）に似せて変換する場合のように、音声の発生源が全く異質の場合でも、より自然な変換音声を容易に得ることが可能であるとともに、対応する演奏部分にターゲット音声が存在しない場合でも、自然な音声変換を行うことが可能な音声変換装置及び音声変換方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の構成は、楽器音に対応する入力音声信号から正弦波成分及び残差成分を抽出する成分抽出手段と、歌声に対応するターゲット音声信号から抽出したターゲット正弦波成分及びターゲット残差成分と、前記正弦波成分を変形して新規正弦波成分を生成し、前記残差成分を変形して新規残差成分を生成する新規成分生成手段と、前記新規成分生成手段が生成した前記新規正弦波成分及び前記新規残差成分を合成し変換音声信号を生成して出力する変換音声信号生成手段と、前記変換音声信号を生成するに際し、前記ターゲット音声信号の部分であって、前記入力音声信号に対応させるべき部分が無音部であるか否かを検出する無音部検出手段と、前記対応させるべき部分が無音部である場合に、予め設定した無音部正弦波成分及び無音部残差成分を出力する無音部成分出力手段とを備え、前記新規成分生成手段は、前記対応させるべき部分が無音部である場合には、前記無音部正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、前記無音部残差成分に基づいて前記残差成分を変形して新規残差成分を生成する一方、前記対応させるべき部分が無音部で無い場合には、前記ターゲット正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、前記ターゲット残差成分に基づいて前記残差成分を変形して新規残差成分を生成することを特徴としている。
【０００７】
請求項２記載の構成は、歌声に対応する入力音声信号から正弦波成分及び残差成分を抽出する成分抽出手段と、楽器音に対応するターゲット音声信号から抽出したターゲット正弦波成分及びターゲット残差成分と、前記正弦波成分を変形して新規正弦波成分を生成し、前記残差成分を変形して新規残差成分を生成する新規成分生成手段と、前記新規成分生成手段が生成した前記新規正弦波成分及び前記新規残差成分を合成し変換音声信号を生成して出力する変換音声信号生成手段と、前記変換音声信号を生成するに際し、前記ターゲット音声信号の部分であって、前記入力音声信号に対応させるべき部分が無音部であるか否かを検出する無音部検出手段と、前記対応させるべき部分が無音部である場合に、予め設定した無音部正弦波成分及び無音部残差成分を出力する無音部成分出力手段とを備え、前記新規成分生成手段は、前記対応させるべき部分が無音部である場合には、前記無音部正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、前記無音部残差成分に基づいて前記残差成分を変形して新規残差成分を生成する一方、前記対応させるべき部分が無音部で無い場合には、前記ターゲット正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、前記ターゲット残差成分に基づいて前記残差成分を変形して新規残差成分を生成することを特徴としている。
【０００８】
請求項３記載の構成は、請求項１または請求項２に記載の構成において、前記入力音声信号が無声音であるか否かを検出する無声検出手段を備え、前記無声検出手段により前記入力音声信号が無声音であると検出された場合には、前記ターゲット音声信号を前記変換音声信号として出力することを特徴としている。
【０００９】
請求項４記載の構成は、楽器音に対応する入力音声信号から正弦波成分及び残差成分を抽出する成分抽出工程と、前記正弦波成分を変形して新規正弦波成分を生成し、前記残差成分を変形して新規残差成分を生成する新規成分生成工程と、前記新規正弦波成分及び前記新規残差成分を合成して変換音声を生成する変換音声生成工程と、前記変換音声を生成するに際し、前記ターゲット音声の部分であって、前記入力音声に対応させるべき部分が無音部分であるか否かを検出する無音部分検出工程とを備え、前記新規成分生成工程は、前記対応させるべき部分が無音部である場合には、予め設定した無音部正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、予め設定した無音部残差成分に基づいて前記残差成分を変形して新規残差成分を生成する一方、前記対応させるべき部分が無音部で無い場合には、歌声に対応するターゲット音声から抽出したターゲット正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、歌声に対応するターゲット音声から抽出したターゲット残差成分に基づいて前記残差成分を変形して新規残差成分を生成することを特徴としている。
【００１０】
請求項５記載の構成は、歌声に対応する入力音声信号から正弦波成分及び残差成分を抽出する成分抽出工程と、前記正弦波成分を変形して新規正弦波成分を生成し、前記残差成分を変形して新規残差成分を生成する新規成分生成工程と、前記新規正弦波成分及び前記新規残差成分を合成して変換音声を生成する変換音声生成工程と、前記変換音声を生成するに際し、前記ターゲット音声の部分であって、前記入力音声に対応させるべき部分が無音部分であるか否かを検出する無音部分検出工程とを備え、前記新規成分生成工程は、前記対応させるべき部分が無音部である場合には、予め設定した無音部正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、予め設定した無音部残差成分に基づいて前記残差成分を変形して新規残差成分を生成する一方、前記対応させるべき部分が無音部で無い場合には、楽器音に対応するターゲット音声から抽出したターゲット正弦波成分に基づいて前記正弦波成分を変形して新規正弦波成分を生成するとともに、楽器音に対応するターゲット音声から抽出したターゲット残差成分に基づいて前記残差成分を変形して新規残差成分を生成することを特徴としている。
【００１１】
請求項６記載の構成は、請求項４または請求項５記載の構成において、前記入力音声が無声音であるか否かを検出する無声検出工程を備え、前記無声検出工程において前記入力音声が無声音であると検出された場合には、前記ターゲット音声を前記変換音声として出力することを特徴としている。
【００１２】
【発明の実施の形態】
次に図面を参照して本発明の好適な実施形態について説明する。
［１］  実施形態の概要処理
始めに、実施形態の概要処理について説明する。
図１に概要処理フローチャートを示す。
まず、演奏者(me)が演奏した楽器音（入力音声信号Ｓｖ）をリアルタイムでＦＦＴ（Fast Fourie Transform）を含むＳＭＳ（Spectral Modeling Synthesis）分析を行い（ステップＳ１０１）、フレーム単位で正弦波成分（Sine成分）を抽出し、入力音声信号及び正弦波成分からフレーム単位で残差成分（Residual成分）を生成するとともに（ステップＳ１０２）、並行して入力音声信号が無声音か否かの判別を行う。そして、抽出した正弦波成分からさらに元属性（Attribute）データであるピッチ（Pitch）、アンプ（Amplitude）及びスペクトラル・シェイプ（Spectral Shape）を抽出する（ステップＳ１０３）。
【００１３】
次に、処理中のフレームに対応する特定の歌唱者（Target）のフレーム情報（ターゲットフレーム情報：属性データ、残差成分、子音音声信号など）を参照して、保持されている特定の歌唱者（Target）の歌声が無音部分であるか否かを判別する（ステップＳ１０４）。
ステップＳ１０４の判別において、無音部分ではないと判別した場合は（ステップＳ１０４；ＮＯ）、予め記憶（保存）してある特定の歌唱者（Target）の属性データ（ターゲット属性データ＝ピッチ、アンプ及びスペクトラル・シェイプ）から、入力音声信号Ｓｖのフレームに対応するフレームのターゲット属性データを取り出す（ステップＳ１０５）。
【００１４】
一方、ステップＳ１０４の判別において、特定の歌唱者（Target）の歌声が無音であると判別された場合は（ステップＳ１０４；ＹＥＳ）、演奏者(me)が楽器を演奏して音声信号Ｓｖが入力されているにもかかわらず、変換する対象の音声が存在しないことになり不都合が生じる。そこで、本実施形態においては、後に詳しく説明するように、無音部分変換処理を行って（ステップＳ１０６）、予め設定された無音パートデータ（無音部属性データおよび無音部残差成分）を、ターゲット属性データあるいはターゲット残差成分として使用することになる。
【００１５】
続いて入力音声が無声音か否かを判別する（ステップＳ１０７）。
ステップＳ１０７の判別において、入力音声が無声音ではないと判別された場合は（ステップＳ１０７；ＮＯ）、入力音声信号Ｓｖは有声音であるので、以下に説明する音声変換処理を行う（ステップＳ１０８〜Ｓ１１０）。
次に、入力音声信号Ｓｖから抽出された属性データである元属性データ及びターゲット属性データを適宜選択して組み合わせることにより、新しい属性データ（新属性データ＝ピッチ、アンプ及びスペクトラル・シェイプ）を生成する（ステップＳ１０８）。
【００１６】
つづいて得られた新属性データに基づいて、当該フレームの新正弦波成分を生成する（ステップＳ１０９）。また、ステップＳ１０２において抽出した残差成分から保持された特定の歌唱者（Target）の残差成分に基づいて新規残差成分を生成し（ステップＳ１１０）、ステップＳ１０９において生成した新規正弦波成分とともに逆ＦＦＴを行い、変換音声信号を得る（ステップＳ１１２）。ところで、ステップＳ１０７の判別において、入力音声が無声音であると判別された場合は（ステップＳ１０７；ＹＥＳ）、歌声としては子音部分であるので、音声変換処理は行わず、特定の歌唱者（Target）の子音音声信号をそのまま出力する（ステップＳ１１１）。子音部分は歌声から抽出されたデータを用いなければ不自然になるからである。
【００１７】
このように、ステップＳ１１２において逆ＦＦＴ変換処理によって生成された変換音声信号あるいは、ステップＳ１１１において出力された特定の歌唱者（Target）の音声信号を、カラオケの伴奏となる楽音信号と合成して出力し（ステップＳ１１３）、処理をステップＳ１０１に移行して次のフレームの処理を行う。このように、ステップＳ１０１からステップＳ１１３の処理を循環する過程において、演奏者(me)が楽器を演奏することによって入力された音声信号Ｓｖは、あたかも、特定の歌唱者（Target）が歌った歌声のように変換された音声信号として出力される。
【００１８】
［２］  実施形態の概要構成
図２に実施形態の音声変換装置の概要構成ブロック図を示す。
図２において、ＳＭＳ（Spectral Modeling Synthesis）分析部１０１は、入力音声（例えば、楽器音）をＳＭＳ分析し、正弦波成分ＳＩＮmeおよび残差成分Ｒme(f)を取得する。
より具体的には、ＳＭＳ分析では、入力音声信号をＦＦＴ変換し、ＦＦＴ変換後の結果からローカルピークを求め、求めたローカルピークからピッチＰme-staを抽出するとともに、ローカルピークを時系列順に連携することにより正弦波成分ＳＩＮme（周波数成分及びアンプ成分）を取得する。
【００１９】
また、入力音声信号から正弦波成分ＳＩＮmeを減算することにより、残差成分Ｒme(f)を抽出する。
すなわち、正弦波成分ＳＩＮmeは、正弦波の合成で表すことができる成分であり、残差成分Ｒme(f)は、入力音声信号のうち、正弦波成分として表すことができない残りの成分である。
【００２０】
次に、ＳＭＳ分析部１０１は、ローカルピークにおける高周波成分の大きさに応じて、無声音（子音：'ｔ'、'ｋ'等）を検出し、あるいは、時間軸上で単位時間あたりの零クロス数に応じて無声であることを検出（'ｓ'等）し、無声音であるか否かを示す無声音情報Ｕ／Ｖinfを切換部ＳＷ３へ供給する切換制御信号として供給する。
そして、これらの分析結果は、入力音声信号に関する情報である入力音声情報ＩＮＦmeとして、無音部分検出部１０３に出力される。
さらに、残差成分Ｒme(f)は、残差成分処理部１０４へ出力されることとなる。
【００２１】
次に、ターゲット情報格納部１０２のターゲットデータ格納部１０２ａは、予めＳＭＳ分析した音声変換の対象となる歌唱者（ものまねの対象となる歌唱者：ＴＡＲＧＥＴ）の音声（以下、ターゲット音声という。）の諸データ（正弦波成分ＳＩＮtar、残差成分Ｒtar(f)）を格納している。これらはターゲット情報ＩＮＦtar-syncとして無音部分検出部１０３に出力される。
また、ターゲット情報格納部１０２のターゲット無音データ格納部１０２ｂは、前奏部、間奏部等を含め、入力音声（＝楽器音）に対応する、ターゲット音声が無音部分（ＳＩＬＥＮＴパート）である場合に入力音声信号を音声変換するために用いる予め用意されたターゲットの音声信号に関する諸データ（無音部正弦波成分ＳＩＬＥＮＴsine、無音部残差成分ＳＩＬＥＮＴresidual(f)）を格納している。
【００２２】
次に、無音部分検出部１０３は、入力音声情報ＩＮＦmeおよびターゲット情報ＩＮＦtar-syncに基づき入力音声信号に対応するターゲット音声信号が存在する位置に対応する位置にターゲット正弦波成分ＳＩＮtarが存在するか否かを判別することにより、ターゲット音声信号が無音部分（ＳＩＬＥＮＴパート）であるかを検出し、ターゲット音声信号の無音部分であるか否かを示す無音情報Ｓ／Ｐinfを切換制御信号として切換部ＳＷ１、ＳＷ２へ出力する。これにより切換部ＳＷ１は、無音情報Ｓ／Ｐinfに従って、ターゲット音声信号が無音部分でなければ、ターゲットデータ格納部１０２ａに格納されているターゲット残差成分Ｒtar(f)を残差成分処理部１０４へ供給する。
【００２３】
また、ターゲット音声信号が無音部分であれば、ターゲット残差成分Ｒtar(f)に代えてターゲットデータ格納部１０２ｂに格納されている無音部残差成分ＳＩＬＥＮＴresidual(f)を残差成分処理部１０４へ供給する。また、切換部ＳＷ２は、無音情報Ｓ／Ｐinfに従って、ターゲット音声信号の無音部分でなければ、ターゲットデータ格納部１０２ａに格納されているターゲット正弦波成分ＳＩＮtarを正弦波倍音成分処理部１０６へ出力し、ターゲット音声信号の無音部分であれば、ターゲット正弦波成分ＳＩＮtarに代えてターゲットデータ格納部１０２ｂに格納されている無音部正弦波成分ＳＩＬＥＮＴsineを正弦波倍音成分処理部１０６へ供給する。
【００２４】
残差成分処理部１０４は、入力音声信号（＝楽器音）の残差成分Ｒme(f)を、ターゲット残差成分Ｒtar(f)または無音部残差成分ＳＩＬＥＮＴresidual(f)に基づいて変形する残差成分変形を行い、生成された新たな残差成分Ｒnew(f)を逆高速フーリエ変換処理部１０８へ出力する。次に、正弦波倍音成分処理部１０６は、楽器音の音声信号の正弦波成分ＳＩＮmeを、音声変換の対象となる歌唱者の音声信号の正弦波成分ＳＩＮtarまたは無音部正弦波成分ＳＩＬＥＮＴsineに基づいて変形する正弦波成分変形を行い、生成される新たな正弦波成分ＳＩＮnewを属性変形部１０７へ供給する。属性変形部１０７は、音声変換処理を施した正弦波成分ＳＩＮnewに、必要に応じて振幅やピッチ、スペクトラル・シェープを変更するなどの属性変形を施し、生成される新たな正弦波成分ＳＩＮnew'を、逆高速フーリエ変換処理部１０８へ供給する。
【００２５】
逆高速フーリエ変換処理部１０８は、属性変換された正弦波成分ＳＩＮnew'と上記残差成分Ｒnew(f)とを周波軸上で加算した後、逆ＦＦＴ変換し、最終処理部１１０へ供給する。逆高速フーリエ変換処理部１０９は、入力音声が無声であるときに出力する信号を合成する。すなわち、ターゲット正弦波成分ＳＩＮtar及びターゲット残差成分Ｒtar（ｆ）あるいは無音部正弦波成分ＳＩＬＥＮＴsine及び無音部残差成分ＳＩＬＥＮＴresidual（ｆ）を周波数軸上で加算した後、逆ＦＦＴ変換し、ターゲットの無声音声を最終処理部１１０に出力することとなる。切換部ＳＷ３は、ＳＭＳ分析部１０１から供給される無声音情報Ｕ／Ｖinfに従って、無声音であれば、Ｕ（Unvoice）側から後述する逆高速フーリエ変換処理部１０９からの合成信号（＝ターゲット側の無声音）を最終処理部１１０へ供給し、無声音でなければ、Ｖ（Voice）側から逆高速フーリエ変換処理部１０８からの合成音信号（正弦波成分ＳＩＮnew’と残差成分Ｒnew(f)との合成信号）を最終処理部１１０へ供給する。
【００２６】
最終処理部１１０は、上記逆ＦＦＴ変換された音声信号と楽曲を合成して出力する。
これらの結果、楽器音のような入力音声を自然な歌声に変換することができる。同様にして歌唱者の歌声を入力音声として、自然な楽器音に変換するようなことも可能である。
【００２７】
［３］  実施形態の詳細構成
次に図２〜図１２を参照して実施形態の詳細構成について説明する。
なお、本実施形態は、本発明による音声変換装置（音声変換方法）をカラオケ装置に適用し、楽器音である入力音声を歌唱者の自然な歌声に変換することができる音声変換装置として構成した場合の例である。
図３及び図４に音声変換装置の詳細構成ブロック図を示す。
【００２８】
［３．１］  ＳＭＳ分析部の動作
［３．１．１］  マイク、分析窓生成部及び入力音声信号切出部の動作
図３におけるマイク１、分析窓生成部２、入力音声信号切出部３、高速フーリエ変換部４、ピーク検出部５、無声／有声検出部６、ピッチ検出部７、ピーク連携部８、補間合成部９、残差成分検出部１０、高速フーリエ変換部１１、残差成分保持部１２、正弦波成分保持部１３、平均アンプ演算部１４、アンプ正規化部１５、スペクトラル・シェイプ演算部１６、ピッチ正規化部１７、元フレーム情報保持部１８及び静的変化／ビブラート的変化分離部１９は、ＳＭＳ分析部１０１を構成している。
まず、マイク１は、音声変換をしようとする楽器演奏者（me）の楽器音を収集し、入力音声信号Ｓｖとして入力音声信号切出部３に出力する。
【００２９】
これと並行して、分析窓生成部２は、前回のフレームで検出したピッチの周期の固定倍（例えば、３．５倍など）の周期を有する分析窓（例えば、ハミング窓）ＡＷを生成し、入力音声信号切出部３に出力する。なお、初期状態あるいは前回のフレームが無声音（含む無音）の場合には、予め設定した固定周期の分析窓を分析窓ＡＷとして入力音声信号切出部３に出力する。
これらにより入力音声信号切出部３は、入力された分析窓ＡＷと入力音声信号Ｓvとを掛け合わせ、入力音声信号Ｓvをフレーム単位で切り出し、フレーム音声信号ＦＳvとして高速フーリエ変換部４に出力される。
より具体的には、入力音声信号Ｓｖとフレームとの関係は、図５に示すようになっており、各フレームＦＬは、前のフレームＦＬと一部重なるように設定されている。
【００３０】
［３．１．２］  高速フーリエ変換部の動作
そして、高速フーリエ変換部４においてフレーム音声信号ＦＳvは、解析処理されるとともに、図６に示すように、高速フーリエ変換部４の出力である周波数スペクトルからピーク検出部５によりローカルピークが検出される。
より具体的には、図６に示すような周波数スペクトルに対して、×印を付けたローカルピークを検出する。このローカルピークは、周波数値とアンプ（振幅）値の組み合わせとして表される。
すなわち、図６に示すように、（Ｆ０、Ａ０）、（Ｆ１、A１）、（Ｆ２、Ａ２）、……、（ＦＮ、ＡＮ）というように各フレームについてローカルピークが検出され、表されることとなる。
【００３１】
そして、図５に模式的に示すように、各フレーム毎に一組（以下、ローカルピーク組という。）として無声／有声検出部６及びピーク連携部８に出力される。無声／有声検出部６は、入力されたフレーム毎のローカルピークに基づいて、高周波成分の大きさに応じて無声であることを検出（‘ｔ’、‘ｋ’等）し、無声／有声検出信号Ｕ／Ｖmeをピッチ検出部７、及びクロスフェーダ３０に出力する。あるいは、時間軸上で単位時間あたりの零クロス数に応じて無声であることを検出（‘ｓ’等）し、元無声／有声検出信号Ｕ／Ｖmeをピッチ検出部７に出力する。
【００３２】
さらに無声／有声検出部６は、入力されたフレームについて無声であると検出されなかった場合には、入力されたローカルピーク組をそのまま、ピッチ検出部７に出力する。
また、無声／有声の情報をＵ／Ｖinfとしてクロスフェーダ３０に供給する。
【００３３】
［３．１．３］  ピッチ検出部及びピーク連携部の動作
ピッチ検出部７は、入力されたローカルピーク組に基づいて、当該ローカルピーク組が対応するフレームのピッチＰmeを検出する。
より具体的なフレームのピッチＰmeの検出方法としては、例えば、Maher,R.C.andJ.W.Beauchamp:"Fundamental Frequency Estimation of Musical Signal using a two-way Mismatch Procedure"（Journal of Acounstical Society of America95(4):2254-2263）に開示されているような方法で行う。
【００３４】
次に、ピーク検出部５から出力されたローカルピーク組は、ピーク連携部８において、前後のフレームについて連携が判断され、連携すると認められるローカルピークについては、一連のデータ列となるようにローカルピークをつなげる連携処理がなされる。
【００３５】
ここで、この連携処理について、図７を参照して説明する。
今、図７（Ａ）に示すようなローカルピークが前回のフレームにおいて検出され、図７（Ｂ）に示すようなローカルピークが今回のフレームにおいて検出されたとする。
この場合、ピーク連携部８は、前回のフレームで検出された各ローカルピーク（Ｆ０、Ａ０）、（Ｆ１、A１）、（Ｆ２、Ａ２）、……、（ＦＮ、ＡＮ）に対応するローカルピークが今回のフレームでも検出されたか否かを調べる。対応するローカルピークがあるか否かの判断は、前回のフレームで検出されたローカルピークの周波数を中心にした所定範囲内に今回のフレームのローカルピークが検出されるか否かによって行われる。
【００３６】
より具体的には、図７の例では、ローカルピーク（Ｆ０、Ａ０）、（Ｆ１、A１）、（Ｆ２、Ａ２）……については、対応するローカルピークが検出されているが、ローカルピーク（ＦＫ、ＡＫ）については（図７（Ａ）参照）、対応するローカルピーク（図７（Ｂ）参照）は検出されていない。
ピーク連携部８は、対応するローカルピークを検出した場合は、それらを時系列順に繋げて一組のデータ列として出力する。なお、対応するローカルピークが検出されない場合は、当該フレームについての対応ローカルピークは無しということを示すデータに置き換える。
ここで、図８は、複数のフレームにわたるローカルピークの周波数Ｆ０及び周波数Ｆ１の変化の一例を示している。
【００３７】
このような変化は、アンプ（振幅）Ａ０、Ａ１、Ａ２、……についても同様に認められる。この場合、ピーク連携部８から出力されるデータ列は、フレームの間隔おきに出力される離散的な値である。
なお、ピーク連携部８から出力されるピーク値を、以後において、確定成分という。これは、元の信号（すなわち、音声信号Ｓｖ）のうち正弦波の要素として確定的に置き換えられる成分という意味である。また、置き換えられた各正弦波（厳密には、正弦波のパラメータである周波数及びアンプ（振幅））の各々については、正弦波成分と呼ぶことにする。
【００３８】
次に、補間合成部９は、ピーク連携部８から出力される確定成分について補間処理を行い、補間後の確定成分に基づいていわゆるオシレータ方式で波形合成を行う。この場合の補間の間隔は、後述する出力部３４が出力する最終出力信号のサンプリングレート（例えば、４４．１ＫＨｚ）に対応した間隔で行われる。前述した図８に示す実線は、正弦波成分の周波数Ｆ０、Ｆ１について補間処理が行われた場合のイメージを示している。
【００３９】
［３．１．４］  補間合成部の構成
ここで、補間合成部９の構成を図９に示す。
補間合成部９は、複数の部分波形発生部９ａを備えて構成されており、各部分波形発生部９ａは、指定された正弦波成分の周波数（Ｆ０、Ｆ１、…）およびアンプ（振幅）に応じた正弦波を発生する。ただし、本第１実施形態における正弦波成分（Ｆ０、Ａ０）、（Ｆ１、Ａ１）、（Ｆ２、Ａ２）、……は、各々補間の間隔に従って時事刻々変化していくものであるから、各部分波形発生部９ａから出力される波形は、その変化に従った波形になる。すなわち、ピーク連携部８からは正弦波成分（Ｆ０、Ａ０）、（Ｆ１、Ａ１）、（Ｆ２、Ａ２）、……が順次出力され、各正弦波成分の各々について補間処理が行われるから、各部分波形発生部９ａは、所定の周波数領域内で周波数と振幅が変動する波形を出力する。そして、各部分波形発生部９ａから出力された波形は、加算部９ｂにおいて加算合成される。したがって、補間合成部９の出力信号は、入力音声信号Ｓｖから確定成分を抽出した正弦波成分合成信号ＳSSになる。これらの分析情報と後述する残差信号を合わせ、入力音声信号に関する情報である入力音声信号情報ＩＮＦmeとして無音検出部２１に出力する。
【００４０】
［３．２］  ターゲット情報格納部
一方、ターゲット正弦波成分ＳＩＮtar及びターゲット残差成分Ｒtarは、予め分析されてターゲット情報保持部１０２（例えば、ハードディスク）上のターゲットデータ格納部１０２ａに予め保持されている。
この場合において、ターゲット正弦波成分ＳＩＮtarとしては、平均アンプ静的成分Ａtar-sta、平均アンプビブラート的成分Ａtar-vib、ピッチ静的成分Ｐtar-sta、ピッチビブラート的成分Ｐtar-vib、スペクトラル・シェイプＳtar(f)がある。
なお、本実施形態の音声変換装置をカラオケ装置として用いる場合には、キーを基準より上げ下げした場合、ターゲット正弦波成分ＳＩＮtarを構成するピッチ静的成分Ｐtar-sta及びピッチビブラート的成分Ｐtar-vibについても、同じだけ上げ下げする補正処理を行う。例えば、５０［cent］だけキーを上げた場合には、ピッチ静的成分Ｐtar-sta及びピッチビブラート的成分Ｐtar-vibについても５０［cent］だけ上げなければならない。
【００４１】
また、カラオケ装置のテンポを上げ下げした場合には、変更後のテンポに相当するタイミングで、ターゲット正弦波成分ＳＩＮtar及びターゲット残差成分Ｒtarの読み出し処理を行う必要がある。
この場合において、必要なフレームに対応するタイミングに相当するターゲット正弦波成分ＳＩＮtar及びターゲット残差成分Ｒtarが存在しない場合には、当該必要なフレームのタイミングの前後のタイミングに存在する二つのフレームのターゲット正弦波成分ＳＩＮtar及びターゲット残差成分Ｒtarを読み出し、これら二組のターゲット正弦波成分ＳＩＮtar及びターゲット残差成分Ｒtarにより補間処理を行い、当該必要なタイミングにおけるフレームのターゲット正弦波成分ＳＩＮtar及びターゲット残差成分Ｒtarを生成する。
【００４２】
この場合において、ビブラート的成分（平均アンプビブラート的成分Ａtar-vib及びピッチビブラート的成分Ｐtar-vib）に関しては、そのままでは、ビブラートの周期自体が変化してしまい、不適当であるので、周期が変動しないような補間処理を行う必要がある。又は、ターゲット属性データとして、ビブラートの軌跡そのものを表すデータではなく、ビブラート周期及びビブラート深さのパラメータを保持し、実際の軌跡を演算により求めるようにすれば、この不具合を回避することができる。これらのターゲット音声に関する情報は、ターゲット情報ＩＮＦtar-syncとして無音部検出部２１に出力される。
【００４３】
［３．３］  無音部分検出部
無音部分検出部１０３として機能する無音部分検出部２１は、入力音声信号情報ＩＮＦme及びターゲット情報ＩＮＦtar-syncに基づき、入力音声に対応するターゲット音声が無音ではないと検出した場合には、無音情報Ｓ／Ｐinfを切換制御信号として出力することにより切換部ＳＷ１及び切換部ＳＷ２の双方をターゲットデータ格納部２０ａ側とする。
この結果、残差成分処理部１０４の残差成分選択部２５には、ターゲット残差成分Ｒtarが入力され、正弦波成分属性データ選択部２３には、ターゲット正弦波成分ＳＩＮtarが入力されることとなる。
【００４４】
また、無音部分検出部１０３として機能する無音部分検出部２１は、入力音声に対応するターゲット音声が無音であると検出した場合には、無音情報Ｓ／Ｐinfを切換制御信号として出力することにより切換部ＳＷ１及び切換部ＳＷ２の双方をターゲットデータ格納部２０ａ側からターゲット無音データ格納部２０ｂ側に切り替える。
この結果、残差成分処理部１０４の残差成分選択部２５には、ターゲット残差成分Ｒtarに代えて無音部残差成分ＳＩＬＥＮＴresidual（ｆ）が入力され、正弦波成分属性データ選択部２３には、ターゲット正弦波成分ＳＩＮtarに代えて無音部正弦波成分ＳＩＬＥＮＴsineが入力されることとなる。
【００４５】
［３．３．１］  無音部分検出部の詳細動作
ここで、無音部分検出部２１がターゲット音声が無音部分であると検出した場合の詳細動作を図１０を参照して説明する。
無音部分検出部２１は、入力音声に対応するターゲット音声が無音であると検出された場合には、無音情報Ｓ／Ｐinfを切換制御信号として出力することにより切換部ＳＷ１及び切換部ＳＷ２の双方をターゲットデータ格納部２ａ側からターゲット無音データ格納部２ｂ側に切り替える。
この結果、残差成分処理部１０４の残差成分選択部２５には、ターゲット残差成分Ｒtarに代えて無音部残差成分ＳＩＬＥＮＴresidual（ｆ）が入力され、正弦波成分属性データ選択部２３にはターゲット正弦波成分ＳＩＮtarに代えて無音部正弦波成分ＳＩＬＥＮＴsineが入力されることとなる。
【００４６】
これにより、図１０（ａ）、（ｂ）に示すように、ターゲットデータ（＝ＳＩＮtar＋Ｒtar）が無音部分ではない場合、例えば、入力音声信号Ｘ１に対応するターゲットデータＹ１が存在する場合には、合成音声信号は、図１０（ｄ）に示すように、入力音声信号Ｘ１及びターゲットデータＹ１に基づいて合成される（図中、「Ｘ１＊Ｙ１」で示す。）。同様に、入力音声信号Ｘ３に対応するターゲットデータＹ３が存在する場合には、合成音声信号は、図１０（ｄ）に示すように、入力音声信号Ｘ３及びターゲットデータＹ３に基づいて合成される（図中、「Ｘ３＊Ｙ３」で示す。）。
また、図１０（ａ）、（ｂ）に示すように、ターゲットデータ（＝ＳＩＮtar＋Ｒtar）が無音部分である場合、例えば、入力音声信号Ｘ２あるいは入力音声信号Ｘ４の場合のように、入力音声信号Ｘ２あるいは入力音声信号Ｘ４に対応するターゲットデータが無音部分である場合には、合成音声信号は、入力音声信号Ｘ２及びターゲット無音データＺ（＝ＳＩＬＥＮＴsine＋ＳＩＬＥＮＴresidual（ｆ）；図１０（ｃ）参照）に基づいて合成され（図中、Ｘ２＊Ｚで示す。）あるいは、入力音声信号Ｘ４及びターゲット無音データＺに基づいて合成されることとなる（図中、Ｘ４＊Ｚで示す。）。
【００４７】
これにより、入力音声信号（＝楽器音）が入力されたとき、その部分においてターゲット音声が無音部分であっても、入力音声信号をそのまま出力する場合と比較して、より自然な音声信号が出力されることとなる。
また、入力音声信号（＝楽器音）が無声音である場合には、逆ＦＦＴ処理部１０９の逆高速フーリエ変換部３５からの出力となるターゲット音の無声音がそのまま最終処理部１１０のミキサ３３を介して出力されることとなる。
【００４８】
［３．４］  残差成分処理部
［３．４．１］  残差成分検出部の動作
次に、ＳＭＳ分析部１０１を構成する残差成分検出部１０は、補間合成部９から出力された正弦波成分合成信号ＳSSと入力音声信号Ｓｖとの偏差である残差成分信号ＳRD（時間波形）を生成する。この残差成分信号ＳRDは、音声に含まれる無声成分を多く含む。一方、前述の正弦波成分合成信号ＳSSは有声成分に対応するものである。
ところで、変換の対象（Target）となる歌唱者の声に似せるには、有声音についてだけ処理を行えば、無声音については処理を施す必要はあまりない。
そこで、本実施形態においては、有声母音成分に対応する確定成分について音声変換処理を行うようにしている。
【００４９】
より具体的には、残差成分信号ＳRDについては、ＳＭＳ分析部１０１を構成する高速フーリエ変換部１１で、周波数波形に変換し、得られた残差成分信号（周波数波形）をＲme(f)として残差成分処理部１０４の残差成分保持部１２に保持しておく。
［３．４．２］ 残差成分選択部の動作
一方、残差成分処理部１０４を構成する残差成分選択部２５は、ターゲットフレーム情報保持部２０から入力されたターゲット残差成分Rtar(f)あるいは無音部残差成分SILENTresidual(f)のいずれか一方、残差成分保持部１２に保持されている残差成分信号（周波数波形）Ｒme(f)及びコントローラ２９から入力される残差成分属性データ選択情報に基づいて新しい残差成分属性データである新規残差成分Ｒnew(f)を生成する。
【００５０】
さらに、新規残差成分Ｒnew(f)に関しても、新規スペクトラル・シェイプと同様な状態をシミュレートすべく、図１１に示したように、残差成分の高域成分、すなわち、高域成分部分の残差成分の傾きを新規アンプ成分Ａnewの大きさに応じて補償するスペクトラルチルト補償（spectral tilt correction）を行って、コントロールすることにより、よりリアルな音声を再生することができる。
【００５１】
［３．５］  正弦波倍音成分処理部
［３．５．１］  正弦波成分保持部及び平均アンプ演算部の動作
一方、図１２（Ａ）に示すように、ＳＭＳ分析部１０１を構成するピーク検出部５からピーク連携部８を介して出力された正弦波成分（Ｆ０、Ａ０）、（Ｆ１、Ａ１）、（Ｆ２、Ａ２）、……、（Ｆ(N-1)、Ａ(N-1)）のＮ個の正弦波成分（以下、これらをまとめてＦｎ、Ａｎと表記する。ｎ＝０〜（Ｎ−１）。）は、正弦波倍音成分処理部１０６の正弦波成分保持部１３に保持されるとともに、アンプＡｎは平均アンプ演算部１４に入力され、各フレーム毎に次式により平均アンプＡmeが算出される。
Ａme＝Σ（Ａｎ）／Ｎ
【００５２】
［３．５．２］  アンプ正規化部の動作
次にアンプ正規化部１５において、次式により各アンプＡｎを平均アンプＡmeで正規化し、正規化アンプＡ’ｎを求める。
Ａ’ｎ＝Ａｎ／Ａme
［３．５．３］  スペクトラル・シェイプ演算部の動作
そして、ＳＭＳ分析部１０１を構成するスペクトラル・シェイプ演算部１６において、図１２（Ｂ）に示すように、周波数Ｆｎ及び正規化アンプＡ’ｎにより得られる正弦波成分（Ｆｎ、Ａ’ｎ）をブレークポイントとするエンベロープ（包絡線）をスペクトラル・シェイプＳme(f)として生成する。
この場合において、二つのブレークポイント間の周波数におけるアンプの値は、当該二つのブレークポイントを、例えば、直線補間することにより算出する。なお、補間の方法は直線補間に限られるものではない。
【００５３】
［３．５．４］  ピッチ正規化部の動作
続いてＳＭＳ分析部１０１を構成するピッチ正規化部１７においては、各周波数Ｆｎをピッチ検出部７において検出したピッチＰmeで正規化し、正規化周波数Ｆ’ｎを求める。
Ｆ’ｎ＝Ｆｎ／Ｐme
［３．５．５］  元フレーム情報保持部の動作
これらの結果、ＳＭＳ分析部１０１を構成する元フレーム情報保持部１８は、入力音声信号Ｓvに含まれる正弦波成分に対応する元属性データである平均アンプＡme、ピッチＰme、スペクトラル・シェイプＳme(f)、正規化周波数Ｆ’ｎを保持することとなる。
なお、この場合において、正規化周波数Ｆ’ｎは、倍音列の周波数の相対値を表しており、もし、フレームの倍音構造を完全倍音構造であるとして取り扱うならば、保持する必要はない。
【００５４】
［３．５．６］  静的変化／ビブラート的変化分離部の動作
つづいて、元フレーム情報保持部１８に保持している元属性データのうち、平均アンプＡmeおよびピッチＰmeについては、さらに静的変化／ビブラート的変化分離部１９により、フィルタリング処理などを行って、静的変化成分とビブラート変化的成分とに分離して保持する。なお、さらにビブラート変化的成分からより高周波変化成分であるジッタ変化的成分を分離するように構成することも可能である。
より具体的には、平均アンプＡmeを平均アンプ静的成分Ａme-sta及び平均アンプビブラート的成分Ａme-vibとに分離して保持する。
【００５５】
また、ピッチＰmeをピッチ静的成分Ｐme-sta及びピッチビブラート的成分Ｐme-vibとに分離して保持する。これらの結果、対応するフレームの元フレーム情報データは、図１２（Ｃ）に示すように、入力音声信号Ｓvの正弦波成分に対応する平均アンプ静的成分Ａme-sta、平均アンプビブラート的成分Ａme-vib、ピッチ静的成分Ｐme-sta、ピッチビブラート的成分Ｐme-vib、スペクトラル・シェイプＳme(f)、及び正規化周波数Ｆ’ｎの形で保持されることとなる。
【００５６】
［３．５．７］正弦波成分属性データ選択部の動作
続いて、正弦波倍音成分処理部１０６を構成する正弦波成分属性データ選択部２３は、ターゲットフレーム情報保持部２０から入力されたターゲット正弦波成分ＳＩＮtarあるいは無音部正弦波成分ＳＩＬＥＮＴsineのいずれか一方、入力音声信号Ｓvの正弦波成分に対応する平均アンプ静的成分Ａme-sta、平均アンプビブラート的成分Ａme-vib、ピッチ静的成分Ｐme-sta、ピッチビブラート的成分Ｐme-vib、スペクトラル・シェイプＳme(f)、正規化周波数Ｆ’ｎ、及びコントローラ２９から入力される正弦波成分属性データ選択情報に基づいて、新しい正弦波成分属性データである新規アンプ成分Ａnew、新規ピッチ成分Ｐnew及び新規スペクトラル・シェイプＳnew(f)を生成する。
【００５７】
ところで、一般的にアンプ成分が大きい場合には、高域まで伸びた抜けの明るい音となり、アンプ成分が小さい場合には、逆にこもった音になる。そこで、新規スペクトラル・シェイプＳnew(f)に関しては、このような状態をシミュレートすべく、図１１に示すように、スペクトラル・シェイプの高域成分、すなわち、高域成分部分のスペクトラル・シェイプの傾きを新規アンプ成分Ａnewの大きさに応じて補償するスペクトラルチルト補償（spectral tilt correction）を行って、コントロールすることにより、よりリアルな音声を再生することができる。
【００５８】
［３．５．８］  属性データ変形部の動作
続いて、生成された新規アンプ成分Ａnew、新規ピッチ成分Ｐnew及び新規スペクトラル・シェイプＳnew(f)について、必要に応じてコントローラ２９から入力される正弦波成分属性データ変形情報に基づいて、正弦波倍音成分処理部１０６を構成する属性データ変形部２４によりさらなる変形を行う。例えば、スペクトラル・シェイプを全体的に間延びさせる等の変形を行う。
【００５９】
［３．５．９］  正弦波成分生成部の動作
続いて、正弦波倍音成分処理部１０６を構成する正弦波成分生成部２６は、属性データ変形部２４から出力された変形を伴わない、あるいは、変形を伴う新規アンプ成分Ａnew、新規ピッチ成分Ｐnew及び新規スペクトラル・シェイプＳnew(f)に基づいて、当該フレームにおける新たな正弦波成分（Ｆ”０、Ａ”０）、（Ｆ”１、Ａ”１）、（Ｆ”２、Ａ”２）、……、（Ｆ”(N-1)、Ａ”(N-1)）のＮ個の正弦波成分（以下、これらをまとめて新規正弦波成分ＳＩＮnewと表記する。）を求める。
【００６０】
［３．６］  正弦波変形部
さらに、求めた新規正弦波成分ＳＩＮnew（＝新規周波数Ｆ”ｎおよび新規アンプＡ”ｎ）について、必要に応じてコントローラ２９から入力される正弦波成分変形情報に基づいて、正弦波変形部１０７として機能する正弦波成分変形部２７によりさらなる変形を行って変形新規正弦波成分ＳＩＮ’newを出力する。例えば、偶数次成分の新規アンプＡ”ｎ（＝Ａ”０、Ａ”２、Ａ”４、……）だけを大きく（例えば、２倍する）等の変形を行う。これによって得られる変換音声にさらにバラエティーを持たせることが可能となる。
【００６１】
［３．７］  逆高速フーリエ変換処理部
次に逆高速フーリエ変換処理部１０８を構成する逆高速フーリエ変換部２８は、求めた新規周波数Ｆ”ｎおよび新規アンプＡ”ｎ（＝新規正弦波成分）並びに新規残差成分Ｒnew(f)をＦＦＴバッファに格納し、順次逆ＦＦＴを行い、さらに得られた時間軸信号を一部重複するようにオーバーラップ処理し、それらを加算する加算処理を行うことにより新しい有声音の時間軸信号である変換音声信号（変換有声音声信号）を生成する。
このとき、コントローラ２９から入力される正弦波成分／残差成分バランス制御信号に基づいて、正弦波成分及び残差成分の混合比率を制御し、よりリアルな有声信号を得る。この場合において、一般的には、残差成分の混合比率を大きくするとざらついた声が得られる。
【００６２】
この場合において、ＦＦＴバッファに新規周波数ｆ”ｎおよび新規アンプａ”ｎ（＝新規正弦波成分）並びに新規残差成分Ｒnew(f)を格納するに際し、異なるピッチ、かつ、適当なピッチで変換された正弦波成分をさらに加えることにより変換音声信号としてハーモニーを得ることができる。さらにシーケンサ３１により伴奏音に適合したハーモニーピッチを与えることにより、伴奏に適合した音楽的ハーモニーを得ることができる。
また、逆高速フーリエ変換処理部１０９を構成する逆高速フーリエ変換部３５は、Ｓ／Ｐinfにより切換部ＳＷ２において選択された選択正弦波成分ＳＩＮSLCT（＝ターゲット正弦波成分ＳＩＮtarあるいは無音部正弦波成分ＳＩＬＥＮＴsineのいずれか一方）及びＳ／Ｐinfにより切換部ＳＷ１において選択された選択残差成分ＲSLCT（＝ターゲット残差成分Ｒtarあるいは無音部残差成分ＳＩＬＥＮＴresidual（ｆ）のいずれか一方）をＦＦＴバッファに格納し、順次逆ＦＦＴを行い、さらに得られた時間軸信号を一部重複するようにオーバーラップ処理し、それらを加算する加算処理を行うことにより新しい無声音（無音を含む）の時間軸信号である変換音声信号（変換無声音声信号）を生成する。
【００６３】
［３．８］  切換部ＳＷ３
次に切換部ＳＷ３を構成するクロスフェーダ３０は、無音／有声検出部６が出力した無声音情報Ｕ／Ｖinfに基づいて、入力音声が無声（Ｕ）である場合には、逆高速フーリエ変換部３５の出力となるターゲットの音声信号をそのまま最終処理部１１０のミキサ３３に出力する。
また、ターゲット音声が有声（Ｖ）である場合には、逆高速フーリエ変換変換部２８が出力した変換音声信号をミキサ３３に出力する。
この場合において、切換部ＳＷ３としてクロスフェーダ３０を用いているのは、クロスフェード動作を行わせることによりスイッチ切替時のクリック音の発生を防止するためである。
【００６４】
［３．９］  最終処理部
最終処理部１１０は、シーケンサ３１、音源部３２及びミキサ３３により構成されている。
シーケンサ３１は、カラオケの伴奏音を発生するための音源制御情報を例えば、ＭＩＤＩ（Musical Instrument Digital Interface）データなどとして音源部３２に出力する。
これにより音源部３２は、音源制御情報に基づいて伴奏信号を生成し、ミキサ３３に出力する。
ミキサ３３は、入力音声信号Ｓvあるいは変換音声信号のいずれか一方及び伴奏信号を混合し、混合信号を出力部３４に出力する。
出力部３４は、図示しない増幅器を有し混合信号を増幅して音響信号として出力することとなる。
【００６５】
［４］  実施形態の効果
以上の結果、楽器音等の入力音声が入力されると、ターゲット歌唱者の歌声等の自然な音声に変換されて出力される。
この場合において、ターゲット歌唱者の歌声に無音部分が存在しても、予め用意した無音部データ（無音部正弦波成分＋無音部残差成分）に基づいて変換音声が出力されるため、違和感の少ない自然な変換音声が出力されることとなる。
【００６６】
［５］  実施形態の変形例
［５．１］  第１変形例
上述した実施形態では、楽器音を入力し、分析した歌声を予め保持していたが、これに限らず、歌声を入力し、楽器音を出力すること、あるいは歌声と楽器音の中間的な音色を出力するようにしてもよい。
［５．２］  第２変形例
正弦波成分の抽出は、この実施形態で用いた方法に限らない。要は、音声信号に含まれる正弦波成分を抽出できればよい。
【００６７】
［５．３］  第３変形例
本実施形態においては、ターゲットの正弦波成分及び残差成分を記憶したが、これに換えて、ターゲットの音声そのものを記憶し、それを読み出してリアルタイム処理によって正弦波成分と残差成分とを抽出してもよい。すなわち、本実施形態で入力音声に対して行った処理と同様の処理をターゲットの歌唱者の音声に対して行ってもよい。
［５．４］  第４変形例
本実施形態においては、正弦波成分として、ピッチ、アンプ、スペクトラル・シェイプの全てを取り扱ったが、少なくともいずれか一つを扱うようにすることも可能である。
【００６８】
【発明の効果】
以上説明したように、本発明によれば、楽器の音を予め定めた歌唱者の歌声に似せて変換させたり、歌唱者の歌声を予め定めた楽器の音に似せて変換する場合のように、音声の発生源が全く異質の場合でも、より自然な変換音声を容易に得ることが可能となるとともに、対応する演奏部分にターゲット音声が存在しない場合でも、自然な音声変換を行うことが可能となる。
【図面の簡単な説明】
【図１】  実施形態の概要処理フローチャートである。
【図２】  実施形態の概要構成ブロック図である。
【図３】  実施形態の詳細構成を示すブロック図（その１）である。
【図４】  実施形態の詳細構成を示すブロック図（その２）である。
【図５】  実施形態におけるフレームの状態を示す図である。
【図６】  実施形態における周波数スペクトルのピーク検出を説明するための説明図である。
【図７】  実施形態におけるフレーム毎のピーク値の連携を示す図である
。
【図８】  実施形態における周波数値の変化状態を示す図である。
【図９】  実施形態における処理過程における確定成分の変化状態を示す図である。
【図１０】  無音部分検出部の詳細動作の説明図である。
【図１１】  スペクトラル・シェイプのスペクトラルチルト補償について説明する図である。
【図１２】  実施形態における信号処理の説明図である。
【符号の説明】
１…マイク、２…分析窓生成部、３…入力音声信号切出部、４…高速フーリエ変換部、５…ピーク検出部、６…無声／有声検出部、７…ピッチ抽出部、８…ピーク連携部、９…補間合成部、１０…残差成分検出部、１１…高速フーリエ変換部、１２…残差成分保持部、１３…正弦波成分保持部、１４…平均アンプ演算部、１５…アンプ正規化部、１６…スペクトラル・シェイプ演算部、１７…ピッチ正規化部、１８…元フレーム情報保持部、１９…静的変化／ビブラート的変化分離部、２０…ターゲットフレーム情報保持部、２１…無音部分検出部、２３…正弦波成分属性データ選択部、２４…属性データ変形部、２５…残差成分選択部、２６…正弦波成分生成部、２７…正弦波成分変形部、２８…逆高速フーリエ変換部、２９…コントローラ、３０…クロスフェーダ、３１…シーケンサ、３２…音源部、３３…ミキサ、３４…出力部、３５…逆高速フーリエ変換部、１０１…ＳＭＳ分析部、１０２…ターゲット情報格納部、１０３…無音部分検出部、１０４…残差成分処理部、１０６…正弦波倍音成分処理部、１０７…正弦波変形部、１０８…逆高速フーリエ変換処理部、１０９…逆高速フーリエ変換処理部、１１０…最終処理部。
【図１】
0003907838.tif 000002
【図２】
0003907838.tif 000003
【図３】
0003907838.tif 000004
【図４】
0003907838.tif 000005
【図５】
0003907838.tif 000006
【図６】
0003907838.tif 000007
【図７】
0003907838.tif 000008
【図８】
0003907838.tif 000009
【図９】
0003907838.tif 000010
【図１０】
0003907838.tif 000011
【図１１】
0003907838.tif 000012
【図１２】
0003907838.tif 000013