(57)【要約】【課題】フェーズボコーダ技術を用いたピッチ変換装置において、自然な音質の出力音を得る。【解決手段】入力音声波形をＦＦＴ（Fast  Fourier  Transform）分析処理により周波数分析して振幅スペクトル（Ａ）を得る。振幅スペクトル（Ａ）上でスペクトル強度の局所的ピークをＰ０〜Ｐ２等の複数個検知すると共に、各局所的ピーク毎にＲ０等のスペクトル分布領域を指定する。（Ｂ）に示すように周波数軸上でＲ０等のスペクトル分布領域を入力ピッチに応じて移動してピッチを変更する。このとき、倍音周波数ｆ１と完全倍音周波数２ｆ０との差分Δｆ１を保持しておき、ピッチ変更後の倍音周波数ｆ１１を定める際には、ピッチ変更後の完全倍音周波数２ｆ０１を差分Δｆ１に対応してシフトした周波数を倍音周波数ｆ１１とする。ｆ２等の他の倍音周波数についても同様とする。【選択図】図５
2006064799.tif 000002
【特許請求の範囲】
【請求項１】
原音とは異なるピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に周波数分析処理を施して得られた振幅スペクトルに基づいて基音及びそのｎ倍音（ｎは２以上のいずれかの整数）のスペクトル強度の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす基音及びｎ倍音の振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ変更すべく周波数軸上で移動するように前記振幅スペクトルデータを修正する第１の修正手段であって、前記ｎ倍音の振幅スペクトル分布をピッチ変更すべく移動する際に、前記ｎ倍音の周波数と前記基音の周波数のｎ倍の周波数との差分を保持すると共に、ピッチ変更後の基音の周波数のｎ倍の周波数を前記差分に対応してシフトした周波数をピッチ変更後のｎ倍音の周波数として採用するものと、
前記位相スペクトルデータが表わす位相スペクトル分布を前記スペクトル分布領域毎に前記第１の修正手段でのピッチ変更に対応して修正する第２の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータと、前記第２の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
を備えたピッチ変換装置。
【請求項２】
コンピュータを備えたピッチ変換装置において使用されるプログラムであって、前記コンピュータを、
原音とは異なるピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に周波数分析処理を施して得られた振幅スペクトルに基づいて基音及びそのｎ倍音（ｎは２以上のいずれかの整数）のスペクトル強度の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす基音及びｎ倍音の振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ変更すべく周波数軸上で移動するように前記振幅スペクトルデータを修正する第１の修正手段であって、前記ｎ倍音の振幅スペクトル分布をピッチ変更すべく移動する際に、前記ｎ倍音の周波数と前記基音の周波数のｎ倍の周波数との差分を保持すると共に、ピッチ変更後の基音の周波数のｎ倍の周波数を前記差分に対応してシフトした周波数をピッチ変更後のｎ倍音の周波数として採用するものと、
前記位相スペクトルデータが表わす位相スペクトル分布を前記スペクトル分布領域毎に前記第１の修正手段でのピッチ変更に対応して修正する第２の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータと、前記第２の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
して機能させるプログラム。
【請求項３】
原音とは異なるピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に周波数分析処理を施して得られた振幅スペクトルに基づいてスペクトル強度の複数の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ変更すべく周波数軸上で移動するように前記振幅スペクトルデータを修正する第１の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布において少なくとも１つの局所的ピークに対応するピーク周波数の一方側に所望のピーク周波数を設定する設定手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布における複数の局所的ピークにそれぞれ対応するピーク周波数と前記設定手段での設定に係るピーク周波数とにそれぞれ対応してスペクトルエンベロープを形成すべきエンベロープ値を指示する指示手段と、
前記設定に係るピーク周波数に対応して前記指示手段により指示されたエンベロープ値に最も近い局所的ピークのスペクトル強度を有するスペクトル分布領域を前記生成手段での生成に係る振幅スペクトルデータの示すスペクトル分布領域において前記設定に係るピーク周波数と所定の近似関係にあるピーク周波数を有するスペクトル分布領域のうちから選択する選択手段と、
前記選択手段での選択に係るスペクトル分布領域の振幅スペクトルデータ及び位相スペクトルデータを前記生成手段での生成に係る振幅スペクトルデータ及び位相スペクトルデータのうちからコピーするコピー手段と、
前記コピー手段でのコピーに係る振幅スペクトルデータが表わす振幅スペクトル分布においてピーク周波数を前記設定に係るピーク周波数に変更すべく該振幅スペクトル分布を周波数軸上で移動するように前記コピーに係る振幅スペクトルデータを修正する第２の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布において各振幅スペクトル分布毎に局所的ピークのスペクトル強度を前記指示手段で該局所的ピークに対応するピーク周波数に対応して指示されたエンベロープ値に合わせるように各スペクトルビンのスペクトル強度を修正すると共に、前記第２の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布において局所的ピークのスペクトル強度を前記指示手段で前記設定に係るピーク周波数に対応して指示されたエンベロープ値に合わせるように各スペクトルビンのスペクトル強度を修正する第３の修正手段と、
前記生成手段での生成に係る位相スペクトルデータが表わす位相スペクトル分布を前記第１の修正手段でのピッチ変更に対応して前記スペクトル分布領域毎に修正すると共に、前記コピー手段でのコピーに係る位相スペクトルデータが表わす位相スペクトル分布を前記第２の修正手段での周波数変更に対応して修正する第４の修正手段と、
前記第１〜第３の修正手段での修正に係る振幅スペクトルデータと、前記第４の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
を備えたピッチ変換装置。
【請求項４】
コンピュータを備えたピッチ変換装置において使用されるプログラムであって、前記コンピュータを、
原音とは異なるピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に周波数分析処理を施して得られた振幅スペクトルに基づいてスペクトル強度の複数の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ変更すべく周波数軸上で移動するように前記振幅スペクトルデータを修正する第１の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布において少なくとも１つの局所的ピークに対応するピーク周波数の一方側に所望のピーク周波数を設定する設定手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布における複数の局所的ピークにそれぞれ対応するピーク周波数と前記設定手段での設定に係るピーク周波数とにそれぞれ対応してスペクトルエンベロープを形成すべきエンベロープ値を指示する指示手段と、
前記設定に係るピーク周波数に対応して前記指示手段により指示されたエンベロープ値に最も近い局所的ピークのスペクトル強度を有するスペクトル分布領域を前記生成手段での生成に係る振幅スペクトルデータの示すスペクトル分布領域において前記設定に係るピーク周波数と所定の近似関係にあるピーク周波数を有するスペクトル分布領域のうちから選択する選択手段と、
前記選択手段での選択に係るスペクトル分布領域の振幅スペクトルデータ及び位相スペクトルデータを前記生成手段での生成に係る振幅スペクトルデータ及び位相スペクトルデータのうちからコピーするコピー手段と、
前記コピー手段でのコピーに係る振幅スペクトルデータが表わす振幅スペクトル分布においてピーク周波数を前記設定に係るピーク周波数に変更すべく該振幅スペクトル分布を周波数軸上で移動するように前記コピーに係る振幅スペクトルデータを修正する第２の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布において各振幅スペクトル分布毎に局所的ピークのスペクトル強度を前記指示手段で該局所的ピークに対応するピーク周波数に対応して指示されたエンベロープ値に合わせるように各スペクトルビンのスペクトル強度を修正すると共に、前記第２の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布において局所的ピークのスペクトル強度を前記指示手段で前記設定に係るピーク周波数に対応して指示されたエンベロープ値に合わせるように各スペクトルビンのスペクトル強度を修正する第３の修正手段と、
前記生成手段での生成に係る位相スペクトルデータが表わす位相スペクトル分布を前記第１の修正手段でのピッチ変更に対応して前記スペクトル分布領域毎に修正すると共に、前記コピー手段でのコピーに係る位相スペクトルデータが表わす位相スペクトル分布を前記第２の修正手段での周波数変更に対応して修正する第４の修正手段と、
前記第１〜第３の修正手段での修正に係る振幅スペクトルデータと、前記第４の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
して機能させるプログラム。
【請求項５】
原音とは異なるピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に分析窓の中心が声帯振動開始位置からずれた状態で周波数分析処理を施して得られた振幅スペクトルに基づいて基音及びそのｎ倍音（ｎは２以上のいずれかの整数）のスペクトル強度の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ変更すべく周波数軸上で移動するように前記振幅スペクトルデータを修正する第１の修正手段と、
前記位相スペクトルデータに関して基音のピーク位相からのタイムシフト量の候補値を複数設定すると共に各候補値毎に基音及びｎ倍音のピーク位相を算出する計算手段と、
前記複数の候補値にそれぞれ対応する複数群のピーク位相のうちから平坦に最も近い位相揃い状態となる候補値に対応する１群のピーク位相を選択し、選択に係る群中の基音及びｎ倍音のピーク位相にそれぞれ一致するように前記位相スペクトルデータ中の基音及びｎ倍音のピーク位相を修正する第２の修正手段と、
前記第２の修正手段での修正に係る位相スペクトルデータが表わす位相スペクトル分布において前記スペクトル分布領域毎に各周波数を前記第１の修正手段でのピッチ変更に対応して修正する第３の修正手段と、
前記第３の修正手段での修正に係る位相スペクトルデータに関して前記第１の修正手段でのピッチ変更量を考慮してピッチ変更前の基音のピーク位相へのタイムシフト量を算出すると共に算出に係るタイムシフト量に応じて前記第３の修正手段での修正に係る位相スペクトルデータ中の基音及びｎ倍音のピーク位相を修正する第４の修正手段と、
前記第４の修正手段での修正に係る位相スペクトルデータにおいて基音に対応するスペクトル分布領域では前記第２及び第４の修正手段による基音のピーク位相の変更量に対応して基音のピーク位相以外の位相を修正すると共にｎ倍音に対応するスペクトル分布領域では前記第２及び第４の修正手段によるｎ倍音のピーク位相の変更量に対応してｎ倍音のピーク位相以外の位相を修正する第５の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータと、前記第２〜第５の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
を備えたピッチ変換装置。
【請求項６】
コンピュータを備えたピッチ変換装置において使用されるプログラムであって、前記コンピュータを、
原音とは異なるピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に分析窓の中心が声帯振動開始位置からずれた状態で周波数分析処理を施して得られた振幅スペクトルに基づいて基音及びそのｎ倍音（ｎは２以上のいずれかの整数）のスペクトル強度の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ変更すべく周波数軸上で移動するように前記振幅スペクトルデータを修正する第１の修正手段と、
前記位相スペクトルデータに関して基音のピーク位相からのタイムシフト量の候補値を複数設定すると共に各候補値毎に基音及びｎ倍音のピーク位相を算出する計算手段と、
前記複数の候補値にそれぞれ対応する複数群のピーク位相のうちから平坦に最も近い位相揃い状態となる候補値に対応する１群のピーク位相を選択し、選択に係る群中の基音及びｎ倍音のピーク位相にそれぞれ一致するように前記位相スペクトルデータ中の基音及びｎ倍音のピーク位相を修正する第２の修正手段と、
前記第２の修正手段での修正に係る位相スペクトルデータが表わす位相スペクトル分布において前記スペクトル分布領域毎に各周波数を前記第１の修正手段でのピッチ変更に対応して修正する第３の修正手段と、
前記第３の修正手段での修正に係る位相スペクトルデータに関して前記第１の修正手段でのピッチ変更量を考慮してピッチ変更前の基音のピーク位相へのタイムシフト量を算出すると共に算出に係るタイムシフト量に応じて前記第３の修正手段での修正に係る位相スペクトルデータ中の基音及びｎ倍音のピーク位相を修正する第４の修正手段と、
前記第４の修正手段での修正に係る位相スペクトルデータにおいて基音に対応するスペクトル分布領域では前記第２及び第４の修正手段による基音のピーク位相の変更量に対応して基音のピーク位相以外の位相を修正すると共にｎ倍音に対応するスペクトル分布領域では前記第２及び第４の修正手段によるｎ倍音のピーク位相の変更量に対応してｎ倍音のピーク位相以外の位相を修正する第５の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータと、前記第２〜第５の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
して機能させるプログラム。
【請求項７】
原音より高いピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に周波数分析処理を施して得られた振幅スペクトルに基づいてスペクトル強度の複数の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ上昇すべく周波数軸上で高音側に移動するように前記振幅スペクトルデータを修正する第１の修正手段と、
前記位相スペクトルデータが表わす位相スペクトル分布を前記スペクトル分布領域毎に前記第１の修正手段でのピッチ上昇に対応して修正する第２の修正手段と、
前記生成手段での生成に係る振幅スペクトルデータの示すスペクトル分布領域内のノイズ成分領域であって前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布のうち少なくとも１つの振幅スペクトル分布の一方側に生じたスペクトル欠如領域と周波数帯域が一致するノイズ成分領域からスペクトルビンをコピーするコピー手段と、
前記コピー手段でのコピーに係るスペクトルビンを前記スペクトル欠如領域に付加するように前記修正に係る振幅スペクトルデータのうち前記少なくとも１つの振幅スペクトル分布を表わす振幅スペクトルデータを修正する第３の修正手段と、
前記第１及び第３の修正手段での修正に係る振幅スペクトルデータと、前記第２の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
を備えたピッチ変換装置。
【請求項８】
コンピュータを備えたピッチ変換装置において使用されるプログラムであって、前記コンピュータを、
原音より高いピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に周波数分析処理を施して得られた振幅スペクトルに基づいてスペクトル強度の複数の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ上昇すべく周波数軸上で高音側に移動するように前記振幅スペクトルデータを修正する第１の修正手段と、
前記位相スペクトルデータが表わす位相スペクトル分布を前記スペクトル分布領域毎に前記第１の修正手段でのピッチ上昇に対応して修正する第２の修正手段と、
前記生成手段での生成に係る振幅スペクトルデータの示すスペクトル分布領域内のノイズ成分領域であって前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布のうち少なくとも１つの振幅スペクトル分布の一方側に生じたスペクトル欠如領域と周波数帯域が一致するノイズ成分領域からスペクトルビンをコピーするコピー手段と、
前記コピー手段でのコピーに係るスペクトルビンを前記スペクトル欠如領域に付加するように前記修正に係る振幅スペクトルデータのうち前記少なくとも１つの振幅スペクトル分布を表わす振幅スペクトルデータを修正する第３の修正手段と、
前記第１及び第３の修正手段での修正に係る振幅スペクトルデータと、前記第２の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、歌唱合成等に用いるに好適なピッチ変換装置及びプログラムに関し、更に詳しくはフェーズボコーダ技術を用いたピッチ変換技術の改良に関するものである。
【背景技術】
【０００２】
従来、フェーズボコーダ技術を用いたピッチ変換技術が知られている（例えば非特許文献１参照）。また、このようなピッチ変換技術を利用してピッチ変更を行なう歌唱合成装置も本願と同一出願人により提案され、知られている（例えば、特許文献１参照）。この種の歌唱合成装置におけるピッチ変更処理を図１３について説明する。
【０００３】
図１３（Ａ）は、原音声の音声波形をＦＦＴ（Fast  Fourier  Transform）分析処理により周波数分析して得られた振幅スペクトルを示すものである。このような振幅スペクトル上では、複数の局所的ピークＰ０〜Ｐ２が指定されると共に、各局所的ピーク毎にその前後のスペクトルを含むＲ０等のスペクトル分布領域が指定される。局所的ピークＰ０，Ｐ１，Ｐ２は、それぞれ基音，第１倍音（基音の２倍の周波数を有する２倍音），第２倍音（基音の３倍の周波数を有する３倍音）に対応するピークであり、Ｒ０，Ｒ１，Ｒ２は、それぞれピークＰ０，Ｐ１，Ｐ２に対応するスペクトル分布領域である。ｆａ，ｆｂ，ｆｃ，ｆｄは、それぞれスペクトル分布領域Ｒ０，Ｒ１，Ｒ２，Ｒ３の下限周波数であり、スペクトル分布領域Ｒ０，Ｒ１，Ｒ２の上限周波数は、それぞれ下限周波数ｆｂ，ｆｃ，ｆｄよりわずかに低い周波数に設定される。
【０００４】
ピッチ変更処理では、一例として図１３（Ｂ）に示すようなピッチ上昇処理を行なう。ピッチ上昇処理では、原音声より高いピッチ（音高）を得るように各スペクトル分布領域毎に振幅スペクトル分布を周波数軸上で高音側に移動する。すなわち、原音声の基音のピークの周波数をｆ０とし、ピッチ上昇後の基音のピークの周波数をｆ０１とすると、ピッチ変更比Ｔは、Ｔ＝ｆ０１／ｆ０となる。ピッチ上昇後の基音のピークＰ０が周波数ｆ０１＝ｆ０Ｔに位置するように領域Ｒ０内の振幅スペクトル分布を周波数軸上で高音側に移動する。また、原音声の第１，第２倍音のピークＰ１，Ｐ２の周波数をそれぞれｆ１，ｆ２とすると、ピッチ上昇後の第１倍音のピークＰ１が周波数ｆ１１＝ｆ１Ｔに位置するように領域Ｒ１内の振幅スペクトル分布を周波数軸上で高音側に移動すると共に、ピッチ上昇後の第２倍音のピークＰ２が周波数ｆ２１＝ｆ２Ｔに位置するように領域Ｒ２内の振幅スペクトル分布を周波数軸上で高音側に移動する。
【０００５】
図１３（Ｂ）に示した例では、図１３（Ａ）に示したピークＰ０〜Ｐ２を結ぶスペクトルエンベロープ（原音声のスペクトルエンベロープ）ＥＶａと同様の形状を有するスペクトルエンベロープＥＶｂにピッチ上昇後のピークＰ０〜Ｐ２を合わせるように振幅スペクトル分布を配置したので、ピッチ上昇後の音色は、原音声の音色と同じになる。原音声とは異なる音色を得たいときは、スペクトルエンベロープＥＶａとは異なる形状をスペクトルエンベロープＥＶｂに付与した上でスペクトルエンベロープＥＶｂにピッチ上昇後のピークＰ０〜Ｐ２を合わせるように振幅スペクトル分布を配置すればよい。
【０００６】
一方、上記した周波数分析処理により図１３（Ａ）の振幅スペクトルに対応した位相スペクトルが得られる。このような位相スペクトルに基づいて前述のスペクトル分布領域毎に位相スペクトル分布が定められる。図１４には、あるスペクトル分布領域における振幅スペクトル分布ａｍ０及び位相スペクトル分布ｐｈ０を示す。簡単のため、振幅スペクトル分布ａｍ０は、図１３（Ａ）の領域Ｒ０内の振幅スペクトル分布とは異なる単純な形状のものを示した。図１４において、ｆ０は局所的ピークに対応するピーク周波数、φ０はピーク周波数ｆ０に対応するピーク位相であり、ｆＬ及びｆＵは、スペクトル分布領域の下限周波数及び上限周波数をそれぞれ表わす。
【０００７】
図１５には、前述のピッチ変更処理によりピッチ上昇を行なったときの振幅スペクトル分布ＡＭ０及び位相スペクトル分布ＰＨ０を示す。振幅スペクトル分布ＡＭ０は、ピッチ上昇後のピークが周波数ｆ０１＝ｆ０Ｔに位置するように振幅スペクトル分布ａｍ０を周波数軸上で高音側に移動したものである。位相スペクトル分布ＰＨ０は、ピッチ上昇後のピーク位相が周波数ｆ０１＝ｆ０Ｔに位置するように（振幅スペクトル分布ａｍ０の周波数変更に対応して）位相スペクトル分布ｐｈ０を周波数軸上で高音側に移動すると共に、移動後の位相スペクトル分布において各スペクトルビンの位相を振幅スペクトル分布ａｍ０のピッチ上昇に対応して修正したものである。ここで、各スペクトルビンとは、位相スペクトル分布において各周波数に対応する位相スペクトルのことである。
【０００８】
各スペクトルビンの位相を修正するには、次の数１の式に従って位相変更量Δφ０を求め、各スペクトルビンの位相にΔφ０を加える。数１の式において、Δｔは、フレーム間隔（フレーム周期）を表わす。
【０００９】
【数１】
2006064799.tif 000003
【００１０】
例えば、ピッチ上昇後のピーク周波数ｆ０１に対応するスペクトルビンについては、ピーク位相φ０にΔφ０を加えてφ０＋Δφ０なる位相とする。他のスペクトルビンについても、各スペクトルビン毎にΔφ０を加えた位相とする。この結果、図１５に示すような位相スペクトル分布ＰＨ０が得られる。図１５において、ＦＬ及びＦＵは、ピッチ上昇後のスペクトル分布領域の下限周波数及び上限周波数をそれぞれ表わす。図１４において、周波数ｆ０，ｆＬの差分は（ｆ０−ｆＬ）であり、周波数ｆＵ，ｆ０の差分は（ｆＵ−ｆ０）である。これらの差分（ｆ０−ｆＬ），（ｆＵ−ｆ０）にそれぞれ対応して下限周波数ＦＬ及び上限周波数ＦＵが設定される。
【００１１】
図１３（Ｂ）に示す各スペクトル分布領域毎の振幅スペクトル分布を表わす振幅スペクトルデータと、各スペクトル分布領域毎に図１３（Ｂ）の振幅スペクトル分布にそれぞれ対応し且つ図１４，１５に関して前述したような修正処理を受け位相スペクトル分布を表わす位相スペクトルデータとは、逆ＦＦＴ処理等により時間領域の音声信号に変換される。この結果、原音声に比べてピッチがＴ倍高い音声信号が得られる。このような音声信号としては、前述したようにスペクトルエンベロープを変更することにより原音声とは音色を異にするものを得ることもできる。
【非特許文献１】Ｊ．Laroche  and  Ｍ．Dolson，“New  Phase−Vocoder  Techniques  for  Real−Time  Pitch  Shifting，Chorusing，Harmonizing，and  Other  Exotic  Audio  Modifications”Ｊ．Audio  Eng．Soc．，Vol．４７，No．１１，１９９９  November
【特許文献１】特開２００３−２５５９９８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上記した音声変換技術によると、音声波形の周波数分析結果を調和成分と非調和成分とに分離しないで音声変換を行なうため、非調和成分が分離して響くことがなく、自然な変換音が得られるはずである。また、有声音の摩擦音や破裂音であっても自然な変換音が得られるはずである。しかしながら、本願の発明者の研究によれば、一層自然な音質を得るためには、いくつかの改良すべき点があることが判明した。
【００１３】
まず、図１３に関して前述したピッチ変更処理にあっては、図１３（Ａ）に示すように基音のピーク周波数ｆ０をそれぞれ２倍，３倍にした完全倍音周波数２ｆ０，３ｆ０を想定すると、第１倍音のピーク周波数ｆ１が２ｆ０より高音側にずれたり、第２倍音のピーク周波数ｆ２が３ｆ０より低音側にずれたりしていずれも対応する完全倍音周波数に一致しないことが多い。これは、実際の人間の声が完全に周期的でないことに由来する。
【００１４】
図１３（Ａ）に示した各スペクトル分布領域毎の振幅スペクトル分布に図１３（Ｂ）に関して前述したようにピッチ上昇処理を施すと、第１及び第２倍音のピーク周波数ｆ１１及びｆ２１は、それぞれｆ１Ｔ及びｆ２Ｔとなり、基音のピーク周波数ｆ０１に関して想定された完全倍音周波数２ｆ０１及び３ｆ０１からそれぞれ大きくずれることになる。すなわち、ピッチ上昇前においては、第１倍音のピーク周波数ｆ１と完全倍音周波数２ｆ０との差分Δｆ１は、Δｆ１＝ｆ１−２ｆ０であり、第２倍音のピーク周波数ｆ２と完全倍音周波数３ｆ０との差分Δｆ２は、Δｆ２＝ｆ２−３ｆ０であるのに対し、ピッチ上昇後においては、第１倍音のピーク周波数ｆ１１と完全倍音周波数２ｆ０１との差分Δｆ１１は、Δｆ１１＝ｆ１Ｔ−２ｆ０１＝ｆ１Ｔ−２ｆ０Ｔ＝（ｆ１−２ｆ０）Ｔとなり、第２倍音のピーク周波数ｆ２１と完全倍音周波数３ｆ０１との差分Δｆ２１は、Δｆ２１＝ｆ２Ｔ−３ｆ０１＝ｆ２Ｔ−３ｆ０Ｔ＝（ｆ２−３ｆ０）Ｔとなる。
【００１５】
差分Δｆ１及びΔｆ２の絶対値をそれぞれ差分Δｆ１１及びΔｆ２１の絶対値と対比すると、差分Δｆ１１及びΔｆ２１の絶対値は、それぞれ差分Δｆ１及びΔｆ２の絶対値のＴ倍になっているのがわかる。図１３（Ｂ）に示したような各スペクトル分布領域毎の振幅スペクトル分布に基づいて前述したように時間領域の音声信号を発生させると、倍音のピーク周波数が完全倍音周波数から大きくずれているため、出力音の音質が不自然になるという問題点がある。また、音質の不自然さは、ピッチ変更比Ｔが大きいほど顕著になることも確認されている。
【００１６】
その上、図１３（Ｂ）に示したような各スペクトル分布領域毎の振幅スペクトル分布にあっては、例えばピークＰ０を含む振幅スペクトル分布の一方側及び他方側にスペクトル欠如領域Ｑ１及びＱ２が生ずる。このため、出力音には、原音声のような生々しさが乏しいという問題点がある。
【００１７】
図１３では、ピッチ変更処理としてピッチ上昇処理の例を示したが、ピッチ変更処理としてはピッチ低下処理も可能である。ピッチ低下処理では、各スペクトル分布領域毎に振幅スペクトル分布を周波数軸上で低音側に移動する。図１６は、本願の発明者の研究に係るピッチ・音色変更処理の一例を示すもので、この例では、ピッチ低下処理が行なわれる。
【００１８】
図１６（Ａ）は、図１３（Ａ）に示したのと同様の振幅スペクトルを示すもので、同様の部分には同様の符号を付して詳細な説明を省略する。ピッチ低下処理では、スペクトル分布領域Ｒ０，Ｒ１，Ｒ２の振幅スペクトル分布をそれぞれ図１６（Ｂ）に示すように周波数軸上で低音側に移動する。移動後の振幅スペクトル分布において、ピークＰ０対応のピークＰ０１に対応するピーク周波数はＦ０であり、ピークＰ１対応のピークＰ１１に対応するピーク周波数はＦ２であり、ピークＰ２対応のピークＰ２１に対応するピーク周波数はＦ５である。
【００１９】
原音声のスペクトルエンベロープＥＶａとは形状が異なる所定のスペクトルエンベロープＥＶｃを想定する。このようなエンベロープＥＶｃを十分に表現可能とするため、ピーク周波数Ｆ０とＦ２との間にはピーク周波数Ｆ１を、ピーク周波数Ｆ２とＦ５との間にはピーク周波数Ｆ３，Ｆ４を、ピーク周波数Ｆ５の高音側にはピーク周波数Ｆ６，Ｆ７をそれぞれ設定する。ピーク周波数Ｆ１については、スペクトル分布領域Ｒ０〜Ｒ２のうちＦ１に最も近いピーク周波数ｆ０を有するスペクトル分布領域Ｒ０を選択し、この領域Ｒ０から振幅スペクトル分布をコピーする。コピーに係る振幅スペクトル分布をピーク周波数がｆ０からＦ１に変更されるように周波数軸上で高音側に移動する。
【００２０】
ピーク周波数Ｆ３，Ｆ４についても、ピーク周波数Ｆ１について上記したと同様にＦ３，Ｆ４に最も近いピーク周波数ｆ１を有するスペクトル分布領域Ｒ１を選択し、この領域Ｒ１からそれぞれＦ３，Ｆ４に対応して振幅スペクトル分布をコピーする。コピーに係る第１の振幅スペクトル分布をピーク周波数がｆ１からＦ３に変更されるように周波数軸上で低音側に移動する。また、コピーに係る第２の振幅スペクトル分布をピーク周波数がｆ１からＦ４に変更されるように周波数軸上で高音側に移動する。
【００２１】
ピーク周波数Ｆ６，Ｆ７についても、ピーク周波数Ｆ３，Ｆ４について上記したと同様にＦ６，Ｆ７にそれぞれ対応してスペクトル分布領域Ｒ２の振幅スペクトル分布をコピーする。コピーに係る第１の振幅スペクトル分布をピーク周波数がｆ２からＦ６に変更されるように周波数軸上で高音側に移動する。コピーに係る第２の振幅スペクトル分布をピーク周波数がｆ２からＦ７に変更されるように周波数軸上で高音側に移動する。
【００２２】
ピーク周波数Ｆ０，Ｆ２，Ｆ５にそれぞれ対応する振幅スペクトル分布において、スペクトルエンベロープＥＶｃにピークＰ０１，Ｐ１１，Ｐ２１を合わせるように各スペクトルビンのスペクトル強度を修正する。ここで、各スペクトルビンとは、振幅スペクトル分布において各周波数に対応する振幅スペクトルのことである。また、ピーク周波数Ｆ１に対応する振幅スペクトル分布においては、ピークＰ０２をスペクトルエンベロープＥＶｃに合わせるように各スペクトルビンのスペクトル強度を修正する。
【００２３】
ピーク周波数Ｆ３に対応する振幅スペクトル分布においては、ピークＰ１２をスペクトルエンベロープＥＶｃに合わせるように各スペクトルビンのスペクトル強度を修正する。また、ピーク周波数Ｆ４に対応する振幅スペクトル分布においては、ピークＰ１３をスペクトルエンベロープＥＶｃに合わせるように各スペクトルビンのスペクトル強度を修正する。
【００２４】
ピーク周波数Ｆ６に対応する振幅スペクトル分布においては、ピークＰ２２をスペクトルエンベロープＥＶｃに合わせるように各スペクトルビンのスペクトル強度を修正する。また、ピーク周波数Ｆ７に対応する振幅スペクトル分布においては、ピークＰ２３をスペクトルエンベロープＥＶｃに合わせるように各スペクトルビンのスペクトル強度を修正する。
【００２５】
上記のようなピッチ・音色変更処理の結果として、図１６（Ｂ）に示すようにピーク周波数Ｆ０〜Ｆ７に対応する８つの振幅スペクトル分布がピークＰ０１，Ｐ０２，Ｐ１１〜Ｐ１３，Ｐ２１〜Ｐ２３をスペクトルエンベロープＥＶｃに合わせた状態で配置されることになる。
【００２６】
上記したピッチ・音色変更処理によれば、ピッチ変更後のあるピーク（例えばピークＰ０１）の一方側に定めた所定のピーク周波数（例えばＦ１）に対応するスペクトル分布領域としては、該所定のピーク周波数に最も近いピーク周波数（例えばｆ０）を有するスペクトル分布領域を選択し、選択に係るスペクトル分布領域の振幅スペクトル分布をコピーして音声信号発生に使用するので、自然な音色を得やすい。しかしながら、例えばピーク周波数Ｆ３，Ｆ４にそれぞれ対応するスペクトル分布領域としては、ピークＰ１を有するスペクトル分布領域の振幅スペクトル分布をコピーした上で各スペクトルビンのスペクトル強度を増大させて使用するので、ノイズ性が強い音色になるという問題点がある。すなわち、スペクトル強度が小さいピークは、比較的不安定であり、そのスペクトル強度を増大させると不安定さが一層拡大されてノイズっぽい印象を与えることとなる。
【００２７】
図１７，１９は、本願の発明者の研究に係るＦＦＴ分析処理において分析窓の時間位置を異ならせた例を示すものである。これらの図において、ｔは時間を示す。Ｔｐは、入力音声波形の１周期を示し、この１周期は、入力音声のピッチに対応する。ｔＳ１〜ｔＳ３は、いずれも声帯振動開始位置を示す。
【００２８】
図１７の例では、分析窓ＦＷの中心ＷＣを声帯振動開始位置ｔＳ２，ｔＳ３の間の中央位置近傍に合わせた状態でＦＦＴ分析を行なうことにより図１８に示すようなピーク位相を得た。図１８において、横軸は周波数ｆを示し、縦軸は位相（０〜２π）を示す。ｆ０は、基音のピーク周波数であり、ｆ１〜ｆ５はいずれも倍音のピーク周波数である。図１８によれば、ピーク周波数ｆ０〜ｆ５にそれぞれ対応するピーク位相φ０〜φ５がばらばらの値で揃っていないことがわかる。
【００２９】
図１９の例では、分析窓ＦＷの中心ＷＣを声帯振動開始位置ｔＳ３に合わせた状態でＦＦＴ分析を行なうことにより図２０に示すようなピーク位相を得た。図２０において、図１８と同様の部分には同様の符号を付してある。図２０によれば、ピーク位相φ０’〜 φ５’がある値を中心にほぼ揃っていることがわかる。このように位相揃い状態にあるのが自然な音声波形の特徴である。図１９に示した分析窓位置での位相がばらばらであると、前述したように時間領域の音声信号を発生させる際に音声らしくない波形になってしまい、結果として不自然な出力音になってしまう。換言すれば、図１８に示した位相スペクトルを用いて音声変換を行なうと、出力音の音質が不自然になるという問題点がある。
【００３０】
この発明の目的は、上記のような問題点を解決し、自然な音質の出力音が得られる新規なピッチ変換装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００３１】
この発明に係る第１のピッチ変換装置は、
原音とは異なるピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に周波数分析処理を施して得られた振幅スペクトルに基づいて基音及びそのｎ倍音（ｎは２以上のいずれかの整数）のスペクトル強度の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす基音及びｎ倍音の振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ変更すべく周波数軸上で移動するように前記振幅スペクトルデータを修正する第１の修正手段であって、前記ｎ倍音の振幅スペクトル分布をピッチ変更すべく移動する際に、前記ｎ倍音の周波数と前記基音の周波数のｎ倍の周波数との差分を保持すると共に、ピッチ変更後の基音の周波数のｎ倍の周波数を前記差分に対応してシフトした周波数をピッチ変更後のｎ倍音の周波数として採用するものと、
前記位相スペクトルデータが表わす位相スペクトル分布を前記スペクトル分布領域毎に前記第１の修正手段でのピッチ変更に対応して修正する第２の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータと、前記第２の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
を備えたものである。
【００３２】
第１のピッチ変換装置によれば、基音のｎ倍音の振幅スペクトル分布をピッチ変更すべく移動する際に、ｎ倍音の周波数と基音の周波数のｎ倍の周波数との差分を保持すると共に、ピッチ変更後の基音の周波数のｎ倍の周波数を前記差分に対応してシフトした周波数をピッチ変更後のｎ倍音の周波数として採用するようにしたので、ピッチ変更後のｎ倍音の周波数は、ピッチ変更後の完全倍音周波数（ピッチ変更後の基音の周波数のｎ倍の周波数）から大きくずれることがなくなり、自然な音質の出力音が得られる。
【００３３】
この発明に係る第２のピッチ変換装置は、
原音とは異なるピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に周波数分析処理を施して得られた振幅スペクトルに基づいてスペクトル強度の複数の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ変更すべく周波数軸上で移動するように前記振幅スペクトルデータを修正する第１の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布において少なくとも１つの局所的ピークに対応するピーク周波数の一方側に所望のピーク周波数を設定する設定手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布における複数の局所的ピークにそれぞれ対応するピーク周波数と前記設定手段での設定に係るピーク周波数とにそれぞれ対応してスペクトルエンベロープを形成すべきエンベロープ値を指示する指示手段と、
前記設定に係るピーク周波数に対応して前記指示手段により指示されたエンベロープ値に最も近い局所的ピークのスペクトル強度を有するスペクトル分布領域を前記生成手段での生成に係る振幅スペクトルデータの示すスペクトル分布領域において前記設定に係るピーク周波数と所定の近似関係にあるピーク周波数を有するスペクトル分布領域のうちから選択する選択手段と、
前記選択手段での選択に係るスペクトル分布領域の振幅スペクトルデータ及び位相スペクトルデータを前記生成手段での生成に係る振幅スペクトルデータ及び位相スペクトルデータのうちからコピーするコピー手段と、
前記コピー手段でのコピーに係る振幅スペクトルデータが表わす振幅スペクトル分布においてピーク周波数を前記設定に係るピーク周波数に変更すべく該振幅スペクトル分布を周波数軸上で移動するように前記コピーに係る振幅スペクトルデータを修正する第２の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布において各振幅スペクトル分布毎に局所的ピークのスペクトル強度を前記指示手段で該局所的ピークに対応するピーク周波数に対応して指示されたエンベロープ値に合わせるように各スペクトルビンのスペクトル強度を修正すると共に、前記第２の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布において局所的ピークのスペクトル強度を前記指示手段で前記設定に係るピーク周波数に対応して指示されたエンベロープ値に合わせるように各スペクトルビンのスペクトル強度を修正する第３の修正手段と、
前記生成手段での生成に係る位相スペクトルデータが表わす位相スペクトル分布を前記第１の修正手段でのピッチ変更に対応して前記スペクトル分布領域毎に修正すると共に、前記コピー手段でのコピーに係る位相スペクトルデータが表わす位相スペクトル分布を前記第２の修正手段での周波数変更に対応して修正する第４の修正手段と、
前記第１〜第３の修正手段での修正に係る振幅スペクトルデータと、前記第４の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
を備えたものである。
【００３４】
第２のピッチ変換装置によれば、第１の修正手段での修正に係る振幅スペクトルデータ（ピッチ変更処理が施された振幅スペクトルデータ）が表わす振幅スペクトル分布において少なくとも１つの局所的ピークに対応するピーク周波数の一方側に所望のピーク周波数が設定される。これは、スペクトルエンベロープを表現する局所的ピークの数を増大させるためである。また、第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布における複数の局所的ピークのそれぞれ対応するピーク周波数と、上記設定に係るピーク周波数とにそれぞれ対応してスペクトルエンベロープを形成すべきエンベロープ値が指示される。
【００３５】
設定に係るピーク周波数に対応して指示されたスペクトルエンベロープ値に最も近い局所的ピークのスペクトル強度を有するスペクトル分布領域が生成手段での生成に係る振幅スペクトルデータの示すスペクトル分布領域において設定に係るピーク周波数と所定の近似関係にあるピーク周波数を有するスペクトル分布領域のうちから選択され、選択に係るスペクトル分布領域の振幅スペクトルデータ及び位相スペクトルデータが生成手段での生成に係る振幅スペクトルデータ及び位相スペクトルデータのうちからコピーされる。そして、コピーに係る振幅スペクトルデータ及び位相スペクトルデータが必要な修正を受けた上で音信号発生に用いられる。このように、第２のピッチ変換装置では、設定に係るピーク周波数に近いピッチ変更前のピッチ周波数を有し且つ指示に係るエンベロープ値に最も近い局所的ピークのスペクトル強度を有するスペクトル分布領域を選択し、このスペクトル分布領域の振幅スペクトルデータ及び位相スペクトルデータをコピーして音信号発生に用いるので、自然な音色を得るのが容易となる。また、局所的ピークのスペクトル強度をエンベロープ値に合わせる際に振幅スペクトルデータにおいて各スペクトルビンのスペクトル強度をさほど増大させなくてよいので、出力音の音質は、ノイズっぽさがない自然な音質となる。
【００３６】
この発明に係る第３のピッチ変換装置は、
原音とは異なるピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に分析窓の中心が声帯振動開始位置からずれた状態で周波数分析処理を施して得られた振幅スペクトルに基づいて基音及びそのｎ倍音（ｎは２以上のいずれかの整数）のスペクトル強度の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ変更すべく周波数軸上で移動するように前記振幅スペクトルデータを修正する第１の修正手段と、
前記位相スペクトルデータに関して基音のピーク位相からのタイムシフト量の候補値を複数設定すると共に各候補値毎に基音及びｎ倍音のピーク位相を算出する計算手段と、
前記複数の候補値にそれぞれ対応する複数群のピーク位相のうちから平坦に最も近い位相揃い状態となる候補値に対応する１群のピーク位相を選択し、選択に係る群中の基音及びｎ倍音のピーク位相にそれぞれ一致するように前記位相スペクトルデータ中の基音及びｎ倍音のピーク位相を修正する第２の修正手段と、
前記第２の修正手段での修正に係る位相スペクトルデータが表わす位相スペクトル分布において前記スペクトル分布領域毎に各周波数を前記第１の修正手段でのピッチ変更に対応して修正する第３の修正手段と、
前記第３の修正手段での修正に係る位相スペクトルデータに関して前記第１の修正手段でのピッチ変更量を考慮してピッチ変更前の基音のピーク位相へのタイムシフト量を算出すると共に算出に係るタイムシフト量に応じて前記第３の修正手段での修正に係る位相スペクトルデータ中の基音及びｎ倍音のピーク位相を修正する第４の修正手段と、
前記第４の修正手段での修正に係る位相スペクトルデータにおいて基音に対応するスペクトル分布領域では前記第２及び第４の修正手段による基音のピーク位相の変更量に対応して基音のピーク位相以外の位相を修正すると共にｎ倍音に対応するスペクトル分布領域では前記第２及び第４の修正手段によるｎ倍音のピーク位相の変更量に対応してｎ倍音のピーク位相以外の位相を修正する第５の修正手段と、
前記第１の修正手段での修正に係る振幅スペクトルデータと、前記第２〜第５の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
を備えたものである。
【００３７】
第３のピッチ変換装置によれば、原音の音波形に分析窓の中心が声帯振動開始位置からずれた状態で周波数分析処理を施すので、生成手段から生成される位相スペクトルデータが表わす位相スペクトル分布では、図１７，１８に関して前述したように基音及びｎ倍音のピーク位相が不揃いの状態となる。しかし、このようなピーク位相の不揃い状態は、計算手段及び第２〜第５の修正手段により修正される。
【００３８】
位相スペクトルデータに関して基音のピーク位相からのタイムシフト量の候補値が複数設定され、各候補値毎に基音及びｎ倍音のピーク位相が算出される。複数の候補値にそれぞれ対応する複数群のピーク位相のうちから平坦に最も近い位相揃い状態となる候補値に対応する１群のピーク位相が選択され、選択に係る群中の基音及びｎ倍音のピーク位相にそれぞれ一致するように位相スペクトルデータ中の基音及びｎ倍音のピーク位相が修正される。
【００３９】
このような修正に係る位相スペクトルデータが表わす位相スペクトル分布においてスペクトル分布領域毎に各周波数がピッチ変更に対応して修正される。この後、ピッチ変更量を考慮してピッチ変更前の基音のピーク位相へのタイムシフト量が算出され、算出に係るタイムシフト量に応じて先の修正に係る位相スペクトルデータ中の基音及びｎ倍音のピーク位相が再修正される。このときのタイムシフトは、位相揃えのためのタイムシフトを元に戻すために行なわれるものである。
【００４０】
ここまでの位相修正は、ピーク位相を対象としているので、ピーク位相以外の位相の修正を行なう必要がある。そこで、再修正に係る位相スペクトルデータにおいて基音に対応するスペクトル分布領域では基音のピーク位相の変更量に対応して基音のピーク位相以外の位相が修正され、ｎ倍音に対応するスペクトル分布領域でもｎ倍音のピーク位相の変更量に対応してｎ倍音のピーク位相以外の位相が修正される。
【００４１】
上記のような修正を施した位相スペクトルデータを音信号発生に用いると、発生される音信号の波形は、声帯振動開始位置にてピーク位相が揃うという自然な音声波形の特徴を有することとなり、自然な音質の出力音が得られる。
【００４２】
この発明に係る第４のピッチ変換装置は、
原音より高いピッチを指示するピッチ情報を入力する入力手段と、
前記原音の音波形に周波数分析処理を施して得られた振幅スペクトルに基づいてスペクトル強度の複数の局所的ピークのうち各局所的ピーク毎に該局所的ピークとその前後のスペクトルとを含むスペクトル分布領域における振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成すると共に、前記周波数分析処理により得られた位相スペクトルに基づいて前記スペクトル分布領域毎に位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成する生成手段と、
前記振幅スペクトルデータが表わす振幅スペクトル分布を前記スペクトル分布領域毎に前記ピッチ情報に応じてピッチ上昇すべく周波数軸上で高音側に移動するように前記振幅スペクトルデータを修正する第１の修正手段と、
前記位相スペクトルデータが表わす位相スペクトル分布を前記スペクトル分布領域毎に前記第１の修正手段でのピッチ上昇に対応して修正する第２の修正手段と、
前記生成手段での生成に係る振幅スペクトルデータの示すスペクトル分布領域内のノイズ成分領域であって前記第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布のうち少なくとも１つの振幅スペクトル分布の一方側に生じたスペクトル欠如領域と周波数帯域が一致するノイズ成分領域からスペクトルビンをコピーするコピー手段と、
前記コピー手段でのコピーに係るスペクトルビンを前記スペクトル欠如領域に付加するように前記修正に係る振幅スペクトルデータのうち前記少なくとも１つの振幅スペクトル分布を表わす振幅スペクトルデータを修正する第３の修正手段と、
前記第１及び第３の修正手段での修正に係る振幅スペクトルデータと、前記第２の修正手段での修正に係る位相スペクトルデータとを時間領域の音信号に変換する変換手段と
を備えたものである。
【００４３】
第４のピッチ変換装置によれば、第１の修正手段での修正に係る振幅スペクトルデータが表わす振幅スペクトル分布のうち少なくとも１つの振幅スペクトル分布の一方側に生じたスペクトル欠如領域と周波数帯域が一致するノイズ成分領域（局所的ピークの周波数から十分に離れた低スペクトル強度の領域）からスペクトルビンをコピーしてスペクトル欠如領域に付加するようにしたので、原音声が持っている生々しさを出力音に反映させることができ、自然な音質の出力音が得られる。
【発明の効果】
【００４４】
この発明によれば、ピッチ変更後の倍音周波数がピッチ変更後の完全倍音周波数から大きくずれるのを防止したり、設定に係るピーク周波数に近いピッチ変更前のピーク周波数を有し且つ指示に係るエンベロープ値に最も近い局所的ピークのスペクトル強度を有するスペクトル分布領域を選択したり、周波数分析で得られた位相スペクトルにおいて不揃いであったピーク位相を計算により揃えたり、    ピッチ上昇後の振幅スペクトル分布のスペクトル欠如領域と周波数帯域が一致するノイズ成分領域からコピーしたスペクトルビンをスペクトル欠如領域に付加したりしたので、自然な音質の出力音を発生可能となる効果が得られる。
【発明を実施するための最良の形態】
【００４５】
図１は、この発明の一実施形態に係るピッチ変換装置の回路構成を示すものである。このピッチ変換装置は、小型コンピュータ１０によって動作が制御される構成になっている。
【００４６】
バス１１には、ＣＰＵ（中央処理装置）１２、ＲＯＭ（リード・オンリィ・メモリ）１４、ＲＡＭ（ランダム・アクセス・メモリ）１６、音声入力部１８、制御パラメータ入力部２０、外部記憶装置２２、表示部２４、Ｄ／Ａ（ディジタル／アナログ）変換部２６、ＭＩＤＩ（Musical  Instrument  Digital  Interface）インターフェース２８、通信インターフェース３０等が接続されている。
【００４７】
ＣＰＵ１２は、ＲＯＭ１４にストアされたプログラムに従ってピッチ変換等に関する各種処理を実行するもので、ピッチ変換に関する処理については図２〜４等を参照して後述する。
【００４８】
ＲＡＭ１６は、ＣＰＵ１２の各種処理に際してワーキングエリアとして使用される種々の記憶部を含むものである。この発明の実施に関係する記憶部としては、例えば入力部１８，２０にそれぞれ対応する入力データ記憶領域等が存在するが、詳細については後述する。
【００４９】
音声入力部１８は、音声信号を入力するためのマイクロホン、音声入力端子等を有するもので、入力した音声信号をディジタル波形データに変換するＡ／Ｄ（アナログ／ディジタル）変換器を備えている。入力に係るディジタル波形データは、ＲＡＭ１６内の所定領域に記憶される。
【００５０】
制御パラメータ入力部２０は、文字、数字等を入力可能なキーボードと、マウス等のポインティングデバイスと、ボリューム等のパラメータ設定器とを備えたもので、ピッチ変換処理に用いられる各種の制御パラメータを設定可能である。制御パラメータとしては、ピッチ、音色などを設定可能である。設定に係る制御パラメータを表わす制御パラメータデータは、ＲＡＭ１６内の所定領域に記憶される。
【００５１】
外部記憶装置２２は、ＨＤ（ハードディスク）、ＦＤ（フレキシブルディスク）、ＣＤ（コンパクトディスク）、ＤＶＤ（ディジタル多目的ディスク）、ＭＯ（光磁気ディスク）等のうち１又は複数種類の記録媒体を着脱可能なものである。外部記憶装置２２に所望の記録媒体を装着した状態では、記録媒体からＲＡＭ１６へデータを転送可能である。また、装着した記録媒体がＨＤやＦＤのように書込み可能なものであれば、ＲＡＭ１６のデータを記録媒体に転送可能である。
【００５２】
プログラム記録手段としては、ＲＯＭ１４の代わりに外部記憶装置２２の記録媒体を用いることができる。この場合、記録媒体に記録したプログラムは、外部記憶装置２２からＲＡＭ１６へ転送する。そして、ＲＡＭ１６に記憶したプログラムにしたがってＣＰＵ１２を動作させる。このようにすると、プログラムの追加やバージョンアップ等を容易に行なうことができる。
【００５３】
表示部２４は、液晶表示器等の表示器を含むもので、後述する周波数分析結果等の種々の情報を表示可能である。
【００５４】
Ｄ／Ａ変換部２６は、ピッチ変換処理により生成されたディジタル音声信号をアナログ音声信号に変換するものである。Ｄ／Ａ変換部２６から送出されるアナログ音声信号は、アンプ、スピーカ等を含むサウンドシステム３２により音響に変換される。
【００５５】
ＭＩＤＩインターフェース２８は、このピッチ変換装置とは別体のＭＩＤＩ機器３４との間でＭＩＤＩ通信を行なうために設けられたもので、この発明では、ＭＩＤＩ機器３４からピッチ変換用のデータを受信するために用いられる。
【００５６】
通信インターフェース３０は、通信ネットワーク（例えばＬＡＮ（ローカル・エリア・ネットワーク）、インターネット、電話回線等）３６を介して他のコンピュータ３８と情報通信を行なうために設けられたものである。この発明の実施に必要なプログラムや各種データは、コンピュータ３８から通信ネットワーク３６及び通信インターフェース３０を介してＲＡＭ１６または外部記憶装置２２へダウンロード要求に応じて取込むようにしてもよい。
【００５７】
次に、図２を参照して音声変換処理の一例を説明する。ステップ４０では、入力部１８からマイクロホン又は音声入力端子を介して音声信号を入力してＡ／Ｄ変換し、入力音声信号の音声波形を表わすディジタル波形データをＲＡＭ１６に記憶させる。図１７には、入力音声波形の一例を示す。また、発生すべき音声のピッチ（入力音声信号より高い又は低いピッチ）を指示するピッチ情報を入力部２０から入力し、ＲＡＭ１６に記憶させる。
【００５８】
ステップ４２では、記憶に係るディジタル波形データについてフレーム毎に区間波形を切出す（ディジタル波形データを分割する）。
【００５９】
ステップ４４では、フレーム毎にＦＦＴ分析処理により周波数分析を実行して周波数スペクトル（振幅スペクトルと位相スペクトル）を検出する。そして、周波数スペクトルを表わすデータをＲＡＭ１６の所定領域に記憶させる。図５（Ａ）には、ＦＦＴ分析処理により周波数分析して得た振幅スペクトルの一例を示す。
【００６０】
次に、ステップ４６では、フレーム毎に振幅スペクトルに基づいてピッチを検出し、検出ピッチを表わすピッチデータを生成し、ＲＡＭ１６の所定領域に記憶させる。
【００６１】
ステップ４８では、フレーム毎に振幅スペクトル上でスペクトル強度（振幅）の局所的ピークを複数検知する。局所的ピークを検知するには、近隣の複数（例えば４つ）のピークについて振幅値が最大のピークを検知する方法等を用いることができる。図５（Ａ）には、検知した複数の局所的ピークＰ０，Ｐ１，Ｐ２…が示されている。
【００６２】
ステップ５０では、フレーム毎に振幅スペクトル上で各局所的ピークに対応するスペクトル分布領域を指定し、該領域内の振幅スペクトル分布を周波数軸に関して表わす振幅スペクトルデータを生成し、ＲＡＭ１６の所定領域に記憶させる。スペクトル分布領域を指定する方法としては、隣り合う２つの局所的ピーク間で周波数軸を半分に切り、各半分を近い方の局所的ピークを含むスペクトル分布領域に割当てる方法等を採用することができる。図５（Ａ）には、局所的ピークＰ０，Ｐ１，Ｐ２…をそれぞれ含むスペクトル分布領域Ｒ０，Ｒ１，Ｒ２…を指定した例を示す。
【００６３】
ステップ５２では、フレーム毎に位相スペクトルに基づいて各スペクトル分布領域内の位相スペクトル分布を周波数軸に関して表わす位相スペクトルデータを生成し、ＲＡＭ１６内の所定領域に記憶させる。図１４には、あるフレームのあるスペクトル分布領域における振幅スペクトル分布ａｍ０及び位相スペクトル分布ｐｈ０を示す。
【００６４】
ステップ５４〜６８の処理は、各フレームの振幅スペクトルデータ又は位相スペクトルデータに関して行なわれる。ステップ５４では、振幅スペクトルデータに関してステップ４０での入力に係るピッチ情報に応じてピッチ変更すべく振幅スペクトル分布配置を変更する。
【００６５】
図５は、この発明に係るピッチ変更処理の一例を示すもので、図１３と同様の部分には同様の符号を付して詳細な説明を省略する。ピッチ変更処理としては、ピッチ上昇処理を行なうものとし、ステップ４０では、入力音声信号より高いピッチを指示するピッチ情報を入力する。ステップ４６で求めたピッチデータに対応する周波数（基音のピーク周波数）をｆ０とし、入力に係るピッチ情報に対応する周波数をｆ０１とすると、ピッチ変更比Ｔは、Ｔ＝ｆ０１／ｆ０となる。
【００６６】
ピッチ上昇処理では、図５（Ａ）に示すように基音のピーク周波数ｆ０をそれぞれ２倍，３倍にした完全倍音周波数２ｆ０，３ｆ０を想定する。そして、第１倍音のピーク周波数ｆ１と完全倍音周波数２ｆ０との差分Δｆ１＝（ｆ１−２ｆ０）を保持すると共に、第２倍音のピーク周波数ｆ２と完全倍音周波数３ｆ０との差分Δｆ２＝（ｆ２−３ｆ０）を保持する。差分の保持は、差分Δｆ１，Δｆ２をそれぞれ表わす差分データをＲＡＭ１６内の所定領域に記憶させることにより行なう。
【００６７】
次に、基音のピークＰ０が周波数ｆ０１＝ｆ０Ｔに位置するように領域Ｒ０内の振幅スペクトル分布を周波数軸上で高音側に移動する。すなわち、このような移動を可能にすべく領域Ｒ０の振幅スペクトルデータを修正する（具体的には振幅スペクトル分布において各スペクトルビンの周波数を修正する）。また、ピッチ上昇後の基音のピーク周波数ｆ０１をそれぞれ２倍，３倍にした完全倍音周波数２ｆ０１，３ｆ０１を想定する。ピッチ上昇後の第１倍音のピーク周波数としては完全倍音周波数２ｆ０１を前述の差分Δｆ１に対応してシフトした周波数ｆ１１＝２ｆ０１＋Δｆ１を採用すると共に、ピッチ上昇後の第２倍音のピーク周波数としては完全倍音周波数３ｆ０１を前述の差分Δｆ２に対応してシフトした周波数ｆ２１＝３ｆ０１＋Δｆ２を採用する。
【００６８】
ピッチ上昇後の第１倍音のピークＰ１が周波数ｆ１１＝２ｆ０１＋Δｆ１に位置するように領域Ｒ１内の振幅スペクトル分布を周波数軸上で高音側に移動する（すなわち、このような移動を可能にすべく領域Ｒ１の振幅スペクトルデータを修正する）。また、ピッチ上昇後の第２倍音のピークＰ２が周波数ｆ２１＝３ｆ０１＋Δｆ２に位置するように領域Ｒ２の振幅スペクトル分布を周波数軸上で高音側に移動する（すなわち、このような移動を可能にすべく領域Ｒ２の振幅スペクトルデータを修正する）。
【００６９】
図５に関して上記したピッチ変更処理によれば、ピッチ変更比Ｔが大きくなってもピッチ上昇後の倍音のピーク周波数ｆ１１，ｆ２１が完全倍音周波数２ｆ０１，３ｆ０１からそれぞれ大きくずれることはない。従って、自然な音質の出力音を得ることができる。
【００７０】
図５に関して上記したようにピッチ変更前のΔｆ１等の差分を保持してピッチ変更後のｆ１１等の倍音周波数に反映させる処理は、ピッチ上昇の場合に限らず、ピッチ低下の場合にも適用することができる。ピッチ低下の場合には、周波数の差分は小さくなるものの、ピッチ上昇の場合と同様に自然な音質の出力音が得られる。
【００７１】
図２のステップ５６では、振幅スペクトルデータに関して局所的ピークをスペクトルエンベロープに合わせるように振幅スペクトル分布において各スペクトルビンのスペクトル強度を修正する。図５（Ｂ）に示した例では、図５（Ａ）に示したピークＰ０〜Ｐ２を結ぶスペクトルエンベロープ（原音声のスペクトルエンベロープ）ＥＶａと同様の形状のスペクトルエンベロープＥＶｂにピッチ上昇後のピークＰ０〜Ｐ２を合わせるように振幅スペクトル分布において各スペクトルビンのスペクトル強度を修正する。この結果、原音声と同一の音色が得られる。原音声とは異なる音色を得たいときは、図１３に関して前述したようにスペクトルエンベロープＥＶｂを適宜変更し、変更に係るスペクトルエンベロープＥＶｂに合わせて振幅スペクトル分布において各スペクトルビンのスペクトル強度を修正すればよい。
【００７２】
図６は、この発明に係るピッチ・音色変更処理の一例を示すもので、この例では、ピッチ変更処理としてピッチ低下処理をステップ５４で行ない、音色変更処理として原音声とは異なる音色を付与する処理をステップ５６で行なう。図６において、図１６と同様の部分には同様の符号を付してある。
【００７３】
図６（Ａ）には、図１６（Ａ）に示したのと同様の各スペクトル分布領域毎の振幅スペクトル分布を示す。ピッチ低下処理では、スペクトル分布領域Ｒ０，Ｒ１，Ｒ２の振幅スペクトル分布をそれぞれ図６（Ｂ）に示すように周波数軸上で低音側に移動する（すなわち、このような移動を可能にすべく振幅スペクトルデータを修正する）。移動後の振幅スペクトル分布において、局所的ピークＰ０１，Ｐ１１，Ｐ２１に対応するピーク周波数は、それぞれＦ０，Ｆ２，Ｆ５である。
【００７４】
音色変更処理では、原音声のスペクトルエンベロープＥＶａとは形状が異なる所定のスペクトルエンベロープＥＶｃを想定する。この場合、ピーク周波数Ｆ０，Ｆ２，Ｆ５に対応する振幅スペクトル分布だけではスペクトルエンベロープＥＶｃを十分に表現できない。そこで、ピーク周波数Ｆ０とＦ２との間にはピーク周波数Ｆ１を、ピーク周波数Ｆ２とＦ５との間にはピーク周波数Ｆ３，Ｆ４を、ピーク周波数Ｆ５の高音側にはピーク周波数Ｆ６，Ｆ７をそれぞれ設定する。この設定処理は、入力部２０のマウス又はキーボード等の操作により行なってもよく、あるいは変更したい音色の種類（又はエンベロープＥＶｃ）と対応付けて記憶している周波数情報を読出すことで実行するようにしてもよい。
【００７５】
次に、Ｆ０〜Ｆ７の各ピーク周波数毎にスペクトルエンベロープ値（スペクトルエンベロープＥＶｃを形成するためのエンベロープ値）を指示する。この場合、図６（Ａ）に示すスペクトル分布領域Ｒ０〜Ｒ２の振幅スペクトル分布においてＦ０〜Ｆ７の各ピーク周波数毎に局所的ピークＰ０〜Ｐ２のいずれかに関してスペクトル強度をエンベロープ値として指示する。エンベロープ値を指示する際には、図７に示すグラフを用いることができる。
【００７６】
図７は、図６（Ａ）の振幅スペクトル分布に関してピッチ変更後の各ピーク周波数毎にスペクトル強度をエンベロープ値として指示するもので、ｘ軸にはピッチ変更後のピーク周波数Ｆ０〜Ｆ７を、ｙ軸にはピッチ変更前のピーク周波数ｆ０〜ｆ３を、右側にはピーク周波数ｆ０〜ｆ３にそれぞれ対応する局所的ピークＰ０〜Ｐ３のスペクトル強度Ｍ０〜Ｍ３をそれぞれ示す。図７のグラフは、本願の発明者により音色マッピング（Timbre  Mapping）関数図と名付けられたもので、音色設定に用いて便利なものである。線N（ｘ）は、原音声の音色を変更しない場合に相当し、線Ｋ（ｘ）は、原音声の音色を変更する場合に相当する。
【００７７】
図７のグラフを用いる場合、図６（Ａ）の領域Ｒ０〜Ｒ２の振幅スペクトル分布においてピークＰ０〜Ｐ２を結ぶように領域Ｒ０の下限周波数ｆａから領域Ｒ２の上限周波数ｆｄまで延長するスペクトルエンベロープＥＶａを補間処理等により作成する。また、表示部２４の表示画面には、図６（Ａ）の領域Ｒ０〜Ｒ２の振幅スペクトル分布（エンベロープＥＶａも含む）と、図６（Ｂ）のピーク周波数Ｆ０，Ｆ２，Ｆ５に対応する振幅スペクトル分布と、図７のグラフとを表示する。このような表示状態において、入力部２０のマウス又はキーボード等の操作により図７のグラフ上で所望の位置にカーソルを当てて位置指定を行なうことにより指定に係る位置にＫ１等のマークが表示される。この結果、エンベロープ値が指示され、指示に係るエンベロープ値は、ＲＡＭ１６に記憶されると共にエンベロープＥＶａ上に点で表示される。なお、表示画面上での位置指定は、入力ペン等を用いて行なってもよい。
【００７８】
ピーク周波数Ｆ０に対応するエンベロープ値（図６（Ｂ）の点Ｐ０１に対応）としては、マークＫ０の位置を指定することによりｙ＝Ｋ（Ｆ０）なる周波数（ｆ０より低い周波数）に対応するエンベロープＥＶａ上のスペクトル強度（Ｍ０より若干大きいスペクトル強度）が指示される。ピーク周波数Ｆ１に対応するエンベロープ値（図６（Ｂ）の点Ｐ０２に対応）としては、マークＫ１の位置を指定することによりｙ＝Ｋ（Ｆ１）なる周波数（ｆ０より高い周波数）に対応するエンベロープＥＶａ上のスペクトル強度（Ｍ０より若干小さいスペクトル強度）が指示される。
【００７９】
同様にして、ピーク周波数Ｆ２に対応するエンベロープ値（点Ｐ１１に対応）としては、マークＫ２の位置指定によりｙ＝Ｋ（Ｆ２）に対応するスペクトル強度（Ｍ１より若干小さいスペクトル強度）が指示される。また、ピーク周波数Ｆ３に対応するエンベロープ値（点Ｐ１２に対応）としては、マークＫ３の位置指定によりｙ＝Ｋ（Ｆ３）に対応するスペクトル強度（Ｍ０より若干小さいスペクトル強度）が指示されると共に、ピーク周波数Ｆ４に対応するエンベロープ値（点Ｐ１３に対応）としては、マークＫ４の位置指定によりｙ＝Ｋ（Ｆ４）に対応するスペクトル強度（Ｍ０より若干小さいスペクトル強度）が指示される。さらに、ピーク周波数Ｆ５，Ｆ６，Ｆ７に対応するエンベロープ値（点Ｐ２１，Ｐ２２，Ｐ２３に対応）としては、マークＫ５，Ｋ６，Ｋ７の位置指定によりｙ＝Ｋ（Ｆ５），ｙ＝Ｋ（Ｆ６），ｙ＝Ｋ（Ｆ７）に対応するスペクトル強度（ピークＰ２の近傍のスペクトル強度）がそれぞれ指示される。
【００８０】
Ｆ０〜Ｆ７の各ピーク周波数毎にエンベロープ値を指示する場合、スペクトル分布領域Ｒ０〜Ｒ２のいずれにおいてもエンベロープ値を指示可能であるが、自然な音色を得るためには、Ｆ０〜Ｆ７の各ピーク周波数毎に該ピーク周波数に近いピッチ変更前のピーク周波数を有するスペクトル分布領域においてエンベロープ値を指示するのが望ましい。図７のグラフには、Ｆ０〜Ｆ７の各ピーク周波数をｘ軸に、ピーク変更前のピーク周波数ｆ０〜ｆ３をｙ軸にそれぞれ示してあるので、Ｆ０〜Ｆ７の各ピーク周波数毎にそれに近いピッチ変更前のピーク周波数に関してエンベロープ値を指示することができる。図７の例では、ピーク周波数Ｆ０，Ｆ１，Ｆ３，Ｆ４についてはスペクトル分布領域Ｒ０において、ピーク周波数Ｆ２についてはスペクトル分布領域Ｒ１において、ピーク周波数Ｆ５〜Ｆ７についてはスペクトル分布領域Ｒ２においてそれぞれエンベロープ値を指示している。
【００８１】
上記した例では、図７のグラフを用いてエンベロープ値の指示を行なったが、図７のグラフを用いなくてもエンベロープ値の指示を行なうことができる。例えば、表示部２４の表示画面には、図６（Ａ）の領域Ｒ０〜Ｒ２の振幅スペクトル分布（エンベロープＥＶａも含む）と、図６（Ｂ）のピーク周波数Ｆ０，Ｆ２，Ｆ５に対応する振幅スペクトル分布とを表示する。このような表示状態においてエンベロープＥＶａ上でＦ０〜Ｆ７の各ピーク周波数毎に位置指定を行なうことによりエンベロープ値を指示することができる。指示に係る各エンベロープ値は、エンベロープＥＶａ上に点で表示する。また、エンベロープＥＶａの表示を省略しても、例えばピークＰ０を基準として上下方向（又は斜め左右方向）の位置を指定することによりエンベロープ値を指示することができる。この場合、指示に係るエンベロープ値は、基準としたピークの近傍において指定に係る位置に点で表示すればよい。さらに、スペクトルエンベロープＥＶｃを用いてエンベロープ値の指示を行なうことも可能である。例えば、表示部２４の表示画面には、図６（Ｂ）のピーク周波数Ｆ０，Ｆ２，Ｆ５に対応する振幅スペクトル分布と、エンベロープＥＶｃとを表示する。このような表示状態においてエンベロープＥＶｃ上で点Ｐ０１，Ｐ０２，Ｐ１１〜Ｐ１３，Ｐ２１〜Ｐ２３をそれぞれ指定することによりエンベロープ値を指示してもよい。エンベロープＥＶｃとしては、入力ペン等により任意の形状のエンベロープを表示画面上に描くことができる。
【００８２】
次に、設定に係るピーク周波数Ｆ１，Ｆ３，Ｆ４，Ｆ６，Ｆ７については、指示に係るエンベロープ値毎に該エンベロープ値に最も近い局所的ピークのスペクトル強度を有するスペクトル分布領域を選択する。この場合、Ｆ１，Ｆ３，Ｆ４，Ｆ６，Ｆ７の各ピーク周波数毎に該ピーク周波数と所定の近似関係にあるピッチ低下前のピーク周波数を有する複数のスペクトル分布領域のうちから指示に係るエンベロープ値に最も近い局所的ピークのスペクトル強度を有するスペクトル分布領域を選択する。所定の近似関係としては、例えば近さの順位が１〜２位の範囲内にある関係を採用することができる。このようにするのは、ピッチ変更の前後でピーク周波数が近い方が自然な音色を得やすいからである。図７の例において、ピーク周波数Ｆ１については、マークＫ１の位置に最も近いピーク周波数がｆ０であり且つピークのスペクトル強度がＭ０であることからピークＰ０を有するスペクトル分布領域が選択される。同様にして、ピーク周波数Ｆ３，Ｆ４については、ピークＰ０を有するスペクトル分布領域が選択され、ピーク周波数Ｆ６，Ｆ７については、ピークＰ２を有するスペクトル分布領域が選択される。選択処理は、入力部２０のマウス又はキーボード等によるエンベロープ値指示操作に基づいて自動的に行なうことができる。
【００８３】
次に、選択に係る各スペクトル分布領域の振幅スペクトルデータ及び位相スペクトルデータをステップ５０，５２での生成に係る振幅スペクトルデータ及び位相スペクトルデータのうちからコピーする。ピーク周波数Ｆ１，Ｆ３，Ｆ４については、スペクトル分布領域Ｒ０の振幅スペクトルデータ及び位相スペクトルデータをコピーし、ピーク周波数Ｆ６，Ｆ７については、スペクトル分布領域Ｒ２の振幅スペクトルデータ及び位相スペクトルデータをコピーする。
【００８４】
次に、コピーに係る各振幅スペクトルデータ毎に該振幅スペクトルデータが表わす振幅スペクトル分布において局所的ピークに対応するピーク周波数を設定に係るピーク周波数に変更するように振幅スペクトル分布を周波数軸上で移動する（すなわち、このような移動を可能にすべく振幅スペクトルデータを修正する）。例えば、ピーク周波数Ｆ１に対応してコピーされた振幅スペクトルデータについては、ピーク周波数をｆ０からＦ１に変更するように振幅スペクトル分布を周波数軸上で高音側に移動する。ピーク周波数Ｆ３，Ｆ４にそれぞれ対応してコピーされた振幅スペクトルデータについては、ピーク周波数をｆ０からＦ３，Ｆ４にそれぞれ変更するように振幅スペクトル分布を周波数軸上で高音側に移動する。ピーク周波数Ｆ６，Ｆ７にそれぞれ対応してコピーされた振幅スペクトルデータについては、ピーク周波数をｆ２からＦ６，Ｆ７にそれぞれ変更するように振幅スペクトル分布を周波数軸上で高音側に移動する。
【００８５】
次に、ピッチ低下処理によりピーク周波数Ｆ０，Ｆ２，Ｆ５を持つに至った振幅スペクトルデータが表わす振幅スペクトル分布において各振幅スペクトル分布毎に局所的ピークのスペクトル強度を先の指示に係るエンベロープ値に合わせるように各スペクトルビンのスペクトル強度を修正する。例えば、ピーク周波数Ｆ０に対応する振幅スペクトル分布においては、局所的ピークのスペクトル強度を先の指示に係るエンベロープ値（点Ｐ０１に対応）に合わせるように各スペクトルビンのスペクトル強度を修正する。ピーク周波数Ｆ２，Ｆ５にそれぞれ対応する振幅スペクトル分布においても、局所的ピークのスペクトル強度を先の指示に係るエンベロープ値（点Ｐ１１，Ｐ２１に対応）に合わせるように各スペクトルビンのスペクトル強度を修正する。
【００８６】
このようなスペクトル強度の修正は、コピーに係る各振幅スペクトルデータについても同様にして行なわれる。すなわち、ピーク周波数Ｆ１，Ｆ３，Ｆ４，Ｆ６，Ｆ７にそれぞれ対応する振幅スペクトル分布において、局所的ピークのスペクトル強度を先の指示に係るエンベロープ値（点Ｐ０２，Ｐ１２，Ｐ１３，Ｐ２２，Ｐ２３に対応）にそれぞれ合わせるように各スペクトルビンのスペクトル強度を修正する。
【００８７】
上記のようなピッチ・音色変更処理によれば、図６（Ｂ）に示すようにピーク周波数Ｆ０〜Ｆ７に対応する８つの振幅スペクトル分布がピークＰ０１，Ｐ０２，Ｐ１１〜Ｐ１３，Ｐ２１〜Ｐ２３をスペクトルエンベロープＥＶｃに合わせた状態で配置されることになる。図６（Ｂ）では、隣り合うスペクトル分布領域毎に振幅スペクトル分布が重なるようになっているが、隣り合うスペクトル分布領域毎に両領域の中央の周波数位置の近傍で低音側のスペクトル分布領域の上限周波数及び高音側のスペクトル分布領域の下限周波数をそれぞれ新たに設定することにより振幅スペクトル分布の重なりが生じないようにすることができる。あるいは隣り合うスペクトル分布領域毎に振幅スペクトル分布の重なり合う個所では周波数同一のスペクトルビンのスペクトル強度をそのまま加算するだけでもよい。なお、図６に関して上記したような音色変更処理は、ピッチ低下の場合に限らず、ピッチ上昇の場合にも行なうことができる。
【００８８】
図６に関して上記したピッチ・音色変更処理によれば、設定に係るピーク周波数に近いピッチ変更前のピッチ周波数を有し且つ指示に係るエンベロープ値に最も近い局所的ピークのスペクトル強度を有するスペクトル分布領域を選択し、このスペクトル分布領域の振幅スペクトルデータ及び位相スペクトルデータをコピーして音声信号発生に用いるので、自然な音色を得るのが容易となる。また、局所的ピークのスペクトル強度をエンベロープ値に合わせる際に振幅スペクトルデータにおいて各スペクトルビンのスペクトル強度をさほど増大させなくてよいので、出力音の音質は、ノイズっぽさがない自然な音質となる。
【００８９】
次に、図３のルートＪ１に従って（ステップ５８，６０を経由しないで）ステップ６２に移る。ステップ６２では、振幅スペクトルデータに関する振幅スペクトル分布配置の変更に対応して位相スペクトルデータに関して位相スペクトル分布配置を変更する。すなわち、図５に関して前述したピッチ上昇処理又は図６に関して前述したピッチ低下処理を行なった場合には、ステップ５２での生成に係る各位相スペクトルデータが表わす位相スペクトル分布を図１４，１５に関して前述したようにステップ５４でのピッチ変更に対応してスペクトル分布領域毎に修正する。また、図６に関して前述したピッチ低下処理を行なった場合には、コピーに係る各位相スペクトルデータが表わす位相スペクトル分布を該位相スペクトル分布に対応し且つコピーに係る振幅スペクトル分布の周波数変更に対応して修正する。例えば、ピーク周波数Ｆ１に対応する位相スペクトル分布についてはｆ０からＦ１への周波数変更に対応して位相スペクトル分布を修正する。他のピーク周波数Ｆ３，Ｆ４，Ｆ６，Ｆ７に対応する位相スペクトル分布についても同様にして修正を行なう。
【００９０】
この後は、図３のルートＪ２に従って（ステップ６４，６６を経由しないで）ステップ６８に移る。ステップ６８の処理については、図１２を参照して後述する。
【００９１】
図８〜１１は、この発明に係る位相揃え処理の一例を示すもので、これらの図において、横軸は周波数ｆを、縦軸は位相（０〜２π）をそれぞれ示す。図８は、図１８に示したのと同様のピーク位相を示すもので、これらのピーク位相は、例えば図１７に関して前述したように分析窓ＦＷの中心ＷＣを声帯振動開始位置ｔＳ２，ｔＳ３の間の中央位置近傍に合わせた状態でＦＦＴ分析を行なうことにより得られたものであり、ピーク周波数ｆ０〜ｆ５にそれぞれ対応するピーク位相φ０〜φ５が不揃いの状態にある。ピーク位相φ０〜φ５は、ステップ５２での生成に係るあるフレームの位相スペクトルデータによって表わされる６つの位相スペクトル分布（ｆ０〜ｆ５にそれぞれ対応）にそれぞれ属するものである。
【００９２】
位相揃え処理では、図１７の状態から図１９の状態になるまでに要する時間（タイムシフト量）を求めると共に、求めたタイムシフト量を用いて図８のピーク位相φ０〜φ５を図９に示すように平坦状に揃ったピーク位相φ０’〜φ５’に変換する。図３のステップ５８では、位相スペクトルデータに関して基音のピーク位相φ０からのタイムシフト量の候補値を多数設定し、タイムシフト量の各候補値毎に基音及び倍音のピーク位相を算出する。タイムシフト量の候補値を設定するためには、位相の候補値φ０Ｃを０〜２πの間で４０〜８０ポイント程度設定し、各候補値φ０Ｃ毎に次の数２の式に従ってタイムシフト量の候補値ＴＳＣを設定する。
【００９３】
【数２】
2006064799.tif 000004
【００９４】
ここで、ｆ０は、基音のピーク周波数である。一例として、位相の候補値φ０Ｃを４０ポイントとすると、タイムシフト量の候補値ＴＳＣも４０個となる。次に、各候補値ＴＳＣ毎に基音及び倍音のピーク位相を次の数３の式に従って算出する。
【００９５】
【数３】
2006064799.tif 000005
【００９６】
ここで、ｉは、ピーク位相の番号であり、基音ではｉ＝０、第１倍音ではｉ＝１、第２倍音ではｉ＝２…となる。ある１つの候補値ＴＳＣについて、ｆ１＝２ｆ０，ｆ２＝３ｆ０…とすると、基音のピーク位相はφ０Ｃ＝φ０＋２πｆ０×ＴＳＣ、第１倍音のピーク位相はφ１Ｃ＝φ１＋２π×２ｆ０×ＴＳＣ、第２倍音のピーク位相はφ２Ｃ＝φ２＋２π×３ｆ０×ＴＳＣ…となる。基音及び倍音の数をＮとすると、１つの候補値ＴＳＣについてＮ個のピーク位相が求められる。候補値ＴＳＣは４０個であるので、１つの候補値ＴＳＣに対応するＮ個のピーク位相を１群とすると、４０群のピーク位相が求められる。
【００９７】
次に、図３のステップ６０では、各群毎にＮ個のピーク位相の平均値φａｖｅを求め、この平均値からの各ピーク位相φｉｃの絶対ずれ量の和Σａｂｓ（φｉｃ−φａｖｅ）を求める。この絶対ずれ量の和が最も小さい状態が平坦に最も近い位相揃い（Maximally  Flat  Phase  Alignment）状態となり、以下ではこれをＭＦＰＡ状態と称する。ＭＦＰＡ状態となる候補値ＴＳＣに対応する１群のピーク位相を選択する。
【００９８】
一例として、Ｎ＝６とすると、選択に係る１群内には図８のピーク位相φ０〜φ５にそれぞれ対応する第１〜第６のピーク位相が含まれている。選択に係る１群内の第１〜第６のピーク位相にそれぞれ一致するように図８のピーク位相φ０〜φ５を修正することにより図９に示すようにＭＦＰＡ状態にあるピーク位相φ０’〜φ５’が得られる。図８のピーク位相φ０〜φ５を示す位相スペクトルデータは、修正の結果として図９のピーク位相φ０’〜φ５’を示すものとなる。
【００９９】
次に、図３のステップ６２では、振幅スペクトルデータに関する振幅スペクトル分布配置の変更に対応して位相スペクトルデータに関して位相スペクトル分布配置を変更する。一例として、図６に関して前述したものに類似するピッチ低下処理を行なった場合には、図１０に示すように図９での修正に係る位相スペクトルデータが表わす位相スペクトル分布においてスペクトル分布領域毎に各周波数をピッチ低下に対応して修正する。
【０１００】
図１０の例では、ピーク周波数Ｆ０１，Ｆ１１，Ｆ２１，Ｆ３１，Ｆ４１，Ｆ５１は、それぞれピーク周波数ｆ０，ｆ１，ｆ２，ｆ３，ｆ４，ｆ５を周波数軸上で低音側に移動したものであり、ピーク周波数Ｆ０２，Ｆ１２，Ｆ２２，Ｆ３２，Ｆ４２，Ｆ５２は、それぞれピーク周波数ｆ０，ｆ１，ｆ２，ｆ３，ｆ４，ｆ５をコピー処理に伴って変更したものである。ピーク周波数のｆ０からＦ０１への変更に対応してピーク位相φ０’の属する位相スペクトル分布において各スペクトルビンの周波数を変更すると、ピーク周波数Ｆ０１に対応する位置にピーク位相φ０１’が得られる。同様にしてピーク周波数Ｆ０２，Ｆ１１，Ｆ１２，Ｆ２１，Ｆ２２，Ｆ３１，Ｆ３２，Ｆ４１，Ｆ４２，Ｆ５１，Ｆ５２にそれぞれ対応する位置にピーク位相φ０２’，φ１１’，φ１２’， φ２１’，φ２２’，φ３１’，φ３２’，φ４１’，φ４２’，φ５１’，φ５２’が得られる。なお、音色変更処理において、ピーク周波数Ｆ０２，Ｆ１２，Ｆ２２，Ｆ３２，Ｆ４２，Ｆ５２を設定しなかった場合には、ピーク位相φ０２’，φ１２’，φ２２’，φ３２’，φ４２’，φ５２’は存在しない。
【０１０１】
次に、図３のステップ６４では、位相スペクトルデータに関してピッチ変更に伴う位相変更量を考慮して位相揃え前の基音のピーク位相へのタイムシフト量を求め、求めたタイムシフト量に応じて各ピーク位相を修正する。このときのタイムシフトは、位相揃えのためのタイムシフトを元へ戻すために行なわれるものである。このときのタイムシフト量ＴＳは、次の数４の式に従って求めることができる。
【０１０２】
【数４】
2006064799.tif 000006
【０１０３】
ここで、φ０は位相揃え前の基音のピーク位相（図８参照）、Δφ０はピッチ変更に伴う位相変更量であって数１の式により求められるもの、φ０’は位相揃え後の基音のピーク位相（図９参照）、Ｔはピッチ変更比をそれぞれ表わす。タイムシフト量ＴＳを求めた後は、タイムシフト量ＴＳに応じて位相変更量ΔφＰをΔφＰ＝２πｆＰ×ＴＳなる式により求め、求めた位相変更量ΔφＰを図１０の各ピーク位相に加えて図１１の新たなピーク位相を算出する。ここで、ｆＰは、ピッチ変更後のＦ０１等のピーク周波数を示す。例えば、ピーク周波数Ｆ０１に対応するピーク位相φ０１は、Δφ０１＝２πＦ０１×ＴＳなる式によりΔφ０１を求めた後、図１０のφ０１’にΔφ０１を加えることにより求められる。同様にして、ピーク周波数Ｆ０２，Ｆ１１，Ｆ１２，Ｆ２１，Ｆ２２，Ｆ３１，Ｆ３２，Ｆ４１，Ｆ４２，Ｆ５１，Ｆ５２にそれぞれ対応するピーク位相φ０２，φ１１，φ１２，φ２１，φ２２，φ３１，φ３２，φ４１，φ４２，φ５１，φ５２が求められる。図１１には、図１０の各ピーク位相をタイムシフト量ＴＳに応じて修正した結果が示されている。
【０１０４】
ここまでの位相修正は、ピーク位相を対象としているので、各スペクトル分布領域毎にピーク位相以外の位相を修正する必要がある。そこで、図３のステップ６６では、位相スペクトルデータに関してピーク位相以外のスペクトルビンの位相をピーク位相の変更量に対応して修正する。例えば、ピーク位相φ０１の属する位相スペクトル分布では、図８のφ０から図９のφ０’へのピーク位相変更量と、図１０のφ０１’（図９のφ０’と同じ）から図１１のφ０１へのピーク位相変更量との和に対応してピーク位相φ０１以外の各スペクトルビンの位相を修正する。同様にして、ピーク位相φ０２，φ１１，φ１２，φ２１，φ２２，φ３１，φ３２，φ４１，φ４２，φ５１，φ５２がそれぞれ属する位相スペクトル分布においてもピーク位相以外の位相をピーク位相の変更量に対応して修正する。
【０１０５】
図８〜１１に関して上記した位相揃え処理によれば、図８に示すように不揃いであったピーク位相を図９に示すようにＭＦＰＡ状態となるように計算により修正したので、図１１に示す位相スペクトルデータを音声信号発生に用いると、発生される音声信号の波形は、声帯振動開始位置にてピーク位相が揃うという自然な音声波形の特徴を有するものとなり、自然な音質の出力音を得ることができる。
【０１０６】
図３のステップ６８では、ピッチ上昇した振幅スペクトルデータに関してスペクトル欠如領域にノイズ成分としてのスペクトルビンを付加する。ステップ６８の処理は、ステップ５４においてピッチ変更処理としてピッチ上昇処理を行なった場合にのみ行なわれるもので、図６に関して前述したようなピッチ低下処理を行なった場合には行なわれない。
【０１０７】
図１２は、スペクトル付加処理の一例を示すもので、図５と同様の部分には同様の符号を付してある。図１２（Ａ）には、図５（Ａ）に示したのと同様の振幅スペクトルが示されている。ピッチ上昇処理では、領域Ｒ０，Ｒ１の振幅スペクトル分布を図１２（Ｂ）に示すように周波数軸上で高音側に移動するので、ピークＰ０を有する振幅スペクトル分布の一方側及び他方側にはそれぞれスペクトル欠如領域Ｑ1及びＱ２が生ずる。スペクトル欠如領域Ｑ２は、ピークＰ０を有する振幅スペクトル分布とピークＰ１を有する振幅スペクトル分布との間に存在する。Ｑ1等のスペクトル欠如領域は、自然な音声の振幅スペクトル（例えば、図１２（Ａ）に示すもの）には存在しない。
【０１０８】
図１２（Ａ）に示すスペクトル分布領域Ｒ０において、ピークＰ０から十分に離れた（例えば５５Ｈｚ以上離れた）領域Ｋ１１，Ｋ１２は、いずれもメインローブから離れた残差成分を含むノイズ成分領域である。また、スペクトル分布領域Ｒ１においても、ピークＰ１から十分に離れた領域Ｋ２１，Ｋ２２は、いずれもノイズ成分領域である。ステップ６８では、図１２に示すように、スペクトル欠如領域Ｑ１と周波数帯域が一致するノイズ成分領域ｋ１（領域Ｋ１１の一部）からスペクトルビンをコピーしてスペクトル欠如領域Ｑ１に付加するように振幅スペクトルデータを修正すると共に、スペクトル欠如領域Ｑ２と周波数帯域が一致するノイズ成分領域ｋ２（領域Ｋ２１の一部）からスペクトルビンをコピーしてスペクトル欠如領域Ｑ２に付加するように振幅スペクトルデータを修正する。
【０１０９】
ステップ６８のスペクトル付加処理によれば、原音声の生々しさを再現することができ、出力音の音質が向上する。なお、ステップ６８のスペクトル付加処理は、図５に関して前述したピッチ上昇処理を行なった場合に限らず、図１３に関して前述したピッチ上昇処理を行なった場合にも行なうことができる。
【０１１０】
ステップ７０では、振幅スペクトルデータ及び位相スペクトルデータを時間領域の音声信号（ディジタル波形データ）に変換する。この変換処理は、一例としてステップ７０ａ〜７０ｃにより行なうことができる。すなわち、ステップ７０ａでは、周波数領域のフレームデータ（振幅スペクトルデータ及び位相スペクトルデータ）に逆ＦＦＴ処理を施して時間領域の音声信号を得る。そして、ステップ７０ｂでは、時間領域の音声信号に窓掛け処理を施す。この処理は、時間領域の音声信号に時間窓関数を乗算するものである。ステップ７０ｃでは、時間領域の音声信号にオーバーラップ処理を施す。この処理は、順次のフレームについて波形をオーバーラップさせながら時間領域の音声信号を接続するものである。
【０１１１】
ステップ７２では、音声信号をＤ／Ａ変換部２６に出力する。この結果、サウンドシステム３２からピッチ変換に係る音声が発生される。
【０１１２】
この発明は、上記した実施形態に限定されるものではなく、種々の改変形態で実施可能なものである。例えば、次のような変更が可能である。
【０１１３】
（１）上記した実施形態では、入力部１８から入力した音声信号をディジタル波形データに変換してピッチ変換を行なうようにしたが、原音声の音声波形を表わすディジタル波形データを記憶手段（ＲＯＭ１４，ＲＡＭ１６又は外部記憶装置２２等）に記憶しておき、入力部２０のキーボード操作等により所望のディジタル波形データを記憶手段から読出してピッチ変換を行なうようにしてもよい。また、原音声の音声波形を表わすディジタル波形データをインターフェース２８又は３０を介して取得してピッチ変換を行なうようにしてもよい。
【０１１４】
（２）ステップ４６，５０，５２でそれぞれ得られるピッチデータ、振幅スペクトルデータ，位相スペクトルデータを上記のような記憶手段に記憶しておき、入力部２０のキーボード操作等により所望のピッチデータ、振幅スペクトルデータ及び位相スペクトルデータを記憶手段から読出してピッチ変換を行なうようにしてもよい。また、原波形の音声波形に対応するピッチデータ、振幅スペクトルデータ及び位相スペクトルデータをインターフェース２８又は３０を介して取得してピッチ変換を行なうようにしてもよい。
【０１１５】
（３）この発明は、音声のピッチ変換に限らず、楽音のピッチ変換にも適用することができる。
【図面の簡単な説明】
【０１１６】
【図１】この発明の一実施形態に係るピッチ変換装置の回路構成を示すブロック図である。
【図２】ピッチ変換処理の一部を示すフローチャートである。
【図３】図２のピッチ変換処理の他の一部を示すフローチャートである。
【図４】図２のピッチ変換処理の更に他の一部を示すフローチャートである。
【図５】この発明に係るピッチ変更処理を説明するためのスペクトル図である。
【図６】この発明に係るピッチ・音色変更処理を説明するためのスペクトル図である。
【図７】図６（Ａ）の振幅スペクトルに関してピッチ変更後のピーク周波数毎にスペクトルエンベロープ値を示すグラフである。
【図８】ピーク位相の一例を示す図である。
【図９】図８のピーク位相にタイムシフト・選択処理を施して得られたピーク位相を示す図である。
【図１０】図９のピーク位相にスペクトル分布配置変更処理を施して得られたピーク位相を示す図である。
【図１１】図１０のピーク位相にタイムシフト処理を施して得られたピーク位相を示す図である。
【図１２】ピッチ上昇時のスペクトル付加処理を説明するためのスペクトル図である。
【図１３】従来のピッチ変更処理を説明するためのスペクトル図である。
【図１４】ピッチ変更前の振幅スペクトル分布及び位相スペクトル分布を例示するスペクトル図である。
【図１５】ピッチ変更後の振幅スペクトル分布及び位相スペクトル分布を例示するスペクトル図である。
【図１６】発明者の研究に係るピッチ・音色変更処理を説明するためのスペクトル図である。
【図１７】発明者の研究に係るＦＦＴ分析処理における分析窓の時間位置の一例を示す波形図である。
【図１８】図１７の分析窓位置でのＦＦＴ分析により得られたピーク位相を示す図である。
【図１９】発明者の研究に係るＦＦＴ分析処理における分析窓の時間位置の他の例を示す波形図である。
【図２０】図１９の分析窓位置でのＦＦＴ分析により得られたピーク位相を示す図である。
【符号の説明】
【０１１７】
１０：小型コンピュータ、１１：バス、１２：ＣＰＵ、１４：ＲＯＭ、１６：ＲＡＭ、１８：音声入力部、２０：制御パラメータ入力部、２２：外部記憶装置、２４：表示部、２６：Ｄ／Ａ変換部、２８：ＭＩＤＩインターフェース、３０：通信インターフェース、３２：サウンドシステム、３４：ＭＩＤＩ機器、３６：通信ネットワーク、３８：他のコンピュータ。
【図１】
2006064799.tif 000007
【図２】
2006064799.tif 000008
【図３】
2006064799.tif 000009
【図４】
2006064799.tif 000010
【図５】
2006064799.tif 000011
【図６】
2006064799.tif 000012
【図７】
2006064799.tif 000013
【図８】
2006064799.tif 000014
【図９】
2006064799.tif 000015
【図１０】
2006064799.tif 000016
【図１１】
2006064799.tif 000017
【図１２】
2006064799.tif 000018
【図１３】
2006064799.tif 000019
【図１４】
2006064799.tif 000020
【図１５】
2006064799.tif 000021
【図１６】
2006064799.tif 000022
【図１７】
2006064799.tif 000023
【図１８】
2006064799.tif 000024
【図１９】
2006064799.tif 000025
【図２０】
2006064799.tif 000026