(57)【要約】【課題】聴感的に自然に特徴量が変動する変動成分を生成する。【解決手段】位相設定部３４は、音響信号ＸAの周波数時系列ＦAに仮想位相θ(ti)を設定する。単位波抽出部３６は、位相設定部３４が設定した仮想位相θ(ti)で特定される１周期分の単位波Ｗ0を複数の時点ｔiの各々について周波数時系列ＦAから抽出する。第１生成部５６１は、単位波Ｗ0を所定長Ｎに伸縮する場合の伸縮の度合に応じた速度情報Ｖ(ti)を生成する。第２生成部５６２は、単位波Ｗ0の調整後の周波数スペクトルＱの形状を示す形状情報Ｓ(ti)を生成する。変動付与部４０は、時点ｔi毎の速度情報Ｖ(ti)および形状情報Ｓ(ti)を利用して変動成分Ｃを生成し、音響信号ＸBに変動成分Ｃを付加する。【選択図】図５
2011118220.tif 000002
【特許請求の範囲】
【請求項１】
音響信号の特徴量の時系列に仮想位相を設定する位相設定手段と、
前記位相設定手段が設定した仮想位相で特定される１周期分の単位波を複数の時点の各々について前記特徴量の時系列から抽出する単位波抽出手段と、
前記単位波抽出手段が抽出した単位波の特徴を示す単位情報を単位波毎に生成する情報生成手段と
を具備する音響処理装置。
【請求項２】
前記単位波抽出手段による抽出後の前記各単位波を同相に補正する位相補正手段を具備し、
前記情報生成手段は、前記位相補正手段による処理後の各単位波について単位情報を生成する
請求項１の音響処理装置。
【請求項３】
前記単位波抽出手段による抽出後の前記各単位波を所定長に伸縮する時間調整手段を具備し、
前記情報生成手段は、前記時間調整手段による処理後の各単位波について単位情報を生成する
請求項１または請求項２の音響処理装置。
【請求項４】
前記情報生成手段は、前記特徴量の時系列における特徴量の変動の速度を示す速度情報を前記時間調整手段による伸縮の度合に応じて単位波毎に前記単位情報として生成する第１生成手段を含む
請求項３の音響処理装置。
【請求項５】
前記情報生成手段は、前記単位波の周波数スペクトルの形状を示す形状情報を単位波毎に前記単位情報として生成する第２生成手段を含む
請求項１から請求項４の何れかの音響処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号を処理する技術に関する。
【背景技術】
【０００２】
歌唱音を収音した音響信号にビブラート成分を付加する技術が従来から提案されている。例えば特許文献１には、音響信号から抽出されたビブラート成分の深度や速度に応じて振幅や周期が調整された正弦波を任意の音響信号に付加する技術が開示されている。また、非特許文献１には、正弦波で近似されたビブラート成分を歌唱音の合成音に付加する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３２５５８３号公報
【特許文献２】特開２００２−７３０６４号公報
【非特許文献１】山田知彦ほか４名、「ＨＭＭに基づく歌声合成のためのビブラートモデル化」、情報処理学会研究報告、２００９年５月２１日、Ｖｏｌ．２００９−ＭＵＳ−８０  Ｎｏ．５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１や非特許文献１の技術では、単純な正弦波でビブラート成分を近似するから、実際の音声と同等の自然なビブラート成分を付加することが困難であるという問題がある。なお、音高以外の特徴量の変動成分を付加する場合にも以上の問題は同様に発生し得る。以上の事情を考慮して、本発明は、聴感的に自然に特徴量が変動する変動成分を生成することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の第１態様に係る音響処理装置は、音響信号の特徴量の時系列に仮想位相を設定する位相設定手段と、位相設定手段が設定した仮想位相で特定される１周期分の単位波を複数の時点の各々について特徴量の時系列から抽出する単位波抽出手段と、単位波抽出手段が抽出した単位波の特徴を示す単位情報を単位波毎に生成する情報生成手段とを具備する。以上の態様においては、音響信号の特徴量の時系列の１周期分に相当する単位波の特徴を示す時点毎の単位情報の集合（変動情報）が、音響信号の特徴量の変動を示す情報として生成される。したがって、例えば特許文献１や非特許文献１のように音高の変動を正弦波で近似する技術と比較して、聴感的に自然に特徴量が変動する音響信号を生成することが可能である。
【０００６】
なお、「仮想位相」とは、音響信号の特徴量の時系列を周期波形（例えば正弦波）であると仮想した場合の位相（仮想的な位相）に相当する。例えば、位相設定手段は、特徴量の時系列における各極値点の仮想位相を所定値に設定し、各極値点間の各時点の仮想位相を各極値点の仮想位相の補間により算定する。
【０００７】
第１態様の好適例に係る音響処理装置は、単位波抽出手段による抽出後の各単位波を同相に補正する位相補正手段を具備し、情報生成手段は、位相補正手段による処理後の各単位波について単位情報を生成する。以上の態様においては、単位波抽出手段による抽出後の単位波が同相に補正される（例えば各単位波の初期位相がゼロとなるように補正される）から、各単位情報が示す単位波の位相が相違する場合と比較して、例えば複数の単位情報を容易に合成（加算）できるという利点がある。
【０００８】
第１態様の好適例に係る音響処理装置は、単位波抽出手段による抽出後の各単位波を所定長に伸縮する時間調整手段を具備し、情報生成手段は、時間調整手段による処理後の各単位波について単位情報を生成する。以上の態様においては、単位波抽出手段による抽出後の単位波が所定長に調整されるから、各単位情報が示す単位波の時間長が相違する場合と比較して、例えば複数の単位情報を容易に合成（加算）できるという利点がある。
【０００９】
時間調整手段を具備する態様の好適例において、情報生成手段は、特徴量の時系列における特徴量の変動の速度を示す速度情報を時間調整手段による伸縮の度合に応じて単位波毎に単位情報として生成する第１生成手段を含む。以上の態様においては、音響信号の特徴量の変動の速度を示す速度情報が単位情報として生成されるから、音響信号の特徴量の変動の速度を忠実に反映した変動成分を生成できるという利点がある。また、時間調整手段による伸縮の度合に応じて速度情報が生成されるから、時間調整手段による伸縮とは独立して速度情報を生成する場合と比較して、速度情報の生成の負荷が軽減されるという利点もある。
【００１０】
第１態様に係る音響処理装置の好適例において、情報生成手段は、単位波の周波数スペクトルの形状を示す形状情報を単位波毎に単位情報として生成する第２生成手段を含む。以上の態様においては、音響信号から抽出された単位波の周波数スペクトルの形状を示す形状情報が単位情報として生成されるから、音響信号の特徴量の変動の波形を忠実に反映した変動成分を生成できるという利点がある。また、単位波の周波数スペクトルのうち低域側の所定の帯域内の係数列を第２生成手段が形状情報として生成する構成（周波数スペクトルのうち高域側の係数列は無視する構成）によれば、単位情報の記憶に必要な容量が削減されるという効果も実現される。
【００１１】
本発明の第２態様に係る音響処理装置は、第１態様に係る音響処理装置が複数の時点の各々について生成した単位情報を記憶する記憶手段と、記憶手段に記憶された各単位情報に応じた変動成分が付与された音響信号を生成する変動付与手段とを含んで構成される。具体的には、第２態様の音響処理装置は、音響信号の特徴量の時系列に設定された仮想位相に応じて当該時系列から抽出された１周期分の単位波の特徴を示す単位情報であって、単位波を所定長に伸縮する場合の伸縮の度合に応じて生成され、特徴量の時系列における特徴量の変動の速度を示す速度情報と、単位波の周波数スペクトルの形状を示す形状情報とを含む単位情報を、単位波毎に記憶する記憶手段と、複数の時点の各々の特徴量が、当該時点の単位情報の形状情報が示す周波数スペクトルから特定される単位波のうち、当該時点の直前までの速度情報の累算値に応じた時点の特徴量に設定された変動成分を生成する変動成分生成手段と、変動成分生成手段が生成した変動成分が付加された音響信号を生成する信号生成手段とを具備する。第２態様においては、音響信号の特徴量の時系列の１周期分に相当する単位波の特徴を示す時点毎の単位情報の集合（変動情報）から変動成分が生成され、この変動成分を付与した音響信号が生成されるから、例えば特許文献１や非特許文献１のように音高の変動を正弦波で近似する技術と比較して、聴感的に自然に特徴量が変動する音響信号を生成することが可能である。
【００１２】
以上の各態様に係る音響処理装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラム（ソフトウェア）との協働によっても実現される。本発明の第１態様に係るプログラムは、音響信号の特徴量の時系列に仮想位相を設定する位相設定処理と、位相設定処理で設定した仮想位相で特定される１周期分の単位波を複数の時点の各々について特徴量の時系列から抽出する単位波抽出処理と、単位波抽出処理で抽出した単位波の特徴を示す単位情報を単位波毎に生成する情報生成処理とをコンピュータに実行させる。以上のプログラムによれば、本発明の第１態様の音響処理装置と同様の作用および効果が実現される。
【００１３】
本発明の第２態様に係るプログラムは、音響信号の特徴量の時系列に設定された仮想位相に応じて当該時系列から抽出された１周期分の単位波の特徴を示す単位情報であって、単位波を所定長に伸縮する場合の伸縮の度合に応じて生成され、特徴量の時系列における特徴量の変動の速度を示す速度情報と、単位波の周波数スペクトルの形状を示す形状情報とを含む単位情報を、単位波毎に記憶する記憶手段を具備するコンピュータを、複数の時点の各々の特徴量が、当該時点の単位情報の形状情報が示す周波数スペクトルから特定される単位波のうち、当該時点の直前までの速度情報の累算値に応じた時点の特徴量に設定された変動成分を生成する変動成分生成処理と、変動成分生成処理で生成した変動成分が付加された音響信号を生成する信号生成処理とを実行させる。以上のプログラムによれば、本発明の第２態様の音響処理装置と同様の作用および効果が実現される。
【００１４】
以上の各態様に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態に係る音響処理装置のブロック図である。
【図２】変動抽出部のブロック図である。
【図３】特徴抽出部および位相設定部の動作の説明図である。
【図４】単位波抽出部の動作の説明図である。
【図５】情報生成部の動作の説明図である。
【図６】位相補正部の動作の説明図である。
【図７】変動付与部のブロック図である。
【図８】変動付与部の動作の説明図である。
【図９】進行度について説明するための概念図である。
【発明を実施するための形態】
【００１６】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。音響処理装置１００には信号供給装置１２と放音装置１４とが接続される。信号供給装置１２は、音響（音声や楽音）の波形を表す音響信号Ｘ（ＸA，ＸB）を音響処理装置１００に供給する。例えば、周囲の音響を収音して音響信号Ｘを生成する収音機器や、記録媒体から音響信号Ｘを取得して音響処理装置１００に出力する再生装置や、通信網から音響信号Ｘを受信して音響処理装置１００に出力する通信装置が信号供給装置１２として採用され得る。
【００１７】
図１に示すように、音響処理装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムＰGや演算処理装置２２が使用するデータ（例えば後述の変動情報ＤV）を記憶する。半導体記録媒体や磁気記録媒体などの公知の記録媒体や複数種の記録媒体の組合せが記憶装置２４として任意に採用される。なお、音響信号Ｘ（ＸA，ＸB）を記憶装置２４に記憶した構成も好適である。
【００１８】
演算処理装置２２は、記憶装置２４に格納されたプログラムＰGを実行することで、音響信号Ｘを処理するための複数の機能（変動抽出部３０，変動付与部４０）を実現する。なお、演算処理装置２２の各機能を複数の集積回路に分散した構成や、専用の電子回路（ＤＳＰ）が各機能を実現する構成も採用され得る。
【００１９】
変動抽出部３０は、音響信号ＸAの基本周波数（音高）ｆ0の時間的な変動（すなわちビブラート）を特徴付ける変動情報ＤVを生成して記憶装置２４に格納する。他方、変動付与部４０は、変動抽出部３０が生成した変動情報ＤVが示す基本周波数ｆ0の変動成分を音響信号ＸBに付加することで音響信号ＸOUTを生成する。放音装置（例えばスピーカやヘッドホン）１４は、変動付与部４０が生成した音響信号ＸOUTに応じた音波を放射する。変動抽出部３０および変動付与部４０の具体例を以下に説明する。
【００２０】
＜Ａ−１：変動抽出部３０の構成および作用＞
図２は、変動抽出部３０のブロック図である。図２に示すように、変動抽出部３０は、特徴抽出部３２と位相設定部３４と単位波抽出部３６と単位波処理部３８とを含んで構成される。特徴抽出部３２は、音響信号ＸAの基本周波数ｆ0の時系列（以下「周波数系列」という）を抽出する要素であり、抽出処理部３２２とフィルタ部３２４とを含んで構成される。抽出処理部３２２は、音響信号ＸAの基本周波数ｆ0を時点ｔi毎に順次に抽出して図３の部分(A)の周波数系列ＦAを生成する（ｉ＝１，２，３，……）。フィルタ部３２４は、抽出処理部３２２が生成した周波数系列ＦAの高域成分を抑圧して図３の部分(B)の周波数系列ＦBを生成するローパスフィルタである。図３の部分(B)に示すように、周波数系列ＦBの各基本周波数ｆ0は、時間軸に沿って概略的には周期的に変動する。
【００２１】
図２の位相設定部３４は、特徴抽出部３２が生成した周波数系列ＦBの複数の時点ｔiの各々に仮想位相θ(ti)を設定する。仮想位相θ(ti)は、周波数系列ＦBを便宜的に周期波形と仮定したときの時点ｔiでの位相（仮想的な位相）を意味する。図３の部分(C)は、各時点ｔiに設定された位相θ(ti)の時系列である。仮想位相θ(ti)の設定の方法を以下に詳述する。
【００２２】
第１に、位相設定部３４は、図３の部分(B)に示すように、周波数系列ＦBの各極値点Ｅに相当する時点ｔiの仮想位相θ(ti)を順次に所定の位相θm（ｍは自然数）に設定する。極値点Ｅは、周波数系列ＦBにおける局所的なピーク（山頂）または局所的なディップ（谷底）の時点に相当する。極値点Ｅの検出には公知の技術が任意に採用される。周波数系列ＦBの第ｍ番目の極値点Ｅに付与される位相θmは、{(２ｍ−１)/２}・πと表現される（θm＝π/２，３π/２，５π/２，……）。なお、図３の部分(B)では第１番目の極値点Ｅがピーク（山頂）である場合を想定したが、第１番目の極値点Ｅがディップ（谷底）である場合の仮想位相θmを−π／２から開始する構成（θm＝−π／２，π／２，３π／２，……）も採用され得る。
【００２３】
第２に、位相設定部３４は、図３の部分(C)に示すように、周波数系列ＦBにおける極値点Ｅ以外の各時点ｔiの仮想位相θ(ti)を、当該時点ｔiの前後の各極値点Ｅの仮想位相θ(ti)（θ(ti)＝θm）の補間で算定する。具体的には、位相設定部３４は、第ｍ番目の極値点Ｅと第(m+1)番目の極値点Ｅとの間の各時点ｔiの仮想位相θ(ti)を、第ｍ番目の極値点Ｅの仮想位相θ(ti)（＝θm）と第(m+1)番目の極値点Ｅの仮想位相θ(ti)（＝θm+1）との補間で算定する。仮想位相θ(ti)の補間には公知の技術（典型的には直線補間）が任意に採用される。
【００２４】
なお、周波数系列ＦBの第１番目の極値点Ｅ以前に位置する区間δs内の各時点ｔiの仮想位相θ(ti)は、区間δsの近傍の各極値点Ｅ（例えば第１番目と第２番目の極値点Ｅ）の仮想位相θ(ti)の外挿で算定される。周波数系列ＦBの最後の極値点Ｅ以後に位置する区間δe内の各時点ｔiの仮想位相θ(ti)についても同様に、近傍の極値点Ｅの仮想位相θ(ti)の外挿で算定される。仮想位相θ(ti)の外挿には公知の技術（例えば直線外挿）が任意に採用される。以上の手順で、周波数系列ＦAの各時点ｔi（極値点Ｅおよび極値点Ｅ以外の双方の時点ｔi）について仮想位相θ(ti)が設定される。
【００２５】
相前後する極値点Ｅの間隔は音響信号ＸAの基本周波数ｆ0の変動の速度（ビブラート速度）に応じて変動する。したがって、図３の部分(C)から理解されるように、仮想位相θ(ti)の時間変化率（仮想位相θ(ti)を示す直線の傾き）は時間の経過とともに刻々と変動する。すなわち、音響信号ＸAのビブラート速度が高い（単位時間毎の基本周波数ｆ0の変動の周期が短い）ほど仮想位相θ(ti)の時間変化率は増加する。
【００２６】
図２の単位波抽出部３６は、時間軸上の複数の時点ｔiの各々について、特徴抽出部３２の抽出処理部３２２が生成した周波数系列ＦAのうち当該時点ｔiを含む１周期分の波形（以下「単位波」という）Ｗ0を抽出する。図４は、任意の時点ｔiに対応する単位波Ｗ0の抽出を説明するための模式図である。単位波抽出部３６は、図４の部分(A)に示すように、位相設定部３４が時点ｔiに設定した仮想位相θ(ti)を中心として幅２πにわたる１周期分の区間Θを画定し、図４の部分(B)および部分(C)に示すように、周波数系列ＦAのうち区間Θに対応する部分を単位波Ｗ0として抽出する。すなわち、周波数系列ＦAのうち、仮想位相{θ(ti)−π}が設定された時点ｔsと仮想位相{θ(ti)＋π}が設定された時点ｔeとの間の区間が、時点ｔiに対応する単位波Ｗ0として抽出される。
【００２７】
前述のように仮想位相θ(ti)の時間変化率は音響信号ＸAのビブラート速度に応じて変動するから、単位波Ｗ0を構成するサンプル数ｎは音響信号ＸAのビブラート速度に応じて時点ｔi毎に変化し得る。具体的には、音響信号ＸAのビブラート速度が高い（相前後する極値点Ｅの間隔が小さい）ほど単位波Ｗ0のサンプル数ｎは減少する。
【００２８】
図２の単位波処理部３８は、単位波抽出部３６が抽出した単位波Ｗ0の特徴を示す単位情報Ｕ(ti)を各時点ｔiの単位波Ｗ0毎に生成する。相異なる時点ｔiについて生成された複数の単位情報Ｕ(ti)の集合が変動情報ＤVとして記憶装置２４に格納される。図２に示すように、単位波処理部３８は、位相補正部５２と時間調整部５４と情報生成部５６とを含んで構成される。位相補正部５２および時間調整部５４は、各単位波Ｗ0の形状を調整し、情報生成部５６は、調整後の各単位波Ｗ0から単位情報Ｕ(ti)（変動情報ＤV）を生成する。図５は、単位波処理部３８の動作の説明図である。
【００２９】
位相補正部５２は、単位波抽出部３６が時点ｔi毎に抽出した各単位波Ｗ0を相互に同相となるように補正して各時点ｔiの単位波ＷAを生成する。具体的には、図５に示すように、位相補正部５２は、初期位相がゼロとなるように各単位波Ｗ0を時間軸の方向に移動（移相）する。例えば、位相補正部５２は、図６に示すように、単位波Ｗ0の先頭側の区間ｗsを末尾に移動することで初期位相がゼロの単位波ＷAを生成する。なお、単位波Ｗ0の末尾側の区間を先頭に移動して単位波ＷAを生成する構成も採用され得る。以上の処理が単位波Ｗ0毎に実行されることで各時点ｔiの単位波ＷAが同位相に調整される。
【００３０】
図２の時間調整部５４は、図５に示すように、位相補正部５２による補正後の各単位波ＷAを共通の時間長（サンプル数）Ｎに伸縮することで単位波ＷBを生成する。情報生成部５６（第２生成部５６２）が単位波ＷBに対する離散フーリエ変換を実行することを考慮すると（後述）、時間長Ｎを２の累乗（例えばＮ＝６４）に設定した構成が好適である。単位波ＷAの伸縮（単位波ＷBの生成）には公知の技術（例えば単位波ＷAを線形に伸縮する処理）が任意に採用される。
【００３１】
図２に示すように、情報生成部５６は、速度情報Ｖ(ti)を時点ｔi毎に生成する第１生成部５６１と、形状情報Ｓ(ti)を時点ｔi毎に生成する第２生成部５６２とを含んで構成される。速度情報Ｖ(ti)と形状情報Ｓ(ti)とを含む時点ｔi毎の単位情報Ｕ(ti)が変動情報ＤVとして順次に記憶装置２４に格納される。
【００３２】
第１生成部５６１は、位相補正部５２による処理後の各単位波ＷA（または処理前の単位波Ｗ0）から速度情報Ｖ(ti)を生成する。速度情報Ｖ(ti)は、音響信号ＸAのビブラート速度の尺度となる指標値である。具体的には、第１生成部５６１は、図５に示すように、時点ｔiの単位波Ｗ0（ＷA）のサンプル数ｎと時間調整部５４による調整後の単位波ＷBのサンプル数Ｎとの相対比（Ｎ/ｎ）を速度情報Ｖ(ti)として算定する。前述のように音響信号ＸAのビブラート速度が高いほど単位波Ｗ0のサンプル数ｎは減少する。したがって、音響信号ＸAのビブラート速度が高いほど速度情報Ｖ(ti)（＝Ｎ/ｎ）は大きい数値となる。
【００３３】
図２の第２生成部５６２は、時間調整部５４による処理後の各単位波ＷBから形状情報Ｓ(ti)を生成する。形状情報Ｓ(ti)は、図５に示すように、単位波ＷBの周波数スペクトル（複素スペクトル）Ｑの形状を示す数値列である。具体的には、第２生成部５６２は、単位波ＷB（Ｎサンプル）に対する離散フーリエ変換で周波数スペクトルＱを生成し、周波数スペクトルＱを構成する複数（Ｎポイント）の係数値の系列を形状情報Ｓ(ti)として抽出する。なお、単位波ＷBの振幅スペクトルやパワースペクトルを示す数値列を形状情報Ｓ(ti)として使用する構成も採用され得る。
【００３４】
以上の説明から理解されるように、形状情報Ｓ(ti)は、周波数系列ＦAのうち時点ｔiに対応する１周期分の単位波Ｗ0の形状を特徴付ける指標値に相当する。すなわち、形状情報Ｓ(ti)の逆フーリエ変換で生成される単位波ＷC（単位波ＷBと略一致するが便宜的に符号を相違させた）は、周波数系列ＦAのうち時点ｔiに対応する単位波Ｗ0の形状を反映した波形（単位波Ｗ0に形状が類似する波形）となる。例えば、形状情報Ｓ(ti)が示す周波数スペクトルＱの各係数値の最大値は、音響信号ＸAにおけるビブラート深度（基本周波数ｆ0の変動の振幅）に相当する。以上が変動抽出部３０の構成および作用である。
【００３５】
＜Ａ−２：変動付与部４０の構成および作用＞
図１の変動付与部４０は、以上の手順で時点ｔi毎に作成された単位情報Ｕ(ti)を利用して音響信号ＸBにビブラートを付加する。図７は、変動付与部４０のブロック図である。図７に示すように、変動付与部４０は、変動成分生成部４２と信号生成部４４とを含んで構成される。変動成分生成部４２は、変動情報ＤVを利用して基本周波数ｆ0の変動成分（音響信号ＸAのビブラート成分）Ｃを生成する。信号生成部４４は、信号供給装置１２から供給される音響信号ＸBに変動成分Ｃを付加することで音響信号ＸOUTを生成する。
【００３６】
図８は、変動成分生成部４２の動作の説明図である。図８に示すように、変動成分生成部４２は、時間軸上の複数の時点ｔiの各々について周波数（基本周波数（ピッチ））ｆ(ti)を順次に算定する。時点ｔi毎の周波数ｆ(ti)の時系列が変動成分Ｃに相当する。変動成分Ｃの各周波数ｆ(ti)は、時点ｔiの形状情報Ｓ(ti)が示す単位波ＷC（Ｎサンプルの基本周波数ｆ0）のうち特定の時点ｔFでの周波数に相当する。すなわち、音響信号ＸAの周波数系列ＦA（単位波Ｗ0）の形状が変動成分Ｃに反映される。したがって、例えば、音響信号ＸAのビブラート深度が高い（深い）ほど変動成分Ｃの振幅幅（ビブラート深度）は増加する。
【００３７】
形状情報Ｓ(ti)が示す単位波ＷCのうちの時点ｔFを示す変数（以下「進行度」という）Ｐ(ti)を導入すると、周波数ｆ(ti)は以下の数式(1)で定義される。
ｆ(ti)＝ＩＤＦＴ｛Ｓ(ti)，Ｐ(ti)｝  ……(1)
関数ＩＤＦＴ｛Ｓ(ti)，Ｐ(ti)｝は、形状情報Ｓ(ti)が示す周波数スペクトルＱを逆フーリエ変換した時間領域の単位波ＷCのうち進行度Ｐ(ti)で指定される時点ｔFでの数値（基本周波数ｆ0）を意味する。したがって、数式(1)は以下の数式(2)で表現され得る。
【数１】
2011118220.tif 000003
数式(2)の記号Ｓ(ti)kは、形状情報Ｓ(ti)を構成するＮ個の係数値（周波数スペクトルＱの係数値）のうち第ｋ番目の係数値を意味する。記号ｊは虚数単位である。
【００３８】
数式(1)および数式(2)の進行度Ｐ(ti)は、以下の数式(3)で定義される。
Ｐ(ti)＝ｍｏｄ｛ｐ(ti)，Ｎ｝  ……(3)
数式(3)の関数ｍｏｄ｛ａ，ｂ｝は、数値ａを数値ｂで除算（ａ/ｂ）したときの剰余を意味する。また、数式(3)の変数ｐ(ti)は、時点ｔiの直前（時点(ｔi-1)）までの速度情報Ｖ(ti)の積算値に相当し、以下の数式(4)で表現される。
【数２】
2011118220.tif 000004
数式(4)から理解されるように、変数ｐ(ti)の数値は経時的に増加して所定値Ｎを上回る。数式(3)において変数ｐ(ti)を所定値Ｎで除算するのは、単位波ＷCの１個分（Ｎサンプル）の範囲内の何れかの時点ｔFが進行度Ｐ(ti)で指定されるように、進行度Ｐ(ti)を所定値Ｎ以下に収めるためである。
【００３９】
いま、形状情報Ｓ(ti)から特定される単位波ＷC（Ｎサンプル）が１周期分の正弦波であり、形状情報Ｓ(ti)が全部の時点ｔi（ｔ1，ｔ2，ｔ3，……）にわたって共通する場合を便宜的に想定する。各時点ｔiでの速度情報Ｖ(ti)が１に固定された場合、進行度Ｐ(ti)は、時点ｔ1から時点ｔNにかけて時点ｔi毎に０，１，２，３，……という具合に１ずつ増加する。したがって、変動成分Ｃのうち時点ｔiでの周波数ｆ(ti)は、形状情報Ｓ(ti)が示す単位波ＷC（Ｎサンプル）のうち進行度Ｐ(ti)が示す第ｉ番目のサンプルの数値に設定される。すなわち、変動成分Ｃは、図９の部分(A)に示すように、時点ｔ1から時点ｔNまでの区間を１周期とする正弦波となる。
【００４０】
他方、各時点ｔiでの速度情報Ｖ(ti)が２である場合、進行度Ｐ(ti)は、時点ｔ1から時点ｔN/2にかけて、時点ｔi毎に０，２，４，６，……という具合に２ずつ増加する。したがって、変動成分Ｃのうち時点ｔiでの周波数ｆ(ti)は、形状情報Ｓ(ti)が示す単位波ＷC（Ｎサンプル）のうち進行度Ｐ(ti)が示す第(２ｉ)番目のサンプルの数値に設定される。したがって、変動成分Ｃは、図９の部分(B)に示すように、時点ｔ1から時点ｔN/2までの区間を１周期とする正弦波となる。すなわち、速度情報Ｖ(ti)が１である場合と比較して変動成分Ｃの周期は半分に設定される。以上の例示から理解されるように、速度情報Ｖ(ti)が大きいほど変動成分Ｃの周期は短い周期となる（ビブラート速度は高くなる）。すなわち、変動成分Ｃの周波数ｆ(ti)は、音響信号ＸAのビブラート速度を反映した周期で経時的に変動することが理解される。
【００４１】
図７の変動成分生成部４２は、以上に説明した数式(2)の演算で変動成分Ｃの周波数ｆ(ti)を順次に生成する。ただし、速度情報Ｖ(ti)は非整数に設定され得るから、単位波ＷCのサンプルを指定する進行度Ｐ(ti)は整数とならない場合もある。そこで、数式(3)の進行度Ｐ(ti)が非整数の場合、進行度Ｐ(ti)の前後の整数について数式(2)で算定される周波数ｆ(ti)を補間することで実際の進行度Ｐ(ti)に対応する周波数ｆ(ti)を算定する。すなわち、変動成分生成部４２は、進行度Ｐ(ti)（非整数）を下回る直近の整数ｇ1を数式(2)の進行度Ｐ(ti)とした場合の周波数ｆ1(ti)と、進行度Ｐ(ti)を上回る直近の整数ｇ2を数式(2)の進行度Ｐ(ti)とした場合の周波数ｆ2(ti)とを算定し、周波数ｆ1(ti)と周波数ｆ2(ti)とを補間することで、実際の進行度Ｐ(ti)（非整数）に対応する周波数ｆ(ti)を算定する。
【００４２】
以上の手順で生成された変動成分Ｃを信号生成部４４は音響信号ＸBに付加する。具体的には、音響信号ＸBから抽出される基本周波数の時系列に変動成分Ｃを加算し、加算後の数値列を基本周波数とする音響信号ＸOUTを生成する。もっとも、変動成分Ｃを反映した音響信号ＸOUTの生成には公知の技術が任意に採用され得る。
【００４３】
以上に説明したように、本実施形態では、音響信号ＸAの周波数系列ＦAの１周期分に相当する単位波Ｗ0の特徴を示す単位情報Ｕ(ti)（形状情報Ｓ(ti)および速度情報Ｖ(ti)）が時点ｔi毎に順次に生成され、各単位情報Ｕ(ti)を利用して変動成分Ｃが生成される。したがって、単純な正弦波でビブラートを近似する特許文献１や非特許文献１の構成と比較して、音響信号ＸAのビブラートの特徴を忠実かつ自然に再現した音響信号ＸOUTを生成することが可能である。具体的には、変動情報ＤVの各形状情報Ｓ(ti)を適用することで、音響信号ＸAのビブラートの波形（ビブラート深度を含む）を忠実に反映した変動成分Ｃが生成され、変動情報ＤVの各速度情報Ｖ(ti)を適用することで、音響信号ＸAのビブラート速度を忠実に反映した変動成分Ｃが生成される。
【００４４】
ところで、特許文献２には、実際の歌唱音に付加されたビブラートの波形を表すピッチ変化データを利用して任意の音響信号にビブラートを付加する技術が開示されている。しかし、特許文献２の技術では、各ピッチ変化データが示すビブラート成分の位相や時間長が区々であるから、例えば複数のピッチ変化データを加算した結果が周期的な波形（すなわちビブラート成分）とならない可能性がある。他方、本実施形態では、周波数系列ＦAから抽出された各単位波Ｗ0の位相と時間長とを共通化したうえで形状情報Ｓ(ti)を生成する。したがって、複数の形状情報Ｓ(ti)の加算で生成される新規な形状情報Ｓ(ti)が示す単位波ＷCは、加算前の各形状情報Ｓ(ti)の特性を適切に反映した周期的な波形となる。すなわち、位相補正部５２および時間調整部５４が単位波Ｗ0を調整する第１実施形態によれば、形状情報Ｓ(ti)の加工（変動成分Ｃの変形）が容易であるという利点がある。以上の作用を考慮すると、相異なる音響信号ＸAから抽出された複数の形状情報Ｓ(ti)を変動成分生成部４２が加算して新規な形状情報Ｓ(ti)を生成する構成が好適に採用される。
【００４５】
また、特許文献２の技術のもとで音響信号に付加されるビブラート成分の時間長を変更する場合を想定すると、ビブラート成分の波形を表すピッチ変化データを時間軸の方向に単純に伸縮しただけではビブラート成分の特性が変化するから、ビブラート成分の変化を抑制しながら時間長を調整するための複雑な演算が必要となる。他方、第１実施形態においては、単位波Ｗ0毎に単位情報Ｕ(ti)（形状情報Ｓ(ti)および速度情報Ｖ(ti)）が生成されるから、特許文献２の技術と比較して変動成分Ｃの伸縮が容易であるという利点がある。具体的には、複数の時点ｔiの周波数ｆ(ti)の生成に共通の形状情報Ｓ(ti)を流用することで、変動成分Ｃを伸長することが可能である。例えば、時点ｔ1から時点ｔ4までの各時点ｔiの周波数ｆ(ti)を形状情報Ｓ(t1)から特定し、時点ｔ5から時点ｔ8までの各時点ｔiの周波数ｆ(ti)を形状情報Ｓ(t2)から特定するという具合である。他方、形状情報Ｓ(ti)を所定個おきに使用することで、変動成分Ｃを短縮することも可能である。例えば、時点ｔ1の周波数ｆ(t1)の特定に形状情報Ｓ(t1)を利用し、時点ｔ2の周波数ｆ(t2)の特定に形状情報Ｓ(t3)を利用し、時点ｔ3の周波数ｆ(f3)の特定に形状情報Ｓ(t5)を利用する（形状情報Ｓ(t2)や形状情報Ｓ(t4)は間引く）という具合である。
【００４６】
＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態を説明する。なお、以下の各例示において作用や機能が第１実施形態と同等である要素については、以上と同じ符号を付して各々の詳細な説明を適宜に省略する。
【００４７】
第１実施形態では、単位波ＷBの周波数スペクトルＱの全部の係数値を形状情報Ｓ(ti)とした。第２実施形態の第２生成部５６２は、単位波ＷBの周波数スペクトルＱのうち低域側に位置する所定の帯域内のＮ0個（Ｎ0＜Ｎ）の係数値の系列を形状情報Ｓ(ti)として生成する。数式(2)の演算では、変動成分生成部４２は、変数ｋが数値Ｎ0以下の範囲内では数式(2)の変数Ｓ(ti)kを形状情報Ｓ(ti)内の各係数値に設定し、変数ｋが数値Ｎ0を上回る範囲内では数式(2)の変数Ｓ(ti)kを所定値（例えばゼロ）に設定する。
【００４８】
第２実施形態においても第１実施形態と同様の効果が実現される。なお、単位波ＷB（Ｗ0）の特徴は主に周波数スペクトルＱの低域側に現れるから、周波数スペクトルＱの高域側の係数値が形状情報Ｓ(ti)に反映されないとは言っても、形状情報Ｓ(ti)の利用で生成される変動成分Ｃの特性が音響信号ＸAのビブラート成分の特性から不当に乖離することは防止される。また、第２実施形態においては、形状情報Ｓ(ti)を構成する係数列の個数（Ｎ0個）が第１実施形態（Ｎ個）と比較して低減されるから、各形状情報Ｓ(ti)（変動情報ＤV）の記憶に必要な記憶装置２４の容量が削減されるという利点がある。
【００４９】
＜Ｃ：変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。
【００５０】
（１）変形例１  
以上の各形態では、変動抽出部３０が生成した変動情報ＤVを変動成分Ｃの生成に利用したが、変動成分生成部４２が変動情報ＤVを加工したうえで変動成分Ｃの生成に利用する構成も採用され得る。例えば、前述の例示のように変動成分生成部４２が複数の形状情報Ｓ(ti)を合成（例えば加算）する構成が好適である。具体的には、相異なる発声者の音響信号ＸAから生成された複数の形状情報Ｓ(ti)を合成する構成や、同一人の発声音の音響信号ＸAから相異なる時点ｔiについて生成された複数の形状情報Ｓ(ti)を合成する構成が採用される。また、形状情報Ｓ(ti)の各係数値を調整（例えば所定値の乗算）すれば、変動成分の変動幅（ビブラート深度）を適宜に増減することが可能である。
【００５１】
（２）変形例２  
以上の各形態では音響信号ＸAと音響信号ＸBとが共通の信号供給装置１２から供給される場合を例示したが、音響信号ＸAと音響信号ＸBとの関係は任意である。例えば、音響信号ＸAと音響信号ＸBとで供給元が相違する構成も採用され得る。また、音響信号ＸAを音響信号ＸBとして利用する構成によれば、音響信号ＸAから生成された変動情報ＤVを例えば加工後に再び音響信号ＸA（ＸB）に付加することも可能である。また、変動成分Ｃの付加の対象となる音響信号ＸBが単独で存在する必要もない。例えば、変動情報ＤVに応じた変動成分Ｃを音声合成に適用して音響信号ＸOUTを生成する構成も採用される。以上の説明から理解されるように、各形態の信号生成部４４は、変動情報ＤVに応じた変動成分Ｃが付加された音響信号ＸOUTを生成する要素として包括され、相互に独立に存在する変動成分Ｃと音響信号ＸBとを合成するという作用は必須ではない。
【００５２】
（３）変形例３  
以上の各形態では周波数系列ＦAを構成する基本周波数ｆ0の時点ｔi毎に仮想位相θ(ti)の設定と単位情報Ｕ(ti)の生成（単位波Ｗ0の抽出）とを実行したが、音響信号ＸAから基本周波数ｆ0を抽出する周期と仮想位相θ(ti)を設定する周期と単位情報Ｕ(ti)を生成する周期とは任意に変更される。例えば、時点ｔiの所定個（複数個）おきに単位波Ｗ0の抽出および単位情報Ｕ(ti)の生成を実行する構成も採用され得る。
【００５３】
（４）変形例４  
以上の各形態においては位相補正部５２による位相の補正後に時間調整部５４による時間長の調整を実行したが、時間調整部５４による時間長の調整後に位相補正部５２が位相を補正する構成も採用され得る。また、位相補正部５２による位相の補正と時間調整部５４による時間長の調整との一方のみを採用した構成や、位相補正部５２および時間調整部５４の双方を省略した構成も採用され得る。
【００５４】
（５）変形例５  
以上の各形態では、変動抽出部３０および変動付与部４０の双方を具備する音響処理装置１００を例示したが、音響処理装置１００が変動抽出部３０および変動付与部４０の一方のみを具備する構成も好適である。例えば、変動抽出部３０を具備する音響処理装置が生成した変動情報ＤVを、変動付与部４０を具備する他の音響処理装置が利用して音響信号ＸOUTを生成する構成が採用され得る。変動情報ＤVは、例えば可搬型の記録媒体や通信網を介して一方の音響処理装置（変動抽出部３０）から他方の音響処理装置（変動付与部４０）に転送される。
【００５５】
（６）変形例６  
以上の各形態では、形状情報Ｓ(ti)および速度情報Ｖ(ti)の双方を生成する構成を例示したが、形状情報Ｓ(ti)および速度情報Ｖ(ti)の一方のみを変動情報ＤVとして生成する構成も採用され得る。例えば、速度情報Ｖ(ti)の生成を省略した構成では、数式(4)の速度情報Ｖ(ti)を所定値（例えば１）に設定して数式(2)の演算を実行することで変動成分Ｃが生成される。したがって、音響信号ＸAの単位波Ｗ0の形状（例えばビブラート深度）は反映するが音響信号ＸAのビブラート速度は反映しない変動成分Ｃを生成することが可能である。また、形状情報Ｓ(ti)の生成を省略した構成では、形状情報Ｓ(ti)を所定の波形（例えば正弦波）に設定して数式(2)の演算を実行することで変動成分Ｃが生成される。したがって、音響信号ＸAのビブラート速度は反映するが音響信号ＸAの単位波Ｗ0の形状（ビブラート深度）は反映しない変動成分Ｃを生成することが可能である。
【００５６】
（７）変形例７  
以上の各形態では、仮想位相θ(ti)を中心とする区間Θに対応する単位波Ｗ0を周波数系列ＦAから抽出したが、仮想位相θ(ti)を利用して単位波Ｗ0を抽出する方法は適宜に変更される。例えば、仮想位相θ(ti)を端点（始点または終点）とする幅２πの区間Θに対応する部分を単位波Ｗ0として周波数系列ＦAから抽出する構成も採用され得る。
【００５７】
（８）変形例８  
以上の各形態では、周波数系列ＦAや周波数系列ＦBを音響信号ＸAから抽出したが、例えば、周波数系列ＦAや周波数系列ＦBが事前に格納された記憶媒体から位相設定部３４や単位波抽出部３６が周波数系列ＦAや周波数系列ＦBを取得する構成も採用され得る。すなわち、特徴抽出部３２は音響処理装置１００から省略され得る。
【００５８】
（９）変形例９  
以上の形態では、音響信号ＸAの基本周波数ｆ0の変動を反映した変動情報ＤVを生成したが、変動情報ＤVの対象となる特徴量は基本周波数ｆ0に限定されない。例えば、音響信号ＸAの各時点ｔiでの音量（音圧レベル）の時系列を周波数系列ＦAの代わりに利用すれば、音響信号ＸAの音量の経時的な変動（揺れ）を反映した変動情報ＤVを生成することが可能である。すなわち、経時的に変動する任意の特徴量について本発明を適用することが可能である。
【符号の説明】
【００５９】
１００……音響処理装置、１２……信号供給装置、１４……放音装置、２２……演算処理装置、２４……記憶装置、３０……変動抽出部、３２……特徴抽出部、３４……位相設定部、３６……単位波抽出部、３８……単位波処理部、４０……変動付与部、４２……変動成分生成部、４４……信号生成部、５２……位相補正部、５４……時間調整部、５６……情報生成部、５６１……第１生成部、５６２……第２生成部、Ｘ（ＸA，ＸB），ＸOUT……音響信号、ＤV……変動情報、Ｕ(ti)……単位情報、Ｓ(ti)……形状情報、Ｖ(ti)……速度情報、ＦA，ＦB……周波数系列、θ(ti)……仮想位相、Ｗ0，ＷA，ＷB，ＷC……単位波、Ｃ……変動成分。
【図１】
2011118220.tif 000005
【図２】
2011118220.tif 000006
【図３】
2011118220.tif 000007
【図４】
2011118220.tif 000008
【図５】
2011118220.tif 000009
【図６】
2011118220.tif 000010
【図７】
2011118220.tif 000011
【図８】
2011118220.tif 000012
【図９】
2011118220.tif 000013