(57)【特許請求の範囲】
【請求項１】
入力された音響波形信号のピッチを抽出する分析手段と、
該抽出したピッチに基づく窓関数で前記入力された音響波形信号を切り出し、該切り出した波形を非周期的なトリガタイミングで重畳加算し、これにより前記入力された音響波形信号のフォルマント特性を持つノイズ信号を生成する波形処理手段と
を具備し、前記入力された音響波形信号に前記生成されたノイズ信号を付加することができるようにしたことを特徴とする音響効果装置。
【請求項２】
前記入力された音響波形信号に前記生成されたノイズ信号を付加する前に、該生成されたノイズ信号をフィルタ処理する手段を更に具備する請求項１に記載の音響効果装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、元の音響波形信号が持つ固有のフォルマントを持つノイズ信号を形成し、このノイズ信号を元の音響波形信号に付加することで特別の音響効果を実現できるようにした音響効果装置及びそれに関連するコンピュータプログラムに関する。
【背景技術】
【０００２】
プロの歌手が歌唱した曲を録音して音楽レコードやＣＤ（コンパクトディスク）などの音楽メディアを商業的に製作する場合、あるいはアマチュアの歌い手が自らの歌唱した曲を個人的に録音して音楽メディアを非商業的に製作する場合など、様々な場面でボーカル音声を録音する技術が用いられる。その場合、録音条件や録音機器等の理由によって良い録音品質が得られない場合、あるいは歌い手の声質が元々あまり良くない場合などにあっては、マイクロフォンでピックアップしたボーカル音声を単に記録するだけでは、満足のいくボーカル演奏サウンドを録音するには至らず、聴者はボーカル音声に「ハリ」や「ツヤ」がないと感じさせられることになる。この問題を解決するためには、マイクロフォンでピックアップしたボーカル音声信号に対して、声の「ハリ」や「ツヤ」を付加するよう、適切な音響効果を付加する加工を施せばよい。
【０００３】
声に「ハリ」や「ツヤ」を与えるのは息の成分であることが判っている。よって、従来、プロのボーカル録音の現場では、ボーカル歌唱音声とは別途に息の音だけを使った囁き声を録音し、この囁き声をボーカル歌唱音声に重ねて録音する方法が採用されることもある。また、マイクロフォンでピックアップしたオリジナルのボーカル音声信号をイコライザーやエキサイター等でエフェクト処理することにより、声に「ハリ」や「ツヤ」を与える加工を施すことも行われている。イコライザーでは、フィルタリングによって、オリジナルのボーカル音声信号中の息の成分の周波数帯域を強調する加工を施すのであるが、ボーカル音声信号中に元々存在していない息の成分はその周波数帯域を強調しても生み出されることはないので、声に「ハリ」や「ツヤ」を与える効果は薄く、また、ＳＮ比も低下する。エキサイターでは、元のボーカル音声信号から所望の周波数帯域の倍音成分を生み出すことで、該周波数帯域を強調することができるものであり、声に「ハリ」や「ツヤ」を与える効果は或る程度達成できる。しかし、元のボーカル音声信号の倍音周波数成分しか付加されないので（ノイズ成分が付加されない）、息らしさが強調されず、もの足りないものであった。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この発明は上述の点に鑑みてなされたもので、元の音響波形信号に対して適切なノイズ成分を付加することで、特別の音響効果（例えば声に「ハリ」や「ツヤ」を与える効果）を高品質でかつ容易に実現できるようにした音響効果装置及びそれに関連するコンピュータプログラムを提供しようとするものである。
【課題を解決するための手段】
【０００５】
この発明に係る音響効果装置は、入力された音響波形信号のピッチを抽出する分析手段と、該抽出したピッチに基づく窓関数で前記入力された音響波形信号を切り出し、該切り出した波形を非周期的なトリガタイミングで重畳加算し、これにより前記入力された音響波形信号のフォルマント特性を持つノイズ信号を生成する波形処理手段とを具備し、前記入力された音響波形信号に前記生成されたノイズ信号を付加することができるようにしたことを特徴とする。
【０００６】
入力された音響波形信号のピッチを抽出し、該抽出したピッチに基づく窓関数で該入力された音響波形信号を切り出し、該切り出した波形を適宜のトリガタイミングで重畳加算（overlap and add）することにより得られる波形信号は、該入力された音響波形信号のフォルマント特性を持ち、かつ、該トリガタイミングの周期性に応じたピッチを持つ。ここで、該トリガタイミングを非周期的にすることにより、該重畳加算により得られる波形信号は、該入力された音響波形信号のフォルマント特性を持つノイズ信号となる。これは、該入力された音響波形信号が例えばボーカル音声信号である場合、歌い手の声質に固有のフォルマント特性を持つノイズ信号が生み出されることを意味する。このようにして生み出されたノイズ信号は、歌い手（又は話し手であってもよい）に固有の息の成分を高品質に模倣するものである。従って、この発明によれば、特別の音響効果（例えば声に「ハリ」や「ツヤ」を与える効果）を高品質でかつ容易に実現できる。
【発明を実施するための最良の形態】
【０００７】
図１は、この発明に係る音響効果装置の一実施例を示すブロック図である。図１における各構成要素は、それぞれの所定の機能を達成しうるように専用のハードウェア回路で構成してもよいし、マイクロコンピュータあるいはＤＳＰ（デジタル・シグナル・プロセッサ）のような任意のプログラムで動作する処理装置にそれぞれの機能を達成させ得るように必要な処理手順をプログラムしたソフトウェアを搭載することで構成してもよいし、あるいは、一部の構成要素を専用のハードウェア回路で構成し他の構成要素を該処理装置とソフトウェアプログラムとで構成するようにしてもよい。
【０００８】
図示しないマイクロフォンでピックアップしたボーカル音声信号等の音響波形信号が、図示しないアナログ／デジタル変換器でデジタル変換されて、所与のサンプリング周期でサンプリングされたデジタルの音響波形信号の形で入力される。ピッチ分析部１１は、入力された音響波形信号を分析して、そのピッチを抽出（検出）するものである。そのためのピッチ抽出（分析）手法としては種々の手法が公知であるから、その中のどのような手法を用いてもよい。ピッチ分析部１１で抽出したピッチ情報は、ピッチ変換（波形処理）部１２に与えられ、波形の切り出し期間（窓関数の時間窓）を設定する。
【０００９】
ピッチ変換（波形処理）部１２は、大別して波形切り出し部１２ａと再合成部１２ｂとを含み、ピッチ分析部１１で抽出したピッチ情報に基づく窓関数で前記入力された音響波形信号を切り出し（波形切り出し部１２ａで行う）、該切り出した波形を非周期的なトリガタイミングで重畳加算し（再合成部１２ｂで行う）、これにより前記入力された音響波形信号のフォルマントを持つノイズ信号を生成する。ピッチ変換部１２で行う波形処理の基本技術である、入力された音響波形信号のフォルマントを保持して該音響波形信号のピッチを所望のピッチに変換する技術それ自体は公知である。例えば、本出願人の所有する日本特許第３３７９３４８号（特開平１０−７８７９１号）公報に記載されている。よって、ピッチ変換部１２の詳細は、このような公知技術を用いて構成できるので、詳しい図示と説明は省略し、要旨のみを以下説明する。なお、本実施例のピッチ変換部１２では、入力された音響波形信号のフォルマントを持つノイズ信号を生成する点が従来にない新規な点である。
【００１０】
まず、波形切り出し部１２ａで行う波形切り出し例について説明すると、図２（ａ）に例示するような入力された音響波形信号（オリジナル波形）の各サンプルデータが順次バッファ記憶され、その中から該音響波形信号の前記抽出されたピッチに対応する１周期または複数周期の波形が切り出される（読み出される）。そして、切り出された（読み出された）波形の振幅が所定の窓関数に従って重み付け制御される。図２（ｂ）は、窓関数として２周期分のハニング窓を使用し、２周期分の波形を切り出して（読み出して）その切り出し波形の振幅をハニング窓で重み付け制御した例を示している。このような２周期分のハニング窓による波形切り出しは、波形の再合成の際に、繰り返し生成する切り出し波形を２系列で１周期ずらして合成することで、クロスフェード合成（滑らかな波形接続）による元の波形の完全な再生を容易に行うことができるので有利である。しかし、勿論、この例に限らず、その他の適宜の波形切り出し手法、例えば１ピッチ周期分の波形を矩形窓で切り出す（つまり振幅の重み付け制御をしない）ようにしてもよい。なお、ボーカル音声や楽器演奏音など通常の音響波形信号は、その波形及びピッチが時間的に変化する。従って、波形切り出し部１２ａにおける波形の切り出し操作は、入力された音響波形信号（オリジナル波形）の波形形状及びピッチの時間的変化に追従しうるような適当な短い時間間隔で間歇的に行われる。
【００１１】
上記のように切り出された波形のデータは、再合成部１２ｂで利用しうるようにメモリに一時保存されかつ更新される（つまり、新たな波形が切り出されたときはそれによって代替される）。この切り出された波形は、元の音響波形信号（オリジナル波形）のピッチ周期に対応しているので、元の音響波形信号（オリジナル波形）のフォルマント成分（周波数成分の振幅エンベロープ）をそっくり保持している。従って、再合成部１２ｂにおいて、この切り出された波形をすべて含むように適宜繰り返し発生させることで、波形信号の再合成を行えば、元の音響波形信号（オリジナル波形）のフォルマントを持つ波形信号を再合成することができる。再合成部１２ｂは、そのような波形信号の再合成を任意のピッチ（再生ピッチ）で行うことができるものである。なお、切り出された波形（切り出し波形）を再生するために前記メモリに保存された切り出し波形を読み出すが、この切り出し波形の再生読み出しは、一定のサンプリング周波数（例えば入力音響波形信号をＡ／Ｄ変換したときのサンプリング周波数）で行われるものとする。これは、再合成される波形信号のフォルマント特性を固定フォルマントとするためである。勿論、これに限らず、再合成される波形信号のフォルマント特性を適宜移動させたい場合は、切り出し波形の再生読み出しのためのサンプリング周波数を適宜変更すればよい。
【００１２】
図３を参照して、再合成部１２ｂによる任意のピッチでの波形信号の再合成処理につき簡単に説明する。図３（ａ）は、元の音響波形信号（オリジナル波形）のピッチの１周期に対応する切り出し波形Ｓを矩形枠によって模擬的に示す。（ｂ）は、この切り出し波形Ｓを繰り返し再生して元のピッチと同じピッチを持つ波形信号を再合成する場合を示す。図中、下向き矢印は、切り出し波形Ｓの再生を開始するトリガタイミングを示す。すなわち、図３（ｂ）では、元のピッチに対応する周期でトリガタイミングを次々に発生し、切り出し波形Ｓを切れ目なく順次発生する。図４（ａ）は、元のピッチと同じピッチを持つ再合成された波形信号のフォルマント及びスペクトル特性を例示する図である。この例では、元のピッチはＣ４音のピッチであるとしており、Ｃ４音の基本周波数及び各倍音周波数の位置に線スペクトルが発生する。発生する各線スペクトルの振幅レベルは、該切り出し波形Ｓに固有のフォルマント特性（周波数対振幅エンベロープ特性）に従う。
【００１３】
図３（ｃ）は、この切り出し波形Ｓを繰り返し再生して元のピッチよりも低いピッチを持つ波形信号を再合成する場合を示す。図で示すように、トリガタイミングが与えられる周期は、実現しようとするピッチ（再生ピッチ）の周期に対応しており、それは元のピッチの周期よりも長い。このように元のピッチの周期よりも長いトリガタイミングで切り出し波形Ｓを繰り返し再生したものからなる再合成波形信号においては、図示のように隣接する切り出し波形Ｓの間に適宜のすきまが存在することになる（つまり、切り出し波形Ｓが飛び飛びに再生される）。こうして再合成される波形信号においては、切り出し波形Ｓがそっくり含まれるので、そのフォルマント特性は、図４（ａ）に示したような元の波形のものと全く同じであり、ただ、線スペクトルの発生位置が、再生ピッチの基本周波数及び各倍音周波数に対応するものに変わる。
【００１４】
元のピッチよりも高いピッチを持つ波形信号を再合成する場合は、図３（ｄ）〜（ｆ）に例示するように、複数の系列で切り出し波形Ｓを再生し、これらを重畳加算する。これは、再合成される波形信号中に切り出し波形Ｓをすべて含ませるようにするためである。図３（ｄ）は、切り出し波形Ｓを繰り返し再生して元のピッチよりも高いが２倍以下のピッチを持つ波形信号を再合成する場合を示す。この場合も、図中、下向き矢印で示すように、トリガタイミングが与えられる周期は、再生ピッチの周期に対応しており、それは元のピッチの周期よりも短い。ただし、トリガタイミングは、図示のように、２つの再生系列に対して交互に与えられる。従って、１つの再生系列では、トリガタイミングは切り出し波形Ｓの長さよりも長い周期で与えられるので、切り出し波形Ｓがすべて含まれるように再生がなされることになる。すべての再生系列で再生された切り出し波形Ｓを含む波形信号が合計加算されるようになっており、その結果、再生された切り出し波形Ｓが、その波形形状を保ちながら、元のピッチの周期よりも短い周期（高いピッチの周期）で、繰り返し、重畳加算されることになる。図４（ｂ）は、元のピッチより２倍以下の高いピッチを持つ再合成された波形信号のフォルマント及びスペクトル特性を例示する図である。こうして再合成される波形信号においては、切り出し波形Ｓがそっくり含まれるので、そのフォルマント特性は、図４（ａ）に示したような元の波形のものと全く同じであり、ただ、線スペクトルの発生位置が、再生ピッチの基本周波数及び各倍音周波数に対応するものに変わる。
【００１５】
図３（ｅ）は、切り出し波形Ｓを繰り返し再生して元のピッチよりも高い３倍以下のピッチを持つ波形信号を再合成する場合を示す。この場合も、図中、下向き矢印で示すように、トリガタイミングが与えられる周期は、再生ピッチの周期に対応しており、それは元のピッチの周期よりも短い。ただし、トリガタイミングは、図示のように、３つの再生系列に対して順次に与えられる。図３（ｆ）は、切り出し波形Ｓを繰り返し再生して元のピッチよりも高いｎ倍以下のピッチを持つ波形信号を再合成する場合を示す。この場合も、図中、下向き矢印で示すように、トリガタイミングが与えられる周期は、再生ピッチの周期に対応しており、それは元のピッチの周期よりも短い。ただし、トリガタイミングは、図示のように、ｎ個の再生系列に対して順次に与えられる。いずれの場合も、上述と同様に、こうして再合成される波形信号においては、切り出し波形Ｓがそっくり含まれるので、そのフォルマント特性は、図４（ａ）に示したような元の波形のものと全く同じであり、ただ、線スペクトルの発生位置が、再生ピッチの基本周波数及び各倍音周波数に対応するものに変わる。
【００１６】
以上から明らかなように、再合成部１２ｂにおいては、ｎ個の再生系列を具備することにより、元のピッチのｎ倍までの任意のピッチで波形信号を再合成することができる。なお、このｎ個の再生系列は公知の時分割共用方式で構成されてもよいのは勿論である。
【００１７】
再合成部１２ｂは、再生ピッチ指定情報に応じて再生ピッチが指定され。該指定された再生ピッチに従って上述のようにトリガタイミングを発生して波形信号の再合成を行う。再生ピッチ指定情報は、元のピッチに対する所望の再生ピッチのピッチ比で与えられる。例えば、元のピッチと同じ再生ピッチとする場合は再生ピッチ指定情報が示すピッチ比は「１」であり、元のピッチの２倍の再生ピッチとする場合は再生ピッチ指定情報が示すピッチ比は「２」である。
【００１８】
本実施例においては、再合成部１２ｂにおける上記トリガタイミングを非周期的に与えるために、ランダムジェネレータ１３から発生したランダム信号に応じて経時的にランダムに変化する再生ピッチ指定情報を生成し、これを再合成部１２ｂに与えるようにしている。例えば、ランダムジェネレータ１３から発生したランダム信号を必要に応じてスケーラ１４に入力して適宜の係数を掛け、ランダムの掛かり具合を可変調整（変調）する。スケーラ１４に入力する係数は、ユーザによる調整操作子（図示せず）等の操作に応じて適宜可変できるようになっているとよい。また、それに限らず、適宜の装置から発生される制御データあるいは経時変化する変調データ等の形態で該係数が与えられるようになっていてもよい。スケーラ１４で調整されたランダム信号を演算器１５（必要に応じて加／減／乗／除のいずれの演算を行うものでもよい）に入力し、経時的にランダムに変化する再生ピッチ指定情報を生成出力し、ピッチ変換部（波形処理部）１２に与える。演算器１５の他の入力には、必要に応じて、再生ピッチに関連する情報をスケーラ１６を介して入力するようになっていてよい。このスケーラ１６に入力する係数も、ユーザによる調整操作子（図示せず）等の操作に応じて適宜可変できるようになっているとよい。例えば、スケーラ１４ではノイズ成分の付加量を調整する操作を行い、スケーラ１６では所望の一定の再生ピッチを設定／調整する操作を行うようにしてよい。例えば、演算器１５として加算器を用いて、本発明に従ってノイズ信号の生成のためにピッチ変換部（波形処理部）１２を使用する場合は、スケーラ１６の出力が０になるように係数設定／調整し、その一方で、適宜のランダム信号がスケーラ１４から出力されるように係数設定／調整するようにすれば、演算器１５から経時的にランダムに変化する再生ピッチ指定情報を出力させることができる。また、ピッチ変換部１２を本来のピッチ変換の目的に使用する場合は、スケーラ１４のランダム信号出力が０になるように係数設定／調整し、その一方で、所望する一定の再ピッチを指定するデータがスケーラ１６から出力されるように係数設定／調整するようにすれば、演算器１５から一定の再ピッチを指定する再生ピッチ指定情報を出力させることができる。
【００１９】
上記のように経時的にランダムに変化する再生ピッチ指定情報をピッチ変換部（波形処理部）１２の再合成部１２ｂに与え、該ランダムな再生ピッチ指定情報に従って、該再合成部１２ｂにおける上記トリガタイミングを非周期的に与える。これにより、再合成部１２ｂでは、その再生ピッチがランダムに変化する波形信号すなわちノイズ信号を生成することになる。再生ピッチが時間的にランダム変化する場合であっても、再合成部１２ｂでは、上述のように、複数の再生系列で再生された切り出し波形Ｓを重畳加算するように構成されている。従って、ランダムに変化する再生ピッチで再合成される波形信号つまりノイズ信号においても切り出し波形Ｓがそっくり含まれることとなり、そのフォルマント特性は、図４（ａ）に示したような元の波形のものと全く同じであり、ただ、線スペクトルの発生位置が定まっていない、ランダムなノイズ性を示す。図４（ｃ）は、本実施例に従って合成されたノイズ信号のフォルマント及びスペクトル特性を例示する図であり、ノイズであるため線スペクトルが定位していないが、フォルマントは元の波形の特性を示している。このようなノイズ信号は、元の波形つまり入力された音響波形信号がボーカル音声信号である場合、その歌い手の声質（つまりフォルマント）を正確に保持しているものであり、当の歌い手自らが息音を発したものと同じ息音つまりノイズ音を正確に模倣できるものである。
【００２０】
ピッチ変換部（波形処理部）１２から発生された上記ノイズ信号は、適宜のフィルタ１７を介してミキシング用の乗算器１９に与えられる。入力された音響波形信号は、適宜のフィルタ１８を介してミキシング用の乗算器２０に与えられる。各乗算器１９，２０の出力が加算器２１で加算されることで、上記ノイズ信号が元の波形信号（入力された音響波形信号）に付加される。こうして、該入力された音響波形信号が例えばボーカル音声信号である場合、歌い手の声質に固有のフォルマント特性を持つノイズ信号が、元のボーカル音声信号に付加されることとなり、該元のボーカル音声信号に対して声の「ハリ」や「ツヤ」を付与することができる。上記のようにして生み出されたノイズ信号は、元のボーカル音声の歌い手に固有の息の成分を高品質に模倣するものであるから、声に「ハリ」や「ツヤ」を与えるといった特別の音響効果を高品質に実現できる。
【００２１】
ノイズ信号用のフィルタ１７はハイパスフィルタで構成し、低域成分を適切にカットして、音を整えてやるのがよい。これは、ボーカル音声に「ハリ」や「ツヤ」を付加するには、高域ノイズ成分を強調するのが有効であるからである。しかし、必要に応じて、別のフィルタ特性であってもよいし、また、このフィルタ１７を省略してもよい。オリジナルの音響波形信号用のフィルタ１８は、必要に応じた適宜の特性であってよく、あるいは、設けなくてもよい。ミキシング用の乗算器１９及び２０は、それぞれの乗算係数を可変調整することができ、これにより、元の波形信号（入力された音響波形信号）に対するノイズ信号の付加具合を可変調整することができる。この可変調整は、図示しない操作子をユーザが手動操作することで行うようにしてもよいし、あるいは、制御データの形態で適宜与えられるようになっていてもよい。例えば、ノイズ信号を常時付加するのではなく、歌唱曲の盛り上がり部分等適切な箇所で付加するように上記係数制御を行うことで、歌唱曲の盛り上がり部分等適切な箇所でのみ元のボーカル音声に「ハリ」や「ツヤ」を付加することができる。なお、ミキシング用の回路（乗算器１９、２０、加算器２１）を設けずに、ピッチ変換部１２で生成したノイズ信号と元の波形信号（入力された音響波形信号）とをそれぞれ別々に外部に出力するようにしてもよい。その場合は、例えば、別途の外部のミキサ等でこれらのノイズ信号と音響波形信号を適宜ミキシング処理するようにしてよく、あるいは、これらのノイズ信号と音響波形信号とを別々のスピーカで発音させて空間的にミキシングされるようにしてもよい。
【００２２】
なお、ランダムジェネレータ１３としては、ランダム数値（乱数）を発生するタイプのものや、ホワイトノイズを発生するタイプのものや、ピンクノイズを発生するタイプのものなど、任意のものを用いてよい。また、ランダムジェネレータ１３で発生したランダム信号（ノイズ信号）を更に適宜変調して、そのランダム性を適宜変更するようにしてもよい。このようにランダム性を変更制御することで、本発明で実現できる特別の音響効果（例えば声に「ハリ」や「ツヤ」を付加する効果）による音質を可変制御できる。
【００２３】
また、再合成部１２ｂにおいて、切り出し波形Ｓを再生読み出しするサンプリング周波数を適宜変更するようにしてもよく、これにより、ランダムナ再生ピッチで再合成される波形信号つまりノイズ信号のフォルマント特性を周波数軸に沿って適宜移動させることができる（移動フォルマント）。これによっても、元の波形のフォルマントの基本構造は維持されるので、元の波形のフォルマント特性を保持したノイズ信号を生成することができ、かつ、該ノイズ信号のフォルマントの周波数軸に沿う移動によって、本発明で実現する上記特別の音響効果（例えば声に「ハリ」や「ツヤ」を付加する効果）による音質を可変制御できる。
【図面の簡単な説明】
【００２４】
【図１】この発明に係る音響効果装置の一実施例を示すブロック図。
【図２】（ａ）は入力された音響波形信号（オリジナル波形）の一例を示す図、（ｂ）はオリジナル波形から２ピッチ周期分のハニング窓関数で切り出した波形の一例を示す図。
【図３】元のピッチに同期する切り出し波形Ｓを繰り返し再生して所望の再生ピッチを持つ波形信号を再合成する処理を原理的に説明するための図。
【図４】（ａ）、（ｂ）は一定の再生ピッチで再合成した波形信号のフォルマント及びスペクトル特性を例示する図、（ｃ）はランダムな再生ピッチで再合成した波形信号つまりノイズ信号のフォルマント及びスペクトル特性を例示する図。
【符号の説明】
【００２５】
１１  ピッチ分析部
１２  ピッチ変換（波形処理）部
１２ａ  波形切り出し部
１２ｂ  再合成部
１３  ランダムジェネレータ
【図１】
0004729859.tif 000002
【図２】
0004729859.tif 000003
【図３】
0004729859.tif 000004
【図４】
0004729859.tif 000005