Spectral modeling synthesis

スペクトラルモデリング合成 Spectral modeling synthesis (SMS; スペクトラルモデリング合成) は正弦波と色付きノイズを用いた楽音分析合成手法および音声分析合成手法である。 SMS分析/合成の処理概要 SMSは音を 調波成分 と 残余成分 (非調波成分; ノイズ成分) の組合せとしてモデル化する。 楽音分析合成 / 音声分析合成として次の要素から構成される。 分析 調波成分: 短時間フーリエ変換のピーク検出および軌跡化による周波数・位相・振幅抽出 残余成分: 短時間フーリエ変換残差（全体-調波) によるノイズスペクトル抽出 特徴量 調波成分: 周波数・位相・振幅 (時変） 残余成分: スペクトル (時変） 合成 調波成分: 加算合成 (※ フェーズボコーダと同様) 残余成分: ホワイトノイズに対する減算合成 (※ 場合によってはソース・フィルタモデル適用) このモデルは多くのタイプのオーディオ信号に適用できる。例えば音声信号は、声帯振動で生じるゆっくり変化する調波音と、唇や口で生じる広帯域ノイズ状音を含む。同様に楽器も、調波成分と、ノートの発音/変更時に生じるノイズ状音の両方を発する。 音響解析 音響合成 Sinusoidal modeling Sinusoidal modeling (調波合成モデル: 周波数が整数比の正弦波の総和) Composite sinusoidal model (非調波合成モデル: 任意周波数の正弦波の総和) 音声分析合成 ソース・フィルタモデル (音声生成モデル) 適応フィルタ 線形予測法 LPC CELP フェーズボコーダ ^ Roads 1996, p. 153, Figure 4.23: Overview of spectrum modeling synthesis. ^ 本手法は調波解析/調波合成に基づいており、その意図は調波成分が主役となる楽音の音響分析と音響合成である。 ^ Serra & Smith 1990, p. 12. "It describes a technique called spectral modeling synthesis [SMS], that models time-varying spectra as (1) a collection of sinusoids controlled through time by piecewise linear amplitude and frequency envelopes (the deterministic part), and (2) a time-varying filtered noise component (the stochastic part). The analysis procedure first extracts the sinusoidal trajectories by tracking peaks in a sequence of short-time Fourier transforms. These peaks are then removed by spectral subtraction. The remaining “noise floor” is then modeled as white noise through a time-varying filter. A piecewise linear approximation to the upper spectral envelope of the noise is computed each successive spectrum, and the stochastic part is synthesized by mean of the overlap-add technique." ^ 加法性ホワイトガウスノイズ (AWGN): パワースペクトル(周波数領域の強度)が全周波数で同じ強度(＝白色)で、振幅分布(時間領域の強度)がガウス分布に従うノイズ ^ McAulay & Quatieri 1988, p. 161, Fig. 8. "This block diagram of the sinusoidal analysis/synthesis system illustrates the major functions subsumed within the system. Neither voicing decisions nor residual waveforms are required for speech synthesis." Bonada, J.; Loscos, A.; Cano, P.; Serra, X.; Kenmochi, H. (2001). “Spectral Approach to the Modeling of the Singing Voice” (英語). In Proc. of the 111th AES Convention. CiteSeerx: 10.1.1.75.2357. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.2357&rep=rep1&type=pdf.  McAulay, R. J.; Quatieri, T. F. (1988), “Speech Processing Based on a Sinusoidal Model” (英語), The Lincoln Laboratory Journal 1 (2): 153–167, https://web.archive.org/web/20161021005454/http://www.ll.mit.edu/publications/journal/pdf/vol01_no2/1.2.3.speechprocessing.pdf  Roads, Curtis (1996) (英語). The Computer Music Tutorial. MIT Press. ISBN 978-0-262-68082-0. https://archive.org/details/computermusictut00road  Serra, Xavier (2003) (英語) (PDF), Spectral Modeling Synthesis: Past and Present, Music Technology Group, Universitat Pompeu Fabra, p. 20, http://www.dtic.upf.edu/~xserra/presentacions/Spectral-Modeling-Synthesis-Past-and-Present.pdf  Serra, Xavier (英語), Spectral Modeling Synthesis Tools, Music Technology Group, Universitat Pompeu Fabra, http://mtg.upf.edu/technologies/sms  Serra, Xavier; Smith, Julius O., III (1990), “Spectral Modeling Synthesis: A Sound Analysis/Synthesis System Based on a Deterministic Plus Stochastic Decomposition” (英語), Computer Music Journal 14 (4), doi:10.2307/3680788, JSTOR 3680788  Smith, Julius O., III (2005), “Spectral Modeling” (英語), Virtual Acoustic Musical Instruments: Review and Update, http://ccrma.stanford.edu/~jos/jnmr/Spectral_Modeling.html  (PDF版) SPEAR - Sinusoidal Partial Editing Analysis and Resynthesis (Sinusoidal modeling (McAulay-Quatieriアルゴリズム)による分析/再合成プログラム)