アディティブ・シンセシス

音響信号処理における加算合成（かさんごうせい、英: additive synthesis）は複数の純音を重ね合わせ（加算して）音響信号を合成する、音声合成の一種である。アディティブ・シンセシスとも呼ばれる。 対比される合成手法に減算合成がある。 アディティブ・シンセシスの例 21個の部分音を加算合成したベル音 この音声や映像がうまく視聴できない場合は、Help:音声・動画の再生をご覧ください。 音響信号は正弦波の重ね合わせで表現できる。またヒトの聴覚には可聴域が存在するため聞こえる周波数に上限がある。このことは周期信号と聴覚上等価な合成音を正弦波の有限和で表現できることを示唆する（詳細: #理論的背景）。 加算合成は有限個の正弦波を加算して音を合成する手法の総称である。正弦波の周波数・振幅・位相を適切に設定することで多様な音を生成・再現できる。 実装としては事前計算した波形テーブル（ウェーブテーブル・シンセシス）や逆高速フーリエ変換を活用できる。 合成要素となる個々の正弦波は部分音（パーシャル）と呼ばれる。特に倍音はハーモニック・パーシャル（調波）、非倍音はインハーモニック・パーシャル（非調波）と呼ばれる。 音響信号は正弦波の重ね合わせで表現できる（フーリエ変換）。さらに信号が周期性を持っていれば、その信号は正弦波の無限和で（積分せずに）表現できる（フーリエ級数）。 y ( t ) = r 0 + r 1 cos ⁡ ( 2 π f o t ) + ⋯ + r k cos ⁡ ( 2 π k f o t ) + ⋯ {\displaystyle y(t)=r_{0}+r_{1}\cos(2\pi f_{o}t)+\cdots +r_{k}\cos(2\pi kf_{o}t)+\cdots } また、ヒトには知覚可能な周波数範囲（可聴域）が存在する。標準的には15kHzが上限でありそれ以上の音を聞き取ることができない。これは信号から可聴域外の成分を取り除いても聴覚上の差がない（=等価である）ことを意味する。 この2つの事実は、ある周期的な音響信号と聴覚上等価な信号を正弦波の有限和で表現できることを示唆する。なぜなら正弦波の無限和に含まれる15kHz以上の正弦波成分を除いても聴覚上等価な信号が構成でき、それは有限個の正弦波の和を意味するからである。 加算合成は有限個の正弦波を加算して音を合成する手法の総称である。パラメータの時変性や周波数制約に基づき、様々なタイプの加算合成が存在する。 以下、各部分音のインデックスを k {\displaystyle k} 、初期位相を ϕ k {\displaystyle \phi _{k}} 、部分音の総数を K {\displaystyle K} 、合成音を y ( t ) {\displaystyle y(t)} とする。各部分音において周波数を f k {\displaystyle f_{k}} 、振幅を r k {\displaystyle r_{k}} とし、これが時変の場合は瞬時周波数 f k ( t ) {\displaystyle f_{k}(t)\,} 、瞬時振幅 r k ( t ) {\displaystyle r_{k}(t)} を用いる。 次の表は様々な制約をもった加算合成を表現する式の一覧である。各手法は以降の節で詳説されている。 単純な加算合成では単一合成区間内で周波数と振幅を固定する（時不変）。この方式は次のように定義される： y ( t ) = ∑ k = 1 K r k cos ⁡ ( 2 π f k t + ϕ k ) {\displaystyle y(t)=\sum _{k=1}^{K}r_{k}\cos \left(2\pi f_{k}t+\phi _{k}\right)} 振幅を時間に応じて変化させる場合（c.f. 振幅変調）、次のように定義される： y ( t ) = ∑ k = 1 K r k ( t ) cos ⁡ ( 2 π f k t + ϕ k ) {\displaystyle y(t)=\sum _{k=1}^{K}r_{k}(t)\cos \left(2\pi f_{k}t+\phi _{k}\right)} 帯域制限（band-limited signal）の観点から、 r k ( t ) {\displaystyle r_{k}(t)\,} の変化は振幅変調による帯域の広がり Δ f r k ( t ) {\displaystyle \Delta f_{r_{k}}(t)\,} が 隣接部分音間の周波数間隔より有意に小さくなるよう、充分ゆっくりした速度で変化させる必要がある。すなわち次の制約を留意する必要がある。 d d t r k ( t ) | r k | ∝ Δ f r k ( t ) ≪ | f k − f k − 1 | {\displaystyle {\frac {d}{dt}}{\frac {r_{k}(t)}{|r_{k}|}}\propto \Delta f_{r_{k}}(t)\ll |f_{k}-f_{k-1}|} 周波数を時間に応じて変化させる場合（c.f. 周波数変調）、次のように定義される： y ( t ) = ∑ k = 1 K r k cos ⁡ ( 2 π ∫ 0 t f k ( u ) d u + ϕ k ) {\displaystyle y(t)=\sum _{k=1}^{K}r_{k}\cos \left(2\pi \int _{0}^{t}f_{k}(u)du+\phi _{k}\right)} 最も一般化された加算合成は次のように定義される： y ( t ) = ∑ k = 1 K r k ( t ) cos ⁡ ( 2 π ∫ 0 t f k ( u ) d u + ϕ k ) {\displaystyle y(t)=\sum _{k=1}^{K}r_{k}(t)\cos \left(2\pi \int _{0}^{t}f_{k}(u)du+\phi _{k}\right)} 自然界に存在する多くの音は調波構造を有している。すなわち基本周波数 f o {\displaystyle f_{o}} 成分（基音）とその整数倍成分（倍音）を多分に含んでいる。このことに注目し、部分音として基音および倍音のみを加算して音を合成する手法を調波加算合成（ハーモニック・アディティブ・シンセシス）という。 時不変振幅・周波数を用いた調波加算合成は次のように定義される： y ( t ) = ∑ k = 1 K r k cos ⁡ ( 2 π k f o t + ϕ k ) {\displaystyle y(t)=\sum _{k=1}^{K}r_{k}\cos \left(2\pi kf_{o}t+\phi _{k}\right)} 周波数が k f o {\displaystyle kf_{o}} で定義されるため、部分音#k はk次倍音（k=1なら基音）に相当する。 「アディティブ・シンセシス」という用語は広義に、正弦波ベースか否かを問わず「単純な基本要素を足し合わせて複雑な音色を合成する」タイプのサウンド・シンセシス手法全般を指す包括的用語として使われる事がある。 例えば F. Richard Mooreはサウンド・シンセシスの「四つの基本カテゴリー」として、アディティブ・シンセシスを他の三つと共に挙げている。 アディティブ・シンセシス サブトラクティブ・シンセシス 非線形シンセシス  （Waveshaper、離散総和式（DSF）、変調シンセシス（FM, PD, Scanned synthesis）など） 物理モデリング この広義の意味で、正弦波以外の音色（パイプやストップ）を組み合わせるパイプオルガンや電子オルガンも広義のアディティブ・シンセサイザーと見なせる。また主成分（変量間の相関行列の固有値分解で得られる合成基底）やウォルシュ関数（英語版）（Walsh-Hadamard変換の基底関数）の総和による音響合成も、広義のアディティブ・シンセシスに分類できる。 音声信号の分析により周波数・振幅・位相が得られれば、これを加算合成に用いて音声を再構築できる。分析と合成を一体で捉えた音声処理を音声分析合成という。合成部に加算合成を用いる場合、分析部に用いられる手法の例として帯域通過フィルタバンク、短時間フーリエ変換（McAulay-Quatieriアナリシス）、経験的モード分解が挙げられる。 合成部に加算合成を用いる具体的な手法としては以下が一例に挙げられる。 Sinusoidal Modeling — 正弦波の総和による調波合成モデル Reassigned Bandwidth-Enhanced Additive Sound Model — McAuley-Quatieriアルゴリズムのノイズ耐性改善のために、Bandwidth-enhanced Oscillatorを導入したSinusoidal Model。 またソフトウェア実装には下記がある： スペクトログラムからの音響生成： ARSS — フィルタバンク分析で得られたスペクトログラムの画像編集/再合成 McAulay-Quatieriアルゴリズムで得られたSinusoidal partialの編集/再合成 SPEAR LEMUR LORIS — Reassigned Bandwidth-Enhanced Additive Sound Model SMSTools — Spectral Modeling Synthesis (SMS) 分析/再合成ツール アディティブ・シンセシスは、ハモンド・オルガンや、シンセサイザー、電子楽器に応用されている。 言語学の研究では1950年代初頭より、合成あるいは変更した音声スペクトログラムの再生にハーモニック・アディティブ・シンセシスが使用されている。 1980年代初頭には、音声の音響的手がかり（acoustic cues）の意義を評価するために、それらを取り去った合成音声の聴取テストが行われた。 また線形予測符号で抽出したフォルマント周波数と振幅の時系列を使う音声合成手法の一つ sinewave synthesis は、インハーモニックな正弦波パーシャルの加算合成を行う。（関連：Sinusoidal Modeling） 今日のアディティブ・シンセシス実装系は、主にデジタル処理で実装されている（#離散表現参照）。 アディティブ・シンセシスは、各パーシャルに対応して正弦波オシレータを複数用意したオシレータ・バンクで実装できる（記事冒頭の図参照）。 楽音がハーモニックで準周期的な場合、ウェーブテーブル・シンセシスは時間発展のあるアディティブ・シンセシスと同様な一般性を備え、しかも合成に必要な計算量は少なくて済む。 従って、ハーモニックな音色合成のための時間発展のあるアディティブ・シンセシスは、ウェーブテーブル・シンセシスで効率的に実装できる。 グループ・アディティブ・シンセシス（Group additive synthesis） は、各パーシャルを基本周波数の異なるハーモニック・グループに分け、各グループ個別にウェーブテーブル・シンセシスで合成後、ミックスして結果を得る手法である。 逆高速フーリエ変換は、変換周期を均等分割した周波数 に関する（加算）合成を効率的に行える。また、離散フーリエ変換の周波数領域表現を注意深く考慮すれば、複数の逆高速フーリエ変換結果をオーバーラップさせた列を使って、任意周波数の正弦波による（加算）合成を効率的に行える。 ケルビン卿 の 潮汐予測機 調和解析は、1822年フランスの数学者ジョゼフ・フーリエが熱伝導の文脈で彼の研究に関する広範な論文を発表して、研究が端緒に付いた。 この理論の初期の応用には、潮の干満の予測がある。1876年頃、 ケルビン卿ことウィリアム・トムソンは機械式の潮汐予測機（Tide-predicting machine）を構築した。この装置はharmonic analyzerとharmonic synthesizerで構成され、それらは19世紀に既に前述の名で呼ばれていた。 潮汐の測定値は、ケルビン卿の兄ジェームズ・トムソンの積分機（integrating machine）を使い分析された。結果として得られたフーリエ係数は、紐と滑車のシステムを使ったsynthesizerに入力され、将来の潮汐の予測のための正弦波基底の調和部分波が生成され足し合わされた。同様な装置は1910年にも、音の周期波形の解析を目的として構築された。 この装置のsynthesizer部は合成波形をグラフに描画し、それは主に解析結果の視覚的検証に使用された。 フーリエ理論の音への応用は、1843年ゲオルク・オームによって行われた。この系統の研究はヘルマン・フォン・ヘルムホルツにより大きな進歩を遂げ、彼は8年間の成果を1863年出版した。 彼は、音色の心理的知覚は学習によるものだが、官能的感覚は純粋に生理的なものだと信じていた。 また彼は、音の知覚は基底膜の神経細胞からの信号に由来し、これら細胞の弾性付属物は適切な周波数の純粋な正弦波トーンに共鳴振動する、という考えを支持した。 この他ヘルムホルツは、ある種の音源はインハーモニック（基底周波数の非整数倍）な振動モードを含むとする エルンスト・クラドニの1787年の発見に同意した。 ヘルムホルツ の サウンド・シンセサイザーと ケーニッヒ の サウンド・アナライザー ヘルムホルツの時代、電子的な音響増幅手段（アンプ）はまだ存在しなかった。ヘルムホルツは、ハーモニック・パーシャルに基づく音色合成（ハーモニック・アディティブ・シンセシス）を目的として、パーシャル生成用の電磁石励起式の音叉と、音量調整用のアコースティックな共鳴チャンバー (ヘルムホルツ・レゾネータ) の組を並べた装置を製作した。 製作は少なくとも1862年という早い時期に行われ、 次にルドルフ・ケーニッヒ（英語版）により洗練され、1872年ケーニッヒの装置の実演が行われた。 ハーモニック・アディティブ・シンセシスに関し、ケーニッヒは彼の音波サイレン（wave siren）に基づく大型装置も製作した。この装置は空気圧式で、切断したトーンホイールを使っていたが、パーシャルの正弦波精度が低い点を批評された。 なお19世紀末に登場したシアター・オルガン（英語版）のTibiaパイプは正弦波に近い音波を発生でき、アディティブ・シンセシスと同様な方法で組み合わせる事ができる。 1938年ポピュラーサイエンス誌で、人間の声帯は消防サイレンのように機能して、倍音に富んだ音色を生成し、その音色は声道でフィルタリングされ、異なる母音の音色が生成される、とする説が新しい重要な証拠と共に報じられた。（関連：ソース・フィルタモデル）既に当時、アディティブ方式のハモンドオルガン（トーンホイールによる電気機械式実装）が市販されていた。しかし初期の電子オルガン・メーカの大多数は、大量のオシレータを要するアディティブ方式オルガンの製造は高価過ぎると判断し、代わりにサブトラクティブ方式オルガンの製造を開始した。 1940年無線学会(IRE)の会議でハモンドのフィールド・エンジニア長は、従来の「音波を組合せて最終的な音色を組み上げる」ハモンドオルガンとは対照的な、「サブトラクティブ・システム」を採用した同社の新製品ノヴァコードについて詳しい説明を行った。 Alan Douglasは1948年のRoyal Musical Associationの論文で、異なる方式の電子オルガンを説明するために修飾子「アディティブ」と「サブトラクティブ」を使った。 現代的な用法のアディティブ・シンセシス、サブトラクティブ・シンセシスという用語は、彼の1957年著作“The electrical production of music”に登場しており、音色生成の3つの手法が次の3つの章に示されている： アディティブ・シンセシス（additive synthesis） サブトラクティブ・シンセシス（subtractive synthesis） 他の形態の組合せ（Other forms of combinations） 現代のアディティブ・シンセサイザーは典型的に、出力を電気的アナログ信号やデジタルオーディオの形で生成する。後者の例には2000年前後に一般化したソフトウェア・シンセサイザーが含まれる。 以下に、歴史的もしくは技術的に注目に値するアディティブ・シンセシスの実装例（電気/アナログ/デジタル式のシンセサイザーやデバイス）を年表形式で示す。 アディティブ・シンセシスのデジタル実装では、これまで扱ってきた連続時間の式（連続時間形式）の代わりに、離散時間の式（離散時間形式）を用いる。 連続時間形式(3)を出発点とする： y ( t ) = ∑ k = 1 K r k ( t ) cos ⁡ ( 2 π ∫ 0 t f k ( u )   d u + ϕ k ) = ∑ k = 1 K r k ( t ) cos ⁡ ( θ k ( t ) ) {\displaystyle {\begin{aligned}y(t)&=\sum _{k=1}^{K}r_{k}(t)\cos \left(2\pi \int _{0}^{t}f_{k}(u)\ du+\phi _{k}\right)\\&=\sum _{k=1}^{K}r_{k}(t)\cos(\theta _{k}(t))\end{aligned}}} 連続時間形式を書き換えて離散時間形式を得るために、下記の置換を使う： 時刻：　　　　　 t   → n / f s {\displaystyle t\ \to n/f_{\mathrm {s} }\,} 出力：　　　　 y ( t ) → y [ n ] {\displaystyle y(t)\to y[n]\,} 振幅：　　　 r k ( t ) → r k [ n ] = r k ( n / f s ) {\displaystyle r_{k}(t)\to r_{k}[n]=r_{k}(n/f_{\mathrm {s} })\,} 瞬時周波数： f k ( t ) → f k [ n ] = ∫ ( n − 1 ) / f s n / f s f k ( u ) d u {\displaystyle f_{k}(t)\to f_{k}[n]=\int _{(n-1)/f_{\mathrm {s} }}^{n/f_{\mathrm {s} }}f_{k}(u)du\,} 瞬時位相：　 θ k ( t ) = 2 π ∫ 0 t f k ( u ) d u + ϕ k   →   θ k [ n ] = 2 π f s ∑ i = 0 n f k [ i ] + ϕ k {\displaystyle \theta _{k}(t)=2\pi \int _{0}^{t}f_{k}(u)du+\phi _{k}\ \to \ \theta _{k}[n]={\frac {2\pi }{f_{\mathrm {s} }}}\sum _{i=0}^{n}f_{k}[i]+\phi _{k}\,}   ( ∵ d t = d n / f s ) {\displaystyle (\because dt=dn/f_{\mathrm {s} })\,} すると次の離散時間形式が得られる： y [ n ] = ∑ k = 1 K r k [ n ] cos ⁡ ( 2 π f s ∑ i = 1 n f k [ i ] + ϕ k ) = ∑ k = 1 K r k [ n ] cos ⁡ ( θ k [ n ] ) {\displaystyle {\begin{aligned}y[n]&=\sum _{k=1}^{K}r_{k}[n]\cos \left({\frac {2\pi }{f_{\mathrm {s} }}}\sum _{i=1}^{n}f_{k}[i]+\phi _{k}\right)\\&=\sum _{k=1}^{K}r_{k}[n]\cos \left(\theta _{k}[n]\right)\\\end{aligned}}} ここで θ k [ n ] {\displaystyle \theta _{k}[n]\,} の差分より θ k [ n ] = θ k [ n − 1 ] + 2 π f s f k [ n ]   , n > 0 θ k [ 0 ] = ϕ k {\displaystyle {\begin{aligned}\theta _{k}[n]&=\theta _{k}[n-1]+{\frac {2\pi }{f_{\mathrm {s} }}}f_{k}[n]\ ,\quad n>0\\\theta _{k}[0]&=\phi _{k}\end{aligned}}} である。