(57)【要約】      （修正有）【課題】より高い品質の共鳴信号を生成する共鳴信号生成装置を提供する。【解決手段】共鳴信号生成装置１００は、重み付けパラメータによるフィルタの線形結合で表されるフィルタシステムに対して音信号を入力して、共鳴信号（アコースティック楽器の共鳴音を模擬した波形信号）を生成する共鳴信号生成部７０を含む。フィルタシステムは、上記共鳴音の自己回帰モデルにおける極を持つ正規直交基底関数モデルで表される。【選択図】図４
2019158995.tif 000002
【特許請求の範囲】
【請求項１】
電子回路を用いて、アコースティック楽器の共鳴音を模擬した波形信号（以下、共鳴信号と呼称する）を生成する共鳴信号生成装置であって、
重み付けパラメータによるフィルタの線形結合で表されるフィルタシステムに対して音信号を入力して、上記共鳴信号を生成する共鳴信号生成部
を含み、
上記フィルタシステムは、上記共鳴音の自己回帰モデルにおける極を持つ正規直交基底関数モデルで表される
ことを特徴とする共鳴信号生成装置。
【請求項２】
請求項１に記載の共鳴信号生成装置において、
上記モデルは、real Kautzモデルである
ことを特徴とする共鳴信号生成装置。
【請求項３】
請求項１または請求項２に記載の共鳴信号生成装置において、
更に、上記極を推定する推定部を含む
ことを特徴とする共鳴信号生成装置。
【請求項４】
請求項３に記載の共鳴信号生成装置において、
上記推定部は、Matching Pursuit法によって上記極を推定する
ことを特徴とする共鳴信号生成装置。
【請求項５】
請求項１から請求項４のいずれかに記載の共鳴信号生成装置において、
上記重み付けパラメータは、上記フィルタシステムのインパルス応答と上記共鳴音との二乗誤差を最小にするときの値として定められたものである
ことを特徴とする共鳴信号生成装置。
【請求項６】
請求項１または請求項２に記載の共鳴信号生成装置を含む電子楽器。
【請求項７】
電子回路を用いて、アコースティック楽器の共鳴音を模擬した波形信号（以下、共鳴信号と呼称する）を生成する共鳴信号生成方法であって、
上記電子回路が、重み付けパラメータによるフィルタの線形結合で表されるフィルタシステムに対して音信号を入力して、上記共鳴信号を生成する共鳴信号生成ステップ
を有し、
上記フィルタシステムは、上記共鳴音の自己回帰モデルにおける極を持つ正規直交基底関数モデルで表される
ことを特徴とする共鳴信号生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子回路を用いて、アコースティック楽器の共鳴音を模擬した波形信号（以下、共鳴信号と呼称する）を生成する技術に関する。
【背景技術】
【０００２】
アコースティック楽器の音色の特徴の一つとして共鳴音が挙げられる。一例としてアコースティックピアノの場合、弦にダンパが接触していない状態（具体例として、鍵が押下されている状態、あるいは、ダンパペダルが踏まれている状態）において打鍵すると、弦間共鳴と呼ばれる現象に基づく共鳴音が発生する。弦間共鳴とは、楽器のボディや空気中を伝播した弦の振動が他の弦を共鳴させる現象である。したがって、電子楽器において共鳴音を上手く再現できれば、電子楽器の音質の向上を期待できる。
【０００３】
この点、電子楽器において共鳴音を再現する技術として、共鳴音を予めサンプリングして得られた波形信号（以下、サンプリング共鳴信号と呼称する）を、基本楽音信号に重ね合わせる技術がある（例えば特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−３３００７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、この技術によると、（１）サンプリング共鳴信号の波形データをメモリに予め記憶しておく必要がある、（２）共鳴音を表現するためにサンプリング共鳴信号を再生する必要があるから、同時に再生可能な波形信号の総数（この総数は予め定められている）のうち一つ以上を消費する、（３）演奏内容に関係なく同じサンプリング共鳴信号を再生するから、豊かな音楽表現を実現し難い、という実情がある。
【０００６】
本発明は、より高い品質の共鳴信号を生成する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の共鳴信号生成技術は、電子回路を用いて、アコースティック楽器の共鳴音を模擬した波形信号（共鳴信号）を生成する共鳴信号生成技術であり、重み付けパラメータによるフィルタの線形結合で表されるフィルタシステムに音信号を入力して、共鳴信号が生成される。このフィルタシステムは、共鳴音の自己回帰モデルにおける極を持つ正規直交基底関数モデルで表される。
【発明の効果】
【０００８】
本発明によれば、フィルタ処理によって、より高い品質の共鳴信号を生成できる。
【図面の簡単な説明】
【０００９】
【図１】共鳴現象のブロック線図。
【図２】real Kautzモデルのブロック線図。
【図３】共鳴信号生成装置のハードウェア構成例。
【図４】共鳴信号生成装置の機能構成例。
【図５】共鳴信号生成処理のフロー図。
【図６】フィルタシステムの構成例。
【発明を実施するための形態】
【００１０】
本発明の要点は、フィルタ処理によって共鳴信号を生成することにある。このため、サンプリング共鳴信号（波形データ）を予めメモリに記憶しておく必要がない。また、サンプリング共鳴信号を再生しないので、同時再生のための限りあるリソースを消費しない。さらに、音信号に応じて共鳴信号を生成するから演奏内容に応じて豊かな音楽表現を実現し得る。
【００１１】
以下、図を参照して本発明の実施形態を説明する。本実施形態では、電子ピアノを例に採る。
【００１２】
まず、共鳴音をもたらす共鳴現象を図１に示すディジタルフィルタモデルで近似できると仮定する。このとき、ｚ変換によるｚ領域において、共鳴音が付加された音Ｙ(z)は、打鍵音Ｘ(z)と、伝達関数Ｈ(z)で表される、共鳴現象を表現するフィルタシステムと、によって、式（１）で表される。したがって、伝達関数Ｈ(z)を推定できれば、アコースティック楽器の共鳴音を模擬した波形信号（共鳴信号）を生成することができることになる。なお、本明細書における「共鳴信号」は、音信号（電子楽器に搭載されているピアノ音色の幹音あるいは派生音のディジタル信号）がｚ領域においてＸ(z)であるときのＨ(z)Ｘ(z)を逆ｚ変換して得られる時間領域信号である。
【数１】
2019158995.tif 000003
【００１３】
伝達関数Ｈ(z)を持つフィルタシステムを実現するために、有限インパルス応答フィルタ（FIRフィルタ）のようなフィルタを用いると、ハードウェアコストが大きくなる。したがって、低い次数で近似能力の高い無限インパルス応答フィルタ（IIRフィルタ）が有効である。しかし、IIRフィルタは設計次第で不安定なフィルタになりやすい。このため、安定したフィルタとなる範囲に予め指定した極を持つディジタルフィルタを用いるのが良い。また、フィルタシステムのモデルとして正規直交基底関数モデルを用いることでフィルタシステムを構成するフィルタのインパルス応答が正規直交になるからフィルタシステムのパラメータ推定が容易になる。正規直交基底関数モデルの具体例はreal Kautzモデルである。正規直交基底関数モデル、特にreal Kautzモデルについては参考文献１を参照されたい。
（参考文献１）G. Vairetti, E. De Sena, M. Catrysse, S. H. Jensen, M. Moonen, and T. van Waterschoot, “A Scalable Algorithm for Physically Motivated and Sparse Approximation of Room Impulse Responses with Orthonormal Basis Functions,” IEEE/ACM Trans. Audio, Speech, Lang. Process., vol. 25, no. 7, pp. 1547-1561, 2017.
【００１４】
real Kautzモデルは、予め定めた極について互いに正規直交な伝達関数を作成し、それらを線形結合することによって所望のインパルス応答を近似するモデルである。正規直交なインパルス応答を与える伝達関数の設計について説明する。複素数p1を極として持つ、正規化された１次IIRフィルタの伝達関数Ψ1は式（２）で与えられる。z-1は１サンプル遅延を表わす。
【数２】
2019158995.tif 000004
【００１５】
次に、伝達関数Ψ1と正規直交な、｛p1, p2｝を極として持つ正規化された２次フィルタの伝達関数Ψ2は式（３）で与えられる。記号＊は複素共役を表わす（ただし、後記の式（９）で使用される場合を除く）。Ψ2は1/p1*を零点として持ち、Ψ1のインパルス応答とΨ2のインパルス応答は互いに直交する。
【数３】
2019158995.tif 000005
【００１６】
同様にして、伝達関数Ψ1，Ψ2，…，Ψi-1と正規直交な、極P={pk}k=1i={p1, p2, …, pi}を持つ正規化されたｉ次フィルタの伝達関数Ψiは式（４）で与えられる。Ψ1のインパルス応答、Ψ2のインパルス応答、…、Ψiのインパルス応答は互いに直交する。
【数４】
2019158995.tif 000006
【００１７】
Ψ1，Ψ2，…，Ψiは複素係数伝達関数であり、実数システムの推定に不適である。ここでP={pk}k=1i={p1, p2, …, pi}の複素共役P*={pk*}k=1i={p1*, p2*, …, pi*}を同時に考慮すると、式（５）（６）が得られる。Ψi’(z,P)とΨi”(z,P)のそれぞれは、実係数伝達関数である。伝達関数Ψi’(z,P)と伝達関数Ψi”(z,P)によって得られるインパルス応答ψi’(n), ψi”(n)は互いに正規直交する。
【数５】
2019158995.tif 000007
【００１８】
伝達関数{Ψk’(z,P), Ψk”(z,P)}k=1iによって得られるインパルス応答{ψk’(n), ψk”(n)}k=1iについて、各インパルス応答に対する重み付けパラメータを{θk’, θk”}k=1iとすると、real Kautzモデルに基づくフィルタシステムのインパルス応答h(n,P,θ)は式（７）で与えられる。このようなreal Kautzモデルを図２に示す。
図２においてδ(n)は入力のインパルス（離散時間信号）である。nは離散時間信号のインデックスを表わす。図２では明示していないが、ｚ領域への入力（インパルスδ(n)）に対してｚ変換が実行され（Z[δ(n)]=1）、ｚ領域からの出力（{Ψk’(z,P), Ψk”(z,P)}k=1i）に対して逆ｚ変換が実行される（Z-1[Ψk’(z,P)]=ψk’(n), Z-1[Ψk”(z,P)]=ψk”(n)）。Z[]はｚ変換を表わし、Z-1[]は逆ｚ変換を表わす。
【数６】
2019158995.tif 000008
【００１９】
なお、インパルス応答h(n,P,θ)を式（８）で求めてもよい。
【数７】
2019158995.tif 000009
【００２０】
重み付けパラメータ{θk’, θk”}k=1iは、例えば、最小二乗法によって、インパルス応答h(n,P,θ)と共鳴音との二乗誤差を最小にするときの値として求められる。具体例を挙げて説明すると、インパルス応答h(n,P,θ)と、ト音記号の第三間のド（国際式音階名C5）の共鳴音と、の二乗誤差を最小にするときの値として、C5の共鳴音に対応する重み付けパラメータ{θk’, θk”}k=1iが求められる。real Kautzモデルによると、インパルス応答{ψk’(n), ψk”(n)}k=1iは互いに正規直交することから、良好な計算効率で重み付けパラメータ{θk’, θk”}k=1iを得られる。
【００２１】
real Kautzモデルを決定するためには極Ｐを予め定める必要がある。本実施形態では、共鳴音を自己回帰全極モデルで近似した場合の極を用いる。
なお、自己回帰全極モデルでの近似によって得られた極Pの中には共鳴音（上記例に即すると、C5の共鳴音）を近似するには重要度の低い極が含まれている可能性がある。そこでMatching Pursuit法を用いて極を選び出す（Matching Pursuit法の詳細については上記参考文献１を参照のこと）。Matching Pursuit法は、目的信号を基底の線形結合で近似した時の残差を最小とする基底を一つずつ選び出す方法である。Matching Pursuit法は、必ずしも解の最適性は保証されないものの、多くの場合に優れた近似を与えるアルゴリズムであることが知られている。Matching Pursuit法によって選出された重要度の高い極のみを用いることで、より少ない計算量で近似能力の高いモデルが構築される。
【００２２】
以上の説明に基づき、本実施形態の共鳴信号生成装置１００を説明する（図３，４，５参照）。
なお、本発明の共鳴信号生成装置は、それ単体で独立に存在するよりは、電子楽器を構成する構成要素として存在するのが実用的である。この場合、本発明の共鳴信号生成装置は、電子楽器とは容易に分離可能に電子楽器を構成する構成要素であってもよいし、電子楽器自体の或る機能に着眼して電子楽器を片面的に評価したものであってもよい。典型的な例として、外付け型エフェクタ或いは楽器内蔵型エフェクタを挙げることができる。本発明の「共鳴信号生成装置を含む電子楽器」に格別の限定は無く、その解釈に際してはこの説明も考慮されるべきである。電子楽器（シンセサイザー）として電子ピアノを例示できるが、この例に限定されない。
もちろん、本発明の共鳴信号生成装置が電子楽器から独立して存在することは妨げられない。
ここでは説明の便宜から、共鳴信号生成装置１００が、例えば専用のハードウェアで構成された専用機やパーソナルコンピュータのような汎用機といったコンピュータで実現されるとする。
【００２３】
共鳴信号生成装置１００は、プロセッサ１１、メモリ１３、ハードウェアインターフェース１５、バス１７などの構成要素で構成された電子回路を含む。なお、これらの構成要素は、共鳴信号生成装置１００が電子楽器の構成要素である場合、電子楽器のプロセッサ、メモリ、ハードウェアインターフェース、バスなどとそれぞれ一致してもよい。プロセッサ１１が所定のプログラムに従い必要に応じてメモリ１３等の記憶装置に記憶されているデータを用いて演算処理を実行することによって、プロセッサ１１が後述する推定部５０と共鳴信号生成部７０の機能を実現する。メモリ１３には、パラメータ推定に用いる共鳴音の波形データが記憶されている。
【００２４】
共鳴信号生成装置１００の推定部５０は、メモリ１３に記憶されている共鳴音の波形データを用いて、共鳴音の自己回帰全極モデルにおける極P={pk}k=1Nを推定する（ステップＳ１）。
具体的には、まず、推定部５０は、極半径の閾値（例えば0.9998のように１に近い１未満の値）を設定する（ステップＳ１-１）。
次に、推定部５０は、共鳴音の自己回帰全極モデルを生成する（ステップＳ１-２）。メモリ１３に記憶されている共鳴音の波形データの自己回帰分析によって、自己回帰全極モデルの次数と自己回帰係数が決定される。なお、コンピュータによる時系列データの自己回帰分析は周知であるから説明を省略する。
そして、推定部５０は、ステップＳ１−２の処理で生成された自己回帰全極モデルの極の中から、極半径がステップＳ１-１の処理で設定された閾値と１との間の範囲内で、Matching Pursuit法を用いて極を選び出す（Ｓ１−３）。なお、極を選び出す際、伝達関数{Ψk’(z,P),Ψk”(z,P)}k=1iで構成されるフィルタシステム（換言すると、重み付けパラメータが全て１である場合のreal Kautzモデル）にインパルスを入力したときのインパルス応答と共鳴音との二乗誤差が最小となる基底が選び出される。ここでは、選び出された極の個数をＮとして、選び出された極をP={pk}k=1Nと表記している。極P={pk}k=1Nはメモリ１３に記憶される。
【００２５】
次に、推定部５０は、最小二乗法を用いて、Ｎ個の極P={pk}k=1Nと重み付けパラメータ{θk’, θk”}k=1Nによって構造を決定されるreal Kautzモデルで表されるシステムのインパルス応答h(n,P,θ)（式（７）または式（８）を参照）と共鳴音の波形データとの二乗誤差が最小になるときの重み付けパラメータθ={θk’, θk”}k=1Nの値を求める（ステップＳ２）。ステップＳ２の処理で得られた、共鳴音に対応する重み付けパラメータθ={θk’, θk”}k=1Nはメモリ１３に記憶される。
【００２６】
次に、共鳴信号生成装置１００の共鳴信号生成部７０は、重み付けパラメータによるフィルタの線形結合で表されるフィルタシステムＦＳ（つまり、メモリ１３に記憶されている極P={pk}k=1Nと重み付けパラメータθ={θk’, θk”}k=1Nによって構造を決定されたreal Kautzモデルで表されるフィルタシステム）に対して音信号x(n)を入力して、共鳴信号r(n)を生成する（ステップＳ３）。
フィルタシステムＦＳは、重み付けパラメータθ={θk’, θk”}k=1Nによるフィルタｋ−ａ，ｋ−ｂ（1≦k≦N）の線形結合で表される。フィルタｋ−ａ（1≦k≦N）は伝達関数Ψk’(z,P)で表されるフィルタであり、フィルタｋ−ａ（1≦k≦N）のインパルス入力に対する出力はψk’(n)である。また、フィルタｋ−ａ（1≦k≦N）の出力に対する重み付けパラメータはθk’である。フィルタｋ−ｂ（1≦k≦N）は伝達関数Ψk”(z,P)で表されるフィルタであり、フィルタｋ−ｂ（1≦k≦N）のインパルス入力に対する出力はψk”(n)である。また、フィルタｋ−ｂ（1≦k≦N）の出力に対する重み付けパラメータはθk”である。したがって、フィルタシステムＦＳの入力x(n)に対する出力は、式（９）で与えられる。式（９）において、記号＊は畳み込み演算を表わす。
フィルタシステムＦＳにおいて各フィルタｋ−ａ，ｋ−ｂ（1≦k≦N）は実係数伝達関数Ψk’(z,P)，Ψk”(z,P)で表されるから、各フィルタｋ−ａ，ｋ−ｂ（1≦k≦N）を単一あるいは複数個の時間領域フィルタで構成できる。このため、時間領域フィルタで構成されたフィルタシステムＦＳによると音信号x(n)の入力に対してリアルタイムで共鳴信号r(n)を得ることができる。
【数８】
2019158995.tif 000010
【００２７】
ところで、フィルタ１−ａはサブフィルタ１−１とサブフィルタ１−２の直列結合で構成でき、フィルタｋ−ａ（2≦k≦N）はサブフィルタｋ−０とサブフィルタｋ−１とサブフィルタｋ−２の直列結合で構成できる。同様に、フィルタ１−ｂはサブフィルタ１−１とサブフィルタ１−３の直列結合で構成でき、フィルタｋ−ｂ（2≦k≦N）はサブフィルタｋ−０とサブフィルタｋ−１とサブフィルタｋ−３の直列結合で構成できる。このように、フィルタｋ−ａとフィルタｋ−ｂは共通のサブフィルタを持つことができる。よって、フィルタｋ−ａとフィルタｋ−ｂとで共通のサブフィルタを共用することによって、結局、フィルタシステムＦＳは、図６に示すように、図２に示すブロック線図と等価な構成を持つことができる。
【００２８】
なお、ステップＳ３の処理を、図２のブロック線図（ただし、インパルスδ(n)を音信号x(n)に変更する）に基づくｚ変換を経由する演算、あるいは、インパルス応答h(n,P,θ)と音信号x(n)との畳み込み演算として実行してもよい。しかし、ｚ変換を経由する演算も畳み込み演算も多くの演算コストを必要とするので、電子楽器の用途においては、フィルタシステムＦＳを時間領域フィルタで構成することが好ましい。
【００２９】
なお、既述のとおり、共鳴信号生成装置が電子楽器の構成要素である場合（共鳴信号生成装置が電子楽器とは容易に分離可能に電子楽器を構成する構成要素である第１の場合、あるいは、共鳴信号生成装置が電子楽器自体の或る機能に着眼して電子楽器を片面的に評価したものである第２の場合）、この共鳴信号生成装置は上述のステップＳ３の処理だけを行う。つまり、ステップＳ１とＳ２の処理を一度だけ実行することによって、特定の共鳴音を擬似するために必要な情報（フィルタｋ−ａ，ｋ−ｂ（1≦k≦N）を構成するために必要な情報Iと、重み付けパラメータθ）が得られるのであり、これらの情報がひとたび得られたならば、いつでも共鳴信号生成部はこれらの情報を使用して共鳴信号r(n)を生成できる。したがって、第１の場合あるいは第２の場合における共鳴信号生成装置（電子楽器と言ってもよい）は、音信号とフィルタｋ−ａ，ｋ−ｂ（1≦k≦N）を構成するために必要な情報Iと重み付けパラメータθを記憶するメモリと共鳴信号生成部を含むものの、推定部を含む必要は無い。もちろん、メモリに共鳴音の波形データを記憶しておく必要も無い。
【００３０】
電子ピアノの例であれば、電子ピアノは通常、８８個の鍵を持つ。この場合、各鍵に対応して、フィルタを構成するために必要な情報Iと重み付けパラメータθの組がメモリに記憶される。或る鍵が押下されている状態で１オクターブ離れた別の鍵が押下されたとき、例えば、ト音記号の第三間のド（MIDI（Musical Instrument Digital Interface）におけるノートナンバー７２）の鍵が押下されている状態で１オクターブ低いト音記号の上加線第二線のドの鍵（ノートナンバー６０）が押下されたとき、電子回路によってメモリに記憶されているノートナンバー６０の波形信号が再生されると同時に、共鳴信号生成部がノートナンバー７２に対応するフィルタを構成するために必要な情報Iと重み付けパラメータとの組と、ノートナンバー６０の波形信号と、に基づいてノートナンバー６０が弾かれた時のノートナンバー７２の共鳴信号を生成する。言うまでもないが、スピーカーがノートナンバー６０の波形信号とノートナンバー７２の共鳴信号を音に変換する。このように、本実施形態によると、電子ピアノの鍵盤において、ト音記号の第三間のド（国際式音階名C5）の鍵が押下されている状態でト音記号の下加線第一線のド（国際式音階名C4）の鍵を押下するとC5の共鳴信号が生成されるが、このC5の共鳴信号の再生音は、アコースティックピアノでC4を弾いた時のC5の共鳴音に相当する。倍音の例に限らず、例えば、電子ピアノの鍵盤において、ト音記号の第三間のド（国際式音階名C5）の鍵が押下されている状態でヘ音記号の第四間のソ（国際式音階名G3）の鍵を押下するとC5の共鳴信号が生成されるが、このC5の共鳴信号の再生音は、アコースティックピアノでG3を弾いた時のC5の共鳴音に相当する。このように本発明によると、音信号に応じて共鳴信号が得られるから演奏内容に応じて豊かな音楽表現を実現し得る。
【００３１】
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。本発明の要旨を逸脱しない範囲において種々の変更と変形が許される。選択され且つ説明された実施形態は、本発明の原理およびその実際的応用を解説するためのものである。本発明は様々な変更あるいは変形を伴って様々な実施形態として使用され、様々な変更あるいは変形は期待される用途に応じて決定される。そのような変更および変形のすべては、添付の特許請求の範囲によって規定される本発明の範囲に含まれることが意図されており、公平、適法および公正に与えられる広さに従って解釈される場合、同じ保護が与えられることが意図されている。
【図１】
2019158995.tif 000011
【図２】
2019158995.tif 000012
【図３】
2019158995.tif 000013
【図４】
2019158995.tif 000014
【図５】
2019158995.tif 000015
【図６】
2019158995.tif 000016