(57)【特許請求の範囲】
【請求項１】
音響信号を直接音と間接音とに分離する残響分離部と、
前記直接音及び前記間接音を複数のフレームに分割して、分割直接音及び分割間接音を生成する分割部と、
前記分割直接音及び分割間接音から、音響信号を収録した原音場のインパルス応答を推定するインパルス応答推定部と、
を備えることを特徴とするインパルス応答推定装置。
【請求項２】
前記分割直接音及び分割間接音を平均化した平均直接音及び平均間接音を生成するフレーム平均化部を更に備え、
前記インパルス応答推定部は、平均直接音及び平均間接音を用いて前記インパルス応答を推定することを特徴とする、請求項１に記載のインパルス応答推定装置。
【請求項３】
前記分割直接音及び前記分割間接音の周波数特性の差分が最も大きいフレームを選択するフレーム選択部を更に備え、
前記インパルス応答推定部は、前記フレーム選択部により選択されたフレームの分割直接音及び分割間接音から、前記インパルス応答を推定することを特徴とする、請求項１に記載のインパルス応答推定装置。
【請求項４】
前記フレーム選択部は、スペクトル歪み、又は全オクターブに対して均等に重み付けしたスペクトル歪みが最も大きいフレームを選択することを特徴とする、請求項３に記載のインパルス応答推定装置。
【請求項５】
コンピュータを、請求項１から４のいずれか一項に記載のインパルス応答推定装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インパルス応答を推定するインパルス応答推定装置及びプログラムに関する。
【背景技術】
【０００２】
番組音声の制作において、別々の時刻・場所で収録した複数音声をミクシングして一つの番組を制作することが行われる。しかし、例えば響きの豊かな場所で収録した音声信号に対して、響きのほとんどない場所で収録した音声信号をミクシングした場合など、聴感上なじまない不自然なコンテンツとなってしまうことがある。こうした問題を回避するため、残響のほとんどない音声信号に対して残響を付加することで、聴感上なじむ自然な番組制作が可能となる。
【０００３】
また、モノラルや２ｃｈステレオなどの比較的少ないチャンネル数の音声信号を、５．１ｃｈサラウンドや２２．２ｃｈサラウンドのような多チャンネルの音響フォーマットへチャンネル数変換を行う場合、リスニングポイントに対して横や背面に設置されるチャンネルに、壁面の反射などによる間接音を模擬した残響を付加した信号を割り当てることで、空間的に広がり感のあるチャンネル数変換を行うことができる。
【０００４】
音声信号のミクシングやチャンネル数変換における残響付加において、実際にどのような残響を付加するかは、番組制作者の経験と勘に頼るところが大きい。例えば、残響の短い空間で収録した音声信号に対して、極端に長い残響を付加した音声信号をミクシングしたとしても、聴感的に不自然なコンテンツとなってしまう。
【０００５】
通常、ある空間（原音場）で収録された音響信号は、リスニングポイントに直接到来する直接音と、壁などに反射してから到来する間接音（残響音）で構成される。この間接音は、直接音に音源とリスニングポイント間のインパルス応答を畳み込んだ信号である。したがって、直接音とインパルス応答が判れば、直接音にインパルス応答を畳み込み演算することにより、残響音を生成することができる。そこで、残響を含んだ音声信号（原音）からインパルス応答を推定し、残響を含まない別の音声信号（直接音）に、このインパルス応答を畳み込むことで、原音場の残響音に近い残響音を付加することができる。この手法によれば、別々の時刻・場所で収録した複数音声をミクシングする場合でも、不自然さのない残響付加を行うことができる。
【０００６】
一般に、ある空間で収録された原音について、それに含まれる間接音と、直接音が共に既知の場合には、適応フィルター法を用いて、その空間の残響成分であるインパルス応答を推定することができる。適応フィルター法では、原音に含まれる間接音信号と、直接音にインパルス応答を畳み込んで生成した間接音信号の二乗誤差の平均値が最小となるよう、サンプルごとにある程度の期間学習させることでインパルス応答を推定するが、２つの信号間で線形な関係が成り立つ場合に限り、有効な推定が可能となることが知られている(例えば、非特許文献１参照)。
【０００７】
しかし、通常の収録においては、直接音と間接音は別々に収録されず、それらの混合音のみを収録することが多い。そのような場合に、インパルス応答の推定は困難となる。そこで、既存の残響分離手法を用いて、収録された混合音から直接音と間接音を分離し、その直接音と間接音からインパルス応答を推定する技術が望まれている。残響分離手法として、例えば非特許文献２に記載の技術や、Zynaptiq社のソフトウェア「ＵＮＶＥＩＬ」などが知られている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】John Usher, "Acoustic impulse response measurement using speech and music signals", AES 128th convention, 2010
【非特許文献２】Ｋ. Kinoshita et al, "Blind Upmix Of Stereo Music Signals Using Multi-Step Linear Prediction Based Reverberation Extraction", ICASSP, pp.49-52, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、残響分離手法が非線形処理または時変処理によって実現されていた場合においては、入力信号である混合音に依存して、出力される直接音及び間接音の関係が刻々と変化してしまうため、推定インパルス応答は一定の値に収束しない。そのため、学習時間を長くすることで不自然なインパルス応答を推定してしまうことがあり、できるだけ短い信号区間においてインパルス応答を推定する必要がある。一方、楽音信号など周波数成分に時間的な偏りのある音響信号を用いた場合は、より多くの周波数成分を含むインパルス応答を推定するために、上記とは逆に学習時間を長く設定する必要があり、相反する条件が要求されるという問題があった。
【００１０】
かかる事情に鑑みてなされた本発明の目的は、残響のある原音場で収録された混合音である音響信号のみから、インパルス応答を精度良く推定することが可能なインパルス応答推定装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明に係るインパルス応答推定装置は、音響信号を直接音と間接音とに分離する残響分離部と、前記直接音及び前記間接音を複数のフレームに分割して、分割直接音及び分割間接音を生成する分割部と、前記分割直接音及び分割間接音から、音響信号を収録した原音場のインパルス応答を推定するインパルス応答推定部と、を備えることを特徴とする。
【００１２】
さらに、本発明に係るインパルス応答推定装置において、前記分割直接音及び分割間接音を平均化した平均直接音及び平均間接音を生成するフレーム平均化部を更に備え、前記インパルス応答推定部は、平均直接音及び平均間接音を用いて前記インパルス応答を推定することを特徴とする。
【００１３】
さらに、本発明に係るインパルス応答推定装置において、前記分割直接音及び前記分割間接音の周波数特性の差分が最も大きいフレームを選択するフレーム選択部を更に備え、前記インパルス応答推定部は、前記フレーム選択部により選択されたフレームの分割直接音及び分割間接音から、前記インパルス応答を推定することを特徴とする。
【００１４】
さらに、本発明に係るインパルス応答推定装置において、前記フレーム選択部は、スペクトル歪み、又は全オクターブに対して均等に重み付けしたスペクトル歪みが最も大きいフレームを選択することを特徴とする。
【００１５】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記インパルス応答推定装置として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、残響のある原音場で収録された音響信号のみから、インパルス応答を精度良く推定することができる。また、非線形処理または時変処理による残響分離手法を用いた場合でも、妥当なインパルス応答を推定することができる。さらに、入力信号が時間的に周波数成分の偏った音響信号の場合でも、短い学習時間でインパルス応答を推定することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係るインパルス応答推定装置の構成例を示すブロック図である。
【図２】本発明の第２の実施形態に係るインパルス応答推定装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１９】
（第１の実施形態）
本発明の第１の実施形態に係るインパルス応答推定装置について、以下に説明する。図１に、本発明の第１の実施形態に係るインパルス応答推定装置の構成例を示す。図１に示すインパルス応答推定装置１は、残響分離部１１と、直接音分割部１２と、間接音分割部１３と、直接音フレーム平均化部１４と、間接音フレーム平均化部１５と、インパルス応答推定部１６とを備える。
【００２０】
インパルス応答推定装置１は、ある空間で収録された音響信号ｘ（ｋ）を入力する。音響信号ｘ（ｋ）は、直接音ｄ（ｋ）と間接音ｒ（ｋ）の混合音であり、式（１）のように表される。本明細書において、「音響信号」とは、音声や楽器などのあらゆる音を含みうるものとする。
【００２１】
【数１】
0006630605.tif 000002
【００２２】
残響分離部１１は、残響分離処理を行い、音響信号ｘ（ｋ）を直接音ｄ（ｋ）と間接音ｒ（ｋ）とに分離し、直接音を直接音分割部１２に出力し、間接音を間接音分割部１３に出力する。ここで、残響分離処理として既知の任意のものを用いることができる。
【００２３】
直接音分割部１２は、残響分離部１１から入力された直接音ｄ（ｋ）を所定の長さＴのフレームに分割して複数の分割直接音ｄｎ（ｋ）（ｎ＝１，２，・・・，Ｎ）を生成し、直接音フレーム平均化部１４に出力する。ここで、ｋ＝１，２，・・・，Ｔである。
【００２４】
間接音分割部１３は、残響分離部１１から入力された間接音ｒ（ｋ）を所定の長さＴのフレームに分割して複数の分割間接音ｒｎ（ｋ）（ｎ＝１，２，・・・，Ｎ）を生成し、間接音フレーム平均化部１５に出力する。ここで、ｋ＝１，２，・・・，Ｔである。
【００２５】
直接音ｄ（ｋ）及び間接音ｒ（ｋ）の分割は、Ｔをフレーム長として、式（２）のように重なり無く分割してもよいし、式（３）のように重なりを持って分割してもよい。
【００２６】
【数２】
0006630605.tif 000003
【００２７】
【数３】
0006630605.tif 000004
【００２８】
ここで、フレーム長Ｔの長さはユーザが任意に決定することができるが、抽出するインパルス応答の長さと同じかそれ以上の長さがよい。また、あらかじめ決定しておいたフレーム長Ｔで直接音ｄ（ｋ）及び間接音ｒ（ｋ）をきれいに分割できない場合には、直接音ｄ（ｋ）と間接音ｒ（ｋ）の信号末尾にゼロ詰めを行ってもよい。
【００２９】
直接音フレーム平均化部１４は、直接音分割部１２により生成された分割直接音ｄｎ（ｋ）から、直接音ｄ（ｋ）を平均化した平均直接音／ｄ（ｋ）を生成する。なお、本明細書では、「／」は平均の記号であるバーを意味するものとする。平均直接音／ｄ（ｋ）は直接音のフレーム数（分割数）をＮとして、式（４）で表される。
【００３０】
【数４】
0006630605.tif 000005
【００３１】
間接音フレーム平均化部１５は、間接音分割部１３により生成された分割間接音ｒｎ（ｋ）から、間接音ｒ（ｋ）を平均化した平均間接音／ｒ（ｋ）を生成する。平均間接音／ｒ（ｋ）は間接音の分割数（フレーム数）をＮとして、式（５）で表される。
【００３２】
【数５】
0006630605.tif 000006
【００３３】
また、間接音ｒ（ｋ）はインパルス応答ｈ（ｋ）を用いて式（６）のように表すことができる。ここで、＊は畳み込み演算を表す。
【００３４】
【数６】
0006630605.tif 000007
【００３５】
同様に、分割間接音ｒｎ（ｋ）は、分割されたフレームごとのインパルス応答ｈｎ（ｋ）を用いて式（７）のように表すことができる。
【００３６】
【数７】
0006630605.tif 000008
【００３７】
ここで、eｎ（ｋ）は前フレームの残響の影響である。なお、フレームごとのインパルス応答ｈｎ（ｋ）は不変であると仮定すると、平均直接音／ｄ（ｋ）及び平均間接音／ｒ（ｋ）の関係は式（８）のように表すことができる。また、／e（ｋ）は平均化されたそれぞれのフレームにおける前フレームの残響の影響である。
【００３８】
【数８】
0006630605.tif 000009
【００３９】
ここで、／ｈ（ｋ）は平均化されたインパルス応答を示し、式（９）で表すことができる。
【００４０】
【数９】
0006630605.tif 000010
【００４１】
インパルス応答推定部１６は、平均化直接音／ｄ（ｋ）及び平均間接音／ｒ（ｋ）に対し、適応フィルター法や最少二乗法などの既知の任意の手法を用いて、平均化されたインパルス応答／ｈ（ｋ）を求め、これを音響信号を収録した原音場のインパルス応答として外部に出力する。ここで、／e（ｋ）が平均直接音／ｄ（ｋ）と無相関であると仮定すると、適応フィルター法や最少二乗法を用いることにより、／e（ｋ）の影響を除去することができる。なお、適応フィルター法における適応アルゴリズムは、ＬＭＳアルゴリズムやＮ−ＬＭＳアルゴリズム・射影アルゴリズムなど多くの手法が提案されているので、音質を保って分離できるアルゴリズムを用いればよい。
【００４２】
インパルス応答推定部１６において、平均化直接音／ｄ（ｋ）及び平均間接音／ｒ（ｋ）に対してインパルス応答を推定することにより、残響分離部１１において非線形処理または時変処理を行って入出力間関係の変化する直接音及び間接音に分離した場合でも、全信号区間において平均化されて周波数成分を多く含むインパルス応答／ｈ（ｋ）を得ることができる。
【００４３】
（第２の実施形態）
つぎに、本発明の第２の実施形態に係るインパルス応答推定装置について、以下に説明する。図２に、本発明の第２の実施形態に係るインパルス応答推定装置の構成例を示す。図２に示すインパルス応答推定装置２は、残響分離部１１と、直接音分割部１２と、間接音分割部１３と、フレーム選択部１７と、インパルス応答推定部１６とを備える。残響分離部１１、直接音分割部１２、及び間接音分割部１３は第１の実施形態と同じなので、説明を省略する。
【００４４】
フレーム選択部１７は、直接音分割部１２から分割直接音ｄｎ（ｋ）を入力し、間接音分割部１３から分割間接音ｒｎ（ｋ）を入力する。直接音及び間接音の周波数領域が広いほど、インパルス応答の推定精度が高くなる。そこで、フレーム選択部１７は、分割直接音ｄｎ（ｋ）及び分割間接音ｒｎ（ｋ）の周波数特性の差分の最も大きなフレームを選択する。すなわち、フレームごとに周波数特性の差分を求め、例えば、ｎ＝３のフレームについて周波数特性の差分が最大の場合には、分割直接音ｄ３（ｋ）及び分割間接音ｒ３（ｋ）をインパルス応答推定部１６に出力する。
【００４５】
以下に、フレーム選択部１７におけるフレーム選択処理の具体例を示す。分割直接音ｄｎ（ｋ）及び分割間接音ｒｎ（ｋ）の関係は、上述したように分割されたフレームごとのインパルス応答ｈｎ（ｋ）を用いて式（７）で表される。
【００４６】
さらに、分割間接音ｒｎ（ｋ）を離散フーリエ変換（ＤＦＴ；discrete Fourier transform）することによって、式（１０）の関係式を導くことができる。
【００４７】
【数１０】
0006630605.tif 000011
【００４８】
ここで、Ｒｎ（ωｍ），Ｄｎ（ωｍ）はそれぞれ分割間接音ｒｎ（ｋ），分割直接音ｄｎ（ｋ）の周波数領域表現を表し、Ｈｎ（ωｍ）は伝達関数を表す。また、ωｍは角周波数であり、ｍはＤＦＴ処理によって生じる周波数離散化におけるインデックスである。式（１０）より、伝達関数は直接音と間接音の相対関係を表している。
【００４９】
直接音と間接音の周波数特性の差分を表す指標として、スペクトル歪みＳＤ（Spectral Distortion）を式（１１）に示す。このスペクトル歪みＳＤが大きいフレームほど、直接音と間接音の周波数軸上での振幅特性の差の積分値が大きく、残響成分を多く含んでいると考えられる。そこで、フレーム選択部１７は、あらかじめ各フレームにおいてスペクトル歪みＳＤを計算し、最もスペクトル歪みＳＤの大きなフレームの分割直接音ｄｎ（ｋ）及び分割間接音ｒｎ（ｋ）をインパルス応答推定部１６に出力するようにしてもよい。ここで、ＭはＤＦＴ点数である。
【００５０】
【数１１】
0006630605.tif 000012
【００５１】
また、直接音と間接音の周波数特性の差分を表す別の指標として、全オクターブに対して均等に重み付けしたスペクトル歪みβを式（１２）に示す。この評価関数βが大きいフレームほど、人の聴覚特性に合わせ、全オクターブ対して均等に重み付けした平均化誤差で評価した際に、直接音と間接音の周波数軸上での振幅特性の差の積分値が大きく、残響成分を多く含んでいると考えられる。そこで、あらかじめ各フレームにおいて評価関数βを計算し、最も評価関数βの大きなフレームの分割直接音ｄｎ（ｋ）及び分割間接音ｒｎ（ｋ）をインパルス応答推定部１６に出力するようにしてもよい。
【００５２】
【数１２】
0006630605.tif 000013
【００５３】
なお、上述したインパルス応答推定装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、インパルス応答推定装置１，２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００５４】
上述したように、本発明に係るインパルス応答推定装置１，２、又はそのプログラムは、複数のフレームに分割された直接音及び間接音を用いてインパルス応答を推定する。そのため、残響分離部１１において非線形処理または時変処理により入出力間関係の変化する直接音及び間接音に分離した場合でも、妥当なインパルス応答を得ることができる。また、楽音信号などの周波数成分に時間的な偏りのある音響信号を用いた場合でも、短い学習時間で音響信号に含まれる全ての周波数を考慮したインパルス応答の推定が可能となる。
【００５５】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【産業上の利用可能性】
【００５６】
本発明は、例えば番組制作における音声編集作業などに利用することができる。
【符号の説明】
【００５７】
１，２  インパルス応答推定装置
１１    残響分離部
１２    直接音分割部
１３    間接音分割部
１４    直接音フレーム平均化部
１５    間接音フレーム平均化部
１６    インパルス応答推定部
１７    フレーム選択部
【図１】
0006630605.tif 000014
【図２】
0006630605.tif 000015