(57)【要約】  一実施形態に係るオーディオ信号処理装置は、複数のチャネルのオーディオ信号を受け付ける受付部と、各チャネルのオーディオ信号をコヒーレント成分とフィールド成分とに分割する分割部と、各チャネルのコヒーレント成分およびフィールド成分を出力する出力部とを備える。分割処理では、対象チャネル以外のチャネルのオーディオ信号を少なくとも用いて算出される推定信号のうち該対象チャネルのオーディオ信号との相関が最も高い推定信号が該対象チャネルのコヒーレント成分として抽出される。そして、対象チャネルのオーディオ信号およびコヒーレント成分の差分がフィールド成分として抽出される。
2017188141.tif 000002
【特許請求の範囲】
【請求項１】
複数のチャネルのオーディオ信号を受け付ける受付部と、
前記オーディオ信号をコヒーレント成分とフィールド成分とに分割する分割処理を各チャネルについて実行する分割部であって、前記分割処理が、
前記分割処理の対象となる一つの前記チャネルを対象チャネルとした場合に、該対象チャネル以外のチャネルの前記オーディオ信号を少なくとも用いて算出される推定信号のうち該対象チャネルの前記オーディオ信号との相関が最も高い推定信号を該対象チャネルの前記コヒーレント成分として抽出するステップと、
前記対象チャネルの前記オーディオ信号と該対象チャネルの前記コヒーレント成分との差分を該対象チャネルの前記フィールド成分として抽出するステップと
を含む、該分割部と、
前記分割部により抽出された各チャネルの前記コヒーレント成分および前記フィールド成分を出力する出力部と
を備えるオーディオ信号処理装置。
【請求項２】
前記分割処理が、
窓関数を用いてオーディオ信号を複数のフレームに区切る処理を各チャネルについて実行するステップと、
連続する少なくとも二つの前記フレームを一つのブロックにまとめる処理を前記複数のフレームの全体に対して実行することで複数の前記ブロックを生成する処理を各チャネルについて実行するステップと、
前記ブロックのそれぞれにおいて前記対象チャネルの前記コヒーレント成分を抽出するステップと
を含む、
請求項１に記載のオーディオ信号処理装置。
【請求項３】
前記分割部が、
各チャネルのオーディオ信号を複数のサブバンドに分割することで、各チャネルについて複数のサブバンド信号を生成するステップと、
前記複数のサブバンドのそれぞれにおいて前記対象チャネルのコヒーレント成分を抽出するステップと、
前記複数のサブバンドにおけるコヒーレント成分を加算することで前記対象チャネルのコヒーレント成分を抽出するステップと
を含む、
請求項１または２に記載のオーディオ信号処理装置。
【請求項４】
オーディオ信号処理装置が、複数のチャネルのオーディオ信号を受け付ける受付ステップと、
前記オーディオ信号処理装置が、前記オーディオ信号をコヒーレント成分とフィールド成分とに分割する分割処理を各チャネルについて実行する分割ステップであって、前記分割処理が、
前記分割処理の対象となる一つの前記チャネルを対象チャネルとした場合に、該対象チャネル以外のチャネルの前記オーディオ信号を少なくとも用いて算出される推定信号のうち該対象チャネルの前記オーディオ信号との相関が最も高い推定信号を該対象チャネルの前記コヒーレント成分として抽出するステップと、
前記対象チャネルの前記オーディオ信号と該対象チャネルの前記コヒーレント成分との差分を該対象チャネルの前記フィールド成分として抽出するステップと
を含む、該分割ステップと、
前記オーディオ信号処理装置が、前記分割ステップにおいて抽出された各チャネルの前記コヒーレント成分および前記フィールド成分を出力する出力ステップと
を含むオーディオ信号処理方法。
【請求項５】
複数のチャネルのオーディオ信号を受け付ける受付ステップと、
前記オーディオ信号をコヒーレント成分とフィールド成分とに分割する分割処理を各チャネルについて実行する分割ステップであって、前記分割処理が、
前記分割処理の対象となる一つの前記チャネルを対象チャネルとした場合に、該対象チャネル以外のチャネルの前記オーディオ信号を少なくとも用いて算出される推定信号のうち該対象チャネルの前記オーディオ信号との相関が最も高い推定信号を該対象チャネルの前記コヒーレント成分として抽出するステップと、
前記対象チャネルの前記オーディオ信号と該対象チャネルの前記コヒーレント成分との差分を該対象チャネルの前記フィールド成分として抽出するステップと
を含む、該分割ステップと、
前記分割ステップにおいて抽出された各チャネルの前記コヒーレント成分および前記フィールド成分を出力する出力ステップと
をコンピュータに実行させるオーディオ信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一側面は、オーディオ信号処理装置、オーディオ信号処理方法、およびオーディオ信号処理プログラムに関する。
【背景技術】
【０００２】
オーディオ信号のチャネル数を変更する手法が従来から知られている。具体的には、Ｍチャネルのオーディオ信号をＮチャネル（ただし、Ｎ＞Ｍ）のオーディオ信号に変換するアップミックスという手法と、Ｎチャネルのオーディオ信号をＭチャネルのオーディオ信号に変換するダウンミックスという手法が存在する。例えば、２チャネル（左チャネルおよび右チャネル）のオーディオ信号から５．１チャネルのオーディオ信号への変換はアップミックスの一例である。また、５．１チャネルのオーディオ信号から２チャネルのオーディオ信号への変換はダウンミックスの一例である。【０００３】
例えば下記特許文献１には、テレビ・ラジオのスポーツ実況番組のステレオ放送を、迫力ある臨場感と聴き取りやすいアナウンスとするサラウンド再生装置が記載されている。この装置はフロント左／右チャンネル信号創成手段、フロントセンタチャンネル信号創成手段、およびリア左／右サラウンドチャンネル信号創成手段を有する。フロント左／右チャンネル信号創成手段は、２チャンネル音声信号入力に対して、マトリックス処理を行って得たフロント左／右チャンネル用各音声信号に、残響音を選択的に付加すると共にフロント用音量調整を行い、フロント左／右チャンネル用各音声信号として出力する。フロントセンタチャンネル信号創成手段は、２チャンネル音声信号入力から、同相成分を抽出して得た音声信号に、残響音を付加せずにフロントセンタチャンネル用音声信号としてセンタ用音量調整を行って出力する。リア左／右サラウンドチャンネル信号創成手段は、マトリックス処理を行って得たフロント左／右チャンネル用各音声信号に、残響音を付加すると共にリア用音量調整を行い、リア左／右チャンネル用各音声信号として出力する。【０００４】
下記非特許文献１，２はいずれも、アップミックスの手法を記載する文献である。非特許文献１には、ステレオ信号を帯域分割し、帯域ごとにステレオ信号を主信号とアンビエンス信号とに分割し、アンビエンス信号を５．１チャネルの後方チャネルから再生する手法が記載されている。非特許文献２には、ステレオ信号を帯域分割した後に、そのステレオ信号を直接音成分と残響音成分とに分割し、残響音成分を側方から再生する方法が記載されている。【０００５】
下記非特許文献３，４はいずれも、多チャネルのオーディオ信号を２チャネルのオーディオ信号のペアに分割することで、３チャネル以上のオーディオ信号を生成する手法を開示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２８０６５号公報
【非特許文献】
【０００７】
【非特許文献１】C. Avendano and J-M Jot, "A Frequency-Domain Approach to Multichannel Upmix," J. Audio Eng. Soc., Vol. 52, No. 7/8, pp. 740-749, 2004
【非特許文献２】C. Faller, "Multiple-Loudspeaker Playback of Stereo Signals," J. Audio Eng. Soc., Vol. 54, No. 11, pp. 1051-1064, 2006
【非特許文献３】J. Thompson, B. Smith, A. Warmer and J-M Jot, “Direct-Diffuse Decomposition of Multichannel Signals Using a System of Pairwise Correlations,” Proc. Audio Eng. Soc. 133rd Convention, Paper no. 8807, 2012
【非特許文献４】C. Faller, L. Altmann, J. Levinson and M. Schmidt, “Multichannel Ring Upmix,” Proc. Audio Eng. Soc. 134th Convention, Paper no. 8908, 2013
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載のサラウンド再生装置は原音に残響音を付加するため、再生音の雰囲気（例えば音色）が原音から変わったり損なわれたりしてしまう。これに対して非特許文献１，２に記載の手法は残響音を付加するものではないが、原理上、２チャネルのオーディオ信号（すなわち、ステレオ信号）にしか適用できない。【０００９】
非特許文献３，４に記載の手法では、２チャネルのオーディオ信号の間で相関が高い成分をコヒーレント成分として抽出するので、二つのスピーカの中間付近に位置する音の情報を取得することになる。したがって、３チャネル以上のオーディオ・システムでは、任意の二つのスピーカの中間付近の音の情報だけしかコヒーレント成分として抽出することができず、全スピーカで囲まれた領域の中央部分に位置する音の情報を抽出することができない。【００１０】
そこで、原音のチャネル数にかかわらず、オーディオ信号のチャネル数を変更する際に原音の雰囲気を可能な限り維持する手法が望まれている。
【課題を解決するための手段】
【００１１】
本発明の一側面に係るオーディオ信号処理装置は、複数のチャネルのオーディオ信号を受け付ける受付部と、オーディオ信号をコヒーレント成分とフィールド成分とに分割する分割処理を各チャネルについて実行する分割部であって、分割処理が、分割処理の対象となる一つのチャネルを対象チャネルとした場合に、該対象チャネル以外のチャネルのオーディオ信号を少なくとも用いて算出される推定信号のうち該対象チャネルのオーディオ信号との相関が最も高い推定信号を該対象チャネルのコヒーレント成分として抽出するステップと、対象チャネルのオーディオ信号と該対象チャネルのコヒーレント成分との差分を該対象チャネルのフィールド成分として抽出するステップとを含む、該分割部と、分割部により抽出された各チャネルのコヒーレント成分およびフィールド成分を出力する出力部とを備える。【００１２】
本発明の一側面に係るオーディオ信号処理方法は、オーディオ信号処理装置が、複数のチャネルのオーディオ信号を受け付ける受付ステップと、オーディオ信号処理装置が、オーディオ信号をコヒーレント成分とフィールド成分とに分割する分割処理を各チャネルについて実行する分割ステップであって、分割処理が、分割処理の対象となる一つのチャネルを対象チャネルとした場合に、該対象チャネル以外のチャネルのオーディオ信号を少なくとも用いて算出される推定信号のうち該対象チャネルのオーディオ信号との相関が最も高い推定信号を該対象チャネルのコヒーレント成分として抽出するステップと、対象チャネルのオーディオ信号と該対象チャネルのコヒーレント成分との差分を該対象チャネルのフィールド成分として抽出するステップとを含む、該分割ステップと、オーディオ信号処理装置が、分割ステップにおいて抽出された各チャネルのコヒーレント成分およびフィールド成分を出力する出力ステップとを含む。【００１３】
本発明の一側面に係るオーディオ信号処理プログラムは、複数のチャネルのオーディオ信号を受け付ける受付ステップと、オーディオ信号をコヒーレント成分とフィールド成分とに分割する分割処理を各チャネルについて実行する分割ステップであって、分割処理が、分割処理の対象となる一つのチャネルを対象チャネルとした場合に、該対象チャネル以外のチャネルのオーディオ信号を少なくとも用いて算出される推定信号のうち該対象チャネルのオーディオ信号との相関が最も高い推定信号を該対象チャネルのコヒーレント成分として抽出するステップと、対象チャネルのオーディオ信号と該対象チャネルのコヒーレント成分との差分を該対象チャネルのフィールド成分として抽出するステップとを含む、該分割ステップと、分割ステップにおいて抽出された各チャネルのコヒーレント成分およびフィールド成分を出力する出力ステップとをコンピュータに実行させる。【００１４】
このような側面においては、対象チャネル以外のチャネルのオーディオ信号を用いて推定され、且つ該対象チャネルの実際のオーディオ信号ごとの相関が最も高い信号が該対象チャネルのコヒーレント成分として抽出される。また、対象チャネルの実際のオーディオ信号とそのコヒーレント成分との差分が該対象チャネルのフィールド成分として抽出される。このコヒーレント成分およびフィールド成分は各チャネルについて得られる。このように、音を追加することなく元のオーディオ信号のみを用いて各チャネルのコヒーレント成分およびフィールド成分を求めることで、原音の雰囲気を可能な限り維持することができる。加えて、コヒーレント成分およびフィールド成分は元のチャネル数の分だけ求めることができるので、この手法は原音のチャネル数にかかわらず適用できる。
【発明の効果】
【００１５】
本発明の一側面によれば、原音のチャネル数にかかわらず、オーディオ信号のチャネル数を変更する際に原音の雰囲気を可能な限り維持することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係るオーディオ信号処理の例を示す図である。
【図２】実施形態に係るオーディオ信号処理装置として機能するコンピュータのハードウェア構成を示す図である。
【図３】実施形態に係るオーディオ信号処理装置の機能構成を示す図である。
【図４】オーディオ信号を処理する単位であるブロックを示す図である。
【図５】ある一つのチャネルにおける処理を示す図である。
【図６】実施形態に係るオーディオ信号処理装置の動作を示すフローチャートである。
【図７】図６に示すコヒーレント成分の抽出の詳細を示すフローチャートである。
【図８】実施形態に係るオーディオ信号処理プログラムの構成を示す図である。
【図９】従来の手法におけるコヒーレント成分の抽出の例を示す図である。
【図１０】実施形態におけるコヒーレント成分の抽出の例を示す図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
【００１８】
図１〜図５を参照しながら、実施形態に係るオーディオ信号処理装置１０の機能および構成を説明する。オーディオ信号処理装置１０は、複数のチャネルのオーディオ信号のそれぞれをコヒーレント成分とフィールド成分とに分割するコンピュータである。オーディオ信号は、ヒトが聴くことができる周波数帯域（一般に約２０Ｈｚ〜２００００Ｈｚ）の音を含むデジタル信号であり、必要に応じてアナログ信号に変換される。オーディオ信号で示される音の例として声、音楽、映像の音、自然音、あるいはこれらの任意の組合せが挙げられるが、これらに限定されるものではない。
【００１９】
図１は、オーディオ信号処理装置１０によるオーディオ信号の処理の一例を示し、より具体的には、２チャネル（ＬチャネルおよびＲチャネル）、すなわちステレオのオーディオ信号の処理を示す。オーディオ信号処理装置１０は各チャネルの信号をコヒーレント成分とフィールド成分とに分割する。
【００２０】
ある一つのチャネルのコヒーレント成分とは、他のチャネルのオーディオ信号との相関が高い成分である。ある一つのチャネルのフィールド成分とは、該チャネルのオーディオ信号（すなわち、元の信号）と該チャネルのコヒーレント成分との差分である。より具体的には、フィールド成分はオーディオ信号からコヒーレント成分を差し引くことで得られる成分である。コヒーレント成分は明瞭な方向性を有する音であるのに対して、フィールド成分は、拡散性を持つ、周囲を取り巻くような音（ａｍｂｉｅｎｔ  ｓｏｕｎｄ）である。以下では、フィールド成分に対応する音を「フィールド音」ともいう。
【００２１】
図１は、オーディオ信号処理装置１０がＬチャネルのオーディオ信号をＬチャネルのコヒーレント成分Ｌγおよびフィールド成分Ｌφに分割し、Ｒチャネルのオーディオ信号をＲチャネルのコヒーレント成分Ｒγおよびフィールド成分Ｒφに分割することを示す。コヒーレント成分ＬγはＲチャネルのオーディオ信号との相関が高い成分であり、コヒーレント成分ＲγはＬチャネルのオーディオ信号との相関が高い成分である。
【００２２】
図１は２チャネルのオーディオ信号の処理を示すが、オーディオ信号処理装置１０は任意の個数のオーディオ信号を処理してよい。オーディオ信号処理装置１０は３以上のチャネルのオーディオ信号を処理してもよく、例えば、８Ｋスーパーハイビジョン用の２２．２チャネルのオーディオ信号を処理してもよい。
【００２３】
三次元空間での音の方向、距離、広がりを再現可能な立体音響効果を実現するために、複数チャネルのオーディオ信号は、三次元空間内に分散して配置された複数のマイクにより記録される。複数チャネルのオーディオ信号は、複数の目的音（ｏｂｊｅｃｔ  ｓｏｕｎｄ）が互いに混ざったり目的音がフィールド音と混ざったりしたかたちで記録される。一般に音源からの距離は個々のマイクで異なるため、ある特定の音が到着する時間はマイク毎に異なり、その結果、記録されたオーディオ信号のコヒーレントが低くなる。コヒーレント成分を各チャネルのオーディオ信号から取り出すことができれば、音の明瞭性および見かけの音源の幅（ＡＳＷ：Ａｐｐａｒｅｎｔ  Ｓｏｕｒｃｅ  Ｗｉｄｔｈ）を改善することができる。また、フィールド成分を抽出してこれをアップミックスに用いることで、良好なアンビエンス効果（聴取者の周囲を音が取り巻くような感じ）を生み出すことが可能になる。一般に、コヒーレント成分は主たる音源から発せられる目的音（例えば、歌声、楽器の音、スピーカから発せられる音など）に相当し、フィールド成分は、音の方向性が明瞭でない音（例えば、エコー、うなりなど）に相当する。
【００２４】
Ｎ個のチャネルのうちｌ番目のチャネルのオーディオ信号をｘｌ（ｎ）とすると、このオーディオ信号ｘｌ（ｎ）はＭ個の目的音ｑｌｍ（ｎ）（ｍ＝１，…，Ｍ）とフィールド音ｖｌ（ｎ）とから成る。すなわち、オーディオ信号ｘｌ（ｎ）は式（１）で示される。
【数１】
2017188141.tif 000003
【００２５】
この式（１）で示されるように、目的音とフィールド音とは互いに統計的に独立と見なすことができる。オーディオ信号ｘｌ（ｎ）のコヒーレント成分γｌ（ｎ）は式（２）で示される。
【数２】
2017188141.tif 000004
【００２６】
オーディオ信号ｘｌ（ｎ）のフィールド成分φｌ（ｎ）は式（３）で示される。
【数３】
2017188141.tif 000005
【００２７】
オーディオ信号処理装置１０の具体的な実現方法は限定されない。例えば、オーディオ信号処理装置１０はパーソナル・コンピュータ、サーバ、携帯端末などのコンピュータに所定のプログラム（例えば、後述するオーディオ信号処理プログラムＰ１）をインストールすることで実現されてもよい。あるいは、アンプなどの音響機器がオーディオ信号処理装置１０として機能してもよい。
【００２８】
図２は、オーディオ信号処理装置１０として機能するコンピュータ１００の一般的なハードウェア構成を示す。コンピュータ１００は、オペレーティングシステムやアプリケーション・プログラムなどを実行するプロセッサ（例えばＣＰＵ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードまたは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、モニタなどの出力装置１０６とを備える。
【００２９】
オーディオ信号処理装置１０の各機能要素は、プロセッサ１０１または主記憶部１０２の上に所定のソフトウェア（例えば、後述するオーディオ信号処理プログラムＰ１）を読み込ませてそのソフトウェアを実行させることで実現される。プロセッサ１０１はそのソフトウェアに従って、通信制御部１０４、入力装置１０５、または出力装置１０６を動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出し及び書き込みを行う。処理に必要なデータまたはデータベースは主記憶部１０２または補助記憶部１０３内に格納される。
【００３０】
なお、オーディオ信号処理装置１０は１台のコンピュータで構成されてもよいし、複数台のコンピュータで構成されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータがインターネットやイントラネットなどの通信ネットワークを介して接続されることで、論理的に一つのオーディオ信号処理装置１０が構築される。
【００３１】
図３は、オーディオ信号処理装置１０の機能構成を示す。図３に示すように、オーディオ信号処理装置１０は機能的構成要素として受付部１１、分割部１２、および出力部１３を備える。
【００３２】
受付部１１は、複数のチャネルのオーディオ信号を受け付ける機能要素である。「オーディオ信号を受け付ける」とは、オーディオ信号処理装置１０がオーディオ信号を任意の手法で取得することである。言い換えると、「オーディオ信号を受け付ける」とは、オーディオ信号がオーディオ信号処理装置１０に入力されることを意味する。各チャネルのオーディオ信号を受け付ける具体的な手法は限定されない。例えば、受付部１１はデータベースまたは他の装置にアクセスしてオーディオ信号のデータファイルを読み出すことでそのオーディオ信号を受け付けてもよい。あるいは、受付部１１は他の装置から通信ネットワーク経由で送られてきたオーディオ信号を受信してもよい。あるいは、受付部１１はオーディオ信号処理装置１０で入力されたオーディオ信号を取得してもよい。いずれにしても、受付部１１は受け付けた各チャネルのオーディオ信号を分割部１２に出力する。
【００３３】
分割部１２は、各チャネルのオーディオ信号をコヒーレント成分とフィールド成分とに分割する機能要素である。以下の説明は、分割部１２が式（４）で示されるＮチャネルのオーディオ信号｛ｘｌ（ｎ）｜ｌ＝１，…，Ｎ｝を処理することを前提とする。
【数４】
2017188141.tif 000006
【００３４】
まず、分割部１２は各チャネルのオーディオ信号を複数の時間区間の信号に分割する。具体的には、分割部１２は窓関数（例えば、カイザー・ベッセル窓）を用いてオーディオ信号を短い時間間隔（これを「フレーム」という）の信号に区切る。例えば、後述する変形離散コサイン変換（ＭＤＣＴ）において１０２４個の周波数点を用いるのであれば、分割部１２は２０４８点分の長さに相当するカイザー・ベッセル窓を用いてオーディオ信号を複数のフレームに分割する。通常、１フレーム内のサンプル数は適切な周波数分解能が得られるように決められるが、そのサンプル数はコヒーレント成分を推定するには十分ではない。そこで、分割部１２は連続する複数のフレーム（例えば２４個のフレーム）を一つの時間区間（これを「ブロック」という）の信号として設定する。図４はこのようなブロックの生成の概念を示し、より具体的には、２チャネル（ＬチャネルおよびＲチャネル）のオーディオ信号のそれぞれを複数のブロックに分割する処理を示す。
【００３５】
各チャネルのオーディオ信号を複数のブロックに分割すると、分割部１２は各チャネルの各ブロックに対して以下の処理を実行する。本明細書では、オーディオ信号をコヒーレント成分とフィールド成分とに分ける対象（すなわち、分割処理の対象）となるチャネルを「対象チャネル」という。ここでは、ある一つの対象チャネルにおける処理を説明する。
【００３６】
分割部１２は、対象チャネルのコヒーレント成分を抽出し、その後に該対象チャネルのフィールド成分を抽出する。図５は、その一連の処理の前半に相当する、コヒーレント成分の抽出の概念を示す。分割部１２は、フィルタバンクを用いて、対象チャネルであるｌ番目のチャネルのオーディオ信号ｘｌ（ｎ）をＫ個の周波数帯域（サブバンド）の信号（これを「サブバンド信号」という。）に分割する。そして、分割部１２は各サブバンドにおいて、対象チャネル以外の他のチャネルのオーディオ信号を用いてコヒーレント成分γｌ（ｋ）（ｎ）（ｋ＝１，…，Ｋ）を抽出する。分割部１２はこの抽出の際に最小二乗法を用いる。そして、分割部１２は全サブバンドのコヒーレント成分を加算することで、対象チャネルのコヒーレント成分γｌ（ｎ）を抽出する。その後、分割部１２は、元のオーディオ信号ｘｌ（ｎ）からコヒーレント成分γｌ（ｎ）を差し引くことでフィールド成分φｌ（ｎ）を抽出する。
【００３７】
分割部１２は対象チャネルのオーディオ信号の各ブロックについて以下の処理を実行する。
【００３８】
分割部１２はフィルタバンクを用いて各チャネルのオーディオ信号ｘｌ（ｎ）をＫ個のサブバンド信号ｘｌ（ｋ）（ｎ）に分割する。この分割は式（５）で示される。
【数５】
2017188141.tif 000007
【００３９】
なお、式（５）で示されるサブバンド信号ｘｌ（ｋ）（ｎ）は時間領域での信号であり、したがって、時間領域サブバンド信号である。周波数領域での信号を用いる上記の非特許文献１〜４の手法と異なり、オーディオ信号処理装置１０は時間領域サブバンド信号を用いるので、連続する任意のフレーム数の信号を一つのブロック信号として処理することで推定区間長を伸ばすことができる。この結果、得られたコヒーレント成分の音質を損なうことなく各チャネルのオーディオ信号を処理することができる。
【００４０】
続いて、分割部１２はこのサブバンド信号ｘｌ（ｋ）（ｎ）を、対象チャネル以外のＮ−１個のチャネルの同帯域（同じサブバンド）のサブバンド信号｛ｘｍ（ｋ）（ｎ）｜ｍ＝１，…，ｌ−１，ｌ＋１，…，Ｎ｝の線形結合から推定する。ある１ブロックに対応するこの線形結合は式（６）で示される。
【数６】
2017188141.tif 000008
【００４１】
推定信号
【数７】
2017188141.tif 000009
は、他チャネル（対象チャネル以外のＮ−１個のチャネル）の同帯域の信号との相関が高い成分と考えることができる。対象チャネルのサブバンド信号とこの推定信号との推定誤差ｅｌ（ｋ）（ｎ）は式（７）で示される。
【数８】
2017188141.tif 000010
【００４２】
分割部１２は、この推定誤差を最小にする係数｛ａｍ（ｋ）｜ｍ＝１，…，ｌ−１，ｌ＋１，…，Ｎ｝を最小二乗法で求める。最小化すべき誤差関数は式（８）で示される。
【数９】
2017188141.tif 000011
【００４３】
ここで、
【数１０】
2017188141.tif 000012
とすると、最適な係数群
【数１１】
2017188141.tif 000013
は式（９）を満たす。
【数１２】
2017188141.tif 000014
【００４４】
この式（９）をｍ＝１，…，ｌ−１，ｌ＋１，…，Ｎで連立させると式（１０）が得られる。
【数１３】
2017188141.tif 000015
ここで、
【数１４】
2017188141.tif 000016
【数１５】
2017188141.tif 000017
【数１６】
2017188141.tif 000018
である。
【００４５】
ｋ番目のサブバンドにおける対象チャネルの係数ベクトルａ＾ｌ（ｋ）は式（１１）により得られる。
【数１７】
2017188141.tif 000019
【００４６】
ｋ番目のサブバンドにおける対象チャネルのコヒーレント成分γｌ（ｋ）（ｎ）は式（１２）により得られる。このコヒーレント成分γｌ（ｋ）（ｎ）は、対象チャネル以外のチャネルのオーディオ信号を用いて算出される推定信号のうち該対象チャネルのオーディオ信号との相関が最も高い推定信号に相当する。
【数１８】
2017188141.tif 000020
【００４７】
分割部１２はすべてのサブバンドについてコヒーレント成分を求める。そして、分割部１２は全サブバンドのコヒーレント成分を加算することで対象チャネルのコヒーレント成分を求める。この処理は式（１３）で示される。
【数１９】
2017188141.tif 000021
【００４８】
さらに、分割部１２は対象チャネルの元のオーディオ信号からそのコヒーレント成分を差し引くことで、対象チャネルのフィールド成分を求める。この処理は上記式（３）で示される。
【００４９】
なお、分割部１２は、各サブバンドにおいてオーディオ信号からコヒーレント成分を差し引くことでフィールド成分を求め、全サブバンドのフィールド成分を加算することで対象チャネルのフィールド成分を求めてもよい。具体的には、ｋ番目のサブバンドにおける対象チャネルのフィールド成分φｌ（ｋ）（ｎ）は式（１４）により得られる。
【数２０】
2017188141.tif 000022
対象チャネルのフィールド成分φｌ（ｎ）は式（１５）により得られる。
【数２１】
2017188141.tif 000023
【００５０】
分割部１２は上記の処理を対象チャネルのオーディオ信号の各ブロックに対して実行する。そして、分割部１２は全ブロックのコヒーレント成分を連結することで対象チャネルのコヒーレント成分を抽出する。また、分割部１２は全ブロックのフィールド成分を連結することで対象チャネルのフィールド成分を生成する。
【００５１】
分割部１２は複数のチャネルのそれぞれを対象チャネルとして設定して上記の処理を実行することで、全チャネルについてコヒーレント成分およびフィールド成分を生成する。そして、分割部１２は全チャネルのコヒーレント成分およびフィールド成分を出力部１３に出力する。
【００５２】
このように、分割部１２は各チャネルのオーディオ信号に別の信号を追加することなく（すなわち、原音に別の音を追加することなく）、各チャネルのオーディオ信号をコヒーレント成分とフィールド成分とに分割する。
【００５３】
出力部１３は、分割部１２により生成された各チャネルのコヒーレント成分およびフィールド成分を処理結果として出力する機能要素である。この処理結果は、Ｎチャネルから２Ｎチャネルへのアップミックスを実現したものであるということができる。処理結果の出力方法は何ら限定されない。例えば、出力部１３は処理結果をメモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワークを介して他の装置に送信してもよい。あるいは、出力部１３は各チャネルのコヒーレント成分およびフィールド成分を対応するスピーカに出力してもよい。いずれにしても、オーディオ信号処理装置１０による処理結果を用いて、既存の音声素材を、より多くのチャネル数を持つコンテンツの制作に利用したり、より多くのチャネルを有するオーディオ・システムで再生したりすることが可能になる。
【００５４】
オーディオ信号処理装置１０は、Ｎチャネルのオーディオ信号を２Ｎより大きい数のチャネルにアップミックスしてもよい。具体的には、オーディオ信号処理装置１０は、抽出した複数のフィールド成分を下記参考文献に記載の手法で無相関化することで、チャネル間の相関が互いに異なる信号を生成する。これにより、Ｎより多い個数のフィールド成分が得られる。例えば、ステレオの音声素材を５．１チャネルの音声素材に変換したり、５．１チャネルのオーディオ・システムを用いてより高い臨場感で再生したりすることができる。あるいは、５．１チャネルの音声素材を２２．２チャネルの音声素材に変換したり、２２．２チャネルのオーディオ・システムを用いてより高い臨場感で再生したりすることができる。
（参考文献）J. Breebaart and C. Fallar, “Spatial Audio Processing - MPEG Surround and Other Applications,” Wiley, 2007.
【００５５】
オーディオ信号処理装置１０は、Ｎチャネルのオーディオ信号を、２Ｎより小さいＪ個のオーディオ信号（ただし、Ｊ＞Ｎ）のオーディオ信号にアップミックスしてもよい。具体的には、オーディオ信号処理装置１０はＮ個のフィールド成分をミキシングすることで、ＮチャネルからＪチャネルへのアップミックスを実現する。
【００５６】
オーディオ信号処理装置１０による処理結果はアップミックスだけでなくダウンミックスにも利用可能である。
【００５７】
次に、図６および図７を参照しながら、オーディオ信号処理装置１０の動作を説明するとともに本実施形態に係るオーディオ信号処理方法について説明する。オーディオ信号処理装置１０では、まず、受付部１１が複数のチャネルのオーディオ信号を受け付ける（受付ステップ）。続いて、分割部１２がオーディオ信号をコヒーレント成分とフィールド成分とに分割する分割処理を各チャネルについて実行する（分割ステップ）。そして、出力部１３が各チャネルのコヒーレント成分およびフィールド成分を出力する（出力ステップ）。以下では、特に重要な分割部１２の処理（分割ステップ）について詳しく説明する。
【００５８】
図６は、一つの対象チャネルのコヒーレント成分およびフィールド成分を生成する処理を示す。
【００５９】
まず、分割部１２は各チャネルのオーディオ信号を複数のブロックに分割する（ステップＳ１１）。なお、ステップＳ１１において分割した各チャネルおよび各ブロックのオーディオ信号を保存することで、２番目以降の対象チャネルを処理する際にはステップＳ１１を省略することができる。
【００６０】
続いて、分割部１２は対象チャネルの複数のブロックのうちの一つを処理対象として設定する（ステップＳ１２）。続いて、分割部１２は、対象チャネル以外のチャネルのオーディオ信号を用いて算出される推定信号のうち、対象チャネルのオーディオ信号との相関が最も高い推定信号を、対象チャネルのコヒーレント成分として抽出する（ステップＳ１３）。続いて、分割部１２は、対象チャネルのオーディオ信号とそのコヒーレント成分との差分を、対象チャネルのフィールド成分として抽出する（ステップＳ１４）。このような処理により、分割部１２は対象チャネルの１ブロックのコヒーレント成分およびフィールド成分を得る。
【００６１】
分割部１２は一つのブロックを処理すると次のブロックの処理に移る（ステップＳ１５参照）。すなわち、分割部１２は次のブロックを処理対象として設定し（ステップＳ１２）、そのブロックのコヒーレント成分およびフィールド成分を生成する（ステップＳ１３およびＳ１４）。分割部１２はすべてのブロックについてステップＳ１２〜Ｓ１４の処理を実行し、全ブロックのコヒーレント成分およびフィールド成分を生成する（ステップＳ１５においてＹＥＳ）。そして、分割部１２は全ブロックのコヒーレント成分を連結することで対象チャネルの最終的なコヒーレント成分を得ると共に、全ブロックのフィールド成分を連結することで対象チャネルの最終的なフィールド成分を得る。
【００６２】
図７は、図６におけるステップＳ１３の処理の詳細、すなわち、対象チャネルのコヒーレント成分を生成する処理の詳細を示す。図７に示す処理は対象チャネルのオーディオ信号の各ブロックについて実行される。
【００６３】
まず、分割部１２は各チャネル（対象チャネルおよびすべての他チャネル）について、ブロック信号を複数のサブバンドに分割することで複数のサブバンド信号を生成する（ステップＳ１３１）。続いて、分割部１２は複数のサブバンドのうちの一つを処理対象として設定する（ステップＳ１３２）。続いて、分割部１２は、対象チャネル以外のチャネルのサブバンド信号を用いて算出される推定信号のうち、対象チャネルのサブバンド信号との相関が最も高い推定信号を、処理対象であるサブバンドにおける対象チャネルのコヒーレント成分として抽出する（ステップＳ１３３）。分割部１２はすべてのサブバンドについてステップＳ１３２およびＳ１３３の処理を実行する（ステップＳ１３４参照）。対象チャネルについて全サブバンドのコヒーレント成分を生成すると（ステップＳ１３４においてＹＥＳ）、分割部１２はそれらのコヒーレント成分を加算することで対象チャネルのコヒーレント成分（より具体的には、１ブロック分のコヒーレント成分）を生成する（ステップＳ１３５）。
【００６４】
次に、図８を参照しながら、コンピュータをオーディオ信号処理装置１０として機能させるためのオーディオ信号処理プログラムＰ１を説明する。
【００６５】
オーディオ信号処理プログラムＰ１はメインモジュールＰ１０、受付モジュールＰ１１、分割モジュールＰ１２、および出力モジュールＰ１３を含む。メインモジュールＰ１０は、オーディオ信号の処理を統括的に実行する部分である。受付モジュールＰ１１、分割モジュールＰ１２、および出力モジュールＰ１３を実行することにより実現される機能はそれぞれ、上記の受付部１１、分割部１２、および出力部１３の機能と同様である。
【００６６】
オーディオ信号処理プログラムＰ１は、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、オーディオ信号処理プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。
【００６７】
以上説明したように、本発明の一側面に係るオーディオ信号処理装置は、複数のチャネルのオーディオ信号を受け付ける受付部と、オーディオ信号をコヒーレント成分とフィールド成分とに分割する分割処理を各チャネルについて実行する分割部であって、分割処理が、分割処理の対象となる一つのチャネルを対象チャネルとした場合に、該対象チャネル以外のチャネルのオーディオ信号を少なくとも用いて算出される推定信号のうち該対象チャネルのオーディオ信号との相関が最も高い推定信号を該対象チャネルのコヒーレント成分として抽出するステップと、対象チャネルのオーディオ信号と該対象チャネルのコヒーレント成分との差分を該対象チャネルのフィールド成分として抽出するステップとを含む、該分割部と、分割部により抽出された各チャネルのコヒーレント成分およびフィールド成分を出力する出力部とを備える。
【００６８】
本発明の一側面に係るオーディオ信号処理方法は、オーディオ信号処理装置が、複数のチャネルのオーディオ信号を受け付ける受付ステップと、オーディオ信号処理装置が、オーディオ信号をコヒーレント成分とフィールド成分とに分割する分割処理を各チャネルについて実行する分割ステップであって、分割処理が、分割処理の対象となる一つのチャネルを対象チャネルとした場合に、該対象チャネル以外のチャネルのオーディオ信号を少なくとも用いて算出される推定信号のうち該対象チャネルのオーディオ信号との相関が最も高い推定信号を該対象チャネルのコヒーレント成分として抽出するステップと、対象チャネルのオーディオ信号と該対象チャネルのコヒーレント成分との差分を該対象チャネルのフィールド成分として抽出するステップとを含む、該分割ステップと、オーディオ信号処理装置が、分割ステップにおいて抽出された各チャネルのコヒーレント成分およびフィールド成分を出力する出力ステップとを含む。
【００６９】
本発明の一側面に係るオーディオ信号処理プログラムは、複数のチャネルのオーディオ信号を受け付ける受付ステップと、オーディオ信号をコヒーレント成分とフィールド成分とに分割する分割処理を各チャネルについて実行する分割ステップであって、分割処理が、分割処理の対象となる一つのチャネルを対象チャネルとした場合に、該対象チャネル以外のチャネルのオーディオ信号を少なくとも用いて算出される推定信号のうち該対象チャネルのオーディオ信号との相関が最も高い推定信号を該対象チャネルのコヒーレント成分として抽出するステップと、対象チャネルのオーディオ信号と該対象チャネルのコヒーレント成分との差分を該対象チャネルのフィールド成分として抽出するステップとを含む、該分割ステップと、分割ステップにおいて抽出された各チャネルのコヒーレント成分およびフィールド成分を出力する出力ステップとをコンピュータに実行させる。
【００７０】
このような側面においては、対象チャネル以外のチャネルのオーディオ信号を用いて推定され、且つ該対象チャネルの実際のオーディオ信号ごとの相関が最も高い信号が該対象チャネルのコヒーレント成分として抽出される。また、対象チャネルの実際のオーディオ信号とそのコヒーレント成分との差分が該対象チャネルのフィールド成分として抽出される。このコヒーレント成分およびフィールド成分は各チャネルについて得られる。このように、音を追加することなく元のオーディオ信号のみを用いて各チャネルのコヒーレント成分およびフィールド成分を求めることで、原音の雰囲気（例えば本来の音色）を可能な限りまたは完全に維持することができる。加えて、コヒーレント成分およびフィールド成分は元のチャネル数の分だけ求めることができるので、この手法は原音のチャネル数にかかわらず適用できる。例えば、本発明の一側面は２チャネル、３チャネル、５．１チャネル、２２．２チャネルなどの任意のチャネル数のオーディオ信号に対して適用できる。
【００７１】
図９および図１０を用いて上記側面の優位性を説明する。図９は従来の手法におけるコヒーレント成分の抽出の例を示す図であり、図１０は上記側面におけるコヒーレント成分の抽出の例を示す図である。図９，１０共に、三角形状に配置された三つのスピーカ９０からオーディオ信号が出力される例を示し、したがって、この例は３チャネルのオーディオ・システムを示す。
【００７２】
図９に示すように、上記の非特許文献３，４に記載の手法では、２チャネルのオーディオ信号の間で相関が高い成分をコヒーレント成分９１として抽出する（なお、破線９２はフィールド成分を示す）。したがって、このような従来の手法では、二つのスピーカ（チャネル）９０の中間部分９３に位置する音の情報しか取得することができず、三つのスピーカ（チャネル）９０で囲まれた領域の中央部分９４に位置する音の情報を抽出することができない。
【００７３】
これに対して上記側面では、あるスピーカ（チャネル）９０のコヒーレント成分が他のスピーカ（チャネル）９０の信号から推定される。そのため、図１０に示すように、三つのスピーカ（チャネル）９０で囲まれた領域の中央部分９５に位置する音の情報を抽出することができる。この中央部分９５は、図９における部分９３，９４の和に相当し得る。
【００７４】
他の側面に係るオーディオ信号処理装置では、分割処理が、窓関数を用いてオーディオ信号を複数のフレームに区切る処理を各チャネルについて実行するステップと、連続する少なくとも二つのフレームを一つのブロックにまとめる処理を複数のフレームの全体に対して実行することで複数のブロックを生成する処理を各チャネルについて実行するステップと、ブロックのそれぞれにおいて対象チャネルのコヒーレント成分を抽出するステップとを含んでもよい。
【００７５】
複数のフレームで構成されるブロックを採用することで、コヒーレント成分の推定のためのサンプル数が多くなるので、コヒーレント成分をより精度良く抽出することが可能になる。
【００７６】
他の側面に係るオーディオ信号処理装置では、分割部が、各チャネルのオーディオ信号を複数のサブバンドに分割することで、各チャネルについて複数のサブバンド信号を生成するステップと、複数のサブバンドのそれぞれにおいて対象チャネルのコヒーレント成分を抽出するステップと、複数のサブバンドにおけるコヒーレント成分を加算することで対象チャネルのコヒーレント成分を抽出するステップとを含んでもよい。
【００７７】
一般に、音声処理では一部の周波数が他の周波数よりも重要であることが多い。サブバンド毎に処理することで、それぞれの周波数帯で要求される精度に応じてコヒーレント成分を抽出することができ、ひいてはコヒーレント成分およびフィールド成分を精度良く抽出することができる。
【実施例】
【００７８】
以下、実施例に基づいて本発明を具体的に説明するが、本発明はそれらに何ら限定されるものではない。【００７９】
表１に示される７個のステレオ音声素材（すなわち、２チャネルのオーディオ信号）を用意した。いずれの音声素材も市販のＣＤから入手したものであり、サンプリング周波数は４４．１ｋＨｚであった。表１の名前欄は曲名または楽曲の種類を示し、説明欄は演奏の形態を示す。ミキシング欄における「Ａｒｔｉｆｉｃａｌ」はミキシング処理が施された素材であることを示し、「Ｎａｔｕｒａｌ」はミキシング処理が施されていない素材であることを示す。長さ欄は再生時間を示す。
【表１】
2017188141.tif 000024
【００８０】
オーディオ信号を完全に再構築できるフィルタバンクを構築するために、変形離散コサイン変換（ＭＤＣＴ）を用いた重畳加算法を採用した。オーディオ信号を複数のフレームに分割するための窓関数としてカイザー・ベッセル窓を用いた。フレーム長は２０４８点とし、これは、ＭＤＣＴにおいて１０２４個の周波数点が得られることを意味する。その周波数点を表２に示すように２３個のサブバンドにまとめた。これらのサブバンドは、ＭＰＥＧ−２  ＡＡＣ標準を参考に、４８ｋＨｚ  ｌｏｎｇ  ＦＦＴ（高速フーリエ変換）における６９個のサブバンドを三つの連続するサブバンド毎に一つにまとめたものである。２４個のフレームを１ブロックとした。サンプリング周波数が４４．１ｋＨｚであれば、ブロック長は０．５８秒に相当するものであった。
【表２】
2017188141.tif 000025
【００８１】
実験結果をチャネル間の相互相関係数で評価した。原音、コヒーレント成分、およびフィールド成分の相互相関係数を表３に示す。コヒーレント成分は原音よりも高い相互相関を示した。このようなコヒーレント成分は原音よりも狭い音場の雰囲気をもたらす。一方、フィールド成分は、一個の素材（“Ｑｕｉｅｔ  Ｎｉｇｈｔ”）を除いて負の相互相関を示した。負の相互相関を示すフィールド成分を側方もしくは後方に設置したスピーカで再生すれば、良好なアンビエンス効果が得られる。その結果として、臨場感の高い音を再生することができる。
【表３】
2017188141.tif 000026
【００８２】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。【００８３】
上記実施形態では、分割部１２が、ある一つの対象チャネルのコヒーレント成分を、該対象チャネル以外のチャネルのオーディオ信号を用いて推定した。この変形例として、分割部は、当該他チャネルのオーディオ信号と、対象チャネルの過去のオーディオ信号および当該他チャネルの過去のオーディオ信号の少なくとも一方とを用いて、該対象チャネルのコヒーレント成分を推定してもよい。ここで、「過去のオーディオ信号」とは、処理対象のブロックより時間的に前のブロックのオーディオ信号である。対象チャネルおよび他チャネルのうちの一方または双方の過去のオーディオ信号も用いて、処理対象のブロックにおける対象チャネルのオーディオ信号を推定することで、コヒーレント成分をより精度良く抽出することが期待できる。【００８４】
少なくとも一つのプロセッサにより実行されるオーディオ信号処理方法の手順は上記実施形態での例に限定されない。例えば、オーディオ信号処理装置は上述したステップ（処理）の一部を省略してもよいし、別の順序で各ステップを実行してもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、オーディオ信号処理装置は上記の各ステップに加えて他のステップを実行してもよい。【００８５】
オーディオ信号処理装置は、二つの数値の大小関係を比較する際に、「以上」および「よりも大きい」という二つの基準のどちらを用いてもよく、「以下」および「未満」の二つの基準のうちのどちらを用いてもよい。このような基準の選択は、二つの数値の大小関係を比較する処理についての技術的意義を変更するものではない。
【符号の説明】
【００８６】
１０…オーディオ信号処理装置、１１…受付部、１２…分割部、１３…出力部、ｅｌ…推定誤差、Ｐ１…オーディオ信号処理プログラム、Ｐ１０…メインモジュール、Ｐ１１…受付モジュール、Ｐ１２…分割モジュール、Ｐ１３…出力モジュール。
【図１】
2017188141.tif 000027
【図２】
2017188141.tif 000028
【図３】
2017188141.tif 000029
【図４】
2017188141.tif 000030
【図５】
2017188141.tif 000031
【図６】
2017188141.tif 000032
【図７】
2017188141.tif 000033
【図８】
2017188141.tif 000034
【図９】
2017188141.tif 000035
【図１０】
2017188141.tif 000036
【国際調査報告】
2017188141.tif 000037
2017188141.tif 000038
2017188141.tif 000039
2017188141.tif 000040