(57)【特許請求の範囲】
【請求項１】
マルチチャンネルスピーカーを用いた音響レンダリング装置であって、
前記マルチチャンネルスピーカーの配置情報に基づいて、前記マルチチャンネルスピーカーを構成する複数のスピーカーそれぞれを音源として所定の進行方向に伝搬する一次波面を生成させる第１の遅延であって前記複数のスピーカーそれぞれに対する第１の遅延を算出する第１の遅延算出部と、
前記マルチチャンネルスピーカーの配置情報に基づいて、前記一次波面に生成される二次波面であって錯乱波面を有する二次波面を生成させる第２の遅延であって前記複数のスピーカーそれぞれに対する第２の遅延を算出する第２の遅延算出部と、
前記第１の遅延と前記第２の遅延とを加算することで前記複数のスピーカーそれぞれに対する総遅延を算出する加算部と、
入力音響信号に前記総遅延を適用することで、前記マルチチャンネルスピーカーでレンダリングを行うためのマルチチャンネル音響信号を生成し、前記マルチチャンネルスピーカーに出力する遅延フィルタと、を備える、
音響レンダリング装置。
【請求項２】
前記第１の遅延算出部は、前記一次波面が平面波または円形波になるように前記第１の遅延を算出する、
請求項１に記載の音響レンダリング装置。
【請求項３】
前記入力音響信号はステレオ信号であり、
前記第１の遅延算出部は、前記ステレオ信号の２つのチャンネルの信号それぞれで異なる進行方向に伝搬する前記一次波面となるように前記第１の遅延を算出する、
請求項２に記載の音響レンダリング装置。
【請求項４】
前記第２の遅延算出部は、乱数値を用いて前記第２の遅延を算出する、
請求項１〜３のいずれか１項に記載の音響レンダリング装置。
【請求項５】
前記マルチチャンネルスピーカーは、スピーカーアレイからなる、
請求項１〜４のいずれか１項に記載の音響レンダリング装置。
【請求項６】
前記第２の遅延算出部は、
前記スピーカーアレイを構成する複数のスピーカーにおいて前記スピーカーアレイの一端からの各スピーカーの配置番号を２乗し、２乗したチャンネル指標を素数の法で剰余計算した結果を用いることにより、前記第２の遅延を算出する、
請求項５に記載の音響レンダリング装置。
【請求項７】
前記マルチチャンネルスピーカーは、スピーカーマトリックスからなる、
請求項１〜４のいずれか１項に記載の音響レンダリング装置。
【請求項８】
前記第２の遅延算出部は、
前記スピーカーマトリックスを構成する行列状の複数のスピーカーにおいてスピーカーの配置行番号と配置列番号との積を計算し、計算した前記積を素数の法で剰余計算した結果を用いることにより、前記第２の遅延を算出する、
請求項７に記載の音響レンダリング装置。
【請求項９】
前記配置情報は、前記複数のスピーカーそれぞれの間隔を含む、
請求項１〜８のいずれか１項に記載の音響レンダリング装置。
【請求項１０】
前記配置情報は、前記複数のスピーカーの数を含む、
請求項１〜９のいずれか１項に記載の音響レンダリング装置。
【請求項１１】
マルチチャンネルスピーカーを用いた音響レンダリング装置であって、
入力音響信号を直接成分と拡散成分とに分離する音源分離器と、
前記直接成分をレンダリングし、マルチチャンネルスピーカーを用いてレンダリングを行うための直接成分を生成する直接成分レンダリング部と、
前記マルチチャンネルスピーカーの配置情報に基づいて、前記マルチチャンネルスピーカーを構成する複数のスピーカーそれぞれを音源として所定の進行方向に伝搬する一次波面を生成させる第１の遅延であって前記複数のスピーカーそれぞれに対する第１の遅延を算出する第１の遅延算出部と、
前記マルチチャンネルスピーカーの配置情報に基づいて、前記一次波面に生成される二次波面であって錯乱波面に波面合成される二次波面を生成させる第２の遅延であって前記複数のスピーカーそれぞれに対する第２の遅延を算出する第２の遅延算出部と、
前記第１の遅延と前記第２の遅延とを加算することで前記複数のスピーカーそれぞれに対する総遅延を算出する第一加算部と、
前記拡散成分に前記総遅延を適用する遅延フィルタと、
前記直接成分レンダリング部からの出力と前記遅延フィルタからの出力とを加算することで、前記マルチチャンネルスピーカーでレンダリングを行うためのマルチチャンネル信号を生成し、前記マルチチャンネルスピーカーに出力する第２加算部と、を備える、
音響レンダリング装置。
【請求項１２】
マルチチャンネルスピーカーを用いた音響レンダリング方法であって、
前記マルチチャンネルスピーカーの配置情報に基づいて、前記マルチチャンネルスピーカーを構成する複数のスピーカーそれぞれを音源として所定の進行方向に伝搬する一次波面を生成させる第１の遅延であって前記複数のスピーカーそれぞれに対する第１の遅延を算出する第１算出ステップと、
前記マルチチャンネルスピーカーの配置情報に基づいて、前記一次波面に生成される二次波面であって錯乱波面に波面合成される二次波面を生成させる第２の遅延であって前記複数のスピーカーそれぞれに対する第２の遅延を算出する第２算出ステップと、
前記第１の遅延と前記第２の遅延とを加算することで前記複数のスピーカーそれぞれに対する総遅延を算出する加算ステップと、
入力音響信号に前記総遅延を適用することで、前記マルチチャンネルスピーカーでレンダリングを行うためのマルチチャンネル音響信号を生成し、前記マルチチャンネルスピーカーに出力する総遅延適用ステップと、を含む、
音響レンダリング方法。
【請求項１３】
マルチチャンネルスピーカーにマルチチャンネル音響信号を出力する集積回路であって、
前記マルチチャンネルスピーカーの配置情報に基づいて、前記マルチチャンネルスピーカーを構成する複数のスピーカーそれぞれを音源として所定の進行方向に伝搬する一次波面を生成させる第１の遅延であって前記複数のスピーカーそれぞれに対する第１の遅延を算出する第１の遅延算出部と、
前記マルチチャンネルスピーカーの配置情報に基づいて、前記一次波面に生成される二次波面であって錯乱波面を有する二次波面を生成させる第２の遅延であって前記複数のスピーカーそれぞれに対する第２の遅延を算出する第２の遅延算出部と、
前記第１の遅延と前記第２の遅延とを加算することで前記複数のスピーカーそれぞれに対する総遅延を算出する加算部と、
前記入力音響信号に前記総遅延を適用することで、前記マルチチャンネルスピーカーでレンダリングを行うためのマルチチャンネル音響信号を生成し、前記マルチチャンネルスピーカーに出力する遅延フィルタと、を備える、
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャンネルスピーカーを用いた音響レンダリング装置および音響レンダリング方法に関する。
【背景技術】
【０００２】
音響機器としてスピーカーアレイとスピーカーマトリクスとが急速に普及しつつある。スピーカーアレイとスピーカーマトリクスは、リスナーに立体音響（３Ｄオーディオ）を届けることができ、３Ｄエンターテインメントにおいて非常に重要な役割を担う。スピーカーアレイとスピーカーマトリクスは、波面合成の原理により、それらの前方または後方に存在する仮想音源などの新しい聴感覚を創出することができるので、広範囲のスイートスポット（最適な聴取位置）とステレオ感を実現することができる。なお、以下ではスピーカーアレイを例に挙げて説明するが、スピーカーマトリクスも同様であるので説明を省略しているに過ぎない。つまり、以下では、スピーカーアレイについての説明はスピーカーマトリクスの説明も行っていることも意味する。【０００３】
波面合成の原理として、レイリー積分による方法とビーム形成による方法との２つ方法が主に知られている。図１Ａはレイリー積分による波面合成の原理を示す図であり、図１Ｂはビーム形成による波面合成の原理を示す図である。【０００４】
レイリー積分は、図１Ａに示すように、スピーカーアレイ１０Ａの後方に存在する仮想音源（一次音源１１）の合成に用いられる。【０００５】
レイリー積分を用いると、二次音源の分布により、一次音源の波面を近似できる。換言すると、図１Ａに示すように、一次音源１１は、スピーカーアレイ１０Ａの後方で合成したい仮想音源のことであり、二次音源は、スピーカーアレイ１０Ａそれ自体のことである。【０００６】
このように、レイリー積分による波面合成は、複数の二次音源（スピーカーアレイ１０Ａ）のそれぞれに達する一次音源１１（仮想音源）の波面の振幅および遅延を模擬することにより実現できる。【０００７】
また、ビーム形成は、図１Ｂに示すように、スピーカーアレイ１０Ｂの前方にある仮想音源１２の合成に用いられる。【０００８】
ビーム形成による波面合成の原理によれば、所望の仮想スポットで音声が最大限重ね合わせられるように、遅延と利得とをスピーカーアレイ１０Ｂの各チャンネルが出力する音響信号に適用することにより、仮想音源１２をスピーカーアレイ１０Ｂの前方に合成することができる。【０００９】
しかし、既存のコンテンツは、ステレオ音源が主流である。【００１０】
そのため、スピーカーアレイを用いて、モノラル音源またはステレオ音源から新たな聴感覚を生み出す技術の開発が活発に進められている。【００１１】
例えば特許文献１〜１０には、残響を利用して、スピーカーアレイで立体音像を拡大する技術が開示されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】欧州特許出願公開第１２２５７８９号明細書
【特許文献２】米国特許第４７４８６６９号明細書
【特許文献３】米国特許第５８９２８３０号明細書
【特許文献４】米国特許第６９２８１６８号明細書
【特許文献５】米国特許第７６３６４４３号明細書
【特許文献６】米国特許第７９９１１７６号明細書
【特許文献７】米国特許出願公開第２００２／０１１８８３９号明細書
【特許文献８】米国特許出願公開第２００８／０２７９４０１号明細書
【特許文献９】米国特許出願公開第２００９／０１３６０６６号明細書
【特許文献１０】米国特許出願公開第２０１１／０１９４７１２号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上記従来の技術では、立体音像（ステレオ感、包まれ感など）の効果はリスナーの位置に依存してしまうという問題がある。【００１４】
そこで、本発明は、かかる問題に鑑みてなされたものであって、リスナーの位置に依存しない臨場感のある立体音像を実現できる音響レンダリング装置および音響レンダリング方法を提供することを目的にする。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、本発明の一形態に係る音響レンダリング装置は、マルチチャンネルスピーカーを用いた音響レンダリング装置であって、前記マルチチャンネルスピーカーの配置情報に基づいて、前記マルチチャンネルスピーカーを構成する複数のスピーカーそれぞれを音源として所定の進行方向に伝搬する一次波面に対応する第１の遅延を算出する第１の遅延算出部と、前記マルチチャンネルスピーカーの配置情報に基づいて、前記一次波面により生成される二次波面であって錯乱波面を有する二次波面に対応する第２の遅延を算出する第２の遅延算出部と、前記第１の遅延と前記第２の遅延とを加算することで総遅延を算出する加算部と、入力音響信号に前記総遅延を適用することで、前記マルチチャンネルスピーカーでレンダリングを行うためのマルチチャンネル音響信号を生成し、前記マルチチャンネルスピーカーに出力する遅延フィルタと、を備える。【００１６】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１７】
本発明によれば、リスナーの位置に依存しない臨場感のある立体音像を実現できるレンダリング装置およびレンダリング方法を実現できる。
【図面の簡単な説明】
【００１８】
【図１Ａ】図１Ａは、レイリー積分による波面合成の原理を示す図である。
【図１Ｂ】図１Ｂは、ビーム形成による波面合成の原理を示す図である。
【図２】図２は、ビーム形成技術によりステレオ信号がレンダリングされて出力された様子を示す図である。
【図３Ａ】図３Ａは、ステレオ信号を直接成分と拡散成分とに分離する音源分離器の例を示す図である。
【図３Ｂ】図３Ｂは、図３Ａに示す音源分離器を用いて分離されたステレオ信号の直接成分と拡散成分とがレンダリングされて出力された様子が示された図である。
【図４】図４は、図３Ｂに示すレンダリング方法の問題を説明するための図である。
【図５】図５は、実施の形態１の音響レンダリング装置の構成を示すブロック図である。
【図６Ａ】図６Ａは、実施の形態１の音響レンダリング装置を用いてレンダリングされたステレオ信号をスピーカーアレイで出力したときの効果を説明するための図である。
【図６Ｂ】図６Ｂは、実施の形態１の音響レンダリング装置を用いてレンダリングされたステレオ信号をスピーカーアレイで出力したときの効果を説明するための図である。
【図７Ａ】図７Ａは、実施の形態１の音響レンダリング装置によりレンダリングされたステレオ信号をスピーカーアレイで出力したときの効果を示す図である。
【図７Ｂ】図７Ｂは、実施の形態１の音響レンダリング装置によりレンダリングされたステレオ信号をスピーカーアレイで出力したときの効果を示す図である。
【図８】図８は、実施の形態１の音響レンダリング装置によりレンダリングされたステレオ信号をスピーカーアレイで再生したときの様子を示す図である。
【図９Ａ】図９Ａは、シュレーダー拡散体を備える音響パネルの概観を示す図である。
【図９Ｂ】図９Ｂは、シュレーダー拡散体の壁と凹みとを定義する深さ係数を示す図である。
【図１０】図１０は、実施の形態１の音響レンダリング方法の処理を示すフローチャートである。
【図１１】図１１は、実施の形態２の音響レンダリング装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、従来の技術では、以下の問題が生じることを見出した。
【００２０】
既存のコンテンツは依然としてステレオ音源が主流であるため、スピーカーアレイを用いて、モノラル音源またはステレオ音源から新たな聴感覚を生み出す再生技術の開発が活発に進められている。開発が進められている再生技術の中でも、２チャンネル音響機器に利用できるため、スピーカーアレイの立体音像を拡大する技術の開発への期待が高い。
【００２１】
以下では、スピーカーアレイの立体音像をさらに拡大する技術（立体音像拡大技術）について説明する。
【００２２】
まず、スピーカーアレイを用いてステレオ信号を再生する簡易な方法について説明する。図２は、ビーム形成技術によりステレオ信号がレンダリングされて出力された様子を示す図である。
【００２３】
すなわち、図２には、ビーム形成を実行することでスピーカーアレイ１０Ｃの前方にある２箇所の仮想スポットを左右の仮想音源（左仮想音源２１、右仮想音源２２）にするレンダリング方法が示されている。このようにして、素早く簡単に新しい聴感覚を生成できる。
【００２４】
しかしながら、図２に示す左仮想音源２１、右仮想音源２２から出力されるようにステレオ信号が再生されたとしても、中心から離れたところに存在するリスナー２０１には、狭く不自然な音に感じられるという問題がある。
【００２５】
例えばＣＤなどの音楽データのように一般的なコンテンツに記録されている音源は、通常、直接成分と拡散成分とから成る。直接成分は、左右の音源に共通する成分であり、拡散成分は、直接成分以外の成分である。そして、ビーム形成は、指向性のある音声を生成することしかできない。そのため、スピーカーアレイ１０Ｃの中心付近の位置に存在するリスナー２０２は、広く自然な立体音像を聴覚認識することができるが、中心から離れた位置にいるリスナー２０１には、狭く不自然な音に感じられるという問題がある。
【００２６】
次に、図２とは異なるレンダリング方法について、図３Ａおよび図３Ｂを用いて説明する。図３Ａには、ステレオ信号を直接成分と拡散成分とに分離する音源分離器３００の例が示されている。また、図３Ｂには、図３Ａに示す音源分離器３００を用いて分離されたステレオ信号の直接成分と拡散成分とがレンダリングされて出力された様子が示されている。なお、音源を直接成分と拡散成分とに分離する音源分離技術は多くあるが、それらの技術に関する詳述は、本発明の開示の範囲外であるため、説明は省略する。
【００２７】
図３Ａに示す音源分離器３００により分離されたステレオ信号の直接成分（左の直接成分（ＤＬ）と右の直接成分（ＤＲ））は、２箇所の仮想スポットすなわち左右の仮想音源（左仮想音源３１、右仮想音源３２）にビーム形成される。また、図３Ａに示す音源分離器３００により分離されたステレオ信号の拡散成分（左の拡散成分（ＳＬ）と右の拡散成分（ＳＲ））は、平面波としてレンダリングされる。ここで、拡散成分（左の拡散成分（ＳＬ）と右の拡散成分（ＳＲ））は、ビーム形成された左右の仮想音源（左仮想音源３１、右仮想音源３２）よりも比較的無指向性が強い。
【００２８】
このようなレンダリング方法により、リスナー３０１に対して、より自然でより広い聴感覚を生成することができる。
【００２９】
ここで、心理音響的な観点について説明する。リスナーの両耳に到達する音響信号（音声）に相関関係がなく残響または分離感がある場合、そのリスナーは、その音響信号（音声）を広がりのある立体音像として感知する。
【００３０】
つまり、ステレオ信号に残響を付与することによっても、立体音像の広がりを向上することができる。残響により距離の錯覚が生まれることで、リスナーはステレオ音源がさらに遠くに聞こえるなどする。そのため、より広いステレオ分離が生じ、リスナーはより広がりのある立体音像として感知する。また、残響により、エンベロープ感（包まれ感）も高まる。なお、残響は、多様な種類の遅延が与えられた無相関信号がリスナーの両耳に到達することで生まれる。
【００３１】
残響に基づく立体音像拡大技術は、上記特許文献１〜７に開示されている。また、残響に基づく立体音像拡大技術には、上述した技術の他、上記特許文献１〜７に記載されているように、遅延挿入と転極を行うフィルタの使用、信号を非相関にすること、および、クロストークを使用する技術が含まれている。
【００３２】
【数１】
0005944403.tif 000002
（式１）
【００３３】
ここで、式１において、ＬおよびＲは元々のステレオ信号、Ｌ’およびＲ’は拡張されたステレオ信号、ｒｅｖｅｒｂ（）は残響付加を行うことを示している。
【００３４】
さらに、上記の立体音像拡大技術をさらに改良したヘッドシャドウモデリングと称される技術が知られている。ヘッドシャドウモデリング技術は、３Ｄ音源のシミュレーションに用いられる技術であり、上記特許文献８〜１０に記載されているように、残響と組み合わされ、立体音像拡大技術が改良された技術である。具体的には、ヘッドシャドウモデリング技術は、リスナーの両耳間の遅延を付加することでリスナーからステレオ音源を遠ざけ、残響付加で生まれた距離の錯覚をさらに大きくする技術である。
【００３５】
その他、多重反射によってステレオ感を生成することを目的として、それぞれが異なる方向の複数の波面を生成することで、多重反射によってステレオ感を生成するという別の立体音像拡大技術もある。
【００３６】
しかしながら、上記従来の技術では、立体音像（ステレオ感）の効果はリスナーの位置に依存するという問題がある。以下それについて説明する。
【００３７】
例えば、図３Ｂに示されるレンダリング方法は、図２に示されるレンダリング方法と比較すると、より広い聴覚像を生成するが、立体音像（ステレオ感）は依然として狭い。これについて図４を用いて説明する。図４は、図３Ｂに示すレンダリング方法の問題を説明するための図である。
【００３８】
図４に示すように、スピーカーアレイ１０Ｅの中心付近の位置に存在するリスナー４０１は、両耳で異なる音響信号を感知できるので、良好な立体音像（ステレオ感）を感知することができる。一方、中心から離れた位置に存在するリスナー４０２は両耳で実質的に同じ音声を感知することになるため、立体音像（ステレオ感）が損なわれており、立体音像（ステレオ感）を十分感知できない。
【００３９】
なお、残響に基づく立体音像拡大技術や、ヘッドシャドウモデリングなどを用いた改良された残響に基づく立体音像拡大技術は、スピーカーアレイに適用することができないという問題もある。なぜなら、スピーカーアレイは、狭いスイートスポットで音を聞かせることを意図しているからである。
【００４０】
ただし、音響信号に残響を付加する前処理をすることができれば、スピーカーアレイ１０Ｅの中心付近の位置に存在するリスナー４０１は、図３Ｂに示すレンダリング方法によるより広がりのある立体音像を感知することができる。
【００４１】
しかし、中心から離れた位置に存在するリスナー４０２は、両耳で同じような音像を聞くことになるため、立体音像（ステレオ感）が損なわれ、十分な立体音像を感知できないという問題は同じである。
【００４２】
また、別の立体音像拡大方法として、反響を利用して複数の波面を生成する方法があるが、この方法は周囲に音響反射が存在することを前提としているため、確実な方法ではない。
【００４３】
そこで、本発明の一態様は、かかる問題に鑑みてなされたものであって、リスナーの位置に依存しない広がりのある立体音像を実現できる音響レンダリング装置および音響レンダリング方法を提供することを目的とする。
【００４４】
上記問題を解決するために、本発明の一態様に係る音響レンダリング装置は、マルチチャンネルスピーカーを用いた音響レンダリング装置であって、前記マルチチャンネルスピーカーの配置情報に基づいて、前記マルチチャンネルスピーカーを構成する複数のスピーカーそれぞれを音源として所定の進行方向に伝搬する一次波面に対応する第１の遅延を算出する第１の遅延算出部と、前記マルチチャンネルスピーカーの配置情報に基づいて、前記一次波面により生成される二次波面であって錯乱波面を有する二次波面に対応する第２の遅延を算出する第２の遅延算出部と、前記第１の遅延と前記第２の遅延とを加算することで総遅延を算出する加算部と、入力音響信号に前記総遅延を適用することで、前記マルチチャンネルスピーカーでレンダリングを行うためのマルチチャンネル音響信号を生成し、前記マルチチャンネルスピーカーに出力する遅延フィルタと、を備える。
【００４５】
この構成により、リスナーの位置に依存しないステレオ感を実現できる。
【００４６】
さらに、このように入力音響信号からマルチチャンネル音響信号が生成（レンダリング）されることで、マルチチャンネルスピーカーで再生された場合に、リスナーに対してステレオ感を高めることができるだけでなく、エンベロープ感（包まれ感）も高めることができる。
【００４７】
また、例えば、前記第１の遅延算出部は、前記一次波面が平面波または円形波になるように前記第１の遅延を算出するとしてもよい。
【００４８】
また、例えば、前記入力音響信号はステレオ信号であり、前記第１の遅延算出部は、前記ステレオ信号の２つのチャンネルの信号それぞれで異なる進行方向に伝搬する前記一次波面となるように前記第１の遅延を算出するとしてもよい。
【００４９】
また、例えば、前記第２の遅延算出部は、乱数値を用いて前記第２の遅延を算出するとしてもよい。
【００５０】
また、例えば、前記マルチチャンネルスピーカーは、スピーカーアレイからなるとしてもよい。
【００５１】
また、例えば、前記第２の遅延算出部は、前記スピーカーアレイを構成する複数のスピーカーにおいて前記スピーカーアレイの一端からの各スピーカーの配置番号を２乗し、２乗したチャンネル指標を素数の法で剰余計算した結果を用いることにより、前記第２の遅延を算出するとしてもよい。
【００５２】
また、例えば、前記マルチチャンネルスピーカーは、スピーカーマトリックスからなるとしてもよい。
【００５３】
また、例えば、前記第２の遅延算出部は、前記スピーカーマトリックスを構成する行列状の複数のスピーカーにおいてスピーカーの配置行番号と配置列番号との積を計算し、計算した前記積を素数の法で剰余計算した結果を用いることにより、前記第２の遅延を算出するとしてもよい。
【００５４】
また、例えば、前記配置情報は、前記複数スピーカーそれぞれの間隔を含むとしてもよい。
【００５５】
また、例えば、前記配置情報は、前記複数のスピーカーの数を含むとしてもよい。
【００５６】
また、上記問題を解決するために、本発明の一態様に係る音響レンダリング装置は、マルチチャンネルスピーカーを用いた音響レンダリング装置であって、入力音響信号を直接成分と拡散成分とに分離する音源分離器と、前記直接成分をレンダリングし、マルチチャンネルスピーカーを用いてレンダリングを行うための直接成分を生成する直接成分レンダリング部と、前記マルチチャンネルスピーカーの配置情報に基づいて、前記マルチチャンネルスピーカーを構成する複数のスピーカーそれぞれを音源として所定の進行方向に伝搬する一次波面に対応する第１の遅延を算出する第１の遅延算出部と、前記マルチチャンネルスピーカーの配置情報に基づいて、前記一次波面により生成される二次波面であって錯乱波面に波面合成される二次波面に対応する第２の遅延を算出する第２の遅延算出部と、前記第１の遅延と前記第２の遅延とを加算することで総遅延を算出する第一加算部と、前記拡散成分に前記総遅延を適用する遅延フィルタと、前記直接成分レンダリング部からの出力と前記遅延フィルタからの出力とを加算することで、前記マルチチャンネルスピーカーでレンダリングを行うためのマルチチャンネル信号を生成し、前記マルチチャンネルスピーカーに出力する第２加算部と、を備えるとしてもよい。
【００５７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００５８】
以下、本発明の一態様に係る音響レンダリング装置および音響レンダリング方法について、図面を参照しながら具体的に説明する。
【００５９】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００６０】
（実施の形態１）
図５は、実施の形態１の音響レンダリング装置の構成を示すブロック図である。図６Ａ及び図６Ｂは、実施の形態１の音響レンダリング装置を用いてレンダリングされたステレオ信号をスピーカーアレイで出力したときの効果を説明するための図である。図７Ａおよび図７Ｂは、実施の形態１の音響レンダリング装置によりレンダリングされたステレオ信号をスピーカーアレイで出力したときの効果を示す図である。図８は、図５に示す音響レンダリング装置によりレンダリングされたステレオ信号をスピーカーアレイで再生したときの様子を示す図である。
【００６１】
図５に示す音響レンダリング装置５０は、スピーカーアレイ５００を用いた音響レンダリング装置であって、第１の遅延算出部５０１と、第２の遅延算出部５０２と、加算器５０３と、遅延フィルタ５０４とを備える。
【００６２】
なお、スピーカーアレイ５００は、例えばマルチチャンネルスピーカーの一例である。上述したように、マルチチャンネルスピーカーは、スピーカーアレイに限らずスピーカーマトリックスでもよい。つまり、図５では、スピーカーアレイ５００を例に挙げて示しているに過ぎない。
【００６３】
第１の遅延算出部５０１は、スピーカーアレイ５００の配置情報（スピーカーアレイ情報）に基づいて、スピーカーアレイ５００を構成する複数のスピーカーそれぞれを音源として所定方向の進行方向に伝搬する一次波面に対応する第１の遅延を算出する。
【００６４】
具体的には、第１の遅延算出部５０１は、図６Ａに示す一次波面６０１Ａ（基本波面）および図６Ｂに示す一次波面６０１Ｂのように所定方向の進行方向に伝搬する一次波面（基本波面）を生成（波面合成）する遅延（第１の遅延）を算出する。
【００６５】
より詳細には、第１の遅延算出部５０１は、スピーカーアレイ５００を構成する複数のスピーカーにおいてｃ番目のスピーカーに対する第１の遅延Ｄ１（ｃ）を算出する。ここで、ｃ番目とは、スピーカーアレイ５００を構成する複数のスピーカーにおいてスピーカーアレイ５００の一端を基準とした序数を意味する。なお、第１の遅延算出部５０１は、マルチチャンネルスピーカーがスピーカーアレイ５００ではなくＲ行Ｃ列のスピーカーからなるスピーカーマトリックスである場合には、ｒ行ｃ列目のスピーカーに対して第１の遅延Ｄ１（ｒ，ｃ）を算出する。
【００６６】
ここで、例えば第１の遅延算出部５０１は、一次波面（基本波面）が平面波または円形波になるように第１の遅延を算出する。
【００６７】
より具体的には、第１の遅延算出部５０１は、マルチチャンネルスピーカーがスピーカーアレイ５００の場合、スピーカーアレイ５００のｃ番目のスピーカーから平面波を放射させるために、例えば式２を用いて第１の遅延Ｄ１（ｃ）を算出する。
【００６８】
【数２】
0005944403.tif 000003
（式２）
【００６９】
ここで、α、β、所定値である。以下でも同様である。
【００７０】
同様に、第１の遅延算出部５０１は、マルチチャンネルスピーカーがスピーカーマトリックスの場合、スピーカーマトリックスのＲ行Ｃ列目のスピーカーから平面波を放射させるために、例えば式３を用いて第１の遅延Ｄ１（ｒ，ｃ）を算出する。
【００７１】
【数３】
0005944403.tif 000004
（式３）
【００７２】
ここで、α、βだけでなくγも所定値である。
【００７３】
また、第１の遅延算出部５０１は、マルチチャンネルスピーカーがスピーカーアレイ５００の場合、スピーカーアレイ５００のｃ番目のスピーカーから円形波を放射させるために、例えば式４を用いて第１の遅延Ｄ１（ｃ）を算出する。
【００７４】
【数４】
0005944403.tif 000005
（式４）
【００７５】
ここで、上述したようにα、βは所定値である。
【００７６】
同様に、第１の遅延算出部５０１は、上記マルチチャンネルスピーカーがスピーカーマトリックスの場合、スピーカーマトリックスのＲ行Ｃ列目のスピーカーから円形波を放射させるために例えば式５を用いて第１の遅延を算出する。
【００７７】
【数５】
0005944403.tif 000006
（式５）
【００７８】
ここで、α、βだけでなくδ、γも所定値である。
【００７９】
第２の遅延算出部５０２は、スピーカーアレイ５００の配置情報（スピーカーアレイ情報）に基づいて、伝搬する一次波面により生成される二次波面であって錯乱波面を有する二次波面に対応する第２の遅延を算出する。
【００８０】
具体的には、第２の遅延算出部５０２は、図６Ａに示す二次波面６０２Ａおよび図６Ｂに示す二次波面６０２Ｂのように錯乱波面を有する二次波面を生成する遅延（第２の遅延）を算出する。
【００８１】
より詳細には、第２の遅延算出部５０２は、スピーカーアレイ５００のｃ番目のスピーカーに対し、第２の遅延Ｄ２（ｃ）を算出する。
【００８２】
なお、第２の遅延算出部５０２は、上記マルチチャンネルスピーカーがスピーカーアレイ５００ではなくＲ行Ｃ列のスピーカーからなるスピーカーマトリックスである場合には、ｒ行ｃ列目のスピーカーに対して、第２の遅延Ｄ２（ｒ，ｃ）を算出する。
【００８３】
ここで、例えば第２の遅延算出部５０２は、錯乱波面の凸凹面を模擬するために乱数値を用いて、第２の遅延を算出する。以下、乱数値を用いた第２の遅延の算出方法について説明する。
【００８４】
第２の遅延算出部５０２は、上記マルチチャンネルスピーカーがスピーカーアレイ５００の場合は、スピーカーアレイ５００のｃ番目のスピーカーを音源として波面合成される錯乱波面を生成するために、例えば式６を用いて第２の遅延Ｄ２（ｃ）を算出する。
【００８５】
【数６】
0005944403.tif 000007
（式６）
【００８６】
ここで、ｒａｎｄ（）は乱数値生成元、αとβは所定値である。
【００８７】
同様に、第２の遅延算出部５０２は、マルチチャンネルスピーカーがスピーカーマトリックスの場合、スピーカーマトリックスのＲ行Ｃ列目のスピーカーを音源として波面合成される錯乱波面を生成するために、例えば式７を用いて第２の遅延Ｄ２（ｒ，ｃ）を算出する。
【００８８】
【数７】
0005944403.tif 000008
（式７）
【００８９】
ここで、上記同様、ｒａｎｄ（）は乱数値生成元、αとβは所定値である。
【００９０】
なお、第２の遅延算出部５０２は、散乱波面である二次波面を生成する第２の遅延を算出する方法は、上記の乱数を用いる場合に限られない。例えば、第２の遅延算出部５０２は、錯乱波面の凸凹面を模擬するためにシュレーダー拡散体を用いて第２の遅延を算出するとしてもよい。以下その方法について説明する。
【００９１】
シュレーダー拡散体は、入射波を複数の反射ウェーブレットに散乱することを目的とした、異なる「深さ係数」を持つ複数の凹みを備える物理的な拡散体である。シュレーダー拡散体を音響処理に用いると、全方向に均等に音声を拡散できることで知られている。そのため、耳に心地よい音を生成するための音響処理によく用いられる。
【００９２】
図９Ａはシュレーダー拡散体を備える音響パネルの概観を示す図であり、図９Ｂはシュレーダー拡散体の凹みと壁とを定義する深さ係数を示す図である。
【００９３】
シュレーダー拡散体の凹みの深さ係数Ｓｍは、平方剰余系列として、式８のように計算することができる。
【００９４】
【数８】
0005944403.tif 000009
（式８）
【００９５】
ここで、ｍは、連続した自然数０、１、２、３、４などであり、ｐは素数である。また、ｍｏｄは剰余演算子を示す。
【００９６】
錯乱波面の凸凹面を模擬するためにシュレーダー拡散体を用いて第２の遅延を算出する一つの方法は、シュレーダー拡散体の深さ係数Ｓｍに比例するように第２の遅延を設定する方法である。例えば、スピーカーアレイ５００を構成する複数のスピーカーにおけるｃ番目のスピーカーの配置番号ｃは、上記の自然数ｍと置き換えることで第２の遅延を設定することができる。
【００９７】
つまり、第２の遅延算出部５０２は、マルチチャンネルスピーカーがスピーカーアレイ５００の場合は、式９を用いて、スピーカーアレイ５００のｃ番目（配置番号ｃ）のスピーカーに対する第２の遅延Ｄ２（ｃ）を算出することができる。
【００９８】
【数９】
0005944403.tif 000010
（式９）
【００９９】
ここで、α、βは、所定値である。
【０１００】
同様に、第２の遅延算出部５０２は、マルチチャンネルスピーカーがスピーカーマトリックスの場合、式１０に示す凹みの深さ係数であるＳｒ，ｃと、式１１とを用いて、Ｒ行Ｃ列目のスピーカーに対する第２の遅延Ｄ２（ｒ，ｃ）を算出することができる。
【０１０１】
【数１０】
0005944403.tif 000011
（式１０）
【０１０２】
【数１１】
0005944403.tif 000012
（式１１）
【０１０３】
ここで、上述したようにα、βは、所定値である。
【０１０４】
なお、第１の遅延算出部５０１と第２の遅延算出部５０２はいずれも、スピーカーアレイを構成する複数のスピーカーの数や間隔などの位置関係、指向性パターンなどを含むスピーカーアレイ情報、すなわち、マルチチャンネルスピーカー（スピーカーアレイまたはマトリックス）の配置情報を必要とする。
【０１０５】
加算器５０３は、加算部または第一加算部の一例であって、第１の遅延と第２の遅延とを加算することで総遅延を算出する。
【０１０６】
具体的には、加算器５０３は、式１２に示すように、第１の遅延算出部５０１で算出された第１の遅延Ｄ１（ｃ）と第２の遅延算出部５０２で算出された第２の遅延Ｄ２（ｃ）とを加算して、スピーカーアレイ５００のｃ番目のスピーカーに対する総遅延Ｄtotal（ｃ）を算出する。
【０１０７】
【数１２】
0005944403.tif 000013
（式１２）
【０１０８】
なお、加算器５０３は、マルチチャンネルスピーカーがスピーカーアレイ５００ではなくＲ行Ｃ列のスピーカーからなるスピーカーマトリックスである場合には、式１３に示すように、第１の遅延算出部５０１で算出された第１の遅延Ｄ１（ｒ，ｃ）と第２の遅延算出部５０２で算出された第２の遅延Ｄ２（ｒ，ｃ）とを加算して、ｒ行ｃ列目のスピーカーに対する総遅延Ｄtotal（ｒ，ｃ）を算出する。
【０１０９】
【数１３】
0005944403.tif 000014
（式１３）
【０１１０】
遅延フィルタ５０４は、入力音響信号に加算器５０３で算出された総遅延を適用することで、スピーカーアレイ５００でレンダリングを行うためのマルチチャンネル音響信号を生成し、スピーカーアレイ５００に出力する。
【０１１１】
具体的には、遅延フィルタ５０４は、例えば整数遅延フィルタなどであり、式１４に示すように、加算器５０３で算出された総遅延Ｄtotal（ｃ）を、で入力音響信号ｘ（ｎ）に適用することで、ｃ番目のスピーカーに対するレンダリング用のマルチチャンネル信号ｙｃ（ｎ）を生成する。ここで、ｎはサンプル指数である。
【０１１２】
【数１４】
0005944403.tif 000015
（式１４）
【０１１３】
なお、遅延フィルタ５０４は、マルチチャンネルスピーカーがスピーカーアレイ５００ではなくＲ行Ｃ列のスピーカーからなるスピーカーマトリックスである場合には、式１５に示すように、加算器５０３で算出された総遅延Ｄtotal（ｒ，ｃ）を、で入力音響信号ｘ（ｎ）に適用することで、レンダリング用のマルチチャンネル信号ｙr,c（ｎ）を生成する。
【０１１４】
【数１５】
0005944403.tif 000016
（式１５）
【０１１５】
以上のように構成された音響レンダリング装置５０を用いてレンダリングされたステレオ信号（マルチチャンネル信号）をスピーカーアレイ５００に出力する。それにより、スピーカーアレイ５００の各スピーカー（音源）は、図７Ａまたは図７Ｂに示すように、一次波面と錯乱波面（一次波面）とが組み合わされた音響信号（マルチチャンネル信号）を再生することができる。
【０１１６】
以下、図６Ａ、図６Ｂおよび図８を用いて、音響レンダリング装置５０を用いてレンダリングされたステレオ信号がスピーカーアレイ５００で再生されたときの効果について具体的に説明する。なお、以下では、入力音響信号はステレオ信号として説明する。
【０１１７】
まず、スピーカーアレイ５００は、図６Ａおよび図６Ｂに示すように、所定方向に向けた一次波面６０１Ａおよび一次波面６０１Ｂを生成（波面合成）することで、ステレオ信号（左右の信号）を再生する。つまり、スピーカーアレイ５００は、例えば、図６Ａに示すように一次波面６０１Ａを少し右寄りに導くように波面合成した左の信号を再生する。また、スピーカーアレイ５００は、図６Ａに示すように一次波面６０１Ａを少し左寄りに導くように波面合成した右の信号を再生する。
【０１１８】
このような一次波面（基本波面）は、上述したように、スピーカーアレイ５００を構成する各スピーカー（各チャンネル）に対して適宜算出された第１の遅延が、各スピーカー（各チャンネル）に割り当てられるように入力音響信号に適用されることで、生成される。
【０１１９】
それにより、図８に示すように、スピーカーアレイ５００の中心（スイートスポット）からさらに遠くの位置に存在するリスナー６０１であっても、左右両方の信号を感知すなわちステレオ感を感知することができる。
【０１２０】
さらに、スピーカーアレイ５００は、錯乱波面を二次波面として合成するようステレオ信号を再生する。つまり、スピーカーアレイ５００は、図６Ａに示すような二次波面６０２Ａが錯乱波面となるように波面合成される左の信号を再生し、図６Ｂに示すような二次波面６０２Ｂが錯乱波面となるように波面合成される右の信号を再生する。
【０１２１】
このような二次波面（錯乱波面）は、上述したように適宜算出された第２の遅延が各チャンネルに割り当てられた入力音響信号に適用されることで、生成される。
【０１２２】
これにより、密度が高く込み合い、かつ、遅延された左右の信号再生音の多数がリスナー６０１の両耳に達することになる。これらが両耳に達したときに心地よいステレオ感や残響感を与えることになる。
【０１２３】
例えば、乱数値を用いて第２の遅延を算出することにより、リスナー６０１は、密度が高く込み合い、残響に似た音声を多数感知することができる。つまり、リスナーの位置に依存せずにリスナー６０１の臨場感を高めることができる。また、例えば、シュレーダー拡散体の数学的性質を用いて第２の遅延を算出することにより、リスナー６０１に対してより均等な音声拡散を実現することができる。つまり、リスナーの位置に依存せずにリスナー６０１に広がり感のある立体音像を提供することができる。
【０１２４】
このように、音響レンダリング装置５０は、第１の遅延により決定される所定の進行方向に伝搬される一次波面と、第２の遅延の影響により、密度が高く込み合い、遅延された音響信号を多数含むような錯乱波面となる二次波面とにレンダリングされたマルチチャンネル音響信号を生成することができる。それにより、マルチチャンネルスピーカーは、生成されたマルチチャンネル音響信号により、リスナーに、ステレオ感を高めた音響信号を再生することができる。さらに、エンベロープ感（包まれ感）も高めることができる。
【０１２５】
なお、一次波面と二次波面（錯乱波面）とは、時間とともに動的に変化されるとしてもよい。その場合には、ある波面から別の波面へ円滑に移行できるよう、遅延値又はマルチチャンネル音響信号のいずれかに平滑化を適用するとしてもよい。
【０１２６】
また、上述した式は、本発明の内容から逸脱することなく一般化することができるので、マルチチャンネルスピーカーを構成するスピーカーは、例えば平面上または３次元表面上に固定されてまたは動くように配置されるとしてもよい。
【０１２７】
また、上述した式において、定数はゼロでもよい。その場合、スピーカーアレイ５００と平行な平面波が生成される。入力音響信号がモノラルであれば同様の効果を奏するため、この場合も本発明の内容に含まれる。
【０１２８】
また、上記では、平面波または円形波が放射されるように音響が伝搬する一次波面を生成することにより、マルチチャンネルスピーカーの中心から離れたところにいるリスナーの方へも音響信号を導くことができることを説明したがそれに限らない。レンダリングされた別の無相関の音響信号と組み合わせて用いて位置に依存しないステレオ感を創出するとしてもよい。
【０１２９】
なお、本実施の形態は、装置として実現するだけでなく、その装置を構成する処理手段をステップとする方法として実現してもよい。以下、それについて簡単に説明する。
【０１３０】
図１０は、実施の形態１の音響レンダリング方法の処理を示すフローチャートである。
【０１３１】
本実施の形態の音響レンダリング装置５０は、まず、マルチチャンネルスピーカーの配置情報に基づいて、マルチチャンネルスピーカーを構成する複数のスピーカーそれぞれを音源として所定の進行方向に伝搬する一次波面に対応する第１の遅延を算出する（Ｓ１０１）。
【０１３２】
例えば、ステレオ信号の左信号および右信号をそれぞれ所定方向に伝搬させるための１次波面に対応する第１の遅延を算出する。つまり、スピーカーアレイまたはスピーカーマトリックスの各チャンネル（各スピーカー）に対する第１の遅延が算出され、算出された第１の遅延が対応する各チャンネル（各スピーカー）で実行（再生）されることで、上記の１次波面を生成することができる。
【０１３３】
次に、マルチチャンネルスピーカーの配置情報に基づいて、伝搬する一次波面により生成される二次波面であって錯乱波面を有する二次波面に対応する第２の遅延を算出する（Ｓ１０２）。
【０１３４】
例えば、Ｓ１０２で算出された第２の遅延をスピーカーアレイまたはスピーカーマトリックスの各チャンネル（各スピーカー）に割り当てられた入力音響信号に適用されることで、錯乱波面となる二次波面を生成することができる。
【０１３５】
次に、算出された第１の遅延および第２の遅延を加算することで総遅延を算出する（Ｓ１０３）。
【０１３６】
次に、入力音響信号に総遅延を適用することで、マルチチャンネルスピーカーでレンダリングを行うためのマルチチャンネル音響信号を生成する（Ｓ１０４）。そして、生成したマルチチャンネル音響信号をマルチチャンネルスピーカーに出力する。
【０１３７】
以上の方法により、再生する音響信号のステレオ感、包まれ感を高めることができるので、位置に依存せずにリスナーは拡散感や残響感も感知することができる。
【０１３８】
（実施の形態２）
実施の形態２では、入力音源を直接信号と拡散成分に分離し、実施の形態１の音響レンダリング装置に適用する場合について説明する。
【０１３９】
図１１は、実施の形態２の音響レンダリング装置の構成を示すブロック図である。
【０１４０】
図１１に示す音響レンダリング装置８０は、実施の形態１に対応する音響レンダリング装置５０ａに、さらに、音源分離器８０５と、直接成分レンダリング部８０６と、加算器８０７との構成が加えられている。
【０１４１】
音源分離器８０５は、入力音響信号を直接成分と拡散成分に分離する。
【０１４２】
ここで、入力音響信号がステレオ信号であるとして以下説明する。
【０１４３】
まず、ステレオ信号は、例えば式１６および式１７のようにモデリングできる。
【０１４４】
【数１６】
0005944403.tif 000017
（式１６）
【０１４５】
【数１７】
0005944403.tif 000018
（式１７）
【０１４６】
ここで、ｎはサンプル数、Ｌ（ｎ）はステレオ信号の左信号、Ｒ（ｎ）はステレオの右信号を示す。また、ｄは遅延を示し、αはステレオの左入力信号の係数の利得を示す。Ｄ（ｎ−ｄ）はステレオ信号の左信号の直接成分を、Ｄ（ｎ）はステレオ信号の右信号の直接成分を示す。Ｓｌ（ｎ）とＳｒ（ｎ）はそれぞれ、左信号および右信号両方の拡散成分を示す。
【０１４７】
そして、音源分離器８０５は、上記のようにモデリングされたステレオ信号のパラメータに基づいて誤差関数を定式化し、誤差関数を最小化することにより、同時に全てのパラメータα、ｄ、Ｄ（ｎ−ｄ）、Ｄ（ｎ）、Ｓｌ（ｎ）、Ｓｒ（ｎ）を解く。このようにして、音源分離器８０５は、解いたパラメータで直接成分と拡散成分とを推定することができる。
【０１４８】
つまり、音源分離器８０５は、上記のようなモデリングされたステレオ信号のパラメータを解くことで、入力音響信号を直接成分と拡散成分に分離する。
【０１４９】
なお、音源分離器８０５が音源分離する方法は上述した音源分離方法に限定されない。音源分離器８０５は、利用する入力音響信号の性質のため相互に無相関の拡散成分を生成することができればいずれの方法であってもよい。
【０１５０】
ここで、第１の遅延算出部５０１、第２の遅延算出部５０２、加算器５０３および遅延フィルタ５０４ａの動作はそれぞれ、実施の形態１で説明したとおりであるので説明を省略する。実施の形態１と異なる点は、遅延フィルタ５０４ａに入力される入力信号が音源分離器８０５により出力される入力音響信号の拡散成分である点である。
【０１５１】
すなわち、遅延フィルタ５０４ａは、音源分離器８０５により出力される入力音響信号の拡散成分に総遅延を適用する。
【０１５２】
直接成分レンダリング部８０６は、直接成分をレンダリングし、マルチチャンネルスピーカーを用いてレンダリングを行うための直接成分を生成する。
【０１５３】
つまり、直接成分レンダリング部８０６は、音源分離器８０５により出力される入力音響信号の直接成分をレンダリングする。なお、レンダリングする方法は、上述したビーム形成またはレイリー積分に基づいて行うことができるため、説明を省略する。
【０１５４】
加算器８０７は、第１加算部の一例であり、直接成分レンダリング部８０６からの出力と遅延フィルタ５０４からの出力とを加算することで、マルチチャンネルスピーカーでレンダリングを行うためのマルチチャンネル信号を生成し、マルチチャンネルスピーカーに出力する。
【０１５５】
具体的には、加算器８０７は、直接成分レンダリング部８０６の出力と遅延フィルタ５０４の出力とを加算することで、スピーカーアレイ５００に出力するマルチチャンネル信号を生成する。
【０１５６】
以上のように構成される音響レンダリング装置８０によれば、相互に無相関の拡散成分を利用して一次波面と錯乱波面とを生成することができるので、ステレオ感、包まれ感をさらに高めることができる。
【０１５７】
なお、本実施の形態は、実施の形態１の音響レンダリング装置と音源分離器との組み合わせ方を教示している。具体的には、本実施の形態では、音源分離器の拡散成分のみに対してレンダリングを行っている。それにより、音源分離器により相互に無相関の拡散成分を生成することができるので、立体音像（ステレオ感、包まれ感）の感知を大幅に高められるという効果を奏する。
【０１５８】
なお、本実施の形態では、任意数の直接成分と拡散成分に適用することができる。具体的には、マルチチャンネル音響信号のサブセットから直接成分と拡散成分とを抽出するとしてもよい。例えば、５．１チャンネルソースでは、音源分離器８０５は、フロントチャンネルのみを処理して直接成分と拡散成分とを生成するなどしてもよい。
【０１５９】
また、本実施の形態の変形例として、音源分離器８０５を用いず、全ての直接成分と拡散成分とが前処理された入力音響信号が入力されるとしてもよい。ここで、適用可能な前処理の例を以下に示すが、これらは全て本発明の範囲内である。
【０１６０】
（１）残響フィルタや極性反転器などにより、拡散成分を前処理してもよい。また、チャンネルごとに残響フィルタを変えるとしてもよい。これにより、特定の聴取場所において櫛形フィルタ効果が相殺される。
（２）さらに、櫛形フィルタ効果を軽減するため、櫛形フィルタリングの起こりやすいスペクトル領域を調整するとしてもよい。
（３）低周波と比較した際の、伝搬距離に対してより高速な高周波の減衰量を補償するための高周波化を行うとしてもよい。
【０１６１】
以上、本発明によれば、リスナーの位置に依存しないステレオ感を実現できる音響レンダリング装置および音響レンダリング方法を実現することができる。例えば、本発明の音響レンダリング装置および音響レンダリング方法を用いて音響信号をレンダリングしたマルチチャンネル音響信号を、スピーカーアレイまたはスピーカーマトリックスで再生した場合には、ステレオ感およびエンベロープ感（包まれ感）を高めることができ、リスナーの位置に依存しないステレオ感およびエンベロープ感（包まれ感）を実現できる。
【０１６２】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
【０１６３】
すなわち、このプログラムは、コンピュータに、前記マルチチャンネルスピーカーの配置情報に基づいて、前記マルチチャンネルスピーカーを構成する複数のスピーカーそれぞれを音源として所定の進行方向に伝搬する一次波面に対応する第１の遅延を算出する第１算出ステップと、前記マルチチャンネルスピーカーの配置情報に基づいて、前記一次波面により生成される二次波面であって錯乱波面に波面合成される二次波面に対応する第２の遅延を算出する第２算出ステップと、前記第１の遅延と前記第２の遅延とを加算することで総遅延を算出する加算ステップと、入力音響信号に前記総遅延を適用することで、前記マルチチャンネルスピーカーでレンダリングを行うためのマルチチャンネル音響信号を生成し、前記マルチチャンネルスピーカーに出力する総遅延適用ステップと、を含む音響レンダリング方法を実行させる。
【０１６４】
以上、本発明の一つまたは複数の態様に係る音響レンダリング装置および音響レンダリング方法等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０１６５】
本発明は、一体化されたスピーカーアレイ／マトリックスや取り付け可能なスピーカーアレイ／マトリックスの付属品などを備えるサウンドバー、テレビ、パソコン、携帯電話、タブレット型装置など、マルチチャンネルスピーカーアレイ／マトリックスを用いるか備える幅広いアプリケーションに利用できる。
【符号の説明】
【０１６６】
１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、５００  スピーカーアレイ
１１  一次音源
１２  仮想音源
２１、３１  左仮想音源
２２、３２  右仮想音源
５０、５０ａ、８０  音響レンダリング装置
２０１、２０２、３０１、４０１、４０２、６０１、６０２  リスナー
３００、８０５  音源分離器
５０１  第１の遅延算出部
５０２  第２の遅延算出部
５０３、８０７  加算器
５０４、５０４ａ  遅延フィルタ
６０１Ａ、６０１Ｂ  一次波面
６０２Ａ、６０２Ｂ  二次波面
８０６  直接成分レンダリング部
【図１Ａ】
0005944403.tif 000019
【図１Ｂ】
0005944403.tif 000020
【図２】
0005944403.tif 000021
【図３Ａ】
0005944403.tif 000022
【図３Ｂ】
0005944403.tif 000023
【図４】
0005944403.tif 000024
【図５】
0005944403.tif 000025
【図６Ａ】
0005944403.tif 000026
【図６Ｂ】
0005944403.tif 000027
【図７Ａ】
0005944403.tif 000028
【図７Ｂ】
0005944403.tif 000029
【図８】
0005944403.tif 000030
【図９Ａ】
0005944403.tif 000031
【図９Ｂ】
0005944403.tif 000032
【図１０】
0005944403.tif 000033
【図１１】
0005944403.tif 000034