(57)【特許請求の範囲】
【請求項１】
少なくとも一つの音声出力部であって、各々が複数のスピーカユニットを有し、前記音声出力部において、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置されている音声出力部と、
入力された音声信号に基づいて、各スピーカユニットから出力される音声信号を生成するレンダリング処理を実行する音声信号レンダリング部と、
を備え、
前記音声信号レンダリング部は、入力された音声信号に含まれる第１の音声信号に対して、第１のレンダリング処理を実行し、入力された音声信号に含まれる第２の音声信号に対して、第２のレンダリング処理を実行し、
第１のレンダリング処理は、第２のレンダリング処理よりも定位感を強調するレンダリング処理であり、
前記音声信号レンダリング部は、第１のレンダリング処理を行う場合、第１の音声信号における発音オブジェクトの位置と、当該発音オブジェクトを挟む直近の２つの前記音声出力部のユーザ位置に対する成す角とに基づいて、各スピーカユニットを切り替えて音声信号を出力することを特徴とするスピーカシステム。
【請求項２】
各音声出力部が有する複数のスピーカユニットには、音像定位感を強調する目的を有するスピーカユニットと、音像定位感を強調する目的を有しないスピーカユニットとが含まれることを特徴とする請求項１に記載のスピーカシステム。
【請求項３】
前記音像定位感を強調する目的を有するスピーカユニットは、ユーザ側を向いたスピーカユニットであり、前記音像定位感を強調する目的を有しないスピーカユニットは、ユーザ側を向いていないスピーカユニットであることを特徴とする請求項２に記載のスピーカシステム。
【請求項４】
少なくとも一つの音声出力部であって、各々が複数のスピーカユニットを有し、前記音声出力部において、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置されている音声出力部と、
入力された音声信号に基づいて、各スピーカユニットから出力される音声信号を生成するレンダリング処理を実行する音声信号レンダリング部と、
各スピーカユニットの位置情報を取得するスピーカ位置情報取得部と、
を備え、
各音声出力部が有する複数のスピーカユニットには、音像定位感を強調する目的を有するスピーカユニットと、音像定位感を強調する目的を有しないスピーカユニットとが含まれ、
前記音声信号レンダリング部は、入力された音声信号に含まれる第１の音声信号に対して、第１のレンダリング処理を実行し、入力された音声信号に含まれる第２の音声信号に対して、第２のレンダリング処理を実行し、
第１のレンダリング処理は、第２のレンダリング処理よりも定位感を強調するレンダリング処理であり、
前記第１のレンダリング処理は、前記複数のスピーカユニットのうちユーザ側を向いたスピーカユニットを使用し、
前記音声信号レンダリング部は、第１のレンダリング処理を行う場合、前記各スピーカユニットの位置情報と、第１の音声信号における発音オブジェクトの位置とに基づいて、前記音像定位感を強調する目的を有するスピーカユニットから音声信号を出力する音像定位強調レンダリング処理と、前記音像定位感を強調する目的を有しないスピーカユニットから音声信号を出力する音像定位補完レンダリング処理と、を切り替えて実行することを特徴とするスピーカシステム。
【請求項５】
前記音声信号レンダリング部は、第１のレンダリング処理を行う場合、音圧パンニングを実行することを特徴とする請求項４に記載のスピーカシステム。
【請求項６】
前記音声信号レンダリング部は、第２のレンダリング処理を行う場合、前記音像定位感を強調する目的を有しないスピーカユニットから音声信号を出力することを特徴とする請求項２〜５の何れか一項に記載のスピーカシステム。
【請求項７】
前記音声信号レンダリング部は、第２のレンダリング処理を行う場合、前記音像定位感を強調する目的を有しないスピーカユニットから同じ音声信号を出力することを特徴とする請求項６に記載のスピーカシステム。
【請求項８】
各音声出力部は、当該音声出力部が有する各スピーカユニットの向きを検出する方向検知部を更に備え、
前記音声信号レンダリング部は、前記方向検知部が検出した各スピーカユニットの向きに基づいて、第１のレンダリング処理および第２のレンダリング処理において使用するスピーカユニットを選択することを特徴とする請求項１〜７の何れか一項に記載のスピーカシステム。
【請求項９】
前記音声信号レンダリング部は、入力された音声信号に含まれるオブジェクトベースの音声信号を第１の音声信号とし、入力された音声信号に含まれるチャネルベースの音声信号を第２の音声信号とすることを特徴とする請求項１〜８の何れか一項に記載のスピーカシステム。
【請求項１０】
前記音声信号レンダリング部は、隣り合うチャネルの相関に基づいて、入力された音声信号から、第１の音声信号および第２の音声信号を識別することを特徴とする請求項１〜８の何れか一項に記載のスピーカシステム。
【請求項１１】
前記音声信号レンダリング部は、ユーザからの入力操作に基づいて、レンダリング処理を選択することを特徴とする請求項１〜８の何れか一項に記載のスピーカシステム。
【請求項１２】
前記第１のレンダリング処理は、前記複数のスピーカユニットのうちユーザ側を向いたスピーカユニットを使用することを特徴とする請求項１〜１１の何れか一項に記載のスピーカシステム。
【請求項１３】
入力された音声信号に基づいて、少なくとも一つの音声出力部であって、各々が複数のスピーカユニットを有し、各音声出力部において、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置されている音声出力部のスピーカユニットから出力される音声信号を生成するレンダリング処理を実行する音声信号レンダリング部を備え、
前記音声信号レンダリング部は、入力された音声信号に含まれる第１の音声信号に対して、第１のレンダリング処理を実行し、入力された音声信号に含まれる第２の音声信号に対して、第２のレンダリング処理を実行し、
第１のレンダリング処理は、第２のレンダリング処理よりも定位感を強調するレンダリング処理であり、
前記音声信号レンダリング部は、第１のレンダリング処理を行う場合、第１の音声信号における発音オブジェクトの位置と、当該発音オブジェクトを挟む直近の２つの前記音声出力部のユーザ位置に対する成す角とに基づいて、各スピーカユニットを切り替えて音声信号を出力することを特徴とする音声信号レンダリング装置。
【請求項１４】
請求項１３に記載の音声信号レンダリング装置としてコンピュータを機能させるための音声信号レンダリングプログラムであって、上記音声信号レンダリング部としてコンピュータを機能させるための音声信号レンダリングプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、マルチチャネル音声信号を再生する技術に関する。
【背景技術】
【０００２】
近年、放送波、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray（登録商標） Disc）などのディスクメディア、インターネットなどを介して、ユーザは、マルチチャネル音声（サラウンド音声）を含むコンテンツを簡単に入手できるようになっている。映画館等においては、Ｄｏｌｂｙ  Ａｔｍｏｓに代表されるオブジェクトベースオーディオによる立体音響システムが多く配備され、更に日本国内においては、次世代放送規格に２２．２ｃｈオーディオが採用されるなど、ユーザがマルチチャネルコンテンツに触れる機会は格段に多くなった。【０００３】
従来のステレオ方式の音声信号に関しても、様々なマルチチャネル化手法が検討されており、ステレオ信号の各チャネル間の相関に基づいてマルチチャネル化する技術が、例えば特許文献２に開示されている。【０００４】
マルチチャネル音声を再生するシステムについても、映画館やホールのような大型音響設備が配された施設でなくても、家庭などで手軽に楽しめるようなシステムが一般的となりつつある。ユーザ（視聴者）は、国際電気通信連合（International Telecommunication Union：ITU）が推奨する配置基準（非特許文献１を参照）に基づいて、複数のスピーカを配置することによって、５．１ｃｈや７．１ｃｈなどのマルチチャネル音声を聴取する環境を家庭内に構築することができる。また、少ないスピーカ数で、マルチチャネルの音像定位を再現する手法なども研究されている（非特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国公開特許公報「特開２００６−３１９８２３号公報」
【特許文献２】日本国公開特許公報「特開２０１３−０５５４３９号公報」
【非特許文献】
【０００６】
【非特許文献１】ITU-R BS.775-1
【非特許文献２】Virtual Sound Source Positioning Using Vector Base AmplitudePanning, VILLE PULKKI, J. Audio. Eng., Vol. 45, No. 6, 1997 June
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１では、マルチチャネル再生のためのスピーカ配置位置について、汎用的なものが開示されているため、ユーザの視聴環境によってはこれを満たすことができない場合がある。図２Ａに示すように、ユーザＵの正面を０°、ユーザの右位置、左位置を各々９０°、−９０°とするような座標系で示すと、例えば、非特許文献１に記載されている５．１ｃｈでは、図２Ｂに示すように、ユーザＵを中心とした同心円上のユーザ正面にセンターチャネル２０１を配置し、フロントライトチャネル２０２、フロントレフトチャネル２０３を各々３０°、−３０°の位置に配置し、サラウンドライトチャネル２０４、サラウンドレフトチャネル２０５を各々１００°〜１２０°、−１００°〜−１２０°の範囲内に配置することを推奨している。なお、各々の位置に配置された各チャネル再生用のスピーカは、基本的に正面がユーザ側を向くように配置される。【０００８】
なお、本明細書では、図２Ｂの「２０１」に示すような、台形形状と四角形状を組み合わせた図形は、スピーカユニットを示すものとする。本来、スピーカはスピーカユニットとこれを取り付ける箱であるエンクロージャを組み合わせて構成されるが、本明細書では、説明を分かりやすくするため、特に断りが無い限り、スピーカのエンクロージャは図示しない。【０００９】
しかしながら、ユーザの視聴環境、例えば部屋の形状や家具の配置によってはスピーカを推奨位置に配することができない場合があり、このことによって、マルチチャネル音声の再生結果が、ユーザの意図しないものとなる場合がある。【００１０】
図３を用いて詳細に説明する。任意の推奨配置とこれに基づいてレンダリングされた任意のマルチチャネル音声があるものとする。マルチチャネル音声は特定の位置、例えば図３Ａに示す３０３の位置に音像を定位させようとする場合、基本的にこの音像３０３を挟むスピーカ３０１と３０２を用いた虚像（ファントム）を作ることで再現する。虚像は、虚像を作るスピーカの音圧バランスを調整することによって、基本的にこのスピーカを結ぶ直線が現れる側に作ることが可能である。この際、スピーカ３０１と３０２が推奨配置位置に配置されていた場合は、同じ推奨配置を前提に作成されたマルチチャネル音声では、正しく３０３の位置に虚像を作ることができる。【００１１】
一方、図３Ｂに示すように、本来３０２の位置に配すべきスピーカが、部屋の形状や家具の配置等の制約で、推奨配置位置から大きく外れた位置３０５に配された場合を考える。スピーカ３０１と３０５の組では、想定通りの虚像は作られず、ユーザにはスピーカ３０１と３０５を結んだ直線が現れる側のいずれかの位置、例えば３０６の位置に音像が定位するように聞こえてしまう。【００１２】
これらの課題を解決するため、特許文献１には、配置されたスピーカ各々から発音し、その音声をマイクで取得し、解析することで得られた特徴量を出力音声にフィードバックすることで、実際のスピーカ配置位置の推奨位置からのずれを補正する手法が明らかにされている。しかし、特許文献１に記載されている技術の音声補正手法では、図３を用いて示したように、虚像が左右全く反対側に作られるほどの位置のずれがあるケースについては考慮されておらず、良好な音声補正結果を得られるとは限らない。【００１３】
また、一般的な５．１ｃｈなどのホームシアター用音響設備は、各チャネルに１本のスピーカを用い、音響軸をユーザの視聴位置に向けて配置する「ダイレクトサラウンド」と呼ばれる方式が用いられている。この方式では、音像の定位は比較的明確になるが、音の定位位置がスピーカの位置に限定される上、音の広がり感や包まれ感に関しても、映画館等で用いられるような、より多くの音響拡散用スピーカを用いたディフューズサラウンド方式には劣ってしまう。【００１４】
本発明の一態様は、上記の問題を解決するためになされたものであり、ユーザによるスピーカの配置に応じて、音像定位および音響拡散の両方の機能を備えたレンダリング手法を自動で算出し、音声再生を行うことができるスピーカシステムおよびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記の目的を達成するために、本発明の一態様は、以下のような手段を講じた。すなわち、本発明の一態様のスピーカシステムは、少なくとも一つの音声出力部であって、各々が複数のスピーカユニットを有し、各音声出力部において、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置されている音声出力部と、入力された音声信号に基づいて、各スピーカユニットから出力される音声信号を生成するレンダリング処理を実行する音声信号レンダリング部と、を備え、前記音声信号レンダリング部は、入力された音声信号に含まれる第１の音声信号に対して、第１のレンダリング処理を実行し、入力された音声信号に含まれる第２の音声信号に対して、第２のレンダリング処理を実行し、第１のレンダリング処理は、第２のレンダリング処理よりも定位感を強調するレンダリング処理である。
【発明の効果】
【００１６】
本発明の一態様によれば、ユーザが配したスピーカの配置に応じて、音像定位および音響拡散の両方の機能を備えたレンダリング手法を自動で算出し、音の定位感および音への包まれ感を両立した音声をユーザに届けることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係るスピーカシステムの要部構成を示すブロック図である。
【図２Ａ】座標系を示す図である。
【図２Ｂ】座標系とチャネルを示す図である。
【図３Ａ】音像とこれを作り出すスピーカの例を示した図である。
【図３Ｂ】音像とこれを作り出すスピーカの例を示した図である。
【図４】本発明の第１の実施形態に係るスピーカシステムで使用するトラック情報の例を示した図である。
【図５Ａ】本発明の第１の実施形態における隣り合うチャネルのペアの例を示した図である。
【図５Ｂ】本発明の第１の実施形態における隣り合うチャネルのペアの例を示した図である。
【図６】仮想音像位置の算出結果を示す模式図である。
【図７Ａ】モデル化された視聴部屋情報の例を示した図である。
【図７Ｂ】モデル化された視聴部屋情報の例を示した図である。
【図８】本発明の第１の実施形態に係るスピーカシステムの処理フローを示した図である。
【図９Ａ】トラックの位置とこれを挟む２つのスピーカの例を示す図である。
【図９Ｂ】トラックの位置とこれを挟む２つのスピーカの例を示す図である。
【図１０】本実施形態に係るスピーカシステムで、演算に使用されるベクトルベースの音圧パンニングの概念を示した図である。
【図１１Ａ】本発明の第１の実施形態に係るスピーカシステムの音声出力部の形状の一例を示した図である。
【図１１Ｂ】本発明の第１の実施形態に係るスピーカシステムの音声出力部の形状の一例を示した図である。
【図１１Ｃ】本発明の第１の実施形態に係るスピーカシステムの音声出力部の形状の一例を示した図である。
【図１１Ｄ】本発明の第１の実施形態に係るスピーカシステムの音声出力部の形状の一例を示した図である。
【図１１Ｅ】本発明の第１の実施形態に係るスピーカシステムの音声出力部の形状の一例を示した図である。
【図１２Ａ】本発明の第１の実施形態に係るスピーカシステムの音声レンダリング手法を示す模式図である。
【図１２Ｂ】本発明の第１の実施形態に係るスピーカシステムの音声レンダリング手法を示す模式図である。
【図１２Ｃ】本発明の第１の実施形態に係るスピーカシステムの音声レンダリング手法を示す模式図である。
【図１３】本発明の第１の実施形態に係るスピーカシステムの変形例の概略構成を示すブロック図である。
【図１４】本発明の第１の実施形態に係るスピーカシステムの変形例の概略構成を示すブロック図である。
【図１５】本発明の第３の実施形態に係るスピーカシステムの要部構成を示すブロック図である。
【図１６】ユーザと音声出力部との位置関係を示す図である。
【発明を実施するための形態】
【００１８】
本発明者らは、音像が左右全く反対側に生成されるほどスピーカユニットの位置にずれがある場合は、従来の技術では良好な音声補正効果が得られず、また、従来のダイレクトサラウンド方式だけでは、映画館等で用いられるようなディフューズサラウンド方式のような多くの音響拡散効果を得ることができない点に着目し、マルチチャネル音声信号の音声トラックの種別に応じて、複数種類のレンダリング処理を切り替えて実行することによって、音像定位および音響拡散の両方の機能を実現させることができることを見出し、本発明に至った。
【００１９】
すなわち、本発明の一態様のスピーカシステムは、マルチチャネル音声信号を再生するスピーカシステムであって、複数のスピーカユニットを有し、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置された音声出力部と、入力されたマルチチャネル音声信号の音声トラック毎に、音声トラックの種別を識別する解析部と、前記各スピーカユニットの位置情報を取得するスピーカ位置情報取得部と、前記音声トラックの種別に応じて、第１のレンダリング処理または第２のレンダリング処理のいずれか一方を選択し、前記取得したスピーカユニットの位置情報を用いて、前記選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行する音声信号レンダリング部と、を備え、前記音声出力部は、前記第１のレンダリング処理または前記第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力する。
【００２０】
これにより、本発明者らは、ユーザによるスピーカの配置に応じて、音像定位および音響拡散の両方の機能を備えたレンダリング手法を自動で算出し、音の定位感および音への包まれ感を両立した音声をユーザに届けることを可能とした。以下、本発明の実施形態について図面を参照して説明する。なお、本明細書において、スピーカとは、ラウドスピーカ（Loudspeaker）のことを意味している。また、本明細書では、図２Ｂの「２０１」に示すような、台形形状と四角形状を組み合わせた図形は、スピーカユニットを示すものとし、特に断りが無い限り、スピーカのエンクロージャは図示しない。なお、スピーカシステムから音声出力部を除いた構成を、音声信号レンダリング装置と称する。
【００２１】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係るスピーカシステム１の概略構成を示すブロック図である。第１の実施形態に係るスピーカシステム１は、再生するコンテンツの特徴量を解析し、同時にスピーカシステムの配置位置を加味することで、これらに基づいた好適な音声レンダリングを行い再生するシステムである。図１に示すように、コンテンツ解析部１０１ａは、ＤＶＤやＢＤなどのディスクメディア、ＨＤＤ（Hard Disc Drive）等に記録されている映像コンテンツ乃至音声コンテンツに含まれる音声信号やこれに付随するメタデータを解析する。記憶部１０１ｂは、コンテンツ解析部１０１ａで得られた解析結果や後述するスピーカ位置情報取得部１０２から取得された情報、コンテンツ解析等に必要な各種パラメータを記憶する。スピーカ位置情報取得部１０２は、現在のスピーカ配置位置を取得する。
【００２２】
音声信号レンダリング部１０３は、コンテンツ解析部１０１ａとスピーカ位置情報取得部１０２から取得された情報に基づき、各々のスピーカ用に入力音声信号を適宜レンダリングし再合成する。音声出力部１０５は、複数のスピーカユニットを有し、信号処理が施された音声信号を物理振動として出力する。
【００２３】
［コンテンツ解析部１０１ａ］
コンテンツ解析部１０１ａは、再生するコンテンツに含まれる音声トラックとこれに付随する任意のメタデータを解析し、その情報を音声信号レンダリング部１０３に送る。本実施形態では、コンテンツ解析部１０１ａが受け取る再生コンテンツは１つ以上の音声トラックを含むコンテンツであるものとする。また、この音声トラックは、大きく２種類に分類し、ステレオ（２ｃｈ）や５．１ｃｈなどに採用されている「チャネルベース」の音声トラックか、個々の発音オブジェクト単位を１トラックとし、このトラックの任意の時刻における位置的・音量的変化を記述した付随情報を付与した「オブジェクトベース」の音声トラックのいずれかであるものとする。
【００２４】
オブジェクトベースの音声トラックの概念について説明する。オブジェクトベースに基づく音声トラックは個々の発音オブジェクト単位で各トラックに記録、すなわち、ミキシングせずに記録しておき、プレイヤー（再生機）側でこれら発音オブジェクトを適宜レンダリングするものである。各々の規格において差はあるものの、一般的には、これら発音オブジェクトには各々、いつ、どこで、どの程度の音量で発音されるべきかといったメタデータ（付随情報）が紐づけられており、プレイヤーはこれに基づいて個々の発音オブジェクトをレンダリングする。
【００２５】
他方、チャネルベーストラックは、従来のサラウンド等で採用されているものであり、予め規定された再生位置（スピーカの配置）から発音される前提で、個々の発音オブジェクトをミキシングした状態で記録されたトラックである。
【００２６】
コンテンツ解析部１０１ａは、コンテンツに含まれる音声トラック全てを解析し、図４に示すような、トラック情報４０１として再構成するものとする。トラック情報４０１には、各音声トラックのＩＤと、その音声トラックの種別が記録されている。更に音声トラックがオブジェクトベースのトラックである場合、このメタデータを解析し、再生時刻とその時刻での位置のペアで構成される、１つ以上の発音オブジェクト位置情報を記録する。
【００２７】
他方、トラックがチャネルベーストラックであった場合、トラックの再生位置を示す情報として、出力チャネル情報を記録する。出力チャネル情報は、予め規定された任意の再生位置情報と紐づけられている。本実施例では、具体的な位置情報（座標など）をトラック情報４０１には記録せず、例えばチャネルベーストラックの各再生位置情報が記憶部１０１ｂに記録されているものとし、位置情報が必要になった時点で、出力チャネル情報に紐づけられた具体的な位置情報を適宜記憶部１０１ｂから読み出すものとする。もちろん、具体的な位置情報をトラック情報４０１に記録する形としても良いことは言うまでもない。
【００２８】
また、ここで、発音オブジェクトの位置情報は図２Ａに示した座標系で表現されるものとする。また、トラック情報４０１は例えばコンテンツ内ではＸＭＬ（Extensible Markup Language）のようなマークアップ言語で記述されているものとする。コンテンツに含まれる音声トラック全てを解析し終えた後、コンテンツ解析部１０１ａは、作成したトラック情報４０１を音声信号レンダリング部１０３に送るものとする。
【００２９】
なお、本実施形態では、説明をより分かりやすくするため、発音オブジェクトの位置情報を図２Ａに示した座標系、すなわちユーザを中心とした同心円上に発音オブジェクトが配されるものと想定し、その角度のみを使用する座標系で表わしたが、これ以外の座標系で位置情報を表現しても良いことは言うまでもない。例えば、２次元乃至３次元の直交座標系や極座標系を用いても良い。
【００３０】
［記憶部１０１ｂ］
記憶部１０１ｂは、コンテンツ解析部１０１ａで用いられる種々のデータを記録するための二次記憶装置によって構成される。記憶部１０１ｂは、例えば、磁気ディスク、光ディスク、フラッシュメモリなどによって構成され、より具体的な例としては、ＨＤＤ、ＳＳＤ（Solid State Drive）、ＳＤメモリーカード、ＢＤ、ＤＶＤなどが挙げられる。コンテンツ解析部１０１ａは、必要に応じて記憶部１０１ｂからデータを読み出す。また、解析結果を含む各種パラメータデータを、記憶部１０１ｂに記録することもできる。
【００３１】
［スピーカ位置情報取得部１０２］
スピーカ位置情報取得部１０２は、後述する音声出力部１０５（スピーカ）各々の配置位置を取得する。スピーカ位置は、例えば、図７Ａに示すように、予めモデル化された視聴部屋情報７を、タブレット端末等を通じて提示し、図７Ｂに示すように、ユーザ位置７０１、スピーカ位置７０２、７０３、７０４、７０５、７０６を入力させるものとし、ユーザ位置を中心とした図２Ａに示す座標系の位置情報として取得する。
【００３２】
また、他の取得方法として、部屋の天井に設置されたカメラで撮影された画像から画像処理（例えば、音声出力部１０５上部にマーカを付しておき、これを認識させる）によって音声出力部１０５位置を自動算出するようにしても良いし、特許文献１などに示されるように各々の音声出力部１０５から任意の信号を発音するものとして、この音声をユーザの視聴位置に配した１個〜複数個のマイクで計測し、発音時間と実計測時間のずれ等からその位置を計算させるようにしても良い。
【００３３】
本実施形態では、スピーカ位置情報取得部１０２をシステムに含める形として説明を行うが、図１３のスピーカシステム１４に示すように、スピーカ位置情報取得部１４０１を外部のシステムから取得するように構成しても良い。また、スピーカ位置が予め任意の既知の場所におかれるものとして、図１４のスピーカシステム１５に示すように、スピーカ位置情報取得部を省いた構成にしても良い。この場合、スピーカ位置は記憶部１０１ｂに予め記録されているものとする。
【００３４】
［音声出力部１０５］
音声出力部１０５は、音声信号レンダリング部１０３で処理された音声信号を出力する。図１１Ａ〜Ｅでは、それぞれにおいて、紙面に対して上側がスピーカエンクロージャ（筐体）の斜視図を表し、スピーカユニットを二重丸で表している。また、図１１Ａ〜Ｅの紙面に対して下側がスピーカユニットの位置関係を概念として示す平面図であり、スピーカユニットの配置を示している。図１１Ａ〜Ｅに示すように、音声出力部１０５は、少なくとも２つ以上のスピーカユニット１２０１を備え、そのうち１つ以上のスピーカユニットが他のスピーカユニットと異なる方向を向くように配されている。例えば図１１Ａに示すように、底面が台形形状の四角柱型のスピーカエンクロージャ（筐体）の３面にスピーカユニットを配するようにしても良いし、図１１Ｂに示すように、六角柱形状や図１１Ｃに示すように、三角柱形状のスピーカエンクロージャに各々ユニットを６個、３個配するようにしても良い。また、図１１Ｄに示すように、上方向に向けたスピーカユニット１２０２（二重丸で表示）を配しても良いし、図１１Ｅに示すように、スピーカユニット１２０３と１２０４とが同一方向を向き、１２０５がこれらとは異なる方向を向くように配しても良い。
【００３５】
本実施形態では、音声出力部１０５の形状並びにスピーカユニット個数、配置方向は、既知の情報として予め記憶部１０１ｂに記録されているものとする。
【００３６】
また、音声出力部１０５の正面方向も予め決定しておき、正面方向を向くスピーカユニットを「音像定位感強調用スピーカユニット」、それ以外のスピーカユニットを「包まれ感強調用スピーカユニット」とし、この情報も既知の情報として記憶部１０１ｂに記憶させておくものとする。
【００３７】
なお、本実施形態では、「音像定位感強調用スピーカユニット」および「包まれ感強調用スピーカユニット」のいずれも、ある程度の指向性を持ったスピーカユニットとして説明を行っているが、特に「包まれ感強調用スピーカユニット」に関しては、無指向性のスピーカユニットを使用しても良い。また、ユーザが音声出力部１０５を任意の場所に配する場合は、この予め決定されている正面方向がユーザ側を向くように配置するものとする。
【００３８】
本実施形態では、ユーザ側を向く音像定位感強調用スピーカユニットはユーザに明瞭な直達音を届けることができることから、主に音像の定位を強調する音声信号を出力するものと定義する。一方、ユーザとは異なる方向を向く、「包まれ感強調用スピーカユニット」は、壁や天井等の反射を利用してユーザに音を拡散して届けることができることから、主に音への包まれ感や広がり感を強調する音声信号を出力するもの、と定義する。
【００３９】
［音声信号レンダリング部１０３］
音声信号レンダリング部１０３は、コンテンツ解析部１０１ａで得られたトラック情報４０１と、スピーカ位置情報取得部１０２で得られた音声出力部１０５の位置情報に基づき、各音声出力部１０５から出力される音声信号を構築する。
【００４０】
次に、音声信号レンダリング部の動作について、図８に示すフローチャートを用いて詳細に説明する。音声信号レンダリング部１０３が任意の音声トラックとその付随情報を受け取ると、処理が開始され（ステップＳ１０１）、コンテンツ解析部１０１ａで得られたトラック情報４０１を参照し、音声信号レンダリング部１０３に入力された各トラックの種別によって処理を分岐させる（ステップＳ１０２）。トラック種別がチャネルベースである場合（ステップＳ１０２においてＹＥＳ）、包まれ感強調レンダリング処理（後述）を行い（ステップＳ１０５）、全てのトラックに対して処理が行われたかを確認し（ステップＳ１０７）、未処理トラックがあれば（ステップＳ１０７においてＮＯ）、そのトラックに対して、再度ステップＳ１０２からの処理を適用する。ステップＳ１０７において、音声信号レンダリング部１０３が受け取ったすべてのトラックに対して処理が完了している場合は（ステップＳ１０７においてＹＥＳ）、処理を終了する（ステップＳ１０８）。
【００４１】
一方、ステップＳ１０２において、トラック種別がオブジェクトベースである場合（ステップＳ１０２においてＮＯ）、このトラックの現在時刻での位置情報を、トラック情報４０１を参照して取得し、取得したトラックを挟む位置関係となる直近のスピーカを２つ、スピーカ位置情報取得部１０２で得られた音声出力部１０５の位置情報を参照して選定する（ステップＳ１０３）。
【００４２】
図９Ａに示すように、トラックにおける発音オブジェクトの位置１００３とこれを挟む直近の２つのスピーカが１００１、１００２に位置するとき、スピーカ１００１、１００２が成す角をαとして求め、これが１８０°未満であるかどうかを判断する（ステップＳ１０４）。αが１８０°未満である場合（ステップＳ１０４においてＹＥＳ）、音像定位強調レンダリング処理（後述）が行われる（ステップＳ１０６ａ）。図９Ｂに示すように、トラックにおける発音オブジェクトの位置１００５とこれを挟む直近の２つのスピーカが１００４、１００６に位置し、２つのスピーカ１００４、１００６の成す角αが１８０°以上である場合（ステップＳ１０４においてＮＯ）、音像定位補完レンダリング（後述）が行われる（ステップＳ１０６ｂ）。
【００４３】
なお、音声信号レンダリング部１０３が一度に受け取る音声トラックはコンテンツの開始から終わりまですべてのデータを含める形としても良いが、任意の単位時間の長さに裁断し、この単位で図８に示すフローチャートに示した処理を繰り返しても良いことは言うまでもない。
【００４４】
音像定位強調レンダリング処理は、音声コンテンツ中の音像定位感に関わるトラックに関して適用される処理である。より具体的には、音声出力部１０５の音像定位感強調用スピーカユニット、すなわちユーザ側を向いたスピーカユニットを使用することで、より明瞭に音声信号をユーザに届け、音像の定位を感じやすくする（図１２Ａ）。本レンダリング処理を行うトラックについては、トラックとこれを挟む直近の２つのスピーカの位置関係から、ベクトルベースの音圧パンニングで出力を行うものとする。
【００４５】
以下、ベクトルベースの音圧パンニングについて詳しく説明する。今、図１０に示すように、コンテンツ中の１つのトラックの、ある時間における位置が１１０３であるとする。また、スピーカ位置情報取得部１０２で取得されたスピーカの配置位置が発音オブジェクトの位置１１０３を挟むように１１０１と１１０２に指定されていた場合、例えば参考文献２に示されるような、これらスピーカを用いたベクトルベースの音圧パンニングで発音オブジェクトを位置１１０３に再現する。具体的には視聴者１１０７に対し、発音オブジェクトから発せられる音の強さを、ベクトル１１０５で表したとき、このベクトルを視聴者１０７と位置１１０１に位置するスピーカ間のベクトル１１０４と、視聴者１１０７と位置１１０２に位置するスピーカ間のベクトル１１０６に分解し、この時のベクトル１１０５に対する比を求める。
【００４６】
すなわち、ベクトル１１０４とベクトル１１０５の比をｒ１、ベクトル１１０６とベクトル１１０５の比をｒ２とすると、これらは各々、
r1 = sin(θ2) / sin(θ1+θ2)
r2 = cos(θ2) - sin(θ2) / tan(θ1+θ2)
で表すことができる。
但し、θ１はベクトル１１０４と１１０５の成す角、θ２はベクトル１１０６と１１０５の成す角である。
【００４７】
求めた比を発音音声から発せられる音声信号に掛け合わせたものを、各々１１０１と１１０２に配置されたスピーカから再生することで、発音オブジェクトがあたかも位置１１０３から再生されているように、視聴者に知覚させることができる。以上の処理を、すべての発音オブジェクトに対して行うことで、出力音声信号を生成することができる。
【００４８】
音像定位補完レンダリング処理も、音声コンテンツ中の音像定位感に関わるトラックに関して適用される処理である。しかし、図１２Ｂに示すように、音像とスピーカの位置関係から、所望の位置に音像定位感強調用スピーカユニットで音像を作り出すことができない。すなわち、図３を用いて説明したように、このケースでは前記音像定位強調レンダリング処理を適用すると、ユーザの左側に音像が定位してしまう。
【００４９】
本実施形態では、このような場合に、「包まれ感強調用スピーカユニット」を用いて音像の定位を疑似的に作り出す。ここで使用する、「包まれ感強調用スピーカユニット」は、既知のスピーカユニットの向き情報から選定を行い、これらユニットを用いて前述のベクトルベースの音圧パンニングで音像を作り出すものとする。対象となるスピーカユニットは、図１２Ｃに示すように、音声出力部１３０４を例にとると、音声出力部の正面方向、すなわちユーザ方向を０°として図２に示した座標系を適用し、音声出力部１３０３と１３０４を結んだ直線との成す角をβ１、各「包まれ感強調用スピーカユニット」の向く方向と成す角を各々β２、β３とするとき、β１と異なる正負符号の角度β３に位置する「包まれ感強調用スピーカユニット」を選定するものとする。
【００５０】
包まれ感強調レンダリング処理は、音声コンテンツ中の音像定位感にはあまり寄与しない、音への包まれ感や広がり感を強調するトラックに関して適用される処理である。本実施形態では、チャネルベースのトラックには、音像の定位にかかわる音声信号は含まれておらず、音への包まれ感や広がり感に寄与する音声が含まれているものと判断し、チャネルベースのトラックに関しては、包まれ感強調レンダリング処理を適用する。本処理では、対象となるトラックに予め設定された任意の係数aを掛け合わせ、任意の音声出力部１０５の「包まれ感強調用スピーカユニット」全てから出力するようにする。ここで、出力対象となる音声出力部１０５は、該当トラックの、トラック情報４０１に記録されている出力チャネル情報に紐づけられた位置に、最も近い場所に位置する音声出力部１０５が選定されるものとする。
【００５１】
なお、音像定位強調レンダリング処理および音像定位補完レンダリング処理は、第１のレンダリング処理を構成し、包まれ感強調レンダリング処理は、第２のレンダリング処理を構成する。
【００５２】
以上に示した通り、本実施形態では音声出力部と音源の位置関係に応じて、レンダリング手法を自動で切り替える手法を示したが、これ以外の方法でレンダリング手法を決定しても良い。例えば、スピーカシステム１にリモコンやマウス、キーボード、タッチパネルなどのユーザ入力手段（図示しない）を設け、ここから、ユーザが「音像定位強調レンダリング処理」モード、「音像定位補完レンダリング処理」モード、または「包まれ感強調レンダリング処理」モードを選択するようにしても良い。この際、各トラックがどのモードで動くかを個別に選択させるようにしても良いし、全てのトラックに対し、一括でモードを選ばせるようにしても良い。また、前記３モードの比率を明示的に入力させるようにしても良く、「音像定位強調レンダリング処理」モードの割合が高い場合は、「音像定位強調レンダリング処理」に割り振られるトラックの数をより多く、「包まれ感強調レンダリング処理」モードの割合が高い場合には、「包まれ感強調レンダリング処理」に割り振られるトラックの数をより多くするようにしても良い。
【００５３】
これ以外にも、例えば別途計測した家の間取り情報などを用いてレンダリング処理を決定しても良い。例えば、すでに取得している前記間取り情報と音声出力部の位置情報から、音声出力部に含まれる「包まれ感強調用スピーカユニット」の向く方向（すなわち、音声出力方向）に音声を反射する壁などが存在しないと判断される場合は、同スピーカユニットを使用して実現される、音像定位補完レンダリング処理を包まれ感強調レンダリング処理に切り替えるものとしても良い。
【００５４】
以上のように、ユーザが配したスピーカの配置に応じて、音像定位、音響拡散両方の機能を備えたスピーカを用いた好適なレンダリング手法を自動で算出し、音声再生を行うことにより、音の定位感、音への包まれ感を両立した音声をユーザに届けることが可能となる。
【００５５】
＜第２の実施形態＞
第１の実施形態では、コンテンツ解析部１０１ａが受け取る音声コンテンツに、チャネルベース、オブジェクトベース両方のトラックが存在するものとして、また、チャネルベースのトラックには音像の定位感を強調すべき音声信号が含まれていないものとして、説明を行ったが、音声コンテンツにチャネルベースのトラックのみが含まれている場合やチャネルベースのトラックに音像の定位感を強調すべき音声信号が含まれている場合の、コンテンツ解析部１０１ａの動作について、第２の実施形態として記述する。なお、第１の実施形態と本実施形態の違いは、コンテンツ解析部１０１ａの挙動のみであり、他の処理部の説明については省略する。
【００５６】
例えば、コンテンツ解析部１０１ａが受け取った音声コンテンツが５．１ｃｈ音声であった場合、特許文献２に開示されている２チャネル間の相関情報に基づく音像定位算出技術を応用し、以下の手順に基づいて同様のヒストグラムを作成する。５．１ｃｈ音声に含まれる低音効果音（Low Frequency Effect;LFE）以外の各チャネルにおいて、隣り合うチャネル間でその相関を計算する。隣り合うチャネルの組は、５．１ｃｈの音声信号においては、図５Ａに示す通り、ＦＲとＦＬ、ＦＲとＳＲ、ＦＬとＳＬ、ＳＬとＳＲの４対となる。この時、隣り合うチャネルの相関情報は、単位時間ｎあたりの任意に量子化されたｆ個の周波数帯の相関係数ｄ（ｉ）が算出され、これに基づいてｆ個の周波数帯各々の音像定位位置θが算出される（特許文献２の数式（３６）参照）。
【００５７】
例えば、図６に示すように、ＦＬ６０１とＦＲ６０２間の相関に基づく音像定位位置６０３は、ＦＬ６０１とＦＲ６０２が成す角の中心を基準としたθとして表される。本実施形態では、量子化されたｆ個の周波数帯の音声をそれぞれ別個の音声トラックとみなし、更に各々の周波数帯の音声のある単位時間において、予め設定された閾値Ｔｈ＿ｄ以上の相関係数値ｄ（ｉ）を持つ時間帯はオブジェクトベーストラック、それ以外の時間帯はチャネルベーストラックとして分別するものとする。すなわち、相関を計算する隣接チャネルのペア数がＮ、周波数帯の量子化数をｆ、とすると、２＊Ｎ＊ｆ個の音声トラックとして分類される。また、前述の通り、音像定位位置として求められるθは、これを挟む音源位置の中心を基準としている為、適宜、図２Ａに示す座標系に変換を行うものとする。
【００５８】
以上の処理をＦＬとＦＲ以外の組み合わせについても同様に処理を行い、音声トラックとこれに対応するトラック情報４０１の対を音声信号レンダリング部１０３に送るものとする。
【００５９】
なお、以上の説明では、特許文献２に開示されている通り、主に人のセリフ音声などが割り付けられるＦＣチャネルについては、同チャネルとＦＬ乃至ＦＲ間に音像を生じさせるような音圧制御がなされている箇所が多くないものとして、ＦＣは相関の計算対象からは外し、代わりにＦＬとＦＲの相関について考えるものとしたが、勿論ＦＣを含めた相関を考慮してヒストグラムを算出しても良く、図５Ｂに示すように、ＦＣとＦＲ、ＦＣとＦＬ、ＦＲとＳＲ、ＦＬとＳＬ、ＳＬとＳＲの５対の相関について、上記算出法でのトラック情報生成を行って良いことは言うまでもない。
【００６０】
以上のように、ユーザが配したスピーカの配置に応じて、また入力として与えられるチャネルベースオーディオの内容を解析することによって、音像定位、音響拡散両方の機能を備えたスピーカを用いた好適なレンダリング手法を自動で算出し、音声再生を行うことにより、音の定位感、音への包まれ感を両立した音声をユーザに届けることが可能となる。
【００６１】
＜第３の実施形態＞
第１の実施形態では、音声出力部１０５の正面方向は予め決められており、また同出力部の設置時にこの正面方向をユーザ側に向けることとしていたが、図１５のスピーカシステム１６のように、音声出力部１６０２が、自身の向き情報を音声信号レンダリング部１６０１に通知し、ユーザ位置に対して音声信号レンダリング部１６０１がこれに基づく音声レンダリングを行うようにしても良い。すなわち、図１５に示すように、本発明の第３の実施形態にかかるスピーカシステム１６では、コンテンツ解析部１０１ａが、ＤＶＤやＢＤなどのディスクメディア、ＨＤＤ（Hard Disc Drive）等に記録されている映像コンテンツ乃至音声コンテンツに含まれる音声信号やこれに付随するメタデータを解析する。記憶部１０１ｂは、コンテンツ解析部１０１ａで得られた解析結果やスピーカ位置情報取得部１０２から取得された情報、コンテンツ解析等に必要な各種パラメータを記憶する。スピーカ位置情報取得部１０２は、現在のスピーカ配置位置を取得する。
【００６２】
音声信号レンダリング部１６０１は、コンテンツ解析部１０１ａとスピーカ位置情報取得部１０２から取得された情報に基づき、各々のスピーカ用に入力音声信号を適宜レンダリングし再合成する。音声出力部１６０２は、複数のスピーカユニットを有し、更に、自装置が向いている方向を取得する方向検知部１６０３を備える。音声出力部１６０２は、信号処理が施された音声信号を物理振動として出力する。
【００６３】
図１６は、ユーザと音声出力部との位置関係を示す図である。図１６に示すように、ユーザと音声出力部の２つを結ぶ直線を基準軸として、各スピーカユニットの向きγを算出する。この時、音声信号レンダリング部１６０１は、すべてのスピーカユニットのうち、算出されたγが最小となるスピーカユニット１７０１を、音像定位強調レンダリング処理された音声信号の出力用スピーカユニットとして認識すると共に、その他のスピーカユニットを包まれ感強調処理がなされた音声信号の出力用スピーカユニットとして認識し、第１の実施形態の音声信号レンダリング部１０３に示した処理を行った音声信号を各々から出力する。
【００６４】
なお、この時に必要とされるユーザの位置は、スピーカ位置情報取得部１０２ですでに説明した通り、タブレット端末等を通じて取得されるものとする。また、音声出力部１６０２の向き情報は方向検知部１６０３から取得される。方向検知部１６０３は、具体的には、ジャイロセンサや地磁気センサで実現するものとする。
【００６５】
以上のように、ユーザが配したスピーカの配置、音像定位、音響拡散両方の機能を備えたスピーカを用いた好適なレンダリング手法を自動で算出し、更にはスピーカの向きを自動判別してその各々の役割を自動で判断することによって、音の定位感、音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
【００６６】
（Ａ）本発明は、以下の態様を採ることが可能である。すなわち、本発明の一態様のスピーカシステムは、マルチチャネル音声信号を再生するスピーカシステムであって、複数のスピーカユニットを有し、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置された音声出力部と、入力されたマルチチャネル音声信号の音声トラック毎に、音声トラックの種別を識別する解析部と、前記各スピーカユニットの位置情報を取得するスピーカ位置情報取得部と、前記音声トラックの種別に応じて、第１のレンダリング処理または第２のレンダリング処理のいずれか一方を選択し、前記取得したスピーカユニットの位置情報を用いて、前記選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行する音声信号レンダリング部と、を備え、前記音声出力部は、前記第１のレンダリング処理または前記第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力する。
【００６７】
このように、入力されたマルチチャネル音声信号の音声トラック毎に、音声トラックの種別を識別し、各スピーカユニットの位置情報を取得し、音声トラックの種別に応じて、第１のレンダリング処理または第２のレンダリング処理のいずれか一方を選択し、取得したスピーカユニットの位置情報を用いて、選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行し、いずれかのスピーカユニットから、第１のレンダリング処理または第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力させるので、音の定位感および音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
【００６８】
（Ｂ）また、本発明の一態様のスピーカシステムにおいて、前記第１のレンダリング処理は、前記各スピーカユニットの向きの成す角度に応じて、音像定位感を強調する目的を有するスピーカユニットを使用して明確な発音オブジェクトを生成する音像定位強調レンダリング処理、または音像定位感を強調する目的を有しないスピーカユニットを使用して疑似的に発音オブジェクトを生成する音像定位補完レンダリング処理を切り替えて実行する。
【００６９】
このように、第１のレンダリング処理は、各スピーカユニットの向きの成す角度に応じて、音像定位感を強調する目的を有するスピーカユニットを使用して明確な発音オブジェクトを生成する音像定位強調レンダリング処理、または音像定位感を強調する目的を有しないスピーカユニットを使用して疑似的に発音オブジェクトを生成する音像定位補完レンダリング処理を切り替えて実行するので、より明瞭にマルチチャネル音声信号をユーザに届け、音像の定位を感じやすくさせることが可能となる。
【００７０】
（Ｃ）また、本発明の一態様のスピーカシステムにおいて、前記第２のレンダリング処理は、音像定位感を強調する目的を有しないスピーカユニットを使用して音響拡散効果を生成する包まれ感強調レンダリング処理を含む。
【００７１】
このように、第２のレンダリング処理は、音像定位感を強調する目的を有しないスピーカユニットを使用して音響拡散効果を生成する「包まれ感強調レンダリング処理」を含むので、ユーザに対して、音への包まれ感や広がり感を与えることが可能となる。
【００７２】
（Ｄ）また、本発明の一態様のスピーカシステムにおいて、前記音声信号レンダリング部は、ユーザからの入力操作に基づいて、前記各スピーカユニットの向きの成す角度に応じて、音像定位感を強調する目的を有するスピーカユニットを使用して明確な発音オブジェクトを生成する音像定位強調レンダリング処理、音像定位感を強調する目的を有しないスピーカユニットを使用して疑似的に発音オブジェクトを生成する音像定位補完レンダリング処理、または、音像定位感を強調する目的を有しないスピーカユニットを使用して音響拡散効果を生成する包まれ感強調レンダリング処理を実行する。
【００７３】
この構成により、ユーザが任意に各レンダリング処理を選択することが可能となる。
【００７４】
（Ｅ）また、本発明の一態様のスピーカシステムにおいて、前記音声信号レンダリング部は、ユーザから入力された比率に基づいて、前記音像定位強調レンダリング処理、前記音像定位補完レンダリング処理、または、前記包まれ感強調レンダリング処理を実行する。
【００７５】
この構成により、ユーザが任意に各レンダリング処理を実行する割合を選択することが可能となる。
【００７６】
（Ｆ）また、本発明の一態様のスピーカシステムにおいて、前記解析部は、各音声トラックの種別を、オブジェクトベースまたはチャネルベースのいずれか一方として識別し、前記音声信号レンダリング部は、音声トラックの種別がオブジェクトベースである場合は、前記第１のレンダリング処理を実行する一方、音声トラックの種別がチャネルベースである場合は、前記第２のレンダリング処理を実行する。
【００７７】
この構成により、音声トラックの種別に応じてレンダリング処理を切り替え、音の定位感および音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
【００７８】
（Ｇ）また、本発明の一態様のスピーカシステムにおいて、前記解析部は、隣り合うチャネルの相関に基づいて、各音声トラックを複数の音声トラックに分離し、分離した音声トラック各々の種別を、オブジェクトベースまたはチャネルベースのいずれか一方として識別し、前記音声信号レンダリング部は、音声トラックの種別がオブジェクトベースである場合は、前記第１のレンダリング処理を実行する一方、音声トラックの種別がチャネルベースである場合は、前記第２のレンダリング処理を実行する。
【００７９】
このように、前記解析部は、隣り合うチャネルの相関に基づいて、各音声トラックの種別を、オブジェクトベースまたはチャネルベースのいずれか一方として識別するので、マルチチャネル音声信号にチャネルベースの音声トラックのみが含まれている場合や、チャネルベースの音声トラックに音像の定位感を強調すべき音声信号が含まれている場合においても、音の定位感および音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
【００８０】
（Ｈ）また、本発明の一態様のスピーカシステムにおいて、前記音声出力部は、前記各スピーカユニットの向きを検出する方向検知部を更に備え、前記レンダリング部は、前記検出された各スピーカユニットの向きを示す情報を用いて、前記選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行し、前記音声出力部は、前記第１のレンダリング処理または前記第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力する。
【００８１】
このように、検出された各スピーカユニットの向きを示す情報を用いて、選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行するので、音の定位感や音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
【００８２】
（Ｉ）また、本発明の一態様のプログラムは、複数のスピーカユニットを有し、少なくとも一つのスピーカユニットがその他のスピーカユニットとは異なる向きに配置されたスピーカシステムのプログラムであって、入力されたマルチチャネル音声信号の音声トラック毎に、音声トラックの種別を識別する機能と、前記各スピーカユニットの位置情報を取得する機能と、前記音声トラックの種別に応じて、第１のレンダリング処理または第２のレンダリング処理のいずれか一方を選択し、前記取得したスピーカユニットの位置情報を用いて、前記選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行する機能と、前記いずれかのスピーカユニットから、前記第１のレンダリング処理または前記第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力させる機能と、を少なくとも含む。
【００８３】
このように、入力されたマルチチャネル音声信号の音声トラック毎に、音声トラックの種別を識別し、各スピーカユニットの位置情報を取得し、音声トラックの種別に応じて、第１のレンダリング処理または第２のレンダリング処理のいずれか一方を選択し、取得したスピーカユニットの位置情報を用いて、選択した第１のレンダリング処理または第２のレンダリング処理を音声トラック毎に実行し、いずれかのスピーカユニットから、第１のレンダリング処理または第２のレンダリング処理が実行された音声トラックの音声信号を物理振動として出力させるので、音の定位感および音への「包まれ感」を両立した音声をユーザに届けることが可能となる。
【００８４】
〔ソフトウェアによる実現例〕
スピーカシステム１、１４〜１７の制御ブロック（特にスピーカ位置情報取得部１０２、コンテンツ解析部１０１ａ、音声信号レンダリング部１０３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、スピーカシステム１、１４〜１７は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８５】
本発明の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【００８６】
（関連出願の相互参照）
本出願は、2016年5月31日に出願された日本国特許出願：特願2016-109490に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
【符号の説明】
【００８７】
１、１４、１５、１６、１７  スピーカシステム
７  視聴部屋情報
１０１ａ  コンテンツ解析部
１０１ｂ  記憶部
１０２  スピーカ位置情報取得部
１０３  音声信号レンダリング部
１０５  音声出力部
２０１  センターチャネル
２０２  フロントライトチャネル
２０３  フロントレフトチャネル
２０４  サラウンドライトチャネル
２０５  サラウンドレフトチャネル
３０１、３０２、３０５  スピーカ位置
３０３、３０６  音像位置
４０１  トラック情報
６０１、６０２  スピーカの位置
６０３  音像定位位置
７０１  ユーザの位置
７０２、７０３、７０４、７０５、７０６  スピーカ位置
１００１、１００２  スピーカの位置
１００３  トラックにおける発音オブジェクトの位置
１００４、１００６  スピーカの位置
１００５  トラックにおける発音オブジェクトの位置
１１０１、１１０２  スピーカの配置位置
１１０３  発音オブジェクトの再現位置
１１０４、１１０５、１１０６  ベクトル
１１０７  視聴者
１２０１、１２０２、１２０３、１２０４、１２０５、１３０１、１３０２  スピーカユニット
１３０３、１３０４  音声出力部
１４０１  スピーカ位置情報取得部
１６０１  音声信号レンダリング部
１６０２  音声出力部
１６０３  方向検知部
１７０１  スピーカユニット
【図１】
0006663490.tif 000002
【図２Ａ】
0006663490.tif 000003
【図２Ｂ】
0006663490.tif 000004
【図３Ａ】
0006663490.tif 000005
【図３Ｂ】
0006663490.tif 000006
【図４】
0006663490.tif 000007
【図５Ａ】
0006663490.tif 000008
【図５Ｂ】
0006663490.tif 000009
【図６】
0006663490.tif 000010
【図７Ａ】
0006663490.tif 000011
【図７Ｂ】
0006663490.tif 000012
【図８】
0006663490.tif 000013
【図９Ａ】
0006663490.tif 000014
【図９Ｂ】
0006663490.tif 000015
【図１０】
0006663490.tif 000016
【図１１Ａ】
0006663490.tif 000017
【図１１Ｂ】
0006663490.tif 000018
【図１１Ｃ】
0006663490.tif 000019
【図１１Ｄ】
0006663490.tif 000020
【図１１Ｅ】
0006663490.tif 000021
【図１２Ａ】
0006663490.tif 000022
【図１２Ｂ】
0006663490.tif 000023
【図１２Ｃ】
0006663490.tif 000024
【図１３】
0006663490.tif 000025
【図１４】
0006663490.tif 000026
【図１５】
0006663490.tif 000027
【図１６】
0006663490.tif 000028