(57)【要約】【課題】ＣＰＵやＤＳＰをオーディオアンプに設けることなく、左右各１チャネルのスピーカを用いてマルチチャネル音声を再生する。【解決手段】左フロントおよび右フロントの各スピーカが接続されるとともに通信網に接続されるオーディオアンプに、ユーザの頭部を撮像して得られる画像データとマルチチャネルオーディオ信号とを通信網に接続された仮想音源化装置へ送信する処理を実行させ、仮想音源化装置から返信されるオーディオ信号を各スピーカへ出力する処理を実行させる。一方、仮想音源化装置には、受信した画像データを解析してユーザの頭部形状を検出し、当該画像データの送信元から受信したマルチチャネルオーディオ信号に含まれるリアチャネルのオーディオ信号に当該ユーザの頭部形状に応じた頭部伝達関数を用いた仮想音源化を施してフロントチャネルのオーディオ信号に重畳させて返信する処理を実行させる。【選択図】図１
2014131140.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの正面に各々配置される左右各１チャネルのスピーカが接続されるとともに通信網に接続されるＡＶレシーバと、前記通信網に接続される仮想音源化装置とを含み、
前記ＡＶレシーバは、
マルチチャネルオーディオデータを取得して前記仮想音源化装置へ送信するとともに、ユーザの頭部を撮像して得られる画像を表す画像データを取得して前記仮想音源化装置へ送信する一方、前記仮想音源化装置から受信したオーディオデータにしたがって左チャネルおよび右チャネルの各スピーカを駆動し、
前記仮想音源化装置は、
前記通信網を介して受信した画像データを解析して当該画像データの表す画像に写っているユーザの頭部形状を検出するとともに、前記通信網を介して受信したマルチチャネルオーディオデータに対して、左フロントおよび右フロント以外の左右の各チャネルに前記頭部形状に応じた頭部伝達関数を用いた仮想音源化を施し、さらに左フロントおよび右フロントの各チャネルに重畳する処理を施して２チャネルオーディデータに変換し、返信する
ことを特徴とする通信システム。
【請求項２】
前記仮想音源化装置は、前記通信網を介して受信した画像データを解析してユーザの顔の向きを検出し、仮想音源化に用いる頭部伝達関数を当該ユーザの顔の向きを加味して算出することを特徴とする請求項１に記載の通信システム。
【請求項３】
前記ＡＶレシーバは、ユーザの頭部を撮像して得られる画像データの送信を所定時間が経過する毎、または当該画像に変化が生じる毎に実行し、前記仮想音源化装置は前記通信網を介して画像データを受信する毎に頭部伝達関数の算出を行うことを特徴とする請求項２に記載の通信システム。
【請求項４】
マルチチャネルオーディオデータを取得するオーディオデータ取得手段と、
ユーザの頭部を撮像して得られる画像を表す画像データを取得する画像データ取得手段と、
ユーザの頭部の画像を表す画像データを解析して当該ユーザの頭部形状を検出するとともに、マルチチャネルオーディオデータに対して、左フロントおよび右フロント以外の左右の各チャネルにユーザの頭部形状に応じた頭部伝達関数を用いた仮想音源化を施し、さらに左フロントおよび右フロントの各チャネルに重畳する処理を施して２チャネルオーディデータに変換し返信する仮想音源化装置と通信網を介して通信する通信手段であって、前記オーディオデータ取得手段により取得したマルチチャネルオーディオデータと前記画像データ取得手段により取得した画像データとを前記通信網を介して前記仮想音源化装置へ送信する一方、前記仮想音源化装置から返信されてくる２チャネルオーディオデータを前記通信網を介して受信する通信手段と、
前記通信手段により受信した２チャネルオーディオデータにしたがって左右各１チャネルのスピーカを駆動する音声再生手段と、
を有することを特徴とするＡＶレシーバ。
【請求項５】
マルチチャネルオーディオデータを取得するオーディオデータ取得手段と、
ユーザの頭部を撮像して得られる画像を表す画像データを取得する画像データ取得手段と、
ユーザの頭部の画像を表す画像データを解析して当該ユーザの頭部形状を検出するとともに、マルチチャネルオーディオデータに対して、左フロントおよび右フロント以外の左右の各チャネルにユーザの頭部形状に応じた頭部伝達関数を用いた仮想音源化を施し、さらに左フロントおよび右フロントの各チャネルに重畳する処理を施して２チャネルオーディデータに変換し返信する仮想音源化装置と通信網を介して通信する通信手段であって、前記オーディオデータ取得手段により取得したマルチチャネルオーディオデータと前記画像データ取得手段により取得した画像データとを前記通信網を介して前記仮想音源化装置へ送信する一方、前記仮想音源化装置から返信されてくる２チャネルオーディオデータを前記通信網を介して受信する通信手段と、
２チャネルオーディオデータを受け取り当該オーディオデータにしたがって左右各１チャネルのスピーカを駆動するオーディオアンプへ、前記第通信手段により受信した２チャネルオーディオデータを出力する出力手段と、
を有することを特徴とする通信アダプタ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、左右各１チャネルのスピーカを用いてマルチチャネル音声を再生する技術に関する。
【背景技術】
【０００２】
この種の技術の一例としては、特許文献１に開示の技術が挙げられる。特許文献１に開示の技術では、左フロントチャネルおよび右フロントチャネルの各スピーカが接続されたオーディオアンプに以下の処理を実行させることで、左フロントチャネルおよび右フロントチャネルの他に左右のリアチャネル等を含むマルチチャネル音声の再生を実現することができる。すなわち、特許文献１に開示のオーディオアンプは、マルチチャネルオーディオ信号を与えられると、リアチャネルのスピーカ位置に当該リアチャネルの仮想音像が定位するようにリアチャネルのオーディオ信号にフィルタ処理を施し、フィルタ処理後のオーディオ信号を左フロントチャネルおよび右フロントチャネルのオーディオ信号に重畳させて出力する。上記フィルタ処理におけるフィルタ係数は、リアチャネルのスピーカ位置から聴取者の耳までの伝達特性（頭部伝達関数）を当該聴取者の頭部の形状に基づいてシミュレートしたものである。上記オーディオアンプは、聴取者の頭部形状を検出する頭部形状検出手段と、頭部形状検出手段により検出した頭部形状に応じて上記フィルタ係数を算出し、上記フィルタ処理を実行するフィルタに供給するフィルタ係数供給手段とを有している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２３０１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
聴取者の頭部形状に応じた頭部伝達関数の算出には、処理能力の高いＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal
Processor）が必要となる。しかし、オーディオアンプに処理能力の高いＣＰＵやＤＳＰを設けると、オーディオアンプの価格が非常に高くなってしまうといった問題点がある。
【０００５】
本発明は上記課題に鑑みて為されたものであり、左右各１チャネルのスピーカの接続されたオーディオアンプに、処理能力の高いＣＰＵやＤＳＰを設けることなく、マルチチャネル音声を再生させることを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、ユーザの正面に各々配置される左右各１チャネルのスピーカが接続されるとともに通信網に接続されるＡＶレシーバと、前記通信網に接続される仮想音源化装置とを含み、前記ＡＶレシーバは、マルチチャネルオーディオデータを取得して前記仮想音源化装置へ送信するとともに、ユーザの頭部を撮像して得られる画像を表す画像データを取得して前記仮想音源化装置へ送信する一方、前記仮想音源化装置から受信したオーディオデータにしたがって左チャネルおよび右チャネルの各スピーカを駆動し、前記仮想音源化装置は、前記通信網を介して受信した画像データを解析して当該画像データの表す画像に写っているユーザの頭部形状を検出するとともに、前記通信網を介して受信したマルチチャネルオーディオデータに対して、左フロントおよび右フロント以外の左右の各チャネルに前記頭部形状に応じた頭部伝達関数を用いた仮想音源化を施し、さらに左フロントおよび右フロントの各チャネルに重畳する処理を施して２チャネルオーディデータに変換し、返信することを特徴とする通信システム、を提供する。
【０００７】
本発明の通信システムにおいては、左フロントおよび右フロント以外の左右の各チャネル（左右の各サラウンドチャネルや左右の各リアチャネル）の音を仮想音源化する処理は通信網に接続された仮想音源化装置（換言すれば、ＡＶレシーバに対してリアチャネルの音を仮想音源化するクラウドサービスを提供するクラウドサーバ）で実行される。このため、ＡＶレシーバに処理能力の高いＣＰＵやＤＳＰを設けなくても、左右各１チャネルのスピーカを用いてマルチチャネル音声を再生することが可能になる。なお、ユーザの頭部の画像から当該ユーザの頭部形状を検出する具体的な方法については特許文献１に開示の方法を使用すれば良い。
【０００８】
より好ましい態様においては、前記仮想音源化装置は、前記通信網を介して受信した画像データを解析してユーザの顔の向きを検出し、仮想音源化に用いる頭部伝達関数を当該ユーザの顔の向きを加味して算出することを特徴とする。このような態様によれば、左フロントおよび右フロント以外の左右の各チャネルの仮想音源化を、ユーザの頭部形状に加えてその顔の向きを加味してきめ細やかに行うことが可能になる。
【０００９】
さらに好ましい態様においては、前記ＡＶレシーバは、ユーザの頭部を撮像して得られる画像データの送信を所定時間が経過する毎、または当該画像に変化が生じる毎に実行し、前記仮想音源化装置は前記通信網を介して画像データを受信する毎に頭部伝達関数を算出させることを特徴とする。このような態様によれば、ＡＶレシーバによる音の再生中にユーザが顔の向きを変えるなどの動作を行ったとしても、その動作に追従するように頭部伝達関数が再計算され、仮想音源の定位位置を当該動作に追従させて変化させることができる。
【００１０】
また、本発明の別の態様としては、マルチチャネルオーディオデータを取得するオーディオデータ取得手段と、ユーザの頭部を撮像して得られる画像を表す画像データを取得する画像データ取得手段と、ユーザの頭部の画像を表す画像データを解析して当該ユーザの頭部形状を検出するとともに、マルチチャネルオーディオデータに対して、左フロントおよび右フロント以外の左右の各チャネルにユーザの頭部形状に応じた頭部伝達関数を用いた仮想音源化を施し、さらに左フロントおよび右フロントの各チャネルに重畳する処理を施して２チャネルオーディデータに変換し返信する仮想音源化装置と通信網を介して通信する通信手段であって、前記オーディオデータ取得手段により取得したマルチチャネルオーディオデータと前記画像データ取得手段により取得した画像データとを前記通信網を介して前記仮想音源化装置へ送信する一方、前記仮想音源化装置から返信されてくる２チャネルオーディオデータを前記通信網を介して受信する通信手段と、前記通信手段により受信した２チャネルオーディオデータにしたがって左右各１チャネルのスピーカを駆動する音声再生手段と、を有することを特徴とするＡＶレシーバ、を提供する態様が考えられる。
【００１１】
さらに別の態様としては、マルチチャネルオーディオデータを取得するオーディオデータ取得手段と、ユーザの頭部を撮像して得られる画像を表す画像データを取得する画像データ取得手段と、ユーザの頭部の画像を表す画像データを解析して当該ユーザの頭部形状を検出するとともに、マルチチャネルオーディオデータに対して、左フロントおよび右フロント以外の左右の各チャネルにユーザの頭部形状に応じた頭部伝達関数を用いた仮想音源化を施し、さらに左フロントおよび右フロントの各チャネルに重畳する処理を施して２チャネルオーディデータに変換し返信する仮想音源化装置と通信網を介して通信する通信手段であって、前記オーディオデータ取得手段により取得したマルチチャネルオーディオデータと前記画像データ取得手段により取得した画像データとを前記通信網を介して前記仮想音源化装置へ送信する一方、前記仮想音源化装置から返信されてくる２チャネルオーディオデータを前記通信網を介して受信する通信手段と、２チャネルオーディオデータを受け取り当該オーディオデータにしたがって左右各１チャネルのスピーカを駆動するオーディオアンプへ、前記第通信手段により受信した２チャネルオーディオデータを出力する出力手段と、を有することを特徴とする通信アダプタ装置、を提供する態様も考えられる。
【図面の簡単な説明】
【００１２】
【図１】この発明の第１実施形態の通信システム１Ａの構成例を示す図である。
【図２】同実施形態における表示装置５０、カメラ６０、スピーカ７０Ｌおよび７０Ｒの配置例を示す図である。
【図３】７．１チャネルマルチサラウンドにおけるスピーカ配置例を示す図である。
【図４】同通信システム１Ａにおける仮想音源化装置３０の動作を説明するための図である。
【図５】本発明の第２実施形態の仮想音源化装置の動作を説明するための図である。
【図６】変形例（２）の通信システム１Ｂを示す図である。
【図７】変形例（３）の通信システム１Ｃを示す図である。
【図８】変形例（３）の通信システム１Ｄを示す図である。
【図９】変形例（３）の中継装置９４の構成例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しつつ、本発明の実施形態について説明する。
（Ａ：第１実施形態）
図１は、この発明の第１実施形態の通信システム１Ａの構成例を示す図である。
通信システム１Ａには、ＡＶレシーバ１０と仮想音源化装置３０が含まれている。図１に示すように、ＡＶレシーバ１０と仮想音源化装置３０は、インターネットなどの電気通信回線である通信網２０に接続されている。ＡＶレシーバ１０と仮想音源化装置３０には、例えばＩＰ（Internet Protocol）アドレスやＭＡＣ（Media Access
Control）アドレスなど、各機器を一意に識別するための通信アドレスが予め割り当てられている。ＡＶレシーバ１０と仮想音源化装置３０は、通信網２０を介して所定の通信プロトコルにしたがったデータ通信を行う。
【００１４】
例えば、ＡＶレシーバ１０から仮想音源化装置３０にデータを送信する場合、ＡＶレシーバ１０は、送信対象データを予め定められたデータサイズのデータブロックに分割し、各データブロックに所定のヘッダを付与して先頭のデータブロックから順に通信網２０へ送出する。このヘッダには、送信対象データの先頭から何番目のデータブロックであるのかを示す情報がセットされているとともに、送信元を示す識別子としてＡＶレシーバ１０の通信アドレスが、宛先を示す識別子として仮想音源化装置３０の通信アドレスが夫々セットされている。このようにしてＡＶレシーバ１０から送信された各データブロックは、通信網２０に設けられている中継装置（例えば、ルータやスイッチングハブ）によるルーティングを経てその宛先へと到達し、当該宛先である仮想音源化装置３０は受信したデータブロックに付与されているヘッダを参照して各データブロックを連結し上記送信対象データを復元する。
【００１５】
ＡＶレシーバ１０には、図１に示すように、コンテンツ再生装置４０、表示装置５０、カメラ６０、スピーカ７０Ｌおよび７０Ｒが接続されている。コンテンツ再生装置４０は、例えばＤＶＤ（Digital Versatile Disc）プレイヤやブルーレイディスクプレイヤである。コンテンツ再生装置４０は、ＡＶレシーバ１０から再生開始指示を与えられたことを契機として、ＤＶＤやブルーレイディスクなどの記録媒体に記録されたコンテンツデータの読み出しを開始し、読み出したコンテンツデータをＡＶレシーバ１０に与える。コンテンツデータには、コンテンツを構成する映像を表す映像データと同映像の表示に同期させて再生する音声を表すオーディオデータが含まれている。表示装置５０は、例えば液晶ディスプレイであり、ＡＶレシーバ１０から与えられるビデオ信号に応じた映像を表示する。カメラ６０は、例えばＣＣＤ（Charge Coupled Device）イメージセンサを用いたデジタルカメラであり、ＡＶレシーバ１０から与えられる撮像指示に応じて画像を撮像し、撮像した画像を表す画像データをＡＶレシーバ１０に与える。スピーカ７０Ｌおよびスピーカ７０Ｒの各々はＡＶレシーバ１０から与えられるアナログオーディオ信号を音として出力する。
【００１６】
ＡＶレシーバ１０とＡＶレシーバ１０に接続される各装置（本実施形態では、コンテンツ再生装置４０、表示装置５０、カメラ６０、スピーカ７０Ｌおよび７０Ｒ）は、ＡＶレシーバ１０を用いてコンテンツを視聴するユーザのリビングルーム等に配置される。以下では、ＡＶレシーバ１０とＡＶレシーバ１０に接続される各装置（本実施形態では、コンテンツ再生装置４０、表示装置５０、カメラ６０、スピーカ７０Ｌおよび７０Ｒ）の組を「クライアント側装置群」と呼ぶ場合がある。図１では、１組のクライアント側装置群が図示されているが、通信システム１Ａに複数のクライアント側装置群が含まれていても勿論良い。
【００１７】
図２は、１組のクライアント側装置に含まれる表示装置５０、カメラ６０、スピーカ７０Ｌおよび７０ＲのリビングルームＬＲにおける配置例を示す図である。図２に示すように、本実施形態では、表示装置５０は視聴位置に着席するユーザＵ（すなわち、ＡＶレシーバ１０により再生されるコンテンツの視聴者）の正面に配置され、スピーカ７０Ｌは同ユーザＵの正面左側に、スピーカ７０Ｒは同ユーザＵの正面右側に配置される。つまり、スピーカ７０Ｌは、視聴位置に着席したユーザＵに対して左前方から到来する音を出力する左フロントチャネルスピーカの役割を果たし、スピーカ７０ＲはユーザＵに対して右前方から到来する音を出力する右フロントチャネルスピーカの役割を果たす。そして、カメラ６０は、撮像面を上記視聴位置に向けた状態で表示装置５０の上に配置される。カメラ６０をこのように配置したのは、上記視聴位置に着席してコンテンツを視聴するユーザＵの頭部の画像を撮像できるようにするためである。
【００１８】
ＡＶレシーバ１０は、コンテンツ再生装置４０からコンテンツデータを受け取ってスピーカ７０Ｌおよび７０Ｒと表示装置５０の作動制御を行うオーディオアンプ機能と、通信網２０を介してデータ通信する通信機能とを備えた装置である。なお、ＡＶレシーバ１０は、一般的なＡＶレシーバと同様にチューナ機能も有しているが、当該チューナ機能については本願発明と直接的な関連を有しないため説明を省略する。図１に示すように、ＡＶレシーバ１０は、入力処理部１１０と、映像再生部１２０と、音声処理部１３０と、カメラインタフェース部１４０と、送信部１５０と、受信部１６０と、音声再生部１７０と、これら各部の作動制御を行う制御部１８０とを有している。
【００１９】
入力処理部１１０は、例えばＨＤＭＩ（High-Definition Multimedia Interface）であり、ＨＤＭＩケーブルなどの信号線を介してコンテンツ再生装置４０に接続されている。入力処理部１１０は、制御部１８０による制御の下、コンテンツ再生装置４０に対して再生開始指示を与えるとともに、コンテンツ再生装置４０から送られてくるコンテンツデータを受け取る。入力処理部１１０は、受け取ったコンテンツデータから映像データとオーディオデータとを分離し、前者を映像再生部１２０に与えるとともに後者を音声処理部１３０に与える。
【００２０】
映像再生部１２０には、表示装置５０が接続されている。映像再生部１２０は、入力処理部１１０から与えられる映像データに基づいてビデオ信号を生成し、表示装置５０に与える。音声処理部１３０は、入力処理部１１０から与えられるオーディオデータを解析して左右各１チャネルのオーディオデータ（すなわち、２チャネルオーディオデータ）であるか、それともマルチチャネルオーディオデータであるのかを判別する。そして、音声処理部１３０は、２チャネルオーディオデータであると判定した場合には、入力処理部１１０から与えられたオーディオデータを音声再生部１７０に与え、マルチチャネルオーディオデータであると判定した場合には送信部１５０に与える。
【００２１】
カメラインタフェース部１４０には、カメラ６０が接続される。カメラインタフェース部１４０は、制御部１８０による制御の下、カメラ６０に対して撮像指示を与えるとともに、カメラ６０から与えられる画像データを送信部１５０に与える。
【００２２】
送信部１５０と受信部１６０は、例えばＮＩＣ（Network Interface Card）であり、通信網２０に接続されている。送信部１５０は音声処理部１３０から与えられるマルチチャネルオーディオデータやカメラインタフェース部１４０から与えられる画像データを上記所定の通信プロトコルにしたがって仮想音源化装置３０に送信する。詳細については後述するが、このようにしてＡＶレシーバ１０から送信されたマルチチャネルオーディオデータを受信した仮想音源化装置３０は、当該マルチチャネルオーディオデータの表すリアチャネルの音を仮想音源化して左右の各フロントチャネルに重畳する処理を施して２チャネルオーディデータに変換し、ＡＶレシーバ１０へ返信する。また、ＡＶレシーバ１０から仮想音源化装置３０に送信される画像データは、上記仮想音源化に使用する頭部伝達関数の算出に利用される。受信部１６０は、仮想音源化装置３０から返信されてくる２チャネルオーディオデータを受信し、音声再生部１７０に与える。
【００２３】
音声再生部１７０には、スピーカ７０Ｌとスピーカ７０Ｒが接続されている。音声再生部１７０は、音声処理部１３０から与えられる２チャネルオーディオデータまたは受信部１６０から与えられる２チャネルオーディオデータにＤ／Ａ変換を施して左チャネルおよび右チャネルの各アナログオーディオ信号を生成し、スピーカ７０Ｌおよび７０Ｒの各々に与える。
以上がクライアント側装置群の構成である。
【００２４】
次いで、仮想音源化装置３０の構成について説明する。
図１に示すように、仮想音源化装置３０は、受信部３１０と、仮想音源生成部３２０と、送信部３３０とを有している。受信部３１０と送信部３３０は例えばＮＩＣであり、通信網２０に接続されている。受信部３１０は、所定の通信プロトコルにしたがって通信網２０を介して送信されてくるデータ（本実施形態では、ＡＶレシーバ１０から送信された画像データまたはマルチチャネルオーディオデータ）を受信し、仮想音源生成部３２０に与える。送信部３３０は、仮想音源生成部３２０から与えられるデータを所定の通信プロトコルにしたがって通信網２０へ送出する。
【００２５】
仮想音源生成部３２０は、ＣＰＵやＤＳＰなどの演算部とＲＡＭ（Random Access Memory）などの記憶部とを含んでいる（図１では図示略）。受信部３１０から画像データを与えられた場合には、仮想音源生成部３２０は、当該画像データの表す画像に写っているユーザＵの頭部形状（例えば、顔幅および耳介の大きさ）を示す頭部形状データを生成し、当該画像データの送信元を示す識別子と対応付けて上記記憶部に書き込む処理を実行する。また、受信部３１０からマルチチャネルオーディオデータを与えられた場合には、仮想音源生成部３２０は、左フロントおよび右フロント以外の左右の各チャネルの音をその到来方向およびその音の聴取者（本実施形態では、ユーザＵ）の頭部形状に応じた頭部伝達関数を用いて仮想音源化し、左フロントチャネルおよび右フロントチャネルに重畳する処理を施して２チャネルオーディオデータに変換し送信部３３０に与える。なお、聴取者の頭部を撮像した画像から当該聴取者の頭部形状を検出する具体的な方法、頭部伝達関数の具体的な算出方法、および、当該頭部伝達関数を用いた仮想音源化の具体的な方法については特許文献１に開示の方法を利用すれば良い。
以上が本実施形態の通信システム１Ａの構成である。
【００２６】
次いで、コンテンツ再生装置４０からＡＶレシーバ１０へ７．１チャネルオーディオデータが与えられる場合を例にとってＡＶレシーバ１０および仮想音源化装置３０の動作を説明する。７．１チャネルオーディオデータには、左フロントチャネルＦＬおよび右フロントチャネルＦＲの他に、視聴位置に着席したユーザＵに対して正面から到来する音を表すＦＣ、左側方から到来する音を表すＳＬ、右側方から到来する音を表すＳＲ、左後方から到来する音を表すＢＬ、右後方から到来する音を表すＢＲ、および超低音域の音を表すＬＦＥの各チャネルのオーディオデータが含まれている。ＬＦＥを除く他の７つのチャネルの音を全て実スピーカにより再生する場合には、図３に示すように、聴取者を中心とする円周上に各スピーカを配置するべきことがＩＴＵ勧告により推奨されている。これに対して、本実施形態のＡＶレシーバ１０には、左フロントスピーカＦＬとして機能するスピーカ７０Ｌと右フロントスピーカＦＲとして機能するスピーカ７０Ｒの２台の実スピーカしか接続されていない。このため、本実施形態では、ＦＣ、ＳＬ、ＳＲ、ＢＬ、ＢＲおよびＬＦＥの各チャネルの音は仮想音源化されることになる。
【００２７】
ＡＶレシーバ１０を利用してコンテンツを視聴しようとするユーザＵは、予め定められた視聴位置に着席し（図２参照）、リモコン等を用いてコンテンツの視聴開始をＡＶレシーバ１０に指示する。このようにして視聴開始を指示されると、ＡＶレシーバ１０の制御部１８０は、カメラインタフェース部１４０に撮像指示を出力させるとともに入力処理部１１０に再生開始指示を出力させる。カメラ６０は、当該撮像指示に応じて撮像を行い、その撮像結果の画像データをＡＶレシーバ１０へ出力する。前述したように、カメラ６０は、撮像面を視聴位置に向けた状態で表示装置５０の上に設置されているため、カメラ６０からＡＶレシーバ１０に与えられる画像データの表す画像には、視聴位置に着席しているユーザＵの頭部が写っている。そして、カメラ６０からＡＶレシーバ１０へ与えられた画像データは、ＡＶレシーバ１０のカメラインタフェース部１４０および送信部１５０の働きにより、通信網２０を介して仮想音源化装置３０へ送信される。仮想音源化装置３０の仮想音源生成部３２０は、受信部３１０を介して画像データを受信すると、当該画像データを解析して頭部形状データを生成し、当該画像データの送信元を示す識別子と対応付け記憶部に書き込む。
【００２８】
コンテンツ再生装置４０はＡＶレシーバ１０から与えられる再生開始指示に応じて記録媒体からコンテンツデータを読み出し、ＡＶレシーバ１０に与える。ＡＶレシーバ１０の入力処理部１１０は、コンテンツ再生装置４０から与えられるコンテンツデータを受け取ると、そのコンテンツデータに含まれるオーディオデータと映像データとを分離し、前者を音声処理部１３０に与える一方、後者を映像再生部１２０に与える。前述したように、本動作例においてコンテンツ再生装置４０からＡＶレシーバ１０に与えられるコンテンツデータに含まれているオーディオデータは７．１チャネルオーディオデータであるため、音声処理部１３０は、入力処理部１１０から与えられたオーディオデータを送信部１５０に与え、送信部１５０は当該オーディオデータを仮想音源化装置３０へ送信する。
【００２９】
通信網２０を介してＡＶレシーバ１０から仮想音源化装置３０へ送信されたマルチチャネルオーディオデータは、仮想音源化装置３０の受信部３１０によって受信され、当該受信部３１０から仮想音源生成部３２０に与えられる。図４は、仮想音源化装置３０において、受信部３１０から引き渡されるマルチチャネルオーディオデータに対して仮想音源生成部３２０が施す処理の一例を示す図である。図４に示すように、仮想音源生成部３２０は、７．１チャネルオーディオデータのうち、ＬＦＥおよびＦＣの各オーディオデータについては均等に振り分けて左フロントＦＬおよび右フロントＦＲの各オーディオデータに重畳し、ＳＬ、ＳＲ、ＢＬ、およびＢＲの各々（すなわち、左フロントおよび右フロント以外の左右のチャネル）については仮想音源化処理を施した後に左フロントＦＬおよび右フロントＦＲに重畳する。
【００３０】
より詳細に説明すると、ＳＬ、ＳＲ、ＢＬ、およびＢＲの各々に対する仮想音源化処理では、仮想音源生成部３２０は、まず、上記マルチチャネルオーディオデータの送信元を示す識別子に対応付けて記憶部に格納されている頭部形状データと聴取者に対する音の到来方向を示す角度（すなわち、チャネルに応じた角度）θとからチャネル毎に頭部伝達関数を算出する。例えば、ＳＬについてはθ＝１００°、ＳＲについてはθ＝−１００°、ＢＬについてはθ＝１４０°、ＢＲについてはθ＝−１４０°として各チャネルの頭部伝達関数を算出するといった具合である。そして、仮想音源生成部３２０は、上記の要領で算出した頭部伝達関数を表す頭部伝達関数データに上記識別子およびチャネルを示す情報（例えば、上記角度θ）を対応付けて記憶部に書き込む。
【００３１】
次いで、仮想音源生成部３２０は、ＳＬ、ＳＲ、ＢＬ、およびＢＲの各チャネルのオーディオデータの各々に対して上記の要領で算出した頭部伝達関数を畳み込むフィルタ処理を施した後に左フロント成分および右フロント成分に振り分け、各成分の遅延量の調整およびクロストークキャンセル等を施した後に、左フロントチャネルおよび右フロントチャネルの各オーディオデータに重畳して出力する。なお、同じ送信元から後続のマルチチャネルオーディオデータを受信した場合には、当該送信元を示す識別子に対応付けて記憶部に記憶された頭部伝達関数データを用いて各チャネルの仮想音源化を行えば良い。
【００３２】
前述したように仮想音源生成部３２０から出力される２チャネルオーディオデータは送信部３３０によって上記マルチチャネルオーディオデータの送信元（本動作例ではＡＶレシーバ１０）へ返信される。ＡＶレシーバ１０の受信部１６０は仮想音源化装置３０から返信されてくる２チャネルオーディオデータを受信すると、当該２チャネルオーディオデータを音声再生部１７０に与え、音声再生部１７０は当該オーディオデータにしたがって生成した左フロントチャネルのオーディオ信号をスピーカ７０Ｌに与え、同右フロントチャネルのオーディオ信号をスピーカ７０Ｒに与える。このようにしてスピーカ７０Ｌおよび７０Ｒから出力される音を聴くことにより、ＡＶレシーバ１０のユーザには、自身の後方からＳＬ／ＳＲ／ＢＬ／ＢＲの各音が到来するかのような聴感が与えられ、さらにスピーカ７０Ｌと７０Ｒの中間の位置からＦＣおよびＬＦＥの音が到来するかのような聴感が与えられる。
【００３３】
以上説明したように、本実施形態では、マルチチャネルオーディオデータから２チャネルオーディオデータへの変換処理を仮想音源化装置３０に実行させるため、ＡＶレシーバ１０に処理能力の高いＣＰＵやＤＳＰを設けておく必要はない。つまり、本実施形態によれば、処理能力の高いＣＰＵやＤＳＰをＡＶレシーバ１０に設けることなく、左右各１チャネルのスピーカを用いてマルチチャネル音声を再生することが可能になる。また、仮想音源化装置３０として、充分に処理能力の高いものを用いるようにすれば、複数組のクライアント側装置群に対して上記変換処理サービスを提供する場合であっても、コンテンツのリアルタイム再生に支障が生じないようにすることができる。
【００３４】
（Ｂ：第２実施形態）
上記第１実施形態では、マルチチャネルオーディオデータから２チャネルオーディオデータへの変換処理を、通信網２０に接続された仮想音源化装置３０に実行させることで、ＡＶレシーバ１０に処理能力の高いＣＰＵやＤＳＰを設けることなく、左右各１チャネルのスピーカを用いてマルチチャネル音声を再生することを可能にした。これに対して本実施形態では、受信部３１０から与えられる画像データを解析してさらにユーザＵの顔の向きを検出し、仮想音源化する音の到来方向を当該ユーザＵの顔の向きに応じて補正して頭部伝達関数を算出するようにした点が上記第１実施形態と異なる。以下では、カメラ６０により撮像した画像からユーザＵの顔の向きを検出する方法について説明する。
【００３５】
本実施形態の仮想音源生成部３２０は、受信部３１０より受け取った画像データを解析し、当該画像データの表す画像に写っているユーザＵの顔を認識する。なお、顔の認識技術については特許文献１に開示のものを利用すれば良い。図５（ａ）は、仮想音源生成部３２０により認識されたユーザＵの顔の模式図である。仮想音源生成部３２０は、上記顔認識技術により認識した顔における目の位置を特定し、両目の間の中心位置を特定する。より詳細に説明すると、仮想音源生成部３２０は、まず、両目の間隔Ｘ（図５（ａ）参照）を求め、一方の目の位置から他方の目に向かってＸ／２の位置を上記中心位置とする。
【００３６】
また、仮想音源生成部３２０は、特許文献１に開示の手法により、ユーザＵの顔の幅Ｙ（図５（ａ）参照）を求め、顔の一方の端から他方に向かってＹ／２だけ離れた位置を当該ユーザＵの顔の中心位置とする。そして、仮想音源生成部３２０は、ユーザＵの両目に間の中心位置と当該ユーザＵの顔の中心位置との差Ｚを求め、以下の式（１）にしたがってユーザＵの顔の向きを表す角度θdiff（ユーザＵが正面を向いている状態、すなわち、ユーザＵの両目の間の中心位置と顔の中心位置とが一致している状態であれば、θdiff＝０°となる）を求める。なお、以下の式（１）の右辺のｓｉｎ−１（）は逆正弦関数を意味する。ユーザＵの顔の向きを表す角度θdiffを式（１）により算出することができる理由は、図５（ｂ）に示す幾何学的関係から明らかである。
θdiff＝ｓｉｎ−１（２Ｚ／Ｙ）・・・（１）
【００３７】
次いで、仮想音源生成部３２０は、仮想音源の定位位置の方向を表す角度θを上記角度θdiffに応じて補正し、さらにユーザＵの頭部形状を加味して頭部伝達関数を計算する。例えばθdiff＝２０°と算出された場合には、ＢＬの到方向を示す角度θを１４０°−２０°＝１２０°と補正し、ＢＲの到来方向を示す角度θを−１４０°−２０°＝−１６０°と補正して頭部伝達関数の計算を行うといった具合である。
【００３８】
このように、コンテンツの視聴者の頭部形状に加えて当該視聴者の顔の向きを加味して頭部伝達関数を算出するようにした理由は以下の通りである。視聴者の顔の向きが正面からずれた状態で、視聴者が正面を向いていることを想定した頭部伝達関数を用いてリアチャネルの仮想音源化を行うと、視聴者の顔の向きのずれの分だけ相対的に仮想音源の定位位置がずれてしまう。映画などのコンテンツにおいては、視聴者が正面を向いていることを前提に演出効果を考慮して各チャネルの音の到来方向が定められていることが多い。したがって、視聴者の顔の向きのずれに起因して仮想音源の定位位置が相対的にずれてしまうと、コンテンツ製作者の意図した演出効果が損なわれてしまう場合がある。これに対して、本実施形態によれば、視聴者の顔の向きを加味して頭部伝達関数の算出が行われ、これにより仮想音源の定位位置の補正が行われるため、視聴者の顔の向きが正面からずれている場合であってもコンテンツ製作者等の意図した演出効果が損なわれることはない。これが、視聴者の頭部の形状に加えて当該視聴者の顔の向きを加味して頭部伝達関数を算出するようにした理由である。
【００３９】
このように、本実施形態によれば、視聴者の顔の向きを加味してリアチャネルの仮想音源化をよりきめ細やかに行い、左右各１チャネルのスピーカを用いてマルチチャネル音声を再生することが可能になる。また、本実施形態においてもリアチャネルの音を仮想音源化するための処理は仮想音源化装置３０によって実行されるため、ＡＶレシーバ１０に処理能力の高いＣＰＵやＤＳＰを設けておく必要はない。また、ＡＶレシーバ１０から仮想音源化装置３０への画像データの送信を所定時間が経過する毎、またはカメラ６０により撮像した画像に変化が生じる毎に行い、仮想音源生成部３２０には画像データを受信する毎に頭部伝達関数を算出して記憶部に書き込む処理を実行させても良く、このような態様によれば、コンテンツを視聴中のユーザが顔の向きを変えるなどの動作を行った場合であっても、その動作に追従させて仮想音源の定位位置を更新することが可能になる。
【００４０】
（Ｃ：変形）
以上本発明の各実施形態について説明したが、これら実施形態を以下のように変形しても勿論良い。
（１）上記各実施形態では、ＡＶレシーバ１０に与えられるコンテンツデータにオーディオデータと映像データとが含まれていたが、オーディオデータのみが含まれていても勿論良く、この場合、入力処理部１１０および映像再生部１２０は省略可能である。
【００４１】
（２）上記第各実施形態では、ＡＶレシーバ１０に対するコンテンツデータの供給元が当該ＡＶレシーバ１０に対してＨＤＭＩケーブルにより接続されたコンテンツ再生装置４０であった。しかし、図６に示す通信システム１Ｂのように、コンテンツデータＣＤの配信を行うコンテンツサーバ８０を通信網２０に接続し、このコンテンツサーバ８０をＡＶレシーバ１０に対するコンテンツデータＣＤの供給元としても勿論良い。この場合、図６に示すように、受信部１６０に、通信網２０を介して受信したコンテンツデータＣＤを入力処理部１１０に与える処理を実行させる（すなわち、受信部１６０に、コンテンツデータを取得する取得手段の役割を担わせる）ようにすれば良い。
【００４２】
（３）図７に示すように、入力処理部１１０、音声処理部１３０、カメラインタフェース部１４０、送信部１５０、受信部１６０、および制御部１８０を組み合わせて通信アダプタ装置９０を構成し、この通信アダプタ装置９０にコンテンツ再生装置４０およびカメラ６０を接続するとともに通信アダプタ装置９０を通信網２０に接続し、さらに、映像再生部１２０と音声再生部１７０とのみを有するＡＶアンプ１２に通信アダプタ装置９０を接続して通信システム１Ｃを構成しても良い。このような通信アダプタ装置９０を介して従来のＡＶアンプ１２を通信網２０に接続することで、従来のＡＶアンプ１２を用いながらも上記各実施形態と同様の効果を得られるようになるからである。また、図８に示すように、通信アダプタ装置９０に換えて、通信網２０経由でコンテンツサーバ８０からコンテンツデータＣＤを取得する通信アダプタ装置９２をＡＶアンプ１２に接続して通信システム１Ｄを構成しても良い。
【００４３】
また、ＡＶレシーバとコンテンツサーバ８０との間で所定の通信プロトコルにしたがって行われるデータ通信を仲介する中継装置に本発明を適用することも可能である。具体的には、図９に示す構成の中継装置９４を用いてＡＶレシーバとコンテンツサーバ８０との通信を仲介するようにすれば良い。図９に示すように、中継装置９４は通信網２０に接続されており、この通信網２０にはコンテンツサーバ８０と仮想音源化装置３０が接続されている。この中継装置９４は、第１送信部１５０Ａ、第１受信部１６０Ａ、第２送信部１５０Ｂ、第２受信部１６０Ｂ、および中継制御部２００を含んでいる。第１送信部１５０Ａおよび第１受信部１６０Ａは通信網２０に接続されており、第２送信部１５０Ｂおよび第２受信部１６０Ｂは、ＡＶレシーバの接続された通信網に接続されている。第１送信部１５０Ａおよび第２送信部１５０Ｂの各々は、中継制御部２００から与えられたデータを、接続先の通信網へ送出する。第１受信部１６０Ａおよび第２受信部１６０Ｂの各々は、接続先の通信網から受信したデータを中継制御部２００に与える。
【００４４】
中継制御部２００は、第２受信部１６０Ｂを介してＡＶレシーバから受信したコンテンツダウンロード要求（コンテンツサーバ８０宛てに送信されたコンテンツダウンロード要求）を第１送信部１５０Ａに与えてコンテンツサーバ８０に転送する処理と、同ＡＶレシーバから受信した画像データを第１送信部１５０Ａに与え仮想音源化装置３０に転送する処理とを実行する。このようにして中継装置９４により転送されたコンテンツダウンロード要求を受信したコンテンツサーバ８０は当該コンテンツダウンロード要求によりダウンロードを要求されたコンテンツを返信する。また、中継装置９４により転送された画像データを受信した仮想音源化装置３０は、当該画像データを解析して視聴者の頭部形状を表す頭部形状データを生成し、当該画像データの送信元を示す識別子と対応付けて記憶する処理を実行する。
【００４５】
中継制御部２００は、前述した音声処理部１３０を含んでいる。中継制御部２００は、コンテンツサーバ８０から返信されたコンテンツデータを第１受信部１６０Ａを介して受信すると、当該コンテンツデータに含まれているオーディオデータを音声処理部１３０に与え、２チャネルオーディオデータであるのか、それともマルチチャネルオーディオデータであるのかを判別させる。２チャネルオーディオデータであると判別された場合には、中継制御部２００は、第１受信部１６０Ａを介して受信したコンテンツデータを第２送信部１５０Ｂに与えてその宛先（すなわち、コンテンツダウンロード要求の送信元のＡＶレシーバ）へ転送する。逆に、マルチチャネルオーディオデータであると判別された場合には、中継制御部２００は、マルチチャネルオーディオデータに、送信元を示す識別子として上記ＡＶレシーバの通信アドレスを付与して仮想音源化装置３０に送信する。そして、中継制御部２００は、仮想音源化装置３０から上記ＡＶレシーバ宛てに返信されてくる２チャネルオーディオデータを第１受信部１６０Ａを介して受信すると、上記コンテンツデータに含まれているマルチチャネルオーディオデータを当該２チャネルオーディオデータに置き換えてＡＶレシーバ１０へ転送する。このような態様によっても上記各実施形態と同様な効果が得られる。
【００４６】
（４）上記各実施形態における仮想音源化装置は、複数のＡＶレシーバからマルチチャネルオーディオデータを受信した場合には、その受信順に２チャネルオーディオデータへの変換を行う。しかし、仮想音源化装置に所謂ＱｏＳ（Quality of Service）を行わせるようにしても良い。具体的には、マルチチャネルオーディオデータの送信元について予め優先順位を付けておき、ある送信元より受信したマルチチャネルオーディオデータの仮想音源化を行っている間は、その送信元よりも優先度の低い送信元から受信したマルチチャネルオーディオデータをキューに貯めておき、前者の仮想音音源化および返信が完了するまで、当該優先順位の低いマルチチャネルオーディオデータの仮想音源化を開始しないといった具合である。なお、仮想音源化を実行中のマルチチャネルオーディオデータよりも優先順位の高いマルチシャネルオーディオデータを受信した場合には、前者の仮想音源化を中断し、後者の仮想音源化が完了した後に再開するようにしても良い。
【００４７】
また、送信元の優先順位に応じたＱｏＳではなく、受信したマルチチャネルオーディオデータの内容に応じたＱｏＳを仮想音源化装置に実行させても良い。例えば、楽曲の演奏音や歌唱音声を表すマルチチャネルオーディオデータの処理を、会話等の音声を表すマルチチャネルオーディオデータの処理よりも優先させるといった具合である。一般に、会話の音声であれば、再生が途切れ途切れになったとしても大きな影響は生じないが、楽曲の演奏音や歌唱音声であれば、再生が途切れ途切れになることの影響が大きいからである。また、変形例（３）にて説明したように中継装置に本発明を適用する場合には、コンテンツサーバ８０から受信したコンテンツデータに含まれるオーディオデータに対する音声処理部１３０の処理順を当該コンテンツデータの宛先の優先順位に応じて制御することによりＱｏＳを実現することも可能である。
【符号の説明】
【００４８】
１Ａ，１Ｂ、１Ｃ、１Ｄ…通信システム、１０…ＡＶレシーバ、１２…ＡＶアンプ、１１０…入力処理部、１２０…映像再生部、１３０…音声処理部、１４０…カメラインタフェース部、１５０…送信部、１６０…受信部、１７０…音声再生部、１８０…制御部、２０…通信網、３０…仮想音源化装置、３１０…受信部、３２０…仮想音源生成部、３３０…送信部、８０…コンテンツサーバ、９０，９２…通信アダプタ装置、９４…中継装置、１５０Ａ…第１送信部、１６０Ａ…第１受信部、１５０Ｂ…第２送信部、１６０Ｂ…第２受信部、２００…中継制御部。
【図１】
2014131140.tif 000003
【図２】
2014131140.tif 000004
【図３】
2014131140.tif 000005
【図４】
2014131140.tif 000006
【図５】
2014131140.tif 000007
【図６】
2014131140.tif 000008
【図７】
2014131140.tif 000009
【図８】
2014131140.tif 000010
【図９】
2014131140.tif 000011