(57)【要約】【課題】予め設置されているラウドスピーカの数および位置を変更することなく、ユーザがビデオコンテンツを視聴する位置に応じて、ビデオとオーディオとの定位を合致させる。【解決手段】本発明のマルチメディア装置は、ディスプレイおよび複数のラウドスピーカを有するマルチメディア装置であって、ユーザがマルチメディアデータを視聴する視聴位置および前記各ラウドスピーカの設置位置を取得する位置情報取得部１と、前記各ラウドスピーカから出力される音声が、前記視聴位置で前記ディスプレイに表示される画像に適応する音声となるように、入力信号を補正する仮想音源生成部３と、を備える。【選択図】図３
2015070324.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイおよび複数のラウドスピーカを有するマルチメディア装置であって、
ユーザがマルチメディアデータを視聴する視聴位置および前記各ラウドスピーカの設置位置を取得する位置情報取得部と、
前記各ラウドスピーカから出力される音声が、前記視聴位置で前記ディスプレイに表示される画像に適応する音声となるように、入力信号を補正する仮想音源生成部と、を備えることを特徴とするマルチメディア装置。
【請求項２】
前記仮想音源生成部は、前記視聴位置と前記各ラウドスピーカの設置位置との間の音声伝達特性を示す第１の頭部伝達関数、および前記視聴位置と前記ディスプレイに表示される画像に適応する音声を前記視聴位置に出力する仮想ラウドスピーカの設置位置との間の音声伝達特性を示す第２の頭部伝達関数に基づいて作成された少なくとも一つのフィルタを備え、前記フィルタを用いて入力信号を補正することを特徴とする請求項１記載のマルチメディア装置。
【請求項３】
前記仮想音源生成部は、複数の第１の頭部伝達関数および複数の第２の頭部伝達関数を備え、前記位置情報取得部が取得したユーザの視聴位置および前記各ラウドスピーカの設置位置に応じて、前記フィルタを作成し、作成した前記フィルタを用いて入力信号を補正することを特徴とする請求項２記載のマルチメディア装置。
【請求項４】
前記仮想音源生成部は、複数の視聴位置または複数の前記各ラウドスピーカの設置位置に応じて予め作成された複数のフィルタを備え、前記位置情報取得部が取得した視聴位置および前記各ラウドスピーカの設置位置に応じて、いずれかのフィルタを選択し、選択した前記フィルタを用いて入力信号を補正することを特徴とする請求項２記載のマルチメディア装置。
【請求項５】
ディスプレイおよび複数のラウドスピーカを有するマルチメディア装置の動作を制御するプログラムであって、
ユーザがマルチメディアデータを視聴する視聴位置および前記各ラウドスピーカの設置位置を取得する処理と、
前記視聴位置と前記各ラウドスピーカの設置位置との間の音声伝達特性を示す第１の頭部伝達関数、および前記視聴位置と前記ディスプレイに表示される画像に適応する音声を前記視聴位置に出力する仮想ラウドスピーカの設置位置との間の音声伝達特性を示す第２の頭部伝達関数に基づいて作成された少なくとも一つのフィルタを用いて、前記各ラウドスピーカから出力される音声が、前記視聴位置で前記ディスプレイに表示される画像に適応する音声となるように、入力信号を補正する処理と、の一連の処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイに表示される画像と複数のラウドスピーカから出力される音声とを定位させる技術に関する。
【背景技術】
【０００２】
近年、記録装置の大容量化が進み、パーソナルコンピュータ、携帯電話器、スマートフォンなどに代表される情報機器では、多数のビデオコンテンツやオーディオコンテンツを保存し、再生することができるようになっている。さらに、インターネットを介して、多数のビデオコンテンツやオーディオコンテンツを再生することもできるようになっている。ここで、ビデオコンテンツを再生する際、一般に、そのビデオは情報機器に設けられたディスプレイで再生され、また、そのオーディオは情報機器に内蔵された１つ以上のラウドスピーカから再生される。
【０００３】
しかしながら、情報機器に内蔵された１つ以上のラウドスピーカの位置は、当然ながら、予め固定されている。一方、ビデオコンテンツの再生において、一般に、そのビデオ映像は横長のディスプレイで再生されることが想定されている。このため、複数のラウドスピーカを有する情報機器において、ディスプレイを横長に配置した場合を想定して複数のラウドスピーカが設置されていれば、ビデオ再生におけるオーディオのステレオ再生に適するが、そうでない場合には、ビデオとオーディオとの定位が合致せず、非常に不自然となる。
【０００４】
例えば、スマートフォンのように、平面図に表すと略長方形となる筐体を有する情報機器の場合、２つのラウドスピーカが、上記略長方形のうちの一つの短辺側に並設されていることが多い。このようなスマートフォンでビデオコンテンツを再生する場合、ユーザは、ディスプレイを横長にしてビデオコンテンツを視聴することとなる。このとき、略長方形の一つの短辺側に並設された２つのラウドスピーカから音声が出力されるので、ユーザにとっては、左右どちらかの一方向だけから音声が聴こえることとなる。このような状況では、ビデオとオーディオとの定位が合致せず、ユーザに対して、違和感を与えてしまう。特に、オーディオでステレオ再生をする場合は、著しく音響効果が損なわれる。
【０００５】
特許文献１では、３つのラウドスピーカをディスプレイの上部中央、左下、右下に設け、情報機器の向きを検出し、ステレオ再生に適した２つのラウドスピーカを選択することにより、上記の問題点の解決を図っている。また、特許文献２では、３つのラウドスピーカをディスプレイの３隅に設け、情報機器の向きを検出し、ステレオ再生に適した２つのラウドスピーカを選択することにより、上記の問題点の解決を図っている。さらに、特許文献３では、２つのラウドスピーカをディスプレイの対角線上に設け、情報機器の向きを検出し、左チャネルと右チャネルを切り替えることにより、上記の問題点の解決を図っている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１７４２７７号公報
【特許文献２】特開２００９−２３２４２４号公報
【特許文献３】特開２００３−０７８６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１および特許文献２に記載されている技術では、３つのラウドスピーカが必要であり、機器点数が増えてしまう。その結果、情報機器の小型化が容易ではなくなり、コストも上昇してしまう恐れがある。また、特許文献３の方法では、２つのラウドスピーカが対角線上に配置されており、ビデオとオーディオが対角線上に定位するため、情報機器が大きい場合、非常に不自然となる。このため、少ない部品点数では、高い満足度を得ることができなかった。さらに、従来の技術では、ディスプレイを縦にするか横にするかという点のみが考慮されており、ユーザがビデオコンテンツを視聴する位置を考慮したものではない。このため、従来の技術では、ユーザの位置に応じたオーディオの最適化を図ることができなかった。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、予め設置されているラウドスピーカの数および位置を変更することなく、ユーザがビデオコンテンツを視聴する位置に応じて、ビデオとオーディオとの定位を合致させることができるマルチメディア装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のマルチメディア装置は、ディスプレイおよび複数のラウドスピーカを有するマルチメディア装置であって、ユーザがマルチメディアデータを視聴する視聴位置および前記各ラウドスピーカの設置位置を取得する位置情報取得部と、前記各ラウドスピーカから出力される音声が、前記視聴位置で前記ディスプレイに表示される画像に適応する音声となるように、入力信号を補正する仮想音源生成部と、を備えることを特徴とする。
【００１０】
このように、各ラウドスピーカから出力される音声が、ユーザの視聴位置でディスプレイに表示される画像に適応する音声となるように、入力信号を補正するので、ユーザがビデオコンテンツを視聴する位置に応じて、仮想的に各ラウドスピーカの設置位置が移動して仮想音源が生成され、ビデオとオーディオとの定位を合致させることが可能となる。
【００１１】
（２）また、本発明のマルチメディア装置において、前記仮想音源生成部は、前記視聴位置と前記各ラウドスピーカの設置位置との間の音声伝達特性を示す第１の頭部伝達関数、および前記視聴位置と前記ディスプレイに表示される画像に適応する音声を前記視聴位置に出力する仮想ラウドスピーカの設置位置との間の音声伝達特性を示す第２の頭部伝達関数に基づいて作成された少なくとも一つのフィルタを備え、前記フィルタを用いて入力信号を補正することを特徴とする。
【００１２】
このように、第１および第２の頭部伝達関数に基づいて作成されたフィルタを用いて入力信号を補正するので、仮想音源として各ラウドスピーカの設置位置とは異なる空間内の位置に仮想ラウドスピーカを生成し、この仮想音源からユーザの視聴位置でディスプレイに表示される画像に適応する音声を提供することが可能となる。これにより、ユーザがビデオコンテンツを視聴する位置に応じて、ビデオとオーディオとの定位を合致させることが可能となる。
【００１３】
（３）また、本発明のマルチメディア装置において、前記仮想音源生成部は、複数の第１の頭部伝達関数および複数の第２の頭部伝達関数を備え、前記位置情報取得部が取得したユーザの視聴位置および前記各ラウドスピーカの設置位置に応じて、前記フィルタを作成し、作成した前記フィルタを用いて入力信号を補正することを特徴とする。
【００１４】
このように、複数の第１の頭部伝達関数および複数の第２の頭部伝達関数を備え、位置情報取得部が取得したユーザの視聴位置および各ラウドスピーカの設置位置に応じて、フィルタを作成ので、ユーザの視聴位置や現時点での各ラウドスピーカの設置位置に応じて、リアルタイムでビデオとオーディオとの定位を合致させることが可能となる。例えば、ユーザが情報機器を９０度回転させてビデオコンテンツを視聴しようとした時は、それに追従して仮想音源の位置を設定し直すことが可能となる。
【００１５】
（４）また、本発明のマルチメディア装置において、前記仮想音源生成部は、複数の視聴位置または複数の前記各ラウドスピーカの設置位置に応じて予め作成された複数のフィルタを備え、前記位置情報取得部が取得した視聴位置および前記各ラウドスピーカの設置位置に応じて、いずれかのフィルタを選択し、選択した前記フィルタを用いて入力信号を補正することを特徴とする。
【００１６】
このように、複数の視聴位置または複数の前記各ラウドスピーカの設置位置に応じて予め作成された複数のフィルタを備え、位置情報取得部が取得した視聴位置および前記各ラウドスピーカの設置位置に応じて、いずれかのフィルタを選択するので、処理速度が速く、早期にビデオとオーディオとの定位を合致させることが可能となる。例えば、ユーザの選択操作を契機として、いずれかのフィルタを選択することによって、ユーザの選択に応じて仮想音源の位置を設定することが可能となる。
【００１７】
（５）また、本発明のプログラムは、ディスプレイおよび複数のラウドスピーカを有するマルチメディア装置の動作を制御するプログラムであって、ユーザがマルチメディアデータを視聴する視聴位置および前記各ラウドスピーカの設置位置を取得する処理と、前記視聴位置と前記各ラウドスピーカの設置位置との間の音声伝達特性を示す第１の頭部伝達関数、および前記視聴位置と前記ディスプレイに表示される画像に適応する音声を前記視聴位置に出力する仮想ラウドスピーカの設置位置との間の音声伝達特性を示す第２の頭部伝達関数に基づいて作成された少なくとも一つのフィルタを用いて、前記各ラウドスピーカから出力される音声が、前記視聴位置で前記ディスプレイに表示される画像に適応する音声となるように、入力信号を補正する処理と、の一連の処理をコンピュータに実行させることを特徴とする。
【００１８】
このように、各ラウドスピーカから出力される音声が、ユーザの視聴位置でディスプレイに表示される画像に適応する音声となるように、入力信号を補正するので、ユーザがビデオコンテンツを視聴する位置に応じて、仮想的に各ラウドスピーカの設置位置が移動して仮想音源が生成され、ビデオとオーディオとの定位を合致させることが可能となる。また、第１および第２の頭部伝達関数に基づいて作成されたフィルタを用いて入力信号を補正するので、仮想音源として各ラウドスピーカの設置位置とは異なる空間内の位置に仮想ラウドスピーカを生成し、この仮想音源からユーザの視聴位置でディスプレイに表示される画像に適応する音声を提供することが可能となる。これにより、ユーザがビデオコンテンツを視聴する位置に応じて、ビデオとオーディオとの定位を合致させることが可能となる。
【発明の効果】
【００１９】
本発明によれば、各ラウドスピーカから出力される音声が、ユーザの視聴位置でディスプレイに表示される画像に適応する音声となるように、入力信号を補正するので、ユーザがビデオコンテンツを視聴する位置に応じて、仮想的に各ラウドスピーカの設置位置が移動して仮想音源が生成され、ビデオとオーディオとの定位を合致させることが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本実施形態に係るマルチメディア装置の概念を示す図である。
【図２】２種類の頭部伝達関数の概要を示す図である。
【図３】本実施形態に係るマルチメディア装置の概略構成を示すブロック図である。
【図４】各ラウドスピーカの設置位置を所望の位置に仮想的に移動させる動作を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照し、本発明を実施するための形態について説明し、本発明の理解に供する。なお、以下の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格ものではない。
【００２２】
本実施形態に係るマルチメディア装置は、ディスプレイと２つ以上のラウドスピーカを有し、ビデオとオーディオの定位を合致させるため、ディスプレイと２つ以上のラウドスピーカの位置関係、ジャイロセンサの情報、およびビデオコンテンツの情報に基づいて、仮想音源再生技術を用い、ビデオとオーディオの定位を合致させる。
【００２３】
図１は、本実施形態に係るマルチメディア装置の概念を示す図である。また、図２は、２種類の頭部伝達関数の概要を示す図である。すなわち、本実施形態では、ビデオとオーディオの定位を合致させるため、頭部伝達関数を利用して、２つ以上のラウドスピーカの位置を仮想的に移動させ、ラウドスピーカの設置位置とは異なる位置で仮想ラウドスピーカから音声を出力する。
【００２４】
まず、ラウドスピーカが２つである場合について説明する。図１および図２において、ラウドスピーカ１からユーザの左耳までおよび右耳までの音響経路の伝達特性を表す頭部伝達関数を、それぞれＨ1L（ｆ）およびＨ1R（ｆ）とする。また、ラウドスピーカ２からユーザの左耳までおよび右耳までの頭部伝達関数を、それぞれＨ2L（ｆ）およびＨ2R（ｆ）とする。ここで、ｆは周波数のインデックスで、ｔは時間のインデックスである。
【００２５】
一方、２つ以上のラウドスピーカの設置位置を仮想的に所望の位置に移動させるため、移動先である位置からユーザの左耳までおよび右耳までの音響経路の伝達特性を表す頭部伝達関数を、それぞれＶ1L（ｆ）およびＶ1R（ｆ）とする。このとき、式（１）に示すように、ユーザの左耳および右耳における音響信号が等しければ、所望の位置に仮想音源を生成することができる。ここで、Ｗ1L（ｆ）およびＷ2L（ｆ）は、所望の位置に仮想音源を生成するための、左チャネルの音源信号ｓL（ｆ，ｔ）と畳み込みを行う仮想音源再生伝達関数である。なお、周波数のインデックスｆは省略している。
【００２６】
【数１】
2015070324.tif 000003
ここで、式（１）のＨに関する２×２行列をＡ、Ｗに関する２次元ベクトルをｘ、Ｖに関する２次元ベクトルをｂとすれば、式（１）は、式（２）のように表すことができる。
【００２７】
【数２】
2015070324.tif 000004
さらに、ｘは、式（３）のように求められる。
【００２８】
【数３】
2015070324.tif 000005
求められたｘ、すなわちＷ1L（ｆ）およびＷ2L（ｆ）は、まず、左チャネルの音源信号ｓL（ｆ，ｔ）と畳み込み、左チャネルの音源信号ｓL（ｆ，ｔ）に対するラウドスピーカ１および２から再生すべき音響信号成分を得る。さらに、右チャネルの音源信号ｓR（ｆ，ｔ）は、同様に、Ｗ1R（ｆ）およびＷ2R（ｆ）を求め、右チャネルの音源信号ｓR（ｆ，ｔ）に対するラウドスピーカ１および２から再生すべき音響信号成分を得る。最後に、ラウドスピーカ１および２のそれぞれの音響信号成分を加算し、ラウドスピーカ１および２から再生することで、２つのラウドスピーカの位置を仮想的に、所望の位置に移動させることが可能となる。
【００２９】
なお、ラウドスピーカが３つ以上の場合、式（１）は、式（４）のように示すことができる。
【００３０】
【数４】
2015070324.tif 000006
ここで、Ｎはラウドスピーカの数である。ここで、式（４）のＨに関する２×Ｎ行列をＡ、Ｗに関するＮ次元ベクトルをｘ、Ｖに関する２次元ベクトルをｂとすれば、式（２）より、式（３）は、式（５）のように示すことができる。
【００３１】
【数５】
2015070324.tif 000007
ここで、添字の＋は、Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅの擬似逆行列である。
【００３２】
また、頭部伝達関数は、複数の位置で測定され、あらかじめ保存されているものとする。情報機器に内蔵されたディスプレイと２つ以上のラウドスピーカの位置情報は、既知であり、あらかじめ保存されているものとする。情報機器に内蔵されたディスプレイの回転方向情報は、情報機器からあらかじめ定義されたアプリケーションプログラミングインターフェースを経て、取得することができる。
【００３３】
図３は、本実施形態に係るマルチメディア装置の概略構成を示すブロック図である。図３において、入力信号は、ステレオ、あるいはモノラルの音声信号である。位置情報取得部１は、実在するラウドスピーカの設置位置と、仮想的に鳴動する仮想ラウドスピーカのユーザとの相対位置を、仮想音源生成部３に提供する。これらの位置情報は、ユーザの視聴姿勢を既定した上で、固定であっても良い。仮想的に鳴動するラウドスピーカの位置は、ユーザにより自由に変更しても良い。また、カメラ９から取得される映像、ジャイロセンサ１１を用いて取得した情報に基づいて自動的に計測しても良い。
【００３４】
仮想音源生成部３は、位置情報取得部１から提供されるラウドスピーカの位置情報に基づき、これらのラウドスピーカの位置情報と、予め測定された頭部伝達関数と、実在するスピーカの特性により、ラウドスピーカの位置を仮想的に所望の位置に移動させるためのフィルタを決定する。具体的には、予め作成された複数のフィルタから構成されるフィルタ集合５からいずれかのフィルタを選択し、入力信号との畳み込み演算処理を行ない、実在するラウドスピーカから出力すべき信号（音響信号）を生成する。
【００３５】
ラウドスピーカの位置を仮想的に所望の位置に移動させるためのフィルタは、ラウドスピーカの設置位置と、予め測定された頭部伝達関数と、実在するスピーカの特性に基づいて、ラウドスピーカの位置情報の変更にあわせて、都度導出しても良い。
【００３６】
図４は、各ラウドスピーカの設置位置を所望の位置に仮想的に移動させる動作を示すフローチャートである。まず、ディスプレイと２つ（以上）のラウドスピーカの位置情報の読み込みを行なう（ステップＳ１）。次に、ディスプレイの回転方向情報を取り込む（ステップＳ２）。例えば、ユーザが、それまで縦長で使用していたディスプレイを、ビデオコンテンツを視聴するために、横長となるように回転させたような場合が、これに該当する。次に、２つ（以上）のラウドスピーカの位置を、所望の位置に仮想的に移動させて（ステップＳ３）、ステップＳ２に遷移する。
【００３７】
このように、本実施形態によれば、各ラウドスピーカから出力される音声が、ユーザの視聴位置でディスプレイに表示される画像に適応する音声となる。これにより、ユーザがビデオコンテンツを視聴する位置に応じて、仮想的に各ラウドスピーカの設置位置が移動して仮想音源が生成され、ビデオとオーディオとの定位を合致させることが可能となる。
【符号の説明】
【００３８】
１  位置情報取得部
３  仮想音源生成部
５  フィルタ集合
９  カメラ
１１  ジャイロセンサ
【図１】
2015070324.tif 000008
【図２】
2015070324.tif 000009
【図３】
2015070324.tif 000010
【図４】
2015070324.tif 000011