(57)【要約】【課題】投影した映像の位置に応じた音響処理が施された音声を出力することが可能な映像音響装置を提供すること【解決手段】本発明の映像音響装置は、映像投影部と、焦点距離調節部と、音響処理部と、音声出力部とを具備する。映像投影部は、映像信号に応じた映像を投影する。焦点距離調節部は、投影される映像の焦点距離を調節する。音響処理部は、映像信号に対応する音声信号に、調節された焦点距離に応じた音響処理を施す。音声出力部は、音響処理が施された音声を出力する。  音響処理部が、焦点距離調節部が調節した焦点距離に基づいて音声信号に音響処理を施すことにより、映像投影部によって投影された映像の位置に応じた音響処理を施すことが可能である。【選択図】図１
2011188287.tif 000002
【特許請求の範囲】
【請求項１】
映像信号に応じた映像を投影する映像投影部と、
前記投影される映像の焦点距離を調節する焦点距離調節部と、
前記映像信号に対応する音声信号に、前記調節された焦点距離に応じた音響処理を施す音響処理部と、
前記音響処理が施された音声信号を出力する音声出力部と
を具備する映像音響装置。
【請求項２】
請求項１に記載の映像音響装置であって、
前記音響処理部は、前記音声信号に音響処理を施すデジタルフィルタを有し、前記調節された焦点距離に応じて前記デジタルフィルタのフィルタ係数を決定する
映像音響装置。
【請求項３】
請求項２に記載の映像音響装置であって、
前記音響処理部は、予め距離範囲毎に記憶されているフィルタ係数候補から前記調節された焦点距離に応じてフィルタ係数を選択する
映像音響装置。
【請求項４】
請求項３に記載の映像音響装置であって、
前記映像投影部は、投影レンズを有し、
前記焦点距離調節部は、前記投影レンズの位置を調節する
映像音響装置。
【請求項５】
請求項４に記載の映像音響装置であって、
前記音響処理部は、前記投影レンズの光軸方向に前記焦点距離だけ離間した位置に仮想音像定位を行う
映像音響装置。
【請求項６】
請求項１に記載の映像音響装置であって、
前記映像音響装置とは離間して配置された外部スピーカーから放音された音声を集音するマイクロフォンをさらに具備し、
前記音響処理部は、前記マイクロフォンの出力を基に、前記外部スピーカーの位置を推定し、さらに前記外部スピーカーの位置に基づいて前記音響処理を施す
映像音響装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の投影及び放音が可能な映像音響装置に関する。
【背景技術】
【０００２】
近年、ホームシアター等に利用される映像音響装置では、５．１チャンネル等の音声（音楽）のマルチチャンネル化が普及している。これは、視聴者の周囲にスピーカーを配置し、視聴者の前方（映像の方向）のみならず側方あるいは後方からも音声を放音することで、視聴者の周囲に立体音響を形成し、臨場感を向上させるものである。また、左右２チャンネルのスピーカーであっても放音強度や放音タイミングを調節することにより、視聴者の周囲に立体音響を形成する技術も開発されている（例えば、特許文献１参照）。
【０００３】
特許文献１に記載の「音響特性補正装置」では、集音マイクと、その周囲に配置された複数のスピーカーとによって、各スピーカーからの集音マイクまでの音響伝達関数が測定される。この音響伝達関数に基づいて、実際のスピーカーから放音される音声を補正することにより、立体音響が形成される。
【０００４】
このような立体音響技術により、視聴者に、実際のスピーカーの位置と異なる位置に音源（音像）が存在するかのように知覚させる仮想音像定位が可能となる。音声をディスプレイの位置に仮想音像定位させることで、視聴者に、ディスプレイの位置に音像が存在するかのように知覚させることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１４２８７５号公報（段落[００３９]、図１）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述のような立体音響技術は、映像面とスピーカーの相対位置が固定されている場合は効果的であるが、そうでない場合は不具合を生じる。つまり、映像面とスピーカーの相対位置が変動する場合、仮想音像定位の位置が映像面の位置とかけ離れてしまう。例えば、映像表示装置としてプロジェクタを用いた場合、映像面とスピーカーの相対位置はプロジェクタの位置あるいはフォーカス等によって変動し得る。このため、映像面の位置に仮想音像定位することは困難であった。
【０００７】
以上のような事情に鑑み、本発明の目的は、投影した映像の位置に応じた音響処理が施された音声を出力することが可能な映像音響装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る映像音響装置は、映像投影部と、焦点距離調節部と、音響処理部と、音声出力部とを具備する。
上記映像投影部は、映像信号に応じた映像を投影する。
上記焦点距離調節部は、上記投影される映像の焦点距離を調節する。
上記音響処理部は、上記映像信号に対応する音声信号に、上記調節された焦点距離に応じた音響処理を施す。
上記音声出力部は、上記音響処理が施された音声を出力する。
【０００９】
映像音響装置が映像を投影すると、焦点距離調節部によって焦点の調整がなされ、映像のピントが合っている状態でコンテンツの再生開始が指示される。このため、コンテンツの再生中においては映像投影部の焦点距離は、映像の投影距離とみなすことが可能である。したがって、音響処理部が、焦点距離調節部が調節した焦点距離に基づいて音声信号に音響処理を施すことにより、映像投影部によって投影された映像の位置に応じた音響処理が施される。即ち、本発明に係る映像音響装置は、映像の投影と、投影した映像の位置に応じた音響処理が可能である。
【００１０】
上記音響処理部は、デジタルフィルタを有し、上記焦点距離に基づいて上記デジタルフィルタのフィルタ係数を決定し、上記音声信号にデジタルフィルタを適用してもよい。
【００１１】
デジタルフィルタは入力された音声信号の周波数応答を変更し、音声信号に仮想的な伝達特性を付与することを可能とする。このデジタルフィルタに用いられるフィルタ係数が変更されると仮想的な伝達特性が変更される。音響処理部がフィルタ係数を焦点距離に基づいて決定し、そのフィルタ係数を用いて音声信号にデジタルフィルタ処理を施すことにより、投影された映像の位置に応じた音響処理が可能となる。
【００１２】
上記音響処理部は、予め距離範囲毎に記憶されているフィルタ係数候補から上記焦点距離に応じて上記フィルタ係数を選択してもよい。
【００１３】
上述のように、音響処理部は焦点距離に基づいてフィルタ係数を決定する。ここで、焦点距離からフィルタ係数を算出する場合は複雑な演算処理が必要であるが、本発明に係る映像音響装置では、予め記憶されているフィルタ係数候補から選択すればよく、複雑な演算処理は必要ない。これにより、映像音響装置がポータブル型等であって演算処理能力が限られる場合であっても、投影された映像の位置に応じた音響処理が可能である。
【００１４】
上記映像投影部は、投影レンズを有し、上記焦点距離調節部は、上記投影レンズの位置を調節してもよい。
【００１５】
映像投影機器では、光学系における投影レンズの位置を変更することによって投影される映像の焦点距離を変更することが一般的である。本発明に係る映像音響機器では、音響処理部が、焦点距離調節部が調節した投影レンズの位置に応じた音響処理を音声信号に施すことによって、投影された映像の位置に応じた音響処理が可能である。
【００１６】
上記音響処理部は、上記投影レンズの光軸方向に上記焦点距離だけ離間した位置に仮想音像定位を行ってもよい。
【００１７】
投影レンズの光軸方向に焦点距離だけ離間した位置は、映像が投影されている位置とみなすことができる。本発明に係る映像音響装置が当該位置に仮想音像定位を行うことにより、ユーザに投影された映像から音声が放音されているように知覚させることが可能となる。
【００１８】
上記音響処理部は、上記映像音響装置とは離間して配置された外部スピーカーから放音された音声を集音するマイクロフォンをさらに具備し、上記音響処理部は、上記マイクロフォンの出力を基に、上記外部スピーカーの位置を推定し、さらに上記外部スピーカーの位置に基づいて上記音響処理を施してもよい。
【００１９】
映像音響装置が映像音響装置と離間した外部スピーカーから放音する場合、外部スピーカーとユーザの間に伝達特性が存在する。本発明に係る映像音響装置は、外部スピーカーに対してテスト信号を出力して外部スピーカーから放音された音声を集音し、その伝達特性を算出することによってマイクロフォン、即ち映像音響装置に対する外部スピーカーの相対位置を推定することが可能となる。音響処理部が上述した焦点距離に加え、外部スピーカーの位置に基づいて音響処理を施すことにより、本発明に係る映像音響装置は投影した映像の位置に応じて音響処理が施された音声を放音することが可能となる。
【発明の効果】
【００２０】
本発明によれば、投影した映像の位置に応じた音響処理が施された音声を出力することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る映像音響装置を示すブロック図である。
【図２】同映像音響装置の音響フィルタ係数を決定する際の動作を示すフローである。
【図３】同映像音響装置のコンテンツ再生時の動作を示すフローである。
【図４】同映像音響装置の音響処理回路による音響処理を示すフローである。
【図５】同映像音響装置の音響処理回路による仮想音像定位処理における信号処理例を示す図である。
【図６】スピーカーとユーザの耳の間の伝達特性を説明するための概念図である。
【図７】スピーカーとユーザの耳の間の伝達特性を波形として示す図である。
【図８】本発明の第１の実施形態に係る映像音響装置の音響処理回路が用いるＦＩＲフィルタを示すブロック図である。
【図９】同映像音響装置による映像の投影と音声の放音の様子を示す模式図である
【図１０】本発明の第２の実施形態に係る映像音響装置の構成を示すブロック図である。
【図１１】同映像音響装置の音響フィルタ係数を決定する際の動作を示すフローである。
【図１２】同映像音響装置の音響処理回路による外部スピーカーの位置算出の説明のための模式図である。
【図１３】変形例にかかる映像音響装置の、映像面の位置と仮想音像定位の位置の例を示す模式図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２３】
（第１の実施形態）
第１の実施形態に係る映像音響装置について説明する。
図１は、第１の実施形態に係る映像音響装置１の構成を示すブロック図である。
本実施形態に係る映像音響装置１は、映像の投影及び音声の放音（ヘッドフォン出力を含む）が可能なポータブル型プロジェクタであるものとする。図１に示す映像音響装置１の各構成について説明する。
【００２４】
映像音響装置１は、記憶部２や演算処理部３、映像出力系（映像出力器５１、フォーカスレンズ５２、ズームレンズ５３）、音声出力系（Ｄ／Ａ変換器７４、アンプ７３、スピーカー７１、ヘッドフォン端子７２）等を備える。
【００２５】
記憶部２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard disk drive）、ＳＳＤ（Solid State Drive）等の記憶素子である。また、記憶部２は、映像音響装置１に内蔵されていなくてもよく、外付けのＨＤＤ、メモリーカード等であってもよい。さらに、記憶部２は、ネットワーク接続によって代替することも可能である。
【００２６】
記憶部２は、コンテンツデータＣと音響フィルタ係数候補Ｆとを記憶している。コンテンツデータＣは映像情報と音声情報をともに含むデータである。音響フィルタ係数候補Ｆは、後述する音響処理に用いられる係数の候補である。記憶部２は、演算処理部３からの要求に応じて演算処理部３にコンテンツデータＣ及び音響フィルタ係数候補Ｆを出力する。
【００２７】
演算処理部３は、演算処理が可能な素子であり典型的にはＣＰＵ（Central Processing Unit）である。演算処理部３は、レンズ制御回路３１、コンテンツ展開回路３２、映像処理回路３３及び音響処理回路３４を有する。
【００２８】
レンズ制御回路３１は、後述するフォーカス調整スイッチ４１及びズーム調整スイッチ４２を用いたユーザの操作入力に応じて、フォーカスレンズ駆動機構４４及びズームレンズ駆動機構４５に制御信号を出力する。コンテンツ展開回路３２は、記憶部２から出力されたコンテンツデータＣを展開演算（デコード処理）し、映像信号と音声信号とに分離する。コンテンツ展開回路３２は、映像信号を映像処理回路３３に出力し、音声信号を音響処理回路３４に出力する。
【００２９】
映像処理回路３３は、コンテンツ展開回路３２から出力された映像信号に対しノイズリダクション、色調補正、ＲＧＢ変換等の映像処理をして映像出力器５１に出力する。音響処理回路３４は、コンテンツ展開回路３２から出力された音声信号に対し、後述する音響処理を施す。音響処理回路３４には、音響フィルタ係数候補Ｆが記憶部２から出力され、さらに、フォーカスレンズ５２及びズームレンズ５３の位置情報が出力される。
【００３０】
映像出力器５１は、映像処理回路３３から出力された映像信号を映像光線に変換する。映像出力器５１は、液晶、ＬＥＤ（Light Emitting Diode）、「ＤＬＰ（Digital Light Processing）」（登録商標）、ＬＣＯＳ（Liquid crystal on silicon）、「ＧＬＶ（Grating Light Valve）」（登録商標）、ＣＲＴ（Cathode Ray Tube）等の種々の機器を用いることができる。
【００３１】
フォーカスレンズ５２は、焦点距離調節用のレンズであり、映像光線の光軸方向に移動可能に設けられている。フォーカスレンズ５２は光軸方向に移動することによって、透過光の焦点距離を映像音響装置１に対して変動させる。ズームレンズ５３は、画角調節用のレンズであり、映像光線の光軸方向に移動可能に設けられている。ズームレンズ５３は光軸方向に移動することによって、映像のサイズ（拡大倍率）を変動させる。このように、フォーカスレンズ５２及びズームレンズ５３によって光学系が構成されている。
【００３２】
フォーカス調整スイッチ４１及びズーム調整スイッチ４２は、ユーザによる操作入力を汎用入力ポート４３を介してレンズ制御回路３１に伝達する。フォーカスレンズ駆動機構４４は、フォーカス調整スイッチ４１の操作入力に応じてレンズ制御回路３１にて生成された制御信号を受けて、フォーカスレンズ５２を光軸方向に移動させる。ズームレンズ駆動機構４５も同様に、ズーム調整スイッチ４２の操作入力に応じてレンズ制御回路３１にて生成された制御信号を受けて、ズームレンズ５３を光軸方向に移動させる。フォーカスレンズ駆動機構４４及びズームレンズ駆動機構４５は、例えばステッピングモータを用いたものとすることができる。
【００３３】
フォーカスレンズ位置検出器６１は、フォーカスレンズ５２の光軸方向における位置を検出して、Ａ／Ｄ（Analog/Digital）変換器６３を介して音響処理回路３４に出力する。同様に、ズームレンズ位置検出器６２は、ズームレンズ５３の光軸方向における位置を検出して、Ａ／Ｄ変換器６３を介して音響処理回路３４に出力する。フォーカスレンズ位置検出器６１及びズームレンズ位置検出器６２は、ロータリーエンコーダー、ポテンショメーター等を使った検出方法によって、それぞれのレンズの位置を検出する。また、フォーカスレンズ５２及びズームレンズ５３がステッピングモーターによって駆動される場合、このステッピングモーターの駆動履歴からそれぞれのレンズの位置を検出するようにしてもよい。
【００３４】
スピーカー７１及びヘッドフォン端子７２はそれぞれ、アンプ７３及びＤ／Ａ（Digital/Analog）変換器７４を介して音響処理回路３４に接続されている。スピーカー７１はステレオ２チャンネルあるいはより多数のチャンネルを有するものとすることができる。ヘッドフォン端子７２は、ステレオ２チャンネルのヘッドフォンが接続される端子とすることができる。スピーカー７１は映像音響装置１に一体的に設けられているものとする。
【００３５】
映像音響装置１は以上のように構成される。
以下、映像音響装置１の動作について説明する。
【００３６】
映像音響装置１は、電源が投入されると映像調整用の映像（画像）を投影する。ユーザは映像音響装置１を移動させ、あるいはフォーカス調整スイッチ４１及びズーム調整スイッチ４２を操作して映像のピント及び画角を調整する。具体的には、ユーザがフォーカス調整スイッチ４１を操作するとフォーカスレンズ駆動機構４４がフォーカスレンズ５２を光軸方向に移動させる。また、ユーザがズーム調整スイッチ４２を操作するとズームレンズ駆動機構４５がズームレンズ５３を光軸方向に移動させる。
【００３７】
映像音響装置１は、ユーザからコンテンツ再生開始の指示が入力されると、コンテンツ再生の前に音響処理に用いる音響フィルタ係数を決定する。図２は、この音響フィルタ係数の決定の際の映像音響装置１の動作を示すフローである。
【００３８】
同図に示すように、音響処理回路３４は、フォーカスレンズ位置検出器６１からフォーカスレンズ５２の位置情報を取得し、ズームレンズ位置検出器６２からズームレンズ５３の位置情報を取得する（Ｓｔ１）。なお、この位置とは、上述のように映像音響装置１の光学系における光軸に沿った位置である。次に、音響処理回路３４は、フォーカスレンズ５２及びズームレンズ５３の位置情報から光学系の焦点距離を求める（Ｓｔ２）。次に、音響処理回路３４は、焦点距離に基づいて音響フィルタ係数を決定する（Ｓｔ３）。この音響フィルタ係数の決定については後述する。
【００３９】
次に、映像音響装置１はコンテンツを再生する。なお、ここでは、コンテンツ再生中にはフォーカス調整スイッチ４１及びズーム調整スイッチ４２は操作されないものとする。
【００４０】
図３は、コンテンツ再生時の映像音響装置１の動作を示すフローである。
コンテンツ再生が指示されると、コンテンツ展開回路３２が記憶部２に記憶されているコンテンツデータＣの少なくとも一部を読み込む（Ｓｔ４）。次に、コンテンツ展開回路３２は、コンテンツデータＣを展開演算（デコード処理）し、映像信号と音声信号に分離する（Ｓｔ５）。
【００４１】
映像処理回路３３は、映像信号に対して映像処理をし（Ｓｔ６）、映像出力器５１に出力する。映像出力器５１は、映像信号を映像光線に変換して出力する（Ｓｔ７）。この映像光線はフォーカスレンズ５２及びズームレンズ５３を透過して、投影対象物に投影される。一方、音響処理回路３４は、音響信号に対して、上記Ｓｔ３にて算出した音響フィルタ係数を用いた音響処理を施し（Ｓｔ８）、Ｄ／Ａ変換器７４に出力する。Ｓｔ８の音響処理については後述する。Ｄ／Ａ変換器７４及びアンプ７３は、音響処理された音声信号をスピーカー７１及びヘッドフォン端子７２に出力する（Ｓｔ９）。
【００４２】
コンテンツ展開回路３２は、コンテンツデータＣが全て読み込まれた場合（Ｙｅｓ）、コンテンツデータの再生を終了し、コンテンツデータＣが全て読み込まれていない場合（Ｎｏ）、再度コンテンツデータＣを読み込む（Ｓｔ１０）。このようにして、コンテンツの映像が投影され、この映像に対応した音響処理が施された音声が放音される。
【００４３】
次に、コンテンツ再生中に、フォーカス調整スイッチ４１又はズーム調整スイッチ４２がユーザによって操作された場合について説明する。これは例えば、映像音響装置１がユーザによって移動され、映像のピントが再調整される場合である。
【００４４】
上述のようにコンテンツ再生前に音響フィルタ係数が算出され、その音響フィルタ係数を音響処理に利用してコンテンツが再生されているとする。ここで、フォーカス調整スイッチ４１がユーザによって操作されると、フォーカスレンズ位置検出器６１からフォーカスレンズ５２の新たな位置情報が音響処理回路３４に出力される。また、ズーム調整スイッチ４２がユーザによって操作されると、ズームレンズ位置検出器６２からズームレンズ５３の新たな位置情報が音響処理回路３４に出力される。
【００４５】
音響処理回路３４は、フォーカスレンズ５２又はズームレンズ５３の新たな位置情報が出力されると、上述のように位置情報から焦点距離を求め、音響フィルタ係数を更新する。音響処理回路３４は、例えばＡ／Ｄ変換器６３の出力が一定値以上変動すると、新たな位置情報が出力されたものとして音響フィルタ係数を更新するものとすることができる。音響処理回路３４は以降、この更新された音響フィルタ係数を用いて音声信号に音響処理を施す。再びフォーカスが変更されると、音響処理回路３４は同様にして音響フィルタ係数を更新し、音響処理に用いる。
【００４６】
以下、音響処理回路３４による音響処理について説明する。
【００４７】
図４は、音響処理回路３４による音響処理を示すフローである。
図４（ａ）はヘッドフォン端子７２に接続されたヘッドフォンから放音する場合のフローであり、図４（ｂ）はスピーカー７１から放音する場合のフローである。
【００４８】
図４（ａ）及び図４（ｂ）に示すように、音響処理回路３４は、入力された音声信号に対して音響フィルタ係数を用いて仮想音像定位処理を行う。また、映像音響装置１がスピーカー７１から放音する場合、音響処理回路３４は仮想音像定位処理後の音声信号に対してクロストークキャンセルを行う。なお、音響処理回路３４が音声信号に施す音響処理は仮想音像定位処理に限られない。
【００４９】
図５は、仮想音像定位処理における信号処理例を示す図である。
ここでは、コンテンツに含まれている音声信号（Ｓｉｇ１、Ｓｉｇ２、…ＳｉｇＮ）を、左チャンネル及び右チャンネルの２チャンネルから出力するための処理を示す。音声信号Ｓｉｇ１〜ＳｉｇＮはマルチチャンネルのそれぞれの音声信号であり、例えば５．１チャンネルであればＮは５である（指向性の低い低音域である０．１チャンネルを除く）。
【００５０】
図５に示すように、音響処理回路３４は、音声信号Ｓｉｇ１〜ＳｉｇＮのそれぞれについて、左チャンネル出力用のデジタルフィルタ（Ｆ１Ｌ〜ＦＮＬ）と右チャンネル出力用のデジタルフィルタ（Ｆ１Ｒ〜ＦＮＲ）を適用する。デジタルフィルタは、各音声信号Ｓｉｇ１〜ＳｉｇＮについて仮想的な伝達特性を付与するためのものである。以下、伝達特性について説明する。
【００５１】
図６は、伝達特性を説明するための概念図である。図６には、ユーザＵ、ユーザＵから距離ａ離れて配置された一組のスピーカーＳａＲ及びＳａＬ、距離ｂ離れて配置された一組のスピーカーＳｂＲ及びＳｂＬ、距離ｃ離れて配置された一組のスピーカーＳｃＲ及びＳｃＬが示されている。スピーカーＳａＲとＳａＬの間の距離、スピーカーＳｂＲとＳｂＬの間の距離、スピーカーＳｃＲとＳｃＬの間の距離はそれぞれ距離ａ、ｂ及びｃに比例している。図６では、スピーカーＳａＬから放音された音がユーザＵの左耳に到達する間の伝達特性ＴａＬＬ及び右耳に到達する間の伝達特性ＴａＬＲが示されている。
【００５２】
ユーザＵの右耳の位置にマイクＭＲを配置し、左耳の位置にマイクＭＬを配置する。
各スピーカーからインパルス音（エネルギー的に平坦な周波数特性を持つ短音）を放音し、マイクＭＲ及びマイクＭＬで集音する。図７には、スピーカーＳａＬ、ＳｂＬ及びＳｃＬから放音された音がユーザＵの両耳に到達する間の伝達特性を、マイクＭＲ及びマイクＭＬで集音された音の波形として示す。図７に示すように、ユーザＵとスピーカーの距離が異なると、各スピーカーから放音された音が同一であっても、マイクによって集音される音の波形は異なる。このスピーカーとマイク（ユーザの耳）との間の距離に応じた周波数、振幅、到達時間等の特性が伝達特性である。
【００５３】
伝達特性は頭部伝達関数を用いて表現することが可能である。頭部伝達関数は音源から放音される音とユーザーが聞こえる音の関係を示す関数である。例えば、上述のスピーカーＳａＬ及びＳａＲから放音される場合、ユーザＵの左耳について、
ＹＬ（ｓ）＝ＨＬ_Ａ（ｓ）ＸＬ（ｓ）＋ＨＬ_Ｂ（ｓ）ＸＲ（ｓ）  （式１）
ＹＬ（ｓ）は受聴者の左耳への入力、ＸＬ（ｓ）はスピーカーＳａＬの出力、ＸＲ（ｓ）はスピーカーＳａＲの出力、ＨＬ_Ａ（ｓ）は、スピーカーＳａＬと左耳間の頭部伝達関数、ＨＬ_Ｂ（ｓ）はスピーカーＳａＲと左耳間の頭部伝達関数である。
【００５４】
式１に示すように、ユーザＵの左耳には、スピーカーＳａＬから放音された、スピーカーＳａＬと左耳の間の伝達特性を有する音（ＨＬ_Ａ（ｓ）ＸＬ（ｓ））と共にスピーカーＳａＲから放音された、スピーカーＳａＲと左耳の伝達特性を有する音（ＨＬ_Ｂ（ｓ）ＸＲ（ｓ））が到達する。
【００５５】
同様に、ユーザＵの右耳については、
ＹＲ（ｓ）＝_ＨＲ_Ａ（ｓ）ＸＬ（ｓ）＋ＨＲ_Ｂ（ｓ）ＸＲ（ｓ）  （式２）
ＹＲ（ｓ）は受聴者の左耳への入力、ＨＲ_Ａ（ｓ）は、スピーカーＳａＬと右耳間の頭部伝達関数、ＨＲ_Ｂ（ｓ）はスピーカーＳａＲと右耳間の頭部伝達関数である。
【００５６】
式２に示すように、ユーザＵの右耳には、スピーカーＳａＬから放音された、スピーカーＳａＬと右耳の間の伝達特性を有する音（_ＨＲ_Ａ（ｓ）ＸＬ（ｓ））と共にスピーカーＳａＲから放音された、スピーカーＳａＲと右耳の伝達特性を有する音（ＨＲ_Ｂ（ｓ）ＸＲ（ｓ））が到達する。
【００５７】
換言すれば、ＹＬ（ｓ）及びＹＲ（ｓ）がこれらの式を満たす場合、ユーザＵはスピーカーＳａＲ及びスピーカーＳａＬから放音されているように知覚する。即ち、ヘッドフォン又はスピーカーから放音される音に仮想的な伝達特性を付与すれば、仮想的な位置に音源が
存在するかのようにユーザに知覚させること（仮想音像定位）が可能となる。この際、映像音響装置１はポータブル型プロジェクタであるため、ユーザの近傍にあり、映像音響装置１に一体的に設けられているスピーカー７１の位置とユーザの位置は同一であるものとして仮想音像定位を行う。
【００５８】
具体的には、各デジタルフィルタ処理では、音声信号にＦＩＲ（Finite Impulse Response：有限インパルス応答）フィルタあるいはＩＩＲ（Infinite Impulse Response：無限インパルス応答）フィルタ等が施される。以下、ＦＩＲフィルタを例にとって説明する。図８はＦＩＲフィルタを示すブロック図である。図８においてＸ（ｎ）がデジタルフィルタへの入力でありＹ（ｎ）がデジタルフィルタの出力である。同図に示すように、ＦＩＲフィルタは、それぞれ複数の遅延ブロック１０１、加算器１０２及び乗算器１０３から構成されている。
【００５９】
入力信号（音声信号）は遅延ブロック１０１において順次遅延され、入力された信号と以前に入力され遅延された信号には乗算器１０３においてそれぞれ所定の係数Ｆ０〜ＦＮが乗算される。この係数Ｆ０〜ＦＮが音響フィルタ係数である。音響フィルタ係数Ｆ０〜ＦＮが乗算された各信号は加算器１０２において加算され、出力される。音響フィルタ係数を変更することにより周波数応答が変更され、音声信号に上述した仮想的な伝達特性を付与することが可能となる。
【００６０】
音響フィルタ係数は、上述のように光学系の焦点距離に基づいて決定される。具体的には、音響処理回路３４は、記憶部２に記憶された複数の音響フィルタ係数の候補から、焦点距離に応じた音響フィルタ係数を抽出するものとすることができる。例えば、音響処理回路３４は、想定される焦点距離が５０ｃｍから５ｍの間であるとすると、この距離を２５ｃｍ毎の２０レンジに分け、各レンジについて１つの音響フィルタ係数候補を記憶しておく。映像音響装置１は、取得された焦点距離が含まれるレンジに割り当てられた音響フィルタ係数候補を音響フィルタ係数として決定する。この決定方法は、音響フィルタ係数を算出するための演算処理が不要であるので、特に映像音響装置１がポータブル型プロジェクタ等であり、演算処理能力が限られる場合に有効である。映像音響装置１が携帯電話等である場合には、演算処理数が低減されるために消費電力が小さく、バッテリーの消費が抑えられる。
【００６１】
また、映像音響装置１は、算出された焦点距離に応じて音響フィルタ係数を線形的に変化させてもよい。この場合、音響フィルタ係数ｈ（ｔ）は以下の式を用いて算出することができる。
ｈ（ｔ）＝ａ／Ｌ・ｆ（ｔ−Ｌｂ）
Ｌは特定の焦点距離に対する算出された焦点距離の割合であり、ａ、ｂは任意の係数である。ａ／Ｌは焦点距離に応じて音量が増減することを意味し、ｆ（ｔ−Ｌｂ）は焦点距離Ｌに応じて位相の時間応答が伸縮することを意味する。ｆ（ｔ）は例えば高速フーリエ変換である。以上のようにして、音響フィルタ係数は焦点距離に応じて決定される。また、これ以外の手法によって、音響フィルタ係数を焦点距離に応じて決定してもよい。
【００６２】
図５に戻り、音響処理回路３４は、左チャンネルの各デジタルフィルタ（Ｆ１Ｌ〜ＦＮＬ）から出力された音声信号を加算器ＡＬによって加算し、右チャンネルの各デジタルフィルタ（Ｆ１Ｒ〜ＦＮＲ）から出力された音声信号を加算器ＡＲによって加算する。これによりコンテンツデータＣに含まれていたマルチチャンネルの各音声信号Ｓｉｇ１〜ＳｉｇＮに仮想的な伝達特性が付与され、映像信号に応じた音響処理が施された左チャンネルの音声信号ＳｉｇＬ及び右チャンネルの音声信号ＳｉｇＲが生成される。
【００６３】
また、映像音響装置１がスピーカー７１から放音する場合、左チャンネルのスピーカーから放音された音が聴取者の右耳に、右チャンネルのスピーカーから放音された音が聴取者の左耳に到達するクロストークが発生する。このため、音響処理回路３４は、音声信号ＳｉｇＬ及びＳｉｇＲに対してクロストークキャンセルを行う。クロストークキャンセルは既知の手法を用いることができる。
【００６４】
以上のように、音響処理回路３４によって音響処理がなされた音声信号ＳｉｇＬ及びＳｉｇＲが、Ｄ／Ａ変換器７４及びアンプ７３を介してスピーカー７１及びヘッドフォン端子７２に出力され、スピーカー７１又はヘッドフォン端子７２に接続されたヘッドフォンから音声が放音される。図９は、映像音響装置１による映像の投影と音声の放音の様子を示す模式図である。図９には、映像音響装置１、ユーザＵ、映像音響装置１から投影された映像面Ｇｄが示されている。映像音響装置１とユーザＵは同じ位置にあるものとする。
【００６５】
上述のように音響処理回路３４は、フォーカスレンズ５２及びズームレンズ５３の位置情報から算出された焦点距離を基に音響処理を行う。この際、音響処理回路３４は、光学系の光軸方向に、当該算出された焦点距離ｄだけ離間した位置に仮想音像定位を行うことができる。光学系の光軸方向に焦点距離ｄだけ離間した位置は、映像が投影されている位置とみなすことができ、音響処理回路３４で焦点距離を基に音響補正された音声は映像面Ｇｄの左右の仮想的な音源ＳｄＬ及びＳｄＲの位置に音像定位させることが可能である。これにより、ユーザＵに映像面Ｇｄから音声が放音されているように知覚させることができる。
【００６６】
映像音響装置１のフォーカスが変更され、映像音響装置１が投影距離ｅで映像面Ｇｅを投影すると、映像音響装置１は新たな焦点距離を基に音響処理を行う。映像音響装置１は上記の場合と同様に、映像面Ｇｅの左右に仮想的な音源ＳｅＬ及びＳｅＲの位置に音像定位させることが可能となる。映像音響装置１が投影距離ｆで映像面Ｇｆを投影すると、映像音響装置１は同様に仮想的な音源Ｓｆｌ及びＳｆＲの位置に音像定位させる。
【００６７】
以上のように本実施形態に係る映像音響装置１は、フォーカスレンズ５２及びズームレンズ５３の位置情報から光学系の焦点距離を取得し、その焦点距離に基づいて音響フィルタ係数を決定する。焦点距離を投影距離とみなすことにより、投影される映像の位置に応じた音響処理、例えば映像面の近傍に仮想音像定位させることが可能である。
【００６８】
（第２の実施形態）
第２の実施形態に係る映像音響装置について説明する。
図１０は、第２の実施形態に係る映像音響装置２００の構成を示すブロック図である。
なお、以下の説明では、映像音響装置２００の、第１の実施形態に係る映像音響装置１と同一の構成については同一の符号を付し説明を省略する。
【００６９】
映像音響装置２００は、ポータブル型プロジェクタであるものとするが、スピーカーと一体化されている映像音響装置１と異なり、映像音響装置２００と離間して配置された別体のスピーカーから音声を放音するものである。
【００７０】
図１０に示すように、映像音響装置２００は、音声フォーマット変換器２０１、マイクロフォン２０２、アンプ２０３、A／D変換器２０４をさらに有する。音声フォーマット変換器２０１は音響処理回路３４に接続されている。マイクロフォン２０２は、アンプ２０３及びA／D変換器２０４を介して音響処理回路３４に接続されている。
【００７１】
音声フォーマット変換器２０１は、A／D変換器、出力端子等を含み、「S/PDIF (Sony Philips Digital InterFace）」（登録商標）、「HDMI（High-Definition Multimedia Interface）」（登録商標）等の各種音声通信規格のものとすることができる。デジタル出力に限られずアナログ出力であってもよい。また、出力チャンネル数は任意であり、「ドルビーデジタル」（登録商標）、「ＤＴＳ（Digital Theater Systems）」（登録商標）等のマルチチャンネルフォーマットを利用するものであってもよい。音声フォーマット変換器２０１には、後述する外部スピーカーが接続される。
【００７２】
マイクロフォン２０２は、外部スピーカーと映像音響装置２００の相対位置を判定するためのものであり、無指向性のものが好適である。マイクロフォン２０２は、集音した音声信号をアンプ２０３及びA／D変換器２０４を介して音響処理回路３４に出力する。
【００７３】
以上のように構成された映像音響装置２００の動作を説明する。
【００７４】
映像音響装置２００は、ユーザからコンテンツ再生開始の指示が入力されると、映像音響装置１と同様にコンテンツ再生の前に音響処理に用いる音響フィルタ係数を決定する。図１１は、この音響フィルタ係数の決定の際の映像音響装置２００の動作を示すフローである。
【００７５】
同図に示すように、音響処理回路３４は、第１の実施形態と同様にして、フォーカスレンズ位置検出器６１からフォーカスレンズ５２の位置情報を取得し、ズームレンズ位置検出器６２からズームレンズ５３の位置情報を取得する（Ｓｔ２０１）。次に、音響処理回路３４は、フォーカスレンズ５２及びズームレンズ５３の位置情報から光学系の焦点距離を求める（Ｓｔ２０２）。次に、音響処理回路３４は、外部スピーカーの位置算出（Ｓｔ２０３〜Ｓｔ２０６）を行う。以下、この外部スピーカーの位置算出について説明する。
【００７６】
図１２は、外部スピーカーの位置算出について説明するための模式図である。
同図に示すように、映像音響装置２００には、外部スピーカーＳｐＬ及びＳｐＲが接続されている。外部スピーカーは左右２チャンネルであるものとするがこれに限られない。映像音響装置２００は映像面Ｇｐに映像を投影しているものとし、映像音響装置２００と外部スピーカーＳｐＬ及びＳｐＲは離間して設置されているものとする。
【００７７】
第１の実施形態に係る映像音響装置１では、スピーカーが映像音響装置１と一体化されていたため、音響処理回路３４は映像音響装置１と映像面の相対位置のみを音響処理に利用すればよかった。しかし、本実施形態に係る映像音響装置２００では、映像音響装置２００にスピーカーが一体化されていないため、音響処理のためには映像音響装置２００と外部スピーカーＳｐＬ及びＳｐＲの相対位置を判断する必要がある。
【００７８】
音響処理回路３４は、音声フォーマット変換器２０１を介して外部スピーカーＳｐＬにテスト信号を出力する（Ｓｔ２０３）。テスト信号は、ＴＳＰ（Time Stretched Pulse)信号とすることができる。外部スピーカーＳｐＬはテスト信号を受けて放音する。マイクロフォン２０２は外部スピーカーＳｐＬから放音された音を集音し、アンプ２０３及びA／D変換器２０４を介して音響処理回路３４に音声信号を出力する。
【００７９】
音響処理回路３４は、この音声信号を解析する（Ｓｔ２０４）。音響処理回路３４は、例えばマイクロフォン２０２で集音されたＴＳＰ応答時間軸波形データに対して、ＩＦＦＴ（Inverse Fast Fourier Transform)を適用してインパルス応答時間軸波形データを算出し、その伝達特性から外部スピーカーＳｐＬの位置を推定する（Ｓｔ２０５）。次に音響処理回路３４は、同様にして外部スピーカーＳｐＲの位置を推定する（Ｓｔ２０６：Ｎｏ）。音響処理回路３４は、全ての外部スピーカーＳｐＲ及びＳｐＬの位置を推定した後（Ｓｔ２０６：Ｙｅｓ）、音響フィルタ係数を決定する（Ｓｔ２０７）。なお、焦点距離の算出（Ｓｔ２０１、Ｓｔ２０２）と外部スピーカー位置の推定（Ｓｔ２０３〜Ｓｔ２０６）は順序が逆でもよい。
【００８０】
音響処理回路３４は、上述のＳｔ２０１及びＳｔ２０２において得られた光学系の焦点距離に加え、Ｓｔ２０３〜Ｓｔ２０６において得られた外部スピーカーＳｐＬ及びＳｐＲの位置情報を基に音響フィルタ係数を決定する。仮に音響処理回路３４が、第１の実施形態と同様に、外部スピーカーＳｐＲ及びＳｐＬが映像音響装置１と離間していないとして音響フィルタ係数を決定すると、外部スピーカーＳｐＬ及びＳｐＲからユーザＵの両耳の間の現実の伝達特性により仮想音像定位の位置が相違する。
【００８１】
ここで、音響処理回路３４は、Ｓｔ２０３〜Ｓｔ２０６において推定された外部スピーカーＳｐＬ及びＳｐＲの位置から、外部スピーカーＳｐＲ及びＳｐＬのそれぞれとユーザＵ（映像音響装置２００と同位置）の左耳及び右耳のそれぞれに対する現実の伝達特性を加味した上で音響フィルタ係数を決定する。これにより、映像音響装置２００は外部スピーカーＳｐＬ及びＳｐＲがいかなる位置に設置されていても、任意の位置、例えば映像面Ｇｐの近傍に仮想音像定位をさせることが可能である。
【００８２】
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更され得る。
【００８３】
上述した各実施形態において、仮想音像定位は投影される映像面の左右に位置にされるものとしたが、これに限られない。図１３は、５．１チャンネルに相当する各スピーカーの位置に仮想音像定位させる場合の映像面の位置と仮想音像定位の位置を示す模式図である。同図に示すように、例えば映像音響装置が距離ｇ離れた映像面Ｇｇに映像を投影している場合、映像音響装置からそれぞれ距離ｇ離れたセンタースピーカーＳｇｃ、左フロントスピーカーＳｇｆＬ、右フロントスピーカーＳｇｆＲ、左リアスピーカーＳｇｒＬ、右フロントスピーカーＳｇｒＲの位置に仮想音像定位させることができる。
【００８４】
また、映像音響装置が距離ｈ離れた映像面Ｇｈに映像を投影する場合、映像音響装置からそれぞれ距離ｈ離れたセンタースピーカーＳｈｃ、左フロントスピーカーＳｈｆＬ、右フロントスピーカーＳｈｆＲ、左リアスピーカーＳｈｒＬ、右フロントスピーカーＳｈｒＲの位置に仮想音像定位させることができる。
【００８５】
上述した各実施形態において、映像音響装置は、フォーカス調整スイッチ及びズーム調整スイッチを有し、ユーザからの操作に応じてフォーカスレンズ及びズームレンズの光学系における位置を調整するものとしたがこれに限られない。映像音響装置はフォーカス調整スイッチ及びズーム調整スイッチに替わりオートフォーカス機構を有し、フォーカスレンズ及びズームレンズの位置を自動的に調整するものとすることも可能である。また、フォーカス調整スイッチ及びズーム調整スイッチに替わり、ユーザが直接フォーカスレンズ及びズームレンズの位置を変更するためのダイヤル等が設けられてもよい。
【００８６】
上述した各実施形態において、映像音響装置は、映像出力器から照射された映像光線をフォーカスレンズ及びズームレンズによって投影するものとしたがこれに限られない。例えば、フォーカスレンズ及びスームレンズが設けられず、映像出力器において焦点が調整された映像光線が出力されるものとしてもよい。この場合、音響処理回路は、映像出力器のからの情報を基に焦点距離を取得するものとすることができる。
【００８７】
上述した各実施形態において、映像音響装置はポータブル型のプロジェクタであるものとしたがこれに限られない。例えば、映像音響装置は、映像投影機能を有する本体と、音声出力機能を有するドックが接続されて構成されるものとすることができる。
【符号の説明】
【００８８】
１、２００…映像音響装置
３４…音響処理回路
５１…映像出力器
５２…フォーカスレンズ
５３…ズームレンズ
６１…フォーカスレンズ位置検出器
６２…ズームレンズ位置検出器
７１…スピーカー
７２…ヘッドフォン端子
２０１…音声フォーマット変換器
２０２…マイクロフォン
【図１】
2011188287.tif 000003
【図２】
2011188287.tif 000004
【図３】
2011188287.tif 000005
【図４】
2011188287.tif 000006
【図５】
2011188287.tif 000007
【図６】
2011188287.tif 000008
【図７】
2011188287.tif 000009
【図８】
2011188287.tif 000010
【図９】
2011188287.tif 000011
【図１０】
2011188287.tif 000012
【図１１】
2011188287.tif 000013
【図１２】
2011188287.tif 000014
【図１３】
2011188287.tif 000015