(57)【要約】  本明細書で論じるシステム及び方法は、スイートスポット適応を備えた３次元オーディオ仮想化を提供することができる。１つの実施例では、オーディオプロセッサ回路を用いて、リスニング環境におけるリスナー位置に関する少なくとも１つの深度センサ又はカメラからの情報に基づいて、スイートスポット適応のためのオーディオ信号を更新することができる。【選択図】図５Ａ
2020532914.tif 000002
【特許請求の範囲】
【請求項１】
スピーカに対するリスナー位置に基づいて１又は２以上の受信されたオーディオ信号を調節して、リスニング環境におけるリスナー位置にてスイートスポットを提供するための方法であって、
前記方法が、
第１のセンサによって監視される環境における前記リスナー位置に関する前記第１のセンサからの情報を用いて前記リスナー位置に関する第１の指示を受信するステップと、
オーディオプロセッサ回路を用いて、（１）前記リスナー位置に関する受信された前記第１の指示、（２）前記第１のセンサに対する前記スピーカの位置に関する情報、及び（３）前記１又は２以上の受信されたオーディオ信号に基づいて、１又は２以上の調節されたオーディオ信号を生成するステップと、
を含む方法。
【請求項２】
前記第１のセンサからの情報を用いて前記リスナー位置に関する前記第１の指示を受信するステップは、カメラの視野における前記リスナー位置に関する前記カメラからの情報を受信するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記第１のセンサからの情報を用いて前記リスナー位置に関する前記第１の指示を受信するステップは、前記環境における前記リスナー位置でのリスナーの１又は２以上の特徴に関する深度センサからの情報を受信するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記第１のセンサからの情報を用いて前記リスナー位置に関する前記第１の指示を受信するステップは、前記リスナーの頭部配向の指示を受信するステップを含み、前記リスナーの頭部配向は、前記リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールのうちの１又は２以上についての指示を含み、前記１又は２以上の調節されたオーディオ信号を生成するステップは、前記リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールについての前記指示を用いるステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記リスナーの頭部配向の前記受信された指示に基づいて、前記スピーカから前記リスナーの２つの耳の各々までの距離を示す距離パラメータを決定するステップを更に含み、前記１又は２以上の調節されたオーディオ信号を生成するステップは、前記スピーカから前記リスナーの２つの耳の各々までの前記距離を補償するために選択されるフィルタを用いて、オーディオ信号の少なくとも１つのペアを生成するステップを含む、
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記オーディオプロセッサ回路は、バーチャライザ回路及びスイートスポットアダプタ回路を含み、
前記バーチャライザ回路は、前記１又は２以上の受信されたオーディオ信号を受信して、第１の仮想化フィルタに基づいて仮想オーディオ信号を生成するよう構成され、
前記スイートスポットアダプタ回路は、前記バーチャライザ回路から前記仮想オーディオ信号を受信して、前記リスナー位置に関する受信された前記第１の指示に基づいて前記１又は２以上の調節されたオーディオ信号を提供するよう構成される、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記スイートスポットアダプタ回路は、受信された前記仮想オーディオ信号の少なくとも１つのオーディオ信号チャネルに利得及び／又は遅延を加えるよう構成され、前記利得及び／又は遅延は、前記リスナー位置に関する前記受信された第１の指示に基づく、
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記オーディオプロセッサ回路は、バーチャライザ回路及びスイートスポットアダプタ回路を含み、
前記スイートスポットアダプタ回路は、前記１又は２以上の受信されたオーディオ信号を受信して、中間オーディオ出力を提供するよう構成され、
前記バーチャライザ回路は、前記スイートスポットアダプタ回路から前記中間オーディオ出力を受信して、前記リスナー位置に関する前記受信された第１の指示に基づいて前記調節されたオーディオ信号を生成するよう構成される、
ことを特徴とする請求項１に記載の方法。
【請求項９】
前記オーディオプロセッサ回路は、バーチャライザ回路を含み、前記バーチャライザ回路は、前記１又は２以上の受信されたオーディオ信号を受信して、前記受信した１又は２以上のオーディオ信号に仮想化処理を加えて前記調節されたオーディオ信号を生成するよう構成される、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記バーチャライザ回路は、前記リスナー位置に関する前記受信された第１の指示に基づいて第１の仮想化フィルタを選択して前記受信した１又は２以上のオーディオ信号に適用し、前記調節されたオーディオ信号を生成するよう構成され、
前記第１の仮想化フィルタは、
メモリ回路における複数の利用可能な仮想化フィルタの中から選択されるか、
又は前記バーチャライザ回路又は別のプロセッサ回路を用いて、前記リスナー位置に関する第１の指示を入力として用いた数学的モデルに基づいて決定されるか、
又は複数の他のフィルタの補間を用いて決定される、
ことを特徴とする請求項９に記載の方法。
【請求項１１】
前記第１のセンサによって監視される前記環境における前記リスナー位置に関する前記第１のセンサからの情報を用いて前記リスナー位置に関する後続の第２の指示を受信するステップと、
前記オーディオプロセッサ回路を用いて、異なる第２の仮想化フィルタに基づいて前記１又は２以上の調節されたオーディオ信号を生成するステップであって、前記バーチャライザ回路は、前記リスナー位置に関する受信された前記後続の第２の指示に基づいて前記異なる第２の仮想化フィルタを選択するよう構成される、ステップと、
を含む、請求項９に記載の方法。
【請求項１２】
前記第１のセンサからの情報を用いて前記リスナー位置に関する前記第１の指示を受信する前記ステップは、画像処理回路を用いて、
基準顔幅に対する前記リスナーの顔幅を決定するステップと、
前記リスナーの決定された顔幅を用いて前記第１のセンサから前記リスナーの頭部位置までの距離の指示を提供するステップと、
を含み、
前記リスナー位置に関する前記受信された第１の指示に基づいて前記１又は２以上の調節されたオーディオ信号を生成するステップは、前記第１のセンサから前記リスナーの頭部位置までの前記距離の指示を用いるステップを含む、
請求項１に記載の方法。
【請求項１３】
前記第１のセンサからの情報を用いて前記リスナー位置に関する前記第１の指示を受信するステップは、画像処理回路を用いて、
基準距離に対する前記リスナーの瞳孔間距離を決定するステップと、
前記リスナーの頭部配向を決定するステップと、
前記リスナーの前記決定された瞳孔間距離及び頭部配向を用いて、前記第１のセンサから前記リスナーの頭部位置までの前記距離の指示を提供するステップと、
を含み、
前記リスナー位置に関する前記受信された第１の指示に基づいて前記１又は２以上の調節されたオーディオ信号を生成するステップは、前記第１のセンサから前記リスナーの頭部位置までの前記距離の指示を用いるステップを含む、
請求項１に記載の方法。
【請求項１４】
スピーカに対するリスナー位置に基づいて１又は２以上の入力オーディオ信号を調節するためのシステムであって、
前記第１のセンサによって監視されるリスニング環境における前記リスナー位置に関する第１の指示を受信するよう構成された第１のセンサと、
（１）前記第１のセンサからの前記リスナー位置に関する受信された前記第１の指示、（２）前記カメラに対する前記スピーカの位置に関する情報、及び（３）前記１又は２以上の受信されたオーディオ信号に基づいて、１又は２以上の調節されたオーディオ信号を生成するよう構成されたオーディオプロセッサ回路と、
を備える、システム。
【請求項１５】
前記第１のセンサに結合された画像プロセッサ回路を更に備え、前記画像プロセッサ回路は、前記リスナー位置に関する前記第１の指示を含む前記リスニング環境に関する画像情報又は深度情報を前記第１のセンサから受信するよう構成され、前記画像プロセッサ回路は、前記受信された画像情報に基づいて、前記リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールのうちの１又は２以上についての指示を含む頭部配向を決定するよう構成され、前記オーディオプロセッサ回路は、前記決定された頭部配向を用いることを含む、前記リスナー位置に関する受信された前記第１の指示に基づいて、前記１又は２以上の調節されたオーディオ信号を生成するよう構成される、ことを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記画像プロセッサ回路及び前記オーディオプロセッサ回路の少なくとも１つは、前記リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールのうちの１又は２以上についての前記指示に基づいて、前記スピーカから前記リスナーの２つの耳の各々までの距離を示す距離パラメータを決定するよう更に構成される、ことを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記オーディオプロセッサ回路は、
前記１又は２以上の入力オーディオ信号を受信するよう構成されたオーディオ入力と、
前記オーディオ入力に結合され且つ仮想化フィルタを用いて前記入力オーディオ信号に対応する仮想オーディオ信号を生成するよう構成されたバーチャライザ回路であって、前記仮想化フィルタは、前記第１のセンサからの前記リスナー位置に関する前記受信された第１の指示に対応する、バーチャライザ回路と、
前記仮想オーディオ信号の１又は２以上に利得及び／又は遅延を加えて、調節されたオーディオ信号を提供するよう構成されたスイートスポットアダプタ回路と、
前記調節されたオーディオ信号を提供するよう構成されたオーディオ出力と、
を含む、ことを特徴とする請求項１４に記載のシステム。
【請求項１８】
前記オーディオプロセッサ回路は、
前記１又は２以上の入力オーディオ信号を受信するよう構成されたオーディオ入力と、
前記オーディオ入力に結合され且つ仮想化フィルタを用いて前記入力オーディオ信号に基づいて前記１又は２以上の調節されたオーディオ信号を生成するよう構成されたバーチャライザ回路であって、前記仮想化フィルタは、前記第１のセンサからの前記リスナー位置に関する前記受信された第１の指示に基づいて前記バーチャライザ回路によって選択される、バーチャライザ回路と、
を含む、ことを特徴とする請求項１４に記載のシステム。
【請求項１９】
入力オーディオ信号に基づいて環境における第１のリスナーのための１又は２以上の仮想オーディオ信号を生成する装置であって、
画像処理回路を備えた第１のセンサであって、前記画像処理回路が、前記第１のセンサの第１の視野から画像情報を受信して、前記第１のセンサの第１の視野における前記第１のセンサから前記第１のリスナーまでの距離を決定するよう構成され、前記画像処理回路は、前記第１のリスナーの頭部ヨー角、頭部ピッチ角、又は頭部ロール角のうちの１又は２以上に関する情報を用いて前記距離を決定するよう構成された、第１のセンサと、
（１）前記カメラから前記第１のリスナーまでの決定された距離、（２）前記第１のセンサに対するラウドスピーカの位置に関する情報、及び（３）前記入力オーディオ信号に基づいて、１又は２以上の仮想オーディオ信号を生成するよう構成されたオーディオプロセッサ回路と、
を備える、装置。
【請求項２０】
前記オーディオプロセッサ回路は、バーチャライザ回路及びスイートスポットアダプタ回路を含み、
前記バーチャライザ回路は、頭部伝達関数（ＨＲＴＦ）フィルタを前記入力オーディオ信号に適用することによって中間出力信号を生成するよう構成され、前記ＨＲＴＦフィルタは、前記第１のセンサから前記第１のリスナーまでの前記決定された距離に基づいて選択され、
前記スイートスポットアダプタ回路は、前記バーチャライザ回路によって生成された前記中間出力信号に利得及び／又は遅延を加えることによって、前記環境における前記第１のリスナーのための前記１又は２以上の仮想オーディオ信号を生成するよう構成される、
ことを特徴とする請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
（優先権の主張）
本特許出願は、全体が引用により本明細書に組み込まれる、２０１７年９月１日に出願された米国仮特許出願第６２／５５３，４５３号に対する優先権の利益を主張するものである。
【背景技術】
【０００２】
オーディオは、家庭用電化製品においてコンテンツリッチなマルチメディア体験を提供する上で重要な役割を果たす。無線接続の普及と共に家庭用電子デバイスの拡張性及びモビリティにより、ユーザは、コンテンツに即座にアクセスすることができる。様々なオーディオ再生システムは、ヘッドフォン又はラウドスピーカを介した再生に用いることができる。一部の実施例では、オーディオプログラムコンテンツは、サラウンドサウンド又は他のマルチチャネル構成などを含む、オーディオ信号の２以上のステレオペアを含むことができる。
【０００３】
従来のオーディオ再生システムは、ＣＤプレーヤ、ＴＶチューナ、携帯メディアプレーヤなどの様々なオーディオ又はオーディオ／ビデオソースからのデジタル又はアナログオーディオソース信号情報を受信することができる。オーディオ再生システムは、ブロードキャストオーディオ及び／又はビデオ信号の選択、処理、及びルーティングに専用のホームシアター受信機又は自動車オーディオシステムを含むことができる。オーディオ出力信号は、スピーカシステムを通じた再生のために処理及び出力することができる。このような出力信号は、ヘッドフォン又はフロントラウドスピーカのペアに送られる２チャネル信号、又はサラウンドサウンド再生のためのマルチチャネル信号とすることができる。サラウンドサウンド再生において、オーディオ再生システムは、マルチチャネルデコーダを含むことができる。
【０００４】
オーディオ再生システムは更に、アナログオーディオソースを接続するためのアナログ−デジタルコンバータ、又はデジタルオーディオ入力インタフェースなどの処理装置を含むことができる。オーディオ再生システムは、オーディオ信号を処理するためのデジタル信号プロセッサ、並びに処理された出力信号をトランスデューサに送られる電気信号に変換するデジタル−アナログコンバータ及び信号増幅器を含むことができる。ラウドスピーカは、様々な応用によって決定される多種多様な構成で配列することができる。例えば、ラウドスピーカは、独立型ユニットとすることができ、又はテレビジョンセット、ラップトップコンピュータ、携帯ステレオなどの家庭用電化製品の場合など、デバイスに組み込むことができる。技術的及び物理的制約に起因して、オーディオ再生は、このようなデバイスにおいて障害があるか、又は制限される可能性がある。このような制限は、ラップトップ及び他のコンパクトモバイルデバイスのように、スピーカが狭い間隔で配置されている物理的制約を有する電子デバイスで特に顕著となる可能性がある。このようなオーディオ制約に対処するために、２チャネル又はマルチチャネルオーディオ信号をヘッドフォンのペア又はラウドスピーカのペアを通じて再生するための様々なオーディオ処理方法が用いられる。このような方法は、リスナー体験を向上させるための空間的拡張効果を強制するステップを含む。
【０００５】
ヘッドフォン又はラウドスピーカを用いた３次元オーディオ再生など、頭部伝達関数（ＨＲＴＦ）フィルタリングに基づくオーディオ信号処理を実施するための様々な手法が提案されてきた。一部の実施例では、これらの手法は、リスナーに対して水平平面に位置付けられ、又はリスナーに対して高い位置に位置付けることができるなど、仮想ラウドスピーカを再生するのに用いられる。ラウドスピーカベースのシステムにおける「スイートスポット」から離れたリスナー位置に対して水平定位アーティファクトを低減するため、様々なフィルタを適用して、その影響を低周波数に制約することができる。
【０００６】
オーディオ信号処理は、オーディオバーチャライザを用いて少なくとも一部実行することができる。オーディオバーチャライザは、少なくとも２つのラウドスピーカを用いて３次元（３Ｄ）オーディオリスニング体験をリスナーに提供するシステム又はシステムの一部を含むことができる。しかしながら、このような仮想３Ｄオーディオリスニング体験は、リスナーに対して３Ｄ効果が最も影響の強いスイートスポットと一般的に呼ばれる、再生環境における比較的小さなエリア又は特定領域に制限されることがある。換言すると、ラウドスピーカを通じた３Ｄオーディオ仮想化は、一般的にはスイートスポットに位置付けられたリスナーにとって最も強制的なものである。リスナーがスイートスポットの外側にいるときには、リスナーは、音源の不正確な定位及びオーディオ信号の不自然なカラーレーションを体験する。従って、３Ｄオーディオリスニング体験は、スイートスポットの外側にいるリスナーにとっては欠陥があるか又は劣化する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国仮特許出願第６２／５５３，４５３号明細書
【発明の概要】
【０００８】
本発明者らは、解決されるべき問題には、リスニング環境においてリスナーのロケーションを決定すること、及びリスナーロケーションに基づいてオーディオ信号処理を調節することが挙げられると認識している。問題に対する解決策は、カメラからの画像情報を含むか又はこれを用いて、リスニング環境におけるリスナーロケーションを決定するのを助けることができる。この解決策は更に、ラウドスピーカからリスナーロケーションまでの距離を決定すること、及び決定された距離に基づいて１又は２以上の入力オーディオ信号に適用する１又は２以上の伝達関数又はフィルタを選択することを含むことができる。１つの実施例では、この解決策は、オーディオ仮想化の実行及びスイートスポット適応処理を別々に含む。例えば、オーディオ仮想化処理は、１又は２以上の頭部伝達関数フィルタを用いて入力オーディオ信号を処理して仮想オーディオ信号をもたらすステップを含むことができ、スイートスポット適応は、利得及び／又は遅延を１又は２以上の仮想オーディオ信号に適用するステップを含むことができる。１つの実施例では、解決策は、リスナーの頭部配向（例えば、頭部ヨー、頭部ピッチ、又は頭部ロール）を決定するステップと、環境におけるリスナーの耳の位置に対応する１又は２以上のフィルタ又はスイートスポットアダプタパラメータを調節するステップと、を含むことができる。
【０００９】
本発明者らは、解決すべき問題として、ラウドスピーカからリスナーロケーションまでの距離の決定を含む、リスニング環境におけるリスナーロケーションを決定することが挙げられると認識してきた。問題に対する解決策は、深度センサから、又はリスナーの顔面幅の周りのカメラからの情報を含むか又は用いることができる。１つの実施例では、この解決策は、測定されたリスナーの顔面幅に対するカメラのレンズ曲率の効果を補正するステップを含むことができる。１つの実施例では、本解決策は、カメラ又はセンサからのリスナーの実際の距離を決定する際のリスナーの頭部配向を補正するステップを含むことができる。
【００１０】
本明細書で論じるシステム及び方法の実施例は、リアルタイムでリスナーの位置を追跡するためのカメラなどの少なくとも１つのセンサを含むか又は用いることができる。リアルタイムのリスナー位置情報を用いて、オーディオ仮想化又はスイートスポットアダプタ回路のパラメータを継続して更新又は調節することができる。一部の実施例では、本システム及び方法は、環境内で移動するリスナーに対応するよう、リスニング環境におけるスイートスポットロケーションを変えるように構成することができる。
【００１１】
本明細書で論じるシステム及び方法の実施例を用いて、リスナーの頭部又は顔の大きさ及び位置、リスナーの眼の位置、又はその両方に基づいてリスナー位置を推定することができる。一部の実施例では、リスナー位置情報は、方位角及び画像ソース又はカメラまでの距離を含む。一部の実施例では、リスナー位置情報は更に、仰角、頭部ヨー、頭部ピッチ、及び／又は頭部ロール角度などの配向情報を含む。一部の実施例では、リスナー位置情報は，信号処理の変動を低減するためにフィルタ処理又は平滑化される。本明細書で論じるシステム及び方法の様々な実施例は、とりわけ他のデバイス及び媒体再生システムの中でも、テレビジョン、サウンドバー、ラップトップコンピュータ、タブレット、デスクトップコンピュータ、及び携帯電話に適用することができる。
【００１２】
一部の実施例では、単一のカメラを用いてリスナーの位置を検出し、これに応じて、オーディオ信号処理を調節して、再生されるオーディオのスイートスポットロケーションを変更する。一部の実施例では、リスナーの位置は、リスナーの顔の大きさ及び／又は位置、眼の位置、又はこのような技術の組み合わせに基づいて推定される。一部の実施例では、スイートスポットアダプタ回路は、他のカメラ及びスピーカ構成を用いて作動するよう構成することができる。他の実施例は、ユーザインタフェース（ＵＩ）を介してスイートスポットアダプタ回路のステータスに関するフィードバックをリスナーに提供するよう構成することができる。
【００１３】
上述の特徴又は実施例は、幾つかの利点を提供する。例えば、１つの利点は、本システム及び方法の実施形態がユーザ又はリスナーにとって直観的であり、最小のユーザ入力を用いることができる点である。更に、ビルトインカメラ及び２つのスピーカを既に有するシステム（ラップトップコンピュータ、タブレット、オールインワンコンピュータ、又はビルトインカメラを有するＴＶなど）では、追加のハードウェアコストは存在しない。本発明のシステム及び方法の実施例は、様々なタイプの深度センサ又はカメラ（例えば、静止カメラ、ビデオカメラ、ＩＲカメラなど）、或いは他のリスナー位置通知センサ及びスピーカ構成と共に機能することができる。
【００１４】
代替の実施形態が実施可能であり、本明細書で論じるステップ及び要素は、特定の実施形態に応じて、変更、追加、又は削除できる点に留意されたい。これらの代替の実施形態は、本発明の範囲から逸脱することなく、使用可能な代替のステップ及び代替の要素、並びに実施できる構造的変更を含む。
【００１５】
この概要は、本特許出願の主題の要旨を提供することを意図している。本発明の排他的又は網羅的な説明を提供することを意図するものではない。詳細な説明は、本特許出願に関する更なる情報を提供するために含まれる。
【００１６】
必ずしも一定の縮尺で描かれない図面において、同じ参照数字は、異なる図において同じ構成要素を示すことができる。異なる添字を有する同じ参照数字は、同じ構成要素の異なる事例を表すことができる。図面は、本明細書で論じる様々な実施形態を限定ではなく例証として概略的に示している。
【図面の簡単な説明】
【００１７】
【図１】リスニング環境におけるスイートスポット内のリスナーの実施例を全体的に示す図である。
【図２】リスニング環境におけるスイートスポットの外側のリスナーの実施例を全体的に示す図である。
【図３】リスナーの位置を監視するよう構成されたカメラを備えたリスニング環境の実施例を全体的に示す図である。
【図４】サウンドバー及びカメラを備えたリスニング環境の実施例を全体的に示す図である。
【図５Ａ】バーチャライザ回路及びスイートスポットアダプタ回路を含む第１のシステムのブロック図の実施例を全体的に示す図である。
【図５Ｂ】バーチャライザ回路及びスイートスポットアダプタ回路を含む第２のシステムのブロック図の実施例を全体的に示す図である。
【図６】適応可能なバーチャライザ回路を含む第３のシステムのブロック図の実施例を全体的に示す図である。
【図７】ＨＲＴＦを用いた３次元音源のバイノーラル合成の実施例を全体的に示す図である。
【図８】クロストークキャンセラを用いた３次元サウンド仮想化の実施例を全体的に示す図である。
【図９】カメラの視野におけるリスナーの位置を推定するステップを含む方法の実施例を全体的に示す図である。
【図１０】カメラによって取り込まれた画像への投影に対するリスナーの顔面ロケーションの実施例を全体的に示す図である。
【図１１】画像座標を決定するステップの実施例を全体的に示す図である。
【図１２】カメラの視野におけるリスナーの座標を決定するステップの実施例を全体的に示す図である。
【図１３】ラップトップコンピュータにおけるカメラとラウドスピーカ間の関係の実施例を全体的に示す図である。
【図１４】機械可読媒体から命令を読み取り、本明細書で論じる方法の何れか１又は２以上を実行することができる機械の構成要素を全体的に示すブロック図である。
【発明を実施するための形態】
【００１８】
環境におけるリスナーのロケーション、位置、及び／又は配向に関するカメラからの情報を用いて、環境におけるリスナースイートスポット適応を提供するためなどのオーディオ信号仮想化処理を実行するシステム、方法、装置、及びデバイスの実施例を含む以下の説明では、詳細な説明の一部を形成する添付図面を参照する。各図面は、例証として、本明細書で開示する本発明を実施することができる特定の実施形態を示す。これらの実施形態は、一般的に、本明細書で「実施例」と呼ばれる。このような実施例は、図示又は説明されたものに加えて要素を含むことができる。しかしながら、本発明者らはまた、図示又は説明されるこれらの要素だけが提供された実施例を企図している。本発明者らは、特定の実施例（又はその１又は２以上の態様）に関して、又は本明細書に図示又は記載される他の実施例（又はその１又は２以上の態様）に関しての何れかで、図示又は記載されたこれらの要素（又はその１又は２以上の態様）の何れかの組み合わせ又は並び替えを用いた実施例を企図している。
【００１９】
本明細書で用いる「オーディオ信号」という表現は、物理的サウンドを表す信号である。本明細書で記載されるオーディオ処理システム及び方法は、様々なフィルタを用いてオーディオ信号を使用又は処理するよう構成されたハードウェア回路及び／又はソフトウェアを含むことができる。一部の実施例では、システム及び方法は、複数のオーディオチャネルからの信号又は複数のオーディオチャネルに対応する信号を用いることができる。１つの実施例では、オーディオ信号は、複数のオーディオチャネルに対応する情報を含むデジタル信号を含むことができる。
【００２０】
様々なオーディオ処理システム及び方法を用いて、様々なラウドスピーカ構成を介して２チャネル又は多チャネルオーディオ信号を再生することができる。例えば、オーディオ信号は、ヘッドフォンを通じて、ブックシェルフラウドスピーカのペアを通じて、又はリスナーに対して環境内の様々なロケーションに位置付けられたラウドスピーカなどを用いたサラウンドサウンド又は没入型オーディオシステムを通じて、再生することができる。一部の実施例は、物理的なラウドスピーカの数又は配向が制限される場所などでリスニング体験を強化するための強制的な空間増強効果を含む又は用いることができる。
【００２１】
引用により全体が本明細書に組み込まれる「ラウドスピーカ又はヘッドフォン再生用の仮想オーディオ処理（Ｖｉｒｔｕａｌ  ａｕｄｉｏ  Ｐｒｏｃｅｓｓｉｎｇ  ｆｏｒ  Ｌｏｕｄｓｐｅａｋｅｒ  ｏｒ  Ｈｅａｄｐｈｏｎｅ  Ｐｌａｙｂａｃｋ）」という名称のＷａｌｓｈ他に付与された米国特許第８，０００，４８５号では、オーディオ信号をバーチャライザプロセッサ回路で処理して、仮想信号及び修正ステレオ画像を生成することができる。第８，０００，４８５号特許の技術に加えて又は代わりに、本発明者らは、仮想化処理を用いて、特定のリスナーロケーションにおける特定のリスナーに対するサウンド再生を調整できることを認識している。すなわち、本明細書で論じる仮想化処理を用いて、３次元オーディオがリスナーによって最も効果的に受け取られる「スイートスポット」を提供することができる。
【００２２】
１つの実施例では、頭部伝達関数から導出できるような相対的な仮想化フィルタを適用して、リスナーの上方又は下方の様々な指定された高度又はエレベーションでのサウンド情報を含むようにリスナーによって知覚される３Ｄオーディオ情報をレンダリングして、リスナーの体験を更に強化することができる。１つの実施例では、このような仮想オーディオ情報は、水平面内に設けられたラウドスピーカを用いて再生され、仮想オーディオ情報は、物理的又は実際のラウドスピーカが知覚される発生位置に存在しない時などでも、水平面に対して高所にあるラウドスピーカ又は他のソースから発生しているものと知覚される。１つの実施例では、仮想オーディオ情報は、水平面のオーディオ情報から広がり又は任意選択的に水平面のオーディオ情報を含むサウンドエレベーションの印象又は聴覚の錯覚をもたらす。同様に仮想化フィルタを適用して、音場でのラウドスピーカの物理的ロケーションに対応しないロケーションでなど、水平面内又は水平面間の様々なロケーションでのサウンド情報を含むような、リスナーによって知覚される仮想オーディオ情報をレンダリングすることができる。リスナーによって知覚される仮想オーディオ情報は、環境におけるリスナーのロケーションの周りのカメラからの情報に応答してスイートスポットを変更することなどによって、リスナーがリスニング環境で移動する場合のリスナーに追従することができる。
【００２３】
本明細書で論じるシステム及び方法の実施例は、少なくとも１つのカメラからの情報を用いて、リスナーの位置に関する情報又はリスナーの位置の推定をリアルタイムで取得することができる。本システム及び方法は、リスナー位置情報を用いてオーディオ出力を調節することができ、これによってリスナーは、環境におけるデフォルトスイートスポットの外側にある可能性があるリスナーの位置での３Ｄオーディオリスニング体験を楽しむことができる。このデフォルトスイートスポットは、デフォルト仮想化処理、すなわち、強化又は他の仮想化処理が加えられないときにスイートスポットとなる環境におけるロケーションとすることができる。
【００２４】
本明細書で論じるシステムの実施例は、オーディオバーチャライザ回路を含むか又は用いることができる。このオーディオバーチャライザ回路は、バイノーラルシンセサイザ及びクロストークキャンセラを含むことができる。このシステムは更に、環境に関する視覚又は光学情報を受け取り、１又は２以上の顔特徴及びその位置を検出及び分析することなどによって、リスナーの空間位置を決定又は計算するカメラベースのリスナー位置推定モジュールを含むことができる。１つの実施例では、本システムは更に、リスナーの決定された空間位置に基づいて、リスナーのリスニング体験を強化するよう構成されたスイートスポットアダプタ回路を含むことができる。
【００２５】
１つの実施例では、オーディオプロセッサ回路又はオーディオバーチャライザ回路を用いて実行することができるような、オーディオ入力信号のオーディオ仮想化処理は、２又は３以上のラウドスピーカを用いて再生できる出力信号をレンダリングして、３Ｄオーディオ体験をリスナーに提供することができる。３Ｄオーディオ体験は、一般に、２又は３以上のラウドスピーカを含む環境における小さなエリア又は領域に制限される。スイートスポットと呼ばれる小さなエリア又は領域は、３Ｄオーディオ体験が最も顕著であり、且つリスナーにとっての多次元リスニング体験を提供するのに効果的であるロケーションを表す。リスナーがスイートスポットから離れているときには、リスニング体験は劣化し、３Ｄスペースにおける音源の不正確な定位につながる可能性がある。更に、不自然な信号カラーレーションが起こる可能性がある、又はスイートスポットの外側のリスナーによって知覚されることがある。
【００２６】
図１は、リスニング環境１０１における第１のスイートスポット１１０のリスナー１５０の実施例１００を全体的に示す。図１の実施例では、リスニング環境１０１は略矩形の部屋を含む。リスニング環境１０１が２次元で描かれているが、とりわけ、リスナー１５０によって占有できる３次元環境及び１又は２以上のサウンド再生デバイスを含むことを理解されたい。
【００２７】
リスニング環境１０１は、テレビジョン１０２を含む。テレビジョン１０２は、左スピーカ１０５Ａ及び右スピーカ１０５Ｂのペアを含む。スピーカ１０５Ａ及び１０５Ｂのペアは、テレビジョン１０２と一体化しているように示されているが、スピーカ１０５Ａ及び１０５Ｂのペアは、テレビジョン１０２の外側で提供されるラウドスピーカとすることができ、任意選択的にテレビジョン以外のソースによって駆動することができる。スピーカ１０５Ａ及び１０５Ｂのペアは、テレビジョン１０２の画面からリスナー１５０が位置付けられる可能性が高いリスニング環境１０１内のエリアに向けてサウンドを投影するように配向される。
【００２８】
図１の実施例は、第１のスイートスポット１１０の実施例を全体的に示し、第１のスイートスポット１１０は、スピーカ１０５Ａ及び１０５Ｂのペアを用いて再生されるサウンドに含まれるような３Ｄオーディオ効果が、リスナー１５０によって正確に知覚されるリスニング環境１０１における物理的ロケーションを表す。第１のスイートスポット１１０が、２次元エリアとして図１に示されているが、第１のスイートスポット１１０は、リスニング環境１０１における３次元ボリュームを含むことが理解できる。図１の実施例では、リスナー１５０は、第１のスイートスポット１１０に位置付けられている。すなわち、リスナー１５０の頭部又は耳は、第１のスイートスポット１１０に又はこの中に位置付けられている。
【００２９】
１つの実施例では、スピーカ１０５Ａ及び１０５Ｂのペアは、バーチャライザ回路を含むか又は用いるオーディオ信号プロセッサから信号を受信して、１又は２以上の入力信号から仮想又は３Ｄオーディオ信号を生成する。オーディオ信号プロセッサは、１又は２以上のＨＲＴＦフィルタ、遅延フィルタ、周波数フィルタ、又は他のオーディオフィルタを用いて仮想オーディオ信号を生成することができる。
【００３０】
図２は、リスニング環境１０１における第１のスイートスポット１１０の外側のリスナー１５０の実施例２００を全体的に示す。実施例２００では、リスナー１５０は、第１のスイートスポット１１０の右側に位置付けられている。リスナー１５０が第１のスイートスポット１１０の外側に位置付けられているので、リスナー１５０は、最適でないオーディオソース定位を体験又は知覚する可能性がある。一部の実施例では、リスナー１５０は、スピーカ１０５Ａ及び１０５Ｂのペアを用いて再生されるオーディオプログラムによってリスナー１５０が有する体験に弊害をもたらす可能性がある意図しない又は破壊的なカラーレーション、フェージング、又は他のサウンドアーティファクトを体験する場合がある。１つの実施例では、本明細書で論じるシステム及び方法を用いて、スピーカ１０５Ａ及び１０５Ｂのペアを用いて再生されるオーディオ信号を処理して、リスニング環境１０１におけるリスナー１５０の変更された位置又は実際の位置に一致する第２のロケーションに第１のスイートスポット１１０を移動させることができる。
【００３１】
図３は、リスナー１５０の位置を監視するよう構成されたカメラ３０１を備えたリスニング環境１０１の実施例３００を全体的に示す。カメラ３０１は、リスニング環境１０１の周りの静止画像又は動画、或いは他の光学又は視覚情報を取り込むよう構成されたカメラを含むことができる。１つの実施例では、カメラ３０１は、リスニング環境１０１におけるリスナー１５０に属するような体の存在又は不存在を検出するのに用いることができる赤外線又は他の周波数帯域などを含む、可視スペクトラムの外側の情報を取得又は感知するよう構成される。
【００３２】
カメラ及び視覚情報はリスナー１５０に関する位置情報の好ましいソースとして本明細書では一般的に論じられるが、他のセンサ又はデバイスも同様に用いることができる。例えば、限定ではないが、カメラ３０１に加えて又はこの代わりに、環境におけるリスナーの身体の位置又はリスナーの身体の配向を検出するよう構成されたマイクロフォンアレイ、超音波センサ、加速度計、重量センサ、又は他のセンサからの情報を用いて、リスナー１５０に関する位置情報を提供することができる。１つの実施例では、深度センサを用いてリスナーの身体位置又はリスナーの身体配向を検出することができる。深度センサは、とりわけ、レーザ、変調光ソース、又はカメラアレイを含むことができる。
【００３３】
１つの実施例では、カメラ３０１が画像プロセッサ回路に結合される。画像プロセッサ回路は、カメラ３０１から情報を受け取り、カメラ３０１の視野におけるリスナー１５０、又は他のリスナーもしくは物体の位置を決定又は推定するよう構成することができる。１つの実施例では、画像プロセッサ回路は、カメラ３０１からの情報を用いて、リスナー１５０の耳、眼、口、又は他の特徴のうちの１又は２以上のこれらの位置などのリスナー１５０の１又は２以上の特徴の位置を決定又は推定するよう構成することができる。
【００３４】
１つの実施例では、画像プロセッサ回路は、リスナー１５０の顔の大きさ及び位置、リスナー１５０の眼の位置、又はこれら両方に基づいて、リスナー１５０の位置を推定することができる。１つの実施例では、リスナー１５０に関する位置情報は、方位角及び／又はカメラ３０１までの距離を含むことができる。一部の実施例では、画像プロセッサ回路は、リスナー１５０の仰角、頭部ヨー角、頭部ピッチ角、又は頭部ロール角などのリスナーの配向情報を含む、リスナー１５０に関する他の情報を決定又は用いることができる。リスナー１５０に関する位置情報は、フィルタ処理して、変動を低減することができる。リスナー位置の決定に関する幾つかの実施例について、例えば、図９−１２にて本明細書で論じる。
【００３５】
１つの実施例では、スピーカ１０５Ａ及び１０５Ｂのペアに対して仮想オーディオ信号を生成するよう構成できるような、オーディオプロセッサ回路は、カメラ３０１又は画像プロセッサ回路に結合することができる。オーディオプロセッサ回路は、カメラ３０１又は画像プロセッサ回路からのリスナー１５０の位置に関する情報を用いて、スピーカ１０５Ａ及び１０５Ｂのペアを用いて信号が再生される前に、オーディオ信号に適用する１又は２以上のフィルタを選択することができる。すなわち、オーディオプロセッサ回路は、リスナー１５０の位置に関する情報に基づいてオーディオ信号を処理して、リスニング環境１０１におけるスイートスポットの位置を更新又は調節などを行うことができる。
【００３６】
１つの実施例では、オーディオプロセッサ回路は、リスニング環境１０１におけるリスナー１５０の絶対位置、カメラ３０１から及び／又は左及び右スピーカ１０５Ａ及び１０５Ｂのうちの１又は２以上からのリスナー１５０の決定された距離、第１のスイートスポット１１０に対するリスナー１５０の位置、又はリスナー１５０に関する他の位置情報のうちの１又は２以上に基づいてオーディオ信号を処理する。１つの実施例では、オーディオプロセッサ回路は、リスナー１５０の耳、眼、口、又は他の特徴のうちの１又は２以上のこれらの位置など、リスナー１５０の１又は２以上の特徴の決定又は推定された位置に基づいてオーディオ信号を処理する。
【００３７】
図３の実施例では、カメラ３０１は、リスニング環境におけるリスナー１５０の存在の指示を含む視覚スペクトラムにおける情報を含む、リスニング環境１０１に関する情報を受け取ることができる。画像プロセッサ回路は、リスニング環境１０１におけるリスナー１５０の相対位置又は推定位置を決定することができ、オーディオプロセッサ回路は、リスナーが決定された位置にいるときにリスナー１５０についての仮想オーディオ情報をレンダリングするために適用する１又は２以上のフィルタを選択することができる。すなわち、カメラ３０１及び対応する画像プロセッサ回路は、リスナー１５０が第１のスイートスポット１１０の外側に移動したという情報、及び第２のスイートスポット３１０をレンダリングすることになる仮想化フィルタを使用するために選択すべきであるという情報をオーディオプロセッサ回路に提供することができる。
【００３８】
任意選択的に、オーディオプロセッサ回路は、継続して、定期的に、又は別の固定もしくは調節可能なスケジュールに従って、カメラ３０１からリスナー１５０の位置に関する情報を受け取ることができる。１つの実施例では、画像プロセッサ回路は、リスナー１５０が少なくとも指定された閾値量だけ初期位置から離れて移動するまで、リスナー１５０に関する位置変化の情報を保留する。１つの実施例では、オーディオプロセッサ回路は、リスナー１５０の位置に関する情報がオーディオ信号処理パラメータの変更又は更新を必要とするかどうか、又はいつ必要とするかを決定することができる。
【００３９】
図４は、サウンドバー４０２及びカメラ３０１を備えたリスニング環境１０１の実施例４００を全体的に示す。すなわち図４は、リスニング環境１０１がテレビジョン１０２以外の音源を含むか又は用いることができることを示している。サウンドバー４０２は、仮想オーディオ情報を受け取り、異なるスピーカ４０５Ａ及び４０５Ｂのペアを用いてオーディオ信号を再生して、リスナー１５０の３Ｄオーディオ体験を提供することができる。１つの実施例では、サウンドバー４０２からのオーディオを調節して、カメラ３０１からのリスナー１５０の位置に関する情報などに基づいて第１のスイートスポット１１０及び第２のスイートスポット３１０などの異なるスイートスポットに対応することができる。
【００４０】
図５Ａ、５Ｂ、及び６は、カメラ又は他のリスナー位置センサからの情報などを用いるなど、リスナー位置に関する情報を用いて仮想化処理を実行するのに用いることができるシステムを示す様々なブロック図を全体的に示す。図５Ａは、第１のバーチャライザ回路５１２Ａ及び第１のスイートスポットアダプタ回路５１４Ａを含む第１のシステム５００Ａのブロック図の実施例を全体的に示す。図５Ａの実施例では、第１のバーチャライザ回路５１２Ａ及び第１のスイートスポットアダプタ回路５１４Ａが第１のオーディオプロセッサ回路５１０Ａの一部分を含む。
【００４１】
図５Ａは、１又は２以上のオーディオ入力信号５０３を提供するオーディオソース５０１を含む。１つの実施例では、オーディオ入力信号５０３は、ラウドスピーカ、ヘッドフォンなどを用いたリスニングに好適とすることができる、マルチチャネルオーディオファイル、オーディオストリーム、オブジェクトベースのオーディオプログラム、又は他の信号又は複数の信号などを含む。オーディオ入力信号５０３は、第１のオーディオプロセッサ回路５１０Ａに提供される。
【００４２】
図５Ａは更に、ビデオ画像ソース５２１を含む。１つの実施例では、このビデオ画像ソース５２１は、図３及び４の実施例からのカメラ３０１などの光学又は視覚センサを含む。１つの実施例では、ビデオ画像ソース５２１は深度センサを含む。ビデオ画像スース５２１は、画像信号５２３を画像プロセッサ回路５３０に提供することができる。深度センサであるビデオ画像ソース５２１を含む１つの実施例では、画像信号５２３は、距離情報及び感知又は検出された特徴（例えば、リスナーの顔の特徴）情報の１つ又はその組み合わせを含むことができる。画像プロセッサ回路５３０は、画像信号５２３を分析してリスナーの位置を決定するよう、又はリスニング環境におけるリスナーの位置の推定を決定するよう構成することができる。１つの実施例では、画像プロセッサ回路５３０は、リスナーの位置に対応するリスニング環境における座標を決定するよう構成される。すなわち、画像プロセッサ回路５３０は、ビデオ画像ソース５２１（例えば、カメラ３０１、深度センサ、その他）からリスナーまでの距離に関する情報を決定又は提供することができる。
【００４３】
一部の実施例では、画像プロセッサ回路５３０は、リスナーの頭部配向に関する情報などを含む、リスナーの特性又は特徴を決定するよう構成される。頭部配向は、リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールのうちの１又は２以上に関する情報を含むことができる（図９を参照）。１つの実施例では、画像プロセッサ回路５３０は、リスナーの耳、口、眼、又は他の特徴のロケーション又は座標など、リスナーの顔の特徴又は他の頭の特徴のうちの１又は２以上のこれらのロケーションを決定するよう構成される。
【００４４】
画像プロセッサ回路５３０は、リスナー位置又はリスナーの配向に関する情報をリスナーロケーション信号５３１として第１のオーディオプロセッサ回路５１０Ａに提供することができる。リスナー位置信号５３１は、第１のスイートスポットアダプタ回路５１４Ａ、又は第１のバーチャライザ回路５１２Ａ、又は第１のスイートスポットアダプタ回路５１４Ａ及び第１のバーチャライザ回路５１２Ａの両方に提供することができる。
【００４５】
１つの実施例では、オーディオ入力信号５０３は、第１のオーディオプロセッサ回路５１０Ａにおける第１のバーチャライザ回路５１２Ａによって受信される。第１のバーチャライザ回路５１２Ａは、仮想化処理をオーディオ入力信号５０３の１又は２以上に適用して、中間オーディオ出力信号５０５Ａを提供するよう構成される。１つの実施例では、第１のバーチャライザ回路５１２Ａは、基準スイートスポットに基づいて又はリスニング環境に固有の他の情報又は考慮事項に基づいて、１又は２以上の仮想化フィルタを適用する。このような実施例では、第１のバーチャライザ回路５１２Ａは、オーディオ入力信号５０３の処理に影響を及ぼすリスナーロケーション信号５３１を使用しない。代わりに、第１のスイートスポットアダプタ回路５１４Ａは、リスナー位置信号５３１を受信し、リスナー位置信号５３１（例えば、リスナーの環境における１又は２以上のラウドスピーカに対するリスナーの位置に関する情報を示すか又は含む信号）に基づいて、第１のスイートスポットアダプタ回路５１４Ａは、第１のバーチャライザ回路５１２Ａから受信された中間オーディオ出力信号５０５Ａを処理するための１又は２以上のフィルタを選択する。次いで、第１のスイートスポットアダプタ回路５１４Ａは、オーディオ出力５５０Ａを用いて再生することができるオーディオ出力信号５０７Ａをレンダリング又は提供する。１つの実施例では、第１のスイートスポットアダプタ回路５１４Ａは、中間オーディオ出力信号５０５Ａの１又は２以上に利得又は減衰を適用し、オーディオ出力信号５０７Ａを提供する。利得又は減衰は、特定の周波数又は周波数帯域に適用することができる。１つの実施例では、第１のスイートスポットアダプタ回路５１４Ａは、中間オーディオ出力信号５０５Ａの１又は２以上に遅延を適用し、オーディオ出力信号５０７Ａを提供する。
【００４６】
別の実施例では、第１のバーチャライザ回路５１２Ａは、画像プロセッサ回路５３０からのリスナーロケーション信号５３１に少なくとも一部基づいて、１又は２以上の仮想化フィルタを適用する。すなわち、オーディオ入力信号５０３を処理するために第１のバーチャライザ回路５１２Ａによって用いられる１又は２以上のフィルタは、リスナーロケーション信号５３１からのリスナー位置に関する情報に基づいて選択することができる。第１のスイートスポットアダプタ回路５１４Ａはまた、リスナーロケーション信号５３１を受信し、リスナーロケーション信号５３１（例えば、リスナーの環境における１又は２以上のラウドスピーカに対するリスナーのロケーションに関する情報を示すか又は含む信号）に基づいて、第１のバーチャライザ回路５１２Ａから受信された中間オーディオ出力信号５０５Ａを処理するための１又は２以上のフィルタを選択することができる。
【００４７】
図５Ａに示すように、第１のオーディオプロセッサ回路５１０Ａは、マルチチャネルオーディオファイル又はオーディオストリームを受信して、ラウドスピーカリスニングに好適なバイノーラルラウドスピーカ信号を生成する。画像プロセッサ回路５３０などを含むリスナー位置推定モジュールは、入力として視覚情報を取り込み、リスナーの位置を決定又は推定して、リスナーロケーション信号５３１における位置情報を符号化する。１つの実施例では、画像プロセッサ回路５３０は、顔の決定された位置及び／又は大きさ、及び／又はリスナーの眼の位置に基づいて、リスナーロケーション信号５３１を提供する。リスナー位置情報は、方位角（例えば、画像の中心と水平面における投影された顔の中心の間の角度）及び距離（例えば、ビデオ画像スース５２１とリスナーの顔の中心の間の距離）を含むことができる。リスナーロケーション信号５３１における他の情報は、仰角（例えば、画像の中心と垂直面における投影された顔の中心の間の角度）、顔のヨー角、ピッチ角及び／又はロール角を含むことができる。リスナー位置推定の精度を改良するために、画像プロセッサ回路５３０又は別のプロセッサ回路は、分類アルゴリズムを実行して、リスナーの年齢及び性別の１又は２以上を決定して、距離推定に対する対応する顔幅パラメータを適用することができる。第１のスイートスポットアダプタ回路５１４Ａは、リスナーの位置に基づいて対応する遅延及び利得補償を計算する。
【００４８】
図５Ｂは、第２のバーチャライザ回路５１２Ｂ及び第２のスイートスポットアダプタ回路５１４Ｂを含む第２のシステム５００Ｂのブロック図の実施例を全体的に示す。図５Ｂの実施例では、第２のバーチャライザ回路５１２Ｂ及び第２のスイートスポットアダプタ回路５１４Ｂが第２のオーディオプロセッサ回路５１０Ｂの一部分を含む。
【００４９】
図５Ｂの第２のシステム５００Ｂは、第２のスイートスポットアダプタ回路５１４Ｂは、オーディオ入力信号５０３を受信する第１のバーチャライザ回路５１２Ａの代わりにオーディオソース５０１からオーディオ入力信号５０３を受信する図５Ａからの第１のシステム５００Ａの例とは異なる。すなわち、第２のスイートスポットアダプタ回路５１４Ｂは、第２のバーチャライザ回路５１２Ｂによって適用されるオーディオ仮想化処理の前など、オーディオ入力信号５０３の利得及び／又は遅延又は他のフィルタリングを提供するよう構成することができる。リスナーロケーション信号５３１は、第２のスイートスポットアダプタ回路５１４Ｂ、又は第２のバーチャライザ回路５１２Ｂ、又は第２のスイートスポットアダプタ回路５１４Ｂ及び第２のバーチャライザ回路５１２Ｂの両方に提供することができる。図５Ｂの実施例では、第２のバーチャライザ回路５１２Ｂは、オーディオ出力５５０Ｂを用いて再生できるオーディオ出力信号５０７Ｂをレンダリング又は提供する。
【００５０】
図６は、第３のバーチャライザ回路６１２を含む第３のシステム６００のブロック図の実施例を全体的に示す。図６の実施例では、第３のバーチャライザ回路６１２は、第３のオーディオプロセッサ回路６１０の少なくとも一部分を含む。図６は、１又は２以上のオーディオ入力信号５０３を提供するオーディオソース５０１を含む。オーディオ入力信号５０３は、第３のオーディオプロセッサ回路６１０に提供される。
【００５１】
図６は、画像信号５２３を画像プロセッサ回路５３０に提供するよう構成されたビデオ画像ソース５２１を含み、画像プロセッサ回路は、画像信号５２３を分析して、リスナーの位置を決定するか、又はリスニング環境におけるリスナーの位置の推定を決定するよう構成される。画像プロセッサ回路５３０は、リスナー位置又はリスナーの配向に関する情報をリスナーロケーション信号５３１として第３のオーディオプロセッサ回路６１０に提供することができる。リスナーロケーション信号５３１は、第３のバーチャライザ回路６１２に提供することができる。
【００５２】
１つの実施例では、オーディオ入力信号５０３は、第３のオーディオプロセッサ回路６１０の第３のバーチャライザ回路６１２によって受信される。第３のバーチャライザ回路６１２は、仮想化処理をオーディオ入力信号５０３の１又は２以上に適用して、オーディオ出力信号６０７を提供するよう構成される。１つの実施例では、第３のバーチャライザ回路６１２は、画像プロセッサ回路５３０からのリスナーロケーション信号５３１に少なくとも一部基づいて、１又は２以上の仮想化フィルタを適用する。すなわち、リスナーロケーション信号５３１からのリスナーの位置に関する情報に基づいて、オーディオ入力信号５０３を処理するために第３のバーチャライザ回路６１２によって用いられる１又は２以上のフィルタを選択することができる。
【００５３】
１つの実施例では、ビデオ画像ソース５２１は、継続的に、定期的に、又は間欠的に画像プロセッサ回路５３０に画像信号５２３を供給する。画像プロセッサ回路５３０は、相応して、リスナーロケーション信号５３１の更新されたバージョンを生成することができる。すなわち、画像プロセッサ回路５３０は、画像信号５２３における変化に基づいてリスナーロケーション信号５３１を更新又は調節することができる。図６の実施例では、第３のバーチャライザ回路６１２は、更新又は調節されたリスナーロケーション信号５３１を受信し、オーディオ出力信号６０７を生成するのに用いられる仮想化フィルタの１又は２以上を更新又は調節するかどうかを決定することができる。
【００５４】
１つの実施例では、図５Ａ、５Ｂ、及び／又は６のシステムの何れか１又は２以上は、ユーザインタフェースを含むか又は用いることができる。ユーザインタフェースは、システムの作業ステータスに関してリスナー又は他のユーザに視覚フィードバックを提供するよう構成することができる。例えば、ユーザインタフェースは、スイートスポットに対するリスナーの位置の推定を表示するよう構成することができる。ユーザインタフェースの特徴及び実施例について、以下で更に説明する。
【００５５】
１つの実施例では、ラウドスピーカを通じた３Ｄオーディオ仮想化の実施構成は、バイノーラルシンセサイザ及びクロストークキャンセラを含むか又は用いる。入力信号がヘッドフォンリスニングなどのために既に両耳でレンダリングされるときには、バイノーラルシンセサイザステップをバイパスすることができる。バイノーラルシンセサイザ及びクロストークキャンセラの両方は、頭部伝達関数（ＨＲＴＦ）を用いることができる。ＨＲＴＦは、ＨＲＩＲ（頭部インパルス応答）の周波数ドメイン表現である。ＨＲＴＦは、３Ｄスペースの位置からリスナーの耳まで伝播する音源の音響変換を表す。このような変換は、とりわけ、リスナーの頭部、胴体、及び耳介の物理的特性に起因したサウンドの回折を取り込むことができる。ＨＲＴＦは、一般的には、左耳に１つ及び右耳に１つなどを含む、フィルタのペアで設けることができる。
【００５６】
バイノーラルシンセサイズでは、音源がＨＲＩＲのペアで畳み込まれ、リスナーの耳で受け取られるバイノーラル信号を合成する。周波数ドメインでは、リスナーの耳で受け取られたバイノーラル信号は、次式のように表すことができる。
【数１】
2020532914.tif 000003
【００５７】
図７は、ＨＲＴＦを用いた３次元音源のバイノーラルシンセサイズの実施例を全体的に示す。図７の実施例では、Ｓが音源を示し、ＨLがリスナーの左耳のＨＲＴＦであり、ＨRがリスナーの右耳のＨＲＴＦであり、ＢLが左耳で受け取られたバイノーラル信号を示し、ＢRが右耳で受け取られたバイノーラル信号を示す。同時に利用可能な複数の音源がある時は、各音源は、ＨＲＴＦの関連するペアで畳み込むことができる。リスナーの耳で受け取られたバイノーラル信号を合成するために、結果として得られた信号を合計することができる。この結果として得られたバイノーラル信号は、ヘッドフォンリスニングに好適とすることができる。１つの実施例では、ヘッドフォントランスデューサに起因した何れかの望ましくない変換を取り除くために、様々な信号シェーピング又は周波数応答補償を適用することができる。
【００５８】
１つの実施例では、リスニング環境における２つのラウドスピーカを通じた３Ｄオーディオ仮想化を達成するために、追加のステップを使用して、左のラウドスピーカからリスナーの右耳まで及び右のスピーカからリスナーの左耳までのクロストークを取り除く。
【００５９】
図８は、クロストークキャンセラを用いた３次元サウンド仮想化の実施例を全体的に示す。図８の実施例では、ＴLLが左のスピーカから左耳への伝達関数を表し、ＴLRが左スピーカから右耳への伝達関数を示し、ＴRLが右スピーカから左耳への伝達関数を表し、ＴRRが右スピーカから右耳への伝達関数であり、ＢLが左バイノーラル信号であり、ＢRが右バイノーラル信号である。
【００６０】
図８の実施例では、クロストークキャンセラがバイノーラルシンセサイザの出力（ＢL及びＢR）に適用される。クロストークキャンセラ出力信号は、再生のための左及び右側ラウドスピーカに送信される。１つの実施例では、クロストークキャンセラＣを音響伝達行列Ｔの逆数として実装することができ、これによってリスナーの耳で受け取られた信号はＢL及びＢRであるようになる。すなわち次式になる。
【数２】
2020532914.tif 000004
【００６１】
クロストークキャンセレーション技術は、多くの場合、簡単にするために、ラウドスピーカがリスナーに対して対称的なロケーションに配置される。本明細書で論じるシステム及び方法などを用いる空間オーディオ処理では、リスナーが最適３Ｄオーディオ効果を知覚するロケーションは、スイートスポットと呼ばれる（一般的には２つのラウドスピーカ間の対称軸に一致する）。しかしながら、例えば、対称の仮説が満たされないので、リスナーがスイートスポットの外側にいる場合は３Ｄオーディオ効果が正確ではなくなる。
【００６２】
ここでリスニング環境におけるリスナー位置の決定又は推定を参照すると、本明細書で論じる画像プロセッサ回路５３０は、１つの実施例において、リスナーの顔幅、又はリスナーの両眼の間の距離が一致するという仮定で作動することができる。画像プロセッサ回路５３０からのリスナー位置情報は、１つの実施例では、方位角及びリスナーからカメラまでの距離を含むことができる。任意選択的に、リスナーの位置情報は、仰角、頭部ヨー角、頭部ピッチ角、及び／又は頭部ロール角を含むことができる。様々な異なる方法を用いてリスナーの位置を推定することができる。
【００６３】
図９は、カメラ３０１及び／又はビデオ画像ソース５２１などのカメラの視野におけるリスナーの位置を推定するステップを含む方法の実施例を全体的に示す。図９の実施例では、本発明の方法は、まずリスナーの距離を推定するステップ、及び次に推定した距離に基づいてリスナーの方位角及び仰角を推定するステップを含むことができる。この方法は、以下のように実施することができる。
【００６４】
まず、機械又はコンピュータビジョン分析回路（例えば、画像プロセッサ回路５３０）は、カメラ（例えば、カメラ３０１及び／又はビデオ画像ソース５２１）からビデオ入力ストリーム（例えば、画像信号５２３）を受信して、これに応じて、第１のアルゴリズムなどを用いて、リスナーの片方又は両方の眼の位置に関する顔の長方形及び／又は情報を提供又は決定することができる。第１のアルゴリズムは、画像ソース（例えば、カメラ又はレンズ）の固有のパラメータなどに基づいて顔の長方形を検出する前又は後に、歪み補正モジュールを任意選択的に用いて、リスナー位置推定の精度を改良することができる。
【００６５】
機械又はコンピュータビジョン分析回路（例えば、画像プロセッサ回路５３０）は、推定された顔の長方形の幅（例えば、画素）又は眼の距離（例えば、画素）を用いて画像ソースから（例えば、深度センサ又はカメラから）リスナーの顔の中心までの距離（例えば、ミリメートル）を計算することができる。この距離計算は、例えば、顔幅又は眼間距離が一定であるという仮定を用いて、とりわけ、カメラハードウェアパラメータ又は実験的較正パラメータに基づくことができる。１つの実施例では、眼の距離及び／又は頭幅は、多くのリスナーにとって又は本システムによって検出される可能性が高いリスナーにとって、固定又は基準値を有すると仮定することができる。例えば、ほとんどの大人の頭は約１４ｃｍの直径であり、ほとんどの眼は約５ｃｍ離れている。例えば、センサからのリスナーの距離を決定するための前段階として、これらの基準寸法を用いて、深度センサ又はカメラに対するリスナーの配向に関する情報を検出又は補正することができる。換言すると、本システムは、最初にリスナーの頭部配向を決定し、次に頭部配向の情報を用いて、センサからリスナーまでの距離を決定するよう構成することができる。
【００６６】
１つの実施例では、眼の距離、すなわち瞳孔間距離は、前に顔を向けたリスナーでは約５ｃｍと仮定することができる。瞳孔間距離の仮定は、例えば、年齢又は性別検出アルゴリズムに基づいて調節することができる。瞳孔間距離は、受け取られた画像の画素の一定の幅に対応し、画像における眼の位置、カメラの視野、及び類似の「顔幅」アルゴリズムに対して本明細書で提示される式を用いて、１つの角度に変換することができる。この実施例では、角度値は、カメラからの特定の距離に対応する。基準測定（例えば、ラジアンに変換できるミリメートルのリスナーまでの基準距離及び画素の対応する瞳孔間距離）が行われると、リスナーまでの距離は、同じ又は異なる前方に向いたリスナーなどに対する後で検出された瞳孔間距離を用いて決定することができる。
【００６７】
前方以外の方向（例えば、カメラに対する角度）を向いている可能性があるリスナーに対して、頭部配向トラッキングアルゴリズム（例えば、頭部ヨー角、ロール角及び／又はピッチ角を検出又は決定するよう構成された）からの情報を用いて、例えば、大人の顔に対する１４３ミリメートル直径の球面上の検出された眼の中心位置を回転させることができる。瞳孔間距離についても上記で同様に述べたように、仮定された又は基準頭部直径は、例えば、リスナーの年齢又は性別に従って変えることができる。仮説に基づいた球面の周りで検出された眼の中心を回転させることによって、補正された又は対応する顔を前に向けた眼の位置を計算することができる。
【００６８】
距離計算に続いて、任意的な分類アルゴリズムを用いて、位置又は距離推定の精度を強化又は改良することができる。例えば、リスナーの年齢及び／又は性別を決定して対応する顔幅パラメータ又は眼の距離パラメータを適用するよう分類アルゴリズムを構成することができる。
【００６９】
次に、顔画像中心画素（例えば、画像＿幅／２、画像＿高さ／２）及び顔中心画素の知識によって、本発明の方法は、顔平面における横及び縦の距離画素を計算するステップを含むことができる。一定の大人の顔幅（例えば、約１４３ミリメートル）及びその検出された画素サイズを仮定して、例えば、次式を用いて距離をミリメートルに変換することができる。
距離（ｍｍ）＝距離（画素）*顔＿幅（ｍｍ）／顔＿幅（画素）
２つの距離値を用いて、本発明の方法は、画像中心から顔中心までの対角線距離を計算することによって続行することができる。カメラからリスナーの顔までの公知の距離及び画像中心からリスナーの顔までの距離によって、ピタゴラスの定理を用いて顔の平面までの距離を計算することができる。
【００７０】
次に方位角を計算することができる。方位角は、顔の正面の中心線と水平面の顔までの距離の投影との間の角度である。方位角を、中心線と画像中心と顔の位置の間の水平距離との間の逆正接として計算することができる。
【００７１】
仰角も同様に決定することができる。仰角は、カメラから顔の中心までの線と画像中心にわたる水平面に対する投影の間の角度である。仰角は、垂直距離とリスナー距離の間の比の逆正弦として計算することができる。
【００７２】
最後に、ヒステリシスを適用することによって推定されるリスナー位置を任意選択的にフィルタすることができ、リスナー位置における何れかの望ましくない変動又は不意の変化を低減することができる。
【００７３】
１つの実施例では、リスニング環境におけるリスナー位置を推定するための別の方法は、リスナーの距離及び角度を独立して決定するステップを含む。この方法は、較正アクティビティ中に取得できるようなカメラの視野（ＦＯＶ）に関する情報を用いる。
【００７４】
図１０は、カメラによって取り込まれる画像への投影に対するリスナーの顔の位置の実施例１０００を全体的に示す。環境内を移動し、カメラに向いた、カメラに対して比較的一定又は不変の距離を維持するリスナーの顔は、およそ球面を表すことがある。水平及び垂直移動を独立して取る場合、顔は水平軸上の円及び垂直軸上の円を描くことができる。カメラが一定の又は固定された視野でしか見ないので、円の一部だけがカメラに見える。可視部分は、一般的には視野、又は視界（ＦＯＶ）と呼ばれる。実際のシーンは、例えば、線が収束する中心に向けて画像投影を通過する線に従ってカメラのレンズを通してカメラセンサに投影される。この識見によって、画像の各画素の画像中心に対する角度を、画素の代わりなどのラジアンで回復及び表現することができる。実施例１０００では、ｘ１及びｘ２がリスナーの顔のコーナー又はエッジのロケーションを表し、Ｄがカメラまでの距離を表す。
【００７５】
図１１は、画像座標を決定するステップの実施例１１００を全体的に示す。実施例１１００は、カメラの視野における何れかの画像座標に対する角度を決定又は回復するステップを含むことができる。図１１の実施例では、ｘが角度として推定される画像の位置を示し、ｙが何れかの値ｘを推定するのに用いることができる画像幅及び視野からの計算された値を示す。角度θ1が、カメラの視野の１／２を示し、角度θ2がｘに対応するような決定するのに望ましい角度値を示す。リスナーの方位角（ｘ＿ｉｎ＿ｒａｄｉａｎｓ）は、次式で計算することができる。
【数３】
2020532914.tif 000005
【数４】
2020532914.tif 000006
較正事象の間、カメラまでの基準の顔の距離（ｄ＿ｒｅｆ）を測定することができ、対応するラジアン（ｗ＿ｒｅｆ）単位の基準顔幅を記録することができる。基準値を用いて、シーンにおける何れの顔に対しても、顔幅をラジアン（ｗ＿ｅｓｔ）に変換することができ、カメラまでの距離ｄを次式で計算することができる。
【数５】
2020532914.tif 000007
１つの実施例では、水平ＦＯＶ及び画像サイズが既知である場合、垂直ＦＯＶを次式のように計算することができる。
【数６】
2020532914.tif 000008
ラジアン単位の仰角（ｅ＿ｉｎ＿ｒａｄｉａｎｓ）も同様に、次式のように計算することができる。
【数７】
2020532914.tif 000009
【数８】
2020532914.tif 000010
【００７６】
本明細書で論じるシステム及び方法によるスイートスポット適応は、オーディオ信号に遅延及び／又は利得補償を加えることなどによってバーチャライザ回路及びスイートスポットアダプタ回路の１又は組み合わせを用いて実行することができる。１つの実施例では、スイートスポットアダプタ回路がバーチャライザ回路からのオーディオ信号出力に遅延及び／又は利得補償を加え、スイートスポットアダプタ回路は、リスナー位置又は配向に関する情報に基づいて遅延の指定された量を加える。１つの実施例では、バーチャライザ回路は、ＨＲＴＦなどの１又は２以上の異なる仮想化フィルタを適用して、１又は２以上の仮想化フィルタは、リスナーの位置又は配向に関する情報に基づいて選択される。１つの実施例では、バーチャライザ回路及びスイートスポットアダプタ回路を、リスニング環境におけるスイートスポット適応又はリロケーションのための適切なオーディオ仮想化を実現するために協調して作用するよう調節又は構成することができる。
【００７７】
リスナーと仮想オーディオ信号の再生に用いられる２又は３以上のスピーカとの間の距離を用いて遅延及び利得補償を実行することができる。この距離は、カメラに対するリスナーの位置に関する情報を用いて及びカメラに対するラウドスピーカの位置に関する情報を用いて計算することができる。１つの実施例では、カメラ及び／又はラウドスピーカに対するリスナーの方位角、リスナーからカメラまでの距離、仰角、及び基準面又は線に対する頭部ヨー角、顔のピッチ角、及び／又はロール角に関する情報を推定又は提供するよう画像プロセッサ回路を構成することができる。
【００７８】
図１２は、カメラの視野におけるリスナーの座標を決定するステップの実施例１２００を全体的に示す。例えば、カメラに対するリスナーのデカルト座標を提供することができる。図１２の実施例では、カメラの位置を座標系の基点とすることができる。この場合、次式を用いてリスナーのデカルト座標を計算することができる。
【数９】
2020532914.tif 000011
ここでｄはカメラとリスナーの間の推定距離であり、αは方位角であり、φは仰角である。
【００７９】
１つの実施例では、左スピーカ及び右スピーカの座標をそれぞれ
2020532914.tif 000012
及び
2020532914.tif 000013
とすることができる。リスナーと２つのラウドスピーカの間の距離を次式のように計算することができる。
【数１０】
2020532914.tif 000014
サンプルの遅延（Ｄ）を次式のように計算することができる。
Ｃが空中の音の速度（室温で約３４３ｍ／ｓ）である場合に、
【数１１】
2020532914.tif 000015
Ｄが正である場合、遅延は右チャネルに加えられる。そうでなければ、遅延は左チャネルに加えられる。
【００８０】
１つの実施例では、遅延に加えて又は遅延の代わりに１又は２以上のオーディオ信号又はチャネルに利得補償を加えることができる。１つの実施例では、利得補償は、２つのラウドスピーカの間の距離差に基づくことができる。例えば、ｄＢの利得を次式のように計算することができる。
【数１２】
2020532914.tif 000016
全体のサウンドレベルを維持するために、リスナーに対して遠いスピーカの利得を上げることができ、近いスピーカの利得は下げることができる。このようなケースでは、加えられる利得を計算された利得値の約半分にすることができる。
【００８１】
図１３は、ラップトップコンピュータに対するカメラとラウドスピーカの間の関係の実施例１３００を全体的に示す。図１３の実施例では、ラップトップコンピュータに固定される左及び右ラウドスピーカ（スピーカＬ及びスピーカＲ）は、同じラップトップコンピュータに固定されたカメラとは異なる軸を有することができる。加えて、ラップトップコンピュータのスクリーン角度は一般的には正確に９０度ではない。図１３を参照すると、カメラの位置が座標系の基点であると見なされる場合、左スピーカ、スピーカＬの位置を次式のように表すことができる。
ｘ＝ｃｓｉｎ（α）＋ｑ
ｙ＝−ｌ
ｚ＝−ｃｃｏｓ（α）
同様に、右スピーカ、スピーカＲの位置を次式のように表すことができる。
ｘ＝ｃｓｉｎ（α）＋ｑ
ｙ＝ｌ
ｚ＝−ｃｃｏｓ（α）
【００８２】
１つの実施例では、ｑが０及びｃが０であるときに、左及び右スピーカの位置はそれぞれ
2020532914.tif 000017
及び
2020532914.tif 000018
である。この場合、２つのスピーカはｙ軸に一致する。このような配向は、例えば、サウンドバー（例えば、図４の実施例を参照）を含むか又は用いる実施では一般的とすることができる。
【００８３】
１つの実施例では、ｑが０及びαが０であるときに、左及び右スピーカの位置はそれぞれ
2020532914.tif 000019
及び
2020532914.tif 000020
である。この場合、２つのスピーカはｙ−ｚ面上にある。このような配向は、例えば、ＴＶ（例えば、図１−３の実施例を参照）を含む実施では一般的とすることができる。
【００８４】
しかしながら、ラップトップコンピュータの可変画面角度により、カメラのピッチ角度が０でないことがある。すなわち、カメラがｘ軸の方向に向いていないか又は一致しないことがある。従って、検出されたリスナー位置をリスナーと２つのスピーカの距離をコンピュータ計算する前に調節することができる。リスナーの位置は、ｘ−ｚ面のカメラピッチ角度によって回転させることができ、これによってカメラはｘ軸方向を向く。例えば、調節されたリスナー位置を次式のように表すことができる。
【数１３】
2020532914.tif 000021
リスナー位置が調節された後に、リスナーから各スピーカまでの距離を計算することができる。
【００８５】
前述のように、遅延及び利得パラメータをフィルタして決定されたリスナー位置における様々な変化又は変動に対応することはユーザ体験にとって有益とすることができる。すなわち、推定された遅延値（Ｄest）及び／又は推定された利得値（Ｇest）をフィルタして意図しないオーディオ変動を低減することはリスナー体験にとって有益とすることができる。効率的な方法は、例えば、次式のように実行平均フィルタを加えることである。
【数１４】
2020532914.tif 000022
ここでαは０と１の間の平滑定数であり、Ｄnext及びＧnextは後の又は後続の遅延及び利得値であり、Ｄprev及びＧprevは前の遅延及び利得値である。中央値フィルタリングなどの平滑化のための代替の方法を加えて又は代わりに用いることができる。
【００８６】
１つの実施例では、バーチャライザ回路又はスイートスポットアダプタ回路などを含む、ビデオ画像ソース（例えば、カメラ）、画像プロセッサ回路、又はオーディオプロセッサ回路の１又は２以上からの情報を受信するようユーザインタフェースを構成することができる。このユーザインタフェースは、リスナーなどにビデオ画像ソース（例えば、カメラ）及び／又はオーディオプロセッサ回路の作動ステータスを指示する情報又はフィードバックを提供するよう構成することができる。
【００８７】
例えば、ビデオ画像ソースは、制限された視野を有するカメラを含むことがある。リスナーがカメラの視野の外側にいるときに、リスナーがリスニング環境及び視野におけるリスナーの実際の位置に対応する仮想化処理を可能にするためにカメラの視野内の位置に移動する必要があることを示す指示又は警告をＵＩを用いてリスナーに提供することが役に立つ。１つの実施例では、ＵＩは、例えば、画像プロセッサ回路からのリスナー位置信号に関する情報を含むリスナー位置トラッカーのステータスを指示するテキスト又は画像を画面に表示することができる。他の実施例は、リスニング環境における１又は２以上の利用可能なスイートスポットの指示などによってビデオ画像ソースから抽出されたビデオ又は静止画像又は他の情報を表示するステップを含むことができる。カメラが焦点から外れているか又は適切に焦点を合わせることができない場合をリスナーに示すためにＵＩを用いることもできる。
【００８８】
本明細書で論じる３Ｄスイートスポット適応システム及び方法の代替の実施形態も可能である。本明細書で説明する以外の多くの他の変種もこの文書から明らかになるであろう。例えば、実施形態に応じて、本明細書で説明する方法及びアルゴリズムの何れかの一定の動作、事象、又は機能を異なるシーケンスで実行することができ、追加、統合、又は互いから除外することができる（これによって説明する動作又は事象の全てが本発明の方法及びアルゴリズムの実施に必要であるわけではない）。一定の実施形態では、動作又は事象を、順次ではなく、マルチスレッド処理、割り込み処理、又はマルチプロセッサ又はプロセッサコア又は他の並行アーキテクチャなどを介して同時に実行することができる。加えて、様々なタスク又は処理を、互いに機能できる様々な機械、回路、及びコンピュータシステムによって実行することができる。例えば、オーディオ仮想化及びスイートスポット適応を離散的回路又はシステムを用いて実行することができるか、又は共通の汎用プロセッサを用いて実行することができる。
【００８９】
本明細書で開示する実施形態に関して説明する様々な例証の論理的ブロック、モジュール、方法、及びアルゴリズム処理及びシーケンスは、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実施することができる。ハードウェア及びソフトウェアの互換性を分かり易く示すために、様々な例証の構成要素、ブロック、モジュール、及び処理動作について、上記ではその機能の観点で全体的に説明してきた。このような機能がハードウェア又はソフトウェアとして実施されるかどうかは、全体のシステムに課される特定の応用及び設計上の制約に依存する。記載される機能は、各特定の応用に対して様々な方法で実施することができるが、このような実施の決定は、本明細書の範囲からの逸脱を生じるものとして解釈すべきではない。本明細書で記載されるスイートスポット適応及び画像処理方法並びに手法の実施形態は、図１４の検討で記載されるように、多数のタイプの汎用又は専用コンピュータシステム環境又は構成内で動作可能である。
【００９０】
本明細書で開示する実施形態に関して説明する様々な例証の論理的ブロック及びモジュールは、汎用プロセッサ、処理デバイス、１又は２以上の処理デバイスを有するコンピュータデバイス、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、離散的ゲート又はトランジスタ論理、離散的ハードウェア構成要素、又は本明細書で説明する機能を実行するよう設計されたこれらの何れかの組み合わせなどの機械によって実施又は実行することができる。汎用プロセッサ及び処理デバイスは、マイクロプロセッサとすることができるが、代替として、プロセッサは、コントローラ、マイクロコントローラ、又は状態機械、同様の組み合わせなどとすることができる。プロセッサは、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続した１又は２以上のマイクロプロセッサ、又は何れかの他のこのような構成などのコンピュータデバイスの組み合わせとして実施することもできる。
【００９１】
更に、本明細書で記載される仮想化及び／又はスイートスポット適応の様々な実施例の一部又は全部を具現化するソフトウェア、プログラム、又はコンピュータプログラム製品の１又は何れかの組み合わせは、コンピュータ実行可能命令又は他のデータ構造の形式でコンピュータ又は機械可読媒体又はストレージデバイス及び通信媒体の何れかの要求される組み合わせから格納、受信、送信、又は読み取ることができる。本発明の主題は、構造的特徴及び方法の動作に固有の言語で記述されるが、添付の請求項において定義される主題は、必ずしも本明細書で記載される特定の特徴又は動作に限定されないことを理解されたい。むしろ、上述の特定の特徴及び動作は、請求項を実施する例示的な形態として開示される。
【００９２】
様々なシステム及び機械は、限定ではないが、センサ又は画像からの情報を用いたリスナー位置又は配向の決定又は推定、ＨＲＴＦなどを用いたオーディオ仮想化処理、及び／又は１又は２以上の信号の利得及び／又は遅延フィルタリングなどを用いたスイートスポット適応のためのオーディオ信号処理を含む、本明細書で説明する信号処理タスクの１又は２以上を実行又は実施するよう構成することができる。開示される回路又は処理タスクの何れか１又は２以上は、有形の非一時的プロセッサ可読媒体から取り出される命令を用いるなど、様々な処理タスクを実行する汎用又は専用の機械を用いて実施又は実行することができる。
【００９３】
図１４は、一部の実施例による、機械可読媒体（例えば、機械可読記憶媒体）から命令１４１６を読み取って、本明細書で論じる方法の何れか１又は２以上を実行することができる、機械１４００の構成要素を示すブロック図である。具体的には、図１４は、機械１４００の概略図をコンピュータシステムの例示的な形態で示しており、システム内では、本明細書で論じる方法の何れか１又は２以上を機械１４００に実行させるための命令１４１６（例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリ、又は他の実行可能コード）を実行することができる。例えば、命令１４１６は、本明細書で論じるオーディオ信号処理及び／又は画像信号処理を遂行するよう構成できるなど、図５Ａ、５Ｂ、６、及び／又は８のモジュール又は回路もしくは構成要素のうちの１又は２以上を実施することができる。命令１４１６は、汎用のプログラムされていない機械１４００を、説明した方式で（例えば、オーディオプロセッサ回路として）記載及び図示した機能を実行するようプログラムされた特定の機械に変換することができる。代替の実施形態では、機械１４００は、独立型デバイスとして作動するか、又は他の機械に結合（例えば、ネットワーク化）することができる。ネットワーク化された配備では、機械１４００は、サーバ−クライアントネットワーク環境内のサーバマシン又はクライアントマシンの形態で、又はピアツーピア（又は分散型）ネットワーク環境におけるピアマシンとして作動することができる。
【００９４】
機械１４００は、限定ではないが、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、娯楽媒体システム又はシステム構成要素、セルラー電話、スマートフォン、移動デバイス、ウェアラブルデバイス（例えば、スマートウォッチ）、スマートホームデバイス（例えば、スマート機器）、他のスマートデバイス、ウェブ機器、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、ヘッドフォンドライバ、又は機械１４００によって取られる動作を指定する命令１４１６を順次的に又は別の方法で実行することができる何れかの機械を備えることができる。更に、単一の機械１４００だけが示されているが、「機械」という用語は、本明細書で論じる方法のうちの何れか１又は２以上を実施する命令１４１６を個々に又はまとめて実行する機械１４００の集合を含むものと解釈すべきである。
【００９５】
機械１４００は、バス１４０２などを介して互いに通信するよう構成できる、オーディオプロセッサ回路、非一時的メモリ／記憶装置１４３０、及びＩ／Ｏ構成要素１４５０を含むようなプロセッサ１４１０を含むか又は用いることができる。１つの例示的実施形態では、プロセッサ１４１０（例えば、中央処理ユニット（ＣＰＵ）、縮小命令セット演算（ＲＩＳＣ）プロセッサ、複数命令セット演算（ＣＩＳＣ）プロセッサ、グラフィクス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ラジオ周波数集積回路（ＲＦＩＣ）、別のプロセッサ、又はこれらの何れかの適切な組み合わせ）は、例えば、命令１４１６を実行することができるプロセッサ１４１２及びプロセッサ１４１４などの回路を含むことができる。「プロセッサ」という用語は、命令１４１６を同時に実行することができる２又は３以上の独立型プロセッサ１４１２、１４１４（「コア」と呼ばれることもある）を含むことができるマルチコアプロセッサ１４１２、１４１４を含むものとする。図１４は複数のプロセッサ１４１０を示しているが、機械１４００は、単一コアを有する単一プロセッサ１４１２、１４１４、マルチコアを有するシングルプロセッサ１４１２、１４１４（例えば、マルチコアプロセッサ１４１２、１４１４）、シングルコアを有するマルチプロセッサ１４１２、１４１４、マルチコアを有するマルチプロセッサ１４１２、１４１４、又はこの何れかの組み合わせを含むことができ、プロセッサの何れか１又は２以上は、オーディオ及び／又はビデオ信号情報、又は他のデータを符号化するよう構成された回路を含むことができる。
【００９６】
メモリ／記憶装置１４３０は、メインメモリ回路又は他のメモリストレージ回路などのメモリ１４３２と、ストレージユニット１４３６とを含むことができ、これらは双方ともバス１４０２などを介してプロセッサ１４１０にアクセス可能である。ストレージユニット１４３６及びメモリ１４３２は、本明細書で記載される方法又は機能の何れか１又は２以上を実施する命令１４１６を格納する。命令１４１６はまた、機械１４００による実行の際に、メモリ１４３２内、ストレージユニット１４３６内、プロセッサ１４１０の少なくとも１つ内（例えば、プロセッサ１４１２、１４１４のキャッシュメモリ内）、又はこの何れかの適切な組み合わせ内で完全に又は部分的に存在することができる。従って、メモリ１４３２、ストレージユニット１４３６、及びプロセッサ１４１０のメモリは、機械可読媒体の実施例である。１つの実施例では、メモリ／記憶装置１４３０がロックアヘッドバッファ回路１２０又はこの１又は２以上の事例を含む。
【００９７】
本明細書で用いる「機械可読媒体」は命令１４１６及びデータを、一時的又は持続的に格納することができるデバイスを意味し、限定ではないが、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、バッファメモリ、フラッシュメモリ、光学媒体、磁気媒体、キャッシュメモリ、他のタイプのストレージ（例えば、消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、及び／又はこの何れかの適切な組み合わせを含むことができる。「機械可読媒体」という用語は、命令１４１６を格納することができる単一の媒体又は複数の媒体（例えば、集中又は分散データベース、又は関連付けられるキャッシュ及びサーバ）を含むものと解釈すべきである。「機械可読媒体」という用語は、機械（例えば、機械１４００）によって実行する命令（例えば、命令１４１６）を格納することができる何れかの媒体、又は複数の媒体の組み合わせを含むものと解釈すべきであり、これによって命令１４１６は、機械１４００の１又は２以上のプロセッサ（例えば、プロセッサ１４１０）によって実行されたときに、機械１４００に本明細書で説明する方法の何れか１又は２以上を実行させるようにする。従って、「機械可読媒体」は、単一の記憶装置又はデバイス、並びに複数の記憶装置又はデバイスを含む「クラウドベース」ストレージシステム又はストレージネットワークを指す。「機械可読媒体」という用語はそれ自体が信号そのものを除外する。
【００９８】
Ｉ／Ｏ構成要素１４５０は、入力を受信し、出力を提供し、出力を生成し、情報を送信し、情報を交換し、測定値を取り込むなどのために、多種多様な構成要素を含むことができる。特定の機械１４００に含まれる特定のＩ／Ｏ構成要素１４５０は、機械１４００のタイプに依存することになる。例えば、携帯電話などの携帯用機械は、タッチ入力デバイス、カメラ、又は他のこのような入力機構を含む可能性があり、ヘッドレスサーバマシンは、このようなタッチ入力デバイスを含まない可能性がある。Ｉ／Ｏ構成要素１４５０は、図１４に示していない多くの他の構成要素を含むことができることは理解されるであろう。Ｉ／Ｏ構成要素１４５０は、単に以下の説明を簡略化するために機能別にグループ分けされるのであって、このグループ分けは限定をするものではない。様々な例示的実施形態では、Ｉ／Ｏ構成要素１４５０は、出力構成要素１４５２及び入力構成要素１４５４を含むことができる。出力構成要素１４５２は、視覚構成要素（例えば、プラズマディスプレイパネル（ＰＤＰ）、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プロジェクタ、又はブラウン管（ＣＲＴ）などのディスプレイ）、音響構成要素（例えば、ラウドスピーカ）、ハプティック構成要素（例えば、振動モータ、抵抗機構）、他の信号生成器などを含むことができる。入力構成要素１４５４は、英数字入力構成要素（例えば、キーボード、英数字入力を受け取るよう構成されたタッチ画面、フォト光学キーボード、又は他の英数字入力構成要素）、ポイントベースの入力構成要素（例えば、マウス、タッチパッド、トラックボール、ジョイスティック、モーションセンサ、又は他のポインティング機器）、触覚入力構成要素（例えば、物理的ボタン、タッチの位置及び／又は力又はタッチジェスチャを提供するタッチ画面、又は他の触覚入力構成要素）、オーディオ入力構成要素（例えば、マイクロフォン）、ビデオ入力構成要素などを含むことができる。
【００９９】
他の例示的実施形態では、Ｉ／Ｏ構成要素１４５０は、種々の他の構成要素の中でも、生体計測構成要素１４５６、モーション構成要素１４５８、環境構成要素１４６０、又は位置（例えば、位置及び／又は配向）構成要素１４６２を含むことができる。例えば、生体構成要素１４５６は、リスナー固有又は環境固有のフィルタの内包、使用、又は選択に影響を与えることがある、表現（例えば、手の表現、顔の表現、オーディオの表現、身体ジェスチャ、又は眼の追跡）を検出する、生体信号（例えば、血圧、心拍、体温、汗、又は脳波）を測定する、人（例えば、オーディオ識別、網膜識別、顔識別、指紋識別、又は脳波図ベースの識別）を識別するための構成要素を含むことができる。モーション構成要素１４５８は、スイートスポットを更新又は調節するためにプロセッサによって検討又は用いることができるリスナーの位置の変化を追跡するのに用いることができる、加速度センサ構成要素（例えば、加速度計）、重力センサ構成要素、回転センサ構成要素（例えば、ジャイロスコープ）などを含むことができる。環境構成要素１４６０は、例えば、照明センサ構成要素（例えば、光度計）、温度センサ構成要素（例えば、周囲温度を検出する１又は２以上のサーモメータ）、湿度センサ構成要素、圧力センサ構成要素（例えば、バロメータ）、音響センサ構成要素（例えば、１又は２以上の周波数又は周波数帯域などに対する残響減衰時間を検出する１又は２以上のマイクロフォン）、近接センサ又は室内音量感知構成要素（例えば、近くの物体を検出する赤外線センサ）、ガスセンサ（例えば、安全のために有害なガスの濃度を検出するか又は大気中の汚染物質を測定するためのガス検出センサ）、又は周囲の物理的環境に対応する指示、測定値、又は信号を提供することができる他の構成要素を含むことができる。位置構成要素１４６２は、位置センサ構成要素（例えば、全地球測位システム（ＧＰＳ）受信機構成要素）、高度センサ構成要素（例えば、高度を導き出すことができる空気圧を検出する高度計又はバロメータ）、配向センサ構成要素（例えば、磁気探知機）などを含むことができる。
【０１００】
通信は、多種多様な技術を用いて実装することができる。Ｉ／Ｏ構成要素１４５０は、カップリング１４８２及びカップリング１４７２それぞれを介してネットワーク１４８０又はデバイス１４７０に機械１４００を結合するように動作可能な通信構成要素１４６４を含むことができる。例えば、通信構成要素１４６４は、ネットワーク１４８０に接続するためのネットワークインタフェース構成要素又は他の適切なデバイスを含むことができる。他の実施例では、通信構成要素１４６４は、有線通信構成要素、無線通信構成要素、セルラー通信構成要素、近距離通信（ＮＦＣ）構成要素、Ｂｌｕｅｔｏｏｔｈ（登録商標）構成要素（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）低エネルギー）、Ｗｉ−Ｆｉ（登録商標）構成要素、及び他の通信構成要素を含み、他のモダリティを介した通信を提供することができる。デバイス１４７０は、別の機械又は多種多様な周辺デバイスの何れか（例えば、ＵＳＢを介して結合される周辺デバイス）とすることができる。
【０１０１】
更に、通信構成要素１４６４は、識別子を検出する、又は識別子を検出するように動作可能な構成要素を含むことができる。例えば、通信構成要素１４６４は、無線自動識別（ＲＦＩＤ）タグリーダ構成要素、ＮＦＣスマートタグ検出構成要素、光学リーダ構成要素（例えば、ユニバーサル製品コード（ＵＰＣ）バーコードなどの１次元バーコード、クイックレスポンス（ＱＲ）コード、アズテックコード、データマトリックス、データグリフ、マキシコード、ＰＤＦ４９、ウルトラコード、ＵＣＣ  ＲＳＳ−２Ｄバーコード、及び他の光学コードなどの多次元バーコードを検出する光学センサ）、又は音響検出構成要素（例えば、タグ付けされたオーディオ信号を識別するマイクロフォン）を含むことができる。加えて、インターネットプロトコル（ＩＰ）測位による位置、Ｗｉ−Ｆｉ（登録商標）信号三角測量による位置、特定のロケーションを示すことができるＮＦＣビーコン信号の検出による位置など、多種多様な情報を通信構成要素１４６４を介して取得することができる。このような識別子を用いて、基準又はローカルインパルス応答、基準又はローカル環境特性、又はリスナー固有の特性のうちの１又は２以上に関する情報を決定することができる。
【０１０２】
様々な例示的実施形態では、符号化されたフレームデータ又は符号化されるフレームデータを送信するのに用いることができるようなネットワーク１４８０の１又は２以上の部分は、アドホックネットワーク、イントラネット、エクストラネット、バーチャルプライベートネットワーク（ＶＰＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、都市エリアネットワーク（ＭＡＮ）、インターネット、インターネットの一部、公衆交換電話網（ＰＳＴＮ）の一部、プレーンオールド電話サービス（ＰＯＴＳ）ネットワーク、セルラー電話ネットワーク、無線ネットワーク、Ｗｉ−Ｆｉ（登録商標）ネットワーク、別のタイプのネットワーク、又は２又は３以上のこのようなネットワークの組み合わせとすることができる。例えば、ネットワーク１４８０又はネットワーク１４８０の一部は、無線又はセルラーネットワークを含むことができ、カップリング１４８２は、符号分割多元接続（ＣＤＭＡ）接続、グローバル・システム・フォー・モバイル・コミュニケーション（ＧＳＭ）接続、又は別のタイプのセルラー又は無線カップリングとすることができる。この実施例では、カップリング１４８２は、シングルキャリアラジオ送信技術（１ｘＲＴＴ）、進化データ最適化（ＥＶＤＯ）技術、ジェネラル・パケット・ラジオ・サービス（ＧＰＲＳ）技術、ＧＳＭ進化のための強化データレート（ＥＤＧＥ）技術、３Ｇを含む第３の世代パートナーシッププロジェクト（３ＧＰＰ）、第４世代無線（４Ｇ）ネットワーク、ユニバーサル・モバイル・テレコミュニケーション・システム（ＵＭＴＳ）、高速パケットアクセス（ＨＳＰＡ）、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（ＷｉＭＡＸ）、長期進化（ＬＴＥ）規格、様々な標準設定機関により規定された他のもの、他の長距離プロトコル、又は他のデータ転送技術など、多種多様なタイプのデータ転送技術の何れかを実装することができる。
【０１０３】
命令１４１６は、ネットワークインタフェースデバイス（例えば、通信構成要素１４６４に含まれるネットワークインタフェース構成要素）を介した伝送媒体を用いて、並びに幾つかの公知の転送プロトコルの何れか１つ（例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ））を用いて、ネットワーク１４８０を通じて送信又は受信することができる。同様に、命令１４１６は、デバイス１４７０とのカップリング１４７２（例えば、ピアツーピアカップリング）を介して伝送媒体を用いて送信又は受信することができる。「伝送媒体」という用語は、機械１４００によって実行する命令１４１６を格納、符号化、又は搬送することができる何れかの無形媒体を含むものと解釈すべきであり、デジタル又はアナログ通信信号又はこのようなソフトウェアの通信を容易にする他の無形媒体を含む。
【０１０４】
本発明の様々な態様は、個別に又は共に用いることができる。例えば、態様１は、主題（装置、システム、デバイス、方法、動作を実行するための手段、又はデバイスによって実行されたときにデバイスに動作を実行させることができる命令を含むデバイス可読媒体など）を含むか又は用いることができ、例えば、スピーカに対するリスナー位置に基づいて１又は２以上の受信されたオーディオ信号を調節して、リスニング環境におけるリスナー位置にてスイートスポットを提供するための方法を含むか又は用いることができる。態様１は、第１のセンサによって監視される環境においてリスナー位置に関する第１のセンサからの情報を用いて、リスナー位置に関する第１の指示を受信するステップと、オーディオプロセッサ回路を用いて、（１）リスナー位置に関する受信された第１の指示、（２）第１のセンサに対するスピーカの位置に関する情報、及び（３）１又は２以上の受信されたオーディオ信号に基づいて１又は２以上の調節されたオーディオ信号を生成するステップと、を含むことができる。
【０１０５】
態様２は、態様１の主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、カメラの視野におけるリスナー位置に関するカメラからの情報を受信するステップを含む、第１のセンサからの情報を用いてリスナー位置に関する第１の指示を受信するステップを含む。
【０１０６】
態様３は、態様１又は２の１又は何れかの組み合わせの主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、環境におけるリスナー位置のリスナーの１又は２以上の特徴に関する深度センサからの情報を受信するステップを含む、第１のセンサからの情報を用いてリスナー位置に関する第１の指示を受信するステップを任意選択的に含む。
【０１０７】
態様４は、態様１から態様３の１又は何れかの組み合わせの主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、リスナーの頭部配向の指示を受信するステップを含む、第１のセンサからの情報を用いてリスナー位置に関する第１の指示を受信するステップを含み、リスナーの頭部配向は、リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールのうちの１又は２以上についての指示を含み、１又は２以上の調節されたオーディオ信号を生成するステップは、リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールの指示を用いるステップを含む。
【０１０８】
態様５は、態様４の主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、リスナーの頭部配向の受信された指示に基づいてスピーカからリスナーの２つの耳の各々までの距離を示す距離パラメータを決定するステップを含み、１又は２以上の調節されたオーディオ信号を生成するステップは、スピーカからリスナーの２つの耳の各々までの距離を補償するために選択されるフィルタを用いて、オーディオ信号の少なくとも１つのペアを生成するステップを含む。
【０１０９】
態様６は、態様１から５の１又は何れかの組み合わせの主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、バーチャライザ回路及びスイートスポットアダプタ回路を含むオーディオプロセッサ回路を含み、バーチャライザ回路は、１又は２以上の受信されたオーディオ信号を受信して、第１の仮想化フィルタに基づいて仮想オーディオ信号を生成するよう構成され、スイートスポットアダプタ回路は、バーチャライザ回路から仮想オーディオ信号を受信して、リスナー位置に関する受信された第１の指示に基づいて１又は２以上の調節されたオーディオ信号を提供するよう構成される。
【０１１０】
態様７は、態様６の主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、受信された仮想オーディオ信号の少なくとも１つのオーディオ信号チャネルに利得及び／又は遅延を加えるよう構成されたスイートスポットアダプタ回路を任意選択的に含み、利得及び／又は遅延は、リスナー位置に関する受信された第１の指示に基づく。
【０１１１】
態様８は、態様１から５の１又は何れかの組み合わせの主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、バーチャライザ回路及びスイートスポットアダプタ回路を含むオーディオプロセッサ回路を含み、スイートスポットアダプタ回路は、１又は２以上の受信されたオーディオ信号を受信して、中間オーディオ出力を提供するよう構成され、バーチャライザ回路は、スイートスポットアダプタ回路から中間オーディオ出力を受信して、リスナー位置に関する受信された第１の指示に基づいて調節されたオーディオ信号を生成するよう構成される。
【０１１２】
態様９は、態様１から８の１又は何れかの組み合わせの主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、バーチャライザ回路を含むオーディオプロセッサ回路を含み、バーチャライザ回路は、１又は２以上の受信されたオーディオ信号を受信して、受信した１又は２以上のオーディオ信号に仮想化処理を加えて調節されたオーディオ信号を生成するよう構成される。
【０１１３】
態様１０は、態様９の主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、バーチャライザ回路を含み、このバーチャライザ回路は、リスナー位置に関する受信された第１の指示に基づいて第１の仮想化フィルタを選択して受信した１又は２以上のオーディオ信号に加えて、調節されたオーディオ信号を生成するよう構成される。態様１０では、メモリ回路における複数の利用可能な仮想化フィルタの中から第１の仮想化フィルタを選択することができる。態様１０では、バーチャライザ回路又は別のプロセッサ回路を用いて、リスナー位置に関する第１の指示を入力として用いた数学的モデルに基づいて第１の仮想化フィルタを決定することができる。態様１０では、複数の他のフィルタの補間を用いて第１の仮想化フィルタを決定することができる。
【０１１４】
態様１１は、態様９又は１０の１又は何れかの組み合わせの主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、第１のセンサによって監視される環境におけるリスナー位置に関する第１のセンサからの情報を用いてリスナー位置に関する後続の第２の指示を受信するステップと、オーディオプロセッサ回路を用いて、異なる第２の仮想化フィルタに基づいて１又は２以上の調節されたオーディオ信号を生成するステップとを含み、バーチャライザ回路は、リスナー位置に関する受信された後続の第２の指示に基づいて異なる第２の仮想化フィルタを選択するよう構成される。
【０１１５】
態様１２は、態様１から１１の１又は何れかの組み合わせを含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、第１のセンサからの情報を用いるリスナー位置に関する第１の指示を受信するステップは、画像処理回路を用いて、基準顔幅に対するリスナーの顔幅を決定するステップと、決定されたリスナーの顔幅を用いて第１のセンサからリスナーの頭部位置までの距離の指示を提供するステップと、を含む。態様１２では、リスナー位置に関する受信された第１の指示に基づいて１又は２以上の調節されたオーディオ信号を生成するステップは、第１のセンサからリスナーの頭部位置までの距離の指示を用いるステップを含むことができる。
【０１１６】
態様１３は、態様１から１２の１又は何れかの組み合わせを含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、基準距離に対するリスナーの瞳孔間距離を決定するための画像処理回路の使用を含む、第１のセンサからの情報を用いてリスナー位置に関する第１の指示を受信するステップ、及びリスナーの頭部配向を決定するステップを含む。態様１３は、リスナーの決定された瞳孔間距離及び頭部配向を用いて、第１のセンサからリスナーの頭部位置までの距離の指示を提供するステップを含むことができ、また、態様１３は、第１のセンサからリスナーの頭部位置までの距離の指示を用いるステップを含むリスナー位置に関する受信された第１の指示に基づいて１又は２以上の調節されたオーディオ信号を生成するステップを含むことができる。
【０１１７】
態様１４は、主題（装置、システム、デバイス、方法、動作を実行するための手段、又はデバイスによって実行されたときにデバイスに動作を実行させることができる命令を含むデバイス可読媒体など）を含むか又は用いることができ、例えば、態様１から１３の１又は２以上を単独で又は様々な組み合わせで含むことができるような、スピーカに対するリスナー位置に基づいて１又は２以上の入力オーディオ信号を調節するためのシステムを含むか又は用いることができる。１つの実施例では、態様１４は、第１のセンサによって監視されるリスニング環境におけるリスナー位置に関する第１の指示を受信するよう構成された第１のセンサと、（１）第１のセンサからのリスナー位置に関する受信された第１の指示、（２）カメラに対するスピーカの位置に関する情報、及び（３）１又は２以上の受信されたオーディオ信号に基づいて、１又は２以上の調節されたオーディオ信号を生成するよう構成されたオーディオプロセッサ回路と、を含むシステムを含む。
【０１１８】
態様１５は、態様１４の主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、第１のセンサに結合された画像プロセッサ回路であって、リスナー位置に関する第１の指示を含むリスニング環境に関する画像情報又は深度情報を第１のセンサから受信するよう構成された画像プロセッサ回路を含む。態様１５では、画像プロセッサ回路は、受信された画像情報に基づいて、リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールのうちの１又は２以上についての指示を含むリスナーの頭部配向を決定するよう構成することができる。態様１５では、オーディオプロセッサ回路は、決定された頭部配向を用いるステップを含むリスナー位置に関する受信された第１の指示に基づいて、１又は２以上の調節されたオーディオ信号を生成するよう構成することができる。
【０１１９】
態様１６は、態様１５の主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールのうちの１又は２以上についての指示に基づいて、スピーカからリスナーの２つの耳の各々までの距離を示す距離パラメータを決定するよう更に構成される画像プロセッサ回路及びオーディオプロセッサ回路の少なくとも１つを含む。
【０１２０】
態様１７は、態様１４から１６の１又は何れかの組み合わせの主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、１又は２以上の入力オーディオ信号を受信するよう構成されたオーディオ入力と、オーディオ入力に結合され且つ入力オーディオ信号に対応する仮想オーディオ信号を生成するために仮想化フィルタを用いるよう構成されたバーチャライザ回路を含み、この仮想化フィルタは、第１のセンサからのリスナー位置に関する受信された第１の指示に対応する、オーディオプロセッサ回路を含む。態様１７は、仮想オーディオ信号の１又は２以上に利得及び／又は遅延を加えて、調節されたオーディオ信号を提供するよう構成されたスイートスポットアダプタ回路を含むことができる。態様１７は、調節されたオーディオ信号を提供するよう構成されたオーディオ出力を含むことができる。
【０１２１】
態様１８は、態様１４から１６の１又は何れかの組み合わせの主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、１又は２以上の入力オーディオ信号を受信するよう構成されたオーディオ入力と、オーディオ入力に結合され且つ入力オーディオ信号に基づいて１又は２以上の調節されたオーディオ信号を生成するために仮想化フィルタを用いるよう構成されたバーチャライザ回路を含み、この仮想化フィルタは、第１のセンサからのリスナー位置に関する受信された第１の指示に基づいてバーチャライザ回路によって選択される、オーディオプロセッサ回路を含む。
【０１２２】
態様１９は、主題（装置、システム、デバイス、方法、動作を実行するための手段、又はデバイスによって実行されたときにデバイスに動作を実行させることができる命令を含むデバイス可読媒体など）を含むか又は用いることができ、例えば、態様１から１８の１又は２以上を単独で又は様々な組み合わせで含むことができるような、入力オーディオ信号に基づいて環境における第１のリスナーのための１又は２以上の仮想オーディオ信号を生成するための装置を含むか又は用いることができる。１つの実施例では、態様１９は、第１のセンサの第１の視野から画像情報を受信して、第１のセンサの第１の視野における第１のセンサから第１のリスナーまでの距離を決定するよう構成された画像処理回路を備えた第１のセンサを含み、この画像処理回路は、第１のリスナーの頭部ヨー、頭部ピッチ、又は頭部ロール角度の１又は２以上に関する情報を用いて距離を決定するよう構成される。態様１９は、（１）カメラから第１のリスナーまでの決定された距離、（２）第１のセンサに対するラウドスピーカの位置に関する情報、及び（３）入力オーディオ信号に基づいて、１又は２以上の仮想オーディオ信号を生成するよう構成されたオーディオプロセッサ回路を含む。
【０１２３】
態様２０は、態様１９の主題を含むか又は用いることができ、又は任意選択的に組み合わせることができ、任意選択的に、バーチャライザ回路及びスイートスポットアダプタ回路を含むオーディオプロセッサ回路を含み、バーチャライザ回路は、頭部伝達関数（ＨＲＴＦ）フィルタを入力オーディオ信号に適用することによって中間出力信号を生成するよう構成され、ＨＲＴＦフィルタは、第１のセンサから第１のリスナーまでの決定された距離に基づいて選択され、スイートスポットアダプタ回路は、バーチャライザ回路によって生成された中間出力信号に利得及び／又は遅延を加えることによって環境内の第１のリスナーのための１又は２以上の仮想オーディオ信号を生成するよう構成される。
【０１２４】
これらの非限定的な態様の各々は、それ自体に基づくことができ、又は本明細書で提供される他の態様又は実施例の内の１又は２以上との様々な置換又は結合で組み合わせることができる。
【０１２５】
本明細書において、用語「ａ」又は「ａｎ」は、特許文書で共通するように、「少なくとも１つ」又は「１又は２以上」の他の何れかの事例又は使用に関係なく１又は１よりも多いものを含むのに使用される。本明細書において、用語「ｏｒ（又は）」は、非排他的であることを指すのに使用され、すなわち、別途指示がない限り、「Ａ又はＢ」が「ＢではなくＡ」、「ＡではなくＢ」、及び「Ａ及びＢ」を含むものとする。本明細書において、「ｉｎｃｌｕｄｉｎｇ」及び「ｉｎ  ｗｈｉｃｈ」は、それぞれの用語「ｃｏｍｐｒｉｓｉｎｇ」及び「ｗｈｅｒｅｉｎ」の一般的意味の等価物として使用される。
【０１２６】
本明細書で使用する条件語、とりわけ、「できる（ｃａｎ）」「してよい（ｍｉｇｈｔ）」「できる（ｍａｙ）」「例えば（ｅ．ｇ．）」及び同様のものは、他に明確に言及されていない限り、又は用いられる文脈でそれ以外に理解されない限り、一般に、特定の実施形態が特定の特徴、要素、及び／又は状態を含むが、他の実施形態は含まないことを伝えるものである。従って、このような条件語は、特徴、要素、及び／又は状態が、１又は２以上の実施形態にとって必ず必須であること、或いは、作成者の入力又は指示があってもなくても、これらの特徴、要素、及び／又は状態が含まれるか又は何れかの特定の実施形態で実行されるべきかどうかを決めるためのロジックを、１又は２以上の実施形態が必ず含むことを一般に示唆するものではない。
【０１２７】
上記の詳細な説明は、種々の実施形態に適用される場合に新規の特徴を示し、説明し、及び指摘するが、本開示の精神から逸脱することなく、例証されたデバイス又はアルゴリズムの形式及び詳細において、様々な省略、置換、及び変更を加えることができる点を理解されたい。理解できるように、一部の特徴は、他の特徴とは別に使用すること又は実施することができるので、本明細書で記載される本発明の特定の実施形態は、本明細書に示した特徴及び利点の全てを提供しない形態の範囲内で具現化することができる。
【０１２８】
本主題は、構造的な特徴又は方法又は行為に固有の言語で記述しているが、添付の請求項に定義する主題は必ずしも上述した特定の特徴又は行為に制限されないことを理解されたい。逆に上述した特定の特徴及び行為は、請求項を実施する例示的な形態として開示するものである。
【符号の説明】
【０１２９】
５００Ａ  第１のシステム
５０１  オーディオソース
５０３  オーディオ入力信号
５０５Ａ  中間オーディオ出力信号
５０７Ａ  オーディオ出力信号
５１０Ａ  第１のオーディオプロセッサ回路
５１２Ａ  第１のバーチャライザ回路
５１４Ａ  第１のスイートスポットアダプタ回路
５５０Ａ  オーディオ出力
５２１  ビデオ画像ソース
５２３  画像信号
５３０  画像プロセッサ回路
５３１  リスナー位置信号
【図１】
2020532914.tif 000023
【図２】
2020532914.tif 000024
【図３】
2020532914.tif 000025
【図４】
2020532914.tif 000026
【図５Ａ】
2020532914.tif 000027
【図５Ｂ】
2020532914.tif 000028
【図６】
2020532914.tif 000029
【図７】
2020532914.tif 000030
【図８】
2020532914.tif 000031
【図９】
2020532914.tif 000032
【図１０】
2020532914.tif 000033
【図１１】
2020532914.tif 000034
【図１２】
2020532914.tif 000035
【図１３】
2020532914.tif 000036
【図１４】
2020532914.tif 000037
【手続補正書】
【提出日】令和2年5月11日(2020.5.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１のラウドスピーカ及び第２のラウドスピーカに対するリスナー位置に基づいて１又は２以上の受信されたオーディオ信号を調節して、リスニング環境におけるリ前記スナー位置にてリスニングスイートスポットを提供するための方法であって、
前記方法が、
第１のセンサによって監視される環境におけるリスナー位置に関する前記第１のセンサからの情報を用いて前記リスナー位置に関する第１の指示を受信するステップと、
オーディオプロセッサ回路を用いて、（１）前記リスナー位置に関する受信された前記第１の指示、（２）前記第１のセンサに対する前記ラウドスピーカの位置に関する情報、及び（３）前記１又は２以上の受信されたオーディオ信号に基づいて、前記ラウドスピーカを用いた再生のためそれぞれの個別の調節されたオーディオ信号を生成するステップであって、前記調節されたオーディオ信号を生成するステップが、前記リスナー位置にてクロストークキャンセレーション用に構成された頭部伝達関数（ＨＲＴＦ）フィルタを選択するステップと、
前記受信されたオーディオ信号に選択された前記ＨＲＴＦフィルタを適用するステップと、
を含む、方法。
【請求項２】
前記第１のセンサからの情報を用いて前記リスナー位置に関する前記第１の指示を受信するステップは、カメラの視野における前記リスナー位置に関する前記カメラからの情報を受信するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記第１のセンサからの情報を用いて前記リスナー位置に関する前記第１の指示を受信するステップは、前記環境における前記リスナー位置でのリスナーの１又は２以上の特徴に関する深度センサからの情報を受信するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記第１のセンサからの情報を用いて前記リスナー位置に関する前記第１の指示を受信するステップは、前記リスナーの頭部配向の指示を受信するステップを含み、前記リスナーの頭部配向は、前記リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールのうちの１又は２以上についての指示を含み、前記調節されたオーディオ信号を生成するステップは、前記リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールについての前記指示を用いるステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記リスナーの頭部配向の前記受信された指示に基づいて、前記スピーカから前記リスナーの２つの耳の各々までの距離を示す距離パラメータを決定するステップを更に含み、前記調節されたオーディオ信号を生成するステップは、前記スピーカから前記リスナーの２つの耳の各々までの前記距離を補償するように選択されるフィルタを用いて、オーディオ信号の少なくとも１つのペアを生成するステップを含む、
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記オーディオプロセッサ回路は、バーチャライザ回路及びスイートスポットアダプタ回路を含み、
前記バーチャライザ回路は、前記１又は２以上の受信されたオーディオ信号を受信して、第１の仮想化フィルタに基づいて仮想オーディオ信号を生成するよう構成され、
前記スイートスポットアダプタ回路は、前記バーチャライザ回路から前記仮想オーディオ信号を受信して、前記リスナー位置に関する受信された前記第１の指示に基づいて前記調節されたオーディオ信号を提供するよう構成される、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記スイートスポットアダプタ回路は、受信された前記仮想オーディオ信号の少なくとも１つのオーディオ信号チャネルに利得及び／又は遅延を加えるよう構成され、前記利得及び／又は遅延は、前記リスナー位置に関する前記受信された第１の指示に基づく、
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記オーディオプロセッサ回路は、バーチャライザ回路及びスイートスポットアダプタ回路を含み、
前記スイートスポットアダプタ回路は、前記１又は２以上の受信されたオーディオ信号を受信して、中間オーディオ出力を提供するよう構成され、
前記バーチャライザ回路は、前記スイートスポットアダプタ回路から前記中間オーディオ出力を受信して、前記リスナー位置に関する前記受信された第１の指示に基づいて前記調節されたオーディオ信号を生成するよう構成される、
ことを特徴とする請求項１に記載の方法。
【請求項９】
前記オーディオプロセッサ回路は、バーチャライザ回路を含み、前記バーチャライザ回路は、前記１又は２以上の受信されたオーディオ信号を受信して、前記受信した１又は２以上のオーディオ信号に仮想化処理を加えて前記調節されたオーディオ信号を生成するよう構成される、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記バーチャライザ回路は、前記リスナー位置に関する前記受信された第１の指示に基づいて第１の仮想化フィルタを選択して前記受信した１又は２以上のオーディオ信号に適用し、前記調節されたオーディオ信号を生成するよう構成され、
前記第１の仮想化フィルタは、
メモリ回路における複数の利用可能な仮想化フィルタの中から選択されるか、
又は前記バーチャライザ回路又は別のプロセッサ回路を用いて、前記リスナー位置に関する第１の指示を数学的モデルへの入力として用いた前記数学的モデルに基づいて決定されるか、
又は複数の他のフィルタの補間を用いて決定される、
ことを特徴とする請求項９に記載の方法。
【請求項１１】
前記第１のセンサによって監視される前記環境における前記リスナーに関する前記第１のセンサからの情報を用いて前記リスナー位置に関する後続の第２の指示を受信するステップと、
前記オーディオプロセッサ回路を用いて、異なる第２の仮想化フィルタに基づいて前記調節されたオーディオ信号を生成するステップであって、前記バーチャライザ回路は、前記リスナー位置に関する受信された前記後続の第２の指示に基づいて前記異なる第２の仮想化フィルタを選択するよう構成される、ステップと、
を含む、請求項９に記載の方法。
【請求項１２】
前記第１のセンサからの情報を用いて前記リスナー位置に関する前記第１の指示を受信する前記ステップは、画像処理回路を用いて、
基準顔幅に対する前記リスナーの顔幅を決定するステップと、
前記リスナーの決定された顔幅を用いて前記第１のセンサから前記リスナーの頭部位置までの距離の指示を提供するステップと、
を含み、
前記リスナー位置に関する前記受信された第１の指示に基づいて前記調節されたオーディオ信号を生成するステップは、前記第１のセンサから前記リスナーの頭部位置までの前記距離の指示を用いるステップを含む、
請求項１に記載の方法。
【請求項１３】
前記第１のセンサからの情報を用いて前記リスナー位置に関する前記第１の指示を受信するステップは、画像処理回路を用いて、
基準距離に対する前記リスナーの瞳孔間距離を決定するステップと、
前記リスナーの頭部配向を決定するステップと、
前記リスナーの前記決定された瞳孔間距離及び頭部配向を用いて、前記第１のセンサから前記リスナーの頭部位置までの距離の指示を提供するステップと、
を含み、
前記リスナー位置に関する前記受信された第１の指示に基づいて前記調節されたオーディオ信号を生成するステップは、前記第１のセンサから前記リスナーの頭部位置までの前記距離の指示を用いるステップを含む、
請求項１に記載の方法。
【請求項１４】
スピーカに対するリスナー位置に基づいて１又は２以上の入力オーディオ信号を調節するためのシステムであって、
リスニング環境におけるリスナー位置を有するリスナーに関する画像データを深度情報なしで受信するよう構成されたカメラと、
前記深度情報なしで前記画像データを用いて前記カメラから前記リスナー位置までの距離を決定し、該決定した距離に基づいて前記リスナー位置に関する第１の指示を提供するよう構成された画像プロセッサ回路と、
（１）前記リスナー位置に関する前記第１の指示、（２）前記カメラに対する前記スピーカの位置に関する情報、及び（３）前記１又は２以上の入力オーディオ信号に少なくとも基づいて、１又は２以上の調節されたオーディオ信号を生成するよう構成されたオーディオプロセッサ回路と、
を備える、システム。
【請求項１５】
前記画像プロセッサ回路は、前記受信された画像データに基づいて、前記リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールのうちの１又は２以上についての指示を含む頭部配向を決定するよう構成され、前記オーディオプロセッサ回路は、前記決定された頭部配向を用いることを含む、前記リスナー位置に関する前記第１の指示に基づいて、前記調節されたオーディオ信号を生成するよう構成される、ことを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記画像プロセッサ回路及び前記オーディオプロセッサ回路の少なくとも１つは、前記リスナーの頭部ヨー、頭部ピッチ、又は頭部ロールのうちの１又は２以上についての前記指示に基づいて、前記スピーカから前記リスナーの２つの耳の各々までの距離を示す距離パラメータを決定するよう更に構成される、ことを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記オーディオプロセッサ回路は、
前記１又は２以上の入力オーディオ信号を受信するよう構成されたオーディオ入力と、
前記オーディオ入力に結合され且つ仮想化フィルタを用いて前記入力オーディオ信号に対応する仮想オーディオ信号を生成するよう構成されたバーチャライザ回路であって、前記仮想化フィルタは、前記カメラからの前記リスナー位置に関する前記第１の指示に対応する、バーチャライザ回路と、
前記仮想オーディオ信号の１又は２以上に利得及び／又は遅延を加えて、調節されたオーディオ信号を提供するよう構成されたスイートスポットアダプタ回路と、
前記調節されたオーディオ信号を提供するよう構成されたオーディオ出力と、
を含む、ことを特徴とする請求項１４に記載のシステム。
【請求項１８】
前記オーディオプロセッサ回路は、
前記１又は２以上の入力オーディオ信号を受信するよう構成されたオーディオ入力と、
前記オーディオ入力に結合され且つ仮想化フィルタを用いて前記入力オーディオ信号に基づいて前記調節されたオーディオ信号を生成するよう構成されたバーチャライザ回路であって、前記仮想化フィルタは、前記第１のセンサからの前記リスナー位置に関する前記受信された第１の指示に基づいて前記バーチャライザ回路によって選択される、バーチャライザ回路と、
を含む、ことを特徴とする請求項１４に記載のシステム。
【請求項１９】
環境におけるラウドスピーカを用いて第１のリスナーに再生するために、入力オーディオ信号に基づいて仮想オーディオ信号を生成する装置であって、
画像処理回路を備えたカメラであって、前記画像処理回路が、前記カメラの第１の視野から深度情報なしで画像情報を受信して、前記カメラの第１の視野における前記カメラから前記第１のリスナーまでの距離を決定するよう構成され、前記画像処理回路は、前記第１のリスナーの頭部ヨー角、頭部ピッチ角、又は頭部ロール角のうちの１又は２以上に関する情報を用いて前記距離を決定するよう構成された、カメラと、
（１）前記カメラから前記第１のリスナーまでの決定された距離、（２）前記カメラに対する前記ラウドスピーカの位置に関する情報、及び（３）前記入力オーディオ信号に少なくとも基づいて、前記ラウドスピーカを用いた前記第１のリスナーへの再生のための仮想オーディオ信号を生成するよう構成されたオーディオプロセッサ回路と、
を備え、
前記仮想オーディオ信号を生成することが、前記リスナー位置にてクロストークキャンセレーション用に構成された頭部伝達関数（ＨＲＴＦ）フィルタを選択すること、及び前記入力オーディオ信号に前記選択されたＨＲＴＦフィルタを適用することを含む、装置。
【請求項２０】
前記オーディオプロセッサ回路は、バーチャライザ回路及びスイートスポットアダプタ回路を含み、
前記バーチャライザ回路は、前記ＨＲＴＦフィルタを前記入力オーディオ信号に適用することによって中間出力信号を生成するよう構成され、前記ＨＲＴＦフィルタは、前記カメラから前記第１のリスナーまでの前記決定された距離に基づいて選択され、
前記スイートスポットアダプタ回路は、前記バーチャライザ回路によって生成された前記中間出力信号に利得及び／又は遅延を加えることによって、前記環境における前記第１のリスナーのための前記仮想オーディオ信号を生成するよう構成される、
ことを特徴とする請求項１９に記載の装置。
【国際調査報告】
2020532914.tif 000038