(57)【要約】  空間オーディオ処理装置は、空間オーディオ成分及び関連する位置データを有するオーディオシーンを記述したオーディオシーンデータを受信するための受信器１０１を有する。前記オーディオ成分は、オーディオオブジェクトとして供給することができる。距離ユニット１０５は、オーディオシーンにおける基準位置からの距離を示す焦点距離を含んだ位置指示情報を供給する。適応器１０３は、空間オーディオ成分の、前記オーディオシーンにおける少なくとも１つの他の空間オーディオ成分に対するオーディオレベル、周波数分布又は拡散度等の知覚強調特性を、前記焦点距離と前記オーディオシーンにおける前記基準位置から前記空間オーディオ成分の位置までの距離との間の差分を反映する差分尺度に応答して適応させる。オーディオレンダラ１０７は、結果としてのオーディオシーンを受信された位置データを用いてレンダリングする。該方法は、オーディオシーン内の焦点距離にあるオーディオを強調することができる。
2019514293.tif 000002
【特許請求の範囲】
【請求項１】
オーディオシーンを記述したオーディオシーンデータを受信する受信器であって、前記オーディオシーンデータが、空間オーディオ成分を記述したオーディオデータ及び該空間オーディオ成分のうちの少なくとも幾つかに関して前記オーディオシーン内の位置を記述した位置データを有する受信器と、
前記オーディオシーン内の基準位置からの距離を示す可変焦点距離を供給する距離ユニットと、
前記空間オーディオ成分のうちの少なくとも第１空間オーディオ成分の、前記オーディオシーンにおける少なくとも１つの他の空間オーディオ成分に対する知覚強調特性を、前記可変焦点距離と前記オーディオシーンにおける前記基準位置から前記第１空間オーディオ成分の位置までの距離との間の差分を反映する差分尺度に応答して適応させる適応器と、
前記空間オーディオ成分をレンダリングするオーディオレンダラであって、前記レンダリングが前記位置データに応答するものであり、前記第１空間オーディオ成分のレンダリングは、前記適応器が前記知覚強調特性を適応させることに後続するものであるオーディオレンダラと、
を有する、空間オーディオ処理装置。
【請求項２】
前記適応器が、前記知覚強調特性の値を、前記可変焦点距離と前記オーディオシーンにおける前記基準位置から前記第１空間オーディオ成分の位置までの距離との間の差分の連続関数として決定する、請求項１に記載の空間オーディオ処理装置。
【請求項３】
前記適応器が、前記少なくとも１つの他の空間オーディオ成分に対する前記第１空間オーディオ成分のための利得を、前記差分尺度が減少する差分を示す場合に増加させる、請求項２に記載の空間オーディオ処理装置。
【請求項４】
前記利得が前記差分尺度の関数として決定され、該関数は、前記可変焦点距離より小さい前記基準位置から前記第１空間オーディオ成分の位置までの距離と、前記可変焦点距離より大きい前記基準位置から前記第１空間オーディオ成分の位置までの距離とに関して非対称である、請求項３に記載の空間オーディオ処理装置。
【請求項５】
前記知覚強調特性が前記第１空間オーディオ成分に関する周波数信号分布である、請求項１に記載の空間オーディオ処理装置。
【請求項６】
前記適応器が、前記少なくとも１つの他のオーディオ成分の周波数依存性フィルタ処理を前記差分尺度に応答して変化させる、請求項５に記載の空間オーディオ処理装置。
【請求項７】
前記知覚強調特性が、前記第１空間オーディオ成分に関する拡散特性である、請求項１に記載の空間オーディオ処理装置。
【請求項８】
前記適応器が、前記オーディオシーンにおける前記少なくとも１つの他の空間オーディオ成分に対する前記第１空間オーディオ成分に関する拡散度を、前記差分尺度が減少する差分を示す場合に減少させる、請求項７に記載の空間オーディオ処理装置。
【請求項９】
前記差分尺度が、前記基準位置から前記第１空間オーディオ成分の位置への方向に更に依存する、請求項１に記載の空間オーディオ処理装置。
【請求項１０】
前記オーディオシーンデータが、前記空間オーディオ成分のうちの少なくとも幾つかを表すオーディオオブジェクトを有する、請求項１に記載の空間オーディオ処理装置。
【請求項１１】
前記距離ユニットが、前記可変焦点距離を、聴取者の頭部及び眼の少なくとも一方の追跡に応答して決定する、請求項１に記載の空間オーディオ処理装置。
【請求項１２】
前記適応器が、前記第１空間オーディオ成分に関して前記知覚強調特性を、両耳間時間差を変えることなく適応させる、請求項１に記載の空間オーディオ処理装置。
【請求項１３】
前記適応器は、前記可変焦点距離が前記基準位置から前記第１空間オーディオ成分の位置までの距離より大きい場合に、前記知覚強調特性を増加する差分尺度に対して前記第１オーディオ成分の強調を低減するように適応させる、請求項１に記載の空間オーディオ処理装置。
【請求項１４】
オーディオシーンを記述したオーディオシーンデータを受信するステップであって、前記オーディオシーンデータが、空間オーディオ成分を記述したオーディオデータ及び該空間オーディオ成分のうちの少なくとも幾つかに関して前記オーディオシーン内の位置を記述した位置データを有するステップと、
前記オーディオシーン内の基準位置からの距離を示す可変焦点距離を供給するステップと、
前記空間オーディオ成分のうちの少なくとも第１空間オーディオ成分の前記オーディオシーンにおける少なくとも１つの他の空間オーディオ成分に対する知覚強調特性を、前記可変焦点距離と前記オーディオシーンにおける前記基準位置から前記第１空間オーディオ成分の位置までの距離との間の差分を反映する差分尺度に応答して適応させるステップと、
前記知覚強調特性を適応させるステップに続いて、前記第１空間オーディオ成分を含む前記空間オーディオ成分をレンダリングするステップであって、前記レンダリングが前記位置データに応答するものであるステップと、
を有する、空間オーディオ処理のための方法。
【請求項１５】
コンピュータ上で実行された場合に、請求項１４に記載の方法の全てのステップを実行するコンピュータプログラムコード手段を有する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間オーディオ処理、特には、排他的にではないが仮想現実アプリケーションのための空間オーディオ処理に関する。
【背景技術】
【０００２】
空間オーディオアプリケーションは数えきれず、広く普及し、且つ、益々多くのオーディオビジュアル（視聴覚）体験の少なくとも一部を形成するようになってきている。新規且つ改善された空間体験及びアプリケーションは、間違いなく、引き続いて開発され、その結果、オーディオ処理及びレンダリングに対する要求が増大する。
【０００３】
例えば、近年、仮想現実（ＶＲ）及び拡張現実（ＡＲ）が益々興味を持たれており、多数の実現例及びアプリケーションが市場に現れている。事実、体験をレンダリングするための及び斯様なアプリケーションに適したデータをキャプチャ又は記録するための装置が開発されつつある。例えば、完全なＶＲ体験を提供するためのゲーミングコンソールを可能にする相対的に低コストの装置が開発されている。この傾向は継続すると共に確かに速度を高め、ＶＲ及びＡＲに関する市場は短期間のうちに相当の大きさに達すると予想される。
【０００４】
仮想現実及び拡張現実の概念は、非常に広い分野の概念を含む。該概念は、ユーザが実生活におけるように３Ｄ仮想世界内で進む（例えば、頭部を物理的に動かすことにより見回す又は物理的に歩き回る等）完全に没頭するシナリオを含み得るか、又は、例えば、仮想世界内でのナビゲーションが明示的な制御によりなされる一層簡単なシナリオを含むことができる。
【０００５】
しかしながら、今までの努力の殆どは提供される体験のビジュアル側に焦点を置いている。即ち、斯かる努力の殆どは、三次元適応ビジュアル体験をキャプチャ及びレンダリングするためのアプローチを開発することに集中されていた。
【０００６】
例えば、近年、３６０度（２Ｄ及び３Ｄ）ビデオキャプチャのための種々のシステムが開発されている。特に関心のあるＶＲビデオキャプチャ技術は、所謂“光場カメラ（ライトフィールドカメラ）”（“プレノプティック”カメラとしても知られている）である。このようなカメラは、画像内でシーンの光強度を単にキャプチャするのではなく、当該カメラに光が到達する方向もキャプチャする。この構成は、記録された画像の種々のタイプの後処理を可能にする。特に、該構成は、当該画像が記録された後に、該画像の焦点面が変化されることを可能にする。実際面で、このことは、当該画像をレンダリングする時点で“合焦点距離”（カメラ位置に対する）を変えることを可能にする。
【０００７】
球状配置の複数のライトフィールドカメラからなるＶＲアプリケーション用の球状カメラシステムを提供することが提案されている。このようなカメラシステムは、３６０度の３Ｄパノラマ記録のキャプチャを可能にする一方、後処理において焦点距離及び／又はズームを変更することを可能にする。
【０００８】
このようなビデオ側における開発は、没頭でき且つ対話的なビジュアルコンテンツ及び体験を発生させる一連の可能性を切り開く。しかしながら、一般的に、改善されて一層好適な空間オーディオ体験を提供することには、余り関心が注がれていない。事実、典型的に、オーディオ的解決策は余り適応的でなく、唯一の適応可能性が幾つかのオーディオソース（音源）の位置を変えることができることであるような従来の空間オーディオ体験を主に使用する傾向にある。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従って、改善された空間オーディオシステムが有利であり、特に、増加された柔軟性、改善された適応性、改善された仮想現実体験、改善された性能、増加されたユーザ制御又は適応、ユーザ側の操作、及び／又は改善された空間オーディオ体験を可能にするオーディオ処理アプローチが有利であろう。
【００１０】
かくして、本発明は好ましくは上述した課題の１以上を単独又は何らかの組み合わせで軽減し、緩和し又は除去することを追求するものである。
【課題を解決するための手段】
【００１１】
本発明の一態様によれば、空間オーディオ処理装置が提供され、該装置は、オーディオシーンを記述したオーディオシーンデータを受信する受信器１０１であって、前記オーディオシーンデータが、空間オーディオ成分を記述したオーディオデータ及び該空間オーディオ成分のうちの少なくとも幾つかに関して前記オーディオシーン内の位置を記述した位置データを有する受信器と；前記オーディオシーン内の基準位置からの距離を示す可変焦点距離を供給する距離ユニット１０５と；前記空間オーディオ成分のうちの少なくとも第１空間オーディオ成分の前記オーディオシーンにおける少なくとも１つの他の空間オーディオ成分に対する知覚強調特性を、前記可変焦点距離と前記オーディオシーンにおける前記基準位置から前記第１空間オーディオ成分の位置までの距離との間の差分を反映する差分尺度に応答して適応させる適応器１０３と；前記空間オーディオ成分をレンダリングするオーディオレンダラであって、前記レンダリングが前記位置データに応答するものであり、前記第１空間オーディオ成分のレンダリングが、前記適応器が前記知覚強調特性を適応させることに後続するものであるオーディオレンダラと；を有する。
【００１２】
当該アプローチは、多くの実施態様において改善された空間オーディオ体験を提供することができる。特に、該アプローチは、例えば改善された仮想現実体験を提供することができ、例えばビジュアル（視覚的）知覚及びオーディオ（聴覚的）知覚の間の一層近い相関を可能にする。多くの実施態様において、該アプローチは、一貫した空間体験を維持しながら、改善されたユーザの集中度を提供することができる。例えば、仮想現実環境において、当該アプローチは、ユーザの特徴（例えば、頭部又は眼の動き）の変化に適応する改善されたユーザの集中を可能にすることができる一方、一定で一貫した仮想現実環境（即ち、オーディオソースが、変化された焦点の関数として互いに移動することがない）を維持することができる。
【００１３】
当該アプローチは、レンダリングされるオーディオステージの改善されたユーザ側の／レンダリング時の適応を提供することができる。該アプローチは、提供されるオーディオ体験のユーザ制御を増加させることができる。特に、該アプローチは、特定のオーディオソースの他のオーディオソースに対するレンダリング側での強調を可能にすることができる。
【００１４】
当該アプローチは、改善された空間的一貫性を備え、それでいて現在の聴取特徴又は好みに適応された空間レンダリングに適したオーディオ信号／オーディオデータを提供することができる。特に、該アプローチは、多くの実施態様において、ユーザの現在の集中（焦点）に対応するオーディオソースの強調を可能にすることができる。
【００１５】
当該改善は、典型的には、相対的に低い複雑さで達成することができ、当該アプローチは、多くのシナリオにおいて、相対的に低コストの実施化を可能にすることができる。
【００１６】
前記基準位置は、特には当該オーディオシーンにおける聴取者位置又は聴取位置であり得る（特には、仮想オーディオシーンにおける聴取者の位置を表す仮想位置であり得る）。
【００１７】
前記焦点距離は、前記基準位置に対して可変である。前記適応器は、前記第１空間オーディオ成分に関する知覚強調特性を該可変焦点距離の変化に応答して変化させるように構成することができる。
【００１８】
前記基準位置は、当該オーディオシーンにおける可変位置であり得る。前記可変焦点距離は該基準位置からは独立であり得る。多くの実施態様において、可変焦点距離の制御は、基準位置の制御からは独立であり得る。即ち、可変焦点距離は固定の／変化されない基準位置に対して変化させることができる。前記適応器は、前記適応を、一定の基準位置に対する焦点距離の変化に応答して変化させるよう構成することができる。
【００１９】
前記オーディオデータが特定のオーディオソースを記述することに加えて、該オーディオデータは、非点状ソース又は実際に位置特定されない（又は非空間的）オーディオソースを表すデータを有することができる。例えば、分散された周囲背景音又はノイズを記述したオーディオデータを含めることができる。幾つかの実施態様において、前記オーディオ成分の少なくとも幾つかは点状ソースであり得る。
【００２０】
幾つかの実施態様において、前記空間オーディオ成分の各々又は少なくとも幾つかに関して別個のオーディオデータを供給することができる。即ち、１つのオーディオ成分は、該オーディオ成分のみに関する情報を提供するオーディオデータにより記述することができる。幾つかの実施態様において、各空間オーディオ成分は、別個で、完全で且つ個別の群のオーディオデータにより表すことができる。各オーディオ成分は、例えば、別個のオーディオオブジェクトとして表すことができ、単一のオーディオソースに対応し得る。
【００２１】
幾つかの実施態様において、前記オーディオデータは、個々のオーディオソースを抽出することができる１以上のオーディオ信号を記述することができる。例えば、前記オーディオデータは、例えば予め決められた位置に対応する複数の空間オーディオチャンネルを表す／記述することができ、前記個々のオーディオ成分は該オーディオチャンネルデータから抽出することができる（例えば、主成分分析を用いて）。他の例として、当該オーディオは、ＭＰＥＧにより規格化された“空間オーディオオブジェクトコーディング”として知られたオーディオフォーマットに従って表すことができる。
【００２２】
前記位置データは、当該空間オーディオ成分の空間位置を表すことができる。空間オーディオ成分に関する該位置データは、当該空間オーディオ成分により表されるオーディオソースに関する当該オーディオシーン内の位置を示すことができる。該位置は、恐らくは前記レンダラにより変更され得る（例えば、ユーザ入力に応答して）推奨された位置であり得る。
【００２３】
多くの実施態様において、前記レンダラは前記第１空間オーディオ成分のためのレンダリング位置を前記可変焦点距離とは独立に決定することができる。該レンダラは、第１オーディオ成分を前記可変焦点距離とは独立な位置においてレンダリングすることができる。多くのシナリオにおいて、該レンダラは、前記第１オーディオ成分を、該第１空間オーディオ成分に関する位置データにより示される当該オーディオシーン内の位置に対応する位置においてレンダリングすることができる。
【００２４】
前記オーディオシーンは、空間及び非空間オーディオ成分により表すことができる。空間オーディオ成分は、特には点状ソースであり得る空間オーディオソースを表すことができる。
【００２５】
前記可変焦点距離は、例えば手動ユーザ入力部から得ることができ、又はユーザ挙動を分析することに基づいて自動的に決定することができる。該可変焦点距離は、当該オーディオシーンにおける基準位置から（目標）焦点までの、特には当該ユーザが焦点を合わせている（と見なされ／推定される）該オーディオシーン内の点、面又は距離等までの距離を示すものであり得る。しかしながら、当該アプローチは聴取者が該距離に実際に連続して焦点を合わせることを要するものではないことが理解される。むしろ、可変焦点距離なる用語は、当該空間オーディオ処理装置が当該適応のための基準として用いる距離を指すものである（“焦点”なる用語は、単なる標示と見なすことができる）。当該空間オーディオ処理装置は、オーディオ成分を、当該可変焦点距離に一層近いオーディオ成分が強調され、これにより、典型的に、増加されたユーザの集中をもたらすように適応することができる。
【００２６】
前記知覚強調特性は、オーディオ成分の任意の特性とすることができ、特に、当該オーディオシーンにおける該オーディオ成分の知覚される強調を反映することができる。該知覚強調特性は、特に、オーディオレベル特性、周波数分布特性及び拡散特性のうちの少なくとも１つであり得る。
【００２７】
幾つかの実施態様において、該知覚強調特性は前記第１空間オーディオ成分のオーディオレベルである。
【００２８】
このことは、多くの実施態様において特に有利なユーザ体験を提供することができる。このことは、特に、例えば視覚的体験に密に合致し得る改善されたオーディオユーザ体験を提供することができ、例えば、ビジュアル及びオーディオの両レンダリングが、例えば仮想現実シーンの同一の局面で強調を適応させることを可能にし、更に、これらが動的に変化することを可能にする。当該アプローチは、ユーザにとり現在最も関心のあるもの等の、特定のオーディオソースの改善された及び／又は強調された知覚を可能にすることができる。
【００２９】
前記差分尺度に依存するオーディオレベルの変化は、典型的に、１０ｄＢ以下の、時には６ｄＢ以下の振幅変化であり得る。
【００３０】
前記適応器は、前記知覚強調特性を適応させることにより第１空間オーディオ成分に関する適応された知覚強調特性を発生することができる。前記オーディオレンダラは、第１空間オーディオ成分を該適応された知覚強調特性に応答してレンダリングするように構成することができる。
【００３１】
本発明のオプションとしてのフィーチャによれば、前記適応器は前記知覚強調特性の値を前記可変焦点距離と前記オーディオシーンにおける前記基準位置から前記第１空間オーディオ成分の位置までの距離との間の差分の連続関数として決定するように構成される。
【００３２】
前記関数は漸進的（徐々に変化する）関数とすることができ、従って、前記知覚強調特性（例えば、利得又はオーディオレベル等）の値は、前記焦点距離と当該所与のオーディオ成分までの距離との間の差分の徐々の変化に対して徐々に変化され得る。このことは、特に当該焦点が所与の変化されない基準／聴取位置に対して動的に変化される場合に、一層自然なオーディオ体験であるように知覚される有利な効果を提供することができる。
【００３３】
本発明のオプションとしてのフィーチャによれば、前記適応器は、減少する差分を示す前記差分尺度に対して、前記少なくとも１つの他の空間オーディオ成分に対する前記第１空間オーディオ成分のための利得を増加させるように構成される。
【００３４】
この構成は、多くの実施態様において特に有利な動作を提供することができる。この構成は、相対的に低い複雑さを可能にし、それでいて、高い性能を提供することを可能にする。当該利得変化は、多くの実施態様では、１０ｄＢ以下に、時には６ｄＢ以下にすることができる。
【００３５】
オーディオ成分のための当該利得は、前記差分尺度の単調減少関数とすることができる。
【００３６】
本発明のオプションとしてのフィーチャによれば、前記利得は前記差分尺度の関数として決定され、該関数は、前記基準位置から前記第１空間オーディオ成分の位置までの距離が前記可変焦点距離より小さい場合と前記基準位置から前記第１空間オーディオ成分の位置までの距離が前記可変焦点距離より大きいに場合とに関して非対称である。
【００３７】
この構成は、多くの実施態様において改善されたユーザ体験を提供し得る。
【００３８】
本発明のオプションとしてのフィーチャによれば、前記知覚強調特性は前記第１空間オーディオ成分に関する周波数信号分布である。
【００３９】
この構成は、多くの実施態様において特に有利なユーザ体験を提供し得る。この構成は、特に、例えばビジュアル体験に密に合致し得る改善されたオーディオユーザ体験を提供することができ、例えば、ビジュアル（視覚的）及びオーディオ（聴覚的）の両レンダリングが、例えば仮想現実シーンの同一の見地に対する強調を適応させることを可能にし、更に、これらが動的に変化することを可能にする。該アプローチは、ユーザにとり現在最も関心のあるもの等の特定のオーディオソースの改善及び／又は強調された知覚を可能にすることができる。
【００４０】
多くの実施態様において、前記適応器は、減少する差分尺度に対して、前記信号分布を一層低い周波数から一層高い周波数に向かって次第に偏らせるように構成することができる。該適応器は、差分尺度が減少する場合に、高周波信号エネルギを低周波信号エネルギに対して増加するように構成することができる。
【００４１】
本発明のオプションとしてのフィーチャによれば、前記適応器は、前記少なくとも１つの他のオーディオ成分の周波数依存性フィルタ処理を前記差分尺度に応答して変化させるように構成される。
【００４２】
この構成は、効率的な実施化をもたらし得、及び／又は改善された性能を提供することができる。該適応器は、前記差分尺度に依存する周波数等化又はフィルタ処理を提供することができる。
【００４３】
本発明のオプションとしてのフィーチャによれば、前記知覚強調特性は、前記第１空間オーディオ成分に関する拡散特性である。
【００４４】
この構成は、多くの実施態様において特に有利なユーザ体験を提供することができる。この構成は、特に、例えばビジュアル体験に密に合致し得る改善されたオーディオユーザ体験を提供することができ、例えば、ビジュアル（視覚的）及びオーディオ（聴覚的）の両レンダリングが、例えば仮想現実シーンの同一の見地に対する強調を適応させることを可能にし、更に、これらが動的に変化することを可能にする。該アプローチは、ユーザにとり現在最も関心のあるもの等の特定のオーディオソースの改善及び／又は強調された知覚を可能にすることができる。
【００４５】
本発明のオプションとしてのフィーチャによれば、前記適応器は、前記オーディオシーンにおける前記少なくとも１つの他の空間オーディオ成分に対する前記第１空間オーディオ成分に関する拡散度を、前記差分尺度が減少する差分を示す場合に減少させるように構成される。
【００４６】
この構成は、多くのアプリケーションにおいて、改善されたユーザ体験を提供することができる。特に、この構成は、多くのアプリケーションにおいて、ユーザにとり現在特に関心のあるオーディオが一層特有で且つ良好に定まったオーディオソースとして知覚されることを可能にすると共に、例えば、これらが、知覚されているサウンドステージにおいて一層目立つようにさせることができる。
【００４７】
本発明のオプションとしてのフィーチャによれば、前記差分尺度は、前記基準位置から前記第１空間オーディオ成分の位置への方向に更に依存する。
【００４８】
この構成は、多くの実施態様において、改善されたユーザ体験をもたらし得る。
【００４９】
本発明のオプションとしてのフィーチャによれば、前記オーディオシーンデータは、前記空間オーディオ成分のうちの少なくとも幾つかを表すオーディオオブジェクトを有する。
【００５０】
該アプローチは、オーディオオブジェクトのための特に効率的な動作を可能にすることができ、結果として、改善された効果、従って改善されたユーザ体験が得られる。
【００５１】
前記オーディオシーンデータは、前記オーディオシーンにおけるオーディオオブジェクトの位置を示す位置データ（例えば、メタデータとしての）を更に有することができる。
【００５２】
本発明のオプションとしてのフィーチャによれば、前記距離ユニットは、前記可変焦点距離を聴取者の頭部及び眼の少なくとも一方の追跡に応答して決定するように構成される。
【００５３】
該アプローチは、例えばユーザの動きに対する自動化された適応を可能にすることができ、これにより、例えば一貫した没頭する仮想現実ユーザ体験を可能にする。該アプローチは、ユーザに対して提供されるビジュアル及びオーディオ体験の間の強い首尾一貫性を可能にし得る。
【００５４】
本発明のオプションとしてのフィーチャによれば、前記適応器は、前記第１空間オーディオ成分に関して前記知覚強調特性を、両耳間時間差を変えることなく適応させるように構成される。
【００５５】
この構成は、多くの実施態様においてユーザ体験を大幅に改善することができると共に、例えば、オーディオシーンにおける音源の相対的強調がユーザの現在の好みに対して動的に適応される一方、これら音源の知覚される位置を維持することを可能にすることができる。
【００５６】
本発明のオプションとしてのフィーチャによれば、前記適応器は、前記可変焦点距離が前記基準位置から前記第１空間オーディオ成分の位置までの距離より大きい場合に前記知覚強調特性を増加する差分尺度に対して前記第１オーディオ成分の強調を低減するように適応させるよう構成される。
【００５７】
この構成は、有利な効果を提供することができると共に、実際に、特に一層遠いオーディオ成分を含む当該オーディオシーンにおける異なる領域に対する増加された集中を可能にすることができる。
【００５８】
多くの実施態様において、前記レンダラは、少なくとも前記第１空間オーディオ成分を、該第１空間オーディオ成分に関する位置データにより示される位置においてレンダリングするように構成される。
【００５９】
この構成は、多くの実施態様において魅力的な使用シナリオを提供することができると共に、特に、発生されるオーディオシーンの空間特性を変えることなく、該シーン内の異なるオブジェクトに対する強調の動的適応を可能にすることができる。
【００６０】
上述したオーディオ処理装置を有する仮想現実システムも提供することができる。
【００６１】
該アプローチは、改善された仮想現実体験を提供することができる。
【００６２】
上記仮想現実システムは、当該オーディオシーンに合致する仮想（例えば、三次元の）ビジュアルシーンをレンダリングするためのビデオレンダラを更に有することができる。
【００６３】
本発明の一態様によれば、空間オーディオ処理方法が提供され、該方法は、オーディオシーンを記述したオーディオシーンデータを受信するステップであって、前記オーディオシーンデータが空間オーディオ成分を記述したオーディオデータ及び該空間オーディオ成分のうちの少なくとも幾つかに関して前記オーディオシーン内の位置を記述した位置データを有するステップと；前記オーディオシーン内の基準位置からの距離を示す可変焦点距離を供給するステップと；前記空間オーディオ成分のうちの少なくとも第１空間オーディオ成分の前記オーディオシーンにおける少なくとも１つの他の空間オーディオ成分に対する知覚強調特性を、前記可変焦点距離と前記オーディオシーンにおける前記基準位置から前記第１空間オーディオ成分の位置までの距離との間の差分を反映する差分尺度に応答して適応させるステップと；前記知覚強調特性を適応させるステップに続いて、前記第１空間オーディオ成分を含む前記空間オーディオ成分をレンダリングするステップであって、前記レンダリングが前記位置データに応答するものであるステップと；を有する。
【００６４】
本発明の、上記及び他の態様、フィーチャ及び利点は、後述する実施態様から明らかとなり、斯かる実施態様を参照して解説されるであろう。
【図面の簡単な説明】
【００６５】
【図１】図１は、本発明の幾つかの実施態様による空間オーディオ処理装置の幾つかの要素を示す。
【図２】図２は、本発明の幾つかの実施態様による仮想現実システムの幾つかの要素を示す。
【発明を実施するための形態】
【００６６】
以下、本発明の実施態様を、図面を参照して例示としてのみ説明する。
【００６７】
以下の説明は、適応オーディオビジュアルレンダリングシステムに、特には、ユーザに仮想現実体験を提供するための仮想現実システムに適用可能な本発明の実施態様に焦点を合わせる。しかしながら、本発明は斯かるアプリケーションに限定されるものではなく、多数の他のオーディオ処理及びアプリケーションにも適用することができると理解されるであろう。
【００６８】
図１は、本発明の幾つかの実施態様による空間オーディオ処理装置の幾つかの要素を示す。
【００６９】
該空間オーディオ処理装置はオーディオ受信器１０１を有し、該オーディオ受信器は空間位置に関連付けられた空間オーディオ成分を有するオーディオシーンを記述したオーディオシーンデータを受信するよう構成される。該オーディオシーンデータは、複数のオーディオ成分を記述するオーディオデータを有する。各オーディオ成分は音源（点音源、分散された音源、又は実際に空間的に位置されない拡散（例えば、周囲）音源であり得る）に対応し得る。更に、当該オーディオシーンデータは、上記オーディオ成分の１つ、それ以上又は全てに関する位置情報を提供する位置データを含む。
【００７０】
該特定の例において、オーディオシーンは、各々が独立した別個のオーディオソースである複数のオーディオオブジェクトにより表される。このように、各オーディオオブジェクトは他のオーディオオブジェクトからは別個に処理及びレンダリングすることができる。即ち、多くの実施態様において、オーディオシーンデータは、各群が１つのオーディオオブジェクトの完全なオーディオ記述を提供する個別の群のオーディオデータを有する。更に、オーディオオブジェクトの各々（又は少なくとも幾つか）に関して個々の位置データを設けることができる。
【００７１】
幾つかの実施態様において、各オーディオ成分は、このように、他のオーディオ成分から独立して別個に処理することが可能な個別のオーディオオブジェクトであり得る。
【００７２】
当該特定の例において、オーディオシーンデータは、このように、各オーディオオブジェクトに関する位置情報を更に有することができる。即ち、当該オーディオシーンデータは、オーディオオブジェクトの全て又は幾つかに関する位置情報を提供するメタデータを有することができる。このように、該オーディオシーンデータは、オーディオ成分（及び、特にオーディオオブジェクト）により表される複数のオーディオソースを有するオーディオシーンを記述する。即ち、オーディオシーンデータはオーディオソースにより生成されるオーディオ及びオーディオシーンにおける斯かるオーディオソースの位置に関する両情報を有する。
【００７３】
多くの実施態様において、オーディオ成分／オーディオオブジェクトの少なくとも幾つかは、単一の関連する位置を有する点オーディオソースに対応するであろう。幾つかの実施態様において、オーディオシーンデータは点源オーディオソースに対応しないオーディオ成分を含み得る。例えば、オーディオソースの１以上は、もっと広がった又は分散されたオーディオソースに対応し得る。事実、幾つかのシナリオにおいて、オーディオ成分の１以上は、例えば拡散周囲音を表すオーディオソース等の十分に分散されたオーディオソースに対応し得る。
【００７４】
オーディオ受信器１０１は、オーディオ成分の少なくとも１つを適応させるよう構成された適応器１０３に結合される。当該適応は、距離ユニット１０５から受信される可変焦点距離に基づくものである。
【００７５】
距離ユニット１０５は、このように、可変焦点距離を適応器１０３に供給するように構成される。該可変焦点距離は、当該オーディオシーンにおける、当該聴取者／ユーザが自身の意図（意志）を集中していると現在考えられる／見なされ／推定される距離又は位置さえもの指示情報を供給することができる。該可変焦点距離は当該オーディオシーンにおける基準位置からの距離を示すものである。該可変焦点距離は、このように、当該オーディオシーンにおける現在の基準位置からの距離を提供する。該基準位置は、特に、当該聴取者／ユーザ／聴視者（ビューア）が居ると考えられる聴取位置であり得、従って、該可変焦点距離により示される距離は、ユーザが現在焦点を合わせている（又は焦点を合わせたいと欲する）距離であると見なされ、適応器１０３はオーディオ成分の少なくとも１つを、基準位置から該距離にあるオーディオソース上に増加された知覚的重点が存在するように、適応させるよう構成される。
【００７６】
幾つかの実施態様において、当該可変焦点距離は特定のユーザ入力部から供給することができる。例えば、距離ユニット１０５は、例えばスライダの形態のユーザ入力部を有することができる。この場合、ユーザは焦点距離を直接変更するために斯様なスライダを手動で調整することができる。このように、幾つかの実施態様において、当該可変焦点距離はユーザにより手動で直接設定することができる。他の実施態様において、該可変焦点距離は、例えば追跡する眼の動きにより、自動的に又は半自動的に決定することができる。当該焦点距離は、シーンにおける所与の基準点／聴取点に対して変化させることができる。特に、固定の／変化されない基準点に対して、焦点距離は変化させることができ、従って異なる値に設定することができる。
【００７７】
簡略化のために、当該可変焦点距離は以下においては単に焦点距離と称される。
【００７８】
幾つかの実施態様において、前記焦点距離は当該オーディオシーンにおける三次元位置を提供することができ、該三次元位置から例えば幾何学的計算により又は関連するデータを抽出することにより当該距離を決定することができる。このように、幾つかのケースにおいて、前記焦点距離は、基準位置までの距離を計算することができる三次元位置により供給することができる。他の実施態様において、該焦点距離は一次元指示情報のみを有することができる。例えば、該焦点距離は、焦点距離として直接使用することができる単一の距離値を直接供給することができる。
【００７９】
当該焦点距離は、幾つかの実施態様においては、三次元オーディオシーンに関する三次元距離とすることができるが、他の実施態様では、二次元又は一次元距離とすることができる（即ち、該焦点距離は、例えば三次元空間における二次元又は一次元のみに関係し得る）。
【００８０】
適応器１０３は、前記オーディオ成分のうちの１以上の知覚強調特性を当該オーディオ成分及び前記焦点距離の位置に応答して適応させるように構成される。該知覚強調特性は、当該オーディオシーンにおけるオーディオ成分の知覚される強調度に影響を与え得る如何なる特性とすることもできる。このように、該知覚強調特性を変更することにより、当該オーディオソースの相対的な知覚される重要性又は弁別性を変更することができる。このようにして、所与のオーディオ成分を、当該オーディオシーンにおいて一層目立つように（又は余り目立たないように）修正することができる。
【００８１】
即ち、所与の空間オーディオ成分（第１空間オーディオ成分と称する）に関して、当該焦点距離と前記基準点から第１空間オーディオ成分までの距離との間の差分を反映する差分尺度に応答して、知覚強調特性が少なくとも１つの他のオーディオ成分に対し修正される。
【００８２】
上記距離は、三次元距離（即ち、三次元ユークリッド距離）とすることができるか、又は例えば二次元若しくは１次元距離とすることができる。例えば、該距離は、二次元面における又は一次元方向（三次元座標系の軸等）における三次元距離の投影として決定することができる。例えば、当該オーディオシーンはユークリッド三次元座標系における位置（ｘ，ｙ及びｚ座標）により表すことができる。該距離は、このような座標系における三次元距離に関するものであり得る（例えば、各座標に関する二乗差の平方根として決定される）。しかしながら、該距離は斯かる座標のうちの２つにおける距離として決定することもできる（即ち、これら座標のうちの１つは無視することができる）。幾つかの実施態様において、該距離は、１つの座標のみを考慮して（例えば、ｚ軸のみを考慮して）決定することができる。
【００８３】
例えば、当該距離は当該オーディオシーンにおける基準位置から所望の焦点までの三次元距離を示すために使用することができる。他の例として、該距離は、二次元焦点面を定める一次元距離であり得る。
【００８４】
このように、適応器１０３は当該オーディオシーンにおける基準位置と第１空間オーディオ成分の位置との間の距離を決定することができる。幾つかの実施態様において、基準位置は固定されたものであり得、実際に当該オーディオシーンは該基準点に関して記述されたものであり得る。例えば、全てのオーディオソース／オーディオ成分／オーディオオブジェクトの位置は、名目基準位置に対して与えられ得る。オーディオ成分から基準位置までの距離は、該オーディオ成分の位置の座標値から直接計算することができる。事実、当該位置が極座標により与えられる場合、長さ座標を、第１空間オーディオ成分と基準位置との間の距離（オーディオシーンにおける）として直接使用することができる。例えば、直角座標が使用される場合、当該距離は簡単な幾何学計算により計算することができる。
【００８５】
当該基準位置は、オーディオシーンにおける基準位置である。従って、適応器１０３は第１空間オーディオ成分の特性を該第１空間オーディオ成分の位置が仮想オーディオシーンにおける仮想基準位置にどの様に関係するかに依存して適応させるよう構成される。
【００８６】
適応器１０３は、この距離、即ち第１空間オーディオ成分の位置から基準位置までの距離（以降では、オーディオソース距離と称する）を焦点距離と比較し、これらが互いにどの程度逸脱しているかを示す差分尺度を発生する。該差分尺度は、オーディオソース（成分）距離と焦点距離との間の増加する差分に対して増加する値／差分（又は、絶対値／差分）を有し得る。該差分尺度は、オーディオ成分距離と焦点距離との間の差分の単調で連続した関数であり得る。
【００８７】
異なる実施態様では特定のアプリケーションの個々の要件及び好みに依存して異なる差分尺度を採用することができることが分かる。多くの実施態様及びシナリオにおいては、上記２つの距離を互いから単に減算する簡単な差分尺度を用いることができる。
【００８８】
適応器１０３は、次いで、この差分尺度に基づいて第１空間オーディオ成分の知覚強調特性を他の空間オーディオ成分の１以上に対して適応させることができる。典型的に、該第１オーディオ成分の知覚強調特性が適応される（このように、当該適応は全ての他のオーディオ成分に対するものであろう）。しかしながら、幾つかの実施態様においては、他の空間オーディオ成分のうちの１つ、それ以上又は典型的には全てにおける知覚強調特性を変更することができ、これにより、結果として第１空間オーディオ成分の知覚強調特性が変更されないにも拘わらず、該第１空間オーディオ成分の知覚強調特性と他のオーディオ成分（又は複数の他のオーディオ成分）の知覚強調特性との間の関係が変更されることになる。
【００８９】
上記知覚強調特性は、特には、第１空間オーディオ成分の他の空間オーディオ成分の１以上に対する（オーディオ）レベルであり得る。即ち、適応器１０３は、第１オーディオ成分のレベルを前記差分尺度に応答して適応するよう構成することができると共に、特に当該オーディオレベルを前記差分尺度が小さいほど（即ち、オーディオ成分距離が焦点距離に近いほど）増加させるように構成することができる。
【００９０】
従って、第１オーディオ成分が焦点距離に近い場合、該第１オーディオ成分に対応するオーディオソースのレベルは、該第１オーディオ成分が焦点距離より一層離れている場合に比較して増加されるであろう。このように、当該オーディオソースが聴取者の現在の（仮定された／指示された）焦点に近い場合、該オーディオソースの音量（ボリューム）は増加され、これにより該オーディオソースが当該オーディオシーンにおいて目立つようにさせる。このようにして、他のオーディオソースに対する当該オーディオソースの強調は、該オーディオソースが聴取者の現在の焦点の位置にどの程度近いかに依存する。
【００９１】
第１オーディオ成分のレベルを増加させる代わりに、適応器１０３は、当該オーディオシーンにおける１以上の他のオーディオ成分のためのレベルを減少させることができ、又は実際に両方を実施することができることが分かる。例えば、減少する差分尺度に対して、当該オーディオレベルは第１オーディオ成分に関しては増加させることができる一方、全ての他のオーディオ成分に関しては減少させることができ、当該シーンに関する全体の合成オーディオレベルが一定に留まるようにする。
【００９２】
適応器１０３は、同様の処理を全てのオーディオ成分に、又は、例えば、点オーディオソースに対応する全てのオーディオ成分等のオーディオ成分の適切な部分組に適用することができることが分かる。このように、適応器１０３は、基準位置までの距離、特に、この距離と焦点距離との間の差分に依存して、当該オーディオステージにわたり変化する利得又は重み関数を異なる位置における各重みで実効的に適用することができる。当該オーディオ成分が焦点距離に近いほど、該利得は高くなり得る。このようにして、適応器１０３は当該オーディオステージ（当該オーディオ成分により形成される）に適応化又は修正を適用することができ、聴取者の特定の現在の焦点に一層近いオーディオソースが強調され、知覚されるオーディオシーンにおいて一層目立つようにする。
【００９３】
適応器１０３は、空間オーディオ成分をレンダリングすることにより当該オーディオシーンをレンダリングするよう構成されたオーディオレンダラ１０７に結合される。オーディオレンダラ１０７は、オーディオ成分を所与の位置から発するように知覚されるようレンダリングすることができる（例えば、後に詳述されるようにバイノーラル処理により発生された信号によるヘッドフォン又はサラウンドサウンド装置を用いて）空間レンダラである。このように、オーディオレンダラ１０７はオーディオシーンを効果的に再生することができる。
【００９４】
オーディオレンダラ１０７は、前記オーディオシーンデータから抽出された位置データを受信し、オーディオ成分を、少なくとも１つのオーディオ成分に関しては該受信された位置データに基づいて決定された位置においてレンダリングする。即ち、当該オーディオレンダラは、１以上のオーディオ成分を、当該位置データにより示されたものに対応する位置においてレンダリングするように構成することができる。このように、オーディオシーンは位置情報が維持されたままレンダリングされ、該オーディオシーンの知覚される空間構造は入力データにより与えられるものと同一に維持される。しかしながら、オーディオソースは、所望の例えば焦点面に近いオーディオソースが該焦点面から一層遠いオーディオ成分に対して一層強調されるように修正され得る。このように、特別に関心のあるオーディオソースは一層目立つものとなり得ると同時に、空間的な一貫性及び配置は同一に維持され、当該オーディオシーンが空間的に変化されたように知覚されないようにする。
【００９５】
幾つかの実施態様において、上記レンダラはオーディオ成分の１以上のものの位置を補正又は修正することもできることが分かる。例えば、ユーザが当該シーンにおける特定のオーディオ成分の位置を、該レンダラにユーザ入力を供給することによりシフトすることができるように構成することができる。
【００９６】
図１のシステムの方法は、多くの実施態様において改善されたユーザ体験を提供することができ、特に、ユーザに対するオーディオ提供が該ユーザの現在の特徴に適応され、これにより該ユーザが当該オーディオシーンの異なる部分に対する焦点（注目）を動的且つ柔軟に変更することを可能にするような一層柔軟なユーザ体験を提供することができる。このように、受信されるオーディオシーンデータに基づいて一定で柔軟性のないオーディオステージがレンダリングされるようにする代わりに、本方法は、ユーザが動的に選択される（手動で又は自動で）異なるオーディオソースを目立たせ又は強調することを可能にするようなユーザ側での適応を可能にする。
【００９７】
前記可変焦点距離は、多くの実施態様ではユーザにより動的に変化させることができる。実際に、仮想現実アプリケーションにおけるような多くの実施態様においては、ユーザがオーディオシーンにおける聴取位置に対応する該オーディオシーン内の基準点を制御するように構成することができる。該基準点の制御は、多くの実施態様において、ユーザによって例えばジョイスティック、ゲームパッド、キーボード、動き検出器等の使用により手動で制御することができる。しかしながら、このような制御に加えて、ユーザは当該オーディオシーンにおける焦点を制御することもできる。このことは、当該基準位置に対して供給される前記可変焦点距離により達成される。特に、所与の基準点（基準位置）に対して、該焦点距離は、当該基準点に対して異なる焦点／領域を供給するために変化させることができる。実際のところ、焦点距離の制御及び基準点の制御は互いに独立とすることができる。
【００９８】
このように、焦点距離は、基準点に対して可変であり、基準点により定められる固定の又は予め決められた領域ではない。該可変焦点距離は、例えば、ユーザ入力に応答して決定することができ、例えば、ユーザが当該オーディオシーンにおける固定の聴取／基準位置に対して該オーディオシーンにおけるオーディオ焦点を動的に変更することを可能にする。幾つかの実施態様において、該焦点距離は、例えば頭部運動又は眼球運動の検出等の自動化されたユーザ挙動検出に応答して動的に決定することができる。このことは、例えば、聴取者がオーディオシーン内の固定された聴取位置に留まるが、該シーン内でオーディオ焦点を動的に変えることを可能にする。このように、聴取者は当該オーディオシーンにおいて焦点を動的に変更する、例えば該シーンの異なる部分における音源を選び出すことができる。
【００９９】
当該空間オーディオ処理装置は、特に、レンダリングの際においてシーン内の焦点が合う物体を選択することができるようにユーザ側において焦点面を動的に変化させることができるような視覚的方法に類似した効果を提供することができる。
【０１００】
例えば、シーンをライトフィールドカメラによりキャプチャすることができ、結果的に画像データはエンコードされ分配される。更に、該シーンのオーディオは一群のマイクロフォンによりキャプチャすることができ、異なるオーディオ成分に関して空間特性が決定され得るようにする。これらオーディオ成分及び関連する位置情報を記述する対応するオーディオシーンデータを発生することができ、画像データ及びオーディオシーンデータを有するオーディオビジュアル信号を発生することができる。
【０１０１】
上記オーディオビジュアル信号は分配することができ、次いで、エンドユーザ装置は対応するビジュアル及びオーディオデータを処理することができ、結果として三次元オーディオビジュアル体験をレンダリングする。
【０１０２】
即ち、前記画像データはユーザエンドにおいて、レンダリングの際に焦点面が選択されるようにして画像が発生されるように処理することができる。例えば、ユーザに対してスライダを設けることができ、該ユーザが該スライダを動かすだけで焦点面をシーン内で前後に動かすことができるようにする。この結果、異なる画像オブジェクトは、上記スライダの設定及び観察位置に対する斯かるオブジェクトの距離に依存して焦点が合い及び外れるようになる。
【０１０３】
同時に、上記スライダは当該空間オーディオ処理装置を制御して、焦点面に近いオーディオソースが該焦点面から遠いオーディオソースよりも強調されるようにすることができる。実際に、前記基準位置は当該画像に関する視聴者位置に対応することができ（即ち、該基準位置は当該シーンの画像がキャプチャされる際のライトフィールドカメラの位置に対応し得る）、前記焦点距離は、この位置から焦点面までの距離に一致するように設定することができる。結果として、焦点面に近いオーディオオブジェクトは、例えば、該焦点面が他の距離にある場合のレベルと比較して増加されたレベルを有するであろう。
【０１０４】
一例として、当該方法はスライダを設けることができ、その場合、ユーザは当該画像において焦点面を前後に移動させることがき、その際に同時に当該オーディオが該焦点面の変化に合致するように適応することを体験する。このように、音源（例えば、スピーカ又はラジオ）に対応する画像オブジェクトに焦点が合うと、該音源も音量が大きくなり、当該オーディオシーンにおいて一層目立つようになる。
【０１０５】
このように、当該方法は仮想シーンを表すオーディオビジュアルデータ（例えば、ライトフィールドカメラ及び空間感知マイクロフォン装置を用いて現実シーンをキャプチャすることにより導出される）を処理して、ユーザが当該シーンにおける何に焦点を合わせるかについての柔軟なユーザ側の選択／制御を提供することができる。当該オーディオ及びビデオ側は互いにサポートして、対応する体験を提供するように構成され、これにより相当に一層興味がわき且つ望ましいユーザ体験を提供することができる。特に、ユーザの動作が、結果として、ユーザがシーンの知覚を制御することができる如くに動的に変化するシーンの提示及びユーザによる知覚が生じるような仮想現実効果を提供することができる。
【０１０６】
多くの実施態様において、適応器１０３は、オーディオレベル又は利得等の知覚強調特性の値を、前記可変焦点距離と当該オーディオシーンにおける基準位置から第１空間オーディオ成分の位置までの距離との間の差分の連続関数として決定することができる。オーディオ成分の強調が、これらオーディオ成分が焦点から一層離れるほど徐々に減少するような漸次的依存性を設けることができる。このことは、焦点距離が動的に変化される場合に特に重要な都合の良い効果を提供することができる。
【０１０７】
特に、当該方法は、固定された聴取位置に関係するユーザが、当該オーディオシーンにおいて焦点を、オーディオ成分が焦点の合う状態になり及び焦点が外れるように移動するよう動的に移動させるような実施態様において特に有利であり得る。連続関数により達成される前記漸次的効果は、この結果を、より一層自然で余り目立たない効果にさせる。
【０１０８】
適応器１０３は、多くの実施態様では、前記知覚強調特性を、前記可変焦点距離が前記基準位置から第１空間オーディオ成分の位置までの距離より大きい場合において増加する差分尺度に対して、該第１オーディオ成分の強調を減少させるように適応するようにも構成される。このように、強調は聴取者に近いオーディオソースに対してなされるのみでなく、当該適応器は、例えばオーディオ成分が聴取位置に一層近いほど、及び焦点距離により示される焦点領域からオーディオ成分が一層遠いほど、オーディオ成分に関するオーディオレベル又は利得を低減することにより強調を減少させることができる。
【０１０９】
このような効果は、聴取位置から一層遠い領域に強調を配置することができるような改善された体験を提供することができる。例えば、オーディオ及びビジュアルレンダリングの両方を提供する仮想現実オーディオビジュアル体験に対して、ユーザは、例えば基準位置に近いスピーカから例えば当該シーンの背景におけるテレビジョンに焦点を変更することができる。この結果として、視覚的焦点はスピーカからテレビジョンに移動し、結果的に、スピーカは余り目立たなくなる一方、テレビジョンは一層目立つようになる。同様の効果は、テレビジョンが大音量にされる一方、スピーカが小音量にされるようなオーディオ領域でも提供される。例えば、当該レンダリングが、スピーカが明瞭で大音量であることから、テレビジョンが明瞭で大音量であることに変化し得る。このように、聴取者に対する効果は、オーディオが、該聴取者がスピーカを“聞く”ことから該聴取者がテレビジョンを“聞く”ことに自動的に適応するということである。
【０１１０】
図２は仮想現実システムを示し、該仮想現実システムはユーザに対して三次元オーディオビジュアルシーンをレンダリングし、その間において、ユーザがオーディオシーンの提供を動的に適応させることを可能にし、特に該ユーザが当該シーンの提供を動的に変更することを可能にするように構成される。実際に、ユーザは当該シーンにおける焦点を変更することができ、多くの実施態様では、聴取及び観賞方向又は位置を動的に変更することもできる。
【０１１１】
当該仮想現実システムは、シーンを記述したオーディオビジュアルデータを受信するオーディオビジュアル受信器２０１を有する。上記オーディオビジュアルデータは、前述したオーディオシーンデータを有すると共に、更に、三次元画像（又はビデオ）データを有する。
【０１１２】
当該仮想現実システムは、図１の空間オーディオ処理装置を有している。この場合、オーディオビジュアル受信器２０１はオーディオシーンデータを抽出すると共に該オーディオシーンデータを前記オーディオ受信器１０１に供給するように構成され、該オーディオシーンデータは適応器１０３により前述したように処理することができる。
【０１１３】
適応器１０３はオーディオレンダラ１０７に結合され、該オーディオレンダラは一群のオーディオトランスジューサ２０３に更に結合される。オーディオレンダラ１０７は適応器１０３による適応の後のオーディオ成分をレンダリングするように構成され、かくして、変更されたオーディオシーンがオーディオトランスジューサ２０３を介してレンダリングされる。しかしながら、当該レンダリングはオリジナルの位置データに基づくものであり、多くの場合において、オーディオ成分は該位置データにより示される位置に対応するようにレンダリングされる。
【０１１４】
オーディオトランスジューサ２０３は例えばヘッドフォン又はイヤフォンとすることができ、オーディオレンダラ１０７は斯様なヘッドフォン又はイヤフォンを駆動して三次元空間体験を提供するための機能を含むことができる。例えば、オーディオレンダラ１０７は、当業者により既知のように、頭部伝達関数（ＨＲＴＦ）等を用いたオーディオ成分の処理を含む、バイノーラル処理及びレンダリングのための機能を含むことができる。
【０１１５】
幾つかの実施態様において、オーディオトランスジューサ２０３は、聴取者に空間体験を提供するように配置された複数のスピーカであり得る。例えば、これらオーディオトランスジューサは、例えば５.１又は７.１サラウンドサウンドスピーカ設備を形成する一群のサラウンドサウンドスピーカであり得る。
【０１１６】
オーディオレンダラ１０７はオーディオシーンをレンダリングするための如何なる好適な方法を使用するようにも構成することができる。空間オーディオレンダリングのための多数の異なる方法が当業者により既知であろうことが分かり、当業者であれば個々の実施態様の固有の好み及び要件に適したアプローチを実施することができる。
【０１１７】
オーディオ経路に対する機能の分散は異なる実施態様の間で変化し得ることが理解される。例えば、幾つかの実施態様において、オーディオ受信器１０１は、例えば各オーディオ成分に対して別個のオーディオ信号を発生するために個々のオーディオオブジェクトに適用されるオーディオデコーディングを実行することができる。適応器１０３は異なるオーディオ成分に対して可変利得を実施することができ、その場合において、所与のオーディオ成分に対する利得は該オーディオ成分に関する前記差分尺度に依存する。次いで、結果としてのオーディオ信号は、オーディオレンダラ１０７によって、ＨＲＴＦ関数により処理され、ヘッドフォンのためのバイノーラル信号へと組み合わされるようにすることができる。
【０１１８】
他の例として、オーディオオブジェクトに関するオーディオデータは、個々のオーディオオブジェクトに関する相対レベル調整／利得（前記差分尺度に基づいて決定された）を示す適応器１０３からのデータと一緒に、オーディオレンダラ１０７に直接供給することができる。この場合、オーディオレンダラ１０７は該オーディオオブジェクトをデコードし、レベル調整を適用し、結果としてのオーディオ信号をサラウンドサウンドスピーカのためのオーディオチャンネル信号に組み込む（個々のオーディオオブジェクトの位置に依存する各チャンネルのための重みで）ことができる。
【０１１９】
このように、図１及び図２はオーディオ経路における機能の固有の分散、順序及び分割を示しているが、他の実施態様は機能の他の分散、順序又は分割を実施することができることが理解される。例えば、利得調整は、例えばレンダリングの一部とすることができ、又は例えばオーディオデータのデコードの前に実施することができる。
【０１２０】
当該仮想現実システムは更にビデオレンダラ２０５を有し、該ビデオレンダラはオーディオビジュアル受信器２０１及び表示手段２０７に結合される。
【０１２１】
表示手段２０７は、ユーザにビジュアル出力を供給し、該ユーザが受信されたオーディオビジュアルデータにより表されるシーンを見ることができるようにするよう構成される。表示手段２０７は、二次元ディスプレイとすることができ、又は三次元ディスプレイ若しくは例えば１対の立体画像メガネとすることができる。表示手段２０７は、特に多くの実施態様において、仮想現実ヘッドセット用の１組の立体ディスプレイとすることができ、又は例えば自動立体ディスプレイとすることができる。
【０１２２】
ビデオレンダラ２０５は、オーディオビジュアル受信器２０１からビジュアルシーンデータを受信すると共に、該シーンのビジュアル表示を提供すべく表示手段２０７を駆動するように構成される。三次元画像又はビデオデータからディスプレイ（２Ｄ又は３Ｄに拘わらず）を駆動するための多数の異なる方法及び技術が当業者により知られており、任意の好適なアプローチを使用することができることは理解されるだろう。
【０１２３】
特定の例においては、三次元画像データがライトフィールドカメラから受信される。従って、ビデオレンダラ２０５は、例えば、該データを特定の距離に焦点を持つ画像を発生するように処理することにより二次元出力画像を発生することができる。即ち、ビデオレンダラ２０５は受信されたビジュアルデータを変化する焦点面を提供するように処理するよう構成することができる。
【０１２４】
ビデオレンダラ２０５は、距離ユニット１０５に結合され、焦点距離も受信するように構成される。この場合、該ビデオレンダラ２０５は焦点面を上記焦点距離の指示情報に依存して調整することができる。
【０１２５】
このように、当該システムにおいて、ユーザは、提示される画像において焦点面を前後に移動させるためにスライダ等の手動入力部を手動で調整することができる。この視覚的適応と合わせて、オーディオも、現焦点面の近くに位置するオーディオオブジェクトが他のオーディオオブジェクトに対して強調されるように適応される。このように、所望のユーザ体験を提供することができ、このことは、ユーザにオーディオビジュアルの提示をユーザ側で動的に変更することができる柔軟なシステムを提供する。例えば、ユーザは当該提示を手動で適応させることができる。更に、オーディオ及びビジュアルの提示の密にリンクされた適応を提供し、これにより、非常に一貫性のあるユーザ体験を提供することができる。
【０１２６】
幾つかの実施態様において、ユーザにより変更することができるものは固定された点からの距離の形の焦点距離だけではなく、実際に、幾つかの実施態様においては、ユーザは仮想シーンにおけるユーザの位置（又は、例えば観賞方向）を適応させることもできることが分かる。例えば、幾つかの実施態様において、前記ビジュアルデータは仮想環境の三次元モデルの形で供給することができ、前記オーディオシーンデータは該モデルにリンクされたオーディオオブジェクト（即ち、オーディオオブジェクトの位置は該モデル内の位置として与えられる）として供給することができる。ユーザは仮想環境における該ユーザの仮想位置の動きを制御することができ、ビデオレンダラ２０５は、この動きを反映するように当該提示される画像（又は複数の画像）を動的に変化させることができる。更に、適応器１０３は、現在の基準位置からオーディオオブジェクトまでの距離を動的に計算することができ、これらの変化を反映するために斯かるオーディオオブジェクトに関するオーディオレベル／利得を動的に適応させることができる。
【０１２７】
適応器１０３は、特に、オーディオレベル等の知覚強調特性を、実際に当該シーンにおいて対応するオーディオソース／オーディオ成分の位置の変化が生じないようにして適応させるよう構成することができる。即ち、オーディオソース／オーディオ成分の相対位置は、柔軟性のある補正にも拘わらず、同一のままに留まることができる。実際に、当該適応は受信された位置データには影響を与えることはなく、むしろ、該位置データはオーディオレンダラ１０７に供給され、該レンダラは該位置データを使用して空間オーディオシーンをレンダリングする。多くのシナリオにおいて、オーディオ成分は上記位置データにより示される位置に配置させることができ、従って、オーディオ成分の位置は結果的にオリジナルの位置にされる。このように、個々のオーディオ成分の知覚的強調／弁別性は互いに対して変更され得る一方、位置は同一に保たれる。
【０１２８】
このように、知覚強調特性の変更にも拘わらず、適応器１０３は、知覚される位置を実質的に変化させることなく当該適応を実行することができる。このように、オーディオ成分のレンダリングにより提供される空間的手掛かりは、前記差分尺度に応答して実行される適応とは実質的に独立となり得る。
【０１２９】
実際に、殆どの実施態様において、適応器１０３は知覚強調特性を当該オーディオ成分の他のオーディオ成分に対するタイミングの如何なる変更もなしに変更するよう構成することができる。即ち、適応器１０３は知覚強調特性を、空間オーディオ成分の間の時間的関係を変化させずに適応させるよう構成される。詳細には、聴取者の耳における相対的到達時刻は前記焦点距離に応答して変化されることはなく、従って、異なるオーディオソースに関する相対的両耳間時間差（ＩＴＤ）は一定に維持される。ＩＴＤは典型的に最も重要な知覚空間手掛かりであるので、オーディオソースの位置は当該オーディオシーンにおける同一の位置からのものとして知覚されるであろう。従って、ユーザは、ユーザの焦点距離に近いオーディオソースは当該オーディオシーンにおいて強調されるが、これらオーディオソースは同一の位置のままであると知覚するであろう。
【０１３０】
前述したように、適応器１０３は、前記空間オーディオ成分における少なくとも第１空間オーディオ成分のオーディオレベルを、当該オーディオシーンにおける少なくとも１つの他のオーディオ成分に対し、該オーディオシーンにおける前記基準位置から第１空間オーディオ成分までの距離と前記焦点距離との間の差分を反映する差分尺度に応答して適応させるように構成することができる。典型的に、該オーディオレベルは複数のオーディオオブジェクトに関して適応させることができ、幾つかのシナリオでは、全てのオーディオオブジェクトのオーディオレベルを修正することができる。
【０１３１】
適応器１０３は、特に、各空間オーディオ成分に利得を適用することができ、或る空間オーディオ成分に対する利得は焦点距離と基準位置から該オーディオ成分までの距離との間の差分に依存する。即ち、適応器１０３は或るオーディオ成分のための利得を他のオーディオ成分に対して、減少する尺度を示す差分尺度に関して増加させることができる。このように、オーディオ成分に対しては、前記差分尺度の単調減少関数である利得を適用することができる。
【０１３２】
幾つかの実施態様において、利得は、個々のオーディオ成分の、前記差分尺度の関数として決定された所与の利得係数による乗算により発生することができる。該利得は、幾つかの実施態様においては、当該オーディオ成分のデコードの後に適用することができる。即ち、デコードされた信号値は上記利得係数により乗算することができる。他の例として、利得は、幾つかの実施態様においては、エンコードされたオーディオデータを直接修正することにより実行することができる。例えば、個々のオーディオ成分が公称のオーディオレベル信号データ及び対応するオーディオソースのオーディオレベルを示す関連するパラメータとして供給される場合、適応器１０３は該オーディオレベルパラメータを単に変更すればよい。
【０１３３】
従って、適応器１０３は、互いに対する個々のオーディオ成分のレベルを、ユーザの観賞点に対する選択された“合焦点”距離までの距離に依存して修正するように構成することができる。
【０１３４】
個々のオーディオ成分のレベルは、選択された合焦点距離に最大値を有し、且つ、この合焦点距離から半径方向距離が増加する（ユーザ観賞点から見て）につれて徐々に減少するレベル加重曲線を用いて修正することができる。一例として、ガウス曲線を使用することができる。
【０１３５】
幾つかの実施態様において、利得は、焦点距離に対する基準位置から第１オーディオ成分までの距離に関して非対称であるような前記差分尺度の関数として決定される。このように、該関数はオーディオ成分までの距離が焦点距離より大きいか又は該距離が焦点距離より小さいかに関して非対称に変化し得る。
【０１３６】
即ち、多くの実施態様において、所与の距離差分に対する利得は、焦点距離より大きな距離に対しては焦点距離より小さな距離に対するよりも小さくなり得る。特に、幾つかの実施態様において、オーディオ成分に対する最小オーディオレベルは、焦点距離よりも遠く離れたオーディオ成分に対するよりも、焦点距離よりユーザに近いオーディオ成分に対して（又は、恐らくはその逆に）適用することができる。
【０１３７】
このようなアプローチは、多くのシナリオにおいて、改善されたユーザ体験を提供することができる。該アプローチは、特に、多くのユーザにとり一層実際的に見え得る適応的オーディオシーンを提供することができる。該アプローチは、ユーザに近いオーディオソースが典型的に重要であると知覚されると共に相対的に高い（又は相当の）レベルを有する一方、一層遠いオーディオソースは非常に低いレベルを有し得ることを反映することができる。従って、該アプローチは過度の減衰によって非現実的なオーディオシーンが知覚されることを防止することができる一方、このような効果を生じないオーディオソースの一層高い減衰は依然として可能にする。このように、該アプローチは、聴取者に一層近いオブジェクトが一層遠いオブジェクトより高い音響レベルを有するという自然な特性（“１／ｒ法則”）を保存することを支援することができる。
【０１３８】
記載された当該アプローチは、ユーザにより使用時に焦点面を調整することができるライトフィールドカメラからの画像を補完するのに特に適したものであり得る。実際に、該アプローチは、レンダリングされるオーディオシーンの“合焦点”距離のレンダリング時の変更を可能にする対話的オーディオ処理メカニズムを可能にすることができる。該オーディオ焦点制御メカニズムは、当該システムのビジュアル部分のための対応する焦点制御メカニズムに結合することができ、単一の制御パラメータを両方式の焦点メカニズムを制御及び位置合わせするために用いることができる。このように、同一の制御が、ユーザにより知覚される視覚的焦点及びオーディオ焦点の両方に影響を与えることができる。
【０１３９】
例えばマイクロフォンアレイに基づいたビーム形成技術を用いるオーディオズームとは対照的に、記載された当該方法は、互いに異なる距離の層に位置されるソースの音響レベルを釣り合わせる一方、これらソースの互いに対する及びユーザに対する空間的関係をそのままにすることを追求することができる。事実、ビーム形成技術は、特定の方向から又は空間内の特定の点における音源から到来する音を可能な限り分離し、他の全ての音源／方向を可能な限り抑圧することを追求する。本方法は、ライトフィールドカメラのための後焦点処理概念に対応して、所与の焦点距離に近い音源を動的に強調することができる。このようなカメラの場合、他の距離におけるビジュアルオブジェクトはレンダリングされた画像において依然として見えると共に、それらの空間的関係は同じままとなる一方、異なるオブジェクトの相対的鮮明度は、焦点面が変化されるにつれて変化させることができる。本アプローチはオーディオのための対応する効果を提供することができ、その場合、全てのオーディオソースはそのままであるが、幾つかのオーディオソースは選択された焦点面に近いと知覚的に一層顕著となる。
【０１４０】
幾つかの実施態様においては、３６０度（又は３Ｄ球状の）ＶＲレンダリングシナリオを提供することができる。記載された該オーディオ処理方法は、ユーザが、例えば周囲を見回して、当該仮想シーン内のオブジェクトが最大の“鮮明度”で見られ且つ聞かれるような自身の観賞点に対する距離を制御することができるようにし得る。言い換えると、該方法は、ズーム距離におけるオブジェクトが実効的にユーザに近付けられる（又は、等価的に、ユーザの観賞点がズーム点に向かって移動される）既知の“ズーム”方法の代替的対話メカニズムである。
【０１４１】
上記説明は、修正される知覚強調特性が個々のオーディオ成分に関するオーディオレベル（又は利得）である実施態様に焦点を合わせた。しかしながら、他の実施態様においては、焦点距離に近いオーディオ成分の強調又は例えば知覚される“鮮明度”を変更するために他の特性を付加的に又は代替的に適応させることができる。
【０１４２】
幾つかの実施態様において、当該知覚強調特性は第１空間オーディオ成分に関する拡散特性とすることができる。レンダリングされるオーディオ信号の拡散性は、当該オーディオソースがあると知覚されるものがどの様に位置特定されるかに影響を与え得る。典型的に、オーディオ信号の拡散特性の尺度が増加されるにつれて、知覚される拡がり又は非局在性が増加する。逆に、拡散特性を減少させることにより、当該オーディオソースは一層局所化され且つ固有のオーディオソース（点状ソースに一層近い）として知覚され得る。従って、オーディオソースは、拡散度が減少されると、“一層鮮明”なものとして知覚され得る。
【０１４３】
多くの実施態様において、適応器１０３は、前記差分尺度が減少する尺度を示す場合、第１空間オーディオ成分に対する拡散度を他の空間成分の１以上に対して減少させるように構成することができる。従って、該適応器１０３は拡散パラメータを、前記差分尺度が小さいほど拡散度を減少させるように該拡散パラメータが修正されるような差分尺度の関数として決定することができる。
【０１４４】
幾つかの実施態様において、当該拡散パラメータは、オーディオ成分がレンダリングされる際に適用されるべき拡散を示すパラメータを修正することにより直接修正することができる。例えば、ＡＤＭ、ＭＤＡ及びＭＰＥＧ−Ｈ ３Ｄオーディオ等のオブジェクトベースのオーディオをサポートする幾つかのオーディオ規格は、レンダリングされるオブジェクトの拡散度を制御するために使用することができるオブジェクトメタデータを既に含んでいる。前記レベル修正に関して説明したものと同様の重み関数を、オーディオオブジェクトの拡散特性に適用することもでき、選択された合焦点距離におけるオブジェクトに最小の拡散重みが適用される（従って、これらは最大に“鮮明”なものとしてレンダリングされる）と共に、該合焦点距離から半径方向距離が増加する位置におけるオブジェクトに対しては拡散重みを増加させる（従って、合焦点距離から遠くに位置するオブジェクトは、より一層及び恐らくは高度に拡散するものとしてレンダリングされる）ようにする。
【０１４５】
他の例として、適応器１０３はオーディオ信号の時間領域の拡がりを前記差分尺度に依存して修正するように構成することができる。例えば、オーディオ成分に関するオーディオ信号をインパルス応答により畳み込むことができる。非常に局在化されたソースの場合、インパルス応答は非常に短い時間間隔内に集中されたエネルギを有し得、特には単一のディラックパルスとなり得る。しかしながら、一層拡散的なソースの場合、当該エネルギは、増加する数の反射に対応して一層長い期間にわたって広げられ得、例えば、個々の反射というより拡がり応答（spread response）に対応した残響テールを含み得る。このように、当該インパルス応答は残響効果等を含み得る。幾つかの実施態様において、適応器１０３は、例えば異なる拡散度に対応する複数の所定のインパルス応答の間で選択することができる。該選択は前記差分尺度に基づくものとすることができる。該選択されたインパルス応答はオーディオ信号に適用することができ、結果として、当該オーディオ成分が焦点距離にどの程度近いかに依存した拡散度が得られる。
【０１４６】
このような例においては、オーディオ成分の時間的レンダリングを修正することができ、これにより、拡散性を導入する。しかしながら、代わりに又は加えて、オーディオ成分の拡散度を増加させるために空間的レンダリングを修正することもできる。このような方法においては、オーディオ成分の拡散度を増加させるために聴取者の両耳の間の相関を減少させることができる。
【０１４７】
即ち、知覚される拡散度は、当該信号の時間的拡がり及び聴取者の耳の間の相関に依存し得る。オーディオアプリケーションに関する拡散性についての更なる情報は、文献“Acoustics and Audio Technology (Acoustics: Information and Communication)”by Mendel Kleiner, J Ross Publishing, 2011, ISBN 1604270527又は文献“Communication Acoustics”by Pulkki, John Wiley & Sons, 2015, ISBN 1118866541に見付けることができる。
【０１４８】
特に、知覚される拡散性は、典型的に、直接音と残響音との間のレベル差に依存する。この差の指示情報は、
【数１】
2019514293.tif 000003
として、又は例えばレベル間の比：
【数２】
2019514293.tif 000004
として、又は全レベルに対する残響信号レベルの割合：
【数３】
2019514293.tif 000005
として直接決定することができ、ここで、ＬDirectは直接音成分のレベルであり、ＬReverberationは残響音成分のレベルであり、ＬIndは、これらの間の関係の指示情報である（該指示情報は、拡散度が増加すると増加する）。
【０１４９】
このように、幾つかの実施態様において、適応器１０３は直接音のレベルと残響音のレベルとの間の関係を前記差分尺度に応答して適応させるように構成することができ、特に、差分尺度が増加する場合に直接音に対して残響音のレベルを増加させることができる。
【０１５０】
異なる実施態様においては、直接音及び残響音を個々の好み及び要件に依存して異なる方法で定義し、決定し及び制御することができることが分かる。例えば、幾つかの実施態様において、直接音成分は直接音経路に対応する全てのピークに（例えば、インパルス応答における全てのディラックパルスに）対応し得、残りの信号は残響音成分に対応する。
【０１５１】
他の実施態様において、前記音成分は純粋に時間に基づいて区別することができ、直接音は聴取者に第１時間閾値より小さい伝搬時間で到達する成分に対応するものとして決定される一方、残響音は聴取者に第２時間閾値（典型的に、第１時間閾値より大きい）より大きい伝搬時間で到達する成分に対応するものとして決定される。例えば、所与の空間オーディオ成分に関するオーディオ信号は、インパルス応答を有する（拡散）フィルタにより処理することができる。直接音のレベルは、例えば２０〜１００msecの第１時間閾値より前のインパルス応答のエネルギとして決定することができる。これは、直接音及び典型的な部屋における早期の反射に対応する。残響音のレベルは、例えば７０〜１５０msecの第２時間閾値より後のインパルス応答のエネルギとして決定することができる。これは、典型的な部屋における（典型的には、不明確な）残響に対応し得る。
【０１５２】
適応器１０３は、例えば、直接及び残響音の間の所望の関係（これにより、拡散度の所望の変化）が結果として生じるインパルス応答を提供するために、異なるインパルス応答を持つ異なる（拡散）フィルタの間で切り換えることができる。例えば、ルックアップテーブルに複数のインパルス応答を設けることができ、適応器１０３は、これらの間で前記差分尺度に基づいて選択することができる。
【０１５３】
代わりに又は加えて、適応器１０３は、前述したように、聴取者の両耳における信号の間の相関を前記差分尺度に基づいて変化させるように構成することができる。即ち、適応器１０３は、両耳間の相関を前記差分尺度に基づいて変化させるように構成することができ、特に、増加する差分尺度に対して両耳間相関を減少させるように構成することができる。
【０１５４】
即ち、両耳間相互相関係数（ＩＣＣＣ）は：
【数４】
2019514293.tif 000006
と定義することができ、ここで、x(t)及びy(t)は２つの耳の信号であり、τはチャンネル間のオフセットであり（聴取者に対する音源の方向に依存する）、t1及びt2は積分のための適切な制限時間（典型的に、例えば５０〜１００msecにわたるものであり得る）である。
【０１５５】
適応器１０３は、前記差分尺度に依存してＩＣＣＣを適応させるように当該信号を処理するよう構成することができる。例えば、右及び左耳に対して異なるインパルス応答を備える一群のフィルタのために、インパルス応答を記憶することができる。差の程度、従って左及び右耳の間の相関は、異なるフィルタ対に対して相違し得る。従って、適応器１０３は、前記差分尺度に依存して、結果として所望のＩＣＣＣを生じる1対のフィルタを選択することができる。特有の例として、インパルス応答は異なる周波数帯域に対して僅かに異なる遅延を有することができ、該遅延は右及び左耳の各々に対して異なるように変化する（周波数の関数として）。
【０１５６】
両耳間相互相関を制御することによる拡散性の制御は、しばしば、ヘッドフォンレンダリングアプリケーションにとり特に適したものであり得る一方、直接対残響音を制御することによる拡散性の制御は、しばしば、空間スピーカ設備を用いたレンダリングにとり一層適したものであり得る。
【０１５７】
このようにして、焦点距離に近いオーディオソースは、焦点距離から遠いオーディオソースよりも一層固有で且つ空間的に明確なものとして知覚され得る。
【０１５８】
幾つかの実施態様において、適応器１０３は、第１空間オーディオ処理装置の場合、更に又は代わりに、第１オーディオ成分の周波数信号分布を前記差分尺度に依存して修正するよう構成することができる。
【０１５９】
このように、オーディオ成分の周波数ドメインにおけるエネルギ分布を、前記差分尺度に依存して変化させることができる。適応器１０３は、特に、当該オーディオ成分信号を前記差分尺度に依存する周波数応答を備えたフィルタを適用することによりフィルタ処理することができる。例えば、適応器１０３は、当該信号をローパスフィルタ及びハイパスフィルタによりフィルタ処理すると共に、次いで、該フィルタ処理された信号の加重合成により合成信号を発生することができる。これら重みは、前記差分尺度の関数として決定することができる。
【０１６０】
適応器１０３は、特に、前記差分尺度が小さいほど、即ち当該オーディオ成分が焦点距離に近いほど、高周波信号成分を低周波信号成分に対して増加させることができる。
【０１６１】
オーディオソースは、しばしば、増加する高周波成分（含有量）を有する場合、一層目立ち且つ一層際立つように（そして、例えば益々“鮮明”に）知覚され得る。従って、当該システムは、当該オーディオオブジェクトが焦点距離に近いほど、高周波成分を低周波成分に対して増幅させ、これにより、焦点距離に一層近いオーディオオブジェクトを一層明確且つ目立つようにさせることができる。
【０１６２】
他の例として、当該システムは特定の周波数帯域／領域における周波数成分（内容）を強調することができる。例えば、異なるオーディオソースの知覚される強調を修正するために中〜高周波数帯域を増幅／減衰させることができる。
【０１６３】
このように、幾つかの実施態様において、空間オーディオ成分は、前記差分尺度に依存する周波数応答を持つフィルタによりフィルタ処理することができる（レンダリングされる際に）。例えば、修正されたオーディオ信号は：
【数５】
2019514293.tif 000007
として発生することができ、ここで、Ｓac(f)は周波数ドメインにおける当該空間オーディオ成分のオリジナルのオーディオ信号であり、Ｈ(f,Δ)は差分尺度Δに依存するフィルタである。
【０１６４】
特に、当該システムは、最初に当該空間オーディオ成分に関するオーディオデータをデコードして時間ドメインオーディオ信号を発生することができ、この信号は、次いで、ＦＦＴを用いて周波数ドメインに変換することができる。各ビンにおいて、該周波数ドメイン信号はフィルタ係数により乗算することができ、少なくとも幾つかのビンに関する該フィルタ係数は前記差分尺度の関数として決定される。
【０１６５】
幾つかの実施態様においては、個々のフィルタ係数を差分尺度の関数として決定するために、相対的に複雑な関数を用いることができる。しかしながら、多くの実施態様では、相対的に簡単なアプローチを用いることができる。
【０１６６】
例えば、多くの実施態様において、周波数中音域のための係数は１とすることができる。即ち、当該ビン内のオーディオ信号値は修正されない。高い周波数の場合、当該係数は増加する差分尺度に対して増加させることができる一方、低い周波数の場合、当該係数は減少する差分尺度に対して減少させることができる。このように、減少する差分尺度に対して、高周波強調は低周波強調に対して増加される。即ち、焦点距離に近いオーディオオブジェクトに対して高周波成分は強調される一方、更に遠いソースに対しては強調が低下される。
【０１６７】
多くの実施態様において、適応器１０３は、異なる周波数応答を持つ一連の異なるフィルタの間で前記差分尺度に依存して選択を行うように構成することができる。このように、ルックアップテーブルは一群のフィルタを有することができ、適応器１０３は、これらの間で差分尺度に基づいて選択することができる。
【０１６８】
このようなフィルタは、多くの実施態様において、当該オーディオ成分の信号の周波数分布及び該成分の分散の両方を変化させることができることが分かる。このように、記憶されたフィルタ応答は、周波数応答及び両耳間相互相関の両方、及び／又は直接及び残響音成分の間の関係を変化させることができる。
【０１６９】
多くの実施態様において、空間オーディオ成分信号の該周波数選択的フィルタ処理は、当該信号の全体のエネルギ／レベルが変更されないような正規化を含むことができる。
【０１７０】
当該システムにおいて、異なるオーディオソースの知覚的強調／デエンファシスは、従って、信号エネルギが周波数ドメインにおいてどの様に分散されるかを変更することにより完全に又は部分的に達成することができる。即ち、前記差分尺度に依存した周波数応答を持つフィルタによるフィルタ処理を当該空間オーディオ成分信号に適用し、これにより該差分尺度の関数として変化する周波数信号分布（即ち、該信号のエネルギが周波数ドメインにおいてどの様に分散されるか）を得ることができる。
【０１７１】
周波数信号分布は、周波数ドメインにおける信号エネルギの分布として決定することができる。例えば、空間オーディオ成分に関するオーディオ信号のセグメントを、選択すると共にＦＦＴを用いて周波数ドメインに変換することができる。適応化に先立ち、このことは、周波数ドメインにおける当該信号の所与の分布に対応する所与の群の周波数値（各値は、当該特定の周波数ビンにおけるエネルギを示す）を提供することができる。同様の方法を、修正されたオーディオ信号に（即ち、前記差分尺度に依存する適応が実行された後に）適用することもできる。かくして、異なる周波数ビンの周波数値は、周波数ドメインにおけるオーディオ信号のエネルギの異なる分布に対応して変更されたものとなる。当該適応は前記差分尺度に依存するものであるから、少なくとも幾つかの周波数ビンにおける値も該差分尺度に依存したものとなり、かくして、該差分尺度の関数である別の周波数信号分布が達成される。
【０１７２】
当該周波数信号分布の簡単な尺度／指示情報は、単なる一層高い周波数区間におけるエネルギと比較した一層低い周波数区間におけるエネルギであり得る。この関係は、多くの実施態様では、前記差分尺度に依存して修正することができる。
【０１７３】
このような周波数信号分布は当該信号に対して直接測定することができるが、前記差分尺度に基づく周波数信号分布の修正は、典型的に、如何なる明示的な測定も伴わずに実行され、単に、該差分尺度に依存する周波数変化フィルタを適用することにより生じることが分かる。
【０１７４】
幾つかの実施態様において、当該オーディオ成分の処理は、オーディオソース位置から基準位置までの距離に依存するのみならず、該オーディオソース位置から該基準位置への方向にも依存する。即ち、前記差分尺度は前記基準位置から第１空間オーディオ成分の位置への方向に依存し得る。特に、前記差分尺度は、前記焦点距離により示される位置と前記基準位置から見た第１空間オーディオ成分の位置との間の方位及び高度差のうちの少なくとも一方に依存し得る。このように、斯様な実施態様において、例えばユーザにより供給される焦点距離は、距離を決定することができると共に基準位置に対する方位及び／又は高度を決定することができる位置として供給することができる。他の実施態様において、該焦点距離は、距離値を直接供給することができると共に、更に、特定の位置を定める位置指示情報を含むことができる。
【０１７５】
幾つかの実施態様において、前記差分尺度は、例えば或るものが当該オーディオソースから基準位置までの距離に依存する一方、或るものが当該オーディオソースから基準位置への方向に依存するような複数の値を有する複合値とすることができる。
【０１７６】
多くの実施態様において、当該システムは、このように、オーディオ成分に対して一層差別化された強調を付与することができると共に、特に、ユーザが集中している方向にあるオーディオオブジェクトに対する強調を増加させることができる。例えば、ユーザは視線方向及び距離を示すことができ、差分尺度は、示された位置に対して当該オーディオ成分がどの程度近いかを反映することができる。知覚強調特性（例えば、オーディオレベル、拡散度及び／又は周波数分布等）を補正するための該記載された方法は、決定された差分尺度に基づいて適用することができる。
【０１７７】
当該方法は、多くの状況において改善されたユーザ体験を提供することができる。実際に、オーディオが対応するビデオと組み合わされる多くの使用例においては、空間内の何処かにおける選択された合焦点距離に位置される全てのオーディオオブジェクトを“合焦点状態”にすることが望ましいとは限らない。むしろ、観賞方向の周辺の限られた空間範囲にある、又はユーザの実際の視界内にあるもののみが強調されることが好ましいかも知れない。このようにしてオーディオの“焦点合わせ”を制限することは、例えばユーザの背後に位置する（ユーザの観賞点及び方向に対して）オブジェクトを含み、選択された合焦点距離にある全てのオーディオオブジェクトに対し最大レベルの重み付けを適用するよりも好ましいものであり得る。
【０１７８】
上述したように、このことは、前述したような差分尺度であるが、観賞（視線）方向に最小値を有すると共に、該観賞方向に対し増加する角度（方位及び／又は高度）に対して及び焦点距離とオーディオオブジェクトから基準位置までの距離との間の距離の増加する差分に対して増加する値を有する差分尺度を適用することにより実施化することができる。ユーザが頭部を動かす（又は、もっと一般的に、視線方向を変える）動的ＶＲシナリオにおいて、この加重関数は、それに応じて修正することができる。
【０１７９】
一例として、オーディオ成分の三次元位置と焦点距離データにより示される三次元位置との間の距離を決定することにより距離尺度を計算することができる。三次元における距離を反映する該距離は、幾つかの実施態様においては、前記差分尺度として直接使用することができる。幾つかの実施態様において、異なる次元を別々に重み付けることができることが分かる。
【０１８０】
他の例として、前記差分尺度は、一方が焦点距離に対するオーディオオブジェクトから基準位置までの距離に依存し、他方が焦点方向とオーディオオブジェクトから基準位置への方向との間の差に依存し得る２つの加重曲線の乗算として導出することができる。
【０１８１】
先の例において、ユーザは焦点指示情報、特には焦点距離を手動で制御することができる。しかしながら、多くの実施態様において、当該空間オーディオ処理装置は、ユーザの頭部を、特には眼を追跡する追跡器を有することができる。この場合、当該焦点距離は、この頭部又は眼（視線）の追跡により決定することができる。該追跡器は、特に、ユーザに関する焦点の位置を決定するために注視又は視線検出を実行することができる。特に適応被写界深度追跡と称される方法を含み、このような機能のための種々の方法が開発されている。
【０１８２】
当該差分尺度は、この場合、この自動化された検出に基づいて決定することができ、当該オーディオシーンはユーザの焦点に近いオーディオオブジェクトに対する強調が増加されるように処理することができる。このように、該方法は、当該オーディオシーンを、ユーザが当該ビジュアルシーンにおいて注視している場所に近いオーディオソースに対して増加された強調を付与するように自動的に適応させるシステムを提供することができる。かくして、該システムは例えばユーザが眼を集中させている距離を自動的に決定することができ、この情報はビデオ及びオーディオの両法の焦点合わせに用いることができる。
【０１８３】
上述した実施態様は、オーディオシーンデータが空間オーディオ成分の少なくとも幾つか（及び典型的には全て）を表す個々のオーディオオブジェクトを有する構成例に
焦点を合わせた。更に、明示的な位置情報（例えば、メタデータ等）が当該オーディオオブジェクトに関して存在すると仮定された。
【０１８４】
このように、多くの実施態様において、当該オーディオシーンは、オーディオデータ及び関連するメタデータにより個別に表わされた複数のオーディオオブジェクトにより記述することができ、該メタデータは、特に、位置情報及び例えば推奨されるレベル情報、残響パラメータ等のレンダリング情報を含むことができる。
【０１８５】
近年、個々のオーディオソースを個々のオーディオオブジェクトとして表す多くのオーディオフォーマットを開発することに大きな努力が払われている。このように、オーディオシーンを特定の（名目上の又は基準の）位置に対応するオーディオチャンネルにより表すというより、各々が特定のオーディオソース（例えば、背景、拡散及び周囲音源を含む）を表す個別のオーディオオブジェクトを提供することが提案されている。典型的に、オーディオオブジェクトには、音響ステージにおける当該オーディオオブジェクトの目標位置を示す（オプションとしての）位置情報を設けることができる。このように、斯様な方法において、オーディオソースは、特定の予め定められた（スピーカ）位置に関連付けられたオーディオチャンネルに対して行う貢献によるというより、別々の且つ単一のオーディオオブジェクトにより表すことができる。
【０１８６】
例えば、オーディオオブジェクトをサポートするために、ＭＰＥＧは“Spatial Audio Object Coding”(ISO/IEC MPEG-D SAOC)として知られているフォーマットを規格化した。DTS, Dolby Digital及びMPEG Surround等の多チャンネルオーディオコーディングシステムとは対照的に、SAOCは、オーディオチャンネルより効率的な個々のオーディオオブジェクトのコーディングを提供する。MPEG Surroundにおいて、各スピーカチャンネルはサウンドオブジェクトの異なる混合から生じると見なすことができるが、SAOCは多チャンネル混合における個々のサウンドオブジェクトの位置の対話的操作を可能にする。
【０１８７】
MPEG Surroundと同様に、SAOCもモノ又はステレオのダウンミックスを生成する。更に、オブジェクトパラメータが算出され、含まれる。デコーダ側において、ユーザは、これらのパラメータを操作して、位置、レベル、等化等の個々のオブジェクトの種々のフィーチャを制御し、又は残響等の効果を付与することさえできる。
【０１８８】
SAOCは、一層柔軟な方法を可能にすると共に、特に、再生チャンネルのみに加えてオーディオオブジェクトを送信することにより一層レンダリングベースの適応可能性を可能にする。このことは、当該空間がスピーカにより十分にカバーされるならば、デコーダ側がオーディオオブジェクトを空間内の任意の位置に配置することを可能にする。このように、送信されるオーディオと再生又はレンダリング設備との間には関係がなく、従って任意のスピーカ設備を使用することができる。このことは、例えばスピーカが決して意図する位置にない典型的なリビングルームにおけるホームシネマ設備にとり有利である。SAOCにおいて、オブジェクトがサウンドシーンにおいて何処に配置されるかはデコーダ側で決定される。しかしながら、オーディオオブジェクトのレンダリング側での操作はサポートされるものの、典型的には、ユーザ入力を要せずにオーディオをレンダリングすることができ、それでいて、適したサウンドステージを提供することができることが望ましい。特に、当該オーディオが、リンクされたビデオと一緒に供給される場合、オーディオソースが画像における位置に対応する位置でレンダリングされることが望ましい。従って、オーディオオブジェクトは、時には、個々のオーディオオブジェクトに対する推奨されるレンダリング位置を示す目標位置データを備えることができる。
【０１８９】
オーディオオブジェクトベースのフォーマットの他の例は、MPEG-H 3D Audio [ISO/IEC 23008-3 (DIS): Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 3: 3D audio, 2014]、ADM [EBU Tech 3364 “Audio Definition Model Ver. 1.0”, 2014]並びにDolby Atmos [SMPTE TC-25CSS 10 WG on “Interoperable Immersive Sound Systems for Digital Cinema”, 2014]及びDTS-MDA [ETSI document TS 103 223, “The Multi-Dimensional Audio (MDA) Content Creation Format Specification with Extensions for Consumer 20 Environments”, 2014]等の所有権規格を含む。
【０１９０】
前記オーディオシーンデータは、当該シーンにおける種々のオーディオソースに関する複数の異なるオーディオオブジェクトを指定するオーディオデータを含むことができる。これらのオーディオオブジェクトの幾つかは、如何なる特定の位置にも関連付けられない拡散又は一般音であり得る。例えば、１以上のオーディオオブジェクトは、背景又は周囲音を表す周囲又は背景オーディオオブジェクトであり得る。しかしながら、他のオーディオオブジェクトは、当該サウンドステージにおける特定の位置に対応する特定の音源に関連付けられ得る。従って、当該オーディオビジュアル信号も、特定のオーディオオブジェクトのための所望の位置の指示情報を提供する位置データを有し得る。即ち、該オーディオビジュアル信号は、オーディオオブジェクトに関する目標位置データを含み得る。
【０１９１】
幾つかのシナリオにおいて、１以上のオーディオオブジェクトは、特定の画像オブジェクトに関連付けることができる。例えば、或るオーディオオブジェクトは当該画像における人の音声に対応し得る。このように、このオーディオオブジェクトは、該人に、又は一層特定的には（例えば、クローズアップに関しては）該人の口に対応する画像オブジェクトに関連付けることができる。このような例におけるオーディオビジュアル信号は、３Ｄ画像における対応する画像オブジェクト（即ち、当該話者（又は該話者の口））の位置を示す位置及び音声データを記述するオーディオデータを有することができる。
【０１９２】
他のオーディオオブジェクトの場合、当該三次元画像に対する関連付けは、特定の画像オブジェクトに対する関連付けではなく、該３Ｄ画像により表されるシーンにもっと間接的に関係するものであり得る。例えば、当該オーディオは、レンダリングされる画像では見えない（例えば、オクルージョン、距離又は寸法により）ソースから発するものであり得る。
【０１９３】
このように、オーディオオブジェクトは、典型的には特定の予め決められた又は基準位置に対して設けられたオーディオチャンネル成分ではなく、むしろ、典型的に当該シーンにおける個々の音源に対応するものである。特に、オーディオオブジェクトの１以上は当該３Ｄ画像内の１つの画像オブジェクトに直接関係され得る（例えば、音声オーディオオブジェクトは、話者を表す画像オブジェクトに関連付けられ得る）。所与のオーディオオブジェクトに関する位置データは、当該シーンにおける該オーディオオブジェクトにより表される音源の位置を示し得る。
【０１９４】
位置データは必ずしも全てのオーディオオブジェクトに関して含まれる必要はないことが分かる。特に、幾つかのオーディオオブジェクトは、特定の位置を有する音源に対応するのではなく、むしろ拡散する又は広がったソース位置を有し得る。例えば、幾つかのオーディオオブジェクトは、特定の位置からレンダリングされることが意図されない周囲又は背景音に対応し得る。
【０１９５】
上述したアプローチは、オーディオオブジェクトを有するオーディオシーンデータと共に使用される場合に特に有利であり得るが、他の実施態様では、該オーディオシーンデータは他の方法で設けることもできることが分かる。例えば、該オーディオシーンデータは、例えば従来のサラウンドサウンドオーディオ信号を供給することができる等のように、複数の空間オーディオチャンネルのためのデータを供給することができる。このような実施態様において、前記オーディオ受信器１０１はオーディオ成分を、例えば主成分分析（ＰＣＡ）又は他の適切なオーディオ抽出方法を用いて抽出するよう構成することができる。このような技術は、抽出されたオーディオ成分に関する推定位置を提供することもできる。結果としてのオーディオ成分及び位置情報は、次いで、オーディオオブジェクトのために前述したように処理することができる。
【０１９６】
上述した説明は、明瞭化のために、本発明の実施態様を異なる機能回路、ユニット及びプロセッサに関して記載したことが分かる。しかしながら、異なる機能回路、ユニット又はプロセッサの間での機能の如何なる好適な分散も、本発明から逸脱することなしに用いることができることは明らかであろう。例えば、別個のプロセッサ又はコントローラにより実行されるように解説された機能は、同一のプロセッサ又はコントローラにより実行することができる。従って、特定の機能ユニット又は回路の参照は、厳密な論理的又は物理的構造又は編成を示すというより、記載された機能を提供するための適切な手段の参照とのみ見なされるべきである。
【０１９７】
本発明は、ハードウェア、ソフトウェア、ファームウエア又はこれらの何らかの組み合わせを含む如何なる好適な形態で実施化することもできる。本発明は、オプションとして、１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして少なくとも部分的に実施化することができる。本発明の実施態様の要素及び部品は、物理的に、機能的に及び論理的に如何なる好適な方法で実施化することもできる。実際に、斯かる機能は、単一のユニットにおいて、複数のユニットにおいて又は他の機能ユニットの一部として実施化することができる。かくして、本発明は、単一のユニット内で実施化することができるか、又は異なるユニット、回路及びプロセッサの間において物理的及び機能的に分散させることができる。
【０１９８】
以上、本発明を幾つかの実施態様に関連して説明したが、これは、ここに記載された特定の形態に限定しようとするものではない。むしろ、本発明の範囲は、添付請求項によってのみ限定されるものである。更に、フィーチャは特定の実施態様に関連して説明されているように見えるが、当業者であれば、記載された実施態様の種々のフィーチャは本発明に従って組み合わせることができると認識するものである。請求項において、有するなる用語は、他の要素又はステップの存在を排除するものではない。
【０１９９】
更に、個別に掲載されているが、複数の手段、要素、回路又は方法のステップは、例えば単一の回路、ユニット又はプロセッサにより実施化することができる。更に、個々のフィーチャは別々の請求項に含まれ得るものであるが、これらは可能性として有利に組み合わせることができ、異なる請求項に含まれることは、フィーチャの組み合わせが可能及び／又は有利でないことを意味するものではない。また、１つの分類の請求項にフィーチャが含まれることは、この分類への限定を意味するものではなく、むしろ、該フィーチャが他の分類の請求項にも、適宜、等しく適用可能であることを示す。更に、請求項におけるフィーチャの順序は、これらフィーチャが実施されねばならない如何なる特定の順序を示すものではなく、特に、方法の請求項における個々のステップの順序は、これらステップが該順序で実行されねばならないことを示すものではない。むしろ、これらステップは如何なる好適な順序で実行することもできる。更に、単数形の参照は複数を排除するものではない。このように、“１つの”、“第１の”、“第２の”等の言及は、複数を除外するものではない。また、請求項における符号は明瞭にする例として設けられたものに過ぎず、当該請求項の範囲を如何なる形でも限定するものと見なしてはならない。
【図１】
2019514293.tif 000008
【図２】
2019514293.tif 000009
【国際調査報告】
2019514293.tif 000010
2019514293.tif 000011
2019514293.tif 000012