(57)【要約】      （修正有）【課題】任意的に頭部追跡を利用するときの改良されたパラメトリック・バイノーラル出力のためのシステムおよび方法を提供する。【解決手段】エンコーダ２０において、オブジェクトまたはチャネル・ベースのコンテンツ２１からダウンミックス生成２２の処理がなされ、ダウンミックス信号２９が出力される。また、コンテンツ２１は、優勢成分を決定するための解析２３にかけられ、優勢成分信号２６および位置／方向情報２５が算出される。ダウンミックス信号２９と優勢成分信号２６から重み計算２４がなされ、重み２７が算出される。ダウンミックス信号２９、重み２７および位置／方向情報２５は、オーディオ・エンコーダ２８によってパッケージされて、頒布のために準備される。【選択図】図２
2020110007.tif 000002
【特許請求の範囲】
【請求項１】
再生のためにチャネル・ベースまたはオブジェクト・ベースの入力オーディオをエンコードするよう構成されたシステムであって：
一つまたは複数のプロセッサと；
前記一つまたは複数のプロセッサによって実行されたときに前記装置に動作を実行させる命令を記憶しているコンピュータ可読媒体とを有しており、前記動作は：
前記チャネル・ベースまたはオブジェクト・ベースの入力オーディオを初期の出力呈示にレンダリングする段階と；
前記チャネル・ベースまたはオブジェクト・ベースの入力オーディオから優勢オーディオ成分の推定値を決定する段階であって、該決定は：
前記初期の出力呈示を前記優勢オーディオ成分にマッピングするための一連の優勢オーディオ成分重み付け因子を決定して、
前記優勢オーディオ成分重み付け因子および前記初期の出力呈示に基づいて優勢オーディオ成分の前記推定値を決定することを含む、段階と；
前記優勢オーディオ成分の方向または位置の推定値を決定する段階と；
前記初期の出力呈示と、前記優勢オーディオ成分重み付け因子と、前記優勢オーディオ成分の方向または位置の少なくとも一方とを、再生のためのエンコードされた信号としてエンコードする段階とを含む、
方法。
【請求項２】
前記動作が、前記初期の出力呈示より前記優勢オーディオ成分もしくはその前記推定値のいずれかのレンダリングだけ小さいものである残差混合の推定値を決定することをさらに含む、請求項１記載のシステム。
【請求項３】
前記動作が、前記チャネル・ベースまたはオブジェクト・ベースの入力オーディオの無残響のバイノーラル混合を生成し、残差混合の推定値を決定することを含み、ここで、前記残差混合の推定値は、前記無残響のバイノーラル混合より、前記優勢オーディオ成分もしくはその前記推定値のいずれかのレンダリングだけ小さいものである、請求項１記載のシステム。
【請求項４】
前記動作が、前記初期の出力呈示を前記残差混合の推定値にマッピングするための一連の残差行列係数を決定することをさらに含む、請求項２記載のシステム。
【請求項５】
前記初期の出力呈示は、ヘッドフォン呈示またはラウドスピーカー呈示を含む、請求項１記載のシステム。
【請求項６】
前記チャネル・ベースまたはオブジェクト・ベースの入力オーディオは、時間および周波数タイリングされ、前記エンコードする段階は、一連の時間ステップおよび一連の周波数帯域について繰り返される、請求項１記載のシステム。
【請求項７】
前記初期の出力呈示は、ステレオ・スピーカー混合を含む、請求項１記載のシステム。
【請求項８】
エンコードされたオーディオ信号をデコードするよう構成されたシステムであって：
一つまたは複数のプロセッサと；
前記一つまたは複数のプロセッサによって実行されたときに前記一つまたは複数のプロセッサに動作を実行させる命令を記憶している非一時的なコンピュータ可読媒体とを有しており、前記動作は：
エンコードされたオーディオ信号を受領する段階であって、前記エンコードされたオーディオ信号は：
ステレオ・ダウンミックスを含む初期の出力呈示；
優勢オーディオ成分の方向；および
優勢オーディオ成分重み付け因子を含む、段階と；
前記優勢オーディオ成分重み付け因子および前記初期の出力呈示に基づいて、推定された優勢成分を決定する段階と；
レンダリングされたバイノーラル化推定優勢成分を形成する段階であって、前記優勢オーディオ成分の方向に従って、前記推定された優勢成分を、バイノーラル化により、意図される聴取者に対するある空間位置にレンダリングすることを含む、段階と；
前記初期の出力呈示から残差成分推定値を再構成する段階と；
前記レンダリングされたバイノーラル化推定優勢成分および前記残差成分推定値を組み合わせて、出力空間化オーディオ信号を形成する段階とを含む、
システム。
【請求項９】
前記エンコードされたオーディオ信号はさらに、残差オーディオ信号を表わす一連の残差行列係数を含み、残差成分推定値を再構成する前記段階はさらに：
前記残差行列係数を前記初期の出力呈示に適用して、前記残差成分推定値を再構成することを含む、
請求項８記載のシステム。
【請求項１０】
前記残差成分推定値は、前記初期の出力呈示から、前記レンダリングされたバイノーラル化推定優勢成分を引くことによって再構成される、請求項８記載のシステム。
【請求項１１】
前記レンダリングされたバイノーラル化推定優勢成分を形成することが、前記意図される聴取者の頭の配向を示す入力頭部追跡信号に基づく、前記推定された優勢成分の初期回転を含む、請求項８項記載のシステム。
【請求項１２】
前記残差成分推定値は、前記初期の出力呈示から、前記レンダリングされたバイノーラル化推定優勢成分を引くことによって再構成され、前記レンダリングされたバイノーラル化推定優勢成分を形成することが、前記意図される聴取者の頭の配向を示す入力頭部追跡信号に基づく、前記推定された優勢成分の初期回転を含む、請求項８項記載のシステム。
【請求項１３】
一つまたは複数のプロセッサによって実行されたときに前記一つまたは複数のプロセッサに動作を実行させる命令を記憶している非一時的なコンピュータ可読媒体であって、前記動作は：
前記チャネル・ベースまたはオブジェクト・ベースの入力オーディオを初期の出力呈示にレンダリングする段階と；
前記チャネル・ベースまたはオブジェクト・ベースの入力オーディオから優勢オーディオ成分の推定値を決定する段階であって、該決定は：
前記初期の出力呈示を前記優勢オーディオ成分にマッピングするための一連の優勢オーディオ成分重み付け因子を決定して、
前記優勢オーディオ成分重み付け因子および前記初期の出力呈示に基づいて優勢オーディオ成分の前記推定値を決定することを含む、段階と；
前記優勢オーディオ成分の方向または位置の推定値を決定する段階と；
前記初期の出力呈示と、前記優勢オーディオ成分重み付け因子と、前記優勢オーディオ成分の方向または位置の少なくとも一方とを、再生のためのエンコードされた信号としてエンコードする段階とを含む、
記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意的に頭部追跡を利用するときの改良された形のパラメトリック・バイノーラル出力のためのシステムおよび方法を提供する。
【背景技術】
【０００２】
本明細書を通じて背景技術のいかなる議論も、いかなる仕方でも、そのような技術が当分野において広く知られているまたは技術常識の一部をなすことの自認と考えられるべきではない。
【０００３】
オーディオ・コンテンツのコンテンツ生成、符号化、頒布および再生は、伝統的にはチャネル・ベースである。すなわち、コンテンツ・エコシステムを通じて一つの特定の目標再生システムが構想されている。そのような目標再生システムの例はモノ、ステレオ、5.1、7.1、7.1.4などである。
【０００４】
コンテンツが意図されたものとは異なる再生システムで再生される場合、ダウンミックス〔下方混合〕またはアップミックス〔上方混合〕が適用されることができる。たとえば、5.1コンテンツは、特定の既知のダウンミックスの式を用いることによって、ステレオ再生システムで再生できる。もう一つの例は7.1スピーカー・セットアップでのステレオ・コンテンツの再生であり、これはいわゆるアップミックス・プロセスを含むことがあり、アップミックス・プロセスは、Dolby  Pro  Logicのようないわゆるマトリクス・エンコーダによって使われるような、ステレオ信号に存在する情報によって案内されることも、されないこともできる。アップミックス・プロセスを案内するために、ダウンミックスの式に特定の位相関係を含めることによって、あるいは別の言い方をすれば、複素数値のダウンミックスの式を適用することによって、ダウンミックス前の信号のもとの位置についての情報が、暗黙的に信号伝達されることができる。二次元に配置されたスピーカーとのコンテンツのために複素数値のダウンミックス係数を使うそのようなダウンミックス方法のよく知られた例が、LtRtである（非特許文献２）。
【０００５】
結果として得られる（ステレオ）ダウンミックス信号は、ステレオ・ラウドスピーカー・システムを通じて再生されることができ、あるいはサラウンドおよび／または高さスピーカーをもつラウドスピーカー・セットアップにアップミックスされることができる。信号の意図された位置は、チャネル間の位相関係からアップミキサーによって導出されることができる。たとえば、LtRtステレオ表現では、逆相の（たとえば−1に近いチャネル間波形規格化相互相関係数をもつ）信号は、理想的には一つまたは複数のサラウンド・スピーカーによって再生されるべきであり、一方、（＋1に近い）正の相関は、その信号が聴取者の前方のスピーカーによって再生されるべきであることを示す。
【０００６】
多様なアップミックス・アルゴリズムおよび戦略が開発されているが、その相違はステレオ・ダウンミックスからマルチチャネル信号を再生成する戦略にある。比較的単純なアップミキサーでは、ステレオ波形信号の規格化された相互相関係数は時間の関数として追跡され、一方、信号（単数または複数）は、規格化された相互相関係数の値に依存して、前方または後方スピーカーにステアリングされる。この手法は、同時に存在する聴覚オブジェクトが一つだけの比較的単純なコンテンツについてはうまく機能する。より高度なアップミキサーは、特定の周波数領域から導出される統計的情報に基づいて、ステレオ入力からマルチチャネル出力への信号の流れを制御する（非特許文献１、２）。具体的には、ステアリングされるもしくは優勢な成分およびステレオ（拡散）残差信号に基づく信号モデルが、個別の時間／周波数タイルにおいて用いられることができる。優勢成分および残差信号の推定のほかに、方向角（方位角、可能性としては仰角で補強）も推定され、その後、優勢成分信号が一つまたは複数のラウドスピーカーにステアリングされて、再生中に（推定された）位置を再構成する。
【０００７】
マトリクス・エンコーダおよびデコーダ／アップミキサーの使用は、チャネル・ベースのコンテンツに限定されない。オーディオ産業における最近の発展は、チャネルではなくオーディオ・オブジェクトに基づき、一つまたは複数のオブジェクトはオーディオ信号および関連するメタデータからなる。メタデータは、中でも、その意図される位置を時間の関数として示す。そのようなオブジェクト・ベースのオーディオ・コンテンツについても、非特許文献２で概説されるように、マトリクス・エンコーダが使用されることができる。そのようなシステムでは、オーディオ信号は、オブジェクト位置メタデータに依存するダウンミックス係数を用いて、ステレオ信号表現にダウンミックスされる。
【０００８】
マトリクス・エンコードされたコンテンツのアップミックスおよび再生は、必ずしもラウドスピーカーでの再生に限定されない。優勢成分信号および（意図される）位置からなる、ステアリングされるまたは優勢な成分の表現は、頭部インパルス応答（HRIR:  head-related  impulse  response）との畳み込みによってヘッドフォンでの再生を許容する（非特許文献３）。この方法を実装するシステムの単純な方式が図１に示されている（１）。マトリクス・エンコードされたフォーマットの入力信号２はまず解析３されて、優勢成分方向および大きさを決定する。優勢成分信号は、優勢成分方向に基づいてルックアップ６から導出された一対のHRIRによって畳み込み４、５され、ヘッドフォン再生７のための出力信号を計算する。再生信号は、優勢成分解析段３によって決定された方向からくるように知覚される。この方式は、広帯域信号にも、個々のサブバンドにも適用でき、さまざまな仕方で、残差（または拡散）信号の専用の処理で補強されることができる。
【０００９】
マトリクス・エンコーダの使用は、AVレシーバーへの配信およびAVレシーバーでの再生に非常に好適であるが、低い伝送データ・レートおよび低い電力消費を要求するモバイル・アプリケーションのためには問題となることがある。
【００１０】
使われるコンテンツがチャネル・ベースであるかオブジェクト・ベースであるかに関わりなく、マトリクス・エンコーダおよびデコーダは、マトリクス・エンコーダからデコーダに配送される信号の、かなり正確なチャネル間位相関係に依拠する。換言すれば、配送フォーマットはほぼ波形保存であるべきである。そのような波形保存への依存は、ビットレートが制約された条件においては問題となることがある。そのような条件では、オーディオ・コーデックは、よりよいオーディオ品質を得るために、波形符号化ツールではなくパラメトリック方法を用いる。波形保存ではないことが一般に知られているそのようなパラメトリック・ツールの例は、しばしばスペクトル帯域複製、パラメトリック・ステレオ、空間オーディオ符号化などと称され、MPEG-4オーディオ・コーデックにおいて実装されている（非特許文献４）。
【００１１】
前節で概説したように、アップミキサーは、信号の解析およびステアリング（またはHRIR畳み込み）からなる。AVレシーバーのような電源のある装置については、これは一般に問題を起こさないが、携帯電話およびタブレットのようなバッテリー動作の装置については、これらのプロセスに関わる計算量および対応するメモリ要求は、バッテリー寿命への負の影響のため、しばしば望ましくない。
【００１２】
上述した解析は典型的には、追加的なオーディオ・レイテンシーをも導入する。そのようなオーディオ・レイテンシーが望ましくない理由は、（１）ビデオ・ディスプレイがオーディオ‐ビデオの音声同期を維持することを要求し、かなりの量のメモリおよび処理パワーを必要とすることと、（２）頭部追跡の場合に頭の動きとオーディオ・レンダリングの間の非同期／レイテンシーを引き起こしうることである。
【００１３】
マトリクス・エンコードされたダウンミックスは、強い逆相信号成分が存在する可能性のため、ステレオ・ラウドスピーカーまたはヘッドフォン上で最適に聞こえないことがある。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】Gundry,  K.、“A  New  Matrix  Decoder  for  Surround  Sound,”  AES  19th  International  Conf.,  Schloss  Elmau,  Germany,  2001
【非特許文献２】Vinton,  M.,  McGrath,  D.,  Robinson,  C.,  Brown,  P.、“Next  generation  surround  decoding  and  up-mixing  for  consumer  and  professional  applications”,  AES  57th  International  Conf,  Hollywood,  CA,  USA,  2015
【非特許文献３】Wightman,  F.  L.,  and  Kistler,  D.  J.  (1989)、“Headphone  simulation  of  free-field  listening.  I.  Stimulus  synthesis,”  J.  Acoust.  Soc.  Am.  85,  858-867
【非特許文献４】ISO/IEC  14496-3:2009  -  Information  technology  --  Coding  of  audio-visual  objects  --  Part  3:  Audio,  2009
【非特許文献５】Mania,  Katerina,  et  al.、"Perceptual  sensitivity  to  head  tracking  latency  in  virtual  environments  with  varying  degrees  of  scene  complexity."  Proceedings  of  the  1st  Symposium  on  Applied  perception  in  graphics  and  visualization.  ACM,  2004
【非特許文献６】Allison,  R.  S.,  Harris,  L.  R.,  Jenkin,  M.,  Jasiobedzka,  U.,  &  Zacher,  J.  E.  (2001,  March).  Tolerance  of  temporal  delay  in  virtual  environments.  In  Virtual  Reality,  2001.  Proceedings.  IEEE  (pp.  247-254).  IEEE
【非特許文献７】Van  de  Par,  Steven,  and  Armin  Kohlrausch.  "Sensitivity  to  auditory-visual  asynchrony  and  to  jitter  in  auditory-visual  timing."  Electronic  Imaging.  International  Society  for  Optics  and  Photonics,  2000
【発明の概要】
【発明が解決しようとする課題】
【００１５】
改善された形のパラメトリック・バイノーラル出力を提供することが本発明の目的である。
【課題を解決するための手段】
【００１６】
本発明の第一の側面によれば、再生のためにチャネルまたはオブジェクト・ベースの入力オーディオをエンコードする方法が提供される。本方法は：（ａ）前記チャネルまたはオブジェクト・ベースの入力オーディオを初期の出力呈示（たとえば初期の出力表現）に初期にレンダリングし；（ｂ）前記チャネルまたはオブジェクト・ベースの入力オーディオから優勢オーディオ成分の推定値を決定し、前記初期の出力呈示を前記優勢オーディオ成分にマッピングするための一連の優勢オーディオ成分重み付け因子を決定し；（ｃ）前記優勢オーディオ成分の方向または位置の推定値を決定し；（ｄ）前記初期の出力呈示、前記優勢オーディオ成分重み付け因子、前記優勢オーディオ成分の方向または位置を、再生のためのエンコードされた信号としてエンコードすることを含む。前記初期の出力呈示を前記優勢オーディオ成分にマッピングするための前記一連の優勢オーディオ成分重み付け因子を提供することにより、前記優勢オーディオ成分重み付け因子および前記初期の出力呈示を利用して、前記優勢成分の前記推定値を決定することができる。
【００１７】
いくつかの実施形態では、本方法はさらに、前記初期の出力呈示より前記優勢オーディオ成分もしくはその前記推定値のいずれかのレンダリングだけ小さいものである残差混合の推定値を決定することを含む。本方法は、前記チャネルまたはオブジェクト・ベースの入力オーディオの無残響のバイノーラル混合を生成し、残差混合の推定値を決定することをも含むことができ、ここで、前記残差混合の推定値は、前記無残響のバイノーラル混合より、前記優勢オーディオ成分もしくはその前記推定値のいずれかのレンダリングだけ小さいものである。さらに、本方法は、前記初期の出力呈示を前記残差混合の推定値にマッピングするための一連の残差行列係数を決定することをも含むことができる。
【００１８】
前記初期の出力呈示は、ヘッドフォンまたはラウドスピーカー呈示を含むことができる。前記チャネルまたはオブジェクト・ベースの入力オーディオは、時間および周波数でタイリングされることができ、エンコード段階は、一連の時間ステップおよび一連の周波数帯域について繰り返されることができる。前記初期の出力呈示は、ステレオ・スピーカー混合を含むことができる。
【００１９】
本発明のさらなる側面によれば、エンコードされたオーディオ信号をデコードする方法が提供される。前記エンコードされたオーディオ信号は：第一の（たとえば初期の）出力呈示（たとえば、第一の／初期の出力表現）と；優勢オーディオ成分の方向および優勢オーディオ成分重み付け因子とを含み、本方法は：（ａ）前記優勢オーディオ成分重み付け因子および初期の出力呈示を利用して、推定された優勢成分を決定し；（ｂ）前記優勢オーディオ成分の方向に従って、前記推定された優勢成分を、バイノーラル化により、意図される聴取者に対するある空間位置にレンダリングして、レンダリングされたバイノーラル化推定優勢成分を形成し；（ｃ）前記第一の（たとえば初期の）出力呈示から残差成分推定値を再構成し；（ｄ）前記レンダリングされたバイノーラル化推定優勢成分および前記残差成分推定値を組み合わせて、出力空間化オーディオ・エンコード信号を形成する段階を含む。
【００２０】
前記エンコードされたオーディオ信号はさらに、残差オーディオ信号を表わす一連の残差行列係数を含むことができ、段階（ｃ）はさらに、（ｃ１）前記残差行列係数を前記第一の（たとえば初期の）出力呈示に適用して、前記残差成分推定値を再構成することを含む。
【００２１】
いくつかの実施形態では、前記残差成分推定値は、前記第一の（たとえば初期の）出力呈示から、前記レンダリングされたバイノーラル化推定優勢成分を引くことによって再構成されることができる。段階（ｂ）は、意図される聴取者の頭の配向を示す入力頭部追跡信号に基づく、前記推定された優勢成分の初期回転を含むことができる。
【００２２】
本発明のさらなる側面によれば、オーディオ・ストリームのデコードおよびヘッドフォンを使う聴取者のための再生のための方法が提供される。本方法は：（ａ）第一のオーディオ表現および追加的なオーディオ変換データを含むデータ・ストリームを受領する段階と；（ｂ）前記聴取者の配向を表わす頭部配向データを受領する段階と；（ｃ）前記第一のオーディオ表現および受領された変換データに基づいて一つまたは複数の補助信号を生成する段階と；（ｄ）前記第一のオーディオ表現および前記補助信号の組み合わせからなる第二のオーディオ表現を生成する段階であって、前記補助信号のうち一つまたは複数は、前記頭部配向データに応答して修正されている、段階と；（ｅ）前記第二のオーディオ表現を出力オーディオ・ストリームとして出力する段階とを含む。
【００２３】
いくつかの実施形態はさらに、前記補助信号の前記修正は、音源位置から前記聴取者の耳までの音響経路のシミュレーションからなる。前記変換データは：行列処理係数と、音源位置または音源方向の少なくとも一方とからなることができる。変換プロセスは、時間または周波数の関数として適用されることができる。前記補助信号は、少なくとも一つの優勢成分を表わすことができる。前記音源位置または方向は、前記変換データの一部として受領されることができ、前記頭部配向データに応答して回転されることができる。いくつかの実施形態では、最大回転量は、方位角または仰角において360度未満の値に制限される。前記二次表現は、前記第一の表現から、変換もしくはフィルタバンク領域において行列処理することによって得られる。前記変換データはさらに、追加的な行列処理係数を含むことができ、段階（ｄ）はさらに、前記第一のオーディオ呈示および前記補助オーディオ信号を組み合わせるのに先立って、前記追加的な行列処理係数に応答して前記第一のオーディオ呈示を修正することを含むことができる。
【図面の簡単な説明】
【００２４】
本発明の実施形態について、これから単に例として、付属の図面を参照して記述する。
【図１】マトリクス・エンコードされたコンテンツのためのヘッドフォン・デコーダを概略的に示す図である。
【図２】ある実施形態に基づくエンコーダを概略的に示す図である。
【図３】デコーダの概略的なブロック図である。
【図４】エンコーダの詳細な視覚化である。
【図５】デコーダの一つの形をより詳細に示す図である。
【発明を実施するための形態】
【００２５】
実施形態は、オブジェクト・ベースまたはチャネル・ベースのオーディオ・コンテンツを表現するシステムおよび方法であって、（１）ステレオ再生と互換であり、（２）頭部追跡を含むバイノーラル再生を許容し、（３）デコーダ計算量が低く、（４）マトリクス・エンコードに頼らないが、それでいてマトリクス・エンコードと互換なものを提供する。
【００２６】
これは、一つまたは複数の優勢成分（または優勢オブジェクトまたはそれらの組み合わせ）のエンコーダ側での解析を組み合わせ、ダウンミックスからこれらの優勢成分を予測する重みを、追加的なパラメータと組み合わせて含めることによって達成される。追加的なパラメータは、ステアリングされたまたは優勢な成分だけに基づくバイノーラル・レンダリングと、完全なコンテンツの所望されるバイノーラル呈示との間の誤差を最小にするものである。
【００２７】
ある実施形態では、優勢成分（または複数の優勢成分）の解析が、デコーダ／レンダラーではなく、エンコーダにおいて提供される。次いで、オーディオ・ストリームは、優勢成分の方向を示すメタデータと、優勢成分（単数または複数）がどのようにして、関連するダウンミックス信号から得られることができるかについての情報とを用いて補強される。
【００２８】
図２は、好ましい実施形態のエンコーダ２０の一つの形を示している。オブジェクトまたはチャネル・ベースのコンテンツ２１は、優勢成分（単数または複数）を決定するために解析２３にかけられる。この解析は、時間および周波数の関数として行なわれてもよい（オーディオ・コンテンツは時間タイルおよび周波数サブタイルに分割されているとする）。このプロセスの結果は、優勢成分信号２６（または複数の優勢成分信号）および関連する位置（単数または複数）または方向（単数または複数）の情報２５である。その後、伝送されるダウンミックスからの優勢成分信号の再構成を許容するために、重みが推定２４され、出力２７される。このダウンミックス生成器２２は必ずしもLtRtダウンミックス規則に従う必要はなく、負でない実数値のダウンミックス係数を使う標準的なITU（LoRo）ダウンミックスであることができる。最後に、出力ダウンミックス信号２９、重み２７および位置データ２５は、オーディオ・エンコーダ２８によってパッケージされて、頒布のために準備される。
【００２９】
ここで図３に目を転じると、好ましい実施形態の対応するデコーダ３０が示されている。オーディオ・デコーダはダウンミックス信号を再構成する。信号は入力３１され、オーディオ・デコーダ３２によってダウンミックス信号、重みおよび優勢成分の方向にアンパックされる。その後、優勢成分推定重みが、ステアリングされる成分（単数または複数）を再構成３４するために使われ、ステアリングされる成分は、伝送された位置または方向データを使ってレンダリング３６される。位置データは任意的に、頭部回転または並進情報３８に依存して修正３３されてもよい。さらに、再構成された優勢成分は、ダウンミックスから減算３５されてもよい。任意的に、ダウンミックス・パス内に優勢成分の減算があるが、代替的に、この減算は、後述するように、エンコーダにおいて行なわれてもよい。
【００３０】
減算器３５における再構成された優勢成分の除去または打ち消しを改善するために、優勢成分出力は、減算に先立ってまず、伝送された位置または方向データを使ってレンダリングされてもよい。図３ではこの任意的なレンダリング段３９が示されている。
【００３１】
ここで戻ってまずエンコーダをより詳細に述べることにすると、図４は、オブジェクト・ベースの（たとえばドルビー・アトモス）オーディオ・コンテンツを処理するためのエンコーダ４０の一つの形を示している。オーディオ・オブジェクトはもともとアトモス・オブジェクト４１として記憶されており、初期に、ハイブリッド複素数値直交ミラー・フィルタ（HCQMF:  hybrid  complex-valued  quadrature  mirror  filter）バンク４２を使って時間および周波数タイルに分割される。対応する時間および周波数インデックスを省略するときは、入力オブジェクト信号はxi[n]によって表わすことができる。現在フレーム内での対応する位置は単位ベクトル
【００３２】
【数１】
2020110007.tif 000003
〔便宜上、→piとも記す〕によって与えられ、インデックスiはオブジェクト番号を表わし、インデックスnは時間を表わす（たとえばサブバンド・サンプル・インデックス）。入力オブジェクト信号xi[n]はチャネルまたはオブジェクト・ベースの入力オーディオについての例である。
【００３３】
無残響のサブバンド・バイノーラル混合Y(yl,yr)が、位置→piに対応するHRIRのサブバンド表現を表わす複素数値のスカラーHl,i、Hr,i（たとえば、一タップのHRTF  ４８）を使って生成４３される：
【００３４】
【数２】
2020110007.tif 000004
あるいはまた、バイノーラル混合Y(yl,yr)は、頭部インパルス応答（HRIR）を使った畳み込みによって生成されてもよい。さらに、ステレオ・ダウンミックスzl、zr（例示的に、初期の出力呈示を具現する）が、振幅パン利得係数gl,i,、gr,iを使って生成４４される：
【００３５】
【数３】
2020110007.tif 000005
優勢成分の方向ベクトル→pD（例示的に、優勢オーディオ成分方向または位置を具現する）は、各オブジェクトについての単位方向ベクトルの重み付けされた和を初期に計算することによって、優勢成分４５を計算することによって、推定されることができる：
【００３６】
【数４】
2020110007.tif 000006
ここで、σi2は信号xi[n]のエネルギー：
【００３７】
【数５】
2020110007.tif 000007
であり、(.)*は複素共役演算子である。
【００３８】
優勢／ステアリングされる信号d[n]（例示的に、優勢オーディオ成分を具現する）はその後、次式によって与えられる：
【００３９】
【数６】
2020110007.tif 000008
ここで、F(→p1,→p2)は、単位ベクトル→p1、→p2の間の増大する距離とともに減少する利得を生じる関数である。たとえば、高次球面調和関数に基づく指向性パターンをもつ仮想マイクロフォンを生成するために、一つの実装は：
【００４０】
【数７】
2020110007.tif 000009
に対応する。ここで、→piは、二次元または三次元座標系における単位方向ベクトルを表わし、(・)は二つのベクトルについてのドット積演算子であり、a、b、cは例示的パラメータである’（たとえばa＝b＝0.5；c＝1）。
【００４１】
重みまたは予測係数wl,d、wr,dが計算４６され、推定されるステアリングされる信号＾d[n]：
【００４２】
【数８】
2020110007.tif 000010
を計算４７するために使われる。ここで、重みwl,d、wr,dは、ダウンミックス信号zl、zrが与えられたときに、d[n]と＾d[n]の間の平均方法誤差を最小化するものである。重みwl,d、wr,dは、初期の出力呈示（たとえばzl、zr）を優勢オーディオ成分（たとえば＾d[n]）にマッピングするための優勢オーディオ成分重み付け因子の例である。これらの重みを導出するための既知の方法は、最小平均平方誤差（MMSE:  minimum  mean-square  error）予測器を適用することによる：
【００４３】
【数９】
2020110007.tif 000011
ここで、Rabは、信号aおよび信号bについての信号間の共分散行列であり、εは正則化パラメータである。
【００４４】
その後、優勢成分信号＾dの方向／位置→pDに関連付けられたHRTF（HRIR）Hl,D、Hr,D  ５０を使って、無残響のバイノーラル混合yl、yrから優勢成分信号のレンダリングされた推定値＾d[n]を減算４９して、残差バイノーラル混合~yl、~yr：
【００４５】
【数１０】
2020110007.tif 000012
を生成することができる。
【００４６】
最後に、最小平均平方誤差推定値を使って、ステレオ混合zl、zrから残差バイノーラル混合~yl、~yrの再構成を許容する、予測係数または重みwi,jのもう一つの集合が推定５１される：
【００４７】
【数１１】
2020110007.tif 000013
ここで、Rabは表現aおよび表現bについての信号間の共分散行列であり、εは正則化パラメータである。予測係数または重みwi,jは、初期の出力呈示（たとえばzl、zr）を残差バイノーラル混合の推定値~yl、~yrにマッピングするための残差行列係数の例である。上記の式は、何らかの予測損失を克服するために、追加的なレベル制約条件をかけられてもよい。エンコーダは、以下の情報を出力する：
ステレオ混合zl、zr（例示的に、初期の出力呈示を具現する）；
優勢成分wl,d、wr,dを推定するための係数（例示的に、優勢オーディオ成分重み付け因子を具現する）；
優勢成分の位置または方向→pD；
そして任意的に、残差重みwi,j（例示的に、残差行列係数を具現する）。
【００４８】
上記の記述は単一の優勢成分に基づくレンダリングに関するものだが、いくつかの実施形態では、エンコーダは、複数の優勢成分を検出し、複数の優勢成分のそれぞれについて重みおよび方向を決定し、複数の優勢成分のそれぞれを無残響バイノーラル混合Yから減算し、次いで複数の優勢成分のそれぞれが無残響バイノーラル混合Yから減算された後に残差重みを決定するよう適応されてもよい。
【００４９】
〈デコーダ／レンダラー〉
図５は、デコーダ／レンダラー６０の一つの形をより詳細に示している。デコーダ／レンダラー６０は、アンパックされた入力情報zl、zr；wl,d、wr,d；→pD；wi,jから、聴取者７１に対して出力するためのバイノーラル混合yl,yrを再構成することをねらいとするプロセスを適用する。よって、ステレオ混合zl、zrは第一のオーディオ表現の例であり、予測係数または重みwi,jおよび／または優勢成分信号＾dの方向／位置→pDは、追加的なオーディオ変換データの例である。
【００５０】
初期に、ステレオ・ダウンミックスは、HCQMF分解バンク６１のような好適なフィルタバンクまたは変換６１を使って時間／周波数タイルに分割される。離散フーリエ変換、（修正）コサインまたはサイン変換、時間領域フィルタバンクまたはウェーブレット変換のような他の変換も等しく適用されうる。その後、推定された優勢成分信号＾d[n]が、予測係数重みwl,d、wr,dを使って計算６３される：
【００５１】
【数１２】
2020110007.tif 000014
推定された優勢成分信号＾d[n]は、補助信号の例である。よって、この段階は、前記第一のオーディオ表現および受領された変換データに基づいて一つまたは複数の補助信号を生成することに対応する。
【００５２】
この優勢成分信号は、その後、HRTF  ６９を用いて、レンダリング６５および修正６８される。HRTF  ６９は、伝送された位置／方向データ→pDに基づき、可能性としては頭部追跡器から得られた情報６２に基づいて修正（回転）されている。最後に、全無残響バイノーラル出力は、レンダリングされた優勢成分信号を、予測係数重みwi,jに基づく再構成された残差~yl、~yrと加算６６したものからなる：
【００５３】
【数１３】
2020110007.tif 000015
全無残響バイノーラル出力は、第二のオーディオ表現の例である。よって、この段階は、前記第一のオーディオ表現および前記補助信号の組み合わせからなる第二のオーディオ表現を生成することに対応すると言ってもよい。ここで、前記補助信号の一つまたは複数は、前記頭部配向データに応答して修正されている。
【００５４】
二つ以上の優勢信号についての情報が受領される場合には、各優勢信号がレンダリングされて、再構成された残差信号に加えられてもよいことを注意しておくべきである。
【００５５】
頭部回転や並進が適用されない限り、出力信号＾yl、＾yrは、
【００５６】
【数１４】
2020110007.tif 000016
である限りにおいて、参照バイノーラル信号yl、yrに非常に近い（二乗平均平方根誤差の意味で）はずである。
【００５７】
〈主要な特性〉
上記の式の定式化から観察できるように、ステレオ呈示から無残響バイノーラル呈示を構築するための実効的な動作は、2×2行列７０からなり、行列係数は伝送された情報wl,d、wr,d；→pD；wi,jおよび頭部追跡器の回転および／または並進に依存する。これは、プロセスの複雑さが比較的低いことを示す。優勢成分の分解がデコーダではなくエンコーダにおいて適用されるからである。
【００５８】
優勢成分が推定されない場合（たとえばwl,d、wr,d＝0）、記載される解決策は、パラメトリック・バイノーラル方法と等価である。
【００５９】
ある種のオブジェクトを頭部回転／頭部追跡から除外したい場合には、これらのオブジェクトは、（１）優勢成分方向解析および（２）優勢成分信号予測から除外されることができる。結果として、これらのオブジェクトは、係数wi,jを通じて、ステレオからバイノーラルに変換され、よっていかなる頭部回転または並進によっても影響されない。
【００６０】
同様の考え方により、オブジェクトは「素通し」モードに設定されることができる。つまり、バイノーラル呈示において、それらのオブジェクトはHRIR畳み込みではなく振幅パンにかけられる。これは、一タップHRTFではなく、単に係数H.,iについての振幅パン利得を使って得られる。
【００６１】
〈拡張〉
実施形態は、ステレオ・ダウンミックスの使用に限定されない。他のチャネル数を用いることもできる。
【００６２】
図５を参照して述べたデコーダ６０は、レンダリングされた優勢成分方向に、行列係数wi,jによって行列処理された入力信号を加えたものからなる出力信号をもつ。該係数は、たとえば下記のようなさまざまな仕方で導出できる。
【００６３】
１．係数wi,jは、信号~yl、~yrのパラメトリック再構成によってエンコーダにおいて決定されることができる。換言すれば、この実装では、係数wi,jは、もとの入力オブジェクト／チャネルをバイノーラルにレンダリングするときに得られたであろうバイノーラル信号yl、yrを忠実に再構成することをねらいとする。換言すれば、係数wi,jはコンテンツ駆動である。
【００６４】
２．係数wi,jは、たとえば方位角±45度における固定した空間位置についてのHRTFを表わすために、エンコーダからデコーダに送られることができる。換言すれば、残差信号は、ある位置における二つの仮想ラウドスピーカーを通じた再生をシミュレートするために処理される。HRTFを表わすこれらの係数がエンコーダからデコーダに伝送されるので、仮想スピーカーの位置は時間および周波数を通じて変化できる。この手法が、残差信号を表わすための静的な仮想スピーカーを使って用いられる場合には、係数wi,jはエンコーダからデコーダに伝送される必要はなく、その代わり、デコーダに固定的に組み込まれていてもよい。この手法の変形は、デコーダにおいて利用可能な、それぞれ対応する係数wi,jをもつ静的な位置の限定された集合からなる。どの静的な位置が残差信号を処理するために使われるかの選択は、エンコーダからデコーダに信号伝達される。
【００６５】
信号~yl、~yrは、デコーダにおけるこれらの信号の統計的解析によって二つより多い信号を再構成するいわゆるアップミキサーにかけられて、続いて、結果として得られるアップミックスされた信号のバイノーラル・レンダリングがされてもよい。
【００６６】
記載される方法は、伝送される信号Zがバイノーラル信号であるシステムにおいても適用できる。その特定の場合、図５のデコーダ６０はそのままであり、一方、図４における「ステレオ（LoRo）混合を生成」とラベル付けされたブロックは、信号対Yを生成するブロックと同じである「無残響バイノーラル混合を生成」４３によって置き換えられるべきである。さらに、必要に応じて、混合の他の形が生成されることができる。
【００６７】
この手法は、オブジェクトまたはチャネルの特定のサブセットからなる伝送されたステレオ混合から、一つまたは複数のFDN入力信号を再構成する方法に拡張されることができる。
【００６８】
本手法は、デコーダ側において、複数の優勢成分が、伝送されたステレオ混合から予測され、レンダリングされることで拡張されることができる。各時間／周波数タイルについて一つの優勢成分だけを予測するという根本的な制限はない。特に、優勢成分の数は、各時間／周波数タイルについて異なっていてもよい。
【００６９】
〈解釈〉
本明細書を通じて「一つの実施形態」「いくつかの実施形態」または「ある実施形態」への言及は、その実施形態との関連で記載されている特定の特徴、構造または特性が本発明の少なくとも一つの実施形態に含まれることを意味する。よって、「一つの実施形態において」「いくつかの実施形態において」または「ある実施形態において」という句が本明細書を通じた随所に現われることは、必ずしもみなが同じ実施形態を指しているのではないが、指していてもよい。さらに、特定の特徴、構造または特性は、いかなる好適な仕方で組み合わされてもよい。このことは、一つまたは複数の実施形態において、本開示から当業者には明白であろう。
【００７０】
本稿での用法では、特に断わりのない限り、共通のオブジェクトを記述する順序形容語「第一」「第二」「第三」などの使用は、単に同様のオブジェクトの異なるインスタンスが言及されていることを示すものであって、そのように記述されるオブジェクトが時間的、空間的、ランキングにおいてまたは他のいかなる仕方においても、所与の序列でなければならないことを含意することは意図されていない。
【００７１】
付属の請求項および本稿の記述において、有する、から構成されるまたは含むという用語の任意のものは、少なくともその後続の要素／特徴を含むが他のものを排除しないことを意味するオープンな用語である。よって、請求項において使われるときの有するの用語は、その後に挙げられる手段または要素または段階に制限するものとして解釈されるべきではない。たとえば、AおよびBを有する装置という表現の範囲は、要素AおよびBのみからなる装置に限定されるべきではない。本稿で使われる含む、含んでいるという用語の任意のものも、少なくともその用語に続く要素／特徴を含むが他のものを排除しないことを意味する。よって、含むは、有すると同義であり、有するを意味する。
【００７２】
本稿での用法では、用語「例示的」は、性質を示すのではなく、例を挙げる意味で使われる。すなわち、「例示的実施形態」は、必ず例示的な性質の実施形態であるのではなく、例として与えられている実施形態である。
【００７３】
本発明の例示的実施形態の上記の記述において、開示の流れをよくし、さまざまな発明側面の一つまたは複数のものの理解を助けるため、本発明のさまざまな特徴が時に単一の実施形態、図面またはその記述にまとめられていることを注意しておくべきである。しかしながら、この開示法は、請求される発明が、各請求項に明示的に記載されているよりも多くの事項を必要とするという意図を反映したものと解釈されるものではない。むしろ、付属の請求項が反映するように、発明の諸側面は、単一の上記の開示される実施形態の全事項よりも少ないものに存する。このように、付属の請求項は、ここに明示的に詳細な説明に組み込まれ、各請求項がそれ自身として本発明の別個の実施形態をなす。
【００７４】
さらに、本稿に記載されるいくつかの実施形態が他の実施形態に含まれるいくつかの特徴を含むが他の特徴を含まなくても、異なる実施形態の特徴の組み合わせは本発明の範囲内であり、異なる実施形態をなすことが意図されている。当業者はこれを理解するであろう。たとえば、付属の請求項では、請求される実施形態の任意のものが任意の組み合わせにおいて使用できる。
【００７５】
さらに、実施形態のいくつかは、本稿では方法または方法の要素の組み合わせであって、コンピュータ・システムのプロセッサによってまたは該機能を実行する他の手段によって実装されることができるものとして記述されている。よって、そのような方法または方法の要素を実行するための必要な命令をもつプロセッサは、前記方法または方法の要素を実行する手段をなす。さらに、装置実施形態の本稿に記載される要素は、本発明を実行するための該要素によって実行される機能を実行する手段の一例である。
【００７６】
本稿で与えられる記述では、数多くの個別的詳細が記載される。しかしながら、本発明の実施形態がそうした個別的詳細なしでも実施できることは理解される。他方、本記述の理解をかすませないために、よく知られた方法、構造および技法は詳細に示していない。
【００７７】
同様に、請求項において使われるときの用語、結合されたは、直接接続のみに限定されるものと解釈されるべきではない。用語「結合された」および「接続された」ならびにその派生形が使われることがある。これらの用語は互いの同義語として意図されていないことを理解しておくべきである。よって、装置Bに結合された装置Aという表現の範囲は、装置Aの出力が装置Bの入力に直接接続される装置またはシステムに限定されるべきではない。それは、Aの出力とBの入力との間の経路が存在することを意味し、該経路は他の装置または手段を含む経路であってもよい。「結合された」は二つ以上の要素が直接物理的または電気的に接していること、あるいは二つ以上の要素が互いに直接接触してはいないが、それでも互いと協働または相互作用することを意味しうる。
【００７８】
このように、本発明の実施形態を記述してきたが、当業者は本発明の精神から外れることなく、それに他のおよびさらなる修正がなされてもよいことを認識するであろう。それらすべての変更および修正を本発明の範囲内にはいるものとして請求することが意図されている。たとえば、上記の公式はいずれも単に使用されうる手順の代表である。ブロック図から機能が追加または削除されてもよく、機能ブロックの間で動作が交換されてもよい。本発明の範囲内で記述される方法に段階が追加または削除されてもよい。
【００７９】
以下の付番実施例（EEE:  enumerated  example  embodiment）から、本発明のさまざまな側面が理解されうる。
〔EEE１〕
再生のためにチャネル・ベースまたはオブジェクト・ベースの入力オーディオをエンコードする方法であって：
（ａ）前記チャネル・ベースまたはオブジェクト・ベースの入力オーディオを初期の出力呈示に初期にレンダリングし；
（ｂ）前記チャネル・ベースまたはオブジェクト・ベースの入力オーディオから優勢オーディオ成分の推定値を決定し、前記初期の出力呈示を前記優勢オーディオ成分にマッピングするための一連の優勢オーディオ成分重み付け因子を決定し；
（ｃ）前記優勢オーディオ成分の方向または位置の推定値を決定し；
（ｄ）前記初期の出力呈示、前記優勢オーディオ成分重み付け因子、前記優勢オーディオ成分の方向または位置を、再生のためのエンコードされた信号としてエンコードすることを含む、
方法。
〔EEE２〕
前記初期の出力呈示より前記優勢オーディオ成分もしくはその前記推定値のいずれかのレンダリングだけ小さいものである残差混合の推定値を決定することをさらに含む、EEE１記載の方法。
〔EEE３〕
前記チャネル・ベースまたはオブジェクト・ベースの入力オーディオの無残響のバイノーラル混合を生成し、残差混合の推定値を決定することを含み、ここで、前記残差混合の推定値は、前記無残響のバイノーラル混合より、前記優勢オーディオ成分もしくはその前記推定値のいずれかのレンダリングだけ小さいものである、EEE１記載の方法。
〔EEE４〕
前記初期の出力呈示を前記残差混合の推定値にマッピングするための一連の残差行列係数を決定することをさらに含む、EEE２または３記載の方法。
〔EEE５〕
前記初期の出力呈示は、ヘッドフォンまたはラウドスピーカー呈示を含む、EEE１ないし４のうちいずれか一項記載の方法。
〔EEE６〕
前記チャネル・ベースまたはオブジェクト・ベースの入力オーディオは、時間および周波数タイリングされ、前記エンコードする段階は、一連の時間ステップおよび一連の周波数帯域について繰り返される、EEE１ないし５のうちいずれか一項記載の方法。
〔EEE７〕
前記初期の出力呈示は、ステレオ・スピーカー混合を含む、EEE１ないし６のうちいずれか一項記載の方法。
〔EEE８〕
エンコードされたオーディオ信号をデコードする方法であって、前記エンコードされたオーディオ信号は：
・初期の出力呈示と；
・優勢オーディオ成分の方向および優勢オーディオ成分重み付け因子とを含み、
当該方法は：
（ａ）前記優勢オーディオ成分重み付け因子および初期の出力呈示を利用して、推定された優勢成分を決定し；
（ｂ）前記優勢オーディオ成分の方向に従って、前記推定された優勢成分を、バイノーラル化により、意図される聴取者に対するある空間位置にレンダリングして、レンダリングされたバイノーラル化推定優勢成分を形成し；
（ｃ）前記第一の出力呈示から残差成分推定値を再構成し；
（ｄ）前記レンダリングされたバイノーラル化推定優勢成分および前記残差成分推定値を組み合わせて、出力空間化オーディオ・エンコード信号を形成する段階を含む、
方法。
〔EEE９〕
前記エンコードされたオーディオ信号はさらに、残差オーディオ信号を表わす一連の残差行列係数を含み、前記段階（ｃ）はさらに：
（ｃ１）前記残差行列係数を前記第一の出力呈示に適用して、前記残差成分推定値を再構成することを含む、
EEE８記載の方法。
〔EEE１０〕
前記残差成分推定値は、前記第一の出力呈示から、前記レンダリングされたバイノーラル化推定優勢成分を引くことによって再構成される、EEE８記載の方法。
〔EEE１１〕
前記段階（ｂ）が、意図される聴取者の頭の配向を示す入力頭部追跡信号に基づく、前記推定された優勢成分の初期回転を含む、EEE８記載の方法。
〔EEE１２〕
ヘッドフォンを使う聴取者のためのオーディオ・ストリームのデコードおよび再生のための方法であって、当該方法は：
（ａ）第一のオーディオ表現および追加的なオーディオ変換データを含むデータ・ストリームを受領する段階と；
（ｂ）前記聴取者の配向を表わす頭部配向データを受領する段階と；
（ｃ）前記第一のオーディオ表現および受領された変換データに基づいて一つまたは複数の補助信号を生成する段階と；
（ｄ）前記第一のオーディオ表現および前記補助信号の組み合わせからなる第二のオーディオ表現を生成する段階であって、前記補助信号のうち一つまたは複数は、前記頭部配向データに応答して修正されている、段階と；
（ｅ）前記第二のオーディオ表現を出力オーディオ・ストリームとして出力する段階とを含む、
方法。
〔EEE１３〕
前記補助信号の前記修正は、音源位置から前記聴取者の耳までの音響経路のシミュレーションからなる、EEE１２記載の方法。
〔EEE１４〕
前記変換データは：行列処理係数と、音源位置または音源方向の少なくとも一方とからなる、EEE１２または１３記載の方法。
〔EEE１５〕
変換プロセスは、時間または周波数の関数として適用される、EEE１２ないし１４のうちいずれか一項記載の方法。
〔EEE１６〕
前記補助信号は、少なくとも一つの優勢成分を表わす、EEE１２ないし１５のうちいずれか一項記載の方法。
〔EEE１７〕
前記変換データの一部として受領される前記音源位置または方向は、前記頭部配向データに応答して回転される、EEE１２ないし１６のうちいずれか一項記載の方法。
〔EEE１８〕
最大回転量は、方位角または仰角において360度未満の値に制限される、EEE１７記載の方法。
〔EEE１９〕
前記二次表現は、前記第一の表現から、変換もしくはフィルタバンク領域において行列処理することによって得られる、EEE１２ないし１８のうちいずれか一項記載の方法。
〔EEE２０〕
前記変換データはさらに、追加的な行列処理係数を含み、段階（ｄ）はさらに、前記第一のオーディオ呈示および前記補助オーディオ信号を組み合わせるのに先立って、前記追加的な行列処理係数に応答して前記第一のオーディオ呈示を修正することを含む、EEE１２ないし１９のうちいずれか一項記載の方法。
〔EEE２１〕
EEE１ないし２０のうちいずれか一項記載の方法を実行するよう構成された、一つまたは複数のデバイスを有する装置。
〔EEE２２〕
一つまたは複数のプロセッサによって実行されたときにEEE１ないし２０のうちいずれか一項記載の方法を一つまたは複数のデバイスに実行させる、命令のプログラムを有するコンピュータ可読記憶媒体。
【図１】
2020110007.tif 000017
【図２】
2020110007.tif 000018
【図３】
2020110007.tif 000019
【図４】
2020110007.tif 000020
【図５】
2020110007.tif 000021
【外国語明細書】
2020110007000001.pdf