(57)【要約】【課題】１以上のダウンミックスチャネルを有するダウンミックス信号から１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成するデコーダを提供する。【解決手段】ダウンミックス信号には、１以上のオーディオオブジェクト信号が符号化される。デコーダは、１以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーおよび／もしくはノイズエネルギーに応じて、ならびに／または前記１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーおよび／もしくはノイズエネルギーに応じて、閾値を決定する閾値決定器（１１０）を備える。さらに、デコーダは、閾値に応じて１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成する処理部（１２０）を備える。【選択図】図１
2015528926.tif 000002
【特許請求の範囲】
【請求項１】
２以上のダウンミックスチャネルを有し２以上のオーディオオブジェクト信号が符号化されたダウンミックス信号から、１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成するデコーダにおいて、
前記１以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、または前記１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、閾値を決定する閾値決定器（１１０）と、
前記閾値に応じて前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成する処理部（１２０）と、
を備えたデコーダ。
【請求項２】
請求項１に記載のデコーダにおいて、前記閾値決定器（１１０）は、前記２以上のダウンミックスチャネルの各々のノイズエネルギーに応じて閾値を決定するように構成された、デコーダ。
【請求項３】
請求項２に記載のデコーダにおいて、前記閾値決定器（１１０）は、前記２以上のダウンミックスチャネルにおける全ノイズエネルギーの合計に応じて閾値を決定するように構成された、デコーダ。
【請求項４】
請求項１から３のいずれか１項に記載のデコーダにおいて、前記閾値決定器（１１０）は、前記２以上のオーディオオブジェクト信号のうちの最大の信号エネルギーを有する前記オーディオオブジェクト信号の信号エネルギーに応じて閾値を決定するように構成された、デコーダ。
【請求項５】
請求項１から４のいずれか１項に記載のデコーダにおいて、前記閾値決定器（１１０）は、前記２以上のダウンミックスチャネルにおける全ノイズエネルギーの合計に応じて閾値を決定するように構成された、デコーダ。
【請求項６】
請求項１から５のいずれか１項に記載のデコーダにおいて、
前記ダウンミックス信号には、複数の時間−周波数タイルのうち各時間−周波数タイルについて前記１以上のオーディオオブジェクト信号が符号化され、
前記閾値決定器（１１０）は、前記１以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、または前記１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、前記複数の時間−周波数タイルのうち各時間−周波数タイルについて閾値を決定するように構成され、前記複数の時間−周波数タイルのうち第１の時間−周波数タイルの第１の閾値が複数の時間−周波数タイルのうち第２の時間−周波数タイルとは異なり、
前記処理部（１２０）は、前記複数の時間−周波数タイルのうち各時間−周波数タイルについて、その時間−周波数タイルの閾値に応じて、前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルの各々のチャネル値を生成するように構成された、デコーダ。
【請求項７】
請求項１から６のいずれか１項に記載のデコーダにおいて、
デシベル表記の閾値Ｔ［ｄＢ］を、数式
Ｔ［ｄＢ］＝Ｅｎｏｉｓｅ［ｄＢ］−Ｅｒｅｆ［ｄＢ］−Ｚ
により、または数式
Ｔ［ｄＢ］＝Ｅｎｏｉｓｅ［ｄＢ］−Ｅｒｅｆ［ｄＢ］
により決定するように構成され、ここで、Ｔ［ｄＢ］は、閾値をデシベルで示し、Ｅｎｏｉｓｅ［ｄＢ］は、前記２以上のダウンミックスチャネルの全ノイズエネルギーの合計、または前記２以上のダウンミックスチャネルの全ノイズエネルギーの合計を前記２以上のダウンミックスチャネルの数で除算した値、をデシベルで示し、Ｅｒｅｆ［ｄＢ］は、オーディオオブジェクト信号のうちの１つの信号エネルギーをデシベルで示し、Ｚは、追加パラメータを示し、この追加パラメータは数値である、デコーダ。
【請求項８】
請求項１から６のいずれか１項に記載のデコーダにおいて、
閾値Ｔを、数式
Ｔ＝Ｅｎｏｉｓｅ／（Ｅｒｅｆ・Ｚ）
により、または数式
Ｔ＝Ｅｎｏｉｓｅ／Ｅｒｅｆ
により決定するように構成され、ここで、Ｔは、閾値を示し、Ｅｎｏｉｓｅは、前記２以上のダウンミックスチャネルの全ノイズエネルギーの合計を示し、またはＥｎｏｉｓｅ［ｄＢ］は、前記２以上のダウンミックスチャネルの全ノイズエネルギーの合計を前記２以上のダウンミックスチャネルの数で除算した値をデシベルで示し、Ｅｒｅｆ［ｄＢ］は、オーディオオブジェクト信号のうちの１つの信号エネルギーを示し、Ｚは、追加パラメータを示し、この追加パラメータは数値である、デコーダ。
【請求項９】
請求項１から８のいずれか１項に記載の装置において、前記処理部（１２０）は、前記１以上のオーディオオブジェクト信号のオブジェクト共分散行列（Ｅ）に応じて、前記２以上のダウンミックスチャネルを得るために前記２以上のオーディオオブジェクト信号をダウンミックスするダウンミックス行列（Ｄ）に応じて、さらに前記閾値に応じて、前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成するように構成された、装置。
【請求項１０】
請求項９に記載の装置において、
前記処理部（１２０）は、ダウンミックスチャネル相互相関行列Ｑを転置する関数に前記閾値を適用することによって、前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成するように構成され、
Ｑが、Ｑ＝ＤＥＤ＊として定義され、
Ｄは、前記２以上のダウンミックスチャネルを得るために前記２以上のオーディオオブジェクト信号をダウンミックスするダウンミックス行列であり、
Ｅは、前記１以上のオーディオオブジェクト信号のオブジェクト共分散行列である、
装置。
【請求項１１】
請求項１０に記載の装置において、前記位処理部（１２０）は、前記ダウンミックスチャネル相互相関行列Ｑの固有値を計算することによって、または前記ダウンミックスチャネル相互相関行列Ｑの単一の値を計算することによって、前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成するように構成された、装置。
【請求項１２】
請求項１０または１１に記載の装置において、前記処理部（１２０）は、前記ダウンミックスチャネル相互相関行列Ｑの固有値のうちの最大の固有値に前記閾値を乗じて相対閾値を得ることによって前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成するように構成された、装置。
【請求項１３】
請求項１２に記載の装置において、
前記処理部（１２０）は、修正行列を生成することによって前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成するように構成され、
前記処理部（１２０）は、前記ダウンミックスチャネル相互相関行列Ｑの固有値であって、前記ダウンミックスチャネル相互相関行列Ｑの前記固有値のうちの前記修正閾値以上の１つの固有値、を有する固有ベクトルのみに応じて、前記修正行列を生成するように構成され、
前記処理部（１２０）は、転置行列を得るために前記修正行列の行列転置を実行するように構成され、
前記処理部（１２０）は、前記１以上のオーディオ出力チャネルを生成するために前記転置行列を１以上のダウンミックスチャネルに適用するように構成された、
装置。
【請求項１４】
２以上のダウンミックスチャネルを有し２以上のオーディオオブジェクト信号が符号化されたダウンミックス信号から、１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成する方法において、デコーダが、
前記１以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、または前記１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、閾値を決定し、
前記閾値に応じて前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成する
方法。
【請求項１５】
コンピュータまたは信号プロセッサで実行されるときに請求項１４に記載の方法を実施するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャネルをダウンミックス／アップミックスする場合のため一般化された空間オーディオオブジェクト符号化パラメトリック概念のための装置および方法に関する。
【背景技術】
【０００２】
現在のデジタルオーディオシステムでは、送信コンテンツについて、受信機側でオーディオオブジェクト関連の変更を行うことを許容することが主流となっている。これらの変更には、オーディオ信号の選択部位についてのゲイン変更、および／または空間的に分散したスピーカを通じてマルチチャネル再生を行う場合の専用オーディオオブジェクトの空間的再配置が含まれる。これは、それぞれのスピーカに対して、オーディオコンテンツの各部位を個別に伝達することによって達成される。
【０００３】
つまり、オーディオ処理、オーディオ送信およびオーディオ蓄積の分野においては、オブジェクト指向のオーディオコンテンツ再生について、ユーザの相互反応を許容したいという要望が高まっているとともに、聴覚的印象を改善するために、オーディオコンテンツまたはその一部について、個別にマルチチャネル再生を行うという拡張的可能性を利用したいというニーズがある。これによって、マルチチャネル・オーディオコンテンツの利用は、ユーザに対して、大きな改善をもたらす。例えば、三次元の聴覚的印象を得ることができ、これによって、エンタテインメント利用した場合には、さらなるユーザ満足がもたらされる。しかしながら、マルチチャネル・オーディオコンテンツは、商業環境においてもまた有用であり、例えば、電話会議に利用した場合、マルチチャネル・オーディオ再生を利用することによって、話者を容易に認識することができる。その他の潜在的用途としては、楽曲の聴き手に対して、再生レベルを個別に調整すること、および／またはヴォーカルパートや異なる楽器等の異なるパーツ（以下「オーディオオブジェクト」ともいう。）またはトラックの空間的位置を個別に調整することが考えられる。ユーザは、個人的嗜好のために、楽曲の１以上の部位の簡単な複写、教育、カラオケやリハーサル等の目的のために、そのような調整を行うことができる。
【０００４】
全てのデジタルマルチチャネルまたはマルチオブジェクト・オーディオコンテンツを、そのまま、例えば、パルス符号変調（ＰＣＭ）データ形式や、さらには圧縮オーディオ形式などで、個別に送信すると、非常に高いビットレートを要する。しかしながら、ビットレート効率よく、オーディオデータを送信し蓄積することが望ましい。したがって、マルチチャネル／マルチオブジェクト・アプリケーションにより生じる過度なリソース負担を回避するため、オーディオ品質とビットレート要件との間で、合理的なバランスを図ることが望ましい。
【０００５】
近年、オーディオ符号化の分野においては、ビットレート効率のよいマルチチャネル／マルチオブジェクトオーディオ信号の送信／記憶に関するパラメータ技術が、例えばムービング・ピクチャー・エクスパーツ・グループ（ＭＰＥＧ）やその他によって導入されている。一例としては、チャネル志向のアプローチとして、ＭＰＥＧサラウンド（ＭＰＳ）（非特許文献１、非特許文献２）が、オブジェクト指向のアプローチとして、ＭＰＥＧ空間音響オブジェクト符号化（ＳＡＯＣ）（非特許文献３、非特許文献６、非特許文献４、非特許文献５）が挙げられる。他のオブジェクト志向アプローチは、「インフォームド情報源分離」と称される（非特許文献７、非特許文献８、非特許文献９、非特許文献１０、非特許文献１１、非特許文献１２）。これらの技術は、対象となる出力オーディオシーン、または対象となるオーディオソースオブジェクトを、チャネル／オブジェクトのダウンミックス、および送信または蓄積されたオーディオシーンおよび／または当該オーディオシーンにおけるオーディオソースオブジェクトを記載する追加的サイド情報に基づき、再構成することを目的とする。
【０００６】
そのようなシステムでのチャネル／オブジェクト関連副情報の推定および適用は、時間−周波数選択的態様で行われる。したがって、そのようなシステムは、離散フーリエ変換（ＤＦＴ）、短時間フーリエ変換（ＳＴＦＴ）またはフィルタバンク的な直交ミラーフィルタ（ＱＭＦ）バンクなどの時間−周波数変換を使用する。このシステムの基本的原理を、ＭＰＥＧ  ＳＡＯＣの例を用いて図２に示す。
【０００７】
ＳＴＦＴの場合には、時間の次元が時間ブロック数によって表され、スペクトルの次元がスペクトル係数（「ビン」）によって捕捉される。ＱＭＦの場合には、時間の次元がタイムスロット数によって表され、スペクトルの次元がサブバンド数によって捕捉される。ＱＭＦのスペクトル解像度が後続の第２のフィルタ段の適用によって向上された場合、フィルタバンク全体はハイブリッドＱＭＦと称され、高解像度のサブバンドはハイブリッドサブバンドと称される。
【０００８】
上述のように、ＳＡＯＣでは、一般的な処理が、時間−周波数選択的態様で実行され、図２に示すように、各周波数帯域内で以下のように説明される：
−  Ｎ個の入力オーディオ信号ｓ１・・・ｓＮを、エンコーダ処理の一部として、要素ｄ１，１・・・ｄＮ，Ｐからなるダウンミックス行列を用いてＰ個のチャネルｘ１・・・ｘＰへとミックスダウンする。さらに、エンコーダは、入力オーディオオブジェクトの特性を記述する副情報を抽出する（副情報推定器（ＳＩＥ）モジュール）。ＭＰＥＧ  ＳＡＯＣにとって、オブジェクトのパワーの相互の関係が、そのような副情報の最も基本的なものである。
−  ダウンミックス信号および副情報を送信／蓄積する。この目的のため、例えば、ＭＰＥＧ−１／２  Ｌａｙｅｒ２または３（ｍｐ３）、ＭＰＥＧ−２／４  Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ（ＡＡＣ）など周知の知覚オーディオコーダを用いて、ダウンミックスオーディオ信号を圧縮することができる。
−  受信端において、デコーダは、概念的には、送信された副情報を用いて（復号された）ダウンミックス信号から元のオブジェクト信号を復元しようとする（「オブジェクト分離」）。そして、これらの近似オブジェクト信号
【数１】
2015528926.tif 000003
は、図２における係数ｒ１，１・・・ｒＮ，Ｍによって記述されたレンダリング行列を用いて、Ｍ個のオーディオチャネル
【数２】
2015528926.tif 000004
によって表される目標シーンにミキシングされる。所望の目標シーンは、極端な場合では、ミキシングの中の１つだけの音源信号のレンダリングであってもよいし（音源分離シナリオ）、送信されるオブジェクトからなる他の任意の音響シーンであってもよい。例えば、出力は、単一チャネル、２チャネルステレオまたは５．１マルチチャネルの目標シーンとすることができる。
【０００９】
オーディオ符号化の分野における利用可能な帯域／蓄積容量の増加および進行中の改善によって、ユーザは、徐々に増加している選択肢からマルチチャネル・オーディオ製品を選択することができる。マルチチャネル５．１オーディオフォーマットは、既にＤＶＤおよびブルーレイ製品において標準となっている。より多くのオーディオ移送チャネルを持つＭＰＥＧ−Ｈ  ３Ｄ  Ａｕｄｉｏのような新たなオーディオフォーマットが出現し、これは高度な没入型のオーディオ体験をエンドユーザに提供することになる。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】ＩＳＯ／ＩＥＣ  ２３００３−１：２００７，ＭＰＥＧ−Ｄ（ＭＰＥＧ  ａｕｄｉｏ  ｔｅｃｈｎｏｌｏｇｉｅｓ），Ｐａｒｔ  １：ＭＰＥＧ  Ｓｕｒｒｏｕｎｄ，２００７
【非特許文献２】Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ−Ｐａｒｔ  ＩＩ：Ｓｃｈｅｍｅｓ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ，”ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．，ｖｏｌ．１１，ｎｏ．６，Ｎｏｖ．２００３
【非特許文献３】Ｃ．Ｆａｌｌｅｒ，“Ｐａｒａｍｅｔｒｉｃ  Ｊｏｉｎｔ−Ｃｏｄｉｎｇ  ｏｆ  Ａｕｄｉｏ  Ｓｏｕｒｃｅｓ”，１２０ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，Ｐａｒｉｓ，２００６
【非特許文献４】Ｊ．Ｈｅｒｒｅ，Ｓ．Ｄｉｓｃｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ｏ．Ｈｅｌｌｍｕｔｈ：“Ｆｒｏｍ  ＳＡＣ  Ｔｏ  ＳＡＯＣ−Ｒｅｃｅｎｔ  Ｄｅｖｅｌｏｐｍｅｎｔｓ  ｉｎ  Ｐａｒａｍｅｔｒｉｃ  Ｃｏｄｉｎｇ  ｏｆ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ”，２２ｎｄ  Ｒｅｇｉｏｎａｌ  ＵＫ  ＡＥＳ  Ｃｏｎｆｅｒｅｎｃｅ，Ｃａｍｂｒｉｄｇｅ，ＵＫ，Ａｐｒｉｌ  ２００７
【非特許文献５】Ｊ．Ｅｎｇｄｅｇａｅｒｄ，Ｂ．Ｒｅｓｃｈ，Ｃ．Ｆａｌｃｈ，Ｏ．Ｈｅｌｌｍｕｔｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ａ．Ｈｏｅｌｚｅｒ，Ｌ．Ｔｅｒｅｎｔｉｅｖ，Ｊ．Ｂｒｅｅｂａａｒｔ，Ｊ．Ｋｏｐｐｅｎｓ，Ｅ．Ｓｃｈｕｉｊｅｒｓ  ａｎｄ  Ｗ．Ｏｏｍｅｎ：“Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ（ＳＡＯＣ）Ｔｈｅ  Ｕｐｃｏｍｉｎｇ  ＭＰＥＧ  Ｓｔａｎｄａｒｄ  ｏｎ  Ｐａｒａｍｅｔｒｉｃ  Ｏｂｊｅｃｔ  Ｂａｓｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ”，１２４ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，Ａｍｓｔｅｒｄａｍ  ２００８
【非特許文献６】ＩＳＯ／ＩＥＣ，“ＭＰＥＧ  ａｕｄｉｏ  ｔｅｃｈｎｏｌｏｇｉｅｓＰａｒｔ  ２：Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ（ＳＡＯＣ）”，ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ２３００３２
【非特許文献７】Ｍ．Ｐａｒｖａｉｘ  ａｎｄ  Ｌ．Ｇｉｒｉｎ：“Ｉｎｆｏｒｍｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ  ｏｆ  ｕｎｄｅｒｄｅｔｅｒｍｉｎｅｄ  ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｓｔｅｒｅｏ  Ｍｉｘｔｕｒｅｓ  ｕｓｉｎｇ  Ｓｏｕｒｃｅ  Ｉｎｄｅｘ  Ｅｍｂｅｄｄｉｎｇ”，ＩＥＥＥ  ＩＣＡＳＳＰ，２０１０
【非特許文献８】Ｍ．Ｐａｒｖａｉｘ，Ｌ．Ｇｉｒｉｎ，Ｊ．Ｍ．Ｂｒｏｓｓｉｅｒ：“Ａ  ｗａｔｅｒｍａｒｋｉｎｇｂａｓｅｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｏｆ  ａｕｄｉｏ  ｓｉｇｎａｌｓ  ｗｉｔｈ  ａ  ｓｉｎｇｌｅ  ｓｅｎｓｏｒ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｕｄｉｏ，Ｓｐｅｅｃｈ  ａｎｄ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，２０１０
【非特許文献９】Ａ．Ｌｉｕｔｋｕｓ  ａｎｄ  Ｊ．Ｐｉｎｅｌ  ａｎｄ  Ｒ．Ｂａｄｅａｕ  ａｎｄ  Ｌ．Ｇｉｒｉｎ  ａｎｄ  Ｇ．Ｒｉｃｈａｒｄ：“Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｔｈｒｏｕｇｈ  ｓｐｅｃｔｒｏｇｒａｍ  ｃｏｄｉｎｇ  ａｎｄ  ｄａｔａ  ｅｍｂｅｄｄｉｎｇ”，Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｊｏｕｒｎａｌ，２０１１
【非特許文献１０】Ａ．Ｏｚｅｒｏｖ，Ａ．Ｌｉｕｔｋｕｓ，Ｒ．Ｂａｄｅａｕ，Ｇ．Ｒｉｃｈａｒｄ：“Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ：ｓｏｕｒｃｅ  ｃｏｄｉｎｇ  ｍｅｅｔｓ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ”，ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ｔｏ  Ａｕｄｉｏ  ａｎｄ  Ａｃｏｕｓｔｉｃｓ，２０１１
【非特許文献１１】Ｓｈｕｈｕａ  Ｚｈａｎｇ  ａｎｄ  Ｌａｕｒｅｎｔ  Ｇｉｒｉｎ：“Ａｎ  Ｉｎｆｏｒｍｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｓｐｅｅｃｈ  Ｓｉｇｎａｌｓ”，ＩＮＴＥＲＳＰＥＥＣＨ，２０１１
【非特許文献１２】Ｌ．Ｇｉｒｉｎ  ａｎｄ  Ｊ．Ｐｉｎｅｌ：“Ｉｎｆｏｒｍｅｄ  Ａｕｄｉｏ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ  ｆｒｏｍ  Ｃｏｍｐｒｅｓｓｅｄ  Ｌｉｎｅａｒ  Ｓｔｅｒｅｏ  Ｍｉｘｔｕｒｅｓ”，ＡＥＳ  ４２ｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ：Ｓｅｍａｎｔｉｃ  Ａｕｄｉｏ，２０１１
【発明の概要】
【発明が解決しようとする課題】
【００１１】
パラメトリックなオーディオオブジェクト符号化手法は、現在、最大２個のダウンミックスチャネルに制限されている。この手法は、マルチチャネルのミキシング、例えば、２個だけのダウンミックスチャネルに対して、ある程度しか適用され得ない。したがって、この符号化手法によって、オーディオシーンをユーザ自身の好みに調整できるようにユーザに与えられる柔軟性は非常に制限され、例えば、スポーツ放送においてスポーツ解説者と周辺とのオーディオレベルを変化させることなどに限定される。
【００１２】
さらに、現在のオーディオオブジェクト符号化手法は、エンコーダ側でのミキシング処理において、制限された多様性しか与えない。ミキシング処理は、オーディオオブジェクトの時間変数ミキシングに制限され、周波数変数ミキシングは可能でない。
【００１３】
したがって、オーディオオブジェクト符号化について、改善された概念が提供されることが非常に望ましい。
【課題を解決するための手段】
【００１４】
本発明の課題は、オーディオオブジェクト符号化に関する改善された概念を提供することである。本発明の課題は、請求項１に記載のデコーダ、請求項１４に記載の方法、および請求項１５のコンピュータプログラムによって解決される。
【００１５】
１以上のダウンミックスチャネルを有するダウンミックス信号から、１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成するデコーダが提供される。ダウンミックス信号は、１以上のオーディオオブジェクト信号が符号化されている。デコーダは、１以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーおよび／もしくはノイズエネルギーに応じて、ならびに／または１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーおよび／もしくはノイズエネルギーに応じて、閾値を決定する閾値決定器を備える。さらに、デコーダは、閾値に応じて１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成する処理部を備える。
【００１６】
一実施形態によると、ダウンミックス信号は２以上のダウンミックスチャネルを有し、閾値決定器は、２以上のダウンミックスチャネルの各々のノイズエネルギーに応じて閾値を決定するように構成される。
【００１７】
一実施形態によると、閾値決定器は、２以上のダウンミックスチャネルにおける全ノイズエネルギーの合計に応じて閾値を決定するように構成される。
【００１８】
一実施形態によると、ダウンミックス信号には２以上のオーディオオブジェクト信号が符号化され、閾値決定器は、２以上のオーディオオブジェクト信号のうちの最大の信号エネルギーを有するオーディオオブジェクト信号の信号エネルギーに応じて閾値を決定するように構成される。
【００１９】
一実施形態では、ダウンミックス信号は２以上のダウンミックスチャネルを有し、閾値決定器は、２以上のダウンミックスチャネルにおける全ノイズエネルギーの合計に応じて閾値を決定するように構成される。
【００２０】
一実施形態によると、ダウンミックス信号には、複数の時間−周波数タイルのうち各時間−周波数タイルについて１以上のオーディオオブジェクト信号が符号化される。閾値決定器は、１以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、または１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、複数の時間−周波数タイルのうち各時間−周波数タイルについて閾値を決定するように構成され、複数の時間−周波数タイルのうち第１の時間−周波数タイルの第１の閾値が、複数の時間−周波数タイルのうち第２の時間−周波数タイルとは異なるようにする。処理部は、複数の時間−周波数タイルのうち各時間−周波数タイルについて、上記の時間−周波数タイルの場合の閾値に応じて１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルの各々のチャネル値を生成するように構成される。
【００２１】
一実施形態において、デコーダは、デシベル表記の閾値Ｔ［ｄＢ］を、数式
Ｔ［ｄＢ］＝Ｅｎｏｉｓｅ［ｄＢ］−Ｅｒｅｆ［ｄＢ］−Ｚ
により、または数式
Ｔ［ｄＢ］＝Ｅｎｏｉｓｅ［ｄＢ］−Ｅｒｅｆ［ｄＢ］
により決定するように構成される。ここで、Ｔ［ｄＢ］は、デシベル表記の閾値を示し、Ｅｎｏｉｓｅ［ｄＢ］は、２以上のダウンミックスチャネルの全ノイズエネルギーの合計をデシベルで示し、Ｅｒｅｆ［ｄＢ］は、オーディオオブジェクト信号のうちの１つの信号エネルギーをデシベルで示し、Ｚは、追加パラメータを示し、この追加パラメータは数値である。代替の実施形態では、Ｅｎｏｉｓｅ［ｄＢ］は、２以上のダウンミックスチャネルの全ノイズエネルギーの合計をダウンミックスチャネル数で除算した値をデシベルで示す。
【００２２】
一実施形態によると、デコーダは、閾値Ｔを、数式
Ｔ＝Ｅｎｏｉｓｅ／（Ｅｒｅｆ・Ｚ）
により、または数式
Ｔ＝Ｅｎｏｉｓｅ／Ｅｒｅｆ
により決定するように構成される。ここで、Ｔは、閾値を示し、Ｅｎｏｉｓｅは、２以上のダウンミックスチャネルの全ノイズエネルギーの合計を示し、Ｅｒｅｆは、オーディオオブジェクト信号のうちの１つの信号エネルギーを示し、Ｚは、追加パラメータを示し、この追加パラメータは数値である。代替の実施形態では、Ｅｎｏｉｓｅは、２以上のダウンミックスチャネルの全ノイズエネルギーの合計をダウンミックスチャネル数で除算した値を示す。
【００２３】
一実施形態によると、処理部は、１以上のオーディオオブジェクト信号のオブジェクト共分散行列（Ｅ）に応じて、２以上のオーディオオブジェクト信号をダウンミックスして２以上のダウンミックスチャネルを得るためのダウンミックス行列（Ｄ）に応じて、さらに閾値に応じて、１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成するように構成される。
【００２４】
一実施形態では、処理部は、ダウンミックスチャネル相互相関行列Ｑを転置する関数に閾値を適用することによって、１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成するように構成され、ここで、ＱはＱ＝ＤＥＤ＊として定義され、Ｄは２以上のオーディオオブジェクト信号をダウンミックスして２以上のダウンミックスチャネルを得るためのダウンミックス行列であり、Ｅは１以上のオーディオオブジェクト信号のオブジェクト共分散行列である。
【００２５】
例えば、処理部は、ダウンミックスチャネル相互相関行列Ｑの固有値を計算することによって、またはダウンミックスチャネル相互相関行列Ｑの単一の値を計算することによって１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成するように構成される。
【００２６】
例えば、処理部は、ダウンミックスチャネル相互相関行列Ｑの最大の固有値に閾値を乗じて相対閾値を得ることによって１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成するように構成される。
【００２７】
例えば、処理部は、修正行列を生成することによって１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成するように構成される。処理部は、ダウンミックスチャネル相互相関行列Ｑの固有ベクトルのみに応じて修正行列を生成するように構成され、それらの固有ベクトルはダウンミックスチャネル相互相関行列Ｑの固有値のうちの１つの固有値を有し、その１つの固有値は修正閾値以上である。さらに、処理部は、修正行列の行列転置を実行して転置行列を得るように構成される。またさらに、処理部は、転置行列を１以上のダウンミックスチャネルに適用して１以上のオーディオ出力チャネルを生成するように構成される。
【００２８】
さらに、１以上のダウンミックスチャネルを有するダウンミックス信号から１以上のオーディオ出力チャネルを備えるオーディオ出力信号を生成する方法が提供される。ダウンミックス信号には、１以上のオーディオオブジェクト信号が符号化される。デコーダは：
−  １以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、または１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて閾値を決定し、
−  閾値に応じて１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成する。
【００２９】
さらに、コンピュータまたは信号プロセッサで実行されるときに上記方法を実施するためのコンピュータプログラムが提供される。
【００３０】
以下に、図面を参照して本発明の実施形態をより詳細に説明する。
【図面の簡単な説明】
【００３１】
【図１】１以上のオーディオ出力チャネルをる有するオーディオ出力信号を生成するための実施形態によるデコーダを示す。
【図２】ＳＡＯＣ方式の概略図であり、ＭＰＥＧ  ＳＡＯＣの例を用いてそのような方式の原理を図示する。
【図３】Ｇ−ＳＡＯＣパラメトリックアップミックスの概念の概略を示す。
【図４】一般的なダウンミックス／アップミックスの概念を示す。
【発明を実施するための形態】
【００３２】
本発明の実施形態を説明する前に、現行技術のＳＡＯＣ方式についての背景をさらに説明する。
【００３３】
図２は、ＳＡＯＣエンコーダ１０およびＳＡＯＣデコーダ１２の一般的構成を示す。ＳＡＯＣエンコーダ１０は、Ｎ個の入力オブジェクト、すなわち、オーディオ信号ｓ１〜ｓＮを受信する。具体的には、エンコーダ１０は、オーディオ信号ｓ１〜ｓＮを受信し、それをダウンミックス信号１８にダウンミックスするダウンミキサ１６を備える。あるいは、ダウンミックスが外部から与えられ（「アーティスティックなダウンミックス」）、システムが、追加の副情報を推定して、与えられたダウンミックスを、計算されたダウンミックスに一致させるようにしてもよい。図２において、ダウンミックス信号は、Ｐチャネル信号として示される。ここでは、モノラル（Ｐ＝１）、ステレオ（Ｐ＝２）またはマルチチャネル（Ｐ＞２）のいずれのダウンミックス信号構成でもよい。
【００３４】
ステレオダウンミックスの場合、ダウンミックス信号１８のチャネルはＬ０およびＲ０と表記され、モノラルダウンミックスの場合、単にＬ０と表記される。ＳＡＯＣデコーダ１２が個々のオブジェクトｓ１〜ｓＮを受信することができるようにするため、副情報推定器１７は、ＳＡＯＣパラメータを含む副情報をＳＡＯＣデコーダ１２に与える。例えば、ステレオダウンミックスの場合、ＳＡＯＣパラメータは、オブジェクトレベルの差（ＯＬＤ）、オブジェクト間相関（ＩＯＣ）（オブジェクト間相互相関パラメータ）、ダウンミックスゲイン値（ＤＭＧ）およびダウンミックスチャネルレベルの差（ＤＣＬＤ）を含む。ＳＡＯＣパラメータを含む副情報２０は、ダウンミックス信号１８とともに、ＳＡＯＣデコーダ１２によって受信されたＳＡＯＣ出力データストリームを形成する。
【００３５】
ＳＡＯＣデコーダ１２はアップミキサを備え、このアップミキサは、副情報２０とともにダウンミックス信号１８を受信して、ＳＡＯＣデコーダ１２に入力されたレンダリング情報２６により規定されているレンダリングで、オーディオ信号
【数３】
2015528926.tif 000005
を、任意のユーザ選択によるチャネルセット
【数４】
2015528926.tif 000006
上に復元およびレンダリングする。
【００３６】
オーディオ信号ｓ１からｓＮは、時間領域またはスペクトル領域のような何らかの符号化領域で、エンコーダ１０に入力される。オーディオ信号ｓ１からｓＮがＰＣＭ符号化されるなどして時間領域でエンコーダ１０に供給される場合、エンコーダ１０は、信号をスペクトル領域、すなわちオーディオ信号が異なるスペクトル部分に関連付けられた複数のサブバンドに特定のフィルタバンク解像度で表される領域、に変換するために、ハイブリッドＱＭＦバンクのようなフィルタバンクを用いることができる。オーディオ信号ｓ１からｓＮが、既にエンコーダ１０によって想定されているような表現となっている場合には、スペクトル分解を行う必要はない。
【００３７】
ミキシング処理における一層の柔軟性によって、信号オブジェクト特性の最適な利用が可能となる。感受品質に関するデコーダ側でのパラメトリック分離について、最適化されたダウンミックスを生成することができる。
【００３８】
実施形態は、ＳＡＯＣ手法のパラメトリック部分を、任意数のダウンミックス／アップミックスチャネルに拡張する。以降の図は、一般化空間オーディオオブジェクト符号化（Ｇ−ＳＡＯＣ）パラメトリックアップミックスの概念の概略を示す。
【００３９】
図３は、Ｇ−ＳＡＯＣパラメトリックアップミックスの概念の概略を示す。パラメトリックに再構築されたオーディオオブジェクトの完全に柔軟なポストミックス（レンダリング）が実現される。
【００４０】
具体的には、図３は、オーディオデコーダ３１０、オブジェクトセパレータ３２０、およびレンダラー３３０を示す。
【００４１】
以下の表記を共通して使用することにする：
ｘ  −入力オーディオオブジェクト信号（サイズＮｏｂｊ）
ｙ  −ダウンミックスオーディオ信号（サイズＮｄｍｘ）
ｚ  −レンダリングされた出力シーン信号（サイズＮｕｐｍｉｘ）
Ｄ  −ダウンミックス行列（サイズＮｏｂｊ×Ｎｄｍｘ）
Ｒ  −レンダリング行列（サイズＮｏｂｊ×Ｎｕｐｍｉｘ）
Ｇ  −パラメトリックアップミックス行列（サイズＮｄｍｘ×Ｎｕｐｍｉｘ）
Ｅ  −オブジェクト共分散行列（サイズＮｏｂｊ×Ｎｏｂｊ）
【００４２】
導入される全ての行列は（一般に）時間および周波数の変数である。
【００４３】
以下に、パラメトリックアップミックスについての構成的な関係を説明する。
【００４４】
まず、一般的なダウンミックス／アップミックスの概念を図４を参照して説明する。具体的には、図４は、一般的なダウンミックス／アップミックスの概念を示し、モデル化された方式（左）およびパラメトリックアップミックス方式（右）を示す。
【００４５】
より具体的には、図４は、レンダリング部４１０、ダウンミックス部４２１、およびパラメトリックアップミックス部４２２を示す。
【００４６】
理想（モデル化）レンダリングされた出力シーン信号ｚが、図（左）に示されるように、
Ｒｘ＝ｚ    …（１）
として規定される。
【００４７】
ダウンミックスオーディオ信号ｙが、図４（右）に示されるように、
Ｄｘ＝ｙ    …（２）
として決定される。
【００４８】
パラメトリック出力シーン信号の再構築のための（ダウンミックスオーディオ信号に適用される）構成的関係を、図４（右）に示されるように、
Ｇｙ＝ｚ    …（３）
として表すことができる。
【００４９】
パラメトリックアップミックス行列は、数式（１）および（２）から、ダウンミックス行列およびレンダリング行列の以下の関数Ｇ＝Ｇ（Ｄ，Ｒ）として規定される：
Ｇ＝ＲＥＤ＊（ＤＥＤ＊）−１    …（４）
【００５０】
以降において、実施形態によるパラメトリック音源推定の安定性の改善を検討する。
【００５１】
ＭＰＥＧ  ＳＡＯＣ内のパラメトリック分離手法は、ミキシングにおける音源の最小二乗法（ＬＭＳ）推定に基づく。ＬＭＳ推定は、パラメトリック的に記述されたダウンミックスチャネル共分散行列Ｑ＝ＤＥＤ＊の転置を伴う。行列転置のためのアルゴリズムは、一般に、悪条件行列の影響を受けやすい。そのような行列の転置は、レンダリングされた出力シーンの意味において、アーチファクトといわれる不自然な音をもたらす可能性がある。ＭＰＥＧ  ＳＡＯＣにおいて、ヒューリスティックに決定された固定の閾値Ｔが、現在のところ、これを回避する。この方法によってアーチファクトが回避されるが、これによって、デコーダ側における十分可能な分離性能が達成されなくなる。
【００５２】
図１は、実施形態による、１以上のダウンミックスチャネルを有するダウンミックス信号から１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成するデコーダを示す。ダウンミックス信号には、１以上のオーディオオブジェクト信号が符号化される。
【００５３】
デコーダは、１以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーおよび／またはノイズエネルギーに応じて、もしくは１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーおよび／またはノイズエネルギーに応じて閾値を決定する閾値決定器１１０を備える。
【００５４】
さらに、デコーダは、閾値に応じて、１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成するための処理部１２０を備える。
【００５５】
現行技術とは対照的に、閾値決定器１１０によって決定された閾値は、１以上のダウンミックスチャネルまたは符号化された１以上のオーディオオブジェクト信号の信号エネルギーやノイズエネルギーに依存する。実施形態では、１以上のダウンミックスチャネルおよび／または１以上のオーディオオブジェクト信号値の信号エネルギーおよびノイズエネルギーが変動すると、閾値も、例えば、時間インスタンスから時間インスタンスへ、または時間−周波数タイルから時間−周波数タイルへと変動する。
【００５６】
実施形態において、デコーダ側におけるオーディオオブジェクトの改善されたパラメトリック分離を実現する行列転置のための適応的閾値の方法が提供される。分離性能は、平均として良好であり、Ｑ行列を転置するためのアルゴリズムにおいてＭＰＥＧ  ＳＡＯＣで現在使用される固定閾値手法より悪くはならない。
【００５７】
閾値Ｔは、各々処理された時間−周波数タイルに対するデータの精度に対して動的に適応される。したがって、分離性能は改善され、不良条件行列の転置によってもたらされるレンダリングされた出力シーンにおけるアーチファクトが回避される。
【００５８】
一実施形態によると、ダウンミックス信号は２以上のダウンミックスチャネルを有し、閾値決定器１１０は、２以上のダウンミックスチャネルの各々のノイズエネルギーに応じて、閾値を決定するように構成される。
【００５９】
一実施形態では、閾値決定器１１０は、２以上のダウンミックスチャネルにおける全ノイズエネルギーの合計に応じて、閾値を決定するように構成される。
【００６０】
一実施形態によると、ダウンミックス信号には２以上のオーディオオブジェクト信号が符号化され、閾値決定器１１０は、２以上のオーディオオブジェクト信号のうちの最大の信号エネルギーを有するオーディオオブジェクト信号の信号エネルギーに応じて、閾値を決定するように構成される。
【００６１】
一実施形態によると、ダウンミックス信号は、２以上のダウンミックスチャネルを有し、閾値決定器１１０は、２以上のダウンミックスチャネルにおける全ノイズエネルギーの合計に応じて、閾値を決定するように構成される。
【００６２】
一実施形態によると、ダウンミックス信号には、複数の時間−周波数タイルのうちの各時間−周波数タイルについて１以上のオーディオオブジェクト信号が符号化されている。閾値決定器１１０は、１以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、または１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、複数の時間−周波数タイルのうちの各時間−周波数タイルについて、閾値を決定するように構成され、複数の時間−周波数タイルのうちの第１の時間−周波数タイルの第１の閾値が、複数の時間−周波数タイルのうちの第２の時間−周波数タイルとは異なる。処理部１２０は、複数の時間−周波数タイルのうちの各時間−周波数タイルについて、上記の時間−周波数タイルの場合の閾値に応じて１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルの各々のチャネル値を生成するように構成される。
【００６３】
実施形態において、デコーダは、閾値Ｔを、数式
Ｔ＝Ｅｎｏｉｓｅ／（Ｅｒｅｆ・Ｚ）
により、または数式
Ｔ＝Ｅｎｏｉｓｅ／Ｅｒｅｆ
により決定するように構成される。ここで、Ｔは、閾値を示し、Ｅｎｏｉｓｅは、２以上のダウンミックスチャネルの全ノイズエネルギーの合計を示し、Ｅｒｅｆは、オーディオオブジェクト信号のうちの１つの信号エネルギーを示し、Ｚは、追加パラメータを示し、この追加パラメータは数値である。代替の実施形態では、Ｅｎｏｉｓｅは、２以上のダウンミックスチャネルの全ノイズエネルギーの合計をダウンミックスチャネル数で除算した値を示す。
【００６４】
一実施形態において、デコーダは、デシベル表記の閾値Ｔ［ｄＢ］を、数式
Ｔ［ｄＢ］＝Ｅｎｏｉｓｅ［ｄＢ］−Ｅｒｅｆ［ｄＢ］−Ｚ
により、または数式
Ｔ［ｄＢ］＝Ｅｎｏｉｓｅ［ｄＢ］−Ｅｒｅｆ［ｄＢ］
により決定するように構成される。ここで、ここで、Ｔ［ｄＢ］は、デシベル表記の閾値を示し、Ｅｎｏｉｓｅ［ｄＢ］は、２以上のダウンミックスチャネルの全ノイズエネルギーの合計をデシベルで示し、Ｅｒｅｆ［ｄＢ］は、オーディオオブジェクト信号のうちの１つの信号エネルギーをデシベルで示し、Ｚは、追加パラメータを示し、この追加パラメータは数値である。代替の実施形態では、Ｅｎｏｉｓｅ［ｄＢ］は、２以上のダウンミックスチャネルの全ノイズエネルギーの合計をダウンミックスチャネル数で除算した値をデシベルで示す。
【００６５】
具体的に、閾値は、各時間−周波数タイルについて、
Ｔ［ｄＢ］＝Ｅｎｏｉｓｅ［ｄＢ］−Ｅｒｅｆ［ｄＢ］−Ｚ    …（５）
によって概算できる。
【００６６】
Ｅｎｏｉｓｅは、ノイズフロアレベルを示し、例えば、ダウンミックスチャネルにおける全ノイズエネルギーの合計である。ノイズフロアレベルは、オーディオデータの解像度によって定義され、例えば、チャネルのＰＣＭ符号化によってもたらされる。ダウンミックスが圧縮される場合には、符号化ノイズとして別の可能性を考慮することになる。そのような場合、符号化アルゴリズムによってもたらされたノイズフロアが加算される。代替の実施形態では、Ｅｎｏｉｓｅ［ｄＢ］は、２以上のダウンミックスチャネルにおける全ノイズエネルギーの合計をダウンミックスチャネル数によって除算した値をデシベルで示す。
【００６７】
Ｅｒｅｆ  は、基準信号エネルギーを示す。最も簡単な形態では、これは、最も強いオーディオオブジェクトのエネルギーとなる。
Ｅｒｅｆ＝ｍａｘ（Ｅ）    …（６）
【００６８】
Ｚは、分離解像度に影響する追加パラメータを示し、例えば、ダウンミックスチャネル数と音源オブジェクト数の差に対処するためのペナルティファクタである。分離性能は、オーディオオブジェクト数の増加とともに減少する。さらに、分離におけるパラメトリック副情報の量子化の影響も含まれる。
【００６９】
一実施形態では、処理部１２０は、１以上のオーディオオブジェクト信号のオブジェクト共分散行列Ｅに応じて、２以上のダウンミックスチャネルを得るために２以上のオーディオオブジェクト信号をダウンミックスするダウンミックス行列Ｄに応じて、さらに閾値に応じて、１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成するように構成されている。
【００７０】
一実施形態によると、閾値に応じて１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成するために、処理部１２０が、以下のように処理を進めるように構成される：
（「分離解像度閾値」といわれる）閾値が、デコーダ側で、パラメトリックに推定されたダウンミックスチャネル相互相関行列Ｑを転置する関数に適用される。
Ｑの単一値またはＱの固有値が計算される。
最大の固有値が採られ、閾値Ｔに乗算される。
最大の固有値以外の全てがこの相対閾値と比較され、それらが小さい場合には省かれる。
そして、行列転置が修正行列上で実行される。ここで、修正行列を、例えば少ないベクトルの組によって規定された行列としてもよい。なお、最も高い固有値以外の全てが省かれる場合には最も高い固有値が、その固有値が低ければノイズフロアレベルに設定されるべきである。
【００７１】
例えば、処理部１２０は、修正行列を生成することによって１以上のダウンミックスチャネルから１以上のオーディオ出力チャネルを生成するように構成される。修正行列は、ダウンミックスチャネル相互相関行列Ｑのそれらの固有値のみに応じて生成され、それらの固有ベクトルは、ダウンミックスチャネル相互相関行列Ｑの固有値のうちの１つの固有値を有し、その１つの固有値は修正閾値以上である。処理部１２０は、修正行列の行列転置を実行して、転置行列を得るように構成される。そして、処理部１２０は、転置行列をダウンミックスチャネルの１以上に適用して、１以上のオーディオ出力チャネルを生成するように構成される。例えば、転置行列は、行列積の転置行列ＤＥＤ＊がダウンミックスチャネルに適用されるような態様の１つにおいて、ダウンミックスチャネルの１以上に適用される（例えば、非特許文献６参照、具体的には、章「ＳＡＯＣ  Ｐｒｏｃｅｓｓｉｎｇ」参照、より具体的には、節「Ｔｒａｎｓｃｏｄｉｎｇ  ｍｏｄｅｓ」および節「Ｄｅｃｏｄｉｎｇ  ｍｏｄｅｓ」参照）。
【００７２】
閾値Ｔを推定するために使用され得るパラメータは、エンコーダで決定してパラメトリック副情報に埋め込んでもよいし、デコーダ側で直接推定してもよい。
【００７３】
簡素化した閾値推定器をエンコーダ側で用いて、デコーダ側での音源推定における潜在的な不安定さを示すこともできる。その最も簡単な形態では、全てのノイズ項を無視し、デコーダ側における音源信号をパラメトリック的に推定するための利用可能なダウンミックスチャネルの全の可能性については利用できないことを示すダウンミックスチャネルのノルムが計算される。そのようなインジケータをミキシング処理中に用いて、音源信号の推定に重大な影響を及ぼす行列が混合するのを回避することができる。
【００７４】
オブジェクト共分散行列のパラメータ化に関して、構成的な関係式（４）に基づく上記パラメトリックアップミックス方法が、オブジェクト共分散行列Ｅの非対角構成要素の符号に対して不変であると解される。これによって、オブジェクト間の相関を表す値の（ＳＡＯＣとの比較において）より効率的なパラメータ化（量子化および符号化）ができる可能性がもたらされる。
【００７５】
ダウンミックス行列を表す情報の変換に関して、一般に、共分散行列Ｅと共にオーディオ入力およびダウンミックス信号ｘ、ｙは、エンコーダ側で決定される。ダウンミックスオーディオ信号ｙの符号化された表示および共分散行列Ｅを記述する情報が、デコーダ側に（ビットストリームのペイロードを介して）送信される。レンダリング行列Ｒが設定され、デコーダ側で利用可能となる。
【００７６】
（エンコーダ側で適用されてデコーダ側で使用される）ダウンミックス行列Ｄを表す情報は、以下の基本的方法を用いて、（エンコーダで）決定され、（デコーダで）得られる。
【００７７】
ダウンミックス行列Ｄは：
−  （エンコーダで）設定および適用され、その量子化および符号化された表示が、ビットストリームのペイロードを介して、（デコーダに）明示的に送信される。
−  格納された参照テーブル（すなわち、所定のダウンミックス行列の組）を用いて、（エンコーダで）割当ておよび適用され、（デコーダで）復元される。
−  特定のアルゴリズムまたは方法（例えば、利用可能なダウンミックスチャネルに対するオーディオオブジェクトの空間的に重み付けおよび順序付けされた等距離配置）に従って、（エンコーダで）割当ておよび適用され、（デコーダで）復元される。
−  入力オーディオオブジェクトの「柔軟なミキシング」を可能とする特定の最適化基準（すなわち、デコーダ側でのオーディオオブジェクトのパラメトリック推定に最適化されたダウンミックス行列の生成）を用いて、（エンコーダで）推定および適用され、（デコーダで）復元される。例えば、エンコーダが、共分散、信号間の相関のような空間信号特性の再構築の観点で、パラメトリックなアップミックスをより効率的にし、または、パラメトリックアップミックスアルゴリズムの数値的安定性を改善または確保する態様で、ダウンミックス行列を生成する。
【００７８】
与えられた実施形態は、任意のダウンミックス／アップミックスチャネル数に適用できる。それは、任意の現在または将来のオーディオフォーマットに組み合わせることができる。
【００７９】
発明の方法の柔軟性によって、変更されないチャネルをバイパスして計算の複雑さを軽減し、ビットストリームのペイロードを低減させ／データ量を減少させることが可能となる。
【００８０】
符号化のためのオーディオエンコーダ、方法またはコンピュータプログラムが提供される。さらに、復号化のためのオーディオデコーダ、方法またはコンピュータプログラムが提供される。またさらに、符号化された信号が提供される。
【００８１】
いくつかの形態を装置との関連で説明したが、それらの形態が対応の方法の説明も兼ねることは明らかであり、ブロックまたはデバイスは方法のステップまたは方法のステップの特徴に対応する。同様に、方法ステップに関連して説明した形態はまた、対応する装置の対応のブロック、内容または特徴の記載も兼ねる。
【００８２】
本発明の分解された信号は、デジタル記憶媒体に記憶され、またはインターネットのような無線伝送媒体もしくは有線伝送媒体といった伝送媒体上で伝送されることができる。
【００８３】
特定の実施要件に応じて、発明の実施形態は、ハードウェアまたはソフトウェアで実施されることができる。その実施は、それぞれの方法が実行されるようにプログラマブルコンピュータシステムと協働する（または協働することができる）電子的に読み取り可能な制御信号が記憶されたデジタル記憶媒体、例えば、フレキシブルディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）もしくはフラッシュメモリを用いて実行することができる。
【００８４】
本発明によるいくつかの実施形態は、ここに記載された方法の１つが実行されるようなプログラマブルコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有する非一時的なデータキャリアを備える。
【００８５】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施でき、プログラムコードは、コンピュータプログラム製品がコンピュータ上で稼働したときに方法の１つを実行するように動作するものである。プログラムコードは、例えば、機械読み取り可能なキャリア上に記憶されることができる。
【００８６】
他の実施形態は、ここに記載された方法の１つを実行するための、機械読み取り可能なキャリアに記憶されたコンピュータプログラムを有する。
【００８７】
言い換えると、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で稼働するときに、ここに記載された方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【００８８】
したがって、本発明の方法のさらなる実施形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムを、記録して備えるデータキャリア（すなわち、デジタル記憶媒体またはコンピュータ可読媒体）である。
【００８９】
したがって、本発明の方法のさらなる実施形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えばデータ通信接続、例えばインターネットを介して転送されるために構成されてもよい。
【００９０】
さらなる実施形態は、ここに記載された方法の１つを実行するように構成または適合された、例えば、コンピュータまたはプログラマブルロジックデバイスなどの処理手段を含む。
【００９１】
さらなる実施形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【００９２】
実施形態によっては、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ、ＦＰＧＡ）が、ここに記載された方法の機能の一部または全部を実行するのに使用されてもよい。実施形態によっては、ここに記載された方法の１つを実行するために、フィールドプログラマブルゲートアレイはマイクロプロセッサと協働してもよい。一般に、それらの方法は、あらゆるハードウェア装置によって実行される。
【００９３】
上述した実施形態は、本発明の原理を例示的に示しただけである。ここに記載された構成および詳細の変形例や修正例は、当業者には明白であろう。したがって、実施形態の記述および説明によってここに提示された具体的詳細によってではなく、直後に記載する特許請求の範囲によってのみ限定されることを意図するものである。
【図１】
2015528926.tif 000007
【図２】
2015528926.tif 000008
【図３】
2015528926.tif 000009
【図４】
2015528926.tif 000010
【手続補正書】
【提出日】平成27年4月1日(2015.4.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１以上のダウンミックスチャネルを有し２以上のオーディオオブジェクト信号が符号化されたダウンミックス信号から、１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成するデコーダにおいて、
前記２以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、または前記１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、閾値を決定する閾値決定器（１１０）と、
前記閾値に応じて前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成する処理部（１２０）と、
を備えたデコーダ。
【請求項２】
請求項１に記載のデコーダにおいて、
前記ダウンミックス信号は２以上のダウンミックスチャネルを有し、
前記閾値決定器（１１０）は、前記２以上のダウンミックスチャネルの各々のノイズエネルギーに応じて閾値を決定するように構成された、デコーダ。
【請求項３】
請求項２に記載のデコーダにおいて、前記閾値決定器（１１０）は、前記２以上のダウンミックスチャネルにおける全ノイズエネルギーの合計に応じて閾値を決定するように構成された、デコーダ。
【請求項４】
請求項１から３のいずれか１項に記載のデコーダにおいて、前記閾値決定器（１１０）は、前記２以上のオーディオオブジェクト信号のうちの最大の信号エネルギーを有する前記オーディオオブジェクト信号の信号エネルギーに応じて閾値を決定するように構成された、デコーダ。
【請求項５】
請求項１から４のいずれか１項に記載のデコーダにおいて、
前記ダウンミックス信号には、複数の時間−周波数タイルのうち各時間−周波数タイルについて前記２以上のオーディオオブジェクト信号が符号化され、
前記閾値決定器（１１０）は、前記２以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、または前記１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、前記複数の時間−周波数タイルのうち各時間−周波数タイルについて閾値を決定するように構成され、前記複数の時間−周波数タイルのうち第１の時間−周波数タイルの第１の閾値が複数の時間−周波数タイルのうち第２の時間−周波数タイルとは異なり、
前記処理部（１２０）は、前記複数の時間−周波数タイルのうち各時間−周波数タイルについて、その時間−周波数タイルの閾値に応じて、前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルの各々のチャネル値を生成するように構成された、デコーダ。
【請求項６】
請求項１から５のいずれか１項に記載のデコーダにおいて、
前記ダウンミックス信号は２以上のダウンミックスチャネルを有し、
デシベル表記の閾値Ｔ［ｄＢ］を、数式
Ｔ［ｄＢ］＝Ｅｎｏｉｓｅ［ｄＢ］−Ｅｒｅｆ［ｄＢ］−Ｚ
により、または数式
Ｔ［ｄＢ］＝Ｅｎｏｉｓｅ［ｄＢ］−Ｅｒｅｆ［ｄＢ］
により決定するように構成され、ここで、Ｔ［ｄＢ］は、閾値をデシベルで示し、Ｅｎｏｉｓｅ［ｄＢ］は、前記２以上のダウンミックスチャネルの全ノイズエネルギーの合計、または前記２以上のダウンミックスチャネルの全ノイズエネルギーの合計を前記２以上のダウンミックスチャネルの数で除算した値、をデシベルで示し、Ｅｒｅｆ［ｄＢ］は、オーディオオブジェクト信号のうちの１つの信号エネルギーをデシベルで示し、Ｚは、追加パラメータを示し、この追加パラメータは数値である、デコーダ。
【請求項７】
請求項１から５のいずれか１項に記載のデコーダにおいて、
閾値Ｔを、数式
Ｔ＝Ｅｎｏｉｓｅ／（Ｅｒｅｆ・Ｚ）
により、または数式
Ｔ＝Ｅｎｏｉｓｅ／Ｅｒｅｆ
により決定するように構成され、ここで、Ｔは、閾値を示し、Ｅｎｏｉｓｅは、前記２以上のダウンミックスチャネルの全ノイズエネルギーの合計、または前記２以上のダウンミックスチャネルの全ノイズエネルギーの合計を前記２以上のダウンミックスチャネルの数で除算した値、を示し、Ｅｒｅｆは、オーディオオブジェクト信号のうちの１つの信号エネルギーを示し、Ｚは、追加パラメータを示し、この追加パラメータは数値である、デコーダ。
【請求項８】
請求項１から７のいずれか１項に記載のデコーダにおいて、前記処理部（１２０）は、前記１以上のオーディオオブジェクト信号のオブジェクト共分散行列（Ｅ）に応じて、前記１以上のダウンミックスチャネルを得るために前記２以上のオーディオオブジェクト信号をダウンミックスするダウンミックス行列（Ｄ）に応じて、さらに前記閾値に応じて、前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成するように構成された、デコーダ。
【請求項９】
請求項８に記載のデコーダにおいて、
前記処理部（１２０）は、ダウンミックスチャネル相互相関行列Ｑを転置する関数に前記閾値を適用することによって、前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成するように構成され、
Ｑが、Ｑ＝ＤＥＤ＊として定義され、
Ｄは、前記２以上のダウンミックスチャネルを得るために前記２以上のオーディオオブジェクト信号をダウンミックスするダウンミックス行列であり、
Ｅは、前記１以上のオーディオオブジェクト信号のオブジェクト共分散行列である、
デコーダ。
【請求項１０】
請求項９に記載のデコーダにおいて、前記位処理部（１２０）は、前記ダウンミックスチャネル相互相関行列Ｑの固有値を計算することによって、または前記ダウンミックスチャネル相互相関行列Ｑの単一の値を計算することによって、前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成するように構成された、デコーダ。
【請求項１１】
請求項９または１０に記載のデコーダにおいて、前記処理部（１２０）は、前記ダウンミックスチャネル相互相関行列Ｑの固有値のうちの最大の固有値に前記閾値を乗じて相対閾値を得ることによって前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成するように構成された、デコーダ。
【請求項１２】
請求項１１に記載のデコーダにおいて、
前記処理部（１２０）は、修正行列を生成することによって前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成するように構成され、
前記処理部（１２０）は、前記ダウンミックスチャネル相互相関行列Ｑの固有値であって、前記ダウンミックスチャネル相互相関行列Ｑの前記固有値のうちの前記相対閾値以上の１つの固有値、を有する固有ベクトルのみに応じて、前記修正行列を生成するように構成され、
前記処理部（１２０）は、転置行列を得るために前記修正行列の行列転置を実行するように構成され、
前記処理部（１２０）は、前記１以上のオーディオ出力チャネルを生成するために前記転置行列を１以上のダウンミックスチャネルに適用するように構成された、
デコーダ。
【請求項１３】
１以上のダウンミックスチャネルを有し２以上のオーディオオブジェクト信号が符号化されたダウンミックス信号から、１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成する方法において、
前記２以上のオーディオオブジェクト信号のうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、または前記１以上のダウンミックスチャネルのうちの少なくとも１つの信号エネルギーもしくはノイズエネルギーに応じて、閾値を決定し、
前記閾値に応じて前記１以上のダウンミックスチャネルから前記１以上のオーディオ出力チャネルを生成する
方法。
【請求項１４】
コンピュータまたは信号プロセッサで実行されるときに請求項１３に記載の方法を実施するためのコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の課題は、オーディオオブジェクト符号化に関する改善された概念を提供することである。本発明の課題は、特許請求の範囲の各独立請求項にそれぞれ記載のデコーダ、方法、およびコンピュータプログラムによって解決される。
【国際調査報告】
2015528926.tif 000011
2015528926.tif 000012