(57)【要約】【課題】１以上のオーディオオブジェクトが符号化された入力オーディオ情報を適応させて適応オーディオ情報を得る装置を提供する。【解決出願】入力オーディオ情報は、２以上の入力オーディオダウンミックスチャンネルを含み、さらに入力パラメトリック副情報を含む。適応オーディオ情報は、１以上の適応オーディオダウンミックスチャンネルを含み、さらにパラメトリック副情報を含む。装置は、適応情報に基づき２以上の入力オーディオダウンミックスチャンネルを適応させて、１以上の適応オーディオダウンミックスチャンネルを得るダウンミックス信号修正器（１１０）を備える。さらに、装置は、適応情報に基づき入力パラメトリック副情報を適応させて、適応パラメトリック副情報を得るパラメトリック副情報適応器（１２０）を備える。【選択図】  図１
2015525905.tif 000002
【特許請求の範囲】
【請求項１】
１以上のオーディオオブジェクトが符号化された入力オーディオ情報であって、２以上の入力オーディオダウンミックスチャンネルを含み、入力パラメトリック副情報をさらに含む入力オーディオ情報を、適応させて、１以上の適応オーディオダウンミックスチャンネルを含み、適応パラメトリック副情報をさらに含む適応オーディオ情報を得る装置であって、
適応情報に基づき前記２以上の入力オーディオダウンミックスチャンネルを適応させて、前記１以上の適応オーディオダウンミックスチャンネルを得るダウンミックス信号修正器（１１０）と、
前記適応情報に基づき前記入力パラメトリック副情報を適応させて、記適応パラメトリック副情報を得るパラメトリック副情報適応器（１２０）と、
を備える装置。
【請求項２】
請求項１に記載の装置において、前記ダウンミックス信号修正器（１１０）は、前記１以上の適応オーディオダウンミックスチャンネルの数が前記２以上の入力オーディオダウンミックスチャンネルの数よりも小さくなるように、前記適応情報に基づき、前記２以上の入力オーディオダウンミックスチャンネルを適応させるように構成された、装置。
【請求項３】
請求項１または２に記載の装置において、前記適応情報はデコーダインスタンスに依存し、前記ダウンミックス信号修正器（１１０）は、前記デコーダインスタンスに応じて前記２以上の入力オーディオダウンミックスチャンネルを適応させるように構成された、装置。
【請求項４】
請求項３に記載の装置において、
前記デコーダインスタンスは、最大でダウンミックスチャンネルの最大数を復号することができ、
前記適応情報は、前記ダウンミックスチャンネルの最大数に依存し、
前記ダウンミックス信号修正器（１１０）が、前記１以上の適応オーディオダウンミックスチャンネルの数が前記ダウンミックスチャンネルの最大数に等しくなるように、前記適応情報に応じて前記２以上の入力オーディオダウンミックスチャンネルを適応させて、前記１以上の適応オーディオダウンミックスチャンネルを得るように構成された、装置。
【請求項５】
請求項１から４のいずれか１項に記載の装置において、前記適応情報は、適応行列ＤｄｍｘＤＳＭを含む、装置。
【請求項６】
請求項５に記載の装置において、前記ダウンミックス信号修正器（１１０）が、前記適応行列ＤｄｍｘＤＳＭに基づき前記２以上のオーディオダウンミックスチャンネルＸｄｍｘＥＮＣを適応させて、前記１以上の適応オーディオダウンミックスチャンネルＸｄｍｘＤＳＭを得るように構成された、装置。
【請求項７】
請求項６に記載の装置において、前記ダウンミックス信号修正器（１１０）は、
【数１】
2015525905.tif 000018
を適用することによって、前記適応行列ＤｄｍｘＤＳＭに基づき前記２以上のオーディオダウンミックスチャンネルＸｄｍｘＥＮＣを適応させて、１以上の適応オーディオダウンミックスチャンネルＸｄｍｘＤＳＭを得るように構成された、装置。
【請求項８】
請求項５から７のいずれか１項に記載の装置において、前記パラメトリック副情報適応器（１２０）は、前記適応行列ＤｄｍｘＤＳＭに基づき前記入力パラメトリック副情報ＤｄｍｘＥＮＣを適応させて、前記適応パラメトリック副情報ＤｄｍｘＰＳＩを得るように構成された、装置。
【請求項９】
請求項８に記載の装置において、前記パラメトリック副情報適応器（１２０）は、
【数２】
2015525905.tif 000019
を適用することによって、前記適応行列ＤｄｍｘＤＳＭに基づき前記入力パラメトリック副情報ＤｄｍｘＥＮＣを適応させて、適応パラメトリック副情報ＤｄｍｘＰＳＩを得るように構成された、装置。
【請求項１０】
請求項８または９に記載の装置において、
前記入力パラメトリック副情報ＤｄｍｘＥＮＣは、前記１以上のオーディオオブジェクトＳに適用することによって前記２以上の入力オーディオダウンミックスチャンネルＸｄｍｘｅｎｃが得られる初期ダウンミックス行列Ｄｄｍｘｅｎｃを示し、
前記パラメトリック副情報適応器（１２０）は、適応ダウンミックス行列ＤｄｍｘＰＳＩを前記１以上のオーディオオブジェクトＳに適用することによって、前記２以上の入力オーディオダウンミックスチャンネルＸｄｍｘＤＳＭが得られるように、前記適応ダウンミックス行列ＤｄｍｘＰＳＩを前記適応パラメトリック副情報として決定するように構成された、
装置。
【請求項１１】
１以上のオーディオオブジェクトが符号化された入力オーディオ情報から１以上のオーディオチャネルを生成する装置（７００、８００、８０１、８０２、９００、９０１、９０２）であって、
前記入力オーディオ情報は、２以上の入力オーディオダウンミックスチャンネルを含み、入力パラメトリック副情報をさらに含み、この入力オーディオ情報を適応させて、１以上の適応オーディオダウンミックスチャンネルを含み、適応パラメトリック副情報をさらに含む適応オーディオ情報を得る請求項１から１０のいずれか１項に記載の装置（７１０、８１０、８１１、８１２、９１０、９１１、９１２）と、
前記適応パラメトリック副情報に基づき前記１以上の適応オーディオダウンミックスチャンネルを復号して前記１以上のオーディオチャンネルを得るデコーダインスタンス（７２０、８２０、８２１、８２２、９２０、９２１、９２２）と、
を備える装置。
【請求項１２】
請求項１１に記載の装置（７００；８００、８０１、８０２）において、
請求項１から１０のいずれか１項に記載の装置（７１０、８１０、８１１、８１２）の前記パラメトリック副情報適応器（１２０）は、前記入力パラメトリック副情報を含む入力ビットストリームを受信するように構成され、
請求項１から１０のいずれか１項に記載の装置（７１０、８１０、８１１、８１２）の前記パラメトリック副情報適応器（１２０）は、前記入力パラメトリック副情報を適応させて前記適応パラメトリック副情報を取得し、そのパラメトリック副情報を前記デコーダインスタンス（７２０、８２０、８２１、８２２）に供給するように構成され、
前記デコーダインスタンス（７２０、８２０、８２１、８２２）は、前記適応パラメトリック副情報に基づき前記１以上の適応オーディオダウンミックスチャンネルを復号するように構成された、
装置。
【請求項１３】
請求項１１に記載の装置（７００；９００、９０１、９０２）において、
請求項１から１０のいずれか１項に記載の装置（７１０、９１０、９１１、９１２）の前記パラメトリック副情報適応器（１２０）は、前記入力パラメトリック副情報を含む入力ビットストリームを受信するように構成され、
請求項１から１０のいずれか１項に記載の装置（７１０、９１０、９１１、９１２）の前記パラメトリック副情報適応器（１２０）は、前記入力ビットストリーム内の前記入力パラメトリック副情報を前記適応パラメトリック副情報によって置換して、修正ビットストリームを得るように構成され、
請求項１から１０のいずれか１項に記載の装置（７１０、９１０、９１１、９１２）の前記パラメトリック副情報適応器（１２０）は、前記修正ビットストリームを前記デコーダインスタンス（７２０、９２０、９２１、９２２）に供給するように構成され、
前記デコーダインスタンス（７２０、９２０、９２１、９２２）が、前記修正ビットストリームに応じて前記１以上の適応オーディオダウンミックスチャンネルを復号するように構成された、
装置。
【請求項１４】
１以上のオーディオオブジェクトが符号化された入力オーディオ情報であって、２以上の入力オーディオダウンミックスチャンネルを含み、入力パラメトリック副情報をさらに含む入力オーディオ情報を、適応させて、１以上の適応オーディオダウンミックスチャンネルを含み、適応パラメトリック副情報をさらに含む適応オーディオ情報を得る方法であって、
適応情報に基づき前記２以上の入力オーディオダウンミックスチャンネルを適応させて、前記１以上の適応オーディオダウンミックスチャンネルを取得し、
前記適応情報に基づき前記入力パラメトリック副情報を適応させて、記適応パラメトリック副情報を取得する
方法。
【請求項１５】
コンピュータまたは信号プロセッサによって実行されるときに請求項１４に記載の方法を実施するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号復号化およびオーディオ信号処理に関し、特に、空間オーディオオブジェクト符号化（ＳＡＯＣ）においてオーディオ情報を適応させるデコーダおよび方法に関する。
【背景技術】
【０００２】
近年のデジタルオーディオシステムでは、受信側においてオーディオオブジェクトに関連した送信コンテンツの変更修正をできるようにすることが主流となっている。これらの変更修正は、オーディオ信号の選択された部分のゲイン修正、および／または空間的に分散されるスピーカを介したマルチチャンネル再生の際の専用オーディオオブジェクトの空間的再位置決めを含む。これは、オーディオコンテンツの異なる部分を異なるスピーカに個々に配信することによって実現される。
【０００３】
言い換えると、オーディオの処理、オーディオの伝送、およびオーディオの蓄積の技術において、オブジェクト指向のオーディオコンテンツ再生におけるユーザ対話を可能にすることへの要望、および聴覚的印象を向上するためにマルチチャンネル再生の拡張された可能性を利用してオーディオコンテンツまたはその一部を個々に表現することへの要求が高まっている。これによって、マルチチャンネルオーディオコンテンツの使用がユーザに大きな改善をもたらす。例えば、娯楽用途において、ユーザ満足度の向上をもたらすような、三次元の聴覚的印象が得られる。一方、マルチチャンネルオーディオコンテンツは、マルチチャンネルオーディオ再生を用いることによって話し手の明瞭度が改善されるので、例えば、電話会議用途などの仕事環境においても有用である。他に考えられる用途としては、楽曲の聴取者に、ボーカル部分または異なる楽器といった異なる部分（「オーディオオブジェクト」ともいう）やトラックの再生レベルおよび／または空間位置を個々に調整してもらうものがある。ユーザは、個人的な好み、教育的目的、カラオケ、リハーサルなどの理由により、楽曲から１以上の部分をより簡単に再生するために、そのような調整を行うことができる。
【０００４】
全てのデジタルマルチチャンネルまたはマルチオブジェクト・オーディオコンテンツを、そのまま、例えば、パルス符号変調（ＰＣＭ）データ形式や、さらには圧縮オーディオ形式などで、個別に送信すると、非常に高いビットレートを要する。しかしながら、ビットレート効率よく、オーディオデータを送信し蓄積することが望ましい。したがって、マルチチャンネル／マルチオブジェクト・アプリケーションにより生じる過度なリソース負担を回避するため、オーディオ品質とビットレート要件との間で、合理的なトレードオフが許容されている。
【０００５】
最近では、オーディオ符号化の分野において、マルチチャンネル／マルチオブジェクトオーディオ信号のビットレート効率が良い送信／蓄積のためのパラメトリック技術が、例えば、ＭＰＥＧその他によって導入されている。一例として、チャンネル指向アプローチとしてＭＰＥＧサラウンド（ＭＰＳ）（非特許文献１、２）が、またオブジェクト指向アプローチとしてＭＰＥＧ空間オーディオオブジェクト符号化（ＳＡＯＣ）（非特許文献３から５）が挙げられる。他のオブジェクト指向アプローチは、「情報化音源分離」といわれる（非特許文献７から１２）。これらの技術は、所望の出力オーディオシーンまたは所望のオーディオ源オブジェクトを、チャンネル／オブジェクトならびに送信／蓄積されたオーディオシーンおよび／またはオーディオシーンにおけるオーディオ源オブジェクトを記述する付加的な副情報のダウンミックスに基づいて再構築することを目的とする。
【０００６】
そのようなシステムでのチャンネル／オブジェクト関連副情報の推定および適用は、時間−周波数選択的態様で行われる。したがって、そのようなシステムは、離散フーリエ変換（ＤＦＴ）、短時間フーリエ変換（ＳＴＦＴ）またはフィルタバンク的な直交ミラーフィルタ（ＱＭＦ）バンクなどの時間−周波数変換を使用する。このシステムの基本的原理を、ＭＰＥＧ  ＳＡＯＣの例を用いて、図３に示す。
【０００７】
ＳＴＦＴの場合には、時間の次元が時間ブロック数によって表され、スペクトルの次元がスペクトル係数（「ビン」）によって捕捉される。ＱＭＦの場合には、時間の次元がタイムスロット数によって表され、スペクトルの次元がサブバンド数によって捕捉される。ＱＭＦのスペクトル解像度が後続の第２のフィルタ段の適用によって向上された場合、フィルタバンク全体はハイブリッドＱＭＦと称され、高解像度のサブバンドはハイブリッドサブバンドと称される。
【０００８】
上述のように、ＳＡＯＣでは、一般的な処理が、時間−周波数選択的態様で実行され、図３に示すように、各周波数帯域内で以下のように説明される：
−  Ｎ個の入力オーディオ信号ｓ１・・・ｓＮを、エンコーダ処理の一部として、要素ｄ１，１・・・ｄＮ，Ｐからなるダウンミックス行列を用いてＰ個のチャンネルｘ１・・・ｘＰへとミックスダウンする。さらに、エンコーダは、入力オーディオオブジェクトの特性を記述する副情報を抽出する（副情報推定器（ＳＩＥ）モジュール）。ＭＰＥＧ  ＳＡＯＣにとって、オブジェクトのパワーの相互の関係が、そのような副情報の最も基本的なものである。
−  ダウンミックス信号および副情報を送信／蓄積する。この目的のため、例えば、ＭＰＥＧ−１／２  Ｌａｙｅｒ２または３（ｍｐ３）、ＭＰＥＧ−２／４  Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ（ＡＡＣ）など周知の知覚オーディオコーダを用いて、ダウンミックスオーディオ信号を圧縮することができる。
−  受信端において、デコーダは、概念的には、送信された副情報を用いて（復号された）ダウンミックス信号から元のオブジェクト信号を復元しようとする（「オブジェクト分離」）。そして、これらの近似オブジェクト信号ｓ＾１・・・ｓ＾Ｎは、図３における係数ｒ１，１・・・ｒＮ，Ｍによって記述されたレンダリング行列を用いて、Ｍ個のオーディオチャンネルｙ＾１・・・ｙ＾Ｍによって表される目標シーンにミキシングされる。所望の目標シーンは、極端な場合では、ミキシングの中の１つだけの音源信号のレンダリングであってもよいし（音源分離シナリオ）、送信されるオブジェクトからなる他の任意の音響シーンであってもよい。例えば、出力は、単一チャンネル、２チャンネルステレオまたは５．１マルチチャンネルの目標シーンとすることができる。
【０００９】
図６に、オーディオ符号化／復号化手法の原理を模式的に示す。具体的には、図６は、オーディオ符号化／復号化チェーンの原理説明である。
【００１０】
符号化側において、オーディオ信号がオーディオ符号化手法によって（通常は知覚効果を利用して）圧縮され、パラメトリック副情報（ＰＳＩ）が計算される（エンコーダ６０１参照）。符号化されたオーディオ信号およびＰＳＩからなる、結果として得られるビットストリームは、デコーダ側に蓄積（または送信）され、それらは図６において「Ａ」、「Ｂ」などが付された種々のデコーダインスタンス６２０、６２１および６２２によって復号されることができる。これらのデコーダインスタンスは、相互に異なる（例えば、標準規格、用途や実施上の制約において複雑さが異なる）（非特許文献４から６）。
【００１１】
オーディオ符号化の分野における利用可能な帯域／蓄積容量の増加および進行中の改善によって、ユーザは、徐々に増加している選択肢からマルチチャンネルオーディオ製品を選択することができる。マルチチャンネル５．１オーディオフォーマットは、既にＤＶＤおよびブルーレイ製品において標準となっている。より多くのオーディオ移送チャンネルを持つＭＰＥＧ−Ｈ  ３Ｄ  Ａｕｄｉｏのような新たなオーディオフォーマットが出現し、これは高度な没入型のオーディオ体験をエンドユーザに提供することになる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】ＩＳＯ／ＩＥＣ  ２３００３−１：２００７，ＭＰＥＧ−Ｄ（ＭＰＥＧ  ａｕｄｉｏ  ｔｅｃｈｎｏｌｏｇｉｅｓ），Ｐａｒｔ  １：ＭＰＥＧ  Ｓｕｒｒｏｕｎｄ，２００７
【非特許文献２】Ｃ．Ｆａｌｌｅｒ  ａｎｄ  Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ−Ｐａｒｔ  ＩＩ：Ｓｃｈｅｍｅｓ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎｓ，”ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃ．，ｖｏｌ．１１，ｎｏ．６，Ｎｏｖ．２００３
【非特許文献３】Ｃ．Ｆａｌｌｅｒ，“Ｐａｒａｍｅｔｒｉｃ  Ｊｏｉｎｔ−Ｃｏｄｉｎｇ  ｏｆ  Ａｕｄｉｏ  Ｓｏｕｒｃｅｓ”，１２０ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，Ｐａｒｉｓ，２００６
【非特許文献４】Ｊ．Ｈｅｒｒｅ，Ｓ．Ｄｉｓｃｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ｏ．Ｈｅｌｌｍｕｔｈ：“Ｆｒｏｍ  ＳＡＣ  Ｔｏ  ＳＡＯＣ−Ｒｅｃｅｎｔ  Ｄｅｖｅｌｏｐｍｅｎｔｓ  ｉｎ  Ｐａｒａｍｅｔｒｉｃ  Ｃｏｄｉｎｇ  ｏｆ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ”，２２ｎｄ  Ｒｅｇｉｏｎａｌ  ＵＫ  ＡＥＳ  Ｃｏｎｆｅｒｅｎｃｅ，Ｃａｍｂｒｉｄｇｅ，ＵＫ，Ａｐｒｉｌ  ２００７
【非特許文献５】Ｊ．Ｅｎｇｄｅｇａｅｒｄ，Ｂ．Ｒｅｓｃｈ，Ｃ．Ｆａｌｃｈ，Ｏ．Ｈｅｌｌｍｕｔｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ａ．Ｈｏｅｌｚｅｒ，Ｌ．Ｔｅｒｅｎｔｉｅｖ，Ｊ．Ｂｒｅｅｂａａｒｔ，Ｊ．Ｋｏｐｐｅｎｓ，Ｅ．Ｓｃｈｕｉｊｅｒｓ  ａｎｄ  Ｗ．Ｏｏｍｅｎ：“Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ（ＳＡＯＣ）−Ｔｈｅ  Ｕｐｃｏｍｉｎｇ  ＭＰＥＧ  Ｓｔａｎｄａｒｄ  ｏｎ  Ｐａｒａｍｅｔｒｉｃ  Ｏｂｊｅｃｔ  Ｂａｓｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ”，１２４ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，Ａｍｓｔｅｒｄａｍ  ２００８
【非特許文献６】ＩＳＯ／ＩＥＣ，“ＭＰＥＧ  ａｕｄｉｏ  ｔｅｃｈｎｏｌｏｇｉｅｓ−Ｐａｒｔ  ２：Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｏｂｊｅｃｔ  Ｃｏｄｉｎｇ（ＳＡＯＣ）”，ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ２３００３−２
【非特許文献７】Ｍ．Ｐａｒｖａｉｘ  ａｎｄ  Ｌ．Ｇｉｒｉｎ：“Ｉｎｆｏｒｍｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ  ｏｆ  ｕｎｄｅｒｄｅｔｅｒｍｉｎｅｄ  ｉｎｓｔａｎｔａｎｅｏｕｓ  Ｓｔｅｒｅｏ  Ｍｉｘｔｕｒｅｓ  ｕｓｉｎｇ  Ｓｏｕｒｃｅ  Ｉｎｄｅｘ  Ｅｍｂｅｄｄｉｎｇ”，ＩＥＥＥ  ＩＣＡＳＳＰ，２０１０
【非特許文献８】Ｍ．Ｐａｒｖａｉｘ，Ｌ．Ｇｉｒｉｎ，Ｊ．−Ｍ．Ｂｒｏｓｓｉｅｒ：“Ａ  ｗａｔｅｒｍａｒｋｉｎｇ−ｂａｓｅｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｏｆ  ａｕｄｉｏ  ｓｉｇｎａｌｓ  ｗｉｔｈ  ａ  ｓｉｎｇｌｅ  ｓｅｎｓｏｒ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｕｄｉｏ，Ｓｐｅｅｃｈ  ａｎｄ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，２０１０
【非特許文献９】Ａ．Ｌｉｕｔｋｕｓ  ａｎｄ  Ｊ．Ｐｉｎｅｌ  ａｎｄ  Ｒ．Ｂａｄｅａｕ  ａｎｄ  Ｌ．Ｇｉｒｉｎ  ａｎｄ  Ｇ．Ｒｉｃｈａｒｄ：“Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｔｈｒｏｕｇｈ  ｓｐｅｃｔｒｏｇｒａｍ  ｃｏｄｉｎｇ  ａｎｄ  ｄａｔａ  ｅｍｂｅｄｄｉｎｇ”，Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｊｏｕｒｎａｌ，２０１１
【非特許文献１０】Ａ．Ｏｚｅｒｏｖ，Ａ．Ｌｉｕｔｋｕｓ，Ｒ．Ｂａｄｅａｕ，Ｇ．Ｒｉｃｈａｒｄ：“Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ：ｓｏｕｒｃｅ  ｃｏｄｉｎｇ  ｍｅｅｔｓ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ”，ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ｔｏ  Ａｕｄｉｏ  ａｎｄ  Ａｃｏｕｓｔｉｃｓ，２０１１
【非特許文献１１】Ｓｈｕｈｕａ  Ｚｈａｎｇ  ａｎｄ  Ｌａｕｒｅｎｔ  Ｇｉｒｉｎ：“Ａｎ  Ｉｎｆｏｒｍｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｓｐｅｅｃｈ  Ｓｉｇｎａｌｓ”，ＩＮＴＥＲＳＰＥＥＣＨ，２０１１
【非特許文献１２】Ｌ．Ｇｉｒｉｎ  ａｎｄ  Ｊ．Ｐｉｎｅｌ：“Ｉｎｆｏｒｍｅｄ  Ａｕｄｉｏ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ  ｆｒｏｍ  Ｃｏｍｐｒｅｓｓｅｄ  Ｌｉｎｅａｒ  Ｓｔｅｒｅｏ  Ｍｉｘｔｕｒｅｓ”，ＡＥＳ  ４２ｎｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ：Ｓｅｍａｎｔｉｃ  Ａｕｄｉｏ，２０１１
【発明の概要】
【発明が解決しようとする課題】
【００１３】
現行の符号化手法は、ＰＳＩを特定の目標アプリケーションシナリオまたはプラットフォームに効率的な態様で適応させることができない。このことによって、（必要以上に）高い計算の複雑さがデコーダ側にもたらされたり、互換性の問題が引き起こされたりする。
【課題を解決するための手段】
【００１４】
本発明の目的は、オーディオオブジェクト符号化に関する改善された概念を提供することである。本発明の課題は、請求項１に記載のデコーダ、請求項１４に記載の方法、および請求項１５に記載のコンピュータプログラムによって解決される。
【００１５】
１以上のオーディオオブジェクトが符号化された入力オーディオ情報を適応させて適応オーディオ情報を得る装置が提供される。入力オーディオ情報は、２以上の入力オーディオダウンミックスチャンネルを含み、入力パラメトリック副情報をさらに含む。適応オーディオ情報は、１以上の適応オーディオダウンミックスチャンネルを含み、適応メトリック副情報をさらに含む。
【００１６】
この装置は、適応情報に基づき２以上の入力オーディオダウンミックスチャンネルを適応させて、１以上の適応オーディオダウンミックスチャンネルを得るダウンミックス信号修正器を備える。
【００１７】
さらに、この装置は、適応情報に基づき入力パラメトリック副情報を適応させて、適応パラメトリック副情報を得るパラメトリック副情報適応器を備える。
【００１８】
一実施形態によると、ダウンミックス信号修正器は、１以上の適応オーディオダウンミックスチャンネルの数が２以上の入力オーディオダウンミックスチャンネルの数よりも小さくなるように、適応情報に基づき２以上の入力オーディオダウンミックスチャンネルを適応させるように構成されていてもよい。
【００１９】
一実施形態において、適応情報はデコーダインスタンスに依存していてもよい。ダウンミックス信号修正器は、デコーダインスタンスに応じて２以上の入力オーディオダウンミックスチャンネルを適応させるように構成されていてもよい。ここで、また以降においても、用語「デコーダ」および「デコーダインスタンス」は同じ意味である。
【００２０】
一実施形態によると、デコーダインスタンスは、最大でダウンミックスチャンネルの最大数を復号することができる。適応情報は、ダウンミックスチャンネルの最大数に依存していてもよい。ダウンミックス信号修正器は、１以上の適応オーディオダウンミックスチャンネルの数が２以上のダウンミックスチャンネルの上記最大数に等しくなるように、適応情報に応じて２以上の入力オーディオダウンミックスチャンネルを適応させて１以上の適応オーディオダウンミックスチャンネルを得るように構成されていてもよい。
【００２１】
一実施形態によると、適応情報は、適応行列ＤｄｍｘＤＳＭを含むことができる。
【００２２】
一実施形態において、ダウンミックス信号修正器は、適応行列ＤｄｍｘＤＳＭに基づき２以上のオーディオダウンミックスチャンネルＸｄｍｘＥＮＣを適応させて、１以上の適応オーディオダウンミックスチャンネルＸｄｍｘＤＳＭを得るように構成されていてもよい。
【００２３】
一実施形態によると、ダウンミックス信号修正器は、
【数１】
2015525905.tif 000003
を適用することによって、適応行列ＤｄｍｘＤＳＭに基づき２以上のオーディオダウンミックスチャンネルＸｄｍｘＥＮＣを適応させて、１以上の適応オーディオダウンミックスチャンネルＸｄｍｘＤＳＭを得るように構成されていてもよい。
【００２４】
一実施形態において、パラメトリック副情報適応器は、構成されていてもよい。
【００２５】
適応行列ＤｄｍｘＤＳＭに基づき入力パラメトリック副情報ＤｄｍｘＥＮＣを適応させて、適応パラメトリック副情報ＤｄｍｘＰＳＩを得るように
一実施形態によると、パラメトリック副情報適応器は、
【数２】
2015525905.tif 000004
を適用することによって、適応行列ＤｄｍｘＤＳＭに基づき入力パラメトリック副情報ＤｄｍｘＥＮＣを適応させて、適応パラメトリック副情報ＤｄｍｘＰＳＩを得るように構成されてもよい。
【００２６】
一実施形態において、入力パラメトリック副情報ＤｄｍｘＥＮＣは、１以上のオーディオオブジェクトＳに適用することによって２以上の入力オーディオダウンミックスチャンネルＸｄｍｘｅｎｃが得られる初期ダウンミックス行列Ｄｄｍｘｅｎｃを示してもよい。パラメトリック副情報適応器は、適応ダウンミックス行列ＤｄｍｘＰＳＩを１以上のオーディオオブジェクトＳに適用することによって、２以上の入力オーディオダウンミックスチャンネルＸｄｍｘＤＳＭが得られるように、適応ダウンミックス行列ＤｄｍｘＰＳＩを適応パラメトリック副情報として決定するように構成されてもよい。
【００２７】
さらに、一実施形態によると、１以上のオーディオオブジェクトが符号化された入力オーディオ情報から１以上のオーディオチャンネルを生成する装置が提供される。
【００２８】
１以上のオーディオチャンネルを生成する装置は、入力オーディオ情報を適応させて適応オーディオ情報を得る上述の実施形態のうちの１つによる装置を備え、入力オーディオ情報は、２以上の入力オーディオダウンミックスチャンネルを含み、入力パラメトリック副情報をさらに含み、適応オーディオ情報は、１以上の適応オーディオダウンミックスチャンネルを含み、適応パラメトリック副情報をさらに含む。
【００２９】
さらに、１以上のオーディオチャンネルを生成する装置は、適応パラメトリック副情報に基づき１以上の適応オーディオダウンミックスチャンネルを復号して１以上のオーディオチャンネルを得るデコーダインスタンスを備える。
【００３０】
一実施形態によると、入力オーディオ情報を適応させるパラメトリック副情報適応器は、入力パラメトリック副情報を含む入力ビットストリームを受信するように構成されていてもよい。入力オーディオ情報を適応させるパラメトリック副情報適応器は、入力パラメトリック副情報を適応させて適応パラメトリック副情報を取得し、適応パラメトリック副情報をデコーダインスタンスに供給するように構成されていてもよい。デコーダインスタンスは、適応パラメトリック副情報に基づき１以上の適応オーディオダウンミックスチャンネルを復号するように構成されていてもよい。
【００３１】
他の実施形態では、入力オーディオ情報を適応させるパラメトリック副情報適応器は、入力パラメトリック副情報を含む入力ビットストリームを受信するように構成されていてもよい。入力オーディオ情報を適応させるパラメトリック副情報適応器は、入力ビットストリーム内の入力パラメトリック副情報を適応パラメトリック副情報によって置換して、修正ビットストリームを得るように構成されていてもよい。入力オーディオ情報を適応させるパラメトリック副情報適応器は、修正ビットストリームをデコーダインスタンスに供給するように構成されていてもよい。さらに、デコーダインスタンスは、修正ビットストリームに応じて１以上の適応オーディオダウンミックスチャンネルを復号するように構成されていてもよい。
【００３２】
また、１以上のオーディオオブジェクトが符号化された入力オーディオ情報を適応させて適応オーディオ情報を得る方法が提供される。入力オーディオ情報は、２以上の入力オーディオダウンミックスチャネルを含み、入力パラメトリック副情報をさらに含む。適応オーディオ情報は、１以上の適応オーディオダウンミックスチャネルを含み、さらに適応パラメトリック副情報を含む。この方法は、
−  適応情報に基づき２以上の入力オーディオダウンミックスチャネルを適応させて１以上の適応オーディオダウンミックスチャネルを取得し、
−  適応情報に応じて入力パラメトリック副情報を適応さてせ適応パラメトリック副情報を得る
ことを含む。
【００３３】
さらに、コンピュータまたは信号プロセッサで実行されるときに上述の方法を実施するためのコンピュータプログラムが提供される。
【００３４】
好ましい実施形態が、従属請求項において提供される。
【００３５】
以下に、図面を参照して本発明の実施形態をより詳細に説明する。
【００３６】
以下、本発明の実施形態を、図面を参照してより詳しく説明する。
【図面の簡単な説明】
【００３７】
【図１】一実施形態による、１以上のオーディオオブジェクトが符号化された入力オーディオ情報を適応させて適応オーディオ情報を得る装置を示す。
【図２】他の実施形態による、１以上のオーディオオブジェクトが符号化された入力オーディオ情報を適応させて適応オーディオ情報を得る装置を示す。
【図３】ＳＡＯＣ方式の概念的全体像の概略ブロック図である。
【図４】単一チャネルオーディオ信号の時間−空間的表示の概略模式図である。
【図５】ＳＡＯＣエンコーダ内の副情報の時間−周波数選択的な計算の概略ブロック図である。
【図６】オーディオ符号化／復号化手法の原理を概略的に示す。
【図７】一実施形態による、１以上のオーディオオブジェクトが符号化された入力オーディオ情報から１以上のオーディオチャネルを生成する装置を示す。
【図８】一実施形態による、符号化／復号化手法内での結合型ＰＳＩＡアプリケーションを示す。
【図９】一実施形態による、符号化／復号化手法内での分離型ＰＳＩＡアプリケーションを示す。
【発明を実施するための形態】
【００３８】
本発明の実施形態を説明する前に、現行技術のＳＡＯＣ方式についての背景をさらに説明する。
【００３９】
図３は、ＳＡＯＣエンコーダ１０およびＳＡＯＣデコーダ１２の一般的構成を示す。ＳＡＯＣエンコーダ１０は、Ｎ個の入力オブジェクト、すなわち、オーディオ信号ｓ１〜ｓＮ信号１８にダウンミックスするダウンミキサ１６を備える。あるいは、ダウンミックスが外部から与えられ（「アーティスティックなダウンミックス」）、システムが、追加の副情報を推定して、与えられたダウンミックスを、計算されたダウンミックスに一致させるようにしてもよい。図２において、ダウンミックス信号は、Ｐチャンネル信号として示される。ここでは、モノラル（Ｐ＝１）、ステレオ（Ｐ＝２）またはマルチチャンネル（Ｐ＞２）のいずれのダウンミックス信号構成でもよい。
【００４０】
ダウンミックス信号１８のチャンネルは、ステレオダウンミックスの場合にはＬ０およびＲ０と表記され、モノラルダウンミックスの場合には単にＬ０と表記される。ＳＡＯＣデコーダ１２が個々のオブジェクトｓ１〜ｓＮを受信することができるようにするため、副情報推定器１７は、ＳＡＯＣパラメータを含む副情報をＳＡＯＣデコーダ１２に与える。例えば、ステレオダウンミックスの場合、ＳＡＯＣパラメータは、オブジェクトレベルの差（ＯＬＤ）、オブジェクト間相関（ＩＯＣ）（オブジェクト間相互相関パラメータ）、ダウンミックスゲイン値（ＤＭＧ）およびダウンミックスチャンネルレベルの差（ＤＣＬＤ）を含む。ＳＡＯＣパラメータを含む副情報２０は、ダウンミックス信号１８とともに、ＳＡＯＣデコーダ１２によって受信されたＳＡＯＣ出力データストリームを形成する。
【００４１】
ＳＡＯＣデコーダ１２はアップミキサを備え、このアップミキサは、副情報２０とともにダウンミックス信号１８を受信して、ＳＡＯＣデコーダ１２に入力されたレンダリング情報２６により規定されているレンダリングで、オーディオ信号ｓ＾１・・・ｓ＾Ｎを、任意のユーザ選択によるチャンネルセットｙ＾１・・・ｙ＾Ｍ上に復元およびレンダリングする。
【００４２】
オーディオ信号ｓ１からｓＮは、時間領域またはスペクトル領域のような何らかの符号化領域で、エンコーダ１０に入力される。オーディオ信号ｓ１からｓＮがＰＣＭ符号化されるなどして時間領域でエンコーダ１０に供給される場合、エンコーダ１０は、信号をスペクトル領域、すなわちオーディオ信号が異なるスペクトル部分に関連付けられた複数のサブバンドに特定のフィルタバンク解像度で表される領域、に変換するために、ハイブリッドＱＭＦバンクのようなフィルタバンクを用いることができる。オーディオ信号ｓ１からｓＮが、既にエンコーダ１０によって想定されているよう表現となっている場合には、スペクトル分解を行う必要はない。
【００４３】
図４は、今説明したスペクトル領域でのオーディオ信号を示す。図から分かるように、オーディオ信号は、複数のサブバンド信号として表される。各サブバンド信号３０１から３０Ｋは、小さい格子３２によって示されるサブバンド値の時間シーケンスからなる。図から分かるように、各サブバンド信号３０１から３０Ｋのサブバンド値３２は、連続するフィルタバンクタイムスロット３４の各々について、各サブバンド３０１から３０Ｋが１つだけのサブバンド値３２を含むように、時間において相互に同期される。周波数軸３６によって示すように、サブバンド信号３０１から３０Ｋは異なる周波数領域に関連付けられ、時間軸３８によって示すように、フィルタバンクタイムスロット３４は時間的に連続して配置される。
【００４４】
これまで概略したように、図３の副情報抽出器１７は、入力オーディオ信号ｓ１からｓＮからＳＡＯＣパラメータを計算する。現在実施されているＳＡＯＣ規格によると、エンコーダ１０は、フィルタバンクタイムスロット３４およびサブバンド分解によって決定されるような元の時間／周波数解像度に対して、所定量だけ低減される時間／周波数解像度における計算を実行し、この所定量が副情報２０内でデコーダ側に信号送信される。連続するフィルタバンクタイムスロット３４のグループは、ＳＡＯＣフレーム４１を形成することができる。また、ＳＡＯＣフレーム４１内のパラメータ帯域数も、副情報２０内で搬送される。したがって、時間／周波数領域は、図４において破線４２で例示される時間／周波数タイルに分割される。図４において、パラメータ帯域は、時間／周波数タイルが規則的配置になるように、種々の図示されたＳＡＯＣフレーム４１において同じように分散される。しかし、一般に、パラメータ帯域は、それぞれのＳＡＯＣフレーム４１におけるスペクトル解像度に対する異なる要求に応じて、１つのＳＡＯＣフレーム４１から後続のものまで変動し得る。またさらに、ＳＡＯＣフレーム４１の長さも同様に変動し得る。結果として、時間／周波数タイルの構成は不規則となる。それでも、特定のＳＡＯＣフレーム４１内の時間／周波数タイルは、通常は同じ継続時間を有し、時間方向において配列される。つまり、上記ＳＡＯＣフレーム４１の全ての時間／周波数タイルが所与のＳＡＯＣフレーム４１の開始時に開始し、上記ＳＡＯＣフレーム４１の終了時に終了する。
【００４５】
図３に示す副情報抽出器１７は、次の式に従って、ＳＡＯＣパラメータを計算する。具体的には、副情報抽出器１７は、各オブジェクトｉについてのオブジェクトレベル差を、
【数３】
2015525905.tif 000005
として計算する。なお、合計およびインデックスｎおよびｋは、それぞれ、全てのタイムインデックス３４、およびＳＡＯＣフレーム（または処理しているタイムスロット）についてのインデックスｌおよびパラメータ帯域についてのインデックスｍによって表される、所定の時間／周波数タイル４２に属する全てのインデックス３０となる。これにより、オーディオ信号またはオブジェクトｉの全てのサブバンド値ｘｉのエネルギーが合計され、全てのオブジェクトまたはオーディオ信号のうちのそのタイルの最も高いエネルギー値に正規化される。ｘｉｎ，ｋ＊は、ｘｉｎ，ｋの複素共役を示す。
【００４６】
また、ＳＡＯＣ副情報抽出器１７は、異なる入力オブジェクトｓ１からｓＮの対の対応する時間／周波数タイルの類似度を計算することができる。ＳＡＯＣ副情報抽出器１７は、入力オブジェクトｓ１からｓＮの全ての対の間の類似度を計算してもよいが、類似度の信号送信を抑制し、または共通ステレオチャネルの左もしくは右のチャネルを形成するオーディオオブジェクトｓ１からｓＮに類似度の計算を制限するようにしてもよい。いずれの場合にも、類似度は、オブジェクト間相互相関パラメータＩＯＣｉ，ｊｌ，ｍと呼ばれる。計算は次の通りである。
【数４】
2015525905.tif 000006
ここで、インデックスｎおよびｋは、所定の時間／周波数タイル４２に属する全てのサブバンド値を網羅し、ｉおよびｊは、オーディオオブジェクトｓ１からｓＮの所定の対を示し、Ｒｅ｛  ｝は、複素数の引数の虚部を切り捨てる演算を示す。
【００４７】
図３のダウンミキサ１６は、オブジェクトｓ１からｓＮを、各オブジェクトｓ１からｓＮに適用されるゲインファクタの使用によってダウンミックスする。すなわち、モノラルダウンミックス信号を得るために、ゲインファクタｄｉがオブジェクトｉに適用され、全ての重み付けされたオブジェクトｓ１からｓＮが合計される。これは、Ｐ＝１の場合が図３に例示されている。他の例として、２チャネルダウンミックス信号の場合では、Ｐ＝２の場合が図３に示されているように、左のダウンミックスチャネルＬ０を得るために、ゲインファクタｄ１，ｉがオブジェクトｉに適用され、そのようにゲイン増幅された全てのオブジェクトが合計され、右のダウンミックスチャネルＲ０を得るために、ゲインファクタｄ２，ｉがオブジェクトｉに適用され、そのようにゲイン増幅されたオブジェクトが合計される。これと同様の処理が、マルチチャネルダウンミックスの場合（Ｐ＞２）に適用される。
【００４８】
このダウンミックスの規定が、ダウンミックスゲインＤＭＧｉ、およびステレオダウンミックス信号の場合にはダウンミックスチャネルレベル差ＤＣＬＤｉによって、デコーダ側に信号送信される。
【００４９】
ダウンミックスゲインは、
【数５】
2015525905.tif 000007
により計算される。なお、εは、１０−９のような小さい数である。
【００５０】
ＤＣＬＤに対して、次式を適用する。
【数６】
2015525905.tif 000008
【００５１】
通常モードにおいて、ダウンミキサ１６は、モノラルダウンミックスについては、
【数７】
2015525905.tif 000009
に従って、ステレオダウンミックスについては、
【数８】
2015525905.tif 000010
に従って、それぞれダウンミックス信号を生成する。
【００５２】
したがって、上述した式において、パラメータＯＬＤおよびＩＯＣはオーディオ信号の関数であり、パラメータＤＭＧおよびＤＣＬＤはｄの関数である。なお、ｄは、時間および周波数において変動している場合がある。
【００５３】
したがって、通常モードでは、ダウンミキサ１６は、全てのオブジェクトｓ１からｓＮを、選好なく全てのオブジェクトｓ１からｓＮを均等に扱って、混合する。
【００５４】
デコーダ側において、アップミキサは、一計算ステップにおいて、すなわち、２チャネルダウンミックス
【数９】
2015525905.tif 000011
の場合において、ダウンミックス処理の逆、および行列Ｒ（文献によってはＡともいわれる）によって表される「レンダリング情報」２６の実施を実行する。なお、行列ＥはパラメータＯＬＤおよびＩＯＣの関数であり、行列Ｄは、
【数１０】
2015525905.tif 000012
のように、ダウンミックス係数を含む。
【００５５】
行列Ｅは、オーディオオブジェクトｓ１からｓＮの推定共分散行列である。現在のＳＡＯＣの実施において、推定共分散行列Ｅの計算は、通常はＳＡＯＣパラメータのスペクトル／時間解像度で、すなわち、各（ｌ，ｍ）に対して実行されるので、推定共分散行列はＥｌ，ｍとして記載することができる。推定共分散行列Ｅｌ，ｍの大きさはＮ×Ｎであり、その係数は、
【数１１】
2015525905.tif 000013
として定義される。
【００５６】
したがって、ｉ＝ｊについて、ＯＬＤｉｌ，ｍ＝ＯＬＤｊｌ，ｍ  およびＩＯＣｉ，ｊｌ，ｍ＝１であるので、
【数１２】
2015525905.tif 000014
となる行列Ｅｌ，ｍは、その対角に沿って、ｉ＝ｊについてのオブジェクトレベル差、すなわち、ＩＯＣｉ，ｊｌ，ｍ＝ＯＬＤｉｌ，ｍを有する。その対角の外部において、推定共分散行列Ｅは、オブジェクト間相互相関度ＩＯＣｉ，ｊｌ，ｍで重みづけされた、オブジェクトｉおよびｊのオブジェクトレベル差の幾何平均を表す行列係数をそれぞれ有する。
【００５７】
図５は、ＳＡＯＣエンコーダ１０の一部としての副情報抽出器（ＳＩＥ）の例における実施の１つの可能な原理を示す。ＳＡＯＣエンコーダ１０は、ミキサ１６および副情報抽出器（ＳＩＥ）１７を備える。ＳＩＥは、概念的に２つのモジュールを備える。一方のモジュール４５は、各信号の短時間ベースの時間／周波数表示（例えば、ＳＴＦＴまたはＱＭＦ）を計算するためのものである。計算された短時間時間／周波数表示は、第２のモジュール４６、時間／周波数選択副情報推定モジュール（時間／周波数ＳＩＥ）に供給される。時間／周波数モジュール４６は、各時間／周波数タイルについて副情報を計算する。現在のＳＡＯＣの実施では、時間／周波数変換は固定され、全てのオーディオオブジェクトｓ１からｓＮについて同一である。またさらに、ＳＡＯＣパラメータは、全てのオーディオオブジェクトについて同じであって全てのオーディオオブジェクトｓ１からｓＮについて同じ時間／周波数解像度を有するＳＡＯＣフレーム上で決定される。したがって、細かい時間解像度や細かいスペクトル解像度について、オブジェクト特有の要求を無視する場合がある。
【００５８】
以下で、本発明の実施形態を説明する。
【００５９】
図１は、一実施形態による、１以上のオーディオオブジェクトが符号化された入力オーディオ情報を適応させて適応オーディオ情報を得る装置を示す。
【００６０】
入力オーディオ情報は２以上の入力オーディオダウンミックスチャネルを含み、入力パラメトリック副情報をさらに含む。適応オーディオ情報は、１以上の適応オーディオダウンミックスチャネルを含み、適応パラメトリック副情報をさらに含む。
【００６１】
この装置は、適応情報に応じて２以上の入力オーディオダウンミックスチャネルを適応させて１以上の適応オーディオダウンミックスチャネルを得るダウンミックス信号修正器（ＤＳＭ）１１０を備える。
【００６２】
図２は、他の実施形態による、適応オーディオ情報を得るために、１以上のオーディオオブジェクトを符号化する入力オーディオ情報を適応させて適応オーディオ情報を得る装置を示す。
【００６３】
一実施形態では、適応情報はデコーダインスタンスに依存し、ダウンミックス信号修正器１１０は、デコーダインスタンスに応じて２以上の入力オーディオダウンミックスチャネルを適応させるように構成されてもよい。
【００６４】
例えば、図２のダウンミックス信号修正器１１０は、ダウンミックスを特定のデコーダインスタンスの能力に適応させる。
【００６５】
一実施形態によると、ダウンミックス信号修正器１１０は、１以上の適応オーディオダウンミックスチャネル数が２以上の入力オーディオダウンミックスチャネル数よりも小さくなるように、適応情報に応じて２以上の入力オーディオダウンミックスチャネルを適応させるように構成されていてもよい。
【００６６】
例えば、図２の実施形態では、ダウンミックス信号修正器１１０が、トランスポート／ダウンミックスチャネル数を減少させる。
【００６７】
例えば、２２．２個の入力オーディオダウンミックスチャネル（＝２４個の入力オーディオダウンミックスチャネル）が、７．１個の適応オーディオダウンミックスチャネル（＝８個の適応オーディオダウンミックスチャネル）に低減される。
【００６８】
あるいは、例えば、５．１個の入力オーディオダウンミックスチャネル（＝６個の入力オーディオダウンミックスチャネル）が、２．０個の適応オーディオダウンミックスチャネル（＝２個の適応オーディオダウンミックスチャネル）に低減される。
【００６９】
あるいは、例えば、２個の入力オーディオダウンミックスチャネルが、１個の適応オーディオダウンミックスチャネルに低減される。
【００７０】
入力オーディオダウンミックスチャネルと適応オーディオダウンミックスチャネルの種々の他の組合せが可能である。
【００７１】
一実施形態によると、デコーダインスタンスは、最大でダウンミックスチャネルの最大数を復号する能力があればよい。適応情報は、ダウンミックスチャネルの最大数に依存することになる。さらに、ダウンミックス信号修正器１１０は、１以上の適応ダウンミックスチャネル数がダウンミックスチャネルの最大数に等しくなるように、適応情報に応じて２以上の入力オーディオダウンミックスチャネルを適応させて１以上の適応オーディオダウンミックスチャネルを得るように構成されることができる。
【００７２】
例えば、図２のダウンミックス信号修正器１１０は、ダウンミックスを、特定のデコーダインスタンスの最大サポート出力チャネル構成に対応するオーディオ信号に変換する。
【００７３】
一実施形態によると、適応情報は、例えば、適応行列ＤｄｍｘＤＳＭを含むことができる。
【００７４】
パラメトリック副情報適応器１２０は、例えば、ＰＳＩを、デコーダについての計算の複雑さを減少させるために修正ダウンミックスに対応させ、デコーダ出力オーディオ品質上に悪影響を及ぼすことなく対応のデータビットストリームのサイズ／ビットレートを減少させるように適応させる。
【００７５】
例えば、ＰＳＩＡ１２０は、最初のダウンミックス行列を表す情報を（ＤＳＭ修正を考慮する）結果としてのダウンミックスを記述する更新情報によって置換する対応のＰＳＩビットストリームを修正して、デコーダの特定の仕様に対応させる。
【００７６】
例えば、ＳＡＯＣエンコーダは、エンコーダダウンミックス行列ＤｄｍｘＥＮＣの適用によって得られるステレオダウンミックス信号ＸｄｍｘＥＮＣを、入力オーディオオブジェクト信号Ｓに与える。
【数１３】
2015525905.tif 000015
【００７７】
一実施形態によると、ダウンミックス信号修正器１１０は、適応行列ＤｄｍｘＤＳＭに基づき、２以上の入力オーディオダウンミックスチャネルＸｄｍｘＥＮＣを適応させて、１以上の適応オーディオダウンミックスチャネルＸｄｍｘＤＳＭを得るように構成されてもよい。一実施形態では、これは、例えば、式
【数１４】
2015525905.tif 000016
を適用することによって実現される。
【００７８】
例えば、一実施形態では、特定のＳＡＯＣデコーダインスタンスがモノダウンミックス（例えば、ＳＡＯＣ  Ｌｏｗ  Ｄｅｌａｙプロファイル／Ｌｅｖｅｌ  １）のみをサポートするものとする。この場合、ＤＳＭ１１０は、あらかじめ規定されたダウンミックス行列ＤｄｍｘＤＳＭを用いて、ステレオダウンミックスＸｄｍｘＥＮＣを、モノラル信号ＸｄｍｘＤＳＭに変換する。この場合も、数１４の式が適用される。
【００７９】
一実施形態によると、パラメトリック副情報適応器１２０は、適応行列ＤｄｍｘＤＳＭに基づき入力パラメトリック副情報ＤｄｍｘＥＮＣを適応させて、適応パラメトリック副情報ＤｄｍｘＰＳＩを得るように構成されてもよい。一実施形態では、これは、例えば、式
【数１５】
2015525905.tif 000017
を適用することによって実現される。
【００８０】
例えば、一実施形態によると、ＰＳＩＡ１２０は、対応するＰＳＩビットストリームを解析し、ダウンミックス行列ＤｄｍｘＥＮＣを記述する情報を抽出し、これらのデータを新たなダウンミックス行列ＤｄｍｘＰＳＩを記述する更新情報によって置換する（数１５）。
【００８１】
したがって、一実施形態によると、入力パラメトリック副情報ＤｄｍｘＥＮＣは、１以上のオーディオオブジェクトＳに適用することによって２以上の入力オーディオダウンミックスチャンネルＸｄｍｘｅｎｃが得られる初期ダウンミックス行列Ｄｄｍｘｅｎｃを示してもよい。パラメトリック副情報適応器は、適応ダウンミックス行列ＤｄｍｘＰＳＩを１以上のオーディオオブジェクトＳに適用することによって、２以上の入力オーディオダウンミックスチャンネルＸｄｍｘＤＳＭが得られるように、適応ダウンミックス行列ＤｄｍｘＰＳＩを適応パラメトリック副情報として決定するように構成されてもよい。
【００８２】
一実施形態では、ＰＳＩＡが、新たな修正ビットストリームをフォーマットし、またはこれらのパラメータをデコーダに直接渡す。
【００８３】
ＰＳＩＡによって実行されるこの符号化および復号化処理は、異なるダウンミックス行列表示フォーマット（例えば、極座標系からデカルト座標系など）の変換を含むこともできる。
【００８４】
この記述されたＰＳＩＡの関数は、潜在的な互換性の問題を解決し、対応するビットストリームのサイズを減少させることができる。
【００８５】
図７は、一実施形態による、１以上のオーディオオブジェクトが符号化された入力オーディオ情報から１以上のオーディオチャネルを生成するオーディオチャネル生成装置７００を示す。
【００８６】
このオーディオチャネル生成装置７００は、入力オーディオ情報を適応させて適応オーディオ情報を得る上述の実施形態の１つによる装置７１０（以下、「入力オーディオ情報適応装置」という）を備える。入力オーディオ情報は、２以上の入力オーディオダウンミックスチャネルを含み、さらに、入力パラメトリック副情報を含む。適応オーディオ情報は、１以上の適応オーディオダウンミックスチャネルを含み、さらに、適応パラメトリック副情報を含む。
【００８７】
入力オーディオ情報適応装置７１０は、ダウンミックス信号修正器１１０およびパラメトリック副情報適応器１２０を備える。
【００８８】
さらに、オーディオチャネル生成装置７００は、適応パラメトリック副情報に応じて１以上の適応オーディオダウンミックスチャネルを復号して１以上のオーディオダウンミックスチャネルを得るデコーダインスタンス７２０を備える。
【００８９】
一実施形態によると、入力オーディオ情報適応装置７１０のパラメトリック副情報適応器１２０は、入力パラメトリック副情報を含む入力ビットストリームを受信するように構成されてもよい。入力オーディオ情報適応装置７１０のパラメトリック副情報適応器１２０は、入力パラメトリック副情報を適応させて適応パラメトリック副情報を得て、適応パラメトリック副情報をデコーダインスタンス７２０に供給するように構成されてもよい。デコーダインスタンス７２０は、適応パラメトリック副情報に応じて、１以上の適応オーディオダウンミックスチャネルを復号するように構成されてもよい。
【００９０】
他の実施形態では、入力オーディオ情報適応装置７１０のパラメトリック副情報適応器１２０は、入力パラメトリック副情報を含む入力ビットストリームを受信するように構成されてもよい。入力オーディオ情報適応装置７１０のパラメトリック副情報適応器１２０は、入力ビットストリーム内の入力パラメトリック副情報を適応パラメトリック副情報で置換して修正ビットストリームを得るように構成されてもよい。入力オーディオ情報適応装置７１０のパラメトリック副情報適応器１２０は、修正ビットストリームをデコーダインスタンス７２０に供給するように構成されてもよい。さらに、デコーダインスタンス７２０は、修正ビットストリームに応じて、１以上の適応オーディオダウンミックスチャネルを復号するように構成されてもよい。
【００９１】
図８および９に、入力オーディオ情報を復号処理チェーンに適応させるための装置を内蔵する２つの可能性を図示する。
【００９２】
具体的には、図８は、一実施形態による符号化／復号化手法における結合型ＰＳＩＡアプリケーションを示す。
【００９３】
図８は、１以上のオーディオオブジェクトを符号化する入力オーディオ情報から１以上のオーディオチャネルを生成するための複数のオーディオチャネル生成装置８００、８０１および８０２を示す。このオーディオチャネル生成装置８００は、入力オーディオ情報適応装置８１０、およびデコーダインスタンス８２０を備え、オーディオチャネル生成装置８０１は、入力オーディオ情報適応装置８１１、およびデコーダインスタンス８２１を備え、オーディオチャネル生成装置８０２は、入力オーディオ情報適応装置８１２、およびデコーダインスタンス８２２を備える。なお、例えば、入力オーディオ情報適応装置８１０およびデコーダインスタンス８２０を備えるオーディオチャネル生成装置８００は、単一のハードウェアユニットとして実現されてもよく、有線で接続され、または無線で接続される個別の２つのユニット８１０および８２０で実現されてもよい。
【００９４】
復号化のための計算の複雑さを軽減するために、入力オーディオ情報適応装置の結合型の（一体化された）実装を実現することができる（図８参照）。さらに、これによって、入力オーディオ情報適応装置とデコーダとの間の非量子化（非符号化）インターフェイスを実装することが可能となる。これは、特に、電力消費を低減するための移動体アプリケーションデバイスに対して適切なものとなり得る。
【００９５】
図９は、一実施形態による符号化／復号化手法における非結合型ＰＳＩＡアプリケーションを示す。
【００９６】
特に、図９は、１以上のオーディオオブジェクトを符号化する入力オーディオ情報から１以上のオーディオチャネルを生成するための複数のオーディオチャネル生成装置９００、９０１および９０２を示し、ここで、オーディオチャネル生成装置９００は、入力オーディオ情報適応装置９１０、およびデコーダインスタンス９２０を備え、オーディオチャネル生成装置９０１は、入力オーディオ情報適応装置９１１、およびデコーダインスタンス９２１を備え、オーディオチャネル生成装置９０２は、入力オーディオ情報適応装置９１２、およびデコーダインスタンス９２２を備える。なお、例えば、入力オーディオ情報適応装置９１０およびデコーダインスタンス９２０を備えるオーディオチャネル生成装置９００は、単一のハードウェアユニットとして実現されていなくてもよく、有線で接続され、または無線で接続される個別の２つのユニット９１０および９２０で実現されてもよい。
【００９７】
図９に示されるように、対応するデータビットストリームのサイズ／ビットレートを低減するために、入力オーディオ情報適応装置の非結合型の（分離された）実装を実現することができる。これは、特に、限られた蓄積および送信容量の移動体アプリケーションデバイスおよび狭いデータ遷移チャネルの多地点接続装置（ＭＣＵ）システムに対して適切なものとなり得る。
【００９８】
いくつかの形態を装置との関連で説明したが、それらの形態が対応の方法の説明も兼ねることは明らかであり、ブロックまたはデバイスは方法のステップまたは方法のステップの特徴に対応する。同様に、方法ステップに関連して説明した形態はまた、対応する装置の対応のブロック、内容または特徴の記載も兼ねる。
【００９９】
本発明の分解信号はデジタル記憶媒体に格納され、またはインターネットのような無線伝送媒体もしくは有線伝送媒体といった伝送媒体上で伝送されることができる。
【０１００】
特定の実施要件に応じて、発明の実施形態はハードウェアまたはソフトウェアで実施されることができる。その実施は、それぞれの方法が実行されるようにプログラマブルコンピュータシステムと協働する（または協働することができる）電子的に可読な制御信号が格納されたデジタル記憶媒体、例えば、フレキシブルディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）もしくはフラッシュメモリを用いて実行することができる。
【０１０１】
本発明によるいくつかの実施形態は、ここに記載された方法の１つが実行されるようなプログラマブルコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有する非一時的なデータキャリアを備える。
【０１０２】
全体として、本発明の実施形態は、プログラムコードを持つコンピュータプログラム製品として実施でき、プログラムコードは、コンピュータプログラム製品がコンピュータ上で稼働したときに方法の１つを実行するように動作するものである。プログラムコードは、例えば、機械読取り可能なキャリア上に記憶されることができる。
【０１０３】
他の実施形態では、ここに記載された方法の１つを実行するための、機械読取り可能なキャリアに記憶されたコンピュータプログラムを備える。
【０１０４】
言い換えると、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で稼働するときに、ここに記載された方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１０５】
したがって、本発明の方法の更なる実施形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムを、記録して備えるデータキャリア（すなわち、デジタル記憶媒体またはコンピュータ可読媒体）である。
【０１０６】
さらなる実施形態は、ここに記載された方法の１つを実行するように構成または適応された、例えば、コンピュータまたはプログラマブルロジックデバイスなどの処理手段を含む。
【０１０７】
さらなる実施形態は、ここに記載された方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【０１０８】
実施形態によっては、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ、ＦＰＧＡ）が、ここに記載された方法の機能の一部または全部を実行するのに使用されてもよい。実施形態によっては、ここに記載された方法の１つを実行するために、フィールドプログラマブルゲートアレイはマイクロプロセッサと協働してもよい。それらの方法は、一般に、どのようなハードウェア装置によっても好適に実行される。
【０１０９】
上述した実施形態は、本発明の原理を例示的に示しただけである。ここに記載された構成および詳細の変形例や修正例は、当業者には明白であろう。したがって、実施形態の記述および説明によってここに提示された具体的詳細によってではなく、直後に記載する特許請求の範囲によってのみ限定されることを意図するものである。
【図１】
2015525905.tif 000020
【図２】
2015525905.tif 000021
【図３】
2015525905.tif 000022
【図４】
2015525905.tif 000023
【図５】
2015525905.tif 000024
【図６】
2015525905.tif 000025
【図７】
2015525905.tif 000026
【図８】
2015525905.tif 000027
【図９】
2015525905.tif 000028
【手続補正書】
【提出日】平成26年5月12日(2014.5.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１以上のオーディオオブジェクトが符号化された入力オーディオ情報であって、２以上の入力オーディオダウンミックスチャンネルを含み、入力パラメトリック副情報をさらに含む入力オーディオ情報を、適応させて、１以上の適応オーディオダウンミックスチャンネルを含み、適応パラメトリック副情報をさらに含む適応オーディオ情報を得る装置であって、
適応情報に基づき前記２以上の入力オーディオダウンミックスチャンネルを適応させて、前記１以上の適応オーディオダウンミックスチャンネルを得るダウンミックス信号修正器（１１０）と、
前記適応情報に基づき前記入力パラメトリック副情報を適応させて、記適応パラメトリック副情報を得るパラメトリック副情報適応器（１２０）と、
を備え、
前記適応情報は、適応行列ＤｄｍｘＤＳＭを含み、
前記ダウンミックス信号修正器（１１０）が、前記適応行列ＤｄｍｘＤＳＭに基づき前記２以上のオーディオダウンミックスチャンネルＸｄｍｘＥＮＣを適応させて、前記１以上の適応オーディオダウンミックスチャンネルＸｄｍｘＤＳＭを得るように構成され、
前記パラメトリック副情報適応器（１２０）は、前記適応行列ＤｄｍｘＤＳＭに基づき前記入力パラメトリック副情報ＤｄｍｘＥＮＣを適応させて、前記適応パラメトリック副情報ＤｄｍｘＰＳＩを得るように構成された、
装置。
【請求項２】
請求項１に記載の装置において、
前記入力パラメトリック副情報ＤｄｍｘＥＮＣは、前記１以上のオーディオオブジェクトＳに適用することによって前記２以上の入力オーディオダウンミックスチャンネルＸｄｍｘｅｎｃが得られる初期ダウンミックス行列Ｄｄｍｘｅｎｃを示し、
前記パラメトリック副情報適応器（１２０）は、適応ダウンミックス行列ＤｄｍｘＰＳＩを前記１以上のオーディオオブジェクトＳに適用することによって、前記２以上の入力オーディオダウンミックスチャンネルＸｄｍｘＤＳＭが得られるように、前記適応ダウンミックス行列ＤｄｍｘＰＳＩを前記適応パラメトリック副情報として決定するように構成された、
装置。
【請求項３】
請求項１または２に記載の装置において、前記ダウンミックス信号修正器（１１０）は、前記１以上の適応オーディオダウンミックスチャンネルの数が前記２以上の入力オーディオダウンミックスチャンネルの数よりも小さくなるように、前記適応情報に基づき、前記２以上の入力オーディオダウンミックスチャンネルを適応させるように構成された、装置。
【請求項４】
請求項１から３のいずれか１項に記載の装置において、前記適応情報はデコーダインスタンスに依存し、前記ダウンミックス信号修正器（１１０）は、前記デコーダインスタンスに応じて前記２以上の入力オーディオダウンミックスチャンネルを適応させるように構成された、装置。
【請求項５】
請求項４に記載の装置において、
前記デコーダインスタンスは、最大でダウンミックスチャンネルの最大数を復号することができ、
前記適応情報は、前記ダウンミックスチャンネルの最大数に依存し、
前記ダウンミックス信号修正器（１１０）が、前記１以上の適応オーディオダウンミックスチャンネルの数が前記ダウンミックスチャンネルの最大数に等しくなるように、前記適応情報に応じて前記２以上の入力オーディオダウンミックスチャンネルを適応させて、前記１以上の適応オーディオダウンミックスチャンネルを得るように構成された、装置。
【請求項６】
請求項１から５のいずれか１項に記載の装置において、前記ダウンミックス信号修正器（１１０）は、
【数１】
2015525905.tif 000029
を適用することによって、前記適応行列ＤｄｍｘＤＳＭに基づき前記２以上のオーディオダウンミックスチャンネルＸｄｍｘＥＮＣを適応させて、１以上の適応オーディオダウンミックスチャンネルＸｄｍｘＤＳＭを得るように構成された、装置。
【請求項７】
請求項１から６のいずれか１項に記載の装置において、前記パラメトリック副情報適応器（１２０）は、
【数２】
2015525905.tif 000030
を適用することによって、前記適応行列ＤｄｍｘＤＳＭに基づき前記入力パラメトリック副情報ＤｄｍｘＥＮＣを適応させて、適応パラメトリック副情報ＤｄｍｘＰＳＩを得るように構成された、装置。
【請求項８】
１以上のオーディオオブジェクトが符号化された入力オーディオ情報から１以上のオーディオチャネルを生成する装置（７００、８００、８０１、８０２、９００、９０１、９０２）であって、
前記入力オーディオ情報は、２以上の入力オーディオダウンミックスチャンネルを含み、入力パラメトリック副情報をさらに含み、この入力オーディオ情報を適応させて、１以上の適応オーディオダウンミックスチャンネルを含み、適応パラメトリック副情報をさらに含む適応オーディオ情報を得る請求項１から６のいずれか１項に記載の装置（７１０、８１０、８１１、８１２、９１０、９１１、９１２）と、
前記適応パラメトリック副情報に基づき前記１以上の適応オーディオダウンミックスチャンネルを復号して前記１以上のオーディオチャンネルを得るデコーダインスタンス（７２０、８２０、８２１、８２２、９２０、９２１、９２２）と、
を備える装置。
【請求項９】
請求項８に記載の装置（７００；８００、８０１、８０２）において、
請求項１から７のいずれか１項に記載の装置（７１０、８１０、８１１、８１２）の前記パラメトリック副情報適応器（１２０）は、前記入力パラメトリック副情報を含む入力ビットストリームを受信するように構成され、
請求項１から７のいずれか１項に記載の装置（７１０、８１０、８１１、８１２）の前記パラメトリック副情報適応器（１２０）は、前記入力パラメトリック副情報を適応させて前記適応パラメトリック副情報を取得し、そのパラメトリック副情報を前記デコーダインスタンス（７２０、８２０、８２１、８２２）に供給するように構成され、
前記デコーダインスタンス（７２０、８２０、８２１、８２２）は、前記適応パラメトリック副情報に基づき前記１以上の適応オーディオダウンミックスチャンネルを復号するように構成された、
装置。
【請求項１０】
請求項８に記載の装置（７００；９００、９０１、９０２）において、
請求項１から７のいずれか１項に記載の装置（７１０、９１０、９１１、９１２）の前記パラメトリック副情報適応器（１２０）は、前記入力パラメトリック副情報を含む入力ビットストリームを受信するように構成され、
請求項１から７のいずれか１項に記載の装置（７１０、９１０、９１１、９１２）の前記パラメトリック副情報適応器（１２０）は、前記入力ビットストリーム内の前記入力パラメトリック副情報を前記適応パラメトリック副情報によって置換して、修正ビットストリームを得るように構成され、
請求項１から７のいずれか１項に記載の装置（７１０、９１０、９１１、９１２）の前記パラメトリック副情報適応器（１２０）は、前記修正ビットストリームを前記デコーダインスタンス（７２０、９２０、９２１、９２２）に供給するように構成され、
前記デコーダインスタンス（７２０、９２０、９２１、９２２）が、前記修正ビットストリームに応じて前記１以上の適応オーディオダウンミックスチャンネルを復号するように構成された、
装置。
【請求項１１】
１以上のオーディオオブジェクトが符号化された入力オーディオ情報であって、２以上の入力オーディオダウンミックスチャンネルを含み、入力パラメトリック副情報をさらに含む入力オーディオ情報を、適応させて、１以上の適応オーディオダウンミックスチャンネルを含み、適応パラメトリック副情報をさらに含む適応オーディオ情報を得る方法であって、
適応情報に基づき前記２以上の入力オーディオダウンミックスチャンネルを適応させて、前記１以上の適応オーディオダウンミックスチャンネルを取得し、
前記適応情報に基づき前記入力パラメトリック副情報を適応させて、記適応パラメトリック副情報を取得し、
前記適応情報は、適応行列ＤｄｍｘＤＳＭを含み、
前記２以上の入力オーディオダウンミックスチャンネルを適応させるステップでは、前記適応行列ＤｄｍｘＤＳＭに基づき前記２以上のオーディオダウンミックスチャンネルＸｄｍｘＥＮＣを適応させて、前記１以上の適応オーディオダウンミックスチャンネルＸｄｍｘＤＳＭを取得し、
前記パラメトリック副情報を適応させるステップでは、前記適応行列ＤｄｍｘＤＳＭに基づき前記入力パラメトリック副情報ＤｄｍｘＥＮＣを適応させて、前記適応パラメトリック副情報ＤｄｍｘＰＳＩを取得する
方法。
【請求項１２】
請求項１１に記載の方法において、
前記入力パラメトリック副情報ＤｄｍｘＥＮＣは、前記１以上のオーディオオブジェクトＳに適用することによって前記２以上の入力オーディオダウンミックスチャンネルＸｄｍｘｅｎｃが得られる初期ダウンミックス行列Ｄｄｍｘｅｎｃを示し、
前記パラメトリック副情報を適応するステップでは、適応ダウンミックス行列ＤｄｍｘＰＳＩを前記１以上のオーディオオブジェクトＳに適用することによって、前記２以上の入力オーディオダウンミックスチャンネルＸｄｍｘＤＳＭが得られるように、前記適応ダウンミックス行列ＤｄｍｘＰＳＩを前記適応パラメトリック副情報として決定する
方法。
【請求項１３】
コンピュータまたは信号プロセッサによって実行されるときに請求項１１または１２に記載の方法を実施するためのコンピュータプログラム。
【国際調査報告】
2015525905.tif 000031
2015525905.tif 000032
2015525905.tif 000033
2015525905.tif 000034
2015525905.tif 000035