(57)【要約】  本発明は、符号化されたオーディオ信号（１００）を処理するための装置に関する。オーディオ信号（１００）は、一連のアクセスユニット（１００’）を含み、各アクセスユニットは、第１のスペクトル幅を有するコア信号（１０１）と、第１のスペクトル幅よりも上のスペクトルを記述するパラメータとを含む。装置は、符号化されたオーディオ信号（１００）のアクセスユニット（１００’）から、コア信号（１０１）およびパラメータのセット（１０２）を生成するためのデマルチプレクサ（１）と、アクセスユニット（１００’）のコア信号（１０１）をアップサンプリングし、第１のアップサンプリングされたスペクトル（１０３）および時間的に連続した第２のアップサンプリングされたスペクトル（１０３’）を出力するアップサンプラ（２）であって、第１のアップサンプリングされたスペクトル（１０３）と第２のアップサンプリングされたスペクトル（１０３’）は両方とも、コア信号（１０１）と同じコンテンツを有し、コアスペクトル（１０１）の第１のスペクトル幅よりも大きい第２のスペクトル幅を有する、アップサンプラ（２）と、アクセスユニット（１００’）のパラメータセット（１０２）のパラメータを変換して、変換されたパラメータ（１０４、１０４’）を取得するためのパラメータ変換器（３）と、変換されたパラメータ（１０４）を用いて、第１のアップサンプリングされたスペクトル（１０３）と、第２のアップサンプリングされたスペクトル（１０３’）とを処理するためのスペクトル・ギャップ・フィリング・プロセッサ（４）と、を含む。本発明は、対応する方法も参照する。【選択図】図１４
2019502948.tif 000002
【特許請求の範囲】
【請求項１】
符号化されたオーディオ信号（１００）を処理するための装置であって、
前記符号化されたオーディオ信号（１００）は、一連のアクセスユニット（１００’）を含み、前記アクセスユニットの各々は、第１のスペクトル幅を有するコア信号（１０１）と、前記第１のスペクトル幅よりも上のスペクトルを記述するパラメータとを含み、
前記装置は、
前記符号化されたオーディオ信号（１００）のアクセスユニット（１００’）から、前記コア信号（１０１）および前記パラメータのセット（１０２）を生成するためのデマルチプレクサ（１）と、
前記アクセスユニット（１００’）の前記コア信号（１０１）をアップサンプリングし、第１のアップサンプリングされたスペクトル（１０３）および時間的に連続した第２のアップサンプリングされたスペクトル（１０３’）を出力するアップサンプラ（２）であって、前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）は両方とも、前記コア信号（１０１）と同じコンテンツを有し、前記コアスペクトル（１０１）の前記第１のスペクトル幅よりも大きい第２のスペクトル幅を有する、アップサンプラ（２）と、
前記アクセスユニット（１００’）の前記パラメータセット（１０２）のパラメータを変換して、変換されたパラメータ（１０４、１０４’）を取得するためのパラメータ変換器（３）と、
前記変換されたパラメータ（１０４）を用いて、前記第１のアップサンプリングされたスペクトル（１０３）と、前記第２のアップサンプリングされたスペクトル（１０３’）とを処理するためのスペクトル・ギャップ・フィリング・プロセッサ（４）と、を含む装置。
【請求項２】
前記アップサンプラ（２）は、前記コア信号（１０１）のスペクトルの上側をゼロで満たし、前記コア信号（１０１）の前記満たされたスペクトル（１１０）から、前記第１のアップサンプリングされたスペクトル（１０３’）および前記第２のアップサンプリングされたスペクトル（１０３’）を導出するように構成される、請求項１に記載の装置。
【請求項３】
前記アップサンプラ（２）は、前記アクセスユニット（１００’）に直接先行するアクセスユニット（１００’’）のコア信号を追加的に用いて、前記アクセスユニット（１００’）の前記コア信号（１０１）をアップサンプリングするように構成される、請求項１または２に記載の装置。
【請求項４】
前記アップサンプラ（２）は、時間的に連続した第１の数のアクセスユニット（１００’、１００’’、１００’’’）のコア信号（１０１）を収集し、前記コア信号（１０１）から非整数のアップサンプリング比率で第２の数のアップサンプリングされたスペクトル（１０３）を処理するように構成され、前記第１の数が比率の分母であり前記第２の数が比率の分子である、請求項１〜３のいずれかに記載の装置。
【請求項５】
前記パラメータ変換器（３）は、時間的に連続したタイムスロットの第１の部分を参照して、前記パラメータセット（１０２）のパラメータの第１のサブセットを変換し、タイムスロットの前記第１の部分に時間的に連続した前記タイムスロットの第２の部分を参照して、前記パラメータセット（１０２）のパラメータの第２のサブセットを変換するように構成され、
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記第１のアップサンプリングされたスペクトル（１０３）と共に第１の変換されたパラメータのサブセット（１０４）を処理し、前記第２のアップサンプリングされたスペクトル（１０３’）と共に第２の変換されたパラメータのサブセット（１０４’）を処理するように構成される、請求項１〜４のいずれかに記載の装置。
【請求項６】
前記変換器（３）は、前記パラメータセット（１０２）のエネルギー値を参照するパラメータを、前記パラメータ値を所定のスケール係数でスケーリングすることにより、前記スペクトル・ギャップ・フィリング・プロセッサ（４）によって使用可能なエネルギー値に変換するように構成される、請求項１〜５のいずれかに記載の装置。
【請求項７】
前記変換器（３）は、前記アクセスユニット（１００’）に関連する窓関数に関する情報を抽出するように構成され、
前記変換器（３）は前記窓関数に従って前記スケール係数を適合させるように構成される、請求項６に記載の装置。
【請求項８】
前記変換器（３）は、遅延補償を挿入することによって、前記パラメータセット（１０２）のパラメータをシフトするように構成される、請求項１〜７のいずれかに記載の装置。
【請求項９】
前記アップサンプラ（２）は、前記コア信号（１０１）の値を補間することによって前記コア信号（１０１）をアップサンプリング（２０）するように構成される、請求項１〜８のいずれかに記載の装置。
【請求項１０】
前記アップサンプラ（２）は、前記先行するアクセスユニット（１００’’）の前記コア信号のスペクトルをゼロで満たすように構成され、
前記アップサンプラ（２）は、前記アクセスユニット（１００’）の前記コア信号（１０１）のスペクトルをゼロで満たすように構成され、
前記アップサンプラ（２）は、前記アクセスユニット（１００’）の前記満たされたスペクトル、および先行する前記アクセスユニット（１００’’）の前記満たされたスペクトルの逆変換（２１）を実行するように構成され、
前記アップサンプラ（２）は、前記先行するアクセスユニット（１００’’）の前記満たされたスペクトルに対する時間領域信号と、前記アクセスユニット（１００’）の前記満たされたスペクトルに対する時間領域信号とのオーバーラップ加算を実行して、中間時間信号（１１１）を取得するように構成される、請求項１〜９のいずれかに記載の装置。
【請求項１１】
前記アップサンプラ（２）は、前記中間時間信号（１１１）の第１の部分を用いてフォワード変換を実行して、前記第１のアップサンプリングされたスペクトル（１０３）を取得するように構成され、
前記アップサンプラ（２）は、前記中間時間信号（１１１）の第２の部分を用いてフォワード変換を実行して、前記第２のアップサンプリングされたスペクトル（１０３’）を取得するように構成され、
前記第１の部分は前記第２の部分とオーバーラップする、請求項１０に記載の装置。
【請求項１２】
前記アップサンプラ（２）は、前記コア信号（１０１）をアップサンプリング（２０）して、アップサンプリングされたコア信号（１１０）を取得するように構成され、
前記アップサンプラ（２）は、前記アップサンプリングされたコア信号（１１０）に対して逆変換（２１）を実行して、時間領域信号（１１１）を取得するように構成され、
前記アップサンプラ（２）は、変換（２２、２３）を適用することにより、前記時間領域信号（１１１）を処理して、前記第１のアップサンプリングされたスペクトル（１０３）と前記時間的に連続する第２のアップサンプリングされたスペクトル（１０３’）とを取得するように構成され、
前記逆変換（２１）は前記変換の逆変換である、請求項１〜１１のいずれかに記載の装置。
【請求項１３】
前記逆変換は逆変形離散コサイン変換であり、前記変換は変形離散コサイン変換である、請求項１２に記載の装置。
【請求項１４】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記変換されたパラメータ（１０４、１０４’）を用いて前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）とを復号化して、時間領域出力信号（３００）を取得するように構成される、請求項１〜１３のいずれかに記載の装置。
【請求項１５】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記変換されたパラメータの第１の部分（１０４）を前記第１のアップサンプリングされたスペクトル（１０３）に適用して第１の処理されたスペクトルを取得し、前記変換されたパラメータの第２の部分（１０４’）を前記第２のアップサンプリングされたスペクトル（１０３’）に適用して第２の処理されたスペクトルを取得するように構成される、請求項１４に記載の装置。
【請求項１６】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記第１の処理されたスペクトルと前記第２の処理されたスペクトルとを時間領域に変換するためのスペクトル変換器（７）を含むように構成され、
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、少なくとも２つの出力時間信号をオーバーラップ加算してオーディオ信号（３００）を取得するように構成されたオーディオ加算器（９）を含むように構成される、請求項１〜１３のいずれかに記載の装置。
【請求項１７】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、第１のアクセスユニットおよび第２のアクセスユニットを有する、スペクトル・ギャップ・フィリングにより符号化された信号を生成するように構成され、前記第１のアクセスユニットは、前記第１のアップサンプリングされたスペクトルの変換されたバージョンおよび前記変換されたパラメータの第１の部分を含み、前記第２のアクセスユニットは、前記第２のアップサンプリングされたスペクトルの変換されたバージョンおよび前記変換されたパラメータの第２の部分を含む、請求項１〜１６のいずれかに記載の装置。
【請求項１８】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、第１のアクセスユニットおよび第２のアクセスユニットを有する出力データストリームを生成するように構成され、請求項１〜１３のいずれかに記載の装置。
【請求項１９】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記変換されたパラメータ（１０４、１０４’）を用いて、前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）とを処理して、２つのトランスコードされたアクセスユニットを取得するように構成され、
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記２つのトランスコードされたアクセスユニットを加算（５）して、トランスコードされたオーディオ信号（２００）を取得するように構成される、請求項１〜１８のいずれかに記載の装置。
【請求項２０】
前記トランスコードされたオーディオ信号（２００）はＩＧＦ符号化されたオーディオ信号（２００）である、請求項１〜１９のいずれかに記載の装置。
【請求項２１】
前記符号化されたオーディオ信号（１００）はＳＢＲ符号化されたオーディオ信号（１００）である、請求項１〜２０のいずれかに記載の装置。
【請求項２２】
符号化されたオーディオ信号（１００）を処理する方法であって、
前記符号化されたオーディオ信号（１００）は、一連のアクセスユニット（１００’）を含み、前記アクセスユニットの各々は、第１のスペクトル幅を有するコア信号と、前記第１のスペクトル幅よりも上のスペクトルを記述するパラメータとを含み、
前記方法は、
前記符号化されたオーディオ信号（１００）のアクセスユニット（１００’）から、前記コア信号（１０１）および前記パラメータのセット（１０２）を生成することと、
前記アクセスユニット（１００’）の前記コア信号（１０１）をアップサンプリングし、第１のアップサンプリングされたスペクトル（１０３）および時間的に連続した第２のアップサンプリングされたスペクトル（１０３’）を出力することであって、前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）は両方とも、前記コア信号（１０１）と同じコンテンツを有し、前記コアスペクトル（１０１）の前記第１のスペクトル幅よりも大きい第２のスペクトル幅を有する、ことと、
前記アクセスユニット（１００’）の前記パラメータセット（１０２）のパラメータを変換して、変換されたパラメータ（１０４）を取得することと、
前記変換されたパラメータ（１０４）を用いて、前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）とを処理することと、を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化されたオーディオ信号を処理するための装置および対応する方法に関する。
【背景技術】
【０００２】
知覚的オーディオ符号化は、効率的な記憶、処理、伝送および再生を可能にする、知覚的に適合した方法による音のデジタル表現の技法である。ビット消費を更に低減するための不可欠なツールは、帯域幅拡張（ＢＷＥ）と呼ばれるセミパラメトリックな方法である。この技法は、欠落した高周波数帯域（ＨＦ）のパラメータ制御された推定値を加えることによって、低周波数帯域（ＬＦ）に帯域制限された知覚的に符号化された信号を拡張する。しばしば、これは、ＬＦスペクトルの転置およびその後のエネルギー包絡線調整によって達成される。通常、いくつかの知覚に関連するパラメータが一緒に調整される（ノイズレベル、音調など）。
【０００３】
スペクトル帯域複製（ＳＢＲ）およびインテリジェント・ギャップ・フィリング（ＩＧＦ）は、帯域幅拡張機能を提供する現代の技術である。ＩＧＦ（国際公開第２０１５／０１０９４８号パンフレット参照）は、ＳＢＲ（国際公開第９８／５７４３６号パンフレット参照）に匹敵する知覚品質において、高い符号化効率と同時に、低い計算複雑度を提供している。
【０００４】
ＳＢＲおよびＩＧＦにおける高周波数帯域のスペクトル包絡線の推定は、それぞれＱＭＦ（直交ミラーフィルタ）およびＭＣＬＴ（変調複素重複変換）のフィルタバンクを使用して実施される。
【０００５】
これにより、既存のＳＢＲ符号化されたオーディオ素材をＩＧＦベースの表現に更新することが魅力的な課題になる。直接的だが面倒なアプローチはタンデム符号化であり、これはＳＢＲベースのコンテンツをパルス符号変調（ＰＣＭ）時間領域信号に復号し、続いてこの信号をＩＧＦベースのフォーマットに再符号化することを含む。
【発明の概要】
【０００６】
従って、本発明の目的は、元の符号化とは異なる符号化を使用して、符号化されたオーディオ信号である直接トランスコードされたオーディオ信号を取得するために、符号化されたオーディオ信号を処理することである。また、本発明の目的は、異なる符号化方式の利点を利用して、符号化されたオーディオ信号を復号してオーディオ信号を取得するために、符号化されたオーディオ信号を処理することである。
【０００７】
これらの目的は、請求項１に記載の符号化されたオーディオ信号を処理するための装置、および請求項２２に記載の対応する方法によって達成される。
【０００８】
本発明の装置または本発明の方法によって処理される符号化されたオーディオ信号は、一連のアクセスユニットを含む。各アクセスユニットは、第１のスペクトル幅を有するコア信号と、第１のスペクトル幅よりも上のスペクトルを記述するパラメータとを含む。
【０００９】
このような符号化されたオーディオ信号を処理する本発明の装置は以下を含む。
・符号化されたオーディオ信号のアクセスユニットから、コア信号とパラメータセットとを生成するためのデマルチプレクサ。すなわち、デマルチプレクサは、符号化されたオーディオ信号のアクセスユニットから、コア信号と、コア信号に対応するスペクトルよりも上の欠落したスペクトルを再構成することを可能にするパラメータとを抽出する。
・アクセスユニットのコア信号をアップサンプリングし、第１のアップサンプリングされたスペクトルと時間的に連続した第２のアップサンプリングされたスペクトルを出力するアップサンプラ。第１のアップサンプリングされたスペクトルと第２のアップサンプリングされたスペクトルは両方とも、コア信号と同じコンテンツを有し、コアスペクトルの第１のスペクトル幅よりも大きい第２のスペクトル幅を有する。換言すれば、アップサンプラはコア信号をアップサンプリングし、少なくとも２つのアップサンプリングされたスペクトルを出力する。アップサンプリングされたスペクトルは時間的に連続しており、コア信号と同じ情報をカバーし、コア信号のスペクトル幅よりも大きなスペクトル幅を有する。
・アクセスユニットのパラメータセットのパラメータを変換して、変換されたパラメータを取得するためのパラメータ変換器。換言すれば、符号化されたオーディオ信号内のパラメータは、アップサンプリングされたスペクトルに適用することができるパラメータに変換される。
・変換されたパラメータを用いて、第１のアップサンプリングされたスペクトルと、第２のアップサンプリングされたスペクトルとを処理するためのスペクトル・ギャップ・フィリング・プロセッサ。換言すれば、スペクトル・ギャップ・フィリング・プロセッサは、アップサンプリングされたスペクトルと変換されたパラメータとを結合する。その結果は、実施形態に応じて、元のまたは入力された符号化されたオーディオ信号とは異なる技術により符号化されたオーディオ信号である、トランスコードされたオーディオ信号となることができ、またはその結果がオーディオ信号となることができる。
【００１０】
一実施形態では、アップサンプラは、コア信号のスペクトルの上側をゼロで満たし、コア信号の満たされたスペクトルから、第１のアップサンプリングされたスペクトルおよび第２のアップサンプリングされたスペクトルを導出するように構成される。
【００１１】
一実施形態では、アップサンプリングは、符号化されたオーディオ信号の少なくとも２つのアクセスユニットに基づいて行われる。この実施形態では、アップサンプラは、このアクセスユニットに直接先行するアクセスユニットのコア信号を追加的に用いて、アクセスユニットのコア信号をアップサンプリングするように構成される。従って、アップサンプリングされたスペクトルを取得するために、２つのアクセスユニットの情報が必要とされ使用される。
【００１２】
更なる実施形態では、アップサンプラは、時間的に連続した第１の数のアクセスユニットのコア信号を収集し、これらコア信号から非整数のアップサンプリング比率でアップサンプリングされた第２の数のスペクトルを処理するように構成され、ここでは第１の数が比率の分母であり第２の数が比率の分子である。
【００１３】
一実施形態によれば、パラメータ変換器は、時間的に連続したタイムスロットの第１の部分を参照して、パラメータセットのパラメータの第１のサブセットを変換し、タイムスロットの第１の部分に時間的に連続したタイムスロットの第２の部分を参照して、パラメータセットのパラメータの第２のサブセットを変換するように構成される。更に、スペクトル・ギャップ・フィリング・プロセッサは、第１のアップサンプリングされたスペクトルと共に第１の変換されたパラメータのサブセットを処理し、第２のアップサンプリングされたスペクトルと共にパラメータの第２の変換されたサブセットを処理するように構成される。この実施形態では、符号化されたオーディオ信号のパラメータは、好ましくはフレームに属する、タイムスロットを指す。
【００１４】
一実施形態では、変換器は、これらのパラメータ値を所定のスケール係数でスケーリングすることによって、パラメータセットのエネルギー値を参照するパラメータを、スペクトル・ギャップ・フィリング・プロセッサによって使用可能なエネルギー値に変換するように構成される。
【００１５】
一実施形態では、スケール係数は一定値を有する。
【００１６】
一実施形態では、スケール係数は所与の符号化されたオーディオ信号の必要条件に適合される。従って、変換器は、アクセスユニットに関連する窓関数に関する情報を抽出するように構成される。更に、変換器は窓関数に従ってスケール係数を適合させるように構成される。
【００１７】
一実施形態では、同期のために、変換器は、遅延補償を挿入することによって、パラメータセットのパラメータをシフトするように構成される。
【００１８】
ＭＣＬＴおよびＱＭＦ変換の例では、遅延の不整合は以下のように考えることができる。これは、ＭＣＬＴエネルギーがロングブロック（ＬＢ）ウィンドウを使用して定義されることを前提とする。変換間のエネルギーを比較するために、それぞれのプロトタイプウィンドウの重心（ＣＧ）が整列されるように、ウィンドウはデータ上に同期して配置されなければならない。重み係数はＣＧにおいて１である。
【００１９】
ＱＭＦ分析で使用されるプロトタイプウィンドウは、ローパスＦＩＲフィルタであってもよい。ウィンドウの係数は、最良の側波帯抑圧となるように最適化され、好適には結果として、ウィンドウ端で滑らかなロールオフを有する対称ウィンドウとなり、適切な側波帯減衰が期待される。ウィンドウの長さは６４０であり、ウィンドウストライドのホップサイズは６４サンプル長であってもよい。
【００２０】
ＭＣＬＴの実装のために、対称正弦波ウィンドウを使用してもよい。ウィンドウは、例えば、ロングブロックは２０４８サンプルの長さを有し、ショートブロックは２５６サンプルの長さを有する。ショートブロックはロングブロックの８分の１のサイズである。ウィンドウストライドのホップサイズは、ロングブロックとショートブロックに対して、それぞれ１０２４サンプルと１２８サンプルであり、これは変換の周波数分解能に等しい。
【００２１】
例えば、ＩＧＦで使用されるＭＣＬＴプロトタイプウィンドウは、２Ｎ＝２０４８サンプルの長さにわたり、５０％のオーバーラップを持つ。ショートブロックの中央にあるショートウィンドウは長さがＮ／４であり、いずれの側にも４４８サンプルのオフセットがある。従って、Ｎサンプルのホップサイズは最初の入力サンプルをキャプチャし、一方で遅延τ１は１０２４サンプルからなる。
【００２２】
ＱＭＦプロトタイプウィンドウは、１０Ｍ＝６４０サンプルの長さにわたり、サブサンプルと呼ばれるＭサンプルのホップサイズを有してもよい。ホップサイズはまた、ＱＭＦサブサンプルのサブバンドの数であるＭに対応する。遅延補償τ２は（ウィンドウ長−ウィンドウホップサイズ＝６４０−６４サンプル）として計算してもよく、５７６サンプルである。
【００２３】
一実施形態によれば、アップサンプラは、前記コア信号の値を補間することによって前記コア信号をアップサンプリングするように構成される。
【００２４】
一実施形態では、アップサンプラは以下のように構成される。
・アップサンプラは、先行するアクセスユニットのコア信号のスペクトルをゼロで満たすように構成される。
・アップサンプラは、アクセスユニットのコア信号のスペクトルをゼロで満たすように構成される。
・アップサンプラは、アクセスユニットの満たされたスペクトルおよび先行するアクセスユニットの満たされたスペクトルの逆変換を実行するように構成される。
・最後に、アップサンプラは、先行するアクセスユニットの満たされたスペクトルに対する時間領域信号と、アクセスユニットの満たされたスペクトルに対する時間領域信号とのオーバーラップ加算を実行して、中間時間信号を取得するように構成される。
【００２５】
前述の実施形態に基づいて、一実施形態によれば、アップサンプラは、中間時間信号の第１の部分を用いてフォワード変換を実行して、第１のアップサンプリングされたスペクトルを取得するように構成される。アップサンプラはまた、中間時間信号の第２の部分を用いてフォワード変換を実行して、第２のアップサンプリングされたスペクトルを取得するように構成される。これは、第１の部分が第２の部分と重なるという制約下で行われる。
【００２６】
一実施形態によれば、アップサンプラは、コア信号をアップサンプリングして、アップサンプリングされたコア信号を取得するように構成され、アップサンプラは、アップサンプリングされたコア信号に対して逆変換を実行して、時間領域信号を取得するように構成され、アップサンプラは、変換を適用することにより、時間領域信号を処理して、第１のアップサンプリングされたスペクトルおよび時間的に連続する第２のアップサンプリングされたスペクトルを取得するように構成される。逆変換とは、変換の逆変換である。
【００２７】
前述の実施形態に関する一実施形態では、逆変換は逆変形離散コサイン変換であり、変換は変形離散コサイン変換である。
【００２８】
一実施形態では、スペクトル・ギャップ・フィリング・プロセッサは、変換されたパラメータと共に、第１のアップサンプリングされたスペクトルおよび第２のアップサンプリングされたスペクトルを処理して、時間領域出力信号を取得するように構成される。
【００２９】
以下の実施形態では、スペクトル・ギャップ・フィリング・プロセッサは、変換されたパラメータの第１の部分を第１のアップサンプリングされたスペクトルに適用して第１の処理されたスペクトルを取得し、変換されたパラメータの第２の部分を第２のアップサンプリングされたスペクトルに適用して第２の処理されたスペクトルを取得するように構成される。
【００３０】
一実施形態によれば、スペクトル・ギャップ・フィリング・プロセッサは、第１の処理されたスペクトルおよび第２の処理されたスペクトルを時間領域に変換するためのスペクトル変換器を含むように構成され、スペクトル・ギャップ・フィリング・プロセッサは、オーディオ信号を取得するために、少なくとも２つの出力時間信号でオーバーラップ加算するように構成されたオーディオ加算器を含むように構成される。
【００３１】
一実施形態では、スペクトル・ギャップ・フィリング・プロセッサは、第１のアクセスユニットおよび第２のアクセスユニットを有するスペクトル・ギャップ・フィリングにより符号化された信号を生成するように構成され、第１のアクセスユニットは、第１のアップサンプリングされたスペクトルの変換されたバージョンおよび変換されたパラメータの第１の部分を含み、第２のアクセスユニットは、第２のアップサンプリングされたスペクトルの変換されたバージョンおよび変換されたパラメータの第２の部分を含む。
【００３２】
一実施形態によれば、スペクトル・ギャップ・フィリング・プロセッサは、第１のアクセスユニットおよび第２のアクセスユニットを有する出力データストリームを生成するように構成される。このデータストリームは、例えば、トランスコードされたオーディオ信号であるＩＧＦ符号化されたオーディオ信号である。
【００３３】
一実施形態では、スペクトル・ギャップ・フィリング・プロセッサは、第１のアップサンプリングされたスペクトルおよび第２のアップサンプリングされたスペクトルを、変換されたパラメータと共に処理して、２つのトランスコードされたアクセスユニットを取得するように構成され、スペクトル・ギャップ・フィリング・プロセッサは、２つのトランスコードされたアクセスユニットを加算して、トランスコードされたオーディオ信号を取得するように構成される。
【００３４】
装置がトランスコーダとして動作し、従ってトランスコードされたオーディオ信号を出力する場合、一実施形態によると、トランスコードされたオーディオ信号はＩＧＦで符号化されたオーディオ信号である。
【００３５】
一実施形態によれば、符号化されたオーディオ信号はＳＢＲ符号化されたオーディオ信号である。
【００３６】
本発明はまた、符号化されたオーディオ信号を処理する方法にも関する。符号化されたオーディオ信号は、一連のアクセスユニットを含み、各アクセスユニットは、第１のスペクトル幅を有するコア信号と、第１のスペクトル幅よりも上のスペクトルを記述するパラメータとを含む。
【００３７】
本発明の方法は、少なくとも以下のステップを含む。
・符号化されたオーディオ信号の現アクセスユニットと呼ばれ得るこのアクセスユニットから、コア信号およびパラメータセットを生成するステップ。
・アクセスユニットのコア信号をアップサンプリングし、第１のアップサンプリングされたスペクトルと時間的に連続した第２のアップサンプリングされたスペクトルを出力するステップ。第１のアップサンプリングされたスペクトルと第２のアップサンプリングされたスペクトルは両方とも、コア信号と同じコンテンツを有し、コアスペクトルの第１のスペクトル幅よりも大きい第２のスペクトル幅を有する。
・アクセスユニットのパラメータセットのパラメータを変換して、変換されたパラメータを取得するためステップ。
・変換されたパラメータを用いて、第１のアップサンプリングされたスペクトルと、第２のアップサンプリングされたスペクトルとを処理するステップ。
【００３８】
上述の装置の実施形態はまた、方法のステップおよび方法の対応する実施形態によって実施することができる。
【００３９】
一実施形態では、符号化されたオーディオ信号の処理は、オーディオ信号を生成するための符号化されたオーディオ信号の復号化に関する。別の実施形態では、符号化されたオーディオ信号の処理は、符号化されたオーディオ信号を、異なる方式で符号化されたオーディオ信号へ、またはトランスコードされたオーディオ信号へ直接トランスコードすることである。従って、トランスコーダは、第１の符号化方法による第１の符号化されたオーディオ信号から、第２の異なる種類の符号化に基づく第２の符号化されたオーディオ信号を生成する。
【００４０】
符号化されたオーディオ信号は、コア信号と、コア信号より上の元のオーディオ信号の欠落部分を記述するパラメータとを含む。パラメータは、例えば、所与の数のタイムスロットおよび対応するエネルギー値またはエネルギーを有するフレーム内に与えられるスペクトル包絡線を含む。パラメータに関しては、異なるフィルタバンクを使用することができる。
【００４１】
本発明の利点は、パラメータマッピングにおける高精度、追加的なトランスコーディング・アーチファクトの最小化、および計算複雑度の低減である。
【図面の簡単な説明】
【００４２】
【図１】符号化されたオーディオ信号のコア信号を示す。
【図２】本発明の適用中に生じるスペクトルを示す。
【図３】ＱＭＦ（直交ミラーフィルタ、上段）とＭＣＬＴ（変調複素重複変換、下段）とを用いた、オーディオ信号の２つの変換の比較を示す。
【図４】時間的に連続するＱＭＦ値のＭＣＬＴによるウィンドウ化を示す。
【図５】それぞれ、ＭＣＬＴおよびＱＭＦの対数エネルギー値を、および平均オフセットを示す。
【図６】ストップ・スタート・ウィンドウ・シーケンスを示す。
【図７】従来技術による復号器を示す。
【図８】符号化されたオーディオ信号をトランスコードするための装置の一実施形態をブロック図で示す。
【図９】符号化されたオーディオ信号を復号化するための装置の一実施形態をブロック図で示す。
【図１０】例えば図８および図９に示される実施形態のそれぞれで使用されるアップサンプラの実施形態を示す。
【図１１】図１０に示すアップサンプラのパラメータ変換器の動作を示す。
【図１２】３：８の比率のコア信号のアップサンプリングを示す。
【図１３】アクセスユニットに適用されたオーバーラップ加算シーケンスを示す。
【図１４】本発明の装置をブロック図として示す。
【図１５】本発明の方法をフローチャートを用いて示す。
【発明を実施するための形態】
【００４３】
本発明の好ましい実施形態は、添付の図面に関連して以下に説明される。
【００４４】
以下では、符号化されたオーディオ信号はＳＢＲ符号化されたオーディオ信号の一例としてであるが、本発明はこの種類の符号化されたオーディオ信号に限定されない。これは、ある種類の符号化されたオーディオ信号にも当てはまり、その内部でＳＢＲ符号化されたオーディオ信号がトランスコードされる場合、または、その対応する信号またはスペクトルがいずれかの中間ステップで処理される場合である。ここでは、これは多くの可能性の中の一例として、ＩＧＦで符号化されたオーディオ信号である。
【００４５】
ＳＢＲデータをＩＧＦ表現にトランスコードするためには、次のステップの少なくともいくつかが実施される。
・ＳＢＲコピーアップコンテンツのＩＧＦ準拠のコピーアップ素材による置換。
・データ同期のための、ＭＤＣＴに対するＱＭＦの遅延補償の挿入。
・（ＱＭＦベースのエネルギー測定により）ＳＢＲによって得られたスペクトル高域包絡線のＭＣＬＴ表現へのマッピング。
・基礎となるＳＢＲ時間周波数グリッドのＩＧＦ時間周波数グリッドへのマッピング。マッピング関数は、様々なタイプのウィンドウ化方式に従って適合されて、ＱＭＦエネルギーからＭＣＬＴエネルギーが導出される。
・好ましくは、あらゆるバイアスを除去し残余誤差を最小化するための、エネルギー補正係数の適用。
・好ましくは、残りのＳＢＲサイドインフォメーション（例えば、雑音レベル、逆フィルタリングレベルとも言われる音調、他）の適切なＩＧＦパラメータへの変換。例えば、ＳＢＲの逆フィルタリングレベルは、ＩＧＦの適切なホワイトニングレベルにマッピングされて、最適な知覚品質を提供する。
【００４６】
図１は、ここではゼロから周波数ｆｘｏに至る制限された第１のスペクトル幅を有する、符号化されたオーディオ信号のアクセスユニットのコア信号１０１を示す。符号化されたオーディオ信号のパラメータは、このコア信号１０１よりも上の、周波数２＊ｆｘｏに至るスペクトルを記述する。
【００４７】
これを図２に示すスペクトルと比較しなければならない。ここでは、アップサンプリングされたスペクトル１は図１のコア信号と同じ情報コンテンツを含み、このコア信号を超える周波数についてはゼロ値を持つ。第２のスペクトル幅は、この例ではゼロから２＊ｆｘｏの周波数に至る。
【００４８】
ＳＢＲデータをＩＧＦ表現にトランスコードするためには、ＱＭＦエネルギーをＭＣＬＴエネルギー値にマッピングしなければならない。
【００４９】
これについて、ＱＭＦ変換とＭＣＬＴ変換の比較から始めて、以下に詳細に説明する。
【００５０】
ｘをサンプルレートＳＲでサンプリングされた離散オーディオ信号とする。ＱＭＦ変換が信号ｘに適用されると、
2019502948.tif 000003
が得られる。ここで、ｔは変換のスタートサンプル、ｌはタイムスロットインデックスであり、ｋ＝０，１，．．．，ｍ−１はｍまでの周波数ライン、すなわちナイキスト周波数ラインである。
【００５１】
ウィンドウ化されたＭＣＬＴ変換が信号ｘに適用された場合、結果は、
2019502948.tif 000004
となる。ここで、ｂは変換のスタートブロックであり、ｉ＝０，１，．．．，Ｎ−１は、ナイキスト周波数ラインＮまでの周波数ラインである。
【００５２】
例示的なパラメータは、以下の説明においても使用される。
【００５３】
ＱＭＦ変換では、６４サンプルのホップサイズを有する６４０サンプルのプロトタイプ長が使用される。この結果、ナイキスト周波数ラインに対してｍ＝６４となる。
【００５４】
例えば、ＭＣＬＴの場合、２０４８のロングウィンドウサイズが５０％のオーバーラップを有して使用される場合、ホップサイズは１０２４であり、従ってナイキスト周波数ラインに対してＮ＝１０２４となる。オーバーラップしたウィンドウ化は、一般に、ブロッキングアーチファクトを除去する。
【００５５】
このような例示的構成による分析の間に、ＭＣＬＴ変換と同じ量のサンプルをカバーするために３２個のＱＭＦタイムスロットが必要となる。図３を参照のこと。この図３はまた、ＱＭＦのサブサンプルがＭＣＬＴのより長いウィンドウと整列されるデータ同期を示す。
【００５６】
マッピングのためにＳＢＲ符号化されたオーディオ信号のＱＭＦエネルギーを準備するために、ウィンドウｗが、ＭＣＬＴにおいて時間領域サンプルがウィンドウ化されるような、時間的に連続するＱＭＦ値に適用される。このＱＭＦウィンドウ化を図４に示す。
【００５７】
ＱＭＦエネルギーをＭＣＬＴエネルギーに適切にマッピングするためには、両方の変換は遅延に関して整列される必要がある。
【００５８】
次に、ＱＭＦエネルギーおよびＭＣＬＴエネルギーの変換に対して以下の式が成立する。
2019502948.tif 000005
ここで、ｘ０はＳＢＲクロスオーバ周波数である。
【００５９】
次のステップは、それぞれのエネルギー値をＱＭＦ変換からＭＣＬＴ変換に変換することである。
【００６０】
ＳＢＲフレームは、時間／スペクトル包絡線の粒度を用いて信号の特徴を定義するのに役立つ。スペクトル包絡線のマッピングは、マッピング技術の定義の一部として調査されてきた。適応ＳＢＲグリッドの時間分解能によって与えられる情報は、ＩＧＦの時間的適応の技術に転換される。
【００６１】
ＱＭＦフィルタバンクで分析される時間領域信号は、サブサンプルの時間分解能を有する。ＳＢＲエネルギーの最高の時間分解能は、タイムスロット、すなわち２つのサブサンプルにわたる。時間と周波数分解能との間のトレードオフは、タイムスロットとサブバンドグルーピングの選択との組み合わせから実現することができる。様々なタイプのフレームによって、フレーム内の可変数の時間／周波数セグメントが可能になる。このように、信号特性はグリッドで量子化される包絡線によって保存される。
【００６２】
ＩＧＦにおける時間／周波数の適応分解能は、様々なタイプのＭＣＬＴウィンドウを使用して実現することができる。実験が示したように、ＱＭＦサブバンドのエネルギーは、ＭＣＬＴブロックに応じて相対的に収集することができる。これにより、エネルギーマッピング中のブロックスイッチングの組み込みが動機付けられる。このようにしてサブバンドに集められたエネルギーは、ＭＣＬＴ周波数ビンにわたって補間することができる。その後、ソーススペクトル転置の間、包絡線整形のためのＩＧＦサイド情報を導出することができる。
【００６３】
実験に基づいて、ＱＭＦブロックエネルギーは、ロングブロック内の３２個のオーバーラップするサブサンプルにわたって計算することができる。ＭＣＬＴブロックエネルギーへのマッピングの誤差を減らすために、ＱＭＦはＭＣＬＴプロトタイプウィンドウの重み係数の適用を必要とする。適切なＭＣＬＴウィンドウを選択することにより、ＱＭＦの時間包絡線によって規定される信号特徴の保存が促進されることが期待される。
【００６４】
これらの計算は、好ましくはオフラインで、装置または方法の使用前に実行される。
【００６５】
図５は、ＥＱＭＦとＥＭＤＣＴの対数エネルギー（Ｅ’（ＱＭＦ）とＥ’（ＭＣＬＴ））を比較した測定例の結果を示す。これにより、対数領域での計算が可能になる。
2019502948.tif 000006
【００６６】
これは、従って、線形領域における線形写像に対して一定のスケール係数ｓを用いることによって、エネルギー値の変換の証明となり、
2019502948.tif 000007
である。ここでスケール係数ｓは、
2019502948.tif 000008
で与えられ、Ｂは測定されたブロックの総数である。一実施形態では、全ての外れ値を１０％信頼区間にクリッピングすることによって、平均オフセット
2019502948.tif 000009
が全てのブロックに対して存在する。
2019502948.tif 000010
【００６７】
この信頼区間により、平均からの過度の偏差を有するデータサンプルをクリッピングすることが可能になる。
【００６８】
例示的な測定では、バイアスのない正確なエネルギーの一致が、約１ｄＢのピーク誤差を伴って示された。このマッピングを利用して、ＳＢＲ符号化されたオーディオ信号を含有するビットストリームで送信されたＳＢＲエネルギー値を、対応するＩＧＦエネルギー値に変換することが可能である。示した例における一定のスケール係数は、対数領域において２０未満および約１８である。これらは、ＩＧＦ復号器に直接供給することができ、または代替として、ＩＧＦ出力ビットストリーム内に組み込むことができる。
【００６９】
実験では、対数領域における平均オフセット
2019502948.tif 000011
が２０未満の値をとることが示された。平均オフセット
2019502948.tif 000012
は、１６と１７の間にあり、ある場合には約７の値をとることが判明した。従って、平均オフセット
2019502948.tif 000013
は７〜１７の値をとる。
【００７０】
更なる実験では、平均オフセット
2019502948.tif 000014
は使用されるウィンドウのタイプに依存することが示された。取得された値を以下の表に示す。
2019502948.tif 000015
【００７１】
図６は、使用されたウィンドウシーケンスに対するスケール係数の依存性を説明するためのストップ・スタート・ウィンドウ・シーケンスを示す。示した例では、ＳＢＲ符号化されたオーディオ信号のフレームｆは、ＱＭＦの３２個のサブサンプルを含有する。シーケンスの第１のウィンドウタイプｗｓ（ｆ，０）は、完全なフレームデータ、すなわちｔｈサブサンプルのブロックにわたる。以下のウィンドウｗｓ（ｆ，１）は、フレームｆのｔｈ／２サブサンプルおよびフレームｆ＋１のｔｈ／２サブサンプルにわたる一方で、ｗｓ（ｆ，０）にオーバーラップしている。ＳＢＲグリッドのフレームは、ＱＭＦエネルギーグリッドのブロックとして利用可能であり、この実施形態では、１つのフレームがＱＭＦサブサンプルの２つのブロックを生成するという関係を有する。
【００７２】
以下では、一実施形態を用いて、ＳＢＲ符号化されたオーディオ信号を復号するためのＩＧＦ復号器について説明する。
【００７３】
典型的な２：１のＳＢＲデコーダは例えば、Ｍ．Ｎｅｕｅｎｄｏｒｆらによる“Ｔｈｅ  ＩＳＯ／ＭＰＥＧ  Ｕｎｉｆｉｅｄ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ  Ｓｔａｎｄａｒｄ−Ｃｏｎｓｉｓｔｅｎｔ  Ｈｉｇｈ  Ｑｕａｌｉｔｙ  ｆｏｒ  Ａｌｌ  Ｃｏｎｔｅｎｔ  Ｔｙｐｅｓ  ａｎｄ  ａｔ  Ａｌｌ  Ｂｉｔ  Ｒａｔｅｓ”，Ｊ．Ａｕｄｉｏ  Ｅｎｇ．Ｓｏｃ．，ｖｏｌ．６１，ｎｏ．１２，ｐｐ．９５６−９７７，Ｄｅｃ．２０１３に記載されており、図７に示される。
【００７４】
本発明のトランスコーダの実施形態をブロック図の形態で図８に示す。
【００７５】
アクセスユニット１００’を含むＳＢＲ符号化されたオーディオ信号１００はデマルチプレクサ１に供給され、コア信号１０１およびパラメータセット１０２が抽出され、オーディオ信号の欠落部分の再構成が可能になる。コア信号１０１は、ここではＭＤＣＴスプリッタによって具体化されるアップサンプラ２に供給され、パラメータセット１０２はパラメータ変換器に供給され、パラメータ変換器は、この描写で別個の要素を含むものとして示される。
【００７６】
この例では、パラメータセット１０２は、特に、ＳＢＲ符号化されたオーディオ信号によって提供されるスペクトル包絡線を指す。この例では、ＳＢＲ符号化されたオーディオ信号のフレームのタイムスロット０〜１５が上位パラメータ変換要素に送信され、タイムスロット１６〜３１が下位パラメータ変換要素に送信される。タイムスロットの数は、依然としてＱＭＦからＭＣＬＴへのパラメータの変換の説明に使用される例示的なパラメータを参照する。
【００７７】
パラメータ変換器３の各サブセクションでは、少なくともスペクトル包絡線を参照するパラメータが、上述のＱＭＦデータのＭＣＬＴデータへの変換を介して変換される。結果として変換されたパラメータ１０４、１０４’はインテリジェント・ギャップ・フィリングの使用に適しており、２つのマルチプレクサを含むスペクトル・ギャップ・フィリング・プロセッサ４に供給され、コア信号１０１からアップサンプラ２によって得られた対応するアップサンプリングされたスペクトル１０３、１０３’とマージされる。
【００７８】
その結果は、スペクトル・ギャップ・フィリング・プロセッサ４のマルチプレクサの出力として２つのアクセスユニット１．ＡＵ’および２．ＡＵ’を含む。両方のアクセスユニット１．ＡＵ’および２．ＡＵ’は、加算器５に供給され、ここで第２のアクセスユニット２．ＡＵ’は、遅延要素６によって遅延される。加算器５の結果は、トランスコードされたオーディオ信号２００であり、これは、特に示された実施形態では、２つのアクセスユニット１．ＡＵおよび２．ＡＵを有するＩＧＦ符号化されたオーディオ信号である。
【００７９】
アップサンプラ２を図１０に示される例示的実施形態を用いて説明するが、アップサンプラ２にはＭＤＣＴスプリッタとラベルを付している。
【００８０】
アップサンプラ２は、元のＳＢＲ符号化されたオーディオ信号のコア信号１０１（例えば１０２４ラインを有する）のスペクトルをアップサンプリングするためのスペクトルアップサンプラ２０を含む。アップサンプリングされたスペクトル１１０（例えば、係数２によってアップサンプリングが行われた場合、結果の信号は２０４８ラインを有する）は、逆変換の一例としてＩＭＤＣＴ変換器２１によって実行される逆変形離散コサイン変換を受ける。このように取得された（時間領域サンプルからなる）時間領域信号１１１は、（ＯＡによって設計された）オーバーラップ加算を受け、このように２つの信号に分割される。両信号は、図示したように、例えば１０２４ラインを有し、下側信号は１０２４ラインに相当するオーバーラップ加算の遅延２４の影響を受ける。次いで両信号は、２つのＭＤＣＴ変換器２３によって実行される変形離散コサイン変換を受け、アップサンプラ２の出力として２つのアップサンプリングされたスペクトル１０３がもたらされる。
【００８１】
２つのＭＤＣＴ変換器２３の効果を図１１に示す。この図において、１．ＭＤＣＴは、図３に示される上側のＭＤＣＴ変換器２３を指し、２．ＭＤＣＴは、下側のＭＤＣＴ変換器２３を指す。ＩＭＤＣＴの出力は、逆変形離散コサイン変換された、アップサンプリングされたコア信号１１１を指す。更に、ＩＭＤＣＴ変換器２１に提供される、例えば２０４８サンプルを有するオーバーラップ加算ＯＡが存在する。
【００８２】
ＭＤＣＴの詳細については、例えば国際公開第２０１４／１２８１９７号パンフレット、特に１４〜１６頁を参照のこと。
【００８３】
代替として、ＭＤＣＴ変換およびＩＭＤＣＴ変換ではなく、高速フーリエ変換および逆高速フーリエ変換が実行される。
【００８４】
図９に示す装置は、このような符号化されたオーディオ信号１００の処理の一例として、ここではＳＢＲ（スペクトル帯域複製）の符号化されたオーディオ信号１００をオーディオ信号３００に復号化することを可能にする。
【００８５】
この目的のために、装置は、ＳＢＲ符号化されたオーディオ信号１００のアクセスユニット１００’からコア信号１０１とパラメータセット１０２とを生成するデマルチプレクサ１を含む。パラメータセット１０２は、コア信号よりも上のスペクトルを記述する。すなわち欠落部分を記述する。
【００８６】
コア信号１０１は、ここではＭＤＣＴスプリッタとして具体化されるアップサンプラ２に送られ、コア信号１０１をアップサンプリングする。これは、ＳＢＲ符号化されたオーディオ信号のコア信号が、ＩＧＦ符号化されたオーディオ信号のコア信号と比較して、低減されたサンプリングレートを有するという事実ゆえである。アップサンプラ２の実施形態の詳細は、図１０に関連して説明された。
【００８７】
パラメータセット１０２は、ここでは２つの変換器要素またはユニットによって具体化されるパラメータ変換器３に送られる。アクセスユニット１００’は、少なくとも、時間的に連続するタイムスロットをカバーするフレームを含む。ここには、３２のタイムスロットがある。タイムスロット０〜１５をカバーする第１のタイムスロットのパラメータは、上位パラメータ変換器ユニットに供給され、１６〜３１にわたる第２のタイムスロットのパラメータは、下位パラメータ変換器ユニットに供給されて、変換される。符号化されたオーディオ信号および変換されたパラメータのパラメータは異なるフィルタバンクを、例えばそれぞれ、直交ミラーフィルタ（ＱＭＦ）および変調複素重複変換（ＭＣＬＴ）を参照する。従って、パラメータ変換器ユニットは、同期のためにＳＢＲ符号化されたオーディオ信号のパラメータに遅延補償を挿入する。更に、パラメータ変換器ユニットは、時間信号に適用されたウィンドウを使用して、パラメータに対して、好ましくは事前に、実行されたウィンドウ化を使用し、変調複素重複変換のフィルタバンクを使用してＳＢＲ符号化されたオーディオ信号のタイムスロットの基礎となる時間周波数グリッドをマッピングする。
【００８８】
結果として変換されたパラメータ１０４、１０４’は、スペクトル・ギャップ・フィリング・プロセッサ４の２つの構成要素（１．ＩＧＦと２．ＩＧＦ）に供給され、アップサンプリングされたスペクトル１０３、１０３’が対応する変換されたパラメータ１０４、１０４’とマージされる。示された実施形態では、これに対応して、タイムスロットの第１のセットから得られた変換されたパラメータ１０４は、図１０に示す「ＭＤＣＴ１」によって提供されるアップサンプリングされたスペクトルとマージされ、タイムスロットの第２のセットから得られた変換されたパラメータ１０４’は、「ＭＤＣＴ２」によって提供される遅延されたアップサンプリングされたスペクトルとマージされることを意味する。
【００８９】
このマージの結果は、逆変形離散コサイン変換を用いて２つのＩＭＤＣＴ変換器７によって時間信号に変換され、オーバーラップ加算（遅延８および加算器９）され、所望のオーディオ信号３００になる。
【００９０】
図１２は、コア信号を３：８の比率でアップサンプリングする例を示す。この場合、アップサンプラは、時間的に連続する３つのアクセスユニット１００’（これは上述したものであり、従って「現在の」アクセスユニット）、ならびに２つの先行するアクセスユニット１００’’および１００’’’のコア信号を記憶する。これら３つのコア信号は加算され、その後８つのアップサンプリングされたスペクトルに分割される。
【００９１】
示していないが、コア信号のアップサンプリングが３：４の比率で行われる場合、アップサンプラは３つの時間的に連続するアクセスユニットのコア信号も記憶する。これらコア信号も加算されるが、４つのアップサンプリングされたスペクトルに分割される。
【００９２】
同様に、あるオーバーラップが所望される場合は、１つのアップサンプリングされたスペクトルに対して、２つのアクセスユニットからの２つのコア信号が必要とされる。
【００９３】
図１３は、オーバーラップ加算を概略的に示す。説明は行を上から下へ続く。
【００９４】
３つのアクセスユニットＡＵ０、ＡＵ１、ＡＵ２が与えられ、各々が１０２４個のデータポイントを有するコア信号を有する。コア信号の対応するスペクトルには、コア信号のスペクトルに続いてゼロが加えられる。アップフィルドされたスペクトルは２０４８データ点を有する。これらのスペクトルは、２×２０４８＝４０９６データ点を有する信号を有する時間領域に変換される。
【００９５】
これらの時間信号については、信号のオーバーラップ部分が加算される。オーバーラップとは、ある時間信号の前半と、別の時間信号の後半を指す。
【００９６】
前述の時間信号の各々からちょうど半分ずつが使用されるので、加算された時間信号は結果として２０４８のデータを有する。
【００９７】
従って、３つのアクセスユニットＡＵ０、ＡＵ１、およびＡＵ２から、３つの時間信号が取得される。ＡＵ０に由来する時間信号の後半が、ＡＵ１から取得される時間信号の前半と加算される。ＡＵ１から得られた時間信号の後半には、ＡＵ２から取得された時間信号の前半が加算される。このため、３つのアクセスユニットは、この例の５０％のオーバーラップにおいて、２０４８のデータポイントを有する２つのオーバーラップ加算された時間信号を提供する。
【００９８】
これら２つのオーバーラップ加算された時間信号はその後、（例えば高速フーリエ変換または任意の他の好適な変換を使用して）周波数領域に変換され、両方とも１０２４のデータ点を有する第１および第２のアップサンプリングされたスペクトルが生成される。
【００９９】
図１４に、本発明の装置をもう一度示す。
【０１００】
この図示の実施形態では、符号化されたオーディオ信号１００はアクセスユニットを含有しており、ＡＵ０、ＡＵ１、およびＡＵ２の３つが示されている。これらのアクセスユニットはデマルチプレクサ１に供給され、デマルチプレクサ１はそれぞれのコア信号ＣＳ０、ＣＳ１、およびＣＳ２、ならびにオーディオ信号Ｐ０、Ｐ１、およびＰ２の欠落部分を記述するためのそれぞれのパラメータを抽出する。
【０１０１】
コア信号ＣＳ０、ＣＳ１およびＣＳ２は、アップサンプラ２に送られ、アップサンプラ２はコア信号をアップサンプリングし、各コア信号に対してアップサンプリングされたスペクトルが、ＣＳ０に対してＵＳ１、ＵＳ２が、ＣＳ１に対してＵＳ３、ＵＳ４が、ＣＳ２に対してＵＳ５、ＵＳ６が生成される。
【０１０２】
一方、パラメータはパラメータ変換器３に供給され、変換されたパラメータｃＰ０、ｃＰ１、およびｃＰ２が生成される。
【０１０３】
スペクトル・ギャップ・フィリング・プロセッサ４は、対応する変換されたパラメータｃＰ０、ｃＰ１、およびｃＰ２を使用して、アップサンプリングされたスペクトルＵＳ１、ＵＳ２、ＵＳ３、ＵＳ４、ＵＳ５、およびＵＳ６を処理する。
【０１０４】
例えば、第１のアクセスユニットＡＵ０の第１のアップサンプリングされたスペクトルＵＳ１は、変換されたパラメータｃＰ０の第１のサブセットで処理され、第１のアクセスユニットＡＵ０の第２のアップサンプリングされたスペクトルＵＳ２は、変換されたパラメータｃＰ０の第２のサブセットで処理される。スペクトル・ギャップ・フィリング・プロセッサ４の出力は、例えばオーディオ信号またはトランスコードされたオーディオ信号である。
【０１０５】
図１５は、符号化されたオーディオ信号１００を処理するための本発明の方法の主なステップを示す。
【０１０６】
ステップ１０００において、符号化されたオーディオ信号１００から、またはより正確には、符号化されたオーディオ信号１００の１つのアクセスユニットから、コア信号およびパラメータセットが生成または抽出される。
【０１０７】
以下のステップは、任意の所与の順序で、または並列で実行することができる。
【０１０８】
コア信号は、ステップ１００１においてアップサンプリングされ、特に２つの時間的に連続したアップサンプリングされたスペクトルが得られる。パラメータは、ステップ１００２において、アップサンプリングされたスペクトルに適用可能な変換されたパラメータに変換される。
【０１０９】
最後に、ステップ１００３において、アップサンプリングされたスペクトルおよび変換されたパラメータが、加えて、符号化されたオーディオ信号のアクセスユニットから取得された他のパラメータが処理される。この処理の出力は、例えば、時間信号としてのオーディオ信号、または異なる形式で符号化された、従ってトランスコードされたオーディオ信号である。
【０１１０】
通常、符号化されたオーディオ信号は、元のオーディオ信号を記述し、符号化されたオーディオ信号の復号中での欠落部分を再構成するための更なるパラメータも含む。
【０１１１】
本発明の処理技術は、例えば、高周波（ＨＦ）合成中の包絡線整形のためのＳＢＲサイド情報のＩＧＦへの変換において役立つ。追加の制御パラメータは、包絡線整形にも関わらず、ノイズ対音調比が入力信号と一致しないＨＦスペクトルを示す。オーディオのこの性質は、木管楽器のような信号、または残響のある部屋で観測される。これらの場合において、より高い周波数は高調波または極めて音調ではなく、より低い周波数と比較して騒音として知覚され得る。
【０１１２】
信号内のフォルマントは、符号器における逆予測誤差フィルタを使用して推定される。逆フィルタリングのレベルは、入力信号の特徴への整合性に従って決定される。このレベルはＳＢＲによって通知される。ＨＦスペクトルにおける包絡線整形は、スペクトルの音調を完全に低減するのに役立たないので、フォルマントの平坦化のための線形予測誤差フィルタに、様々なレベルの周波数依存チャープ係数を有するプリホワイニングフィルタを適用することができる。
【０１１３】
これらの異常な信号特性は、ＩＧＦがホワイトニングツールを使用している間に、逆フィルタリングツールを使用するＳＢＲによって処理される。プリホワイトニングの程度は、技術の別個のレベルにマッピングされる。
【０１１４】
いくつかの態様は装置との関連において記載されているが、これらの態様はまた、ブロックまたはデバイスが、方法ステップまたは方法ステップの特徴に対応するような、対応する方法の記載を表しているのは、明白である。同様に、方法ステップとの関連において記載される態様もまた、対応するブロックまたは項目、もしくは対応する装置の特徴に関する記載を表す。いくつかのまたは全ての方法ステップは、例えばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路のようなハードウェア装置によって（またはこれを使用して）実行されてもよい。いくつかの実施形態において、最も重要な方法ステップの１つ以上がこのような装置によって実行されてもよい。
【０１１５】
また、ＳＢＲ符号化されたオーディオ信号をトランスコードするための装置の態様は、ＳＢＲ符号化されたオーディオ信号を復号するための装置に有効である場合が有り、逆もまた同様である。対応する方法についても同様である。
【図１】
2019502948.tif 000016
【図２】
2019502948.tif 000017
【図３】
2019502948.tif 000018
【図４】
2019502948.tif 000019
【図５】
2019502948.tif 000020
【図６】
2019502948.tif 000021
【図７】
2019502948.tif 000022
【図８】
2019502948.tif 000023
【図９】
2019502948.tif 000024
【図１０】
2019502948.tif 000025
【図１１】
2019502948.tif 000026
【図１２】
2019502948.tif 000027
【図１３】
2019502948.tif 000028
【図１４】
2019502948.tif 000029
【図１５】
2019502948.tif 000030
【手続補正書】
【提出日】平成30年8月2日(2018.8.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化されたオーディオ信号（１００）を処理するための装置であって、
前記符号化されたオーディオ信号（１００）は、一連のアクセスユニット（１００’）を含み、前記アクセスユニットの各々は、第１のスペクトル幅を有するコア信号（１０１）と、前記第１のスペクトル幅よりも上のスペクトルを記述するパラメータとを含み、
前記装置は、
前記符号化されたオーディオ信号（１００）のアクセスユニット（１００’）から、前記コア信号（１０１）および前記パラメータのセット（１０２）を生成するためのデマルチプレクサ（１）と、
前記アクセスユニット（１００’）の前記コア信号（１０１）をアップサンプリングし、第１のアップサンプリングされたスペクトル（１０３）および時間的に連続した第２のアップサンプリングされたスペクトル（１０３’）を出力するアップサンプラ（２）であって、前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）は両方とも、前記コア信号（１０１）と同じコンテンツを有し、前記コアスペクトル（１０１）の前記第１のスペクトル幅よりも大きい第２のスペクトル幅を有する、アップサンプラ（２）と、
前記アクセスユニット（１００’）の前記パラメータセット（１０２）のパラメータを変換して、前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）に適用可能である変換されたパラメータ（１０４、１０４’）を取得するためのパラメータ変換器（３）と、
前記変換されたパラメータ（１０４）を用いて、前記第１のアップサンプリングされたスペクトル（１０３）と、前記第２のアップサンプリングされたスペクトル（１０３’）とを処理するためのスペクトル・ギャップ・フィリング・プロセッサ（４）と、を含む装置。
【請求項２】
前記アップサンプラ（２）は、前記コア信号（１０１）のスペクトルの上側をゼロで満たし、前記コア信号（１０１）の前記満たされたスペクトル（１１０）から、前記第１のアップサンプリングされたスペクトル（１０３’）および前記第２のアップサンプリングされたスペクトル（１０３’）を導出するように構成される、請求項１に記載の装置。
【請求項３】
前記アップサンプラ（２）は、前記アクセスユニット（１００’）に直接先行するアクセスユニット（１００’’）のコア信号を追加的に用いて、前記アクセスユニット（１００’）の前記コア信号（１０１）をアップサンプリングするように構成される、請求項１または２に記載の装置。
【請求項４】
前記アップサンプラ（２）は、時間的に連続した第１の数のアクセスユニット（１００’、１００’’、１００’’’）のコア信号（１０１）を収集し、前記コア信号（１０１）から非整数のアップサンプリング比率で第２の数のアップサンプリングされたスペクトル（１０３）を処理するように構成され、前記第１の数が比率の分母であり前記第２の数が比率の分子である、請求項１〜３のいずれかに記載の装置。
【請求項５】
前記パラメータ変換器（３）は、時間的に連続したタイムスロットの第１の部分を参照して、前記パラメータセット（１０２）のパラメータの第１のサブセットを変換し、タイムスロットの前記第１の部分に時間的に連続した前記タイムスロットの第２の部分を参照して、前記パラメータセット（１０２）のパラメータの第２のサブセットを変換するように構成され、
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記第１のアップサンプリングされたスペクトル（１０３）と共に第１の変換されたパラメータのサブセット（１０４）を処理し、前記第２のアップサンプリングされたスペクトル（１０３’）と共に第２の変換されたパラメータのサブセット（１０４’）を処理するように構成される、請求項１〜４のいずれかに記載の装置。
【請求項６】
前記変換器（３）は、前記パラメータセット（１０２）のエネルギー値を参照するパラメータを、前記パラメータ値を所定のスケール係数でスケーリングすることにより、前記スペクトル・ギャップ・フィリング・プロセッサ（４）によって使用可能なエネルギー値に変換するように構成される、請求項１〜５のいずれかに記載の装置。
【請求項７】
前記変換器（３）は、前記アクセスユニット（１００’）に関連する窓関数に関する情報を抽出するように構成され、
前記変換器（３）は前記窓関数に従って前記スケール係数を適合させるように構成される、請求項６に記載の装置。
【請求項８】
前記変換器（３）は、遅延補償を挿入することによって、前記パラメータセット（１０２）のパラメータをシフトするように構成される、請求項１〜７のいずれかに記載の装置。
【請求項９】
前記アップサンプラ（２）は、前記コア信号（１０１）の値を補間することによって前記コア信号（１０１）をアップサンプリング（２０）するように構成される、請求項１〜８のいずれかに記載の装置。
【請求項１０】
前記アップサンプラ（２）は、先行するアクセスユニット（１００’’）の前記コア信号のスペクトルの上側をゼロで満たすように構成され、
前記アップサンプラ（２）は、前記アクセスユニット（１００’）の前記コア信号（１０１）のスペクトルの上側をゼロで満たすように構成され、
前記アップサンプラ（２）は、前記アクセスユニット（１００’）の前記満たされたスペクトル、および先行する前記アクセスユニット（１００’’）の前記満たされたスペクトルの逆変換（２１）を実行するように構成され、
前記アップサンプラ（２）は、前記先行するアクセスユニット（１００’’）の前記満たされたスペクトルに対する時間領域信号と、前記アクセスユニット（１００’）の前記満たされたスペクトルに対する時間領域信号とのオーバーラップ加算を実行して、中間時間信号（１１１）を取得するように構成される、請求項１〜９のいずれかに記載の装置。
【請求項１１】
前記アップサンプラ（２）は、前記中間時間信号（１１１）の第１の部分を用いてフォワード変換を実行して、前記第１のアップサンプリングされたスペクトル（１０３）を取得するように構成され、
前記アップサンプラ（２）は、前記中間時間信号（１１１）の第２の部分を用いてフォワード変換を実行して、前記第２のアップサンプリングされたスペクトル（１０３’）を取得するように構成され、かつ
前記第１の部分は前記第２の部分とオーバーラップする、請求項１０に記載の装置。
【請求項１２】
前記アップサンプラ（２）は、前記コア信号（１０１）をアップサンプリング（２０）して、アップサンプリングされたコア信号（１１０）を取得するように構成され、
前記アップサンプラ（２）は、前記アップサンプリングされたコア信号（１１０）に対して逆変換（２１）を実行して、時間領域信号（１１１）を取得するように構成され、
前記アップサンプラ（２）は、変換（２２、２３）を適用することにより、前記時間領域信号（１１１）を処理して、前記第１のアップサンプリングされたスペクトル（１０３）と前記時間的に連続する第２のアップサンプリングされたスペクトル（１０３’）とを取得するように構成され、かつ
前記逆変換（２１）は前記変換の逆変換である、請求項１〜１１のいずれかに記載の装置。
【請求項１３】
前記逆変換は逆変形離散コサイン変換であり、前記変換は変形離散コサイン変換である、請求項１２に記載の装置。
【請求項１４】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記変換されたパラメータ（１０４、１０４’）を用いて前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）とを復号化して、時間領域出力信号（３００）を取得するように構成される、請求項１〜１３のいずれかに記載の装置。
【請求項１５】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記変換されたパラメータの第１の部分（１０４）を前記第１のアップサンプリングされたスペクトル（１０３）に適用して第１の処理されたスペクトルを取得し、前記変換されたパラメータの第２の部分（１０４’）を前記第２のアップサンプリングされたスペクトル（１０３’）に適用して第２の処理されたスペクトルを取得するように構成される、請求項１４に記載の装置。
【請求項１６】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記第１の処理されたスペクトルと前記第２の処理されたスペクトルとを時間領域に変換するためのスペクトル変換器（７）を含むように構成され、
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、少なくとも２つの出力時間信号をオーバーラップ加算してオーディオ信号（３００）を取得するように構成されたオーディオ加算器（９）を含むように構成される、請求項１〜１３のいずれかに記載の装置。
【請求項１７】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、第１のアクセスユニットおよび第２のアクセスユニットを有する、スペクトル・ギャップ・フィリングにより符号化された信号を生成するように構成され、前記第１のアクセスユニットは、前記第１のアップサンプリングされたスペクトルの変換されたバージョンおよび前記変換されたパラメータの第１の部分を含み、前記第２のアクセスユニットは、前記第２のアップサンプリングされたスペクトルの変換されたバージョンおよび前記変換されたパラメータの第２の部分を含む、請求項１〜１６のいずれかに記載の装置。
【請求項１８】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、第１のアクセスユニットおよび第２のアクセスユニットを有する出力データストリームを生成するように構成され、請求項１〜１３のいずれかに記載の装置。
【請求項１９】
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記変換されたパラメータ（１０４、１０４’）を用いて、前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）とを処理して、２つのトランスコードされたアクセスユニットを取得するように構成され、
前記スペクトル・ギャップ・フィリング・プロセッサ（４）は、前記２つのトランスコードされたアクセスユニットを加算（５）して、トランスコードされたオーディオ信号（２００）を取得するように構成される、請求項１〜１８のいずれかに記載の装置。
【請求項２０】
前記トランスコードされたオーディオ信号（２００）はＩＧＦ符号化されたオーディオ信号（２００）である、請求項１９に記載の装置。
【請求項２１】
前記符号化されたオーディオ信号（１００）はＳＢＲ符号化されたオーディオ信号（１００）である、請求項１〜２０のいずれかに記載の装置。
【請求項２２】
符号化されたオーディオ信号（１００）を処理する方法であって、
前記符号化されたオーディオ信号（１００）は、一連のアクセスユニット（１００’）を含み、前記アクセスユニットの各々は、第１のスペクトル幅を有するコア信号と、前記第１のスペクトル幅よりも上のスペクトルを記述するパラメータとを含み、
前記方法は、
前記符号化されたオーディオ信号（１００）のアクセスユニット（１００’）から、前記コア信号（１０１）および前記パラメータのセット（１０２）を生成することと、
前記アクセスユニット（１００’）の前記コア信号（１０１）をアップサンプリングし、第１のアップサンプリングされたスペクトル（１０３）および時間的に連続した第２のアップサンプリングされたスペクトル（１０３’）を出力することであって、前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）は両方とも、前記コア信号（１０１）と同じコンテンツを有し、前記コアスペクトル（１０１）の前記第１のスペクトル幅よりも大きい第２のスペクトル幅を有する、ことと、
前記アクセスユニット（１００’）の前記パラメータセット（１０２）のパラメータを変換して、前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）に適用可能である変換されたパラメータ（１０４）を取得することと、
前記変換されたパラメータ（１０４）を用いて、前記第１のアップサンプリングされたスペクトル（１０３）と前記第２のアップサンプリングされたスペクトル（１０３’）とを処理することと、を含む方法。
【国際調査報告】
2019502948.tif 000031
2019502948.tif 000032