(57)【要約】オーディオ信号の入力スペクトル表現に基づいてオーディオ信号のノイズ充填されたスペクトル表現を提供するノイズ充填装置は、入力スペクトル表現の非ゼロスペクトル領域から少なくとも一つの中間スペクトル領域によって離隔している入力スペクトル表現のスペクトル領域を識別し、識別されたスペクトル領域を取得するように構成されたスペクトル領域識別器と、識別されたスペクトル領域に選択的にノイズを導入し、オーディオ信号のノイズ充填されたスペクトル表現を取得するように構成されたノイズ挿入器を備える。オーディオ信号の量子化スペクトル表現に基づいてノイズ充填パラメータを提供するノイズ充填パラメータ演算装置は、上述のようなスペクトル領域識別器と、ノイズ充填パラメータの演算のために、識別されたスペクトル領域の量子化誤差を選択的に考慮するように構成されたノイズ値演算器を備える。したがって、オーディオ信号を表現する符号化されたオーディオ信号表現を取得することができる。【選択図】図１
2011527455.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号の入力スペクトル表現（１１０）に基づいて、オーディオ信号のノイズ充填されたスペクトル表現（１１２）を提供するノイズ充填装置であって、
前記入力スペクトル表現（１１０）の非ゼロスペクトル領域（４２０ａ、４２０ｂ、４２０ｃ、４２０ｄ）から少なくとも一つの中間スペクトル領域（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ、４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）によって離隔している前記入力スペクトル表現（１１０）のスペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）を識別し、識別されたスペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）を取得するように構成された、スペクトル領域識別器（１２０）と、
前記識別されたスペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）に選択的にノイズを導入し、前記オーディオ信号の前記ノイズ充填されたスペクトル表現（１１２）を取得するように構成された、ノイズ挿入器（１３０）と、
を備えた、ノイズ充填装置（１００）。
【請求項２】
前記スペクトル領域識別器（１２０）は、ゼロに量子化され、少なくとも第１の予め定められた数（４）のゼロに量子化されている低い周波数の隣接するスペクトルライン（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ；４２２ｂ、４２２ｃ、４２２ｄ、４２２ｅ；４２２ｃ、４２２ｄ、４２２ｅ、４２２ｆ）と、少なくとも第２の予め定められた数（４）のゼロに量子化されている高い周波数の隣接するスペクトルライン（４２２ｆ、４２２ｇ、４２２ｈ、４２２ｉ；４２２ｇ、４２２ｈ、４２２ｉ、４２２ｊ；４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）を備えた前記入力スペクトル表現（１１０）のスペクトルライン（４２２ｅ、４２２ｆ、４２２ｇ）を、識別されたスペクトル領域として識別するように構成され、
前記第１の予め定められた数（４）は１以上であり、前記第２の予め定められた数（４）は１以上であり、
前記ノイズ挿入器（１３０）は、非ゼロ値に量子化されているスペクトルライン（４２０ａ、４２０ｂ、４２０ｃ、４２０ｄ）とゼロに量子化されているスペクトルライン（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ、４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）を残しながら、しかし前記第１の予め定められた数（４）のゼロに量子化されている低い周波数の隣接するスペクトルラインまたは前記第２の予め定められた数（４）のゼロに量子化されている高い周波数の隣接するスペクトルラインを前記ノイズ充填によって影響されないようにすることなく、前記識別されたスペクトルライン（４２２ｅ、４２２ｆ、４２２ｇ）に選択的にノイズを導入するように構成された、
請求項１に記載のノイズ充填装置（１００）。
【請求項３】
前記第１の予め定められた数（４）は、前記第２の予め定められた数（４）に等しい、請求項２に記載のノイズ充填装置（１００）。
【請求項４】
前記ノイズ充填装置は、前記オーディオ信号の前記入力スペクトル表現（１１０）の下部を前記ノイズ充填によって影響されないように残しながら、前記オーディオ信号の前記入力スペクトル表現（１１０）の上部のスペクトル領域にのみノイズを導入するように構成された、請求項１ないし３のいずれかに記載のノイズ充填装置（１００）。
【請求項５】
前記スペクトル領域識別器（１２０）は、与えられたスペクトル領域（ｉ）の予め定められた両側のスペクトル近傍におけるスペクトル領域の量子化された強度値（量子化（ｘ（ｉ））を合計し、合計値（Ｅ）を取得し、前記与えられたスペクトル領域（ｉ）が識別されたスペクトル領域か否かを決定するために前記合計値（Ｅ）を評価するように構成された、請求項１ないし４のいずれかに記載のノイズ充填装置（１００）。
【請求項６】
前記スペクトル領域識別器（１２０）は、ゼロに量子化されているスペクトル領域の連続したシーケンス（４２２ａ〜４２２ｉ；４２２ｂ〜４２２ｊ；４２２ｃ〜４２２ｋ）を検出するために前記入力スペクトル表現（１１０）のスペクトル領域の範囲をスキャンし、前記検出された連続したシーケンスの一つ以上の中心スペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）を、識別されたスペクトル領域として認識するように構成された、請求項１ないし５のいずれかに記載のノイズ充填装置（１００）。
【請求項７】
オーディオ信号の量子化スペクトル表現（５１０）に基づいて、ノイズ充填パラメータ（５１２）を提供するノイズ充填パラメータ演算装置であって、
前記量子化スペクトル表現（５１０）の非ゼロスペクトル領域（４２０ａ、４２０ｂ、４２０ｃ、４２０ｄ）から少なくとも一つの中間スペクトル領域（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ、４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）によって離隔している前記量子化スペクトル表現（５１０）のスペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）を識別し、識別されたスペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）を取得するように構成された、スペクトル領域識別器（５２０）と、
前記ノイズ充填パラメータ（５１２、ｎｆ）の演算に対して、前記識別されたスペクトル領域（ｉ）の量子化誤差（エネルギー（ｘ（ｉ）））を選択的に考慮するように構成された、ノイズ値演算器（５３０）と、
を備えた、ノイズ充填パラメータ演算装置（５００）。
【請求項８】
前記スペクトル領域識別器（５２０）は、ゼロに量子化されて、少なくとも第１の予め定められた数（４）のゼロに量子化されている低い周波数の隣接するスペクトルライン（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ；４２２ｂ、４２２ｃ、４２２ｄ、４２２ｅ；４２２ｃ、４２２ｄ、４２２ｅ、４２２ｆ）と、少なくとも第２の予め定められた数（４）のゼロに量子化されている高い周波数の隣接するスペクトルライン（４２２ｆ、４２２ｇ、４２２ｈ、４２２ｉ；４２２ｇ、４２２ｈ、４２２ｉ、４２２ｊ；４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）を備える前記入力スペクトル表現（５１０）のスペクトルライン（４２２ｅ、４２２ｆ、４２２ｇ）を、識別されたスペクトル領域として識別するように構成され、
前記第１の予め定められた数（４）は、１以上であり、前記第２の予め定められた数（４）は１以上であり、
前記ノイズ値演算器（５３０）は、前記ノイズ充填パラメータの演算に対して、非ゼロに量子化されているスペクトルライン（４２０ａ、４２０ｂ、４２０ｃ、４２０ｄ）と、ゼロに量子化されているスペクトルライン（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ、４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）を残しながら、しかし前記第１の予め定められた数（４）のゼロに量子化されている低い周波数の隣接するスペクトルラインまたは前記第２の予め定められた数（４）のゼロに量子化されている高い周波数の隣接するスペクトルラインを、前記ノイズ充填パラメータの前記演算に対して考慮しないようにすることなく、前記識別されたスペクトル領域（ｉ）の量子化誤差を選択的に考慮するように構成された、
請求項７に記載のノイズ充填パラメータ演算装置（５００）。
【請求項９】
前記ノイズ値演算器（５３０）は、前記ノイズ充填パラメータ（５１２、ｎｆ、ｎｆ＿ｉｎｄｅｘ）の演算に対して、前記識別されたスペクトル領域（ｉ）の量子化誤差の実際のエネルギー（エネルギー（ｘ（ｉ）））を考慮するように構成された、請求項７または８に記載のノイズ充填パラメータ演算装置（５００）。
【請求項１０】
前記ノイズ値演算器（５３０）は、単一のスペクトル領域または複数の隣接するスペクトルラインに集中した音の量子化誤差エネルギーに対して、複数の識別されたスペクトル領域上に分布した非音の量子化誤差エネルギー（エネルギー（ｘ(ｉ)））を強調するように構成された、請求項７ないし９のいずれかに記載のノイズ充填パラメータ演算装置（５００）。
【請求項１１】
前記ノイズ値演算器（５３０）は、前記識別されたスペクトル領域（ｉ）の対数化された量子化誤差エネルギー（ｌｏｇ10（エネルギー（ｘ(ｉ)）））の合計を演算し、前記ノイズ充填パラメータ（５１２、ｎｆ、ｎｆ＿ｉｎｄｅｘ）を取得するように構成された、請求項７ないし１０のいずれかに記載のノイズ充填パラメータ演算装置（５００）。
【請求項１２】
オーディオ信号を表現する符号化されたオーディオ信号表現であって、
前記オーディオ信号の符号化された量子化スペクトルドメイン表現と、
符号化されたノイズ充填パラメータとを備え、
前記ノイズ充填パラメータは、ゼロに量子化され、非ゼロ値に量子化されている前記スペクトルドメイン表現のスペクトル領域から少なくとも一つの中間スペクトル領域によって離隔している前記スペクトルドメイン表現のスペクトル領域の量子化誤差を表わす、
符号化されたオーディオ信号表現（９００）。
【請求項１３】
オーディオ信号の入力スペクトル表現に基づいてオーディオ信号のノイズ充填されたスペクトル表現を提供する方法であって、
前記入力スペクトル表現の非ゼロスペクトル領域から少なくとも一つの中間スペクトル領域によって離隔している前記入力スペクトル表現のスペクトル領域を識別し、識別されたスペクトル領域を取得するステップ（７１０）と、
前記識別されたスペクトル領域に選択的にノイズを導入し、前記オーディオ信号のノイズ充填されたスペクトル表現を取得するステップ（７２０）と、
を備えた、ノイズ充填されたスペクトル表現を提供する方法（７００）。
【請求項１４】
オーディオ信号の量子化スペクトル表現に基づいてノイズ充填パラメータを提供する方法であって、
前記量子化スペクトル表現の非ゼロスペクトル領域から少なくとも一つの中間スペクトル領域によって離隔している前記量子化スペクトル表現のスペクトル領域を識別し、識別されたスペクトル領域を取得するステップ（８１０）と、
前記ノイズ充填パラメータの演算に対して、前記識別されたスペクトル領域の量子化誤差を選択的に考慮するステップ（８２０）と、
を備えた、ノイズ充填パラメータを提供する方法（８００）。
【請求項１５】
コンピュータプログラムがコンピュータ上で動作するときに、コンピュータに請求項１３または１４に記載された方法を実行させるための、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明に係る実施形態は、オーディオ信号の入力スペクトル表現に基づいてオーディオ信号のノイズが充填されたスペクトル表現を提供するノイズ充填装置、オーディオ信号の量子化スペクトル表現に基づいてノイズ充填パラメータを提供するノイズ装填パラメータ演算装置、オーディオ信号を表現する符号化されたオーディオ信号表現、オーディオ信号のノイズ充填されたスペクトル表現を提供する方法、オーディオ信号の量子化スペクトル表現に基づいてノイズ充填パラメータを提供する方法、および、前記方法を実施するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
以下において、本発明に係る実施形態に有効に適用することができるいくつかのシナリオが記載される。多くの周波数ドメインのオーディオ信号エンコーダは、いくつかの周波数領域またはスペクトル領域（例えば、時間ドメインから周波数ドメインへの変換によって提供される周波数ラインまたはスペクトルライン）が他のスペクトル領域よりもより重要であるという考えに基づいている。したがって、音響心理学的に関連性の高いスペクトル領域は、一般的に、音響心理学的に関連性の低いスペクトル領域より高い精度で符号化される。異なるスペクトル領域の音響心理学的関連性は、例えば、隣接する強いスペクトルピークによる弱いスペクトル領域のマスキングを考慮に入れた音響心理学的モデルを用いて算出することができる。
【０００３】
符号化されたオーディオ信号のビットレートを低いレベルに低減したいという願望がある場合、いくつかのスペクトル領域は超低精度（例えば、わずか１ビット精度または２ビット精度）で量子化される。したがって、低い精度で量子化されたスペクトル領域の多くは、ゼロに量子化される。このように、低ビットレートの変換ベースのオーディオコーダは、異なるアーチファクト（人工産物）、特にゼロに量子化された周波数ラインを起源とするアーチファクトを受けやすい。実際、低ビットレートのオーディオ符号化におけるスペクトル値の粗い量子化は、多くのスペクトルラインがゼロに量子化されたかも知れないので、逆量子化の後に非常にまばらなスペクトルに導く可能性がある。復元された信号におけるこれらの周波数ホールは、望ましくないサウンドアーチファクトを生ずる。スペクトルにおける周波数ホールがフレーム毎に移動するとき、それは再生されたサウンドを非常にシャープにまたは不安定に（バーディ）にする。
【０００４】
ノイズ充填は、デコーダ側で、ゼロ量子化されている係数またはバンドをランダムノイズで充填することによってこれらのアーチファクトをマスクする手段である。挿入されるノイズのエネルギーは、エンコーダによって計算されて送信されるパラメータである。
【０００５】
ノイズ充填の異なるコンセプトは知られている。例えば、いわゆるＡＭＲ−ＷＲ＋は、例えば非特許文献１に記載されたように、ノイズ充填と離散フーリエ変換（ＤＦＴ）を結合する。加えて、国際規格ＩＴＵ-ＴのＧ．７２９．１は、ノイズ充填と修正された離散コサイン変換（ＭＤＣＴ）を結合するコンセプトを定める。詳細は、非特許文献２に記載されている。
【０００６】
ノイズ充填に関する更なる側面は、特許文献１に記載されている。
【０００７】
しかしながら、従来のノイズ充填のコンセプトは、オーディオ歪に結果としてなる。
【０００８】
この議論をかんがみて、改良された聴覚インプレッションを提供するためのノイズ充填コンセプトを構築することが望まれている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】国際出願番号ＰＣＴ／ＩＢ２００２／００１３８８、出願人：KONINKLIJKE PHILIPS ELECTRONICS N.V. [NL/NL]；Groenewoudseweg 1 NL-5621 BA Eindhoven (NL)、発明者：TAORI, Rakesh；Prof Holstlaan 6 NL-5656 AA Eindhoven (NL) 、VAN DE PAR, Steven, L., J., D., E.；Prof. Holstlaan 6 NL-5656 AA Eindhoven (NL).
【非特許文献】
【００１０】
【非特許文献１】「拡張された適応マルチレートワイドバンド（AMR-WB+）コーデック、3GRP TS 26.290 V6.3.0、2005-06、技術仕様書
【非特許文献２】Ragot 他、「ITU-T G.729.l :ＩＰ上の広帯域電話および音声のためのG.729と相互運用可能な８−３２Kbit/s のスケーラブルコーダ」、Vol.4、ICASSP 07、15-20 2007年４月
【非特許文献３】映画および付随するオーディオの汎用コーディング：アドバースド・オーディオ・コーディング、国際規格 13818-7, ISO/IEC JTC1/SC29/WG11 Moving Pictures Expert Group, 1997年
【発明の概要】
【００１１】
本発明に係る実施形態は、オーディオ信号の入力スペクトル表現に基づいてオーディオ信号のノイズ装填されたスペクトル表現を提供するノイズ充填装置を構築する。ノイズ充填装置は、入力スペクトル表現の非ゼロスペクトル領域（例えば、スペクトルラインまたはスペクトルビン）から少なくとも一つの中間スペクトル領域によって離隔している入力スペクトル表現のスペクトル領域（例えば、スペクトルラインまたはスペクトルビン）を識別し、識別されたスペクトル領域を取得するように構成されたスペクトル領域識別器を備える。ノイズ充填装置は、また、識別されたスペクトル領域（例えば、スペクトルラインまたはスペクトルビン）に選択的にノイズを導入し、オーディオ信号のノイズ充填されたスペクトル表現を取得するように構成されたノイズ挿入器を備える。
【００１２】
本発明のこの実施形態は、オーディオ信号のスペクトル表現の音の成分が、ノイズ充填がこのような音の成分の直接の近傍に適用される場合に、聴覚インプレッションに関して、通常は劣化するという発見に基づいている。したがって、ノイズ充填がこの種の音の非ゼロスペクトル領域から距離を置いて配置されたスペクトル領域にのみ適用される場合には、ノイズ充填されたオーディオ信号の改善された聴覚インプレッションを取得できることが分かっている。したがって、ノイズ充填装置に入力された量子化スペクトル表現においてゼロに量子化されないオーディオ信号スペクトルの音の成分は、大きなスペクトルホールの存在が依然として効果的に回避されながら、聞き取れる状態に保たれる（すなわち、密接に隣接したノイズで汚されない）。
【００１３】
好ましい実施形態において、スペクトル領域識別器は、識別されるスペクトル領域として、ゼロに量子化され、少なくとも第１の予め定められた数のゼロに量子化されている低い周波数の隣接するスペクトルラインと、少なくとも第２の予め定められた数のゼロに量子化されている高い周波数の隣接するスペクトルラインとを備え、第１の予め定められた数が１より大きいまたは１に等しく、第２の予め定められた数が１より大きいまたは１に等しい、入力スペクトル表現のスペクトルラインを識別するように構成される。本実施形態において、ノイズ挿入器は、非ゼロに量子化されているスペクトルラインおよびゼロに量子化されているスペクトルラインを残し、しかし第１の予め定められた数のゼロに量子化されている低い周波数の隣接するスペクトルライン、または、第２の予め定められた数のゼロに量子化されている高い周波数の隣接するスペクトルラインをノイズ充填によって影響を受けないようにすることなく、識別されたスペクトルラインに選択的にノイズを導入するように構成される。このように、ノイズ充填は、上方のスペクトル方向と下へのスペクトル方向の両方において、例えば第１の予め定められた数のゼロに量子化されている低い周波数の隣接するスペクトルラインおよび第２の予め定められた数のゼロに量子化されている高い周波数の隣接するスペクトルラインによって、ゼロに量子化され、非ゼロに量子化されているラインから離れたスペクトルラインにのみノイズが導入されるという点で選択的である。
【００１４】
好ましい実施形態において、非ゼロ値に量子化されているラインから上方の周波数方向における最小間隔が非ゼロに量子化されているラインから下方の周波数方向における最小間隔に等しいように、第１の予め定められた数は第２の予め定められた数に等しい。
【００１５】
好ましい実施形態において、ノイズ充填装置は、オーディオ信号のスペクトル表現の下部をノイズ充填によって影響を受けないように残しながら、オーディオ信号のスペクトル表現の上部のスペクトル領域にのみノイズを導入するように構成される。このようなコンセプトは、通常高い周波数は低い周波数より知覚的に重要でないので、有用である。ゼロ量子化された値も、大部分はスペクトルの後半において（すなわち高周波に対して）起こる。また、高い周波数におけるノイズの付加は、最終的なノイズの多いサウンドの回復を得やすくはない。
【００１６】
好ましい実施形態において、スペクトル領域識別器は、与えられたスペクトル領域の予め定められた両側のスペクトル近傍（すなわち高い周波数と低い周波数の両方に延びるスペクトル近傍）におけるスペクトル領域の量子化された強度値（例えば、エネルギー値または振幅値）を合計し、合計値を取得し、与えられたスペクトル領域が識別されたスペクトル領域か否かを決定するために合計値を評価するように構成される。与えられたスペクトル領域の両側のスペクトル近傍上の量子化されたスペクトルのエネルギーの合計値は、ノイズ充填を与えられたスペクトル領域に適用すべきかどうかを決定するために意味のある量であることが分かっている。
【００１７】
他の好ましい実施形態において、スペクトル領域識別器は、ゼロに量子化されているスペクトル領域の連続したシーケンスを検出するために入力スペクトル表現のスペクトル領域の範囲をスキャンし、このような検出された連続したシーケンスの一つ以上の中心スペクトル領域（すなわち非境界スペクトル領域）を識別されたスペクトル領域として認識するように構成される。
【００１８】
ゼロに量子化されているスペクトル領域の特定の「ランレングス」の検出は、特に低い計算量によって実施できるタスクであることが分かっている。このようなスペクトル領域の連続したシーケンスを識別するために、スペクトル領域のこのシーケンスの範囲内のすべてのスペクトル領域がゼロに量子化されているかどうかを決定することが可能であり、それは比較的単純なアルゴリズムまたは回路を用いて実行することができる。このようなスペクトル領域の連続したシーケンスがゼロに量子化されていることが分かった場合、シーケンスの一つ以上の内部スペクトル領域（それはスペクトル領域の現在のシーケンスの外側のスペクトル領域から十分遠くに離間している）は、識別されたスペクトル領域とみなされる。このように、スペクトル領域の範囲を通してスキャンすることによって（例えば、スペクトル領域の異なるシフトされたシーケンスを引き続いて選択することによって）、ゼロに量子化され、非ゼロに量子化されているスペクトル領域から予め定められた最小距離だけ離隔しているスペクトル領域を識別するためにスペクトル表現の効率的な解析を行うことができる。
【００１９】
本発明に係る他の実施形態は、オーディオ信号の量子化スペクトル表現に基づいてノイズ充填パラメータを提供するノイズ充填パラメータ演算装置を構築する。ノイズ充填パラメータ演算装置は、量子化スペクトル表現の非ゼロのスペクトル領域から少なくとも一つの中間のスペクトル領域によって離隔している量子化スペクトル表現のスペクトル領域を識別し、識別されたスペクトル領域を取得するように構成されたスペクトル領域識別器を備える。ノイズ充填パラメータ演算装置は、また、ノイズ充填パラメータの演算に対して、識別されたスペクトル領域の量子化誤差を選択的に考慮するように構成されたノイズ値演算器を備える。ノイズ充填パラメータ演算装置は、デコーダ側のノイズ充填を（非ゼロ値に量子化されている）音のスペクトル領域から離隔しているスペクトル領域に制限することが望ましく、結果的にノイズパラメータはエンコーダ側で算出されるべきであるというキーアイデアに基づいている。したがって、上記のデコーダコンセプトに特によく適合したノイズ充填パラメータが取得される。ゼロに量子化され、非ゼロ値に量子化されているスペクトル領域に非常に近いスペクトル領域は、真にノイズのようなオーディオコンテンツをしばしば反映せず、むしろ隣接した（非ゼロ値に量子化されている）音のスペクトル領域に強く相関していることも分かっている。したがって、ノイズ充填パラメータの演算に対して非ゼロ値に量子化されているスペクトル領域に近いスペクトル領域の量子化誤差を考慮することは、これが通常は強いノイズの過剰評価に結果としてなり、それにより非常にノイズの多い復元されたスペクトル表現に結果としてなるため、一般に望ましくないことが分かっている。
【００２０】
このように、本願明細書に記載されているノイズ充填パラメータ演算コンセプトは、上記のノイズ充填コンセプトとの組み合せにおいて有用であり、従来のノイズ充填コンセプトとの組み合せにおいてさえも有用である。
【００２１】
他の好ましい実施形態では、ノイズ充填装置に関して述べられたスペクトル領域の識別のためのコンセプトは、ノイズ充填パラメータ演算装置と組み合わせて適用することもできる。
【００２２】
別の好ましい実施形態では、ノイズ値演算器は、ノイズ充填パラメータの演算に対して、識別されたスペクトル領域の量子化誤差の実際のエネルギーを考慮するように構成される。実際の量子化誤差は、通常は統計学的に期待される量子化誤差から逸脱するため、（推定された量子化誤差または平均的な量子化誤差よりもむしろ）実際の量子化誤差の考慮が、通常は改良された結果をもたらすことが分かっている。
【００２３】
更なる好ましい実施形態では、ノイズ値演算器は、単一のスペクトル領域に集中された音の量子化誤差エネルギーに対して、複数の識別されたスペクトル領域上に分布した非音の量子化誤差エネルギーを強調するように構成される。このコンセプトは、平均エネルギーが量子化スレショルド以下にあり、それ故にゼロに量子化されている非音の広帯域ノイズが、ゼロに量子化されている非音の広帯域ノイズとゼロに量子化されている音の成分がともにゼロに量子化されている場合であっても、強度が量子化スレショルド以下にある単一の音のオーディオ成分よりも、ノイズ充填装置に知覚的に非常に関連するという発見に基づいている。その理由は、デコーダでランダムノイズを生成することによるノイズ充填装置が、量子化スペクトル表現における非音の広帯域ノイズを見逃し、音の成分を見逃さないことをモデル化できることである。このように、ゼロに量子化されている非音のノイズ成分の、ゼロに量子化されている音の成分上での強調は、より現実的なサウンド復元をもたらす。これは、また、人間の聴覚インプレッションが、ゼロに量子化されている小さいスペクトルピークの欠如によるよりも、スペクトルホールの存在（例えば、ゼロに量子化されている広帯域ノイズの欠如の形での）によって非常に多く劣化されるという事実による。音の成分は、単一のスペクトルラインに集中することができ、またはいくつかのスペクトルの連続するライン（例えば、ｉ−１，ｉ，ｉ＋１）上に拡散することができる。スペクトル領域は、例えば、一つ以上のスペクトルラインを備えることができる。
【００２４】
好ましい実施形態において、ノイズ値演算器は、識別されたスペクトル領域の対数化された量子化誤差エネルギーの合計を演算し、ノイズ充填パラメータを取得するように構成される。識別されたスペクトル領域の対数化された量子化誤差エネルギーの合計を演算することによって、上記のゼロに量子化されている音の領域上のゼロに量子化されている非音のスペクトル領域の相対的な強調を効率的な方法で得ることができる。
【００２５】
本発明に係る他の実施形態は、オーディオ信号を表現するための符号化されたオーディオ信号表現を構築する。符号化されたオーディオ信号表現は、オーディオ信号の符号化された量子化スペクトルドメイン表現および符号化されたノイズ充填パラメータを備える。ノイズ充填パラメータは、ゼロに量子化され、非ゼロに量子化されているスペクトルドメイン表現のスペクトル領域から少なくとも予め定められた数の中間スペクトル領域によって離隔しているスペクトルドメイン表現のスペクトル領域の量子化誤差を表わす。上記の符号化されたオーディオ信号表現は、上述のノイズ充填装置に用いることができ、上述のノイズ充填パラメータ演算装置を用いて取得することができる。符号化されたオーディオ信号表現は、ノイズ充填パラメータが、意味のあるノイズ情報が存在し、デコーダ側でノイズ充填に対して選択的に考慮されるべきこのようなスペクトル領域に対して、量子化スペクトルドメイン表現の量子化誤差を選択的に反映するので、特に良好なオーディオ品質を有するオーディオ信号の復元を可能とする。
【００２６】
本発明に係る他の実施形態は、オーディオ信号のノイズ充填された表現を提供する方法を構築する。
【００２７】
本発明に係る更に他の実施形態は、オーディオ信号の量子化スペクトル表現に基づいてノイズ充填パラメータを提供する方法を構築する。
【００２８】
本発明に係るさらにもう一つの実施形態は、上述した方法を実施するためのコンピュータプログラムを構築する。
【図面の簡単な説明】
【００２９】
本発明に係る実施形態は、添付図面を参照して引き続いて記載される。
【図１】本発明の一実施形態に係るノイズ充填装置の概略ブロック図を示す。
【図２】本発明に係るノイズ充填装置を備えるオーディオ信号デコーダの概略ブロック図を示す。
【図３】図１のノイズ充填装置の機能を実施するための疑似プログラムコードを示す。
【図４】図１に係るノイズ充填装置において実行することができるスペクトル領域の識別のグラフィック表現を示す。
【図５】本発明の一実施形態に係るノイズ充填パラメータ演算装置の概略ブロック図を示す。
【図６】図５に係るノイズ充填パラメータ演算装置の機能を実施するための疑似プログラムコードを示す。
【図７】オーディオ信号の入力スペクトル表現に基づいてオーディオ信号のノイズ充填されたスペクトル表現を提供する方法のフローチャートを示す。
【図８】オーディオ信号の量子化スペクトル表現に基づいてノイズ充填パラメータを提供する方法のフローチャートを示す。
【図９】本発明の一実施形態に係るオーディオ信号表現のグラフィック表現を示す。
【発明を実施するための形態】
【００３０】
図１-４に係るノイズ充填装置
【００３１】
図１は、本発明の一実施形態に係るノイズ充填装置１００の概略ブロック図を示す。ノイズ充填装置１００は、復号化されたスペクトル係数の形（例えば量子化されたまたは逆量子化された）で、オーディオ信号の入力スペクトル表現１１０を受信するように構成される。ノイズ充填装置１００は、また、入力スペクトル表現１１０に基づいてオーディオ信号のノイズ充填されたスペクトル表現１１２を提供するように構成される。
【００３２】
ノイズ充填装置１００は、入力スペクトル表現１１０の非ゼロスペクトル領域から少なくとも一つの中間スペクトル領域によって離隔している入力スペクトル表現１１０のスペクトル領域を識別するように構成されたスペクトル領域識別器１２０を備え、識別されたスペクトル領域を示す情報１２２を取得する。ノイズ充填装置１００は、また、識別されたスペクトル領域（情報１２２によって記述された）に選択的にノイズを導入するように構成されたノイズ挿入器１３０を備え、オーディオ信号のノイズ充填されたスペクトル表現１１２を取得する。
【００３３】
ノイズ充填装置１００の機能に関して、ノイズ充填装置１００は、入力スペクトル表現１１０のスペクトル領域（例えば、スペクトルラインまたはスペクトルビン）に、例えば、ゼロに量子化されているスペクトルラインのスペクトル値をノイズを記述する置換スペクトル値で置換することによって、ノイズを選択的に充填すると一般的に言うことができる。このようにして、例えば入力スペクトル表現１１０の粗い量子化に起因する入力スペクトル表現１１０内のスペクトルホールまたはスペクトルギャップを充填することができる。しかしながら、ノイズ充填装置１００は、ゼロに量子化されているスペクトルライン（すなわち、ゼロに量子化されているスペクトル値のスペクトルライン）のすべてにノイズを導入するというわけではない。むしろ、ノイズ充填装置１００は、非ゼロ値に量子化されているいかなるスペクトルラインからも充分な距離を備えたようなゼロに量子化されているスペクトルラインにノイズを導入するだけであり、ノイズ充填は、スペクトルホールまたはスペクトルギャップを完全に充填するわけではなく、ノイズが導入されたそれらのスペクトルラインと非ゼロに量子化されているスペクトルラインの間で、少なくとも一つのスペクトル領域（または少なくとも他の予め定められた数のスペクトル領域）のスペクトル距離を維持する。このように、スペクトル表現に導入された充填ノイズと非ゼロ値に量子化されているスペクトルラインの間のスペクトル距離は、音響心理学的に関連したスペクトルライン（それは、オーディオ信号の入力スペクトル表現においてゼロに量子化されない）が、ノイズ充填装置によってスペクトルに導入された充填ノイズから（一つ以上のスペクトル領域の予め定められた数のスペクトル距離に起因して）明らかに区別できるように維持される。したがって、音響心理学的に最も関連性のあるオーディオコンテンツ（入力スペクトル表現１１０において非ゼロスペクトルライン値によって表された）は、大きなスペクトルホールを回避しながら、明らかに知覚することができる。これは、ノイズ充填が、スペクトルホールまたはスペクトルギャップの中心領域において実行されながら、非ゼロ値に量子化されている入力スペクトル表現のスペクトルライン付近において選択的に省略されるという事実に起因する。
【００３４】
以下に、ノイズ充填装置１００のアプリケーション環境が、図２を参照して記載される。図２は、本発明の一実施形態に係るオーディオ信号デコーダ２００の概略ブロック図を示す。オーディオ信号デコーダ２００は、キーコンポーネントとしてノイズ充填装置１００を備える。オーディオ信号デコーダ２００は、また、符号化されたオーディオ信号表現２１２を受信し、符号化されたオーディオ信号のスペクトル係数の復号化された、オプションとして逆量子化された表現２１４を提供するように構成されたスペクトル係数デコーダ２１０を備える。スペクトル係数デコーダ２１０は、例えば、エントロピーデコーダ（例えば、算術デコーダまたはランレングスデコーダ）と、オプションとして、符号化されたオーディオ信号表現２１２からスペクトル係数の復号化された表現２１４（例えば、逆量子化された係数の形で）を導き出すために、逆量子化器を備えることができる。ノイズ充填装置１００は、オーディオ信号の入力スペクトル表現１１０として、スペクトル係数の復号化された表現２１４（それは、オプションとして逆量子化される）を受信するように構成される。
【００３５】
オーディオ信号デコーダ２００は、また、符号化されたオーディオ信号表現２１２からノイズファクタ情報２２２を抽出し、抽出されたノイズファクタ情報２２２をノイズ充填装置１００に提供するように構成されたノイズファクタ抽出器２２０を備える。オーディオ信号デコーダ２００は、また、ノイズ充填装置１００から復元されたスペクトル表現２３２を受信するように構成されたスペクトルリシェーパ２３０を備える。復元されたスペクトル表現２３２は、例えば、ノイズ充填装置によって提供されたノイズ充填されたスペクトル表現１１２に等しくてもよい。オプションと考えることができるスペクトルリシェーパ２３０は、復元されたスペクトル表現２３２に基づいてスペクトル情報２３４を提供するように構成される。オーディオ信号デコーダ２００は、スペクトルリシェーパ２３０によって提供された、または、スペクトルリシェーパ２３０がない場合には、復元されたスペクトル表現２３２によって提供されたスペクトル表現２３４を受信し、それに基づいて時間ドメインオーディオ信号表現２４２を提供する、スペクトルドメインから時間ドメインへの変換器２４０を更に備える。スペクトルドメインから時間ドメインへの変換器２４０は、例えば、逆修正離散コサイン変換（ＩＭＤＣＴ）を実行するように構成することができる。
【００３６】
好ましい実施形態において、デコーダ側でのノイズ充填は、以下のステップを備える（または以下のステップに従う）。
１．暗騒音を復号化する。
２．周波数ラインの量子化値を復号化する。
３．ゼロのランレングスが最小ランレングスサイズより高いスペクトルの選択された部分におけるスペクトル領域を検出する。
４．選択された領域内のそれぞれのラインに対する復号化された暗騒音に、ランダムに生成された符号を適用する。
【００３７】
暗騒音は、以下のように復号化される。
nf_decoded = 0.0625 * ( 8 - index )
【００３８】
検出されたスペクトル領域は、例えば、エンコーダ側でなされたのと同じ方法（それは後述される）で選択される。
【００３９】
ＭＤＣＴドメインにおけるメモリレスのガウスノイズは、すべてのラインに対して同じ振幅を有するがランダムな符号を有するスペクトルによって生成される。そして、選択された領域内の各ラインに対して、デコーダは、ランダムな符号（−１または＋１）を生成し、それを復号化された暗騒音に適用する。しかしながら、ノイズ貢献度を提供する他の方法を同様に適用することができる。
【００４０】
以下に、図１、２、３および４を参照していくつかの詳細が記載され、ここで、図３はノイズ充填装置１００によって実行することができるデコーダ側でのノイズ充填のアルゴリズムの疑似プログラムコードを示し、図４はノイズ充填のグラフィック表現を示す。
【００４１】
まず第一に、暗騒音の復号化は、ノイズファクタ抽出器２２０によって実行することができ、それは例えばノイズファクタインデックス（簡単に「インデックス」としても示される）を受信し、それに基づいて復号化されたノイズファクタ値２２２（「nf_decoded」によっても示される）を提供する。ノイズファクタインデックスは、例えば３または４ビットを用いて符号化することができ、例えば０と７の間の整数値または０と１５の間の整数値とすることができる。
【００４２】
周波数ライン（「スペクトルライン」または「スペクトルビン」としても示される）の量子化値は、スペクトル係数デコーダ２１０によって提供することができる。したがって、量子化された（またはオプションとして逆量子化された）スペクトルライン値（「スペクトル係数」としても示される）が取得され、それは「量子化（ｘ（ｉ））としても示される。ここで、ｉは、スペクトルライン値の周波数インデックスを示す。
【００４３】
続いて、ノイズ充填装置１００によって、ゼロ（すなわち、ゼロに量子化されているスペクトルライン値）のランレングスが最小ランレングスサイズより高いスペクトルの選択された部分において（例えば、予め定められたスペクトルライン周波数インデックスｉから始まるスペクトルの上側の部分において）、スペクトル領域が検出される。このようなスペクトル領域の検出は、図３のアルゴリズム３００の第１部分３１０によって実行される。アルゴリズム３００の第１部分３１０に示すように、検出された領域の集合Ｒは、アルゴリズムの初めにおいて空集合に初期化される（Ｒ＝｛｝；）。
【００４４】
図３のアルゴリズムの実施例において、最小ランレングスは８の固定値にセットされているが、当然、他のいかなる値を選ぶこともできる。
【００４５】
続いて、考慮中の複数のスペクトルライン（実行変数「line index」によって示される）に対して、考慮中のこれらのスペクトルラインの各々が、ゼロに量子化されているスペクトルラインの両側の周囲の状況を備えるかどうか（そして、考慮中のスペクトルラインがゼロに量子化されているそれ自体であるかどうか）が、判定される。例えば、スペクトルの後半のすべてのラインが考慮中のラインとして連続的に考えることができ、現在考慮中のラインは、周波数インデックス「line index」によって示される。「line index」によって示された考慮中のラインに対して、「line index - (MinimalRunLength)/2」のスペクトルライン周波数インデックスから「line index + MinimalRunLength)/2」のスペクトルライン周波数インデックスに及ぶ周囲の状況において、量子化スペクトル係数「量子化（ｘ（ｉ））」の合計が演算される。現在考慮中のスペクトルラインの前記周囲の状況におけるスペクトルライン値（スペクトルライン周波数インデックス「line index」を有する）の合計がゼロであることが分かっている場合、現在考慮中のスペクトルライン（または、より正確に言うと、そのスペクトルライン周波数インデックス「line index」）は、検出された領域（または検出されたスペクトルライン）の集合Ｒに加えられる。従って、スペクトルラインのスペクトルライン周波数インデックスが集合Ｒに加えられる場合、これは、「line index - MinimalRunLength)/2」と「line index + MinimalRunLength)/2」の間のラインインデックスを有するスペクトルラインがゼロに量子化されているスペクトルライン値をすべて備えることを意味する。
【００４６】
したがって、疑似プログラムコードの第１部分３１０において、非ゼロ値に量子化されているいかなるスペクトルラインからも「十分に」（すなわち、少なくともMinimalRunLength/2ラインだけ）離隔している考慮中のスペクトル部分のそれらの（そして、それらのみの）スペクトルラインを列挙するスペクトルライン周波数インデックス「line index」の集合Ｒが取得される。
【００４７】
このような領域の検出は、スペクトルのグラフィック表現４００を示す図４に図示される。横軸４１０は、スペクトルライン周波数インデックス「line index」に関するスペクトルラインの周波数を記述する。縦軸４１２は、スペクトルラインの強度（例えば、振幅またはエネルギー）を記述する。図に示すように、グラフィック表現４００に図示されたスペクトルの部分は、非ゼロ値に量子化されている４個のスペクトルライン４２０ａ、４２０ｂ、４２０ｃおよび４２０ｄを備える。更に、スペクトルライン４２０ｃと４２０ｄの間に、ゼロに量子化されている１１個のスペクトルライン４２２ａ〜４２２ｋがある。更に、スペクトルラインは、現在考慮中のスペクトルラインと非ゼロ値に量子化されている他のいかなるスペクトルラインの間に少なくとも４つのゼロに量子化されているスペクトルラインがある場合に、（そして、当然、現在考慮中のスペクトルラインが、ゼロに量子化されているそれ自身である場合に、）非ゼロ値に量子化されているスペクトルラインから十分に離間していると考慮されるだけであると仮定される。しかしながら、スペクトルライン４２２ａを考慮するとき、スペクトルライン４２２ａは、スペクトルライン４２２ａのスペクトルライン周波数インデックスがアルゴリズム３００の最初のパート３１０によって演算された集合Ｒの一部にならないように、ゼロに量子化されていないスペクトルライン４２２ｃと直接隣接していることが分かる。同様に、スペクトルライン４２２ｂ、４２２ｃおよび４２２ｄは、スペクトルライン４２２ｂ〜４２２ｄのスペクトルライン周波数インデックスも集合Ｒの一部にならないように、非ゼロ値に量子化されているいかなるスペクトルラインからも十分に間隔をおいて配置されていないことが分かる。対照的に、スペクトルライン４２２ｅは、すべてゼロに量子化されている９個の連続するスペクトルラインのシーケンスの中心のライン（または、より一般的にいえば、中心線）であるので、スペクトルライン４２２ｅは、非ゼロ値に量子化されているいかなるスペクトルラインからも十分に離間していると認識される。したがって、スペクトルライン４２２ｅのスペクトルライン周波数インデックスは、アルゴリズム３００の第１部分３１０において演算された集合Ｒの一部である。スペクトルライン４２２ｆ、４２２ｇは、非ゼロ値に量子化されているいかなる低い周波数のスペクトルライン４２０ａ、４２０ｂおよび４２０ｃからも、非ゼロ値に量子化されているいかなる高い周波数のスペクトルラインからも十分に離間しているので、スペクトルライン４２２ｆおよび４２２ｇのスペクトルライン周波数インデックスがアルゴリズム３００の第１部分３１０において決定された集合Ｒの一部であるように、スペクトルライン４２２ｆおよび４２２ｇに対しても同じことがあてはまる。他方、スペクトルライン４２２ｈ、４２２ｉ、４２２ｊおよび４２２ｋは、周波数に関して、非ゼロ値に量子化されているスペクトルライン４２０ｄのそばにあまりに密接に位置するので、これらのスペクトルラインは集合Ｒの一部でない。
【００４８】
したがって、スペクトルライン４２０ａ、４２０ｂ、４２０ｃ、４２０ｄは、非ゼロ値に量子化されているので、集合Ｒはこれらのスペクトルラインのスペクトルライン周波数インデックスを含まない。加えて、スペクトルライン４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ、４２２ｈ、４２２ｉ、４２２ｊおよび４２２ｋは、スペクトルライン４２０ａ、４２０ｂ、４２０ｃおよび４２０ｄのそばにあまりに密接に位置するので、これらのスペクトルラインのスペクトルライン周波数インデックスは集合Ｒの一部でない。対照的に、スペクトルライン４２２ｅ、４２２ｆ、４２２ｇは、それ自身ゼロに量子化され、いかなる隣接する非ゼロスペクトルラインからも十分に離間しているので、これらのスペクトルラインのスペクトルライン周波数インデックスは集合Ｒに含まれる。
【００４９】
アルゴリズム３００は、また、暗騒音を復号化する第２部分３２０を備え、ノイズ値インデックス（プログラムコード部３２０の「index」）は復号化されたノイズファクタ値（プログラムコード３００の「nf_decoded」）に変換される。
【００５０】
プログラムコード３００は、また、識別されたスペクトルライン、すなわちスペクトルライン周波数インデックスｉが集合Ｒにあるスペクトルラインにノイズを充填する第３部分３３０を備える。この目的のため、識別されたスペクトルライン（例えば、実行変数ｉが集合Ｒに含まれるすべてのスペクトルライン周波数インデックスを引き続いてとるｘ（ｉ）で示される）のスペクトル値がノイズ充填値にセットされる。ノイズ充填値は、例えば、復号化されたノイズ充填値（nf_decoded）に乱数または疑似乱数（「ランダム（−１、＋１）で示す）を掛けることによって取得され、乱数または疑似乱数は、例えば数−１と＋１をランダムにまたは疑似ランダムにとることができる。しかしながら、ランダムまたは疑似ランダムノイズの異なる供給は当然可能である。
【００５１】
ノイズ充填は、図４においても図示される。
図４に示すように、スペクトルライン４２２ｅ、４２２ｆおよび４２２ｇのゼロスペクトル値は、ノイズ充填値で置き換えられる（図４において点線で図示される）。
【００５２】
図５および６に係るノイズ充填パラメータ演算装置
【００５３】
図５は、ノイズ充填パラメータ演算装置５００の概略ブロック図を示す。ノイズ充填パラメータ演算装置は、オーディオ信号の量子化スペクトル表現５１０を取得し、それに基づいてノイズ充填パラメータ５１２を提供するように構成される。ノイズ充填パラメータ演算装置５００は、オーディオ信号の量子化スペクトル表現５１０を受信し、量子化スペクトル表現５１０の非ゼロスペクトル領域から少なくとも一つの中間スペクトル領域（例えばスペクトルライン）によって離隔している量子化スペクトル表現５１０のスペクトル領域（例えばスペクトルライン）を識別し、識別されたスペクトル領域（例えば識別されたスペクトルライン）を記述する情報５２２を取得するように構成された、スペクトル領域識別器５２０を備える。ノイズ充填パラメータ演算装置５００は、更に、量子化誤差情報５３２を受信し、ノイズ充填パラメータ５１２を提供するように構成されたノイズ値演算器５３０を備える。この目的のため、ノイズ値演算器は、ノイズ充填パラメータ５１２の演算のために、情報５２２によって記述された識別されたスペクトル領域の量子化誤差を選択的に考慮するように構成される。
【００５４】
量子化誤差情報５３２は、例えば、量子化スペクトル表現５１０においてゼロに量子化されているそれらのスペクトルラインのエネルギー（または強度）を記述するエネルギー情報（または強度情報）と同一とすることができる。
【００５５】
ノイズ充填パラメータ演算装置５００は、オプションとして、オーディオ信号の非量子化スペクトル表現５４２を受信し、オーディオ信号の量子化スペクトル表現５１０を提供するように構成された量子化器５４０を備えることができる。量子化器５４０は、調節可能な量子化分解能を有することができ、それは例えばスペクトルラインについてまたはスペクトルバンドについて（例えば、音響心理学的モデルを用いて取得されたスペクトルラインまたはスペクトルバンドの音響心理学的関連性に依存して）、個別に調節可能とすることができる。可変分解能量子化器の機能は、国際規格ＩＳＯ／ＩＥＣ１３８１８-７およびＩＳＯ／ＩＥＣ１４４９６-３に記載されている機能と同一とすることができる。特に、量子化器５４０は、オーディオ信号の量子化スペクトル表現（５１０）においてスペクトルギャップまたはスペクトルホール、すなわちゼロに量子化されている隣接するスペクトルラインの連続する領域があるように調整することができる。
【００５６】
さらに、非量子化スペクトル表現５４２は、量子化誤差情報５３２として役立つことができ、または、量子化誤差情報５３２は、非量子化スペクトル表現５４２から導き出すことができる。
【００５７】
以下において、ノイズ充填パラメータ演算装置５００によって実行されるノイズ充填パラメータ演算の機能が詳細に記載される。エンコーダ側でのノイズ充填パラメータ演算において、ノイズ充填は、好ましくは量子化ドメインにおいて適用される。このように、導入されたノイズは、音響心理学的に関連する逆フィルタによってその後形づくられる。
デコーダによって導入されるノイズのエネルギーは、次のステップに従ってエンコーダ側で演算され、符号化される。
１．周波数ラインの量子化値を得る。
２．スペクトルの一部のみを選択する。
３．ゼロのランレングスが最小ランレングスサイズより高いスペクトルの選択された部分におけるスペクトル領域を検出する。
４．前に検出された領域上の量子化誤差の幾何平均を演算する。
５．幾何平均を３ビットで一様に量子化する。
【００５８】
第１ステップに関して、周波数ラインの量子化値は、量子化器５４０を用いて取得することができる。周波数ラインの量子化値は、それ故、量子化スペクトル表現５１０によって表される。
【００５９】
第２ステップ（それはオプションであると考えることができる）に関して、ノイズ充填の演算は、好ましくはスペクトルの高い周波数部分に基づいて実行される点に留意すべきである。
好ましい実施形態において、ノイズ（暗騒音と呼ばれる）のエネルギーは、スペクトルの後半に関してのみ、すなわち（低周波に対してではなく）高周波に対して、演算される。実際、普通は、高周波（スペクトルの上部）は低周波より知覚的に重要でなく、ゼロに量子化されている値は大抵はスペクトルの後半で起こる。さらにまた、高周波におけるノイズの加算は、最終的なノイズの多い音響回復を得やすくはない。
【００６０】
第３ステップに関して、ノイズ充填をゼロに量子化されている値のランレングスが起こるスペクトル領域に限定することによって、ノイズ充填が非ゼロ値に非常に多く影響することが避けられる。このように、ノイズ充填は、非ゼロ値の近傍において適用されず、これらのラインのオリジナルの音調はよりよく保存される。最小ランレングスサイズは、好ましい実施形態において８に固定される。これは、非ゼロ値を包囲する８本のラインがノイズ充填によって影響されない（従って、ノイズ値の演算のために考慮されない）ことを意味する。
【００６１】
第４ステップに関して、量子化ドメインにおける量子化誤差は、範囲［−０．５、０．５］にあり、一様に分布しているとみなされる。検出された領域の量子化誤差のエネルギーは、対数ドメインの平均（すなわち幾何平均）である。暗騒音ｎｆは、次に以下のように演算される。
nf = power ( 10 ,  sum ( log10 ( E(x(i)) ) ) / ( 2*n ) )
【００６２】
上記において、sum（）は、検出された領域内の個々のラインｘ（ｉ）の対数エネルギー（log10（Ｅ（）））の合計であり、ｎはこれらの領域内のラインの数である。暗騒音ｎｆは、０と０．５の間である。このような演算は、ゼロ値のオリジナルのスペクトル平坦度を考慮に入れ、それらの音調／ノイズ特性に関する情報を得ることを可能とする。
【００６３】
ゼロ値が非常に音的である場合は、暗騒音（装置５００において演算された）はゼロに向かい、低暗騒音がデコーダ（例えば、上記デコーダ１００、２００）において加算される。ゼロ値が本当にノイズが多い場合は、暗騒音は高く、ノイズ充填は、ＰＮＳ（知覚的ノイズ置換）のような、ゼロスペクトルラインの高度にパラメトリックな符号化としてみることができる（非特許文献３を参照）。
【００６４】
第５ステップに関して、暗騒音の量子化インデックス（「index」）は、次に以下のように演算される。
index = max ( 0 , min ( 7 , int ( 8 - 16 * nf ) ) )
【００６５】
インデックスは、例えば、３ビットで送信される。
【００６６】
以下において、ノイズ充填パラメータを演算するアルゴリズムが、本発明の一実施形態に係るノイズ充填パラメータを取得するこの種のアルゴリズムの疑似プログラムコード６００を示す図６を参照して記載される。アルゴリズム６００は、ノイズ充填パラメータの演算に対して考慮すべき領域を検出する第１部分６１０を備える。識別された領域（例えばスペクトルライン）は、集合Ｒによって記述され、それは例えば、識別されたスペクトルラインのスペクトルライン周波数インデックス（「line index」）を備えることができる。それ自身ゼロに量子化され、更に非ゼロ値に量子化されている他のいかなるスペクトルラインからも十分に離隔しているスペクトルラインを識別することができる。
【００６７】
プログラム６００の第１部分６１０は、プログラム３００の第１部分３１０と同じとすることができる。したがって、アルゴリズム６００において用いられる量子化スペクトル表現（「量子化（ｘ(ｉ）」）は、例えば、アルゴリズム３００においてデコーダ側で用いられる量子化スペクトル表現（「量子化ｘ(ｉ)」）と同じとすることができる。言い換えれば、エンコーダとデコーダを備える伝送システムにおいて、エンコーダ側で用いられた量子化スペクトル表現は、符号化された形でデコーダに送信することができる。
【００６８】
アルゴリズム６００は、暗騒音を演算する第２部分６２０を備える。暗騒音の演算において、アルゴリズム６００の第１部分６１０において演算された集合Ｒによって記述されたそれらのスペクトル領域（またはスペクトルライン）のみが考慮される。図に示すように、ノイズ充填値ｎｆは、最初にゼロに初期化される。考慮されたスペクトルラインの数（ｎ）も、最初にゼロに初期化される。引き続いて、ラインインデックスが集合Ｒに含まれるすべてのスペクトルラインのエネルギーは、合計される前に対数化される。例えば、スペクトルラインのエネルギー（Ｅ（ｘ（ｉ）））の基底１０の対数（log10）を合計することができる。ここで、量子化の前のスペクトルラインの実際のエネルギー（「Ｅまたはエネルギー（ｘ（ｉ））で示される）は、対数化された形で合計される点に留意すべきである。考慮されるスペクトルラインの数もまた計数される。このように、アルゴリズム６００の第２部分６２０の実行の後、変数ｎｆは、量子化前の識別されたスペクトルラインのエネルギーの対数合計を示し、変数ｎは、識別されたスペクトルラインの数を記述する。
【００６９】
アルゴリズム６００は、また、値ｎｆ、すなわち識別されたスペクトルラインの対数合計を量子化する第３部分６３０を備える。上述のようなまたは図６に示されるようなマッピング方程式を用いることができる。
【００７０】
図７に係る方法
【００７１】
図７は、オーディオ信号の入力スペクトル表現に基づいてオーディオ信号のノイズ充填されたスペクトル表現を提供する方法のフローチャートを示す。図７の方法７００は、入力スペクトル表現の非ゼロスペクトル領域から少なくとも一つの中間スペクトル領域によって離隔しているオーディオ信号の入力スペクトル表現のスペクトル領域を識別し、識別されたスペクトル領域を取得するステップ７１０を備える。方法７００は、また、識別されたスペクトル領域に選択的にノイズを導入し、オーディオ信号のノイズ充填されたスペクトル表現を取得するステップ７２０を備える。
【００７２】
方法７００は、発明のノイズ充填装置に関して本願明細書に記載された特徴および機能のいずれかによって補足することができる。
【００７３】
図８に係る方法
【００７４】
図８は、オーディオ信号の量子化スペクトル表現に基づいてノイズ充填パラメータを提供する方法のフローチャートを示す。方法８００は、量子化スペクトル表現の非ゼロスペクトル領域から少なくとも一つの中間スペクトル領域によって離隔しているオーディオ信号の量子化スペクトル表現のスペクトル領域を識別し、識別されたスペクトル領域を取得するステップ８１０を備える。方法８００は、また、充填パラメータの演算のために、識別されたスペクトル領域の量子化誤差を選択的に考慮するステップ８２０を備える。
【００７５】
方法８００は、ノイズ充填パラメータ演算装置に関して本願明細書に記載された特徴および機能のいずれかによって補足することができる。
【００７６】
図９に係るオーディオ信号表現
【００７７】
図９は、本発明の一実施形態に係るオーディオ信号表現のグラフィック表現を示す。オーディオ信号表現９００は、例えば入力スペクトル表現１１０の基礎を形成することができる。オーディオ信号表現９００は、また、符号化されたオーディオ信号表現２１２の機能を引き継ぐことができる。オーディオ信号表現９００は、ノイズ充填パラメータ演算装置５００を用いて取得することができ、オーディオ信号表現９００は、オーディオ信号の量子化スペクトル表現５１０と、ノイズ充填パラメータ５１２を、例えば両方とも符号化された形で、備えることができる。
【００７８】
言い換えれば、符号化されたオーディオ信号表現９００は、オーディオ信号を表現することができる。符号化されたオーディオ信号表現９００は、オーディオ信号の符号化された量子化スペクトルドメイン表現と、更には符号化されたノイズ充填パラメータを備える。ノイズ充填パラメータは、ゼロに量子化され、非ゼロ値に量子化されているスペクトルドメイン表現のスペクトル領域から少なくとも一つの中間スペクトル領域によって離隔しているスペクトルドメイン表現のスペクトル領域の量子化誤差を表わす。
【００７９】
当然、オーディオ信号表現９００は、上述の情報のいずれかによって補足することができる。
【００８０】
実施変形例
【００８１】
特定の実施態様要件に依存して、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施態様は、その上に格納された電気的に読取可能な制御信号を有し、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。
【００８２】
本発明に係るいくつかの実施形態は、電気的に読取可能な制御信号を有し、本願明細書に記載された方法の一つが実行されるようにプログラム可能なコンピュータシステムと協働することができるデータキャリアを備える。
【００８３】
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するときに本願明細書に記載された方法の一つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば機械読取可能な媒体に格納することができる。
【００８４】
他の実施形態は、機械読取可能な媒体に格納された、本願明細書に記載された方法の一つを実行するコンピュータプログラムを備える。
【００８５】
言い換えれば、発明の方法の実施形態は、それ故、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の一つを実行するプログラムコードを有するコンピュータプログラムである。
【００８６】
発明の方法の更なる実施形態は、それ故、本願明細書に記載された方法の一つを実行するためのコンピュータプログラムを備えたデータキャリア（またはデジタル記録媒体）である。
【００８７】
発明の方法の更なる実施形態は、それ故、本願明細書に記載された方法を実行するコンピュータプログラムを表わすデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットを介して転送されるように構成することができる。
【００８８】
更なる実施形態は、本願明細書に記載された方法の一つを実行するように構成され、または適合された処理手段、例えばコンピュータ、またはプログラマブルロジックデバイスを備える。
【００８９】
更なる実施形態は、本願明細書に記載された方法の一つを実行するためのコンピュータプログラムがインストールされたコンピュータを備える。
【００９０】
いくつかの実施形態では、本願明細書に記載された方法の機能のいくつかまたはすべてを実行するために、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を用いることができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の一つを実行するために、マイクロプロセッサと協働することができる。
【００９１】
結  論
【００９２】
上記を要約すると、本発明は、エンコーダ側でノイズ充填パラメータを演算するときとデコーダ側でノイズを適用するときの両方で、入力信号および復号化信号特性を考慮することによって、オーディオ符号化ツール「ノイズ充填」を強化する。本発明の実施形態において、ゼロに量子化されているスペクトルラインの音調／ノイズ性が推定され、暗騒音推定に用いられる。この暗騒音は、次に、スペクトルの特定の領域に起こっているゼロに量子化されている値にノイズ充填を適用するデコーダに送信される。これらの領域は、復号化されたスペクトルの特性に基づいて選択される。
【００９３】
本発明の背景に関して、本発明がＭＤＣＴ上のスカラ量子化を用いる変換ベースの符号化に適用された点に留意することができる。ＭＤＣＴ係数は、知覚的な手がかりに基づいて算出されたカーブによって先に正規化される。カーブは、ＡＭＲ−ＷＢ＋のＴＣＸモードにおいてなされるので、先のＬＰＣ（線形予測符号化）解析段階からＬＰＣ係数を重み付けすることによって推論される（非特許文献１を参照）。重み付け係数から、知覚的重み付けフィルタが設計され、ＭＤＣＴの前に適用される。逆フィルタもまた、逆ＭＤＣＴの後にデコーダ側で適用される。この逆知覚的重み付けフィルタは、知覚されたノイズを最小化またはマスクするような方法で量子化ノイズを整形する。
【００９４】
本発明に係る実施形態において、先行技術の不都合は克服される。ノイズ充填は、従来は、スペクトル包絡ベースのスレショルド、マスキングスレショルド、またはエネルギースレショルドのみを考慮するゼロに量子化されている値の上にシステマチックな方法で適用される。先行技術は、入力信号の特性も復号化信号の特性も考慮しない。このように、従来の装置は、望ましくない付加的なアーチファクト、特にノイズのアートファクトを誘導し、この種のツールの効果をキャンセルする。
【００９５】
対照的に、本発明に係る実施形態は、上述のように、アーチファクトの低減された改良されたノイズ充填を可能とする。
【図１】
2011527455.tif 000003
【図２】
2011527455.tif 000004
【図３】
2011527455.tif 000005
【図４】
2011527455.tif 000006
【図５】
2011527455.tif 000007
【図６】
2011527455.tif 000008
【図７】
2011527455.tif 000009
【図８】
2011527455.tif 000010
【図９】
2011527455.tif 000011
【手続補正書】
【提出日】平成23年3月7日(2011.3.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オーディオ信号の入力スペクトル表現（１１０）に基づいて、オーディオ信号のノイズ充填されたスペクトル表現（１１２）を提供するノイズ充填装置であって、
ゼロに量子化され、前記入力スペクトル表現（１１０）の非ゼロスペクトル領域（４２０ａ、４２０ｂ、４２０ｃ、４２０ｄ）から少なくとも一つの中間スペクトル領域（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ、４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）によって離隔している前記入力スペクトル表現（１１０）のスペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）を識別し、識別されたスペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）を取得するように構成された、スペクトル領域識別器（１２０）と、
前記識別されたスペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）に選択的にノイズを導入し、前記オーディオ信号の前記ノイズ充填されたスペクトル表現（１１２）を取得するように構成された、ノイズ挿入器（１３０）と、
を備えた、ノイズ充填装置（１００）。
【請求項２】
前記スペクトル領域識別器（１２０）は、ゼロに量子化され、少なくとも第１の予め定められた数（４）のゼロに量子化されている低い周波数の隣接するスペクトルライン（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ；４２２ｂ、４２２ｃ、４２２ｄ、４２２ｅ；４２２ｃ、４２２ｄ、４２２ｅ、４２２ｆ）と、少なくとも第２の予め定められた数（４）のゼロに量子化されている高い周波数の隣接するスペクトルライン（４２２ｆ、４２２ｇ、４２２ｈ、４２２ｉ；４２２ｇ、４２２ｈ、４２２ｉ、４２２ｊ；４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）を備えた前記入力スペクトル表現（１１０）のスペクトルライン（４２２ｅ、４２２ｆ、４２２ｇ）を、識別されたスペクトル領域として識別するように構成され、
前記第１の予め定められた数（４）は１以上であり、前記第２の予め定められた数（４）は１以上であり、
前記ノイズ挿入器（１３０）は、非ゼロ値に量子化されているスペクトルライン（４２０ａ、４２０ｂ、４２０ｃ、４２０ｄ）とゼロに量子化されているスペクトルライン（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ、４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）を残しながら、しかし前記第１の予め定められた数（４）のゼロに量子化されている低い周波数の隣接するスペクトルラインまたは前記第２の予め定められた数（４）のゼロに量子化されている高い周波数の隣接するスペクトルラインを前記ノイズ充填によって影響されないようにすることなく、前記識別されたスペクトルライン（４２２ｅ、４２２ｆ、４２２ｇ）に選択的にノイズを導入するように構成された、
請求項１に記載のノイズ充填装置（１００）。
【請求項３】
前記第１の予め定められた数（４）は、前記第２の予め定められた数（４）に等しい、請求項２に記載のノイズ充填装置（１００）。
【請求項４】
前記ノイズ充填装置は、前記オーディオ信号の前記入力スペクトル表現（１１０）の下部を前記ノイズ充填によって影響されないように残しながら、前記オーディオ信号の前記入力スペクトル表現（１１０）の上部のスペクトル領域にのみノイズを導入するように構成された、請求項１ないし３のいずれかに記載のノイズ充填装置（１００）。
【請求項５】
前記スペクトル領域識別器（１２０）は、与えられたスペクトル領域（ｉ）の予め定められた両側のスペクトル近傍におけるスペクトル領域の量子化された強度値（量子化（ｘ（ｉ））を合計し、合計値（Ｅ）を取得し、前記与えられたスペクトル領域（ｉ）が識別されたスペクトル領域か否かを決定するために前記合計値（Ｅ）を評価するように構成された、請求項１ないし４のいずれかに記載のノイズ充填装置（１００）。
【請求項６】
前記スペクトル領域識別器（１２０）は、ゼロに量子化されているスペクトル領域の連続したシーケンス（４２２ａ〜４２２ｉ；４２２ｂ〜４２２ｊ；４２２ｃ〜４２２ｋ）を検出するために前記入力スペクトル表現（１１０）のスペクトル領域の範囲をスキャンし、前記検出された連続したシーケンスの一つ以上の中心スペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）を、識別されたスペクトル領域として認識するように構成された、請求項１ないし５のいずれかに記載のノイズ充填装置（１００）。
【請求項７】
オーディオ信号の量子化スペクトル表現（５１０）に基づいて、ノイズ充填パラメータ（５１２）を提供するノイズ充填パラメータ演算装置であって、
前記量子化スペクトル表現（５１０）の非ゼロスペクトル領域（４２０ａ、４２０ｂ、４２０ｃ、４２０ｄ）から少なくとも一つの中間スペクトル領域（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ、４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）によって離隔している前記量子化スペクトル表現（５１０）のスペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）を識別し、識別されたスペクトル領域（４２２ｅ、４２２ｆ、４２２ｇ）を取得するように構成された、スペクトル領域識別器（５２０）と、
前記ノイズ充填パラメータ（５１２、ｎｆ）の演算に対して、前記識別されたスペクトル領域（ｉ）の量子化誤差（エネルギー（ｘ（ｉ）））を選択的に考慮するように構成された、ノイズ値演算器（５３０）と、
を備えた、ノイズ充填パラメータ演算装置（５００）。
【請求項８】
前記スペクトル領域識別器（５２０）は、ゼロに量子化されて、少なくとも第１の予め定められた数（４）のゼロに量子化されている低い周波数の隣接するスペクトルライン（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ；４２２ｂ、４２２ｃ、４２２ｄ、４２２ｅ；４２２ｃ、４２２ｄ、４２２ｅ、４２２ｆ）と、少なくとも第２の予め定められた数（４）のゼロに量子化されている高い周波数の隣接するスペクトルライン（４２２ｆ、４２２ｇ、４２２ｈ、４２２ｉ；４２２ｇ、４２２ｈ、４２２ｉ、４２２ｊ；４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）を備える前記入力スペクトル表現（５１０）のスペクトルライン（４２２ｅ、４２２ｆ、４２２ｇ）を、識別されたスペクトル領域として識別するように構成され、
前記第１の予め定められた数（４）は、１以上であり、前記第２の予め定められた数（４）は１以上であり、
前記ノイズ値演算器（５３０）は、前記ノイズ充填パラメータの演算に対して、非ゼロに量子化されているスペクトルライン（４２０ａ、４２０ｂ、４２０ｃ、４２０ｄ）と、ゼロに量子化されているスペクトルライン（４２２ａ、４２２ｂ、４２２ｃ、４２２ｄ、４２２ｈ、４２２ｉ、４２２ｊ、４２２ｋ）を残しながら、しかし前記第１の予め定められた数（４）のゼロに量子化されている低い周波数の隣接するスペクトルラインまたは前記第２の予め定められた数（４）のゼロに量子化されている高い周波数の隣接するスペクトルラインを、前記ノイズ充填パラメータの前記演算に対して考慮しないようにすることなく、前記識別されたスペクトル領域（ｉ）の量子化誤差を選択的に考慮するように構成された、
請求項７に記載のノイズ充填パラメータ演算装置（５００）。
【請求項９】
前記ノイズ値演算器（５３０）は、前記ノイズ充填パラメータ（５１２、ｎｆ、ｎｆ＿ｉｎｄｅｘ）の演算に対して、前記識別されたスペクトル領域（ｉ）の量子化誤差の実際のエネルギー（エネルギー（ｘ（ｉ）））を考慮するように構成された、請求項７または８に記載のノイズ充填パラメータ演算装置（５００）。
【請求項１０】
前記ノイズ値演算器（５３０）は、単一のスペクトル領域または複数の隣接するスペクトルラインに集中した音の量子化誤差エネルギーに対して、複数の識別されたスペクトル領域上に分布した非音の量子化誤差エネルギー（エネルギー（ｘ(ｉ)））を強調するように構成された、請求項７ないし９のいずれかに記載のノイズ充填パラメータ演算装置（５００）。
【請求項１１】
前記ノイズ値演算器（５３０）は、前記識別されたスペクトル領域（ｉ）の対数化された量子化誤差エネルギー（ｌｏｇ10（エネルギー（ｘ(ｉ)）））の合計を演算し、前記ノイズ充填パラメータ（５１２、ｎｆ、ｎｆ＿ｉｎｄｅｘ）を取得するように構成された、請求項７ないし１０のいずれかに記載のノイズ充填パラメータ演算装置（５００）。
【請求項１２】
オーディオ信号を表現する符号化されたオーディオ信号表現であって、
前記オーディオ信号の符号化された量子化スペクトルドメイン表現と、
符号化されたノイズ充填パラメータとを備え、
前記ノイズ充填パラメータは、ゼロに量子化され、非ゼロ値に量子化されている前記スペクトルドメイン表現のスペクトル領域から少なくとも一つの中間スペクトル領域によって離隔している前記スペクトルドメイン表現のスペクトル領域の量子化誤差を表わす、
符号化されたオーディオ信号表現（９００）。
【請求項１３】
オーディオ信号の入力スペクトル表現に基づいてオーディオ信号のノイズ充填されたスペクトル表現を提供する方法であって、
前記入力スペクトル表現の非ゼロスペクトル領域から少なくとも一つの中間スペクトル領域によって離隔している前記入力スペクトル表現のスペクトル領域を識別し、識別されたスペクトル領域を取得するステップ（７１０）と、
前記識別されたスペクトル領域に選択的にノイズを導入し、前記オーディオ信号のノイズ充填されたスペクトル表現を取得するステップ（７２０）と、
を備えた、ノイズ充填されたスペクトル表現を提供する方法（７００）。
【請求項１４】
オーディオ信号の量子化スペクトル表現に基づいてノイズ充填パラメータを提供する方法であって、
前記量子化スペクトル表現の非ゼロスペクトル領域から少なくとも一つの中間スペクトル領域によって離隔している前記量子化スペクトル表現のスペクトル領域を識別し、識別されたスペクトル領域を取得するステップ（８１０）と、
前記ノイズ充填パラメータの演算に対して、前記識別されたスペクトル領域の量子化誤差を選択的に考慮するステップ（８２０）と、
を備えた、ノイズ充填パラメータを提供する方法（８００）。
【請求項１５】
コンピュータプログラムがコンピュータ上で動作するときに、コンピュータに請求項１３または１４に記載された方法を実行させるための、コンピュータプログラム。
【国際調査報告】
2011527455.tif 000012
2011527455.tif 000013
2011527455.tif 000014