(57)【要約】受信したデジタルオーディオデータを標準化する方法であって、前記デジタルオーディオデータを複数のサブバンドに分解するステップと、複数のマスキング閾値を生成するため前記デジタルオーディオデータに音響心理学的モデルを適用するステップを有する。前記方法は、前記マスキング閾値と所望の変換パラメータに基づき複数の変換調整パラメータを生成するステップと、変換されたサブバンドを生成するために前記変換調整パラメータを前記サブバンドに適用するステップとをさらに有する。
2005528648.tif 000002
【特許請求の範囲】
【請求項１】
受信したデジタルオーディオデータを標準化する方法であって、
前記デジタルオーディオデータを複数のサブバンドに分解するステップと、
複数のマスキング閾値を生成するため音響心理学的モデルを前記デジタルオーディオデータに適用するステップと、
前記マスキング閾値と所望の変換パラメータに基づき複数の変換調整パラメータを生成するステップと、
変換されたサブバンドを生成するために前記変換調整パラメータを前記サブバンドに適用するステップとを有することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
前記複数のサブバンドは各々前記音響心理学モデルの複数のクリティカルバンドの１つに対応し、
前記マスキング閾値は前記複数のクリティカルバンドの関数であることを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、標準化されたデジタルオーディオデータを生成するために前記変換されたサブバンドを合成することを特徴とする方法。
【請求項４】
請求項１に記載の方法であって、前記受信されたデジタルオーディオデータは複数のデジタルブロックを有することを特徴とする方法。
【請求項５】
請求項１に記載の方法であって、前記デジタルオーディオデータはウェーブレットパケットツリーに基づき分解されることを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、前記音響心理学モデルは聴覚の絶対閾値を有することを特徴とする方法。
【請求項７】
請求項２に記載の方法であって、サブバンド支配性計量を提供することにより前記複数の変換調整パラメータが生成されることを特徴とする方法。
【請求項８】
受信したデジタルオーディオデータを複数のサブバンドに分解するサブバンド分析モジュールと、
複数のマスキング閾値を生成するため音響心理学的モデルを前記受信したデジタルオーディオデータに適用する音響心理学モデルモジュールと、
前記マスキング閾値と所望の変換パラメータに基づき複数の変換調整パラメータを生成する変換パラメータ生成モジュールと、
変換されたサブバンドを生成するために前記変換調整パラメータを前記サブバンドに適用する複数のサブバンド変換モジュールとを有することを特徴とする標準化機。
【請求項９】
請求項８に記載の標準化機であって、
前記複数のサブバンドは各々前記音響心理学モデルの複数のクリティカルバンドの１つに対応し、
前記マスキング閾値は前記複数のクリティカルバンドの関数であることを特徴とする標準化機。
【請求項１０】
請求項８に記載の標準化機であって、標準化されたデジタルオーディオデータを生成するために前記変換されたサブバンドを合成するサブバンド合成モジュールを有することを特徴とする標準化機。
【請求項１１】
請求項８に記載の標準化機であって、前記受信されたデジタルオーディオデータは複数のデジタルブロックを有することを特徴とする標準化機。
【請求項１２】
請求項８に記載の標準化機であって、前記デジタルオーディオデータはウェーブレットパケットツリーに基づき分解されることを特徴とする標準化機。
【請求項１３】
請求項８に記載の標準化機であって、前記音響心理学モデルは聴覚の絶対閾値を有することを特徴とする標準化機。
【請求項１４】
請求項９に記載の標準化機であって、サブバンド支配性計量を提供することにより前記複数の変換調整パラメータが生成されることを特徴とする標準化機。
【請求項１５】
命令が記憶されたコンピュータ読み取り可能な媒体であって、前記命令はプロセッサにより実行されたとき、前記プロセッサに、
前記デジタルオーディオデータを複数のサブバンドに分解し、
複数のマスキング閾値を生成するため音響心理学的モデルを前記デジタルオーディオデータに適用し、
前記マスキング閾値と所望の変換パラメータに基づき複数の変換調整パラメータを生成し、
変換されたサブバンドを生成するために前記変換調整パラメータを前記サブバンドに適用させることを特徴とする媒体。
【請求項１６】
請求項１５に記載のコンピュータ読み取り可能な媒体であって、
前記複数のサブバンドは各々前記音響心理学モデルの複数のクリティカルバンドの１つに対応し、
前記マスキング閾値は前記複数のクリティカルバンドの関数であることを特徴とする媒体。
【請求項１７】
請求項１５に記載のコンピュータ読み取り可能な媒体であって、前記命令は前記プロセッサに、標準化されたデジタルオーディオデータを生成するために前記変換されたサブバンドを合成させることを特徴とする媒体。
【請求項１８】
請求項１５に記載のコンピュータ読み取り可能な媒体であって、前記受信されたデジタルオーディオデータは複数のデジタルブロックを有することを特徴とする媒体。
【請求項１９】
請求項１５に記載のコンピュータ読み取り可能な媒体であって、前記デジタルオーディオデータはウェーブレットパケットツリーに基づき分解されることを特徴とする媒体。
【請求項２０】
請求項１５に記載のコンピュータ読み取り可能な媒体であって、前記音響心理学モデルは聴覚の絶対閾値を有することを特徴とする媒体。
【請求項２１】
請求項１６に記載のコンピュータ読み取り可能な媒体であって、サブバンド支配性計量を提供することにより前記複数の変換調整パラメータが生成されることを特徴とする媒体。
【請求項２２】
バスと、
前記バスと結合したプロセッサと、
前記バスと結合したメモリとを有するコンピュータシステムであって、
前記メモリは命令を記憶し、前記命令はプロセッサにより実行されたとき、前記プロセッサに、
前記デジタルオーディオデータを複数のサブバンドに分解し、
複数のマスキング閾値を生成するため音響心理学的モデルを前記デジタルオーディオデータに適用し、
前記マスキング閾値と所望の変換パラメータに基づき複数の変換調整パラメータを生成し、
変換されたサブバンドを生成するために前記変換調整パラメータを前記サブバンドに適用させることを特徴とするコンピュータシステム。
【請求項２３】
請求項２２に記載のコンピュータシステムであって、
前記複数のサブバンドは各々前記音響心理学モデルの複数のクリティカルバンドの１つに対応し、
前記マスキング閾値は前記複数のクリティカルバンドの関数であることを特徴とするコンピュータシステム。
【請求項２４】
請求項２２に記載のコンピュータシステムであって、
前記バスに結合された入出力モジュールをさらに有することを特徴とするコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一実施形態はデジタルオーディオ信号に関する。特に、デジタルオーディオ信号の知覚的標準化に関する。
【背景技術】
【０００２】
デジタルオーディオ信号は、条件やユーザの嗜好の変化に合わせるため頻繁に標準化される。デジタルオーディオ信号の標準化の例としては、信号の音量を変化させたり、信号のダイナミックレンジを変化させたりすることがある。ダイナミックレンジを変更する必要があるのは、例えば、１６ビットの再生機器に合わせるため２４ビットで符号化されたデジタル信号を１６ビットで符号化されたデジタル信号に変換しなければならないときである。
【０００３】
デジタルオーディオ信号の標準化は、その内容には注意を払わずに盲目的にデジタルオーディオソースに対してなされることが多い。ほとんどの場合、盲目的なオーディオ調整は知覚的に顕著なアーティファクトを結果として生じる。その理由は、信号のすべての成分が等しく変更されるからである。デジタルオーディオ標準化の一方法は、入力オーディオ信号に関数的変換を適用することによりデジタル信号のダイナミックレンジを縮小または拡大することである。これらの変換は線形でも非線形でもよい。しかし、最も一般的な方法は、入力オーディオのポイント・ツー・ポイントの線形変換を用いる。
【０００４】
図１は、デジタルオーディオのサンプルの標準分布に線形変換を適用した例を示すグラフである。この方法は、信号に含まれたノイズを考慮していない。信号の平均と広がりを増加する関数を適用することにより、信号に含まれる付加的ノイズも増幅される。例えば、図１に示した分布が誤差またはノイズの分布に対応する場合、曲線１２（入力信号）と曲線１１（標準化された信号）を比較することにより示されたように、単純な線形変換を適用すると平均値誤差が高くなり広がる。ほとんどのオーディオアプリケーションにおいては、これは悪い状況である。
【０００５】
上記に基づき、知覚的に顕著なアーティファクトを減らす、または無くす、デジタルオーディオ信号の改良された標準化技術が必要である。
【発明の詳細な説明】
【０００６】
本発明の一実施形態は、聴覚システムの特徴に基づき、オーディオ成分の特性を選択的に変更するためにデジタルオーディオデータを分析することによりそのデータを標準化する方法である。一実施形態において、その方法はオーディオデータに音響心理学モデルを適用するのと同時に、そのデータをサブバンドに分解することも含む。結果として、知覚的に顕著なアーティファクトが入ることを防止できる。
【０００７】
本発明の一実施形態は、知覚モデルと「クリティカルバンド」を利用する。聴覚システムは、オーディオ信号をクリティカルバンドと呼ばれるバンドに分解するフィルターバンクとしてしばしばモデル化される。クリティカルバンドは、単一のエンティティとして取り扱われる１以上のオーディオ周波数成分から構成されている。オーディオ周波数成分の一部は、クリティカルバンド内の他の成分（イントラマスキング）および他のクリティカルバンドからの成分（インターマスキング）をマスクすることができる。人間の聴覚システムは非常に複雑だが、多数のアプリケーションにおいて計算モデルが成功裏に使用されてきた。
【０００８】
知覚モデルもしくは音響心理学モデル（PAM）は、クリティカルバンドの関数として、通常音圧レベル（SPL）について、閾値マスクを計算する。閾値の裾に入るオーディオ成分はいずれも「マスク」され、それゆえ聞こえないであろう。ロッシービットレート削減またはオーディオコーディングアルゴリズムは、この閾値の下の量子化誤差を隠すためにこの減少を利用する。それゆえ、これらの誤差を暴露しないようにする必要がある。図１を参照して上で説明したように、簡単な線形変換は潜在的にこの誤差を増幅する。また、Ａ／Ｄ変換からの量子化ノイズは、ダイナミックレンジを拡大する手順により暴露されるであろう。一方、もし簡単なダイナミックレンジを圧縮する場合には、閾値より高い可聴信号はマスクできる。
【０００９】
図２は、信号スペクトルのマスキングの仮設例を示すグラフである。影をつけた領域２０と２１は、平均的リスナーには聞こえる領域である。マスク２２よりも下の領域は聞こえないであろう。
【００１０】
図３は、本発明の一実施形態による、標準化機６０の機能ブロックを示すブロック図である。図３のブロックの機能は、ハードウェア部品により、プロセッサにより実行可能なソフトウェア命令により、またはハードウェアとソフトウェアのいかなる組み合わせによっても実行可能である。
【００１１】
入来デジタルオーディオ信号は入力５８に入る。一実施形態において、デジタルオーディオ信号は長さNの入力オーディオブロックx(n), n=0,1,...,N-1の形式である。他の実施形態において、デジタルオーディオ信号のファイル全体が標準化機６０により処理されてもよい。
【００１２】
デジタルオーディオ信号は、入力５８からサブバンド分析モジュール５２に入力される。一実施形態において、サブバンド分析モジュール５２は、長さNの入力オーディオブロックx(n), n=0,1,...,N-1をM個のサブバンドsb(n), b=0,1,...,M-1, n=0,1,...,N/M-1に分解する。ここで、各サブバンドは１つのクリティカルバンドと関連している。他の実施形態において、サブバンドはいずれのクリティカルバンドと関連していなくてもよい。
【００１３】
一実施形態において、サブバンド分析モジュール５２は、ウェーブレットパケットツリーに基づくサブバンド分析方法を利用する。図４は、入力オーディオを44.1 KHzでサンプリングしたと仮定して、２９個のサブバンドから構成されたウェーブレットパケットツリーの１つの具体的な実施形態を示す図である。図４に示したツリー構造はサンプリングレートによって変化する。各線は２によるデシメーション（ファクター２によるサブサンプリングが後に続くローパスフィルタ）を表す。
【００１４】
サブバンド分析で用いられるローパスウェーブレットフィルタの実施形態は、最適化パラメータにより変化する。その最適化パラメータは、知覚されたオーディオ品質と計算性能の間のトレードオフに依存する。一実施形態として、N=2のドビッシーフィルター（db2フィルタとして一般に知られている）を用いる。標準化された係数は以下のシーケンスc[n]
【００１５】
【数１】
2005528648.tif 000003
により与えられる。
【００１６】
各サブバンドの中心は、人間の聴覚システムのクリティカルバンドの中心と一致するようにする。それゆえ、音響心理学モデルモジュール５１とサブバンド分析モジュール５２の出力の間に、正しい直接的結合がなされる。
【００１７】
音響心理学モデルモジュール５１も入力５８からデジタルオーディオ信号を受け取る。音響心理学モデル（PAM）は、人間の聴覚システムをモデル化するためのアルゴリズムを用いる。多数の異なるPAMアルゴリズムが知られており、本発明の実施形態とともに使用することができる。しかし、理論的基礎はほとんどのアルゴリズムについて同一である。すなわち、
・オーディオ信号を周波数スペクトルドメインに分解する−高速フーリエ変換（FFT）は最も広く使われるツールである。
・スペクトルバンドをクリティカルバンドにグループ分けする。これはFFTサンプルからM個のクリティカルバンドへのマッピングである。
・クリティカルバンド内の音色を持つ音と持たない音（ノイズ状成分）を決定する。
・エネルギーレベル、音色、周波数位置を使用することにより、クリティカルバンド成分の各々について個別のマスキング閾値を計算する。
・   
クリティカルバンドの関数として数タイプのマスキング閾値を計算する。
【００１８】
PAMモジュール５１の一実施形態によると、より洗練されたモデルと関連する計算の高度な複雑性を避けるため、聴覚の絶対閾値（または静寂時の閾値）を用いる。聴覚の最小閾値は、音圧レベル（またはパワースベクトルの対数）について以下の式で与えられる。
【数２】
2005528648.tif 000004
ここで、ｆはキロヘルツ単位である。
【００１９】
キロヘルツ単位の周波数からクリティカルバンド（またはバークレート）へのマッピングは、以下の式により達成される。
【数３】
2005528648.tif 000005
ここで、BWはクリティカルバンドのバンド幅である。周波数ライン０からスタートして、１つのバンドの上端が次のバンドの下端になるようにクリティカルバンドを生成すると、式（１）中の聴覚の絶対閾値の値は、以下のように積算することができる。
【数４】
2005528648.tif 000006
ここで、Nbは、クリティカルバンド内の周波数ラインの数であり、ωlとωhは、クリティカルバンドｂの下限および上限である。
【００２０】
本実施形態において、入力オーディオの実数値FFTはN個の入力サンプルのオーバーラップしているブロックについて計算される。実数値信号のFFTの対称的特性により、N/2個の周波数ラインが保持される。入力オーディオのパワースペクトルは、以下のように計算される。
【数５】
2005528648.tif 000007
【００２１】
信号のパワースペクトルとマスキング閾値（この場合静寂時の閾値）が次のモジュールに送られる。PAMモジュール５１の出力は、変換パラメータ生成モジュール５３に入力される。変換パラメータ生成モジュール５３は、所望の標準化または変換に基づいた所望の入力変換パラメータを入力６１に入力される。一実施形態において、変換パラメータ生成モジュール５３は、マスキング閾値および所望の変換によりクリティカルバンドの関数として、ダイナミックレンジ調整パラメータp(b), b=0,1,...,M-1を生成する。
【００２２】
一実施形態において、変換パラメータ生成モジュール５３は、より支配的なクリティカルバンドの数量的尺度を音量やマスキング特性によって提供しようとする。この質的尺度は、「サブバンド支配性計量」（SDM）と呼ばれる。それゆえ、ダイナミックレンジ標準化パラメータは、ノイズまたは量子化誤差を隠してしまう非支配的バンドの変換において強くならないように、「マッサージ」される。
【００２３】
SDMは、特定のクリティカルバンド内の周波数ラインおよび関連するマスキング閾値の間の差の絶対値の和として計算される。
【数６】
2005528648.tif 000008
ここで、ωlとωhは、クリティカルバンドｂの下限および上限に対応する。
【００２４】
それによって、P(ω)がマスキング閾値よりかなり大きいクリティカルバンドは支配的であると考えられ、そのSDMは無限大になる。一方、P(ω)がマスキング閾値より小さいクリティカルバンドは非支配的であり、そのSDMは負の無限大になる。
【００２５】
SDM計量を0.0から1.0の範囲にとどめるために、以下の式を使用できる。
【数７】
2005528648.tif 000009
ここで、パラメータγとδは、アプリケーションに応じて最適化され、例えば、γ=32、δ=2である。
【００２６】
変換パラメータ生成モジュール５３は、SDM計量の生成に加えて、所望の入力変換パラメータ６１を変更する。一実施形態において、以下の形式の線形変換
【数８】
2005528648.tif 000010
が入力信号データに施されると仮定する。パラメータαとβは、ユーザ／アプリケーションにより与えられるか、若しくはオーディオ信号の統計から自動的に計算される。
【００２７】
変換パラメータ生成モジュール５３の動作の例として、-32768と32767の範囲の16ビットオーディオ信号のダイナミックレンジを標準化することが望まれていると仮定する。一実施形態において、処理されたすべてのオーディオは、[ref_min,  ref_max]により特定された範囲に標準化される。一実施例において、ref_min=-20000、ref_max=20000である。変換パラメータを自動的に導出する方法は以下の通りである。
・サンプルの最初のブロックで信号値の最大と最小を計算する。
・変換されたブロックの新しい最大値と最小値が[-20000,20000]に標準化されるように、パラメータαとβを決定する。これは、初歩的な代数を用いて直線の傾きと切片を決定することにより求めることができる。
【数９】
2005528648.tif 000011
・前のブロックの最大と最小のヒストリーを保ちつつ、各入来ブロックについて繰り返す。
【００２８】
標準化パラメータが一旦決定されると、それはSDMにより調整される。各サブバンドについて、
【数１０】
2005528648.tif 000012
【００２９】
それゆえ、特定のサブバンドのSDMが0であるとき、非支配的サブバンドに関して、スロープは1.0であり、切片は0である。この結果サブバンドは変化しない。SDMが1.0であるとき、支配的サブバンドに関して、傾きと切片は式（９）から得られた元の値に等しい。本実施形態において、標準化機６０のサブバンド変換モジュール５４−５６に沿って送られるパラメータp(b)はα´(b)およびβ´(b)である。
【００３０】
サブバンド分析モジュール５２と変換パラメータ生成モジュール５３からの出力は、サブバンド変換モジュール５４−５６に入力される。サブバンド変換モジュール５４−５６は、変換パラメータ生成モジュール５３から受け取った変換パラメータをサブバンド分析モジュール５２から受け取ったサブバンドの各々に適用する。サブバンド変換は（式（８）に表した線形変換の実施形態では）以下の式により表される。
【数１１】
2005528648.tif 000013
【００３１】
一実施形態において、サブバンド変換モジュール５４−５６の出力は、標準化機６０の最終出力である。本実施形態において、データはさらにエンコーダに入力してもよいし、分析されてもよい。
【００３２】
他の実施形態において、サブバンド変換モジュール５４−５６の出力は、標準化された出力信号x’(n)を形成し出力５９に出力するために、転換されたサブバンドs’b(n), b=0,1,...,N/M-1を合成するサブバンド合成モジュール５７に入力される。一実施形態において、サブバンド合成モジュール５７によるサブバンド合成は、図４に示したウェーブレットツリー構造を逆にして、合成フィルタを使用することにより達成される。一実施形態において、合成フィルタは（db2として一般に知られている）N=2のドビッシーウェーブレットフィルターである。その標準化された係数は以下のシーケンスd[n]により与えられる。
【数１２】
2005528648.tif 000014
【００３３】
それゆえ、各デシメーション動作は、補完ウェーブレットフィルタを用いた補間動作（アップサンプルおよびハイパスフィルター）で置き換えられる。
【００３４】
図５は、本発明の一実施形態を実施するために使用することができるコンピュータシステム１００を示すブロック図である。コンピュータシステム１００は、プロセッサ１０１、入出力モジュール１０２、メモリ１０４を有する。一実施形態において、上で説明した機能は、メモリ１０４にソフトウェアとして記憶され、プロセッサ１０１により実行される。一実施形態において、入出力モジュール１０２は、図３の入力５８を入力され、図３の出力５９を出力する。プロセッサ１０１は、いかなるタイプの汎用プロセッサでも特定用途向けプロセッサでもよい。メモリ１０４は、いかなるタイプのコンピュータ読み取り可能な媒体であってもよい。
【００３５】
上で説明したように、本発明の一実施形態は、顕著に聞こえるアーティファクトが入り込むのを防ぎつつ、デジタルオーディオ信号の時間ドメイン変換を達成する標準化機である。実施形態において、変換を実現するために人間の聴覚システムに近いモデルが使用される。
【００３６】
本発明の数個の実施形態を具体的に図示し説明した。しかし、本発明の変更とバリエーションは上記の教示によりカバーされ、本発明の精神と意図した範囲から逸脱することなく添付した請求項の範囲内にあることは理解できるであろう。
【図面の簡単な説明】
【００３７】
【図１】デジタルオーディオのサンプルの標準分布に線形変換を適用する例を示すグラフである。
【図２】信号スペクトルをマスクする仮設例を示すグラフである。
【図３】本発明の一実施形態による標準化機の機能ブロックを示すブロック図である。
【図４】ウェーブレットパケットツリーの一実施形態を示す図である。
【図５】本発明の一実施形態の実施に使用可能なコンピュータシステムを示すブロック図である。
【図１】
2005528648.tif 000015
【図２】
2005528648.tif 000016
【図３】
2005528648.tif 000017
【図４】
2005528648.tif 000018
【図５】
2005528648.tif 000019
【国際調査報告】
2005528648.tif 000020
2005528648.tif 000021
2005528648.tif 000022