(57)【要約】オーディオシステムは、復号されたオーディオ信号（１４）の連続したフラグメントを変更して後処理されたオーディオ信号（１６）の連続したフラグメントを提供するように構成されたポストプロセッサ（１２）を有する。マスキング閾値生成器（２０）は、後処理されたオーディオ信号（１６）の連続したフラグメントのマスキング閾値の推定を提供する。雑音レベル生成器（１７）は、後処理されたオーディオ信号（１６）の連続したフラグメントの雑音レベルの推定を提供する。歪み生成器（１７）は、後処理されたオーディオ信号（１６）の連続したフラグメントについて、雑音レベルがマスキング閾値を越える程度（Ｄ）を決定する。調整器（１８）は、雑音レベルがマスキング閾値を越える程度に従って、ポストプロセッサを制御する。
2005532586.tif 000002
【特許請求の範囲】
【請求項１】
復号されたオーディオ信号の連続したフラグメントを変更して後処理されたオーディオ信号の連続したフラグメントを提供するように構成されたポストプロセッサと、
前記後処理に起因して、前記オーディオ信号の前記連続したフラグメントを符合化する際に導入される量子化雑音が可聴になる程度を決定するための歪み検出器と、
前記程度に従って前記ポストプロセッサを制御するように構成された調整器と、
を有するオーディオシステム。
【請求項２】
請求項１に記載のオーディオシステムにおいて、
前記後処理されたオーディオ信号の前記連続したフラグメントのためのマスキング閾値の推定を提供するように構成されたマスキング閾値生成器と、
前記後処理されたオーディオ信号の前記連続したフラグメントのための雑音レベルの推定を提供するように構成された雑音レベル検出器と、
を有し、
前記歪み検出器は、前記程度を、前記後処理されたオーディオ信号の前記連続したフラグメントについて前記雑音レベルが前記マスキング閾値を越える程度に従って決定する、
オーディオシステム。
【請求項３】
請求項２に記載のオーディオシステムにおいて、更に、オーディオストリームを読み取って前記オーディオ信号の前記連続したフラグメントを作成するように構成されたデコーダを有するオーディオシステム。
【請求項４】
請求項３に記載のオーディオシステムにおいて、前記デコーダは、前記オーディオ信号のフラグメントのステレオ符号化された連続した対を作成し、前記ポストプロセッサは、ステレオ拡張を前記オーディオ信号のフラグメントの前記連続した対に適用する、オーディオシステム。
【請求項５】
請求項２に記載のオーディオシステムにおいて、前記マスキング閾値生成器は、前記後処理されたオーディオ信号の前記連続したフラグメントを周波数領域に変換し、そこから前記マスキング閾値を導くように構成された音響心理学的モデル化部品を有する、オーディオシステム。
【請求項６】
請求項２に記載のオーディオシステムにおいて、前記マスキング閾値生成器は、オーディオストリームを読み取って前記オーディオ信号の前記連続したフラグメントを作成し、前記オーディオ信号の前記連続したフラグメントに前記ポストプロセッサと類似した後処理を適用し、前記オーディオ信号の前記連続した後処理されたフラグメントを周波数領域に変換し、前記後処理された信号から前記マスキング閾値を導くように構成される音響心理学的モデル化部品を有する、オーディオシステム。
【請求項７】
請求項２に記載のオーディオシステムにおいて、更に、復号されたオーディオ信号の前記連続したフラグメントを読み取って、そこから、前記オーディオ信号が復号されるオーディオストリームを符合化する際に使用される量子化レベルの表示を提供するように構成される逆デコーダを有するオーディオシステム。
【請求項８】
請求項３に記載のオーディオシステムにおいて、前記雑音レベル検出器は、前記オーディオストリームから、オーディオストリームを符合化する際に使用される量子化レベルを導くように構成される、オーディオシステム。
【請求項９】
請求項７又は８に記載のオーディオシステムにおいて、前記雑音レベル検出器は、前記量子化レベルから、前記復号されたオーディオ信号の前記連続したフラグメントの周波数領域における雑音レベルの分布を導き、前記ポストプロセッサと類似した後処理を雑音レベルの前記連続した分布に適用し、前記後処理されたオーディオ信号の前記連続したフラグメントの雑音レベルの連続した推定を提供するように構成される、オーディオシステム。
【請求項１０】
復号されたオーディオ信号の連続したフラグメントを後処理して後処理されたオーディオ信号の連続したフラグメントを提供するステップと、
前記後処理に起因して、前記オーディオ信号の前記連続したフラグメントを符合化する際に導入された量子化雑音が可聴になる程度を決定するステップと、
前記程度に従って前記ポストプロセッサを制御するステップと、
を有する、オーディオストリームを処理する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の処理に関する。
【背景技術】
【０００２】
図１を、ここで参照する。従来型のオーディオシステムにおいて、デコーダ１０は、オーディオ信号（図示せず）が符合化されたオーディオストリームＡＳを受信する。デコーダ１０は、オーディオ信号の連続したフラグメントに対応する時間領域信号１４を作成する。デコーダは、ステレオ符合化されたオーディオ信号のためには、例えばミッド／サイド（mid/side）又は差（difference）ステレオチャネル信号１４の対を作成する。信号のアスペクトを高めるために、これらのチャネル信号に後処理を適用することが知られている。従って、例えば、ポストプロセッサ１２は、チャネル信号１４にステレオ拡張（stereo widening）を実行して、変更されたチャネル信号１６を作成することができる。次に、チャネル信号１６は、オーディオ出力システム１５に供給され、当該システムを通じて、信号が、リスナーのために再生され、又は代替的に、記憶され若しくは送信される。
【０００３】
例えばＭＰＥＧエンコーダを含む多くのエンコーダにおいて、オーディオ信号は、不可逆プロセスを用いてビットストリームに符合化される。このようなビットストリームのためのオーディオデコーダ（コーデック）及び後処理部品をカスケードすることが問題となりうることが分かっている。これは、なぜなら、不可逆符合化されたオーディオフラグメントの後処理は、元のオーディオフラグメントを符合化する際に生成される量子化雑音による、望まれない可聴アーチファクトを生じうるからである。
【０００４】
後処理後の、符合化されたフラグメントの劣化させられたオーディオ品質を防止するために、エンコーダ、デコーダ又はポストプロセッサが修正されることができる。しかし、これは既存のシステムの大幅な再構成を伴う。
【０００５】
上記の問題に対する解決策は、既に符合化されているフラグメントに後処理を適用するシステムにおいて実行されなければならないので、ビットストリームが作成された元のオーディオフラグメントが、一般には利用可能でないことに注意すべきである。
【０００６】
同時に、信号に対して何らかの後処理変化がなされる前に、後処理後のオーディオ信号の品質が知られているべきである。客観的なオーディオ品質測定の文献において幾つかの技術が見つかるが、これらの技術は、一般的に、元のオーディオフラグメントが利用可能であることを仮定している。
【０００７】
相互相関等の従来型の方法は、量子化雑音が可聴か否かを示さない。単純な実験によって、後処理されたミッド／サイド符合化された及び差符合化されたステレオフラグメントについての左右のチャネル間の相互相関は類似している一方で、両方のモードにおける後処理されたフラグメントのオーディオ品質は全く異なっていることができることが示された。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明によって、請求項１に記載のオーディオシステムが提供される。
【０００９】
本発明は、利用可能な元のオーディオフラグメントを有することなく後処理後の可聴量子化雑音を検出し、後処理の程度を調整することによって量子化雑音が可聴になることを防止するための、システム及び方法を提供する。
【課題を解決するための手段】
【００１０】
本発明は、信号の「ブラインド」客観測定を提供する、即ち、品質測定は、復号されたオーディオフラグメントだけが利用可能な状態で実行される。本発明は、本発明を実現するために既存の部品が修正されなくてよいことを意味する態様で、信号経路に変化を生じさせる。
【発明を実施するための最良の形態】
【００１１】
本発明の実施例が、ここで、添付の図面を参照して例示により説明される。
【００１２】
図２は、本発明の第１の実施例による、符合化されたオーディオフラグメントを後処理するためのオーディオシステムを示す。最初に、  符合化されたオーディオビットストリームＡＳが、デコーダ１０において復号され、その後、ポストプロセッサ１２によって後処理される。好適な実施例は、ＭＰＥＧ−１  Ｌａｙｅｒ  Ｉデコーダをインクレディブルサウンドポストプロセッサ（Incredible Sound post-processor）（例えばＰＣＴ出願番号９８／２１９１５号及び米国特許第５，７４２，６８７号に説明される）と組み合わせて参照して説明されるが、本発明は、一般的にエンコーダ及びポストプロセッサに適用可能であることが分かるであろう。従って、デコーダ１０は、例えば、出力チャネルの対１４を、合計／差又はミッド／サイドＰＣＭ（パルス符号変調された）形式で作成し、ポストプロセッサ１２は、チャネル１４にステレオ拡張を実行して出力チャネル１６を作成する。
【００１３】
検出器１７は、オーディオストリームの各フレーム又はフラグメントについての歪みＤの量を計算し、この測定値を調整器１８に供給し、この調整器１８が、許可される後処理の最大量を決定する。インクレディブルサウンドの場合、ポストプロセッサ１２によって実行されるステレオ拡張の程度は、調整器１８によって提供されるパラメータαによって決定される。従って、後処理の量は、必要ならば、調整器１８によって、後処理ユニット１２に供給されるαの値を低下させることにより、減少させられることができる。
【００１４】
第１の実施例においては、符号化されたフラグメントのビットストリームしか利用可能でないと仮定して、量子化雑音の可聴性又は後処理後の歪みの程度が検出される。検出方法は、音響心理学モデルと、ビット割当てプロセスの最中にエンコーダにおいて用いられるビット割当て手順とに基づく。
【００１５】
音響心理学モデルは、人間の聴覚システムが、内耳の特有な挙動のため、複雑なオーディオスペクトルのうちのほんの一部しか知覚しないという知識に基づく。所与の音のマスキング閾値より上のスペクトルの部分のみが、上記聴覚システムの知覚に寄与する。従って、所与の音と同時に発生するがより低い強度を有するためマスキング閾値よりも下にある音響動作は、メインの音事象によってマスキングされるため、聞こえない。エンコーダの目的は、量子化雑音をマスキング閾値よりも低く保ちつつ、オーディオストリームのビットレートを可能な限り低くすることである。
【００１６】
ＭＰＥＧエンコーダでは、オーディオ信号の知覚可能な部分は、周波数スペクトルを３２個の等間隔のサブバンドに分割することによって抽出される。各サブバンドにおいて、信号は、量子化雑音がマスキング閾値に一致するか又はマスキング閾値のすぐ下にあるように量子化される。
【００１７】
しかし、後処理後、雑音レベルはマスキング閾値を超える可能性があり、これは可聴量子化雑音を生じる。従って、好適な実施例の検出方法は、  雑音レベルがマスキング閾値をどの程度越えるか決定する。
【００１８】
第１の実施例において、以下の仮定がなされる。
−元のオーディオ信号フラグメントは利用可能でない、
−オーディオ信号の符号化されたフラグメント（ＡＳ）のビットストリームは利用可能である、
−用いられる後処理技術の種類は知られている、そして、
−符号化されたフラグメントは元のフラグメントと知覚的に等しい、即ち、同じ音であるはずである。
【００１９】
元のフラグメントは利用可能でないので、量子化から生じる実際のエラー信号（雑音）（符号化フラグメントマイナス元のフラグメント）も利用可能でない。しかし、ビットストリームから、例えば、当該ビットストリームを生成するのにエンコーダにおいてどのような種類のコーデック、ビットレート及びセッティングが用いられたかを決定するための情報が抽出されることができる。
【００２０】
好適な実施例において、元のフラグメントが利用可能でないと仮定されるが、元のフラグメントは、好適な実施例で利用される推定の品質を示すのに有用である。従って、図３（ａ）を参照すると、元のオーディオフラグメントの周波数スペクトルは２２で示される。線２４は、スペクトル２２から従来の態様で計算された信号についてのマスキング閾値を示す。
【００２１】
ＭＰＥＧ−１  Ｌａｙｅｒ  Ｉは、均一で対称なミッドトリード（mid-tread）量子化器を用いる。量子化器の入力範囲が［−１，＋１］であれば、ステップサイズΔは、２つの連続した量子化レベル間の差であり、以下によって与えられる。
【数１】
2005532586.tif 000003
ここで、Ｍは、用いられる量子化レベルの数である。
【００２２】
通常、入力信号が量子化器入力範囲内であり、Ｍが十分に大きければ、信号の非常に大きいクラスについて量子化エラーεがほぼ均一に分散し以下の分散を有するということを示すことができる。
【数２】
2005532586.tif 000004
オーディオフラグメントの各フレームについて、及び、全てのサブバンドについて、１２個のサブバンドサンプルの群が、最初に［−１，＋１］に正規化され、各サブバンドｉ用に１つの、３２個のスケール係数ｓｃｆｉを生じる。各サブバンドｉについての雑音レベルのエネルギーは、このとき、以下のように推定されることができる。
【数３】
2005532586.tif 000005
【００２３】
これは、左右のチャネルのために、そして、全てのサブバンドのために計算されることができる。従って、例えばＭＰＥＧ−１  Ｌａｙｅｒ  Ｉエンコーダで符号化された場合のフラグメント２２の雑音レベルは、線２６で示される。周波数範囲２８、２８’、２８’’については、これらの雑音レベルは、マスキング閾値２４を上回ることが分かり、従って、一部の歪みは、元の符号化されたオーディオフラグメントにおいてさえも可聴であることが仮定される。
【００２４】
しかし、このような不可逆符号化されたオーディオフラグメントを後処理するときは、後処理された量子化雑音は、後処理されたフラグメントのマスキング閾値を更に超える可能性がある。図３（ｂ）の範囲３０から分かるように、線２６’により示される雑音レベルは、線２２’により示される後処理された信号のマスキング閾値２４’を、広い周波数範囲に亘って大きく上回る。従って、図３（ｂ）は、図３（ａ）の符号化されたフラグメントの可聴雑音レベルと比較して、約［５，１５］Ｂａｒｋ（［５００，５０００］Ｈｚにほぼ等しい）という可聴雑音レベルの大幅な上昇を示す。
【００２５】
上記したように、元のフラグメントは、検出プロセスにおいては利用可能でないと仮定される。従って、符号化された及び後処理されたフラグメントの実際のマスキング閾値及び量子化雑音レベルは、利用可能でない。しかし、これらの２つの量は、符号化されたフラグメントのビットストリーム（ＡＳ）から推定されることができる。
【００２６】
ここで、マスキング閾値２４’及び雑音レベル２６’の推定に移る。第１の実施例の１つの変形例において、音響心理学的モデル化部品２０は、後処理されたチャネル１６からの各フレームについてのマスキング閾値
2005532586.tif 000006
の推定を生成する。インクレディブルサウンド後処理の場合、処理のほとんどが差チャネルに影響を及ぼすので、差チャネルのエネルギー量が、ステレオ符号化されたフラグメントの後処理の後の可聴量子化雑音の量を決定する。従って、差チャネルの各フラグメントについてのＰＣＭデータは、音響心理学モデル化部品２０によってフーリエ変換された、図３（ｂ）の線２２’によって示される種類の後処理されたフラグメントの周波数スペクトルを提供する。次に、線２４’によって示されるマスキング閾値
2005532586.tif 000007
の推定が従来の態様でスペクトラム２２’から計算され、検出器１７に供給される。
【００２７】
後処理されたフラグメントの雑音レベルの推定
2005532586.tif 000008
は、ビットストリーム及び式１において提供される量子化レベル情報を用いて、符合化されたビットストリーム（ＡＳ）から、元のフラグメントのための雑音レベルを最初に推定することによって、検出器１７において導かれる。次に、検出器１７は、復号された信号に実行されるべき後処理の種類を知っているので、推定された元のフラグメントの雑音レベルに同じ後処理を実行して、後処理されたフラグメントのための雑音レベルの推定
2005532586.tif 000009
を提供することができる。
【００２８】
次に、検出器１７は、量子化雑音がフレームごとに可聴である周波数について、マスキング閾値２４’を上回る後処理された信号の推定された雑音レベル２６’の量を統合することによって、後処理された信号における歪みＤの量の大きさを提供する、即ち、歪み測定Ｄは、以下に等しい。
【数４】
2005532586.tif 000010
ここで、ｉはサブバンド数であり、ｎはペナルティー指数である。ｎが高いほど、歪みはより大きいペナルティーを与えられる。４８ｋＨｚのサンプリング周波数については、範囲ｉ＝［１，５］は、おおよそ、後処理の後に量子化雑音が可聴である範囲である［７５０，４５００］Ｈｚに等しい。次に、調整器１８は、歪み測定Ｄに基づいて、可聴量子化雑音に対して処置を取ることを決定することができる。
【００２９】
改善された歪み測定は、例えば、マスキングされた閾値を上回る雑音の持続時間を調査する。これらの持続時間が長いほど、量子化雑音が可聴になる可能性が高い。しかし、これは、上記の単純なひずみ測定Ｄよりも複雑である。
【００３０】
第１の実施例のこの第１の変形例を用いると、調整器１８は、修正動作を取る前に、可聴歪みが発生するのを許可する傾向があることが分かるであろう。そのような場合、システムは、所望のレベルの後処理を有することを必要とする。これにより、後処理のレベルが特定のフレーム又はフラグメントの間下げられたら、このレベルは、その後、減少修正が再び必要とされるまで、ターゲット値に向かって段階的に増加されることができるようになる。
【００３１】
好適な実施例の第２の変形例（図４）において、音響心理学モデル化部品の変形例２０’は、ビットストリームＡＳから信号エネルギーレベルデータを引き出す。雑音に関する第１の変形例と同様に、部品２０’は、復号された信号に実行されるべき後処理の種類を知っているので、元のフラグメントに同じ処理を実行して、図３（ｂ）の線２２’によって示される後処理された信号の周波数スペクトル推定を提供することができる。次に、マスキング閾値２４’は、この推定された信号について計算されることができ、これは、検出器１７が後処理の現在のレベルで作成されるべき歪みＤの推定を生成することを可能にする前に、検出器１７に転送されることができる。次に、検出器１７は、この歪み測定Ｄを調整器１８に転送してもよく、この調整器は、歪み推定が作られたフラグメントに実行されるべき後処理のレベルを低下させることができる。例えば、インクレディブルサウンド後処理のために、係数αは、Ｄの高い値については低下させられる。
【００３２】
第１の実施例においては、符号化されたフラグメントのビットストリームが利用可能であり、後処理技術の種類が知られていると仮定される。しかし、本発明の第２の実施例（図５）においては、復号されたオーディオチャネル１４のみが利用可能であるため、デコーダ１０は使用されない。S. Moehrs, Jurgen Herre及びRalf Geigerによる「Analyzing decompressed audio with the “Inverse Decoder”- towards an operative algorithm」(Convention Paper 5576 of the 112th Convention of the AES、2002年5月10〜13日、Munich)並びにJ. Herre及びM. Schugによる「Analysis of decompressed audio - The inverse decoder」(Convention Paper 5256 of the 109th AES Convention、2000年、Los Angeles)において、逆デコーダ(inverse decoder)１０’が説明されている。これは、フラグメントの量子化レベルがＰＣＭドメイン信号から検出されることを可能にする。従って、第２の実施例で、逆デコーダ１０’は、検出器１７’の変形例に、この情報を提供する。検出器１７’は、最初に元のフラグメントのための雑音レベルを推定し、次に、これらを前と同様に処理して、後処理されたフラグメントの雑音レベルの推定を提供する。図５において、音響心理学モデル化部品２０は、図１に記載と同様に、後処理されたチャネル１６から、そのデータを引き出して、当該部品２０が検出器１７’に提供するフラグメントのためのマスキング閾値を生成する。検出器は、このマスキング閾値及び雑音レベルを用いて、前の通り歪み測定Ｄを生成することができる。
【００３３】
上記の説明から、好適な実施例においては、オーディオビットストリームＡＳがリアルタイムで復号され後処理される間、望まれないアーチファクトは出力チャネル１６において可聴になることを防止されることが分かる。
【００３４】
好適な実施例では、適用される後処理の量は、調整器１８によって、低下させられ又は完全に無効にさえされる。これは、一般に、幾らかの量の元の信号に幾らかの量の処理された信号を加算する全ての後処理技術に適用可能である。
【００３５】
雑音レベル又はマスキング閾値の使用から独立した後処理の調整の他の例は、αを関数ｆ（（Ｌｉ−Ｒｉ）／ｄ）として決定することであり、ここで、ｆ（）は、ｆ（）の引数が０から最大値まで変化するときに０と１との間で変化する何らかの単調関数であり、ｄ＝Δ＊ｓｃｆｉである。これは、左右のチャネルサブバンド信号間の差が小さければ、信号をそれほど上げないことが好ましいことを意味する。
【００３６】
好ましい実施例では、チャネル１４及び１６はステレオチャネルとして説明される。しかし、本発明は、２つよりも多いチャネルにも適用可能であり、また、本発明は、チャネル１４及び１６の数が同じであることに制限されないということが分かるであろう。
【００３７】
好ましい実施例では、調整器１８は単一のパラメータαによってポストプロセッサ１２を制御する。本発明は、ポストプロセッサの多くのパラメータを制御することに拡張可能であることが分かるであろう。例えば、好適な実施例の場合、αｉのベクトルは、各サブバンドｉの後処理を制御するために用いられることができる。
【００３８】
好適な実施例においては、検出器１７、１７’は、部品を接続している線によって示されるように、プロセッサ１２によって実行される後処理を推定することができると推定される。従って、本発明は、インクレディブルサウンドのような厳密に規定されたプロセスによって後処理の効果を推定することに制限されない。例えば、デコーダ出力チャネル１４から人間の耳への完全な経路、例えば増幅器、スピーカ及びヘッドホンは、ポストプロセッサ信号経路としてモデル化することができる。好適な実施例においては、このモデルは、完全な後処理信号経路が量子化雑音を可聴にする程度を決定するために、計算された雑音レベル及び／又はマスキング閾値に適用されることができる。雑音が極端に可聴になると、調整器は、例えば、スピーカの出力ボリュームを僅かに低下させること又は増幅器の等化を調節することによって、後処理信号経路の何らかの側面を制御してこの雑音を低減することができる。
【００３９】
上述の実施例は、本発明を制限するのではなく説明しているのであり、当業者は、添付の請求項の範囲から離れることなく代替の実施例を設計することができることに注意されたい。請求項において、括弧内に配置されたいかなる引用符号も当該請求項を制限するように解釈されてはならない。「有する（comprising）」なる用語は、請求項に記載されたもの以外の要素又はステップの存在を排除するものではない。本発明は、幾つかの個別素子を有するハードウェアにより、及び適切にプログラムされたコンピュータによって実行されることができる。幾つかの手段を列挙している装置請求項において、複数のこれらの手段を、ハードウェアの全く同一のアイテムによって具体化することもできる。特定の手段が相互に異なる従属請求項において記載されているという事実のみでは、これらの手段の組合せが有利に用いられることができないということを示すことにはならない。
【図面の簡単な説明】
【００４０】
【図１】従来技術のオーディオシステムを示す。
【図２】本発明の第１の実施例によるオーディオシステムを示す。
【図３−ａ】元の信号の可聴量子化雑音の程度を示す。
【図３−ｂ】後処理された信号の可聴量子化雑音の程度を示す。
【図４】本発明の他の実施例による他のオーディオシステムを示す。
【図５】本発明の他の実施例による他のオーディオシステムを示す。
【図１】
2005532586.tif 000011
【図２】
2005532586.tif 000012
【図３ａ】
2005532586.tif 000013
【図３ｂ】
2005532586.tif 000014
【図４】
2005532586.tif 000015
【図５】
2005532586.tif 000016
【国際調査報告】
2005532586.tif 000017
2005532586.tif 000018
2005532586.tif 000019