(57)【特許請求の範囲】
【請求項１】
知覚モデルに基づいて信号を符号化する方法であって、
信号を連続フレーム列に分割するステップと、
前記連続フレーム列の複数のフレームの各々に対して２つもしくは２つより多くの雑音しきい値を計算するステップであって、前記フレームの特定の１つに対する前記雑音しきい値の各々が、前記フレームの前記特定の１つに対する異なる知覚符号化品質に対応しているステップと、
前記複数のフレームの各々に対する前記対応知覚符号化品質の各々に対するビットデマンドを予測するステップであって、該予測ビットデマンドの各々が、前記フレームの所定の１つを前記対応知覚符号化品質で符号化するために使用されるビット数からなるステップと、
前記フレームの前記特定の１つに対する前記知覚符号化品質の前記予測ビットデマンドと、前記フレームの他のいくつかのものに対して予測されたビットデマンドとに基づいて前記フレームの特定の１つを符号化するために、前記知覚符号化品質の１つを選択するステップと、
前記フレームの前記特定の１つに対する前記知覚符号化品質の前記選択された１つに対応する雑音しきい値に基づいて、前記フレームの前記特定の１つを符号化するステップと
を含むことを特徴とする信号符号化方法。
【請求項２】
前記信号が音声信号からなり、かつ、前記知覚モデルが心理音響学モデルからなることを特徴とする請求項１に記載の信号符号化方法。
【請求項３】
前記異なる知覚符号化品質が知覚透過符号化品質を含み、前記知覚透過符号化品質に対応する前記フレームの前記雑音しきい値が前記フレームに対するマスクしきい値からなることを特徴とする請求項２に記載の信号符号化方法。
【請求項４】
特定フレームに対する前記雑音しきい値が、複数の所定の固定オフセットによって前記特定フレームのマスクしきい値を修正することによって計算されることを特徴とする請求項２に記載の信号符号化方法。
【請求項５】
所定のビットレートに基づいて信号が符号化され、前記フレームの各々に対する前記雑音しきい値が、前記所定ビットレートに基づいて計算されることを特徴とする請求項２に記載の信号符号化方法。
【請求項６】
前記知覚符号化品質の１つを選択するステップが、対応する複数の前記フレームに対する前記知覚符号化品質の前記各々に対する複数の前記予測ビットデマンドの数学平均からなる平均ビットデマンドに基づいており、前記対応する複数の前記フレームが、前記フレームの前記特定の１つを含み、さらに、前記連続フレーム列内の前記フレームの前記特定の１つの前に、前記フレームの少なくとも１つの前記他のフレームを含むことを特徴とする請求項２に記載の信号符号化方法。
【請求項７】
前記信号符号化方法が、前記信号を前記符号化するためのビット割り付け用としてビットバッファを使用し、前記知覚符号化品質の１つを選択するステップがさらに、前記連続フレーム列内の前記フレームの前記特定の１つの直前のフレームが符号化された後に決定される、前記ビットバッファの満杯状態の測定に基づいていることを特徴とする請求項１に記載の信号符号化方法。
【請求項８】
さらに、
多重化された信号を符号化する場合には、多重化された信号のそれぞれが、対応する連続フレームの対応する列に分割され、前記フレームの特定の１つを符号化するために前記知覚符号化品質の１つを選択するステップが、前記フレームの前記特定の１つに対応する前記多重化された信号のフレームに対して予測されたビットデマンドに基づいて遂行されることを特徴とする請求項１に記載の信号符号化方法。
【請求項９】
知覚モデルに基づいて信号を符号化する装置であって、
信号を連続フレーム列に分割する手段と、
前記連続フレーム列の複数のフレームの各々に対する雑音しきい値を計算する手段であって、前記フレームの特定の１つに対する前記雑音しきい値の各々が、前記フレームの前記特定の１つに対する異なる知覚符号化品質に対応している手段と、
前記複数の前記フレームの各々に対する前記対応知覚符号化品質の各々に対するビットデマンドを予測する手段であって、予測ビットデマンドの各々が、前記フレームの所定の１つを前記対応知覚符号化品質で符号化するために使用されるビット数からなるような手段と、
前記フレームの前記特定の１つに対する前記知覚符号化品質に対する前記予測ビットデマンドと、前記フレームの他のいくつかのものに対して予測されたビットデマンドとに基づいて前記フレームの特定の１つを符号化するために、前記知覚符号化品質の１つを選択する手段と、
前記フレームの前記特定の１つに対する前記知覚符号化品質の前記選択された１つに対応する雑音しきい値に基づいて、前記フレームの前記特定の１つを符号化する手段と、を備えることを特徴とする信号符号化装置。
【請求項１０】
前記信号が音声信号からなり、かつ、前記知覚モデルが心理音響学モデルからなることを特徴とする請求項９に記載の信号符号化装置。
【請求項１１】
前記異なる知覚符号化品質が知覚透過符号化品質を含み、前記知覚透過符号化品質に対応する前記フレームの前記雑音しきい値が前記フレームに対するマスクしきい値からなることを特徴とする請求項１０に記載の信号符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は一般的には、知覚音声符号化（ＰＡＣ）技法に関し、特に、連続的に符号化されたフレームの両端間に矛盾のない知覚品質を実現するビット割付けスキームに関する。
【０００２】
【従来の技術】
例えば、音声および音楽を表す信号を記憶あるいは伝送するための符号化として使用される最新技術の音声符号器では、通常、人間聴覚システムの特性に基づく知覚モデルを用いて、特定の信号の符号化に必要なビット数を低減している。特に、このような特性を考慮することにより、ビット数を著しく低減した「透過的」符号化（すなわち、知覚し得る品質損失のない符号化）の実現を可能にしている。知覚音声符号器として通常知られているこのような符号器では、先ず、符号化する信号が個別フレームに分割される。個別フレームの各々は、例えば、約２０ｍｓのタイムスライスのような小さいタイムスライス信号からなっている。次に、通常、フィルタバンクを使用して、特定のフレームの信号が周波数領域に変換される。こうして得られたスペクトル係数が量子化され、符号化される。特に、スペクトル係数量子化用として知覚音声符号器に使用される量子化器は、心理音響学モデル（すなわち、人間聴覚システムの性能に基づくモデル）、および、特定のフレームの符号化に利用できる特定のビット数で制御することが有利である。例証となる知覚音声符号器（ＰＡＣ）が、例えば、ルーセントテクノロジー社のＫ．Ｂｒａｎｄｅｎｂｕｒｇ等に対する、１９９１年８月１３日発行の米国特許第５，０４０，２１７号に記載されている。
【０００３】
音声信号の性質および心理音響学モデルの効果により、ビットデマンド（すなわち、特定のフレームを符号化するために量子化器が必要とするビット数）は、通常、フレーム毎に広範囲に変動する。したがって、とりわけ、所望のビットレート（例えば、符号化した信号を最終的に伝送するチャンネルのビットレート、あるいは、符号化した信号を単に記憶させる場合であれば、フレーム単位の有効記憶量）の比較的近くに、平均ビットレートを確実に維持するビット割付けスキームを必ず提供しなければならない。また、ビット割付けスキームは、その符号器の出力「ビットバッファ」あるいは「ビットリザーバ」（符号器に利用可能なビットを供給する）を空の状態（アンダフロー状態と呼ばれる）で、あるいは、満杯の状態（オーバフロー状態と呼ばれる）で絶対にランしないようにしなければならない。（ビットバッファあるいはビットリザーバを音声符号器に使用することは、当分野の技術者には当たり前のことである。）
【０００４】
典型的な従来技術のビット割付けスキームについては、例えば、ルーセントテクノロジー社のＪ．Ｊｏｈｎｓｔｏｎに対する１９９７年５月６日発行の米国特許第５，６２７，９３８号に記載されている。特に、この従来技術ビット割付けスキームは次のように動作している。先ず、符号化する各信号フレームが量子化器ステップサイズで符号化される。量子化器ステップサイズは、心理音響学モデルによって計算されるマスクしきい値によって決定され、マスクしきい値が透過的符号化品質に相当している。つまり、マスクしきい値に基づいて量子化器ステップサイズを設定することにより、一般的に、
再構成時に元の信号と同一の音声（人間の耳には）になる符号化を提供している。
【０００５】
ビット割付けスキームに、上記で符号化されたフレームのビットデマンドおよびビットバッファの状態（すなわち、「空」または「満杯」の程度）を与えると、フレームを符号化するために実際に量子化器に与えるビット数が決定される。すなわち、ビットアロケータを、初期ビットデマンドおよびバッファ状態の両方に与える許容ビット数を制御する制御装置と見なすことができる。具体的には、次に、量子化器ステップサイズが修正され、許容ビット数への適合が試みられ、次に、フレームが、その修正されたステップサイズを用いて再符号化される。その後、ビットアロケータが、実際に量子化器に与えるビット数を再度決定する。このプロセスは、実際にビットアロケータが容認する数に近いビット数でフレームが量子化され符号化されるまで繰り返される。（音声符号化分野では、この繰り返しプロセスを「レートループ」と呼んでいる。）
【０００６】
連続する初期符号化フレームの平均ビットデマンドが、符号器の平均オーバオールビットレートより著しく高いか、あるいは著しく低い場合、ビット割付けは必ずビットバッファの実質的影響を受けるため、このレートループプロセスの性能が制限される。したがって、プロセスは、ビット割付けの結果に対して適切な知覚インパクトを引き起こすことができない。言い換えると、ビットバッファが、割り付けたビット数のどれほどの数が初期デマンドビットの実際の数から逸脱しているかを決定する唯一の要素になっている。
【０００７】
この問題に部分的に対処するため、ＰＡＣのような従来技術の音声符号器は、所定の値だけマスクしきい値を超過した、雑音しきい値として知られているものを使用している。通常、これにより所望のビットレートに近い平均ビットデマンドを得ている。この方法によれば、ビットバッファ状態は比較的良好な挙動を維持し（すなわち、空あるいはオーバフローの状態でランする危険がほとんどない）、ビットアロケータの制御タスクも比較的直線的である。
【０００８】
適正な特定範囲の平均ビットデマンドをもたらす雑音しきい値のビットデマンドを、透過性を実現するために必要なビットレートより十分低く押さえることができることは明らかである。したがって、異なる目標ビットレートに対して異なる雑音しきい値を使用しなければならないことの欠点の１つは、合理的レベルの効率および性能を実現するために、各固有目標ビットレート用符号器の心理音響学モデルを手動でチューニングしなければならないことである。しかし、様々な種類の音声信号が極めて多様なビットデマンドを必要とするため、仮にこのような手動チューニングプロセスを符号器に設け、常に変動する特性を有する単一音声信号に対しては良好に動作したとしても、全ての種類の音声信号に対して良好に機能することは困難である。典型的な結果として、連続するフレームに、比較的矛盾のない品質レベルで確実に符号化する方法でビットを割り付けるビットアロケータの不良のため、品質レベルが頻繁に著しく（常に）変動する符号器になってしまうであろう。実際、この相反する挙動は、目標ビットレートと最初に符号化されたフレームのビットデマンド間の逸脱が大きいほど激しくなる。
【０００９】
より矛盾のない知覚品質が常に、遥かに快い聴覚経験をリスナに提供することが分かっている。つまり、一般的には、たとえ品質の無矛盾レベルが向上したとしても、復元音声信号の知覚品質中の有意な変動の方が、リスナをより当惑させている。また、フレームの初期ビットデマンドおよびビットバッファ状態だけでビット割付けプロセスを制御するには、無矛盾知覚品質を常に提供するだけでは不十分であることも分かっている。したがって、本発明の原理によれば、ビット割付けプロセスはさらに、複数のフレームの特性を考慮し、かつ、それらのフレームの各々を様々な知覚品質レベルで符号化するビット必要条件を解析することによって制御される。
【００１０】
【発明が解決しようとする課題】
特に、本発明は、音声信号符号化方法（および装置）を提供する。
【課題を解決するための手段】
その符号化方法は、音声信号を連続するフレーム列に分割するステップと、列内の複数のフレームの各々に対して雑音しきい値を計算し、個々のフレームの雑音しきい値の各々が、そのフレームに対する様々な知覚符号化品質に対応するステップと、各フレームの対応する知覚符号化品質の各々に対するビットデマンドを予測し、該予測した各ビットデマンドが多数のビットからなり、対応する知覚符号化品質で特定のフレームを符号化するために使用されるステップと、知覚符号化品質の１つを選択し、個々のフレームの知覚符号化品質に対する予測ビットデマンドと、さらに、他のフレームに対する予測ビットデマンドに基づいて個々のフレームを符号化するステップと、個々のフレームに対して選択された上記知覚符号化品質に対応する雑音しきい値に基づいて個々のフレームを符号化するステップとを含んでいる。特に、また、本発明の一実施形態によれば、複数の異なる知覚品質のそれぞれにおいて、複数のフレームの各々を符号化するための平均ビットデマンドが有利に予測され、これらの予測に基づいて、１つのフレームから次のフレームへ比較的矛盾のない知覚品質を維持するように、各フレームが符号化される。
【００１１】
【発明の実施の形態】
従来の知覚音声符号器におけるビット割付け
図１は、ＰＡＣのような従来技術による音声符号器のビット割付け部分の概要を示したものである。 図には、心理音響学モデル１１、量子化器／ハフマン符号器１２、ビットアロケータ１３およびビットバッファ１４が示されている。既に記述したように、心理音響学モデル１１がマスクしきい値を提供し、（量子化器／ハフマン符号器１２の）量子化器がそのマスクしきい値を使用して量子化ステップサイズを決定し、最初に音声信号の特定のフレームの透過性符号化をもたらしている。これらのステップサイズに基づいて特定のフレームのスペクトル係数が量子化され、その結果得られたデータを量子化器／ハフマン符号器１２でハフマン符号化して初期ビットデマンド（すなわち、結果として生じる符号化に必要なビット数）を得ている。このビットデマンドが、必要なビットレート（すなわち、ビットバッファ１４によって最終的に出力される定レートビットストリームのレート）について十分認識しているビットアロケータ１３にもたらされる。
【００１２】
一方、ビットバッファ１４は、バッファ状態（すなわち、バッファの満杯または空の程度）をビットアロケータ１３に提供している。初期ビットデマンドがバッファ状態および特定必要ビットレートに矛盾しなければ、フレームは特定の符号化（量子化器／ハフマン符号器１２によって決定される）で符号化される。初期ビットデマンドがバッファ状態および特定必要ビットレートに矛盾する場合（これが普通である）は、異なる量子化ステップサイズでフレームを再符号化するよう、ビットアロケータ１３が量子化器／ハフマン符号器１２に指示する。この再符号化プロセスは、バッファ状態および特定必要ビットレートに矛盾しないビットデマンドが達成されるまで繰り返される。
【００１３】
単一知覚音声符号器のための新しいビット割付けスキーム
図２は、本発明の実施形態による知覚音声符号器のビット割付け部分の概要を示したものである。図には、心理音響学モデル２１、量子化器／ハフマン符号器２２、拡張ビットアロケータ２３およびビットバッファ２４が示されている。本発明の実施形態によれば、符号化のために特定のフレームが符号器にもたらされると、心理音響学モデル２１が、対応する知覚品質を表す雑音しきい値（すなわち、特定量の追加雑音が付加されたマスクしきい値）を提供する。例えば、本発明の一実施形態では、例えば心理音響学モデル２１が、特定のフレームに対する透過知覚品質を表すしきい値、および、連続的に低い知覚品質を表すいくつかの他のしきい値を提供することができる。
【００１４】
心理音響学モデル２１によって提供される雑音しきい値に基づいて、量子化器／ハフマン符号器２２が、様々な異なる知覚品質に対する対応ビットデマンドを決定する。具体的には、これらの各しきい値が個々の量子化ステップサイズに変換され、そのステップサイズに基づいて所定フレームのスペクトル係数が量子化され、その結果得られたデータを量子化器／ハフマン符号器１２でハフマン符号化して、様々な知覚品質に対応するビットデマンドセットを得ている。次に、拡張ビットアロケータ２３が、特定のフレームを符号化する知覚品質レベルを決定する。
【００１５】
特定のフレームを符号化する知覚品質レベルの選択は、複数の要素に基づくことが有利である。これら要素には、所要ビットレート（すなわち、ビットバッファ２４によって最終的に出力される定レートビットストリームのレート）、ビットバッファ状態（ビットバッファ２４によって提供される）、様々な知覚品質の各々で特定のフレームを符号化するために必要な様々なビットデマンド（量子化器／ハフマン符号器２２で決定される）、および、本発明の原理による、他のフレームに対する知覚品質でのビットデマンドの解析などがある。これらの他のフレームには、例えば、特定のフレームの前の（すなわち、「過去の」フレーム）フレーム数、および／または、特定のフレームの次の（すなわち、「未来の」フレーム）フレーム数を含むことが有利である。
【００１６】
図３は、典型的な立体音声信号に適用される典型的な知覚音声符号器に対する、時間を関数とした一定知覚品質でのビットデマンドのグラフを示したものである。図の例の場合、平均ビットレートは、立体信号に対するサンプルレート３２ｋＨで毎秒６８キロビットである。一般的に、ビットデマンドｂ（ｋ，Ｑ）は時間ｋ（フレーム数）と知覚品質Ｑの関数である。ここで、Ｑは、通常、知覚品質が増加すると単純増加する数を表す。低品質音声の短いバーストはオーバオール信号の知覚品質を低下させる傾向があるため、知覚音声符号器は、比較的一定の知覚品質Ｑでランすることが理想であるが、特定のフレームの信号エネルギーの変化、および、符号化プロセスによって実現される不適切リダクションおよび適切リダクション双方の量の変化のため、図３に示すように、定知覚品質に対するビットデマンドは、フレーム毎に大幅に変化する。本発明によれば、平均ビットレートおよびビットバッファサイズという特定の制約の下で、連続するフレームが比較的一定の知覚品質で符号化されるように、ビットが有利に割り付けられる。
【００１７】
比較的長い時間スパンで見た場合、定知覚品質に対するビットデマンドは、その意味が一定ではないという点で不動ではない。しかし、例えば４００ｍｓ即ち２０フレーム（各フレームは、通常、２０ｍｓである）のように比較的短い時間スパンで見た場合、ビットデマンドは完全に一定であり、常に比較的ゆっくり変化する。図４は、音声クリップ列に適用される典型的な知覚音声符号器に対する、時間を関数とした一定知覚品質での平均ビットデマンドのグラフを示したものである。実例の音声クリップ列は、約１５分間持続する約２５個の音楽および音声クリップからなっている。図から分かるように、異なるクリップは異なる平均ビットデマンドを有する。したがって、中途半端なサイズの出力ビットバッファでは、定知覚品質でこれら一連のクリップを符号化することはできない。
【００１８】
したがって、本発明の実施形態によれば、各音声フレームｋに対して、知覚品質Ｑ（ｋ）が常に適合される。このような適合に対して、２つの条件が有利に適応される。１つは、平均デマンドが所望のビットレートに近い値で有利に維持されること。もう１つは、フレームからフレームへのゆっくりした知覚品質の変化だけが有利に許容されることである。したがって、本発明の実施形態の性能は、少なくとも定知覚品質を維持するための「理想的な」シナリオである。
【００１９】
特に、特定知覚品質Ｑに対する平均ビットデマンドが、短時間の間、比較的一定であることに注目すると、一般的に、重み付けされた平均未来ビットデマンド値および過去ビットデマンド値を用いて、各時間（すなわちフレーム）ｋにおける平均ビットデマンドｍ（ｋ，Ｑ）を、式（１）に示すように有利に予測することができる。
【数１】
0004219551.tif 000002
【００２０】
特に、ベクトルｗ（ｉ）は、平均ビットデマンドを予測するための重み付けベクトルからなり、本発明の様々な実施形態において、計算平均値を特定のフレームにより近いフレームのビットデマンドへ向けて重み付けすることができる。他の実施形態では、この重み付けベクトルを単純な方形窓（それによって、そのビットデマンドが計算に役立つ連続フレームの個々のサブシーケンスを形成する）で構成することができ、例えば、−Ｋ＃ｉ＃Ｌ  に対して、ｗ（ｉ）＝１となる。また、Ｌが特定のフレームの前の（すなわち、過去のフレーム）フレーム数であり、Ｋが特定のフレームの次の（すなわち、未来のフレーム）フレーム数であることにも注目しなければならない。それらのビットデマンド値が、平均ビットデマンドｍ（ｋ，Ｑ）の計算に考慮されている。Ｋ＝０である本発明の一実施形態では過去のフレームのみが考慮されている。そのためプロセスが著しく単純化されている（「前を見る」必要がないため）が、それにもかかわらずこの新しいビット割付けプロセスの性能を著しく制限しているようなことはない。
【００２１】
特定の種類の異なる音声信号に対して、あるいは特定の音楽信号の異なる部分に対してさえも、平均ビットデマンドは大きく変化することができる。したがって、本発明の実施形態によれば、各特定フレームを符号化する知覚品質が、その時の状態に基づいて更新される。特に、各時間（すなわちフレーム）ｋにおいて、予測平均ビットデマンドｍ（ｋ，Ｑ）が、各フレームが所望のビットレートで利用することができる平均ビット数Ｂに等しい知覚品質Ｑ（ｋ）を、式（２）に示すように有利に計算することができる。
ｍ（ｋ，Ｑ（ｋ））＝Ｂ    （２）
【００２２】
式（２）を満足する品質Ｑ（ｋ）を与えると、ｂ（ｋ，Ｑ（ｋ））ビットを符号フレームｋに有利に割り付けることができる。十分に大きい予測窓を選択して与える（すなわち、十分な数の過去および／または未来フレームに対するビットデマンドが、特定のフレーム符号化用平均ビットデマンドの計算に含まれている）と、知覚品質Ｑ（ｋ）が常に（すなわちｋの増加に従って）ゆっくりと有利に変化することになる。本発明のある実施形態によれば、当分野の技術者には明らかな追加制限を課すことによって、知覚品質Ｑ（ｋ）の急激な変化を防止している。例えば、知覚品質に対する最大変化基準を、当分野の技術の１つによって容易に上記スキームに組み込むことができる。
【００２３】
また、本発明の様々な実施形態によれば、従来のビットバッファ制御を用いて、ビットバッファが絶対に空または満杯の状態でランしないようにすることも可能である。しかし、本発明の技法は（本明細書に記述する様々な実施形態によれば）、通常、ビットの割付けを特定のビットレートの極めて近くに確実にトラックさせるため、このようなビットバッファ制御は、その結果得られるビット割付けに対してほとんど影響力を持たない。
【００２４】
多重知覚音声符号器のための新規実例ビット割付けスキーム
本発明の他の実施形態によれば、上記ビット割付けスキームを有利に拡張し、並列にランするＮ個の知覚音声符号器に同時にビットを割り付けることができる。このような多重音声符号器を使用して、例えば、複数の独立音声プログラムを符号化することができる。あるいは、多重音声符号器を使用して、同一プログラムの多重チャンネルを符号化することができる。このような実施形態によれば、複数の（例えばＮ個）音声符号器の結合平均ビットデマンドを、式（３）に示すように、常に有利に予測することができる。
【数２】
0004219551.tif 000003
この方法によれば、上記で計算される予測平均ビットデマンドｍ（ｋ，Ｑ（ｋ））が、式（２）に示す特定のビットレートでのフレーム当たりの平均ビット数Ｂに等しいか、ほぼ等しくなるように、知覚品質Ｑ（ｋ）が時間ｋの各ポイントで有利に計算される。このとき、知覚品質Ｑ（ｋ）は、Ｎ個の音声符号器の全てが特定のフレームを符号化する品質である。つまり、Ｎ個の音声符号器ｊ＝｛１，２，．．．，Ｎ｝のそれぞれに、ｂj（ｋ，Ｑ（ｋ））ビットがその対応するフレームｋに割り付けられる。
【００２５】
ビットデマンドおよび知覚品質の実例関係
本発明の様々な実施形態によれば、異なる知覚品質（Ｑ）を多くの方法で定義することができ、その多くは当分野の技術者には明らかであろう。例えば一実施形態によれば、各可能知覚品質の（または固定数の可能知覚品質の）雑音レベル（すなわち雑音しきい値）を計算する心理音響学モデルを、従来の関連技法、例えば心理音響学実験に基づいて引き出すことができる。あるいは、他の実施形態によれば、所望の知覚品質に対応する雑音しきい値を予測するために、マスクしきい値（現在、従来の心理音響学モデルを用いて計算している）に雑音を系統的に付加することができる。このような「強化」心理音響学モデルは多くの方法で実施することができ、その多くは当分野の技術者には明らかである。
【００２６】
例えば一実施形態によれば、多重知覚品質の比較的簡単な実施態様（すなわち、従来のＰＡＣ符号器の修正が最小の実施態様）が、次のように単純に仮定することによって得られる。すなわち、（対応する雑音しきい値を生成するために）２つのフレームのマスクしきい値が同一のオフセットで増加あるいは減少する場合、その２つのフレームは同一の知覚品質で符号化される。特に、２つのフレームの知覚品質を同一量だけ減少させると、対数目盛における同一オフセット（すなわち、線形目盛上の同一係数）だけ、それらの対応するマスクしきい値を有利に高くすることができる。このような修正マスクしきい値を与えると、特定の知覚品質に必要なビット数、すなわち、ビットデマンドｂ（ｋ，Ｑ）を計算するために、特定のフレームの信号を符号化することができる。しかし、極めて多数の可能知覚品質に対するこのようなビットデマンドの計算は、計算的に集約的であるため、本発明のある実施形態によれば、以下に示す２つの実施態様スキームのいずれかを用いることによって計算の複雑さが有利に低減されている。
【００２７】
分散知覚品質セットを用いた第１の実施態様
図５は、本発明の第１の実施形態による分散知覚品質セットを用いたビット割付けスキームの実施態様を示したものである。特に、各フレームについて、少数の分散知覚品質のそれぞれに対して１セットづつ、比較的小さいビットデマンドセットが有利に計算されている。
【００２８】
特に、上記のように、限定数の分散知覚品質が、マスクしきい値の一定オフセット（または、より一般的には、一定量の追加雑音でマスクされたしきい値）に対応するように、予め定められている。さらに、これらのオフセットが、ビットレートおよびシステム設計者によるシステム性能の期待値に基づいて有利に設定される。例えば、しばしば透過性符号化を実現することが可能な比較的高いビットレートの場合、「最も高品質の」知覚品質を、完全透過品質に設定することができ（例えば、元のマスクしきい値を使用することによって）、また、連続的に低い品質の各々を設定して、ほぼ等しい量だけその前の透過品質より「透過性を低く」することができる。一方、透過性の発生を期待できない低ビットレートの場合は、「中間」知覚品質の１つを有利に選択して、平均品質レベルより連続的に上および連続的に下に、それぞれほぼ等しい間隔にある高品質レベルおよび低品質レベルの平均「期待」品質にすることができる。
【００２９】
特に、本発明の第１の実施形態によれば、各フレームｋについて、Ｍ個の所定分散知覚品質セット（０＃ｊ＜Ｍ）の各々におけるビットデマンドｂ（ｋ，Ｑj）は次のように計算される。特定知覚品質Ｑjに対する量子化雑音しきい値ｎjが、上記心理音響学モデルによって計算される。次に、特定のフレームｋに対するスペクトル係数がｎjに対応する量子化誤差で量子化され、ハフマン符号化され、対応するビットデマンドｂ（ｋ，Ｑj）が、各ｊに対して計算される。
【００３０】
図５を注意深く見てみると、心理音響学モデル５１がＭ個の個別雑音しきい値ｎ0ないしｎM-1を発生し、その各々を対応する量子化器／符号器５２0ないし５２M-1に供給している。各量子化器／符号器は、複数のフレームの各々に対して、対応する知覚品質レベルでスペクトル係数を量子化し、符号化している。次に、各フレームｋに対して、ビットアロケータ５３が、式（２）を最も満足する品質Ｑjを選択し、ｂ（ｋ，Ｑj）ビットをそのフレームに割り付け、スイッチ５４を制御して、量子化器／符号器５２jによって作り出された符号化を、符号化ビットストリームに供給している。
【００３１】
第１の実施形態によれば、計算された知覚品質でのビットデマンドを確実にビットレートの範囲内に入れるために、知覚品質レベルが常にゆっくりと有利に適合される。例えば、このことは、Ｑ0におけるビットデマンドの長期間平均が、所望ビットレートにおけるフレーム当たりの平均ビット数Ｂより僅かに高くなるように、最良品質Ｑ0を有利に選択することによって実施することができる。同様に、予測平均ビットデマンド（式（１））が絶対にあるいは滅多にＢを超えないように、最低品質ＱM-1を有利に選択することができる。次に、Ｑ0とＱM-1間における品質レベルを、それらの間に知覚的に等間隔にすることができる。
【００３２】
さらに、ビットバッファが空の状態（すなわち、次のフレームを符号化するために利用できるビットがない状態）でランしないことを追加保証するために、「エスケープ」品質ＱEについても有利に提供することができる。特に、エスケープ品質ＱEは他の知覚品質より十分低くなるように選択され、ビットバッファが危険な低速でランしたときはいつでもビットアロケータ５３がその品質を選択して特定のフレームを符号化する。（しかし、実際にはこのような選択の必要性はほとんどない。）
【００３３】
本発明の第１の実施形態によるスキームが、典型的な従来技術による知覚音声符号器に用いられているレートループの必要性を排除している。固定限定数の異なる知覚品質を提供することにより、十分に制御されたビット割付けプロセスになり、それによって知覚性能が改善されるばかりでなく、せいぜい固定数の反復の必要性しかないことを保証している。このように、符号器の結果における計算的負荷の変動の度合いが、従来技術の音声符号器と比較して著しく低減され、したがって、符号化の実施、特に実時間アプリケーション用の符号化の実施を容易にしている。
【００３４】
予測ビットデマンドを用いた第２の実施態様
本発明の第２の実施形態によれば、異なる知覚品質に対するビットデマンドが、実際に符号化することなく、また、使用するビット数を数えることなく予測される。簡単な近似式を用いてビットコマンドｂ（ｋ，Ｑ）を大まかに予測することができ、この予測に基づいて、各フレームを符号化するために使用される品質レベルが選択される。
【００３５】
特に、ビットデマンドｂ（ｋ，Ｑ）が副情報ｓ（ｋ）、および、実際にスペクトル係数ｈ（ｋ）を表すビット（ハフマンビット）からなることに先ず注意しなければならない。これを数学的に式（４）で表すことができる。
ｂ（ｋ，Ｑ）＝ｓ（ｋ）＋ｈ（ｋ，Ｑ）    （４）
【００３６】
現在の近似式（本発明の第２の実施形態による）のために、次のように仮定している。すなわち、ハフマンビット数が比例して等しく変化する場合、２つのフレームの符号化は、その品質が知覚的に等しく変化し、一特定品質レベル、例えば、Ｑ＝１．０に対するビットデマンドを与える。したがって、特定品質Ｑ＞０に対するビットデマンドを予測することができ、式（５）に示すように、品質Ｑ＝１．０における実際のビットデマンドを与える。
b(k,Q)=s(k)+h(k,1.0)Q=(b(k,1.0)-s(k))Q+s(k)   （５）
単純な方形窓を用いると、
−Ｋ＃ｉ＃Ｌの場合  ｗ（ｉ）＝  １／（Ｋ＋Ｌ＋１）    （６）
その他の場合        ｗ（ｉ）＝０
また、副情報を一定（ｓ（ｋ）＝ｓ）と仮定すると、予測平均デマンドは式（１）から式（７）がえられる。
【数３】
0004219551.tif 000004
式（２）の条件を与えると、各フレームｋに対する品質Ｑ（ｋ）を式（８）から計算することができる。
Ｑ（ｋ）＝（Ｂ−ｓ）／（ｍ（ｋ，１．０）−ｓ）  （８）
さらに、各フレームｋに対して、式（９）に示す品質Ｑ（ｋ）に対応するビット数を割り付けることができる。
b(k)=b(k,Q(k))=(B-s) x b(k,Q=1.0) / (m(k,1.0)-s)     （９）
これは式（２）を満足する。特に、本発明の第２の実施形態によれば、ｂ（ｋ）ビットのほとんどを使用してフレームｋを符号化するまで、レートループ（従来の知覚音声符号器と同様に）を反復（量子化器のステップサイズを変更しながら）させることができる。
【００３７】
この第２の実施形態による実施態様は、最小の改変だけで既存の音声符号器に組み込むことができる。この実施態様は、知覚品質の関数としてビットデマンドを予測するために簡単な公式しか用いていないため、例えば上記第１の実施形態による実施態様と比較した場合、明らかに知覚制御が劣っているが、この手法の単純さ、および、この手法を使用するための既存符号器の改変の容易さが、確かな利点を提供している。
【００３８】
さらに、本発明の他の実施形態によれば、第１および第２の実施形態の態様を、当分野の技術者には明らかな方法で組み合わせることができる。例えば、新しいデータポイントを計算することによって、ビットデマンドを知覚品質の関数として予測することができ（上記第１の実施形態のように）、次に、２つのこれらのデータポイント間を補間することにより、より「正確な」品質レベルを有利に選択することができる（第２の実施形態の手法による）。すなわち、その反復を、２つの事前計算知覚品質間での反復に制限する反復型レートループを用いて、上記第１および第２の実施形態の双方の利点を確実に得ることができる。
【００３９】
詳細説明の追加
以上の説明は、単に本発明の原理を示したものに過ぎない。本明細書には明確に記述または示されていないが、当分野の技術者には、本発明の精神および範囲を逸脱することなく、その原理を具体化する様々な構造を工夫することができることは認識されよう。例えば、本発明の原理を、ビットデマンドがフレーム毎に変化し、かつ、例えばビデオ符号器のように知覚基準に基づいているあらゆる形態の情報源符号化に適用することができる。さらに、本明細書で詳述されている全ての事例および条件言語は、主として本発明の原理、および、技術をさらに深めるための本発明者による貢献の概念に対する読者の理解を補助するために、教育目的用としてのみ特別に意図したものであり、ここで詳述した事例および条件に制限されることなく解釈されるべきものである。また、本明細書で詳述している本発明の原理、態様、実施形態および特定事例についての全ての記述は、構造的等価物および機能的等価物の双方を包含することを意図している。さらに、このような等価物が、広く知られている等価物および将来的に開発される等価物（すなわち、構造に関係なく同一の機能を実行する開発要素）を包含することを意図している。
【００４０】
したがって、本明細書の構成図が、本発明の原理を具体化する回路の概念図を表すことは、当分野の技術者には認識されよう。同様に、全ての流れ図、状態変化図、擬似符号その他が、本質的にコンピュータ読取り可能媒体に表すことができる様々なプロセスを表し、したがって、コンピュータまたは処理装置が明確に示されている、あるいは示されていないにかかわらず、それらによって実行させることができることは、当分野の技術者には認識されよう。
【００４１】
「処理装置」または「モジュール」の名称が付された機能ブロックを含み、図に示されている様々な構成要素の機能は、専用のハードウェア、および、適当なソフトウェアと結合したソフトウェア実行可能ハードウェアを利用して提供することができる。処理装置による場合、単一専用処理装置、単一共有処理装置または複数の個別処理装置（その内のいくつかを共有することができる）によって機能を提供することができる。また、「処理装置」または「制御装置」という用語の明確な使用を、もっぱらソフトウェア実行可能ハードウェアを意味するものと解釈してはならない。それらは、制限なしに、ディジタル信号処理装置（ＤＳＰ）ハードウェア、ソフトウェア記憶用読出し専用記憶装置（ＲＯＭ）、直接アクセス記憶装置（ＲＡＭ）および持久記憶を暗に含んでいる。量産品および／または注文品等、その他のハードウェアも含まれている。同様に、図に示されているスイッチは全て概念上のものである。それらの機能は、プログラム論理のオペレーション、専用論理、プログラム制御と専用論理の相互作用を通して、あるいは手動によって実行され、個々の技法は、その点に関してより深く理解している作成者による選択が可能である。
【００４２】
本明細書の特許請求において、特定機能を実行する手段として表現されている構成要素は全て、例えば（ａ）その機能を実行する回路素子の組合せ、あるいは（ｂ）その機能を実行するためのソフトウェアを実行する適当な回路と組み合わされたファームウェア、マイクロ符号等を含むあらゆる形態のソフトウェアを含み、その機能を実行するあらゆる方法を包含することを意図している。
【図面の簡単な説明】
【図１】ＰＡＣなどの従来技術による音声符号器のビット割付け部分の概要を示す図である。
【図２】本発明の実施形態による知覚音声符号器のビット割付け部分の概要を示す図である。
【図３】典型的な立体音声信号に適用される典型的な知覚音声符号器に対する、時間を関数とした一定知覚品質でのビットデマンドを示すグラフである。
【図４】特定の音声クリップ列に適用される典型的な知覚音声符号器に対する、時間を関数とした一定知覚品質での平均ビットデマンドを示すグラフである。
【図５】本発明の第１の実施形態による分散知覚品質セットを用いたビット割付けスキームの実施態様を示す図である。
【符号の説明】
ＰＡＣ  知覚音声符号器
１１  心理音響学モデル
１２，２２  量子化器／ハフマン符号器
１３，５３  ビットアロケータ
１４，２４  ビットバッファ
２１，５１  心理音響学モデル
２３  拡張ビットアロケータ
５２  量子化器／符号器
５４  スイッチ
【図１】
0004219551.tif 000005
【図２】
0004219551.tif 000006
【図３】
0004219551.tif 000007
【図４】
0004219551.tif 000008
【図５】
0004219551.tif 000009