"会議のためのスケーラブルオーディオ処理方法であって、会議内の第1エンドポイントの状態を決定するステップであって、前記状態は前記第1エンドポイントが会議オーディオの一次ソース又は二次ソースであることを示す前記ステップと、1以上のルールを前記状態に適用することによって該状態を評価するステップと、スケーラブルオーディオコーディックで前記会議のためのオーディオを処理するステップであって、前記スケーラブルオーディオコーディックの少なくとも1つのパラメータが前記第1エンドポイントの前記評価された状態に基づき選択される前記ステップと、前記会議のための前記処理されたオーディオを送信するステップとを具備するスケーラブルオーディオ処理方法。前記処理するステップと前記送信するステップは、会議内の符号化されたオーディオビットストリームを受信する所与のエンドポイントにより実行され、該所与のエンドポイントは会議内の前記第1エンドポイント又は或る第2エンドポイントを含み、前記処理するステップと前記送信するステップは、前記所与のエンドポイントで、前記符号化されたビットストリームを出力オーディオに復号化し、出力用の前記出力オーディオを送出するステップと、前記所与のエンドポイントで、前記符号化されたビットストリームからビットを剥落し、前記剥落されたビットストリームを出力オーディオに復号化し、出力用の前記出力オーディオを送出するステップとを少なくとも1つ備える請求項1の方法。前記処理するステップと前記送信するステップは、入力オーディオを取得する会議内の所与のエンドポイントにより実行され、前記所与のエンドポイントは会議内の前記第1エンドポイント又は或る第2エンドポイントを含み、前記処理するステップと前記送信するステップは、前記入力オーディオを符号化したビットストリームに符号化し、ネットワークを介して前記符号化したビットストリームを送出するステップと、前記入力オーディオを符号化したビットストリームに符号化し、前記符号化したビットストリームからビットを剥落し、ネットワークを介して前記剥落ビットストリームを送出するステップとを少なくとも1つ備える請求項1の方法。前記オーディオを処理するステップと前記送信するステップは、ネットワークを介して会議内の所与のエンドポイントと通信するマルチポイント制御装置により実行され、前記所与のエンドポイントは前記第1エンドポイント又は或る第2エンドポイントを含み、前記処理ステップと前記送信ステップは、ネットワークを介して符号化されたオーディオビットストリームを受信し、前記ネットワークを介して前記所定のエンドポイントへ前記符号化されたビットストリームを中継するステップと、ネットワークを介して符号化されたオーディオビットストリームを受信し、前記符号化されたビットストリームからビットを剥落し、前記ネットワークを介して前記所与のエンドポイントに前記剥落ビットストリームを送出するステップとを少なくとも1つ備える請求項1の方法。前記状態は、更に、前記第1エンドポイントが静寂ソースであるエンドポイントを示す請求項1の方法。スケーラブルオーディオコーディックで会議オーディオを処理する前記ステップは、前記第1エンドポイントの状態が二次ソースを示す場合に、スケーラブルオーディオコーディックを使って符号化されたオーディオビットストリームからビットを剥落するステップを備える、請求項1の方法。スケーラブルオーディオコーディックで会議オーディオを処理する前記ステップは、スケーラブルオーディオコーディックを使って符号化されたオーディオビットストリームからビットを剥落するステップを備え、スケーラブルオーディオコーディックの少なくとも1つのパラメータは、前記符号化されたビットストリームにおいてビットを剥落する箇所の指示を含む、請求項1の方法。1以上のルールを前記状態に適用することによって該状態を評価する前記ステップは、i前記状態において前記第1エンドポイントの第1時間間隔が経過し、かつ、ii会議内の或る第2エンドポイントが一次ソースの状態を有する場合に、一次ソースから二次ソースに前記状態を変更するステップ、又は、i前記状態において前記第1エンドポイントの第2時間間隔が経過し、かつ、ii会議内の或る第2エンドポイントが二次ソースの状態を有する場合に、二次ソースから静寂ソースに前記状態を変更するステップを備える請求項1の方法。1以上のルールを前記状態に適用することによって該状態を評価する前記ステップは、前記第1エンドポイントが会話オーディオを有していないから会話オーディオを有しているに変わる場合、一次ソースの状態を維持するステップと、i前記第1エンドポイントが会話オーディオを有していないから会話オーディオを有しているに変わり、かつ、ii会議内の或る第2エンドポイントが一次ソースの状態を有し且つ会話オーディオを有していない場合に、二次ソースから一次ソースに前記状態を変更するステップと、前記第1エンドポイントが会話オーディオを有していないから会話オーディオを有しているに変わる場合に、静寂ソースから一次ソースに前記状態を変更するステップ、のいずれか1つを備える請求項1の方法。1以上のルールを前記状態に適用することによって該状態を評価する前記ステップは、i前記第1エンドポイントが会話オーディオを有しているから会話オーディオを有していないに変わり、かつ、ii前記状態において前記第1エンドポイントの第1時間間隔が経過した場合に、一次ソースから二次ソースに前記状態を変更するステップ、又は、i前記第1エンドポイントが会話オーディオを有しているから会話オーディオを有していないに変わり、かつ、ii前記状態において前記第1エンドポイントの第2時間間隔が経過した場合に、二次ソースから静寂ソースに前記状態を変更するステップを備える請求項1の方法。前記第1エンドポイントの状態を決定する前記ステップは、前記第1エンドポイントのオーディオにおいて現在の会話を検出するステップを備え、前記状態は、前記第1エンドポイントが会話オーディオを有している又は会話オーディオを有していないことをさらに示す、請求項1の方法。前記状態を決定する前記ステップの後に、前記状態に関連付けられた時間間隔が経過したことを決定するステップをさらに備え、ここで、前記状態を評価するステップは前記時間間隔の経過後に少なくとも実行される、請求項1の方法。前記状態に関連付けられた前記時間間隔は、一次ソースの前記状態用と二次ソースの前記状態用の時間間隔を別々に備える、請求項12の方法。前記スケーラブルオーディオコーディックで前記オーディオを処理する前記ステップは、異なる周波数帯域のオーディオを異なるセットの変換係数に変換符号化するステップと、前記異なるセットの変換係数をパケット化するステップとを備える請求項1の方法。前記スケーラブルオーディオコーディックの少なくとも1つのパラメータは、異なる周波数帯域のために割り当てられた多数のビット割当てを備える、請求項14の方法。前記パケット化する前記ステップは、対応するビット割当てと共に異なるセットの変換係数をパケット化することを特徴とする請求項15の方法。前記判断された一次ソース状態に関係付けられたビット割当ては、より低い周波数の前記異なる周波数帯域を選び出すことを特徴とする請求項14の方法。前記判断された二次ソース状態に関係付けられたビット割当ては、より高い周波数の前記異なる周波数帯域を選び出さないことを特徴とする請求項14の方法。前記スケーラブルオーディオコーディックの少なくとも1つのパラメータは、前記変換係数が配置された周波数領域を備え、前記パケット化する前記ステップは、順位付けられた周波数領域の重要性に基づき前記異なるセットの変換係数をパケット化する、請求項14の方法。順位付けられた周波数領域の重要性は、より大きなエネルギーレベル又はより低い周波数で周波数帯域を選び出す、請求項14の方法。請求項1のスケーラブルオーディオ処理方法における各ステップを、プログラム可能な制御装置に実行させるための、プログラム命令群を記憶したプログラム可能な記憶装置。ネットワークインターフェースと、前記ネットワークインターフェースに通信可能に接続され、オーディオ信号を取得するように構成され、かつ、スケーラブルオーディオコーディックを有するプロセッサとを備え、前記プロセッサは、分散型オーディオネットワークにおける第1オーディオ装置の状態を決定し、ここで、前記状態は前記第1オーディオ装置がネットワークオーディオの一次ソース又は二次ソースであることを示し、前記状態を評価するために1以上のルールを前記状態に適用し、前記スケーラブルオーディオコーディックで前記分散型オーディオネットワークのためのオーディオを処理し、ここで、前記スケーラブルオーディオコーディックの少なくとも1つのパラメータが前記第1オーディオ装置の前記評価された状態に基づき選択され、かつ、前記分散型オーディオネットワークのための前記処理されたオーディオを送信する、ように構成されていることを特徴とする処理装置。前記状態が決定された前記第1オーディオ装置、前記分散型オーディオネットワーク内のマルチポイント制御装置、又は前記分散型オーディオネットワーク内の第2オーディオ装置の1つを更に備える、請求項22に記載の処理装置。前記分散型オーディオネットワークはマルチポイント会議を具備し、前記第1オーディオ装置は前記マルチポイント会議の第1エンドポイントからなる、請求項22に記載の処理装置。本開示によるオーディオコーデックは拡張可能であり、利用可能なビット数を複数の周波数帯域の間で割り当てる配分する。更に、オーディオコーデックは、重要度に基づいてこれらの帯域それぞれの周波数領域に順位を付ける。ビット剥落が発生しても、重要度が高いこれらの周波数領域はビットストリームの最初にパケット化されている。こうして、ビット剥落が生じても、より有用なオーディオが維持されることになる。オーディオコーデックのこれらの詳細および他の詳細を本明細書に開示する。本開示の多様な実施の形態は、オーディオ会議音声会議、ビデオ会議、およびストリーム音楽または会話を含むストリームメディア等の分野で有用な用途を見いだすことができる。従って、本開示のオーディオ処理装置には、オーディオ会議エンドポイントオーディオ会議ネットワーク端末、ビデオ会議エンドポイントビデオ会議ネットワーク端末、オーディオ再生装置、個人用音楽プレーヤ、コンピュータ、サーバ、電話通信装置、携帯電話、携帯情報端末、VoIP電話装置、コールセンター装置、音声記録装置、音声メッセージ装置などが含まれる。例えば、ここに開示する技術は専用のオーディオ会議またはビデオ会議のエンドポイントにとって有用である。同様に、コンピュータまたは他の装置をデスクトップ会議またはデジタルオーディオデジタルオーディオ信号の送受信に使用してもよく、ここで開示する技術はこれらの装置にとって有用である。A.会議エンドポイント上記のように、本開示のオーディオ処理装置には会議のエンドポイントつまり端末が含まれる。図2Aは、エンドポイントつまり端末100の実施例を略示する。図示のように、会議端末100は、ネットワーク125上の送信器および受信器の両方とすることができる。また、図示のように、会議端末100は、オーディオ会議能力はもとより、ビデオ会議能力を持つこともできる。概して、端末100はマイクロホン102およびスピーカ108を有し、ビデオカメラ103、ディスプレイ109、キーボード、マウス等の他の各種入力/出力装置を有してもよい。更に、端末100は、プロセッサ160、メモリ162、変換器電子回路164、および、特定のネットワーク125に適合したネットワークインターフェース122/124を有する。オーディオコーデック110は、ネットワーク端末用の適切なプロトコルに従って標準規格ベースの会議を提供する。これらの標準規格の全体を、メモリ162に格納されたソフトウエアで実装してもよく、プロセッサ160、専用ハードウエア、またはこれらの組合せを用いて実行する。送信パス送信経路では、マイクロホン102により収音されたアナログ入力信号が変換器電子回路164によりデジタル信号に変換され、端末のプロセッサ160上で動作するオーディオコーデック110がインターネット等のネットワーク125上に送信器インターフェース122を介して送信するためのデジタルオーディオ信号を符号化する符号器200を有する。ビデオ符号器170を有するビデオコーデックがあれば、ビデオ信号用の類似機能を実行できる。受信パス受信経路では、端末100は、オーディオコーデック110に接続されたネットワーク受信器インターフェース124を有する。復号器250は、受信したオーディオ信号を復号化し、変換器電子回路164が、スピーカ108へ出力するためにデジタル信号をアナログ信号に変換する。ビデオ復号器172を有するビデオコーデックがあれば、ビデオ信号用の類似機能を実行できる。B.オーディオ処理構成図2Bは、第1のオーディオ処理装置100A送信器として作用するが、圧縮されたオーディオ信号を第2のオーディオ処理装置100Bこの文脈では受信器として作用するへ送出する会議編成を示す。送信器100Aおよび受信器100Bはともに、ITUG.722.1PolycomSiren7またはITUG.722.1.CPolycomSiren14で使用されるものと類似の、変換符号化を実行するスケーラブルオーディオコーデック110を有する。説明のために、送信器および受信器100A、100Bは、オーディオ会議またはビデオ会議内のエンドポイントつまり端末とすることができるが、他の種類の装置であってもよい。動作中は、送信器100Aのマイクロホン102は、ソースのオーディオを取得し、電子回路がそのオーディオのブロックまたはフレームをサンプリングする。典型的には、オーディオのブロックまたはフレームのスパン間隔は入力オーディオの20msである。この時点で、オーディオコーデック110の正変換が、各オーディオフレームを1セットの周波数領域の変換係数群に変換する。次いで、当技術分野で公知の技法を用いて、これらの変換係数群を量子化器115により量子化し、符号化する。符号化されると、送信器100Aは、そのネットワークインターフェース120を用いて、パケット内の符号化された変換係数群をネットワーク125経由で受信器100Bに送出する。IPインターネットプロトコルネットワーク、PSTN公衆交換電話網、ISDNデジタル総合サービス網等を含むがそれらに限定はされない、任意の適切なネットワークを使用できる。それらの一部では、送信されるパケットは任意の適切なプロトコルまたは標準規格を使用できる。例えば、パケット内のオーディオデータは、TOCの後に続けることができ、オーディオフレームを含む全てのオクテットをユニットとしてペイロードに添えることができる。オーディオフレームおよびパケットに関する追加詳細はITU-T勧告G.722.1およびG.722.1Cに規定されるが、これらを引用して本明細書に組み込む。受信器100Bで、ネットワークインターフェース120はパケットを受信する。続く逆処理では、受信器100Bは、逆量子化器115およびコーデック110の逆変換を用いて、符号化された変換係数群を逆量子化し、復号化する。逆変換は、係数群を時間領域に変換して戻すことにより、受信器のスピーカ108用の出力オーディオ信号を生成する。オーディオ会議およびビデオ会議では、受信器100Bおよび送信器100Aは、会議をしている間、交互に動作する。C.オーディオコーデック動作オーディオコーデック110およびオーディオ処理装置100を理解したところで、オーディオコーデック110が本開示に従ってどのようにオーディオを符号化し、復号化するかの説明に移る。図3に示すように、送信器100Aのオーディオコーデック110は、時間領域のオーディオデータを受信しブロック310、オーディオデータのオーディオブロックまたはフレームを取り出すブロック312。正変換を用いて、オーディオコーデック110は、オーディオフレームを周波数領域の変換係数群に変換するブロック314。上記説明のように、オーディオコーデック110は、Polycom社のSiren技術を用いてこの変換を実行する。ここで、オーディオコーデックは、MP3、MPEGAAC等を含む任意の変換コーデックとすることができるが、それらに限定はされない。オーディオフレームを変換する場合、オーディオコーデック110は、フレームのスペクトル包絡線も量子化し、符号化するブロック316。この包絡線は符号化されるオーディオの振幅を記述するが、位相の詳細情報は何も提供しない。スペクトル包絡線の符号化はビット数をさほど必要としないので、直ちに完成させることができる。更に、以下から分かるように、ビットが送信から剥落された場合、スペクトル包絡線は、オーディオ復号化において後で使用され得る。インターネット等のネットワーク上で通信する場合、帯域幅が変わることがあり、パケットが失われることがあり、そして接続レートが異なることがある。これらの困難に対抗するために、本開示に係るオーディオコーデック110は拡張可能scalableである。この方法で、オーディオコーデック110は、より詳細に後述するプロセスで、利用可能な複数ビットビット数を少なくとも2つの周波数帯域間で割り当てる配分するブロック318。コーデックの符号器200は、割り当てられた周波数帯域のそれぞれにおいて変換係数群を量子化し、符号化しブロック320、次いで、領域の重要度に基づいて周波数領域毎にビットの順位を付け直すブロック322。全般的に見れば、符号化プロセス全体で約20msの遅延しか発生しない。より詳細に後述するビットの重要度判定は、いくつもの理由でビットが剥落する場合、遠端遠隔地点で再生できるオーディオ品質を向上させる。ビットの順位を付け直してから、ビットを遠端に送出するためにパケット化する。最後に、パケットを遠端に送信し、それにより次のフレームを処理できるようになるブロック324。遠端では、受信器100Bはパケットを受信し、それらを周知の技法に従って取り扱う。次に、コーデックの復号器250は、スペクトル包絡線を復号化して、逆量子化しブロック352、複数周波数帯域間に割り当てられた複数ビットを判定するブロック354。復号器250が周波数帯域間のビット割当てを判定する方法の詳細については後述する。ビット割当てが分かると、復号器250は変換係数群を復号化して、逆量子化しブロック356、各帯域の係数群について逆変換を実行するブロック358。最後に、復号器250はオーディオを時間領域に変換して戻し、受信器のスピーカ用に出力オーディオを生成するブロック360。D.符号化技術上記のように、開示のオーディオコーデック110は拡張可能であり、変換符号化を用いて、少なくとも2つの周波数帯域の配分ビットでオーディオを符号化する。スケーラブルオーディオコーデック100により実行される符号化技術の詳細を図4のフロー図に示す。最初に、オーディオコーデック110は、1フレームの入力オーディオ信号を得てブロック402、当技術分野で周知の変調重複変換を用いて、そのフレームを変換係数群に変換するブロック404。周知のように、これら変換係数群の各係数は、それぞれ大きさマグニチュードを有し、正であっても負であってもよい。また、オーディオコーデック110は、上記したように、スペクトル包絡線[0Hz~22kHz]を量子化し、符号化するブロック406。この時点で、オーディオコーデック110は、2つの周波数帯域間で1フレーム分の複数ビットを割り当てる配分するブロック408。このビット割当ては、オーディオコーデック110が受信オーディオデータを符号化するときにフレーム単位で動的に判定される。2つの帯域を分ける分割周波数が選択されることで、利用可能な第1の数のビットが該分割周波数以下の低周波数領域に割り当てられ、残りのビットが該分割周波数より上の高周波数領域に割り当てられる。帯域のビット割当てが決定された後、オーディオコーデック110は、低周波数帯域および高周波数帯域両方の正規化された係数を各割当てビット数により符号化するブロック410。次に、オーディオコーデック110は、これら両方の周波数帯域内の各周波数領域の重要度を決定しブロック412、決定された重要度に基づいて周波数領域を順位付けるブロック414。上記のように、オーディオコーデック110は、Sirenコーデックに類似させることができ、時間領域から、MLT係数を有する周波数領域へオーディオ信号を変換できる簡単にするために、本開示は、かかるMLT変換の変換係数に言及するが、FFT高速フーリエ変換およびDCT離散コサイン変換等の他の変換形式を用いてもよい。サンプリングレートで、MLT変換は約960個のMLT係数すなわち、25Hz毎に1つの係数を生成する。これらの係数は、0、1、2...のインデックスの昇順に従って周波数領域で並べられる。例えば、最初の領域0は周波数範囲[0~500Hz]をカバーし、次の領域1は[500~1000Hz]をカバーし、という具合である。従来なされていたように周波数領域を昇順で送出するだけでなく、スケーラブルオーディオコーデック110は、オーディオ全体の脈絡で領域の重要度を判定してから、重要度の高い方から重要度の低い方へという基準で領域の順位を付け直す。重要度に基づくこの再配列は、両方の周波数帯域で行われる。各周波数領域の重要度の判定は様々な方法で行うことができる。1つの実装例において、符号器200は、量子化した信号パワースペクトルに基づいて領域の重要度を判定する。この場合、大きなパワーを持つ領域の方が重要度が高い。別の実装例では、知覚モデルを用いて領域の重要度を判定できる。知覚モデルは、人が知覚しない外来オーディオ、ノイズ等をマスクする。これら技法についてはそれぞれ、より詳細に後述する。重要度に基づいて順位を付けてから、最も重要度が高い領域を最初に、続いて重要度がより低い領域を、というようにパケット化するブロック416。最後に、順位を付け、パケット化した領域をネットワークに載せて遠端に送出するブロック420。パケットを送出するとき、変換係数の領域の順位に関するインデックス情報は送出しなくてもよい。それが無くても、ビットストリームから復号化されるスペクトル包絡線に基づいて、復号器内でインデックス情報を計算できる。ビット剥落が発生すると、エンドポイントに向かってパケット化されたこれらのビットが剥落してしまうことがある。領域は順位付けられているので、より重要度の高い領域の係数が最初にパケット化されている。従って、ビット剥落が発生した場合、最後にパケット化された重要度の低い領域の方が剥落する可能性が高い。さらに又は別の例として、送信エンドポイント、MCU、あるいは受信エンドポイントのいずれか1つ以上が、より選択的に他の周波数帯域からビットを剥落しつつ、それら全体において特定の周波数帯域を破棄することのできるように、前記係数もまた周波数帯域によってソートされ得る。遠端では、送信器100Aにより最初に与えられた順位付け重要度を既に反映した受信データを、復号器250が復号化し変換する。こうして、受信器100Bがパケットを復号化し、時間領域のオーディオを生成した場合、受信器のオーディオコーデック110が、入力オーディオ内の、重要度が高い係数の方の領域を実際に受信し、処理する機会が増加える。予想されるように、帯域幅、計算能力、およびその他のリソースの変化が会議中に起き、それにより、オーディオが失われたり、符号化されなかったりする。オーディオ信号が複数帯域間でビット割り当てビット配分され、重要度で順位付けられるなら、オーディオコーデック110は更に有用なオーディオを遠端で処理する機会を増やすことができる。これら全てを考え合わせると、どのような理由であれオーディオ品質が低下する時に、ビットストリームからビットすなわち、部分的なビットストリームが剥落しても、オーディオコーデック110は依然として実用的なオーディオ信号を生成できる。1.ビット割当て上記のように、本願で開示するスケーラブルコーデック110は、利用可能なビット数を複数の周波数帯域間で割り当てる。図4Bに示すように、オーディオコーデック110は、特定のサンプリング周波数例えば、48kHzでオーディオ信号430をそれぞれ約20msの連続フレームF1、F2、F3等でサンプリングし、デジタル化する実際にはフレームが重なっていてもよい。従って、各フレームF1、F2、F3等は、約960個のサンプルを有する48kHz×0.02s=960。次いで、オーディオコーデック110は、各フレームF1、F2、F3等を時間領域から周波数領域に変換する。所与のフレームに対して、例えば、この変換は図4Cに示すような1セットのMLT係数を生成する。この1フレームに約960個のMLT係数があるすなわち、25Hz毎に1つのMLT係数。符号化帯域幅が22kHzなので、約22kHzを超える周波数を表すMLT変換係数は無視される。符号化された情報をパケット化し、ネットワーク上に送信できるように、0~22kHzの周波数領域の変換係数セットを符号化しなければならない。一例では、オーディオコーデック110は、64kbpsの最高レートでフルバンドのオーディオ信号を符号化するように構成されている。更に、本明細書で説明するように、オーディオコーデック110は、1フレームを符号化するために利用可能なビット数を2つの周波数帯域間で割り当てる配分する。ビット数を割り当てるために、オーディオコーデック110は、利用可能な合計ビット数を第1の帯域[0~12kHz]と第2の帯域[12kHz~22kHz]の間で分割するようにできる。2つの帯域を分ける分割周波数12kHzは、主として会話の音質変化および主観テストに基づいて選定できる。所与の実装形態に対応して他の分割周波数を使用できるであろう。さらに、より多くの帯域が提供され得る。利用可能な合計ビットの分割は、2つの帯域の間のエネルギー比に基づいている。1つの実施例では、2つの帯域の間で分割するための4つのモードの可能性がある。例えば、64kbpsの利用可能な合計ビットを以下のように分割できる。遠端へ送信される情報内にこれら4つの可能性を表すには、符号器200が送信のビットストリーム内で2ビットを使用する必要がある。遠端復号器250は、これらの送信されたビットからの情報を用いて、受信時に所与のフレームに対するビット割当てを決定できる。ビット割当てが分かると、復号器250はこの決定されたビット割当てに基づいて信号を復号化することができる。図4Cに示す別の例では、オーディオコーデック110は、[0~14kHz]の第1の帯域LoBand440と、[14kHz~22kHz]の第2の帯域HiBand450との間で、利用可能な合計ビット数を分けることによりビット数を割り当てるよう構成されている。実装に応じて他の値を使用できようが、14kHzの分割周波数は、会話/音楽、ノイジー/明瞭、男声/女声等の主観的な聴覚品質に基づいていて好ましい。14kHzで信号をHiBandとLoBandとに分割することにより、スケーラブルオーディオコーデック110を既存のSiren14オーディオコーデックと同等にする。この例では、可能性のある8つの分割モードによりフレーム単位でフレームを分割できる。この8モードbitsplitmode;ビット分割モードは、2つの帯域440、450の間のエネルギー比に基づいている。ここで、低周波数帯域LoBandのエネルギーまたはパワー値をLoBandsPowerとする一方、高周波数帯域HiBandのエネルギーまたはパワー値をHiBandsPowerとする。所与のフレームの特定のモードbitsplitmode;ビット分割モードは以下のように決定される:ifbitsplitmode7elseifbitsplitmode6elseifbitsplitmode5elseifbitsplitmode4elseifbitsplitmode3elseifbitsplitmode2elseifbitsplitmode1elsebitsplitmode0ここで、低周波数帯域LoBandsPowerのパワー値は、として計算される、ここで、範囲インデックスi=0,1,2,...25である。各領域の帯域幅は500Hzなので、対応する周波数範囲は0Hz~12,500Hzである。既存のSirenコーデックに利用可能な予め定義済みの表を用いて、各領域のパワーを量子化して、quantizedregionpoweriの値を求めることができる。その部分については、高周波数帯域HiBandsPowerのパワー値も同様に計算する。但し、13kHz~22kHzの周波数範囲を使用する。従って、このビット割当て技術における分割周波数は、信号スペクトルは14kHzで分割されるが、実際には13kHzである。これは掃引サイン波テストに合格するように行われる。次に、上記のように、帯域のパワー値のエネルギー比から判定されたビット分割モードbitsplitmodeに基づいて、2つの周波数帯域440、450のビット割当てを計算する。詳細には、HiBand周波数帯域は、利用可能な合計64kbpsの内の164bitsplitmodekbpsを得る一方、LoBand周波数帯域は、利用可能な合計64kbpsの内の残りのビットを得る。これは、以下の8モードの割当てに展開される。遠端に送信された情報内のこれら8つの可能性を表すには、送信コーデック110がビットストリーム中に3ビットを使用する必要がある。遠端の復号器250はこれら3ビットにより指示されるビット割当てを使用でき、このビット割当てに基づいて所与のフレームを復号化できる。図4Dは、可能性のある8つのモード0~7のビット割当て460のグラフである。フレームは20ミリ秒のオーディオを有するので、64kbpsの最大ビットレートは、フレームあたり利用可能な合計1280ビットすなわち、64,000bps×0.02sに対応する。繰り返しになるが、使用するモードは、2つの周波数帯域のパワー値474、475のエネルギー比に依存する。様々な比470も図4Dにグラフとして描かれている。従って、HiBandのパワー値475がLoBandのパワー値474の4倍を超えると、決定されるビット分割モードbitsplitmodeは7となる。これは、LoBandの20kbpsまたは400ビットの第1のビット割当て464に対応し、利用可能な64kbpsまたは1280ビットの内のHiBandの44kbpsまたは880ビットの第2のビット割当て465に対応する。別の実施例として、HiBandのパワー値464が、LoBandのパワー値465の半分を超えるが、LoBandのパワー値464の1倍未満の場合、ビット分割モードbitsplitmodeは、3と決定される。これは、LoBandの36kbpsまたは720ビットの第1のビット割当て464と対応し、利用可能な64kbpsまたは1280ビットの内のHiBandの28kbpsまたは、560ビットの第2のビット割当て465と対応する。これら2つの可能性のあるビット割当ての形から分かるように、2つの周波数帯域の間でビット数を割り当てる方法を決定するのは、所与の実装形態のいくつかの細目に依存しており、これらのビット割当て方式が例示に過ぎないことを意味している。3つ以上の周波数帯域をビット割当てに関与させて、所与のオーディオ信号のビット割当てを更に精緻にすることも考えられる。従って、本開示の全体のビット割当ておよびオーディオの符号化/復号化は、3つ以上の周波数帯域をカバーするように拡張でき、また、本開示の教示により与えられる分割モード数を増加/減少させるように拡張できる。2.順位付け直し上記のように、ビット割当てに加えて、開示するオーディオコーデック110は、より重要な領域における係数の順位を付け直して、それらの係数が最初にパケット化されるようにする。こうすると、通信事情のせいでビットストリームからビットが剥落する時に、重要な領域の方が削除される可能性は低くなる。例えば、図5Aは、従来の、ビットストリーム500に入る領域のパケット順を示す。上記のように、各領域は、対応する周波数範囲の変換係数を有する。図示のように、この従来の構成では、周波数範囲[0~500Hz]の最初の領域0が最初にパケット化される。[500~1000Hz]をカバーする次の領域1が次にパケット化され、最後の領域がパケット化されるまでこのプロセスが繰り返される。その結果が従来のビットストリーム500であり、周波数領域0、1、2、...Nの昇順で領域が配列される。領域の重要度を判定し、次いで、より重要な領域をビットストリームの最初にパケット化することにより、本開示のオーディオコーデック110は、図5Bに示すようなビットストリーム510を生成する。ここで、最も重要な領域周波数範囲とは無関係にを最初にパケット化し、続いて2番目に重要な領域をパケット化する。このプロセスを重要度が最も低い領域がパケット化されるまで繰り返す。図5Cに示すように、何らかの理由で、ビット群がビットストリーム510から剥落することがある。例えば、ビットストリームの送信中または受信中にビット群が脱落することがある。しかし、残りのビットストリームは、保持されているビットについて、まだ復号化することができる。これらのビットは重要度に基づいて順位付けられているので、最も重要度が低い領域のビット520は、これが発生すると剥落する可能性が高くなる。最後に、図5Cで明らかなように、順位を付け直したビットストリーム510にビット剥落が発生しても、全体のオーディオ品質を維持することができる。3.重要度を決定するためのパワースペクトル技術上記のように、符号化オーディオ内の領域の重要度を判定する技術は、領域のパワー信号を用いて領域に順位を付けることである。図6Aに示すように、本開示に係るオーディオコーデック110が使用するパワースペクトルモデル600が、領域毎の信号パワーを計算するすなわち、領域0[0~500Hz]、領域1[500~1000Hz]等ブロック602。オーディオコーデック110がこれを行う1つの方法は、所与の領域内の各変換係数の二乗和を計算し、これを所与の領域の信号パワーに使用することである。所与の周波数帯域のオーディオを変換係数に変換してから例えば、図4のブロック410で実行するように、オーディオコーデック110は、各領域内の係数の二乗を計算する。現在の変換では、各領域は500Hzをカバーし、それぞれ25Hzをカバーする20個の変換係数を有する。所与の領域内のこれら20個の変換係数のそれぞれの二乗和が、この領域のパワースペクトルを生成する。対象とする帯域内の領域毎にこれを実行して、対象とする帯域内の領域毎にパワースペクトル値を計算する。領域の信号パワーの計算を終えるとブロック602、それらを量子化する。次に、モデル600がパワーの降順で領域をソートし、各帯域内の最大パワー領域で開始し、最小パワー領域で終了するブロック604。最後に、オーディオコーデック110は、決定された順位で係数のビットをパケット化することにより、モデル600を完了させるブロック606。結局、オーディオコーデック110は、領域の信号パワーに基づき他の領域と比較して領域の重要度を判定している。この場合、大きなパワーを有する領域は高い重要度を有する。最後にパケット化された領域が、送信プロセス内の何らかの理由で剥落した場合、より大きなパワー信号を有するこれらの領域が最初にパケット化され、剥落しない有用なオーディオを含む可能性が高い。4.重要度を判定するための知覚技法上記のように、符号化信号内の領域の重要度を判定するための別の技術は、知覚モデル650を使用する。その一例を図6Bに示す。最初に、知覚モデル650は、2つの帯域のそれぞれの各領域の信号パワーを計算するが、上記とほとんど同じ方法で行うことができブロック652、次いで、モデル650は信号パワーを量子化する。次に、モデル650は、領域毎の変更した領域パワー値すなわち、modified_region_powerを定義するブロック654。変更した領域パワー値は、所与の領域の重要度を考慮する場合、周囲の領域の影響を考慮して重み付けした合計に基づく。従って、知覚モデル650は、1つの領域内の信号パワーが別の領域内の量子化ノイズをマスクでき、2つの領域がスペクトル上で近い場合にこのマスキング効果が最大になるという事実を利用している。従って、所与の領域の変更した領域パワー値すなわち、modified_region_powerregion_indexを次のように定義できる:SUMここで、r[043]であり;quantizedregionpowerは、領域の算出信号パワーであり;weightregionindexrは、スペクトル距離|regionindex-r|が増加すると減少する固定関数である。従って、知覚モデル650は、重み付け関数が以下のように定義されると、図6Aのモデルに帰着する:rregionindexのとき、weight1rregionindexのとき、weight0上記概説したように、変更した領域パワー値を計算してから、知覚モデル650は、降順で変更した領域パワー値に基づいて領域をソートするブロック656。上記のように、特に、2つの領域がスペクトル上で互いに近い場合、重み付けをしたことにより、1つの領域の信号パワーは別の領域の量子化ノイズをマスクできる。次いで、オーディオコーデック110は、決定された順位で領域のビットをパケット化することによりモデル650を完了させるブロック658。5.パケット化上記説明のように、開示のオーディオコーデック110は、低周波数および高周波数の帯域に使用される特定のビット割当ての詳細を遠端の復号器250へ送出できるように、ビットを符号化し、それらをパケット化する。更に、スペクトル包絡線が、パケット化される2つの周波数帯域における変換係数の割当てビットと共にパケット化される。以下の表は、近端から遠端へ送信されるべき所与のフレームのビットストリームにおいてビットがパケット化される第1ビットから最後のビットまで方法を示す。表から分かるように、特定のビット割当てを指示する可能性のある8つのモードの3ビットをフレーム用に先ずパケット化する。次に、この帯域のスペクトル包絡線用のビット群を最初にパケット化することにより低周波数帯域LoBandをパケット化する。普通、包絡線は振幅情報を含むが位相情報は含まないので、少ない符号化ビットで済む。包絡線用のビット群をパケット化した後、特定の割当てビット数を低周波数帯域LoBandの正規化係数用にパケット化する。スペクトル包絡線用のビット群は、それらビットの典型的な昇順に基づいてパケット化されるだけである。更に、上記概説したように、低周波数帯域LoBandの係数用に割り当てられたビット群が重要度に従って順位が付け直されている時、それらビットがパケット化される。最後に、表から分かるように、高周波数帯域HiBandを、この帯域のスペクトル包絡線用のビット群を先ずパケット化することによりパケット化し、次いで、同じ方法で、HiBand周波数帯域の正規化係数用の特定の割当て数からなるビット群をパケット化する。E.復号化技術先に、図2Aで説明したように、本開示のオーディオコーデック110の復号器250は、パケットを受信すると、それらのビットを復号化するので、オーディオコーデック110は、係数を時間領域に変換して戻すことにより、出力オーディオを生成することができる。この処理を図7に詳細に示す。最初に、受信器例えば、図2Bの100Bがビットストリームでパケットを受信し、周知の技術を用いてパケットを処理するブロック702。パケットを送出する場合、例えば、送信器100Aは、送出されるパケットに含まれるシーケンス番号を作成する。周知のように、パケットは、送信器100Aから受信器100Bまで、ネットワーク125上の様々なルートを通過することがあるので、パケットは受信器100Bに様々な時間に到着するかもしれない。つまり、パケットが到着する順序はランダムとなる。このジッターと呼ばれる変化する到着時間を処理するために、受信器100Bは受信器のインターフェース120に接続されるジッターバッファ不図示を有する。典型的には、ジッターバッファは、同時に4つ以上のパケットを保持する。従って、受信器100Bは、パケットのシーケンス番号に基づいてジッターバッファ内のパケットを並べ替える。ビットストリーム内の最初の3ビットを用いて例えば、図5Bの520、復号器250は、処理される所与のフレームのビット割当て用パケットを復号化するブロック704。上記のように、構成によって、1つの実装内に8つのビット割当ての可能性がある。使用される分割が分かると最初の3ビットにより指示される、復号器250は帯域毎に割り当てられた数のビットを復号化できる。低周波数で開始すると、復号器250は、フレーム用の低周波数帯域LoBandのスペクトル包絡線を復号化し、逆量子化するブロック706。次に、復号器250は、ビットが受信され、剥落されていない限り、低周波数帯域の係数を復号化し、逆量子化する。従って、復号器250は順次に、繰返しプロセスを経由し、それ以上ビットが残っているかどうかを判定する決定710。ビットが利用可能な限り、復号器250は、低周波数帯域内の領域の正規化係数を復号化しブロック712、現在の係数値を計算するブロック714。この計算のために、復号器250は、変換係数をスペクトル包絡線の値に、正規化した係数の値を乗じてcoeff=envelopnormalized_coeffとして計算するブロック714。これを、全てのビットを復号化し、低周波数帯域のスペクトル包絡線値を乗じるまで続ける。ビットは周波数領域の重要度に従って順位付けられているので、復号器250は、ビットストリームが剥落したビットを持っているかどうかに関わらず、たいていはビットストリーム内の最も重要な領域を最初に復号化する。次に復号器250は2番目に重要な領域、というように以下順次復号化する。復号器250は全てのビットが使用されてしまうまで続ける判定710。全てのビットを処理したら実際には、ビット剥落のせいで元のまま復号化された全てのビットでないかもしれない、剥ぎ取られているかもしれない最低重要度のこれら領域をノイズで満たし、この低周波数帯域内の信号の残っている部分を完了させる。ビットストリームでビットが剥落している場合、剥落したビットの係数情報は失われている。しかし、復号器250は、低周波数帯域のスペクトル包絡線を既に受信し、復号化している。従って、復号器250には少なくともその信号の振幅が分かっているが、位相は分からない。ノイズを満たすために、復号器250は剥落したビット内に既知の振幅についての位相情報を満たす。ノイズで満たすために、復号器250は、ビットが欠けているいずれかの残りの領域用の係数を計算するブロック716。残りの領域用のこれらの係数は、ノイズ充填値NOISEFILLを乗じたスペクトル包絡線の値として計算される。このノイズ充填値NOISEFILLは、ビット剥落のせいで欠けて失われた領域の係数を満たすために用いられるランダム値とすることができる。ノイズで満たすことにより、端末の復号器250は、10kbpsのような極端に低いビットレートであっても、ビットストリームをフルバンドとして知覚できる。低周波数帯域を処理した後、復号器250は高周波数帯域HiBandの全体の処理を繰り返すブロック720。従って、復号器250は、HiBandのスペクトル包絡線を復号化して、逆量子化し、ビットの正規化係数を復号化し、ビットの現在の係数値を計算し、そしてビットを欠いた残りの領域剥落していればのノイズ埋込み係数を計算する。復号器250が、LoBandおよびHiBand両方の全ての領域の変換係数を決定し、スペクトル包絡線から導かれた領域の順位を知り得たので、復号器250は変換係数に逆変換を実行して、フレームを時間領域に変換するブロック722。最後に、オーディオコーデックは時間領域でオーディオを生成するブロック724。F.オーディオ欠損パケットの復元ここで開示するように、スケーラブルオーディオコーデック110はビット剥落が発生している場合のオーディオ処理に有用である。加えて、スケーラブルオーディオコーデック110は、パケットロス欠損復元の支援に用いることもできる。パケットロスに対抗する普通のアプローチは、出力用に既に処理してある、以前に受信したオーディオを単に繰り返して、パケットロスでできた空隙を埋めることである。このアプローチは、オーディオの空隙によって発生する歪みを減らせるが、歪みを解消することはない。例えば、5を超えるパケットロスのレートでは、以前送信されたオーディオを繰り返すことにより発生するアーチファクトが目立つようになる。スケーラブルオーディオコーデック110は、連続するパケットにおいて1オーディオフレームの高品質バージョンと低品質をインターレースする織り混ぜることによりパケットロスに対抗する。これは拡張可能であり、異なる品質でオーディオフレームを2回符号化しなくてよいので、オーディオコーデック110は計算コストを低減させることができる。それどころか、スケーラブルオーディオコーデック110が既に生成した高品質バージョンからビットを落とすだけで低品質バージョンが得られる。図8は、送信器100Aにある本開示のスケーラブルオーディオコーデック110が、オーディオ信号を2回符号化しなくてもオーディオフレームの高品質と低品質のバージョンをインターレースできる方法を示す。以下の説明で、フレームについての言及は、本明細書で説明するような20ms位のオーディオブロックを意味している。更に、インターレース織り混ぜ処理は、送信パケット、変換係数領域、ビット補正等に適用できる。加えて、32kbpsの最小一定ビットレートおよび、より低品質の8kbpsのレートについても説明するが、オーディオコーデック110が用いるインターレース技術は他のビットレートにも適用できる。典型的には、このオーディオコーデック110は、32kbpsの最小一定ビットレートを用いて劣化しないオーディオ品質を達成できる。パケットはそれぞれ20msのオーディオを持っているので、この最小ビットレートは640ビット/パケットに相当する。但し、このビットレートは、無視できるほどの主観的な歪みを持つ8kbpsつまり160ビット/パケットに低下することが稀にある。これは、640ビットで符号化されたパケットが、160ビットだけで符号化されたこれらの稀に発生するパケットからの符号化歪みをマスクするように見えるので起こり得る。このプロセスでは、送信器100Aのオーディオコーデック110が、最小でも32kbpsのビットレートを与えられた各20msパケット毎の640ビットを用いて、現在の20msのオーディオフレームを符号化する。パケットロスの可能性に対処するために、オーディオコーデック110は、未来の各フレーム毎に低品質の160ビットを用いて、未来のN個のオーディオフレームを符号化する。しかし、フレームを2回符号化しなければならないのではなく、代わりに、オーディオコーデック110が高品質バージョンからビットを落とす処理を行うことにより低品質の未来のフレームを作成する。何らかの送信オーディオ遅延を導入できるので、送信器100Aにオーディオ遅延を追加しなくても、符号化できる可能性のある低品質フレームの数は、例えば、N=4に制限してもよい。この段階で、次に、送信器100Aは高品質ビットと低品質ビットを単一パケットに組み合せ、それを受信器100Bに送出する。図8に示すように、例えば、第1のオーディオフレーム810aは、32kbpsの最小一定ビットレートで符号化される。第2のオーディオフレーム810bも、同じく32kbpsの最小一定ビットレートで符号化されるが、160ビットの低品質でも符号化される。本明細書で説明するように、この低品質バージョン814bは、既に符号化されている高品質バージョン812bからビットを落とすビットレートを落とすことにより実際に達成される。このオーディオコーデック110が重要度の領域を区分するとすると、高品質バージョン812bから低品質バージョン814bへとビットを落とすことは、この低品質バージョン814bにおいても何らかの有用なオーディオ品質が実際に保持されるであろう。第1の符号化パケット820aを生成するために、第1のオーディオフレーム810aの高品質バージョン812aを、第2のオーディオフレーム810bの低品質バージョン814bと組み合せる。この符号化パケット820aは、上記のように分割された低周波数および高周波数の帯域のためのビット割当ておよび順位付け直しの技術を組み込むことができ、かつ、これら技術は、高品質および低品質のバージョンの一方または両方812a/814bに適用できる。従って、例えば、符号化したパケット820aには、ビット分割割当ての指示、フレームの高品質バージョン812aの低周波数帯域の第1のスペクトル包絡線、低周波数帯域の順位付けられた領域重要度の第1の変換係数、フレームの高品質バージョン812aの高周波数帯域の第2のスペクトル包絡線、および高周波数帯域の順位付けられた領域重要度の第2の変換係数を含めることができる。次いで、これに、ビット割当て等と無関係に後続のフレームの低品質バージョン814bだけが続く。代替として、後続のフレームの低品質バージョン814bは、スペクトル包絡線および2つの帯域周波数の係数が含むことができる。高品質符号化、低品質へのビット落とし、および隣接するオーディオフレームとの組合せは、符号化プロセス全体を通じて繰り返される。従って、例えば、第3のオーディオフレーム810cの低品質バージョン814cすなわち、ビット落としバージョンと組み合わされた第2のオーディオフレーム810bの高品質バージョン812bを含む第2の符号化パケット820bが生成される。受信端末で、受信器100Bは送信されたパケット820を受信する。パケットが良好であればすなわち、受信されると、受信器のオーディオコーデック110は、現在の20ミリ秒のオーディオを表す640ビットを復号化し、受信器のスピーカにそれを提供する。例えば、受信器110Bで受信した第1の符号化パケット820aが良好なので、受信器110Bはパケット820aの第1のフレーム810aの高品質バージョン812aを復号化して、第1の復号化オーディオフレーム830aを生成する。受信した第2の符号化パケット820bも良好かもしれない。従って、受信器110Bは、このパケット820bの第2のフレーム810bの高品質バージョン812bを復号化して、第2の復号化オーディオフレーム830bを生成する。パケットが不良または失われている場合、受信器のオーディオコーデック110は、受信した最新の良好パケットに含まれる現在のフレームの低品質バージョン160ビットの符号化データを用いて、失われたオーディオを復元する。図示のように、例えば、第3の符号化パケット820cは送信中に失われてしまった。従来なされていたように別のフレームのオーディオで空隙を埋めるのではなく、受信器100Bのオーディオコーデック110は、失われたフレーム820cに代えて、良好だった前回の符号化パケット820bから得られる低品質オーディオバージョン814cを用いる。次に、この低品質オーディオを用いて、失われた第3の符号化オーディオフレーム830cを再構築できる。こうして、失われたパケット820cのフレームに、低品質ではあるが、実際に失われたオーディオを使用できるのである。しかも、この低品質は、マスキングのせいで知覚的な歪みをさほど起こさないと予想される。G.マルチポイント環境上記した機能に加えて、分散型オーディオミキシング及びビットレート調整を容易にするために、マルチポイント環境においてここに記述されたようなスケーラブルオーディオコーデックが用いられ得る。例えば、図9に示す例示的な会議環境を考慮する。会議は、上記したような多数のエンドポイント900A、B、Cなどを備える。各エンドポイント900は会議ネットワーク930に接続される、インターネットとして示されるが、LANまたはWAN、PSTN、ISDN、ATM、ADSLあるいはネットワークの他の形態を含む既知のネットワーク配置のいずれか1つ又は組み合わせを備え得る。また、ネットワーク930上に存在するのは、マルチウェイコール内のエンドポイント900を接続するマルチポイント制御ユニット950である。各エンドポイント900は、スケーラブルオーディオコーデック910前述のものと同様を有するし、また会話活動検出器920後述するを有する。ネットワーク930上の装置としてMCU950は、スケーラブルオーディオコーデック910と会話活動検出器920とを有することができる。公知のように、前記エンドポイント900は符号化されたオーディオ信号をネットワーク930を介して送受信する、そしてMCU950はマルチウェイコール内の多数のエンドポイント900の前記符号化されたオーディオ信号を処理する。前述したように、MCUのスケーラブルオーディオコーデック910は、従来の慣例によらずに、ビットを剥落することにより、様々なエンドポイント900へ送信するために異なるビットレートでビットストリームを生成し得る。従って、MCU950は、その拡張可能オーディオコーデックを用いて、他のエンドポイント900Aからのより高解像度のビットストリームからビットを取り除くことによって、有用なオーディオを維持したまま、一エンドポイント900B用の低解像度のビットストリームを得ることができる。別の例において、このビット剥落は、送信エンドポイント900Aが発言中のアクティブな一次話者であるかどうかなどの、いくつかの他の要因に基づいてある送信エンドポイント例えば、900Aで行われ得る。これは、現在の会話信号のエネルギー量を決定し、そのいずれかの過去の値、他のエンドポイント900B~900Cからの1乃至複数の現在の信号エネルギー、あるいは既定の閾値と比較することによってなどを含む、様々な方法において決定され得る。この技術は、バックグラウンドノイズなどから会話を区別しようとする知覚モデルによって補足又は置換され得る。このような場合、送信エンドポイント例えば、900Aは、フルビットストリームもし別な方法で可能ならばを送信することができ、それにより全ての会議参加者がその送信エンドポイント900Aの高品位オーディオを聞くことができるようにする。送信エンドポイント900Aが現在発言中の話者でないならば、該エンドポイント900Aは、選択されたエンドポイントのスケーラブルオーディオコーデック910のパラメータに基づいて、オーディオ信号を処理する。例えば、他の帯域を超えるいくつかの帯域すなわち、より低い周波数を強調するように前記オーディオ信号を符号化する際に用いられた異なる周波数帯域のビット割当てを変更するために、他の帯域を超えるいくつかの帯域を強調するように重要性に基づいて符号化する際に用いられた周波数領域の順位を変更するために、及び/又はエンドポイント900Aがより低い周波数帯域だけを送信するように、符号化されたオーディオ信号それ自身のビットストリームからビットを自主剥落selfstripするために、前記コーデックのパラメータは設定され得る。この処理は、帯域幅を節約し、またMCU950受信する全てのものを他のエンドポイント900B~900Cへ単純に中継することができるか受信エンドポイント900Bと900C現時点で一次フォーカスでないものの高忠実度オーディオを復号化する追加リソースを費やす必要がないのどちらかの計算要件を減らす。他の態様において、送信エンドポイント900Aは、その最高品質ビットストリームの全てのビットを単純に送信することができ、MCU950はフルビットストリームを他の会議エンドポイント900B~900C全てに中継することができる。さらに、個々のエンドポイント900B~900Cのそれぞれは、それ自身のニーズを果たすようにビット剥落を実行することができる。例えば、送信エンドポイント900Aは現在発言中のアクティブな話者だけを有し得る。それ故、送信エンドポイント900Aはそのフルビットストリームを送信し得、MCU950は前記フルビットストリームを他の会議エンドポイント900B~900C全てに中継することができる。計算リソースを減らすため、ある受信エンドポイント例えば、900Bは、現在発言中の話者を有するエンドポイントすなわち、900Aから受信した信号の高周波数帯域だけを復号化することを選ぶかもしれない。現在発言中の話者を含む信号のどれかが、下に記述されるようなさまざまな方法で決定され得る。発言中でない非アクティブな話者を有するエンドポイントすなわち、900Cからの信号のため、受信エンドポイント900Bはより高い周波数帯域に対応するビットを廃棄することができる、だから、発言中でない非アクティブなエンドポイント900Cが会議に差し挟んでも、十分な品質を提供しつつ、会議のオーディオ品質を著しく下げない。前述したスケーラブルオーディオコーデック910の本質から、各参加者エンドポイント900A~900Cへの再送信用の様々なエンドポイント900A~900Cからのオーディオ信号をミキシングすることよりむしろ、今日行われているように、送信エンドポイント900Aは特定の成分のみ又は全てのオーディオ信号をMCU950へ送信することができるし、前記MCU950は特定の成分のみ又は全てのオーディオ信号を各受信エンドポイント900へ転送することができるし、及び/又は各受信エンドポイント900B~900Cは特定の成分のみ又は全てのオーディオ信号を復号化することができる。この汎用性は、各エンドポイント900A~900Cがそれ自身の会議混合を生成することを可能にする。それこそどのようにしてこれが行われるかはさまざまであり得る。例えば、各エンドポイント900A、900B等は、どのようにしてそれが会議混合に含まれるべきかに関して指示があろうとなかろうと、MCU950がその中の全部を他のエンドポイント900すべてに転送することのできる、その全体オーディオ信号を送信することができる。別の例において、各エンドポイント900A~900Cは、それが特定の状態にあるかどうかを自身のために決定することができる。次に、各エンドポイント900A~900Cは、それと他のエンドポイントの状態に基づきそれ自身の会議オーディオ信号を処理して送信することができ、及び/又はそれと他のエンドポイントの状態に基づき会議オーディオ信号を受信して該受信したオーディオ信号を処理することができる。例えば、各エンドポイント900A~900Cは、現在発言中の話者符号化中にビット割当てするのに上述したような技法を用いているを有しているかどうか、会議のリアリズムを高めるようにバックグラウンドノイズのいくつかのレベルを提供する必要性があるかどうか、あるいはそのエンドポイント900が会議品質に影響を与えることなく全体的に無音を維持できるかどうかを、自身のために決定することができる。エンドポイント900が自ら決定するこれら状態のどれかに応じて、エンドポイント900は、より低い解像度ですなわち、いくつかの周波数帯域だけを含むことによって、及び/又はそれら周波数帯域においてビット剥落することによってそのオーディオ信号を送信することにより、あるいはまったくどのオーディオ信号も送信しないことにより、最高解像度ですなわち、どのビット剥落もせずに全ての周波数帯域を含むそのオーディオ信号を送ることができる。同じような理論的根拠は、エンドポイントがネットワーク930を介して会議オーディオを受信している場合に適用できる。どのようにしてこのような実施形態が機能するかを理解するため、会議内のすべての装置すなわち、900、950は、装置900、950の間で送信されるオーディオRTPパケット内の状態、会話レベル、コードなどを決定し送信するために、共有された1つの会話活動検出器920常駐している、例えばMCU950内にを使用することができる。別の例において、各受信装置すなわち、900、950は、各着信オーディオストリームに適用する自身の会話活動検出器920を使用するかを決めることができる、これによって各装置すなわち、900、950は各受信したストリームの会話レベルを監視することができる。そのうえ、各エンドポイント900はまた、自身の会話活動検出器920を用いて自身の会話レベルを監視することができる。こうした会話活動検出器920は様々な形態を取ることができ、オーディオ信号の合計エネルギーを見ることができるし、オーディオ信号の特定の周波数帯又は周波数帯域におけるエネルギーレベルを見ることができるし、及び又は会話を検出するためにさまざまな知覚モデルを使用することができる。会話レベルとエンドポイント900の様々な状態を比較することにより、最高解像度ですなわち、どのビット剥落もせずに全ての周波数帯域を含む、より低い解像度ですなわち、いくつかの周波数帯域だけを含むことによって、及び/又はそれら周波数帯域においてビット剥落することによってオーディオ信号の送受信を行うこと、又はオーディオ信号の送受信を全く行わないことはすなわち、オーディオ信号を全く送信しないことによって、計算リソースと利用可能な帯域幅を節約する方法において実施され得る。概して、図9のマルチポイント環境における会議混合は、一次ソースフルビットレート時として1以上のエンドポイント900と、二次ソースより低いビットレート時として1以上のエンドポイント900を有するようにモデル化し得る、とはいえ追加階層レベルを提供し得る。このモデルに基づいて、所定のエンドポイント900は、一次ソースこの場合において、そのオーディオ信号はフルビットレートで好ましくは対処される又は二次ソースこの場合において、そのオーディオ信号はより低いビットレートで好ましくは対処されるが指定され得る。前記モデルによれば、各エンドポイント900A~900Cは、2つのソース状態、すなわち一次P又は二次Sの1つを有することができる。一次エンドポイント900は向上されたビットレートで送信されたそのオーディオ信号を有し、二次エンドポイント900はより低いビットレートで送信されたそのオーディオ信号を有する。更なる区別として、各エンドポイント900A~900Cは2つのトーク状態すなわち話中Tと話中でないNの1つを、そのソース状態P又はSに有することができる。言い換えれば、一次Pソース状態を有するエンドポイント900は、そのエンドポイント900、MCU950、あるいはその他のエンドポイントの会話活動検出器920により解析されたオーディオ信号に応じて、話中T又は話中でないNのいずれかのトーク状態を有することができる。同様に、二次Sソース状態を有するエンドポイント900は、話中T又は話中でないNのいずれかのトーク状態を有することができる。以下に詳述するように、エンドポイント900がオーディオ信号を送信していない場合には、第3のソース状態静寂Qが用いられ得る。前記モデルの追加機能として、エンドポイント900のソース指定は、そのエンドポイントのソース指定が変更されるべきか否かの決定に用いられ得る時間制限を有するかもしれない。あるエンドポイント900が一次ソースになるように指定された場合、例えば、前記エンドポイント900は時間T1一次滞留時間と呼ぶの間その決定に関与する。あるエンドポイント900が二次ソースになるように指定された場合、例えば、エンドポイント900は時間T2二次滞留時間と呼ぶの間その決定に関与する。これらの時間T1、T2は、会議制御プロトコルによりそれぞれ共通の値に設定され得るか、又は各エンドポイント900毎に独立に適応され得る例えば、他のエンドポイント900へのパス遅延を計算に入れるため。前記時間T1とT2が経過すると、前記エンドポイント900のソース状態は、後述するように、状況に応じて変更されることもあり得る。所定のこれら様々なソース状態、トーク状態、滞留時間、特定のエンドポイント900の会議ミキシングは、マルチウェイコール中に会議オーディオのダイナミクスに応じて、エンドポイント900及び/又はMCU950のネットワーク帯域幅と計算リソースを節約するために動的に対処し得る。変化しているオーディオ環境に対処するため、前記エンドポイント900及び/又はMCU950は、その環境において1以上のエンドポイント900の状態を比較するために、オーディオ信号を処理する方法すなわち、符号化、復号化、ビット剥落などを決定するために、利用可能な帯域幅と計算リソースを節約するために、様々なルールを用いる。様々なルールが、図10Aから図12Bに関連して以下に説明される。ルールを見る前に、どのようにしてあるエンドポイント例えば、900Aがマルチポイント環境においてスケーラブルオーディオを使用するかを示している図10Aの処理1000に最初に説明を移す。会議中にエンドポイント900Aがオーディオビットストリームを送信している又は受信している場合、該エンドポイント900Aは、その現在のソース状態、トーク状態、滞留時間を取得するブロック1002。前記エンドポイント900Aのこれらの値のいくつかはメモリに記憶されて定期的に更新され得る、あるいは会話活動検出器920でリアルタイムに動的に決定され得る。エンドポイント900Aは、マルチウェイコール内の他のエンドポイント例えば、900Bと900Cのソース状態とトーク状態を決定するブロック1004。これらの値もまたメモリに記憶されて定期的に更新され得る。そのうえ、他のエンドポイント900B~900Cの状態は、ネットワーク230を介して受信されたビットストリームで通信され得る、あるいは当該エンドポイント900Aの検出器920によって決定され得る。いずれにせよ、エンドポイント900Aは、いくつかのルール後述するに基づいて、様々な状態その状態と他のエンドポイント900B~900Cのそれらを含むとその滞留時間とを比較するブロック1006。その比較から、エンドポイント900Aは、1以上のそのソース及びトーク状態をマルチウェイコール内の現在の配置に応じて変更する必要があるかどうかを判定する決定1008。変更が必要なら、エンドポイント900Aは適用されたルールに従って1以上の状態を変更するブロック1010。状態が変更されたかどうかに関わらず、エンドポイント900Aは、オーディオ信号を処理符号化、復号化、ビット剥落などするように、そのスケーラブルオーディオコーデック910を使うことができる。コーデックのパラメータは、前記エンドポイントのソース状態及びトーク状態によって決定されるブロック1012。例えば、オーディオ信号を送信する場合、エンドポイント900Aは、もしそれが一次ソース又は二次ソースであればフルビットレートで符号化すること、もしそれが二次ソースであればフルビットレートで復号化しそれからビット剥落することなどできる。オーディオ信号を受信する場合、例えば、エンドポイント900Aは、もし送信エンドポイントが一次ソースであればフルビットレートで復号化すること、送信エンドポイント又はMCUによって既にビットが剥落されたオーディオ信号を復号化すること、もし送信エンドポイントが二次ソースであればビットを剥落し復号化することなどできる。最終的に、エンドポイント900Aは、会議内の他のエンドポイントに送信するためネットワークを介して前記符号化したオーディオ信号を送信する、又は前記エンドポイントにおいて出力用の前記復号化したオーディオ信号を出力する会議内の他のエンドポイントから受信する場合ブロック1014。図10bに示すように、マルチポイント環境においてスケーラブルオーディオを使用するためのMCU950の処理1020は、MCU950がそれ自身の状態などを決定する必要がないかもしれないことを除き、一エンドポイント900と大差ない。会議中に、MCU950は、マルチウェイコール内の様々なエンドポイント例えば、900A~900Cの現在のソース状態とトーク状態を取得するブロック1022。上述のように、エンドポイント900A~900Cの状態は、MCUの会話活動検出器920によって決定され得る又はネットワーク930を介して受信されるビットストリームで通信し得る。MCU950は、いくつかのルール以下で説明されるに基づいて様々な状態を比較するブロック1024。その比較から、MCU950は、1以上のエンドポイントのソース及びトーク状態をマルチウェイコール内の現在の配置に応じて変更する必要があるかどうかを判定する決定1026。変更が必要なら、MCU950は適用されたルールに従って1以上の状態を変更するブロック1028。MCU950は、会議オーディオの調整を担うかどうかを判定することができる決定1030、それは予め定められ得る又は状況に基づき決定され得る。調整を担う場合、MCU950は、エンドポイントのソース状態及びトーク状態によって決定されたコーデックのパラメータでオーディオ信号を調整するように、そのスケーラブルオーディオコーデック910を使うブロック1032。例えば、前記MCUのコーデック910は、あるエンドポイント900に転送する前に、より高い解像度の信号を復号化してより低い解像度で再符号化することができる、だがこれは好ましくないかもしれない。その代わりに、MCU950がそのエンドポイントのオーディオ信号の調整を担う場合、前記MCUのコーデック910は、あるエンドポイント900からの既に符号化されたビットストリームから好ましくはビットを剥落する。MCU950は次に、会議のエンドポイント900A~900Cに前記調整したオーディオ信号を送信するブロック1034。コーデック910を使うというよりむしろ、しかしながら、オーディオを調整するように意図されていない状況にあるMCU950は、エンドポイント900A~900Cに現在のオーディオ信号を単純に送信してもよくすなわち、既存のビットストリームを中継する、及びオーディオ信号自体を調整するようにエンドポイント900A~900Cに指示してもしなくてもよいブロック1034。どのようにしてスケーラブルオーディオがマルチポイント環境において用いられ得るかを理解したところで、エンドポイント900A~900Cが様々なソース状態及びトーク状態を有する場合に、会議中に適用され得る様々なルールのいくつかに説明を移す。図11A~11Dは、マルチポイント環境においてエンドポイントがそのソース状態を他のエンドポイントのソース状態と比較する場合のルールを示す。前記ルールは、会議内の一エンドポイント900又はMCU950により適用され得る。図11Aの1つのルールセットにおいて、マルチポイント環境において所定のエンドポイント例えば、900Aのソース状態と他のエンドポイント例えば、900B~900Cのソース状態が決定されるブロック1042。所定のエンドポイント自身のソース状態は記憶され得る。前記他のソース状態もまた記憶され得て、それら記憶された状態は会議中にビットストリームの一部として通信された現在の状態と比較され得る。これら他のエンドポイント900B~900Cの1つが変更された状態を有し得るので、前記他のエンドポイントの1つが新規の一次ソース状態Pを有するかどうかが決定されるブロック1044。もう1つの他のエンドポイント例えば、900Bがそのような新規の一次ソース状態Pを有するならば、所定のエンドポイント900Aは一次ソース状態Pにあるかどうかが判定され決定1046、所定のエンドポイントの一次滞留時間T1が経過したかどうかが判定される決定1048。両方ともが真である場合、所定のエンドポイント900Aは、二次ソース状態Sに変更されるブロック1050。言い換えれば、会議オーディオの一次ソース状態は、所定時間後に会議オーディオの二次ソース状態に戻る。このルールは、所定のエンドポイント900Aがまだ発言中の会話信号を有する限り、前記一次滞留時間T1をリセットし続けることにより補足され得る。図11Cを見てください。所定のエンドポイントの現在の状態を決定する場合、その現在の状態が二次ソース状態Sであることを代わりに判定してもよい決定1052。所定のエンドポイントの二次滞留時間T2が経過しており決定1054、またより多くの他のエンドポイント900B、900Cなどが一次ソース状態P又は二次Sソース状態にあるならば決定1056、所定のエンドポイント900Aのソース状態は静寂Qに変更されるブロック1058。これは基本的に、もはや発言中でないエンドポイントの動作を制御するルールのバリエーションである。図11Bのもう1つの他のルールセット1060において、マルチポイント環境において或る所与のエンドポイント例えば、900Aのソース状態と他のエンドポイント例えば、900B~900Cのソース状態が決定されるブロック1062。これら他のエンドポイント900B~900Cの1つは、変更された状態を有し得る。それ故、他のエンドポイントの1つが例えば、900B新規の二次ソース状態Sを有しているかどうかの判定が行われる決定1064。もしそうなら、対象エンドポイント900Aもまた二次ソース状態Sにあるかどうか決定1066、その二次滞留時間T2が経過したかどうか決定1068の確認が行われる。両方ともが真である場合、所定のエンドポイント900Aのソース状態は静寂ソース状態Sに変更されブロック1070、オーディオ信号を送信しないようにする。図11C~図11Dは、前記所与のエンドポイント900Aがまだ発言中の会話信号を有する限り、どのようにして先のルールセット1040と1060が、前記滞留時間T1とT2をリセットし続けることにより補足され得るかを、説明するルールセット1080を示す。図11C~図11Dの両図において、該所与のエンドポイント900Aに関して会話が検出されてブロック1082、そのタイマーがリセットされてブロック1084/1085、発言中の会話の到着が待たれる決定1086。最終的に、発言中の会話が検出されなければ、前記滞留時間T1とT2が経過する決定1088/1089。図11Cに示すように、前記所与のエンドポイントの一次滞留時間T1が満了するとき決定1088、該所与のエンドポイントの現在の状態が一次ソース状態Pであり決定1090、かつ、他のエンドポイントが一次ソース状態Pにあるブロック1092ならば、そのとき、該所与のエンドポイントは二次ソース状態Sになるブロック1094。つまり、一次話し手は所定時間後に二次話し手に戻る。図11Dに示すように、該所与のエンドポイントの二次滞留時間T2が満了するとき決定1089、該所与のエンドポイントの現在の状態が二次ソース状態Sであり、かつ、或る数よりも多くのエンドポイント900が一次ソース状態P又は二次ソース状態Sにあるならば決定1093、そのとき、所定のエンドポイント900は静寂状態Qになるブロック1095。言い換えれば、或る二次エンドポイント900Aが或る時間期間の間二次エンドポイントのままとなっており、かつ、或る選択された数の二次エンドポイント900B~900Cもまた送信していれば、該二次エンドポイント900Aは静寂状態になり得る。これは、一定のバックグラウンドが適切な会議環境を提供するのに必要であるからである。オーディオミックス内に二次エンドポイントを有さないことは、不自然に不毛な会議体験を提供し得るが、過度に多くを有することは、会議体験を付加せず、かつ、実際にそこから減らされ得る。図12A~図12Bは、エンドポイント900Aのソース状態が変更されるべきであるか変更されないべきであるかを決定し得るように、所定のエンドポイント例えば、900Aがそのトーク状態を変更する場合のルールセットを示す。図12Aのルールセット1200において、所定のエンドポイント例えば、900Aのトーク状態が決定されるブロック1202。この場合、ルールセット1200は、所定のエンドポイント900Aが話中でない状態Nから話中状態Tになったかどうかを判定する決定1204。もしそうなら、所定のエンドポイントの現在のソース状態が一次ソース状態Pであるかどうか、最初の確認が行われる決定1206ので、前記エンドポイント900Aは一次ソース状態Pにとどまることができる。言い換えれば、一次P話中Tエンドポイントは、その話者が話している限り、一次話中エンドポイントのままである。一次ソース状態Pにないならば、所定のエンドポイントの現在のソース状態が二次ソース状態Sであるかどうか決定1210、1乃至複数の前記現在の一次ソースは話中でない状態Nにあるかどうかブロック1212、別の確認が行われる。もしそうなら、所定のエンドポイント900Aはフルビットレートを用いて、二次ソース状態Sから一次ソース状態Pに変更される。言い換えれば、第1所定のエンドポイント900Aが二次Sエンドポイントとして動作しているが、第2のエンドポイント900Bが話すのを止めた後に話をし始めているならば、すぐに第1エンドポイント900Aは一次話し手P、Tになる。一次ソース状態又は二次ソース状態P又はSになければ、所定のエンドポイントの現在のソース状態が静寂Qであるかどうか決定1216の、最終的な確認が行われる。もしそうなら、エンドポイント900Aはフルビットレートを用いて、一次ソース状態Pに直接なることができる。したがって、所定のエンドポイント900Aは静かであったが話し始めているならば、それは一次話中エンドポイントになる。図12Bのルールセット1220において、所定のエンドポイント例えば、900Aのトーク状態が再び決定されるブロック1222。この場合、前記ルールセット1220は、所定のエンドポイント900Aが話中状態Tから話中でない状態Nになったかどうかを判定する決定1224。もしそうなら、所定のエンドポイントの現在のソース状態が一次ソース状態Pであるかどうか決定1226、その一次滞留時間T1が経過したかどうか決定1228、最初の確認が行われるので、所定のエンドポイント900Aが二次ソース状態Sになることができるブロック1230。言い換えれば、所定のエンドポイント900Aが話を止めて所定時間が経過したならば、エンドポイント900Aは一次話し手P、Tから二次話し手S、Tになる。前述した様々なルールセットのバリエーションにおいて、静寂ソース状態Qは除き得る、だから全てのエンドポイント900A~900Cは、一次ソース状態P又は二次ソース状態Sのいずれかにとどまる。このようなバリエーションにおいて、全てのソース900A~900Cは総合的な信号を提供するように混合され得るか、MCU950はエンドポイント900A~900Cによって転送しその後ミキシングする特定の信号だけを選択し得る。いくつかのルールセットが上述されたけれども、ここで開示したスケーラブルオーディオ技術に基づき、計算リソースを減らし帯域幅を節約するように、これらと他のルールが会議のエンドポイント900とMCU950によって適用され得ることを理解すべきである。本開示のスケーラブルオーディオコーデックを会議システムのエンドポイントつまり端末で使用するための説明を行ってきた。しかし、開示のスケーラブルオーディオコーデックは、エンドポイント、端末、ルータ、カンファレンスブリッジ等の各種の会議システムのコンポーネントで使用することができる。これらのそれぞれにおいて、本開示のスケーラブルオーディオコーデックは、帯域幅、計算、およびメモリーリソースを節約できる。同様に、本開示のオーディオコーデックは、短い待ち時間および少ないアーチファクト作為という点でオーディオ品質を改善することができる。本開示の技法は、デジタル電子回路もしくはコンピューターハードウエア、ファームウエア、ソフトウエア、またはこれらの組合せに実装することができる。これらの技法を実施する装置は、プログラマブルプロセッサが実行するためのマシン読取り可能な格納装置へ具体的に実装されるコンピュータープログラム製品に実装でき、開示する技法の方法ステップは、命令プログラムを実行するプログラマブルプロセッサにより実行されて、入力データ上で動作し、出力を生成することにより開示する技法の機能を実行できる。適切なプロセッサには、例示に過ぎないが、汎用および専用の両方のマイクロプロセッサが含まれる。概して、プロセッサは、命令とリードオンリーメモリおよび/またはランダムアクセスメモリからのデータとを受け取る。概して、コンピュータにはデータファイルを格納するための1つ以上の大容量記憶装置が含まれ、そのような装置には、内蔵ハードディスクおよびリムーバブルディスクのような磁気ディスク;光磁気ディスク;および光ディスクが含まれる。コンピュータープログラム命令およびデータを具体的に実装するために適した格納装置には、例示にすぎないが、EPROM、EEPROM、およびフラッシュメモリデバイス等の半導体メモリーデバイス;内蔵ハードディスクおよびリムーバブルディスク等の磁気ディスク;光磁気ディスク;およびCD-ROMディスクを含むあらゆる形式の不揮発メモリが含まれる。上記の内の何れかは、ASIC特定用途向け集積回路により補完されるか、またはASICに組み込むことができる。好適な実施の形態および他の実施の形態についての上記説明は、出願人が着想した本発明の概念の範囲または用途を制限または限定するものではない。本明細書に含まれる発明概念を開示する代わりに、本出願人は付帯する特許請求の範囲により付与される全ての特許権を希求する。従って、付帯する特許請求の範囲は、以下の請求項またはその均等物の範囲内にある限りにおいて、あらゆる変形および代替が含まれるものとする。"