(57)【特許請求の範囲】
【請求項１】
媒体信号を符号化するスケーラブルエンコーダ（１００）であって、
前記媒体信号（１０１）に関係するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム（１０２）、を生成する第１符号化手段（２１０）と、
前記媒体信号に関係する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム（１０３）、を生成する第２符号化手段（２３０）と、
少なくとも前記第１データストリームと前記第２データストリームとを組み合わせて第３データストリーム（１０４）にするマルチプレクサ（１１０）と、
制御情報（４０１）を受信し、前記制御情報に従って前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートとの好適な比率を決定し、かつ前記第１データストリームおよび前記第２データストリームを調節することによって前記好適な比率を維持するように構成された制御手段（４２０、４２１、４２２）と、を備え、
前記第１符合化手段および前記第２符号化手段の少なくとも１つが一組の利用可能な符号化アルゴリズムを備えるマルチレート符号化手段であり、
前記制御手段が、前記第１符合化手段および前記第２符号化手段のうちの１つによって生成された少なくとも前記データストリームに関する目標ビットレートを決定する手段（６０２）と、前記一組の符号化アルゴリズムの中の符号化アルゴリズムを選択し、前記選択された前記符号化アルゴリズムを前記第１符合化手段および前記第２符号化手段のうちの１つに指示する手段であって、前記第１符合化手段および前記第２符号化手段のうちの１つは前記指示された符号化アルゴリズムを使用するように構成されている手段（７０１、９０１）と、を有することを特徴とするスケーラブルエンコーダ。
【請求項２】
前記第１符合化手段および前記第２符号化手段の少なくとも１つが可変レート符号化手段であることを特徴とする請求項１に記載のスケーラブルエンコーダ。
【請求項３】
前記制御手段が、前記第１符合化手段および前記第２符号化手段のうちの１つによって生成される少なくとも前記データストリームに関する目標ビットレートを決定する手段（６０２、８０２）を備え、前記データストリームのビットレートを調節するように構成されていることを特徴とする請求項２に記載のスケーラブルエンコーダ。
【請求項４】
前記制御手段がフィードバックループ（６０１、８０１）と比較手段とコントローラユニット（６０３、８０３）とをさらに備え、
前記フィードバックループは、前記データストリームの現実予測ビットレートに関する情報を前記比較手段へ転送するように構成され、
前記データストリームの前記現実予測ビットレートと目標ビットレートとの間の差を計算しかつ前記計算された差を前記コントローラユニットへ供給するように構成された前記比較手段に、前記目標ビットレートが供給され、
前記計算された差の受信に対する応答として前記第１符合化手段および前記第２符号化手段のうちの１つに制御信号を出力するように前記コントローラユニットが構成され、かつ、
前記第１符合化手段および前記第２符号化手段のうちの１つが、前記コントローラユニットから受信した前記制御信号に従って前記データストリームのビットレートを調節するように構成されることを特徴とする請求項２に記載のスケーラブルエンコーダ。
【請求項５】
前記第１符合化手段および前記第２符号化手段のうちの１つが、前記制御信号に従って前記媒体信号を表す係数の量子化を調節するように構成されることを特徴とする請求項４に記載のスケーラブルエンコーダ。
【請求項６】
前記第１符合化手段および前記第２符号化手段のうちの１つが一可変レート音声エンコーダである前記第１符号化手段であることを特徴とする請求項４に記載のスケーラブルエンコーダ。
【請求項７】
前記第１符合化手段および前記第２符号化手段のうちの１つが一可変レートオーディオエンコーダである前記第２符号化手段であることを特徴とする請求項４に記載のスケーラブルエンコーダ。
【請求項８】
前記媒体信号に関するビットレートを前記制御信号に従って決定するように前記可変レートオーディオエンコーダが構成されることを特徴とする請求項７に記載のスケーラブルエンコーダ。
【請求項９】
符号化アルゴリズムを選択する前記手段がレート決定手段（９０１）を備えることを特徴とする請求項１に記載のスケーラブルエンコーダ。
【請求項１０】
前記第１符合化手段および前記第２符号化手段のうちの１つがマルチレート音声エンコーダである前記第１符号化手段であることを特徴とする請求項１に記載のスケーラブルエンコーダ。
【請求項１１】
媒体信号を符号化するスケーラブルエンコーダ（１００）であって、
前記媒体信号（１０１）に関係するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム（１０２）、を生成する第１符号化手段（２１０）と、
前記媒体信号に関係する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム（１０３）、を生成する第２符号化手段（２３０）と、
少なくとも前記第１データストリームと前記第２データストリームとを組み合わせて第３データストリーム（１０４）にするマルチプレクサ（１１０）と、
制御情報（４０１）を受信し、前記制御情報に従って前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートとの好適な比率を決定し、かつ前記第１データストリームおよび前記第２データストリームを調節することによって前記好適な比率を維持するように構成された制御手段（４２０、４２１、４２２）と、
前記第１データストリームに関する第１目標ビットレートと前記第２データストリームに関する第２目標ビットレートとを前記制御情報に従って連帯的に決定する手段（６０２、８０２）と、
伝送に関する前記マルチプレクサからのデータを記憶するマルチプレクサバッファ（５２０）と、を備え、
前記マルチプレクサバッファの占有レベルを指示する制御情報（４０１ｂ）を送出する制御手段へ前記マルチプレクサバッファが接続され、前記占有レベルが前記マルチプレクサバッファに記憶されているデータの現行量を示し、
前記第１データストリームに関する第１目標ビットレートと前記第２データストリームに関する第２目標ビットレートとを連帯的に決定する手段（６０２、８０２）が、前記バッファの前記占有レベルがある特定の第１しきい値より下である限り前記目標ビットレートの前記比率が実質的に一定であるように前記目標ビットレートを調節するように構成されることを特徴とするスケーラブルエンコーダ。
【請求項１２】
前記制御手段が前記第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を示す制御情報（４０１ａ）を受信するように構成されることを特徴とする請求項１〜１１のいずれか一項に記載のスケーラブルエンコーダ。
【請求項１３】
前記第１データストリームの前記目標ビットレートと前記第２データストリームの前記目標ビットレートとの好適な比率を決定するために前記第１データストリームおよび第２データストリームの好適な組み合わせを示す前記制御情報が用いられることを特徴とする請求項１２に記載のスケーラブルエンコーダ。
【請求項１４】
前記スケーラブルエンコーダは、前記第１データストリームを復号済み信号に復号化する復号手段をさらに備え、
前記第２符号化手段が前記媒体信号と前記復号済み信号との間の差である差信号を符号化するように構成され、前記第２符号化手段が前記第２ビットレートをもつ前記第２データストリームを生成することを特徴とする請求項１〜１３のいずれか一項に記載のスケーラブルエンコーダ。
【請求項１５】
前記第１符号化手段が音声エンコーダであり、前記第２符号化手段がオーディオエンコーダであることを特徴とする請求項１４に記載のスケーラブルエンコーダ。
【請求項１６】
前記音声エンコーダがマルチレート音声エンコーダであり、前記オーディオエンコーダが可変レートオーディオエンコーダであることを特徴とする請求項１５に記載のスケーラブルエンコーダ。
【請求項１７】
前記音声エンコーダが可変レート音声エンコーダであり、前記オーディオエンコーダが可変レートオーディオエンコーダであることを特徴とする請求項１５に記載のスケーラブルエンコーダ。
【請求項１８】
前記第１符号化手段が基底レイヤビデオ符号化手段であり、前記第２エンコーダが少なくとも１つのエンハンスメントレイヤビデオ符号化手段を備えることを特徴とする請求項１に記載のスケーラブルエンコーダ。
【請求項１９】
第２媒体信号に対応するコアデータストリームであり、かつ第４ビットレートをもつ第４データストリーム、を生成する第３符号化手段と、
前記第２媒体信号に対応する一組のエンハンスメントデータストリームを備え、かつ第５ビットレートをもつ第５データストリーム、を生成する第４符号化手段と、をさらに備え、
前記マルチプレクサが少なくとも前記第１データストリームと前記第２データストリームと前記第４データストリームと前記第５データストリームとを組み合わせて第３データストリームにするように構成され、前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートと前記第４データストリームのビットレートと前記第５データストリームのビットレートとの好適な比率を前記制御情報に従って決定し、かつ前記第３データストリームにおける前記データストリームを調節することによって前記好適な比率を維持するように前記制御手段が構成されることを特徴とする請求項１〜１８のいずれか一項に記載のスケーラブルエンコーダ。
【請求項２０】
スケーラブルエンコーダを備えるマルチメディア端末（２０）であって、前記スケーラブルエンコーダにおいて、
媒体信号（１０１）に関係するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム（１０２）、を生成する第１符号化手段（２１０）と、
前記媒体信号に関係する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム（１０３）、を生成する第２符号化手段（２３０）と、
少なくとも前記第１データストリームおよび前記第２データストリームを組み合わせて第３データストリームにするマルチプレクサ（１１０）と、
制御情報（４０１）を受信し、前記制御情報に従って前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートとの好適な比率を決定し、かつ前記第１データストリームと前記第２データストリームとを調節することによって前記好適な比率を維持するように構成された制御手段（４２０、４２１、４２２）と、
前記第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を示す優先情報を入力する入力エレメント（５１０）と、を備え、
前記優先情報が制御情報として前記制御手段へ送出されることを特徴とするマルチメディア端末。
【請求項２１】
前記入力エレメントが前記マルチメディア端末のユーザインタフェースの一部を構成することを特徴とする請求項２０に記載のマルチメディア端末。
【請求項２２】
前記ユーザインタフェースがスライドスイッチを備えることを特徴とする請求項２１に記載のマルチメディア端末。
【請求項２３】
前記入力エレメントが外部制御情報を受信するように構成されることを特徴とする請求項２０に記載のマルチメディア端末。
【請求項２４】
前記入力エレメントが通信ネットワークから制御情報を受信するように構成されることを特徴とする請求項２３に記載のマルチメディア端末。
【請求項２５】
前記入力エレメントが第２マルチメディア端末から制御情報を受信するように構成されることを特徴とする請求項２３に記載のマルチメディア端末。
【請求項２６】
請求項２０〜２５のいずれか一項に記載のマルチメディア端末（１３００）であって、移動通信ネットワークの移動局であることを特徴とするマルチメディア端末。
【請求項２７】
前記マルチメディア端末がＨ．３２４マルチメディア端末であることを特徴とする請求項２０〜２５のいずれか一項に記載のマルチメディア端末。
【請求項２８】
媒体信号のスケーラブル符号化方法であって、前記方法において、
前記媒体信号に対応するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリームへ、前記媒体信号を符号化するステップと、
前記媒体信号に対応する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリームへ、前記媒体信号を符号化するステップと、
少なくとも前記第１データストリームおよび前記第２データストリームを多重化して第３データストリームにするステップと、を備えるスケーラブル符合化方法において、
制御情報を受信するステップ（１００１、１００３）と、
前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートとの好適な比率を前記制御情報に従って決定するステップ（１００２、１００５、１００７）と、
前記第１データストリームと前記第２データストリームとを調節することによって前記好適な比率を維持するステップ（１０１０）と、
前記第１データストリームの目標ビットレートと前記第２データストリームの目標ビットレートとに関する好ましい比率を前記制御情報に従って決定するステップと、
前記目標ビットレートを連帯的に決定するステップと、
前記第３データストリームをバッファに供給するステップと、
前記バッファの占有レベルを決定するステップと、を備え、
前記バッファの占有レベルがある特定の第１しきい値（Ｔ２）よりも下である時には、前記目標ビットレートの比率が実質的に前記好ましい比率であり、
前記バッファの占有レベルがある特定の第２しきい値（Ｔ１）よりも下である時には、前記第１データストリームに関する前記目標ビットレートが前記媒体信号の内容より決定される選択係数値に基づいて選択される、ことを特徴とするスケーラブル符合化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は一般に媒体ストリームの符号化に関する。特に、本発明はスケーラブル符号化方法およびスケーラブルエンコーダに関する。
【０００２】
【従来の技術】
一般に媒体ストリームは、例えば通信網を介して伝送され、または、さらなる使用のために記憶される以前に、符号化、すなわち、圧縮される。媒体ストリームは、例えば、一連のビデオフレームであるビデオクリップ、あるいは、一般にディジタル化された音声もしくは音楽であるオーディオクリップであってもよい。例えば、マルチメディアに適用する場合、いくつかの媒体ストリームが同時に伝送され得る。
【０００３】
適当なデコーダを用いて、符号化済み媒体ストリームから、符号化された元の媒体ストリームに類似するかもしくは正確に同じである、復号された媒体ストリームを生成することが可能である。復号化済み媒体ストリームが元の媒体ストリームと同じであるならば、符号化は無損失である。しかし、大抵の符号化方法は符号化される媒体ストリームに対して損失を生じさせる。
【０００４】
用語「スケーラビリティ」は、媒体ストリームを種々のデータレートにおいて復号化可能な圧縮されたストリームに符号化することを意味する。一般に符号化済みデータストリームの一部分は、復号化することによって元の媒体ストリームの知覚的品質より不良の知覚的品質をもつ復号化済み媒体ストリームを生成するコアデータストリームである。符号化済みデータストリームはさらに他のエンハンスメントデータストリームを備え、これらのエンハンスメントデータストリームがコアデータストリームに加えて復号化処理に用いられると、復号化済み媒体ストリームの知覚的品質が高められる。スケーラブルマルチメディアストリームはこれらのコアおよびエンハンスメントストリームを有するので、比較的容易に操作可能であり、同時に、種々の帯域幅をもつ回線全体にわたってストリーム化可能であり、依然として復号化可能であり、さらにリアルタイムにプレイバック可能であるように圧縮される。
【０００５】
スケーラビリティは、異成分から成り立ち、かつエラーを生じ易い環境に関して望ましい特質である。スケーラビリティは、伝送ビットレート、ネットワークのスループット、および、デコーダの複雑さに関する拘束条件のような限定条件に対処するために望ましい。マルチキャストもしくはブロードキャスト伝送においては、例えば、スケーラブル符号化は様々な受信機が種々のデータレートにおいてデータを受信すること、または、伝送された符号化済みデータストリームを共通コアデコーダを備えた種々のデコーダを用いて復号化することを可能にする。さらに、スケーラビリティは移送システムにおけるエラー許容力を改良するために用いられる。この場合、スケーラブル符号化は移送優先順位化（ｔｒａｎｓｐｏｒｔ  ｐｒｉｏｒｉｔｉｓａｔｉｏｎ）と組合わされる。ここに、用語「移送優先順位化（ｔｒａｎｓｐｏｒｔ  ｐｒｉｏｒｉｔｉｓａｔｉｏｎ）」は、種々のエラー／損失比率を有する種々のチャネルを提供するために、移送において同等でないエラー保護措置を含む種々の品質のサービスを提供するための様々なメカニズムを意味する。データは、それらの性質に応じて、例えば、符号化済みコアデータストリームは高度のエラー保護措置を備えたチャネルを介して送出され、また、エンハンスメントデータストリームはより多くのエラーを生じ易いチャネルを介して伝送されるように、一様でなく割り当てられる。
【０００６】
図１は、スケーラブルエンコーダ１００および対応するデコーダ１３０を概略的に呈示する。媒体ストリーム１０１は、コアデータストリーム１０２およびエンハンスメントデータストリーム１０３を生成するスケーラブルエンコーダ１００に入力される。一般に、これらのデータストリームは、符号化されたスケーラブルデータストリーム１０４を生成するマルチプレクサ１１０に供給される。次に、この多重化されたデータストリームは、例えば、さらに伝送され、または、さらなる使用のために記憶される。復号化に際して、符号化済みスケーラブルデータストリーム１０４はデマルチプレックサ１２０においてコアデータストリーム１０２および可能なエンハンスメントデータストリーム１０３に逆多重化される。例えば、エンハンスメントデータストリームは、例えば伝送資源が限定されているので、受信したデータストリーム１０４内には存在しないことが可能である。デコーダ１３０は、入力として、コアデータストリーム１０２およびエンハンスメントデータストリーム１０３を取り、復号化済みオーディオ信号１０５を生成する。復号化済みオーディオ信号１０５の知覚的品質は、一般に、復号化にエンハンスメントデータストリーム１０３が用いられるかどうかに依存する。ある特定のデコーダは特定のエンハンスメントデータストリームを利用できないが、それでもなお、コアデータストリーム１０２を復号化することが可能であることもあり得る。
【０００７】
図２は、一般に音声および／または他のオーディオ信号を含むマルチメディアオーディオストリームを符号化するためのスケーラブルオーディオエンコーダの一例を概略的に示す。スケーラブルエンコーダ２００は、例えば音声を符号化するために特に設計されたコアエンコーダ２１０を含む。このエンコーダは、例えば、４．７５〜１２．２ｋｂｉｔ／ｓ間の公称レートにおいて作動する様々なモデムを有する３ＧＰＰＡＭＲ（適応マルチレート）音声エンコーダであってもよい。スケーラブルエンコーダ２００は、さらに、一般的なオーディオストリームを符号化するために設計されたエンハンスメントエンコーダ２３０を含む。エンハンスメントエンコーダは、例えば、ＭＰＥＧ−４  ＡＡＣオーディオエンコーダによって構成されてもよい。コアエンコーダ２１０は、オーディオストリーム１０１からコアデータストリーム１０２を生成する。コアデータストリーム１０２は、コアデータストリームを復号化し、復号化済みコアデータストリーム２０１を生成するコアデコーダ２２０に供給される。差ストリーム２０２は、元のオーディオストリーム１０１と復号化済みコアデータストリーム２０１との間の差であり、元のオーディオストリーム１０１と共にエンハンスメントエンコーダ２３０に供給される。元のオーディオストリーム１０１は、一般に量子化器ビット割当用心理音響学的モデルを決定するためにエンハンスメントエンコーダ２３０に必要とされる。エンハンスメントエンコーダ２３０はエンハンスメントデータストリーム１０３を生成する。コアデータストリーム１０２およびエンハンスメントデータストリーム１０３はマルチプレクサ１１０において符号化済みスケーラブルデータストリーム１０４に多重化される。図２はコアおよびエンハンスメントエンコーダの出力バッファであるコアバッファ２４０およびエンハンスメントバッファ２５０を示す。
【０００８】
図３は、スケーラブルエンコーダ２００に対応するデコーダ３００を概略的に示す。符号化済みスケーラブルデータストリーム１０４は、コアデコーダ２２０に供給されるコアデータストリーム１０２と、エンハンスメントデコーダ３１０に供給されるエンハンスメントデータストリーム１０３と、に逆多重化される。コアデコーダ２２０は、一般に、スケーラブルエンコーダ２００内に所在するエンコーダに類似し、復号化されたコアデータストリーム２０１を生成する。エンハンスメントデコーダ３１０は、復号化済みコアデータストリーム２０１と組合わされる復号化済みエンハンスメントデータストリーム３０１を生成する。結果として復号化済みオーディオ信号１０５が得られる。
【０００９】
【発明が解決しようとする課題】
一般に、ただし必須条件としてではないが、コア音声エンコーダは、エンハンスメントオーディオエンコーダより低いビットレートおよびサンプリング周波数で動作する。コアエンコーダおよびエンハンスメントエンコーダの各サンプリングレートは、どのエンコーダが使用されるかに応じて、同じであるかもしくは異なる。通常、符号化済みエンハンスメントデータストリームは、さらに高い帯域幅信号成分を加えることによって合成された信号の知覚的品質を改良する。
【００１０】
スケーラブルオーディオマルチメディアエンコーダにおいて、コア音声エンコーダは、多くの場合に音声アクティビティ検出（Ｖｏｉｃｅ  ＡｃｔｉｖｉｔｙＤｅｔｅｃｔｉｏｎ：ＶＡＤ）および非連続伝送（Ｄｉｓｃｏｎｔｉｎｕｏｕｓ  Ｔｒａｎｓｍｉｓｓｉｏｎ：ＤＴＸ）を使用して、一般に一定ビットレートで作動する。他方、エンハンスメントレイヤエンコーダは、一般に、可変レートで作動する。コアおよびエンハンスメントエンコーダに関する目標ビットレートは、一般に、伝送チャネルの伝送レートに基づいて独立的に調節される。伝送レートは一般に公称伝送レートである。符号化済みスケーラブルデータストリームを伝送可能にするためには、このデータストリームのビットレートは、もちろん平均値として、利用可能な伝送レート未満でなくてはならない。
【００１１】
符号化アルゴリズムがマルチメディアデータを効果的に圧縮する場合であっても、特に無線インタフェース全体にわたって作動する端末における処理の制限要因は伝送容量であり、従って、この限定された資源の使用を最適化することは非常に重要である。一般的に、スケーラブルマルチメディア符号化は、非スケーラブル符号化よりも圧縮効率が悪いことが難点である。換言すれば、全てのエンハンスメントレイヤを用いるスケーラブルマルチメディアクリップとして符号化されたマルチメディアクリップは、等価知覚的品質をもつ非スケーラブル単一レイヤクリップとして符号化されるよりも更に大きい帯域幅を必要とする。スケーラブル符号化の使用は、多数の利点をもつので、高度に望ましいことであり、従って、利用可能な伝送容量のさらに効率的な使用を可能にする方法が実行可能であるならば、有利であるといえる。
【００１２】
伝送されるべきコアおよびエンハンスメントデータはマルチプレクサバッファに一時的に記憶され、伝送されるべきデータチャンクは、例えば周期的に、そこから抽出される。一般に、最も古いデータはマルチプレクサバッファから抽出され、コアデータストリームとエンハンスメントデータストリームとのビットレートの比率は、伝送されるデータフローにおける、コアデータストリームとエンハンスメントデータストリームとの比率を決定する。この場合、例えば、可変レートオーディオエンコーダは、データバーストの伝送がコア音声データの伝送に遅延ジッタを引き起こす程大きいデータのバーストを生成することがあり得る。その代りに、コアデータストリームを伝送するためには使用されない伝送容量を用いてエンハンスメントデータストリームが伝送されるように、コア（音声）データを優先させることが可能である。このような方法において、コアデータストリームが適切に伝送されることをさらに良好に保証することが可能である。
【００１３】
マルチプレクサバッファ内の利用可能な空間は、コアおよびエンハンスメントデータビットレートの和に等価な全ビットレートにおいて、データはマルチプレクサバッファへ挿入される時のコアおよびエンハンスメントデータストリームのビットレートならびにデータがマルチプレクサバッファから抽出される伝送ビットレートによって決定される。マルチプレクサバッファはある特定のサイズである。一般に、コアおよびエンハンスメントデータストリームの少なくとも１つのレートは可変であり、したがって、データバーストは、残りのマルチプレクサバッファ空間を満たすか、あるいは、バッファ内に完全には記憶され得ないこともある。この状況はマルチプレクサバッファオーバフローと呼ばれる。瞬間的伝送レートの動的変化は、マルチプレクサバッファオーバフローを引き起こす可能性のある原因の別の例である。ある時間中、伝送レートが減少した場合には、データは、しばらくの間、更に小さいレートにおいて、マルチプレクサバッファから抽出され、マルチプレクサバッファの占有率は増大し、おそらく、マルチプレクサバッファはオーバフローすることになる。この種の状況において、さらにデータバーストがある場合には、マルチプレクサバッファがオーバフローする危険性はさらに増加する。さらに大きいマルチプレクサバッファを用いることによってマルチプレクサバッファがオーバフローする問題を克服しようと試みることは可能であるが、この方法では一般に伝送遅延の増大することになる。さらに、大部分の時間中は余分の空間は必要ではないので、大きいバッファは問題の解決には非能率的な方法である。
【００１４】
本発明の目的は、マルチメディアデータストリームの、汎用性の高いスケーラブル符号化方法、スケーラブルエンコーダ、ならびに、スケーラブルエンコーダを有するマルチメディア端末を提供することにある。本発明のさらなる目的は、マルチプレクサバッファオーバフロー危険の大幅減少が可能であるスケーラブル符号化方法、スケーラブルエンコーダ、ならびに、スケーラブルエンコーダを有するマルチメディア端末を提供することにある。さらなる目的は、符号化済みスケーラブルデータストリームは、種々の、かつダイナミックに変化する状況に適合するように調節可能であるスケーラブル符号化方法、スケーラブルエンコーダ、および、スケーラブルエンコーダを備えたマルチメディア端末を提供することにある。
【００１５】
【課題を解決するための手段】
本発明のこれらおよびさらなる目的は、コアデータストリームとエンハンスメントデータストリームとに関する目標ビットレートの比率を決定すること、ならびに、伝送レートが許す限り、この比率が実質的に維持される方法において、コアデータストリームおよびエンハンスメントデータストリームを調節することによって達成される。
【００１６】
本発明によるスケーラブルエンコーダは媒体信号を符号化するためのエンコーダであり、
媒体信号に関するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム、を生成するための第１符号化手段と、
媒体信号に関する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム、を生成するための第２符号化手段と、
少なくとも第１データストリームと第２データストリームとを組み合わせて第３データストリームにするマルチプレクサと、を備え、ここにおいて、制御情報を受信し、制御情報に従って第３データストリームにおける第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を決定し、かつ第１データストリームと第２データストリームとを調節することによって好適な比率を維持するように構成される制御手段と、を備え、
前記第１符合化手段および前記第２符号化手段の少なくとも１つが一組の利用可能な符号化アルゴリズムを備えるマルチレート符号化手段であり、
前記制御手段が、前記第１符合化手段および前記第２符号化手段のうちの１つによって生成された少なくとも前記データストリームに関する目標ビットレートを決定する手段と、前記一組の符号化アルゴリズムの中の符号化アルゴリズムを選択し、前記選択された前記符号化アルゴリズムを前記第１符合化手段および前記第２符号化手段のうちの１つに指示する手段であって、前記第１符合化手段および前記第２符号化手段のうちの１つは前記指示された符号化アルゴリズムを使用するように構成されている手段と、を有することを特徴とする。
さらに、本発明による他のスケーラブルエンコーダは、媒体信号を符号化するスケーラブルエンコーダであって、
前記媒体信号に関係するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム、を生成する第１符号化手段と、
前記媒体信号に関係する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム、を生成する第２符号化手段と、
少なくとも前記第１データストリームと前記第２データストリームとを組み合わせて第３データストリームにするマルチプレクサと、
制御情報を受信し、前記制御情報に従って前記第３データストリームにおける前記第１データストリームのビットレートと前記第２データストリームのビットレートとの好適な比率を決定し、かつ前記第１データストリームおよび前記第２データストリームを調節することによって前記好適な比率を維持するように構成された制御手段と、
前記第１データストリームに関する第１目標ビットレートと前記第２データストリームに関する第２目標ビットレートとを前記制御情報に従って連帯的に決定する手段と、
伝送に関する前記マルチプレクサからのデータを記憶するマルチプレクサバッファと、を備え、
前記マルチプレクサバッファの占有レベルを指示する制御情報を送出する制御手段へ前記マルチプレクサバッファが接続され、前記占有レベルが前記マルチプレクサバッファに記憶されているデータの現行量を示し、
前記第１データストリームに関する第１目標ビットレートと前記第２データストリームに関する第２目標ビットレートとを連帯的に決定する手段が、前記バッファの前記占有レベルがある特定の第１しきい値より下である限り前記目標ビットレートの前記比率が実質的に一定であるように前記目標ビットレートを調節するように構成されることを特徴とする。
【００１７】
本発明によるマルチメディア端末は、媒体信号に関係するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリーム、を生成するための第１符号化手段を含むスケーラブルエンコーダと、媒体ストリームに関係する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリーム、を生成するための第２符号化手段と、少なくとも第１データストリームと第２データストリームとを組み合わせて第３データストリームにするマルチプレクサと、制御情報を受信し、制御情報に従って第３データストリームにおける第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を決定し、かつ第１データストリームと第２データストリームとを調節することによって好適な比率を維持するように構成される制御手段と、前記第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を示す優先情報を入力する入力エレメントと、を備え、前記優先情報が制御情報として前記制御手段へ送出されることを特徴とする。
【００１８】
本発明は媒体信号をスケーラブル符号化するための方法にも関し、
媒体信号に対応するコアデータストリームであり、かつ第１ビットレートをもつ第１データストリームへ、媒体信号を符号化するステップと、
媒体信号に対応する一組のエンハンスメントデータストリームを備え、かつ第２ビットレートをもつ第２データストリームへ、媒体信号を符号化するステップと、
少なくとも第１データストリームと第２データストリームとを多重化して第３データストリームにするステップと、
制御情報を受信するステップと、
第３データストリームにおける第１データストリームのビットレートと第２データストリームのビットレートとの好適な比率を制御情報に従って決定するステップと、
第１データストリームと第２データストリームとを調節することによって好適な比率を維持するステップと、
前記第１データストリームの目標ビットレートと前記第２データストリームの目標ビットレートとに関する好ましい比率を前記制御情報に従って決定するステップと、
前記目標ビットレートを連帯的に決定するステップと、
前記第３データストリームをバッファに供給するステップと、
前記バッファの占有レベルを決定するステップと、を備え、
前記バッファの占有レベルがある特定の第１しきい値よりも下である時には、前記目標ビットレートの比率が実質的に前記好ましい比率であり、
前記バッファの占有レベルがある特定の第２しきい値よりも下である時には、前記第１データストリームに関する前記目標ビットレートが前記媒体信号の内容より決定される選択係数値に基づいて選択される、ことを特徴とする。
【００１９】
ここに、用語「制御情報」は、組合わされた符号化済みデータストリームにおけるコアデータストリームとエンハンスメントデータストリームとの目標組合わせ決定に際して用いられる情報を意味する。伝送レートおよびコア（第１）およびエンハンスメント（第２）データストリームのビットレートにおける可能性のある変化は、マルチプレクサバッファの占有率に変化を生じさせる。従って、マルチプレクサバッファの占有率を示す情報は、コアおよびエンハンスメントストリームに関する目標ビットレートを決定するためのフィードバック制御を提供するために用いられる制御情報の一例である。制御情報の他の例は、例えば、コアデータストリームとエンハンスメントデータストリームとの組合わせに関係するユーザ優位性である。ユーザ優位性情報は送信、および／または、受信ユーザ／端末から発信可能である。
【００２０】
本発明における主要な着想の１つは、コアデータストリームおよびエンハンスメントデータストリームに関する目標ビットレートを独立して調節する代わりに、これらのデータストリームに関する適当な組合わせを連帯的に決定することである。例えばマルチプレクサバッファ占有率情報を用いてデータストリームを制御することにより、スケーラブルエンコーダの動作は現行目的、および、例えば伝送チャネル状態に調節可能である。また、限定された伝送容量は解決方法と比較してさらに適切に用いられる。この場合、エンハンスメントデータストリームのビットレートのみが調節されるか、または、コアおよびエンハンスメントデータストリームのビットレートが独立して調節される。
【００２１】
さらに、コアおよびエンハンスメント両データストリームのビットレートが連帯的に調節される時には、ビットレート間において所与の比率を維持することが可能である。他方、例えば、ユーザがオーディオよりも音声の方を好む場合には、オーディオストリームのビットレートを著しく減少させ、かつ伝送された音声の知覚品質を維持しようと試みることが可能である。従って、汎用性の高いスケーラブル符号化は、本発明を適用することによって可能である。本発明に従って媒体ストリームを符号化する時には、コアもしくはエンハンスメントデータストリームのどちらかあるいは両方のビットレートが調節可能であり、従って、利用可能な伝送容量はさらに徹底的に（余すところなく）使用可能である。コアおよびエンハンスメントデータストリームのこの連帯的な制御により、マルチプレクサバッファのオーバフローの危険性も減少され、その結果として、最適の場合においては、バッファ空間全体を減少させることが可能であり、それによって、伝送遅延も減少可能である。マルチプレクサバッファにおいて極く限られた量の利用可能空間のみが存在する状況において、本発明に従い、例えば、エンハンスメントデータストリームのビットレートのみを減少させる代わりに、コアおよびエンハンスメントの両データストリームのビットレートを減少させることが可能である。
【００２２】
スケーラブルエンコーダは一組のエンハンスメントデータストリームを生成可能である。この場合、一組のエンハンスメントデータストリームを形成するコアデータストリームおよびエンハンスメントデータストリームは符号化されたスケーラブルデータストリームへ多重化される。例えば、マルチプレクサバッファの占有率がある特定のしきい値および／または各エンハンスメントデータに割当てられたビットレートよりも大きい時には、エンハンスメントデータストリームの数量が調節可能である。各エンハンスメントデータストリームに割当てられたビットレートは独立して調節可能であるか、あるいは、例えば、各エンハンスメントデータストリームに割当てられたビットレートは同様の方法で調節可能である。
【００２３】
本発明によるスケーラブルエンコーダは符号化構成の一部分であり得る。この場合、例えば、オーディオ信号およびビデオ信号の両方が符号化される。この種の符号化構成は、例えば、２つのスケーラブルエンコーダ（１つはオーディオ信号用、１つはビデオ信号用）、あるいは、１つの非スケーラブルエンコーダおよび１つのスケーラブルエンコーダを備える。
【００２４】
添付されている従属請求項は本発明のいくつかの好適な実施形態について記述する。
【００２５】
【発明の実施の形態】
図１から３は従来技術によるスケーラブルエンコーダの記述に関連して議論された。
【００２６】
本発明の詳細な説明において、一例として１つのエンハンスメントデータストリームについて議論する。本発明によるスケーラブルエンコーダは複数のエンハンスメントデータストリームで構成されたエンハンスメントデータストリームの一集合を生成することが可能である。
【００２７】
図４は本発明の好適な第１の実施形態によるスケーラブルエンコーダの構成４００を概略的に示す。これは、コアデータストリーム１０２およびエンハンスメントデータストリーム１０３のビットレートを調節するように構成されたスケーラブルエンコーダ４１０および制御ユニット４２０を備える。制御ユニット４２０は、コアおよびエンハンスメントデータストリームの目標組合わせの決定に使用する制御情報４０１を受信する。目標平均ビットレートおよび／または目標最大ビットレートであり得る一般に適当な目標ビットレートは、コアおよびエンハンスメントデータストリームに関して決定される。制御ユニット４２０は、目標組合わせを決定することに加えて、コアデータストリームおよびエンハンスメントデータストリーム４０２、４０３の現行ビットレートも監視し、さらに、例えば、選定された目標ビットレートが達成されるようにエンコーダを調節することが可能である。現行ビットレートは一般にスケーラブルエンコーダ４１０の出力バッファ４３１，４３２を用いて測定される。
【００２８】
図５は本発明の好適な第２の実施形態によるスケーラブルエンコーダの構成５００を概略的に示す。このスケーラブルエンコーダ５００は、一例として、音声コアエンコーダ２１０およびオーディオエンハンスメントエンコーダ２３０を備える。音声エンコーダおよびオーディオエンコーダは図２に関連して示されるエンコーダに一般的に類似する。例えば、音声エンコーダは、種々の公称ビットレートにおける符号化済み音声を生成する利用可能な特定な一組の符号化アルゴリズムを備えた可変レート音声エンコーダもしくはマルチレート音声エンコーダであってもよい。可変レート音声エンコーダは、例えば、下記の文献に記載されている可変レート音声エンコーダであってもよい。すなわち、「Ｔｏｌｌ  ｑｕａｌｉｔｙ  ｖａｒｉａｂｌｅ  ｒａｔｅ  ｓｐｅｅｃｈ  ｃｏｄｅｃ」、Ｐａｓｉ  Ｏｊａｌａ、音響装置、音声および信号処理に関するＩＥＥＥ国際会議議事録、ミュンヘン、ドイツ、１９９７年４月。マルチレート音声に関しては、例えば、３ＧＰＰ  ＡＭＲ（適応マルチレート）音声エンコーダであってもよい。
【００２９】
図５においては、可能な２つの制御情報源を例として示す。マルチプレクサバッファ５２０の占有レベルに関する制御情報として制御情報４０１ｂを使用することが可能である。例えば、伝送チャネルの伝送容量がダイナミックに変化しているとき、または、特定期間中にエンハンスメントデータストリームのビットレートが急激に増加した場合には、従来技術の記述を参照して既に検討済みであるように、マルチプレクサバッファがオーバフローする危険がある。本発明によれば、マルチプレクサバッファがオーバフローする危険がある時には、組合わされたデータストリームのビットレートを減少させるためにコアデータストリームおよび／またはエンハンスメントデータストリームの目標ビットレートを減少させることが可能である。
【００３０】
また、図５は優先情報５０１を受信するための入力エレメント５１０を示す。入力エレメントは一般にエンコーダ５００がその一部であるマルチメディア端末の一部である。入力エレメント５１０に供給される優先情報５０１は多くの種々の供給源から発信可能である。入力は伝送端末のユーザから到来することがあり得る。この場合、入力エレメントは一般にマルチメディア端末のユーザインタフェースの一部である。用語「ユーザインタフェース」は、例えば、フォーマットされた優先表示へユーザによって与えられたコマンドを変換するためのキーボード、スクリーン、および、適切なソフトウェアの組合わせ体を意味する。この解決方法における、優先性は、例えば、スライドスイッチの支援を得て、調節され得る。この場合、スイッチをそのスケールの一方の終端部に配置することは高品質音声に関する全面的な優先性を意味し、また、スイッチをそのスケールの反対側の終端部に配置することは高品質オーディオに関する対する全面的な優先性を意味し、さらに、スイッチをこれらの中間に配置することは音声とオーディオとの間のトレードオフの方向を表示する。入力はいくつかの外部供給源、例えば、受信するユーザから到来することもあり得る。この場合、入力エレメントはマルチメディア端末の受信機能の一部である。例えば、制御入力は、例えば、呼（コール）制御またはインバンドシグナリングの一部として受信されることもあり得る。情報は、更新された通信期間中において、その通信の開始時に提供され得る。さらに、コアおよびエンハンスメントデータストリームの適切な組合わせを表示する特定のプリセットされた値がマルチメディア端末またはエンコーダ自体に記憶される。これらのプリセットされた値は、例えば、伝送チャネルビットレートに依存する。
【００３１】
優先情報５０１は、符号化されたスケーラブルデータストリーム１０４内のコアおよびエンハンスメントデータストリーム１０２、１０３好適な組合わせを表示し、また、可能なオプションは、１つのビットストリームに関して、完全補助（０％）から完全優先（１００％）までのあらゆる組合わせを含む。これには、あらゆるトレードオフ組合わせが含まれる。優先情報５０１は制御情報４０１ａに変換され、この制御情報４０１ａは音声およびオーディオビットレート制御ユニット４２１、４２２に入力される。音声ビットレート制御ユニット４２１およびオーディオビットレート制御ユニット４２２は、優先表示によって設定された好適な割合に従って符号化の目標ビットレートを調節するように構成される。この後で、エンコーダ２１０、２３０は、目標ビットレートレベルに作用するように構成される。一般に、高い音声品質に優先が与えられる場合には、制御情報４０１ａは、制御ユニット４２１、４２２を、コアエンコーダに関しては比較的高い目標ビットレートに設定させ、また、オーディオエンコーダに関しては比較的低い目標ビットレートに設定させる。目標ビットレートは平均ビットレートおよび／または最大のビットレートであり得る。ビットレートを調節するようにエンコーダが構成される方法については次にさらに詳細に検討することとする。
【００３２】
符号化されるスケーラブルデータストリームを受信する端末がコアデータストリームのみを復号化することが可能であることが予測される状況下においては、コアデータストリームがエンハンスメントデータストリームよりも高いビットレートを持つことが好適である。例えば、実際にデータの符号化が始まる以前に、マルチメディアセッションに関連する端末がそれらの符号化能力および復号化能力を相互に通知し合うことが可能である。この情報は制御情報として使用可能である。送信端末／ユーザから到来する制御情報に与えるよりも高い優先順位を受信端末／ユーザから受信する制御情報に与えることは妥当である。
【００３３】
図５に示すように、コアデータストリームの現行ビットレート４０２またはエンハンスメントデータストリームの現行ビットレート４０３は監視可能であり、かつ、コアおよびエンハンスメントエンコーダを調節するために使用可能である。さらに、図５における矢印５０２は、制御ユニット４２１と４２２との間で可能な情報交換を示す。コアおよびエンハンスメントデータストリームに関する目標ビットレートの連帯的に制御は個別の制御ユニットとして実現可能である。すなわち、相互に連絡をとるか、あるいは、その代わりに、ビットレートの連帯的な制御を可能にする共通ロジックを備えた個別ユニットとして実行可能である。さらに、目標ビットレートを選択し、かつ、コアエンコーダおよびエンハンスメントエンコーダ両方の現行ビットレートを監視する単一制御ユニットを有することが可能である。
【００３４】
本発明によるエンコーダは、ハードウェアにおいて、ソフトウェアにおいて、もしくは、ハードウェアとソフトウェアとの組合わせ体として実現可能である。例えば、コンピュータにおいてプログラムを実行する時に、必要なステップ（例えば、本発明による方法の諸ステップ）を実施するように形成されたコンピュータプログラムコード手段を有するコンピュータプログラムであってもよい。コンピュータプログラムはコンピュータ読取り可能媒体に具体化可能である。
【００３５】
図６は本発明の好適な第３の実施形態による可変レートコアエンコーダ２１０に関係する制御ユニット４２１を概略的に示す。可変レートエンコーダは、例えば、可変レート音声エンコーダであってもよい。制御目的に関して、コアエンコーダ２１０からのコアデータストリーム１０２のビットレートは監視され、フィードバックフィルタ６０１に供給される。ここに、ビットレートの短期的変動を平滑化するように、ビットレートは平均される。この方法によって得られる予測平均ビットレート６１１は、コアエンコーダ２１０の目標ビットレート６１２から差し引かれ、コアエンコーダ２１０に関する制御信号６１４を生成するコントローラ６０３に供給されるエラー誤差信号６１３が導出される。音声エンコーダに用いられる符号化アルゴリズムは、コントローラ６１４から受信した制御信号に従って調節される。調整の詳細は符号化アルゴリズムに依存する。すなわち、一般的に例えば、元の媒体信号を表す係数の量子化が調節される。コントローラ６０３においては、あらゆる制御アルゴリズムもしくはロジックが使用できる。例えば、一般的に当該技術分野における当業者にとって周知であるＰＩ（比例積分）制御が可能である。目標ビットレート６１２は、同様に制御ユニット４２１の一部分である目標ビットレート決定ユニット６０２において決定される。制御情報４０１は、一般にエンハンスメントエンコーダ２３０の目標ビットレートと連帯的に決定される目標ビットレートの決定に影響する。図６における矢印５０２は、これらの制御ユニットの間の情報交換を示す。
【００３６】
制御ループの機能は、所与の目標ビットレート６１２に従う予測平均ビットレート６１１を実質的にドライブすることにあり、入力信号１０１は制御ループにとっては外乱と見なされる。例えば、ソース制御された可変レート音声エンコーダの場合には、適応しきい値を用いてビットレートが選択される。コントローラ６０３からの制御信号６１４は、音声エンコーダ２１０に関する適応しきい値を選択するための同調係数として用いられる。ビットレートを制御するために適応しきい値を使用する具体化された使用についてのさらに詳細な記述に関しては、例えば、下記文献に記載されている。すなわち、「Ｔｏｌｌ  ｑｕａｌｉｔｙ  ｖａｒｉａｂｌｅ  ｒａｔｅ  ｓｐｅｅｃｈ  ｃｏｄｅｃ」、（Ｐａｓｉ  Ｏｊａｌａ、音響装置、音声および信号処理に関するＩＥＥＥ国際会議議事録、ミュンヘン、ドイツ、１９９７年４月）平均ビットレートの制御に加えて、音声エンコーダの最大ビットレートも、最高ビットレートを必要とするコードブックの使用を限定することによって制御され得る。平均ビットレートの制御適用およびエンコーダの最大ビットレートに関しては、符号化されたコアデータストリーム１０２のビットレートが所与レベルに対する標的とされ得る。
【００３７】
図７は、本発明の好適な第４の実施形態によるコアエンコーダ２１０に関係する制御ユニット４２１を概略的に示す。ここに、コアエンコーダ２１０は、各々が特定のあるビットレートにおける符号化済み音声を生成する一組の個別符号化アルゴリズムを有するマルチレートエンコーダである。制御情報４０１は目標ビットレート決定ユニット６０２に供給される。この場合、コアエンコーダ２１０に関する目標ビットレートが決定される。コアエンコーダ２１０に関する目標ビットレートはエンハンスメントデータストリームに関する目標ビットレートと共に連帯的に決定される。図７における矢印５０２は、コア制御ユニット４２１とエンハンスメント制御ユニット４２２との間の情報交換を示す。決定済み目標ビットレート６１２は、適当な符号化アルゴリズムを選択し、かつ、選択された符号化アルゴリズムをコアエンコーダ２１０に表示する制御信号７１１を伝送する符号化モード選択ユニット７０１に供給される。
【００３８】
図８は、本発明の好適な第５の実施形態によるエンハンスメントエンコーダ２３０に関係する制御ユニット４２２を概略的に示す。エンハンスメントエンコーダは一般に可変レートエンコーダである。例えば、ビットレートにおける短期変動を平滑化し、かつ、予測平均ビットレート８１１を生成するフィルタ８０１を用いて、エンハンスメントデータストリーム１０３の平均ビットレートを監視することが可能である。制御情報４０１を用いて目標ビットレート選択ユニット８０２においてコアエンコーダに関する目標ビットレート共に連帯的に選定される（図８の矢印５０２参照）目標ビットレート８１２は、平均ビットレート８１１と共にビットレート調整ユニット８０３へ供給される。一般に可変レートオーディオエンコーダの出力ビットレートは、例えば、オーディオエンコーダが生成する周波数領域変換係数に関する適当な量子化正確度を選択することによって調節される。オーディオ帯域幅を調節することによって出力ビットレートを調節することも可能である。用語「オーディオ帯域幅」という用語はコード化されるべきオーディオ信号の周波数範囲を意味する。オーディオ帯域幅は、例えば、０〜１２ｋＨｚもしくは０〜１６ｋＨｚであり得る。オーディ帯域幅を増大することによって、オーディオ信号を表すために必要な周波数帯域係数の個数は増大する。
【００３９】
図９は、本発明の好適な第６の実施形態によるコアエンコーダ２１およびエンハンスメントエンコーダ２３０に関係する制御ユニット４２０を概略的に示す。ここに、コアエンコーダ２１０は種々のビットレートにおいて符号化済み音声を生成する一組の利用可能な符号化アルゴリズムを有する。制御ユニット４２０はレート決定アルゴリズム（Ｒａｔｅ  Ｄｅｔｅｒｍｉｎａｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ：ＲＤＡ）ユニット９０１を有し、ここで信号１０１の内容が分析される。ここで説明されるレート決定アルゴリズムがオーディオ信号の音声内容を分析するが、あらゆる内容アナライザを使用することが可能である。レート決定アルゴリズムユニット９０１は、依然として適切なオーディオ品質を提供しながら最小ビットレートを持つストリーム符号化済みエンハンスメントデータを生成する符号化アルゴリズムを選択する。例えば、選択係数として、長期周期性および予測利得を使用することが可能である。長期周期性は信号内に存在する基本周波数を意味し、周期的信号は高い長期予測利得を与え、かつ一般に有声音を示す。良品質を達成するためには、周期的成分の正確な符号化が必要である。これは、一般に、比較的高いビットレートにおいて符号化済み音声を生成する符号化アルゴリズムの選択を意味する。一方、低い長期予測利得は、一般に非有声音を示し、長期符号化は一般に必要とされない。これは、コード化されるべき信号を正確に表すには比較的低いビットレートが要求されることを意味する。短期予測は、オーディオデータ、明確には音声データ、の符号化に一般的に使用される別の技法であり、一般に、線形予測符号化（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｄｉｎｇ：ＬＰＣ）を使用する信号スペクトル（周波数スぺクトル）のモデル化に関係する。良好なＬＰＣ近似フィットは、通常、信号が音声を含み、従って、良好な音声品質を達成するためには高いコアビットレートを必要とすることを示す。
【００４０】
さらに、例えば、コア符号化アルゴリズム選択係数として復号化済みコアデータストリームのＳＮ比（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ：ＳＮＲ）を使用することが可能である。例えば、全ての符号化アルゴリズムが並列処理され、最良のＳＮＲを生成するアルゴリズムが選定される。さらに、適当な符号化アルゴリズムもしくはコアエンコーダに関する目標ビットレートの選択に際して、信号エネルギーおよび周波数内容を使用することが可能である。
【００４１】
一旦、データストリームに関する目標ビットレートが合同決定されると、一般にコアおよびエンハンスメントデータストリームのビットレートは相互に無関係に調節される。目標ビットレートが連帯的に決定されるならば、例えば、コアデータストリームの目標ビットレート６１２よりもさらに頻度多く、エンハンスメントデータストリームの目標ビットレート８１２を変更することが可能である。これは、例えば、エンハンスメントエンコーダが可変レートエンコーダであり、かつコアエンコーダがマルチレートエンコーダである時に有利である。
【００４２】
図１０は、一例として、制御情報を用いてコアエンコーダの目標ビットレートおよびエンハンスメントエンコーダの目標ビットレートが連帯的に決定される本発明による方法に対応するフローチャートを示す。初期制御情報を決定するために符号化が開始される時には、ステップ１００１が実施される。初期制御情報は、例えば、プリセットされたデフォルト設定であるか、あるいは、例えば、送信／ユーザからもしくは受信ユーザ／端末から発信されることがあり得る。ステップ１００２において、コアデータストリームとエンハンスメントデータストリームとの目標組合わせは初期制御情報に従って決定される。その後で、符号化処理に際して、ステップ１００３〜１０１０によって形成されたループが実行される。ステップ１００３において、マルチプレクサバッファスペースの利用可能性が決定される。例えば、十分な利用可能バッファスペースがあるならば（バッファ占有率がステップ１００４におけるある特定の第１しきい値Ｔ１未満）、例えば、制御情報としてＲＤＡ情報およびユーザ優先情報を使用し、コアおよびエンハンスメントデータストリームに関する目標ビットレートはステップ１００５において決定される。例えば、バッファ占有率およびコアおよびエンハンスメントデータストリームのビットレートから実際の伝送レートを予想することが可能である。ＲＤＡは、例えば、コアビットストリームに関するある特定のビットレートを決定し、また、そのビットレートがＲＤＡによって決定されるコアデータストリームを有するデータストリームおよびそのビットレートがコアデータストリームとエンハンスメントデータストリームとに関する目標ビットレートの比率を表示する優先情報によって決定されるエンハンスメントデータストリームの伝送に関して、伝送レートが充分に大きい限り、ＲＤＡを用いて決定されるビットレートが許容され得る。ＲＤＡがあまりにも大きいビットレートを提案する場合には、コアおよびエンハンスメントストリームのビットレートを適宜減少させることによって、好適なビットレート比率を維持することが可能である。コアデータストリームとエンハンスメントデータストリームとが組合わされるものと仮定し、利用可能な伝送容量の一部分が未使用状態のまま残されるように低いビットレートをコアデータに関してＲＤＡが提案する場合には、コアデータストリームおよびエンハンスメントデータストリームに関して、それぞれ、さらに高い目標ビットレートを選定することが可能である。
【００４３】
例えば、バッファ占有率が第１しきい値Ｔ１より大きい（マルチプレクサバッファがオーバーフローする危険性の増大を示す）が、第２しきい値Ｔ２よりも小さい場合（ステップ１００６）には、コアおよび／またはエンハンスメントデータストリームのビットレートが、コアおよび／または、エンハンスメントデータストリームの目標ビットレートを調節することによって、例えば、ステップ１００７におけるユーザ優先情報、または、デフォルト設定情報に従って限定される。マルチプレクサバッファの占有率が第２しきい値Ｔ２を超過し（ステップ１００８）、マルチプレクサバッファが実質的に満杯であることを表示している場合には、コアおよびエンハンスメントデータストリームのビットレートはステップ１００９においてさらに拘束される。これは、例えば、エンハンスメントエンコーダが全く使用されず、かつ、例えば、マルチレートコアエンコーダの場合においては、最小ビットレートを有するコアデータストリームを生成する符号化アルゴリズムが選定されることを意味する。
【００４４】
潜在的オーバーフロー状況が完了した時には、バッファの占有レベルは低下する。これは、潜在的オーバフロー状況後のある点においては、マルチプレクサバッファの占有レベルはＴ２よりも低く、コアおよびエンハンスメントデータストリームに関する目標ビットレートは好適なビットレート比率に応じて調節され得ることを意味する。さらに、マルチプレクサバッファの占有レベルがＴ１よりも低い時には、コアデータストリームに関してＲＤＡによって決定された目標ビットレートを使用することが可能である。
【００４５】
ユーザ優先情報または他の制御情報は、コード化処理に際して、提供または更新されることが可能である。このような場合、コアデータストリームとエンハンスメントデータストリームとの目標組合わせは、ステップ１００３〜１００９を備えるループにおいて提供／更新された制御情報に従って決定される。
【００４６】
コアおよびエンハンスメントデータストリームに関する目標ビットレートがステップ１００５（あるいは、ステップ１００７もしくは１００９）において決定された後で、コアおよびエンハンスメントデータストリームのビットレートは、決定された目標ビットレートに応じてステップ１０１０において調節される。ステップ１０１０において、ビットレートは、例えば図７〜９に示す配置構成を用いて調節可能である。一般に、ビットレートのこの調整は、ステップ１００３〜１００９の実行期間中においても進行を継続する連続的な動作（アクティビティ）である。調整に関する目標ビットレートは、例えば、マルチプレクサバッファの占有に関する情報が受信される度に更新される（ステップ１００５、１００７、１００９）。
【００４７】
図１０は、符号化されるべきデータの受信、実際の符号化、あるいは、コア及びエンハンスメントデータストリームの組合わせデータストリームへの多重化、を明白には示していない。ただし、これらは、全て一般的に、本発明の方法において実施される。
【００４８】
一般に単一エンコーダに実装された基底レイヤ（コア）符号化およびエンハンスメントレイヤ符号化を備えるスケーラブルビデオエンコーダも有る。従って、図４も本発明による一般的スケーラブルビデオエンコーダを概略的に呈示する。ビデオシーケンスは、各フレームがある特定の時間間隔によって相互に分離され、かつ連続してディスプレイされる一連の静止映像からなる。ビデオ圧縮／符号化方法は、冗長かつ知覚的に無関係なビデオシーケンスの部分を減少させることに基づく。ビデオシーケンスにおける冗長度は、空間的、時間的、および、スペクトル冗長度に分類され得る。空間的冗長度という用語は一画像内の近傍画素間の相関性を意味する。時間的冗長度はビデオシーケンスにおける連続した映像間の類似性を意味する。時間的冗長度を減少させると、特定の画像シーケンスを表すために必要なデータ量を減少させる。これは、現行映像と前の（基準の）映像との間の運動について記述する運動補償データを生成することによって達成される。実際に現行映像は前の映像から予測される。用語「スペクトル冗長度」は同一映像の異なる色成分間の相関性を意味する。
【００４９】
スケーラブルビデオ符号化は時間的スケーラビリティ、ＳＮ比スケーラビリティ、または、空間的スケーラビリティを使用する。時間的スケーラビリティは、映像ディスプレイレートを増大することによって知覚的品質を高めるためのメカニズムを提供する。これは、１対の基準映像を撮影し、これらのどちらか一方もしくは両方から追加映像を予測することによって達成される。次に、予測された追加映像は２つの基準映像の間で順々に映写可能である。予測された追加映像はそれ自体が基準映像としては使用されない。すなわち、予測された追加映像から他の映像は決して予測されることなく、あるいは、これらを用いて符号化されることもない。従って、これらは、将来の映像の映像品質に衝突を与えることなしに廃棄されることが可能であるので、これらは時間的スケーラビリティを供給する。空間的スケーラビリティとＳＮＲスケーラビリティとは密接に関係し、両者の唯一の相違は空間的解像度の増大が空間的スケーラビリティによって提供されることである。ＳＮＲスケーラビリティはマルチレートビットストリームの生成を意味する。ＳＮＲスケーラビリティは符号化エラーの回復、すなわち、元の映像と基底レイヤから復元された映像との間の差の回復を可能にする。これは、エンハンスメントレイヤにおける差映像を符号化するためにさらに優れた量子化器を使用することによって達成される。この追加情報は再現された映像全体のＳＮＲを増大する。
【００５０】
空間的スケーラビリティは、変化するディスプレイ必要条件および／または拘束条件に適合するような多重解像度の生成を可能にする。空間的エンハンスメントレイヤが、復元された基準レイヤ映像のアップサンプリングされたバージョンと元の映像のさらに高い解像度バージョンとの間の符号化損失を回復しようと試みるということを除けば、空間的スケーラビリティはＳＮＲスケーラビリティの場合と実質的に同じである。例えば、基準レイヤの解像度が４分の１共通中間フォーマット（ＱＣＩＦ）解像度（１７６×１４４画素）であり、エンハンスメントレイヤの解像度が共通中間フォーマット（ＣＩＦ）解像度（３５２×２８８画素）である場合には、基準化された基準レイヤ映像からエンハンスメントレイヤ映像が予測され得るように、基準レイヤ映像は適宜基準化されなければならない。ＱＣＩＦ規格は、単一エンハンスメントレイヤに関して、垂直方向のみ、水平方向のみ、もしくは、垂直および水平の両方向に解像度が係数２だけ増大されることを許容する。従って、各レイヤの映像解像度が前の層の映像解像度よりも増加するような多重エンハンスメントレイヤが在り得る。
【００５１】
スケーラブルビデオエンコーダにおいて、エンハンスメントデータストリームは一般に予測された追加フレーム（時間的スケーラビリティ）および／または元のフレームを表す係数に関する追加情報を含む。本発明に従ったスケーラブルビデオエンコーダにおいて、基底レイヤフレームの正確度およびエンハンスメントレイヤフレームの正確度は一般に、係数の量子化を調節すること、または、時間的スケーラビリティにおいては、予測される追加フレームの個数を調節することによって調節される。
【００５２】
図１１は、本発明の好適な第７の実施形態による２つのスケーラブルエンコーダ、すなわち、オーディオ信号１０１ａを符号化するためのエンコーダ５００およびビデオ信号１０１ｂを符号化するためのエンコーダ４００を備える構成の一例を概略的に示す。この実施形態において、制御情報は、両スケーラブルエンコーダの制御ユニット４２０、４２１、４２２に引き渡される。制御情報は、例えば、オーディオストリームとビデオストリームとの間のユーザ優先性、および／または、スケーラブルオーディオエンコーダ５００およびスケーラブルビデオエンコーダ４００に関する微同調優先性を示す。
【００５３】
図１２は、本発明によるマルチメディア通信端末装置２０の機能ブロック図を示す。一例として、マルチメディア端末装置２０はＨ．３２４マルチメディア端末である。図１２に示すように、Ｈ．３２４互換可能マルチメディア通信システムは端末ユニット２０、インタフェースユニット３１、ＧＳＴＮ（公衆交換電話網）ネットワーク３２、および、多点制御ユニット（ＭＣＵ）３３で構成される。Ｈ．３２４実装は各機能的エレメントを持つ必要がない。移動端末は、インタフェースユニット３１（Ｈ．３２４  Ａｎｎｅｘ  Ｃに規定されているように）として任意の適切な無線インタフェースを用いて実現可能である。この場合、ネットワークはＧＳＴＮでなくてＰＬＭＮ（公衆陸上移動網）である。
【００５４】
ＭＣＵ３３はブリッジとして作動し、いくつかの端末ユニットの間で通信を可能にするために、ＧＳＴＮネットワーク３２における情報の流れを中央指令するインタフェースユニット３１は多重化されたビットストリームをＧＳＴＮを介して伝送可能な信号に変換し、かつ、受信した信号を、端末２０の多重化／逆多重化プロトコルユニット２１に送られるビットストリームに変換する。多重プロトコルは符号化された媒体、データ、および、制御ストリームを伝送用の単一ビットストリームに多重化し、かつ、受信したビットストリームを種々の媒体ストリームへ多重化する。さらに、多重プロトコルは、論理的フレーム化、順序ナンバリング、エラー検出、および、例えば、各媒体のタイプに適合するような再伝送によるエラー訂正を実施する。システムコントロール２６の制御プロトコル２２はマルチメディア端末操作用終端間シグナリングを提供し、かつ、他の全ての終端間システム機能に信号を送る。制御プロトコルは、能力交換、コマンドおよび命令の通信、ならびに、論理回線を開いて内容を完全に記述するメッセージを提供する。データプロトコル２３は、例えば電子ホワイトボード、静止画像転送、ファイル交換、データベースアクセス、オーディオグラフィックス会議、遠隔装置制御、ネットワークプロトコルなどのようなデータアプリケーション２７をサポートする。本発明によるスケーラブルエンコーダ５００は、媒体Ｉ／Ｏ設備２８からの伝送用オーディオおよび／またはビデオ信号を符号化する。媒体Ｉ／Ｏ設備は、一般に、オーディオ信号の捕捉／再生用マイクロホンおよび拡声器、ならびに、ビデオ信号捕捉／再生用ディスプレイおよびデジタルカメラを有する。スケーラブルエンコーダ５００は、一般に、マルチプレクサユニット２２の一部であるマルチプレクサバッファ５２０の占有レベルに関する情報を受信する。また、一般に、対応するデコーダユニットがあるが、図１２には図示されていない。復号された媒体信号は、媒体Ｉ／Ｏ設備を用いて、ユーザに呈示される。本発明によるマルチメディア端末は、媒体Ｉ／Ｏ設備からの信号を符号化するために、本発明による少なくとも１つのスケーラブルエンコーダを有する。本発明によるマルチメディア端末は、一例として図１１に詳細に示すように、オーディオおよびビデオ信号を符号化するためのスケーラブルエンコーダ構成を備えてもよい。
【００５５】
相互に対応しない符号化および復号化アルゴリズムが用いられることが可能である。換言すれば、双方向性マルチメディア接続の一方の方向に１つの符号化アルゴリズムを使用し、もう一方の方向に第２の符号化アルゴリズムを使用することが可能である。その代わりに、マルチメディアストリームの例として、マルチメディア接続が一方向性であることが可能である。この場合、マルチメディアデータストリームは、ネットワークに常駐するソースから検索され、復号化されて、受信マルチメディア端末においてプレイバックされる。この場合、本発明によるエンコーダは当該ネットワーク内に配置されるはずである。
【００５６】
図１３は、本発明による無線マルチメディア端末１３００に関する一実施形態の機能的モジュールを示す。中央処理装置ＣＰＵ８１は移動局の種々の機能を担当するブロック、すなわち、メモリ（ＭＥＭ）８２、無線周波数ブロック（ＲＦ）８３、ユーザインタフェース（ＵＩ）８４、および、インタフェースユニット（ＩＵ）８５を制御する。ＣＰＵは、一般に、１つもしくは複数の機能的に相互作動するマイクロプロセッサによって実行される。メモリはＲＯＭ（読取り専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）を備えることが好ましく、かつ、一般に、ＳＩＭユーザ識別モジュールを備えたメモリによって補充される。マイクロプロセッサは、そのプログラムに応じて、無線経路において信号を送信および受信するためのＲＦブロック８３を使用する。ユーザとの通信は、一般に、拡声器、マイクロホン、ディスプレイ、および、キーボードを備えるユーザインタフェース（ＵＩ）８４を介して管理される。インタフェースユニット８５は、データ処理エンティティへのリンクを提供し、ＣＰＵ８１によって制御される。データ処理エンティティは、例えば、集積データ処理装置またはパーソナルコンピュータのような外部データ処理装置である。本発明による移動端末は本発明による少なくとも１つのスケーラブルエンコーダを有する。スケーラブルエンコーダ５００を図１３に示す。一般に、本発明による移動端末は対応するデコーダを備える。移動端末は、スケーラブルエンコーダによって出力されるコアおよびエンハンスメントデータストリームならびに制御情報を含む複合データストリームを生成するマルチプレクサ８８を備える。移動端末は、受信したデータストリームから復号化するための分解済みデータストリームも生成する。マルチプレクサは、多重化された符号化済みビットストリームをマルチプレクサバッファ５２０に出力するように構成される。スケーラブルエンコーダ５００は、図５に関連して記述されるように、一般に、符号化処理動作を制御するために制御データフィードバックループによって接続され、かつ、マルチプレクサバッファ５２０の占有レベルに関する情報を受信する制御手段を有する。図１３には、ただ２つのデータストリームが呈示されているが、２つより多いビットストリーム（例えば、図１２に示すように、制御データ、データアプリケーション用データなど）に関係することが可能である。各データストリームに関する目標ビットレートは、例えば、端末によって受信した優先情報、および、マルチプレクサバッファオーバフローが定義されている場合には、既に述べた仕方においてこれらの目標に対して調整を行う方針に従って設定される。
【００５７】
移動端末における入力エレメント５１０は、図５および１３に示すように、ユーザインタフェース８４を介して優先情報を受信するように構成可能である。同様に、移動端末における入力エレメント５１０は、２つの端末エンティティの間で用いられる通信プロトコルによって供給される制御信号を用いて、通信中の端末から優勢情報を受信するように構成可能である。例えば、ＩＴＵ−Ｔ  Ｈ．３２４およびＨ．３２３のような、最新ＩＴＵ−Ｔ（ＩＴＵ電気通信標準化部門）ビデオフォーン規格は、接続を初期化するために、すなわち、論理チャネル、交換能力セットなどを開くためにＨ．２４５制御プロトコルを使用する。同様に、この制御プロトコルは、接続に際して、コマンドおよび指示を送るために用いられる。これらは、受信ユーザ／端末の優先順位に関する制御情報を送信端末に伝達するためにも使用可能である（図１２におけるユニット５１０参照）。
【００５８】
本発明は好適な実施形態に関して図示および記述したが、当該技術分野における当業者であれば、以下に特許請求されている本発明の範囲から逸脱することなしに好適な実施形態への修正が実施可能であることを認識するはずである。
【図面の簡単な説明】
【図１】従来技術によるスケーラブルエンコーダおよび対応するデコーダの概略図である。
【図２】従来技術による音声エンコーダおよびオーディオエンコーダを備えるスケーラブルエンコーダの概略図である。
【図３】図２に呈示されたスケーラブルエンコーダに対応する従来技術によるデコーダの概略図である。
【図４】本発明の好適な第１の実施形態に従ったスケーラブルエンコーダの概略図である。
【図５】本発明の好適な第２の実施形態によるスケーラブルエンコーダの概略図である。
【図６】本発明の好適な第３の実施形態によるコアエンコーダに関係する制御ユニットの概略図である。
【図７】本発明の好適な第４の実施形態によるコアエンコーダに関係する制御ユニットの概略図である。
【図８】本発明の好適な第５の実施形態によるエンハンスメントエンコーダに関係する制御ユニットの概略図である。
【図９】本発明の好適な第６の実施形態によるコアエンコーダおよびエンハンスメントエンコーダに関係する制御ユニットの概略図である。
【図１０】本発明による方法に対応するフローチャートである。
【図１１】本発明の好適な第７の実施形態によるオーディオおよびビデオストリームに関するスケーラブルエンコーダの概略図である。
【図１２】本発明によるＨ．３２４マルチメディア端末の概略図である。
【図１３】本発明による無線マルチメディア端末の一例を示す図である。
【符号の説明】
１０１…信号
１０２…コアデータストリーム
２１０…コアエンコーダ
２３０…エンハンスメントエンコーダ
４０１…制御情報
４２１…制御ユニット
６０１…フィードバックフィルタ
６０２…目標ビットレート決定ユニット
６０３…コントローラ
６１１…予測済み平均ビットレート
６１２…目標ビットレート
６１３…エラー信号
８１２…目標ビットレート
９０１…レート決定アルゴリズム（ＲＤＡ）ユニット
ＬＰＣ…線形予測符号化
ＳＮＲ…信号対雑音比率
【図１】
0004160278.tif 000002
【図２】
0004160278.tif 000003
【図３】
0004160278.tif 000004
【図４】
0004160278.tif 000005
【図５】
0004160278.tif 000006
【図６】
0004160278.tif 000007
【図７】
0004160278.tif 000008
【図８】
0004160278.tif 000009
【図９】
0004160278.tif 000010
【図１０】
0004160278.tif 000011
【図１１】
0004160278.tif 000012
【図１２】
0004160278.tif 000013
【図１３】
0004160278.tif 000014