(57)【要約】コンピュータ・ネットワークを介しての通信用のビデオ・フレームのグループからなる入力ビデオ信号を符号化するための方法。方法は、ｉ）各フレームをマクロブロックの２次元アレイに分割する工程と、ｉｉ）現在のフレームの各マクロブロックと以前のフレームの対応するマクロブロックとの間の動きを検出し、動きが検出されたマクロブロックのみを符号化する工程と、ｉｉｉ）非符号化マクロブロックの全ての係数をゼロ係数に置き換える工程と、ｉｖ）符号化されたマクロブロックに対して離散コサイン変換を施す工程と、ｖ）係数をマルチ解像度表現に再編成する工程と、ｖｉ）均一スカラー量子化器を用いて係数を量子化して有意マップを生成する工程と、ｖｉｉ）動き情報を符号化し、有意マップを符号化し、全ての有意な係数の符号を符号化し、最上位ビットから始まりビットプレーンの単位で有意な係数の振幅を符号化することにより前記信号を適用演算符号化する工程とを備える。
2004512785.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ・ネットワークを介しての通信用のビデオ・フレームのグループからなる入力ビデオ信号を符号化するための方法であって、
ｉ）各フレームをマクロブロックの２次元アレイに分割する工程と、
ｉｉ）現在のフレームの各マクロブロックと以前のフレームの対応するマクロブロックとの間の動きを検出し、動きが検出されたマクロブロックのみを符号化する工程と、
ｉｉｉ）非符号化マクロブロックの全ての係数をゼロ係数に置き換える工程と、
ｉｖ）符号化されたマクロブロックに対して離散コサイン変換（ＤＣＴ）を施してＤＣＴ係数を生成する工程と、
ｖ）係数をマルチ解像度表現に再編成する工程と、
ｖｉ）均一スカラー量子化器を用いて係数を量子化して有意マップを生成する工程と、
ｖｉｉ）ａ）動き情報を符号化し、ｂ）有意マップを符号化し、ｃ）全ての有意な係数の符号を符号化し、ｄ）最上位ビットから始まりビットプレーンの単位で有意な係数の振幅を符号化することにより前記信号を適用演算符号化する工程とを備える符号化方法。
【請求項２】
前記以前のフレームは以前のオリジナルのフレームである、請求項１に記載の符号化方法。
【請求項３】
動き検出及び符号化工程では、
ｉ）検出された動きがしきい値を越えない場合、前記マクロブロックが符号化されず、
ｉｉ）検出された動きが前記しきい値を越える場合、前記マクロブロックがイントラ符号化される、請求項２に記載の符号化方法。
【請求項４】
動き情報及び有意マップから各フレームを再構成する工程を更に備え、前記以前のフレームは以前の再構成されたフレームである、請求項１に記載の符号化方法。
【請求項５】
前記動き検出及び符号化工程では、
ｉ）検出された動きが第１のしきい値を越えない場合、前記マクロブロックが符号化されず、
ｉｉ）検出された動きが前記第１のしきい値を越えるが、第２のしきい値を越えない場合、前記現在のフレームと前記以前のフレームとの間の差分が符号化され、
ｉｉｉ）検出された動きが第１及び第２のしきい値を越えたとき、前記マクロブロックがイントラ符号化される、請求項４に記載の符号化方法。
【請求項６】
動きが検出されたか否かに関わらず分散方式で各フレームの一部を周期的にイントラ符号化する工程を更に備える請求項１に記載の符号化方法。
【請求項７】
コンピュータ・ネットワークを介しての通信用のビデオ・フレームのグループからなる入力ビデオ信号を符号化するためのコンピュータ・プログラム生成物であって、
（Ａ）コンピュータ使用可能な媒体であって、
ｉ）各フレームをマクロブロックの２次元アレイに分割し、
ｉｉ）現在のフレームの各マクロブロックと以前のフレームの対応するマクロブロックとの間の動きを検出し、動きが検出されたマクロブロックのみを符号化し、
ｉｉｉ）非符号化マクロブロックの全ての係数をゼロ係数に置き換え、
ｉｖ）符号化されたマクロブロックに対して離散コサイン変換（ＤＣＴ）を施してＤＣＴ係数を生成し、
ｖ）係数をマルチ解像度表現に再編成し、
ｖｉ）均一スカラー量子化器を用いて係数を量子化して有意マップを生成し、
ｖｉｉ）ａ）動き情報を符号化し、ｂ）有意マップを符号化し、ｃ）全ての有意な係数の符号を符号化し、ｄ）最上位ビットから始まりビットプレーンの単位で有意な係数の振幅を符号化することにより前記信号を適用演算符号化するために前記媒体に組み込まれたコンピュータ読取り可能なプログラム・コード手段を有する前記媒体を備えるコンピュータ・プログラム生成物。
【請求項８】
前記以前のフレームは以前のオリジナルのフレームである、請求項７に記載のコンピュータ・プログラム生成物。
【請求項９】
動き検出及び符号化手段は、
ｉ）検出された動きがしきい値を越えない場合、前記マクロブロックが符号化されず、
ｉｉ）検出された動きが前記しきい値を越える場合、前記マクロブロックがイントラ符号化されるものである、請求項８に記載のコンピュータ・プログラム生成物。
【請求項１０】
前記コンピュータ使用可能な媒体は、動き情報及び有意マップから各フレームを再構成するために前記同じ媒体に組み込まれたコンピュータ読取り可能なプログラム・コード手段を更に有し、前記以前のフレームは以前の再構成されたフレームである、請求項７に記載のコンピュータ・プログラム生成物。
【請求項１１】
前記動き検出及び符号化手段は、
ｉ）検出された動きが第１のしきい値を越えない場合、前記マクロブロックが符号化されず、
ｉｉ）検出された動きが前記第１のしきい値を越えるが、第２のしきい値を越えない場合、前記現在のフレームと前記以前のフレームとの間の差分が符号化され、
ｉｉｉ）検出された動きが第１及び第２のしきい値を越えたとき、前記マクロブロックがイントラ符号化されるものである、請求項１０に記載のコンピュータ・プログラム生成物。
【請求項１２】
前記コンピュータ使用可能な媒体は、動きが検出されたか否かに関わらず分散方式で各フレームの一部を周期的にイントラ符号化するためのコンピュータ・プログラム・コード手段を更に有する、請求項７に記載のコンピュータ・プログラム生成物。
【請求項１３】
物品であって、
（Ａ）コンピュータ読取り可能な変調された搬送信号と、
（Ｂ）前記信号に組み込まれ、コンピュータ・ネットワークを介しての通信用のビデオ・フレームのグループからなる入力ビデオ信号を符号化するための手段であって、
ｉ）各フレームをマクロブロックの２次元アレイに分割する手段と、
ｉｉ）現在のフレームの各マクロブロックと以前のフレームの対応するマクロブロックとの間の動きを検出し、動きが検出されたマクロブロックのみを符号化する手段と、
ｉｉｉ）非符号化マクロブロックの全ての係数をゼロ係数に置き換える手段と、
ｉｖ）符号化されたマクロブロックに対して離散コサイン変換（ＤＣＴ）を施してＤＣＴ係数を生成する手段と、
ｖ）係数をマルチ解像度表現に再編成する手段と、
ｖｉ）均一スカラー量子化器を用いて係数を量子化して有意マップを生成する手段と、
ｖｉｉ）ａ）動き情報を符号化し、ｂ）有意マップを符号化し、ｃ）全ての有意な係数の符号を符号化し、ｄ）最上位ビットから始まりビットプレーンの単位で有意な係数の振幅を符号化することにより前記信号を適用演算符号化する手段とからなる前記手段とを備える物品。
【請求項１４】
前記以前のフレームは以前のオリジナルのフレームである、請求項１３に記載の物品。
【請求項１５】
動き検出及び符号化手段は、
ｉ）検出された動きがしきい値を越えない場合、前記マクロブロックが符号化されず、
ｉｉ）検出された動きが前記しきい値を越える場合、前記マクロブロックがイントラ符号化されるものである、請求項１４に記載の物品。
【請求項１６】
前記組み込まれた手段は、動き情報及び有意マップから各フレームを再構成する手段を更に備え、前記以前のフレームは以前の再構成されたフレームである、請求項１３に記載の物品。
【請求項１７】
前記動き検出及び符号化手段は、
ｉ）検出された動きが第１のしきい値を越えない場合、前記マクロブロックが符号化されず、
ｉｉ）検出された動きが前記第１のしきい値を越えるが、第２のしきい値を越えない場合、前記現在のフレームと前記以前のフレームとの間の差分が符号化され、
ｉｉｉ）検出された動きが第１及び第２のしきい値を越えたとき、前記マクロブロックがイントラ符号化されるものである、請求項１６に記載の物品。
【請求項１８】
前記組み込まれた手段は、動きが検出されたか否かに関わらず分散方式で各フレームの一部を周期的にイントラ符号化する手段を更に備える請求項１３に記載の物品。
【発明の詳細な説明】
本願は２０００年１０月２４日に出願された米国仮特許出願第６０／２４２，９３８号の優先権を主張するものである。
【０００１】
（技術分野）
本発明は、概してマルチメディア通信に関し、詳しくはインターネットを介して転送されるビデオ情報の圧縮／伸長及び符号化／復号化のための方法及びシステムに関するものである。
【０００２】
（背景技術）
高性能のパーソナル・コンピュータの利用及びブロードバンド・インターネット接続の普及に伴い、ビデオ会議、ビデオ・メッセージ通信、ビデオ・オン・デマンド等のインターネットに基づくビデオ・アプリケーションの要求が急速に高まっている。転送及び記憶コストを減らすためには、改良されたビット・レート圧縮／伸長（コーデック）システムが必要である。画像、ビデオ及びオーディオ信号は、信号中における相当数の統計的な冗長により圧縮し易い。単一の画像及び単一のビデオフレーム内には、隣接するサンプル間に一般的に「空間的相関」と呼ばれる大きな相関が存在する。フル・モーション・ビデオ等の動画においても、連続するフレームのような異なる時間領域においてサンプル間に大きな相関が存在する。このような相関は一般的に「時間的相関」と呼ばれる。空間的及び時間的な相関を用いてビデオにおける冗長を除去する改良されたコスト的に有効なシステム及び方法が、転送チャンネルの利用可能なバンド幅の変化及びクライアントの受信資源の制限に適合しつつ、転送時における高圧縮を達成し、優れた画像品質を維持するために、必要とされる。
【０００３】
制限された変動値がモーション・ビデオのフレーム間に存在するという利点を考慮した公知の技術が動き補償画像符号化として知られている。そのような符号化においては、現在のフレームは前に符号化されたフレームから動き予測及び補償を用いて予測され、実際の現在のフレームと予測された現在のフレームとの間の差分のみが符号化される。画像フレームそのものではなく、差分、あるいは剰余のみを符号化することにより、その余剰が画像よりも低い振幅を有する傾向にあるため、画像品質を向上することができる。動き予測及び補償は、リム，ジェー．エス．（Ｌｉｍ， Ｊ．Ｓ．）著「二次元信号及び画像処理（Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ Ｓｉｇｎａｌ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）」プレンティス・ホール（Ｐｒｅｎｔｉｃｅ Ｈａｌｌ），１９９０年，ｐ．４９７−５０７に記載されている。しかしながら、動き予測及び補償技術は、計算処理上のコストが高く、大半のパーソナル・コンピュータ用のソフトウェアのみのアプリケーションとしては禁止されている。
【０００４】
更に、インターネット・ストリーマー用のコーデックの提供において、転送中に転送チャンネルが変更される可能性があるという問題があり、可変受信資源を有するクライアントが転送中にネットワークに加えられるか、あるいは外される。インターネット・ストリーミング・アプリケーションは、有効的なビデオ通信のために低遅延、低複雑性、スケーラブル表現及びエラー耐性等の特徴を有するビデオ符号化技術を必要とする。現在の基準及び最先端のビデオ符号化技術は、これらの特徴をもたらすには不十分なものである。発展した基準（ＭＰＥＧ−１、ＭＰＥＧ−２）のいくつかは、非インタラクティブなストリーミング・アプリケーションを対象としている。Ｈ．３２３勧告は、信頼性のないパケット・ネットワーク（インターネット等）を介したオーディオ・ビジュアル会議を対象としているが、適用されたＨ．２６ｘのビデオ・コーデックはインターネットに基づくアプリケーションにより求められる全ての特徴をサポートしていない。Ｈ．２６３＋及びＭＰＥＧ−４等の新たな基準は、これらの問題（スケーラビリティ、エラー耐性等）に取り組むべくスタートしたが、これらの基準の現在の状態は、広範囲のビデオ・アプリケーションを効率的にサポートするには不十分なものであった。
【０００５】
非常に異質なネットワーク及びコンピュータ・インフラストラクチャーにより、高度にスケーラブルなビデオ符号化アルゴリズムが必要となっている。ビデオ・コーデックは、ダイアルアップ・モデム又は無線接続を介して接続された低性能のパーソナル・コンピュータに対して適切な品質を提供し、Ｔ１を用いて接続された高性能のコンピュータに対して高品質を提供すべきである。従って、計算処理上のコスト及びバンド幅要求の両方の観点で、圧縮アルゴリズムがスケール可能であることが期待される。
【０００６】
リアル・タイム・プロトコル（ＲＴＰ）は、一般的にインターネットを介して時間感知マルチメディア・トラフィックを実行する際に使用される。ＲＴＰは信頼性のないユーザ・データグラム・プロトコル（ＵＤＰ）に基づいて確立されたものであるため、符号化アルゴリズムはパケット損失に対して効率的に対処することができるものでなければならない。更に、インタラクティブなアプリケーションの低遅延要求及びマルチキャスト通信の要求により、インターネットを介して広く展開されるポピュラーな再伝送方式は使用することはできない。従って、ビデオ・コーデックは、表示品位における影響を最小化するためにネットワーク及び伝送エラーに対する高度な耐性を提供する必要がある。
【０００７】
符号化及び復号化処理の計算量は、低性能コンピュータ（ＰＤＡ，携帯型コンピュータ等）において適切なフレーム率を提供し、平均的なパーソナル・コンピュータにおいて高フレーム率及び高品質を提供するために低くなくてはならない。前述したように、広く適用されている動き予測及び補償技術は、大半のパーソナル・コンピュータ用のソフトウェアのみのアプリケーションとしては禁止される点で計算処理上のコストが高いものとなっている。
【０００８】
（発明の開示）
この発明は、動きが検出されたオリジナルのフレームの離散コサイン変換演算から得られた係数の再編成、有意マッピング及びビットストリーム階層化を行うことにより新たなビデオ符号化方法を提供する。フレームの動き領域は、イントラ符号化、又はフレームの現在の部分と以前のフレームの同じ部分との間の差に基づく差分符号化を用いて更新される。以前のフレームは以前のオリジナルのフレーム又は以前の再構成されたフレームのいずれかとすることができる。エラー耐性を増大させるために、フレームの一部は、動きが検出されたか否かに関係なく分散方式で周期的に更新（イントラ符号化）される。離散コサイン変換（ＤＣＴ）は符号化されたフレーム部分の各々の副部分において行われる。結果的に得られた係数は３段階のマルチ解像度表現に再編成される。係数は有意な（一つの）及び有意でない（ゼロの）値に量子化され、それらは有意マップを決定する。マップは有意性の順序でビットストリーム層に再配置され、そのビットストリーム層は適応演算符号化を用いて符号化される。この符号化手法は、低符号化遅延及び低計算量をもたらしつつ、スケーラビリティ、高符号化性能、及びエラー耐性を提供する。
【０００９】
【発明の実施の形態】
以下の記載、詳細な説明は本発明の理解をより良くするためのものである。しかしながら、本発明はこれら詳細な説明なしで実施されてもよい。他の場合においては、本発明を不必要にわかりにくくするのを防止するために、公知の構成の詳細については示されていないか、あるいは説明されていない。従って、明細書及び図面は説明のためのものであって、それに限定されるものではない。
【００１０】
図１及び図２の各々は本発明の一実施形態に従うコーデックのエンコーダの機能ブロック図である。それぞれの図において、符号化プロセスは以下の工程からなる。
【００１１】
・動き検出；
・係数再編成；
・係数分離；
・ビットストリーム階層化；及び
・適応演算符号化の実施。
【００１２】
これらの工程の各々は以下に詳細に説明する。これらの工程は、必要に応じてソフトウェアのみを用いて実施することができる。
図１は、本発明による簡単な符号化構成を示す。符号化構成は以前のオリジナルのフレームを参照用として用いる。エンコーダはデコーダの状態を維持せず、これはオリジナル・フレームと再構成されたフレームとの間でエラーが蓄積されることを意味する。エラー蓄積はフレームの信号対ノイズ比を低くするが、客観的性能を比較するために慣行的に使用される測定では、表示品位における影響が最小であるという結果となった。図１に示されるコーデックの構成では、高エラー耐性及び低計算量が提供される。
【００１３】
図２は、エンコーダ自身がフレームの再構成工程を含む、本発明によるより高性能な符号化構成を示す。図２において、以前に再構成されたフレームは動き検出用の参照として用いられる。従って、エンコーダはデコーダの状態を維持し、エラー蓄積（上記構成におけるような）は避けられ、その結果、高い客観的性能（高い信号対ノイズ比）が得られる。しかしながら、この構成ではエンコーダの計算量が高くなるとともに、ビットストリームのエラー感度が高くなる。
【００１４】
動き検出
動き検出は、上記した計算量の多い「動き予測及び補償」技術と混同されるべきではない。動き検出は、以前のフレームに基づいて現在のフレームを予測／補償し、予測／補償と実際のフレームとの間の差のみを符号化することを含むものではない。むしろ、本発明による動き検出は、現在のフレームと以前のフレームとの間の実際の差を単に検出しており、高エラー耐性及び低計算量を提供するものである。
【００１５】
動き検出は、条件付き補充（ｃｏｎｄｉｔｉｏｎａｌ ｒｅｐｌｅｎｉｓｈｍｅｎｔ）、即ちイントラ符号化（参照フレームからのデータを用いることのない符号化プロセス）及び／又は差分符号化（対応する参照フレームとの差分のみが符号化される符号化プロセス）を用いてフレームの動き領域のみを更新することに基づく。本発明の一実施形態では、各フレームは各々が１６画素×１６画素のサイズからなるマクロブロック（ＭＢ）の２次元アレイに分割され、この処理は各ＭＢに対して別々に行われる。図１及び図２に示すように、動き検出では、以前のオリジナルのフレーム又は以前の再構成されたフレームが参照用として使用されてもよい。
【００１６】
図１の実施形態に示すように、以前のオリジナルのフレームが参照用として使用される場合、各ＭＢは２つの状態を有し得る。現在のＭＢと以前のオリジナルのＭＢとの差が単一の任意のしきい値より大きい場合、ＭＢは、好ましくはイントラ符号化により符号化される。そうでない場合、ＭＢは全く符号化されず、デコーダはＭＢ内の画素を以前のフレームから差し替える。
【００１７】
図２の実施形態に示すように、以前の再構成されたフレームが参照用として使用される場合、各ＭＢは３つの状態を有し得る。２つのしきい値Ｔ１及びＴ２（Ｔ１＜Ｔ２）が定義されている。現在のＭＢと以前の再構成されたＭＢとの間の差がＴ１よりも小さい場合、ＭＢは符号化されない。差がＴ１よりも大きく、Ｔ２よりも小さい場合、現在のＭＢと以前の再構成されたＭＢとの差分が符号化される（即ち、差分符号化による符号化）。最後に差がＴ２よりも大きい場合、ＭＢは好ましくはイントラ符号化により符号化される。
【００１８】
エラー耐性を増加させるため、図３に示すように、フレームの一部が分散方式において周期的に更新される（イントラ符号化される）。インターネットを介しての広範囲の実験に基づき、フレームの１０％が動きに関係なくイントラ符号化される。即ち、１０フレームにおいては全体のフレームが完全にイントラ符号化される。この強制的なイントラ更新は、Ｈ．２６３及びＭＰＥＧ−２等の基準ビデオ・コーデックにおいて適用される慣用的なＩフレーム・リフレッシュと比較してインターネット等の損失の多いネットワークにおいて性能向上をもたらす。
【００１９】
ＤＣＴ係数の再編成
動き検出の後、各ＭＢは各々が８画素×８画素のサイズからなる４つの非重複ブロックに分割される。ＭＢが符号化されない場合、全ての係数はゼロ係数に置き換えられる。そうでない場合、離散コサイン変換（ＤＣＴ）がブロックの各々に対して実行される。ＤＣＴ後、係数は図４に示されるような三段階のマルチ解像度表現に再編成される。係数再編成は２つの利点をもたらす。
【００２０】
・エラー耐性が著しく向上する。パケット損失の影響が、特定の画像領域に集中する代わりに、全体の画像に亘って均一に分配され、乱れの少ない視覚的生成物が提供される。
【００２１】
・図５に示されるように、空間的なスケーラビリティを効率的にサポートすることができる。
ＤＣＴ係数の分割
ＤＣＴ変換及びデータ再編成の後、係数は、均一（ｕｎｉｆｏｒｍ）スカラー量子化器を用いて量子化される。非ゼロに量子化されたＤＣＴ係数は、有意な係数と呼ばれる。ゼロに量子化されたＤＣＴ係数は有意でない係数である。従って、量子化手順は有意マップとして記述することができる有意な係数のマップを決定する。有意マップはオリジナル画像のサイズに等しい二値画像である。二値「０」は対応する位置におけるＤＣＴ係数が有意でなく、二値「１」は対応する位置におけるＤＣＴ係数が有意であることを意味する。
【００２２】
ビットストリームの階層化
この発明によるコーデックのキーとなる利点の一つは、多次元におけるそのスケーラビリティにある。それは、３段階の時間的なスケーラビリティと３段階の空間的なスケーラビリティとを提供する。図６は、３段階の時間的なスケーラビリティを示す。図６において、「Ｑ」は「１／４解像度」を意味し、「Ｈ」は「１／２解像度」を意味し、「Ｆ」は「完全な解像度」を意味し、「ＧＯＦ」は「フレームのグループ」を意味する。
【００２３】
ここで、３０フレーム／秒で符号化されたビデオ・シーケンスがあるものとする。受信器はビデオを３０フレーム／秒、１５フレーム／秒、又は７．５フレーム／秒でビデオを復号化することができる。本発明によるコーデックは図５に示すように３段階の空間的なスケーラビリティもサポートしている。このことは、もしオリジナルのビデオが３５２×２８８画素の解像度で符号化された場合、その符号化されたものは全空間的な解像度（３５２×２８８画素）、１／２の空間的な解像度（１７６×１４４画素）、又は１／４の空間的な解像度（８８×７２画素）で復号化することができることを意味する。
【００２４】
時間的及び空間的なスケーラビリティに加えて、有意な係数を最上位ビットから始まりビットプレーンの単位で伝送することによりＳＮＲスケーラビリティもまたサポートされる。
【００２５】
適応演算符号化
適応演算符号化は、四段階の手順からなる。最初に動き情報が符号化される。第二段階では、有意マップが符号化される。第三段階では全ての有意な係数の符号が符号化される。最終段階では、有意な係数の振幅が符号化される。
【００２６】
動き情報は適応演算符号化を用いることにより符号化される。以前のオリジナルのフレームが参照用として使用される場合、２つのシンボルのみが必要となる（「符号化なしのもの」及び「イントラ符号化されたもの」）。以前の再構成されたフレームが参照用として使用される場合、３つのシンボルが通常必要となる（「符号化なしのもの」、「差分符号化されたもの」及び「イントラ符号化されたもの」）。
【００２７】
符号化されたＭＢのＤＣＴ係数の有意情報は符号化される必要がある。フレームは「サブバンド」の単位で低から高解像度までスキャンされる。各サブバンド内において、係数は上から下、左から右へとスキャンされる。ここで、大半の比率（約８０％）のＤＣＴ係数が有意でないことが分かる。二値適応演算符号化はＤＣＴ係数の有意な情報を符号化するために用いられる。ＳＩＧ及びＩＮＳＩＧシンボルは有意な係数及び有意でない係数をそれぞれ意味する。適応演算符号化中において、各画素は異なる可能性モデル（各々は「コンテキスト」）として符号化される。一実施形態では、各画素のコンテキストは、図７に示すようにその因果的な近隣において４つの隣接する画素の有意な状態に基づく。図７において、因果的に近隣する画素は、既に符号化又は復号化された４つの画素（前の行における３つの画素及び前の列における１つの画素）の組である。エンコーダ及びデコーダは符号化プロセス中において同じ可能性モデルを使用すべきであるので、現在の画素の可能性モデルは既に伝送された画素の知識のみに基づくものであるとすることができる。この実施形態では、合計で５個の可能性モデルが用いられる（０有意，１有意，．．．，４有意）。
【００２８】
有意なＤＣＴ係数の符号も、二値適応演算符号化を用いて符号化される。ＰＯＳ及びＮＥＧシンボルは、正及び負の有意なＤＣＴ係数をそれぞれ示す。この場合、コンテキストは図８に示すように小空間的に近隣にある有意な係数の数によって決定される。このコンテキストは既に伝送された有意マップから計算される。本発明のこの実施形態では、合計で５個のモデルが使用される（０有意，１有意，．．．，４有意）。
【００２９】
有意なＤＣＴ係数の振幅はビットプレーンの単位で符号化される。再び、２つのシンボルを用いた二値適応演算符号化が各ビットプレーンを符号化すべく用いられる。有意な係数については、コンテキストは図８に示すような小さな近隣領域において有意なＤＣＴ係数の数により決定される。伝送単位は最上位ビットプレーンから再下位ビットプレーンへと移り、このことはＳＮＲスケーラビリティを提供する。
【００３０】
図２に示された、フレーム再構成を含む本発明の実施形態に関して、エンコーダにて各フレームを再構成する目的で有意マップにおいて逆離散コサイン変換が行われる。
【００３１】
本発明によるビデオ・コーデックは以下のような非常に好ましい特徴を提供する。
・低符号化遅延：フレーム・バッファリングについては何ら必要ないので、コーデックによる符号化遅延の可能性は最も低いものとなる。取込装置からフレームが到着すると、そのフレームは直ちに符号化される。
【００３２】
・低計算量：コーデックのエンコーダ及びデコーダは低く、かつほぼ対称的な計算量となっている。これは、本発明の方法が動き予測及び補償の慣行的なプロセスではなく動き検出の簡単なプロセスを用いているからである。エンコーダはブロックに基づく動き予測／補償手法よりも１桁低い計算量を有している。コーデックの実行においては１７６×１４４画素のフレーム・サイズを用いて、エンコーダ及びデコーダをウィンドウズ２０００オペレーティング・システムを有する６６７ＭＨｚのペンティアムＩＩＩコンピュータで動作させた場合、約４０フレーム／秒となっている。
【００３３】
・スケーラブル符号化：コーデックは時間的で、解像度がある、ＳＮＲのスケーラビリティを提供する。このことはビデオ会議のような分散型ビデオ・アプリケーションを可能にし、受信器の利用可能なネットワークバンド幅及びハードウェアの能力により受信したビデオのビデオ解像度、フレーム率及び画像品質が動的に調節される。高バンド幅ネットワーク接続及び高性能コンピュータを有する受信器は、高フレーム率で高品質のカラー・ビデオを受信し、低バンド幅接続及び低性能コンピュータを有する受信器は低フレーム率で低品質のビデオを受信することができる。
【００３４】
・エラー耐性：コーデックのビットストリームはインターネット等のパケット損失のあるネットワークに対する高度なエラー耐性を提供する。符号化技術は最小の可能性のある時間的及び空間的な近傍においてチェンネル・エラーの影響を制限する。好ましくない時間的及び空間的なエラー伝搬は、動き予測／補償の代わりにイントラ更新及び／又は差分更新を用いることにより防止される。更に、適用された係数の再編成及び分散化された強制イントラ更新により、コーデックのエラー耐性が大幅に向上する。
【００３５】
・高符号化性能：高符号化性能はユーザーに低バンド幅ネットワーク接続で高ビデオ品質を提供するために必要となる。より効率的な圧縮アルゴリズムは、ユーザーが任意のビットレートで高画質を受信することを意味する。コーデックは、Ｈ．２６３と比較した場合、遅い動き場面に対しては同じ画像品質を提供し、早い動き場面に対しては表示品位において妥協の小さいものを提供する（動き予測及び補償がないことによる）。しかしながら、早い動き場面に対する性能上の妥協は、低符号化遅延、低計算量、スケーラブルなビットストリーム、及び高エラー耐性によりより確かなものとなる。
【００３６】
上記開示に照らして当業者にとっては明らかではあるが、多くの変更及び改良が開示の範囲を越えることなく本発明の実施において可能である。従って、本発明の範囲は請求の範囲により定義された本質に従って解釈される。
【図面の簡単な説明】
【図１】本発明の一実施形態に従ってコーデック動作するエンコーダの機能ブロック図である。
【図２】エンコーダにおいてフレーム再構成を含む本発明の別の実施形態に従ってコーデック動作するエンコーダの機能ブロック図である。
【図３】本発明の一実施形態に従ってフレームの一部が分散方式においてどのようにして周期的に更新（イントラ符号化）されるのかを示す図である。
【図４】マルチ解像度構造へのＤＣＴ係数の再編成を示す図である。
【図５】本発明のコーデックにより提供される空間的なスケーラビリティを示す図である。
【図６】本発明のコーデックにより提供される時間的なスケーラビリティを示す図である。
【図７】有意情報の符号化／伝送に対する確率モデルを示す図である。
【図８】有意なＤＣＴ係数の符号及び振幅の符号化／伝送に対する確率モデルを示す図である。
【図１】
2004512785.tif 000003
【図２】
2004512785.tif 000004
【図３】
2004512785.tif 000005
【図５】
2004512785.tif 000006
【国際公開パンフレット】
2004512785.tif 000007
2004512785.tif 000008
2004512785.tif 000009
2004512785.tif 000010
2004512785.tif 000011
2004512785.tif 000012
2004512785.tif 000013
2004512785.tif 000014
2004512785.tif 000015
2004512785.tif 000016
2004512785.tif 000017
2004512785.tif 000018
2004512785.tif 000019
2004512785.tif 000020
2004512785.tif 000021
2004512785.tif 000022
2004512785.tif 000023
2004512785.tif 000024
2004512785.tif 000025
2004512785.tif 000026
2004512785.tif 000027
2004512785.tif 000028
2004512785.tif 000029
2004512785.tif 000030
2004512785.tif 000031
2004512785.tif 000032
2004512785.tif 000033
【国際調査報告】
2004512785.tif 000034
2004512785.tif 000035
2004512785.tif 000036