(57)【要約】【課題】ビデオ信号伝送の過程で深刻なパケットロスがあっても、信号受信品質を保証できるビデオデータストリームの統合及び補償方法を提供すること。【解決手段】ビデオデータストリームが複数のキーフレーム及び複数の非キーフレームを有し、前記非キーフレームが前記キーフレームを参照することにより圧縮可能である、ビデオデータストリームの統合及び補償方法において、離散ウェーブレット変換技術を使用して前記ビデオストリームの前記キーフレームを圧縮、符号化し、離散コサイン変換技術を使用して前記キーフレーム及び前記非キーフレームのフレーム間計算を処理し、前記ビデオデータストリームを統合するステップと、統合された前記ビデオデータストリームを最適化するよう、該ストリームを異なる要因によって自動的に補正し、調節する現在コードストリームに基づいた補償手続きを実行するステップとを含む。【選択図】図３
2007028579.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータストリームが複数のキーフレーム及び複数の非キーフレームを有し、前記非キーフレームが前記キーフレームを参照することにより圧縮可能である、ビデオデータストリームの統合及び補償方法において、
離散ウェーブレット変換技術を使用して前記ビデオストリームの前記キーフレームを圧縮、符号化し、離散コサイン変換技術を使用して前記キーフレーム及び前記非キーフレームのフレーム間計算を処理し、前記ビデオデータストリームを統合するステップと、
統合された前記ビデオデータストリームを最適化するよう、現在コードストリームに基づいて補償手続きを実行するステップと、を含むことを特徴とするビデオデータストリームの統合及び補償方法。
【請求項２】
前記補償手続きは、
前記現在コードストリーム用のデータパケットのビットレートを検出するステップ（Ａ）と、
前記ビットレートに基づいて現在量子化係数を調節するステップ（Ｂ）と、
前記ステップ（Ｂ）で調整した前記量子化係数を使用して、前記離散コサイン変換の変換係数を量子化するステップ（Ｃ）と、
前記ステップ（Ｃ）の量子化結果を符号化するステップ（Ｄ）と、を含むことを特徴とする請求項１に記載のビデオデータストリームの統合及び補償方法。
【請求項３】
前記ステップ（Ｂ）において、前記ビットレートを、最適化マッチングパラメータモデルに代入して、前記量子化係数を調節することを特徴とする請求項２に記載のビデオデータストリームの統合及び補償方法。
【請求項４】
前記ステップ（Ｂ）において、前記最適化マッチングパラメータモデルは、次式で表され、
【数１】
2007028579.tif 000010
ここで、ｒは前記ビットレートを表わし、Ｓは符号化複雑度を表わし、Ｑは前記量子化係数を表し、また、ｃ１、ｃ２は歪み定数を表わすことを特徴とする請求項３に記載のビデオデータストリームの統合及び補償方法。
【請求項５】
前記ステップ（Ｂ）において、前記最適化マッチングパラメータモデルは、次式で表され、
【数２】
2007028579.tif 000011
ここで、ｒは前記ビットレートを表わし、Ｓは符号化複雑度を表わし、Ｑは前記量子化係数を表し、ｃ１、ｃ２は歪み定数を表わし、ｃ３はパケットロス率を表わし、また、Ｐは現在データパケットのパラメータを再度送信する情報を表わすことを特徴とする請求項３に記載のビデオデータストリームの統合及び補償方法。
【請求項６】
前記補償手続きは、前記ステップ（Ｂ）で調整した前記量子化係数を使用して、順方向誤り訂正符号化を行なうステップ（Ｅ）をさらに含む、ことを特徴とする請求項２に記載のビデオデータストリームの統合及び補償方法。
【請求項７】
前記補償手続きは、
前記現在コードストリーム用のデータパケットのビットレートを検出するステップ（Ａ）と、
前記ビットレートに基づいて前記離散ウェーブレット変換の圧縮率を調節するステップ（Ｂ）と、
前記ステップ（Ｂ）で調整した前記圧縮率を使用して、データ圧縮を行なうステップ（Ｃ）と、
前記ステップ（Ｃ）の結果である圧縮データを出力するステップ（Ｄ）とを含む、ことを特徴とする請求項２に記載のビデオデータストリームの統合及び補償方法。
【請求項８】
前記ステップ（Ｂ）において、前記ビットレートを、最適化マッチングパラメータモデルに代入して、前記圧縮率を調節することを特徴とする請求項７に記載のビデオデータストリームの統合及び補償方法。
【請求項９】
前記ステップ（Ｂ）において、前記最適化マッチングパラメータモデルは、次式で表され、
【数３】
2007028579.tif 000012
ここで、ｒは前記ビットレートを表わし、Ｓは符号化複雑度を表わし、Ｑは前記圧縮率を表し、また、ｃ１、ｃ２は歪み定数を表わすことを特徴とする請求項８に記載のビデオデータストリームの統合及び補償方法。
【請求項１０】
前記ステップ（Ｂ）において、前記最適化マッチングパラメータモデルは、次式で表され、
【数４】
2007028579.tif 000013
ここで、ｒは前記ビットレートを表わし、Ｓは符号化複雑度を表わし、Ｑは前記圧縮率を表し、ｃ１、ｃ２は歪み定数を表わし、ｃ３はパケットロス率を表わし、また、Ｐは現在データパケットのパラメータを再度送信する情報を表わすことを特徴とする請求項８に記載のビデオデータストリームの統合及び補償方法。
【請求項１１】
前記補償手続きは、前記ステップ（Ｂ）で調整した前記圧縮率を使用して、順方向誤り訂正符号化を行なうステップ（Ｅ）をさらに含む、ことを特徴とする請求項７に記載のビデオデータストリームの統合及び補償方法。
【請求項１２】
前記ステップ（Ｄ）は、
異なる品質階層に応じて、現在使用可能な帯域幅及びビットレートの、対応する送信レベルを設定するステップ（Ｄ−１）と、
各データパケットの前記送信レベルを決定するステップ（Ｄ−２）と、
前記データパケットの前記送信レベルに割り当てられた前記ビットレートに基づいて該データパケットを符号化／復号するステップ（Ｄ−３）と、をさらに含むことを特徴とする請求項７に記載のビデオデータストリームの統合及び補償方法。
【請求項１３】
前記ステップ（Ｄ）は、
異なる品質階層に応じて、現在使用可能な帯域幅及びビットレートの、対応する送信レベルを設定するステップ（Ｄ−１）と、
各データパケットの前記送信レベルを決定するステップ（Ｄ−２）と、
前記データパケットの前記送信レベルに割り当てられた前記ビットレートに基づいて該データパケットを符号化／復号するステップ（Ｄ−３）と、をさらに含むことを特徴とする請求項２に記載のビデオデータストリームの統合及び補償方法。
【請求項１４】
現在フレーム目標ビットレートのアルゴリズムに基づいて、前記キーフレーム及び前記非キーフレームの輝度及び画像品質因子の調整を通じて前記キーフレーム及び前記非キーフレームのフレーム間バランスを修正するステップをさらに含み、
前記目標ビットレートは、最も近接しているフレームの、現在用いられているビット数及び前記ビットレートに基づいて決定されることを特徴とする請求項１に記載のビデオデータストリームの統合及び補償方法。
【請求項１５】
前記ビデオデータストリームの前記キーフレーム及び前記非キーフレームの圧縮及び符号化は、
前記ビデオデータストリームの前記キー及び前記非キーフレームの動きオブジェクトマクロブロックを検出し、検出された前記動きオブジェクトマクロブロックをさらに処理し、また、静止オブジェクトマクロブロックをさらなる処理を行わずにバッファーに格納するステップを含むことを特徴とする請求項１に記載のビデオデータストリームの統合及び補償方法。
【請求項１６】
検出された前記動きオブジェクトマクロブロックは個々に検査され、分類化した符号化を行うためにいくつかの特徴クラスに基づいて特徴によって分類されることを特徴とする請求項１５に記載のビデオデータストリームの統合及び補償方法。
【請求項１７】
前記ビデオデータストリームの前記キーフレーム及び前記非キーフレームの圧縮及び符号化は、
より大きなサーチエリアからスタートし漸進的に探索精度を高めて、最も近い探索結果に徐々に接近し、そして最後に該探索結果を取得する動きベクトル探索処理をさらに含むことを特徴とする請求項１５に記載のビデオデータストリームの統合及び補償方法。
【請求項１８】
前記補償手続きは、
現在送信コードストリームを検出するステップと、
検出された前記現在送信コードストリームに基づいて、順方向誤り訂正手続き及びパケットロス隠蔽手続きに修復百分率を分配するステップと、
前記ビデオデータストリームの復元において、分配された前記修復百分率に基づいて補償を行なうステップと、を含むことを特徴とする請求項１に記載のビデオデータストリームの統合及び補償方法。
【請求項１９】
前記順方向誤り訂正手続きは、失われたパケットのデータの一部を復元するために使用され、
前記パケットロス隠蔽手続きは、残りの復元可能でないデータを修復するために使用されることを特徴とする請求項１８に記載のビデオデータストリームの統合及び補償方法。
【請求項２０】
前記順方向誤り訂正手続きは、
（１）ｎカラムｋローのマトリックスであり、前記マトリックスＧの任意のｋ＊ｋサブマトリックスｇが可逆であり、前記マトリックスＧの各要素がガロア体ＧＦ（８）の要素であり、ｋデータパケットのパケット長バイトが前記ガロア体ＧＦ（８）の要素に対応しているマトリックスＧを構築するステップと、
（２）前記マトリックスＧを使用して前記ｋデータパケットの線形変換を行なって、送信された符号語の符号化データである、前記パケット長バイトを有するｎデータパケットを得るステップと、  
（３）送信された符号語がｋ以上のデータパケットを有する場合、前記マトリックスＧの前記ｋデータパケットが対応するカラムを使用して、対応するサブマトリックスｇを構築するステップと、
（４）対応する線形方程式の唯一の解を求め、該解を正しいｋデータパケットの再構築されたデータとすることを特徴とする請求項１９に記載のビデオデータストリームの統合及び補償方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号列の制御方法に関し、特に、ビデオ信号伝送の過程で深刻なパケットロスがあっても、信号受信品質を保証できるビデオデータストリームの統合及び補償方法に関する。
【背景技術】
【０００２】
音声画像マルチメディア及びデジタル通信技術の進歩により、デジタルビデオ処理システムは多様な応用に向かっている。このような現象の現れは、ビデオ信号符号化標準（規格書）の作成によるものと言える。符号化標準のため、システム間で送信するのに一貫した通信基準が可能となる。ビデオ信号符号化標準には、データを圧縮する機能が含まれている。この圧縮機能は、ソースマルチメディアデータが非常に巨大な故に必要である。データ量が縮小するように圧縮されなければ、ソースマルチメディアデータはあまりにも多くの帯域幅を占有してしまう。また、受信端は、大きな遅延及びパケットロスを伴いながら、巨大なデータフローを受け取るようになり、結果的に、エラーの可能性が高くなる。
【０００３】
現在、ビデオ信号圧縮符号化標準を設立する、２つの公的組織がある。１つは、電気通信標準化部門（ITU Telecommunication Standardization Sector、以下ＩＴＵ−Ｔと記す）であり、もう一つは、国際標準化機構（ＩＳＯ／ＩＥＣ  ＪＴＣ１、以下ＩＳＯ／ＩＥＣと記す））である。ＩＴＵ−Ｔビデオ信号圧縮符号化標準は、Ｈ．２６ｘのフォーマット、例えば、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３、及びＨ．２６４で表される。他方では、ＩＳＯ／ＩＥＣビデオ信号圧縮符号化標準は、ＭＰＥＧ−ｘのフォーマット、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、及びＭＰＥＧ−４  ＡＶＳで表される。
【０００４】
図１に示されているように、ＭＰＥＧビデオ符号化画像のデータストリームでは、データ構造は１つ以上のシーケンスによって形成される。各シーケンスはそれぞれ少なくとも１ピクチャグループ（Group Of Picture、以下ＧＯＰと記す）を含んでいる。いわゆるＧＯＰは、複数のフレームあるいはピクチャによって形成されたグループのことを意味する。フレームはその属性により、３つのタイプ、即ち、フレーム内符号化フレーム（Ｉフレーム）、予測符号化フレーム（Ｐフレーム）、及び双方向予測符号化フレーム（Ｂフレーム）に分類することができる。
【０００５】
フレーム内符号化フレーム（Ｉフレーム）はまた、参照画像或いはキーフレームと呼ばれ、予測符号化フレーム（Ｐフレーム）は、現在画像又は非キーフレームと呼ばれる。Ｉフレーム及びＰフレームが互いに隣接し、高度の類似性を有するため、Ｐフレームは、前のＩフレームを参照して、ブロックマッチング、動き検出、及び動き補償を行うことにより圧縮されることができる。また、よい圧縮結果を得ることもできる。従って、連続するフレーム間の時間的な冗長性を減少させることによって、データ記憶スペースを節約することができる。
【０００６】
また、図１に示されているように、ＭＰＥＧ圧縮規格では、各フレームは複数のスライスに分割され、そして各スライスは複数のマクロブロックに分割される。マクロブロックは輝度ブロック及びクロミナンスブロックからなり、各ブロックは、ＭＰＥＧデータ構造の最小符号化ユニットとして定義される。動き補償の過程においては、ブロックベースの動きベクトル検出を使用する。
【０００７】
図２は、ＭＰＥＧ圧縮規格における動きベクトルの検出を示す図である。図２に示されているように、探索方法は、例えば、現在フレーム５０１の所定のブロック５１に関して、その動きベクトル５３を検出するために現在フレーム５０１に先行する参照フレーム５０２から、所定のブロック５１に対応するマッチングピクセルを探索し見つけることである。上述の方法では、参照フレーム５０２中の所定のポイント５２０は、初期位置の役割をし、また、所定のポイント５２０を中心として有する領域（図示せず）は、動きベクトル５３の検出のために参照フレーム５０２からマッチングブロックが見つかるまでサーチエリアの役割をする。
【０００８】
動きベクトル５３の検出を通じて、また、現在フレーム５０１の各ブロック、及び参照フレーム５０２から見つかった最適なマッチングブロックを使用して、動きベクトル５３及び差分データを計算することができる。そして、現在フレーム５０１中のブロックは、動きベクトル５３に応じて適切な位置へシフトするように、計算された動きベクトル５３及び差分データを使用して参照フレーム５０２中のブロックに関連づけられることができる。その結果、冗長なデータの大部分はもはや記録する必要がないので、格納されるデータ量を減少させることが可能となり、それによって、データ圧縮の目的を達成することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、インターネット上で圧縮したビデオストリームを伝送する場合、参照フレーム５０２中の一部の情報は制限のある帯域幅及び高い圧縮率のために失われるかもしれない。情報のロスが過度な場合、現在フレーム５０１は有効に復元できず、結果として、画像品質が劣化し、明瞭な識別が困難となってしまう。これらはすべて、既存の技術が、要求されるビデオ品質を維持するために実際の伝送条件に基づいて対応する調整を行うことができないという事実に帰因する。
【００１０】
したがって、本発明の目的は、実際的な伝送要件を満たすよう実際のデータ伝送条件に基づいて対応する調整を行う、ビデオストリームの統合及び補償方法を提供することである。
【課題を解決するための手段】
【００１１】
従って、本発明に係る方法は、離散ウェーブレット変換（ＤＷＴ）技術を利用してビデオ信号のキーフレームを圧縮、符号化し、また、離散コサイン変換（ＤＣＴ）技術を利用してビデオ信号のフレーム間計算を処理し、異なる因子に応じてビデオ信号を自動的に補償、調節する。
【００１２】
本発明は第１に、離散ウェーブレット変換（ＤＷＴ）技術を利用してビデオ信号のキーフレームを圧縮、符号化し、また、離散コサイン変換（ＤＣＴ）技術を利用してビデオ信号のフレーム間計算を処理し、異なる因子に応じてビデオ信号を自動的に補償、調節する。離散ウェーブレット変換を使用した場合にキーフレームの歪む可能性が低いため、また、フレーム間計算の処理において離散コサイン変換の使用が高速計算の実現を促進し、且つ、小さいマクロブロック計算に適しているため、ビデオ信号の必要な品質は維持されることができる。
【００１３】
本発明は第２に、比較的大きなサーチエリアからスタートし、漸進的に探索精度を高めて、最も近い探索結果に徐々に接近し、且つ最後にその探索結果を得る動きベクトル検出を行い、それによって、処理効率を向上させる。
【００１４】
本発明は第３に、使用可能な動的な帯域幅制限に基づいて、対応する伝送品質レベルを設定することである。
【００１５】
本発明は第４に、順方向誤り訂正（以下ＦＥＣとも記す）手続きを使用して、受信したデータを正確なものに近づかせ、併せて、パケットロス隠蔽（以下ＰＬＣとも記す）手続きを使用して受信端のデータを利用してデータ復元を行なう。本発明は、ＦＥＣ手続きを採用してデータの一部を復元し、残りのエラー部分のデータを、ＰＬＣ手続きを使用して隠蔽し、それによって、データの復元及び修復を大きく改善させる。
【００１６】
本発明は第５に、ビデオ処理システムに最適なマッチングパラメータモデルを構築する。このモデルの使用によって、キーフレーム及び非キーフレームの符号化には、現在送信ビットレート及びネットワークの利用可能な帯域幅に応じて、異なるビット数を割り当てる。したがって、符号化ビデオストリームはより少ない歪みを受け、また、キーフレーム及び非キーフレームはより均質なビデオストリームになることができる。
【００１７】
本発明は第６に、フレーム間バランスアルゴリズムを用いてフレーム間のジッタあるいは非平滑の問題を解決し、効果的な抑制及び補償を達成する。
【００１８】
要するに、本発明では、画像データの伝送過程で損失または遅延がある場合、ビデオ信号の符号化プロセスにおいて品質制御を行なう。理論上、高い送信ビットレートはよりよい画像品質をもたらし、その一方で低い送信ビットレートはより低い画像品質につながる。
【発明の効果】
【００１９】
本発明によれば、フレーム間バランス及びビットレート制御により特定の送信ビットレートの下で最良のビデオ品質を得ることができる。
【発明を実施するための最良の形態】
【００２０】
上記で説明した図１及び先行技術に示されているように、ＰフレームがＩフレームを参照して符号化され、また、Ｂフレームが、直前及び直後のＩまたはＰフレームを参照して双方向予測符号化されるため、Ｉフレーム（以下、キーフレームと記す）に含まれる情報は非常に重要であることが良く知られている。キーフレームのいずれかの情報がビデオ信号を伝送する過程で失われ、又は破損されれば、キーフレームに隣接するフレームの品質が悪影響を及ぼされてしまう。
【００２１】
したがって、本発明に係る方法の第１側面では、キーフレームの処理には比較的低い画像圧縮歪みを有する離散ウェーブレット変換（ＤＷＴ）を採用してキーフレームの画質を維持し、他のフレームの計算にはＭＰＥＧ圧縮規格に通常採用される離散コサイン変換（ＤＣＴ）を用いてシステムの複雑さ及び計算負荷を低減させる。
【００２２】
この方法は、離散ウェーブレット変換と離散コサイン変換の両方の長所を持つ。特に、離散ウェーブレット変換がキーフレームに適用されることにより、画像歪みが比較的低く、ビデオストリーム全体の品質が比較的高く、また、圧縮率が高いので記憶スペースを減少させることができる。同時に、非キーフレームに対する離散コサイン変換の使用は、アルゴリズムの計算難度を低減しながら計算上の柔軟性を大きく向上させることができる。
【００２３】
以下、本発明に係る方法によって、キーフレームが如何に離散ウェーブレット変換を使用して、出力コードストリームに処理されるかを、図３〜図５を参照して説明する。
【００２４】
処理ステップは以下の通り、即ち、１）キーフレームを長方形のタイルに分解し、２）各タイルに対して、離散ウェーブレット変換（ＤＷＴ）を適用してサブバンド係数に変換し、３）サブバンド係数に対して量子化を行ない、その結果を符号化ブロックに収集し、４）各符号化ブロックの係数のビットプレーンをエントロピー符号化することである。
【００２５】
図３は、本発明に係る方法によって、キーフレームが如何に処理されるかを示す図である。図３に示されているように、このスキームでは、ビデオ信号中のキーフレームは複数の長方形のタイル（例えば、タイル、Ａ１〜Ａｎ）に分割され、そして、離散ウェーブレット変換は各タイルに適用される。例えば、各タイルはそれぞれ、２階層のウェーブレット分解を受けて、７つの異なるサブバンド（図４をも参照、それぞれＨＨ１、ＨＬ１、ＬＨ１、ＨＨ２、ＨＬ２、ＬＨ２、及びＬＬ２）を形成する。さらに、図４は、キーフレーム３に対して１０のサブバンドを形成する３階層のウェーブレット分解を示している。図４において、ＬＬ３は低周波サブバンドであり、ＨＨ１は高周波サブバンドである。
【００２６】
さらに図３に示されているように、サブバンド係数をさらに（例えば６４×６４あるいは３２×３２の）符号化ブロックのアレイに分割し、即ち、同じサブバンドの変換係数を複数の矩形の符号化ブロックに配列する。符号化ブロック化が完了した後、各符号化ブロックを基本ユニットとし、後続の圧縮を行う。量子化が各符号化ブロック内に独立に行なわれてから、各符号化ブロック内の係数のビットプレーンがエントロピー符号化される。各符号化ブロックがそれぞれ別々に符号化されるので、生成されたコードストリームは必要に応じて可変長ビットの形式を使用することができる。
【００２７】
これらのビットプレーンは、非ゼロの最上位ビットプレーン（Most Significant Bit-plane、以下、ＭＳＢとも記す）から始まり、最下位ビットプレーン（Least Significant Bit-plane、以下、ＬＳＢとも記す）で終わる。図５は、ビットプレーンの走査パターンの一例を示している。その後、各ビットプレーンはそれぞれエントロピー符号化を使用してコードストリームに符号化される。実用的原則は、符号化ブロック中の各ビットプレーンに対してそれぞれ特定の方法を使用して係数走査を行うことである。図５に示すように、左側の最上部の係数からスタートして、符号化ブロック中の係数がすべて走査されるまで１カラムとして４つの係数ごとに係数を連続走査する（例えば０、１、２、３、その後、４、５、６、７など）。その後、係数は、その出現頻度に基づいて昇順に配列される。
【００２８】
好ましい実施の形態で使用される離散ウェーブレット変換の分解及び再構成の公式には、既存のマラー（Ｍａｌｌａｔ）アルゴリズムを使用する。式１〜３に示されるように、式１はウェーブレット関数、式２はウェーブレット変換係数を得るための展開（分解）公式、また、式３は再構成公式、即ち、逆ウェーブレット変換公式である。
【００２９】
【数１】
2007028579.tif 000003
式１及び式２の中で示されるように、デジタルビデオ信号｛C０ｎ｝が与えられる。このデジタルビデオ信号｛C０ｎ｝は直交基底によって展開されており、また、デジタルビデオ信号のＶ０は関数ｆ０＝ΣC０ｎφ０ｎで定義される。ここでは、｛φ０ｎ｝はＶ０の正規直交基底である。
【００３０】
以下、キーフレームに使用されるＤＷＴアルゴリズム公式、及び、それにより示された、空間領域の統合性と周波数領域の局部化の観点から見たその特徴を、式２、式３を参照して議論する。｛Cｊ｝が｛Cｊ＋１｝の次階層のウェーブレット分解より得られた低周波サブバンドであるため、CｊはCｊ＋１の平滑なバージョンである（CｊとCｊ＋１は、画像から判断すれば同じフレームであるが、Cｊはより滑らかで、その輪郭がより不明瞭である。そのため、CｊはCｊ＋１の平滑なバージョンと呼ばれる）。ｄｊはCｊ＋１の次階層のウェーブレット分解より得られた高周波サブバンドであるので、Cｊ及びCｊ＋１間の差分情報である。このように、CｊはCｊ＋１の滑らかなバージョンで、ｄｊはCｊ及びCｊ＋１間の差分情報であるため、ＤＷＴ変換は、空間領域では良好な整合性、周波数領域では良好な局部性を有する。
【００３１】
上記の説明は主に、ビデオストリームのキーフレームが如何に離散ウェーブレット変換を使用して処理されるかに着目している。非キーフレームのフレーム間計算を、以下に説明する。
【００３２】
好ましい実施の形態による、非キーフレームの離散コサイン変換（ＤＣＴ）に使用する計算式は、式４及び式５に示されている。式４は、非キーフレームの二次元離散偶コサイン変換の計算式、式５は逆変換の計算式である。
【００３３】
【数２】
2007028579.tif 000004
ここでは、ｕ、ｖは共に０、１、．．．Ｎ−１の整数である。ｕ＝０及びｖ＝０のとき、それぞれＥ(ｕ)及びＥ(ｖ)＝１／２0.5となる。ｕ＝１、２、．．．Ｎ−１及びｖ＝１、２、．．．Ｎ−１のとき、それぞれＥ(ｕ)及びＥ(ｖ)＝１となる。（ｕ，ｖ）は、周波数領域における係数位置を表し、（ｘ，ｙ）は、空間の領域におけるピクセル位置を表し、ｆ（ｘ，ｙ）は、位置（ｘ，ｙ）に位置するピクセルの値を表し、Ｃ（ｕ，ｖ）は位置（ｕ，ｖ）での周波数係数値を表し、また、Ｎは、２次元アレーの幅及び長さを表わす。即ち、ｕが０である場合、Ｅ（ｕ）は１／２0.5である。ｖが０である場合、Ｅ（ｖ）は１／２0.5である。これに反して、ｕが０でない場合、Ｅ（ｕ）は１である。ｖが０でない場合、Ｅ（ｖ）は１である。
【００３４】
フレーム間計算に離散コサイン変換を使用する利点は次の通りである。第１に、離散コサイン変換は、可分性の特徴を有し、一次元の計算へ分解されることができるので、高速計算の実現を促進することができる。次に、フレーム間のより小さな詳細に関する比較的小さなエリアの計算、例えば１６×１６または８×８のマクロブロックの計算により適している。
【００３５】
次に、本発明に係る方法による、非キーフレームのフレーム間計算の実際の処理を、図図６〜図９を参照して説明する。図６〜図９は、主として人間の顔の画像処理の一例を示している。離散コサイン変換を用いた圧縮技術が当技術分野において良く知られているので、以下ではその詳細な説明を簡潔さのために省略する。以下の説明は主として、本発明に係る方法がどのように従来技術と異なるかについて行う。
【００３６】
図６に示すように、始めに、ステップ２０１で受信端から受け取ったパケットロス情報に基づいて、ステップ２０２において、キーフレームの圧縮率及び非キーフレーム用の量子化係数を表す現在画像品質因子を計算する。この計算された画像品質因子は、ステップ２０３で格納され、その後、現在シーンの目及び顔の情報は、ステップ２０４で検出される。検出された現在シーンの目及び顔の情報は、ステップ２０５において目及び顔エリアの符号化のために格納される。ステップ２０６においては、フレーム間マクロブロックを検出する。この検出では、図７（ａ）〜（ｃ）及び図８(ａ）、（ｂ）に示すように、２つの隣接するフレームを比較して、動きのあった部分（図７ｃを参照）にラベルを付ける。その後、ステップ２０７において動きの関連するエリアを構成し、図８に示すように、構成後の顔の大部分が組み立てられる。ステップ２０８において、後続の分類及び符号化のために動きブロックを読み出す。ステップ２０９において、無視可能な、隔離しているマクロブロックを確認する。ステップ２１０において、顔と目の情報に基づいて、動きブロック内の顔エリアを検出する。
【００３７】
ステップ２１１において、画像品質因子に基づいてコードストリーム制御パラメータ（つまり現在ビットレート）を割り当てる。ステップ２１２において、ブロック中の顔に関連するエリアに対して独立した符号化を行い、即ち、図９（ｂ）に示すように、ブロック中の顔に関連するエリアｃ及びｄに対して独立した符号化を行う。次に、ステップ２１３において、他のエリアの符号化を行い、即ち、図９（ｂ）に示すように、他のエリアｅ、ｆ、ｇ及びｈの符号化を行う。ステップ２１４において、図９（ｂ）に示すように、目及び顔エリアａ、ｂの精密な符号化を行って、最後に、ステップ２１５において符号化結果を組み合わせて、出力用のビデオストリームにパケット化する。本発明に係る方法の上記第１側面は、処理速度が６００ＭＨｚ以上のパーソナルコンピュータを使用して実現することができる。
【００３８】
本発明に係る方法の第２側面では、ビデオ信号のフレーム中の動きオブジェクトのマクロブロックを検出した場合、ビデオ信号のフレーム中の動的なマクロブロックのみが計算される。静的なマクロブロックに関しては、バッファーに一時的に格納され、処理されない。動きベクトル検出に関しては、より大きなサーチエリアからスタートして探索精度を漸進的に高めて、最も近い探索結果に徐々に接近させ、そして最後に該探索結果を得るように探索を行う。それによって、処理効率を向上させることができる。
【００３９】
本発明に係る方法では、動的なマクロブロックと静的なマクロブロックを区別してそれぞれに異なる処理を行う。図１０（ａ）及び（ｂ）に示すように、重要な成分である動的なマクロブロック、例えば、ビデオフレーム中の動きオブジェクト７０２（人体）に対しては更なる計算を行う一方、ビデオフレーム中の静的なマクロブロック、例えば、動きのないオブジェクト７０１（バックグラウンド）は、バッファーに一時的に格納される。
【００４０】
図１１は、動きオブジェクトを検知する方法を示すフローチャートである。図１１に示すように、最初に、ステップ３０１において、動きオブジェクトのマクロブロックがビデオフレームにあるかどうかを検出し、ある場合に、ステップ３０２において個々のマクロブロックを検出し、それぞれの特徴を、背景、前景及び境界領域のようないくつかの特徴クラスに分類する。ステップ３０３において、分類された符号化の目的を達成するために、個々の動きマクロブロックを、その特徴クラスに基づいて構成する。ステップ３０４において構成が成功したと決定し次第、ステップ３０５で画像内のすべての動きオブジェクトを検出することができる。もし、ステップ３０１でマクロブロックが動きマクロブロックでなく、或いは、マクロブロックが共通の動き方向のような分類された特徴を持たないためステップ３０４で構成が失敗したと決定した場合、ステップ３０６において、検出されたそのマクロブロックをノイズあるいは無視できる部分とする。
【００４１】
動きベクトルの探索プロセスでは、主に集合分割スキームを使用する。集合は主として、Ｒ１＝｛現在位置｝、Ｒ２＝｛参照位置のそれぞれ上下及び左右側にある、４つの空間的に隣接するブロックの動きベクトル｝、及びＲ３＝｛参照位置の動きベクトルが指している動きトラック｝に分類される。
【００４２】
動きベクトル探索処理の手順が、以下の通りである。
【００４３】
（ｉ）  集合Ｒ１内の動きベクトルを検出し、また、現在最小の、絶対差の合計（Sum of Absolute Difference、以下ＳＡＤと記す）を計算する。計算されたＳＡＤ値がしきい値Ｔ１未満である場合、探索を中止し、また、現在位置を最適動きベクトルとして確定する。そうでなければ、処理は（ｉｉ）に進む。
【００４４】
（ｉｉ）  集合Ｒ２内の動きベクトルを検出し、現在最小のＳＡＤを計算する。計算された値がしきい値Ｔ２未満である場合、探索を中止し、現在位置を最適動きベクトルとして確定する。そうでなければ、処理は（ｉｉｉ）に進む。
【００４５】
（ｉｉｉ）  集合Ｒ３内の動きベクトルを検出し、現在最小のＳＡＤを計算する。計算された値がしきい値Ｔ３未満である場合、探索を中止し、現在位置を最適動きベクトルとして確定する。そうでなければ、より高い探索精度で高度な探索を行う。
【００４６】
次に、図１２を参照して、本発明に係る方法による動きベクトル探索のプロセスを説明する。基本的な探索単位は、１ブロックである。Ｘ又はＹ軸における各ブロックのサイズは異なってもよい（例えば１６×１６ピクセルブロック、あるいは８×８ピクセルブロック）。ブロックの範囲の縮小によって、より高い探索精度を得ることができる。特定の探索精度で、例えば、１６×１６ピクセルブロックを探索単位として使用して最適動きベクトルを得ることができなかった場合、８×８ピクセルブロックをベースにした探索を通じて探索精度を高めることができる。特に、探索プロセスとしては、より大きなサーチエリア（例えば１６×１６ピクセル）から始まり、サーチエリアを８×８ピクセル、１×１ピクセル、及び１／２×１／２ピクセルに小さくし探索精度を漸進的に高めて、最も近い探索結果に徐々に接近させ、そして最後にその探索結果を取得することができる。
【００４７】
図１２は、特定の精度（１６×１６ピクセルブロック）の探索プロセスを示す図である。それは、４ブロックを最初の探索範囲にして、原点（０、０）からスタートして、座標（−４、０）、（４、０）、（０、−４）へ行き、そして座標（０、４）で終わる。探索プロセスの第２ステップでは、探索範囲は２ブロックに変わり、また、開始点は、動きベクトルの方向が開始点から上向きするという条件で座標（０、４）に割り当られる。探索シーケンスはそれぞれ左側、右側及び上側である。この精度での次の探索プロセスは座標（０、６）から始まり、探索範囲として１ブロックを使用する。その後、もし最適動きベクトルをまだ得ることができない場合、探索プロセスはより高い探索精度の下で継続される。
【００４８】
本発明に係る方法の上記第２側面も、処理速度が６００ＭＨｚ以上のパーソナルコンピュータを使用して実現することができる。
【００４９】
本発明に係る方法の第３側面では、異なる量の送信データによって使用される帯域幅状況に基づいて、データ伝送がより柔軟になるように、対応する送信レベルを設定する。
【００５０】
図１３は、本発明に係る方法によるビデオ信号の圧縮、送信、復元及び再構成を行うビデオ処理システム１００の処理手順を示す図である。ビデオ処理システム１００は、ソース信号符号化手続き及びチャネル符号化手続きを行なう送信端１１を備える。ソース信号符号化手続きは、離散変換ステップ１１１、量子化ステップ１１２、及びエントロピー符号化ステップ１１３を含んでいる。チャネル符号化手続きは、品質階層的パケット化ステップ１１４及び順方向誤り訂正（Forward Error Correction、ＦＥＣ）符号化ステップ１１５を含んでいる。
【００５１】
ビデオ処理システム１００の受信端１２は、チャネル復号手続き及びソース信号復号手続きを行う。チャネル復号手続きは、順方向誤り訂正復号ステップ１２１、及び品質階層的デパケット化（パケットの分解）ステップ１２２を含んでいる。ソース信号復号手続きは、エントロピー復号ステップ１２３、逆量子化ステップ１２４、及び逆離散変換ステップ１２５を含んでいる。
【００５２】
ソース信号符号化手続きでは、離散コサイン変換（ＤＣＴ）あるいは離散ウェーブレット変換（ＤＷＴ）が適用されて、入力されたソースビデオ信号を変換係数に変換する。量子化ステップ１１２では、変換係数は、対応する量子化係数を使用して量子化される。エントロピー符号化ステップ１１３では、量子化された結果は、ハフマン符号化又は算術符号化のようなスキームを使用して符号化される。それらに対応するように、受信端１２でも、ビデオ信号を再構築するために、エントロピー復号ステップ１２３、逆量子化ステップ１２４、及び逆離散変換ステップ１２５を実行する必要がある。
【００５３】
本発明に係る方法の第４側面では、表１に示すように、異なるパケットロス率に応じて、順方向誤り訂正（ＦＥＣ）手続きは、パケットロス隠蔽（Packet Loss Concealment、以下ＰＬＣとも記す）手続きと組み合わせて使用されている。パケットロス率は、送信されたパケットの総数に対する失われたパケットの数の比率として定義される。異なるパケットロス率は異なる順方向誤り訂正レベルに対応する。送信されたビデオ信号を復元するために順方向誤り訂正手続き及びパケットロス隠蔽手続きは、異なるパケットロス率の予測範囲（０〜４０％）内の各順方向誤り訂正レベルに分配された百分率で使用される。
【００５４】
【表１】
2007028579.tif 000005
この方法では、送信したパケットの遅延が大きすぎて、ビデオ処理システム１００の復号側のバッファーの長さを超えた場合、該パケットが失われたと考える。順方向誤り訂正手続きはデータの一部を復元するために使用される一方、復元できない残りのデータは、パケットロス隠蔽手続きを使用して隠蔽される。これらの手続きの組合せた使用は、パケットロス率が４０％である条件の下でもビデオ信号の識別を許容可能な水準に確保する。
【００５５】
百分率の分配は、例えば、次のようなものであってもよい。即ち、パケットロス率が１０％以上に上昇する場合、順方向誤り訂正レベルが自動的に１に調節され、パケットロス率が２０％以上である場合、順方向誤り訂正レベルが自動的に２に調節され、一方、パケットロス率が１０％〜２０％に低下した場合、順方向誤り訂正レベルが自動的に調節されて１に戻る。
【００５６】
図１４に示されるように、品質階層的パケット化ステップ１１４では、パケットオペレーションは、現在使用可能な帯域幅及びビットレートの送信レベルを異なる品質階層に応じて分割することに基づいている。特に、現在使用可能な帯域幅及びビットレートは、ビデオストリームのパケットロス率によって決定される。本実施の形態では、図１４に示されるように、Ｑｉによって表された品質階層はそれぞれ、異なる符号化ブロックＢｉに対応する。品質階層は、画像品質が各レベルにつれて徐々に高くなり、画像変形が低いレベルから高いレベルにつれて縮小するように形成される。特に、符号化ブロックはある階層では空であり得、例えば、Ｂ３はＱ１階層ではビットストリームを全く含んでいない。
【００５７】
従って、品質階層的に形成されたコードストリームは、柔軟な歪み率を有し、また、このように符号化された圧縮データは、漸進伝送(progressive transmission)特性を有する。
【００５８】
表２に示されるように、チャネル符号化／復号手続きでは、対応する送信レベルは、品質階層的パケット化ステップ１１４での現在使用可能な帯域幅及びビットレートに応じて設定される。各送信レベルはそれぞれ１つのビットレートを割り当てられる。グループ化された、品質階層に対応する符号化ブロックは、パケットに分割される。データパケットのそれぞれ属するレベルは送信／受信の時に決定される。その後、データパケットはそのレベルに応じて割り当てられたビットレートに基づいて符号化される。受信の場合、データパケットは、品質階層的デパケット化ステップ１２２で判別したそのレベルに応じて割り当てられたビットレートに基づいて復号される。表２はビデオ処理システムの品質階層及び対応する送信レベルを示している。ここでは、ｎは、パケットの総数、ｋは、有効なパケット（パケットロス率＝（ｎ−ｋ）／ｎ）の数をそれぞれ表す。
【００５９】
【表２】
2007028579.tif 000006
前述のチャネル符号化／復号手続きでの順方向誤り訂正符号化ステップ１１５及び順方向誤り訂正復号ステップ１２１で使用される誤り訂正スキームを、以下に説明する。
【００６０】
また、表２では、ｎとｋは、順方向誤り訂正におけるｎカラムｋローの行列をも指している。
【００６１】
（１）ｎカラムｋローのマトリックスＧは送信端１１のエンコーダで構築される。マトリックスＧの任意のｋ×ｋサブマトリックスｇは可逆である。マトリックスＧの各要素はそれぞれガロア体ＧＦ（８）の要素である。ｋデータパケットのパケット長バイトは、ガロア体ＧＦ（８）の中の要素に対応する
（２）マトリックスＧを使用してソースデータのｋデータパケットの線形変換を行って、パケット長バイトのｎデータパケットを得る。このｎデータパケットは、１符号語(codeword)の符号化データである。この符号語の符号化データは、ビデオ処理システム１００の受信端１２に送信される。
【００６２】
（３）ｋ以上のデータパケットを有する符号語が受信端１２のデコーダーによって受信された場合、ｋデータパケットが対応するマトリックスＧの中のカラムを用いて、対応するサブマトリックスｇを構築する。
【００６３】
（４）サブマトリックスｇが可逆行列であるので、それに対応する線形方程式の唯一の解を解くことができる。この解を、送信端１１で符号化する前の正しいｋデータパケットの再構築データとする。
【００６４】
図１５は、送信端１１でソースデータが如何に順方向誤り訂正を介して符号化データに符号化されるのかを示す図である。受信端１２で受信したデータがｋパケット以上の符号語である場合、符号語は、順方向誤り訂正復号を介してｋパケットに復号され、その結果、受信端１２は、エラーも生成せずに、送信端１１で送信にあたって符号化されたｋパケットをすべて解くことができる。
【００６５】
ビデオ信号のエラー修復のパフォーマンスを改善するために、パケットロス隠蔽（ＰＬＣ）プロセスは、順方向誤り訂正と組み合わせて適用される。
【００６６】
ビデオ信号については、空間領域での各フレーム内の冗長性に加えて時間領域でも隣接するビデオフレーム間に顕著な統計的な冗長性が存在する。パケットロス隠蔽を行なう直接的なアプローチは、隣接するブロックデータが正しく再構築されたと仮定して、空間の冗長性を使用して、隣接するブロックから破損を受けたブロックを補間することである。別の方法としての時間的な補間は常によりよいエラー隠蔽を達成することができる。実際上、パケットロス隠蔽は、２種類の技法を組合せて実施される。
【００６７】
１つ単純な方法は、前のフレームの空間的に対応するマクロブロックを利用して、破損を受けたマクロブロックを取り替える。この方法は単純であるが、動きがある状態では潜在的な問題を生ずることがある。通常、破損を受けたマクロブロックを、動き補償されたブロックに取り替えることにより、著しい改善が得られる。エンコーダはフレーム間符号化されたマクロブロック用の動きベクトルを送信する。その結果、これらのブロックは破損された場合に一層よく修復されることができる。動きベクトルも破損された場合、破損された動きベクトルは、周囲のマクロブロックの動きベクトルから推測される必要がある。
【００６８】
本発明に係る方法の第５側面では、最適化マッチングパラメータモデルをシステムに構築する。この最適化マッチングパラメータモデルによって、キーフレーム及び非キーフレームの符号化には、現在送信ビットレート及びネットワークの利用可能な帯域幅に応じた異なるビット数が割り当てられる。したがって、符号化されたビデオストリームはより少ない歪みを受ける。また、キーフレーム及び非キーフレームはより均質のビデオストリームになることができる。
【００６９】
キーフレーム及び非キーフレームを１つのビデオストリームに統合するために、以下に示されたような最適化マッチングパラメトリック関数モデルを構築することが必要である。
【００７０】
【数３】
2007028579.tif 000007
ここで、ｒはビットレートを表わし、Ｓは符号化複雑度を表わし、Ｑは、キーフレームの圧縮率あるいは非キーフレームの量子化係数を示す画像品質因子を表し、また、ｃ１とｃ２は歪み定数である。
【００７１】
最適化マッチングパラメータモデルは、下記タスクに備えて適用することができる。
【００７２】
（１）画像品質因子の初期化：  キーフレームについては、ビットレートパラメータに対応する初期圧縮率の値を、図１６に示すような統計カーブである圧縮率カーブから見つけ、非キーフレームに関しては、量子化器の自己適応領域を、図１７（同じく統計カーブ）に示すように、初期化する。両図にそれぞれある２本のカーブは、各々の領域の上限及び下限である。この二つの初期化はフレーム間バランスを達成するための重要なステップである。
【００７３】
（２）現在フレームの目標ビットレートの計算：  この点については、後続の段落で説明される現在フレーム目標ビットレートのためのアルゴリズムを参照することができる。
【００７４】
（３）最適化マッチングパラメータに基づいて、キーフレーム用の圧縮率、及び非キーフレームの量子化パラメータを解き、そして、
（４）最適化マッチングパラメータモデルのパラメータを更新する。
【００７５】
図１８は、本発明に係る方法による、最適化マッチングパラメータモデルの構築及びその使用を示す図である。図１８に示されているように、最適化マッチングパラメータモデルは主に、符号長の自己適応的調整の目的を達成するためにキーフレームの圧縮率、及び非キーフレームの量子化係数を調節するのに利用される。
【００７６】
ステップ７０１：  ビデオ処理システム１００において、最適化マッチングパラメータモデルを構築し、モデル中のパラメータを初期化する。最適化マッチングパラメータモデルは、式６に示しており、ここで、ｒはビットレートを表わし、Ｓは符号化複雑度を表わし、Ｑは、キーフレームの圧縮率及び非キーフレームの量子化係数を表わし、また、ｃ１とｃ２は歪み定数である。
【００７７】
【数４】
2007028579.tif 000008
キーフレームの入力がある場合、最適化マッチングパラメータモデルは、式７に示されるものとなり、ここでのｒ、Ｓ、Ｑ、ｃ１及びｃ２は、式６と同様に定義されており、Ｐは、キーフレームのパラメータを再度送信する情報を表わし、また、ｃ３は伝送におけるパケットロス率を表わす。
【００７８】
【数５】
2007028579.tif 000009
ステップ７０２：  キーフレーム及び非キーフレームに割り当てた異なる帯域幅に基づいて、パケットロス率を使用して現在データパケットによって使用可能なビットレートｒを検出する。ビットレートｒは、現在用いられているビット数及び最も近接しているフレームのビットレートを参照する。
【００７９】
ステップ７０３：  ビットレートを最適化マッチングパラメータモデルに代入し、Ｑ（キーフレームの圧縮率あるいは非キーフレームの量子化係数）の値を得る。ここでは、Ｓ、ｃ１、ｃ２は、前のフレームのパラメータから得ることができ、ｃ３は現在の伝送パケットロス率であり、また、Ｐは最も隣接するキーフレームのパラメータを再度送る情報である。上記のものはすべて既知のパラメータである。上記のパラメータを最適化マッチングパラメータモデルに代入し、数値近似を使用してＱの値を得る。
【００８０】
ステップ７０４：  ステップ７０３で得られた圧縮率を使用してキーフレームの圧縮を行い、また、量子化係数を使用して非キーフレームの量子化を行う。
【００８１】
ステップ７０５：  上記の圧縮及び量子化のプロセスの後、キーフレーム及び非キーフレームはそれぞれ、符号化される。
【００８２】
ステップ７０６：  量子化係数及び圧縮率は、順方向誤り訂正符号化を行なうために、ビデオ処理システム１００の送信端１１へフィードバックされる。
【００８３】
ステップ７０７：  最適化マッチングパラメータモデル中のパラメータを更新して、ビデオ処理システム１００の受信端１２で復号を必要とするデータの内容を自己適応的に調節する。
【００８４】
本発明に係る方法の第６側面では、フレーム間バランスアルゴリズムは主に、フレーム間ジッタ現象及び非平滑の問題を有効に抑えて補償するために使用される。そのような問題の発生は、キーフレーム及び非キーフレームを処理するために異なる計算技術の使用に起因し、またビデオストリーム全体に不連続の視覚効果をもたらす場合がある。
【００８５】
図６に示すように、フレーム間バランスの処理は主として、送信端１１が現在有する画像品質因子の格納（ステップ２０３）、及び画像品質因子に応じた、送信端１１が現在有すべき現在ビットレートの割り当てに集中している（ステップ２１１）。
【００８６】
いわゆるフレーム間バランスは、キーフレーム及び非キーフレームの輝度及び画像品質因子の調整を通じて視覚的な不連続を訂正することであり、具体的には、現在フレームの目標ビットレートを計算するアルゴリズムとして具現される。目標ビットレートは、使用したビット数及び最も近接するフレームのビットレートに基づいて決定される。そのアルゴリズムを、以下に示す。
if（Key Frame） /＊キーフレーム＊/
｛
T = Tl * 0.80 + S * 0.20 ;
/＊  Tlは、前のフレームの実際の符号ビット数を表し、
Sは符号化複雑度を表わす  ＊ /
if(T >= Brate / Frate)
T = Brate / Frate + (Brate / Frate - T) * 0.75 ;
else
T = Brate / Frame + (Brate / Frame - T) * 1.25
/＊  現在のフレームの目標レートを計算する  ＊ /
min = Brate / Frame  * 0.1 ;
max = Brate / Frame  * 10 ;
T = rang(min, max) ;  /＊  オーバーフロー及びアンダーフローを防ぐ  ＊ /
}
else   /＊  非キーフレーム  ＊ /
{
T = Tl * 0.90 + S * 0.10 ;
if(T >= Brate / Frate)
T = Brate / Frate + (Brate / Frate - T) * 0.65 ;
else
T = Brate / Frame + (Brate / Frame - T) * 1.35
/＊  現在フレームの目標ビットレートを計算する  ＊ /
min = Brate / Frame  * 0.05 ;
max = Brate / Frame  * 2 ;
T = rang(min, max) ;  /＊  オーバーフロー及びアンダーフローを防ぐ  ＊ /
Ti = Bi / Fi 
/＊  Biは、最後の時に残った帯域幅を表し、Fiは、最後の時に残ったフレームの数を表す  ＊ /
if (T < Ti/2)
T = Ti - T;
要するに、本発明に係る方法は、以下の長所を持つ：
１．  画像圧縮処理に離散ウェーブレット変換技術あるいは離散コサイン変換技術のいずれかを使用する従来の画像圧縮技術と比較して、本発明に係る方法は、これらの２つの技術の利点を組み合わせて利用する。特に、キーフレームの処理に離散ウェーブレット変換を使用し、非キーフレームのフレーム間計算に離散コサイン変換を使用している。したがって、離散ウェーブレット変換を使用した場合にキーフレームの歪む可能性が低いので、動きベクトル検出を行うとき、非キーフレームのマッチング中にエラーを生じる可能性も低くなる。他方では、フレーム間計算を処理するための離散コサイン変換の使用は、高速計算の実現を促進し、且つ、小さいマクロブロック計算に適している。
２．  本発明に係る方法では、動きベクトル探索処理は、比較的大きなサーチエリアからスタートし、漸進的に探索精度を増大させて、最も近い探索結果に徐々に接近し、且つ最後にその探索結果を得ることができるので、処理効率を向上させることができる。
３．  本発明に係る方法では、異なる使用可能な動的な帯域幅制限に基づいて対応する送信レベルを設定し、且つ各送信レベルに１つのビットレートを割り当て、データパケットの送信レベルを決定した後にその送信レベルに基づいて割り当てられたビットレートに応じて該データパケットを符号化／復号するので、データの送信はより柔軟となる。
４．  本発明に係る方法では、２つの修復手続き、即ち、受信データの正確さを保証できる順方向誤り訂正手続き及び、受信端１２でのデータを使用してデータを修復するために使用される修復手順を採用したので、ビデオ信号の受信品質を維持することができる。帯域幅及びバッファ長の制約により、連続して失われたパケットのデータがシステムバッファーの許容する長さを超過する場合、順方向誤り訂正手続きの単独使用だけではデータの完全な復元を達成することができない。従って、本発明に係る方法では、順方向誤り訂正手続きを使用して、まずデータの一部を復元し、残りの復元可能ではないデータについては、パケットロス隠蔽手続きを使用して修復する。従って、最高４０％までのパケットロス率の下でもデータを復元し修復して、許容可能な水準の認識を得ることができる。
５．  本発明に係る方法では、最適化マッチングパラメータモデルを構築した。このモデルの使用によって、ビデオ処理システム１００は、キーフレームの圧縮率及び非キーフレームの量子化係数である画像品質因子を自己適応的に調節して、符号長を調節することができる。
６．  本発明に係る方法は、キーフレーム及び非キーフレームを処理するために２つの異なる計算技術の使用に起因するフレーム間ジッタあるいはフレーム間非平滑の現象について、フレーム間バランスアルゴリズムを提供してこれらの現象を有効に抑えて補償する。
【００８７】
以上では、本発明を、最も実用的、且つ好ましいと考えられる実施の形態に関連して説明したが、本発明は、上記開示された実施の形態に限定されるものではなく、種々の修正及び均等な配置をすべて包含するような最も広い解釈の思想及び範囲内に含まれる様々な配置をカバーすることが意図されていることは言うまでもない。
【図面の簡単な説明】
【００８８】
【図１】ＭＰＥＧビデオ符号化画像のデータストリームのデータ構造を示す概要図である。
【図２】ＭＰＥＧ圧縮標準による動きベクトルを説明する概要図である。
【図３】本発明に係る方法の実施の形態による、コードストリームを出力するためにキーフレームが如何にブロック符号化を使用して処理されるかを示す概要図である。
【図４】３階層の離散ウェーブレット変換を使用して、１つの画像を１０のサブバンドに分解する例を説明する概要図である。
【図５】符号化ブロック中の各ビットプレーンに対して、左側の最上部の係数からスタートして、１列の４係数ごとに連続してスキャンを行うスキャンパターンの一例を示す概要図である。
【図６】主に人間の顔の画像を例に使用して、本発明の実施の形態による非キーフレームのフレーム間計算の実際の処理を示すフローチャートである。
【図７】本発明の実施の形態に係る、フレーム間マクロブロックの検出を説明する図である。
【図８】本発明の実施の形態に係る、動きの関連するエリアをグループ化することを説明する図である。
【図９】人間の顔及び目の情報に基づいた動きブロック内の顔エリアの検出を説明する図である。
【図１０】本発明の実施の形態に係る、動的なマクロブロック及び静的なマクロブロックを区別して異なる処理を行うことを説明する図である。
【図１１】本発明の実施の形態に係る、動きオブジェクトを検出するスキームを説明するフローチャートである。
【図１２】本発明の実施の形態に係る、徐々に小さくなる探索エリアで探索精度を漸進的に高めて処理効率を向上させることができる動きベクトルの探索処理の一例を示す図である。
【図１３】本発明の実施の形態に係る、ビデオ処理システムの送信端及び受信端によって実行される処理ステップを示す図である。
【図１４】異なる品質階層に基づいた、現在使用可能な帯域幅及びビットレートの対応する送信レベルの設定を説明する図である。
【図１５】本発明の実施の形態において使用された順方向誤り訂正手続きを示す概念図である。
【図１６】圧縮率の自己適応領域を示すカーブをプロットした図である。
【図１７】量子化係数の初期値の自己適応領域を示す図である。
【図１８】本発明の実施の形態に係る、最適化マッチングパラメータモデルの構築及びその使用を示すフローチャートである。
【符号の説明】
【００８９】
３  キーフレーム
５１  所定のブロック
５２  対応ブロック
５３  動きベクトル
５０１  前の参照フレーム
５０２  現在フレーム
５２０  所定のポイント
【図１】
2007028579.tif 000014
【図２】
2007028579.tif 000015
【図３】
2007028579.tif 000016
【図４】
2007028579.tif 000017
【図５】
2007028579.tif 000018
【図６】
2007028579.tif 000019
【図１１】
2007028579.tif 000020
【図１２】
2007028579.tif 000021
【図１３】
2007028579.tif 000022
【図１４】
2007028579.tif 000023
【図１５】
2007028579.tif 000024
【図１６】
2007028579.tif 000025
【図１７】
2007028579.tif 000026
【図１８】
2007028579.tif 000027
【図７】
2007028579.tif 000028
【図８】
2007028579.tif 000029
【図９】
2007028579.tif 000030
【図１０】
2007028579.tif 000031