(57)【要約】      （修正有）【課題】画像ノイズにより引き起こされる画像の静止領域の誤った再符号による問題を緩和するテレビ会議システム。【解決手段】現在のマクロブロックの符号化パラメータと、最後に符号化された同じマクロブロックの符号化パラメータとを評価する。双方のマクロブロックについて符号化が［０，０］動きベクトルを備え、小さい量子化パラメータを備えている場合、現在のマクロブロックは静止画像を表すという判断が行われる。従って、アルゴリズムはそのマクロブロック内のブロックの符号化の閾値を増加させ、それによりその特定のブロックが再符号されることが更に困難になる。このことは、システムの帯域を維持し、画像品質を改善する一方で、誤った再符号に影響を受けにくい静止した内容を備えたブロックにする。従って、符号化の閾値Ｔ１の調整をせずに、関連したノイズ評価技術がエンコーダ又はデコーダで使用され得る。【選択図】図５
2005057761.tif 000002
【特許請求の範囲】
【請求項１】
画像の領域を符号化するための符号化の閾値を調整するために、エンコーダで実施可能な方法であって、
前記符号化の閾値が、前記領域が符号化されるべきか否かを判断し、
第１の時間に、前記エンコーダにより作られた第１のエンコード・パラメータを用いて、前記領域の第１の画像表示をエンコードし、
前記第１の時間より後の第２の時間に、前記エンコーダにより作られた第２のエンコード・パラメータを用いて、前記領域の第２の画像表示をエンコードし、
前記画像が見込みで静止しているか否かを判断するために、前記第１と第２のエンコード・パラメータを少なくとも評価し、
前記画像が見込みで静止している場合に、前記ブロックの少なくとも一部について、前記エンコーダの前記符号化の閾値を調整することを有する方法。
【請求項２】
デコーダに画像情報を伝送可能なエンコーダで実施可能な方法であって、
第１の時間に、前記エンコーダにより作られた第１のエンコード・パラメータを用いて、前記画像の前記領域の第１の画像表示をエンコードし、
前記第１の時間より後の第２の時間に、前記エンコーダにより作られた第２のエンコード・パラメータを用いて、前記領域の第２の画像表示をエンコードし、
前記画像が見込みで静止しているか否かを判断するために、前記第１と第２のエンコード・パラメータを少なくとも評価し、
前記画像が見込みで静止している場合に、前記領域の少なくとも一部について、非符号化信号をデコーダに送信することを有する方法。
【請求項３】
請求項１又は２に記載の方法であって、
前記第１と第２のエンコード・パラメータが、それぞれ第１と第２の動きベクトルを少なくとも有しており、
前記画像が見込みで静止しているか否かを判断するために評価することが、前記第１と第２の動きベクトルが実質的にゼロであるか否かを判断することを有する方法。
【請求項４】
請求項１又は２に記載の方法であって、
前記第１と第２のエンコード・パラメータが、それぞれ第１と第２の量子化パラメータを少なくとも有しており、
前記画像が見込みで静止しているか否かを判断するために評価することが、前記第１と第２の量子化パラメータがそれぞれ第１と第２の量子化パラメータの閾値より小さいか否かを判断することを有する方法。
【請求項５】
請求項１に記載の方法であって、
前記符号化の閾値を調整することが、前記第２の時間に前記ブロックをエンコードする可能性を減少させるように、前記符号化の閾値を調整することを有する方法。
【請求項６】
請求項１又は２に記載の方法であって、
前記第１と第２のエンコード・パラメータが、それぞれ前記領域の前記第１と第２の画像表示がｉｎｔｅｒ符号化されているか否かを有しており、
前記第１と第２のエンコード・パラメータを評価することが、前記領域の前記第１と第２の画像表示がｉｎｔｅｒ符号化されているか否かの評価を有する方法。
【請求項７】
請求項１又は２に記載の方法であって、
前記第１の時間の前の第３の時間に、前記エンコーダにより作られた第３のエンコード・パラメータを使用して、前記領域の第３の画像表示をエンコードし、
前記画像が見込みで静止しているか否かを判断するために、前記第１と第２と第３のエンコード・パラメータを少なくとも評価することを更に有する方法。
【請求項８】
画像のブロックをディスプレイに表示可能なデコーダで実施可能な方法であって、
第１の時間に、前記エンコーダにより作られた第１のエンコード・パラメータを含む前記ブロックの第１の画像表示を、エンコーダから受信し、
前記第１の時間より後の第２の時間に、前記エンコーダにより作られた第２のエンコード・パラメータを含む前記ブロックの第２の画像表示を、エンコーダから受信し、
前記第１と第２のエンコード・パラメータを少なくとも使用して、前記画像が見込みで静止しているか否かを前記デコーダで評価し、
前記画像が見込みで静止している場合に、前記ディスプレイに前記ブロックの少なくとも一部を更新しないことを有する方法。
【請求項９】
請求項８に記載の方法であって、
前記第１と第２のエンコード・パラメータが、それぞれ第１と第２の動きベクトルを少なくとも有しており、
前記画像が見込みで静止しているか否かを判断するために評価することが、前記第１と第２の動きベクトルが実質的にゼロであるか否かを判断することを有する方法。
【請求項１０】
請求項８に記載の方法であって、
前記第１と第２のエンコード・パラメータが、それぞれ第１と第２の量子化パラメータを少なくとも有しており、
前記画像が見込みで静止しているか否かを判断するために評価することが、前記第１と第２の量子化パラメータがそれぞれ第１と第２の量子化パラメータの閾値より小さいか否かを判断することを有する方法。
【請求項１１】
請求項８に記載の方法であって、
前記第１と第２のエンコード・パラメータが、それぞれ前記領域の前記第１と第２の画像表示がｉｎｔｅｒ符号化されているか否かを有しており、
前記第１と第２のエンコード・パラメータを評価することが、前記ブロックの前記第１と第２の画像表示がｉｎｔｅｒ符号化されているか否かの評価を有する方法。
【請求項１２】
請求項８に記載の方法であって、
前記画像が見込みで静止しているか否かを前記デコーダで評価することが、前記領域の前記第２の画像表示の誤差の測定基準が閾値より小さいか否かを更に有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概してテレビ会議システムに関するものであり、特にＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４（ｐａｒｔ２）、Ｈ．２６１、Ｈ．２６３及びＨ．２６４の映像エンコード／デコードアルゴリズムと共に利用されると、画像の不動の領域及び／又は不変の領域の処理をより効率的に処理する改善された符号化機構を有するシステムに関するものである。
【背景技術】
【０００２】
図１に示されるようなテレビ会議システム１０ａ、１０ｂは、例えばリアルタイム（又は準リアルタイム）の映像リンク１４で会社の会議室又はその他のサイトを接続するために使用され、２つ以上のサイトの会議の参加者が移動する必要なく、実質的に互いに会うことを可能にする。サイト間のリンク１４は、電話線若しくはその他の有線リンク、又は無線リンクのような多数の既知の媒体を通じて確立されることがあり、更に会議の参加者により行われる会話を示す音声情報を含むことがある。リンク１４上で伝送されるデータは、そのサイトに存在する画像（例えば１８）を示すデジタル化情報を一般的に有し、少なくとも受信側のテレビ会議システム１０ｂに関連するモニタ１６に表示可能である。（簡潔さのため、図１に一方向のみの映像通信リンクが示されているが、リンク１４は一般的に双方向のリンクであり、各テレビ会議システム１０ａ、１０ｂは双方向の通信を可能にする構成において一般的に同一であることを、当業者は理解するであろう。）
他のサイトのデコーダへの転送の前に、サイトでの画像の効率的な初期処理又はエンコードにより多くが得られる。例えば、他のサイトに放送される画像１８は、一般的に移動する構成要素（例えば人）と、不動の構成要素（例えばテーブル、壁紙等）を有する。画像を転送する負担を低減するために、そのような画像の不動部分は、好ましくは送信システムのエンコーダ２０で再符号されない。換言すると、エンコーダにより不動又は不変であると判断され、以前にエンコードされて十分な品質でデコーダに送信された画像の部分については、エンコーダはその部分の画像データを再送信するのではなく、以前にデコードされた画像から同じ部分の画像を再構成することを受信側デコーダ２２に単に通知する。
【０００３】
カメラ２４の光学素子で形成された画像のデジタル化は、画像ノイズと称されるデジタル化画像データの歪みを引き起こす。それぞれのその後の画像が取得されると、その歪みが本質的に一時的であるため、画像１８に変化が存在しなくても画像データが変化し得る。しかし、最新技術のノイズリダクション・フィルタを使用しても、いくつかのノイズは画像に残り得る。従って、画像２４の部分が移動及び／又は変化しているか否か、又は認知された変化又は動作が単にノイズによるものであるか否かを、エンコーダ２０がデジタルで判断することは困難なことがある。この問題は、画像の部分における変化の大きさを判断する閾値を評価することにより、エンコーダ２０で対処され得る。従って、画像の部分における変化の大きさがある許容範囲の符号化の閾値（Ｔ１）より小さい場合、エンコーダ２０はその画像の部分が不動であると決定し、その画像の部分を再符号することなく、受信側デコーダにその決定を送信する。変化の度合いがＴ１より大きい場合、エンコーダは同様にその画像の部分が移動又は変化していると決定し、転送の前にその画像の部分の更に詳細な処理と再符号が実行される。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
適切な符号化の閾値Ｔ１を選択することは困難なタスクになることがあり、誤った決定を導き得る。例えば、Ｔ１が過度に小さく設定されると、エンコーダ２０は画像の部分が移動及び／又は変化しているという誤った決定を導き、その画像の部分が不要に再符号されて再放送されることを引き起こし得る。これは、受信側のモニタ１６に現れる画像が移動又は“ちらつき”をすることを引き起こすことがあり、それは視覚的に迷惑であり望ましくない。更に、誤った決定は画像データの不要な再符号と転送を引き起こし、リンク１４の制限された帯域を圧迫する。対照的に、Ｔ１が過度に大きく設定されると、画像の部分が実際に移動又は変化していても、移動又は変化していないとエンコーダが誤って決定し、移動又は変化する領域が静止していると誤って現れるため、受信側の望ましくない結果の視覚効果を同様に導く。
【０００５】
閾値を適用することに加えて、特定の画像の部分が［０，０］動きベクトルを使用して符号化されることをエンコーダが判断した場合（すなわちその部分が動いていないとエンコーダが決定した場合）にのみノイズを検査すること（先行技術で使用されている方法）により、エンコーダはノイズ検出アルゴリズムを改善できることがある。しかし、その機構は、実際には画像の部分がある程度変化している場合に、その部分が不動であると潜在的に誤った決定を受けて、そのためにその部分を閾値に基づいて全く符号化しなくなる。このことが生じると、実際に変化する部分がエンコーダにより更新されず、受信側のディスプレイ１６で静止して現れる。
【０００６】
従って、テレビ会議技術は、転送の前に画像データをエンコードする更に効率的な機構により利益を受け、移動及び／又は変化する画像の部分と、静止又は不変である画像の部分とを区別するための改善された機構により特に利益を受ける。
【課題を解決するための手段】
【０００７】
ここに開示されるものは、１つの実施例では、画像ノイズにより引き起こされる画像の静止領域の誤った再符号による問題を緩和するテレビ会議システム用の適応符号化の閾値アルゴリズムである。前記アルゴリズムは、好ましくはテレビ会議エンコーダで実施可能であり、現在のマクロブロックの符号化パラメータと、最後に符号化された同じマクロブロックの符号化パラメータとを評価する。双方のマクロブロックについて符号化がｉｎｔｒａ符号化ではなく、［０，０］動きベクトルを備え、小さい量子化パラメータを備えている場合、現在のマクロブロックは静止画像を表すという判断が行われる。
【発明の効果】
【０００８】
従って、前記アルゴリズムはそのマクロブロック内のブロックの符号化の閾値（Ｔ１）を増加させ、それによりその特定のブロックが再符号されることが更に困難になる。このことは、システムの帯域を維持し、画像品質を改善する一方で、誤った再符号に影響を受けにくい静止した内容を備えたブロックにする。従って、符号化の閾値Ｔ１の調整をせずに、関連したノイズ評価技術がエンコーダ又はデコーダで使用され得る。
【発明を実施するための最良の形態】
【０００９】
明瞭性のため、テレビ会議システム用の適応符号化の閾値の実際の実装の全ての機能は、以下の開示に記載されていない。何らかのプロジェクトにおける何らかの実際の実装の開発において、開発者の特定の目標（例えば機械的制約やビジネスに関する制約）を達成するために、多数の技術判断及び設計判断が行われなければならず、それは実装毎に変化することが認識されるべきである。当該環境における適切な技術業務及び設計業務に必然的に注意が払わなければならないが、それにもかかわらず、テレビ会議システム用の適応符号化の閾値の開発は、この開示により提供された詳細が与えられた当業者にとって日常業務になることが認識されるべきである。
【００１０】
図２を参照すると、周知の通り、テレビ会議システムの画像４８は一般的に構文解析され、マクロブロック５０に処理される。そのマクロブロックのそれぞれは、１６×１６の輝度（すなわち明暗）ピクセルと、８×８のクロミナンス（すなわち色）ピクセルを構成する。ＳＩＦ解像度（３５２×２４０ピクセル）の例示的な画像４８は、３３０個のマクロブロック（すなわち２２×１５のマクロブロック）を含む。ここで開示される符号化／デコード機構において、動き推定分析と、ｉｎｔｒａ符号化／ｉｎｔｅｒ符号化の判断とは、好ましくは輝度データのみに基づいて行われるが、開示される技術が同様にクロミナンスデータを使用して実施され得ることを、当業者が理解するであろう。図２は白黒のピクセルを含む画像４８を示しているが、輝度はグレースケールを反映し、実際にそれぞれのピクセルがグレースケールのデジタル値（例えば０（黒）から２５５（白））に関連付けられることを、当業者が理解する。
【００１１】
この開示の中心である適応符号化機構を開示する前に、先行技術のいくつかの説明が行われるが、映像圧縮技術分野の当業者に周知であるため、その詳細の多くは省略される。この開示が特に適用できるＨ．２６３映像圧縮規格の態様に関して特に注意が与えられるが、この開示は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４（ｐａｒｔ２）、Ｈ．２６１及びＨ．２６４のようなその他の映像圧縮規格にも同様に適用できる。前記の周知の映像圧縮規格の全てが参照として取り込まれる。
【００１２】
Ｈ．２６３映像圧縮規格を利用するテレビ会議装置の例示的なデコーダは、特定のマクロブロック５０をエンコードする方法を決定するために、動き推定の原理を使用する。動き推定とレート歪み（ｒａｔｅ  ｄｉｓｔｏｒｔｉｏｎ）の分析を通じて、マクロブロック５０がｉｎｔｅｒ符号化されるか、ｉｎｔｒａ符号化されるか、又は全く符号化されないかを、エンコーダが決定する。この決定を行うために、エンコーダは以前に符号化された画像と現在のマクロブロック５０との最適の適合を見つける試みをする。（その他に、複数の参照画像に関して、及び現在の画像の他の符号化領域に関して比較が行われ得ることを当業者は理解するが、そのような変更形態は簡潔さのため説明されない。）既知の通り、画像の以前に符号化された領域に関して輝度データがどの程度適合するかを判別するために、現在のマクロブロックは左から右と上から下の複数のピクセルに変換され得る。既知の通り、現在のマクロブロックと予測マクロブロックとの輝度のサンプルの平方の差分又は絶対の差分の合計の評価のような、誤差最小化の使用を通じて、適合が達成され得る。例えば、画像の中の人が移動している場合、現在のフレームでその人をカバーするマクロブロックは（誤差最小化の観点から）以前のフレームのマクロブロックに適合することがあるが、右に２ピクセルと下に４ピクセルだけ移動することがある。換言すると、現在のフレームのその特定のマクロブロックは、［２，４］の動きベクトルにより、以前のフレームのマクロブロックから予測され得る。現在のフレームのマクロブロックと以前のフレームの同じマクロブロックとの間で誤差を最小化するために必要な移動が必要ない場合には、その現在のマクロブロックは［０，０］の動きベクトルにより予測され、そのマクロブロック内の画像が移動していないという決定を導き得る。更に、ある場合（例えばＨ．２６３  Ａｎｎｅｘ  Ｆ及びＨ．２６４）には、マクロブロック内のそれぞれの更に小さいブロックが、その動きベクトルを有し得る。（以下に更に説明される通り、それぞれのマクロブロックは複数のブロックに細分され得る。例えば、１６×１６ピクセルのマクロブロックは、４つの８×８ピクセルのブロックに細分され得る。）
（適合に対応する）最小誤差が特定の閾値（Ｔ２）より小さい場合、エンコーダはマクロブロックをｉｎｔｅｒ符号化することを決定し得るが、そのｉｎｔｅｒ符号化の決定が確固として行われる前にその他の判断が評価され得ることを当業者は理解するであろう。最初から全体のマクロブロックをエンコードする（すなわち以下に説明されるｉｎｔｒａ符号化による）のではなく、ｉｎｔｅｒ符号化の決定がエンコーダにより行われると、図３と４を参照して更に詳細に説明される通り、個々のブロックの動きベクトルと共に、現在のマクロブロックと予測マクロブロックとの差分の表示をエンコーダが伝送する。ｉｎｔｅｒ符号化モードは、ｉｎｔｒａ符号化モードより高い圧縮を提供する。
【００１３】
動き推定が閾値Ｔ２を超える最小誤差を生じた場合、現在のマクロブロックは以前の画像から有効に予測できないという可能性がある。エンコーダは、その代わりにマクロブロックをｉｎｔｒａ符号化することがある。すなわち、以前の画像からの予測を使用することなく、最初からマクロブロックをエンコードする。
【００１４】
ここで、特定のマクロブロックを符号化する方法（すなわちｉｎｔｅｒ符号化又はｉｎｔｒａ符号化）を判断するために使用される閾値Ｔ２が、背景技術の部分で説明された判断（すなわち、マクロブロック、特にマクロブロック内の個々のブロックが符号化される必要があるか否か）と異なることに言及することが有用である。その後者の判断（符号化する方法に対して、符号化するか否か）は、好ましくは異なる閾値Ｔ１の評価に依存する。好ましい実施例において、まず全体のマクロブロックについて符号化する方法の判断が行われ、ｉｎｔｅｒ符号化が決定された場合に、（Ｔ１を使用して）マクロブロック内の各ブロックについて符号化するか否かの判断が行われる。しかし、双方の判断は無関係に行われ得る。符号化する方法の誤差の判断（Ｔ２）が、（例えば図３のブロック６０を使用して）現在と予測の輝度サンプルでの絶対の差分の合計を使用して計算され、符号化するか否かの判断（Ｔ１）（“符号化の閾値”）が、変換された量子化ブロック（例えば図４のブロック６９）における差分の平方の合計を使用して計算されることが好ましい。前記の閾値のうちのいずれかを判断するために、その他の誤差の機構が使用されることがあることを当業者は認識するであろう。
【００１５】
マクロブロックの処理とエンコードに関する更なる詳細が、図３と４に関して示される。まず図３を参照すると、（Ｔ２を使用して）ｉｎｔｅｒ符号化が特定のブロックに適当であるとエンコーダが判断すると、現在のブロックと予測ブロックとの輝度ピクセルとクロミナンスピクセルの差分の表示が、適切な動きベクトルと共にデコーダに最終的に伝送される。（簡潔さのため、輝度の差分のピクセル６０とそれに関するブロック６１のみが図３に示されている。）このサンプルの差分情報は、移動したブロックが完全な適合を構成しない場合（すなわち差分の誤差＞０である場合）に、デコーダでブロックを正確に再構成するために必要である。特に、差分のピクセル６０のマクロブロックのうちの４つの輝度の差分のピクセルのブロック６１は、映像圧縮の技術で既知である通り、離散コサイン変換（ＤＣＴ）を使用してエンコーダにより変換され、対応するＤＣＴブロック６５を構成する。（簡潔さのため、１つのみのＤＣＴ変換ブロック６５が示されている。）従って、ＤＣＴブロック６５の各要素６７は、差分のピクセルの２次元の空間周波数を示す係数を表し、その情報の更にコンパクトな表示を構成し、更に伝送効率が良くなる。
【００１６】
次に、図４に示される通り、ＤＣＴブロック６５の係数値は量子化されて、係数の量子化ブロック６９を作り、転送に必要な帯域を低減する。例示的な実施例において、ＤＣＴブロック６５の各要素６７は−２０４８から２０４７までの係数値を潜在的に得ることができる。同様に既知である通り、その値は量子化パラメター（ＱＰ）を使用して量子化され得る。好ましい実施例において、ＱＰはマクロブロックのレベルで判断され、伝送中に各ブロックに適用される。ＱＰは画像差分情報の不可逆な圧縮を表す。ＤＣＴブロックの要素の係数値を特定の量子化セル又は量子化ｂｉｎ（ここでは簡潔さのため“ｂｉｎ”と称される）に量子化することにより、その情報が作られるｂｉｎの大きさ（又は係数値間のステップ）は、一般的にＱＰ値の２倍である。従って、ＱＰ＝１の場合、潜在的な値の範囲（例えば４０９６（−２０４８から２０４７））が合計２０４８のｂｉｎを使用して広げられ、最初の２つの値（−２０４８，−２０４７）がｂｉｎ０に定められ、次の２つ（−２０４６，−２０４５）がｂｉｎ１に定められ、以下、ｂｉｎ２０４７（２０４６，２０４７）まで同様である。ＱＰ＝２の場合、係数を量子化するために必要なｂｉｎの数は更に１０２４のｂｉｎまで減少し、ＤＣＴブロック６５の一部について図４に示されている通り、最初の４つの値（−２０４８から−２０４５）がｂｉｎ０に定められ、次の４つの値（−２０４４から−２０４１）がｂｉｎ１に定められ、以下、ｂｉｎ１０２３（２０４４から２０４７）まで同様である。従って、増加するＱＰとより大きいｂｉｎの大きさで、量子化ブロック６９はより粗く簡略化され、それ故に伝送のためにより少ないビットしか必要としないが、これは結果としてより低品質のデコード映像を生じる。前述の通り、その変換された量子化ブロック６９から、符号化するか否かの閾値Ｔ１が、好ましくは二乗の誤差の測定基準を使用して計算され、評価される。
【００１７】
エンコーダがシステムリソースの有用性を判断すると、ＱＰがマクロブロック毎の伝送について変化し得る。例えば、エンコーダとデコーダが制限された帯域を備えたリンク（図１の要素１４）を通じて通信する場合、ある程度の量子化をしないでＤＣＴブロック６５を伝送することは現実的でないことがある。量子化なしでは、エンコーダはリアルタイムでそのチャネルの帯域の制約内に留まることができないことがあるからであり、そのことは伝送される画像が大いに変化する場合に生じることがある。従って、画像処理の要求がエンコーダで増加すると、エンコーダはＤＣＴブロック６５のＱＰを変更し、伝送リンクの帯域の制限内に留まることができる量子化ブロック６９を用意し得る（例えば小さい動きの期間ではＱＰ＝１であり、大きい動きの期間ではＱＰ＝１０になる）。大きい画像の動きの期間中に、ＱＰの増加に従って伝送される画像の品質が悪くなるが、リンクの帯域を越えることなく伝送がリアルタイムで生じることができる。
【００１８】
この背景を認識して、次にこの開示の対象である符号化機構への変更に焦点が向けられる。背景技術の部分で前述した通り、映像符号化技術に存在する問題は、画像収集処理で作られるノイズのような画像ノイズの問題にいかに対応するかである。特に、このノイズにより、不変又は静止の画像の部分が本当に静止しているか否か（それ故に再符号される必要がないか）、又は画像の部分が移動又は変化しているか否か（ｉｎｔｅｒ符号化又はｉｎｔｒａ符号化のいずれかが必要であるか）を、エンコーダが識別することが困難になる。前述の通り、ノイズのブロックを符号化しない決定は、符号化の閾値Ｔ１と誤差の値との比較を最終的に含む。例示的な実施例において、この誤差の値は、量子化されたＤＣＴ係数（例えば量子化ブロック６９）の平方の合計として計算される。
【００１９】
開示される技術の１つの態様において、この符号化の閾値Ｔ１は、疑わしいノイズの問題に対応するため、可変又は適応可能である。この閾値を適応するときに、エンコーダは、現在のマクロブロックで行われたエンコードの決定と、同じマクロブロックの以前の符号化段階で行われたエンコードの決定を検査する。それらのエンコードの決定の検査の後に、エンコーダは、好ましくは現在のマクロブロック内のより小さいブロックの処理のために、符号化の閾値Ｔ１を条件付きで調整する。この処理アルゴリズムの使用を通じて、ノイズが疑わしい場合には、閾値Ｔ１が増加して、個々のブロックをエンコードすることをより困難にする。その理論は、現在の符号化の決定に加えてこのマクロブロックの以前の符号化の決定が、マクロブロックでの認知された変化がノイズによるものであるという高度の確信をエンコーダに提供することである。この確信を仮定すると、エンコーダは、ノイズとして本当に変化する部分を誤って識別するリスクがほとんどなく、符号化の閾値を上げることにより、そのブロックが再符号されることをより困難にすることができる。
【００２０】
好ましい実施例におけるこの処理アルゴリズムの詳細は以下の通りである。当業者にわかる通り、処理アルゴリズムを実施するために必要なハードウェア及び／又はソフトウェアは、映像符号化技術の分野の当業者により、標準的なエンコーダに既に存在するハードウェアとソフトウェアを使用して容易に達成され、更に多様な異なる方法で達成され得る。従って、アルゴリズムの実施のハードウェア／ソフトウェアの詳細は開示されない。その代わりに、機能的な観点からアルゴリズムが説明される。
【００２１】
図５は、エンコーダ用の適応符号化の閾値処理アルゴリズムを開示する。画像の所定の位置の現在のマクロブロックの評価（１００）で、処理が開始する。現在のマクロブロックは前述の通り処理され、（Ｔ２及び／又はその他の情報を使用して）ｉｎｔｅｒ符号化又はｉｎｔｒａ符号化のいずれかで符号化される方法を判断する。エンコーダがｉｎｔｅｒ符号化として現在のマクロブロックを符号化することを決定した場合、且つ対応する動きベクトルが［０，０］である場合（１０２）、アルゴリズムはそのマクロブロックの現在のＱＰを評価し、所定のＱＰの閾値Ｔ３より小さいか否かを判断する（１０４）。その判断１０２と１０４の双方が肯定的である場合、現在の画像は移動又は変化していないことを示す。またその場合に、ノイズのためそのマクロブロックは誤った符号化の決定に特に影響されやすいことがあることを示す。
【００２２】
従って、アルゴリズムを介して、そのマクロブロックの以前の符号化パラメータ（最後にそのマクロブロックが符号化されたもの）を確認し（１０６）、それらが類似しているか否か（すなわち静止画像の部分を同様に示しているか否か）を調べることが有用になる。もしそうであれば、マクロブロックにより表された画像の部分が本当に静止していることをロジックが決定し、この判断が順に２回行われる。従って、ステップ１０６において、当該マクロブロックが符号化された最後の符号化パラメータが同様に評価される。従って、その以前の符号化の決定が評価され、マクロブロックが［０，０］ベクトルでｉｎｔｅｒ符号化され（１０８）、小さい量子化の値（すなわちＴ３より小さい）（１１０）で量子化されたか否かを確認する。もしそうであれば、マクロブロックにより表された画像の部分が本当に移動又は変化していないという付加的な確信が得られる。この特定のマクロブロックが符号化の閾値（Ｔ１）を使用して以前に符号化されており、符号化された内容が見込みでノイズであるということが判断されたため、現在のマクロブロックの現在のブロックについて（又はその他に、他の実施例では全体の現在のマクロブロックについて）符号化の閾値（Ｔ１）が増加され得る（１１２）。この閾値の増加により、その他のことが全て同等である場合に、その特定のマクロブロックのブロックが符号化される可能性が低くなる。簡単に言えば、処理アルゴリズムが、そのマクロブロックが不変又は静止であることをマクロブロックの履歴から判断すると、そのマクロブロック内のブロックが（不必要に）符号化されることがより困難になる。この決定は、エンコーダにより必要な計算を低減し、エンコーダに利用可能なリンクの帯域のより効率的な使用を可能にし、デコードされる画像品質の全体の改善を結果として生じる。
【００２３】
符号化の閾値（Ｔ１）は、高度に適応性があり、容易にリセットされる。好ましい実施例において、現在のマクロブロックの処理について符号化の閾値Ｔが適応される（すなわち増加する）場合に、次の現在のブロックがアルゴリズムを介して再び処理され、必要に応じて再び調整されるように、そのブロックの閾値はその後に元の値に戻される。
【００２４】
その他に、図５に示される通り、符号化の閾値Ｔ１は、調整されると、次の現在のマクロブロックの処理について調整されたままに留まることができる。（ｉｎｔｒａ符号化若しくは大きいｉｎｔｒａ符号化の誤差、ゼロでない動きベクトル、又は閾値Ｔ３より大きいＱＰ値による徴候として）あまり生じないノイズの反映で幾分かそのマクロブロックの状態が変化した場合、その次の現在のマクロブロックの処理の前に、Ｔ１はその元の基準値にリセットされ得る。又は、そのマクロブロックの状態が潜在的なノイズを示し続けると、符号化の閾値Ｔ１が更に増加し得る。
【００２５】
好ましい処理アルゴリズムへの変更が可能であるが、依然として同じ基本的な利点を促すことを当業者は認識するであろう。例えば、アルゴリズムは、マクロブロックが符号化された最後のものより多くを検査することができ、一定の期間に渡ってマクロブロックで行われた符号化の時（マクロブロックが符号化された最後の２回）まで更に戻って更に検査することができる。更に、アルゴリズムはまた、その他の周囲のマクロブロックの符号化の決定を検査することもできる。そのような更なる検査は、その画像が本当に静止していて、Ｔ１が増加するべきであるという更なる確信を提供する。更に、アルゴリズムが［０，０］の動きベクトルの評価に反応を示すことが好ましいが、このことは厳密に必ずしも必要ではない。例えば、カメラが何らかの理由で何かにぶつかり、又は揺れた場合に、小さいがゼロではない動きベクトル（例えば［＋１−１，＋／−１］）が依然として静止画像を示し、受信デコーダが同じものを通知されるということを仮定することは、エンコーダにとって合理的なことがある。従って、処理アルゴリズムは、そのような実質的にゼロではない動きベクトルの受信時であってもＴ１を増加するように拡張され得る。更に、現在と以前のマクロブロックの双方を評価するために同じＱＰの閾値（Ｔ３）を使用することが好ましいが、アルゴリズムの感応性を更に調整するために、異なる閾値（Ｔ３ａ、Ｔ３ｂ）が使用され得る。更に、ブロックのレベルで符号化の閾値（Ｔ１）を調整する間に、好ましい方法は動き推定と、ｉｎｔｅｒ／ｉｎｔｒａと、ＱＰの判断とを実行するが、前記ステップのいずれかにおいて、ブロックが使用されるか否か又はマクロブロックが使用されるか否かが変更されることがあることを、認識するべきである。例えば、符号化の閾値Ｔは、ブロックのレベルの代わりに、マクロブロックのレベルで影響を受けることがある。
【００２６】
画像が静止しているか否かを評価するために、動きベクトルとＱＰの双方を評価することが好ましいが、より簡単な技術ではそのパラメータのうちの１つのみが検査される（すなわち、ステップ１０２及び１０８、又はステップ１０４及び１１０のいずれかが省略される）。しかし、マクロブロックの内容の静止した性質を判断する際に提供する付加的な確信のためには、現在と以前のマクロブロックについてそのステップの双方の評価をすることが好ましい。
【００２７】
ここで開示される量子化パラメータ（ＱＰ）を判断するための多様な閾値（Ｔ１とＴ２とＴ３）及び方法は、実装毎に非常に変化する可能性があり、ユーザの好みに応じて調整される可能性があることを当業者は認識するであろう。
【００２８】
更に、ここで開示される利点のいくつかは、エンコーダが符号化の閾値Ｔ１を実際に調整せずに得られることがある。このことは図６に示されており、図６は、テレビ会議システムのデコーダ側で実施可能な変更されたアルゴリズムを提供する。デコーダは必ずしも同じ符号化の伝送ブロックを受信するとは限らないため、見込みで不動及び／又は不変であるその画像の部分をディスプレイ１６で更新しないように、同様にそのパラメータを使用し得る。デコーダは、エンコーダと同期を保つために、依然として参照画像を更新しなければならない。表示目的でデコーダにより作られた画像（参照画像とは別に維持されなければならない）は、条件付で更新され得る。従って、前述の通り、デコーダが現在（ステップ２００−２０４）及び以前（ステップ２０６−２１０）のマクロブロックについて、符号化の決定（ｉｎｔｅｒ又はｉｎｔｒａ）と、動きベクトルと、ＱＰとを評価することができる。これらの基準が満たされると、デコーダがエンコーダにより通知されたものに関わらず、デコーダは現在のマクロブロックが単にノイズを含んでおり、それ故にデコーダがディスプレイ１６のマクロブロックを更新する必要がないことがあることを推測することがある（ステップ２１２）。この決定の正当性の更なる任意選択の検査として、デコーダはまた、好ましくは現在のマクロブロック（又はブロック）に含まれる誤差が十分に小さい（例えば閾値Ｔ４より小さい）か否かを判断する検査を行う（ステップ２１１）。この誤差は、エンコーダ側と同様に、伝送された量子化ブロック６９の差分の平方の合計として計算されることがある。その他に、量子化ブロック６９はまず逆変換（逆ＤＣＴ変換）され、その平方の合計が計算されることがある。（当業者がわかる通り、Ｐａｒｃｅｖａｌの法則によると、変換及び逆変換されたブロックの平方の合計は線形的に関係しているため、いずれかの誤差の計算は許容範囲である。）この閾値より小さい場合、デコーダは、現在のブロックがノイズを単に含んでおり、ブロックがディスプレイ１６で更新される必要がないことを推測することがある（ステップ２１２）。換言すると、その画像の部分は、デコーダにより静止していると判断され、新しい画像情報で更新されない。図６のこの変更形態は、カメラのノイズにより、静止している物体が動くように見えるようになることを回避するという利点を有するが、処理アルゴリズムが図５のエンコーダに実装されると、前述の符号化効率の利点を提供しない。図５のエンコーダの実施例と同様に、このアルゴリズムは、現在標準的なデコーダに存在するハードウェア／ソフトウェアを使用して当業者により容易に実施され、複数の方法で実施され得る。
【００２９】
同様に、符号化の閾値Ｔ１の調整なしに、エンコーダ側で利点が得られることがある。図７に示す通り、図６と同様に、エンコーダはアルゴリズム（ステップ３００−３１０）を処理し、成功した場合には、“非符号化”信号の伝送を介して、以前に表示された同じマクロブロック又はブロックを表示することをデコーダに単に命令することができる。この変更形態は、効率性の利点と、リンク１６の減少した帯域の要求を提供する。簡単に言えば、符号化の閾値Ｔ１の増加が好ましいが、いくつかの実施例においては、そのようなステップは必要でないことがある。
【００３０】
開示された処理アルゴリズムは、マクロブロック、ブロック、画像のその他の指定された部分、又は全体の画像自体の処理に適切であることを、当業者は理解するであろう。従って、特許請求の範囲で使用される“領域”という用語は、それらの構成の全てを示すものとして解釈されるべきである。
【００３１】
好ましい実施例とその他の実施例の前述の説明は、ここに含まれる発明の概念の範囲又は適用性を限定又は制限するためのものではない。ここに含まれる発明の概念は、特許請求の範囲又はそれと同等のもの範囲内にある完全な範囲の全ての変形形態と変更形態を含むことが意図される。
【図面の簡単な説明】
【００３２】
【図１】先行技術のテレビ会議システムを示したものである。
【図２】テレビ会議システムにより伝送される例示的な画像と、マクロブロックへの画像の分割を示したものである。
【図３】マトリクスの画素のマクロブロックと、離散コサイン変換（ＣＣＴ）を使用して更に小さいマトリクスのブロックに変換することを示したものである。
【図４】量子化パラメータ（ＱＰ）を使用したＤＣＴマトリクスの量子化を示したものである。
【図５】現在のマクロブロックと、その特定のマクロブロックの最後に符号化されたものとの符号化パラメータに基づいて、符号化の閾値（Ｔ１）を変更するエンコーダで実施可能な処理アルゴリズムのフローチャートを示したものである。
【図６】現在のマクロブロックと、その特定のマクロブロックの最後に符号化されたものとの符号化パラメータに基づいて、伝送されたマクロブロックの表示を更新するデコーダで実施可能な処理アルゴリズムのフローチャートを示したものである。
【図７】現在のマクロブロックと、その特定のマクロブロックの最後に符号化されたものとの符号化パラメータに基づいて、デコーダに非符号化信号を送信するエンコーダで実施可能な処理アルゴリズムのフローチャートを示したものである。
【符号の説明】
【００３３】
１０ａ、１０ｂ  テレビ会議システム
１４  リンク
１６  モニタ
１８  画像
２０  エンコーダ
２２  デコーダ
２４  カメラ
４８  画像
５０  マクロブロック
６０  輝度の差分のピクセルのブロック
６１  輝度の差分のピクセルのマクロブロック
６５  ＤＣＴブロック
６７  要素
６９  量子化ブロック
【図１】
2005057761.tif 000003
【図２】
2005057761.tif 000004
【図３】
2005057761.tif 000005
【図４】
2005057761.tif 000006
【図５】
2005057761.tif 000007
【図６】
2005057761.tif 000008
【図７】
2005057761.tif 000009