(57)【要約】マルチプル・ディスクリプション符号化方法がビデオに適用され、関心のある領域外のフレーム部分に適用されるミスマッチ補正情報をデコーダに送信することを妨げるために最適化される。付加的なビット効率は、ビデオコンテンツに基づいて、現在のフレームの予測に使用される対応するフレームから動き補償される予測フレームの重みを選択的に更新することで実現される。更新の頻度は、トレードオフにおいて、更新された重みを受信機に頻繁に送信するための必要性と比較されたとき、実現される増加された予測精度及び付随する残余の画像のビット節約に基づいて適応的に決定される。
2005538601.tif 000002
【特許請求の範囲】
【請求項１】
他方のストリームを生成するために動き補償されたビデオ系列の一部を再構成するため、該デコーダにより使用可能なミスマッチ信号を含むストリームであって、デコーダに送信されるべき２つのそれぞれのストリームを生成するため、２つの動き補償処理により並列に符号化されるビデオ系列を含む複数のフレームのうちの１つであるフレームのコンテンツに基づいて、該フレームにおける少なくとも１つの関心のある領域（ＲＯＩ）を識別するステップと、
該フレームについて、該少なくとも１つのＲＯＩの外にある該ミスマッチ信号の一部を決定するステップと、
該ミスマッチ信号の一部を送信することを妨げるステップと、
を有することを特徴とするマルチプル・ディスクリプションビデオ符号化方法。
【請求項２】
該ビデオ系列は、個別のチャネルでのその後の送信について並列に動き補償される奇数ストリーム及び偶数ストリームを含み、該奇数ストリームは、該複数のフレームのうちのダウンサンプリングされたサブセットを含み、該偶数ストリームは、該複数のフレームのうちで該サブセットにないフレームであり、それぞれのストリームは、該送信に応じて、奇数及び偶数ストリームの補償と並列に実行される中央の動き補償からの残差画像、並びにそれぞれのストリームに応じて、動きベクトル、防止される場合を除いて、該ミスマッチ信号をさらに含み、該ミスマッチ信号は、サイド予測画像と中央予測画像との間の差を表し、該サイド予測画像は、該奇数及び偶数ストリームのうちのそれぞれ１つの動き補償に基づいて導出され、該中央予測画像は、該中央動き補償に基づいて導出される、
請求項１記載の方法。
【請求項３】
該中央予測画像は、該残差画像を生成するために原画像から引かれる、
請求項２記載の方法。
【請求項４】
該動きベクトルは、該ビデオストリームの時間的に連続するフレーム間の動きベクトルを含み、該動きベクトルは、該ビデオストリームにおける１つの介在フレームにより時間的に分離されるフレーム間の動きベクトルを含む、
請求項２記載の方法。
【請求項５】
該識別するステップは、人の顔を検出すること、無相関の動きを検出すること、予め決定されたテクスチャのレベルを検出すること、エッジを検出すること、予め定義された閾値よりも大きな振幅の物体の動きを検出することからなるグループから選択されるステップをさらに含む、
請求項１記載の方法。
【請求項６】
ビデオ系列の単一フレームを動き補償することでサイド予測画像を形成するステップと、
該サイド予測画像を形成する動き補償と並列にある中央の動き補償で動き補償されるフレームの重み付け平均から中央予測画像を形成するステップと、該平均は、該系列の少なくとも１つのフレームのコンテンツに基づいて更新されるそれぞれの適応型時間フィルタのタップの重みにより重み付けされる、
マルチプル・ディスクリプションビデオ符号化方法。
【請求項７】
該少なくとも１つのフレームのコンテンツは、該少なくとも１つのフレームから導出された画像における動く物体の存在、又はシーン変化の発生を含む、
請求項６記載の方法。
【請求項８】
該ビデオ系列は、個別のチャネルでのその後の送信について並列に動き補償される奇数ストリーム及び偶数ストリームを含み、該奇数ストリームは、該複数のフレームのうちのダウンサンプリングされたサブセットを含み、該偶数ストリームは、該複数のフレームのうちで該サブセットにないフレームであり、それぞれのストリームは、該送信に応じて、動きベクトル、奇数及び偶数ストリームの補償と並列に実行される中央の動き補償からの残差画像、それぞれのストリームに応じて、防止される場合を除いて、サイド予測画像と中央予測画像との間の差を表す該ミスマッチ信号をさらに含み、該サイド予測画像は、該奇数及び偶数ストリームのうちのそれぞれ１つの動き補償に基づいて導出され、該中央予測画像は、該中央動き補償に基づいて導出される、
請求項６記載の方法。
【請求項９】
更新による残差画像の減少及び該送信において送信されるべきビットの結果的な減少に基づいて、並びに該更新に応答した新たな適応的な時間フィルタのタップの重みの送信におけるビットレートの増加に基づいて、該タップの重みが更新されるべき頻度を決定するステップをさらに含む、
請求項８記載の方法。
【請求項１０】
他方のストリームを生成するために動き補償される該ビデオ系列の一部を再構成するため、該デコーダにより使用可能なミスマッチ信号を含むストリームであって、デコーダに送信されるべき２つのそれぞれのストリームを生成するため、ビデオ系列のフレームに動き補償を並列に実行する奇数サイドエンコーダ及び偶数サイドエンコーダと、
フレームのコンテンツに基づいて、該フレームにおける少なくとも１つのＲＯＩを識別する関心のある領域（ＲＯＩ）選択ユニットと、
該フレームについて、該少なくとも１つのＲＯＩの外にある該ミスマッチ信号の一部を決定し、該ミスマッチ信号の一部の送信を防止するミスマッチ誤差抑圧ユニットと、
を有することを特徴とするマルチプル・ディスクリプションビデオエンコーダ。
【請求項１１】
該並列にある動き補償は、個別のチャネルでのその後の送信について奇数ビデオストリーム及び偶数ビデオストリームで動作し、該奇数ストリームは、該ビデオ系列のフレームのうちのダウンサンプリングされたサブセットを含み、該偶数ストリームは、該サブセットにないフレームの系列を含み、それぞれのストリームは、該送信に応じて、奇数及び偶数ストリームの補償と並列に実行される中央の動き補償からの残差画像、並びにそれぞれのストリームに応じて、動きベクトル、防止される場合を除いて該ミスマッチ信号をさらに含み、該ミスマッチ信号は、サイド予測画像と中央予測画像との間の差を表し、該サイド予測画像は、該奇数及び偶数ストリームのうちのそれぞれ１つの動き補償に基づいて導出され、該中央予測画像は、該中央動き補償に基づいて導出される、
請求項１０記載の方法。
【請求項１２】
該サブセットは、該奇数及び偶数ビデオストリームのそれぞれが該系列のそれぞれ他のフレームを含むように、該系列の代替となるフレームを含む、
請求項１１記載のビデオエンコーダ。
【請求項１３】
該セントラルエンコーダは、該残差画像を生成するため、該中央予測画像を原画像から引くために構成される、
請求項１１記載のビデオエンコーダ。
【請求項１４】
該動きベクトルは、該ビデオストリームは時間的に連続するフレーム間の動きベクトルを含み、該動きベクトルは、該ビデオストリームにおける１つの介在フレームにより時間的に分離されるフレーム間の動きベクトルを含む、
請求項１１記載のビデオエンコーダ。
【請求項１５】
該ＲＯＩ選択ユニットは、人の顔、無相関の動き、予め決定されたレベルのテクスチャ、エッジ、及び予め定義された閾値よりも大きい振幅の物体の動きのうちの少なくとも１つを検出するために構成される、
請求項１０記載のビデオエンコーダ。
【請求項１６】
他方のストリームを生成するために動き補償される該ビデオ系列の一部を構成するために該デコーダにより使用可能なミスマッチ信号を含むストリームであって、デコーダに送信されるべき２つのそれぞれのストリームを生成するため、ビデオ系列のフレームに動き補償を並列に実行する奇数サイドエンコーダ及び偶数サイドエンコーダと、
該系列の単一のフレームを動き補償することで、サイド予測画像を形成する手段と、
中央動き補償で動き補償されるフレームの重み付け平均から中央予測画像を形成する手段とを有し、該平均は、該系列の少なくとも１つのフレームのコンテンツに基づいて更新されるそれぞれの適応型時間フィルタのタップの重みにより重み付けされる、
マルチプル・ディスクリプションビデオエンコーダ。
【請求項１７】
該少なくとも１つのフレームのコンテンツは、該少なくとも１つのフレームから導出された画像における動く物体の存在、又はシーン変化の発生を含む、
請求項１６記載のビデオエンコーダ。
【請求項１８】
該並列にある動き補償は、個別のチャネルでのその後の送信について奇数ビデオストリーム及び偶数ビデオストリームで動作し、該奇数ストリームは、該ビデオ系列のフレームのうちのダウンサンプリングされたサブセットを含み、該偶数ストリームは、該サブセットにない系列のフレームを含み、それぞれのストリームは、該送信に応じて、奇数及び偶数ストリームの補償と並列に実行される中央の動き補償からの残差画像、並びにそれぞれのストリームに応じて、動きベクトル、防止される場合を除いてサイド予測画像と中央予測画像との間の差を表すミスマッチ信号をさらに含み、該サイド予測画像は、該奇数及び偶数ストリームのうちのそれぞれ１つの動き補償に基づいて導出され、該中央予測画像は、該中央動き補償に基づいて導出される、
該ビデオエンコーダは、更新による残差画像の減少及び該送信において送信されるべきビットの結果的な減少に基づいて、並びに該更新に応答した新たな適応的な時間フィルタのタップの重みの送信におけるビットレートの増加に基づいて、該タップの重みが更新されるべき頻度を決定するために構成されるビットレート調整ユニットをさらに含む、
請求項１６記載の方法。
【請求項１９】
プロセッサにより読取り可能な媒体であって、
プロセッサにより実行されたとき、他のストリームを生成するために動き補償されたビデオ系列の一部を再構成するため、該デコーダにより使用可能なミスマッチ信号を含むストリームであって、デコーダに送信されるべき２つのそれぞれのストリームを生成するため、２つの動き補償処理により並列に符号化されているビデオ系列を含む複数のフレームのうちの１つであるフレームのコンテンツに基づいて、該フレームにおける少なくとも１つの関心のある領域（ＲＯＩ）を該プロセッサに識別させる第一の命令のシーケンスと、
該プロセッサにより実行されたとき、該フレームについて、該少なくとも１つのＲＯＩの外にある該ミスマッチ信号の一部をプロセッサに決定させ、該ミスマッチ信号の一部を送信することを妨げさせる第二の命令のシーケンスと、
を記憶した媒体を含むコンピュータソフトウェアプロダクトト。
【請求項２０】
該第一の命令のシーケンスは、該プロセッサにより実行されたとき、人の顔、無相関の動き、予め決定されたテクスチャのレベル、エッジ、予め定義された閾値よりも大きい振幅の物体の動きのうちの少なくとも１つを該プロセッサに検出させる命令を含む、
請求項１９記載のプロダクト。
【請求項２１】
２つのビデオストリームを並列に復号化する動き補償のためのマルチプル・ディスクリプションビデオデコーダであって、該デコーダは、他方のストリームを生成するために動き補償されたビデオフレームの系列を再構成するため、一方のストリームを生成した動き補償エンコーダから受信されたミスマッチ信号を使用し、該デコーダは、該ビデオストリームのコンテンツに基づいてエンコーダにより更新され、両方の該ストリームに基づいて画像予測を行うために該デコーダにより使用されるタップの重みを受信する手段を有する、
ことを特徴とするデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化に関し、より詳細には、ビデオのマルチプル・ディスクリプションに関する。
【背景技術】
【０００２】
同じ又は類似の情報を多数の独立のチャネルを通して送信する送信ダイバシティは、チャネルの１つに関する問題によりメッセージを正しく受信できないことを克服するのを試みる。かかる無線送信環境における問題は、たとえばマルチパス又はフェージングの結果として生じる可能性がある。
【０００３】
しかし、付加された冗長度は、通信システムに付加される歪の観点で費用が高くなる。このことは、その適切な表現のために多数のデータを含む傾向にあるビデオについて特に当てはまる。受信者は、典型的に、プレゼンテーションの中断を避けるため、効果的にデコードするのを望む。典型的に、送信機よりも多くの受信者が存在するので、費用効率は、復号化におけるよりも符号化において多くの拡張されるべき時間とリソースを許容することがある。
【０００４】
マルチプル・ディスクリプション・コーディング（ＭＤＣ：Multiple  Description  Coding）は、個別のチャネルに沿って伝達されるべき情報の２つの「記述（ディスクリプション）」を送出する。両方のディスクリプションが受信された場合、デコードは高品質となる。一方のディスクリプションが受信された場合、低くはあるが許容される品質でデコードすることができる。一方のディスクリプションに依存するこの能力は、他のほうチャネルからの情報をそれぞれのディスクリプションに与えることで可能にされる。したがって、冗長度及び付随するオーバヘッドの犠牲を払っているにも拘らず、誤差回復が増加される。
【０００５】
ＭＤＣは、以下“Wan及びLin”と呼ばれ、その全体の開示が引用により本明細書に盛り込まれるYao  Wan及びShunan  Linによる“Error  Resilient  Video  Coding  using  Multiple  Description  Motion  Compensation”,  IEEE  Transactions  on  Circuits  and  Systems  for  Video  Technology,  April,  2002で記載されるマルチプル・ディスクリプション動き補償を達成するためにビデオに適用されている。動き補償は、同じ大きさ、同じ方向であって予測誤差を考慮して隣のフレームにより課されるその画像の動きを予測することでビデオを効率的に符号化及び復号化するために使用される従来の技術である。“Wan及びLin”により提案されるようなマルチプル・ディスクリプション動き補償（ＭＤＭＣ）は、個別のチャネルによる送信についてビデオストリームを奇数及び偶数フレームに分割する。たとえ唯一のディスクリプションが受信機に到達した場合であっても、そのディスクリプションのフレームは、介入するフレームが補間されて、送信機で独立に動き補償され、したがって受信機で従来の動き補償により回復することができる。付加された誤差の回復量のトレードオフにおいて、補間は、失われたフレームの情報を現実に有することができない。誤差は、他のディスクリプションに関してそれぞれのディスクリプションに冗長な情報を含むことにより緩和される。この冗長な情報を収集及びアセンブリするため、“Wan及びLin”のＭＤＭＣは、二次予測器を利用しており、すなわち、送信誤差の伝播を抑圧するために前の２つのフレームに基づいたフレームを予測する。このロバストな、二次予測器は、「中央動き補償“central  motion  compensation”」として知られる個別の第三の動き補償で利用される。中央の動き補償は、全てのフレームに関して、奇数フレーム及び偶数フレームの両方に関して動作する。従来の動き補償で生じるように、予測されるフレームと実際のフレームとの間の差は、このケースでは「中央誤差」である誤差又は残余として受信機に送出され、この受信機は、通常は同じ予測を行い、オリジナルフレームを回復するために誤差を付加する。しかし、１つのディスクリプションが失われている場合、受信機での中央の動き補償は、奇数フレームと偶数フレームの両者を必要とするのでディスエーブルにされる。他方では、受信機での奇数及び偶数の動き補償は、送信機で発生される「サイド誤差」として知られるそれぞれの奇数誤差又は偶数誤差を使用するために構成され、ミスマッチを被ることなしに代わりに中央誤差を置換することはできない。
【０００６】
このミスマッチを低減するため、“Wan及びLin”は、中央誤差及びサイド誤差と中央誤差との間の差の両者を冗長な情報として一定不変に送信する。この差は、「ミスマッチ誤差」として知られている。さらに、ミスマッチ誤差は、受信機での効果的なビデオプレゼンテーションのために常に必要とされないオーバヘッドを表している。
【０００７】
さらに、“Wan及びLin”の中央予測は、符号化されているビデオのコンテンツにおける現行の変化に対して鈍感である加重された平均を、たとえそれらの変化が更なる効率を達成するために重みの更新を要求するときでさえも利用している。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、従来技術の上述された問題点を克服するために対処される。
【課題を解決するための手段】
【０００９】
本発明の１態様によれば、デコーダに送信されるべき２つのそれぞれのストリームを生成するため、２つの動き補償手順により並列に符号化するための方法及び装置が提供される。それぞれのストリームは、他のストリームを生成するために動き補償されたビデオシーケンスの一部を構築するため、デコーダにより使用可能なミスマッチ信号を含んでいる。
【００１０】
本発明の別の態様によれば、中央の予測画像は、中央の動き補償で動き補償されたフレームの加重平均を表すために形成され、この場合、平均は、系列の少なくとも１つのフレームのコンテンツ（内容）に基づいて更新されるそれぞれの適応時間フィルタタップの重みにより重み付けされる。
【００１１】
本発明の更なる態様では、送信において送信されるべきビットにおける更新及び結果的な減少による、残りの画像における減少に基づいて、タップが更新されるべき頻度が決定される。この決定は、更新に応答して新たな適応的な時間フィルタタップを送信することにおけるビットレートの増加に更に基づいている。
【００１２】
本発明の更に別の態様では、人の顔、無相関の動き、予め決定されたテクスチャのレベル、エッジ、予め決定された閾値よりも大きい振幅の対象物の動きの少なくとも１つを検出することで、ＲＯＩの識別が実行される。
【００１３】
本発明の更なる態様では、２つのビデオストリームを並列に動き補償デコードするためのマルチプル・ディスクリプション・ビデオデコーダが提供される。デコーダは、他のストリームを生成するために動き補償されたビデオ系列の一部を再構成するため、ストリームを生成した動き補償エンコーダから受信されたミスマッチ信号を使用する。デコーダは、ビデオストリームのコンテンツに基づいてエンコーダにより更新され、両方のストリームに基づいて画像予測を行うためのデコーダにより使用されるタップの重みを受信するための手段を含んでいる。
本明細書で開示される本発明の詳細は、以下に列挙される図面により説明され、図面において同じ機能は、幾つかの図面を通して同じ参照符号で示される。
【発明を実施するための最良の形態】
【００１４】
図１は、例により、本発明に係る、ビデオエンコーダ１０６及びオーディオエンコーダ（図示せず）に接続される複数のアンテナ１０２，１０４を有するテレビジョンブロードキャスト送信機のような無線送信機１００を示している。ビデオエンコーダ及びオーディオエンコーダは、マイクロプロセッサ１１０内のプログラムメモリ１０８と共に一体化される。代替的に、ビデオエンコーダ１０６は、アップグレード可能性に対するトレードオフとして高い実行速度のためにハードウェアで配線接続される。
【００１５】
図２は、本発明の係る受信機でのビデオエンコーダ１０６及びビデオデコーダ２０６のコンポーネント及び機能を詳細に例示している。ビデオエンコーダ１０６は、中央エンコーダ１１０、偶数サイドエンコーダ１２０及び奇数サイドエンコーダ（図示せず）から構成されている。中央エンコーダ１１０は、偶数サイドエンコーダ１２０と共に動作し、同様に奇数サイドエンコーダと共に動作する。同様に、ビデオデコーダ２０６では、中央デコーダ２１０は、偶数サイドデコーダ２２０と動作し、同様に奇数サイドデコーダ（図示せず）と共に動作する。
【００１６】
中央エンコーダ１１０は、入力1:2デマルチプレクサ２０４、エンコーダ入力2:1マルチプレクサ２０５、ビットレート調整ユニット２０８、符号化中央入力画像結合器２１１、中央デコーダ２１２、出力1:2デマルチプレクサ２１４、符号化中央予測器２１６、符号化中央動き補償ユニット２１８、符号化中央フレームバッファ２２１、中央再構成画像結合器２２２、再構成2:1マルチプレクサ２２４、及び動き補償ユニット２２６を含んでいる。
【００１７】
偶数サイドエンコーダ１２０は、符号化偶数サイド予測器２２８、符号化偶数サイド動き補償ユニット２３０、符号化偶数サイドフレームバッファ２３２、符号化偶数サイド入力画像結合器２３４、関心のある領域（ROI:  Region  Of  Interest）選択ユニット２３６、ミスマッチ誤差抑圧ユニット２３８、及び偶数サイドコーダ２４０を含んでいる。ミスマッチ誤差抑圧ユニット２３８は、サイド−中央画像結合器２４２、及びROIコンパレータ２４４及び画像防止器２４６から構成されている。
【００１８】
ビデオ系列１．．ψ（ｎ−１），ψ（ｎ）．．のビデオフレームψ（ｎ）は、入力1:2デマルチプレクサにより受信される。フレームが偶数である場合、フレームψ（２ｋ）が符号化偶数入力画像結合器２３４に分離される。さもなければ、フレームが奇数である場合、フレームψ（２ｋ＋１）が奇数サイドエンコーダにおける類似の構造に分離される。偶数及び奇数フレームへの分割は、奇数フレームと偶数フレームを作るために、フレームおきに、すなわち交互のフレームで分離するが、１つのサブセットを生成するダウンサンプリングに従って任意に行うことができ、フレームの残りは、他のサブセットを含んでいる。エンコーダ入力2:1マルチプレクサ２０５からの出力フレームψ（ｎ）は、動き補償及びＲＯＩ分析の両者に向けられ、両者の処理は、好ましくは並列に実行される。本発明に係る動き補償は、規格H.263,  H.261,  MPEG-2,  MPEG-4等のいずれかに従って実行される従来の動き補償に大きく従う。
【００１９】
動き補償の始めで、符号化中央入力画像結合器２１１は、符号化されていない中央予測誤差又は残差ｅ0（ｎ）を生成するため、ψ（ｎ）から中央予測画像
【００２０】
（外１）
2005538601.tif 000003
を引く。符号化された中央予測誤差ｅ0（ｎ）は、量子化器及びエントロピーエンコーダの両方を含む中央エンコーダ２１２に入力される。出力は、中央予測誤差
【００２１】
（外２）
2005538601.tif 000004
であり、この誤差を、出力1:2デマルチプレクサ２１４は、
【００２２】
（外３）
2005538601.tif 000005
としてデコーダ２０６に送信する。
【００２３】
さらに、
【００２４】
（外４）
2005538601.tif 000006
のいずれかは、再構成2:1マルチプレクサ２２４により中央動き補償にフィードバックされ、中央再構成画像結合器２２２は、（量子化誤差をもつ）入力フレームψ（ｎ）を再構成するため、このフィードバック誤差を中央予測画像
【００２５】
（外５）
2005538601.tif 000007
に加える。再構成されたフレームψ0（ｎ）は、次いで、符号化中央フレームバッファ２２１に記憶される。
【００２６】
先に説明されたように適用されるべき中央予測画像
【００２７】
（外６）
2005538601.tif 000008
の導出では、前の２つの再構成されたフレームψ0（ｎ−１），ψ0（ｎ−２）及び入力フレームψ（ｎ）のそれぞれの動きベクトルＭＶ１及びＭＶ２を導出するため、動き予測ユニット２２６により比較される。すなわち、動きベクトルＭＶ１は、たとえば、現在のフレームψ（ｎ）のルミナンスマクロブロック、すなわち１６×１６画素アレイにそれぞれ属している。完全、又は単に予測的なサーチは、サーチされているマクロブロックの予め決定された隣接又はレンジにあるψ0（ｎ−１）における全ての１６×１６マクロブロックに関して行われる。最も近いマッチングのマクロブロックが選択され、ψ（ｎ）におけるマクロブロックからψ0（ｎ−１）における選択されたマクロブロックへの動きベクトルＭＶ１がこのように導出される。この処理は、ψ（ｎ）のそれぞれのルミナンスマクロブロックについて実行される。ＭＶ２を導出するため、処理が再び実行されるが、今回はψ0（ｎ−１）からψ0（ｎ−２）への動きベクトルが導出され、ＭＶ２を生成するため、デルタがＭＶ１に加算され、すなわち、ＭＶ２は２倍のダイナミックレンジとＭＶ１を有する。
【００２８】
符号化中央動き補償ユニット２１８は、再構成されたフレーム対ψ0（ｎ−１），ψ0（ｎ−２）と同様にＭＶ１及びＭＶ２を受信し、到来するψ（ｎ）に似ているためにＭＶ１及びＭＶ２に基づいて再構成されたフレームを更新、すなわち動き補償する。更新は、最近のビデオフレーム系列における動きが同じ方向及び同じ速度で動き続けることを想定している。符号化中央予測器２１６は、中央予測画像
【００２９】
（外７）
2005538601.tif 000009
を生成するため、それぞれ動き補償されたフレームＷ（ｎ−１），Ｗ（ｎ−２）の重み付けされた平均を形成する。特に、
【００３０】
（外８）
2005538601.tif 000010
は、Ｗ（ｎ−１）＋ａ2Ｗ（ｎ−２），ａ1＋ａ2＝１に等しく設定される。係数ａ1，ａ2は、時間フィルタタップの重みとして以下に示される。
【００３１】
先に示されたように、単に前のフレームに関する従来の使用よりはむしろ、２つの前のフレームを使用することで、受信機での誤差回復力が提供される。さらに、偶数及び奇数ビデオチャネルの両者が受信機でそこなわれずに到達する場合、受信機での対応する中央デコーディングは、効果的にデコードする。しかし、偶数又は奇数ビデオチャネルのいずれかが環境又は他の要素のために効果的に到達しない場合、符号化中央デコーダのフレームバッファ２２１を追従する受信機でのフレームバッファは、再構成又は「参照」フレームを受信せず、この不足により、デコーダ２０６は、受信信号を正しくデコードするため、対応する中央デコーディングを使用するのを防止する。したがって、エンコーダ１０６は、２つの更なる独立な動き補償を含み、１つは、奇数フレームでのみ動作し、別の１つは、偶数フレームでのみ動作し、全ての３つの補償は並列に実行される。したがって、奇数のディスクリプションが破壊又は失われた場合、受信機は、偶数のディスクリプションをデコードすることができ、偶数のディスクリプションが破壊又は失われた場合、受信機は、奇数のディスクリプションをデコードすることができる。
【００３２】
中央動き補償におけるビットレート調整ユニット２０８及びＲＯＩ処理の役割の説明は、偶数サイドエンコーダ１２０及びデコーダ２０６の動作を始めに詳細に説明するために延ばされる。
【００３３】
偶数サイドエンコーダ１２０では、符号化偶数画像入力結合器２３４は、入力信号ψ（２ｋ）からサイド予測画像
【００３４】
（外９）
2005538601.tif 000011
を引く。サブスクリプト１は、偶数サイドの処理を示し、サブスクリプト２は、奇数サイドの処理を示し、サブスクリプト０は、中央の処理を示すために先に使用されている。サイド−中央画像結合器２４２は、中央予測誤差
【００３５】
（外１０）
2005538601.tif 000012
を、偶数画像入力結合器２３４により出力されたサイド予測誤差から引く。サイド−中央の差画像、又は“ミスマッチ誤差”又は“ミスマッチ信号”ｅ1（２ｋ）は、サイド予測画像
【００３６】
（外１１）
2005538601.tif 000013
と中央予測画像
【００３７】
（外１２）
2005538601.tif 000014
との間の差を表し、ＲＯＩ処理の後、
【００３８】
（外１３）
2005538601.tif 000015
を生成するため、偶数サイドコーダ２４０による量子化及びエントロピー符号化を受ける。
【００３９】
ミスマッチ誤差信号
【００４０】
（外１４）
2005538601.tif 000016
は、デコーダ２０６に送信され、エンコーダ１０６及びデコーダ２０６における参照フレーム間のミスマッチを示し、この信号に基づいて、その多くをデコーダはオフセットする。
【００４１】
符号化偶数入力画像結合器２３４は、次いで符号化偶数サイドフレームバッファ２３２に記憶される入力フレームψ（２ｋ）を再構成するため、サイド予測画像
【００４２】
（外１５）
2005538601.tif 000017
を中央及びミスマッチ誤差
【００４３】
（外１６）
2005538601.tif 000018
に加える。サイド予測画像
【００４４】
（外１７）
2005538601.tif 000019
は、ミスマッチ誤差
【００４５】
（外１８）
2005538601.tif 000020
を発生するために使用され、符号化偶数サイド動き補償ユニットにおける前に再構成されたフレームψ1（２ｋ−２）を動き補償することにより導出され、結果的に得られる動き補償されたフレームＷ（２ｋ−２）に基づいて、符号化偶数サイド予測器２２８におけるサイド予測を行う。サイド予測は、Ｗ（２ｋ−２）を０と１との間、及び好ましくは１に等しい係数ａ3により多重化することからなる。
【００４６】
偶数のディスクリプションは、中央予測誤差
【００４７】
（外１９）
2005538601.tif 000021
及びミスマッチ誤差
【００４８】
（外２０）
2005538601.tif 000022
から形成され、奇数のディスクリプションは、中央予測誤差
【００４９】
（外２１）
2005538601.tif 000023
及びミスマッチ誤差
【００５０】
（外２２）
2005538601.tif 000024
から形成される。両方のディスクリプションに含まれているのは、動きベクトルＭＶ１及びＭＶ２及び時間フィルタタップの重みであり、この重みは、以下に更に詳細に説明され、画像の内容に従って調節可能である。
【００５１】
中央デコーダ２０６は、エントロピー復号化及び逆量子化ユニット（図示せず）、デコーダユニット2:1マルチプレクサ２５０、デコーディング中央画像結合器２５２、デコーディング中央予測器２５４、デコーディング中央動き補償ユニット２５６、及びデコーディング中央フレームバッファ２５８を有している。受信された中央予測誤差及びミスマッチ誤差は、エントロピー復号化及び逆量子化の後、
【００５２】
（外２３）
2005538601.tif 000025
を生成するため、デコーダ入力2:1マルチプレクサ２５０により多重化される。これらの誤差信号及び中央予測から、それぞれのフレームが再構成され、ユーザに出力され、次のフレームを再構成するためにその後の動き補償のために記憶され、全ての動作は、エンコーダ１２０での動き補償と類似した方式で実行される。エントロピー復号化及び逆量子化は、デコーダ２０６でのその到達に応答してそれぞれのディスクリプションを始めに受信し、誤差チェック能力を有し、誤差の検出に関してユーザに合図するフロントエンドを組み込んでいることが好ましい。これに応じて、ユーザは、不適切にデコードされたときにフラグが立てられたディスクリプションを無視し、他のディスクリプションを利用する。勿論、両方のディスクリプションが成功して受信されたとき、中央デコーダ２１０の出力は、いずれかデコードされたディスクリプションの出力よりも良好であり、代わりに利用される。
【００５３】
偶数側のデコーダ２２０は、介入フレーム予測器２６０、復号化偶数サイド予測器２６２、復号化偶数サイド動き補償ユニット２６４、復号化偶数サイドフレームバッファ２６６、及び復号化入力偶数サイド画像結合器２６８を含んでいる。偶数サイドデコーダ２２０の機能は、偶数サイドエンコーダ１２０の機能に類似しており、偶数サイドデコーダが奇数フレーム、すなわち奇数のディスクリプションのフレームを再構築する更なるタスクを有する。動き補償された介入フレームＷ（２ｋ−１）は、式
【００５４】
【数１】
2005538601.tif 000026
に従って再構成される。ＭＶ１及びＭＶ２に基づいて失われたフレームを再構成することにおける更なるリファインメントステップは、Wan及びLinの引例で説明されている。
【００５５】
符号化されるべきフレーム、イントラ符号化されたフレームは、完全な形で符号化され、予測されたフレームから差を発見すること、及び該差を符号化することを含む動き補償を受ける。イントラ符号化されたフレームは、ビデオ系列で周期的に現れ、符号化／復号化をリフレッシュする役割を果たす。これに応じて、図２に示されていないが、エンコーダ１２０及びデコーダ２２０の両者は、イントラ符号化されたフレームを検出し、予測器２１６，２２８，２５４，２６２の出力をイントラ符号化されたフレームのためにゼロに設定するために構成されている。
【００５６】
図３は、例を介して、本発明に係る中央予測器のための時間タップの重みをトリガ及び更新するイベントを示すフローチャートである。ａ1を１に設定する１つの極限で、前のフレームにのみ基づく中央予測を行うことに等しく、したがって二次の予測のロバスト性が向上する。結果として、より大きな残りの画像は、効率の犠牲を払って送信される。ａ2を１に設定する他の極限では、ミスマッチ信号がさもなければ介入するフレームを正確に再構成することに与える情報を除く。したがって、誤差の回復量は妥協される。Wang及びLinは、レート歪基準に基づいてａ1及びａ2の値を決定し、全体のビデオ系列のためにこれらの重みを保持する。しかし、かかる固定された重みのスキームは、大量の非効率性を招く可能性がある。たとえば、動く物体をもつフレームでは閉塞が生じることがある。かかるケースでは、フレームｎにおけるブロックのための良好な整合は、フレームｎ−１の代わりにフレームｎ−２から得られる場合がある。これに応じて、より高いａ2はフレームｎ−２を強調し、したがって、デコーダ２０６への残余画像のない送信を導く。逆に、シーン変化がビデオで生じている場合、フレームｎ−１は、高いａ1及び低いａ2が望まれるフレームｎ−２よりも非常に接近した予測を提供する場合がある。有利なことに、本発明は、ビデオの内容をモニタし、これに応じて時間フィルタタップの重みを適応的に調節する。
【００５７】
ステップ３１０は、引用により両者の全体の開示が本明細書に盛り込まれるDe  Haan等による米国特許第6,487,313号及び以下“Yoneyama”と呼ばれるYoneyama等による米国特許第6,025,879号で開示される技術を使用して、たとえば、現在のフレーム及び前の参照フレームに拡張する全ての前のフレームの動きベクトルを調べることで、動く物体のフレームにおける存在を検出する。上述の動く物体の検出アルゴリズムは、単なる例示的なものであって、他の従来の方法が利用される場合がある。動く物体が検出された場合、ステップ３２０で、たとえば、十分な効率が更新から得られるかといった、タップの重みが更新されるべきかに関して判定が行われる。検出及び判定は、ビットレート調整（ＢＲＲ）ユニット２０８により共に行われ、このユニットは、オリジナルフレームψ（ｎ）を受信、記憶及び分析する。そうではない場合、好ましくはフレームである次の領域が調べられる。他方で、ＢＲＲユニット２０８が動く物体を検出しない場合、ステップ３５０で、シーン変化が生じているかが判定される。シーン変化の検出は、あるフレームを参照フレームと比較するためにフレームを動き補償すること、及び引用により両者の全体の開示が本明細書に盛り込まれるDorricottによる米国特許第6,101,222号で開示されるように非ゼロの画素の差が閾値を超えた場合に動き補償が生じたかを判定することで実行することができる。ステップ３５０において、シーン変化が生じたとＢＲＲユニット２０８が判定した場合、タップが更新されるべきかを判定するため処理はステップ３２０に進む。
【００５８】
タップの重みの更新の頻度は、それぞれのフレームで制限される必要がなく、代わりに、タップは、それぞれのマクロブロックについて、又は任意の選択領域について適応的に更新される場合がある。適応的な重みの選択は、符号化効率を改善することができるが、極端に低いビットレートで顕著となる選択された重みの送信に関わるオーバヘッドが存在する。同じ時間重みのどちらを使用すべきかに対する領域のサイズの選択は、オーバヘッドと符号化効率との間のこのトレードオフに依存する。
【００５９】
図４は、本発明に係る、中央予測器のタップの重みがどの位頻繁に更新されるべきかをＢＢＲユニット２０８が判定することができる１つのタイプのアルゴリズムを例示している。ステップ４１０では、更新の頻度は、各マクロブロックに始めに設定される。ステップ４２０では、時間周期を通して、又は予め決定されたフレーム数を通してビットセービングが予測される。予測は、たとえば最近の経験に基づいて経験的に行い、連続的に更新することができる。次の２つのステップ４３０，４４０では、それぞれのフレームに設定される更新の頻度で同じ判定が行われる。ステップ４５０では、２つの頻度のそれぞれについて、新たなタップ重みをもつデコーダ２０６を更新することにおけるビットオーバヘッドの判定は、どちらの更新頻度が効率的であるかを決定するため、それぞれのビットセービングの予測値に比較される。ステップ４６０では、より効果的であるとして決定された頻度が設定される。
【００６０】
本発明によれば、フレームにおける各ブロックについてミスマッチ誤差を送信することが必要ではないので、エンコーダ１０６からデコーダ２０６への伝送における付加的又は代替的なビット効率を実現することができる。たびたび、特に、誤差が多い状況下では、幾つかの領域（たとえば前景）について他の領域（たとえば後景）に比較して良好な品質を有することが許容される。実際、ミスマッチ誤差は、シーンにおける関心のある領域（ＲＯＩ）についてのみ保持される必要があり、ＲＯＩは、ビデオの内容に基づいて識別される。ブロックベースの符号化スキームに準じて、ＲＯＩは、ボックスを境界付けすることでフレーム内で境界を定めることができるが、本発明の意図された範囲は矩形のコンフィギュレーションに限定されない。
【００６１】
図５は、例を介して、本発明に係るＲＯＩを識別することにおいてＲＯＩ選択ユニット２３６により使用することができるコンテンツベースの要素を示している。ＢＲＲユニット２０８のようなＲＯＩ選択ユニット２３６は、オリジナルフレームψ（ｎ）を受信、記憶及び分析するために構成される。ＲＯＩコンパレータは、識別されたＲＯＩを、画像のどの部分がＲＯＩの外側にあるかを判定するため、サイド−中央画像結合器２４２により出力されるサイド−中央の差の画像に比較する。その部分は、画像防止器２４６によりゼロに設定され、これによりＲＯＩ内のミスマッチ誤差のその部分に送信されるべきミスマッチ誤差を制限することができる。
【００６２】
ステップ５１０では、特定の個人である必要はないが人の顔が識別される。引用により両者の全体の開示が本明細書に盛り込まれるKreschにより米国特許第6,463,163号で提供される１つの方法は、ＤＣＴ領域における相関を使用している。ステップ５２０では、無相関の動きが検出される。これは、フレームをそのサイズがそれぞれの繰返しと共に変動する領域に分割し、それぞれの繰返しにおいて、その動きベクトルが予め決定された閾値を超える分散を有する領域についてサーチすることで実行することができる。ステップ５３０では、テクスチャをもつ領域が検出される。これは、受信機で１つのディスクリプションがないことは、ミスマッチ誤差から顕著な利益を受ける失われたフレームを保管することを必要とする。Yoneyamaは、前の参照フレームに拡張し、前の領域で動作する前のフレームに基づくテクスチャ情報検出器を開示している。エッジは、高い空間アクティビティを示し、したがってＲＯＩを示している。ステップ５４０では、エッジが検出され、引用により両者の全体の開示が本明細書に盛り込まれるKomatsuによる米国特許第6,008,866号におけるエッジ検出回路により実現することができる。Komatsuの回路は、色分解された信号をバンドパスフィルタでフィルタリングすること、結果の振幅を正規化し、閾値に比較することでエッジを検出している。この技術又はいずれか公知及び適切な方法が利用される場合がある。最終的に、高い時間的なアクティビティを示し、したがってＲＯＩを示す高速の物体の動きは、先に示されたように動く物体を検出し、動きベクトルを予め決定された閾値に比較することで検出することができる。先のＲＯＩのインジケータのいずれかが存在すると判定された場合、ステップ３５０において、ＲＯＩフラグは、特定のマクロブロックについて設定される。境界付けするボックス内のＲＯＩは、フレーム内でフラグが立てられるマクロブロックに基づいて形成される場合がある。
【００６３】
先に示されたように、エンコーダにおけるマルチプル・ディスクリプション動き補償スキームは、ビデオコンテンツ中央予測が導出される予測フレームの重み付けに基づいて更新すること、及びビデオコンテンツに基づいて、関心のある領域内にないフレームの領域について、デコーダーサイドの予測を拡張するためのミスマッチ信号の送信を防止することで、デコーダによる通信におけるビットを節約するために最適化される。
【００６４】
本発明の好適な実施の形態であると考えられる内容が図示及び説明されたが、勿論、形式又は詳細における各種変更及び変形が本発明の精神から逸脱することなしに容易になされることを理解されるであろう。たとえば、選択的に阻止されるミスマッチ信号は、２以上のビデオ系列のディスクリプションを受信するために配置されるデコーダに役立つ。本発明は、記載及び例示された正確な構成に限定されないが、特許請求の範囲に含まれる全ての変更をカバーすることが解釈されるべきである。
【図面の簡単な説明】
【００６５】
【図１】本発明に係る例示的なビデオエンコーダを使用した複数アンテナ送信機のブロック図である。
【図２】本発明に係る、図１のビデオエンコーダ及び対応するデコーダの１つのコンフィギュレーションの例を示すブロック図である。
【図３】本発明に係る中央予測器のタップ重みの更新をトリガするイベントを例として示すフローチャートである。
【図４】本発明に係る、中央予測器のタップ重みをどの位頻繁に更新すべきかを決定するアルゴリズムの１つのタイプを例示するフローチャートである。
【図５】本発明に係る、関心のある領域を識別することに使用されるコンテンツベースの要素を例として示すフローチャートである。
【図１】
2005538601.tif 000027
【図２】
2005538601.tif 000028
【図３】
2005538601.tif 000029
【図４】
2005538601.tif 000030
【図５】
2005538601.tif 000031
【国際調査報告】
2005538601.tif 000032
2005538601.tif 000033
2005538601.tif 000034
2005538601.tif 000035
2005538601.tif 000036