(57)【要約】【課題】実質的な帯域幅の節減を実現する。【解決手段】エンコードされたフレームシーケンスを搬送する出力を有する統合時間フィルタを備えたビデオエンコーダは、入力フレームデータを受信する入力部と、入力フレームデータを入力部から受信してフィルタリングされたフレームデータを生成する時間フィルタと、時間フィルタからエンコードされたフレームシーケンスとフィルタリングされたフレームデータから誘導される再構成されたフレームを受信し、残差誤差信号出力を生成する動き処理モジュールと、及び入力データフレームと残差誤差信号を受信し、エンコードされたフレームシーケンスを生成するコーダモジュールとを含む。【選択図】図５
2011530222.tif 000002
【特許請求の範囲】
【請求項１】
エンコードされたフレームシーケンスを搬送する出力を有する統合時間フィルタを備えたビデオエンコーダであって、
入力フレームデータを受信する入力部と、
前記入力フレームデータを前記入力部から受信し、フィルタリングされたフレームデータを生成する時間フィルタと、
前記エンコードされたフレームシーケンスと前記フィルタリングされたフレームデータとから誘導される再構成されたフレームを受信し、残差誤差信号出力を生成する入力部を有する動き処理モジュールと、及び
前記残差誤差信号を受信し、エンコードされたフレームシーケンスを生成するコーダモジュールとを含むことを特徴とするビデオエンコーダ。
【請求項２】
前記動き処理モジュールは、
前記再構成されたフレームと前記入力フレームデータとを受信し、推定された動きベクトルを生成する動き推定モジュールと、
前記推定された動きベクトルを受信し、動き補償フレームデータを生成する動き補償モジュールとをさらに含み、
前記時間フィルタは、フィルタリングのための動き補償フレームデータをさらに受信することを特徴とする請求項1に記載のビデオエンコーダ。
【請求項３】
前記エンコードされたフレームシーケンスを受信し、前記再構成されたフレームを前記動き推定モジュールに提供するフレームの再構成モジュールをさらに含むことを特徴とする請求項2に記載のビデオエンコーダ。
【請求項４】
前記時間フィルタが、前記動き推定モジュールに提供される再構成されたフレーム、または交互に再構成されたフレームのうちの何れか一つを受信するようにするスイッチをさらに含むことを特徴とする請求項3に記載のビデオエンコーダ。
【請求項５】
動き推定モジュールと時間フィルタとに、エンコードする現在フレームを実質的に同時に受信するステップと、
前記現在フレームを時間的にフィルタリングするステップと、
以前エンコードされたフレームを受信するステップと、
前記以前エンコードされたフレームから再構成されたフレームを生成するステップと、及び
前記再構成されたフレームと前記現在フレームとの間でブレンディングを遂行するか、且つブレンディングをどのくらい遂行するかを、前記再構成されたフレームと前記現在フレームとから決定するステップとを含むことを特徴とするビデオエンコーディング方法。
【請求項６】
前記再構成されたフレームを使用してブレンディングすることによって、時間的にフィルタリングするステップをさらに含むことを特徴とする請求項5に記載のビデオエンコーディング方法。
【請求項７】
前記動き推定モジュールに提供される再構成されたフレーム、又は動き補償のない交互に再構成されたフレームのうちの何れか一つにより、前記現在フレームを選択的・時間的にフィルタリングするステップをさらに含むことを特徴とする請求項6に記載のビデオエンコーディング方法。
【請求項８】
動き推定ユニットから推定された動きベクトルを受信するように構成され配置された動き補償ユニットと、
前記動き補償ユニットに接続された残差計算ユニットと、及び
前記動き補償ユニットに接続され、現在ビデオフレームの受信を可能にし、動き補償参照フレームと前記現在ビデオフレームとの間のブレンディングのための要求だけでなく、前記ブレンディングの強度レベルの決定を可能にする時間フィルタユニットとを含むことを特徴とするビデオエンコーダ。
【請求項９】
前記ブレンディングは、画素レベルまで遂行されることを特徴とする請求項8に記載のビデオエンコーダ。
【請求項１０】
エンコードする現在ビデオフレームを受信するステップと、
以前エンコードされた参照フレームを受信するステップと、
動き推定及び補償を使用することによって、前記以前エンコードされた参照フレームから動き補償参照フレームを生成するステップと、及び
ブレンディングが必要かどうかを前記動き補償参照フレームと前記現在ビデオフレームとに基づいて決定し、もしそうであれば、前記ブレンディングの強度を決定するステップとを含むことを特徴とするビデオフレームのビデオエンコーディング方法。
【請求項１１】
前記ブレンディングは、画素レベルまで遂行されることを特徴とする請求項10に記載のビデオフレームのビデオエンコーディング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にビデオデータをエンコードする分野に関するものであって、特に、ビデオデータをエンコードするために、システム及び方法において統合時間フィルタを使用することに関するものである。
【背景技術】
【０００２】
小型のデジタルフォーマットにおいて、ビデオデータをエンコードする従来のシステム及び方法は、各種信号処理を遂行する専用集積回路及び/又は集積回路のシステム、専用のプロセッサで実行されるソフトウェア、または汎用のプロセッサで実行されるソフトウェアとして実施される。
デジタルビデオ信号は、フレームシーケンスでの全ての画素(ピクセル)の色調、色彩度、及び輝度を表すために最終的にデコードされるデジタル値(従来は、バイト、ワード、画素、フレーム等として体系化される2進数のシーケンス、即ちビット)のデジタル回路内で電流及び電圧として表現される。最新のデジタルビデオ信号は、超高解像度のフレームの移動シーケンスを示すようにデザインされている。このような超高解像度のフレームシーケンスは、ソースからディスプレイに表される大量の情報を送信するために、超高帯域幅、即ち、情報伝送能力を必要とするため、最新のシステムは送信用信号をエンコード又は圧縮する。
【０００３】
デジタル圧縮及び動き補償技術は、必要なビデオチャンネルの帯域幅を大幅に低減できる。従来のビデオコーデックは、他の機能のうち、動き補償を遂行した後、現在フレームに送信された最後のフレームを比較し、フレームシーケンスをエンコードして、その差を取る。
従来の時間フィルタの構成及び従来のビデオコーデックは、図6及び図7のそれぞれに図示されている。
【０００４】
簡単に、図6のブロック図に図示されているような従来の時間フィルタの構成は、入力フレームデータ(101)を動き推定及び動き補償モジュール(603)に受信する。また、入力フレームデータ(101)は、時間フィルタ(605)により受信され、旧フレーム(old frame)のメモリ(606)に保存される。旧フレームのメモリ(606)は、例えば、無限インパルス応答(IIR)の時間フィルタを使用し、時間フィルタリング[即ち、入力フレームデータ(101)]の前または時間フィルタリング[代替データ経路(607)]の後の何れか一つでフレームを維持してもよいが、いずれにしても、上記フレームは動作する現在フレームより古いものである。旧フレームは、推定及び補償のための基盤を形成するため、旧フレームは動き推定及び動き補償モジュール(603)の動作中にメモリ(606)から検索される。
【０００５】
図7のブロック図に図示されているような完全な従来のビデオコーデックにおいて、入力フレームデータ(101)は、残差計算モジュール(707)に受信されると共に、動き推定及び動き補償モジュール(703)に受信される。残差計算モジュール(707)は、残差誤差と呼ばれる動き補償の旧フレームと実際の現在フレームとの差を計算する。このとき、残差誤差は、変換/量子化/エントロピーコーディングモジュール(709)によりエンコードされる。エンコードされた残差誤差は、旧フレームを参照し、再構成モジュール(711)によりフィードバックされてデコードされる。再構成されたフレームは、動き推定及び動き補償モジュール(703)によるアクセスのためにメモリ(713)に保存される。メモリ(713)から検索される再構成されたフレームは、モジュール(703)により行われた動き推定及び補償に使用される。
【発明の概要】
【０００６】
エンコードされたフレームシーケンスを搬送する出力を有する統合時間フィルタを備えたビデオエンコーダは、入力フレームデータを受信する入力部と、入力フレームデータを入力部から受信し、フィルタリングされたフレームデータを生成する時間フィルタと、エンコードされたフレームシーケンスとフィルタリングされたフレームデータから誘導される再構成されたフレームを受信し、残差誤差信号出力を生成する動き処理モジュールと、及び入力フレームデータと残差誤差信号を受信し、エンコードされたフレームシーケンスを生成するコーダモジュール(coder module)とを含む。一実施形態において、動き処理モジュールは、再構成されたフレームと入力フレームデータを受信して推定された動きベクトルを生成する動き推定モジュール、及び推定された動きベクトルを受信して動き補償フレームデータを生成する動き補償モジュールをさらに含み、時間フィルタは、フィルタリングのための動き補償フレームデータをさらに受信する。他の実施形態において、ビデオエンコーダは、エンコードされたフレームシーケンスを受信し、再構成されたフレームを動き推定モジュールに提供するフレーム再構成モジュールをさらに含む。また別の実施形態において、ビデオエンコーダは、時間フィルタが動き推定モジュールに提供される再構成されたフレームまたは交互に再構成されたフレームのうちの何れか一つを受信するようにするスイッチをさらに含む。
【０００７】
ビデオエンコーディング方法は、動き推定モジュールと時間フィルタにエンコードされる現在フレームを実質的に同時に受信するステップと、現在フレームを時間的にフィルタリングするステップと、以前エンコードされたフレームを受信するステップと、以前エンコードされたフレームから再構成されたフレームを生成するステップと、及び再構成されたフレームと現在フレームとの間でブレンディングを遂行するか、且つブレンディングをどのくらい遂行するかを、再構成されたフレームと現在フレームから決定するステップとを含む。一実施形態において、上記方法は、再構成されたフレームを使用してブレンディングすることによって、時間的にフィルタリングするステップを含む。他の実施形態において、上記方法は、動き推定モジュールに提供される再構成されたフレームまたは動き補償のない交互に再構成されたフレームのうちの何れか一つにより、現在フレームを選択的・時間的にフィルタリングするステップを含む。
【０００８】
他の実施形態によると、ビデオエンコーダは、動き推定ユニットから推定された動きベクトルを受信するように構成・配置された動き補償ユニットと、動き補償ユニットに接続された残差計算ユニットと、及び動き補償ユニットに接続され、現在のビデオフレームの受信を可能にし、動き補償参照フレームと現在のビデオフレームとの間のブレンディングのための要求だけでなく、ブレンディングの強度レベルの決定を可能にする時間フィルタユニットとを含む。一実施形態において、ブレンディングは画素レベルまで遂行される。
【０００９】
ビデオフレームをビデオエンコードする他の方法は、エンコードする現在ビデオフレームを受信するステップと、以前エンコードされた参照フレームを受信するステップと、動き推定及び補償を使用することにより、以前エンコードされた参照フレームから動き補償参照フレームを生成するステップと、及びブレンディングが必要かどうかを動き補償参照フレームと現在ビデオフレームに基づいて決定し、もしそうであれば、ブレンディングの強度を決定するステップとを含む。一実施形態によると、ブレンディングは画素レベルまで遂行される。
【００１０】
添付図面は、一定の比率で描かれたものとして意図されない。該図面において、各図面に例示される各々同一、またはほぼ同一の構成要素は、同一の番号で表される。明瞭化のために、全ての構成要素が全ての図面につけられるのではない。データ及び処理のフローを示すブロック図において、破線はデータのみのフローを示す一方、実線はデータ及び処理のフローを示す。
【図面の簡単な説明】
【００１１】
【図１】一実施形態のブロック図である。
【図２】図1の実施形態のより詳しいブロック図である。
【図３】他の実施形態のブロック図である。
【図４】また別の実施形態のブロック図である。
【図５】一実施形態のまた別のフロー図である。
【図６】従来のビデオエンコーダのブロック図である。
【図７】従来のビデオコーデックのブロック図である。
【発明を実施するための形態】
【００１２】
本発明は、出願において、以下の説明で定義され、図面に例示されている構成の細目及び構成要素の配置に限定されない。本発明は、他の実施形態で可能であり、各種の方法で実施または遂行できる。また、ここで使用されている語句及び用語は、説明するためのものであり、制限するものとして見なしてはいけない。ここで、「備える」、「含む」、または「有する」、「含有する」、「伴う」及びその変形の使用は、後ろに記載されているアイテム及びその同意語だけでなく、追加のアイテムを含むことを意味する。
【００１３】
本発明の実施形態は、デジタルビデオビットストリームと呼ばれるビットストリームとして、フレームストリームをエンコードするデジタル信号処理のフィードバックルーフの周りに構成できる。エンコーディングは、以前エンコードされたフレーム(参照フレームと呼ばれる)を使用し、現在フレームのコンテンツを予測するために、動き推定及び動き補償の遂行を伴い、この予測を遂行するために再構成してもよい。上記予測と実際の現在フレームとの差は、エンコードされた情報として圧縮されて送信される。このようなシステムにおいて、現在フレームが受信され、動き推定及び補償を適用した参照フレームと比較し、上記推定及び補償と相違する動きが発生するか、且つ該動きがどのくらい発生するか、即ち、残差の差を決定する。残差の差は、このとき、出力のためにエンコード及び量子化する。また、現在フレームは、次の現在フレームのための参照フレームを形成するために、フィードバック経路でデコード及び再構成される。空間フィルタリングにより除去されない雑音を除去するために必要であれば、時間フィルタリングが用いられる。
【００１４】
実施形態による時間フィルタリングは、記載されたシステムにおいて、多数の相違するステージのうちの一つで遂行できる。有利と判定された時間フィルタリングを遂行する選ばれたステージの特徴は、動き推定及び/又は補償モジュールと同一のフェッチ(fetch)を使用する現在フレームを受信すること、及び現在フレームに時間フィルタ動作を遂行し、最終の残差の計算のための残差計算ユニットに結果を提供すること又はブレンディング/補間及び残差計算を同時に遂行する残差計算ユニットに必要なブレンディングの決定を提供することのうちの何れか一つを含むが、その全てが何れか一つの選ばれたステージに含まれる必要はない。
【００１５】
上記構造は、出力の生成のために、入力に特定機能を遂行するモジュールを形成するように構成された専用または汎用のハードウェア及び/又はソフトウェアで構築される。これから論議するこのような個別モジュールの実施は、当業者によく知られている。類似のモジュールは、従来のエンコーダも構成されているハードウェア及び/又はソフトウェアの要素である。
動き推定器
動き推定器は、専用のデジタル論理回路、充分な速度と帯域幅のデジタル信号プロセッサ(DSP)で実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。動き推定器は、現在フレームと一つ以上の以前フレームとを比較し、以前フレームと現在フレームとの間に動きが発生するか、動きが発生する場合、及び/又は動きがどのくらい発生するかを推定する。動きは、一方のフレームから他方のフレームへの画素または個別の画素のブロックに対する変位の方向と大きさを示すベクトルとして表現される。
動き補償器
動き補償器は、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械又は他の適切な手段により構成してもよい。動き補償器は、動きベクトルを参照フレームに適用し、動き補償予測フレームを生成する。上記予測フレームは、現在フレームとは異なってもよく、その差は残差誤差と呼ばれる。
残差計算機
残差計算機は、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械又は他の適切な手段により構成してもよい。残差計算機は、現在フレームと予測フレームとの間で画素毎の差を決定し、その差は、このとき、デジタルビデオビットストリームにエンコードされるものである。また、時間フィルタによりガイドするブレンディングは、残差計算機により遂行できる。
時間フィルタ
時間フィルタは、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。時間フィルタは、ブレンディング、補間及び/又は他の補償技術がどの程度まで使用すべきかを決定することによって、時間的雑音を除去する。時間フィルタリングは、フレーム内の空間でラインまたは領域にわたり、画素又はサブ画素の変化率を変更する空間フィルタリングと比較し、少なくとも一つの画素又はサブ画素の変化率を一定期間にわたり比較変更する。
【００１６】
上述の代表的な技術であるブレンディングは、少なくとも二つの入力値を受信し、少なくとも一つのブレンディングのパラメータを適用して、例えば、入力値の間の値を有するスカラー値を出力で生成する値である。少なくとも二つの値が受信される実施形態で、ブレンディングは同じ部分、例えば、少なくとも二つのフレームに対応する画素の輝度値を示せる。代案として、ブレンディングは、時間及び空間フィルタリングの効果を結合し、大きい領域内の値、例えば、二つのフレームの対応する3×3画素の領域内の輝度値を示せる。この過程(単純化のために、2つの入力の場合として例示される)は、式：O＝f(A、B、bp1、bp2、…bpn)で示してもよい。
【００１７】
ここで、A、Bは入力値であり；
bp1、bp2、…bpnは、ブレンディングのパラメータであり(nは、任意の数)；
Oは、A≦BであればA≦O≦B、及びA＞BであればB≦O≦Aの範囲である出力の結果である。
試みられた一つのモデルによると、ブレンディングの関数は、O＝bp1×A+(1-bp1)×Bで示してもよい。
量子化器
量子化器は、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。量子化器は、より有意なディジットを有してもよく、又はスケール因子などを含んでもよい以前の計算の結果をとり、上記結果を有限数の量子、すなわち、エンコードできる特殊値のうちの一つに低減させる。
逆量子化器 
逆量子化器は、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。逆量子化器は、量子のシーケンスを取り、状態情報、他の先験的情報、補間または他の技術に基づき、値をより有意なディジットを有してもよく、又はスケール因子などを含んでもよい値のシーケンスに拡大して戻す。
変換/逆変換
変換/逆変換の演算を含む各種マトリックス演算が要求することができ、専用デジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。
コーダ
コーダは、専用のデジタル論理回路、充分な速度と帯域幅のDSPで実行されるデジタル信号処理ソフトウェア、有限状態機械または他の適切な手段により構成してもよい。コーダは、上記値のシーケンスに含まれたリダンダンシーを増加させ、シーケンスの送信中に導入してもよいシーケンスでの誤差に対する抵抗を増加させるために、或いは一方の情報表示を他方の情報表示へ簡単に転換するために、値の入力シーケンスの各種変換を遂行し、上記値のシーケンスに含まれたリダンダンシーを減少させて、上記シーケンスをより小さい数の値に圧縮してもよい。ビデオの処理に使用される一部のコーダは、エントロピーエンコーダ、離散コサイン変換(DCT)エンコーダなどの変換エンコーダ、及び動き推定及び補償エンコーダを含む。この論議において、エンコーダの特定機能は文脈で確認され、「コーダ」または「エンコーダ」という単語は、その機能のみが明確であるときは使用できない。
【００１８】
実施形態は、図1を参照して説明する。図1に図示された構成要素は、個別的に上述されている。このブロックのそれぞれに対する代替構成は、当業者に公知となっている。
フレームは、システム(100)によりキャプチャーされ、動き推定及び動き補償を遂行する動き処理モジュール(103)に入力フレームデータ(101)として提供される。また、入力フレームデータ(101)は、時間フィルタモジュール(105)及び残差計算モジュール(107)に提供される。以前フレームと現在処理される入力フレームデータ(101)との間で発生する動きが推定され、以前フレームの各画素に適用された補償は、入力フレームデータ(101)と時間的にフィルタリングされた(105)フレームデータ及び/又はメタデータ(例えば、ブレンディング係数)と共に残差計算モジュール(107)に提供される補償フレームを生成する。残差計算モジュール(107)は、このとき、フレームデータの各種バージョンの間でブレンド又は補間され、エンコーディングモジュール(109)によりエンコードできる残差値を生成する。未来フレームとの比較を遂行するために、後続フレームのエンコード中にエンコードされたフレームは、フレームの再構成モジュール(111)により再構成され、再構成されたフレーム(113)を生成する。再構成されたフレーム(113)は、時間的にフィルタリングされ、再構成される前にエンコーディング処理の全体のバランスが備えられた入力データから誘導される。この再構成されたフレーム(113)は、入力フレームデータ(101)が動き処理モジュール(103)のために比較される以前フレームである。
【００１９】
一部の実施形態によると、時間的にフィルタリングされた(105)フレームデータは、仮想であってもよく、即ち、時間フィルタモジュール(105)は、フィルタ係数をその出力として提供し、実際のフィルタリング演算は、残差計算モジュール(107)で残差計算と共に直ちに遂行される。他の実施形態によると、時間フィルタモジュール(105)は、適切なフィルタ係数を入力フレームデータ(101)に適用し、フィルタリングされたフレームデータを直接生成する。
【００２０】
図1の各種モジュールは、統合専用のハードウェアモジュール又は統合ソフトウェアモジュールとして実行されてもよく、実行を容易にするために、機能的にさらに分離されてもよい。例えば、動き処理モジュール(103)は、個別の動き推定モジュール及び動き補償モジュールに分離されることができる。例えば、図2の210及び220のそれぞれを参照すればよい。
【００２１】
低レベルの機能性を実行する個別のモジュールとして例示されている図1の幾つかのモジュールの実施形態は、図2を参照して説明できる。図2に図示された構成要素は、個別的に上述されている。このブロックのそれぞれに対する代替構成は、当業者に公知となっている。
フレームは、システム(200)によりキャプチャーされ、動き推定モジュール(210)に入力フレームデータ(101)として提供され、その出力は選択的に入力フレームデータ(101)も直接受信できる動き補償モジュール(220)に接続される。動き推定は、エンコーディングの順に以前フレームに対して遂行される。動き補償モジュール(220)は、必要であれば補間を遂行し、残差計算モジュール(230)で残差計算による差し引きを遂行する。本発明において、時間フィルタモジュール(225)は、動き補償モジュール(220)に接続され、入力フレームデータ(101)をさらに受信し、出力を残差計算モジュール(230)に提供する。時間フィルタモジュール(225)は、動き補償参照と現在フレームとの間に強度ブレンディングを適用するかを、また、強度ブレンディングを適用したことを多少の画素から全ての画素までチェックできる。ブレンディングは、要求通りフレームの一部又は全フレームに適用されてもよい。先行技術のソリューションと対照的に、残差計算モジュール(130)は、これから時間フィルタモジュール(225)からの出力だけでなく、動き補償モジュール(220)からの参照を使用してブレンディングを遂行してもよく、入力フレームデータ(101)をさらに使用してブレンディングを同様に遂行してもよい。従って、一実施形態において、ブレンディングは、時間フィルタモジュール(225)により遂行される。システム(200)は、このとき、変換モジュール(240)、例えば、離散コサイン変換(DCT)、量子化モジュール(250)、逆量子化モジュール(280)、及び逆変換モジュール(245)、例えば、逆DCT(IDCT)を通じ、規則的な圧縮フローを持続させる。残差係数のリオーダリングを遂行し、エントロピーコーディングモジュール(270)に接続されるリオーダリングモジュール(260)は、量子化モジュール(250)の出力に接続される。フレームの再構成モジュール(111)は、逆変換の出力だけでなく、動き補償フレームを受信して再構成されたフレームをメモリ(114)に保存してもよい。メモリ(114)は、動き推定モジュール(210)及び動き補償モジュール(220)にさらに接続される。メモリ(114)は、システム(200)が集積回路として具現されるとき、外部または内部メモリであってもよい。
【００２２】
実施形態の代替様相によるシステム(300)は、図3に例示されている。例示された代替例は、相違するフレームまたはその部分が動き推定及び動き比較モジュールまたはモジュールで参照フレームとしての役割を許容するようにする。
フレームは、システム(300)によりキャプチャーされ、動き処理モジュール(103)に入力フレームデータ(101)として提供される。また、入力フレームデータ(101)は、時間フィルタモジュール(305)及び残差計算モジュール(107)に提供される。以前の入力フレームと現在処理される入力フレームデータ(101)との間で発生する動きが推定され、参照フレームの各画素に適用された補償は、入力フレームデータ(101)及び時間的にフィルタリングされた(305)フレームデータと共に残差計算モジュール(107)に提供される補償フレームを生成する。残差計算モジュール(107)は、このとき、フレームデータの各種バージョンの間でブレンディング又は補間され、エンコーディングモジュール(109)によりエンコードできる残差値を生成する。未来フレームとの比較を遂行するためにエンコードされたフレームは、フレームの再構成モジュール(111)により再構成され、再構成されたフレーム(113)を生成する。再構成されたフレーム(113)は、時間的にフィルタリングされ、再構成される前にエンコーディング処理の全体のバランスが備えられた入力データから誘導される。この再構成されたフレーム(113)は、入力フレームデータ(101)が動き処理モジュール(103)のために比較される以前フレームである。スイッチ(306)は、ハードウェアまたはソフトウェアを使用して読み取るメモリ位置の選択を通じて提供され、時間フィルタに提供された、再構成されたフレーム(113)が動き処理モジュール(103)に提供されたものと同一であってもよく、または動き処理モジュール(103)あるいはメモリ(114)に保存された部分に現在提供されたもの以外に再構成されたフレームであってもよく、例えば、動き補償を有さない再構成されたフレームであってもよい。
【００２３】
また別の実施形態によるシステム(400)は、図4に図示されている。この実施形態において、時間フィルタは動き補償情報というよりは、むしろ動き推定情報を受信している。
フレームは、システム(400)によりキャプチャーされ、動き推定モジュール(402)に入力フレームデータ(101)として提供され、その出力は選択的に入力フレームデータ(101)も直接受信できる動き補償モジュール(403)に接続される。動き推定は、エンコーディングの順に以前フレームに対して遂行される。動き補償モジュール(403)は必要であれば補間を遂行し、残差計算モジュール(107)で残差計算による差し引きを遂行する。本発明において、時間フィルタモジュール(405)は動き推定モジュール(402)に接続され、入力フレームデータ(101)をさらに受信し、出力を残差計算モジュール(107)に提供する。時間フィルタモジュール(405)は、参照と現在フレームとの間に強度ブレンディングを適用するかを、また、強度ブレンディングを適用したことを全ての画素に対してチェックできる。ブレンディングは、要求通りフレームの一部または全体のフレームに適用してもよい。先行技術のソリューションと対照的に、残差計算モジュール(107)は、これから時間フィルタモジュール(405)からの出力だけでなく、動き補償モジュール(403)からの参照を使用してブレンディングを遂行し、入力フレームデータ(10)をさらに遂行し、ブレンディングを遂行する。従って、一実施形態において、ブレンディングは時間フィルタモジュール(405)により遂行される。システム(400)は、このとき、エンコーディングモジュール(109)を通じて、規則的な圧縮フローを持続させる。フレームの再構成モジュール(111)は、エンコーディングモジュール(109)の出力だけでなく、動き補償フレームを受信して再構成されたフレームをメモリ(114)に保存してもよい。メモリ(114)は、動き推定モジュール(402)及び動き補償モジュール(403)にさらに接続される。メモリ(114)は、システム(400)が集積回路として具現されるとき、外部または内部のメモリであってもよい。
【００２４】
これから、本発明は、図5のフロー図(500)にさらに記述されたように、時間フィルタリングと共にビデオエンコーディングの遂行を可能にする。S510では、エンコードするフレームが受信される。S520では、以前エンコードされた少なくとも一つの参照フレームが受信される。このようなフレームの受信は、メモリ(114)から利用可能であるという点に注目すべきである。S530では、動き補償参照フレームが動き推定を使用することによって、参照フレームから生成される。S540でブレンディングが必要かどうかを決定し、もし必要であれば、遂行がS550で続けられ；そうでなければ、遂行がS570で続く。S550では、必要なブレンディングの強度が決定される。開始された本発明の一実施形態で汎用性を制限しない目的でブレンディングが画素レベルまで遂行される。S560では、フレーム間のブレンディングが遂行される。S570では、追加フレームが処理される必要があるかチェックされ、もし必要であれば、遂行がS510で続き；そうでなければ、遂行が終了となる。
【００２５】
説明された各種の実施形態の変化によると、動き補償参照フレームを以前エンコードされた参照フレームから生成することは、動き推定モジュール及び動き補償モジュールで並列に行うことができ、提供された時間フィルタモジュールで時間フィルタモジュールは、動き推定モジュール及び動き補償モジュールと相違する参照フレームを受信する。
実施形態の原理を用いて、実質的な帯域幅の節減が実現される。従来のシステムは、input MB(384Byte)+Ref MB(384Byte)+out MB(384Byte)＝1.125KB per MBの帯域幅を時間フィルタに対して必要とする。ビデオエンコーダに要求されるように、それにinput MB(384Byte)+Rec MB(384Byte)+out Code per MB(〜10Byte)＝0.76KB per MBの帯域幅が追加される。従って、従来のシステムに必要な全帯域幅は、約1.885KB per MBである。対照的に、上述した実施形態は、input MB(384Byte)+Rec MB(384Byte)+out Code per MB(〜10Byte)＝0.76KB per MBの組み合わせ時間フィルタ及びエンコーダに対する帯域幅の要件を有する。帯域幅の節減は、実施形態が従来のシステムの帯域幅の約40％のみを使用し、類似する結果を達成するため、上述した実施形態を使用して、約60％である。
【００２６】
また、上述した低い帯域幅に対する要求は、エンコーディング装置のための低電力消費の要求に寄与できる。低い帯域幅は、このような装置の個別スイッチング素子となることができ、例えば、より効率的な作動領域でより多くの時間作動する個別のトランジスタがあるが、何故なら、これは高い帯域幅を支援するために、超高周波数で動作するときよりも低周波数で動作するためである。
【００２７】
他の実施形態の長所は、高品質の低ビットレートビデオを支援できるということである。時間フィルタは、ビットレートの制御によっても使用されることができるため、本質的な品質の損失なくビットレートを低減できる。
また別の実施形態の長所は、フレーム間の雑音減少と転移の平坦化により、さらに高く認識されるビデオの品質である。
【００２８】
また別の実施形態の別の長所は、エンコードされたストリームに必要なビットの数を減少させ、必要な帯域幅を減少させるより大きな潜在性であるが、これは、予測された現在フレームと実際の現在フレームとの差を示すために、エンコーディングに必要な残差データの量を減少させ、圧縮の要求を減少させる時間フィルタリングによることである。
従って、本発明の少なくとも一つの多くの実施形態を説明したとしても、各種の変更、修正、及び改善は、当業者が容易に遂行できるであろうと理解されなければならない。そのような変更、修正、及び改善は、本明細書の一部であり、本発明の精神と範囲内にある。従って、以前の説明と図面は単なる一例である。
【図１】
2011530222.tif 000003
【図２】
2011530222.tif 000004
【図３】
2011530222.tif 000005
【図４】
2011530222.tif 000006
【図５】
2011530222.tif 000007
【図６】
2011530222.tif 000008
【図７】
2011530222.tif 000009
【国際調査報告】
2011530222.tif 000010
2011530222.tif 000011
2011530222.tif 000012