(57)【要約】【課題】エンコーダ枠組み内におけるループ内ノイズの低減。【解決手段】ビデオ符号化の枠組み内で内部的にノイズをフィルタする装置および方法が説明される。発明の各種実施形態で、デジタル・ビデオ信号内の動き軌道に沿ってノイズを低減するループ内ノイズ・フィルタが符号化装置または枠組み内に統合される。このループ内ノイズ低減の統合によりノイズ・フィルタリング・パラメータおよび符号化パラメータ双方をより容易に関連づけし調節することが可能になる。ループ内ノイズ・フィルタはデジタル・ビデオ符号化プロセスを活用してビデオ信号上のノイズを低減しコーデックの符号化効率を向上させる。【選択図】図３
2008061240.tif 000002
【特許請求の範囲】
【請求項１】
エンコーダ枠組みで、
ビデオ信号を受信するよう接続され、前記ビデオ信号内の第１のビデオ・フレームを変
換し数量化するビデオ変換および数量化モジュールと、
前記ビデオ圧縮モジュールに接続され、前記第１のビデオ・フレームを逆に変換し逆に
数量化する逆変換および数量化モジュールと、
前記エンコーダ枠組み内で前記ビデオ信号を受信するよう接続され、前記ビデオ信号内
の複数のフレームにわたる動き軌道に関連して前記第１のビデオ・フレーム内の第１のブ
ロックを空間的および時間的にフィルタするループ内フィルタと、
前記ループ内フィルタ内で前記逆変換および数量化モジュールに接続され、前記動き軌
道における第１の動きベクトルを特定する動き推定モジュールとを含むエンコーダ枠組み
。
【請求項２】
前記第１のブロックはＨ．２６４に従って符号化される８×８のピクセル・ブロックで
ある、請求項１に記載されるエンコーダ枠組み。
【請求項３】
前記ループ内フィルタは、
前記動き推定モジュールに接続され、前記動き軌道を特定し前記動き軌道上に位置する
複数のブロックの輝度特性の分析に基づき前記第１のブロックのノイズを低減するエラー
計算フィルタ化ブロック推定モジュールと、
前記動き推定モジュールに接続され、前記複数のフレームを格納するフレーム・バッフ
ァと、を含む、請求項１に記載されるエンコーダ枠組み。
【請求項４】
前記複数のフレームは前記第１のフレームに対し少なくとも１つの先行フレームおよび
前記第１のフレームに対し少なくとも１つの後続フレームを含む、請求項３に記載される
エンコーダ枠組み。
【請求項５】
前記複数のフレームは前記第１のフレームに対し少なくとも２つの先行フレームを含む
、請求項３に記載されるエンコーダ枠組み。
【請求項６】
前記エラー計算フィルタ化ブロック推定モジュールは、
前記第１のブロックと、前記複数のフレーム内の第２のフレームに位置しかつ前記動き
軌道上に位置する第２のブロックとの間の第１の輝度関係に基づく第１の輝度因数と、
前記第２のブロックと、前記複数のフレーム内の第３のフレームに位置しかつ前記動き
軌道上に位置する第３のブロックとの間の、第２の輝度関係に基づく第２の輝度因数と、
前記第１および第２の輝度因数の分析に基づく前記第１のブロックのノイズが除去され
た輝度値とを特定する、請求項３に記載されるエンコーダ枠組み。
【請求項７】
前記第１の輝度関係は前記第１のブロックのフィルタされない輝度レベルと前記第２の
ブロックのフィルタされない輝度レベルとの差で、前記第２の輝度関係は前記第２のブロ
ックのフィルタされない輝度レベルと前記第３のブロックのフィルタされない輝度レベル
との差である、請求項６に記載されるエンコーダ枠組み。
【請求項８】
前記第１のブロックの前記ノイズを除去された輝度値は前記第１および第２の輝度因数
間の差を求めることにより特定される、請求項６に記載されるエンコーダ枠組み。
【請求項９】
前記第１の輝度因数を特定するために第１の閾値が前記第１の関係に適用され、前記第
２の輝度因数を特定するために第２の閾値が前記第２の関係に適用される、請求項６に記
載されるエンコーダ枠組み。
【請求項１０】
前記第１の閾値は前記第２の閾値と異なった値である、請求項９に記載されるエンコー
ダ枠組み。
【請求項１１】
前記第１のブロックの前記ノイズを除去した輝度値を特定するために、前記第１および
第２の輝度因数の前記分析に第３の閾値を適用する、請求項９に記載されるエンコーダ枠
組み。
【請求項１２】
ビデオ・フレーム内におけるピクセル・ブロックのループ内ノイズ低減方法で、方法は
、
第１のビデオ・フレーム内の第１のピクセル・ブロックをコーデック入力において受信
するステップと、
前記第１のピクセル・ブロックと、第２のビデオ・フレーム内で前記第１のピクセル・
ブロックに結合する動き軌道上に位置する第２のピクセル・ブロックとの間の第１の関係
に基づく第１の輝度因数を特定するステップで、前記コーデック内で動き推定計算により
前以て生み出された前記第１および第２のピクセル・ブロック間の第１の動きベクトルが
用いられるステップと、
第２のピクセル・ブロックと、第３のビデオ・フレーム内で第２のピクセル・ブロック
に結合する動き軌道上に位置する第３のピクセル・ブロックとの間の第２の関係に基づく
第２の輝度因数を特定するステップと、
第１の輝度関係および第２の輝度関係を比較して第１のピクセル・ブロックに対しノイ
ズを除去した輝度値を生み出すステップと、を含む方法。
【請求項１３】
前記第１の輝度関係を特定するために前記第１の関係に第１の閾値を適用し、前記第１
の閾値の値は調節可能である、請求項１２に記載される方法。
【請求項１４】
前記第２の輝度関係を特定するために前記第２の関係に第２の閾値を適用し、前記第２
の閾値の値は調節可能である、請求項１２に記載される方法。
【請求項１５】
前記第１のピクセル・ブロックに対する前記ノイズを除去した輝度値を特定するために
、前記第１および第２の輝度関係の比較に第３の閾値が適用される、請求項１２に記載さ
れる方法。
【請求項１６】
請求項１２に記載される方法を実施する命令を有するコンピュータ読み取り可能な媒体
。
【請求項１７】
エンコーダ枠組み内のノイズ低減ループで、
複数のビデオ・フレームを受信するよう接続され、第１のフレームにおける第１のブロ
ックおよび第２のフレームにおける第２のブロック間の動きベクトルを特定する動き推定
モジュールと、
前記動き推定モジュールに接続され、前記複数のビデオ・フレームを格納するフレーム
・バッファと、
前記動き推定モジュールに接続され、前記第１のブロック、前記第２のブロック、およ
び第３のブロックに結合する動き軌道を特定し前記第１のブロック、前記第２のブロック
、および前記第３のブロックの輝度特性を分析することにより前記第１のブロックのノイ
ズを低減するエラー計算フィルタ化ブロック推定モジュールと、を含むノイズ低減ループ
。
【請求項１８】
前記エンコーダ枠組みはＨ．２６４に従って稼動する、請求項１７に記載されるノイズ
低減ループ。
【請求項１９】
前記エラー計算フィルタ化ブロック推定モジュールは前記動き軌道上に位置するブロッ
ク間の輝度関係に複数の調節可能な閾値を適用する、請求項１７に記載されるノイズ低減
ループ。
【請求項２０】
前記複数の輝度関係は前記第１のフレームに後続するフレームに位置するブロックと、
別のフレームに位置し前記動き軌道上に位置する別のブロックとの少なくとも１つの輝度
関係を含む、請求項１９に記載されるノイズ低減ループ。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は２００３年９月１９日に申請され、「適応型ビデオ・プレフィルタ」（「Adap
tive Video Prefilter」）と題する米国特許出願番号１０／６６６６６８号明細書、およ
び２００５年１０月２８日に申請され、「デジタル・ビデオ用時空ノイズ・フィルタ」（
Spatio-Temporal Noise Filter for Digital Video”）と題する米国特許出願番号１１／
２６１０４２号明細書に関連し、双方とも引用により全体として本明細書に組み入れられ
る。
【０００２】
本発明は一般的にビデオ処理に関し、より具体的にはデジタル・ビデオ・エンコーダ枠
組み内におけるループ内ノイズ低減の装置および方法に関する。
【背景技術】
【０００３】
現在の通信市場におけるデジタル・ビデオ技術の重要さは良く知られている。制約され
た帯域幅内でより大量のビデオ・データを伝送する能力によりビデオおよび画像コンテン
ツを各種装置およびプラットフォームに表示できるようになった。通信市場における最近
の技術的進歩はこのビデオおよび画像データの伝送および表示の向上を促進している。こ
のような例の１つとして現在のコーデック装置および関連規格により提供される符号化効
率の向上が挙げられる。
【０００４】
【特許文献１】米国特許出願公開第２００４０００１５４６号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ビデオ・データは対応するデジタル信号内で伝送されるデータ冗長の量を削減するため
に符号化することができる。この冗長データの削減により比較的狭い帯域幅を用いてビデ
オ・データを効果的に通信することができる。ビデオ信号がどのように符号化するかを判
定するにあたり、しばしばビデオ・データおよびビデオ・データが伝送される通信媒体双
方の分析が必要となる。この分析は表示装置でより好ましいビデオまたは画像の質が維持
されることを保証するために行なわれる。
【０００６】
ビデオ信号内にノイズが存在するとビデオ信号を符号化するコーデックの符号化効率お
よび受信表示装置における画像またはビデオ・ストリームの質双方に悪影響を及ぼし得る
。ノイズは各種内部および外部の電源から発せされ、好ましくなく信号に挿入される可能
性がある。このようなノイズの２つの例としてガウス・ノイズおよびインパルス・ノイズ
が挙げられる。
【０００７】
ガウス・ノイズは特定の周波数帯にわたりガウス分布レベルを有するエネルギーの均一
分布と特徴づけられる。ガウス・ノイズは例えば通信機器および装置の温度が上昇し、熱
的ノイズが生成され好ましくなく信号に挿入されることにより生成され得る。これと比較
して、インパルス・ノイズは信号内の非連続的なノイズ・パルスである。これらノイズ・
パルスはしばしば持続時間が短く、比較的高い振幅を有し、内部および外部双方の電源か
ら発せられ得る。
【０００８】
信号内のノイズの存在は信号対ノイズ比（「ＳＮＲ」）として測定できる。ＳＮＲが減
少するにつれビデオ信号の質は劣化し、その特定のビデオを表示装置が再生する能力に悪
影響を及ぼす。このノイズは図１に示すシステムのような通信システム内の各種位置で発
生し得る。
【０００９】
この図で示されるように、ビデオ・カメラ１１０などのビデオ取り込み装置がエンコー
ダ１１５に送信されるビデオ信号を発する。このエンコーダ１１５は信号を効果的に圧縮
してある程度のデータ冗長を取り除いてビデオ信号を符号化する。この符号化信号は有線
または無線の通信リンク１２０経由で受信側のデコーダ１２５に通信される。デコーダ１
２５は符号化ビデオ信号をディスプレー１３０で表示できるように再構築する。
【００１０】
システム１００の外部の電源とともに、このシステム１００内のコンポーネントもノイ
ズを発する可能性がある。ビデオ信号内にノイズが存在するとエンコーダ１１５の符号化
効率が減少し、その結果好ましからざるノイズがビデオ信号内に符号化されることになる
。ビデオ信号内のノイズ量を減らすために、現在アルファ・トリム・フィルタおよびメジ
アン・フィルタを含む各種のノイズ・フィルタが用いられている。エンコーダの前にビデ
オ信号からノイズを取り除く米国特許出願番号１０／６６６６６８号明細書および１１／
２６１０４２号明細書に記載されるような前処理ノイズ・フィルタを用いることもできる
。
【００１１】
これらの前処理フィルタは通常さらに演算リソースを必要とし、ビデオ符号化システム
の全体的な複雑さを増す可能性がある。これら前処理フィルタはコーデックのパラメータ
に影響されないので、結合しているフィルタ機能はコーデックの設定に基づき簡単に適応
できないかもしれない。さらに、これらのフィルタはノイズをフィルタする際しばしばデ
ジタル・ビデオ信号のある種の特徴に対応し、または特徴を活用できない場合がある。
【課題を解決するための手段】
【００１２】
ビデオ符号化の枠組み内でノイズを内部的にフィルタする装置および方法が説明される
。発明の各種実施形態において、デジタル・ビデオ信号内の動き軌道に沿ってノイズを低
減するループ内ノイズ・フィルタが符号化装置または枠組み内に統合される。このループ
内ノイズ低減の統合により、フィルタリング・パラメータおよび符号化パラメータ双方が
より容易に関連付けられ調節されることができる。ループ内ノイズ・フィルタはデジタル
・ビデオ符号化プロセスの特徴を活用してビデオ信号上のノイズを低減しコーデックの符
号化効率を向上させる。
【００１３】
発明の各種実施形態において、ループ内ノイズ低減フィルタは運動推定モジュール、エ
ラー計算フィルタ化ブロック、およびフレーム・バッファを含む。ループ内フィルタは符
号化すべきピクセル・ブロック用の符号化モードを特定するエンコーダ枠組みにより実施
された計算を活用する。例えば、以前に実施された動きベクトル計算を用い、ノイズ低減
プロセスにおいてピクセル・ブロック輝度特性が用いられる動き軌道を、内部の動きベク
トルを含み、特定することができる。動き軌道上に位置するピクセル・ブロックのノイズ
を低減するために、各種プロセスに従ってブロック輝度特性が各種プロセスに従って分析
される。
【００１４】
当業者であれば、１つ以上の動き軌道上にある関連ピクセル・ブロック間の輝度関係を
数量化するために多数の異なった種類の計算を用い得ることを理解しよう。発明の各種実
施形態において、これら複数のピクセル・ブロック間で輝度差が計算され、これらの輝度
差が複数の閾値に適用される。これらの閾値はフィルタリング・プロセスを調整するのに
用いることができ、ユーザはノイズ低減フィルタのパラメータを調節することができる。
例えば、閾値は相当量のノイズを有するビデオ信号のノイズをより効果的に低減するため
、または符号化ビデオ信号供給においてより高い質を提供するために調節することができ
る。
【００１５】
本発明の一実施態様によれば、ビデオ信号におけるノイズを低減しコーデックの符号化
効率を向上するためのエンコーダ枠組みを提供する。このエンコーダ枠組みは、ビデオ信
号を受信するよう接続され、ビデオ信号内の第１のビデオ・フレームを変換し数量化する
ビデオ変換および数量化モジュールと、ビデオ圧縮モジュールに接続され、第１のビデオ
・フレームを逆に変換し逆に数量化する逆変換および数量化モジュールと、エンコーダ枠
組み内でビデオ信号を受信するよう接続され、ビデオ信号内の複数のフレームにわたる動
き軌道に関連して第１のビデオ・フレーム内の第１のブロックを空間的および時間的にフ
ィルタするループ内フィルタと、ループ内フィルタ内で逆変換および数量化モジュールに
接続され、動き軌道における第１の動きベクトルを特定する動き推定モジュールとを含む
。
【００１６】
また、第１のブロックはＨ．２６４に従って符号化される８×８のピクセル・ブロック
であってもよい。また、ループ内フィルタは、動き推定モジュールに接続され、動き軌道
を特定し動き軌道上に位置する複数のブロックの輝度特性の分析に基づき第１のブロック
のノイズを低減するエラー計算フィルタ化ブロック推定モジュールと、動き推定モジュー
ルに接続され、前記複数のフレームを格納するフレーム・バッファと、を含むものであっ
てもよい。
【００１７】
また、前記複数のフレームは第１のフレームに対し少なくとも１つの先行フレームおよ
び第１のフレームに対し少なくとも１つの後続フレームを含むものであってもよい。
【００１８】
また、前記複数のフレームは第１のフレームに対し少なくとも２つの先行フレームを含
むものであってもよい。また、エラー計算フィルタ化ブロック推定モジュールは、第１の
ブロックと、複数のフレーム内の第２のフレームに位置しかつ動き軌道上に位置する第２
のブロックとの間の、第１の輝度関係に基づく第１の輝度因数と、第２のブロックと、複
数のフレーム内の第３のフレームに位置しかつ動き軌道上に位置する第３のブロックとの
間の、第２の輝度関係に基づく第２の輝度因数と、第１および第２の輝度因数の分析に基
づく第１のブロックのノイズが除去された輝度値とを特定するものであってもよい。
【００１９】
また、第１の輝度関係は第１のブロックのフィルタされない輝度レベルと第２のブロッ
クのフィルタされない輝度レベルとの差で、第２の輝度関係は第２のブロックのフィルタ
されない輝度レベルと第３のブロックのフィルタされない輝度レベルとの差であってもよ
い。
【００２０】
また、第１のブロックのノイズを除去された輝度値は第１および第２の輝度因数間の差
を求めることにより特定されるものであってもよい。
【００２１】
また、第１の輝度因数を特定するために第１の閾値が第１の関係に適用され、第２の輝
度因数を特定するために第２の閾値が第２の関係に適用されるものであってもよい。
【００２２】
また、第１の閾値は第２の閾値と異なった値であるものであってもよい。
【００２３】
また、第１のブロックのノイズを除去した輝度値を特定するために、第１および第２の
輝度因数の分析に第３の閾値を適用するものであってもよい。
【００２４】
本発明の一実施態様によれば、ビデオ信号におけるノイズを低減しコーデックの符号化
効率を向上するためのビデオ・フレーム内におけるピクセル・ブロックのループ内ノイズ
低減方法を提供する。このビデオ・フレーム内におけるピクセル・ブロックのループ内ノ
イズ低減方法は、ビデオ・フレーム内におけるピクセル・ブロックのループ内ノイズ低減
方法で、方法は、第１のビデオ・フレーム内の第１のピクセル・ブロックをコーデック入
力において受信するステップと、第１のピクセル・ブロックと、第２のビデオ・フレーム
内で第１のピクセル・ブロックに結合する動き軌道上に位置する第２のピクセル・ブロッ
クとの間の第１の関係に基づく第１の輝度因数を特定することで、コーデック内で動き推
定計算により前以て生み出された第１および第２のピクセル・ブロック間の第１の動きベ
クトルが用いられるステップと、第２のピクセル・ブロックと、第３のビデオ・フレーム
内で第２のピクセル・ブロックに結合する動き軌道上に位置する第３のピクセル・ブロッ
クとの間の第２の関係に基づく第２の輝度因数を特定するステップと、第１の輝度関係お
よび第２の輝度関係を比較して第１のピクセル・ブロックに対しノイズを除去した輝度値
を生み出すステップと、を含む。
【００２５】
また、第１の輝度関係を特定するために第１の関係に第１の閾値を適用し、第１の閾値
の値は調節可能であってもよい。
【００２６】
また、第１の輝度関係を特定するために第２の関係に第２の閾値を適用し、第２の閾値
の値は調節可能であってもよい。
【００２７】
また、第１のピクセル・ブロックに対するノイズを除去した輝度値を特定するために、
第１および第２の輝度関係の比較に第３の閾値が適用されるものであってもよい。
【００２８】
また、上述の方法を実施する命令を有するコンピュータ読み取り可能な媒体であっても
よい。
【００２９】
本発明の一実施形態によれば、ビデオ信号におけるノイズを低減しコーデックの符号化
効率を向上するためのエンコーダ枠組み内のノイズ低減ループを提供する。このエンコー
ダ枠組み内のノイズ低減ループは、複数のビデオ・フレームを受信するよう接続され、第
１のフレームにおける第１のブロックおよび第２のフレームにおける第２のブロック間の
動きベクトルを特定する動き推定モジュールと、動き推定モジュールに接続され、前記複
数のビデオ・フレームを格納するフレーム・バッファと、動き推定モジュールに接続され
、第１のブロック、第２のブロック、および第３のブロックに結合する動き軌道を特定し
第１のブロック、第２のブロック、および第３のブロックの輝度特性を分析することによ
り第１のブロックのノイズを低減するエラー計算フィルタ化ブロック推定モジュールとを
含む。
【００３０】
また、エンコーダ枠組みはＨ．２６４に従って稼動するものであってもよい。
【００３１】
また、エラー計算フィルタ化ブロック推定モジュールは動き軌道上に位置するブロック
間の輝度関係に複数の調節可能な閾値を適用するものであってもよい。
【００３２】
また、前記複数の輝度関係は第１のフレームに後続するフレームに位置するブロックと
、別のフレームに位置し動き軌道上に位置する別のブロックとの少なくとも１つの輝度関
係を含むものであってもよい。
【発明を実施するための最良の形態】
【００３３】
発明の他の目的、特長、および利点は図面および以下に続く詳細な説明から明らかにな
ろう。発明の実施形態について言及され、それらの例が添付図面に示される。これらの図
面は限定ではなく例示を目的としている。発明は全般的にこれら実施形態に関連して説明
されるが、発明の範囲をこれら特定の実施形態に限定する意図ではない。
【００３４】
ビデオ符号化の枠組み内でノイズを内部的にフィルタする装置および方法が説明される
。発明の各種実施形態において、デジタル・ビデオ信号内の動き軌道に沿ってノイズを低
減するループ内ノイズ・フィルタが符号化装置または枠組み内に統合される。このループ
内ノイズ低減の統合により、フィルタリング・パラメータおよび符号化パラメータ双方が
より容易に関連付けられ調節されることができる。ループ内ノイズ・フィルタはデジタル
・ビデオ符号化プロセスの特徴を活用してビデオ信号上のノイズを低減しコーデックの符
号化効率を向上させる。
【００３５】
以下の叙述において、説明の目的から、発明を理解させるために具体的な詳細が記載さ
れる。しかし当業者であれば発明がこれらの詳細なしに実施できることを理解しよう。当
業者であれば、以下にいくつか説明される本発明の実施形態はコンピュータ、ネットワー
ク・サーバ、無線装置および他の通信装置を含むいくつかの異なったシステムおよび装置
に組み入れることができることを理解しよう。本発明の実施形態はまたソフトウェア、ハ
ードウェア、またはファームウェアに存在し得る。ブロック図で以下に示される構造およ
び装置は発明の代表的実施形態を図示し、発明を分かりにくくすることを避けることを意
図している。さらに、図内の構成要素および／あるいはモジュール間の接続は直接接続に
限定する意図はない。これらの構成要素およびモジュール間のデータは中間的構成要素お
よびモジュールにより修正、再フォーマット、またはその他変更することができる。
【００３６】
明細書において「一実施形態」または「ある実施形態」への言及はその実施形態に関連
して説明される特定の特性、構造、特徴、または機能が発明の少なくとも１つの実施形態
に含まれることを意味する。明細書の各種個所で「一実施形態で」または「ある実施形態
で」という句の出現は必ずしも皆同じ実施形態に言及しているものではない。
【００３７】
［概要］
図２は、ループ内ノイズ・フィルタを統合することができる代表的なＨ．２６４符号化
枠組みを図示する。符号化枠組み２００はビデオ信号２０５を受信し、信号は変換モジュ
ール２１０により周波数領域に変換され、数量化モジュール２１５により数量化される。
もたらされた複数の周波数係数は逆数量化変換モジュール２３５で処理され、これにより
先に変換され数量化されたビデオ・ブロックは再構築され、符号化処理によりビデオ信号
に導入されたエラーが特定される。各種ＤＣＴ式画像圧縮技法に共通するブロック化アー
ティファクトを防ぐのに役立つブロック解除フィルタ２４０が備わっている。
【００３８】
各ビデオ・ブロックは複数の異なったインターまたはイントラ予測モードの１つを用い
て符号化することができ、各モードは各々に結合するエラーおよび効率特性を有する。イ
ントラ（空間的）予測モジュール２２０がイントラ・モードを分析し、分析されたイント
ラ・モードの符号化効率に基づきビデオ・ブロック用の見込み予測イントラ・モードを特
定する。動き推定モジュール２３０が基準ブロックおよび基準ブロックとインター・モー
ドで符号化されるブロックとの空間的変位を表す動きベクトルを特定する。基準ブロック
はビデオの１つの基準フレームに位置することができ、または１つの基準フレームもしく
は複数の基準フレーム内の複数のブロックから生成することができる。動きベクトルは複
数のビデオ・フレームにわたる基準ブロックの動き軌道の一部であることができる。
【００３９】
動き補正モジュール２２５はインター符号化プロセスに用いることのできる先行フレー
ムにおいて前以て復号化した他のブロックからブロックを予測する。この予測はインター
符号化される特定のブロックに関連する基準ブロックおよび動きベクトルに結合したエラ
ーまたは歪みレベルを特定することにより行なわれる。このエラーは符号化され、前記特
定のブロックが基準ブロックおよび動きベクトル・データから再構築されるよう受信クラ
イアントに提供される。上述のように、各インター・モードは特定ブロックに結合したエ
ラー値を有する。このエラー値は各々のモードのレート歪み性能において重要な要素であ
り、この特定ブロック用に１つのインター符号化モードを選択する際考慮すべき重要な項
目である。
【００４０】
一旦符号化モードが選択されると（インターまたはイントラいずれかのモード）、ブロ
ックはエンコーダ２８０によりしかるべく符号化され、通信リンクに伝送される。この符
号化データはブロックを再構築し表示するために受信側クライアントにより用いられる。
【００４１】
図３は、発明の各種実施形態による、ループ内ノイズ低減を有する符号化枠組みのブロ
ック図である。前述のように、ビデオ・ストリーム内にノイズが存在すると符号化枠組み
３００の効率が相当低下し得る。各ビデオ・ブロックに符号化されるノイズ量を低減する
ために、符号化枠組みのループ内にエラー計算フィルタ化ブロック推定モジュール３１０
およびフレーム・バッファ３２０が備わっている。このループ内のフィルタリングにより
ノイズ低減が既存のビデオ符号化のデータフローの中に置かれ、符号化パラメータおよび
フィルタリング・パラメータ間の結合が比較的容易にできるようになる。
【００４２】
発明の各種実施形態によると、エラー計算フィルタ化ブロック推定モジュール３１０は
動き推定モジュール２３０に通信可能な形で接続されている。フレーム・バッファ３２０
も動き推定モジュール２３０に接続されている。ループ内ノイズ低減フィルタは動き推定
モジュール２３０、エラー計算フィルタ化ブロック推定モジュール３１０、およびフレー
ム・バッファ３２０を通じて実現される。フレーム・バッファ３２０はビデオ信号内のフ
レームを格納し、これにはフィルタされるフレームに先行および後続するフレーム双方を
含むことができる。エラー計算フィルタ化ブロック推定モジュール３１０は複数のビデオ
・フレームにわたる１つ以上の動き軌道上のビデオ・ブロックの輝度特性に基づきビデオ
・ブロックのノイズを低減する。ループ内ノイズ・フィルタが行なう演算数を削減するた
めに動き推定モジュール２３０内で行なわれる動きベクトル計算はエラー計算フィルタ化
ブロック推定モジュール３１０によって活用される。
【００４３】
ループ内ノイズ低減フィルタはビデオ・フレーム内のブロックを符号化する前にノイズ
を取り除く。例えば、ビデオ・カメラから発生するノイズはビデオ信号が符号化される前
に取り除くことができる。このフィルタリング・プロセスは取り除かれなければエンコー
ダ２８０により符号化されるノイズの量を低減するため、エンコーダのビット予算の相対
的により多い量がデジタル・ビデオ信号を符号化するために用いられる。
【００４４】
［マルチフレームの動き推定を用いたノイズ低減］
発明の一実施形態で、ノイズ低減フィルタは３つの時間的に配列された連続フレームか
らの情報を用いる。図４を参照すると、第１のフレーム（ｔ）４３０は符号化前に内部の
ノイズを低減するように処理される第１のピクセル・ブロック（ｔ）４３５を有する。こ
のノイズ低減には先行フレームにわたる動き軌道に沿った対応ブロックが用いられる。ブ
ロックは８×８のピクセル・ブロックを含み、異なったサイズおよび形状であることがで
きる。図示されるように、これらの対応ブロックは隣接する先行フレームの第２のフレー
ム（ｔ−１）４２０における第２のピクセル・ブロック（ｔ−１）４２５、および別の先
行フレームの第３のフレーム（ｔ−２）４１０における第３のピクセル・ブロック（ｔ−
２）４１５を含む。この動き軌道は２つに、動きベクトルによって定義される。第１のピ
クセル・ブロック（ｔ）４３５および第２のピクセル・ブロック（ｔ−１）４２５間にお
ける第１の動きベクトルは、動き推定モジュール２３０による動き推定計算により特定さ
れている可能性がある。第２のピクセル・ブロック（ｔ−１）４２５および第３のピクセ
ル・ブロック（ｔ−２）４１５間における、第２の動きベクトルは、エラー計算フィルタ
化ブロック推定モジュール３１０により特定される。この第２の動きベクトルを特定する
複雑さは動き推定モジュール２３０により前以て特定された隣接する第２のピクセル・ブ
ロック（ｔ−１）４２５の動きベクトルを最初のシードとして調べることにより低減する
ことができる。
【００４５】
動きベクトルにより定義される３つのブロックとして、第３のピクセル・ブロック（ｔ
−２）４１５、第２のピクセル・ブロック（ｔ−１）４２５、第１のピクセル・ブロック
（ｔ）４３５はすべてノイズで汚染されていると仮定される。しかし、３つのフレームで
ある第３のフレーム（ｔ−２）４１０、第２のフレーム（ｔ−１）４２０、第１のフレー
ム（ｔ）４３０における同位置のピクセルはノイズで汚染されている確率は追加インパル
ス・ノイズの無作為性のため低い。動きベクトルにより定義される３つのブロックである
第３のピクセル・ブロック（ｔ−２）４１５、第２のピクセル・ブロック（ｔ−１）４２
５、第１のピクセル・ブロック（ｔ）４３５間の関係を用い、第３のピクセル・ブロック
（ｔ−２）４１５上のノイズ低減は第２のピクセル・ブロック（ｔ−１）４２５および第
１のピクセル・ブロック（ｔ）４３５の輝度特性を分析することにより行なうことができ
る。発明の一実施形態で、先行フレームの第３のフレーム（ｔ−２）４１０、第２のフレ
ーム（ｔ−１）４２０はフレーム・バッファ３２０内に格納される。当業者であれば、多
数の異なった手法を用いて複数のビデオ・フレームにわたる動き軌道を定義する動きベク
トルを特定することができることを理解しよう。さらに上述のように、既に存在する符号
化計算を活用してノイズ低減プロセスの複雑さを削減することができる。
【００４６】
発明の他の実施形態で、ノイズ低減の処理をされるフレームに対し、先行、後続、双方
のビデオ・フレームから関連ビデオ・ブロックを用いることができる。図５は、内部のノ
イズ低減のために分析される第１のフレーム（ｔ）４３０に対し先行フレームとしての第
２のフレーム（ｔ−１）４２０および第３のフレーム（ｔ−２）４１０、ならびに後続フ
レームとしての第４のフレーム（ｔ＋１）５４０にわたり定義される、動き軌道を図示す
る。この特定の例において、第１のピクセル・ブロック（ｔ）４３５は先行フレームの動
き軌道上にある第２のピクセル・ブロック（ｔ−１）４２５および第３のピクセル・ブロ
ック（ｔ−２）４１５、ならびに後続フレームの動き軌道上にある第４のピクセル・ブロ
ック（ｔ＋１）５４５に関連して分析される。
【００４７】
これらのピクセル・ブロック間の輝度関係を用いるループ内ノイズ低減フィルタ内で各
種分析手法を使用することができる。当業者であれば上記に説明した２つのシナリオを含
み、先行および後続ビデオ・フレーム、およびその中のピクセル・ブロック、の複数の組
み合わせを用い得ることを理解しよう。
【００４８】
例示の目的から、発明のいくつかの実施形態はノイズ低減フィルタが時間的に配列され
た３つの連続フレームおよびその中の対応ピクセル・ブロックを用いる図４に関連して説
明される。発明の各種実施形態によると、第１のピクセル・ブロック（ｔ）４３５および
第２のピクセル・ブロック（ｔ−１）４２５間の第１の輝度関係が判定され、第２のピク
セル・ブロック（ｔ−１）４２５および第３のピクセル・ブロック（ｔ−２）４１５間の
第２の輝度関係が判定される。次に第１の輝度関係を用いて第１の輝度因数を特定するこ
とができ、また第２の輝度関係を用いて第２の輝度因数を特定することができる。これら
２つの輝度因数に基づき、第１のピクセル・ブロック（ｔ）４３５に対し内部ノイズを低
減し得る適当な輝度値を推定することができる。
【００４９】
発明の一実施形態で、第１の輝度関係（Ｒ1）は第１のピクセル・ブロック（ｔ）４３
５および第２のピクセル・ブロック（ｔ−１）４２５間の輝度の差で、以下のようになる
。
【００５０】
Ｒ1＝第１のピクセル・ブロック（ｔ）−第２のピクセル・ブロック（ｔ−１）
第１の輝度因数（Ｉ1）を特定するために第１の輝度関係（Ｒ1）を第１の閾値レベル（
Ｔ1）に適用する。発明の一実施形態で、第１の輝度因数（Ｉ1）は以下のように定義され
る。
Ｒ1＞Ｔ1の場合、Ｉ1＝第２のピクセル・ブロック（ｔ−１）
Ｒ1＜−Ｔ1の場合、Ｉ1＝第１のピクセル・ブロック（ｔ）
−Ｔ1＜Ｒ1＜Ｔ1の場合、Ｉ1＝（第２のピクセル・ブロック（ｔ−１）＋第１のピクセ
ル・ブロック（ｔ））／２
【００５１】
第２の輝度関係（Ｒ2）は第２のピクセル・ブロック（ｔ−１）４２５および第３のピ
クセル・ブロック（ｔ−２）４１５間の輝度の差で、以下のようになる。
Ｒ2＝第２のピクセル・ブロック（ｔ−１）−第３のピクセル・ブロック（ｔ−２）
【００５２】
第２の輝度因数（Ｉ2）を特定するために第２の輝度関係（Ｒ2）を第１の閾値レベル（
Ｔ1）に適用する。この第２の輝度因数（Ｉ2）は第１の輝度因数（Ｉ1）と等しいか、ま
たは異なることができる。例えば、ビデオ信号の特性は第１および第２の輝度因数を特定
するために２つの異なった閾値を適用することを示唆しているかもしれない。発明の一実
施形態で、第２の輝度因数（Ｉ2）は以下のように定義される。
Ｒ2＞Ｔ2の場合、Ｉ2＝第３のピクセル・ブロック（ｔ−２）
Ｒ2＜−Ｔ2の場合、Ｉ2＝第２のピクセル・ブロック（ｔ−１）
−Ｔ2＜Ｒ2＜Ｔ2の場合、Ｉ2＝（第３のピクセル・ブロック（ｔ−２）＋第２のピクセ
ル・ブロック（ｔ−１））／２
【００５３】
第１のピクセル・ブロック（ｔ）４３５に対する輝度値は第１および第２の輝度因数を
分析することにより判定される。発明の一実施形態で、第３の輝度因数（Ｉ3）が第１の
輝度因数（Ｉ1）および第２の輝度因数（Ｉ2）に依存しており、以下のように定義される
。
Ｉ3＝Ｉ1−Ｉ2
【００５４】
第１のピクセル・ブロック（ｔ）４３５の輝度値を特定するために第３の輝度因数（Ｉ
3）は第３の閾値レベル（Ｔ3）に適用される。第２の閾値レベル（Ｔ2）の場合と同じよ
うに、第３の閾値レベル（Ｔ3）の実際値はビデオ信号および信号が伝送されるチャンネ
ルの特性を含みいくつかの要因によって異なり得る。例えば、ビデオ信号のノイズがあま
りない場合、３つの閾値はより高感度に調節することができる。さらに、閾値はビデオ信
号に望まれる質に関連して調節することができる。例えば、表示されるビデオに必要とさ
れる質があまり高くない場合、閾値はそれに応じて調節することができる。発明の一実施
形態で、第１のピクセル・ブロック（ｔ）４３５の輝度値は以下のように定義される。
Ｉ3＞Ｔ3の場合、第１のピクセル・ブロック（ｔ）＝Ｉ1
Ｉ3＜−Ｔ3の場合、第１のピクセル・ブロック（ｔ）＝Ｉ2
−Ｔ3＜Ｉ3＜Ｔ3の場合、第１のピクセル・ブロック（ｔ）＝（Ｉ1＋Ｉ2）／２
【００５５】
もたらされるノイズを除去された第１のピクセル・ブロック（ｔ）４３５は対応動き軌
道における他のブロックの輝度特性に関連してフィルタされる。ビデオ・フレームとして
の第３のフレーム（ｔ−２）４１０、第２のフレーム（ｔ−１）４２０、第１のフレーム
（ｔ）４３０のノイズが比較的少ない場合、第１のピクセル・ブロック（ｔ）４３５はノ
イズ低減プロセスにより変わらない。
【００５６】
エンコーダ枠組み内におけるエラー計算フィルタ化ブロック推定モジュール３１０のル
ープ内の実施により、ノイズ低減プロセスは枠組み内の他のモジュールにより必然的に実
施される、ある種の計算により活用されることができる。第１のピクセル・ブロック（ｔ
）４３５および第２のピクセル・ブロック（ｔ−１）４２５間の動きベクトルは、動き推
定モジュール２３０により既に判定されているかもしれない。さらに、第２のピクセル・
ブロック（ｔ−１）４２５および第３のピクセル・ブロック（ｔ−２）４１５間の動きベ
クトルの特定は第２のピクセル・ブロック（ｔ−１）４２５の隣接する動きベクトルを最
初のシードとして調べることにより簡素化される。さらに、上述の実施形態で用いられる
特定の引き算および比較機能は動き推定計算中に実施する必要があるかもしれない。
【００５７】
［ループ内ノイズ低減方法］
図６および図７は、構造に関係なく、ピクセル・ブロックおよび複数のビデオ・フレー
ムにわたり結合した動き軌道におけるノイズの量を低減する、発明の各種実施形態を図示
する。
【００５８】
ノイズ低減のためにフィルタされるビデオ・フレームのシーケンスにおいて第１のフレ
ーム内で第１のピクセル・ブロックが特定される（ステップＳ６０５）。第２のフレーム
内で、第１のピクセル・ブロックに結合する動き軌道上の第２のピクセル・ブロックが特
定される（ステップＳ６１０）。第３のフレーム内で、第１ピクセル・ブロックおよび第
２のピクセル・ブロックと同じ動き軌道上の第３のピクセル・ブロックが特定される（ス
テップＳ６１５）。これらのピクセル・ブロックの特定を可能にする動き軌道およびその
中の、動きベクトルの特定は技術的に知られる各種手法を用いて行なうことができる。ピ
クセル・ブロック、動き軌道、および、動きベクトルの特定に結び付いた計算は符号化枠
組み内において「ループ内」で行なわれることを留意することが重要である。
【００５９】
第１のピクセル・ブロックおよび第２のピクセル・ブロック間の輝度関係に関する第１
の輝度因数を特定するために、第１のピクセル・ブロックの輝度が第２のピクセル・ブロ
ックの輝度と比較される（ステップＳ６２０）。発明の一実施形態で、第２のピクセル・
ブロックの輝度値は第１のピクセル・ブロックの輝度値から引かれる（ステップＳ６３０
）。絶対差が第１の閾値より高い場合、第１の輝度因数は第１のブロックの輝度値および
第２のブロックの輝度値のより低い方の値に等しくなる（ステップＳ６３５）。絶対差が
第１の閾値より低い場合、第１の輝度因数は第１および第２のピクセル・ブロック輝度値
の平均に等しくなる（ステップＳ６４０）。また、絶対差が第１の閾値と等しい場合は、
図７のステップＳ６５０に進む。
【００６０】
第２のピクセル・ブロックおよび第３のピクセル・ブロック間の輝度関係に関する第２
の輝度因数を特定するために、第２のピクセル・ブロックの輝度が第３のピクセル・ブロ
ックの輝度と比較される（ステップＳ６５０）。発明の一実施形態で、第３のピクセル・
ブロックの輝度値は第２のピクセル・ブロックの輝度値から引かれる（ステップＳ６５５
）。絶対差が第２の閾値より高い場合、第２の輝度因数は第２のブロックおよび第３のブ
ロックの輝度値のより低い方の値に等しくなる（ステップＳ６６０）。絶対差が第２の閾
値より低い場合、第２の輝度因数は第２のピクセル・ブロックおよび第３のピクセル・ブ
ロックの輝度値の平均に等しくなる（ステップＳ６６５）。また、絶対差が第２の閾値と
等しい場合は、ステップＳ６７０に進む。
【００６１】
第１の輝度因数および第２の輝度因数を用い、第１のピクセル・ブロックに対しブロッ
ク内に以前に存在していたノイズを低減し得る輝度値が判定される。発明の一実施形態で
、第２の輝度因数は第１の輝度因数から引かれる（ステップＳ６７０）。絶対差が第３の
閾値より高い（またはそれに等しい）場合、第１のピクセル・ブロックの輝度値は第１の
輝度因数および第２の輝度因数のより低い方の値に等しくなる（ステップＳ６７５）。絶
対差が第３の閾値より低い場合、第１のピクセル・ブロックの輝度値は第１の輝度因数お
よび第２の輝度因数の平均に等しくなる（ステップＳ６８０）。
【００６２】
上述のように、３つの閾値はビデオの種類、ビデオが伝送される伝送媒体の特性、ビデ
オに要求される表示画質、および当業者であれば理解する他の要素に依存し得る。また、
ループ内ノイズ低減方法が実現されるエンコーダ枠組みの設計および要件により同じであ
り、または異なることができる。
【００６３】
当業者であれば、動き軌道に沿ってピクセル・ブロックの輝度特性が比較されるプロセ
スは変更し得ることを理解しよう。特にこれらピクセル・ブロック間の輝度関係の値を生
み出すために実施される計算は変更し得る。加えて、ノイズ低減方法の際使用される特定
のピクセル・ブロックはビデオ信号のノイズ特性、符号化されたビデオ信号が通信される
媒体の特性、および受信側クライアントで必要なビデオ信号の望ましい質のすべてを含み
、各種の要因に従って調節することができる。
【００６４】
本発明は特定の代表的な実施形態に即して説明されたが、当業者であれば各種の修正が
可能であることを理解しよう。従って発明の範囲は以下のクレームによってのみ限定され
る。
【図面の簡単な説明】
【００６５】
【図１】ビデオ・データが伝送され受信される通信リンクの図。
【図２】ＡＶＣ／Ｈ．２６４符号化枠組みの代表的なブロック図。
【図３】発明の各種実施形態による、ループ内ノイズ低減を有する符号化枠組みのブロック図。
【図４】発明の各種実施形態による、先行フレームにわたる基準ブロックからのマルチフレーム動き軌道の図。
【図５】発明の各種実施形態による、先行および後続双方のフレームにわたる基準ブロックからのマルチフレーム動き軌道の図。
【図６】発明の各種実施形態による、ビデオ・エンコーダ内のループ内ノイズ低減方法を図示するフローチャート。
【図７】発明の各種実施形態による、ビデオ・エンコーダ内のループ内ノイズ低減方法を図示するフローチャート。
【符号の説明】
【００６６】
１１０…ビデオ・カメラ、１１５…エンコーダ、１２０…通信リンク、１２５…デコー
ダ、１３０…ディスプレー、２０５…ビデオ信号、２１０…変換モジュール、２１５…数
量化モジュール、２２０…イントラ（空間的）予測モジュール、２２５…動き補正モジュ
ール、２３０…動き推定モジュール、２３５…逆数量化変換モジュール、２４０…ブロッ
ク解除フィルタ、２８０…エンコーダ、３１０…エラー計算フィルタ化ブロック推定モジ
ュール、３２０…フレーム・バッファ、４１０…第３のフレーム（ｔ−２）、４１５…第
３のピクセル・ブロック（ｔ−２）、４２０…第２のフレーム（ｔ−１）、４２５…第２
のピクセル・ブロック（ｔ−１）、４３０…第１のフレーム（ｔ）、４３５…第１のピク
セル・ブロック（ｔ）、５４０…第４のフレーム（ｔ＋１）、５４５…第４のピクセル・
ブロック（ｔ＋１）。
【図１】
2008061240.tif 000003
【図２】
2008061240.tif 000004
【図３】
2008061240.tif 000005
【図４】
2008061240.tif 000006
【図５】
2008061240.tif 000007
【図６】
2008061240.tif 000008
【図７】
2008061240.tif 000009