(57)【要約】【課題】リコンフィギュラブルでセルフキャリブレーションを行うビデオノイズリデューサを提供する。【解決手段】ビデオノイズリデューサはビデオ信号のノイズアーチファクトを低減する。ビデオノイズリデューサは、リコンフィギュラブルで、空間ノイズリダクション処理および時間ノイズリダクション処理を並列アーキテクチャまたはカスケードアーキテクチャで実施する。ビデオノイズリデューサは、セルフキャリブレーションを行い、ビデオ信号のノイズの量を推定する推定モジュールと既知のノイズ量に照らして測定結果を確認するノイズ注入装置とを実現する。ビデオノイズリデューサは、ハードウェアまたはハードウェアおよびファームウェアの組み合わせにおけるソリューションに適応できる。ビデオノイズリデューサはまた、インターレースビデオ信号処理アプリケーションにおいて効率良くメモリを使用できるように最適化されている。【選択図】図１
2009533898.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号に含まれる空間領域のノイズアーチファクトを低減する空間ノイズリデューサと、
ビデオ信号に含まれる時間領域のノイズアーチファクトを低減する時間ノイズリデューサと、
前記ビデオ信号に関連付けられるノイズレベルを推定し、且つ前記ノイズレベルの推定値に対応する出力を供給するノイズ推定器と
を備える装置であって、
前記空間ノイズリデューサおよび前記時間ノイズリデューサは、選択されると並列構成で配置され、選択されるとカスケード構成で配置され、
前記ノイズレベルの推定値に基づいて決定されるパラメータは、前記ノイズアーチファクトの低減を最適化するべく、前記空間ノイズリデューサと前記時間ノイズリデューサとに与えられる
装置。
【請求項２】
前記ノイズレベルの推定値は所定レベルのノイズに基づいてキャリブレーションされるように、前記ビデオ信号に前記所定レベルのノイズを注入するノイズ注入装置
をさらに備える、請求項１に記載の装置。
【請求項３】
前記時間ノイズリデューサと前記ノイズ推定器とに再帰データを与える、少なくとも１つのフィールド格納装置
をさらに備える、請求項１に記載の装置。
【請求項４】
前記フィールド格納装置は、デインターレースモジュールに共通である
請求項３に記載の装置。
【請求項５】
フレーム間で見られる輝度値および色値の差分に従って、前記ビデオ信号のピクセルについて動きレベルを決定する輝度部分／色部分モーションエンジン
をさらに備える、請求項１に記載の装置。
【請求項６】
各ピクセルの前記動きレベルに応じてピクセル毎に前記空間ノイズリデューサの出力と前記時間ノイズリデューサの出力とを合成するべく、前記ピクセルの前記動きレベルを空間−時間合成器に与えること
をさらに備える、請求項５に記載の装置。
【請求項７】
肌トーン決定モジュール
をさらに備え、
ピクセルが肌トーンに対応すると決定される場合には前記空間ノイズリデューサおよび前記時間ノイズリデューサはそのピクセルについては省略されるように、ピクセルの肌トーンの量を決定する
請求項１に記載の装置。
【請求項８】
肌トーン決定合成器
をさらに備え、
前記肌トーン決定モジュールが与える信号は、肌トーン保持とノイズリダクションとの間でバランスを取るべく、前記ビデオ信号と前記空間ノイズリデューサの出力および前記時間ノイズリデューサの出力の合成結果とを合成するべく利用される
請求項７に記載の装置。
【請求項９】
前記並列構成が選択されるのは、前記ビデオ信号の前記ノイズレベルの主要部分がガウスノイズに起因する場合である
請求項１に記載の装置。
【請求項１０】
前記カスケード構成が選択されるのは、前記ビデオ信号の前記ノイズレベルの一部分が圧縮アーチファクトに起因する場合である
請求項１に記載の装置。
【請求項１１】
前記ノイズ推定器はさらに、空間ノイズ推定器と時間ノイズ推定器とを含む
請求項１に記載の装置。
【請求項１２】
前記空間ノイズリデューサと、前記時間ノイズリデューサと、前記ノイズ推定器とはビデオノイズリデューサに含まれ、前記ビデオノイズリデューサは、ハードウェアならびにハードウェアおよびファームウェアの組み合わせのうち少なくとも一方における実装に適応している
請求項１に記載の装置。
【請求項１３】
ビデオ信号に含まれるノイズを低減する方法であって、
ビデオ信号を受信することと、
カスケード構造および並列構造のうちの一方において前記ビデオ信号を処理するべく、空間ノイズリデューサおよび時間ノイズリデューサを選択的に配置することと、
前記ビデオ信号に関連付けられるノイズレベルを推定することと、
前記ビデオ信号の各ピクセルについて動きレベルを決定することと、
前記並列構造が選択される場合には、前記ビデオ信号のノイズアーチファクトを低減するべく前記空間ノイズリデューサおよび前記時間ノイズリデューサの両方で前記ビデオ信号を処理することと、
各ピクセルについて検出される前記動きレベルに基づいて、前記空間ノイズリデューサの出力と前記時間ノイズリデューサの出力とを合成することと
前記カスケード構造が選択される場合には、前記ビデオ信号のノイズアーチファクトを低減するべく、前記ビデオ信号を前記空間ノイズリデューサで処理して、続いて前記ビデオ信号を前記時間ノイズリデューサで処理することと
を含む方法。
【請求項１４】
前記空間ノイズリデューサおよび前記時間ノイズリデューサによるノイズリダクションの程度はそれぞれ、前記ノイズレベルの推定値と関係がある
請求項１３に記載の方法。
【請求項１５】
前記ノイズレベルの前記推定をキャリブレーションして、ビデオノイズリデューサの性能をテストするべく、前記ビデオ信号にノイズを注入すること
をさらに含む、請求項１３に記載の方法。
【請求項１６】
前記ビデオ信号のピクセルが肌トーンに関連付けられているかどうか決定してそれらのピクセルについてノイズリダクションを避けること
をさらに含む、請求項１３に記載の方法。
【請求項１７】
肌トーン保持とノイズリダクションとの間でバランスを取るべく、前記ビデオ信号のピクセルが肌トーンに関連付けられているかどうかの前記決定に従って、前記ビデオ信号と前記空間ノイズリデューサの出力および前記時間ノイズリデューサの出力の合成結果とを合成すること
をさらに含む、請求項１３に記載の方法。
【請求項１８】
前記ビデオ信号の先頭フレームのデータを前記ビデオ信号の後続フレームに対する比較に利用できるように、前記ビデオ信号の前記先頭フレームをフィールド格納装置に格納すること
をさらに含む、請求項１３に記載の方法。
【請求項１９】
前記フィールド格納装置を、前記ビデオ信号のノイズの低減と前記ビデオ信号のデインターレースとに利用できるように、設けること
をさらに含む、請求項１８に記載の方法。
【請求項２０】
ビデオノイズリデューサであって、
前記ビデオノイズリデューサをキャリブレーションすることが選択される場合、受信するビデオ信号にノイズを注入するノイズ注入手段と、
前記ビデオ信号に関連付けられるノイズレベルを推定するノイズ推定手段と、
前記ノイズ推定手段の出力に応じて、前記ビデオ信号の空間領域のノイズアーチファクトを低減する空間ノイズリダクション手段と、
前記ノイズ推定手段の出力に応じて、前記ビデオ信号の時間領域のノイズアーチファクトを低減する時間ノイズリダクション手段と、
前記空間ノイズリダクション手段と前記時間ノイズリダクション手段とを、カスケード構成または並列構成のいずれかに選択的に構成する構成手段と、
前記ビデオ信号の各ピクセルについて動きレベルを決定する動きレベル決定手段と、
前記動きレベル決定手段の出力に従って、前記空間ノイズリダクション手段の出力と前記時間ノイズリダクション手段の出力とを合成する合成手段と
を備えるビデオノイズリデューサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して、信号処理アプリケーションに関する。特に本発明は、ビデオ信号のノイズを低減する、リコンフィギュラブルでセルフキャリブレーションを行う、ビデオノイズリデューサ用のシステムおよび方法に関する。
【背景技術】
【０００２】
リアルタイムのビデオはさまざまな種類のノイズによって損なわれてしまう。最も頻繁にビデオデータを乱すノイズの種類の１つに、加算性ホワイトガウスノイズ（ＡＷＧＮ）がある。ホワイトガウスノイズまたは広帯域ガウスノイズの原因には多くの自然源が考えられ、例えば、アンテナにおける原子の熱振動や、地球およびその他の温かい物体から、および太陽などの天体を源とする黒体放射がある。また、ビデオ信号に利用されるフォーマットまたは圧縮の種類によって、ほかの種類のノイズもビデオ信号に関連付けられ得る。
【０００３】
ビデオ信号の圧縮に起因するノイズもある。圧縮アーチファクトは、画像、オーディオまたはビデオに大幅なデータ圧縮方法を適用した場合に生じる。そのようなデータ圧縮方法は全体の内容に対する重要度がより低いとアルゴリズムによって決定された一部のデータを破棄してしまうが、破棄されるデータは認識可能なデータでユーザにとっては好ましくない。オーディオまたはビデオといった時間依存性データのアーチファクトは多くの場合、非可逆圧縮における潜在的エラーが原因である。ビデオ信号を圧縮すると、データ損失が原因である、特定の種類のアーチファクトが発生する。
【０００４】
ビデオ信号に生じるノイズに対処するべくさまざまな技術が利用されている。デジタルディスプレイが大型化している中、ノイズの除去はますます重要になっている。ディスプレイが大型化すると、ビデオ視聴者はより簡単にノイズを認識してしまうようになる。ノイズの問題を解決するべく利用されている技術の多くは不完全であるので、ビデオ信号に対するノイズの影響はほんのわずか改善されたに過ぎない。
【図面の簡単な説明】
【０００５】
以下の図面を参照しつつ実施形態を説明するが、該実施形態は本発明を限定するものではなく、本発明のすべてを説明しているわけではない。
【０００６】
【図１】ビデオノイズリデューサが動作し得るシステムの一例を示す図である。
【０００７】
【図２】ビデオノイズリデューサに入力されるビデオのフレームの一例を示す図である。
【０００８】
【図３】ビデオ信号の伝送に起因するノイズを含むビデオのフレームの一例を示す図である。
【０００９】
【図４】ビデオノイズリデューサによる処理後のビデオのフレームの一例を示す図である。
【００１０】
【図５】ビデオ信号の圧縮に起因するノイズを含むビデオのフレームの一例を示す図である。
【００１１】
【図６】ビデオノイズリデューサによる処理後のビデオのフレームの一例を示す図である。
【００１２】
【図７】ビデオノイズリデューサのアーキテクチャを示す動作ブロック図である。
【００１３】
【図８】空間ノイズリデューサの動作に対応するカーネルピクセルの一例を示す図である。
【００１４】
【図９】時間ノイズリデューサのアーキテクチャの一例を示す図である。
【００１５】
【図１０】変動フィードバック係数を有する時間ノイズリデューサの振幅特性を示す図である。
【００１６】
【図１１】空間ノイズ推定器を示すブロック図の一例である。
【００１７】
【図１２】本開示内容に係る時間ノイズ推定器を示すブロック図の一例である。
【発明を実施するための最良の形態】
【００１８】
本発明のさまざまな実施形態を図面を参照しつつ詳細に説明する。図中では、複数の図面にわたって同様の参照番号は同様の構成要素およびアセンブリを示す。さまざまな実施形態に言及するが、それによって本発明の範囲が限定されるわけではなく、本発明の範囲は本願請求項の範囲によってのみ限定される。また、本明細書に記載される例はいずれも本発明を限定するものではなく、本発明の多くの実施可能な実施形態の一部を記載しているにすぎない。
【００１９】
明細書および請求項において、以下に示す用語は、文脈から明らかにその反対を示すものでない限り、ここで明確に対応付ける意味を少なくとも持つものとする。以下に特定する意味はこれらの用語の意味を限定するものではなく、単に用語の意味の例を示しているに過ぎない。「一の（「ａ」、訳注：日本語では特に明記していない）」「一の（「ａｎ」、訳注：日本語では特に明記していない）」「その（「ｔｈｅ」、訳注：日本語では特に明記していない）」の意味には複数への言及が含まれており、「〜（内）に（ｉｎ）」の意味には「〜内に（ｉｎ）」と「〜上に（ｏｎ）」とが含まれている。「接続されている（ｃｏｎｎｅｃｔｅｄ）」という用語は、互いに接続されている物の間に直接電気的な接続があり、中間的なデバイスは何も存在しないことを意味している。「接合されている（ｃｏｕｐｌｅｄ）」という用語は、互いに接続されている物の間に直接電気的な接続があること、または１以上の受動的または能動的な中間デバイスを介した間接的な接続があることを意味する。「回路（ｃｉｒｃｕｉｔ）」という用語は、単一の構成要素、もしくは所望の機能を実現するべく接合される能動的および／または受動的な複数の構成要素を意味する。「信号（ｓｉｇｎａｌ）」という用語は、少なくとも１つの電流、電圧、電荷、温度、データまたはその他の信号を意味する。
【００２０】
ビデオノイズリデューサは、簡潔に説明すると、ビデオ信号を処理して加算性ホワイトガウスノイズ（ＡＷＧＮ）およびそれ以外のノイズに関連するアーチファクトの量を低減する。ビデオノイズリデューサはリコンフィギュラブルで、並列構成またはカスケード構成で動作する。並列構成の方が、ＡＷＧＮの低減に関してはより良好な効果を実現するが、ビデオが大幅に圧縮されている場合（例えば、ＭＰＥＧの場合）ノイズリダクション効果がより小さくなってしまう場合がある。ビデオが大幅に圧縮されている場合には、ビデオノイズリデューサをカスケード構成に再構成し得る。このように再構成することで、画像の詳細な内容は幾分か失われるが、圧縮に関連するノイズを低減することについてはより大きな効果を奏する。
【００２１】
また、ビデオノイズリデューサはセルフコンフィギュラブルである。ビデオノイズリデューサには、ノイズ注入装置およびノイズ測定モジュールが含まれている。ノイズ注入装置によって、ビデオノイズリデューサは、注入された予想可能なノイズレベルに基づいて動作を較正することが可能となる。ノイズ測定モジュールは、ノイズを測定して、測定されたノイズレベルに基づいてノイズを低減するべくビデオノイズリデューサのパラメータを調整する。本発明のこれらの側面は、本明細書に記載されるビデオノイズリデューサのさらなる利点および側面と共に、以下で詳細に説明される。
【００２２】
図１は、本発明に係る、ビデオノイズリデューサが動作し得るシステムの一例を示す図である。図示するシステム（システム１００）において、ビデオ信号の処理は、入力チャネル選択マルチプレクサ（ｍｕｘ）（１０２）、色空間変換モジュール（１０４）、ビデオノイズリデューサ（１０６）、画像スケーリング・フレームレート低減モジュール（１０８）、エッジ強調・アップサンプリングモジュール（１１０）、フィルム粒子追加モジュール（１１２）、カラーマネジメント部（１１４）、ディザリング・フレームレート変換モジュール（１１６）およびインターレーサ（１１８）から成るデータパスを持つ。
【００２３】
システム１００は、様々なメディアデバイスと表示デバイスとの間に設けられるオーディオ／ビデオ（ＡＶ）モジュール内に備えられるとしてもよい。この場合、ノイズ除去はＡＶモジュールで行われる。このようなＡＶモジュールは、例えばＤＶＤプレーヤまたはＨＤレコーダ／プレーヤなどの入力ソースの一部であってもよいし、終端のディスプレイの一部であってもよいし、独立した構成要素として設けられるとしてもよい。独立したＡＶモジュールは、図示されているようなオーディオ／ビデオ機能と共に、輝度部分（ｌｕｍａ）・色部分（ｃｈｒｏｍａ）分離、デインターレース、更なるノイズリダクション、スケーリング、更なる色処理、オーディオ遅延および更なる処理モジュールを含み得る。
【００２４】
図２は、本発明に係る、ビデオノイズリデューサに入力されるビデオのフレームの一例を示す図である。フレーム（２００）は、ビルの背景と共に米国国旗を示し、ノイズまたは圧縮アーチファクトは見られない。これは、このビデオフレームがまだ、信号にＡＧＷＮが生じ得る通信接続を介して送信されていないからである。また、フレーム（２００）が圧縮アーチファクトを一切含んでいないのは、ビデオ信号が送信のために圧縮されていないか、そうでなければフレーム（２００）内でアーチファクトが明らかになるような方法で処理されていないためである。
【００２５】
図３は、本発明に係る、ビデオ信号の伝送に起因するノイズを含むビデオのフレームの一例を示す図である。フレーム（３００）は、図２と同じ入力ビデオ信号のフレームである。このフレームでは、ＡＷＧＮノイズがビデオ信号に生じている。このようなノイズは、自然にも発生し得るし、またはノイズ注入モジュール（図７を参照のこと）によって注入されるとしてもよい。ＡＷＧＮが発生すると画像が粗くなり、色およびオブジェクトの間の遷移は高解像度ディスプレイではノイズが入って見えてしまう。
【００２６】
図４は、本発明に係る、ビデオノイズリデューサによる処理後のビデオのフレームの一例を示す図である。ビデオフレーム（４００）は図２および図３のビデオフレームに対応する。フレーム（４００）は、並列アーキテクチャのビデオノイズリデューサ（図７を参照のこと）によって処理される。この並列構成では、ＡＷＧＮが除去されると同時に画像の詳細な内容が保持される。並列アーキテクチャでは、ビデオ画像が比較的静的であり続ける場合、ビデオノイズリデューサに含まれる時間ノイズリデューサ（ＴＮＲ）を用いて出力を得る。ビデオ画像に動くオブジェクトが含まれる場合、ビデオノイズリデューサに含まれる空間ノイズリデューサ（ＳＮＲ）を用いて出力を得る。動きが中程度の場合、動きビットに基づいてＳＮＲおよびＴＮＲの出力を重み付けして平均を取ることで、最終的な出力を得る。フレーム（４００）から分かるように、ビデオノイズリデューサを利用することによって画質が目に見えて改善され得る。
【００２７】
図５は、本発明に係る、ビデオ信号の圧縮に起因するノイズを含むビデオのフレームの一例を示す図である。このフレーム（５００）は、クリーンな画像をＱ（Ｑｕａｌｉｔｙ  Ｆａｃｔｏｒ）を２０に設定してＪＰＥＧ圧縮形式で圧縮している。このため、圧縮の結果得られた画像には、大量のブロックノイズと少量のモスキートノイズ（斜めエッジリンギング）が含まれている。
【００２８】
図６は、本発明に係る、ビデオノイズリデューサによる処理後のビデオのフレームの一例を示す図である。図示されているフレーム（６００）は図５に示すフレームに対応する。画像に生じているノイズは本質的に圧縮が原因であるので、ビデオノイズリデューサはカスケード動作モード（図７を参照のこと）に構成されてノイズの影響を低減する。アナログケーブルまたはビデオ・オーバー・ア・ネットワーク（ＩＰビデオ）等の、圧縮率が高いアプリケーションで得られる高い圧縮率で圧縮されたビデオの場合には、圧縮アーチファクトが多く存在しており、強力な空間フィルタリングをかけるカスケード構造によって処理するのが最適である。フレーム（６００）から分かるように、圧縮が原因のノイズの影響は目に見えて低減している。
【００２９】
図７は、本発明に係る、ビデオノイズリデューサのアーキテクチャを示す動作ブロック図である。ビデオノイズリデューサ（７００）は、ガウスノイズ注入装置（７０２）、空間ノイズリデューサ（ＳＮＲ）（７０４）、マルチプレクサ（７０６および７１２）、時間ノイズリデューサ（ＴＮＲ）（７０８）、空間−時間合成器（７１０）、肌トーン検出（Ｆｌｅｓｈ  Ｔｏｎｅ  Ｄｅｔｅｃｔｉｏｎ：ＦＴＤ）モジュール（７１４）、肌トーン検出（ＦＴＤ）合成器（７１６）、フィールド格納装置ＡおよびＢ（７１８および７２０）、３Ｄデインターレースモジュール（７２２）、輝度部分（ｌｕｍａ）／色部分（ｃｈｒｏｍａ）モーションエンジン（ＭＥ）（７２４）、空間ノイズ推定器（７２６）、時間ノイズ推定器（７２８）、ノイズ合成器（７３０）、ノイズ対しきい値マッピングモジュール（７３２）、およびノイズ対ベータマッピングモジュール（７３４）を備える。
【００３０】
ビデオノイズリデューサ（７００）は、動作のある側面によって、リコンフィギュラブルでセルフキャリブレーションを行うように構成できる。まず、ビデオノイズリデューサ（７００）は、ビデオ信号に含まれるノイズの種類および量に応じて、カスケードアーキテクチャまたは並列アーキテクチャに構成され得る。そして、ビデオノイズリデューサはセルフキャリブレーションを行う。後述するように、ビデオ信号に含まれるノイズの量を検出し、最適動作を実現するべくビデオノイズリデューサ（７００）をキャリブレーションすることを目的としてビデオ信号にノイズを注入するモジュールが含まれる。
【００３１】
入力ビデオ信号（Ｉｎ）がビデオノイズリデューサ（７００）に与えられると、該信号はガウスノイズ注入装置（７０２）を伝播する。ガウスノイズ注入装置（７０２）は、ＡＷＧＮをビデオ信号（Ｉｎ）に注入するかどうかを判断する。このノイズは、選択されるシグマ（ガウスノイズ分布の標準偏差）のレベルに応じて設定され得る。新たに得られる信号（ｉｎ＿ｎｏｉｓｅ）は、ガウスノイズ注入装置（７０２）が注入したノイズを含むとしてもよいし、ノイズは注入されないとしてもよい。
【００３２】
新たな信号（ｉｎ＿ｎｏｉｓｅ）は続いて空間ノイズリデューサ（ＳＮＲ）（７０４）に伝播する。ＳＮＲ（７０４）は、ビデオ信号に含まれる空間領域のノイズを低減する。空間領域のノイズを低減する場合は、エッジ適応型（ｅｄｇｅ  ａｄａｐｔｉｖｅ）ビデオフィルタを利用することが最も多い。エッジ適応型ビデオローパスフィルタを利用すると、画像のエッジが保持され、比較的詳細な内容が少ない領域でノイズが低減される。そのようなエッジ適応型ビデオフィルタの一般的な例は、「画像のガウスノイズの推定およびフィルタリングの方法（Ａ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｅｓｔｉｍａｔｉｏｎ  ａｎｄ  Ｆｉｌｔｅｒｉｎｇ  ｏｆ  Ｇａｕｓｓｉａｎ  Ｎｏｉｓｅ  ｉｎ  Ｉｍａｇｅｓ）」（Ｆａｂｒｉｚｉｏ  Ｒｕｓｓｏ、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ  ａｎｄ  Ｍｅａｓｕｒｅｍｅｎｔ、ｖｏｌ．５２、ｎｏ．４、２００３年８月）と題される参照文献で説明されている。
【００３３】
上記の参照文献（Ｒｕｓｓｏ）によると、１ピクセルのノイズを推定およびフィルタリングするべく３×３ピクセルのカーネルサイズが選択される。本発明の一実施形態によると、３ライン×５ピクセルのカーネルサイズを、インターレース領域で動作するビデオ信号に対応させるべく、用いる。実用面から言うと、ＳＮＲ（７０４）では、３×５のカーネルは、サイズが７２０×１６（ＳＤＴＶ用）および１９２０×１６（ＨＤＴＶ用）の２つのラインバッファを用いて実施され得る。一実施形態によると、ラインバッファはオンチップシングルポート静的ＲＡＭを用いて実施される。ノイズの低減は、ピクセルの輝度値（ｌｕｍａ  ｖａｌｕｅ）および色値（ｃｈｒｏｍａ  ｖａｌｕｅ）の両方についてピクセル毎に行われる。
【００３４】
図８を簡単に説明すると、本発明に係る、空間ノイズリデューサに対応するカーネルピクセルの一例を示す図である。ウィンドウ（８００）において隣接カーネルピクセルはそれぞれ（例えば８０２）、出力ピクセル（８０４）を生成するべく利用される。出力ピクセル（８０４）の位置はカーネルの中央ピクセルＸ１５に対応している。これは、出力ピクセルを生成するには、左側の２ピクセル、右側の２ピクセル、上の１ライン、下の１ラインが考慮されることを示す。例えば、出力ピクセルＹ１５が生成されるとすると、該出力ピクセルの式は以下のようになる。
【数１】
2009533898.tif 000003
【００３５】
パラメータ「Ｚｅｔａ」は以下のように定義される。
【数２】
2009533898.tif 000004
【００３６】
しきい値パラメータ「Ｔｈ」はノイズリダクション量を制御する。しきい値が「０」に設定されている場合にはノイズリダクションは行われず、これはＳＮＲ（７０４）をバイパスすることに等しい。上記の式に含まれるしきい値パラメータは、後述するノイズ対しきい値マッピングモジュール（７３２）から受け取るしきい値信号（ｓｎｒ＿ｔｈ）に対応する。一実施形態によると、ビデオアプリケーションに最適なのは１０から３２の範囲内のしきい値であることが分かった。
【００３７】
式１から暗示され得ることは、隣接ピクセルと中央ピクセルの偏差が大きすぎる場合、隣接ピクセルは中央ピクセルとは非常に異なるので、そのようなピクセルは除去されるべき、ということである。隣接ピクセルを除去すると、エッジのぼけが少なくなる。空間領域におけるエッジ適応型ビデオフィルタリングはガウスノイズを除去するために通常用いられる方法である。空間領域では、同じ周波数スペクトルを持っているので、実際のビデオデータとノイズとを区別することが難しい。このように、空間領域に基づくアプローチは本質的に画像がぼやける可能性があるので、ガウスノイズの除去に関していえば比較的効率が悪い場合がある。
【００３８】
図７に戻って、空間領域のノイズを低減すると共に、ビデオ信号はさらに時間ノイズリデューサ（ＴＮＲ）（７０８）によっても処理される。ビデオデータのガウスノイズは平均値がゼロであると仮定される。この仮定は、ビデオデータのＤＣオフセットはいずれも補正され得るので、非常に妥当である。このため、多数の同様のサンプルを平均化すると、クリーンな信号が得られる。ノイズ成分の平均はゼロとなる。リアルタイム処理の場合、複数のフレームを利用すると、ハードウェアの実装に関して複数の課題が生じる。時間ノイズを低減するために複数のフレームを利用する場合には、多くの場合において、これらのフレームを何らかの格納装置、大抵は「オフチップ」の格納装置に格納しなければならない。このようなオフチップの格納装置は、ＳＤＲＡＭ／ＤＤＲＡＭの集積回路であってよい。これらのメモリは外付けでボード上に設けられるので、システムコストが上昇し得る。ＳＤＴＶの１フレームのサイズは通常約６９１Ｋバイトの格納スペースを必要とする。ハイビジョンになると、４Ｍバイトになる。サンプルを平均するために利用されるフレームの数が増えると、基本的にオフチップ格納装置が大きくなる。信号処理理論では、フィードバックアーキテクチャは、フィードフォワードアーキテクチャに比べると、振幅特性が良好であることが知られている。このため、一実施形態によると、ＴＮＲ（７０８）は１次ＩＩＲフィードバック再帰構造として設計される。
【００３９】
図９を簡潔に説明すると、本発明に係る、時間ノイズリデューサのアーキテクチャの一例を示す図である。図示されているＴＮＲの一例（９００）は１次ＩＩＲフィードバック再帰構造として設計されている。図示されているＴＮＲの時間領域差分方程式は以下のように現される。
【数３】
2009533898.tif 000005
【００４０】
そして、ｚ領域伝達関数は以下のように表される。
【数４】
2009533898.tif 000006
【００４１】
式５によると、振幅特性はフィードバック係数「ベータ」のさまざまな値に対応付けて描くことができる。フィードバック係数は０から１（１は除く）の範囲内の値を取り得る。ベータ＝１の場合、ループは不安定になる。つまり、入力は切断され、フレームバッファ内にあるものはすべて再度循環し続ける。一実施形態によると、ベータは、以下に説明するノイズ対ベータマッピングモジュール（７３４）が決定する。
【００４２】
図１０は、本発明に係る、変動フィードバック係数（ベータ）を有するＴＮＲ（７０８）の振幅特性を示す図である。特性（１０００）を検証すると、「ベータ＝０」において再帰は生じず、ＴＮＲに入力されるものはすべて出力されるべく通過させられる。これは、オールパスフィルタと同様である。ベータが１／８刻みで０／８から７／８へと増加していくと、高周波数領域がより減衰される。画像が静的である場合、画像情報の大半はフレーム周波数が０Ｈｚのポイントに集中している。フィードバック係数「ベータ」はＴＮＲフィルタの特性を制御する。入力されるビデオデータにノイズが含まれていない場合、フィードバック係数は「ベータ＝０」に設定され得る。入力されるビデオに含まれるノイズの量が多くなるに従って、フィードバック係数は、出力ビデオが略一定の質を持つように、適切に大きく設定される。表１は、フィードバック係数「ベータ」の値を変化させた場合の信号ノイズ比（ＳＮＲ）ゲインの量を示す。
【表１】
2009533898.tif 000007
【００４３】
表１から明らかに分かるように、フィードバック係数が大きくなるとゲインも高くなる。しかし、フィードバック係数「ベータ」を大きくすると問題が生じる場合がある。画像の内容が静的である場合、エネルギー内容の大半はＤＣ周波数に集中しているが、動きが見られ始めると（動きがある場合）、スペクトルが動的になり、ＤＣから１５Ｈｚまでのすべての周波数を持つようになる。フィードバック係数を大きくすると基本的にはシステムがより低速になってしまう可能性があるので、ビデオ信号を大きな動きに対して適応させることができない。ループトランジェント（ｌｏｏｐ  ｔｒａｎｓｉｅｎｔ）は複数のフレームにわたっており、安定化するまでの時間が長くなってしまう。シーンに変化がある場合、ループが安定化するまでには２フレームより長い時間がかかってしまう。この結果、「ゴースト（ｇｈｏｓｔｉｎｇ）」のような視覚的なアーチファクトが発生する場合がある。ＩＩＲフィルタの非線形群遅延応答のために、動き領域の視覚アーチファクトはさらに複雑になる。
【００４４】
ビデオノイズリデューサ（７００）のアーキテクチャはリコンフィギュラブルなので、空間ノイズリダクション処理および時間ノイズリダクション処理を選択的に合成して最適出力ビデオ信号を生成し得る。図７に戻って、輝度部分／色部分モーションエンジン（ＭＥ）（７２４）は、入力ビデオ信号のフィールドの各ピクセルについて合成の度合いを決定するべく用いられる。
【００４５】
シーンの静的領域については時間領域のガウスノイズを除去し得るが、時間ノイズを低減するとシーンの動き領域においてゴーストアーチファクトを生じることが分かっている。輝度部分／色部分ＭＥ（７２４）は、対象ピクセルを静的領域または動き領域に分類するためのピクセル機構を提供する。ピクセルの輝度値および色値がフレーム間で大きく異なっている場合、そのピクセルは動きレベルが高い。しかし輝度値および色値がほとんど変化していない場合、動きレベルは低い。動きの程度に基づいて、ノイズリデューサの最終出力は、ＳＮＲの出力とＴＮＲの出力との合成関数となり得る。
【００４６】
一実施形態によると、動きビットの計算は、サイズが３ライン×５ピクセルのスライドするウィンドウに対して行われる。時間タップ（ｔｅｍｐｏｒａｌ  ｔａｐ）、つまり１５個のデータ値を入力フィールドから取り出し、１５個のデータ値を先行フィールド（１フレーム離れたもの）から取り出す必要がある。１５個の値の平均絶対偏差（ＭＡＤ）を算出する。このＭＡＤ値は続いて、動きの程度を量子化するべく、７個のレジスタのプログラマブルなしきい値と比較される。この結果、３ビットの動き情報が得られる。動き情報は、「０００」がピクセルは静的であることを意味し、「１１１」はピクセルの動きレベルが高いことを意味し、その間の値は動きレベルがその中間であることを意味する。
【００４７】
このような動きビットは続いて、空間−時間（ＳＴ）合成器（７１０）に与えられるとしてもよい。ＳＴ合成器（７１０）は、動きビットに基づいてＳＮＲ（７０４）の出力とＴＮＲ（７０８）の出力に対して重みを割り当てる。合成器出力を表す式は以下のように与えられる。
【数５】
2009533898.tif 000008
【００４８】
ここで、「ｍ」は動きの量を表す。一実施形態によると、ｍの値は０／８から７／８の範囲内で１／８刻みで変化する。表２は動きビットと合成係数との関係を要約したものである。
【表２】
2009533898.tif 000009
【００４９】
ＳＮＲ（７０４）の出力とＴＮＲ（７０８）の出力とを合成する機能に加えて、ノイズリダクションを最適化するべくビデオノイズリデューサ（７００）のアーキテクチャを再構成する機能がある。レジスタのビット（ａｌｇｏ＿ｓｅｌ）をプログラミングすることによって、アーキテクチャは、ＳＮＲ（７０４）とＴＮＲ（７０８）とをカスケード動作モードにするとしてもよいし、並列動作モードにするとしてもよい。例えば、「ａｌｇｏ＿ｓｅｌ＝０」の場合には、マルチプレクサ（７０６および７１２）を用いてカスケード動作モードが選択される。「ａｌｇｏ＿ｓｅｌ＝１」の場合には、並列動作モードが選択される。
【００５０】
カスケードアーキテクチャのｚ領域の出力を表す式は以下の通りであるとしてもよい。
【数６】
2009533898.tif 000010
式８では、「ベータ」は再帰係数で、動きビットによって制御され、ＸＳ［ｚ］はＳＮＲ（７０４）の出力である。
【表３】
2009533898.tif 000011
【００５１】
表３に、動きビット対「ベータ」のマッピングの一例を示す。表３から分かるように、ピクセルがビデオフレームの静的領域に含まれている場合には、再帰値は最大値に設定されるので、静的領域においてノイズリダクションは最も大きくなる。しかし、ピクセルにおける動きが最大の場合、再帰係数「ベータ」は「０／８」に設定されるので、ＴＮＲをバイパスする効果が得られる。このような効果は、動きが見られる場合、時間再帰はいかなる程度であってもゴーストアーチファクトを生じ得るので、好ましい。
【００５２】
カスケードアーキテクチャには欠点が２つあると考えられる。カスケードアーキテクチャでは、静的領域において不必要なボケが生じ得ると共に、動きビットに応じてフィードバック再帰係数が制御されるので、再帰エンジンは入力ビデオが本質的にクリーンである（ガウスノイズがない）場合にも動作してしまい、シーンにおいて動きが中程度の領域において不必要にゴーストアーチファクトを生じ得ることがある。
【００５３】
カスケードアーキテクチャによれば、画像はまずＳＮＲ（７０４）によってフィルタリングされ、フィルタリングされた画像はさらにＴＮＲ（７０８）を通過するので、ノイズを大幅に低減することができる。このように大幅に平滑化できることが、モスキートノイズなどの圧縮アーチファクトに対応する場合およびブロックノイズなどのアーチファクトを除去する場合には（図５および図６を参照のこと）、または入力ビデオのノイズレベルが高い場合には、好ましい場合もある。
【００５４】
並列アーキテクチャでは、ＳＮＲ（７０４）およびＴＮＲ（７０８）は並列に設けられる。そして出力は、上述したようにＳＴ合成器（７１０）を用いて合成される。このような構成とすると、ガウスノイズが除去されると共に画像の詳細な内容が保持される。並列アーキテクチャによると、画像が静的な場合には、ＴＮＲ（７０８）の出力が最終的な出力となり、画像に動きがある場合にはＳＮＲ（７０４）の出力が最終出力となる。中間的な動きの場合には、ＳＮＲ出力およびＴＮＲ出力の動きビットに基づいて重み付けされた平均が最終的な出力となる。並列アーキテクチャの出力を表す式（ｚ領域）を以下に示す。
【数７】
2009533898.tif 000012
【００５５】
式９では、一実施形態によると、「ｍ」は動きビットを表し、ｍの値は０／８から７／８の範囲内で１／８刻みで変化し、「ベータ」はフィードバック係数を表す。ＸＳ［ｚ］はＳＮＲブロックの出力である。
【００５６】
上述したように、並列構造は画質を劣化させずにＡＷＧＮを低減するアプローチであってもよい。しかし、アナログケーブルまたはビデオ・オーバー・ア・ネットワーク（ＩＰビデオ）等の、圧縮率が高いアプリケーションで得られる高い圧縮率で圧縮されたビデオの場合には、圧縮アーチファクトが多く、強力な空間フィルタリングを行うカスケード構造で対応するのが最も良い。このようにアーキテクチャを再構成できるので、ある入力ソースを選択した場合から次の入力ソースへ移ると、または、あるフレームから次のフレームへと移ると、ソフトウェアまたはそれ以外の回路が最適な構造を動的に選択することが可能となる。
【００５７】
ビデオ信号は、ＳＮＲ（７０４）およびＴＮＲ（７０８）によって処理されＳＴ合成器（７１０）によって合成されると、肌トーン検出（ＦＴＤ）モジュール７１４によって処理される。皮膚領域でノイズが低減されると、これらの皮膚領域は本質的にわずかによりソフトに見えるようになる。ビデオの領域では、皮膚のトーンがどう見えるかは視覚キャリブレーションの最も重要な基準のうちの１つである。一般的には、皮膚領域の見え方はできるかぎりそのままにしておきたいものである。このような皮膚領域では、毛穴またはあごひげのぼやけた様子などの細かい内容をなくして皮膚領域のノイズを完全に除去するよりは、いくらかのノイズがあった方がより好ましい。このため、ビデオノイズリデューサ（７００）は、皮膚領域または肌領域に属するピクセルを画像の中で検出して、検出されたピクセルについてはノイズリダクション処理を行わずに直接出力する。皮膚領域と非皮膚領域とを２進法で区別すると、皮膚の境界付近で目に見えるアーチファクトが生じ得るので、ＦＴＤ合成器（７１６）は皮膚トーンレベルに基づいてこれらの領域を平滑化するべく動作する。皮膚トーンの量に基いて決まるフィルタリングピクセルおよび非フィルタリングピクセルの合成係数の一例を表４に示す。
【表４】
2009533898.tif 000013
【００５８】
表４に示したものと同様の合成係数を用いることで、ビデオ信号に含まれるノイズを低減しつつ、画像の肌トーンは保持され得る。ＦＴＤ合成器（７１６）の出力はフィールド格納装置（７１８および７２０）に与えられ、且つ、さらに処理されるべく出力に与えられる。図７の例によると、ＦＴＤ合成器（７１６）の出力は３Ｄデインターレースモジュール（７２２）に与えられ、３Ｄデインターレースが実行され得る。フィールド格納装置（７１８および７２０）からは再帰データが与えられ、時間領域でのビデオ信号に対する処理、動きビットの決定、時間領域のノイズの推定が行われる。
【００５９】
空間領域および時間領域のノイズの推定は空間ノイズ推定器（７２６）および時間ノイズ推定器（７２８）によって行われる。どちらのノイズ推定アプローチを用いてもよいが、別のアプローチによれば、両方のノイズ推定方法を用いて適切な規準に基づいてその結果を合成する。利用可能な基準の１つに、２つのノイズ推定値のＭＡＸを実際のノイズの分散の控えめな推定値として利用することが挙げられる。
【００６０】
空間ノイズ推定器（７２６）は、入力として、ノイズを含む入力ビデオ信号（ｉｎ＿ｎｏｉｓｅ）を受け取る。図１１を簡単に説明すると、本発明に係る、空間ノイズ推定器を示すブロック図の一例である。ノイズデータを含む信号は続いてエッジ適応型ビデオ空間フィルタ（上述したもの）に与えられる。フィルタの出力において、ノイズリダクション信号が得られる。入力されたノイズを含む信号（ｉｎ＿ｎｏｉｓｅ）から、エッジ適応型ビデオフィルタの出力を差し引くと、ノイズ成分およびいくらかの画像リーク（ｉｍａｇｅ  ｌｅａｋａｇｅ）が算出される。そして、差分信号の絶対値がブロック処理部に与えられる。ブロック処理部の出力は、空間ノイズ推定値（ｓｉｇｍａ＿ｓｐａｔ：σＳ）を表す。ブロック処理モジュールでは、フィールドデータはサイズが３２×１６のブロックへと再分割される。各ブロックの平均絶対偏差の値が算出および格納される。フィールドの終端では、全ての平均絶対偏差のうち最小値がガウスノイズの空間推定値として選択される。時間ノイズ推定器（７２８）は空間ノイズ推定器（７２６）と同様である。時間ノイズ推定器（７２８）は、入力される、現在の入力フィールドと当該データから１フレーム遅延したデータとに基づいて時間ノイズを推定する。この「当該データから１フレーム遅延したデータ」はフィールド格納装置（７２０）から与えられる。ビデオノイズリデューサ（７００）の出力はフィールド格納装置内に格納されるので、時間ノイズ推定器にループバックされるデータはノイズがフィルタリングされ且つフレームが遅延されたビデオデータである。現在の入力フィールドデータおよび１フレーム遅延したデータは、時間ノイズ推定器（７２８）に与えられる。図１２を簡単に説明すると、本発明に係る、時間ノイズ推定器を示すブロック図の一例である。差分の絶対値が算出され、ブロック処理部に与えられる。このブロック処理部は、空間ノイズ推定器（７２６）を説明する際に引用したものと同一である。ブロック処理部の最終出力は、時間ノイズ推定値（Ｓｉｇｍａ＿Ｔｅｍｐｏｒａｌ：σｔ）である。
【００６１】
空間ノイズ推定器（７２６）および時間ノイズ推定器（７２８）によってノイズ推定値（σｓおよびσｔ）が決定されると、ノイズ合成器（７３０）によってこれらの推定値が合成される。ノイズ合成器（７３０）は２つのノイズ推定値を合成して合成ノイズ推定値（σｅｓｔ）を生成する。合成ノイズ推定値（σｅｓｔ）は続いて、ノイズ対しきい値マッピングモジュール（７３２）およびノイズ対ベータマッピングモジュール（７３４）に入力される。両モジュールは、ビデオ信号に生じ得るさまざまなノイズレベルに応じてＳＮＲ（７０４）およびＴＮＲ（７０８）それぞれに与えられる必要があるｓｎｒ＿ｔｈおよびベータのレベルを決定する。
【００６２】
ビデオノイズリデューサ（７００）は、ノイズ推定器（７２６および７２８）に加え、ガウスノイズ注入装置（７０２）をさらに備える。ガウスノイズ注入装置（７０２）の目的は、ビデオノイズリデューサ（７００）の性能、特に、ノイズ推定器（７２６および７２８）の性能を評価することにある。このようなオンチップノイズ注入装置はまた、外付けノイズ注入装置がなくとも顧客にビデオノイズリデューサの性能を効果的にデモンストレーションすることができるという効果を奏する。オンチップノイズ注入装置は本質的にプログラム可能であり、つまり、ユーザは入力ビデオデータに生じさせるべきノイズの注入量（σ）を正確に制御することができる。一実施形態がサポートする注入ノイズ値の範囲は「シグマ＝０」から「シグマ＝３１」までであり、１刻みで変更され得る。別の実施形態によると、ガウスノイズ注入装置は、ボックス−ミュラー法によるノイズ生成に基づいている。擬似乱数は、生成したいビットの数に基づいて多項式と線形フィードバックシフトレジスタ（ＬＦＳＲ）とを利用することで、ハードウェアによって簡単に生成される。生成される擬似乱数を最大限に繰り返すべく、正しい多項式を実施することが必要である。生成された擬似乱数は続いて、「ｓｑｒｔ−ｌｏｇ」ルックアップテーブルおよび「ｓｉｎ」「ｃｏｓ」ルックアップテーブルに与えられる。ルックアップテーブルの値は続いて、所望の標準偏差の値と乗算され、最終的な乱数が得られる。最終的な数「Ｘ１」および「Ｘ２」はガウス特性を持つ。
【００６３】
ガウスノイズ注入装置（７０２）が備えられているので、空間ノイズ推定器および時間ノイズ推定器の性能を測定し得る。このようなセットアップのほかの利点として挙げられるのは、オフチップのノイズ注入装置をキャリブレーションのために必要としないことである。入力されるクリーンなビデオデータに対して既知の量のノイズを与えることによって、空間ノイズ推定器および時間ノイズ推定器が行う測定を確認し得る。
【００６４】
図７に示す実施形態によると、ビデオノイズリデューサ（７００）の出力は３Ｄデインターレースモジュール（７２２）を含むと示されている。３Ｄデインターレースモジュール（７２２）が図示されている理由は（ビデオノイズリデューサの動作には不要である）、ビデオノイズリデューサ（７００）の設計故に利用可能なハードウェアの最適化を説明するためである。デインターレースは、インターレース・フィールドデータをプログレッシブ・フレームデータに変換するプロセスである。デインターレースは、デジタルテレビがプログレッシブな画像を表示できる機能を持つ今日では非常に一般的なビデオ処理ブロックの１つである。３Ｄデインターレースモジュール（７２２）もまた、空間−時間領域で動作し得る。３Ｄデインターレースモジュール（７２２）は、不足しているラインのピクセルの情報を生成するべく、隣接するフィールドおよび中央フィールドでデータを探す。３Ｄデインターレースモジュール（７２２）は３フィールドのデータに基づいて動作するので、フィールド格納装置を必要とする。３Ｄデインターレースモジュール（７２２）に先立ってビデオノイズリデューサ（７００）を効果的に配設すると、同一のフィールドバッファを用いてデインターレース機能とガウスノイズリダクション機能とを実現し得る。このように共有することによって、ＳＤＲＡＭスペース要件およびデータ転送帯域幅は共に半減という効果が得られる。インターレース入力ストリームアーキテクチャを説明してきたが、ビデオノイズリデューサ（７００）はインターレース入力ストリームおよびプログレッシブ入力ストリームの両方をサポートすることができる。
【００６５】
さらに別の実施形態によると、任意で、ハードウェアまたはファームウェアによって、ノイズリダクションループパラメータを制御するとしてもよい。この結果、ビデオノイズリデューサは「適応型」として構成され得る。上述したように、ＳＮＲのしきい値およびＴＮＲのベータは、入力ビデオに含まれるノイズの量の関数であってもよい。また、ノイズ推定値はステイタスレジスタに反映されるとしてもよく、ステイタスレジスタがファームウェアによって読み出されるとしてもよい。ＳＮＲのしきい値（ｓｎｒ＿ｔｈ）およびＴＮＲのベータは（ホストインターフェースを介して）レジスタを介してプログラム可能であるので、ファームウェアでループを閉じることができる。しかし、このようにするとＣＰＵが継続的に使用中になってしまう場合がある。これに代えて、ハードウェアにおいて推定ノイズ値とループパラメータ（ＳＮＲのしきい値およびＴＮＲのベータ）との間でループを閉じることができる。ハードウェアまたはファームウェアによってループを閉じるというオプションは、レジスタビットをプログラミングすることによって制御され得る。このため、ボード設計者はハードウェアまたはソフトウェアでループを閉じるというオプションを有することになる。
【００６６】
本発明に係る構成の製造および利用は、上述の明細書、例およびデータにより完全に説明されている。本発明の多くの実施形態は本発明の精神および範囲から逸脱することなく実行され得るので、本発明は本願の請求項によって定義される。
【図１】
2009533898.tif 000014
【図２】
2009533898.tif 000015
【図３】
2009533898.tif 000016
【図４】
2009533898.tif 000017
【図５】
2009533898.tif 000018
【図６】
2009533898.tif 000019
【図７】
2009533898.tif 000020
【図８】
2009533898.tif 000021
【図９】
2009533898.tif 000022
【図１０】
2009533898.tif 000023
【図１１】
2009533898.tif 000024
【図１２】
2009533898.tif 000025
【国際調査報告】
2009533898.tif 000026
2009533898.tif 000027
2009533898.tif 000028