(57)【特許請求の範囲】
【請求項１】
ビデオシーケンスを処理する方法であって、
入力ビデオシーケンス解像度を持つ入力ビデオシーケンスを受信する段階と、
前記入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階と、
アラインメントされた前記複数の画像に含まれるノイズを低減する段階と、
ノイズが低減された前記複数の画像に基づき、解像度が前記入力ビデオシーケンス解像度と同じである出力ビデオシーケンスを生成する段階と
を備え、
前記ノイズを低減する段階では、前記入力ビデオシーケンスから推定され、垂直画素差および水平画素差の絶対差の中央値に基づく前記ノイズの推定を利用するスケールパラメータを用いて、前記ノイズを低減させる方法。
【請求項２】
前記入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階はさらに、前記入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階の前に、前記入力ビデオシーケンスのオプティカルフローを推定する段階を有する請求項１に記載の方法。
【請求項３】
前記入力ビデオシーケンスは、基準フレームと、前記基準フレームに対して相対的に決まる少なくとも１つの前方フレームおよび少なくとも１つの後方フレームとを含む
請求項２に記載の方法。
【請求項４】
アラインメントされた前記複数の画像に含まれるノイズを低減する段階は、共役勾配極小化に対応する反復前方および後方再マッピングを前記アラインメントされた複数の画像に対して実行する段階を有する請求項１から３のいずれか一項に記載の方法。
【請求項５】
アラインメントされた前記複数の画像に含まれるノイズを低減する段階は、反復ライン極小化を実行する段階を有する請求項４に記載の方法。
【請求項６】
アラインメントされた前記複数の画像に含まれるノイズを低減する段階は、基準フレームに対して前記アラインメントされた複数の画像のそれぞれに画像ワーピングを実行する段階を有し、
前記アラインメントされた複数の画像の強度は、前記基準フレームのノイズ除去バージョンを取得するために合成される請求項１から５のいずれか一項に記載の方法。
【請求項７】
アラインメントされた前記複数の画像に含まれるノイズを低減する段階は、ワーピングが実行された前記アラインメントされた複数の画像に対して、時間および空間においてバイラテラルフィルタリングを実行して前記強度を合成する段階を有する請求項６に記載の方法。
【請求項８】
入力ビデオシーケンス解像度を持つ入力ビデオシーケンスを受信する第１のモジュールと、
前記第１のモジュールに結合されており、前記入力ビデオシーケンスに含まれている複数の画像をアラインメントする第２のモジュールと、
前記第２のモジュールに結合されており、アラインメントされた前記複数の画像に基づき前記入力ビデオシーケンスに含まれているノイズを低減する第３のモジュールと、
前記第３のモジュールに結合されており、ノイズが低減された前記入力ビデオシーケンスに基づき、前記入力ビデオシーケンス解像度以下の解像度の出力ビデオシーケンスを生成する第４のモジュールと
を備え、
前記第３のモジュールは、前記入力ビデオシーケンスから推定され、垂直画素差および水平画素差の絶対差の中央値に基づく前記ノイズの推定を利用するスケールパラメータを用いて、前記ノイズを低減させるビデオ処理装置。
【請求項９】
前記第２のモジュールは、前記入力ビデオシーケンスのオプティカルフローを推定するモジュールを有する請求項８に記載のビデオ処理装置。
【請求項１０】
前記入力ビデオシーケンスは、基準フレームと、前記基準フレームに対して相対的に決まる少なくとも１つの前方フレームおよび少なくとも１つの後方フレームとを含む請求項９に記載のビデオ処理装置。
【請求項１１】
前記第３のモジュールは、共役勾配極小化に対応する反復前方および後方再マッピングを前記アラインメントされた複数の画像に対して実行するモジュールを有する請求項８から１０のいずれか一項に記載のビデオ処理装置。
【請求項１２】
前記第３のモジュールはさらに、反復ライン極小化を実行するモジュールを有する請求項１１に記載のビデオ処理装置。
【請求項１３】
前記第３のモジュールは、基準フレームに対して前記アラインメントされた複数の画像のそれぞれに画像ワーピングを実行するモジュールを有し、
前記アラインメントされた複数の画像の強度は、前記基準フレームのノイズ除去バージョンを取得するために合成される請求項８から１２のいずれか一項に記載のビデオ処理装置。
【請求項１４】
前記第３のモジュールはさらに、ワーピングが実行された前記アラインメントされた複数の画像に対してバイラテラルフィルタリングを実行して前記強度を合成するモジュールを有する
請求項１３に記載のビデオ処理装置。
【請求項１５】
コンピュータを請求項８から１４のいずれか一項に記載のビデオ処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ処理に関する。より具体的には、本発明の一部の実施形態は、ビデオに含まれるノイズの低減に関する。
【背景技術】
【０００２】
米国特許第７，４４７，３８２号では、モデルを用いたロバストなベイズ推定を用いて、複数の低解像度画像から一の高解像度画像を算出することが開示されている。結果として得られるあるシーンの高解像度（ＨＲ）画像は、与えられた当該シーンの複数の低解像度（ＬＲ）画像に基づき、ベイズ推定画像再構築方法を用いて算出される。当該方法では、ノイズが存在する中でＬＲ画像を形成するモデルを実行する可能性確率関数に基づき、ＨＲ画像を生成する。このノイズは、確率的、非ガウス的、且つロバストな関数によってモデル化される。
【図面の簡単な説明】
【０００３】
本特許または本願には、少なくとも１つのカラー図面が含まれている。カラー図面を含む本特許または本願の公報の複製は、申請して必要料金を支払うことによって、特許庁から提供される。
【０００４】
本発明のさまざまな特徴は、添付図面に図示した好ましい実施形態に関する以下の説明から明らかとなる。添付図面では、同様の参照番号は概して、複数の図面にわたって同じ構成要素を指すものとする。図面は必ずしも実寸に即したものではなく、本発明の原理を説明することに重点を置いた内容となっている。
【０００５】
【図１】本発明の一部の実施形態に係るフローチャートである。
【０００６】
【図２】本発明の一部の実施形態に係る別のフローチャートである。
【０００７】
【図３】本発明の一部の実施形態に係る別のフローチャートである。
【０００８】
【図４】本発明の一部の実施形態に係るビデオ処理装置を示すブロック図である。
【０００９】
【図５】本発明の一部の実施形態に係る別のビデオ処理装置を示すブロック図である。
【００１０】
【図６】本発明の一部の実施形態に係るノイズ除去モジュールを示すブロック図である。
【００１１】
【図７】本発明の一部の実施形態に係る別のノイズ除去モジュールを示すブロック図である。
【００１２】
【図８】本発明の一部の実施形態に係るプロセッサベースの電子システムを示すブロック図である。
【００１３】
【図９】本発明の一部の実施形態に係るオプティカルフロー推定モジュールを示すブロック図である。
【００１４】
【図１０】本発明の一部の実施形態に係る別のノイズ除去モジュールを示すブロック図である。
【００１５】
【図１１】基準デジタル画像を示す図である。
【００１６】
【図１２】本発明の一部の実施形態に係る処理後のデジタル画像である。
【００１７】
【図１３】本発明の一部の実施形態に係る別の処理後のデジタル画像である。
【００１８】
【図１４】別の基準デジタル画像を示す図である。
【００１９】
【図１５】本発明の一部の実施形態に係る別の処理後のデジタル画像である。
【００２０】
【図１６】本発明の一部の実施形態に係る別の処理後のデジタル画像である。
【００２１】
【図１７】別の基準デジタル画像を示す図である。
【００２２】
【図１８】本発明の一部の実施形態に係る別の処理後のデジタル画像である。
【００２３】
【図１９】本発明の一部の実施形態に係る別の処理後のデジタル画像である。
【発明を実施するための形態】
【００２４】
以下に記載する説明では、限定ではなく説明を目的として、本発明のさまざまな側面を徹底的に理解していただくべく、具体的な構造、アーキテクチャ、インターフェース、技術等、具体的且つ詳細な内容を記載する。しかし、本開示内容を参照すれば、本発明のさまざまな側面は、記載している具体的且つ詳細な内容から逸脱した他の例においても実施し得ることは当業者には明らかであろう。また、不要に詳細な内容によって本発明の説明があいまいになることを避けるべく、公知のデバイス、回路、および方法の説明は省略する。
【００２５】
図１を参照しつつ説明すると、本発明の一部の実施形態に係るビデオシーケンス処理方法は、入力ビデオシーケンス解像度を持つ入力ビデオシーケンスを受信する段階（例えば、ブロック１０）と、入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階（例えば、ブロック１１）と、アラインメントされた複数の画像に含まれるノイズを低減する段階（例えば、ブロック１２）と、ノイズが低減された複数の画像に基づき、解像度が入力ビデオシーケンス解像度と同じである出力ビデオシーケンスを生成する段階（例えば、ブロック１３）とを備えるとしてよい。例えば、入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階の前に、入力ビデオシーケンスに含まれる複数の画像をアラインメントする段階の前に入力ビデオシーケンスのオプティカルフローを推定する段階（例えば、ブロック１４）をさらに必要とするとしてもよい。例えば、入力ビデオシーケンスは、基準フレームと、基準フレームに対して相対的に決まる少なくとも１つの前方フレームおよび少なくとも１つの後方フレームとを含むとしてよい（例えば、ブロック１５）。
【００２６】
図２を参照しつつ説明すると、本発明の一部の実施形態によると、アラインメントされた複数の画像に含まれるノイズを低減する段階は、共役勾配極小化に対応する反復前方および後方再マッピングをアラインメントされた画像に対して実行する段階（例えば、ブロック２０）を有するとしてよい。本発明の一部の実施形態によると、アラインメントされた複数の画像に含まれるノイズを低減する段階は、反復ライン極小化を実行する段階（例えば、ブロック２１）を有するとしてよい。
【００２７】
図３を参照しつつ説明すると、本発明の一部の実施形態では、アラインメントされた複数の画像に含まれるノイズを低減する段階は、アラインメントされた画像に対して画像ワーピングを実行する段階を有するとしてよい。本発明の一部の実施形態では、アラインメントされた複数の画像に含まれるノイズを低減する段階は、ワーピングが実行されたアラインメントされた画像に対して、時間および空間においてバイラテラルフィルタリングを実行する段階を有するとしてよい。
【００２８】
図４を参照しつつ説明すると、本発明の一部の実施形態に係るビデオ処理装置４０は、入力ビデオシーケンス解像度を持つ入力ビデオシーケンスを受信する第１のモジュール４１と、第１のモジュール４１に結合されており、入力ビデオシーケンスに含まれている複数の画像をアラインメントする第２のモジュール４２と、第２のモジュール４２に結合されており、アラインメントされた画像に基づき入力ビデオシーケンスに含まれているノイズを低減する第３のモジュール４３と、第３のモジュール４３に結合されており、ノイズが低減された入力ビデオシーケンスに基づき、入力ビデオシーケンス解像度以下の解像度の出力ビデオシーケンスを生成する第４のモジュール４４とを備えるとしてよい。
【００２９】
図５を参照しつつ説明すると、画像アラインメントモジュール５２（例えば、図４の第２のモジュール４２）はさらに、入力ビデオシーケンスのオプティカルフローを推定するモジュール５５を有するとしてよい。例えば、入力ビデオシーケンスは、基準フレームＲと、基準フレームＲに対して相対的に決まる少なくとも１つの前方フレームＦおよび少なくとも１つの後方フレームＢとを含むとしてよい。
【００３０】
図６を参照しつつ説明すると、ノイズ除去モジュール６３（例えば、図４の第３のモジュール４３）は、共役勾配極小化に対応する反復前方および後方再マッピングをアラインメントされた画像に対して実行するモジュール６５を有するとしてよい。ノイズ除去モジュール６３はさらに、反復ライン極小化を実行するモジュール６６を有するとしてよい。
【００３１】
図７を参照しつつ説明すると、別のノイズ除去モジュール７３（例えば、図４の第３のモジュール４３）は、アラインメントされた画像に対して画像ワーピングを実行するモジュール７５を有するとしてよい。この別のノイズ除去モジュール７３はさらに、ワーピングが実行されたアラインメントされた画像に対して、時間および空間においてバイラテラルフィルタリングを実行するモジュール７６を有するとしてよい。
【００３２】
図８を参照しつつ説明すると、プロセッサベースの電子システム８０は、プロセッサ８１と、プロセッサ８１に結合されているメモリ８２とを備えるとしてよい。例えば、メモリ８２は、命令を有しているとしてよく、当該命令は、プロセッサによって実行されると、入力ビデオシーケンス解像度を持つ入力ビデオシーケンスを受信して、入力ビデオシーケンスに含まれる複数の画像をアラインメントして、アラインメントされた複数の画像に基づき入力ビデオシーケンスに含まれるノイズを低減して、ノイズが低減された入力ビデオシーケンスに基づき、解像度が入力ビデオシーケンス解像度以下である出力ビデオシーケンスを生成するとしてよい。例えば、メモリ８２はさらに、プロセッサによって実行されると、入力ビデオシーケンスのオプティカルフローを推定する命令を有するとしてよい。例えば、入力ビデオシーケンスは、基準フレームと、基準フレームに対して相対的に決まる少なくとも１つの前方フレームおよび少なくとも１つの後方フレームとを含むとしてよい。
【００３３】
例えば、メモリ８２はさらに、プロセッサによって実行されると、共役勾配極小化に対応する反復前方および後方再マッピングをアラインメントされた画像に対して実行する命令を有するとしてよい。メモリ８２はさらに、プロセッサによって実行されると、反復ライン極小化を実行する命令を有するとしてよい。これに代えて、メモリ８２はさらに、プロセッサによって実行されると、アラインメントされた画像に対して画像ワーピングを実行して、ワーピングが実行されたアラインメントされた画像に対して、時間および空間においてバイラテラルフィルタリングを実行する命令を有するとしてよい。
【００３４】
例えば、プロセッサ８１およびメモリ８２は、筐体８３内に配されているとしてよい。例えば、筐体は、プロセッサベースのシステム８０については他にも多くの可能例があるが、デスクトップコンピュータ、ラップトップコンピュータ、セットトップボックス、ハンドヘルドデバイスのうちいずれかに対応するものであるとしてよい。例えば、システム８０はさらに、プロセッサ８１およびメモリ８２に結合されている表示デバイス８４を備えるとしてよい。出力ビデオシーケンスは、表示デバイス８４で表示されるとしてよい。例えば、システム８０はさらに、ユーザ入力をプロセッサ８１およびメモリ８２に供給する入力デバイス８５を備えるとしてよい。例えば、入力デバイス８５は、無線遠隔制御デバイスであってよい。
【００３５】
本発明の一部の実施形態には、ビデオおよび／または画像シーケンスに含まれるノイズを低減し得るという利点がある。本発明の一部の実施形態は、動作理論に限定されることはなく、オプティカルフローを用いたロバストな多重フレームビデオノイズ低減を実現するとしてよい。例えば、本発明の一部の実施形態は、多岐にわたるソースから得られた、品質も取得方法もさまざまであるビデオおよび／または画像シーケンスに利用されるとしてよい。例えば、ビデオシーケンスとしてはその他のソースも数多く考えられるが、安価なデバイス（例えば、ユビキタスな携帯電話のカメラ、ウェブカメラ等）で取得された消費者レベルのビデオ、最適ではない条件（低輝度）で取得されたプロレベルのビデオ、さまざまなソース（レントゲン、超音波等）から得られる医療用画像シーケンス等がある。
【００３６】
本発明の一部の実施形態は、動作理論に限定されることはなく、ビデオおよび画像シーケンスで通常見られる高い冗長性を利用するとしてよい。例えば、シーンおよびカメラが静止した状態のノイズを含むビデオシーケンスの場合、各画素でのノイズを含む強度のフレームの多くのサンプルを用いて、（例えば、取得可能なサンプル全ての平均を取ることによって）当該画素の基本的な一定強度の統計的推定値を得ることができる。
【００３７】
しかし、多くのビデオシーケンスでは、カメラまたは被写体が動いているので、シーンは静止していないことが多い。本発明の一部の実施形態には、ビデオシーケンスのオプティカルフローを推定するという利点がある。例えば、オプティカルフローは、シーン内でカメラまたは被写体が動いたことによって、ビデオシーケンス内のある画像と次の画像との間で発生する、強度レベルの見せかけの動きに対応するとしてよい。例えば、オプティカルフローは、基準フレーム（例えば、名目上の中央フレーム）の前後のある範囲内の複数のフレームに基づき推定されるとしてよい。例えば、前方の２フレームおよび後方の２フレームを用いて、合計で５つのフレームを用いて、各フレームを基準フレームにアラインメントする。
【００３８】
例えば、画像アラインメントは、複数の異なる動きモデルを用いて推定することができる。動きモデルは、一般的なビデオでは利用可能性が限られている低度なパラメータ動きモデル（例えば、純粋な並進、回転、アフィン、射影等）から、変位ベクトルがピクセル毎に推定された高度なノンパラメトリックモデル（例えば、オプティカルフロー）まで、中間的な方法（１つの低度なパラメータ動きモデルと、このモデルで外れ値と見なされたポイントについては個別にオプティカルフローを求める）も含め、多岐にわたる。例えば、米国特許出願公開公報第２００８−０１１２６３０号（発明の名称：「ロバストな主要動き推定に基づくデジタルビデオ安定化」（ＤＩＧＩＴＡＬ  ＶＩＤＥＯ  ＳＴＡＢＩＬＩＺＡＴＩＯＮ  ＢＡＳＥＤ  ＯＮ  ＲＯＢＵＳＴ  ＤＯＭＩＮＡＮＴ  ＭＯＴＩＯＮ  ＥＳＴＩＭＡＴＩＯＮ）では、入力画像シーケンスを受信して、画像シーケンスに含まれる連続した画像間での主要動きを推定する装置が開示されている。当該装置は、独立して動く被写体に対応する外れ値を自動的に検出して無視するロバストな推定部を利用するとしてよい。
【００３９】
本発明の一部の実施形態では、理論的にはサブピクセル精度で行なわれる、勾配を利用した多重解像度でのオプティカルフロー推定を利用するとしてよい。しかし、他の高度な動き推定方法も利用可能である。例えば、フレームレート変換に適用される動き推定方法を利用可能であるとしてよい。
【００４０】
図９を参照しつつ説明すると、本発明の一部の実施形態は、勾配に基づく粗から精への推定を用いたオプティカルフロー推定を含むとしてよい。例えば、多重解像度ピラミッドが得られると、追加入力として、あれば前のレベルで推定されたオプティカルフローを用いて、各解像度レベルでオプティカルフローが推定されるとしてよい。オプティカルフローは各レベルにおいて繰り返し推定され、最初にオプティカルフローの現在の推定値に応じて入力画像を再マッピングして、二次勾配を算出して、各画素において当該画素の周辺での勾配の制約に基づきフローベクトルの値を求める。
【００４１】
本発明の一部の実施形態によると、ビデオシーケンスに含まれるアラインメントされた複数の画像にロバストなフレームノイズ除去を適用するとしてよい。例えば、アラインメントが推定されると、１つの同じシーンに対応する複数の異なるフレームからのノイズを含む強度を合成して、中央フレーム、つまり、基準フレームのノイズ除去バージョンを取得するとしてよい。本発明の一部の実施形態によると、フレームノイズ除去にはさまざまなロバスト性を適用するとしてよい。例えば、本発明の一部の実施形態によると、ロバストなフレームノイズ除去では、演算コストが比較的高くなるが、非常に高効率のノイズ除去（例えば、ベイズ法）が実現されるとしてよい。例えば、本発明の一部の実施形態によると、ロバストなフレームノイズ除去では、演算コストが比較的低くなるが、比較的効率の低いノイズ除去（例えば、事前ワーピングに基づくもの）が実現されるとしてもよい。
【００４２】
ロバストな方法（本明細書で提案する方法と同様のもの）において重要なパラメータの１つは、どの程度のエラーがノイズと見なされるのか、そして、どの程度が外れ値と見なされるのかに関連しているスケールパラメータとして知られているパラメータがる。このように重要なパラメータであるスケールパラメータは、（垂直画素差および水平画素差のＭＡＤ（絶対差の中央値）に基づき）画像ノイズをロバストに推定することによって入力画像から自動的に推定される。これによって、本発明で提案する方法は、入力画像シーケンスのノイズレベルとは関係なく、ユーザとのやり取り無しで完全自動化モードで実行することが可能となる。
【００４３】
図１０を参照しつつ説明すると、ベイズ法の一例では、ノイズの無い画像から対応する測定されたフレームを形成するモデルであって、画像および付加ノイズをアラインメントするのに必要なワーピングを含む正方向画像形成モデルを利用するとしてよい。さらに、自然画像で見えると期待されるもののコンパクトな確率論的記述であるノイズの無い画像に関する事前モデルを含むとしてもよい。例えば、ベイズ法では、ベイズモデルで与えられるコスト関数を最小化するべく非線形共役傾斜を利用するとしてよい。ノイズの無い画像ｇの現在推定値が与えられると、画像形成モデル（後方再マッピング、エラー算出、非線形関数の適用、および前方再マッピングを含む）および事前モデルを用いて２つの更新を算出する。更新を算出すると、最適重み付け係数αをライン最小化を用いて推定して、更新にこの重みを乗算して、ノイズの無い画像ｇの推定値に加算して、ｇの新しい現在推定値を得る。この手順は、収束点まで反復して行なわれるとしてよい。
【００４４】
上述した米国特許第７，４４７，３８２号に開示されている超解像度画像処理に比べて、本発明の一部の実施形態には、ノイズ除去性能は良好なままで比較的演算コストが低いという利点がある。例えば、本発明の一部の実施形態は画像の解像度を高くしないので、画像形成モデルはダウンサンプリング／アップサンプリングを省略するとしてよい。本発明の一部の実施形態は、反復して実行され、正方向画像形成モデルおよび逆方向画像形成モデル（基本的に、後方再マッピングおよび前方再マッピング）を複数回適用するとしてよく、同時に、毎回反復する度にライン最小化を行なうので、演算コストが高くなる。このような反復モデルを用いる方法で得られる結果は多くの場合、非常に品質が高く、ノイズ低減効果も高くて、結果として得られる画像にブラーが実質的に追加されていないという利点がある。本発明の一部の実施形態によると、ブラー除去機能をさらに利用するとしてもよい。
【００４５】
本発明の一部の実施形態によると、演算コストが低い方法では、画像に対して事前にワーピングを行なって、結果を合成するとしてもよい。例えば、アラインメントが推定されると、１つの同じシーンに対応する複数の異なるフレームから得られるノイズを含む強度を統計的に合成して、中央フレームのノイズ除去バージョンを取得することが可能となる。例えば、推定されたオプティカルフローを用いて中央フレームの前後のある範囲内の各画像に対してワーピングを実行するとしてよい。ワーピングは、後方補間（例えば、バイリニア補間）を用いて行なわれるとしてよい。
【００４６】
前後の画像を中央フレームに対してアラインメントしてワーピングを実行した結果として、画素がアラインメントされているフレーム群が得られ、ノイズの無い強度についてノイズを含むサンプルを少なくとも１つ、フレーム毎に、供給する。例えば、各画素位置において、ノイズを含む強度のサンプルが複数あり、当該ピクセルの複数の画像における視認性に応じて変わるが、１（中央フレームに対応するもの）から画像数までの範囲内である。本発明の一部の実施形態によると、入手可能なサンプルは全てその後、バイラテラルフィルタリングと同様の方法を用いて合成するとしてよい。
【００４７】
例えば、各画素位置について重み付け平均を取るとしてよく、各サンプルの重みは、当該サンプルと中央フレームとの強度差の関数として（例えば、ガウス関数を用いて）決まる。本発明の一部の実施形態には、中央フレームの強度値に近い強度を優先するという利点がある。これによって、不正確なアラインメントによって間違った強度を合成する問題が避けられるとしてよい。この方法は、反復する必要がなく、画素単位で局所的にプロセスを実行するので、演算コストが比較的低いという利点がある。
【００４８】
本発明の一部の実施形態には、（例えば、ベイズ法と比較すると）比較的単純で、解像度を上げない、演算コストが比較的低い、ビデオ向けの多重フレームノイズ除去方法を提供するという利点がある。合成すべき複数のフレームをアラインメントすると、本発明の一部の実施形態では、追加する帯域幅および処理が非常に少ないとしてよい。本発明の一部の実施形態では、他のモジュールによって既に推定されている動き（例えば、フレームレート変換に用いられるもの）を利用して画像アラインメントを実行するので、さらに演算処理が少なくなる（そして、例えば、ハードウェアの実施例の場合にはシリコン面積または基板面積が小さくなる可能性もある）という利点がある。
【００４９】
本発明の一部の実施形態は、バイラテラルフィルタリングに基づいたロバストなノイズ除去を含むとしてよい。画像をアラインメントすると、画素単位で強度値を合成して、適切な統計的方法を用いて、ノイズを含む測定値に隠れた、ノイズの無い強度の値を推定するとしてよい。例えば、測定値を合成する単純な方法としては、単純な統計的推定値、例えば、平均値または中央値を採用する方法が挙げられるとしてよい。しかし、このような推定値は、アラインメントのエラーに対して十分なロバスト性を持たない場合がある。アラインメントでは、高度な動き推定技術を採用したとしても、大きなエラーが発生する可能性がある。本発明の一部の実施形態には、バイラテラルフィルタリングによってノイズを含む測定値を合成するので、アラインメントにエラーが発生しても結果が改善されるという利点がある。
【００５０】
バイラテラルフィルタリングは、各画素において、（例えば、線形フィルタリングと同様に）周囲のウィンドウ内の複数の画素の強度の重み付け平均を取得することによって空間的なノイズ除去において有用であるとしてよい。所与の画素における重みは、当該画素における強度と中央フレームの強度との差分の関数（例えば、中央画素に近い強度ほど重みを大きくするガウス関数）に応じて決まる。
【００５１】
本発明の一部の実施形態では、複数の異なるフレームからの強度を合成することによって、所与の画像について以下の解を得るとしてよい（それぞれの画素の位置は、分かりやすいように、式から削除している）。
【数１】
0005497066.tif 000002
式中、Ｎは合成されるフレームの数を示し、ｃは中央（基準）フレームに対応するインデックスである。画像Ｉｋは、中央フレームに対する推定アラインメントに応じて、既にワーピングが実行されている。
【００５２】
本発明の一部の実施形態では、時間情報および空間情報の両方を合成するとしてよい。具体的には、一の所与の画素の値を取得するべく、事前にアラインメントされた複数のフレームにおける同じ位置の情報を、中央フレームにおける一の所与の画素の周囲のウィンドウ内の複数の隣接画素と共に、合成するとしてよい。
【００５３】
動作理論に限定されることなく、バイラテラルフィルタは、解が中央画素の強度で初期化され、最小二乗推定値の重み付けが繰り返し変更される方法の１回分と解釈され得る。本発明の一部の実施形態には、繰り返しがなく、外れ値に対してロバスト性があり、中央画素の元々の値に近いノイズ除去済み画素値を生成するという利点がある。これは、大きなアラインメントエラーが発生して強度推定にバイアスがかかって、ロバストな推定値を用いたとしても、元々の値とは非常に離れた値になってしまう場合、ロバストな推定値の降伏点に到達してアーチファクトを形成する場合に特に大きな利点となるとしてよい。
【００５４】
反復ＲＷＬＳでは、収束点に到達するまでこの手順を繰り返すとしてよい。本発明の一部の実施形態によると、数１に示すバイラテラルフィルタリングによって、ＲＷＬＳ法の合理的な推定値である結果が得られる。例えば、特定の１つのノイズを含む測定値を中心の値と定義して、ｇの初期推定値として利用し、１回のみの実行で結果を算出するとしてよい。このため、本発明の一部の実施形態では、バイラテラルフィルタリングは、特定の開始点で反復ＲＷＬＳを１回実行することと解釈され得る。
【００５５】
標準的なバイラテラルフィルタリングにおいて、重み付け関数の最も一般的なものは、ロバスト統計学の文献ではウェルシュ（Ｗｅｌｓｃｈ）関数として知られている基礎となるロバスト関数に対応するガウス重み付け関数である。ロバスト関数の他の例は、バイラテラルフィルタの適切な代替例であってよい。例えば、超解像度の事例において高品質の結果を提供するので、ビデオノイズ除去にはコーシー（Ｃａｕｃｈｙ）関数が適切であるとしてよい。フーバー（Ｈｕｂｅｒ）関数でも良好な結果が得られるとしてよい。逆に、テューキー（Ｔｕｋｅｙ）関数は、ウェルシュ関数と同様の形状を持ち、適切ではあるが、良好な結果は得られない。
【００５６】
図１１から図１９を参照すると、このノイズ除去方法を実行した結果を複数のテスト画像で図示している。図１１は、中程度のノイズレベルのＨＤプロ品質シーケンスのクロップ（例えば、サブ領域）である。図１２は、本発明の一部の実施形態に係るベイズ方式のノイズ除去技術を実行した後の代表的なデジタル画像である。図１３は、本発明の一部の実施形態に係る時間的バイラテラルノイズ除去を実行した後の代表的なデジタル画像である。図１４は、光量が少なくノイズレベルが高い状況で取得したホームビデオのデジタル画像である。図１５は、本発明の一部の実施形態に係るベイズ方式のノイズ除去を実行した後の代表的なデジタル画像である。図１６は、本発明の一部の実施形態に係る時間的バイラテラルノイズ除去を実行した後の代表的なデジタル画像である。図１７、図１８および図１９は、図１４、図１５および図１６に対応しており、詳細を示すべく拡大したものである。
【００５７】
図１３、図１６、および図１９に示す結果は、５フレームの時間的合成（数１）のみを用いて、そして、ガウス重み付け関数を用いて得られた。尚、ガウス関数の標準偏差は、画像ノイズのロバストな推定値（垂直画素差および水平画素差のＭＡＤ（絶対差の中央値）に基づく）の２．５倍と推定されている。事前評価では、この方法で得られた結果は、演算コストがより高い反復ベイズ法で得られたものに比べて品質が低いように見える（ノイズおよびブラーがわずかにより多い）。しかし、どちらの方法にも原画像よりはノイズがはるかに少なくなった画像を生成するという利点が見られる。演算コストがより高いベイズ方式の再構築では、バイラテラルフィルタリング方式よりもシャープネスをより良好に維持できていることが分かる。
【００５８】
本発明の一部の実施形態では、動き推定方法とロバスト統計学的方法（例えば、バイラテラルフィルタリングまたはロバスト関数を用いるベイズ方式の再構築）とを組み合わせて、実質的にアーチファクトを発生させることなく高品質のノイズ除去処理を実現でき、大きな空間ブラーを発生させないという利点が得られる。また、当該方法は、完全自動化され得るものであり、あまりノイズを含まないシーケンスから非常にノイズが多いシーケンスまでさまざまなレベルのノイズを含むシーケンスに、ノイズの無いシーケンスにおいて顕著なアーチファクトを発生させることなく、または、視覚品質を劣化させることなく、適用することができる。
【００５９】
例えば、本発明の一部の実施形態は、ノイズを含む可能性があるコンテンツからノイズを除去するノイズ除去モジュールの恩恵を享受するディスプレイおよび／またはセットトップボックスに組み込まれるべきビデオ処理パイプラインで有用であるとしてよい。例えば、本発明の一部の実施形態は、機能固定ハードウェアとして実現されるとしてよい。例えば、本発明の一部の実施形態は、特定用途向けプロセッサまたは汎用プロセッサで実行されるソフトウェアとして実現されるとしてもよい。モジュールに関連付けて説明したが、当業者であれば、記載したモジュールは必ずしも固定成分を持つディスクリートな構成要素ではないことに想到するであろう。そのようなモジュールはむしろ、プロセッサベースのシステムのアーキテクチャ全体にわたって分散して設けられているハードウェアおよび／またはソフトウェアをさまざまに組み合わせることによって実現されるとしてよい。
【００６０】
当業者であれば、図１から図３のフローチャートおよび図４から図１０のブロック図は、ハードウェア、ソフトウェアおよび／またはファームウェアをどのように配して実現するとしてもよいことに想到するであろう。例えば、上述のフローチャートおよびブロック図は、特定用途向けハードウェア回路のみで実現されるとしてよい。これに代えて、上述のフローチャートおよびブロック図は、汎用プロセッサで実行されるソフトウェアのみで実現するとしてもよい。これに代えて、上述のフローチャートおよびブロック図は、特定用途向けハードウェア、および、汎用プロセッサで実行されるソフトウェアで実行される部分をそれぞれ選択して分割するとしてもよい。
【００６１】
本発明の上記およびその他の側面は、別々でも組み合わせても実現される。本発明は、請求項で要件であることを明示していなければ、本発明の上記およびその他の側面の２つ以上の側面を必要とするものと解釈されるべきではない。また、現時点において好ましい例と見なされる内容に関連付けて本発明を説明したが、本発明は開示した例に限定されるものではなく、逆に、本発明の意図および範囲に含まれるさまざまな変形例および均等例も含むことを意図するものと理解されたい。
【図１】
0005497066.tif 000003
【図２】
0005497066.tif 000004
【図３】
0005497066.tif 000005
【図４】
0005497066.tif 000006
【図５】
0005497066.tif 000007
【図６】
0005497066.tif 000008
【図７】
0005497066.tif 000009
【図８】
0005497066.tif 000010
【図９】
0005497066.tif 000011
【図１０】
0005497066.tif 000012
【図１１】
0005497066.tif 000013
【図１２】
0005497066.tif 000014
【図１３】
0005497066.tif 000015
【図１４】
0005497066.tif 000016
【図１５】
0005497066.tif 000017
【図１６】
0005497066.tif 000018
【図１７】
0005497066.tif 000019
【図１８】
0005497066.tif 000020
【図１９】
0005497066.tif 000021