(57)【要約】【課題】  １つの特定の自動的なパラメータ推定方法と装置を開示する。１つ以上のユーザからのハイレベルのフィルタリングパラメータからローレベルのフィルタリングパラメータを推定する。【解決手段】  このハイレベルのフィルタリングパラメータは、「強さ」および「品質」である。「強さ」は、どの程度多くのノイズ除去が実行されるかを示す。「品質」は、許容度を示す。この許容度とは、フィルタリングの均一性とディテールの損失とのバランスを制御する。推定されるローレベルのフィルタリングパラメータには、ピクセル候補が選択される空間的近隣および／または時間的近隣のサイズ、および閾値が含まれる。閾値は、空間的または時間的に予測されたピクセル候補の「良好」の程度を検査するために用いられる。さらに一般的にいえば、デジタル画像データにフィルタをかけるための基準がアクセスされる（９０２）。そして、デジタル画像データにフィルタをかけるための値がパラメータのために決定される（９０４）。そして、値によって、前記基準が、少なくとも一部のデジタル画像を満たしているか否かに基づいて、値が決定される。
2010505336.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像データにフィルタをかけるための基準にアクセスするステップ；および
デジタル画像データにフィルタをかけるために使用するパラメータの値であって、前記値によって、少なくとも一部のデジタル画像に対して前記基準が満たされているか否かに基づいて、前記値を決定するステップ；
を有する方法。
【請求項２】
前記値を決定するステップは、
前記基準が、前記一部のデジタル画像のピクセルに対して、満たされる値を決定するステップを有する、
請求項１記載の方法。
【請求項３】
前記基準は、デジタル画像データにフィルタをかけるためのフィルタの１つ以上の性能特性の尺度に関連する、請求項１記載の方法。
【請求項４】
前記性能特性は、フィルタの強さ、フィルタの品質、およびフィルタの複雑さのうちの１つ以上に関連する、請求項３記載の方法。
【請求項５】
前記基準にアクセスするステップは、ユーザから前記基準を受け取るステップ、を有する、請求項１記載の方法。
【請求項６】
前記一部のデジタル画像は：
前記デジタル画像にアクセスするステップ；
前記アクセスされたデジタル画像の画素値を評価するステップ；および
前記評価に基づいて、前記アクセスされたデジタル画像の前記一部を選択するステップ；
によって判定される、請求項１記載の方法。
【請求項７】
前記画素値を評価するステップは、
前記アクセスされたデジタル画像の前記一部の同質性の尺度を判定するステップ、を有する、請求項６記載の方法。
【請求項８】
前記画素値を評価するステップは、
１つ以上のブロックのピクセルの分散を測定するステップであって、１つ以上の分散を求める、ステップ、を有し、
前記一部を選択するステップは、
１つ以上の前記分散を閾値と比較するステップ；
前記比較するステップに基づき、前記１つ以上のブロックのうちの少なくとも１つを選択するステップ；および
１つ以上の選択された前記ブロックのピクセルを含む前記一部を選択するステップ；を有する、
請求項６記載の方法。
【請求項９】
デジタル画像データにフィルタをかけるための第２の基準にアクセスするステップ、をさらに有する、請求項１記載の方法であって、
前記基準は、ピクセルのためのフィルタ強さを表し、
前記第２の基準は、前記基準によって示される前記フィルタ強さを有するピクセルのパーセンテージを表し、かつ
前記値を決定するステップは、前記値によって、前記一部のデジタル画像に対して、前記２つの基準のうちの少なくとも１つが満たされているか否かに基づく、請求項１記載の方法。
【請求項１０】
前記値を決定するステップは、
空間的近隣サイズによって、前記基準が満たされるか否かに基づいて、前記空間的近隣サイズを決定するステップ、を更に有する、請求項９記載の方法。
【請求項１１】
前記値を決定するステップは、
時間的近隣サイズによって、前記基準が満たされるか否かに基づいて、前記時間的近隣サイズを決定するステップ、を更に有する、請求項９記載の方法。
【請求項１２】
前記値を決定するステップは、空間的近隣サイズおよび空間的近隣サイズの両者によって、前記基準が満たされか否かに基づいて、時間的近隣サイズおよび時間的近隣サイズ
を決定するステップ、を更に有する、請求項９記載の方法。
【請求項１３】
前記値を決定するステップは、
前記一部のデジタル画像のために前記２つの基準の両方が満たされるピクセル差閾値の値を、前記一部のために、決定するステップを更に有する、請求項９記載の方法。
【請求項１４】
前記基準は、所与のピクセルが平均化されるピクセルの数を示す、請求項９記載の方法。
【請求項１５】
前記パラメータは、予測された候補ピクセルの良好の尺度の閾値に関連する、請求項１記載の方法。
【請求項１６】
予測された候補ピクセルの良好の尺度は、少なくとも１つの現在のピクセルと少なくとも１つの予測された候補ピクセルとの差に基づく、請求項１５記載の方法。
【請求項１７】
デジタル画像データを受け取るように構成されたプロセッサを有し、かつ前記プロセッサは：
デジタル画像データにフィルタをかけるために少なくとも１つの基準にアクセスする基準入力受信器；
前記デジタル画像データにフィルタをかけるために用いられるパラメータの値であって、前記パラメータの値が少なくとも一部の前記デジタル画像データに対して前記少なくとも１つの基準を満たしているか否かに基づいて、前記値を決定するためのパラメータ決定ユニット；
を有する装置。
【請求項１８】
前記パラメータ決定ユニットは、前記少なくとも１つの基準が前記一部のデジタル画像のピクセルに対して満たされる、前記パラメータの値を決定する、
請求項１７記載の装置。
【請求項１９】
前記少なくとも１つの基準は、フィルタ強さを表す第１の基準、および前記第１の基準によって示された前記フィルタ強さを有するピクセルのパーセンテージを表す第２の基準、を有し、かつ
前記パラメータ決定ユニットは、前記値によって、少なくとも１つの一部のデジタル画像に対して前記２つの基準のうちの少なくとも１つが満されているか否かに基づいて、前記パラメータの値を決定する、
請求項１７記載の装置。
【請求項２０】
フィルタをかけるために用いられる前記決定されたパラメータの値は、
空間的近隣サイズ、時間的近隣サイズ、予測された候補ピクセルの良好の程度を検査するための閾値のうち少なくとも１つを有する、請求項１７記載の装置。
【請求項２１】
前記プロセッサは、エンコーダに集積化され、かつ前記決定されたパラメータは前記デジタル画像データと共に伝送される、請求項１７記載の装置。
【請求項２２】
前記プロセッサは、デコーダに集積化され、かつパラメータの決定は前記受け取られたデジタル画像データに基づいて実行される、請求項１７記載の装置。
【請求項２３】
デジタル画像データにフィルタをかけるための基準にアクセスするための手段；および
デジタル画像データにフィルタをかけるために用いられるパラメータの値であって、前記値によって、一部のデジタル画像に対して前記基準が満たされているか否かに基づいて、前記値を決定するための手段；
を有する装置。
【請求項２４】
アプリケーションプログラムが明確に格納されたプログラム記憶装置であって、前記アプリケーションプログラムは、少なくとも、
デジタル画像データにフィルタをかけるための基準にアクセスする手順；および
デジタル画像データにフィルタをかけるために使用するパラメータの値であって、前記値によって、一部のデジタル画像に対して前記基準が満たされているか否かに基づいて、前記値を決定する手順；
をコンピュータに実行させるための命令を含む、アプリケーションプログラムが明確に格納されたプログラム記憶装置。
【請求項２５】
前記アプリケーションプログラムは、少なくとも、
前記デジタル画像にアクセスする手順；
前記アクセスされたデジタル画像の画素値を評価する手順；および
前記評価に基づいて、前記アクセスされたデジタル画像の前記一部を選択する手順；
をコンピュータに実行させるための命令を更に含み、
前記値を決定する手順は、前記値によって、前記選択された一部のアクセスされたデジタル画像に対して前記基準が満たされているか否かに基づいて、前記値を決定する手順を有する、請求項２４記載のプログラム記憶装置。
【請求項２６】
値を含むパラメータを有するフィルタを使用して、デジタル画像にフィルタをかけるステップを有する方法であって、前記値によって一部のデジタル画像に対してユーザ設定された基準が満たされているか否かに基づき、前記値が決定される方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオフィルタリングに関する。より詳細には、少なくとも１つの実施例は、適応ピクセルベースの時空間フィルタリングのための自動パラメータ推定に関する。
【背景技術】
【０００２】
ビデオノイズ除去フィルタが、ビデオ制作後およびビデオ圧縮環境において広範囲に用いられてきた。前者は、しばしば、できるだけ多くの細部を保存するフィルタを必要とするため、結果として画像の不均等なノイズ除去になり、非常に保守的な設定を使用する傾向がある。後者は、細部の部分的な損失を代償にしても、しばしば強度なフィルタを必要とする。その理由は、目的がビデオの情報量を減らすことであって、このことにより圧縮効率を増加させ、すなわち、ビットレートを低下させることにあるからである。さまざまなアプリケーションは、不均等なノイズ除去と細部の消失との間のバランスをとることを模索している。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本願明細書には、ビデオノイズ除去に係る２つの大きな課題に対処するビデオフィルタリング手法が示されている。すなわち、この２つの大きな課題とは：（ａ）コンテンツの細部の損失、および（ｂ）フィルタアーチファクト（すなわち、例えば不均等なノイズ除去のフィルタリング処理によって生ずるアーチファクト）である。従来技術システムのピクセルレベルの時空間フィルタリング間の相互作用の欠如は、各ピクセルのフィルタリングの強さに変化を与える。これは、結果として不均等なフィルタリングから生じるフィルタリング後のアーチファクトを発生させる。いくつかの方策としては、ノイズ除去の量と画像の品質の低下との適切なトレードオフを提供するノイズ除去フィルタを設計することである。加えてユーザーフレンドリーな方式でこのトレードオフを調整できるようにすることである。
【課題を解決するための手段】
【０００４】
時空間フィルタリングの間に明確な相互作用を提供することによって、これらの問題に対処する。明確な相互作用はピクセルレベルで時空間フィルタリングを結合することによって達成される。ビデオのすべてのピクセルに均一な量のノイズ除去を適用するとともに、できるだけ細かく適用することにより達成される。これは、時間的に、そして、一定数の空間的に推定されたピクセルによって各ピクセルを平均化することによってなされる。一定数の他のピクセルと平均をとることは、特に加法性ノイズ（例えばガウスノイズ）がある場合には、他のノイズがある場合であっても有利である。平均的な量のノイズ除去を適用することは、フィルタリング後のアーチファクトの発生を低下させ、あるいは回避させる。このようにピクセルレベルで時空間フィルタリングを結合する。これによって、知られている技術のシステムより以下のような有意な点が得られる。１）ピクセルレベルで時空間フィルタリングを明確に相互作用させる必要がない。または２）ピクセルレベルで時空間フィルタリングをスイッチできる。
【０００５】
１つの一般の態様において、デジタル画像データをフィルタリングするための基準をアクセスする。そして、デジタル画像データをフィルタリングするための値がパラメータのために決定される。そして、基準が少なくとも一部のデジタル画像を満たすか否かに基づいて、値が決定される。
【０００６】
他の一般の態様によれば、デジタル画像は、フィルタを使用してフィルタリングされる。フィルタは、値を含むパラメータを有する。この値によって、ユーザにより与えられた基準を一部のデジタル画像が満たすか否かに基づいて、この値が決定される。
【０００７】
１つ以上の実施例の詳細は、添付の図面および以下の記述において説明する。１つの特定の態様で記載されている場合であっても、実施例は、さまざまな態様で実施されてもよいことは自明である。例えば、実施例は、方法として実行されてもよく、または一組のオペレーションを実行するように構成される装置または一組のオペレーションを実行するための命令を格納している装置として実施されてもよい。他の態様および特徴は、添付の図面および請求項に関連して説明する以下の詳細な説明から明らかになる。なお、図面は単に図示するためだけのものであって、本発明を限定したり定義したりするものではない。加えて、図面は、一定の比率で必ずしも図示されるというわけではない。そして、特に明記しない限り、それらが単に概念的に特定の構造および手順を例示することを目的とするだけであると理解されなければならない。
【図面の簡単な説明】
【０００８】
【図１】適応ピクセルベースの時空間的ビデオノイズフィルタリングのシステムの実施例のブロック図である。
【図２】図１のソースによって提供されるコンテンツの図である。
【図３】図１の処理装置の実施例を示しているブロック図である。
【図４】図１のシステムを使用したビデオノイズフィルタリングのための方法の実施例を示したフローチャートである。
【図５】良好な候補を決定するためのパッチ手段の実施例の図である。
【図６】空間候補の選択を示している実施例の図である。
【図７】適応ピクセルベースのビデオノイズフィルタリングのための方法の実施例を示したフローチャートである。
【図８】ピクセルｐの空間フィルタリングの空間的に隣接したピクセル候補の５×５のグリッドを示している図である。
【図９】自動的な閾値推定の実施例を示したフローチャートである。
【図１０】自動的な閾値推定の更なる実施例を示しているフローチャートである。
【図１１】自動的な閾値推定の他の実施例を示しているフローチャートである。
【図１２】自動的な閾値推定の実施例を示しているフローチャートである。
【図１３】図１の処理装置の実施例のブロック図である。
【発明を実施するための形態】
【０００９】
フィルタリングの「品質」は、多くのパラメータに依存する。すなわち、特に、：１）空間的に、または、時間的に予測された候補ピクセルが「良好」であるかを検査するために用いる閾値；２）空間的候補が取得される空間的に近傍のサイズ（半径）；および３）時間的候補が得られる時間的に近傍のサイズ（半径）である。１つの課題は、これらの閾値および半径が手動で特定されなければならないということである。そして、ユーザは良好なフィルタリングの品質が得られるパラメータを設定するために時間を費やして試行錯誤をしなければならなかった。本発明は、これに対して、直感的にわかり、かつコンテンツとは独立した、ユーザ要求に基づくものである。
【実施例】
【００１０】
実施例によれば、本発明の原則の少なくとも１つの方法は、反復する形で動作する：（１）ユーザに２つの単純な入力を行わせるステップ；（２）対応するフィルタを作成するステップ；（３）フィルタを１つ以上のデジタル画像に適用するステップ；（４）ユーザが出力を見ることを可能とさせるステップ；および（５）ユーザが出力を好まない場合、ユーザが２つの単純な入力を変更できるようにステップ１〜４を繰り返すステップ。かかるシステムによって、データをフィルタリングすることを必要とするユーザに、優れた利益を提供する。もし仮に、システムがユーザにあまりにも多くの変数のトレードオフを強いるような場合には、システムは複雑になり、ユーザにとって時間のかかるものとなってしまう。入力変数を少なくし、かつ知的な方法でそれらの変数を選択することによって（例えば、周知の、かつ役立つ方法で相互に作用「強さ（ｓｔｒｅｎｇｔｈ）」および「許容度（ｔｏｌｅｒａｎｃｅ）または品質」を選択することによって）、ユーザは迅速且つ容易に、フィルタをデザインすることができる。これによって、データに対して適切なフィルタが得られる。
【００１１】
上述したように、２つの入力は、「強さ」および「品質」（例えば、フィルタリングすることに対する許容度のパーセンテージ）である。本開示において用いられる「強さ」とは、フィルタリングすることはどれくらいのノイズ除去が実行されるか（すなわち、フィルタ「強さ」がより高いほど、ノイズ除去は、より強力であること）を特定する。そして、「品質」とは、許容度を示す指標であり、均一性のフィルタリングおよびディテールの損失（すなわち、許容度がより高いほど、均一性はより低くかつディテールの損失はより大きくなること）をコントロールする度合いを指す。
【００１２】
他の実施例においては、本発明の原則によって、ユーザは１つの（すなわち「強さ」または「品質」のいずれかの）入力が可能である。この実施例において、その他の（ユーザにより選択されない）入力は、選択された入力に対するユーザ入力に基づいて、あらかじめ定められたデフォルト値が設定される。単一のユーザ入力に応答して、あらかじめ定められた値を提供するルックアップテーブル（ＬＵＴ）またはデータベースが用意されてもよい。例えば、「強さ」はユーザによって設定され、そして、許容度は０％にデフォルトで設定されてもよい。
【００１３】
本願明細書に記載する少なくとも１つの実施例は、かかるフィルタリングから生じる強さ／品質のトレードオフによるユーザーフレンドリーなコントロールを維持すると共に、自動的にフィルタパラメータを推定するフィルタ設計方法を提供する。これは、少なくとも、本願明細書において述べるいくつかの技術的課題に対処する技術的な解決策である。例えば、簡略化されたフィルタの生成や、強さ／品質のトレードオフによる更なる正確なコントロールを含むさまざまな技術的利点が提供される。そして、時間および処理を節約できる。
【００１４】
図１−図８は、本発明の原則の一態様によるピクセルベースの適応時空間フィルタリングを示している。図９は、本発明の原則による自動的な閾値推定のための方法の実施例のフローチャートを示す。例えば、図９の方法は、図１−図８に記載されているフィルタリング処理の対応する典型的な低レベルのパラメータを推定することができる。しかしながら、当業者であれば、図９の方法は、他の画像をフィルタリングする環境およびアプリケーションで用いることができると認識するであろう。加えて、この方法は、本願明細書において開示される典型的な時空のフィルタリングに明らかに限られていないと認識するであろう。
【００１５】
図１−図８に記載されている実施例において、フィルタリング「強さ」は、典型的には、各ピクセルにフィルタをかけるために用いる候補の数に関係する。フィルタリング「許容度」は、例えば、フィルタリング強さを減じるピクセルの最大パーセンテージを特定することと認識してもよい。
【００１６】
図１は、システム１００のブロック図を示す。ビデオ情報のソース１０２は、処理装置１０４への入力を提供する。処理装置１０４は、適応ピクセルベースの時空間ビデオノイズフィルタリング処理を実行し、結果を送信装置または記憶装置１０６に与え、結果を伝送または記憶させる。示される実施例において、ディスプレイ１０８は、送信装置１０６からノイズ除去されたビデオ情報を受け取って、そのビデオ情報を表示する。当業者は、ディスプレイ１０８は、他の装置と置き換えられてもよいことを認識するであろう。受信装置（例えばメモリ）は、フィルタリング処理されたビデオを受けて、任意に、同じデータを他のビデオ処理装置に入力するために用いてもよい。
【００１７】
図２は、ソースコンテンツ１０２として処理装置１０４に提供されるソースコンテンツ２００を例示的に示した図である。コンテンツは、時間に基づいて発生し、特定の時刻ｔおよび周囲の時刻（例えば、ｔ−１、ｔ＋１．．．）にフレームベースの形で発生する。各フレームは、フレーム内の空間位置（ｘ、ｙ）によって位置づけられるピクセル集合を含む。
【００１８】
図３は、処理装置１０４の実施例３００のブロック図である。処理装置３００への入力はソースビデオであり、出力はフィルタリング処理されたビデオである。図３に示される実施例はソースビデオの１つ以上のピクセルに様々な処理を適用してもよい。そして、その結果、それらのピクセルの各々の代替値（すなわち、フィルタリング処理された値）が得られる。代替値が決定される（言い換えると、フィルタリングされているピクセル）とは、現在の画素であるとし、これによって描かれているフレームは、現在のフレームであるとする。現在の画素に対して、セレクタ１１０は、集合の候補ピクセルを１つ以上の参照フレームから選択する。一実施例では、参照フレームは、現在フレームの周辺のフレームで、現在フレームそのものを含んでもよい。セレクタ１１０は、現在画素を選択してもよい。評価器１１２は、候補ピクセルの集合の各ピクセルの「良好」の値または品質値を決定する。さまざまな実施例によれば、「良好」の値または品質値は、例えば、以下を使用して計算されてもよい。１）ピクセルと選択された候補ピクセル間の色差、２）ピクセルのまわりのＭ×Ｎブロックと候補ピクセルのまわりのＭ×Ｎブロックの間の絶対差の平均（ＭＡＤ：Ｍｅａｎ  ｏｆ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅ）。または３）現在画素までの距離。
【００１９】
集合制御装置１１４は、評価器１１２の結果に対する１つ以上の基準の適用に基づいて、現在画素に対応するピクセル集合を決定する。これらの基準としては、以下を決定してもよい。１）予め定められた順序に従って、候補集合からの１つ以上のピクセルが、対応する集合に含まれなければならないか否か、２）候補集合から対応する集合にピクセルを含ませることを、どの時点で停止するか。候補集合から対応する集合にピクセルを含ませることを停止するための１つの規準は、１つの実施例のための優先順位として、以下のものが挙げられる。すなわち、Ａ）予め定められた数のピクセルが、対応する集合に含まれた場合、または、Ｂ）候補集合のすべてのピクセルが既に考慮された場合、である。決定装置１１６は、対応する集合のピクセルの値に基づいて、現在画素のための代替値を決定する。
【００２０】
ユーザ入力装置１１８が、処理装置３００に任意に含まれる。ユーザ入力装置１１８は、任意であることを示すため、図３に破線のボックスで示されている。ユーザ入力装置１１８は、例えば、ユーザによる停止基準（例えば、現在画素に対応するピクセル集合に含まれるピクセル数の値Ｎ）を入力するために用いてもよい。図３に示されるように、ユーザ入力装置１１８は、集合制御装置１１４に連結してもよい。または１つ以上の他のコンポーネントに（直接または間接的に）連結してもよい。さまざまな実施例において、Ｎの値は、例えば、ソフトウェアまたはハードウェアにおいて固定してもよく、ユーザによって調節可能でなくてもよい。
【００２１】
図４は、実施例に従った処理のフローチャート４００を示す。ソースビデオの目標デジタル画像がアクセスされ４０２、現在画素が選択される。この実施例のソースビデオは、様々な異なるビデオソースの１つ以上を含んでもよい。次の処理の４０４から４１２は、目標像から選択された少なくとも１つのピクセルのために実行される。選択された現在画素のために、集合の候補ピクセルが、１つ以上の参照フレーム（これには、現在フレームを含んでもよく、また含まなくてもよい）から選択される４０４。一旦集合の候補ピクセルが選択されると、各候補ピクセルの１つ以上の良好の値（または品質値）が計算される（４０６）。この時点で、現在画素のための対応する集合のピクセルは、１つ以上の基準に基づいて決定される（４０８）。例えば、基準には、「良好」の値が閾値を超えたか否かを含んでもよい。処理４０８は、予め定められた順番で、候補集合から１つ以上のピクセルを考慮してもよい。
【００２２】
停止基準が満たされたか否かが判断される（４１０）。また、上述したように、例えば、停止基準は、以下のものでもよい。Ａ）予め定められた数のピクセルが、既に対応する集合に含まれた場合、または、Ｂ）候補集合のすべてのピクセルが、既に考慮された場合である。一旦停止基準が満たされると、現在画素のための代替値は対応する集合のピクセルの値に基づいて決定される（４１２）。
【００２３】
図５を参照すると、３×３ピクセルパッチ６３０および６４０をそれぞれ有する２つの隣接するフレーム６１０および６２０が示されている。実施例に従って、「良好」のパッチベースの基準は、最初に２つのパッチの対応するピクセルの間の絶対差を計算する。そして、絶対差の平均（ＭＡＤ）を形成するために、これらの絶対差を平均する。この実施例において、二つのパッチピクセルのＭＡＤが、予め定められた閾値よりも小さい場合、時間的予測値ｐｒｅｄ［ｊ］は「良好」を示す。当業者は、実際には、この閾値が２つの閾値に分けられることを認識するであろう。すなわち、１つはピクセルの輝度（ｌｕｍａ）のＭＡＤであり、もう１つはピクセルの彩度（ｃｈｒｏｍａ）ＭＡＤである。重要な点を以下に示す。１）フレームは、隣接している必要はない（なお、図５において隣接するように示されている）。そして、２）２つのフレームのピクセルの位置（ｘ、ｙ）は、同じである必要はない。当業者は、パッチおよび閾値を選択するさまざまな方法があることがわかるはずである。
【００２４】
図６は、現在画素（ｘ，ｙ）を有するフレーム７１０を示しており、「良好」な空間候補（すなわち、空間フィルタリングの「良好」の基準を満たした空間的に近いピクセル）に選ばれたピクセル７２０の集合を示している。例えば、１つの基準は現在画素の値と候補ピクセルの差である。そして、その差は閾値と比較されてもよい。図５および図６が、時間的（図５）および空間的（図６）領域に対する「良好」の基準を満たすピクセル集合を表す場合、Ｎは７に等しい。すなわち、１つの時間的ピクセル、５つの空間的ピクセルおよびその目標ピクセルである。
【００２５】
図７は、１つの実施例に従った適応時空間的ビデオノイズフィルタリングのための処理５００のフローチャートを示す。入力ビデオフレームの各ピクセルｐをフィルタに通すために、５００が行う目的は、ｐと共に平均を求めるＮ個の「良好」な候補（この実施例では、それ自体を含む）を見つけることである。Ｎは、フィルタリング処理５００の全体にわたる定数である。これらの「良好」な候補は、平均集合Ａｐに置かれる。ここで、Ａｐ＝｛ｐ，ｃｉ；ｉ＝１，．．．，Ｍ｝，Ｍ＝＜Ｎ−１，「良好」な候補が利用できない場合はＭ＜Ｎ−１である。フィルタリング処理は、次にｐをＡｐの要素の平均で置き換える。なお、本明細書において、「ピクセルの平均をとる」とは、ピクセルの輝度（ｌｕｍａ）および彩度（ｃｈｒｏｍａ）のコンポーネントの値（たとえばＹ、ＵおよびＶ）の平均値を別々に算出すること（なお、本実施例では、別々に算出していない）、を意味する。コンポーネント別に平均の算出を実行する実施例においては、さまざまな他の処理（または全処理）が、コンポーネント別に、特別にまたは必然的に実行される。
【００２６】
処理５００において、Ｎ個の「良好」な候補は、時間領域あるいは空間領域から選択されてもよい。１つの実施例によれば、Ｎ個の「良好」な候補が時間的領域において最初に探される。なぜなら、時間的フィルタリングは、画像の細部をぼやけさせにくいからである。図７に示すように、処理５００は、３つの処理で構成されている。すなわち、時間的候補５５０の選択、空間候補５６０の選択、そして、選択された候補の平均を算出する５７０によるフィルタリングである。処理５００は、時間的および／または空間領域から選択された候補を用いて、各ピクセルをフィルタに通す。これは、空間的に、または、時間的に、すぐに全部のフレームをフィルタに通して、フィルタリング処理フレームを提供するために結果を結合するさまざまな従来の方法とは異なる。
【００２７】
図７に示された実施例を参照すると、時間的候補の選択５５０は、最初にピクセルｐが現在フレームからｎ個の参照フレームまでの動きを推定することを実行する。図示するように、入力フレームからのピクセルｐは、平均集合Ａｐ＝｛ｐ｝を初期化するために用いられる（５０２）。参照フレームｊ＝１，．．，ｎ（５０４）に対するループが実行され、参照フレームｊから動きベースの予測値ｐｒｅｄ［ｊ］が生成される（５０６）。その後、各時間的に予測された（ｊ番目の参照フレーム）のピクセルｐｒｅｄ［ｊ］が、次々に、Ａｐの候補として検討される（５０８）。「良好」な予測値（すなわち、品質値の基準を満たしたもの）であることが判断された場合、それはＡｐ集合に追加される（５１０）。時間的候補を選択する際、５１２で｜Ａｐ｜＝Ｎの場合（すなわち、Ａｐの要素数がＮに等しい場合）、候補を探す手順は終了する。そして、フィルタステップ５７０に移行する。
【００２８】
候補を時間的領域から選択した後に｜Ａｐ｜＜Ｎである場合、ループｊの終了（５１４）がなされ、空間領域の候補を探し始める処理に移行する。図８に示すように、１つの可能性は、ｐの近隣ｂ×ｂのすべてのピクセルを考慮するということである。当業者は、周辺領域のサイズを選択する、さまざまな技術を知っている。ループｋ＝１．．．，ｍ（５１６）において、隣接した候補の順番は、ｐから候補ピクセルまでの近さによって決定される。隣接した候補ピクセルが「良好」であると判断された場合（５１８）、これはＡＰに追加される。スキャンにおいて、｜Ａｐ｜＝Ｎ（５２２）となった場合、あるいは、すべての候補がスキャンされた場合、フィルタステップ５７０へ進む。
【００２９】
最後に、フィルタステップ５７０で、ピクセルｐはＡｐの要素の平均（５２６）と置き換えられる。そして、処理は次のピクセルのフィルタリングに移行する。平均算出の代わり、または、その追加的な処理としては、ピクセルｐの代替を決定してもよい。さらに一般的にいえば、実施例はＡＰのピクセルの値に基づいて置換を決定してもよい。すなわち、値の平均を含むことに限定されるものではない。通常、数Ｎは、目標のデジタル画像のピクセルごとに一定であるとしたが、Ｎ個のピクセルの相対的配置が目標のデジタル画像のピクセルごとに変化してもよいことは、明白である。
【００３０】
図８は、現在画素ｐの周辺で候補ピクセル集合のナンバリング８００を示す。ナンバリング８００は、現在画素ｐから隣接したピクセルまでの空間距離または空間的近さに基づいて、ナンバーを割り当てている。「１」とラベルがついている４つのピクセルは、ｐまでの共通の距離を有しており、ｐに最も近い。「２」とラベルがついている４つのピクセルは、ｐまでの共通の距離を有しており、ｐに２番目に近い。「３」とラベルがついている４つのピクセルは、ｐまでの共通の距離を有しており、ｐに３番目に近い。「４」とラベルがついている８つのピクセルは、ｐまでの共通の距離を有しており、ｐに４番目に近い。「５」とラベルがついている４つのピクセルは、ｐまでの共通の距離を有しており、ｐに５番目に近い。ナンバリング８００は、ｐのための対応するピクセル集合を構成すると共に、最初にどのピクセルをテストするべきかについて決定するために用いてもよい。例えば、実施例は、すべての「１」ピクセル、次にすべての「２」ピクセル、それからすべての「３」ピクセル、すべての「４」ピクセル、すべての「５」ピクセルについて、対応する集合がＮピクセルになるまで、検討する。これは、例えば、ラスター順序（例えば左から右および、上から下）のすべてのピクセルを考慮することと対照的である。
【００３１】
図８の「距離」のアプローチは、同様に他のフレームの時間的候補に適用されてもよい。１つの実施例では、図８の空間距離よりもむしろ「時間距離」を使用する。そして、「時間距離」はフレームを使用する実施例の「フレーム距離」と置き換えられてもよい。例えば、実施例では、フレームｊの現在画素ｐに対して、まず始めに、ｐｒｅｄ［ｊ−１］（フレームｊ−１でのｐの予測）、それからｐｒｅｄ［ｊ＋１］、そして、ｐｒｅｄ［ｊ−２］そして、ｐｒｅｄ［ｊ＋２］等と、フレーム拒理が増加する順序で検討する。
【００３２】
実施例では、時間的領域の候補ピクセルを評価する前に、あるいは時間領域の評価を除外して、空間領域の候補ピクセルを評価してもよい。他のドメイン（領域）が使われてもよい。他のドメイン（領域）としては、例えば、変換領域（例えば、フーリエ、ウエーブレット）を含んでもよい。そして、領域が同じ画像の別の記録からとられてもよい。例えば、フィルムリールからとられるビデオに係る１つの実施例で、領域は、異なるフィルムリールからデジタル化された同じビデオから抽出される。他のフィルムリールが第１のフィルムリールと同様のフィルム粒子（さらに一般的にいえばノイズ、）特性を有する場合、他のフィルムリールは特に役立つであろう。
【００３３】
実施例においては、１つ以上様々なソースまたは入力にフィルタをかけることを含んでもよい。かかるソースは、例えば、ビデオまたは静止画像を含む。
【００３４】
「Ｎ」の選択は、取り除かれることが望ましいノイズの量に基づいてもよい。「Ｎ」は、異なるフレームに対して多様であってもよい（例えば、Ｎは、場面をカバーしているフレームの所与のシーンに対して設定されてもよい）。また、「Ｎ」は、フレームの範囲内の異なる領域に対して、そして、異なるコンポーネントまたは分離に対して、異なる値を持ってもよい（例えば、輝度に対するＮは、クロミナンス（彩度）に対するＮと異なってもよい。色の構成例えばＲＧＢまたはＹＵＶでＮが異なってもよい）。
【００３５】
更に、ユーザは経験に基づいてＮを選択してもよい。そして、実施例では、ユーザがユーザーインターフェースを使用して、Ｎの値を入力することができるようにしてもよい。ユーザーインターフェースは、機械的装置（例えば、スイッチまたはノブ）、コンピュータ装置（例えば、キーボード、またはプルダウンメニューや、選択値の表示を伴うマウス）または音声入力システムを含んでもよい。
【００３６】
ユーザは、対応するピクセル集合の寸法について１つ以上の値を選択してもよい。１つ以上の値は、限定された範囲あるいは限定されない開いた範囲で示されてもよい。例えば、固定されたＮおよびＸに対して、（ｉ）ＸをプラスあるいはマイナスしたＮ、（ｉｉ）Ｎより大きい値、そして、（ｉｉｉ）Ｎより小さい値、などがある。サイズの選択（またはハードコードされた）に関しては、様々な実施例が考えられる。たとえば、対応する集合がＮ個のピクセルである限り「Ｎより大きい」ことを選択させ、対応する集合は終了したとみなされてもよい。ピクセル数の最大を定める様々な実施例として、対応するピクセル集合において、ユーザによって（または、システムのハードコードによって）、対応するピクセル集合に含まれてもよいピクセル数の予め定められた最大数が選択されてもよい。
【００３７】
多くの実施例は、対応するピクセル集合に、どれくらいのピクセル数を有するかを決定する際の予め定められた閾値を使用する。予め定められた最低値または予め定められた最大値として、実施例に応じて、および予め定められた閾値の使用に応じて、予め定められた閾値が参照されてもよい。予め定められた閾値は、さまざまな実施例において、停止位置として機能してもよい。
【００３８】
良好または品質値の測定法は、多様化してもよい。更に、上述したＭＡＤが空間領域のために使われてもよい。そして、上述した、ピクセルの差が時間的領域のために使われてもよい。
【００３９】
実施例は、動きの推定をする必要はない。この種の実施例では、例えば、動きゼロと仮定してｐｒｅｄ［ｊ］を決定してもよい。
【００４０】
更に別の実施例において、対応するピクセル集合を決定することは、参照画像の集合の候補ピクセル集合からピクセルを選択し、選択された候補ピクセルのための品質値を計算し、品質値が１つ以上の予め定められた基準を満たす場合、対応するピクセル集合に候補ピクセルを追加し、１つ以上の停止基準が満たされるまで、選択、計算および追加を繰り返すことを含む。
【００４１】
さまざまな実施例において、例えば、品質値の測定法としては、例えば以下のものが挙げられる。すなわち、１）ピクセルと選択された候補ピクセル間の色差、２）ピクセルのまわりのＭ×Ｎブロックと候補ピクセルのまわりのＭ×Ｎブロックの間の絶対差の平均、または３）現在画素までの距離、である。
【００４２】
更なる実施例において、代替値を計算する際、次の部分を含んでもよい。すなわち、１）対応するピクセル集合のピクセルの値を平均すること、および／または２）対応するピクセル集合のピクセルの値の重み付き平均、である。この実施例において、ピクセルは、各ピクセルの品質値に基づいて、対応するピクセル集合に重みがかけられる。決定装置によって実行される平均算出は、ピクセル毎に、Ｙ、ＵおよびＶ値（または他の色の分離）によって実行されてもよい。
【００４３】
他の実施例においては、各ピクセルの各色のコンポーネントはそれぞれ別々に処理される。そして、対応するピクセル集合のピクセル数が停止基準として使われる。
【００４４】
さらに他の実施例において、ビデオのフィルタリング装置は、目標デジタル画像からの複数のピクセルの各々のために、可能性があるピクセルを、対応するピクセル集合に含ませるため、選択するセレクタ、選択されたピクセルの「良好」の値を計算するための評価器、複数のピクセルのうちの少なくとも１つのため、計算された「良好」の値に基づいて対応するピクセル集合を決定する集合制御装置、および、複数のピクセルの各々に対して、対応するピクセル集合のピクセルの値に基づいて対応する代替値を決定する決定装置を有する。
【００４５】
幾つかの他の実施例によれば、選択されたピクセルは１つ以上のデジタル画像に含まれ、それらの１つ以上のデジタル画像に目標デジタル画像が含まれる可能性がある。集合制御装置は、予め定められた基準に基づいて対応する集合を決定してもよい。集合制御装置の予め定められた基準は、予め定められた順序で、候補集合からの１つ以上のピクセルが、対応する集合に含まれなければならないか否かの基準を含む。加えて、この制御装置は、ピクセルの処理を止めるための停止基準を更に含む。１つの実施例では、停止基準は、ピクセルの所定数が対応する集合に含まれたか否かによって決定することを含む。他の実施例において、停止基準は、候補集合のすべてのピクセルが考慮されたか否かについて決定することを含む。
【００４６】
更なる実施例において、Ｎ個のピクセルを含む前に停止基準が満たされない限り、各対応する集合がＮ個のピクセルを含むように、集合制御装置は対応する集合のサイズを制御する。更なる実施例において、対応するＮ個のピクセルの集合の１つ（これは１つのピクセルに対応する）の位置は、Ｎ個のピクセルの他の対応する集合（それは他のピクセルに対応する）の位置と異なってもよい。
【００４７】
集合制御装置によって選択される対応するピクセル集合は、複数のドメイン（領域）からのピクセルを含んでもよい。加えて、ピクセルの選択は、例えば、距離の増加に応じた螺旋の順序によって実行されてもよい。距離は、例えば、空間領域の空間距離または時間的領域（例えば図８に関して記載されている順序）の距離でもよい。
【００４８】
当業者が理解できるように、図７に開示される方法５００はノイズを取り除くことに関して非常に効果的であり、ディテールを保持し、かつアーチファクトの発生を防止する。しかしながら、この方法は、特定のパラメータ（例えば空間的および時間的な隣接を決めるサイズ、および候補の「良好」の度合いを検証する閾値）を手動で設定する必要がある。上述したように、未経験のユーザは、この手動選択は、試行錯誤プロセスを強いられる。試行錯誤の後、所望のフィルタリング「強さ」およびフィルタリング「品質」となるパラメータの値を得ることができる。さらに、経験豊かなユーザでさえ、異なるクリップが処理されるたびに、手動でフィルタ設定をしなければならない。なぜなら、同じフィルタリング「強さ」およびフィルタリング「品質」を得るために、クリップの特性に応じて、通常は、異なるフィルタリングパラメータ設定を必要とするからである。
【００４９】
本発明の原則は、ユーザにより指定された、この（高いレベルの）２つの直観的なパラメータに基づいて、「良好」の度合いを検査するための閾値を自動的に推定する多くの実施例を提案する。すなわち、このユーザに指定されたパラメータとは、フィルタリング「強さ」および「品質」（すなわち、不適切なフィルタリングの許容度）である。フィルタリング強さとは、どれくらいのノイズ除去が実行されるかを特定するものである。一方、フィルタリング品質とは、フィルタリング均一性と、ディテールの損失とのバランスをコントロールする（すなわち、許容度がより高いほど、均一性およびディテールの損失はより低くなる）。図１−図８のフィルタ実施例において、フィルタリング「強さ」は各ピクセルにフィルタをかけるために用いる候補の数Ｎに最も典型的に関連する。そして、フィルタリング「品質」または許容度とは、例えば、フィルタリング強さが減らされる（すなわち、フィルタリング強さが達成されなくてもよい）ピクセルの最大パーセンテージを特定する
例えば、所望のフィルタリング動作のためのパラメータを推定し、自動的に閾値および半径の推定を導くために、２つの高レベルのパラメータが用いられる。以下の実施例において、「強さ」とは、フィルタリング強さを指す。すなわち、各ピクセルにフィルタをかける際に平均化されるピクセル候補の所望の数、Ｎを指す。平均化されるピクセルの候補数が多くなれば、「強さ」はより大きくなる、すなわちノイズ除去はより大きくなる。「品質」とは、パーセンテージ（すなわち許容度パーセンテージレベル）を指し、αで表される。これらは、不十分にフィルタリングされたピクセルであり、このピクセルは少なくともＮ個の候補で平均化されていないピクセルである。例えば、α＝５％とは、５％だけのピクセルが、不十分に平均化されたことになる。低い許容度は閾値をより高くする。それによって、より多くのピクセルにおそらくディテールをぼやけさせることを代償にして適切にフィルタがかけられることになる。より高い許容度は、より多くのピクセルがよりフィルタリングされないことによって、一般に、微細なディテールが得られる（すなわち、微細なディテールをそれほどは損なわない）ことになる。
【００５０】
以下に、空間的、および時間的な近隣のサイズを推定するための実施例を示す。当業者は、空間的、および時間的な近隣のサイズを推定する他の方法が本発明の原則の精神を逸脱しない範囲で利用されてもよいと認識するであろう。
［空間的、および時間的な近隣のサイズの推定］
シーケンスにおける１つのピクセルは、ｐ（ｘ、ｙ、ｔ）として表される。ここで、
ｘおよびｙは空間座標である。そして、ｔはフレームインデックス（時刻）である。ピクセルｐの空間的な近隣は、正方形のウィンドウ内のすべてのピクセルの集合である。ｐ（ｘ，ｙ，ｔ）の空間的な近隣は、数学的に、以下のように数１で表される。
【００５１】
【数１】
2010505336.tif 000003
値ｒは、近隣の半径である。この近隣を、ｒ−近隣と呼ぶことにする。
【００５２】
典型的な実施例において、空間的な近隣サイズは、以下に示すように推定される。強さＮがフィルタリングに与えられた場合、近隣に少なくとも２Ｎピクセルが含まれるように、最も小さい正の整数ｒを選ぶ。すなわち、数２となる（ここで数３は、シーリングオペレータ（ceiling  operator）を意味する）。
【００５３】
【数２】
2010505336.tif 000004
【数３】
2010505336.tif 000005
これによって、近隣に共起する（collocated）十分な候補を確保でき、Ｎ個の「良好」な候補を選択することを確実にする。所望の輝度（ｌｕｍａ）および彩度（ｃｈｒｏｍａ）のフィルタリング強さＮＹおよびＮＣが異なる場合、それらに対応する半径ｒＹおよびｒＣが異なってもよい。なおｒが整数であるときには、シーリングオペレータは必要ないことに注意されたい。
【００５４】
異なる実施例に対しては、ｒを推定するときに、異なる限度を使用してもよい。すなわち、より大きいウィンドウサイズ（３Ｎ、４Ｎ等）またはより小さいウィンドウサイズ（Ｎ、またはさらにより小さいサイズ）が考慮される。例えば、非常に高い解像度の画像に対しては、より大きいウィンドウを使うことができる。より小さいウィンドウは、例えば、計算のコストを減らすために用いることができる。
［時間的な近隣サイズの推定］
時間的な近隣のサイズは、同様の方法で推定できる。時刻ｔの周辺に共起するフレームのピクセルの集合が、ピクセルｐに対する時間的な近隣を構成する。数学的には、ｐ（ｘ，ｙ、ｔ）の時間的近隣は、数４で与えられる。
【００５５】
【数４】
2010505336.tif 000006
典型的な実施例において、時間的な近隣サイズは、以下のように推定される。強さＮがフィルタリングに与えられた場合、近隣に少なくともＮピクセルが含まれるように、最も小さい正整数ｒを選ぶ、すなわち、数５となる（ここで数３は、シーリングオペレータ（ceiling  operator）を意味する）。
【００５６】
【数５】
2010505336.tif 000007
これによって、近隣に共起する十分な候補を確保でき、Ｎ個の「良好」な候補を選択することを確実にする。なおｒが整数であるときには、シーリングオペレータは必要ないことに注意されたい。
【００５７】
空間的な場合と同様に、ｒを推定するときに、アプリケーションが異なれば、異なる限度を使用してもよい。ｐの時間的な近隣を定めるときに、周辺に共起するピクセルの代わりに、動き補償ピクセルを使用することも可能である。加えて、さまざまな実施例で、時間的な近隣は他のフレームに共起するピクセルを囲むピクセルを含む。更なる実施例は、動きを推定するための複数の異なるアルゴリズムを使用する。そして、検出された動き評価結果を時間的な近隣に含める。
【００５８】
図９は、所望のフィルタ動作のためのパラメータの自動推定のための方法９００のフローチャートを示す。まず、デジタル画像データにフィルタをかけるための基準にアクセスする（９０２）。この基準は、通常、直接ユーザ入力の形でユーザによって設定されたフィルタ設計基準（例えば、「品質」および／または「強さ」）である。このユーザ入力は、要求されなくてもよい。または、システムの起動時においてシステムがユーザに問い合わせてもよい。
【００５９】
なお、アプリケーションに応じて、基準へのアクセスは、ユーザ入力からだけでなく、ソフトウェア・ルーチンによって、値／変数として返されるか、またはバッファあるいは他の内部または外部メモリの場所から取り出されてもよい。「アクセスする」ことは幅広い用語である。例えば、得る、読み出す、受信する、操作する、または処理することを含む様々な形態が含まれる。
【００６０】
一旦フィルタリングの基準がアクセスされると、システムはデジタル画像にフィルタをかけるために、パラメータの値（例えば、閾値）を決定する（９０４）。この決定は、決定された値が少なくとも一部のデジタル画像に対して、アクセスされた基準を満足する結果をもたらすことになるか否かに基づいてなされる。
【００６１】
図１０は、所望のフィルタ動作のためのパラメータの自動推定のための他の実施例（方法１０００）のフローチャートを示す。まず、デジタル画像がアクセスされるか提供される（１００２）。画像の画素値が評価される（１００４）。そして、一部のデジタル画像が、評価に基づいて選択される（１００６）。一旦デジタル画像の部分が選択されると、デジタル画像にフィルタをかけるための基準にアクセスする（１００８）。以前の実施例と同様に、基準にアクセスした後、デジタル画像に対するフィルタに用いられるパラメータの値が決定される（１０１０）。この決定された値は、デジタル画像の選択された部分が、アクセスされた基準を満足する結果となっている。
【００６２】
図１１は、所望のフィルタ動作のためのパラメータの自動推定のための他の実施例（方法１１００）のフローチャートを示す。図１０の実施例と同様に、デジタル画像がアクセスされ（１１０２）、そして、画像の画素値が評価される（１１０４）。一部のデジタル画像が、評価に基づいて、選択される（１１０６）。一旦選択されると、デジタル画像データをフィルタリングするための１つ以上の基準にアクセスされる（１１０８）。１つ以上の基準がアクセスされると、フィルタリングに用いられるパラメータによる値が、デジタル画像の選択された部分の１つ以上のアクセスされた基準を満足する結果となるか否かに基づいて、決定される（１１１０）。画像は、決定されたパラメータの値によってフィルタリングされる（１１１２）。
【００６３】
１つの実施例において、３つのパラメータが、色コンポーネント毎に推定される：１）空間的な候補を得るための、空間的な近隣のサイズ（ｒＳ）；２）時間的な候補を得るための、時間的な近隣のサイズ（ｒＴ）；および３）空間的、または、時間的に予測された候補ピクセルの「良好」の値を検査するために用いる閾値（Ｔ）。典型的な実施例において、２つの彩度（ｃｈｒｏｍａ）コンポーネントをまとめて扱い、合計６のパラメータが推定される。すなわち：輝度（ｌｕｍａ）および彩度（ｃｈｒｏｍａ）に係る時間的近隣半径（ｒＳＹ，ｒＳＣ）、輝度（ｌｕｍａ）および彩度（ｃｈｒｏｍａ）に係る空間近隣半径（ｒＴＹ，ｒＴＣ）、輝度（ｌｕｍａ）および彩度（ｃｈｒｏｍａ）に係る閾値（ＴＹ，ＴＣ）である。この場合、パラメータは、輝度（ｌｕｍａ）（Ｙ）および彩度（ｃｈｒｏｍａ）（Ｕ、Ｖ）コンポーネントのために別々に推定される。他の実施例はＵ、ＶおよびＹを別々に扱う。これは、９つのパラメータになる。さらに他の実施例はＵ、ＶおよびＹを一緒に扱う。これによって、３つのパラメータになる。
【００６４】
図１２を参照すると、所望のフィルタ動作のためのパラメータの自動推定のための方法１２００のフローチャートが示されている。この方法は、通常、シーケンスの輝度（ｌｕｍａ）および彩度（ｃｈｒｏｍａ）コンポーネントに別々に適用される。この実施例では、輝度（ｌｕｍａ）コンポーネントを操作していると仮定する。
【００６５】
以下、方法１２００の概要を説明する。輝度（ｌｕｍａ）の閾値を決定するために、実施例では、一群のピクセルを選択する。通常は、目標デジタル画像を含むいくつかの異なる画像から選択される。例えば、ピクセルのグループは、全シーン、ビデオの最初の１０（例えば）フレーム、またはビデオの第１００のコマ目毎から抽出されてもよい。選択されたピクセルは、好ましくは非常に同様の画素値（例えば青い空）を有する。ピクセルの選択されたグループは、同質な（homogeneous）部分と呼ぶ。同質な部分のピクセルは、目標デジタル画像を表すか、または少なくとも目標デジタル画像のノイズを表すとみなされる。同質な部分のために働く閾値を決めた場合、その閾値は目標デジタル画像のために働くであろう。同質な部分において、その部分のあらゆるピクセルに対して検討し、その部分のピクセルの「α」パーセトだけは閾値を満たさなくてもよく、少なくとも閾値を満たす「Ｎ」個のピクセルを得ることに失敗しない最も小さい閾値を決定する。すなわち、各々の部分のピクセルの少なくとも１００−αパーセントの「Ｎ」個の他のピクセルが、閾値内の値を有するということになる。閾値が判定された後（入力された強さおよび品質に基づいて）、フィルタは実際の目標データに作用してもよい。
【００６６】
方法１２００を再度参照すると、処理を開始するために、ビデオフレームを受け取る（またはさらに一般的にはアクセスする）。ビデオフレームから、我々は、最高で、Ｂ×Ｂピクセルの同質なＭ個のブロックを検知する（１２０２）。同質なブロックは、平均値が減算されたあとは、取り除かれることになっているノイズパターンだけを含むものである。ブロックサイズＢを含む同質のパラメータは、外部記憶装置ソースから提供できる（１２０３）。同質なブロックを検出する１つの方法は、若干のノイズを取り除くために、最初にシーケンスに軽い空間フィルタ、例えば平均化フィルタ、をかけることである。それから、すべてのＢ×Ｂブロック（例えば、重複してもよい）を探査し、閾値Ｔｈｏｍｏｇより小さい分散を有するブロックを残す。例えば、これらの値Ｍ，ＢおよびＴｈｏｍｏｇが、システムに提供される。
【００６７】
一例として、集合Ｈを、検出された同質なブロックのすべてのピクセルを含むものとする。ここで、全ての可能な閾値、ｕ＝１，．．．，２５６が順に検討される（１２０４）。ここで、ｕは、現在の閾値の値である。一旦考慮されると、すべての同質なブロックからすべてのピクセルｐに対するループが実行される（１２０６）。ｐとｒ−近隣のピクセルとの絶対差が計算される（１２０８）。ｒ−近隣（空間的近隣）は、処理の複雑さおよび時間を減らすために用いられる。他の実施例は（または代わりに）時間的近隣をも考慮する。しかし、これは通常は、動き予測を必要とし、時間を要し、かつプロセッサを酷使する。
【００６８】
空間的近隣半径ｒは外部ソース（１２０９）（例えばユーザ入力）から提供できる。例えば、ユーザ入力、他のユーザ入力に基づくコンピュータ入力が挙げられる。一実施例では、近隣半径は前述したように計算される。そして、半径値はパラメータを作るために閾値推定方法に入力される。半径が、ある計算値の考慮も基づくユーザによる設定である場合、それらはその後、閾値推定手順に入力される。本実施例では、半径は、正方形（図８）のように示されている。しかしながら、当業者は空間的な近隣の構造が正方形以外の形状でもよいと認識するであろう。例えば、空間的な近隣の構造は、円形の近隣でもよい。したがって、近隣サイズを定めているパラメータは、異なってもよい。各ピクセルｐ∈Ｈに対して、制約｜ｐＹ―ｑＹ｜＜ｕを満たす、近隣ｑ∈ＮｒＹ（ｐ）（すなわち、利用できる候補）の数ｎｐ，ｕが求まる（ここでサブスクリプトＹは、ピクセルの輝度（ｌｕｍａ）またはＹ値を表す）（処理１２１０）。ループｐは、その後終わる（１２１２）。適切にフィルタリングされなかったＨ内のピクセルｐのパーセンテージｙが（例えば、計算によって）検査される。これは、利用できる候補数がＮより少ないものである。Ｎは、所望の平均算出候補の数である、かつユーザ入力によって設定されていてもよい（１２１５）。他の実施例では、他のユーザ入力（例えば、ユーザは、より高いユーザーレベルフォーマットの解像度を入力してもよい。例えば、７２０ｉ、１０８０ｉ、または１０８０ｐ）に応答して、平均を算出する候補数Ｎの所望の数を自動的に決定してもよい。一例として、１つの方法は、ユーザ設定と対応するＮの間にルックアップテーブル（ＬＵＴ）を設けることである。この典型的な実施例において、ユーザはどんな種類のフィルムが使われたかについて特定してもよい。そして、ＬＵＴはフィルム粒子を低下させるために、適当なＮを提供してもよい。
【００６９】
もし、ｙ＜＝α、（１２１６）である場合、手順１２００は終了する。そして、輝度（ｌｕｍａ）のｕが閾値（ＴＹ）に設定される（１２１８）。それ以外の場合には、ｕは１増やされる、そして、新しい閾値ｕ＋１が再びオペレーション１２０４から開始され同様に評価される。上述の如く、不十分にフィルタをかけられたピクセルの許容できるパーセンテージであるαは、あるオペレーション１２１７でユーザによって入力される「品質」レベルである。
【００７０】
方法１２００は、１つ以上の閾値を作り出すことに注意されたい。上述の実施例では、空間的半径、時間的半径および１つ以上の閾値の３つのパラメータの使用を特定した。上述の通り、Ｎに基づく実施例においては、２つの半径が計算された。プロセス１２００を実行することによって、フィルタの設計および適用のための全てのパラメータが利用できることになる。
【００７１】
閾値制約の評価を除いて、彩度（ｃｈｒｏｍａ）コンポーネントのための手順は、同じである。ここで、ｐの両方の彩度（ｃｈｒｏｍａ）値の絶対差が両方ともｕより小さくなるような（すなわち、｜ｐＵ−ｑＵ｜＜ｕおよび｜ｐＶ−ｑＶ｜＜ｕ）、少なくともＮ個の近隣ｑ∈Ｎｒｃ（ｐ）が存在する場合、ピクセルｐは、適切にフィルタリングされていることを示す。ここで、サブスクリプトＵおよびＶは、ピクセルの彩度（ｃｈｒｏｍａ）（ＵおよびＶ）値を指す。異なる実施例において、各彩度（ｃｈｒｏｍａ）コンポーネントは、独立に処理される。他の実施例に従って、独立にＵおよびＶコンポーネントを扱うことによって、彩度（ｃｈｒｏｍａ）閾値ＴＣは、２つの閾値ＴＵおよびＴＶに分割される。１つの実施例では、フィルタにおいて、（例えば）方法１２００によって、パラメータが目標データに適用される。同質な部分が目標データを代表する場合、強さおよび品質の基準は満たされると予想される。しかし、これが必ずしも保証されるというわけではない。しかしながら、他の実施例は、上記を保証する、かつ閾値を満たすためにパラメータを変更する。
【００７２】
図１３は、図１の処理装置１０４の実施例１３００のブロック図を示す。基準入力受信器１３０２は、ユーザ入力デバイス１３０４からユーザ指定の基準を受け取る。基準入力受信器１３０２は、基準にアクセスするように構成されており、かつ、例えば、ユーザが供給した入力基準を読み出すようにプログラムされるプロセッサを含んでもよい。ユーザ入力デバイス１３０４は、例えば、ユーザがキーボードまたはマウスを用いて入力を提供することができるアプリケーションプログラムに接続されるキーボードまたはマウスでもよい。基準入力受信器１３０２は、ソースビデオおよび受け取った特定の基準を、パラメータ値決定ユニット１３０６に転送する。パラメータ値決定ユニット１３０６は、受け取られた基準に基づいて、（例えば、算出することによって）１つ以上のそれぞれのパラメータの値を決定する。そして、決定されたパラメータの値を適用するためにフィルタに出力する。パラメータ値決定ユニット１３０６は、例えば、方法１２００に従って、パラメータの値を決定してもよい。方法１２００に関する議論にて説明したように、１つのパラメータの値は、閾値である。
【００７３】
他の実施例は、ユーザがＹ、Ｕおよび／またはＶコンポーネントのための異なる基準を特定することができる。一実施例では、強さおよび品質の基準は、彩度（ｃｈｒｏｍａ）コンポーネントよりも輝度（ｌｕｍａ）コンポーネントに対してより厳密に作用する。アプリケーションよっては、２つ以上の基準を提供してもよい。
【００７４】
さらに、実施例においては、ビデオのシーンごとに異なるパラメータを決定し、異なるフィルタを設計することによって、入力ビデオのさまざまな部分に異なるフィルタリングを適用してもよい。ノイズおよびノイズに対する認識は、（例えば輝度（intensity）の）ファクターによって変化するため、このことは特に役立つ。例えば、フィルム粒子およびカメラノイズは、通常は、輝度によって変化する。加えて、人間の目は、高い輝度あるいは低い輝度のときとは対照的に、通常は中間の輝度のときに、より多くのノイズを認識する。
【００７５】
当業者は、図１３のプロセッサ構成および本発明の原則の対応する方法が、動画像通信システムのエンコーダまたはデコーダで実装され得ることを認識するであろう。１つの実施例においては、エンコーダ側で、フィルタパラメータが、ビデオと共に送信される。そして、デコ−ダ側では、フィルタパラメータを決定する処理を要せずに、受信したビデオをフィルタリングしてもよい。１つの実施例では、デコーダ側で、前もって決定されたフィルタパラメータ無しで、動画像通信で、ビデオソースを受け取る。他の実施例においては、フィルタパラメータはエンコーダで決定される。そして、フィルタは、符号化、配布、伝送および／または記憶の前にノイズ（例えば、カメラレンズのほこりによって生じる点）を減らすためにエンコーダで適用される。加えて、または、代替的に、フィルタパラメータはデコーダで決定されてもよい。そして、フィルタはデコーダで適用されてもよい。
【００７６】
記載されている実施例は、例えば、さまざまなシステムおよび方法を含む。実施例は、１つ以上のプロセスを実行するように構成される１つ以上の装置を含んでもよい。装置は、例えば、別々の、あるいは統合されたハードウェア、ファームウェアおよびソフトウェアを含んでもよい。装置は、例えば、一般の処理デバイスを指すプロセッサすなわち、マイクロプロセッサ、集積回路またはプログラマブル・ロジック・デバイスを含んでもよい。
【００７７】
装置は、１つ以上の方法を実行するための命令を有する１つ以上の計算機可読の媒体を含み得る。計算機可読の媒体は、例えば、記憶装置（例えばハードディスク、コンパクトディスク、ランダムアクセスメモリ（ＲＡＭ）または読取り専用メモリ（ＲＯＭ））を含んでもよい。計算機可読の媒体は、例えば、命令をコード化しているかまたは送信しているフォーマット化された電磁波を含んでもよい。あるいは、命令は、例えば、ハードウェア、ファームウェア、ソフトウェアの形式あるいは電磁波の形式であってもよい。例えば、命令は、オペレーティングシステム、別々のアプリケーションまたは２つの組合せであってもよい。したがって、例えば、プロセッサは、方法を実行するように構成される装置および方法を実行するための命令を有する計算機可読の媒体を含んでいる装置として表現されてもよい。
【００７８】
当業者に明らかなように、実施例は、例えば、格納されまたは送信され得る情報を鍛持するフォーマット化された信号を作り出してもよい。この情報は、例えば、方法（例えば、方法１２００）を実行するための命令を含んでもよい。また、この情報は、記載されている実施例（例えば、方法１２００によって定まる１つ以上のパラメータ）のうちの１つによって作り出されるデータであってもよい。
【００７９】
本願明細書において記載されている実施例は、例えば、方法、装置またはソフトウェアプログラムであってもよい。実施例が、単一の形の記載される場合（例えば、方法だけとして記載される場合）であっても、記載された実施例の特長は他の形（例えば、装置またはプログラム）で実行されてもよい。
【００８０】
本発明の原則がハードウェア、ソフトウェア、ファームウェア、専用プロセッサまたはそれらの組み合わせの様々な形態により実装されてもよいことを理解すべきである。多くの実施例は、ハードウェアおよびソフトウェアの組合せを使用する。さらに、ソフトウェアは、プログラム記憶領域装置に確実に保存されるアプリケーションプログラムとして実装されてもよい。アプリケーションプログラムは、いかなる適切なアーキテクチャを有するマシンにアップロードされてもよいし、かつ実行されてもよい。装置は、ハードウェア、例えば１つ以上のＣＰＵ（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）および入出力（Ｉ／Ｏ）インターフェースを有するコンピュータプラットフォームに実装されてもよい。このコンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードを含み得る。本願明細書において記載されているさまざまな方法および機能は、マイクロ命令コードの一部またはオペレーティングシステムを介して実行されるアプリケーションプログラム、またはそれらの組み合わせ、の一部でもよい。加えて、コンピュータプラットフォームに、さまざまな他の周辺デバイス、例えば追加データ記憶機構装置およびプリントデバイスが接続されてもよい。
【００８１】
添付の図に示されたシステムコンポーネントおよび方法ステップの構成要素の一部が、好ましくは、ソフトウェアで実行される。このため、システムコンポーネント（または方法ステップ）間の実際の関係については、本本発明がプログラムされる方式に伴って異なることがある点を更に理解すべきである。本願明細書において記載された説明に基づいて、関連技術の当業者は、これらおよび同様の実施例または本発明の原則の構成を考察することが可能である。
【００８２】
特定の実施例に適用される基本的な新しい特長が、示され、記載され、かつ指摘されている。一方、記載されている方法および図示されているデバイスの形および詳細、および、それらのオペレーションに対して、さまざまな省略、代替えおよび変更が当業者によってなされてもよいことが理解されよう。例えば、実質的に同じ機能を実質的に同じ方式で実施して同じ結果を達成する要素および／または方法のステップのすべての組合せは本発明の範囲内にあることは明らかである。さらに、本発明の原則のいかなる開示された形式または実施例に関連して示されかつ／または記載されていた構造および／または要素および／または方法ステップは、開示され記載されまたは暗示されている他の形式または実施例に、一般的に取り入れられると認識されなければならない。更に、異なる実施例の要素は、他の実施例を作り出すために、結合されてもよく、補充されてもよく、修正されてもよく、また、取り除かれてもよい。したがって、他の実施例は、以下の請求項の範囲内である。
【図１】
2010505336.tif 000008
【図２】
2010505336.tif 000009
【図３】
2010505336.tif 000010
【図４】
2010505336.tif 000011
【図５】
2010505336.tif 000012
【図６】
2010505336.tif 000013
【図７】
2010505336.tif 000014
【図８】
2010505336.tif 000015
【図９】
2010505336.tif 000016
【図１０】
2010505336.tif 000017
【図１１】
2010505336.tif 000018
【図１２】
2010505336.tif 000019
【図１３】
2010505336.tif 000020
【国際調査報告】
2010505336.tif 000021
2010505336.tif 000022
2010505336.tif 000023
2010505336.tif 000024