(57)【要約】  本発明の実施形態は、雑音画像のためのテンポラルノイズリダクション方法及び関係する装置を開示する。本発明の実施形態において、静止／移動の判定は、第１のピクセルが属する第１のセクションの量子化ノイズに関して実行されるものとしてよく、したがって、正しくない判定の確率は非常に低く、第１のピクセルが移動領域又は静止領域内にあるかどうかの判定の異なる結果に対して、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値が別々に設定され、そして異なるフレーム差分計算方式が使用され、移動領域と静止領域とに適用可能である異なるブレンディング係数が、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値、そしてフレーム差分計算方式に従って選択され、ノイズリダクションブレンディング方式が、移動領域と静止領域とに適用可能である異なるブレンディング係数、フレーム差分計算方式、及び現在のフレーム内の第１のピクセルのピクセル値に従って選択される。この方法で、ノイズリダクション処理は、雑音画像が移動領域又は静止領域内にあるかどうかに従って実施されるものとしてよく、そして検出誤りの確率は非常に低い。したがって、本発明のこれらの実施形態における技術的解決方法は、複数のノイズシナリオに適用され得る。
2017502551.tif 000002
【特許請求の範囲】
【請求項１】
雑音画像のためのテンポラルノイズリダクション方法であって、
雑音画像の第１のセクションの量子化ノイズを取得するステップであって、前記第１のセクションは、前記雑音画像から分割された複数のセクションのうちの任意の１つである、ステップと、
前記第１のセクションの前記量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、前記ピクセルが現在のフレーム内のピクセル位置から前記次のフレームに移動した後に検出するステップであって、前記移動推定近傍は、第１のピクセルを中心として配置された隣接ピクセルを含み、前記第１のピクセルは前記第１のセクション内の任意のピクセルである、ステップと、
前記現在のフレームから前記次のフレームに変化する前記移動推定近傍内のすべての前記ピクセルのピクセル位置変化状況に従って、前記第１のピクセルが移動領域又は静止領域内にあるかどうかを判定するステップと、
前記第１のピクセルが前記移動領域内にある場合に、前記第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択し、前記第１のブレンディング係数、前記現在のフレーム内の前記第１のピクセルのピクセル値、及び前のフレーム内の前記第１のピクセルの移動補正ピクセル値に従って前記第１のピクセルに対応する第１のノイズリダクションピクセル値を計算するステップであって、前記第１のフレーム差分は前記現在のフレーム内の前記第１のピクセルの前記ピクセル値と前記前のフレーム内の前記第１のピクセルの前記移動補正ピクセル値との間の差であり、前記移動補正ピクセル値は、前記現在のフレーム内の前記第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前記前のフレーム内の前記第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られる、ステップと、
前記第１のピクセルが前記静止領域内にある場合に、前記第１のピクセルの第２のフレーム差分及びプリセットされた第２のフレーム差分しきい値に従って第２のブレンディング係数を選択し、次いで、前記第２のブレンディング係数、前記現在のフレーム内の前記第１のピクセルの前記ピクセル値、及び前記前のフレーム内の前記第１のピクセルのノイズリダクションピクセル値に従って前記第１のピクセルに対応する第２のノイズリダクションピクセル値を計算するステップであって、前記第２のフレーム差分しきい値は、前記第１のフレーム差分しきい値よりも大きく、前記第２のフレーム差分は前記現在のフレーム内の前記第１のピクセルの前記ピクセル値と前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセル値との間の差であり、そして前記ノイズリダクションピクセル値は、前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセルの対応する位置のピクセル値である、ステップとを含むテンポラルノイズリダクション方法。
【請求項２】
雑音画像の第１のセクションの量子化ノイズを取得する前記ステップは、
前記第１のセクションを複数のブロックに分割するステップであって、各ブロックは複数のピクセルを含む、ステップと、
第１のブロック内のすべてのピクセルの量子化ノイズを取得し、前記第１のブロック内のすべての前記ピクセルの前記量子化ノイズに従って前記第１のブロックの量子化ノイズを取得し、ここで、前記第１のブロックは、前記第１のセクション内の任意のブロックであり、そして前記第１のセクション内の前記第１のブロックを除くすべての前記ブロックの量子化ノイズを別々に取得する、ステップと、
前記第１のセクション内のすべての前記ブロックの前記量子化ノイズに基づいて平均量子化ノイズを計算し、前記平均量子化ノイズを前記第１のセクションの前記量子化ノイズとして使用するか、又は、前記第１のセクション内のすべての前記ブロックの前記量子化ノイズを１つずつ累算し、累積ヒストグラムにおいてプリセットされたノイズしきい値よりも大きい量子化ノイズを前記第１のセクションの前記量子化ノイズとして使用する、ステップとを含む請求項１に記載の方法。
【請求項３】
前記第１のブロック内のすべての前記ピクセルの前記量子化ノイズに従って前記第１のブロックの量子化ノイズを取得する前記ステップは、
前記第１のブロック内の各ピクセルがフラット領域内にあるかどうかを判定するステップと、
前記フラット領域内にある前記第１のブロック内のすべてのピクセルの量子化ノイズを取得するステップと、
前記フラット領域内にある前記第１のブロック内のすべての前記ピクセルの前記量子化ノイズに従って前記第１のブロックの前記量子化ノイズを計算するステップとを含む請求項２に記載の方法。
【請求項４】
前記第１のブロック内の各ピクセルが、フラット領域内にあるかどうかを判定する前記ステップは、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するステップであって、前記ノイズ推定近傍は、前記第１のピクセルを中心として配置され、そして前記第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、前記第１のピクセルは前記第１のブロック内の任意のピクセルである、ステップと、
前記ノイズ推定近傍内のすべての前記ピクセルの前記ピクセル値及びソーベルエッジ畳み込みカーネルに従って前記第１のピクセルのエッジ推定値を計算するステップと、
前記第１のピクセルの前記エッジ推定値が、エッジ領域しきい値よりも大きいかどうかを判定し、前記第１のピクセルの前記エッジ推定値が、前記エッジ領域しきい値よりも大きい場合に、前記第１のピクセルがエッジ領域内にあると判定するか、又は前記第１のピクセルの前記エッジ推定値が、前記エッジ領域しきい値以下である場合に、前記第１のピクセルが前記エッジ領域内にないと判定する、ステップと、
前記ノイズ推定近傍内のすべての前記ピクセルの前記ピクセル値に従って前記第１のピクセルのテクスチャ推定値を計算するステップと、
前記第１のピクセルの前記テクスチャ推定値が、テクスチャ領域しきい値よりも大きいかどうかを判定し、前記第１のピクセルの前記テクスチャ推定値が、前記テクスチャ領域しきい値よりも大きい場合に、前記第１のピクセルがテクスチャ領域内にあると判定するか、又は前記第１のピクセルの前記テクスチャ推定値が、前記テクスチャ領域しきい値以下である場合に、前記第１のピクセルが前記テクスチャ領域内にないと判定し、
前記第１のピクセルが、前記第１のピクセルが前記エッジ領域内にないという条件と、前記第１のピクセルが前記テクスチャ領域内にないという条件の両方を満たす場合に、前記第１のピクセルが前記フラット領域内にあると判定する、ステップとを含む請求項３に記載の方法。
【請求項５】
前記ノイズ推定近傍内のすべての前記ピクセルの前記ピクセル値及びソーベルエッジ畳み込みカーネルに従って前記第１のピクセルのエッジ推定値を計算する前記ステップは、
前記第１のピクセルの前記エッジ推定値を、下記式、
ＥＭ（ｘ，ｙ）＝｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｈ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｖ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｐ４５｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｎ４５｜
で計算するステップであって、
ここで、（ｘ，ｙ）は前記第１のピクセルの前記現在のフレーム内のピクセル位置であり、ＥＭ（ｘ，ｙ）は前記第１のピクセルの前記エッジ推定値であり、ＮＨ（ｘ，ｙ）は前記ノイズ推定近傍であり、Ｅ＿ｈ、Ｅ＿ｖ、Ｅ＿ｐ４５、及びＥ＿ｎ４５は前記ソーベルエッジ畳み込みカーネルであり、＊は畳み込み記号である、ステップを含み、
前記ノイズ推定近傍内のすべての前記ピクセルの前記ピクセル値に従って前記第１のピクセルのテクスチャ推定値を計算するステップは、
前記第１のピクセルの前記テクスチャ推定値を、下記式、
Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＝Ｍａｘ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ））−Ｍｉｎ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するステップであって、
ここで、（ｘ，ｙ）は前記第１のピクセルの前記現在のフレーム内の前記ピクセル位置であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は前記第１のピクセルの前記テクスチャ推定値であり、ｖａｌｕｅｉは前記ノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）は前記ノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべての前記ピクセルの前記ピクセル値の中央値又は平均値である、ステップと、
前記第１のピクセルが、前記第１のピクセルが前記エッジ領域内にないという条件と、前記第１のピクセルが前記テクスチャ領域内にないという条件の両方を満たすかどうかを、下記式、
（ＥＭ（ｘ，ｙ）＜＝ＥＧｔｈ）＆＆（Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＜＝ＭＮｔｈ）＝＝１
で判定するステップであって、
ここで、ＥＭ（ｘ，ｙ）は前記第１のピクセルの前記エッジ推定値であり、ＥＧｔｈは前記エッジ領域しきい値であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は前記第１のピクセルの前記テクスチャ推定値であり、ＭＮｔｈは前記テクスチャ領域しきい値である、ステップとを含む請求項４に記載の方法。
【請求項６】
第１のブロック内のすべてのピクセルの量子化ノイズを取得する前記ステップは、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するステップであって、前記ノイズ推定近傍は、前記第１のピクセルを中心として配置され、そして前記第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、前記第１のピクセルは前記第１のブロック内の任意のピクセルである、ステップと、
前記第１のピクセルの前記量子化ノイズを、下記式、
ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）＝ｓｕｍ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するステップであって、
ここで、（ｘ，ｙ）は前記第１のピクセルの前記現在のフレーム内のピクセル位置であり、ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）は前記第１のピクセルの前記量子化ノイズであり、ｖａｌｕｅｉは前記ノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）は前記ノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべての前記ピクセルの前記ピクセル値の中央値又は平均値である、ステップとを含む請求項２に記載の方法。
【請求項７】
前記第１のセクションの前記量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、前記ピクセルが現在のフレーム内のピクセル位置から前記次のフレームに移動した後に検出する前記ステップは、
前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って前記第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するステップと、
前記第１のピクセルの前記輝度耐ノイズ値及び前記勾配耐ノイズ値と前記現在のフレーム内のピクセル位置における前記第１のピクセルのピクセル値とに従って前記第１のピクセルに対して移動検出を実行して、前記第１のピクセルの前記次のフレーム内のピクセル位置を得るステップと、
前記第１のセクションの前記量子化ノイズに従って前記第１のセクション内の前記第１のピクセルを除く他のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するステップと、
前記第１のセクション内の前記第１のピクセルを除く前記他のピクセルの前記輝度耐ノイズ値及び前記勾配耐ノイズ値と前記現在のフレーム内のピクセル位置における前記第１のセクション内の前記第１のピクセルを除く前記他のピクセルのピクセル値とに従って前記第１のセクション内の前記第１のピクセルを除く前記他のピクセルに対して移動検出を実行して、前記第１のセクション内の前記第１のピクセルを除く前記他のピクセルの前記次のフレーム内のピクセル位置を得るステップとを含む請求項１に記載の方法。
【請求項８】
前記第１のピクセルの前記輝度耐ノイズ値及び前記勾配耐ノイズ値と前記現在のフレーム内のピクセル位置における前記第１のピクセルのピクセル値とに従って前記第１のピクセルに対して移動検出を実行して、前記第１のピクセルの前記次のフレーム内のピクセル位置を得る前記ステップは、
前記第１のピクセルの前記輝度耐ノイズ値に従って、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの輝度変化値を計算するステップと、
前記第１のピクセルの前記勾配耐ノイズ値に従って、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの水平方向勾配変化値を計算するステップと、
前記第１のピクセルの前記勾配耐ノイズ値に従って、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの垂直方向勾配変化値を計算するステップと、
前記輝度変化値、前記水平方向勾配変化値、及び前記垂直方向勾配変化値に従って前記第１のピクセルのピクセル類似度マッチング値を計算するステップと、
前記ピクセル類似度マッチング値の最小値が取得されたときに前記第１のピクセルの前記次のフレーム内のピクセル位置を計算するステップとを含む請求項７に記載の方法。
【請求項９】
前記第１のピクセルの前記輝度耐ノイズ値に従って、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの輝度変化値を計算する前記ステップは、
前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの前記輝度変化値を、下記式、
【数１９】
2017502551.tif 000021
で計算するステップであって、
ここで、Δｇｒａｙ’は前記輝度変化値であり、ｌａｔｈ（ｎｏｉｓｅｌｖｌ）は前記第１のピクセルの前記輝度耐ノイズ値であり、Δｇｒａｙ＝ａｂｓ（ｇｍ（ｘ，ｙ）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ））であり、（ｘ，ｙ）は前記第１のピクセルの前記現在のフレーム内の前記ピクセル位置であり、ｇｍ（ｘ，ｙ）はｍ番目のフレーム内の前記第１のピクセルのピクセル値であり、前記ｍ番目のフレームは前記第１のピクセルの前記現在のフレームであり、（ｍ＋１）番目のフレームは前記第１のピクセルの前記次のフレームであり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）は前記（ｍ＋１）番目のフレーム内の前記第１のピクセルのピクセル値である、ステップを含み、
前記第１のピクセルの前記勾配耐ノイズ値に従って、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの水平方向勾配変化値を計算するステップは、
前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの前記水平方向勾配変化値を、下記式、
【数２０】
2017502551.tif 000022
で計算するステップであって、
ここで、Δｇｒａｄｈ’は前記水平方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は前記第１のピクセルの前記勾配耐ノイズ値であり、
Δｇｒａｄｈ＝ａｂｓ（ｇｍ（ｘ＋１，ｙ）−ｇｍ（ｘ−１，ｙ）−（ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）−ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）））であり、
ｇｍ（ｘ＋１，ｙ）は前記第１のピクセルが水平方向において前記現在のフレーム内の前記ピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ−１，ｙ）は前記第１のピクセルが水平方向において前記現在のフレーム内の前記ピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）は前記第１のピクセルが水平方向において前記次のフレーム内の前記ピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）は前記第１のピクセルが水平方向において前記次のフレーム内の前記ピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である、ステップを含み、
前記第１のピクセルの前記勾配耐ノイズ値に従って、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの垂直方向勾配変化値を計算するステップは、
前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内のピクセル位置に移動するときの前記垂直方向勾配変化値を、下記式、
【数２１】
2017502551.tif 000023
で計算するステップであって、
ここで、Δｇｒａｄｖ’は前記垂直方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は前記第１のピクセルの前記勾配耐ノイズ値であり、
Δｇｒａｄｖ＝ａｂｓ（ｇｍ（ｘ，ｙ＋１）−ｇｍ（ｘ，ｙ−１）−（ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）））であり、
ｇｍ（ｘ，ｙ＋１）は前記第１のピクセルが垂直方向において前記現在のフレーム内の前記ピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ，ｙ−１）は前記第１のピクセルが垂直方向において前記現在のフレーム内の前記ピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）は前記第１のピクセルが垂直方向において前記次のフレーム内の前記ピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）は前記第１のピクセルが垂直方向において前記次のフレーム内の前記ピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である、ステップを含み、
前記輝度変化値、前記水平方向勾配変化値、及び前記垂直方向勾配変化値に従って前記第１のピクセルのピクセル類似度マッチング値を計算するステップは、
前記第１のピクセルの前記ピクセル類似度マッチング値を、下記式、
ｃｏｓｔ−ｖｏｌｕｍｅ＝Δｇｒａｙ’＋Δｇｒａｄｈ’＋Δｇｒａｄｖ’
で計算するステップであって、
ここで、ｃｏｓｔ−ｖｏｌｕｍｅは前記第１のピクセルの前記ピクセル類似度マッチング値であり、Δｇｒａｙ’は前記輝度変化値であり、Δｇｒａｄｈ’は前記水平方向勾配変化値であり、Δｇｒａｄｖ’は前記垂直方向勾配変化値である、ステップを含む請求項８に記載の方法。
【請求項１０】
雑音画像の第１のセクションの量子化ノイズを取得する前記ステップの後に、前記方法は
前記雑音画像の全Ｎ個のセクションの量子化ノイズを取得するステップと、
前記Ｎ個のセクションの前記量子化ノイズをＮ個のプリセットされた量子化しきい値と比較し、前記Ｎ個のセクションの前記量子化ノイズを（Ｎ＋１）個のノイズレベルに分類するステップとをさらに含み、
前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って前記第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得する前記ステップは、
前記第１のセクションのノイズレベルを抽出し、前記第１のピクセルの前記輝度耐ノイズ値を、前記ノイズレベルと前記輝度耐ノイズ値との間の正相関関係に従って取得し、前記第１のピクセルの前記勾配耐ノイズ値を、前記ノイズレベルと前記勾配耐ノイズ値との間の正相関関係に従って取得するステップを含む請求項７に記載の方法。
【請求項１１】
前記現在のフレームから前記次のフレームに変化する前記移動推定近傍内のすべての前記ピクセルのピクセル位置変化状況に従って、前記第１のピクセルが移動領域又は静止領域内にあるかどうかを判定する前記ステップは、
前記移動推定近傍内のすべての前記ピクセルの前記現在のフレーム内のピクセル位置及び前記移動推定近傍内のすべての前記ピクセルの前記次のフレーム内のピクセル位置に従って前記移動推定近傍内の前記静止領域内のピクセルを計数するステップと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの量を移動／静止の判定のためのプリセットされたしきい値と比較するステップと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの前記量が移動／静止の判定のための前記プリセットされたしきい値以上である場合に、前記第１のピクセルは前記静止領域内にあると判定するステップと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの前記量が移動／静止の判定のための前記プリセットされたしきい値よりも小さい場合に、前記第１のピクセルは前記移動領域内にあると判定するステップとを含む請求項１に記載の方法。
【請求項１２】
前記第１のピクセルの前記第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択する前記ステップは、
前記第１のピクセルの前記第１のフレーム差分が前記プリセットされた第１のフレーム差分しきい値よりも小さいかどうかを判定するステップと、
前記第１のピクセルの前記第１のフレーム差分が前記第１のフレーム差分しきい値以下である場合に、前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って前記第１のブレンディング係数を選択するステップと、
前記第１のピクセルの前記第１のフレーム差分が前記第１のフレーム差分しきい値よりも大きい場合に、前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って第１のフレーム差分重み係数を選択し、前記第１のフレーム差分しきい値と、前記第１のピクセルの前記第１のフレーム差分と、前記第１のフレーム差分重み係数とに従って前記第１のブレンディング係数を選択するステップとを含む請求項１に記載の方法。
【請求項１３】
前記第１のブレンディング係数、前記現在のフレーム内の前記第１のピクセルのピクセル値、及び前のフレーム内の前記第１のピクセルの移動補正ピクセル値に従って前記第１のピクセルに対応する第１のノイズリダクションピクセル値を計算する前記ステップは、
前記第１のピクセルに対応する前記第１のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒ＝ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）×ａｌｐｈａ＿ｆｉｒ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｆｉｒ）
で計算するステップであって、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒは前記第１のピクセルに対応する前記第１のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）は前記現在のフレーム内の前記第１のピクセルの前記対応する位置の前記ピクセル値であり、そして移動推定及び移動補正が前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセルに基づいて実行された後に得られ、ａｌｐｈａ＿ｆｉｒは前記第１のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は前記現在のフレーム内の前記第１のピクセルの前記ピクセル値である、ステップを含む請求項１に記載の方法。
【請求項１４】
前記第２のブレンディング係数、前記現在のフレーム内の前記第１のピクセルの前記ピクセル値、及び前記前のフレーム内の前記第１のピクセルのノイズリダクションピクセル値に従って前記第１のピクセルに対応する第２のノイズリダクションピクセル値を計算する前記ステップは、
前記第１のピクセルに対応する前記第２のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃ＝ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）×ａｌｐｈａ＿ｓｅｃ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｓｅｃ）
で計算するステップであって、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃは前記第１のピクセルに対応する前記第２のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）は前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセルの前記対応する位置の前記ピクセル値であり、ａｌｐｈａ＿ｓｅｃは前記第２のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は前記現在のフレーム内の前記第１のピクセルの前記ピクセル値である、ステップを含む請求項１に記載の方法。
【請求項１５】
雑音画像のためのテンポラルノイズリダクション装置であって、
雑音画像の第１のセクションの量子化ノイズを取得するように構成されたノイズ取得モジュールであって、前記第１のセクションは、前記雑音画像から分割された複数のセクションのうちの任意の１つである、ノイズ取得モジュールと、
前記第１のセクションの前記量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、前記ピクセルが現在のフレーム内のピクセル位置から前記次のフレームに移動した後に検出するように構成された移動推定モジュールであって、前記移動推定近傍は、第１のピクセルを中心として配置された隣接ピクセルを含み、前記第１のピクセルは前記第１のセクション内の任意のピクセルである、移動推定モジュールと、
前記現在のフレームから前記次のフレームに変化する前記移動推定近傍内のすべての前記ピクセルのピクセル位置変化状況に従って、前記第１のピクセルが移動領域又は静止領域内にあるかどうかを判定し、前記第１のピクセルが前記移動領域内にある場合に、第１のブレンディング係数選択モジュールと第１のテンポラルノイズリダクションモジュールとの実行をトリガするか、又は前記第１のピクセルが前記静止領域内にある場合に、第２のブレンディング係数選択モジュールと第２のテンポラルノイズリダクションモジュールとの実行をトリガするように構成された、移動／静止判定モジュールとを備え、
前記第１のブレンディング係数選択モジュールは、前記第１のピクセルが移動領域内にあるときに、前記第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択するように構成され、ここで、前記第１のフレーム差分は前記現在のフレーム内の前記第１のピクセルのピクセル値と前記前のフレーム内の前記第１のピクセルの移動補正ピクセル値との間の差であり、
前記第１のテンポラルノイズリダクションモジュールは、前記第１のブレンディング係数、前記現在のフレーム内の前記第１のピクセルの前記ピクセル値、及び前記前のフレーム内の前記第１のピクセルの前記移動補正ピクセル値に従って前記第１のピクセルに対応する第１のノイズリダクションピクセル値を計算するように構成され、ここで、前記移動補正ピクセル値は、前記現在のフレーム内の前記第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前記前のフレーム内の前記第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られ、
前記第２のブレンディング係数選択モジュールは、前記第１のピクセルが静止領域内にあるときに、前記第１のピクセルの第２のフレーム差分及びプリセットされた第２のフレーム差分しきい値に従って第２のブレンディング係数を選択するように構成され、ここで、前記第２のフレーム差分は前記現在のフレーム内の前記第１のピクセルの前記ピクセル値と前記前のフレーム内の前記第１のピクセルのノイズリダクションピクセル値との間の差であり、そして前記第２のフレーム差分しきい値は、前記第１のフレーム差分しきい値よりも大きく、
前記第２のテンポラルノイズリダクションモジュールは、前記第２のブレンディング係数、前記現在のフレーム内の前記第１のピクセルの前記ピクセル値、及び前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセル値に従って前記第１のピクセルに対応する第２のノイズリダクションピクセル値を計算するように構成され、ここで、前記ノイズリダクションピクセル値は、前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセルの対応する位置のピクセル値であるテンポラルノイズリダクション装置。
【請求項１６】
前記ノイズ取得モジュールは、
前記第１のセクションを複数のブロックに分割するように構成されたブロック分割サブモジュールであって、各ブロックは複数のピクセルを含む、ブロック分割サブモジュールと、
第１のブロック内のすべてのピクセルの量子化ノイズを取得し、前記第１のブロック内のすべての前記ピクセルの前記量子化ノイズに従って前記第１のブロックの量子化ノイズを取得し、ここで、前記第１のブロックは、前記第１のセクション内の任意のブロックであり、そして前記第１のセクション内の前記第１のブロックを除くすべての前記ブロックの量子化ノイズを別々に取得するように構成された量子化ノイズ取得サブモジュールと、
前記第１のセクション内のすべての前記ブロックの前記量子化ノイズに基づいて平均量子化ノイズを計算し、前記平均量子化ノイズを前記第１のセクションの前記量子化ノイズとして使用するか、又は、前記第１のセクション内のすべての前記ブロックの前記量子化ノイズを１つずつ累算し、累積ヒストグラムにおいてプリセットされたノイズしきい値よりも大きい量子化ノイズを前記第１のセクションの前記量子化ノイズとして使用するように構成されたセクションノイズ取得サブモジュールとを備える請求項１５に記載の装置。
【請求項１７】
前記量子化ノイズ取得サブモジュールは、
前記第１のブロック内の各ピクセルが、フラット領域内にあるかどうかを判定するように構成された領域判定ユニットと、
前記フラット領域内にある前記第１のブロック内のすべてのピクセルの量子化ノイズを取得するように構成されたフラット領域量子化値取得ユニットと、
前記フラット領域内にある前記第１のブロック内のすべての前記ピクセルの前記量子化ノイズに従って前記第１のブロックの前記量子化ノイズを計算するように構成されたブロック量子化値取得ユニットとを備える請求項１６に記載の装置。
【請求項１８】
前記領域判定ユニットは、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するように構成されたピクセル値取得サブユニットであって、前記ノイズ推定近傍は、前記第１のピクセルを中心として配置され、そして前記第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、前記第１のピクセルは前記第１のブロック内の任意のピクセルである、ピクセル値取得サブユニットと、
前記ノイズ推定近傍内のすべての前記ピクセルの前記ピクセル値及びソーベルエッジ畳み込みカーネルに従って前記第１のピクセルのエッジ推定値を計算するように構成されたエッジ推定サブユニットと、
前記第１のピクセルの前記エッジ推定値が、エッジ領域しきい値よりも大きいかどうかを判定し、前記第１のピクセルの前記エッジ推定値が、前記エッジ領域しきい値よりも大きい場合に、前記第１のピクセルがエッジ領域内にあると判定するか、又は前記第１のピクセルの前記エッジ推定値が、前記エッジ領域しきい値以下である場合に、前記第１のピクセルが前記エッジ領域内にないと判定するように構成されたエッジ領域判定サブユニットと、
前記ノイズ推定近傍内のすべての前記ピクセルの前記ピクセル値に従って前記第１のピクセルのテクスチャ推定値を計算するように構成されたテクスチャ推定サブユニットと、
前記第１のピクセルの前記テクスチャ推定値が、テクスチャ領域しきい値よりも大きいかどうかを判定し、前記第１のピクセルの前記テクスチャ推定値が、前記テクスチャ領域しきい値よりも大きい場合に、前記第１のピクセルがテクスチャ領域内にあると判定するか、又は前記第１のピクセルの前記テクスチャ推定値が、前記テクスチャ領域しきい値以下である場合に、前記第１のピクセルが前記テクスチャ領域内にないと判定するように構成されたテクスチャ領域判定サブユニットと、
前記第１のピクセルが、前記第１のピクセルが前記エッジ領域内にないという条件と、前記第１のピクセルが前記テクスチャ領域内にないという条件の両方を満たす場合に、前記第１のピクセルは前記フラット領域内にあると判定するように構成されたフラット領域判定サブユニットとを備える請求項１７に記載の装置。
【請求項１９】
前記エッジ推定サブユニットは、前記第１のピクセルの前記エッジ推定値を、下記式、
ＥＭ（ｘ，ｙ）＝｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｈ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｖ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｐ４５｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｎ４５｜
で計算するように具体的に構成され、
ここで、（ｘ，ｙ）は前記第１のピクセルの前記現在のフレーム内のピクセル位置であり、ＥＭ（ｘ，ｙ）は前記第１のピクセルの前記エッジ推定値であり、ＮＨ（ｘ，ｙ）は前記ノイズ推定近傍であり、Ｅ＿ｈ、Ｅ＿ｖ、Ｅ＿ｐ４５、及びＥ＿ｎ４５は前記ソーベルエッジ畳み込みカーネルであり、＊は畳み込み記号であり、
前記テクスチャ推定サブユニットは、前記第１のピクセルの前記テクスチャ推定値を、下記式、
Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＝Ｍａｘ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ））−Ｍｉｎ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するように具体的に構成され、
ここで、（ｘ，ｙ）は前記第１のピクセルの前記現在のフレーム内の前記ピクセル位置であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は前記第１のピクセルの前記テクスチャ推定値であり、ｖａｌｕｅｉは前記ノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）は前記ノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべての前記ピクセルの前記ピクセル値の中央値又は平均値であり、
前記フラット領域判定サブユニットは、前記第１のピクセルが、前記第１のピクセルが前記エッジ領域内にないという条件と、前記第１のピクセルが前記テクスチャ領域内にないという条件の両方を満たすかどうかを、下記式、
（ＥＭ（ｘ，ｙ）＜＝ＥＧｔｈ）＆＆（Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＜＝ＭＮｔｈ）＝＝１
で判定するように構成され、
ここで、ＥＭ（ｘ，ｙ）は前記第１のピクセルの前記エッジ推定値であり、ＥＧｔｈは前記エッジ領域しきい値であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は前記第１のピクセルの前記テクスチャ推定値であり、ＭＮｔｈは前記テクスチャ領域しきい値である請求項１８に記載の装置。
【請求項２０】
前記量子化ノイズ取得サブモジュールは、ノイズ推定近傍内のすべてのピクセルのピクセル値を取得し、ここで、前記ノイズ推定近傍は、前記第１のピクセルを中心として配置され、そして前記第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、前記第１のピクセルは前記第１のブロック内の任意のピクセルであり、
前記第１のピクセルの前記量子化ノイズを、下記式、
ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）＝ｓｕｍ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算し、
ここで、（ｘ，ｙ）は前記第１のピクセルの前記現在のフレーム内のピクセル位置であり、ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）は前記第１のピクセルの前記量子化ノイズであり、ｖａｌｕｅｉは前記ノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）は前記ノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべての前記ピクセルの前記ピクセル値の中央値又は平均値である、ように具体的に構成される請求項１６に記載の装置。
【請求項２１】
前記移動推定モジュールは、
前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って前記第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するように構成された耐ノイズ値取得サブモジュールと、
前記第１のピクセルの前記輝度耐ノイズ値及び前記勾配耐ノイズ値と前記現在のフレーム内のピクセル位置における前記第１のピクセルのピクセル値とに従って前記第１のピクセルに対して移動検出を実行して、前記第１のピクセルの前記次のフレーム内のピクセル位置を得るように構成された移動検出サブモジュールとを備える請求項１５に記載の装置。
【請求項２２】
前記移動検出サブモジュールは、
前記第１のピクセルの前記輝度耐ノイズ値に従って、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの輝度変化値を計算するように構成された輝度計算ユニットと、
前記第１のピクセルの前記勾配耐ノイズ値に従って、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの水平方向勾配変化値を計算するように構成された水平勾配計算ユニットと、
前記第１のピクセルの前記勾配耐ノイズ値に従って、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの垂直方向勾配変化値を計算するように構成された垂直勾配計算ユニットと、
前記輝度変化値、前記水平方向勾配変化値、及び前記垂直方向勾配変化値に従って前記第１のピクセルのピクセル類似度マッチング値を計算するように構成された類似度マッチング値計算ユニットと、
前記ピクセル類似度マッチング値の最小値が取得されたときに前記第１のピクセルの前記次のフレーム内のピクセル位置を計算するように構成されたピクセル位置計算ユニットとを備える請求項２１に記載の装置。
【請求項２３】
前記輝度計算ユニットは、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの前記輝度変化値を、下記式、
【数２２】
2017502551.tif 000024
で計算するように具体的に構成され、
ここで、Δｇｒａｙ’は前記輝度変化値であり、ｌａｔｈ（ｎｏｉｓｅｌｖｌ）は前記第１のピクセルの前記輝度耐ノイズ値であり、Δｇｒａｙ＝ａｂｓ（ｇｍ（ｘ，ｙ）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ））であり、（ｘ，ｙ）は前記第１のピクセルの前記現在のフレーム内の前記ピクセル位置であり、ｇｍ（ｘ，ｙ）はｍ番目のフレーム内の前記第１のピクセルのピクセル値であり、前記ｍ番目のフレームは前記第１のピクセルの前記現在のフレームであり、（ｍ＋１）番目のフレームは前記第１のピクセルの前記次のフレームであり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）は前記（ｍ＋１）番目のフレーム内の前記第１のピクセルのピクセル値であり、
前記水平勾配計算ユニットは、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの前記水平方向勾配変化値を、下記式、
【数２３】
2017502551.tif 000025
で計算するように具体的に構成され、
ここで、Δｇｒａｄｈ’は前記水平方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は前記第１のピクセルの前記勾配耐ノイズ値であり、
Δｇｒａｄｈ＝ａｂｓ（ｇｍ（ｘ＋１，ｙ）−ｇｍ（ｘ−１，ｙ）−（ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）−ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）））であり、
ｇｍ（ｘ＋１，ｙ）は前記第１のピクセルが水平方向において前記現在のフレーム内の前記ピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ−１，ｙ）は前記第１のピクセルが水平方向において前記現在のフレーム内の前記ピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）は前記第１のピクセルが水平方向において前記次のフレーム内の前記ピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）は前記第１のピクセルが水平方向において前記次のフレーム内の前記ピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値であり、
前記垂直勾配計算ユニットは、前記第１のピクセルが前記現在のフレーム内の前記ピクセル位置から前記次のフレーム内の前記ピクセル位置に移動するときの前記垂直方向勾配変化値を、下記式、
【数２４】
2017502551.tif 000026
で計算するように具体的に構成され、
ここで、Δｇｒａｄｖ’は前記垂直方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は前記第１のピクセルの前記勾配耐ノイズ値であり、
Δｇｒａｄｖ＝ａｂｓ（ｇｍ（ｘ，ｙ＋１）−ｇｍ（ｘ，ｙ−１）−（ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）））であり、
ｇｍ（ｘ，ｙ＋１）は前記第１のピクセルが垂直方向において前記現在のフレーム内の前記ピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ，ｙ−１）は前記第１のピクセルが垂直方向において前記現在のフレーム内の前記ピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）は前記第１のピクセルが垂直方向において前記次のフレーム内の前記ピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）は前記第１のピクセルが垂直方向において前記次のフレーム内の前記ピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値であり、
前記類似度マッチング値計算ユニットは、前記第１のピクセルの前記ピクセル類似度マッチング値を、下記式、
ｃｏｓｔ−ｖｏｌｕｍｅ＝Δｇｒａｙ’＋Δｇｒａｄｈ’＋Δｇｒａｄｖ’
で計算するように具体的に構成され、
ここで、ｃｏｓｔ−ｖｏｌｕｍｅは前記第１のピクセルの前記ピクセル類似度マッチング値であり、Δｇｒａｙ’は前記輝度変化値であり、Δｇｒａｄｈ’は前記水平方向勾配変化値であり、Δｇｒａｄｖ’は前記垂直方向勾配変化値である請求項２２に記載の装置。
【請求項２４】
前記ノイズ取得モジュールは、前記雑音画像の全Ｎ個のセクションの量子化ノイズを取得し、前記Ｎ個のセクションの前記量子化ノイズをＮ個のプリセットされた量子化しきい値と比較し、前記Ｎ個のセクションの前記量子化ノイズを（Ｎ＋１）個のノイズレベルに分類するようにさらに構成され、
前記耐ノイズ値取得サブモジュールは、前記第１のセクションのノイズレベルを抽出し、前記第１のピクセルの輝度耐ノイズ値を、前記ノイズレベルと前記輝度耐ノイズ値との間の正相関関係に従って取得し、前記第１のピクセルの前記勾配耐ノイズ値を、前記ノイズレベルと前記勾配耐ノイズ値との間の正相関関係に従って取得するように具体的に構成される請求項２１に記載の装置。
【請求項２５】
前記移動／静止判定モジュールは、
前記移動推定近傍内のすべての前記ピクセルの前記現在のフレーム内のピクセル位置及び前記移動推定近傍内のすべての前記ピクセルの前記次のフレーム内のピクセル位置に従って前記移動推定近傍内の前記静止領域内のピクセルを計数するように構成された計数サブモジュールと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの量を移動／静止の判定のためのプリセットされたしきい値と比較するように構成された移動／静止判定サブモジュールと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの前記量が移動／静止の判定のための前記プリセットされたしきい値以上である場合に、前記第１のピクセルが前記静止領域内にあると判定するように構成された静止判定サブモジュールと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの前記量が移動／静止の判定のための前記プリセットされたしきい値未満である場合に、前記第１のピクセルが前記移動領域内にあると判定するように構成された移動判定サブモジュールとを備える請求項１５に記載の装置。
【請求項２６】
前記第１のブレンディング係数選択モジュールは、
前記第１のピクセルの前記第１のフレーム差分が前記プリセットされた第１のフレーム差分しきい値よりも小さいかどうかを判定するように構成された第１のフレーム差分判定サブモジュールと、
前記第１のピクセルの前記第１のフレーム差分が前記第１のフレーム差分しきい値以下である場合に、前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って前記第１のブレンディング係数を選択するように構成された第１の選択サブモジュールと、
前記第１のピクセルの前記第１のフレーム差分が前記第１のフレーム差分しきい値よりも大きい場合に、前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って第１のフレーム差分重み係数を選択し、前記第１のフレーム差分しきい値と、前記第１のピクセルの前記第１のフレーム差分と、前記第１のフレーム差分重み係数とに従って前記第１のブレンディング係数を選択するように構成された第２の選択サブモジュールとを備える請求項１５に記載の装置。
【請求項２７】
前記第１のテンポラルノイズリダクションモジュールは、前記第１のピクセルに対応する前記第１のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒ＝ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）×ａｌｐｈａ＿ｆｉｒ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｆｉｒ）
で計算するように具体的に構成され、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒは前記第１のピクセルに対応する前記第１のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）は前記現在のフレーム内の前記第１のピクセルの前記対応する位置の前記ピクセル値であり、そして移動推定及び移動補正が前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセルに基づいて実行された後に得られ、ａｌｐｈａ＿ｆｉｒは前記第１のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は前記現在のフレーム内の前記第１のピクセルの前記ピクセル値である請求項１５に記載の装置。
【請求項２８】
前記第２のテンポラルノイズリダクションモジュールは、前記第１のピクセルに対応する前記第２のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃ＝ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）×ａｌｐｈａ＿ｓｅｃ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｓｅｃ）
で計算するように具体的に構成され、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃは前記第１のピクセルに対応する前記第２のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）は前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセルの前記対応する位置の前記ピクセル値であり、ａｌｐｈａ＿ｓｅｃは前記第２のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は前記現在のフレーム内の前記第１のピクセルの前記ピクセル値である請求項１５に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術の分野に関するものであり、特に、雑音画像のためのテンポラルノイズリダクション方法及び関係する装置に関するものである。
【背景技術】
【０００２】
画像表示デバイスがますます発展するにつれて、人々は、高品質及び高解像度の画像情報に対するより高い要求条件を求める。実際、デジタル画像は、通常、２値化及び伝送のプロセスにおいて、撮像デバイス、外部環境におけるノイズ干渉、及び同様のものの影響を受ける。したがって、ノイズ干渉を含むそのようなデジタル画像は、通常、ノイズを含む画像、又は雑音画像と称される。ノイズは、デジタル画像の解像度を低下させ、そして画像の表示細部に影響を及ぼすが、これは画像のその後の処理に極めて不利である。したがって、効果的なノイズ抑制が、画像アプリケーションに不可欠である。画像ノイズリダクションは、ビデオ処理システムにおいて大きな意味を有する。テレビジョンシステムでは、インターレース解除、アンチエイリアシング、及び画像スケーリングは、システムがノイズのない、又はノイズの少ない画像を入力画像情報として提供することを必要とし、監視システムでは、画像ノイズリダクションは、監視画像の品質を改善するための主要な方法でもある。
【０００３】
テンポラルノイズリダクション（Ｔｅｍｐｏｒａｌ  Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ，ＴＮＲ）は、画像ノイズリダクションのための重要な技術的方法である。従来技術において一般に使用されるテンポラルノイズリダクション方法は、下記式、
ｐｉｘｅｌｔｎｒ（ｘ，ｙ，ｔ）＝ｐｉｘｅｌｔｎｒ（ｘ，ｙ，ｔ−Δｔ）×ａｌｐｈａ＋ｐｉｘｅｌ（ｘ，ｙ，ｔ）×（１−ａｌｐｈａ）
で実施されるものとしてよく、
ここで、ｐｉｘｅｌは元の雑音画像を示し、ｐｉｘｅｌｔｎｒはテンポラルノイズリダクションの後に得られる画像であり、デジタル画像では、前述の変数は両方とも離散変数で置き換えられ、ｘ及びｙは二次元空間座標であり、そしてｔは一次元時間座標であり、ここで、ｘ及びｙは指示されたピクセルの位置を決定し、ｔは画像シーケンス内の現在の画像の位置、すなわち、フレームの量を表し、Δｔは時間オフセットであり、そしてΔｔは通常１に設定され、ａｌｐｈａ∈［０，１］であり、そしてａｌｐｈａはブレンディング（ｂｌｅｎｄｉｎｇ）係数であるとともに、ノイズリダクション強度を決定するために使用され、より大きいａｌｐｈａはより高いノイズリダクション強度を示し、そしてその逆も同様である。
【０００４】
従来技術におけるＴＮＲは、もっぱら移動／静止の判定に基づくテンポラルノイズリダクションである。対応する画像内容の移動レベル（Ｍｏｖｅｍｅｎｔ  Ｌｅｖｅｌ）は、フレーム差分のサイズに従って判定され、そして対応するブレンディング係数は、移動レベルに従って選択される。フレーム差分がより少ないときに、対応する移動レベルはより低く、移動は静止する傾向があり、より高いブレンディング係数ａｌｐｈａが選択され、そしてその逆も同様であると考えられる。
【０００５】
本発明を実施するプロセスにおいて、本発明の発明者らは、次のことを発見した。移動／静止の判定に基づくＴＮＲにおいて、画像が移動しているかどうかを判定するための基準としてフレーム差分のみが使用され、そして対応するブレンディング係数は、その判定の結果に従って選択される。しかしながら、画像の移動を判定するための基準としてフレーム差分のみが使用される場合には検出誤りが容易に生じ得る。移動画像が、静止画像であると判定された場合、画像のスミアリングが生じることがあり、そして画像の細部が失われる可能性がある。静止画像が、移動画像であると判定された場合、大きいノイズを含む画像に対してノイズリダクション効果が劣る可能性がある。したがって、移動／静止の判定に基づくＴＮＲは、異なるノイズシナリオに適応し得ない。
【発明の概要】
【０００６】
本発明の実施形態は、雑音画像のためのテンポラルノイズリダクション方法及び関係する装置を提供し、これらは、雑音画像に対して検出誤りの確率が低いノイズリダクション処理を実行するために使用され、そして複数のノイズシナリオに適用され得る。
【０００７】
前述の技術的問題を解決するために、本発明の実施形態は、次の技術的解決方法を提供する。
【０００８】
第１の態様によれば、本発明の一実施形態は、雑音画像のためのテンポラルノイズリダクション方法を提供し、この方法は
雑音画像の第１のセクションの量子化ノイズを取得するステップであって、第１のセクションは、雑音画像から分割された複数のセクションのうちの任意の１つである、ステップと、
第１のセクションの量子化ノイズに従って、移動推定近傍（ｅｓｔｉｍａｔｉｏｎ  ｎｅｉｇｈｂｏｒｈｏｏｄ）内のすべてのピクセルの次のフレーム内のピクセル位置を、ピクセルが現在のフレーム内のピクセル位置から次のフレームに移動した後に検出するステップであって、移動推定近傍は、第１のピクセルを中心として配置された隣接ピクセルを含み、第１のピクセルは第１のセクション内の任意のピクセルである、ステップと、
現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って、第１のピクセルが移動領域又は静止領域内にあるかどうかを判定するステップと、
第１のピクセルが移動領域内にある場合に、第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択し、第１のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルの移動補正ピクセル値に従って第１のピクセルに対応する第１のノイズリダクションピクセル値を計算するステップであって、第１のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルの移動補正ピクセル値との間の差であり、移動補正ピクセル値は、現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られる、ステップと、
第１のピクセルが静止領域内にある場合に、第１のピクセルの第２のフレーム差分及びプリセットされた第２のフレーム差分しきい値に従って第２のブレンディング係数を選択し、次いで、第２のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルのノイズリダクションピクセル値に従って第１のピクセルに対応する第２のノイズリダクションピクセル値を計算するステップであって、第２のフレーム差分しきい値は、第１のフレーム差分しきい値よりも大きく、第２のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルのノイズリダクションピクセル値との間の差であり、そしてノイズリダクションピクセル値は、前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値である、ステップとを含む。
【０００９】
第１の態様に関して、第１の態様の第１の可能な実施方式において、雑音画像の第１のセクションの量子化ノイズを取得するステップは、
第１のセクションを複数のブロックに分割するステップであって、各ブロックは複数のピクセルを含む、ステップと、
第１のブロック内のすべてのピクセルの量子化ノイズを取得し、第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを取得し、ここで、第１のブロックは、第１のセクション内の任意のブロックであり、そして第１のセクション内の第１のブロックを除くすべてのブロックの量子化ノイズを別々に取得する、ステップと、
第１のセクション内のすべてのブロックの量子化ノイズに基づいて平均量子化ノイズを計算し、平均量子化ノイズを第１のセクションの量子化ノイズとして使用するか、又は、第１のセクション内のすべてのブロックの量子化ノイズを１つずつ累算し、累積ヒストグラムにおいてプリセットされたノイズしきい値よりも大きい量子化ノイズを第１のセクションの量子化ノイズとして使用する、ステップとを含む。
【００１０】
第１の態様の第１の可能な実施方式に関して、第１の態様の第２の可能な実施方式において、第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを取得するステップは、
第１のブロック内の各ピクセルが、フラット領域内にあるかどうかを判定するステップと、
フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズを取得するステップと、
フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを計算するステップとを含む。
【００１１】
第１の態様の第２の可能な実施方式に関して、第１の態様の第３の可能な実施方式において、第１のブロック内の各ピクセルが、フラット領域内にあるかどうかを判定するステップは、
ノイズ推定近傍（ｎｏｉｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｎｅｉｇｈｂｏｒｈｏｏｄ）内のすべてのピクセルのピクセル値を取得するステップであって、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、第１のピクセルは第１のブロック内の任意のピクセルである、ステップと、
ノイズ推定近傍内のすべてのピクセルのピクセル値及びソーベルエッジ畳み込みカーネル（ｓｏｂｅｌ  ｅｄｇｅ  ｃｏｎｖｏｌｕｔｉｏｎ  ｋｅｒｎｅｌ）に従って第１のピクセルのエッジ推定値を計算するステップと、
第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きい場合に、第１のピクセルがエッジ領域内にあると判定するか、又は第１のピクセルのエッジ推定値が、エッジ領域しきい値以下である場合に、第１のピクセルがエッジ領域内にないと判定する、ステップと、
ノイズ推定近傍内のすべてのピクセルのピクセル値に従って第１のピクセルのテクスチャ推定値を計算するステップと、
第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きい場合に、第１のピクセルがテクスチャ領域内にあると判定するか、又は第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値以下である場合に、第１のピクセルがテクスチャ領域内にないと判定し、
第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たす場合に、第１のピクセルがフラット領域内にあると判定するステップとを含む。
【００１２】
第１の態様の第３の可能な実施方式に関して、第１の態様の第４の可能な実施方式において、ノイズ推定近傍内のすべてのピクセルのピクセル値及びソーベルエッジ畳み込みカーネルに従って第１のピクセルのエッジ推定値を計算するステップは、
第１のピクセルのエッジ推定値を、下記式、
ＥＭ（ｘ，ｙ）＝｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｈ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｖ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｐ４５｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｎ４５｜
で計算するステップであって、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、Ｅ＿ｈ、Ｅ＿ｖ、Ｅ＿ｐ４５、及びＥ＿ｎ４５はソーベルエッジ畳み込みカーネルであり、＊は畳み込み記号である、ステップを含み、
ノイズ推定近傍内のすべてのピクセルのピクセル値に従って第１のピクセルのテクスチャ推定値を計算するステップは、
第１のピクセルのテクスチャ推定値を、下記式、
Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＝Ｍａｘ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ））−Ｍｉｎ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するステップであって、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である、ステップと、
第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たすかどうかを、下記式、
（ＥＭ（ｘ，ｙ）＜＝ＥＧｔｈ）＆＆（Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＜＝ＭＮｔｈ）＝＝１
で判定するステップであって、
ここで、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＥＧｔｈはエッジ領域しきい値であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ＭＮｔｈはテクスチャ領域しきい値である、ステップとを含む。
【００１３】
第１の態様の第１の可能な実施方式に関して、第１の態様の第５の可能な実施方式において、第１のブロック内のすべてのピクセルの量子化ノイズを取得するステップは、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するステップであって、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、第１のピクセルは第１のブロック内の任意のピクセルである、ステップと、
第１のピクセルの量子化ノイズを、下記式、
ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）＝ｓｕｍ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するステップであって、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）は第１のピクセルの量子化ノイズであり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である、ステップとを含む。
【００１４】
第１の態様に関して、第１の態様の第６の可能な実施方式において、第１のセクションの量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、ピクセルが現在のフレーム内のピクセル位置から次のフレームに移動した後に検出するステップは、
第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のピクセルの輝度耐ノイズ（ｂｒｉｇｈｔｎｅｓｓ  ａｎｔｉ−ｎｏｉｓｅ）値及び勾配耐ノイズ（ｇｒａｄｉｅｎｔ  ａｎｔｉ−ｎｏｉｓｅ）値を取得するステップと、
第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値と現在のフレーム内のピクセル位置における第１のピクセルのピクセル値とに従って第１のピクセルに対して移動検出を実行して、第１のピクセルの次のフレーム内のピクセル位置を得るステップと、
第１のセクションの量子化ノイズに従って第１のセクション内の第１のピクセルを除く他のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するステップと、
第１のセクション内の第１のピクセルを除く他のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値と現在のフレーム内のピクセル位置における第１のセクション内の第１のピクセルを除く他のピクセルのピクセル値とに従って第１のセクション内の第１のピクセルを除く他のピクセルに対して移動検出を実行して、第１のセクション内の第１のピクセルを除く他のピクセルの次のフレーム内のピクセル位置を得るステップとを含む。
【００１５】
第１の態様の第６の可能な実施方式に関して、第１の態様の第７の可能な実施方式において、第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値と現在のフレーム内のピクセル位置における第１のピクセルのピクセル値とに従って第１のピクセルに対して移動検出を実行して、第１のピクセルの次のフレーム内のピクセル位置を得るステップは、
第１のピクセルの輝度耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を計算するステップと、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を計算するステップと、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を計算するステップと、
輝度変化値、水平方向勾配変化値、及び垂直方向勾配変化値に従って第１のピクセルのピクセル類似度マッチング値を計算するステップと、
ピクセル類似度マッチング値の最小値が取得されたときに第１のピクセルの次のフレーム内のピクセル位置を計算するステップとを含む。
【００１６】
第１の態様の第７の可能な実施方式に関して、第１の態様の第８の可能な実施方式において、第１のピクセルの輝度耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を計算するステップは、
第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を、下記式、
【数１】
2017502551.tif 000003
で計算するステップであって、
ここで、Δｇｒａｙ’は輝度変化値であり、ｌａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの輝度耐ノイズ値であり、Δｇｒａｙ＝ａｂｓ（ｇｍ（ｘ，ｙ）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ））であり、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｇｍ（ｘ，ｙ）はｍ番目のフレーム内の第１のピクセルのピクセル値であり、ｍ番目のフレームは第１のピクセルの現在のフレームであり、（ｍ＋１）番目のフレームは第１のピクセルの次のフレームであり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）は（ｍ＋１）番目のフレーム内の第１のピクセルのピクセル値である、ステップを含み、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を計算するステップは、
第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を、下記式、
【数２】
2017502551.tif 000004
で計算するステップであって、
ここで、Δｇｒａｄｈ’は水平方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｈ＝ａｂｓ（ｇｍ（ｘ＋１，ｙ）−ｇｍ（ｘ−１，ｙ）−（ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）−ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）））であり、
ｇｍ（ｘ＋１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ−１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である、ステップを含み、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を計算するステップは、
第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を、下記式、
【数３】
2017502551.tif 000005
で計算するステップであって、
ここで、Δｇｒａｄｖ’は垂直方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｖ＝ａｂｓ（ｇｍ（ｘ，ｙ＋１）−ｇｍ（ｘ，ｙ−１）−（ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）））であり、
ｇｍ（ｘ，ｙ＋１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ，ｙ−１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である、ステップを含み、
輝度変化値、水平方向勾配変化値、及び垂直方向勾配変化値に従って第１のピクセルのピクセル類似度マッチング値を計算するステップは、
第１のピクセルのピクセル類似度マッチング値を、下記式、
ｃｏｓｔ−ｖｏｌｕｍｅ＝Δｇｒａｙ’＋Δｇｒａｄｈ’＋Δｇｒａｄｖ’
で計算するステップであって、
ここで、ｃｏｓｔ−ｖｏｌｕｍｅは第１のピクセルのピクセル類似度マッチング値であり、Δｇｒａｙ’は輝度変化値であり、Δｇｒａｄｈ’は水平方向勾配変化値であり、Δｇｒａｄｖ’は垂直方向勾配変化値である、ステップを含む。
【００１７】
第１の態様の第６の可能な実施方式に関して、第１の態様の第９の可能な実施方式において、雑音画像の第１のセクションの量子化ノイズを取得するステップの後、この方法は
雑音画像の全Ｎ個のセクションの量子化ノイズを取得するステップと、
Ｎ個のセクションの量子化ノイズをＮ個のプリセットされた量子化しきい値と比較し、Ｎ個のセクションの量子化ノイズを（Ｎ＋１）個のノイズレベルに分類するステップとを含み、
第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するステップは、
第１のセクションのノイズレベルを抽出し、第１のピクセルの輝度耐ノイズ値を、ノイズレベルと輝度耐ノイズ値との間の正相関関係に従って取得し、第１のピクセルの勾配耐ノイズ値を、ノイズレベルと勾配耐ノイズ値との間の正相関関係に従って取得するステップを含む。
【００１８】
第１の態様に関して、第１の態様の第１０の可能な実施方式において、現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って、第１のピクセルが移動領域又は静止領域内にあるかどうかを判定するステップは、
移動推定近傍内のすべてのピクセルの現在のフレーム内のピクセル位置及び移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置に従って移動推定近傍内の静止領域内のピクセルを計数するステップと、
移動推定近傍内の静止領域内のピクセルの量を移動／静止の判定のためのプリセットされたしきい値と比較するステップと、
移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値以上である場合に、第１のピクセルが静止領域内にあると判定し、
移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値よりも小さい場合に、第１のピクセルが移動領域内にあると判定するステップとを含む。
【００１９】
第１の態様に関して、第１の態様の第１１の可能な実施方式において、第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択するステップは、
第１のピクセルの第１のフレーム差分がプリセットされた第１のフレーム差分しきい値よりも小さいかどうかを判定するステップと、
第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値以下である場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のブレンディング係数を選択するステップと、
第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値よりも大きい場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のフレーム差分重み係数を選択し、第１のフレーム差分しきい値と、第１のピクセルの第１のフレーム差分と、第１のフレーム差分重み係数とに従って第１のブレンディング係数を選択するステップとを含む。
【００２０】
第１の態様に関して、第１の態様の第１２の可能な実施方式において、第１のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルの移動補正ピクセル値に従って第１のピクセルに対応する第１のノイズリダクションピクセル値を計算するステップは、
第１のピクセルに対応する第１のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒ＝ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）×ａｌｐｈａ＿ｆｉｒ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｆｉｒ）
で計算するステップであって、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒは第１のピクセルに対応する第１のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）は現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られ、ａｌｐｈａ＿ｆｉｒは第１のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である、ステップを含む。
【００２１】
第１の態様に関して、第１の態様の第１３の可能な実施方式において、第２のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルのノイズリダクションピクセル値に従って第１のピクセルに対応する第２のノイズリダクションピクセル値を計算するステップは、
第１のピクセルに対応する第２のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃ＝ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）×ａｌｐｈａ＿ｓｅｃ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｓｅｃ）
で計算するステップであって、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃは第１のピクセルに対応する第２のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）は前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値であり、ａｌｐｈａ＿ｓｅｃは第２のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である、ステップを含む。
【００２２】
第２の態様によれば、本発明の一実施形態は、雑音画像のためのテンポラルノイズリダクション装置をさらに提供し、この装置は
雑音画像の第１のセクションの量子化ノイズを取得するように構成されたノイズ取得モジュールであって、第１のセクションは、雑音画像から分割された複数のセクションのうちの任意の１つである、ノイズ取得モジュールと、
第１のセクションの量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、ピクセルが現在のフレーム内のピクセル位置から次のフレームに移動した後に検出するように構成された移動推定モジュールであって、移動推定近傍は、第１のピクセルを中心として配置された隣接ピクセルを含み、第１のピクセルは第１のセクション内の任意のピクセルである、移動推定モジュールと、
現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って、第１のピクセルが移動領域又は静止領域内にあるかどうかを判定し、第１のピクセルが移動領域内にある場合に、第１のブレンディング係数選択モジュールと第１のテンポラルノイズリダクションモジュールとの実行をトリガするか、又は第１のピクセルが静止領域内にある場合に、第２のブレンディング係数選択モジュールと第２のテンポラルノイズリダクションモジュールとの実行をトリガするように構成された、移動／静止判定モジュールとを備え、
第１のブレンディング係数選択モジュールは、第１のピクセルが移動領域内にあるときに、第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択するように構成され、ここで、第１のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルの移動補正ピクセル値との間の差であり、
第１のテンポラルノイズリダクションモジュールは、第１のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルの移動補正ピクセル値に従って第１のピクセルに対応する第１のノイズリダクションピクセル値を計算するように構成され、ここで、移動補正ピクセル値は、現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られ、
第２のブレンディング係数選択モジュールは、第１のピクセルが静止領域内にあるときに、第１のピクセルの第２のフレーム差分及びプリセットされた第２のフレーム差分しきい値に従って第２のブレンディング係数を選択するように構成され、ここで、第２のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルのノイズリダクションピクセル値との間の差であり、そして第２のフレーム差分しきい値は、第１のフレーム差分しきい値よりも大きく、
第２のテンポラルノイズリダクションモジュールは、第２のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルのノイズリダクションピクセル値に従って第１のピクセルに対応する第２のノイズリダクションピクセル値を計算するように構成され、ここで、ノイズリダクションピクセル値は、前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値である。
【００２３】
第１の態様に関して、第１の態様の第１の可能な実施方式において、ノイズ取得モジュールは、
第１のセクションを複数のブロックに分割するように構成されたブロック分割サブモジュールであって、各ブロックは複数のピクセルを含む、ブロック分割サブモジュールと、
第１のブロック内のすべてのピクセルの量子化ノイズを取得し、第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを取得し、ここで、第１のブロックは、第１のセクション内の任意のブロックであり、そして第１のセクション内の第１のブロックを除くすべてのブロックの量子化ノイズを別々に取得するように構成された量子化ノイズ取得サブモジュールと、
第１のセクション内のすべてのブロックの量子化ノイズに基づいて平均量子化ノイズを計算し、平均量子化ノイズを第１のセクションの量子化ノイズとして使用するか、又は、第１のセクション内のすべてのブロックの量子化ノイズを１つずつ累算し、累積ヒストグラムにおいてプリセットされたノイズしきい値よりも大きい量子化ノイズを第１のセクションの量子化ノイズとして使用するように構成されたセクションノイズ取得サブモジュールとを備える。
【００２４】
第１の態様の第１の可能な実施方式に関して、第１の態様の第２の可能な実施方式において、量子化ノイズ取得サブモジュールは、
第１のブロック内の各ピクセルが、フラット領域内にあるかどうかを判定するように構成された領域判定ユニットと、
フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズを取得するように構成されたフラット領域量子化値取得ユニットと、
フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを計算するように構成されたブロック量子化値取得ユニットとを備える。
【００２５】
第１の態様の第２の可能な実施方式に関して、第１の態様の第３の可能な実施方式において、領域判定ユニットは、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するように構成されたピクセル値取得サブユニットであって、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、第１のピクセルは第１のブロック内の任意のピクセルである、ピクセル値取得サブユニットと、
ノイズ推定近傍内のすべてのピクセルのピクセル値及びソーベルエッジ畳み込みカーネルに従って第１のピクセルのエッジ推定値を計算するように構成されたエッジ推定サブユニットと、
第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きい場合に、第１のピクセルがエッジ領域内にあると判定するか、又は第１のピクセルのエッジ推定値が、エッジ領域しきい値以下である場合に、第１のピクセルがエッジ領域内にないと判定するように構成されたエッジ領域判定サブユニットと、
ノイズ推定近傍内のすべてのピクセルのピクセル値に従って第１のピクセルのテクスチャ推定値を計算するように構成されたテクスチャ推定サブユニットと、
第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きい場合に、第１のピクセルがテクスチャ領域内にあると判定するか、又は第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値以下である場合に、第１のピクセルがテクスチャ領域内にないと判定するように構成されたテクスチャ領域判定サブユニットと、
第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たす場合に、第１のピクセルはフラット領域内にあると判定するように構成されたフラット領域判定サブユニットとを備える。
【００２６】
第１の態様の第３の可能な実施方式に関して、第１の態様の第４の可能な実施方式において、エッジ推定サブユニットは、第１のピクセルのエッジ推定値を、下記式、
ＥＭ（ｘ，ｙ）＝｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｈ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｖ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｐ４５｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｎ４５｜
で計算するように具体的に構成され、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、Ｅ＿ｈ、Ｅ＿ｖ、Ｅ＿ｐ４５、及びＥ＿ｎ４５はソーベルエッジ畳み込みカーネルであり、＊は畳み込み記号であり、
テクスチャ推定サブユニットは、第１のピクセルのテクスチャ推定値を、下記式、
Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＝Ｍａｘ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ））−Ｍｉｎ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するように具体的に構成され、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値であり、
フラット領域判定サブユニットは、第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たすかどうかを、下記式、
（ＥＭ（ｘ，ｙ）＜＝ＥＧｔｈ）＆＆（Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＜＝ＭＮｔｈ）＝＝１
で判定するように構成され、
ここで、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＥＧｔｈはエッジ領域しきい値であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ＭＮｔｈはテクスチャ領域しきい値である。
【００２７】
第１の態様の第１の可能な実施方式に関して、第１の態様の第５の可能な実施方式において、量子化ノイズ取得サブモジュールは、ノイズ推定近傍内のすべてのピクセルのピクセル値を取得し、ここで、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、第１のピクセルは第１のブロック内の任意のピクセルであり、
第１のピクセルの量子化ノイズを、下記式、
ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）＝ｓｕｍ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算し、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）は第１のピクセルの量子化ノイズであり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である、ように具体的に構成される。
【００２８】
第１の態様に関して、第１の態様の第６の可能な実施方式において、移動推定モジュールは、
第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するように構成された耐ノイズ値取得サブモジュールと、
第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値と現在のフレーム内のピクセル位置における第１のピクセルのピクセル値とに従って第１のピクセルに対して移動検出を実行して、第１のピクセルの次のフレーム内のピクセル位置を得るように構成された移動検出サブモジュールとを備える。
【００２９】
第１の態様の第６の可能な実施方式に関して、第１の態様の第７の可能な実施方式において、移動検出サブモジュールは、
第１のピクセルの輝度耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を計算するように構成された輝度計算ユニットと、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を計算するように構成された水平勾配計算ユニットと、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を計算するように構成された垂直勾配計算ユニットと、
輝度変化値、水平方向勾配変化値、及び垂直方向勾配変化値に従って第１のピクセルのピクセル類似度マッチング値を計算するように構成された類似度マッチング値計算ユニットと、
ピクセル類似度マッチング値の最小値が取得されたときに第１のピクセルの次のフレーム内のピクセル位置を計算するように構成されたピクセル位置計算ユニットとを備える。
【００３０】
第１の態様の第７の可能な実施方式に関して、第１の態様の第８の可能な実施方式において、輝度計算ユニットは、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を、下記式、
【数４】
2017502551.tif 000006
で計算するように具体的に構成され、
ここで、Δｇｒａｙ’は輝度変化値であり、ｌａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの輝度耐ノイズ値であり、Δｇｒａｙ＝ａｂｓ（ｇｍ（ｘ，ｙ）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ））であり、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｇｍ（ｘ，ｙ）はｍ番目のフレーム内の第１のピクセルのピクセル値であり、ｍ番目のフレームは第１のピクセルの現在のフレームであり、（ｍ＋１）番目のフレームは第１のピクセルの次のフレームであり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）は、（ｍ＋１）番目のフレーム内の第１のピクセルのピクセル値であり、
水平勾配計算ユニットは、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を、下記式、
【数５】
2017502551.tif 000007
で計算するように具体的に構成され、
ここで、Δｇｒａｄｈ’は水平方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｈ＝ａｂｓ（ｇｍ（ｘ＋１，ｙ）−ｇｍ（ｘ−１，ｙ）−（ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）−ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）））であり、
ｇｍ（ｘ＋１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ−１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値であり、
垂直勾配計算ユニットは、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を、下記式、
【数６】
2017502551.tif 000008
で計算するように具体的に構成され、
ここで、Δｇｒａｄｖ’は垂直方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｖ＝ａｂｓ（ｇｍ（ｘ，ｙ＋１）−ｇｍ（ｘ，ｙ−１）−（ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）））であり、
ｇｍ（ｘ，ｙ＋１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ，ｙ−１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値であり、
類似度マッチング値計算ユニットは、第１のピクセルのピクセル類似度マッチング値を、下記式、
ｃｏｓｔ−ｖｏｌｕｍｅ＝Δｇｒａｙ’＋Δｇｒａｄｈ’＋Δｇｒａｄｖ’
で計算するように具体的に構成され、
ここで、ｃｏｓｔ−ｖｏｌｕｍｅは第１のピクセルのピクセル類似度マッチング値であり、Δｇｒａｙ’は輝度変化値であり、Δｇｒａｄｈ’は水平方向勾配変化値であり、Δｇｒａｄｖ’は垂直方向勾配変化値である。
【００３１】
第１の態様の第６の可能な実施方式に関して、第１の態様の第９の可能な実施方式において、ノイズ取得モジュールは、雑音画像の全Ｎ個のセクションの量子化ノイズを取得し、Ｎ個のセクションの量子化ノイズをＮ個のプリセットされた量子化しきい値と比較し、Ｎ個のセクションの量子化ノイズを（Ｎ＋１）個のノイズレベルに分類するようにさらに構成され、
耐ノイズ値取得サブモジュールは、第１のセクションのノイズレベルを抽出し、第１のピクセルの輝度耐ノイズ値を、ノイズレベルと輝度耐ノイズ値との間の正相関関係に従って取得し、第１のピクセルの勾配耐ノイズ値を、ノイズレベルと勾配耐ノイズ値との間の正相関関係に従って取得するように具体的に構成される。
【００３２】
第１の態様に関して、第１の態様の第１０の可能な実施方式において、移動／静止判定モジュールは、
移動推定近傍内のすべてのピクセルの現在のフレーム内のピクセル位置及び移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置に従って移動推定近傍内の静止領域内のピクセルを計数するように構成された計数サブモジュールと、
移動推定近傍内の静止領域内のピクセルの量を移動／静止の判定のためのプリセットされたしきい値と比較するように構成された移動／静止判定サブモジュールと、
移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値以上である場合に、第１のピクセルが静止領域内にあると判定するように構成された静止判定サブモジュールと、
移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値未満である場合に、第１のピクセルが移動領域内にあると判定するように構成された移動判定サブモジュールとを備える。
【００３３】
第１の態様に関して、第１の態様の第１１の可能な実施方式において、第１のブレンディング係数選択モジュールは、
第１のピクセルの第１のフレーム差分がプリセットされた第１のフレーム差分しきい値よりも小さいかどうかを判定するように構成された第１のフレーム差分判定サブモジュールと、
第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値以下である場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のブレンディング係数を選択するように構成された第１の選択サブモジュールと、
第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値よりも大きい場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のフレーム差分重み係数を選択し、第１のフレーム差分しきい値と、第１のピクセルの第１のフレーム差分と、第１のフレーム差分重み係数とに従って第１のブレンディング係数を選択するように構成された第２の選択サブモジュールとを備える。
【００３４】
第１の態様に関して、第１の態様の第１２の可能な実施方式において、第１のテンポラルノイズリダクションモジュールは、第１のピクセルに対応する第１のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒ＝ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）×ａｌｐｈａ＿ｆｉｒ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｆｉｒ）
で計算するように具体的に構成され、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒは第１のピクセルに対応する第１のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）は現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られ、ａｌｐｈａ＿ｆｉｒは第１のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である。
【００３５】
第１の態様に関して、第１の態様の第１３の可能な実施方式において、第２のテンポラルノイズリダクションモジュールは、第１のピクセルに対応する第２のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃ＝ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）×ａｌｐｈａ＿ｓｅｃ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｓｅｃ）
で計算するように具体的に構成され、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃは第１のピクセルに対応する第２のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）は前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値であり、ａｌｐｈａ＿ｓｅｃは第２のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である。
【００３６】
第２の態様に関して、第２の態様の第１の可能な実施方式において、
【００３７】
前述の技術的解決方法から、本発明の実施形態が、次の利点を有することが理解され得る。
【００３８】
本発明の実施形態において、雑音画像が複数のセクションに分割され、最初に、第１のセクションの量子化ノイズが取得され、次いで、ピクセルが現在のフレーム内のピクセル位置から次のフレームに別々に移動した後に移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置が第１のセクションの量子化ノイズに従って検出され、次に、第１のピクセルが移動領域又は静止領域内にあるかどうかが、現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って判定され、次に、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値が、第１のピクセルが移動領域又は静止領域内にあるかどうかの判定に従って別々に設定され、次いで、移動領域と静止領域とに適用可能である異なるフレーム差分計算方式及び前フレームピクセル値計算方式が使用され、最後に、移動領域と静止領域とに適用可能な異なるノイズリダクションブレンディング方式がブレンディング係数、前フレームのピクセル値、及び現在のフレーム内の第１のピクセルのピクセル値に従って選択され、ここで、ブレンディング係数は、第１のピクセルの移動推定結果に従って選択される。本発明の実施形態において、静止／移動は、第１のピクセルが属する第１のセクションの量子化ノイズに関して判定されるものとしてよく、したがって、正しくない判定の確率は非常に低く、第１のピクセルが移動領域又は静止領域内にあるかどうかの判定の異なる結果に対して、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値が別々に設定され、そして異なるフレーム差分計算方式が使用され、移動領域と静止領域とに適用可能である異なるブレンディング係数が、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値、そしてフレーム差分計算方式に従って選択され、ノイズリダクションブレンディング方式が、移動領域と静止領域とに適用可能である異なるブレンディング係数、フレーム差分計算方式、及び現在のフレーム内の第１のピクセルのピクセル値に従って選択される。この方法で、ノイズリダクション処理は、雑音画像が移動領域又は静止領域内にあるかどうかに従って実施されるものとしてよく、そして検出誤りの確率は非常に低い。したがって、本発明のこれらの実施形態における技術的解決方法は、複数のノイズシナリオに適用され得る。
【００３９】
本発明の実施形態における技術的解決策をより明確に説明するために、下記において、実施形態の説明に必要な添付図面を簡単に紹介する。明らかに、下記の説明の添付図面は、本発明のいくつかの実施形態を示しているにすぎず、当業者であれば、これらの添付図面から依然として他の図面を導き出すことができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態による雑音画像のためのテンポラルノイズリダクション方法のプロセスの概略ブロック図である。
【図２】本発明のこの実施形態によるノイズレベルと輝度耐ノイズ値との間の正相関関係の概略図である。
【図３】本発明のこの実施形態によるノイズレベルとブレンディング係数との間の正相関関係の概略図である。
【図４】本発明のこの実施形態によるブレンディング係数とフレーム差分との間の関係の概略図である。
【図５】オプティカルフロー法の移動推定及び補正に基づくＴＮＲの実施プロセスの概略図である。
【図６】本発明のこの実施形態によるブレンディング係数とフレーム差分との間の別の関係の概略図である。
【図７】静止領域がオプティカルフロー法に基づいて判定されるときのＴＮＲの実施プロセスの概略図である。
【図８】本発明の一実施形態による雑音画像のためのテンポラルノイズリダクション方法のプロセス全体の概略図である。
【図９】本発明の一実施形態による雑音画像をセクションに分割するステップの概略図である。
【図１０】本発明の一実施形態によるソーベルエッジ畳み込みカーネルの値の概略図である。
【図１１−ａ】本発明の一実施形態による雑音画像のセクションの量子化ノイズ値の累積ヒストグラムである。
【図１１−ｂ】累積ヒストグラムを例示する概略図である。
【図１２】本発明の一実施形態による第１のピクセルが現在のフレームから次のフレームに移行するときの位置変化の概略図である。
【図１３】本発明の一実施形態による移動推定近傍の実施方式の概略図である。
【図１４−ａ】本発明の一実施形態による第１のピクセルが移動領域内にある雑音画像の概略図である。
【図１４−ｂ】本発明の一実施形態による第１のピクセルが静止領域内にある雑音画像の概略図である。
【図１５−ａ】本発明の一実施形態による雑音画像のためのテンポラルノイズリダクション装置の概略構造図である。
【図１５−ｂ】本発明の一実施形態によるノイズ取得モジュールの概略構造図である。
【図１５−ｃ】本発明の一実施形態による量子化ノイズ取得サブモジュールの概略構造図である。
【図１５−ｄ】本発明の一実施形態による領域判定ユニットの概略構造図である。
【図１５−ｅ】本発明の一実施形態による移動推定モジュールの概略構造図である。
【図１５−ｆ】本発明の一実施形態による移動検出サブモジュールの概略構造図である。
【図１５−ｇ】本発明の一実施形態による移動／静止判定モジュールの概略構造図である。
【図１５−ｈ】本発明の一実施形態による第１のブレンディング係数選択モジュールの概略構造図である。
【図１６】本発明の一実施形態による雑音画像のための別のテンポラルノイズリダクション装置の概略構造図である。
【発明を実施するための形態】
【００４１】
本発明の実施形態は、雑音画像のためのテンポラルノイズリダクション方法及び関係する装置を提供し、これらは、雑音画像に対して検出誤りの確率が低いノイズリダクション処理を実行するために使用され、そして複数のノイズシナリオに適用され得る。
【００４２】
本発明の発明目的、特徴、及び利点をより明確にし、そしてより包括的にするために、下記では、本発明の実施形態の添付図面を参照しつつ本発明の実施形態における技術的解決方法を明確に及び完全に説明する。明らかに、下記で説明される実施形態は、本発明の実施形態のすべてではなくむしろ一部にすぎない。本発明の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本発明の保護の範囲内に収まるものとする。
【００４３】
本発明の明細書、請求項、及び添付図面において、「第１」、「第２」、などの用語は、類似の対象物を区別することを意図しているが、必ずしも特定の順序若しくはシーケンスを示さない。そのように使用されている用語は、適切な状況下で取り替え可能であり、これは、本発明の実施形態において同じ特性を有する対象物を区別する唯一の方式であることは理解されるであろう。さらに、「備える」、「含む」という用語、及びこれらの変形の用語は、非排他的な包含を対象とすることを意味し、したがって、一連のユニットを含むプロセス、方法、システム、製品、若しくはデバイスは、必ずしもそれらのユニットに限定されず、明示的にリストされないか、又は、そのようなプロセス、方法、システム、製品、若しくはデバイスに固有でない、他のユニットを含み得る。
【００４４】
次の段落では、詳細な説明を別々に行う。
【００４５】
本発明の一実施形態において、モバイルデバイスの雑音画像のためのテンポラルノイズリダクション方法は、雑音画像の第１のセクションの量子化ノイズを取得するステップであって、ここで、第１のセクションは、雑音画像から分割された複数のセクションのうちの任意の１つである、ステップと、第１のセクションの量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、ピクセルが現在のフレーム内のピクセル位置から次のフレームに移動した後に検出するステップであって、ここで、移動推定近傍は、第１のピクセルを中心として配置された隣接ピクセルを含み、第１のピクセルは第１のセクション内の任意のピクセルである、ステップと、現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って、第１のピクセルが移動領域又は静止領域内にあるかどうかを判定するステップと、第１のピクセルが移動領域内にある場合に、第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択し、次いで、第１のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルの移動補正ピクセル値に従って第１のピクセルに対応する第１のノイズリダクションピクセル値を計算するステップであって、ここで、第１のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルの移動補正ピクセル値との間の差であり、移動補正ピクセル値は、現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られる、ステップと、第１のピクセルが静止領域内にある場合に、第１のピクセルの第２のフレーム差分及びプリセットされた第２のフレーム差分しきい値に従って第２のブレンディング係数を選択し、次いで、第２のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルのノイズリダクションピクセル値に従って第１のピクセルに対応する第２のノイズリダクションピクセル値を計算するステップであって、ここで、第２のフレーム差分しきい値は、第１のフレーム差分しきい値よりも大きく、第２のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルのノイズリダクションピクセル値との間の差であり、そしてノイズリダクションピクセル値は、前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値である、ステップとを含む。
【００４６】
図１を参照すると、本発明の一実施形態による雑音画像のためのテンポラルノイズリダクション方法は次のステップを含み得る。
【００４７】
１０１：雑音画像の第１のセクションの量子化ノイズを取得する。
【００４８】
第１のセクションは、雑音画像から分割された複数のセクションのうちの任意の１つである。
【００４９】
本発明のこの実施形態では、デジタル画像は、通常、２値化及び伝送のプロセスにおいて、撮像デバイス、外部環境におけるノイズ干渉、及び同様のものの影響を受ける。したがって、ノイズ干渉を含むそのようなデジタル画像は、雑音画像と称される。本発明のこの実施形態では、雑音画像は、最初に、複数のセクションに分割され、画像の異なるセクションについて、２値化及び伝送のプロセスにおいて引き起こされるノイズ干渉は異なるものとしてよく、したがって各セクションの量子化ノイズは、それらのセクションの異なる実際の状況に従って別々に計算される必要がある。本発明のこの実施形態では、第１のセクションに含まれる第１のピクセルが、雑音画像に対してテンポラルノイズリダクションを実行する仕方を説明するために一例として使用される。確かに、雑音画像の別のセクションに含まれるピクセルを処理するプロセスについて、第１のピクセルを処理するための方法も参照され得る。
【００５０】
本発明のいくつかの実施形態では、雑音画像が複数のセクションに分割された後、第１のセクションに含まれるピクセルのピクセル値を使用することによって雑音画像の第１のセクションの量子化ノイズを取得するステップは、実際のアプリケーションでは複数の方式で実施され得る。たとえば、ステップ１０１において雑音画像の第１のセクションの量子化ノイズを取得するステップは、次のステップを具体的に含み得る。
【００５１】
Ａ１：第１のセクションを複数のブロックに分割し、ここで、各ブロックは複数のピクセルを含む。
【００５２】
Ａ２：第１のブロック内のすべてのピクセルの量子化ノイズを取得し、第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを取得し、ここで、第１のブロックは、第１のセクション内の任意のブロックであり、そして第１のセクション内の第１のブロックを除くすべてのブロックの量子化ノイズを別々に取得する。
【００５３】
Ａ３：第１のセクション内のすべてのブロックの量子化ノイズに基づいて平均量子化ノイズを計算し、平均量子化ノイズを第１のセクションの量子化ノイズとして使用するか、又は、第１のセクション内のすべてのブロックの量子化ノイズを１つずつ累算し、累積ヒストグラムにおいてプリセットされたノイズしきい値よりも大きい量子化ノイズを第１のセクションの量子化ノイズとして使用する。
【００５４】
ステップＡ１について、雑音画像の第１のセクションは、複数のブロックに分割され、したがって雑音画像の第１のセクションに含まれるすべてのピクセルは、すべてのブロック間に分配され、ステップＡ２では、第１のセクションに含まれる第１のブロックの量子化ノイズの計算、及び第１のセクション内の第１のブロックを除くすべてのブロックの量子化ノイズの計算を記述しており、第１のセクションにおけるすべてのブロックの量子化ノイズが計算された後、ステップＡ３において第１のセクションの量子化ノイズを計算するステップが、２つの異なる方式で実施されることができ、すなわち、１つは、すべてのブロックの量子化ノイズの平均値を取得し、その平均値を第１のセクションの量子化ノイズとして使用する方式であり、もう１つは、すべてのブロックの量子化ノイズを１つずつ累算し、累積ヒストグラムを作成し、ノイズしきい値を設定し、次いで、累積ヒストグラム中のノイズしきい値より大きい量子化ノイズを第１のセクションの量子化ノイズとして使用する方式である。
【００５５】
本発明のいくつかの他の実施形態では、ステップＡ２において第１のブロック内のすべてのピクセルの量子化ノイズを取得するステップは、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するステップであって、ここで、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、第１のピクセルは第１のブロック内の任意のピクセルである、ステップと、
第１のピクセルの量子化ノイズを、下記式、
ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）＝ｓｕｍ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するステップであって、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）は第１のピクセルの量子化ノイズであり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である、ステップとを含む。
【００５６】
本発明のいくつかの他の実施形態では、ステップＡ２において第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを取得するステップは、次のステップを具体的に含み得る。
【００５７】
Ａ２１：第１のブロック内の各ピクセルが、フラット領域内にあるかどうかを判定する。
【００５８】
Ａ２２：フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズを取得する。
【００５９】
Ａ２３：フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを計算する。
【００６０】
ステップＡ２１において第１のブロック内の各ピクセルがフラット領域内にあるかどうかを判定するステップでは、第１のブロックに含まれるすべてのピクセルは、次の３タイプに分類され得る。第１のタイプはフラット領域内のピクセルであり、第２のタイプはエッジ領域内のピクセルであり、第３のタイプはテクスチャ領域内のピクセルである。次いで、第１のブロックの量子化ノイズを計算するステップでは、テクスチャ領域内のピクセル及びエッジ領域内のピクセルは無視されることができ、すなわち、フラット領域内にある第１のブロック内のピクセルのみが、第１のブロックの量子化ノイズを計算するために使用される。たとえば、ステップＡ２３において、フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズの最小値が取得されるものとしてよく、そして最小量子化ノイズが第１のブロックの量子化ノイズとして使用されるか、又は、フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズの平均値が取得されるものとしてよく、そして平均値が第１のブロックの量子化ノイズとして使用される。
【００６１】
本発明のいくつかの他の実施形態では、ステップＡ２１において第１のブロック内の各ピクセルがフラット領域内にあるかどうかを判定するステップは、次のステップを具体的に含み得る。
【００６２】
Ａ２１１：ノイズ推定近傍内のすべてのピクセルのピクセル値を取得し、ここで、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルであり、第１のピクセルは第１のブロック内の任意のピクセルである。
【００６３】
Ａ２１２：ノイズ推定近傍内のすべてのピクセルのピクセル値及びソーベル（ｓｏｂｅｌ）エッジ畳み込みカーネルに従って第１のピクセルのエッジ推定値を計算する。
【００６４】
Ａ２１３：第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きい場合に、第１のピクセルがエッジ領域内にあると判定するか、又は第１のピクセルのエッジ推定値が、エッジ領域しきい値以下である場合に、第１のピクセルがエッジ領域内にないと判定する。
【００６５】
Ａ２１４：ノイズ推定近傍内のすべてのピクセルのピクセル値に従って第１のピクセルのテクスチャ推定値を計算する。
【００６６】
Ａ２１５：第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きい場合に、第１のピクセルがテクスチャ領域内にあると判定するか、又は第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値以下である場合に、第１のピクセルがテクスチャ領域内にないと判定する。
【００６７】
第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たす場合に、第１のピクセルがフラット領域内にあると判定する。
【００６８】
エッジ領域しきい値及びテクスチャ領域しきい値が、特定のアプリケーションシナリオに従って設定される必要があり、しきい値の特定の値が、実際のアプリケーションシナリオに従って判定されるものとしてよい。
【００６９】
特に、ステップＡ２１２においてノイズ推定近傍内のすべてのピクセルのピクセル値及びソーベルエッジ畳み込みカーネルに従って第１のピクセルのエッジ推定値を計算するステップは、
第１のピクセルのエッジ推定値を、下記式、
ＥＭ（ｘ，ｙ）＝｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｈ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｖ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｐ４５｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｎ４５｜
で計算するステップであって、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、Ｅ＿ｈ、Ｅ＿ｖ、Ｅ＿ｐ４５、及びＥ＿ｎ４５はソーベルエッジ畳み込みカーネルであり、＊は畳み込み記号である、ステップを含む。
【００７０】
Ａ２１４においてノイズ推定近傍内のすべてのピクセルのピクセル値に従って第１のピクセルのテクスチャ推定値を計算するステップは、
第１のピクセルのテクスチャ推定値を、下記式、
Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＝Ｍａｘ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ））−Ｍｉｎ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するステップであって、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である、ステップと、
第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たすかどうかを、下記式、
（ＥＭ（ｘ，ｙ）＜＝ＥＧｔｈ）＆＆（Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＜＝ＭＮｔｈ）＝＝１
で判定するステップであって、
ここで、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＥＧｔｈはエッジ領域しきい値であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ＭＮｔｈはテクスチャ領域しきい値である、ステップとを含む。
【００７１】
本発明のこの実施形態では、ステップ１０１において雑音画像の第１のセクションの量子化ノイズを取得するステップの後に、この方法は、下記の、
雑音画像の全Ｎ個のセクションの量子化ノイズを取得するステップと、
Ｎ個のセクションの量子化ノイズをＮ個のプリセットされた量子化しきい値と比較し、Ｎ個のセクションの量子化ノイズを（Ｎ＋１）個のノイズレベルに分類するステップとをさらに含み得ることに留意されたい。
【００７２】
Ｎは、ゼロでない自然数である。たとえば、Ｎの値は７であり、したがって、雑音画像は、合計で７個のセクションに分割される。第１のセクションの量子化ノイズを取得するための前述の方法によれば、雑音画像の第２のセクションの量子化ノイズ、第３のセクションの量子化ノイズ、第４のセクションの量子化ノイズ、第５のセクションの量子化ノイズ、第６のセクションの量子化ノイズ、及び第７のセクションの量子化ノイズは、別々に計算される。７個のプリセットされた量子化しきい値により、７個のセクションの量子化ノイズは、８個のノイズレベル、すなわち、Ｎｏｉｓｅ＿ｌｅｖｅｌ  ０、Ｎｏｉｓｅ＿ｌｅｖｅｌ  １、Ｎｏｉｓｅ＿ｌｅｖｅｌ  ２、Ｎｏｉｓｅ＿ｌｅｖｅｌ  ３、Ｎｏｉｓｅ＿ｌｅｖｅｌ  ４、Ｎｏｉｓｅ＿ｌｅｖｅｌ  ５、Ｎｏｉｓｅ＿ｌｅｖｅｌ  ６、及びＮｏｉｓｅ＿ｌｅｖｅｌ  ７に分類され得る。
【００７３】
雑音画像のすべてのセクションの量子化ノイズが異なるノイズレベルに分類された後、ピクセルの複数のパラメータとノイズレベルとの間の関係が、雑音環境内の雑音画像の既知のシミュレーション結果に従って設定され得る。特に、これらの関係は、グラフィック方式で提示されるものとしてよく、したがって、ブレンディングパラメータとノイズレベルとの間の正相関関係、輝度耐ノイズ値とノイズレベルとの間の正相関関係、及び勾配耐ノイズ値とノイズレベルとの間の正相関関係などの、ノイズレベルとパラメータとの間の比例関係が、グラフィックスに基づいて視覚的に提示され得る。
【００７４】
１０２：第１のセクションの量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、ピクセルが現在のフレーム内のピクセル位置から次のフレームに移動した後に検出する。
【００７５】
移動推定近傍は、第１のピクセルを中心として配置された隣接ピクセルを含み、第１のピクセルは第１のセクション内の任意のピクセルである。
【００７６】
本発明のこの実施形態では、第１のピクセルが現在のフレームから次のフレームに移行した後に第１のピクセルが移動するかどうかを判定するために、第１のピクセルを中心として配置された１×ｎ近傍が分割によって得られるものとしてよく、そして近傍は、移動推定近傍として定義され得る。移動推定近傍は、中心ピクセルとして使用される第１のピクセル、及び中心ピクセルの隣接ピクセルを含む。たとえば、ｎ＝５のときに、それは、第１のピクセルの左にある２つのピクセル、第１のピクセルの右にある２つのピクセル、及び第１のピクセルの合計５個のピクセルが、第１のピクセルの移動推定近傍を形成することを示す。
【００７７】
第１のピクセルの移動推定近傍が分割によって得られた後、移動推定近傍内の第１のピクセル及び複数のピクセルの次のフレーム内のピクセル位置は、これらのピクセルが現在のピクセル位置から次のフレームに別々に移動した後に、第１のセクションの量子化ノイズに従って検出され、これにより、移動推定近傍内のすべてのピクセルが静止領域又は移動領域内にあるかどうかを判定する。
【００７８】
本発明のいくつかの実施形態では、ステップ１０２において第１のセクションの量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、ピクセルが現在のフレーム内のピクセル位置から次のフレームに移動した後に検出するステップは、次のステップを具体的に含み得る。
【００７９】
Ｂ１：第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得する。
【００８０】
Ｂ２：第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値と現在のフレーム内のピクセル位置における第１のピクセルのピクセル値とに従って第１のピクセルに対して移動検出を実行して、第１のピクセルの次のフレーム内のピクセル位置を得る。
【００８１】
Ｂ３：第１のセクションの量子化ノイズに従って第１のセクション内の第１のピクセルを除く他のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得する。
【００８２】
Ｂ４：第１のセクション内の第１のピクセルを除く他のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値と現在のフレーム内のピクセル位置における第１のセクション内の第１のピクセルを除く他のピクセルのピクセル値とに従って第１のセクション内の第１のピクセルを除く他のピクセルに対して移動検出を実行して、第１のセクション内の第１のピクセルを除く他のピクセルの次のフレーム内のピクセル位置を得る。
【００８３】
ステップＢ１及びステップＢ２では、第１のピクセルの次のフレーム内のピクセル位置を検出する仕方を記述し、そしてステップＢ３及びＢ４では、第１のセクション内の第１のピクセルを除く他のピクセルの次のフレーム内のピクセル位置を検出する仕方を記述することに留意されたい。ここで、第１のピクセルの次のフレーム内のピクセル位置の検出、及び第１のセクション内の第１のピクセルを除く他のピクセルの次のフレーム内のピクセル位置の検出が同時に実行され得るか、又は第１のセクション内の任意のピクセルの次のフレーム内のピクセル位置が最初に検出され得るか、又は第１のセクション内のすべてのピクセルの次のフレーム内のピクセル位置が同時に検出され得るが、これは本明細書では限定されない。ステップＢ３及びＢ４の実施方式は、ステップＢ１及びＢ２のものと類似している。次に、ステップＢ１及びＢ２を詳しくさらに説明する。
【００８４】
本発明のこの実施形態では、ステップＢ１において第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するステップは、
第１のセクションのノイズレベルを抽出し、第１のピクセルの輝度耐ノイズ値を、ノイズレベルと輝度耐ノイズ値との間の正相関関係に従って取得し、第１のピクセルの勾配耐ノイズ値を、ノイズレベルと勾配耐ノイズ値との間の正相関関係に従って取得するステップを具体的に含み得ることに留意されたい。
【００８５】
複数のノイズレベルが雑音画像のすべてのセクションの量子化ノイズの値に対して設定されるときに、第１のピクセルが属するセクション（すなわち、第１のセクション）のノイズレベルが検出されるものとしてよく、次いで、第１のピクセルの輝度耐ノイズ値が、ノイズレベルと輝度耐ノイズ値との間の正相関関係に従って取得され、ここで、ノイズレベルと輝度耐ノイズ値との間の正相関関係は、正比例関係又は正比例傾向関係を具体的に示すものとしてよく、ノイズレベルと輝度耐ノイズ値との間の正相関関係の概略図は、雑音環境内の雑音画像の既知のシミュレーション結果に従って設定されるものとしてよく、又は経験値が、特定の雑音環境内の複数の雑音画像の画像変化状況に従って得られるものとしてよく、その場合に、ノイズレベルと輝度耐ノイズ値との間の正相関関係の概略図も、経験値に従って設定されるものとしてよいことに留意されたい。図２を参照すると、図２は本発明のこの実施形態によるノイズレベルと輝度耐ノイズ値との間の正相関関係の概略図である。ノイズレベルと輝度耐ノイズ値との間の正相関関係のこの概略図に基づいて、ノイズレベルに従って輝度耐ノイズ値が視覚的に取得され得る。たとえば、ノイズレベルが３であるときに、輝度耐ノイズ値（ｌａｔｈ）に対応する値は４であり、ノイズレベルが５であるときに、輝度耐ノイズ値に対応する値は１４である。ノイズレベルと勾配耐ノイズ値との間の正相関関係も、例を使用することによってグラフィック方式で記述されるものとしてよく、詳細は、ここでは再度説明されない。ノイズレベルと輝度耐ノイズ値との間の正相関関係の概略図は、特定のアプリケーションシナリオに従って柔軟に設定される必要がある。ここで与えられている説明は、ノイズレベルと輝度耐ノイズ値との間の正相関関係の実装方式を記述することを意図されており、そしてすべてのシナリオにおける輝度耐ノイズ値の値に対する指定された状況として使用されない。
【００８６】
本発明のいくつかの他の実施形態では、ステップＢ２において第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値と現在のフレーム内のピクセル位置における第１のピクセルのピクセル値とに従って第１のピクセルに対して移動検出を実行して、第１のピクセルの次のフレーム内のピクセル位置を得るステップは、次のステップを具体的に含み得る。
【００８７】
Ｂ２１：第１のピクセルの輝度耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を計算する。
【００８８】
Ｂ２２：第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を計算する。
【００８９】
Ｂ２３：第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を計算する。
【００９０】
Ｂ２４：輝度変化値、水平方向勾配変化値、及び垂直方向勾配変化値に従って第１のピクセルのピクセル類似度マッチング値を計算する。
【００９１】
Ｂ２５：ピクセル類似度マッチング値の最小値が取得されたときに第１のピクセルの次のフレーム内のピクセル位置を計算する。
【００９２】
ステップＢ２１、Ｂ２２、及びＢ２３において、輝度変化値、水平方向勾配変化値、及び垂直方向勾配変化値が計算された後、ピクセル類似度マッチング値が、輝度変化値、水平方向勾配変化値、及び垂直方向勾配変化値を加えることによって得られるものとしてよい。次いで、ステップＢ２５において、ピクセル類似度マッチング値の最小値（ｍｉｎ）が取得されたときに、ピクセル類似度マッチング値の最小値が取得されたときの第１のピクセルの次のフレーム内のピクセル位置が計算され得る。
【００９３】
特に、ステップＢ２１において第１のピクセルの輝度耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を計算するステップは、
第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を、下記式、
【数７】
2017502551.tif 000009
で計算するステップであって、
ここで、Δｇｒａｙ’は輝度変化値であり、ｌａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの輝度耐ノイズ値であり、Δｇｒａｙ＝ａｂｓ（ｇｍ（ｘ，ｙ）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ））であり、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｇｍ（ｘ，ｙ）はｍ番目のフレーム内の第１のピクセルのピクセル値であり、ｍ番目のフレームは第１のピクセルの現在のフレームであり、（ｍ＋１）番目のフレームは第１のピクセルの次のフレームであり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）は（ｍ＋１）番目のフレーム内の第１のピクセルのピクセル値である、ステップを含む。
【００９４】
ステップＢ２２において第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を計算するステップは、
第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を、下記式、
【数８】
2017502551.tif 000010
で計算するステップであって、
ここで、Δｇｒａｄｈ’は水平方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｈ＝ａｂｓ（ｇｍ（ｘ＋１，ｙ）−ｇｍ（ｘ−１，ｙ）−（ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）−ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）））であり、
ｇｍ（ｘ＋１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ−１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である、ステップを含む。
【００９５】
ステップＢ２３において第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を計算するステップは、
第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を、下記式、
【数９】
2017502551.tif 000011
で計算するステップであって、
ここで、Δｇｒａｄｖ’は垂直方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｖ＝ａｂｓ（ｇｍ（ｘ，ｙ＋１）−ｇｍ（ｘ，ｙ−１）−（ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）））であり、
ｇｍ（ｘ，ｙ＋１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ，ｙ−１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である、ステップを含む。
【００９６】
Ｂ２４において輝度変化値、水平方向勾配変化値、及び垂直方向勾配変化値に従って第１のピクセルのピクセル類似度マッチング値を計算するステップは、
第１のピクセルのピクセル類似度マッチング値を、下記式、
ｃｏｓｔ−ｖｏｌｕｍｅ＝Δｇｒａｙ’＋Δｇｒａｄｈ’＋Δｇｒａｄｖ’
で計算するステップであって、
ここで、ｃｏｓｔ−ｖｏｌｕｍｅは第１のピクセルのピクセル類似度マッチング値であり、Δｇｒａｙ’は輝度変化値であり、Δｇｒａｄｈ’は水平方向勾配変化値であり、Δｇｒａｄｖ’は垂直方向勾配変化値である、ステップを含む。
【００９７】
１０３：現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って、第１のピクセルが移動領域又は静止領域内にあるかどうかを判定し、第１のピクセルが移動領域内にある場合に、ステップ１０４及びステップ１０５の実行をトリガし、第１のピクセルが静止領域内にある場合に、ステップ１０６及びステップ１０７の実行をトリガする。
【００９８】
本発明のこの実施形態では、現在のフレーム内のピクセル位置から次のフレームのピクセル位置に移行するときに移動推定近傍内のすべてのピクセルが移動するかどうかが検出された後、移動推定近傍内の複数のピクセルは、静止領域内のピクセルと、移動領域内のピクセルとに分類される。したがって、現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況は、現在のフレームから次のフレームに移行するときに移動推定近傍内の複数のピクセルが移動するかどうかを示し、これにより、移動推定近傍内の複数のピクセルが静止領域又は移動領域内にあるかどうかを判定する。
【００９９】
本発明のいくつかの実施形態では、ステップ１０３において現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って、第１のピクセルが移動領域又は静止領域内にあるかどうかを判定するステップは、次のステップを具体的に含み得る。
【０１００】
Ｃ１：移動推定近傍内のすべてのピクセルの現在のフレーム内のピクセル位置及び移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置に従って移動推定近傍内の静止領域内のピクセルを計数する。
【０１０１】
Ｃ２：移動推定近傍内の静止領域内のピクセルの量を移動／静止の判定のためのプリセットされたしきい値と比較し、移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値以上である場合に、ステップＣ３を実行し、移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値よりも小さい場合に、ステップＣ４を実行する。
【０１０２】
Ｃ３：移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値以上である場合に、第１のピクセルが静止領域内にあると判定する。
【０１０３】
Ｃ４：移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値よりも小さい場合に、第１のピクセルが移動領域内にあると判定する。
【０１０４】
第１のピクセルの移動推定近傍について、移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのしきい値以上である場合に、第１のピクセルも静止領域内にあると見なされるか、又は移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのしきい値よりも小さい場合に、第１のピクセルが移動領域内にあると見なされる。移動推定近傍を使用して第１のピクセルの移動／静止状況を判定するこの方式は、オプティカルフロー法における移動推定の耐ノイズ能力を改善することができる。
【０１０５】
本発明のこの実施形態において、移動／静止の判定のためのプリセットされたしきい値は、固定値に設定され得るか、移動推定近傍のサイズに従って調整される値に設定され得るか、又はピクセルが属するセクションのノイズレベルに従って調整される値に設定され得ることに留意されたい。移動／静止の判定のためのしきい値は、実際のアプリケーションシナリオに従って具体的に設定されるものとしてよく、詳細は、ここでは再度説明されない。
【０１０６】
１０４：第１のピクセルが移動領域内にある場合に、第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択し、次いでステップ１０５の実行をトリガする。
【０１０７】
第１のピクセルの第１のフレーム差分（ＦＤ、Ｆｒａｍｅ  Ｄｉｆｆｅｒｅｎｃｅ）は、現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルの移動補正ピクセル値との間の差である。本発明のこの実施形態では、第１のピクセルが移動領域又は静止領域内にあるかどうかに従って、静止領域と移動領域とに適用可能である異なるフレーム差分計算方式が使用される。
【０１０８】
本発明のこの実施形態では、ステップ１０２において、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動することが検出された後、第１のピクセルが移動領域内にある場合に、第１のピクセルの第１のフレーム差分は、第１のピクセルの現在のフレーム内のピクセル位置と前のフレーム内の第１のピクセルの移動補正ピクセル値とに従って計算され得る。
【０１０９】
本発明のこの実施形態では、２つの異なるフレーム差分しきい値は、ピクセルが静止領域内にあるか又は移動領域内にあるかに従ってプリセットされる。たとえば、第１のフレーム差分しきい値は、移動領域内のピクセルに対してプリセットされ、第２のフレーム差分しきい値は、静止領域内のピクセルに対してプリセットされ、そして第２のフレーム差分しきい値は、第１のフレーム差分しきい値よりも大きい。
【０１１０】
本発明のこの実施形態では、ブレンディング（ｂｌｅｎｄｉｎｇ）係数ａｌｐｈａは、ノイズリダクション強度を決定することができ、ａｌｐｈａ∈［０，１］であり、より大きいａｌｐｈａは、より高いノイズリダクション強度を示し、より小さいａｌｐｈａは、より低いノイズリダクション強度を示す。第１のピクセルが移動領域内にあるときに、第１のフレーム差分しきい値が選択され、ブレンディング係数を選択するための基準として使用される。選択されたブレンディング係数は、第１のブレンディング係数であると仮定される。
【０１１１】
本発明のいくつかの実施形態では、ステップ１０４において第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択するステップは、次のステップを具体的に含み得る。
【０１１２】
Ｄ１：第１のピクセルの第１のフレーム差分がプリセットされた第１のフレーム差分しきい値よりも小さいかどうかを判定し、第１のフレーム差分が第１のフレーム差分しきい値以下である場合に、ステップＤ２を実行し、第１のフレーム差分が第１のフレーム差分しきい値より大きい場合に、ステップＤ３を実行する。
【０１１３】
Ｄ２：第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値以下である場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のブレンディング係数を選択する。
【０１１４】
Ｄ３：第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値よりも大きい場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のフレーム差分重み係数を選択し、第１のフレーム差分しきい値と、第１のピクセルの第１のフレーム差分と、第１のフレーム差分重み係数とに従って第１のブレンディング係数を選択する。
【０１１５】
第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値以下であるときに、ノイズレベル及びブレンディング係数は、正相関関係にある。ノイズレベルとブレンディング係数との間の正相関関係は、グラフィック方式で視覚的に提示され得る。ノイズレベルとブレンディング係数との間の正相関関係の概略図は、雑音環境内の雑音画像の既知のシミュレーション結果に従って設定されるものとしてよく、又は経験値が、特定の雑音環境内の複数の雑音画像の画像変化状況に従って得られるものとしてよく、その場合に、ノイズレベルとブレンディング係数との間の正相関関係の概略図も、経験値に従って設定されるものとしてよい。図３を参照すると、図３は、本発明のこの実施形態によるノイズレベルとブレンディング係数との間の正相関関係の概略図である。ノイズレベルとブレンディング係数との間の正相関関係のこの概略図に基づいて、ブレンディング係数が視覚的に取得され得る。図３では、ｎｏｉｓｅ＿ｌｅｖｅｌは、ノイズレベルを示し、ａｌｐｈａ＿ｉｎは、第１のブレンディング係数の値を示す。ステップＤ１において、第１のピクセルの第１のフレーム差分がＦＤであり、第１のフレーム差分しきい値はｔｈ１であると仮定される。ＦＤ≦ｔｈ１のときに、ノイズレベルとブレンディング係数との間の正相関関係に従って、第１のピクセルに対して選択される第１のブレンディング係数は、ａｌｐｈａ＿ｉｎである。第１のピクセルが属する第１のセクションの異なるノイズレベルに従って、第１のブレンディング係数は異なる値を有し得る。
【０１１６】
第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値よりも大きいときに、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のフレーム差分重み係数が選択される。第１のフレーム差分重み係数は、ピクセルが属するセクションの異なるノイズレベルに従って異なる値を有するものとしてもよく、そしてより高いノイズレベルは、より大きい第１のフレーム差分重み係数を示す。ステップＤ３において第１のフレーム差分しきい値と、第１のピクセルの第１のフレーム差分と、第１のフレーム差分重み係数とに従って第１のブレンディング係数を選択するステップでは、第１のブレンディング係数は、次の方式で具体的に取得され得る。
【０１１７】
ステップＤ１において、第１のピクセルの第１のフレーム差分がＦＤであり、第１のフレーム差分しきい値はｔｈ１であると仮定される。ＦＤ＞ｔｈ１のときに、第１のフレーム差分重み係数はｃｏｆｆである。現在のノイズレベルの下で選択できる最大のブレンディング係数はａｌｐｈａ＿ｉｎであると仮定され、ここで、ａｌｐｈａ＿ｉｎは定数であり、第１のブレンディング係数はａｌｐｈａで表され、そしてｃｏｆｆによって表される物理的意味はａｌｐｈａの値の変化率である。第１のブレンディング係数は、式
ａｌｐｈａ＝ａｌｐｈａ＿ｉｎ−ｃｏｆｆ×（ＦＤ−ｔｈ１）
で計算され得る。
【０１１８】
図４を参照すると、図４は、本発明のこの実施形態によるブレンディング係数と第１のフレーム差分との間の関係の概略図である。水平軸上のＦＤは第１のフレーム差分を示し、垂直軸上のａｌｐｈａはブレンディング係数を示す。ＦＤ≦ｔｈ１のときに、第１のブレンディング係数の値はａｌｐｈａ＿ｉｎである。ＦＤ＞ｔｈ１のときに、第１のブレンディング係数はａｌｐｈａ＝ａｌｐｈａ＿ｉｎ−ｃｏｆｆ×（ＦＤ−ｔｈ１）であり、ここで、ｃｏｆｆは図に示されている斜線の勾配を示し、第１のピクセルが属する第１のセクションの異なるノイズレベルについて、第１のフレーム差分重み係数ｃｏｆｆは異なる値を有し得る。図４では、ｃｏｆｆのいくつかの可能な値が、異なる斜め破線を使用することによって示される。
【０１１９】
図４のＥＸＴは、しきい値拡張であり、そしてｔｈ２＝ｔｈ１＋ＥＸＴが満たされることに留意されたい。フレーム差分ＦＤがｔｈ２よりも大きいときに、ノイズリダクションは実行されず、すなわち、ａｌｐｈａ＝０である。
【０１２０】
１０５：第１のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルの移動補正ピクセル値に従って第１のピクセルに対応する第１のノイズリダクションピクセル値を計算する。
【０１２１】
移動補正ピクセル値は、現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られる。
【０１２２】
本発明のこの実施形態では、第１のピクセルが移動領域内にある場合に、計算を通じて得られる前のフレーム内の第１のピクセルの移動補正ピクセル値が、ブレンディングのために選択され、第１のピクセルに対応する第１のノイズリダクションピクセル値は、選択された第１のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルの移動補正ピクセル値に従って計算される。
【０１２３】
本発明のいくつかの実施形態において、前のフレーム内の第１のピクセルの移動補正ピクセル値は、次の実施形態を使用することによって取得され得ることに留意されたい。図５を参照すると、図５は、オプティカルフロー法のマッチングした移動推定及び補正に基づくＴＮＲの実施プロセスの概略図である。移動推定が画像セクションをユニットとして使用することによって実行され、移動補正フレームが、移動補正が移動推定の結果に従って雑音画像の前のフレームに対して実行された後に得られ、テンポラルノイズリダクション（Ｔ−１）によって出力される、現在のフレームに対する移動補正（Ｔ−１）、及びパススルー信号（入力される雑音画像の現在のフレームを指す）が入力され、ブレンディング係数がフレーム差分情報に従って判定され、次いで、ブレンディングが、選択されたブレンディング係数及び移動補正されたフレームに関して、雑音画像の現在のフレームに対して実行され、これにより、雑音画像に対するノイズリダクション処理を完了する。
【０１２４】
本発明のいくつかの実施形態では、ステップ１０５において第１のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルの移動補正ピクセル値に従って第１のピクセルに対応する第１のノイズリダクションピクセル値を計算するステップは、
第１のピクセルに対応する第１のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒ＝ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）×ａｌｐｈａ＿ｆｉｒ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｆｉｒ）
で計算するステップであって、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒは第１のピクセルに対応する第１のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）は現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られ、ａｌｐｈａ＿ｆｉｒは第１のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である、ステップを具体的に含み得る。
【０１２５】
１０６：第１のピクセルが静止領域内にある場合に、第１のピクセルの第２のフレーム差分及びプリセットされた第２のフレーム差分しきい値に従って第２のブレンディング係数を選択し、次いでステップ１０７の実行をトリガする。
【０１２６】
第２のフレーム差分しきい値は、第１のフレーム差分しきい値よりも大きい。第２のフレーム差分は、現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルのノイズリダクションピクセル値との間の差である。
【０１２７】
本発明のこの実施形態では、２つの異なるフレーム差分しきい値は、ピクセルが静止領域内にあるか又は移動領域内にあるかに従ってプリセットされる。たとえば、第１のフレーム差分しきい値は、移動領域内のピクセルに対してプリセットされ、第２のフレーム差分しきい値は、静止領域内のピクセルに対してプリセットされ、そして第２のフレーム差分しきい値は、第１のフレーム差分しきい値よりも大きい。
【０１２８】
本発明のこの実施形態では、ブレンディング係数ａｌｐｈａは、ノイズリダクション強度を決定することができ、ａｌｐｈａ∈［０，１］であり、より大きいａｌｐｈａは、より高いノイズリダクション強度を示し、より小さいａｌｐｈａは、より低いノイズリダクション強度を示す。第１のピクセルが静止領域内にあるときに、第２のフレーム差分しきい値が選択され、ブレンディング係数を選択するための基準として使用される。選択されたブレンディング係数は、第２のブレンディング係数であると仮定される。
【０１２９】
本発明のいくつかの実施形態では、ステップ１０６において第１のピクセルの第２のフレーム差分及びプリセットされた第２のフレーム差分しきい値に従って第２のブレンディング係数を選択するステップは、次のステップを具体的に含み得る。
【０１３０】
Ｅ１：第１のピクセルの第２のフレーム差分がプリセットされた第２のフレーム差分しきい値よりも小さいかどうかを判定し、第２のフレーム差分が第２のフレーム差分しきい値以下である場合に、ステップＥ２を実行し、第２のフレーム差分が第２のフレーム差分しきい値より大きい場合に、ステップＥ３を実行する。
【０１３１】
Ｅ２：第１のピクセルの第２のフレーム差分が第２のフレーム差分しきい値以下である場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第２のブレンディング係数を選択する。
【０１３２】
Ｅ３：第１のピクセルの第２のフレーム差分が第２のフレーム差分しきい値よりも大きい場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第２のフレーム差分重み係数を選択し、第２のフレーム差分しきい値と、第１のピクセルの第２のフレーム差分と、第２のフレーム差分重み係数とに従って第２のブレンディング係数を選択する。
【０１３３】
第１のピクセルの第２のフレーム差分が第２のフレーム差分しきい値以下であるときに、ノイズレベル及びブレンディング係数は、正相関関係にある。ノイズレベルとブレンディング係数との間の正相関関係は、グラフィック方式で視覚的に提示され得る。ノイズレベルとブレンディング係数との間の正相関関係の概略図は、雑音環境内の雑音画像の既知のシミュレーション結果に従って設定されるものとしてよいか、又は経験値が、特定の雑音環境内の複数の雑音画像の画像変化状況に従って得られるものとしてよく、その場合に、ノイズレベルとブレンディング係数との間の正相関関係の概略図も、経験値に従って設定されるものとしてよい。ノイズレベルとブレンディング係数との間の正相関関係の概略図は、前述の図３のものと類似している。ｎｏｉｓｅ＿ｌｅｖｅｌに対応するａｌｐｈａ＿ｉｎの特定の値が図３に示されているものと異なるという点に違いがあるが、ノイズレベルとブレンディング係数との間の関係は、それでも正比例関係又は正比例傾向関係である。
【０１３４】
第１のピクセルの第２のフレーム差分が第２のフレーム差分しきい値よりも大きいときに、第１のピクセルが属する第１のセクションの量子化ノイズに従って第２のフレーム差分重み係数が選択される。第２のフレーム差分重み係数は、ピクセルが属するセクションの異なるノイズレベルに従って異なる値を有するものとしてもよく、そしてより高いノイズレベルは、より大きい第２のフレーム差分重み係数を示す。ステップＥ３において第２のフレーム差分しきい値と、第１のピクセルの第２のフレーム差分と、第２のフレーム差分重み係数とに従って第２のブレンディング係数を選択するステップでは、第２のブレンディング係数は、次の方式で具体的に取得され得る。
【０１３５】
ステップＥ１において、第１のピクセルの第２のフレーム差分がＦＤであり、第２のフレーム差分しきい値はｔｈ１’であると仮定される。ＦＤ＞ｔｈ１’のときに、第１のフレーム差分重み係数はｃｏｆｆ’である。現在のノイズレベルの下で選択できる最大のブレンディング係数はａｌｐｈａ＿ｉｎ’であると仮定され、ここで、ａｌｐｈａ＿ｉｎ’は定数であり、第２のブレンディング係数はａｌｐｈａ’で表され、そしてｃｏｆｆ’によって表される物理的意味はａｌｐｈａ’の値の変化率である。第２のブレンディング係数は、式
ａｌｐｈａ’＝ａｌｐｈａ＿ｉｎ’−ｃｏｆｆ’×（ＦＤ−ｔｈ１’）
で計算され得る。
【０１３６】
図６を参照すると、図６は、本発明のこの実施形態によるブレンディング係数とフレーム差分との間の別の関係の概略図である。水平軸上のＦＤは第２のフレーム差分を示し、垂直軸上のａｌｐｈａ’は第２のブレンディング係数を示す。ＦＤ≦ｔｈ１’のときに、第２のブレンディング係数の値はａｌｐｈａ＿ｉｎ’である。ＦＤ＞ｔｈ１’のときに、第２のブレンディング係数はａｌｐｈａ’＝ａｌｐｈａ＿ｉｎ’−ｃｏｆｆ’×（ＦＤ−ｔｈ１’）であり、ここで、ｃｏｆｆ’は図に示されている斜線の勾配を示し、第１のピクセルが属する第１のセクションの異なるノイズレベルについて、第２のフレーム差分重み係数ｃｏｆｆ’は異なる値を有し得る。図６では、ｃｏｆｆ’のいくつかの可能な値が、異なる斜め破線を使用することによって示される。
【０１３７】
図６のＥＸＴ’は、しきい値拡張であり、そしてｔｈ２’＝ｔｈ１’＋ＥＸＴ’が満たされることに留意されたい。フレーム差分ＦＤがｔｈ２’よりも大きいときに、ノイズリダクションは実行されず、すなわち、ａｌｐｈａ’＝０である。図４と図６との間の違いは、ｔｈ１、ＥＸＴ、及びｃｏｆｆの値が、ｔｈ１’、ＥＸＴ’、及びｃｏｆｆ’の値と異なる点にある。
【０１３８】
本発明のこの実施形態では、第１のピクセルが移動領域又は静止領域内にあるかどうかに従って、第１のピクセルに対して異なるフレーム差分計算方式が使用されることに留意されたい。第１のピクセルが移動領域内にあるときに、第１のピクセルのフレーム差分は、移動推定方式で計算され、すなわち、第１のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルの移動補正ピクセル値との間の差である。第１のピクセルが静止領域内にあるときに、第２のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルのノイズリダクションピクセル値との間の差である。移動領域と静止領域とに適用可能である異なるフレーム差分計算方式は、第１のピクセルが移動領域又は静止領域内にあるかどうかに従って使用されるので、第１のピクセルのフレーム差分は、より正確に計算され得る。これらのフレーム差分計算方式は、複数のノイズシナリオに適用され得る。
【０１３９】
１０７：第２のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルのノイズリダクションピクセル値に従って第１のピクセルに対応する第２のノイズリダクションピクセル値を計算する。
【０１４０】
ノイズリダクションピクセル値は、前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値である。
【０１４１】
本発明のこの実施形態では、第１のピクセルが静止領域内にある場合に、計算を通じて得られる前のフレーム内の第１のピクセルのノイズリダクションピクセル値が、ブレンディングのために選択され、第１のピクセルに対応する第２のノイズリダクションピクセル値は、選択された第２のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルのノイズリダクションピクセル値に従って計算される。
【０１４２】
本発明のいくつかの実施形態では、前のフレーム内の第１のピクセルのノイズリダクションピクセル値は、次の実施形態を使用することによって取得され得ることに留意されたい。図７を参照すると、図７は、静止領域がオプティカルフロー法に基づいて判定されるときのＴＮＲの実施プロセスの概略図である。ＴＮＲでは、静止領域がオプティカルフロー法に基づいて判定されるときに、テンポラルノイズリダクションによって出力される（Ｔ−１）、及びパススルー信号（入力される雑音画像の現在のフレームを指す）が入力され、ブレンディング係数がフレーム差分のサイズに従って判定され、次いで、ブレンディングが、選択されたブレンディング係数及び雑音画像の前のフレームに関して、雑音画像の現在のフレームに対して実行され、これにより、雑音画像に対するノイズリダクション処理を完了する。
【０１４３】
本発明のいくつかの実施形態では、ステップ１０７において第２のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルのノイズリダクションピクセル値に従って第１のピクセルに対応する第２のノイズリダクションピクセル値を計算するステップは、下記の、
第１のピクセルに対応する第２のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃ＝ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）×ａｌｐｈａ＿ｓｅｃ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｓｅｃ）
で計算するステップであって、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃは第１のピクセルに対応する第２のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）は前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値であり、ａｌｐｈａ＿ｓｅｃは第２のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である、ステップを具体的に含み得る。
【０１４４】
本発明の実施形態において、雑音画像が複数のセクションに分割され、最初に、第１のセクションの量子化ノイズが取得され、次いで、ピクセルが現在のフレーム内のピクセル位置から次のフレームに別々に移動した後に移動推定近傍内の第１のセクション内のすべてのピクセルの次のフレーム内のピクセル位置が第１のセクションの量子化ノイズに従って検出され、次に、第１のピクセルが移動領域又は静止領域内にあるかどうかが、現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って判定され、次に、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値が、第１のピクセルが移動領域又は静止領域内にあるかどうかの判定に従って別々に設定され、次いで、移動領域と静止領域とに適用可能である異なるフレーム差分計算方式及び前フレームピクセル値計算方式が使用され、最後に、移動領域と静止領域とに適用可能な異なるノイズリダクションブレンディング方式がブレンディング係数、前フレームのピクセル値、及び現在のフレーム内の第１のピクセルのピクセル値に従って選択され、ここで、ブレンディング係数は、第１のピクセルの移動推定結果に従って選択される。本発明の実施形態において、静止／移動は、第１のピクセルが属する第１のセクションの量子化ノイズに関して判定されるものとしてよく、したがって、正しくない判定の確率は非常に低く、第１のピクセルが移動領域又は静止領域内にあるかどうかの判定の異なる結果に対して、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値が別々に設定され、そして異なるフレーム差分計算方式が使用され、移動領域と静止領域とに適用可能である異なるブレンディング係数が、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値、そしてフレーム差分計算方式に従って選択され、ノイズリダクションブレンディング方式が、移動領域と静止領域とに適用可能である異なるブレンディング係数、フレーム差分計算方式、及び現在のフレーム内の第１のピクセルのピクセル値に従って選択される。この方法で、ノイズリダクション処理は、雑音画像が移動領域又は静止領域内にあるかどうかに従って実施されるものとしてよく、そして検出誤りの確率は非常に低い。したがって、本発明のこれらの実施形態における技術的解決方法は、複数のノイズシナリオに適用され得る。
【０１４５】
本発明の実施形態における前述の解決方法のより良い理解及び実施のために、対応するアプリケーションシナリオを例として使用することによって、下記で具体的な説明がなされる。
【０１４６】
本発明の実施形態において提供される雑音画像のためのテンポラルノイズリダクション方法は、ノイズ検出のオプティカルフロー法の移動推定及び補正に基づくＴＮＲ法である。この方法は、主にノイズ検出のノイズ評価の考え方に基づく。この方法では、オプティカルフロー法の移動推定及び補正に基づく耐ノイズ能力は、ノイズ評価を用いることで改善され、ブレンディングノイズリダクションが、ノイズ評価及びフレーム差分情報に従って自己適応方式で実行される。図８を参照すると、図８は、本発明の一実施形態による雑音画像のためのテンポラルノイズリダクション方法のプロセス全体の概略図である。実施の主な考え方は、次の４つの主要部分を含む。
（１）画像をセクションに分割し、ノイズ検出を通じて得られるセクションの量子化ノイズを評価するステップ。
（２）判定されたピクセルが配置されるセクションのノイズレベル情報を使用することによってオプティカルフロー法の移動推定及び補正に基づく耐ノイズメカニズムを実施するステップ。
（３）移動推定情報及びフレーム差分情報を使用することによってノイズリダクションブレンディング方式を選択するステップ。
（４）ノイズ情報及びフレーム差分情報を使用することによってブレンディング係数を調整するステップ。
【０１４７】
次の段落では、例を使用することによって各部分を説明する。
【０１４８】
（１）雑音画像に対してノイズ検出を実行するステップ。
【０１４９】
図９を参照すると、図９は、本発明の一実施形態による雑音画像をセクションに分割するステップの概略図である。最初に、雑音画像が複数のセクションに分割される。雑音画像は、右から左への矢印によって示されているようにｎ×ｍ個のセクション（ｓｅｃｔｉｏｎ）に分割される。図の例では、雑音画像は、２×２＝４個のセクションに分割される。図９に示されているように、雑音画像の現在のフレームは、４つのセクションに分割され、すなわち、第１のセクションと、第２のセクションと、第３のセクションと、第４のセクションとに分割される。次いで、各セクションは、複数のブロックにさらに分割され、ここで、各ブロックはドットマトリックスとも称される。すなわち、各セクションは、選択されたサイズ（たとえば、５×５）の多数のドットマトリックスを含み、これらはブロック（ｂｌｏｃｋ）と称される。ブロック内の各ピクセル（ｐｉｘｅｌ）について、たとえば、第１のセクション内の第１のピクセルについて、ノイズ値の量子化が、第１のピクセルのノイズ推定近傍内の複数のピクセルのピクセル値を使用することによって実行される。ノイズ推定近傍は、１つの３×３ドットマトリックスを含む。ノイズ推定近傍は、ＮＨ９（ｘ，ｙ）によって表され得る。
【０１５０】
第１のピクセルの量子化ノイズは、式
ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）＝ｓｕｍ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算され、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）は第１のピクセルの量子化ノイズであり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、そしてｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である。
【０１５１】
ＮＨ（ｘ，ｙ）が特に３×３近傍であるときに、この近傍はＮＨ９（ｘ，ｙ）によって表されるものとしてよく、ｖａｌｕｅｉは、ＮＨ９（ｘ，ｙ）におけるピクセル輝度値を具体的に示し得ることに留意されたい。それに加えて、ｖａｌｕｅ＿ｍｅｄｉａｎは、９ピクセルの全体量を有する３×３ドットマトリックス内の９個のピクセルの輝度値を順番に並べることによって得られる中間輝度値、又は９個のピクセルの輝度値を平均して得られる輝度値を示す。
【０１５２】
次に、第１のブロック内の第１のピクセルが、フラット領域内にあるかどうかが判定される。
【０１５３】
最初に、第１のピクセルがエッジ領域内にあるかどうかがチェックされる。
【０１５４】
第１のピクセルのエッジ推定値は、式
ＥＭ（ｘ，ｙ）＝｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｈ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｖ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｐ４５｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｎ４５｜
で計算され、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、Ｅ＿ｈ、Ｅ＿ｖ、Ｅ＿ｐ４５、及びＥ＿ｎ４５はソーベルエッジ畳み込みカーネルであり、＊は畳み込み記号である。
【０１５５】
Ｅ＿ｈ、Ｅ＿ｖ、Ｅ＿ｐ４５、及びＥ＿ｎ４５は、ソーベルエッジ畳み込みカーネルの値である。図１０に示されているソーベルエッジ畳み込みカーネルの値の概略図への参照がなされ得る。
【０１５６】
エッジ領域しきい値ＥＧｔｈが設定される。ＥＭ（ｘ，ｙ）がエッジ領域しきい値よりも大きい場合、第１のピクセルはエッジ領域内にあると判定され、ＥＭ（ｘ，ｙ）がエッジ領域しきい値以下である場合、第１のピクセルはエッジ領域内にないと判定される。
【０１５７】
次に、第１のピクセルがテクスチャ領域内にあるかどうかがチェックされる。
【０１５８】
第１のピクセルのテクスチャ推定値が、式
Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＝Ｍａｘ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ））−Ｍｉｎ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算され、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である。
【０１５９】
テクスチャ領域しきい値ＭＮｔｈが設定される。Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）がテクスチャ領域しきい値よりも大きい場合、第１のピクセルはテクスチャ領域内にあると判定され、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）がテクスチャ領域しきい値以下である場合、第１のピクセルはテクスチャ領域内にないと判定される。
【０１６０】
フラット領域は、判定された第１のピクセルがエッジ領域又はテクスチャ領域内にないことを必要とする。すなわち、第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たすかどうかが、式
（ＥＭ（ｘ，ｙ）＜＝ＥＧｔｈ）＆＆（Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＜＝ＭＮｔｈ）＝＝１
で判定されるものとしてよく、
ここで、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＥＧｔｈはエッジ領域しきい値であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、そしてＭＮｔｈはテクスチャ領域しきい値である。
【０１６１】
第１のピクセルがフラット領域、エッジ領域、又はテクスチャ領域内にあるかどうかが判定された後、同じ方式で、第１のピクセルが属する第１のブロックの他のピクセルが、フラット領域、エッジ領域、又はテクスチャ領域内にあるかどうかが判定される。
【０１６２】
次に、フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズが取得され、そして第１のブロックの量子化ノイズの値は、フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズの最小値、又はフラット領域内のすべてのピクセルの量子化ノイズの平均値である。
【０１６３】
第１のセクション内のすべてのブロックの量子化ノイズは、第１のブロックの量子化ノイズを計算する方式で計算され、次いで、第１のセクション内のすべてのブロック（フラット領域内にないブロックを除く）の平均ノイズ値が、第１のセクションの量子化ノイズとして選択されるか、又は第１のセクション内のすべてのブロックの量子化ノイズが１つずつ累算され、累積ヒストグラム中のプリセットされたノイズしきい値よりも大きい量子化ノイズが第１のセクションの量子化ノイズとして使用される。
【０１６４】
累積ヒストグラムを使用することによる第１のセクションの量子化ノイズの計算に対する詳細な説明については、図１１−ａ及び図１１−ｂを参照されたい。図１１−ａは、本発明の一実施形態による雑音画像のセクションの量子化ノイズ値の累積ヒストグラムである。図１１−ｂは、累積ヒストグラムの例示の概略図である。累積ヒストグラムは、累積方式でノイズレベルが現在のノイズレベル以下であるすべての実効ブロック（ｂｌｏｃｋ）の量を示す。
【０１６５】
図１１−ａにおいて、水平軸はノイズレベルを示し、ここで、セクションの量子化ノイズは６つのレベル、すなわちｌｖ１、ｌｖ２、ｌｖ３、ｌｖ４、ｌｖ５、及びｌｖ６に分類され、垂直軸は累算された実効ブロックの量を示す。図１１−ｂについて、水平線を有する棒はｌｖ１におけるブロックの量を示し、垂直線を有する棒はｌｖ２におけるブロックの量を示し、斜線を有する棒はｌｖ３におけるブロックの量を示す。累積ヒストグラムは、ノイズレベルが現在のノイズレベル以下であるすべての実効ブロックの累積量である。合計で６つのレベルがあると仮定される。ｌｖ６の高さは、すべての実効ブロックの量を表す。
【０１６６】
パーセンテージしきい値ａが設定される。ａ＝５０％と仮定される。図１１ーｂに示されているように、累積ヒストグラム中の第１のｉが取得され、ノイズ値ｉ以下の面積＞全面積×ａである場合、セクションのノイズ値は、ノイズ値ｉであると見なされ得る。図１１−ｂにおいて、パーセンテージしきい値条件を満たす第１のノイズレベルはｌｖ３である。
【０１６７】
第１のセクションの量子化ノイズが取得された後、雑音画像の全Ｎ個のセクションの量子化ノイズも、同じ方式で取得されるものとしてよく、Ｎ個のセクションの量子化ノイズがＮ個のプリセットされた量子化しきい値と比較され、そしてＮ個のセクションの量子化ノイズが（Ｎ＋１）個のノイズレベルに分類される。
【０１６８】
（２）オプティカルフロー法の移動推定及び補正に基づく耐ノイズメカニズム。
【０１６９】
図１２は、ピクセルが現在のフレームから次のフレームに移行するときの位置変化の概略図である。ノイズのない画像のｍ番目のフレームは、図１２の左部分に示されている位置（ｘ，ｙ）に配置されるとともに、ｍ番目のフレームは、破線によって示されている方向に沿って、位置（ｘ，ｙ）から、図１２の右部分に示されている（ｍ＋１）番目のフレームの位置（ｘ＋ｉ，ｙ＋ｊ）に移動する、と仮定されている。ピクセル類似度マッチング値（ｃｏｓｔ−ｖｏｌｕｍｅ）は、式
ｃｏｓｔ−ｖｏｌｕｍｅ＝Δｇｒａｙ＋Δｇｒａｄｈ＋Δｇｒａｄｖ
を使用することによって計算され、
ここで、Δｇｒａｙ＝ａｂｓ（ｇｍ（ｘ，ｙ）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ））であり、
Δｇｒａｄｈ＝ａｂｓ（ｇｍ（ｘ＋１，ｙ）−ｇｍ（ｘ−１，ｙ）−（ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）−ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）））であり、
Δｇｒａｄｖ＝ａｂｓ（ｇｍ（ｘ，ｙ＋１）−ｇｍ（ｘ，ｙ−１）−（ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）））である。
【０１７０】
雑音画像内のピクセル類似度マッチング値は、ノイズの影響を受ける可能性があり、したがって移動検出歪みが引き起こされることに留意されたい。第１のピクセルのピクセル類似度マッチング値の計算は、それでも、説明のための一例として使用される。他のピクセルのピクセル類似度マッチング値を計算するための方法については、第１のピクセルのための計算方式が参照され得る。（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置である。次の耐ノイズメカニズムが、本発明のこの実施形態において使用され得る。
【０１７１】
第１のピクセルのピクセル類似度マッチング値は、式
ｃｏｓｔ−ｖｏｌｕｍｅ＝Δｇｒａｙ’＋Δｇｒａｄｈ’＋Δｇｒａｄｖ’
で計算され、
ここで、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値は、式
【数１０】
2017502551.tif 000012
で計算され、
ここで、Δｇｒａｙ’は輝度変化値であり、ｌａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの輝度耐ノイズ値であり、Δｇｒａｙ＝ａｂｓ（ｇｍ（ｘ，ｙ）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ））であり、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｇｍ（ｘ，ｙ）はｍ番目のフレーム内の第１のピクセルのピクセル値であり、ｍ番目のフレームは第１のピクセルの現在のフレームであり、（ｍ＋１）番目のフレームは第１のピクセルの次のフレームであり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）は（ｍ＋１）番目のフレーム内の第１のピクセルのピクセル値である。
【０１７２】
第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値は、式
【数１１】
2017502551.tif 000013
で計算され、
ここで、Δｇｒａｄｈ’は水平方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｈ＝ａｂｓ（ｇｍ（ｘ＋１，ｙ）−ｇｍ（ｘ−１，ｙ）−（ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）−ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）））であり、
ｇｍ（ｘ＋１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ−１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である。
【０１７３】
第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値は、式
【数１２】
2017502551.tif 000014
で計算され、
ここで、Δｇｒａｄｖ’は垂直方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｖ＝ａｂｓ（ｇｍ（ｘ，ｙ＋１）−ｇｍ（ｘ，ｙ−１）−（ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）））であり、
ｇｍ（ｘ，ｙ＋１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ，ｙ−１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である。
【０１７４】
本発明のこの実施形態では、第１のセクションのノイズレベルが抽出された後、第１のピクセルの輝度耐ノイズ値ｌａｔｈ（ｎｏｉｓｅｌｖｌ）が、ノイズレベルと輝度耐ノイズ値との間の正相関関係に従って取得されるものとしてよく、そして第１のピクセルの勾配耐ノイズ値ｇａｔｈ（ｎｏｉｓｅｌｖｌ）が、ノイズレベルと勾配耐ノイズ値との間の正相関関係に従って取得されるものとしてよいことに留意されたい。ノイズレベルと輝度耐ノイズ値との間の正相関関係について、図２に示されているノイズレベルと輝度耐ノイズ値との間の正相関関係の概略図が参照されるものとしてよい。ノイズレベルと勾配耐ノイズ値との間の正相関関係は、図２に類似し、正比例関係又は正比例傾向関係を記述するために使用される概略図に基づき得る。
【０１７５】
（３）移動推定情報及びフレーム差分情報を使用することによってノイズリダクションブレンディング方式を選択するステップ。
【０１７６】
本発明の一実施形態による移動推定近傍の実施方式の概略図である図１３に示されているように、判定された第１のピクセルを中心として配置された１×ｎ個の隣接ピクセルは、移動推定近傍を形成する。図１３では、１×５個のピクセルによって形成される移動推定近傍が、一例として使用されている。静止領域内のピクセルの量、すなわち、ｓｔｉｌｌ＿ｃｎｔが計数され、移動推定近傍内の静止領域内のピクセルの量は、移動／静止の判定のためのプリセットされたしきい値、すなわち、ｓｔｉｌｌ＿ｔｈと比較される。近傍が次の式を満たす場合、判定された第１のピクセルが静止領域内にあると見なされ、近傍が次の式を満たさない場合、第１のピクセルが移動領域内にあると見なされる。
ｓｔｉｌｌ＿ｃｎｔ＞＝ｓｔｉｌｌ＿ｔｈ
この式において、
ｓｔｉｌｌ＿ｔｈは、１×ｎ個のピクセルによって形成される近傍に対する移動／静止の判定のためのしきい値であり、ｓｔｉｌｌ＿ｔｈは、固定値に設定されるか、又は近傍のサイズ及びノイズレベルに従って調整され得る。たとえば、ノイズレベルが低いときには、ｓｔｉｌｌ＿ｔｈはより大きい値に設定され、ノイズレベルが高いときには、ｓｔｉｌｌ＿ｔｈはより小さい値に設定される。１×ｎ個のピクセルによって形成される近傍を判定する目的は、オプティカルフロー法の移動推定の耐ノイズ能力を改善することである。
【０１７７】
第１のピクセルが移動領域又は静止領域内にあるかどうかに従って、異なるフレーム差分しきい値が、別々に計算される必要があり、対応するブレンディング係数が選択される必要があり、そして異なるブレンディング方法が、ノイズリダクション処理を実行するために選択される必要があり、これにより、本発明のこの実施形態における耐ノイズ能力を改善する。
【０１７８】
次の段落では、第１のピクセルが移動領域又は静止領域にあるかどうかの判定の結果に応じたフレーム差分しきい値の調整を説明する。
【０１７９】
第１のピクセルが静止領域内にあるときに、対応するフレーム差分がノイズのみによる干渉を受け、第１のピクセルが移動領域内にあるときに、ノイズによる干渉を受けることに加えて、対応するフレーム差分も移動関係の移動推定及び補正による干渉を受ける。したがって、ブレンディング係数ａｌｐｈａを選択する際に、第１のピクセルが静止領域内にあるときに使用されるフレーム差分しきい値は、第１のピクセルが移動領域内にあるときに使用されるフレーム差分しきい値よりも大きいものとしてよい。第１のピクセルが移動領域内にある場合に、第１のフレーム差分しきい値が設定され、第１のピクセルが静止領域内にある場合に、第２のフレーム差分しきい値が設定される。それに加えて、第２のフレーム差分しきい値は、第１のフレーム差分しきい値よりも大きい。
【０１８０】
次の段落では、第１のピクセルが移動領域内にあるか又は静止領域にあるかの判定の結果に従って選択されたノイズリダクションブレンディング方式を説明する。
【０１８１】
図１４−ａ及び図１４−ｂを参照すると、図１４−ａは、本発明の一実施形態による第１のピクセルが移動領域内にある雑音画像の概略図であり、図１４−ｂは、本発明の一実施形態による第１のピクセルが静止領域内にある雑音画像の概略図である。図１４−ａ及び図１４−ｂにおいて、左部分は、雑音画像の現在のフレームＦｒａｍｅ  Ｉｎｐｕｔ（Ｔ）であり、中間部分は、ＴＮＲが前のフレームに対して実行された後に得られる画像ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）であり、右部分は、ＴＮＲ及び移動補正が前のフレームに対して実行された後に得られる画像Ｆｒａｍｅ  ＭＣ（Ｔ）である。図１４−ａについては、第１のピクセルが移動領域内にあると見なされるものとしてよく、したがって、ノイズリダクションブレンディングは、雑音画像の現在のフレーム、並びにＴＮＲ及び移動補正が実行された画像の前のフレームに対して実行され、これにより、第１のピクセルに対応する第１のノイズリダクションピクセル値を得る。図１４−ｂについては、第１のピクセルが静止領域内にあると見なされるものとしてよく、したがって、ノイズリダクションブレンディングは、雑音画像の現在のフレーム、並びにＴＮＲが実行された画像の前のフレームに対して実行され、これにより、第１のピクセルに対応する第２のノイズリダクションピクセル値を得る。第１のノイズリダクションピクセル値及び第２のノイズリダクションピクセル値の取得については、前述の実施形態において説明されている式を参照することができ、詳細は、ここでは再度説明されない。
【０１８２】
（４）ノイズ情報及びフレーム差分情報を使用することによってブレンディング係数を調整するステップ。
【０１８３】
第１のピクセルが移動領域又は静止領域内にあるかどうかの判定の異なる結果に従って、異なるブレンディング係数が、ピクセルのノイズレベル情報及びフレーム差分情報を参照して別々に設定され、第１のブレンディング係数及び第２のブレンディング係数は、別々に設定される。ブレンディング係数を設定する特定の方式については、前述の実施形態におけるステップＤ１からＤ３又はＥ１からＥ３の説明を参照することができ、第１のブレンディング係数及び第２のブレンディング係数は、図３に示されているノイズレベルとブレンディング係数との間の正相関関係の概略図を参照して視覚的に取得され得る。
【０１８４】
前述の実施形態から、雑音画像が複数のセクションに分割され、最初に、第１のセクションの量子化ノイズが取得され、次いで、ピクセルが現在のフレーム内のピクセル位置から次のフレームに別々に移動した後に移動推定近傍内の第１のセクション内のすべてのピクセルの次のフレーム内のピクセル位置が第１のセクションの量子化ノイズに従って検出され、次に、第１のピクセルが移動領域又は静止領域内にあるかどうかが、現在のフレームから次のフレームに変化する移動推定近傍内のピクセルのピクセル位置変化状況に従って判定され、次に、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値が、第１のピクセルが移動領域又は静止領域内にあるかどうかの判定に従って別々に設定され、次いで、移動領域と静止領域とに適用可能である異なるフレーム差分計算方式及び前フレームピクセル値計算方式が使用され、最後に、移動領域と静止領域とに適用可能な異なるノイズリダクションブレンディング方式がブレンディング係数、前フレームのピクセル値、及び現在のフレーム内の第１のピクセルのピクセル値に従って選択され、ここで、ブレンディング係数は、第１のピクセルの移動推定結果に従って選択される、ことが理解され得る。本発明の実施形態において、静止／移動は、第１のピクセルが属する第１のセクションの量子化ノイズに関して判定されるものとしてよく、したがって、正しくない判定の確率は非常に低く、第１のピクセルが移動領域又は静止領域内にあるかどうかの判定の異なる結果に対して、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値が別々に設定され、そして異なるフレーム差分計算方式が使用され、移動領域と静止領域とに適用可能である異なるブレンディング係数が、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値、そしてフレーム差分計算方式に従って選択され、ノイズリダクションブレンディング方式が、移動領域と静止領域とに適用可能である異なるブレンディング係数、フレーム差分計算方式、及び現在のフレーム内の第１のピクセルのピクセル値に従って選択される。この方法で、ノイズリダクション処理は、雑音画像が移動領域又は静止領域内にあるかどうかに従って実施されるものとしてよく、そして検出誤りの確率は非常に低い。したがって、本発明のこれらの実施形態における技術的解決方法は、複数のノイズシナリオに適用され得る。
【０１８５】
説明を簡潔にするため、前記の方法の実施形態は、一連の動作として表されていることに留意されたい。しかしながら、当業者であれば、本発明により、いくつかのステップは他の順序で又は同時に実行され得るので、本発明は動作の説明されている順序に限定されないことを理解するであろう。それに加えて、当業者であれば、本明細書で説明されているすべての実施形態は、例示的な実施形態に属しており、随伴する動作及びモジュールは、必ずしも本発明に必須のものではないことも理解するであろう。
【０１８６】
本発明の実施形態における前述の解決方法のより優れた実施について、次の段落では、前述の解決方法を実施するために使用される関係する装置をさらに提供する。
【０１８７】
図１５−ａを参照すると、本発明の一実施形態による雑音画像のためのテンポラルノイズリダクション装置１５００はノイズ取得モジュール１５０１、移動推定モジュール１５０２、移動／静止判定モジュール１５０３、第１のブレンディング係数選択モジュール１５０４、第１のテンポラルノイズリダクションモジュール１５０５、第２のブレンディング係数選択モジュール１５０６、及び第２のテンポラルノイズリダクションモジュール１５０７を備え得る。
【０１８８】
ノイズ取得モジュール１５０１は、雑音画像の第１のセクションの量子化ノイズを取得するように構成され、ここで、第１のセクションは、雑音画像から分割された複数のセクションのうちの任意の１つである。
【０１８９】
移動推定モジュール１５０２は、第１のセクションの量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、ピクセルが現在のフレーム内のピクセル位置から次のフレームに移動した後に検出するように構成され、ここで、移動推定近傍は、第１のピクセルを中心として配置された隣接ピクセルを含み、第１のピクセルは第１のセクション内の任意のピクセルである。
【０１９０】
移動／静止判定モジュール１５０３は、現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って、第１のピクセルが移動領域又は静止領域内にあるかどうかを判定し、第１のピクセルが移動領域内にある場合に、第１のブレンディング係数選択モジュール１５０４と第１のテンポラルノイズリダクションモジュール１５０５との実行をトリガするか、又は第１のピクセルが静止領域内にある場合に、第２のブレンディング係数選択モジュール１５０６と第２のテンポラルノイズリダクションモジュール１５０７との実行をトリガするように構成される。
【０１９１】
第１のブレンディング係数選択モジュール１５０４は、第１のピクセルが移動領域内にあるときに、第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択するように構成され、ここで、第１のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルの移動補正ピクセル値との間の差である。
【０１９２】
第１のテンポラルノイズリダクションモジュール１５０５は、第１のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルの移動補正ピクセル値に従って第１のピクセルに対応する第１のノイズリダクションピクセル値を計算するように構成され、ここで、移動補正ピクセル値は、現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られる。
【０１９３】
第２のブレンディング係数選択モジュール１５０６は、第１のピクセルが静止領域内にあるときに、第１のピクセルの第２のフレーム差分及びプリセットされた第２のフレーム差分しきい値に従って第２のブレンディング係数を選択するように構成され、ここで、第２のフレーム差分しきい値は、第１のフレーム差分しきい値よりも大きく、第２のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルのノイズリダクションピクセル値との間の差である。
【０１９４】
第２のテンポラルノイズリダクションモジュール１５０７は、第２のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルのノイズリダクションピクセル値に従って第１のピクセルに対応する第２のノイズリダクションピクセル値を計算するように構成され、ここで、ノイズリダクションピクセル値は、前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値である。
【０１９５】
本発明のいくつかの実施形態では、ノイズ取得モジュール１５０１は、雑音画像の全Ｎ個のセクションの量子化ノイズを取得し、Ｎ個のセクションの量子化ノイズをＮ個のプリセットされた量子化しきい値と比較し、Ｎ個のセクションの量子化ノイズを（Ｎ＋１）個のノイズレベルに分類するようにさらに構成される。
【０１９６】
本発明のいくつかの実施形態では、図１５−ｂを参照すると、ノイズ取得モジュール１５０１は、ブロック分割サブモジュール１５０１１、量子化ノイズ取得サブモジュール１５０１２、及びセクションノイズ取得サブモジュール１５０１３を備える。
【０１９７】
ブロック分割サブモジュール１５０１１は、第１のセクションを複数のブロックに分割するように構成され、ここで、各ブロックは複数のピクセルを含む。
【０１９８】
量子化ノイズ取得サブモジュール１５０１２は、第１のブロック内のすべてのピクセルの量子化ノイズを取得し、第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを取得し、ここで、第１のブロックは、第１のセクション内の任意のブロックであり、そして第１のセクション内の第１のブロックを除くすべてのブロックの量子化ノイズを別々に取得するように構成される。
【０１９９】
セクションノイズ取得サブモジュール１５０１３は、第１のセクション内のすべてのブロックの量子化ノイズに基づいて平均量子化ノイズを計算し、平均量子化ノイズを第１のセクションの量子化ノイズとして使用するか、又は、第１のセクション内のすべてのブロックの量子化ノイズを１つずつ累算し、累積ヒストグラムにおいてプリセットされたノイズしきい値よりも大きい量子化ノイズを第１のセクションの量子化ノイズとして使用するように構成される。
【０２００】
特に、量子化ノイズ取得サブモジュール１５０１２は、ノイズ推定近傍内のすべてのピクセルのピクセル値を取得し、ここで、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、第１のピクセルは第１のブロック内の任意のピクセルであり、
第１のピクセルの量子化ノイズを、下記式、
ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）＝ｓｕｍ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算し、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）は第１のピクセルの量子化ノイズであり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である、ように具体的に構成される。
【０２０１】
本発明のいくつかの実施形態では、図１５−ｃを参照すると、量子化ノイズ取得サブモジュール１５０１２は、領域判定ユニット１５０１２１、フラット領域量子化値取得ユニット１５０１２２、及びブロック量子化値取得ユニット１５０１２３を備える。
【０２０２】
領域判定ユニット１５０１２１は、第１のブロック内の各ピクセルが、フラット領域内にあるかどうかを判定するように構成される。
【０２０３】
フラット領域量子化値取得ユニット１５０１２２は、フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズを取得するように構成される。
【０２０４】
ブロック量子化値取得ユニット１５０１２３は、フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを計算するように構成される。
【０２０５】
特に、図１５−ｄを参照すると、領域判定ユニット１５０１２１は、ピクセル値取得サブユニット１５０１２１１、エッジ推定サブユニット１５０１２１２、エッジ領域判定サブユニット１５０１２１３、テクスチャ推定サブユニット１５０１２１４、テクスチャ領域判定サブユニット１５０１２１５、及びフラット領域判定サブユニット１５０１２１６を具体的に備える。
【０２０６】
ピクセル値取得サブユニット１５０１２１１は、ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するように構成され、ここで、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、第１のピクセルは第１のブロック内の任意のピクセルである。
【０２０７】
エッジ推定サブユニット１５０１２１２は、ノイズ推定近傍内のすべてのピクセルのピクセル値及びソーベルエッジ畳み込みカーネルに従って第１のピクセルのエッジ推定値を計算するように構成される。
【０２０８】
エッジ領域判定サブユニット１５０１２１３は、第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きい場合に、第１のピクセルがエッジ領域内にあると判定するか、又は第１のピクセルのエッジ推定値が、エッジ領域しきい値以下である場合に、第１のピクセルがエッジ領域内にないと判定するように構成される。
【０２０９】
テクスチャ推定サブユニット１５０１２１４は、ノイズ推定近傍内のすべてのピクセルのピクセル値に従って第１のピクセルのテクスチャ推定値を計算するように構成される。
【０２１０】
テクスチャ領域判定サブユニット１５０１２１５は、第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きい場合に、第１のピクセルがテクスチャ領域内にあると判定するか、又は第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値以下である場合に、第１のピクセルがテクスチャ領域内にないと判定するように構成される。
【０２１１】
フラット領域判定サブユニット１５０１２１６は、第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たす場合に、第１のピクセルはフラット領域内にあると判定するように構成される。
【０２１２】
特に、エッジ推定サブユニット１５０１２１２は、第１のピクセルのエッジ推定値を、下記式、
ＥＭ（ｘ，ｙ）＝｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｈ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｖ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｐ４５｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｎ４５｜
で計算するように具体的に構成され、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、Ｅ＿ｈ、Ｅ＿ｖ、Ｅ＿ｐ４５、及びＥ＿ｎ４５はソーベルエッジ畳み込みカーネルであり、＊は畳み込み記号である。
【０２１３】
テクスチャ推定サブユニット１５０１２１４は、第１のピクセルのテクスチャ推定値を、下記式、
Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＝Ｍａｘ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ））−Ｍｉｎ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するように具体的に構成され、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である。
【０２１４】
フラット領域判定サブユニット１５０１２１６は、第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たすかどうかを、下記式、
（ＥＭ（ｘ，ｙ）＜＝ＥＧｔｈ）＆＆（Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＜＝ＭＮｔｈ）＝＝１
で判定するように構成され、
ここで、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＥＧｔｈはエッジ領域しきい値であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ＭＮｔｈはテクスチャ領域しきい値である。
【０２１５】
本発明のいくつかの実施形態では、図１５−ｅを参照すると、移動推定モジュール１５０２は、耐ノイズ値取得サブモジュール１５０２１及び移動検出サブモジュール１５０２２を備える。
【０２１６】
耐ノイズ値取得サブモジュール１５０２１は、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するように構成される。
【０２１７】
移動検出サブモジュール１５０２２は、第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値と現在のフレーム内のピクセル位置における第１のピクセルのピクセル値とに従って第１のピクセルに対して移動検出を実行して、第１のピクセルの次のフレーム内のピクセル位置を得るように構成される。
【０２１８】
本発明のいくつかの実施形態では、ノイズ取得モジュール１５０１は、雑音画像の全Ｎ個のセクションの量子化ノイズを取得し、Ｎ個のセクションの量子化ノイズをＮ個のプリセットされた量子化しきい値と比較し、Ｎ個のセクションの量子化ノイズを（Ｎ＋１）個のノイズレベルに分類するようにさらに構成される。耐ノイズ値取得サブモジュール１５０２１は、第１のセクションのノイズレベルを抽出し、第１のピクセルの輝度耐ノイズ値を、ノイズレベルと輝度耐ノイズ値との間の正相関関係に従って取得し、第１のピクセルの勾配耐ノイズ値を、ノイズレベルと勾配耐ノイズ値との間の正相関関係に従って取得するように具体的に構成される。
【０２１９】
本発明のいくつかの他の実施形態では、図１５−ｆを参照すると、移動検出サブモジュール１５０２２は、輝度計算ユニット１５０２２１、水平勾配計算ユニット１５０２２２、垂直勾配計算ユニット１５０２２３、類似度マッチング値計算ユニット１５０２２４、及びピクセル位置計算ユニット１５０２２５を備える。
【０２２０】
輝度計算ユニット１５０２２１は、第１のピクセルの輝度耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を計算するように構成される。
【０２２１】
水平勾配計算ユニット１５０２２２は、第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を計算するように構成される。
【０２２２】
垂直勾配計算ユニット１５０２２３は、第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を計算するように構成される。
【０２２３】
類似度マッチング値計算ユニット１５０２２４は、輝度変化値、水平方向勾配変化値、及び垂直方向勾配変化値に従って第１のピクセルのピクセル類似度マッチング値を計算するように構成される。
【０２２４】
ピクセル位置計算ユニット１５０２２５は、ピクセル類似度マッチング値の最小値が取得されたときに第１のピクセルの次のフレーム内のピクセル位置を計算するように構成される。
【０２２５】
特に、輝度計算ユニット１５０２２１は、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を、下記式、
【数１３】
2017502551.tif 000015
で計算するように具体的に構成され、
ここで、Δｇｒａｙ’は輝度変化値であり、ｌａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの輝度耐ノイズ値であり、Δｇｒａｙ＝ａｂｓ（ｇｍ（ｘ，ｙ）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ））であり、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｇｍ（ｘ，ｙ）はｍ番目のフレーム内の第１のピクセルのピクセル値であり、ｍ番目のフレームは第１のピクセルの現在のフレームであり、（ｍ＋１）番目のフレームは第１のピクセルの次のフレームであり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）は（ｍ＋１）番目のフレーム内の第１のピクセルのピクセル値である。
【０２２６】
水平勾配計算ユニット１５０２２２は、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を、下記式、
【数１４】
2017502551.tif 000016
で計算するように具体的に構成され、
ここで、Δｇｒａｄｈ’は水平方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｈ＝ａｂｓ（ｇｍ（ｘ＋１，ｙ）−ｇｍ（ｘ−１，ｙ）−（ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）−ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）））であり、
ｇｍ（ｘ＋１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ−１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である。
【０２２７】
垂直勾配計算ユニット１５０２２３は、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を、下記式、
【数１５】
2017502551.tif 000017
で計算するように具体的に構成され、
ここで、Δｇｒａｄｖ’は垂直方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｖ＝ａｂｓ（ｇｍ（ｘ，ｙ＋１）−ｇｍ（ｘ，ｙ−１）−（ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）））であり、
ｇｍ（ｘ，ｙ＋１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ，ｙ−１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である。
【０２２８】
類似度マッチング値計算ユニット１５０２２４は、第１のピクセルのピクセル類似度マッチング値を、下記式、
ｃｏｓｔ−ｖｏｌｕｍｅ＝Δｇｒａｙ’＋Δｇｒａｄｈ’＋Δｇｒａｄｖ’
で計算するように具体的に構成され、
ここで、ｃｏｓｔ−ｖｏｌｕｍｅは第１のピクセルのピクセル類似度マッチング値であり、Δｇｒａｙ’は輝度変化値であり、Δｇｒａｄｈ’は水平方向勾配変化値であり、Δｇｒａｄｖ’は垂直方向勾配変化値である。
【０２２９】
本発明のいくつかの実施形態では、図１５−ｇを参照すると、移動／静止判定モジュール１５０３は、計数サブモジュール１５０３１、移動／静止判定サブモジュール１５０３２、静止判定サブモジュール１５０３３、及び移動判定サブモジュール１５０３４を備える。
【０２３０】
計数サブモジュール１５０３１は、移動推定近傍内のすべてのピクセルの現在のフレーム内のピクセル位置及び移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置に従って移動推定近傍内の静止領域内のピクセルを計数するように構成される。
【０２３１】
移動／静止判定サブモジュール１５０３２は、移動推定近傍内の静止領域内のピクセルの量を移動／静止の判定のためのプリセットされたしきい値と比較するように構成される。
【０２３２】
静止判定サブモジュール１５０３３は、移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値以上である場合に、第１のピクセルが静止領域内にあると判定するように構成される。
【０２３３】
移動判定サブモジュール１５０３４は、移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値未満である場合に、第１のピクセルが移動領域内にあると判定するように構成される。
【０２３４】
本発明のいくつかの実施形態では、図１５−ｈを参照すると、第１のブレンディング係数選択モジュール１５０４は、第１のフレーム差分判定サブモジュール１５０４１、第１の選択サブモジュール１５０４２、及び第２の選択サブモジュール１５０４３を備える。
【０２３５】
第１のフレーム差分判定サブモジュール１５０４１は、第１のピクセルの第１のフレーム差分がプリセットされた第１のフレーム差分しきい値よりも小さいかどうかを判定するように構成される。
【０２３６】
第１の選択サブモジュール１５０４２は、第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値以下である場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のブレンディング係数を選択するように構成される。
【０２３７】
第２の選択サブモジュール１５０４３は、第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値よりも大きい場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のフレーム差分重み係数を選択し、第１のフレーム差分しきい値と、第１のピクセルの第１のフレーム差分と、第１のフレーム差分重み係数とに従って第１のブレンディング係数を選択するように構成される。
【０２３８】
特に、第１のテンポラルノイズリダクションモジュール１５０５は、第１のピクセルに対応する第１のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒ＝ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）×ａｌｐｈａ＿ｆｉｒ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｆｉｒ）
で計算するように具体的に構成され、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒは第１のピクセルに対応する第１のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）は現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られ、ａｌｐｈａ＿ｆｉｒは第１のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である。
【０２３９】
特に、第２のテンポラルノイズリダクションモジュール１５０７は、第１のピクセルに対応する第２のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃ＝ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）×ａｌｐｈａ＿ｓｅｃ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｓｅｃ）
で計算するように具体的に構成され、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃは第１のピクセルに対応する第２のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）は前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値であり、ａｌｐｈａ＿ｓｅｃは第２のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である。
【０２４０】
装置のモジュール／ユニットとその実行プロセスとの間の情報交換などの内容は、本発明の方法の実施形態と同じ考え方に基づいており、本発明の方法の実施形態と同じ技術的効果をもたらすことに留意されたい。特定の内容については、本発明の前述の方法の実施形態の説明が参照されるものとしてよく、詳細は、ここでは再度説明されない。
【０２４１】
図１５−ａから図１５−ｈに示されている実施形態から、雑音画像が複数のセクションに分割され、最初に、第１のセクションの量子化ノイズが取得され、次いで、ピクセルが現在のフレーム内のピクセル位置から次のフレームに別々に移動した後に移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置が第１のセクションの量子化ノイズに従って検出され、次に、第１のピクセルが移動領域又は静止領域内にあるかどうかが、現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って判定され、次に、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値が、第１のピクセルが移動領域又は静止領域内にあるかどうかの判定に従って別々に設定され、次いで、移動領域と静止領域とに適用可能である異なるフレーム差分計算方式及び前フレームピクセル値計算方式が使用され、最後に、移動領域と静止領域とに適用可能な異なるノイズリダクションブレンディング方式がブレンディング係数、前のフレームのピクセル値、及び現在のフレーム内の第１のピクセルのピクセル値に従って選択され、ここで、ブレンディング係数は、第１のピクセルの移動推定結果に従って選択される、ことが理解され得る。本発明の実施形態において、静止／移動は、第１のピクセルが属する第１のセクションの量子化ノイズに関して判定されるものとしてよく、したがって、正しくない判定の確率は非常に低く、第１のピクセルが移動領域又は静止領域内にあるかどうかの判定の異なる結果に対して、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値が別々に設定され、そして異なるフレーム差分計算方式が使用され、移動領域と静止領域とに適用可能である異なるブレンディング係数が、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値、そしてフレーム差分計算方式に従って選択され、ノイズリダクションブレンディング方式が、移動領域と静止領域とに適用可能である異なるブレンディング係数、フレーム差分計算方式、及び現在のフレーム内の第１のピクセルのピクセル値に従って選択される。この方法で、ノイズリダクション処理は、雑音画像が移動領域又は静止領域内にあるかどうかに従って実施されるものとしてよく、そして検出誤りの確率は非常に低い。したがって、本発明のこれらの実施形態における技術的解決方法は、複数のノイズシナリオに適用され得る。
【０２４２】
本発明の一実施形態は、コンピュータ記憶媒体をさらに提供し、ここで、コンピュータ記憶媒体は、プログラムを記憶し、プログラムは、前述の方法の実施形態において記録された一部又は全部のステップを実行する。
【０２４３】
次の段落では、本発明の一実施形態による雑音画像のための別のテンポラルノイズリダクション装置を紹介する。図１６を参照すると、雑音画像のためのテンポラルノイズリダクション装置１６００は、
入力装置１６０１、出力装置１６０２、プロセッサ１６０３、及びメモリ１６０４を備える（雑音画像のためのテンポラルノイズリダクション装置１６００は、１つ又は複数のプロセッサ１６０３を有し得るが、図１６では、１つのプロセッサが一例として使用されている）。本発明のいくつかの実施形態では、入力装置１６０１、出力装置１６０２、プロセッサ１６０３、及びメモリ１６０４は、バスを使用することによって、又は別の方式で接続されるものとしてよく、図１６では、バスを使用することによってそれらを接続するステップが一例として使用されている。
【０２４４】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
雑音画像の第１のセクションの量子化ノイズを取得するステップであって、ここで、第１のセクションは、雑音画像から分割された複数のセクションのうちの任意の１つである、ステップと、
第１のセクションの量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、ピクセルが現在のフレーム内のピクセル位置から次のフレームに移動した後に検出するステップであって、ここで、移動推定近傍は、第１のピクセルを中心として配置された隣接ピクセルを含み、第１のピクセルは第１のセクション内の任意のピクセルである、ステップと、
現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って、第１のピクセルが移動領域又は静止領域内にあるかどうかを判定するステップと、
第１のピクセルが移動領域内にある場合に、第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択し、第１のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルの移動補正ピクセル値に従って第１のピクセルに対応する第１のノイズリダクションピクセル値を計算するステップであって、ここで、第１のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルの移動補正ピクセル値との間の差であり、移動補正ピクセル値は、現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られる、ステップと、
第１のピクセルが静止領域内にある場合に、第１のピクセルの第２のフレーム差分及びプリセットされた第２のフレーム差分しきい値に従って第２のブレンディング係数を選択し、次いで、第２のブレンディング係数、現在のフレーム内の第１のピクセルのピクセル値、及び前のフレーム内の第１のピクセルのノイズリダクションピクセル値に従って第１のピクセルに対応する第２のノイズリダクションピクセル値を計算するステップであって、ここで、第２のフレーム差分しきい値は、第１のフレーム差分しきい値よりも大きく、第２のフレーム差分は現在のフレーム内の第１のピクセルのピクセル値と前のフレーム内の第１のピクセルのノイズリダクションピクセル値との間の差であり、そしてノイズリダクションピクセル値は、前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値である、ステップとを実行するように具体的に構成される。
【０２４５】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
第１のセクションを複数のブロックに分割するステップであって、ここで、各ブロックは複数のピクセルを含む、ステップと、
第１のブロック内のすべてのピクセルの量子化ノイズを取得し、第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを取得し、ここで、第１のブロックは、第１のセクション内の任意のブロックであり、そして第１のセクション内の第１のブロックを除くすべてのブロックの量子化ノイズを別々に取得する、ステップと、
第１のセクション内のすべてのブロックの量子化ノイズに基づいて平均量子化ノイズを計算し、平均量子化ノイズを第１のセクションの量子化ノイズとして使用するか、又は、第１のセクション内のすべてのブロックの量子化ノイズを１つずつ累算し、累積ヒストグラムにおいてプリセットされたノイズしきい値よりも大きい量子化ノイズを第１のセクションの量子化ノイズとして使用する、ステップとを実行するように具体的に構成される。
【０２４６】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
第１のブロック内の各ピクセルがフラット領域内にあるかどうかを判定するステップと、
フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズを取得するステップと、
フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを計算するステップとを実行するように具体的に構成される。
【０２４７】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するステップであって、ここで、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、第１のピクセルは第１のブロック内の任意のピクセルである、ステップと、
ノイズ推定近傍内のすべてのピクセルのピクセル値及びソーベルエッジ畳み込みカーネルに従って第１のピクセルのエッジ推定値を計算するステップと、
第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きい場合に、第１のピクセルがエッジ領域内にあると判定するか、又は第１のピクセルのエッジ推定値が、エッジ領域しきい値以下である場合に、第１のピクセルがエッジ領域内にないと判定する、ステップと、
ノイズ推定近傍内のすべてのピクセルのピクセル値に従って第１のピクセルのテクスチャ推定値を計算するステップと、
第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きい場合に、第１のピクセルがテクスチャ領域内にあると判定するか、又は第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値以下である場合に、第１のピクセルがテクスチャ領域内にないと判定し、ここで、
第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たす場合に、第１のピクセルがフラット領域内にあると判定するステップとを実行するように具体的に構成される。
【０２４８】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
第１のピクセルのエッジ推定値を、下記式、
ＥＭ（ｘ，ｙ）＝｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｈ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｖ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｐ４５｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｎ４５｜
で計算するステップであって、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、Ｅ＿ｈ、Ｅ＿ｖ、Ｅ＿ｐ４５、及びＥ＿ｎ４５はソーベルエッジ畳み込みカーネルであり、＊は畳み込み記号である、ステップを実行するように具体的に構成され、
ノイズ推定近傍内のすべてのピクセルのピクセル値に従って第１のピクセルのテクスチャ推定値を計算するステップは、
第１のピクセルのテクスチャ推定値を、下記式、
Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＝Ｍａｘ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ））−Ｍｉｎ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するステップであって、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である、ステップと、
第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たすかどうかを、下記式、
（ＥＭ（ｘ，ｙ）＜＝ＥＧｔｈ）＆＆（Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＜＝ＭＮｔｈ）＝＝１
で判定するステップであって、
ここで、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＥＧｔｈはエッジ領域しきい値であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ＭＮｔｈはテクスチャ領域しきい値である、ステップとを含む。
【０２４９】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するステップであって、ここで、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、第１のピクセルは第１のブロック内の任意のピクセルである、ステップと、
第１のピクセルの量子化ノイズを、下記式、
ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）＝ｓｕｍ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するステップであって、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）は第１のピクセルの量子化ノイズであり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である、ステップとを実行するように具体的に構成される。
【０２５０】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するステップと、
第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値と現在のフレーム内のピクセル位置における第１のピクセルのピクセル値とに従って第１のピクセルに対して移動検出を実行して、第１のピクセルの次のフレーム内のピクセル位置を得るステップと、
第１のセクションの量子化ノイズに従って第１のセクション内の第１のピクセルを除く他のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するステップと、
第１のセクション内の第１のピクセルを除く他のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値と現在のフレーム内のピクセル位置における第１のセクション内の第１のピクセルを除く他のピクセルのピクセル値とに従って第１のセクション内の第１のピクセルを除く他のピクセルに対して移動検出を実行して、第１のセクション内の第１のピクセルを除く他のピクセルの次のフレーム内のピクセル位置を得るステップとを実行するように具体的に構成される。
【０２５１】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
第１のピクセルの輝度耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を計算するステップと、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を計算するステップと、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を計算するステップと、
輝度変化値、水平方向勾配変化値、及び垂直方向勾配変化値に従って第１のピクセルのピクセル類似度マッチング値を計算するステップと、
ピクセル類似度マッチング値の最小値が取得されたときに第１のピクセルの次のフレーム内のピクセル位置を計算するステップとを実行するように具体的に構成される。
【０２５２】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を、下記式、
【数１６】
2017502551.tif 000018
で計算するステップであって、
ここで、Δｇｒａｙ’は輝度変化値であり、ｌａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの輝度耐ノイズ値であり、Δｇｒａｙ＝ａｂｓ（ｇｍ（ｘ，ｙ）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ））であり、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｇｍ（ｘ，ｙ）はｍ番目のフレーム内の第１のピクセルのピクセル値であり、ｍ番目のフレームは第１のピクセルの現在のフレームであり、（ｍ＋１）番目のフレームは第１のピクセルの次のフレームであり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）は（ｍ＋１）番目のフレーム内の第１のピクセルのピクセル値である、ステップを実行するように具体的に構成され、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を計算するステップは、
第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を、下記式、
【数１７】
2017502551.tif 000019
で計算するステップであって、
ここで、Δｇｒａｄｈ’は水平方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｈ＝ａｂｓ（ｇｍ（ｘ＋１，ｙ）−ｇｍ（ｘ−１，ｙ）−（ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）−ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）））であり、
ｇｍ（ｘ＋１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ−１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である、ステップを含み、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を計算するステップは、
第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を、下記式、
【数１８】
2017502551.tif 000020
で計算するステップであって、
ここで、Δｇｒａｄｖ’は垂直方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｖ＝ａｂｓ（ｇｍ（ｘ，ｙ＋１）−ｇｍ（ｘ，ｙ−１）−（ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）））であり、
ｇｍ（ｘ，ｙ＋１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ，ｙ−１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値である、ステップを含み、
輝度変化値、水平方向勾配変化値、及び垂直方向勾配変化値に従って第１のピクセルのピクセル類似度マッチング値を計算するステップは、
第１のピクセルのピクセル類似度マッチング値を、下記式、
ｃｏｓｔ−ｖｏｌｕｍｅ＝Δｇｒａｙ’＋Δｇｒａｄｈ’＋Δｇｒａｄｖ’
で計算するステップであって、
ここで、ｃｏｓｔ−ｖｏｌｕｍｅは第１のピクセルのピクセル類似度マッチング値であり、Δｇｒａｙ’は輝度変化値であり、Δｇｒａｄｈ’は水平方向勾配変化値であり、Δｇｒａｄｖ’は垂直方向勾配変化値である、ステップを含む。
【０２５３】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
雑音画像の全Ｎ個のセクションの量子化ノイズを取得するステップと、
Ｎ個のセクションの量子化ノイズをＮ個のプリセットされた量子化しきい値と比較し、Ｎ個のセクションの量子化ノイズを（Ｎ＋１）個のノイズレベルに分類するステップとを実行するようにさらに構成され、
第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するステップは、
第１のセクションのノイズレベルを抽出し、第１のピクセルの輝度耐ノイズ値を、ノイズレベルと輝度耐ノイズ値との間の正相関関係に従って取得し、第１のピクセルの勾配耐ノイズ値を、ノイズレベルと勾配耐ノイズ値との間の正相関関係に従って取得するステップを含む。
【０２５４】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
移動推定近傍内のすべてのピクセルの現在のフレーム内のピクセル位置及び移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置に従って移動推定近傍内の静止領域内のピクセルを計数するステップと、
移動推定近傍内の静止領域内のピクセルの量を移動／静止の判定のためのプリセットされたしきい値と比較するステップと、
移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値以上である場合に、第１のピクセルは静止領域内にあると判定するステップと、
移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値よりも小さい場合に、第１のピクセルは移動領域内にあると判定するステップとを実行するように具体的に構成される。
【０２５５】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
第１のピクセルの第１のフレーム差分がプリセットされた第１のフレーム差分しきい値よりも小さいかどうかを判定するステップと、
第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値以下である場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のブレンディング係数を選択するステップと、
第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値よりも大きい場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のフレーム差分重み係数を選択し、第１のフレーム差分しきい値と、第１のピクセルの第１のフレーム差分と、第１のフレーム差分重み係数とに従って第１のブレンディング係数を選択するステップとを実行するように具体的に構成される。
【０２５６】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
第１のピクセルに対応する第１のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒ＝ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）×ａｌｐｈａ＿ｆｉｒ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｆｉｒ）
で計算するステップであって、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒは第１のピクセルに対応する第１のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）は現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られ、ａｌｐｈａ＿ｆｉｒは第１のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である、ステップを実行するように具体的に構成される。
【０２５７】
本発明のいくつかの実施形態では、プロセッサ１６０３は、下記の、
第１のピクセルに対応する第２のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃ＝ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）×ａｌｐｈａ＿ｓｅｃ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｓｅｃ）
で計算するステップであって、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃは第１のピクセルに対応する第２のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）は前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値であり、ａｌｐｈａ＿ｓｅｃは第２のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である、ステップを実行するように具体的に構成される。
【０２５８】
この実施形態から、雑音画像が複数のセクションに分割され、最初に、第１のセクションの量子化ノイズが取得され、次いで、ピクセルが現在のフレーム内のピクセル位置から次のフレームに別々に移動した後に移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置が第１のセクションの量子化ノイズに従って検出され、次に、第１のピクセルが移動領域又は静止領域内にあるかどうかが、現在のフレームから次のフレームに変化する移動推定近傍内のすべてのピクセルのピクセル位置変化状況に従って判定され、次に、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値が、第１のピクセルが移動領域又は静止領域内にあるかどうかの判定に従って別々に設定され、次いで、移動領域と静止領域とに適用可能である異なるフレーム差分計算方式及び前フレームピクセル値計算方式が使用され、最後に、移動領域と静止領域とに適用可能な異なるノイズリダクションブレンディング方式がブレンディング係数、前フレームのピクセル値、及び現在のフレーム内の第１のピクセルのピクセル値に従って選択され、ここで、ブレンディング係数は、第１のピクセルの移動推定結果に従って選択される、ことが理解され得る。本発明の実施形態において、静止／移動は、第１のピクセルが属する第１のセクションの量子化ノイズに関して判定されるものとしてよく、したがって、正しくない判定の確率は非常に低く、第１のピクセルが移動領域又は静止領域内にあるかどうかの判定の異なる結果に対して、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値が別々に設定され、そして異なるフレーム差分計算方式が使用され、移動領域と静止領域とに適用可能である異なるブレンディング係数が、移動領域と静止領域とに適用可能である異なるフレーム差分しきい値、そしてフレーム差分計算方式に従って選択され、ノイズリダクションブレンディング方式が、移動領域と静止領域とに適用可能である異なるブレンディング係数、フレーム差分計算方式、及び現在のフレーム内の第１のピクセルのピクセル値に従って選択される。この方法で、ノイズリダクション処理は、雑音画像が移動領域又は静止領域内にあるかどうかに従って実施されるものとしてよく、そして検出誤りの確率は非常に低い。したがって、本発明のこれらの実施形態における技術的解決方法は、複数のノイズシナリオに適用され得る。
【０２５９】
それに加えて、説明されている装置の実施形態は、単なる例にすぎないことに留意されたい。分離している部分として説明されるユニットは、物理的に分離し得るか又は分離し得ず、そしてユニットとして表示される部分は、物理的ユニットであり得るか又は物理的ユニットであり得ず、１つの位置に配置され得るか、又は複数のネットワークユニット上に分散され得る。モジュールの一部又は全部は、実施形態の解決方法の目的を達成するための実際の必要条件に従って選択され得る。それに加えて、本発明によって提供される装置の実施形態の添付図面において、モジュール間の接続関係は、モジュールが互いに通信接続を有することを示し、この通信接続は１つ又は複数の通信バス又は信号ケーブルとして具体的に実施され得る。当業者であれば、創造的労力を費やすことなく本発明の実施形態を理解し、そして実施することができる。
【０２６０】
前述の実施方式の説明に基づいて、当業者は、本発明が、必要な一般的ハードウェアに加えてソフトウェアによって、又は特定用途向け集積回路、専用ＣＰＵ、専用メモリ、専用コンポーネント、及び同様のものを含む、専用ハードウェアによって実施され得ることを明確に理解し得る。一般的に、コンピュータプログラムによって実行され得る機能は、対応するハードウェアを使用することによって容易に実施され得る。さらに、同じ機能を達成するために使用される特定のハードウェア構造は、様々な形態をとることができ、たとえば、アナログ回路、デジタル回路、専用回路、又は同様のものの形態とし得る。しかしながら、本発明に関しては、ソフトウェアプログラムの実施が、ほとんどの場合においてよりよい実施様式である。そのような理解に基づいて、本発明の本質的な技術的解決策、又は従来技術に寄与する部分は、ソフトウェア製品の形態で実施され得る。コンピュータソフトウェア製品は、フロッピーディスク、ＵＳＢフラッシュドライブ、取り外し可能なハードディスク、リードオンリーメモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスク、又はコンピュータ用の光ディスクなどの読み出し可能な記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバ、ネットワークデバイス、及び同様のものとすることができる）に本発明の実施形態で説明されている方法を実行するよう指示するためのいくつかの命令を備える。
【０２６１】
前述の実施形態は、本発明を限定するのではなく、本発明の技術的解決方法を説明することのみを意図している。本発明は、前述の実施形態を参照しつつ詳しく説明されているけれども、当業者であれば、本発明の実施形態の技術的解決方法の精神及び範囲から逸脱することなく、前述の実施形態において説明されている技術的解決方法に修正を加えるか、又はその一部の技術的特徴に対する同等の置き換えを行うことが依然として可能であることを理解するであろう。
【図１】
2017502551.tif 000027
【図２】
2017502551.tif 000028
【図３】
2017502551.tif 000029
【図４】
2017502551.tif 000030
【図５】
2017502551.tif 000031
【図６】
2017502551.tif 000032
【図７】
2017502551.tif 000033
【図８】
2017502551.tif 000034
【図９】
2017502551.tif 000035
【図１０】
2017502551.tif 000036
【図１１−ａ】
2017502551.tif 000037
【図１１−ｂ】
2017502551.tif 000038
【図１２】
2017502551.tif 000039
【図１３】
2017502551.tif 000040
【図１４−ａ】
2017502551.tif 000041
【図１４−ｂ】
2017502551.tif 000042
【図１５−ａ】
2017502551.tif 000043
【図１５−ｂ】
2017502551.tif 000044
【図１５−ｃ】
2017502551.tif 000045
【図１５−ｄ】
2017502551.tif 000046
【図１５−ｅ】
2017502551.tif 000047
【図１５−ｆ】
2017502551.tif 000048
【図１５−ｇ】
2017502551.tif 000049
【図１５−ｈ】
2017502551.tif 000050
【図１６】
2017502551.tif 000051
【手続補正書】
【提出日】平成28年5月26日(2016.5.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
雑音画像のためのテンポラルノイズリダクション方法であって、
雑音画像の第１のセクションの量子化ノイズを取得するステップであって、前記第１のセクションは、前記雑音画像から分割された複数のセクションのうちの任意の１つである、ステップと、
前記第１のセクションの前記量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、前記ピクセルが現在のフレーム内のピクセル位置から前記次のフレームに移動した後に検出するステップであって、前記移動推定近傍は、第１のピクセルを中心として配置された隣接ピクセルを含み、前記第１のピクセルは前記第１のセクション内の任意のピクセルである、ステップと、
前記現在のフレームから前記次のフレームに変化する前記移動推定近傍内のすべての前記ピクセルのピクセル位置変化状況に従って、前記第１のピクセルが移動領域又は静止領域内にあるかどうかを判定するステップと、
前記第１のピクセルが前記移動領域内にある場合に、前記第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択し、前記第１のブレンディング係数、前記現在のフレーム内の前記第１のピクセルのピクセル値、及び前のフレーム内の前記第１のピクセルの移動補正ピクセル値に従って前記第１のピクセルに対応する第１のノイズリダクションピクセル値を計算するステップであって、前記第１のフレーム差分は前記現在のフレーム内の前記第１のピクセルの前記ピクセル値と前記前のフレーム内の前記第１のピクセルの前記移動補正ピクセル値との間の差であり、前記移動補正ピクセル値は、前記現在のフレーム内の前記第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前記前のフレーム内の前記第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られる、ステップと、
前記第１のピクセルが前記静止領域内にある場合に、前記第１のピクセルの第２のフレーム差分及びプリセットされた第２のフレーム差分しきい値に従って第２のブレンディング係数を選択し、次いで、前記第２のブレンディング係数、前記現在のフレーム内の前記第１のピクセルの前記ピクセル値、及び前記前のフレーム内の前記第１のピクセルのノイズリダクションピクセル値に従って前記第１のピクセルに対応する第２のノイズリダクションピクセル値を計算するステップであって、前記第２のフレーム差分しきい値は、前記第１のフレーム差分しきい値よりも大きく、前記第２のフレーム差分は前記現在のフレーム内の前記第１のピクセルの前記ピクセル値と前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセル値との間の差であり、そして前記ノイズリダクションピクセル値は、前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセルの対応する位置のピクセル値である、ステップとを含むテンポラルノイズリダクション方法。
【請求項２】
雑音画像の第１のセクションの量子化ノイズを取得する前記ステップは、
前記第１のセクションを複数のブロックに分割するステップであって、各ブロックは複数のピクセルを含む、ステップと、
第１のブロック内のすべてのピクセルの量子化ノイズを取得し、前記第１のブロック内のすべての前記ピクセルの前記量子化ノイズに従って前記第１のブロックの量子化ノイズを取得し、ここで、前記第１のブロックは、前記第１のセクション内の任意のブロックであり、そして前記第１のセクション内の前記第１のブロックを除くすべての前記ブロックの量子化ノイズを別々に取得する、ステップと、
前記第１のセクション内のすべての前記ブロックの前記量子化ノイズに基づいて平均量子化ノイズを計算し、前記平均量子化ノイズを前記第１のセクションの前記量子化ノイズとして使用するか、又は、前記第１のセクション内のすべての前記ブロックの前記量子化ノイズを１つずつ累算し、累積ヒストグラムにおいてプリセットされたノイズしきい値よりも大きい量子化ノイズを前記第１のセクションの前記量子化ノイズとして使用する、ステップとを含む請求項１に記載の方法。
【請求項３】
前記第１のブロック内のすべての前記ピクセルの前記量子化ノイズに従って前記第１のブロックの量子化ノイズを取得する前記ステップは、
前記第１のブロック内の各ピクセルがフラット領域内にあるかどうかを判定するステップと、
前記フラット領域内にある前記第１のブロック内のすべてのピクセルの量子化ノイズを取得するステップと、
前記フラット領域内にある前記第１のブロック内のすべての前記ピクセルの前記量子化ノイズに従って前記第１のブロックの前記量子化ノイズを計算するステップとを含む請求項２に記載の方法。
【請求項４】
前記第１のブロック内の各ピクセルが、フラット領域内にあるかどうかを判定する前記ステップは、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するステップであって、前記ノイズ推定近傍は、前記第１のピクセルを中心として配置され、そして前記第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、前記第１のピクセルは前記第１のブロック内の任意のピクセルである、ステップと、
前記ノイズ推定近傍内のすべての前記ピクセルの前記ピクセル値及びソーベルエッジ畳み込みカーネルに従って前記第１のピクセルのエッジ推定値を計算するステップと、
前記第１のピクセルの前記エッジ推定値が、エッジ領域しきい値よりも大きいかどうかを判定し、前記第１のピクセルの前記エッジ推定値が、前記エッジ領域しきい値よりも大きい場合に、前記第１のピクセルがエッジ領域内にあると判定するか、又は前記第１のピクセルの前記エッジ推定値が、前記エッジ領域しきい値以下である場合に、前記第１のピクセルが前記エッジ領域内にないと判定する、ステップと、
前記ノイズ推定近傍内のすべての前記ピクセルの前記ピクセル値に従って前記第１のピクセルのテクスチャ推定値を計算するステップと、
前記第１のピクセルの前記テクスチャ推定値が、テクスチャ領域しきい値よりも大きいかどうかを判定し、前記第１のピクセルの前記テクスチャ推定値が、前記テクスチャ領域しきい値よりも大きい場合に、前記第１のピクセルがテクスチャ領域内にあると判定するか、又は前記第１のピクセルの前記テクスチャ推定値が、前記テクスチャ領域しきい値以下である場合に、前記第１のピクセルが前記テクスチャ領域内にないと判定し、
前記第１のピクセルが、前記第１のピクセルが前記エッジ領域内にないという条件と、前記第１のピクセルが前記テクスチャ領域内にないという条件の両方を満たす場合に、前記第１のピクセルが前記フラット領域内にあると判定する、ステップとを含む請求項３に記載の方法。
【請求項５】
第１のブロック内のすべてのピクセルの量子化ノイズを取得する前記ステップは、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するステップであって、前記ノイズ推定近傍は、前記第１のピクセルを中心として配置され、そして前記第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、前記第１のピクセルは前記第１のブロック内の任意のピクセルである、ステップと、
前記第１のピクセルの前記量子化ノイズを、下記式、
ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）＝ｓｕｍ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するステップであって、
ここで、（ｘ，ｙ）は前記第１のピクセルの前記現在のフレーム内のピクセル位置であり、ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）は前記第１のピクセルの前記量子化ノイズであり、ｖａｌｕｅｉは前記ノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）は前記ノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべての前記ピクセルの前記ピクセル値の中央値又は平均値である、ステップとを含む請求項２から請求項４のいずれか一項に記載の方法。
【請求項６】
前記第１のセクションの前記量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、前記ピクセルが現在のフレーム内のピクセル位置から前記次のフレームに移動した後に検出する前記ステップは、
前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って前記第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するステップと、
前記第１のピクセルの前記輝度耐ノイズ値及び前記勾配耐ノイズ値と前記現在のフレーム内のピクセル位置における前記第１のピクセルのピクセル値とに従って前記第１のピクセルに対して移動検出を実行して、前記第１のピクセルの前記次のフレーム内のピクセル位置を得るステップと、
前記第１のセクションの前記量子化ノイズに従って前記第１のセクション内の前記第１のピクセルを除く他のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するステップと、
前記第１のセクション内の前記第１のピクセルを除く前記他のピクセルの前記輝度耐ノイズ値及び前記勾配耐ノイズ値と前記現在のフレーム内のピクセル位置における前記第１のセクション内の前記第１のピクセルを除く前記他のピクセルのピクセル値とに従って前記第１のセクション内の前記第１のピクセルを除く前記他のピクセルに対して移動検出を実行して、前記第１のセクション内の前記第１のピクセルを除く前記他のピクセルの前記次のフレーム内のピクセル位置を得るステップとを含む請求項１から請求項５のいずれか一項に記載の方法。
【請求項７】
雑音画像の第１のセクションの量子化ノイズを取得する前記ステップの後に、前記方法は
前記雑音画像の全Ｎ個のセクションの量子化ノイズを取得するステップと、
前記Ｎ個のセクションの前記量子化ノイズをＮ個のプリセットされた量子化しきい値と比較し、前記Ｎ個のセクションの前記量子化ノイズを（Ｎ＋１）個のノイズレベルに分類するステップとをさらに含み、
前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って前記第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得する前記ステップは、
前記第１のセクションのノイズレベルを抽出し、前記第１のピクセルの前記輝度耐ノイズ値を、前記ノイズレベルと前記輝度耐ノイズ値との間の正相関関係に従って取得し、前記第１のピクセルの前記勾配耐ノイズ値を、前記ノイズレベルと前記勾配耐ノイズ値との間の正相関関係に従って取得するステップを含む請求項６に記載の方法。
【請求項８】
前記現在のフレームから前記次のフレームに変化する前記移動推定近傍内のすべての前記ピクセルのピクセル位置変化状況に従って、前記第１のピクセルが移動領域又は静止領域内にあるかどうかを判定する前記ステップは、
前記移動推定近傍内のすべての前記ピクセルの前記現在のフレーム内のピクセル位置及び前記移動推定近傍内のすべての前記ピクセルの前記次のフレーム内のピクセル位置に従って前記移動推定近傍内の前記静止領域内のピクセルを計数するステップと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの量を移動／静止の判定のためのプリセットされたしきい値と比較するステップと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの前記量が移動／静止の判定のための前記プリセットされたしきい値以上である場合に、前記第１のピクセルは前記静止領域内にあると判定するステップと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの前記量が移動／静止の判定のための前記プリセットされたしきい値よりも小さい場合に、前記第１のピクセルは前記移動領域内にあると判定するステップとを含む請求項１から請求項７のいずれか一項に記載の方法。
【請求項９】
前記第１のピクセルの前記第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択する前記ステップは、
前記第１のピクセルの前記第１のフレーム差分が前記プリセットされた第１のフレーム差分しきい値よりも小さいかどうかを判定するステップと、
前記第１のピクセルの前記第１のフレーム差分が前記第１のフレーム差分しきい値以下である場合に、前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って前記第１のブレンディング係数を選択するステップと、
前記第１のピクセルの前記第１のフレーム差分が前記第１のフレーム差分しきい値よりも大きい場合に、前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って第１のフレーム差分重み係数を選択し、前記第１のフレーム差分しきい値と、前記第１のピクセルの前記第１のフレーム差分と、前記第１のフレーム差分重み係数とに従って前記第１のブレンディング係数を選択するステップとを含む請求項１から請求項８のいずれか一項に記載の方法。
【請求項１０】
雑音画像のためのテンポラルノイズリダクション装置であって、
雑音画像の第１のセクションの量子化ノイズを取得するように構成されたノイズ取得モジュールであって、前記第１のセクションは、前記雑音画像から分割された複数のセクションのうちの任意の１つである、ノイズ取得モジュールと、
前記第１のセクションの前記量子化ノイズに従って、移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置を、前記ピクセルが現在のフレーム内のピクセル位置から前記次のフレームに移動した後に検出するように構成された移動推定モジュールであって、前記移動推定近傍は、第１のピクセルを中心として配置された隣接ピクセルを含み、前記第１のピクセルは前記第１のセクション内の任意のピクセルである、移動推定モジュールと、
前記現在のフレームから前記次のフレームに変化する前記移動推定近傍内のすべての前記ピクセルのピクセル位置変化状況に従って、前記第１のピクセルが移動領域又は静止領域内にあるかどうかを判定し、前記第１のピクセルが前記移動領域内にある場合に、第１のブレンディング係数選択モジュールと第１のテンポラルノイズリダクションモジュールとの実行をトリガするか、又は前記第１のピクセルが前記静止領域内にある場合に、第２のブレンディング係数選択モジュールと第２のテンポラルノイズリダクションモジュールとの実行をトリガするように構成された、移動／静止判定モジュールとを備え、
前記第１のブレンディング係数選択モジュールは、前記第１のピクセルが移動領域内にあるときに、前記第１のピクセルの第１のフレーム差分及びプリセットされた第１のフレーム差分しきい値に従って第１のブレンディング係数を選択するように構成され、ここで、前記第１のフレーム差分は前記現在のフレーム内の前記第１のピクセルのピクセル値と前のフレーム内の前記第１のピクセルの移動補正ピクセル値との間の差であり、
前記第１のテンポラルノイズリダクションモジュールは、前記第１のブレンディング係数、前記現在のフレーム内の前記第１のピクセルの前記ピクセル値、及び前記前のフレーム内の前記第１のピクセルの前記移動補正ピクセル値に従って前記第１のピクセルに対応する第１のノイズリダクションピクセル値を計算するように構成され、ここで、前記移動補正ピクセル値は、前記現在のフレーム内の前記第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前記前のフレーム内の前記第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られ、
前記第２のブレンディング係数選択モジュールは、前記第１のピクセルが静止領域内にあるときに、前記第１のピクセルの第２のフレーム差分及びプリセットされた第２のフレーム差分しきい値に従って第２のブレンディング係数を選択するように構成され、ここで、前記第２のフレーム差分は前記現在のフレーム内の前記第１のピクセルの前記ピクセル値と前記前のフレーム内の前記第１のピクセルのノイズリダクションピクセル値との間の差であり、そして前記第２のフレーム差分しきい値は、前記第１のフレーム差分しきい値よりも大きく、
前記第２のテンポラルノイズリダクションモジュールは、前記第２のブレンディング係数、前記現在のフレーム内の前記第１のピクセルの前記ピクセル値、及び前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセル値に従って前記第１のピクセルに対応する第２のノイズリダクションピクセル値を計算するように構成され、ここで、前記ノイズリダクションピクセル値は、前記前のフレーム内の前記第１のピクセルの前記ノイズリダクションピクセルの対応する位置のピクセル値であるテンポラルノイズリダクション装置。
【請求項１１】
前記ノイズ取得モジュールは、
前記第１のセクションを複数のブロックに分割するように構成されたブロック分割サブモジュールであって、各ブロックは複数のピクセルを含む、ブロック分割サブモジュールと、
第１のブロック内のすべてのピクセルの量子化ノイズを取得し、前記第１のブロック内のすべての前記ピクセルの前記量子化ノイズに従って前記第１のブロックの量子化ノイズを取得し、ここで、前記第１のブロックは、前記第１のセクション内の任意のブロックであり、そして前記第１のセクション内の前記第１のブロックを除くすべての前記ブロックの量子化ノイズを別々に取得するように構成された量子化ノイズ取得サブモジュールと、
前記第１のセクション内のすべての前記ブロックの前記量子化ノイズに基づいて平均量子化ノイズを計算し、前記平均量子化ノイズを前記第１のセクションの前記量子化ノイズとして使用するか、又は、前記第１のセクション内のすべての前記ブロックの前記量子化ノイズを１つずつ累算し、累積ヒストグラムにおいてプリセットされたノイズしきい値よりも大きい量子化ノイズを前記第１のセクションの前記量子化ノイズとして使用するように構成されたセクションノイズ取得サブモジュールとを備える請求項１０に記載の装置。
【請求項１２】
前記量子化ノイズ取得サブモジュールは、
前記第１のブロック内の各ピクセルが、フラット領域内にあるかどうかを判定するように構成された領域判定ユニットと、
前記フラット領域内にある前記第１のブロック内のすべてのピクセルの量子化ノイズを取得するように構成されたフラット領域量子化値取得ユニットと、
前記フラット領域内にある前記第１のブロック内のすべての前記ピクセルの前記量子化ノイズに従って前記第１のブロックの前記量子化ノイズを計算するように構成されたブロック量子化値取得ユニットとを備える請求項１１に記載の装置。
【請求項１３】
前記領域判定ユニットは、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するように構成されたピクセル値取得サブユニットであって、前記ノイズ推定近傍は、前記第１のピクセルを中心として配置され、そして前記第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、前記第１のピクセルは前記第１のブロック内の任意のピクセルである、ピクセル値取得サブユニットと、
前記ノイズ推定近傍内のすべての前記ピクセルの前記ピクセル値及びソーベルエッジ畳み込みカーネルに従って前記第１のピクセルのエッジ推定値を計算するように構成されたエッジ推定サブユニットと、
前記第１のピクセルの前記エッジ推定値が、エッジ領域しきい値よりも大きいかどうかを判定し、前記第１のピクセルの前記エッジ推定値が、前記エッジ領域しきい値よりも大きい場合に、前記第１のピクセルがエッジ領域内にあると判定するか、又は前記第１のピクセルの前記エッジ推定値が、前記エッジ領域しきい値以下である場合に、前記第１のピクセルが前記エッジ領域内にないと判定するように構成されたエッジ領域判定サブユニットと、
前記ノイズ推定近傍内のすべての前記ピクセルの前記ピクセル値に従って前記第１のピクセルのテクスチャ推定値を計算するように構成されたテクスチャ推定サブユニットと、
前記第１のピクセルの前記テクスチャ推定値が、テクスチャ領域しきい値よりも大きいかどうかを判定し、前記第１のピクセルの前記テクスチャ推定値が、前記テクスチャ領域しきい値よりも大きい場合に、前記第１のピクセルがテクスチャ領域内にあると判定するか、又は前記第１のピクセルの前記テクスチャ推定値が、前記テクスチャ領域しきい値以下である場合に、前記第１のピクセルが前記テクスチャ領域内にないと判定するように構成されたテクスチャ領域判定サブユニットと、
前記第１のピクセルが、前記第１のピクセルが前記エッジ領域内にないという条件と、前記第１のピクセルが前記テクスチャ領域内にないという条件の両方を満たす場合に、前記第１のピクセルは前記フラット領域内にあると判定するように構成されたフラット領域判定サブユニットとを備える請求項１２に記載の装置。
【請求項１４】
前記量子化ノイズ取得サブモジュールは、ノイズ推定近傍内のすべてのピクセルのピクセル値を取得し、ここで、前記ノイズ推定近傍は、前記第１のピクセルを中心として配置され、そして前記第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、前記第１のピクセルは前記第１のブロック内の任意のピクセルであり、
前記第１のピクセルの前記量子化ノイズを、下記式、
ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）＝ｓｕｍ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算し、
ここで、（ｘ，ｙ）は前記第１のピクセルの前記現在のフレーム内のピクセル位置であり、ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）は前記第１のピクセルの前記量子化ノイズであり、ｖａｌｕｅｉは前記ノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）は前記ノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべての前記ピクセルの前記ピクセル値の中央値又は平均値である、ように構成される請求項１１から請求項１３のいずれか一項に記載の装置。
【請求項１５】
前記移動推定モジュールは、
前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って前記第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するように構成された耐ノイズ値取得サブモジュールと、
前記第１のピクセルの前記輝度耐ノイズ値及び前記勾配耐ノイズ値と前記現在のフレーム内のピクセル位置における前記第１のピクセルのピクセル値とに従って前記第１のピクセルに対して移動検出を実行して、前記第１のピクセルの前記次のフレーム内のピクセル位置を得るように構成された移動検出サブモジュールとを備える請求項１０から請求項１４のいずれか一項に記載の装置。
【請求項１６】
前記ノイズ取得モジュールは、前記雑音画像の全Ｎ個のセクションの量子化ノイズを取得し、前記Ｎ個のセクションの前記量子化ノイズをＮ個のプリセットされた量子化しきい値と比較し、前記Ｎ個のセクションの前記量子化ノイズを（Ｎ＋１）個のノイズレベルに分類するようにさらに構成され、
前記耐ノイズ値取得サブモジュールは、前記第１のセクションのノイズレベルを抽出し、前記第１のピクセルの輝度耐ノイズ値を、前記ノイズレベルと前記輝度耐ノイズ値との間の正相関関係に従って取得し、前記第１のピクセルの前記勾配耐ノイズ値を、前記ノイズレベルと前記勾配耐ノイズ値との間の正相関関係に従って取得するように構成される請求項１５に記載の装置。
【請求項１７】
前記移動／静止判定モジュールは、
前記移動推定近傍内のすべての前記ピクセルの前記現在のフレーム内のピクセル位置及び前記移動推定近傍内のすべての前記ピクセルの前記次のフレーム内のピクセル位置に従って前記移動推定近傍内の前記静止領域内のピクセルを計数するように構成された計数サブモジュールと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの量を移動／静止の判定のためのプリセットされたしきい値と比較するように構成された移動／静止判定サブモジュールと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの前記量が移動／静止の判定のための前記プリセットされたしきい値以上である場合に、前記第１のピクセルが前記静止領域内にあると判定するように構成された静止判定サブモジュールと、
前記移動推定近傍内の前記静止領域内の前記ピクセルの前記量が移動／静止の判定のための前記プリセットされたしきい値未満である場合に、前記第１のピクセルが前記移動領域内にあると判定するように構成された移動判定サブモジュールとを備える請求項１０から請求項１６のいずれか一項に記載の装置。
【請求項１８】
前記第１のブレンディング係数選択モジュールは、
前記第１のピクセルの前記第１のフレーム差分が前記プリセットされた第１のフレーム差分しきい値よりも小さいかどうかを判定するように構成された第１のフレーム差分判定サブモジュールと、
前記第１のピクセルの前記第１のフレーム差分が前記第１のフレーム差分しきい値以下である場合に、前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って前記第１のブレンディング係数を選択するように構成された第１の選択サブモジュールと、
前記第１のピクセルの前記第１のフレーム差分が前記第１のフレーム差分しきい値よりも大きい場合に、前記第１のピクセルが属する前記第１のセクションの前記量子化ノイズに従って第１のフレーム差分重み係数を選択し、前記第１のフレーム差分しきい値と、前記第１のピクセルの前記第１のフレーム差分と、前記第１のフレーム差分重み係数とに従って前記第１のブレンディング係数を選択するように構成された第２の選択サブモジュールとを備える請求項１０から請求項１７のいずれか一項に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
第２の態様に関して、第２の態様の第１の可能な実施方式において、ノイズ取得モジュールは、
第１のセクションを複数のブロックに分割するように構成されたブロック分割サブモジュールであって、各ブロックは複数のピクセルを含む、ブロック分割サブモジュールと、
第１のブロック内のすべてのピクセルの量子化ノイズを取得し、第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを取得し、ここで、第１のブロックは、第１のセクション内の任意のブロックであり、そして第１のセクション内の第１のブロックを除くすべてのブロックの量子化ノイズを別々に取得するように構成された量子化ノイズ取得サブモジュールと、
第１のセクション内のすべてのブロックの量子化ノイズに基づいて平均量子化ノイズを計算し、平均量子化ノイズを第１のセクションの量子化ノイズとして使用するか、又は、第１のセクション内のすべてのブロックの量子化ノイズを１つずつ累算し、累積ヒストグラムにおいてプリセットされたノイズしきい値よりも大きい量子化ノイズを第１のセクションの量子化ノイズとして使用するように構成されたセクションノイズ取得サブモジュールとを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
第２の態様の第１の可能な実施方式に関して、第２の態様の第２の可能な実施方式において、量子化ノイズ取得サブモジュールは、
第１のブロック内の各ピクセルが、フラット領域内にあるかどうかを判定するように構成された領域判定ユニットと、
フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズを取得するように構成されたフラット領域量子化値取得ユニットと、
フラット領域内にある第１のブロック内のすべてのピクセルの量子化ノイズに従って第１のブロックの量子化ノイズを計算するように構成されたブロック量子化値取得ユニットとを備える。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
第２の態様の第２の可能な実施方式に関して、第２の態様の第３の可能な実施方式において、領域判定ユニットは、
ノイズ推定近傍内のすべてのピクセルのピクセル値を取得するように構成されたピクセル値取得サブユニットであって、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、第１のピクセルは第１のブロック内の任意のピクセルである、ピクセル値取得サブユニットと、
ノイズ推定近傍内のすべてのピクセルのピクセル値及びソーベルエッジ畳み込みカーネルに従って第１のピクセルのエッジ推定値を計算するように構成されたエッジ推定サブユニットと、
第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのエッジ推定値が、エッジ領域しきい値よりも大きい場合に、第１のピクセルがエッジ領域内にあると判定するか、又は第１のピクセルのエッジ推定値が、エッジ領域しきい値以下である場合に、第１のピクセルがエッジ領域内にないと判定するように構成されたエッジ領域判定サブユニットと、
ノイズ推定近傍内のすべてのピクセルのピクセル値に従って第１のピクセルのテクスチャ推定値を計算するように構成されたテクスチャ推定サブユニットと、
第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きいかどうかを判定し、第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値よりも大きい場合に、第１のピクセルがテクスチャ領域内にあると判定するか、又は第１のピクセルのテクスチャ推定値が、テクスチャ領域しきい値以下である場合に、第１のピクセルがテクスチャ領域内にないと判定するように構成されたテクスチャ領域判定サブユニットと、
第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たす場合に、第１のピクセルはフラット領域内にあると判定するように構成されたフラット領域判定サブユニットとを備える。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
第２の態様の第３の可能な実施方式に関して、第２の態様の第４の可能な実施方式において、エッジ推定サブユニットは、第１のピクセルのエッジ推定値を、下記式、
ＥＭ（ｘ，ｙ）＝｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｈ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｖ｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｐ４５｜＋｜ＮＨ（ｘ，ｙ）＊Ｅ＿ｎ４５｜
で計算するように具体的に構成され、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、Ｅ＿ｈ、Ｅ＿ｖ、Ｅ＿ｐ４５、及びＥ＿ｎ４５はソーベルエッジ畳み込みカーネルであり、＊は畳み込み記号であり、
テクスチャ推定サブユニットは、第１のピクセルのテクスチャ推定値を、下記式、
Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＝Ｍａｘ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ））−Ｍｉｎ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算するように具体的に構成され、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値であり、
フラット領域判定サブユニットは、第１のピクセルが、第１のピクセルがエッジ領域内にないという条件と、第１のピクセルがテクスチャ領域内にないという条件の両方を満たすかどうかを、下記式、
（ＥＭ（ｘ，ｙ）＜＝ＥＧｔｈ）＆＆（Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）＜＝ＭＮｔｈ）＝＝１
で判定するように構成され、
ここで、ＥＭ（ｘ，ｙ）は第１のピクセルのエッジ推定値であり、ＥＧｔｈはエッジ領域しきい値であり、Ｎｏｉｓｅ＿Ｍａｘ＿Ｍｉｎ（ｘ，ｙ）は第１のピクセルのテクスチャ推定値であり、ＭＮｔｈはテクスチャ領域しきい値である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
第２の態様の第１の可能な実施方式に関して、第２の態様の第５の可能な実施方式において、量子化ノイズ取得サブモジュールは、ノイズ推定近傍内のすべてのピクセルのピクセル値を取得し、ここで、ノイズ推定近傍は、第１のピクセルを中心として配置され、そして第１のピクセルの量子化ノイズを判定するために使用される隣接ピクセルを含み、第１のピクセルは第１のブロック内の任意のピクセルであり、
第１のピクセルの量子化ノイズを、下記式、
ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）＝ｓｕｍ（ａｂｓ（ｖａｌｕｅｉ−ｖａｌｕｅ＿ｍｅｄｉａｎ）），ｖａｌｕｅｉ∈ＮＨ（ｘ，ｙ）
で計算し、
ここで、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｐｉｘｅｌ＿ｎｏｉｓｅ（ｘ，ｙ）は第１のピクセルの量子化ノイズであり、ｖａｌｕｅｉはノイズ推定近傍内のｉ番目のピクセル値であり、ＮＨ（ｘ，ｙ）はノイズ推定近傍であり、ｖａｌｕｅ＿ｍｅｄｉａｎはＮＨ（ｘ，ｙ）内のすべてのピクセルのピクセル値の中央値又は平均値である、ように具体的に構成される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
第２の態様に関して、第２の態様の第６の可能な実施方式において、移動推定モジュールは、
第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値を取得するように構成された耐ノイズ値取得サブモジュールと、
第１のピクセルの輝度耐ノイズ値及び勾配耐ノイズ値と現在のフレーム内のピクセル位置における第１のピクセルのピクセル値とに従って第１のピクセルに対して移動検出を実行して、第１のピクセルの次のフレーム内のピクセル位置を得るように構成された移動検出サブモジュールとを備える。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
第２の態様の第６の可能な実施方式に関して、第２の態様の第７の可能な実施方式において、移動検出サブモジュールは、
第１のピクセルの輝度耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を計算するように構成された輝度計算ユニットと、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を計算するように構成された水平勾配計算ユニットと、
第１のピクセルの勾配耐ノイズ値に従って、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を計算するように構成された垂直勾配計算ユニットと、
輝度変化値、水平方向勾配変化値、及び垂直方向勾配変化値に従って第１のピクセルのピクセル類似度マッチング値を計算するように構成された類似度マッチング値計算ユニットと、
ピクセル類似度マッチング値の最小値が取得されたときに第１のピクセルの次のフレーム内のピクセル位置を計算するように構成されたピクセル位置計算ユニットとを備える。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
第２の態様の第７の可能な実施方式に関して、第２の態様の第８の可能な実施方式において、輝度計算ユニットは、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの輝度変化値を、下記式、
【数４】
2017502551.tif 000052
で計算するように具体的に構成され、
ここで、Δｇｒａｙ’は輝度変化値であり、ｌａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの輝度耐ノイズ値であり、Δｇｒａｙ＝ａｂｓ（ｇｍ（ｘ，ｙ）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ））であり、（ｘ，ｙ）は第１のピクセルの現在のフレーム内のピクセル位置であり、ｇｍ（ｘ，ｙ）はｍ番目のフレーム内の第１のピクセルのピクセル値であり、ｍ番目のフレームは第１のピクセルの現在のフレームであり、（ｍ＋１）番目のフレームは第１のピクセルの次のフレームであり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）は、（ｍ＋１）番目のフレーム内の第１のピクセルのピクセル値であり、
水平勾配計算ユニットは、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの水平方向勾配変化値を、下記式、
【数５】
2017502551.tif 000053
で計算するように具体的に構成され、
ここで、Δｇｒａｄｈ’は水平方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｈ＝ａｂｓ（ｇｍ（ｘ＋１，ｙ）−ｇｍ（ｘ−１，ｙ）−（ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）−ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）））であり、
ｇｍ（ｘ＋１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ−１，ｙ）は第１のピクセルが水平方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ＋１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ−１，ｙ＋ｊ）は第１のピクセルが水平方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値であり、
垂直勾配計算ユニットは、第１のピクセルが現在のフレーム内のピクセル位置から次のフレーム内のピクセル位置に移動するときの垂直方向勾配変化値を、下記式、
【数６】
2017502551.tif 000054
で計算するように具体的に構成され、
ここで、Δｇｒａｄｖ’は垂直方向勾配変化値であり、ｇａｔｈ（ｎｏｉｓｅｌｖｌ）は第１のピクセルの勾配耐ノイズ値であり、
Δｇｒａｄｖ＝ａｂｓ（ｇｍ（ｘ，ｙ＋１）−ｇｍ（ｘ，ｙ−１）−（ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）−ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）））であり、
ｇｍ（ｘ，ｙ＋１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から上方に移動した後に得られるピクセル値であり、ｇｍ（ｘ，ｙ−１）は第１のピクセルが垂直方向において現在のフレーム内のピクセル値ｇｍ（ｘ，ｙ）から下方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ＋１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から上方に移動した後に得られるピクセル値であり、ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ−１）は第１のピクセルが垂直方向において次のフレーム内のピクセル値ｇｍ＋１（ｘ＋ｉ，ｙ＋ｊ）から下方に移動した後に得られるピクセル値であり、
類似度マッチング値計算ユニットは、第１のピクセルのピクセル類似度マッチング値を、下記式、
ｃｏｓｔ−ｖｏｌｕｍｅ＝Δｇｒａｙ’＋Δｇｒａｄｈ’＋Δｇｒａｄｖ’
で計算するように具体的に構成され、
ここで、ｃｏｓｔ−ｖｏｌｕｍｅは第１のピクセルのピクセル類似度マッチング値であり、Δｇｒａｙ’は輝度変化値であり、Δｇｒａｄｈ’は水平方向勾配変化値であり、Δｇｒａｄｖ’は垂直方向勾配変化値である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
第２の態様の第６の可能な実施方式に関して、第２の態様の第９の可能な実施方式において、ノイズ取得モジュールは、雑音画像の全Ｎ個のセクションの量子化ノイズを取得し、Ｎ個のセクションの量子化ノイズをＮ個のプリセットされた量子化しきい値と比較し、Ｎ個のセクションの量子化ノイズを（Ｎ＋１）個のノイズレベルに分類するようにさらに構成され、
耐ノイズ値取得サブモジュールは、第１のセクションのノイズレベルを抽出し、第１のピクセルの輝度耐ノイズ値を、ノイズレベルと輝度耐ノイズ値との間の正相関関係に従って取得し、第１のピクセルの勾配耐ノイズ値を、ノイズレベルと勾配耐ノイズ値との間の正相関関係に従って取得するように具体的に構成される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
第２の態様に関して、第２の態様の第１０の可能な実施方式において、移動／静止判定モジュールは、
移動推定近傍内のすべてのピクセルの現在のフレーム内のピクセル位置及び移動推定近傍内のすべてのピクセルの次のフレーム内のピクセル位置に従って移動推定近傍内の静止領域内のピクセルを計数するように構成された計数サブモジュールと、
移動推定近傍内の静止領域内のピクセルの量を移動／静止の判定のためのプリセットされたしきい値と比較するように構成された移動／静止判定サブモジュールと、
移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値以上である場合に、第１のピクセルが静止領域内にあると判定するように構成された静止判定サブモジュールと、
移動推定近傍内の静止領域内のピクセルの量が移動／静止の判定のためのプリセットされたしきい値未満である場合に、第１のピクセルが移動領域内にあると判定するように構成された移動判定サブモジュールとを備える。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
第２の態様に関して、第２の態様の第１１の可能な実施方式において、第１のブレンディング係数選択モジュールは、
第１のピクセルの第１のフレーム差分がプリセットされた第１のフレーム差分しきい値よりも小さいかどうかを判定するように構成された第１のフレーム差分判定サブモジュールと、
第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値以下である場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のブレンディング係数を選択するように構成された第１の選択サブモジュールと、
第１のピクセルの第１のフレーム差分が第１のフレーム差分しきい値よりも大きい場合に、第１のピクセルが属する第１のセクションの量子化ノイズに従って第１のフレーム差分重み係数を選択し、第１のフレーム差分しきい値と、第１のピクセルの第１のフレーム差分と、第１のフレーム差分重み係数とに従って第１のブレンディング係数を選択するように構成された第２の選択サブモジュールとを備える。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
第２の態様に関して、第２の態様の第１２の可能な実施方式において、第１のテンポラルノイズリダクションモジュールは、第１のピクセルに対応する第１のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒ＝ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）×ａｌｐｈａ＿ｆｉｒ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｆｉｒ）
で計算するように具体的に構成され、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｆｉｒは第１のピクセルに対応する第１のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ＿ｍｃ（Ｔ−１）は現在のフレーム内の第１のピクセルの対応する位置のピクセル値であり、そして移動推定及び移動補正が前のフレーム内の第１のピクセルのノイズリダクションピクセルに基づいて実行された後に得られ、ａｌｐｈａ＿ｆｉｒは第１のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
第２の態様に関して、第２の態様の第１３の可能な実施方式において、第２のテンポラルノイズリダクションモジュールは、第１のピクセルに対応する第２のノイズリダクションピクセル値を、下記式、
ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃ＝ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）×ａｌｐｈａ＿ｓｅｃ＋Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）×（１−ａｌｐｈａ＿ｓｅｃ）
で計算するように具体的に構成され、
ここで、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ）＿ｓｅｃは第１のピクセルに対応する第２のノイズリダクションピクセル値であり、ＴＮＲ  Ｏｕｔｐｕｔ（Ｔ−１）は前のフレーム内の第１のピクセルのノイズリダクションピクセルの対応する位置のピクセル値であり、ａｌｐｈａ＿ｓｅｃは第２のブレンディング係数であり、Ｆｒａｍｅ  Ｉｎｐｕｔ（Ｔ）は現在のフレーム内の第１のピクセルのピクセル値である。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１３５
【補正方法】変更
【補正の内容】
【０１３５】
ステップＥ１において、第１のピクセルの第２のフレーム差分がＦＤであり、第２のフレーム差分しきい値はｔｈ１’であると仮定される。ＦＤ＞ｔｈ１’のときに、第２のフレーム差分重み係数はｃｏｆｆ’である。現在のノイズレベルの下で選択できる最大のブレンディング係数はａｌｐｈａ＿ｉｎ’であると仮定され、ここで、ａｌｐｈａ＿ｉｎ’は定数であり、第２のブレンディング係数はａｌｐｈａ’で表され、そしてｃｏｆｆ’によって表される物理的意味はａｌｐｈａ’の値の変化率である。第２のブレンディング係数は、式
ａｌｐｈａ’＝ａｌｐｈａ＿ｉｎ’−ｃｏｆｆ’×（ＦＤ−ｔｈ１’）
で計算され得る。
【国際調査報告】
2017502551.tif 000055
2017502551.tif 000056
2017502551.tif 000057
2017502551.tif 000058