(57)【要約】  効果的にノイズを低減しながら、様々な画像信号プロセッサ（ＩＳＰ）またはＩＳＰコンポーネントからもたらされるバイアスを低減するためのシステムおよび方法が提供される。ＩＳＰバイアスは、とりわけ、空間ノイズフィルタリング、高ダイナミックレンジ（ＨＤＲ）補間、およびデモザイク処理からのバイアスを含む。具体的には、本開示の方法およびシステムは、複数の入力フレームまたはピクセルブロックの凸結合を採用して、空間ノイズフィルタ、デベイヤユニット、または他のＩＳＰコンポーネントからのバイアスを効果的に低減し、それにより、改善された時空間ノイズ低減ソリューションを提供する。
2019530360.tif 000002
【特許請求の範囲】
【請求項１】
生ビデオ信号の画像信号処理からのバイアスを補償するための時空間ノイズ低減システムであって、
各生ビデオフレーム内の隣接画素に基づいて各ピクセルを出力するように適合された空間ノイズ低減フィルタを含む画像信号プロセッサと、
前記画像信号プロセッサの前記出力および前の出力フレームを受信し、それによって各ピクセル内のいかなる信号変化も検出するように適合された信号変化検出器と、
３つ以上の入力フレームを受信し、そこから結合出力フレームを生成するように適合された信号結合器であって、前記３つ以上の入力フレームが、生信号フレーム、前記画像信号プロセッサからの出力、および前の出力フレームを含む、信号結合器と
を含む、システム。
【請求項２】
前記信号結合器が、前記３つ以上の入力フレームの線形結合を出力するように適合される、請求項１に記載のシステム。
【請求項３】
前記信号結合器が、前記３つ以上の入力フレームの凸結合を出力するように適合される、請求項２に記載のシステム。
【請求項４】
前記信号変化検出器から受信された任意の信号変化の前記検出に基づいて、前の出力フレーム用の前の信頼度指標を更新することにより、現在の信頼度指標を決定するように適合された信頼度更新器をさらに含み、前記現在の信頼度指標に基づいて前記凸結合の入力ごとに凸結合の重みが計算される、請求項３に記載のシステム。
【請求項５】
前記生ビデオ信号からの第１の出力フレームに対して、前記前の信頼度指標がゼロを割り当てられる、請求項４に記載のシステム。
【請求項６】
前記画像信号プロセッサからの前記出力および前記前の出力フレームに基づいて、動きを低減するように適合された動き補償器をさらに含み、前記信号結合器の前記３つ以上の入力フレームが、前記生信号フレーム、前記画像信号プロセッサからの前記出力、および前記動き補償器からの出力を含む、請求項４に記載のシステム。
【請求項７】
前記生ビデオ信号が、空間的にインターリーブされた長露光時間ピクセルおよび短露光時間ピクセルを有する露光モザイクを含み、前記画像信号プロセッサが、空間ＨＤＲ補間ユニットおよびデモザイク処理ユニットをさらに含み、前記３つ以上の入力フレームが、生信号フレーム、前記空間ＨＤＲ補間ユニットからの出力、前記デモザイク処理ユニットからの出力、および前の出力フレームを含む、請求項１に記載のシステム。
【請求項８】
前記信号結合器が、前記３つ以上の入力フレームの線形結合を出力するように適合される、請求項７に記載のシステム。
【請求項９】
前記信号結合器が、前記３つ以上の入力フレームの凸結合を出力するように適合される、請求項８に記載のシステム。
【請求項１０】
前記信号変化検出器から受信された任意の信号変化の前記検出に基づいて、前の出力フレーム用の前の信頼度指標を更新することにより、現在の信頼度指標を決定するように適合された信頼度更新器をさらに含み、前記現在の信頼度指標に基づいて前記凸結合の入力ごとに凸結合の重みが計算される、請求項９に記載のシステム。
【請求項１１】
前記画像信号プロセッサからの前記出力および前記前の出力フレームに基づいて、動きを低減するように適合された動き補償器をさらに含み、前記信号結合器の前記３つ以上の入力フレームが、前記生信号フレーム、前記画像信号プロセッサからの前記出力、および前記動き補償器からの出力を含む、請求項１０に記載のシステム。
【請求項１２】
前記生ビデオ信号が、空間的にインターリーブされた異なるカラーピクセルを有するカラーモザイクを含み、前記画像信号プロセッサがデモザイク処理ユニットをさらに含み、前記３つ以上の入力フレームが、生信号フレーム、前記デモザイク処理ユニットからの出力、および前の出力フレームを含む、請求項１に記載のシステム。
【請求項１３】
前記信号結合器が、前記３つ以上の入力フレームの線形結合を出力するように適合される、請求項１２に記載のシステム。
【請求項１４】
前記信号結合器が、前記３つ以上の入力フレームの凸結合を出力するように適合される、請求項１３に記載のシステム。
【請求項１５】
前記信号変化検出器から受信された任意の信号変化の前記検出に基づいて、前の出力フレーム用の前の信頼度指標を更新することにより、現在の信頼度指標を決定するように適合された信頼度更新器をさらに含み、前記現在の信頼度指標に基づいて前記凸結合の入力ごとに凸結合の重みが計算される、請求項１４に記載のシステム。
【請求項１６】
前記画像信号プロセッサからの前記出力および前記前の出力フレームに基づいて、動きを低減するように適合された動き補償器をさらに含み、前記信号結合器の前記３つ以上の入力フレームが、前記生信号フレーム、前記画像信号プロセッサからの前記出力、および前記動き補償器からの出力を含む、請求項１５に記載のシステム。
【請求項１７】
前記生ビデオ信号がデモザイク処理されたフレームを含む、請求項１に記載のシステム。
【請求項１８】
前記生ビデオ信号が、空間ノイズ低減フィルタによって処理されており、デモザイク処理されていないフレームを含み、前記画像信号プロセッサがデモザイク処理ユニットをさらに含み、前記３つ以上の入力フレームが、生信号フレーム、前記デモザイク処理ユニットからの出力、および前の出力フレームを含む、請求項１に記載のシステム。
【請求項１９】
生ビデオ信号の画像信号処理からのバイアスを補償するための方法であって、
３つ以上の入力フレームの線形結合を生成することであって、前記３つ以上の入力フレームが、生信号フレーム、前記画像信号処理からの出力、および前の出力フレームを含むことと、
前記線形結合フレームを出力することと、
を含む、方法。
【請求項２０】
前記線形結合が３つ以上の入力フレームの凸結合である、請求項１９に記載の方法。
【請求項２１】
前記画像信号プロセッサの出力および前の出力フレームに基づいて、ピクセルブロックごとに信号変化検出分類子を生成することと、前記信号変化検出分類子および前記前の出力フレーム用の前の信頼度指標に基づいて、現在の出力フレーム用の信頼度指標を更新することと、前記現在の出力フレーム用の前記更新された信頼度指標に基づいて、前記凸結合の入力フレームごとに重みを計算することとをさらに含む、請求項２０に記載の方法。
【請求項２２】
前記凸結合の入力フレームごとに重みを計算することが、前記現在の出力フレームの前記信頼度指標に基づいて、前記画像信号処理の前記出力用の前記重みと前記フィルタリングされていない生入力フレーム用の前記重みとの間の比についての減少関数を提供することをさらに含む、請求項２１に記載の方法。
【請求項２３】
前記減少関数が単調減少関数である、請求項２２に記載の方法。
【請求項２４】
前記凸結合の入力フレームごとに重みを計算することが、前記現在の出力フレームの前記信頼度指標に基づいて、前記前の出力フレーム用の前記重みについての増加関数を提供することをさらに含む、請求項２１に記載の方法。
【請求項２５】
前記信頼度指標が、０と１との間の範囲を有する数値である、請求項２１に記載の方法。
【請求項２６】
前記画像信号処理からの前記出力および前記前の出力フレームに基づいて動きを低減し、それによって動き補償出力を生成することをさらに含み、前記凸結合が、前記生信号フレーム、前記画像信号処理からの前記出力、および前記動き補償出力の凸結合である、請求項２１に記載の方法。
【請求項２７】
前記生ビデオ信号が、（ｉ）空間的にインターリーブされた長露光時間ピクセルおよび短露光時間ピクセル、（ｉｉ）空間的にインターリーブされた異なるカラーピクセルを有するカラーモザイク、（ｉｉｉ）デモザイク処理されたフレーム、ならびに（ｉｖ）空間的にフィルタリングされておらず、デモザイク処理されていないフレームからなるグループから選択され、前記画像信号処理が、（ｉ）空間ＨＤＲ補間、デモザイク処理、および空間ノイズ低減フィルタリング、（ｉｉ）デモザイク処理および空間ノイズ低減フィルタリング、ならびに（ｉｉｉ）空間ノイズ低減フィルタリングからなるグループから選択される、請求項１９に記載の方法。
【請求項２８】
前記３つ以上の入力フレームが、生信号フレーム、前の出力フレーム、ならびに前記空間ＨＤＲ補間、前記デモザイク処理、および前記空間ノイズ低減フィルタリングからなる前記グループからの出力を含む、請求項２７に記載の方法。
【請求項２９】
前記画像信号処理からの前記出力および前記前の出力フレームに基づいて動きを低減し、それによって動き補償出力を生成することをさらに含み、前記凸結合が、前記生信号フレーム、前記動き補償出力、ならびに前記空間ＨＤＲ補間、前記デモザイク処理、および前記空間ノイズ低減フィルタリングからなる前記グループからの出力の凸結合である、請求項２８に記載の方法。
【請求項３０】
前記画像信号処理の出力および前の出力フレームに基づいて、信号変化検出分類子を生成することと、前記信号変化検出分類子および隣接ピクセルの信頼度指標に基づいて、ピクセルごとの現在の信頼度指標を決定することと、前記現在の信頼度指標に基づいて、前記凸結合用の入力フレームごとに重みを計算することとをさらに含む、請求項２９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、画像信号処理に関する。詳細には、本開示は、ノイズを効果的に低減しながら、画像信号プロセッサ（ＩＳＰ）またはＩＳＰコンポーネントによってもたらされるバイアスを補償するための装置および方法に関する。より詳細には、ノイズを効果的に低減しながら、様々なＩＳＰ、または空間ノイズ低減フィルタ、ＨＤＲ補間ユニット、およびデモザイク処理ユニットを含むＩＳＰコンポーネントからもたらされるバイアスを低減することにより、高忠実度の画像およびビデオを生成するためのバイアス補償ノイズ低減システムおよび方法が提供される。
【背景技術】
【０００２】
デジタル処理能力の利用可能性が向上し続ける一方で、ピクセルサイズのカメラおよびセンサが減少し続けるにつれて、ノイズ低減は画像およびビデオ取込みシステムの重要な側面になっている。一般に、ビデオのノイズ低減は、空間ノイズフィルタおよび時間ノイズフィルタに大別することができる。空間フィルタは、各ビデオフレーム内の隣接ピクセルを使用して各出力ピクセルを生成することが知られている。時間フィルタは、フレーム間の連続ピクセルを使用して各出力ピクセルを生成することが知られている。より良い結果をもたらすために、空間ノイズ低減フィルタおよび時間ノイズ低減フィルタを同時に使用することができる。
【０００３】
空間ノイズ低減は静止画像に効果的であり得るが、ほとんどの既存の空間ノイズ低減フィルタは、最終結果において、スムージングテクスチャおよび微細構造などの何らかの形のバイアス、またはリンギングもしくはブロッキネスなどのアーチファクトをもたらす。ビデオに適用すると、空間ノイズ低減は、フレーム間の目に見える残留時間変動を引き起こす可能性があり、これは単一のフレームからは見えない。
【０００４】
その最も一般的な形態の１つにおける時間ノイズ低減は、入力フレームの静止部分内のピクセルを平均化すること、または他の方法で結合することを含む。時間フィルタがゆっくり収束するとき、すなわち、ピクセルを結合するために利用可能なフレームがほとんどないとき、結果として得られる画像またはビデオはノイズ痕跡をもたらすはずである。そして、入力フレームの変化する部分が誤って静止していると分類されるところには、ゴーストアーチファクトが発生する可能性がある。
【０００５】
空間ノイズフィルタが時間ノイズフィルタと一緒に使用されると、それらは、しばしば、一緒に３Ｄノイズ低減フィルタまたは時空間ノイズ低減フィルタと呼ばれる。しかしながら、既存の形態の時空間フィルタは、その構成要素の空間ノイズフィルタまたはその構成要素の時間ノイズフィルタのいずれかからいくつかの同様の問題を提示する。たとえば、空間フィルタリングが最初に適用される場合、そのような時空間フィルタは、テクスチャおよび細部の平滑化を含むいくつかのバイアスをもたらす。しかし、時間フィルタが最初に適用される場合、動き検出または動き推定は、ノイズのためにそれほど効果的ではない。再帰的時間フィルタの収束も遅くなる可能性がある。一方、空間フィルタリングと時間フィルタリングの切替えが実施される場合、動き検出はノイズのためにそれほど効果的ではないままであり、再帰的時間フィルタの収束は遅いままである。その上、そのような空間フィルタリングシステムと時間フィルタリングシステムの切替えでは、空間フィルタリングからのバイアスは、時間フィルタが効果的ではない非静止領域内で持続するはずである。
【０００６】
したがって、既存のシステムでは明らかなように、空間ノイズフィルタなどの古典的なＩＳＰコンポーネントは、結果として得られる画像およびビデオにバイアスをもたらし、それにより、ＩＳＰによって給電されるカメラまたはビデオの通信システムの全体的な忠実度を損なう場合がある。ＩＳＰが結果として得られる画像およびビデオにバイアスをもたらす別の例は、デモザイク処理ユニットまたはデベイヤユニットであり、それらは、出力フレームに平滑化、ジッパーアーチファクト、または偽色をもたらす可能性がある。さらなる例には、インターリーブされた長露光ピクセルおよび短露光ピクセルに対するＨＤＲ（高ダイナミックレンジ）補間が含まれ、それはそれ自体のバイアスをもたらす。
【０００７】
結果として、カメラおよびビデオの通信システムにおいてＩＳＰによってもたらされるバイアスを低減または補償し、高忠実度の画像およびビデオを生成するために、改善された方法およびシステムが必要とされている。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
したがって、本開示の目的は、ノイズを効果的に低減しながら、ＩＳＰによってもたらされるバイアスを低減し、それにより、高忠実度の画像およびビデオを生成するための方法およびシステムを提供することである。
【課題を解決するための手段】
【０００９】
具体的には、本開示によれば、一実施形態では、生ビデオ信号の画像信号処理からのバイアスを補償するための時空間ノイズ低減システムが提供される。システムは、各生ビデオフレーム内の隣接画素に基づいて各ピクセルを出力するように適合された空間ノイズ低減フィルタを含む画像信号プロセッサと、画像信号プロセッサの出力および前の出力フレームを受信し、それによって各ピクセル内のいかなる信号変化も検出するように適合された信号変化検出器と、３つ以上の入力フレームを受信し、そこから結合出力フレームを生成するように適合された信号結合器とを含む。３つ以上の入力フレームは、生信号フレーム、画像信号プロセッサからの出力、および前の出力フレームを含む。
【００１０】
別の実施形態では、信号結合器は、３つ以上の入力フレームの線形結合を出力するように適合される。さらに別の実施形態では、信号結合器は、３つ以上の入力フレームの凸結合を出力するように適合される。
【００１１】
さらなる実施形態では、システムは、信号変化検出器から受信された任意の信号変化の検出に基づいて、前の出力フレーム用の前の信頼度指標を更新することにより、現在の信頼度指標を決定するように適合された信頼度更新器をさらに含む。凸結合の重みは、現在の信頼度指標に基づいて凸結合の入力ごとに計算される。
【００１２】
別の実施形態では、生ビデオ信号からの第１の出力フレームに対して、前の信頼度指標はゼロを割り当てられる。
【００１３】
さらに別の実施形態によれば、システムは、画像信号プロセッサからの出力および前の出力フレームに基づいて、動きを低減するように適合された動き補償器をさらに含む。信号結合器の３つ以上の入力フレームは、生信号フレーム、前記画像信号プロセッサからの出力、および動き補償器からの出力を含む。
【００１４】
さらなる実施形態では、生ビデオ信号は、空間的にインターリーブされた長露光時間ピクセルおよび短露光時間ピクセルを有する露光モザイクを含む。画像信号プロセッサは、空間ＨＤＲ補間ユニットおよびデモザイク処理ユニットをさらに含む。３つ以上の入力フレームは、生信号フレーム、空間ＨＤＲ補間ユニットからの出力、デモザイク処理ユニットからの出力、および前の出力フレームを含む。
【００１５】
別の実施形態では、生ビデオ信号は、空間的にインターリーブされた異なるカラーピクセルを有するカラーモザイクを含む。画像信号プロセッサは、デモザイク処理ユニットをさらに含む。３つ以上の入力フレームは、生信号フレーム、デモザイク処理ユニットからの出力、および前の出力フレームを含む。
【００１６】
別の実施形態によれば、生ビデオ信号はデモザイク処理されたフレームを含む。
【００１７】
さらに別の実施形態では、生ビデオ信号は、空間ノイズ低減フィルタによって処理されておらず、デモザイク処理されていないフレームを含み、画像信号プロセッサはデモザイク処理ユニットをさらに含む。３つ以上の入力フレームは、生信号フレーム、デモザイク処理ユニットからの出力、および前の出力フレームを含む。
【００１８】
さらなる実施形態では、信号結合器は、３つ以上の入力フレームの線形結合を出力するように適合される。
【００１９】
別の実施形態では、信号結合器は、３つ以上の入力フレームの凸結合を出力するように適合される。
【００２０】
さらに別の実施形態では、システムは、前記信号変化検出器から受信された任意の信号変化の検出に基づいて、前の出力フレーム用の前の信頼度指標を更新することにより、現在の信頼度指標を決定するように適合された信頼度更新器をさらに含む。凸結合の重みは、現在の信頼度指標に基づいて凸結合の入力ごとに計算される。
【００２１】
さらなる実施形態では、システムは、画像信号プロセッサからの出力および前の出力フレームに基づいて、動きを低減するように適合された動き補償器をさらに含む。信号結合器の３つ以上の入力フレームは、生信号フレーム、画像信号プロセッサからの出力、および動き補償器からの出力を含む。
【００２２】
本開示によれば、一実施形態では、生ビデオ信号の画像信号処理からのバイアスを補償するための方法が提供される。方法は、３つ以上の入力フレームの線形結合を生成することと、線形結合フレームを出力することとを含む。３つ以上の入力フレームは、生信号フレーム、画像信号処理からの出力、および前の出力フレームを含む。
【００２３】
別の実施形態では、線形結合は、３つ以上の入力フレームの凸結合である。
【００２４】
さらに別の実施形態では、方法は、画像信号プロセッサの出力および前の出力フレームに基づいて、ピクセルブロックごとに信号変化検出分類子を生成することと、信号変化検出分類子および前の出力フレーム用の前の信頼度指標に基づいて、現在の出力フレーム用の信頼度指標を更新することと、現在の出力フレーム用の更新された信頼度指標に基づいて、凸結合の入力フレームごとに重みを計算することとをさらに含む。
【００２５】
さらなる実施形態では、凸結合の入力フレームごとに重みを計算することは、現在の出力フレームの信頼度指標に基づいて、画像信号処理の出力用の重みとフィルタリングされていない生入力フレーム用の重みとの間の比についての減少関数を提供することをさらに含む。
【００２６】
別の実施形態によれば、減少関数は単調減少関数である。
【００２７】
さらに別の実施形態では、凸結合の入力フレームごとに重みを計算することは、現在の出力フレームの信頼度指標に基づいて、前の出力フレーム用の重みについての増加関数を提供することをさらに含む。
【００２８】
さらなる実施形態では、信頼度指標は、０と１との間の範囲を有する数値である。
【００２９】
別の実施形態によれば、方法は、画像信号処理からの出力および前の出力フレームに基づいて動きを低減し、それによって動き補償出力を生成することをさらに含む。凸結合は、生信号フレーム、画像信号処理からの出力、および動き補償出力の凸結合である。
【００３０】
さらに別の実施形態によれば、生ビデオ信号は、（ｉ）空間的にインターリーブされた長露光時間ピクセルおよび短露光時間ピクセル、（ｉｉ）空間的にインターリーブされた異なるカラーピクセルを有するカラーモザイク、（ｉｉｉ）デモザイク処理されたフレーム、ならびに（ｉｖ）空間的にフィルタリングされておらず、デモザイク処理されていないフレームからなるグループから選択される。画像信号処理は、（ｉ）空間ＨＤＲ補間、デモザイク処理、および空間ノイズ低減フィルタリング、（ｉｉ）デモザイク処理および空間ノイズ低減フィルタリング、ならびに（ｉｉｉ）空間ノイズ低減フィルタリングからなるグループから選択される。
【００３１】
さらなる実施形態では、３つ以上の入力フレームは、生信号フレーム、前の出力フレーム、ならびに空間ＨＤＲ補間、デモザイク処理、および空間ノイズ低減フィルタリングからなるグループからの出力を含む。
【００３２】
別の実施形態では、方法は、画像信号処理からの出力および前の出力フレームに基づいて動きを低減し、それによって動き補償出力を生成することをさらに含む。凸結合は、生信号フレーム、動き補償出力、ならびに空間ＨＤＲ補間、デモザイク処理、および空間ノイズ低減フィルタリングからなるグループからの出力の凸結合である。
【００３３】
さらに別の実施形態によれば、方法は、前記画像信号処理の出力および前の出力フレームに基づいて、信号変化検出分類子を生成することと、信号変化検出分類子および隣接ピクセルの信頼度指標に基づいて、ピクセルごとの現在の信頼度指標を決定することと、現在の信頼度指標に基づいて、凸結合用の入力フレームごとに重みを計算することとをさらに含む。
【図面の簡単な説明】
【００３４】
【図１】本開示の一実施形態による、バイアス補償ノイズ低減システムを描写する図である。
【図２】別の実施形態による、バイアス補償ノイズ低減システムを描写する図である。
【図３】別の実施形態による、バイアス補償時空間ノイズ低減システムを描写する図である。
【図４】別の実施形態による、バイアス補償時空間およびデベイヤ（デモザイク処理）ノイズ低減システムを描写する図である。
【図５】一実施形態による、バイアス補償ノイズ低減システムの信頼度更新器を描写する図である。
【図６】一実施形態による、バイアス補償ノイズ低減システムの重み計算器によって計算された凸結合の各入力の凸結合の重みを示す図である。
【発明を実施するための形態】
【００３５】
システムおよび方法の概要
本開示の様々な実施形態による方法およびシステムは、再帰的時間ノイズフィルタの一部として複数の入力フレームまたはピクセルブロックの重み付き結合を採用して、空間ノイズフィルタ、デモザイク処理ユニット、またはＨＤＲ補間ユニットなどのＩＳＰからのバイアスを低減し、それにより、改善されたノイズ低減ソリューションを提供する。本開示の様々な実施形態におけるバイアス補償およびノイズ低減システムは、露光モザイク補間、カラーデモザイク補間、または空間ノイズ低減フィルタリングのＩＳＰ段階でもたらされるバイアスを低減するように設計されている。
【００３６】
一実施形態では、図３を参照すると、たとえば、空間ノイズ低減フィルタは、複雑度が低い時間ノイズフィルタと組み合わされるＩＳＰである。結果として得られる時空間フィルタは、空間ノイズフィルタからのバイアスを低減し、同時に時間フィルタリングの欠点を低減する。いくつかの実施形態によれば、空間ノイズ低減フィルタはハードウェアまたはファームウェア内に提供され、時間ノイズ低減フィルタはソフトウェア内でカスタマイズされ実装される。本開示のカスタマイズされた時間フィルタは、いくつかの実施形態において既存の空間フィルタと組み合わされ、既存の機器に対する拡張を形成し、それにより、改善されたノイズ低減ソリューションを提供することができる。
【００３７】
生入力データが空間的にインターリーブされた長露光時間ピクセルおよび短露光時間ピクセルまたは空間的にインターリーブされた異なるカラーピクセルを有するカラーモザイクを含む他の実施形態では、デモザイク処理ユニットまたはデベイヤユニットは、時間ノイズフィルタと組み合わされるＩＳＰである。結果として得られるバイアス補償フィルタは、デモザイク処理からのバイアスまたはアーチファクトを低減し、画像またはビデオの出力フレームにおいてより高い忠実度を実現する。さらなる実施形態では、空間ノイズフィルタを含むさらなるＩＳＰが、デモザイク処理ユニットおよび再帰的時間フィルタとともにシステム内で組み合わされる。たとえば、図４を参照されたい。結果として得られるバイアス補償フィルタは、空間ノイズフィルタおよびデベイヤユニットからのバイアスまたはアーチファクトを低減し、出力フレームにおける改善された忠実度を実現する。
【００３８】
信号結合器および信頼度指標
図１を参照すると、一実施形態による信号結合器は、本開示の再帰的時間フィルタの中心部分である。一実施形態では、信号結合器は、フィルタリングされていない入力フレーム、ＩＳＰフィルタリングされた入力フレーム、および前の出力フレームを含む少なくとも２つの入力フレームの線形結合を提供する。別の実施形態では、信号結合器は、フィルタリングされていない入力フレーム、ＩＳＰフィルタリングされた入力フレーム、および前の出力フレームを含む少なくとも２つの入力フレームの凸結合を提供する。様々な実施形態による凸結合は、ピクセルブロックごとに、またはピクセルごとに行われる。信頼度指標は、ピクセルごとに、またはピクセルブロックごとに、各凸結合に関連付けられる。更新された信頼度指標に基づく凸結合は、新しい出力フレームを決定する。
【００３９】
一実施形態によれば、信頼度指標は、各入力フレームまたは各入力フレーム内のピクセルブロックに割り当てられる。様々な実施形態における信頼度指標は、一般に、前の出力フレームが現在の入力フレームの良好な表現である程度を表す。一実施形態によれば、それは、０から１までなどの所定の範囲を有する数値として定義される。信頼度指標は、フレームバッファ内のピクセル値と一緒に記憶される。それは、信頼度更新関数に基づいて信頼度更新器によって計算される。
【００４０】
図５を参照すると、信頼度更新関数は、前の出力フレームの信頼度指標（Ｃ（ｎ−１））およびピクセルブロックごとに導出された信号変化分類子（「真」または「偽」）に基づいて、現在フレームまたは現在ピクセルブロックの信頼度指標（Ｃ（ｎ））を計算する。
【００４１】
一実施形態では、更新された信頼度指標は、前のフレームまたはピクセルブロックに対する前の信頼度指標プラス静止として分類されたピクセルまたはピクセルブロックに対する正の増分であるように定義される。そして、変化中と分類されたピクセルまたはピクセルブロックの場合、更新された信頼度指標は、いくつかの実施形態では０などのシステムにとって可能な限り低い値であるように定義される。いくつかの実施形態による増分は、前の信頼度指標に依存するが、更新された信頼度指標が一実施形態による０と１との間などの所定の範囲内に留まるように制約される。たとえば、図５を参照されたい。
【００４２】
図１を参照すると、それに基づいて信頼度指標が計算される信号変化分類子は、画像信号プロセッサ（ＩＳＰ）段階に接続された信号変化検出器によって決定される。特定の実施形態によるＩＳＰ段階は空間ノイズ低減フィルタを含み、信号変化検出器は、空間フィルタの出力および前の出力フレームからのデータに基づいて、関連するピクセルブロック内の位置変化を検出する。
【００４３】
凸結合の重み
図１を参照すると、重み計算器は、入力フレームまたはピクセルブロックごとに凸結合の重みを計算する際に、信頼度更新器から入力を受け取る。一実施形態によれば、信頼度指標が増加するにつれて、フィルタリングされていない生入力は、ＩＳＰフィルタリングされた入力または（ＩＳＰが空間ノイズ低減フィルタである場合の）空間フィルタリングされた入力よりも多く重み付けされる。したがって、プロセス中により多くのフレームが平均化されるにつれて、空間フィルタのバイアスが低減される。一方、前の出力フレーム用の信頼度指標が低いとき、空間フィルタリングされた入力はより重み付けされ、それにより、出力のノイズ分散が減少する。
【００４４】
したがって、いくつかの実施形態では、ＩＳＰフィルタリングされた入力フレーム用の重みとフィルタリングされていない生入力フレーム用の重みとの間の比は、信頼度指標の単調減少関数である。さらに、前の出力フレーム用の重みは、信頼度指標の増加関数である。いくつかの実施形態によれば、信頼度指標がゼロであるとき、前の出力フレーム用のこの重みはゼロまたはゼロに近く、信頼度指標が１であるとき、それは１に近い。
【００４５】
図６を参照すると、一実施形態による凸結合の重みは、信頼度指標に基づいて以下の式：ガンマ＝ｃ、ベータ＝（１．０−ｃ）＊（１．０−ｃ）、アルファ＝（１．０−ｃ）＊ｃによって導出され、ここで、ｃは信頼度指標を指し、アルファはフィルタリングされていない生入力用の重み、ベータはＩＳＰフィルタリングされた入力または空間フィルタリングされた入力の重みを指し、ＩＳＰは空間フィルタであり、ガンマは前の出力フレーム用の重みを指す。この実施形態では、アルファ、ベータ、およびガンマの合計は１であり、信頼度指標は０から１の間の値を有する。したがって、この実施形態では、アルファおよびベータが前のフレーム用の信頼度指標の関数として変化する方法に従って、ベータ（ＩＳＰフィルタリングまたは空間フィルタリングされたフレーム用の重み）は処理の始めで高く、その結果、真に収束するピクセル値は速く発生するが、アルファ（フィルタリングされていない生入力用の重み）は徐々に増加して、ＩＳＰまたはＩＳＰが空間フィルタである場合の空間フィルタからのバイアスを低減する。
【００４６】
代替の実施形態では、入力フレームまたは結合出力フレーム内のピクセルブロックごとに重みを導出するために、区分線形近似が採用されてもよい。代替の実施形態では、結合出力フレームは、３つ以上の入力フレームの線形結合または凸結合に基づく。
【００４７】
信号変化検出器
上述されたように、信頼度更新器は、いくつかの実施形態において信号変化検出器によって生成された変化検出分類子に基づいて、ピクセルブロックまたは入力フレームごとに信頼度指標を更新する。たとえば、図１、図２、および図５を参照されたい。信号変化検出器は、その入力としてＩＳＰフィルタリングされた信号（またはＩＳＰが空間フィルタである場合の空間フィルタリングされた信号）を前の出力フレームと一緒に受け取り、「静止」または「変化中」としてのステータスを示す、ピクセルまたはピクセルブロックごとのバイナリ変化検出分類子（「真」または「偽」）を出力する。たとえば、基本的な実施形態では、２つの入力間の差が評価され、「変化中」の分類に対してしきい値が決定される。しきい値を超える２つの入力間の差は、「変化中」を示す信号変化分類子における「真」の読取り値につながり、そうでない場合、「静止」を示す信号変化分類子における「偽」の読取り値につながる。
【００４８】
他の実施形態によれば、信号変化検出器は、システムのための信号変化の分類を改善するために、前の入力フレームおよび現在の入力フレーム内のピクセルの空間的近傍を入力として受け取る。さらなる実施形態では、信号変化分類子は、背景および前景の推定アルゴリズムを採用して、ピクセルを静止または変化中として分類する。
【００４９】
したがって、様々な実施形態によるバイアス補償ノイズ低減システムは、一方で変化の分類のための信号変化検出器への入力が、他方では新しい出力フレームを形成する凸結合のための信号結合器への入力から切り離されるという柔軟性を提供する。信号検出分類子を決定するための入力は、分類性能を最大化するように様々な実施形態において選択され、凸結合への入力は、システムによって採用された空間フィルタおよびデベイヤユニットなどのＩＳＰの視覚劣化およびバイアスを効果的に低減するように選択される。
【００５０】
動き補償器
図２を参照すると、別の実施形態におけるバイアス補償ノイズ低減システムは、動き補償器をさらに含む。動き補償器は、動き推定技法を採用して前の出力フレームを修正し、前の出力フレームと現在の入力フレームとの間の動きを補償する。動きが推定され補償されるので、この実施形態によるバイアス補償ノイズ低減システムは、時間次元においてフレームを結合するためのより良い機会を可能にする。凸結合の場合、この実施形態によれば、動き補償ビデオフレームは、前の出力フレームの代わりに入力フレームとして受け取られる。
【００５１】
図３は、動き検出および動き補償が実装されたバイアス補償時空間ノイズ低減システムの別の例を提供する。この実施形態では、凸結合は、動き補償器、空間フィルタリングされた入力フレーム、およびフィルタリングされていない入力フレームからの出力に基づく。
【００５２】
図４は、動き検出および動き補償が実装されたバイアス補償時空間およびデベイヤノイズ低減システムのさらなる例を提供する。この実施形態では、凸結合は、動き補償器からの出力、空間フィルタリングされた入力フレーム、デベイヤされた入力フレーム、および生ベイヤ入力フレームに基づく。
【００５３】
ＩＳＰ段階および対応するバイアス削減
上述されたように、本開示のシステムおよび方法は、ＩＳＰ段階とも呼ばれる生入力データのＩＳＰフィルタリング中に、ＩＳＰまたはＩＳＰコンポーネントによってもたらされるバイアスを低減する。システムへの生入力データは、様々な実施形態における様々なタイプのデータである。様々な実施形態におけるＩＳＰ段階は、異なるユーティリティの１つまたは複数のＩＳＰを採用し動作させる。一実施形態では、ＩＳＰ段階は露光モザイク補間を含む。別の実施形態では、ＩＳＰ段階はカラーデモザイク補間を含む。さらなる実施形態では、ＩＳＰ段階は空間ノイズ低減フィルタリングを含む。
【００５４】
たとえば、いくつかの実施形態では、長時間露光および短時間露光のブロックモザイク、または異なる露光を有するインターリーブされたラインが既存のセンサによって生成される。一実施形態では、ＩＳＰ段階でＨＤＲ検知が採用される。空間インターリーブおよび空間復元は、本質的に一定のバイアスをもたらすＨＤＲ補間に関与するので、一実施形態によれば、生のインターリーブされた露光ピクセル、バイアスされた空間復元、および前の出力フレームを含む重み付き入力フレームに基づいて、凸結合を介してより良い品質の強化された復元が提供される。
【００５５】
したがって、この実施形態では、生データは露光モザイクであり、ＩＳＰフィルタリング段階は、空間ＨＤＲ補間、デモザイク処理、および空間ノイズフィルタリングである。別の実施形態では、生データはカラーモザイクであり、ＩＳＰフィルタリング段階は、デモザイク処理および空間ノイズフィルタリングである。さらなる実施形態では、生データはデモザイク処理されたフレームであり、ＩＳＰフィルタリング段階は空間ノイズフィルタリングである。様々な実施形態における凸結合は、生データ、ＩＳＰフィルタリングされたデータ、および時間フィルタリングされたデータ（前の出力フレームまたは動き補償出力）を含む、重み付き入力フレームを結合することによって行われる。
【００５６】
様々な図および例を含む、本開示で提供された様々な実施形態の説明は、本発明およびその様々な実施形態を例示するものであり、限定するものではない。
【図１】
2019530360.tif 000003
【図２】
2019530360.tif 000004
【図３】
2019530360.tif 000005
【図４】
2019530360.tif 000006
【図５】
2019530360.tif 000007
【図６】
2019530360.tif 000008
【国際調査報告】
2019530360.tif 000009