(57)【要約】      （修正有）【課題】ビデオストリーム内の構造固定パターンノイズを解消または軽減するための方法を提供する。【解決手段】方法は、第１の画像フレーム内の第１の着目画素ごとに、第１の着目画素を含む第１の着目画素パッチを規定し、第１の着目画素パッチを含む第１の検索領域内の画素ごとに、その周りの第１の画素パッチを第１の着目画素パッチと比較し、類似度が第１の閾値以内である場合には、第１の着目画素のための平均を算出する際に第１の検索領域内の前記画素を用いることと、第２の画像フレーム内において、第２の着目画素を含む第２の画素検索領域内の画素ごとに、その周りの第２の画素パッチを第１の着目画素パッチと比較し、類似度が第２の閾値以内である場合には、第１の着目画素のための平均を算出する際に第２の検索領域内の前記画素を用いることと、を含む。第２の着目画素の位置が第１の着目画素の位置から、カメラ方向データと組み合わせて推定される。【選択図】図５
2018136930.tif 000002
【特許請求の範囲】
【請求項１】
ビデオストリーム内の構造固定パターンノイズ低減のための方法であって、
第１の画像フレーム（１１４）内の処理されるべき画素を着目画素（１１６）として規定することと、
第１の画像フレーム（１１４）内の着目画素（１１６）ごとに、
前記着目画素（１１６）を含む第１の着目画素パッチ（１１８）を規定することと、
前記第１の着目画素パッチ（１１８）を含む第１の検索領域（１２０）を規定することと、
前記第１の検索領域内の画素ごとに、
前記画素の周りの第１の画素パッチ（１２４）を前記第１の着目画素パッチ（１１８）と比較することと、
前記第１の画素パッチ（１２４）と前記第１の着目画素パッチ（１１８）との類似度が第１の閾値以内である場合には、前記着目画素（１１６）のための平均を算出する際に前記画素を用いることと、
第２の画像フレーム（１１４’）内において、
第２の着目画素（１１６’）の位置を特定することと、
前記第２の着目画素（１１６’）を含む第２の検索領域（１２０’）を規定することと、
前記第２の検索領域（１２０’）内の画素ごとに、
前記第２の検索領域（１２０’）の前記画素の周りの第２の画素パッチ（１２４’）を前記第１の着目画素パッチ（１１８）と比較することと、
前記第２の画素パッチ（１２４’）と前記第１の着目画素パッチ（１１８）との類似度が第２の閾値以内である場合には、前記着目画素（１１６）のための平均を算出する際に前記第２の検索領域（１２０’）内の前記画素を用いることと、
を含み、
前記第１の画像フレーム（１１４）および前記第２の画像フレーム（１１４’）は前記ビデオストリーム内の別個の画像フレームであり、前記第２の着目画素の位置が前記着目画素（１１６）の位置から、カメラ方向データと組み合わせて推定され、
上述の前記方法の工程が、前記第１の画像フレーム、または前記第１の画像フレームのより小さい範囲の画素ごとに繰り返される、
方法。
【請求項２】
前記第１の画像フレームが前記第２の画像フレームの後続のものである、請求項１に記載の方法。
【請求項３】
前記第１の検索領域が前記第１の画像フレーム（１１４）のフルサイズの部分セットを含む、請求項１または２に記載の方法。
【請求項４】
前記第２の検索領域の大きさが前記第１の検索領域の大きさ以下である、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記第２の閾値が前記第１の閾値と異なる、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記第２の閾値が動的に設定される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記第２の閾値が、前記第２の検索領域内の各画素の評価の後に、前記第１の画像フレーム内の平均化のために選択された画素数に適合するよう動的に設定される、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記第１の着目画素の前記平均を算出するために前記第２の検索領域の前記画素を用いる際に、重み付き平均が用いられる、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記第２の画像フレームについては、前記第２の着目画素により近接した画素に、より大きな重みが与えられることになる、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記第１の画素パッチおよび前記第２の画素パッチなどの画素パッチが、中心画素および周囲の隣り合う画素を含む、請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記第２の画像フレームが、請求項１から１０のいずれか一項に記載の方法を用いて算出された一群の画像フレームの重み付き平均を含む、請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
前記第２の画像フレームが、本発明の方法から出力された以前の画像フレームを含む、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
全ての画素パッチの大きさが同一である、請求項１から１２のいずれか一項に記載の方法。
【請求項１４】
前記方法が、電子画像安定化が始動されると始動される、請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
ビデオカメラにおける請求項１から１４のいずれか一項に記載の方法の使用であって、より好ましくは、使用は電子画像安定化機能性の開始と組み合わせられるか、またはそれによってトリガされる、方法の使用。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はノイズフィルタリングの技術分野に関し、特に、ライブビデオデータなどの、ビデオデータのノイズフィルタリングに関する。
【背景技術】
【０００２】
ノイズは、程度の大小はあれ、あらゆる撮像状況において考慮すべき因子である。その理由のために、この領域はよく研究されており、ほとんどの種類のノイズについてノイズ低減のための数多くの技法が存在する。さらに、このことは、本出願に係る本発明のための最有力候補となるノイズの種類、すなわち、発明を実施する形態においてさらに特定される様々な種類の固定パターンノイズ（Ｆｉｘｅｄ  Ｐａｔｔｅｒｎ  Ｎｏｉｓｅ、ＦＰＮ）を規定することに関連してくる。本発明は読み出しノイズの観点から記載され、説明されることになるが、他の種類の固定パターンノイズも抑制されるであろう。本発明は、読み出しの間に発生されるＦＰＮ、経時的にゆっくりと変化するＦＰＮ、および局所的にクラスタ化された外観を有し、そのため、エッジを含むＦＰＮに関して特に有用である。これは発明を実施する形態においてさらに説明されることになる。さらに、本発明は、マイクロボロメータを用いたサーマルカメラに特によく適しており、これは、様々な種類のノイズに関するマイクロボロメータの固有の特性に部分的に起因し、また、信号対ノイズレベルが、多くの場合、低くなり得るためである。
【発明の概要】
【０００３】
本発明は、ビデオストリーム内の構造固定パターンノイズを解消または軽減するための方法に関する。以下の説明は、確立された専門用語を使用するが、当技術分野に十分になじんでいない読み手のための読解体験を改善するべく、いくらかの主要な専門用語の簡単な説明が附される。
【０００４】
画像フレーム  −  ビデオストリームを作り上げる画像のストリーム内の画像フレーム。画像フレームは、撮像されたオブジェクトの色および強度を記述する画素化された情報からなる。通例、画像フレームは長方形の画素行列と見なされ得る。略図では、画像フレームは、カメラの画像センサにその原点を有する未処理のカメラストリームによってもたらされ、多数の処理段に入ることになり、その後、画像フレームはディスプレイストリーム内で転送され、符号化され、リモートサーバへ伝送されることになる。
【０００５】
第１の画像フレーム  −  処理中の現在の画像フレーム。
【０００６】
第２の画像フレーム  −  概して、すでに処理済みであり得る、以前の画像フレーム。このフレームから、統計を改善するためのデータが収集される。第１の画像フレームと第２の画像フレームとの間に相対的な動きが存在した場合、例えば、カメラが若干動いたために、撮像されたシーンが画像センサ上の位置を（ごくわずかに）シフトさせた場合には、固定パターンノイズの低減を促進することになる。センサは、すでに処理された画像フレームであるため、それは、今度は、以前のフレームからの情報などを含むことになる。
【０００７】
着目画素  −  画像フレーム内の画素のうちの１つ。より具体的には、現在処理中の画素。本方法が進行するに従い、（画像フレーム全体が処理される諸実施形態では）画素行列（画像フレーム）内の全ての画素が着目画素になったことがあるということになり得る。
【０００８】
画素パッチ  −  問題の画素を含む（および多くの場合、それを包囲する）画素の小区域。画素パッチは、問題の画素が中心画素である、３ｘ３画素の画素行列であってもよい。画素パッチは、異なる画素の間の類似度を、画素の周辺部のごく一部を含めることによって導出し、定量化しようと試みる際に用いられる。
【０００９】
着目画素パッチ  −  着目画素を含む画素パッチ。
【００１０】
検索領域  −  着目画素を含む画像フレーム内の画素の区域。通常、画素パッチよりも大きい寸法を有する長方形の区域。全ての可能な画素パッチを、着目画素を含む画素パッチと比較することを含む平均化手順を遂行する際には、これは検索領域内で遂行される。検索領域の大きさは、理論的には、画像フレーム全体に対応し得るであろうが、処理速度を含むトレードオフが存在するため、検索領域は通常、画像フレームよりも小さい大きさ、多くの場合、大幅により小さい大きさを有する。それは、５ｘ５画素、または４ｘ４画素という小さなものになり得るであろうが、それはまた、大幅により大きくてもよい。
【００１１】
カメラ方向データ  −  カメラ（またはセンサ）がどのように方向付けられているのかに関する情報。継続的に取得されてもよく、それにより、各画像フレームが方向データに関連付けられる。方向データは、とりわけ、電子画像安定化を可能にする。方向データは、パン／チルトモータの設定に基づいて推定され得るが、検出されるべき動きが不要な揺れまたは振動により関連する本発明の目的のために、方向データは好ましくは、加速器またはジャイロスコープを用いて取得される。３軸ＭＥＭＳジャイロスコープおよび３軸ＭＥＭＳ加速度計であり得るであろう、ＭＥＭＳジャイロスコープなどの、この目的のために利用可能ないくつかの異なるセンサが存在する。
【００１２】
以上のことに加えて、本発明の方法は、第１の画像フレーム内の処理されるべき画素を着目画素として規定することを含む。着目画素ごとに、着目画素を含む第１の着目画素パッチが規定される。さらに、検索領域が規定される。区域は第１の着目画素パッチを含む。第１の画素区域内の画素ごとに、画素の周りの第１の画素パッチが第１の着目画素パッチと比較され、画素パッチと第１の着目画素パッチとの類似度が第１の閾値以内である場合には、画素が、着目画素のための平均を算出するために用いられる。本方法のこの第１の部分の後に、着目画素の平均のための統計を改善する目的のために、第２の画像フレームが用いられ、第２の画像フレーム内において、第２の着目画素の位置を特定し、第２の着目画素を含む第２の画素検索領域を規定する。第２の検索領域内の画素ごとに、第２の検索領域の画素の周りの第２の画素パッチが第１の着目画素パッチと比較される。第２の画素パッチと第１の着目画素パッチとの類似度が第２の閾値以内である場合には、第２の検索領域の画素が、第１の着目画素の平均を算出する際に用いられる。本発明の目的のために、第１の画像フレームおよび第２の画像フレームはビデオストリーム内の別個の画像フレームであり、第２の着目画素の位置は第１の画像フレームの着目画素の位置から、カメラ方向データと組み合わせて推定される。本方法は、第１の画像フレーム、またはより小さい範囲の各画素に対して遂行される。
【００１３】
本発明の方法はいくつかの有益な効果を達成し、究極的には構造固定パターンノイズの影響を低減する。第１の画像フレームからの情報のみが用いられる、本方法の第１の部分、達成されることは、非局所平均フィルタリング、エッジを保存する特徴を有する空間平均と同様の方法である。単一の画像フレームについても、構造固定パターンノイズのエッジは保存されるであろう。本発明では、第２の画像フレーム内に含まれる情報、および画像間のカメラ方向データの情報が追加されるため、構造固定パターンノイズの効果も同様に低減されることになる。カメラ方向データを用いることは、第１の画像フレーム内における第１の着目画素によって描画されるシーンの部分の位置を、シーンのこの部分が第２の画像フレーム内で位置付けられるであろう位置に一致させることを可能にする。さらに、本発明のプロセスの特徴は、第２の着目画素の位置を単一の画素の精度まで正確に特定することは、重要でなくなるという結果をもたらす。第２の画像フレームからの情報を利用することは時間パラメータを追加し、構造パターンノイズ（または画像フレーム内におけるその位置）はカメラの動きと関連してシフトし得るため、このノイズによって生じるエッジは低減されることになり、その一方で、撮像されたシーン内の本物のオブジェクトから発するエッジは依然として保存されることになる。注目すべきことに、第１の画像フレームの画素はどれも全て着目画素として規定され得、一般的な適用では、全ての画素が規定されることになる。しかし、より小さい範囲の画素が着目画素として規定される実施形態がなおも存在することになる。
【００１４】
１つまたは複数の実施形態では、第１の画像フレームは第２の画像フレームの後続のものであり、つまり、目下の画像フレームを処理する際には、履歴データが利用される。この画像フレームの処理の仕方は、画像フレームの連続出力が存在するビデオストリームのために適している。他の実施形態では、順序はより自由に選択することができるであろう。
【００１５】
１つまたはいくつかの実施形態では、第１の検索領域はフレームのフルサイズの部分セットを含み得る。第１の検索領域の大きさは統計と処理時間との間のトレードオフである。画像フレームの連続ストリームがあまり大きな時間差を伴うことなく提示されるべきである場合には、完全な画像フレームを用いることが可能でなくなる場合がある。これが、完全な画像フレームの部分セットを用いる１つの理由である。
【００１６】
第２の検索領域の大きさは第１の検索領域の大きさ以下である。簡単にするために、第２の検索領域、すなわち、第２の画像フレーム内の検索領域の大きさは、第１の検索領域の大きさに等しい大きさを有し得る。処理時間の短縮が望まれる場合には、第２の検索領域の大きさは第１の検索領域よりも小さくなり得る。方向データが、着目画素に対応する画素が第２の検索領域内に含まれることになることを確実にすると仮定すると、大きさのこの低減が信頼性に影響を与えることはほとんどない。
【００１７】
いずれの実施形態においても、第２の閾値は第１の閾値と異なり得、一例として、第２の閾値は第２の検索領域内の各画素の評価の後に動的に設定されてもよく、それゆえ、より精緻な平均化プロセスを可能にする。例えば、第１の検索領域の処理後には、着目画素の平均を算出するためにいくつの画素が用いられたのかに関するデータが存在することになり、したがって、対応する量が第２の検索領域から期待され得る（これは、第１の検索領域と第２の検索領域とが等しい大きさのものである実施形態の場合であり、さもなければ、スケール係数を適用することができるであろう）。
【００１８】
１つまたは複数の実施形態では、着目画素の平均を算出するために第２の検索領域の画素を用いる際に、重み付き平均が用いられる。重みは、時間平均の効果を高めるために適用されてもよく、以前の画像フレームから収集されたデータにより大きな重みを与える。これは、１つを超える以前の画像フレームからのデータが用いられる実施形態においてさらなる利点を与えるために用いられ得る。これは、出力された画像フレームが、「第１の画像フレーム」を処理する際に「第２の画像フレーム」として用いられる（すなわち、以前に出力された画像フレームが、現在の画像フレームを処理する際に用いられる）フィードバックループを用いることによる効果である。
【００１９】
関連実施形態では、重みは、第２の画像フレームのために、第２の着目画素からの距離とともに変化してもよく、具体的には、第２の着目画素により近接した画素値には、より大きな重みが与えられてもよい。第２の着目画素を見出すために方向データを用いることによって、この第２の着目画素が、第１の着目画素に対応する真の画素の第２の画像フレーム内における位置、その付近、またはその間近に見出される可能性を強め、これは、第２の着目画素により近接した画素により高い重要度を与えることによって反映され得る。
【００２０】
画素パッチ間の類似度を比較する際には、差分絶対値和（ｓｕｍ  ｏｆ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅｓ、ＳＡＤ）または差分二乗和（ｓｕｍ  ｏｆ  ｓｑｕａｒｅｄ  ｄｉｆｆｅｒｅｎｃｅｓ、ＳＳＤ）などの方法、さらに他のアプローチも同様に用いられ得る。
【００２１】
第１の画素パッチおよび第２の画素パッチなどの画素パッチは、中心画素および周囲の隣り合う画素を含み得る。画素パッチの典型的な大きさは３ｘ３画素または４ｘ４画素であろうが、２ｘ２画素、５ｘ５画素等などの、他の大きさも同様に可能である。
【００２２】
第２の画像フレームは、１つまたはいくつかの実施形態では、上記の請求項のいずれかに記載の方法を用いて算出された一群の画像フレームの重み付き平均を含み得る。いくつかの以前の画像フレームからのデータの使用はノイズフィルタリングの効果を改善することになる。
【００２３】
概説されたように、第２の画像フレームが、本発明の方法から出力された以前の画像フレームを含む、フィードバック機能が用いられ得る。このフィードバックループの時間効果は、平均を算出する際に適用された重みによって決定されると言い得る。
【００２４】
処理を単純にするために、全ての画素パッチの大きさは同一であってもよい。
【００２５】
詳細な説明においてさらに説明されることになるように、本方法は電子画像安定化に関する利点を有し得、したがって、本方法は、好ましくは、電子画像安定化が始動される際に始動され得る。
【００２６】
第２の態様によれば、本発明は、本出願において開示されるとおりの方法の使用に関し、このような使用は、電子画像安定化の開始または始動によってトリガされ得る。
【００２７】
本発明の適用性のさらなる範囲は、以下において与えられる詳細な説明から明らかになる。しかし、詳細な説明および具体例は、本発明の好ましい実施形態を指示しているが、この詳細な説明から本発明の範囲内の様々な変更および修正が当業者に明らかになるため、例示としてのみ与えられていることを理解されたい。それゆえ、本発明は、記載されているデバイスまたは記載されている方法のステップの特定の構成部分に限定されるものではなく、これは、このようなデバイスおよび方法は異なり得るためであることを理解されたい。また、本明細書において用いられる用語法は、特定の実施形態を説明することのみを目的としており、限定を意図されてはいないことも理解されたい。本明細書および添付の請求項において使用される時、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」は、文脈が別途明確に指示しない限り、１つまたは複数の要素が存在することを意味することが意図されることに留意しなければならない。それゆえ、例えば、「センサ（ａ  ｓｅｎｓｏｒ）」または「センサ（ｔｈｅ  ｓｅｎｓｏｒ）」への言及は、いくつかのセンサ、および同様のものを含み得る。さらに、単語「〜を含む（ｃｏｍｐｒｉｓｉｎｇ）」は他の要素またはステップを除外しない。
【図面の簡単な説明】
【００２８】
【図１】サーマルカメラのチップの例示的な概略図である。
【図２Ａ−４Ａ】図２Ａはビデオストリーム内の第１の画像フレームの図であり、図３Ａはビデオストリーム内の第２の画像フレームの図であり、図４Ａは、図２Ａおよび図３Ａの情報がどのように用いられるのかを示すフローチャートである。
【図２Ｂ−４Ｂ】図２Ｂは、図２Ａの図の部分拡大図であり、図３Ｂは、図３Ａの図の部分拡大図であり、図４Ｂは、図２Ｂおよび図３Ｂの情報がどのように用いられるのかを示すフローチャートである。
【図５】図４Ａおよび図４Ｂのフローチャートに示される方法のフローチャートであるが、代替的な実施形態のものである。
【発明を実施するための形態】
【００２９】
本発明およびその特定の文脈のより深い理解を促進するために、本発明のいくつかの実施形態が開示されることになる。
【００３０】
図１は、通例、約８〜１４マイクロメートルの波長を検出する、ＬＷＩＲ（Ｌｏｎｇ  Ｗａｖｅｌｅｎｇｔｈ  Ｉｎｆｒａ  Ｒｅｄ、長波長赤外線）センサ１００、または少なくともその概略平面図を示す。説明は基本的に任意の多画素センサの説明と類似しており、本発明は、開示されている特定の実施形態を超えて一般化され得る。図１には、センサの各画素１０２がどのように抵抗ボロメータ装置１０４を有するのかが示されている。装置は、ＩＲ放射吸収体および熱電素子、ならびに読み出しのための回路機構１０８を含む。一般論として、センサは、ＩＲ放射吸収によって生じた温度上昇を測定し、熱電素子は吸収体の温度を電気信号へ変換する。抵抗ボロメータは、その抵抗が温度とともに変化するという特質を有するセンサである。ある程度信頼できる測定を可能にするために、センサは真空下で動作させられる。
【００３１】
各画素１０２は今度は、各画素行から信号を読み出すことを担当する読み出し回路１０８に電気接続されており、我々は、次に、本発明が解決策をなそうと意図する問題の１つに注目する。
【００３２】
画素１０２は行および列の形態で配列されており、それゆえ、完全なＬＷＩＲセンサを形成しており、センサによってはグローバルな読み出しを用いるものがあるが、読み出しのための従来の解決策は、ローリングシャッターと呼ばれるものである。ローリングシャッターでは、センサは行ごとに読み出し回路１０８へ読み出され、その後、各読み出し回路の内容１１０は多重化され、画像全体に対応する完全データセットとして転送される。
【００３３】
各行のための読み出し回路１０８は、補償ボロメータ１１２、または補償画素を含む。補償ボロメータ１１２は、好ましくは、シーンに由来するいかなる放射も受け取るべきでないボロメータである。それゆえ、補償ボロメータは、シーン自体に関係しない因子によって生じた応答による変化に関する補正の可能性をもたらし、それは、次に、対応する列内の各ボロメータ１０４からの出力の補正を可能にし得る。補償ボロメータ１１２の応答は、補償ボロメータ１１２が配列された基板の温度によって完全に決められ得、したがって、このような因子の例は、内部温度の変動などによって生じる、不正確な読み出しレベルをもたらす電子素子内のドリフトであり得るであろう、対応する技法、すなわち、「暗画素補償」または「暗電流補償」が、視野内で動作している正規のカメラのために用いられる場合には、光が補償画素に達するのを防止することは容易に達成可能であるため、この補償画素はかなり良好な効果を有することになる。補償ボロメータについては、全暗に対する類比は０Ｋの温度になるであろうから、「暗い」環境のＩＲ放射または熱放射生成を測定することは著しくより困難である。それでもなお、補償ボロメータは、上述されたように、いくつかのアーチファクトの防止をうまく担うことになる。サーマルカメラの読み出し回路内の電子素子は感度が高く、大抵低い信号対ノイズレベルを扱うことができ、また、各々の個々の読み出し回路は、経時的に変動する応答を有することになる。これが相まって、列固定パターンノイズ（ｃｏｌｕｍｎ  ｆｉｘｅｄ  ｐａｔｔｅｒｎ  ｎｏｉｓｅ、ＣＦＰＮ）と呼ばれ得る、画像に縞状の外観を与える固定パターンノイズを生じさせる。特定の列のための効果は、温度ドリフト、経年化などのために経時的に変動し得る。センサ回路区域にわたる応答はまた、製作プロセスの間に発生されたアーチファクトのために変動し得る。これらのアーチファクトは、近隣区域と異なる応答を有するセンサの区域として現れ得、その効果は、本発明を用いた低減のために良く適した固定パターンノイズになり得る。レンズ系内のレンズのうちのいずれかの上のひっかき傷または塵挨などの欠陥は、本発明が適用可能であり得るノイズの別の原因となるセンサ画像の特定の区域上のアーチファクトを生じさせ得る。これらのアーチファクトの経時的変動はビデオ記録におけるフレームレートと比べて遅く、ビデオシーケンス内の隣接フレームにとって、ノイズは、実際に固定していると見なされ得る。
【００３４】
経時的変動は、校正を用いてノイズの効果を解消する可能性を低下させるため、ノイズ低減を複雑にする。列固定パターンノイズは一例であり、行に対する対応する効果は別の例である。別の例は、製作プロセスの結果、近隣領域と若干異なる性能を有するボロメータの領域またはパッチが生じた場合である。このような効果の一部は校正手順において調整され得るが、全てではなく、列固定パターンノイズと同様に、これらの効果はそれらの外観における変動を有し得る。
【００３５】
本発明は、ビデオストリーム内のこの種の固定パターンノイズの視覚効果を解消するか、または少なくとも軽減することを目的とする。特定の種類の固定パターンノイズは、以下において、構造固定パターンノイズと呼ばれることになり、それは、センサの一区域（単一の画素よりも大きい区域、好ましくは、少なくとも１つの方向において３画素よりも大きい区域、およびさらにより好ましくは、さらにより大きい区域）が、逸脱した応答を有することを特徴とする。列固定パターンノイズ、および行固定パターンノイズの具体例以外に、したがって、本発明は、応答して領域変動を生じさせる他の種類の固定パターンノイズにも有益な効果を有し得る。例えば、上述の例を参照されたい。本発明の技法は、ノイズが画素のクラスタに対する一様な効果として現れる、上述の種類のノイズに対する抑制効果を有することになる。このようなクラスタの大きさがさらに説明されることになる。
【００３６】
目下の状況において、課題は、特徴、および特に、シーンに由来するエッジを保存しつつ、ノイズを除去することである。ノイズの視覚効果を除去することは、画像をぼかすことによって、または他の力ずくのノイズ低減を用いて達成され得るが、画像内のオブジェクトを画定するエッジを維持し、その一方で、同時に、エッジを有するノイズを画像から除去するという課題は、はるかにより困難である。さらに、これは、好ましくは、カメラからの画像フレームのライブストリーム内で遂行されるべきである。
【００３７】
熱画像は、低信号、および関連する低い信号対ノイズ比を有する大きな区域をしばしば包含する。これは、視野内の正規の撮像と比べて、熱撮像において固定パターンノイズをより問題のあるものにし、または顕著にし、このとき、固定パターンノイズは著しく明白になることになる。ビデオ撮像の場合には、さらなる効果、すなわち、計画された、または不注意のカメラの動きの効果が事態を悪化させることになり、視像の、より小さな、またはより大きなシフトを生じさせる。カメラが完全に静止している場合には、モニタを介してシーンを観察している操作者にとっての効果は、スクリーン上に形成された静止した縦縞になり、縞はほとんど視認可能になり得ないであろう。カメラの動きが存在する時には、これらの縞はより視認可能になり得る。縞は画像センサに対して静止している。これは、カメラが動くのに従い、縞は、撮像されたシーン内のオブジェクトの上を掃引することになることを意味し、人間の眼はこの知覚された動きに反応することになる。電子画像安定化が用いられる場合には、この効果はさらにより強くなる。この状況では、カメラは、例えば、ジッタおよび振動のために、動くことになり、電子画像安定化は、撮像されたシーンを視像内の静止位置へ強制的に戻すことになる。同時に、画像安定化の結果として、列／行固定パターンノイズによって生じた縞は、撮像されたシーンの上を後方および前方に掃引することになり、縞をなおいっそうはっきりとさせ、さらに、邪魔で気を散らせるものにする。同じ効果が他の種類の構造固定パターンノイズから生じることになる。
【００３８】
読み出しの仕方に依存して、異なるパターンが現れる場合があり、請求項において開示される本発明は、明確に断りのない限り、この態様に限定されるべきではいことに留意されたい。例えば、センサは、行ではなく、列に基づく読み出しを有することができるであろう。これは、本発明によって同様に効率的に扱われるアナログノイズを生じさせる。
【００３９】
本発明によれば、カメラの動きの情報を表現する方向データが、ビデオカメラからの画像のストリームと相互に関連付けられる。方向データは好ましくは、ビデオカメラのジャイロスコープまたは加速度計から取得される。方向データを取得するセンサは、センサチップに接続して位置するか、または機械的構成内の他の位置に位置し得る。方向データは、画像処理を遂行する際に用いられ、以下のことから明らかになるように、方向データは、本発明の他の特質と組み合わせて、構造固定パターンノイズが解消されるか、または少なくとも低減され得る効果を有することになるというさらなる結果がもたらされる。
【００４０】
本発明の第１の実施形態に係る方法では、２つの画像フレームおよびそれらの関連方向データが取得される。第１の画像フレーム内の特定の画素、着目画素１１６（図２Ａにおける矢印を参照）から出発し、ノイズ低減プロセスが開始される。着目画素パッチ１１８、例えば、着目画素を中央に有する３掛ける３の行列が着目画素１１６の周りに規定され、第１の検索領域１２０（図２Ａにおける点線の長方形を参照）が着目画素パッチ１２０の周りに規定される。本実施形態では、列固定パターンノイズが一例として用いられる。なぜなら、列固定パターンノイズは、本発明を用いてうまく低減され得るであろうノイズの良い例であるためであり、且つ、列固定パターンノイズは図面において容易に図解されるためである。同様の実施形態を、記載された他の種類の固定パターンノイズに関して記載することも可能であり得、添付の請求項によって規定されるとおりの本発明は、明確に断りのない限り、本開示によって限定されるべきではない。
【００４１】
図２Ｂは、第１の検索領域１２０、着目画素パッチ１１８および着目画素１１６を示す、図２Ａの部分拡大図である。セル、または画素ごとの塗りつぶしの種類は、その特定の画素からの信号レベルを指示し、簡単且つ明確にするために、３つのレベル、白（高）、網掛け（中）、および黒（低）のみが用いられる。網掛けされた列１２２は、信号レベルを一方の方向または他方に偏らせる、列固定パターンノイズ（ＣＦＰＮ）の効果を示す。何らかのランダム画素ノイズも図面内で視認可能であるが、この種類のノイズは、本発明を用いることによって対処されることはない。
【００４２】
着目画素１１６のための値を直接用いる代わりに、非局所平均を算出するためのプロセスが遂行される。第１の検索領域１２０内の画素ごとに、第１の画素パッチが規定される。この第１の画素パッチは着目画素パッチ１１８と比較され、画素パッチ同士が十分に類似していると見なされる場合には、画素の値が、着目画素のための平均画素値を算出する際に用いられる。これは、（点線によって指示される）左上における画素パッチ１２４、および右下における画素パッチ１２６によって指示されるように、検索領域内の画素ごとに遂行される。画素パッチ間の類似度は、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＤＳ）などを含む、いくつかの仕方で算出され得る。何が「十分に類似している」と見なされるのかを定量化するために、第１の閾値が用いられ得る。その効果は、同様の外観を呈する区域内に位置する画素のみが、平均値を算出する際に用いられることになり、その結果、空間解像度が高度に維持され得、ひいては、ＣＦＰＮの効果が著しく低減されることは全くないというものになる。基本的に、このプロセスは画像内のＣＦＰＮの効果と実際のエッジの効果とを区別することができないことになる。点線の正方形によって指示されるとおりの画素パッチは部分的に検索領域の境界を越えて延び、その結果、画素のうちのいくつかは空になることに留意されたい。これは、純粋に、検索領域がどのように規定されるのかの効果であり、それは異なる仕方で扱われてもよい。１つの仕方は、単純に、「空の」画素のための画素値を用いることである。別の仕方は、画素を無視すること、または「空の」画素の代わりに０を追加することであろう。それはまた、画素パッチが決して検索領域の境界を越えて延びないことを確実にすることによって扱うこともできるであろう。すなわち、図面において開示される実施形態の場合、それは、第１の画素パッチを１画素右および１画素下へ移動させ、最後の画素パッチに対して同じ調整を遂行することに対応するであろう。
【００４３】
図示の実施形態では、パッチの大きさは３ｘ３画素であるが、大きさは異なり得る。パッチの大きさは、低減されるべきノイズの寸法との相関を有し得る。ノイズによって生じる構造の大きさは、少なくとも全く同一の次元において、ほぼ等しい大きさのものであるか、またはパッチよりも大きいことが好ましい。
【００４４】
しかし、次のステップでは、以前の画像フレーム１１４’からの情報が用いられる。図３Ａに、以前の画像フレーム１１４’が示されており、図３Ｂに、その部分拡大図が示されている。番号付与は、第１の画像フレームのために用いられたものと同一であるが、以前の（または「第２の」）画像フレーム１１４’の同様の構成要素のための参照符号にはプライム記号が付加されている。図２Ａおよび図３Ａの視像の間にはごくわずかの位置シフトが存在するが、方向データを用いることによって、第２の着目画素１１６’と呼ばれる、第２の画像フレーム内における着目画素１１６のおおよその位置が導出され得る。位置は図３Ｂにおいて矢印によって指示されている。以前の視像内の第２の画素パッチおよび第２の検索領域１２０’を規定することによって、着目画素に対応する画素が、第２の検索領域内において、九分通り第２の着目画素１１６’に近接して存在することになると仮定することが可能である。第２の検索領域１２０’内の画素ごとに、すでに説明されたものと同様の平均化プロセスが遂行される。しかし、第２の画素パッチ（例えば１２４’など）はまた、第１の画像フレーム内の着目画素パッチ１１８と比較されることになり、比較の結論に基づいて、第２の画素（各々の第２の画素パッチ内の中心画素）が、着目画素１１６のための平均を算出するために用いられることになる。
【００４５】
図面を見ると、どの着目画素パッチにも類似するであろう数多くのパッチが存在する印象を受けることが可能である。しかし、実用上のシナリオでは、概して、ノイズの効果は実際の画像情報と比べてはるかに目立たず、その結果、プロセスの効果は実際に、固定パターンノイズによって生じる効果の維持にはならず、効果の低減になる。第１の画像フレーム内の位置は、別の画像フレーム、または画像フレームのセット内の位置に相互に関連付けられ得るため、この効果は無論、方向データの利用によってさらに支援される。
【００４６】
通例、上述のプロセスは第１の画像フレーム内の画素ごとに遂行される。すなわち、第１の画像フレーム内の各画素は順に着目画素を努めていき、それゆえ、プロセスは、第１の画像フレーム内の全ての画素がフィルタリングされる（補正される／調整される）まで繰り返される。その結果得られた、以前の画像フレームからの情報と融合された現在の画像情報を包含する、フィルタリングされた画像フレームが画像ストリーム内で転送される。図４Ａおよび図４Ｂに、これが示されている。図において、第１の画像フレーム１３０は、ステップ１３２において、バッファ１３４から収集された第２の画像フレームを用いて処理される。フィルタリングされたフレームは、解像度の低減を伴うことなく、空間的にフィルタリングされており、且つ、時間的にフィルタリングされている。それゆえ、プロセスは、列ベースの固定パターンノイズの効果の低減を可能にする。次に、結果として得られたフレームは、プロセスを離れる際にステップ１３６へ転送される。
【００４７】
この有効化の説明は、固定パターンノイズの位置が第１の画像フレームと第２の（以前の）画像フレームとの間で撮像オブジェクトに対してシフトしたとの仮定の下で、より容易に記述される。カメラ方向の非常に小さなシフトでさえも、撮像されたシーンを画像センサ上で１画素シフトさせるのに十分であるため、これは、行うべき妥当な仮定である。
【００４８】
単に以前の画像フレームを用いるだけで、平均の統計的信頼性を高めることになる。さらに、第１の画像フレームの算出から取得された情報を第２の画像フレームのために用いることができ、これが一連の実施形態をもたらす。このような情報は、着目画素パッチに十分に類似していると見なされた画素パッチがいくつ平均内に含まれるべきかを含み得る。一実施形態によれば、我々は本質的に、第２の画像フレーム内の、第１の画像フレームと同じ区域を見ているため、着目画素パッチに十分に類似している第２の検索領域内の画素パッチの数は、第１の検索領域の対応する数であるべきであると仮定し得る。このとき、その効果を達成するために、すなわち、第１の検索領域および第２の検索領域内の「十分に類似している」画素パッチの数をそれぞれ調和させるために、第２の閾値を設定することができるであろう。万一、着目画素が列固定パターンノイズによって影響を受ける場合には、それゆえ、効果は低減されることになる。
【００４９】
さらに、我々は、第２の検索領域内における着目画素のかなり良好な位置を有することになるため、平均化プロセスにおいて、着目画素パッチの位置により近接した第２の検索領域内の画素パッチにより大きな重みを与えることによって、情報をよりうまく利用することが可能になるであろう。第２の実施形態では、したがって、着目画素パッチの推定された位置により近接した第２の検索領域内の画素パッチが、より遠く離れた画素パッチよりも大きな重みを有することになる。可能ではあるが、低減は必ずしも距離に線形的に依存するわけではない。
【００５０】
この後者のアプローチのバージョンは、第１の検索領域と比べて第２の検索領域の大きさを低減することになるであろう（着目画素の位置から特定の距離を越えた重みを０に設定することと等価である）。これらのアプローチを極限まで押し進めることは、第２の検索領域の大きさを第２の着目画素の周りの画素パッチの大きさに設定し、着目画素値を着目画素と第２の着目画素との重み付き平均に強制することに対応するであろう。現時点においては、この極限は望ましくない可能性があるが、本発明の効果はこのような極限の実施形態によってより容易に理解され得る。
【００５１】
図４Ａ、図４Ｂの実施形態は１つの以前の画像フレームの情報のみを利用したが、実施形態は、より多くの画像情報を組み込むように容易に調整され得る。図５の実施形態において、調整が提示されている。（補正されていない）以前の画像フレームからの情報のみを用いる代わりに、矢印１３８によって示されるように、以前に補正された画像フレームからの情報が利用される。これを行うことによって、繰り返しプロセスの結果、全ての以前のフレームからの情報が同様に含まれることになることが容易に理解される。情報を平均として結合する際に重みが関与するため、効果は、現在の画像フレームからの（フレーム数で測った）距離とともに薄められることになる。重みを調整することは、それゆえ、画像情報の「記憶」、および本方法の慣性に影響を与えることになる。通例、重みは、固定パターンノイズの効率的な除去を可能にするために、現在の画像フレーム（「第１の画像フレーム」）により小さい重みが与えられるというものになる。典型的な実施形態では、現在のフレームには、１／１００〜１／１０、例えば、１／２０前後などの、非常に低い重みが与えられるであろう。実際の重みは、目下の状況、構造固定パターンノイズが個々のセンサについてどれほど速く変動するのかなどに明白に依存することになる。
【００５２】
本発明のノイズ低減が既存のストリーム内で開始される状況を考える。このような状況では、履歴情報が存在しないことになり、最初に現在のフレームが以前のフレームと比較されるのみである。しかし、次のフレームは、自由に使える２つの以前のフレームからの情報を有するなどということになる。このような開始から実際の出力を観察すると、固定パターンノイズが次第に低減され、数秒後にはそれが消えてしまうため、効果は明確に視認できる。
【００５３】
本開示の方法は、カメラがシーンに対して動いている状況において、特別な利点を有することになる。その理由は、問題の固定パターンノイズは画像センサに対して静止していることになり、その一方で、撮像されたシーンは画像センサに対して動くことになり、それゆえ、平均化プロセスをより効率的にするためである。
【００５４】
シーンに対してカメラが動く（振動する、揺れる）状況において、且つ、電子画像安定化が用いられる場合には、本発明の、その諸実施形態に係る方法の効果はさらにより明らかになる。電子画像安定化は、静止したオブジェクトを視像内で静止した状態に保つ目的を有する。その効果は、固定パターンノイズは物理的画像センサ画素に対して固定されることになるため、固定パターンノイズが視像の上をドリフトすることになるというものになる。その効果は、静止時には肉眼に大なり小なり不可視である、構造固定パターンノイズなどの特徴が、今度は、視像内で動いている時には、動きに反応する人間の本能によって高められ、より目立つようになるというものになり得る。本発明の適用はその効果を大きく低減することになる。固定パターンノイズの効果は画像ストリーム内で明確に視認可能であるが、色およびダイナミックレンジに関する技術的制約のために、読み手が実際に効果を認めることは、全くできないほど困難になるからであろうから、一連のフレームを本出願における図面として開示することは可能と考えられない。
【００５５】
カメラが不動である、すなわち、撮像されたシーンが画像センサに対して、ひいては、固定パターンノイズに対して静止している状況では、本方法は画像を改善することも、画像を損なうこともないであろう。
【図１】
2018136930.tif 000003
【図２Ａ−４Ａ】
2018136930.tif 000004
【図２Ｂ−４Ｂ】
2018136930.tif 000005
【図５】
2018136930.tif 000006
【外国語明細書】
2018136930000001.pdf
2018136930000002.pdf
2018136930000003.pdf
2018136930000004.pdf