(57)【要約】【課題】赤外線画像のオフセット補正の改良された方法を提供する。【解決手段】本発明は画像処理方法に関し、このような画像処理方法では、処理デバイスによって、赤外線を感知可能な画素アレイによって取り込まれる入力画像(IB)を受けて、入力画像と列ベクトルとに基づいて、入力画像に存在する列広がりのレベルを推定することにより第１のスケール因子（α）を決定し、第１のスケール因子と列ベクトルの値との積に基づいて列オフセット値（α・VCOL(y) ）を生成し、入力画像と二次元分散行列(IDISP) とに基づいて、入力画像に存在する二次元分散のレベルを推定することにより第２のスケール因子（β）を決定し、第２のスケール因子と二次元分散行列の値との積に基づいて画素オフセット値（β・IDISP(x,y)）を生成し、列オフセット値及び画素オフセット値を適用することにより補正画像(IC') を生成する。【選択図】図５
2015212695.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法において、
処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列広がりを表わす列ベクトルとに基づいて、前記入力画像に存在する前記列広がりのレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成することを特徴とする方法。
【請求項２】
前記列オフセット値に基づいて部分的に補正された画像を生成し、
前記第２のスケール因子を前記部分的に補正された画像に基づいて生成することを特徴とする請求項１に記載の方法。
【請求項３】
前記列ベクトル及び前記二次元分散行列を、前記画素アレイ及び関連付けられた参照画素によって導入されるオフセットを表わす参照画像に基づいて決定することを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記補正画像Ic'を、Ic'＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式に基づいて生成し、
IB(x,y)は前記入力画像であり、αは前記第１のスケール因子であり、ICOL(x,y) は、前記列ベクトルをその行の各々に有する行列であり、βは前記第２のスケール因子であり、IDISP(x,y)は前記二次元分散行列であることを特徴とする請求項１乃至３のいずれかに記載の方法。
【請求項５】
前記列ベクトルは、第１の周囲温度で得られた第１の参照画像に基づく第１の列ベクトルと第２の周囲温度で得られた第２の参照画像に基づく第２の列ベクトルとの差を表わし、
前記二次元分散行列は、前記第１の参照画像に基づく第１の分散行列と前記第２の参照画像に基づく第２の分散行列との差を表わすことを特徴とする請求項１又は２に記載の方法。
【請求項６】
前記補正画像Ic'を以下の式に基づいて生成することを特徴とする請求項５に記載の方法。
【数１】
2015212695.tif 000029
【請求項７】
前記補正画像に基づいて少なくとも１つの列残余オフセット値を決定することを特徴とする請求項１乃至６のいずれかに記載の方法。
【請求項８】
前記少なくとも１つの列残余オフセット値を決定する際に、
前記補正画像の画素の少なくとも一部に関連付けられた重みを、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果に基づいて決定し、
前記少なくとも一部の画素毎に、隣り合う列の対応する行における画素値に関する差を計算し、
該差に前記重みを適用して重み付けされた差を統合し、前記少なくとも１つの列残余オフセット値を生成することを特徴とする請求項７に記載の方法。
【請求項９】
前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果は、近隣画素毎に計算された勾配値及び水平方向の分散値に基づいていることを特徴とする請求項８に記載の方法。
【請求項１０】
前記第１のスケール因子を決定する際に、
前記入力画像の行に沿って高域フィルタを適用し、
前記列ベクトルに前記高域フィルタを適用し、
フィルタ処理された画像の列平均値を決定し、
フィルタ処理された画像の列平均値と前記列ベクトルのフィルタ処理された値との差の最小化に基づいて、前記第１のスケール因子を決定することを特徴とする請求項１乃至９のいずれかに記載の方法。
【請求項１１】
前記第１のスケール因子αを以下の式に基づいて決定することを特徴とする請求項１乃至１０のいずれかに記載の方法。
【数２】
2015212695.tif 000030
【請求項１２】
前記第２のスケール因子を決定する際に、
前記入力画像の画素毎に、且つ前記二次元分散行列の要素毎に、少なくとも１つの隣接画素に基づいて勾配値を決定し、
前記入力画像の勾配値と前記二次元分散行列の勾配値との差の最小化に基づいて、前記第２のスケール因子を決定することを特徴とする請求項１乃至１１のいずれかに記載の方法。
【請求項１３】
前記第２のスケール因子βを以下の式に基づいて決定することを特徴とする請求項１乃至１２のいずれかに記載の方法。
【数３】
2015212695.tif 000031
【請求項１４】
前記列オフセット値及び前記画素オフセット値を更なる入力画像に適用することを特徴とする請求項１乃至１３のいずれかに記載の方法。
【請求項１５】
以下の最小化問題を解決することによりゲイン補正値γを決定することを特徴とする請求項１乃至１４のいずれかに記載の方法。
【数４】
2015212695.tif 000032
【請求項１６】
列ベクトル及び二次元分散行列を記憶するメモリと、
対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、
該入力画像と前記参照画素によって導入される列広がりを表わす列ベクトルとに基づいて、 前記入力画像に存在する前記列広がりのレベルを推定することにより第１のスケール因子を決定し、
該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、
前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、
該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、
前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成する
ように構成された処理デバイスと
を備えていることを特徴とする画像処理デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、赤外線画像センサの分野に関し、特には、赤外光を感知可能な画素の画素アレイによって取り込まれる画像のオフセット補正及びゲイン補正を行なう方法及びデバイスに関する。
【背景技術】
【０００２】
赤外線(IR)撮像の分野では、シャッタ又はシャッタのようなハードウェアを使用することなく、取り込まれた画像のオフセット補正を行うことは、マイクロボロメータのような非冷却式IR撮像デバイス、更には冷却式IR撮像デバイスに関する主な課題である。このような撮像デバイスは、画素アレイを形成するIR感知可能な検出器のアレイを備えている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−８８１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像のオフセット補正の原因である画素アレイの画素間の空間的な非均一性は、経時的に変わるだけでなく、温度に応じても変わる。この問題は一般に、撮像デバイスの内部のメカニカルシャッタを使用して対処されており、次に較正に使用され得る比較的一定のシーンの参照画像を得るためにシャッタが閉じている間に画像を周期的に取り込むことを含んでいる。しかしながら、更なる重量及びコスト、並びにシャッタの壊れ易さのようなシャッタを使用する欠点が複数ある。更にある適用では、シャッタが閉じて較正が行われている間に失われる時間のため、シャッタの使用は受け入れ難い。この較正期間中、シーンの画像を取り込むことができない。
【０００５】
オフセット補正を行うための画像処理技術が、シャッタの使用の代案として提案されている。しかしながら、既存の技術は複雑であり且つ／又は画像を適切に補正していない。従って、本技術分野では、赤外線画像のオフセット補正の改良された方法が必要である。
【０００６】
先行技術における一又は複数の必要性に少なくとも部分的に対処することが本明細書の実施形態の目的である。
【課題を解決するための手段】
【０００７】
一態様によれば、画像処理方法において、処理デバイスによって、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列広がりを表わす列ベクトルとに基づいて、前記入力画像に存在する前記列広がりのレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用して補正画像を生成することを特徴とする方法を提供する。
【０００８】
一実施形態によれば、前記方法では、前記列オフセット値に基づいて部分的に補正された画像を生成し、前記第２のスケール因子を前記部分的に補正された画像に基づいて生成する。
【０００９】
一実施形態によれば、前記方法では、前記列ベクトル及び前記二次元分散行列を、前記画素アレイ及び関連付けられた参照画素によって導入されるオフセットを表わす参照画像に基づいて決定する。
【００１０】
一実施形態によれば、前記方法では、前記補正画像Ic'を、Ic'＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式に基づいて生成し、IB(x,y)は前記入力画像であり、αは前記第１のスケール因子であり、ICOL(x,y) は、前記列ベクトルをその行の各々に有する行列であり、βは前記第２のスケール因子であり、IDISP(x,y)は前記二次元分散行列である。
【００１１】
一実施形態によれば、前記方法では、前記列ベクトルは、第１の周囲温度で得られた第１の参照画像に基づく第１の列ベクトルと第２の周囲温度で得られた第２の参照画像に基づく第２の列ベクトルとの差を表わし、前記二次元分散行列は、前記第１の参照画像に基づく第１の分散行列と前記第２の参照画像に基づく第２の分散行列との差を表わす。
【００１２】
一実施形態によれば、前記補正画像Ic'を以下の式に基づいて生成する。
【００１３】
【数１】
2015212695.tif 000003
【００１４】
一実施形態によれば、前記方法では、前記補正画像に基づいて少なくとも１つの列残余オフセット値を決定する。
【００１５】
一実施形態によれば、前記方法では、前記少なくとも１つの列残余オフセット値を決定する際に、前記補正画像の画素の少なくとも一部に関連付けられた重みを、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果に基づいて決定し、前記少なくとも一部の画素毎に、隣り合う列の対応する行における画素値に関する差を計算し、該差に前記重みを適用して重み付けされた差を統合し、前記少なくとも１つの列残余オフセット値を生成する。
【００１６】
一実施形態によれば、前記方法では、前記少なくとも一部の画素の各々の近隣画素の均一性の推定結果は、近隣画素毎に計算された勾配値及び水平方向の分散値に基づいている。
【００１７】
一実施形態によれば、前記方法では、前記第１のスケール因子を決定する際に、前記入力画像の行に沿って高域フィルタを適用し、前記列ベクトルに前記高域フィルタを適用し、フィルタ処理された画像の列平均値を決定し、フィルタ処理された画像の列平均値と前記列ベクトルのフィルタ処理された値との差の最小化に基づいて、前記第１のスケール因子を決定する。
【００１８】
一実施形態によれば、前記方法では、前記第１のスケール因子αを以下の式に基づいて決定する。
【００１９】
【数２】
2015212695.tif 000004
【００２０】
一実施形態によれば、前記方法では、前記第２のスケール因子を決定する際に、前記入力画像の画素毎に、且つ前記二次元分散行列の要素毎に、少なくとも１つの隣接画素に基づいて勾配値を決定し、前記入力画像の勾配値と前記二次元分散行列の勾配値との差の最小化に基づいて、前記第２のスケール因子を決定する。
【００２１】
一実施形態によれば、前記方法では、前記第２のスケール因子βを以下の式に基づいて決定する。
【００２２】
【数３】
2015212695.tif 000005
【００２３】
一実施形態によれば、前記方法では、前記列オフセット値及び前記画素オフセット値を更なる入力画像に適用する。
【００２４】
一実施形態によれば、前記方法では、以下の最小化問題を解決することによりゲイン補正値γを決定する。
【００２５】
【数４】
2015212695.tif 000006
【００２６】
更なる態様によれば、列ベクトル及び二次元分散行列を記憶するメモリと、対応する参照画素に夫々関連付けられた複数の画素列を有して赤外線を感知可能な画素アレイによって取り込まれる入力画像を受けて、該入力画像と前記参照画素によって導入される列広がりを表わす列ベクトルとに基づいて、 前記入力画像に存在する前記列広がりのレベルを推定することにより第１のスケール因子を決定し、該第１のスケール因子と前記列ベクトルの値との積に基づいて列オフセット値を生成し、前記入力画像と前記画素アレイによって導入される二次元分散を表わす二次元分散行列とに基づいて、前記入力画像に存在する前記二次元分散のレベルを推定することにより第２のスケール因子を決定し、該第２のスケール因子と前記二次元分散行列の値との積に基づいて画素オフセット値を生成し、前記列オフセット値及び前記画素オフセット値を適用することにより補正画像を生成するように構成された処理デバイスとを備えていることを特徴とする画像処理デバイスを提供する。
【００２７】
前述及び他の特徴及び利点は、添付図面を参照して限定ではなく例示として与えられる本実施形態の以下の詳細な記載から明らかになる。
【図面の簡単な説明】
【００２８】
【図１】例示的な実施形態に係る撮像デバイスを概略的に示す図である。
【図２】例示的な実施形態に応じて図１の撮像デバイスの画素アレイの一部をより詳細に概略的に示す図である。
【図３】例示的な実施形態に応じて図１の撮像デバイスの画像処理ブロックをより詳細に概略的に示す図である。
【図４】例示的な実施形態に係る画像処理方法の動作を示すフローチャートである。
【図５】更なる例示的な実施形態に係る画像処理方法の動作を示すフローチャートである。
【図６】例示的な実施形態に応じて列残余を除去する方法の動作を示すフローチャートである。
【図７】例示的な実施形態に応じて図６の動作をより詳細に示すフローチャートである。
【発明を実施するための形態】
【００２９】
以下の記載における実施形態の内の一部はマイクロボロメータタイプの画素アレイに関して述べられているが、本明細書に記載されている方法が、冷却式のデバイスを含む他のタイプのIR撮像デバイスに等しく適用され得ることは当業者にとって明らかである。
【００３０】
図１は、赤外光を感知可能な画素アレイ102 を備えたIR撮像デバイス100 を示している。例えば、ある実施形態では、画素アレイは、７〜13μm の波長の光のような長波赤外光を感知可能である。
【００３１】
図示を簡単にするために、12行及び12列に配置された144 の画素104 のみの画素アレイ102 が図１に示されている。他の実施形態では、画素アレイ102 は、あらゆる数の行及び列の画素を有し得る。一般的には、画素アレイは、例えば640 ×480 の画素、又は1024×768 の画素を有する。
【００３２】
画素アレイ102 の画素の各列は対応する参照構造体106 に関連付けられている。機能的には画素ではないが、この参照構造体は、撮像（又はアクティブ）画素104 との構造的な類似性によって「参照画素」と本明細書では称される。更に、出力ブロック108 が、画素アレイ102 の各列及び参照画素106 の各々に接続されており、生画像IBを与える。
【００３３】
制御回路110 が、例えば画素アレイ102 、参照画素106 及び出力ブロック108 に制御信号を与える。生画像IBは例えば画像処理ブロック112 に与えられ、画像処理ブロック112 は、生画像の画素にオフセット及びゲインを適用して補正画像ICを生成する。
【００３４】
図２は、撮像デバイスがマイクロボロメータである例に応じて、画素アレイ102 の２つの列C1，C2、これらの列に関連付けられた参照画素及び出力回路を更に詳細に示している。
【００３５】
画素アレイ102 の画素の各列は夫々の列ライン202 に接続されている。例えば、各画素104 は、対応する列ライン202 と接地ノードとの間に直列に接続されたスイッチ204 、トランジスタ206 及びボロメータ208 を有している。
【００３６】
ボロメータは本技術分野ではよく知られており、例えば基板の上方に掛け渡されてIR吸収物質の層を有する膜を含んでおり、膜は、ボロメータの抵抗が赤外線の存在に関連した膜の温度上昇によって変更する特性を有する。
【００３７】
各行の画素のスイッチ204 は例えば共通の選択信号によって制御される。例えば、図２では、第１の行の画素が制御信号S1によって制御されて、第２の行の画素が制御信号S2によって制御される。
【００３８】
トランジスタ206 は、ボロメータの端部の一方で一定電圧を誘導して他方の端部を接地することにより、アクティブボロメータの電位降下を制御するためのバイアス電圧VFIDをそのゲートで受けるNMOSトランジスタである。
【００３９】
各列に関連付けられた参照画素106 は、対応する列ライン202 とスキミング電圧VSK との間で直列に接続されたトランジスタ210 及びブラインドボロメータ212 を有している。スキミング電圧VSK によって、ブラインドボロメータの一端部で一定電圧を誘導することにより、アクティブ画素及び参照画素によって形成されたボロメータブリッジの最も高い電位が設定される。トランジスタ210 は例えば、ブラインドボロメータの他端部で一定電圧を誘導することにより、ブラインドボロメータの電位降下を制御するためのバイアス電圧GSK をそのゲートで受けるPMOSトランジスタである。
【００４０】
ブラインドボロメータ212 は、例えば画素アレイのアクティブボロメータ208 と同様の構造を有しているが、例えば反射壁から形成されたシールドによって及び／又は意図的なヒートシンキングによって、例えば基板に高熱伝導性を与えてボロメータを例えば基板と直接接触させて形成することによって画像シーンからの赤外線を感知しないように構成されている。
【００４１】
各列ライン202 は、図１の出力ブロック108 の出力回路を形成する部分に更に接続されている。図２の例では、出力回路は夫々、対応する列ライン202 に接続された負入力端子と基準電圧VBUSを受ける正入力端子とを有する容量性トランスインピーダンス増幅器（CTIA）214 を備えている。増幅器214 の出力は、列の出力電圧Voutを与える。コンデンサ216 及びスイッチ218 が、増幅器214 の負入力端子と出力端子との間に互いに並列に接続されている。
【００４２】
画素アレイ102 の読取り操作中に、夫々の行の画素は、コンデンサ216 の電圧をリセットすべく出力ブロック108 の各出力回路のスイッチ218 を作動及び停止することにより、且つ読み取られるべき行の適切な制御信号S1，S2などを有効にすることにより例えば一度に１つずつ読み出される。参照画素の電流ICOMP とアクティブ画素の電流IACとの差が、有限積分時間にコンデンサ216 によって統合されて、画素値を表わす出力電圧Voutが生成される。
【００４３】
図３は、例示的な実施形態に応じて図１の画像処理ブロック112 をより詳細に示している。
【００４４】
画像処理ブロック112 の機能は例えばソフトウェアで実行され、画像処理ブロック112 は、命令メモリ304 に記憶された命令の制御下の一又は複数のプロセッサを有する処理デバイス302 を備えている。他の実施形態では、画像処理ブロック112 の機能は専用のハードウェアによって少なくとも部分的に実行され得る。このような場合には、処理デバイス302 は例えばASIC（特定用途向け集積回路）又はFPGA（フィールドプログラマブルゲートアレイ）を有しており、命令メモリ304 が省略されてもよい。
【００４５】
処理デバイス302 は生入力画像IBを受けて補正画像ICを生成し、補正画像は、例えば撮像デバイスのディスプレイ（不図示）に与えられる。処理デバイス302 はデータメモリ306 に更に接続されており、データメモリ306 は、画素アレイ102 によって導入された構造的な列広がりを表わす列ベクトルVCOLと、画素アレイ102 によって導入された構造的な二次元非列分散を表わす二次元分散行列IDISP とを記憶する。列広がりは例えば主に、各列の参照画素の行が一般的には完全に均一ではないけれども、各列の参照画素106 を使用することに起因する。二次元非列分散は、例えば技術的処理分散に起因する画素アレイのアクティブボロメータ間の局所的な物理的及び／又は構造的な差によって主に生じる。データメモリ306 は例えば、以下に更に詳細に述べるゲイン行列を更に記憶する。
【００４６】
図４は、例示的な実施形態に係る画像処理方法の動作を示すフローチャートである。この画像処理方法は、例えば上記の画像処理ブロック112 によって実行される。
【００４７】
生画像IBが図１の画素アレイ102 によって取り込まれ、画素アレイは、画素アレイの各列が対応する参照画素に関連付けられていると仮定する。
【００４８】
更に、列ベクトルVCOL及び二次元分散行列IDISP が利用可能であると仮定する。列ベクトルVCOL及び二次元分散行列IDISP を例えば、撮像デバイスの初期設定段階中に取り込まれる単一の参照画像IREF(x,y) に基づいて生成する。参照画像は、例えば黒体源又は均一な放射性シーンの前で制御温度で取り込まれる画像である。主に一時的なノイズを取り除くために、参照画像は、例えば約50フレームのような複数のフレームを平均することにより得られる。この参照画像IREF(x,y) は、例えば以下の式に従って構造的な列要素及び二次元分散要素を有するとみなされる。
【００４９】
【数５】
2015212695.tif 000007
【００５０】
但し、ICOL(x,y) ：画素アレイの列間の参照列広がりを表わす行列
IDISP(x,y)：画素アレイの画素毎の参照二次元分散を表わす二次元分散行列
【００５１】
行列ICOLは、画像の列の数ｎに等しい長さを有する列ベクトルVCOLによって表され得る。例えば、行列ICOL(x,y) は画像の行の数に等しい数ｍの行を有しており、各行は列ベクトルVCOLを有する。列ベクトルVCOLの生成には例えば、参照画像IREFを処理して列要素を抽出することが含まれる。列要素は例えば、列毎の列の画素値の平均値に等しい。二次元分散行列IDISP の生成には例えば、参照画像の各画素値から対応する列広がり値VCOL(x) を減算することが含まれる。
【００５２】
図４の第１のステップ401 では、生画像IBに関して、生画像IBの列広がりVCOLのレベルを表わすスケール因子αを決定する。一実施形態では、スケール因子αの値を、生画像IBの列要素ICOLの量の最小化に基づいて決定する。スケール因子αの値を以下の最小化関数として表現することができる。
【００５３】
【数６】
2015212695.tif 000008
【００５４】
上記に示されているように、列ベクトルVCOL(x) が列毎に単一の値を定めるので、行列ICOL(x,y) は列ベクトルVCOL(x) として表され得る。この最小化問題の解決を容易にして計算を単純化するために、生画像IBを、例えば各列の平均をとることによりベクトルの形態に変換する。更に高域フィルタを、例えば画像に水平方向に、言い換えれば行の方向に適用し、更に列ベクトルVCOL(x) に適用する。その後、最小化問題を、例えば変換された画像の列の平均値に基づいて以下の通り計算する。
【００５５】
【数７】
2015212695.tif 000009
【００５６】
但し、T() ：列ベクトルVCOL及び入力画像IB(x,y) に適用される高域フィルタ
ｍ：画像の行の数
【００５７】
例えば、フィルタ関数はT(X)＝X*hpとして、言い換えれば行列Ｘの水平方向の高域フィルタhpとの畳込みとして定められる。一例では、フィルタ関数hpは、ｘ方向の寸法に沿ってローカルウィンドウ内の中心画素に適用される係数［0.0456 -0.0288 -0.2956 0.5575 -0.2956 -0.0288 0.0456］によって定められる。より一般的には、フィルタは、例えば画像の垂直方向の縁部を鮮鋭化する、言い換えれば列ノイズを抽出するように構成された高域フィルタである。
【００５８】
最小化問題を、例えばスケール因子αに関して以下の直接解法に基づいて解決する。
【００５９】
【数８】
2015212695.tif 000010
【００６０】
言い換えれば、スケール因子αの決定には、例えば高域フィルタを生画像にその行に沿って適用して更に参照列ベクトルに適用し、フィルタ処理された画像の列平均値を決定し、その結果、参照列ベクトルと同一の大きさのベクトルを得て、その後、２つの列ベクトル間の差、つまりフィルタ処理された画像の列平均値とフィルタ処理された列ベクトルの列平均値との差の最小化としてスケール因子を決定することが含まれる。
【００６１】
以下に更に詳細に述べるように、スケール因子αにより、画像に関して列オフセット値α・ICOL(x,y) を決定することができる。
【００６２】
図４を再度参照すると、その後のステップ402 では、生画像IBに関して生画像の参照二次元分散行列IDISP の寄与レベルを表すスケール因子βを決定する。
【００６３】
スケール因子βを決定するために、取り込まれる画像は、例えば自然シーンの統計値を有する自然画像であり、画素間の局所的に高い変化量、つまり画素とその近隣画素との変化量が一定の二次元分散の結果であると仮定する。スケール因子βの値を、例えば全体画像に亘るこの分散の影響を減らすように決定する。採用された手法では、例えば以下の式に基づいて画像内の全変化量(TV)を最小化する。
【００６４】
【数９】
2015212695.tif 000011
【００６５】
但し、▽()は画素勾配値である。最小化問題の適した近似法として、スケール因子βを例えば以下の式の最小化として処理する。
【００６６】
【数１０】
2015212695.tif 000012
【００６７】
このような最小化問題を、例えばスケール因子βに関する以下の直接解法に基づいて解決する。
【００６８】
【数１１】
2015212695.tif 000013
【００６９】
但し、▽x ：画像の水平方向の、言い換えれば各行に沿った隣接画素間の画素勾配値
▽y ：画像の垂直方向の、言い換えれば各列に沿った隣接画素間の画素勾配値
【００７０】
従って、ステップ402 には、生入力画像の画素毎に、且つ参照二次元分散行列の要素毎に少なくとも１つの隣接画素に基づいて勾配値を決定して、生入力画像の勾配値と参照二次元分散行列の勾配値との差の最小化に基づいてスケール因子βを決定することが含まれる。
【００７１】
この例では、スケール因子βを生画像IBに基づいて決定する。しかしながら、他の実施形態では、列オフセット値α・ICOL(x,y) を除去した後にスケール因子βを画像に基づいて決定することができる。従って、スケール因子βに関する直接解法は以下のようになる。
【００７２】
【数１２】
2015212695.tif 000014
【００７３】
但し、ICC ：各画素(x,y) が例えばIcc(x,y)＝IB(x,y)−α×ICOL(x,y)の式に基づいて補正された画像
ICOL(x,y) ：列ベクトルVCOL(x) をその行の各々に有する行列
【００７４】
ある実施形態では、ステップ402 の計算の際に、上側閾値未満の画素勾配値のみを考慮する。実際には、例えば、非常に高い勾配値が画像内のシーンに関する縁部に相当すると仮定する。例えば、この上側閾値を、参照二次元分散行列IDISP に関して計算された最も高い勾配値の約３倍であるように選択する。
【００７５】
その後のステップ403 では、α・ICOL(x,y) に等しい列オフセット値と、β・IDISP(x,y)に等しい画素オフセット値とに基づいて補正画像IC' を生成する。例えば、補正画像をIc' ＝IB(x,y)−αICOL(x,y)−βIDISP(x,y)の式を用いて計算する。
【００７６】
【数１３】
2015212695.tif 000015
【００７７】
ある実施形態では、ステップ401 〜ステップ403 で十分なオフセット補正を行ってもよく、この場合、補正画像IC' を図１の画像処理ブロック112 の出力で画像ICとして与える。他の実施形態では、例えば追加のステップ404 及び／又は追加のステップ405 を続いて行って、最終画像ICを生成する。
【００７８】
ステップ404 では、例えば、補正画像IC' から画像補正係数γを減算して、その結果の各画素値にゲイン行列を乗算する前に、補正画像IC' から画像補正係数γを計算することによりゲイン補正を補正画像に適用する。例えば、以下の最小化問題を解決することによりこのゲイン補正値である画像補正係数γを得る。
【００７９】
【数１４】
2015212695.tif 000016
【００８０】
従って、画像補正係数γに関する直接解法が以下のようになる。
【００８１】
【数１５】
2015212695.tif 000017
【００８２】
このようなゲイン行列を、例えば当業者にとって通常のことであるように、黒体源のような均一源の前で２つの異なる温度で取り込まれた２つの参照画像間の差から決定する。
【００８３】
その後、補正画像のゲイン行列との乗算に基づいて補正画像IC" を生成する。例えば、補正画像IC" を、IC"＝（IC'−γ）×Gainの式を用いて計算する。
【００８４】
ステップ405 では、例えば画像に残る列残余及び／又は分散残余のようなオフセット残余を除去する。
【００８５】
図５は、更なる例示的な実施形態に係る画像のオフセット補正の方法のステップを示すフローチャートである。
【００８６】
処理ブロック（αを計算する）502 に表されているように、例えば入力画像IB及び列ベクトルVCOLを使用して、スケール因子αを生成する。その後、列ベクトルVCOLにスケール因子αを乗算して、列オフセット値α・VCOL(y) を生成する。その後、これらのオフセット値を生画像IBから減算して列広がり補正画像ICCを得る。
【００８７】
処理ブロック（βを計算する）504 に表されているように、例えば列広がり補正画像ICC 及び二次元分散行列IDISP を使用して、スケール因子βを生成する。次に、二次元分散行列IDISP にスケール因子βを乗算して、画素オフセット値β・IDISP(x,y)を生成する。その後、これらのオフセット値を列広がり補正画像ICC から減算して補正画像IC' を生成する。
【００８８】
更に、列オフセット値α・VCOL(y) 及び画素オフセット値β・IDISP(x,y)を共に加算して、参照画像オフセット値（RIオフセット値）506 を得る。
【００８９】
図５には示されていないが、その後、図４のステップ404 に関して上述されているようなゲイン補正を補正画像IC' に任意に適用して、画像補正係数γを画像に適用する。
【００９０】
処理ブロック508 に表わされているように、その後、列残余補正値（CRオフセット値）510 及び列残余補正画像ICR を生成するために、例えば補正画像IC' に基づいて列残余補正を行う。実際には、各列の回路に関連付けられたあるオフセットが画像に存在し続けて、画像中で目に見える垂直方向のストライプになる可能性がある。例えば列残余補正を行ってこのような列アーティファクトを除去する。
【００９１】
処理ブロック512 によって表わされているように、その後、例えば列残余補正画像ICR に基づいて二次元分散残余補正を行い、二次元分散残余オフセット値（DRオフセット値）514 を生成する。分散残余補正を、例えばエッジを保存してノイズを除去する平滑化フィルタ、例えば異方性拡散フィルタを用いて行う。
【００９２】
図５の例では、参照画像オフセット値506 、列残余オフセット値510 及び分散残余オフセット値514 を共に合算して、画像に適用されるべき合算されたオフセット値SOV(x,y)を得る。その後、これらのオフセット値SOV(x,y)を生画像IBから減算する。しかしながら、合算されたオフセット値SOV(x,y)を決定することによる利点は、このようなオフセット値がこれらのオフセット値を生成すべく使用される画像とは異なる画像に適用されてもよいということである。例えば、生画像IBが撮像デバイスによって取り込まれたビデオシーケンスのフレームであるという場合、例えばシーケンス中のその後の画像からオフセット値SOV(x,y)を減算する。このため、取り込まれた生画像と利用可能な補正画像との時間遅延が低減される。
【００９３】
他の実施形態では、参照画像オフセット値506 を現在の生画像又は後続の生画像に適用し、その結果得られた補正画像IC' にゲイン補正を行い、列残余オフセット値及び分散残余オフセット値を例えばゲイン補正画像に適用する。
【００９４】
図５のステップ508 で行われる列残余補正を、図６及び７のフローチャートを参照して更に詳細に述べる。
【００９５】
図６は、画像に、例えば上記の処理によって得られる補正画像ICに適用されるべき列残余オフセット値を計算する方法のステップを示すフローチャートである。これらのステップを、例えば上記に述べた図３の画像処理ブロック112 によって実行する。
【００９６】
第１のステップ601 では、画素の近隣画素によって定められた画像の局所ゾーンの均一性の推定結果に基づいて、画像の各列の画素毎に重みwx,yを計算する。列間の差異が構造的な（一定の）列残余によるものである可能性が高くなるにつれて、均一性が高くなり、画素に関連付けられた重みが大きくなる。例えば、その計算は、対象の画素を含む９×３の近隣画素に画素毎に基づいており、言い換えれば、対象の画素の左側及び右側の４つまでの画素と対象の画素の上下の１つまでの画素とにより定められた矩形状のゾーンに画素毎に基づいている。例えば各画素の近隣画素に関して局所勾配及び水平方向の局所分散を計算することにより均一性を推定する。ある実施形態では、より詳細には以下に述べるように、低域フィルタによって列を垂直方向にフィルタ処理した後、重みを画像に基づいて計算する。
【００９７】
その後のステップ602 では、対応する重みによって各列と次の列との平均差を重み付けして、列毎に対応する列／列オフセット値▽Colw(x) を得る。例えば、列／列オフセットベクトル▽Colw(x)を以下の式に基づいて決定する。
【００９８】
【数１６】
2015212695.tif 000018
【００９９】
但し、wx,y：上記のステップ601 で計算された重み
Ix+1,y：次の列x+1の位置ｙにおける画素値
Ix,y：現在の列ｘの位置ｙにおける画素値
言い換えれば、各列／列オフセット値▽Colw(x) は、列ｘの画素値と列x+1 の画素値との重み付けされた差の平均値として決定される。行の最後の列オフセット値は、例えば０に設定される。
【０１００】
更なるステップとして、列／列オフセットが単に列と次の列との前方オフセットを表わすので、オフセットベクトルの各項を、例えば後方に統合する。つまり最後から２番目の項から始めて第１の項に達するまで各列オフセット値を前の列オフセット値に累積的に加算することにより統合し、OffCol(n)＝０及びOffCol(x−1)＝OffCol(x)＋▽Colw(x−1)の式を用いて最終列オフセット項OffCol(x) を得る。
【０１０１】
これらのオフセット値は例えば、図５に510 が付された列残余オフセット値を与え、このような列残余オフセット値は例えば他のオフセット値と合算されて、生画像IB又はその後の生画像から減算されるべき合算されたオフセット値SOV(x,y)を得る。或いは、その後のステップ603 で、クリアな画像ICR を生成するために列広がりVCOL及び二次元分散行列IDISPに基づいて既に補正されている補正画像IC' にオフセット値を適用する。更に図６の破線の矢印によって表わされているように、ある実施形態では、より構造的な列残余を除去するために、ステップ601 及びステップ602 を、生成されたクリアな画像に基づいて一又は複数回繰り返す。
【０１０２】
図７は、例示的な実施形態に応じて図６のステップをより詳細に示すフローチャートである。
【０１０３】
図示されているように、画素が存在するゾーンの均一性に基づいて重みを計算する図６のステップ601 は、例えばサブステップ701 〜サブステップ704 を有する。
【０１０４】
サブステップ701 には、画像の列に沿って低域フィルタを垂直方向に適用することが含まれる。このような低域フィルタを適用することにより、例えば画像センサに固有の固定パターンノイズ（FPN ）の影響を減らす。このフィルタ処理ステップは任意である。フィルタは、例えばカーネルサイズwG及びその標準偏差σにより定められるガウスフィルタである。一例では、フィルタは９のカーネルサイズwG及び２の標準偏差を有する。
【０１０５】
【数１７】
2015212695.tif 000019
【０１０６】
【数１８】
2015212695.tif 000020
【０１０７】
但し、Gx及びGy：夫々ｘ及びｙのソーベル演算子
Ｉ：例えばサブステップ701 でフィルタ処理された後の画像
【０１０８】
【数１９】
2015212695.tif 000021
【０１０９】
【数２０】
2015212695.tif 000022
【０１１０】
サブステップ703 では、例えば以下の式に基づいて水平方向の局所分散の値及び局所勾配の値の各々に水平方向の形態的拡張を行う。
【０１１１】
【数２１】
2015212695.tif 000023
【０１１２】
【数２２】
2015212695.tif 000024
【０１１３】
水平方向の形態的拡張は、シーンの高コントラストの垂直構造体の存在下で高い水平方向の勾配値及び／又は高い分散値を有するゾーンの影響を水平方向に近隣画素まで広げることにより、（通常光学収差によって引き起こされる）重み計算へのボケの影響を減らすという効果を有する。
【０１１４】
【数２３】
2015212695.tif 000025
【０１１５】
【数２４】
2015212695.tif 000026
【０１１６】
或いは、勾配値及び分散値にスカラを適用することにより勾配値及び分散値に異なる影響を与えることができる。例えば、以下の式によって重みを決定する。
【０１１７】
【数２５】
2015212695.tif 000027
【０１１８】
但し、ａ及びｂはスカラであり、例えばａ＋ｂ＝１である。例えば、ｂをａより大きいように、例えば５倍以上大きいように選択することにより、水平方向の分散影響を適用することができる。
【０１１９】
図７を再度参照すると、重みwx,yは重みマップ705 を形成する。ある実施形態では、重みを画像の全ての画素毎に計算する一方、他の実施形態では、計算時間を短縮するために、ある画素のみに、例えば画像の１行おき、２行おき又は３行おきの画素に重みを加えるようにサブステップ701 〜サブステップ704 を適合することが可能である。
【０１２０】
その後のステップは図６のステップ602 であり、このステップでは、列／列オフセット値▽Colw(x) を例えば上記に記載の以下に示す式に基づいて決定する。
【０１２１】
【数２６】
2015212695.tif 000028
【０１２２】
項（Ix+1,y−Ix,y）は、列ｘと列x+1 との前方差分であり、例えば、図７のステップ706 で補正画像IC' に基づいて計算される。ある実施形態では、ある閾値未満の前方差分のみが、所与の列の平均を計算する際に対象となる。実際、ある閾値を超えた値が、除去されるべきでない画像シーンの垂直方向の縁部を表わすとみなされ得る。例えば一列と次の列との最大予想列差より僅かに大きいように閾値を選択する。その後、オフセット値OffCol(x) を、上記に説明されているように例えば列／列オフセット値▽Colw(x) を統合することにより計算する。
【０１２３】
上述したように、ステップ603 でベクトルのオフセット値OffCol(x) を例えば補正画像IC' から減算して、列アーティファクトが画像から取り除かれたクリアな画像ICR を生成するか、又は、オフセット値を図５に表わされているように他のオフセット値に加算することができる。
【０１２４】
本明細書に述べられているようなオフセット補正方法の利点は、メカニカルシャッタの使用を必要とせず、非常に効果的であると分かっていることである。
【０１２５】
特に、本明細書に述べられているタイプの画素アレイでは、温度による画素及び参照画素の変化量がアレニウス式に従い、活性化エネルギーが全ての画素で基本的には同一であり、基本的には全ての参照画素で同一であり、画素間分散が各画素について記述するアレニウス式の一定の前因子内に完全に又は少なくとも基本的に含まれているとみなされ得ることを意味すると本発明者らは見出した。従って、画素アレイによって導入されるオフセットを一次元要素及び二次元要素に分解して、スケール因子α及びスケール因子βを誘導してこれらの要素を表わすことにより、効果的なオフセット補正が、メカニカルシャッタを使用することなく達成され得る。
【０１２６】
このように少なくとも１つの例示的な実施形態について述べているが、当業者は様々な変更、調整及び改良を容易に想到する。
【０１２７】
例えば、マイクロボロメータの具体例が図２に関して述べられているが、本明細書に述べられている方法はマイクロボロメータの様々な他の実施、又は他のタイプのIR撮像デバイスに適用され得ることは当業者にとって明らかである。  
【０１２８】
更に、様々な実施形態に関して述べられている様々なステップが、他の実施形態では、それらの有効性に影響を与えることなく異なる順序で行われ得ることは当業者にとって明らかである。例えば、スケール因子α及びスケール因子βを決定する順序を変えることができる。
【図１】
2015212695.tif 000033
【図２】
2015212695.tif 000034
【図３】
2015212695.tif 000035
【図４】
2015212695.tif 000036
【図５】
2015212695.tif 000037
【図６】
2015212695.tif 000038
【図７】
2015212695.tif 000039