(57)【要約】  画像処理装置10は、処理対象画像の行方向の解像度をその解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成部11と、複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成部12と、差分画像の所定の列の画素値の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する算出部13とを備える。
2018087806.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像の行方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成し、
前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成し、
前記差分画像の所定の列の画素値の統計量を用いて前記処理対象画像の前記所定の列の画素値の補正量を算出する
ことを特徴とする画像処理方法。
【請求項２】
処理対象画像に対して積分画像が使用される移動平均フィルタを行方向に適用することによって前記処理対象画像の行方向の解像度を変更する
請求項１記載の画像処理方法。
【請求項３】
含まれている周波数成分の周波数帯域がそれぞれ異なる複数の差分画像からそれぞれ算出された所定の列に関する複数の統計量を用いて処理対象画像の前記所定の列の画素値の補正量を算出する
請求項１または請求項２記載の画像処理方法。
【請求項４】
複数の統計量のうち所定の条件を満たす統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する
請求項３記載の画像処理方法。
【請求項５】
処理対象画像は、動画を構成する複数のフレームのうちの１つのフレームであり、
前記処理対象画像の直前のフレームに対して算出された補正量と複数の統計量とを用いて前記処理対象画像の所定の列の画素値の補正量を算出する
請求項３または請求項４記載の画像処理方法。
【請求項６】
補正量を用いて処理対象画像の所定の列の画素値を補正し、
補正された前記処理対象画像を出力する
請求項１から請求項５のうちのいずれか１項に記載の画像処理方法。
【請求項７】
処理対象画像の行方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成部と、
前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成部と、
前記差分画像の所定の列の画素値の統計量を用いて前記処理対象画像の前記所定の列の画素値の補正量を算出する算出部とを備える
ことを特徴とする画像処理装置。
【請求項８】
第１生成部は、処理対象画像に対して積分画像が使用される移動平均フィルタを行方向に適用することによって前記処理対象画像の行方向の解像度を変更する
請求項７記載の画像処理装置。
【請求項９】
コンピュータに、
処理対象画像の行方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成処理、
前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成処理、および
前記差分画像の所定の列の画素値の統計量を用いて前記処理対象画像の前記所定の列の画素値の補正量を算出する算出処理
を実行させるための画像処理プログラム。
【請求項１０】
コンピュータに、
処理対象画像に対して積分画像が使用される移動平均フィルタを行方向に適用することによって前記処理対象画像の行方向の解像度を変更する変更処理を実行させる
請求項９記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
画像に含まれるノイズを抑圧する技術は、撮影された画像において撮影物がより鮮明に再現されるためだけでなく、様々な画像処理におけるノイズ強調を防ぐためにも使用される。すなわち、ノイズ抑圧技術は、画像処理技術の中でも特に不可欠な技術である。【０００３】
ノイズ抑圧技術の一種に、撮像素子間の感度のばらつき(non-uniformity)が原因で発生する固定パターンノイズ(Fixed Pattern Noise;FPN) を抑圧する処理である、Non-Uniformity Correction(NUC)と呼ばれる補正処理がある。【０００４】
広く用いられているNUC では、カメラ内のセンサの前にシャッタが実装され、周期的にシャッタ面が撮影されることによってFPN が推定され、推定されたFPN が撮影された画像から差し引かれる。すなわち、シャッタ面の画素値として設計値等の既知の値が使用されると、シャッタ面が一度撮影されるだけで、FPN が高精度に推定される。【０００５】
しかし、上記の方法には、シャッタが閉じられる数フレームの間にシーン情報が全く得られないという問題、機械的な機構の実装による筐体の大型化の問題、製造コストの増加の問題、および故障の増加の問題がある。従って、撮影された画像のみを用いてFPN を推定する手法の研究および開発が行われている。【０００６】
特許文献１には、撮影された画像のみを用いてFPN を推定する手法の例が記載されている。特許文献１に記載されている手法は、画像の列方向に発生するFPN 、または行方向に発生するFPN を、撮影された１枚の画像のみを用いて推定し、推定されたFPN を抑圧する手法である。【０００７】
列ノイズは、画像の列方向に同じオフセット値を有するノイズである。シーン情報の真の値をx 、撮影された画像の画素値をy とすると、列ノイズを含む画像内の位置(i,j) における画素値y(i,j)は、画像のj 列におけるオフセット値βcol(j)を用いて、以下の式（１）で表される。【０００８】
y(i,j) = x(i,j) + βcol(j)  ・・・式（１）【０００９】
なお、行ノイズは、列ノイズの定義における「列」が「行」に読み替えられることによって表現される。すなわち、行ノイズを含む画像内の位置(i,j) における画素値y(i,j)は、画像のi 行におけるオフセット値βrow(i)を用いて、以下の式（２）で表される。【００１０】
y(i,j) = x(i,j) + βrow(i)  ・・・式（２）【００１１】
特許文献１に記載されている手法は、列ごとのノイズの抑圧処理をそれぞれ独立に実行する。最初に、入力画像の処理対象列が選択される。次に、処理対象列内の任意の１行が選択され、行方向の隣接画素と中央の画素との差分値が計算される。中央の画素と隣接画素との差分値の計算が、処理対象列の全ての行に渡って繰り返し実行される。【００１２】
次いで、特許文献１に記載されている手法は、得られた差分値の統計量を求め、求められた統計量を処理対象列における列ノイズと推定する。求められる統計量は、例えば中央値である。【００１３】
特許文献１に記載されている手法は、上記の処理を入力画像の全ての列に渡って繰り返し実行する。最後に、特許文献１に記載されている手法は、入力画像から推定された列ノイズを差し引くことによって対象列の画像を補正する。全ての列の画像が補正された後、列ノイズの抑圧処理は終了する。【００１４】
また、特許文献１に記載されている手法は、差分計算を行う対象の隣接画素の参照範囲（以下、参照画素範囲という。）を変化させながら上記の処理を繰り返し実行することによって、様々な周波数の列ノイズを抑圧できる。【００１５】
なお、特許文献１に記載されている手法が実行する行ノイズの抑圧処理は、「列」が「行」に、「行」が「列」にそれぞれ読み替えられた上記の列ノイズの抑圧処理に相当する。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】米国特許第８２０８０２６号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかし、特許文献１に記載されている手法が使用された場合、参照画素範囲が拡大すると画素値の差分の計算コストが増加する。また、参照画素範囲が拡大すると、列間の画素値の差分に関するヒストグラムの生成コスト、および行間の画素値の差分に関するヒストグラムの生成コストが増加する。【００１８】
さらに、様々な周波数の列ノイズおよび行ノイズを効果的に除去するためには、参照画素範囲を変えながらノイズの推定処理および抑圧処理を繰り返し実行することが求められる。すなわち、ノイズの除去全体に掛かる計算コストが増加する。【００１９】
よって、より低い計算コストで様々な周波数の列ノイズおよび行ノイズを効果的に抑圧できる技術が求められている。【００２０】
［発明の目的］
そこで、本発明は、上述した課題を解決する、低演算コストで様々な周波数の列ノイズを抑圧できる画像処理方法、画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２１】
本発明による画像処理方法は、処理対象画像の行方向の解像度をその解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成し、複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成し、差分画像の所定の列の画素値の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出することを特徴とする。【００２２】
本発明による画像処理装置は、処理対象画像の行方向の解像度をその解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成部と、複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成部と、差分画像の所定の列の画素値の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する算出部とを備えることを特徴とする。【００２３】
本発明による画像処理プログラムは、コンピュータに、処理対象画像の行方向の解像度をその解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成処理、複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成処理、および差分画像の所定の列の画素値の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する算出処理を実行させることを特徴とする。
【発明の効果】
【００２４】
本発明によれば、低演算コストで様々な周波数の列ノイズを抑圧できる。
【図面の簡単な説明】
【００２５】
【図１】本発明による画像処理装置の第１の実施形態の構成例を示すブロック図である。
【図２】第１の実施形態の画像処理部1200の構成例を示すブロック図である。
【図３】第１の実施形態の周波数成分分解部1210の構成例を示すブロック図である。
【図４】第１の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。
【図５】ヒストグラム生成部1221が生成するヒストグラムの例を示す説明図である。
【図６】第１の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。
【図７】本発明による画像処理装置の第２の実施形態の構成例を示すブロック図である。
【図８】第２の実施形態の画像処理部1200の構成例を示すブロック図である。
【図９】第２の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。
【図１０】第２の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。
【図１１】本発明による画像処理装置の第３の実施形態の構成例を示すブロック図である。
【図１２】第３の実施形態の画像処理部1200の構成例を示すブロック図である。
【図１３】第３の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。
【図１４】第３の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。
【図１５】本発明による画像処理装置の概要を示すブロック図である。
【発明を実施するための形態】
【００２６】
＜第１の実施形態＞
［構成の説明］
以下、本発明の実施形態を、図面を参照して説明する。
【００２７】
（第１の実施形態の画像処理装置1000）
図１は、本発明による画像処理装置の第１の実施形態の構成例を示すブロック図である。図１に示すように、本実施形態の画像処理装置1000は、画像入力部1100と、画像処理部1200と、画像出力部1300とを備える。
【００２８】
画像入力部1100は、処理対象の画像のデータを画像処理部1200に入力する機能を有する。画像入力部1100は、例えばカメラやスキャナ等の撮像機器である。また、画像入力部1100は、撮像機器により撮影された画像のデータが蓄積されている画像データベースでもよい。
【００２９】
また、画像入力部1100は、撮像機器と、撮像機器と通信ネットワークを介して通信可能に接続された画像データベースとで構成されていてもよい。画像入力部1100は、原画像のデータを画像処理部1200に入力する。
【００３０】
画像処理部1200は、入力される原画像のデータに対して固定パターンノイズ抑圧処理を行う機能を有する。画像処理部1200は、固定パターンノイズ抑圧処理が実行されたことによって生成されたノイズ抑圧後の画像を画像出力部1300に入力する。
【００３１】
画像出力部1300は、補正された原画像のデータを出力する機能を有する。画像出力部1300は、例えばディスプレイやプリンタ等の出力機器である。また、画像出力部1300は、画像のデータを保持するハードディスクやメモリカード等の記憶媒体である。
【００３２】
また、画像出力部1300は、出力機器と、出力機器と通信ネットワークを介して通信可能に接続された画像のデータを保持する記憶媒体とで構成されていてもよい。画像出力部1300は、画像の表示、画像の蓄積、または画像の伝送を行う。
【００３３】
図２は、第１の実施形態の画像処理部1200の構成例を示すブロック図である。図２に示すように、本実施形態の画像処理部1200は、周波数成分分解部1210と、列ノイズ補正量算出部1220と、列ノイズ補正部1230とを含む。
【００３４】
周波数成分分解部1210は、画像入力部1100から入力された入力画像に含まれている周波数成分を周波数帯域（以下、帯域ともいう。）ごとに分解する機能を有する。
【００３５】
周波数成分分解部1210は、例えば入力画像に含まれている水平方向の周波数成分に対して、周波数成分を少なくとも２つの帯域に分解するためのバンドパスフィルタを適用する。周波数成分分解部1210は、バンドパスフィルタの適用により得られた帯域ごとの周波数成分の画像を列ノイズ補正量算出部1220に入力する。
【００３６】
列ノイズ補正量算出部1220は、周波数成分分解部1210から入力された入力画像に含まれている帯域ごとに分解された周波数成分の画像の画素値を用いて、列ノイズ補正量を帯域ごとにそれぞれ算出する機能を有する。列ノイズ補正量算出部1220は、算出された列ノイズ補正量を列ノイズ補正部1230に入力する。
【００３７】
列ノイズ補正部1230は、入力画像と列ノイズ補正量算出部1220から入力された列ノイズ補正量とを用いて、入力画像を補正する機能を有する。列ノイズ補正部1230は、補正された入力画像を出力画像として画像出力部1300に入力する。
【００３８】
以下、本実施形態の画像処理部1200の各構成要素の構成および動作を説明する。
【００３９】
（周波数成分分解部1210）
図３は、第１の実施形態の周波数成分分解部1210の構成例を示すブロック図である。図３に示すように、本実施形態の周波数成分分解部1210は、多重解像度画像生成部1211と、差分画像生成部1212とを有する。
【００４０】
（多重解像度画像生成部1211）
多重解像度画像生成部1211は、入力画像を基に解像度が異なる複数の画像を生成する機能を有する。多重解像度画像生成部1211は、入力画像に対して、例えば低域通過フィルタを適用することによって解像度が異なる複数の画像を生成する。多重解像度画像生成部1211は、低域通過フィルタとして、例えば移動平均フィルタを用いる。
【００４１】
入力画像内の位置(i,j) における画素値をy(i,j)、n 番目の移動平均フィルタ（以下、フィルタn という。）の参照画素数をTnとそれぞれすると、フィルタn が用いられた時に抽出される低周波成分の画像の位置(i,j) における画素値bn(i,j) は、以下の式（３）で表される。
【００４２】
【数１】
2018087806.tif 000003
【００４３】
本実施形態の多重解像度画像生成部1211は、入力画像に対してN 個の移動平均フィルタを適用することによって、N 個の低周波成分の画像をそれぞれ生成する。なお、生成される各画像の画素値をそれぞれb0,b1,・・・,bN-1 と表す。
【００４４】
なお、低周波成分の画像を求める際に移動平均フィルタを用いる場合、多重解像度画像生成部1211は、以下の式（４）で求められる行ごとの積分画像yintを用いてもよい。
【００４５】
【数２】
2018087806.tif 000004
【００４６】
行i における積分画像yintが使用されるフィルタn が用いられた時に抽出される低周波成分の画像の画素値bn(i,j) は、以下の式（５）で表される。
【００４７】
【数３】
2018087806.tif 000005
【００４８】
すなわち、積分画像yintを用いることによって、多重解像度画像生成部1211は、参照画素範囲がどのような範囲であっても画素あたりO(1)の計算コストで解像度が異なる画像を生成できる。
【００４９】
多重解像度画像生成部1211は、式（３）等に示す算出処理をフィルタごとに実行することによって、行方向の解像度が異なる複数の画像を生成する。なお、積分画像を用いる場合、多重解像度画像生成部1211は、最初に入力画像にフィルタを適用する際に積分画像を一度生成すれば、入力画像に他のフィルタを適用する際に既に生成された積分画像を使い回すことができる。
【００５０】
なお、多重解像度画像生成部1211は、低域通過フィルタとして移動平均フィルタの他に、重み付きフィルタやメディアンフィルタを用いてもよい。
【００５１】
多重解像度画像生成部1211は、入力画像（画素値y ）と、得られたN 個の低周波成分の画像（画素値b0,b1,・・・,bN-1 ）とを差分画像生成部1212に入力する。
【００５２】
（差分画像生成部1212）
差分画像生成部1212には、多重解像度画像生成部1211から入力画像（画素値y ）と、N 個の低周波成分の画像（画素値b0,b1,・・・,bN-1 ）とが入力される。差分画像生成部1212は、入力された情報を用いて、差分画像を生成する。
【００５３】
説明の簡略化のため、N 個の低周波成分の画像は、適用された低域通過フィルタの通過域が広い順に並べられているとする。すなわち、画素値がb0の画像より画素値がbN-1の画像の方がよりぼかされた画像になるように、N 個の画像は並べられている。
【００５４】
差分画像生成部1212は、以下の式（６）に示すように、解像度が最も近い画像間の画素値の差分を計算することによって、通過帯域がそれぞれ異なるN 個の帯域通過成分の画像（画素値d0,d1,・・・,dN-1 ）を生成する。
【００５５】
【数４】
2018087806.tif 000006
【００５６】
入力画像、およびN 個の低周波成分の画像それぞれに含まれる周波数成分の帯域は少しずつ異なる。差分画像生成部1212は、各画像間の画素値の差分を計算することによって、帯域通過フィルタが適用された結果に相当する出力結果を生成できる。
【００５７】
以上の処理により、周波数成分分解部1210は、入力画像に含まれる周波数成分を少なくとも２つの帯域に分解できる。差分画像生成部1212は、得られたN 個の周波数成分の画像（画素値d0,d1,・・・,dN-1 ）を列ノイズ補正量算出部1220に入力する。
【００５８】
（列ノイズ補正量算出部1220）
図４は、第１の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。図４に示すように、本実施形態の列ノイズ補正量算出部1220は、ヒストグラム生成部1221と、ヒストグラム解析部1222と、補正量算出部1223とを有する。
【００５９】
（ヒストグラム生成部1221）
ヒストグラム生成部1221には、周波数成分分解部1210からN 個の周波数成分の画像（画素値d0,d1,・・・,dN-1 ）が入力される。ヒストグラム生成部1221は、入力された各周波数成分の画像に対して、図５に示すような差分画素値のヒストグラムを列ごとに生成する。
【００６０】
図５は、ヒストグラム生成部1221が生成するヒストグラムの例を示す説明図である。なお、ヒストグラムを生成する際、ヒストグラム生成部1221は、入力画像のビット精度に応じてbin 数（ヒストグラムの階級数）を適宜変えてもよい。
【００６１】
図５に示すような差分ヒストグラムの場合、差分画素値の取り得る範囲は-255〜255 である。よって、全ての差分画素値を網羅するヒストグラムが生成されるためには、bin 数が511 に設定されることが求められる。
【００６２】
ヒストグラム生成の対象列が画像内の画素値の変化が小さい領域である平坦な領域に存在する場合、生成されるヒストグラムでは、列ノイズが原因で生じるオフセット値βcol(j)の度数が最も大きくなる。
【００６３】
特許文献１に記載されている手法が使用される場合、ヒストグラム生成のための累積加算のコストは、差分計算が行われる参照画素範囲に比例して増加する。本実施形態の累積加算では、１列あたり画像の垂直方向の画素数と同じ数だけ加算が行われるため、累積加算のコストは、特許文献１に記載されている手法が使用される場合に比べて低くなる。
【００６４】
ヒストグラム生成部1221は、各周波数成分の画像の列ごとに生成されたヒストグラムを、ヒストグラム解析部1222に入力する。入力画像の列数がJ であるとすると、ヒストグラム生成部1221は、(N×J)個のヒストグラムを生成する。
【００６５】
（ヒストグラム解析部1222）
ヒストグラム解析部1222は、ヒストグラム生成部1221から入力される各ヒストグラムを解析することによって、各周波数帯域の第１の列ノイズ補正量を列ごとに算出する。第１の列ノイズ補正量として、例えばヒストグラムの中央値、平均値、最頻値等の統計量が用いられる。
【００６６】
例えば、ヒストグラム解析部1222は、入力画像の所定の列に対して第１の列ノイズ補正量c0(j),c1(j),・・・,cN-1(j)を、各周波数成分のヒストグラムからそれぞれ算出する。ヒストグラム解析部1222は、算出された各列に対する第１の列ノイズ補正量を、補正量算出部1223に入力する。
【００６７】
（補正量算出部1223）
補正量算出部1223は、ヒストグラム解析部1222から入力された第１の列ノイズ補正量c0(j),c1(j),・・・,cN-1(j)を用いて、列におけるノイズ補正量c(j)を算出する。補正量算出部1223は、例えば以下の式（７）に示すように、各周波数帯域に渡って第１の列ノイズ補正量の和をとることによって、ノイズ補正量c(j)を算出する。
【００６８】
【数５】
2018087806.tif 000007
【００６９】
以上の処理により、列ノイズ補正量算出部1220は、入力画像に含まれる周波数成分が複数の帯域に分解されることによって得られた複数の周波数成分の画像を用いて、各列の列ノイズ補正量を算出できる。補正量算出部1223は、上記のように得られた列におけるノイズ補正量c(j)を、列ノイズ補正部1230に入力する。
【００７０】
（列ノイズ補正部1230）
列ノイズ補正部1230は、入力画像の画素値y と入力された列におけるノイズ補正量c(j)とを用いて、以下の式（８）に示すように出力画像の画素値xoutを生成する。
【００７１】
xout(i,j) = y(i,j) - c(j)  ・・・式（８）
【００７２】
列ノイズ補正部1230は、上記のように生成された出力画像を画像出力部1300に入力する。
【００７３】
［動作の説明］
以下、本実施形態の画像処理装置1000の動作を図６を参照して説明する。図６は、第１の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。
【００７４】
最初に、列ノイズ補正部1230は、各列における列ノイズ補正量を０に初期化する（ステップS101）。
【００７５】
次いで、画像入力部1100は、画像処理部1200に入力画像を入力する。周波数成分分解部1210に入力された入力画像に対して、多重解像度画像生成部1211は、入力画像の行ごとに積分画像を生成する（ステップS102）。
【００７６】
次いで、多重解像度画像生成部1211は、ステップS102で生成された積分画像を用いて、行方向の解像度が異なる複数の画像を生成する（ステップS103）。多重解像度画像生成部1211は、生成された複数の画像を差分画像生成部1212に入力する。
【００７７】
次いで、差分画像生成部1212は、ステップS103で生成された行方向の解像度が異なる複数の画像のうち、行方向の解像度が最も近い２つの画像の差分画像を生成する（ステップS104）。差分画像生成部1212は、生成された複数の差分画像を列ノイズ補正量算出部1220に入力する。
【００７８】
次いで、ヒストグラム生成部1221は、ステップS104で生成された差分画像から画像を１つ選択する（ステップS105）。ヒストグラム生成部1221は、選択された差分画像の列ごとに、差分画素値のヒストグラムを生成する（ステップS106）。ヒストグラム生成部1221は、生成された列ごとのヒストグラムをヒストグラム解析部1222に入力する。
【００７９】
次いで、ヒストグラム解析部1222は、入力された各列のヒストグラムの中央値を統計量として算出する（ステップS107）。ヒストグラム解析部1222は、算出された各中央値を補正量算出部1223に入力する。
【００８０】
次いで、補正量算出部1223は、算出された各列の中央値を、対応する列ノイズ補正量にそれぞれ加算する（ステップS108）。
【００８１】
次いで、列ノイズ補正量算出部1220は、生成された全ての差分画像に関してステップS105〜ステップS108の処理を実行したか否かを確認する（ステップS109）。未だ処理が実行されていない差分画像が存在する場合（ステップS109におけるNo）、列ノイズ補正量算出部1220は、再度ステップS105の処理を行う。
【００８２】
全ての差分画像に関して処理が実行された場合（ステップS109におけるYes ）、補正量算出部1223は、算出された各列における列ノイズ補正量を列ノイズ補正部1230に入力する。
【００８３】
次いで、列ノイズ補正部1230は、算出された列ノイズ補正量を入力画像の画素値から減算することによって、出力画像を生成する（ステップS110）。出力画像を生成した後、画像処理装置1000は、画像処理を終了する。
【００８４】
なお、ステップS105〜ステップS108の処理は、差分画像ごとに逐次的に実行される。しかし、差分画像に対する処理は他の差分画像に対する処理から独立しているため、複数の差分画像に対するステップS105〜ステップS108の処理は、並列に実行されてもよい。
【００８５】
［効果の説明］
本実施形態の画像処理装置1000は、入力画像に含まれる周波数成分を周波数帯域ごとに分解し、分解された周波数成分の画像ごとに各列のヒストグラムを生成し、生成されたヒストグラムの解析結果に基づいて列ノイズ補正量を算出し、算出された列ノイズ補正量を用いて入力画像を補正する。
【００８６】
周波数成分分解部1210は、式（４）〜式（６）に示すような簡易な計算をすることによって周波数成分を周波数帯域ごとに分解できる。すなわち、本実施形態では周波数成分分解が低コストで実行される。
【００８７】
また、特許文献１に記載されている手法のように出力画像を次の処理の入力画像として用いるような計算コストの高い反復処理を実行せずに様々な周波数帯域の列ノイズを推定できるため、本実施形態の画像処理装置1000は、補正処理全体の演算コストを低減できる。
【００８８】
＜第２の実施形態＞
［構成の説明］
次に、本発明の第２の実施形態を、図面を参照して説明する。
【００８９】
（第２の実施形態の画像処理装置1000）
第１の実施形態では、列の大部分にエッジが存在するような場合に、算出された補正量にエッジの影響が含まれることがある。なお、エッジは、画素値の変化が大きい領域の境界のうち、所定の長さの境界である。
【００９０】
画像処理装置1000がエッジの影響が含まれる補正量を用いて列ノイズ補正を行うと、出力画像のエッジが弱められるという問題が発生する。本実施形態の画像処理装置1000は、補正量算出部1223が列ノイズ補正量を算出する際に閾値パラメータも使用することによって、上記の問題を解決する。
【００９１】
図７は、本発明による画像処理装置の第２の実施形態の構成例を示すブロック図である。図７に示すように、本実施形態の画像処理装置1000は、第１の実施形態の画像処理装置1000と同様に、画像入力部1100と、画像処理部1200と、画像出力部1300とを備える。
【００９２】
本実施形態の画像入力部1100は、第１の実施形態の画像入力部1100と同様の機能を有する。また、本実施形態の画像出力部1300は、第１の実施形態の画像出力部1300と同様の機能を有する。
【００９３】
本実施形態の画像処理部1200は、第１の実施形態の画像処理部1200が有する機能以外の機能も有する。以下、本実施形態の画像処理部1200の構成および動作を説明する。
【００９４】
図８は、第２の実施形態の画像処理部1200の構成例を示すブロック図である。図８に示すように、本実施形態の画像処理部1200は、第１の実施形態の画像処理部1200と同様に、周波数成分分解部1210と、列ノイズ補正量算出部1220と、列ノイズ補正部1230とを含む。
【００９５】
また、図８に示すように、本実施形態の画像処理部1200は、第１の実施形態の画像処理部1200と異なり、閾値格納部1240を含む。以下、第１の実施形態の列ノイズ補正量算出部1220と異なる本実施形態の列ノイズ補正量算出部1220と閾値格納部1240の各動作を説明する。
【００９６】
列ノイズ補正量算出部1220は、周波数成分分解部1210から入力された入力画像に含まれている帯域ごとに分解された周波数成分の画像の画素値と、閾値格納部1240から入力された所定の閾値とを用いて、列ノイズ補正量を帯域ごとにそれぞれ算出する。
【００９７】
列ノイズ補正量算出部1220は、算出された列ノイズ補正量を列ノイズ補正部1230に入力する。以下、本実施形態の列ノイズ補正量算出部1220の具体的な動作を説明する。
【００９８】
（列ノイズ補正量算出部1220）
図９は、第２の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。図９に示すように、本実施形態の列ノイズ補正量算出部1220は、ヒストグラム生成部1221と、ヒストグラム解析部1222と、補正量算出部1223とを有する。
【００９９】
本実施形態のヒストグラム生成部1221は、第１の実施形態のヒストグラム生成部1221と同様の機能を有する。また、本実施形態のヒストグラム解析部1222は、第１の実施形態のヒストグラム解析部1222と同様の機能を有する。
【０１００】
本実施形態の補正量算出部1223は、ヒストグラム解析部1222から入力された第１の列ノイズ補正量c0(j),c1(j),・・・,cN-1(j)と、閾値格納部1240から入力された所定の閾値τ0,τ1,・・・,τN-1 とを用いて、列におけるノイズ補正量c(j)を算出する。
【０１０１】
補正量算出部1223は、例えば以下の式（９）に示すように、閾値未満の周波数成分の第１の列ノイズ補正量のみを用いて、ノイズ補正量c(j)を算出する。
【０１０２】
【数６】
2018087806.tif 000008
【０１０３】
式（９）に従ってノイズ補正量を算出することによって、補正量算出部1223は、大部分にエッジが存在するような列に対する補正処理で発生する可能性があるエッジの消失を防止できる。
【０１０４】
なお、補正量算出部1223がノイズ補正量を算出する際に使用する式は、式（９）に限定されない。補正量算出部1223は、例えば以下の式（１０）に示すように、式（９）と同様に値が大きい第１の列ノイズ補正量を補正する処理であるクリップ処理を適用することによってノイズ補正量c(j)を算出する。
【０１０５】
【数７】
2018087806.tif 000009
【０１０６】
式（１０）に示すように、クリップ処理は、画素が取り得る値の最大値と最小値をそれぞれ設定し、処理対象の画素値が最大値より大きい場合には最大値に、最小値より小さい場合には最小値にそれぞれ補正する処理である。
【０１０７】
以上の処理により、列ノイズ補正量算出部1220は、入力画像に含まれる周波数成分が複数の帯域に分解されることによって得られた複数の周波数成分の画像と、所定の閾値パラメータとを用いて、列ノイズ補正量を算出できる。
【０１０８】
［動作の説明］
以下、本実施形態の画像処理装置1000の動作を図１０を参照して説明する。図１０は、第２の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。
【０１０９】
ステップS201〜ステップS206の処理は、図６に示すステップS101〜ステップS106の処理とそれぞれ同様である。
【０１１０】
ヒストグラム解析部1222は、入力された各列のヒストグラムの中央値を統計量として算出する（ステップS207）。ヒストグラム解析部1222は、算出された各中央値を補正量算出部1223に入力する。
【０１１１】
次いで、補正量算出部1223は、算出された各列の中央値のうち閾値未満の中央値が存在するか否かを確認する（ステップS208）。
【０１１２】
閾値未満の中央値が存在する場合（ステップS208におけるYes ）、補正量算出部1223は、閾値未満の中央値を対応する列ノイズ補正量にそれぞれ加算する（ステップS209）。
【０１１３】
閾値未満の中央値が存在しない場合（ステップS208におけるNo）、補正量算出部1223は、ステップS210に処理を進める。
【０１１４】
ステップS210〜ステップS211の処理は、図６に示すステップS109〜ステップS110の処理とそれぞれ同様である。
【０１１５】
［効果の説明］
本実施形態の画像処理装置1000は、列の大部分にエッジが存在するような場合であっても、エッジを残したまま列ノイズ補正処理を実行できる。その理由は、補正量算出部1223がエッジに対応する値以上の補正量を省いて列ノイズ補正量を算出できるためである。また、第１の実施形態と同様に、本実施形態の画像処理装置1000は、列ノイズ補正処理の演算コストを低減できる。
【０１１６】
＜第３の実施形態＞
［構成の説明］
次に、本発明の第３の実施形態を、図面を参照して説明する。
【０１１７】
（第３の実施形態の画像処理装置1000）
第１の実施形態の画像処理装置1000、および第２の実施形態の画像処理装置1000では、１枚の画像が処理対象として想定されている。よって、動画が処理される時、列ノイズが過剰に抑圧されることによって、出力動画においてちらつきが発生する場合がある。
【０１１８】
ちらつきは、画像フレームごとに所定の範囲で規則的に画素値が変動する現象である。画像の１列分の画素値の平均値がフレームごとに変動すると、ちらつきは十分に視認される。
【０１１９】
一般的に、固定パターンノイズは短時間で変化しない。しかし、動画が示す撮影対象が変化している場合、第１の実施形態の画像処理装置1000、および第２の実施形態の画像処理装置1000は、固定パターンノイズの推定に失敗する場合がある。固定パターンノイズの推定が失敗すると、上記のように１列分の画素値の平均値がフレームごとに変動する現象、すなわちちらつきが発生する可能性がある。
【０１２０】
本実施形態の画像処理装置1000は、補正量算出部1223が列ノイズ補正量を算出する際に閾値パラメータおよび直前フレームに対する補正量も使用することによって、上記の問題を解決する。
【０１２１】
図１１は、本発明による画像処理装置の第３の実施形態の構成例を示すブロック図である。図１１に示すように、本実施形態の画像処理装置1000は、第１の実施形態の画像処理装置1000と同様に、画像入力部1100と、画像処理部1200と、画像出力部1300とを備える。
【０１２２】
本実施形態の画像入力部1100は、第１の実施形態の画像入力部1100と同様の機能を有する。また、本実施形態の画像出力部1300は、第１の実施形態の画像出力部1300と同様の機能を有する。
【０１２３】
本実施形態の画像処理部1200は、第２の実施形態の画像処理部1200が有する機能以外の機能も有する。以下、本実施形態の画像処理部1200の構成および動作を説明する。
【０１２４】
図１２は、第３の実施形態の画像処理部1200の構成例を示すブロック図である。図１２に示すように、本実施形態の画像処理部1200は、第２の実施形態の画像処理部1200と同様に、周波数成分分解部1210と、列ノイズ補正量算出部1220と、列ノイズ補正部1230と、閾値格納部1240とを含む。
【０１２５】
また、図１２に示すように、本実施形態の画像処理部1200は、第２の実施形態の画像処理部1200と異なり、補正量格納部1250を含む。以下、第２の実施形態の列ノイズ補正量算出部1220と異なる本実施形態の列ノイズ補正量算出部1220、閾値格納部1240、および補正量格納部1250の各動作を説明する。
【０１２６】
列ノイズ補正量算出部1220は、周波数成分分解部1210から入力された入力画像に含まれている帯域ごとに分解された周波数成分の画像の画素値と、閾値格納部1240から入力された所定の閾値と、補正量格納部1250から入力された直前フレームに対する補正量とを用いて、列ノイズ補正量を帯域ごとにそれぞれ算出する。
【０１２７】
列ノイズ補正量算出部1220は、算出された列ノイズ補正量を列ノイズ補正部1230に入力する。以下、本実施形態の列ノイズ補正量算出部1220の具体的な動作を説明する。
【０１２８】
（列ノイズ補正量算出部1220）
図１３は、第３の実施形態の列ノイズ補正量算出部1220の構成例を示すブロック図である。図１３に示すように、本実施形態の列ノイズ補正量算出部1220は、ヒストグラム生成部1221と、ヒストグラム解析部1222と、補正量算出部1223とを有する。
【０１２９】
本実施形態のヒストグラム生成部1221は、第１の実施形態のヒストグラム生成部1221と同様の機能を有する。また、本実施形態のヒストグラム解析部1222は、第１の実施形態のヒストグラム解析部1222と同様の機能を有する。
【０１３０】
本実施形態の補正量算出部1223には、ヒストグラム解析部1222から現フレームの第１の列ノイズ補正量c0(j),c1(j),・・・,cN-1(j)と、閾値格納部1240から所定の閾値ξ0,ξ1,・・・,ξN-1 とがそれぞれ入力される。また、補正量算出部1223には、補正量格納部1250から直前フレームに対する帯域ごとの補正量c0prev(j),c1prev(j),・・・,cN-1prev(j)が入力される。補正量算出部1223は、入力された情報を用いて、列におけるノイズ補正量c(j)を算出する。
【０１３１】
補正量算出部1223は、例えば以下の式（１１）に示すように、現フレームの第１の列ノイズ補正量と前フレームの補正量との差分が閾値未満である周波数成分の第１の列ノイズ補正量のみを用いて、ノイズ補正量c(j)を算出する。
【０１３２】
【数８】
2018087806.tif 000010
【０１３３】
式（１１）に従ってノイズ補正量を算出することによって、補正量算出部1223は、処理対象が動画像である場合であってもちらつきの発生を抑制しつつ列ノイズを抑圧できる。
【０１３４】
なお、補正量算出部1223がノイズ補正量を算出する際に使用する式は、式（１１）に限定されない。補正量算出部1223は、例えば以下の式（１２）に示すように、式（１１）と同様に前フレームの補正量から大きく変動した現フレームの第１の列ノイズ補正量を補正する処理であるクリップ処理を適用することによってノイズ補正量c(j)を算出する。
【０１３５】
【数９】
2018087806.tif 000011
【０１３６】
ノイズ補正量を算出した後、補正量算出部1223は、以下の式（１３）に示すように前フレームの補正量を現フレームの各周波数帯域の補正量に更新することによって、現フレームの補正量を補正量格納部1250に格納する。
【０１３７】
【数１０】
2018087806.tif 000012
【０１３８】
なお、補正量算出部1223が格納処理で使用する式は、式（１３）に限定されない。第１の列ノイズ補正量を補正する処理としてクリップ処理が適用された場合、補正量算出部1223は、例えば以下の式（１４）を格納処理で用いてもよい。
【０１３９】
【数１１】
2018087806.tif 000013
【０１４０】
以上の処理により、列ノイズ補正量算出部1220は、入力画像に含まれる周波数成分が複数の帯域に分解されることによって得られた複数の周波数成分の画像と、所定の閾値パラメータと、直前フレームに対する補正量とを用いて、列ノイズ補正量を算出できる。
【０１４１】
［動作の説明］
以下、本実施形態の画像処理装置1000の動作を図１４を参照して説明する。図１４は、第３の実施形態の画像処理装置1000による画像処理の動作を示すフローチャートである。
【０１４２】
ステップS301〜ステップS306の処理は、図６に示すステップS101〜ステップS106の処理とそれぞれ同様である。
【０１４３】
ヒストグラム解析部1222は、入力された各列のヒストグラムの中央値を統計量として算出する（ステップS307）。ヒストグラム解析部1222は、算出された各中央値を補正量算出部1223に入力する。
【０１４４】
次いで、補正量算出部1223は、算出された各列の中央値のうち直前フレームに対する補正量との差分が閾値未満である中央値が存在するか否かを確認する（ステップS308）。
【０１４５】
差分が閾値未満である中央値が存在する場合（ステップS308におけるYes ）、補正量算出部1223は、算出された対象の中央値を対応する列ノイズ補正量にそれぞれ加算する（ステップS309）。次いで、補正量算出部1223は、直前フレームに対する補正量を、現フレームで算出された中央値を用いて更新する（ステップS310）。
【０１４６】
差分が閾値未満である中央値が存在しない場合（ステップS308におけるNo）、補正量算出部1223は、ステップS311に処理を進める。
【０１４７】
ステップS311〜ステップS312の処理は、図６に示すステップS109〜ステップS110の処理とそれぞれ同様である。
【０１４８】
［効果の説明］
本実施形態の画像処理装置1000は、連続するフレームにおいて固定パターンノイズの発生個所やオフセット値に相関があることを考慮することによって、処理対象が動画像である場合に発生する可能性があるちらつきを抑えることができる。その理由は、補正量算出部1223が直前フレームに対する補正量との差分が閾値以上の補正量を省いて列ノイズ補正量を算出できるためである。また、第１の実施形態と同様に、本実施形態の画像処理装置1000は、列ノイズ補正処理の演算コストを低減できる。
【０１４９】
なお、各実施形態の画像処理装置1000は、列ノイズ補正処理の他に行ノイズ補正処理も実行できる。行ノイズ補正処理は、「列」が「行」に、「行」が「列」にそれぞれ読み替えられた各実施形態の列ノイズ補正処理である。また、各実施形態の画像処理装置1000は、列ノイズ補正処理と行ノイズ補正処理をそれぞれ独立に実行できる。
【０１５０】
なお、各実施形態の画像処理装置1000は、例えば、記憶媒体に格納されているプログラムに従って処理を実行するCPU(Central Processing Unit)によって実現される。すなわち画像入力部1100、画像処理部1200、および画像出力部1300は、例えば、プログラム制御に従って処理を実行するCPU によって実現される。また、各実施形態の画像処理装置1000の一部の構成要素のみがCPU によって実現されてもよい。
【０１５１】
また、各実施形態の画像処理装置1000における各部は、ハードウェア回路によって実現されてもよい。一例として、画像入力部1100、画像処理部1200、および画像出力部1300が、それぞれLSI(Large Scale Integration)で実現される。また、それらが１つのLSI で実現されていてもよい。
【０１５２】
次に、本発明の概要を説明する。図１５は、本発明による画像処理装置の概要を示すブロック図である。本発明による画像処理装置10は、処理対象画像の行方向の解像度をその解像度よりも低い複数の解像度にそれぞれ変更することによって行方向の解像度が異なる複数の低解像度画像を生成する第１生成部11（例えば、多重解像度画像生成部1211）と、複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成部12（例えば、差分画像生成部1212）と、差分画像の所定の列の画素値の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する算出部13（例えば、ヒストグラム解析部1222）とを備える。
【０１５３】
そのような構成により、画像処理装置は、低演算コストで様々な周波数の列ノイズを抑圧できる。
【０１５４】
また、第１生成部11は、処理対象画像に対して積分画像が使用される移動平均フィルタを行方向に適用することによって処理対象画像の行方向の解像度を変更してもよい。
【０１５５】
そのような構成により、画像処理装置は、移動平均フィルタの適用時の演算コストをより低減できる。
【０１５６】
また、画像処理装置10は、含まれている周波数成分の周波数帯域がそれぞれ異なる複数の差分画像からそれぞれ算出された所定の列に関する複数の統計量を用いて処理対象画像の所定の列の画素値の補正量を算出する第２算出部（例えば、補正量算出部1223）を備えてもよい。
【０１５７】
そのような構成により、画像処理装置は、複数の周波数帯域の列ノイズが抑圧される補正量を算出できる。
【０１５８】
また、第２算出部は、複数の統計量のうち所定の条件を満たす統計量を用いて処理対象画像の所定の列の画素値の補正量を算出してもよい。
【０１５９】
そのような構成により、画像処理装置は、列の大部分に含まれるエッジを残したまま列ノイズを抑圧できる。
【０１６０】
また、処理対象画像は、動画を構成する複数のフレームのうちの１つのフレームであり、第２算出部は、処理対象画像の直前のフレームに対して算出された補正量と複数の統計量とを用いて処理対象画像の所定の列の画素値の補正量を算出してもよい。
【０１６１】
そのような構成により、画像処理装置は、ちらつきの発生を抑えつつ動画像の列ノイズを抑圧できる。
【０１６２】
また、画像処理装置10は、補正量を用いて処理対象画像の所定の列の画素値を補正し、補正された処理対象画像を出力する補正部（例えば、列ノイズ補正部1230）を備えてもよい。
【０１６３】
そのような構成により、画像処理装置は、特定された列ノイズが抑圧された画像を出力できる。
【０１６４】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１６５】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
【０１６６】
（付記１）処理対象画像の列方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって列方向の解像度が異なる複数の低解像度画像を生成し、前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成し、前記差分画像の所定の行の画素値の統計量を用いて前記処理対象画像の前記所定の行の画素値の補正量を算出することを特徴とする画像処理方法。
【０１６７】
（付記２）処理対象画像に対して積分画像が使用される移動平均フィルタを列方向に適用することによって前記処理対象画像の列方向の解像度を変更する付記１記載の画像処理方法。
【０１６８】
（付記３）含まれている周波数成分の周波数帯域がそれぞれ異なる複数の差分画像からそれぞれ算出された所定の行に関する複数の統計量を用いて処理対象画像の前記所定の行の画素値の補正量を算出する付記１または付記２記載の画像処理方法。
【０１６９】
（付記４）複数の統計量のうち所定の条件を満たす統計量を用いて処理対象画像の所定の行の画素値の補正量を算出する付記３記載の画像処理方法。
【０１７０】
（付記５）処理対象画像は、動画を構成する複数のフレームのうちの１つのフレームであり、前記処理対象画像の直前のフレームに対して算出された補正量と複数の統計量とを用いて前記処理対象画像の所定の行の画素値の補正量を算出する付記３または付記４記載の画像処理方法。
【０１７１】
（付記６）補正量を用いて処理対象画像の所定の行の画素値を補正し、補正された前記処理対象画像を出力する付記１から付記５のうちのいずれか１項に記載の画像処理方法。
【０１７２】
（付記７）処理対象画像の列方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって列方向の解像度が異なる複数の低解像度画像を生成する第１生成部と、前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成部と、前記差分画像の所定の行の画素値の統計量を用いて前記処理対象画像の前記所定の行の画素値の補正量を算出する算出部とを備えることを特徴とする画像処理装置。
【０１７３】
（付記８）第１生成部は、処理対象画像に対して積分画像が使用される移動平均フィルタを列方向に適用することによって前記処理対象画像の列方向の解像度を変更する付記７記載の画像処理装置。
【０１７４】
（付記９）コンピュータに、処理対象画像の列方向の解像度を当該解像度よりも低い複数の解像度にそれぞれ変更することによって列方向の解像度が異なる複数の低解像度画像を生成する第１生成処理、前記複数の低解像度画像のうちの２つの低解像度画像の差分をとることによって差分画像を生成する第２生成処理、および前記差分画像の所定の行の画素値の統計量を用いて前記処理対象画像の前記所定の行の画素値の補正量を算出する算出処理を実行させるための画像処理プログラム。
【０１７５】
（付記１０）コンピュータに、処理対象画像に対して積分画像が使用される移動平均フィルタを列方向に適用することによって前記処理対象画像の列方向の解像度を変更する変更処理を実行させる付記９記載の画像処理プログラム。
【符号の説明】
【０１７６】
10、1000  画像処理装置
11  第１生成部
12  第２生成部
13  算出部
1100  画像入力部
1200  画像処理部
1300  画像出力部
1210  周波数成分分解部
1211  多重解像度画像生成部
1212  差分画像生成部
1220  列ノイズ補正量算出部
1221  ヒストグラム生成部
1222  ヒストグラム解析部
1223  補正量算出部
1230  列ノイズ補正部
1240  閾値格納部
1250  補正量格納部
【図１】
2018087806.tif 000014
【図２】
2018087806.tif 000015
【図３】
2018087806.tif 000016
【図４】
2018087806.tif 000017
【図５】
2018087806.tif 000018
【図６】
2018087806.tif 000019
【図７】
2018087806.tif 000020
【図８】
2018087806.tif 000021
【図９】
2018087806.tif 000022
【図１０】
2018087806.tif 000023
【図１１】
2018087806.tif 000024
【図１２】
2018087806.tif 000025
【図１３】
2018087806.tif 000026
【図１４】
2018087806.tif 000027
【図１５】
2018087806.tif 000028
【国際調査報告】
2018087806.tif 000029
2018087806.tif 000030
2018087806.tif 000031
2018087806.tif 000032