(57)【要約】【課題】あらかじめ取得した固定パターンノイズデータを用いることなく、少ない計算コストでの固定パターンノイズを低減すること。【解決手段】複数の画像データ間の被写体像の位置ずれ情報に基づいて前記複数の画像データにそれぞれ対応する線形フィルタを決定する。そして、決定した線形フィルタを複数の画像データにそれぞれ適用することにより、画像データにおけるノイズを低減する。【選択図】図５
2015198369.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データにおける同一画素位置で概略同じ値を持つような固定パターンノイズを低減する画像処理装置であって、
同一の被写体を撮像して得た複数の画像データを取得する画像取得手段と、
前記画像データ間の被写体像の位置ずれ情報を取得する位置ずれ情報取得手段と、
前記位置ずれ情報に基づいて前記複数の画像データにそれぞれ対応する線形フィルタを決定する決定手段と、
前記決定した線形フィルタを前記複数の画像データにそれぞれ適用することにより、前記画像データにおけるノイズを低減するノイズ低減手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記位置ずれを有する前記複数の画像データが観測された時に確率的に最も起こり得る前記固定パターンノイズと前記被写体像の組を、前記複数の画像データから算出するフィルタとして、前記フィルタを決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像データにおけるノイズの分散を取得する分散取得手段をさらに有し、
前記決定手段は、前記位置ずれ情報と前記分散とに基づいて前記フィルタを決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記分散取得手段は、前記複数の画像データに含まれる同一画素位置で画像データごとに概略異なる値を持つようなノイズの分散と、前記固定パターンノイズの分散とを前記ノイズの分散として取得する請求項３に記載の画像処理装置。
【請求項５】
前記分散取得手段は、前記複数の画像データにおける平坦領域の画素値に基づいて前記ノイズの特性を算出することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記決定手段は、前記決定したフィルタを周波数空間のフィルタのデータに変換し、
前記ノイズ低減手段は、周波数空間の画像データに変換された複数の画像データに前記周波数空間のフィルタのデータを適用することでノイズを低減することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記ノイズ低減手段は、ノイズ低減された周波数空間の画像データを実空間の画像データに変換する請求項６に記載の画像処理装置。
【請求項８】
前記位置ずれ情報取得手段は、前記複数の画像データにおける特徴点群のマッチングにより前記位置ずれ情報を算出することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
遮光された撮像素子で撮像して得た遮光画像データを取得する遮光画像取得手段をさらに有し、
前記決定手段は、さらに前記遮光画像データに対応するフィルタを決定し、
前記ノイズ低減手段は、前記遮光画像データに対応するフィルタを前記遮光画像データにさらに適用することにより、前記複数の画像データにおけるノイズを低減することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記請求項１乃至９のいずれか一項に記載の画像処理装置を内蔵することを特徴とする撮像装置。
【請求項１１】
複数の画像データにおける同一画素位置で概略同じ値を持つような固定パターンノイズを低減する画像処理方法であって、
同一の被写体を撮像して得た複数の画像データを取得する画像取得ステップと、
前記画像データ間の被写体像の位置ずれ情報を取得する位置ずれ情報取得ステップと、
前記位置ずれ情報に基づいて前記複数の画像データにそれぞれ対応する線形フィルタを決定する決定ステップと、
前記決定した線形フィルタを前記複数の画像データにそれぞれ適用することにより、前記画像データにおけるノイズを低減するノイズ低減ステップと
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータを請求項１から９のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像データを用いてノイズ低減を行う画像処理装置、画像処理方法およびプログラムに関するものである。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。
【０００３】
デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮像感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像データを得るためには混入したノイズを低減する必要がある。
【０００４】
より低ノイズの画像データの取得を行う場合、ランダムノイズの低減に加えて固定パターンノイズの低減が必要となる。特許文献１は、固定パターンノイズを低減する方法としては、あらかじめ固定パターンノイズに相当する画像データを取得し、撮像により取得した画像データから固定パターンノイズを減算する方法を提案している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−６９２２６号公報
【非特許文献】
【０００６】
【非特許文献１】Sung C. P., Min K. P. ,“Super-Resolution Image Reconstruction: A Technical Overview”, 米国 IEEE Signal Proc. Magazine, 第26巻, 第3号, p.21-36，2003年
【非特許文献２】Richard Szeliski, “Computer Vision:Algorithms and Applications”, Springer, New York, 2010
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された方法によれば、固定パターンノイズデータを必要とするため、撮像装置の制約により十分な精度の固定パターンノイズデータを取得できない場合、適用が不可能であったり、ノイズの増大を招いたりするという問題がある。そこで本発明は、あらかじめ取得した固定パターンノイズを用いることなく、固定パターンノイズを低減することを目的とする。
【課題を解決するための手段】
【０００８】
本発明にかかる画像処理装置は、複数の画像データにおける同一画素位置で概略同じ値を持つような固定パターンノイズを低減する画像処理装置であって、同一の被写体を撮像して得た複数の画像データを取得する画像取得手段と、前記画像データ間の被写体像の位置ずれ情報を取得する位置ずれ情報取得手段と、前記位置ずれ情報に基づいて前記複数の画像データにそれぞれ対応する線形フィルタを決定する決定手段と、前記決定した線形フィルタを前記複数の画像データにそれぞれ適用することにより、前記画像データにおけるノイズを低減するノイズ低減手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、あらかじめ取得した固定パターンノイズデータを用いることなく、固定パターンノイズの低減が可能となる。
【図面の簡単な説明】
【００１０】
【図１】第一の実施形態の撮像装置の構成例を表すブロック図である。
【図２】撮像部の構成例を表すブロック図である。
【図３】複数の画像データ間の位置ずれと位置ずれフィルタの関係を表す模式図である。
【図４】複数の位置ずれを有する画像データとランダムノイズ及び固定パターンノイズの関係を表す模式図である。
【図５】第一の実施形態における画像処理部の構成例を表すブロック図である。
【図６】第一の実施形態における画像処理のフローを表す図である。
【図７】フィルタ決定部の構成例を表すブロック図である。
【図８】フィルタ決定処理のフローを表す図である。
【図９】ノイズ低減部の構成例を表すブロック図である。
【図１０】ノイズ低減処理のフローを表す図である。
【図１１】第二の実施形態における画像処理部の構成例を表すブロック図である。
【図１２】第二の実施形態における画像処理のフローを表す図である。
【図１３】位置ずれ情報算出部の構成例を表すブロック図である。
【図１４】位置ずれ情報算出処理のフローを表す図である。
【図１５】ノイズ特性算出部の構成例を表すブロック図である。
【図１６】ノイズ特性算出処理のフローを表す図である。
【図１７】第三の実施形態における画像処理部の構成例を表すブロック図である。
【図１８】第三の実施形態における画像処理のフローを表す図である。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本発明を好適な実施例に基づいて詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
【００１２】
＜実施形態１＞
＜撮像装置の全体構成＞
図１は、本発明の実施形態１に係る撮像装置の構成の一例を示すブロック図である。撮像装置は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、操作部１０４、表示制御部１０５、表示部１０６、メディアＩ／Ｆ１０７、ＰＣ・その他メディア１０８、キャラクタージェネレーション部１０９を有する。また、撮像装置は、エンコーダ部１１１、デジタル信号処理部１１２、撮像部１１３、画像処理部１１４を有する。
【００１３】
撮像部１１３は、詳細は後述するが、光学系によって結像された被写体像を撮像素子により画像データへと変換する。
【００１４】
画像処理部１１４は、詳細は後述するが、撮像部１１３により取得された複数の画像データを用いてノイズ低減処理を行う。
【００１５】
ＣＰＵ１０１は、各構成の処理全てに関わり、ＲＯＭ１０２やＲＡＭ１０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０２とＲＡＭ１０３は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０１に提供する。画像処理部１１４は、撮像部１１３を構成する撮像素子のノイズ特性の情報を用いる処理を行なう。これらの情報はあらかじめＲＯＭ１０２ないしはＲＡＭ１０３に格納されているものとする。また、撮像部１１３及び画像処理部１１４は各入力画像データの像の位置ずれ情報を用いる処理を行なうが、これらの情報はあらかじめＲＯＭ１０２ないしはＲＡＭ１０３に格納されているものとする。
【００１６】
バス１１０は各構成要素間で、データや処理の指示をやり取りするための経路として機能する。操作部１０４は、ボタンやモードダイヤルなどが該当し、これらを介して入力されたユーザー指示を受け取る。キャラクタージェネレーション１０９部は、文字やグラフィックなどを生成する。
【００１７】
表示部１０６は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部１０９や表示制御部１０５から受け取った撮像画像データや文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザー指示を操作部１０４の入力として扱うことも可能である。
【００１８】
デジタル信号処理部１１２は撮像部１１３により取得された画像データの輝度値の調整や欠陥画素の補間などを行う。これらの処理は画像処理部１１４による処理の前に行われる。
【００１９】
エンコーダ部１１１は画像処理部１１４によって生成された画像データのエンコード処理を行う。
【００２０】
メディアインターフェース１０７は、ＰＣ・その他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）１０８につなぐためのインターフェースである。メディアインターフェース１０７を介してエンコーダ部１１１でエンコードされた画像データの出力が行われる。
【００２１】
なお、装置の構成要素は上記以外にも存在するが、本実施形態の主眼ではないので、説明を省略する。
【００２２】
＜撮像部の構成＞
図２は、撮像部１１３の構成例を示すブロック図である。レンズ２０１及びレンズ２０２は結像光学系を構成する。被写体から発せられた光線は該結像光学系により、絞り２０３、ＩＲカットフィルタ２０４、ローパスフィルタ２０５、カラーフィルタ２０６を通過した後に、撮像素子２０７上に結像される。
【００２３】
なお、ここで示した光学系の構成は、説明のために単純化した例であり、撮像素子上に被写体の像を結像させる機能を有すればどのような構成でもかまわない。例えばオートフォーカスやズームなどの機能を持たせてもかまわない。また、カラー画像を取得する構成について説明したが、取得する画像は白黒や４色以上の画素を持つ画像、画素毎に露出の異なる画像などいずれの画像でもかまわない。
【００２４】
撮像素子２０７及びＡ／Ｄ変換部２０８はＣＭＯＳイメージセンサなどのイメージセンサに相当する。撮像素子２０７は２次元の格子状に配列され、結像された像を電気信号に変換する。Ａ／Ｄ変換部２０８は電気信号に変換された像の情報をデジタル信号に変換する。デジタル信号に変換された像の情報はバッファ２０９内に格納され、画像データとなる。
【００２５】
撮像素子駆動部２１０は撮像素子を水平移動させるための機械的な機構でありモーターなどによって構成される。位置ずれ制御部２１１はＣＰＵ１０１の指示に基づいて、撮像素子駆動部２１０を用いて撮像素子の位置を制御し、撮像素子２０７に撮像のための信号を送ることで、所定の位置ずれをもった像を画像データとして取得する。
【００２６】
＜固定パターンノイズ低減の原理＞
本実施形態では位置ずれのある複数の画像データを用いて固定パターンノイズの低減を行う。画像データ、位置ずれ、固定パターンノイズ及びランダムノイズの関係を図３、図４を用いて説明する。固定パターンノイズは、複数の画像データにおける同一画素位置で概略同じ値を持つようなノイズである。ランダムノイズは、複数の画像データに含まれる同一画素位置で画像データごとに概略異なる値を持つようなノイズである。ここでは３枚の画像データを用いる例を示している。Lが位置ずれのない原画像データ、fm（m=1,2,3）が位置ずれを表すフィルタ、fm*L（m=1,2,3）が位置ずれのある原画像データを表す。また、NFが固定パターンノイズ、NRm（m=1,2,3）がランダムノイズ、Im（m=1,2,3）が撮像によって取得される観測画像データを表す。
【００２７】
図３は位置ずれのある原画像データfm*Lは、位置ずれのない原画像データLに位置ずれを表すフィルタfmをコンボリューションすることで得られることを表している。位置ずれを表すフィルタfmは位置ずれに相当する量だけ、原点からずれたインパルス信号に相当する。また、図４は位置ずれのある原画像データfm*Lに固定パターンノイズNFとランダムノイズNRmとを加算したものが観測画像データImである事を表している。
【００２８】
以上の関係を式で表したものが式１である。ここで、Im、fm、L、NF、NRmは画素位置毎に値が定義されたデータであり、*はコンボリューションの演算を表す。
【００２９】
【数１】
2015198369.tif 000003
【００３０】
本実施形態における固定パターンノイズ低減処理とは、式１の関係に基づいて、あらかじめ得られるfmに相当する位置ずれ情報を用いて、複数の観測画像データImから位置ずれのない原画像データLを分離する処理である。位置ずれ情報は、あらかじめ設定されているものを用いてもよいし、計測することで得られる情報を用いてもよい。本実施形態では、後述するように、あらかじめ設定されている位置ずれ情報を用いる例を説明する。
【００３１】
次に、固定パターンノイズ低減処理の原理について説明する。本実施形態では固定パターンノイズNFとランダムノイズNRmとが正規分布となるような統計的性質を持つとみなして、非特許文献１で説明されているようなMAP法の考え方に基づいて処理を行う。式２はMAP法に基づいて定式化した固定パターンノイズ低減処理である。L’、N’FはMAP法による推定で得られる位置ずれなし原画像データと固定パターンノイズとをそれぞれ表す。また、σ2F、σ2Rは固定パターンノイズとランダムノイズの分散を表す。Mは観測画像データの枚数を表す。式２は、原画像データＬと固定パターンノイズNFとをパラメータとした場合に最小となる値が、推定原画像データL’と推定固定パターンノイズN’Fとが確率的に尤もとり得る値であることを表す。ここで、|| ||2は画素位置毎に値が定義されたデータに対して各要素を2乗した値の総和の平方根を表す。
【００３２】
【数２】
2015198369.tif 000004
【００３３】
式２の問題はフーリエ変換を用いて解くことができる。パーセバルの定理により式２が成り立つならば式３も成り立つ。ここで、^はフーリエ変換を表す記号である。
【００３４】
【数３】
2015198369.tif 000005
【００３５】
式３の右辺は２乗の項のみからなるので、右辺が最小となる値は右辺を極小とする値となる。右辺を極小とするパラメータL,NFは、右辺の微分値を０とすれば求まる。すなわち、L’,N’Fは式4及び式5を満たす。ここで、-は複素共役を表す記号である。
【００３６】
【数４】
2015198369.tif 000006
【００３７】
【数５】
2015198369.tif 000007
【００３８】
式４は、パラメータＬについて微分値を０とした式であり、式５はパラメータNFについての微分値を０とした式である。式4に式5で求まるNFを代入することで式6が得られる。
【００３９】
【数６】
2015198369.tif 000008
【００４０】
すなわち、撮像によって得られた観測画像データImと、制御ないし計測することで得られた位置ずれフィルタfmとを用いて式6に基づく計算を行うことで、固定パターンノイズが低減された推定原画像データL’を得る事が出来る。式１に示すように固定パターンノイズおよびランダムノイズをモデル化することで、原画像データLと固定パターンノイズNFとを２次式で表すことが可能となる。従って、推定原画像データL’と推定固定パターンノイズN’Fが尤もとり得る値を２次式の微分の極小で求めることができる。
【００４１】
このように、式６に基づく処理により、複数の観測画像データから線形フィルタと代数演算によって推定原画像データを推定することが可能である。線形フィルタはFFTによるフーリエ変換と周波数空間での乗算によって少ない計算量で実施することができる。また、代数演算も計算量の少ない処理であるため、本実施形態によれば少ない計算量で、複数の観測画像データImから固定パターンノイズNFの低減された推定原画像データL’を推定することができる。
【００４２】
＜画像処理部の構成と処理＞
図５は、画像処理部１１４の構成例を示すブロック図である。画像処理部１１４は、画像取得部５０１、位置ずれ情報取得部５０２、ノイズ特性取得部５０３、フィルタ決定部５０４、ノイズ低減部５０５、および画像出力部５０６を有する。
【００４３】
画像取得部５０１は撮像部１１３によって撮像された複数の入力画像データを、バス１１０を介して取得する。
【００４４】
位置ずれ情報取得部５０２は位置ずれ情報を、バス１１０を介して取得する。位置ずれ情報とは、撮像部１１３が撮像した入力画像データに写っている像が、基準位置に対してどの程度ずれているかを表す情報であり、入力画像データ上の垂直、水平方向それぞれのずれ量をピクセル数で表すなどする。本実施形態では位置ずれは、位置ずれ制御部２１１の指示により撮像素子駆動部２１０により機械的に制御されるものとする。位置ずれ制御部２１１の制御値は、ＣＰＵ１０１などによって設定されるものとし、位置ずれ情報はあらかじめＲＯＭ１０２ないしＲＡＭ１０３に格納されているものとする。
【００４５】
ノイズ特性取得部５０３は撮像素子２０７のノイズ特性を、バス１１０を介して取得する。ノイズ特性とは、固定パターンノイズの分散及びランダムノイズの分散などで表される。本実施形態においては、ノイズ特性はあらかじめＲＯＭ１０２ないしＲＡＭ１０３に格納されているものとする。
【００４６】
フィルタ決定部５０４は、位置ずれ情報取得部５０２が取得した位置ずれ情報と、ノイズ特性取得部５０３が取得したノイズ特性とに基づいて、画像取得部５０１が取得した入力画像データから推定原画像データを分離するための画像分離フィルタを生成する。画像分離フィルタは、入力画像データに対応する数だけ生成する。詳細は後述する。
【００４７】
ノイズ低減部５０５は、フィルタ決定部５０４が生成した複数の画像分離フィルタを、画像取得部５０１が取得した複数の画像データにそれぞれ適用し、固定パターンノイズが低減された推定原画像データを生成する。詳細は後述する。
【００４８】
画像出力部５０６はノイズ低減部５０５が生成した推定原画像データを、バス１１０に出力する。
【００４９】
なお、本実施形態では画像処理を行う際に、画像分離フィルタを算出する構成としたが、与える位置ずれに応じた画像分離フィルタをあらかじめ算出しておいても構わない。
【００５０】
図６を用いて画像処理の流れの一例を説明する。図６に示す処理は、ＲＯＭに格納されたプログラムをＲＡＭに読み出したＣＰＵの制御に基づいて画像処理部１１４において実行される。
【００５１】
ステップＳ６０１では画像取得部５０１が複数の入力画像データを取得する。ステップＳ６０１で取得する複数の入力画像データは、位置がずれた画像データである。
【００５２】
ステップＳ６０２では位置ずれ情報取得部５０２がステップＳ６０１で取得した複数の入力画像データに対応する位置ずれ情報を取得する。
【００５３】
ステップＳ６０３ではノイズ特性取得部５０３がノイズ特性を取得する。例えばノイズ特性としてノイズの分散を取得するノイズ分散取得処理を行なう。
【００５４】
ステップＳ６０４ではフィルタ決定部５０４が位置ずれ情報とノイズ特性とから、画像分離フィルタを決定する。
【００５５】
ステップＳ６０５ではノイズ低減部５０５がステップＳ６０４で決定された画像分離フィルタを入力画像データに適用し、推定原画像データを生成する。
【００５６】
ステップＳ６０６では画像出力部５０６は、生成した推定原画像データを出力する。
【００５７】
＜フィルタ決定部の構成と処理＞
図７は、フィルタ決定部５０４の構成例を示すブロック図である。フィルタ決定部５０４は、位置ずれフィルタ生成部７０１、フーリエ変換部７０２、および画像分離フィルタ算出部７０３を有する。
【００５８】
位置ずれフィルタ生成部７０１は位置ずれ情報取得部５０２から入力された位置ずれ情報に基づいて位置ずれフィルタを生成する。位置ずれフィルタとは図３のfn（n=1,2,3）に相当するようなフィルタであり、コンボリューションによって画像データ上の像を所定の位置ずれ量だけ移動させる事が出来る。一例として、(水平位置ずれ量,垂直位置ずれ量)=(h,k)とした場合、位置ずれフィルタは(-h,-k)のピクセルだけ1の値を持ち、その他のピクセルが0の値を持つ画像データとなる。なお、画像データの境界は巡回しているものととして扱う。位置ずれフィルタは画像取得部５０１が取得した複数の入力画像データの数と同じだけ生成される。
【００５９】
フーリエ変換部７０２は位置ずれフィルタ生成部７０１が生成した複数の位置ずれフィルタをFFTなどの方法でフーリエ変換する。
【００６０】
画像分離フィルタ算出部７０３は、フーリエ変換された複数の位置ずれフィルタとノイズ特性取得部５０３から入力されたノイズ特性とに基づいて、複数の画像分離フィルタを算出する。画像分離フィルタは観測画像データに相当する入力画像データに適用して推定原画像データを生成するためのフィルタであり、ここでは複数ある入力画像データのそれぞれに適用する周波数空間でのフィルタで表すものとする。推定原画像データを生成するための処理は式６で表される演算であるので、n番目の入力画像データInに適用される画像分離フィルタgnは式７のようになる。
【００６１】
【数７】
2015198369.tif 000009
【００６２】
このような演算を実施することで、画像分離フィルタ算出部703は複数の入力画像データの位置ずれにそれぞれ対応した複数の画像分離フィルタを生成する。
【００６３】
図８を用いてフィルタ決定処理の流れの一例を説明する。
【００６４】
ステップＳ８０１では位置ずれフィルタ生成部７０１が、各入力画像データに対応する位置ずれ情報から複数の位置ずれフィルタを生成する。
【００６５】
ステップＳ８０２ではフーリエ変換部７０２が、ステップＳ８０１で生成した複数の位置ずれフィルタをフーリエ変換する。
【００６６】
ステップＳ８０３では画像分離フィルタ算出部７０３が、ノイズ特性とステップＳ８０２でフーリエ変換された複数の位置ずれフィルタとに基づいて画像分離フィルタを算出する。
【００６７】
＜ノイズ低減部の構成と処理＞
図９は、ノイズ低減部５０５の構成例を示すブロック図である。ノイズ低減部５０５は、フーリエ変換部９０１、フィルタ演算部９０２、および逆フーリエ変換部９０３を有する。
【００６８】
フーリエ変換部９０１は画像取得部５０１から入力された複数の入力画像データをＦＦＴなどの方法でフーリエ変換する。
【００６９】
フィルタ演算部９０２はフィルタ決定部５０４から入力された画像分離フィルタを、フーリエ変換部９０１がフーリエ変換した入力画像データに適用する演算を行う。m番目の入力画像データをIm、m番目の画像分離フィルタをgmとしたとき、式８で表される演算を行うことで、フィルタ演算部９０２における処理は実施される。
【００７０】
【数８】
2015198369.tif 000010
【００７１】
gmは式７によって算出されているので、この処理によって式６に相当する推定原画像データ算出の演算を行うことができる。
【００７２】
逆フーリエ変換部９０３はフィルタ演算部９０２で周波数空間の画像データとして算出された推定原画像データに、逆FFTなどで逆フーリエ変換を行うことで実空間における推定原画像データを生成する。
【００７３】
本実施形態では以上のような線形フィルタ処理と代数演算によって固定パターンノイズの低減された推定原画像データを生成することができる。
【００７４】
なお、本実施形態では各入力画像データに適用するフィルタを生成した後に、周波数空間でそれぞれ適用して加算するものとしたが、式６に表される演算と等価な処理ならば、どのような方法でおこなっても構わない。例えば、式６右辺の分子の演算を実空間において画像データに位置ずれを与える操作と代数演算で実施し、フーリエ変換した後に分母による除算を適用するというような方法を用いてもよい。
【００７５】
図１０を用いてノイズ低減処理の流れの一例を説明する。
【００７６】
ステップＳ１００１ではフーリエ変換部９０１が複数の入力画像データをフーリエ変換する。
【００７７】
ステップＳ１００２ではステップＳ１００１でフーリエ変換した複数の入力画像データに、それぞれ対応する画像分離フィルタを適用し推定原画像データを生成する。
【００７８】
ステップＳ１００３ではステップＳ１００２で生成した推定原画像データを逆フーリエ変換する。
【００７９】
なお、本実施形態では固定パターンノイズが撮像素子２０７のノイズであるとしたが、レンズや撮像素子の汚れ、撮像系における何らかの写り込みなど、入力画像データにおいて被写体の像に加算されて撮像されている要素ならどのようなものでも構わない。また、σF及びσRがノイズの分散を表すものとしたが、標準偏差など分散を規定し得る値ならどのようなものでも構わない。また、σF及びσRを正則化のパラメータとみなして厳密にノイズの分散と対応付けない構成でも構わない。また、画像毎にランダムノイズの特性が異なる複数の入力画像データを用いて、本実施形態と同様の原理に基づいてフィルタによる固定パターンノイズの低減を行う構成としても構わない。また、推定原画像データを出力する構成としたが、式１、式４、式５に基づきランダムノイズや固定パターンノイズを算出して出力する構成としても構わない。また、ボケや明るさの異なる入力画像データを用いて、これを位置ずれフィルタに反映することで、固定パターンノイズの低減を行う構成としても構わない。
【００８０】
以上、本実施形態によれば、あらかじめ取得した固定パターノイズデータを用いることなく、入力元画像データに含まれる固定パターンノイズを低減することが可能となる。
【００８１】
＜実施形態２＞
実施形態１では撮像によって取得される入力画像データの位置ずれ情報があらかじめＲＯＭ１０２ないしＲＡＭ１０３に格納されており、その情報に基づいて位置ずれ制御部２１１が位置ずれ量の制御を行う構成を例に挙げて説明した。また、撮像素子２０７のノイズ特性があらかじめＲＯＭ１０２ないしＲＡＭ１０３に格納されているという構成を例に挙げて説明した。しかし、この構成では撮像装置が位置ずれを十分な制度で制御する機構を持たない場合や、撮像素子のノイズ特性が不明である場合、精度の高い固定パターンノイズの低減を行うことができない。実施形態２では、位置ずれ情報とノイズ特性とを入力画像データから推定することで、上述の条件下でも精度の高い固定パターンノイズの低減処理を可能とする。
【００８２】
＜画像処理部の構成と処理＞
図１１は実施形態２の画像処理部１１４の構成例を表すブロック図である。実施形態２では実施形態１と比較して、位置ずれ情報取得部５０２が位置ずれ情報算出部１１０１に、ノイズ特性取得部５０３がノイズ特性算出部１１０２にそれぞれ置き換えられている。位置ずれ情報算出部１１０１は、詳細は後述するが、画像取得部５０１から入力された複数の画像データの位置ずれ情報を算出し、フィルタ決定部５０４に出力する。ノイズ特性算出部１１０２は、詳細は後述するが、画像取得部５０１から入力された複数の画像データのノイズ特性を算出し、フィルタ決定部５０４に出力する。
【００８３】
図１２は実施形態２の画像処理の流れの一例である。実施形態２では実施形態１に対して、ステップＳ６０２がステップＳ１２０１に、ステップＳ６０３がステップＳ１２０２に置き換えられている。ステップＳ１２０１では、詳細は後述するが、位置ずれ情報算出部１１０１がステップＳ６０１で取得した複数の入力画像データから位置ずれ情報を算出する。算出された位置ずれ情報はステップＳ６０４の画像分離フィルタの決定に用いられる。ステップＳ１２０２では、詳細は後述するが、ノイズ特性算出部１１０２がステップＳ６０１で取得した複数の入力画像データからノイズ特性を算出する。算出されたノイズ特性はステップＳ６０４の画像分離フィルタの決定に用いられる。
【００８４】
＜位置ずれ情報算出部の構成と処理＞
図１３は、位置ずれ情報算出部１１０１の構成例を示すブロック図である。位置ずれ情報算出部１１０１は、特徴点抽出部１３０１、特徴量算出部１３０２、マッチング部１３０３、および位置ずれパラメータ推定部１３０４を有する。
【００８５】
特徴点抽出部１３０１は画像取得部５０１から入力された複数の入力画像データに対して特徴点抽出を行う。特徴点とは、暗い背景の中にある明るい四角形の角など、点として位置が特定可能な画像の構造のことである。特徴点抽出には非特許文献２の４．１．１項で説明されているように様々な方法がある。ここでは一例としてＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴点を用いるものとする。特徴点抽出部１３０１は特徴点抽出の結果として、特徴点の画像データ上での位置を出力する。また、ＳＩＦＴ特徴点のような手法の場合、合わせて特徴点の向き、スケールも出力する。
【００８６】
特徴量算出部１３０２は、特徴点抽出部１３０１が抽出した特徴点の近傍の画素値を、対応する入力画像データから取得し特徴量を算出する。特徴量とは、特徴点の近傍の画像の構造を用いて記述される、その特徴点を他の特徴点と識別するためのデータである。特徴量には非特許文献２の４．１．２項で説明されているように様々な種類がある。ここでは一例としてＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量を用いるものとする。ＳＩＦＴ特徴量の場合、特徴点の位置だけでなく向きやスケールも利用することになる。特徴量は一般に多次元のベクトルとして表される。
【００８７】
マッチング部１３０３は基準となる入力画像データの特徴点群とその他の入力画像データの特徴点群とのマッチングを、特徴量算出部１３０２が算出した特徴量を用いて行う。ここでは１番目の入力画像データを基準として扱うものとする。マッチングの方法には非特許文献２の４．１．３項で説明されているように様々な手法がある。ここでは、基準となる入力画像データの特徴点それぞれに対して、特徴量の差分二乗和が最小となる特徴点を、その他の各画像から総当たりで探して選択する方法を用いるものとする。マッチングの結果、基準となる入力画像データの特徴点それぞれについて、その他の各入力画像データの特徴点が対応付けられた状態になる。
【００８８】
位置ずれパラメータ推定部１３０４はマッチング部１３０３が算出したマッチング結果と特徴点抽出部１３０１が算出した特徴点の位置とから、基準となる入力画像データとその他の入力画像データとの位置ずれを表すパラメータを推定する。位置ずれは入力画像データ間の水平方向と垂直方向のずれ量で表す。ずれ量の算出方法としては、入力画像データ間の対応する特徴点の位置について各入力画像データ毎に平均をとり、その差を求める方法などがある。なお、実際にはマッチング部１３０３で求めた対応には外れ値が含まれていることが考えられるので、非特許文献２の６．１．４項で説明されているＲＡＮＳＡＣのようなロバスト性を高める手法を併用する。このようにして位置ずれパラメータ推定部１３０４で算出された位置ずれパラメータは、位置ずれ情報としてフィルタ決定部５０４に出力される。
【００８９】
図１４を用いて位置ずれ情報算出処理の流れの一例を説明する。
【００９０】
ステップＳ１４０１では特徴点抽出部１３０１が複数の入力画像データそれぞれに対して特徴点抽出を行う。
【００９１】
ステップＳ１４０２では特徴量算出部１３０２が、ステップＳ１４０１で抽出した各特徴点に対して、対応する入力画像データを用いて特徴量を算出する。
【００９２】
ステップＳ１４０３ではマッチング部１３０３が、ステップＳ１４０２で算出した特徴量を用いて、ステップＳ１４０１で抽出した特徴点のマッチングを行う。
【００９３】
ステップＳ１４０４では位置ずれパラメータ推定部１３０４が、ステップＳ１４０１で抽出した特徴点とステップＳ１４０３でマッチングを行った結果を用いて、位置ずれパラメータを推定する。
【００９４】
＜ノイズ特性算出部の構成と処理＞
図１５は、ノイズ特性算出部１１０２の構成例を示すブロック図である。ノイズ特性算出部１１０２は、平坦領域検出部１５０１、平坦領域抽出部１５０２、およびノイズ量推定部１５０３を有する。
【００９５】
平坦領域検出部１５０１は画像取得部５０１から入力された複数の入力画像データにおいて画素値が均一である領域を検出する。ここで、画素値が均一である領域とは、画素の位置や入力画像データの番号が変わっても、画素値が大きく変化しない領域のことである。自然画像は平坦な画素値を持つ領域を有する場合が多いので、本実施形態ではこのような領域を検出して利用することで、入力画像データのノイズ特性を推定する。水平方向、垂直方向の幅がそれぞれH、Kの平坦領域が存在するとし、m番目の入力画像データのh、kの位置の画素値をImhkとしたとき、平坦領域は式９で表されるばらつきEhkを最小とするh,kを探索することで検出できる。
【００９６】
【数９】
2015198369.tif 000011
【００９７】
平坦領域抽出部１５０２は平坦領域検出部１５０１が検出した平坦領域の画素値を、各入力画像データから抽出しノイズ量推定部１５０３に送る。ここで、平坦領域検出部１５０１によって探索された平坦領域の位置が(h,k)である場合、平坦領域は水平位置が[h,h+H-1]、垂直位置が[k,k+K-1]の領域である。
【００９８】
ノイズ量推定部１５０３は平坦領域抽出部１５０２が抽出した平坦領域の画素値に基づいて入力画像データのノイズ量を推定する。ここで推定するノイズ量とは固定パターンノイズの分散とランダムノイズの分散である。ランダムノイズの分散σ2Rは抽出された平坦領域の画素値I’mhkを用いて式10の計算を行うことによって推定することができる。ここでmは画像の番号を表し[1,M]の範囲を持ち、h,kは抽出平坦領域上の位置を表し、それぞれ[1,H],[1,K]の範囲を持つものとする。
【００９９】
【数１０】
2015198369.tif 000012
【０１００】
また、ランダムノイズの分散σ2Rと固定パターンノイズの分散σ2Fの和σ2R+σ2Fは、式１１の計算を行うことによって推定できる。
【０１０１】
【数１１】
2015198369.tif 000013
【０１０２】
固定パターンノイズの分散σ2Fは式１１から式１０を引いて得られる式１２を計算することで推定できる。
【０１０３】
【数１２】
2015198369.tif 000014
【０１０４】
このようにしてノイズ量推定部１５０３で算出されたノイズ量は、ノイズ特性としてフィルタ決定部５０４に出力される。
【０１０５】
図１６を用いてノイズ特性算出処理の流れの一例を説明する。
【０１０６】
ステップＳ１６０１では平坦領域検出部１５０１が複数の入力画像データから各画像データの画素値が共に均一である領域を検出する。
【０１０７】
ステップＳ１６０２では平坦領域抽出部１５０２が、ステップＳ１６０１で検出した平坦領域の画素値を入力画像データから抽出する。
【０１０８】
ステップＳ１６０３ではノイズ量推定部１５０３が、ステップＳ１６０２で抽出した平坦領域の画素値を用いて入力画像データのノイズ特性を推定する。
【０１０９】
以上、本実施形態によれば、あらかじめ取得した固定パターノイズデータ、入力画像データの位置ずれ情報及びノイズ特性を用いることなく、入力元画像データに含まれる固定パターンノイズを低減することが可能となる。
【０１１０】
なお、本実施形態においては、入力画像データの位置ずれ情報とノイズ特性との両方を推定する例について説明したが、一方の情報は既知である場合には、他方の情報を推定する処理のみを行なってもよい。
【０１１１】
＜実施形態３＞
実施形態１及び実施形態２では、固定パターンノイズ低減処理に固定パターンノイズデータを用いない構成であった。しかし、撮像装置の構成によってはランダムノイズを含む固定パターンノイズデータを利用できる場合がある。ランダムノイズを含む固定パターンノイズデータは、例えば遮光した状態で撮像素子２０７を駆動し画像データを取得することで得られる。このような画像データを遮光画像データと呼ぶものとする。本実施形態においては、遮光画像データを用いることができる場合には、その遮光画像データも用いて固定パターンノイズを低減する例を説明する。
【０１１２】
ランダムノイズを含まない完全な固定パターンノイズデータが得られる場合、入力画像データから固定パターンノイズを減算することで容易に固定パターンノイズを除去できる。しかしながら、ランダムノイズを含む場合、上述の処理を行うとランダムノイズが増加してしまう。実施形態３では、ランダムノイズを含む固定パターンノイズデータが利用できる場合において、ランダムノイズを増加させることなく入力画像データの固定パターンノイズをより大きく低減することを可能とする。
【０１１３】
＜遮光画像を用いた固定パターンノイズ低減の原理＞
式１３はMAP法に基づいて定式化した固定パターンノイズ低減処理である。Im、Bkはそれぞれ観測画像に相当する入力画像データと遮光画像データを表す。また、M、Kはそれぞれ入力画像データと遮光画像データの枚数を表す。fmは位置ずれフィルタに相当する画像データを表す。L’、N’FはMAP法による推定で得られる位置ずれなし原画像データと固定パターンノイズを、σ2F、σ2Rは固定パターンノイズとランダムノイズの分散を表す。
【０１１４】
【数１３】
2015198369.tif 000015
【０１１５】
式１４は式１３をフーリエ変換により周波数空間の問題に置き換えたものである。
【０１１６】
【数１４】
2015198369.tif 000016
【０１１７】
式１４の右辺は２乗の項のみからなるので、右辺を極小とするパラメータL,NFは、右辺の微分値を0とする。すなわち、L’,N’Fは式１５、式１６を満たす。
【０１１８】
【数１５】
2015198369.tif 000017
【０１１９】
【数１６】
2015198369.tif 000018
【０１２０】
式１５に式１６で求まるNFを代入することで式１７が得られる。
【０１２１】
【数１７】
2015198369.tif 000019
【０１２２】
すなわち、入力画像データIm、遮光画像データBk、制御ないし計測することで得られた位置ずれフィルタfmを、式１７に基づいて計算することで、固定パターンノイズが低減された推定原画像データL’を得る事が出来る。
【０１２３】
＜画像処理部の構成と処理＞
図１７は実施形態３の画像処理部１１４の構成例を表すブロック図である。実施形態３では実施形態１に対して、遮光画像取得部１７０１が追加されている点が異なる。また、フィルタ決定部５０４及びノイズ低減部５０５が、式６と式１７の差異を反映した処理に変更されている。
【０１２４】
遮光画像取得部１７０１は撮像部１１３によって生成された遮光画像データを、バス１１０を介して取得し、ノイズ低減部５０５に出力する。遮光画像データは式１７のBkに相当する。
【０１２５】
フィルタ決定部５０４は、位置ずれ情報とノイズ特性とから、入力画像データと遮光画像データとに適用することで原画像データを分離することができる画像分離フィルタをそれぞれ生成する。実施形態３において原画像推定処理の演算は式１７で表されるので、n番目の入力画像データInに適用される画像分離フィルタgInと、全ての遮光画像データBk(k=1〜K)に適用される画像分離フィルタgBは、それぞれ式１８、式１９のようになる。
【０１２６】
【数１８】
2015198369.tif 000020
【０１２７】
【数１９】
2015198369.tif 000021
【０１２８】
ノイズ低減部５０５は、入力画像データと遮光画像データとに対して、それぞれ対応する画像分離フィルタを適用し推定原画像データを生成する。生成された推定原画像データは画像出力部５０６に出力されバス１１０に出力される。実施形態３において原画像推定処理の演算は式１７で表されるので、ノイズ低減部５０５は式２０の演算を行うことで、周波数空間での推定原画像L’を生成する。これを逆フーリエ変換することで推定原画像を得る。
【０１２９】
【数２０】
2015198369.tif 000022
【０１３０】
図１８は実施形態３の画像処理の流れの一例である。
【０１３１】
実施形態３では実施形態１に対して、ステップＳ１８０２が追加されている点が異なる。また、ステップＳ６０４がステップＳ１８０２に、ステップＳ６０５がステップＳ１８０３に変更されている。
【０１３２】
ステップＳ１８０１では遮光画像取得部１７０１が複数の遮光画像データを取得する。なお、遮光画像データは一つであってもよい。
【０１３３】
ステップＳ１８０２ではフィルタ決定部５０４が、位置ずれ情報とノイズ特性とから、入力画像データと遮光画像データに適用することで原画像データを分離することができる画像分離フィルタを生成する。
【０１３４】
ステップＳ１８０３ではノイズ低減部５０５が、入力画像データと遮光画像データに画像分離フィルタを適用し推定原画像データを生成する。
【０１３５】
以上、本実施形態によれば、ランダムノイズを含む固定パターノイズデータが得られる場合において、より高精度に入力元画像データに含まれる固定パターンノイズを低減することが可能となる。
【０１３６】
＜その他の実施形態＞
上記の各実施形態においては、撮像部を有する撮像装置を例に挙げて説明したが、本実施形態は撮像部で得られた画像データのノイズを低減する画像処理装置においても適用することができる。画像処理装置は、上記の各実施形態における画像処理部に相当する。もちろん、画像処理装置は撮像装置に内蔵されてもよい。また、本発明は、撮像装置で撮像した撮像データをネットワーク上の他の画像処理装置が受信し、ノイズ低減処理を行なうような形態においても適用することができる。
【０１３７】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015198369.tif 000023
【図２】
2015198369.tif 000024
【図３】
2015198369.tif 000025
【図４】
2015198369.tif 000026
【図５】
2015198369.tif 000027
【図６】
2015198369.tif 000028
【図７】
2015198369.tif 000029
【図８】
2015198369.tif 000030
【図９】
2015198369.tif 000031
【図１０】
2015198369.tif 000032
【図１１】
2015198369.tif 000033
【図１２】
2015198369.tif 000034
【図１３】
2015198369.tif 000035
【図１４】
2015198369.tif 000036
【図１５】
2015198369.tif 000037
【図１６】
2015198369.tif 000038
【図１７】
2015198369.tif 000039
【図１８】
2015198369.tif 000040