(57)【要約】【課題】ランダムノイズが大きい場合であっても、行毎にランダムなオフセットノイズに対する十分な補正効果が得られる画像補正を行えるようにする。【解決手段】撮像素子で得られた画像データに含まれる撮像素子における有効画素の画素出力のうち被写体像の平坦部の画素出力を選択し、選択された画素出力を基に第１の１次元データを算出し、算出された第１の１次元データから、行毎にランダムなオフセットノイズの成分を抽出して第２の１次元データを算出し、算出された第２の１次元データを画像データから行毎に減算するようにして、行毎にランダムなオフセットノイズに対する画像補正を行う。【選択図】図６
2015177244.tif 000002
【特許請求の範囲】
【請求項１】
２次元状に配列された複数の画素を有する撮像素子で得られた画像データを入力画像とし、
前記画像データに含まれる前記撮像素子における有効画素の画素出力のうち被写体像の平坦部の画素出力を選択する画素選択部と、
前記画素選択部により選択された画素出力を基に第１の１次元データを算出する第１の算出部と、
前記第１の算出部により算出された前記第１の１次元データから、行毎にランダムなオフセットノイズの成分を抽出して第２の１次元データを算出する第２の算出部と、
前記第２の算出部により算出された前記第２の１次元データを、前記入力画像から行毎に減算する減算部とを有することを特徴とする画像処理装置。
【請求項２】
前記画素選択部は、前記入力画像の行毎の画素出力の最頻値を基に第１の閾値及び第２の閾値を算出し、前記第１の閾値と前記第２の閾値との範囲内の画素出力を示す画素を前記被写体像の平坦部として選択することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画素選択部は、前記入力画像の行毎の画素出力の最頻値にローパスフィルタ処理を施し、前記ローパスフィルタ処理されたデータから前記第１の閾値及び前記第２の閾値を算出することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第１の算出部は、前記画素選択部により選択された画素出力を基に行毎に画素出力の平均値を算出し、行毎に算出した平均値を前記第１の１次元データとすることを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記第２の算出部は、前記第１の算出部により算出された前記第１の１次元データに対して低周波成分を抑制するフィルタ処理を施し、前記第２の１次元データを算出することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記第２の算出部は、
前記第１の算出部により算出された前記第１の１次元データを複数の周波数帯域のデータに変換する周波数変換部と、
前記周波数変換部により得られた複数の周波数帯域のデータから特定の周波数帯域成分を抽出する帯域抽出部と、
前記帯域抽出部により抽出された周波数帯域のデータから被写体のエッジ情報を取り除く被写体エッジ除去部と、
前記被写体エッジ除去部からの出力を逆変換し、前記第２の１次元データを算出する逆変換部とを有することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記減算部は、前記第２の１次元データの各数値に対して１．０以下のゲインを乗じた後、前記入力画像から行毎に減算することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
前記減算部は、前記第２の１次元データに乗ずるゲインを、前記画素選択部で前記被写体像の平坦部として選択された画素数を基に決定することを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記画像データに含まれる遮光画素の画素出力を基に、前記有効画素の画素出力から行毎にランダムなオフセットノイズを補正した第１の横縞補正画像を得る補正部と、
前記画像データの撮影時の撮影感度を基に、前記第１の横縞補正画像を前記画素選択部に出力するか否かを判定する判定部とを有することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
２次元状に配列された複数の画素を有する撮像素子で得られた画像データを入力画像とし、
前記画像データに含まれる前記撮像素子における有効画素の画素出力のうち被写体像の平坦部の画素出力を選択する画素選択工程と、
前記画素選択工程で選択された画素出力を基に第１の１次元データを算出する第１の算出工程と、
算出された前記第１の１次元データから、行毎にランダムなオフセットノイズの成分を抽出して第２の１次元データを算出する第２の算出工程と、
算出された前記第２の１次元データを、前記入力画像から行毎に減算する減算工程とを有することを特徴とする画像処理方法。
【請求項１１】
２次元状に配列された複数の画素を有する撮像素子で得られた画像データを入力画像とし、
前記画像データに含まれる前記撮像素子における有効画素の画素出力のうち被写体像の平坦部の画素出力を選択する画素選択ステップと、
前記画素選択ステップで選択された画素出力を基に第１の１次元データを算出する第１の算出ステップと、
算出された前記第１の１次元データから、行毎にランダムなオフセットノイズの成分を抽出して第２の１次元データを算出する第２の算出ステップと、
算出された前記第２の１次元データを、前記入力画像から行毎に減算する減算ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
２次元状に配列された画素を有する撮像センサからの画像の読み出しにおいて、画素出力に大きなゲインを乗じる場合、外乱や読み出し回路等の影響により行毎にランダムなオフセットノイズが画像に生じ、画像上のパターンノイズとして視認されることがあった。このような横縞状のパターンノイズに対して、撮像センサに配置された遮光画素の出力を使った補正技術が提案されている（例えば、特許文献１参照）。また、撮像センサに配置された有効画素出力又は画像に対してフィルタ処理を施すことによって横縞状の固定パターンノイズを軽減する技術が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−６７０３８号公報
【特許文献２】特開２０１１−７６４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、画素出力に大きなゲインを乗じた場合、遮光画素の数が少ないためにランダムノイズから精度よくパターンノイズの成分を抽出することが困難であり、十分な補正効果を得られないことがある。また、特許文献２に記載のような技術では、行毎にランダムなオフセットノイズといった行毎に特徴を有するノイズ成分であっても、近傍画素の情報だけでフィルタ処理を行う。そのため、特許文献２に記載のような技術では、被写体像のエッジ部分では解像感を犠牲にしてしまうか、十分な補正が行えない可能性がある。
【０００５】
本発明の目的は、ランダムノイズが大きい場合であっても、行毎にランダムなオフセットノイズに対する十分な補正効果が得られる画像補正を行うことができる画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、２次元状に配列された複数の画素を有する撮像素子で得られた画像データを入力画像とし、前記画像データに含まれる前記撮像素子における有効画素の画素出力のうち被写体像の平坦部の画素出力を選択する画素選択部と、前記画素選択部により選択された画素出力を基に第１の１次元データを算出する第１の算出部と、前記第１の算出部により算出された前記第１の１次元データから、行毎にランダムなオフセットノイズの成分を抽出して第２の１次元データを算出する第２の算出部と、前記第２の算出部により算出された前記第２の１次元データを、前記入力画像から行毎に減算する減算部とを有する。
【発明の効果】
【０００７】
本発明によれば、ランダムノイズが大きい場合であっても、行毎にランダムなオフセットノイズに対する画像補正において十分な補正効果を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の構成例を示す図である。
【図２】本実施形態に係る撮像素子の構成例の概略を示す図である。
【図３】本実施形態に係る撮像素子の単位画素及び読み出し回路の構成例を示す図である。
【図４】本実施形態に係る撮像素子の駆動例を示すタイミングチャートである。
【図５】本実施形態に係る撮像素子の画素レイアウトの例を示す図である。
【図６】第１の実施形態に係る画像処理部の構成例を示す図である。
【図７】画像データの被写体像の平坦部を説明するための図である。
【図８】画像における行毎の画素出力値の分布例を説明するための図である。
【図９】水平方向に長く細い被写体が写っていた場合の行毎の最頻値を示す図である。
【図１０】第１の１次元データの特徴を説明するための図である。
【図１１】画像処理部が有する第２の算出部の構成例を示す図である。
【図１２】ウェーブレット変換について説明するための図である。
【図１３】ウェーブレット係数に対する被写体エッジ除去を示す図である。
【図１４】第２の実施形態に係る画像処理部の構成例を示す図である。
【図１５】本実施形態に係る画像処理装置を実現可能なコンピュータ機能を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態に係る撮像装置は、撮像素子１０、アナログデジタル（ＡＤ）変換部２０、タイミングジェネレータ（ＴＧ）３０、システム制御部４０、画像処理部５０、メモリ６０、表示器７０、及び記録媒体８０を有する。
【００１１】
撮像素子１０は、入射した光信号を電気的なアナログ信号に変換する。撮像素子１０から出力されるアナログ信号は、アナログデジタル変換部２０でデジタル信号に変換され、出力される。撮像素子１０及びアナログデジタル変換部２０は、タイミングジェネレータ３０からのタイミング信号により同期して動作する。
【００１２】
画像処理部５０は、システム制御部４０による制御に従って、アナログデジタル変換部２０から出力されたデジタル信号に対してデジタル信号処理を行う。このデジタル信号処理には、ノイズ低減、ゲイン調整、欠陥画素補間、及び行毎にランダムなオフセットノイズに対する画像補正等を含む。メモリ６０には、画像処理部５０の処理結果が記録される。また、メモリ６０は、信号処理の一時作業領域として用いることが可能となっている。
【００１３】
システム制御部４０は、タイミングジェネレータ３０に制御信号を送り、画像データの取得に係る撮像制御を行うとともに、画像処理部５０に対して信号処理に必要なデータを転送する。また、システム制御部４０は、メモリ６０に記録された画像データを表示器７０で表示したり、コンパクトフラッシュ（登録商標）やＳＤカード等の記録媒体８０に画像データを記録したりする。
【００１４】
図２は、本実施形態に係る撮像素子１０の構成例の概略を示す図である。撮像素子１０は、複数の単位画素１０１が２次元状（行方向及び列方向）に配列された画素部１００と、任意の画素出力を読み出すための垂直走査回路１０２、読み出し回路１０３、及び水平走査回路１０４とを有する。
【００１５】
図３（ａ）は、単位画素１０１の構成例を示す図である。図３（ａ）には、画素部１００が有する複数の単位画素１０１のうちｊ行目に配置された１つの単位画素１０１を一例として示している。単位画素１０１は、フォトダイオード（光電変換素子）１２０、転送スイッチ１２１、フローティングディフュージョン１２２、リセットスイッチ１２３、行選択スイッチ１２４、及びソースフォロアアンプ１２５を有する。ソースフォロアアンプ１２５は、配置された列の垂直信号線１２６に接続されている。
【００１６】
転送スイッチ１２１は、制御信号φＴＸによりオン／オフ制御され、リセットスイッチ１２７は、制御信号φＲによりオン／オフ制御され、行選択スイッチ１２４は、制御信号φＳＥＬによりオン／オフ制御される。制御信号φＴＸ、φＲ、φＳＥＬは、画素外部（垂直走査回路１０２）から供給される。
【００１７】
図３（ｂ）は、読み出し回路１０３の構成例を示す図である。読み出し回路１０３は、列毎に設けられた列回路１３０と出力アンプ１３５とを有する。列回路１３０は、ノイズ信号（Ｎ）読みスイッチ１３１ａ、撮像信号（Ｓ）読みスイッチ１３１ｂ、Ｎ読み容量１３２ａ、Ｓ読み容量１３２ｂ、Ｎ読み転送スイッチ１３３ａ、及びＳ読み転送スイッチ１３３ｂを有する。各々の列回路１３０には、対応する列の垂直信号線１２６が接続されている。また、各々の列回路１３０のＮ読み転送スイッチ１３３ａとＳ読み転送スイッチ１３３ｂは、それぞれ水平出力線１３４ａ、１３４ｂにより出力アンプ１３５に接続されている。
【００１８】
Ｎ読みスイッチ１３１ａは、制御信号φＴＮによりオン／オフ制御され、Ｓ読みスイッチ１３１ｂは、制御信号φＴＳによりオン／オフ制御される。また、Ｎ読み転送スイッチ１３３ａ及びＳ読み転送スイッチ１３３ｂは、画素外部（水平走査回路１０４）からの制御信号φＰＨによりオン／オフ制御される。
【００１９】
図４は、本実施形態における画素信号の読み出し動作例を示すタイミングチャートである。図４では、撮像素子１０の第ｉ列、第ｊ行に配置された画素からの読み出しを一例として示している。第ｊ行目の画素に共通の信号を、φＳＥＬ（ｊ）、φＲ（ｊ）、φＴＸ（ｊ）と表している。
【００２０】
まず、時刻Ｔ１〜時刻Ｔ２の期間において、リセット信号φＲ（ｊ）がアサートされる。また、時刻Ｔ１〜時刻Ｔ２の期間中に制御信号φＴＸ（ｊ）がアサートされることで、フォトダイオード１２０の信号電荷はリセットされる。この動作は、すべての行で行われ、画素部１００内のすべての画素が同時にリセットされる。リセット完了後、制御信号φＴＸ（ｊ）、φＲ（ｊ）はネゲートされる。
【００２１】
この後、時刻Ｔ３において、被写体像を導光する不図示のメカシャッターが開いて、すべての画素が同時に信号電荷の蓄積を開始する。メカシャッターは、時刻Ｔ４で閉じられる。時刻Ｔ３〜時刻Ｔ４の期間が、フォトダイオード１２０の信号電荷の蓄積期間となる。時刻Ｔ５において、行選択信号φＳＥＬ（ｊ）がアサートされ、第ｊ行目の画素の行選択スイッチ１２４がオンとなり、ソースフォロアアンプ１２５が動作状態になる。ここで、時刻Ｔ６〜時刻Ｔ７の期間において、リセット信号φＲ（ｊ）がアサートされることで、ソースフォロアアンプ１２５のゲートの電位がリセットされる。
【００２２】
時刻Ｔ８において、制御信号φＴＮがアサートされることで、リセット直後のダークレベル信号が、垂直出力線１２６及びＮ読みスイッチ１３１ａを介して、読み出し回路１０３内の第ｉ列目の列回路１３０のＮ読み容量１３２ａに保持される。Ｎ読み容量１３２ａにダークレベル信号の転送が完了した時刻Ｔ９で制御信号φＴＮはネゲートされる。Ｎ読み容量１３２ａに保持されたダークレベル信号を、ここではＮ読み信号と称する。
【００２３】
時刻Ｔ１０において、制御信号φＴＸ（ｊ）がアサートされ、フォトダイオード１２０に蓄積された信号電荷が、転送スイッチ１２１を介してフローティングディフュージョン１２２に転送される。転送された電荷はフローティングディフュージョン１２２の容量で電圧に変換され、信号レベルが確定する。信号電荷の転送が十分に行われた時刻Ｔ１１で制御信号φＴＸ（ｊ）をネゲートし、時刻Ｔ１２で制御信号φＴＳがアサートされる。これにより信号レベルが、垂直出力線１２６及びＳ読みスイッチ１３１ｂを介して、読み出し回路１３０内の第ｉ列目の列回路１３０のＳ読み容量１３２ｂに保持される。Ｓ読み容量１３２ｂに信号レベルの転送が完了した時刻Ｔ１３で制御信号φＴＳはネゲートされる。Ｓ読み容量１３２ｂに保持された信号レベルを、ここではＳ読み信号と称する。
【００２４】
時刻Ｔ１４において、行選択信号φＳＥＬ（ｊ）がネゲートされ、第ｊ行の画素からの画素信号の読み出しが完了する。このようにして保持されたＳ読み信号からＮ読み信号を、水平走査回路１０４からの制御信号φＰＨにより第ｉ列目の列回路から順に水平出力線１３４ａ、１３４ｂを介して出力アンプ１３５に出力する。出力アンプ１３５では、Ｓ読み信号からＮ読み信号を減算することでＳＮ比の良い画素信号が出力される。このような読み出し回路１０３の働きにより、ＣＭＯＳイメージセンサは良好なＳＮ比を得ることができるようになっている。
【００２５】
しかし、選択行の読み出し中に電源やグランド（ＧＮＤ）の電圧レベルが変動した場合、その電圧変動が選択行全体に水平方向のパターンノイズとして現れてしまう。これは、ノイズ信号の読み出し（Ｎ読み）と撮像信号の読み出し（Ｓ読み）の時刻差があることで、その間に生じた電圧変動が減算後の信号に行毎にランダムなオフセットノイズとして現れることが原因として考えられる。
【００２６】
図５は、本実施形態に係る撮像素子１０の画素レイアウトの例を示す図である。撮像素子１０には、遮光された画素が配置された垂直オプティカルブラック（ＶＯＢ）部１４０、水平オプティカルブラック（ＨＯＢ）部１４１、及び非遮光画素が配置された有効画素部１４２が存在する。遮光画素は、例えば撮像素子を製造する半導体プロセスでフォトダイオード前面の配線層により遮光される。
【００２７】
前述した行毎にランダムなオフセットノイズは、有効画素部１４２の画素出力に限らず、遮光されたＨＯＢ部１４１の画素出力にも同様に現れる。そのため、画像処理部５０でＨＯＢ部１４１の画素信号を用いて有効画素部１４２の画素信号をデジタル的に補正することが可能である。この画像補正処理について、以下に説明する。
【００２８】
ある行においてＨＯＢ部１４１の画素出力の水平方向の平均値を求めることで、ランダムノイズを抑制し、当該行におけるオフセットノイズ量を推定することができる。この推定されたオフセットノイズ量を減算することで有効画素部１４２の画素出力におけるオフセットノイズを補正する。また、当該行を含む複数行分のＨＯＢ部１４１の画素出力から平均値を求め、当該行のオフセットノイズ量を推定してもよい。後者の場合、増やした行数分だけ異なる行のオフセットノイズが計算に加わるため、当該行の正確なノイズ量を推定できなくなるが、平均母数が増えることでランダムノイズの抑制効果は大きく、大きな誤りとはなりにくいと考えられている。オフセットノイズ量を推定する際に使用する行数は、ＨＯＢ部１４１の１行分の画素数を考慮して適宜調整することが望ましい。この処理をＨＯＢ横縞補正と称する。
【００２９】
前述したＨＯＢ横縞補正によって、十分な補正効果を得るためには、ＨＯＢ部１４１の１行分の画素は十分な数が必要である。特に、ランダムノイズの影響が大きくなる高撮影感度（高ＩＳＯ感度）設定時においては、ＨＯＢ部１４１の画素出力からオフセットノイズ量を推定することが困難になる。
【００３０】
そこで、本実施形態では、ランダムノイズが大きい場合であっても、行毎にランダムなオフセットノイズを軽減し、十分な補正効果が得られる画像補正を行えるようにする。図６は、第１の実施形態に係る画像処理部５０の構成例を示すブロック図である。図６には、第１の実施形態に係る画像処理部５０が有する構成のうち、前述の撮像素子の読み出しに起因して発生する行毎にランダムなオフセットノイズを補正する部分のみを示している。
【００３１】
図６に示すように、画像処理部５０は、画素選択部５０２、第１の算出部５０３、第２の算出部５０４、及び行オフセット減算部５０５を有する。画素選択部５０２は、画像処理部５０に入力された画像データ（入力画像）に対して、有効画素部の画素出力の内から画素値の類似した被写体像の平坦部の画素出力を選択する。
【００３２】
ここで、被写体像の平坦部について図７を参照して説明する。図７は、画像データの被写体像の平坦部を説明するための図である。図７（ａ）に示す画像データに対して、図７（ｂ）においてハッチングを施した領域５１０は、人物等の主被写体ではない空や平坦な壁等が撮影された領域を示す。特に夜間の撮影では、主被写体に対して背景部分は露光不足で平坦な暗部として写りやすい。画素選択部５０２は、図７（ｂ）の領域５１０に示すような被写体像の平坦部の画素出力を選択する。
【００３３】
第１の算出部５０３は、画素選択部５０２が選択した画素出力から、行毎に水平方向の画素出力の平均値を求めて、画像垂直方向に関する１次元データである第１の１次元データＤＴＡを算出する。つまり、第１の算出部５０３では、行毎に平坦部として選択した画素出力の水平方向の平均値を算出することで、その行における画像水平方向の低周波成分を抽出している。第１の１次元データＤＴＡからは、画像水平方向の低周波成分の画像垂直方向に対する変化を知ることができる。
【００３４】
第１の算出部５０３により算出された第１の１次元データＤＴＡには、行毎にランダムなオフセットノイズ成分と被写体像の成分とが含まれる。第２の算出部５０４は、第１の１次元データＤＴＡに対してフィルタ処理を施すことにより、行毎にランダムなオフセットノイズ成分だけが抽出された第２の１次元データＤＴＢを算出する。前述した画素選択部５０２による処理で、第１の１次元データＤＴＡには低周波側に被写体像の成分を持ち、高周波側に行毎にランダムなオフセットノイズの成分が多く含まれ、被写体像の高周波成分は除去されている。したがって、第１の１次元データＤＴＡに対して低周波成分を小さくするフィルタ処理を行うだけで、被写体像の高周波成分の影響を受けることなく、行毎にランダムなオフセットノイズの成分のみが抽出された第２の１次元データＤＴＢを抽出することができる。
【００３５】
行オフセット減算部で５０５は、画像処理部５０に入力された画像データ（入力画像）から、第２の算出部５０４により算出された第２の１次元データＤＴＢを、行毎に減算する。これにより、前述したＨＯＢ横縞補正だけよりも、行毎にランダムなオフセットノイズが少ない画像データを得ることが可能となる。本実施形態では、画素選択部５０２により被写体像の平坦部の画素出力だけを取り出すことにより、フィルタ処理時にノイズ成分として取り出せる周波数帯域を広くでき、被写体のエッジ部の周波数帯域と重複するノイズ成分も抽出することが可能になる。
【００３６】
以下に、前述した第１の実施形態に係る画像処理部５０での処理について詳細を説明する。まず、画素選択部５０２の具体的な処理内容について説明する。図８は、画像における行毎の画素出力値の分布例を説明するための図である。図８（ａ）、（ｂ）に示すように、画像中の行ＣＡ及び行ＣＢから行毎の画像出力値のヒストグラムを作成した場合、ピントの合っている主被写体は高周波成分が多く、背景部等は低周波成分が多いため、画素出力の最頻値は背景部分を示している可能性が高い。背景部が空や平坦な壁等であった場合には、その傾向が強くなる。
【００３７】
そこで、画素選択部５０２は、行毎の画像出力値のヒストグラムを作成し、第１の閾値と第２の閾値との範囲内の画素出力を示す画素を、その行における平坦部画素とする。図８を参照して、第１の閾値及び第２の閾値の決定方法の一例を説明する。最頻値κとし、（κ−λ１）≦κ≦（κ＋λ２）の関係がある値λ１、λ２により、第１の閾値を（κ−λ１）、第２の閾値を（κ＋λ２）とする。値λ１、λ２の決定方法としては、撮影画像と同じ撮影感度（ＩＳＯ感度）設定で得られたダーク画像の画素値の標準偏差σを基準に決定してもよい。本発明者が実験的に行った結果では、それぞれ（κ−２σ）≦（κ−λ１）≦（κ−σ）、（κ+σ）≦（κ+λ２）≦（κ+２σ）の範囲で定めたときに良好な結果が得られた。ここで、一つ上の行の最頻値κ’により、第１の閾値を（κ’−λ１）、第２の閾値を（κ’＋λ２）としても差し支えない。
【００３８】
前述した処理において、電線等の水平方向に長く細い被写体が写っていた場合、行毎の画素出力の最頻値が短い周期で大きく変化することがある。図９は、水平方向に長く細い被写体が写っていた場合の行毎の画素出力の最頻値の例を示す図である。図９（ａ）に示すように行毎の画素出力の最頻値に高周波成分が含まれると、これを基に算出される第１の１次元データにも不要な高周波成分が含まれてしまい、フィルタ処理で行毎にランダムなオフセットノイズだけを抽出することが困難となってしまう。図９（ｂ）は、図９（ａ）に示したデータに対して移動平均フィルタをかけたデータを示している。このように、各行での最頻値κに対して移動平均フィルタ等のローパスフィルタ処理を施すことで、被写体平坦部の画素の選択において誤った判断をしにくくすることができる。
【００３９】
前述した第１の閾値及び第２の閾値の決定方法は一例であり、これに限定されるものではない。また、複数の画素出力を平坦部の画素選択の判定に使うことも可能である。例えば、画素選択部５０２は、注目している画素を中心に画像の水平方向に移動平均値を算出し、その平均値が第１の閾値と第２の閾値との範囲内であるときに、その注目している画素を平坦部画素と判断する。このようにした場合には、水平方向に移動平均を求めることでランダムノイズを抑制できるため、単一の画素だけで判断するよりも平坦部を正しく捉えることができる。また、複数の画素を使うことに関し、水平方向の複数の画素に限定するものではなく、２次元的に近傍に存在する画素を使っても良いし、移動平均以外のメディアンフィルタ等を使用しても良い。
【００４０】
次に、第１の算出部５０３の具体的な処理について説明する。第１の算出部５０３は、画素選択部５０２で被写体像の平坦部の画素と判断された画素の画素出力値を一行間に渡り、積分するとともに、その画素数をカウントする。そして、第１の算出部５０３は、行末の画素まで処理が終了すると、積分値を画素数で除算する。すべての行について処理が終了すると、第１の１次元データＤＴＡが得られる。
【００４１】
図１０は、第１の１次元データＤＴＡの特徴を説明するための図である。図１０（ａ）、（ｂ）に示すように、第１の１次元データは、横軸を画素部１００の行とし、縦軸を画素選択部５０２で選択された画素の水平方向の平均値としたデータである。図１０（ａ）は、入力画像に行毎のランダムノイズが存在する場合に第１の算出部５０３で得られる第１の１次元データを示している。図１０（ｂ）は、前述の行毎にランダムなオフセットノイズがなかった場合に同様の処理をして得られる第１の１次元データを示している。行毎にランダムなオフセットノイズがない場合、第１の１次元データは、画像垂直方向に対して大きく変化することが少ないため、図１０（ｂ）に示すような低周波成分が支配的なデータとなることが予想できる。したがって、図１０（ａ）に見られる高周波成分は、行毎にランダムなオフセットノイズの影響が主であると判断できる。
【００４２】
次に、第２の算出部５０４の具体的な処理について説明する。第２の算出部５０４は、第１の算出部５０３により算出された第１の１次元データに対して、特定の周波数帯域を抽出する処理を行うことにより、行毎にランダムなオフセットノイズを抽出する。周波数帯域毎に分解する方法としては、例えば離散ウェーブレット変換（Discrete Wavelet Transform）による多重解像度分解等がある。
【００４３】
図１１は、第２の算出部５０４の構成例を示すブロック図である。第２の算出部５０４は、周波数変換部５２０、帯域抽出部５２１、被写体エッジ除去部５２２、及び逆変換部５２３を有する。周波数変換部５２０は、離散ウェーブレット変換を第１の１次元データＤＴＡに適用し、周波数帯域毎のウェーブレット係数に分解する。また、離散ウェーブレット変換には高速アルゴリズムが知られている。ウェーブレット変換の概要を、図１２を参照して説明する。
【００４４】
図１２（ａ）は、ウェーブレット変換の概要を示す図である。離散ウェーブレット変換は、利得特性が対称な一組のローパスフィルタとハイパスフィルタとを利用して複数の周波数帯域に分解する。ローパスフィルタの出力として得られた信号はスケーリング係数と呼ばれ、ハイパスフィルタの出力として得られた信号はウェーブレット係数と呼ばれる。高速アルゴリズムを用いるにはデータ長が２のべき乗でなければならないので、ダミーデータ等で数を合わせる。
【００４５】
図１２（ａ）において、スケール０は原信号であり、便宜上、スケーリング係数Ｓ０として表している。スケーリング係数Ｓ０に対し、ローパスフィルタを通したスケーリング係数Ｓ１とハイパスフィルタを通したウェーブレット係数Ｔ１を得る。ここで、スケーリング係数Ｓ１及びウェーブレット係数Ｔ１のデータ長は、それぞれスケーリング係数Ｓ０の半分となる。同様にして、スケーリング係数Ｓ１に対し、ローパスフィルタを通したスケーリング係数Ｓ２とハイパスフィルタを通したウェーブレット係数Ｔ２を得る。スケーリング係数Ｓ２及びウェーブレット係数Ｔ２のデータ長は、スケーリング係数Ｓ１の半分である。また、ウェーブレット係数Ｔ１についてはフィルタ処理を行わない。このようにスケーリング係数にだけ一連のフィルタ処理を繰り返し行うことで、図１２（ａ）に示したように、繰り返した分だけ周波数帯域の異なるウェーブレット係数を得ることができる。
【００４６】
図１２（ｂ）は、各スケールでのウェーブレット係数がもつ周波数帯域を表した図である。帯域抽出部５２１は、前述のようにして周波数変換部５２０により得られたウェーブレット係数に対して、特定の周波数帯域成分以外に１．０以下のゲインを乗じて、行毎のオフセットノイズを抽出する。本実施形態では、第２の算出部５０４に入力された第１の１次元データＤＴＡには被写体像の成分が低周波成分として含まれているので、予め設定したスケール以下のウェーブレット係数にはゼロを乗じる。言い換えると、帯域抽出部５２１は、事前に決めた周波数帯域以下の成分をカットする。カットする周波数帯域は、行毎にランダムなオフセットノイズが撮像素子における垂直方向にどのような周波数帯域で出現しているかで判断する。
【００４７】
次に、被写体エッジ除去部５２２は、帯域抽出部５２１でカットしなかったウェーブレット係数に対しても、ウェーブレット係数の大きさに応じてゲイン調整を行う。図１３は、スケールｍのウェーブレット係数に対する被写体エッジ除去を示す図である。被写体エッジ除去部５２２は、スケールｍのウェーブレット係数のうち、負の閾値ａ１以下の係数及び正の閾値ａ２以上の係数に対して１．０以下のゲインを乗じる。この処理は、行毎にランダムなオフセットノイズは、被写体像のエッジ部分に比べ、画素値の変動が小さいという特徴を利用して、画素選択部５０２で混入してしまった被写体像のエッジ部の情報を縮小するために行う。これにより、画像補正後の画像において、被写体のエッジ情報が失われるのを抑制することができる。
【００４８】
逆変換部５２３は、被写体エッジ部５２２で処理したウェーブレット係数データを、逆離散ウェーブレット変換（Inverse Discrete Wavelet Transform）を施し、第２の１次元データＤＴＢを得る。ここで求められた第２の１次元データＤＴＢは、行毎にランダムなオフセットノイズが抽出されたものである。
【００４９】
なお、ここでは離散ウェーブレット変換を用いる例を説明したが、周波数帯域で成分の分離を行うことができれば、フーリエ変換やその他の多重解像度分解手段、又はデジタルフィルタを用いてもよい。
【００５０】
次に、行オフセット減算部５０５の具体的な処理について説明する。行オフセット減算部５０５は、画像処理部５０に入力された元の画像データから、第２の１次元データＤＴＢの中で元画像の行に対応する数値に後述する信頼性係数を乗じて行毎に一律の値を減算する。信頼性係数とは、第２の１次元データＤＴＢがどの程度正確に行毎にランダムなオフセットノイズを抽出できたかによって乗じるものである。例えば、画素選択部５０２で選択された画素のカウント数に応じて、１．０以下のゲインを信頼性係数として乗じる。例えば、画素選択部５０２で選択された画素のカウント数が大きい場合にはゲインを大きくし、カウント数が小さい場合にはゲインを小さくする。
【００５１】
第１の実施形態によれば、前述した画像処理部５０での処理により、有効画素の画素出力から画像に含まれる行毎にランダムなオフセットノイズの成分を除くことができる。したがって、画像に含まれる行毎にランダムなオフセットノイズに対する画像補正を有効画素の画素出力に適切に施すことができ、ランダムノイズが大きい場合であっても十分な補正効果を得ることができる。
【００５２】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態は、第１の実施形態における画像補正と前述したＨＯＢ横縞補正と併用するものである。以下では、第１の実施形態と異なる点についてのみ説明する。図１４は、第２の実施形態に係る画像処理部５０の構成例を示すブロック図である。なお、図１４においても、第２の実施形態に係る画像処理部５０が有する構成のうち、前述の撮像素子の読み出しに起因して発生する行毎にランダムなオフセットノイズを補正する部分のみを示している。図１４において、図６に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。
【００５３】
図１４に示すように、画像処理部５０は、ＨＯＢ横縞補正部５００、ＩＳＯ感度判定部５０１、画素選択部５０２、第１の算出部５０３、第２の算出部５０４、及び行オフセット減算部５０５を有する。画像処理部５０に入力された画像データ（入力画像）は、まずＨＯＢ横縞補正部５００に入力される。ＨＯＢ横縞補正部５００は、前述の第１の実施形態で説明したＨＯＢ横縞補正処理を行う。ＨＯＢ横縞補正処理に用いるＨＯＢ画素の行数は、撮影感度（ＩＳＯ感度）の設定に応じて予め決めておく。ここで、撮影感度（ＩＳＯ感度）の設定が高いほどランダムノイズが大きくなることから、撮影時の撮影感度（ＩＳＯ感度）が高いほど補正に用いるＨＯＢ画素の行数を十分に大きくする。これにより、行毎にランダムなオフセットノイズの低周波成分が除去された第１の横縞補正画像が得られる。
【００５４】
ＨＯＢ横縞補正処理に用いるＨＯＢ画素の行数の決定方法としては、例えば撮像素子１０に光が入り込まないように遮光して撮影した画像（以下、ダーク画像と称する）の有効画素部の画素値のばらつきから決定する方法がある。有効画素部の画素出力値が平均μ、標準偏差σの分布を持っているとき、中心極限定理に基づき、画素ｎ個の平均値は平均μ、標準偏差σ／√ｎの分布に含まれる。平均値の標準偏差σ／√ｎが十分に小さくなるように値ｎを決定する。なお、値ｎが２のべき乗となるようにすると除算がシフト演算で実現できるので、実装上好ましい。
【００５５】
ＩＳＯ感度判定部５０１は、画像データの撮影感度（ＩＳＯ感度）に応じたスイッチから成る。ＩＳＯ感度判定部５０１は、画像処理装置５０に入力された画像データの撮影時の撮影感度（ＩＳＯ感度）を基に、第１の横縞補正画像を画素選択部５０２に出力するか否かを判定する。画像処理装置５０に入力された画像データの撮影時の撮影感度（ＩＳＯ感度）が予め設定された撮影感度である場合、第１の横縞補正画像を画素選択部５０２に出力し、第１の実施形態と同様の処理を行う。このように第２の実施形態によれば、第１の実施形態における画像補正とＨＯＢ横縞補正部５００によるＨＯＢ横縞補正処理とを併用することで、行毎にランダムなオフセットノイズの低周波成分と高周波成分を合わせて軽減することができる。
【００５６】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５７】
例えば、第１及び第２の実施形態に示した画像処理装置は、図１５に示すようなコンピュータ機能１０００を有し、そのＣＰＵ１００１により第１及び第２の実施形態での動作が実施される。コンピュータ機能１０００は、図１５に示すように、ＣＰＵ１００１と、ＲＯＭ１００２と、ＲＡＭ１００３とを備える。また、操作部（ＣＯＮＳ）１００９のコントローラ（ＣＯＮＳＣ）１００５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）１０１０のディスプレイコントローラ（ＤＩＳＰＣ）１００６とを備える。さらに、ハードディスク（ＨＤ）１０１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）１０１２のコントローラ（ＤＣＯＮＴ）１００７と、ネットワークインタフェースカード（ＮＩＣ）１００８とを備える。それら機能部１００１、１００２、１００３、１００５、１００６、１００７、１００８は、システムバス１００４を介して互いに通信可能に接続された構成としている。
【００５８】
ＣＰＵ１００１は、ＲＯＭ１００２又はＨＤ１０１１に記憶されたソフトウェア、又はＳＴＤ１０１２より供給されるソフトウェアを実行することで、システムバス１００４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ１００１は、前述したような動作を行うための処理プログラムを、ＲＯＭ１００２、ＨＤ１０１１、又はＳＴＤ１０１２から読み出して実行することで、第１及び第２の実施形態での動作を実現するための制御を行う。ＲＡＭ１００３は、ＣＰＵ１００１の主メモリ又はワークエリア等として機能する。ＣＯＮＳＣ１００５は、ＣＯＮＳ１００９からの指示入力を制御する。ＤＩＳＰＣ１００６は、ＤＩＳＰ１０１０の表示を制御する。ＤＣＯＮＴ１００７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び第１及び第２の実施形態における前記処理プログラム等を記憶するＨＤ１０１１及びＳＴＤ１０１２とのアクセスを制御する。ＮＩＣ１００８はネットワーク１０１３上の他の装置と双方向にデータをやりとりする。
【００５９】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６０】
１０：撮像素子  ５０：画像処理部  ５００：ＨＯＢ横縞補正部  ５０１：ＩＳＯ感度判定部  ５０２：画素選択部  ５０３：第１の算出部  ５０４：第２の算出部  ５０５：行オフセット減算部
【図１】
2015177244.tif 000003
【図２】
2015177244.tif 000004
【図３】
2015177244.tif 000005
【図４】
2015177244.tif 000006
【図５】
2015177244.tif 000007
【図６】
2015177244.tif 000008
【図７】
2015177244.tif 000009
【図８】
2015177244.tif 000010
【図９】
2015177244.tif 000011
【図１０】
2015177244.tif 000012
【図１１】
2015177244.tif 000013
【図１２】
2015177244.tif 000014
【図１３】
2015177244.tif 000015
【図１４】
2015177244.tif 000016
【図１５】
2015177244.tif 000017