(57)【要約】【課題】多重解像度ノイズ除去を少ないラインメモリでパイプライン処理する。【解決手段】取得画像に対応する縮小画像を生成する画像縮小部と、生成された縮小画像を記憶する縮小画像記憶部と、画像縮小部による処理と並行して、取得画像を記憶する画像記憶部と、取得画像の画素の低周波ノイズ成分を、画素に対応する位置の縮小画像の所定の領域に含まれる画素の画素データに基づいて順次に抽出する低周波ノイズ成分抽出部と、生成された低周波ノイズ成分の出力に同期して、画像記憶部に記憶された取得画像あるいは取得画像から生成された補正画像の対応する画素データを順次に読み込み、読み込まれた画素データから低周波ノイズ成分を順次に減算するノイズ減算部とを備え、低周波ノイズ成分抽出部とノイズ減算部とによる各処理をパイプライン化する。【選択図】      図１
2010187364.tif 000002
【特許請求の範囲】
【請求項１】
読み込んだ取得画像の縮小画像を生成する画像縮小部と、
前記生成された縮小画像を記憶する縮小画像記憶部と、
前記画像縮小部による処理と並行して、前記取得画像を記憶する画像記憶部と、
前記取得画像の画素の低周波ノイズ成分を、前記画素に対応する位置の前記縮小画像の所定の領域に含まれる画素の画素データに基づいて順次に抽出する低周波ノイズ成分抽出部と、
前記生成された前記低周波ノイズ成分の出力に同期して、前記画像記憶部に記憶された前記取得画像あるいは前記取得画像から生成された補正画像の対応する画素データを順次に読み込み、前記読み込まれた画素データから前記低周波ノイズ成分を順次に減算するノイズ減算部とを備え、
前記低周波ノイズ成分抽出部と前記ノイズ減算部とによる各処理がパイプライン化されている
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記低周波ノイズ成分抽出部は、
前記取得画像の画素に対応する前記縮小画像または前記縮小画像から生成された補正縮小画像の画素のノイズ成分を、前記縮小画像の前記画素を含む所定の領域に含まれる画素の画素データに基づいて順次に抽出するノイズ成分抽出部と、
前記ノイズ成分抽出部から順次に渡される前記ノイズ成分に拡大処理を行い、前記取得画像の前記画素における低周波ノイズ成分を順次に生成する拡大処理部と
から成ることを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記低周波ノイズ成分抽出部は、
前記取得画像から生成された補正画像に対して縮小処理を行うことにより、第二の縮小画素データを順次に生成する第二の画像縮小部と、
前記第二の縮小画素データと前記画像縮小部で生成された前記縮小画像に含まれる各画素の画素データに基づいて前記第二の縮小画素データのノイズ成分を順次に抽出するノイズ成分抽出部と、
前記ノイズ成分抽出部から順次に渡される前記ノイズ成分に拡大処理を行い、前記取得画像の前記画素における低周波ノイズ成分を順次に生成する拡大処理部と
から成ることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記ノイズ成分抽出部は、前記画像縮小部で生成された前記縮小画像に含まれる各画素の画素データに基づいて、前記第二の縮小画素データを平滑化することにより、ノイズ成分を抽出する
ことを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、
前記画像縮小部で生成された前記縮小画像に含まれる各画素の画素データのノイズを除去する縮小画像ノイズ除去部をさらに備え、
前記ノイズ成分抽出部は、前記縮小画像ノイズ除去部でノイズを除去された縮小画像の画素データと前記第二の縮小画素データとの差分を前記ノイズ成分として抽出する
ことを特徴とする画像処理装置。
【請求項６】
請求項３に記載の画像処理装置において、
前記画像縮小部で生成された前記縮小画像の低周波ノイズを除去する縮小画像低周波ノイズ除去部をさらに備え、
前記ノイズ成分抽出部は、前記縮小画像低周波ノイズ除去部によってノイズを除去された、前記画像縮小部で生成された前記縮小画像の画素データに基づいて、前記第二の縮小画素データのノイズ成分を順次に抽出する
ことを特徴とする画像処理装置。
【請求項７】
読み込んだ取得画像の縮小画像を生成する画像縮小部と、
前記縮小画像が生成される過程で前記縮小画像の画素のノイズ成分を順次に抽出するノイズ成分抽出部と、
前記抽出された前記ノイズ成分を記憶するノイズ成分記憶部と、
前記画像縮小部による処理と並行して、前記取得画像を記憶する画像記憶部と、
前記画像記憶部に記憶された１フレームの前記取得画像に対応して前記ノイズ成分記憶部に記憶された前記ノイズ成分から、前記取得画像の画素に対応する前記縮小画像の画素の画素データに含まれるノイズ成分を順次に読み出して拡大処理を行い、前記取得画像の前記画素における低周波ノイズ成分を順次に生成する拡大処理部と、
前記生成された前記低周波ノイズ成分の出力に同期して、前記画像記憶部に記憶された前記取得画像あるいは前記取得画像から生成された補正画像の対応する画素データを順次に読み込み、前記読み込まれた画素データから前記拡大処理部から順次に渡される前記低周波ノイズ成分を順次に減算するノイズ減算部とを備え、
前記ノイズ成分抽出部と前記拡大処理部と前記ノイズ減算部とによる各処理がパイプライン化されている
ことを特徴とする画像処理装置。
【請求項８】
請求項１または請求項７に記載の画像処理装置において、
前記取得画像の画素の画素データを前記画像記憶部に記憶させる過程と並行して、前記取得画像のホワイトバランス補正値を算出する補正値算出部と、
前記低周波ノイズ成分を生成する処理と並行して、前記画像記憶部から読み出した画素の画素データに前記ホワイトバランス補正値を適用して、前記ノイズ減算部の処理に供する補正適用部と
を備えたことを特徴とする画像処理装置。
【請求項９】
撮像部と、
前記撮像部で取得された取得画像の縮小画像を生成する画像縮小部と、
前記生成された縮小画像を記憶する縮小画像記憶部と、
前記画像縮小部による処理と並行して、前記取得画像を記憶する画像記憶部と、
前記取得画像の画素の低周波ノイズ成分を、前記画素に対応する位置の前記縮小画像の所定の領域に含まれる画素の画素データに基づいて順次に抽出する低周波ノイズ成分抽出部と、
前記生成された前記低周波ノイズ成分の出力に同期して、前記画像記憶部に記憶された前記取得画像あるいは前記取得画像から生成された補正画像の対応する画素データを順次に読み込み、前記読み込まれた画素データから前記低周波ノイズ成分を順次に減算するノイズ減算部とを備え、
前記低周波ノイズ成分抽出部と前記ノイズ減算部とによる各処理がパイプライン化されている
ことを特徴とするデジタルカメラ。
【請求項１０】
撮像部と、
前記撮像部で取得された取得画像の縮小画像を生成する画像縮小部と、
前記縮小画像が生成される過程で前記縮小画像の画素のノイズ成分を順次に抽出するノイズ成分抽出部と、
前記抽出された前記ノイズ成分を記憶するノイズ成分記憶部と、
前記画像縮小部による処理と並行して、前記取得画像を記憶する画像記憶部と、
前記画像記憶部に記憶された１フレームの前記取得画像に対応して前記ノイズ成分記憶部に記憶された前記ノイズ成分から、前記取得画像の画素に対応する前記縮小画像の画素の画素データに含まれるノイズ成分を順次に読み出して拡大処理を行い、前記取得画像の前記画素における低周波ノイズ成分を順次に生成する拡大処理部と、
前記生成された前記低周波ノイズ成分の出力に同期して、前記画像記憶部に記憶された前記取得画像あるいは前記取得画像から生成された補正画像の対応する画素データを順次に読み込み、前記読み込まれた画素データから前記アップサンプリング部から順次に渡される前記低周波ノイズ成分を順次に減算するノイズ減算部とを備え、
前記ノイズ成分抽出部と前記拡大処理部と前記ノイズ減算部とによる各処理がパイプライン化されている
ことを特徴とするデジタルカメラ。
【請求項１１】
請求項９または請求項１１に記載のデジタルカメラにおいて、
前記取得画像の画素の画素データを前記画像記憶部に記憶させる過程と並行して、前記取得画像のホワイトバランス補正値を算出する補正値算出部と、
前記低周波ノイズ成分を生成する処理と並行して、前記画像記憶部から読み出した画素の画素データに前記ホワイトバランス補正値を適用して、前記ノイズ減算部の処理に供する補正適用部と
を備えたことを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取得された画像について多重解像度解析を用いたノイズ除去処理を適用するための画像処理装置およびデジタルカメラに関する。
【背景技術】
【０００２】
デジタルカメラなどで取得される画像データに現れる低周波ノイズを除去する方法の一つとして、多重解像度解析を用いたノイズ除去処理(以下、多重解像度ノイズ除去処理と称する)が知られている。
【０００３】
多重解像度ノイズ除去処理は、複数の縮小倍率で縮小された縮小画像についてのノイズ除去効果を元のサイズの画像に反映することにより、例えば、行方向およびまたは列方向に数十画素に渡るような低周波ノイズの除去を実現する技術である(特許文献１参照)。
【０００４】
例えば、行方向および列方向にそれぞれ４分の１の縮小率を適用してダウンサンプリングを行って１６分の１の縮小画像を生成し、この縮小画像から抽出したノイズ成分について線形補間などを用いてアップサンプリングすることにより、元画像サイズの低周波ノイズ成分を推定することができる。このようにして推定された低周波ノイズ成分を元画像から差し引くことにより、元画像から低周波ノイズ成分を除去することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
高画素化が進んだ近年のデジタルカメラでは、幅数十画素に及ぶ低周波ノイズが現れる場合がある。このような低周波ノイズを除去する処理を、パイプライン処理によって迅速に実行するためには、低周波ノイズの広がりとして想定される範囲よりも大きい範囲の画像データを保持するラインメモリを用意する必要がある。
【０００６】
しかしながら、そのような膨大なラインメモリを用意することは、回路規模の大幅な増大を招き、また、画像処理回路のコストの増加にもつながってしまう。
【０００７】
本発明は、パイプライン化した多重解像度ノイズ除去処理を少ないラインメモリによって実現する画像処理装置およびデジタルカメラを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した目的は、以下に開示する画像処理装置およびデジタルカメラによって達成することができる。
【０００９】
第１の観点の画像処理装置およびデジタルカメラは、読み込んだ取得画像の縮小画像を生成する画像縮小部と、生成された縮小画像を記憶する縮小画像記憶部と、画像縮小部による処理と並行して、取得画像を記憶する画像記憶部と、取得画像の画素の低周波ノイズ成分を、画素に対応する位置の縮小画像の所定の領域に含まれる画素の画素データに基づいて順次に抽出する低周波ノイズ成分抽出部と、生成された低周波ノイズ成分の出力に同期して、画像記憶部に記憶された取得画像あるいは取得画像から生成された補正画像の対応する画素データを順次に読み込み、読み込まれた画素データから低周波ノイズ成分を順次に減算するノイズ減算部とを備え、低周波ノイズ成分抽出部とノイズ減算部とによる各処理がパイプライン化されている。
【発明の効果】
【００１０】
以上に説明した画像処理装置によれば、作成が完了した縮小画像における低周波ノイズの広がりに相当する範囲を参照して縮小画像の各画素についての低周波ノイズ成分を抽出するので、取得画像において低周波ノイズの広がりとして想定される範囲を保持する場合に比べて格段に少ないラインメモリを用いたパイプライン処理を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理装置の一実施形態を示す図である。
【図２】縮小画像と抽出されるノイズ成分との関係を説明する図である。
【図３】画像処理装置の別実施形態を示す図である。
【図４】画像処理装置の別実施形態を示す図である。
【図５】画像処理装置の別実施形態を示す図である。
【図６】画像処理装置の別実施形態を示す図である。
【図７】画像処理装置の別実施形態を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(実施形態１)
図１に、画像処理装置の一実施形態を示す。
【００１３】
図１に示す画像処理装置２０は、デジタルカメラの撮像部１１に備えられた撮像素子に含まれる各画素にＢａｙｅｒ配列に従って配置されたカラーフィルタに対応する色成分の強度を示す画素データを含むＲＡＷ画像データを受け取る。
【００１４】
このＲＡＷ画像に含まれる各画素データがＲＡＷ画像記憶部１２に格納される過程と並行して、ホワイトバランス(ＷＢ)補正値算出部１３により、自動ホワイトバランス補正に必要なホワイトバランス補正値が算出され、ホワイトバランス(ＷＢ)補正値記憶部１４に保持される。
【００１５】
また、このホワイトバランス補正値の算出処理と並行して、画像縮小部２１により、ＲＡＷ画像に含まれる各画素データから例えば縮小率４分の１の縮小画像が作成され、作成された縮小画像が縮小画像記憶部２２に格納される。例えば、画像縮小部２１は、まず、ＲＡＷ画像の２行２列の範囲の対角位置にあるＧ画素の画素値を平均してこの範囲に対応する２分の１縮小画像のＧ成分の画素値とし、また、この範囲に含まれるＲ画素およびＢ画素の画素値をそれぞれ縮小画像の同じ画素のＲ、Ｂ成分の画素値とする。このようにして得られた２分の１縮小画像の行方向および列方向について、それぞれ平滑化処理を行った後に、例えば、行方向および列方向における位置がともに偶数で示される画素を抽出することにより、ＲＧＢ各成分について４分の１縮小画像を作成することができる。
【００１６】
このようにして、画像処理装置２０では、ＲＡＷ画像記憶部１２へのＲＡＷ画像の格納処理と並行して、ホワイトバランス補正値の算出処理と縮小画像の作成処理とが行われ、ＲＡＷ画像の格納終了とともに、ホワイトバランス補正値記憶部１４および縮小画像記憶部２２へのホワイトバランス補正値および縮小画像の格納処理を完了させることができる。
【００１７】
このＲＡＷ画像記憶部１２に格納されたＲＡＷ画像に含まれる各画素の画素データの読み出しに先立って、縮小画像ホワイトバランス(ＷＢ)補正部２３により、上述した縮小画像記憶部２２から縮小画像の各画素が読み出され、上述したホワイトバランス補正値を用いて自動ホワイトバランス補正処理が行われる。
【００１８】
このようにして自動ホワイトバランス補正が適用された後に、縮小画像の各画素の画素データは、順次にノイズ成分抽出部２４に渡され、このノイズ成分抽出部２４に備えられたラインメモリ(図２参照)に保持される。
【００１９】
ノイズ成分抽出部２４は、図２(ａ)に示すように、ノイズ成分抽出対象の画素(図２(ａ)において白抜きの四角で示した)を中心とする所定の参照範囲(例えば、９画素×９画素)の縮小画像の範囲がラインメモリに蓄えられたときに、この範囲に含まれる各画素の画素データを参照して、上述したノイズ成分抽出対象の画素におけるノイズ成分を抽出する。
【００２０】
縮小画像ホワイトバランス補正部２３から縮小画像の新たな画素の画素データが渡されるごとに、ノイズ成分抽出部２４により、この画素を含む所定の参照範囲において中央に位置する画素に対応するノイズ成分が抽出される。抽出されたノイズ成分は、順次にアップサンプリング部２５に渡されて、このアップサンプリング部２５に備えられたラインメモリ(図２(ｂ)参照)に保持される。
【００２１】
アップサンプリング部２５では、抽出されたノイズ成分について後述するアップサンプリング処理を行うことにより、縮小前の元サイズの画像に対応する低周波ノイズ成分を算出する。
【００２２】
アップサンプリング部２５は、新たな画素に対応するノイズ成分の入力に応じて、この画素を含む縮小画像の所定の範囲に含まれる画素に対応するノイズ成分についてアップサンプリング処理を行う。このアップサンプリング処理により、上述した縮小画像の範囲に対応する縮小前の画像の範囲に含まれる各画素に対応する低周波ノイズ成分が得られる。つまり、アップサンプリング部２５によるアップサンプリング処理は、縮小画像から抽出したノイズ成分に基づいて縮小前の画像の低周波ノイズ成分を求めるための「拡大処理」に相当する。
【００２３】
図２(ｂ)は、アップサンプリング部２５に新たに入力されるノイズ成分に対応する画素と、このノイズ成分の入力に応じて行われるアップサンプリング処理で参照されるノイズ成分に対応する画素の範囲との関係を示している。図２(ｂ)において、新たに入力されるノイズ成分に対応する画素は、白抜きで示されている。また、このノイズ成分の入力に応じて、アップサンプリング部２５によるアップサンプリング処理の対象となる画素の範囲は、図２(ｂ)において太い破線で囲んで示されている。図２(ｂ)に示した例では、新たに入力されたノイズ成分に対応する画素とこの画素の周囲に位置する入力済みの画素とに対応するノイズ成分が、アップサンプリング処理部２５によるアップサンプリング処理に供される。そして、このアップサンプリング処理により、縮小前の元サイズの画像において、これらの画素に対応する領域に含まれる各画素に対応する低周波ノイズ成分が算出される。図２(ｂ)において太い破線で囲んで示した範囲に対応する縮小前の画像の範囲を、図２(ｃ)において太い破線で囲んで示す。アップサンプリング部２５は、縮小画像の上述した範囲に対応してラインメモリに保持されたノイズ成分について、例えば線形補間処理を行うことにより、縮小前の画像において対応する範囲に含まれる各画素に対応する低周波ノイズ成分を算出することができる。なお、図２(ｃ)において、二重枠で示した画素は、図２(ｂ)において、太い破線で囲んで示した４つの縮小画像の画素に対応している。
【００２４】
このように、補正対象の画素に対応する低周波ノイズ成分の算出に必要な分だけ縮小画像の読み出しを先行させた後に、ＲＡＷ画像記憶部１２に記憶させたＲＡＷ画像に含まれる各画素の画素データの読み出しが開始される。
【００２５】
ＲＡＷ画像記憶部１２から順次に読み出された画素データは、ＲＡＷ画像ホワイトバランス(ＷＢ)補正部１５により、上述したホワイトバランス補正値を用いた自動ホワイトバランス補正を適用された後に、補間処理部１６に渡され、各画素に対応するＲＧＢ成分の画素データが算出される。
【００２６】
この補間処理後の各画素の画素データは、低周波ノイズ減算部２６に渡され、この低周波ノイズ減算部２６により、上述したようにしてアップサンプリング部２５によって算出された低周波ノイズ成分を画素データから減算することにより、低周波ノイズの除去処理が行われる。
【００２７】
このようにして、低周波ノイズ除去された画像データは、高周波ノイズ除去部２７に送られ、この高周波ノイズ除去部２７により、公知の手法を用いた高周波ノイズ成分除去処理を適用した後に、後段の処理(例えば、画像圧縮処理など)に供される。
【００２８】
上述したように、図１に示した画像処理装置２０では、ＲＡＷ画像をＲＡＷ画像記憶部１２に格納する処理と並行して縮小画像の作成が行われ、ＲＡＷ画像記憶部１２への格納完了とともに、１フレームの元サイズの画像に対応する縮小画像の作成も完了している。
【００２９】
これにより、補正対象の画素に対応する低周波ノイズ成分の算出に必要な分だけ先行して読み出された縮小画像を保持するラインメモリと、アップサンプリング処理に必要なラインメモリとを用意することにより、ＲＡＷ画像に対するホワイトバランス補正や補間処理と並行して、縮小画像についてのホワイトバランス補正や低周波ノイズ成分算出処理を実行するパイプライン処理を実現することができる。
【００３０】
例えば、図２(ａ)に示したように、縮小画像において９画素×９画素の範囲についてノイズ成分の抽出を行う場合は、ノイズ成分抽出部２４に９ライン分の縮小画像を格納するラインメモリを用意するとともに、アップサンプリング部２５に２ライン分の縮小画像に対応するラインメモリを用意すればよい。これらのラインメモリを利用することにより、縮小画像において９画素×９画素の範囲に対応する３６画素×３６画素程度の広がりを持つ低周波ノイズを除去する処理をパイプライン化することができる。
【００３１】
更に、高周波ノイズ除去部２７に、縮小画像の１画素に対応する元サイズ画像の範囲よりも大きい参照範囲(例えば、７画素×７画素)に対応するラインメモリ（例えば、７ライン分）を用意し、ノイズ除去処理を行うことにより、縮小画像の１画素に対応する元サイズの画像の範囲程度を繰返し周期とする高周波ノイズの除去処理も含めてパイプライン化することができる。
【００３２】
上述した画像処理装置２０におけるパイプライン処理では、縮小画像を用いたノイズ除去処理で参照する元サイズの画像の画素データを読み出し終わるまでの間、そのノイズ除去効果が反映される範囲の元サイズの画像データを記憶させておく必要がないので、上述したように、格段に少ないラインメモリでパイプライン処理を実現することができる。
【００３３】
また、上述したように、ホワイトバランス補正値の算出処理と並行して、縮小画像の作成までのパイプライン処理を行い、ホワイトバランス補正適用処理および補間処理とを並行して、縮小画像を用いた低周波ノイズ抽出までのパイプライン処理を行うことができる。このように、ホワイトバランス補正処理にかかわるパイプラインの分割と、多重解像度ノイズ除去処理にかかわるパイプラインの分割とをあわせることにより、パイプライン処理を分割したことによる処理時間の増大を抑えることができる。
【００３４】
なお、上述した多重解像度ノイズ除去処理を実現する前半のパイプライン処理と後半のパイプライン処理とをホワイトバランス補正値の算出処理およびホワイトバランス補正値の適用処理以外の処理と組み合わせることもできる。また、上述した多重解像度ノイズ除去処理を実現する前半のパイプライン処理と後半のパイプライン処理を、他のパイプライン処理と組み合わせずに実行させることもできる。
(実施形態２)
図３に、画像処理装置の別実施形態を示す。
【００３５】
なお、図３に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００３６】
図３に示した画像縮小部２１は、ＲＧＢ成分ごとに縮小画像を生成して、縮小画像記憶部２２に保持する。縮小画像記憶部２２に記憶されたＲＧＢ各成分の縮小画像に基づいて、ノイズ成分抽出部３３により、ＲＧＢ成分についてノイズ成分が抽出され、アップサンプリング部３４の処理に供される。
【００３７】
このアップサンプリング部３４は、ノイズ成分抽出部３３によって抽出されたＲＧＢ成分についてのノイズ成分に対して線形補間処理などを適用することにより、元サイズの画像に含まれる各画素に対応する低周波ノイズ成分を算出する。
【００３８】
低周波ノイズ減算部３５は、ＲＡＷ画像記憶部１２に記憶されたＲＡＷ画像に含まれる各画素の画素データを順次に読み出し、読み出した画素データから上述したようにして算出されたＲＧＢ成分についての低周波ノイズ成分を減算することにより、ＲＡＷ画像から低周波ノイズ成分を除去する。
【００３９】
このようにして低周波ノイズ成分が除去されたＢａｙｅｒ配列の画像に対して、ホワイトバランス(ＷＢ)補正部３６により、ホワイトバランス補正値記憶部１４に記憶されたホワイトバランス補正値を用いて補正処理が行われる。次いで、ホワイトバランス補正されたＢａｙｅｒ配列の画像データは、補間処理部１６による補間処理に供され、元サイズの各画素に対応してＲＧＢ成分が揃った画像データに変換されて、高周波ノイズ除去部２７の処理に供される。
【００４０】
このように、ＲＡＷデータから低周波ノイズ成分を除去した後に、ホワイトバランス補正および補間処理を行う構成を採用した場合についても、上述した実施形態１と同様の少ないラインメモリを用いて、多重解像度ノイズ除去処理をパイプライン化して処理することができる。
【００４１】
この構成では、アップサンプリング部３４は、Ｂａｙｅｒ配列の元サイズ画像において各色成分が配置されている画素に対応してＲＧＢ成分の低周波ノイズ成分を算出すればよい。したがって、元サイズの画像に含まれる全ての画素についてＲＧＢ成分の低周波ノイズ成分を算出する場合に比べて、計算量を大幅に削減することができる。
(実施形態３)
図４に、画像処理装置の別実施形態を示す。
【００４２】
なお、図４に示した構成要素のうち、図１、図３に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４３】
図４に示した画像処理装置では、画像縮小部２１がＲＧＢ成分ごとの縮小画像を生成する過程に並行して、ノイズ成分抽出部３３によるノイズ成分の抽出処理が行われる。そして、抽出されたノイズ成分がノイズ成分記憶部３７に記憶される。
【００４４】
この構成では、１フレーム分のＲＡＷ画像がＲＡＷ画像記憶部１２に記憶された段階で、このＲＡＷ画像に対応する縮小画像に含まれる各画素について抽出されたノイズ成分のノイズ成分記憶部３７への記憶処理が完了している。
【００４５】
したがって、アップサンプリング部３４は、ＲＡＷ画像記憶部１２からＲＡＷ画像に含まれる各画素の画素データが読み出されるタイミングに先立って、読出対象の画素に対応する縮小画像の画素を含む縮小画素のラインおよびその前のラインに対応するノイズ成分をノイズ成分記憶部３７からラインメモリに読み込む。そして、読み込んでおいた２ライン分のノイズ成分について線形補間処理を行うことにより、ＲＡＷ画像に含まれる各画素の画素データの出力に同期して、対応する低周波ノイズ成分が低周波ノイズ減算部３５に渡される。
(実施形態４)
図５に、画像処理装置の別実施形態を示す。なお、図５に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４６】
第二の画像縮小部２８が、補間処理部１６から出力される画像データに対して縮小処理を行い、補間処理された画像を縮小した第二の縮小画像に含まれる各画素の画素データである第二の縮小画素データを生成する。
【００４７】
そして、ノイズ成分抽出部２９は、縮小画像ＷＢ補正部２３から出力される縮小画像データを用いて、第二の縮小画素データを平滑化し、第二の縮小画素データの平滑化前の値と平滑化後の値との差分をノイズ成分として抽出する。この平滑化処理は、例えばεフィルターなどの公知のノイズ除去処理において、平滑化対象画像データとして第二の縮小画素データを用い、それ以外の参照画像データとして縮小画像ＷＢ補正部２３から出力される縮小画像データを用いればよい。
【００４８】
補間処理部１６の処理内容によっては、補間処理部１６で生成される画像に含まれる低周波ノイズ成分と、縮小画像ＷＢ補正部２３から出力される縮小画像に含まれる低周波ノイズ成分とが、少し異なる場合がある。このような場合でも、本実施形態のように、補間処理部１６で生成される画像から生成された第二の縮小画像を参照して低周波ノイズ成分を生成することにより、補間処理部１６で生成される画像に含まれる低周波ノイズ成分を精度よく抽出することができ、適切にノイズを除去することができる。
(実施形態５)
図６に、画像処理装置の別実施形態を示す。なお、図６に示した構成要素のうち、図１、図５に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４９】
ノイズ除去部３８が、縮小画像ＷＢ補正部２３から出力される縮小画像データに対してノイズ除去処理を行う。そして、ノイズ成分抽出部３９が、第二の画像縮小部２８で生成された第二の縮小画素データから、ノイズ除去部３８でノイズ除去された縮小画像データを減算することにより、ノイズ成分を抽出する。
【００５０】
本実施形態によると、実施形態４と同様に、補間処理部１６で生成される画像に含まれる低周波ノイズ成分を精度よく抽出することができる。
(実施形態６)
図７に、画像処理装置の別実施形態を示す。なお、図７に示した構成要素のうち、図１、図５に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００５１】
ＲＡＷ画像記憶部１２がＲＡＷ画像を記憶する処理と並行して、第三の画像縮小部４１が、画像縮小部２１で縮小された縮小画像を更に縮小する。上記処理と並行して、第二の縮小画像記憶部４２が、第三の画像縮小部４１で生成された第三の縮小画像を記憶する。
【００５２】
次に、ＷＢ補正値が算出された後、第二の縮小画像ＷＢ補正部４３が、第二の縮小画像記憶部４２から順次読み出された画素データに対してＷＢ補正処理を行う。そして、第四の画像縮小部４４が、縮小画像ＷＢ補正部２３から出力された縮小画像データに対してさらに縮小処理を行う。この縮小処理により、ＷＢ補正処理が為された縮小画像をさらに縮小した縮小画像に含まれる各画素の画素データである第四の縮小画素データが生成される。そして、第二のノイズ成分抽出部４５が、第二の縮小画像ＷＢ補正部４３から出力される縮小画像データを参照し、ノイズ成分抽出部２９と同様にして第四の縮小画素データのノイズ成分を抽出する。そして、第二のアップサンプリング部４６が、そのノイズ成分をアップサンプリングすることにより、画像縮小部２１で得られた縮小画像に対応する低周波ノイズ成分を生成する。生成された低周波ノイズ成分は、第二の低周波ノイズ減算部４７により、縮小画像ＷＢ補正部２３から出力される縮小画像から減算される。そして、第二の低周波ノイズ減算部４７で低周波ノイズ成分が減算された縮小画像データは、実施形態４における縮小画像ＷＢ補正部２３から出力された縮小画像データと同様に、ノイズ成分抽出部２９の処理に供される。これ以降は、実施形態４と同様の処理を行う。
【００５３】
本実施形態によると、実施形態４に比べてさらに低周波のノイズ成分を除去することができる。なお、図７に示した画像処理部において、符号４１から符号４７を付して示した各部は、請求項６の「低周波ノイズ除去部」に相当する。なお、本実施形態において縮小画像の低周波ノイズを除去する構成は低周波ノイズ除去の一例であり、これ以外の方法によって、縮小画像の低周波ノイズを除去しても良い。
【００５４】
なお、第三の画像縮小部４１で生成された縮小画像をさらに縮小して、上記と同様の処理を追加することにより、さらに低周波のノイズを除去することもできる。
【符号の説明】
【００５５】
１１…撮像部、１２…ＲＡＷ画像記憶部、１３…ホワイトバランス(ＷＢ)補正値算出部、１４…ホワイトバランス(ＷＢ)補正値記憶部、１５…ＲＡＷ画像ホワイトバランス(ＷＢ)補正部、１６…補間処理部、２０…画像処理部、２１…画像縮小部、２２…縮小画像記憶部、２３…縮小画像ホワイトバランス(ＷＢ)補正部、２４，２９、３３，３９…ノイズ成分抽出部、２５，３４…アップサンプリング部、２６，３５…低周波ノイズ減算部、２７…高周波ノイズ除去部、３６…ホワイトバランス補正部、３７…ノイズ成分記憶部、３８…ノイズ除去部、４１…第三の画像縮小部、４２…第二の縮小画像記憶部、４３…第二の縮小画像ＷＢ補正部、４４…第四の画像縮小部、４５…第二のノイズ成分抽出部、４６…第二のアップサンプリング部、４７…第二の低周波ノイズ減算部。
【先行技術文献】
【特許文献】
【００５６】
【特許文献１】特開２０００−２２４４２１号公報
【図１】
2010187364.tif 000003
【図２】
2010187364.tif 000004
【図３】
2010187364.tif 000005
【図４】
2010187364.tif 000006
【図５】
2010187364.tif 000007
【図６】
2010187364.tif 000008
【図７】
2010187364.tif 000009