(57)【要約】【課題】輝度信号及び色信号のそれぞれにおいて欠陥画素の補正効果が適切に得られる撮像装置を提供する。【解決手段】欠陥画素補正部が、入力されたＲＡＷ画像データのうち、欠陥画素と判別された画素の信号値を補正して、輝度信号処理で用いる第１の欠陥補正後のＲＡＷ画像データと、第１の欠陥補正後のＲＡＷ画像データとは異なる補正レベルで補正した、色信号処理で用いる第２の欠陥補正後のＲＡＷ画像データとを出力するようにして、輝度信号及び色信号にそれぞれ適した補正レベルで欠陥画素の補正を行い、輝度信号及び色信号のそれぞれにおいて欠陥画素の補正効果を適切に得られるようにする。【選択図】図５
2015136014.tif 000002
【特許請求の範囲】
【請求項１】
複数色の色成分を有し、かつ各画素に１つの色の色成分の信号値を有するＲＡＷ画像データが入力され、当該ＲＡＷ画像データのうち、欠陥画素と判別された画素の信号値を補正して、補正レベルが異なる第１の欠陥補正後のＲＡＷ画像データと第２の欠陥補正後のＲＡＷ画像データとを出力する欠陥補正手段と、
前記欠陥補正手段から出力された前記第１の欠陥補正後のＲＡＷ画像データに対する輝度信号処理を行う輝度信号処理手段と、
前記欠陥補正手段から出力された前記第２の欠陥補正後のＲＡＷ画像データに対する色信号処理を行う色信号処理手段とを有することを特徴とする撮像装置。
【請求項２】
前記第２の欠陥補正後のＲＡＷ画像データは、前記第１の欠陥補正後のＲＡＷ画像データよりも欠陥画素と判別された画素を多く含むことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第２の欠陥補正後のＲＡＷ画像データから縮小した縮小画像を生成する縮小処理手段と、
前記縮小処理手段により生成された前記縮小画像のデータに対する輝度信号処理及び色信号処理を行う信号処理手段と、
前記信号処理手段の出力に基づく画像を拡大した低解像度信号と、前記輝度信号処理手段の出力及び色信号処理手段の出力から作成した高解像度信号とを合成する合成手段とを有することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
複数色の色成分を有し、かつ各画素に１つの色の色成分の信号値を有するＲＡＷ画像データが入力され、当該ＲＡＷ画像データのうち、欠陥画素と判別された画素の信号値を補正して欠陥補正後のＲＡＷ画像データと、欠陥補正後のＲＡＷ画像データでは欠陥画素と判別されていない欠陥画素を示す判別信号とを出力する欠陥補正手段と、
前記欠陥補正手段から出力された前記欠陥補正後のＲＡＷ画像データに対する輝度信号処理を行う輝度信号処理手段と、
前記欠陥補正手段から出力された前記欠陥補正後のＲＡＷ画像データに対する色信号処理を行う色信号処理手段とを有し、
前記色信号処理手段は、画素毎に、前記判別信号により欠陥画素と示されたか否かに応じて異なる処理を行うことを特徴とする撮像装置。
【請求項５】
前記色信号処理手段は、前記欠陥補正後のＲＡＷ画像データに対して第１の色信号処理を行って得られた信号と、前記欠陥補正後のＲＡＷ画像データに対して前記第１の色信号処理とは異なる第２の色信号処理を行って得られた信号とを、前記判別信号に応じた割合で合成した信号を出力することを特徴とする請求項４記載の撮像装置。
【請求項６】
前記輝度信号処理手段が行う前記輝度信号処理及び前記色信号処理手段が行う前記色信号処理のそれぞれにはノイズリダクション処理を含むことを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
複数色の色成分を有し、かつ各画素に１つの色の色成分の信号値を有するＲＡＷ画像データが入力され、当該ＲＡＷ画像データのうち、欠陥画素と判別された画素の信号値を補正して、補正レベルが異なる第１の欠陥補正後のＲＡＷ画像データと第２の欠陥補正後のＲＡＷ画像データとを生成する欠陥補正工程と、
前記欠陥補正工程で生成された前記第１の欠陥補正後のＲＡＷ画像データに対する輝度信号処理を行う輝度信号処理工程と、
前記欠陥補正工程で生成された前記第２の欠陥補正後のＲＡＷ画像データに対する色信号処理を行う色信号処理工程とを有することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関し、詳しくは固体撮像装置における欠陥画素の傷補正技術に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオカメラなどの撮像装置では、カラーフィルタを配置した撮像素子としてＣＣＤセンサやＣＭＯＳセンサなどが使用されている。このような撮像素子では、構造上の要因、製造過程における要因、製造後の外的な要因などによって、欠陥画素（「点滅傷」とも呼ばれる）が発生することがある。例えば、ＣＭＯＳセンサにおいて欠陥画素が発生する要因の１つとして、フォトダイオードから電荷を受けるフローティング・ディフュージョンで生じるノイズが挙げられる。
【０００３】
撮像素子の欠陥画素を検出する技術が提案されている（特許文献１、２等参照）。例えば、特許文献１には、注目画素と、注目画素の周辺の複数の画素との信号レベルの差分をカラーフィルタの色毎に求め、すべての差分が閾値以上である場合に注目画素を欠陥画素として検出する技術が開示されている。また、特許文献２には、カラーフィルタの色を区別することなくすべての画素の輝度値を求め、注目画素と周辺の複数の画素との輝度レベルの差が閾値以上である場合に注目画素を欠陥画素として検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２９７２６７号公報
【特許文献２】特開２００１−０８６５１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、従来の方法では欠陥補正後のＲＡＷ画像データは、輝度信号処理と色信号処理で同じデータを使用していた。一般的に、人間の目は、色信号の方が周波数に対して敏感度が低いと言われており、色信号と輝度信号とでは輝度信号の方がより広い帯域を必要とする。また、欠陥画素に係る補正効果を強めると、高周波領域の帯域が消えやすいという問題がある。そのため、輝度信号に影響が出ない範囲で補正レベルを設定する必要があり、色信号で補正効果を十分に出すことができないという問題がある。
本発明は、このような事情に鑑みてなされたものであり、輝度信号及び色信号のそれぞれにおいて欠陥画素の補正効果が適切に得られる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、複数色の色成分を有し、かつ各画素に１つの色の色成分の信号値を有するＲＡＷ画像データが入力され、当該ＲＡＷ画像データのうち、欠陥画素と判別された画素の信号値を補正して、補正レベルが異なる第１の欠陥補正後のＲＡＷ画像データと第２の欠陥補正後のＲＡＷ画像データとを出力する欠陥補正手段と、前記欠陥補正手段から出力された前記第１の欠陥補正後のＲＡＷ画像データに対する輝度信号処理を行う輝度信号処理手段と、前記欠陥補正手段から出力された前記第２の欠陥補正後のＲＡＷ画像データに対する色信号処理を行う色信号処理手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、輝度信号及び色信号にそれぞれ適した補正レベルで欠陥画素の補正を行うので、輝度信号及び色信号のそれぞれにおいて欠陥画素の補正効果を適切に得ることができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態における撮像装置の構成例を示す図である。
【図２】第１の実施形態における画素配列の例を示す図である。
【図３】第１の実施形態における色ノイズリダクション処理部の動作例を示すフローチャートである。
【図４】第１の実施形態における平滑化処理を説明するための図である。
【図５】第１の実施形態における欠陥画素補正部の構成例を示す図である。
【図６】第１の実施形態における補正値算出回路の動作例を説明するための図である。
【図７】第１の実施形態における欠陥画素の検出方法を説明するための図である。
【図８】第１の実施形態における欠陥画素検出回路の動作例を示すフローチャートである。
【図９】第１の実施形態における欠陥判別信号の例を示す図である。
【図１０】第２の実施形態における撮像装置の構成例を示す図である。
【図１１】第２の実施形態を説明するための図である。
【図１２】第３の実施形態における撮像装置の構成例を示す図である。
【図１３】第３の実施形態における欠陥画素補正部の構成例を示す図である。
【図１４】第３の実施形態における欠陥画素検出回路の動作例を示すフローチャートである。
【図１５】第３の実施形態における欠陥判別信号の例を示す図である。
【図１６】第３の実施形態における色ノイズリダクション処理部の動作例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態における撮像装置の構成例を示すブロック図である。図１において、撮像部１００は、図示しない撮影レンズ、撮像素子及びその駆動回路を有する。撮像部１００は、撮影レンズにより結像する光学像を撮像素子により電気信号に変換する。撮像素子は、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサである。撮像素子は、図２に示すようにＲ（赤）、Ｇ（緑）、Ｂ（青）の複数色のカラーフィルタを配置したベイヤー配列の画素の集合で構成されているものとし、撮像素子からの信号は、各画素において１つの色の色成分の信号値を有する。
【００１１】
撮像部１００から出力されるアナログ信号は、Ａ／Ｄ変換（アナログ−デジタル変換）部１０１によってデジタル信号に変換される。Ａ／Ｄ変換部１０１によってデジタル信号に変換された画像信号は、ホワイトバランス（ＷＢ）部１０２で公知のホワイトバランス調整が行われる。ホワイトバランス部１０２から出力された画像信号は、欠陥画素補正部１０３に入力される。欠陥画素補正部１０３は、欠陥画素と判定された画素の信号値を補正して、メモリ１０４とメモリ１０７に欠陥補正後のＲＡＷ画像データを出力する。
【００１２】
メモリ１０４に出力されたＲＡＷ画像データＲＡＷ＿Ｙは、輝度ノイズリダクション（ＮＲ）部１０５に入力され、輝度ノイズリダクション処理が行われる。輝度ノイズリダクション処理は、例えば公知の画像に含まれるエッジ成分の方向を検出し、当該方向に沿った低域通過フィルタによる平滑化処理によってノイズを低減する方法等を用いれば良い。輝度ノイズリダクション部１０５で補正された輝度信号は、輝度信号処理部１０６に入力され、公知のガンマ補正等の輝度信号処理が行われる。
【００１３】
一方、メモリ１０７に出力されたＲＡＷ画像データＲＡＷ＿Ｃは、色補間部１０８に入力され、公知の色補間処理が行われ、色差信号Ｖ（Ｒ−Ｙ）、Ｕ（Ｂ−Ｙ）等に変換される。色補間部１０８から出力された色差信号は、色ノイズリダクション（ＮＲ）部１０９に入力され、色ノイズリダクション処理が行われる。色ノイズリダクション処理部１０９で補正された色信号は、色信号処理部１１０に入力され、公知の色変換マトリックス処理、色抑圧処理等の色補正処理が行われる。
【００１４】
色ノイズリダクション処理部１０９の動作の一例について、図３のフローチャートを参照して説明する。まず、ステップＳ１０１で、色ノイズリダクション処理部１０９は、各画素毎に色差信号から下記（式１）に基づいて彩度信号Ｃを生成する。
Ｃ＝√（Ｕ2＋Ｖ2）…（式１）
次に、ステップＳ１０２で、色ノイズリダクション処理部１０９は、着目画素の彩度信号Ｃｃと、着目画素の周辺の画素（周辺画素）の彩度信号Ｃｉとの差分絶対値ＤＩＦＦ＿Ｃを算出する。
【００１５】
次に、ステップＳ１０３で、色ノイズリダクション処理部１０９は、算出した差分絶対値ＤＩＦＦ＿Ｃと閾値とを比較する。差分絶対値ＤＩＦＦ＿Ｃが閾値未満の場合には、ステップＳ１０４に進み、色ノイズリダクション処理部１０９は、この周辺画素を平滑化の対象画素とするフラグを立てる。また、差分絶対値ＤＩＦＦ＿Ｃが閾値以上の場合には、ステップＳ１０５に進む。ステップＳ１０５で、色ノイズリダクション処理部１０９は、演算を行う周辺画素が残っているか否かを判断する。その結果、演算を行う周辺画素がある場合には、ステップＳ１０１に戻り、ステップＳ１０１からステップＳ１０５までの動作を繰り返す。
【００１６】
ステップＳ１０５での判断の結果、演算を行う周辺画素がない場合には、ステップＳ１０６に進み、色ノイズリダクション処理部１０９は、ステップＳ１０４において平滑化の対象画素とするフラグを立てた画素について平滑化処理を行う。例えば、図４に示すように着目画素を中心とした３×３の画素領域で平滑化処理を行い、ｉ＝０、２、６、７が平滑化処理の対象となった場合の、着目画素を含めた平滑化処理後の色差信号をＵ＿ｏｕｔ、Ｖ＿ｏｕｔとすると下記（式２）、（式３）で表現される。
Ｕ＿ｏｕｔ＝（Ｕ０＋Ｕ２＋Ｕｃ＋Ｕ６＋Ｕ７）／５…（式２）
Ｖ＿ｏｕｔ＝（Ｖ０＋Ｖ２＋Ｖｃ＋Ｖ６＋Ｖ７）／５…（式３）
【００１７】
図５は、欠陥画素補正部１０３の内部の構成例を示すブロック図である。欠陥画素補正部１０３は、欠陥画素検出回路１２０、補正値算出回路１２１、加重加算回路１２２及び１２３を有する。欠陥画素補正部１０３は、欠陥画素検出回路１２０の出力値Ｋ＿Ｙに応じて、補正値算出回路１２１の出力値とホワイトバランス部１０２の出力値とを加重加算回路１２２で加重加算することでメモリ１０４に欠陥補正後のＲＡＷ画像データを出力する。同様に、欠陥画素補正部１０３は、欠陥画素検出回路１２０の出力値Ｋ＿Ｃに応じて、補正値算出回路１２１の出力値とホワイトバランス部１０２の出力値とを加重加算回路１２３で加重加算することでメモリ１０７に欠陥補正後のＲＡＷ画像データを出力する。なお、メモリ１０４に出力されたＲＡＷ画像データを用いて輝度ノイズリダクション処理が行われ、メモリ１０７に出力されたＲＡＷ画像データを用いて色ノイズリダクション処理が行われる。
【００１８】
図６を用いて、補正値算出回路１２１の動作の一例を説明する。以下に説明する方法は、中心画素Ｒｃが欠陥画素である場合、周辺画素を使用して縦方向、横方向、ななめ４５度方向、ななめ１３５度方向のそれぞれで差分をとり、差分の絶対値が最も小さいものを参照方向として傷補正を行う方法である。具体的には、横方向の差分絶対値をＨ＿ＤＩＶ、縦方向の絶対値差分をＶ＿ＤＩＶ、ななめ４５度方向の差分絶対値をＤ４５＿ＤＩＶ、ななめ１３５度方向の差分絶対値をＤ１３５＿ＤＩＶとすると、
Ｈ＿ＤＩＶ＝ＡＢＳ（Ｇ１−Ｇ２）
Ｖ＿ＤＩＶ＝ＡＢＳ（Ｇ０−Ｇ３）
Ｄ４５＿ＤＩＶ＝ＡＢＳ（Ｂ１−Ｂ２）
Ｄ１３５＿ＤＩＶ＝ＡＢＳ（Ｂ０−Ｂ３）
となる。なお、ＡＢＳ（Ｘ）は、Ｘの絶対値である。
【００１９】
そして、差分絶対値が最小となる参照方向の同色画素の平均値で欠陥画素の補正を行う。横方向の差分絶対値Ｈ＿ＤＩＶが最小であれば、補正後の画素値Ｐｉｘは、Ｐｉｘ＝（Ｒ３＋Ｒ４）／２となる。縦方向の絶対値差分Ｖ＿ＤＩＶが最小であれば、補正後の画素値Ｐｉｘは、Ｐｉｘ＝（Ｒ１＋Ｒ６）／２となる。ななめ４５度方向の差分絶対値Ｄ４５＿ＤＩＶが最小であれば、補正後の画素値Ｐｉｘは、Ｐｉｘ＝（Ｒ０＋Ｒ７）／２となる。ななめ１３５度方向の差分絶対値Ｄ１３５＿ＤＩＶが最小であれば、補正後の画素値Ｐｉｘは、Ｐｉｘ＝（Ｒ２＋Ｒ５）／２となる。
【００２０】
次に、欠陥画素検出回路１２０の動作を、図７及び図８を参照して説明する。ここでは、欠陥画素の検出方法の一例として、同色画素の周辺画素を用いた検出方法で説明する。図７に示すように、着目画素がＲ画素（Ｒｃ）である場合、注目画素の周辺の複数のＲ画素との信号レベルの差分値に基づいて欠陥画素であるか否かを判定する。
【００２１】
図８は、欠陥画素検出回路１２０の動作の一例を示すフローチャートである。ステップＳ２０１で、欠陥画素検出回路１２０は、着目画素Ｒｃと周辺画素Ｒｉ（ｉ＝０〜７）との差分絶対値を下記（式４）に基づいて算出する。
ＤＩＦＦ＝ＡＢＳ（Ｒｃ−Ｒｉ）…（式４）
【００２２】
次に、ステップＳ２０２で、欠陥画素検出回路１２０は、ステップＳ２０１において算出した差分絶対値ＤＩＦＦが差分最大値ＤＩＦＦ＿ＭＡＸよりも大きいか否かを検出する。算出した差分絶対値ＤＩＦＦが差分最大値ＤＩＦＦ＿ＭＡＸより大きい場合には、欠陥画素検出回路１２０は、ステップＳ２０３で差分絶対値ＤＩＦＦを差分最大値ＤＩＦＦ＿ＭＡＸに置き換えて、ステップＳ２０４に進む。算出した差分絶対値ＤＩＦＦが差分最大値ＤＩＦＦ＿ＭＡＸ以下である場合には、ステップＳ２０４に進む。
【００２３】
ステップＳ２０４で、欠陥画素検出回路１２０は、演算を行う周辺画素が残っているか否かを判断する。その結果、演算する周辺画素がある場合には、ステップＳ２０１に戻り、ステップＳ２０１からステップＳ２０４までの動作を繰り返す。ステップＳ２０４での判断の結果、演算を行う周辺画素がない場合には、ステップＳ２０５に進む。
【００２４】
次に、ステップＳ２０５で、欠陥画素検出回路１２０は、差分最大値ＤＩＦＦ＿ＭＡＸとあるレベルの閾値ＴｈＹ＿２とを比較する。差分絶対値ＤＩＦＦ＿ＭＡＸが閾値ＴｈＹ＿２より大きい場合には、欠陥画素検出回路１２０は、着目画素が欠陥であると判定し、ステップＳ２０７で輝度用の欠陥画素検出判別信号Ｋ＿Ｙとして１を設定する。差分絶対値ＤＩＦＦ＿ＭＡＸが閾値ＴｈＹ＿２以下である場合には、ステップＳ２０６に進む。
【００２５】
ステップＳ２０６で、欠陥画素検出回路１２０は、差分最大値ＤＩＦＦ＿ＭＡＸと閾値ＴｈＹ＿１とを比較する。差分絶対値ＤＩＦＦ＿ＭＡＸが閾値ＴｈＹ＿１より小さい場合には、欠陥画素検出回路１２０は、着目画素が欠陥でないと判定し、ステップＳ２０８で輝度用の欠陥判別信号Ｋ＿Ｙとして０を設定する。差分絶対値ＤＩＦＦ＿ＭＡＸが閾値ＴｈＹ＿１より大きい場合、欠陥画素検出回路１２０は、ステップＳ２０９で輝度用の欠陥判別信号Ｋ＿Ｙを閾値ＴｈＹ＿１と閾値ＴｈＹ＿２の間を線形補間する。
【００２６】
図９に前述した処理における差分絶対値ＤＩＦＦ＿ＭＡＸと閾値ＴｈＹ＿１、ＴｈＹ＿２と欠陥判別信号Ｋ＿Ｙとの関係を図示する。図９において、差分絶対値ＤＩＦＦ＿ＭＡＸが閾値ＴｈＹ＿１より小さい場合には、輝度用の欠陥判別信号Ｋ＿Ｙは０を出力し、差分絶対値ＤＩＦＦ＿ＭＡＸが閾値ＴｈＹ＿２より大きい場合には、輝度用の欠陥判別信号Ｋ＿Ｙは１を出力する。また、差分絶対値ＤＩＦＦ＿ＭＡＸが閾値ＴｈＹ＿１と閾値ＴｈＹ＿２との間の場合には、輝度用の欠陥判別信号Ｋ＿Ｙは、
Ｋ＿Ｙ＝（ＤＩＦＦ＿ＭＡＸ−ＴｈＹ＿１）／（ＴｈＹ＿２−ＴｈＹ＿１）
となる。
【００２７】
色用の欠陥判別信号Ｋ＿Ｃの求め方も閾値が異なるのみ、前述した輝度用の欠陥判別信号Ｋ＿Ｙの求め方と同様である。すなわち、欠陥判別信号Ｋ＿Ｙを欠陥判別信号Ｋ＿Ｃに、閾値ＴｈＹ＿１を閾値ＴｈＣ＿１に、閾値ＴｈＹ＿２を閾値ＴｈＣ＿２に置き換えるのみなので、フローチャートでの詳細な説明は省略する。
【００２８】
次に、図９を用いて、閾値ＴｈＣ＿１と閾値ＴｈＣ＿２と閾値ＴｈＹ＿１と閾値ＴｈＹ＿２との関係について説明する。図９に示すように、閾値のパラメータとして、ＴｈＣ＿１＜ＴｈＹ＿１かつＴｈＣ＿２＜ＴｈＹ＿２となるように設定する。このように設定することで、着目画素での最大差分絶対値ＤＩＦＦ＿ＭＡＸがＡの位置にある場合、輝度用の欠陥判別信号Ｋ＿Ｙ＝０と判別され、色用の欠陥判別信号Ｋ＿Ｃ＝１と判別することができる。
【００２９】
つまり、輝度信号に対応する加重加算回路１２２では欠陥画素補正が行われずに、色信号に対応する加重加算回路１２３では欠陥画素補正が行われる。したがって、第１の欠陥補正後のＲＡＷ画像データである輝度系信号処理を行うＲＡＷ画像データＲＡＷ＿Ｙは、欠陥画素補正をすることなく高域信号を保つことができる。また、第２の欠陥補正後のＲＡＷ画像データである色系信号処理を行うＲＡＷ画像データＲＡＷ＿Ｃは、欠陥画素補正を行い、補正効果を十分に出すことが可能となる。そのため、第１の実施形態によれば、色信号にも十分に欠陥画素の補正効果を出すことが可能となる。
【００３０】
なお、第１の実施形態では、閾値のパラメータを変更することで、補正レベルを異ならせ、メモリ１０４のＲＡＷ画像データに対して、メモリ１０７のＲＡＷ画像データの方がより多くの欠陥画素補正が行われるようにしたが、これに限るものではない。例えば、閾値は同じであっても、信号Ｋ＿Ｙは最大差分絶対値に基づいて決定されるが、信号Ｋ＿Ｃは最大ではなく差分絶対値の平均値や２番目に大きい差分絶対値に基づいて決定されるようにして、補正レベルを異ならせるようにしても良い。また、本実施形態では、着目画素をＲ画素として説明したが、着目画素がＢ画素、Ｇ画素でも同様の処理のため、その説明を省略する。
【００３１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態において第１の実施形態と異なる点は、欠陥画素補正部から出力されるＲＡＷ画像から縮小画像を作成する点である。以下、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００３２】
図１０は、第２の実施形態における撮像装置の構成例を示すブロック図である。撮像部２００、Ａ／Ｄ変換部２０１、ＷＢ部２０２、欠陥画素補正部２０３、メモリ２０４、輝度ノイズリダクション部２０５、メモリ２０７、色補間部２０８、色ノイズリダクション部２０９の動作は第１の実施形態と同様であるので説明は省略する。
【００３３】
欠陥画素補正部２０３から出力されたＲＡＷ画像データＲＡＷ＿Ｃは、ローパスフィルタ（ＬＰＦ）２１２でローパスフィルタ処理、ダウンサンプリング（ＤＳ）部２１３でダウンサンプリング処理が行われる。これによって、低解像度画像データを生成し、そのデータをメモリ２１４に記憶する。なお、ローパスフィルタ２１２及びダウンサンプリング部２１３が縮小処理手段に相当する。
【００３４】
メモリ２１４の出力データはノイズリダクション処理部２１５に送られ、輝度ノイズリダクション部２０５、色補間部２０８、色ノイズリダクション部２０９と同等のノイズリダクション処理が行われる。ノイズリダクション処理部２１５の出力データは、アップサンプリング（ＵＳ）部２１６にてアップサンプリングされ、拡大された低解像度信号出力として出力される。また、メモリ２０７の出力データは、エッジ検出部２１７に入力される。エッジ検出部２１７は、例えば公知のエッジ検出用フィルタを有し、入力信号にエッジ検出用フィルタをかけて、その出力をエッジ強度出力信号とする。
【００３５】
合成部２１１は、輝度ノイズリダクション処理部２０５と色ノイズリダクション部２０９から出力された高解像度信号出力とアップサンプリング部２１６から出力された低解像度信号出力とを、エッジ検出部２１７からのエッジ強度出力信号に応じて合成する。具体的には、エッジ強度出力信号が大きい（エッジである）場合には、より高解像度信号出力の割合を大きくするようにする。合成部２１１で合成された輝度信号は、輝度信号処理部２０６に、色信号は色信号処理部２１０に送られる。輝度信号処理部２０６及び色信号処理部２１０の動作は第１の実施形態と同等のため、詳細な説明は省略する。
【００３６】
図１１に、メモリ２０７及びメモリ２１４に記憶される画像の周波数イメージを示す。メモリ２０７に記憶される画像データの周波数はｆ１、メモリ２１４に記憶される画像データの周波数はｆ２で示す。つまり、低解像度画像では、高域信号は失われているため、欠陥補正を強めにかけた欠陥補正後のＲＡＷ画像データを使用しても解像度の劣化の影響がない。そのため、欠陥画素補正部２０３から出力されるＲＡＷ画像データから縮小画像を作成し低解像度画像を作る場合には、欠陥画素補正が多く行われる第２の欠陥補正後のＲＡＷ画像データである色系信号処理を行うＲＡＷ画像データＲＡＷ＿Ｃを用いるようにする。こうすることで、高解像度信号の画質を維持したまま、ＲＡＷ画像データＲＡＷ＿Ｙから作成する低解像度信号を削減することができ、回路規模削減が可能となる。
【００３７】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。以下、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。図１２は、第３の実施形態における撮像装置の構成例を示すブロック図である。撮像部３００、Ａ／Ｄ変換部３０１、ＷＢ部３０２、メモリ３０４、輝度ノイズリダクション部３０５、輝度信号処理部３０６、色補間部３０８、色信号処理部３１０の動作は第１の実施形態と同様であるので説明は省略する。
【００３８】
本実施形態においては、欠陥画素補正部３０３から出力された色用の欠陥判別信号Ｋ＿Ｃ２は、メモリ３０７に保存される。メモリ３０７に保存された色用の欠陥判別信号Ｋ＿Ｃ２は、色ノイズリダクション部３０９に供給される。色ノイズリダクション部３０９は、この色用の欠陥判別信号Ｋ＿Ｃ２の値が小さい場合には、平滑化処理を行い、大きい場合には、メディアンフィルタによる処理を行う。
【００３９】
図１３は、欠陥画素補正部３０３の内部の構成例を示すブロック図である。欠陥画素補正部３０３は、欠陥画素検出回路３２０、補正値算出回路３２１、及び加重加算回路３２２を有する。欠陥画素補正部３０３は、欠陥画素検出回路３２０の出力値Ｋ＿Ｙに応じて、補正値算出回路３２１の出力値とホワイトバランス部３０２の出力値とを加重加算回路３２２で加重加算することでメモリ３０４に欠陥補正後のＲＡＷ画像データを出力する。また、欠陥画素補正部３０３は、欠陥補正検出回路３２０の出力値Ｋ＿Ｃ２をメモリ３０７に出力する。補正値算出回路３２１は、第１の実施形態における補正値算出回路１２１と同等のため、詳細な説明は省略する。
【００４０】
次に、欠陥画素検出回路３２０の動作を、図１４を参照して説明する。ここでは、欠陥画素の検出方法の一例として、同色画素の周辺画素を用いた検出方法で説明する。なお、輝度用の欠陥判別信号Ｋ＿Ｙは、第１の実施形態で説明したものと同等のため、説明を省略する。
【００４１】
図１４は、欠陥画素検出回路３２０の動作の一例を示すフローチャートである。図１４に示すステップＳ２０１からステップＳ２０９の処理は、図８に示したフローチャートでのステップＳ２０１からステップＳ２０９の処理と同等のため詳細な説明を省略する。ステップＳ２１０で、欠陥画素検出回路３２０は、ステップＳ２０７、Ｓ２０８、又はＳ２０９で設定された色用の欠陥判別信号Ｋ＿Ｃを用いて、色用の欠陥判別信号Ｋ＿Ｃ２の値を下記（式５）により更新する。
Ｋ＿Ｃ２＝Ｋ＿Ｃ×（１−Ｋ＿Ｙ）…（式５）
【００４２】
図１５を用いて、閾値ＴｈＣ＿１と閾値ＴｈＣ＿２と閾値ＴｈＹ＿１と閾値ＴｈＹ＿２と色用の欠陥判別信号Ｋ＿Ｃ２の関係を示す。図１５に示すように、閾値のパラメータとして、ＴｈＣ＿１＜ＴｈＹ＿１かつＴｈＣ＿２＜ＴｈＹ＿２となるように設定する。このように設定することで、着目画素での最大差分絶対値ＤＩＦＦ＿ＭＡＸがＡの位置にある場合、輝度用の欠陥判別信号Ｋ＿Ｙ＝０となり、色用の欠陥判別信号Ｋ＿Ｃ２＝０となる。したがって、この画素では、メモリ３０４のＲＡＷ画像データＲＡＷ＿Ｙは欠陥画素補正が行われず、色ノイズリダクション処理部３０９も通常の色ノイズリダクションで動作する。
【００４３】
また、着目画素での最大差分絶対値ＤＩＦＦ＿ＭＡＸがＢの位置にある場合、輝度用の欠陥判別信号Ｋ＿Ｙ＝０となり、色用の欠陥判別信号Ｋ＿Ｃ２＝１となる。したがって、この画素では、メモリ３０４のＲＡＷ画像データＲＡＷ＿Ｙは欠陥画素補正が行われず、色ノイズリダクション処理部３０９は欠陥画素に適したノイズリダクションで動作する。
【００４４】
また、着目画素での最大差分絶対値ＤＩＦＦ＿ＭＡＸがＣの位置にある場合、輝度用の欠陥判別信号Ｋ＿Ｙ＝１となり、色用の欠陥判別信号Ｋ＿Ｃ２＝０となる。したがって、この画素では、メモリ３０４のＲＡＷ画像データＲＡＷ＿Ｙは欠陥画素補正が行われ、色ノイズリダクション処理部３０９は通常の色ノイズリダクションで動作する。
【００４５】
次に、色ノイズリダクション処理部３０９の動作の一例について、図１６のフローチャートを参照して説明する。ステップＳ３０１での平滑化処理は、図３に示したフローチャートで説明したステップＳ１０１からステップＳ１０６までの動作と同等のため、説明は省略する。次に、ステップＳ３０２で、色ノイズリダクション処理部３０９は、着目画素を中心とした公知のメディアンフィルタ処理を行う。メディアンフィルタを用いることで、欠陥画素のように孤立点状に発生するノイズを適切に除去することができる。
【００４６】
次に、ステップＳ３０３で、色ノイズリダクション処理部３０９は、色用の欠陥判別信号Ｋ＿Ｃ２の値に応じて、色差信号Ｕｏｕｔ１、Ｖｏｕｔ１と色差信号Ｕｏｕｔ２、Ｖｏｕｔ２を下記（式６）、（式７）に基づき合成する。すなわち、色ノイズリダクション処理部３０９は、色用の欠陥判別信号Ｋ＿Ｃ２の値に応じた割合で、色差信号Ｕｏｕｔ１、Ｖｏｕｔ１と色差信号Ｕｏｕｔ２、Ｖｏｕｔ２を合成する。色差信号Ｕｏｕｔ１、Ｖｏｕｔ１は、平滑化処理により得られた信号であり、色差信号Ｕｏｕｔ２、Ｖｏｕｔ２は、メディアンフィルタ処理により得られた信号である。
Ｕｏｕｔ＝Ｕｏｕｔ１×（１−Ｋ＿Ｃ２）＋Ｕｏｕｔ２×Ｋ＿Ｃ２…（式６）
Ｖｏｕｔ＝Ｖｏｕｔ１×（１−Ｋ＿Ｃ２）＋Ｖｏｕｔ２×Ｋ＿Ｃ２…（式７）
【００４７】
第３の実施形態によれば、図１５に示したＢの位置のような、輝度系信号処理には欠陥画素補正を行い、色系信号処理には欠陥画素補正を行いたい欠陥画素レベルの場合に、以下のような効果が得られる。第１の欠陥補正後のＲＡＷ画像データである輝度系信号処理を行うＲＡＷ画像データＲＡＷ＿Ｙは、欠陥画素補正をすることなく高域信号を保つことができる。また、色系信号処理は色ノイズリダクション部で欠陥画素補正に適したノイズ除去方法を選択することで、色信号にも十分に欠陥画素の補正効果を出すことが可能となる。また、メモリ３０７はＲＡＷ画像データではなく欠陥判別信号を記憶するため、３ビット程度で済むことが可能である。そのため、第３の実施形態では、第１の実施形態のようにメモリ１０７にＲＡＷ画像データを置く場合に比べて、メモリ３０７のメモリ容量を削減することが可能となる。
【００４８】
なお、本実施形態では、色用の欠陥判別信号Ｋ＿Ｃ２が１でる場合の色信号処理として、メディアンフィルタを用いているが、欠陥画素を目立たなくする処理であれば、これに限るものではない。例えば、平滑化処理の閾値を大きくしても良い。
【００４９】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５０】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５１】
１０３、２０３、３０３：欠陥画素補正部  １０５、２０５、３０５：輝度ノイズリダクション処理部  １０６、２０６、３０６：輝度信号処理部  １０８、２０８、３０８：色補間部  １０９、２０９、３０９：色ノイズリダクション処理部  １１０、２１０、３１０：色信号処理部  １２０、３２０：欠陥画素検出回路  １２１、３２１：補正値算出回路  １２２、１２３、３２２：加重加算回路  ２１１：合成部  ２１２：ローパスフィルタ  ２１３：ダウンサンプリング部  ２１５：ノイズリダクション部  ２１６：アップサンプリング部  ２１７：エッジ検出部
【図１】
2015136014.tif 000003
【図２】
2015136014.tif 000004
【図３】
2015136014.tif 000005
【図４】
2015136014.tif 000006
【図５】
2015136014.tif 000007
【図６】
2015136014.tif 000008
【図７】
2015136014.tif 000009
【図８】
2015136014.tif 000010
【図９】
2015136014.tif 000011
【図１０】
2015136014.tif 000012
【図１１】
2015136014.tif 000013
【図１２】
2015136014.tif 000014
【図１３】
2015136014.tif 000015
【図１４】
2015136014.tif 000016
【図１５】
2015136014.tif 000017
【図１６】
2015136014.tif 000018