(57)【特許請求の範囲】
【請求項１】
ベイヤー配列の原色カラーフィルタを備えた撮像素子により得られた画像の、赤色又は青色の着目画素における信号値を、前記着目画素の周辺の画素の信号値を用いて生成する画像処理装置であって、
前記着目画素と同色の、前記着目画素の周辺の複数の画素の信号値から、前記着目画素の信号値と相関の高い画素が存在する方向が、縦方向または横方向であるか、４５度方向または１３５度方向であるかを判別する第１の方向判別手段と、
前記着目画素と異なる色の、前記着目画素の周辺の複数の画素の信号値から、前記着目画素の信号値と相関の高い画素が存在する方向として、前記縦方向または前記横方向のいずれか１つと、前記４５度方向または前記１３５度方向のいずれか１つとを判別する第２の方向判別手段と、
前記第１の方向判別手段によって前記着目画素の信号値と相関の高い画素が存在する方向が前記縦方向または前記横方向であると判別されていれば、前記第２の方向判別手段が判別した前記縦方向または前記横方向のいずれか１つを選択し、前記第１の方向判別手段によって前記着目画素の信号値と相関の高い画素が存在する方向が前記４５度方向または前記１３５度方向であると判別されていれば、前記第２の方向判別手段が判別した前記４５度方向または前記１３５度方向のいずれか１つを選択する選択手段と、
前記着目画素の周辺の画素のうち、前記着目画素から前記選択手段によって選択された方向に存在する複数の画素の信号値を用いて前記着目画素における信号値を算出する算出手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記第２の方向判別手段が、前記着目画素の周辺の複数の緑色画素の信号値によって前記判別を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の方向判別手段が、
前記縦方向、前記横方向、前記４５度方向、および前記１３５度方向のそれぞれについて、前記着目画素を挟んで位置する前記着目画素と同色の２つの画素の信号値の差分を求め、
前記縦方向についての前記差分と前記横方向についての前記差分との和が、前記４５度方向についての前記差分と前記１３５度方向についての前記差分との和より小さい場合に、前記着目画素の信号値と相関の高い画素が存在する方向が、前記縦方向または前記横方向であると判別し、
前記縦方向についての前記差分と前記横方向についての前記差分との和が、前記４５度方向についての前記差分と前記１３５度方向についての前記差分との和以上の場合に、前記着目画素の信号値と相関の高い画素が存在する方向が、前記４５度方向または前記１３５度方向であると判別する、
ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記第２の方向判別手段が、前記縦方向または前記横方向の１つを判別する方向判別手段と、前記４５度方向または前記１３５度方向の１つを判別する方向判別手段とを有し、
前記縦方向または前記横方向の１つを判別する方向判別手段が、
前記着目画素と異なる色の、前記着目画素の周辺の複数の画素のそれぞれについて、前記縦方向に位置する２つの前記着目画素と異なる色の画素の信号値の差分の平均値と、前記横方向に位置する２つの前記着目画素と異なる色の画素の信号値の差分の平均値とのうち、小さい値に対応する方向を判別し、
前記４５度方向または前記１３５度方向の１つを判別する方向判別手段が、
前記着目画素と異なる色の、前記着目画素の周辺の複数の画素のそれぞれについて、前記４５度方向に位置する２つの前記着目画素と異なる色の画素の信号値の差分の平均値と、前記１３５度方向に位置する２つの前記着目画素と異なる色の画素の信号値の差分の平均値とのうち、小さい値に対応する方向を判別する、
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
ベイヤー配列の原色カラーフィルタを備えた撮像素子と、
請求項１乃至請求項４のいずれか１項に記載の画像処理装置とを有し、
前記撮像素子により得られた画像のうち、前記撮像素子の赤色または青色の欠陥画素の信号値を、前記画像処理装置によって取得することを特徴とする撮像装置。
【請求項６】
ベイヤー配列の原色カラーフィルタを備えた撮像素子により得られた画像の、赤色又は青色の着目画素における信号値を、前記着目画素の周辺の画素の信号値を用いて生成する画像処理装置の制御方法であって、
第１の方向判別手段が、前記着目画素と同色の、前記着目画素の周辺の複数の画素の信号値から、前記着目画素の信号値と相関の高い画素が存在する方向が、縦方向または横方向であるか、４５度方向または１３５度方向であるかを判別する第１の方向判別工程と、
第２の方向判別手段が、前記着目画素と異なる色の、前記着目画素の周辺の複数の画素の信号値から、前記着目画素の信号値と相関の高い画素が存在する方向として、前記縦方向または前記横方向のいずれか１つと、前記４５度方向または前記１３５度方向のいずれか１つとを判別する第２の方向判別工程と、
選択手段が、前記第１の方向判別手段によって前記着目画素の信号値と相関の高い画素が存在する方向が前記縦方向または前記横方向であると判別されていれば、前記第２の方向判別手段が判別した前記縦方向または前記横方向のいずれか１つを選択し、前記第１の方向判別手段によって前記着目画素の信号値と相関の高い画素が存在する方向が前記４５度方向または前記１３５度方向であると判別されていれば、前記第２の方向判別手段が判別した前記４５度方向または前記１３５度方向のいずれか１つを選択する選択工程と、
算出手段が、前記着目画素の周辺の画素のうち、前記着目画素から前記選択工程によって選択された方向に存在する複数の画素の信号値を用いて前記着目画素における信号値を算出する算出工程と、を有することを特徴とする画像処理装置の制御方法。
【請求項７】
コンピュータを、請求項１乃至請求項４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびその制御方法に関し、特に、撮像画像を処理する画像処理装置及びその制御方法に関する。
【背景技術】
【０００２】
ＣＣＤ等の固体撮像装置は、数百万個以上の画素を有するため、正常な出力が得られない画素（欠陥画素）を無くすことは困難である。しかし、欠陥画素の出力をそのまま用いることはできないため、周辺の正常画素の出力から得られる予測値を欠陥画素の出力として用いる欠陥画素補正が行われている（特許文献１）。
【０００３】
周辺の正常画素の出力から予測値（画素補正値）を得る様々な方法が知られているが、代表的な方法について説明する。図１１（ａ）は、赤色（Ｒ）画素、緑色（Ｇ）画素、青色（Ｂ）画素が規則的に配置された、いわゆるベイヤー配列の原色カラーフィルタを備えた撮像素子の画素の一部を示す図であり、中心の赤色画素Ｒ３３が欠陥画素であるとする。
【０００４】
まず、欠陥画素の周辺画素（B22, G23, B24, G34, B44, G43, B42, G32)のうち、欠陥画素に対して縦方向、横方向、４５度方向、１３５度方向に位置する１組の画素の出力値の差分絶対値を求める。具体的には、横方向の差分絶対値をH_DIV、縦方向の絶対値差分をV_DIV、４５度方向の差分絶対値をD45_DIV、１３５度方向の差分絶対値をD135_DIVとすると、
H_DIV = ABS(G32 - G34)
V_DIV = ABS(G23 - G43)
D45_DIV = ABS(B24 - B42)
D135_DIV = ABS(B22 - B44)
を求める。そして、差分絶対値が最小となる方向を、着目画素と相関の高い画素が存在する方向として判別する。そして、判別した方向において欠陥画素を挟んで位置する、欠陥画素と同じ色の１組の画素の出力値を平均した値を、欠陥画素の画素補正値とする。
【０００５】
つまり、画素補正値をPixとすると、
H_DIVが最小の場合：  Pix = (R31 + R35)/2
V_DIVが最小の場合：  Pix = (R13 + R53)/2
D45_DIVが最小の場合：  Pix = (R15 + R51)/2
D135_DIVが最小の場合：  Pix = (R11 + R55)/2、となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２２０６６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、この方法では、被写体の色によって方向判別の精度が大きく影響を受けるという問題があった。例えば、上述の例では青色画素の出力値の差(D45_DIV, D135_DIV)と緑色画素の出力値の差(H_DIV, V_DIV)で方向判別している。この場合、被写体が赤いと、青色画素からの出力値はほとんど得られないので、方向判別を誤る場合があり、結果として画素補正値の精度が低下するという問題があった。赤色画素の出力値と緑色画素の出力値を用いて方向判別する場合に、被写体が青いと同様の問題が生じる。
【０００８】
本発明はこのような従来技術の問題点に鑑みなされたものであり、有彩色の被写体であっても精度の良い欠陥画素の画素補正値を得ることのできる画像処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の目的は、ベイヤー配列の原色カラーフィルタを備えた撮像素子により得られた画像の、赤色又は青色の着目画素における信号値を、着目画素の周辺の画素の信号値を用いて生成する画像処理装置であって、着目画素と同色の、着目画素の周辺の複数の画素の信号値から、着目画素の信号値と相関の高い画素が存在する方向が、縦方向または横方向であるか、４５度方向または１３５度方向であるかを判別する第１の方向判別手段と、着目画素と異なる色の、着目画素の周辺の複数の画素の信号値から、着目画素の信号値と相関の高い画素が存在する方向として、縦方向または横方向のいずれか１つと、４５度方向または１３５度方向のいずれか１つとを判別する第２の方向判別手段と、第１の方向判別手段によって着目画素の信号値と相関の高い画素が存在する方向が縦方向または横方向であると判別されていれば、第２の方向判別手段が判別した縦方向または横方向のいずれか１つを選択し、第１の方向判別手段によって着目画素の信号値と相関の高い画素が存在する方向が４５度方向または１３５度方向であると判別されていれば、第２の方向判別手段が判別した４５度方向または１３５度方向のいずれか１つを選択する選択手段と、着目画素の周辺の画素のうち、着目画素から選択手段によって選択された方向に存在する複数の画素の信号値を用いて着目画素における信号値を算出する算出手段と、を有することを特徴とする画像処理装置によって達成される。
【発明の効果】
【００１０】
このような構成により、本発明によれば、有彩色の被写体であっても精度の良い欠陥画素の画素補正値を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置を適用可能な装置の一例としての撮像装置の機能構成例を示すブロック図
【図２】図１における有彩色判定回路の動作を説明するためのフローチャート
【図３】本発明の実施形態における、彩度信号Ｃの値と、閾値Th1及びTh2、並びに白黒判別信号D_bcの値との関係例を示す図
【図４】図１における無彩色画素補正回路の機能構成例を示すブロック図
【図５】図１における無彩色画素補正回路の動作を説明するためのフローチャート
【図６】図１における有彩色画素補正回路の機能構成例を示すブロック図
【図７】図６における縦横度判別回路の動作を説明するためのフローチャート
【図８】図６におけるＨＶ画素補正回路の動作を説明するためのフローチャート
【図９】図６におけるななめ補正回路の動作を説明するためのフローチャート
【図１０】着目画素と同色の画素を用いた方向判別による、折り返しの影響について説明するための図
【図１１】本発明の実施形態における方向判別処理、画素補正値生成処理を説明するための図
【発明を実施するための形態】
【００１２】
以下、本発明の例示的な実施形態について図面を参照して詳細に説明する。
図１は、本発明の実施形態に係る画像処理装置を適用可能な装置の一例としての撮像装置の機能構成例を示すブロック図である。なお、図１においては、撮像装置が有する構成のうち、欠陥画素補正に関連する構成のみを記載している。また、本発明に係る画像処理装置において、撮像に係る構成は必須でない。
【００１３】
なお、以下に説明する画素補正回路１０４の機能ブロックはコンピュータがソフトウェアを実行することによって実現してもよいし、ハードウェアロジックで実現してもよい。本実施形態に係る画像処理装置は例えばＣＰＵが制御プログラムを実行して記憶装置やインタフェースなど汎用コンピュータの有するハードウェアを制御することにより実施されてもよい。
【００１４】
図１において、撮像部１０１は図示しない撮影レンズ、撮像素子及びその駆動回路を有し、撮影レンズが結像する光学像を撮像素子により電気信号に変換する。撮像素子は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、特定の複数色が規則的に配列されたカラーフィルタを備えている。ここでは、このようなカラーフィルタの一例として、図１１（ａ）に示したベイヤー配列の原色カラーフィルタが用いられているものとする。図１１（ａ）において、Ｒxxは赤色画素、Ｇxxは緑色画素、Ｂxxは青色画素（xxは番号）である。
【００１５】
撮像部１０１から出力される画素毎のアナログ画像信号は、Ａ／Ｄ変換回路１０２によってデジタル画像信号に変換され、ホワイトバランス（ＷＢ）回路１０３に入力される。ホワイトバランス回路１０３は、デジタル画像信号に対して公知のホワイトバランス調整を行う。ホワイトバランス回路１０３から出力された画像信号は、本実施形態に係る画像処理装置に相当する画素補正回路１０４に入力される。
【００１６】
画素補正回路１０４は、無彩色画素補正回路１１０、有彩色画素補正回路１１１、有彩色判定回路１１２、及び加重加算回路１１３を有する。画素補正回路１０４は、欠陥画素の位置情報に基づいて、欠陥画素の画像信号の予測値である画素補正値を求める。具体的には、無彩色画素補正回路１１０の出力値と有彩色画素補正回路１１１の出力値とを、有彩色判定回路１１２による判定結果に応じて加重加算回路１１３で加重加算して画素補正値を求める。画素補正回路１０４で求めた画素補正値は、信号処理回路１０５に入力される。信号処理回路１０５には、欠陥画素以外の画素についての画像信号と、画素補正値とが与えられ、公知の色補間処理、輝度信号処理、色信号処理等が行われる。
【００１７】
なお、本実施形態において、画素補正回路１０４は着目画素（欠陥画素）が赤色画素（Ｒ画素）又は青色画素（Ｂ画素）の場合に画素補正値を生成するものとする。着目画素が緑色画素（Ｇ画素）の場合、画素数が多いため、周辺の緑色画素のみに基づいて、上述した従来の方法による方向判別及び補間を行うことができる。このようなＧ画素の画素補正値の生成に係る処理は、図示しない補正回路を用いて行うものとする（あるいは、画素補正回路１０４を利用してもよい）。
【００１８】
なお、画素補正回路１０４が、欠陥画素以外の画素についてはそのまま信号処理回路１０５に出力し、欠陥画素については求めた画素補正値を信号処理回路１０５に出力するように構成してもよい。
【００１９】
なお、画素補正回路１０４は、入力される画像信号と撮像素子における画素配列との対応関係や、欠陥画素の位置についての情報を取得可能もしくは予め知っているものとする。これを実現するための方法に特に制限はないが、例えば、撮像部１０１が有する撮像素子の欠陥画素の位置に関する情報が撮像装置の製造時等に画素補正回路１０４もしくは画素補正回路１０４がアクセス可能な不揮発性メモリなどに登録されていてもよい。また、画像信号とともに欠陥画素の位置情報が画素補正回路１０４に通知されてもよい。また、画素補正回路１０４に入力される画像信号に含まれる各画素の信号の並びは予め決まっているので、ある特定の画素の周辺画素などを特定することができる。さらに、カラーフィルタの配列や色に関する情報についても、既知であるとする。画素補正回路１０４がこれらの事項を入手するための構成は本発明の本質とは直接関係せず、公知の任意な方法を採用しうるため、これ以上の説明は省略する。
【００２０】
（画素補正回路の動作）
以下、画素補正回路１０４における欠陥画素補正処理について説明する。なお、ここでは、発明の理解を助けると共に説明を簡潔にするため、着目画素（欠陥画素）が赤色画素（Ｒ画素）又は青色画素（Ｂ画素）である場合を前提とし、さらに着目画素がＲ画素である場合を説明する。しかし、着目画素がＢ画素の場合も、以下に説明する画素の配置関係を適用して同様の処理を行えばよい。
【００２１】
（有彩色判定回路の動作）
まず、有彩色判定回路１１２の動作について、図２のフローチャートを参照しながら説明する。有彩色判定回路１１２は、まずＳ２０１において、ホワイトバランス処理後の画像信号の着目画素における彩度信号Ｃを、例えば以下の式に従って算出する。
Y = 0.3R + 0.59G + 0.11B
Cr = 0.713 (R - Y)
Cb = 0.564 (B - Y)
C=√(Cr2 + Cb2)
【００２２】
ここで、着目画素におけるＲ，Ｇ，Ｂの値の求め方は後述する。次に有彩色判定回路１１２は、Ｓ２０２において、あるレベルの閾値Th1と比較して彩度信号Ｃの値が小さい場合は、着目画素が無彩色であると判定し、白黒判別信号D_bcに１を設定する（Ｓ２０３）。一方、Ｓ２０２において、彩度信号Ｃの値が閾値Th1以上であれば、有彩色判定回路１１２は処理をＳ２０４に進め、彩度信号Ｃの値を閾値Th1より大きな所定の閾値Th2と比較する。閾値Th2と比較して彩度信号Ｃの値が大きい場合、有彩色判定回路１１２は着目画素が有彩色であると判定し、白黒判別信号D_bcに０を設定する（Ｓ２０５）。一方、Ｓ２０４において彩度信号Ｃの値が閾値Th2以下の場合、彩度信号Ｃの値に応じて線形補間した値を白黒判別信号D_bcに設定する（Ｓ２０６）。図３に、彩度信号Ｃの値と、閾値Th1及びTh2、並びに白黒判別信号D_bcの値との関係例を示す。
【００２３】
このように、有彩色判定回路１１２は、彩度信号Ｃの値が閾値Th1より小さい場合は値が「１」の白黒判別信号D_bcを出力し、彩度信号Ｃの値が閾値Th2より大きい場合は値が「０」の白黒判別信号D_bcを出力する。また、有彩色判定回路１１２は、彩度信号Ｃの値が閾値Th1以上閾値Th2以下との間の場合はD_bc = 1 - (C - Th1) / (Th2 - Th1)の値を有する白黒判別信号D_bcを出力する。このように、白黒判別信号D_bcの値は、注目画素が無彩色である度合を表すものと見ることができる。
【００２４】
次に、彩度信号Ｃを求めるための、着目画素におけるＲ，Ｇ，Ｂの値求め方の一例を説明する。図１１（ｂ）はホワイトバランス処理された画像信号の一部についての画素配列を示している。ここで、赤色画素Ｒ３３を着目画素（すなわち欠陥画素）とすると、着目画素の周辺画素における信号値を用いて着目画素Ｒ３３におけるＲ，Ｇ，Ｂを求める。
【００２５】
本実施形態では、画素Ｒ３３の位置における彩度信号Ｃを求めるための周辺画素を、Ｇ２１，Ｇ４１，Ｇ２５，Ｇ４５とする。
まず、有彩色判定回路１１２は、周辺画素について、Ｒ，Ｇ，Ｂの値のうち不足しているものを、隣接画素の信号値から求める。ここでは、周辺画素がいずれも緑色画素であるため、Ｒ，Ｂの値を隣接する赤色画素及び青色画素の信号値から求める。
【００２６】
有彩色判定回路１１２は、画素Ｇ２１におけるの位置でのＲ，ＢをそれぞれR_21、B_21とすると
R_21 = (R11 + R31) / 2
B_21 = (B20 + B22) / 2
として求める。
【００２７】
同様に有彩色判定回路１１２は、Ｇ４１、Ｇ２５、Ｇ４５の画素位置でのＲ，Ｂについても以下のように求める。
R_41 = (R31 + R51) / 2
B_41 = (B40 + B42) / 2
R_25 = (R15 + R35) / 2
B_25 = (B24 + B26) / 2
R_45 = (R35 + R55) / 2
B_45 = (B44 + B46) / 2
【００２８】
次に有彩色判定回路１１２は、Ｇ２１，Ｇ４１，Ｇ２５，Ｇ４５の画素位置おけるＲ，Ｇ，Ｂそれぞれの平均値を、着目画素Ｒ３３におけるＲ，Ｇ，Ｂとして求める。すなわち、
R_33 = (R_21 + R_41 + R_25 + R_45) / 4
G_33 = (G21 + G41 + G25 + G45) / 4
B_33 = (B_21 + B_41 + B_25 + B_45) / 4、となる。
【００２９】
なお、本実施形態では画素Ｒ３３の位置における彩度信号Ｃを求めるための周辺画素を、Ｇ２１，Ｇ４１，Ｇ２５，Ｇ４５としたが、他の位置の画素群とすることもできる。また、明るさで彩度を正規化するように構成して、暗い部分の彩度も検出されるようにしてもよい。例えば彩度を輝度Yで除算することにより、彩度を明るさで正規化することができる。
【００３０】
（加重加算回路の動作）
無彩色画素補正回路１１０及び有彩色画素補正回路１１１の動作を説明する前に、加重加算回路１１３の動作について説明する。無彩色画素補正回路１１０が出力する画素補正値をPix_1、有彩色画素補正回路１１１の出力する画素補正値をPix_2とする。加重加算回路１１３は有彩色判定回路１１２の出力する白黒判別信号D_bcの値に応じて以下のように最終的な画素補正値Pixを求める。
Pix = (1 - D_bc) * Pix_1 + D_bc * Pix_2
そして、加重加算回路１１３は、画素補正値Pixを、欠陥画素の画像信号として信号処理回路１０５に出力する。
【００３１】
（無彩色画素補正回路）
図４は、無彩色画素補正回路１１０の機能構成例を示すブロック図である。無彩色方向判別回路４１０は、着目画素（欠陥画素）と相関の高い画素が存在する方向（着目画素の画素補正値の算出に用いるべき画素の存在する方向）を判別する方向判別処理を行う。
【００３２】
無彩色画素補正値選択回路４０５は、無彩色方向判別回路４１０での判別結果に応じて、平均補正回路４００、Ｈ（０度）補正回路４０１、Ｖ（９０度）補正回路４０２、４５度補正回路４０３、１３５度補正回路４０４の出力する画素補正値の１つを選択する。
【００３３】
次に、図５のフローチャートを用いて、無彩色画素補正回路１１０の動作を説明する。本実施形態における方向判別は、図１１（ｃ）に示す画素配列における、着目画素を中心とした縦（９０度）方向、横（０度）方向、４５度方向、１３５度方向について、１組ずつ画素を選択し、信号値の差分絶対値が最小の画素対の選択方向を判別結果とする。
【００３４】
Ｓ５０１において、無彩色方向判別回路４１０は、まず、着目画素を挟んで特定の方向（縦方向、横方向、４５度方向、１３５度方向）に位置する周辺画素対の信号値の差分絶対値を算出する。ここでは、図１１（ｃ）に示すように、着目画素（欠陥画素）Ｒ３３に対し、Ｒ１１，Ｇ１２，Ｒ１３，Ｇ１４，Ｒ１５，Ｇ２１，Ｇ２５，Ｒ３１，Ｒ３５，Ｇ４１，Ｇ４５，Ｒ５１，Ｇ５２，Ｒ５３，Ｇ５４，Ｒ５５を周辺画素とする。次に無彩色方向判別回路４１０は、周辺画素の各々について、横方向、縦方向、４５度方向及び１３５度方向の差分絶対値を以下のように求める。
【００３５】
画素Ｒ１１における横方向の差分絶対値をH_DIV_11、縦方向の絶対値差分をV_DIV_11、４５度方向の差分絶対値をD45_DIV_11、１３５度方向の差分絶対値をD135_DIV_11とすると、
H_DIV_11 = ABS( G10 - G12)
V_DIV_11 = ABS( G01 - G21)
D45_DIV_11 = ABS( B02 - B20)
D135_DIV_11 = ABS( B00 - B22)、となる
【００３６】
この場合、H_DIV_11とV_DIV_11はＧ画素の信号値、D45_DIV_11とD135_DIV_11はＢ画素の信号値で求めているが、正しく方向判別を行うことができる。これは、無彩色被写体の場合、Ｇ画素及びＢ画素の信号値はともに等しい信号値となるため、いずれも輝度信号とみなせるからである。このように、無彩色方向判別回路４１０は、被写体が無彩色であるとみなした時に、等価になる画素の信号値を用いて方向判別を行うことにより、実際に被写体が無彩色であった際には精度の高い方向判別結果を得ることができる。
【００３７】
無彩色方向判別回路４１０は、同様にして、他の周辺画素Ｇ１２，Ｒ１３，Ｇ１４，Ｒ１５，Ｇ２１，Ｇ２５，Ｒ３１，Ｒ３５，Ｇ４１，Ｇ４５，Ｒ５１，Ｇ５２，Ｒ５３，Ｇ５４，Ｒ５５についても、４方向の差分絶対値を求める。最後に無彩色方向判別回路４１０は、各周辺画素で求めた差分絶対値の平均値を方向別に求める。
【００３８】
すなわち、方向別の平均値をそれぞれH_DIV_AVE、V_DIV_AVE、D45_DIV_AVE、D135_DIV_AVEとすると、
H_DIV_AVE = （H_DIV_11 + H_DIV_12 + ・・・＋H_DIV_55）／16
V_DIV_AVE = （V_DIV_11 + V_DIV_12 + ・・・＋V_DIV_55）／16
D45_DIV_AVE = （D45_DIV_11 + D45_DIV_12 + ・・・＋D45_DIV_55）／16
D135_DIV_AVE = （D135_DIV_11 + D135_DIV_12 + ・・・＋D135_DIV_55）／16、である。
【００３９】
Ｓ５０２で無彩色方向判別回路４１０は、周辺画素における差分絶対値の方向別平均値H_DIV_AVE、V_DIV_AVE、D45_DIV_AVE、D135_DIV_AVEの全てが閾値Th1以下かどうかを判定する。差分絶対値の方向別平均値がいずれも閾値Th1以下の場合、無彩色方向判別回路４１０は、着目画素との相関の高い画素が存在する特定の方向は存在しないと判別する。そして、無彩色方向判別回路４１０は、平均補正回路４００で得られる画素補正値を選択する信号を出力する（Ｓ５０４）。
【００４０】
平均補正回路４００は、画素Ｒ３３に対する画素補正値Pixを、横方向及び縦方向における次に現れる（隣接する）、画素Ｒ３３と同色の画素Ｒ１３，Ｒ３１，Ｒ３５，Ｒ５３の信号値の平均値として、以下のように算出する。
Pix = (R13 + R31 + R35 + R53) / 4
【００４１】
一方、Ｓ５０２において、差分絶対値の方向別平均値のうち、一つでも閾値Th1を超えるものがある場合、無彩色方向判別回路４１０は処理をＳ５０３に進め、差分絶対値の平均値が最小となる方向を、着目画素と相関の高い画素が存在する方向と判別する。そして無彩色方向判別回路４１０は、Ｈ（０度）補正回路４０１、Ｖ（９０度）補正回路４０２、４５度補正回路４０３、１３５度補正回路４０４の出力する画素補正値のうち、判別した方向に対応した画素補正値を選択する信号を出力する。
【００４２】
すなわち、無彩色方向判別回路４１０は、
H_DIV_AVEが最小の場合には、Ｈ（０度）補正回路４０１の出力する画素補正値、
V_DIV_AVEが最小の場合にはＶ（９０度）補正回路４０２の出力する画素補正値、
D45_DIV＿AVEが最小の場合には４５度補正回路４０３の出力する画素補正値、
D135_DIV_AVEが最小の場合には１３５度補正回路４０４の出力する画素補正値、
を選択する信号を無彩色画素補正値選択回路４０５に出力する。
【００４３】
Ｈ（０度）補正回路４０１、Ｖ（９０度）補正回路４０２、４５度補正回路４０３、１３５度補正回路４０４は、着目画素を中心として、特定の方向に存在する画素の信号値から着目画素の画素補正値を算出する。ここでは、着目画素を挟んで参照方向に存在する、着目画素と同色の２画素の信号値の平均値を画素補正値として求めるものとする。
【００４４】
具体的には、画素補正後の画素値をPixとすると、
Ｈ（０度）補正回路４０１は、Pix = （R31 + R35）/2
Ｖ（９０度）補正回路４０２は、Pix = （R13 + R53）/2
４５度補正回路４０３は、Pix = （R15 + R51）/2
１３５度補正回路４０４は、Pix = （R11 + R55）/2
を、画素Ｒ３３に対する無彩色画素補正値としてそれぞれ算出する。
【００４５】
上述したように、無彩色被写体に対してはＧ画素の信号値もＢ画素の信号値も輝度信号値とみなすことができるため、正しく方向判別を行うことができる。また、着目画素の複数（本実施形態では１６）の周辺画素の各々において各方向に対する差分絶対値を求め、差分絶対値の方向別平均値に基づいて方向判別を行うので、ノイズの影響による方向の誤判別を抑制することができる。
【００４６】
なお、本実施形態では、欠陥画素の画素補正値を求める方法として、欠陥画素を挟んで参照方向に存在する欠陥画素と同色の画素の信号値の平均値を算出する方法を説明した。しかし、欠陥画素から参照方向に存在する画素の信号値を用いた任意の方法による画素補正値を用いることができる。同様に、方向判別において用いる周辺画素の数や位置についても、上述した特定の数や位置に限定されない。
【００４７】
（有彩色画素補正回路）
図６は、有彩色画素補正回路１１１の機能構成例を示すブロック図である。有彩色画素補正値選択回路６２２は、縦横画素補正回路６２０の出力する画素補正値と、ななめ画素補正回路６２１の出力する画素補正値のうち１つを、縦横度判別回路６１２の結果に応じて選択し、最終的な有彩色画素補正値として出力する。
【００４８】
縦横画素補正回路６２０は、ＨＶ方向判別回路（縦横方向判別手段）６１０、平均補正回路６００、Ｈ（０度）補正回路６０１、Ｖ（９０度）補正回路６０２、ＨＶ画素補正値選択回路６１３を有している。ななめ画素補正回路６２１は、ななめ方向判別回路６１１、４５度補正回路６０３、１３５度補正回路６０４、ななめ平均補正回路６０５、ななめ画素補正値選択回路６１４を有している。なお、図７において、平均補正回路６００、Ｈ補正回路６０１、Ｖ補正回路６０２、４５度補正回路６０３、１３５度補正回路６０４は、図４の同名のブロック４００〜４０４と同じ構成でよいため、詳細な説明は省略する。
【００４９】
（縦横度判別回路）
最初に縦横度判別回路６１２について説明する。第１の方向判別手段としての縦横度判別回路６１２は、図１１（ｄ）に示すように、着目画素（欠陥画素）をＲ３３とした場合に、着目画素と同色の周辺画素Ｒ１１，Ｒ１３，Ｒ１５，Ｒ３１，Ｒ３５，Ｒ５１，Ｒ５３，Ｒ５５の信号値から縦横度を判別する。具体的には、縦横度判別回路６１２は、着目画素Ｒ３３対して特定方向（ここでは、縦、横、４５度、１３５度）方向に存在する、同色周辺画素の信号値の差分絶対値を求める。ここで、横方向の差分絶対値をH_DIV、縦方向の絶対値差分をV_DIV、４５度方向の差分絶対値をD45_DIV、１３５度方向の差分絶対値をD135_DIVとすると、縦横度判別回路６１２は、
H_DIV ＝ ABS(R31 - R35)
V_DIV ＝ ABS(R13 - R53)
D45_DIV = ABS(R15 - R51)
D135_DIV = ABS(R11 - R55)、を求める。
【００５０】
ここで、着目画素と同色の画素を用いた方向判別による、折り返し（エイリアシング）の影響について説明する。図１０は空間周波数領域を示し、ｆｓはサンプリング周波数を示す。ナイキスト周波数（ｆｓ／２）以下の領域Ｖ１及びＨ１は折り返しの影響を受けないため、それぞれＶ方向、Ｈ方向を正しく判別できる。しかし、領域Ｖ２及びＶ３は、折り返しにより、Ｈ方向にもかかわらずＶ方向と判別される。領域Ｈ２及びＨ３もまた、折り返しにより、Ｖ方向にもかかわらずＨ方向と判別される。従って、領域Ｈ２，Ｈ３，Ｖ２，Ｖ３ではＨ（横）方向とＶ（縦）方向を正しく判別することができない。ベイヤー配列のカラーフィルタにおいて、Ｒ画素及びＢ画素はＧ画素の１／２であるため、Ｒ画素（Ｂ画素）だけによる方向判別では、縦方向、横方向の判別ができない。また、４５度、１３５度の判別もできない。しかしながら、縦横方向なのか、ななめ方向なのかの判別には利用可能である。
【００５１】
したがって、縦横度判別回路６１２では、着目画素と同色の周辺画素の信号値から、着目画素と相関の高い画素が存在する方向が、縦横方向であるか、もしくはななめ方向であるかの判別、すなわち方向の種類の判別を行う。
【００５２】
図７のフローチャートに従って、縦横度判別処理について説明する。Ｓ７０１で縦横度判別回路６１２は、横方向の差分絶対値H_DIV、縦方向の絶対値差分V_DIV、４５度方向の差分絶対値D45_DIV、１３５度方向の差分絶対値D135_DIVをそれぞれ上述の通り算出する。次に縦横度判別回路６１２は、Ｓ７０２で、着目画素と相関の高い画素が存在する方向が縦横方向であるか、ななめ方向であるか判別する。具体的には、縦横度判別回路６１２は、HV差分絶対値の和をHV_DIV、ななめ差分絶対値の和をD_DIVとすると
HV_DIV = H_DIV + V_DIV
D_DIV = D45_DIV + D135_DIV、を求める。
【００５３】
そして、縦横度判別回路６１２は、HV_DIVがD_DIVよりも小さい場合に、縦横方向に着目画素と相関の高い画素が存在すると判別し、「１」の値を有する縦横度判定信号D_hvを出力する（Ｓ７０３）。一方、HV_DIVがD_DIV以上の場合、縦横度判別回路６１２は、ななめ方向に着目画素と相関の高い画素が存在すると判別し、「０」の値を有する縦横度判定信号D_hvを有彩色画素補正値選択回路６２２に出力する（Ｓ７０４）。
【００５４】
有彩色画素補正値選択回路６２２は、縦横度判定信号D_hvの値が「１」なら縦横画素補正回路６２０出力する画素補正値を、縦横度判定信号D_hvの値が「０」ならななめ画素補正回路６２１の出力する画素補正値を選択して出力する。
【００５５】
（縦横画素補正回路）
次に縦横画素補正回路６２０の動作を図８のフローチャートに従って説明する。後述するななめ方向判別回路６１１とともに第２の方向判別手段を構成するＨＶ方向判別回路６１０は、緑色画素の信号値を用いて方向判別（縦方向、横方向のどちらであるかの判別）を行う。
【００５６】
Ｓ８０１において、ＨＶ方向判別回路６１０は、着目画素の複数の周辺画素について、縦方向、横方向の緑色画素の信号値の差分絶対値を算出する。例えば、図１１（ｄ）に示した例において、周辺画素Ｒ１１に対し、横方向に位置するの緑色画素の信号値の差分絶対値をH_DIV_11、縦方向に位置する緑色画素の信号値の絶対値差分をV_DIV_11とすると、ＨＶ方向判別回路６１０は、
H_DIV_11 = ABS( G10 - G12)
V_DIV_11 = ABS( G01 - G21)、を算出する。
【００５７】
ＨＶ方向判別回路６１０は、着目画素と同色の周辺画素Ｒ１３，Ｒ１５，Ｒ３１，Ｒ３５，Ｒ５１，Ｒ５３，Ｒ５５の各々について、同様に縦方向及び横方向に位置する緑色画素の信号値の差分絶対値を求めた後、方向別に平均値を算出する。横方向の平均値をH_DIV_AVE、縦方向の平均値をV_DIV_AVE、とすると、ＨＶ方向判別回路６１０は、
H_DIV_AVE = （H_DIV_11 + H_DIV_13 + ・・・・＋H_DIV_55）／8
V_DIV_AVE = （V_DIV_11 + V_DIV_13 + ・・・・＋V_DIV_55）／8、を算出する。
【００５８】
次にＳ８０２でＨＶ方向判別回路６１０は、Ｓ８０１で算出した差分絶対値の方向別平均値H_DIV_AVE、V_DIV_AVEの全てが閾値Th1以下かどうかを判定する。差分絶対値の方向別平均値がいずれも閾値Th1以下の場合、ＨＶ方向判別回路６１０は、着目画素と相関の高い画素が存在する特定の方向は存在しないと判別し、平均補正回路６００で得られる画素補正値を選択する信号を出力する（Ｓ８０４）。
【００５９】
一方、Ｓ８０２において、差分絶対値の方向別平均値のうち、一つでも閾値Th1を超えるものがある場合、ＨＶ方向判別回路６１０は処理をＳ８０３に進め、差分絶対値の平均値が最小となる方向を、着目画素と相関の高い画素が存在する方向と判別する。そしてＨＶ方向判別回路６１０は、Ｈ（０度）補正回路６０１とＶ（９０度）補正回路６０２の出力する画素補正値のうち、判別した方向に対応した画素補正値を選択する信号を出力する。具体的にはＨＶ方向判別回路６１０はH_DIV_AVEが最小の場合はＨ（０度）補正回路６０１の、V_DIV_AVEが最小の場合は、Ｖ（９０度）補正回路６０２の出力する画素補正値を選択する信号を出力する。
【００６０】
（ななめ補正回路）
次にななめ画素補正回路６２１の動作を図９のフローチャートに従って説明する。ななめ方向判別回路６１１もまた、緑色画素の信号値を用いて方向判別（ただし、４５度方向、１３５度方向のどちらであるかの判別）を行う。Ｓ９０１において、ななめ方向判別回路６１１は、着目画素の複数の周辺画素について、４５度方向、１３５度方向の緑色画素の信号値の差分絶対値を算出する。例えば、図１１（ｅ）に示した例において、周辺画素Ｇ１２に対し、４５度方向に位置するの緑色画素の信号値の差分絶対値をD45_DIV_12、１３５度方向に位置する緑色画素の信号値の絶対値差分をD135_DIV_12とする。この場合、ななめ方向判別回路６１１は、
D45_DIV_12 = ABS( G03 - G21)
D135_DIV_12 = ABS( G01 - G23)、を算出する。
【００６１】
ななめ方向判別回路６１１は、図１１（ｅ）に示す他の周辺画素Ｇ１４，Ｇ２１，Ｇ２５，Ｇ４１，Ｇ４５，Ｇ５２，Ｇ５４の各々について、同様に４５度方向及び１３５度方向に位置する緑色画素の信号値の差分絶対値を求めた後、方向別に平均値を算出する。４５度方向の平均値をD45_DIV_AVE、１３５度方向の平均値をD135_DIV_AVE、とすると、ななめ方向判別回路６１１は、
D45_DIV_AVE = （D45_DIV_12 + D45_DIV_14 + ・・・＋D45_DIV_54）／8
D135_DIV_AVE = （D135_DIV_12 + D135_DIV_14 + ・・・＋D135_DIV_54）／8、を算出する。
【００６２】
次にＳ９０２でななめ方向判別回路６１１は、Ｓ９０１で算出した差分絶対値の方向別平均値D45_DIV_AVE、D135_DIV_AVEの全てが閾値Th1以下かどうかを判定する。差分絶対値の方向別平均値がいずれも閾値Th1以下の場合、ななめ方向判別回路６１１は、着目画素と相関の高い画素が存在する特定の方向は存在しないと判別し、ななめ平均補正回路６０５で得られる画素補正値を選択する信号を出力する（Ｓ９０４）。
【００６３】
ななめ平均補正回路６０５は、画素Ｒ３３に対する画素補正値Pixを、４５度方向及び１３５度縦方向における次に現れる（隣接する）、画素Ｒ３３と同色の画素Ｒ１５，Ｒ５１，Ｒ１１，Ｒ５５の信号値の平均値として、以下のように算出する。
Pix = (R15 + R51 + R11 + R55) / 4
【００６４】
一方、Ｓ９０２において、差分絶対値の方向別平均値のうち、一つでも閾値Th1を超えるものがある場合、ななめ方向判別回路６１１は処理をＳ９０３に進め、差分絶対値の平均値が最小となる方向を、着目画素と相関の高い画素が存在する方向と判別する。そしてななめ方向判別回路６１１は、４５度補正回路６０３と１３５度補正回路６０４の出力する画素補正値のうち、判別した方向に対応した画素補正値を選択する信号を出力する。具体的にはななめ方向判別回路６１１はD45_DIV_AVEが最小の場合は４５度補正回路６０３の、D135_DIV_AVEが最小の場合は、１３５度補正回路６０４の出力する画素補正値を選択する信号を出力する。
【００６５】
着目画素と相関の高い画素の存在する方向を判別する場合、着目画素と同色の周辺画素の信号値を用いることが好ましいが、被写体の色やエイリアシングの問題から、有彩色の被写体については必ずしも精度が高い方向判別ができない場合があった。そのため、本実施形態では、着目画素と同色の周辺画素の信号値からは着目画素と相関の高い画素の存在する方向の種別のみを判別する。そして、具体的な方向の判別は、着目画素と異なる色の周辺画素の信号値を用いて行うようにした。
【００６６】
例えば、ベイヤー配列のカラーフィルタを有する撮像素子で撮像された画像に関し、Ｒ（Ｂ）画素が着目画素（欠陥画素）であれば、周辺のＲ（Ｂ）画素の信号値から、着目画素と相関の高い画素の存在する方向が縦横方向なのか、ななめ方向なのかまでを判別する。そして、着目画素の周辺のＧ画素の信号値から、着目画素と相関の高い画素の存在する方向が具体的にどの方向なのかを判別する。
【００６７】
そのため、有彩色の被写体に対しても、方向判別を誤る可能性を抑制することができる。また、赤い被写体など、Ｇ画素での信号が小さい被写体であっても、縦横方向なのか、ななめ方向なのかについては正しく判別できているため、Ｇ画素の信号値による方向判別がノイズによって誤る可能性も抑制することができる。従って、欠陥画素補正に適用すれば、精度の良い画素補正値を得ることができる。なお、有彩色の被写体に対する方向判別精度の向上効果は、有彩色画素補正回路１１１単独で実現できる効果である。
【００６８】
なお、方向判別後の画素補正値の算出方法については本発明の本質とは直接関係せず、上述した具体的な方法以外の任意の方法を利用することが可能である。
【００６９】
本実施形態によれば、着目画素の被写体が無彩色か有彩色を判別し、無彩色であれば着目画素と同色か否かにかかわらず、周辺画素の信号値を用いて方向判別を行う。そのため、無彩色被写体に対して従来より多数の周辺画素の信号値を参照することが可能になり、精度の良い方向判別結果を得ることができる。
【００７０】
一方、有彩色被写体については、着目画素と同色の周辺画素の信号値による方向判別と、着目画素と異なる色の周辺画素の信号値による方向判別とを行うこと。そのため、上述したように、着目画素と同色の画素だけによる方向判別や着目画素と異なる色の画素だけによる方向判別よりも精度の良い方向判別が可能である。
【００７１】
さらに、被写体が有彩色被写体か無彩色被写体か明確でない場合には、無彩色被写体とみなした場合の方向判別結果に基づく画素補正値と、有彩色被写体とみなした場合の方向判別結果に基づく画素補正値とを、有彩度に応じて加重加算する。そのため、誤った方向判別による誤補正を抑制することもできる。
【００７２】
（その他の実施形態）
上述の実施形態において、着目画素がＧ画素の場合、例えば無彩色画素補正回路１１０を用いて画素補正値を生成してもよい。例えば、図１１（ｄ）においてＧ２３が着目画素（欠陥画素）であれば、無彩色方向判別回路４１０で
H_DIV = ABS(G21 - G25)
V_DIV = ABS(G03 - G43)
D45_DIV = ABS(G14 - G32)
D135_DIV = ABS(G12 - G34)
を求める。そして、差分絶対値が最小となる方向を、着目画素と相関の高い画素が存在する方向として判別する。
【００７３】
一方、Ｈ補正回路４０１で、Pix = (G21 + G25)/2、
Ｖ補正回路４０２で、Pix = (G03 + G43)/2、
４５度補正回路４０３で、Pix = (G14 + G32)/2、
１３５度補正回路４０４でPix = (G12 + G34)/2の
画素補正値をそれぞれ算出する。無彩色方向判別回路４１０は、判別した方向に対応する画素補正値を選択する信号を、無彩色画素補正値選択回路４０５に出力する。
【００７４】
上述の実施形態においては、ベイヤー配列のカラーフィルタを備えた撮像素子によって撮像された画像データを対象とする場合について説明した。しかし、本発明の原理は複数の特定色が規則的に配列され、かつ色によって画素数に差があるカラーフィルタを備えた撮像素子によって撮像された画像データに対して適用可能である。つまり、画素数が少ない色の画素に対する画素補正値を生成する場合に、本発明を適用することができる。
【００７５】
また、上述の実施形態においては、ＨＶ方向判別回路６１０及びななめ方向判別回路６１１で判別されうる各方向についての画素補正値（平均補正値も含む）を各補正回路で個別に算出した。そして、ＨＶ方向判別回路６１０での方向判別結果により１つの画素補正値を、ななめ方向判別回路６１１の方向判別結果により１つの画素補正値を選択していた。
【００７６】
しかし、平均補正回路６００、Ｈ補正回路６０１、Ｖ補正回路６０２の機能を選択的に実効可能な補正回路を設け、ＨＶ方向判別回路６１０の判別結果に基づいて縦横方向についての画素補正値を生成するように構成してもよい。同様に、４５度補正回路６０３、１３５度補正回路６０４、ななめ平均補正回路６０５の機能を選択的に実効可能な補正回路を設け、ななめ方向判別回路６１１の判別結果に基づいてななめ方向についての画素補正値を生成するように構成してもよい。これらの場合、ＨＶ画素補正値選択回路６１３やななめ画素補正値選択回路６１４は不要となる。
【００７７】
また、縦横度判別回路６１２の出力によってＨＶ方向判別回路６１０とななめ方向判別回路６１１の判別結果のいずれかを選択するように構成することもできる。この場合、選択された判別結果に対応した補正値のみを生成すればよいため、有彩色画素補正値選択回路６２２も不要となる。
【００７８】
基本的には、縦横度判別回路６１２による、縦横方向かななめ方向かの判別結果に従って、ＨＶ方向判別回路６１０とななめ方向判別回路６１１の判別結果の一方を選択し、選択された方向に対応する画素補正値を生成できれば、任意の構成を採用しうる。
【００７９】
また、上述の実施形態において、方向判別は０度、４５度、９０度、１３５度の４方向であったが、この方向はカラーフィルタ（画素）の形状および配列によって変化しうる。
【００８０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005898428.tif 000002
【図２】
0005898428.tif 000003
【図３】
0005898428.tif 000004
【図４】
0005898428.tif 000005
【図５】
0005898428.tif 000006
【図６】
0005898428.tif 000007
【図７】
0005898428.tif 000008
【図８】
0005898428.tif 000009
【図９】
0005898428.tif 000010
【図１０】
0005898428.tif 000011
【図１１】
0005898428.tif 000012