"カラーフィルタを備えた撮像素子により得られた画像の、着目画素の周辺の複数の画素の信号値から、前記着目画素の信号値を生成する画像処理装置であって、前記着目画素に対する彩度信号から、前記着目画素が無彩色である度合を示す判定信号を出力する判定手段と、前記着目画素の周辺の複数の画素のうち、前記着目画素と異なる色の複数の画素の信号値から、前記着目画素の信号値と相関の高い画素が存在する方向を判別する無彩色方向判別手段と、前記着目画素の周辺の複数の画素のうち、前記無彩色方向判別手段が判別した方向に存在する画素の信号値を用いて前記着目画素の信号値を生成する第1の補正値生成手段と、前記着目画素の周辺の複数の画素のうち、前記着目画素と同色の複数の画素の信号値と、前記着目画素と異なる色の複数の画素の信号値とから前記着目画素の信号値と相関の高い画素が存在する方向を判別する有彩色方向判別手段と、前記着目画素の周辺の複数の画素のうち、前記有彩色方向判別手段が判別した方向に存在する画素の信号値を用いて前記着目画素の信号値を生成する第2の補正値生成手段と、前記判定信号により、前記着目画素が無彩色である度合が高いことが示されるほど、前記第1の補正値生成手段の生成する信号値の重み付けを大きく、かつ前記第2の補正値生成手段の生成する信号値の重み付けを小さくして、前記第1の補正値生成手段の生成する信号値と前記第2の補正値生成手段の生成する信号値とを加重加算し、前記着目画素の最終的な信号値を算出する加重加算手段と、を有することを特徴とする画像処理装置。前記無彩色方向判別手段が、前記着目画素の周辺の複数の画素のそれぞれについて、該画素を挟んで位置する2つの前記着目画素と異なる色の画素の信号値の差分の平均値を、横方向と、縦方向と、予め定められた複数のななめ方向の各々について求め、該求めた方向別の平均値のうち、最小の値に対応する方向を、前記着目画素の信号値と相関の高い画素が存在する方向として判別する、ことを特徴とする請求項1記載の画像処理装置。前記有彩色方向判別手段が、前記着目画素と同色の、前記着目画素の周辺の複数の画素の信号値から、前記着目画素の信号値と相関の高い画素が存在する方向が、縦横方向か、ななめ方向かを判別する第1の方向判別手段と、前記着目画素と異なる色の、前記着目画素の周辺の複数の画素の信号値から、前記着目画素の信号値と相関の高い画素が存在する方向として、縦横方向の1つと、予め定められた複数のななめ方向の1つを判別する第2の方向判別手段と、前記第1の方向判別手段によって前記着目画素の信号値と相関の高い画素が存在する方向が縦横方向と判別されていれば、前記第2の方向判別手段が判別した縦横方向の1つを選択し、前記第1の方向判別手段によって前記着目画素の信号値と相関の高い画素が存在する方向がななめ方向と判別されていれば、前記第2の方向判別手段が判別した前記複数のななめ方向の1つを選択する選択手段と、を有することを特徴とする請求項1又は請求項2に記載の画像処理装置。前記予め定められた複数のななめ方向が、45度方向及び135度方向であることを特徴とする請求項2又は請求項3記載の画像処理装置。カラーフィルタを備えた撮像素子と、請求項1乃至請求項4のいずれか1項に記載の画像処理装置とを有し、前記撮像素子により得られた画像のうち、前記撮像素子の欠陥画素の信号値を、前記画像処理装置によって取得することを特徴とする撮像装置。カラーフィルタを備えた撮像素子と、請求項1乃至請求項4のいずれか1項に記載の画像処理装置とを有し、前記撮像素子により得られた画像の着目画素に対する色補間処理において、前記画像処理装置の前記加重加算手段によって算出される前記信号値を用いることを特徴とする撮像装置。カラーフィルタを備えた撮像素子により得られた画像の、着目画素の周辺の複数の画素の信号値から、前記着目画素の信号値を生成する画像処理装置の制御方法であって、判定手段が、前記着目画素に対する彩度信号から、前記着目画素が無彩色である度合を示す判定信号を出力する判定工程と、無彩色方向判別手段が、前記着目画素の周辺の複数の画素のうち、前記着目画素と異なる色の複数の画素の信号値から、前記着目画素の信号値と相関の高い画素が存在する方向を判別する無彩色方向判別工程と、第1の補正値生成手段が、前記着目画素の周辺の複数の画素のうち、前記無彩色方向判別工程で判別された方向に存在する画素の信号値を用いて前記着目画素の信号値を生成する第1の補正値生成工程と、有彩色方向判別手段が、前記着目画素の周辺の複数の画素のうち、前記着目画素と同色の複数の画素の信号値と、前記着目画素と異なる色の複数の画素の信号値とから前記着目画素の信号値と相関の高い画素が存在する方向を判別する有彩色方向判別工程と、第2の補正値生成手段が、前記着目画素の周辺の複数の画素のうち、前記有彩色方向判別工程によって判別された方向に存在する画素の信号値を用いて前記着目画素の信号値を生成する第2の補正値生成工程と、加重加算手段が、前記判定信号により、前記着目画素が無彩色である度合が高いことが示されるほど、前記第1の補正値生成工程で生成された信号値の重み付けを大きく、かつ前記第2の補正値生成工程で生成された信号値の重み付けを小さくして、前記第1の補正値生成工程で生成された信号値と前記第2の補正値生成工程で生成された信号値とを加重加算し、前記着目画素の最終的な信号値を算出する加重加算工程と、を有することを特徴とする画像処理装置の制御方法。コンピュータを、請求項1乃至請求項4のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。しかし、この方法では、着目画素の周囲8画素の信号値のみを使って方向判定を行っている。そのため、周囲8画素の信号値にノイズなどの影響が含まれる場合、方向判別を誤る場合があり、結果として画素補正値の精度が低下するという問題があった。本発明はこのような従来技術の問題点に鑑みなされたものであり、精度の良い方向判別結果をより安定して得ることが可能な画像処理装置及びその制御方法を提供することを目的とする。上述の目的は、カラーフィルタを備えた撮像素子により得られた画像の、着目画素の周辺の複数の画素の信号値から、着目画素の信号値を生成する画像処理装置であって、着目画素に対する彩度信号から、着目画素が無彩色である度合を示す判定信号を出力する判定手段と、着目画素の周辺の複数の画素のうち、着目画素と異なる色の複数の画素の信号値から、着目画素の信号値と相関の高い画素が存在する方向を判別する無彩色方向判別手段と、着目画素の周辺の複数の画素のうち、無彩色方向判別手段が判別した方向に存在する画素の信号値を用いて着目画素の信号値を生成する第1の補正値生成手段と、着目画素の周辺の複数の画素のうち、着目画素と同色の複数の画素の信号値と、着目画素と異なる色の複数の画素の信号値とから着目画素の信号値と相関の高い画素が存在する方向を判別する有彩色方向判別手段と、着目画素の周辺の複数の画素のうち、有彩色方向判別手段が判別した方向に存在する画素の信号値を用いて着目画素の信号値を生成する第2の補正値生成手段と、判定信号により、着目画素が無彩色である度合が高いことが示されるほど、第1の補正値生成手段の生成する信号値の重み付けを大きく、かつ第2の補正値生成手段の生成する信号値の重み付けを小さくして、第1の補正値生成手段の生成する信号値と第2の補正値生成手段の生成する信号値とを加重加算し、着目画素の最終的な信号値を算出する加重加算手段と、を有することを特徴とする画像処理装置によって達成される。このような構成により、本発明によれば、精度の良い方向判別結果をより安定して得ることが可能となり、精度の良い欠陥画素の補正や色補間を実現できる。以下、本発明の例示的な実施形態について図面を参照して詳細に説明する。第1の実施形態図1は、本発明の第1の実施形態に係る画像処理装置を適用可能な装置の一例としての撮像装置の機能構成例を示すブロック図である。なお、図1においては、撮像装置が有する構成のうち、欠陥画素補正に関連する構成のみを記載している。また、本発明に係る画像処理装置において、撮像に係る構成は必須でない。なお、以下に説明する画素補正回路104の機能ブロックはコンピュータがソフトウェアを実行することによって実現してもよいし、ハードウェアロジックで実現してもよい。本実施形態に係る画像処理装置は例えばCPUが制御プログラムを実行して記憶装置やインタフェースなど汎用コンピュータの有するハードウェアを制御することにより実施されてもよい。図1において、撮像部101は図示しない撮影レンズ、撮像素子及びその駆動回路を有し、撮影レンズが結像する光学像を撮像素子により電気信号に変換する。撮像素子は例えばCCDイメージセンサやCMOSイメージセンサであり、特定の複数色が規則的に配列されたカラーフィルタを備えている。ここでは、このようなカラーフィルタの一例として、図11aに示したベイヤー配列の原色カラーフィルタが用いられているものとする。図11aにおいて、Rxxは赤色画素、Gxxは緑色画素、Bxxは青色画素xxは番号である。撮像部101から出力される画素毎のアナログ画像信号は、A/D変換回路102によってデジタル画像信号に変換され、ホワイトバランスWB回路103に入力される。ホワイトバランス回路103は、デジタル画像信号に対して公知のホワイトバランス調整を行う。ホワイトバランス回路103から出力された画像信号は、本実施形態に係る画像処理装置に相当する画素補正回路104に入力される。画素補正回路104は、無彩色画素補正回路110、有彩色画素補正回路111、有彩色判定回路112、及び加重加算回路113を有する。画素補正回路104は、欠陥画素の位置情報に基づいて、欠陥画素の画像信号の予測値である画素補正値を求める。具体的には、無彩色画素補正回路110の出力値と有彩色画素補正回路111の出力値とを、有彩色判定回路112による判定結果に応じて加重加算回路113で加重加算して画素補正値を求める。画素補正回路104で求めた画素補正値は、信号処理回路105に入力される。信号処理回路105には、欠陥画素以外の画素についての画像信号と、画素補正値とが与えられ、公知の色補間処理、輝度信号処理、色信号処理等が行われる。なお、本実施形態において、画素補正回路104は着目画素欠陥画素が赤色画素R画素又は青色画素B画素の場合に画素補正値を生成するものとする。着目画素が緑色画素G画素の場合、画素数が多いため、周辺の緑色画素のみに基づいて、上述した従来の方法による方向判別及び補間を行うことができる。このようなG画素の画素補正値の生成に係る処理は、図示しない補正回路を用いて行うものとするあるいは、画素補正回路104を利用してもよい。なお、画素補正回路104が、欠陥画素以外の画素についてはそのまま信号処理回路105に出力し、欠陥画素については求めた画素補正値を信号処理回路105に出力するように構成してもよい。なお、画素補正回路104は、入力される画像信号と撮像素子における画素配列との対応関係や、欠陥画素の位置についての情報を取得可能もしくは予め知っているものとする。これを実現するための方法に特に制限はないが、例えば、撮像部101が有する撮像素子の欠陥画素の位置に関する情報が撮像装置の製造時等に画素補正回路104もしくは画素補正回路104がアクセス可能な不揮発性メモリなどに登録されていてもよい。また、画像信号とともに欠陥画素の位置情報が画素補正回路104に通知されてもよい。また、画素補正回路104に入力される画像信号に含まれる各画素の信号の並びは予め決まっているので、ある特定の画素の周辺画素などを特定することができる。さらに、カラーフィルタの配列や色に関する情報についても、既知であるとする。画素補正回路104がこれらの事項を入手するための構成は本発明の本質とは直接関係せず、公知の任意な方法を採用しうるため、これ以上の説明は省略する。画素補正回路の動作以下、画素補正回路104における欠陥画素補正処理について説明する。なお、ここでは、発明の理解を助けると共に説明を簡潔にするため、着目画素欠陥画素が赤色画素R画素又は青色画素B画素である場合を前提とし、さらに着目画素がR画素である場合を説明する。しかし、着目画素がB画素の場合も、以下に説明する画素の配置関係を適用して同様の処理を行えばよい。有彩色判定回路の動作まず、有彩色判定回路112の動作について、図2のフローチャートを参照しながら説明する。有彩色判定回路112は、まずS201において、ホワイトバランス処理後の画像信号の着目画素における彩度信号Cを、例えば以下の式に従って算出する。Y03R059G011BCr0713Cb0564C√ここで、着目画素におけるR,G,Bの値の求め方は後述する。次に有彩色判定回路112は、S202において、あるレベルの閾値Th1と比較して彩度信号Cの値が小さい場合は、着目画素が無彩色であると判定し、白黒判別信号Dbcに1を設定するS203。一方、S202において、彩度信号Cの値が閾値Th1以上であれば、有彩色判定回路112は処理をS204に進め、彩度信号Cの値を閾値Th1より大きな所定の閾値Th2と比較する。閾値Th2と比較して彩度信号Cの値が大きい場合、有彩色判定回路112は着目画素が有彩色であると判定し、白黒判別信号Dbcに0を設定するS205。一方、S204において彩度信号Cの値が閾値Th2以下の場合、彩度信号Cの値に応じて線形補間した値を白黒判別信号Dbcに設定するS206。図3に、彩度信号Cの値と、閾値Th1及びTh2、並びに白黒判別信号Dbcの値との関係例を示す。このように、有彩色判定回路112は、彩度信号Cの値が閾値Th1より小さい場合は値が1の白黒判別信号Dbcを出力し、彩度信号Cの値が閾値Th2より大きい場合は値が0の白黒判別信号Dbcを出力する。また、有彩色判定回路112は、彩度信号Cの値が閾値Th1以上閾値Th2以下との間の場合はDbc1の値を有する白黒判別信号Dbcを出力する。このように、白黒判別信号Dbcの値は、注目画素が無彩色である度合を表すものと見ることができる。次に、彩度信号Cを求めるための、着目画素におけるR,G,Bの値求め方の一例を説明する。図11bはホワイトバランス処理された画像信号の一部についての画素配列を示している。ここで、赤色画素R33を着目画素すなわち欠陥画素とすると、着目画素の周辺画素における信号値を用いて着目画素R33におけるR,G,Bを求める。本実施形態では、画素R33の位置における彩度信号Cを求めるための周辺画素を、G21,G41,G25,G45とする。まず、有彩色判定回路112は、周辺画素について、R,G,Bの値のうち不足しているものを、隣接画素の信号値から求める。ここでは、周辺画素がいずれも緑色画素であるため、R,Bの値を隣接する赤色画素及び青色画素の信号値から求める。有彩色判定回路112は、画素G21におけるの位置でのR,BをそれぞれR21、B21とするとR212B212として求める。同様に有彩色判定回路112は、G41、G25、G45の画素位置でのR,Bについても以下のように求める。R412B412R252B252R452B452次に有彩色判定回路112は、G21,G41,G25,G45の画素位置おけるR,G,Bそれぞれの平均値を、着目画素R33におけるR,G,Bとして求める。すなわち、R334G334B334、となる。なお、本実施形態では画素R33の位置における彩度信号Cを求めるための周辺画素を、G21,G41,G25,G45としたが、他の位置の画素群とすることもできる。また、明るさで彩度を正規化するように構成して、暗い部分の彩度も検出されるようにしてもよい。例えば彩度を輝度Yで除算することにより、彩度を明るさで正規化することができる。加重加算回路の動作無彩色画素補正回路110及び有彩色画素補正回路111の動作を説明する前に、加重加算回路113の動作について説明する。無彩色画素補正回路110が出力する画素補正値をPix1、有彩色画素補正回路111の出力する画素補正値をPix2とする。加重加算回路113は有彩色判定回路112の出力する白黒判別信号Dbcの値に応じて以下のように最終的な画素補正値Pixを求める。PixPix1DbcPix2そして、加重加算回路113は、画素補正値Pixを、欠陥画素の画像信号として信号処理回路105に出力する。無彩色画素補正回路図4は、無彩色画素補正回路110の機能構成例を示すブロック図である。無彩色方向判別回路410は、着目画素欠陥画素と相関の高い画素が存在する方向着目画素の画素補正値の算出に用いるべき画素の存在する方向を判別する方向判別処理を行う。無彩色画素補正値選択回路405は、無彩色方向判別回路410での判別結果に応じて、平均補正回路400、H0度補正回路401、V90度補正回路402、45度補正回路403、135度補正回路404の出力する画素補正値の1つを選択する。平均補正回路400、H0度補正回路401、V90度補正回路402、45度補正回路403、135度補正回路404は第1の補正値生成手段を構成する。次に、図5のフローチャートを用いて、無彩色画素補正回路110の動作を説明する。本実施形態における方向判別は、図11cに示す画素配列における、着目画素を中心とした縦90度方向、横0度方向、45度方向、135度方向について、1組ずつ画素を選択し、信号値の差分絶対値が最小の画素対の選択方向を判別結果とする。S501において、無彩色方向判別回路410は、まず、着目画素を挟んで特定の方向縦方向、横方向、45度方向、135度方向に位置する周辺画素対の信号値の差分絶対値を算出する。ここでは、図11cに示すように、着目画素欠陥画素R33に対し、R11,G12,R13,G14,R15,G21,G25,R31,R35,G41,G45,R51,G52,R53,G54,R55を周辺画素とする。次に無彩色方向判別回路410は、周辺画素の各々について、横方向、縦方向、45度方向及び135度方向の差分絶対値を以下のように求める。画素R11における横方向の差分絶対値をHDIV11、縦方向の絶対値差分をVDIV11、45度方向の差分絶対値をD45DIV11、135度方向の差分絶対値をD135DIV11とすると、HDIV11ABSVDIV11ABSD45DIV11ABSD135DIV11ABS、となるこの場合、HDIV11とVDIV11はG画素の信号値、D45DIV11とD135DIV11はB画素の信号値で求めているが、正しく方向判別を行うことができる。これは、無彩色被写体の場合、G画素及びB画素の信号値はともに等しい信号値となるため、いずれも輝度信号とみなせるからである。このように、無彩色方向判別回路410は、被写体が無彩色であるとみなした時に、等価になる画素の信号値を用いて方向判別を行うことにより、実際に被写体が無彩色であった際には精度の高い方向判別結果を得ることができる。無彩色方向判別回路410は、同様にして、他の周辺画素G12,R13,G14,R15,G21,G25,R31,R35,G41,G45,R51,G52,R53,G54,R55についても、4方向の差分絶対値を求める。最後に無彩色方向判別回路410は、各周辺画素で求めた差分絶対値の平均値を方向別に求める。すなわち、方向別の平均値をそれぞれHDIVAVE、VDIVAVE、D45DIVAVE、D135DIVAVEとすると、HDIVAVEHDIV11HDIV12HDIV55/16VDIVAVEVDIV11VDIV12VDIV55/16D45DIVAVED45DIV11D45DIV12D45DIV55/16D135DIVAVED135DIV11D135DIV12D135DIV55/16、である。S502で無彩色方向判別回路410は、周辺画素における差分絶対値の方向別平均値HDIVAVE、VDIVAVE、D45DIVAVE、D135DIVAVEの全てが閾値Th1以下かどうかを判定する。差分絶対値の方向別平均値がいずれも閾値Th1以下の場合、無彩色方向判別回路410は、着目画素との相関の高い画素が存在する特定の方向は存在しないと判別する。そして、無彩色方向判別回路410は、平均補正回路400で得られる画素補正値を選択する信号を出力するS504。平均補正回路400は、画素R33に対する画素補正値Pixを、横方向及び縦方向における次に現れる隣接する、画素R33と同色の画素R13,R31,R35,R53の信号値の平均値として、以下のように算出する。Pix4一方、S502において、差分絶対値の方向別平均値のうち、一つでも閾値Th1を超えるものがある場合、無彩色方向判別回路410は処理をS503に進め、差分絶対値の平均値が最小となる方向を、着目画素と相関の高い画素が存在する方向と判別する。そして無彩色方向判別回路410は、H0度補正回路401、V90度補正回路402、45度補正回路403、135度補正回路404の出力する画素補正値のうち、判別した方向に対応した画素補正値を選択する信号を出力する。すなわち、無彩色方向判別回路410は、HDIVAVEが最小の場合には、H0度補正回路401の出力する画素補正値、VDIVAVEが最小の場合にはV90度補正回路402の出力する画素補正値、D45DIV_AVEが最小の場合には45度補正回路403の出力する画素補正値、D135DIVAVEが最小の場合には135度補正回路404の出力する画素補正値、を選択する信号を無彩色画素補正値選択回路405に出力する。H0度補正回路401、V90度補正回路402、45度補正回路403、135度補正回路404は、着目画素を中心として、特定の方向に存在する画素の信号値から着目画素の画素補正値を算出する。ここでは、着目画素を挟んで参照方向に存在する、着目画素と同色の2画素の信号値の平均値を画素補正値として求めるものとする。具体的には、画素補正後の画素値をPixとすると、H0度補正回路401は、PixR31R352V90度補正回路402は、PixR13R53245度補正回路403は、PixR15R512135度補正回路404は、PixR11R552を、画素R33に対する無彩色画素補正値としてそれぞれ算出する。上述したように、無彩色被写体に対してはG画素の信号値もB画素の信号値も輝度信号値とみなすことができるため、正しく方向判別を行うことができる。また、着目画素の複数本実施形態では16の周辺画素の各々において各方向に対する差分絶対値を求め、差分絶対値の方向別平均値に基づいて方向判別を行うので、ノイズの影響による方向の誤判別を抑制することができる。なお、本実施形態では、欠陥画素の画素補正値を求める方法として、欠陥画素を挟んで参照方向に存在する欠陥画素と同色の画素の信号値の平均値を算出する方法を説明した。しかし、欠陥画素から参照方向に存在する画素の信号値を用いた任意の方法による画素補正値を用いることができる。同様に、方向判別において用いる周辺画素の数や位置についても、上述した特定の数や位置に限定されない。有彩色画素補正回路図6は、有彩色画素補正回路111の機能構成例を示すブロック図である。有彩色画素補正値選択回路622は、縦横画素補正回路620の出力する画素補正値と、ななめ画素補正回路621の出力する画素補正値のうち1つを、縦横度判別回路612の結果に応じて選択し、最終的な有彩色画素補正値として出力する。縦横画素補正回路620は、HV方向判別回路610、平均補正回路600、H0度補正回路601、V90度補正回路602、HV画素補正値選択回路613を有している。ななめ画素補正回路621は、ななめ方向判別回路611、45度補正回路603、135度補正回路604、ななめ平均補正回路605、ななめ画素補正値選択回路614を有している。なお、図7において、平均補正回路600、H補正回路601、V補正回路602、45度補正回路603、135度補正回路604は、図4の同名のブロック400~404と同じ構成でよいため、詳細な説明は省略する。平均補正回路600、H0度補正回路601、V90度補正回路602、45度補正回路603、135度補正回路604、ななめ平均補正回路605は、第2の補正値生成手段を構成する。縦横度判別回路最初に、縦横度判別回路612について説明する。第1の方向判別手段としての縦横度判別回路612は、図11dに示すように、着目画素欠陥画素をR33とした場合に、着目画素と同色の周辺画素R11,R13,R15,R31,R35,R51,R53,R55の信号値から縦横度を判別する。具体的には、縦横度判別回路612は、着目画素R33対して特定方向ここでは、縦、横、45度、135度方向に存在する、同色周辺画素の信号値の差分絶対値を求める。ここで、横方向の差分絶対値をHDIV、縦方向の絶対値差分をVDIV、45度方向の差分絶対値をD45DIV、135度方向の差分絶対値をD135DIVとすると、縦横度判別回路612は、HDIV=ABSVDIV=ABSD45DIVABSD135DIVABS、を求める。ここで、着目画素と同色の画素を用いた方向判別による、折り返しエイリアシングの影響について説明する。図10は空間周波数領域を示し、fsはサンプリング周波数を示す。ナイキスト周波数fs/2以下の領域V1及びH1は折り返しの影響を受けないため、それぞれV方向、H方向を正しく判別できる。しかし、領域V2及びV3は、折り返しにより、H方向にもかかわらずV方向と判別される。領域H2及びH3もまた、折り返しにより、V方向にもかかわらずH方向と判別される。従って、領域H2,H3,V2,V3ではH横方向とV縦方向を正しく判別することができない。ベイヤー配列のカラーフィルタにおいて、R画素及びB画素はG画素の1/2であるため、R画素B画素だけによる方向判別では、縦方向、横方向の判別ができない。また、45度、135度の判別もできない。しかしながら、縦横方向なのか、ななめ方向なのかの判別には利用可能である。したがって、縦横度判別回路612では、着目画素と同色の周辺画素の信号値から、着目画素と相関の高い画素が存在する方向が、縦横方向であるか、もしくはななめ方向であるかの判別、すなわち方向の種類の判別を行う。図7のフローチャートに従って、縦横度判別処理について説明する。S701で縦横度判別回路612は、横方向の差分絶対値HDIV、縦方向の絶対値差分VDIV、45度方向の差分絶対値D45DIV、135度方向の差分絶対値D135DIVをそれぞれ上述の通り算出する。次に縦横度判別回路612は、S702で、着目画素と相関の高い画素が存在する方向が縦横方向であるか、ななめ方向であるか判別する。具体的には、縦横度判別回路612は、HV差分絶対値の和をHVDIV、ななめ差分絶対値の和をDDIVとするとHVDIVHDIVVDIVDDIVD45DIVD135DIV、を求める。そして、縦横度判別回路612は、HVDIVがDDIVよりも小さい場合に、縦横方向に着目画素と相関の高い画素が存在すると判別し、1の値を有する縦横度判定信号Dhvを出力するS703。一方、HVDIVがDDIV以上の場合、縦横度判別回路612は、ななめ方向に着目画素と相関の高い画素が存在すると判別し、0の値を有する縦横度判定信号Dhvを有彩色画素補正値選択回路622に出力するS704。有彩色画素補正値選択回路622は、縦横度判定信号Dhvの値が1なら縦横画素補正回路620出力する画素補正値を、縦横度判定信号Dhvの値が0ならななめ画素補正回路621の出力する画素補正値を選択して出力する。HV補正回路次にHV補正回路620の動作を図8のフローチャートに従って説明する。後述するななめ方向判別回路611とともに第2の方向判別手段を構成するHV方向判別回路610は、緑色画素の信号値を用いて方向判別縦方向、横方向のどちらであるかの判別を行う。また、縦横度判別回路612、HV方向判別回路610、及びななめ方向判別回路611により、有彩色方向判別手段が構成される。S801において、HV方向判別回路610は、着目画素の複数の周辺画素について、縦方向、横方向の緑色画素の信号値の差分絶対値を算出する。例えば、図11dに示した例において、周辺画素R11に対し、横方向に位置するの緑色画素の信号値の差分絶対値をHDIV11、縦方向に位置する緑色画素の信号値の絶対値差分をVDIV11とすると、HV方向判別回路610は、HDIV11ABSVDIV11ABS、を算出する。HV方向判別回路610は、着目画素と同色の周辺画素R13,R15,R31,R35,R51,R53,R55の各々について、同様に縦方向及び横方向に位置する緑色画素の信号値の差分絶対値を求めた後、方向別に平均値を算出する。横方向の平均値をHDIVAVE、縦方向の平均値をVDIVAVE、とすると、HV方向判別回路610は、HDIVAVEHDIV11HDIV13HDIV55/8VDIVAVEVDIV11VDIV13VDIV55/8、を算出する。次にS802でHV方向判別回路610は、S801で算出した差分絶対値の方向別平均値HDIVAVE、VDIVAVEの全てが閾値Th1以下かどうかを判定する。差分絶対値の方向別平均値がいずれも閾値Th1以下の場合、HV方向判別回路610は、着目画素と相関の高い画素が存在する特定の方向は存在しないと判別し、平均補正回路600で得られる画素補正値を選択する信号を出力するS804。一方、S802において、差分絶対値の方向別平均値のうち、一つでも閾値Th1を超えるものがある場合、HV方向判別回路610は処理をS803に進め、差分絶対値の平均値が最小となる方向を、着目画素と相関の高い画素が存在する方向と判別する。そしてHV方向判別回路610は、H0度補正回路601とV90度補正回路602の出力する画素補正値のうち、判別した方向に対応した画素補正値を選択する信号を出力する。具体的にはHV方向判別回路610はHDIVAVEが最小の場合はH0度補正回路601の、VDIVAVEが最小の場合は、V90度補正回路602の出力する画素補正値を選択する信号を出力する。ななめ補正回路次にななめ画素補正回路621の動作を図9のフローチャートに従って説明する。ななめ方向判別回路611もまた、緑色画素の信号値を用いて方向判別ただし、45度方向、135度方向のどちらであるかの判別を行う。S901において、ななめ方向判別回路611は、着目画素の複数の周辺画素について、45度方向、135度方向の緑色画素の信号値の差分絶対値を算出する。例えば、図11eに示した例において、周辺画素G12に対し、45度方向に位置するの緑色画素の信号値の差分絶対値をD45DIV12、135度方向に位置する緑色画素の信号値の絶対値差分をD135DIV12とする。この場合、ななめ方向判別回路611は、D45DIV12ABSD135DIV12ABS、を算出する。ななめ方向判別回路611は、図11eに示す他の周辺画素G14,G21,G25,G41,G45,G52,G54の各々について、同様に45度方向及び135度方向に位置する緑色画素の信号値の差分絶対値を求めた後、方向別に平均値を算出する。45度方向の平均値をD45DIVAVE、135度方向の平均値をD135DIVAVE、とすると、ななめ方向判別回路611は、D45DIVAVED45DIV12D45DIV14D45DIV54/8D135DIVAVED135DIV12D135DIV14D135DIV54/8、を算出する。次にS902でななめ方向判別回路611は、S901で算出した差分絶対値の方向別平均値D45DIVAVE、D135DIVAVEの全てが閾値Th1以下かどうかを判定する。差分絶対値の方向別平均値がいずれも閾値Th1以下の場合、ななめ方向判別回路611は、着目画素と相関の高い画素が存在する特定の方向は存在しないと判別し、ななめ平均補正回路605で得られる画素補正値を選択する信号を出力するS904。ななめ平均補正回路605は、画素R33に対する画素補正値Pixを、45度方向及び135度縦方向における次に現れる隣接する、画素R33と同色の画素R15,R51,R11,R55の信号値の平均値として、以下のように算出する。Pix4一方、S902において、差分絶対値の方向別平均値のうち、一つでも閾値Th1を超えるものがある場合、ななめ方向判別回路611は処理をS903に進め、差分絶対値の平均値が最小となる方向を、着目画素と相関の高い画素が存在する方向と判別する。そしてななめ方向判別回路611は、45度補正回路603と135度補正回路604の出力する画素補正値のうち、判別した方向に対応した画素補正値を選択する信号を出力する。具体的にはななめ方向判別回路611はD45DIVAVEが最小の場合は45度補正回路603の、D135DIVAVEが最小の場合は、135度補正回路604の出力する画素補正値を選択する信号を出力する。着目画素と相関の高い画素の存在する方向を判別する場合、着目画素と同色の周辺画素の信号値を用いることが好ましいが、被写体の色やエイリアシングの問題から、有彩色の被写体については必ずしも精度が高い方向判別ができない場合があった。そのため、本実施形態では、着目画素と同色の周辺画素の信号値からは着目画素と相関の高い画素の存在する方向の種別のみを判別する。そして、具体的な方向の判別は、着目画素と異なる色の周辺画素の信号値を用いて行うようにした。例えば、ベイヤー配列のカラーフィルタを有する撮像素子で撮像された画像に関し、RB画素が着目画素欠陥画素であれば、周辺のRB画素の信号値から、着目画素と相関の高い画素の存在する方向が縦横方向なのか、ななめ方向なのかまでを判別する。そして、着目画素の周辺のG画素の信号値から、着目画素と相関の高い画素の存在する方向が具体的にどの方向なのかを判別する。そのため、有彩色の被写体に対しても、方向判別を誤る可能性を抑制することができる。また、赤い被写体など、G画素での信号が小さい被写体であっても、縦横方向なのか、ななめ方向なのかについては正しく判別できているため、G画素の信号値による方向判別がノイズによって誤る可能性も抑制することができる。従って、欠陥画素補正に適用すれば、精度の良い画素補正値を得ることができる。なお、有彩色の被写体に対する方向判別精度の向上効果は、有彩色画素補正回路111単独で実現できる効果である。なお、方向判別後の画素補正値の算出方法については本発明の本質とは直接関係せず、上述した具体的な方法以外の任意の方法を利用することが可能である。本実施形態によれば、着目画素の被写体が無彩色か有彩色を判別し、無彩色であれば着目画素と同色か否かにかかわらず、周辺画素の信号値を用いて方向判別を行う。そのため、無彩色被写体に対して従来より多数の周辺画素の信号値を参照することが可能になり、精度の良い方向判別結果を得ることができる。一方、有彩色被写体については、着目画素と同色の周辺画素の信号値による方向判別と、着目画素と異なる色の周辺画素の信号値による方向判別とを行うこと。そのため、上述したように、着目画素と同色の画素だけによる方向判別や着目画素と異なる色の画素だけによる方向判別よりも精度の良い方向判別が可能である。さらに、被写体が有彩色被写体か無彩色被写体か明確でない場合には、無彩色被写体とみなした場合の方向判別結果に基づく画素補正値と、有彩色被写体とみなした場合の方向判別結果に基づく画素補正値とを、有彩度に応じて加重加算する。そのため、誤った方向判別による誤補正を抑制することもできる。第2の実施形態本発明は、欠陥画素に対する画素補正値の生成だけでなく、着目画素の色補間処理において適用することも可能である。図12は、本発明の第2の実施形態に係る画像処理装置を色補間処理に適用した撮像装置の機能構成例を示すブロック図である。図12において、撮像部1501、A/D変換回路1502、WB回路1503、信号処理回路1505は、図1と同じ構成のため詳細な説明は省略する。色補間回路1504は、無彩色補間回路1510、有彩色補間回路1511、有彩色判定回路1512、加重加算回路1513からなる。なお、有彩色補間回路1511は、公知の色補間回路であってよいため、詳細な説明は省略する。また、有彩色判定回路1512、加重加算回路1513は第1の実施形態で説明したものと同等であるため、詳細な説明は省略する。無彩色補間回路1510の具体的な構成は図4と同等であり、動作に関しても図5を用いて説明した通りであるため、詳細な説明は省略する。第1の実施形態との差は、着目画素が欠陥画素であるかないかである。つまり、本実施形態では着目画素は正常画素であるため、方向判別に着目画素の信号値が利用できる。図11cにおいて、着目画素が画素R33ただし欠陥画素ではないであるとする。画素R11における横方向の差分絶対値をHDIV11、縦方向の絶対値差分をVDIV11、45度方向の差分絶対値をD45DIV11、135度方向の差分絶対値をD135DIV11とすると、HDIV11ABSVDIV11ABSD45DIV11ABSD135DIV11ABS、となるこの場合、HDIV11とVDIV11はG画素の信号値、D45DIV11とD135DIV11はB画素の信号値で求めているが、正しく方向判別を行うことができる。これは、無彩色被写体の場合、G画素及びB画素の信号値はともに等しい信号値となるため、いずれも輝度信号とみなせるからである。無彩色方向判別回路410は、同様にして、他の周辺画素についても、4方向の差分絶対値を求める。他の周辺画素は、G12,R13,G14,R15,G21,B22,G23,B24,G25,R31,G32,R33,G34,R35,G41,B42,G43,B44,G45,R51,G52,R53,G54,R55である。最後に無彩色方向判別回路410は、各周辺画素で求めた差分絶対値の平均値を方向別に求める。すなわち、方向別の平均値をそれぞれHDIVAVE、VDIVAVE、D45DIVAVE、D135DIVAVEとすると、HDIVAVEHDIV11HDIV12HDIV55/25VDIVAVEVDIV11VDIV12VDIV55/25D45DIVAVED45DIV11D45DIV12D45DIV55/25D135DIVAVED135DIV11D135DIV12D135DIV55/25、である。このように、本実施形態では、第1の実施形態と比較して、B22,G23,B24,G32,R33,G34,B42,G43,B44についても差分絶対値を算出し、25画素の差分絶対値の方向別平均値を求める。方向判別処理は、第1の実施形態におけるS502と同様に行えばよい。このように、無彩色方向判別回路410における方向判別が、一層ノイズの影響を受けにくくなる。第1の実施形態で説明した欠陥画素補正の場合では使用できない着目画素の信号値を使用することが可能なため、着目画素付近の画素の信号値を用いてより正確に方向判別を行うことが可能となる。また、方向判別後は、判別された方向に存在する、着目画素と異なる色の画素を用いて色補間を行えばよい。この場合、判別された方向に存在する画素だけでなく、他の周辺画素の信号値を考慮して色補間してもよい。例えば、着目画素の周辺にある着目画素と異なる色の同色画素群のうち、判別された方向に存在する画素の信号値の重みを、判別された方向にない画素の信号値の重みより大きくして加重加算することができる。その他の実施形態上述の実施形態において、着目画素がG画素の場合、例えば無彩色画素補正回路110を用いて画素補正値を生成してもよい。例えば、図11dにおいてG23が着目画素欠陥画素であれば、無彩色方向判別回路410でHDIVABSVDIVABSD45DIVABSD135DIVABSを求める。そして、差分絶対値が最小となる方向を、着目画素と相関の高い画素が存在する方向として判別する。一方、H補正回路401で、Pix2、V補正回路402で、Pix2、45度補正回路403で、Pix2、135度補正回路404でPix2の画素補正値をそれぞれ算出する。無彩色方向判別回路410は、判別した方向に対応する画素補正値を選択する信号を、無彩色画素補正値選択回路405に出力する。上述の実施形態においては、ベイヤー配列のカラーフィルタを備えた撮像素子によって撮像された画像データを対象とする場合について説明した。しかし、本発明の原理は複数の特定色が規則的に配列され、かつ色によって画素数に差があるカラーフィルタを備えた撮像素子によって撮像された画像データに対して適用可能である。つまり、画素数が少ない色の画素に対する画素補正値を生成する場合に、本発明を適用することができる。また、上述の実施形態においては、HV方向判別回路610及びななめ方向判別回路611で判別されうる各方向についての画素補正値平均補正値も含むを各補正回路で個別に算出した。そして、HV方向判別回路610での方向判別結果により1つの画素補正値を、ななめ方向判別回路611の方向判別結果により1つの画素補正値を選択していた。しかし、平均補正回路600、H補正回路601、V補正回路602の機能を選択的に実効可能な補正回路を設け、HV方向判別回路610の判別結果に基づいて縦横方向についての画素補正値を生成するように構成してもよい。同様に、45度補正回路603、135度補正回路604、ななめ平均補正回路605の機能を選択的に実効可能な補正回路を設け、ななめ方向判別回路611の判別結果に基づいてななめ方向についての画素補正値を生成するように構成してもよい。これらの場合、HV画素補正値選択回路613やななめ画素補正値選択回路614は不要となる。また、縦横度判別回路612の出力によってHV方向判別回路610とななめ方向判別回路611の判別結果のいずれかを選択するように構成することもできる。この場合、選択された判別結果に対応した補正値のみを生成すればよいため、有彩色画素補正値選択回路622も不要となる。基本的には、縦横度判別回路612による、縦横方向かななめ方向かの判別結果に従って、HV方向判別回路610とななめ方向判別回路611の判別結果の一方を選択し、選択された方向に対応する画素補正値を生成できれば、任意の構成を採用しうる。また、上述の実施形態において、方向判別は0度、45度、90度、135度の4方向であったが、この方向はカラーフィルタ画素の形状および配列によって変化しうる。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。"