"各画素に複数の成分が所定の比率で混在する画像データを入力し、入力画像データから成分画像データを復元する画像処理装置であって、前記入力画像データのうち、注目画素を含む所定の参照画素領域内に複数の小領域を設定し、設定された小領域の有効性を前記成分の混在比率に基づいて評価する第1評価値算出手段と、前記設定された小領域の有効性を輝度変化に基づいて評価する第2評価値算出手段と、前記参照画素領域内の画素データと、前記第1評価値算出手段より得られた第1評価値と、前記第2評価値算出手段より得られた第2評価値とを用いて、前記注目画素位置の復元成分画素データを算出する復元成分画素データ算出手段とを有することを特徴とする画像処理装置。前記復元成分画素データ算出手段は、前記第1評価値と第2評価値とを用いて、前記設定された小領域に対する加重値を算出する加重値算出手段と、前記設定された小領域ごとの成分画素データに対して前記加重値算出手段より得られた加重値を用いて加重平均を算出する加重平均算出手段とを有することを特徴とする請求項1に記載の画像処理装置。前記復元成分画素データ算出手段は、前記設定された小領域の成分画素データうち、前記加重値に基づいて前記第1の評価値及び前記第2の評価値が高い小領域を選択する小領域選択手段と、前記小領域選択手段により選択された小領域ごとの成分画素データから平均を算出する平均値算出手段とを有することを特徴とする請求項2に記載の画像処理装置。前記復元成分画素データ算出手段は、前記小領域選択手段により選択された小領域がなかった場合、無効画素を示す予め設定された画素データを前記復元成分画素データとすることを特徴とする請求項3に記載の画像処理装置。各画素に複数の成分が所定の比率で混在する画像データを入力し、入力画像データから成分画像データを復元する画像処理装置によって実行される画像処理方法であって、前記入力画像データのうち、注目画素を含む所定の参照画素領域内に複数の小領域を設定し、設定された小領域の有効性を前記成分の混在比率に基づいて評価する第1評価値算出手順と、前記設定された小領域の有効性を輝度変化に基づいて評価する第2評価値算出手順と、前記参照画素領域内の画素データと、前記第1評価値算出手順より得られた第1評価値と、前記第2評価値算出手順より得られた第2評価値とを用いて、前記注目画素位置の復元成分画素データを算出する復元成分画素データ算出手順とを有することを特徴とする画像処理方法。前記復元成分画素データ算出手順は、前記第1評価値と第2評価値とを用いて、前記設定された小領域に対する加重値を算出する加重値算出手順と、前記設定された小領域ごとの成分画素データに対して前記加重値算出手順より得られた加重値を用いて加重平均を算出する加重平均算出手順とを有することを特徴とする請求項5に記載の画像処理方法。前記復元成分画素データ算出手順は、前記設定された小領域の成分画素データうち、前記加重値に基づいて前記第1の評価値及び前記第2の評価値が高い小領域を選択する小領域選択手順と、前記小領域選択手順により選択された小領域ごとの成分画素データから平均を算出する平均値算出手順とを有することを特徴とする請求項6に記載の画像処理方法。前記復元成分画素データ算出手順は、前記小領域選択手順により選択された小領域がなかった場合、無効画素を示す予め設定された画素データを前記復元成分画素データとすることを特徴とする請求項7に記載の画像処理方法。しかしながら、上記特許文献1及び特許文献2の手法は、いずれもベイヤー型フィルタ配列を前提としているため、例えば画素位置によって連続的にフィルタ配置が変化するタイプの撮像素子に対しては適用することができない。例えば、受光素子アレイの縦方向の受光素子に対するフィルタの配置が、傾き1対2となる斜めストライプ配列の場合、フィルタを設置する位置にずれが生じると、注目画素を含むラインがそのずれた位置にあたる場合がある。このような場合、例えば入力画像が横方向のエッジである場合にも、注目画素を含むライン内での補間結果に対する信頼性は低くなる。したがって、上述したフィルタ配置の場合には、入力画像の性質だけでなく、画素位置によって異なるフィルタ配置の状況にも応じた処理方法を用いる必要がある。本発明は、上記の課題に鑑みてなされたものであり、画質劣化を防止し、高品質な画像データを得る画像処理装置、及び画像処理方法を提供することを目的とする。本発明は、上記目的を達成するために、各画素に複数の成分が所定の比率で混在する画像データを入力し、入力画像データから成分画像データを復元する画像処理装置であって、前記入力画像データのうち、注目画素を含む所定の参照画素領域内に複数の小領域を設定し、設定された小領域の有効性を前記成分の混在比率に基づいて評価する第1評価値算出手段と、前記設定された小領域の有効性を輝度変化に基づいて評価する第2評価値算出手段と、前記参照画素領域内の画素データと、前記第1評価値算出手段より得られた第1評価値と、前記第2評価値算出手段より得られた第2評価値とを用いて、前記注目画素位置の復元成分画素データを算出する復元成分画素データ算出手段とを有することを特徴とする。また、本発明は、各画素に複数の成分が所定の比率で混在する画像データを入力し、入力画像データから成分画像データを復元する画像処理装置によって実行される画像処理方法であって、前記入力画像データのうち、注目画素を含む所定の参照画素領域内に複数の小領域を設定し、設定された小領域の有効性を前記成分の混在比率に基づいて評価する第1評価値算出手順と、前記設定された小領域の有効性を輝度変化に基づいて評価する第2評価値算出手順と、前記参照画素領域内の画素データと、前記第1評価値算出手順より得られた第1評価値と、前記第2評価値算出手順より得られた第2評価値とを用いて、前記注目画素位置の復元成分画素データを算出する復元成分画素データ算出手順とを有することを特徴とする。本発明によれば、画質劣化を防止し、高品質な画像データを得ることを可能とする。以下、本発明の実施の形態について詳細に説明する。<撮像装置全体の構成>図2は、本発明に係る画像処理装置を含む撮像装置全体の構成を示す図である。図2に示す撮像装置1は、イメージセンサ2と、領域分割偏光フィルタ3と、結像光学系4と、画像処理装置としての信号処理部5とを有するように構成される。イメージセンサ2は、例えば受光素子が行方向横方向及び列方向縦方向に二次元的に配列された受光素子アレイである。イメージセンサ2には、例えばCCD、MOS金属酸化膜半導体:MetalOxideSemiconductor、CMOS等を用いることができる。領域分割偏光フィルタ3は、例えば縦方向及び横方向の2種類の偏光フィルタを用いた斜めストライプ型の領域分割フィルタである。領域分割偏光フィルタ3は、イメージセンサ2に受光される光の光路上であってイメージセンサ2の手前に設けられるが、例えばイメージセンサ2の表面に密着するように設けられても良い。なお、領域分割偏光フィルタ3のフィルタパターンについては後述する。結像光学系4は、例えば被写体等の撮影対象の像光をイメージセンサ2に結像させる。信号処理部画像処理装置5は、イメージセンサ2から出力される各画素に複数の成分例えば縦偏光成分及び横偏光成分が所定の比率で混在する画像データを入力し、入力した画像撮影画像データから、例えば各画素に複数種類の単一成分を有する複数の成分画像データ縦横偏光成分画像を生成する。図2に示す撮像装置10の左側から入射する光は、結像光学系4により結像され、領域分割偏光フィルタ3を透過して、イメージセンサ2の撮像面上に像を結ぶ。イメージセンサ2は、各受光素子セルに入射した光をデジタル電気信号に変換し、信号処理部5へ出力する。信号処理部5は、イメージセンサ2から入力した画像データのうち、注目画素を含む所定の参照画素領域内に複数の小領域を設定し、設定された小領域に基づいて、注目画素の成分画素データを復元することにより、複数の成分画像データ縦横偏光成分画像を生成し、外部へ出力する。なお、信号処理部5の具体的な処理内容については後述する。<領域分割偏光フィルタ>次に、図3を用いて、上述した領域分割偏光フィルタ3の配置パターンについて説明する。図3は、領域分割偏光フィルタの配置パターンを示す図である。図3に示すように、領域分割フィルタ2は、偏光方向が互いに異なる光を透過する複数種類の帯状の偏光フィルタ部を有する。例えば、領域分割偏光フィルタ3は、偏光方向が縦方向の偏光フィルタ部31と偏光方向が横方向の偏光フィルタ部32とを、イメージセンサ2の縦横に格子状に配列された受光素子20上に有している。偏光フィルタ部31及び偏光フィルタ部32は、例えば幅方向に沿って交互に繰り返し配列され、偏光フィルタ部31により覆われた領域からは縦偏光成分が透過し、偏光フィルタ部32により覆われた領域からは横偏光成分が透過する。また、偏光フィルタ部31及び偏光フィルタ部32は、図3に示す横方向の受光素子201画素分の幅に等しい幅寸法を有し、縦方向の受光素子202画素分の幅寸法に等しい幅寸法を有する斜めストライプ型パターンによって構成されている。なお、図4は、偏光フィルタ部の受光素子に対する相対位置が横方向にずれた場合の配置を示している。図4の例では、2行2列に配列された4つの受光素子21~24と、受光素子21~24に重なる偏光フィルタ部31と、偏光フィルタ部32とを示している。図4A~図4Cは、受光素子に対する偏光フィルタ部のずれ量をdとしたときに、ずれ量dが、横方向行方向に1/4画素分、1/2画素分、3/4画素分となったときの偏光フィルタ部の配置状態を示している。図4A~図4Cに示すように、偏光フィルタ部の受光素子に対する相対位置がずれると、各受光素子が偏光フィルタ部31及び偏光フィルタ部32によって覆われる領域カバー率が、ずれ量dに応じてそれぞれ変化する。<小領域の設定>次に、図5を用いて、上述した成分画像データ縦横偏光成分画像を復元するために設定される注目画素を含む所定の参照画素領域、及び小領域について説明する。図5は、2×2画素領域内の6組の画素ペアを示す図である。上述したように、領域分割偏光フィルタ3は、縦方向及び横方向の2種類の偏光フィルタを採用しているため、各画素において2つの偏光成分が混在することになる。したがって、最低2画素の画素データがあれば、元の縦横偏光成分を復元することができる。そこで、まず注目画素近隣に複数の画素ペアを設定し、設定した画素ペアごとに縦横偏光成分を復元する。具体的には、図5に示すように、入力画像データのうち、注目画素を含む2×2画素を参照領域として設定する。この設定された参照領域内には、図5A~図5Fに示すように、隣接する画素ペアとして合計6組の画素ペアを組み合わせることができる。例えば、図5Aの例では、注目画素図5A~Fにおいて×印のある画素を含む縦方向の2画素、図5Bの例では、注目画素を含まない縦方向の2画素、図5Cの例では、注目画素を含む横方向の2画素、図5Dの例では、注目画素を含まない横方向の2画素、図5Eの例では、注目画素を含む画素と、参照領域の中心から注目画素の点対象にある画素の2画素、図5Fの例では、注目画素を含まない参照領域の中心から点対象にある2画素である。本実施例では、上述した画素ペアを、注目画素を含む参照領域における小領域として設定する。なお、本実施例において、上述した参照領域は2×2画素の領域に限定されず、例えば注目画素を含み、上述した2×2以外の画素数から構成される領域を参照領域としても良い。また、本実施例では、上述のように設定した各画素ペアについて、フィルタ配置パターン各偏光成分の混在比率、及び撮影画像のエッジ度輝度変化の2つの基準を用いて有効性を評価し、両方の評価が高い画素ペアにより重みをかけ、加重平均を算出し、注目画素の成分画素データを復元する。以下、各画素ペアから復元される成分画素データ算出ステップ、フィルタ配置パターンに基づく第1評価値算出ステップ、撮影画像のエッジ度に基づく第2評価値算出ステップについて説明する。<画素ペアから復元される成分画素データ縦横偏光成分>まず、上述した図5に示すように、小領域として設定した各画素ペアから復元される成分画素データ算出ステップについて説明する。例えば、画素ペアの一方の画素値をI0、他方をI1とし、入射光の縦偏光成分をLv、横偏光成分をLh、受光素子iでの縦偏光成分の感度をavi、横偏光成分の感度をahiとすると、縦横偏光成分Lv、Lhの光に照らされた画素ペアの画素値I0、I1は、式1のように示される。なお、以下の説明では、行列Mを画素ペアの成分混合行列と呼ぶ。画素値I0、I1から元の縦横偏光成分Lv、Lhを復元するためには、成分混合行列Mの逆行列M-1を求め、式2に示すように、画素値ベクトルに掛ければ良い。上述のように算出されたOpを画素ペアで復元された成分画素データ復元成分画素データとする。なお、成分混合行列Mは、予め計測しておくと良い。具体的には、予めイメージセンサ2の受光素子アレイ全体に一様な強度の100縦偏光の光を照射し、その時の受光素子アレイから出力されるデータを参照画像データ1として記録する。次に、同様に一様な強度の100横偏光の光を照射し、その時の受光素子アレイから出力されるデータを参照画像データ2として記録する。ここで、各画素における参照画像データ1及び参照画像データ2の画素値そのものが、その画素位置での縦偏光成分及び横偏光成分の感度av、ahに比例していると考えることができる。したがって、上述のように計測した感度から、各画素ペアに対する逆行列M-1を予め計算しておき、例えばフラッシュメモリ等の記録媒体に記録しておくと良い。なお、記録内容は、例えば特願2009-248135号に示す方法を用いて、上述した各画素位置のずれ量dと、各ずれ量dに対する逆行列M-1という形で分解し、更に隣接方向別に分けて記録することで記憶容量を節約することも可能である。<フィルタ配置パターンによる画素ペアの評価:第1評価値>次に、フィルタ配置パターンに基づく画素ペアの第1評価値を算出する第1評価値算出ステップについて説明する。上述した図4に示すように、領域分割偏光フィルタ3のフィルタ配置パターン各偏光成分の混在比率は、ずれ量dに応じて撮像素子上の画素位置で変化すると想定される。そのため、例えば画素ペア内の2画素の縦横偏光フィルタのカバー率がほぼ同じ場合例えば図4Bに示すそれぞれ縦方向の2画素からなる画素ペア等、このような画素ペアで復元された成分画素データに対する信頼性は低くなる。そこで、第1評価値算出ステップでは、上述した式1の成分混合行列Mの行列式の絶対値を利用して、例えばフィルタ配置パターンによる画素ペアの有効性を評価する第1評価値wp0を式3から算出する。ここで、行列式detMpは、上述した逆行列M-1と同様に、予め参照画像データ1及び参照画像データ2から計算して、例えばフラッシュメモリ等の記録媒体に記録しておくと良い。<撮影画像のエッジ度による画素ペアの評価:第2評価値>次に、撮影画像のエッジ度に基づく画素ペアの第2評価値を算出する第2評価値算出ステップについて説明する。上述した逆行列M-1により算出される画素ペアの成分画素データ縦横偏光成分Opは、例えば画素ペア内の2つの画素に対して、同じ縦横偏光成分Lv、Lhが照射されていると仮定したものである。したがって、画素ペア内の2つの画素位置に異なる成分の光が当たっている場合には、上述した画素ペアから算出される成分画素データの信頼性は低くなる。そこで、第2評価値算出ステップでは、例えば似た光が当たっている画素ペアに対して大きな加重をおくものとする。すなわち、一般的に明暗の大きく異なるエッジ部では偏光状態も含め、光の性質が大きく変わる可能性が高いため、このような輝度変化の激しい2画素からなる画素ペアに対しては重みを下げるものとする。上述した図3に示すように、領域分割偏光フィルタ3は、例えば偏光フィルタ部偏光フィルタ部31及び偏光フィルタ部32の横方向の幅は1画素分の幅寸法となっているため、例えば横方向に隣接する2画素の画素ペアの場合、フィルタ配置のずれ量dによらず、常に縦横偏光フィルタのカバー率が逆になる。例えば、図4A~Cに示すように、横方向に隣接する2画素において、偏光フィルタ部31が覆う領域と偏光フィルタ部32が覆う領域とは逆パターンとなっている。したがって、横方向に隣接する2画素の画素値を加算すると縦偏光成分と横偏光成分の合計、すなわち輝度を推定することが可能である。具体的には、画素位置の輝度を推定するため、例えば注目画素の左右の画素値を用いて、入力される画像撮影画像に横方向に1/4、1/2、1/4の重みをつけた平滑フィルタをかけたデータを、その画素位置での輝度の推定値Inti,jとして、式4により算出する。ここで、第2評価値算出ステップにより算出する画素ペアの第2評価値wp1は、輝度差の激しい画素ペアほど小さい値にし、更に明るさの影響を排除するため、2つの画素位置での推定輝度値の和を、差の絶対値で割った値として式5により算出する。なお、式4に示すIi,jは、入力される画像の画素値を示しており、式5の分母の3項目は、零除算を避けるためのオフセットである。上述した第2評価値算出ステップにより、輝度変化が激しい2画素の画素ペアに低い評価を与えることが可能となる。<画素ペアごとの復元成分の加重平均>次に、上述した第1評価値算出ステップにより得られた評価値wp0、第2評価値算出ステップにより得られた評価値wp1を用いて、加重値算出ステップにより、式6から両者の積を求め、最終的な画素ペアの評価値wpとする。本実施例では、加重値算出ステップにより得られた評価値wpを重みとして、加重平均算出ステップにより、式7を用いて各画素ペアによる復元成分画素データOpの加重平均をとり、注目画素位置での最終的な出力画素値Oi,j復元成分画素データとする。なお、上述の説明では1つのOpとして説明したが、本実施例では縦偏光成分と横偏光成分の2成分による画素データを出力するため、Opは2成分のベクトルである。<信号処理部のブロック図:実施例1>図6は、実施例1の画素値復元処理を実行する信号処理部のブロック図を示している。図6に示すように、実施例1の画素値復元処理を実行する信号処理部5-1は、行列積算出手段51と、逆行列算出手段52と、第1評価値算出手段53と、平滑化手段54と、第2評価値算出手段55と、加重値算出手段56と、加重平均算出手段57とを有するように構成される。なお、本発明に係る復元成分画素データ算出手段は、実施例1の加重値算出手段56と加重平均算出手段57に対応する。信号処理部5には、入力される画像撮影画像データの画素データIi,jと、注目画素の画素位置i,jが順次スキャン順に入力される。なお、既に入力された画素データは、各処理ブロックの必要に応じて、適宜、信号処理部5が有する記憶手段等にバッファリングされるものとする。行列積算出手段51は、入力される撮影画像の画素データIi,jが、上述した図5等に示す2×2画素の参照領域における6組の画素ペア小領域として設定されるため、画素ペアごとに、上述した式2を用いて逆行列算出手段52により算出された逆行列Mp-1との積を算出し、画素ペアごとに成分画素データ復元成分画素データOpを算出する。逆行列算出手段52は、予め計測しておいた参照画像データ1及び参照画像データ2を用いて画素ペアごとに、上述した式1により成分混合行列Mを算出し、算出した成分混合行列Mから逆行列Mp-1を算出して、装置内のフラッシュメモリ等に記録しておく。第1評価値算出手段53は、逆行列算出手段52により得られた成分混合行列Mを用いて画素ペアごとに、上述した式3により成分混合行列Mの絶対値を算出し、画素ペアに対する第1評価値加重要素wp0として装置内のフラッシュメモリ等に記録しておく。なお、上述のように予め記録される逆行列Mp-1及び第1評価値wp0は、注目画素の画素位置i,jが順次入力されると、上述した参照領域から設定される画素ペアの位置に応じてそれぞれ読み出される。平滑化手段54は、入力される撮影画像の画素データIi,jに対して、上述した式4を用いて、横方向の3画素の平滑化処理を施し、各画素位置における推定輝度値Inti,jを算出する。第2評価値算出手段55は、平滑化手段54より得られた各画素位置における推定輝度値Inti,jを用いて、上述した式5により画素ペアの輝度変化に基づく第2評価値加重要素wp1を算出する。加重値算出手段56は、第1評価値算出手段53より得られた第1評価値wp0と第2評価値算出手段55より得られた第2評価値wp1を用いて、上述した式6により積算し、画素ペアの評価値wpを求める。加重平均算出手段57は、加重値算出手段56より算出した画素ペアの評価値wpを重みとして、行列積算出手段51より得られた各画素ペアの復元成分画素データOpの加重平均を上述した式7により算出し、その結果を、注目画素位置における出力画素値復元成分画素データOi,jとして出力する。第1実施例では、上述した構成により、注目画素位置の近隣の画素のうち、フィルタ配置パターン各偏光成分の混在比率の悪い部分カバー率が同じような部分や、輝度変化撮影画像のエッジ度の激しい部分の影響を避け、高精度な縦横偏光成分画像を復元することが可能となる。<画素値復元処理演算のブロック図:実施例2>次に、本発明の実施例2について説明する。実施例2では、実施例1と同様に、フィルタ配置パターン及び撮影画像のエッジ度の2つの基準を用いて画素ペアを評価する。また、両方の評価値が高い画素ペアを選択し、上位の画素ペアにおける成分画素データ復元成分画素データを単純平均した値を、注目画素位置における復元成分画素データOi,jとして出力する。これにより、輝度変化の激しい部分や、フィルタ配置パターンの悪い部分の影響を避けながら、加重平均演算を使用する実施例1と比較して、回路規模を小さくすることができる。図7は、実施例2の画素値復元処理を実行する信号処理部のブロック図を示している。図7に示すように、実施例2の画素値復元処理を実行する信号処理部5-2は、図6に示す信号処理部5-1と比較して、加重平均算出手段57の代わりに選択平均手段58を設けている点が異なる。なお、本発明に係る復元成分画素データ算出手段は、実施例2の選択平均手段58に対応する。次に、選択平均手段58が実行する処理内容について説明する。図8は、選択平均手段により実行される選択平均処理の流れを示すフローチャートである。図8に示すように、行列積算出手段51より画素ペアごとに復元された成分画素データOpと、加重値算出手段56により得られた画素ペアごとの評価値wpとが、選択平均手段58に入力されるS10と、選択平均手段58は、画素ペアに対する評価値wpを降順にソートするS11。選択平均手段58は、S11の処理でソートした後、上位から2番目に評価が高い画素ペアの評価値wpと予め設定した閾値thとを比較し、上位から2番目に評価が高い画素ペアの評価値wpの値が閾値thより大きいか否か判断するS12。選択平均手段58は、2番目に評価が高い画素ペアの評価値wpが閾値thよりも大きくないと判断した場合S12において、NO、最上位の1番目に評価が高い画素ペアの評価値wpと上述した閾値thとを比較し、最上位の画素ペアの評価値wpの値が閾値thより大きいか否か判断するS13。一方、上位から2番目に評価が高い画素ペアの評価値wpの値の方が閾値thよりも大きいと判断した場合S12において、YES、上位2個の評価値wp最上位の画素ペアの評価値wpと2番目に評価が高い画素ペアの評価値wpに対応する2つの画素ペアの成分画素データOpを用いて単純平均を算出しS14、その結果を、注目画素位置における復元成分画素データOi,jとして出力しS15、処理を終了する。また、最上位の画素ペアの評価値wpの値が閾値thよりも大きいと判断した場合S13において、YES、最上位の画素ペアの成分画素データOpを注目画素位置における復元成分画素データOi,jとして出力するS15。なお、最上位の画素ペアの評価値wpの値が閾値thよりも小さいと判断した場合S13において、NO、注目画素近傍領域内のいずれの画素ペア小領域も、撮影画像内容、又はフィルタ配置の観点から、成分画素データを復元するには不適当と判断し、無効画素を表す予め設定した画素値を選択しS15、注目画素位置における復元成分画素データOi,jとして出力するS16。上述した実施例1及び実施例2に示す手法により、注目画素位置における復元成分画素データの取得を、入力される撮影画像全体に対して行うことで、画質劣化を防止し、高品質な画像データ縦横偏光成分画像を得ることが可能となる。また、例えば斜めストライプ型の領域分割フィルタを用いたイメージセンサから得られる入力画像データに対しても、画質劣化を防止し、高品質な画像データを復元することが可能となる。以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。"