"色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第1、第2の配列方向で偶数画素混合出力に起因する画素データ分布の不均衡が生じている原画像RAWデータが入力されたうえで、入力された前記原画像RAWデータの前記第1の配列方向の画素データ分布を均等化することで、第1の複数色配列データを生成する第1の分布均等化処理部と、前記第1の複数色配列データが入力されたうえで、入力された前記第1の複数色配列データの前記第2の配列方向の画素データ分布を均等化することで、第2の複数色配列データを生成する第2の分布均等化処理部と、を備え、前記第1の分布均等化処理部は、前記原画像RAWデータを、前記第1の配列方向に沿った画素単位のフィルタ処理によって、連続的な第1の輝度データと連続的な第1の色キャリアデータとに分ける第1のフィルタ処理部と、前記第1の輝度データの前記第1の配列方向の輝度分布を均等化することで、第2の輝度データを生成する第1の輝度分布均等化処理部と、前記第2の輝度データに前記第1の色キャリアデータを再合成することで、前記第1の複数色配列データを生成する第1の色配列再現処理部と、を備え、前記第2の分布均等化処理部は、前記第1の複数色配列データを、前記第2の配列方向に沿った画素単位のフィルタ処理によって、連続的な第3の輝度データと連続的な第2の色キャリアデータとに分ける第2のフィルタ処理部と、前記第3の輝度データの前記第2の配列方向の輝度分布を均等化することで、第4の輝度データを生成する第2の輝度分布均等化処理部と、前記第4の輝度データに前記第2の色キャリアデータを再合成することで、前記第2の複数色配列データを生成する第2の色配列再現処理部と、を備えている画像処理装置。前記第1の複数色配列データを前記第2の分布均等化処理部へ受け渡すバッファをさらに備え、前記バッファは、2次元的に展開される記憶空間を有するフレームメモリを備えており、前記フレームメモリは、当該フレームメモリに前記第1の複数色配列データが書き込まれる方向に対して直交する方向で当該フレームメモリから前記第1の複数色配列データが読み出されて前記第2の分布均等化リサイズ処理部に供給されるように構成されている、請求項1に記載の画像処理装置。前記第1の複数色配列データを前記第2の分布均等化処理部へ受け渡すバッファをさらに備え、前記バッファは、複数ラインからなるラインメモリを備えており、前記ラインメモリは、前記第1の複数色配列データがライン毎に当該ラインメモリに書き込まれながら、同時に複数ラインの第1の複数色配列データが当該ラインメモリから読み出されて前記第2の分布均等化処理部に受け渡されるように構成されている、請求項1に記載の画像処理装置。色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第1、第2の配列方向で偶数画素混合出力に起因する画素データ分布の不均衡が生じている原画像RAWデータが入力されたうえで、入力された前記原画像RAWデータの前記第1の配列方向の画素データ分布を均等化しかつリサイズすることで、第1の複数色配列データを生成する第1の分布均等化リサイズ処理部と、前記第1の複数色配列データの前記第2の配列方向の画素データ分布を均等化しかつリサイズすることで、第2の複数色配列データを生成する第2の分布均等化リサイズ処理部と、を備え、前記第1の分布均等化リサイズ処理部は、前記原画像RAWデータを、前記第1の配列方向に沿った画素単位のフィルタ処理によって、連続的な第1の輝度データと、符号が交互に反転しかつ色の並びが1画素ごとに異色交互となった連続的な第1の色キャリアデータとに分ける第1のフィルタ処理部と、前記第1の輝度データの前記第1の配列方向の輝度分布を均等化することで、第2の輝度データを生成する第1の輝度分布均等化処理部と、前記第2の輝度データを前記第1の配列方向でリサイズ処理することで、第2-1の輝度データを生成する第1の輝度リサイズ処理部と、前記第1の色キャリアデータを復調することで、連続的で色の並びが同色に揃った第1の色差分データを生成する第1の色反転復調部と、前記第1の色差分データを前記第1の配列方向でリサイズ処理することで、第2の色差分データを生成する第1の色差分リサイズ処理部と、前記第2の色差分データを符号が交互に反転し色配列の周期性が復元された第1-1の色キャリアデータに変調する第1の色キャリア変調部と、前記第2-1の輝度データに、前記第1-1の色キャリアデータを再合成することで、前記第1の複数色配列データを生成する第1の色配列再現処理部と、を備え、前記第2の分布均等化リサイズ処理部は、前記第1の複数色配列データを、前記第2の配列方向に沿った画素単位のフィルタ処理により連続的な第3の輝度データと、符号が交互に反転しかつ色の並びが1画素ごとに異色交互となった連続的な第2の色キャリアデータとに分ける第2のフィルタ処理部と、前記第3の輝度データの前記第2の配列方向の輝度分布を均等化することで、第4の輝度データを生成する第2の輝度分布均等化処理部と、前記第4の輝度データを前記第2の配列方向でリサイズ処理することで、第5の輝度データを生成する第2の輝度リサイズ処理部と、前記第2の色キャリアデータを復調することで連続的で色の並びが同色に揃った第3の色差分データを生成する第2の色反転復調部と、前記第3の色差分データを前記第2の配列方向でリサイズ処理することで、第4の色差分データを生成する第2の色差分リサイズ処理部と、前記第4の色差分データを符号が交互に反転して色配列の周期性が復元された第3の色キャリアデータに変調する第2の色キャリア変調部と、前記第5の輝度データに、前記第3の色キャリアデータを再合成することで、前記第2の複数色配列データを生成する第2の色配列再現処理部と、を備えている画像処理装置。前記第1の複数色配列データを前記第2の分布均等化リサイズ処理部へ受け渡すバッファをさらに備え、前記バッファは、2次元的に展開される記憶空間を有するフレームメモリを備えており、前記フレームメモリは、当該フレームメモリに前記第1の複数色配列データが書き込まれる方向に対して直交する方向で当該フレームメモリから前記第1の複数色配列データが読み出されて前記第2の分布均等化リサイズ処理部に供給されるように構成されている、請求項4に記載の画像処理装置。前記第1の複数色配列データを前記第2の分布均等化リサイズ処理部へ受け渡すバッファをさらに備え、前記バッファは、複数ラインからなるラインメモリを備えており、前記ラインメモリは、前記第1の複数色配列データがライン毎に当該ラインメモリに書き込まれながら、同時に複数ラインの第1の複数色配列データが当該ラインメモリから読み出されて前記第2の分布均等化リサイズ処理部に受け渡されるように構成されている、請求項4に記載の画像処理装置。前記第1の輝度リサイズ処理部と前記第2の色差分リサイズ処理部と前記第2の輝度リサイズ処理部と前記第2の色差分リサイズ処理部とは、そのリサイズ処理として縮小リサイズ処理を行う機能を有している、請求項4に記載の画像処理装置。前記第1の輝度リサイズ処理部と前記第1の色差分リサイズ処理部と前記第2の輝度リサイズ処理部と前記第2の色差分リサイズ処理部とは、そのリサイズ処理として拡大リサイズ処理を行う機能を有している、請求項4に記載の画像処理装置。前記第1の輝度分布均等化処理部または前記第2の輝度分布均等化処理部による前記輝度データ分布均等化処理は、処理対象画素の輝度データを、複数画素混合前の原画像に設定する任意画素の輝度データに補間処理によって近づける処理であり、かつ前記処理対象画素の両隣の隣接画素のうちで前記処理対象画素からより離れた方の前記隣接画素を構成する異色相当画素を援用画素として設定したうえで、前記処理対象画素の輝度データと前記援用画素の輝度データとの補間処理で得た補間輝度データを前記処理対象画素の輝度データとする処理である、請求項1または4に記載の画像処理装置。前記第1の輝度分布均等化処理部または前記第2の輝度分布均等化処理部による前記輝度データ分布均等化処理は、前記隣接画素の中央に位置すると仮定した仮想配置画素と前記援用画素との間の離間距離と、前記処理対象画素と前記仮想配置画素との間の離間距離とを分点公式に代入することで前記処理対象画素の輝度データと前記援用画素の輝度データとを按分し、得られた按分結果から前記補間輝度データを得る処理である、請求項9に記載の画像処理装置。前記第1の輝度分布均等化処理部または前記第2の輝度分布均等化処理部による前記輝度データ分布均等化処理は、前記処理対象画素と前記援用画素とは互いに離間する方向に移動して均等分布状態になると仮定した状態での前記処理対象画素を仮想配置画素としたうえで、前記援用画素と前記仮想配置画素との間の離間距離と、前記処理対象画素と前記仮想配置画素との間の離間距離とを、分点公式に代入することで、前記処理対象画素の輝度データと前記援用画素の輝度データとを按分し、得られた按分結果に基づいて前記補間輝度データを得る処理である、請求項9に記載の画像処理装置。前記第1の輝度分布均等化処理部と前記第2の輝度分布均等化処理部とは、前記補間処理を行う前に、前記処理対象画素の輝度データの高域強調処理と、前記援用画素の輝度データの高域強調処理とを行うように構成されている、請求項9に記載の画像処理装置。前記第1の輝度分布均等化処理部と前記第2の輝度分布均等化処理部とは、前記補間処理を行った後に、前記処理対象画素の輝度データの高域強調処理と、前記援用画素の輝度データの高域強調処理とを行うように構成されている、請求項9に記載の画像処理装置。前記原画像RAWデータは、RGBベイヤー配列の周期性を有し、水平方向に沿ったBG繰り返しのラインデータとGR繰り返しのラインデータとが垂直方向で交互に出力されるRAWデータである、請求項1または4に記載の画像処理装置。前記原画像RAWデータは、補色フィルタにより周期性を持って色配列された複数色の画素を有する単板カラー撮像素子が取得したRAWデータである、請求項1または4に記載の画像処理装置。前記原画像RAWデータは、補色フィルタによってライン上の画素単位で周期性を持って色配列された複数色の画素と、前記ラインとは異なる他のラインにて周期性を持つことなく配列された単一色の画素とを有する単板カラー撮像素子が取得したRAWデータである、請求項1または4に記載の画像処理装置。色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第1、第2の配列方向で偶数画素混合出力に起因する画素データ分布の不均衡が生じている原画像RAWデータが入力されたうえで、入力された前記原画像RAWデータの前記第1の配列方向の画素データ分布を均等化することで、第1の複数色配列データを生成する第1の分布均等化処理工程と、前記第1の複数色配列データの前記第2の配列方向の画素データ分布を均等化することで、第2の複数色配列データを生成する第2の分布均等化処理工程と、を含み、前記第1の分布均等化処理工程は、前記原画像RAWデータを、前記第1の配列方向に沿った画素単位のフィルタ処理によって、連続的な第1の輝度データと連続的な第1の色キャリアデータとに分ける第1のフィルタ処理工程と、前記第1の輝度データの前記第1の配列方向の輝度分布を均等化することで、第2の輝度データを生成する第1の輝度分布均等化処理工程と、前記第2の輝度データに前記第1の色キャリアデータを再合成することで、前記第1の複数色配列データを生成する第1の色配列再現処理工程と、を含み、前記第2の分布均等化処理工程は、前記第1の複数色配列データを、前記第2の配列方向に沿った画素単位のフィルタ処理によって、連続的な第3の輝度データと、連続的な第2の色キャリアデータとに分ける第2のフィルタ処理工程と、前記第3の輝度データの前記第2の配列方向の輝度分布を均等化することで、第4の輝度データを生成する第2の輝度分布均等化処理工程と、前記第4の輝度データに前記第2の色キャリアデータを再合成することで、前記第2の複数色配列データを生成する第2の色配列再現処理工程と、を含む画像処理方法。前記第1の複数色配列データを前記第2の分布均等化処理工程へ受け渡すバッファとして、2次元的に展開される記憶空間を有するフレームメモリを用い、前記フレームメモリに前記第1の複数色配列データを書き込む方向に対して直交する方向で、前記フレームメモリから前記第1の複数色配列データを読み出して前記第2の分布均等化リサイズ処理工程に受け渡す、請求項17に記載の画像処理方法。前記第1の複数色配列データを前記第2の分布均等化処理工程へ受け渡すバッファとして、複数ラインからなるラインメモリを用い、前記第1の複数色配列データをライン毎に前記ラインバッファに書き込みながら、同時に複数ラインの第1の複数色配列データを前記ラインバッファから読み出して前記第2の分布均等化処理工程に受け渡す、請求項17に記載の画像処理方法。色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第1、第2の配列方向で偶数画素混合出力に起因する画素データ分布の不均衡が生じている原画像RAWデータが入力されたうえで、入力された前記原画像RAWデータの前記第1の配列方向の画素データ分布を均等化しかつリサイズすることで、第1の複数色配列データを生成する第1の分布均等化リサイズ処理工程と、前記第1の複数色配列データの前記第2の配列方向の画素データ分布を均等化しかつリサイズすることで、第2の複数色配列データを生成する第2の分布均等化リサイズ処理工程と、を含み、前記第1の分布均等化リサイズ処理工程は、前記原画像RAWデータを、前記第1の配列方向に沿った画素単位のフィルタ処理によって、連続的な第1の輝度データと、符号が交互に反転しかつ色の並びが1画素ごとに異色交互となった連続的な第1の色キャリアデータとに分ける第1のフィルタ処理工程と、前記第1の輝度データの前記第1の配列方向の輝度分布を均等化することで、第2の輝度データを生成する第1の輝度分布均等化処理工程と、前記第2の輝度データを前記第1の配列方向でリサイズ処理することで、第2-1の輝度データを生成する第1の輝度リサイズ処理工程と、前記第1の色キャリアデータを復調することで、連続的で色の並びが同色に揃った第1の色差分データを生成する第1の色反転復調工程と、前記第1の色差分データを前記第1の配列方向でリサイズ処理することで、第2の色差分データを生成する第1の色差分リサイズ処理工程と、前記第2の色差分データを符号が交互に反転し色配列の周期性が復元された第1-1の色キャリアデータに変調する第1の色キャリア変調工程と、前記第2-1の輝度データに、前記第1-1の色キャリアデータを再合成することで、前記第1の複数色配列データを生成する第1の色配列再現処理工程と、を含み、前記第2の分布均等化リサイズ処理工程は、前記第1の複数色配列データを、第2の配列方向に沿った画素単位のフィルタ処理により連続的な第3の輝度データと、符号が交互に反転しかつ色の並びが1画素ごとに異色交互となった連続的な第2の色キャリアデータとに分ける第2のフィルタ処理工程と、前記第3の輝度データの前記第2の配列方向の輝度分布を均等化することで、第4の輝度データを生成する第2の輝度分布均等化処理工程と、前記第4の輝度データを前記第2の配列方向でリサイズ処理することで、第5の輝度データを生成する第2の輝度リサイズ処理工程と、前記第2の色キャリアデータを復調することで連続的で色の並びが同色に揃った第3の色差分データを生成する第2の色反転復調工程と、前記第3の色差分データを前記第2の配列方向でリサイズ処理することで、第4の色差分データを生成する第2の色差分リサイズ処理工程と、前記第4の色差分データを符号が交互に反転して色配列の周期性が復元された第3の色キャリアデータに変調する第2の色キャリア変調工程と、前記第5の輝度データに前記第3の色キャリアデータを再合成することで、前記第2の複数色配列データを生成する第2の色配列再現処理工程と、を含む画像処理方法。前記第1の複数色配列データを前記第2の分布均等化リサイズ処理工程へ受け渡すバッファとして、2次元的に展開される記憶空間を有するフレームメモリを用い、前記フレームメモリに前記第1の複数色配列データを書き込む方向に対し直交する方向で、前記フレームメモリから前記第1の複数色配列データを読み出して前記第2の分布均等化リサイズ処理工程に受け渡す、請求項20に記載の画像処理方法。前記第1の複数色配列データを前記第2の分布均等化リサイズ処理工程へ受け渡すバッファとして、複数ラインからなるラインメモリを用い、前記第1の複数色配列データをライン毎に前記ラインバッファに書き込みながら、同時に複数ラインの前記第1の複数色配列データを前記ラインバッファから読み出して前記第2の分布均等化リサイズ処理工程に受け渡す、請求項20に記載の画像処理方法。前記第1の輝度リサイズ処理工程と前記第1の色差分リサイズ処理工程と前記第2の輝度リサイズ処理工程と前記第2の色差分リサイズ処理工程とは、そのリサイズ処理として縮小リサイズ処理を行う、請求項20に記載の画像処理方法。前記第1の輝度リサイズ処理工程と前記第1の色差分リサイズ処理工程と前記第2の輝度リサイズ処理工程と前記第2の色差分リサイズ処理工程とは、そのリサイズ処理として拡大リサイズ処理を行う、請求項20に記載の画像処理方法。前記第1の輝度分布均等化処理工程または前記第2の輝度分布均等化処理工程による輝度データ分布均等化処理は、処理対象画素の輝度データを、複数画素混合前の原画像に設定する任意画素の輝度データに補間処理によって近づける処理であり、かつ前記処理対象画素の両隣の隣接画素のうちで前記処理対象画素からより離れた方の前記隣接画素を構成する異色相当画素を援用画素として設定したうえで、前記処理対象画素の輝度データと前記援用画素の輝度データとの補間処理で得た補間輝度データを前記処理対象画素の輝度データとする処理である、請求項17または20に記載の画像処理方法。前記第1の輝度分布均等化処理工程または前記第2の輝度分布均等化処理工程による前記輝度データ分布均等化処理は、前記隣接画素の中央に位置すると仮定した仮想配置画素と前記援用画素との間の離間距離と、前記処理対象画素と前記仮想配置画素との間の離間距離とを分点公式に代入することで前記処理対象画素の輝度データと前記援用画素の輝度データとを按分し、得られた按分結果から前記補間輝度データを得る処理である、請求項25に記載の画像処理方法。前記第1の輝度分布均等化処理部または前記第2の輝度分布均等化処理部による前記輝度データ分布均等化処理は、前記処理対象画素と前記援用画素とは互いに離間する方向に移動して均等分布状態になると仮定した状態での前記処理対象画素を仮想配置画素としたうえで、前記援用画素と前記仮想配置画素との間の離間距離と、前記処理対象画素と前記仮想配置画素との間の離間距離とを、分点公式に代入することで、前記処理対象画素の輝度データと前記援用画素の輝度データとを按分し、得られた按分結果に基づいて前記補間輝度データを得る処理である、請求項25に記載の画像処理方法。前記第1の輝度分布均等化処理工程と前記第2の輝度分布均等化処理工程とでは、前記補間処理を行う前に、前記処理対象画素の輝度データの高域強調処理を行う、請求項25に記載の画像処理方法。前記第1の輝度分布均等化処理工程と第2の輝度分布均等化処理工程とでは、前記補間処理を行った後に、前記処理対象画素の輝度データの高域強調処理を行う、請求項25に記載の画像処理方法。前記原画像RAWデータは、RGBベイヤー配列の周期性を有し、水平方向に沿ったBG繰り返しのラインデータとGR繰り返しのラインデータとが垂直方向で交互に出力されるRAWデータである、請求項17または20に記載の画像処理方法。前記原画像RAWデータは、補色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子が取得したRAWデータである、請求項17または20に記載の画像処理方法。原画像RAWデータとして、補色フィルタによりライン上の画素単位で周期性を持って色配列された複数色の画素と、前記ラインとは異なる他のラインにて周期性を持つことなく配列された単一色の画素とを有する単板カラー撮像素子が取得したRAWデータである、請求項17または20に記載の画像処理方法。請求項17または20に記載の画像処理方法に対応して作成されたプログラムであって、それぞれの工程に対応した複数のステップを順次、コンピュータで実行させることが可能な画像処理用プログラム。請求項33に記載のプログラムを記録したコンピュータ読み取り可能な画像処理用の記録媒体。前提として、画像処理の対象を、色配列の周期性を有する複数色画素の撮像素子から出力される原画像RAWデータとし、さらに、このRAWデータが4画素混合など偶数画素混合出力のために互いに直交する第1および第2の配列方向で画素データ分布に不均衡が生じているものとする。ここで画素データ分布とは、連続して入力されてくる個々の画素データが原画像におけるどの座標位置のデータを担うかについての分布である。9画素混合など奇数画素混合では画素データ分布に不均衡は生じないが、4画素混合など偶数画素混合では画素データ分布の不均衡が生じる。画素混合後に画素データ分布の不均衡が生じると、混合による高域情報の低域への折り返し成分の連続性が失われ、画質を劣化させる要因となる。1行おきに同色信号を加算して読み出す特許文献1の技術は、画素データ分布の不均衡を垂直方向で補正するものであるが、水平方向での補正については何も言及していない。画素データ分布の不均衡の補正の効果は、カメラ信号処理部m6の特性次第で大きく左右される。最初に色分離処理を行い、次いで各種処理を行って注目画素位置の輝度信号、色差信号を生成している。これは一般的な2次元フィルタ処理であり、画素データ分布の不均衡成分も2次元に分散するため、画素ピッチレベルの画素データ分布の不均衡の補正の効果は小さい。また、補正処理部m10は、画素データ分布が均等になるように色差輝度信号を補正することについて、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じないとしている。しかし、補正処理を行うラインに関しては解像度が劣化するので、ライン毎に解像度が異なるという欠陥をもっている。要するに、特許文献1の技術は、2次元的な処理ではないため、画質劣化の解消が不充分である。一方、原画像からライン上の画素単位のフィルタ処理により輝度データと色キャリアデータを抽出してリサイズ処理を行う特許文献2の技術では、4画素混合のRAWデータをリサイズ処理の対象とする場合、画素データ分布の不均衡状態のままリサイズ処理することになる。その結果、画像に偽色が現れたり解像感に違和感が生じたりし、原画像の撮像特徴を充分に生かしたリサイズRAWデータを得ることはむずかしい。本発明はこのような事情に鑑みてなされたもので、4画素混合など偶数画素混合出力のために2次元方向で画素データ分布に不均衡が生じている原画像RAWデータを画像処理するに当たり、画素データ分布の不均衡成分による偽輝度信号偽色を低減しつつ解像感を確保できるようにすることを目的とする。併せて、2次元方向で画素データ分布に不均衡が生じている原画像RAWデータに対してリサイズ処理を行う際にも、偽輝度信号偽色を低減しつつ解像感を確保できるようにする。本発明は、次のような手段を講じることにより上記の課題を解決する。《1》《2》《3》...等の括弧付き数字は、出願時における特許請求の範囲の請求項番号と呼応する。これらの括弧付き数字は、説明の都合上、以下の記載においては必ずしも通し番号とはならず、順番が飛んだり前後が入れ替わったりする場合がある。《1》大前提として、画像処理の対象を、色配列の周期性を有する複数色画素の撮像素子からのデータであって、4画素混合など偶数画素混合出力のために互いに直交する第1および第2の配列方向で画素データ分布に不均衡が生じている原画像RAWデータとする。その代表例は、4画素混合のRAWデータである。ただし、4画素混合のRAWデータにのみに限定されるものではなく、広く一般的に、偶数画素混合のRAWデータを対象とする。ここで、第1の配列方向と第2の配列方向につき、どちらが水平方向でもどちらが垂直方向でも構わない。すなわち、2次元方向での分布均等化処理に当たり、水平方向での処理の後に垂直方向での処理を行うのでもよいし、あるいは順序を変えて、垂直方向での処理の後に水平方向での処理を行うのでもよい。分布均等化処理については、後述する実施例1での注記1を参照すると理解が深まる。第1の配列方向に沿う状態で入力されてくる2次元不均等分布の一連の配列画素データ原画像RAWデータについて、画素データ分布連続して入力されてくる個々の画素データが原画像におけるどの座標位置のデータを担うかについての分布を第1の配列方向で不均等分布の状態から均等分布の状態へ補正する処理を行うことで、第1の複数色配列データを生成する。これが第1の分布均等化処理である。この第1の分布均等化処理は、通常は補間処理によって実現される。第1の分布均等化処理によって、第1の配列方向では画素データ分布が均等分布の状態へ補正される。しかし、第2の配列方向ではまだ不均等分布のままである。そこで、第1の分布均等化処理がなされた後のRAWデータ第1の複数色配列データ:第2の配列方向で不均等分布となった一連の画素データの画素データ分布を第2の配列方向で不均等分布の状態から均等分布の状態へ補正する処理を行うことで、第2の複数色配列データを生成する。これが第2の分布均等化処理である。この第2の分布均等化処理も、通常は補間処理によって実現される。第2の分布均等化処理によって、第2の配列方向でも画素データ分布が均等分布の状態へ補正される。以上が上記した従来の技術の課題を解決するための本発明の技術的思想である。本発明では、この技術的思想の創作に向けて、第1の分布均等化処理部と第2の分布均等化処理部とを構成する。これについては、図1を参照することができる。第1の分布均等化処理部A1には、色配列の周期性を有する複数色画素の撮像素子からの4画素混合など偶数画素混合出力のために互いに直交する第1および第2の配列方向で画素データ分布に不均衡が生じている原画像RAWデータが入力される。第1の分布均等化処理部A1は、入力された原画像RAWデータの第1の配列方向の画素データ分布を均等化するものとして構成されている。第1の分布均等化処理部A1は、その構成要素として、第1のフィルタ処理部a1と第1の輝度分布均等化処理部a2と第1の色配列再現処理部a7とを備えている。第1のフィルタ処理部a1には、原画像RAWデータが第1の配列方向水平方向または垂直方向のライン単位で入力される。第1のフィルタ処理部a1は、入力される原画像RAWデータを、第1の配列方向に沿った画素単位のフィルタ処理により連続的な第1の輝度データと連続的な第1の色キャリアデータとに分ける機能を有している。原画像RAWデータをともに連続的な第1の輝度データと第1の色キャリアデータとに分ける機能というのは、原画像をRGBデータに色分離することなしに、元の連続データのままで分布均等化処理を施す機能のことを表わしている。ここで、原画像をRGBデータに色分離しないのは、色分離した上で分布均等化処理を行うと、解像感を確保しながら偽色発生を低減することがむずかしくなるからである。またともに連続的な第1の輝度データと第1の色キャリアデータとに分けるのは、分布均等化処理に際して一般的に採られる手法である補間処理において、本発明では異色どうし間での補間を行うこととしているからである。同色どうし間での補間であれば、輝度データと色キャリアデータとに分けなくてもよい場合があるが、本発明では隣接する2画素間での補間であるので、異色どうし間での補間となる。さらには、輝度データと色キャリアデータとではフィルタ処理において特性が互いに相違するからである。すなわち、輝度データでは、高周波成分が多く折り返し歪による画質劣化の影響が出やすい。色キャリアデータでは高周波成分が少なく折り返し歪による画質劣化の影響が出にくい。よって、解像感を確保しながら偽色発生を低減するには、連続的な第1の色キャリアデータから独立する状態で連続的な第1の輝度データに対して分布均等化処理を行うのが好ましいのである。第1の輝度分布均等化処理部a2は、第1の配列方向で連続的となった第1の輝度データの輝度分布を均等化して第2の輝度データを生成する機能を有している。第1の色配列再現処理部a7は、第1の輝度分布均等化処理部a2が生成した連続的な第2の輝度データに、第1のフィルタ処理部a1で分離生成された第1の色キャリアデータ第1の配列方向で連続的となっているを再合成することで、第1の複数色色配列データを生成する機能を有している。第2の分布均等化処理部B1には、第1の分布均等化処理部A1から第1の複数色配列データ第1の配列方向で分布均等化されているが入力される。第2の分布均等化処理部B1は、入力された第1の複数色配列データを第2の配列方向垂直方向または水平方向で画素データ分布を均等化することで第2の複数色配列データを生成するものとして構成されている。第2の分布均等化処理部B1は、その構成要素として、第2のフィルタ処理部b1と第2の輝度分布均等化処理部b2と第2の色配列再現処理部b7とを備えている。第2のフィルタ処理部b1には、第1の複数色配列データが第2の配列方向のライン単位で入力される。第2のフィルタ処理部b1は、入力された第1の複数色配列データを、第2の配列方向に沿った画素単位のフィルタ処理によって、連続的な第3の輝度データと連続的な第2の色キャリアデータとに分ける機能を有している。第2の輝度分布均等化処理部b2は、第2のフィルタ処理部b1から出力される第3の輝度データ第2の配列方向で連続的となっているの輝度分布を均等化することで、第4の輝度データを生成する機能を有している。第2の色配列再現処理部b7は、第2の輝度分布均等化処理部b2から出力される第4の輝度データに、第2のフィルタ処理部a1で分離生成された第2の色キャリアデータ第2の配列方向で連続的となっているを再合成することで、第2の複数色色配列データを生成する機能を有している。解像感確保と偽色発生抑制の両立がむずかしくなることから本発明の上記構成では、原画像をRGBデータに色分離するのではなく、原画像RAWデータを連続的な第1の輝度データと連続的な第1の色キャリアデータとに分けた上で、第1の色キャリアデータから独立した状態で第1の輝度データの分布均等化処理を行うことで連続的な第2の輝度データを生成する。さらに生成した第2の輝度データに、あらかじめ分けておいた連続的な第1の色キャリアデータを再合成するように構成してある。以上は、第1の配列方向における独立的な輝度データの分布均等化処理と、分布均等化処理後の輝度データと色キャリアデータとの再合成処理の説明である。本発明では、このような処理を第1の配列方向だけではなく、第1の配列方向に直交する第2の配列方向においても順次行う。これらの処理の相乗により、自然な解像感を確保しながらの偽色発生抑制の効果を2次元方向で良好に確保することが可能となる。また、4画素混合など偶数画素混合出力のために2次元方向で画素データ分布に不均衡が生じている原画像RAWデータを処理対象とするものでありながら、偽輝度信号偽色を低減しつつ解像感を確保することが可能になる。《4》次に、リサイズ処理の機能をも有する形態の画像処理装置について考察する。上記の《1》の構成の場合は、第1の分布均等化処理部A1でも第2の分布均等化処理部B1でも、輝度分布均等化処理部a2b2の次段に色配列再現処理部a7b7を置いているが、ここでは、リサイズ処理のために、輝度分布均等化処理部と色配列再現処理部との間に輝度リサイズ処理部a3b3を配することとする。輝度リサイズ処理部a3b3は、輝度分布均等化処理部による分布均等化処理後の連続的な輝度データ第2第4の輝度データを、第1あるいは第2の配列方向でリサイズ処理を行うことで第2-1の輝度データ、第5の輝度データを生成する機能を有している。リサイズ処理は、データサイズを変更するもので、縮小リサイズと拡大リサイズとがある。一般的には、画素データの間引きによりデータサイズを減じる縮小リサイズが行われる。一方、色キャリアデータについてのリサイズ処理であるが、これは、輝度データに対するリサイズ処理に比べて複雑である。フィルタ処理部から出力される色キャリアデータは、色差の信号形態を有しており、しかも1画素ごとに符号が反転する信号形態となっている。これにより色キャリアデータにおいて、1画素ごとに符号が反転している状態つまり色の並びが1画素ごとに異色交互となっている状態のまま画素データの間引きによるリサイズ処理を行うことは、著しい画質劣化をもたらすことから不可である。そこで、フィルタ処理部から出力される色キャリアデータを符号反転させたうえで、符号反転後の色キャリアデータの色の並びを同色に揃え、そのうえでリサイズ処理を行う。このようにして色の並びが同色に揃ったリサイズ処理後の色差分データには、リサイズ処理後の輝度データとの合成に先立って、再び符号反転処理が施され、これにより色差分データは元の色配列の周期性に復元される。復元後の色キャリアデータは、リサイズ処理後の輝度データと合成される。以上は、大要を述べたものである。以下、その詳しい内容を説明する。これについては、図2を参照することができる。大きな構成要素として、第1の分布均等化リサイズ処理部A2と第2の分布均等化リサイズ処理部B2とを具備する。第1の分布均等化リサイズ処理部A2には、互いに直交する第1および第2の配列方向で画素データ分布に不均衡が生じている原画像RAWデータが入力される。第1の分布均等化リサイズ処理部A2は、入力される原画像RAWデータの第1の配列方向の画素データ分布を均等化しかつリサイズ処理することで、第1の複数色色配列データを生成する機能を有している。第2の分布均等化リサイズ処理部B2は、第1の分布均等化リサイズ処理部A2から出力される第1の配列方向で分布均等化リサイズ処理された第1の複数色配列データの第2の配列方向の画素データ分布を均等化しかつリサイズすることで、第2の複数色色配列データを生成する機能を有している。第1の分布均等化リサイズ処理部A2は、その構成要素として、第1のフィルタ処理部a1と第1の輝度分布均等化処理部a2と第1の輝度リサイズ処理部a3と第1の色反転復調部a4と第1の色差分リサイズ処理部a5と第1の色キャリア変調部a6と第1の色配列再現処理部a7とを備えている。第1のフィルタ処理部a1は、原画像RAWデータを第1の配列方向水平方向または垂直方向に沿った画素単位のフィルタ処理によって連続的な第1の輝度データと連続的な第1の色キャリアデータとに分ける機能を有している。第1の色キャリアデータは、連続的で符号が交互に反転していて色の並びが1画素ごとに異色交互となったデータ形態となっている。第1の輝度分布均等化処理部a2は、第1のフィルタ処理部a1によって生成された連続的な第1の輝度データの第1の配列方向の輝度分布を均等化することで、第2の輝度データを生成する機能を有している。第1の輝度リサイズ処理部a3は、第1の輝度分布均等化処理部a2が出力する連続的な第2の輝度データを、さらに第1の配列方向でリサイズ処理することで、第2-1の輝度データを生成する機能を有している。第1の色反転復調部a4は、第1の色キャリアデータを復調して、連続的で色の並びが同色に揃った第1の色差分データを生成する機能を有している。第1の色差分データは、連続的で色の並びが同色に揃ったデータ形態となっている。第1の色差分リサイズ処理部a5は、第1の色差分データを第1の配列方向でリサイズ処理を行うことで、第2の色差分データを生成する機能を有している。第2の色差分データは連続的で色の並びが同色に揃ったデータ形態となっている。第1の色キャリア変調部a6は、第2の色差分データを再び符号が交互に反転して色配列の周期性が復元された第1-1の色キャリアデータに変調する機能を有している。第1の色配列再現処理部a7は、第1の輝度リサイズ処理部a3が出力する第2-1の輝度データと、第1の色キャリア変調部a6が出力する第1-1の色キャリアデータとを再合成することで、第1の複数色配列データを生成する機能を有している。第2の分布均等化リサイズ処理部B2は、その構成要素として、第2のフィルタ処理部b1と第2の輝度分布均等化処理部b2と第2の輝度リサイズ処理部b3と第2の色反転復調部b4と第2の色差分リサイズ処理部b5と第2の色キャリア変調部b6と第2の色配列再現処理部b7とを備えている。第2のフィルタ処理部b1は、第1の分布均等化リサイズ処理部A2が出力する第1の複数色配列データを第2の配列方向垂直方向または水平方向に沿った画素単位のフィルタ処理することで、連続的な第3の輝度データと、連続的な第2の色キャリアデータに分ける機能を有している。第2の色キャリアデータは、連続的で符号が交互に反転していて色の並びが1画素ごとに異色交互となったデータ形態となっている。第2の輝度分布均等化処理部b2は、第2のフィルタ処理部b1が出力する第3の輝度データの第2の配列方向の輝度分布を均等化することで、第4の輝度データを生成する機能を有している。第2の輝度リサイズ処理部b3は、第2の輝度分布均等化処理部b2が出力する第4の輝度データを第2の配列方向でリサイズ処理することで、第5の輝度データを生成する機能を有している。第2の色反転復調部b4は、第2のフィルタ処理部b1が出力する第2の色キャリアデータを復調して連続的で色の並びが同色に揃った第3の色差分データを生成する機能を有している。第2の色差分リサイズ処理部b5は、第2の色反転復調部b4が出力する第3の色差分データを第2の配列方向でリサイズ処理することで、第4の色差分データを生成する機能を有している。第2の色キャリア変調部b6は、第2の色差分リサイズ処理部b5が出力する第4の色差分データを再び符号が交互に反転して色配列の周期性が復元された第3の色キャリアデータに変調する機能を有している。第2の色配列再現処理部b7は、第2の輝度リサイズ処理部b3が出力する第5の輝度データと、第2の色キャリア変調部b6が出力する第3の色キャリアデータを再合成して、第2の複数色配列データを生成する機能を有している。上記構成による作用は次の通りである。原画像RAWデータは連続的な輝度データと連続的な色キャリアデータとに分けられる。輝度データは、色キャリアデータから独立した状態で分布均等化処理され、さらにリサイズ処理される。一方、色キャリアデータは、復調されて色差分データに変換されたうえでさらにリサイズ処理される。ただし、色キャリアデータは、まず符号反転され、次いでリサイズ処理され、再び符号反転処理されて元の信号形態に戻される。このような技術的工夫が大きなポイントである。そして、分布均等化リサイズ処理後の連続的な輝度データとリサイズ処理された連続的な色キャリアデータとが再合成される。このような一連の処理が、第1の配列方向とそれに直交する第2の配列方向との両方向で行われる。以上の結果として、4画素混合など偶数画素混合出力のために2次元方向で画素データ分布に不均衡が生じている原画像RAWデータに、自然な解像感を確保しながらの偽色発生抑制の効果を2次元方向で良好に確保しながらリサイズ処理することが可能となる。このような2次元的な輝度分布均等化処理とリサイズ処理が実現される結果として、原画像RAWデータより小さいスモールRAW記録モードでの撮影やプレビュー表示や、HDムービーなどの動画撮影において、高品質な画像処理が可能となる。以上は本発明による画像処理装置について説明した。以下では、関連する画像処理方法について本発明を説明する。《17》上記《1》の構成の画像処理装置に対応する画像処理方法として、次のような複数の工程を含むものがある。それは、色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第1、第2の配列方向で偶数画素混合出力に起因する画素データ分布の不均衡が生じている原画像RAWデータが入力されたうえで、入力された前記原画像RAWデータの前記第1の配列方向の画素データ分布を均等化することで、第1の複数色配列データを生成する第1の分布均等化処理工程と、前記第1の複数色配列データの前記第2の配列方向の画素データ分布を均等化することで、第2の複数色配列データを生成する第2の分布均等化処理工程と、を含み、前記第1の分布均等化処理工程は、前記原画像RAWデータを、前記第1の配列方向に沿った画素単位のフィルタ処理によって、連続的な第1の輝度データと連続的な第1の色キャリアデータとに分ける第1のフィルタ処理工程と、前記第1の輝度データの前記第1の配列方向の輝度分布を均等化することで、第2の輝度データを生成する第1の輝度分布均等化処理工程と、前記第2の輝度データに前記第1の色キャリアデータを再合成することで、前記第1の複数色配列データを生成する第1の色配列再現処理工程と、を含み、前記第2の分布均等化処理工程は、前記第1の複数色配列データを、前記第2の配列方向に沿った画素単位のフィルタ処理によって、連続的な第3の輝度データと、連続的な第2の色キャリアデータとに分ける第2のフィルタ処理工程と、前記第3の輝度データの前記第2の配列方向の輝度分布を均等化することで、第4の輝度データを生成する第2の輝度分布均等化処理工程と、前記第4の輝度データに前記第2の色キャリアデータを再合成することで、前記第2の複数色配列データを生成する第2の色配列再現処理工程と、を含む。《20》上記《4》の構成の画像処理装置に対応する画像処理方法として、次のような複数の工程を含むものがある。それは、色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第1、第2の配列方向で偶数画素混合出力に起因する画素データ分布に不均衡が生じている原画像RAWデータが入力されたうえで、入力された前記原画像RAWデータの前記第1の配列方向の画素データ分布を均等化しかつリサイズすることで、第1の複数色配列データを生成する第1の分布均等化リサイズ処理工程と、前記第1の複数色配列データの前記第2の配列方向の画素データ分布を均等化しかつリサイズすることで、第2の複数色配列データを生成する第2の分布均等化リサイズ処理工程と、を含み、前記第1の分布均等化リサイズ処理工程は、前記原画像RAWデータを、前記第1の配列方向に沿った画素単位のフィルタ処理によって、連続的な第1の輝度データと、符号が交互に反転しかつ色の並びが1画素ごとに異色交互となった連続的な第1の色キャリアデータとに分ける第1のフィルタ処理工程と、前記第1の輝度データの前記第1の配列方向の輝度分布を均等化することで、第2の輝度データを生成する第1の輝度分布均等化処理工程と、前記第2の輝度データを前記第1の配列方向でリサイズ処理することで、第2-1の輝度データを生成する第1の輝度リサイズ処理工程と、前記第1の色キャリアデータを復調することで、連続的で色の並びが同色に揃った第1の色差分データを生成する第1の色反転復調工程と、前記第1の色差分データを前記第1の配列方向でリサイズ処理することで、第2の色差分データを生成する第1の色差分リサイズ処理工程と、前記第2の色差分データを符号が交互に反転し色配列の周期性が復元された第1-1の色キャリアデータに変調する第1の色キャリア変調工程と、前記第2-1の輝度データに、前記第1-1の色キャリアデータを再合成することで、前記第1の複数色配列データを生成する第1の色配列再現処理工程と、を含み、前記第2の分布均等化リサイズ処理工程は、前記第1の複数色配列データを、第2の配列方向に沿った画素単位のフィルタ処理により連続的な第3の輝度データと、符号が交互に反転しかつ色の並びが1画素ごとに異色交互となった連続的な第2の色キャリアデータとに分ける第2のフィルタ処理工程と、前記第3の輝度データの前記第2の配列方向の輝度分布を均等化することで、第4の輝度データを生成する第2の輝度分布均等化処理工程と、前記第4の輝度データを前記第2の配列方向でリサイズ処理することで、第5の輝度データを生成する第2の輝度リサイズ処理工程と、前記第2の色キャリアデータを復調することで連続的で色の並びが同色に揃った第3の色差分データを生成する第2の色反転復調工程と、前記第3の色差分データを前記第2の配列方向でリサイズ処理することで、第4の色差分データを生成する第2の色差分リサイズ処理工程と、前記第4の色差分データを符号が交互に反転して色配列の周期性が復元された第3の色キャリアデータに変調する第2の色キャリア変調工程と、前記第5の輝度データに、前記第3の色キャリアデータを再合成することで、前記第2の複数色配列データを生成する第2の色配列再現処理工程と、を含む。さらに、上記した画像処理方法にかかわる発明を画像処理用のプログラムや記録媒体において、次のように展開することが可能である。《33》本発明による画像処理用プログラムは、《17》~《32》の画像処理方法に対応して作成されたプログラムであって、それぞれの工程に対応した複数のステップを順次、コンピュータで実行させることが可能に構成されたものである。《34》本発明による画像処理用の記録媒体は、上記《33》のプログラムを記録したコンピュータ読み取り可能な記録媒体である。本発明は、4画素混合など偶数画素混合出力のために2次元方向で画素データ分布に不均衡が生じている原画像RAWデータを処理対象にして、原画像RAWデータを連続的な輝度データと連続的な色キャリアデータとに分ける、連続的な色キャリアデータから独立した状態で連続的な輝度データの分布均等化処理を行う、分布均等化処理後の連続的な輝度データと、前記連続的な色キャリアデータとを再合成する、という処理を、第1の配列方向とそれに直交する第2の配列方向との両方向で行うことで、自然な解像感を確保しながらの偽色発生抑制の効果を2次元方向で良好に確保することができる。また、4画素混合など偶数画素混合出力のために2次元方向で画素データ分布に不均衡が生じている原画像RAWデータに対するリサイズ処理でも、自然な解像感を確保しながらの偽色発生抑制の効果を2次元方向で良好に確保しながらのリサイズ処理を実現できる。これにより、原画像RAWデータより小さいスモールRAW記録モードでの撮影やプレビュー表示や、HDムービーなどの動画撮影において、高品質な画像処理が可能となる。上記した《1》の構成図1参照の本発明の画像処理装置は、次のような形態においてさらに有利に展開することが可能である。《2》上記の課題を解決するための手段の項で言及した《1》の構成において、第1の複数色配列データを第2の分布均等化処理部B1へ受け渡すバッファについては、次のような態様がある。すなわち、このバッファを、2次元的に展開される記憶空間をもつフレームメモリで構成する。このフレームメモリは、当該フレームメモリに前記第1の複数色配列データが書き込まれる方向に対して直交する方向で当該フレームメモリから前記第1の複数色配列データが読み出されて前記第2の分布均等化リサイズ処理部に供給されるように構成されている。このように構成した場合、第2の分布均等化処理部B1として、第1の分布均等化処理部A1と同じ構成のものを用いることが可能になり、構成の簡素化が図られる。《3》上記《1》の構成において、前記第1の複数色配列データを第2の分布均等化処理部B1へ受け渡すバッファをさらに備え、前記バッファを複数ラインからなるラインメモリで構成する。このラインメモリは、前記第1の複数色配列データがライン毎に当該ラインメモリに書き込まれながら、同時に複数ラインの第1の複数色配列データが当該ラインメモリから読み出されて前記第2の分布均等化処理部に受け渡されるように構成されている。このように構成した場合、第2の分布均等化処理部B1は、第1の分布均等化処理部A1とは異なる構成のものとなる。複数ラインのラインメモリを用いて、複数ライン分の複数色配列データを書き込みながら同時に複数ライン分のデータを読み出すので、処理の高速化が期待される。《5》上記の課題を解決するための手段の項においてリサイズ処理に言及した《4》の構成図2参照において、第1の分布均等化リサイズ処理部A2からは第1の配列方向で分布均等化リサイズ処理された複数色配列データが出力されるが、この複数色配列データを第2の分布均等化リサイズ処理部B2へ受け渡すバッファをさらに有する次のような態様がある。すなわち、このバッファは、2次元的に展開される記憶空間をもつフレームメモリを備える。このフレームメモリは、当該フレームメモリに前記第1の複数色配列データが書き込まれる方向に対して直交する方向で当該フレームメモリから前記第1の複数色配列データが読み出されて前記第2の分布均等化リサイズ処理部に供給されるように構成されている。このように構成した場合、第2の分布均等化リサイズ処理部B2として、第1の分布均等化リサイズ処理部A2と同じ構成のものを用いることが可能になり、構成の簡素化が図られる。《6》上記のリサイズ処理に言及した《4》の構成において前記第1の複数色配列データを前記第2の分布均等化リサイズ処理部B2へ受け渡すバッファをさらに備え、前記バッファは複数ラインからなるラインメモリを備える。このラインメモリは、第1の複数色配列データをライン毎に当該ラインメモリに書き込まれながら、同時に複数ラインの第1の複数色配列データが当該ラインメモリから読み出されて第2の分布均等化リサイズ処理部B2に受け渡されるように構成されている。このように構成した場合、第2の分布均等化リサイズ処理部B2は、第1の分布均等化リサイズ処理部A2とは異なる構成のものとなる。複数ラインのラインメモリを用いて、複数ライン分の第1の複数色配列データが前記ラインメモリに書き込まれながら同時に複数ライン分の第1の複数色配列データが前記ラインメモリから読み出されるので、処理の高速化が期待される。《7》上記のリサイズ処理に関連する《4》~《6》の構成において、前記第1の輝度リサイズ処理部a3と前記第2の色差分リサイズ処理部a5と前記第2の輝度リサイズ処理部b3と前記第2の色差分リサイズ処理部b5とは、そのリサイズ処理として縮小リサイズ処理を行う機能を有しているという態様がある。この縮小リサイズ処理によって、スモールRAW記録モードでの撮影やプレビュー表示や、サイズが規格化されたHDムービーなどの動画撮影において、画像処理を高品質に進めることが可能となる。《8》上記のリサイズ処理に関連する《4》~《6》の構成において、前記第1の輝度リサイズ処理部a3と前記第1の色差分リサイズ処理部a5と前記第2の輝度リサイズ処理部b3と前記第2の色差分リサイズ処理部b5とは、そのリサイズ処理として拡大リサイズ処理を行う機能を有しているという態様もある。《9》上記《1》~《8》の構成において、前記第1、第2の輝度分布均等化処理部a2b2による輝度データの分布均等化処理については、次のような態様がある。図3Aを用いて説明する。なお、図は水平方向に沿うラインで考えており、これは具体的には第1の輝度分布均等化処理部a2に対応する。第2の輝度分布均等化処理部b2の場合には図示の状態を90度回転させて考えればよい。分布均等化処理は、当該の処理対象画素Pの第1あるいは第2の配列方向の両隣の2つの画素のうちより遠く離れた方の異色相当の画素を援用画素Qとする。当該の処理対象画素Pの輝度データYaと援用画素Qの輝度データYbとで補間処理を行い、この補間処理で得た補間輝度データを当該の処理対象画素Pの補間後の輝度データYaとする。処理対象画素Pの輝度データYaは、撮像素子での4画素混合など偶数画素混合出力のために原画像RAWデータにおいて2次元方向で画素データ分布に不均衡が生じている。上記の補間処理は、この処理対象画素Pの輝度データYaを、複数画素混合前の原画像における均等化分布状態に相当する画素の輝度データに近づけ、補間後の輝度データYaとするものである。この場合の補間処理のより具体的な態様については、次の《10》で説明するようなものがある。《10》上記の補間処理に言及した《9》の構成において、前記第1または第2の輝度分布均等化処理部a2b2による輝度データの分布均等化処理については、次のような態様がある。図3Bを用いて説明する。処理対象画素Pをそれの両隣の隣接画素の中央に配すると仮定し、そのときの画素を仮想配置画素Pとする。また、処理対象画素Pの輝度データをYaとし、前記援用画素Qの輝度データをYbとする。援用画素Qとは、処理対象画素Pの水平方向または垂直方向の両隣の2つの画素のうちより遠く離れた方の異色相当の画素である。また、援用画素Qと仮想配置画素Pとの離間距離をαとし、処理対象画素Pと仮想配置画素Pとの離間距離をβとする。補間輝度データYaは、処理対象画素Pの輝度データYaと援用画素Qの輝度データYbを、分点公式に従って、前記2つの離間距離αβで按分して求める。その按分の式は、Ya=αYaβYb/αβとなる。離間距離αβについては、過剰離間側をαとし、過剰接近側をβとする。したがって、α>βである。上記の式は、仮想配置画素Pを処理対象画素Pの右側に設定する場合でも左側に設定する場合図3Cでも共通である。例えば、4画素混合の場合、処理対象画素Pの両隣の隣接画素同士間の離間距離は4画素分である。なお、離間距離は画素中央点間の距離を意味し、これは図36や図41で説明した間隔とは異なる。仮想配置画素Pについては、処理対象画素Pを1画素分だけ援用画素Q側にシフトさせればよい。なぜなら、仮想配置画素Pと元の両隣の隣接画素との離間距離はそれぞれ2画素分となり、両隣の隣接画素の中央に仮想配置画素Pが位置することになるからである。ということは、援用画素Qと仮想配置画素Pとの離間距離αは2画素分となり、処理対象画素Pと仮想配置画素Pとの離間距離βは1画素分となるα=2β=1。よって、補間輝度データYaは、処理対象画素Pの輝度データがYaで、援用画素Qの輝度データがYbのとき、Ya=2Ya1Yb/3となる。ここで、注意すべきことは、輝度データYaを担っている処理対象画素Pの色と輝度データYbを担っている援用画素Qの色とは互いに異なっているということである。ちなみに、RGBベイヤー配列でのBG繰り返しのラインの2種類の画素BGにつき、Bに対しその右側のGが過剰接近し、Gに対しその右側のBが過剰離間している状態で、処理対象画素PのGを両隣の隣接画素BBの中央に仮想配置するとしたときは、処理対象画素のGの輝度データYaと、それの右側の過剰離間の援用画素のBの輝度データYbとによる上記式Ya=2Ya1Yb/3の分布均等化処理となる。つまり、輝度データYaを担う処理対象画素Pの色はGであり、これは輝度データYbを担う援用画素Qの色Bとは異なっている。そして、後処理の色配列再現処理で、補間輝度データYaを担うこととなる処理対象画素Pの色はGであるということである。上記の例は、処理対象画素Pを右側にシフトして仮想配置画素Pとする場合であるが、次に、処理対象画素Pを左側にシフトして仮想配置画素Pとする場合を図3Cを用いて説明する。RGBベイヤー配列でのBG繰り返しのラインの2種類の画素BGにつき、上記と同様に、Bに対しその右側のGが過剰接近し、Gに対しその右側のBが過剰離間している状態で、処理対象画素PのBを両隣の隣接画素GGの中央に仮想配置するとしたときは、処理対象画素のBの輝度データYaと、それの左側の過剰離間のGの輝度データYbとによる上記式Ya=2Ya1Yb/3の分布均等化処理となる。つまり、輝度データYaを担う処理対象画素Pの色はBであり、これは輝度データYbを担う援用画素Qの色Gとは異なっている。そして、後処理の色配列再現処理で、補間輝度データYaを担うこととなる処理対象画素Pの色はBであるということである。《11》上記の補間処理に言及した《9》の構成において、前記第1または第2の輝度分布均等化処理部a2b2による輝度データの分布均等化処理については、次のような態様もある。図4A、図4Bを用いて説明する。すなわち、処理対象画素Pおよび援用画素Qはともに互いに離れる方向に移動して均等分布の状態になると仮定する。つまり、過剰離間状態にある隣接2画素では、左側に位置する画素を右側にシフトさせ、右側に位置する画素を左側にシフトさせる形態で、分布均等化処理を行うものとする。ここで、まず、右側シフト量と左側シフト量との間の比を考える。図4Aに示すように、4画素混合の場合、分布均等化処理を行った結果、隣接する画素間の離間距離は2画素分となる。ここで画素ABCDを考える。過剰離間状態にある隣接2画素BCのうち左側の画素Bを右側にxだけシフトし、右側の画素Cを左側に同じxだけシフトするとする。同じことを画素ADにも行う。つまり、画素Aを左側にxだけシフトし、画素Dを右側にxだけシフトするとする。これで、シフト後の4つの画素A′B′C′D′が分布均等化されたとする。次に、シフト量xを求める。分布均等化処理前の過剰離間状態にある隣接2画素B,Cの離間距離3画素と、分布均等化処理後の隣接2画素B,Cの離間距離2画素とシフト量xとの間には、次式が成立する。2画素分2x=3画素分したがって、x=0.5画素分となる。いま、画素Bに着目する。BをB′にシフトさせる際のシフト量を、BとCとの按分で算出する。BとB′との離間距離はxである。CとB′との離間距離をyとして、xy=3画素分であり、x=0.5画素分であるので、y=2.5画素分となる。xとyの比は、1:5である。このことから、按分に用いる係数α′β′は、α′>β′として、α′:β′=5:1である。図4Bにおいて、αβで示すように、処理対象画素Pを仮想配置画素Pとした場合に、援用画素Qと仮想配置画素Pとの離間距離α′と、処理対象画素Pと仮想配置画素Pとの離間距離β′との比が《10》の場合のα:βとは相違する。しかし按分の公式は、同じ形態であり、Ya=α′Yaβ′Yb/α′β′となる。4画素混合の場合、α′:β′=5:1であるから、Ya=5Ya1Yb/6となる。また、αγで示すように、処理対象画素Qを仮想配置画素Qとした場合に、援用画素Pと仮想配置画素Qとの離間距離α′と、処理対象画素Qと仮想配置画素Qとの離間距離β′との比も上記と同様の、α′:β′=5:1である。εはβとγをまとめ、さらに画素Pの左隣の画素と画素Qの右隣の画素についても同様の処理を行った結果をまとめたものであり、これは図4Aの下側部分に相当する。《12》上記の補間処理に関連する《9》~《11》の構成において、輝度分布均等化処理部が処理対象画素Pの輝度データに対して行う補間処理によれば、自然な解像感を確保しながらの偽色発生抑制の効果が得られる。しかし、一方で、その補間処理のために、補間処理に用いる画素PQの輝度データに関しては周波数特性において高域成分が減少する結果を招く。補間処理せずそのままスルーさせる画素の輝度データには、高域成分の減少はなく、このような補間処理の有無で生じる画質の非対称性が画質劣化の改善を行う上でひとつの障害となる。そこで、上記の構成において、前記第1、第2の輝度分布均等化処理部a2b2について、次のように構成することが好ましい。すなわち、処理対象画素Pの輝度データに対する補間処理を行う際に、その補間処理に先立って補間処理に用いる画素PQの輝度データの高域強調処理を行い、その後に補間処理を行うように、第1、第2の輝度分布均等化処理部a2b2を構成する。このように構成した場合、補間処理に用いる画素PQの輝度データについてあらかじめ高域成分をゲインアップして強調しておくので、その後の補間処理で高域成分が減少したとしても、結果的にはトータルとして高域成分の減衰が解消されることとなる。その結果、補間処理に起因する高域成分の減少が生じるにもかかわらず、良好な画質改善効果が得られる。《13》上記の補間処理に関連する《9》~《11》の構成において、処理対象画素Pの輝度データの補間処理を行った後に、補間処理実行後の輝度データの高域強調処理を行うように第1、第2の輝度分布均等化処理部a2b2を構成する。このように構成した場合、補間処理が行われた処理対象画素Pの輝度データの高域成分が減少したとしても、その後に高域成分をゲインアップして強調するので、結果的にはトータルとして高域成分の減衰が解消されることとなる。その結果、補間処理による良好な画質改善の効果が得られる。《14》当該の画像処理装置が取り扱いの対象とする画像データは、第1および第2の配列方向で画素データ分布に不均衡が生じている原画像RAWデータである。その典型例として、上記《1》~《13》の構成において、前記原画像RAWデータは、RGBベイヤー配列の周期性を有し、水平方向に沿ったBG繰り返しのラインデータとGR繰り返しラインデータとが垂直方向で交互に出力されるRAWデータを対象とするという態様がある。もっとも、これのみに限定されるものではなく、広く後述のような態様も含み得るものとする。また、RB繰り返しラインデータと連続的なG信号のラインデータとが垂直方向で交互に出力されるハニカム配列のRAWデータを対象としても構わない。《15》上記《1》~《13》の構成において、前記原画像RAWデータを、補色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得されるRAWデータとしてもよい。RGBベイヤー配列は原色方式であるが、これ以外に、黄Y、マゼンタM、シアンC、緑Gの補色方式の色フィルタアレイを用いることも可能である。《16》上記《1》~《13》の構成において、前記原画像RAWデータを、補色フィルタによりライン上の画素単位で周期性をもって色配列された複数色の画素と、他のラインにて周期性を持たない単一色の画素とを有する単板カラー撮像素子を用いて取得されるRAWデータとしてもよい。例えば、原色と補色との任意の組み合わせや白Wを用いたりすることも可能である。《18》上記の課題を解決するための手段の項において画像処理方法に言及した《17》の構成において、前記第1の複数色配列データを前記第2の分布均等化処理工程へ受け渡すバッファとして、2次元的に展開される記憶空間をもつフレームメモリを用い、前記フレームメモリに前記第1の複数色配列データを書き込む方向に対して直交する方向で、前記フレームメモリから前記第1の複数色配列データを読み出して前記第2の分布均等化リサイズ処理工程に受け渡す、という態様がある。《19》上記《17》の構成において、前記第1の複数色配列データを前記第2の分布均等化処理工程へ受け渡すバッファとして、複数ラインからなるラインメモリを用い、第1の分布均等化処理工程からの前記第1の複数色配列データをライン毎に前記ラインバッファに書き込みながら、同時に複数ラインの前記第1の複数色配列データを前記ラインバッファから読み出して第2の分布均等化処理工程に供給する、という態様がある。《21》上記の課題を解決するための手段の項においてリサイズ処理に関連する画像処理方法に言及した《20》の構成において、前記の第1の分布均等化リサイズ処理工程によって出力される第1の配列方向で分布均等化リサイズ処理された前記第1の複数色配列データを前記第2の分布均等化リサイズ処理工程へ受け渡すバッファとして、2次元的に展開される記憶空間を有するフレームメモリを用い、前記フレームメモリに前記第1の複数色配列データを書き込む方向に対して直交する方向で、前記フレームメモリから前記第1の複数色配列データを読み出して前記第2の分布均等化リサイズ処理工程に受け渡す、という態様がある。《22》上記《20》の構成において、前記第1の複数色配列データを前記第2の分布均等化リサイズ処理工程へ受け渡すバッファとして、複数ラインからなるラインメモリを用い、前記第1の複数色配列データをライン毎に前記ラインバッファに書き込みながら、同時に複数ラインの第1の複数色配列データを前記ラインバッファから読み出して第2の分布均等化リサイズ処理工程に受け渡す、という態様がある。《23》上記のリサイズ処理関連の画像処理方法に関連する《20》~《22》の構成において、前記の第1の輝度リサイズ処理工程および第1の色差分リサイズ処理工程ならびに前記の第2の輝度リサイズ処理工程および第2の色差分リサイズ処理工程は、そのリサイズ処理として縮小リサイズ処理を行うという態様がある。《24》上記のリサイズ処理関連の画像処理方法に関連する《20》~《22》の構成において、前記第1の輝度リサイズ処理工程と前記第1の色差分リサイズ処理工程と前記第2の輝度リサイズ処理工程と前記第2の色差分リサイズ処理工程とは、そのリサイズ処理として拡大リサイズ処理を行うという態様もある。《25》上記の画像処理方法に関連する《17》~《24》の構成において、前記第1、第2の輝度分布均等化処理工程による輝度データの分布均等化処理は、処理対象画素Pの輝度データを、複数画素混合前の原画像に設定する任意画素の輝度データに補間処理によって近づける処理であり、かつ前記処理対象画素Pの両隣の隣接画素のうちで前記処理対象画素からより遠く離れた方の隣接画素を構成する異色相当画素を援用画素Qとして設定したうえで、前記処理対象画素Pの輝度データと援用画素Qの輝度データとの補間処理で得た補間輝度データを前記処理対象画素Pの輝度データとする処理である、という態様がある。《26》上記の補間処理に言及した画像処理方法に関連する《25》の構成において、前記第1、第2の輝度分布均等化処理工程による輝度データ分布均等化処理は、前記隣接画素の中央に位置すると仮定した仮想配置画素Pと前記援用画素Qとの間の離間距離と、前記処理対象画素Pと前記仮想配置画素Pとの間の離間距離とを分点公式に代入することで前記処理対象画素Pの輝度データと前記援用画素Qの輝度データとを按分し、得られた按分結果から前記補間輝度データを得る処理である、という態様がある。《27》上記の補間処理に言及した画像処理方法に関連する《25》の構成において、前記第1、第2の輝度分布均等化処理工程による輝度データの分布均等化処理は、処理対象画素Pと援用画素Qとは互いに離れる方向に移動して均等分布の状態になると仮定した状態での前記処理対象画素Pを仮想配置画素Pとしたうえで、前記援用画素Qと前記仮想配置画素Pとの間の離間距離と、前記処理対象画素Pと前記仮想配置画素Pとの間の離間距離とを、分点公式に代入することで、前記処理対象画素Pの輝度データと前記援用画素Qの輝度データとを按分し、得られた按分結果に基づいて前記補間輝度データを得る処理である、という態様もある。《28》上記の補間処理に言及した画像処理方法に関連する《25》~《27》の構成において、前記の第1、第2の輝度分布均等化処理工程は、処理対象画素Pの輝度データの補間処理を行う前に、前記処理対象画素の輝度データの高域強調処理を行う、という態様がある。《29》上記の補間処理に言及した画像処理方法に関連する《25》~《27》の構成において、前記の第1および第2の輝度分布均等化処理工程は、処理対象画素Pの輝度データの補間処理を行った後に、前記処理対象画素の輝度データの高域強調処理を行う、という態様もある。《30》上記の画像処理方法に関連する《17》~《29》の構成において、前記原画像RAWデータは、RGBベイヤー配列の周期性を有し、水平方向に沿ったBG繰り返しのラインデータとGR繰り返しラインデータとが垂直方向で交互に出力されるRAWデータである、という態様がある。《31》上記の画像処理方法に関連する《17》~《29》の構成において、前記原画像RAWデータは、補色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得されるRAWデータである、という態様もある。《32》上記の画像処理方法に関連する上記《17》~《29》の構成において、前記原画像RAWデータは、補色フィルタによりライン上の画素単位で周期性をもって色配列された複数色の画素と、他のラインにて周期性を持たない単一色の画素とを有する単板カラー撮像素子を用いて取得されるRAWデータである、という態様もある。以下、本発明の画像処理装置および画像処理方法の実施例について図面を参照しながら説明する。予備的説明本発明の画像処理装置を搭載する装置として、図27に単板式のデジタルカメラとしての撮像装置Aを例示する。撮像部6において、光学レンズ1を通過した光は、光学LPFローパスフィルタ2とカラーフィルタ3とを通過して撮像素子4に入射する。CCD型またはCMOS型の撮像素子4の受光面には多数のフォトダイオードが2次元的に配列されている。光学LPF2は、撮像素子4の画素ピッチに依存するサンプリング周波数以上の高周波成分を除去する。カラーフィルタ3は、撮像素子4の各画素に対応する位置にRGBのいずれかの色が存在するような色配列を有し、フォトダイオードに入射する光の色選択を行う。図28AはRGB原色タイプのカラーフィルタ配列例であるベイヤー配列を示し、カラー要素が水平方向および垂直方向にそれぞれ一定ピッチで正方行列的に配列されている。図28Bのハニカム配列でもよい。撮像素子4の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、ドライブパルスに基づいて信号電荷に応じた電圧信号画像信号として順次読み出される。撮像素子4は、シャッタゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間シャッタスピードを制御する電子シャッタ機能を有している。撮像素子4の動作露光、読み出し等は、CPU17により制御される。18はプログラムおよび制御に必要な各種データ等が格納されているROMリードオンリーメモリ、19はCPU17の作業用領域として利用されるRAMランダムアクセスメモリである。撮像素子4から出力された画像信号はAFEアナログフロントエンド部5に送られ、アナログゲイン調整、CDS相関二重サンプリング等の処理後、A/D変換処理によりデジタルの画像データに変換される。JPEG形式で記録するモードの場合、撮像素子4から出力された原画像のデータは前処理部7を経て画像信号処理部10に送られる。前処理部7と画像信号処理部10は、CPU17からのコマンドに従ってメモリ制御部8を介し、また画像メモリ9を利用しながら、各画素についてR/G/Bの情報を得る同時化処理、ホワイトバランス調整、ガンマ補正、輝度色差信号生成、輪郭強調、電子ズーム機能による変倍拡大/縮小処理等が行われる。信号処理を経た画像データは、圧縮伸張部13に送られ、JPEG形式の圧縮フォーマットに従って圧縮され、記録メディアI/Fインターフェース部14を介して記録メディア15に記録される。一方、撮像素子4の出力有効画素数を減らした原画像RAWデータを出力する場合は、撮像素子4上にベイヤー配列で配置された1画素おきの同色の受光素子から得られる信号の注目画素近傍に位置する同色の画素信号の混合を行った後に出力する9画素混合、4画素混合。その原画像RAWデータは、図示のようなBG繰り返しのラインデータ、GR繰り返しのラインデータが交互に繰り返される連続したラインデータのかたちで前処理部7に入力される。RAWデータを記録するモードの場合、画像データは同時化その他の信号処理を経ることなく、メモリ制御部8、記録メディアI/F部14を介して記録メディア15に記録される。RAWデータは同時化等の信号処理が行われておらず、画素毎に異なる色情報を1つだけ保持しているモザイク状の画像である。圧縮処理も行われていないので、大きなファイルサイズを有する。RAWデータに可逆的な圧縮を行うモードもある。上記のように構成された撮像装置Aにおける画像処理装置およびその画像処理方法の実施例1について説明する。この画像処理装置は、その全部または主要部が図27中の前処理部7に構成されている。なお、専用の画像処理装置として構成する場合もある。それは、RAWデータのまま記録メディア15に記録された場合に、記録メディア15からRAWデータを取り込んで処理するものである。図5のaは、撮像部6におけるAFE部5から出力されてくる4画素混合後のRAWデータに対し前処理部7において分布均等化処理を行う手順の概略を示す図である。前述のように、4画素混合後のRAWデータはBG繰り返しのラインデータ、GR繰り返しのラインデータが交互に繰り返される連続したラインデータのかたちで前処理部7に入力されてくる。図5のaに示すように、単板式の原画像データ1面である4画素混合後のRAWデータD11に、水平分布均等化処理H1と垂直分布均等化処理V1との2ステップの処理を施すことにより2次元方向での分布均等化処理を行う。水平分布均等化処理H1によって4画素混合後のRAWデータD11を水平方向で分布均等化されたRAWデータD12第1の複数色配列データとし、さらに垂直分布均等化処理V1によって垂直方向で分布均等化された最終のRAWデータD13第2の複数色配列データとする。分布均等化処理というのは、連続して入力されてくる個々の混合後の画素データそれぞれは原画像RAWデータにおけるどの座標位置のデータを担うかを示す画素データ分布を、水平方向または垂直方向で均等になるように修正することである。いうまでもないことであるが、誤解を招かないために注記すると、分布均等化処理は画素の位置2次元空間における座標位置を変更シフトすることではない。あくまで画素データのデータ補間にかかわることであり、そのデータ補間を行う上での演算で座標位置を利用するだけに過ぎない。処理対象画素の画素値輝度および色度が座標空間的な分布に擬して比較した場合に不均等分布となっているので、これを是正するために、隣接する画素の画素値を用いて、処理対象画素の画素値を補正し、もって、補正後の画素値が座標空間的な分布に擬して比較した場合に均等分布となるようにすることである1。2ステップからなる水平分布均等化処理H1と垂直分布均等化処理V1の実施の形態として次に述べる2つの形態がある。図5のbとcとはそれぞれの概略を示す。図5のbに示す形態においては、2ステップの分布均等化処理H11V11のバッファとしてフレームメモリFM1を用いる。水平分布均等化処理H11の後のRAWデータD12第1の複数色配列データをすべて一旦フレームメモリFM1に書き込む。次いで、フレームメモリFM1からRAWデータD12を読み出す際に、書き込み時とは直交する方向の垂直方向に読み出して垂直分布均等化処理V11を行い、分布均等化された最終のRAWデータD13第2の複数色配列データを得る。この方式の場合、垂直分布均等化処理V11は水平分布均等化処理H11と同一の処理となる。図5のcに示す形態においては、2ステップの分布均等化処理H12V12をパイプライン処理並列処理とするために、バッファとして複数ラインからなるラインメモリLM1を用いる。水平分布均等化処理H12を実施しながら、その出力をラインメモリLM1に書き込む。同時にRAWデータD12のうちまとまった複数ライン分のRAWデータをラインメモリLM1から読み出し、複数ライン上の水平方向の同一位置のデータに対して垂直方向に垂直分布均等化処理V12を行い、分布均等化された最終のRAWデータD13を得る。このとき、垂直分布均等化処理V12は水平分布均等化処理H12とは別の処理となる。図5のb、図5のcの画像処理装置は、図27の撮像装置Aにおける前処理部7に内蔵されている。次に、図6を用いて水平分布均等化処理H1の詳細を説明する。水平分布均等化処理H1は、ライン上の画素単位の処理を行う1次元のパイプライン処理であって4画素混合後のRAWデータのBGまたはGRの繰り返しのラインデータd1からライン輝度データd2を抽出する色キャリア除去フィルタ処理部11と、ラインデータd1からBGでライン繰り返しされたあるいはGRでライン繰り返されたライン色キャリアデータd4を抽出する色キャリア抽出フィルタ処理部12と、ライン輝度データd2に水平方向の分布均等化処理を行うことでライン輝度データd3を生成する水平分布均等化処理部20と、分布均等化されたライン輝度データd3とあらかじめ分けられていたライン色キャリアデータd4とを再合成して水平方向で分布均等化されたラインデータd5を生成する色配列再現処理部30を含む。色キャリア除去フィルタ処理部11と色キャリア抽出フィルタ処理部12とは、図1の第1のフィルタ処理部a1に相当し、水平分布均等化処理部は、図1の第1の輝度分布均等化処理部a2に相当し、色配列再現処理部30は、図1の第1の色配列再現処理部a7に相当する。また、ラインデータd1は第1の複数色配列データに相当し、ライン輝度データd2は第1の輝度データに相当し、ライン色キャリアデータd4は第1の色キャリアデータに相当し、ライン輝度データd3は第2の輝度データに相当し、ラインデータd5は、RAWデータ12、すなわち、第1の複数色配列データに相当する。なお、図6では4画素混合後のRAWデータのBG繰り返しのラインデータについて図示しているが、GR繰り返しラインデータに関しても同様の処理となる。図6に示した水平分布均等化処理機能を用いて4画素混合されたベイヤー配列の画像を処理する場合を説明する。この処理プロセスは、高画素な撮像素子4を用いて動画撮影をするために用いられる。図6に示すように、入力画像となる4画素混合後の原画像RAWデータは、ベイヤー配列の画素配置を反映したモザイク状の画像データであり、通常、撮像素子4からライン単位で読み出される。このライン単位の入力データは、BとGの情報が画素毎に繰り返されるBGのラインデータd1と、図示しないGとRの情報が画素毎に繰り返されるGRのラインデータd1との2種類となる。これら2種類のラインデータd1は2画素周期で変化するナイキスト周波数近傍の色キャリアを除去する色キャリア除去フィルタ処理部11での処理を経ることで、BG繰り返しのラインに関してはBとGの平均値{δBG}となるライン輝度データd2が生成され、図示しないGR繰り返しラインに関してはGとRの平均値{δGR}となるライン輝度データd2が生成されるδ=1/2。また、BGまたはGRの2種類のラインデータd1は2画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部12を経て、BG繰り返しのラインに関してはナイキスト周波数で変調されたBGのライン色キャリアデータd4が出力され、図示しないGR繰り返しラインに関してはナイキスト周波数で変調されたGRのライン色キャリアデータd4が出力される。BGまたはGRの2種類のライン輝度データd2は、水平分布均等化処理部20で画素データ分布補正が行われ、BGまたはGRの分布均等化されたライン輝度データd3として出力される。次に、水平分布均等化処理部20の詳細を説明する。図7は混合後の画素データ群のうち水平方向で偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する態様の水平分布均等化処理部20の構成を示す。水平分布均等化処理部20に入力されてくるライン輝度データd2は、前述のBG繰り返しのラインデータ、GR繰り返しのラインデータが交互に繰り返される連続したラインデータのかたちとなっている。このライン輝度データd2は、4画素混合出力のために画素データ分布が不均衡になっている。2画素過剰接近、2画素過剰離間の図示の様子はそのことを表している。ただし、個々の画素データは、タイミング的には同一時間間隔の状態で入力されてくるものであり、この点には留意する必要がある。ライン輝度データd2は、1画素遅延器21に入力される。1画素遅延器21を設けてあるのは、図3で説明したところの時間的に1クロック分の差がある2つの画素データ、すなわち処理対象画素Pと援用画素Qの両データを用いて処理対象画素Pの輝度値を補間処理するためには、これら両画素データのタイミングを合わせる必要があるからである。1画素遅延器21の出力に乗算器22で係数αを乗算し、1画素遅延器21の入力に乗算器23で係数βを乗算して加算器24に入力し、さらに除算器25によって加算結果をαβで除算する。出力の画素スイッチ部26で1画素遅延器21の出力と除算器25によるαβの除算の出力とを1画素おきに交互に選択する。まず、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する分布均等化の動作を説明する。入力されてくるライン輝度データd2の奇数番目の画素データが1画素遅延器21に入力されるときすなわち、ライン輝度データd2の奇数番目の画素データが1画素遅延器21で遅延処理されて出力されるときは、画素スイッチ部26は前記の奇数番目の画素データを選択してスルー出力する。これは、図3Bにおいて、処理対象画素P偶数番目の左隣の画素P奇数番目の輝度値が不変で真下に配置されていることに対応する。これに対して、入力されてくるライン輝度データd2の偶数番目の画素データが1画素遅延器21に入力されるときは、1画素遅延器21から出力される遅延後の偶数番目の画素データに乗算器22で係数αが乗算される一方、奇数番目の画素データは遅延処理されることなく乗算器23で係数βが乗算される。そして、これら2つの画素データは加算器24で加算され、さらにその加算結果は除算器25でαβで除算され、その除算結果線形補間処理による輝度値の分布均等化出力が画素スイッチ部26で選択されて出力される。これは、図3Bにおいて、処理対象画素P偶数番目が、自己の輝度値Yaと援用画素Qの輝度値Ybとにより輝度値Yaに補間処理されたことに対応する。ちなみに、処理対象画素Pと援用画素Qとはタイミング的に1画素分の差がある。援用画素Qが処理対象画素Pより1画素分遅い。そこで、1画素遅延器21で画素データを1画素分遅延する処理対象画素Pを保持することにより、援用画素Qが入力されてくるのを待って、処理対象画素Pの補間処理を行うようにしている訳である。処理対象画素Pの輝度値Yaに係数α=2を乗算し、援用画素Qの輝度値Ybに係数β=1を乗算し、次いで加算処理と除算処理とを行うことで補間後の輝度値Yaを得ている。なお、図3は原画像RAWデータにおける空間的な分布の様子を表すもので、これは画素データの時間的な分布を表すものではない。空間的には処理対象画素Pと援用画素Qとは3画素分離間しているが、時間的には他のすべての画素群と同様に1画素分ずつ離れているのである。本処理により、混合後の画素データ群のうち水平方向で偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間することができる。乗算器22の係数αと乗算器23の係数βは、4画素混合による画素データ分布の不均衡を隣接する2画素の線形補間で補正処理することから、理論的にはα:β=2:1となる。ただし、除算器25による除算処理を簡単化するために、近似値として例えばα:β=10:6またはα:β=11:5のように、αβを2のべき乗2nの16とすることにより、処理を簡略化することができる。図8は高域強調により水平方向の解像感を保ちつつ、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する態様の水平分布均等化処理部20の構成を示す。画素データ分布が不均衡なライン輝度データd2は、1画素遅延器21aと高域強調処理部27とに入力される。1画素遅延器21aはライン輝度データd2を1画素分遅延処理し遅延結果を出力の画素スイッチ部26に入力する。高域強調処理部27は、ライン輝度データd2の高域のゲインを持ち上げたうえで処理後のライン輝度データd2を1画素遅延器21と乗算器23とに入力する。1画素遅延器21は、高域強調処理部27の出力を1画素分遅延処理し遅延結果を乗算器22に入力する。乗算器22は、1画素遅延器21の出力に係数αを乗算し乗算結果を加算器24に入力する。乗算器23は高域強調処理部27の出力1画素遅延器21の入力に係数βを乗算し乗算結果を加算器24に入力する。加算器24は乗算器22の出力と乗算器23の出力とを加算し加算結果を除算器25に入力する。除算器25は加算器24の出力をαβで除算し除算結果を出力の画素スイッチ部26に入力する。出力の画素スイッチ部26は1画素遅延器21aの出力と除算器25の出力とを1画素おきに交互に選択する。この構成では、高域強調を行う対象は、係数αβを用いての補間処理に関係する画素データのみとし、補間処理対象でない画素データは画素スイッチ部26をスルーさせるだけで高域強調は行わない。このように入力側に高域強調処理部27を配する本態様では、スルーのラインを1画素遅延器21の出力側ではなく、高域強調処理部27の入力側から分岐する。さらに、高域強調処理部27を挿入した分の遅延に合わせて、スルーのラインに1画素遅延器21aを挿入している。次に偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する分布均等化の動作を説明する。入力されてくるライン輝度データd2の奇数番目の画素データが1画素遅延器21aの出力となるときには、画素スイッチ部26は奇数番目の画素データを選択してスルー出力する。一方、入力されてくるライン輝度データd2の偶数番目の画素データが1画素遅延器21aの出力となるときは、1画素遅延器21から出力される偶数番目の画素データに乗算器22で係数αが乗算され、高域強調処理部27で処理されて1画素遅延器21に入力されてくる奇数番目の画素データに乗算器23で係数βが乗算される。そして、これら2つの画素データが加算器24で加算され、加算器24の加算結果が除算器25でαβで除算され、除算器25の除算結果線形補間処理による輝度値の分布均等化出力が画素スイッチ部26に入力される。画素スイッチ部26は、1画素遅延器21aの出力と、除算器25の除算結果とを選択して出力する。本処理により、補間処理に先立って、補間処理に用いる画素PQの輝度データについてあらかじめ高域成分をゲインアップして強調しておくので、その後の補間処理で高域成分が減少したとしても、結果的にはトータルとして高域成分の減衰が解消されることになる。したがって、水平方向の解像感を損なうことなく、混合後の画素データ群のうち水平方向で偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間することができ、補間処理に起因する高域成分減少の問題にもかかわらず、画質改善の効果を向上させることができる。上記において、乗算器22の係数αと乗算器23の係数βは、4画素混合による画素データ分布の不均衡を隣接する2画素の線形補間で補正処理することから、理論的にはα:β=2:1となる。ただし、除算器25による除算処理を簡単化するために、近似値としてα:β=10:6またはα:β=11:5のように、αβを2のべき乗2nの16とすることにより、処理を簡略化することができる。図9も高域強調により水平方向の解像感を保ちつつ、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する態様の水平分布均等化処理部20の構成を示す。図8との違いは、1画素おきに補間処理された連続的な分布均等化処理後の画素データに対して、画素スイッチ部26の後段の高域強調処理部28で補間画素データに対してのみ高域強調することである。図10は混合後の画素データ群のうち水平方向で奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部20の構成を示す。画素データ分布が不均衡なライン輝度データd2は、1画素遅延器31と乗算器32と画素スイッチ部36とに入力される。乗算器32は、1画素遅延器31の入力に係数αを乗算する。1画素遅延器31は、ライン輝度データd2を1画素分遅延する。1画素遅延器31の出力は乗算器33に入力される。乗算器33は1画素遅延器31の出力に係数βを乗算する。乗算器33の出力と乗算器34の出力とは加算器34に入力される。加算器34は乗算器33の出力と乗算器34の出力とを加算し、加算結果を除算器35に入力する。除算器35は乗算器34の加算結果をαβで除算し、除算結果を画素スイッチ部36に入力する。画素スイッチ部36は、1画素遅延器31の入力と除算器35の除算結果とを1画素おきに交互に選択して出力する。奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する分布均等化の動作を説明する。入力されてくるライン輝度データd2の偶数番目の画素データが1画素遅延器31の入力となるときに、画素スイッチ部36は前記偶数番目の画素データを選択してスルー出力する。これは、図3Cにおいて、処理対象画素P奇数番目の左側の画素Q偶数番目の輝度値が不変で真下に配置されていることに対応する。一方、入力されてくるライン輝度データd2の奇数番目の画素データが1画素遅延器31の入力となるときは、1画素遅延器31に入力される奇数番目の画素データに乗算器32で係数αが乗算され、1画素遅延器31から出力される偶数番目の画素データに乗算器33で係数βが乗算される。そして、これら2つの画素データが加算器34で加算され、加算結果が除算器35でαβで除算され、その除算結果線形補間処理による輝度値の分布均等化出力が画素スイッチ部36で選択されて出力される。これは、図3Cにおいて、処理対象画素P奇数番目が、自己の輝度値Yaと援用画素Qの輝度値Ybとにより輝度値Yaに補間処理されたことに対応する。ちなみに、援用画素Qと処理対象画素Pとはタイミング的に1画素分の差がある。処理対象画素Pが援用画素Qより1画素分遅い。そこで、1画素遅延器31により援用画素Qを保持することにより、処理対象画素Pの入力を待って、処理対象画素Pの補間処理を行うようにしている訳である。処理対象画素Pの輝度値Yaに係数α=2を乗算し、援用画素Qの輝度値Ybに係数β=1を乗算し、次いで乗算結果を加算処理で除算処理して補間後の輝度値Yaを得ている。本処理により、混合後の画素データ群のうち水平方向の奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間することができる。乗算器32の係数αと乗算器33の係数βとは、4画素混合による画素データ分布の不均衡を隣接する2画素の線形補間で補正処理することから、理論的にはα:β=2:1となる。ただし、除算器35による除算処理を簡単化するために、近似値として例えばα:β=10:6またはα:β=11:5のように、αβを2のべき乗2nの16とすることにより、処理を簡略化することができる。なお、α:β=10:6よりもα:β=11:5の方がより精度が高い。図11は高域強調により水平方向の解像感を保ちつつ、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部20の構成を示す。画素データ分布が不均衡なライン輝度データd2は、高域強調処理部37で高域のゲインが持ち上げられた後、1画素遅延器31に入力される。また1画素遅延器31の入力は乗算器32にも入力されてここで係数αと乗算される。1画素遅延器31の出力は乗算器33で係数βと乗算された後、加算器34に入力される。加算器34は乗算器33の乗算結果と乗算器32の乗算結果とを加算し、加算結果を除算器35に入力する。除算器35は加算器34の加算結果をαβで除算し、除算結果を出力の画素スイッチ部36に入力する。画素スイッチ部36は、高域強調処理部37の入力と除算器35の除算結果とを1画素おきに交互に選択する。図8の場合はスルーのラインに1画素遅延器21aを挿入したが、図11の本例の場合は、援用画素Qが先行し、処理対象画素Pが後行であるので、タイミング調整のための1画素遅延器は必要でない。奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する分布均等化の動作は図10と同様である。本処理により、補間処理に先立って、補間処理に用いる画素PQの輝度データについてあらかじめ高域成分をゲインアップして強調しておくので、その後の補間処理で高域成分が減少したとしても、結果的にはトータルとして高域成分の減衰が解消されることになる。したがって、水平方向の解像度合を損なうことなく、混合後の画素データ群のうち水平方向で奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間することができ、補間処理に起因する高域成分減少の問題にもかかわらず、画質改善の効果を向上させることができる。図12も高域強調により水平方向の解像感を保ちつつ、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部20の構成を示す。図11の構成との違いは、1画素おきに補間処理された連続的な分布均等化処理後の画素データの中から選択的に抽出した補間画素データのみを、画素スイッチ部36の後段の高域強調処理部38が高域強調することである。図13は混合後の画素データ群のうち水平方向で偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部20の構成を示す。基本構成は、図7の構成と図10の構成を合成したものである。この構成では、1画素遅延器として、第1の1画素遅延器21と第2の1画素遅延器31との2つの1画素遅延器が設けられている。これは次の状態に対応するためである。すなわち、図4A、図4Bで説明したところの時間的に1クロック分の差がある処理対象画素Pと援用画素Qの両データを用いて処理対象画素Pの輝度値を補間処理する場合においては、処理対象画素Pが援用画素Qよりも時間的に先行する状態と、処理対象画素Qが援用画素Pよりも時間的に遅れる状態との2つの状態が発生する。図13の構成では、このような2つの状態に対応して補間処理を行うことができる。画素データ分布が不均衡なライン輝度データd2は、第1の1画素遅延器21と乗算器23とに入力される。第1の1画素遅延器21は、ライン輝度データd2を1画素分遅延させて遅延結果を乗算器22と第2の1画素遅延器31と乗算器32とに入力する。乗算器22は、第1の1画素遅延器21の出力に係数αを乗算し乗算結果を第1の加算器24に入力する。乗算器23はライン輝度データd2に係数βを乗算し乗算結果を第1の加算器24に入力する。第1の加算器24は、乗算器22の出力と乗算器23の出力とを加算し加算結果を除算器25に入力する。除算器25は、加算器24の出力をαβで除算し除算結果を出力の画素スイッチ部39に入力する。第2の1画素遅延器31は、第1の1画素遅延部21の出力をさらに1画素分遅延させ遅延結果を乗算器33に入力する。乗算器33は第2の1画素遅延器31の出力に係数βを乗算し乗算結果を第2の加算器34に入力する。乗算器32は第1の1画素遅延器21の出力に係数αを乗算し乗算結果を第2の加算器34に入力する。第2の加算器34は乗算器33の出力と乗算器32の出力とを加算し加算結果を第2の除算器35に入力する。第2の除算器35は、第2の加算器34の出力をαβで除算し除算結果を出力の画素スイッチ部39に入力する。画素スイッチ部39は、第1の除算器25の出力と第2の除算器35の出力とを1画素おきに交互に選択して出力する。次に図13の構成による、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する分布均等化の動作を説明する。入力されてくるライン輝度データd2の奇数番目の画素データが第1の1画素遅延器21の出力となるときに、画素スイッチ部39は第2の除算器35の出力を選択して出力する。一方、入力されてくるライン輝度データd2の偶数番目の画素データが第1の1画素遅延器21の出力となるときは、画素スイッチ部39は第1の除算器25の出力を選択して出力する。本処理により、混合後の画素データ群のうち水平方向で偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間することができる。乗算器2232の係数αと乗算器2333の係数βは、4画素混合による画素データ分布の不均衡を隣接する2画素の線形補間で補正処理することから、理論的にはα:β=5:1となる。ただし、除算器2535による除算処理を簡単化するために、近似値として例えばα:β=27:5またはα:β=53:11のように、αβを2のべき乗2nの32や64とすることにより、処理を簡略化することができる。なお、α:β=27:5とα:β=28:4やα:β=26:6と比べると、α:β=27:5の方がより精度が高い。また、α:β=53:11とα:β=54:10やα:β=52:12と比べると、α:β=53:11の方がより精度が高い。α:β=27:5よりもα:β=53:11の方がより精度が高い。図14は高域強調により水平方向の解像感を保ちつつ、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部20の構成を示す。基本構成は、図13の構成と同じであり、入力において高域強調処理部27で高域のゲインを持ち上げる。図15も高域強調により水平方向の解像感を保ちつつ、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部20の構成を示す。基本構成は、図13の構成と同じであり、出力において高域強調処理部38で高域のゲインを持ち上げる。図6に戻って、水平分布均等化処理部20によって分布均等化されたライン輝度データd3は、色配列再現処理部30において色キャリアデータd4との加算処理である再合成処理を受けることで、BとGの情報が画素毎に繰り返す分布均等化されたラインデータd5となって出力される。また、図示しないGとRの情報が画素毎に繰り返す分布均等化されたラインデータとなって出力される。BG繰り返しのラインの再合成を数式で示す。まず、輝度データ{δBG}、色キャリアデータ{γB-G-γB-G}にてδ=0.5、γ=0.5とすると、輝度データ{0.5BG}、色キャリアデータ{0.5B-G-0.5B-G}となる。画素毎に輝度データを加算していくと、0.5{BGB-G}0.5{BG-B-G}が繰り返される。すなわち、BGBGとしてBG繰り返しのラインデータが再生する。GR繰り返しラインでも同様にして、輝度データ{δGR}、色キャリアデータ{γG-R-γG-R}にてδ=0.5、γ=0.5とすると、輝度データ{0.5GR}、色キャリアデータ{0.5G-R-0.5G-R}となる。画素毎に輝度データを加算していくと、0.5{GRG-R}0.5{GR-G-R}が繰り返される。すなわち、GRGRとしてGR繰り返しラインデータが再生する。なお、輝度データと色キャリアデータとに対する係数をδγとして加算処理前でゲイン調整して合成データのゲインが入力と同等となるよう処理したが、目的は輝度信号と色キャリア信号との2種類の信号成分からRGBの独立の1つの色成分を発生することにあるので、必ずしも演算前にゲイン調整する必要はなく、RGBの独立の色成分にした後でゲイン調整をしてもよい。また、RGBベイヤー配列での水平方向のリサイズ処理機能を説明したが、ハニカム配列でも本発明を実施可能である。具体的にはハニカム配列においてライン単位のデータを抽出した場合、図42Bのハニカム配列より、奇数ラインはRとBが周期的に繰り返し、偶数ラインは連続的なG信号となる。偶数ラインに関しては色の変調成分は存在しないが、本発明の方法にてG信号をライン輝度データと見立てて処理を行うことができる。また、変調成分の存在しないG信号のみの偶数ラインに関しては、色キャリア抽出フィルタ処理部12にて出力のゲインを0として、色配列再現処理部30における再合成により、RとBの情報が画素毎に繰り返すリサイズされたRBラインデータとして出力され、Gの情報が連続的に並ぶリサイズされたGラインデータとして出力される。図6に示した水平分布均等化処理機能は、図5のbにおいて示した2ステップの分布均等化処理H11V11を実施する際に使用される。このとき垂直分布均等化処理V11は、フレームメモリFM1からデータを読み出す際、書き込み時とは直交する方向の垂直方向に読み出して分布均等化処理V11に入力するので、水平分布均等化処理H11と同一の処理となる。すなわち、垂直分布均等化処理V11は、水平分布均等化処理H11と同じ構成のものを用いることができることから、構成の簡素化が図られる。次に、図5のcに示すように2ステップのリサイズ処理H12V12の中間バッファとして複数ラインからなるラインメモリLM1を用いる場合の詳細を説明する。図16Aに、ラインメモリLM1の書き込み読み出し動作を示す。図16Bは、図16Aの次のラインデータ処理における同ラインメモリの書き込み読み出し動作を示す。LM1はnラインからなるラインメモリである。WCはラインメモリLM1に対してのデータ書き込みサイクルを示し、nラインに対する書き込み制御として1ラインずつ順番にリング状に巡回させながら書き込んでいく。RCはラインメモリLM1に対してのデータ読み出しサイクルを示し、nラインのうちn-1ラインのメモリデータをまとめて選択しながら、書き込み制御と同様、順番にリング状に巡回させながら読み出していく。本例では、書き込みラインと読み出しラインとを分けることにより、書き込みと読み出しとを非同期に動作させることができる。こうして水平方向の分布均等化処理済みのRAWデータD12のうちまとまった複数ライン分のRAWデータをラインメモリLM1からまとめて読み出すことにより、複数ライン上の水平方向の同一位置のデータdHに対して縦方向に垂直分布均等化処理V12を行い、分布均等化された最終のRAWデータD13を得る。このとき、垂直分布均等化処理V12は水平分布均等化処理H12とは異なる処理となり、複数のライン単位の任意の処理は、注目画素に対して垂直方向の分布均等化処理を行いながら、水平方向にパイプライン出力される。複数ラインのラインメモリLM1を用いて、複数ライン分の複数色配列データを書き込みながら同時に複数ライン分のデータを読み出すように構成してあるので、処理を高速化することができる。図17は、図16A、図16BのラインメモリLM1を利用する場合の図5のc中の垂直分布均等化処理V12の詳細を示している。この垂直分布均等化処理V12は、注目画素に対して垂直方向に分布均等化処理を行いながら水平方向の1ライン分のパイプライン処理を行う。この垂直分布均等化処理V12も図6の水平分布均等化処理H12と同様に、輝度信号処理と色キャリア抽出処理との2系統処理として実施する。本例では、入力データとして9ライン分のRAWデータに対して垂直方向に同一水平位置となる9画素を1つの垂直方向処理単位dH1dH2として処理を行う。具体的には、9ライン分のRAWデータから垂直方向に注目ラインとその上下に位置する3種類の垂直方向輝度データd12Y1Y2Y3を抽出する色キャリア除去フィルタ処理部41と、垂直方向の注目ライン位置の色キャリアデータd14を抽出する色キャリア抽出フィルタ処理部42と、3種類の垂直方向輝度データd12Y1Y2Y3を用いて垂直方向の分布均等化処理を行ってライン輝度データd13を生成する垂直分布均等化処理部43と、垂直方向で分布均等化されたライン輝度データd13と色キャリアデータd14とを再合成し最終的な垂直方向で分布均等化されたRAWラインデータd15を生成する色配列再現処理部44とを含む。色キャリア除去フィルタ処理部41と色キャリア抽出フィルタ処理部42とは、図1の第2のフィルタ処理部b1に相当し、垂直分布均等化処理部43は図1の第2の輝度分布均等化処理部b2に相当し、色配列再現処理部44は図1の第2の色配列再現処理部b7に相当する。また、垂直方向輝度データd12Y1Y2Y3は、第3の輝度データに相当し、色キャリアデータd14は第2の色キャリアデータに相当し、ライン輝度データd13は第4の輝度データに相当し、RAWラインデータd15は第2の複数色配列データに相当する。図17に詳細を示した垂直分布均等化処理機能を用いて、ベイヤー配列の画像について、画素データの分布均等化処理を行う場合を説明する。この処理プロセスは、図6と同様に、例えば、RAW処理結果の動画撮影をするために用いられる。図17の垂直方向処理単位dH1dH2に示すように、水平分布均等化処理後の4画素混合RAWデータはベイヤー配列の画素配置を反映したモザイク状の配列を保持しているが、画素データ分布が垂直方向に不均衡となっている。水平分布均等化処理後の4画素混合RAWデータは、複数ラインを同時入力データとするために、図16に示すようにライン単位でラインメモリLM1に巡回的に書き込まれ、複数ラインまとめて巡回的に読み出される。水平分布均等化処理後の9ライン単位の入力データの各ライン上の水平方向の同一位置の垂直方向データに対して、垂直方向処理単位dH1は垂直方向にBとGの情報が画素毎に繰り返されるBG列データ、垂直方向処理単位dH2は垂直方向にGとRの情報が画素毎に繰り返されるGR列データとなり、この2種類が水平方向に繰り返される。これら2種類の垂直方向の列データは垂直方向に2画素周期で変化するナイキスト周波数近傍の色キャリア情報を有し、色キャリアを除去する色キャリア除去フィルタ処理部41で注目中心ラインとその上下ラインに位置する3種類の垂直方向輝度データd12Y1Y2Y3を生成するために、それぞれ垂直方向処理単位dH1の7画素のデータを用いてフィルタ処理している。垂直方向処理単位dH1からはBとGの平均値となる3種類の垂直方向輝度データd12Y1Y2Y3が出力され、次の垂直方向処理単位dH2からはGとRの平均値となる3種類の垂直方向輝度データd12Y1Y2Y3が出力される。また、前記の2種類の垂直方向処理単位dH1dH2は、垂直方向に2画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部42により、BG列に関してはナイキスト周波数で変調されたB-G成分の色キャリアデータd14が出力され、GR繰り返しラインに関してはナイキスト周波数で変調されたG-R成分の色キャリアデータd14が出力される。輝度データと色キャリアデータとの垂直方向の画素データ分布を均等化するため、色キャリア抽出フィルタ処理部42では9ラインの中心となる5ライン目を基準に垂直方向に対称係数をもつフィルタ処理を行う。垂直分布均等化処理部43は、垂直方向に抽出された3種類の垂直方向輝度データd12Y1Y2Y3に、垂直方向での画素データの分布均等化処理を行う。図18は垂直方向の3種類の垂直方向輝度データd12Y1Y2Y3を用いて偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間し、奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間する態様の垂直分布均等化処理部43の構成を示す図である。原理は水平方向処理で説明したのと同様であり、遅延時間を1画素遅延から1ライン期間ずつ遅延に置き換えて、3種類の垂直方向輝度データd12Y1Y2Y3を入力とすることで、垂直方向の分布均等化処理を実現する。垂直方向に画素データ分布が不均衡な垂直方向輝度データd12Y1Y2Y3は、Y2を注目ラインとし、その上方側ラインをY1、下方側ラインをY3とする。入力されてくる輝度データY1に乗算器46で係数βを乗算し、入力されてくる輝度データY2に乗算器45で係数αを乗算し、得られたこれら2つの乗算結果を加算器47で加算し、その加算結果を第1の除算器48がαβで除算する。また、入力されてくる輝度データY3に乗算器50で係数βを乗算し、入力されてくる輝度データY2に乗算器49で係数αを乗算し、得られたこれら2つの乗算結果を加算器51で加算し、その加算結果を第2の除算器52がαβで除算する。出力のラインスイッチ部53で第1の除算器48の出力と第2の除算器52の出力を1ライン画素毎に選択する。偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間し、奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間する分布均等化の動作を説明する。入力されてくるライン輝度データY2が奇数ラインとなる場合、ラインスイッチ部53は第1の除算器48の出力を1ライン期間選択して出力する。一方、入力されてくるライン輝度データY2が偶数ラインとなる場合、ラインスイッチ部53は第2の除算器52の出力を1ライン期間選択して出力する。本処理により、偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間し、奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間することができる。4画素混合による垂直方向の画素データ分布の不均衡を隣接する2ラインデータの線形補間で補正処理するので、乗算器4562の係数αと乗算器4663の係数βとは、理論的にはα:β=5:1となる。ただし、除算器4865による除算処理を簡単化するために、近似値として、例えば、α:β=27:5またはα:β=53:11のように、αβを2のべき乗2nの32や64とすることにより、処理を簡略化することができる。なお、偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間する場合における、出力のラインスイッチ部53での出力ラインの選択は次のようになる。すなわち、Y2の注目ラインが奇数ラインの輝度データの場合は二点鎖線で示す信号線を介してそのままスルー出力し、偶数ラインの輝度データの場合は第2の除算器52の出力を選択し、これを1ライン画素毎に交互に切り替える。除算器48の出力信号線は用いない。この際、隣接する2ラインデータの線形補間で画素データ分布の不均衡を補正処理するので、乗算器49の係数αと乗算器50の係数βとは、理論的にはα:β=2:1となる。ただし、除算器52による除算処理を簡単化するために、近似値として、例えばα:β=10:6またはα:β=11:5のように、αβを2のべき乗2nの16とすることにより、処理を簡略化することができる。また、奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間する場合は、出力のラインスイッチ部53での出力ライン選択は次のようになる。すなわち、Y2の注目ラインが偶数ラインの輝度データの場合は二点鎖線で示す信号線を介してそのままスルー出力し、奇数ラインの輝度データの場合は第1の除算器48の出力を選択し、これを1ライン画素毎に交互に切り替える。除算器52の出力信号線は用いない。この際、隣接する2ラインデータの線形補間で画素データ分布の不均衡を補正処理するので、乗算器45の係数αと乗算器46の係数βとは、理論的にはα:β=2:1となる。ただし、除算器48による除算処理を簡単化するために、前記同様に近似値として、例えばα:β=10:6またはα:β=11:5のように、αβを2のべき乗2nの16とすることにより、処理を簡略化することができる。図17の処理に戻って説明する。前記の垂直分布均等化処理部43で処理された垂直方向分布均等化されたライン輝度データd13は、色配列再現処理部44における色キャリアデータd14との加算処理である再合成処理を受けることにより、垂直方向処理単位dH1に対しては垂直方向にBとGの情報が画素毎に繰り返す垂直方向で分布均等化されたBG繰り返しのラインデータd15となる。ラインデータd15では、垂直方向処理単位dH2に対しては垂直方向にGとRの情報が画素毎に繰り返す垂直方向で分布均等化されたデータGRのラインデータd15となる。上記処理により、水平垂直ともに画素データの分布均等化処理がなされたRAWデータを生成することができる。以上のようにして得られたRAW分布均等化処理後の画像データd15を図27の画像信号処理部10に入力して信号処理を行い、最終的な画像、例えば動画撮影画像に変換する。図19Aおよび図19Bは、実際のベイヤー配列の4画素混合のRAWデータについて、CZPサーキュラーゾーンプレート画像に対して水平垂直の両方向に本発明分布均等化処理を行った場合の分布均等化処理RAWデータ結果を示す。図19Aの処理画像は、撮像素子上で4画素混合したベイヤー配列のRAWデータ原画像:高域強調無しである。図19Bの処理画像は、撮像素子上で4画素混合したベイヤー配列のRAWデータに本発明の分布均等化処理を実施した結果高域強調有りである。図19Aの領域U1と図19Bの領域U2との比較や領域W1と領域W2との比較により、4画素混合後のRAWデータから4画素混合に起因する折り返しによるがたつきジャギーを軽減したRAWデータを生成することができることが分かる。高域強調の場合は、図20Bの領域W3のようになり、4画素混合に起因する折り返しによるがたつきをさらに抑制して滑らかな解像感を得ることができる。いずれにしても、本実施例によれば、4画素混合など偶数画素混合出力のために2次元方向で画素データ分布に不均衡が生じている原画像RAWデータを処理対象とするものでありながら、偽輝度信号偽色を低減しつつ解像感を確保することができる。以下、本発明の実施例2における画像処理装置および画像処理方法について説明する。図21のaは、4画素混合後のRAWデータに対して図27の撮像装置Aの前処理部7において分布均等化しかつリサイズ処理する手順の概略を示す図である。図21のaに示すように、単板式の原画像1面である4画素混合後のRAWデータD21を分布均等化しかつリサイズする処理を、水平分布均等化リサイズ処理H2と垂直分布均等化リサイズ処理V2との2ステップの処理として行う。4画素混合後のRAWデータD21は、水平分布均等化リサイズ処理H2で水平方向に分布均等化リサイズ処理されたRAWデータD22となり、垂直分布均等化リサイズ処理V2でさらに垂直方向に分布均等化リサイズ処理されたRAWデータD23となる。2ステップからなる水平分布均等化リサイズ処理H2と垂直分布均等化リサイズ処理V2の実施の形態として次に述べる2つの形態がある。図21のbと図21のcはそれぞれの概略を示す。図21のbに示す形態においては、2ステップの分布均等化リサイズ処理H21V21のバッファとしてフレームメモリFM2を用いる。水平分布均等化リサイズ処理H21の後のRAWデータD22をすべて一旦フレームメモリFM2に書き込む。次いで、フレームメモリFM2からRAWデータD22を読み出す際に、書き込み時とは直交する方向の垂直方向に読み出して垂直分布均等化リサイズ処理V21を行い、分布均等化リサイズ処理された最終のRAWデータD23を得る。この方式の場合、垂直分布均等化リサイズ処理V21は、水平分布均等化リサイズ処理H21と同一の処理となる。図21のcに示す形態においては、2ステップの分布均等化リサイズ処理H22V22をパイプライン処理とするために、バッファとして複数ラインからなるラインメモリLM2を用いる。水平分布均等化リサイズ処理H22を実施しながら、その出力をラインメモリLM2に書き込む。同時にRAWデータD22のうちまとまった複数ライン分のRAWデータをラインメモリLM2から読み出し、複数ライン上の水平方向の同一位置のデータに対して垂直方向に垂直分布均等化リサイズ処理V22を行い、分布均等化された最終のRAWデータD23を得る。このとき、垂直分布均等化リサイズ処理V22は水平分布均等化リサイズ処理H22とは別の処理となる。図22を用いて、水平分布均等化リサイズ処理H2の詳細を説明する。水平分布均等化リサイズ処理H2は、ライン上の画素単位の処理を行う1次元のパイプライン処理であって4画素混合後のRAWデータのBGまたはGRの繰り返しのラインデータd21から連続したライン輝度データd22を抽出する色キャリア除去フィルタ処理部61と、ラインデータd21からBGまたはGRの繰り返しの連続したライン色キャリアデータd25を抽出する色キャリア抽出フィルタ処理部62と、ライン輝度データd22に水平方向の分布均等化処理を行うことでライン輝度データd23を生成する水平分布均等化処理部63図2の第1の輝度分布均等化処理部a2に相当と、分布均等化されたライン輝度データd23を縮小リサイズ処理することでライン輝度データd24を生成する水平輝度リサイズ処理部64と、変調されたライン色キャリアデータd25を色反転復調することで連続したライン色差分データd26を生成する色反転復調部65と、ライン色差分データd26の縮小リサイズを行うことでライン色差分データd27を生成する水平色差分リサイズ処理部66と、リサイズ後のライン色差分データd27をBGまたはGRの繰り返しのライン色キャリアデータd28に再変換する色キャリア変調部67と、水平輝度リサイズ処理部64から出力されるライン輝度データd24とライン色キャリアデータd28とを再合成し水平方向で分布均等化されたラインデータd29を生成する色配列再現処理部68を含む。色キャリア除去フィルタ処理部61と色キャリア抽出フィルタ処理部62とは図2の第1のフィルタ処理部a1に相当し、水平分布均等化処理部63は図2の第1の輝度分布均等化処理部a2に相当し、水平輝度リサイズ処理部64は図2の第1の輝度リサイズ処理部a3に相当し、色反転復調部65は図2の第1の色反転復調部a4に相当し、水平色差分リサイズ処理部66は、図2の第1の色差分リサイズ処理部a5に相当し、色キャリア変調部67は第1の色キャリア変調部a6に相当し、色配列再現処理部68は図2の第1の色差分リサイズ処理部に相当a7に相当する。また、ラインデータd21は第1の複数色配列データに相当し、ライン輝度データd22は第1の輝度データに相当し、ライン色キャリアデータd25は第1の色キャリアデータに相当し、ライン輝度データd23は第2の輝度データに相当し、ライン輝度データd24は第2-1の輝度データに相当し、ライン色差分データd26は第1の色差分データに相当し、ライン色差分データd27は第2の色差分データに相当し、ライン色キャリアデータd28は第1-1の色キャリアデータに相当し、ラインデータd29は第1の複数色配列データに相当する。図22に示した水平分布均等化リサイズ処理機能を用いて4画素混合されたベイヤー配列の画像を処理する場合を説明する。この処理プロセスは、高画素な撮像素子4を用いて動画撮影をするために用いられる。入力画像となる4画素混合後のRAWデータは、ベイヤー配列の画素配置を反映したモザイク状の画像であり、通常、撮像素子4からライン単位で読み出される。このライン単位の入力データは、BとGの情報が画素毎に繰り返されるBGのラインデータd21と、図示しないGとRの情報が画素毎に繰り返されるGRのラインデータd21との2種類となる。これら2種類のラインデータd21は2画素周期で変化するナイキスト周波数近傍の色キャリアを除去する色キャリア除去フィルタ処理部61での処理を経て、BG繰り返しのラインにおいてはBとGの平均値{δBG}となるライン輝度データd22が出力され、図示しないGR繰り返しラインにおいてはGとRの平均値{δGR}となるライン輝度データd22が出力されるδ=1/2。BGまたはGRの2種類のライン輝度データd22は、水平分布均等化処理部63で画素データ分布補正が行われ、BGまたはGRの分布均等化されたライン輝度データd23として出力される。水平分布均等化処理部63の詳細はすでに説明した図6の水平分布均等化処理部20と同様である。また、BGまたはGRの2種類のラインデータd21は2画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部62の処理を経て、BG繰り返しのラインに関してはナイキスト周波数で変調されたBGのライン色キャリアデータd25が出力され、図示しないGR繰り返しラインに関してはナイキスト周波数で変調されたGRのライン色キャリアデータd25が出力される。BGまたはGRの2種類のライン色キャリアデータd25は、1画素ごとに符号が反転している状態つまり色の並びが1画素ごとに異色交互となっている。このライン色キャリアデータd25は、色反転復調部65により1画素ごとに符号反転を行って色の並びが同色に揃えられ、連続したBGまたはGRのライン色差分データd26として出力される。次に、水平分布均等化処理部63で分布均等化されたライン輝度データd23は、水平輝度リサイズ処理部64により縮小比率に合わせて線形補間間引きが行われ、分布均等化リサイズされたライン輝度データd24となる。ライン色差分データd26は、水平色差分リサイズ処理部66により縮小比率に合わせて線形補間間引きが行われ、リサイズされたライン色差分データd27となる。それぞれに同一比率の水平方向の縮小リサイズが実施される。水平方向に縮小リサイズされた連続的で色の並びが同色に揃ったライン色差分データd27{γB-GγG-R}は、色キャリア変調部67の処理を受けることで、2画素周期で変化するナイキスト周波数で変調するための等価処理として画素ごとに再び符号が交互に反転されて色配列の周期性が復元されたライン色キャリアデータd28{γB-G-γB-G}、{γG-R-γG-R}となる。分布均等化リサイズされたライン輝度データd24は、色配列再現処理部68における再合成処理具体的にはリサイズされたライン色キャリアデータd28との加算処理を受けることで、BとGの情報が画素毎に繰り返す分布均等化リサイズ処理されたラインデータd29となって出力される。また、分布均等化リサイズされたライン輝度データd24は、図示しないGとRの情報が画素毎に繰り返す分布均等化リサイズ処理されたラインデータとなって出力される。BG繰り返しのラインの再合成を数式で示す。まず、δ=0.5、γ=0.5とすると、分布均等化リサイズされたライン輝度データ{δBG}、ライン色キャリアデータ{γB-G-γB-G}は、分布均等化リサイズされたライン輝度データ{0.5BG}、ライン色キャリアデータ{0.5B-G-0.5B-G}となる。画素毎に輝度データと色キャリアデータを加算していくと、0.5{BGB-G}0.5{BG-B-G}が繰り返される。すなわち、BGBGとして分布均等化リサイズ処理されたラインデータd29が再生する。GR繰り返しラインでも同様にして、分布均等化リサイズされたライン輝度データ{δGR}、ライン色キャリアデータ{γG-R-γG-R}にてδ=0.5、γ=0.5とすると、分布均等化リサイズされたライン輝度データ{0.5GR}、ライン色キャリアデータ{0.5G-R-0.5G-R}となる。画素毎に輝度データと色キャリアデータを加算していくと、0.5{GRG-R}0.5{GR-G-R}が繰り返される。すなわち、RGRGとして分布均等化リサイズ処理されたラインデータd29が再生される。なお、輝度データと色キャリアデータとに対する係数をδγとして加算処理前でゲイン調整して合成データのゲインが入力と同等となるよう処理したが、目的は輝度信号と色キャリア信号との2種類の信号成分からRGBの独立の1つの色成分を発生することにあるので、必ずしも演算前にゲイン調整する必要はなく、RGBの独立の色成分にした後でゲイン調整をしてもよい。また、RGBベイヤー配列での水平方向の分布均等化リサイズ処理機能を説明したが、ハニカム配列でも実施例1と同様、本発明を適用可能である。図22に示した水平分布均等化リサイズ処理機能は、図21のbにおいて示した2ステップの分布均等化リサイズ処理H21V21を実施する際に使用できる。このとき垂直分布均等化リサイズ処理V21は、フレームメモリFM2からデータを読み出す際、書き込み時とは直交する方向の垂直方向に読み出したうえで、読み出したデータを分布均等化リサイズ処理V21に入力するので、水平分布均等化リサイズ処理H21と同一の処理となる。すなわち、同じ構成のものを用いることができることから、構成の簡素化が図られる。次に、図21のcに示すように2ステップの分布均等化リサイズ処理H22V22の中間バッファとして複数ラインからなるラインメモリLM2を用いる場合の詳細を説明する。図23に、ラインメモリLM2の書き込み読み出し動作を示す。制御方法は実施例1と同様である。図23は、実施例1の図16のラインメモリLM1と同様の構成を有する図21のcのラインメモリLM2を利用する場合における図21のc中の垂直分布均等化リサイズ処理V22の詳細を示している。垂直分布均等化リサイズ処理V22は、実施例1と同様、注目画素に対して垂直方向に分布均等化処理を行いながら水平方向の1ライン分のパイプライン処理を行う。図23の垂直分布均等化リサイズ処理V22も図22の水平分布均等化リサイズ処理H21と同様に、輝度信号処理と色キャリア抽出処理との2系統処理として実施する。本実施例2では分布均等化処理後のリサイズ処理を行うために、垂直方向に複数の輝度信号処理と色キャリア抽出処理を備える。本例では、入力データとして10ライン分のRAWデータに対して垂直方向に同一水平位置となる10画素を1つの垂直方向処理単位dH3dH4として処理を行う。具体的には、10ライン分のRAWデータから垂直方向に注目ラインを含んでその上下に位置する最小4種類の垂直方向輝度データd30Y1Y2Y3Y4を抽出する色キャリア除去フィルタ処理部71と、垂直方向の注目ラインを含んでその上下に位置する最小3種類の色キャリアデータC1C2C3を抽出する色キャリア抽出フィルタ処理部72と、4種類の垂直方向輝度データd30Y1Y2Y3Y4を用いて垂直方向に3系統の分布均等化処理を行い3種類の垂直分布均等化されたライン輝度データd31を出力する垂直分布均等化処理部73と、垂直方向に変調された3種類の色キャリアデータC1C2C3のそれぞれに対して色反転復調して垂直方向にそれぞれ連続した3種類の色差分データd33を出力する色反転復調部74と、垂直方向に連続した3種類の垂直分布均等化されたライン輝度データd31に対して垂直方向の縮小リサイズを行って垂直方向に分布均等化リサイズされたライン輝度データd32を出力する垂直輝度リサイズ処理部75と、垂直方向に連続した3種類の色差分データd33に対して垂直方向の縮小リサイズを行ってBGのライン色差分データd34を出力する垂直色差分リサイズ処理部76と、リサイズ後の色差分データd34を色キャリアデータに再変換して垂直方向のライン色キャリアデータd35を出力する色キャリア変調部77と、垂直方向に分布均等化リサイズされたライン輝度データd32と垂直方向のライン色キャリアデータd35とを再合成し、最終的な垂直方向の分布均等化リサイズ処理されたRAWデータd36を生成する色配列再現処理部78を最低限必要な機能として有している。色キャリア除去フィルタ処理部71と色キャリア抽出フィルタ処理部72とは、図2の第1のフィルタ処理部b1に相当し、垂直分布均等化処理部73は図2の第2の輝度分布均等化処理部b2に相当し、色反転復調部74は図2の第2の色反転復調部b4に相当し、垂直輝度リサイズ処理部75は図2の第2の輝度リサイズ処理部b3に相当し、垂直色差分リサイズ処理部76は図2の第2の色差分リサイズ処理部b5に相当し、色キャリア変調部77は図2の第2の色キャリア変調部b6に相当し、色配列再現処理部78は図2の第2の色配列再現処理部b7に相当する。垂直方向輝度データd30Y1Y2Y3Y4は、第3の輝度データに相当し、色キャリアデータC1C2C3は、第2の色キャリアデータに相当し、ライン輝度データd31は第4の輝度データに相当し、色差分データd33は第3の色キャリアデータに相当し、ライン輝度データd32は第5の輝度データに相当し、ライン色差分データd34は第4の色差分データに相当し、垂直方向のライン色キャリアデータd35は第3の色キャリアデータに相当し、RAWデータd36は第2の複数色配列データに相当する。図23に詳細を示した垂直分布均等化リサイズ処理機能を用いて、ベイヤー配列の画像について、分布均等化リサイズ処理する場合を説明する。この処理プロセスは実施例1と同様に、例えば、RAW処理結果の動画処理記録をするために用いられる。図23の垂直方向処理単位dH3dH4に示すように、水平分布均等化処理後の4画素混合RAWデータは、ベイヤー配列の画素配置を反映したモザイク状の配列を保持してかつ垂直方向に画素データ分布が不均衡になっている。複数ラインを同時入力データとするために実施例1の図16に示したのと同様にしてライン単位でラインメモリLM2に巡回的に書き込まれ、複数ラインまとめて巡回的に読み出される。本説明では11ラインからなるラインメモリLM2を利用し、10ラインの出力がまとめて出力される。水平分布均等化処理後の10ライン単位の入力データの各ライン上の水平方向の同一位置の垂直方向データに対して、垂直方向処理単位dH3は垂直方向にBとGの情報が画素毎に繰り返されるBG列データ、垂直方向処理単位dH4は垂直方向にGとRの情報が画素毎に繰り返されるGR列データとなり、この2種類が水平方向に繰り返される。これら2種類の垂直方向の列データは垂直方向に2画素周期で変化するナイキスト周波数近傍の色キャリア情報を有しており、色キャリアを除去する色キャリア除去フィルタ処理部71は、注目中心ラインを含む上下ラインに位置する4種類の垂直方向輝度データd30Y1Y2Y3Y4を生成するために、それぞれ垂直方向処理単位dH3の7画素のデータを用いてフィルタ処理している。BとGの平均値となる4種類の垂直方向輝度データd30Y1Y2Y3Y4が、垂直方向処理単位dH3から出力され、GとRの平均値となる4種類の垂直方向輝度データd30Y1Y2Y3Y4が、次の垂直方向処理単位dH4から出力される。また、垂直方向に2画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部72は、2種類の垂直方向処理単位dH3dH4から、BG列に関してはナイキスト周波数で変調されたB-G成分の色キャリアデータを出力し、GR繰り返しラインに関してはナイキスト周波数で変調されたG-R成分の色キャリアデータを出力する。本実施例では後段で線形補間を用いた垂直輝度リサイズ処理部75の処理を行うために注目中心ラインを含む上下ラインに位置する3種類の色キャリアデータC1C2C3を生成する。C1C2C3はそれぞれ垂直方向処理単位dH3の上方から1画素ずつ下方にずらした7画素のデータを用いてフィルタ処理している。輝度データと色キャリアデータの垂直方向の分布を均等化するため、色キャリア除去フィルタ処理部71と色キャリア抽出フィルタ処理部72とは、10ラインの上から5ライン目を基準の注目ラインとして垂直方向に対称係数をもつフィルタ処理を行う。垂直分布均等化処理部73は、垂直方向に抽出された4種類の垂直方向輝度データd30Y1Y2Y3Y4を用いて垂直方向の画素データの分布均等化処理を行い、垂直方向に連続した3種類の垂直分布均等化されたライン輝度データd31を生成する。4画素混合による画素データ分布の不均衡に対する分布均等化処理は基本的には実施例1と同様である。実施例1では注目ラインとなる分布均等化された輝度データのみ1系統で出力したが、本実施例では後段で線形補間を用いた垂直輝度リサイズ処理部75の処理を実施するために、注目ラインとその上下に位置するラインの3ライン分の垂直方向で分布均等化されたライン輝度データを出力する。図24は垂直方向の偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間する垂直分布均等化処理部73の構成を示す。周期的な画素データ分布の不均衡をもつ状態で入力されてくるライン輝度データとしては、画像の垂直方向の上辺から下方に隣接するY1Y2Y3Y4の4ライン分のデータが入力される。データY1はラインスイッチ部85に入力されるとともに乗算器81にも入力される。乗算器81はデータY1に係数αを乗算し乗算結果を加算器83に入力する。データY2は乗算器82に入力される。乗算器82はデータY2に係数βを乗算し乗算結果を加算器83に入力する。加算器83は、両乗算器81、83の乗算データを加算し加算結果を除算器84に入力する。除算器84は入力された加算データをαβで除算し除算結果をラインスイッチ部85に入力する。ラインスイッチ部85はデータY1のスルーデータ出力と除算器84の除算データとを1ラインおきに選択して出力する。データY2はラインスイッチ部90に入力されるとともに乗算器86にも入力される。乗算器86はデータY2に係数αを乗算し乗算結果を加算器88に入力する。データY3は乗算器87に入力される。乗算器87はデータY3に係数βを乗算し乗算結果を加算器88に入力する。加算器88は、両乗算器86、87の乗算データを加算し加算結果を除算器89に入力する。除算器89は入力された加算データをαβで除算し除算結果をラインスイッチ部90に入力する。ラインスイッチ部90はデータY2のスルーデータ出力と除算器89の除算データとを1ラインおきに選択して出力する。データY3はラインスイッチ部95に入力されるとともに乗算器91にも入力される。乗算器91はデータY3に係数αを乗算し乗算結果を加算器93に入力する。データY4は乗算器92に入力される。乗算器92はデータY4に係数βを乗算し乗算結果を加算器93に入力する。加算器93は、両乗算器91、92の乗算データを加算し加算結果を除算器94に入力する。除算器94は入力された加算データをαβで除算し除算結果をラインスイッチ部95に入力する。ラインスイッチ部95はデータY3のスルーデータ出力と除算器94の除算データとを1ラインおきに選択して出力する。画像の垂直方向の偶数ラインに対する分布均等化の動作を説明する。入力されるライン輝度データd30に注目して、原画像の垂直方向の画素データ分布の不均衡を補正するために画像上辺を基準に偶数ライン位置のライン輝度データLine2とライン輝度データLine4とに、線形補間処理を用いて分布均等化を行う。制御するケースは2種類である。1データY1とデータY3として奇数ラインのデータが入力され、データY2とデータY4として偶数ラインのデータが入力されるケース。2データY1とデータY3として偶数ラインのデータが入力され、データY2とデータY4として奇数ラインのデータが入力されるケース。上記1の状態で、入力奇数ラインのデータY1輝度とデータY3輝度とはラインスイッチ部85とラインスイッチ部95とによって1ライン期間を通して選択されたうえで、選択されたデータは、垂直方向で分布均等化されたライン輝度データ1と、垂直方向分布均等化されたライン輝度データ3としてラインスイッチ部85とラインスイッチ部95とから出力される。入力偶数ラインとなるライン輝度データに下方への分布均等化を行うために次の処理が実施される。すなわち、乗算器86でデータY2に係数αが乗算されてなる乗算データと、乗算器87でデータY3に係数βが乗算されてなる乗算データとが加算器88で加算されたうえで、その加算データが除算器89でαβで除算され、得られた除算データがラインスイッチ部90で1ライン期間選択される。これにより、垂直方向で分布均等化されたライン輝度データ2が生成され、生成されたライン輝度データ2がラインスイッチ部90から出力される。上記2の状態で、入力奇数ラインのデータY1輝度の下方への分布均等化を行うために次の処理が実施される。すなわち、乗算器81でデータY1に係数αが乗算されてなる乗算データと、乗算器82でデータY2に係数βが乗算されてなる乗算データとが、加算器83で加算されたうえで、その加算データが除算器84でαβで除算され、得られた除算データがラインスイッチ部85で1ライン期間選択される。これにより垂直方向で分布均等化されたライン輝度データ1が生成され、生成されたライン輝度データ1がラインスイッチ部85から出力される。データY2はラインスイッチ部90で1ライン期間を通して選択されたうえで、垂直方向で分布均等化されたライン輝度データ2として出力される。乗算器91でデータY3に係数αを乗算してなる乗算データと乗算器92でデータY4に係数βを乗算してなる乗算データとが加算器93で加算されたうえで、その加算データに除算器94でαβで除算され、得られた除算データがラインスイッチ部95で1ライン期間選択される。これにより垂直方向で分布均等化されたライン輝度データ3が生成され、生成されたライン輝度データ1がラインスイッチ部85から出力される。以上のように本処理により、垂直方向の偶数混合後の画素データの輝度値を座標の下側シフトに擬制して補間することができる。実施例1と同様、4画素混合による画素データ分布の不均衡を補正する場合は、隣接する2画素の線形補間で補正処理することから、係数αと係数βとは理論的にはα:β=2:1となる。ただし、除算器848994による1/αβの除算処理を簡単化するために、近似値としてα:β=10:6またはα:β=11:5のように、αβを2のべき乗2nの16とすることにより、処理を簡略化することができる。図25は垂直方向の解像感を保って奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間する垂直分布均等化処理部73の構成を示す。基本動作の考え方は図24と同様であり、補正ラインの垂直方向の解像度を上げるための高域強調処理部110を有している。ラインの線形補間処理をする前に垂直高域強調処理を行って垂直方向の解像感を保つ。図26は垂直方向の解像感を保って偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間する垂直分布均等化処理部73の構成を示す。基本動作の考え方は図24と同様であり、補正ラインの垂直方向の解像度を上げるための高域強調処理部120を有している。ラインの線形補間処理をして垂直方向に分布均等化処理された出力の補正処理ラインのみに、後処理で垂直高域強調処理を行って垂直方向の解像感を保つ。図23の処理に戻って、上記の垂直方向で分布均等化された3ラインのライン輝度データd31は垂直輝度リサイズ処理部75の処理により、縮小比率に合わせて3ライン入力の垂直方向での線形補間処理が行われ、線形補間処理後のデータは、ライン単位で垂直方向に分布均等化リサイズされたライン輝度データd32として間引き出力される。垂直方向に変調された3種類の色キャリアデータC1C2C3のそれぞれに対して色反転復調して垂直方向にそれぞれ連続した3種類の色差分データd33は、垂直色差分リサイズ処理部76により、縮小比率に合わせて3ライン入力の垂直方向での輝度データと同様の線形補間処理が行われ、線形補間処理後のデータはライン単位でBG繰り返しのライン色差分データd34として間引き出力される。垂直方向のライン間引きでリサイズされるBG繰り返しのライン色差分データd34には、垂直方向の2画素周期で変化するナイキスト周波数で変調するための等価処理としてライン出力ごとに符号を反転する色キャリア変調部77での処理が行われる。符号反転処理されたデータは、色配列の周期性が復元された垂直方向のBG繰り返しのライン色キャリアデータd35としてキャリア変調部77から出力される。色配列再現処理部78は、垂直方向に分布均等化リサイズされたライン輝度データd32と垂直方向のライン色キャリアデータd35とを再合成する。これにより色配列再現処理部78は、垂直方向で分布均等化処理リサイズされた最終的なRAWデータd36を生成する。RAWデータd36は、垂直方向にBとGの情報が画素ごとに繰り返されかつ水平垂直ともにリサイズされたBG繰り返しのラインデータと、垂直方向にGとRの情報が画素ごとに繰り返されかつ水平垂直ともにリサイズされたGR繰り返しのラインデータとからなる。なお、本実施例では縮小処理を説明しているが、図23に示した垂直方向リサイズ処理機能を用いて拡大処理を行う場合も、処理の流れは上記同様の処理となる。ただし、拡大処理時は入力データのライン数に対して出力データのライン数が多くなるため、リサイズ処理後の後段処理を高速に実施する、もしくは連続的な入力データを一時的に停止するとともに、リサイズ処理の前段処理も同期して停止することにより拡大処理が実現できる。続いて、分布均等化リサイズ処理されたRAWデータd36を図27の画像信号処理部10に入力して信号処理を行い、最終的な画像例えばプレビュー表示画像や、撮像素子の画素数よりも小さい規格サイズで記録される動画撮影画像に変換する。このように、本発明の4画素混合RAWデータに実施する分布均等化リサイズ処理においては、原画像RAWデータを連続的な輝度データと連続的な色キャリアデータとに分ける、連続的な色キャリアデータから独立する状態で連続的な輝度データに分布均等化処理を行う、さらに連続的な輝度データにリサイズ処理を行う、一方、連続的な色キャリアデータにはリサイズ処理を行う。ここで、色キャリアデータには、まず符号反転を施し、次いでリサイズ処理を行い、再び符号反転して元の信号形態に戻すという工夫を行ったうえで、分布均等化リサイズ処理後の連続的な輝度データと、リサイズ処理後の連続的な色キャリアデータとを再合成する。このような一連の処理を第1の配列方向とそれに直交する第2の配列方向との両方向で行う。その結果、画素混合による画素データ分布の不均衡を起因とする最終画像における偽信号の発生を防止できる。さらには、輝度信号の最大解像感を確保することができる。このような効果が得られる本発明は、プレビュー表示や動画撮影処理に好適な方法といえる。なお、本発明の実施例では、撮像素子で4画素混合後のRAWデータに対して行う水平分布均等化処理と垂直分布均等化処理との両処理の説明をしたが、必要に応じて片方向のみの補正処理を行うことも可能である。また、撮像素子上での画素混合が片側方向の2画素混合のみで出力された場合には、画素混合の方向に合わせて、水平垂直処理を適宜選択して実施すればよい。また、本発明を実施する手段は専用の画像処理装置画像再生装置や画像加工装置に限らず、パソコンであってもよい。また、画像処理はその処理の一部または全部をハードウェア信号処理回路に限らず、ソフトウェアで実現してもよい。さらに、本発明の画像処理プログラムおよび記録媒体は、単独のアプリケーションソフトウェアとして構成されてもよいし、画像加工ソフトウェアやファイル管理用ソフトウェア等のアプリケーションの一部として組み込まれてもよい。また、本発明の画像処理プログラムおよび記録媒体は、パソコン等のコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機等の情報機器に組み込まれる中央演算処理装置CPUの動作プログラム、記録媒体としても適用することが可能である。"