(57)【特許請求の範囲】
【請求項１】
入射光を遮光する遮光部材の開口部に対応した位置で該入射光を色分解し、該色分解した入射光を光電変換して撮像し、該撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置において、該装置は、
前記開口部からの入射光を異なる分光特性の複数の色フィルタで色分解する色フィルタのうち、少なくとも分光特性が補色系の色フィルタを含む色分解手段、および
該色分解手段から補色系の色を含むフィルタを通った入射光を光電変換する受光素子と該受光素子に隣接した受光素子とが垂直方向および／または水平方向にずらされて２次元配置された受光部を有する撮像手段と、
前記撮像手段から供給されるアナログ信号をディジタルデータに変換するディジタル変換手段とを含み、
さらに該装置は、
前記ディジタル変換されたディジタルデータの面データにおいて、前記受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子とし、用いる色分解手段の色フィルタに応じて実在の受光素子から２ラインずつ、３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ供給される複数の補色系を含む画素データを基に、前記仮想受光素子における三原色R, G, B の色の画素データを補間生成し、該生成した画素データを用いてそれぞれ、前記実在の受光素子および前記仮想受光素子の位置での画素データを補間するとともに、これらの補間により得られた画素データを用いて前記実在する受光素子および前記仮想受光素子の位置の画素データを広帯域化する信号処理手段を含むことを特徴とする固体撮像装置。
【請求項２】
請求項１に記載の装置において、前記開口部は、開口形状を正方格子あるいは多角形にするとともに、それぞれ、前記開口部に対応して配置される受光素子の間隔を画素ピッチとするとき、前記開口部が一列ごとに垂直方向にあるいは一行ごとに水平方向に前記画素ピッチ分だけ移動させて２次元配置されているか、あるいは前記正方格子を45°回転させた開口形状あるいは多角形の開口形状の開口部が２次元配置されていることを特徴とする固体撮像装置。
【請求項３】
請求項１または２に記載の装置において、前記色フィルタに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）のいずれかを複数個ずつ用いて、前記受光素子のずらし配置に対応し、隣接する受光素子にずれを持たせながらW を正方格子状に配し、該W 正方格子に対するずれを前記ピッチの半分の距離にしたシアン黄色完全市松パターンが形成されていることを特徴とする固体撮像装置。
【請求項４】
請求項１または２に記載の装置において、前記色フィルタに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、および緑色（G ）のいずれかを複数個ずつ用いて、前記受光素子のずらし配置に対応し、隣接する受光素子にずれを持たせながらG を正方格子状に配し、該G 正方格子に対するずれを前記ピッチの半分の距離にしたシアン黄色完全市松パターンが形成されていることを特徴とする固体撮像装置。
【請求項５】
請求項１または２に記載の装置において、前記色フィルタに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、および緑色（G ）のいずれかを複数個ずつ用いて、前記受光素子のずらし配置に対応して隣接する受光素子とを前記ピッチの半分の距離のずれ関係にし、前記４色を用いて完全市松パターンの一部が互いに重なる部分重複市松パターンまたは前記４色のうちの緑(G) に白色(W) を用いた部分重複市松パターンが形成されていることを特徴とする固体撮像装置。
【請求項６】
請求項１または２に記載の装置において、前記色フィルタに減色混合法で表すシアン（Cy）、黄色（Ye）、マゼンタ（Mg）、および緑色（G ）を用いて、前記受光素子のずらし配置に対応して隣接する受光素子とを前記ピッチの半分の距離のずれ関係にし、前記４色のうち３色を組み合わせてそれぞれ縦方向または横方向に配することを特徴とする固体撮像装置。
【請求項７】
請求項１または２に記載の装置において、前記色フィルタに減色混合法で表すシアン（Cy）、黄色（Ye）、および白色（W ）を用いて、前記受光素子のずらし配置に対応して隣接する受光素子とを前記ピッチの半分の距離のずれ関係にし、前記３色がそれぞれ縦方向または横方向に配することを特徴とする固体撮像装置。
【請求項８】
請求項１または２に記載の装置において、前記色フィルタに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、および三原色のR, G, B のいずれかを複数個ずつ用いて、前記受光素子のずらし配置に対応して隣接する受光素子とを前記ピッチの半分の距離のずれ関係にし、シアン黄色完全市松パターンの中心にG を配するとともに、該シアン黄色完全市松パターンを囲むG を正方格子状に配し、さらに該G 正方格子上の中間位置にマゼンタを配した４色完全市松パターンまたは前記４色のうちの緑色(G) に白色(W) を用いた４色完全市松パターンを含むことを特徴とする固体撮像装置。
【請求項９】
請求項１ないし８のいずれか一項に記載の装置において、前記撮像手段は、前記色フィルタの配置に応じて前記受光素子により得られた信号電荷を、２ラインずつの読出しまたは３ラインの読み出す際の読出し開始ラインを１ラインずつシフトさせながら読み出す３ライン読出しを行うことを特徴とする固体撮像装置。
【請求項１０】
入射光を異なる分光感度特性を含む複数の色フィルタを介して受光素子に送るように形成した遮光部材に開けた開口部の直下に配した受光素子が２次元配列されているとき、開口形状が正方格子あるいは多角形に形成された開口部を一列毎に垂直方向にあるいは一行毎に水平方向にずらされた開口部、あるいは前記正方格子を45°回転させた開口形状あるいは多角形の開口形状を含む開口部を介して前記受光素子で受光し、該受光素子を画素として扱い、受光によって得られた２次元の画素を基に画像信号にし、該画像信号に信号処理を施して広帯域な画像信号にする信号処理方法において、該方法は、
前記色フィルタの組合せパターンに応じて前記受光素子の２ラインずつ、３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ供給される信号をディジタルデータに変換するディジタル変換工程と、
該ディジタル変換工程後の前記画素データを記憶するデータ記憶工程とを含み、
さらに該方法は、読み出した画素データに対して前記受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子とし、隣接する受光素子からの補色の画素データを基に、前記仮想受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成する仮想画素補間工程と、
該仮想画素補間工程で生成した画素データを用いて実在の受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成するとともに、これらの補間により得られた画素データを用いて前記実在する受光素子および前記仮想受光素子の位置の画素データを広帯域化する広帯域化工程を含むことを特徴とする信号処理方法。
【請求項１１】
請求項10に記載の方法において、前記仮想画素補間工程は、前記データ記憶工程から画素データが２ライン読出しで供給される際に、前記仮想受光素子の位置における画素データを、該仮想受光素子に隣接する２つまたは３つの受光素子から得られる補色を含む画素データを用いて、少なくとも１回の減算を行って該仮想受光素子の画素データを補間生成する第１の補間生成工程と、
該第１の補間生成工程により算出した仮想受光素子での原色の画素データを組み合わせて該仮想受光素子の位置における輝度データを算出する第２の補間生成工程とを含むことを特徴とする信号処理方法。
【請求項１２】
請求項11に記載の方法において、第１の補間生成工程は、前記仮想受光素子に対して隣接する受光素子から得られるシアン（Cy）、黄色（Ye）、および白色（W ）の画素データのうち、２つまたは３つの画素データがつくるパターンの組合せで得る場合、前記仮想受光素子の三原色R, G, B を、それぞれ、R=W-Cy, B=W-Ye, G=Ye+Cy-W に基づいて補間演算を行うことを特徴とする信号処理方法。
【請求項１３】
請求項11に記載の方法において、第２の補間生成工程は、前記仮想受光素子に対して隣接する受光素子から得られるシアン（Cy）、黄色（Ye）、および白色（W ）の画素データすべてを加算して輝度データを補間生成することを特徴とする信号処理方法。
【請求項１４】
請求項11に記載の方法において、第２の補間生成工程は、第１の補間生成工程により前記仮想受光素子の位置にG 正方格子と該G 正方格子に対して前記ピッチの半分の距離だけずらしたRB完全市松を合わせたG 正方格子RB完全市松パターンを生成して、該仮想受光素子の位置における輝度データを算出し、さらに、得られたパターンの画素データG の周囲から得られるR の画素データとB の画素データから輝度データを作成する際に、前記画素データR と前記画素データB のいずれか一方の画素データを前記輝度データの作成対象にする場合、該作成対象の画素データを半分にした作成対象の半値データと、該作成対象の周囲に最も近傍、かつ等距離に位置する他方の画素データを加算し、該加算結果を加算した画素データの個数を倍した値で割った周囲画素データとから実際に用意された受光素子の位置における輝度データを算出することを特徴とする信号処理方法。
【請求項１５】
請求項11に記載の方法において、前記仮想画素補間工程は、前記W 正方格子CyYe完全市松パターンの色フィルタを用いた際に、第１の補間生成工程で前記仮想受光素子の位置における色の画素データを生成させ、
前記実在する受光素子の位置に前記色フィルタのシアンまたは前記黄色が用いられる際に、シアンまたは黄色の一方の色の前記受光素子の位置を前記輝度データ生成対象とし、該対象の受光素子に隣接した他方の色の４つの画素データに基づいて算出し、該算出した値と前記対象の画素データとを加算するとともに、得られる画素データを用いて水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた画素データの成分信号をそれぞれ生成する第３の補間生成工程を含み、
前記輝度データは、前記仮想受光素子または前記受光素子のいずれかで算出することを特徴とする信号処理方法。
【請求項１６】
請求項11に記載の方法において、前記仮想画素補間工程は、前記W 正方格子CyYe完全市松パターンの色フィルタを用いた際に、第１の補間生成工程で前記仮想受光素子の位置における色の画素データを生成させ、
前記実在する受光素子の位置に前記色フィルタのシアンまたは前記黄色が用いられる際に、シアンまたは黄色の一方の色の前記受光素子の位置を前記輝度データ生成対象とし、該対象の受光素子に隣接した他方の色の４つの画素データに基づいて水平方向／垂直方向の第１の相関値を算出して比較を行い、所定の値以上の第１の相関値の方向に位置する２つの受光素子の平均値の算出または水平および垂直ともに第１の所定の値より小さい第１の相関値では前記４つの画素データの平均値の算出を行い、該算出した値と前記対象の画素データとを加算するとともに、得られる画素データを用いて水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた画素データの成分信号をそれぞれ生成する第４の補間生成工程を含み、
前記輝度データは、前記仮想受光素子または前記受光素子のいずれかで算出することを特徴とする信号処理方法。
【請求項１７】
請求項16に記載の方法において、第４の補間生成工程は、シアンまたは黄色の一方の色の前記受光素子の位置を前記輝度データ生成対象とし、該対象の受光素子に隣接した他方の色の４つの画素データに基づいて水平方向／垂直方向の第１の相関値を算出して比較を行い、第１の所定の値以上の第１の相関値の方向に位置する２つの受光素子の平均値の算出、
前記水平方向および垂直方向の第１の相関値ともに第１の所定の値より小さいとき該対象の受光素子に隣接した４つの色W の画素データを用い、水平方向に位置する画素データを差分した絶対値の加算と垂直方向に位置する画素データを差分した絶対値の加算とを水平方向および垂直方向の第２の相関値とし、該算出した各方向の第２の相関値の比較を行い、第２の所定の値以上となる第２の相関値の方向に位置する２つの受光素子の平均値の算出、または
前記水平方向および垂直方法の第２の相関値ともに第２の所定の値より小さいとき前記４つ色W の画素データの平均値の算出を行い、
該算出した値と前記対象の画素データとを加算するとともに、得られる画素データを用いて水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた画素データの成分信号をそれぞれ生成することを特徴とする信号処理方法。
【請求項１８】
請求項10に記載の方法において、前記仮想画素補間工程は、前記色フィルタの配置が前記４色完全市松パターンを用い、前記データ記憶工程から画素データが３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ読み出した際に、前記４色の受光素子が囲む仮想受光素子の色R, G, B を補間生成する第５の補間生成工程と、
該第５の補間生成工程により得られた画素データを用いて前記受光素子の画素データを補間生成する第６の補間生成工程と、
前記４色のうち、色のシアンと黄色とに挟まれる仮想受光素子の位置における輝度データを、水平方向と垂直方向にそれぞれ配される前記色のシアンと黄色の２つの画素データを加算して算出する低域輝度算出工程と、
前記４色のうち、緑色の位置の受光素子の画素データG を高域輝度データとし、該高域輝度データを、前記画素データG の２倍と色マゼンタの位置の受光素子からの画素データとを加算して生成する高域輝度算出工程とを含むことを特徴とする信号処理方法。
【請求項１９】
請求項10に記載の方法において、前記広帯域化工程は、前記仮想画素補間工程から供給される輝度データを用いて前記受光素子の位置における輝度データの補間を行う輝度補間工程と、
該輝度補間工程および前記仮想画素補間工程からそれぞれ供給される画素データを用いて画素データが含む帯域をより広域化するとともに、三原色R, G, B の各色に応じたプレーンデータを生成するプレーン補間工程と、
該プレーン補間工程により作成されたプレーンデータを用いて輝度データ、色差データを生成するマトリクス工程と、
該マトリクス工程からの出力のうち、前記輝度データに対して輪郭強調処理を施すアパーチャ調整工程とを含むことを特徴とする信号処理方法。
【請求項２０】
請求項19に記載の方法において、前記輝度補間工程は、前記仮想画素補間工程により得られた輝度データに基づいて前記受光素子における輝度データを水平・垂直方向あるいは垂直・水平方向の順に作成するとともに、前記受光素子に対応する位置の画素データを前記水平方向に関して補間する際に、補間する画素データに対応する乗算係数を乗算する第０段の水平工程を行い、そして該補間する画素データの左右両側に隣接するデータを加算し、該加算結果に乗算係数を乗算する第１段の水平工程と、各段で第１段の工程と同様に該補間する画素データから水平方向に等距離に位置する画素データに対応する乗算係数を乗算する水平工程をｎ段繰り返し、前記０段の水平工程、第１段の水平工程以降に繰り返された乗算結果すべてを加算して補間画素データを生成する水平補間工程と、
該水平補間工程により得られた画素データを用いて対象とする位置の画素データを生成する際に、垂直方向に位置する画素データに対応する乗算係数を乗算し、得られた乗算結果をすべて加算して垂直方向のローパス処理を行う垂直処理工程とを含むことを特徴とする信号処理方法。
【請求項２１】
請求項11に記載の方法において、第２の補間生成工程は、前記輝度データの算出処理を行う前に、水平方向および垂直方向の第１相関値をそれぞれ算出し、第１の所定の値と各算出結果をそれぞれ比較し、
該比較した結果が水平方向に相関があると判断した際に、前記輝度データの算出を水平方向の画素データを用いて加算し、該加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする水平輝度算出工程と、
該比較した結果が垂直方向に相関があると判断した際に、前記輝度データの算出を垂直方向の画素データを用いて加算し、該加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする垂直輝度算出工程と、
該比較した結果が前記水平方向の相関値および前記垂直方向の相関値が前記所定の値より小さいとき、前記周囲画素データを該作成対象の周囲に最も近傍、かつ等距離に位置する他方の画素データを加算し、該加算結果を加算した画素データの個数を倍した値で割って算出する平均輝度算出工程とを含み、
前記作成対象の半値データと、前記水平輝度算出工程、前記垂直輝度算出工程、および前記平均輝度算出工程のいずれか一つから得られる前記周囲画素データとから輝度データのパターンを作成することを特徴とする信号処理方法。
【請求項２２】
請求項21に記載の方法において、第２の補間生成工程は、前記輝度データの算出処理を行う前に、前記水平方向および前記垂直方向の第１相関値をそれぞれ算出し、第１の所定の値と各算出結果をそれぞれ比較し、該比較結果に応じて前記水平輝度算出工程あるいは前記垂直輝度算出工程を行うとともに、前記画素データR あるいは前記画素データB のうち、一方の画素データを作成対象の輝度データとした際に、該作成対象の輝度データを介して水平方向に位置する他方の画素データと該作成対象の輝度データを用いてそれぞれ得られた相関値を加算し、水平方向および垂直方向の第２相関値をそれぞれ算出し、第２の所定の値と各算出結果をそれぞれ比較し、
該比較した結果が水平方向に相関があるとの判断に応じて行う前記水平輝度算出工程と、
該比較した結果が垂直方向に相関があるとの判断に応じて行う前記垂直輝度算出工程と、
該比較した結果がいずれの相関とも異なる際に行う前記平均輝度算出工程とを含み、
前記作成対象の画素データの半値と、前記水平輝度算出工程、前記垂直輝度算出工程、および前記平均輝度算出工程のいずれか一つから得られる前記周囲画素データとから輝度データのパターンを作成することを特徴とする信号処理方法。
【請求項２３】
請求項22に記載の方法において、第２の補間生成工程には、前記画素データG の対角位置の画素データを加算し、該加算結果の差の絶対値により得られた値が第３の所定の値以上の場合、前記周囲画素データの算出を前記平均輝度算出工程で行うことを含むことを特徴とする信号処理方法。
【請求項２４】
請求項11に記載の方法において、第２の補間生成工程は、前記輝度データの算出処理を行う前に、輝度データを算出する画素データに対して２方向に対角位置に位置する同色の画素データの差からそれぞれ右斜め方向および左斜め方向の第１相関値を算出し、第４の所定の値と各算出結果をそれぞれ比較し、
該比較した結果が右斜め方向に相関があると判断した際に、前記右斜め方向の第１相関値の算出に用いた画素データを加算し、該加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする右斜め輝度算出工程と、
該比較した結果が左斜め方向に相関があると判断した際に、前記左斜め方向の第１相関値の算出に用いた画素データを加算し、該加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする左斜め輝度算出工程と、
該比較した結果が前記右斜め方向の第１相関値および前記左斜め方向の第１相関値が第４の所定の値より小さいとき、前記相関値の算出に用いた同色の画素データすべてを加算し、該加算結果を加算した画素データの個数を倍した値で割って算出する平均輝度算出工程とを含み、
前記作成対象の画素データの半値と、前記右斜め輝度算出工程、前記左斜め輝度算出工程、および前記平均輝度算出工程のいずれか一つから得られる前記周囲画素データとの加算から輝度データのパターンを作成することを特徴とする信号処理方法。
【請求項２５】
請求項24に記載の方法において、第２の補間生成工程は、前記輝度データの算出処理を行う前に、第４の所定の値と右斜め方向および左斜め方向の第１相関値の算出結果をそれぞれ比較し、前記作成対象の画素データの半値と、前記右斜め輝度算出工程および前記左斜め輝度算出工程のいずれか一方の算出したデータとを加算する場合と、
さらに、この場合に加えて、
輝度データを算出する画素データに対して２方向に対角位置に位置する異色の画素データの差からそれぞれ右斜め方向および左斜め方向の第２相関値を算出し、新たに設定する第５の所定の値と右斜め方向および左斜め方向の第２相関値の算出結果をそれぞれ比較し、
該比較した結果が右斜め方向に相関があると判断した際に、前記右斜め方向の第２相関値の算出に用いた異色の画素データで演算し、該演算結果を演算に用いた画素データの個数を倍した値で割って周囲画素データとする右斜め輝度演算工程と、
該比較した結果が左斜め方向に相関があると判断した際に、前記左斜め方向の第２相関値の算出に用いた異色の画素データで演算し、該演算結果を演算に用いた画素データの個数を倍した値で割って周囲画素データとする左斜め輝度演算工程と、
該比較した結果が前記右斜め方向の第２相関値および前記左斜め方向の第２相関値が第５の所定の値より小さいとき、第２相関値の算出に用いた異色の画素データで演算し、該演算結果を演算に用いた画素データの個数を倍した値で割って算出する平均輝度演算工程とを含み、
前記作成対象の画素データの半値と、前記右斜め輝度演算工程、前記左斜め輝度演算工程、および前記平均輝度演算工程のいずれか一つから得られる前記周囲画素データとを加算する場合とから輝度データのパターンを作成することを特徴とする信号処理方法。
【請求項２６】
請求項24または25に記載の方法において、前記右斜め方向および左斜め方向の第１相関値ならびに第２相関値の算出は、供給される各画素位置を算出の前に45°回転させた位置に回転移動させた後に水平方向および垂直方向の第１相関値ならびに第２相関値として算出し、所定の値との比較をそれぞれ行って対応する輝度データの算出を行い、
該算出の後に、得られた輝度データを回転移動前の位置に戻すことを特徴とする信号処理方法。
【請求項２７】
請求項22に記載の方法において、前記水平方向および垂直方向の第２相関値は、それぞれ前記輝度データ作成対象画素を挟んで水平方向に配される一方の異色の画素データと該作成対象画素の輝度データとの差の絶対値および他方の異色の画素データと該作成対象画素の輝度データとの差の絶対値の加算値ならびに前記輝度データ作成対象画素を挟んで垂直方向に配される一方の異色の画素データとの差の絶対値および他方の異色の画素データと該作成対象画素の輝度データとの差の絶対値の加算値で表すことを特徴とする信号処理方法。
【請求項２８】
請求項25に記載の方法において、前記右斜め方向および左斜め方向の第２相関値は、それぞれ前記輝度データ作成対象画素を挟んで水平方向に配される異色の画素データ同士の差の絶対値および前記輝度データ作成対象画素を挟んで垂直方向に配される異色の画素データ同士の差の絶対値で表すことを特徴とする信号処理方法。
【請求項２９】
請求項22または25に記載の方法において、第２相関値は、第１相関値の算出に用いた画素データよりも作成対象画素に近い位置の画素データを算出に用いることを特徴とする信号処理方法。
【請求項３０】
請求項19に記載の方法において、前記プレーン補間工程は、第１の補間生成工程により前記G 正方格子と該G 正方格子に対して前記ピッチの半分の距離だけずらしたRB完全市松パターンにおける前記仮想受光素子に対応して得られた各色の画素データと、第２の補間生成工程により作成された輝度データを用い、
前記画素データのG のプレーン補間には、補間対象画素に対して水平方向および／または垂直方向に隣接して存在する実際に得られた画素データG の平均と前記補間対象画素に対して水平方向および／または垂直方向に隣接している輝度データの加算平均との差に前記補間対象画素の位置に対応する輝度データを加算して得られる工程と、
前記画素データのR のプレーン補間には、補間対象画素に対して斜め方向に隣接して存在する実際に得られた画素データR の平均と前記補間対象画素に対して前記斜め方向と同方向に隣接している輝度データの加算平均との差に前記補間対象画素の位置に対応する輝度データを加算して得られる第１のR 工程と、
前記補間対象画素の残る色R に対する画素データR を該第１のR 工程により得られた、等距離に位置する画素データの加算平均と該等距離に位置する輝度データの加算平均との差に前記補間対象画素の残る色R に対する輝度データを加算して得られる第２のR 工程と、
さらに補間対象画素の残る色R に対する画素データR を最近傍に位置する第１、第２の工程および実際に得られた画素データR の加算平均と該加算平均に用いた画素に対応する輝度データの加算平均との差に前記補間対象画素の位置に対応する輝度データを加算して得られる第３のR 工程とを含み、
さらに該方法は、
前記画素データのB のプレーン補間には、補間対象画素に対して斜め方向に隣接して存在する実際に得られた画素データB の加算平均と前記補間対象画素に対して前記斜め方向と同方向に隣接している輝度データの加算平均との差に前記補間対象画素の位置に対応する輝度データを加算して得られる第１のB 工程と、
前記補間対象画素の残る色B に対する画素データB を該第１のB 工程により得られた、等距離に位置する画素データの加算平均と該等距離に位置する輝度データの加算平均との差に前記補間対象画素の残る色B に対する輝度データを加算して得られる第２のB 工程と、
さらに補間対象画素の残る色B に対する画素データB を最近傍に位置する第１、第２の工程および実際に得られた画素データB の加算平均と該加算平均に用いた画素に対応する輝度データの加算平均との差に前記補間対象画素の位置に対応する輝度データを加算して得られる第３のB 工程とを含むことを特徴とする信号処理方法。
【請求項３１】
請求項10に記載の方法において、前記広帯域化工程は、前記仮想画素補間工程から供給される画素データおよび輝度データを用いて前記画素データおよび輝度データの受光素子の位置におけるデータ欠如を補間する欠如データ補間工程と、
該欠如データ補間工程および前記仮想画素補間工程からそれぞれ供給される前記画素データおよび前記輝度データを用いて、水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた成分信号をそれぞれ生成する項目対応データ生成工程と、
該項目対応データ生成工程により生成した輝度データ、色差データを用いて三原色R, G, B を生成する三原色マトリクス工程とを含むことを特徴とする信号処理方法。
【請求項３２】
請求項31に記載の方法において、前記項目対応データ生成工程は、前記受光素子のずらし配置に伴う受光素子からの画素データを基に水平方向および／または垂直方向に正確な色再現を重視して演算処理を施す色再現重視工程と、
前記画素データを基に水平方向および／または垂直方向の解像度を重視して演算処理を施す解像度重視工程とを含むことを特徴とする信号処理方法。
【請求項３３】
請求項32に記載の方法において、前記項目対応データ生成工程は、色再現が考慮された成分信号と解像度を重視した成分信号を擬似周波数的に加算する擬似加算処理工程と、
該画素データ生成工程で水平方向および垂直方向の両解像度を重視する際に共通する周波数帯の重複を防止する帯域重複防止工程とを含むことを特徴とする信号処理方法。
【請求項３４】
請求項33に記載の方法において、前記擬似加算処理工程は、前記画素データ生成工程で生成された解像度が重視される周波数帯までの第１の成分信号から第１の成分信号の周波数帯よりも低域の色再現を考慮した第２の成分信号を減算する減算工程と、
該減算工程からの出力と第１の成分信号に対してそれぞれ折り返し歪みを防ぐ処理を施す歪み防止工程と、
該歪み防止工程を経た各出力を加算する第２の加算工程とを含むことを特徴とする信号処理方法。
【請求項３５】
請求項33に記載の方法において、前記帯域重複防止工程は、水平方向および垂直方向の成分信号内のいずれか一方の成分信号の共通する周波数帯に対して帯域制限を施す帯域制限工程と、
該帯域制限工程で帯域制限された出力と前記共通した周波数帯を含む他方向の成分信号とを加算する加算処理工程とを含むことを特徴とする信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置および信号処理方法に係り、たとえば、補色方式の固体撮像装置から得られる画像信号に対して施す画像信号処理等に用いて好適なものである。
【０００２】
【従来の技術】
現在、固体撮像装置を適用したディジタルカメラが普及しつつある。この普及は、銀塩カメラの解像度に相当する画像が得られ、搭載した液晶表示モニタですぐに鑑賞できる点や撮影した画像データをコンピュータに取り込んで活用できる点などが理由に挙げられる。特に、画像の解像度を向上させるとともに、コストダウンも鑑みて、撮像デバイスの画素サイズは小さくなる傾向にある。この傾向は画素の感度を低下させてしまう。画像の高画質化には、解像度と感度の両方を高めるとよい。しかしながら、解像度と感度の向上は、上述した観点から相反するものであることがわかる。
【０００３】
この問題に対して、隣接する画素をずらして解像度を向上させる方法がある。この一例が特開平8-340455号公報に記載の画像信号処理装置である。この画像信号処理装置には、非格子状の画素配列の撮像素子を適用しながらもコンピュータへの取り込みに適合した格子状配列の画素に対応する画素データが得られるように、画素近傍に位置する非格子状の配列による複数の実画素からの画像信号に基づいて生成する格子状配列画素データ生成手段を備えることが提案されている。
【０００４】
また、特開昭59-72283号の公報の電子スチルカメラの映像信号処理装置は、受光部画素が市松配置で２走査線を単位として同時読出し可能な固体撮像素子を用いて得られる映像信号に対し、上下組となる２走査線の信号を互いに水平方向に補間合成して新たな１水平走査信号を作り出す第１の回路手段と、この２走査線の垂直走査方向下方の１走査線信号を１走査時間遅延し、かつ、次の組となる２走査線の上方の走査線信号との間で互いに水平方向に補間合成して、もう１つの新たな１水平走査信号を作り出す第２の回路手段とを備え、第１および第２の回路手段の出力を同時に出力させて、１回の垂直方向走査により2:1 のインターレース走査における奇遇２フィールドの信号を、同時に、並列に出力可能にして、水平と垂直とを入れ換えても画面の縦位置、横位置にかかわらず良好な画質のスチル撮影が行えるようにしている。
【０００５】
前述した要求を満たすには、空間サンプリングする画素が小さくするとともに、感度を向上させなければならないので、この他にも様々な工夫が検討されている。この一例として、乾谷正史は、乾谷、「メガピクセルＤＳカメラにおける撮像特性」、日本写真学会のデジタルカメラ研究会、1998年の資料を提供するとともに、その一考察について発表した。この発表は、画素サイズが、特に感度とS/N に関して与える撮像特性への影響や単板カラーフィルタを用いた撮像方式等について考察した。固体撮像装置には、カラーフィルタに三原色RGB を用いた原色撮像方式と、複数の補色を用いた補色撮像方式がある。そして、この考察により入射光の利用効率において補色撮像方式が有効であることがわかった。
【０００６】
補色撮像方式においても解像度の向上を図るための提案が特開昭58-31688号の公報に記載されている。提案された固体カラー撮像装置は、垂直方向に相隣接する受光素子が水平方向に半ピッチずれて配置されており、かつ相接する３つの感光素子からの出力和がほぼ輝度信号に対応する信号となるように３ヶの色フィルタ素子の分光特性を選択してモアレの低減および高解像度の映像信号を得ている。より具体的に説明すると、色W, Ye, Cy がデルタ型の補色方式を用いて隣接する３画素（水平２ライン）から輝度信号を作成する。
【０００７】
【発明が解決しようとする課題】
ところで、特開昭58-31688号公報および特開昭59-72283号公報の発明は、色多重化方式のうち、受光して得られた信号電荷を信号ラインに供給し、信号ラインの２つを混合して読み出す２線混合読出し（または２行同時独立読出し方式）を用いている。また、これらの発明はムービーおよび MOS（Metal Oxide Semiconductor:金属酸化膜半導体）を想定している。
【０００８】
MOS 型の撮像素子では CCD（Charge Coupled Device:電荷結合素子）で行われる全画素同時読出しができないことが知られている。このことから、MOS 型の撮像素子では、全画素同時読出しして得られた画像に比べて高い解像度が得られない。特に、動画での垂直解像度が得られない。特開平8-340455公報の発明でも得られる画像の垂直解像度の要求を十分満足させることができない。
【０００９】
本発明はこのような従来技術の欠点を解消し、入射光の利用効率を高めるとともに、得られる画像の解像度をより高く実現できる固体撮像装置および信号処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は上述の課題を解決するために、入射光を遮光する遮光部材の開口部に対応した位置でこの入射光を色分解し、この色分解した入射光を光電変換して撮像し、該撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置において、開口部からの入射光を異なる分光特性の複数の色フィルタで色分解する色フィルタのうち、少なくとも分光特性が補色系の色フィルタを含む色分解手段、この色分解手段から補色系の色を含むフィルタを通った入射光を光電変換する受光素子とこの受光素子に隣接した受光素子とが垂直方向および／または水平方向にずらされて２次元配置された受光部、この受光部の開口部を迂回するように配置され、かつ受光素子からの信号を取り出す電極、およびこの電極を介して供給される信号を受光部の垂直または水平方向に順番に転送する各方向に対応した転送レジスタを含む撮像手段と、撮像手段から供給されるディジタルデータに変換するディジタル変換手段とを含み、さらにこの装置は、ディジタル変換されたディジタルデータの面データにおいて、受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子とし、用いる色分解手段の色フィルタに応じて実在の受光素子から２ラインずつ、３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ供給される複数の補色系を含む画素データを基に、仮想受光素子または受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成し、この生成した画素データを用いてそれぞれ、実在の受光素子または仮想受光素子でのデータを補間するとともに、これらの補間により得られた画素データを用いて実在する受光素子および仮想受光素子の位置の画素データを広帯域化する信号処理手段を含むことを特徴とする。
【００１１】
ここで、開口部は、開口形状を正方格子あるいは多角形にするとともに、それぞれ、開口部に対応して配置される受光素子の間隔を画素ピッチとするとき、開口部が一列ごとに垂直方向にあるいは一行ごとに水平方向に画素ピッチ分だけ移動させて２次元配置されているか、あるいは正方格子を45°回転させた開口形状あるいは多角形の開口形状の開口部が２次元配置されていることが好ましい。
【００１２】
色分解手段に用いる色フィルタは、色フィルタに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）のいずれかを複数個ずつ用いて、受光素子のずらし配置に対応し、隣接する受光素子にずれを持たせながらW を正方格子状に配し、このW 正方格子に対するずれをピッチの半分の距離にしたシアン黄色完全市松パターン、色フィルタに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、および緑色（G ）のいずれかを複数個ずつ用いて、受光素子のずらし配置に対応し、隣接する受光素子にずれを持たせながらG を正方格子状に配し、このG 正方格子に対するずれをピッチの半分の距離にしたシアン黄色完全市松パターン、色フィルタに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、および緑色（G ）のいずれかを複数個ずつ用いて、受光素子のずらし配置に対応して隣接する受光素子とをピッチの半分の距離のずれ関係にし、４色を用いて完全市松パターンの一部が互いに重なる部分重複市松パターンまたは４色のうちの緑色(G) に白色(W) を用いた部分重複市松パターン、色フィルタに減色混合法で表すシアン（Cy）、黄色（Ye）、マゼンタ（Mg）、および緑色（G ）を用いて、受光素子のずらし配置に対応して隣接する受光素子とをピッチの半分の距離のずれ関係にし、４色のうち３色を組み合わせてそれぞれ縦方向または横方向に配するパターン、色フィルタに減色混合法で表すシアン（Cy）、黄色（Ye）、および白色（W ）を用いて、受光素子のずらし配置に対応して隣接する受光素子とをピッチの半分の距離のずれ関係にし、３色がそれぞれ縦方向または横方向に配するパターン、そして色フィルタに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、および三原色のR, G, B のいずれかを複数個ずつ用いて、受光素子のずらし配置に対応して隣接する受光素子とをピッチの半分の距離のずれ関係にし、シアン黄色完全市松パターンの中心にG を配するとともに、このシアン黄色完全市松パターンを囲むG を正方格子状に配し、さらにこのG 正方格子上の中間位置にマゼンタを配した４色完全市松パターンまたは４色のうちの緑色(G) に白色(W) を用いた４色完全市松パターンを含むことが望ましい。
【００１３】
撮像手段は、色フィルタの配置に応じて受光素子により得られた信号電荷を、２ラインずつの読出しまたは３ラインの読み出す際の読出し開始ラインを１ラインずつシフトさせながら読み出す３ライン読出しを行うことが好ましい。
【００１４】
信号処理手段は、撮像手段の実在する受光素子から２ラインずつ得られる画素データを用いて仮想受光素子の位置における画素データを算出するとともに、この算出した画素データを用いて仮想受光素子の位置での輝度データを算出する補間手段と、この補間手段からの画素データが含む帯域をさらに広帯域化する広帯域化手段とを含むことが好ましい。
【００１５】
補間手段は、仮想受光素子の位置に対する補間を、この仮想受光素子に隣接する２つまたは３つの実在する受光素子からの補色を含む画素データを用いて、少なくとも１回減算する第１の補間手段と、この第１の補間手段により算出された仮想受光素子での原色の画素データを組み合わせてこの仮想受光素子の位置における輝度データを算出する第２の補間手段とを含むことが望ましい。第１の補間手段での三原色R, G, B のいずれかの原色データを算出とこれら原色データから第２の補間手段で輝度データを生成することにより、仮想受光素子における画素データおよび輝度データが得られる。特に、後述するように色フィルタにW 正方格子CyYe完全市松パターンを用いた際に、仮想受光素子の位置にG 正方格子RB完全市松パターンを生成できる。
【００１６】
第１の補間手段は、仮想受光素子に対して隣接する実在の受光素子から色フィルタの色がシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）の画素データのうち、２つまたは３つの画素データがつくるパターンの組合せにより得られる場合、画素データ、三原色R, G, B を、それぞれ、R=W-Cy, B=W-Ye, G=Ye+Cy-W の組合せ、R=Ye-G, B=Cy-G, G=G の組合せ、R=Ye-G, B=Cy-G, G=G の組合せの一つに基づいて仮想受光素子の画素データを補間演算する色補間機能ブロックとを含むことが望ましい。
【００１７】
第２の補間手段は、仮想受光素子に対して隣接する実在の受光素子から色フィルタの色がシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）のいずれかの画素データを３つまたは４つ用いたパターンの組合せで得られる場合、仮想受光素子の輝度データY を、それぞれ、Y=Ye+Cy+W の組合せ、Y=Ye+Cy+G の組合せ、Y=Mg+Ye+Cy+Gの組合せの一つに基づいて補間演算する補間生成機能ブロックを含むことが望ましい。
【００１８】
また、補間手段は、実在する受光素子を輝度データ生成対象とした際に、この対象の受光素子の位置における輝度データを、この対象の受光素子に隣接した周囲の画素データに基づいて算出する第３の補間手段を含むことが望ましい。
【００１９】
広帯域化手段は、補間手段から供給される輝度データを用いて実在する受光素子または仮想受光素子のいずれかの位置における輝度データの補間を行う輝度補間手段と、この輝度補間手段および補間手段からそれぞれ供給される画素データを用いて画素データが含む帯域をより広域化するとともに、三原色R, G, B の各色に応じたプレーンデータを生成するプレーン補間手段と、このプレーン補間手段により作成されたプレーンデータを用いて輝度データ、色差データを生成するマトリクス手段と、このマトリクス手段からの出力のうち、輝度データに対して輪郭強調処理を施すアパーチャ調整手段とを含むことが好ましい。
【００２０】
輝度補間手段は、供給される輝度データにローパスフィルタ処理を施す手段を用いることが好ましい。
【００２１】
第２の補間手段は、作成する対象の輝度データY を画素データG と作成する対象の輝度データをこの対象の輝度データの周囲に位置する画素データR, Bを用いた演算による算出あるいは水平方向および垂直方向の色境界の判断による適応処理を考慮して算出する適応補間手段を含むことが好ましい。
【００２２】
第３の補間手段は、W 正方格子CyYe市松パターンの場合、作成するシアンまたは黄色の受光素子を対象として輝度データW を算出する際に、この対象とする位置の一方の色と異なる他方の市松パターンの色に対する画素データを平均した値と一方の色の画素データを加算する輝度算出機能ブロックを含むとよい。
【００２３】
また、第３の補間手段は、作成する対象の輝度データW を、水平方向および垂直方向の色境界の判断による適応処理を考慮した相関の大きい方向の画素データの平均値を加算する補色適応補間手段を含むとよい。
【００２４】
先の信号処理手段と異なる構成により得られる信号を広帯域化することができる。この広帯域化の一例として信号処理手段は、撮像手段の実在する受光素子から３ラインずつ得られる画素データを用いて仮想受光素子の位置における画素データを算出するとともに、この算出した画素データを用いて仮想受光素子および実在する受光素子の位置での画素データに関する輝度データおよび色差データを帯域に応じて算出する帯域別データ生成手段と、この帯域別データ生成手段からの画素データが含む信号成分をさらに高域化する高域化処理手段とを含むことが好ましい。
【００２５】
広帯域化手段は、補間手段からの仮想受光素子に対して得られた画素データを基に正確な色再現重視、ならびに水平方向および／または垂直方向の解像度の重視と重視する項目に応じて演算処理が施される演算処理手段と、この演算処理手段から出力される色再現が考慮された成分信号と解像度を重視した成分信号が擬似周波数的に加算される擬似加算手段と、この演算処理手段で水平方向および垂直方向の解像度が重視された各信号に共通した周波数帯が含まれている場合、共通した周波数帯の重複を防止する重複防止手段と、演算処理手段の色再現を重視した成分信号に信号の振幅制御を施す信号調整手段と、この信号調整手段および重複防止手段からの成分信号を基に三原色R, G, B を生成する信号変換手段とを含むようにしてもよい。
【００２６】
高域化処理手段は、帯域別データ生成手段からの仮想受光素子に対して得られた画素データを基に正確な色再現重視、ならびに水平方向および／または垂直方向の解像度の重視と重視する項目に応じて演算処理が施される項目対応演算手段と、この項目対応演算手段から出力される色再現が考慮された成分信号と解像度を重視した成分信号が擬似周波数的に加算される擬似加算手段と、この演算処理手段で水平方向および垂直方向の解像度が重視された各信号に共通した周波数帯が含まれている場合、共通した周波数帯の重複を防止する重複防止手段と、この重複防止手段からの解像度を重視した成分信号と項目対応演算手段の色再現を重視した成分信号に、それぞれ輪郭強調と信号の振幅制御を施す信号調整手段と、この信号調整手段からの成分信号を基に三原色R, G, B を生成する信号変換手段とを含むとよい。
【００２７】
擬似加算手段は、演算処理手段から供給される解像度が重視される周波数帯までの第１の成分信号を一端側に減算入力させ他端側に第１の成分信号の周波数帯よりも低域の色再現を考慮した第２の成分信号を加算入力させる第１の加算手段と、この第１の加算手段の出力と第１の成分信号にそれぞれ生じる折り返し歪みを防ぐ処理を施すフィルタリング手段と、このフィルタリング手段からの各出力が加算入力される第２の加算手段とを含むことが好ましい。
【００２８】
重複防止手段は、擬似加算手段から出力される信号のうち、一方の信号の共通した周波数帯に対して帯域制限を施すフィルタ手段と、このフィルタ手段からの出力と共通した周波数帯を含む他方の信号とを加算する加算処理手段とを含むことが好ましい。
【００２９】
アパーチャ調整手段は、仮想受光素子における色G だけから相関検出補間を行って解像度を重視した成分信号を輪郭強調する信号として生成させる強調データ生成手段と、この強調データ生成手段の出力に水平方向および垂直方向の解像度が重視され、共通した周波数帯が含まれている場合、共通した周波数帯の重複を防止する重複防止手段とを含むことが望ましい。
【００３０】
固体撮像装置において、撮像手段と入射光を結像させる結像光学系との間に、入射光を少なくとも、２つに分光し、各撮像手段の撮像面に被写界像を投影させる分光光学系を備え、撮像面を形成する受光素子を行方向と列方向で２次元配列されるとともに、撮像面に投影された同一の被写界像を空間的に重ね合わせた際に一方の２次元配列された受光素子と他方の２次元配列された受光素子の対応する幾何学的な撮像面形状の中心が行方向および列方向に半ピッチずつずれた画素ずらし配置の関係に配設し、色フィルタは、受光素子に対応してこの受光素子の前面に配置され、空間的に重ね合わせた際にこの受光素子の空隙位置に原色の画素をもたらす補色の色配列が用いられているとよい。
【００３１】
受光部が２つの場合、画素ずらし配置の色フィルタを組み合わせて色W が正方格子状に配され、色シアン、黄色が完全市松に配されたW 正方格子CyYe完全市松パターン、色G が正方格子状に配されるG 正方格子CyYe完全市松パターン、部分重複市松パターン、縦ストライプ、横ストライプまたは４色完全市松パターンを形成することが望ましい。
【００３２】
受光部が３つの場合、画素ずらし配置パターンの第１の色フィルタと、画素ずらし配置から画素ピッチ分ずらした配置パターンで、かつ第１の色フィルタの色と同色の第２の色フィルタと、この第２の色フィルタの配置パターンで、かつ第２の色フィルタの色と異なる色の第３の色フィルタとを備え、第２の色フィルタと第３の色フィルタを組み合わせて固着させることが好ましい。
【００３３】
受光部が３つの場合、画素ずらし配置の互いに異なる３つの色フィルタの一の色フィルタに対して残りの２つの色フィルタを、ともに画素ピッチ分だけずらして重複した空間配置の色フィルタを形成するとよい。
【００３４】
本発明の固体撮像装置は、撮像手段の受光部に配した受光素子から得られる複数の補色を含む信号電荷を２ラインずつ、３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ出力させ、出力される信号電荷をディジタル変換手段で供給される複数の補色系を含む画素データにする。そして信号処理手段ではこの画素データを基に、仮想受光素子または受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成し、この生成した画素データを用いてそれぞれ、実在の受光素子または仮想受光素子でのデータを補間するとともに、これらの補間により得られた画素データを用いて実在する受光素子および仮想受光素子の位置の画素データを広帯域化することにより、撮像した画像信号の解像度をより一層高めることができる。
【００３５】
また、本発明は上述の課題を解決するために、入射光を異なる分光感度特性を含む複数の色フィルタを介して受光素子に送るように形成した遮光部材に開けた開口部の直下に配した受光素子が２次元配列されているとき、開口形状が正方格子あるいは多角形に形成された開口部を一列毎に垂直方向にあるいは一行毎に水平方向にずらされた開口部、あるいは正方格子を45°回転させた開口形状あるいは多角形の開口形状を含む開口部を介して受光素子で受光し、この受光素子を画素として扱い、受光によって得られた２次元の画素を基に画像信号にし、この画像信号に信号処理を施して広帯域な画像信号にする信号処理方法において、色フィルタの組合せパターンに応じて受光素子の２ラインずつ、３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ供給される信号をディジタルデータに変換するディジタル変換工程と、このディジタル変換工程後の画素データを記憶するデータ記憶工程とを含み、さらにこの方法は、データ記憶工程で記憶された画素データをディジタル変換工程のライン読出しと同じに読み出し、かつ読み出した画素データに対して受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子とし、隣接する受光素子からの補色の画素データを基に、仮想受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成する仮想画素補間工程と、この仮想画素補間工程で生成した画素データを用いて実在の受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成するとともに、これらの補間により得られた画素データを用いて実在する受光素子および仮想受光素子の位置の画素データを広帯域化する広帯域化工程を含むことを特徴とする。
【００３６】
ここで、仮想画素補間工程は、データ記憶工程から画素データが２ライン読出しで供給される際に、仮想受光素子の位置における画素データを、この仮想受光素子に隣接する２つまたは３つの受光素子から得られる補色を含む画素データを用いて、少なくとも１回の減算を行ってこの仮想受光素子の画素データを補間生成する第１の補間生成工程と、この第１の補間生成工程により算出した仮想受光素子での原色の画素データを組み合わせてこの仮想受光素子の位置における輝度データを算出する第２の補間生成工程とを含むことが好ましい。第１の補間生成工程により、後述するように、たとえばW 正方格子CyYe完全市松パターンでは仮想受光素子でG 正方格子とこのG 正方格子に対してピッチの半分の距離だけずらしたRB完全市松パターンの画素データを生成し、第２の補間生成工程でこれらの位置での輝度データも生成する。
【００３７】
第１の補間生成工程は、仮想受光素子に対して隣接する受光素子から得られる色シアン（Cy）、黄色（Ye）、および白色（W ）の画素データのうち、２つまたは３つの画素データがつくるパターンの組合せで得る場合、仮想受光素子の三原色R, G, B を、それぞれ、R=W-Cy, B=W-Ye, G=Ye+Cy-W に基づいて補間演算を行うことが望ましい。
【００３８】
第２の補間生成工程は、仮想受光素子に対して隣接する受光素子から得られるシアン（Cy）、黄色（Ye）、および白色（W ）の画素データすべてを加算して輝度データを補間生成することが好ましい。
【００３９】
また、第２の補間生成工程は、第１の補間生成工程により仮想受光素子の位置にG 正方格子とこのG 正方格子に対してピッチの半分の距離だけずらしたRB完全市松を合わせたG 正方格子RB完全市松パターンを生成するとともに、得られたパターンの画素データG の周囲から得られるR の画素データとB の画素データから輝度データを作成する際に、画素データR と画素データB のいずれか一方の画素データを輝度データの作成対象にする場合、この作成対象の画素データを半分にした作成対象の半値データと、この作成対象の周囲に最も近傍、かつ等距離に位置する他方の画素データを加算し、この加算結果を加算した画素データの個数を倍した値で割った周囲画素データとから実際に用意された受光素子の位置における輝度データを算出することが望ましい。
【００４０】
仮想画素補間工程は、W 正方格子CyYe完全市松パターンの色フィルタを用いた際に、第１の補間生成工程で仮想受光素子の位置における色の画素データを生成させ、実在する受光素子の位置に色フィルタのシアンまたは黄色が用いられる際に、シアンまたは黄色の一方の色の受光素子の位置を輝度データ生成対象とし、この対象の受光素子に隣接した他方の色の４つの画素データに基づいて算出し、この算出した値と対象の画素データとを加算するとともに、得られる画素データを用いて水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた画素データの成分信号をそれぞれ生成する第３の補間生成工程を含み、輝度データは、仮想受光素子または受光素子のいずれかで算出することが好ましい。
【００４１】
仮想画素補間工程は、W 正方格子CyYe完全市松パターンの色フィルタを用いた際に、第１の補間生成工程で仮想受光素子の位置における色の画素データを生成させ、実在する受光素子の位置に前記色フィルタのシアンまたは前記黄色が用いられる際に、シアンまたは黄色の一方の色の受光素子の位置を輝度データ生成対象とし、この対象の受光素子に隣接した他方の色の４つの画素データに基づいて水平方向／垂直方向の第１の相関値を算出して比較を行い、所定の値以上の第１の相関値の方向に位置する２つの受光素子の平均値の算出または水平および垂直ともに第１の所定の値より小さい第１の相関値では４つの画素データの平均値の算出を行い、この算出した値と対象の画素データとを加算するとともに、得られる画素データを用いて水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた画素データの成分信号をそれぞれ生成する第４の補間生成工程を含み、輝度データは、仮想受光素子または受光素子のいずれかで算出することが好ましい。
【００４２】
第４の補間生成工程は、シアンまたは黄色の一方の色の受光素子の位置を輝度データ生成対象とし、この対象の受光素子に隣接した他方の色の４つの画素データに基づいて水平方向／垂直方向の第１の相関値を算出して比較を行い、第１の所定の値以上の第１の相関値の方向に位置する２つの受光素子の平均値の算出、水平方向および垂直方向の第１の相関値ともに第１の所定の値より小さいときこの対象の受光素子に隣接した４つの色W の画素データを用い、水平方向に位置する画素データを差分した絶対値の加算と垂直方向に位置する画素データを差分した絶対値の加算とを水平方向および垂直方向の第２の相関値とし、この算出した各方向の第２の相関値の比較を行い、第２の所定の値以上となる第２の相関値の方向に位置する２つの受光素子の平均値の算出、また、水平方向および垂直方法の第２の相関値ともに第２の所定の値より小さいとき４つ色W の画素データの平均値の算出を行い、この算出した値と対象の画素データとを加算するとともに、得られる画素データを用いて水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた画素データの成分信号をそれぞれ生成することが好ましい。
【００４３】
また、仮想画素補間工程は、色フィルタの配置が４色完全市松パターンを用い、データ記憶工程から画素データが３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ読み出した際に、４色の受光素子が囲む仮想受光素子の色R, G, B を補間生成する第５の補間生成工程と、この第５の補間生成工程により得られた画素データを用いて受光素子の画素データを補間生成する第６の補間生成工程と、４色のうち、色のシアンと黄色とに挟まれる仮想受光素子の位置における輝度データを、水平方向と垂直方向にそれぞれ配される色のシアンと黄色の２つの画素データを加算して算出する低域輝度算出工程と、４色のうち、緑色の位置の受光素子の画素データG を高域輝度データとし、この高域輝度データを、画素データG の２倍と色マゼンタの位置の受光素子からの画素データとを加算して生成する高域輝度算出工程とを含むことが望ましい。
【００４４】
広帯域化工程は、仮想画素補間工程から供給される輝度データを用いて受光素子の位置における輝度データの補間を行う輝度補間工程と、この輝度補間工程および仮想画素補間工程からそれぞれ供給される画素データを用いて画素データが含む帯域をより広域化するとともに、三原色R, G, B の各色に応じたプレーンデータを生成するプレーン補間工程と、このプレーン補間工程により作成されたプレーンデータを用いて輝度データ、色差データを生成するマトリクス工程と、このマトリクス工程からの出力のうち、輝度データに対して輪郭強調処理を施すアパーチャ調整工程とを含むことが好ましい。
【００４５】
輝度補間工程は、仮想画素補間工程により得られた輝度データに基づいて受光素子における輝度データを水平・垂直方向あるいは垂直・水平方向の順に作成するとともに、受光素子に対応する位置の画素データを水平方向に関して補間する際に、補間する画素データに対応する乗算係数を乗算する第０段の水平工程を行い、そしてこの補間する画素データの左右両側に隣接するデータを加算し、この加算結果に乗算係数を乗算する第１段の水平工程と、各段で第１段の工程と同様にこの補間する画素データから水平方向に等距離に位置する画素データに対応する乗算係数を乗算する水平工程をｎ段繰り返し、０段の水平工程、第１段の水平工程以降に繰り返された乗算結果すべてを加算して補間画素データを生成する水平補間工程と、この水平補間工程により得られた画素データを用いて対象とする位置の画素データを生成する際に、垂直方向に位置する画素データに対応する乗算係数を乗算し、得られた乗算結果をすべて加算して垂直方向のローパス処理を行う垂直処理工程とを含むことが有利である。
【００４６】
第２の補間生成工程は、輝度データの算出処理を行う前に、水平方向および垂直方向の第１相関値をそれぞれ算出し、第１の所定の値と各算出結果をそれぞれ比較し、この比較した結果が水平方向に相関があると判断した際に、輝度データの算出を水平方向の画素データを用いて加算し、この加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする水平輝度算出工程と、この比較した結果が垂直方向に相関があると判断した際に、輝度データの算出を垂直方向の画素データを用いて加算し、この加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする垂直輝度算出工程と、この比較した結果が水平方向の相関値および垂直方向の相関値が所定の値より小さいとき、周囲画素データをこの作成対象の周囲に最も近傍、かつ等距離に位置する他方の画素データを加算し、この加算結果を加算した画素データの個数を倍した値で割って算出する平均輝度算出工程とを含み、作成対象の半値データと、水平輝度算出工程、垂直輝度算出工程、および平均輝度算出工程のいずれか一つから得られる周囲画素データとから輝度データのパターンを作成することが好ましい。
【００４７】
第２の補間生成工程は、輝度データの算出処理を行う前に、水平方向および垂直方向の第１相関値をそれぞれ算出し、第１の所定の値と各算出結果をそれぞれ比較し、この比較結果に応じて水平輝度算出工程あるいは垂直輝度算出工程を行うとともに、画素データR あるいは画素データB のうち、一方の画素データを作成対象の輝度データとした際に、この作成対象の輝度データを介して水平方向に位置する他方の画素データとこの作成対象の輝度データを用いてそれぞれ得られた相関値を加算し、水平方向および垂直方向の第２相関値をそれぞれ算出し、第２の所定の値と各算出結果をそれぞれ比較し、この比較した結果が水平方向に相関があるとの判断に応じて行う水平輝度算出工程と、この比較した結果が垂直方向に相関があるとの判断に応じて行う垂直輝度算出工程と、この比較した結果がいずれの相関とも異なる際に行う平均輝度算出工程とを含み、作成対象の画素データの半値と、水平輝度算出工程、垂直輝度算出工程、および平均輝度算出工程のいずれか一つから得られる周囲画素データとから輝度データのパターンを作成することが望ましい。
【００４８】
第２の補間生成工程には、画素データG の対角位置の画素データを加算し、この加算結果の差の絶対値により得られた値が第３の所定の値以上の場合、周囲画素データの算出を平均輝度算出工程で行うとよい。
【００４９】
また、第２の補間生成工程は、輝度データの算出処理を行う前に、輝度データを算出する画素データに対して２方向に対角位置に位置する同色の画素データの差からそれぞれ右斜め方向および左斜め方向の第１相関値を算出し、第４の所定の値と各算出結果をそれぞれ比較し、この比較した結果が右斜め方向に相関があると判断した際に、右斜め方向の第１相関値の算出に用いた画素データを加算し、この加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする右斜め輝度算出工程と、この比較した結果が左斜め方向に相関があると判断した際に、左斜め方向の第１相関値の算出に用いた画素データを加算し、この加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする左斜め輝度算出工程と、この比較した結果が右斜め方向の第１相関値および左斜め方向の第１相関値が第４の所定の値より小さいとき、相関値の算出に用いた同色の画素データすべてを加算し、この加算結果を加算した画素データの個数を倍した値で割って算出する平均輝度算出工程とを含み、作成対象の画素データの半値と、右斜め輝度算出工程、左斜め輝度算出工程、および平均輝度算出工程のいずれか一つから得られる周囲画素データとの加算から輝度データのパターンを作成するとよい。
【００５０】
さらに、第２の補間生成工程は、輝度データの算出処理を行う前に、第４の所定の値と右斜め方向および左斜め方向の第１相関値の算出結果をそれぞれ比較し、作成対象の画素データの半値と、右斜め輝度算出工程および左斜め輝度算出工程のいずれか一方の算出したデータとを加算する場合と、さらに、この場合に加えて、輝度データを算出する画素データに対して２方向に対角位置に位置する異色の画素データの差からそれぞれ右斜め方向および左斜め方向の第２相関値を算出し、新たに設定する第５の所定の値と右斜め方向および左斜め方向の第２相関値の算出結果をそれぞれ比較し、この比較した結果が右斜め方向に相関があると判断した際に、右斜め方向の第２相関値の算出に用いた異色の画素データで演算し、この演算結果を演算に用いた画素データの個数を倍した値で割って周囲画素データとする右斜め輝度演算工程と、この比較した結果が左斜め方向に相関があると判断した際に、左斜め方向の第２相関値の算出に用いた異色の画素データで演算し、この演算結果を演算に用いた画素データの個数を倍した値で割って周囲画素データとする左斜め輝度演算工程と、この比較した結果が右斜め方向の第２相関値および左斜め方向の第２相関値が第５の所定の値より小さいとき、第２相関値の算出に用いた異色の画素データで演算し、この演算結果を演算に用いた画素データの個数を倍した値で割って算出する平均輝度演算工程とを含み、作成対象の画素データの半値と、右斜め輝度演算工程、左斜め輝度演算工程、および平均輝度演算工程のいずれか一つから得られる周囲画素データとを加算する場合とから輝度データのパターンを作成することが好ましい。
【００５１】
右斜め方向および左斜め方向の第１相関値ならびに第２相関値の算出は、供給される各画素位置を算出の前に45°回転させた位置に回転移動させた後に水平方向および垂直方向の第１相関値ならびに第２相関値として算出し、所定の値との比較をそれぞれ行って対応する輝度データの算出を行い、この算出の後に、得られた輝度データを回転移動前の位置に戻すとよい。
【００５２】
水平方向および垂直方向の第２相関値は、それぞれ輝度データ作成対象画素を挟んで水平方向に配される一方の異色の画素データとこの作成対象画素の輝度データとの差の絶対値および他方の異色の画素データとこの作成対象画素の輝度データとの差の絶対値の加算値ならびに輝度データ作成対象画素を挟んで垂直方向に配される一方の異色の画素データとの差の絶対値および他方の異色の画素データとこの作成対象画素の輝度データとの差の絶対値の加算値で表すことが好ましい。
【００５３】
右斜め方向および左斜め方向の第２相関値は、それぞれ輝度データ作成対象画素を挟んで水平方向に配される異色の画素データ同士の差の絶対値および輝度データ作成対象画素を挟んで垂直方向に配される異色の画素データ同士の差の絶対値で表すことが望ましい。
【００５４】
第２相関値は、第１相関値の算出に用いた画素データよりも作成対象画素に近い位置の画素データを算出に用いるとよい。
【００５５】
プレーン補間工程は、第１の補間生成工程によりG 正方格子とこのG 正方格子に対してピッチの半分の距離だけずらしたRB完全市松パターンにおける仮想受光素子に対応して得られた各色の画素データと、第２の補間生成工程により作成された輝度データを用い、画素データのG のプレーン補間には、補間対象画素に対して水平方向および／または垂直方向に隣接して存在する実際に得られた画素データG の平均と補間対象画素に対して水平方向および／または垂直方向に隣接している輝度データの加算平均との差に補間対象画素の位置に対応する輝度データを加算して得られる工程と、画素データのR のプレーン補間には、補間対象画素に対して斜め方向に隣接して存在する実際に得られた画素データR の平均と補間対象画素に対して斜め方向と同方向に隣接している輝度データの加算平均との差に補間対象画素の位置に対応する輝度データを加算して得られる第１のR 工程と、補間対象画素の残る色R に対する画素データR をこの第１のR 工程により得られた、等距離に位置する画素データの加算平均とこの等距離に位置する輝度データの加算平均との差に補間対象画素の残る色R に対する輝度データを加算して得られる第２のR 工程と、さらに補間対象画素の残る色R に対する画素データR を最近傍に位置する第１、第２の工程および実際に得られた画素データR の加算平均とこの加算平均に用いた画素に対応する輝度データの加算平均との差に補間対象画素の位置に対応する輝度データを加算して得られる第３のR 工程とを含み、さらにこの方法は、画素データのB のプレーン補間には、補間対象画素に対して斜め方向に隣接して存在する実際に得られた画素データB の加算平均と補間対象画素に対して斜め方向と同方向に隣接している輝度データの加算平均との差に補間対象画素の位置に対応する輝度データを加算して得られる第１のB 工程と、補間対象画素の残る色B に対する画素データB をこの第１のB 工程により得られた、等距離に位置する画素データの加算平均とこの等距離に位置する輝度データの加算平均との差に補間対象画素の残る色B に対する輝度データを加算して得られる第２のB 工程と、さらに補間対象画素の残る色B に対する画素データB を最近傍に位置する第１、第２の工程および実際に得られた画素データB の加算平均とこの加算平均に用いた画素に対応する輝度データの加算平均との差に補間対象画素の位置に対応する輝度データを加算して得られる第３のB 工程とを含むことが好ましい。
【００５６】
広帯域化工程は、仮想画素補間工程から供給される画素データおよび輝度データを用いて画素データおよび輝度データの受光素子の位置におけるデータ欠如を補間する欠如データ補間工程と、この欠如データ補間工程および仮想画素補間工程からそれぞれ供給される画素データおよび輝度データを用いて、水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた成分信号をそれぞれ生成する項目対応データ生成工程と、この項目対応データ生成工程により生成した輝度データ、色差データを用いて三原色R, G, B を生成する三原色マトリクス工程とを含むことが好ましい。
【００５７】
項目対応データ生成工程は、受光素子のずらし配置に伴う受光素子からの画素データを基に水平方向および／または垂直方向に正確な色再現を重視して演算処理を施す色再現重視工程と、画素データを基に水平方向および／または垂直方向の解像度を重視して演算処理を施す解像度重視工程とを含むことがを特徴とする信号処理方法。
【００５８】
項目対応データ生成工程は、色再現が考慮された成分信号と解像度を重視した成分信号を擬似周波数的に加算する擬似加算処理工程と、この画素データ生成工程で水平方向および垂直方向の両解像度を重視する際に共通する周波数帯の重複を防止する帯域重複防止工程とを含むことが望ましい。
【００５９】
擬似加算処理工程は、画素データ生成工程で生成された解像度が重視される周波数帯までの第１の成分信号から第１の成分信号の周波数帯よりも低域の色再現を考慮した第２の成分信号を減算する減算工程と、この減算工程からの出力と第１の成分信号に対してそれぞれ折り返し歪みを防ぐ処理を施す歪み防止工程と、この歪み防止工程を経た各出力を加算する第２の加算工程とを含むことが好ましい。
【００６０】
帯域重複防止工程は、水平方向および垂直方向の成分信号内のいずれか一方の成分信号の共通する周波数帯に対して帯域制限を施す帯域制限工程と、この帯域制限工程で帯域制限された出力と共通した周波数帯を含む他方向の成分信号とを加算する加算処理工程とを含むことが望ましい。
【００６１】
第２の補間生成工程は、光学系により被写界像を少なくとも、受光素子が２次元配列された受光部で形成される２つの撮像面にそれぞれ投影させ、行方向と列方向で２次元配列に配置した受光素子が形成する撮像面の配設を一方の２次元配列された受光素子と他方の２次元配列された受光素子において対応する幾何学的な撮像面形状の中心が行方向および列方向に半ピッチずつずれた関係にし、この受光素子に対応してこの受光素子の前面に用意する補色または補色および色G に色分解するフィルタの色配列を介してこの２つの撮像面に投影された同一の被写界像を空間的に重ね合わせる工程により得られた画素データを用いるとよい。
【００６２】
本発明の信号処理方法は、受光素子の２ラインずつ、３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ供給される信号をディジタルデータに変換し、この後の画素データを記憶する。そして記憶された画素データを上述したライン読出しと同じに読み出し、かつ仮想受光素子に隣接する受光素子からの補色の画素データを基に、仮想受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成し、ここで生成した画素データを用いて実在の受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成するとともに、これらの補間により得られた画素データを用いて実在する受光素子および仮想受光素子の位置の画素データを広帯域化することにより、得られる画像の解像度をより一層高くすることができる。
【００６３】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００６４】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図１に示す。図１のディジタルスチルカメラ10には、光学レンズ系12、操作部14、システム制御部18、信号発生部20、タイミング信号発生部22、ドライバ部24、絞り機構26、光学ローパスフィルタ28、色分解部CF、撮像部30、前処理部32、A/D 変換部34、信号処理部36、圧縮／伸張部38、記録再生部40、およびモニタ42が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus:自動焦点) 調節機構が含まれている。操作信号は、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、後述する信号発生部20、タイミング信号発生部22、ドライバ部24を介して駆動信号が供給される。
【００６５】
操作部14には、図示しないがシャッタスイッチやたとえばモニタ画面に表示される項目を選択する機能が備えられている。特に、シャッタスイッチは、複数の段階のそれぞれでカメラ10の操作を行うようにシステムバス16を介して操作信号をシステム制御部18に出力する。
【００６６】
システム制御部18は、たとえば CPU（Central Processing Unit:中央演算処理装置）を有する。システム制御部18には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部18は、たとえば、ユーザの操作に伴って操作部14から供給される情報とこの ROMの情報を用いて各部の動作を制御する制御信号を生成する。システム制御部18は、生成した制御信号を信号発生部20、あらわに制御信号の供給を示していないタイミング信号発生部22、前処理部32、A/D 変換部34の他に、システムバス16を介して信号処理部36、圧縮／伸張部38、記録再生部40およびモニタ42にも供給する。
【００６７】
信号発生部20は、システム制御部18からの制御に応じてシステムクロックを発振器により発生する。信号発生部20は、このシステムクロックをタイミング信号発生部22および信号処理部36に供給する。また、システムクロックは、たとえばシステムバス16を介してシステム制御部18の動作タイミングとしても供給される。
【００６８】
タイミング信号発生部22は、供給されるシステムクロックを制御信号に基づいて各部を動作させるタイミング信号を生成する回路を含む。タイミング信号発生部22は、生成したタイミング信号を図１に示すように各部に出力するとともに、ドライバ部24にも供給する。ドライバ部24は、前述した光学レンズ系12のズーム調節機構およびAF調節機構の他、絞り調節機構26および撮像部30にも駆動信号をそれぞれ供給する。
【００６９】
絞り調節機構26は、被写体の撮影において最適な入射光の光束を撮像部30に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構26にもドライバ部24から駆動信号が供給される。この駆動信号は、前述したシステム制御部18からの制御に応じて行う動作のための信号である。この場合、システム制御部18は、図示しないが、撮像部30で光電変換した信号電荷を基にAE（Automatic Exposure :自動露出）処理として絞り・露光時間を算出している。絞り調節機構26には、この算出した値に対応する制御信号が供給されたタイミング信号発生部22からの信号に応じた駆動信号がドライバ部24から供給される。
【００７０】
撮像部30は光電変換する撮像素子を光学レンズ系12の光軸と直交する平面が形成されるように配置する。また、撮像素子の入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ28と一体的に色分解する色フィルタCFが一体的に配設される。本実施例では単板方式の色フィルタを用いて撮像する。色フィルタCFの種類等については後段でさらに詳述する。撮像素子には、 CCD（Charge Coupled Device:電荷結合素子）や MOS（Metal Oxide Semiconductor:金属酸化型半導体）タイプがある。撮像部30は、供給される駆動信号に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、電子シャッタのオフ毎に前処理部32に出力する。撮像部30は、CCD タイプでは信号電荷の読出しにフィールド蓄積２行混合読出しの色多重化方式や色フィルタ配置に対応させて画素補間が行えるようにする同時３ライン読出しの色多重化方式を用いる。これらの色多重化方式についてはさらに後段で詳述する。
【００７１】
前処理部32には、図示しないがCDS （Correlated Double Sampling: 相関二重サンプリング；以下CDS という）部が備えられている。CDS 部は、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部22からのタイミング信号によりクランプするクランプ回路と、タイミング信号により信号電荷をホールドするサンプルホールド回路を有する。CDS 部は、ノイズ成分を除去してA/D 変換部34に送る。A/D 変換部34は、供給される信号電荷というアナログ信号の信号レベルを所定の量子化レベルにより量子化してディジタル信号に変換するA/D 変換器を有する。A/D 変換部34は、タイミング信号発生部22から供給される変換クロック等のタイミング信号により変換したディジタル信号を信号処理部36に出力する。
【００７２】
信号処理部36には、データ補正部36a 、補間処理部36b および広帯域信号処理部36c が含まれる。データ補正部36a には、図示しないが色の補正を行うガンマ補正回路や自動的にホワイトバランスの調整を行うAWB (Automatic White Balance）回路等がある。特に、ガンマ補正回路は、 ROM（Read Only Memory）に供給されるディジタル信号とこのディジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。これら一連のデータ補正においてもタイミング信号発生部22からのタイミング信号に応じて供給される。データ補正部36a は、この処理した補正データを補間処理部36b に出力する。
【００７３】
補間処理部36b は、本実施例では図２に示すように、供給される受光素子から得られる画素データに対して受光素子のない空隙位置、すなわち仮想受光素子または仮想画素での画素データを周囲の画素データから三原色R, G, B のいずれかを補間生成する仮想画素補間機能部360bおよび得られた画素データを基にこの仮想画素での輝度データを生成する輝度データ生成機能部362bを含む。仮想画素補間機能部360bおよび輝度データ生成機能部362bは、演算処理により各画素でのデータを補間生成を行って得られた原色R データ, G データ, B データ、および輝度データY （または高域輝度データYhで表す）を出力する。
【００７４】
図１に戻って、広帯域信号処理部36c には、原色R データ, G データ, B データ、および輝度データY に相当する信号ラインが補間処理部36b と接続される。広帯域信号処理部36c には、図３に示すように、輝度データ補間機能部360c、高解像度プレーン補間機能部362c、色差マトリクス部364c、アンチエリアシングフィルタ部366cおよびアパーチャ調整部368cが備えられている。本実施例で、輝度データ補間機能部360cは、仮想画素の位置での輝度データY を用いて受光素子の位置における輝度データY を補間生成する。輝度データ補間機能部360cは、この輝度データY の補間生成を演算処理する演算回路の構成または所定の係数の積和でLPF （Low Pass Filter ）効果をもたらすLPF でもよい。このLPF はディジタル回路で構成する。この動作については後段で述べる。
【００７５】
高解像度プレーン補間機能部362cは、R 補間展開部3620、G 補間展開部3622、B 補間展開部3624を含む（図４を参照) 。R 補間展開部3620、G 補間展開部3622、B 補間展開部3624には、輝度データY （高域輝度データYh）が共通して供給されるとともに、それぞれ各色のデータ、すなわちR データ、G データ、B データが仮想画素補間機能部360bから供給される。各色毎に補間演算することによって、R 補間展開部3620、G 補間展開部3622、B 補間展開部3624は、それぞれR プレーンデータ、G プレーンデータ、B プレーンデータを生成して色差マトリクス部364cに出力する。
【００７６】
図３に戻って、色差マトリクス部364cは、供給される原色信号R, G, B のデータに基づいて輝度データY 、色差データ (R-Y), (B-Y) を生成する。これら３つのデータは、各色に定めた混合割合を乗算し演算することから得られる。混合割合を決める係数は、従来からの値を用いる。アンチエリアシングフィルタ部366cには、色差マトリクス部364cで得られた輝度データY 、色差データ (R-Y), (B-Y) の各帯域をカバーするLPF を用いる。アパーチャ調整部368cは、輪郭補償器である。輪郭補償器は高域でのレスポンスの低下を補うように、たとえばトランスバーサルフィルタ等を用いて構成する。信号処理部36は、このように構成して撮像信号を輝度データY および色差データにして圧縮／伸張部38に出力する。
【００７７】
図１に示す圧縮／伸張部38は、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張部38は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介して記録再生部40に供給する。また、圧縮／伸張部38は、前述と同様にシステム制御部18の制御により信号処理部36からのデータをスルーさせ、システムバス16を介してモニタ42に供給することもできる。圧縮／伸張部38が伸張処理を行う場合、逆に記録再生部40から読み出したデータをシステムバス16を介して圧縮／伸張部38に取り込んで処理する。ここで、処理されたデータもモニタ42に供給して表示させる。
【００７８】
記録再生部40は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む（ともに図示せず）。記録媒体には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。モニタ42は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データおよび色差データまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。
【００７９】
本実施例のディジタルカメラ10は、このように構成してカラー撮像信号の広帯域化を図っている。このカメラ10の動作を説明する前に色フィルタCFの色配置と撮像部30の関係について説明する。撮像部30は、図５に示すように、入射する光を光電変換する受光素子PDに隣接した受光素子PDが垂直方向および水平方向にずらされて２次元配置された受光部30a と、この受光部30a の前面に形成された開口部APを迂回するように配置され、かつ受光素子PDからの信号電荷を取り出す、図示しないトランスファゲートや垂直転送レジスタのそれぞれに垂直駆動信号V1〜V4が供給される水平方向の4本の電線とこれらの信号を垂直方向に供給するため4本の電線それぞれに対して交差する信号線VT1〜VT4を配し、読み出した信号電荷を受光部11の垂直方向に順次転送する垂直転送路VRとを備えている。
【００８０】
垂直転送路VRは、供給される垂直転送駆動信号V1〜V4に応じて信号を転送している。すなわち、垂直転送レジスタは１受光部あたり４電極構造になっている。また、１受光部領域の水平隣接領域が２電極構造で前述した画素ずれしている。本実施例の撮像部30に形成された開口部APは、六角形のハニカム形状に形成する。開口形状は、一般的に正方格子であるがこの形状は、感度を向上させるとともに、垂直転送レジスタの幅を同じにして転送効率を低下させないようにする条件を満たせばよい。このことから判るように形状は、多角形でもよく、この他の例としては、正方格子を45°回転させた開口形状として、たとえば、菱形等があり、さらに八角形等にしてもよい。
【００８１】
開口部APは、図５に示すように各開口部APを覆う色フィルタCFの直下にそれぞれ対応して配置される受光素子PDの間隔を各方向毎の画素ピッチPPとするとき、開口部APの配列は、一列毎に垂直方向にあるいは一行毎に水平方向に画素ピッチPP分だけ移動させた２次元配置になっている。四角形以上の多角形を用いる場合、開口形状に合わせて開口部APを隙間なく、隣接する開口部APが稠密な配置に配置にさせてもよい。図５のように六角形の場合、稠密な配置は、水平・垂直方向とも上述した画素ピッチPPの半分だけずらした配置により形成できる。このように稠密な配置を得るには開口部APの形状に依存する。
【００８２】
ここで、撮像部30が一般的に用いられる正方格子状の場合とハニカム形状の場合の配置関係を比較すると、ハニカム形状の配置は、原理的に図６(a) に示すように画素ピッチPPがそれぞれN(μm)の正方格子状の配置をそれぞれ45°回転させた図６(b) に示す配置と等価である。ハニカム形状の配置、すなわち画素の半ピッチずれを有する配置は、正方格子状の配置における水平／垂直方向の隣接画素間距離｜PP｜= N(μm)を基準にしてN*(2)-1/2 と隣接画素間距離｜PP｜より短くなる。したがって、ハニカム形状の配置は、正方格子状の配置よりも画素が稠密に配置されるので、原理的に水平・垂直方向の解像度を(2)1/2倍に向上させることができる。また、ハニカム形状の配置から出力形態に見合う正方格子状の配置に展開する場合、仮想画素は、隣接する実在する画素に基づいて信号処理部36で補間処理が行われる。この補間処理を行いながらまだ得られていない色および輝度の画素等を補間展開すると、解像度は、単に正方格子状に受光素子PDを配置したときより高くできることがわかる。
【００８３】
本実施例では前述したように色フィルタに補色を用いている。この色フィルタを用いる特徴について簡単に説明する。現在、チップサイズの小型化を図っても撮像の感度特性を保つために入射光を有効に用いる必要性が生じている。ここで、分光エネルギーが波長に関わらず一定な入射光30I を入射させた際に、波長に応じた比視感度（比視感度曲線30C ）とアンプゲイン（ゲイン30K ）を掛けて波長に依存した測光量を求めると図７に示す測光の分光曲線30M が得られる。さらに、原色フィルタR, G, B で撮像した場合(A) と補色フィルタMg, Ye, G, Cy で撮影した場合(B) との分光感度の比較を相対感度表示（図８を参照）および最大感度によるRGB 正規化表示（図９を参照）で行う。相対感度表示から補色フィルタで撮像した場合(B) の方が原色フィルタを用いた場合(A) より高い相対感度が得られることが判った。この関係をRGB 正規化表示で見ると、この表示でも補色フィルタで撮像した場合(B) の方が原色フィルタを用いた場合(A) より各曲線で作る面積が大きい。すなわち入射光を有効に信号電荷への変換にも寄与している。このような検討結果から補色フィルタが入射光量の有効な利用に効果的であることがわかる。
【００８４】
この結果を受けてハニカム形状の配置と等価な補色系の色フィルタCFの一例を図10に模式的に示す。この色フィルタは、受光素子のずらし配置に対応して３つの補色（W, Cy, Ye ）の色フィルタをそれぞれずれを有するとともに、色W を正方格子に配し、色シアンと黄色を完全市松となるパターンを形成している（図10(a) を参照）。このパターンは、W 正方格子CyYe完全市松パターンという。破線の六角形は受光素子のない仮想画素を示している。このパターンはCy, Yeが入れ替わっても構わない。また、補色の構成は、（G, Cy, Ye ）でもよく、W 正方格子CyYe完全市松パターンのうち、色W を色G にしたG 正方格子CyYe完全市松パターンである（図10(b) を参照）。
【００８５】
補色を用いた色フィルタは、W 正方格子CyYe完全市松パターンに限定されるものでなく、各種の色フィルタがある。色フィルタの例としては、たとえば、図11〜図13の色フィルタには、前述した構成の撮像部30に適用する。図11の色フィルタは、受光素子PDの位置に対応して色Cy, W, Ye を縦または横ストライプに配したストライプパターンである。また、図12の色フィルタは、図11の色フィルタのうち、色W を色G にしたものである。図13の色フィルタは、補色を（Cy, Ye, Mg）の構成にし、これらの色を縦ストライプパターン（図13(a) ）と横ストライプパターン（図13(b) ）を表している。
【００８６】
また、４色Cy, Ye, Mg, G の色フィルタのうち、たとえば、図14(a) の２色で完全市松パターンを部分的に重複形成した部分重複市松パターンや図15(a) に示すこの部分重複市松パターンと異なる色の配置関係にした４色完全市松パターン等がある。また、４色Cy, Ye, Mg, G の色フィルタのうち、色G に色W を用いた部分重複市松パターンや４色完全市松パターンもある（図14(b) および図15(b) のそれぞれを参照）。図14および図15のパターンを適用する場合、前述した撮像部30からの２ライン混合読出しではなく、３ライン同時読出しを行う。撮像部30は、水平方向の電極構造を前述した２電極構造にするとともに、この読出しが行えるように垂直転送路の１受光部あたり６電極構造にする。非破壊読出しが可能な、たとえばMOS タイプを撮像部30の受光部に用いると、撮像部30は１ラインずつシフトさせながら、３ラインずつ信号を読み出せる。
【００８７】
次にディジタルカメラ10の動作について説明する。ディジタルカメラ10は、図16に示すメインフローチャートに従って動作する。カメラ10に電源を投入した後に、システム制御部18によって各種の初期設定が行われる（ステップS10 ）。また、この段階で撮像は、供給される駆動信号に応じて撮像部30からの撮像信号の読出しを行う。この読出しは、色フィルタCFのW 正方格子CyYe完全市松パターンを使用した場合について説明する。したがって、撮像部30の信号読出しはフィールド蓄積2 ライン混合読出しで行う。
【００８８】
次にこの読み出された信号に対して、前処理を行う（ステップS12 ）。前処理としては、前処理部32でたとえば、CDS 処理を行って撮像部30からの信号に含まれるノイズ成分を除去している。
【００８９】
次にステップS14 では、ノイズ除去等が施された信号をA/D 変換部34でディジタル信号に変換する。この変換により各受光素子PDからの信号電荷が画素データに変換される。この変換より以後の信号処理をディジタル処理で行う。図１に図示していないが、前述したように特に、CCD イメージセンサを用いた際に非破壊タイプのバッファメモリを用いるとよい。この場合、バッファメモリはシステム制御部18から供給される書込み／読出しイネーブル信号やアドレス信号等の制御信号に応じて各色の画素データを信号処理部36に供給する。この後、サブルーチンSUB1に進む。
【００９０】
サブルーチンSUB1では、供給される画素データに対してあらわに図示していないが、たとえば、白バランスやガンマ補正を施すとともに、この補正処理により得られた画素データを用いて順次に補間処理が行われる。この補正・補間処理は、データ補正部36a および補間処理部36b で行う。補間処理部36b についてはさらに後段で詳述する。この後、サブルーチンSUB2に進む。
【００９１】
サブルーチンSUB2では、サブルーチンSUB1で処理した信号を広帯域化する処理を行う。また、広帯域化した信号には、R, G, B データから輝度データY 、色差データ (R-Y), (B-Y) （またはCr, Cb）へと信号出力形式の変換も行う。このようにして撮像データ（画素データ）に信号処理を施す。
【００９２】
次にステップS16 では、得られた輝度データY 、色差データ (R-Y), (B-Y) は、図１の圧縮／伸張部38、システムバス16を介して記録再生部40やモニタ42にそれぞれ供給される。この供給に際してシステム制御部18は、表示と記録の場合に応じて圧縮／伸張部38に異なる制御をする。すなわち、信号処理したこれらのデータを表示させる場合、圧縮／伸張部38はスルー処理し、すでに記録済みの圧縮データを再生する場合、圧縮／伸張部38は圧縮データに伸張処理を施してモニタ42に出力する。また、信号処理したこれらデータを記録する場合、圧縮／伸張部38は、たとえば、JPEGといった圧縮処理を施し、情報量を減少させて半導体メモリ、光記録媒体、磁気記録媒体、または光磁気記録媒体を含む記録再生部40に供給する。モニタ42では、高品質な画像データが供給されることにより、一層高い品質の表示画像を表示できる。この処理の後、ステップS18 に進む。
【００９３】
ステップS18 では、撮影を終了するか判断している。撮影を継続する場合（NO）、ステップS10 に戻って、前述の動作を繰り返す。また、撮影を終了する場合（YES ）、終了に進んで、たとえば、電源スイッチをオフにして動作を終了させる。
【００９４】
次にサブルーチンSUB1について図17を用いて説明する。サブルーチンSUB1を開始して、サブステップSS10に進む。このルーチンでは、最初に撮像部30の受光部において画素ずらしが行われていることにより生じる受光素子のない空隙領域、すなわち仮想画素の位置における画素データを補間生成する。ここで、画素データの補間生成とは、撮像部30に実在する受光素子PDから色フィルタCFを介すことにより供給される補色の画素データから原色の画素データを生成することである。さらにこの原色の画素データは、三原色R, G, B のうちの一つを生成する。この補間生成の色および画素配置関係を図18に示す。実在する受光素子PDは、実線で、仮想画素は破線で示す。また、これらの実線および破線の枠内に示した記号W, Cy, Ye, R, G, Bは色を表す。そして、これら色を表す記号に付す添字は、画素の位置を表す行例表示である。撮像部30は、２ラインずつ信号電荷を混合させて１ラインとして出力する。ところで、垂直方向に２ラインを見た場合、仮想画素が各列にあるので、２ライン混合して読み出しても各受光素子PDで得られた信号電荷はそのまま保存される。補色と原色には次のような関係が知られている。上述した色記号を用いてこの関係は、式(1)
【００９５】
【数１】
R=W-Cy
B=W-Ye
G=Cy+Ye-W                                                 ・・・(1)
で表される。
【００９６】
より具体的にこの補色の画素データを用いて仮想画素の位置に原色の画素データを補間生成すると、たとえば仮想画素10, 12, 01は、式(2) 〜式(4)
【００９７】
【数２】
R10=W11-Cy00                                              ・・・(2)
B12=W11-Ye02                                              ・・・(3)
G01=Cy00+Ye02-W11                                         ・・・(4)
によって得られる。この関係を用いて、各仮想画素の原色データを補間生成すると、図19に示す配置関係で原色の画素データが得られる。この配置関係は、色G が正方格子に配され、かつ色R, Bが完全市松に配された、G 正方格子RB完全市松パターンである。
【００９８】
次にサブステップSS12では、この仮想画素の位置における輝度データYhを求める。この場合、輝度データYhは、求める仮想画素の周囲にある３つの補色の受光素子PDからの画素データを用いて、式(5)
【００９９】
【数３】
Yh=Cy+Ye+W=(G+B)+(R+G)+(R+G+B)=2R+2B+3G                   ・・・(5)
により補間生成される。たとえば、色フィルタの３色Cy, W, Ye で囲まれた仮想画素01の輝度データYh03は、式(6)
【０１００】
【数４】
Yh03=Cy04+Ye02+W13                                        ・・・(6)
により得られる。単純にフィールド蓄積２ライン混合読出しした場合、この色フィルタでは２ラインのうち、上側のラインにある仮想画素しか補間生成できない。したがって、下側のラインに位置する仮想画素、たとえば添字10, 12, 14, 16, ・・・ の輝度データは、次の２ラインが読み出された際の画素データYe20, Cy22, Ye24, Cy26, ・・・ を用いて色Cy, W, Ye が囲むようにして算出する。仮想画素12における輝度データYh12は、式(7)
【０１０１】
【数５】
Yh12=Cy22+Ye02+W13                                        ・・・(7)
により得られる。このようにして仮想画素の位置における輝度データYhが市松状に得られる。得られた原色の画素データおよび輝度データYhは、色フィルタCFに原色を用いた場合よりも入射光量を有効に用いて算出されることになる。また、仮想画素の位置で算出した原色の画素データの配置に着目すると、図21から明らかなように、この仮想画素の補間生成によってG 正方格子RB完全市松パターンが得られる。一画面分の仮想画素における補間が終了したとき、サブステップSS12を終了してリターンに移行する。このリターンを介してサブルーチンSUB1を終了する。
【０１０２】
次にサブルーチンSUB2について説明する。サブルーチンSUB2では、サブルーチンSUB1で市松状の配置で得られる輝度データYhに基づいて補間処理を行う（図22のサブステップSS20) 。ここでの補間される位置は、実在する受光素子の位置である。この補間処理は、図23に示すように、すでに算出した原色に対応する画素（すなわち、仮想画素の位置）d(-3), d(-1), d(1), d(3)を実線で示し、形成した受光素子に対応する画素を破線で示し、４つの仮想画素の間の受光素子での輝度データを輝度データ補間機能部360cで行っている。受光素子に対応する画素dn(-4), dn(-2), dn(0), dn(2), dn(4) には、仮想画素との対応を考慮すると、何もデータが入っていない状態と同じ関係として扱う。すなわち、これらの画素には、ゼロが予め設定されている。たとえば、図23(a) に示すように画素dn(0) を水平方向に補間するとき、ディジタルフィルタのタップ係数をk0, k1, k2, k3, k4,・・・, knとして整理すると、高域成分を含む輝度データYh(0) が式(8)
【０１０３】
【数６】
0004077120.tif 000002
で表されるように得られる。ただし、この場合、図23(a) から明らかなように、ゼロのデータが交互に入るので、係数は２倍になる。この関係は、図23(a) におけるこの他の補間対象の画素dn(-4), dn(-2), dn(2), dn(4)に対しても当てはめまる。これらの補間処理が施されることにより、高域成分を含む輝度データYh(-4), Yh(-2), Yh(2), Yh(4)が得られる（図23(b) を参照）。
【０１０４】
また、垂直方向に対してもローパスフィルタ（LPF ）処理を輝度データ補間機能部360cでディジタルフィルタにより行う。この場合、既に水平方向の補間処理によって受光素子に対応する画素のデータが補間されているので、画素データは密に入っている。したがって、ローパスフィルタの係数は通常と同じにして済ませることができる。このようにして得られた高域成分を含む輝度データを図20に示したように行列表現で表すと、図24に示すように輝度データ補間機能部360cには高域成分を含む輝度データYhが作成される。この高域成分を含む輝度データYhに関し、以下の記載では高域輝度データと呼ぶことにする。これら水平方向および垂直方向のLPF 処理は、回路構成で行うだけでなく、ソフトウェア的に演算処理によっても行えることは言うまでもない。この算出後、得られた高域輝度データYhを高解像度プレーン補間機能部362cに供給する。
【０１０５】
次にサブルーチンSUB3においてすでに得られている三原色RGB のデータを用いてこれら三原色RGB のプレーン補間処理を行う。この処理は、図４に示した高解像度プレーン補間機能部362cのR 補間展開部3620、G 補間展開部3622およびB 補間展開部3624で行われる。R 補間展開部3620、G 補間展開部3622およびB 補間展開部3624には、仮想画素および受光素子の位置すべてに関して作成した高域輝度データYhが供給されるとともに、仮想画素の位置について得た三原色RGB データがそれぞれに供給されている。これらの供給される画素データを用いて色毎にそれぞれまだ算出していない色の画素データを仮想画素および受光素子に対して図25に示すフローチャートに従って補間する。この場合、画素データG の補間処理をサブステップSS30で最初に行う。このとき、得られた各仮想画素での三原色RGB データの配置パターンを図26に示す。図26では、既得の画素位置を実線で、未算出の画素位置を破線で示す。実線の画素の色パターンは、単板画素ずらし型G 正方格子RB完全市松のパターンになっている。さらに、図26に示した色パターンのうち、色G だけに着目すると、図27のパターンが得られる。このパターンは、画素データG を持たない画素、すなわち、仮想受光素子の対応する画素および既存の画素データを有していながら、色G と異なる色の画素を破線で表す。ここで、この画素データG を持たない画素を仮想画素と呼ぶ。補間処理には、４つずつ既存の画素データを用いる。
【０１０６】
図27のパターンが示すように、仮想画素G00 〜G50, G02〜G52, G04〜 G54, G06 〜G56 の各列、G10 〜 G16, G30 〜G36, G50〜G56 の各行の画素データを補間する場合、補間処理は隣接する４つずつの画素データG01, G03, G21, G23や画素データG03, G05, G23, G25等を用いる。また、補間に用いる画素データG に対応する図24の高域輝度データも用いて演算する。たとえば、補間対象である仮想画素の画素データG11 の補間は、同一の列方向の２つの画素に対応する既存データおよび高域輝度データならびに補間対象位置の高域輝度データを用いて、式(9)
【０１０７】
【数７】
G11=(G01+G21)/2-(Yh01+Yh21)/2+Yh11                        ・・・(9)
から得られる。式(9) の計算式を用いると、仮想画素G13 も同様に補間することができる。また、仮想画素G02 の補間は、同一の行方向の２つの画素に対応する既存データおよび高域輝度データならびに補間対象位置の高域輝度データを用いて、式(10)
【０１０８】
【数８】
G02=(G01+G03)/2-(Yh01+Yh03)/2+Yh02                        ・・・(10)
から得られる。式(10)の計算式を用いると、仮想画素G22 も同様に補間することができる。そして、４つずつの画素データG01, G03, G21, G23の中心に位置する画素データG12 は、これら４つの位置の画素データおよび高域輝度データを用いて、式(11)
【０１０９】
【数９】
G12=(G01+G03+G21+G23)/4-(Yh01+Yh03+Yh21+Yh23)/4+Yh12      ・・・(11)
から得られる。式(11)の計算式を用いると、仮想画素G14 も同様に補間することができる。画素データG03, G05, G23, G25を４つを一組のデータとみなして補間する場合、すでに画素データG13 は算出されているので、残る画素データG04, G24, G15 を算出すればよい。この処理を繰り返し行うことにより、画素データG のプレーン画像を作成する。ただし、プレーン画像の最外縁は、このような関係にならないので、厳密に補間を行う場合、境界値として設定しておくとよい。また、有効画面を考慮すると、この周辺部のデータは有効画面の範囲外にあるので算出しなくても構わない。
【０１１０】
次に画素データR の算出をサブステップSS32で行う。この場合も演算によって算出されたR での仮想画素は、実線で表し、受光素子があってもまたは仮想画素で色R と異なる色が算出された画素は破線で表す。色R の画素データは、図28に示すようにR10, R14, R32, R36, R50, R54しかない。この場合、サブステップSS32では、補間対象の仮想画素に対して斜めに隣接している画素データとこの位置に対応する図24の高域輝度データを用いる。たとえば、画素データR21 は、画素データR10, R32ならびに高域輝度データYh10, Yh32およびYh21を用いて、
【０１１１】
【数１０】
R21=(R10+R32)/2-(Yh10+Yh32)/2+Yh21                        ・・・(12)
によって算出される。同様に、仮想画素R23, R41, R43 も、式(12)と同じ関係にあるそれぞれ画素データR14, R32、画素データR50, R32および画素データR54 ，R32 を適用して算出する。画素R36 も考慮して算出すると、隣接斜め補間処理により仮想画素R25, R45も作成することができる。この結果が図29に示されている。
【０１１２】
次にサブステップSS34では、一つ前のサブステップSS32で算出された画素によって囲まれた画素を補間対象の画素とし、補間に際して算出されたこれら４つの画素データおよびその位置の高域輝度データYhを用いて補間処理を行う。たとえば、画素データR34 を中心に算出するとき、図29から判るように、その周囲の画素データR23, R25, R43, R45の位置のデータを用いて、式(13)
【０１１３】
【数１１】
R34=(R23+R25+R43+R45)/4-(Yh23+Yh25+Yh43+Yh45)/4+Yh34      ・・・(13)
によって算出される。式(13)に用いる画素データと同等の配置関係が周辺の画素から得られるとき、この補間を施すことによって、図30に示すように画素データR12, R30, R52 等も得られる。換言すると、補間対象の画素から見れば、補間に使用する画素データはすべて斜めに位置している。
【０１１４】
次にサブステップSS36では、これまでに得られた画素データを用いるとともに、これらの画素の内、補間対象の画素に対して上下左右に位置する画素データから補間を行う。たとえば、画素データR22 を中心に上下左右の４つの画素データおよびその位置の高域輝度データを用いて、式(14)
【０１１５】
【数１２】
R22=(R12+R21+R23+R32)/4-(Yh12+Yh21+Yh23+Yh32)/4+Yh22      ・・・(14)
によって算出される。同様の位置関係にある、たとえば、画素データR24, R42, R44 等は、式(13)に用いた画素データの位置関係に対応するデータを代入すると算出できる。さらに、図30の右側に画素が継続していると、画素データR26, R46も算出することができる。
【０１１６】
なお、図31に示すように周辺部には未補間の画素が残ってしまうので、この画素に対して周囲を囲む、たとえば３つの画素から補間するようにしてもよい。この補間の場合も前述した補間の手法を用いると、仮想画素の画素データR11 は、
【０１１７】
【数１３】
R11=(R10+R12+R21)/3-(Yh10+Yh12+Yh21)/3+Yh11               ・・・(15)
によって算出される。このようにしてこの他、画素データR13, R15, R20, R40, R51, R53, R55 が補間される。最終的に画素データR に関して第０行を除く、プレーン画面全体が補間される。
【０１１８】
次に画素データB に対する補間処理がサブステップSS38, SS40, SS42で行われる。サブステップSS38, SS40, SS42は、それぞれ、画素データB における隣接斜め補間処理、４つの補間データによる中央補間処理および上下左右の４画素による中央補間処理である。これらの補間処理は、前述した画素データR の補間処理（すなわち、サブステップSS32, SS34, SS36）に準拠している。これは、図28の画素データR と図32の画素データB の画素配置の関係から判る。すなわち、図32の画素データB の画素配置は、各色の添字に表される行列表示から、図28の画素データR を水平（すなわち、行）方向に２列ずつ全体にシフトした配置になっている。このことから、これまでの式(12)〜式(15)までの式を適用して仮想画素を補間する場合、行列表示で列の数字が２以上の右側で各画素データの添字の列の数字に+2だけ加算した関係で算出を行うとよい。たとえば、画素データB23 や画素データB43 は、式(12)の色R を色B に置換し、画素データR10, R32の位置関係を画素データB12, B34にして
【０１１９】
【数１４】
B21+2=(B10+2+B32+2)/2-(Yh10+2+Yh32+2)/2+Yh21+2
B23=(B12+B34)/2-(Yh12+Yh34)/4+Yh23                        ・・・(16)
B41+2=(B32+2+B50+2)/2-(Yh32+2+Yh50+2)/4+Yh41+2
B43=(B34+B52)/2-(Yh34+Yh52)/4+Yh43                        ・・・(17)
のように演算処理することにより算出される。また、画素データの行列表示における列の数字が２より小さい左側で各画素データの補間処理を行う場合には、画素データR14, R32を用いて画素データR23 を算出する関係を用い、色R の添字の数字から-2だけ減算させて算出するとよい。たとえば、画素データB21 は、
【０１２０】
【数１５】
B23-2=(B14-2+B32-2)/2-(Yh14-2+Yh32-2)/2+Yh23-2
B21=(B12+B30)/2-(Yh12+Yh30)/4+Yh21                        ・・・(18)
から得られる。他の式(13)〜式(15)においても同様の関係が成立している。この関係に注意してサブステップSS40, SS42で補間処理を行うと、画素データB に関するプレーン補間展開を行うことができる。この処理の後、サブステップSS44に進む。
【０１２１】
サブステップSS44では、プレーン補間展開が各色毎にすべて終了したかどうかの判定を行う。一連の処理がまだ終了していないとき（NO）、サブステップSS30に戻って処理を繰り返す。なお、各色毎にこの確認処理をおこなってもよい。また、一連の処理が終了したとき（YES ）、リターンに移行する。この移行後、サブルーチンSUB3の処理が終了し、サブステップSS22に進む。
【０１２２】
ここで、サブルーチンSUB3の処理により得られた三原色RGB の各データ等を信号が持つ周波数帯域として図33に表す。横軸は水平方向の周波数軸（fh）で縦軸は垂直方向の周波数軸（fv）である。図33のハニカム配置における空間周波数表示は、市松状で、かつ完全に交互にR/B が入れ換わるパターンで配される関係により実線RBの分布で表される。これに対して、画素G は、画素ずらしを含んだ４画素でストライプパターンに配されたことにより周波数が高く、画素R/B の周波数が範囲内に含まれるようになる。画素G の空間周波数は、ほぼfs/4で水平方向および垂直方向の周波数軸を通っている。補間処理により得られた高域輝度信号Yhは、画素G, R/Bを含み、帯域をfs/2まで延ばしている。
【０１２３】
また、各処理による色毎の周波数帯域について図34を用いて説明する。図34の横軸は、水平方向の空間周波数軸で縦軸は、信号レベルを表している。図34(a) の信号RBは、画素RBの撮像信号をディジタル変換した際の帯域を表している。図34(b) の高域輝度信号Yhは、輝度データ生成機能部362bで作成されたデータに対して信号としてみた場合の帯域を表している。この信号は高周波数側の遮断周波数がfs/2の近傍になっている。高解像度プレーン補間機能部362cでは、図34(a) および図34(b) を合成したと同じ補間処理が行われることにより、図34(c) に示す水平方向の空間周波数帯域にすることができる。このようにして得られるRGB それぞれのプレーン画像を高域成分のデータにしている。
【０１２４】
再びサブルーチンSUB2に戻ってサブステップSS22以降の動作を説明する。サブステップSS22では、これまでの信号処理により得られた三原色RGB データを用いてマトリクス処理を行う。この処理は色差マトリクス部364cで行う。このマトリクス処理により輝度データY 、色差データ(R-Y), (B-Y)が生成される。この処理後、サブステップSS72に進む。サブステップSS24では、広帯域にわたるLPF 処理を施す。この処理によって折り返し歪みの発生を抑制している。この処理は、アンチエリアシングフィルタ部366cで行う。この処理を経て色差データ信号(R-Y)=Cr, (B-Y)=Cbが得られる。また、輝度データY には、さらにアパーチャ調整が施される。この処理がサブステップSS26で行われる。アパーチャ調整は、図３のアパーチャ調整部368cで行われている。このように処理されて輝度データY が得られる。この処理の後、リターンに進み、サブルーチンSUB2を終了してディジタルカメラ10のメインルーチンに戻る。
【０１２５】
このような手順で各処理を行うことにより、最初補色系の色フィルタを介して撮像信号を得ることにより、入射光の光量を原色の色フィルタを適用した場合に比べて有効に用いることができるので、画素の感度を高めることができる。これによって、受光素子の感度領域がたとえ小さくても感度の低下を防ぐとともに、得られる信号を広帯域化することができる。
【０１２６】
次に前述した補間処理のうち、輝度データ生成における他の実施例を説明する。本実施例の輝度データ生成は、市松状の輝度データYhを生成する際に用いる画素データの相関に応じた適応処理を行う。本実施例は、図35に示すように、前述したサブステップSS10で得た仮想画素の位置における原色の画素データを基にサブルーチンSUB5で輝度データYhを生成する際に、用いる画素データを選択して行う。これにより、最適な画素データの組合せで輝度データYhが生成される。
【０１２７】
さらに、サブルーチンSUB5の適応選択の手順を図36〜図38を参照しながら説明する。まず、図36においてサブステップSS500 では、まず、モードが適応処理モードであるかどうかの判別を行う。適応処理モードの場合（YES ）、図36のサブステップSS502 に進む。また、モードが適応処理モードでなかった場合（NO）、接続子A を介して図38のサブステップSS504 に進む。
【０１２８】
次にサブステップSS502 では、斜め相関処理を行うかどうか選択を行う。斜め相関処理を行う場合（YES ）、サブステップSS506 に進む。また、斜め相関処理を行わない場合（NO）、接続子B を介してサブステップSS508 に進む。サブステップSS508 では、相関処理を行うかどうかの判定を行う。
【０１２９】
ところで、上述したサブステップSS504 では、適応処理モードと関係なく輝度データの算出が行われる。この処理を行うにあたり撮像部30のCCD イメージセンサにおいて図26に示したように仮想画素に対して原色の画素データが生成されている。ここで、添字は、各受光素子の画素としての位置を行列表現で表した際の位置である。また、前述したように図26の実在する受光素子の画素は実線で、仮想受光素子に対応する画素は破線で表している。基本的に輝度データY は、画素データG と画素データR, Bを用いて（0.5*R+0.5B）で算出できることが知られている。この場合も画素データG は、そのまま輝度データとみなして扱われる（画素データG=輝度データ）。また、画素データR, Bによる輝度データは、実在する受光素子の位置に対応する色がG でなくR/B の場合に、たとえば、図26の画素データR32 の位置に対する輝度データY32 は、画素データR32 とその周囲に位置する画素データB の４画素、すなわち画素データB12, B30, B34, B52を用いて
【０１３０】
【数１６】
Y32=R32/2+(B12+B30+B34+B52)/8                             ・・・(19)
から得られる。また、画素データB34 の位置に対応する輝度データY34 は、画素データB34 とその周囲に位置する画素データR の４画素、すなわち画素データR14, R32, R36, R54を用いて
【０１３１】
【数１７】
Y34=B34/2+(R14+R32+R36+R54)/8                             ・・・(20)
から得られる。周囲の画素を用いて補正する補正量はこれら４つの画素の総和を画素数を倍した数、すなわち 4×2=8 で割った値を作成対象画素の半値に加算して求めている。これは、算出した平均値に係数0.5 を掛けていることと同じである。各画素に対してこの演算を行って輝度データY が求められている。このようにして得られた結果、図20に示した輝度データの市松状のパターンが得られる。なお、このような演算は、後述するように斜め方向、垂直方向および水平方向に相関がないときにも行われる。
【０１３２】
次にサブステップSS506 では、この斜め処理を行う場合段階を踏んで行うかどうかの判定を行う。斜め処理を複数の段階を踏まえて行うと判定したとき（YES ）、サブステップSS510 に進む。また、斜め処理を複数の段階を経て行わないとするとき（NO）、サブステップSS512 に進む。
【０１３３】
ここで、サブステップSS510 では、比較データの算出を行う。算出に用いる画素データには、作成対象の画素データの色と同色の画素データを用いる。比較データARS は、たとえば、その対象の画素データがR32 の場合、周囲の画素データR10, R54, R14, R50を用いて、
【０１３４】
【数１８】
ARSL= ｜R10-R54 ｜                                        ・・・(21)
ARSR= ｜R14-R50 ｜                                        ・・・(22)
から得られる。添字“L ”, “R ”は、それぞれ斜め（S ）の傾斜が左斜めと右斜めにあることを示している。図26の配列をたとえば、反時計方向に45°回転させた場合、水平方向と垂直方向に対応する。算出した比較データARSLとARSRの値を用いてさらに相関値（ARSL-ARSR ）, （ARSR-ARSL ）が算出される。
【０１３５】
次にサブステップSS514 では、算出した相関値（ARSL-ARSR ）と新たに設けられた所定の判定基準値J0よりも相関値が大きいとき（YES ）、 ARSR の値が小さいことを示し、換言すると用いた画素データの値が似ていることを意味する。これにより、右斜め方向に相関があると判断してサブステップSS516 に進む。また、上述した条件が満たされないとき（相関値（ARSL-ARSR ）＜J0）（NO) 、この作成対象画素に対する右斜め相関がないとしてサブステップSS518 に進む。サブステップSS516 では、この場合、輝度データY32 が
【０１３６】
【数１９】
Y32=R32/2+(R10+R54)/4                                     ・・・(23)
から得られる。
【０１３７】
サブステップSS518 では、算出した相関値（ARSR-ARSL ）と所定の判定基準値J0よりも相関値が大きいとき（YES ）、左斜め方向に相関があると判断してサブステップSS520 に進む。また、上述した条件が満たされないとき（相関値（ARSR-ARSL ）＜J0）（NO) 、この作成対象画素に対する左斜め相関がないと判定してサブステップSS522 に進む。サブステップSS520 では、この場合、輝度データY32 が
【０１３８】
【数２０】
Y32=R32/2+(R14+R50)/4                                     ・・・(24)
から得られる。サブステップSS516 とサブステップSS520 の輝度データ算出後は、接続子C を介して図38のサブステップSS524 に進む。
【０１３９】
次にサブステップSS522 では、新たな比較データの算出を行う。ここで、算出に用いる画素データは、作成対象画素データの色と異なっている。たとえば、色G を用いて比較データを算出する。比較データAGS は、たとえば、その対象の画素データがR32 の場合、比較データAGS は、周囲の画素データG21, G43, G23, G41を用いて、
【０１４０】
【数２１】
AGSL= ｜G21-G43 ｜                                        ・・・(25)
AGSR= ｜G23-G41 ｜                                        ・・・(26)
から得られる。このサブステップでは算出した比較データAGSLとAGSRの値を用いてさらに相関値（AGSL-AGSR ）, （AGSR-AGSL ）も算出される。この処理後、接続子D を介して図37のサブステップSS526 に進む。
【０１４１】
次にサブステップSS526 では、算出した相関値（AGSL-AGSR ）と、たとえば、新たに設けられた所定の判定基準値J0a よりも相関値が大きいとき（YES ）、ここでもAGSRの値が小さいことから、用いた画素データの値が似ていることを推定する。これにより、右斜め方向に相関があると判断してサブステップSS528 に進む。また、上述した条件が満たされないとき（相関値（AGSL-AGSR ）＜J0a ）（NO) 、この作成対象画素に対する右斜め相関がないと判定してサブステップSS530 に進む。サブステップSS528 では、この場合、輝度データY32 が
【０１４２】
【数２２】
Y32=R32/2+(G21+G43)/4                                     ・・・(27)
から得られる。また、輝度データY32 は、式(22)から算出してもよい。
【０１４３】
サブステップSS530 では、算出した相関値（AGSR-AGSL ）と所定の判定基準値J0a よりも相関値が大きいとき（YES ）、左斜め方向に相関があると判断してサブステップSS532 に進む。また、上述した条件が満たされないとき（相関値（AGSR-AGSL ）＜J0a ）（NO) 、この作成対象画素に対する左斜め相関がないとしてサブステップSS508 に進む。サブステップSS532 では、この場合、輝度データY32 が
【０１４４】
【数２３】
Y32=R32/2+(G23+G41)/4                                     ・・・(28)
から得られる。また、輝度データY32 は、式(23)でもよい。サブステップSS528 とサブステップSS532 の輝度データ算出後は、接続子C を介して図38のサブステップSS524 に進む。
【０１４５】
ところで、サブステップSS506 において簡易的な斜め処理を選んだ場合、サブステップSS512 に進むことはすでに述べた。このサブステップSS512 では、比較データの算出を行う。比較データは、たとえば、適応処理を施す対象の画素データを中心にしてその周囲の画素データがどの方向に相関しているかの判別に用いる。たとえば、その対象の画素データがR32 の場合、比較データAGは、周囲の画素データG21, G23, G41, G43を用いて、
【０１４６】
【数２４】
AG= ｜G21+G43-(G23+G41) ｜                                ・・・(29)
から得られる。画素データが色R の場合について説明しているが、色B の場合も周囲の画素データG から算出する。この算出により、左右のいずれか一方に傾きを有する大きい方の値が比較データAGとして得られることになる。この演算の後、サブステップSS534 に進む。
【０１４７】
サブステップSS534 では、対象の画素データを挟んで斜めに位置する画素データに相関（すなわち、斜め相関）があるかどうか判定を行う。この判定には、判定基準値として新たにJ1が設定されている。比較データAGが判定基準値J1以上に大きいとき（YES ）、サブステップSS536 に進む。また、比較データAGが判定基準値J1よりも小さいとき（NO）、接続子B を介して図37のサブステップSS508 に進む。
【０１４８】
サブステップSS536 では、比較データAGの算出に用いた４つの画素データG を平均して輝度データY を算出する。作成対象の画素に対して複数の段階や簡易的な斜め方向に配された画素が相関しているかという判定により、少なくとも、図39(a) 〜(f) の６パターンが、たとえば、画素データR=R32 に対して判別されることになる。ところで、一般的に、図39(a) 〜(f) の斜線部分と斜線のない領域の近傍には偽色が発生してしまう虞れがある。しかしながら、境界近傍に位置する画素データR における輝度データY が、上述した演算により算出されると、画像全体として見た際に色境界での偽色の発生を良好に抑圧することができる。具体的な説明を省略するが画素データB=B34 に対してもサブステップSS514 〜SS520 、SS52〜SS532 およびSS534 からSS536 と同様に比較データを算出し斜め相関の有無に基づいた適応的な輝度データY を作成することができる。
【０１４９】
サブステップSS536 の処理の後、接続子C を介して図38のサブステップSS524 に進む。これにより、一連の斜め処理が終了する。サブステップSS534 で斜め処理を行わない場合（NO）、接続子B を介してサブステップSS508 に進む。このサブステップ以降、作成対象画素に対する水平・垂直方向の相関の有無に応じたデータ処理である。サブステップSS508 では相関処理をするかどうかの判定を行う。相関処理を受光素子（または色フィルタ）の広い範囲に関して他の方向、すなわち水平・垂直方向の相関を行う場合の判定である。この判定を行うとき（YES ）、サブステップSS538 に進む。この判定をしないとき（NO）、接続子A を介してサブステップSS504 に進む。
【０１５０】
サブステップSS538 では、比較データを算出する。ここでも画素データR=R32 に対する一例を挙げて説明する。この処理では画素データR=R32 に対する垂直方向の比較データABRVと水平方向の比較データABRHを周囲に配置されているもう一方の色の画素データ、すなわち画素データB を用いて式(30)、式(31)
【０１５１】
【数２５】
ABRV= ｜B12-B52 ｜                                        ・・・(30)
ABRH= ｜B30-B34 ｜                                        ・・・(31)
により算出する。算出した比較データABRV, ABRHの値を用いてさらに相関値（ABRH-ABRV ）, （ABRV-ABRH ）が算出された際に、新たに設けられた所定の判定基準値J2に対する各方向の相関値の大きさを比較して相関の有無を判定する手順を説明する。
【０１５２】
サブステップSS540 では、対象の画素データを挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う。この判定には、判定基準値としてJ2a が設定されている。比較データABRHと比較データABRVの差が判定基準値J2a 以上に大きいとき（YES ）、垂直相関があると判定してサブステップSS542 に進む。また、比較データの差(ABRH-ABRV) が判定基準値J2a よりも小さいとき（NO）、垂直相関がないものとみなしサブステップSS544 に進む。
【０１５３】
サブステップSS542 では、相関のあるということは画素データ同士の値が近いことを意味するから、画素データB12, B52を用いて輝度データY を算出する。この場合、輝度データY32 は、
【０１５４】
【数２６】
Y32=R32/2+(B12+B52)/4                                     ・・・(32)
により得られる。この後、この画素データにおける輝度データY の算出を終了したものとみなして接続子C を介して図38のサブステップSS524 に進む。
【０１５５】
次にサブステップSS544 では、対象の画素データを挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうか判定を行う。この判定には、判定基準値として前述したJ2b を用いる。比較データABRVと比較データABRHの差が判定基準値J2b 以上に大きいとき（YES ）、水平相関があると判定してサブステップSS546 に進む。また、比較データの差(ABRV-ABRH) が判定基準値J2b よりも小さいとき（NO）、水平相関がないと判定し、サブステップSS548 に進む。
【０１５６】
サブステップSS546 では、相関のあるとして画素データB30, B34を用いて輝度データY を算出する。この場合、輝度データY32 は、
【０１５７】
【数２７】
Y32=R32/2+(B30+B34)/4                                     ・・・(33)
により得られる。この後、この画素データにおける輝度データY の算出を終了したものとみなして接続子C を介してサブステップSS524 に進む。
【０１５８】
次にサブステップSS548 では、たとえば、作成対象画素である色R の画素に対する周囲の色B の画素の相関判定を行うかどうかを選択する。色R の画素が周囲の色B の画素の中央位置に配されているので、サブステップSS540, SS544における画素間の距離が短い。すなわち、たとえば、垂直方向において、画素R32 - 画素B12 、画素R32 - 画素B52 は、画素B12-画素B52 の半分の距離である。この関係は、作成対象画素と水平方向に位置する画素においても言える。したがって、前述した水平・垂直方向の相関判定に比べてより受光素子（または色フィルタ）の狭い範囲に対する相関の有無判定が以後の処理で行われることが判る。この相関判定を行う場合（YES ）、サブステップSS550 に進む。また、この相関判定を行わない場合（NO）、接続子A を介してサブステップSS504 に進む。この場合、先の判定基準値J2と異なる判定基準値J2a, J2bのいずれの基準を満たさなかったものと判定される。なお、以後の処理を行わない処理手順にしてもよい。
【０１５９】
サブステップSS550 では、再び比較データを算出する。この場合の比較データは、対象の画素データと周囲の画素データの各相関を求め、得られた各相関値を加算することにより垂直方向および水平方向に対する算出がされる。前述の場合と同様に画素データR32 に対する輝度データY の算出は、垂直方向の比較データACRVと水平方向の比較データACRHを周囲に配置されているもう一方の色の画素データ、すなわち画素データG を用いて、式(34)、式(35)
【０１６０】
【数２８】
ACRV= ｜G21-G41 ｜+ ｜G23-G43 ｜                          ・・・(34)
ACRH= ｜G21-G23 ｜+ ｜G41-G43 ｜                          ・・・(35)
により算出する。この処理の後、サブステップSS512 に進む。この比較データを用いることにより、より一層画素データの距離を作成対象の画素データと近づけて相関値が求められることになるので、先のサブステップSS540 〜SS546 の手順での相関判定の範囲よりも狭い範囲に関して相関の有無を調べることができる。この算出後、サブステップSS552 に進む。
【０１６１】
サブステップSS552 では、対象の画素データを挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う。この判定には、判定基準値としてJ3が設定されている（ここで、判定基準値J3は、水平と垂直用にJ3a, J3bと分けてもよい）。比較データACRHと比較データACRVの差が判定基準値J3以上に大きいとき（YES ）、垂直相関があると判定してサブステップSS554 に進む。また、比較データの差(ACRH-ACRV) が判定基準値J3よりも小さいとき（NO）、垂直相関がないと判定してサブステップSS556 に進む。
【０１６２】
サブステップSS554 では、前述したサブステップSS542 での処理と同じ処理を行う。したがって、演算には式(32)が用いられる。また、サブステップSS556 では、対象の画素データを挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうかの判定を行う。この判定にも判定基準値J3が用いられる。
【０１６３】
サブステップSS556 において、比較データの差(ACRV-ACRH) が判定基準値J3以上のとき（YES ）、水平相関があると判定してサブステップSS558 に進む。この場合、サブステップSS558 での輝度データY は、サブステップSS546 で前述したように画素データを用い、式(33)に基づいて算出される。この後、サブステップSS524 に進む。また、サブステップSS556 で比較データの差(ACRV-ACRH) が判定基準値J3より小さいとき（NO）、水平相関がないと判定して接続子A を介して図38のサブステップSS504 に進む。サブステップSS504 では、式(19)により対象の画素データと周囲のもう一方の色の画素データ（この場合、画素データB ）を加算平均し0.5 の係数を乗算して輝度データY を算出している。この算出後、サブステップSS524 に進む。
【０１６４】
サブステップSS524 では、市松状の輝度データのデータ作成が１フレーム分、完了したかどうかの判定を行っている。この判定は、たとえば、算出した輝度データY の個数をカウントし、このカウント値と受光素子の数とが一致するかどうかで容易に行うことができる。カウント値が受光素子の数より小さい値のとき（NO）、まだ処理が完了していないと判定する。この結果、輝度データY の算出処理を接続子E を介して図36のサブステップSS500 にまで戻して、これまでの一連の処理を繰り返す。また、カウント値が受光素子の数に一致したとき（YES ）、処理をリターンに移行させる。このリターンを経て処理をサブルーチンSUB1に移行させる。このようにして輝度データY を算出することにより、図20のように市松状の仮想画素の位置にデータが作成される。
【０１６５】
このように、図39および図40に示すような色境界を含む画像は、色境界の方向を相関の方向から推定することができる。ただし、図41に示すように輝度データの算出対象の画素R(=R32) に対して周囲の画素データB12, B30, B34, B52から算出する場合、水平方向または垂直方向の相関を特定することはできない。しかしながら、この適応処理を用いて輝度データを求めると、高画質かつ偽色の発生等を抑えた画像を得ることができる。
【０１６６】
次に本発明を適用したディジタルカメラ10の信号処理部36の第１の変形例について説明する。また、この信号処理部36の他の構成は、前述した構成をそのまま用い、同じ参照符号を付して説明を省略する。信号処理部36には、データ補正部36a 、仮想画素補間機能部360b、成分別生成機能部364b、擬似周波数加算部370c、周波数重複防止部（輝度プロセス）372c、信号調整部374c、およびRGB 変換部376cが備えられている。
【０１６７】
この場合、補間処理部36b は、仮想画素補間機能部360bおよび成分別生成機能部364bを含む。補間処理部36b は、受光し得られた補色の画素データから原色の画素データを生成し、この画素データを基に輝度データおよび色差データの生成を行うことに基づいて分類している。
【０１６８】
前述した補間処理部36b の構成と異なる点である成分別生成機能部364bを説明する。成分別生成機能部364bは、仮想画素補間機能部360bからの仮想画素に対して得られた画素データを基に正確な色再現重視、ならびに水平方向および／または垂直方向の解像度の重視を行うように信号成分別かつ帯域別の項目に応じた演算処理を施す。成分別生成機能部364bには、たとえば、高域成分生成機能部3640、低域成分生成機能部3642、低域色差成分生成機能部3644, 3646が含まれる。
【０１６９】
ここで、色再現が考慮された成分信号(YL)は、解像度を重視した成分信号(YH)に比べて周波数的に低い低域成分になっている。この成分別生成機能部364bは、たとえば、Yh・Ylow 作成法を用いて生の画素データから各画素のデータYh, Ylowをそれぞれ生成する。このデータYh, Ylowの生成時に正方格子状に画素ずらししながら展開して、入力データの空な仮想画素についての補間処理も行っている。成分別生成機能部364bは、図42に示すように低域色差成分生成機能部3644, 3646で色差信号(R-Y)L, (B-Y)Lについての演算処理も行う。このようにして得られたデータは、上述した２つの成分信号(YH, YL)および低域の色差信号(R-Y)L, (B-Y)Lとして図43の擬似周波数加算部370cに出力される。成分別生成機能部364bにおけるこの演算処理については後段で詳述する。
【０１７０】
また、広帯域信号処理部36c は、図43に示すように、擬似周波数加算部370c、周波数重複防止部372c、信号調整部374c、およびRGB 変換部376cを含む。広帯域信号処理部36c は、輝度信号に対してそれそれ処理を施して生成される輝度信号Y,色差信号(R-Y)L, (B-Y)Lを出力するとともに、さらに、これらの信号に信号調整部374cでたとえば、色差信号に振幅調整を施し、RGB 変換部376cに供給される信号成分に基づいてRGB 変換して三原色R, G, B データを出力する。広帯域信号処理部36c の構成をさらに説明する。
【０１７１】
擬似周波数加算部370cは、図44に示すように、加算器3700, アンチエリアシングフィルタ部3702, および加算器3704を備えている。加算器3700には、成分別生成機能部364bから供給される成分信号(YH)を一端側に減算入力させ他端側に成分信号(YL)を加算入力させてアンチエリアシングフィルタ部3702に出力する。アンチエリアシングフィルタ部3702には、加算器3700の他に高域成分の信号(YH)、低域色差成分生成部3644, 3646から低域の色差信号(R-Y)L, (B-Y)Lがそれぞれ供給されている。
【０１７２】
アンチエリアシングフィルタ部3702は、供給される成分信号にそれぞれ折り返し歪みが生じないようにディジタルフィルタを適用してローパスフィルタ処理を施している。また、アンチエリアシングフィルタ部3702は、図44に示すように低域の色差信号(R-Y)L, (B-Y)Lに対してもディジタルフィルタを用いてローパスのフィルタ処理を行っている。アンチエリアシングフィルタ部3702は、ローパスフィルタ処理された高域成分信号(YH)と低域成分信号(YL)を加算器3704に加算入力する。
【０１７３】
擬似周波数加算部370cは、周波数アロケーションを図45に示すと、加算器3700の出力(YL-YH)low（図45(a) を参照）と供給される高域成分信号(YH)（図45(b) を参照）とを加算器3704に供給して加算することにより、加算器3704からの出力を(YL-YH)low+YH （図45(c) を参照）にしている。ここで、(YL-YH)lowでの添字「low 」は、ローパスフィルタを通ったことを示している。擬似周波数加算部370cは、成分別生成機能部364bから出力される成分信号(YL), (YH)とを擬似周波数的に加算している。この加算により、輝度信号の広帯域化が図られる。擬似周波数加算部364bに供給される各成分信号は、それぞれ画像の水平方向／垂直方向にも方向成分を分けて供給されている。
【０１７４】
周波数重複防止（輝度プロセス）部372cは、成分別生成機能部364bで水平方向および垂直方向の両解像度が重視された成分信号に共通した周波数帯が含まれている場合、共通した周波数帯の重複を防止するように輝度信号(YL-YH)low+YH における水平方向と垂直方向の一方の成分信号において共通した周波数帯を帯域制限し、この信号と他方の成分信号とを加算する。この処理のため、周波数重複防止部372cは、図46に示すように、選択スイッチSW1 、切換スイッチSW2 、フィルタ部3720、および加算器3722を備えている。
【０１７５】
周波数重複防止部372cは、選択スイッチSW1 で擬似周波数加算部370cからの出力を両方向あるいは一方向の解像度重視かに応じて切り換えている。両方向の解像度重視の場合、選択スイッチSW1 は端子b を介して選択された信号を切換スイッチSW2 に供給する。切換スイッチSW2 は供給される信号の内、水平／垂直方向の解像度重視の信号を切り換える。ここで、切換スイッチSW2 は、端子a を介して、たとえば、垂直方向の解像度重視の信号をフィルタ部3720に送る。フィルタ部3720は、たとえば、垂直方向の解像度重視の信号の中で水平方向の解像度重視の信号に共通して含まれる周波数帯に対して帯域制限を施している。フィルタ部3720はハイパスフィルタである。加算器3722は、フィルタ部3720からの出力と切換スイッチSW2 の端子b から出力される、たとえば、水平方向の解像度重視の信号とを加算している。
【０１７６】
ここで、選択スイッチSW1 は、水平方向あるいは垂直方向の一方だけしか解像度を重視しないとき、たとえば、CPU 等を含むシステム制御部18から供給される選択信号18A によって端子a に切り換えられて、この端子a を介して信号が出力フィルタ部3720、加算器3722を迂回して周波数重複防止部372cから出力させている。また、切換スイッチSW2 もこの制御部から供給される水平／垂直切換信号18B に応じて切り換えられている。
【０１７７】
周波数重複防止部372cは、上述したような輝度プロセス処理により輝度信号(YL-YH)low+YH を水平／垂直方向の信号を合成しても異常が生じない輝度信号(Y) にしてRGB 変換部376cに供給している。また、アンチエリアシングフィルタ部3702からの低域の色差信号(R-Y)L, (B-Y)Lには、図43に示した信号調整部374c内に配した利得制御部3740, 3742でゲイン調整が施されてRGB 変換部376cに供給される。RGB 変換部376cは、供給された信号を基にこの内部の信号処理によって色再現、解像度の向上した三原色RGB を出力する。
【０１７８】
次にサブルーチンSUB1に水平・垂直方向の解像度の重視を考慮したサブルーチンSUB6およびサブルーチンSUB2に得られた信号に対する高解像度化を施すサブルーチンSUB7を適用した場合について説明する。サブルーチンSUB1では、前述したと同様に図47のサブステップSS10で仮想画素の位置における原色の画素データを算出する。このようにして得られた画素データを用いてサブルーチンSUB6に進む。この段階で仮想画素の位置で形成される色パターンは、G 正方格子RB完全市松パターンになっている。
【０１７９】
サブルーチンSUB6では、供給される画素データに図48の手順でYh・Ylow 作成法を施す。Yh・Ylow 作成法は、成分別生成機能部364bの低域成分生成機能部3642で読み出される画素データを用いる色フィルタの色に対応したYlow処理により色再現重視した低域成分の信号生成に関わる画素データと、高域成分生成機能部3640でYh処理により解像度重視した高域成分の信号生成に関わる画素データとを生成する際の演算処理方法である。
【０１８０】
この処理の説明において図49を用いる。ここでは図49に示すように、たとえば、５行４列を基本配列とする画素ずらしした２次元配置の場合について検討する。図49(a) の中の記号R, G, B は色フィルタCFの色であり、その添字は行列表示による位置を示し、前述した図26に示したように実線の正方形が仮想画素、破線の正方形が実在する受光素子を表している。この演算処理は画素および仮想画素を含めた各位置の添字10〜54、計20箇所でYhとYlowの値を求める。以下の説明ではその計算をいくつか具体的に例示しながら説明する。
【０１８１】
図48のサブステップSS600 では、Ylow処理において水平解像度を重視するか判断する。水平解像度を重視するとき（YES ）、サブステップSS602 に進む。また、水平解像度を重視しないとき（NO）、サブステップSS604 に移行する。
【０１８２】
サブステップSS602 では、Ylow処理において図49(b) の３行２列のエリアlowG3(一点鎖線), lowRB3(二点鎖線) 内にある画素データからRBあるいはGG間の補色の受光素子位置での原色画素データを補間し、かつ５行２列のエリア lowRB5(破線) にある仮想画素の画素データから補色の受光素子位置での色R あるいは色B の画素データを算出するとともに、G の画素はそのままの画素データを用いて低域成分の信号を生成する。
【０１８３】
ここで、この補間処理において受光素子位置を便宜上、仮想画素という。具体的には、たとえば、G 行の仮想画素Ylow20を求めるとき、画素データR10, G21, B30 を用いて仮想画素Ylow20は、
【０１８４】
【数２９】
Ylow20=0.3*R10+0.59*G21+0.11*B30                          ・・・(36)
から得られ、色R あるいは色B 行の画素データYlow32は、
【０１８５】
【数３０】
Ylow32=0.3*R32+0.295*(G23+G43)+0.055*(B12+B52)            ・・・(37)
から得られる。得られた画素データはメモリ等に記憶させておく。
【０１８６】
サブステップSS604 では、Ylow処理において垂直解像度を重視するか判断する。垂直解像度を重視するとき（YES ）、サブステップSS606 に進む。また、垂直解像度を重視しないとき（NO）、サブステップSS610 に移行する。
【０１８７】
サブステップSS606 では、前述した基本配列から読み出す画素データを組み換えて読み出す（画素データの組換え読出し）。この読出しの一例として元の基本配列に対して90°回転させた画素位置から画素データを読み出してもよい。この画素データの読み出した後、サブステップSS608 に進む。
【０１８８】
サブステップSS608 では、読み出された画素データを基にサブステップSS602 での画素位置と同じ関係を見い出す処理を行ってサブステップSS602 と同じ演算処理を施すとともに、得られた画素データを読出し位置に対応させて格納する。上述した読出し位置を回転させた例の場合、得られた画素データの配列を再び逆方向に回転または -90°回転させて元の基本配列の状態にした後、各画素と対応するメモリ等にデータを格納するようにしてもよい。
【０１８９】
次にサブステップSS610 では、Yh処理において水平解像度を重視するか判断する。水平解像度を重視するとき（YES ）、サブステップSS612 に進む。また、水平解像度を重視しないとき（NO）、サブステップSS614 に移行する。
【０１９０】
サブステップSS612 では、図49(c) の５行１列のエリアhRB5（一点鎖線）にある画素データに重み付け演算を行ってエリア中央に位置する画素データの算出、かつ３行１列のエリアhG3, hRB3(破線) にある画素データからエリア中央の仮想画素位置の画像データの補間を行うとともに、色G の画素はそのままの画素データを用いて水平方向の高域成分を生成する。このYh処理は、水平方向の解像度重視する処理である。具体的には、たとえば、色R,色B を用いて単独画素Yh30を求めるとき、垂直方向５ラインの画素データR10, B30, R50 を用いて画素データYh30は、
【０１９１】
【数３１】
Yh30=0.5*B30+0.25*(R10+R50)                               ・・・(38)
から得られ、データ算出対象の仮想画素Y20 に隣接する色R あるいは色B 行の画素データR10, B30を用いると、仮想画素Y20 は、
【０１９２】
【数３２】
Yh20=0.5*(R10+B30)                                        ・・・(39)
から得られる。また、仮想画素Y31 を求める場合、仮想画素Y31 の上下に隣接する画素データG21, G41を用いると、仮想画素Y31 は、
【０１９３】
【数３３】
Yh31=0.5*(G21+G41)                                        ・・・(40)
から得られる。色G が単独で存在する画素データに対してはそのままの画素データを用いる。したがって、たとえば、画素データY21 は、G21 をそのまま用いる。このような処理を撮像面全体に対して繰り返すことにより、水平解像度に関する撮像面の画素データおよび仮想画素データが求められる。この後、サブステップSS614 に進む。
【０１９４】
サブステップSS614 ではYh処理において垂直解像度を重視するか判断する。垂直解像度を重視するとき（YES ）、サブステップSS616 に進む。また、垂直解像度を重視しないとき（NO）、リターンに移行する。
【０１９５】
サブステップSS616 では、前述した基本配列から読み出す画素データの読出しを組み換える。この場合もサブステップSS606 の例と同様に読み出す画素位置を組み換えて読み出す。読出し組換え方法の一例には基本配列を90°回転させて読み出す方法がある。この処理の後、サブステップSS618 に進む。
【０１９６】
サブステップSS618 では回転させられた画素データを基にサブステップSS612 での画素位置と同じ関係を見い出してサブステップSS612 と同じ演算処理を施すとともに、得られた画素データの配列を、たとえば、読出し組換えに対応して -90°回転させて元の基本配列の状態にしてからメモリ等に格納する。一般的に、画素データの組換え読出しは、図49(d), (e)の破線に示すように読出し位置（あるいはエリア）を変えて読み出して水平／垂直方向の解像度重視処理が行われる。
【０１９７】
なお、このフローチャートでは、１つの基本配列に対する演算処理について説明したが、撮像部30から得られる画面の画像全体に対して演算処理する場合は、基本配列のエリアを水平および／または垂直方向に少しずつずらしながら、前述したエリアとの一致性をチェックし、かつこの処理手順を用いて演算を行う。また、ここで詳述しないが、このとき、画面の周辺領域に対する演算には、予め設定しておいた境界条件に応じて値を求めるとよい。
【０１９８】
このように処理した後、処理をリターンに移行してサブルーチンSUB6を終了する。この終了の後、メインルーチンに戻る。このサブルーチンSUB1のデータ処理により、水平・垂直方向に色・白黒（輝度）を重視した信号処理が行われ水平・垂直方向の低域および高域の成分信号YL, YHが生成される。このとき、このデータ処理により、仮想画素（すなわち、受光素子位置）の補間処理も同時に行っているので、正方格子状の展開処理もここで行われ、プレーンデータが得られることになる。
【０１９９】
次に本実施例のサブルーチンSUB2は、図50に示すようにサブルーチンSUB7で画素データを高解像度化する処理を施し、以後の処理を前述したと同様の手順で処理を行う。画素データを用いた広帯域化は、サブルーチンSUB7で、サブルーチンSUB6で得られた低域および高域の成分信号を基に輝度信号を広帯域化させることにより行う（すなわち、高解像度化）。サブルーチンSUB7には、後述するように擬似加算処理工程と帯域重複防止工程が含まる。図51のフローチャートに従いサブルーチンSUB7を開始してサブステップSS700 に進む。
【０２００】
サブステップSS700 では、サブルーチンSUB6で生成された低域成分の信号YLから解像度を重視した高域成分の信号YHを減算して(YL-YH)lowを得る（減算工程）。図44に示したように加算器3700での信号処理が対応している。この処理の後、サブステップSS702 に進む。
【０２０１】
サブステップSS702 では、加算器3700からの出力(YL-YH)lowと高域成分の信号(YH)に対してアンチエリアシングフィルタ部3702でそれぞれ折り返し歪みを防ぐ処理を施す（歪み防止工程）。アンチエリアシングフィルタ部3702には、この他、低域の色差信号(R-Y), (B-Y)も同様に処理されている。この信号処理の後にサブステップSS704 に進む。
【０２０２】
サブステップSS704 では、出力(YL-YH)lowと高域成分の信号(YH)を加算する（第２の加算工程）。この加算処理が擬似周波数的に加算処理である。これにより、図45に示した周波数アロケーションから明らかなように輝度信号（Y=(YL-YH)low+YH ）が広帯域化する。したがって、擬似加算処理工程は、サブステップSS700 〜SS704 までの処理とみなすことができる。
【０２０３】
次にサブステップSS706 では、サブルーチンSUB6で水平および垂直方向の両方に対して解像度を重視した処理が施されたか判断する。両方に対して解像度を重視した処理が施されていたとき（YES ）、サブステップSS708 に進む。また、一方に対してしか解像度を重視した処理が施されていないとき（NO）、リターンに移行する。この選択が選択スイッチSW1 によって行われる。
【０２０４】
サブステップSS708 では、サブステップSS704 までに行われた両方向の解像度重視した信号に共通した周波数帯の内、垂直方向の解像度重視した信号の共通した周波数帯を帯域制限する（帯域制限工程）。たとえば、図46に示すように垂直方向の高域成分の信号に帯域制限を施すとき、この成分信号が、図46の周波数重複処理部372cのフィルタ部（HPF ）3720に供給するように切換スイッチSW2 が水平／垂直方向の信号を切り換えている。フィルタ部3720は、垂直方向の解像度重視した信号において水平方向の解像度重視した信号と共通した周波数帯以外の周波数だけを通すハイパスフィルタである。水平／垂直方向の解像度重視した信号は、図52(a), (b)に示すように、それぞれ、横軸を周波数軸f(h), f(v)、縦軸をレスポンスレベルR(h), R(v)で表される。フィルタ部3720を通した後、垂直方向の解像度重視した信号は、図52(c) に示すような周波数分布になる。
【０２０５】
次にサブステップSS710 では、フィルタ部3720からの出力と共通した周波数帯を含む他方向、すなわち、水平方向の高域成分の信号を加算する（加算処理工程）。水平／垂直方向の成分信号を水平／垂直方向の周波数軸(fh, fv)上に表すと、図52(a) の信号と図52(c) の信号を加算器3722で加算することにより、図52(d) に示す周波数分布が得られる。これにより、両方向の画像信号を重ねて画像信号を広帯域化させても得られた画像に異常を来すことなく、高解像度な画像を供給することができるようになる。この後、リターンに進み、サブルーチンSUB7を終了する。さらに、メインフローチャートに戻る。
【０２０６】
上述した帯域重複防止工程には、サブステップSS708, SS710での処理に相当している。画素に対応した成分信号の広帯域化は、水平／垂直の周波数分布でチェックできる。この比較として図52に正方格子をG 正方格子とこのG 正方格子に対してピッチの半分の距離だけずらしたRB完全市松パターン（以下、単板画素ずらし型G 正方RB完全市松フィルタパターンという）に配置した際の周波数分布と高域の成分信号(YH)を作成したときの周波数分布をそれぞれ示す。ここで、比較基準として従来の150 万個の受光素子に正方格子状にG ストライプRB市松パターンに配置した場合、RGB のパターンは、図53(a) のように水平／垂直周波数軸fh/fv をそれぞれ2 と1 の位置を切る周波数分布で表される。
【０２０７】
このパターンから高域の成分信号(YH)を生成した際の周波数分布は、図53(b) に示すように水平／垂直周波数軸fh/fv をそれぞれ2 と2 をそれぞれ切るので、正方形になる。画素数を倍の300 万画素に増やすと、図53(c) の周波数分布は、比較基準に対し(2)1/2倍に大きく、すなわち水平／垂直周波数軸fh/fv 上で1.4 と2.8 をそれぞれ取ることになる。したがって、高域の成分信号(YH)の周波数分布は、図53(d) のように帯域が広がる。
【０２０８】
本発明を適用して補色フィルタを半ピッチずつ水平および垂直方向に画素ずらしした受光素子から原色の画素データを仮想画素の位置に生成し、その際の原色の画素データの色パターンがたとえば、単板画素ずらし型G 正方RB完全市松フィルタパターンで、かつ画素数が300 万個の場合、図53(e) に示す周波数分布は、水平／垂直周波数軸fh/fv 上で2 と2 を切る分布になる。高域の成分信号(YH)の周波数分布は、図53(f) のように水平方向と垂直方向の各成分が交差する点では、擬似加算処理のため、4 になる。このような周波数特性を得るには、画素数を倍の600 万個に増やして水平／垂直周波数軸fh/fv 上での値を4 と2 にしたときの高域の成分信号(YH)の周波数分布に相当している（図53(g), (h)を参照）。
【０２０９】
ディジタルカメラ10は、補色系の色フィルタを用い、少ない画素数でありながら、このように画素の配置およびその配置の受光素子からの（生の）画素データに基づいて原色の画素データを算出する信号処理を施して得られた成分信号の周波数帯域を広帯域化することにより、得られる画像を高品質なものにしている。
【０２１０】
また、サブルーチンSUB6でのYh・Ylow 作成法による演算に限定されるものでなく、水平／垂直方向の解像度を重視したYhの画素データの生成には、画素データのうちで生成した色R, Bに対応する画素データをそのまま用い、仮想画素位置( 受光素子) の画素データを隣接する行（すなわち、上下の画素データ）あるいは列（すなわち、左右の画素データ）の画素データに重み付けして補間処理を行ってもよい。図49に示す画素ずらし基本配列のパターン配置では、色R,色B の画素データをそのまま用い、上下の画素データから補間すると、画素、および仮想画素位置のYhは、たとえば、
【０２１１】
【数３４】
Yh10=R10,
Yh11=0.5*G21+0.5*G21*Yh12,
Yh12=B12,
Yh13=0.5*G23+0.5*G23,
Yh20=0.5*R10+0.5*B30,
Yh21=G21,
Yh22=0.5*B12+0.5*R32,
Yh23=G23,・・・・                                             ・・・(41)
として求めることができる。色R,色B の画素データをそのまま用い、左右の画素データから補間するとき、上述したYh10, Yh11, Yh12, Yh13, Yh21, Yh23の算出方法は同じであるが、Yh20とYh22はYh20=0.5*G21+0.5*G21, Yh22=0.5*G21+0.5*G23から求める。
【０２１２】
この他、Yhの作成には、たとえば、Yh32を算出する際にYh32に隣接する上下左右斜めに位置する色フィルタのG に対応する４つの画素データG21, G23, G41, G43だけを用いて相関検出を行って相関値｜G21-G43 ｜と｜G23-G41 | を算出する。次に、得られた相関値の大きい方の画素データを用いて直線補間を行ってYh32の値を算出し、この位置関係にある同じ配置の画素データについてYhの計算を繰り返す。さらに、ここで求めたYhの値を用い他の画素を算出する。このとき、最初の直線補間で得られた画素データを含めた３つの画素データで囲まれる仮想画素の位置の画素データを求めるように相関検出を行う。この相関検出の処理結果に応じて直線補間を行って、繰り返し処理することにより、パターン全面の画素および仮想画素のYhを算出している。また、この直線補間の代わりに最初の直線補間工程で得られた画素データを含めた３つの画素データで囲まれる仮想画素の位置の画素データに対して４つの画素データを用いて加重平均するようにしてもよい。
【０２１３】
なお、この実施例では、画像データを生成する段階で正方格子状の展開処理も行ったが、受光素子からの仮想画素位置の画素データだけに対して広帯域化し、得られた広帯域な画素データを基に原色の画素データのない受光素子位置の画素データを補間して画素データを増やし正方格子状の配列になるように展開処理を行うようにしてもよい。
【０２１４】
次にディジタルカメラ10における信号処理部36の第２の変形例について説明する。本実施例でも色フィルタは、前述と同様にW 正方格子CyYe完全市松パターンを用いる。撮像部30は、受光素子PDで得られた信号電荷を電圧で表される信号に変換して出力する。この信号に前処理、A/D 変換が施されたディジタル信号が信号処理部36に供給される。本実施例の信号処理部36には、図54に示すように補間処理部36b 内に仮想画素補間機能部360bとともに、プレーン補間展開機能部366bが備えられている。また、広帯域信号処理部36c には、色差マトリクス部364c、輪郭信号発生部378c、および加算器380cを備えている。
【０２１５】
プレーン補間展開機能部366bは、三原色R, G, B の各色に着目し実在する受光素子位置の原色の画素データも含めた面データにする際に色再現をも考慮して３つの成分信号にそれぞれ補間展開させる演算処理部である。この機能が図55のサブルーチンSUB1に含む。プレーン補間展開機能部366bは、三原色RGB に対応したR プレーン補間展開機能部3660、G プレーン補間展開機能部3662、およびB プレーン補間展開機能部3664を備えている。これら各部の処理については後段の処理手順（サブルーチンSUB8）で詳細に説明する。
【０２１６】
色差マトリクス部364cは、プレーン補間展開部366bから得られる３つの成分信号を基に色差信号および輝度信号を生成する。
【０２１７】
輪郭信号発生部378cは、輪郭強調データ生成機能部3780と、周波数重複防止部3782とを備えている。輪郭強調データ生成機能部3780は、G プレーン補間展開機能部3662から供給される色G の画素データを用いて相関検出を行い、次に得られた相関検出の高い方のデータを用いて補間処理を行う機能を有する。この補間処理では、当然原色の画素データのない受光素子の位置についても画素データを補間している。これら一連の補間を伴う輪郭強調処理は、図57のサブルーチンSUB2のうち、サブルーチンSUB9で行う。このようにして得られた画素データが輪郭強調データ生成機能部3780から周波数重複防止部3782に供給される。周波数重複防止部3782は、たとえば、供給される水平および垂直方向の解像度重視した信号のうち、一方の方向の信号と他方の信号とに共通の周波数帯が存在するとき、たとえば、一方の信号に対して共通の周波数帯を帯域制限する。このように生成された信号が図54に示す加算器380cに供給される。加算器380cは、色差マトリクス部364cからの出力と周波数重複防止部3782の出力を加算して輝度信号Y を輪郭強調させる。
【０２１８】
なお、プレーン補間展開機能部366bに供給される前のデータから解像度を重視した高域成分信号(YH)の基となる画素データを生成するようにしてもよい。この場合、輪郭強調データ生成機能部3780がこの画素データと、たとえば、Yh・Ylow 法のうち、Yhの算出方法とを用いて高域成分信号(YH)を生成する。この画素データの生成時、輪郭強調データ生成機能部3780は、データを正方格子状に展開生成し周波数重複防止部3782に供給する。周波数重複防止部3782は、たとえば、水平および垂直方向の解像度重視した信号が供給され、水平・垂直方向の信号内、一方の方向の信号と他方の信号とに共通の周波数帯が存在するとき、たとえば、一方の信号に対して共通の周波数帯を帯域制限し、この信号と他方の信号とを合成して加算器380cに出力する。この出力信号は、前述した実施例の高域の成分信号(YH)で輪郭強調させる信号として用いる。
【０２１９】
加算器380cは、輪郭信号発生部378cからの出力と色差マトリクス部364cからの輝度信号をそれぞれ加算入力する。この加算により輝度信号の輪郭が強調されるようになる。
【０２２０】
次に本実施例の信号処理部36の信号処理の手順について説明する。信号処理部36は、これまでと同様に色フィルタ、W 正方格子CyYe完全市松パターンを配した撮像部30から得られる画素データに補正を施して、これにより得られる画素データを用いて、仮想画素補間処理部360bで仮想画素位置で原色の画素データを生成する。この画素データの三原色R, G, B の各色に着目し、プレーン補間展開機能部366bでは仮想画素の位置で補間された色以外の画素データおよび受光素子位置での三原色の各画素データが補間される。この補間では、プレーン補間展開を行う際に、色再現を考慮した三原色R, G, B の着目対象の色を含む行（水平）あるいは列（垂直）に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む行に対して隣接する行あるいは列の画素データを平均して行う。このプレーン補間展開のサブルーチンSUB8についてさらに説明する。サブルーチンSUB8に移行すると、すぐにサブステップSS800 に進む。サブステップSS800 では、R プレーンにおいて水平方向の補間展開を行う。この補間は、原色R の着目対象の色を含む行に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む行、すなわち、R 画素のない行に対して隣接する行の画素データを用い平均して補間する。具体的には、図26の色R10 〜R54 までの配列（５行５列）を基に説明すると、R プレーン補間展開機能部3660は、たとえば、
【０２２１】
【数３５】
Rlow10H=R10,
Rlow11H=(3*R10+R14)/4,
Rlow12H=(2*R10+2*R14)/4,
Rlow13H=(R10+3*R14)/4,
Rlow14H=R14,・・・・                                          ・・・(42)
等の演算を行ってサブステップSS802 に進む。
【０２２２】
サブステップSS802 では、G プレーンにおいて水平方向の補間展開を行う。この補間は原色G の着目対象の色を含む行に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む行、すなわち、G 画素のない行に対して隣接する行の画素データを用い平均して補間する。具体的に図26の画素ずらし基本配列を基に説明すると、G プレーン補間展開機能部3662は、たとえば、
【０２２３】
【数３６】
Glow10H=G21/3,
Glow11H=G21/2,
Glow12H=(G21+G23)/4,
Glow13H=G23/2,
Glow14H=G23/3,
Glow20H=G21/2,
Glow21H=G21,
Glow22H=(G21+G23)/2,
Glow23H=G23,
Glow24H=G23/3,・・・・                                        ・・・(43)
等の演算を行ってサブステップSS804 に進む。
【０２２４】
サブステップSS804 では、B プレーンにおいて水平方向の補間展開を行う。この補間は原色B の着目対象の色を含む行に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む行、すなわち、B 画素のない行に対して隣接する行の画素データを用い平均して補間する。具体的に図26の画素ずらし配列を基に説明すると、B プレーン補間展開機能部3664は、たとえば、
【０２２５】
【数３７】
Blow10H=B12/3,
Blow11H=B12/2,
Blow12H=B12,
Blow13H=B12/2,
Blow14H=B12/3,
Blow20H=(3*B30+B12)/4,
Blow21H=(3*B30+2*B12)/4,
Blow22H=B12/2,
Blow23H=(2*B12+3*B34/4,
Blow24H=2*B12/3,・・・・                                      ・・・(44)
等の演算を行ってサブステップSS806 に進む。
【０２２６】
サブステップSS806 以降では、垂直方向のプレーン補間展開を行う。この補間は、三原色R, G, B の着目対象の色を含む列に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む行に対して隣接する列の画素データを平均して補間を行う。サブステップSS806 では、R プレーンにおいて垂直方向に補間展開を行う。この補間は、原色R の着目対象の色を含む列に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む列、すなわち、R 画素のない列に対して隣接する列の画素データを用い平均して補間する。具体的に図26の画素ずらし配列を基に説明すると、R プレーン補間展開機能部3660は、たとえば、
【０２２７】
【数３８】
Rlow10V=R10,
Rlow20V=(3*R10+R50)/4,
Rlow30V=(2*R10+2*R50)/4,
Rlow40V=(R10+3*R50)/4,
Rlow50V=R50,・・・・                                          ・・・(45)
等の演算を行ってサブステップSS808 に進む。
【０２２８】
サブステップSS808 では、G プレーンにおいて垂直方向の補間展開を行う。この補間は原色G の着目対象の色を含む列に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む列、すなわち、G 画素のない列に対して隣接する列の画素データを用い平均して補間する。具体的に図26の画素ずらし配列を基に説明すると、G プレーン補間展開機能部3662は、たとえば
【０２２９】
【数３９】
Glow10V=G21/3,
Glow20V=G21/2,
Glow30V=(G21+G41)/4,
Glow40V=G41/2,
Glow50V=G51/3,
Glow11V=G21/2,
Glow21V=G21,
Glow31V=(G21+G41)/2,
Glow41V=G41,
Glow51V=G41/3,・・・・                                        ・・・(46)
等の演算を行ってサブステップSS810 に進む。
【０２３０】
サブステップSS810 では、B プレーンにおいて垂直方向の補間展開を行う。この補間は原色B の着目対象の色を含む列に対して画素データを重み付け平均して補間し、かつ着目対象の色と異なる色を含む列、すなわち、B 画素のない列に対して隣接する列の画素データを用い平均して補間する。具体的に図26の画素ずらし配列を基に説明すると、B プレーン補間展開機能部3664は、たとえば、
【０２３１】
【数４０】
Blow10V=B30/3,
Blow20V=B30/2,
Blow30V=B30,
Blow40V=B30/2,
Blow50V=B30/3,
Blow11V=(3*B12+B30)/4,
Blow21V=(3*B12+3*B30)/4,
Blow31V=B30/2,
Blow41V=(3*B30+3*B52)/4,
Blow51V=B52/2,・・・・                                        ・・・(47)
等の演算を行ってサブステップSS812 に進む。
【０２３２】
サブステップSS812 では、プレーン補間機能部366b内において正確な色再現を重視した水平方向の輝度信号(YLH) としてのデータを生成する。ここで、輝度信号(YLH) 、すなわちYlowは、これまで求めた各位置でのRlow, Glow, Blowを用いて、
【０２３３】
【数４１】
Ylow=0.3*Rlow+0.5*Glow+0.11*Blow                          ・・・(48)
によって計算する。この生成にあたり、水平方向の解像度を重視した輝度信号(Y LH)は、サブステップSS800 〜SS804 でプレーン補間されたR, G, B を用いて算出される。
【０２３４】
次にサブステップSS814 では、式(48)を用いてプレーン補間機能部366b内において正確な色再現を重視した垂直方向の輝度信号(YLV) として生成する。この生成にあたり、垂直方向の解像度を重視した輝度信号(YLV) は、サブステップSS806 〜SS810 でプレーン補間されたR, G, B を用いて算出される。このようにして算出されたデータが色差マトリクス部364cに出力される。これらの演算処理の後、リターンに移行してサブルーチンSUB8を終了する。このように処理することにより、RGB プレーン補間展開するとともに、隣接するRGB 間の仮想画素位置のデータも算出されたことになる。このようにサブルーチンSUB8では、RGB の各色についてのプレーン補間展開およびこの展開後の各位置に対するYlowの値を算出し、さらにこの値に対応する信号を出力する。サブルーチンSUB8では水平／垂直方向のプレーン補間展開をそのまま行うように説明したが、サブステップSS800 とSS806 の前にそれぞれプレーン補間展開の演算処理を行うかどうか判断させるようにしてもよい。
【０２３５】
得られた画素データおよび信号を用いて輝度データの広帯域化を図る処理をサブルーチンSUB2で行う。特に、この場合、サブルーチンSUB2では図57に示すようにたとえばマトリクス処理（サブステップSS22）を行った後に、輪郭強調処理が前述した方法と異なる手順で行われる。この手順をサブルーチンSUB9に示す。サブルーチンSUB9では、図58に示す手順に従って、水平方向および／または垂直方向の高域成分の信号(YH)を生成する処理を行う。この処理は輪郭信号発生部378cで行う。サブルーチンSUB9では、まずサブステップSS900 に進む。
【０２３６】
サブステップSS900 では、色G のプレーンデータを用いて水平方向の高域成分に対応する画素データを生成する。このデータ生成には前述したサブルーチンSUB1で用いたYh・Ylow 法のうち、Yhを算出する手順だけを用いてもよい。ところで、前述した手順と別な手法でも輪郭強調に用いる画素データを生成できる。この方法を簡単に説明する。一般的に、原色G の信号のレベル変化は映像信号における輝度の変化に大きく影響することを知っている。この方法は、この影響が他の原色R, Bの展開に反映させることに基づいて行う。たとえば、図59を用いて簡単に原理を説明する。この一例は、R プレーン補間展開で図59に示す未知のR11 を求める場合である。ただし、この図は、直接的に図26を表していない。この際に、G20, G11, G22, R20, R22 の既知の信号レベルを用いる。この補間処理には、G20, G22の加重平均値ΔG とR20, R22の加重平均値ΔR が等しいと近似されると仮定を用いる（ΔG ＝ΔR ）。この関係を用いれば、加重平均する際の各重み係数も既知の値であるから、未知の画素データR11 は容易に算出される。この手順を繰り返してR プレーン補間展開してもよい。原色B 信号の補間も同様に行うことができる。このようにしてR, B展開補間させることができる。この後サブステップSS902 に進む。
【０２３７】
サブステップSS902 では、色G のプレーンデータと上述した関係とを用いて垂直方向の高域成分に対応する画素データを生成してサブステップSS904 に進む。
【０２３８】
サブステップSS904 では、サブステップSS902 までに水平および垂直方向の信号が得られたとき、共通の周波数帯が重複することを防止するため一方の信号に帯域制限を施し、この信号と他方の信号を加算して加算器380cに出力する。
【０２３９】
次にサブステップSS906 では、輪郭強調処理を行う（輪郭強調工程）。この処理のために加算器380cが用いられる。加算器380cは、一端側に色差マトリクス部364cからの輝度信号Y を加算入力させ、他端側には輪郭信号発生部378cからの水平方向および／または垂直方向の解像度の重視の高域成分の信号を加算入力させている。この両信号を加算することにより、出力される輝度信号は輪郭が強調された信号になる。この一連の処理によってRGB の各色毎にプレーン展開し、色差マトリクスして得られた輝度信号に高域成分の信号を加算して輪郭強調を施している。この輪郭強調が終了すると、リターンに移行してサブルーチンSUB9の処理を終了する。本実施例のように、この一連の処理によってRGB の各色毎にプレーン展開して得られた輝度信号に輪郭強調を施している。このように構成しても撮像信号の高画質化を図ることができる。
【０２４０】
前述したディジタルカメラ10の信号処理部36の構成をそのままに（第２の変形例；図42および図43を参照）、撮像部30の前面に形成する色フィルタに４色完全市松パターンを用いた場合について説明する。このパターンを使用することにより、撮像部30は、信号電荷の読出しを単に３ラインずつ、または１ラインずつシフトさせながら３ライン単位に行う（図60を参照）。後者の信号読出しはMOS タイプの撮像で行うことができる。前者の読出しで後者の信号供給を行う場合、一旦、非破壊型のバッファメモリに記憶させ、前述したシフトを考慮したデータ読出しを行うと実現できる。このように信号処理部36は、これまで２ラインずつ供給して補間した場合と異なり、３ラインの画素データから仮想画素位置での補間を行う。信号処理部36は前述の実施例と同じものを用いる。各部と各手段の対応は成分別生成機能部364bが帯域別データ生成手段に相当し、広帯域信号処理部36c が高域化処理手段である。
【０２４１】
このように構成した信号処理部36の処理手順について説明する。信号処理部36では、データ補正した画素データが仮想画素補間機能部360bに供給される。ここでの概略的な処理手順は前述した実施例と同じであるが（図47および図50を参照）、補色の画素データから原色の画素データを生成する計算式が異なる。この計算式は、３つの補色Mg, Cy, Yeおよび原色G の画素データを用いて
【０２４２】
【数４２】
R=0.95Mg+1.37Ye-0.43G-0.85Cy
G=-0.15Mg ＋0.48Ye+0.68G+0.05Cy
B=1.00Mg-0.90Ye-0.50G+1.40Cy                                    (49)
で三原色RGB の各画素データを生成する。より具体的に各原色の画素データを生成するとき、たとえば、仮想画素12に対して周囲に位置する４つの受光素子Mg02, Ye11, Cy13, G22 を用いる。仮想画素12における三原色RGB は式(49)を用いて、
【０２４３】
【数４３】
R12=0.95Mg02+1.37Ye11-0.43G13-0.85Cy22
G12=-0.15Mg02 ＋0.48Ye11+0.68G13+0.05Cy22
B12=1.00Mg02-0.90Ye11-0.50G13+1.40Cy22                          (50)
により得られる。
【０２４４】
その次のラインにおける仮想画素23の三原色RGB は式(49)を用いて、
【０２４５】
【数４４】
R23=0.95Mg24+1.37Ye33-0.43G22-0.85Cy13
G23=-0.15Mg24 ＋0.48Ye33+0.68G22+0.05Cy13
B23=1.00Mg24-0.90Ye33-0.50G22+1.40Cy13                          (51)
により得られる。このように３ラインずつ供給される補色および原色の画素データが供給されて際に周囲のこれら４画素を用いて原色の画素データが生成される。この仮想画素における三原色RGB の画素データがジグザグに生成される。色および輝度の低域成分には、しかしながら、広帯域信号処理部36c でLPF 処理が施されることから問題とならない。
【０２４６】
次にサブルーチンSUB6における処理を簡単に説明する。図48に示したサブステップSS602 やサブステップSS608 における低域輝度成分、低域色差成分は、生成した画素データでG 正方格子CyYe完全市松パターンを考慮し、このパターンに対応する位置から得られる画素データからYlowを生成する。また、図48のサブステップSS612 やサブステップSS618 において行う高域成分生成は、式(52)
【０２４７】
【数４５】
Yh=2*G+Mg=2*G+R+B                                               (52)
で求める。図61の色G の受光素子位置では、たとえばG00 における輝度データYh00を、
【０２４８】
【数４６】
Yh00=G00+Mg02                                                   (53)
Yh00=G00+Mg20                                                   (54)
のいずれかにより求める。
【０２４９】
また、シアンCyと黄色Yeの間の仮想画素位置におけるYhの算出は、式(55)
【０２５０】
【数４７】
Yh=Ye+Cy=2*G+R+B                                                (55)
を用いて行う。高域成分は、たとえば、画素データYe11およびCy13または画素データYe11およびCy31を用いて
【０２５１】
【数４８】
Yh12=Ye11+Cy13                                                  (56)
Yh21=Ye11+Cy31                                                  (57)
の縦横型適応補間により得られる。式(52)と式(55)から判るように、色G の単独での高域成分の算出は、画素データG を２倍してマゼンタの画素データを加算して式(55)の算出関係と同じになるようにしている。生成した画素データや高域成分等はまだプレーンに算出されていない。この算出されていない位置のデータを算出するため、前述したLPF による補間を用いて全面のデータを算出する。
【０２５２】
これ以後のサブルーチンSUB2の処理は、前述した処理と同じに行う。また、この高域成分を輪郭強調信号として変形例に適用することもできる。このように構成して信号処理をほどこすことによっても、光の利用効率が高く、得られた撮像信号をより一層高画質化させることができる。
【０２５３】
この他の補間処理方法について簡単に説明する。色フィルタは再びW 正方格子CyYe完全市松パターンを用いた場合である。この補間方法は、受光素子の実在する位置に色W の画素データ（輝度データに相当) を生成する方法である。この方法では、まず、図18のパターンが示すように画素データCy22の位置に対して周辺に位置する画素データYe02, Ye20, Ye24, Ye42およびCy22を用いて、
【０２５４】
【数４９】
W22=Yh22=(Ye02+Ye20+Ye24+Ye42)/4+Cy22                           (58)
により色W22 （輝度データ）を算出する。
【０２５５】
また、これまで仮想画素に適用してきた適応処理を実在する受光素子に適用して相関検出によって輝度データを生成する方法もある。補間処理部36b は、仮想画素補間機能部360bと併用して実画素補間処理機能部（図示せず）を備えてもよい。図18において水平および垂直方向の相関を算出し、この両者の差を所定のスレッショルド値TH1 と比較する。このスレッショルド値TH1 より差が大きいとき相関があると判定する。このとき、相関のある絶対値の小さい方の方向を相関方向とする。輝度データは、この相関方向の２つの画素データの平均値と算出位置の画素データの加算で求められる。
【０２５６】
この手順を具体的に説明すると、たとえば、画素データYe20とYe24から絶対値｜Ye20-Ye24 ｜とYe02とYe42から絶対値｜Ye02-Ye42 ｜の差をスレッショルドTH1 を用いて
【０２５７】
【数５０】
( ｜Ye20-Ye24 ｜- ｜Ye02-Ye42 ｜)>TH1                           (59)
( ｜Ye02-Ye42 ｜- ｜Ye20-Ye24 ｜)>TH1                           (60)
の比較が行われる。式(59)が真のとき垂直方向に相関があり、式(60)が真のとき水平方向に相関があることを意味する。この相関のある２つの画素データの平均値と中央に位置する輝度生成位置の画素データを加算して輝度データを算出する。また、式(59)および式(60)が偽のとき相関がいずれの方向にもないとして式(58)を用いて輝度データを算出する。
【０２５８】
さらに式(59)および式(60)で相関がないと判定された場合、さらに輝度生成位置を中心に周辺に位置する４つの色W の画素データを用いて相関検出を行ってもよい。この手順を説明すると、図18において色W における水平および垂直方向の相関を算出し、この両者の差を所定のスレッショルド値TH2 と比較する。このスレッショルド値TH2 より差が大きいとき相関があると判定する。このとき、前述と同様に相関のある絶対値の小さい方の方向を相関方向とする。輝度データは、この相関方向の２つの画素データの平均値と算出位置の画素データの加算で求められる。
【０２５９】
この手順を具体的に説明すると、たとえば画素データW11 とW13 から絶対値｜W11-W13 ｜とW31 とW33 から絶対値｜W31-W33 ｜の差を加算して水平方向の相関値WCh2を算出する。同様に、垂直方向の相関値が画素データW11 とW31 から絶対値｜W11-W31 ｜とW13 とW33 から絶対値｜W13-W33 ｜の差を加算して垂直方向の相関値WCv2を算出する。これまでに得られた水平方向の相関値WCh2と垂直方向の相関値WCv2との差をスレッショルドTH2 と比較する。この比較は
【０２６０】
【数５１】
(WCh2-WCv2)>TH2                                                 (61)
(WCv2-WCh2)>TH2                                                 (62)
により行う。式(61)が真のとき垂直方向に相関があり、式(62)が真のとき水平方向に相関があることを意味する。この相関のある２つの画素データの平均値と中央に位置する輝度生成位置の画素データを加算して輝度データを算出する。また、式(61)および式(62)が偽のとき相関がいずれの方向にもないとして式(58)を用いて輝度データを算出する。
【０２６１】
また、前述したようにシアンと黄色の加算は、2G+R+Bの関係にある。このことを利用して、たとえば、隣接する色G の画素データで減算してやると、G+R+B=W という関係が得られる。これは、既存のサンプル点の色W と同じ重み付けにできる。
【０２６２】
この色フィルタにおいて色G を生成する場合、画素データG22 は、画素データW11, W13, W31, W33に算出されている色G11, G13, G31, G33および色R11, R13, R31, R33と、色Cy22上での色R22 を用いて、式(63)
【０２６３】
【数５２】
G22=(G11+G13+G31+G33)/4+R22-(R11+R13+R31+R33)/4                 (63)
により求めてもよい。
【０２６４】
この他、色W に対応する受光素子位置で色R と色B の画像データは、それぞれ、色W と色Cyの画素データの平均値と、色W と色Yeの画素データの平均値を用いて、たとえば、
【０２６５】
この他、色W に対応する受光素子位置で色R と色B の画像データは、それぞれ、色W と色Cyの画素データの平均値と、色W と色Yeの画素データの平均値を用いて、たとえば、
【数５３】
R33=W33-(Cy22+Cy44)/2                                           (64)
B33=W33-(Ye24+Ye42)/2                                           (65)
により算出してもよい。また、画素データCy22における画素データR22 は、式(66)
【０２６６】
【数５４】
R22=(W11+W13+W31+W33)/4-Cy22                                    (66)
によって算出してもよい。この算出により市松状の輝度データW が生成される。さらに、全面の画素データの算出は、前述した補間処理を用いて容易に行える。
【０２６７】
前述した実施例では、色フィルタにW 正方格子CyYe完全市松パターンや４色完全市松パターンの場合を例示してきたが、G 正方格子CyYe完全市松パターンやCyMgYeG 部分重複市松パターンでも、原色の画素データR, Bは、R=Ye-G, B=Cy-Gの関係から算出することができる。高解像度化を行う上で算出する輝度データY は、図10のW 正方格子CyYe完全市松パターンのなかで、色W を色G にした、G 正方格子CyYe完全市松パターンとCyMgYeG 部分重複市松パターンとで、それぞれY=Ye+Cy+G=3G+R+BとY=Mg+Ye+Cy+G=3G+2(R+B)として求める。ただし、Ye=R+G, Cy=G+B, Mg=R+Bの関係にある。このパターンでも入射光の利用効率を高めるとともに、撮像信号を高画質化することができる。
【０２６８】
これまでの説明から明らかなように本発明を適用したディジタルカメラ10は、正方格子状に画素を配置した際の画素数に比べてこの画素数よりも少ない画素数で画素ずらしした、いわゆるハニカム配置と呼ぶ配置を用い、かつ信号処理を行うことによって、得られる画像の色再現および解像度等の特性を向上させることができることがわかった。一方、従来のディジタルカメラは、上述した特性等を向上させるため画素数を増加させた結果、単位画素の占める受光面積も小さく（すなわち、画素ピッチの縮小限界にまで達するように）なり素子の感度低下が発生してしまう。画素が小さいことや得られる信号の特性改善を図るため画素ずらしを行う際に、従来のディジタルカメラの撮像部では組立て工程において画素数の増加に伴って画素ずらしの精度向上がクローズアップされるてきている。この精度要求は、特に、カラーカメラの組立て工程等の作業が困難なものになり、この結果、カラーカメラ装置の光学系のコストをアップさせてきた。しかしながら、ディジタルカメラ10は撮像部30および色フィルタCFに画素ずらしを伴った、いわゆるハニカム配置を用いているので、画素数が従来のディジタルカメラに比べて、たとえば、半分程度になっている。このような画素ずらし配置を用いることにより、光学系の一部をなす撮像部30および色フィルタCFの組立ておよびそれに伴う調整工程の作業が比較的に容易に行うことができるようになる。
【０２６９】
この配置を用いた複数組み合わせた多板の色フィルタについて具体例を挙げて説明する。まず、光学系には分光手段として複数のプリズム（図示せず）を接合してレンズからの透過光が撮像部30の各受光部に送られる。この各受光部の前には色フィルタCFが配設されている。ここで、受光部が２つの２板式の場合、色フィルタCFは、色フィルタCF1 および色フィルタCF2 を用いる。
【０２７０】
第１の色フィルタCFの場合、図62(a) に示す色フィルタCF1 の色の空間配置は、色W1と色Yeを１行毎に交互に配したハニカム配置にする。図62(b) に示す色フィルタCF2 の色の空間配置は、色W2と色Cyを１行毎に交互に用い、かつ色フィルタCF1 の色W1の行に色Cyを配したハニカム配置にする。たとえば、色フィルタCF1 に対して色フィルタCF2 を行方向に１画素ピッチ分ずらして貼り合わせると、図62(c) に示す色フィルタCFを容易にW ストライプCyYe完全市松パターンにすることができる。
【０２７１】
また、第２の色フィルタCFの場合、図62(d) に示すようにハニカム配置の色フィルタCF1 を色W だけで構成し、色フィルタCF2 の色の空間配置は、図62(e) に示すように色Yeと色Cyを１行毎に交互に配したハニカム配置にする。この場合も、たとえば、色フィルタCF1 に対して色フィルタCF2 を行方向に１画素ピッチ分ずらして貼り合わせる。この貼り合わせにより、第２の色フィルタCFを容易にベイヤパターンにすることができる（図62(f) を参照）。
【０２７２】
そして、第３の色フィルタCFは、前述した第１の色フィルタの色フィルタCF1, CF2を用いる（図63(a), (b)を参照）。第３の色フィルタCFは色フィルタCF1, CF2の画素位置を完全に一致させて貼り合わせることにより、図63(c) に示すハニカム配置のパターンを形成する。
【０２７３】
次にハニカム配置を用いた３板DG方式の色フィルタの空間配置について説明する。色フィルタCFは、色フィルタCF1, CF2, CF3 を用いる（図63(a),(b),(c) を参照）。図63(a),(b) の色フィルタCF1, CF2はハニカム配置で互いに画素ピッチ分ずれた位置関係にある。色フィルタCF1, CF2は、同色のW1, W2を設定している。また、図63(c) の色フィルタCF3 は、色フィルタCF2 と同じ画素配置のハニカム配置であるとともに、配色を色Yeおよび色Cyに設定している。色フィルタを固着させる際には、同じ画素配置関係にある色フィルタCF2 と色フィルタCF3 を組み合わせて貼り合わせる。これにより、色フィルタは、図63(d) の同色W1, W2が交互に配される正方格子状の配列と図63(e) の異色Ye, Cyがハニカム配置された配列を作ることができる。
【０２７４】
また、図65(a), (b), (c) のように、色フィルタCF1, CF2, CF3 を同じハニカム配置の関係に形成する。これらの色フィルタCF1, CF2, CF3 には、それぞれ色Ye, W, Cy の色が対応している。色フィルタCF2 に対して色フィルタCF1, CF3は、ともに画素ピッチ分だけずらして重ね合わせる。このよう重ね合わせると色フィルタは、色のW と重ねた色Ye, Cyが交互に得られる配列を作ることができる（図65(d) を参照）。この他にもハニカム配置においてそれぞれ従来から用いられている３板式の色フィルタを構成できる。
【０２７５】
次に本発明を適用した面順次単板方式のディジタルカメラについて簡単に説明する。この面順次単板方式のディジタルカメラは、静止した被写体の撮影に好適なものである。一般的に、面順次単板方式は、撮像、受像とも白黒のデバイスで良好なことが知られている。
【０２７６】
この方式のディジタルカメラは、受光素子が２次元的に並べられた撮像部と、撮像部の撮像面に平行な２次元平面内を、たとえば、横(X) 方向と縦(Y) 方向とに移動させる移動機構と、被写体と撮像部との光路間、たとえば、撮像部の直前に配されるハニカム配置の複数の色フィルタCFと、複数の色フィルタから１枚の色フィルタを選択して光路間への挿入を切り換える色フィルタ切換機構と、撮像部からの出力を記録する記録再生部と、撮像部および記録再生部の出力に信号処理を施すカラー信号処理部とを備えている。
【０２７７】
ここで、撮像部、複数の色フィルタおよびカラー信号処理部は、前述した実施例で説明した構成と同じように構成されている。特に、色フィルタは、移動機構により撮像部が移動させられるので、この移動にしても撮像面がカバーされるように撮像面積より大きく形成されている。
【０２７８】
移動機構は、撮像部の微小な移動を使用する色フィルタの種類に応じて行う。すなわち、移動は色フィルタの画素ずらし分に対応して行う。微小な制御が難しい場合、ずらす画素ピッチの関係には周期性があるので適当な移動量に設定して調整するようにしてもよい。この移動機構としては、X-Y 方向にそれぞれ精度よく撮像部を移動させるため、たとえば、ステッピングモータ等の駆動部と、この駆動部からの駆動力を伝達する歯車と、この歯車と噛合させて歯車の回転運動を並進運動に変換するラックと、ステッピングモータの駆動部の動作を制御する並進制御部とを用い、このラック上に撮像部を載置する。撮像部は、移動させても信号の入出力が可能になるようにフレキシブル基板等を介して並進制御部、記録再生部およびカラー信号処理部12と接続している。このように構成することにより、色フィルタの種類に応じた移動を撮像部にさせることができる。
【０２７９】
色フィルタ切換機構は、複数の色フィルタをフィルタ枚数を考慮して一定の角度毎に、かつ透過可能なようにフィルタ開口部を円盤の同一半径位置に設けた色フィルタ設置部と、円盤を回転中心の回りに回転させる回転駆動部としてのモータと、モータの動作を制御する回転制御部とを用いる。色フィルタ設置部のフィルタ開口面は、撮像面と平行状態を保つように配設させるとよい。また、モータに取り付けられている回転軸は色フィルタ設置部の円盤中心に開けられた貫通口に挿通する。回転軸は、たとえば、接着剤等を貫通口に塗布して円盤と固着させている。回転制御部は、一定の角度毎の回転駆動を行うように回転開始および回転終了を制御する。このように制御することにより、色フィルタを要求に応じて切り換えることができるようになる。
【０２８０】
記録再生部には、たとえば、SCSIインターフェース等を介して画素データが供給される。記録再生部は色フィルタ切換機構および移動機構の動作の組合せに応じてその都度、撮像部から得られる信号が画素データにされて記録される。したがって、一枚の画像を作成するために撮像が複数回行われる。このように得られた画素データが記録再生部に記録されこの記録再生部から再生した画素データがカラー信号処理部に供給されると、前述した実施例のいずれかを行って色再現・解像度が重視された高品質な画像が得られる。このようにディジタルカメラは、ハニカム配置の色フィルタおよび撮像部を用いるので製造工程での複雑な配置および調整を回避することができ、撮像素子（受光素子）上に配設していたオンチップカラーフィルタを設ける必要性をなくすことができる。
【０２８１】
また、単板式に限定されることなく、ディジタルカメラは、ハニカム配置の色フィルタおよび撮像部を２セット用いた２板式でもよく、このとき撮像部を白黒の正方格子配置の高解像度撮像部とする面順次方式のカラー撮像装置とみなすことができる。
【０２８２】
以上のように構成することにより、色フィルタに応じて撮像部30の受光部に配した受光素子PDから得られる複数の補色を含む信号電荷を２ラインずつ、３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ出力させ、出力される信号電荷をA/D 変換部34で供給される複数の補色系を含む画素データにし、信号処理部36ではこの画素データを基に、仮想受光素子または受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成する。この際、入射光の利用効率が単に原色の色フィルタを介した場合よりも高効率なので、感度が低くなりがちな高画素の受光素子が配された、いわゆるメガピクセルを有する撮像部30から得られる信号電荷の変換効率を高くすることができる。これにより、高画質化に寄与することができる。さらに、この生成した画素データを用いてそれぞれ、実在の受光素子または仮想受光素子でのデータを補間するとともに、これらの補間により得られた画素データを用いて実在する受光素子および仮想受光素子の位置の画素データを広帯域化することにより、感度向上による信号レベルの維持を図るとともに、撮像した画像信号の解像度をより一層高め、偽色の発生等も防ぐことができる。
【０２８３】
撮像して得られた信号電荷の読出しにおいても、色フィルタの配列パターンに応じて受光素子の２ラインずつ、３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ供給される信号をディジタルデータに変換し、この後の画素データを記憶する。そして記憶された画素データを上述したライン読出しと同じに読み出し、かつ仮想受光素子に隣接する受光素子からの補色の画素データを基に、仮想受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成する。補色の画素データを用いることで、入射光の利用効率を原色よりも高くできる。ここで生成した画素データを用いて実在の受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成するとともに、これらの補間により得られた画素データを用いて実在する受光素子および仮想受光素子の位置の画素データを広帯域化することにより、得られる画像の解像度をこれまでになく高くすることができる。これにより、高品質な画質を容易に手に入れることができる。このように供給される撮像信号の色フィルタ配置を考慮して信号処理を行うことにより、信号処理によって得られる信号を高画質化でき、画像処理にも適用することができる。
【０２８４】
【発明の効果】
このように本発明の固体撮像装置によれば、色フィルタに応じて撮像手段の受光部に配した受光素子から得られる複数の補色を含む信号電荷を２ラインずつ、３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ出力させ、出力される信号電荷をディジタル変換手段で供給される複数の補色系を含む画素データにする。そして信号処理手段ではこの画素データを基に、仮想受光素子または受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成し、この生成した画素データを用いてそれぞれ、実在の受光素子または仮想受光素子でのデータを補間するとともに、これらの補間により得られた画素データを用いて実在する受光素子および仮想受光素子の位置の画素データを広帯域化することにより、撮像した画像信号の解像度をより一層高め、偽色等の発生も防ぐことができる。
【０２８５】
また、本発明の信号処理方法によれば、受光素子の２ラインずつ、３ラインずつまたは読出しを１ラインシフトさせながら３ラインずつ供給される信号をディジタルデータに変換し、この後の画素データを記憶する。そして記憶された画素データを上述したライン読出しと同じに読み出し、かつ仮想受光素子に隣接する受光素子からの補色の画素データを基に、仮想受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成し、ここで生成した画素データを用いて実在の受光素子の位置における三原色R, G, B のいずれかの色の画素データを補間生成するとともに、これらの補間により得られた画素データを用いて実在する受光素子および仮想受光素子の位置の画素データを広帯域化することにより、得られる画像の解像度をより一層高くすることができる。
【図面の簡単な説明】
【図１】本発明に係る固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図２】図１の補間処理部の概略的な構成を示すブロック図である。
【図３】図１の広帯域信号処理部の概略的な構成を示すブロック図である。
【図４】図３の高解像度プレーン補間機能部の概略的な構成を示すブロック図である。
【図５】図１の撮像部の受光部を入射光の入射側から見た色フィルタ、受光素子の開口部、転送路の関係を表す模式図である。
【図６】図５の受光部における受光素子を正方格子状とハニカム状の画素ずらし配置の違いを示す模式図である。
【図７】撮像部に入射光の分光エネルギー、比視感度特性および測定した際の波長依存の分光エネルギーの関係を表すグラフである。
【図８】入射光を(A) 原色撮像と(B) 補色撮像した際の波長に対する相対感度を表すグラフである。
【図９】入射光を(A) 原色撮像と(B) 補色撮像した際における最大感度で正規化した波長に対する相対感度を表すグラフである。
【図１０】図１の撮像部に適用する色フィルタ、W 正方格子CyYe完全市松パターンとG 正方格子CyYe完全市松パターンを示す模式図である。
【図１１】図１の撮像部に適用する色フィルタ、CyWYe 縦ストライプパターンを示す模式図である。
【図１２】図１の撮像部に適用する色フィルタ、CyGYe 縦ストライプパターンを示す模式図である。
【図１３】図１の撮像部に適用する色フィルタ、CyYeMgの縦ストライプパターンと横ストライプパターンを示す模式図である。
【図１４】図１の撮像部に適用する色フィルタ、CyMgYeG 部分重複完全市松パターンとCyMgYeW 部分重複完全市松パターンを示す模式図である。
【図１５】図１の撮像部に適用する色フィルタ、CyMgYeG およびCyMgYeW を用いた４色完全市松パターンを示す模式図である。
【図１６】本発明を適用したディジタルカメラの動作を説明するメインフローチャートである。
【図１７】図16のサブルーチンSUB1の動作を説明するフローチャートである。
【図１８】撮像部の受光素子と仮想画素との位置関係を行列表示した模式図である。
【図１９】図17のサブルーチンSUB1における仮想画素補間で生成される原色の画素データの位置関係を表す模式図である。
【図２０】図17のサブルーチンSUB1における仮想画素補間で生成した画素データを用いて生成される輝度データの位置関係を表す模式図である。
【図２１】図17のサブルーチンSUB1における補間処理で生成した原色の画素データの位置関係、G 正方RB完全市松パターンを表す模式図である。
【図２２】図16のサブルーチンSUB2の動作を説明するフローチャートである。
【図２３】図22のサブステップSS20でローパスフィルタ処理により輝度データYhの補間を行う際の関係を説明する模式図である。
【図２４】図23の処理により作成した高域成分の輝度データYhと図20の輝度データをプレーン表示した際の関係を示す模式図である。
【図２５】図16のサブルーチンSUB2で用いるサブルーチンSUB3の手順を説明するフローチャートである。
【図２６】図17のサブルーチンSUB1により得られた原色画素のG 正方RB完全市松パターンと補間対象の画素との位置関係を示す模式図である。
【図２７】図25のサブルーチンSUB3における画素データG に関する補間対象の画素と既存の画素の位置関係を示す模式図である。
【図２８】図25のサブルーチンSUB3における画素データR に関する補間対象の画素と既存の画素の位置関係を示す模式図である。
【図２９】図28の位置関係に隣接斜め補間処理した結果を加えた際の位置関係を示す模式図である。
【図３０】図29の位置関係に隣接斜め補間処理により得られた４つの画素データを用いて補間処理した結果を加えた際の位置関係を示す模式図である。
【図３１】図29の位置関係に補間対象の画素に対して上下左右に位置する画素データを用いて補間処理した結果を加えた際の位置関係を示す模式図である。
【図３２】図25のサブルーチンSUB3における画素データB に関する補間対象の画素と既存の画素の位置関係を示す模式図である。
【図３３】図１のディジタルカメラにおいて生成した原色の画素データ配置に伴う各色の空間周波数の関係を示す模式図である。
【図３４】図16のサブルーチンSUB2の広帯域化の各処理による水平方向の空間周波数帯域とその信号レベルの関係を示すグラフである。
【図３５】図17のサブルーチンSUB1における仮想画素補間で生成した画素データを用いて適応処理による輝度データの生成処理を行うフローチャートである。
【図３６】図35のサブルーチンSUB5における適応処理を施して輝度データを生成する手順を説明するフローチャートである。
【図３７】図36のサブルーチンSUB5における動作に続くその動作を説明するフローチャートである。
【図３８】図37のサブルーチンSUB5における動作に続くその動作を説明するフローチャートである。
【図３９】図35のサブルーチンSUB5で行われる斜め相関の判定が可能な色境界のパターンを示す模式図である。
【図４０】図36ないし図38のサブルーチンSUB5で行われる垂直相関および水平相関の判定が可能な色境界のパターンを示す模式図である。
【図４１】図36ないし図38のサブルーチンSUB5で色境界の判定が困難なパターンを示す模式図である。
【図４２】本発明を適用したディジタルカメラにおける信号処理部の第１の変形例の構成を概略的に示すブロック図である。
【図４３】図42の広帯域信号処理部の概略的な構成を示すブロック図である。
【図４４】図43の擬似周波数加算部の概略的な構成を示すブロック図である。
【図４５】図43に示した擬似周波数加算部の動作により得られる信号の周波数アロケーション表示の模式図である。
【図４６】図43の周波数重複防止部の概略的な構成を示すブロック図である。
【図４７】図42の第１の変形例の構成に伴い、サブルーチンSUB1における仮想画素補間で生成した画素データを用いた水平・垂直対応処理による輝度データ生成処理を行うことを示すフローチャートである。
【図４８】図47のサブルーチンSUB6の処理手順を説明するフローチャートである。
【図４９】図47に示したサブルーチンSUB6における演算処理を説明する基本配列および使用するエリアを示す模式図である。
【図５０】図42の第１の変形例の構成に伴い、サブルーチンSUB2で行う処理手順を説明するフローチャートである。
【図５１】図50のサブルーチンSUB7における高域処理化の手順を説明するフローチャートである。
【図５２】図51のサブルーチンSUB7の処理手順において周波数重複防止処理に応じた得られる信号の周波数分布を示す図である。
【図５３】従来の正方格子配置と本発明で得られた画素ずらし配置（G ストライプ完全市松パターン）から得られる高域成分信号を比較する周波数分布図である。
【図５４】本発明を適用したディジタルカメラにおける信号処理部の第２の変形例の構成を概略的に示すブロック図である。
【図５５】図54の第２の変形例の構成に伴い、サブルーチンSUB1における仮想画素補間で生成した画素データを用いた水平・垂直対応処理による輝度データ生成処理を行うことを示すフローチャートである。
【図５６】図55のサブルーチンSUB8の処理手順を説明するフローチャートである。
【図５７】図54の第２の変形例の構成に伴い、サブルーチンSUB2で行う処理手順を説明するフローチャートである。
【図５８】図57のサブルーチンSUB9の処理手順を説明するフローチャートである。
【図５９】図58の処理手順で行ううち、相関演算処理による画素データ算出の原理を説明する模式図である。
【図６０】図１のディジタルカメラの撮像部前面に用いる色フィルタを４色完全市松パターンおよびその際の撮像部からの読出しを説明する模式図である。
【図６１】図60のパターンで仮想画素の補間処理される位置と色の関係を説明する模式図である。
【図６２】図１のディジタルカメラに適用する色フィルタを２板構成にした際に用いる色のパターン配置とこれらのパターン配置を合成して得られる空間配置の関係を示す模式図である。
【図６３】図62と同じくディジタルカメラに適用する色フィルタを２板構成にした際に用いる色のパターン配置とこれらのパターン配置を合成して得られる空間配置の関係を示す模式図である。
【図６４】図１のディジタルカメラに適用する色フィルタを３板構成にした際に用いる色のパターン配置とこれらのパターン配置を合成して得られる空間配置の関係を示す模式図である。
【図６５】図64と同じくディジタルカメラに適用する色フィルタを３板構成にした際に用いる色のパターン配置とこれらのパターン配置を合成して得られる空間配置の関係を示す模式図である。
【符号の説明】
10  ディジタルカメラ
12  光学レンズ系
14  操作部
18  システム制御部
22  信号発生部
24  ドライバ部
30  撮像部
34  A/D 変換部
36  信号処理部
36a データ補正部
36b 補間処理部
36c 広帯域信号処理部
360b  仮想画素補間機能部
360c  輝度データ補間機能部
362b  輝度データ生成機能部
362c  高解像度プレーン補間機能部
364c  色差マトリクス部
366c  アンチエリアシングフィルタ部
【図１】
0004077120.tif 000003
【図２】
0004077120.tif 000004
【図３】
0004077120.tif 000005
【図４】
0004077120.tif 000006
【図５】
0004077120.tif 000007
【図６】
0004077120.tif 000008
【図７】
0004077120.tif 000009
【図８】
0004077120.tif 000010
【図９】
0004077120.tif 000011
【図１０】
0004077120.tif 000012
【図１１】
0004077120.tif 000013
【図１２】
0004077120.tif 000014
【図１３】
0004077120.tif 000015
【図１４】
0004077120.tif 000016
【図１５】
0004077120.tif 000017
【図１６】
0004077120.tif 000018
【図１７】
0004077120.tif 000019
【図１８】
0004077120.tif 000020
【図１９】
0004077120.tif 000021
【図２０】
0004077120.tif 000022
【図２１】
0004077120.tif 000023
【図２２】
0004077120.tif 000024
【図２３】
0004077120.tif 000025
【図２４】
0004077120.tif 000026
【図２５】
0004077120.tif 000027
【図２６】
0004077120.tif 000028
【図２７】
0004077120.tif 000029
【図２８】
0004077120.tif 000030
【図２９】
0004077120.tif 000031
【図３０】
0004077120.tif 000032
【図３１】
0004077120.tif 000033
【図３２】
0004077120.tif 000034
【図３３】
0004077120.tif 000035
【図３４】
0004077120.tif 000036
【図３５】
0004077120.tif 000037
【図３６】
0004077120.tif 000038
【図３７】
0004077120.tif 000039
【図３８】
0004077120.tif 000040
【図３９】
0004077120.tif 000041
【図４０】
0004077120.tif 000042
【図４１】
0004077120.tif 000043
【図４２】
0004077120.tif 000044
【図４３】
0004077120.tif 000045
【図４４】
0004077120.tif 000046
【図４５】
0004077120.tif 000047
【図４６】
0004077120.tif 000048
【図４７】
0004077120.tif 000049
【図４８】
0004077120.tif 000050
【図４９】
0004077120.tif 000051
【図５０】
0004077120.tif 000052
【図５１】
0004077120.tif 000053
【図５２】
0004077120.tif 000054
【図５３】
0004077120.tif 000055
【図５４】
0004077120.tif 000056
【図５５】
0004077120.tif 000057
【図５６】
0004077120.tif 000058
【図５７】
0004077120.tif 000059
【図５８】
0004077120.tif 000060
【図５９】
0004077120.tif 000061
【図６０】
0004077120.tif 000062
【図６１】
0004077120.tif 000063
【図６２】
0004077120.tif 000064
【図６３】
0004077120.tif 000065
【図６４】
0004077120.tif 000066
【図６５】
0004077120.tif 000067