(57)【特許請求の範囲】
【請求項１】
入射光を遮光する遮光部材の開口部に対応した位置で該入射光を色分解し、該色分解した入射光を光電変換して撮像し、該撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置において、該装置は、
前記開口部からの入射光を異なる分光特性の複数の色に色分解する色フィルタセグメントうちに、少なくとも分光特性が補色系の色フィルタセグメントを含む色分解手段、
該色分解手段から補色系の色を含む前記色フィルタセグメントを通った入射光を光電変換する受光素子と該受光素子に隣接した受光素子とが垂直方向および／または水平方向にずらされて２次元配置された受光部、
該受光部の開口部を迂回するように配置され、かつ前記受光素子からの信号を取り出す電極、および
該電極を介して供給される信号を前記受光部の垂直または水平方向に順番に転送する各方向に対応した転送レジスタを含む撮像手段と、
該撮像手段からの信号を読み出す際のタイミングおよび信号を読み出す複数のモードを指示する動作指示手段と、
前記撮像手段から供給されるディジタルデータに変換するディジタル変換手段とを含み、
さらに該装置は、
前記ディジタル変換されたディジタルデータの面データにおいて、前記受光素子のずらし配置に伴い実在する受光素子と、該受光素子に対する空領域を仮想画素とし、
前記動作指示手段からのそれぞれのモードに応じて前記仮想画素または前記受光素子の位置における画素データを補間生成するとともに、画素データを混ぜて得られた複数の画素データから各三原色の画素データを生成する第１のモードと、前記実在の受光素子から順次読み出した全画素データを用いて前記各仮想画素での各三原色の画素データを補間生成するとともに、前記仮想画素での画素データから前記実在する受光素子の位置の各三原色の画素データを生成し、得られた各三原色の画素データを広帯域化する第２のモードとで信号処理を行う信号処理手段を含むことを特徴とする固体撮像装置。
【請求項２】
請求項１に記載の装置において、前記開口部は、開口形状を正方格子あるいは多角形にするとともに、それぞれ、前記開口部に対応して配置される受光素子の間隔を画素ピッチとするとき、前記開口部が一列ごとに垂直方向にあるいは一行ごとに水平方向に前記画素ピッチ分または前記画素ピッチの半分だけ移動させて２次元配置されているか、あるいは前記正方格子を45°回転させた開口形状あるいは多角形の開口形状の開口部が２次元配置されていることを特徴とする固体撮像装置。
【請求項３】
請求項１または２に記載の装置において、前記色フィルタセグメントに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）のいずれかを複数個ずつ用いて、前記受光素子のずらし配置に対応して隣接する受光素子とを前記ピッチの半分の距離のずれ関係にしながら、前記色フィルタセグメントの一色を正方格子状に配し、該一色が配した正方格子に対するずれを前記ピッチの半分の距離にして該一色と異なる二色により市松または完全市松パターンが形成されていることを特徴とする固体撮像装置。
【請求項４】
請求項１または２に記載の装置において、前記色フィルタセグメントに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）のいずれかを複数個ずつ用いて、前記受光素子のずらし配置に対応して隣接する受光素子とを前記ピッチの半分の距離のずれ関係にしながら、前記色フィルタセグメントの一色を正方格子状に配し、該一色が配した正方格子に対するずれを前記ピッチの半分の距離にして該一色と異なる二色のストライプパターンが水平方向に交互に形成されていることを特徴とする固体撮像装置。
【請求項５】
請求項１または２に記載の装置において、前記色フィルタセグメントに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）のいずれかを複数個ずつ用いて、前記受光素子のずらし配置に対応して隣接する受光素子とを前記ピッチの半分の距離のずれ関係にしながら、前記４色の色フィルタセグメントを用いて形成される第１の正方格子の一方の対角の組を同色にし、他方の対角の組を異色にするとともに、残る１色を前記正方格子の中心に配すとともに、前記第１の正方格子に対して水平および垂直方向に前記ピッチの半分の距離のずれた第２の正方格子の一方の対角の組の色フィルタセグメントを前記第１の正方格子の他方の対角の組と同色にし、該第２の正方格子の他方の対角の組の色フィルタセグメントを前記第１の正方格子の中心の色と同色にして完全市松パターンに配されていることを特徴とする固体撮像装置。
【請求項６】
請求項１または２に記載の装置において、前記色フィルタセグメントに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）のいずれかを複数個ずつ用いて、前記受光素子のずらし配置に対応して隣接する受光素子とを前記ピッチの半分の距離のずれ関係にしながら、前記４色の色フィルタセグメントを用いて形成される第１の正方格子の一方の対角の組を同色にし、他方の対角の組を前記一方の対角の組と異色、かつ該他方の対角の組の前記色フィルタセグメントを同色にし、選択した４色の残る２色の一方の色フィルタセグメントを前記正方格子の中心に配すとともに、前記第１の正方格子に対して水平および垂直方向に前記ピッチの半分の距離のずれた第２の正方格子の一方の対角の組の色フィルタセグメントを同色にし、残る一色を他方の組の色フィルタセグメントを同色の市松パターンにしてこれらの正方格子の一部が重複して配されていることを特徴とする固体撮像装置。
【請求項７】
請求項１または２に記載の装置において、前記色フィルタセグメントに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）のいずれかを複数個ずつ用いて、前記受光素子のずらし配置に対応して隣接する受光素子とを前記ピッチの半分の距離のずれ関係にしながら、前記４色の色フィルタセグメントを用いて形成される第１の正方格子の一方の対角の組を同色にし、他方の対角の組の色を前記一方の対角の組と異色、かつ該他方の対角の組の前記色フィルタセグメントも互いに異色にし、選択した４色の残る１色の色フィルタセグメントを前記正方格子の中心に配すとともに、前記第１の正方格子に対して水平および垂直方向に前記ピッチの半分の距離のずれた第２の正方格子の一方の対角の組の色フィルタセグメントを同色にし、他方の組の色フィルタセグメントに前記第１の正方格子のずれた方向に形成される３角形の頂点に用いる３色と異なる色を残る１色にして、対角の組の色フィルタセグメントを同色にして完全市松パターンを形成してこれらの正方格子の一部が重複して配されていることを特徴とする固体撮像装置。
【請求項８】
請求項１ないし７のいずれか一項に記載の装置において、前記撮像手段は、前記動作指示手段からの指示が前記第１のモードの場合、インターレース走査を行い、得られた同一フィールドの信号電荷を画素混合させて読み出させ、
前記動作指示手段からの指示が前記第２のモードの場合、得られる信号電荷の読出しを順次読み出させる全画素読出しを行わせることを特徴とする固体撮像装置。
【請求項９】
請求項１または８に記載の装置において、前記信号処理手段は、前記撮像手段の実在する受光素子から供給される画素データを用いて、前記受光素子からの画素データに補正を施す補正手段と、
前記第１のモードにおいて前記仮想画素または前記受光素子の位置に原色で表される画素データの生成、ならびに前記第２のモードにおいて前記仮想画素の位置に三原色の画素データを算出するとともに、該算出した画素データを用いて前記受光素子の位置での前記三原色データの算出、および前記仮想画素の位置での輝度データを生成するとともに、該算出した輝度データを用いて前記受光素子の位置での輝度データの算出を行う補間手段と、
該補間手段からの画素データが含む帯域をさらに高域に延ばす高域化手段と、
該高域化手段で生成した画素データを用いて輝度データおよび色差データを生成するマトリクス手段と、
前記輝度データおよび前記色差データの折返し歪を除去するフィルタリング手段と、
該フィルタリング手段からの前記輝度データおよび前記色差データに対してそれぞれゲイン調整を施す彩度調整手段とを含むことを特徴とする固体撮像装置。
【請求項１０】
請求項９に記載の装置において、前記補間手段は、前記第１のモードにおいて前記仮想画素または前記受光素子の位置に周囲を囲んだ前記補色を含む色の画素データから原色で表される画素データを生成する原色生成手段と、
前記第２のモードにおいて前記仮想画素の位置に前記補色を含む実在する色の画素データから三原色の画素データを生成するとともに、該算出した画素データを用いて前記受光素子の位置での前記三原色データの算出、および前記仮想画素の位置での輝度データを生成するとともに、該算出した輝度データを用いて前記受光素子の位置での輝度データを算出する静止画データ算出手段とを含むことを特徴とする固体撮像装置。
【請求項１１】
請求項10に記載の装置において、前記静止画データ算出手段は、前記仮想画素の位置に各三原色の画素データを同時に算出する三原色生成手段と、
該算出した三原色の画素データを用いて該画素データが囲む前記受光素子の位置での前記三原色データを補間算出し、各色に対するプレーンな画素データを供給する原色補間生成手段と、
周囲を囲んだ前記補色を含む色の画素データから前記仮想画素の位置での輝度データを生成する輝度データ生成手段と、
該算出した輝度データを用いて該輝度データが囲む前記受光素子の位置の輝度データを補間算出し、プレーンな輝度データを供給する輝度補間生成手段とを含むことを特徴とする固体撮像装置。
【請求項１２】
請求項11に記載の装置において、前記原色補間生成手段は、三原色のうち、赤(R) の画素データに対して周囲の画素データとの相関を考慮しながら、該周囲の画素データを用いて補間算出するR プレーン補間手段と、
三原色のうち、緑(G) の画素データに対して周囲の画素データとの相関を考慮しながら、該周囲の画素データを用いて補間算出するG プレーン補間手段と、
三原色のうち、青(B) の画素データに対して周囲の画素データとの相関を考慮しながら、該周囲の画素データを用いて補間算出するB プレーン補間手段とを含むことを特徴とする固体撮像装置。
【請求項１３】
請求項11に記載の装置において、前記輝度データ生成手段は、求める仮想画素の位置を囲む前記受光素子の４色の画素データの総和を算出する総和算出手段を含むことを特徴とする固体撮像装置。
【請求項１４】
請求項11に記載の装置において、前記輝度補間生成手段は、求める受光素子の位置を囲む前記仮想画素の位置における輝度データの相関を考慮しながら、該周囲の輝度データを用いて補間算出することを特徴とする固体撮像装置。
【請求項１５】
請求項９に記載の装置において、前記高域化手段は、得られた輝度データの高域成分を通して高域輝度データを生成するハイパスフィルタリング手段と、
前記原色補間生成手段からそれぞれの色ごとに供給されるプレーンな画素データと前記高域輝度データとを加算する第１の加算手段とを含むことを特徴とする固体撮像装置。
【請求項１６】
請求項１ないし７のいずれか一項に記載の装置において、前記信号処理手段は、前記撮像手段の実在する受光素子から供給される画素データを用いて、前記受光素子からの画素データに補正を施す補正手段と、
前記第１のモードにおいて前記仮想画素または前記受光素子の位置に原色で表される画素データの生成、ならびに前記第２のモードにおいて前記仮想画素の位置に三原色の画素データを算出するとともに、該算出した画素データを用いて前記受光素子の位置での前記三原色データの算出、および前記仮想画素の位置での輝度データを生成するとともに、該算出した輝度データを用いて前記受光素子の位置での輝度データの算出を行う補間手段と、
前記実在の受光素子を用いて前記仮想画素でのデータを補間するとともに、前記仮想画素での画素データから前記実在する受光素子の位置の画素データを生成し、得られた画素データを広帯域化する広帯域化手段とを含み、
さらに前記広帯域化手段は、
前記補間手段からの仮想画素に対し補間して得られた画素データを基に前記受光素子の位置での画素データに関する輝度データおよび色差データを帯域に応じて算出する帯域別データ生成手段と、
該帯域別データ生成手段から出力され色再現が考慮された成分信号と解像度を重視した成分信号が擬似周波数的に加算される擬似加算手段と、
前記帯域別データ生成手段で前記水平方向および前記垂直方向の解像度が重視された各信号に共通した周波数帯が含まれている場合、前記共通した周波数帯の重複を防止する重複防止手段と、
前記演算処理手段の色再現を重視した成分信号に振幅制御を施す信号調整手段とを含むことを特徴とする固体撮像装置。
【請求項１７】
請求項16に記載の装置において、前記帯域別データ生成手段は、前記第２のモードにおいて前記信号処理手段に供給される画素データをそのまま、または供給される画素データを原色に変換して得られた画素データにハイパスフィルタリング処理を施す高域輝度データ生成手段を含むことを特徴とする固体撮像装置。
【請求項１８】
請求項16に記載の装置において、前記擬似加算手段は、前記帯域別データ生成手段から供給される解像度が重視される周波数帯までの第１の成分信号を一端側に減算入力させ、他端側に第１の成分信号の周波数帯よりも低域の色再現を考慮した第２の成分信号を加算入力させる第２の加算手段と、
該第２の加算手段の出力と第１の成分信号にそれぞれ生じる折り返し歪みを防ぐ処理を施すフィルタリング手段と、
該フィルタリング手段からの各出力が加算入力される第３の加算手段とを含むことを特徴とする固体撮像装置。
【請求項１９】
請求項16に記載の装置において、前記重複防止手段は、前記擬似加算手段から出力される信号のうち、一方の信号の共通した周波数帯に対して帯域制限を施すフィルタ手段と、
該フィルタ手段からの出力と前記共通した周波数帯を含む他方の信号とを加算する加算処理手段とを含むことを特徴とする固体撮像装置。
【請求項２０】
請求項10に記載の装置において、前記原色生成手段は、前記撮像手段から前記インターレース走査により一方のフィールド内の信号電荷を２ラインずつ混色させ、他方のフィールド内の信号電荷を２ラインずつ混色させ、混色した画素データのうち、異なるフィールドでありながら、空間的に隣接した２ラインの前記混色した画素データから２つの画素差分を求める差分生成手段と、
前記混色した画素データのうち、異なるフィールドでありながら、空間的に隣接した２ラインの前記混色した画素データの加算を求める加算生成手段と、
前記加算生成手段の結果から２つの画素差分をそれぞれ減算して緑色(G) の画素データを生成するG 生成手段と、
前記２つの画素差分のうち、一方の画素差分と生成して得られた緑色(G) の画素データとを加算し、他方の画素差分と生成して得られた緑(G) の画素データとを加算してそれぞれ赤（R)、青（B)を生成するRB生成手段とを含むことを特徴とする固体撮像装置。
【請求項２１】
隣接する画素として水平および垂直方向に互いに画素ずれした受光素子が２次元に配され、該受光素子の入射光側に分光感度特性の異なり、かつ補色を含む色フィルタセグメントが２次元的に形成された固体撮像デバイスにおいて、該色フィルタセグメントを介して入射する光を直下の受光素子で受光し、受光によって得られた信号電荷を該デバイスから読み出して２次元の画素を基にする画像信号にし、該画像信号に信号処理を施す信号処理方法において、該方法は、
前記受光素子から得られる信号電荷の読出しに際して、供給される複数のラインから信号電荷を読み出し、混合して前記画素信号にする第１のモードと、該信号電荷すべてを順次に読み出して前記画素信号にする第２のモードとを選択するモード選択工程と、
選択したモードに応じて供給される駆動信号により被写界を撮像して得られる撮像信号を出力する撮像工程と、
得られた撮像信号をディジタルデータに変換するディジタル変換工程と、
該ディジタルデータを画素データとして記憶するデータ記憶工程と、
記憶した画素データを読み出して該画素データに補正を施し、該補正した画素データに対して前記第１のモードと前記第２のモードのいずれか一方の選択に応じた信号処理を施す原色生成工程と、
得られた三原色の画素データから輝度データおよび色差データを生成し、各データの品質向上を図る信号処理を施す信号処理工程とを含み、
前記原色生成工程は、前記第１のモードにおいて、前記補色を含む色フィルタセグメントを介して受光によって得られる信号電荷をインターレース走査して同一フィールド同士の該信号電荷を読み出し混合し、該混合した画素データを基に原色の画素データを生成する第１の原色生成工程と、
前記第２のモードにおいて、前記補色を含む色フィルタセグメントを介して受光によって得られる信号電荷を順次読み出して得られた複数の画素データを基に原色の画素データを生成し、前記受光素子数以上の前記原色の画素データを生成するとともに、生成した原色の画素データに高域化を施して出力する第２の原色生成工程とを含み、
前記第１の原色生成工程は、各フィールドの混色した画素データの２ラインずつを用いて、生成した異なるフィールドで空間的に隣接している混色した画素データから２つの画素差分した画素データを求める差分生成工程と、
各フィールドの混色した画素データの２ラインずつを用いて、生成した異なるフィールドで空間的に隣接している混色した画素データを加算して全色総和の画素データを算出する総和生成工程と、
前記全色総和の画素データから前記２つの画素差分をそれぞれ減算して所定の定数で除算し、緑色(G) の画素データを算出するG 算出工程と、
前記２つの画素差分のうち、一方の画素差分と得られた緑色(G) の画素データとを加算し、所定の定数で除算し、赤（R)の画素データを算出するR 算出工程と、
前記２つの画素差分のうち、他方の画素差分と得られた緑色(G) の画素データとを加算し、所定の定数で除算し、青（B)の画素データを算出するB 算出工程とを含むことを特徴とする信号処理方法。
【請求項２２】
請求項21に記載の方法において、前記第２の原色生成工程は、前記受光素子のずらし配置に伴う該受光素子の空領域を仮想画素とし、順次読み出して得られた画素データが囲む仮想画素の位置に該画素データを基に三原色の画素データをマトリクス生成する仮想画素生成工程と、
得られた仮想画素の位置の前記三原色の画素データから実在する受光素子の位置の前記三原色の画素データを生成する実画素生成工程と、
前記仮想画素の周囲に位置する複数の画素データの総和を算出して該仮想画素の位置の輝度データとする輝度データ生成工程と、
前記受光素子の周囲に位置する複数の輝度データから該受光素子の位置の輝度データとする輝度補間生成工程と、
生成した原色の画素データに対応する前記輝度データの高域成分を加えて前記原色の画素データの高域化を図る高域化工程とを含むことを特徴とする信号生成方法。
【請求項２３】
請求項21に記載の方法において、前記原色生成工程は、色フィルタセグメントに減色混合法で表すシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）のいずれかを複数個ずつ用いて、前記受光素子のずらし配置に対応して隣接する受光素子とを前記ピッチの半分の距離のずれ関係にしながら、前記４色の色フィルタセグメントを用いて形成される第１の正方格子の一方の対角の組を同色にし、他方の対角の組の色を前記一方の対角の組と異色、かつ該他方の対角の組の前記色フィルタセグメントも互いに異色にし、残る２色の一方の色フィルタセグメントを前記正方格子の中心に配すとともに、前記第１の正方格子に対して水平および垂直方向に前記ピッチの半分の距離のずれた第２の正方格子の一方の対角の組の色フィルタセグメントを同色にし、残る一色を他方の組の色フィルタセグメントを同色の市松パターンにしてこれらの正方格子の一部が重複して配された色フィルタを用いて、該色フィルタに入射光を透過させて色分解した画素データに前記第１および／または第２の原色生成工程を施すことを特徴とする信号処理方法。
【請求項２４】
請求項22に記載の方法において、前記高域化工程は、前記輝度データおよび補間して得られた輝度データに高域成分だけを通す第１のフィルタリング工程と、
受光素子および仮想画素の位置にそれぞれ対応させるとともに、各位置の三原色の画素データに生成された高域成分の輝度データを加算する第２の加算工程とを含むことを特徴とする信号処理方法。
【請求項２５】
請求項22に記載の方法において、前記輝度データ生成工程は、撮像して供給される生データをそのまま前記受光素子の位置における輝度データにし、
前記輝度補間工程は、前記仮想画素の位置の輝度データを、ローパスフィルタ処理による補間、周囲にある４つの画素データの平均補間、または周囲にある画素データの水平・垂直・斜め方向の相関検出に基づく補間処理のいずれか一つを用いて補間生成することを特徴とする信号処理方法。
【請求項２６】
請求項22または25に記載の方法において、前記第２の原色生成工程は、前記受光素子のずらし配置に伴う該受光素子の空領域を仮想画素とし、順次読み出して得られた画素データが囲む仮想画素の位置に該画素データを基に三原色の画素データをマトリクス生成する仮想画素生成工程と、
得られた仮想画素の位置の前記三原色の画素データから実在する受光素子の位置の前記三原色の画素データを生成する実画素生成工程と、
前記仮想画素の周囲に位置する複数の画素データの総和を算出して該仮想画素の位置の輝度データとする輝度データ生成工程と、
前記受光素子の周囲に位置する複数の輝度データから該受光素子の位置の輝度データとする輝度補間生成工程とを含み、
前記高域化工程は、
前記三原色の画素データおよび前記輝度データを用いて、水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた成分信号をそれぞれ生成する項目対応データ生成工程と、
該項目対応して得られた色再現の考慮された成分信号と解像度とを重視した成分信号が擬似周波数的に加算する擬似加算工程と、
前記水平方向および前記垂直方向の解像度が重視された各信号に共通した周波数帯が含まれている場合、前記共通した周波数帯の重複を防止する重複防止工程と、
前記重複防止の処理を経て供給される輝度データまたは供給されるプレーンな輝度データに輪郭を強調する調整を施す調整工程とを含むことを特徴とする信号処理方法。
【請求項２７】
請求項22または25に記載の方法において、前記第２の原色生成工程は、前記受光素子のずらし配置に伴う該受光素子の空領域を仮想画素とし、順次読み出して得られた画素データが囲む仮想画素の位置に該画素データを基に三原色の画素データをマトリクス生成する仮想画素生成工程と、
得られた仮想画素の位置の前記三原色の画素データから実在する受光素子の位置の前記三原色の画素データを生成する実画素生成工程とを含み、
前記高域化工程は、
前記三原色の画素データを用いて、水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた成分信号をそれぞれ生成する項目対応データ生成工程と、
該項目対応して得られた色再現の考慮された成分信号と解像度を重視した成分信号とを擬似周波数的に加算する擬似加算工程と、
前記水平方向および前記垂直方向の解像度が重視された各信号に共通した周波数帯が含まれている場合、前記共通した周波数帯の重複を防止する重複防止工程と、
前記重複防止の処理を経て供給される輝度データまたは供給されるプレーンな輝度データに輪郭を強調する調整を施す調整工程とを含むことを特徴とする信号処理方法。
【請求項２８】
請求項27に記載の方法において、前記項目対応データ生成工程は、供給される画素データから高域成分の輝度データを生成する工程を含み、得られた高域成分の輝度データを前記解像度を重視した成分信号として出力することを特徴とする信号処理方法。
【請求項２９】
請求項27に記載の方法において、前記擬似加算処理工程は、前記画素データ生成工程で生成された解像度が重視される周波数帯までの第１の成分信号から第１の成分信号の周波数帯よりも低域の色再現を考慮した第２の成分信号を減算する減算工程と、
該減算工程からの出力と第１の成分信号に対してそれぞれ折り返し歪みを防ぐ処理を施す歪み防止工程と、
該歪み防止工程を経た各出力を加算する第２の加算工程とを含むことを特徴とする信号処理方法。
【請求項３０】
請求項29に記載の方法において、前記帯域重複防止工程は、水平方向および垂直方向の成分信号内のいずれか一方の成分信号の共通する周波数帯に対して帯域制限を施す帯域制限工程と、
該帯域制限工程で帯域制限された出力と前記共通した周波数帯を含む他方向の成分信号とを加算する加算処理工程とを含むことを特徴とする信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置および信号処理方法に係り、たとえば、補色方式の固体撮像装置から得られる画像信号に対して施す画像信号処理等に用いて好適なものである。
【０００２】
【従来の技術】
現在、固体撮像装置を適用したディジタルカメラが普及しつつある。この普及は、銀塩カメラの解像度に相当する画像が得られ、搭載した液晶表示モニタですぐに鑑賞できる点や撮影した画像データをコンピュータに取り込んで活用できる点などが理由に挙げられる。特に、画像の解像度を向上させるとともに、コストダウンも鑑みて、撮像デバイスの画素サイズは小さくなる傾向にある。この傾向は画素の感度を低下させてしまう。画像の高画質化には、解像度と感度の両方を高めるとよい。しかしながら、解像度と感度の向上は、上述した観点から相反するものであることがわかる。
【０００３】
この問題に対して、隣接する画素をずらして解像度を向上させる方法がある。この一例に特開平8-340455号公報に記載の画像信号処理装置がある。この画像信号処理装置には、非格子状の画素配列の撮像素子を適用しながらもコンピュータへの取り込みに適合した格子状配列の画素に対応する画素データが得られるように、画素近傍に位置する非格子状の配列による複数の実画素からの画像信号に基づいて生成する格子状配列画素データ生成手段を備えることが提案されている。
【０００４】
また、特開昭59-72283号の公報の電子スチルカメラの映像信号処理装置は、受光部画素が市松配置で２走査線を単位として同時読出し可能な固体撮像素子を用いて得られる映像信号に対し、上下組となる２走査線の信号を互いに水平方向に補間合成して新たな１水平走査信号を作り出す第１の回路手段と、この２走査線の垂直走査方向下方の１走査線信号を１走査時間遅延し、かつ、次の組となる２走査線の上方の走査線信号との間で互いに水平方向に補間合成して、もう１つの新たな１水平走査信号を作り出す第２の回路手段とを備え、第１および第２の回路手段の出力を同時に出力させて、１回の垂直方向走査により2:1 のインターレース走査における奇遇２フィールドの信号を、同時に、並列に出力可能にして、水平と垂直とを入れ換えても画面の縦位置、横位置にかかわらず良好な画質のスチル撮影が行えるようにしている。
【０００５】
前述した要求を満たすには、空間サンプリングする画素が小さくするとともに、感度を向上させなければならないので、この他にも様々な工夫が検討されている。この一例として、乾谷正史は、乾谷、「メガピクセルＤＳカメラにおける撮像特性」、日本写真学会のデジタルカメラ研究会、1998年の資料を提供するとともに、その一考察について発表した。この発表は、画素サイズが、特に感度とS/N に関して与える撮像特性への影響や単板カラーフィルタを用いた撮像方式等について考察した。固体撮像装置には、カラーフィルタに三原色RGB を用いた原色撮像方式と、複数の補色を用いた補色撮像方式がある。そして、この考察により入射光の利用効率において補色撮像方式は原色撮像方式に比べてその利用効率が有効であることがわかった。
【０００６】
補色撮像方式においても解像度の向上を図るための提案が特開昭58-31688号の公報に記載されている。提案された固体カラー撮像装置は、垂直方向に相隣接する受光素子が水平方向に半ピッチずれて配置されており、かつ相接する３つの感光素子からの出力和がほぼ輝度信号に対応する信号となるように３ヶの色フィルタ素子の分光特性を選択してモアレの低減および高解像度の映像信号を得ている。より具体的に説明すると、色W, Ye, Cy がデルタ型の補色方式を用いて隣接する３画素（水平２ライン）から輝度信号を作成する。
【０００７】
【発明が解決しようとする課題】
ところで、特開昭58-31688号公報および特開昭59-72283号公報の発明は、色多重化方式のうち、受光して得られた信号電荷を信号ラインに供給し、信号ラインの２つを混合して読み出す２線混合読出し（または２行同時独立読出し方式）を用いている。また、これらの発明はムービーおよび MOS（Metal Oxide Semiconductor ：金属酸化膜半導体）を想定している。
【０００８】
MOS 型の撮像素子では CCD（Charge Coupled Device ：電荷結合素子）で行われる全画素同時読出しができないことが知られている。このことから、MOS 型の撮像素子では、全画素同時読出しして得られた画像に比べて高い解像度が得られない。特に、動画での垂直解像度が得られない。特開平8-340455公報の発明でも得られる画像の垂直解像度の要求を十分満足させることができない。
【０００９】
本発明はこのような従来技術の欠点を解消し、入射光の利用効率を高めるとともに、得られる画像の解像度をより高く実現できる固体撮像装置および信号処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は上述の課題を解決するために、入射光を遮光する遮光部材の開口部に対応した位置でこの入射光を色分解し、この色分解した入射光を光電変換して撮像し、この撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置において、この装置は、開口部からの入射光を異なる分光特性の複数の色に色分解する色フィルタセグメントうちに、少なくとも分光特性が補色系の色フィルタセグメントを含む色分解手段、この色分解手段から補色系の色を含む色フィルタセグメントを通った入射光を光電変換する受光素子とこの受光素子に隣接した受光素子とが垂直方向および／または水平方向にずらされて２次元配置された受光部、この受光部の開口部を迂回するように配置され、かつ受光素子からの信号を取り出す電極、およびこの電極を介して供給される信号を受光部の垂直または水平方向に順番に転送する各方向に対応した転送レジスタを含む撮像手段と、この撮像手段からの信号を読み出す際のタイミングおよび信号を読み出す複数のモードを指示する動作指示手段と、撮像手段から供給されるディジタルデータに変換するディジタル変換手段とを含み、さらにこの該装置は、ディジタル変換されたディジタルデータの面データにおいて、受光素子のずらし配置に伴い実在する受光素子と、この受光素子に対する空領域を仮想画素とし、動作指示手段からのそれぞれのモードに応じて仮想画素または受光素子の位置における画素データを補間生成するとともに、画素データを混ぜて得られた複数の画素データから三原色の画素データを生成する第１のモードと、実在の受光素子から順次読み出した全画素データを用いて各仮想画素での各三原色の画素データを補間生成するとともに、前記仮想画素での画素データから前記実在する受光素子の位置の各三原色の画素データを生成し、得られた各三原色の画素データを広帯域化する第２のモードとで信号処理を行う信号処理手段を含むことを特徴とする。
【００１１】
本発明の固体撮像装置は、補色を含む色フィルタセグメントの色分解手段で色分解した被写界からの入射光を、動作指示手段で第１のモードと第２のモードのいずれか選択したモードで受光素子がずれて２次元に配された撮像手段を駆動して信号電荷を読み出すことにより、入射光の利用効率を原色の色分解に比べて高め、読み出した信号をディジタル変換手段で画素データにした後、信号処理手段における第１のモードに応じた信号処理では、受光素子をずらす通常の画素配置パターンと異なっていても、このモードでの画素混合により信号読出しを間引きした場合と同様の信号読出しを行って読み出すことができる。また、補色を含む色フィルタセグメントで得られた複数の画素データを混合しても正確に三原色の画素データを一組生成することができる。第２のモードに応じた信号処理では得られた全画素の画素データを用いて補間して受光素子数より多くの三原色の画素データを生成するとともに、この三原色の画素データを高域化させることにより、撮像した画像信号の解像度をより一層高めることができる。
【００１２】
また、本発明は上述の課題を解決するために、隣接する画素として水平および垂直方向に互いに画素ずれした受光素子が２次元に配された固体撮像デバイスにおいて、この受光素子の入射光側に分光感度特性の異なり、かつ補色を含む色フィルタセグメントが２次元的に形成され、この色フィルタセグメントを介して入射する光を直下の受光素子で受光し、受光によって得られた信号電荷をこのデバイスから読み出して２次元の画素を基にする画像信号にし、この画像信号に信号処理を施す信号処理方法において、この方法は、受光素子から得られる信号電荷の読出しに際して、供給される複数のラインから信号電荷を読み出し、混合して画素信号にする第１のモードと、この信号電荷すべてを順次に読み出して画素信号にする第２のモードとを選択するモード選択工程と、選択したモードに応じて供給される駆動信号により被写界を撮像して得られる撮像信号を出力する撮像工程と、得られた撮像信号をディジタルデータに変換するディジタル変換工程と、このディジタルデータを画素データとして記憶するデータ記憶工程と、記憶した画素データを読み出してこの画素データに補正を施し、この補正した画素データに対して第１のモードと第２のモードのいずれか一方の選択に応じた信号処理を施す原色生成工程と、得られた三原色の画素データから輝度データおよび色差データを生成し、各データの品質向上を図る信号処理を施す信号処理工程とを含み、原色生成工程は、第１のモードにおいて、補色を含む色フィルタセグメントを介して受光によって得られる信号電荷をインターレース走査して同一フィールド同士のこの信号電荷を読み出し混合し、この混合した画素データを基に原色の画素データを生成する第１の原色生成工程と、第２のモードにおいて、補色を含む色フィルタセグメントを介して受光によって得られる信号電荷を順次読み出して得られた複数の画素データを基に原色の画素データを生成し、前記受光素子数以上の前記原色の画素データを生成するとともに、生成した原色の画素データに高域化を施して出力する第２の原色生成工程とを含むことを特徴とする。
【００１３】
本発明の信号処理方法は、補色を含む色フィルタセグメントを介した被写界からの入射光を選択したモードに応じて撮像し、この撮像して得られた画素データに、第１のモードでは補色を含む画素データを混合した画素データから三原色の画素データを生成し、第２のモードでは補色を含む画素データに基づいて仮想画素および受光素子で表される画素数の三原色の画素データを生成するとともに、この三原色の画素データを高域化することにより、第１のモードでは間引き的な信号処理が行われることから画素データ数が少ないながら処理の高速化が図られ、第２のモードでは、三原色の画素データの数を大幅に増やすとともに、各三原色の画素データの高域化を施すことから、入射光の利用効率が高く、得られる画像の解像度をより高めることができる。
【００１４】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１５】
本発明の固体撮像装置は、補色を含む色フィルタセグメントの色分解部で色分解した被写界からの入射光を、動作指示部で第１のモードと第２のモードのいずれか選択したモードで受光素子がずれて２次元に配された撮像部を駆動して信号電荷を読み出すことにより、入射光の利用効率を原色の色分解に比べて高め、読み出した信号をディジタル変換部で画素データにした後、信号処理部における第１のモードに応じた信号処理では、受光素子をずらす通常の画素配置パターンと異なっていても、このモードでの画素混合により信号読出しを間引きした場合と同様の信号読出しを行って読み出し、補色を含む色フィルタセグメントで得られた複数の画素データを混合しても正確に三原色の画素データを一組生成することができ、第２のモードに応じた信号処理では受光素子数より多くの三原色の画素データを生成するとともに、この三原色の画素データを高域化させることにより、撮像した画像信号の解像度をより一層高めることができる特徴がある。
【００１６】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図１に示す。また、本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。
【００１７】
図１のディジタルスチルカメラ10には、光学レンズ系12、操作部14、システム制御部18、信号発生部20、タイミング信号発生部22、ドライバ部24、絞り調節機構26、光学ローパスフィルタ28、色分解部CF、撮像部30、前処理部32、A/D 変換部34、信号処理部36、圧縮／伸張部38、記録再生部40、およびモニタ42が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を操作部14からの操作信号14a に応じて調節するズーム機構や被写体とカメラ10との距離に応じてピント調節する、AF（Automatic Focus ：自動焦点）調節機構が含まれている。操作信号14a は、システムバス16を介してシステム制御部18に供給される。光学レンズ系12には、後述する信号発生部20、タイミング信号発生部22、ドライバ部24を介してこれらの機構を動作させる駆動信号24a が供給される。
【００１８】
操作部14には、図示しないシャッタスイッチやたとえばモニタ画面に表示される項目を選択するカーソル選択機能等が備えられている。特に、シャッタスイッチは、複数の段階のそれぞれでカメラ10の操作を行うようにシステムバス16を介して第１のモードと第２のモードのいずれが選択されたかを操作信号14a によりシステム制御部18に出力して報知する。
【００１９】
システム制御部18は、たとえば CPU（Central Processing Unit ：中央演算処理装置）を有する。システム制御部18には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部18は、たとえば、ユーザの操作に伴って操作部14から供給される情報14a とこの ROMの情報を用いて各部の動作を制御する制御信号18a を生成する。システム制御部18は、生成した制御信号18a を信号発生部20、あらわに制御信号18a の供給を示していないタイミング信号発生部22、前処理部32、A/D 変換部34の他に、システムバス16を介して信号処理部36、圧縮／伸張部38、記録再生部40およびモニタ42にも供給する。
【００２０】
信号発生部20は、システム制御部18からの制御に応じてシステムクロック20a を発振器（図示せず）により発生する。信号発生部20は、このシステムクロック20a をタイミング信号発生部22および信号処理部36に供給する。また、システムクロック20a は、たとえば、システムバス16を介してシステム制御部18の動作タイミングとしても供給される。
【００２１】
タイミング信号発生部22は、供給されるシステムクロック20a を制御信号18a に基づいて各部を動作させるタイミング信号22a を生成する回路を含む。タイミング信号発生部22は、生成したタイミング信号22a を図１に示すように各部に出力するとともに、ドライバ部24にも供給する。ドライバ部24は、前述した光学レンズ系12のズーム調節機構およびAF調節機構の他、絞り調節機構26および撮像部30にも駆動信号24a をそれぞれ供給する。
【００２２】
絞り調節機構26は、被写体の撮影において最適な入射光の光束を撮像部30に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構26にもドライバ部24から駆動信号24a が供給される。この駆動信号24a は、前述したシステム制御部18からの制御に応じて行う動作のための信号である。この場合、システム制御部18は、図示しないが、撮像部30で光電変換した信号電荷を基にAE（Automatic Exposure :自動露出）処理として絞り・露光時間を算出している。この算出した値に対応する制御信号18a がタイミング信号発生部22に供給された後、絞り調節機構26には、このタイミング信号発生部22からの信号22a に応じた駆動信号24a がドライバ部24から供給される。
【００２３】
撮像部30では光電変換する撮像素子（受光素子）を光学レンズ系12の光軸と直交する平面（撮像面）が形成されるように配置しておく。また、撮像素子の入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ28と一体的に色分解する色フィルタCFが一体的に配設される。本実施例では単板方式の色フィルタを用いて撮像する。色フィルタCFの種類等については後段でさらに詳述する。撮像素子には、 CCD（Charge Coupled Device:電荷結合素子）や MOS（Metal Oxide Semiconductor:金属酸化型半導体）タイプの固体撮像デバイスが適用される。撮像部30では、供給される駆動信号24a に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、信号読出し期間の電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流／電圧変換によってアナログ電圧信号30A にされ、前処理部32に出力される。撮像部30は、CCD タイプでは信号電荷の読出しモードに応じてフィールド蓄積２行混合読出しの色多重化方式や全画素読出し方式を用いる。これらの信号読出し方式についてはさらに後段で詳述する。
【００２４】
前処理部32には、図示しないがCDS （Correlated Double Sampling: 相関二重サンプリング；以下CDS という）部が備えられている。CDS 部は、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部22からのタイミング信号22a によりクランプするクランプ回路と、タイミング信号22a により信号30A をホールドするサンプルホールド回路を有する。CDS 部は、ノイズ成分を除去してアナログ出力信号32a をA/D 変換部34に送る。A/D 変換部34は、供給されるアナログ信号32a の信号レベルを所定の量子化レベルにより量子化してディジタル信号34a に変換するA/D 変換器を有する。A/D 変換部34は、タイミング信号発生部22から供給される変換クロック等のタイミング信号22a により変換したディジタル信号34a を信号処理部36に出力する。
【００２５】
信号処理部36には、データ補正部36a 、補間処理部36b および広帯域信号処理部36c が含まれる。データ補正部36a には、図示しないが色の補正を行うガンマ補正回路や自動的にホワイトバランスの調整を行うAWB (Automatic White Balance）回路等がある。特に、ガンマ補正回路は、 ROM（Read Only Memory）に供給されるディジタル信号とこのディジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。これら一連のデータ補正においてもタイミング信号発生部22からのタイミング信号22a に応じて供給される。データ補正部36a は、この処理した補正データ36A を補間処理部36b に出力する。
【００２６】
補間処理部36b は、本実施例では図２に示すように、供給される受光素子から得られる補色を含む画素データを用いて三原色RGB の画素データを生成するとともに、受光素子および／または仮想画素の位置での三原色RGB の画素データを補間生成する機能を有する。補間処理部36b には、操作部14のレリーズボタンが半押し状態のモード（第１のモード）で動作させる原色生成処理部360bとレリーズボタンが全押し状態のモード（第２のモード）で動作させる静止画補間処理部362bと、原色生成処理部360bからの三原色の画素データを基に輝度データY および色差データR-Y, B-Yを生成する色差マトリクス部364bとが含まれている。なお、図１のモニタ42が三原色RGB で表示可能な方式の場合、色差マトリクス364bは不要である。原色生成処理部360bと静止画補間処理部362bとの動作は、システム制御部18からの制御信号18a が供給されるシステムバスブランチ16a を介して選択される。選択は、たとえば正負の信号で行ってもよい。
【００２７】
原色生成処理部360bは、補色を含む画素データからフィールド蓄積２行混合の色多重方式に基づいて三原色RGB の画素データを生成する。原色生成処理部360bには、図２に示すように、差分生成機能部3600、全色混合機能部3602、G 生成機能部3604、R 生成機能部3606およびB 生成機能部3608が含まれている。
【００２８】
差分生成機能部3600には、インターレース走査によりそれぞれ、第１フィールド内の信号電荷を２ラインずつ混色させ、第２フィールド内の信号電荷を２ラインずつ混色させた画素データ36A が供給される。差分生成機能部3600は、混色した画素データのうち、異なるフィールドでありながら、空間的に隣接した２ラインの混色した画素データを用いて２つの画素差分データ360A, 360Bを生成する機能を有する。
【００２９】
全色混合機能部3602は、所定の領域内に含まれる色フィルタセグメントに用いられている色すべてを混色する機能を有する。本実施例の場合、補色の黄色(Ye)、シアン(Cy)、マゼンタ(Mg)および緑（G)を加算する。加算は、たとえば、供給される混色した画素データのうち、異なるフィールドでありながら、空間的に隣接した２ラインの画素データを用いる。全色混合機能部3602は、すべて混色した結果360CをG 生成機能部3604に出力する。
【００３０】
G 生成機能部3604は、全色混合機能部3602の結果360Cから差分生成機能部3600で得られた２つの差分結果360A, 360Bを減算して所定の値として５で除算し、G を生成している。G 生成機能部3604は、ここで生成したG の画素データ360Dをそのまま出力するとともに、R 生成機能部3606およびB 生成機能部3608にそれぞれ供給する。
【００３１】
R 生成機能部3606は、差分生成機能部3600の出力360AにG の画素データ360Dを加算してR の画素データを生成している。また、B 生成機能部3608は、差分生成機能部3600の出力360BにG の画素データ360Dを加算してB の画素データを生成している。
【００３２】
また、図２に示す静止画補間処理部362bは、画素ずらしに伴って生じる受光素子のない空隙位置、すなわち仮想画素に周囲の補色を含む画素データから三原色RGB を補間生成するとともに、得られた三原色RGB を用いてさらに三原色RGB のない画素に対して補間処理を行って画素データを生成する。原色生成処理部360bと静止画補間処理部362bはシステム制御部18からの制御信号18a に応じていずれか一方が動作するように設定されている。原色生成処理部360bと静止画補間処理部362bは動作イネーブル状態を互いに異なる状態にしておくとよい。
【００３３】
さらに、概略的な構成を説明すると、静止画補間処理部362bには、仮想画素補間機能部3620、プレーン補間機能部3622、輝度データ生成機能部3624、および輝度データ補間機能部3626が含まれている。仮想画素補間機能部3620は、仮想画素の周囲に位置する４色の画素データを用いてこの仮想画素の位置における三原色RGB をマトリクス生成する機能を有している。仮想画素補間機能部3620は、生成した三原色RGB の画素データ362Aをプレーン補間機能部3622に供給する。
【００３４】
ところで、本実施例では補色の色フィルタセグメントを含む色フィルタCFを用いていることから、受光素子が実在していながら、各原色R, G, B の画素データの欠如している位置がある。この位置における原色R, G, B の画素データを補間する機能を有しているのがプレーン補間機能部3622である。プレーン補間機能部3622には、たとえばR 補間展開部36R 、G 補間展開部36G およびB 補間展開部36B が備えられている（後述する図６を参照）。
【００３５】
プレーン補間機能部3622は、各色に対する斜め、水平および／または垂直方向の相関関係に応じて２画素平均から補間演算を行ったり、４画素平均から補間演算を行っている。このように各色における補間演算処理を施すことにより、プレーン補間機能部3622は、本来の受光素子数よりも多い画素データ362Bを図１の広帯域信号処理部36c に出力する。
【００３６】
また、輝度データ生成機能部3624は、本実施例における色フィルタセグメントの４色の画素データを基にこの仮想画素での輝度データYHを生成する機能を有する。ここで、輝度データYHは、４色の画素データの総和値である。輝度データ生成機能部3624は、生成した輝度データYHを仮想画素における輝度データ362Cとして輝度データ補間機能部3626に出力する。
【００３７】
輝度データ生成機能部3624は、輝度データ362Cを用いて受光素子の存在する画素での輝度データYHの算出を行う機能を有する。輝度データ生成機能部3624は、この算出を、斜め、水平および／または垂直方向の相関関係に応じて２画素平均や４画素平均から行って、補間演算をしている。このように先に算出した輝度データYHを用いて補間演算処理を施すことにより、輝度データ生成機能部3624は、プレーンな輝度データYHが本来の受光素子数よりも多い輝度データ362Dとして図１の広帯域信号処理部36c に出力する。
【００３８】
なお、この補間生成によるプレーンな輝度データYHは、この構成に限定されるものでなく、高周波の領域まで帯域の延びたローパスフィルタを通して補間するようにしてもよい。
【００３９】
図５に示す広帯域信号処理部36c には、高域化処理部360c、色差マトリクス部362c、アンチエリアシングフィルタ部364cおよび彩度補正部366cが備えられている。高域化処理部360cには、供給される三原色RGB の画素データ362Bにそれぞれ高域成分を付け加える機能がある。この機能をもたらすように、高域化処理部360cには、図６に示すハイパスフィルタ部3628と、加算器3630, 3632, 3634が含まれる。ハイパスフィルタ部3628は、供給されるプレーンな輝度データYHの高域成分だけを通過させるディジタルフィルタである。
【００４０】
高域成分を有する輝度データ362Eとして加算器3630, 3632, 3634のそれぞれ一端側に供給する。加算器3630, 3632, 3634のそれぞれ他端側には、プレーンな画素データR, G, B が供給される。加算器3630, 3632, 3634における加算によってプレーンな画素データ362Bを高域成分を有するプレーン画素データ362Fになる。高域化処理部360cはプレーンな画素データ362Fを色差マトリクス部362cに出力する。
【００４１】
図５に戻って、色差マトリクス部362cは、供給されるプレーンな画素データR, G, B のデータに基づいて帯域の延びた輝度データY 、色差データ(R-Y), (B-Y)を生成する。これら３つの画素データは、各色に定めた混合割合で乗算し演算することから得られる。混合割合を決める係数は、従来からの値を用いる。色差マトリクス部362cは得られたデータ362G、362H、362Iをアンチエリアシングフィルタ部364cに出力する。
【００４２】
アンチエリアシングフィルタ部364cは、色差マトリクス部362cから供給されるデータ362G、362H、362Iに周は数的な折返し歪が生じないようにする機能がある。アンチエリアシングフィルタ部364cには、データ362G、362H、362Iに対応する輝度データY 、色差データ(R-Y), (B-Y)の各帯域をカバーする３つのLPF がある（図示せず）。各LPF はそれぞれのデータの帯域まで通すとともに、信号に歪が生じないように緩やかな傾斜でレベルを低下させる周波数特性を持たせている。アンチエリアシングフィルタ部364cは、それぞれ、輝度データY 、色差データ(R-Y), (B-Y)を表すデータ362J、362K、362Lを彩度補正部366cに供給する。
【００４３】
さらに彩度補正部366cは、図示しないが供給される輝度データY のデータ362Jに対して高域でのレスポンスの低下を補うように、たとえばトランスバーサルフィルタ等を用いている。この処理を施すことにより、画像表示した際に画像の輪郭が強調される。また、彩度補正部366cは、色差データ(R-Y), (B-Y)を表すデータ362K、362Lのゲイン調整する機能がある。彩度補正部366cは、これらの色信号のレベルが向上することにより、画像表示した際の映像を高品位な解像度および彩度の高いものにすることができる。彩度補正部366cは、輝度データY 、色差データ(R-Y), (B-Y)を広帯域信号処理部の出力信号362Mとして図１の圧縮／伸張部38に出力する。
【００４４】
図１に戻って圧縮／伸張部38は、たとえば、直交変換を用いたJPEG（Joint Photographic Experts Group）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張部38は、システム制御部18の制御により記録時には圧縮したデータをシステムバス16を介して記録再生部40に供給する。また、圧縮／伸張部38は、図２の色差マトリクス364bから供給されるデータをシステム制御部18の制御によりスルーさせ、システムバス16を介してモニタ42に供給することもできる。圧縮／伸張部38が伸張処理を行う場合、逆に記録再生部40から読み出したデータをシステムバス16を介して圧縮／伸張部38に取り込んで処理する。ここで、処理されたデータもモニタ42に供給して表示させる。
【００４５】
記録再生部40は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む（ともに図示せず）。記録媒体には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。モニタ42は、システム制御部18の制御に応じてシステムバス16を介して供給される輝度データおよび色差データまたは三原色RGB のデータを画面の大きさを考慮するとともに、タイミング調整して表示する機能を有する。
【００４６】
本実施例のディジタルカメラ10は、このように構成して補色を含んで得られたカラー撮像信号の広帯域化を図っている。このカメラ10の動作を説明する前に色フィルタCFの色配置と撮像部30の関係について説明する。撮像部30は、図７に示すように、入射する光を光電変換する受光素子PDに隣接した受光素子PDが垂直方向および水平方向にずらされて２次元配置された受光部30a と、この受光部30a の前面に形成された開口部APを迂回するように配置され、かつ受光素子PDからの信号を取り出す電極ELと、この電極ELを介して供給される信号を受光部30a の垂直方向に順次転送する垂直転送レジスタVR1 〜VR4 とを備えている。
【００４７】
垂直転送レジスタVR1 〜VR4 は、供給される垂直転送駆動信号V1〜V4に応じて信号を転送している。すなわち、垂直転送レジスタは１受光部あたり４電極構造になっている。また、１受光部領域の水平隣接領域が２電極構造で前述した画素ずれしている。本実施例の撮像部30に形成された開口部APは、六角形のハニカム形状に形成する。開口形状は、一般的に正方格子であるがこの形状は、感度を向上させるとともに、垂直転送レジスタの幅を同じにして転送効率を低下させないようにする条件を満たせばよい。このことから判るように形状は、多角形でもよく、この他の例としては、正方格子を45°回転させた開口形状として、たとえば、菱形等があり、さらに八角形等にしてもよい。
【００４８】
開口部APは、図７に示すように各開口部APを覆う色フィルタCFの直下にそれぞれ対応して配置される受光素子PDの間隔を各方向毎の画素ピッチPPとするとき、開口部APの配列は、一列毎に垂直方向にあるいは一行毎に水平方向に画素ピッチPP分だけ移動させた２次元配置になっている。四角形以上の多角形を用いる場合、開口形状に合わせて開口部APを隙間なく、隣接する開口部APが稠密な配置に配置にさせてもよい。図７のように六角形の場合、稠密な配置は、水平・垂直方向とも上述した画素ピッチPPの半分だけずらした配置により形成できる。このように稠密な配置を得るには開口部APの形状に依存する。
【００４９】
ここで、撮像部30が一般的に用いられる正方格子状の場合とハニカム形状の場合の配置関係を比較すると、ハニカム形状の配置は、画素ピッチPPをそれぞれN(μm)の正方格子状に配置した受光素子がそれぞれ45°回転させた場合の配置である。ハニカム形状の配置、すなわち画素の半ピッチずれを有する配置では、正方格子状の配置における水平／垂直方向の隣接画素間距離｜PP｜= N(μm)を基準に検討すると、隣接画素間距離がN*(2)-1/2 と隣接画素間距離｜PP｜＝N より短くなる。したがって、ハニカム形状の配置は、正方格子状の配置よりも画素が稠密に配置されるので、原理的に水平・垂直方向の解像度を(2)1/2倍に向上させることができる。また、ハニカム形状の配置から出力形態に見合う正方格子状の配置に展開する場合、仮想画素は、隣接する実在する画素に基づいて信号処理部36で補間処理が行われる。この補間処理を行いながらまだ得られていない色および輝度の画素等を補間展開すると、解像度は、単に正方格子状に受光素子PDを配置したときより高くできる。
【００５０】
本実施例では前述したように色フィルタCFに補色の色フィルタセグメントを用いている。この色フィルタを用いる特徴について簡単に説明する（図８〜図10を参照）。現在、チップサイズの小型化を図っても撮像の感度特性を保つために入射光を有効に用いる必要性が生じている。ここで、分光エネルギーが波長に関わらず一定な入射光30I を入射させた際に、波長に応じた比視感度（比視感度曲線30C ）とアンプゲイン（ゲイン30K ）を掛けて波長に依存した測光量を求めると図８に示す測光の分光曲線30M が得られる。さらに、原色フィルタR, G, B で撮像した場合(A) と補色フィルタMg, Ye, G, Cy で撮影した場合(B) との分光感度の比較を相対感度表示（図９を参照）および最大感度によるRGB 正規化表示（図10を参照）で行う。相対感度表示から補色フィルタで撮像した場合(B) の方が原色フィルタを用いた場合(A) より高い相対感度が得られることが判った。この関係をRGB 正規化表示で見ると、この表示でも補色フィルタで撮像した場合(B) の方が原色フィルタを用いた場合(A) より各曲線で作る面積が大きい。すなわち入射光を有効に信号電荷への変換にも寄与している。このような検討結果から補色フィルタが入射光量の有効な利用に効果的であることがわかる。
【００５１】
この結果を受けてハニカム形状の配置と等価な補色系の色フィルタセグメントを用いた色フィルタCFの例を模式的に示す。色フィルタセグメントには、減色混合法で用いる色を含めてシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）から４色を選択する。
【００５２】
図11の色フィルタ配置パターンでは、シアン（Cy）、マゼンタ（Mg）、黄色（Ye）、および緑色（G ）の４色を用いる。この配置パターンは、たとえば正方格子44の一方の対角の組を黄色(Ye)で同色にする。正方格子44の他方の対角の組の色を黄色(Ye)の組と異色にし、かつこの他方の対角の組の色フィルタセグメントも互いに異色〈マゼンタ(Mg), 緑色(G )〉にする。そして、残る１色〈シアン(Cy)〉の色フィルタセグメントを正方格子44の中心に配すとともに、正方格子44に対して水平および垂直方向にピッチの半分の距離のずれた正方格子46の一方の対角の組の色フィルタセグメントをシアン(Cy)で同色にし、他方の組の色フィルタセグメントに正方格子でずれた方向の３角形の３色〈黄色(Ye)、シアン(Cy)、緑色(G )〉と異なる色を残る１色〈マゼンタ(Mg)〉による同色の市松パターンにしてこれらの正方格子の一部が重複している。この配置パターンは、（正方YeMg_G完全市松)(正方MgCy完全市松）重複パターンと言う。
【００５３】
また、別な観点で定義すると、この配置パターンは、四辺形の一辺を３画素で表し、この頂点を第１の色にし、この四辺形内の正方格子を第２および第３の色で完全市松パターンを形成し、この四辺形の中心に残る１色を配すとともに、この四辺形の頂点を次に四辺形の頂点に重ねて形成するパターンでもある。この配置パターンよる原色RGB の画素データを生成する手順については後段で詳述する。
【００５４】
色フィルタCFは、図11の色フィルタセグメントの配置パターンに限定されるものでなく、シアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）のいずれかを３個または４個用いて、受光素子のずらし配置に対応して隣接する受光素子とをピッチの半分の距離のずれ関係にしながら、色フィルタセグメントを配置するパターンがある。
【００５５】
４色の色フィルタセグメントを用いる場合に、たとえば図12(A) に示すように正方格子48の一方の対角の組をマゼンタ(Mg)によって同色にし、他方の対角の組をマゼンタ(Mg)と異色、かつこの他方の対角の組の色フィルタセグメントの色を緑色(G )の同色にする。すなわち正方格子の四隅に着目すると、MgG の完全市松パターンである。そして、残る２色の一方の色としてシアン(Cy)の色フィルタセグメントを正方格子48の中心に配すとともに、正方格子48に対して水平および垂直方向にピッチの半分の距離のずれた正方格子50の一方の対角の組の色フィルタセグメントをシアン(Cy)の同色にし、残る黄色(Ye)を他方の組の色フィルタセグメントに指定して完全市松パターンにし、これらの正方格子48, 50の一部が重複して配されている。まとめると、（正方MgG 完全市松)(正方YeCy完全市松）重複パターンと言える。ここでも、別な観点で配置パターンを定義すると、前述したと同様に四辺形の一辺を３画素で表し、この四辺形の頂点を第１の色にし、かつ同色にするとともに、隣接する四辺形の頂点の色を第１の色と異なる色にし、かつ同色にし、四辺形内部では第１および第２の色と異なる２色で完全市松パターンを形成し、この四辺形の重なりによって形成される４画素がすべて異なる色が配されている配置パターンである。
【００５６】
図12(B) の場合も基本的な配置パターンは図12(A) の配置パターンと同じ規則を用いている。ただし、マゼンタ(Mg)と黄色(Ye)との色フィルタセグメントの配置が入れ換えられている。すなわち、（正方YeG 完全市松)(正方MgCy完全市松）重複パターンである。また、図12(B) の正方格子48における一方の組の黄色(Ye)を、中心の色フィルタセグメントのシアン(Cy)と入れ換えた配置パターンも考えられる（図13の（正方CyG 完全市松)(正方MgYe完全市松）重複パターンを参照）。このように、図12(A), (B)および図13の配置パターンは、CyYeMgG を用いた場合である。
【００５７】
この他にも、前述した基本的な配置パターンにおいて、図14および図15(A), (B)に示すように、色フィルタセグメントの色にCyYeGWの４色を用いたパターンがある。前述の規則に基づき色フィルタセグメントの配置パターンを示す。図14の配置パターンは、（正方WG完全市松)(正方YeCy完全市松）重複パターンである。図15(A) は（正方YeG 完全市松)(正方WCy 完全市松）重複パターンである。また、図15(B) は（正方CyG 完全市松)(正方WYe 完全市松）重複パターンである。色フィルタセグメントの組合せがCyYeMgW の場合も規則に対応させると、各配置パターンは、図16(A) の（正方MgW 完全市松)(正方YeCy完全市松）重複パターン、図16(B) の（正方YeW 完全市松)(正方MgCy完全市松）重複パターン、および図17の（正方YeMg完全市松)(正方WCy 完全市松）重複パターンになる。
【００５８】
画素ずらしの補色を含む色フィルタCFにおいて、色フィルタCFは、４色の色フィルタセグメントを用いて形成される正方格子48の一方の対角の組を同色にし、他方の対角の組を異色にするとともに、残る一色を正方格子48の中心に配し、正方格子48に対して水平および垂直方向にピッチの半分の距離のずれた正方格子50の一方の対角の組の色フィルタセグメントを正方格子48の他方の対角の組と同色にし、正方格子50の他方の対角の組の色フィルタセグメントを正方格子48の中心の色と同色にして完全市松パターンの配置にしてもよい。具体的には、図18(A) に示すように、４色にCyYeWGを選んだ場合、配置パターンは（正方YeWG)(正方WCy 完全市松）重複パターンになる。また、図18(B) に示すように、４色にCyYeMgW を選んだ場合、配置パターンは（正方YeMgW)( 正方MgCy完全市松）重複パターンになる。
【００５９】
これまでシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）の中から、４色選択する場合だけでなく、３色を選択する場合でも配置パターンが得られる。画素のずらし配置において、色フィルタCFの配置パターンは、規則として隣接する受光素子にずれを持たせながら、一つの色フィルタセグメントを正方格子状に配し、この一色が配した正方格子52に対するずれを前記ピッチの半分の距離にしてこの一色と異なる二色のストライプパターンが水平方向に交互に形成されている。図19(A), (B)および図20が示すように、画素ずらし（いわゆる、ハニカム）の３色の縦ストライプパターンで、換言すると、図19(A) では、色GCyYeを用いた場合でG 正方CyYeストライプパターンとも言える。図19(B) では図19(A)の緑色(G )の代わりに白色(W )を適用した場合である。そして、図20では、図19(A) の緑色(G )の代わりにマゼンタ(Mg)を配した場合である。
【００６０】
さらに、これらシアン（Cy）、マゼンタ（Mg）、黄色（Ye）、白色（W ）、および緑色（G ）の中から、３個選んで画素ずらし配置における色フィルタセグメントの配置を示す。この場合の配置の規則は、まず、３色のうちから一色を正方格子状に配し、この一色が配した正方格子52に対するずれをピッチの半分の距離にしてこの一色と異なる二色により正方格子54に市松または完全市松パターンが形成されている配置パターンである。
【００６１】
より具体的には、図21(A), (B)は色GYeCy の３色でそれぞれG 正方CyYe市松パターンとG 正方CyYe完全市松パターンである。また、色G を色W に置き換えた配置パターンが図22(A) のW 正方CyYe市松パターンと図22(B) のW 正方CyYe完全市松パターンである。同様に、色G を色Mgで置き換えた配置パターンが図23(A) のMg正方CyYe市松パターンと図23(B) のMg正方CyYe完全市松パターンである。
【００６２】
この規則において正方格子を形成する色フィルタセグメントに色G, W, Mgを用いたが、Cy, Yeを用いてもよい。これらの配置パターンを図24(A), (B)から図29(A), (B)に示す。配置パターンを示す名称は以下に列挙する通りである。
【００６３】
Ye正方GCy 市松パターン（図24(A) を参照）
Cy正方GYe 市松パターン（図24(B) を参照）
Ye正方GCy 完全市松パターン（図25(A) を参照）
Cy正方GYe 完全市松パターン（図25(B) を参照）
Ye正方WCy 市松パターン（図26(A) を参照）
Cy正方WYe 市松パターン（図26(B) を参照）
Ye正方WCy 完全市松パターン（図27(A) を参照）
Cy正方WYe 完全市松パターン（図27(B) を参照）
Ye正方MgCy市松パターン（図28(A) を参照）
Cy正方MgYe市松パターン（図28(B) を参照）
Ye正方CyMg完全市松パターン（図29(A) を参照）
Cy正方MgYe完全市松パターン（図25(B) を参照）
このように正方格子を形成する色フィルタセグメントの色をYe, Cyにする配置パターンは、図19(A), (B)および図20に示した縦ストライプの配置パターンにも適用できる。図30(A) はYe正方CyG ストライプパターン、図30(B) はCy正方GYe ストライプパターンである。３色にWCyYe を用いた場合がそれぞれ、図31(A) のYe正方CyW ストライプパターンで、図31(B) のCy正方WYe ストライプパターンである。そして、最後に、色フィルタセグメントの３色にMgYeCyを用いた場合を図32(A), (B)に示す。配置パターンは、それぞれYe, Cyを正方格子状に配して、Ye正方CyMgストライプパターン、Cy正方MgYeストライプパターンになることがわかる。
【００６４】
次にディジタルカメラ10の動作について説明する。ディジタルカメラ10は、図33に示すメインフローチャートに従って動作する。カメラ10に電源を投入した後に、システム制御部18によって各種の初期設定が行われ、操作可能状態になる。このとき一般的にカメラ10はモニタ42に撮像画像を表示させるモードにしてモニタ表示させたり、ユーザによるレリーズボタンの半押し操作が行われる。この操作状態にあるかどうかの判断が行われる（ステップS10 ）。この操作状態にあるとき(YES )、撮像部30からの画素混合読出しに進む（ステップS12 ）。また、この操作状態にない、すなわち、レリーズボタンが全押し操作された場合（NO）、撮像部30からの全画素読出しに進む（ステップS14 ）。
【００６５】
色フィルタCFの色フィルタセグメントの配置は、前述した図11の色フィルタセグメント、（正方YeMg_G完全市松)(正方MgCy完全市松）重複パターンを撮像部30に適用している。この色フィルタCFを用いて画素混合読出しする場合、供給される駆動信号に応じて撮像部30からの撮像信号の読出しを行う。この読出しは、インターレース走査して得られた同一フィールドの信号電荷を混合して読み出すフィールド蓄積2 ライン混合読出しである。
【００６６】
次にこの読み出された信号30A に対して、前処理を行う（ステップS16 ）。前処理としては、前処理部32でたとえば、CDS 処理を行って撮像部30からの信号に含まれるノイズ成分を除去している。
【００６７】
次にステップS18 では、ノイズ除去等が施された信号32a をA/D 変換部34でディジタル信号34a に変換する。この変換により各受光素子PDからの信号電荷が画素データに変換される。この変換より以後の信号処理をディジタル処理で行う。図１に図示していないが、前述したように特に、CCD イメージセンサを用いた際に非破壊タイプのバッファメモリを用いるとよい。この場合、システム制御部18からの書込み／読出しイネーブル信号やアドレス信号等の制御信号18a を、システムバス16、信号処理部36へのシステムバスブランチ16a を介して供給してバッファメモリは、各色の画素データを信号処理部36に供給する。この後、サブルーチンSUB1に進む。
【００６８】
サブルーチンSUB1では、供給される画素データに対してあらわに図示していないが、たとえば、白バランスやガンマ補正を供給される画素データ34a に施してもよい。とともに、この補正処理により得られた補色の画素データ36A から所定の領域に対して三原色の画素データRGB に原色生成処理部360bで変換生成する。得られた三原色の画素データRGB は、それぞれ色差マトリクス部364bと信号処理部36内の露出制御処理部（図示せず）またはシステムバス16を介してシステム制御部18に供給される。
【００６９】
サブルーチンSUB1の処理を受けて、得られた三原色RGB を輝度データY 、２つの色差データ(B-Y), (R-Y)の生成を行う（ステップS20 ）。生成したデータは、システムバスブランチ16a 、システムバス16を介してモニタ42に供給される。
【００７０】
また、前述したように信号処理部36またはシステム制御部18において、自動的に適正な露出制御を行わせるための演算処理をサブルーチンSUB1にて得られた三原色の画素データRGB を用いて行う（サブルーチンSUB2）。さらに、ここで得られた値に応じた制御信号18a を前述した各部に供給して絞り調節機構26やAF（Automatic Focus ：自動焦点）調節機構を調節する。
【００７１】
モニタ42にデータ（輝度データ、色差データ）が供給されると、画像を表示させる（ステップS22 ）。この後、カメラ10の動作を停止させる、すなわち電源オフになったかどうかを判断する（ステップS24 ）。電源オフになっていないとき（NO）、ステップS10 に戻って処理を繰り返す。電源オフになっているとき（YES ）、すべての処理を終了する。
【００７２】
また、前述したように、レリーズボタンが全押しされた場合、撮像部30からこのモードに応じた駆動信号が供給される。この場合、撮像部30は、全画素読出しを行う。これ以後、読み出した信号30A に対して順次に前処理、A/D 変換処理を施す（ステップS26, S28）。ここでの各処理はステップS16 およびS18 の場合と同じに行い、これらの説明を省略する。
【００７３】
全画素読出しして得られた補色の画素データ34a を信号処理部36に供給する。信号処理部36では、前述したと同様に、供給された画素データに対して各種の補正を施すとともに、画素データ34a に対して静止画補間処理を施す（サブルーチンSUB3）。この処理は、静止画補間処理部362bにて行う。この静止画補間処理によりの動作についてはさらに後段で詳述する。この後、サブルーチンSUB4に進む。
【００７４】
サブルーチンSUB4では、サブルーチンSUB3で補間処理等によって得られた三原色の画素データRGB に対して周波数領域で見た場合、信号処理を施すことによってより画素データの帯域を広帯域化している。広帯域化する方法も各種ある。
【００７５】
この広帯域化した画素データRGB の各データから輝度データY 、色差データ (R-Y), (B-Y) （またはCr, Cb）へと信号出力形式の変換を行うとともに、より画像として表示した際の品質を高くする信号処理を施す（サブルーチンSUB5）。
【００７６】
次にステップS30 では、これらの信号処理によって得られた輝度データY 、色差データ (R-Y), (B-Y) が図１の圧縮／伸張部38、システムバス16を介して記録再生部40やモニタ42にそれぞれ供給される。この供給に際してシステム制御部18は、表示と記録の場合に応じて圧縮／伸張部38に異なる制御をするようにしてもよい。この制御としては、たとえば、信号処理したこれらのデータを表示させる場合、圧縮／伸張部38はスルー処理し、すでに記録済みの圧縮データを再生する場合、圧縮／伸張部38は圧縮データに伸張処理を施してモニタ42に出力する手順がある。
【００７７】
また、撮像して信号処理したこれらデータを記録する場合、圧縮／伸張部38は、たとえば、JPEGといった圧縮処理を施し（ステップS30 ）、情報量を減少させて半導体メモリ、光記録媒体、磁気記録媒体、または光磁気記録媒体を含む記録再生部40に供給する。圧縮されたデータは記録再生部40の記録媒体に記録される（ステップS32 ）。このとき、圧縮前の画像を間引いてモニタ42に表示させると、撮像タイミングでの取り込んだ画像の良否もチェックすることができる。この圧縮前の画像を外部の高品位なモニタに供給すると、従来の補間した画像に比べても一層高い画質の画像を表示できることは言うまでもない。この記録処理の後、前述したステップS24 に進む。
【００７８】
ステップS24 では、撮影を終了、電源オフにするか判断している。撮影を継続する場合（NO）、ステップS10 に戻って、前述の動作を繰り返す。また、撮影を終了する場合（YES ）、終了に進んで、たとえば、電源スイッチをオフにして動作を終了させる。
【００７９】
次に本実施例の各処理について説明する。まず、サブルーチンSUB1を行う前にこの半押しあるいはムービー表示させる場合を一つのモードとして撮像を行う。インターレース走査した同一フィールド同士、２ライン混合した画素データが供給される。この混合するラインの関係は、図34の矢印M の接続関係で示される。また、供給される補色を含む画素データに対して水平方向に２画素、８ラインの枠線56で囲まれる領域を一つの単位に原色の画素データを生成する。この三原色R, G, B の画素データを生成する上で、原色系の色と補色系の色Mg, Cy, Yeとの間には式(1a), (1b), (1c)のような関係がある。
【００８０】
【数１】
R ＋ B＝Mg                                            ・・・(1a)
G ＋ B＝Cy                                            ・・・(1b)
R ＋ G＝Ye                                            ・・・(1c)
本実施例において画素データは、画素の色および位置を示すように記号で色を表し、この記号に付す添字の行列表示で位置を表現している。また、破線は、受光素子の実在しない位置を示し、仮想的な受光素子（仮想画素または仮想受光素子）を示している。画素混合は、図34および図35から明らかなように、枠線56の内側にある画素を例に示すと、画素混合h, i, j, kという混合画素が式(2a), (2b), (2c), (2d)
【００８１】
【数２】
Mg＋Cy＝h                                             ・・・(2a)
Ye＋G ＝i                                             ・・・(2b)
Ye＋Mg＝j                                             ・・・(2c)
Cy＋G ＝k                                             ・・・(2d)
で表される。混合画素は、この場合、j22, k33, i62, h73に蓄積した混合画素が存在する（図35を参照）。このモードでは、この混合画素が信号処理部36に供給される。
【００８２】
サブルーチンSUB1は、図36に示すように動作を開始する。このとき、供給される混合画素に補正を行う（サブステップSS10）。特に、後述する原色データに変換した際に適正な画素データが得られるようにゲイン補正する。ゲイン補正した混合画素データ36A が補間処理部36b に供給される。この混合画素36A は、補間処理部36b の原色生成処理部360bと静止画補間処理部362bに供給される。供給される混合画素を読み込んで信号処理するかどうかはシステムバスブランチ16a を介して供給される制御信号18a のいずれをイネーブルにするかで決まる。たとえば、アクティブLow の原色生成処理部360bに負レベルが供給されたとき、動作する。原色生成処理部360bにおける処理が各パラメータの算出処理である（サブステップSS12）。
【００８３】
原色生成処理部360bでは、差分生成機能部3600で供給される混合画素データの差分を算出し、全色混合機能部3602で供給される混合画素データの総和を算出し、これらの得られた各パラメータをデータに用いて三原色の画素データRGB を生成している。差分生成機能部3600での差分は、たとえば、式(3a), (3b)
【００８４】
【数３】
m ＝h −i （＝{Mg ＋Cy} −{Ye ＋G}）＝2B−G           ・・・(3a)
n ＝j −k （＝{Ye ＋Mg｝−{Cy ＋G}）＝2R−G           ・・・(3b)
によって算出される。図35の各パラメータh, i, j, kの位置を考慮して新たなパラメータm, nを生成するとき、たとえば、減算する方向を考慮して生成位置を決めてもよい( 具体例としてn23 ＝j22 −k33, m72＝h73 −i62 ）。
【００８５】
また、全色混合機能部3602での総和S は、式(4)
【００８６】
【数４】
S ＝h ＋i ＝j ＋k ＝Mg＋Cy＋Ye＋G ＝2R＋3G＋2B        ・・・(4)
から得られる。図37では、フィールドは異なっているが、空間的に隣接したなかで総和S の位置を混合に用いた４つの画素の最低ライン位置S33, S73にしている。図37の画素間を結ぶ破線は、前述した減算・加算に用いるデータの位置およびその対応関係を表している。
【００８７】
次にこのようにして生成したパラメータを用いて三原色の画素データRGB を算出する（サブステップSS14）。図３に示したように、G 生成機能部3604には２つの差分結果(3a), (3b)と、総和S が供給される。枠線56で囲まれた領域における原色G の画素データは、一般的に式(5)
【００８８】
【数５】
G ＝(S−m −n)/5                                      ・・・(5)
によって得られる。演算によって得られた色G の画素データは、８ラインのほぼ中央に相当する受光素子の位置、たとえば行列表示42の位置に割り当てる。この算出した色G の画素データを用いて原色R, Bの画素データを算出するため色G の画素データ360Dを、R 生成機能部3606およびB 生成機能部3608のそれぞれ一端側に供給する。また、R 生成機能部3606の他端側には差分生成機能部3600の結果360Aが、B 生成機能部3608の他端側には差分生成機能3600のもう一つの結果360Bが供給されている。R 生成機能部3606およびB 生成機能部3608では、それぞれ、式(6a), (6b)
【００８９】
【数６】
R ＝(m＋G)/2                                          ・・・(6a)
B ＝(n＋G)/2                                          ・・・(6b)
から得られる。得られた色R, Bの画素データも前述した中央近傍の位置、行列表示42に割り当てている（図38を参照）。このようにして三原色の画素データRGB が得られる。撮像部30は画素混合によって画素数を半分にして出力している。この三原色の画素データの生成では、枠線56のなかに含まれる８個の画素データから１組の画素データが得られることから、1/8 間引きと同等の処理が行われたことになる。生成した三原色の画素データが色差マトリクス部364bおよび信号処理部36またはシステム制御部18に供給される。画像全体、あるいは画像の一部領域に対するこの原色生成処理が終了したならば、リターンに進んでサブルーチンSUB1を終了する。
【００９０】
次に自動制御演算の手順について簡単に説明する（サブルーチンSUB2: 図39を参照）。本実施例における自動制御としては、AF, AE, AWB 等がある。このうち、AF, AEについて手順を示す。この自動制御は、システム制御部18で行うものとする。システム制御部18では、サブルーチンSUB1で生成した三原色の画素データを用いて演算が行われ、被制御部の各部に対して制御が施される。
【００９１】
供給された画素データから被写体とカメラ10との間の距離を測定する（サブステップSS200 ）。測距により得られたデータに基づいてシステム制御部18では制御信号18a を生成し、AF調節機構に供給する（サブステップSS202 ）。この制御を受けてAF（Automatic Focus ：自動焦点）調節機構が調節される。このとき図示していないが、この光学レンズの位置において第２の測光を行っている。
【００９２】
この光学レンズ系12の光学レンズの移動後の測光で得られた結果、光学レンズが撮像部のCCD 受光面に焦点の合った光学像を結ぶかどうか判断している（サブステップSS204 ）。焦点が合っていない場合（NO）、測距（サブステップSS200 ）に戻って処理を繰り返す。焦点が合った場合（YES ）、AE測光制御に移行する。
【００９３】
AF（測距ルーチン）制御で得られている三原色の画素データを用いて最適な露出値、シャッタ速度を、システム制御部18でたとえばプログラム線図によって対応する値の組を算出する（サブステップSS206 ）。システム制御部18では算出した値に応じた制御信号18a を生成する。生成した制御信号18a は図示していないがシステムバス16を介してドライバ部24に供給される。ドライバ部24では制御信号18a に応じた駆動信号24a を生成して絞り調節機構26に供給する（サブステップSS208 ）。絞り調節機構26には、駆動信号24a により指示された調節が施される。この調節が行われた結果、絞りが所定の値に対応した位置に設定されたかどうかの判断を行う（サブステップSS210 ）。調節が不充分な場合や測光が継続中に被写界の明るさが変化した場合等に応じてそれぞれ、サブステップSS208 またはサブステップSS206 に戻す。図39では調節が不充分な場合を想定して処理を戻す場合を示した。この調節が良好に行われた場合（YES ）リターンに進んで自動制御処理を終了する。
【００９４】
カメラ10が全画素読出しを行って静止画を記録する場合について説明する。撮像部30は、受光素子PDから順次混色させることなく、信号電荷を読み出す。この信号を読み出して前処理、A/D 変換を行ってディジタルの画像データに変換している。この変換されたディジタルの画素データを非破壊型メモリに格納する。非破壊型メモリには、図40に示すように補色を含む色フィルタセグメントを介して受光素子で得られた画素データが格納される。この非破壊型メモリはシステム制御部18の制御により画素データを読み出す。読み出す画素データは、図40の枠線58が示すように、色フィルタCFで用いられている色フィルタセグメントの色CyYeMgG の４色を単位に読み出す。すなわち、３ライン内での四辺形（枠線58）は水平方向に２列ずつ単位幅60をシフトさせて読み出す。次に読み出すラインは、１ライン下側のラインの受光素子を四辺形の頂点としてこの受光素子を含むラインから３ライン分にある４色の画素データを読み出す。すなわち、２つの枠線58が重複する画素ピッチ｜PP｜の半分ずらした４色の画素データを読み出す。
【００９５】
図40の実線で描いた六角形は実在する受光素子を表し、破線で描いた六角形は仮想的な受光素子を表す。
【００９６】
このように読み出された画素データが信号処理部36に供給される。この供給を受けてサブルーチンSUB3が動作を開始する。供給された画素データには、データ補正部36a で前述した半押しおよびムービーのモード時と同様にゲイン調整が施される（サブステップSS300 ）。ここで、ガンマ補正、白バランス等の補正を行ってもよい。
【００９７】
補正した画素データ36A が補間処理部36b に供給される。補間処理部36b には、このときシステムバスブランチ16a を介してシステム制御部18からの制御信号18a が供給される。制御信号18a は、イネーブル信号として供給される正レベルの信号を含んでいる。この制御により、静止画補間処理部362bが供給される画素データ36A を取り込む。取り込んだ画素データ36A は、仮想画素補間機能部3620および輝度データ生成機能部3624に供給されている。供給された画素データ36A は仮想画素補間機能部3620で仮想画素における三原色RGB の画素データに変換される（サブステップSS302 ）。この仮想画素の位置と変換に用いる受光素子の画素データ36A との関係は、仮想画素から等距離の位置に配されている４色の画素データMg, Ye , G, Cyを用いる（図42を参照）。画素データR, G, B は、次の式(7) に示すように、供給される画素データMg, Ye , G, Cyと12個の所定のマトリクス係数M11,〜, M44 とを用いて算出する。算出する式(7) は、一般的に、
【００９８】
【数７】
0004195169.tif 000002
によって得られる。具体的には、図40および図42が示すように、たとえば、仮想画素における三原色の画素データR23, G23, B23 を生成するとき、実在の受光素子から得られる画素データMg24, Ye04 , G13, Cy15を用いる。このように、供給される画素データを用いると、仮想画素において三原色の画素データを市松状に生成することができる（図42を参照）。
【００９９】
また、輝度データ生成機能部3624に供給された画素データ36A には、仮想画素の位置における輝度データYHの生成処理が施される（サブステップSS304 ）。輝度データYHは、前述したサブステップSS302 と同様に仮想画素から等距離に位置する実在の受光素子Mg, Ye , G, Cyからの画素データを総和YHとして求めている。この関係を式で表すと、輝度データYHは、式(8)
【０１００】
【数８】
YH＝h ＋i ＝j ＋k ＝Mg＋Cy＋Ye＋G ＝2R＋3G＋2B        ・・・(8)
である。この総和の算出式は式(4) と同じである。しかしながら、式(4) の場合輝度データYHを生成する場合、用いる画素データの位置が異なる。YH23を生成するとき、実在の受光素子から得られる画素データMg24, Ye04 , G13, Cy15を用いる。このように、供給される画素データを用いて輝度データYHを生成している。
【０１０１】
仮想画素における三原色RGB および輝度データYHはこのような手順で得られる。次に補色を含む色フィルタCFによって信号電荷の得られる受光素子での三原色の画素データRGB を補間処理によりそれぞれ算出する（サブルーチンSUB6）。この算出の手順は、必要に応じて図42および図45を参照しながら、図44のフローチャートで説明する。図42から明らかなように、これまで算出された画素データR, G, B が市松状に生成されている。三原色RGB の生成した位置は、各色とも同じ位置で生成されているので、生成手順を色R で説明し、色G, Bの生成手順を省略する。本実施例の画素データR の補間生成は、すでに算出されている仮想画素の画素データR を用い、これらの画素データの相関に応じた適応処理を行う。
【０１０２】
本実施例は、図44に示すように、サブステップSS600 では、まず、相関処理を行うかどうかの判別を行う。相関処理を行う場合（YES ）、図44のサブステップSS602 に進む。また、相関処理を行わない場合（NO）、サブステップSS604 に進む。
【０１０３】
次に、垂直・水平相関処理を行う際の比較データの算出を行う（サブステップSS602 ）。この処理を行うにあたり撮像部30のCCD イメージセンサにおいて図42に示したように仮想画素に対して色R の画素データが生成されている。ここで、添字は、前述した場合と同様に各受光素子の画素としての位置を行列表現で表した際の位置である。たとえば、図42の実在する受光素子の画素を実線で、仮想画素に対応する画素を破線で表している。
【０１０４】
基本的に画素データR は、求める実在の受光素子を算出領域の中心になっている。そして、求める受光素子に対して斜め方向に原色R の画素データがないので、実質的な相関処理は斜め方向の相関判定を行うことなく、したがって、垂直・水平相関判定になる。
【０１０５】
相関判定処理を行う場合、相関判定の基準との比較に用いる比較データの算出を行う。算出に用いる画素データには、作成対象の画素データの色と同色、すなわち色R の画素データを用いる。比較データARR は、たとえば、その対象の画素データがR33 の場合、周囲の画素データR23, R43, R32, R34を用いて、垂直方向の比較データARRVと水平方向の比較データARRHを、式(9a)、式(9b)
【０１０６】
【数９】
ARRV＝｜R23 −R43 ｜                                    ・・・(9a)
ARRH＝｜R32 −R34 ｜                                    ・・・(9b)
により算出する。
【０１０７】
次に、算出した比較データARRV, ARRHの値を用いてさらに相関値（ARRH-ARRV ）,（ARRV-ARRH ）が算出された際に、所定の判定基準値JRに対する各方向の相関値の大きさを比較して相関の有無を判定する（サブステップSS606 ）。ここでの判定は、補間対象の画素データを挟んで垂直に位置する画素データに相関（すなわち、垂直相関）があるかどうか判定を行う。この判定には、判定基準値としてJRv が設定されている。比較データARRHと比較データARRVの差(ARRH-ARRV) が判定基準値JRv 以上に大きいとき（YES ）、垂直相関があると判定してサブステップSS608 に進む。また、比較データの差(ARRH-ARRV) が判定基準値JRv よりも小さいとき（NO）、垂直相関がないものとみなしサブステップSS610 に進む。
【０１０８】
サブステップSS606 において、相関のあるということは画素データ同士の値が近いことを意味するから、画素データR23, R43を用いて画素データR33 を算出する。この場合、垂直相関のある画素データを用いて画素データR33 は、
【０１０９】
【数１０】
R33 ＝(R23＋R43)/2                                      ・・・(10)
により得られる。
【０１１０】
次にサブステップSS610 では、補間対象の画素データを挟んで水平に位置する画素データに相関（すなわち、水平相関）があるかどうか判定を行う。この判定には、判定基準値として前述したJRh を用いる。比較データARRVと比較データARRHの差(ARRV-ARRH) が判定基準値JRh 以上に大きいとき（YES ）、水平相関があると判定してサブステップSS612 に進む。また、比較データの差(ARRV-ARRH) が判定基準値JRh よりも小さいとき（NO）、水平相関がないと判定し、サブステップSS604に進む。
【０１１１】
サブステップSS612 では、水平相関のあるとして画素データR32, R34を用いて画素データR33 を算出する。この場合、画素データR33 は、
【０１１２】
【数１１】
R33 ＝(R32＋R34)/2                                      ・・・(11)
により得られる。
【０１１３】
また、前述したように、相関判定を行わない場合（サブステップSS600: NO)、受光素子の周囲に等距離に存在する４つの仮想画素の画素データを用い、これらの画素データの平均で算出する（サブステップSS604 ）。すなわち、画素データR33 は、
【０１１４】
【数１２】
R33 ＝(R23＋R43 ＋R32 ＋R34 )/4                         ・・・(12)
により得られる。
【０１１５】
このように垂直・水平または無相関での各画素補間処理（たとえば、画素データR33 の算出）後、この補間対象の画素データR の算出を終了したものとみなしてサブステップSS614 に移行する。ここでは、静止画にする、たとえば１フレーム分の画素データを用いて補間処理が完了したかどうかを判断する。まだ補間処理が完了していない場合（NO）、サブステップSS600 に戻って処理を繰り返す。また、１フレーム分の画素データに対する補間処理が完了している場合（YES ）、リターンに移行してサブルーチンSUB6を終了する。この補間処理の結果、色R の画素データがプレーンに得られることがわかる（図45を参照）。この手順を色B, Gに対しても同様に適用できることは言うまでもない。すなわち、それぞれ色B, Gにおける各方向の比較データと相関判定基準値との大きさを比較して判定して補間処理を行う。このように画素データを補間処理することにより、三原色RGB の画素データ362Aが作成される。
【０１１６】
次に、輝度データYHの補間処理について図46を用いて説明する（サブルーチンSUB7）。図43の輝度データYHと図42の三原色RGB の画素データの生成した位置を見ると、同じ位置関係にあることがわかる。したがって、前述したサブルーチンSUB6とほぼ同じ手順で補間処理できる（サブステップSS700 〜SS714 ）。一例を挙げると、比較データAYR は、たとえば、その対象の画素データがY33 の場合、周囲の輝度データYH23, YH43, YH32, YH34を用いて、垂直方向の比較データAYRVと水平方向の比較データAYRHを、式(13a) 、式(13b)
【０１１７】
【数１３】
AYRV＝｜YH23−YH43｜                                  ・・・(13a)
AYRH＝｜YH32−YH34｜                                  ・・・(13b)
により算出する（サブステップSS702 ）。
【０１１８】
垂直相関のある場合、たとえば、輝度データYH23, YH43を用いて輝度データYH33を算出する。したがって、輝度データYH33は、
【０１１９】
【数１４】
YH33＝(YH23 ＋YH43)/2                                   ・・・(14)
により得られる。また、水平相関のある場合、輝度データYH32, YH34を用いて画素データYH33を算出する。この場合、画素データYH33は、
【０１２０】
【数１５】
YH33＝(YH32 ＋YH34)/2                                   ・・・(15)
により得られる。そして、無相関の場合、周囲の輝度データYH23, YH43, YH32, YH34を用いて、
【０１２１】
【数１６】
YH33＝(YH23 ＋YH43＋YH32＋YH34)/4                       ・・・(16)
により得られる。このように、１フレーム分の補間処理が完了した際にリターンに移行してサブルーチンSUB7を終了する。これらの処理により、図47に示すプレーンな輝度データYHが得られる。この輝度データYHが輝度データ補間機能部3626からの出力362Dである。
【０１２２】
次に、サブルーチンSUB4による高域化処理の手順を説明する。この処理では、供給されるプレーンな輝度データYHに対してハイパスフィルタ処理が施される（サブステップSS400 ）。ハイパスフィルタ処理は、図６のハイパスフィルタ部3628で行われる。この処理結果、供給される輝度データYHは、フィルタを通過した高域成分だけしか含まない輝度データYhになる（図49を参照）。
【０１２３】
この輝度データYhをプレーン補間機能部3622からのプレーンな三原色の画素データ362Bに加える（サブステップSS402 ）。画素データ362Bは三原色RGB のそれぞれの色ごとに輝度データYhと加算する。この加算が図６の加算器3630, 3632, 3634で行われる。あらわに図示しないが１フレーム分の加算処理が終了したならば、リターンに移行してサブルーチンSUB4を終了させ、１フレーム分のデータ処理が未完了の場合、一連の処理を繰り返すことは言うまでもない。個のように処理するにより、三原色の画素データ362Fは、周波数的に高域成分を有する信号として出力される。
【０１２４】
次に、高域化マトリクス信号処理をサブルーチンSUB5で行う（図50を参照）。色差マトリクス部362cに供給されるプレーンな高域成分を含む三原色の画素データを用いて輝度データY 、２つの色差データ(R-Y), (B-Y)を生成する（色差マトリクス処理：サブステップSS500 ）。ここでの色差マトリクス処理は、従来から用いられてきた３行３列のマトリクス係数で行われる。生成した輝度データY 、２つの色差データ(R-Y), (B-Y)は、アンチエリアシングフィルタ部364cに供給される。
【０１２５】
アンチエリアシング処理部364cでは、供給された輝度データY 、２つの色差データ(R-Y), (B-Y)に折返し歪が生じないように、各データに対してそれぞれの所定の高域周波数までを通すローパスフィルタに通す処理が施される（アンチエリアシング処理：サブステップSS502 ）。この処理を経た各データが図５の輝度データY (362J)、色差データ(R-Y):362K、(B-Y):362Lである。
【０１２６】
エリアシング防止の処理が施された輝度データY 、２つの色差データ(R-Y), (B-Y)において輝度データ362Jに対して図示しないがY プロセスで輪郭強調処理を行う。また、色差データ362K, 362Lに対して図示しないがそれぞれにゲイン調整を施す。各データに対するこれら一連の処理によって彩度補正処理が行われる（サブステップSS504 ）。信号処理部36は、この処理後の輝度データY および色差データ(R-Y), (B-Y)を出力する（信号362M）。
【０１２７】
本実施例では、補色系の色フィルタセグメントを４色用いた一つの配置パターンで得られる画素データから仮想画素での原色の画素データを色差マトリクス処理から求めたが、他の色のフィルタセグメントを用いた他の配置パターンに応じた色差マトリクス処理によって原色の画素データを生成できることは言うまでもない。このように補色系から得られた画素データを用いて信号処理することにより、光の利用効率を高めて高感度化することができ、補間処理および高域化処理により、得られる画像の水平・垂直解像度を向上させることができる。
【０１２８】
また、補色から原色の画素データ生成および得られた画素データから輝度データの広帯域化処理は、本実施例に限定されるものでなく、以下に示す構成によっても実現させることができる。次に本発明を適用したディジタルカメラ10の第１の変形例を説明する。前述した実施例の構成と同じ構成を適用している部分には同じ参照符号を付して説明を省略する。
【０１２９】
第１の変形例では、信号処理部36の静止画補間処理部362bは、前述したように供給される補色の画素データを用いて三原色の画素データを生成するとともに、実在する受光素子の位置の三原色の画素データ補間を行っている。また、輝度データ生成および輝度データ補間も行っている。ここで得られた画素データを高域化するための手法が先の実施例と異なっている。
【０１３０】
高域化処理部360dには、成分別生成機能を有する色差マトリクス部362d、擬似周波数加算部364d、および輝度(Y )プロセス（周波数重複防止部として）366dが備えられている（図51を参照）。
【０１３１】
この場合、成分別生成機能とは、得られたプレーンな三原色の画素データを基に正確な色再現重視、ならびに水平方向および／または垂直方向の解像度の重視を行うように信号成分別かつ帯域別の項目に応じて施す演算処理を意味している。このため、色差マトリクス部362dには、たとえば、低域YL生成部3640、低域色差成分生成部3642, 3644が含まれる。
【０１３２】
低域YL生成部3640における色再現が考慮された成分信号(YL)は、解像度を重視した成分信号(YH)に比べて周波数的に低い低域成分になっている。低域YL生成部3640は、たとえば、Yh・Ylow 作成法を用いてこれまでに得られたプレーンな三原色の画素データR, G, B から各画素のデータYh, Ylowをそれぞれ生成する。また、図51に示すように低域色差成分生成部3642, 3644では、それぞれ、色差信号(R-Y)L, (B-Y)Lについての演算処理も行う。これらの演算処理については後段で詳述する。
【０１３３】
低域色差成分生成部3642, 3644は、得られた色差信号のデータをアンチエリアシングフィルタ部364cの低域LPF 回路40A, 40Bに出力する。このようにして折返し歪の信号を除去された色差信号364A, 364Bが彩度補正部366cに供給される。供給された色差信号364A, 364Bが、色差ゲイン回路3660, 3662でゲイン補正されて、彩度補正部366cは(R-Y), (B-Y)として出力する。
【０１３４】
擬似周波数加算部365dには、加算器3650, 3654および低域ローパスフィルタ3652（以下、低域LPF という）が備えられている。加算器3650の一端側50a には低域YL生成部3640からの輝度データYLが供給され、その他端側50b には362Dからの輝度データYHが供給される。この加算により、供給される信号は(YL-YH) の信号365Aになる。信号365Aは、低域LPF 3652に出力する。低域LPF 3652は、供給される信号365Aに対してアンチエリアシングを施す。図52(a) に周波数アロケーションを示すと、(YL-YH)lowで表される。ここで、(YL-YH)lowでの添字「low 」は、ローパスフィルタを通ったことを示している。低域LPF 3652は、処理した輝度データ365Bを加算器3654の一端側54a に出力する。加算器3654の他端側54b には輝度データ362Dが供給されている。輝度データ362Dは、図52(b) の輝度データを表す信号YHである。加算器3654は、供給される信号を周波数的に加算することにより図52(c) の輝度信号Yhを生成し（(YL-YH)low+YH ）、出力する。
【０１３５】
このように、擬似周波数加算部365dは、低域YL生成部3640から出力される成分信号(YL)と供給される輝度データ(YH)とを擬似周波数的に加算している。この加算により、輝度信号の広帯域化が図られる。
【０１３６】
Y プロセス部367dは、周波数重複防止機能を有している。この機能は、水平方向および垂直方向の両解像度が重視された成分信号に共通した周波数帯が含まれている場合、共通した周波数帯の重複を防止するように輝度信号(YL-YH)low+YH における水平方向と垂直方向の一方の成分信号において共通した周波数帯を帯域制限し、この信号と他方の成分信号とを加算する周波数重複に応じて偽色の発生防止する機能である。この処理のため、Y プロセス部367dは、図示していないが、選択スイッチ、切換スイッチ、フィルタ部、および加算器を備えている。選択スイッチでは擬似周波数加算部365dからの出力を水平および垂直の両方向あるいはその一方向の解像度重視かに応じて切り換えている。この切換指示はシステム制御部18が行っている。プレーンな三原色の画素データが相関方向を考慮して得られている場合、解像度の重視処理は行わずに済ませてもよい。したがって、本実施例のY プロセス部367dは、輪郭強調の機能に重点をおいて処理を行わせる。
【０１３７】
仮に周波数重複防止機能を実現させる場合にその構成を説明すると、たとえば、水平・垂直両方向の解像度重視の場合、選択スイッチは一方の端子を介して選択された信号を切換スイッチに供給する。切換スイッチは供給される信号のうち、水平／垂直方向の解像度重視の信号で切り換える。ここで、切換スイッチは、他方の端子を介して、たとえば、垂直方向の解像度重視の信号をフィルタ部に送る。フィルタ部は、たとえば、垂直方向の解像度重視の信号の中で水平方向の解像度重視の信号に共通して含まれる周波数帯に対して帯域制限を施している。フィルタ部にはハイパスフィルタである。加算器は、フィルタ部からの出力と切換スイッチの一方の端子から出力される、たとえば、水平方向の解像度重視の信号とを加算している。
【０１３８】
ここで、選択スイッチは、水平方向あるいは垂直方向の一方だけしか解像度を重視しないとき、前述したようにCPU 等を含むシステム制御部18から供給される選択信号によって他方の端子側に切り換えられて、この他方の端子を介して信号が出力フィルタ部、加算器を迂回してY プロセス部367dから出力される。また、切換スイッチもこのシステム制御部18から供給される水平／垂直切換信号に応じて切り換えられていることは言うまでもない。
【０１３９】
Y プロセス部367dは、上述したような輝度プロセス処理により輝度信号(YL-YH)low+YH を水平／垂直方向の信号を合成しても異常が生じない輝度信号(Y) にするとともに、輪郭強調するアパーチャ調整も行っている。
【０１４０】
次に、低域YLの輝度データを生成する手順について説明する。これまでの色フィルタセグメントの配置パターンに依存した算出と異なり、すでに色差マトリクス処理により、仮想画素の位置における三原色の画素データが算出されている。さらに仮想画素の位置の三原色の画素データを用いて実在する画素（受光素子）における画素データも補間処理によって得られている。これにより、プレーンな三原色の画素データを対応する位置における低域YL生成のデータに用いる。したがって、色再現重視した低域成分の信号生成は、たとえば、低域YLとして画素データの位置(2,0) では、
【０１４１】
【数１７】
Ylow20＝0.3*R20 ＋0.59*G20＋0.11*B20                ・・・(17)
から得られる。得られた画素の低域YLデータはメモリ等に記憶させておく。この算出において、これまで行ってきたように水平方向／垂直方向の解像度重視した２画素データの平均を算出して求めてもよい。このように動作させても感度の高い、かつ高解像度の画像を得ることができる。ここで得られた輝度データYlowを用いて色差データ(R-Y)L, (B-Y)Lも得られる。
【０１４２】
さらに、第１の変形例の構成を変形させた第２の変形例について簡単に説明する。本実施例では、新たに高域YH生成部3646が備えられている。高域YH生成部3646は、高域の周波数成分だけを通すディジタルフィルタによるハイパスフィルタである。高域YH生成部3646は、供給される三原色の画素データ362Bのうち、たとえば、輝度データに近い色G の画素データを取り込んで得られるデータを高域YHの輝度データとして扱い、出力する。また、高域YH生成部3646に入力する画素データは三原色の画素データに限定されるものでなく、たとえば、撮像部30から得られた市松状の画素配置のまま、または仮想画素の位置に対して得られた三原色の画素データを供給してもよい。この場合、画素補間が行われていないので、高域YH生成部3646は、水平／垂直方向の解像度を考慮した画素補間を行うとよい。この解像度を考慮した画素補間の方法は、これまでに提案した先願の方法に基づいて行うことができる。
【０１４３】
この他、市松状の配置で得られる輝度データYHに基づいて補間処理を行ってもよい。この場合、得られる輝度データYHの位置は仮想画素の位置である。したがって、補間される位置は、前述したと同様に実在する受光素子の位置になる。この補間処理は、図54に示すように、すでに算出した原色に対応する画素（すなわち、仮想画素の位置）d(-3), d(-1), d(1), d(3)を実線で示し、形成した受光素子に対応する画素を破線で示し、４つの仮想画素の間の受光素子での輝度データを高域化処理部360cで行う。受光素子に対応する画素dn(-4), dn(-2), dn(0), dn(2), dn(4)には、仮想画素との対応を考慮すると、何もデータが入っていない状態と同じ関係として扱う。すなわち、これらの画素には、ゼロが予め設定されている。たとえば、図54(a) に示すように画素dn(0) を水平方向に補間するとき、ディジタルフィルタのタップ係数をk0, k1, k2, k3, k4,・・・, knとして整理すると、高域成分を含む輝度データYh(0) が式(18)
【０１４４】
【数１８】
YH(0)=k0*dn(0)+k1*(d(1)+ d(-1))+k2*(dn(-2)+dn(2)+k3*(d(-3)+d(3))
+k4*(dn(-4)+dn(4))+・・・kn*(dn(-n)+dn(n))           ・・・(18)
で表されるように得られる。ただし、この場合、図54(a) から明らかなように、ゼロのデータが交互に入るので、係数は２倍になる。この関係は、図54(a) におけるこの他の補間対象の画素dn(-4), dn(-2), dn(2), dn(4)に対しても当てはめまる。これらの補間処理が施されることにより、高域成分を含む輝度データYH(-4), YH(-2), YH(2), YH(4)が得られる（図54(b) を参照）。
【０１４５】
また、垂直方向に対してもローパスフィルタ（LPF ）処理を高域化処理部360cでディジタルフィルタにより行う。この場合、既に水平方向の補間処理によって受光素子に対応する画素のデータが補間されているので、画素データは密に入っている。したがって、ローパスフィルタの係数は通常と同じにして済ませることができる。
【０１４６】
以上のように構成することにより、固体撮像装置に補色系を用いて入射光の利用効率を高めて、受光素子の感度をより一層高くし、画素ずらし配置であっても、この固体撮像装置を画素混合／全画素読出しという各モードの操作に応じた時間で動作させて静止画像に対しては高解像度の画像を容易に得ることができる。
【０１４７】
【発明の効果】
このように本発明の固体撮像装置によれば、補色を含む色フィルタセグメントの色分解手段で色分解した被写界からの入射光を、動作指示手段で第１のモードと第２のモードのいずれか選択したモードで受光素子がずれて２次元に配された撮像手段を駆動して信号電荷を読み出して、入射光の利用効率を原色の色分解に比べて高め、読み出した信号をディジタル変換手段で画素データにした後、信号処理手段における第１のモードに応じた信号処理では、受光素子をずらす通常の画素配置パターンと異なっていても、このモードでの画素混合により信号読出しを間引きした場合と同様の信号読出しを行って読み出し、補色を含む色フィルタセグメントで得られた複数の画素データを混合しても正確に三原色の画素データを一組生成することができる。また、第２のモードに応じた信号処理では受光素子数より多くの三原色の画素データを生成するとともに、この三原色の画素データを高域化させて撮像した画像信号の解像度をより一層高めることにより、固体撮像装置に補色系を用いて入射光の利用効率を高めて、受光素子の感度をより一層高くし、画素ずらし配置であっても、この固体撮像装置を画素混合／全画素読出しという各モードの操作に応じた時間で動作させて静止画像に対しては高解像度の画像を容易に得ることができる。
【０１４８】
また、本発明の信号処理方法によれば、補色を含む色フィルタセグメントを介した被写界からの入射光を選択したモードに応じて撮像し、この撮像して得られた画素データに、第１のモードでは補色を含む画素データを混合した画素データから三原色の画素データを生成し、第２のモードでは補色を含む画素データに基づいて仮想画素および受光素子で表される画素数の三原色の画素データを生成するとともに、この三原色の画素データを高域化して、第１のモードでは間引き的な信号処理が行われることから画素データ数が少ないながら処理の高速化が図られ、第２のモードでは、三原色の画素データの数を大幅に増やすとともに、各三原色の画素データの高域化を施すことから、入射光の利用効率が高く、得られる画像の解像度をより高めることができる。補色系を含む画素データを各モードの操作に応じて読み出して、得られた画素データをそれぞれ処理することにより、モードの時間要求／高解像度の要求をそれぞれ満足させることができる。
【図面の簡単な説明】
【図１】本発明に係る固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図２】図１の補間処理部の概略的な構成を示すブロック図である。
【図３】図２の原色生成処理部の概略的な構成を示すブロック図である。
【図４】図２の静止画補間処理部の概略的な構成を示すブロック図である。
【図５】図１の広帯域信号処理部の概略的な構成を示すブロック図である。
【図６】図４のプレーン補間処理部および図５の高域化処理部の概略的な構成およびそれらの接続関係を示すブロック図である。
【図７】図１の撮像部の受光部を入射光の入射側から見た色フィルタ、受光素子の開口部、転送路の関係を表す模式図である。
【図８】撮像部に入射光の分光エネルギー、比視感度特性および測定した際の波長依存の分光エネルギーの関係を表すグラフである。
【図９】入射光を(A) 原色撮像と(B) 補色撮像した際の波長に対する相対感度を表すグラフである。
【図１０】入射光を(A) 原色撮像と(B) 補色撮像した際における最大感度で正規化した波長に対する相対感度を表すグラフである。
【図１１】図１の撮像部の色フィルタに適用する、（正方YeMg_G完全市松)(正方MgCy完全市松）重複パターンを示す模式図である。
【図１２】図１の撮像部に適用する色フィルタ、(A) （正方MgG 完全市松)(正方YeCy完全市松）重複パターンおよび (B)（正方YeG 完全市松)(正方MgCy完全市松）重複パターンを示す模式図である。
【図１３】図１の撮像部に適用する色フィルタ、（正方CyG 完全市松)(正方MgYe完全市松）重複パターンを示す模式図である。
【図１４】図１の撮像部に適用する色フィルタ、（正方WG完全市松)(正方YeCy完全市松）重複パターンを示す模式図である。
【図１５】図１の撮像部に適用する色フィルタ、(A) （正方YeG 完全市松)(正方WCy 完全市松）重複パターンおよび (B)（正方CyG 完全市松)(正方WYe 完全市松）重複パターンを示す模式図である。
【図１６】図１の撮像部に適用する色フィルタ、(A) （正方MgW 完全市松)(正方YeCy完全市松）重複パターンおよび (B)（正方YeW 完全市松)(正方MgCy完全市松）重複パターンを示す模式図である。
【図１７】図１の撮像部に適用する色フィルタ、（正方YeMg完全市松)(正方WCy 完全市松）重複パターンを示す模式図である。
【図１８】図１の撮像部に適用する色フィルタ、(A) （正方YeWG)(正方WCy 完全市松）重複パターンおよび (B)（正方YeMgW)( 正方MgCy完全市松）重複パターンを示す模式図である。
【図１９】図１の撮像部に適用する色フィルタ、(A) G 正方CyYeストライプパターンおよび(B) W 正方CyYeストライプパターンを示す模式図である。
【図２０】図１の撮像部に適用する色フィルタ、Mg正方CyYeストライプパターンを示す模式図である。
【図２１】図１の撮像部に適用する色フィルタ、(A) G 正方CyYe市松パターンおよび(B) G 正方CyYe完全市松パターンを示す模式図である。
【図２２】図１の撮像部に適用する色フィルタ、(A) W 正方CyYe市松パターンおよび(B) W 正方CyYe完全市松パターンを示す模式図である。
【図２３】図１の撮像部に適用する色フィルタ、(A) Mg正方CyYe市松パターンおよび(B) Mg正方CyYe完全市松パターンを示す模式図である。
【図２４】図１の撮像部に適用する色フィルタ、(A) Ye正方GCy 市松パターンおよび(B) Cy正方GYe 市松パターンを示す模式図である。
【図２５】図１の撮像部に適用する色フィルタ、(A) Ye正方GCy 完全市松パターンおよび(B) Cy正方GYe 完全市松パターンを示す模式図である。
【図２６】図１の撮像部に適用する色フィルタ、(A) Ye正方WCy 市松パターンおよび(B) Cy正方WYe 市松パターンを示す模式図である。
【図２７】図１の撮像部に適用する色フィルタ、(A) Ye正方WCy 完全市松パターンおよび(B) Cy正方WYe 完全市松パターンを示す模式図である。
【図２８】図１の撮像部に適用する色フィルタ、(A) Ye正方MgCy市松パターンおよび(B) Cy正方MgYe市松パターンを示す模式図である。
【図２９】図１の撮像部に適用する色フィルタ、(A) Ye正方CyMg完全市松パターンおよび(B) Cy正方MgYe完全市松パターンを示す模式図である。
【図３０】図１の撮像部に適用する色フィルタ、(A) Ye正方CyG ストライプパターンおよび(B) Cy正方GYe ストライプパターンを示す模式図である。
【図３１】図１の撮像部に適用する色フィルタ、(A) Ye正方CyW ストライプパターンおよび(B) Cy正方WYe ストライプパターンを示す模式図である。
【図３２】図１の撮像部に適用する色フィルタ、(A) Ye正方CyMgストライプパターンおよび(B) Cy正方MgYeストライプパターンを示す模式図である。
【図３３】本発明を適用したディジタルカメラの動作を説明するメインフローチャートである。
【図３４】撮像部から画素混合読出しする場合における画素混合する受光素子の位置関係を説明する模式図である。
【図３５】図34の位置関係で画素混合した結果を示すパラメータおよびその位置を説明する模式図である。
【図３６】図33の補色・原色変換処理（サブルーチンSUB1）の動作を説明するフローチャートである。
【図３７】図36の補色・原色変換処理により得られるパラメータおよびその位置を説明する模式図である。
【図３８】図36の補色・原色変換処理により最終的に得られる三原色の画素データおよびその位置を説明する模式図である。
【図３９】図33の自動制御演算（サブルーチンSUB2）の動作手順を説明するフローチャートである。
【図４０】図33の全画素読出しして得られた画素データの読出し方および補色・静止画補間処理に用いる画素データの領域を説明する模式図である。
【図４１】図33の補色・静止画補間処理( サブルーチンSUB3）の動作手順を説明するフローチャートである。
【図４２】図41の補色の画素データから三原色の画素データが生成される位置関係を示す模式図である。
【図４３】図41の補色の画素データから輝度データが生成される位置関係を示す模式図である。
【図４４】図41の三原色の画素データRGB のプレーン補間処理（サブルーチンSUB6）の動作手順を説明するフローチャートである。
【図４５】図42の画素データを用いて三原色RGB のプレーン補間処理した際に新たに得られる三原色の画素データの位置を説明する模式図である。
【図４６】図41の高域輝度データYHのプレーン補間処理（サブルーチンSUB7）の動作手順を説明するフローチャートである。
【図４７】図43の画素データを用いて高域輝度データのプレーン補間処理した際に新たに得られる高域輝度データの位置を説明する模式図である。
【図４８】図33の高域化処理( サブルーチンSUB4）の動作手順を説明するフローチャートである。
【図４９】図48の高域化処理により得られる高域成分を有する輝度データの位置関係を説明する模式図である。
【図５０】図33の信号処理（サブルーチンSUB5）の動作手順を説明するフローチャートである。
【図５１】本発明の固体撮像装置の第１の変形例においてこの装置の高域化処理部の概略的な構成およびその接続関係を説明するブロック図である。
【図５２】図51の擬似周波数加算部の動作に伴う各信号の周波数アロケーションを示した模式図である。
【図５３】図51の第１の変形例に高域YH生成部を加えた第２の変形例を説明するブロック図である。
【図５４】輝度データYHの補間をローパスフィルタ処理により行う際の関係を説明する模式図である。
【符号の説明】
10  ディジタルカメラ
12  光学レンズ系
14  操作部
18  システム制御部
22  タイミング信号発生部
24  ドライバ部
30  撮像部
34  A/D 変換部
36  信号処理部
36a データ補正部
36b 補間処理部
36c 広帯域信号処理部
360b  原色生成処理部
362b  静止画補間処理部
360c  高域化処理部
362c  色差マトリクス部
364c  アンチエリアシングフィルタ部
366c  彩度処理部
3620  仮想画素補間機能部
3622  プレーン補間機能部
3624  輝度データ生成機能部
3626  輝度データ補間機能部
【図１】
0004195169.tif 000003
【図２】
0004195169.tif 000004
【図３】
0004195169.tif 000005
【図４】
0004195169.tif 000006
【図５】
0004195169.tif 000007
【図６】
0004195169.tif 000008
【図７】
0004195169.tif 000009
【図８】
0004195169.tif 000010
【図９】
0004195169.tif 000011
【図１０】
0004195169.tif 000012
【図１１】
0004195169.tif 000013
【図１２】
0004195169.tif 000014
【図１３】
0004195169.tif 000015
【図１４】
0004195169.tif 000016
【図１５】
0004195169.tif 000017
【図１６】
0004195169.tif 000018
【図１７】
0004195169.tif 000019
【図１８】
0004195169.tif 000020
【図１９】
0004195169.tif 000021
【図２０】
0004195169.tif 000022
【図２１】
0004195169.tif 000023
【図２２】
0004195169.tif 000024
【図２３】
0004195169.tif 000025
【図２４】
0004195169.tif 000026
【図２５】
0004195169.tif 000027
【図２６】
0004195169.tif 000028
【図２７】
0004195169.tif 000029
【図２８】
0004195169.tif 000030
【図２９】
0004195169.tif 000031
【図３０】
0004195169.tif 000032
【図３１】
0004195169.tif 000033
【図３２】
0004195169.tif 000034
【図３３】
0004195169.tif 000035
【図３４】
0004195169.tif 000036
【図３５】
0004195169.tif 000037
【図３６】
0004195169.tif 000038
【図３７】
0004195169.tif 000039
【図３８】
0004195169.tif 000040
【図３９】
0004195169.tif 000041
【図４０】
0004195169.tif 000042
【図４１】
0004195169.tif 000043
【図４２】
0004195169.tif 000044
【図４３】
0004195169.tif 000045
【図４４】
0004195169.tif 000046
【図４５】
0004195169.tif 000047
【図４６】
0004195169.tif 000048
【図４７】
0004195169.tif 000049
【図４８】
0004195169.tif 000050
【図５０】
0004195169.tif 000051
【図４９】
0004195169.tif 000052
【図５１】
0004195169.tif 000053
【図５２】
0004195169.tif 000054
【図５３】
0004195169.tif 000055
【図５４】
0004195169.tif 000056