【手続補正書】
【提出日】平成16年9月30日(2004.9.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
開口部を介して入射する光を撮像し、撮像により得られた信号に信号処理を施して広帯域な信号にする固体撮像装置であって、該装置は、
前記開口部を介して入射する光を光電変換する受光素子に隣接した受光素子が垂直方向および／または水平方向にずらされて２次元配置された受光部と、
該受光部の前面に形成された開口部を迂回するように配置され、かつ前記受光素子からの信号を取り出す電極と、
該電極を介して供給される信号を前記受光部の垂直または水平方向に順番に転送する各方向に対応した転送レジスタとを有する撮像手段と、
前記受光素子の各開口部上に配される異なる分光感度特性を有する複数の色フィルタと、
前記撮像手段から供給される信号をディジタルデータに変換するディジタル変換手段と、
該ディジタル変換手段からの出力を記録再生する記録再生手段とを備え、
さらに該装置は、
前記ディジタル変換されたディジタルデータの面データにおいて前記受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子とし、隣接する受光素子からのデータを基に正確な色再現重視、および水平方向および／または垂直方向の解像度の重視と各項目に応じた信号処理をそれぞれ施す信号処理手段を有することを特徴とする固体撮像装置。
【請求項２】
請求項１に記載の固体撮像装置において、前記開口部は、開口形状を正方格子あるいは多角形にするとともに、それぞれ、前記開口部に対応して配置される受光素子の間隔を画素ピッチとするとき、前記開口部が一列ごとに垂直方向にあるいは一行ごとに水平方向に前記画素ピッチ分だけ移動させて２次元配置されているか、あるいは前記正方格子を45°回転させた開口形状あるいは多角形の開口形状の開口部が２次元配置されていることを特徴とする固体撮像装置。
【請求項３】
請求項１または２に記載の固体撮像装置において、前記色フィルタには、三原色をR,G,B で表すと、前記受光素子のずらし配置に対応して三原色R,G,B の原色フィルタを用いてずれを有するG 正方格子と該G 正方格子に対して前記ピッチの半分の距離だけずらしたRB完全市松パターンが形成されていることを特徴とする固体撮像装置。
【請求項４】
請求項１ないし３のいずれか一項に記載の装置において、前記信号処理手段は、前記受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子とし、隣接する受光素子からのデータを基に正確な色再現重視、ならびに水平方向および／または垂直方向の解像度の重視と各項目に応じて演算処理が施される演算処理手段と、
該演算処理手段から出力される色再現が考慮された成分信号と解像度を重視した成分信号が擬似周波数的に加算される擬似加算手段と、
該演算処理手段で水平方向および垂直方向の解像度が重視された各信号に共通した周波数帯が含まれている場合、前記共通した周波数帯の重複を防止する重複防止手段とを有することを特徴とする固体撮像装置。
【請求項５】
請求項４に記載の装置において、前記擬似加算手段は、前記演算処理手段から供給される解像度が重視される周波数帯までの第１の成分信号を一端側に減算入力させ他端側に前記第１の成分信号の周波数帯よりも低域の色再現を考慮した第２の成分信号を加算入力させる第１の加算手段と、
該第１の加算手段の出力と前記第１の成分信号にそれぞれ生じる折り返し歪みを防ぐ処理を施すフィルタリング手段と、
該フィルタリング手段からの各出力が加算入力される第２の加算手段とを有することを特徴とする固体撮像装置。
【請求項６】
請求項４または５に記載の装置において、前記重複防止手段は、前記擬似加算手段から出力される信号のうち、一方の信号の共通した周波数帯に対して帯域制限を施すフィルタ手段と、
該フィルタ手段からの出力と前記共通した周波数帯を含む他方の信号とを加算する加算処理手段とを有することを特徴とする固体撮像装置。
【請求項７】
請求項１ないし６のいずれか一項に記載の装置において、前記信号処理手段は、三原色R,G,B の各色に着目し前記仮想受光素子の位置の色データも含めた面データとして色再現を考慮して３つの成分信号にそれぞれ補間展開させるプレーン補間展開手段と、
該プレーン補間展開手段から得られる３つの成分信号を基に色差信号および輝度信号を生成する色差マトリクス手段と、
前記プレーン補間展開手段に供給される前のデータから解像度を重視した成分信号を輪郭強調させる信号として生成する輪郭信号発生手段と、
該輪郭信号発生手段の出力と前記色差マトリクスからの輝度信号をそれぞれ加算入力する輪郭強調手段とを有することを特徴とする固体撮像装置。
【請求項８】
請求項７に記載の装置において、前記輪郭信号発生手段は、G 色だけのデータから相関検出補間を行って解像度を重視した成分信号を輪郭強調する信号として生成させることを特徴とする固体撮像装置。
【請求項９】
請求項１ないし８のいずれか一項に記載の装置において、前記記録再生手段に対して、互いに一定間隔毎にずらした配置の開口部直下に位置する受光素子から得られる画素データを正方格子状の面データと同等にみなせる配置に書込み／読出し制御を行う書込み／読出し制御手段と、
前記記録再生手段から供給される面データを基に前記信号処理手段で演算処理して得られる成分信号を擬似周波数的に加算させ、さらに周波数帯域が共通する成分信号がある場合には、周波数帯域の重複を防止して信号を広帯域化させて得られた画素位置の信号を基に前記仮想受光素子の位置のデータ補間展開を行うデータ補間展開手段とを有することを特徴とする固体撮像装置。
【請求項１０】
請求項１ないし９のいずれか一項に記載の装置において、前記開口部がハニカム配置された各開口部直下に前記受光素子が画素として設けられている複数の受光部と、
該受光部に同一被写体からの入射光を分光させる分光手段とを備え、
前記受光部の直前にそれぞれ前記開口部と対応させて一列ごとに垂直方向にあるいは一行ごとに水平方向に前記画素を前記画素ピッチ分だけずらすかあるいは前記正方格子を45°回転させた配置の色フィルタを組み合わせて固着させることを特徴とする固体撮像装置。
【請求項１１】
請求項10に記載の装置において、前記受光部が２つの場合、前記ハニカム配置の色フィルタの組み合わせてG ストライプRB完全市松パターン、ベイヤパターン、あるいは一行毎にG の色フィルタ位置にB あるいはR の色フィルタが重複するパターンを形成することを特徴とする固体撮像装置。
【請求項１２】
請求項10に記載の装置において、前記受光部が３つの場合、前記ハニカム配置パターンの第１の色フィルタと、前記ハニカム配置から画素ピッチ分ずらした配置パターンで、かつ前記第１の色フィルタの色と同色の第２の色フィルタと、該第２の色フィルタの配置パターンで、かつ前記第２の色フィルタの色と異なる色の第３の色フィルタとを備え、
前記第２の色フィルタと前記第３の色フィルタを組み合わせて固着させることを特徴とする固体撮像装置。
【請求項１３】
請求項10に記載の装置において、前記ハニカム配置の互いに異なる３つの色フィルタの一の色フィルタに対して残りの２つの色フィルタをともに前記画素ピッチ分だけずらして重複した空間配置の色フィルタを形成することを特徴とする固体撮像装置。
【請求項１４】
請求項10に記載の装置において、前記受光部が４つの場合、前記ハニカム配置のパターンの第１の色フィルタと、
該第１の色フィルタと前記画素ピッチ分だけずらして相補的な配置パターンにした第１の色フィルタに同色の第２の色フィルタとを組み合わせて得られる正方格子状の配置パターンと、
前記第１の色フィルタと異なる色の前記ハニカム配置のパターンの第３の色フィルタと、
該第３の色フィルタと前記画素ピッチ分だけずらして相補的な配置パターンにし、かつ前記第１および第３の色フィルタの色と異なる色の第４の色フィルタとを組み合わせて得られる正方格子状の配置パターンを形成することを特徴とする固体撮像装置。
【請求項１５】
請求項１ないし９のいずれか一項に記載の装置において、前記開口部がハニカム配置された受光部と、
該受光部を２次元平面内で縦横に移動させる移動手段と、
該移動手段による移動完了毎に前記受光部で受光した被写体の画像情報を記録再生する記録再生手段と、
前記受光部と被写体の間に配設される複数の色フィルタの中から選択された色フィルタに切り換える色フィルタ切換手段とを備え、
該色フィルタ切換手段は前記移動手段の移動中に色フィルタを切り換え、前記記録再生手段は受光部が受光した画像情報を前記色フィルタの切換え毎に記録し、記録された画像情報を用いて面順次的に被写体の画像を生成することを特徴とする固体撮像装置。
【請求項１６】
被写界像を撮像面に投影させる光学系と、
該光学系を経た入射光を３つの原色がそれぞれの配列された単板による色フィルタ手段と、
該色フィルタ手段の直下に配された光電変換を行う受光素子と、
該受光素子からの撮像信号に基づいて前記受光素子の空隙位置に対応する画素データを補間する信号処理を施すとともに、補間された画素データを含む画素データから輝度データおよび色データを生成するデータ処理手段とを含み、
前記色フィルタ手段の各色フィルタと前記受光素子とを対応させるとともに、前記受光素子の幾何学的な撮像面形状の中心同士の間隔をピッチとする際に前記受光素子が相互に行方向および列方向にそれぞれ前記ピッチの半分ずらした位置関係に配置される固体撮像装置において、該装置は、
前記データ処理手段は、G 正方格子と該G 正方格子に対して前記ピッチの半分の距離だけずらしたRB完全市松パターンの色フィルタ手段を介して得られるRGB の撮像信号をディジタル信号に変換するディジタル変換手段と、
該ディジタル変換手段からの出力に基づいて前記受光素子の存在する位置における輝度データを作成する第１の輝度演算手段と、
該輝度演算手段からの水平および／または垂直方向に位置する輝度データに基づいて前記受光素子の空領域を仮想受光素子とした際に該仮想受光素子における輝度データを作成する第２の輝度演算手段と、
該第２の輝度演算手段で作成された輝度データと前記受光素子から得られたRGB の各色データを用いて各色における画面全体のプレーンデータを作成するプレーン演算手段と、
該プレーン演算手段により作成されたプレーンデータを用いて輝度データ、色差データを生成するマトリクス手段と、
該マトリクス手段からの出力に帯域制限を施すフィルタ処理手段と、
該フィルタ処理手段からの出力のうちで前記輝度データに対して輪郭強調処理を施すアパーチャ調整手段とを含むことを特徴とする固体撮像装置。
【請求項１７】
請求項16に記載の装置において、前記第１の輝度演算手段は、作成する対象の輝度データを画素データG と作成する対象の輝度データを該対象の輝度データの周囲に位置する画素データR, Bを用いた演算による算出あるいは水平方向および垂直方向の色境界の判断による適応処理が考慮された演算による算出が行われることを特徴とする固体撮像装置。
【請求項１８】
請求項16に記載の装置において、前記第２の輝度演算手段は、供給される輝度データにローパスフィルタ処理を施す手段を用いて前記仮想受光素子のデータを生成することを特徴とする固体撮像装置。
【請求項１９】
請求項16に記載の装置において、前記光学系は、前記被写界像を少なくとも、２つの撮像面にそれぞれ投影させ、
前記撮像面を形成する受光素子を行方向と列方向で２次元配列されるとともに、前記撮像面に投影された同一の被写界像を空間的に重ね合わせた際に一方の２次元配列された受光素子と他方の２次元配列された受光素子の対応する幾何学的な撮像面形状の中心が行方向および列方向に半ピッチずつずれた関係に配設し、
前記色フィルタ手段は、前記受光素子に対応して該受光素子の前面に配置され、空間的に重ね合わせた際に三原色RGB の色フィルタとなる色配列が用いられていることを特徴とする固体撮像装置。
【請求項２０】
請求項16に記載の装置において、前記被写界像を一つの撮像面に投影させる光学系と、
該光学系と前記受光素子が２次元配列された受光素子との間に挿入される色フィルタ手段を切り換える色フィルタ切換手段と、
前記受光素子が２次元配列された受光部を前記撮像面に平行な２次元平面内で移動させる移動手段と、
該移動手段により前記受光部を複数回にわたって移動させながら、該移動の都度、撮影した画像を面順次に記録する記録手段とを含み、
前記移動の都度、撮影した画像が一つ前に撮影した画像に対して幾何学的な撮像面形状の中心を行方向および列方向に半ピッチずつずらした関係が得られることを特徴とする固体撮像装置。
【請求項２１】
入射光を異なる分光感度特性を有する複数の色フィルタを介して受光素子に送るように開けられた開口部が２次元配列されているとき、開口形状が正方格子あるいは多角形に形成された開口部を一列毎に垂直方向にあるいは一行毎に水平方向にずらされた開口部、あるいは前記正方格子を45°回転させた開口形状あるいは多角形の開口形状を有する開口部を介して前記受光素子で受光し、前記受光素子を画素として扱い、受光によって得られた２次元の画素データを基に画像信号にし該画像信号に信号処理を施す信号処理方法であって、該方法は、
前記受光素子により得られた信号にガンマ変換を施すガンマ変換工程と、
該ガンマ変換工程での処理を受けた信号をディジタルデータに変換するディジタル変換工程と、
該ディジタル変換工程後の前記画素データを記憶するデータ記憶工程とを含み、
さらに該方法は、
前記データ記憶工程で記憶された画素データを読み出し、かつ読み出した画素データに対して前記受光素子のずらし配置に伴う受光素子の空領域を仮想受光素子とし、隣接する受光素子からの画素データを基に水平方向および／または垂直方向に正確な色再現重視、ならびに解像度の重視と各項目に応じた画素データの成分信号をそれぞれ生成する画素データ生成工程と、
該画素データ生成工程で得られる成分信号を基に求めた画像信号を広帯域化させる広帯域化工程とを有することを特徴とする信号処理方法。
【請求項２２】
請求項21に記載の方法において、前記画素データ生成工程は、前記受光素子のずらし配置に伴う受光素子からの画素データを基に水平方向および／または垂直方向に正確な色再現を重視して演算処理を施す色再現重視工程と、
前記画素データを基に水平方向および／または垂直方向の解像度を重視して演算処理を施す解像度重視工程とを有することを特徴とする信号処理方法。
【請求項２３】
請求項21または22に記載の方法において、前記広帯域化工程は、色再現が考慮された成分信号と解像度を重視した成分信号を擬似周波数的に加算する擬似加算処理工程と、
該画素データ生成工程で水平方向および垂直方向の両解像度を重視する際に共通する周波数帯の重複を防止する帯域重複防止工程とを有することを特徴とする信号処理方法。
【請求項２４】
請求項23に記載の方法において、前記擬似加算処理工程は、前記画素データ生成工程で生成された解像度が重視される周波数帯までの第１の成分信号から前記第１の成分信号の周波数帯よりも低域の色再現を考慮した第２の成分信号を減算する減算工程と、
該減算工程からの出力と前記第１の成分信号に対してそれぞれ折り返し歪みを防ぐ処理を施す歪み防止工程と、
該歪み防止工程を経た各出力を加算する第２の加算工程とを有することを特徴とする信号処理方法。
【請求項２５】
請求項23に記載の方法において、前記帯域重複防止工程は、水平方向および垂直方向の成分信号内のいずれか一方の成分信号の共通する周波数帯に対して帯域制限を施す帯域制限工程と、
該帯域制限工程で帯域制限された出力と前記共通した周波数帯を含む他方向の成分信号とを加算する加算処理工程とを含むことを特徴とする信号処理方法。
【請求項２６】
請求項21ないし25のいずれか一項に記載の方法において、前記画素データ生成工程は、前記データ記憶工程で記憶された画素データを読み出して前記色フィルタの色に対応して演算処理する際に、３行２列のエリアにある画素データからRBあるいはGG間の前記仮想受光素子位置の画素データを補間し、かつ５行２列のエリアにある画素データからR あるいはB の画素データを算出するとともに、G の画素はそのままの画素データを用いる低域成分を生成する色再現重視工程と、
５行１列のエリアにある画素データに重み付け演算を行って前記エリア中央に位置する画素データを算出し、かつ３行１列のエリアにある画素データから前記エリア中央の前記仮想受光素子位置の画像データの補間を行うとともに、G の画素はそのままの画素データを用いて水平方向の高域成分を生成する水平解像度重視工程と、
前記データ記憶工程で記憶された画素データの読み出しを組み換えて読み出された画素データに対して前記水平方向の高域成分と同じ補間処理を施して垂直方向の高域成分を生成する垂直解像度重視工程とを含むことを特徴とする信号処理方法。
【請求項２７】
請求項26に記載の方法において、前記水平／垂直解像度重視工程は、前記画素データのうちで前記色フィルタのR,B に対応する画素データをそのまま用い、前記仮想受光素子位置の画素データを隣接する行あるいは列の画素データに重み付けして補間処理を行うことを特徴とする信号処理方法。
【請求項２８】
請求項26に記載の方法において、前記解像度重視工程は、前記画素データのうちで前記色フィルタのG に対応する４つの画素データだけを用いて画素データに対する相関を検出する第１の相関検出工程と、
該第１の相関検出工程により得られる相関値の大きい画素データを用いて直線補間する第１の直線補間工程とを繰り返し、
さらに該方法は、
前記第１の直線補間工程で得られた画素データを含めた３つの画素データで囲まれる前記仮想受光素子の位置の画素データに対する相関検出を行う第２の相関検出工程と、
該第２の相関検出工程の処理結果に応じて直線補間を行う第２の直線補間工程とを繰り返すことを特徴とする信号処理方法。
【請求項２９】
請求項28に記載の方法において、前記第２の直線補間工程には、前記第１の直線補間工程で得られた画素データを含めた３つの画素データで囲まれる前記仮想受光素子の位置の画素データに対して４つの画素データを平均して補間を行う平均補間工程を用いることを特徴とする信号処理方法。
【請求項３０】
請求項21ないし29のいずれか一項に記載の方法において、前記画素データ生成工程は、前記水平方向および／または垂直方向の高域成分を生成する解像度重視工程と、
前記色フィルタに対応する三原色R,G,B の各色に着目し前記仮想受光素子の位置の色データも含めた面データとして色再現を考慮してそれぞれ補間展開する際に、水平方向の補間には前記三原色R,G,B の着目対象の色を含む行に対して画素データを重み付け平均して補間し、かつ前記着目対象の色と異なる色を含む行に対して隣接する行の画素データを平均して補間する水平プレーン補間展開工程と、
垂直方向の補間には前記三原色R,G,B の着目対象の色を含む列に対して画素データを重み付け平均して補間し、かつ前記着目対象の色と異なる色を含む列に対して隣接する列の画素データを平均して補間する垂直プレーン補間展開工程とを含み、
さらに該方法は、
前記水平および／または前記垂直プレーン補間展開工程の展開結果に基づいて色差および輝度データを生成する色差マトリクス生成工程と、
該色差マトリクス工程で生成された輝度信号に前記水平方向および／または垂直方向の解像度の重視の高域処理工程から生成された輪郭を強調する成分信号を加算する輪郭強調工程とを含むことを特徴とする信号処理方法。
【請求項３１】
請求項21ないし30のいずれか一項に記載の方法において、前記広帯域化工程の後に復調された三原色R,G,B の信号を用いて補間処理を行う展開補間工程を含むことを特徴とする信号処理方法。
【請求項３２】
請求項21ないし30のいずれか一項に記載の方法において、前記画素データ生成工程は、R あるいはB において既知の２点の画素データと補間するR あるいはB の画素データで形成する三角形に同じ位置関係にG の画素データがあり、かつそれぞれ３つの画素データの重み付き平均を等しいとして補間するR あるいはB の画素データを求めることを特徴とする信号処理方法。
【請求項３３】
被写界像を用意した光学系により撮像面に投影させ、該光学系を経た入射光を単板内に配列された色フィルタにより３つの原色に色分解して、該色分解された透過光を光電変換させて撮像信号を求めた後、該撮像信号に基づいて予め用意された受光素子に対してその空隙位置での画素データを補間する信号処理を施すとともに、補間された画素データを含む画素データから輝度データおよび色データを生成するデータ処理工程とを含み、
前記色フィルタと前記受光素子とを対応させるとともに、前記受光素子の幾何学的な撮像面形状の中心同士の間隔をピッチとする際に前記受光素子が相互に行方向および列方向にそれぞれ前記ピッチの半分ずらした位置関係で得られる画素データに施す信号処理方法において、該方法は、
前記データ処理工程は、G 正方格子と該G 正方格子に対して前記ピッチの半分の距離だけずらしたRB完全市松パターンの色フィルタを介して得られるRGB の撮像信号をディジタル信号に変換するディジタル変換工程と、
該ディジタル変換工程により得られた画素データに基づいて前記受光素子の存在する位置における輝度データを作成する第１の工程と、
該第１の工程により得られた輝度データに基づいて前記受光素子の空領域を仮想受光素子とした際に該仮想受光素子における輝度データを水平・垂直方向あるいは垂直・水平方向の順に作成する第２の工程と、
該第２の工程で作成された輝度データと前記受光素子から得られたRGB の各色データを用いて各色における画面全体のプレーンデータを作成するプレーン作成工程と、
該プレーン作成工程により作成されたプレーンデータを用いて輝度データ、色差データを生成するマトリクス生成工程と、
該マトリクス生成工程から得られた輝度データ、色差データに帯域制限を施すフィルタ処理工程と、
該フィルタ処理工程で処理された輝度データに対して輪郭強調処理を施すアパーチャ調整工程とを含むことを特徴とする信号処理方法。
【請求項３４】
請求項33に記載の方法において、前記第１の工程は、前記G 正方格子と該G 正方格子に対して前記ピッチの半分の距離だけずらしたRB完全市松パターンにより得られるG の画素データを含み、
前記G の画素データの周囲から得られるR の画素データとB の画素データから輝度データを作成する際に、前記R の画素データと前記B の画素データのいずれか一方の画素データを前記輝度データの作成対象にする場合、該作成対象の画素データを半分にした作成対象の半値データと、該作成対象の周囲に最も近傍、かつ等距離に位置する他方の画素データを加算し、該加算結果を加算した画素データの個数を倍した値で割った周囲画素データとから実際に用意された受光素子の位置における輝度データを算出することを特徴とする信号処理方法。
【請求項３５】
請求項33に記載の方法において、前記第２の工程は、前記仮想画素受光素子に対応する位置の画素データを前記水平方向に関して補間する際に、補間する画素データに対応する乗算係数を乗算する第０段の水平工程を行うとともに、該補間する画素データの左右両側に隣接するデータを加算し、該加算結果に乗算係数を乗算する第１段の水平工程と、各段で前記第１段の工程と同様に該補間する画素データから水平方向に等距離に位置する画素データに対応する乗算係数を乗算する水平工程をｎ段繰り返し、前記０段の水平工程、前記第１段の水平工程以降に繰り返された乗算結果すべてを加算して補間画素データを生成する水平補間工程と、
該水平補間工程により得られた画素データを用いて対象とする位置の画素データを生成する際に、垂直方向に位置する画素データに対応する乗算係数を乗算し、得られた乗算結果をすべて加算して垂直方向のローパス処理を行う垂直処理工程とを含むことを特徴とする信号処理方法。
【請求項３６】
請求項34に記載の方法において、前記第１の工程は、前記輝度データの算出処理を行う前に、水平方向および垂直方向の第１相関値をそれぞれ算出し、第１の所定の値と各算出結果をそれぞれ比較し、
該比較した結果が水平方向に相関があると判断した際に、前記輝度データの算出を水平方向の画素データを用いて加算し、該加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする水平輝度算出工程と、
該比較した結果が垂直方向に相関があると判断した際に、前記輝度データの算出を垂直方向の画素データを用いて加算し、該加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする垂直輝度算出工程と、
該比較した結果が前記水平方向の相関値および前記垂直方向の相関値が前記所定の値より小さいとき、前記周囲画素データを該作成対象の周囲に最も近傍、かつ等距離に位置する他方の画素データを加算し、該加算結果を加算した画素データの個数を倍した値で割って算出する平均輝度算出工程とを含み、
前記作成対象の半値データと、前記水平輝度算出工程、前記垂直輝度算出工程、および前記平均輝度算出工程のいずれか一つから得られる前記周囲画素データとから輝度データのパターンを作成することを特徴とする信号処理方法。
【請求項３７】
請求項36に記載の方法において、前記第１の工程は、前記輝度データの算出処理を行う前に、前記水平方向および前記垂直方向の第１相関値をそれぞれ算出し、前記第１の所定の値と各算出結果をそれぞれ比較し、該比較結果に応じて前記水平輝度算出工程あるいは前記垂直輝度算出工程を行うとともに、前記画素データR あるいは前記画素データB のうち、一方の画素データを作成対象の輝度データとした際に、該作成対象の輝度データを介して水平方向に位置する他方の画素データと該作成対象の輝度データを用いてそれぞれ得られた相関値を加算し、水平方向および垂直方向の第２相関値をそれぞれ算出し、第２の所定の値と各算出結果をそれぞれ比較し、
該比較した結果が水平方向に相関があるとの判断に応じて行う前記水平輝度算出工程と、
該比較した結果が垂直方向に相関があるとの判断に応じて行う前記垂直輝度算出工程と、
該比較した結果がいずれの相関とも異なる際に行う前記平均輝度算出工程とを含み、
前記作成対象の画素データの半値と、前記水平輝度算出工程、前記垂直輝度算出工程、および前記平均輝度算出工程のいずれか一つから得られる前記周囲画素データとから輝度データのパターンを作成することを特徴とする信号処理方法。
【請求項３８】
請求項37に記載の方法において、前記第１の工程には、前記画素データG の対角位置の画素データを加算し、該加算結果の差の絶対値により得られた値が第３の所定の値以上の場合、前記周囲画素データの算出を前記平均輝度算出工程で行うことを含むことを特徴とする信号処理方法。
【請求項３９】
請求項33に記載の方法において、前記第１の工程は、前記輝度データの算出処理を行う前に、輝度データを算出する画素データに対して２方向に対角位置に位置する同色の画素データの差からそれぞれ右斜め方向および左斜め方向の第１相関値を算出し、第４の所定の値と各算出結果をそれぞれ比較し、
該比較した結果が右斜め方向に相関があると判断した際に、前記右斜め方向の第１相関値の算出に用いた画素データを加算し、該加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする右斜め輝度算出工程と、
該比較した結果が左斜め方向に相関があると判断した際に、前記左斜め方向の第１相関値の算出に用いた画素データを加算し、該加算結果を加算した画素データの個数を倍した値で割って周囲画素データとする左斜め輝度算出工程と、
該比較した結果が前記右斜め方向の第１相関値および前記左斜め方向の第１相関値が前記第４の所定の値より小さいとき、前記相関値の算出に用いた同色の画素データすべてを加算し、該加算結果を加算した画素データの個数を倍した値で割って算出する平均輝度算出工程とを含み、
前記作成対象の画素データの半値と、前記右斜め輝度算出工程、前記左斜め輝度算出工程、および前記平均輝度算出工程のいずれか一つから得られる前記周囲画素データとの加算から輝度データのパターンを作成することを特徴とする信号処理方法。
【請求項４０】
請求項39に記載の方法において、前記第１の工程は、前記輝度データの算出処理を行う前に、前記第４の所定の値と右斜め方向および左斜め方向の第１相関値の算出結果をそれぞれ比較し、前記作成対象の画素データの半値と、前記右斜め輝度算出工程および前記左斜め輝度算出工程のいずれか一方の算出したデータとを加算する場合と、
さらに、この場合に加えて、
輝度データを算出する画素データに対して２方向に対角位置に位置する異色の画素データの差からそれぞれ右斜め方向および左斜め方向の第２相関値を算出し、新たに設定する第５の所定の値と右斜め方向および左斜め方向の第２相関値の算出結果をそれぞれ比較し、
該比較した結果が右斜め方向に相関があると判断した際に、前記右斜め方向の第２相関値の算出に用いた異色の画素データで演算し、該演算結果を演算に用いた画素データの個数を倍した値で割って周囲画素データとする右斜め輝度演算工程と、
該比較した結果が左斜め方向に相関があると判断した際に、前記左斜め方向の第２相関値の算出に用いた異色の画素データで演算し、該演算結果を演算に用いた画素データの個数を倍した値で割って周囲画素データとする左斜め輝度演算工程と、
該比較した結果が前記右斜め方向の第２相関値および前記左斜め方向の第２相関値が前記第５の所定の値より小さいとき、前記第２相関値の算出に用いた異色の画素データで演算し、該演算結果を演算に用いた画素データの個数を倍した値で割って算出する平均輝度演算工程とを含み、
前記作成対象の画素データの半値と、前記右斜め輝度演算工程、前記左斜め輝度演算工程、および前記平均輝度演算工程のいずれか一つから得られる前記周囲画素データとを加算する場合とから輝度データのパターンを作成することを特徴とする信号処理方法。
【請求項４１】
請求項36または37に記載の方法において、前記右斜め方向および左斜め方向の第１相関値ならびに第２相関値は、供給される各画素位置を算出の前に45°回転させた位置に回転移動させた後に水平方向および垂直方向の第１相関値ならびに第２相関値として算出し、所定の値との比較をそれぞれ行って対応する輝度データの算出を行い、
該算出の後に、得られた輝度データを回転移動前の位置に戻すことを特徴とする信号処理方法。
【請求項４２】
請求項37に記載の方法において、前記水平方向および垂直方向の第２相関値は、それぞれ前記輝度データ作成対象画素を挟んで水平方向に配される一方の異色の画素データと該作成対象画素の輝度データとの差の絶対値および他方の異色の画素データと該作成対象画素の輝度データとの差の絶対値の加算値ならびに前記輝度データ作成対象画素を挟んで垂直方向に配される一方の異色の画素データとの差の絶対値および他方の異色の画素データと該作成対象画素の輝度データとの差の絶対値の加算値で表すことを特徴とする信号処理方法。
【請求項４３】
請求項39または40に記載の方法において、前記水平方向および垂直方向の第２相関値は、それぞれ前記輝度データ作成対象画素を挟んで水平方向に配される異色の画素データ同士の差の絶対値および前記輝度データ作成対象画素を挟んで垂直方向に配される異色の画素データ同士の差の絶対値で表すことを特徴とする信号処理方法。
【請求項４４】
請求項37または40に記載の方法において、前記第２相関値は、前記第１相関値の算出に用いた画素データよりも作成対象画素に近い位置の画素データを算出に用いることを特徴とする信号処理方法。
【請求項４５】
請求項33、34、36ないし39のいずれか一項に記載の方法において、前記第１の工程は、前記光学系により前記被写界像を少なくとも、前記受光素子が２次元配列された受光部で形成される２つの撮像面にそれぞれ投影させ、
行方向と列方向で２次元配列に配置した受光素子が形成する撮像面の配設を一方の２次元配列された受光素子と他方の２次元配列された受光素子において対応する幾何学的な撮像面形状の中心が行方向および列方向に半ピッチずつずれた関係にし、該受光素子に対応して該受光素子の前面に用意する三原色RGB に色分解するフィルタの色配列を介して該２つの撮像面に投影された同一の被写界像を空間的に重ね合わせる工程により得られた画素データを用いることを特徴とする信号処理方法。
【請求項４６】
請求項33、34、36ないし39のいずれか一項に記載の方法において、前記第１の工程は、用意した２次元配列された受光素子との間に色分解するフィルタを切り換えるフィルタ切換工程と、
前記受光素子が２次元配列された受光部で形成される撮像面に平行な２次元平面内を複数回にわたって移動させる移動工程と、
該移動工程による移動毎に得られる被写界像を面順次に記録する記録工程とを行ってこれらの手順により得られる画素データを用い、
前記移動の都度、撮影した画像が一つ前に撮影した画像に対して幾何学的な撮像面形状の中心を行方向および列方向に半ピッチずつずらした関係が得られることを特徴とする信号処理方法。
【請求項４７】
請求項33に記載の方法において、前記プレーン作成工程は、前記ディジタル変換工程により前記G 正方格子と該G 正方格子に対して前記ピッチの半分の距離だけずらしたRB完全市松パターンにおける実在の受光素子に対応して得られた各色の画素データと、前記第２の工程により作成された輝度データを用い、
前記画素データのG のプレーン補間には、補間対象画素に対して水平方向および／または垂直方向に隣接して存在する実際に得られた画素データG の平均と前記補間対象画素に対して水平方向および／または垂直方向に隣接している輝度データの加算平均との差に前記補間対象画素の位置に対応する輝度データを加算して得られる工程と、
前記画素データのR のプレーン補間には、補間対象画素に対して斜め方向に隣接して存在する実際に得られた画素データR の平均と前記補間対象画素に対して前記斜め方向と同方向に隣接している輝度データの加算平均との差に前記補間対象画素の位置に対応する輝度データを加算して得られる第１のR 工程と、
前記補間対象画素の残る色R に対する画素データR を該第１のR 工程により得られた、等距離に位置する画素データの加算平均と該等距離に位置する輝度データの加算平均との差に前記補間対象画素の残る色R に対する輝度データを加算して得られる第２のR 工程と、
さらに補間対象画素の残る色R に対する画素データR を最近傍に位置する前記第１、前記第２の工程および実際に得られた画素データR の加算平均と該加算平均に用いた画素に対応する輝度データの加算平均との差に前記補間対象画素の位置に対応する輝度データを加算して得られる第３のR 工程とを含み、
さらに該方法は、
前記画素データのB のプレーン補間には、補間対象画素に対して斜め方向に隣接して存在する実際に得られた画素データB の加算平均と前記補間対象画素に対して前記斜め方向と同方向に隣接している輝度データの加算平均との差に前記補間対象画素の位置に対応する輝度データを加算して得られる第１のB 工程と、
前記補間対象画素の残る色B に対する画素データB を該第１のB 工程により得られた、等距離に位置する画素データの加算平均と該等距離に位置する輝度データの加算平均との差に前記補間対象画素の残る色B に対する輝度データを加算して得られる第２のB 工程と、
さらに補間対象画素の残る色B に対する画素データB を最近傍に位置する前記第１、前記第２の工程および実際に得られた画素データB の加算平均と該加算平均に用いた画素に対応する輝度データの加算平均との差に前記補間対象画素の位置に対応する輝度データを加算して得られる第３のB 工程とを含むことを特徴とする信号処理方法。
【請求項４８】
被写体像を撮像面に投影させる光学系と、光学系を介して供給される入射光を三原色RGB に色分解する原色フィルタが所定の配置に配された単板の色分解手段からの透過光を前記撮像面を形成する複数の受光素子での受光により光電変換を行う撮像手段と、該撮像手段から全画素読出しされた撮像信号をディジタルに変換した後、該変換された画素データに信号処理を施して輝度信号を生成する信号処理手段とを有する固体撮像装置において、該装置は、
前記色分解手段の前記原色フィルタと受光素子とが個々に対をなし、かつ前記受光素子は、同一の行および列方向に配される受光素子とともに、該受光素子間のピッチに対してそれぞれ半ピッチずれた位置に前記受光素子の幾何学的な中心部が配され、
前記所定の配置には、色G の４つで正方格子を形成し、該正方格子の一の色G に対してその周囲に色R, Bが市松状に配されたG 正方RB完全市松パターンを用い、
前記信号処理手段は、色G に対応して得られた画素データを輝度データにそのまま用い、色R, Bには、色R, Bの画素データを用いるとともに、これらの画素データの加算平均の関係から求める色の輝度データを算出する第１演算手段と、
該第１演算手段で得られた輝度データを基に前記受光素子間の幾何学的な中央に位置する仮想画素に対する輝度データの補間および三原色RGB のうち、存在する受光素子から得られる色の他の２つの色に対する補間を行う第２演算手段とを含むことを特徴とする固体撮像装置。
【請求項４９】
請求項48に記載の装置において、前記第１演算手段は、前記色R, Bの画素データを用いて前記色R, Bのいずれか一方の色の輝度データを求める際に、算出する色を一方の色としてその半値を算出し、該半値と、他方の色と同色の該一方の色の周囲に配される４つの画素データの平均値の半値とを加算から求める色の輝度データを算出することを特徴とする固体撮像装置。
【請求項５０】
請求項48に記載の装置において、前記第１演算手段は、前記色G の正方格子の中心に位置する色R, Bの輝度データを算出する際に、該算出する輝度データの色と同色の４つの画素データのうち、水平方向の画素データの差分値の絶対値と、垂直方向の画素データの差分値の絶対値とを基に演算を行い該演算結果と所定の第１判定値から水平方向および垂直方向のいずれか一方の方向に相関があるか検出する第１相関検出手段と、
前記色G の正方格子を用いて、一方の水平方向の画素データの差分値の絶対値および他方の水平方向の画素データの差分値の絶対値の加算値と、一方の垂直方向の画素データの差分値の絶対値および他方の垂直方向の画素データの差分値の絶対値の加算値との差に基づいて演算を行い該演算結果と所定の第２判定値から水平方向および垂直方向のいずれか一方の方向に相関があるか検出する第２相関検出手段とを含み、
前記第１および第２相関検出手段の結果に応じて求める色の輝度データを算出することを特徴とする固体撮像装置。
【請求項５１】
請求項48に記載の装置において、前記第１演算手段は、前記色G の正方格子の中心に位置する色R, Bの輝度データを算出する際に、該算出する輝度データの色と同色の４つの画素データのうち、右斜め方向の画素データの差分値の絶対値と、左斜め方向の画素データの差分値の絶対値とを基に演算を行い該演算結果と所定の第３判定値の比較からどちらの斜め方向に相関があるか検出する第３相関検出手段と、
前記色G の正方格子を用いて、輝度算出画素を挟んで右斜め方向の両端に位置する色G の画素データの差分値の絶対値と、輝度算出画素を挟んで左斜め方向の両端に位置する色G の画素データの差分値の絶対値との差分値とを算出し、該算出した値と所定の第４判定値の比較からどちらの斜め方向に相関があるか検出する第４相関検出手段とを含み、
前記第３および第４相関検出手段の結果に応じて求める色の輝度データを算出することを特徴とする固体撮像装置。
【請求項５２】
請求項48に記載の装置において、前記撮像手段は、撮像信号の読出しをインターレースまたはX,Y アドレス方式で読み出すことを特徴とする固体撮像装置。
【請求項５３】
請求項48に記載の装置において、該装置は、前記光学系からの入射光を複数の方向に分光する分光手段と、
該分光手段が分光する方向の数に応じて複数の種類の三原色RGB の色フィルタ配置を各撮像手段の前に配するとともに、各原色フィルタ配置を重ね合わせた際に前記G 正方RB完全市松パターンとなる色分解手段とを含むことを特徴とする固体撮像装置。
【請求項５４】
請求項48に記載の装置において、前記受光素子が該受光素子の幾何学的な中心がすべて行および列方向に正方配置された撮像手段と、
該撮像手段を空間的に行および／または列方向に移動させる移動手段と、
該移動手段による前記撮像手段の移動に伴い前記撮像手段の前面に配される色分解手段の色フィルタを切り換えるフィルタ切換手段と、
前記移動手段の移動および前記フィルタ切換手段の切換え毎に前記信号処理手段から供給される信号を前記被写体像の画像として記録する記録手段とを含み、
前記フィルタ切換手段の切換え毎に得られる被写体像を空間的に重ね合わせた際に前記G 正方RB完全市松パターンで得られた画像になる面順次方式を用いることを特徴とする固体撮像装置。
【請求項５５】
請求項48ないし54のいずれか一項に記載の装置において、前記被写界像を前記光学系および前記撮像手段を介して撮像して得られた画像データまたは該画像データが記録された記録媒体からの再生データを基に前記信号処理手段の前記第１および第２演算手段により輝度データの生成を行うことを特徴とする画像処理装置。
【請求項５６】
被写体像を撮像面に投影させる光学系と、光学系を介して供給される入射光を三原色RGB に色分解する原色フィルタが所定の配置に配された単板の色分解手段からの透過光を前記撮像面を形成する複数の受光素子での受光により光電変換を行う撮像手段と、該撮像手段から全画素読出しされた撮像信号をディジタルに変換した後、該変換された画素データに信号処理を施して輝度信号を生成する信号処理手段とを有する固体撮像装置において、該装置は、
前記色分解手段の前記原色フィルタと受光素子とが個々に対をなし、かつ前記受光素子は、行および列方向に正方配置で２次元的に配され、
前記所定の配置には、色G が列方向にストライプを形成し、該ストライプの色G の間に色R, Bが交互に配されて完全な市松状を形成するG ストライプRB完全市松パターンを用い、
前記信号処理手段は、色G に対応して得られた画素データを輝度データにそのまま用い、色R, Bには、色R, Bの画素データを用いるとともに、これらの画素データの加算平均の関係から求める色の輝度データを算出する第３演算手段と、
該第３演算手段で得られた輝度データを基に三原色RGB のうち、存在する受光素子から得られる色の他の２つの色に対する補間を行う第４演算手段とを含むことを特徴とする固体撮像装置。
【請求項５７】
請求項56に記載の装置において、前記第３演算手段は、前記色R, Bの画素データを用いて前記色R, Bのいずれか一方の色の輝度データを求める際に、算出する色を一方の色としてその半値を算出し、該半値と、他方の色および該一方の色と同色の周囲に配される４つの画素データの平均値の半値とを加算から求める色の輝度データを算出することを特徴とする固体撮像装置。
【請求項５８】
請求項56に記載の装置において、前記第３演算手段は、前記色R またはB が形成する格子の画素データを用いて該格子の中心に位置する輝度データを算出する際に、該算出する輝度データの色と４つの画素データのうち、水平方向の異色の画素データの差分値の絶対値と、垂直方向の同色の画素データの差分値の絶対値とを基に演算を行い該演算結果と所定の第５判定値から水平方向および垂直方向のいずれか一方の方向に相関があるか検出する第５相関検出手段と、
前記色G の正方格子を用いて、一方の水平方向の画素データの差分値の絶対値および他方の水平方向の画素データの差分値の絶対値の加算値と、一方の垂直方向の画素データの差分値の絶対値および他方の垂直方向の画素データの差分値の絶対値の加算値との差に基づいて演算を行い該演算結果と所定の第６判定値から水平方向および垂直方向のいずれか一方の方向に相関があるか検出する第６相関検出手段とを含み、
前記第５および第６相関検出手段の結果に応じて求める色の輝度データを算出することを特徴とする固体撮像装置。
【請求項５９】
請求項56に記載の装置において、前記第３演算手段は、前記色G が形成する正方格子の中心に位置する色R, Bの輝度データを算出する際に、該算出する輝度データの色と異色の４つの画素データのうち、右斜め方向の画素データの差分値の絶対値と、左斜め方向の画素データの差分値の絶対値とを基に演算を行い該演算結果と所定の第７判定値の比較からどちらの斜め方向に相関があるか検出する第７相関検出手段と、
前記色G が形成する正方格子を用いて、輝度算出画素を挟んで右斜め方向の両端に位置する色G の画素データの差分値の絶対値と、輝度算出画素を挟んで左斜め方向の両端に位置する色G の画素データの差分値の絶対値との差分値とを算出し、該算出した値と所定の第８判定値の比較からどちらの斜め方向に相関があるか検出する第８相関検出手段とを含み、
前記第７および第８相関検出手段の結果に応じて求める色の輝度データを算出することを特徴とする固体撮像装置。
【請求項６０】
請求項56に記載の装置において、前記撮像手段は、撮像信号の読出しをインターレースまたはX,Y アドレス方式で読み出すことを特徴とする固体撮像装置。
【請求項６１】
請求項56に記載の装置において、該装置は、前記光学系からの入射光を複数の方向に分光する分光手段と、
該分光手段が分光する方向の数に応じて複数の種類の三原色RGB の色フィルタ配置を各撮像手段の前に配するとともに、各原色フィルタ配置を重ね合わせた際に前記G ストライプRB完全市松パターンとなる色分解手段とを含むことを特徴とする固体撮像装置。
【請求項６２】
請求項56に記載の装置において、前記受光素子が該受光素子の幾何学的な中心がすべて行および列方向に正方配置された撮像手段と、
該撮像手段を空間的に行および／または列方向に移動させる移動手段と、
該移動手段による前記撮像手段の移動に伴い前記撮像手段の前面に配される色分解手段の色フィルタを切り換えるフィルタ切換手段と、
前記移動手段の移動および前記フィルタ切換手段の切換え毎に前記信号処理手段から供給される信号を前記被写体像の画像として記録する記録手段とを含み、
前記フィルタ切換手段の切換え毎に得られる被写体像を空間的に重ね合わせた際に前記G ストライプRB完全市松パターンで得られた画像になる面順次方式を用いることを特徴とする固体撮像装置。
【請求項６３】
請求項56ないし62のいずれか一項に記載の装置において、前記被写界像を前記光学系および前記撮像手段を介して撮像して得られた画像データまたは該画像データが記録された記録媒体からの再生データを基に前記信号処理手段の前記第３および第４演算手段により輝度データの生成を行うことを特徴とする画像処理装置。
【請求項６４】
請求項１、２または３に記載の装置において、前記信号処理手段は、作成対象の画素に対する輝度データの生成に前記色フィルタGを透過して得られた信号と、前記色フィルタRおよびBを透過して得られた信号に対してそれぞれ、前記作成対象の周囲近傍に位置する前記色フィルタBおよびRを透過して得られた信号とを演算して得られた信号とを用いることを特徴とする固体撮像装置。
【請求項６５】
請求項１６に記載の装置において、第１の輝度演算手段は、作成対象の画素における輝度データの生成に前記色フィルタGを透過して得られた信号と、前記色フィルタRおよびBを透過して得られた信号に対してそれぞれ、前記作成対象の周囲近傍に位置する前記色フィルタBおよびRを透過して得られた信号とを演算して得られた信号とを用いることを特徴とする固体撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
本実施例において、撮像部11は、入射する光を光電変換する受光素子PDに隣接した受光素子PDが垂直方向および／または水平方向にずらされて２次元配置された受光部11a と、この受光部11a の前面に形成された開口部APを迂回するように配置され、かつ受光素子PDからの信号電荷を取り出す、図示しないトランスファゲートや垂直転送レジスタのそれぞれに垂直駆動信号V1〜V4が供給される水平方向の4本の電線とこれらの信号を垂直方向に供給するため4本の電線それぞれに対して交差する信号線VT1〜VT4を配し、読み出した信号電荷を受光部11の垂直方向に順次転送する垂直転送路VRとを備えている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
垂直転送路VRは、供給される垂直転送駆動信号V1〜V4に応じて信号を転送している。撮像部11の受光素子PDの各開口部上には異なる分光感度特性の複数の色フィルタCFが備えられている（図６を参照）。撮像部11からの信号読出しは、２線の並列読出しで行う。色フィルタCFおよび開口部APについては後段で詳述する。
カラー信号処理部12は、ガンマ変換部12a, A/D変換部12b,および信号処理部12c を備えている。ガンマ変換部12a は、撮像部11の複数の垂直転送レジスタからそれぞれ得られる信号にガンマ補正、いわゆるガンマ変換を施す。A/D 変換部12b はガンマ変換部12a からの出力をディジタルデータに変換する。固体撮像装置10においてA/D 変換部12b 以後で取り扱う信号は、すべてディジタルデータである。本発明の実施例では、便宜上、信号や成分信号という語句を用いるがディジタルである。A/D 変換部12b は、変換した２次元のディジタルデータを面データとして信号処理部12c に出力する。
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2000184386.tif 000001