(57)【要約】【課題】複数画素に対して画像上の連なる欠陥（＝線欠陥）を低減すると共に、補正精度を向上させ、画質劣化を低減することができる撮像装置を提供する。【解決手段】撮像装置は、二次元に配列され、被写体からの光を光電変換して蓄積する画素６０と、画素６０に接続されて蓄積された電荷を信号として後段へ転送する複数の出力線６７を備える撮像素子を備える。そして、撮像素子は、出力線６７に全色の画素６０が接続されていると共に、同列もしくは同行に配設されている画素６０の出力を、複数画素毎に左右に隣接する、異なる出力線６７へ交互に出力する。【選択図】図１
2010016450.tif 000002
【特許請求の範囲】
【請求項１】
二次元に配列され、被写体からの光を光電変換して蓄積する画素と、前記画素に接続されて蓄積された電荷を信号として後段へ転送する複数の出力線を備え、前記出力線に全色の前記画素が接続されていると共に、同列もしくは同行に配設されている前記画素の出力を、複数画素毎に左右に隣接する、異なる前記出力線へ交互に出力する撮像素子を備えることを特徴とする撮像装置。
【請求項２】
前記複数画素とは、一画素の回路構成内の一部の構成を共有している画素、もしくは、前記回路構成の一部の構成を共有している画素を最小単位とした画素であることを特徴とする請求項１記載の撮像装置。
【請求項３】
シェーディングを補正するシェーディング補正手段と、
前記シェーディング補正手段により前記シェーディングを補正した後に、出力タイミングのベイヤー配列のずれが生じている前記画素の行に対して配列補正を行う配列補正手段と、
を備えることを特徴とする請求項１または２記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子（以後、撮像素子と称する）を用いた撮像装置に関し、特に、撮像された画像の画質の向上技術に特徴のある撮像装置に関する。
【背景技術】
【０００２】
現在、固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳイメージセンサ等の撮像素子で撮像した静止画像や動画像を記録及び再生するディジタルカメラ等の電子画像処理装置が広く普及している。
【０００３】
図１０は、従来の撮像素子（ＣＭＯＳイメージセンサ）の概略構成図である。
【０００４】
各画素６０はカラーフィルタにより赤（Ｒ）、緑（Ｇ１、Ｇ２）、青（Ｂ）の３色４画素毎に配列（一般的にベイヤー配列と称される）されている。そして、各々の画素は、光電変換を行い、スイッチ部等により、所定のタイミングで出力線６７に出力し、Ｓ−Ｎ回路ブロック７５、出力アンプ７４を介して、後段のＡＤ変換回路等に転送・読み出しを行う。
【０００５】
画像に関しては、上記ベイヤー配列の各色を用いて現像処理を行うことで、被写体の色再現を行うものである。
【０００６】
図１１は、図１０の撮像素子の画素６０の回路図である。
【０００７】
フォトダイオード（以下ＰＤと称する）６１は、不図示の撮影レンズによって結像された光画像を受けて電荷を発生し蓄積する。転送スイッチ（以下ＴＸと称する）６２は、ＭＯＳトランジスタで構成されている。
【０００８】
フローティングディフージョン（以下ＦＤと称する）６４はコンデンサになっている。ＰＤ６１で蓄積された電荷は、ＴＸ６２でＦＤ６４に転送されて電圧に変換され、アンプ６５からソースフォロワで出力される。
【０００９】
行の選択スイッチ６６は、垂直出力線６７に画素出力を出力する。リセットスイッチ６３は、ＦＤ６４の電位をリセットする。
【００１０】
ところで、撮像素子は、製造過程等に画素毎の欠陥が生じ、異常なレベルを出力する画素等が現れることがある。
【００１１】
欠陥を持つ画素（欠陥画素）の影響を低減するために、近年の撮像装置においては画素欠陥補正（欠陥補正）を行うのが一般的である。
【００１２】
上記欠陥画素の判定については、主に、予め、所定の条件下における標準電荷蓄積時間でのセンサ出力を評価し、評価結果に基づき欠陥画素と判定し、この欠陥画素のアドレスとその欠陥レベル等のデータを取得する方法が採られている。このデータには、欠陥画素の位置データ（ｘ、ｙ）及びそのレベル等が記載されている。
【００１３】
欠陥補正では、上記欠陥画素の判定が行われた欠陥画素データを記憶部に記憶し、記憶部のデータにより欠陥画素判定を行い、欠陥画素の位置に対して隣接する同色画素の画像データ（画素出力）に基づいた補間演算処理を行う（例えば、特許文献１、２を参照）。
【００１４】
これにより、画質劣化を更に低減することが可能である。
【００１５】
補間に使用する隣接画素については、自然な補間を行うために、極力、上下左右（場合によっては斜め方向）の周辺の縦・横両方向の隣接同色画素を使用するのが望ましい（図１２を参照。グレー画素が欠陥画素）。
【００１６】
しかしながら、画素欠陥に関しては、様々な原因があるため、欠陥の箇所によっては複数画素が連なる欠陥となる場合がある。
【００１７】
例えば、出力線に欠陥が発生した場合、従来のＣＭＯＳイメージセンサにおいては垂直方向に一列が欠陥になってしまう場合等がある（ＣＣＤイメージセンサの場合は、水平１行が欠陥になってしまう）。このような現象は、一般的には“線欠陥”と言われている。
【００１８】
線欠陥に対して、周辺の画素を使用した補間（補正）をする場合、上下（ＣＣＤイメージセンサの場合は左右）の隣接画素も欠陥があるため、左右（ＣＣＤイメージセンサの場合は上下）の画素のみでの補間になる。このため、補間精度が下がってしまい、画像として、補正痕が目立ちやすい状況となってしまう（図１３を参照。グレー画素が接続されている出力線が欠損）。
【００１９】
線欠陥に対して、出力線が直線でなければ、画像として欠陥部が分散し、目立ちにくくなることが考えられる。
【００２０】
上記、出力線が直線でない構成としては、目的は異なるが、ベイヤー配列の画素の偶数行と奇数行の画素配置が１／２画素ずつシフトしており、垂直出力線は該シフトした画素の間を蛇行して配置する提案がなされている（特許文献３、４を参照）。
【特許文献１】特開平１０−４２２０１号公報
【特許文献２】特開２００３−３３３４３５号公報
【特許文献３】特開平０７−２３５６５５号公報
【特許文献４】特開２００１−０５７４２０号公報
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかし、上記特許文献３、４に提案された技術では、図１４に示すように、欠陥となる出力線が緑（Ｇ１、Ｇ２）画素に接続されていた場合、画素２列分の緑画素が欠陥となってしまい、欠陥補間の精度が下がってしまう。
【００２２】
本発明の目的は、複数画素に対して画像上の連なる欠陥（＝線欠陥）を低減すると共に、補正精度を向上させ、画質劣化を低減することができる撮像装置を提供することにある。
【課題を解決するための手段】
【００２３】
上記目的を達成するために、請求項１記載の撮像装置は、二次元に配列され、被写体からの光を光電変換して蓄積する画素と、前記画素に接続されて蓄積された電荷を信号として後段へ転送する複数の出力線を備え、前記出力線に全色の前記画素が接続されていると共に、同列もしくは同行に配設されている前記画素の出力を、複数画素毎に左右に隣接する、異なる前記出力線へ交互に出力する撮像素子を備えることを特徴とする。
【発明の効果】
【００２４】
本発明の撮像装置によれば、複数画素に対して画像上の連なる欠陥（＝線欠陥）を低減すると共に、補正精度を向上させ、画質劣化を低減することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
【００２６】
（第１の実施の形態）
図１は、本発明の撮像装置に使用する撮像素子としてのＣＭＯＳイメージセンサの第１の例を示す概略構成図である。
【００２７】
各画素６０は、カラーフィルタにより赤（Ｒ）、緑（Ｇ１、Ｇ２）、青（Ｂ）の３色（全色）４画素毎に二次元に配列（一般的にベイヤー配列と称される）されている。
【００２８】
具体的には、画素６０（１−１）〔１列１行目の画素〕乃至６０（ｍ−ｎ）〔ｍ列ｎ行目の画素〕という形式で配列されている。
【００２９】
各画素６０（１−１）乃至６０（ｍ−ｎ）は、光電変換した信号を蓄積し、スイッチ部等により、所定のタイミングで接続されている出力線６７〔具体的には６７（１）乃至６７（ｍ）〕に蓄積信号を出力する。そして、各画素６０は、Ｓ−Ｎ回路ブロック７５〔具体的には７５（１）乃至７５（ｍ）〕、出力アンプ７４〔具体的には７４（ａ）、７４（ｂ）〕を介して、後段のＡＤ変換回路等に転送・読み出しを行う。
【００３０】
画素６０は垂直方向に２画素ずつ、異なる出力線６７（１）乃至６７（ｍ）に接続されている。
【００３１】
本実施の形態では、例えば、画素６０（１−１）及び６０（１−２）は、出力線６７（２）へ出力し、続く２画素６０（１−３）及び６０（１−４）は、出力線６７（１）へ出力する。また、続く２画素６０（１−５）及び６０（１−６）は、出力線６７（２）へ出力する。このことで、垂直同列に配設された画素が、複数画素（本実施の形態では２画素）毎に左右に隣接する、異なる出力線に交互に出力されている。
【００３２】
また、各出力線６７には、各々カラーフィルタ赤（Ｒ）、緑（Ｇ１、Ｇ２）、青（Ｂ）の３色４画素が全て接続されている。
【００３３】
上記構成を採用することで、図２に示すように、本発明の撮像装置は、従来、出力線が欠損した場合に起こる連なる欠陥“線欠陥”が、画像上の同一列に発生することなく、欠陥画素が分散して発生するため、目立ちにくくなる。
【００３４】
加えて、欠陥画素の隣接同色画素は、同列上下及び左右が正常画素である可能性が高いため、従来の隣接同色画素による補間を行うことで、欠陥補正を精度よく行うことが可能となる。
【００３５】
尚、本発明の第１の実施の形態は、撮像素子に関して記載しているが、本発明はそれに限定したものではない。
【００３６】
図３は、本発明の撮像装置に使用する撮像素子としてのＣＣＤイメージセンサの概略構成図である。
【００３７】
図３に示すＣＣＤイメージセンサは、画素７０（１−１）乃至７０（ｍ−ｎ）、垂直転送用ＣＣＤ７１（１）乃至７１（ｍ）、水平転送用ＣＣＤ７２、出力アンプ７３を備える。
【００３８】
この構成においても、画素からの出力線に当たる垂直転送用ＣＣＤに対して、各画素が複数画素毎（図３では２画素毎）に左右に隣接する、異なる方向に出力するものでも同様の効果を得ることができる。
【００３９】
さらに、前述した特許文献４のような画素配置が１／２画素ずれた構成の撮像素子があるが、そのような撮像素子に関しても、図１５に示すように、蛇行する出力線に対して複数画素毎に左右に隣接する、異なる出力線に接続することで、同様の効果が得られる。
【００４０】
図１５は、従来の撮像素子の画素配列（ａ）と図１の撮像素子の画素配列の変形例（ｂ）を示す図である。
【００４１】
（第２の実施の形態）
第１の実施の形態は、複数画素毎に異なる出力線に出力する構成となっており、図１１に示したような単位画素毎に各々個別構成してある撮像素子の前提で考えると、図１の例のような２画素毎だけでなく、３画素毎・４画素毎・５画素毎等を設定できる。しかし、近年の撮像素子は、回路面積縮小を目的に、１画素の回路構成内の一部の構成を共有しているものが増えてきている。
【００４２】
第２の実施の形態は、画素構成の一部を複数画素で共有化した場合の一例を示す。
【００４３】
図４は、本発明の撮像装置に使用する撮像素子としてのＣＭＯＳイメージセンサの第２の例を示す概略構成図である。
【００４４】
図４は、画素構成の一部を複数画素で共有化した画素の基本構成を示した一例であり、前述した図１１の基本画素構成のうち、一部を複数画素により共通化したものである。
【００４５】
図４（ａ）は２画素共通、（ｂ）は４画素共通の例である。
【００４６】
単位画素６０（ｙ）、６０（ｙ＋１）は、電荷蓄積を行うＰＤ６１（ｙ）、６１（ｙ＋１）、ＴＸ６２（ｙ）、６２（ｙ＋１）、リセットスイッチ６３（ｙ）、６３（ｙ＋１）を各々個別で備えている。
【００４７】
これに対して、共通構成６００に示すＦＤ６４、アンプ６５、行の選択スイッチ６６は、画素６０（ｙ）乃至６１（ｙ＋１）で共通化されている。
【００４８】
単位画素は、４画素共通では画素６０（ｙ）乃至６０（ｙ＋３）である。また、ＰＤは、４画素共通ではＰＤ６１（ｙ）乃至６１（ｙ＋３）である。また、ＴＸ６２は、４画素共通ではＴＸ６２（ｙ）乃至６２（ｙ＋３）である。また、リセットスイッチは、４画素共通ではリセットスイッチ６３（ｙ）乃至６３（ｙ＋３）である。
【００４９】
図５は、図４の撮像素子における出力線への接続の一例を示す図である。
【００５０】
図５（ａ）は、２画素共通であり、垂直方向に２画素一組として同一出力線に出力し、次の２画素が異なる出力線に出力する構成になっている。
【００５１】
一方、図５（ｂ）は、４画素共通であり、垂直方向に４画素一組として同一出力線に出力し、次の４画素が異なる出力線に出力する構成になっている。
【００５２】
以上のように、第２の実施の形態では、一画素の回路構成内の一部の構成を共有している画素の数毎に異なる出力線へ接続することで、欠陥が画像上の同一列に発生することなく、欠陥画素が分散して発生するため、目立ちにくくする効果が得られる。
【００５３】
尚、本実施の形態は、２画素共通の場合は２画素毎、４画素共通の場合は４画素毎に異なる出力線へ出力しているが、本発明はそれに限ったものではない。
【００５４】
例えば、回路構成の一部を共有している画素数を最小単位とした画素数毎（具体的には、２画素共通の場合、２画素を最小単位として、４画素毎や６画素毎）に出力線を変えても同様の効果が得られる。
【００５５】
即ち、従来の出力線が欠損した場合に起こる連なる欠陥“線欠陥”が、画像上の同一列に発生することなく、欠陥画素が分散して発生するため、目立ちにくくなる。
【００５６】
（第３の実施の形態）
第１、第２の実施の形態の撮像素子を使用した場合、画素の配列に対して出力線が一致していないので、出力線の順序で読み出した場合、行によって出力する色の順序が異なってくる。
【００５７】
例えば、図１において、出力線６７（１）、６７（２）、６７（３）・・・６７（ｍ）の順で読み出すシーケンスである場合、１、２行目は出力線６７（１）のタイミングで出力がなく、出力線６７（２）のタイミングで画素Ｒ及びＧ２の出力がなされる。
【００５８】
一方、３、４行目では、出力線６７（１）のタイミングで画素Ｒ及びＧ２の出力がなされ、出力線６７（２）のタイミングで画素Ｇ１及びＢの出力がなされる。
【００５９】
従って、行によって出力がなかったり、同一のタイミングで異なる色の信号が出力されることとなる。即ち、出力タイミングのずれが生じることとなる。
【００６０】
出力タイミングのずれは、複数画素を使用して行う現像処理（ホワイトバランス、シャープネス、コントラスト、色変換等の処理）において、ベイヤー配列を考慮するために処理手順が複雑になってしまうという問題となる。
【００６１】
また、出力線は、全ての電気的特性を一致させることはできないため、出力線毎に基準電位にわずかな差が生じる。その基準電位ずれの影響は、シェーディング補正を行うことで低減できるが、上記出力タイミングのずれにより、出力線起因のシェーディングが生じるタイミングもずれてしまう。
【００６２】
例えば、１、２行目は出力線６７（２）、６７（３）・・・の順で画素Ｒ及びＧ２、画素Ｇ１及びＢの出力信号が発生し、３、４行目は出力線６７（１）、６７（２）・・・の順で画素Ｒ及びＧ２、画素Ｇ１及びＢの出力信号が発生する。
【００６３】
そのため、同一列に配列された画素を異なる出力線に接続することで、シェーディング補正を行うためのデータは、出力タイミングのずれに応じて、複数ライン分の補正データを持つ必要が出てくる等の問題が発生する。
【００６４】
第３の実施の形態は、第１、第２の実施の形態で説明した撮像素子を使用した撮像装置における上記問題に対応するための、画像信号処理方式及び補正タイミングに関するものである。
【００６５】
図６は、本発明の実施の形態に係る撮像装置の全体ブロック図である。
【００６６】
図６において、撮像素子１の内部構成については、前述の図１と同様とする。アナログフロントエンド（ＡＦＥ）２は図７で後述する。デジタルフロントエンド（ＤＦＥ）３は、各画素のデジタル出力を受けて補正や並び替え等をデジタル処理している。ＤＦＥ３については図８で後述する。
【００６７】
メモリ４は各種データを保存する。画像処理部５は、ＤＦＥ３から受けた出力を補正し、また、現像処理を行う。制御部６は各種回路の制御を行う。操作部７は、撮影開始スイッチ・電源スイッチ・各種モード（ＡＦモード、ストロボモード、連写モード等）の切替スイッチ等を含む。
【００６８】
表示部８は、画像処理部５により現像処理が行われた画像等を表示する。記録部９は、撮像された画像等を保存する。タイミング発生部１０は、撮像素子１、ＡＦＥ２、ＤＦＥ３等に駆動タイミングの信号を出力する。
【００６９】
図７は、図６におけるＡＦＥ２のブロック図である。
【００７０】
ゲインコントロールアンプ２１は感度調整を行う。水平ＯＢクランプ部２２は、撮像素子１内に配置された遮光画素であるオプティカルブラック（ＯＢ）を基準レベルとしてクランプする機能を有し、撮像素子１の各ラインのＯＢ出力と黒レベルとのオフセットに係数をかけて徐々に追随させている。これは、本来、微小かつ緩やかなダークシェーディングを補正するものである。ＡＤ変換部２３は、ゲインコントロールアンプ２１の出力をアナログデジタル変換する。
【００７１】
図８は、図６におけるＤＦＥ３のブロック図である。また、図９は、図６の撮像装置の画素出力タイミングを示す図である。
【００７２】
図９（ａ）に示す各出力線の読み出しタイミング信号は、図６のタイミング発生部１０にて撮像素子１へ送られている。
【００７３】
図８において、水平シェーディングデータ読み出し部３１は、予めメモリ４に記憶されている撮像素子１の所定範囲の暗出力のシェーディングデータを読み出す。シェーディングデータは、ＡＦＥ２のＯＢクランプ動作で補正する緩やかなダークシェーディングで補正しきれない出力線単位等でのずれを補正するためのデータである。
【００７４】
水平シェーディング補正部３２は、シェーディングデータを用いて、水平シェーディングを補正する。その結果、図９（ｃ）のようなシェーディングが、図９（ｄ）のように基準電位と略一致するレベルまで補正される。
【００７５】
配列補正部３３は、水平シェーディング補正部３２にてシェーディング補正された画素出力のうち、出力タイミングのベイヤー配列のずれが生じている行に対して、水平方向の配列補正を行う。
【００７６】
具体的には、図９（ｂ）のように、１行目の画素Ｒと３行目の画素Ｒがずれているものに対し、画素Ｒが同じ行になるように、図９（ｅ）のように、３行目のデータを１画素分配列をシフトする（４行目も同様にシフトする）。配列補正部３３は、ベイヤー配列を一致させた画像データを画像処理部５へ送る。画像処理部５では、欠陥画素の補正及び現像処理を行う。
【００７７】
即ち、本実施の形態では、水平シェーディング補正部３２と配列補正部３３の機能を共にＤＦＥ３が備えており、シェーディング補正を行った後にベイヤー配列補正を行うものである。
【００７８】
本実施の形態の処理手順により、シェーディングにずれが生じないために、シェーディング補正データの１ライン分のみで処理が可能になり、かつ、シェーディング補正された状態でベイヤー配列も従来通りとなる。そのため、画像処理における複雑化を避けることが可能となる。
【００７９】
尚、本実施の形態では、シェーディング補正・配列補正共にＤＦＥ３で行っているが、本発明はそれに限定したものではない。例えば、シェーディング補正をＡＦＥ２で行い、配列補正を画像処理部５で行う等、撮像装置の構成により、他の機能素子をシェーディング補正・配列補正に利用しても、何ら問題はない。
【００８０】
また、本実施の形態では、画素に接続されて出力する出力線が垂直方向に配設されている撮像素子に対して説明しているため、同列に配設されている画素の出力を複数画素毎に左右に隣接する、異なる出力線へ出力する例を挙げている。
【００８１】
しかし、例えば、素子レイアウトとして画素に接続される出力線が水平方向に配設されているものにおいては、同行に配設されている画素の出力を複数画素毎に上下に隣接する、異なる出力線へ出力することで。同様の効果を得ることができるものである。
【図面の簡単な説明】
【００８２】
【図１】本発明の撮像装置に使用する撮像素子としてのＣＭＯＳイメージセンサの第１の例を示す概略構成図である。
【図２】図１における撮像素子の画素配列及び欠陥補正の概要説明図である。
【図３】本発明の撮像装置に使用する撮像素子としてのＣＣＤイメージセンサの概略構成図である。
【図４】発明の撮像装置に使用する撮像素子としてのＣＭＯＳイメージセンサの第２の例を示す概略構成図である。
【図５】図４の撮像素子における出力線への接続の一例を示す図である。
【図６】本発明の実施の形態に係る撮像装置の全体ブロック図である。
【図７】図６におけるＡＦＥ２のブロック図である。
【図８】図６におけるＤＦＥ３のブロック図である。
【図９】図６の撮像装置の画素出力タイミングを示す図である。
【図１０】従来の撮像素子（ＣＭＯＳイメージセンサ）の概略構成図である。
【図１１】図１０の撮像素子の単位画素構成を示す図である。
【図１２】図１０の撮像素子の画素欠陥補正の概要説明図である。
【図１３】図１０の撮像素子の画素欠陥（線欠陥）の一例を示す図である。
【図１４】図１０の撮像素子の画素欠陥（線欠陥）の他の例を示す図である。
【図１５】従来の撮像素子の画素配列（ａ）と図１の撮像素子の画素配列の変形例（ｂ）を示す図である。
【符号の説明】
【００８３】
１  撮像素子
２  アナログフロントエンド（ＡＦＥ）
３  デジタルフロントエンド（ＤＦＥ）
６０  画素
６７  出力線
７４  出力アンプ
７５  Ｓ−Ｎ回路ブロック
【図１】
2010016450.tif 000003
【図２】
2010016450.tif 000004
【図３】
2010016450.tif 000005
【図４】
2010016450.tif 000006
【図５】
2010016450.tif 000007
【図６】
2010016450.tif 000008
【図７】
2010016450.tif 000009
【図８】
2010016450.tif 000010
【図９】
2010016450.tif 000011
【図１０】
2010016450.tif 000012
【図１１】
2010016450.tif 000013
【図１２】
2010016450.tif 000014
【図１３】
2010016450.tif 000015
【図１４】
2010016450.tif 000016
【図１５】
2010016450.tif 000017