(57)【特許請求の範囲】
【請求項１】
被写体を撮像する撮像素子と、
この撮像素子を駆動する駆動手段と、
前記駆動手段を用いて前記撮像素子の光電変換単位の画素である単位画素の画素情報を複数個加算しつつ読み出す加算読み出しが可能な読み出し手段と、
前記単位画素に関する画素欠陥情報である単位画素欠陥情報を記憶する記憶手段と、
第１の撮影モードにおいては、前記読み出し手段を制御して加算読み出しを行うことで加算後の画素である複画素の画素情報を生成し、第２の撮影モードにおいては、前記読み出し手段を制御して非加算読み出しを行い、読み出された単位画素の画素情報をデジタル演算による外部演算手段で複数個加算することで加算後の画素である複画素の画素情報を生成する撮像制御手段とを有し、
前記撮像制御手段は、前記第２の撮影モードにおける画素情報の加算に際して、前記単位画素の画素情報における欠陥画素情報を、当該欠陥画素と同一の複画素に属する非欠陥単位画素の情報で充当する欠陥補償処理を施した後に加算処理を行うように構成されていることを特徴とする撮像装置。
【請求項２】
第１の撮影モードは露光時間が所定値未満の場合であり、第２の撮影モードは露光時間が所定値以上の場合であることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記欠陥補償処理は、前記欠陥画素と同一の複画素に属する非欠陥単位画素情報の平均値をもって充当するものであることを特徴とする請求項１又は２記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画素加算により感度の向上をはかった撮像装置に係わり、特に欠陥補償機能を備えた撮像装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の撮像素子により被写体像を撮像して映像信号を得るデジタルスチルカメラ（電子カメラ）が盛んに開発されている。この種の電子カメラに用いられる撮像装置において、画素欠陥の補償及び画素加算読み出しはそれぞれ公知である。即ち、前者によって欠陥のある撮像素子でも実用に供されることが可能となり、市場に提供可能なコストが実現されている。また、後者によってＳＮ比やダイナミックレンジの向上を図ることができる。
【０００３】
このとき、例えば２行２列の４画素加算読み出しによって１つの画素（これを複画素と称する、これに対して原画素を単位画素と称する）を得る場合、複画素中に１画素でも欠陥画素が含まれていた場合はこの複画素は欠陥画素となる。このため、従来の欠陥補償技術を適用したとすると、この欠陥複画素に対して隣接する複画素の情報をもって充当（代用）することになる。
【０００４】
【発明が解決しようとする課題】
上記の例では、欠陥複画素の中にも、単位画素では欠陥でない有効な画素が含まれているにも拘わらず、加算読み出しによって欠陥画素情報と混合されるためにこれらの画素情報は無効となる。そして、欠陥複画素に対する補正は、欠陥単位画素に最も近い隣接単位画素ではなく、より遠い隣接複画素情報によって行われる。従って、解像度の劣化が大きいものであった。
【０００５】
なお、この課題に対し、画素信号加算読み出し方式として撮像素子からの信号読み出し部、即ちサンプルホールド回路を利用した画素信号加算を用いる場合に関しては、欠陥画素が含まれる部分だけを通常の加算動作と異なるサンプルホールド処理をすることで、有効な単位画素に相当する情報を得ることができるようにして、解像度劣化を防ぐようにした技術が提案されている。（特開平１１−１２２５３８号公報）
しかしながら、この種の方式にあっても次のような問題があった。即ち、技術的に高度な要素を含むデリケートなハード回路であり、基本性能の安定確保が困難な場合もあるサンプルホールド回路に、更に特殊な切り換え動作を必要とするため、性能の確保が極めて困難になる可能性がある。また、水平方向の加算に対してしか適用できないから、例えば最も一般的に垂直２ライン加算後にこの技術を適用した上記４画素加算の場合を考えれば、欠陥画素が１画素だけであった場合でも、有効に利用可能なのは高々２画素の情報までであり、無駄が大きい。そしてこのとき、４画素のうち例えば対角の２画素が欠陥であると、この複画素は欠陥画素となってしまう。
【０００６】
本発明は、上記事情を考慮して成されたもので、その目的とするところは、複雑な負担の大きいハード回路を要することなく、また有効画素の情報を無駄無く利用し、従ってＳＮの劣化を最小限にとどめつつ解像度の劣化を事実上生じない効果的な欠陥補正が可能な撮像装置を提供することにある。
【０００７】
【課題を解決するための手段】
（構成）
上記課題を解決するために本発明は次のような構成を採用している。
【０００８】
即ち本発明は、画素加算により感度の向上をはかった撮像装置において、被写体を撮像する撮像素子と、この撮像素子を駆動する駆動手段と、前記駆動手段を用いて前記撮像素子の光電変換単位の画素である単位画素の画素情報を複数個加算しつつ読み出す加算読み出しが可能な読み出し手段と、前記単位画素に関する画素欠陥情報である単位画素欠陥情報を記憶する記憶手段と、第１の撮影モードにおいては、前記読み出し手段を制御して加算読み出しを行うことで加算後の画素である複画素の画素情報を生成し、第２の撮影モードにおいては、前記読み出し手段を制御して非加算読み出しを行い、読み出された単位画素の画素情報をデジタル演算による外部演算手段で複数個加算することで加算後の画素である複画素の画素情報を生成する撮像制御手段とを有し、前記撮像制御手段は、前記第２の撮影モードにおける画素情報の加算に際して、前記単位画素の画素情報における欠陥画素情報を、当該欠陥画素と同一の複画素に属する非欠陥単位画素の情報で充当する欠陥補償処理を施した後に加算処理を行うように構成されていることを特徴とする。
【０００９】
ここで、本発明の望ましい実施態様としては次のものが挙げられる。
【００１０】
(1) 第１の撮影モードは露光時間が所定値未満の場合で、第２の撮影モードは露光時間が所定値以上の場合であること。
【００１２】
(2) 欠陥補償処理は、欠陥画素と同一の複画素に属する非欠陥画素の平均値をもって充当するものであること。
【００１５】
（作用）
本発明によれば、通常露光等の第１の撮影モードでは加算読み出しを用いるが、長時間露光等の第２の撮影モードの場合は非加算読み出しを用いて、外部でデジタル加算を行う。従って、欠陥が多く発生する長時間露光等の場合には、単位画素レベルで欠陥補償を行うことができ、欠陥補償に伴う画質の劣化を抑制することが可能となる。なお、非加算読み出し後に外部で加算する場合は時間がかかるが、長時間露光等の場合はレート低下は問題が少ない。
【００１６】
このように第２の撮影モードは、欠陥画素の補償には適しているが、非加算読み出しであることから時間がかかる。そのため、あまり高速性を要求されない撮影に適している。従って、連写と単写では、連写を第１の撮影モード、単写を第２の撮影モードとすれば、上記と同様の効果が期待できる。また、動画と静止画では、動画を第１の撮影モード、静止画を第２の撮影モードとすれば上記と同様の効果を期待できる。
【００１７】
また、欠陥画素の補償に際して、その近隣の非欠陥単位画素のうち、隣接するものの平均値を持って充当することにより、解像度の劣化を極力小さくすることができ、更に同一の複画素に属するものの平均値をもって充当することにより、解像度の劣化を実質的に無くすことが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明の詳細を図示の実施形態によって説明する。
【００１９】
図１は、本発明の一実施形態に係わる電子カメラの概略構成を示すブロック図である。
【００２０】
図中１０１は各種レンズからなるレンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞りを制御するための露出制御機構、１０４はローパス及び赤外カット用のフィルタ、１０５は色フィルタを内蔵したＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はＡ／Ｄ変換器等を含むプリプロセス回路、１０８は色信号生成処理，マトリックス変換処理，その他各種のデジタル処理を行うためのデジタルプロセス回路、１０９はカードインターフェース、１１０はＣＦ等のメモリカード、１１１はＬＣＤ画像表示系を示している。
【００２１】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７は露出制御機構及びストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００２２】
本実施形態の電子カメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、ＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０７を介してデジタルプロセス回路１０８に取込んで、各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。
【００２３】
図２は、ＣＣＤ撮像素子１０５の素子構造を示す平面図である。受光素子としてフォトダイオード２０１がマトリクス配置され、フォトダイオード２０１間に縦列方向に複数本の垂直ＣＣＤ２０２が配置され、垂直ＣＣＤ２０２の端部に横列方向に１本の水平ＣＣＤ２０３が配置されている。そして、フォトダイオード２０１に蓄積された信号電荷は電荷移送パルスＴＧにより垂直ＣＣＤ２０２に読み出され、垂直ＣＣＤ２０２内を紙面下方向に転送される。垂直ＣＣＤ２０２を転送した信号電荷は水平ＣＣＤ２０３に移送され、この水平ＣＣＤ２０３を紙面左方向に転送され、最終的に読み出しアンプであるＦＤＡ（フローティングディフュージョンアンプ）２０４を介して出力されるようになっている。
【００２４】
ここまでの基本構成は従来装置と同様であるが、本実施形態ではこれに加え、ＣＣＤ１０５に対して単位画素の画素情報を複数個加算しつつ読み出す加算読み出し手段と、単位画素欠陥情報を記憶する記憶手段と、画素情報の補正を行うための画素情報補正手段が設けられている。なお、撮像素子１０５における加算読み出しはシステムコントローラ１１２の制御下にＣＣＤドライバ１０６によって行われ、撮像素子外部での加算処理及び補正処理はシステムコントローラ１１２の制御下にデジタルプロセス回路１０８内で行われるようになっている。
【００２５】
本実施形態で用いる撮像素子１０５は、順次走査（プログレシブスキャニング）型とし、縦横の画素ピッチが等しい（値をｐとする）正方画素タイプであるとする。そして、この撮像素子１０５は、図３に示すように２×２の４画素を最小単位として加算読み出しされる。このように実質的な画像情報の最小単位が、撮像素子１０２の複数の画素（単位画素）から構成されている時に、これを複画素と名付ける。
【００２６】
次に、本実施形態における画素加算信号読み出し及び欠陥補正の動作について説明する。
【００２７】
まず、公知の測光手段（例えば、連続的な仮撮像における撮像信号のレベルをシステムコントローラ１１２が解析する、いわゆるイメージャ測光を用いることができる）によって、撮像（静止画記録）に先立って、シャッタ速即ち露光時間Ｔが求められる。
【００２８】
Ｔ＜Ｔ０（例示値Ｔ0=1/60ｓ）の場合→第１モード
露光時間が十分に短い場合は、画素欠陥が極めて少ないため、読み出し時に加算処理しても欠陥補償に関しては殆ど問題ない。即ち、欠陥の発生は局所的にごく僅かの数にとどまるから、仮にこれを放置しても、加算による平均化効果とも合いまってこれが顕在化するおそれは極めて小さい。或いはこの場合、従来の（すなわち複画素単位での）欠陥処理を用いても良い。いずれにせよ、加算読み出しを行なっても不具合が顕在化することは無いから、読み出しを高速にすることで、次駒待機時間を短くして速写性を確保する。
【００２９】
読み出しは、公知の垂直２画素加算と水平２画素加算の同時採用による隣接４画素加算読み出しである。垂直２画素加算は、図４（ａ）に示すように、毎回の水平ブランキング期間に２画素（２行）分のＶ転送クロックを出力することによって行われる。水平２画素加算は、図４（ｂ）に示すように、ＣＤＳ（相関二重サンプリング回路）における１回のサンプリング期間、即ち各リセットゲートパルス間に２単位の水平転送パルスを出力することによって行われる。
【００３０】
必要なら、加算後の読み出しデータ（複画素）に対して従来と同様の欠陥補償を施すか、データ補正を施す。
【００３１】
Ｔ≧Ｔ０の場合→第２モード
露光時間が長くなると画素欠陥が増えてくる。欠陥が多数発生するようになると、これを放置した場合はもちろん、従来の複画素単位での欠陥処理を行なったとしても画質への影響が無視できなくなる。このとき複画素単位での欠陥処理においては、１単位画素の欠陥が１複画素（４単位画素）の欠陥と同等の意味を持つから深刻な画質低下に直結することは既述のとおりである。そこでこの場合、速写性を犠牲にしても画質確保を優先する。長時間シャッタになれば、元々次駒速写性への要求は下がるので問題ない。
【００３２】
読み出しには非加算読み出しを使用し、外部デジタル演算を行う。即ち、非加算読み出しに対応する単位画素データに対して、欠陥補償処理を施してから４画素加算する。その際、
（１）同一の複画素に属する他の非欠陥画素データ（欠陥が当該１画素だけの場合は他の３画素）の平均値で充当する。この後に、４画素加算を行い複画素値を得る。この場合、本来４画素の加算値となるべきこの複画素の値は、欠陥画素を除いた有効３画素の合計値の４／３倍として求められたことになる。複画素の開口が広がらないため、解像度が劣化しないという長所を有する。
（２）複画素への帰属にこだわらず、隣接（カラー素子なら同色で最近接）の非欠陥単位画素データのうち任意のもの、例えば対象全画素の平均値を用いるようにしても良い。この場合補償可能性が高くなるという長所を有する。（１）が不可能な場合に（２）という処理も望ましい。
【００３３】
なお、例えば（１）の処理において、同一複画素の４画素が全て欠陥画素の場合や、（２）で隣接画素が全て欠陥画素の場合など、当該処理の実行が不可能な場合は、この複画素を欠陥複画素と見なして、改めて複画素単位で従来の欠陥補償処理を適用する。
【００３４】
また上記では、欠陥情報の取得については触れていないが、公知の任意の手法を用いることができる。例えば、事前に製造工程で調べたデータ（温度や露光時間依存も含む）をメモリに記憶しておいたものを、使用時の温度や露光時間を参照して用いても良い。特に、黒欠陥はこの方法が望ましい。また、撮影直前に例えば使用予定露光時間で遮光状態でテスト撮像して求めたデータを利用しても良い。特に、白欠陥はこの方法が優れている。なお、各欠陥として登録されるデータはそれぞれその該当する画素個々のアドレスデータであることは言うまでも無い。
【００３５】
以上の処理をまとめたフローチャートを、図５に示す。まず、露光時間Ｔを判定し、Ｔ＜Ｔ０の場合は、加算読み出しを行う。そして、欠陥がある場合は、隣接複画素の情報を基に欠陥の補正を行う。欠陥が無い場合は、加算読み出しした信号をそのまま複画素情報として用いる。
【００３６】
Ｔ≧Ｔ０の場合は、非加算読み出しを行う。そして、欠陥がある場合は、隣接単位画素の情報を基に欠陥の補正を行う。デジタル加算処理により複画素情報を生成する。欠陥が無い場合は、読み出した信号をそのまま加算して複画素情報を生成する。
【００３７】
このように本実施形態によれば、４画素加算読み出しによって１つの複画素を得る方式において、短時間露光等の第１の撮影モードでは、加算読み出しを行って複画素の画素情報を生成することにより、次コマ待機時間を短くして速写性を確保することができる。欠陥の多くなる長時間露光等の第２の撮影モードでは、非加算読み出しを行い、読み出された単位画素の画素情報を外部でデジタル加算処理することで複画素の画素情報を生成することにより、単位画素レベルで欠陥補償でき、劣化を防止できる。
【００３８】
特に、欠陥複画素に対する補正を隣接複画素情報ではなく同一複画素内の単位画素の情報に基づいて行うことにより、有効画素の情報を無駄無く利用することができ、ＳＮの劣化を最小限にとどめつつ解像度の劣化を抑制することができる。また、サンプルホールド回路に特殊な切り換え動作を持たせる等の複雑なハード構成を要することなく、単純な計算式を用いて計算するのみで実現することができる。
【００３９】
なお、本発明は上述した実施形態に限定されるものではない。実施形態では、露光時間の長短で第１モードと第２モードを切り換えたが、別の切り換えも可能である。カメラの撮影モードとして連写モードと単写モードを有したカメラでは、言うまでもなく連写モードにおいてより高い次駒速写性が要求されるが、同時に画質低下に対する若干高い許容度を期待できる。そこで、連写モード時は第１モード、単写モード時は第２モードとすることも好適である。同様に、動画利用（ファインダ的利用も含めた連続出画モード）時には静止画記録時よりも高いフレームレートが要求される反面、解像度等の画質要求度は相対的に低いから、これを第１モード、静止画記録時に第２モードとすることも好適である。
【００４０】
本発明はカラー撮像素子にも同様に適用できる。カラーの場合は元の加算が通常同色の加算処理となり、コーディングパターンによっては隣接加算以外の加算が用いられるが、その加算対象の複画素に対して全く同様に適用できる。また、デジタルスチルカメラ等の電子カメラに限らず、ビデオカメラ等のムービーにも全く同様に適用できる。
【００４１】
その他、本発明の要旨を逸脱しない範囲で、種々変形して実施することができる。
【００４２】
【発明の効果】
以上詳述したように本発明によれば、画素加算により感度の向上をはかった撮像装置において、短時間露光等の第１の撮影モードにおいては、読み出し手段を制御して加算読み出しを行うことで加算後の画素である複画素の画素情報を生成し、長時間露光等の第２の撮影モードにおいては、読み出し手段を制御して非加算読み出しを行い、読み出された単位画素の画素情報を外部演算手段で複数個加算することで複画素の画素情報を生成するようにしているので、複雑な負担の大きいハード回路を要することなく、また有効画素の情報を無駄無く利用し、従ってＳＮの劣化を最小限にとどめつつ解像度の劣化を事実上生じない効果的な欠陥補正が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わるデジタルカメラの回路構成を示すブロック図。
【図２】ＣＣＤ撮像素子の素子構造を示す平面図。
【図３】ＣＣＤ撮像素子における単位画素と複画素との関係を示す図。
【図４】加算駆動のパルス位相を示すタイミングチャート。
【図５】露光モードにより読み出し及び補正計算を選択するためのフローチャート。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…フィルタ系
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス部
１０８…デジタルプロセス部
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
１１３…操作スイッチ系
１１４…操作表示系
１１５…レンズドライバ
１１６…ストロボ
１１７…露出制御ドライバ
１１８…不揮発性メモリ（ＥＥＰＲＯＭ）
２０１…フォトダイオード
２０２…垂直ＣＣＤ
２０３…水平ＣＣＤ
２０４…読み出しアンプ
【図１】
0004602541.tif 000002
【図２】
0004602541.tif 000003
【図３】
0004602541.tif 000004
【図４】
0004602541.tif 000005
【図５】
0004602541.tif 000006