(57)【要約】      （修正有）【課題】待ち時間つまりメモリの読み出し時間を短くする事及びメモリの効率的な使用を課題とする。【解決手段】固体撮像素子のキズ補正がされる画素の情報を記憶する優先順位として、構造欠陥のある画素、画素の暗電流の程度、画素のアドレスの順でキズ補正がされる画素を選択することにより得られる情報を記憶したメモリと、前記メモリの情報に基付いて固体撮像素子からの信号を補正する信号処理部とを有する事を特徴とする補正データ記憶方法を提供する。【選択図】      図２
2004172973.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子のキズ補正がされる画素の情報を記憶する優先順位として、構造欠陥のある画素、画素の暗電流の程度、画素のアドレスの順でキズ補正がされる画素を選択することを特徴とする補正データ記憶方法。
【請求項２】
請求項１において、前記画素のアドレスの優先順位として、読み出されるタイミングが後である画素ほど優先的に記憶されることを特徴とする補正データ記憶方法。
【請求項３】
固体撮像素子のキズ補正がされる画素の情報を記憶する優先順位として、キズの種類、キズの程度、画素のアドレスの順でキズ補正がされる画素を選択することを特徴とする補正データ記憶方法。
【請求項４】
請求項３において、前記画素のアドレスの優先順位として、読み出されるタイミングが後である画素ほど優先的に記憶されることを特徴とする補正データ記憶方法。
【請求項５】
固体撮像素子と、
前記固体撮像素子のキズ補正がされる画素の情報を記憶する優先順位として、構造欠陥のある画素、画素の暗電流の程度、画素のアドレスの順でキズ補正がされる画素を選択することにより得られる情報を記憶したメモリと、
前記メモリの情報に基づいて、固体撮像素子からの信号を補正する信号処理部と、
を有することを特徴とする撮像装置。
【請求項６】
請求項５において、前記メモリは、前記画素のアドレスの優先順位として、読み出されるタイミングが後である画素ほど優先的に記憶されていることを特徴とする撮像装置。
【請求項７】
固体撮像素子と、
前記固体撮像素子のキズ補正がされる画素の情報を記憶する優先順位として、キズの種類、キズの程度、画素のアドレスの順でキズ補正がされる画素を選択することにより得られる情報を記憶したメモリと、
前記メモリの情報に基づいて、固体撮像素子からの信号を補正する信号処理部と、
を有することを特徴とする撮像装置。
【請求項８】
請求項７において、前記メモリは、前記画素のアドレスの優先順位として、読み出されるタイミングが後である画素ほど優先的に記憶されることを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、キズ補正がされる画素の情報を記憶した撮像装置及びキズ補正がされる画素の情報を記憶する補正データ記憶方法に関する。
【０００２】
【従来の技術】
従来のデジタルスチルカメラの構成例を、図３を参照して説明する。
【０００３】
同図において、撮影者がカメラ操作スイッチ２０１（カメラのメインスイッチ、レリーズスイッチ等で構成）を操作すると、カメラ操作スイッチ２０１の状態変化を全体制御ＣＰＵ２００が検出し、その他の各回路ブロックへの電源供給を開始する。
【０００４】
撮影画面範囲内の被写体像は、主撮影光学系２０２及び２０３を通して撮像素子２０４上に結像し、アナログ電気信号に変換される。撮像素子２０４からのアナログ電気信号は、ＣＤＳ／ＡＧＣ回路２０５によりアナログ的に処理されて、所定の信号レベルに変換され、更に各画素順々に、Ａ／Ｄ変換部２０６でデジタル信号に変換される。
【０００５】
なお、全体の駆動タイミングを決定するタイミングジェネレータ２０８からの信号に基いて、ドライバ回路２０７が撮像素子２０４の水平駆動並びに垂直駆動を所定制御することにより、撮像素子２０４は画像信号を出力する。
【０００６】
同様に、ＣＤＳ／ＡＧＣ回路２０５、並びにＡ／Ｄ変換部２０６も上記タイミングジェネレータ２０８からのタイミングに基づいて動作する。
【０００７】
２０９は全体制御ＣＰＵ２００からの信号に基づいて信号の選択を行うセレクタであり、Ａ／Ｄ変換部２０６からの出力は、セレクタ２０９を介してメモリコントローラ２１５へ入力し、フレームメモリ２１６へ全ての信号出力が転送される。従って、この場合各撮影フレームの画素データを、全てフレームメモリ２１６内に一旦記憶する為、連写撮影等の場合は、撮影された画像の画素データを全てフレームメモリ２１６へ書き込むことになる。
【０００８】
フレームメモリ２１６への書き込み動作終了後は、メモリコントローラ２１５の制御により、画素データを記憶しているフレームメモリ２１６の内容を、セレクタ２０９を介してカメラデジタル信号処理部（ＤＳＰ）２１０へ転送する。このカメラＤＳＰ２１０では、フレームメモリ２１６に記憶されている各画像の各画素データを基にＲＧＢの各色信号を生成する。
【０００９】
通常撮影前の状態では、この生成されたＲＧＢの各色信号をビデオメモリ２１１に定期的（フレーム毎）に転送する事で、モニタ表示部２１２によりファインダー表示等を行っている。
【００１０】
一方、カメラ操作スイッチ２０１の操作により、撮影者が撮影（すなわち、画像の記録）を指示した場合には、全体制御ＣＰＵ２００からの制御信号によって、１フレーム分の各画素データをフレームメモリ２１６から読み出し、カメラＤＳＰ２１０で画像処理を行ってから一旦ワークメモリ２１３に記憶する。
【００１１】
続いて、ワークメモリ２１３のデータを圧縮・伸張部２１４で所定の圧縮フォーマットに基いてデータ圧縮し、圧縮したデータを外部不揮発性メモリ２１７（通常フラッシュメモリ等の不揮発性メモリを使用）に記憶する。
【００１２】
また、逆に撮影済みの画像データを観察する場合には、上記外部メモリ２１７に圧縮記憶されたデータを、圧縮・伸張部２１４を通して通常の画素毎のデータに伸張し、伸長した画素毎のデータをビデオメモリ２１１へ転送する事で、モニタ表示部２１２を通して撮影済み画像を観察する事ができる。
【００１３】
この様に、通常のデジタルカメラでは、撮像素子２０４からの出力を、ほぼリアルタイムで信号処理回路を通して実際の画像データに変換し、その結果をメモリないしはモニタ回路へ出力する構成となっている。
【００１４】
一方、上記の様なデジタルカメラシステムに於いて、撮像素子は高価な部品である。従って、出来るだけ歩留まりを高めて使用できるようなシステム構成が望まれるところである。
【００１５】
特に最近は高画素数化が進んだため、点キズと呼ばれる不良画素信号の数が問題となる。これは画素部自身の構造的欠陥によるリークや暗電流特性の不良によるもので、前者は撮影秒時や感度設定に関わらず、後者はそれらの条件次第で補正の必要が出てくるものである。
【００１６】
図４は点キズ画素（ｘ）対する補正方法の一般的例を説明したものである。図中□は点キズ画素を、○は正常画素を現している。また、図中の画素は全て同色のオンチップカラーフィルタの画素のみとしている。
【００１７】
図４（Ａ）は点キズ画素（ｘ）の上下左右の隣接画素全てが正常画素の場合である。このとき，点キズ画素（ｘ）の画素出力信号を（▲１▼＋▲２▼＋▲３▼＋▲４▼）÷４と等価の信号レベルに置き換えることで点キズ画素（ｘ）の補正を行う。
【００１８】
同様に、同図（Ｂ）では（▲１▼＋▲２▼＋▲３▼）÷３と等価に、同図（Ｃ）では（▲１▼＋▲２▼）÷２と等価に、同図（Ｄ）では（▲４▼）と等価の信号レベルに置き換えることとなる。
【００１９】
更に特開２０００−２０９５０６では、通常の撮影露光時間と同じ時間シャッターを閉じた暗中状態での撮像データを黒レベル基準データとし、全画素について差分補正を行い、黒レベル基準データが所定レベルを超える画素を白キズ画素としてその位置を記憶、補正する方法が開示されている。これにより、黒レベルと白キズ画素の質の高い補正が可能としている。
【００２０】
システム上、出来る限りの画素数に対しは補正を行うべきと考えるが、補正のためのデータ領域も大量に準備できるものではない。また、撮影時の時間的ストレスを考えると，補正可能な画素数にも限りがある。
【００２１】
従って，システム的にも時間的にも限りあるデータ数で効果的な補正を行う必要がある。
【００２２】
【発明が解決しようとする課題】
システム上決められた領域で補正対象となるデータがすべて記憶できる場合は問題ないが，意に反して足りない場合，なんとかデータ数を丸めなければならない。
【００２３】
上述したように，数こそ少ないが、基本的に画素構造欠陥によるリーク等は常に補正対象である。一方、暗電流特性の不良画素は、撮影秒時や感度設定等により補正対象画素を切り換えるのが一般的である。
【００２４】
この場合，暗電流特性の優劣は暗時の出力レベルそのもので順序付けられる。つまり、キズの種類、キズの程度を現す情報という順で補正データとしての優先度の判定を行うこととなる。
【００２５】
しかしながら、同じキズレベルの画素同志については考慮されていない。同じレベルの画素がすべて補正データ領域に記憶されるなら何ら問題はない。しかし、その一部しか記憶できない場合、何らかの手段で優先度を付けなくてはならなくなる。同じレベルということで、無作為に抽出するという方法もあるが、以下のような問題が存在する。
【００２６】
いわゆる電子シャッター機能を持たない撮像素子、例えば多くのＣＭＯＳ（相補型金属酸化膜半導体）タイプの場合，撮影秒時＝露光時間ではあるが蓄積動作時間と全く等価というわけではない。つまり、受光部から蓄積電荷量に比例した信号を読み出すのは順序だてて行われるが、自身が読み出されるまでの時間は受光画素の動作としては蓄積状態となり、暗電流成分の増加が生じてしまうこととなる。結果，同じ蓄積時間の場合は、後から読み出される画素ほど蓄積動作時間が待ち時間だけ長くなってしまう。
【００２７】
従って，待ち時間、つまり読み出し時間が素子全体で短ければそれだけ影響も少ないが，昨今の高画素数化ではそれもままならない。よって、撮影画面内での読み出し順も考慮して補正データの優先度を設定する必要がある。
【００２８】
【課題を解決するための手段】
固体撮像素子のキズ補正がされる画素の情報を記憶する優先順位として、構造欠陥のある画素、画素の暗電流の程度、画素のアドレスの順でキズ補正がされる画素を選択することを特徴とする補正データ記憶方法を提供する。
【００２９】
また、固体撮像素子のキズ補正がされる画素の情報を記憶する優先順位として、キズの種類、キズの程度、画素のアドレスの順でキズ補正がされる画素を選択することを特徴とする補正データ記憶方法を提供する。
【００３０】
また、固体撮像素子と、
前記固体撮像素子のキズ補正がされる画素の情報を記憶する優先順位として、構造欠陥のある画素、画素の暗電流の程度、画素のアドレスの順でキズ補正がされる画素を選択することにより得られる情報を記憶したメモリと、前記メモリの情報に基づいて、固体撮像素子からの信号を補正する信号処理部と、を有することを特徴とする撮像装置を提供する。
【００３１】
また、固体撮像素子と、前記固体撮像素子のキズ補正がされる画素の情報を記憶する優先順位として、キズの種類、キズの程度、画素のアドレスの順でキズ補正がされる画素を選択することにより得られる情報を記憶したメモリと、前記メモリの情報に基づいて、固体撮像素子からの信号を補正する信号処理部と、を有することを特徴とする撮像装置を提供する。
【００３２】
【発明の実施の形態】
図１は本発明の実施の形態における撮像装置（ディジタルスチルカメラ）のブロック図である。
【００３３】
基本的には、図３に点キズ補正用データを格納するための不揮発性メモリ７を追加したものである。
【００３４】
図１に於いて、１は撮像素子を示し、ドライバ２によって駆動されて所定の周波数で動作する。また、タイミングジェネレータ３は垂直同期信号ＶＤ及び水平同期信号ＨＤを出力するタイミング発生回路で、同時に各回路ブロックへタイミング信号を供給している。
【００３５】
撮像素子１からの画素信号は、ＣＤＳ／ＡＧＣ回路４へ入力し、ここで既知の相関２重サンプリング等の処理を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する。増幅された画素信号をＡ／Ｄ変換部５でデジタル信号に変換して、デジタル化された画素信号を得る。
【００３６】
デジタル化された画素信号はセレクタ６を介してメモリコントローラ９へ入力し、フレームメモリ１０へ全ての信号出力が転送される。従って、この場合各撮影フレームの画素データを、全てフレームメモリ１０内に一旦記憶する為、連写撮影等の場合は、撮影された画像の画素データを全てフレームメモリ１０へ書き込むことになる。
【００３７】
フレームメモリ１０への書き込み動作終了後は、メモリコントローラ９の制御により、画素データを記憶しているフレームメモリ１０の内容を、セレクタ６を介してカメラデジタル信号処理部（ＤＳＰ）８へ転送する。このカメラＤＳＰ８では、フレームメモリ１０に記憶された各画像の各画素データと不揮発性メモリ７に記憶された点キズ用補正データを基に点キズ補正を行った後，ＲＧＢの各色信号を生成する。
【００３８】
カメラ操作スイッチ１６の操作により、撮影者が撮影（すなわち、画像の記録）を指示した場合には、全体制御ＣＰＵ１７からの制御信号によって、１フレーム分の各画素データをフレームメモリ１０から読み出し、カメラＤＳＰ８で画像処理を行ってから一旦ワークメモリ１２に記憶する。
【００３９】
続いて、ワークメモリ１２のデータを圧縮・伸張部１４で所定の圧縮フォーマットに基いてデータ圧縮し、圧縮したデータを外部不揮発性メモリ１５（通常フラッシュメモリ等の不揮発性メモリを使用）に記憶する。
【００４０】
また、撮影済みの画像データを観察する場合には、上記外部メモリ１５に圧縮記憶されたデータを、圧縮・伸張部１４を通して通常の画素毎のデータに伸張し、伸長した画素毎のデータをビデオメモリ１１へ転送する事で、モニタ表示部１３を通して撮影済み画像を観察する事ができる。
【００４１】
なお、図１の構成では点キズ補正用不揮発性メモリを明記したが、ＤＳＰ８のフラッシュメモリ領域に点キズ補正用データを格納してもよい。
【００４２】
続いて、点キズ用補正データについて説明する。
【００４３】
前述したように、キズの種類、キズの程度を現す情報、アドレス情報の順で全データの優先度を決定する。更に，アドレス情報は読み出しが遅い位置を優先するものである。
【００４４】
本発明に用いた撮像素子では、素子上の位置をｘ、ｙアドレスを用いて現すものとし，ｙアドレスが小さく、更にｘアドレスが小さい位置ほど先に読み出されるものとする。
【００４５】
従って，点キズ補正対象の画素を
▲１▼画素構造欠陥によるリーク
▲２▼暗電流特性不良
に分類し、▲１▼に関しては全数補正データとして記憶する。
【００４６】
また、▲２▼に関しては、キズの程度を現す情報として、
▲３▼暗中での出力レベル
で順位付けを行い，更に位置（アドレス）情報により順位付けを行う。
【００４７】
そして，位置（アドレス）情報により順位付けを
▲４▼ｙアドレス
▲５▼ｘアドレス
の順で順位付けの優先項目として設定する。
【００４８】
図２は上述した暗電流特性不良画素における同一レベルでの位置（アドレス）情報による優先度設定を説明する図である。
【００４９】
同図は撮像素子の有効撮像領域全面を表しており、左端上が（ｘ、ｙ）＝（０，０）、右端下が（ｘ、ｙ）＝（Ｘ−１，Ｙ−１）という有効全画素数が  Ｘ×Ｙ  画素という撮像素子である。
【００５０】
この撮像素子は同図（Ａ）のように左端上から右へ、更に下というように読み出される。一方，優先度設定は同図（Ｂ）のように右端下から左へ，更に上へというように読み出し順とは逆の順に設定されることを示している。
【００５１】
以上説明した本実施の形態によれば、固体撮像素子を用いた撮像装置における撮像素子のキズ補正において、キズ補正に用いる画素情報及び位置情報を記憶する手段での補正対象画素の優先順位判断項目の優先度を，キズの種類、キズの程度を現す情報、アドレス情報の順とし、位置情報での優先度を、画素の読み出しが遅くなる位置ほど優先的とすることで、限られた領域である補正用データ領域を有効に活用することが可能になる。
【００５２】
これにより、システム上決められた領域で補正対象となるデータがすべて記憶できない場合でも，可能な限りの有効性を維持しつつ、合理的にデータ数を丸めることが可能となる。
【００５３】
【発明の効果】
本発明によれば、効率的にメモリを用いることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態のデジタルスチルカメラの構成説明図である。
【図２】本発明の実施の形態での位置情報による優先度設定の説明図である。
【図３】従来のデジタルスチルカメラの構成説明図である。
【図４】キズ補正方法の説明図である。
【符号の説明】
１  撮像素子
２  ドライバ
３  ＴＧ／ＳＳＧ
４  ＣＤＳ／ＡＧＣ回路
５  Ａ／Ｄ変換回路
６  メモリセレクタ
７  キズ補正用不揮発性メモリ
８  カメラＤＳＰ
９  メモリコントローラ
１０  フレームメモリ
１１  ビデオメモリ
１２  ワークメモリ
１３  モニタ表示部
１４  圧縮・伸張部
１５  不揮発性メモリ
１６  カメラ操作スイッチ
１７  全体制御ＣＰＵ
１８  カメラ・レンズマウント
１９  撮影レンズ
【図１】
2004172973.tif 000003
【図２】
2004172973.tif 000004
【図３】
2004172973.tif 000005
【図４】
2004172973.tif 000006