(57)【要約】【課題】縦スジおよび横スジを補正することが可能な固体撮像装置を提供する。【解決手段】参照画素選択部２８Ａは、画像に発生するスジとスジ上の欠陥画素との位置関係に基づいて、欠陥画素の補正に用いる参照画素を選択し、置換データ生成部２７Ａは、画像に発生するスジの補正に用いる参照画素に基づいて、スジ上の欠陥画素を置換する置換データ生成する。【選択図】図１
2017038294.tif 000002
【特許請求の範囲】
【請求項１】
画像に発生するスジと前記スジ上の欠陥画素との位置関係に基づいて、前記欠陥画素の補正に用いる参照画素を選択する参照画素選択部と、
前記参照画素に基づいて前記欠陥画素を置換する置換データ生成する置換データ生成部とを備える画像補正回路。
【請求項２】
前記参照画素選択部は、前記欠陥画素の周囲に隣接する８個の同色画素のうち、前記スジ上にない同色画素を前記参照画素として選択する請求項１に記載の画像補正回路。
【請求項３】
前記参照画素選択部は、前記画像を構成する画素ごとに出力される出力信号に同期する同期信号のカウント結果に基づいて、現在の出力信号が前記画像のどの位置の画素に対応するかを判断し、現在の出力信号に対応する画素の位置がスジ座標と比較されることにより、前記画像に発生するスジと前記スジ上の欠陥画素との位置関係を判断する請求項２に記載の画像補正回路。
【請求項４】
前記スジの座標を記憶する記憶部を備える請求項３に記載の画像補正回路。
【請求項５】
光電変換する画素がロウ方向およびカラム方向にマトリックス状に設けられた画素アレイ部と、
前記画素アレイ部に発生するスジと前記スジ上の欠陥画素との位置関係に基づいて、前記欠陥画素の補正に用いる参照画素を選択する参照画素選択部と、
前記参照画素に基づいて前記欠陥画素を置換する置換データ生成する置換データ生成部とを備える固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像補正回路および固体撮像装置に関する。
【背景技術】
【０００２】
固体撮像装置では、カラムＡＤＣ回路の欠陥や垂直信号線の接続不要などにより縦スジが画像に発生することがあった。また、垂直駆動線やＡＳＤ変換時の参照電圧の変動などにより横スジが画像に発生することがあった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１８００９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの実施形態は、縦スジおよび横スジを補正することが可能な画像補正回路および固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一つの実施形態によれば、参照画素選択部と、置換データ生成部とを備える。参照画素選択部は、画像に発生するスジと前記スジ上の欠陥画素との位置関係に基づいて、前記欠陥画素の補正に用いる参照画素を選択する。置換データ生成部は、前記参照画素に基づいて前記欠陥画素を置換する置換データ生成する。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１実施形態に係る固体撮像装置の概略構成を示すブロック図である。
【図２】図２は、図１の撮像部の構成例を示すブロック図である。
【図３】図３は、図２の画素の構成例を示す回路図である。
【図４】図４（ａ）〜図４（ｇ）は、スジ補正時の参照エリアの設定方法を示す図である。
【図５】図５は、スジ補正時の参照エリアの選択方法を示す図である。
【図６】図６は、図１のスジ補正回路およびスジ判定パルス生成回路の構成例を示すブロック図である。
【図７】図７は、図４の参照エリアに対応したパルス信号の設定例を示す図である。
【図８】図８は、図６のスジ判定パルス生成回路の動作を示すタイミングチャートである。
【図９】図９は、第２実施形態に係るデジタルカメラの概略構成を示すブロック図である。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態に係る画像補正回路および固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００８】
（第１実施形態）
図１は、第１実施形態に係る固体撮像装置の概略構成を示すブロック図である。
図１において、固体撮像装置には、撮像部２２および信号処理回路２３が設けられている。撮像部２２は被写体を撮像することができる。信号処理回路２３は、撮像部２２から出力された出力信号Ｓ１の信号処理を行うことができる。撮像部２２の前段には、被写体からの光を撮像部２２上に集光するレンズ２１が設けられている。信号処理回路２３は、インターフェース回路２４を介してホスト２５に接続されている。なお、ホスト２５は、プロセッサであってもよいし、デジタルカメラであってもよいし、スマートフォンなどの携帯機器であってもよい。撮像部２２には、画素アレイ部１、ＡＤ変換部８およびタイミング制御回路７が設けられている。画素アレイ部１は、光電変換した電荷を蓄積する画素がアレイ状に設けられている。ＡＤ変換部８は、画素から読み出された画素信号をＡＤ変換する。タイミング制御回路７は、画素の読み出しや蓄積やＡＤ変換などのタイミングを制御する。信号処理回路２３には、スジ補正回路２７、スジ判定パルス生成回路２８、ローダ２９およびヒューズ３０が設けられている。スジ補正回路２７は、撮像部２２で撮像された画像に発生するスジを補正する。このスジは縦スジと横スジを含むことができる。スジ判定パルス生成回路２８は、画像に発生するスジの補正に用いる参照画素を選択し、そのスジの補正タイミングを決めるパルスを生成する。ローダ２９は、ヒューズ３０に記憶されたスジ座標ＪＸ、ＪＹをスジ判定パルス生成回路２８にロードする。ヒューズ３０はスジ座標ＪＸ、ＪＹを記憶する。なお、ＪＸは縦スジ座標、ＪＹは横スジ座標である。スジ補正回路２７には、置換データ生成部２７Ａが設けられている。置換データ生成部２７Ａは、画像に発生するスジの補正に用いる参照画素に基づいて、スジ上の欠陥画素を置換する置換データ生成する。スジ判定パルス生成回路２８には、参照画素選択部２８Ａが設けられている。参照画素選択部２８Ａは、画像に発生するスジとスジ上の欠陥画素との位置関係に基づいて、欠陥画素の補正に用いる参照画素を選択する。タイミング制御回路７およびスジ判定パルス生成回路２８は、タイミングジェネレータ２６に接続されている。
【０００９】
そして、画素アレイ部１で被写体が撮像されることで画素ごとに画素信号が生成され、ＡＤ変換部８でＡＤ変換された後、出力信号Ｓ１としてスジ補正回路２７に入力される。この時、タイミングジェネレータ２６からタイミング制御回路７に同期信号ＳＤが入力される。そして、出力信号Ｓ１は同期信号ＳＤに同期して画素ごとに出力される。一方、スジ判定パルス生成回路２８では、ヒューズ３０からスジ座標ＪＸ、ＪＹがロードされる。また、タイミングジェネレータ２６からスジ判定パルス生成回路２８に同期信号ＳＤが入力される。そして、スジ判定パルス生成回路２８において、同期信号ＳＤがカウントされることにより、スジ補正回路２７に現在入力された出力信号Ｓ１が画素アレイ部１のどの位置の画素に対応するかが判断される。そして、現在入力された出力信号Ｓ１に対応する画素の位置がスジ座標ＪＸ、ＪＹと比較されることにより、撮像画像に発生するスジとスジ上の欠陥画素との位置関係が判断される。そして、その位置関係に基づいて、スジ上の欠陥画素の補正に用いる参照画素が選択され、その参照画素を用いて欠陥画素を補正する時のタイミングを決めるパルスＰＬがスジ補正回路２７に出力される。この参照画素は、例えば、スジ上の欠陥画素の周囲に隣接する８個の同色画素のうち、スジ上にない同色画素を選択することができる。そして、スジ補正回路２７において、その参照画素の位置に対応する出力信号Ｓ１に基づいて、スジ上の欠陥画素を置換する置換データが生成され、その欠陥画素の画素データの代わりにその置換データが出力される。
これにより、画素アレイ部１で撮像された画像に発生する縦スジおよび横スジを補正することが可能となり、縦スジおよび横スジを目立たなくすることが可能となることから、画質を向上させることができる。
【００１０】
図２は、図１の撮像部の構成例を示すブロック図である。
図２において、撮像部２２には、画素アレイ部１が設けられている。画素アレイ部１には、光電変換した電荷を蓄積する画素ＰＩＸがロウ方向ＲＤおよびカラム方向ＣＤにマトリックス状に配置されている。また、この画素アレイ部１において、ロウ方向ＲＤには画素ＰＩＸの読み出し制御を行う水平制御線Ｈｌｉｎが設けられ、カラム方向ＣＤには画素ＰＩＸから読み出された信号を伝送する垂直信号線Ｖｌｉｎが設けられている。
【００１１】
また、撮像部２２には、読み出し対象となる画素ＰＩＸを垂直方向に走査する垂直走査回路２、画素ＰＩＸとの間でソースフォロア動作を行うことにより、画素ＰＩＸから垂直信号線Ｖｌｉｎにカラムごとに信号を読み出す負荷回路３、各画素ＰＩＸの信号成分をＣＤＳにてカラムごとに検出し、ＡＤ変換して出力するカラムＡＤＣ回路４、読み出し対象となる画素ＰＩＸを水平方向に走査する水平走査回路５、カラムＡＤＣ回路４に基準電圧ＶＲＥＦを出力する基準電圧発生回路６および各画素ＰＩＸの読み出しや蓄積のタイミングを制御するタイミング制御回路７が設けられている。なお、基準電圧ＶＲＥＦはランプ波を用いることができる。水平走査回路５は、カラムＡＤＣ回路４で生成されたＡＤ変換値を水平方向に転送する水平レジスタを用いることができる。
【００１２】
画素アレイ部１では、撮像画像をカラー化するために、４個の画素ＰＩＸを１組としたベイヤ配列ＨＰを用いることができる。このベイヤ配列ＨＰでは、一方の対角方向に２個の緑色画素Ｇｒ、Ｇｂが配置され、他方の対角方向に１個の赤色画素Ｒと１個の青色画素Ｂが配置される。
【００１３】
そして、垂直走査回路２にて画素ＰＩＸが垂直方向に走査されることで、ロウ方向ＲＤに画素ＰＩＸが選択される。そして、負荷回路３において、その画素ＰＩＸとの間でソースフォロア動作が行われることにより、画素ＰＩＸから読み出された信号が垂直信号線Ｖｌｉｎを介して伝送され、カラムＡＤＣ回路４に送られる。また、基準電圧発生回路６において、基準電圧ＶＲＥＦとしてランプ波が設定され、カラムＡＤＣ回路４に送られる。そして、カラムＡＤＣ回路４において、画素ＰＩＸから読み出された信号レベルとリセットレベルがランプ波のレベルに一致するまでクロックのカウント動作が行われ、その時の信号レベルとリセットレベルとの差分がとられることで各画素ＰＩＸの信号成分がＣＤＳにて検出され、出力信号Ｓ１として出力される。この時、カラムＡＤＣ回路４の欠陥や垂直信号線Ｖｌｉｎの接続不良などがあると、撮像画像に縦スジが発生する。水平制御線Ｈｌｉｎの接続不良や基準電圧ＶＲＥＦの変動などがあると、撮像画像に横スジが発生する。
【００１４】
図３は、図２の画素の構成例を示す回路図である。
図３において、画素ＰＩＸには、フォトダイオードＰＤ、行選択トランジスタＴａ、増幅トランジスタＴｂ、リセットトランジスタＴｃおよび読み出しトランジスタＴｄがそれぞれ設けられている。また、増幅トランジスタＴｂとリセットトランジスタＴｃと読み出しトランジスタＴｄとの接続点には検出ノードとしてフローティングディフュージョンＦＤが形成されている。
【００１５】
そして、読み出しトランジスタＴｄのソースは、フォトダイオードＰＤに接続され、読み出しトランジスタＴｄのゲートには、読み出し信号ＲＥＡＤが入力される。また、リセットトランジスタＴｃのソースは、読み出しトランジスタＴｄのドレインに接続され、リセットトランジスタＴｃのゲートには、リセット信号ＲＥＳＥＴが入力され、リセットトランジスタＴｃのドレインは、電源電位ＶＤＤに接続されている。また、行選択トランジスタＴａのゲートには、行選択信号ＡＤＲＥＳが入力され、行選択トランジスタＴａのドレインは、電源電位ＶＤＤに接続されている。また、増幅トランジスタＴｂのソースは、垂直信号線Ｖｌｉｎに接続され、増幅トランジスタＴｂのゲートは、読み出しトランジスタＴｄのドレインに接続され、増幅トランジスタＴｂのドレインは、行選択トランジスタＴａのソースに接続されている。
なお、図２の水平制御線Ｈｌｉｎは、読み出し信号ＲＥＡＤ、リセット信号ＲＥＳＥＴおよび行選択信号ＡＤＲＥＳをロウごとに画素ＰＩＸに伝送することができる。
【００１６】
図４（ａ）〜図４（ｇ）は、スジ補正時の参照エリアの設定方法を示す図である。なお、図４では、画素アレイ部１にベイヤ配列ＨＰが用いられている例を示した。また、図４では、縦スジＪＶまたは横スジＪＨ上の欠陥画素Ｐ５の周囲に隣接する８個の同色画素Ｐ１〜Ｐ４、Ｐ６〜Ｐ９のうち、縦スジＪＶおよび横スジＪＨ上にない同色画素を参照画素として選択する方法を例にとった。また、図４では、欠陥画素Ｐ５および同色画素Ｐ１〜Ｐ４、Ｐ６〜Ｐ９が緑色画素Ｇｒである場合を例にとるが、緑色画素Ｇｂ、赤色画素Ｒおよび青色画素Ｂについても同様である。
図４（ａ）〜図４（ｇ）において、縦スジＪＶまたは横スジＪＨ上には欠陥画素Ｐ５があり、欠陥画素Ｐ５の周囲には、欠陥画素Ｐ５に隣接する８個の同色画素Ｐ１〜Ｐ４、Ｐ６〜Ｐ９がある。この時、欠陥画素Ｐ５および同色画素Ｐ１〜Ｐ４、Ｐ６〜Ｐ９を含む参照エリアＡ１〜Ａ７が設定される。そして、選択される欠陥画素Ｐ５を補正する場合、縦スジＪＶおよび横スジＪＨと欠陥画素Ｐ５との位置関係に応じて、図４（ａ）〜図４（ｇ）のいずれかの参照エリアＡ１〜Ａ７が選択される。
【００１７】
ここで、図４（ａ）に示すように、欠陥画素Ｐ５が縦スジＪＶおよび横スジＪＨ上にある場合、参照エリアＡ１が選択される。この時、欠陥画素Ｐ５に対して斜め方向に隣接する４個の同色画素Ｐ１、Ｐ３、Ｐ７、Ｐ９を用いることで欠陥画素Ｐ５が補正される。
図４（ｂ）に示すように、欠陥画素Ｐ５が縦スジＪＶ上にあり、欠陥画素Ｐ５に隣接する横スジＪＨがない場合、参照エリアＡ２が選択される。この時、欠陥画素Ｐ５に対して横方向に隣接する２個の同色画素Ｐ４、Ｐ６および欠陥画素Ｐ５に対して斜め方向に隣接する４個の同色画素Ｐ１、Ｐ３、Ｐ７、Ｐ９を用いることで欠陥画素Ｐ５が補正される。
図４（ｃ）に示すように、欠陥画素Ｐ５が縦スジＪＶ上にあり、欠陥画素Ｐ５の下方に隣接する横スジＪＨがある場合、参照エリアＡ３が選択される。この時、欠陥画素Ｐ５に対して横方向に隣接する２個の同色画素Ｐ４、Ｐ６および欠陥画素Ｐ５に対して上斜め方向に隣接する２個の同色画素Ｐ１、Ｐ３を用いることで欠陥画素Ｐ５が補正される。
図４（ｄ）に示すように、欠陥画素Ｐ５が縦スジＪＶ上にあり、欠陥画素Ｐ５の上方に隣接する横スジＪＨがある場合、参照エリアＡ４が選択される。この時、欠陥画素Ｐ５に対して横方向に隣接する２個の同色画素Ｐ４、Ｐ６および欠陥画素Ｐ５に対して下斜め方向に隣接する２個の同色画素Ｐ７、Ｐ９を用いることで欠陥画素Ｐ５が補正される。
図４（ｅ）に示すように、欠陥画素Ｐ５が横スジＪＨ上にあり、欠陥画素Ｐ５に隣接する縦スジＪＶがない場合、参照エリアＡ５が選択される。この時、欠陥画素Ｐ５に対して縦方向に隣接する２個の同色画素Ｐ２、Ｐ８および欠陥画素Ｐ５に対して斜め方向に隣接する４個の同色画素Ｐ１、Ｐ３、Ｐ７、Ｐ９を用いることで欠陥画素Ｐ５が補正される。
図４（ｆ）に示すように、欠陥画素Ｐ５が横スジＪＨ上にあり、欠陥画素Ｐ５の右方に隣接する縦スジＪＶがある場合、参照エリアＡ６が選択される。この時、欠陥画素Ｐ５に対して縦方向に隣接する２個の同色画素Ｐ２、Ｐ８および欠陥画素Ｐ５に対して左斜め方向に隣接する２個の同色画素Ｐ１、Ｐ７を用いることで欠陥画素Ｐ５が補正される。
図４（ｇ）に示すように、欠陥画素Ｐ５が横スジＪＨ上にあり、欠陥画素Ｐ５の左方に隣接する縦スジＪＶがある場合、参照エリアＡ７が選択される。この時、欠陥画素Ｐ５に対して縦方向に隣接する２個の同色画素Ｐ２、Ｐ８および欠陥画素Ｐ５に対して右斜め方向に隣接する２個の同色画素Ｐ３、Ｐ９を用いることで欠陥画素Ｐ５が補正される。
これにより、縦スジＪＶおよび横スジＪＨと欠陥画素Ｐ５との位置関係が変化する場合においても、縦スジＪＶまたは横スジＪＨ上にない参照画素を用いることで欠陥画素Ｐ５を補正することができ、欠陥画素Ｐ５の補正精度を向上させることができる。
【００１８】
図５は、スジ補正時の参照エリアの選択方法を示す図である。
図５において、画素アレイ部１の撮像画像に縦スジＪＶおよび横スジＪＨが発生したものとする。この時、欠陥画素ＰＡ〜ＰＣ、ＰＫ〜ＰＭは縦スジＪＶ上にあり、欠陥画素ＰＤ〜ＰＦ、ＰＨ〜ＰＪは横スジＪＨ上にあり、欠陥画素ＰＧは縦スジＪＶおよび横スジＪＨ上にあるものとする。
この時、欠陥画素ＰＧの補正では、図４（ａ）の参照エリアＡ１が選択される。この参照エリアＡ１は、図５に示すように、欠陥画素ＰＧを中心として画素アレイ部１上に設定される。そして、参照エリアＡ１において、欠陥画素ＰＧの周囲にあり、縦スジＪＶ上または横スジＪＨ上にない同色画素を用いることで欠陥画素ＰＧが補正される。縦スジＪＶおよび横スジＪＨの位置は、スジ座標ＪＸ、ＪＹから判断することができる。欠陥画素ＰＡ、ＰＭの補正では、図４（ｂ）の参照エリアＡ２が選択される。欠陥画素ＰＢの補正では、図４（ｃ）の参照エリアＡ３が選択される。欠陥画素ＰＬの補正では、図４（ｄ）の参照エリアＡ３が選択される。なお、欠陥画素ＰＣ、ＰＫの補正では、その同色画素の横スジＪＨは参照エリアＡ２内にないので、参照エリアＡ２が選択される。
欠陥画素ＰＤ、ＰＪの補正では、図４（ｅ）の参照エリアＡ５が選択される。欠陥画素ＰＥの補正では、図４（ｆ）の参照エリアＡ６が選択される。欠陥画素ＰＩの補正では、図４（ｇ）の参照エリアＡ７が選択される。なお、欠陥画素ＰＦ、ＰＨの補正では、その同色画素の縦スジＪＶは参照エリアＡ５内にないので、参照エリアＡ５が選択される。
【００１９】
図６は、図１のスジ補正回路およびスジ判定パルス生成回路の構成例を示すブロック図である。なお、図６の例では、図４（ａ）〜図４（ｇ）の参照エリアＡ１〜Ａ７に基づいて欠陥画素Ｐ５が補正される場合を示した。
図６において、スジ補正回路２７には、フリップフロップＦＡ１〜ＦＡ５、ＦＢ１〜ＦＢ５、ＦＣ１〜ＦＣ５、セレクタ５１、５３〜５５、ソート部５２、切替部５６、５８、スイッチ５７、減算器５９、乗算器６０、加算器６１およびゲイン入力部６２が設けられている。フリップフロップＦＡ１〜ＦＡ５は直列接続されている。そして、フリップフロップＦＡ１の入力と、フリップフロップＦＡ３の入力と、フリップフロップＦＡ５の出力がセレクタ５１に入力されている。フリップフロップＦＢ１〜ＦＢ５は直列接続されている。そして、フリップフロップＦＢ１の入力と、フリップフロップＦＢ３の入力と、フリップフロップＦＢ５の出力がセレクタ５１に入力されている。フリップフロップＦＣ１〜ＦＣ５は直列接続されている。そして、フリップフロップＦＣ１の入力と、フリップフロップＦＣ３の入力と、フリップフロップＦＣ５の出力がセレクタ５１に入力されている。なお、フリップフロップＦＡ５は画素Ｐ１、フリップフロップＦＡ３は画素Ｐ２、フリップフロップＦＡ１は画素Ｐ３、フリップフロップＦＢ５は画素Ｐ４、フリップフロップＦＢ３は画素Ｐ５、フリップフロップＦＢ１は画素Ｐ６、フリップフロップＦＣ５は画素Ｐ７、フリップフロップＦＣ３は画素Ｐ８、フリップフロップＦＣ１は画素Ｐ９にそれぞれ対応させることができる。
【００２０】
セレクタ５１は、９入力６出力を持つことができる。この時、セレクタ５１は、参照エリアＡ１が指定された場合、フリップフロップＦＡ５、ＦＣ５の出力とフリップフロップＦＡ１、ＦＣ１の入力をセレクタ５１の出力として選択することができる。そして、セレクタ５１は、これらの４個の出力に、画素信号の最大値および最小値を加えた合計６個を出力Ｅ１〜Ｅ６とすることができる。
参照エリアＡ２が指定された場合、フリップフロップＦＡ５、ＦＢ５、ＦＣ５の出力とフリップフロップＦＡ１、ＦＢ１、ＦＣ１の入力をセレクタ５１の出力Ｅ１〜Ｅ６として選択することができる。
参照エリアＡ３が指定された場合、フリップフロップＦＡ５、ＦＢ５の出力とフリップフロップＦＡ１、ＦＢ１の入力をセレクタ５１の出力として選択することができる。そして、セレクタ５１は、これらの４個の出力に、画素信号の最大値および最小値を加えた合計６個を出力Ｅ１〜Ｅ６とすることができる。
参照エリアＡ４が指定された場合、フリップフロップＦＢ５、ＦＣ５の出力とフリップフロップＦＢ１、ＦＣ１の入力をセレクタ５１の出力として選択することができる。そして、セレクタ５１は、これらの４個の出力に、画素信号の最大値および最小値を加えた合計６個を出力Ｅ１〜Ｅ６とすることができる。
参照エリアＡ５が指定された場合、フリップフロップＦＡ５、ＦＣ５の出力とフリップフロップＦＡ１、ＦＡ３、ＦＣ１、ＦＣ３の入力をセレクタ５１の出力Ｅ１〜Ｅ６として選択することができる。
参照エリアＡ６が指定された場合、フリップフロップＦＡ１、ＦＡ３、ＦＣ１、ＦＣ３の入力をセレクタ５１の出力として選択することができる。そして、セレクタ５１は、これらの４個の出力に、画素信号の最大値および最小値を加えた合計６個を出力Ｅ１〜Ｅ６とすることができる。
参照エリアＡ７が指定された場合、フリップフロップＦＡ５、ＦＣ５の出力とフリップフロップＦＡ３、ＦＣ３の入力をセレクタ５１の出力として選択することができる。そして、セレクタ５１は、これらの４個の出力に、画素信号の最大値および最小値を加えた合計６個を出力Ｅ１〜Ｅ６とすることができる。
【００２１】
ソート部５２は、セレクタ５１の出力Ｅ１〜Ｅ６をソートとする。そして、Ｄ０＜Ｄ１＜Ｄ２＜Ｄ３＜Ｄ４＜Ｄ５というソート結果が得られたものとすると、その時の中央値（Ｄ２＋Ｄ３）／２と、値Ｄ２、Ｄ３をセレクタ５３、５４に出力することができる。
減算器５９は、フリップフロップＦＢ３の入力から中央値（Ｄ２＋Ｄ３）／２を減算することができる。乗算器６０は、減算器５９の出力にアナログゲインを乗算することができる。アナログゲインは、画素信号の出力レベルの調整に用いることができる。例えば、暗いシーンではアナログゲインを大きくし、明るいシーンではアナログゲインを小さくすることができる。加算器６１は、乗算器６０の出力にフリップフロップＦＢ３の入力を加算し、その加算した値Ｄ６をセレクタ５３、５４に出力することができる。ゲイン入力部６２は、乗算器６０にアナログゲインを入力することができる。なお、減算器５９の出力にアナログゲインを乗算することにより、補正量を大きくすることができる。
【００２２】
各セレクタ５３、５４は、４入力１出力を持つことができる。セレクタ５３、５４は、中央値（Ｄ２＋Ｄ３）／２と、値Ｄ２、Ｄ３、Ｄ６から１つを選択することができる。この時、セレクタ５３は縦スジ補正に用いることができる。セレクタ５４は横スジ補正に用いることができる。なお、値Ｄ３〜Ｄ５に白キズがあり、値Ｄ３が使えない場合、中央値（Ｄ２＋Ｄ３）／２の代わりに値Ｄ２を選択することができる。値Ｄ０〜Ｄ２に黒キズがあり、値Ｄ２を使えない場合、中央値（Ｄ２＋Ｄ３）／２の代わりに値Ｄ３を選択することができる。また、アナログゲインが高い場合、縦スジＪＶおよび横スジＪＨが目立ちやすくなる。この時、値Ｄ６を選択することにより、縦スジＪＶおよび横スジＪＨを目立ちにくくすることができる。
切替部５６は、セレクタ５３の４入力のうちどれを出力するかを切り替える。切替部５８は、セレクタ５４の４入力のうちどれを出力するかを切り替える。セレクタ５５は、３入力１出力を持つことができる。セレクタ５５は、各セレクタ５３、５４の出力と、フリップフロップＦＢ３の入力から１つを選択することができる。スイッチ５７は、スジ補正の有無を切り替えることができる。
【００２３】
スジ判定パルス生成回路２８は、参照画素指示部６３およびスイッチ６４、６５が設けられている。参照画素指示部６３は、フリップフロップＦＢ３の入力が縦スジＪＶまたは横スジＪＨ上の欠陥画素に対応する場合、参照エリアＡ１〜Ａ７にそれぞれ指定するパルスＰＬを生成し、セレクタ５１に出力することができる。この時、セレクタ５５の出力としてセレクタ５３、５４から入力が選択されるようにセレクタ５５を切り替えることができる。一方、参照画素指示部６３は、フリップフロップＦＢ３の入力が縦スジＪＶまたは横スジＪＨ上にない画素に対応する場合、パルスＰＬをセレクタ５１に出力しないようにすることができる。この時、セレクタ５５の出力としてフリップフロップＦＢ３の入力が選択されるようにセレクタ５５を切り替えることができる。参照画素指示部６３には、ラインカウンタＨＴおよび画素カウンタＰＴが設けられている。ラインカウンタＨＴは、同期信号ＳＤに基づいてフリップフロップＦＢ３の入力が何ライン目かをカウントする。画素カウンタＰＴは、同期信号ＳＤに基づいてフリップフロップＦＢ３の入力が何画素目かをカウントする。スイッチ６４は、縦スジ補正の有無を切り替えることができる。スイッチ６５は、横スジ補正の有無を切り替えることができる。
【００２４】
そして、出力信号Ｓ１がスジ補正回路２７に入力されると、同色画素Ｐ１のデータがフリップフロップＦＡ５に保持され、同色画素Ｐ２のデータがフリップフロップＦＡ３に保持され、同色画素Ｐ３のデータがフリップフロップＦＡ１に保持され、同色画素Ｐ４のデータがフリップフロップＦＢ５に保持され、欠陥画素Ｐ５のデータがフリップフロップＦＢ３に保持され、同色画素Ｐ６のデータがフリップフロップＦＢ１に保持され、同色画素Ｐ７のデータがフリップフロップＦＣ５に保持され、同色画素Ｐ８のデータがフリップフロップＦＣ３に保持され、同色画素Ｐ９のデータがフリップフロップＦＣ１に保持される。
【００２５】
一方、同期信号ＳＤがスジ判定パルス生成回路２８に入力されると、ラインカウンタＨＴにおいてフリップフロップＦＢ３の入力が何ライン目かがカウントされるとともに、画素カウンタＰＴにおいてフリップフロップＦＢ３の現在の入力が何画素目かがカウントされる。そして、ラインカウンタＨＴの値がスジ座標ＪＹと比較されるとともに、画素カウンタＰＴの値がスジ座標ＪＸと比較されることで、縦スジＪＶおよび横スジＪＨと現在の欠陥画素Ｐ５との位置関係が判断される。そして、その位置関係に応じて現在の欠陥画素Ｐ５に対する参照エリアＡ１〜Ａ７が選択され、その参照エリアＡ１〜Ａ７に対応したパルスＰＬがセレクタ５１に出力される。そして、パルスＰＬに応じてセレクタ５１が切り替えられることで、現在の欠陥画素Ｐ５に対する同色画素Ｐ１〜Ｐ４、Ｐ６〜Ｐ９が選択され、その選択結果が反映された出力Ｅ１〜Ｅ６がソート部５２に送られる。そして、ソート部５２において、セレクタ５１の出力Ｅ１〜Ｅ６がソートされ、中央値（Ｄ２＋Ｄ３）／２と値Ｄ１、Ｄ４とがセレクタ５３、５４に出力される。
この中央値（Ｄ２＋Ｄ３）／２は減算器５９にも送られる。減算器５９において、この中央値（Ｄ２＋Ｄ３）／２はフリップフロップＦＢ３の現在の入力から減算され、乗算器６０でアナログゲインが乗算される。そして、この乗算で得られた値にフリップフロップＦＢ３の現在の入力が加算されることで値Ｄ６が生成され、セレクタ５３、５４に出力される。そして、スイッチ５７、６４、６５および切替部５６、５８の指定に従って、スジ補正の有無、縦スジ補正の有無、横スジ補正の有無および補正値が切り替えられ、その切替に従った値がセレクタ５３〜５５を介して出力される。
【００２６】
一方、ラインカウンタＨＴの値がスジ座標ＪＹと一致せず、画素カウンタＰＴの値がスジ座標ＪＸと一致しない場合、フリップフロップＦＢ３の入力が縦スジＪＶまたは横スジＪＨ上にない画素に対応すると判断される。この時、パルスＰＬがセレクタ５１に出力されず、セレクタ５１、５３、５４およびソート部５２の動作が停止される。また、セレクタ５５の出力としてフリップフロップＦＢ３の入力が選択されるようにセレクタ５５が切り替えられる。この時、フリップフロップＦＢ３の入力がセレクタ５５を介してそのまま出力される。
【００２７】
図７は、図４の参照エリアに対応したパルス信号の設定例を示す図である。
図７において、フリップフロップＦＢ３の入力が縦スジＪＶまたは横スジＪＨ上の欠陥画素に対応する場合、６個のパルスＶＬ_ｐｕｌｓｅ、ＶＬ_ｐｕｌｓｅ_ｐｒｅ、ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ、ＨＬ_ｐｕｌｓｅ、ＨＬ_ｐｕｌｓｅ_ｐｒｅ、ＨＬ_ｐｕｌｓｅ_ｐｏｓｔをパルスＰＬとして用いることができる。この時、参照エリアＡ１〜Ａ７に応じてパルスＶＬ_ｐｕｌｓｅ、ＶＬ_ｐｕｌｓｅ_ｐｒｅ、ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ、ＨＬ_ｐｕｌｓｅ、ＨＬ_ｐｕｌｓｅ_ｐｒｅ、ＨＬ_ｐｕｌｓｅ_ｐｏｓｔのレベルをＨまたはＬに設定することができる。
一方、フリップフロップＦＢ３の入力が縦スジＪＶまたは横スジＪＨ上にない画素に対応する場合、パルスＶＬ_ｐｕｌｓｅ、ＶＬ_ｐｕｌｓｅ_ｐｒｅ、ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ、ＨＬ_ｐｕｌｓｅ、ＨＬ_ｐｕｌｓｅ_ｐｒｅ、ＨＬ_ｐｕｌｓｅ_ｐｏｓｔのレベルを全てＬに設定することができる。この時、セレクタ５１の出力Ｅ１〜Ｅ６が停止され、セレクタ５１、５３、５４およびソート部５２の動作を停止させることが可能となることから、消費電力を低減することが可能となる。
なお、上述した実施形態では、縦スジＪＶが１本、横スジＪＨが１本だけある場合について、参照エリアＡ１〜Ａ７の設定方法について説明したが、縦スジＪＶが隣接して２本ある場合、縦スジＪＶが１カラムだけ離れて２本ある場合、横スジＪＨが隣接して２本ある場合、横スジＪＨが１ラインだけ離れて２本ある場合など、他の想定される様々の組み合わせについて、参照エリアを設定するようにしてもよい。
【００２８】
図８は、図６のスジ判定パルス生成回路の動作を示すタイミングチャートである。なお、図８では、４１画素目に縦スジＪＶがあり、９ライン目に横スジＪＨがある場合を例にとった。この時、画素カウンタＰＴの値は１画素目が０であるので、４１画素目は４０となる。ラインカウンタＨＴの値は１ライン目が０であるので、９ライン目は８となる。
図８において、同期信号ＳＤとして、垂直同期信号Ｖ_ｖａｌｉｄ、水平同期信号Ｈ_ｖａｌｉｄおよびクロックｃｋを用いることができる。この時、垂直同期信号Ｖ_ｖａｌｉｄの立ち上がりでラインカウンタＨＴをリセットし、水平同期信号Ｈ_ｖａｌｉｄの立ち上がりでラインカウンタＨＴをカウントアップすることができる。また、水平同期信号Ｈ_ｖａｌｉｄの立ち上がりで画素カウンタＰＴをリセットし、クロックｃｋの立ち上がりで画素カウンタＰＴをカウントアップすることができる。
【００２９】
そして、ラインカウンタＨＴの値が６、画素カウンタＰＴの値が４０の場合、ＶＬ_ｐｕｌｓｅ＝ＨＬ_ｐｕｌｓｅ_ｐｒｅ＝Ｈ、ＶＬ_ｐｕｌｓｅ_ｐｒｅ＝ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ＝ＨＬ_ｐｕｌｓｅ＝ＨＬ_ｐｕｌｓｅ_ｐｏｓｔ＝Ｌに設定することができる。この時、フリップフロップＦＢ３の入力は、図５の欠陥画素ＰＢに対応し、欠陥画素ＰＢを補正するために、図７に示すように、参照エリアＡ３が選択される。
ラインカウンタＨＴの値が７、画素カウンタＰＴの値が４０の場合、ＶＬ_ｐｕｌｓｅ＝Ｈ、ＶＬ_ｐｕｌｓｅ_ｐｒｅ＝ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ＝ＨＬ_ｐｕｌｓｅ＝ＨＬ_ｐｕｌｓｅ_ｐｒｅ＝ＨＬ_ｐｕｌｓｅ_ｐｏｓｔ＝Ｌに設定することができる。この時、フリップフロップＦＢ３の入力は、図５の欠陥画素ＰＣに対応し、欠陥画素ＰＣを補正するために、図７に示すように、参照エリアＡ２が選択される。
ラインカウンタＨＴの値が８、画素カウンタＰＴの値が３７の場合、ＨＬ_ｐｕｌｓｅ＝Ｈ、ＶＬ_ｐｕｌｓｅ＝ＶＬ_ｐｕｌｓｅ_ｐｒｅ＝ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ＝ＨＬ_ｐｕｌｓｅ_ｐｒｅ＝ＨＬ_ｐｕｌｓｅ_ｐｏｓｔ＝Ｌに設定することができる。この時、フリップフロップＦＢ３の入力は、図５の欠陥画素ＰＤに対応し、欠陥画素ＰＤを補正するために、図７に示すように、参照エリアＡ５が選択される。
ラインカウンタＨＴの値が８、画素カウンタＰＴの値が３８の場合、ＶＬ_ｐｕｌｓｅ_ｐｒｅ＝ＨＬ_ｐｕｌｓｅ＝Ｈ、ＶＬ_ｐｕｌｓｅ＝ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ＝ＨＬ_ｐｕｌｓｅ_ｐｒｅ＝ＨＬ_ｐｕｌｓｅ_ｐｏｓｔ＝Ｌに設定することができる。この時、フリップフロップＦＢ３の入力は、図５の欠陥画素ＰＥに対応し、欠陥画素ＰＥを補正するために、図７に示すように、参照エリアＡ６が選択される。
ラインカウンタＨＴの値が８、画素カウンタＰＴの値が３９の場合、ＨＬ_ｐｕｌｓｅ＝Ｈ、ＶＬ_ｐｕｌｓｅ＝ＶＬ_ｐｕｌｓｅ_ｐｒｅ＝ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ＝ＨＬ_ｐｕｌｓｅ_ｐｒｅ＝ＨＬ_ｐｕｌｓｅ_ｐｏｓｔ＝Ｌに設定することができる。この時、フリップフロップＦＢ３の入力は、図５の欠陥画素ＰＦに対応し、欠陥画素ＰＦを補正するために、図７に示すように、参照エリアＡ５が選択される。
ラインカウンタＨＴの値が８、画素カウンタＰＴの値が４０の場合、ＶＬ_ｐｕｌｓｅ＝ＨＬ_ｐｕｌｓｅ＝Ｈ、ＶＬ_ｐｕｌｓｅ_ｐｒｅ＝ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ＝ＨＬ_ｐｕｌｓｅ_ｐｒｅ＝ＨＬ_ｐｕｌｓｅ_ｐｏｓｔ＝Ｌに設定することができる。この時、フリップフロップＦＢ３の入力は、図５の欠陥画素ＰＧに対応し、欠陥画素ＰＧを補正するために、図７に示すように、参照エリアＡ１が選択される。
ラインカウンタＨＴの値が８、画素カウンタＰＴの値が４１の場合、ＨＬ_ｐｕｌｓｅ＝Ｈ、ＶＬ_ｐｕｌｓｅ＝ＶＬ_ｐｕｌｓｅ_ｐｒｅ＝ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ＝ＨＬ_ｐｕｌｓｅ_ｐｒｅ＝ＨＬ_ｐｕｌｓｅ_ｐｏｓｔ＝Ｌに設定することができる。この時、フリップフロップＦＢ３の入力は、図５の欠陥画素ＰＨに対応し、欠陥画素ＰＨを補正するために、図７に示すように、参照エリアＡ５が選択される。
ラインカウンタＨＴの値が８、画素カウンタＰＴの値が４２の場合、ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ＝ＨＬ_ｐｕｌｓｅ＝Ｈ、ＶＬ_ｐｕｌｓｅ＝ＶＬ_ｐｕｌｓｅ_ｐｒｅ＝ＨＬ_ｐｕｌｓｅ_ｐｒｅ＝ＨＬ_ｐｕｌｓｅ_ｐｏｓｔ＝Ｌに設定することができる。この時、フリップフロップＦＢ３の入力は、図５の欠陥画素ＰＩに対応し、欠陥画素ＰＩを補正するために、図７に示すように、参照エリアＡ７が選択される。
ラインカウンタＨＴの値が８、画素カウンタＰＴの値が４３の場合、ＨＬ_ｐｕｌｓｅ＝Ｈ、ＶＬ_ｐｕｌｓｅ＝ＶＬ_ｐｕｌｓｅ_ｐｒｅ＝ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ＝ＨＬ_ｐｕｌｓｅ_ｐｒｅ＝ＨＬ_ｐｕｌｓｅ_ｐｏｓｔ＝Ｌに設定することができる。この時、フリップフロップＦＢ３の入力は、図５の欠陥画素ＰＪに対応し、欠陥画素ＰＪを補正するために、図７に示すように、参照エリアＡ５が選択される。
ラインカウンタＨＴの値が９、画素カウンタＰＴの値が４０の場合、ＶＬ_ｐｕｌｓｅ＝Ｈ、ＶＬ_ｐｕｌｓｅ_ｐｒｅ＝ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ＝ＨＬ_ｐｕｌｓｅ＝ＨＬ_ｐｕｌｓｅ_ｐｒｅ＝ＨＬ_ｐｕｌｓｅ_ｐｏｓｔ＝Ｌに設定することができる。この時、フリップフロップＦＢ３の入力は、図５の欠陥画素ＰＫに対応し、欠陥画素ＰＫを補正するために、図７に示すように、参照エリアＡ２が選択される。
ラインカウンタＨＴの値が１０、画素カウンタＰＴの値が４０の場合、ＶＬ_ｐｕｌｓｅ＝ＨＬ_ｐｕｌｓｅ_ｐｏｓｔ＝Ｈ、ＶＬ_ｐｕｌｓｅ_ｐｒｅ＝ＶＬ_ｐｕｌｓｅ_ｐｏｓｔ＝ＨＬ_ｐｕｌｓｅ＝ＨＬ_ｐｕｌｓｅ_ｐｒｅ＝Ｌに設定することができる。この時、フリップフロップＦＢ３の入力は、図５の欠陥画素ＰＬに対応し、欠陥画素ＰＬを補正するために、図７に示すように、参照エリアＡ４が選択される。
【００３０】
（第２実施形態）
図９は、第２実施形態に係るデジタルカメラの概略構成を示すブロック図である。
図９において、デジタルカメラ１１は、カメラモジュール１２および後段処理部１３を有する。カメラモジュール１２は、撮像光学系１４および固体撮像装置１５を有する。後段処理部１３は、イメージシグナルプロセッサ（ＩＳＰ）１６、記憶部１７及び表示部１８を有する。なお、固体撮像装置１５は、図１の撮像部２２の構成を用いることができる。撮像光学系１４には、図１のレンズ２１を設けることができる。図１の信号処理回路１３は、ＩＳＰ１６に設けることができる。また、ＩＳＰ１６の少なくとも一部の構成は固体撮像装置１５とともに１チップ化するようにしてもよい。
【００３１】
撮像光学系１４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置１５は、被写体像を撮像する。ＩＳＰ１６は、固体撮像装置１５での撮像により得られた画像信号を信号処理する。記憶部１７は、ＩＳＰ１６での信号処理を経た画像を格納する。記憶部１７は、ユーザの操作等に応じて、表示部１８へ画像信号を出力する。表示部１８は、ＩＳＰ１６あるいは記憶部１７から入力される画像信号に応じて、画像を表示する。表示部１８は、例えば、液晶ディスプレイである。なお、カメラモジュール１２は、デジタルカメラ１１以外にも、例えばカメラ付き携帯端末等の電子機器に適用するようにしてもよい。
【００３２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００３３】
２１  レンズ、２２  撮像部、２３  信号処理回路、２４  インターフェース回路、２５  ホスト、２６  タイミングジェネレータ、  ２７  スジ補正回路、２７Ａ  置換データ生成部、２８  スジ判定パルス生成回路、２８Ａ  参照画素選択部、２９  ローダ、３０  ヒューズ
【図１】
2017038294.tif 000003
【図２】
2017038294.tif 000004
【図３】
2017038294.tif 000005
【図４】
2017038294.tif 000006
【図５】
2017038294.tif 000007
【図６】
2017038294.tif 000008
【図７】
2017038294.tif 000009
【図８】
2017038294.tif 000010
【図９】
2017038294.tif 000011