(57)【要約】【課題】  強めの欠陥画素補正を行った際に失われた画像の高域成分を、簡易な制御で効果的に再生する。【解決手段】  欠陥画素補正を行った信号と行わない信号を混合する比率を決定するパラメータを用いて、カメラ信号処理回路を制御する。【選択図】        図１
2006115189.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の欠陥画素を補正した信号と、該欠陥画素を補正しない信号とを混合手段で混合する撮像装置において、
該混合手段を制御する混合手段制御信号で、該混合手段の出力に対してアパーチャ補正処理をするアパーチャ補正手段を制御することを特徴とする欠陥画素の補正を行う撮像装置。
【請求項２】
該混合手段制御信号で、該アパーチャ補正手段におけるアパーチャ利得を制御することを特徴とする請求項１記載の欠陥画素の補正を行う撮像装置。
【請求項３】
該混合手段制御信号で、該アパーチャ補正手段におけるフィルタの周波数特性を切り換えることを特徴とする請求項１記載の欠陥画素の補正を行う撮像装置。
【請求項４】
該混合手段制御信号は該混合手段において、該欠陥画素を補正した信号を優先的に混合させることを特徴とする請求項１記載の欠陥画素の補正を行う撮像装置。
【請求項５】
撮像素子の欠陥画素を補正した信号と、該欠陥画素を補正しない信号のいずれか一方を選択手段で選択する撮像装置において、
該選択手段を制御する選択手段制御信号で、該選択手段の出力に対してアパーチャ補正処理をするアパーチャ補正手段を制御することを特徴とする欠陥画素の補正を行う撮像装置。
【請求項６】
該混合手段制御信号で、該アパーチャ補正手段におけるアパーチャ利得を制御することを特徴とする請求項５記載の欠陥画素の補正を行う撮像装置。
【請求項７】
該混合手段制御信号で、該アパーチャ補正手段におけるフィルタの周波数特性を切り換えることを特徴とする請求項５記載の欠陥画素の補正を行う撮像装置。
【請求項８】
該選択手段制御信号は該選択手段において、該欠陥画素を補正した信号を優先的に選択させることを特徴とする請求項５記載の欠陥画素の補正を行う撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いた撮像装置に係るものであり、特に、固体撮像素子の欠陥画素の補正を行う撮像装置に関するものである。
【背景技術】
【０００２】
ＣＣＤ等の撮像素子においては、二次元に配列された画素の内、その製造過程もしくは製造後において半導体の局部的な感度不良が生ずることが知られている。これらの現象が起きると、入射した光量に応じた電荷出力が得られなくなるため、撮像画像上に被写体とは無関係に白点や黒点が見て取れる、いわゆる欠陥画素となって現れる。
【０００３】
こうした欠陥画素の撮像出力に起因する画質劣化を信号処理によって補正するために、従来では、撮像素子に含まれる欠陥画素についての欠陥データを、それを製造した半導体工場で検出して不揮発性メモリにあらかじめ記憶させるか、あるいは、撮像素子を用いた撮像装置側において、撮像装置のシャッターを遮光状態としたとき、所定の出力レベルを超える画素（白点欠陥画素）、並びに、撮像装置への入射光量を所定のレベルとしたとき、所定の出力レベルに達しない画素（黒点欠陥画素）の位置データを不揮発性メモリに記憶しておく。そして、通常撮像時には、この不揮発性メモリに記憶されている位置データに基づいて欠陥画素を特定し、その欠陥画素の撮像出力に代えて例えば１画素前の撮像出力を用いることにより、欠陥画素補正を行っている。
【０００４】
ところで、近年の撮像素子に求められる画素数が、以前の数十万画素程度から数百万画素に増大したこともあり、撮像素子の製造技術の進歩にも関わらず、撮像素子に現れる欠陥画素の発生確率は増大する傾向にある。特に低コストが求められる民生機器に使用される撮像素子では、その製造歩留まりを上げるためには、欠陥画素数を従来に比して桁違いに多く許容せざるを得なくなってきている。
【０００５】
従って、従来のように、欠陥画素の位置データを高価な不揮発性メモリに記憶することが困難になってきている。
【０００６】
こうした状況に対して、例えば特許文献１では、通常の撮像時において、ある１画素とそれに隣接する同色画素との各画素信号間のレベル差を検出し、所定の閾値判定をすることで欠陥画素補正を行い、欠陥画素の位置情報をあらかじめ記憶しておくための不揮発性メモリを省いている。同様に、例えば特許文献２では、撮像素子の所定領域に含まれる欠陥画素については不揮発性メモリに記憶し、所定領域外に含まれる欠陥画素については、不揮発性メモリに記憶した欠陥画素の補正を行った後に、通常撮像時に欠陥画素の検出と補正を同時に行うことにより、限られた不揮発性メモリであっても、多数の欠陥画素に対応している。
【特許文献１】特開平０６−０３０４２５号公報
【特許文献２】特開２００２−０２７３２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の技術においては、通常撮像時に、ある一画素と隣接する同色画素との各画素信号間のレベル差を検出し、所定の閾値判定をすることで欠陥画素補正を行うため、当然ながら被写体エッジ等の高周波成分をも誤検出して補正してしまう。このことは、正常画素の出力画像の高域成分を除去することを意味し、画質の劣化を招いてしまうことになる。
【０００８】
また、この際に出力画像の画質の劣化を恐れ、欠陥画素の補正を緩めに掛けると、欠陥画素が目視で認知できる程残ってしまうことになる。
【０００９】
本発明は、上述の問題点に着目してなされたものであって、欠陥画素補正を確実に行い、なおかつ、その際に失われた画像の高域成分を、欠陥画素補正に用いたパラメータで制御して容易に再生することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明では、上記従来の問題に鑑み、欠陥画素補正手段の制御に応じて、カメラ信号処理手段を制御することにより、欠陥画素と誤認され鈍ってしまった被写体エッジ等の高周波成分を再生し、画質劣化無しに欠陥画素の補正を効果的に行うものである。
【００１１】
すなわち、撮像素子の欠陥画素を補正した信号と、該欠陥画素を補正しない信号とを混合手段で混合する撮像装置において、該混合手段を制御する混合手段制御信号で、該混合手段の出力に対してアパーチャ補正処理をするアパーチャ補正手段を制御することを特徴とする撮像装置である。
【発明の効果】
【００１２】
本発明は、欠陥画素補正を確実に行い、なおかつ、その際に失われた画像の高域成分を、欠陥画素補正に用いたパラメータで制御して容易に再生することができる。
【発明を実施するための最良の形態】
【００１３】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例１】
【００１４】
本発明の実施例１を適用する撮像装置を図１に示す。この撮像装置では、電荷結合素子（ＣＣＤ）１で光電変換された入力信号は、アナログフロントエンド（ＡＦＥ）回路２でノイズ除去、利得調整、アナログ−ディジタル（ＡＤ）変換等を行う。この後、欠陥画素補正回路３で、ＣＣＤ１に生じた欠陥画素の補正（キズ補正）を行う。ＡＦＥ回路２の出力は、同時化回路４へも送られ、ＣＣＤ１上の隣接する同色成分を同時化する。同時化回路４の出力は減算器５で、隣接する同色成分の差分値ｄを算出する。補正係数生成回路６では、入力ｄに対応する補正係数ｋを、ハードウェア構成もしくはＲＯＭテーブル等の手段で生成する。混合回路７では、ＡＦＥ回路２の出力と欠陥画素補正回路３の出力を補正係数生成回路６の出力値ｋに応じて混合する。混合回路７は乗算器７１，７２、加算器７３、減算器７４を有し、ＡＦＥ回路２の出力をＰ、欠陥画素補正回路３の出力をＱとしたとき、混合回路７の出力Ｒは、
Ｒ＝Ｐ＊（１−ｋ）＋Ｑ＊ｋ      （式１）
のように、ｋの値が大きいほど、欠陥画素補正回路３の出力Ｑを多く混合する。混合回路７の出力は、カメラ信号処理回路８で撮像系の信号処理を行う。
【００１５】
図３にカメラ信号処理回路８の構成を示す。混合回路７の出力は図６（ａ）または（ｂ）に示すようなＣＣＤ１の色フィルタ配列のままになっているので、ＹＣ生成回路８１で輝度信号と色信号を生成する。ＹＣ生成回路８１で生成された色信号は、色信号処理回路８２でガンマ補正、ホワイトバランス等の処理を行い、色差信号Ｒ−Ｙ，Ｂ−Ｙを生成する。
【００１６】
ＹＣ生成回路８１で生成された輝度信号は、第一の輝度信号処理回路８３で折り返し防止のフィルタリング等を行い、アパーチャ補正回路８４で信号の高域成分を強調する。アパーチャ補正回路８４の出力は、第二の輝度信号処理回路８５でガンマ補正等の処理を行い、第二の輝度信号処理回路８５の出力は、ＹＣ多重回路８６で、色信号処理回路８２の出力である色差信号と多重化される。
【００１７】
アパーチャ補正回路８４では、高域通過フィルタ（ＨＰＦ）８４１で、信号の高域を抽出する。ゲイン生成回路８４４では第一図の補正係数生成回路６の出力ｋに基づいて、ハードウェア構成もしくはＲＯＭテーブル等の手段によりアパーチャゲインＡＰＣＧを生成し、乗算器８４２でＨＰＦ８４１の出力とＡＰＣＧを掛け合わせる。加算器８４３で第一の輝度信号処理回路８３の出力と、乗算器８４２の出力を加算することで、アパーチャ補正を施す。
【００１８】
図４に補正係数生成回路６の入出力特性を示す。ｔｈ１，ｔｈ２は直線が移行する境界値、ｔ１，ｔ２はそれぞれ直線の傾きの絶対値を示す。
【００１９】
従来、欠陥画素補正を行った信号と欠陥画素補正を行わない信号を混合する場合には、図４（ｃ）のような特性を有している。減算器５の出力ｄがｔｈ１より小さい場合は、画素欠陥でないと考えるのが妥当なので、ｋ＝０として混合回路７では、ＡＦＥ回路２の出力のみを出力する。ｄがｔｈ１より少し大きい区間では、傾きｔ１でｋを１まで増やし、ＡＦＥ回路２の出力と欠陥画素補正回路３の出力を混合する。ノイズを欠陥画素と誤判定し高域部分を失うリスクを考慮しているため、このように、欠陥画素補正を行った信号と行っていない信号を混合している。ｋ＝１となってから、ｄ＝ｔｈ２となるまでは、欠陥画素補正を行った信号のみを混合回路７の出力とする。ｄ＞ｔｈ２の範囲では傾き−ｔ２でｋを減少させ、最終的にｋ＝０とする。これは、差分値の大きい画素欠陥を持つＣＣＤは生産工程上不良品として選別され市場には出回らないことが多いので、不要な欠陥画素補正を行って高域部分を失うリスクを抑えるためである。
【００２０】
本発明では、入出力特性を図４（ｂ）のようにｔｈ１’＜ｔｈ１、ｔ１’＞ｔ１，ｔｈ２’＞ｔｈ２，ｔ２’＜ｔ２として、ｋ＝１となる入力ｄの範囲を広げている。こうすることで、混合回路７では、欠陥画素補正回路３の出力を従来よりも多く混合し、確実に欠陥画素の補正を行うことができる。
【００２１】
ところが、欠陥画素補正回路３では、欠陥画素部分を他の画素で置き換えることで補正をしている。この置き換えには低域通過回路（ＬＰＦ）を用いるのが一般的あるため、ややもすると、欠陥画素補正回路３の出力は高域部が除去された画像になってしまう。つまり、混合回路７で欠陥画素補正回路３の出力を多く混合するような制御をすると、図４（ｃ）のような制御をする場合と比べて、混合回路７の出力も高域部が除去された画像になってしまう。
【００２２】
そこで、本発明では、ゲイン生成回路８４４の入出力特性を図５（ａ）または（ｂ）のようにする。図５（ｂ）では、ｋの値が大きくなるにつれ、アパーチャゲインＡＰＣを大きくさせる。これにより、混合回路７で欠陥画素補正回路３の出力を多く混合して、画像の高域が落ちたときには、アパーチャ補正を強めに掛けて、欠陥画素補正によって失われた高域成分を再生する。
【００２３】
また、ゲイン生成回路８４４の入出力特性を図５（ａ）のようにして、複数の直線でアパーチャゲインＡＰＣの特性を決めてもよい。
【実施例２】
【００２４】
本発明の実施例２を図２に示す。実施例１が欠陥画素補正回路３で欠陥画素補正を行った信号とそうでない信号を、補正係数ｋで混合するのに対し、この実施例ではｋ＝０またはｋ＝１として、選択回路９で、欠陥画素補正回路３で欠陥画素補正を行った信号とそうでない信号のどちらか一方を選択する点が異なる。
【００２５】
図２の補正係数生成回路６では、図４（ａ）のような入出力特性を有し、減算器５の出力ｄに応じて、ｋ＝０または１を出力する。ゲイン生成回路８４４では、ｋ＝１のときはｋ＝０のときに比べてアパーチャゲインＡＰＣＧを大きい値にして、欠陥画素補正をおこなったときに失われた高域成分を再生する。
【実施例３】
【００２６】
本発明の実施例３で適用されるカメラ信号処理回路８の内部構成を図８に示す。この回路は、図１、図２のいずれにも適用され得る。
【００２７】
ＡＦＥ２の出力で、図１０（ｃ）に白丸で示す欠陥画素（この場合、白キズ）があった場合、欠陥画素補正回路３では、ＬＰＦにより欠陥画素が補正される。このとき、図１０（ｂ）のように欠陥画素が完全に補正しきれず、依然として他の画素より少しレベルが高い場合、アパーチャ補正回路８４では、残った欠陥画素に対して、図１０（ａ）のようにエッジ強調をしてしまう。
【００２８】
従って、アパーチャ補正回路８４を図８のような構成にして、残った欠陥画素のエッジ強調を回避する。つまり、欠陥画素補正を行っていないときと、欠陥画素補正を行ったときで、アパーチャ補正回路８４のフィルタ特性を切り換える。
【００２９】
欠陥画素補正を掛けない、もしくは弱めに掛けた場合、即ち、ｋ＜ａのときは、図７（ｂ）の周波数特性をもつＨＰＦ８４１をセレクタ８４６で選択する。この場合は、図１０（ｂ）のような１画素分に相当する最高域のエッジ成分があっても、それが、欠陥画素である確率が低いので、図１０（ａ）のようなアパーチャ補正を施しても、残留欠陥画素を強調することはない。
【００３０】
欠陥画素補正を強めに掛けた場合、即ち、ｋ≧ａのときは、図７（ａ）の周波数特性をもつＢＰＦ８４５をセレクタ８４６で選択する。この場合は、図１０（ｂ）のような１画素分に相当する最高域のエッジ成分は、欠陥画素である確率が高いので、これらの帯域のエッジ強調を回避するため、最高域成分を通過域としない、従って図７（ａ）の周波数特性を有するＢＰＦ８４５を選択する。
【００３１】
拡張回路８４７では、欠陥画素補正を強めに掛けた場合、即ち、ｋ≧ａの領域を拡張する。これは、ＨＰＦ８４１のタップ数に相当する画素シーケンスの中に欠陥画素補正を強めに掛けた画素が含まれるときに、補正しきれなかったエッジ成分が強調されるのを防ぐために、ＢＰＦ８４５を選択させるためのものである。
【実施例４】
【００３２】
本発明の実施例４で適用されるカメラ信号処理回路８の内部構成を図９に示す。実施例３では、欠陥画素補正の強度に応じてアパーチャ補正回路８４のフィルタの特性を切り換える例として、２つのフィルタとセレクタを用いる例を挙げたが、本実施例では、欠陥画素補正の強度を表すパラメータｋでフィルタ８４８のタップ係数、またはタップ数を切り換える。
【００３３】
その他の動作は実施例３と同様である。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施例１を示す図
【図２】本発明の実施例２を示す図
【図３】カメラ信号処理回路の構成図
【図４】補正係数生成回路の入出力特性図
【図５】ゲイン生成回路の入出力特性図
【図６】ＣＣＤの色フィルタの配列図
【図７】フィルタの周波数特性図
【図８】本発明の実施例３に用いられるカメラ信号処理回路
【図９】本発明の実施例４に用いられるカメラ信号処理回路
【図１０】信号の状態を表す図
【符号の説明】
【００３５】
１  ＣＣＤ
２  ＡＦＥ
３  欠陥画素補正回路
４  同時化回路
５  減算器
６  補正係数生成回路
７  混合回路
８  カメラ信号処理回路
【図４】
2006115189.tif 000003
【図５】
2006115189.tif 000004
【図６】
2006115189.tif 000005
【図７】
2006115189.tif 000006
【図９】
2006115189.tif 000007
【図１】
2006115189.tif 000008
【図２】
2006115189.tif 000009
【図３】
2006115189.tif 000010
【図８】
2006115189.tif 000011
【図１０】
2006115189.tif 000012