(57)【要約】【課題】  ＣＣＤイメージセンサの一部の垂直シフトレジスタの転送効率の劣化等により生じる立てスジを簡易な画像信号処理で補正する。【解決手段】  注目する画素Ｐ０が左右の画素Ｐ−及びＰ＋に対して画素値が落ち込むか否かを判定する。その落ち込み量が所定の閾値未満である場合、垂直シフトレジスタの転送効率の劣化等による立てスジが発生しているとして、画素Ｐ−及びＰ＋のいずれか小さい方の画素値で画素Ｐ０の画素値を置き換えた画像信号を出力する。【選択図】        図３
2006229350.tif 000002
【特許請求の範囲】
【請求項１】
行列配置された画素からなる画像を処理する画像信号処理装置において、
注目画素の画素値と前記注目画素の行方向に関して両隣の２つの対比画素の画素値との比較に基づく凹部判定条件が成立する場合に、前記注目画素の画素値を前記２つの対比画素の画素値のいずれか小さい値で置き換える凹部補正処理を行う補正回路を有し、
前記凹部判定条件は、前記注目画素が前記２つの対比画素よりも小さい画素値を有し、かつ前記注目画素に対する前記２つの対比画素の画素値の差分値がいずれも所定の閾値未満であること、
を特徴とする画像信号処理装置。
【請求項２】
請求項１に記載の画像信号処理装置において、
前記補正回路は、前記凹部判定条件と同時に、前記注目画素と同じ列に位置する少なくとも１つの参照画素に関する補助判定条件が成立する場合に前記凹部補正処理を行い、
前記補助判定条件は、前記各参照画素について、当該参照画素がその行方向に関して両隣の補助対比画素よりも小さい画素値を有し、かつ当該参照画素に対する前記２つの補助対比画素の画素値の差分値がいずれも前記閾値未満であること、
を特徴とする画像信号処理装置。
【請求項３】
請求項２に記載の画像信号処理装置において、
前記参照画素は、前記注目画素の列方向に関して両隣の２つの画素であること、を特徴とする画像信号処理装置。
【請求項４】
請求項１から請求項３のいずれか１つに記載の画像信号処理装置において、
前記補正回路は、複数種類の画素がそれぞれ行方向及び列方向に周期的に配列された原画像に対し、当該原画像のうちの同一種類の画素で構成される成分画像に基づいて前記凹部補正処理を行うこと、
を特徴とする画像信号処理装置。
【請求項５】
請求項１から請求項４のいずれか１つに記載の画像信号処理装置において、
前記注目画素が欠陥画素であるか否かを判定し、欠陥画素である場合に前記注目画素の補正値を生成する欠陥補正回路を更に有し、
前記注目画素の原画素値、前記補正回路での前記凹部補正処理で生成される画素値、及び前記欠陥補正回路で生成される画素値のいずれかを選択的に出力することを特徴とする画像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子等から得られる画像を信号処理する画像信号処理装置に関し、特に、画像内における微細な画素値のムラの補正に関する。
【背景技術】
【０００２】
固体撮像素子にて生成される画像信号には、素子製造プロセスの不均一性等の要因によって、信号レベルのばらつきが発生し得る。例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサにおいては、列毎に設けられる垂直ＣＣＤシフトレジスタの転送効率のばらつきにより、画像に立てスジが発生し得る。例えば、フレーム転送型ＣＣＤイメージセンサにおいては、蓄積部から水平シフトレジスタへ１行ずつ垂直転送する比較的低速のライン転送では垂直シフトレジスタ間の転送効率の差を良好に抑制し得ても、高速に行われるフレーム転送動作では当該転送効率差が現れやすい。固体撮像素子のチップ内でのプロセスの不均一の発生率を高くする要因として、固体撮像素子のチップ面積増加や加工の微細化が考えられる。いずれにしても固体撮像素子の画素数の増大により、画像内での欠陥や信号ばらつきは発生しやすくなる傾向にあると言える。
【０００３】
立てスジとして現れる画像ムラに対して、従来は、完成した固体撮像素子を用いて均一光学像を撮影し、得られた画像信号を列方向に積分し、列毎に得られる積分値群における偏差が大きい素子を選別除去する検査工程が設けられている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、立てスジは一画素単位の信号レベルのばらつきに比べて人間の視覚上目立ちやすいため、上記検査における積分値の偏差の許容値は比較的小さく、この許容値の低下に応じて、固体撮像素子製造の歩留まりが低下するという問題があった。
【０００５】
これに対して、固体撮像素子を組み込むカメラモジュール等にメモリを搭載し、上記検査で得られる積分値に基づいて、当該メモリに、信号レベルのばらつきが発生している列の位置と、その列の画素に対する補正値とを予め格納する対応策が考えられる。しかし、この方法は、コストが増加するという問題がある。
【０００６】
本発明は上記問題点を解決するためになされたものであり、列単位で発生し立てスジとして観察される信号レベルのばらつきを抑制して画質を向上する画像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像信号処理装置は、注目画素の画素値と前記注目画素の行方向に関して両隣の２つの対比画素の画素値との比較に基づく凹部判定条件が成立する場合に、前記注目画素の画素値を前記２つの対比画素の画素値のいずれか小さい値で置き換える凹部補正処理を行う補正回路を有し、前記凹部判定条件が、前記注目画素が前記２つの対比画素よりも小さい画素値を有し、かつ前記注目画素に対する前記２つの対比画素の画素値の差分値がいずれも所定の閾値未満であるという条件であるものである。
【０００８】
他の本発明に係る画像信号処理装置においては、前記補正回路が、前記凹部判定条件と同時に、前記注目画素と同じ列に位置する少なくとも１つの参照画素に関する補助判定条件が成立する場合に前記凹部補正処理を行い、前記補助判定条件が、前記各参照画素について、当該参照画素がその行方向に関して両隣の補助対比画素よりも小さい画素値を有し、かつ当該参照画素に対する前記２つの補助対比画素の画素値の差分値がいずれも前記閾値未満であるという条件である。
【０００９】
本発明の好適な態様は、前記参照画素が、前記注目画素の列方向に関して両隣の２つの画素である画像信号処理装置である。
【００１０】
本発明の他の好適な態様は、前記補正回路が、複数種類の画素がそれぞれ行方向及び列方向に周期的に配列された原画像に対し、当該原画像のうちの同一種類の画素で構成される成分画像に基づいて前記凹部補正処理を行う画像信号処理装置である。
【００１１】
別の本発明に係る画像信号処理装置は、前記注目画素が欠陥画素であるか否かを判定し、欠陥画素である場合に前記注目画素を補完する値を生成する欠陥補完回路を更に有し、前記注目画素の原画素値、前記補正回路での前記凹部補正処理で生成される画素値、及び前記欠陥補完回路で生成される画素値のいずれかを選択的に出力するものである。
【発明の効果】
【００１２】
本発明によれば、一部の垂直シフトレジスタの転送効率の劣化等により信号レベルが低下して生じ得る立てスジを構成する画素の画素値をその水平方向に隣接する画素の画素値とする補正を行うことにより、立てスジが抑制された画像信号が得られる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００１４】
ここで、ＣＣＤイメージセンサの撮像部に光学的に結像される画像情報は、周波数特性上、低周波領域に大部分の情報を有し、画素ピッチに変調されている情報はノイズとみなし得る。このノイズは例えば、モザイク配列カラーフィルタを搭載したＣＣＤイメージセンサにおいては色ノイズとして現れることもある。また、信号処理上、画像信号の輝度成分からエッジを抜き出して輝度信号に加算しコントラスト比を高める輪郭補正処理が行われるが、この処理におけるエッジ検出は一般に２次微分値などを用いて行われ、画素ピッチでのノイズに敏感に反応してノイズを強調し得る。
【００１５】
本画像信号処理装置は、撮像装置から出力される画像信号を入力され、当該撮像装置の光学系で変調されるよりも高い周波数で変化する画像信号の僅かな歪みをノイズとして検出し、これを補正してノイズの少ない画像を提供しようというものである。具体的には、水平方向（行方向）に関して画素値の並びの中に生じる僅かな凹みを簡易な回路で検出し補正し、立てスジノイズの少ない画像を提供するものである。
【００１６】
図１は、本画像信号処理装置における凹部補正処理の基本的なアルゴリズムを説明する説明図である。図１において、横軸は画素の水平方向（ｘ方向）の位置に対応する。また、縦軸は画素Ｐ０の左右に位置する画素Ｐ−，Ｐ＋の画素値と画素Ｐ０の画素値との差分値Δである。画素Ｐ０に対する画素Ｐ−の画素値の差分値をΔＬ、画素Ｐ０に対する画素Ｐ＋の画素値の差分値をΔＲと表す。図１（ａ）に示すように、ΔＬ＞０かつΔＲ＞０の場合に、画素値がＰ０において凹む。画素Ｐ０とＰ−，Ｐ＋との間隔は、光学系で変調可能な周波数より高い周波数に対応し、この場合に、本凹部補正処理では、Ｐ０の画素値をＰ−の画素値及びＰ＋の画素値のいずれか小さい方で置き換える。この置き換えは、ΔＬ及びΔＲの両方が所定の閾値Δthよりも小さい場合にのみ行うこととし、少なくともいずれか一方がΔth以上である場合には行わない。
【００１７】
図２は本画像信号処理装置の概略のブロック構成図である。本装置は、ＣＣＤイメージセンサから出力された画像信号Ｖoutに対しアナログ信号処理を行うＡＦＰ（Analog Front End Processor）２、ＡＦＰ２の出力信号をデジタル信号に変換するＡ／Ｄ変換回路４、Ａ／Ｄ変換された画像データにデジタルゲインを乗じるＤＧＣ（Digital Gain Control：デジタルゲイン制御）回路６、及び補正回路８を含んで構成される。
【００１８】
補正回路８は欠陥補正部１０、立てスジ補正部１２、切り換えスイッチ１４、及び制御部１６を含んで構成される。
【００１９】
ＤＧＣ回路６の出力は、欠陥補正部１０及び立てスジ補正部１２に入力される他、切り換えスイッチ１４にも入力される。また欠陥補正部１０及び立てスジ補正部１２の出力はそれぞれ切り換えスイッチ１４に入力される。
【００２０】
欠陥補正部１０は、入力された画像データに基づいて画素欠陥を検出する。例えば、画素値が周辺の画素値に比べて所定の値より大きい画素（白飛び）や、周辺の画素値に比べて所定の値より小さい画素（黒潰れ）は欠陥画素であると判断され、その上下左右の画素値を用いた補間値などを当該欠陥画素の画素値とする補正が行われる。
【００２１】
立てスジ補正部１２は、図１を用いて説明した立てスジ抑制のため補正処理を行う。立てスジ補正部１２は、入力された画像データに基づいて、立てスジに属していると判断される画素を検出し、補正した画素値を出力する。
【００２２】
制御部１６は、切り換えスイッチ１４を切り換え、切り換えスイッチ１４に入力される３種類の画像データのいずれを出力するかを制御する。例えば、欠陥補正部１０は欠陥を検出した場合、制御部１６へ通知し、それに応じて制御部１６は切り換えスイッチ１４が欠陥補正部１０からの入力を選択するように切り換えスイッチ１４を制御する。また立てスジ補正部１２は立てスジ補正の対象となる画素を検出した場合、制御部１６へ通知し、それに応じて制御部１６は切り換えスイッチ１４が立てスジ補正部１２からの入力を選択するように切り換えスイッチ１４を制御する。
【００２３】
また、立てスジ補正部１２は後述する２種類の凹部補正処理を行うことができ、制御部１６は、例えばユーザ指示等に基づいて、そのいずれを行うかを制御する。以下、立てスジ補正部１２が実行可能な２種類の凹部補正処理を説明する。
【００２４】
図３は、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）それぞれに対応する各画素が水平、垂直各方向に２画素周期でモザイク配置されたＣＣＤイメージセンサからの画像信号に対する第１の凹部補正処理を説明する画素配列の模式図である。この場合、画素Ｐ０に対する処理には、それぞれＰ０の左及び右の２画素隣に位置するＰ０と同じ色に対応する画素Ｐ−，Ｐ＋が処理に用いられる。すなわち、Ｐ０の座標を（ｘ，ｙ）とすると、Ｐ−，Ｐ＋の座標はそれぞれ（ｘ−２，ｙ）、（ｘ＋２，ｙ）である。なお、ｙは画素の垂直方向の座標である。各画素の画素値をＶで表すと、
ΔＬ＝Ｖ(x-2,y)−Ｖ(x,y)      ・・・（１）
ΔＲ＝Ｖ(x+2,y)−Ｖ(x,y)      ・・・（２）
である。立てスジ補正部１２は、内蔵するレジスタに予め設定された閾値Δthを用いて、次の（３）（４）式で表す条件が両方とも満たされるか否かを判定する。例えば、画素値が８ビットのデジタルデータで表され、０〜２５５の値を取り得る場合、Δthは１〜３１の範囲でユーザが調整可能なように構成される。
ΔＬ＞０かつΔＬ＜Δth      ・・・（３）
ΔＲ＞０かつΔＲ＜Δth      ・・・（４）
【００２５】
これら条件が成立すると判断した場合は、立てスジ補正部１２は、制御部１６に対して通知すると共に、Ｐ０に対する出力画素値Ｖ'(x,y)として次式で表される補正値を求め、これを切り換えスイッチ１４へ出力する。
Ｖ'(x,y)＝Ｖ(x,y)＋ΔＶ    ・・・（５）
ΔＶ≡min(ΔＬ，ΔＲ)      ・・・（６）
【００２６】
一方、（３）（４）式の条件が成立しない場合には、立てスジ補正部１２は、Ｐ０に対する出力画素値Ｖ'(x,y)としてＶ(x,y)をそのまま切り換えスイッチ１４へ出力する。すなわち、この場合、
Ｖ'(x,y)＝Ｖ(x,y)      ・・・（７）
である。
【００２７】
図４は、第２の凹部補正処理を説明する画素配列の模式図である。この場合も、第１の凹部補正処理と同様、ＲＧＢ各画素が水平、垂直方向それぞれに２画素周期でモザイク配置されたＣＣＤイメージセンサからの画像信号に対するものである。この場合、画素Ｐ０に対する処理には、画素Ｐ−，Ｐ＋に加えて、Ｐ'−，Ｐ'，Ｐ'＋，Ｐ"−，Ｐ"，Ｐ"＋が用いられる。Ｐ'−，Ｐ'，Ｐ'＋，Ｐ"−，Ｐ"，Ｐ"＋の座標はそれぞれ（ｘ−２，ｙ−２）、（ｘ，ｙ−２）、（ｘ＋２，ｙ−２）、（ｘ−２，ｙ＋２）、（ｘ，ｙ＋２）、（ｘ＋２，ｙ＋２）であり、いずれもＰ０と同じ色に対応する画素である。Ｐ'，Ｐ"はＰ０と同じ列で、上下それぞれに２画素ずれた位置にある。本凹部補正処理では立てスジの判定に、（３）（４）式の条件に加えて、Ｐ'の左及び右の２画素隣に位置するＰ'−，Ｐ’＋に関する（３）（４）式と同様の条件、及びＰ"の左及び右の２画素隣に位置するＰ"−，Ｐ"＋に関する（３）（４）式と同様の条件が課される。すなわち、立てスジ補正部１２は、次の各式で示す条件が全て満たされるか否かを判定する。
ΔＬ＞０かつΔＬ＜Δth      ・・・（３）
ΔＲ＞０かつΔＲ＜Δth      ・・・（４）
ΔＬ'＞０かつΔＬ'＜Δth      ・・・（８）
ΔＲ'＞０かつΔＲ'＜Δth      ・・・（９）
ΔＬ"＞０かつΔＬ"＜Δth      ・・・（１０）
ΔＲ"＞０かつΔＲ"＜Δth      ・・・（１１）
ここで、
ΔＬ'＝Ｖ(x-2,y-2)−Ｖ(x,y-2)      ・・・（１２）
ΔＲ'＝Ｖ(x+2,y-2)−Ｖ(x,y-2)      ・・・（１３）
ΔＬ"＝Ｖ(x-2,y+2)−Ｖ(x,y+2)      ・・・（１４）
ΔＲ"＝Ｖ(x+2,y+2)−Ｖ(x,y+2)      ・・・（１５）
である。
【００２８】
これら（３）（４）及び（８）〜（１１）式の条件が全て成立すると判断した場合は、立てスジ補正部１２は、制御部１６に対して通知すると共に、Ｐ０に対する出力画素値Ｖ'(x,y)として（５）式で表される補正値を求め、これを切り換えスイッチ１４へ出力する。
【００２９】
一方、（３）（４）及び（８）〜（１１）式の条件が成立しない場合には、立てスジ補正部１２は、Ｐ０に対する出力画素値Ｖ'(x,y)として、（７）式に示すようにＶ(x,y)をそのまま切り換えスイッチ１４へ出力する。
【００３０】
第１の凹部補正処理によれば、垂直シフトレジスタの転送効率の劣化等によって列方向に並ぶ各画素で画素値が低下して生じる立てスジが補正される。また第１の凹部補正処理では、単一の画素での画素値の落ち込みも補正することができる。第１の凹部補正処理では、光学系に変調可能な周波数を超える画素値の変動をノイズとみなして補正を行い、当該ノイズが除去された画像信号を生成することができる。
【００３１】
第２の凹部補正処理では、列方向に並ぶ複数点にて画素値が落ち込むことに基づく判定により、対象画素Ｐ０が立てスジに属するか否かを精度良く検出することができ、立てスジを好適に除去することができる。
【００３２】
なお、第２の凹部補正処理では、列方向に並ぶ３点の画素全てで水平方向に関する画素値の凹みが生じている場合に立てスジ発生と判定したが、３点のうちＰ０を含むいずれか２点、すなわち、Ｐ０とＰ−及びＰ＋のいずれか一方とで凹みが生じている場合にも立てスジが発生していると判定する構成としてもよい。また、Ｐ０の他に同じ列の３点以上の画素全てで凹みが生じていることを立てスジ判定の条件としてもよい。
【図面の簡単な説明】
【００３３】
【図１】実施形態の画像信号処理装置における凹部補正処理の基本的なアルゴリズムを説明する説明図である。
【図２】実施形態の画像信号処理装置の概略のブロック構成図である。
【図３】第１の凹部補正処理を説明する画素配列の模式図である。
【図４】第２の凹部補正処理を説明する画素配列の模式図である。
【符号の説明】
【００３４】
２  ＡＦＰ、４  Ａ／Ｄ変換回路、６  ＤＧＣ回路、８  補正回路、１０  欠陥補正部、１２  立てスジ補正部、１４  切り換えスイッチ、１６  制御部。
【図１】
2006229350.tif 000003
【図２】
2006229350.tif 000004
【図３】
2006229350.tif 000005
【図４】
2006229350.tif 000006