(57)【要約】【課題】周囲の隣接する８画素中に欠陥画素がある場合でも、正確にリアルタイムに、若しくは、少ない処理回数で補正が可能な画素欠陥補正装置を提供する。【解決手段】固体撮像素子からの出力信号をデジタル信号に変換した所定の画素の映像データが有効画素であるか欠陥画素であるか判定する中央画素欠陥判定手段と、欠陥画素と判定された場合には、前記欠陥画素と判定された画素の上下左右斜め方向に隣接する８個の画素にが有効画素であるか欠陥画素かを判定する隣接画素欠陥判定手段と、前記隣接する８個の画素から、有効画素の映像データの平均値、中央値、若しくは最頻値のいずれか１つの値を補間値として算出する補間値算出手段と、算出された前記補間値によって前記欠陥画素を補正する。【選択図】図４
2011114473.tif 000002
【特許請求の範囲】
【請求項１】
画素がマトリクス状に配列された固体撮像素子からの映像信号を入力され、各画素が有効画素であるか欠陥画素であるか判定する画素欠陥判定手段と、欠陥画素と判定された画素に対して、該欠陥画素と判定された画素の上下左右斜め方向に隣接する８個の画素のうちの有効画素のみの平均値を補間値として算出する補間値算出手段と、算出された前記補間値によって前記欠陥画素を補正する補正手段とを備え、前記画素欠陥判定手段は、固定パターンノイズ補正のために算出された、フレーム間の画素平均値を所定の閾値と比較することで前記判定を行い、前記補正手段による補正は、前記映像信号の入力から略２Ｈ（Ｈは１水平ライン時間）以下の遅延で行われることを特徴とする画素欠陥補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子の画素欠陥に関わり、特に、ビデオカメラまたはテレビジョンカメラに使用する固体撮像素子の画素欠陥に関する。
【背景技術】
【０００２】
従来のビデオカメラまたはテレビジョンカメラに使用する固体撮像素子の画素欠陥補正を、図１によって説明する。図１は、従来の固体撮像素子における画素欠陥補正装置の一例の構成を示すブロック図である（特許文献３参照。）。１０１は入力端子、１０２と１０３は１ライン遅延素子、１０４は現ライン信号、１０５は１ライン遅延信号、１０６は２ライン遅延信号、１０７〜１１２は１画素遅延素子、１１３は画素欠陥検出部、１１４はプリアンプ増幅率信号、１１５はＣＰＵ（ Central Processing Unit ）、１１６は検出閾値信号、１１７は検出信号、１１８と１１９は他の色の検出信号、１２５は検出結果処理部、１２０は検出信号、１２１は補間信号レべル、１２２は遅延素子、１２３はセレクタ、１２４は出力信号である。
なお、画素欠陥補正回路はＲ（赤色）、Ｇ（緑色）、Ｂ（青色）それぞれの色の撮像光を撮像するＣＣＤ等の固体撮像素子毎に必要となるが、それらの各色毎の回路構成は皆同じであるので、ここでは、Ｒ（赤色）の場合についてのみ説明する。
また、以降では、ビデオカメラまたはテレビジョンカメラを総称して、カメラと記述する。
【０００３】
図１において、図示しないＲのＣＣＤ等の固体撮像素子から得られた映像信号は、図示しない相関二重サンプリング回路やプリアンプ回路等を経て、図示しないＡ／Ｄ（ Analog to Digital ）変換器によりデジタル映像信号とされ、入力端子１０１へ入力される。
入力端子１０１へ入力されたデジタル映像信号は、１ライン遅延素子１０２及び１０３によってそれぞれ１水平走査期間分遅延されることで、現ライン信号１０４、現ライン信号１０４よりも１水平走査期間分遅延した１ライン遅延信号１０５、及び、１ライン遅延信号１０５よりもさらに１水平走査期間分遅延した２ライン遅延信号１０６の３ライン分の映像信号が、１画素遅延素子１０７〜１１１、及び画素欠陥検出部１１３に出力される。また同時に、１ライン遅延信号１０５は、遅延素子１２２に出力される。遅延素子１２２は、後述するセレクタ１２３の一方の入力端に入力される補間信号レペル１２１と同期するように入力された信号を遅延して、セレクタ１２３の他方の入力端に出力する。
さらに、１画素遅延素子１０７〜１１２は、上述の３ライン分の映像信号それぞれについて、画素遅延なしの映像信号、画素遅延なしの映像信号よりも１画素データ信号期間分遅延した１画素遅延信号、及び、１画素遅延信号よりもさらに１画素データ信号期間分遅延した２画素遅延信号の３画素分の映像信号を、画素欠陥検出部１１３に出力する。
【０００４】
以下、上述の映像信号を用いて欠陥画素を検出し、その欠陥画素からの信号を補正するための画素欠陥検出部１１３の動作について説明する。ここで、検出及び補正の対象となる欠陥画素からの映像信号を、垂直方向に１ライン遅延後さらに水平方向に１画素遅延させた信号をもって「中央」と記述し、同様に、現ラインの無遅延信号を「左上」、現ラインの１画素遅延信号を「上」、現ラインの２画素遅延信号を「右上」、１ライン遅延後の無遅延信号を「左」、１ライン遅延後の２画素遅延信号を「右」、２ライン遅延後の無遅延信号を「左下」、２ライン遅延後の１画素遅延信号を「下」、２ライン遅延後の２画素遅延信号を「右下」と記述する。
【０００５】
上述の中央の画素とその周囲の隣接８画素の計９ケ所の画素データ信号は、画素欠陥検出部１１３に入力する。画素欠陥検出部１１３は、入力された９ケ所の画素データ信号について、まず第１の判定条件として、「中央」の画素データ信号レべルと「上」と「下」を平均化した画素データ信号レべルとの差の絶対値と、「中央」の画素データ信号レべルと「右」と「左」を平均化した画素データ信号レべルとの差の絶対値をそれぞれ計算し、検出対象となる画素データ信号レべルが上下方向と左右方向のどちらの相関が高いかを調べる。
カメラで被写体を撮影したような場合、どんなに微小な点光源のような対象物でも、その固体撮像素子の出力は、上下左右均等に広がりをもった、すなわち、上下左右に画素データ信号レべルの相関がある映像信号となる。それに対し、白傷欠陥の映像信号の場合は、Ａ／Ｄ変換前のローパスフィルタ処理のために同ーライン上、すなわち左右方向にのみ広がりをもつため、上下方向には相関がない。したがって、左右方向よりも上下方向のほうが相関が強い場合は、当該画素データ信号レべルは傷欠陥ではないと判定できる。
【０００６】
さらに、第２の判定条件では、「中央」の画素データ信号レべルから「上」「下」の画素データ信号レべルをそれぞれ引いて得た差、及び「中央」の画素データ信号レべルと「右」「左」の画素データ信号レべルの差の絶対値をそれぞれ計算する。
そして、実験的に得られた白傷欠陥画素とその上下左右の隣接画素のレべルとの差を予め設定レべルとしておき、少なくとも１つの差の値が設定レべル以下である場合は、通常のノイズの範囲内として、画素欠陥ではないと判定する。
【０００７】
さらに、第３の判定条件では、「中央」の画素データ信号レべルと「左上」「右上」「左下」「右下」の４つの画素データ信号レべルを平均処理して得た画素データ信号レペルとの差を計算する。検出閾値信号１６は、Ａ／Ｄ変換前のプリアンプの信号増幅率を表すプリアンプ増幅率信号１１４に基づきＣＰＵ１１５から設定される。
その信号増幅率が大きいときは検出閾値が高くなるようにし、それにより、ノイズによる画素欠陥の誤検出を防ぐことができるようにする。また、斜め方向の画素データ信号レべルを使用することでは、信号増幅率が大きい場合に、特に顕著な左右方向への画素欠陥の相関の広がりを無視できるようにする。
【０００８】
以上の３つの判定条件を式で表すと次のようになる。
第１の判定条件
（ＰＣ−（ＰＴ＋ＰＢ）／２）の絶対値＞（ＰＣ−（ＰＬ＋ＰＲ）／２）の絶対値・・・式（１）
第２の判定条件
（ＰC−ＰＬ）の絶対値＞ＴＣ・・・式（２）
（ＰC−ＰＲ）の絶対値＞ＴＣ・・・式（３）
（ＰC−ＰＴ）＞ＴＣ・・・式（４）
（ＰC−ＰＢ）＞ＴＣ・・・式（５）
第３の判定条件
（ＰＣ−（ＰＴＬ＋ＰＴＲ＋ＰＢＬ＋ＰＢＲ）／４＞ＴＶ・・・式（６）
ここで、ＰＣ、ＰＴ、ＰＢ、ＰＬ、ＰＲ、ＰＴＬ、ＰＴＲ、ＰＢＬ、ＰＢＲは、それぞれ、「中央」、「上」、「下」、「左」、「右」、「左上」、「右上」、「左下」、「右下」の画素データ信号レベルを表し、ＴＣは固定の検出閾値、ＴＶはプリアンプの信号増幅率に応じて可変する検出閾値を表す。Ｐｃが式（１）〜（６）を全て満たした時、画素欠陥検出部１１３は、入力された映像信号の中心の画素が欠陥画素からの映像信号であると判定して、検出信号１１７を出力する。即ち、画素欠陥検出部１１３は、検出信号１１７として、中央の画素が有効画素か否（欠陥画素）かの情報を出力する。
また、画素欠陥検出部１１３は、上述の画素欠陥検出の第３の判定条件で求めた「左上」、「右上」、「左下」、及び「右下」の画素データ信号レベルの平均値を補間信号レベル１２１としてセレクタ１２３の一方の入力端に出力する。
【０００９】
さらに、画素欠陥の誤検出をより少なくするために、第４の判定条件を導入する。これは、Ｒ、Ｇ、Ｂ各色の固体撮像素子の検出結果を相互利用するものである。これは、Ｒ、Ｇ、Ｂ各色固体撮像素子の同一箇所に欠陥画素が発生する確率は小さいという前提に基づくものである。即ち、画素欠陥検出部１１３は、ある色の固体撮像素子からの映像信号について行った上述の３つの判定結果（検出信号１１７）を、他の色の固体撮像素子の画素欠陥検出部に出力する。例えば、図１において、検出結果処理部１２５には、自色の画素欠陥検出部１１３から出力された検出信号１１７と、他の色の画素欠陥検出部から出力された検出信号１１８及び１１９が入力される。即ち、各色の検出結果処理部１２５は、他の色の検出信号１１８及び１１９と、自らの色の検出信号１１７とに基づいて、画素欠陥を検出する。
即ち、検出結果処理部１２５は、自らの色の検出信号１１７が画素欠陥であることを示す場合には、他の２つの色の検出信号１１８、及び１１９の少なくともいずれか１つが画素欠陥であることを示すか否かを判定し、否（他の色の固体撮像素子の検出信号１１８及び１１９が、両者とも画素欠陥ではないと示している）場合のみ、画素欠陥であると判定する。
なお、検出結果処理部１２５は、画素欠陥であるか否かの情報を、検出信号１２０として、セレクタ１２３の制御端子に出力する。
【００１０】
以上のようにして欠陥画素を検出した後に、その検出結果に基いて画素欠陥補正を行う補正処理について説明する。ここで、画素欠陥のある画素を周辺の画素データ信号レべルで補間することで、画面表示における表示誤りを目立たなくする。
そのため、補間信号レべルには前述の画素欠陥検出方式の第３の判定条件で求めた「左上」、「右上」、「左下」、「右下」の画素データ信号レべルの平均値を使用する。上下左右の画素データ信号レべルで補間した場合に比べ、相関度は若干弱いが、ローパスフイルタによる画素欠陥信号の広がりの影響を受けないため、画素欠陥信号成分を小さくすることができる。
即ち、セレクタ１２３は、その制御端子に入力された、３色の検出結果に基づいて判定した最終的な検出信号１２０により制御され、「中央」の画素データ信号レべルに対応する補間信号レべル１２１と、検出に要した時間分だけ遅らせた遅延素子１２２から１ライン遅延信号とを切替えて、出力信号１２４として出力する。セレクタ１２３からの出力信号１２４は、図示しない後段の各種デジタルプロセス回路を経て、エンコーダからテレビジョンカメラの外部へ出力される。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００６−３１２９６号公報
【特許文献２】特開２００７−１４３１３１号公報
【特許文献３】特開２００２−２７１８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述したように、従来の欠陥画素の補正（画素欠陥補正）は、あらかじめ決められた周囲の画素（縦、横、斜め等）から補間し補正していた。この結果、欠陥画素の検出とその欠陥画素からの映像信号の補正とを撮像時と同時に、かつ、リアルタイムで行なうことができるため、特別な設定作業を必要としない。このことから、カメラの運用中の突発的な傷欠陥の発生にも対応できる。また、全てデジタル処理で行うことができ、デジタルＬＳＩ内に組み込まれたデジタル処理回路でもって実現することができるため、回路規模をより小規模にすることができる。
しかし、このような補正では、補正し続けた場合には、周囲の画素が経年変化により欠陥画素となっても、その画素も補間値として使用してしまい、結果として正確な補正ができない問題があった。この問題を図２と図３によって説明する。図２と図３は、従来の画素欠陥補正の一例を簡単に説明するための図である。図２は、欠陥画素の周囲８画素に欠陥がない場合、図３は、欠陥画素の周囲８画素（隣接８画素）に欠陥がある場合の一例である。
【００１３】
図２（ａ）は、中央画素（ＶＦＦ２２）に欠陥（画素値の複数フレーム平均等の判定値がスレッショルド値以上）があり、周囲８画素である左上（ＶＦＦ１１）、上（ＶＦＦ１２）、右上（ＶＦＦ１３）、左（ＶＦＦ２１）、右（ＶＦＦ２３）、左下（ＶＦＦ３１）、下（ＶＦＦ３２）、右下（ＶＦＦ３３）の画素はすべて正常（有効）である。図２（ｂ）は、図２（ａ）について、周囲８画素の映像信号レべルの平均値を中央画素（ＶＦＦ２２）の映像信号レべル値としたものである。
図２のように、周囲の隣接８画素に欠陥画素がない場合には、欠陥画素である中央画素を、補間によって補正しても問題がない。
【００１４】
図３（ａ）は、中央画素（ＶＦＦ２２）と共に周囲８画素中にもに欠陥がある場合である。図３では、左上（ＶＦＦ１１）、上（ＶＦＦ１２）、左（ＶＦＦ２１）、右（ＶＦＦ２３）、下（ＶＦＦ３２）、右下（ＶＦＦ３３）は正常画素であり、右上（ＶＦＦ１３）と左下（ＶＦＦ３１）は欠陥画素である。
図３（ｂ）は、図３（ａ）について、周囲８画素の映像信号レべルの平均値を中央画素（ＶＦＦ２２）の映像信号レべル値としたものである。
図３のような補正では、欠陥画素の位置や補正パターン（周囲のどの画素から補間するか）を予め正確にテーブル化したとしても、周囲の画素が経年変化等によって欠陥画素となっても、その画素も補間値として使用してしまい、正確な補正ができなくなる。
【００１５】
特許文献１には、正常画素のみの平均値で欠陥画素値を置換する技術が開示されている。しかし、白とび画素とその他（普通）の画素間の偽色発生部の画素の色補正であり、本願と補正の目的が異なる。また、補正処理を複数回（例えば、５回）行なわなければならない。さらに、画素毎に補正に関する付随情報が必要で、メモリ使用量及び処理回数が多く、時間がかかる。
特許文献２には、補正対象画素の周辺画素平均との偏差から欠陥画素をリアルタイムで検出する技術が開示されている。そして、さらに補正対象画素がエッジ画像領域であるかフラット画像領域にあるかを検出し、エッジ画像領域である場合とフラット画像領域にある場合とで補正の方法を変えている。従って、処理回数が多い。
【００１６】
本発明の目的は、周囲の隣接８画素の中に欠陥画素がある場合でも、正確にリアルタイムに、若しくは、少ない処理回数で補正が可能な画素欠陥補正装置を提供することにある。
【課題を解決するための手段】
【００１７】
上記の課題を解決するため、本発明の画素欠陥補正装置は、補間データとして使用する画素が、欠陥画素か有効画素かをリアルタイムで判断し、欠陥画素を除いた有効画素に基づいて、中央の欠陥画素を補間して補正するものである。
即ち、本発明の画素欠陥補正装置は、画素がマトリクス状に配列された固体撮像素子からの映像信号を入力され、各画素が有効画素であるか欠陥画素であるか判定する画素欠陥判定手段と、欠陥画素と判定された画素に対して、該欠陥画素と判定された画素の上下左右斜め方向に隣接する８個の画素のうちの有効画素のみの平均値を補間値として算出する補間値算出手段と、算出された前記補間値によって前記欠陥画素を補正する補正手段とを備え、前記画素欠陥判定手段は、固定パターンノイズ補正のために算出された、フレーム間の画素平均値を所定の閾値と比較することで前記判定を行い、前記補正手段による補正は、前記映像信号の入力から略２Ｈ（Ｈは１水平ライン時間）以下の遅延で行われるものである。
【発明の効果】
【００１８】
本発明によれば、リアルタイム動作によって、カメラのＣＣＤ、ＣＭＯＳセンサ等の固体撮像素子における、カラム不良等の固体撮像素子の画素欠陥の補正不良を除去した映像が得られる。
【図面の簡単な説明】
【００１９】
【図１】従来の画素欠陥補正装置の一例の構成を示すブロック図。
【図２】従来の画素欠陥補正の一例を簡単に説明するための図。
【図３】従来の画素欠陥補正の一例を簡単に説明するための図。
【図４】本発明の画素欠陥補正装置による補正の一実施例を説明するための図。
【図５】本発明の画素欠陥補正装置による補正の一実施例を説明するための図。
【図６】本発明の画素欠陥補正装置による補正の一実施例を説明するための図。
【図７】本発明の一実施例に関わるカメラの構成を示すブロック図。
【図８】ＦＰＮ補正回路１５及び白傷補正回路１６の内部構成を示すブロック図。
【図９】選択平均回路８７７におけるＯＵＴ＿Ｖ算出式を示す図。
【発明を実施するための形態】
【００２０】
固体撮像素子を用いて映像を生成するカメラにおいて、アイリスクローズ（黒映像）時に有る程度以上のレべルを出力する画素がある。これは画素欠陥が原因である。本発明はこのような欠陥画素を補正する。即ち、本発明は、フレームメモリ等を用いて、隣接画素に連なる欠陥が有っても正常値だけを用いリアルタイムで補正するものである。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、既に説明した図面も含め、各図の説明において共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避ける。
【００２１】
図７は、本発明の一実施例に関わるカメラの構成を示すブロック図である。１は被写体から入射された撮像光を集光するレンズ、２はレンズ１を通った撮像光を複数の分光光、例えば、赤、緑、青（以後それぞれＲ、Ｇ、Ｂと記載）の各波長の光に分光するプリズム、３、４、及び５はプリズム２からの分光光をそれぞれ受光し、画素毎に受光した分光光の光量に応じて光電変換し該変換により得られた電荷をそれぞれ蓄積する受光素子を複数備えた固体撮像素子である。６、７、及び８は、撮像素子３〜５でそれぞれ蓄積された電荷が順次受光素子から読み出されることで生成された映像信号を入力し、その入力された映像信号に存する雑音成分を除去して、信号成分だけをサンプルホールドすることで、雑音成分が除去された映像信号を出力する相関二重サンプリング（ＣＤＳ：Correlated Double Sampling ）回路である。９、１０、及び１１は、ＣＤＳ回路６〜８からそれぞれ出力される映像信号に対し利得補正、さらにはダイナミックレンジ圧縮等の映像信号処理を行なうプリアンプ回路、１２、１３、及び１４はプリアンプ回路９〜１１からそれぞれ出力される映像信号処理された映像信号をデジタル信号に変換するＡ／Ｄ変換器である。１５は長時間フレーム平均した画素値等を減算することで、画素毎にＦＰＮ（固定パターンノイズ）補正するＦＰＮ補正回路、１６はＦＰＮ補正回路１５からそれぞれ出力される各色のデジタル映像信号を基に、画素欠陥を画素毎に検出し、検出された欠陥画素の周辺の正常画素画素値平均で、その欠陥画素を置き換えて出力する白傷補正回路である。さらに映像信号処理回路１７では、色収差補正、色調整、映像信号フオーマット変換処理等を適宜行い、それら処理された映像信号を後段（図示せず）へ出力する。１８は、撮像素子３〜５及び上述した各回路が所定のタイミングで動作するようにするための、また、この撮像装置と外部機器（図示せず）との外部制御を確立するためのＣＰＵである。なお、固体撮像素子は、例えば、ＣＣＤである。また、カメラは、例えば、ＨＤ（ High Definition ）テレビジョンカメラである。
【００２２】
図７において、カメラのレンズ１を通った撮像光が、プリズム２で分光され、Ｒ，Ｇ，Ｂの各色の分光光が得られる。それら分光光は、各色毎に固体撮像素子３、４、５で受光される。各固体撮像素子では、画素毎に受光した分光光の光量に応じて光電変換されることで電荷が得られ、その電荷は蓄積され、さらに、映像信号として順次出力されることで各色毎の映像信号が生成される。これら映像信号は、ＣＤＳ回路６、７、８、プリアンプ回路９、１０、１１、Ａ／Ｄ変換器１２、１３、１４を経てＦＰＮ補正回路１５、及び白傷補正回路１６へ入力される。
【００２３】
図８は、本発明のＦＰＮ補正回路１５及び白傷補正回路１６の内部構成を示すブロック図である。図８では１色分の構成のみ示してある。ＦＰＮ補正回路１５には、Ａ／Ｄ変換器１２からの映像信号（１２ビット）が入力される。ＦＰＮ補正回路１５において、各構成要素を接続する実線と斜めに交叉する短い線は、データバスであることを示し、その近くに記載された数字は、そのデータバスのビット数を示す。
なお、図８において、画素格納メモリ８５４〜８６２、及び比較結果格納メモリ８６７〜８７５、それぞれから、選択平均回路８７７に接続する経路が存在するが、繁雑になるので、接続する経路を示す線は、図示していない。
【００２４】
ＦＰＮ補正回路１５において、映像信号は、減算部８０９と２５６減算回路８０１に入力される。
２５６減算回路８０１は、黒レベルに相当する値である２５６を減算し、画素の蓄積電荷（暗電流を含む）に比例した値つまり真の画素値にして出力する。一般にカメラの内部では、黒レベルを後段でも調整できるよう、映像信号の黒レベルを最小値（０）とせず、下駄を履かせている。６４回加算器８０２は、２５６減算回路８０１から入力された画素値と、フレームメモリ８０４（後述）から入力される対応する画素位置の累積中画素値（１６ビット）とを加算し、クリップ回路８０３に出力する。
クリップ回路８０３は、入力された加算値（１７ビット）が、１６ビットで扱える最大値を超えていた場合に該最大値に置き換えるクリップ処理をして、フレームメモリ８０４に出力する。
フレームメモリ８０４は、少なくとも２フレーム分の容量を有し、ＦＰＮ補正回路１５に入力され映像信号に同期してアドレス制御により、現在の処理画素に対応する累積中画素値を読み出し、６４回加算器８０２で加算されて戻ってきた画素値で上書きすることで、６４回加算した映像データ得て、これを丸め処理回路８０５に出力する。一例として、メモリ領域を、６４回加算した映像データを保持する１フレームと、累積中画素値を保持する１フレームとの２面構成としてこれらを交互に切り替える。
丸め処理回路８０５は、入力されたデータの所定の桁において四捨五入等の丸めを行い、１/６４回路８０６に出力する。
１/６４回路８０６は、入力された映像データを６４で除算し（６ビット右シフト）、その商の映像データ（フレーム間平均画素値）を温度補正係数乗算器８０７と白傷補正回路１７に出力する。
【００２５】
２５６減算回路８０１から１／６４回路８０６までの回路は、所定の複数フレーム分の平均画素値を得るための構成であり、同様に機能する他の構成でもよい。望ましくは直近の６４フレーム分以上の移動平均を常時更新するものであるが、平均するフレームは間隔を開けてもよく、平均値も上述のように複数フレーム（例えば、６４フレーム）間隔で更新してもよい。
【００２６】
温度補正係数乗算器８０７は、入力された映像データに、温度補正係数を乗算し、オンオフ切替器８０８に出力する。温度補正係数は０〜１（或いは１前後）の値であり、大きいほどＦＰＮ補正が強くなる。暗い電流は温度が高いほど大きくなるが、ＦＰＮが視覚上目立たなくなるように温度補正係数が選ばれる。なお図示していないが、カメラの固体撮像素子の近傍には、温度センサが取り付けられており、該温度センサが検出した温度データが、所定の周期でＣＰＵ１８に入力される。ＣＰＵ１８から、入力された温度データをもとに、予め定められた温度補正係数を温度補正係数乗算器８０７に入力する。
オンオフ切替器８０８は、入力されるオンオフ信号に応じて、減算回路８０９に温度補正係数乗算器８０７から入力される映像データを出力する。即ち、オンオフ切替器８０８は、オン信号が入力された場合には、温度補正係数乗算器８０７から入力される映像データを、オフ信号が入力された場合には、０を、減算回路８０９に出力する。オンオフ信号はマニュアル設定により与えられる。１／６４回路８０６から出力されるフレーム間平均画素値が後続の白傷補正回路１６で必要となるため、オンオフ信号がオフを示していても、２５６減算回路８０１〜１／６４回路８０６は動作し続ける。
【００２７】
減算回路８０９は、ＦＰＮ補正回路１５に入力された映像信号（データＡ）から、オンオフ切替器８０８から入力された映像データ（データＢ）、を減算した映像データを、白傷補正回路８５０に出力する。本例のＦＰＮ補正回路１５による画素毎の処理は、ＦＰＮの低減だけでなく、網膜に似た順応性のダイナミックレンジ圧縮としても機能し得る。
【００２８】
次に白傷補正回路１６を説明する。白傷補正回路１６には、ＦＰＮ補正回路１５から補正された映像データとフレーム間平均画素値が入力される。この２つの信号は同期している（つまり常に同一画素を示すよう遅延が調整されている）ものとする。
ラインメモリ（ Line MEM ）８５１は、ＦＰＮ補正回路１５から入力された映像データを１ライン分保持して、ＶＦＦ１１画素格納メモリ８５４とラインメモリ８５２に１画素ずつ順次出力する。ラインメモリ８５２は、１ライン分の映像データを、１画素ずつ、ＶＦＦ２１画素格納メモリ８５５とラインメモリ８５３に出力する。ラインメモリ８５３は、１ライン分の映像データを、１画素ずつ、ＶＦＦ３１画素格納メモリ８５６に出力する。なお、ラインメモリ８５１、８５２、８５３はＦＩＦＯ（ First−In−First−Out ）メモリである。ラインメモリ８５１は、１ライン周期で動作するスタック（ＬＩＦＯ：Last−In−First−Out ）メモリで構成したり、或いは不要な場合もある。また、画素格納メモリ８５４〜８６２は、１２ビット幅のフリップフロップ（レジスタ）である。さらに、比較結果格納メモリ８６７〜８７５は、１ビットのフリップフロップである。
【００２９】
ＶＦＦ１１画素格納メモリ８５４は、ラインメモリ８５１から入力される１画素分のデータを保持し、次のクロック（ピクセルクロック）でＶＦＦ１２画素格納メモリ８５７と選択平均回路８７７に出力する。ＶＦＦ１２画素格納メモリ８５７は、ＶＦＦ１１画素格納メモリ８５１から入力される１画素分のデータを保持し、次のクロックでＶＦＦ１３画素格納メモリ８６０と選択平均回路８７７に出力する。ＶＦＦ１３画素格納メモリ８６０は、ＶＦＦ１２画素格納メモリ８５７から入力される１画素分のデータを保持し、次のクロックで選択平均回路８７７に出力する。
ＶＦＦ２１画素格納メモリ８５５は、ラインメモリ８５２から入力される１画素分のデータを保持し、次のクロックでＶＦＦ２２画素格納メモリ８５８と選択平均回路８７７に出力する。ＶＦＦ２２画素格納メモリ８５８は、入力された１画像分のデータをＶＦＦ２３画素格納メモリ８６１に出力すると共に、ＶＦＦ２１画素格納メモリ８５５から入力される１画像分のデータを保持し、次のクロックでＶＦＦ２３画素格納メモリ８６１とセレクタ８７６に出力する。ＶＦＦ２３画素格納メモリ８６１は、ＶＦＦ２２画素格納メモリ８５８から入力される１画素分のデータを保持し、次のクロックで選択平均回路８７７に出力する。
ＶＦＦ３１画素格納メモリ８５６は、ラインメモリ８５３から入力される１画素分のデータを保持し、次のクロックでＶＦＦ３２画素格納メモリ８５９と選択平均回路８７７に出力する。ＶＦＦ３２画素格納メモリ８５９は、入力された１画像分のデータをＶＦＦ３３画素格納メモリ８６２に出力すると共に、ＶＦＦ３１画素格納メモリ８５６から入力される１画像分のデータを保持し、次のクロックでＶＦＦ３３画素格納メモリ８６２とセレクタ８７６に出力する。ＶＦＦ３３画素格納メモリ８６２は、ＶＦＦ３２画素格納メモリ８５９から入力される１画素分のデータを保持し、次のクロックで選択平均回路８７７に出力する。
ＶＦＦ２２画素格納メモリ８５８に保持される画素が補正対象となる中央画素であり、これら画素格納メモリ８５４〜８６２により、中央画素および周辺画素の値を揃って利用可能になる。
【００３０】
白傷補正回路１６若しくは白傷補正回路８５０は、以上のようにして画素格納メモリ８５４〜８６２に格納された画像データから、図３の実施例によって、中央の画素が欠陥画像であった場合に、周囲の有効画素の画像データによって補間を行うことによって、中央の画素欠陥を補正する。
【００３１】
次に、比較器８６３は、１／６４回路８０６から入力されるフレーム間平均画素値とスレッショルド値（閾値）とを比較し、フレーム間平均画素値の方が小さい場合に真（１）を、大きい場合に偽（０）を、ラインメモリ（ Line MEM ）８６４に出力する。静止撮影をしている場合を除き、フレーム間平均画素値が高い画素は、常時輝度が高い白傷である可能性が高い。そのような画素を欠陥画素とみなし、それ以外画素を正常画素（有効画素と呼ぶ）とする。
ラインメモリ８６４は、比較器８６３から入力される論理値（有効画素か欠陥画素かを示す）を１ライン分保持して、ＣＦＦ１１比較結果格納メモリ８６７とラインメモリ８６５に順次出力する。ラインメモリ８６５は、１ライン分の論理値を、順次、ＣＦＦ２１比較結果格納メモリ８６８とラインメモリ８６６に出力する。ラインメモリ８６６は、１ライン分の論理値を順次、ＣＦＦ３１比較結果格納メモリ８６９に出力する。
【００３２】
ＣＦＦ１１比較結果格納メモリ８６７は、ラインメモリ８６４から入力される１画素分の論理値を保持し、次のクロック（ピクセルクロック）でＣＦＦ１２比較結果格納メモリ８７０と選択平均回路８７７に出力する。ＣＦＦ１２比較結果格納メモリ８７０は、ＣＦＦ１１比較結果格納メモリ８６７から入力される１画素分の論理値を保持し、次のクロック（ピクセルクロック）でＣＦＦ１３比較結果格納メモリ８７３と選択平均回路８７７に出力する。ＣＦＦ１３比較結果格納メモリ８７３は、ＣＦＦ１２比較結果格納メモリ８７０から入力される１画素分の論理値を保持し、次のクロック（ピクセルクロック）で選択平均回路８７７に出力する。
ＣＦＦ２１比較結果格納メモリ８６８は、ラインメモリ８６５から入力される１画素分の論理値を保持し、次のクロック（ピクセルクロック）でＣＦＦ２２比較結果格納メモリ８７１と選択平均回路８７７に出力する。ＣＦＦ２２比較結果格納メモリ８７１は、ＣＦＦ２１比較結果格納メモリ８６８から入力される１画素分の論理値を保持し、次のクロック（ピクセルクロック）でＣＦＦ２３比較結果格納メモリ８７４と選択平均回路８７７に出力する。ＣＦＦ２３比較結果格納メモリ８７４は、ＣＦＦ２２比較結果格納メモリ８７１から入力される１画素分の論理値を保持し、次のクロック（ピクセルクロック）で選択平均回路８７７に出力する。
ＣＦＦ３１比較結果格納メモリ８６９は、ラインメモリ８６６から入力される１画素分の論理値を保持し、次のクロック（ピクセルクロック）でＣＦＦ３２比較結果格納メモリ８７２と選択平均回路８７７に出力する。ＣＦＦ３２比較結果格納メモリ８７２は、ＣＦＦ３１比較結果格納メモリ８６９から入力される１画素分の論理値を保持し、次のクロック（ピクセルクロック）でＣＦＦ３３比較結果格納メモリ８７５と選択平均回路８７７に出力する。ＣＦＦ３３比較結果格納メモリ８７５は、ＣＦＦ３２比較結果格納メモリ８７２から入力される１画素分の論理値を保持し、次のクロック（ピクセルクロック）で選択平均回路８７７に出力する。
これら比較結果格納メモリ８６７〜８７５により、中央画素および周辺画素に対応する論理値が揃って利用可能になる。
【００３３】
選択平均回路８７７は、ＶＦＦ１１画素格納メモリ８５４〜ＶＦＦ３３画素格納メモリ８６２それぞれからの９個の映像データ（画素値）と、ＣＦＦ２２比較結果格納メモリ８７１を除くＣＦＦ１１比較結果格納メモリ８６７〜ＣＦＦ３３比較結果格納メモリ８７５それぞれからの８個の論理値とを入力され（図８では配線を図示せず）、有効画素のみを用いた算術平均値（ＯＵＴ＿Ｖ）を出力する。
図９は、選択平均回路８７７における算術平均値（ＯＵＴ＿Ｖ）を算出するための算出式（式（７））を示す図である。図中の「ＶＦＦ１１」は、ＶＦＦ１１画素格納メモリ８５４の出力値を示し、補正対象画素の左上の画素の画素値である。「ＶＦＦ１１〔１１．．０〕・」は、ＶＦＦ１１の１１番目から０番目までの各ビットが、後続の論理値とそれぞれ論理積演算されることを示している。論理値の上のアッパースコアは、否定を示す。
ＣＦＦ１１〜ＣＦＦ３３が全て偽であると分母が０になってしまうので、その場合（或いは分母が所定値以下の場合）は図９の算出式を用いず、ＶＦＦ２２比較結果メモリ８５８の出力（ＶＦＦ２２）をそのまま出力する。
【００３４】
再び図８に戻り、補正出力処理回路８７６は、入力Ａ、Ｂ、Ｍを有する選択回路（２×１マルチプレクサ）であり、入力ＡにはＶＦＦ２２比較結果メモリ８５８の出力（ＶＦＦ２２）が、入力Ｂには選択平均回路８７７の出力（ＯＵＴ＿Ｖ）が、入力ＭにはＣＦＦ２２比較結果メモリ８７１の出力（ＣＦＦ２２）が、それぞれ入力される。
そして、入力端ＡにはＶＦＦ２２画素格納メモリ８５８の出力（ＶＦＦ２２）が、入力端Ｂには選択平均回路８７７の出力（ＯＵＴ＿Ｖ）が、入力端ＭにはＣＦＦ２２比較結果メモリ８７１の出力（ＣＦ２２）が、それぞれ入力される。そして、入力ＭのＣＦＦ２２が偽であれば入力Ａを選択し、真であれば入力Ｂを選択して出力する。
上記の構成では、ＦＰＮ補正回路１５と白傷補正回路１６とによるリアルタイム処理の遅延は、高々２Ｈ（Ｈは１水平ラインの時間）程度である。
【００３５】
図４は、本例における画素欠陥補正の様子を説明する図である。図４（ａ）は、図３（ａ）と同様に、中央画素（ＶＦＦ２２）と共に周囲８画素中にもに欠陥（映像信号レべルがスレッショルド値以上）がある場合である。図４（ａ）では、左上（ＶＦＦ１１）、上（ＶＦＦ１２）、左（ＶＦＦ２１）、右（ＶＦＦ２３）、下（ＶＦＦ３２）、右下（ＶＦＦ３３）の画素値が比較器８６３におけるスレッショルド値未満であり、右上（ＶＦＦ１３）と左下（ＶＦＦ３１）の画素値がスレッショルド値以上である。
図４（ｂ）は、図４（ａ）について、周囲の隣接８画素について、画素値が所定の値（スレッショルド値）以上か否（未満）かを検出し、所定の値以上の画素を除いた画素の平均値を欠陥画像である中央画像（ＶＦＦ２２）の画素値とすることを示しており、所定の値以上の画素値が検出された、右上（ＶＦＦ１３）と左下（ＶＦＦ３１）の画素は、図示しておらず、これらの画素が平均化の対象から除かれることを表している。なお、平均化は、通常は算術平均であるが、幾何平均、平均ノルム（自乗平均を含む、任意次元での平均ノルム）を用いても良い。
【００３６】
図４の実施例によれば、比較的小規模の回路（メモリ、乗除算器）により、カメラのＣＣＤ、ＣＭＯＳセンサ等の固体撮像素子における画素欠陥をリアルタイムに補正できる。特に、カラム不良等の連続して現れる画素欠陥があっても、その画素を補間値として使用しないので、正確な補正ができる。また、中央画素及び周辺の８画素全て（あるいは大半）が欠陥とみなされるような場合、画素値がそのまま用いられるので、例えば所定の大きさで（つまり点ではない）ほとんど動かない高輝度被写体などに対して不要な補正処理を防ぐことができる。
【００３７】
図５は本発明の画素欠陥補正装置による補正の他の一実施例を説明する図である。図５（ａ）では、図３（ａ）と同様に、中央画素（ＶＦＦ２２）と共に周囲の隣接８画素中にもに欠陥（右上（ＶＦＦ１３）と左下（ＶＦＦ３１））がある場合である。
図５（ｂ）は、図５（ａ）について、周囲の隣接８画素について、画素値が所定の値（スレッショルド値）以上か否かをそれぞれ検出し、所定の値以上の画素を除いた画素の中央値でもって、欠陥画素である中央画素（ＶＦＦ２２）の画素値を置き換えるものである。
【００３８】
図６は本発明の画素欠陥補正装置による補正の他の一実施例を説明するための図である。図６（ａ）では、図３（ａ）と同様に、中央画素（ＶＦＦ２２）と共に周囲の隣接８画素中にもに欠陥（右上（ＶＦＦ１３）と左下（ＶＦＦ３１）がある場合である。
図６（ｂ）は、図６（ａ）について、周囲の隣接８画素について、画素値が所定の値（スレッショルド値）以上か否かをそれぞれ検出し、所定の値以上の画素を除いた画素の最頻値でもって欠陥画素である中央画素（ＶＦＦ２２）の画素値を置き換えるものである。
例えば、所定の値未満だった最初の画素値を基準に、画素値を所定の間隔に組分けしてヒストグラムを作成し、度数が最大となった組分けに属する任意の１つの画素値を最頻値とする。
【００３９】
上述の図５若しくは図６の実施例において、所定の値以上か否かの検出は省略してもよい。これらの実施例では、処理のハードウェア化（処理時間の一定化）が難しいが、黒傷画素も除かれた有効画素により欠陥画素が置換できる。
【００４０】
なお、さらに、中央値と最頻値を算出した後、データの最大値と最小値の平均（ミドレンジ）を算出し、中央値と最頻値のうち、ミドレンジ値に近い方の値を中央の画素値として採用しても良い。これによって、補間する画像データがより周囲の画像に近くなる。また、同じくらい近ければ、予め定めた中央値と最頻値のいずれかとする。
【符号の説明】
【００４１】
１：レンズ、  ２：プリズム、  ３、４、５：固体撮像素子、  ６、７、８：ＣＤＳ回路、  ９、１０、１１：プリアンプ回路、  １２、１３、１４：Ａ／Ｄ変換器、  １５：ＦＰＮ補正回路、  １６：白傷補正回路、  １７：映像信号処理回路、  １８：ＣＰＵ、  １０１：入力端子、  １０２、１０３：１ライン遅延素子、  １０４：現ライン信号、  １０５：１ライン遅延信号、  １０６：２ライン遅延信号、  １０７〜１１２：１画素遅延素子、  １１３：画素欠陥検出部、  １１４：プリアンプ増幅率信号、  １１５：ＣＰＵ、  １１６：検出閾値信号、  １１７、１１８、１１９：検出信号、  １２５：検出結果処理部、  １２０：検出信号、  １２１：補間信号レべル、  １２２：遅延素子、  １２３：セレクタ、  １２４：出力信号、  ８００：ＦＰＮ補正回路、  ８０１：２５６減算回路、  ８０２：６４回加算器、  ８０３：クリップ回路、  ８０４：フレームメモリ、  ８０５：丸め処理回路、  ８０６：１/６４回路、  ８０７：温度補正係数乗算器、  ８０８：オンオフ切替器、  ８０９：減算部、  ８５０：白傷補正回路、  ８５１、８５２、８５３：ラインメモリ（ Line MEM ）、  ８５４〜８６２：画素格納メモリ、  ８６３：比較器、  ８６４、８６４、８６６：ラインメモリ（ Line MEM ）、  ８６７〜８７５：比較結果格納メモリ、  ８７６：セレクタ、  ８７７：選択平均回路。
【図１】
2011114473.tif 000003
【図２】
2011114473.tif 000004
【図３】
2011114473.tif 000005
【図４】
2011114473.tif 000006
【図５】
2011114473.tif 000007
【図６】
2011114473.tif 000008
【図７】
2011114473.tif 000009
【図８】
2011114473.tif 000010
【図９】
2011114473.tif 000011