(57)【要約】【課題】画素欠陥判定の閾値を補正対象画素の色信号の種類に応じて切り換えることにより精度の高い補正を施す。【解決手段】撮像素子からの画像信号から画素欠陥を検出し、検出した画素欠陥を補正する画素欠陥検出補正回路と、該画素欠陥検出補正回路により補正された画像信号を処理して映像信号を送出する信号処理回路を備えた撮像装置において、画素欠陥検出補正回路１０４は、補正対象画素の近隣の画素の画素信号を保持する画素値保持部２０２と、補正対象画素の画素値と、前記画素値保持部に保持された画素値との差を予め設定した閾値と比較して補正対象画素の画素欠陥を検出する比較部２０１と、画素欠陥を検出したとき欠陥画素を補間して補正する補正部を備え、前記閾値は、補正対象画素の色信号の輝度信号に寄与する程度を表す重み係数に対応して各色毎に設定し、前記補正対象画素の色信号に応じて切り換える。【選択図】図２
2012253545.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からの画像信号から画素欠陥を検出し、検出した画素欠陥を補正する画素欠陥検出補正回路と、該画素欠陥検出補正回路により補正された画像信号を処理して映像信号を送出する信号処理回路を備えた撮像装置において、
画素欠陥検出補正回路は、
補正対象画素の近隣の画素の画素信号を保持する画素値保持部と、
補正対象画素の画素値と、前記画素値保持部に保持された画素値との差を予め設定した閾値と比較して補正対象画素の画素欠陥を検出する比較部と、
画素欠陥を検出したとき欠陥画素を補間して補正する補正部を備え、
前記閾値は、補正対象画素の色信号の輝度信号に寄与する程度を表す重み係数に対応して各色毎に設定し、前記補正対象画素の色信号に応じて切り換えることを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記画素値保持部が保持する画素が表す色と補正対象画素が表す色は同一であることを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置において、
各色毎に設定する閾値は、オートホワイトバランス制御部が各色信号毎に設定したゲインに応じて変更することを特徴とする撮像装置。
【請求項４】
請求項１記載の撮像装置において、
各色毎に設定する閾値は、被写体を照明する光源の色温度にしたがって変更することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に係り、特に、画素欠陥を高精度に検出して補正することのできる撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、固体撮像素子の欠陥検出に際して、レンズを非合焦状態にしたとき、正常画素の出力レベルが低下するのに対して、欠陥画素の出力レベルは変化しないことを利用し、レンズが非合焦状態にあるときの固体撮像素子の出力レベルを所定の閾値と比較することにより、画素の欠陥を確実に検出することが示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３２８１３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像素子に生じる画素欠陥には、製造工程において生じる画素欠陥と、温度変化あるいは宇宙線などの放射線照射などの経時変化に伴う画素欠陥がある。これらの画素欠陥には欠陥箇所の輝度が高くなるいわゆる「白欠陥」と、欠陥箇所の輝度が低くなるいわゆる「黒欠陥」とがある。
【０００５】
製造工程において生じる画素欠陥は固定位置であるため、工場出荷時に、欠陥画素の出力を近隣画素の出力で補間した値で補正する欠陥補正を施すことがおこなわれている。しかしながら、温度変化等の出荷後の径時変化で生じた画素欠陥については、前記補間を行うことができないため画質が損なわれる。
【０００６】
この問題を解決する方法として、前記特許文献１がある。前記特許文献１では、レンズを非合焦状態にしたときの固体撮像素子の出力信号に基づいて画素欠陥検出を行うことにより、経時変化で現れる欠陥画素に対応できる。
【０００７】
ところで、白点欠陥は、補正対象画素と該画素に隣り合う画素の信号の差分があらかじめ設定した差分よりも大きく、かつ該差分が正の場合に白点欠陥と判定し、黒点欠陥は、隣り合う画素の信号の差分があらかじめ設定した差分よりも大きく、かつ該差分が負の場合に黒点欠陥であると判定できる。
【０００８】
このため、モノクロの撮像装置であれば正しく判定できるが、複数の色フィルタを配置したカラー撮像装置においては、同一色の画素との間が離れていたり、隣接する画素間で輝度への重み係数が異なっているために、固定の閾値では、欠陥を補正できないことがある。また、欠陥画素で無いにもかかわらず欠陥画素として補正してしまうことがある。
【０００９】
本発明はこれらの問題点に鑑みてなされたもので、補正対象画素と近隣の画素の画素信号を比較して補正対象画素（欠陥画素）を補正するに際して、画素欠陥判定の閾値を補正対象画素の色信号の種類に応じて切り換えることにより精度の高い補正を施すことを可能とするものである。
【課題を解決するための手段】
【００１０】
本発明は上記課題を解決するため、次のような手段を採用した。
【００１１】
撮像素子からの画像信号から画素欠陥を検出し、検出した画素欠陥を補正する画素欠陥検出補正回路と、該画素欠陥検出補正回路により補正された画像信号を処理して映像信号を送出する信号処理回路を備えた撮像装置において、画素欠陥検出補正回路は、補正対象画素の近隣の画素の画素信号を保持する画素値保持部と、補正対象画素の画素値と、前記画素値保持部に保持された画素値との差を予め設定した閾値と比較して補正対象画素の画素欠陥を検出する比較部と、画素欠陥を検出したとき欠陥画素を補間して補正する補正部を備え、前記閾値は、補正対象画素の色信号の輝度信号に寄与する程度を表す重み係数に対応して各色毎に設定し、前記補正対象画素の色信号に応じて切り換える。
【発明の効果】
【００１２】
本発明は、以上の構成を備えるため、精度の高い欠陥補正を施すことできる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態にかかる撮像装置を説明する図である。
【図２】欠陥検出補正回路の詳細を説明する図である。
【図３】比較器の動作について説明する図である。
【図４】原色フィルタを説明する図である。
【図５】補色フィルタを説明する図である。
【図６】第２の実施形態を説明する図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を添付図面を参照しながら説明する。図１は、第１の実施形態にかかる撮像装置を説明する図であり、本実施形態では、撮像装置としてビデオカメラを用いる。
【００１５】
図１において、撮像レンズ１０１を介して被写体から入射された光は撮像素子１０２に照射され、被写体像が結像される。撮像素子１０２はタイミングジェネレータ１０６による駆動パルスによって水平と垂直の走査がなされ、被写体像を撮像し電気信号を発生する。この電気信号はＡ／Ｄ変換回路１０３でデジタル信号に変換され、欠陥検出補正回路１０４に入力する。
【００１６】
欠陥検出補正回路１０４では、タイミングジェネレータ１０６による色情報にしたがって、欠陥検出する閾値（白欠陥用／黒欠陥用）を適宜切り替え、欠陥検出補正回路１０４に入力する入力信号と近隣の画素信号との差および前記差と閾値（白欠陥用／黒欠陥用）の関係をもとに前記入力信号が「正常」信号であるか「欠陥」信号であるかを判断し、「正常」と判断した場合には入力信号を信号処理回路１０５に出力し、「欠陥」と判断した場合には近隣の画素信号をもとに補間した信号を信号処理回路１０５に出力する。
【００１７】
信号処理回路１０５ではノイズ除去やガンマ補正などの各種カメラ信号処理を施し、ＮＴＳＣ信号などのＴＶ信号に変換した後、出力する。
【００１８】
図２は、欠陥検出補正回路１０４の詳細を説明する図である。撮像素子からの入力画素信号は、欠陥検出補正回路１０４の比較器２０１およびデータラッチ２０２に供給される。データラッチ２０２は、例えばｎ画素前の同色の入力画素信号を保持する画素値保持部であり、撮像素子からの入力画素に対してｎ画素前の信号を逐次比較器２０１に出力する。
【００１９】
閾値選択回路２０３には、入力画素に対応する色情報が入力される。閾値選択回路２０３では、あらかじめ各色に対する閾値（白欠陥用／黒欠陥用）が設定されており、入力された色情報の種類に応じた閾値（白欠陥用／黒欠陥用）を選択して、比較器２０１に出力する。
【００２０】
図３は、前記比較器２０１の動作について説明する図である。図３において、比較器２０１は、入力画素信号の信号量が白欠陥用閾値とデータラッチ２０２に格納された信号との信号量の和よりも大きいか否かを判定し（ＳＴＥＰ１）、入力画素信号の信号量が白欠陥用閾値とデータラッチ２０２に格納された信号との信号量の和よりも大きいとき「白欠陥」と判定し、近隣の画素で補間した信号（あるいはデータラッチ２０２の信号）を補正部で生成し、生成した信号を信号処理回路１０５に出力する（ＳＴＥＰ２）。
【００２１】
次に、入力画素の信号量がデータラッチ２０２の信号量から黒欠陥用閾値を引いた信号量よりも小さいか否かを判定し（ＳＴＥＰ３）、入力画素の信号量がデータラッチ２０２の信号量から黒欠陥用閾値を引いた信号量よりも小さい場合には「黒欠陥」と判定し、近隣の画素から補間した信号に相当するデータラッチ２０２の信号量を信号処理回路１０５に出力する（ＳＴＥＰ２と同じ）。なお、上記「白欠陥」および「黒欠陥」と判定されなかった場合には、「正常」と判定し、入力信号を信号処理回路１０５に出力する（ＳＴＥＰ４）。次に、ステップ１に戻り、次の画素信号を取り込む。
【００２２】
次に、閾値選択回路２０３の動作について説明する。
【００２３】
図４は原色フィルタの例説明する図である。例えばＮＴＳＣ方式の撮像装置では、輝度信号（Ｙ）を、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各入力信号をもとに、
Ｙ＝０．２９＊Ｒ＋０．６０＊Ｇ＋０．１１＊Ｂ
の計算式で生成している。
【００２４】
図４中の太枠で囲った水平２＊垂直２の４画素に着目すると緑（Ｇ）は２箇所あるため、輝度信号（Ｙ）への重み係数の比率は、
Ｒ：Ｇ：Ｂ  ＝  ０．２９：０．３０：０．１１  ・・・（１）
となっている。
【００２５】
ここで赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの画素に欠陥があった場合を考えると、輝度信号（Ｙ）に対しては上記（１）式の比率で欠陥の影響が現れることになる。このため、閾値の比率も上記（１）式の比率に合わせることで、精度の高い画素欠陥検出が可能となる。
【００２６】
すなわち、閾値選択回路２０３には、大略上記（１）式の比率であらかじめ各色毎に閾値（白欠陥用／黒欠陥用）を設定しておき、欠陥の有無を判定する画素（比較器に入力されている画素）の色情報に対応して前記閾値を切り替えて使用するとよい。
【００２７】
図５は補色フィルタの例を説明する図である。図５のような補色フィルタを用いた撮像装置では、信号処理のマトリクスの組み方に複数の組み方が考えられるが、たとえば
Ｙ＝Ｋ１＊Ｙｅ＋Ｋ２＊Ｃｙ＋Ｋ３＊Ｍｇ＋Ｋ４＊Ｇ
の計算式で生成している場合には、
Ｙｅ：Ｃｙ：Ｍｇ：Ｇ  ＝  Ｋ１：Ｋ２：Ｋ３：Ｋ４  ・・・（２）
であるから、上記（１）式と同様に大略上記（２）式の比率であらかじめ各色に対する閾値（白欠陥用／黒欠陥用）を設定しておくと良い。なお、上記以外の他の色配置の場合でも同様に設定すると良い。
【００２８】
以上説明したように、本実施形態によれば、欠陥検出する画素の色情報の輝度信号に対する影響度を考慮して、欠陥検出する画素をその色情報に応じて欠陥か否かを判定する閾値を切り替えて使用する（例えば、赤（Ｒ）画素の欠陥を判定するときの閾値ＴＨｒと、緑（Ｇ）画素の欠陥を判定するときの閾値ＴＨｇと、青（Ｂ）画素の欠陥を判定するときの閾値ＴＨｂをＴＨｒ／ＴＨｇ／ＴＨｂ＝０．２９／０．３０／０．１１となるように設定しておき、欠陥の有無を判定すべき画素が比較器に入力されたとき、入力された画素の色信号に応じて前記閾値を切り替えて使用する）。
【００２９】
このため、カラー撮像装置においても、画素欠陥を高精度に検出し、補正することが可能となる。
【００３０】
なお、本実施形態では、データラッチ２０２を用いて、近隣画素として直前の同色の画素の情報を取得し、この情報を用いて欠陥検出と欠陥補正を行うようにした。しかしながら、例えばラインメモリを用いて、１ライン手前の画素の情報を取得し、この情報を用いて欠陥検出と欠陥補正を行うこともできる。また、フィード（フレーム）メモリなどを用いて左右、１ライン上下、斜め右上、斜め右下、斜め左上、斜め左下、などの情報を用いて、すなわち、より広い範囲の周辺画素の情報を用いて欠陥検出と欠陥補正を行うこともできる。
【００３１】
なお、本発明は、前記特許文献１記載の撮像装置と同様に、監視カメラシステムなどのように長期間に亘って通電し続け、欠陥画素が経時変化で現れる撮像装置において、特に有効である
図６は、本発明の第２の実施形態を説明する図である。第１の実施形態とは、欠陥検出補正回路の構成に相違がある。なお、図６において図２に示される部分と同一部分については同一符号を付してその説明を省略する。
【００３２】
撮像装置においては、撮影する光源の色温度がさまざまであるため、白色が白色として撮影できるように色ゲインを自動で制御するいわゆるオートホワイトバランス制御が広く採用されている。例えば、色温度が高くなるほど赤色（Ｒ）のゲインを大きくし、青色（Ｂ）のゲインを小さくする。逆に色温度が低くなるほど赤色（Ｒ）のゲインを小さくし、青色（Ｂ）のゲインを大きくする。また、蛍光灯などの光源下では、緑色（Ｇ）のゲインを制御することもある。なお、本実施形態では、オートホワイトバランス制御は、信号処理回路１５に配置されているとする。
【００３３】
欠陥検出補正回路１０４が、オートホワイトバランス制御回路の前に配置されている場合、上記したように、オートホワイトバランス制御回路が各色のゲインを変更するため、各色に対して設定してある閾値（白欠陥用／黒欠陥用）は前記各色のゲインを考慮した値とする必要がある。
【００３４】
閾値選択回路３０３は、図示しないオートホワイトバランス制御部から各色（Ｒ，Ｇ，Ｂ）毎のゲイン（光源の色温度情報を表す）を入力し、あらかじめ設定してある各色に対する閾値（白欠陥用／黒欠陥用）を、入力された各色毎のゲインを乗じた値に変更する。また、この変更された閾値は、比較器２０１に入力された画素信号の色情報に応じて選択されて、比較器２０１に出力する。
【００３５】
本実施形態では、撮影する光源の色温度が変わった場合において、光源の色温度に応じて閾値を変更しているため、より精度の高い画素欠陥検出と画素欠陥補正を可能とすることができる。
【００３６】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすくするために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００３７】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【００３８】
以上説明したように、本発明の実施形態によれば、検出補正対象画素の画素値と、前記画素値保持部に保持された画素値との差を予め設定した閾値と比較する比較部を備え、前記閾値は、欠陥と判定する画素の輝度に対する重み係数を考慮して設定し、検出補正対象画素の色情報の種類に応じて切り換える。また、ホワイトバランスの状態（光源の色温度）によって閾値の設定を変更するためより精度の高い画素欠陥検出を行うことが可能となる。
【符号の説明】
【００３９】
１０１ 撮像レンズ
１０２ 撮像素子
１０３ Ａ／Ｄ変換回路
１０４ 欠陥検出補正回路
１０５ 信号処理回路
１０６ タイミングジェネレータ
２０１ 比較器
２０２ データラッチ
２０３ 閾値選択回路
３０３ 閾値選択回路
【図１】
2012253545.tif 000003
【図２】
2012253545.tif 000004
【図３】
2012253545.tif 000005
【図４】
2012253545.tif 000006
【図５】
2012253545.tif 000007
【図６】
2012253545.tif 000008