(57)【要約】      （修正有）【課題】回路規模を小さくでき、かつキズ補正の誤りを低減して高品質な画像が得られる固体撮像装置を提供する。【解決手段】固体撮像装置は、キズ補正回路２８を有する。キズ補正回路２８は、色差算出部３２、色差選別部である色差選別回路３５、および補正量算出部３６を備える。色差算出部３２は、画素群のうち、同色画素の信号レベルと、同色画素に隣接する異色画素の信号レベルとの差分を算出する。画素群は、注目画素を中心として水平方向に並列された画素からなる。色差選別部は、画素群に含まれる同色画素および異色画素について算出された各差分のいずれかを選別する。補正量算出部３６は、色差選別部で選別された差分と、画素群のうち注目画素に隣接する異色画素の信号レベルとを基に、注目画素に対する補正量を算出する。【選択図】図３
2016005100.tif 000002
【特許請求の範囲】
【請求項１】
各色光を分担して検出する各色画素が水平方向および垂直方向へ配列された画素アレイを備えるイメージセンサと、
前記イメージセンサからの画像信号に対するキズ補正を実施するキズ補正回路と、を有し、
前記キズ補正回路は、
注目画素を中心として水平方向に並列された画素からなる画素群のうち、検出する色光が前記注目画素と同じである同色画素の信号レベルと、前記同色画素と隣接し、検出する色光が前記注目画素とは異なる異色画素の信号レベルとの差分を算出する色差算出部と、
前記画素群に含まれる前記同色画素および前記異色画素について算出された各差分のいずれかを選別する色差選別部と、
前記色差選別部で選別された差分と、前記画素群のうち前記注目画素に隣接する異色画素の信号レベルとを基に、前記注目画素に対する補正量を算出する補正量算出部と、を備えることを特徴とする固体撮像装置。
【請求項２】
前記色差選別部は、前記各差分のうちの最大値および最小値を選別し、
前記補正量算出部は、前記色差選別部で選別された前記最大値を基に、白キズ補正のための前記補正量を算出し、前記色差選別部で選別された前記最小値を基に、黒キズ補正のための前記補正量を算出することを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
前記キズ補正回路は、前記画素群において前記注目画素に隣接する２つの異色画素のいずれかを、前記２つの異色画素の信号レベルを比較した結果に応じて選択する隣接画素選択部をさらに有し、
前記補正量算出部は、前記隣接画素選択部で選択された異色画素の信号レベルと、前記色差選別部で選別された差分との加算を経て、前記補正量を算出することを特徴とする請求項１または２に記載の固体撮像装置。
【請求項４】
前記隣接画素選択部は、前記２つの異色画素のうち信号レベルが大きいほうの１つを、白キズ補正のために選択し、前記２つの異色画素のうち信号レベルが小さいほうの１つを、黒キズ補正のために選択することを特徴とする請求項３に記載の固体撮像装置。
【請求項５】
前記画素群のうち水平方向における第１端に位置する同色画素と、前記第１端とは反対側の第２端に位置する同色画素と、のうちの一方を、前記画素群に含まれ得る許容キズとして演算から除外する許容キズ除外部をさらに有し、
前記許容キズ除外部は、前記第１端に位置する同色画素および異色画素について算出された差分と、前記第２端に位置する同色画素および異色画素について算出された差分と、のうちの一方を、当該差分同士を比較した結果に応じて、前記色差選別部における選別の対象から除外することを特徴とする請求項１から４のいずれか一項に記載の固体撮像装置。
【請求項６】
前記キズ補正回路は、前記注目画素に隣接する異色画素と、前記同色画素に隣接する異色画素とにおける輝度変化量を基に、輝度判定による補正量を算出する輝度判定回路をさらに有し、前記補正量算出部で算出された前記補正量から、前記輝度判定による補正量への置き換えを行うことを特徴とする請求項１から５のいずれか一項に記載の固体撮像装置。
【請求項７】
前記キズ補正回路は、前記同色画素の信号レベルの分散を基に、平坦判定による補正量を算出する平坦判定回路をさらに有し、前記補正量算出部で算出された前記補正量から、前記平坦判定による補正量への置き換えを行うことを特徴とする請求項１から５のいずれか一項に記載の固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、固体撮像装置に関する。
【背景技術】
【０００２】
固体撮像装置は、正常に機能していない画素によるデジタル画像信号の欠損部分（キズ）を信号処理によって補正する、キズ補正回路を備えるものがある。キズ補正回路は、ラインメモリを備えることで、二次元方向における画素の情報を利用するキズ補正が可能である一方、回路規模が増大することとなる。また、キズ補正回路は、誤補正を低減できることが望まれている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１２３９４６号公報
【特許文献２】特開２０１１−２０５５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一つの実施形態は、回路規模を小さくでき、かつキズ補正の誤りを低減して高品質な画像が得られる固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
一つの実施形態によれば、固体撮像装置は、イメージセンサおよびキズ補正回路を有する。イメージセンサは、画素アレイを備える。画素アレイには、水平方向および垂直方向へ各色画素が配列されている。各色画素は、各色光を分担して検出する。キズ補正回路は、イメージセンサからの画像信号に対するキズ補正を実施する。キズ補正回路は、色差算出部、色差選別部および補正量算出部を備える。色差算出部は、画素群のうち、同色画素の信号レベルと、同色画素に隣接する異色画素の信号レベルとの差分を算出する。同色画素は、検出する色光が注目画素と同じである。異色画素は、検出する色光が注目画素とは異なる。画素群は、注目画素を中心として水平方向に並列された画素からなる。色差選別部は、画素群に含まれる同色画素および異色画素について算出された各差分のいずれかを選別する。補正量算出部は、色差選別部で選別された差分と、画素群のうち注目画素に隣接する異色画素の信号レベルとを基に、注目画素に対する補正量を算出する。
【図面の簡単な説明】
【０００６】
【図１】図１は、実施形態にかかる固体撮像装置の概略構成を示すブロック図である。
【図２】図２は、固体撮像装置を備えるカメラシステムの概略構成を示すブロック図である。
【図３】図３は、キズ補正回路の構成を示すブロック図である。
【図４】図４は、色差判定回路の構成例を示す図である。
【図５】図５は、水平方向に並列された画素からなる画素群の一例を示す図である。
【図６】図６は、色差判定回路において白キズ補正のための補正量を算出する手順を示すフローチャートである。
【図７】図７は、平坦判定回路の構成例を示す図である。
【図８】図８は、平坦判定回路において白キズ補正のための補正量を算出する手順を示すフローチャートである。
【図９】図９は、輝度判定回路の構成例を示す図である。
【図１０】図１０は、輝度判定回路において白キズ補正のための補正量を算出する手順を示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態にかかる固体撮像装置を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【０００８】
（実施形態）
図１は、実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、固体撮像装置を備えるカメラシステムの概略構成を示すブロック図である。
【０００９】
カメラシステム１０は、カメラモジュール１１を備える電子機器であって、例えばカメラ付き携帯端末である。カメラシステム１０は、カメラ付き携帯端末以外の電子機器、例えば、デジタルスチルカメラ、デジタルビデオカメラ等であっても良い。
【００１０】
カメラシステム１０は、カメラモジュール１１および後段処理部１２を有する。カメラモジュール１１は、撮像光学系１３および固体撮像装置１４を有する。後段処理部１２は、イメージシグナルプロセッサ（ＩＳＰ）１５、記憶部１６および表示部１７を有する。
【００１１】
撮像光学系１３は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置１４は、被写体像を撮像する。ＩＳＰ１５は、固体撮像装置１４での撮像により得られた画像信号の信号処理を実施する。記憶部１６は、ＩＳＰ１５での信号処理を経た画像を格納する。記憶部１６は、ユーザの操作等に応じて、表示部１７へ画像信号を出力する。
【００１２】
固体撮像装置１４は、イメージセンサ２０および信号処理回路２１を備える。イメージセンサ２０は、被写体像を撮像する。イメージセンサ２０は、例えば、ＣＭＯＳイメージセンサである。イメージセンサ２０は、画素アレイ２２、垂直シフトレジスタ２３、タイミング制御部２４、相関二重サンプリング部（ＣＤＳ）２５、アナログデジタル変換部（ＡＤＣ）２６およびラインメモリ２７を有する。
【００１３】
画素アレイ２２は、イメージセンサ２０の撮像領域に設けられている。画素アレイ２２は、水平方向（行方向）および垂直方向（列方向）へアレイ状に配列された画素を備える。各画素は、光電変換素子であるフォトダイオードを備える。光電変換素子は、入射光量に応じた信号電荷を生成する。各画素は、入射光量に応じた信号電荷を蓄積する。
【００１４】
各画素の入射側には、色配列に応じたカラーフィルタ（図示省略）が設けられている。各画素は、カラーフィルタを透過した色光を検出する。各色光を分担して検出する各色画素は、ベイヤー配列を構成する。
【００１５】
タイミング制御部２４は、各種のタイミングを制御するためのクロックを生成する。タイミング制御部２４は、垂直同期信号に応じた垂直走査クロックを、垂直シフトレジスタ２３へ出力する。タイミング制御部２４は、水平同期信号に応じた水平走査クロックをラインメモリ２７へ出力する。タイミング制御部２４は、ＣＤＳ２５およびＡＤＣ２６に対し、駆動タイミングを指示するタイミング信号をそれぞれ出力する。
【００１６】
垂直シフトレジスタ２３は、信号が読み出される画素の行を、タイミング制御部２４からの垂直走査クロックに応じて選択する。垂直シフトレジスタ２３は、選択された行の各画素へ読み出し信号を出力する。垂直シフトレジスタ２３から読み出し信号が入力された画素は、蓄積された信号電荷を垂直信号線（図示省略）へ出力する。画素アレイ２２は、画素からの信号を、垂直信号線を介してＣＤＳ２５へ出力する。
【００１７】
ＣＤＳ２５は、画素アレイ２２からの信号に対し、固定パターンノイズの低減のための相関二重サンプリング処理を行う。ＡＤＣ２６は、アナログ方式の信号をデジタル方式の信号へ変換する。ラインメモリ２７は、ＡＤＣ２６からの信号を蓄積する。イメージセンサ２０は、ラインメモリ２７に蓄積された信号を出力する。
【００１８】
信号処理回路２１は、イメージセンサ２０からの画像信号に対し、各種の信号処理を実施する。信号処理回路２１は、キズ補正回路２８を備える。キズ補正回路２８は、イメージセンサ２０からの画像信号に対するキズ補正を実施する。キズは、正常に機能していない画素によるデジタル画像信号の欠損部分である。キズには、白キズと黒キズがある。白キズは、画素が正常に機能しているときに比べて高い信号レベルを示すキズである。黒キズは、画素が正常に機能しているときに比べて低い信号レベルを示すキズである。
【００１９】
信号処理回路２１は、キズ補正以外にも、各種信号処理、例えば、ガンマ補正、ノイズ低減処理、レンズシェーディング補正、ホワイトバランス調整、歪曲補正、解像度復元等を実施する。図１には、信号処理回路２１のうち、キズ補正回路２８以外の構成の図示を省略している。
【００２０】
固体撮像装置１４は、信号処理回路２１での信号処理を経た画像信号をチップ外部へ出力する。固体撮像装置１４は、信号処理回路２１での信号処理を経たデータに基づき、イメージセンサ２０のフィードバック制御を実施する。
【００２１】
カメラシステム１０は、本実施形態において信号処理回路２１が実施するものとした各種信号処理の少なくともいずれかを、後段処理部１２のＩＳＰ１５が実施することとしても良い。カメラシステム１０は、各種信号処理の少なくともいずれかを、信号処理回路２１およびＩＳＰ１５の双方が実施しても良い。信号処理回路２１およびＩＳＰ１５は、本実施形態で説明する信号処理以外の信号処理を実施することとしても良い。
【００２２】
図３は、キズ補正回路の構成を示すブロック図である。キズ補正回路２８は、カメラモジュール１１の動作中に画像信号からキズを検出するダイナミックキズ補正を実施する。キズ補正回路２８は、主に、フォトダイオードの温度特性や露光時間等に依存してランダムに発生するキズを補正する。
【００２３】
固体撮像装置１４は、キズ補正回路２８とは別に、マップキズ補正のための構成を備えることとしても良い。マップキズ補正では、主に、多層構造の欠陥、フローティングジャンクションのリーク電流等、フォトダイオードの構造に起因して定常的に発生するキズを補正する。
【００２４】
キズ補正回路２８は、水平方向に並列された画素の情報を利用して、キズ補正を実施する。キズ補正回路２８は、水平方向に並列された画素からなる画素群に含まれる注目画素および周辺画素の各信号レベルを参照する。注目画素は、画素群の中央に位置する。注目画素は、あるタイミングにおいて、キズか否かの判定のために注目している画素とする。キズ補正回路２８は、キズであると判定された注目画素に対し、キズ補正として、信号の置き換えを行う。
【００２５】
周辺画素は、画素群に含まれる画素であって、注目画素以外の画素とする。本実施形態において、後述する同色画素は、周辺画素のうち、検出する色光が注目画素と同じである画素とする。また、異色画素は、周辺画素のうち、検出する色光が注目画素とは異なる画素とする。
【００２６】
キズ補正回路２８は、色差判定回路３０、平坦判定回路３７および輝度判定回路３８を備える。色差判定回路３０は、注目画素とその隣接する異色画素との色差と、同色画素とその隣接する異色画素との色差とを比較する色差判定のための演算を実施する。色差判定回路３０は、色差判定に応じたキズ補正のための補正量を算出する。
【００２７】
平坦判定回路３７は、平坦判定として、同色画素の信号レベルの分散を算出する。平坦判定回路３７は、平坦判定に応じたキズ補正のための補正量を算出する。輝度判定回路３８は、輝度判定として、注目画素に隣接する異色画素の信号レベルと、それ以外の異色画素の信号レベルとを比較する。輝度判定回路３８は、輝度判定に応じたキズ補正のための補正量を算出する。
【００２８】
色差判定回路３０は、水平遅延線３１、色差算出部３２、許容キズ除外回路（許容キズ除外部）３３、隣接画素選択回路（隣接画素選択部）３４、色差選別回路（色差選別部）３５および補正量算出部３６を備える。水平遅延線３１は、画素群の各画素の信号を保持し、各画素の信号を同時化する。色差算出部３２は、同色画素の信号レベルと、その同色画素に隣接する異色画素の信号レベルとの差分を算出する。
【００２９】
許容キズ除外回路３３は、画素群の端に位置する同色画素のいずれかを、画素群に含まれ得る許容キズとして、演算から除外する。隣接画素選択回路３４は、画素群において注目画素に隣接する２つの異色画素のうちの一方を選択する。色差選別回路３５は、画素群に含まれる同色画素および異色画素について算出された各差分から最大値および最小値を選別する。補正量算出部３６は、色差選別回路３５で選別された差分と、隣接画素選択回路３４で選択された異色画素の信号レベルとを基に、注目画素に対する補正量を算出する。
【００３０】
図４は、色差判定回路の構成例を示す図である。水平遅延線３１は、直列に接続された１２個のフリップフロップ４１を備える。水平方向へ並列された各画素の信号が色差判定回路３０へ順次入力されると、水平遅延線３１は、１２個の画素の信号を保持する。水平遅延線３１は、水平方向における遅延を１２個の画素の各信号に施す。水平遅延線３１は、保持する１２個の画素の各信号（Ｄ１〜Ｄ１２）と、入力された１個の画素の信号（Ｄ０）とを同時化する。
【００３１】
図５は、水平方向に並列された画素からなる画素群の一例を示す図である。画素アレイ２２におけるベイヤー配列は、Ｇｒ、Ｒ、Ｇｂ、Ｂの４画素を単位として構成されている。Ｒ画素は、赤色光を検出する。Ｂ画素は、青色光を検出する。Ｇｒ画素およびＧｂ画素は、緑色光を検出する。Ｇｒ画素は、水平方向においてＲ画素に隣接する。Ｇｂ画素は、水平方向においてＢ画素に隣接する。
【００３２】
図示する例では、画素群は、７個のＧｒ画素と６個のＲ画素からなる。注目画素は、画素群の中央に位置するＧｒ画素である。Ｄ６は、注目画素の信号である。周辺画素は、注目画素以外の１２個の画素である。このうち６個のＧｒ画素が同色画素であって、６個のＲ画素が異色画素である。Ｄ０，Ｄ２，Ｄ４，Ｄ８，Ｄ１０，Ｄ１２は、それぞれ同色画素の信号である。Ｄ１，Ｄ３，Ｄ５，Ｄ７，Ｄ９，Ｄ１１は、それぞれ異色画素の信号である。
【００３３】
なお、注目画素がＲ画素である場合は、画素群に含まれる６個のＲ画素が同色画素であって、６個のＧｒ画素が異色画素である。注目画素がＢ画素である場合は、画素群に含まれる６個のＢ画素が同色画素であって、６個のＧｂ画素が異色画素である。注目画素がＧｂ画素である場合は、画素群に含まれる６個のＧｂ画素が同色画素であって、６個のＢ画素が異色画素である。
【００３４】
隣接画素選択回路３４には、注目画素に隣接する２つの異色画素の信号Ｄ５，Ｄ７が入力される。隣接画素選択回路３４は、Ｄ５およびＤ７を比較する。隣接画素選択回路３４は、Ｄ５およびＤ７のうち信号レベルが大きいほうを白キズ補正のために選択する。隣接画素選択回路３４は、選択された信号を出力する（Ｄ５７Ｌ）。また、隣接画素選択回路３４は、Ｄ５およびＤ７のうち信号レベルが小さいほうを黒キズ補正のために選択する。隣接画素選択回路３４は、選択された信号を出力する（Ｄ５７Ｓ）。
【００３５】
色差算出部３２は、６個の差分器４２を備える。各差分器４２は、互いに隣接する同色画素と異色画素との組における、信号レベルの差分を求める。色差算出部３２は、Ｄ０およびＤ１の差分ｄ０１、Ｄ２およびＤ３の差分ｄ２３、Ｄ４およびＤ５の差分ｄ４５、Ｄ７およびＤ８の差分ｄ７８、Ｄ９およびＤ１０の差分ｄ９１０、Ｄ１１およびＤ１２の差分ｄ１１１２を出力する。
【００３６】
許容キズ除外回路３３には、２つの差分ｄ０１，ｄ１１１２が入力される。Ｄ０の同色画素は、画素群のうち水平方向における第１端に位置する。Ｄ１２の同色画素は、画素群のうち第１端とは反対側の第２端に位置する。許容キズ除外回路３３は、２つの差分ｄ０１，ｄ１１１２のうち大きいほうを、白キズ補正における演算から除外する。また、許容キズ除外回路３３は、２つの差分ｄ０１，ｄ１１１２のうち小さいほうを、黒キズ補正における演算から除外する。
【００３７】
色差選別回路３５は、最大値選別器４３および最小値選別器４４を備える。最大値選別器４３は、各差分のうちの最大値を選別する。最小値選別器４４は、各差分のうちの最小値を選別する。最大値選別器４３および最小値選別器４４には、それぞれ、色差算出部３２からのｄ２３，ｄ４５，ｄ７８，ｄ９１０が入力される。
【００３８】
許容キズ除外回路３３は、２つの差分ｄ０１，ｄ１１１２のうち白キズ補正の演算に残すほう、すなわち小さいほうを選択して、最大値選別器４３へ出力する。最大値選別器４３は、入力された５つの差分をレベル順に並べ替える。最大値選別器４３は、５つの差分のうちレベルが最大である１つを、最大値（ｄｍａｘ）として出力する。
【００３９】
許容キズ除外回路３３は、２つの差分ｄ０１，ｄ１１１２のうち黒キズ補正の演算に残すほう、すなわち大きいほうを選択して、最小値選別器４４へ出力する。最小値選別器４４は、入力された５つの差分をレベル順に並べ替える。最小値選別器４４は、５つの差分のうちレベルが最小である差分を、最小値（ｄｍｉｎ）として出力する。
【００４０】
補正量算出部３６は、２つの加算器４５，４６、および２つの重み付け回路４７，４８を備える。加算器４５は、隣接画素選択回路３４にて白キズ補正のために選択されたＤ５７Ｌに、最大値選別器４３からのｄｍａｘを加算する。加算器４５は、加算結果Ｃｍａｘ１を出力する。重み付け回路４７は、Ｃｍａｘ１に重み付けを施す。色差判定回路３０は、重み付け回路４７での重み付けを経たＣｍａｘＡを、色差判定による白キズ補正のための補正量として出力する。
【００４１】
加算器４６は、隣接画素選択回路３４にて黒キズ補正のために選択されたＤ５７Ｓに、最小値選別器４４からのｄｍｉｎを加算する。加算器４６は、加算結果Ｃｍｉｎ１を出力する。重み付け回路４８は、Ｃｍｉｎ１に重み付けを施す。色差判定回路３０は、重み付け回路４８での重み付けを経たＣｍｉｎＡを、色差判定による黒キズ補正のための補正量として出力する。
【００４２】
図６は、色差判定回路において白キズ補正のための補正量を算出する手順を示すフローチャートである。ステップＳ１において、隣接画素選択回路３４は、注目画素に隣接する２つの異色画素のうち信号レベルが大きいほうの１つを選択する。隣接画素選択回路３４は、Ｄ５，Ｄ７を比較して、大きいほうを選択する。
【００４３】
隣接画素選択回路３４は、注目画素が白キズであると仮定した場合に、２つの異色画素のうち、その信号レベルが注目画素の信号レベルに近いほうを選択している。隣接画素選択回路３４からの出力Ｄ５７Ｌは、Ｄ５，Ｄ７のうち選択された一方の信号である。
【００４４】
ステップＳ２において、色差算出部３２は、同色画素の信号レベルと、異色画素の信号レベルとの差分ｄ０１，ｄ２３，ｄ４５，ｄ７８，ｄ９１０，ｄ１１１２を算出する。ステップＳ３にて、許容キズ除外回路３３は、第１端に位置する同色画素および異色画素について算出された差分ｄ０１と、第２端に位置する同色画素および異色画素について算出された差分ｄ１１１２とを比較する。
【００４５】
許容キズ除外回路３３は、画素群の両端の同色画素のうち、差分が大きいほうの同色画素を、他方の同色画素に対してキズの可能性が高いと判断する。色差判定回路３０は、キズの可能性が高いと判断された同色画素は、実際にキズであるか否かにかかわらず、許容キズとみなす。許容キズ除外回路３３は、画素群の両端の同色画素から得られた差分のうち大きいほうを、最大値選別器４３における選別の対象から除外する。
【００４６】
許容キズ除外回路３３は、ｄ０１およびｄ１１１２のうち小さいほうを、出力として選択する。白キズ補正では、許容キズ除外回路３３は、ｄ０１およびｄ１１１２のうち小さいほうを選択することで、白キズ補正のための演算から許容キズを除外するとともに、許容キズ以外の同色画素のデータを残す。
【００４７】
キズ補正回路２８におけるキズ補正は、画素群とする１３個の画素のうち、注目画素とする１つがキズである場合を想定している。さらに、キズ補正回路２８は、許容キズ除外回路３３が設けられることで、画素群の両端の同色画素のうちの一方がキズである場合も許容可能とする。
【００４８】
ステップＳ４では、最大値選別器４３は、ステップＳ２で得られたｄ２３，ｄ４５，ｄ７８，ｄ９１０の４つと、ステップＳ３で選択された１つの差分とを、レベル順に並べ替えて、ｄｍａｘを選別する。ステップＳ５では、加算器４５は、ステップＳ４で得られたｄｍａｘに、ステップＳ１で得られたＤ５７Ｌを加算する。これにより、加算器４５は、調整前のクリップ値であるＣｍａｘ１を算出する（Ｃｍａｘ１＝ｄｍａｘ＋Ｄ５７Ｌ）。
【００４９】
ステップＳ６では、重み付け回路４７は、ステップＳ５で得られたＣｍａｘ１にパラメータを乗算することで、重み付けを施す。パラメータは、例えば１および２の間の任意の値とする。パラメータの値が小さいほど、色差判定回路３０による白キズ補正の効果が強められる。これにより、補正量算出部３６は、重み付けによる調整後のクリップ値であるＣｍａｘＡを算出する（ＣｍａｘＡ＝Ｃｍａｘ１×パラメータ）。色差判定回路３０は、色差判定による白キズ補正のための補正量として、ＣｍａｘＡを出力する。
【００５０】
キズ補正回路２８は、後述する平坦判定および輝度判定による補正量の置き換えがなく、かつ注目画素の信号レベルがＣｍａｘＡを超えている場合、注目画素の信号をＣｍａｘＡに置き換える。かかる信号の置き換えは、後述する輝度判定回路３８が実施する。キズ補正回路２８は、注目画素における色差（Ｄ６−Ｄ５７Ｌ）と、周辺画素における色差の最大値を調整して得た補正量ＣｍａｘＡとを比較する色差判定のための演算を、色差判定回路３０にて実施する。
【００５１】
黒キズ補正のための補正量を算出する手順は、値の大小関係が適宜入れ替わる以外は、ステップＳ１からステップＳ６の各手順と同様とする。黒キズ補正の場合、隣接画素選択回路３４は、Ｄ５，Ｄ７のうち小さいほうを選択する（Ｄ５７Ｓ）。
【００５２】
許容キズ除外回路３３は、画素群の両端の同色画素から得られた差分のうち小さいほうを、最小値選別器４４における選別の対象から除外する。許容キズ除外回路３３は、ｄ０１およびｄ１１１２のうち大きいほうを、出力として選択する。黒キズ補正では、許容キズ除外回路３３は、ｄ０１およびｄ１１１２のうち大きいほうを選択することで、黒キズ補正のための演算から許容キズを除外するとともに、許容キズ以外の同色画素のデータを残す。
【００５３】
加算器４６は、最小値選別器４４で選別されたｄｍｉｎにＤ５７Ｓを加算する（Ｃｍｉｎ１＝ｄｍｉｎ＋Ｄ５７Ｓ）。重み付け回路４８は、Ｃｍｉｎ１にパラメータを乗算することで、重み付けを施す。パラメータは、例えば０および１の間の任意の値とする。パラメータの値が大きいほど、色差判定回路３０による黒キズ補正の効果が強められる。これにより、補正量算出部３６は、重み付けによる調整後のクリップ値であるＣｍｉｎＡを算出する（ＣｍｉｎＡ＝Ｃｍｉｎ１×パラメータ）。色差判定回路３０は、色差判定による黒キズ補正のための補正量として、ＣｍｉｎＡを出力する。
【００５４】
本実施形態では、通常の画像において、隣接する画素にて検出される２色の輝度レベルの比（色比）が、局所的な領域にて大幅に変化する可能性は低いものと仮定している。この仮定によると、局所的な領域にて色比の大幅な変化が認められた場合、その箇所の画素がキズであると推定できる。
【００５５】
キズ補正回路２８は、隣接する画素間の色比に代えて色差を利用して、キズ判定を実施する。キズ補正回路２８は、色差を利用したキズ判定を実施することで、実際に色比を算出する場合に比べて、回路規模および処理負担の削減が可能となる。
【００５６】
図７は、平坦判定回路の構成例を示す図である。平坦判定回路３７は、平均値算出部５１、偏差絶対値算出部５２、分散算出部５３、重み付け回路５４、加算器５５、減算器５６、選択器５７，５８を備える。
【００５７】
平坦判定回路３７には、色差判定回路３０の水平遅延線３１から、６個の同色画素の信号（Ｄ０，Ｄ２，Ｄ４，Ｄ８，Ｄ１０，Ｄ１２）が入力される。平均値算出部５１は、これら６個の同色画素の信号の平均値ＡＶＥ１を算出する。偏差絶対値算出部５２は、平均値ＡＶＥ１を基に、６個の同色画素の各信号について、偏差の絶対値を算出する。
【００５８】
分散算出部５３は、偏差の絶対値を基に、信号レベルの分散を示す標準偏差（ＳＴＤ）を算出する。重み付け回路５４は、ＳＴＤに重み付けを施す。加算器５５は、ＡＶＥ１に、白キズ補正のための重み付けを経たＳＴＤを加算して、加算結果であるＣｍａｘ２を出力する。選択器５７は、加算器５５からのＣｍａｘ２と、色差判定回路３０で得られたクリップ値であるＣｍａｘＡとのうち、レベルが小さいほうを選択する。選択器５７は、選択された信号を出力する（ＣｍａｘＢ）。
【００５９】
減算器５６は、黒キズ補正のための重み付けを経たＳＴＤを、ＡＶＥ１から減算して、減算結果であるＣｍｉｎ２を出力する。選択器５８は、減算器５６からのＣｍｉｎ２と、色差判定回路３０で得られたクリップ値であるＣｍｉｎＡとのうち、レベルが大きいほうを選択する。選択器５８は、選択された信号を出力する（ＣｍｉｎＢ）。
【００６０】
図８は、平坦判定回路において白キズ補正のための補正量を算出する手順を示すフローチャートである。ステップＳ１１において、平均値算出部５１は、６個の同色画素の信号レベル（Ｄ０，Ｄ２，Ｄ４，Ｄ８，Ｄ１０，Ｄ１２）の平均値ＡＶＥ１を算出する。平均値算出部５１は、６個の同色画素の信号のうち、注目画素に最も近い２個の同色画素には、他の同色画素に対して２倍の重み付けを施す。平均値算出部５１は、例えば次に示す式にしたがって、ＡＶＥ１を算出する。
ＡＶＥ１＝（Ｄ０＋Ｄ２＋Ｄ４×２＋Ｄ８×２＋Ｄ１０＋Ｄ１２）／８
【００６１】
ステップＳ１２において、偏差絶対値算出部５２は、６個の同色画素の各信号について、ＡＶＥ１との差分の絶対値を算出する。分散算出部５３は、偏差絶対値算出部５２で算出された各絶対値を基に、同色画素の信号レベルの標準偏差（ＳＴＤ）を算出する。偏差絶対値算出部５２は、注目画素に最も近い２個の同色画素には、他の同色画素に対して２倍の重み付けを施す。偏差絶対値算出部５２は、例えば次に示す式にしたがって、ＳＴＤを算出する。
ＳＴＤ＝（｜Ｄ０−ＡＶＥ１｜＋｜Ｄ２−ＡＶＥ１｜＋｜Ｄ４−ＡＶＥ１｜×２＋｜Ｄ８−ＡＶＥ１｜×２＋｜Ｄ１０−ＡＶＥ１｜＋｜Ｄ１２−ＡＶＥ１｜）／８
【００６２】
重み付け回路５４は、ステップＳ１２で得られたＳＴＤにパラメータを乗算することで、重み付けを施す。パラメータは、例えば０および４の間の任意の値とする。パラメータの値が小さいほど、平坦判定回路３７による白キズ補正の効果が強められる。
【００６３】
ステップＳ１３において、加算器５５は、ステップＳ１２において重み付けが施されたＳＴＤに、ステップＳ１１で得られたＡＶＥ１を加算する。これにより、加算器５５は、平坦判定による白キズ補正のための補正量とするクリップ値Ｃｍａｘ２を算出する（Ｃｍａｘ２＝ＡＶＥ１＋ＳＴＤ×パラメータ）。
【００６４】
ステップＳ１４において、選択器５７は、ステップＳ１３で得られたクリップ値Ｃｍａｘ２と、ステップＳ６（図６参照）で得られたクリップ値ＣｍａｘＡとのうち小さいほうを選択する。平坦判定回路３７は、選択器５７で選択された信号を、平坦判定を経た新たなクリップ値ＣｍａｘＢとして出力する。
【００６５】
黒キズ補正のための補正量を算出する手順は、値の大小関係が適宜入れ替わる以外は、ステップＳ１１からステップＳ１４の各手順と同様とする。黒キズ補正の場合、重み付け回路５４にてＳＴＤに乗算するパラメータは、例えば０および４の間の任意の値とする。パラメータの値が小さいほど、平坦判定回路３７による黒キズ補正の効果が強められる。
【００６６】
減算器５６は、重み付けが施されたＳＴＤを、ＡＶＥ１から減算する。これにより、減算器５６は、平坦判定による黒キズ補正のための補正量とするクリップ値Ｃｍｉｎ２を算出する（Ｃｍｉｎ２＝ＡＶＥ１−ＳＴＤ×パラメータ）。
【００６７】
選択器５８は、減算器５６からのクリップ値Ｃｍｉｎ２と、色差判定回路３０にて得られたクリップ値ＣｍｉｎＡとのうち大きいほうを選択する。平坦判定回路３７は、選択器５８で選択された信号を、平坦判定を経た新たなクリップ値ＣｍｉｎＢとして出力する。
【００６８】
平坦判定回路３７は、同色画素の信号レベルの分散を基に、平坦判定による補正量を算出する。平坦判定回路３７は、平坦判定による補正量が色差判定による補正量より小さい場合に、色差判定による補正量から平坦判定による補正量への置き換えを行う。平坦判定回路３７は、信号の分散が小さいほど、平坦判定による補正量を小さい値とする。キズ補正回路２８は、分散が小さい場合に、平坦判定に応じた小さい補正量への置き換えを行うことで、輝度レベルの変動が少ない平坦部におけるキズ補正の効果を強める。これにより、キズ補正回路２８は、キズが目立ち易い平坦部に対して効果的なキズ補正を実施することができる。
【００６９】
図９は、輝度判定回路の構成例を示す図である。輝度判定回路３８は、隣接画素選択回路６１、平均値算出部６２、比較器６３，６６、差分器６４，６７、重み付け回路６５，６８、加算器６９、減算器７０、選択器７１，７２，７３，７４を備える。
【００７０】
輝度判定回路３８には、色差判定回路３０の水平遅延線３１から、４個の異色画素の信号（Ｄ３，Ｄ５，Ｄ７，Ｄ９）と、注目画素の信号（Ｄ６）が入力される。隣接画素選択回路６１には、注目画素に隣接する２つの異色画素の信号Ｄ５，Ｄ７が入力される。
【００７１】
隣接画素選択回路６１は、Ｄ５およびＤ７を比較する。隣接画素選択回路６１は、Ｄ５およびＤ７のうち信号レベルが大きいほうを白キズ補正のために選択する。隣接画素選択回路６１は、選択された信号を出力する（Ｄ５７Ｌ）。また、隣接画素選択回路６１は、Ｄ５およびＤ７のうち信号レベルが小さいほうを黒キズ補正のために選択する。隣接画素選択回路６１は、選択された信号を出力する（Ｄ５７Ｓ）。
【００７２】
平均値算出部６２には、注目画素から２つの画素を越えた位置にある異色画素の信号Ｄ３，Ｄ９が入力される。Ｄ３の異色画素は、Ｄ４の同色画素に隣接している。Ｄ９の異色画素は、Ｄ８の同色画素に隣接している。平均値算出部６２は、２つの異色画素の信号Ｄ３およびＤ９の平均値ＡＶＥ２を算出する。
【００７３】
比較器６３は、隣接画素選択回路６１からのＤ５７Ｌと、平均値算出部６２からのＡＶＥ２とを比較する。差分器６４は、Ｄ５７ＬとＡＶＥ２との差分を算出する。かかる差分を、輝度変化量（ＢＬ）とする。ＢＬは、注目画素に隣接する異色画素における輝度レベルと、その異色画素の次に注目画素から近い位置の異色画素における輝度レベルとの間の変化量を表す。重み付け回路６５は、ＢＬに重み付けを施す。
【００７４】
比較器６６は、隣接画素選択回路６１からのＤ５７Ｓと、平均値算出部６２からのＡＶＥ２とを比較する。差分器６７は、Ｄ５７ＳとＡＶＥ２との差分を算出する。かかる差分を、輝度変化量（ＢＳ）とする。ＢＳは、注目画素に隣接する異色画素における輝度レベルと、その異色画素の次に注目画素から近い位置の異色画素における輝度レベルとの間の変化量を表す。重み付け回路６８は、ＢＳに重み付けを施す。
【００７５】
加算器６９は、重み付け回路６５で重み付けが施されたＢＬに、平坦判定回路３７で得られた補正量であるＣｍａｘＢを加算して、加算結果であるＣｍａｘ３を出力する。選択器７１は、比較器６３における比較結果に応じて、加算器６９からのＣｍａｘ３と、平坦判定回路３７からのＣｍａｘＢとのうちいずれか一方を選択する。選択器７１は、選択された信号を出力する（ＣｍａｘＣ）。
【００７６】
減算器７０は、重み付け回路６８で重み付けが施されたＢＳを、平坦判定回路３７で得られた補正量であるＣｍｉｎＢから減算して、減算結果であるＣｍｉｎ３を出力する。選択器７２は、比較器６６における比較結果に応じて、減算器７０からのＣｍｉｎ３と、平坦判定回路３７からのＣｍｉｎＢとのうちいずれか一方を選択する。選択器７２は、選択された信号を出力する（ＣｍｉｎＣ）。
【００７７】
選択器７３は、選択器７１からのＣｍａｘＣと、注目画素の信号Ｄ６とのうちのいずれかを選択する。選択器７４は、選択器７３からの信号と、選択器７２からのＣｍｉｎＣとのうちのいずれかを選択する。
【００７８】
図１０は、輝度判定回路において白キズ補正のための補正量を算出する手順を示すフローチャートである。ステップＳ２１において、隣接画素選択回路６１は、注目画素に隣接する２つの異色画素のうち信号レベルが大きいほうの１つを選択する。隣接画素選択回路６１は、Ｄ５，Ｄ７を比較して、大きいほうを選択する。
【００７９】
隣接画素選択回路６１は、注目画素が白キズであると仮定した場合に、２つの異色画素のうち、その信号レベルが注目画素の信号レベルに近いほうを選択している。隣接画素選択回路６１からの出力であるＤ５７Ｌは、Ｄ５，Ｄ７のうち選択された一方の信号である。
【００８０】
ステップＳ２２において、平均値算出部６２は、同色画素に隣接する異色画素の信号レベル（Ｄ３，Ｄ９）の平均値ＡＶＥ２を算出する（ＡＶＥ２＝（Ｄ３＋Ｄ９）／２）。ステップＳ２３において、差分器６４は、ステップＳ２１で得られたＤ５７Ｌと、ステップＳ２２で得られたＡＶＥ２との差分を算出する。差分器６４は、この差分である輝度変化量ＢＬを出力する（ＢＬ＝Ｄ５７Ｌ−ＡＶＥ２）。
【００８１】
ステップＳ２４において、重み付け回路６５は、ステップＳ２３で得られたＢＬにパラメータを乗算することで、重み付けを施す。パラメータは、例えば０および４の間の任意の値とする。パラメータの値が小さいほど、輝度判定回路３８による白キズ補正の効果が強められる。
【００８２】
加算器６９は、重み付けが施されたＢＬに、ステップＳ１４（図８参照）で得られたＣｍａｘＢを加算する。これにより、加算器６９は、輝度判定による白キズ補正のための補正量とするクリップ値Ｃｍａｘ３を算出する（Ｃｍａｘ３＝ＣｍａｘＢ＋ＢＬ×パラメータ）。
【００８３】
ステップＳ２５において、選択器７１は、ステップＳ２４にて得られたＣｍａｘ３と、ステップＳ１４で得られたＣｍａｘＢとのいずれかを、比較器６３での比較結果に応じて選択する。例えば、Ｄ５７Ｌ＞ＡＶＥ２が成立する場合、選択器７１は、Ｃｍａｘ３を選択する。Ｄ５７Ｌ≦ＡＶＥ２が成立する場合、選択器７１は、ＣｍａｘＢを選択する。選択器７１からの出力ＣｍａｘＣは、Ｃｍａｘ３およびＣｍａｘＢのうち選択された一方の信号である。
【００８４】
ステップＳ２６において、選択器７３は、ステップＳ２５にて得られたＣｍａｘＣと、注目画素の信号Ｄ６とのいずれかを、ＣｍａｘＣおよびＤ６の比較結果に応じて選択する。例えば、ＣｍａｘＣ＜Ｄ６が成立する場合、選択器７３は、ＣｍａｘＣを選択する。ＣｍａｘＣ≧Ｄ６が成立する場合、選択器７３は、Ｄ６を選択する。
【００８５】
黒キズ補正のための補正量を算出する手順は、値の大小関係が適宜入れ替わる以外は、ステップＳ２１からステップＳ２６の各手順と同様とする。黒キズ補正の場合、隣接画素選択回路６１は、Ｄ５，Ｄ７のうち小さいほうを選択する（Ｄ５７Ｓ）。
【００８６】
差分器６７は、隣接画素選択回路６１で得られたＤ５７Ｓと、ステップＳ２２で得られたＡＶＥ２との差分を算出する。差分器６７は、この差分である輝度変化量ＢＳを出力する（ＢＳ＝ＡＶＥ２−Ｄ５７Ｓ）。
【００８７】
重み付け回路６８は、差分器６７で得られたＢＳにパラメータを乗算することで、重み付けを施す。パラメータは、例えば０および４の間の任意の値とする。パラメータの値が小さいほど、輝度判定回路３８による黒キズ補正の効果が強められる。
【００８８】
減算器７０は、平坦判定回路３７で得られたＣｍｉｎＢから、重み付けが施されたＢＳを減算する。これにより、減算器７０は、輝度判定による黒キズ補正のための補正量とするクリップ値Ｃｍｉｎ３を算出する（Ｃｍｉｎ３＝ＣｍｉｎＢ−ＢＳ×パラメータ）。
【００８９】
選択器７２は、減算器７０で得られたＣｍｉｎ３と、平坦判定回路３７で得られたＣｍｉｎＢとのいずれかを、比較器６６での比較結果に応じて選択する。例えば、Ｄ５７Ｓ＜ＡＶＥ２が成立する場合、選択器７２は、Ｃｍｉｎ３を選択する。Ｄ５７Ｓ≧ＡＶＥ２が成立する場合、選択器７２は、ＣｍｉｎＢを選択する。選択器７２からの出力ＣｍｉｎＣは、Ｃｍｉｍ３およびＣｍｉｍＢのうち選択された一方の信号である。
【００９０】
選択器７４は、選択器７２からのＣｍｉｎＣと、選択器７３からの入力信号とのうちの一方を、ＣｍｉｎＣおよびＤ６の比較結果に応じて選択する。例えば、ＣｍｉｎＣ＞Ｄ６が成立する場合、選択器７４は、ＣｍｉｎＣを選択する。ＣｍｉｎＣ≦Ｄ６が成立する場合、選択器７４は、選択器７３からの入力信号を選択する。
【００９１】
ステップＳ２６において、白キズ補正のための補正量としてＣｍａｘＣが選択された場合、ＣｍｉｎＣ≦Ｄ６が成立する。選択器７４は、選択器７３からの入力信号であるＣｍａｘＣを選択する。ステップＳ２６においてＤ６が選択された場合であって、かつＣｍｉｎＣ≦Ｄ６が成立する場合、選択器７４は、選択器７３からの入力信号であるＤ６を選択する。輝度判定回路３８は、選択器７４で選択された信号を出力する。
【００９２】
選択器７４から白キズ補正のための補正量であるＣｍａｘＣが出力された場合、キズ補正回路２８は、注目画素の信号をＣｍａｘＣに置き換える白キズ補正を実施する。選択器７４から黒キズ補正のための補正量であるＣｍｉｎＣが出力された場合、キズ補正回路２８は、注目画素の信号をＣｍｉｎＣに置き換える黒キズ補正を実施する。選択器７４からＤ６が出力された場合、キズ補正回路２８は、注目画素の信号をＤ６のままとする。
【００９３】
輝度判定回路３８は、注目画素に隣接する異色画素とその近傍の異色画素とにおける輝度変化量を基に、輝度判定による補正量を算出する。白キズ補正の場合、輝度判定回路３８は、注目画素に隣接する異色画素の信号レベルが、その近傍の異色画素の信号レベルより高い場合に、色差判定および平坦判定による補正量から、輝度判定による補正量への置き換えを行う。
【００９４】
輝度判定回路３８は、注目画素に隣接する異色画素の信号レベルが、その近傍の異色画素の信号レベルより高輝度側に離れているほど、輝度判定による補正量を大きい値とする。注目画素と、それに隣接する異色画素とが他の画素に比べて高輝度である場合に、輝度判定に応じた大きい補正量への置き換えを行うことで、キズ補正の効果を弱める。これにより、キズ補正回路２８は、白キズ補正の場合において、連続する２つの画素が周囲より高輝度となるように表される画像成分に対する誤補正を抑制させる。黒キズ補正の場合もこれと同様に、キズ補正回路２８は、連続する２つの画素が周囲より低輝度となるように表される画像成分に対する誤補正を抑制させる。
【００９５】
実施形態によれば、キズ補正回路２８は、水平方向に並列された画素からなる画素群を利用して、キズ補正を実施する。キズ補正回路２８は、二次元方向における画素の情報を利用するキズ補正を実施する場合に比べて、ラインメモリが不要となる分、回路規模を小さくすることができる。キズ補正回路２８は、回路規模を小さくできることで、消費電力を低減できる。
【００９６】
例えば、注目画素と、注目画素に隣接する２つの異色画素との３つにて表される画像成分が存在する場合において、異色画素の情報を利用しないこととした場合、キズ補正回路２８は、同色画素の情報のみを参照することで、注目画素がキズであると判定することがあり得る。実施形態によれば、キズ補正回路２８は、画素群のうち同色画素および異色画素の情報を利用して、キズ補正を実施する。キズ補正回路２８は、異色画素の情報を利用しないキズ補正を実施する場合に比べて、誤補正を低減できる。
【００９７】
キズ補正回路２８は、周囲に比べて輝度レベルが突出している画像成分が注目画素を含む３つの画素、あるいは２つの画素に連続して存在している場合に、当該注目画素に対する誤補正を低減できる。以上により、固体撮像装置１４は、回路規模を小さくでき、かつ誤補正を低減して高品質な画像が得られるという効果を奏する。
【００９８】
画素アレイ２２は、画素の構成要素であるＭＯＳトランジスタをセル内の複数の画素が共有する画素共有構造を備えるものであっても良い。垂直方向に配列された複数の画素をセルに含める構成では、垂直方向に配列された複数の画素がキズとなることがある。例えば、水平方向へ１個の画素、垂直方向へ４個の画素を並列させた４Ｖ１Ｈの画素共有構造では、垂直方向へ４個のキズが並列する場合がある。
【００９９】
実施形態によれば、キズ補正回路２８は、水平方向の画素群を参照するため、垂直方向に存在している複数のキズを、画素群ではそれぞれ１つのキズとみなして処理できる。キズ補正回路２８は、二次元方向における画素の情報を利用するキズ補正の場合に比べて、キズである画素の情報を明確に除外して補正量を算出可能とする。これにより、キズ補正回路２８は、垂直方向に複数の画素を配列させる画素共有構造に対し、誤補正を低減することができる。キズ補正回路２８は、例えば、４Ｖ１Ｈの画素共有構造において、垂直方向へ並列する４個のキズを正確に補正することができる。
【０１００】
キズ補正回路２８は、画素群に含める画素の個数は１３個である場合に限られず、適宜変更しても良い。例えば、キズ補正回路２８は、１３個の画素を含めた画素群を基にキズ補正を実施することで、１／３ナイキスト周波数のパターンを含む画像に対する誤補正を低減できる。
【０１０１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１０２】
１４  固体撮像装置、２０  イメージセンサ、２２  画素アレイ、２８  キズ補正回路、３２  色差算出部、３３  許容キズ除外回路、３４  隣接画素選択回路、３５  色差選別回路、３６  補正量算出部、３７  平坦判定回路、３８  輝度判定回路。
【図１】
2016005100.tif 000003
【図２】
2016005100.tif 000004
【図３】
2016005100.tif 000005
【図４】
2016005100.tif 000006
【図５】
2016005100.tif 000007
【図６】
2016005100.tif 000008
【図７】
2016005100.tif 000009
【図８】
2016005100.tif 000010
【図９】
2016005100.tif 000011
【図１０】
2016005100.tif 000012