(57)【要約】      （修正有）【課題】画像中のキズを適切に検出・補正する画像処理装置を提供する。【解決手段】画像処理装置１１０は、リニア／ノンリニア変換回路１１２と、キズ検出・補正回路１１３とを含む。リニア／ノンリニア変換回路１１２は、第１の画素信号に対して入出力１：１のリニア／ノンリニア変換を適用し、当該第１の画素信号よりもビット数の多い第２の画素信号を生成する。キズ検出・補正回路１１３は、画素毎に第２の画素信号に対してキズ検出を行い、キズとして検出された画素の値を補正する。【選択図】図１
2017147543.tif 000002
【特許請求の範囲】
【請求項１】
第１の画素信号に対して入出力１：１のリニア／ノンリニア変換を適用し、当該第１の画素信号よりもビット数の多い第２の画素信号を生成するリニア／ノンリニア変換回路と、
画素毎に前記第２の画素信号に対してキズ検出を行い、キズとして検出された画素の値を補正するキズ検出・補正回路と
を具備する、画像処理装置。
【請求項２】
前記キズ検出・補正回路は、キズ検出の対象画素と当該対象画素と同色の周囲画素群に含まれる白キズの最大許容個数および黒キズの最大許容個数を個別に設定される、請求項１記載の画像処理装置。
【請求項３】
前記キズ検出・補正回路は、
キズ検出の対象画素と同色の周囲画素群を前記第２の画素信号の値の昇順または降順に並び替える並び替え回路と、
前記周囲画素群および前記対象画素に含まれる白キズの最大許容個数および黒キズの最大許容個数に基づいて当該周囲画素群のうち正常と推定される推定正常画素群に属する画素の最大値と最小値との間の差分値を算出する差分値算出回路と、
前記対象画素がキズであるか否かを判定するために用いられる少なくとも１つのスライスレベルを前記差分値に基づいて算出するスライスレベル算出回路と
を含む、
請求項１記載の画像処理装置。
【請求項４】
前記スライスレベル算出回路は、前記対象画素の画面内位置に依存して設定される少なくとも１つの制御パラメータと前記差分値とに基づいて前記少なくとも１つのスライスレベルを算出する、請求項３記載の画像処理装置。
【請求項５】
前記スライスレベル算出回路は、前記対象画素の画面内位置と、当該対象画素に適用されたアナログゲインとに依存して設定される少なくとも１つの制御パラメータと、前記差分値とに基づいて前記少なくとも１つのスライスレベルを算出する、請求項４記載の画像処理装置。
【請求項６】
前記キズ検出・補正回路は、
キズ検出の対象画素と同色の周囲画素群を前記第２の画素信号の値の昇順または降順に並び替える並び替え回路と、
前記周囲画素群および前記対象画素に含まれる白キズの最大許容個数および黒キズの最大許容個数に基づいて当該周囲画素群のうち正常と推定される推定正常画素群に属する少なくとも一部の画素の値の相加平均または加重平均を中央理論値として算出する中央理論値算出回路と、
前記対象画素の値と前記中央理論値との差分を少なくとも１つのスライスレベルと比較し、前記対象画素がキズであるか否かを判定する判定回路と
を含む、
請求項１記載の画像処理装置。
【請求項７】
前記キズ検出・補正回路は、
キズ検出の対象画素と同色の周囲画素群を前記第２の画素信号の値の昇順または降順に並び替える並び替え回路と、
前記周囲画素群および前記対象画素に含まれる白キズの最大許容個数および黒キズの最大許容個数に基づいて当該周囲画素群のうち正常と推定される推定正常画素群に属する画素の最大値と最小値との間の差分値を算出し、当該推定正常画素群に属する少なくとも一部の画素の値の相加平均または加重平均を中央理論値として算出する、差分および中央理論値算出回路と、
少なくとも１つのスライスレベルを用いて前記対象画素がキズであるか否かを判定する判定回路と、
前記対象画素が白キズと判定された場合には前記周囲画素群のうち前記白キズの最大許容個数に依存して定められる正常画素の最大値から前記中央理論値までの範囲で白キズ用の置換値を前記差分値に基づいて算出し、前記対象画素が黒キズと判定された場合には前記周囲画素群のうち前記黒キズの最大許容個数に依存して定められる正常画素の最小値から前記中央理論値までの範囲で黒キズ用の置換値を前記差分値に基づいて算出する置換値算出回路と
を含む、
請求項１記載の画像処理装置。
【請求項８】
キズ検出の対象画素と同色の周囲画素群に属する各画素には、前記対象画素の水平方向の隣接同色画素、垂直方向の隣接同色画素、斜め右下り方向の隣接同色画素または斜め右上り方向の隣接同色画素のいずれであるかを示す位置コードが付与され、
前記キズ検出・補正回路は、
前記周囲画素群を前記第２の画素信号の値の昇順または降順に並び替える並び替え回路と、
少なくとも１つのスライスレベルを用いて前記対象画素がキズであるか否かを判定する判定回路と、
前記周囲画素群および前記対象画素に含まれる白キズの最大許容個数および黒キズの最大許容個数に基づいて当該周囲画素群のうち正常と推定される推定正常画素群から、同一の位置コードが付与された画素ペアを抽出し、前記対象画素が正常と判定された場合には抽出した画素ペアおよび前記対象画素の値にバンドパスフィルタを適用することによって前記対象画素の高域補正値を算出する高域補正制御回路と
を含む、
請求項１記載の画像処理装置。
【請求項９】
キズ検出の対象画素と同色の周囲画素群に属する各画素には、前記対象画素の水平方向の隣接同色画素、垂直方向の隣接同色画素、斜め右下り方向の隣接同色画素または斜め右上り方向の隣接同色画素のいずれであるかを示す位置コードが付与され、
前記キズ検出・補正回路は、
前記周囲画素群を前記第２の画素信号の値の昇順または降順に並び替える並び替え回路と、
前記周囲画素群および前記対象画素に含まれる白キズの最大許容個数および黒キズの最大許容個数に基づいて当該周囲画素群のうち正常と推定される推定正常画素群に属する少なくとも一部の画素の値の相加平均または加重平均を中央理論値として算出する中央理論値算出回路と、
少なくとも１つのスライスレベルを用いて前記対象画素がキズであるか否かを判定する判定回路と、
前記推定正常画素群から同一の位置コードが付与された画素ペアを抽出し、前記対象画素が正常と判定された場合には抽出した画素ペアおよび前記対象画素の値にバンドパスフィルタを適用することによって前記対象画素の高域補正値を算出し、前記対象画素がキズと判定された場合には抽出した画素ペアおよび前記中央理論値にバンドパスフィルタを適用することによって前記対象画素の高域補正値を算出する、高域補正制御回路と
を含む、
請求項１記載の画像処理装置。
【請求項１０】
キズ検出の対象画素と同色の周囲画素群に属する各画素には、前記対象画素の水平方向の隣接同色画素、垂直方向の隣接同色画素、斜め右下り方向の隣接同色画素または斜め右上り方向の隣接同色画素のいずれであるかを示す位置コードが付与され、
前記キズ検出・補正回路は、
前記周囲画素群を前記第２の画素信号の値の昇順または降順に並び替える並び替え回路と、
前記周囲画素群および前記対象画素に含まれる白キズの最大許容個数および黒キズの最大許容個数に基づいて当該周囲画素群のうち正常と推定される推定正常画素群に属する画素の最大値と最小値との間の差分値を算出し、当該推定正常画素群に属する画素の少なくとも一部の値の相加平均または加重平均を中央理論値として算出する、差分および中央理論値算出回路と、
前記対象画素の画面内位置と、当該対象画素に適用されたアナログゲインとに依存して設定される少なくとも１つの制御パラメータと、前記差分値とに基づいて少なくとも１つのスライスレベルを算出するスライスレベル算出回路と
前記周囲画素群のうち前記白キズの最大許容個数に依存して定められる推定白キズ画素の最小値と前記対象画素の値との間の差分、前記周囲画素群のうち前記黒キズの最大許容個数に依存して定められる推定黒キズ画素の最大値と前記対象画素の値との間の差分、ならびに、前記中央理論値と前記対象画素の値との間の差分のうち少なくとも１つを、前記少なくとも１つのスライスレベルと比較し、前記対象画素がキズであるか否かを判定する判定回路と、
前記対象画素が白キズと判定された場合には前記周囲画素群のうち前記白キズの最大許容個数に依存して定められる正常画素の最大値から前記中央理論値までの範囲で白キズ用の置換値を前記差分値に基づいて算出し、前記対象画素が黒キズと判定された場合には前記周囲画素群のうち前記黒キズの最大許容個数に依存して定められる正常画素の最小値から前記中央理論値までの範囲で黒キズ用の置換値を前記差分値に基づいて算出する置換値算出回路と
前記推定正常画素群から同一の位置コードが付与された画素ペアを抽出し、前記対象画素が正常と判定された場合には抽出した画素ペアおよび前記対象画素の値にバンドパスフィルタを適用することによって前記対象画素の高域補正値を算出し、前記対象画素がキズと判定された場合には抽出した画素ペアおよび前記中央理論値にバンドパスフィルタを適用することによって前記対象画素の高域補正値を算出する、高域補正制御回路と
を含む、
請求項１記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、画像処理に関する。
【背景技術】
【０００２】
ＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）は、入力画像に対して、イメージセンサのばらつきなどに起因するキズを検出・補正することがある。無欠陥のイメージセンサを製造することは現実的でないから、係る検出・補正処理を用いた画質の向上が図られている。
【０００３】
しかしながら、キズを誤って検出・補正したり、キズに対して過度な補正を行ったりすると、かえって画質が劣化することもある。従って、画像中のキズを適切に検出・補正して画質を向上させることが求められている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６８３２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
実施形態は、画像中のキズを適切に検出・補正することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態によれば、画像処理装置は、リニア／ノンリニア変換回路と、キズ検出・補正回路とを含む。リニア／ノンリニア変換回路は、第１の画素信号に対して入出力１：１のリニア／ノンリニア変換を適用し、当該第１の画素信号よりもビット数の多い第２の画素信号を生成する。キズ検出・補正回路は、画素毎に第２の画素信号に対してキズ検出を行い、キズとして検出された画素の値を補正する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る画像処理装置を例示するブロック図。
【図２】ＲＡＷ信号の画素配列を例示する図。
【図３】図１のγ補正回路によって行われるガンマ補正を例示するグラフ。
【図４】図１２の同時化回路によって抽出される５×５画素領域を例示する図。
【図５】キズ検出の対象画素と同色の周囲画素群に付与される位置コードを例示する図。
【図６】白キズおよび黒キズの最大許容個数が共に１個である場合に行われるキズ検出の説明図。
【図７】白キズおよび黒キズの最大許容個数が共に２個である場合に行われるキズ検出の説明図。
【図８】白キズおよび黒キズの最大許容個数がそれぞれ２個および１個である場合に行われるキズ検出の説明図。
【図９】白キズおよび黒キズの最大許容個数がそれぞれ１個および２個である場合に行われるキズ検出の説明図。
【図１０】図１２の高域補正制御回路によって行われる高域補正値の算出処理の説明図。
【図１１】図１２の高域補正制御回路によって行われる高域補正値の算出処理の説明図。
【図１２】図１のキズ検出・補正回路を例示するブロック図。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。
【０００９】
（第１の実施形態）  
図１に例示されるように、第１の実施形態に係る画像処理装置は、光学レンズ１０１と、色フィルタ１０２と、受光画素１０３と、ＡＤＣ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）１０４と、信号処理回路１１０とを含む。なお、以降の説明では、光学レンズ１０１、色フィルタ１０２、受光画素１０３およびＡＤＣ１０４を、まとめてアナログ画素部と呼ぶこともある。
【００１０】
光学レンズ１０１は、外界からの入射光を、色フィルタ１０２を介して受光画素１０３に集光する。受光画素１０３は、光学レンズ１０１を通過した入射光をその光量に応じた信号レベルを持つ電気信号へと変換する。受光画素１０３は、生成した電気信号をＡＤＣ１０４へと出力する。
【００１１】
後述されるＲＡＷ信号の値は、対応する受光画素１０３（画素）における入射光の光量に依存する。ＲＡＷ信号は、例えば図２に示されるようなベイヤー配列のＲＧＢ信号となる。図２の画素配列では、赤画素（Ｒ）、２つの緑画素（Ｇｒ，Ｇｂ）および青画素（Ｂ）からなる４画素のブロックが規則的に並べられる。なお、ＲＡＷ信号の画素配列は、色フィルタ１０２の配列に依存して定められる。ＲＡＷ信号の画素配列は、後述される信号処理回路１１０によって行われる一連の画像処理（ＩＳＰ前処理）の過程で不変である。
【００１２】
ＡＤＣ１０４は、受光画素１０３から電気信号を受け取り、当該電気信号をアナログ／デジタル変換することによって、デジタルのリニアＲＡＷ信号を生成する。ＡＤＣ１０４は、リニアＲＡＷ信号を信号処理回路１１０へと出力する。なお、受光画素１０３〜ＡＤＣ１０４の感度（飽和レベル設定）は、後述されるＨＤＲ比率（ダイナミックレンジの拡大率）に応じて設定される。
【００１３】
信号処理回路１１０は、ＡＤＣ１０４からリニアＲＡＷ信号を受け取る。信号処理回路１１０は、リニアＲＡＷ信号に対してキズの検出・補正を含む種々の画像処理を施す。信号処理回路１１０は、処理済みの信号を図示されない後段の装置（例えば、表示装置、通信装置、記録装置など）へと出力する。
【００１４】
具体的には、信号処理回路１１０は、第１のデジタルゲイン回路１１１と、γ補正回路１１２と、キズ検出・補正回路１１３と、ノイズ低減回路１１４と、第２のデジタルゲイン回路１１５と、ＨＤＲ圧縮回路１１６とを含む。
【００１５】
第１のデジタルゲイン回路１１１は、ＡＤＣ１０４からリニアＲＡＷ信号を受け取る。第１のデジタルゲイン回路１１１は、リニアＲＡＷ信号にデジタルゲインを乗算し、ゲイン補正済信号（第１の画素信号）を得る。第１のデジタルゲイン回路１１１は、ゲイン補正済信号をγ補正回路１１２へと出力する。
【００１６】
このデジタルゲインは、色調を補正（典型的には、ホワイトバランスを調整）するための色毎に設定される第１のゲイン、ならびに、シェーディング補正のために画面内位置に応じて設定される第２のゲイン、もしくは、感度を補正するための１Ｖ有効期間（フレーム間隔に相当）に一律で設定される第３のゲインのうち少なくとも１つに依存して定められてもよい。
【００１７】
γ補正回路１１２は、第１のデジタルゲイン回路１１１からゲイン補正済信号を受け取る。γ補正回路１１２は、ゲイン補正済信号にガンマ補正（リニア／ノンリニア変換に相当）を適用することによって、当該ゲイン補正済信号よりもビット数の多いガンマ補正済信号（第２の画素信号）を生成する。γ補正回路１１２は、ガンマ補正済信号をキズ検出・補正回路１１３へと出力する。
【００１８】
具体的には、γ補正回路１１２は、例えば下記数式（１）に示される入出力１：１（すなわち、異なる入力間で対応する出力同士に重複がない）の多ビット化ガンマ補正をゲイン補正済信号に適用することができる。
【００１９】
数式（１）は、ガンマ補正における理想特性を示し、この場合は計算上で求められる理想的なリニア／ノンリニア変換になる（小数点以下は四捨五入）。
【００２０】
【数１】
2017147543.tif 000003
【００２１】
数式（１）において、ＯＵＴ（ｘ）はＡＤＣ１０４の入力信号レベルがｘ［％］の場合のガンマ補正済信号の値を表し、ＩＮ（ｘ）は入力信号レベルがｘ［％］の場合のゲイン補正済信号の値を表す。ＩＮ（０）およびＩＮ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のゲイン補正済信号の設定値を表す。
【００２２】
γは、例えば信号処理回路１１０の後段に設けられる図示されない表示装置の入出力特性に応じて定められるガンマ補正係数である。例えばγ＝０．４５の場合には、入出力１：１を守ると、出力ビット数は入力ビット数よりも２ビット以上多くなる。
【００２３】
ＯＵＴ（０）およびＯＵＴ（１００）は、それぞれ、入力信号レベルが０［％］（黒）および１００［％］（白）の場合のガンマ補正済信号の設定値を表す。ＯＵＴ（１００）−ＯＵＴ（０）を大きくすれば、ガンマ補正済信号のビット数を任意に増加させることができる。ガンマ補正は入出力１：１のリニア／ノンリニア変換であるから、ガンマ補正済信号のビット数がゲイン補正済信号に比べてどれだけ増加しても、ガンマ補正済信号自体の階調数はゲイン補正済信号の階調数を超えることはない。しかしながら、ガンマ補正済信号のビット数を大きく設定すれば、後述される種々のビット演算の過程で量子化精度を改善する効果がある。
【００２４】
ＩＮ（０）＝２５６、ＩＮ（１００）＝２８１６、γ＝０．４５、ＯＵＴ（０）＝１５３６０、ＯＵＴ（１００）＝５６３２０の場合に、γ補正回路１１２は図３に例示されるガンマ補正を１２ビットのゲイン補正済信号に適用して１６ビットのガンマ補正済信号を生成する。
【００２５】
図３のγ補正によれば、ゲイン補正済信号には信号レベル毎に個別のゲインが与えられる。そして、ガンマ補正済信号は、高輝度側（ゲイン補正済信号の値が大きい側）に比べて低輝度側（ゲイン補正済信号の値が小さい側）の解像度（分解能）が粗い。
【００２６】
なお、γ補正は、関数として定義されてもよいし、例えばルックアップテーブルなどのテーブルを用いて定義されてもよい。また、γ補正は、他の入出力１：１の多ビット化リニア／ノンリニア変換に置き換えることもできる。
【００２７】
キズ検出・補正回路１１３は、γ補正回路１１２からガンマ補正済信号を受け取る。キズ検出・補正回路１１３は、画素毎にガンマ補正済信号に対してキズ検出を行い、ある画素がキズとして検出されたならば、当該画素の（ガンマ補正済信号の）値を当該画素と同色の複数の周囲画素（以降、周囲画素群とも呼ばれる）の値を用いて補正する。さらに、キズ検出・補正回路１１３は、キズ検出・補正回路１１３によるキズ補正、および、ノイズ低減回路１１４によるノイズ低減に伴う解像度低下を補うために、キズ補正済信号に対して後述される高域補正を行って高域補正済信号を生成する。キズ検出・補正回路１１３は、高域補正済信号をノイズ低減回路１１４へと出力する。
【００２８】
具体的には、キズ検出・補正回路１１３は、図１２に例示されるように、同時化回路１２１と、並び替え回路１２２と、差分および中央理論値算出回路１２３と、パラメータ制御回路１２４と、スライスレベル算出回路１２５と、キズ判定回路１２６と、キズカウンタ１２７と、置換値算出回路１２８と、キズ補正回路１２９と、高域補正制御回路１３０と、高域補正回路１３１とを含む。
【００２９】
同時化回路１２１は、例えば４Ｈラインメモリを用いて実装することができる。同時化回路１２１は、γ補正回路１１２からγ補正済信号１０を受け取る。同時化回路１２１は、γ補正済信号１０を５ライン同時化することにより、図４に例示されるような５×５画素領域を抽出する。
【００３０】
抽出された５×５画素領域の中央を占める画素（図４の例ではＲ２２）が、キズ検出の対象とされる。対象画素に加えて当該対象画素と同色の周囲画素群に属する８個の画素（図４の例では、Ｒ００、Ｒ０２、Ｒ０４、Ｒ２０、Ｒ２４、Ｒ４０、Ｒ４２およびＲ４４）の値を用いてキズ検出が行われる。キズ検出の対象画素は、受光画素１０３の有効画素領域の走査順に従って順次選択される。
【００３１】
また、これら周囲画素群に属する８個の画素には、図５に例示されるように、対象画素との位置関係を表す２ビットの位置コードがそれぞれ（例えば下位ビットとして）付加される。図５の例では、“０”は水平方向の隣接同色画素であることを表し、“１”は垂直方向の隣接同色画素であることを表し、“２”は斜め右下り方向の隣接同色画素であることを表し、“３”は斜め右上り方向の隣接同色画素であることを表す。これらの位置コードは、高域補正において用いられる。
【００３２】
同時化回路１２１は、対象画素値１１（以降の説明では、Ｒｃとも呼ばれる）を、キズ判定回路１２６、キズ補正回路１２９および高域補正制御回路１３０へと出力する。さらに、同時化回路１２１は、周囲画素群を並び替え回路１２２へと出力する。
【００３３】
並び替え回路１２２は、同時化回路１２１から周囲画素群を受け取る。並び替え回路１２２は、周囲画素群に属する８個の同色画素値を降順または昇順に並び替える。以降の説明では、周囲画素値は、降順に、Ｒｎ、Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、Ｒｇ、Ｒｆ、Ｒｅに並べ替えられることとする。
【００３４】
並び替え回路１２２は、並び替えられた周囲画素群のうち、最大値（Ｒｎ）および最小値（Ｒｅ）を除いた６個の値（Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆ）を差分および中央理論値算出回路１２３ならびに高域補正制御回路１３０へと出力する。さらに、並び替え回路１２２は、並び替えられた周囲画素群のうち、最大値（Ｒｎ）、第２番目に大きな値（Ｒｍ）、最小値（Ｒｅ）および第２番目に小さな値（Ｒｆ）をキズ判定回路１２６および置換値算出回路１２８へと出力する。
【００３５】
差分および中央理論値算出回路１２３は、並び替え回路１２２から６個の周囲画素値（Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆ）を受け取る。差分および中央理論値算出回路１２３は、キズ検出の前提条件に基づいて、６個の周囲画素値に含まれる推定正常画素群を特定する。なお、本実施形態では、画素はキズ（白キズ若しくは黒キズ）または正常のどちらかと仮定される。現実には、種々のノイズに埋もれる程度の微細なキズに相当する画素も存在するが、このようなキズは適切に検出・補正することが困難なので、正常画素として取り扱われる。
【００３６】
ここで、キズ検出の前提条件は、対象画素および周囲画素群の合計９個の画素に含まれる白キズまたは黒キズの最大許容個数（以降、それぞれｗｍａｘおよびｂｍａｘとも呼ばれる）を定める。キズの最大許容個数が０個であることはキズが許容されないことを意味しているため、このような前提条件が設定されればキズ補正を行う必要はないが、無欠陥のイメージセンサを製造することは現実的ではない。他方、キズの個数が３個である場合には、直線上に並んだキズと縞画像との区別ができないのでキズ補正は機能しなくなる。そこで、以降の説明では、キズ検出の前提条件は、キズの最大許容個数が１個（単画素キズ補正）または２個（同色２画素連続キズ補正）となるように設定されることとする。
【００３７】
キズ検出の前提条件は、白キズおよび黒キズに共通に設定することも可能であるし、これらの各々に個別に設定することも可能である。単画素キズ補正によれば、後述されるように、同色２画素連続キズ補正に比べて高域補正が行われやすいので画質劣化を抑制できるが、イメージセンサの素性が悪い場合にキズを補正し難い。
【００３８】
一般的には、黒キズに比べて白キズの発生頻度が高い。故に、例えば、黒キズには単画素キズ補正を適用し、白キズには同色２画素連続キズ補正を適用することで、発生頻度の高い白キズを確実に補正しつつ画質劣化を抑制することが可能である。
【００３９】
白キズの最大許容個数（ｗｍａｘ）が１個の場合には、周囲画素群に属する画素のうち最大値（Ｒｎ）のみが、白キズに相当する可能性があるので推定正常画素群から除外される。白キズの最大許容個数（ｗｍａｘ）が２個の場合には、周囲画素群に属する画素のうち最大値（Ｒｎ）に加えて第２番目に大きい画素値（Ｒｍ）が、白キズに相当する可能性があるので推定正常画素群から除外される。
【００４０】
同様に、黒キズの最大許容個数（ｂｍａｘ）が１個の場合には、周囲画素群に属する画素のうち最小値（Ｒｅ）のみが、黒キズに相当する可能性があるので推定正常画素群から除外される。黒キズの最大許容個数（ｂｍａｘ）が２個の場合には、周囲画素群に属する画素のうち最小素値（Ｒｅ）に加えて第２番目に小さい画素値（Ｒｆ）が、黒キズに相当する可能性があるので推定正常画素群から除外される。
【００４１】
すなわち、白キズおよび黒キズの最大許容個数（ｗｍａｘおよびｂｍａｘ）が共に１個の場合には、差分および中央理論値算出回路１２３は、６個の周囲画素値（Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆ）全てを推定正常画素群として特定する。
【００４２】
白キズおよび黒キズの最大許容個数（ｗｍａｘおよびｂｍａｘ）がそれぞれ１個および２個の場合には、差分および中央理論値算出回路１２３は、Ｒｆを除外した５個の周囲画素値（Ｒｍ、Ｒｋ、Ｒｊ、ＲｈおよびＲｇ）を推定正常画素群として特定する。
【００４３】
白キズおよび黒キズの最大許容個数（ｗｍａｘおよびｂｍａｘ）がそれぞれ２個および１個の場合には、差分および中央理論値算出回路１２３は、Ｒｍを除外した５個の周囲画素値（Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆ）を推定正常画素群として特定する。
【００４４】
白キズおよび黒キズの最大許容個数（ｗｍａｘおよびｂｍａｘ）が共に２個の場合には、差分および中央理論値算出回路１２３は、ＲｍおよびＲｆを除外した４個の周囲画素値（Ｒｋ、Ｒｊ、ＲｈおよびＲｇ）を推定正常画素群として特定する。
【００４５】
差分および中央理論値算出回路１２３は、特定した推定正常画素群の最大値と最小値との間の差分値（以降の説明では、Ｒｄとも呼ばれる）１３を算出する。差分および中央理論値算出回路１２３は、差分値１３をスライスレベル算出回路１２５、置換値算出回路１２８へと出力する。
【００４６】
推定正常画素群の最大値は、白キズの最大許容個数（ｗｍａｘ）に依存して切り替わることになる。白キズの最大許容個数（ｗｍａｘ）が１個の場合には、推定正常画素群の最大値はＲｍである。白キズの最大許容個数（ｗｍａｘ）が２個の場合には、推定正常画素群の最大値はＲｋである。
【００４７】
同様に、推定正常画素群の最小値は、黒キズの最大許容個数（ｂｍａｘ）に依存して切り替わることになる。黒キズの最大許容個数（ｂｍａｘ）が１個の場合には、推定正常画素群の最小値はＲｆである。黒キズの最大許容個数（ｂｍａｘ）が２個の場合には、推定正常画素群の最小値はＲｇである。
【００４８】
周囲画素群に属する画素のうち第３番目に大きい画素値（Ｒｊ）、第４番目に大きい画素値（Ｒｋ）、第４番目に小さい画素値（Ｒｈ）および第３番目に小さい画素値（Ｒｇ）は、キズ検出の前提条件に関わらず常に推定正常画素群に組み込まれる。そこで、差分および中央理論値算出回路１２３は、これら４つの画素値を用いて中央理論値１２（以降の説明では、Ｒａとも呼ばれる）を算出する。差分および中央理論値算出回路１２３は、中央理論値１２を、キズ判定回路１２６、置換値算出回路１２８および高域補正制御回路１３０へと出力する。さらに、ノイズ低減回路１１４によって中央理論値１２が用いられる場合には、差分および中央理論値算出回路１２３は中央理論値１２をノイズ低減回路１１４へと出力してもよい。
【００４９】
Ｒｃも含め、Ｒｅ、Ｒｆ、Ｒｇ、Ｒｈ、Ｒｊ、Ｒｋ、Ｒｍ、Ｒｎは全て、入出力１：１のリニア／ノンリニア変換を通ったガンマ補正済信号である。故に、以下の算出式で導き出される中央理論値１２（Ｒａ）、差分値１３（Ｒｄ）も、キズを含まない高精度なノンリニア算出値となる。
【００５０】
例えば、差分および中央理論値算出回路１２３は、下記数式（２）に示される加重平均を算出することで中央理論値１２を導出してもよい。
【００５１】
【数２】
2017147543.tif 000004
【００５２】
なお、中央理論値１２は、ここで説明された技法とは異なる技法で導出されてもよい。例えば、中央理論値１２は、相加平均により導出されてもよいし、数式（２）に例示された重みとは異なる重みを用いて導出されてもよい。
【００５３】
差分および中央理論値算出回路１２３は、差分値算出回路および中央理論値算出回路に機能分割することもできる。
【００５４】
スライスレベル算出回路１２５は、差分および中央理論値算出回路１２３から差分値１３（Ｒｄ）を受け取り、後述されるパラメータ制御回路１２４から第１乃至第４の制御パラメータ（以降の説明では、ｓ１ｌｖ乃至ｓ４ｌｖとも呼ばれる）を受け取る。スライスレベル算出回路１２５は、差分値１３（Ｒｄ）および第１乃至第４の制御パラメータ（ｓ１ｌｖ乃至ｓ４ｌｖ）に基づいて、第１乃至第４のスライスレベル（以降の説明では、Ｓ１乃至Ｓ４とも呼ばれる）を算出する。スライスレベル算出回路１２５は、第１乃至第４のスライスレベル（Ｓ１乃至Ｓ４）をキズ判定回路１２６へと出力する。
【００５５】
第１のスライスレベル（Ｓ１）は、図６、図７、図８および図９の［１］に示されるように、白キズの最大許容個数（ｗｍａｘ）に依存して定められる推定白キズ画素の最小値（ＲｎまたはＲｍ）を対象画素値１１（Ｒｃ）から減じた値と比較される。第２のスライスレベル（Ｓ２）は、図６、図７、図８および図９の［２］に示されるように、対象画素値１１（Ｒｃ）から中央理論値１２（Ｒａ）を減じた値と比較される。
【００５６】
第３のスライスレベル（Ｓ３）は、図６、図７、図８および図９の［３］に示されるように、黒キズの最大許容個数（ｂｍａｘ）に依存して定められる推定黒キズ画素の最大値（ＲｅまたはＲｆ）から対象画素値１１（Ｒｃ）を減じた値と比較される。第４のスライスレベル（Ｓ４）は、図６、図７、図８および図９の［４］に示されるように、中央理論値１２（Ｒａ）から対象画素値１１（Ｒｃ）を減じた値と比較される。
【００５７】
具体的には、スライスレベル算出回路１２５は、以下のように第１乃至第４のスライスレベル（Ｓ１乃至Ｓ４）を算出する。
【００５８】
【数３】
2017147543.tif 000005
【００５９】
数式（３）において、ｐ、ｑ、ｒおよびｓは、例えばキズ検出の前提条件に依存して定められる。数式（３）のように第１乃至第４のスライスレベル（Ｓ１乃至Ｓ４）を差分値１３（Ｒｄ）と共に増減させることにより、対象画素の周辺の輝度変化が大きさとキズ判定の厳格さとのバランスを取ることができる。故に、対象画素の周辺の輝度変化が小さい場合のキズの見落とし、ならびに、対象画素の周辺の輝度変化が大きい場合のキズの誤検出を効果的に防止することができる。例えば、明暗境界のエッジ部分においてキズの誤検出に伴うキズ補正が行われにくくなるので、解像度の低下を防止することができる。
【００６０】
第１のスライスレベル（Ｓ１）は、例えば次のように設定することができる。対象画素値１１（Ｒｃ）が推定白キズ画素の最小値（ＲｎまたはＲｍ）に比べて所定の許容幅を超えて上回っている場合に、当該対象画素値１１が白キズであると推定することは妥当である。そして、第１のスライスレベル（Ｓ１）に関する所定の許容幅は、例えば推定正常画素群における連続画素値間の平均間隔を基準に定めることができる。
【００６１】
例えば、白キズおよび黒キズの最大許容個数（ｗｍａｘおよびｂｍａｘ）が共に１個である場合に、差分値１３（Ｒｄ）は合計６個の画素からなる推定正常画素群の最大値と最小値との間の差分を示している（図６における、Ｒｄ＝Ｒｍ−Ｒｆ）。上記平均間隔は、差分値１３（Ｒｄ）を（総画素数−１）である「５」で除算することによって得られる。
【００６２】
後述されるように、第１の制御パラメータ（ｓ１ｌｖ）は可変であるが、例えばこの第１の制御パラメータの所定の基準値（例えば、最大値、最小値、平均値など）の５倍をｐに設定することができる。この設定例では、第１の制御パラメータが基準値に一致するときに、Ｓ１＝Ｒｄ／５となる。すなわち、第１のスライスレベル（Ｓ１）を上記平均間隔に一致させることができる。他の前提条件についても、以下のように設定すれば、第１のスライスレベル（Ｓ１）を上記平均間隔に一致させることができる。
【００６３】
【数４】
2017147543.tif 000006
【００６４】
第３のスライスレベル（Ｓ３）にも、第１のスライスレベル（Ｓ１）と同様の設定が可能である。
【００６５】
【数５】
2017147543.tif 000007
【００６６】
第２のスライスレベル（Ｓ２）は、例えば次のように設定することができる。対象画素値１１（Ｒｃ）が中央理論値１２（Ｒａ）に比べて所定の許容幅を超えて上回っている場合に、当該対象画素値１１が白キズであると推定することは妥当である。そして、この所定の許容幅は、例えば推定正常画素群における連続画素値間の平均間隔を基準に定めることができる。
【００６７】
例えば、白キズおよび黒キズの最大許容個数（ｗｍａｘおよびｂｍａｘ）が共に１個である場合に、中央理論値１２（Ｒａ）から合計４．５個分の平均間隔（すなわち、ＲａからＲｊまでの０．５個分の平均間隔と、ＲｊからＲｎまでの３個分の平均間隔と、ＲｎからＲｃまでの１個分の平均間隔との和）を第２のスライスレベル（Ｓ２）に関する許容幅と定めることができる。
【００６８】
後述されるように、第２の制御パラメータ（ｓ２ｌｖ）は可変であるが、例えばこの第２の制御パラメータの所定の基準値の９／１０倍をｑに設定することができる。この設定例では、第２の制御パラメータが基準値に一致するときに、Ｓ２＝９Ｒｄ／１０となる。すなわち、第２のスライスレベル（Ｓ２）を上記平均間隔の４．５倍に一致させることができる。他の前提条件についても、以下のように設定すれば、前提条件に依存する所定の倍率を上記平均間隔に乗じた値に第２のスライスレベル（Ｓ２）を一致させることができる。
【００６９】
【数６】
2017147543.tif 000008
【００７０】
第４のスライスレベル（Ｓ４）にも、第２のスライスレベル（Ｓ２）と同様の設定が可能である。
【００７１】
【数７】
2017147543.tif 000009
【００７２】
キズ判定回路１２６は、同時化回路１２１から対象画素値１１（Ｒｃ）を受け取り、並び替え回路１２２から周囲画素群に属する画素のうち最大値（Ｒｎ）、第２番目に大きな値（Ｒｍ）、最小値（Ｒｅ）および第２番目に小さな値（Ｒｆ）を受け取り、差分および中央理論値算出回路１２３から中央理論値１２（Ｒａ）を受け取り、スライスレベル算出回路１２５から第１乃至第４のスライスレベル（Ｓ１乃至Ｓ４）を受け取る。
【００７３】
キズ判定回路１２６は、第１のスライスレベル（Ｓ１）および第２のスライスレベル（Ｓ２）の少なくとも一方を用いて白キズ判定を行う。
【００７４】
具体的には、キズ判定回路１２６は、第１のスライスレベル（Ｓ１）を用いて次の条件式の真偽を判定する。
【００７５】
【数８】
2017147543.tif 000010
【００７６】
また、キズ判定回路１２６は、第２のスライスレベル（Ｓ２）を用いて次の条件式の真偽を判定する。
【００７７】
【数９】
2017147543.tif 000011
【００７８】
キズ判定回路１２６は、条件式（８）および条件式（９）の両方が真である場合に対象画素値１１（Ｒｃ）が白キズであると判定してもよいし、条件式（８）および条件式（９）の少なくとも一方が真である場合に対象画素値１１（Ｒｃ）が白キズであると判定してもよい。
【００７９】
キズ判定回路１２６は、第３のスライスレベル（Ｓ３）および第４のスライスレベル（Ｓ４）の少なくとも一方を用いて黒キズ判定を行う。
【００８０】
具体的には、キズ判定回路１２６は、第３のスライスレベル（Ｓ３）を用いて次の条件式の真偽を判定する。
【００８１】
【数１０】
2017147543.tif 000012
【００８２】
また、キズ判定回路１２６は、第４のスライスレベル（Ｓ４）を用いて次の条件式の真偽を判定する。
【００８３】
【数１１】
2017147543.tif 000013
【００８４】
キズ判定回路１２６は、条件式（１０）および条件式（１１）の両方が真である場合に、対象画素値１１（Ｒｃ）が黒キズであると判定してもよいし、条件式（１０）および条件式（１１）の少なくとも一方が真である場合に、対象画素値１１（Ｒｃ）が黒キズであると判定してもよい。
【００８５】
キズ判定回路１２６は、対象画素値１１（Ｒｃ）が白キズ、黒キズまたは正常のいずれに相当するかを示す判定結果信号を生成する。キズ判定回路１２６は、判定結果信号を、キズカウンタ１２７、置換値算出回路１２８、キズ補正回路１２９および高域補正制御回路１３０へと出力する。
【００８６】
パラメータ制御回路１２４は、キズ検出の対象画素の画面内位置およびアナログ画素部において当該対象画素に適用されたアナログゲインを示す情報を受け取る。パラメータ制御回路１２４は、これらの情報に基づいて、第１乃至第４の制御パラメータ（ｓ１ｌｖ乃至ｓ４ｌｖ）をそれぞれ設定する。パラメータ制御回路１２４は、第１乃至第４の制御パラメータ（ｓ１ｌｖ乃至ｓ４ｌｖ）をスライスレベル算出回路１２５へと出力する。
【００８７】
キズ検出を適切に行うためには、図４に示されるように、対象画素を中心に５×５画素領域が必要である。換言すれば、画面端（上端、右端、下端および左端）から２画素分の領域に属する画素については、周囲の８個の同色画素の一部を抽出することができないので適切なキズ検出を行うことができない。さらに、人間の視覚特性によれば、画面端側のキズは画面中央側のキズに比べて目立ちにくい。加えて、光学レンズ１０１の特性上、画面端側の解像度は画面中央側に比べて低くなるが、画面端側でキズ補正を行うと解像度がいっそう低下することになる。
【００８８】
故に、キズ検出の対象画素の画面内位置が画面中央から離れるほど第１乃至第４のスライスレベル（Ｓ１乃至Ｓ４）を厳格に（高く）すれば、画面端側でのキズの検出・補正が抑制されるので解像度が過度に低下することを防止することができる。
【００８９】
具体的には、パラメータ制御回路１２４は、第１乃至第４の制御パラメータ（ｓ１ｌｖ乃至ｓ４ｌｖ）を次のように設定してもよい。
【００９０】
【数１２】
2017147543.tif 000014
【００９１】
数式（１２）において、Ｌｍａｘは、画面中央から対象画素までの距離の最大値を表しており、画面中央から画面隅までの距離に等しい。ここで、画面中央とは、画面の中点に限らずその周囲の２×２画素であってもよい。Ｌは、画面中央から対象画素までの距離を表しており、下記数式（１３）で算出することができる。
【００９２】
【数１３】
2017147543.tif 000015
【００９３】
数式（１３）において、ｘおよびｙはそれぞれ対象画素の画面中央を基準とした相対的な水平位置および垂直位置を表している。例えば、受光画素１０３の順次走査により、対象画素および画面中央の水平位置および垂直位置を示すカウンタ値をそれぞれ得ることができる。対象画素の水平位置および垂直位置から画面中央の水平位置および垂直位置をそれぞれ減算すれば、ｘおよびｙを導出することができる。
【００９４】
数式（１２）において、ＮＥＡＲ＿Ｓ１ＬＶ乃至ＮＥＡＲ＿Ｓ４ＬＶは、対象画素の画面内位置が画面中央の場合の第１乃至第４の制御パラメータ（ｓ１ｌｖ乃至ｓ４ｌｖ）の設定値を表す。ＦＡＲ＿Ｓ１ＬＶ乃至ＦＡＲ＿Ｓ４ＬＶは、対象画素の画面内位置が画面隅の場合の第１乃至第４の制御パラメータの設定値を表す。なお、ＮＥＡＲ＿Ｓ１ＬＶ乃至ＮＥＡＲ＿Ｓ４ＬＶは、ＦＡＲ＿Ｓ１ＬＶ乃至ＦＡＲ＿Ｓ４ＬＶに比べてそれぞれ大きいこととする。
【００９５】
また、一般的に、アナログ画素部において高いアナログゲインを用いて高感度撮影を行った場合には、ノイズおよびキズが目立つ低ＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）のリニアＲＡＷ信号が信号処理回路１１０に与えられる。故に、アナログゲインが高い場合には、解像度の低下を防止するよりもＳＮＲを改善するためにキズ補正を積極的に行うことが好ましい。
【００９６】
そこで、パラメータ制御回路１２４は、キズ検出の対象画素の画面内位置に加えてアナログ画素部において当該対象画素に適用されたアナログゲインに基づいて、第１乃至第４の制御パラメータ（ｓ１ｌｖ乃至ｓ４ｌｖ）を設定してもよい。具体的には、パラメータ制御回路１２４は、前述のＮＥＡＲ＿Ｓ１ＬＶ乃至ＮＥＡＲ＿Ｓ４ＬＶおよびＦＡＲ＿Ｓ１ＬＶ乃至ＦＡＲ＿Ｓ４ＬＶを次のように設定する。
【００９７】
【数１４】
2017147543.tif 000016
【００９８】
【数１５】
2017147543.tif 000017
【００９９】
数式（１４）において、ＡＧｍａｘおよびＡＧｍｉｎはアナログゲインの最大値および最小値をそれぞれ表し、ＡＧは対象画素に適用されたアナログゲインを表す。ＡＧＭＩＮ＿Ｎ１乃至ＡＧＭＩＮ＿Ｎ４は、アナログゲインが最小かつ対象画素の画面内位置が画面中央である場合の第１乃至第４の制御パラメータ（ｓ１ｌｖ乃至ｓ４ｌｖ）の設定値を表す。ＡＧＭＡＸ＿Ｎ１乃至ＡＧＭＡＸ＿Ｎ４は、アナログゲインが最大かつ対象画素の画面内位置が画面中央である場合の第１乃至第４の制御パラメータの設定値を表す。なお、ＡＧＭＩＮ＿Ｎ１乃至ＡＧＭＩＮ＿Ｎ４は、ＡＧＭＡＸ＿Ｎ１乃至ＡＧＭＡＸ＿Ｎ４に比べてそれぞれ大きいこととする。
【０１００】
数式（１５）において、ＡＧＭＩＮ＿Ｆ１乃至ＡＧＭＩＮ＿Ｆ４は、アナログゲインが最小かつ対象画素の画面内位置が画面隅である場合の第１乃至第４の制御パラメータ（ｓ１ｌｖ乃至ｓ４ｌｖ）の設定値を表す。ＡＧＭＡＸ＿Ｆ１乃至ＡＧＭＡＸ＿Ｆ４は、アナログゲインが最大かつ対象画素の画面内位置が画面隅である場合の第１乃至第４の制御パラメータの設定値を表す。なお、ＡＧＭＩＮ＿Ｆ１乃至ＡＧＭＩＮ＿Ｆ４は、ＡＧＭＡＸ＿Ｆ１乃至ＡＧＭＡＸ＿Ｆ４に比べてそれぞれ大きいこととする。
【０１０１】
キズカウンタ１２７は、キズ判定回路１２６から判定結果信号を受け取る。キズカウンタ１２７は、判定結果信号に基づいて画面内の白キズおよび黒キズの数をそれぞれカウントする。
【０１０２】
置換値算出回路１２８は、並び替え回路１２２から周囲画素群のうち、最大値（Ｒｎ）、第２番目に大きな値（Ｒｍ）、最小値（Ｒｅ）および第２番目に小さな値（Ｒｆ）を受け取り、差分および中央理論値算出回路１２３から中央理論値１２（Ｒａ）および差分値１３（Ｒｄ）を受け取り、キズ判定回路１２６から判定結果信号を受け取る。
【０１０３】
置換値算出回路１２８は、対象画素値１１（Ｒｃ）が白キズと判定された場合には白キズ用の置換値を算出し、黒キズと判定された場合には黒キズ用の置換値を算出する。置換値算出回路１２８は、白キズ用の置換値または黒キズ用の置換値をキズ補正回路１２９へと出力する。
【０１０４】
対象画素値１１（Ｒｃ）が白キズと判定された場合には、ｗｍａｘ＝１であれば周囲画素群のうちの最大値（Ｒｎ）が正常画素の最大値となる。同様に、ｗｍａｘ＝２であれば周囲画素群のうちの第２番目に大きな値（Ｒｍ）が正常画素の最大値となる。このような正常画素の最大値を白キズ用の置換値として用いることは誤補正時の悪影響を抑制する観点からは効果的であるが、他方で正しく検出された白キズの補正効果が弱くなるという問題もある。故に、置換値算出回路１２８は、次のように、中央理論値１２（Ｒａ）から正常画素の最大値までの範囲で白キズ用の置換値を算出してもよい。
【０１０５】
【数１６】
2017147543.tif 000018
【０１０６】
数式（１６）において、Ｒｃｗは白キズ用の置換値を表し、Ｒｄ＿ｍａｘは差分値１３（Ｒｄ）の最大値を表す。数式（１６）によれば推定正常画素群の輝度変化が大きいほど白キズ用の置換値は正常画素の最大値に近づき、推定正常画素群の輝度変化が小さいほど白キズ用の置換値は中央理論値１２（Ｒａ）に近づく。輝度変化が大きい領域では誤補正による画質劣化が目立ちやすいが、数式（１６）のように白キズ用の置換値を算出すれば、このような悪影響を効果的に抑制することができる。なお、数式（１６）において、Ｒｎの代わりに、Ｒａよりも大きな他の正常画素の値（例えば、ＲｍまたはＲｋ）が用いられてもよいし、Ｒｍの代わりにＲａよりも大きな他の正常画素の値（例えば、Ｒｋ）が用いられてもよい。
【０１０７】
同様に、置換値算出回路１２８は、対象画素値１１（Ｒｃ）が黒キズと判定された場合には、ｂｍａｘ＝１であれば周囲画素群のうちの最小値（Ｒｅ）が正常画素の最小値となる。同様に、ｂｍａｘ＝２であれば周囲画素群のうちの第２番目に大きな値（Ｒｆ）が正常画素の最小値となる。このような正常画素の最小値を黒キズ用の置換値として用いることは誤補正時の悪影響を抑制する観点からは効果的であるが、他方で正しく検出された黒キズの補正効果が弱くなるという問題もある。故に、置換値算出回路１２８は、次のように、中央理論値１２（Ｒａ）から正常画素の最小値までの範囲で黒キズ用の置換値を算出してもよい。
【０１０８】
【数１７】
2017147543.tif 000019
【０１０９】
数式（１７）において、Ｒｃｂは黒キズ用の置換値を表す。数式（１７）によれば推定正常画素群の輝度変化が大きいほど黒キズ用の置換値は正常画素の最小値に近づき、推定正常画素群の輝度変化が小さいほど黒キズ用の置換値は中央理論値１２（Ｒａ）に近づく。輝度変化が大きい領域では誤補正による画質劣化が目立ちやすいが、数式（１７）のように黒キズ用の置換値を算出すれば、このような悪影響を効果的に抑制することができる。なお、数式（１７）において、Ｒｅの代わりに、Ｒａよりも小さな他の正常画素の値（例えば、ＲｆまたはＲｇ）が用いられてもよいし、Ｒｆの代わりにＲａよりも小さな他の正常画素の値（例えば、Ｒｇ）が用いられてもよい。
【０１１０】
キズ補正回路１２９は、同時化回路１２１から対象画素値１１（Ｒｃ）を受け取り、キズ判定回路１２６から判定結果信号を受け取り、置換値算出回路１２８から置換値（ＲｃｗまたはＲｃｂ）を受け取る。キズ補正回路１２９は、判定結果信号が対象画素値１１が白キズまたは黒キズであることを示すならば、当該対象画素値１１を置換値に置き換えることによりキズ補正を行う。他方、判定結果信号が対象画素値１１が正常であることを示すならば、当該対象画素値１１を補正しない。キズ補正回路１２９は、キズ補正済信号（Ｒｃ、ＲｃｗまたはＲｃｂに等しい）を高域補正回路１３１へと出力する。
【０１１１】
高域補正制御回路１３０は、同時化回路１２１から対象画素値１１（Ｒｃ）を受け取り、並び替え回路１２２から６個の周囲画素値（Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆ）を受け取り、差分および中央理論値算出回路１２３から中央理論値１２（Ｒａ）を受け取り、キズ判定回路１２６から判定結果信号を受け取る。
【０１１２】
高域補正制御回路１３０は、キズ検出の前提条件に基づいて、６個の周囲画素値（Ｒｍ、Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆ）に含まれる推定正常画素群を特定する。高域補正制御回路１３０は、特定した推定正常画素群から同一の位置コードが付与された画素ペアを抽出する。
【０１１３】
具体的には、図１０の例では、高域補正制御回路１３０は、推定正常画素群に属する５個の画素（Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆ）から同一の位置コード（“０”）が付与された画素ペアを１組（ＲｋおよびＲｆ）抽出する。故に、対象画素値１１（Ｒｃ）が正常であれば、高域補正制御回路１３０は対象画素値１１および２つの水平隣接同色画素（ＲｋおよびＲｆ）を用いて水平高域補正を行うことができる。
【０１１４】
また、図１１の例では、高域補正制御回路１３０は、推定正常画素群に属する５個の画素（Ｒｋ、Ｒｊ、Ｒｈ、ＲｇおよびＲｆ）から同一の位置コード（“０”および“３”）が付与された画素ペアを２組（ＲｋおよびＲｇ、ならびに、ＲｊおよびＲｆ）抽出する。故に、対象画素値１１（Ｒｃ）が正常であれば、高域補正制御回路１３０は対象画素値１１および２つの水平隣接同色画素（ＲｋおよびＲｇ）を用いて水平高域補正を行うことができるし、２つの斜め右上り隣接同色画素（ＲｊおよびＲｆ）を用いて斜め右上り高域補正を行うこともできる。
【０１１５】
キズ検出の前提条件と抽出可能な画素ペアの組数との間には次の関係が存在する。白キズの最大許容個数（ｗｍａｘ）および黒キズの最大許容個数（ｂｍａｘ）が共に１個の場合には、推定正常画素群に属する画素数は６個であるから、最小で２組、最大で３組の画素ペアを抽出することができる。白キズの最大許容個数（ｗｍａｘ）および黒キズの最大許容個数（ｂｍａｘ）のうち一方が１個、他方が２個の場合には、推定正常画素群に属する画素数は５個であるから、最小で１組、最大で２組の画素ペアを抽出することができる。白キズの最大許容個数（ｗｍａｘ）および黒キズの最大許容個数（ｂｍａｘ）が共に２個の場合には、推定正常画素群に属する画素数は４個であるから、最小で０組、最大で２組の画素ペアを抽出することができる。
【０１１６】
すなわち、白キズの最大許容個数（ｗｍａｘ）および黒キズの最大許容個数（ｂｍａｘ）が少ないほど、抽出可能な画素ペア数（高域補正を適用可能な方向数）が増えるので高域補正による画質改善（解像度低下防止）効果を受けやすくなる。
【０１１７】
高域補正制御回路１３０は、対象画素が正常と判定されている場合には、抽出した画素ペア毎に、当該画素ペアおよび対象画素値１１（Ｒｃ）にバンドパスフィルタを適用することによって、対象画素の高域補正値を算出する。高域補正制御回路１３０は、算出した高域補正値を高域補正回路１３１へと出力する。
【０１１８】
バンドパスフィルタのフィルタ係数は、例えば｛−１：２：−１｝であるが、他の値であってもよい。図１０の例では、高域補正制御回路１３０は、−１×Ｒｋ＋２×Ｒｃ−１×Ｒｆを高域補正値（水平）として算出する。図１１の例では、高域補正制御回路１３０は、−１×Ｒｋ＋２×Ｒｃ−１×Ｒｇを高域補正値（水平）として算出し、−１×Ｒｊ＋２×Ｒｃ−１×Ｒｆを高域補正値（斜め右上り）として算出する。
【０１１９】
なお、対象画素が正常と判定されている場合に限り、対象画素値１１（Ｒｃ）を用いた高域補正が行なえる。しかしながら、対象画素値１１の代わりに中央理論値１２（Ｒａ）を用いることで、係る問題を回避することができる。
【０１２０】
すなわち、高域補正制御回路１３０は、対象画素がキズと判定されている場合には、抽出した画素ペア毎に、当該画素ペアおよび中央理論値（Ｒａ）にバンドパスフィルタを適用することによって、対象画素の高域補正値を算出してもよい。
【０１２１】
高域補正回路１３１は、キズ補正回路１２９からキズ補正済信号を受け取り、高域補正制御回路１３０から高域補正値を受け取る。高域補正回路１３１は、キズ補正済信号の値に高域補正値を加算することで、高域補正済信号を生成する。高域補正回路１３１は、高域補正済信号をノイズ低減回路１１４へと出力する。
【０１２２】
ノイズ低減回路１１４は、高域補正済信号に対してノイズ低減処理を適用することによって、ノイズ低減信号を生成する。ノイズ低減回路１１４は、ノイズ低減信号を第２のデジタルゲイン回路１１５へと出力する。
【０１２３】
具体的には、ノイズ低減回路１１４は、ノイズ低減の対象画素とその周囲の複数の画素とに対してメディアンフィルタを適用し、これらの画素の中央値を抽出する。或いは、ノイズ低減回路１１４は、前述の中央理論値１２を用いてもよい。ノイズ低減回路１１４は、抽出した中央値または中央理論値１２と対象画素の値との差分をノイズ基本成分として算出する。そして、ノイズ低減回路１１４は、このノイズ基本成分にノイズ低減の強度を定める係数を乗算し、これらの積を対象画素の値から差し引くことでノイズ低減信号を生成する。なお、ノイズ低減回路１１４は、ここで説明された技法とは異なる技法を用いてノイズを低減してもよい。
【０１２４】
第２のデジタルゲイン回路１１５は、ノイズ低減回路１１４からノイズ低減信号を受け取る。第２のデジタルゲイン回路１１５は、ノイズ低減信号に対してデジタルゲインを乗算し、高ダイナミックレンジ信号を生成する。第２のデジタルゲイン回路１１５は、高ダイナミックレンジ信号をＨＤＲ圧縮回路１１６へと出力する。
【０１２５】
デジタルゲインは、ＨＤＲ比率に基づいて全色共通に設定される第４のゲインに依存して定められる。第４のゲインは、ＨＤＲ比率が１［倍］よりも大きければ、ＨＤＲ比率よりも小さくなる。すなわち、第２のデジタルゲイン回路１１５は、リニア乗算と比べて、より小さなデジタルゲインを用いて同等のゲイン補正を行うことができる。
【０１２６】
或いは、デジタルゲインは、前述の第１のゲイン、第２のゲインまたは第３のゲインをさらに考慮して定められてもよい。例えば、第１のデジタルゲイン回路１１１を取り除き、第２のデジタルゲイン回路１１５に色調の補正またはシェーディング補正をさらに行わせてもよい。但し、第１のデジタルゲイン回路１１１はリニアなＲＡＷ信号に対してデジタルゲインを乗算するが、第２のデジタルゲイン回路１１５はノンリニアなノイズ低減信号に対してデジタルゲインを乗算する。故に、第１のデジタルゲイン回路１１１と第２のデジタルゲイン回路１１５との間で、色調の補正またはシェーディング補正に必要とされるゲインは相違する。
【０１２７】
ＨＤＲ圧縮回路１１６は、第２のデジタルゲイン回路１１５から高ダイナミックレンジ信号を受け取る。ＨＤＲ圧縮回路１１６は、高ダイナミックレンジ信号のダイナミックレンジを圧縮することによってＨＤＲ圧縮信号を生成する。ＨＤＲ圧縮回路１１６は、図示されない後段の装置（例えば、表示装置）へとＨＤＲ圧縮信号を出力する。なお、ＨＤＲ圧縮信号のダイナミックレンジは、上記後段の装置がサポート可能なダイナミックレンジに適合するように定められる。
【０１２８】
具体的には、ＨＤＲ圧縮回路１１６は、例えばトーンマッピングを用いて局所的なコントラストをできるだけ維持しながら、高ダイナミックレンジ信号のダイナミックレンジを圧縮する。
【０１２９】
以上説明したように、第１の実施形態に係る画像処理装置は、入力画素信号に入出力１：１の多ビット化リニア／ノンリニア変換を適用してからキズ検出・補正を行う。具体的には、この画像処理装置は、広い輝度範囲に亘って、例えば、差分および中央理論値の算出、スライスレベルの算出、高域補正などのビット演算を多ビット化されたノンリニア画素信号を用いて正確に行うので、キズ検出・補正の精度が向上し、解像度低下を防止することができる。さらに、キズ補正済信号の量子化精度も改善する。
【０１３０】
上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【０１３１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３２】
１０・・・γ補正済信号
１１・・・対象画素値
１２・・・中央理論値
１３・・・差分値
１０１・・・光学レンズ
１０２・・・色フィルタ
１０３・・・受光画素
１０４・・・ＡＤＣ
１１０・・・信号処理回路
１１１・・・第１のデジタルゲイン回路
１１２・・・γ補正回路
１１３・・・キズ検出・補正回路
１１４・・・ノイズ低減回路
１１５・・・第２のデジタルゲイン回路
１１６・・・ＨＤＲ圧縮回路
１２１・・・同時化回路
１２２・・・並び替え回路
１２３・・・差分および中央理論値算出回路
１２４・・・パラメータ制御回路
１２５・・・スライスレベル算出回路
１２６・・・キズ判定回路
１２７・・・キズカウンタ
１２８・・・置換値算出回路
１２９・・・キズ補正回路
１３０・・・高域補正制御回路
１３１・・・高域補正回路
【図１】
2017147543.tif 000020
【図２】
2017147543.tif 000021
【図３】
2017147543.tif 000022
【図４】
2017147543.tif 000023
【図５】
2017147543.tif 000024
【図６】
2017147543.tif 000025
【図７】
2017147543.tif 000026
【図８】
2017147543.tif 000027
【図９】
2017147543.tif 000028
【図１０】
2017147543.tif 000029
【図１１】
2017147543.tif 000030
【図１２】
2017147543.tif 000031