(57)【要約】【課題】黒キズ欠陥を適切に補正できる撮像装置を提供する。【解決手段】データ採集部２１０は、注目画素および注目画素に隣接する周辺画素の画素値を採集し、周辺画素の画素値について大きさの順に順番付けを行う。周辺基準画素決定部２２１は、所定条件に従って周辺画素のうちでＮ番目に小さい画素値をもつものを周辺基準画素として決定する。判定閾値決定部２２２は、所定条件に従って判定閾値の大きさを決定する。閾値判定部２３０は、注目画素の画素値と周辺基準画素の画素値との差異を判定閾値と対比して注目画素が欠陥であるか否かを判定する。閾値判定部２３０は、さらに、周辺基準画素の画素値との差異が判定閾値以内である画素値のうちで最もレベルの小さい画素値をもつものを最小正常周辺画素として決定する。画素値置換部２４０は、注目画素の画素値を最小正常周辺画素の画素値に置き換える。【選択図】図１
2014023007.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素からなるイメージセンサと、
前記イメージセンサから入力された画素信号から、補正対象となる注目画素の画素値、及びその注目画素と同色であってその注目画素と隣接する４つ以上の周辺画素の画素値を含む前記注目画素を囲む所定領域内の各画素の画素値を導出する画素値導出部と、
前記所定領域について算出された各画素の画素値の統計に基づいて、Ｎ番目に小さい画素値を有する前記周辺画素を周辺基準画素として決定する周辺基準画素決定部と、
前記所定領域について算出された各画素の画素値の統計値に基づいて、判定閾値の大きさを決定する判定閾値決定部と、
前記周辺基準画素の画素値との差が前記判定閾値以内である画素値を有する前記周辺画素が存在する場合は、それら周辺画素のうち最も小さい画素値を有する前記周辺画素を最小正常周辺画素として決定し、存在しない場合は前記周辺基準画素を最小正常周辺画素として決定する最小正常周辺画素決定部と、
前記注目画素の画素値と前記周辺基準画素の画素値との差が前記判定閾値よりも大きい場合は、前記注目画素の画素値を前記最小正常周辺画素の画素値に置き換える画素値置換部と
を備えることを特徴とする撮像装置。
【請求項２】
前記周辺基準画素決定部は、前記４つ以上の周辺画素の画素値の平均値に基づいて前記周辺基準画素を決定する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定閾値決定部は、前記４つ以上の周辺画素の画素値の平均値に基づいて前記判定閾値を決定する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
複数の画素からなるイメージセンサから入力された画素信号から、補正対象となる注目画素の画素値、及びその注目画素と同色であってその注目画素と隣接する４つ以上の周辺画素の画素値を含む前記注目画素を囲む所定領域内の各画素の画素値を導出する画素値導出部と、
前記所定領域について算出された各画素の画素値の統計に基づいて、Ｎ番目に小さい画素値を有する前記周辺画素を周辺基準画素として決定する周辺基準画素決定部と、
前記所定領域について算出された各画素の画素値の統計値に基づいて、判定閾値の大きさを決定する判定閾値決定部と、
前記周辺基準画素の画素値との差が前記判定閾値以内である画素値を有する前記周辺画素が存在する場合は、それら周辺画素のうち最も小さい画素値を有する前記周辺画素を最小正常周辺画素として決定し、存在しない場合は前記周辺基準画素を最小正常周辺画素として決定する最小正常周辺画素決定部と、
前記注目画素の画素値と前記周辺基準画素の画素値との差が前記判定閾値よりも大きい場合は、前記注目画素の画素値を前記最小正常周辺画素の画素値に置き換える画素値置換部と
を備えることを特徴とする画像信号処理装置。
【請求項５】
前記周辺基準画素決定部は、前記４つ以上の周辺画素の画素値の平均値に基づいて前記周辺基準画素を決定する
ことを特徴とする請求項４に記載の画像信号処理装置。
【請求項６】
前記判定閾値決定部は、前記４つ以上の周辺画素の画素値の平均値に基づいて前記判定閾値を決定する
ことを特徴とする請求項５又は請求項６に記載の画像信号処理装置。
【請求項７】
イメージセンサから入力された画素信号から、補正対象となる注目画素の画素値、及びその注目画素と同色であってその注目画素と隣接する４つ以上の周辺画素の画素値を含む前記注目画素を囲む所定領域内の各画素の画素値を導出する画素値導出工程と、
前記所定領域について算出された各画素の画素値の統計に基づいて、Ｎ番目に小さい画素値を有する前記周辺画素を周辺基準画素として決定する周辺基準画素決定工程と、
前記所定領域について算出された各画素の画素値の統計値に基づいて、判定閾値の大きさを決定する判定閾値決定工程と、
前記周辺基準画素の画素値との差が前記判定閾値以内である画素値を有する前記周辺画素が存在する場合は、それら周辺画素のうち最も小さい画素値を有する前記周辺画素を最小正常周辺画素として決定し、存在しない場合は前記周辺基準画素を最小正常周辺画素として決定する最小正常周辺画素決定工程と、
前記注目画素の画素値と前記周辺基準画素の画素値との差が前記判定閾値よりも大きい場合は、前記注目画素の画素値を前記最小正常周辺画素の画素値に置き換える画素値置換工程と
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置、撮像装置および画像信号処理方法に関し、具体的には、欠陥画素の画素値を補正する技術に関する。
【背景技術】
【０００２】
撮像素子から出力される画像信号に欠陥が含まれる場合に、その欠陥に係る画素（以下、単に「欠陥画素」という。）の画素値を補正する技術が従来から知られている。例えば注目画素が欠陥画素である場合、この注目画素の画素値を周辺画素の画素値と置き換えることで注目画素の画素値を補正するという手法が知られている（例えば特許文献１）。
【０００３】
この特許文献１には、画素信号に含まれる欠陥がいわゆる"白きず"であった場合に、その白きずの欠陥に対して補正を行う方法が開示されている。特許文献１では、まず注目画素と同色である複数の周辺画素の輝度がそれぞれ算出される。そしてそれら周辺画素の輝度の最大値とセカンド値とが特定される。次に注目画素の輝度が最大値やセカンド値と対比され、注目画素が欠陥画素であるか否かの判定がなされる。注目画素が欠陥画素である場合には、注目画素の画素値（輝度値）が前記最大値またはセカンド値と置き換えられる。以上のようにして欠陥画素の画素値（輝度値）が補正され、白きずが目立たなくなり、画質劣化が抑制される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４１０２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載された補正方法は、最大値を持つ周辺画素もきずである可能性を考慮し、最大値を持つ周辺画素のみならずセカンド値を持つ周辺画素も判断の基準に加えるものである。
しかしながら、最大値を持つ周辺画素もセカンド値を持つ周辺画素も欠陥である場合が生じうる。
例えば、高照度下では白方向（レベルの高い方向）のノイズ（ショットノイズ）が増加し、白きずの割合が増加することがある。
このように固体撮像素子の特性から欠陥画素の発生割合が撮影環境に依存して変化し、最大値を持つ画素もセカンド値を持つ画素も欠陥となることがある。
【０００６】
この場合、特許文献１のごとく最大値を持つ周辺画素およびセカンド値を持つ周辺画素のいずれかは正常値であるという前提に立つだけでは、不適切な画素値を基準として注目画素が欠陥か否かが判定されることになる。さらには、注目画素の画素値が不適切な画素値に置き換えてしまうことになる。すると、欠陥補正処理を行ったために、却って画質がますます劣化してしまうという事態の発生も推察される。
このような問題は白きずを補正する場合のみならず、黒きずを補正する場合にあっても同じ問題が生じる。
【０００７】
そこで、本発明の目的は、注目画素が欠陥か否かを適切な基準に基づき判定し、注目画素が欠陥である場合には、適切な周辺画素を用いてその欠陥を補正することができる画像信号処理装置、撮像装置、及び画像信号処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
そこで、本発明は、
複数の画素からなるイメージセンサ（１２０）と、
前記イメージセンサ（１２０）から入力された画素信号から、補正対象となる注目画素の画素値、及びその注目画素と同色であってその注目画素と隣接する４つ以上の周辺画素の画素値を含む前記注目画素を囲む所定領域内の各画素の画素値を導出する画素値導出部（２１３）と、
前記所定領域について算出された各画素の画素値の統計に基づいて、Ｎ番目に小さい画素値を有する前記周辺画素を周辺基準画素として決定する周辺基準画素決定部（２２１）と、
前記所定領域について算出された各画素の画素値の統計値に基づいて、判定閾値の大きさを決定する判定閾値決定部（２２２）と、
前記周辺基準画素の画素値との差が前記判定閾値以内である画素値を有する前記周辺画素が存在する場合は、それら周辺画素のうち最も小さい画素値を有する前記周辺画素を最小正常周辺画素として決定し、存在しない場合は前記周辺基準画素を最小正常周辺画素として決定する最小正常周辺画素決定部（２３０）と、
前記注目画素の画素値と前記周辺基準画素の画素値との差が前記判定閾値よりも大きい場合は、前記注目画素の画素値を前記最小正常周辺画素の画素値に置き換える画素値置換部（２４０）と
を備えることを特徴とする撮像装置（１００）を提供する。
上記撮像装置（１００）において、
前記周辺基準画素決定部（２２１）は、前記４つ以上の周辺画素の画素値の平均値に基づいて前記周辺基準画素を決定する
ようにしてもよい。
また、上記撮像装置（１００）において、
前記判定閾値決定部（２２２）は、前記４つの周辺画素の画素値の平均値に基づいて前記判定閾値を決定する
ようにしてもよい。
また、本発明は、
複数の画素からなるイメージセンサ（１２０）から入力された画素信号から、補正対象となる注目画素の画素値、及びその注目画素と同色であってその注目画素と隣接する４つ以上の周辺画素の画素値を含む前記注目画素を囲む所定領域内の各画素の画素値を導出する画素値導出部（２１３）と、
前記所定領域について算出された各画素の画素値の統計に基づいて、Ｎ番目に小さい画素値を有する前記周辺画素を周辺基準画素として決定する周辺基準画素決定部（２２１）と、
前記所定領域について算出された各画素の画素値の統計値に基づいて、判定閾値の大きさを決定する判定閾値決定部（２２２）と、
前記周辺基準画素の画素値との差が前記判定閾値以内である画素値を有する前記周辺画素が存在する場合は、それら周辺画素のうち最も小さい画素値を有する前記周辺画素を最小正常周辺画素として決定し、存在しない場合は前記周辺基準画素を最小正常周辺画素として決定する最小正常周辺画素決定部（２３０）と、
前記注目画素の画素値と前記周辺基準画素の画素値との差が前記判定閾値よりも大きい場合は、前記注目画素の画素値を前記最小正常周辺画素の画素値に置き換える画素値置換部（２４０）と
を備えることを特徴とする画像信号処理装置を提供する。
上記画像信号処理装置において、
前記周辺基準画素決定部（２２１）は、前記４つ以上の周辺画素の画素値の平均値に基づいて前記周辺基準画素を決定する
ようにしてもよい。
また、上記画像信号処理装置において、
前記判定閾値決定部（２２２）は、前記４つの周辺画素の画素値の平均値に基づいて前記判定閾値を決定する
ようにしてもよい。
また、本発明は、
イメージセンサ（１２０）から入力された画素信号から、補正対象となる注目画素の画素値、及びその注目画素と同色であってその注目画素と隣接する４つ以上の周辺画素の画素値を含む前記注目画素を囲む所定領域内の各画素の画素値を導出する画素値導出工程（ＳＴ１３０）と、
前記所定領域について算出された各画素の画素値の統計に基づいて、Ｎ番目に小さい画素値を有する前記周辺画素を周辺基準画素として決定する周辺基準画素決定工程（ＳＴ２１０）と、
前記所定領域について算出された各画素の画素値の統計値に基づいて、判定閾値の大きさを決定する判定閾値決定工程（ＳＴ２２２）と、
前記周辺基準画素の画素値との差が前記判定閾値以内である画素値を有する前記周辺画素が存在する場合は、それら周辺画素のうち最も小さい画素値を有する前記周辺画素を最小正常周辺画素として決定し、存在しない場合は前記周辺基準画素を最小正常周辺画素として決定する最小正常周辺画素決定工程（ＳＴ３３０）と、
前記注目画素の画素値と前記周辺基準画素の画素値との差が前記判定閾値よりも大きい場合は、前記注目画素の画素値を前記最小正常周辺画素の画素値に置き換える画素値置換工程（ＳＴ４００）と
を備えることを特徴とする画像処理方法を提供する。
なお、本発明では、
前記周辺基準画素決定部は、前記周辺画素の画素値の平均値に基づき、平均値が所定値よりも低い場合には前記Ｎを大きい値にし、平均値が所定値よりも高い場合には前記Ｎを小さい値にする
ようにしてもよい。
また、本発明では、
前記判定閾値決定部は、前記周辺画素の画素値の平均値に基づき、平均値が所定値よりも低い場合には判定閾値を小さい値にし、平均値が所定値よりも高い場合には判定閾値を大きい値にする
ようにしてもよい。
また、本発明では、
前記周辺基準画素決定部および前記判定閾値決定部の少なくとも一方は、撮影条件に応じて前記所定条件を変更する
ことを特徴とする請求項１から請求項５のいずれかに記載の画像信号処理装置。
また、本発明では、
前記周辺基準画素決定部は前記Ｎを仮設定しておき、
１以上のフレームを仮に処理した場合の補正量に応じて前記Ｎの値を変更する
ようにしてもよい。
また、本発明では、
前記判定閾値決定部は、前記判定閾値を仮設定しておき、
１以上のフレームを仮に処理した場合の補正量に応じて前記判定閾値の値を変更する
ようにしてもよい。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の全体構成を示す図。
【図２】欠陥補正部の機能ブロック図。
【図３】黒きずを補正する動作手順を示すフローチャート。
【図４】黒きずを補正する動作手順を示すフローチャート。
【図５】ベイヤ配列で配列された画素の例を示す図。
【図６】周辺基準画素、注目画素および判定閾値のパターンを示す図。
【図７】周辺基準画素、注目画素および判定閾値のパターンを示す図。
【図８】周辺基準画素、注目画素および判定閾値のパターンを示す図。
【図９】置換補正後の状態を示す図。
【図１０】置換補正後の状態を示す図。
【図１１】置換補正後の状態を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施の形態について説明する。
かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。
なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１１】
（第１実施形態）
図１は、本発明の第１実施形態に係る撮像装置１００の全体構成を示す図である。
撮像装置１００は、レンズ等の光学部１１０を介して画像を撮像するイメージセンサ（撮像素子）１２０と、イメージセンサ１２０で取得された画像データに必要な信号処理を行って出力する画像信号処理部１９０とを備えている。
【００１２】
イメージセンサ１２０としては、ＣＣＤセンサ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）やＣＭＯＳセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）を例として挙げることができる。またイメージセンサ１２０の前段に配置される光学部１１０としては、像をイメージセンサ上に結像させるレンズ１１１や、カラー撮影のためのカラーフィルタ１１２がある。ここではカラーフィルタ１１２として、ベイヤ配列のカラーフィルタが設けられているものとする。
【００１３】
画像信号処理部１９０は、センサドライバ１３０と、ラインメモリ１４０と、ゲインバランス調整部１５０と、欠陥補正部２００と、出力部１６０とを備えている。センサドライバ１３０は、取得された撮像データをイメージセンサ１２０からライン毎に読み出す。さらにセンサドライバ１３０は、撮像データに対してＡＤ変換等を行って画素毎の画素値を求め、画素値を示すデータをラインメモリ１４０に出力する。
【００１４】
出力された画素値を示すデータはラインメモリ１４０で一旦バッファされた後、ゲインバランス調整部１５０に入力される。ゲインバランス調整部１５０は、色（ＲＧＢ）間で生じる色差を検出して色毎にゲイン調整を行う。これにより、ホワイトバランスの調整等が行われる。
【００１５】
欠陥補正部２００は、ゲインバランス調整部１５０がゲイン調整を行い出力した画素値を示すデータに対し黒きずの補正を行う。具体的には、周辺画素に比べて異常に輝度が低くなっている黒きずの画素があれば、欠陥補正部２００がその画素値を周辺の画素の画素値に合わせて補正する。欠陥補正部２００による補正については後に詳しく説明する。
【００１６】
欠陥補正部２００にて補正された画素値を示すデータは出力部１６０に送られ、出力部１６０から次の映像信号フォーマットにそった画像データに変換を施す図示しない画像信号処理部へ送られる。
【００１７】
次に、欠陥補正部２００について詳しく説明する。
図２は、欠陥補正部２００の機能ブロック図である。
欠陥補正部２００は、バッファ２０１と、データ採集部２１０と、判定基準決定部２２０と、閾値判定部２３０と、画素値置換部２４０とを備える。これら各機能部の内部機能部やそれらによる処理動作については、図３および図４のフローチャートを参照しながら説明する。
【００１８】
図３および図４は、欠陥補正部２００による欠陥画素補正処理の動作手順を示すフローチャートである。
ゲインバランスの調整が完了された各画素の画素値を示すデータは、順に欠陥補正部２００に入力され、欠陥補正部２００内のバッファ２０１に一時保持される。バッファ２０１に数ライン分の画素値を示すデータが記録されたところで、処理対象採集部２１０は、一つの画素を補正するのに必要なデータの採集を行う（データ採集工程ＳＴ１００）。
【００１９】
このデータ採集にあたって、まず注目画素決定部２１１により、補正対象となる注目画素が特定される（ＳＴ１１０）。補正対象となる注目画素の特定は、例えば、判断対象となる画素をフレームの左上隅の画素から一つずつ順番に右方向へシフトさせていき、所定の条件に当てはまるものを特定するようにする。
【００２０】
図５はベイヤ配列で配列された画素の例を示す図である。以下では、図５中で３行４列目の画素が注目画素として特定された場合を例にあげて説明する。図５中では、この注目画素に符号Ｐｘ（ｔ）を付した。
【００２１】
注目画素Ｐｘ（ｔ）が特定されたら、周辺画素選定部２１２は、この注目画素の周辺画素を選定する（ＳＴ１２０）。
周辺画素とは、注目画素と同色であって、注目画素から見て上下方向、左右方向、斜め方向で隣接する（より正確には最近位の）８つの画素をいう。
本例では注目画素Ｐｘ（ｔ）はブルー（以下、「Ｂ」とする。）である。
図５の例でいうと、注目画素Ｐｘ（ｔ）に対して上下方向で隣接するＢは、１行４列目Ｐｘ（ｕ）と５行４列目Ｐｘ（ｄ）とである。注目画素Ｐｘ（ｔ）に対して左右方向で隣接するＢは、３行２列目Ｐｘ（ｌ）と３行６列目Ｐｘ（ｒ）とである。注目画素Ｐｘ（ｔ）に対して斜め方向で隣接するＢは、１行２列目Ｐｘ（ｏ１）と、１行６列目Ｐｘ（ｏ２）と、５行２列目Ｐｘ（ｏ３）と、５行６列目Ｐｘ（ｏ４）と、である。
【００２２】
このように注目画素Ｐｘ（ｔ）の周辺の８画素が選定されると、画素値抽出部（画素値導出部）２１３は、注目画素および８つの周辺画素の画素値をバッファ２０１から抽出する（ＳＴ１３０）。
注目画素の画素値Ｖ（ｔ）が抽出され、さらに、周辺画素の画素値についても、Ｖ（ｕ）、Ｖ（ｄ）、・・・、と抽出される。
なお、画素の画素値をVで表し、例えば、注目画素Px（ｔ）の画素値をV（t）で表すこととする。
【００２３】
なお、画素値抽出部２１３により画素値導出部が構成され、ＳＴ１３０により画素値導出工程が構成される。
【００２４】
さらに、順番付け部２１４は、注目画素Ｐｘ（ｔ）の８つの周辺画素の画素値について画素値の大きさ（信号レベルの大きさ）の順に順番付けを行う（ＳＴ１４０）。すなわち、画素値が１番小さい画素（最小値）、画素値が２番目に小さい画素、画素値が３番目に小さい画素、・・・・、画素値が８番目に小さい画素（最大値）のように順番付けを行う。
【００２５】
以上のようにして、データ採集部２１０によるデータ採集工程（ＳＴ１００）が完了し、次に判定基準決定部２２０によって判定基準決定工程（ＳＴ２００）が実行される。
【００２６】
判定基準決定工程（ＳＴ２００）としては、周辺基準画素を決定する工程（ＳＴ２１０）と、判定閾値を決定する工程（ＳＴ２２０）とがある。以下に、順に説明する。
まず、周辺基準画素を決定する工程（ＳＴ２１０）について説明する。
周辺基準画素とは、注目画素に隣接する８つの画素のなかで正常であると見做せ、注目画素が正常か異常かを判断する際の基準となる画素のことである。
【００２７】
８つの周辺画素の全てが正常な画素値を有しているとは限らない。
例えば、低照度の環境下では黒きずが含まれる割合が増加し、８つの周辺画素のうちの複数（２つや３つ）の画素値が黒きずとなる可能性もある。一方、十分に明るい環境下では黒きずが含まれる割合は少なく、８つの周辺画素の全てが正常な画素値を有している（黒きずではない）と見なしてよい場合もある。
注目画素の画素値が黒きずであるかどうかを周辺画素の画素値との比較に基づき判定する場合、黒きずとなっている周辺画素の画素値に基づいてその比較を行ってしまうと正しい判定ができない。したがって、８つある周辺画素の画素値のうちで、画素値が低い方から数えて下から数えて何番目のものから正常である（黒きずではない）と判断できるのかを何らかの方法で決定する必要がある。
【００２８】
本実施形態では、周辺画素の画素値の平均値を利用する。
すなわち、判定基準決定部２２２は、まず、８つの周辺画素の画素値の平均値を算出する。
算出された平均値がある程度大きく、例えば、前記平均値が予め設定された所定閾値よりも大きければ、撮影の照度が高いと考えることができる。
この場合、黒きずの発生割合、つまり撮像データに係る各画素値に黒きずが含まれる割合が小さいと考えることができる。
したがって、このような場合、周辺基準画素決定部２２１は、判定閾値決定部２２２は、周辺画素のうちで２番目に小さい画素値をもつものを周辺基準画素とする。すなわち、周辺画素のなかに黒きずがあったとしても、せいぜい１つまでであり、２番目に小さい画素値以上の画素値を有する画素は正常と見なして問題ないであろうということである。
【００２９】
一方、算出された平均値が小さく、例えば平均値が予め設定された所定閾値よりも小さかったとする。
この場合、撮影の照度が低いということであり、黒きずの発生割合が高まっている可能性がある。
このような場合には、周辺基準画素決定部２２１は、周辺画素のうちで３番目に小さい画素値をもつものを周辺基準画素とする。
すなわち、周辺画素のなかには黒きずが１つか２つは含まれている恐れがあるとし、３番目に小さい画素値以上の画素値を有する画素を正常と見なすことにするということである。
【００３０】
このようにして、周辺基準画素決定部２２１は、８つの周辺画素について求めた平均値を予め設定された所定の閾値と比較する等の処理により、８つの周辺画素のうちでＮ番目に小さい画素値をもつものを周辺基準画素に決定する。
【００３１】
実際の決定アルゴリズムとしては次のようにしてもよい。
まず、算出された画素値の平均値を４つの区間に区分するために３つの境界値（閾値）を設定しておく。
すなわち、０＜Ｌ１１＜Ｌ１２＜Ｌ１３、となる境界値Ｌ１１、Ｌ１２、Ｌ１３を予め設定しておく。
すると、周辺画素の画素値の平均値は次の４つの区間Ｚ１０、Ｚ１１、Ｚ１２、Ｚ１３に分類される。
区間Ｚ１０：０≦Ｚ１０＜Ｌ１１
区間Ｚ１１：Ｌ１１≦Ｚ１１＜Ｌ１２
区間Ｚ１２：Ｌ１２≦Ｚ１２＜Ｌ１３
区間Ｚ１３：Ｌ１３≦Ｚ１３
【００３２】
そして、区間ごとに周辺基準画素の番号（Ｎ）を設定しておく。
例えば、平均値ＡＲが区間Ｚ１０に入る場合、４番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１１に入る場合、３番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１２に入る場合、２番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１３に入る場合、１番目に小さい画素値をもつものを周辺基準画素とする。
【００３３】
以下では、８つの周辺画素のうちで３番目（Ｎ＝３）に小さい画素値をもつものを周辺基準画素に決定した場合を例に挙げて説明する。
【００３４】
次に、判定閾値決定部２２２が判定閾値を決定する工程（ＳＴ２２０）について説明する。
ＳＴ２１０において周辺基準画素が決定されると、次に、注目画素の画素値と周辺基準画素の画素値との差がどの程度であれば注目画素の画素値を黒きず）と認定すべきか、ということを考えなければならない。
これまで説明してきたように照度が低いところでは黒きずの発生割合が高いという傾向があることを前提に考えると、周辺画素の画素値の平均値が低いほど黒きずの検出のための閾値を小さくする必要があると考えられる。
【００３５】
実際の決定アルゴリズムとしては、先に説明した周辺基準画素を決定するアルゴリズムと同様に、次のようにしてもよい。
まず、画素値レベルを４つの区間に区分するために３つの境界値を設定しておく。
すなわち、０＜Ｌ２１＜Ｌ２２＜Ｌ２３、となる境界値Ｌ２１、Ｌ２２、Ｌ２３を予め設定しておく。すると、画素値レベルは次の４つの区間Ｚ２０、Ｚ２１、Ｚ２２、Ｚ２３に分類できることになる。
区間Ｚ２０：０≦Ｚ２０＜Ｌ１１
区間Ｚ２１：Ｌ２１≦Ｚ２１＜Ｌ２２
区間Ｚ２２：Ｌ２２≦Ｚ２２＜Ｌ２３
区間Ｚ２３：Ｌ２３≦Ｚ２３
【００３６】
そして、区間ごとに判定閾値の大きさを設定しておく。
例えば、平均値ＡＲが区間Ｚ２０に入る場合、判定閾値をＴＨ２０とする。
平均値ＡＲが区間Ｚ２１に入る場合、判定閾値をＴＨ２１とする。
平均値ＡＲが区間Ｚ２２に入る場合、判定閾値をＴＨ２２とする。
平均値ＡＲが区間Ｚ２３に入る場合、判定閾値をＴＨ２３とする。
（例えばＴＨ２０＜ＴＨ２１＜ＴＨ２２＜ＴＨ２３であり、各値は８ｂｉｔの場合は０〜２５５等の値をとる。
【００３７】
判定閾値決定部２２２は、周辺画素の平均画素値に基づいて、判定閾値をＴＨ２０、ＴＨ２１、ＴＨ２２およびＴＨ２３のいずれかに決定する。
以下の説明では、例えば、判定閾値がＴＨ２１に設定された場合を例に挙げて説明する。
【００３８】
このように判定基準決定工程（ＳＴ２００）で周辺基準画素と判定閾値とが決定されると、次に閾値判定部２３０が閾値判定を実行する（ＳＴ３００）。閾値判定工程（ＳＴ３００）としては、注目画素が黒きずであるか否かを判定する工程（ＳＴ３１０）と、周辺画素のうち正常な画素はどこまでかを決定する工程（ＳＴ３３０）とがある。
以下、順に説明する。
【００３９】
まず、ＳＴ３１０において注目画素が黒きずであるか否かを判定する工程について説明する。
上述の通り、判定基準決定工程（ＳＴ２００）において、８つの周辺画素のうちで３番目（Ｎ＝３）に小さい画素値をもつものが周辺基準画素に決定され（ＳＴ２１０）、また、判定閾値がＴＨ２１とされた場合を例に挙げて説明する。
ここで、注目画素が黒きずかどうかは、注目画素の画素値が基準周辺画素の画素値から判定閾値以上に低いかどうかで判定する。
【００４０】
注目画素の画素値および周辺画素の画素値を次のように表す。
注目画素の画素値をＶ（ｔ）とする。
周辺画素のうちで一番小さい画素値（最小値）をＶ（１）とする。
周辺画素のうちで２番目に小さい画素値をＶ（２）とする。
周辺画素のうちで３番目に小さい画素値をＶ（３）とする。
【００４１】
すると、周辺基準画素の画素値（ここではＶ（３））と判定閾値ＴＨ２１との関係で、Ｖ（３）、Ｖ（２）、Ｖ（１）およびＶ（ｔ）が並ぶパターンは、図６から図８に示す９パターンが考えられる。
なお、ここでは、注目画素の画素値（Ｖ（ｔ））が周辺基準画素の画素値（Ｖ（３））よりも高い場合は省略した。注目画素の画素値（Ｖ（Ｔ））が周辺基準画素の画素値（Ｖ（３））よりも高い場合、注目画素は黒きずではないので、明らかに補正の必要はない。
【００４２】
注目画素が黒きずであるかどうかを判断する際に必要なことは、周辺基準画素の画素値（Ｖ（３））と注目画素の画素値（Ｖ（ｔ））との差が判定閾値ＴＨ２１以上であるか否かである。パターン１からパターン９のなかで注目画素の画素値Ｖ（ｔ）がＶ（３）よりも判定閾値ＴＨ２１以上に低いのは、パターン１、パターン２、パターン３、パターン４、パターン５およびパターン６である。
したがって、注目画素の画素値（Ｖ（ｔ））と周辺基準画素の画素値（Ｖ（３））との関係がパターン１からパターン６のいずれかである場合には、注目画素は黒きずであるということになる（ＳＴ３２０でＹＥＳ）。
【００４３】
注目画素が黒きずであった場合には（ＳＴ３２０でＹＥＳ）、次に何番目の大きさの画素値を有する周辺画素までが正常な画素かを特定し、画素値を入れ換える周辺画素を特定する（ＳＴ３３０）。すなわち、黒きずである注目画素の画素値をどの周辺画素の画素値と入れ換えるかを決定する。言い換えると、周辺画素のなかから、正常画素であってかつ一番画素値レベルが低い画素を見つけるということである。
【００４４】
パターン４を例に説明する。Ｖ（３）からみて、Ｖ（２）は判定閾値以内に入っている。したがって、Ｖ（２）は正常な画素値であると判断できる。一方、Ｖ（１）は、Ｖ（３）からみて判定閾値以上に画素値が低い。したがって、Ｖ（１）は、Ｖ（ｔ）と同じように黒きずである。この場合、画素値が高い方から数えてＶ（２）までが正常であると判定できる。これはパターン５についても同じであることは明らかであろう。
【００４５】
次に、パターン１を例に説明する。
パターン１においては、Ｖ（３）からみてＶ（２）もＶ（１）も判定閾値以下である。したがって、Ｖ（２）もＶ（１）も黒きずであるということになる。この場合、画素値が高い方から数えてＶ（３）までが正常であると判定できる。
（言い換えると、周辺基準画素までが正常であるということである。）パターン２およびパターン３についても同様であることは明らかであろう。
【００４６】
次に、パターン６を例に説明する。
パターン６においては、Ｖ（３）からみてＶ（２）もＶ（１）も判定閾値を超えている。したがって、Ｖ（２）もＶ（１）も正常であるということになる。この場合、画素値が高い方から数えてＶ（１）までが正常であると判定できる。（言い換えると、周辺画素はすべて正常である。）
【００４７】
このようにして、周辺画素のなかから正常であってかつ画素値レベルが一番低い画素を見つけ、これを最小正常周辺画素として決定する（ＳＴ３３０）。
【００４８】
閾値判定部２３０による閾値判定工程（ＳＴ３００）に続いて、画素値置換部２４０は置き換え工程（ＳＴ４００）を実行する。置き換え工程（ＳＴ４００）では、黒きずである注目画素の画素値Ｖ（ｔ）が最小正常周辺画素の画素値と置き換えられる。
パターン１、パターン２およびパターン３について見てみると、Ｖ（ｔ）がＶ（３）に置き換えられるため、図９のように注目画素の画素値Ｖ（ｔ）がＶ（３）と同じになる。
同じように、パターン４およびパターン５については、Ｖ（ｔ）がＶ（２）に置き換えられるため、図１０のように注目画素の画素値Ｖ（ｔ）がＶ（２）と同じになる。
パターン６については、Ｖ（ｔ）がＶ（１）に置き換えられるため、図１１のように注目画素の画素値Ｖ（ｔ）がＶ（１）と同じになる。
【００４９】
一つの注目画素に対して処理が終了したら、注目画素決定部２１１は処理対象（注目画素）を順番にシフトさせていき（ＳＴ５１１、ＳＴ５２１、ＳＴ５３１）、すべての画素に対して処理が行われるようにする（ＳＴ５１０、ＳＴ５２０、ＳＴ５３０）。
すなわち、注目画素決定部２１１は、一つのラインについて処理対象（注目画素）を左から右に順次シフトさせていき（ＳＴ５１１）、一ラインについてすべての画素を処理したら（ＳＴ５１０でＹＥＳ）、処理対象（注目画素）を次のラインの一番左にシフトさせる（ＳＴ５２１）。
さらに、注目画素決定部２１１は、一つのフレームについてすべての画素を処理したら（ＳＴ５２０でＹＥＳ）、処理対象（注目画素）を次のフレームへシフトさせる（ＳＴ５３１）。
このようにして全フレームのすべての画素が処理されたところで欠陥画素補正は終了する（ＳＴ５３０でＹＥＳ）。
【００５０】
なお、ＳＴ３２０における黒きず判定においてパターン７、パターン８およびパターン９のように注目画素が黒きずでない場合、置き換え工程（ＳＴ４００）を行わずに、注目画素決定部２１１は補正対象となる注目画素を隣の画素にシフトさせる。
【００５１】
なお、注目画素が図５中のＰｘ（ｔ）からＰｘ（ｒ）に移ったときを考えると、Ｐｘ（ｒ）にとってＰｘ（ｔ）は周辺画素になる。
Ｐｘ（ｒ）の補正に当たって、Ｐｘ（ｔ）の画素値としては補正前のものを使用してもよいし、置き換え補正後のものを使用してもよい。どちらにするかは補正をどの程度強くかけるかによって適宜選択されればよいことである。
【００５２】
補正が終了した画素は欠陥補正部２００から出力部１６０に送られ、出力部から撮像装置１００の図示しない他のデバイスや撮像装置１００の外部に出力される。
【００５３】
このような構成を備える第１実施形態に係る撮像装置１００によれば次の効果を奏する。
（１）本実施形態では、注目画素が黒きずであるか否かを判定するための基準となる周辺基準画素を周辺画素の画素値の平均値に応じて変更する。照度等の条件によって黒きずの発生割合は変化すると考えられるところ、本実施形態のように周辺基準画素を適切に選択することによって注目画素が黒きずであるか否かを適切に判定できる。例えば、それ自身が黒きずとなっている周辺画素と比べて注目画素が黒きずであるか否かを判定するといった不適切な処理を無くすことができる。
【００５４】
（２）本実施形態では、さらに、判定閾値が周辺画素の平均値に応じて変更される。これにより、照度等の条件によって黒きずの発生割合は変化するとしても、注目画素が黒きずであるか否かが正確に判定される。
【００５５】
（３）またさらに、注目画素が黒きずであった場合には、注目画素の画素値が最適な周辺画素の画素値に置き換えられる。すなわち、本実施形態では、適切な周辺基準画素と適切な閾値とに基づいて、周辺画素のうち正常な画素値を有するものがどれであるかの判定が行われる。したがって、注目画素の画素値を過剰に大きい画素値やそもそも黒きずである低すぎる画素値に置き換えるといった不適切な処理を無くすことができる。
【００５６】
（変形例１）
変形例について説明する。
上記実施形態の説明において、判定基準決定工程（ＳＴ２００）では周辺画素の画素値の平均値に基づいて周辺基準画素および判定閾値を決定する例を説明した。
変形例１としては、さらに、撮影条件に基づいて補正の程度を変更する例を説明する。
撮影条件としては、ＩＳＯ感度を例にする。
通常の明るい撮影環境下ではイメージセンサ１２０のＩＳＯ感度を１００程度に設定することが一般的に行われる。このようにＩＳＯ感度が１００に設定されている場合、逆にいうと、撮影条件としては十分な照度が得られているということであるので、それほど大きな補正は必要ないと考えられる。
【００５７】
そこでこの場合には、補正の程度を弱くするべく周辺基準画素決定部２２１は周辺基準画素の番号（Ｎ）を下げる。
すなわち、例えば、平均値ＡＲが区間Ｚ１０に入る場合、２番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１１に入る場合、２番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１２に入る場合、１番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１３に入る場合、１番目に小さい画素値をもつものを周辺基準画素とする。
これにより、黒きずが少ないと考えられる撮影条件にあっては過剰に補正がかかることを抑制できる。
【００５８】
一方、ＩＳＯ感度が高く、例えば、１６００に設定されている場合、照度が低く、したがって黒きずの発生割合が高くなっていると考えられる。この場合、補正の程度を強くするべく、周辺基準画素決定部２２１は周辺基準画素の番号（Ｎ）を上げる。
すなわち、例えば、平均値ＡＲが区間Ｚ１０に入る場合、周辺基準画素決定部２２１は４番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１１に入る場合、周辺基準画素決定部２２１は４番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１２に入る場合、周辺基準画素決定部２２１は３番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１３に入る場合、周辺基準画素決定部２２１は２番目に小さい画素値をもつものを周辺基準画素とする。
【００５９】
さらに、低照度の環境下で高感度撮影している場合、ゲインバランス調整部１５０により低照度の画素値を強めにゲインアップすることになる。この場合、オリジナルの画素値は低照度の信号であり、ノイズ成分と信号成分の差は小さいと考えられる。そこで、判定閾値決定部２２２は、判定閾値を小さめに設定する。
すなわち、例えば、平均値ＡＲが区間Ｚ２０に入る場合、判定閾値決定部２２２は判定閾値をＴＨ２０／２とする。
平均値ＡＲが区間Ｚ２１に入る場合、判定閾値決定部２２２は判定閾値をＴＨ２１／２とする。
平均値ＡＲが区間Ｚ２２に入る場合、判定閾値決定部２２２は判定閾値をＴＨ２２／２とする。
平均値ＡＲが区間Ｚ２３に入る場合、判定閾値決定部２２２は判定閾値をＴＨ２３／２とする。
【００６０】
さらにＩＳＯ感度が高く、例えば、６４００に設定されている場合には次のようにする。
周辺基準画素については、平均値ＡＲが区間Ｚ１０に入る場合、周辺基準画素決定部２２１は５番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１１に入る場合、周辺基準画素決定部２２１は５番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１２に入る場合、周辺基準画素決定部２２１は４番目に小さい画素値をもつものを周辺基準画素とする。
平均値ＡＲが区間Ｚ１３に入る場合、周辺基準画素決定部２２１は３番目に小さい画素値をもつものを周辺基準画素とする。
【００６１】
判定閾値については次のようにする。
例えば、平均値ＡＲが区間Ｚ２０に入る場合、判定閾値決定部２２２は判定閾値をＴＨ２０／３とする。
平均値ＡＲが区間Ｚ２１に入る場合、判定閾値決定部２２２は判定閾値をＴＨ２１／３とする。
平均値ＡＲが区間Ｚ２２に入る場合、判定閾値決定部２２２は判定閾値をＴＨ２２／３とする。
平均値ＡＲが区間Ｚ２３に入る場合、判定閾値決定部２２２は判定閾値をＴＨ２３／３とする。
【００６２】
なお、補正の程度を強くしたり弱くしたりするに当たって、区間Ｚ１０や区間Ｚ２０の広さを広くしたり狭くしたりすることで対応することもできる。
【００６３】
（変形例２）
変形例２について説明する。
上記変形例１では、撮影条件に基づいて補正の程度を変更する例を説明した。
変形例２としては、自動的に最適な補正量になるように判定基準を動的に変更する例を説明する。
【００６４】
まず、判定基準を仮の値と仮設定しておく。例えば、次のように仮設定がなされたとする。
平均値ＡＲが区間Ｚ１０に入る場合、周辺基準画素決定部２２１は２番目に小さい画素値をもつものを仮の周辺基準画素とする。
平均値ＡＲが区間Ｚ１１に入る場合、周辺基準画素決定部２２１は１番目に小さい画素値をもつものを仮の周辺基準画素とする。
平均値ＡＲが区間Ｚ１２に入る場合、周辺基準画素決定部２２１は１番目に小さい画素値をもつものを仮の周辺基準画素とする。
平均値ＡＲが区間Ｚ１３に入る場合、周辺基準画素決定部２２１は１番目に小さい画素値をもつものを仮の周辺基準画素とする。
【００６５】
そして、この仮設定の判定基準（周辺基準画素、判定閾値）を用いて閾値判定工程（ＳＴ３００）の処理を行った場合に１フレーム分あるいは数フレーム分で置き換え補正の対象となる画素がいくつあるかを閾値判定部２３０がカウントする。
この際、閾値判定部２３０は、区間ごと（例えばＺ１０、Ｚ１１、Ｚ１２およびＺ１３のそれぞれごと）に置き換え補正が発生する回数をカウントする。すると、区間ごとに総画素数と置き換え補正の対象画素数との割合が算出される。
【００６６】
周辺画素の平均画素値が区間Ｚ１０に入る場合については、閾値判定部２３０は、一番小さい画素値との置き換え発生回数と、２番目に小さい画素値への置き換え発生回数と、をカウントする。
そして、周辺画素の平均画素値が区間Ｚ１０に入る場合については、閾値判定部２３０は、一番目に小さい画素値への置き換え発生回数をカウントし、さらに、仮にもし周辺基準画素を２番目に小さい画素値をもつものにしていたらどれだけの置換補正が発生したかをカウントする。
【００６７】
その結果として、例えば次のようになったとする。
周辺画素の平均画素値が区間Ｚ１０に入る場合について、一番小さい画素値への置き換え数が１０％であり、二番目に小さい画素値への置き換え数が１０％である。
周辺画素の平均画素値が区間Ｚ１１に入る場合について、一番小さい画素値への置き換え数が２０％であり、もし仮に周辺基準画素を２番目に小さい画素値をもつものにしていたら置き換え対象となる画素は１０％である。
周辺画素の平均画素値が区間Ｚ１２に入る場合について、一番小さい画素値への置き換え数が１０％である。
周辺画素の平均画素値が区間Ｚ１３に入る場合について、一番小さい画素値への置き換え数が５％である。
【００６８】
この結果を見ると、区間Ｚ１１の場合に置き換え割合が２０％と多くなっており、一方、もし仮に周辺基準画素を２番目に小さい画素値をもつものにしていたら置き換え対象となる画素は１０％となる。閾値判定部２３０によるカウントにより例えば５フレーム連続でこのような状態が続くことが分かった場合、周辺基準画素決定部２２１は区間Ｚ１１に関する補正のレベルを区間Ｚ１０についてのものと同じ程度に変更し、これを本設定とする。
【００６９】
また周辺基準画素を２番目に画素値が小さいものにした場合に置き換え数の割合が減少して０に近くなった場合には、もとの仮設定の状態に戻す遷移も実施される。
【００７０】
このようにして動的に判定基準を変更することにより補正の程度を最適化できる。
例えば、周辺画素の平均画素値が区間Ｚ１１に入る場合については固定的に二番目に小さい画素値をもつものを周辺基準画素として固定してしまうと、場合によっては置換補正が效き過ぎ、解像度が落ちてしまう恐れもある。
この点、複数のフレームを仮処理したうえで判定基準を最適化すれば、補正量が多すぎる場合には解像度重視に移行し、補正が少なすぎる場合には黒きず除去重視に移行し、全体としてバランスのとれた最適補正を実現できる。
【００７１】
（変形例３）
上記第１実施形態および上記変形例１、２においては、周辺画素の平均画素値に応じて周辺基準画素を決定する場合を例示した。
ここで、平均値以外の統計値を用いてもよいことはもちろんである。
例えば標準偏差を利用するとする。
判定基準決定部２２０は周辺画素について画素値の標準偏差を算出する。そして、標準偏差が極めて小さければ、８つの周辺画素の画素値は平均値で揃っているということになる。この場合、黒きずの発生割合が極めて少ないということになる。したがって、この場合、周辺基準画素決定部２２１は、周辺画素のうちで２番目に小さい画素値を周辺基準画素とする。すなわち、周辺画素のなかに黒きずがあったとしても、それは高々１つまでであり、２番目に小さい画素値は正常と見なして問題ないであろうということである。
【００７２】
一方、標準偏差がある程度以上に大きかったとする。この場合、８つの周辺画素で画素値が広く分布していることになり、平均値から大きく外れた画素値が多数存在していることになる。これは、黒きずが多数発生してしまっている可能性が高い。このような場合には、周辺基準画素決定部２２１は、周辺画素のうちで３番目に小さい画素値を周辺基準画素とする。すなわち、周辺画素のなかには黒きずが１つか２つは含まれている恐れがあるとし、３番目に小さい画素値を正常と見なすことにするということである。
【００７３】
統計値としてはこの他、分散値やマハラノビス距離などを利用してもよい。また、平均値や標準偏差等の統計値を算出するにあたっては８つの周辺画素だけを演算対象とせず、注目画素を囲む広範な領域について平均値や標準偏差を求めるようにしてもよい。
【００７４】
この変形例３で説明したことは、周辺基準画素を決定する場合の他、判定閾値の決定にも同様に適用できることは理解できるであろう。また、判定閾値の決定にあっては区間ごとに予め設定しておくことの他、平均値や標準偏差の関数として判定閾値を算出できるように関数式を設定しておいてもよい。
【００７５】
なお、本発明は上記実施形態および変形例に限られず、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。
判定閾値を二種類用意してもよい。すなわち、注目画素が黒きずであるか否かを判定するための閾値と、周辺画素のうちでどこまでが正常画素であるかを判定するための閾値とが異なっていてもよい。
【００７６】
撮像装置１００において、ゲインバランス調整部１５０と欠陥補正部２００とは構成順序を入れ替えても良い。すなわち、上記実施形態のようにゲインバランス調整を先に行ってから画素欠陥の補正を行ってもよく、順序を入れ換えて、画素欠陥の補正を行ってからゲインバランスの調整を行ってもよい。
【００７７】
上記実施形態の説明においては、周辺画素として注目画素を取り囲む同色の８つの画素とした。
ここで、周辺画素の数を８つに限定することなく、さらに数を増やしてもよい。例えば、注目画素を取り囲む同色の２４個の画素を周辺画素としてもよい。また、例えば、注目画素を取り囲む４８個の画素を周辺画素としてもよい。またさらに、例えば、注目画素を取り囲む８０個の画素を周辺画素としてもよい。このように、注目画素を中心としてそれを取り囲む同色の｛（２ｋ＋１）２−１｝個を周辺画素としてもよい。
注目画素に隣接する８つの周辺画素がすべて欠陥画素（黒きず）であったとしても、周辺画素を広くとっていれば周辺基準画素として正常な画素を選択できるようになる。
または、周辺画素の数を８つではなく、減らしてもよい。例えば、注目画素に対して、上下および左右の隣接画素だけを周辺画素としてもよい。
または、注目画素に対して、斜め方向の隣接画素だけを周辺画素としてもよい。（この場合、周辺画素は４つである。）
周辺画素の数が少なければそれだけ演算負荷が軽くなる。
周辺画素をどれだけ広くとるかは、望まれる画質レベルや撮像装置の演算処理能力などを勘案して決定すればよい。
周辺画素の数は４以上８０以下に限られず、特に上限についてはＣＰＵの演算処理能力などから自ずと決まる。
【００７８】
ＣＰＵやメモリを配置してコンピュータとして機能できるように構成し、このメモリに所定の制御プログラムをインターネット等の通信手段や、ＣＤ−ＲＯＭ、メモリカード等の記録媒体を介してインストールし、このインストールされたプログラムでＣＰＵ等を動作させて、上記実施形態で説明した各機能部としての機能を実現してもよい。
【符号の説明】
【００７９】
１００…撮像装置、１１０・・・光学素子、１１１・・・レンズ、１１２・・・カラーフィルタ、１２０・・・イメージセンサ（撮像素子）、１３０・・・センサドライバ、１４０・・・ラインメモリ、１５０・・・ゲインバランス調整部、１６０・・・出力部、１９０・・・画像信号処理部、２００・・・欠陥補正部、２００・・・欠陥補正部、２０１・・・バッファ、２１０・・・データ採集部、２１０・・・処理対象採集部、２１０・・・データ採集部、２１１・・・注目画素決定部、２１２・・・周辺画素選定部、２１３・・・画素値抽出部、２１４・・・順番付け部、２２０・・・判定基準決定部、２２１・・・周辺基準画素決定部、２２２・・・判定閾値決定部、２３０・・・閾値判定部、２４０・・・画素値置換部。
【図１】
2014023007.tif 000003
【図２】
2014023007.tif 000004
【図３】
2014023007.tif 000005
【図４】
2014023007.tif 000006
【図５】
2014023007.tif 000007
【図６】
2014023007.tif 000008
【図７】
2014023007.tif 000009
【図８】
2014023007.tif 000010
【図９】
2014023007.tif 000011
【図１０】
2014023007.tif 000012
【図１１】
2014023007.tif 000013